# JParaCrawl v3.0: 大規模日英対訳コーパス

森下 睦 1,2, 帖佐 克己 ${ }^{1}$, 鈴木 潤 ${ }^{2}$, 永田 昌明 1
${ }^{1}$ NTTコミュニケーション科学基礎研究所 2 東北大学
makoto.morishita.gr@hco.ntt.co.jp

## 概要

現在の機械翻訳モデルは主に対訳コーパスを用 いて学習されており、その翻訳精度は対訳コーパス の質と量に大きく依存している。本稿では、新たに ウェブをクロールし日英対訳文を抽出することで大規模日英対訳コーパスを構築し、翻訳精度の底上げ を狙う。今回ウェブから収集した対訳文と以前作成 した日英対訳コーパス JParaCrawl v2.0を合わせるこ とで、合計 2100 万文を超える日英最大規模の対訳 コーパスを作成することに成功した。実験により、新たな対訳コーパスを用いて学習した翻訳モデルが 様々な分野で高い翻訳精度を発揮することを示す。 なお、今回作成した対訳コーパスを JParaCrawl v3.0 と名付け、我々のウェブサイト上で研究目的利用に 限り無償公開する予定である。

## 1 はじめに

現在のニューラル機械翻訳モデルは、主に対訳 コーパスを用いた教師ありの手法 $[1,2,3,4]$ で学習 されている。学習時の対訳コーパスの質と量が翻訳精度に大きな影響を与えること知られているが、一般に公開されている対訳コーパスは多くの言語対で 限られている。例えば、独英などの言語対ではすで に数億文の対訳文が公開されているものの、日英で はまだ同程度のものは存在せず、翻訳モデル学習時 に大きな問題となっている。そのため、本稿ではさ らに大規模なウェブベースの日英対訳コーパスを構築する。現在、日英で最大規模の対訳コーパスの 1 つは約 1000 万文の対訳文を含む JParaCrawl v2.0 [5] であり、これはウェブを大規模にクロールし対訳文を自動的に抽出することで構築されている。本 コーパスは欧州言語対と比較すると小規模であり、 2020 年を最後に更新が止まっているため、最新の 情報を含んでいない。そのため、本研究ではウェブ を全面的に再クロールし、対訳文を抽出することで JParaCrawl コーパスを拡大/更新する。本研究では、対訳文抽出手法を機械翻訳器を用いた手法へと変更 し、新たに PDF や Word 文書も収集対象とすること で、対訳抽出数の向上を狙う。また、新たに作成し た対訳コーパスを用いて、英日および日英の機械翻訳の精度がどのように向上するかを実験的に示す。本研究で作成した対訳コーパスは JParaCrawl v3.0 と 名付け、今後の研究のために我々のウェブサイト1) で公開する予定である。

本稿の貢献は以下のようにまとめられる。

・従来の JParaCrawl コーパスと合わせて 2100 万文対以上を含む大規模な日英対訳コーパスを構築した。

・新たな対訳コーパスにより、幅広い分野で英日・日英機械翻訳の精度が向上することを実験的に確認した。

・本コーパスを研究目的利用に限り無償で公開 する。

## 2 関連研究

対訳コーパスは様々な文書から対訳文を抽出す ることで作成されることが多い。代表的なものとし て、国際機関が作成した対訳文書がある。例えば、欧州議会の議事録から作成された Europarl [6]、国連 の翻訳文書から作成された UN 対訳コーパス [7] な どがある。これらの文書は、通常プロの翻訳者が翻訳しており、文書 ID などのメタデータを持ってい ることもあるので、容易に対訳文を抽出することが できる。しかし、これらの一般に公開されている対訳文書は多くない。

近年では、ウェブから対訳文を抽出する手法も多 く提案されている。ウェブ上には 2 言語以上で書か れたウェブサイトが多数存在し、こういったウェブ サイトから対訳文を抽出する。ウェブ上には、様々 な言語や分野の対訳文が存在しており、大規模な

表 1 JParaCrawl コーパスに含まれる重複を取り除いた対訳文数および英語側単語数

対訳コーパスを作成するための有望な情報源であ る。ウェブから対訳文を抽出する初期の研究として は、大規模な分散システムを構築し対訳文を抽出 したもの [8]、Common $\mathrm{Crawl}^{2}$ から対訳文を抽出し たもの [9] などがある。最近では、多言語文埋め込 みを用いた対訳文対応手法を用いて、Wikipedia や Common Crawl から大規模な多言語対訳コーパスを 作成する研究も報告されている [10,11]。

また、ParaCrawl プロジェクトはヨーロッパ言語 の大規模な対訳コーパスをウェブから継続的に作成している [12]。我々は以前この活動にヒントを得 て、大規模な対訳コーパスが存在しない日英向けの 大規模な対訳コーパスを作成した [5]。このコーパ スは JParaCrawl と名付けられ、1,000万文を超える 対訳文を含む日英における最大規模の対訳コーパス となっている。しかし、JParaCrawl コーパスは、独英などの欧州言語対と比較するとまだ小規模であ り、これをもとにした翻訳モデルの精度も欧州言語対と比較すると低精度である。ゆえに、さらに大き な日英対訳コーパスの作成が求められている。本研究では、ウェブを新たにクロールし対訳文をさらに 抽出することで、JParaCrawl コーパスをさらに拡張 することを目指す。

## 3 JParaCrawl v3.0

本研究では、さらにウェブをクロールして対訳文を抽出し、JParaCrawl v2.0コーパスを拡張するこ と目指す。我々の手法は、以前の ParaCrawl および JParaCrawl プロジェクトに基づくものである。以下 の節でその詳細な手順を述べる。

## 3.1 対訳文を含むウェブサイトの発見

本研究では、ウェブから対訳文を抽出するこ とで大規模な対訳コーパスを構築する。まず、 CommonCrawl 上のテキストデータを CLD22)によっ て解析し、各ドメインの言語別データ量を得る。そ の後、英語と日本語が同量程度含まれるウェブサ

イトには対訳文が存在する可能性があるという仮説に基づき、クロール対象ウェブサイトを列挙す る。本研究では、2019年 3 月から 2021 年 8 月まで に公開された Common Crawl のテキストアーカイブ データを分析対象とし、ウェブサイトの規模が大き く、英語と日本語の文章が同程度である 10 万件の ウェブサイトを列挙した。2019年 3 月以前に公開 されたデータについては、JParaCrawl v2.0 作成時に 既に分析済みであり、本収集の目標の一つである 最新の情報を含むこととも乘離しているため除外 した。本手順で列挙されたウェブサイト一覧を確認したところ、前回の JParaCrawl v2.0 時に候補に挙 がっていないウェブサイトが 7 割を占めていた。な お、本手順には ParaCrawl プロジェクトが提供する extractor4)を使用した。

## 3.2 ウェブサイトのクロール

次に、前節で列挙されたウェブサイト全体をク ロールする。本研究では、Heritrix5)を用いて、各ウェブサイトに対して最大 48 時間のクローリン グを行った。これまでの JParaCrawl では、プレーン テキストのみを対象としていたが、今回はこれに加 えて、PDF や Word 文書もクロールの対象とした。日本国内の官公庁や企業は PDF で文書を発信する ことがあり、これらも対訳抽出の対象とすることで 対訳文数の増加に寄与すると考えられる。

## 3.3 対訳文抽出

次に、クロールされたウェブサイトから対訳文を 抽出する。本手順には、ParaCrawl プロジェクトが提供する Bitextor ${ }^{6}$ を日本語に対応させ使用した。対訳文書と対訳文の対応付けには、機械翻訳を用い た対応付けツールbleualign [13] を使用した。こ のツールでは、まず機械翻訳を用いて日本語文を 英文に翻訳し、BLEU スコアを最大化する日英の文 ペアを発見する。この際、日英翻訳には JParaCrawl v2.0で学習した Transformer ベースのニューラル機械翻訳（NMT）モデルを使用した。なお、以前の JParaCrawl で使用した辞書べースの手法 [14] よりも bleualign の方が高精度であることを予備実験に より確認した。

## 3.4 ノイズ除去

最後の手順として、正しく対応付けられて いない、翻訳が不正確など、学習時のノイズと なる文対をフィルタリングする。本手順には、 Bicleaner ${ }^{7)}$ [15]を使用した。ノイズ除去の後、ク リーンな対訳文と JParaCrawl v2.0を結合、重複文を 削除した。以上の手順により、2100 万文以上を含 む新しい大規模な JParaCrawl v3.0を作成した。これ は、以前の JParaCrawl v2.0 の倍以上の文数である。

表 1 に、これまでの JParaCrawl および今回作成し たv3.0の重複を削除した対訳文数および英語側単語数を示す。なお、これまでの JParaCrawl についても 重複削除を行った文数を報告しているため、以前の 論文で報告されている値とは異なることに注意され たい。PDF なども対訳抽出対象としたことにより、 HTML のみを対象とする場合と比較して、約 $10 \%$ 対訳文抽出数が向上した。

## 4 実験

本節では、新たに作成した JParaCrawl v3.0 の翻訳精度への影響を確認するために、NMT モデルを学習し様々なテストセットでその精度を評価した。以降では、使用したテストセットの詳細およびモデル 学習時の設定について述べる。

## 4.1 実験設定

## 4.1.1 テストセット

様々な分野で NMT モデルの精度を評価するため に、 15 種のテストセットでモデルを評価する。付録表 3 に使用するテストセットの分野および統計情報 を示す。これらには、以前の JParaCrawl 発表時に報告した ASPEC [16] (科学技術論文), JESC [17] (映画字幕), KFTT [18] (Wikipedia 記事), TED (tst2015) [19] (講演)が含まれる。さらに本実験では、会話文中心の対訳コーパスである Business Scene Dialogue コーパス (BSD) [20] や翻訳シェアードタスク [21, 22, 23, 24, 25] のテストセットを追加した。これらには、ニュース 記事、SNS 上のテキスト、Wikipedia 上のコメント などが含まれる。なおシェアードタスク用テスト セットの中には、特定の翻訳方向 (英 $\rightarrow$ 日など) で 使用することを前提としたものもあるが、参考まで に英日、日英の両方向で評価した。また付録表 4 に

7) https://github.com/bitextor/bicleaner示すように、いくつかのコーパスには学習データが 付属しているものがある。比較のため、これらの学習データでも分野別モデルを学習しスコアを報告 する。

## 4.1.2 学習設定

前処理として、対訳コ一パスを sentencepiece [26] を用いてサブワード単位 に分割した。この際、語彙数は 32,000 とした。翻訳モデルの学習には fairseq [27]を用い、small、 base、bigの 3つの異なる大きさの Transformer [4] モ デルを学習した付録表 5 に詳細な学習設定を示す。以前の JParaCrawl の報告に基づき、TED (tst2015) で は small モデルを、KFTTでは base モデルを、その他 のテストセットでは big モデルを使用した。なお、学習に関する設定は、公平な比較のために以前の JParaCrawl の報告とほぼ同じであるが、v3.0 モデル については、対訳コーパスの大きさが原因で 24,000 ステップでは収束せず、更新回数を変更した。評価 には sacreBLEU [28]を用い、BLEU スコア [29]を 報告する。なお、以前の実験との整合性を保つため に、すべてのテストセットを NFKC 正規化した。

## 4.2 実験結果

表 2 に様々なテストセットにおける BLEU スコ アを示す。JParaCrawl v3.0で学習したモデルは、日英ではすべてのテストセットで、英日では 15 の うち 13 のテストセットで以前の JParaCrawl を上回 る精度を達成した。この結果は、科学技術論文、 ニュース、対話などの様々な分野において、新し い JParaCrawl が NMT モデルの精度を押し上げるこ とを示している。特に、WMT21ニュース翻訳タス クでは、JParaCrawl v3.0 モデルが大幅に精度を向上 させることがわかった。これは、前回の JParaCrawl v2.0 が 2019 年のウェブデータをもとに作成されて おり、2021 年のニュースに頻出する単語が正しく 翻訳できていないことが原因だと推測される。例え ば、2021 年のニュース記事では、2019 年には存在 しない COVID-19 に関連する単語が頻出する。こう いった最新の単語を正しく翻訳できるようにするた めには、対訳コーパスを常に更新し続けるなどの対応が必要だと考えられる。

なお、JParaCrawl は特定の分野には特化すること を目的としておらず、JParaCrawl 単独では分野別モ デルの精度には及ばない。しかし、JParaCrawl モデ
表 2 分野別コーパスおよび JParaCrawl v1.0, v2.0, v3.0 で学習した翻訳モデルの BLEU スコア。JParaCrawl モデルのうち 最高スコアのものを太字で示す。

図 1 WMT21 News Ja-Enテストセットの翻訳例

ルから特定分野に対して Fine-tuningを行うことで、分野別データ単独で学習したモデルを上回ることも 報告されている [5]。本傾向は JParaCrawl v3.0でも 同様だと思われるが、具体的な実験については今後 の課題とする。

## 4.3 翻訳例

図 1 に JParaCrawl v1.0、v2.0、v3.0で学習したモデ ルの翻訳例を示す。この例は、WMT21ニュース翻訳テストセットから COVID-19に関連するものを選 んだ。この入力文には、「濃厚接触者」という日本語が含まれており、これは “close contacts”と翻訳さ れるべきである。しかし、v1.0 および v2.0 で学習し たモデルは “strong contact person” と誤訳している。一方で、v3.0で学習したモデルでは、これを正しく “close contacts”と翻訳できている。テストセットを 目視で確認したところ、この例のように COVID-19 に関連する記事で多くの改善が見られた。この結果 は、前節で述べた近年頻出する用語を正しく翻訳で
きているという仮説を支持するものである。

## 5 おわりに

本研究では、これまでの大規模日英対訳コーパ ス JParaCrawl をさらに拡張した JParaCrawl v3.0を作成した。本対訳コーパスは、最新の CommonCrawl アーカイブを分析して対訳文が存在すると思われ るウェブサイトを発見し、それらから対訳文抽出を 行うことで作成した。新たな JParaCrawl v3.0 は 2100 万以上の対訳文を含んでおり、これは JParaCrawl v2.0 の倍以上の大きさである。本対訳コーパスを 用いることで、様々な分野、特に最新のニュース 記事の翻訳精度が向上することを実験的に確認し た。今後の課題としては、継続的な JParaCrawl の更新や、より優れた対訳文抽出/フィルタリング手法 の提案などが挙げられる。なお、本研究で作成した JParaCrawl v3.0 は我々のウェブサイトで研究目的に 限り無償で公開する予定である。

## 参考文献

[1] Ilya Sutskever, Oriol Vinyals, and Quoc V. Le. Sequence to sequence learning with neural networks. In Proceedings of the 28th Annual Conference on Neural Information Processing Systems (NeurIPS), pp. 3104-3112, 2014.

[2] Dzmitry Bahdanau, Kyunghyun Cho, and Yoshua Bengio. Neural machine translation by jointly learning to align and translate. In Proceedings of the 3rd International Conference on Learning Representations (ICLR), 2015.

[3] Minh-Thang Luong, Hieu Pham, and Christopher D. Manning. Effective approaches to attention-based neural machine translation. In Proceedings of the Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 1412-1421, 2015.

[4] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Proceedings of the 31st Annual Conference on Neural Information Processing Systems (NeurIPS), pp. 6000-6010, 2017.

[5] Makoto Morishita, Jun Suzuki, and Masaaki Nagata. JParaCrawl: A large scale web-based English-Japanese parallel corpus. In Proceedings of the 12th International Conference on Language Resources and Evaluation (LREC), pp. 3603-3609, 2020 .

[6] Philipp Koehn. Europarl: A parallel corpus for statistical machine translation. In Proceedings of the Machine Translation Summit X, pp. 79-86, 2005

[7] Michał Ziemski, Marcin Junczys-Dowmunt, and Bruno Pouliquen. The united nations parallel corpus v1.0. In Proceedings of the 10th International Conference on Language Resources and Evaluation (LREC), pp. 3530-3534,

[8] Jakob Uszkoreit, Jay M. Ponte, Ashok C. Popat, and Moshe Dubiner. Large scale parallel document mining for machine translation. In Proceedings of the 23rd International Conference on Computational Linguistics (COLING), pp.1101-1109, 2010 .

[9] Jason R Smith, Herve Saint-Amand, M Plamada, P Koehn, C Callison-Burch, and Adam Lopez. Dirt cheap web-scale parallel text from the common crawl. In Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics (ACL), pp. 1374-1383, 2013.

[10] Holger Schwenk, Vishrav Chaudhary, Shuo Sun, Hongyu Gong, and Francisco Guzmán. WikiMatrix: Mining 135m parallel sentences in 1620 language pairs from Wikipedia. arXiv preprint arXiv:1907.05791, 2019

[11] Holger Schwenk, Guillaume Wenzek, Sergey Edunov, Edouard Grave, and Armand Joulin. CCMatrix: Mining billions of high-quality parallel sentences on the web, arXiv preprint arXiv:1911.04944, 2019.

[12] Marta Bañón, Pinzhen Chen, Barry Haddow, Kenneth Heafield, Hieu Hoang, Miquel Esplà-Gomis, Mikel L. Forcada, Amir Kamran, Faheem Kirefu, Philipp Koehn, Sergio Ortiz Rojas, Leopoldo Pla Sempere, Gema RamírezSánchez, Elsa Sarrías, Marek Strelec, Brian Thompson, William Waites, Dion Wiggins, and Jaume Zaragoza. ParaCrawl: Web-scale acquisition of parallel corpora. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 4555-4567, 2020.

[13] Rico Sennrich and Martin Volk. Iterative, MT-based sentence alignment of parallel texts. In Proceedings of the 18th Nordic Conference of Computational Linguistics (NODALIDA), pp. 175-182, 2011.

[14] Dániel Varga, Péter Halácsy, András Kornai, Viktor Nagy, László Németh, and Viktor Trón. Parallel corpora for medium density languages. In Proceedings of the Recent Advances in Natural Language Processing $\frac{\text { Proceedings of the Recent }}{\text { (RANLP), pp. 590-596, } 2005 .}$

[15] Víctor M. Sánchez-Cartagena, Marta Bañón, Sergio Ortiz-Rojas, and Gema Ramírez-Sánchez. Prompsit's submission to WMT 2018 parallel corpus filtering shared task. In Proceedings of the 3rd Conference on Machine Translation (WMT), pp. 955-962, 2018.

[16] Toshiaki Nakazawa, Manabu Yaguchi, Kiyotaka Uchimoto, Masao Utiyama, Eiichiro Sumita, Sadao Kurohashi, and Hitoshi Isahara. ASPEC: Asian scientific paper excerpt corpus. In Proceedings of the 10th International Conference on Language Resources and Evaluation (LREC), 2016.

[17] R. Pryzant, Y. Chung, D. Jurafsky, and D. Britz. JESC: Japanese-English Subtitle Corpus. arXiv preprint arXiv:1710.10639, 2017.

[18] Graham Neubig. The Kyoto free translation task. http://www. phontron.com/kftt, 2011

[19] Mauro Cettolo, Christian Girardi, and Marcello Federico. WIT3: web inventory of transcribed and translated talks. In Proceedings of the 16th Annual Conference of the European Association for Machine Translation (EAMT), pp. 261-268, 2012 .

[20] Matīss Rikters, Ryokan Ri, Tong Li, and Toshiaki Nakazawa. Designing the business conversation corpus. In Proceedings of the 6th Workshop on Asian Translation (WAT), pp. 54-61, 2019 .

[21] Loïc Barrault, Magdalena Biesialska, Ondřej Bojar, Marta R. Costa-jussà, Christian Federmann, Yvette Graham, Roman Grundkiewicz, Barry Haddow, Matthias Huck, Eric Joanis, Tom Kocmi, Philipp Koehn, Chi-kiu Lo, Nikola Ljubešić, Christof Monz, Makoto Morishita, Masaaki Nagata, Toshiaki Nakazawa, Santanu Pal, Matt Post, and Marcos Zampieri. Findings of the 2020 conference on machine translation (WMT20). In Proceedings of the 5 th Conference on Machine Translation (WMT), pp. 1-55, 2020

[22] Farhad Akhbardeh, Arkady Arkhangorodsky, Magdalena Biesialska, Ondřej Bojar, Rajen Chatterjee, Vishrav Chaudhary, Marta R. Costa-jussa, Cristina España-Bonet, Angela Fan, Christian Federmann, Markus Freitag, Yvette Graham, Roman Grundkiewicz, Barry Haddow, Leonie Harter, Kenneth Heafield, Christopher Homan, Matthias Huck, Kwabena AmponsahKaakyire, Jungo Kasai, Daniel Khashabi, Kevin Knight, Tom Kocmi, Philipp Koehn, Nicholas Lourie, Christof Monz, Makoto Morishita, Masaaki Nagata, Ajay Nagesh, Toshiaki Nakazawa, Matteo Negri, Santanu Pal, Allahsera Auguste Tapo, Marco Turchi, Valentin Vydrin, and Marcos Zampieri. Findings of the 2021 conference on machine translation (WMT21). In Proceedings of the 6th Conference on Machine Translation (WMT), pp. 1-93, 2021.

[23] Xian Li, Paul Michel, Antonios Anastasopoulos, Yonatan Belinkov, Nadir K. Durrani, Orhan Firat, Philipp Koehn, Graham Neubig, Juan M. Pino, and Hassan Sajjad. Findings of the first shared task on machine translation robustness. In Proceedings of the 4th Conference on Machine Translation (WMT), 2019.

[24] Lucia Specia, Zhenhao Li, Juan Pino, Vishrav Chaudhary, Francisco Guzmán, Graham Neubig, Nadir Durrani, Yonatan Belinkov, Philipp Koehn, Hassan Sajjad, Paul Michel, and Xian Li. Findings of the WMT 2020 shared task on machine translation robustness. In Proceedings of the 5th Conference on Machine Translation (WMT), pp. 76-91, 2020.

[25] Antonios Anastasopoulos, Ondřej Bojar, Jacob Bremerman, Roldano Cattoni, Maha Elbayad, Marcello Federico, Xutai Ma, Satoshi Nakamura, Matteo Negri, Jan Niehues, Juan Pino, Elizabeth Salesky, Sebastian Stüker, Katsuhito Sudoh, Marco Turchi, Alexander Waibel, Changhan Wang, and Matthew Wiesner FINDINGS OF THE IWSLT 2021 EVALUATION CAMPAIGN. In Proceedings of the 18th International Conference on Spoken Language Translation (IWSLT), pp. $1-29,2021$.

[26] Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Proceedings of the Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 66-71, 2018.

[27] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan $\mathrm{Ng}$, David Grangier, and Michael Auli. fairseq: A fast, extensible toolki for sequence modeling. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL HLT), pp. 48-53, 2019.

[28] Matt Post. A call for clarity in reporting BLEU scores. In Proceedings of the 3rd Conference on Machine Translation (WMT), pp. 186-191, 2018.

[29] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. BLEU: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics

[30] Graham Neubig. Forest-to-string SMT for asian language translation: NAIST at WAT2014. In Proceedings of the 1st Workshop on Asian Translation (WAT), pp. 20-25, 2014

[31] Diederik Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In Proceedings of the 3rd International Conference on Learning Representations (ICLR), 2015.

[32] Nitish Srivastava, Geoffrey Hinton, Alex Krizhevsky, Ilya Sutskever, and Ruslan Salakhutdinov. Dropout: A simple way to prevent neural networks from overfitting. Journal of Machine Learning Research, Vol. 15, pp. 19291958, 2014.

[33] Razvan Pascanu, Tomas Mikolov, and Yoshua Bengio. On the difficulty of training recurrent neural networks. In Proceedings of the 30th International Conference on Machine Learning (ICML), Vol. 28, pp. 1310-1318, 2013.

[34] Christian Szegedy, Vincent Vanhoucke, Sergey Ioffe, Jon Shlens, and Zbig niew Wojna. Rethinking the Inception Architecture for Computer Vision. In Proceedings of CVPR, pp. 2818-2826, 2016.

[35] Myle Ott, Sergey Edunov, David Grangier, and Michael Auli. Scaling neural machine translation. In Proceedings of the 3rd Conference on Machine Translation (WMT), pp. 1-9, 2018.

[36] Yonghui Wu, Mike Schuster, Zhifeng Chen, Quoc V. Le, Mohammad Norouzi, Wolfgang Macherey, Maxim Krikun, Yuan Cao, Qin Gao, Klau Macherey, Jeff Klingner, Apurva Shah, Melvin Johnson, Xiaobing Liu, Łukasz Kaiser, Stephan Gouws, Yoshikiyo Kato, Taku Kudo, Hideto Kazawa, Keith Stevens, George Kurian, Nishant Patil, Wei Wang, Cliff Young, Jason Smith, Jason Riesa, Alex Rudnick, Oriol Vinyals, Greg Corrado, Macduff Hughes, and Jeffrey Dean. Google's neural machine translation system: Bridging the gap between human and machine translation. arXiv preprint arXiv:1609.08144, 2016

## A 付録

表 3 にテストセットに含まれる分野、対訳文数および英語側単語数を示す。また、表 4 に分野別学習データに含まれ る文数および英語側単語数を示す。なお、ASPEC は本来約 300 万文の学習データを含んでいるが、先行研究に基づき先頭 200 万文のみを学習に使用した [30]。翻訳モデルを学習する際のハイパーパラメータを表 5 に示す。

表 3 テストセットに含まれる分野、対訳文数および英語側単語数

表 4 分野別学習データに含まれる文数および英語側単語数。ASPEC は本来約 300 万文の学習データを含んでいるが、先行研究に基づき先頭 200 万文のみを学習に使用した [30]。

表 5 ハイパーパラメータの一覧


# 双方向翻訳モデルと反復的逆翻訳を用いた 低資源言語に対するニューラル機械翻訳の性能向上

Bui Tuan Thanh秋葉友良塚田元
豊橋技術科学大学
\{bui.tuan.thanh.mg, akiba.tomoyoshi.tk, tsukada.hajime.hl\}@tut.jp

## 概要

本稿では、低資源言語に対して翻訳性能を改善す る手法を提案する。提案法は、2つの手法を組み合 わせて適用することで、追加の学習データなしに少量の対訳コーパスだけを用いて、翻訳モデルを学習 する。まず、対訳コーパスを用いて、翻訳対象言語対の双方向の翻訳モデルを一つのモデルで構成する 双方向翻訳モデルを構築する。次に、同じ対訳コー パスを単言語コーパス対として用いて、反復的逆翻訳 (IBT: Iterative Back Translation)を適用することで、翻訳モデルを更新する。IWSLT2015 の英語・ベトナ ム語翻訳タスクの低資源対訳コーパス (13 万文)を 使用した英越及び越英の翻訳実験により、提案手法 の有効性を示した。

## 1 はじめに

近年、ニューラルネットワークを用いたニュー ラル機械翻訳 (Neural Machine Translation:NMT) が機械翻訳の品質を飛躍的にに向上させている $[1,2]$ 。 ニューラル機械翻訳の翻訳モデルを学習するため には、大規模かつ品質が高い対訳コーパスが必要で あるが、そのような対訳コーパスを作成するのはコ ストが高い。そのため、比較的入手が容易な単言語 コーパスでデータ拡張する手法が提案されている。中でも、逆翻訳を用いる手法 [3] やそれを反復的に 適用する手法 $[4,5]$ は効果的な手法として知られて いる。また、Ding ら [6] は、翻訳対象の 2 言語間の 双方向翻訳を単一の翻訳モデルとして学習すること で、各方向の翻訳性能を向上できることを報告して いる。

本稿では、Ding ら [6] の双方向ニューラル翻訳 (BiNMT: Bidirectional Neural Translation) モデルと、対訳コーパスを単言語コーパスとして利用した反復的逆翻訳手法を組み合わせることにより、元の対訳
コーパス以外の追加の学習データを使わずに翻訳性能を向上させる手法を提案する。本手法では、最初に対訳コーパスで BiNMT の初期モデルを学習す る。次に、学習した BiNMT モデルで、対訳コーパ スの各言語側を単言語コーパスとみなして逆翻訳を 行い、2つの疑似対訳データを生成する。元の対訳学習データと生成した疑似対訳データを混合し、新 たな学習データを構築する。新たな学習データを用 いて、初期 BiNMT モデルを fine-tuning し、新しい BiNMT モデルを得る。新しいモデルは、再び擬似対訳データを生成するために利用され、元の対訳学習データと組み合わせて新規学習データを得て、こ れを用いて再度 BiNMT モデルを更新する。このプ ロセスを繰り返すことにより、翻訳モデルの性能を 改善していく。本手法は、元の対訳コーパス以外の 学習データを使用しないため、低資源言語の翻訳モ デルの性能向上に利用することができる。

提案した手法の有効性を検証するために、英越言語対に対して実験を行った。英越言語対の単方向翻訳モデルと比較し、双方向翻訳モデルの利用のみで も翻訳性能を有意に改善できた。さらに反復的逆翻訳と組み合わせることで、さらに翻訳性能が向上す ることを確認した。

## 2 関連研究

## 2.1 ニューラル機械翻訳の逆翻訳手法

Sennrich らはデータ拡張手法として目的言語側の 単言語データを利用するシンプルで効果的な逆翻訳法 (Back Translation)を提案した [3]。この手法では、最初に目的言語から原言語の方向の翻訳モデルを学習し、目的言語の単言語データを原言語に翻訳し，疑似対訳コーパスを生成する。次に、擬似対訳コー パスを元の対訳コーパスと混合して原言語から目的言語の方向の翻訳モデルを学習する。この手法は目
的言語側の正しい文を使用することで、質の低い擬似的な原言語を用いても翻訳品質の改善が可能であ ることを示している。逆翻訳手法の有効性は他の論文 [7] でも報告されており、特に対訳コーパスが小規模なときに有効に働くことが示されている。

逆翻訳の関連研究として、Zhang ら [8] は原言語側 の単言語データを翻訳し、疑似対訳コーパスを構成 してモデルを学習するという自己学習 (self-learning)手法を提案した。Hoang らと森田らは言語対の両方側の単語データを用いる反復的逆翻訳手法 (IBT: Iterative Back Translation) を提案した [4,5]。 反復的逆翻訳手法では原言語側と目的言語側の単言語データ を使用し、逆翻訳を繰り返すことで疑似対訳コーパ スの生成、モデルの再学習を繰り返す。この手法は 低資源言語対においても有効に働くことが示されて いる。Imamura ら [9] は、逆翻訳においてランダム サンプリングで逆翻訳を行う手法を調査し、ベスト サンプリングより有効に働くことを報告した。

## 2.2 双方向ニューラル機械翻訳

Dinh ら [6] は、学習データを (原言語, 目的言語) のペアとそれを入れ替えた (目的言語, 原言語) のぺ アから成る 2 倍のサイズのデータに構成を変更し、翻訳対象の 2 言語間の翻訳を一つの双方向翻訳モ デルで学習、最後に目的の単一方向学習データで fine-tuning することで、各方向の翻訳品質を改善で きることを報告した。この手法では全学習時間の $\frac{1}{3}$ で双方向翻訳モデルを学習し、残る時間で単方向翻訳モデルを学習する。

## 3 提案手法

## 3.1 BiNMT モデル

対訳コーパスからソースとターゲットが逆方向 の 2 つの学習データを構築し、ソース側の先頭に翻訳方向を示すタグを追加する。これらを連結して新 たな学習データを構成し双方向翻訳モデルの学習 に用いる。その際、単一方向の翻訳に学習が一方的 に偏るのを避けるため、各方向の対訳を交互に配置 するように学習データを構成する。双方向ニューラ ル機械翻訳モデルの構成を図 1 に示す。翻訳の対訳 コーパスは $\mathrm{X}$ 言語と $\mathrm{Y}$ 言語から構成される。 $C_{X}$ は $\mathrm{X}$ 言語のコーパス、 $C_{Y}$ は $\mathrm{Y}$ 言語のコーパスである。

オリジナル

対訳コーパス

図 1 BiNMT モデルの構成

BiNMT の目的関数を次に式に示す。

$
\overleftrightarrow{\mathscr{L}}(\theta)=-\sum_{(\mathbf{x}, \mathbf{y})}(\log p(\mathbf{y} \mid \mathbf{x} ; \theta)+\log p(\mathbf{x} \mid \mathbf{y} ; \theta))
$

ここでは $\mathbf{x}$ が $\mathrm{X}$ 言語の文、 $\mathbf{y}$ が $\mathrm{Y}$ 言語の文である。

## 3.2 BiNMT モデルに基づく反復的な逆翻訳

提案法は BiNMT と反復的逆翻訳を組み合わせる。 ただし、外部の単言語コーパスは使わずに元の対訳 コーパスを単言語コーパス対と見なすことで、新 たな疑似対訳コーパスの生成、BiNMT モデルをの 再学習を繰り返す。また、Imamura ら [9] と同様に、 ランダムサンプリングを用いて逆翻訳を行い、疑似対訳コーパスを生成する。本手法に用いる反復的逆翻訳の手順を以下に示す。言語 $\mathrm{X}$ を言語 $\mathrm{Y}$ に翻訳 することは $\mathrm{X} \rightarrow \mathrm{Y}$, 言語 $\mathrm{Y}$ を言語 $\mathrm{X}$ に翻訳すること は $\mathrm{Y} \rightarrow \mathrm{X}$, 言語 $\mathrm{X}$ と言語 $\mathrm{Y}$ の双方向翻訳は $\mathrm{X} \leftrightarrow \mathrm{Y}$ と する。

1 文対応のとれた言語 $\mathrm{X}$ と $\mathrm{Y}$ のコーパス対 $C_{X}$ と $C_{Y}$ コーパスから $\mathrm{X} \leftrightarrow \mathrm{Y}$ の双方向翻訳モデルを 学習する。このモデルをモデル 0 とする。以下の手順で $\mathrm{X} \leftrightarrow \mathrm{Y}$ の双方向の翻訳モデルを再学習する. $\mathrm{i}$ の初期值は 0 である。

2.1 双方向の翻訳モデル $\mathrm{i}$ を用いて $\mathrm{X} \rightarrow \mathrm{Y}$ 方向 で単言語コーパス $C_{x}$ を翻訳し、 $C_{y}^{i}$ を得る。

図 2 反復的な逆翻訳を用いた BiNMT モデル学習

2.2 双方向の翻訳モデル $\mathrm{i}$ を用いて $\mathrm{Y} \rightarrow \mathrm{X}$ 方向 で単言語コーパス $C_{y}$ を翻訳し、 $C_{x}^{i}$ を得る。

2.3 文対応の取れたコーパス対 $C_{X}$ と $C_{Y}$ で学習データを初期化する。 $C_{x}^{i}$ と $C_{y}$ の組みを 1 つの疑似対訳コーパス $(\mathrm{X} \rightarrow \mathrm{Y})$ として学習データに追加する。同様に $C_{y}^{i}$ と $C_{x}$ の 組みを疑似対訳コーパス $(\mathrm{Y} \rightarrow \mathrm{X})$ として学習データに加え、新しい学習データを構築 する。

2.4 モデル i 新しい学習データでファイン チューニングし、得られた双方向翻訳モデ ルをモデル i+1 とする。

ファインチューニングし、新しい学習 データで双方向翻訳モデルを再学習し、

$3 i=i+1$ としてステップ 2 に戻る。

提案法のモデル学習の流れを図 2 に示す。

## 4 実験

## 4.1 データ

本稿では International Workshop on Spoken Language Translation (IWSLT-2015) の英語・ベトナム語翻訳タ スクの小規模対訳コーパスを用い、英語 $\rightarrow$ ベト ナム語及びベトナム語 $\rightarrow$ 英語の 2 つの方向の翻訳タスクで実験を行った。IWSLT 2015 コーパスの tst2012を開発データとし、tst2013をテストデータ
として使用した。越英対訳コーパスの文数を表 4.1 に示す。英語文に対しては Moses キットの tokenizer で文をトークン化した。ベトナム語文に対してはは pyvi ライブラリの ViTokenizer で文をトークン化し た。英語の文とべトナム語の文は Moses の truecaser を用いて処理を行った。また、原言語の文と目的言語の文を一括して部分単語単位を求める joint Byte Pair Encoding(BPE) [10] で 5000 のサブワードに分割 した。

表 1 IWSLT2015 越英コーパスの対訳文体数

## 4.2 実験設定

ニューラル機械翻訳システムの実装には fairseq を 使用した。各方向の翻訳モデルと双方向ニューラル 機械翻訳モデルは fairseq の Transformer モデル [2] を 用いた。実験の全てのモデルは同じハイパーパラ メータの設定を使用した。学習率が $1 \times 10^{-8}$ 、ウォー ムアップが 4000 ステップ、学習率減衰が逆平方根、 ラベル平滑化が 0.1 、ドロップアウトが 0.1 、重み減衰が 0.0001 、損失関数がラベル平滑化クロスエント ロピーである。モデル学習する際、Adam の最適化

アルゴリズム $\left(\beta_{1}=0.9, \beta_{2}=0.98\right)$ を使用した。双方向翻訳モデルの訓練データのソース側には各文の 先頭に翻訳方向を示すタグ $<e 2 v>$ (英語 $\rightarrow$ ベトナ 厶語), $<v 2 e>$ (ベトナム語 $\rightarrow$ 英語) を追加した。逆翻訳を行う際、ランダムサンプリングで単言語デー タを翻訳した。反復的逆翻訳は、反復を 4 回まで繰 り返した。ランダムサンプリングは予備実験により temperature $=0.8$ に設定した。

## 4.3 評価方法

機械翻訳モデルの自動評価手法として BLEUを用 いた。越英対訳コーパスで各単方向ニューラル機械翻訳モデルを学習し、ベースラインとする。提案す る双方向ニューラル機械翻訳モデルを学習し、ベー スラインと比較し、双方向翻訳モデルが翻訳性能を 改善できるかを調査する。さらに、反復的な逆翻訳手法を適用し、翻訳性能を改善できるか調査する。 また、Koehn らが提案したブートストラップ法 [11] により 1000 サンプルで有意差検定を行う。

## 4.4 実験結果

ベースラインの単方向翻訳モデルと双方向翻訳モ デルの翻訳性能を表 2 に示す。ベースラインと比較 すると、双方向翻訳モデルが英越方向翻訳で+1.15、越英方向翻訳で+1.6を向上した。また、ベースライ ンと双方向翻訳モデルとの間で BLEU スコアの有意差検定 $(p<0.01)$ を行い、両方向の翻訳性能には有意差が存在することが確認した。

表 2

2 単方向翻訳モデルと双方向翻訳モデルの翻訳性能

反復的逆翻訳手法によって、各反復回数での翻訳性能を表 3 と図 3 に示す。反復的逆翻訳手法によ り、双方向翻訳モデルはそれぞれ英越翻訳方向で十 2.61、越英翻訳方向で +3.05 を改善した。英越翻訳方向について、BiNMT モデル 1 と BiNMT モデル 3 の 差に対して有意差検定を行い、有意水準 $p<0.01$ で 差があることが確認できた。越英翻訳方向について は、BiNMT モデル 1 と BiNMT モデル 2 の差に対し て検定を行い、有意水準 $p<0.05$ で差があることが 確認された。表 3 IBTを用いた双方向翻訳モデル

図 3 繰り返し学習の各モデルの BLEU スコア

## 5 おわりに

双方向翻訳モデルを学習し、元の対訳コーパスを 単言語コーパスとみなして逆翻訳とモデル更新を繰 り返す反復的逆翻訳手法により、両方向の翻訳性能 を同時に改善する手法を提案した。IWSLT2015 の英越対訳コーパスで実験を行い、有効性を確認した。各翻訳方向の単方向翻訳モデルと比較し、越英双方向翻訳モデルは越英翻訳方向と英越翻訳方向を同時 に改善でき、反復的逆翻訳で更なる双方向翻訳モデ ルの性能向上を達成した。本手法ではモデルの変更 が必要なく、また追加の学習データを使うことなく 元の学習データのみで両方向の翻訳性能を同時に向上させることができる。

本稿の実験では英越言語対の小規模対訳コーパス に行なったが、今後の研究として、他の言語対と大規模対訳コーパスに本手法の有効性を検証したい。 コーパスサイズはどのように影響するかを調査した い。また、本手法と他の手法を組み合わせ、翻訳精度をさらに向上させる手法を研究したい。

## 謝辞

本研究は JSPS 科研費 19K11980 および 18H01062 の助成を受けた。

## 参考文献

[1] Minh-Thang Luong, Hieu Pham, and Christopher D. Manning. Effective approaches to attention-based neural machine translation. CoRR, abs/1508.04025, 2015.

[2] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. CoRR, abs/1706.03762, 2017.

[3] Rico Sennrich, Barry Haddow, and Alexandra Birch. Improving neural machine translation models with monolingual data. CoRR, abs/1511.06709, 2015.

[4] Vu Cong Duy Hoang, Philipp Koehn, Gholamreza Haffari, and Trevor Cohn. Iterative back-translation for neural machine translation. In Proceedings of the 2nd Workshop on Neural Machine Translation and Generation, pages 18-24, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[5] 森田知熙, 秋葉 友良, and 塚田 元. 双方向の逆翻訳を 利用したニューラル機械翻訳の教師なし適応の検討. 言語処理学会, 2018 .

[6] Liang Ding, Di Wu, and Dacheng Tao. Improving neural machine translation by bidirectional training. CoRR, abs/2109.07780, 2021.

[7] Alberto Poncelas, Dimitar Sht. Shterionov, Andy Way, Gideon Maillette de Buy Wenniger, and Peyman Passban. Investigating backtranslation in neural machine translation. CoRR, abs/1804.06189, 2018.

[8] Jiajun Zhang and Chengqing Zong. Exploiting sourceside monolingual data in neural machine translation. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pages 1535-1545, Austin, Texas, November 2016. Association for Computational Linguistics.

[9] Kenji Imamura, Atsushi Fujita, and Eiichiro Sumita. Enhancement of encoder and attention using target monolingual corpora in neural machine translation. In Proceedings of the 2nd Workshop on Neural Machine Translation and Generation, pages 55-63, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[10] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. CoRR, abs/1508.07909, 2015.

[11] Philipp Koehn. Statistical significance tests for machine translation evaluation. In Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing, pages 388-395, Barcelona, Spain, July 2004. Association for Computational Linguistics.


# BERT の転移学習と Mis-leading データの削除による 識別精度の改善

岩本昇太
茨城大学工学部
情報工学科
18t4012t@vc.ibaraki.ac.jp
}

新納浩幸
茨城大学大学院理工学研究科
情報科学領域
hiroyuki.shinnou.0828@vc.ibaraki.ac.jp

## 概要

自然言語処理のタスクを機械学習で解決すると き，ラベル付き訓練データの不足に対処する必要が ある。転移学習はターゲット領域のラベル付き訓練データが全く無い場合にも有効な手法であるが，「負の転移」と呼ばれる問題に対処する必要がある.本稿では BERTを用いた文書分類タスクで転移学習を行うときに負の転移に対処するため Mis-leading データの削除と BERT の転移学習を行い，文書分類 タスクで識別精度を改善できることを確認した。

## 1 はじめに

自然言語処理のタスクの多くは，機械学習の手法 により解決できる．ただし，そのためには大量のラ ベル付き訓練データが必要となる．BERT [1] のよう な事前学習済みモデルを用いる場合も，fine-tuning のためのラベル付き訓練データは必要となる。転移学習を用いれば，ターゲット領域の訓練データが全 く無い場合にも対応できる。しかし，転移学習を用 いる場合は負の転移 [2] と呼ばれる問題に対処する 必要がある．負の転移は，ソース領域のデータと ターゲット領域のデータの性質が著しく異なるとき にソース領域のデータを訓練に用いると識別精度が 悪化する現象である。

本稿では，BERTを用いた文書分類タスクで転移学習を行うときに Mis-leading データの削除と BERT の追加学習を行い，識別精度の改善を試みる。 Mis-leading データは，ソース領域の訓練データのう ちターゲット領域での識別精度に悪影響を及ぼすも のである．事前に Mis-leading データを削除するこ とで，ターゲット領域での識別精度の向上が期待で きる。また，ターゲット領域のラベルなしデータを 用いて BERT の追加学習を行うことで，fine-tuning後の識別精度の向上が期待できる [3]. Mis-leading データの削除に加えて BERT の追加学習も行い，識別精度のさらなる改善を図る。

## 2 関連研究

## 2.1 BERT

Bidirectional Encoder Representations from Transformers(BERT) [1] は 2018 年に Google より公開された事前学習済みモデルである。BERT は入力としてトー クン列（単語もしくはサブワード）を受け取り，そ れに対応する埋め込み表現列を出力する。ここで，出力される埋め込み表現は文脈を考慮したものと なっている。大規模コーパスにより事前学習したモ デルを下流タスクのラベル付きデータで fine-tuning することで，文書分類・固有表現抽出・質問応答な ど様々なタスクに対応できる。日本語版の事前学習済みモデルとして，東北大学で公開されているモデ ル1)などがある.

## 2.2 タスク適応型事前学習

Gururangan ら [3] は BERT の派生モデルである RoBERTa [4] の領域適応のためにタスク適応型事前学習 (Task-Adaptive Pretraining; TAPT) を提案した. タスク適応型事前学習は，事前学習済みモデルに対 して解きたいタスクのテキストデータを用いた追加 の事前学習を行う手法である。

## 2.3 負の転移

負の転移 (Negative Transfer) [2] は，ソース領域の データとターゲット領域のデータの性質が著しく異 なるときにソース領域のデータを訓練に用いると 識別精度が悪化する現象である。転移学習では，ど

のようにして負の転移を検知・回避するかが問題と なる.

## 3 提案手法

タスク適応型事前学習を行えば，BERTを用いた 文書分類タスクにおける識別精度の改善は実現でき る. しかし，転移学習を用いる場合に負の転移が生 じうるという問題は解消されていない。本稿では， BERTを用いた文書分類タスクで転移学習を行うと きに Mis-leading データの削除と BERT の追加学習 を行うことで識別精度を改善する手法を提案する。

Mis-leading データを削除する方法は以下の通りで ある.

・ターゲット領域のラベルなしデータを離散確率分布 $P$ で表現する

・ソース領域の個々の訓練データを離散確率分布 $Q_{k}$ で表現する（ $k$ 番目の文書に $Q_{k}$ が対応）
- Kullback-Leibler 情報量 $D_{K L}\left(P \| Q_{k}\right)$ 計算し，そ の値が大きいラベル付きデータを削除する

## 3.1 BERT を用いた文書分類タスクの転移学習

本稿では，下記の手順により BERTを用いた文書分類タスクの転移学習を行う.

1. BERTをソース領域のラベル付きデータで fine-tuning して文書分類器を作成する.

2. 作成した文書分類器により, ターゲット領域で 文書分類を行う。

BERT の fine-tuning では，ターゲット領域のラベル 付きデータは使用しない。

## 3.2 Kullback-Leibler 情報量

Kullback-Leibler 情報量は，情報理論や統計学にお いて 2 つの確率分布の類似度を表す尺度である。あ る 2 の離散確率分布 $P, Q$ に対する Kullback-Leibler 情報量 $D_{K L}(P \| Q)$ は，式(1)となる.

$
D_{K L}(P \| Q)=\sum_{i} P(i) \log \frac{P(i)}{Q(i)}
$

ここで $P(i), Q(i)$ はそれぞれ離散確率分布 $P, Q$ に 従って $i$ が選ばれる確率である.

## 3.3 文書の離散確率分布表現

文書を離散確率分布として表現するためには，ま ず文書をべクトル化しなければならない。文書のべ クトル化には Bag-of-Wordsを用いる. このとき, 単語の重み付けには文書内での単語の出現頻度 (Term Frequency)を用いる. 文書 Doc のベクトル表現は式 (2)のようになる.

$
\left(t f_{1}, t f_{2}, \ldots, t f_{N_{w}}\right)
$

ここで, $t f_{i}$ は単語分割時に用いた辞書で $i$ 番目に 登録されている単語が文書 $D o c$ 内で登場した回数, $N_{w}$ は単語分割時に用いた辞書に収録されている単語数である.

式 (2)より文書を実数値のベクトルで表現できる ようになったが，単語を確率変数とし，文書を離散確率分布として表現するためには，式 (2) のべクト ルをさらに変換する必要がある．そこで，式 (2) の ベクトル表現を式 (3) のように変換する.

$
\begin{array}{r}
\left(v_{1}, v_{2}, \ldots, v_{N_{w}}\right) \\
v_{i}=\frac{t f_{i}}{Z}, \quad Z=\sum_{i=1}^{N_{w}} t f_{i}
\end{array}
$

確率は次の 2 条件を満たす。
- $v_{i} \geq 0$ （確率の值は非負の実数）
- $\sum_{i=1}^{N_{w}} v_{i}=1$ (確率の総和は 1)

式 (3) のベクトルは， $Z$ の定め方より $\sum_{i=1}^{N_{w}} v_{i}=1$ （確率の総和は 1）を満たす。また， $t f_{i}$ は明らかに 非負の値をとるため， $v_{i} \geq 0$ （確率の値は非負の実数）を満たす.したがって，上記の方法により文書 を離散確率分布として表現できる.

## 3.4 Mis-leading データの削除

Mis-leading データは，ソース領域の訓練データの うちターゲット領域での識別精度に悪影響を及ぼす ものである. 本節では Mis-leading データを削除す る方法を説明する。

訓練データとなるラベル付きの文書の集合を $D_{S}=\left.\{D o c_{1}, D o c_{2}, \ldots, D o c_{N}\right.\}$ とする. $D_{S}$ には $N$ 件 の文書が属し， $D_{S}$ に属する文書はすべてソース領域に属する。また，ラベルなしの文書のうちター ゲット領域に属するものの集合を $D_{T}$ とする.

Mis-leading データを削除する手順は以下の通りで ある.
1. $D_{T}$ に属する文書すべてを 1 つの文書とみなし， 3.3 節で説明した手法により離散確率分布 $P$ を 得る.
2. $D_{S}$ に属する文書に 3.3 節で説明した手法を適用し，離散確率分布 $Q_{1}, Q_{2}, \ldots, Q_{N}$ を得る. $k$
番目の文書 $D o c_{k}$ に対応する離散確率分布が $Q_{k}$ である.

3. 各離散確率分布 $Q_{1}, Q_{2}, \ldots, Q_{N}$ について Kullback-Leibler 情報量 $D_{K L}\left(P \| Q_{k}\right)$ を計算 する.

4. ラベルに基づいて訓練データをグループ分け する. 各グループ内で Kullback-Leibler 情報量 $D_{K L}\left(P \| Q_{k}\right)$ の値の大きい順に文書を並べ替 え, $D_{K L}\left(P \| Q_{k}\right)$ の值の大きい方から一定数 の文書を取り出す. 取り出した文書，すなわち $D_{K L}\left(P \| Q_{k}\right)$ の値の大きい文書を Mis-leading データとみなし，訓練データの集合から削除 する。

## 3.5 BERT の追加学習

BERT を fine-tuning して文書分類器を作成する前 に，タスク適応型事前学習を行う. 本稿ではデータ セットに含まれる全領域のラベルなしデータを用い て追加学習を行い, その後ターゲット領域のラベル なしデータを用いて追加学習を行った.

## 4 実験

BERTを用いた文書分類タスクで転移学習を行 うとき, Mis-leading データの削除と BERT の追加学習を行った場合の識別精度を確認した. Mis-leading データの削除と BERT の追加学習を行わずに転移学習を行った場合 (ベースライン) の識別精度と提案手法を用いたときの識別精度を比較し，提案手法の 有効性を確認した。

## 4.1 事前学習済みモデル

東北大学で公開されているモデル (BERT-basejapanese)を使用した。

## 4.2 実験用データセット

実験には Webis-CLS-10 データセットを用いた. このデータセットには日本語及び英語の Amazon レ ビュー文書が収録されている. 本実験では日本語の 文書を用いる. ラベルは星の数であり， 1 から 5 ま での 5 段階である.ただしラベルが 3（星 3つ）の データは存在しない. 本実験ではラベルが 4,5 の データを positive, ラベルが 1,2 のデータを negative として感情分析（2 值分類）を行った.

このデータセットには books, dvd, music の 3 つの 領域がある。各領域には訓練データ 2000 件，テス

トデータ 2000 件が収録されている. この 2 つはラ ベル付きデータである. また，訓練データ・テスト データとは別にラベルなしデータが収録されてい る. データセットの内訳を表 1 に示す.

実験では，ソース領域の訓練データを fine-tuning の訓練データとした. また，ターゲット領域の訓練 データを検証用データとし, 識別精度の最終的な評価にはターゲット領域のテストデータを用いた.

## 4.3Mis-leading データの削除

3.4 節で説明した手法により, ソース領域の訓練 データから Mis-leading データを削除した. 文書の 単語分割には BERT-base-japanese の tokenizer を用い た. 削除する件数は $200,400,600,800,1000$ のいず れかとし，検証用データの識別精度をもとに削除す る件数を選択した。

## 4.4 BERT の追加学習

BERT-base-japanese に対してタスク適応型事前学習を行った. まず全領域のラベルなしデータ及び 訓練データを用いて 10epoch の追加学習を行った. ここで，ラベルなしデータの件数は領域により異 なる. 本稿では books と dvd についてはラベルな しデータをランダム抽出し, music のラベルなし データと同じ件数のラベルなしデータを用意した. music については全てのラベルなしデータを用いた.全領域のラベルなしデータ及び訓練データを用いた 追加学習により得られたモデルをモデル A とする。

更に，モデル A に対してターゲット領域のラベル なしデータ及び訓練データを用いて 10epoch の追加学習を行った. どの領域についても, モデル A の追加学習で用いたものと同一のラベルなしデータで追加学習を行った.

なお，追加学習では Masked Language Model のみ を行い, Next Sentence Prediction は省略した.

## 4.5 文書分類器の作成

モデル A に対してターゲット領域のラベルな しデータ及び訓練データを用いて追加学習を行っ
表 2 実験結果 (正解率)

たモデルを fine-tuning し, 文書分類器を作成した. fine-tuning にはソース領域の訓練データのうち, 3.4 節で説明した手法により Mis-leading データを削除 したものを用いた。

## 4.6 実験結果

提案手法を用いて転移学習を行った場合の識別精度及び提案手法を用いずに転移学習を行った 場合（ベースライン）の識別精度を表 2 に示す。 ベースラインの数値は, 追加学習を行っていない BERT-base-japanese をソース領域の訓練データ全て で fine-tuning して作成した文書分類器をターゲット 領域で用いた場合の正解率である.ソース領域と ターゲット領域の組み合わせは計 6 パターンある が，全パターンについて文書分類タスクを行い，識別精度を評価した。

表 2 の通り，ソース領域とターゲット領域の組み 合わせの全パターンで提案手法での正解率がベース ラインの正解率を上回った.

## 5 考察

以下，ソース領域とターゲット領域の組を（ソー ス領域，ターゲット領域）と表記することがある.

ソース領域とターゲット領域の各組み合わせに ついて, Mis-leading データを削除するために計算し た Kullback-Leibler 情報量 $D_{K L}\left(P \| Q_{k}\right)$ のばらつき を図 1 の箱ひげ図に表した。

ベースラインの正解率と提案手法の正解率を比較したとき，正解率の上がり幅が最も大きかった ソース領域とターゲット領域の組は (dvd, books) で ある。また，正解率の上がり幅が最も小さかった組 は (music, dvd) である.

図 1 の箱ひげ図より，(dvd, books) では他の組よ りも Kullback-Leibler 情報量の散らばりが大きく, Kullback-Leibler 情報量の中央值は小さいとわかる.一方で，(music, dvd)では他の組よりも Kullback-

図 1 Kullback-Leibler 情報量 $D_{K L}\left(P \| Q_{k}\right)$ のばらつき。箱の左のラベルはソース領域とターゲット領域の組（ソー ス，ターゲット).

Leibler 情報量の散らばりが小さく，Kullback-Leibler 情報量の中央値は比較的大きいとわかる。このよう な Kullback-Leibler 情報量 のばらつきが，Mis-leading データを削除する効果の大きさに影響していると考 えられる。

## 6 おわりに

本稿では，BERTを用いた文書分類タスクで転移学習を行うときに Mis-leading データの削除と BERT の追加学習を行い，識別精度の改善を試みた. 実験 により, Mis-leading データの削除と BERT の追加学習を行わない転移学習と比較したときに識別精度が 改善されることを確認できた。

## 謝辞

本研究は JSPS 科研費 JP19K12093 および 2021 年度国立情報学研究所公募型共同研究 (2021-FC05) の助成を受けています.

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[2] Michael T Rosenstein, Zvika Marx, Leslie Pack Kaelbling, and Thomas G Dietterich. To transfer or not to transfer. In NIPS 2005 workshop on transfer learning, Vol. 898, 2005 .

[3] Suchin Gururangan, Ana Marasović, Swabha Swayamdipta, Kyle Lo, Iz Beltagy, Doug Downey, and Noah A. Smith. Don't stop pretraining: Adapt language models to domains and tasks. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 8342-8360, Online, July 2020. Association for Computational Linguistics.

[4] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized BERT pretraining approach. CoRR, Vol. abs/1907.11692, , 2019.


# 書き手と読み手の怒りの感情認識の差の原因となる表現の獲得

中川翼 1 北田 俊輔 2 彌冨 仁 ${ }^{1,2}$
1 法政大学理工学部応用情報工学科 2 法政大学理工学研究科応用情報工学専攻
\{tsubasa.nakagawa.5p, shunsuke.kitada.8y\}@stu.hosei.ac.jp
iyatomi@hosei.ac.jp

## 概要

SNS 等，オンライン上でやりとりされる文章から 相手の感情を正しく推定するのは時に難しく，書き 手と読み手の間での認識・解釈の違いはトラブルに つながる可能性がある. 本研究では，書き手と読み 手の感情認識の差に着目した上で，感情認識の差が 特に大きい「怒り」の感情に焦点を当て，その差が 大きい文章を予測する識別器を構築するとともに，感情認識の差を生み出している表現を明らかにする ための分析を行った. 検出された表現は, それ自体 に怒りの感情を表す意味は持たないため，読み手が 読み取るのは難しいが，書いた本人は確かに怒りの 感情を持つ傾向にあった.

## 1 はじめに

感情分析は，与えられた文章から感情を推定する 自然言語処理の主要なタスクの一つである [1]. 感情を考慮した対話システム [2] や商品レビューから の意見抽出 [3] など様々な用途がある. さらに SNS 等を中心としたオンライン上での文章のやりとりの 増加を受けて，特に Twitter の文章を対象に感情極性 を考慮した研究 [4] も盛んに行われている. 文章か ら相手の感情を正確に推定することが，オンライン 上でのコミュニケーションでは重要である.

近年では，感情極性（肯定的・否定的）の推定 [5] だけでなく, 感情の種類や強度の推定 [6] も試みら れている。感情の種類を考慮した推定では，Ekman の 6 感情（喜び・悲しみ・驚き・怒り・恐れ・嫌悪） [7] や Plutchik の 8 感情（喜び・悲しみ・期待・驚き・怒り・恐れ・嫌悪・信頼） [8] が代表的な基本感情 として用いられている. 相手の感情をより正確に把握するためには，このような粒度の細かい単位での 推定が重要になる. 一方で機械学習を用いた感情分析において，このような多様な感情を対象にした場合，感情は人の経験や背景にも依存するため，文章
のみから正確な推定を行うことは難しい.

これらの多くの先行研究では文章の読み手が付与したラベルを用いて読み手の感情に沿った推定 が行われてきたが，文章の書き手が持つ感情と読 み手が受ける感情には差が存在すると考えられる。 Kajiwara ら [9] は SNS 上の文章を対象にテキストの 書き手による主観的な感情強度ラベルとテキストの 読み手による客観的な感情強度ラベルの両方を収集 したデータセット WRIME を構築・公開した. 彼ら は書き手と読み手の感情強度の比較を行い，怒りや 信頼の感情を中心に，読み手は書き手の感情を十分 に読み取れず，過小評価する傾向にあると述べてい る. 我々は，こうした書き手と読み手の感情認識の 差を生み出す表現を明らかにすることが相手の感情 をより正確に推定する上で重要になると考えた。

本研究では書き手と読み手の両方による 8 種類の 感情強度が付与された文章から，今回は感情認識の 差が大きい「怒り」の感情に焦点を当て，BERT [10] を用いてその差が大きい文章の予測を行うととも に，その差を生み出していると思われる表現の検出 を試みた。検出された単語は，それ自体に怒りの感情を表す意味は持たないため，読み手が読み取るの は難しいが，怒りの感情を持った人間が文章を書く 際に無意識に用いている表現であると言える。

## 2 データセットと実験手法

本研究で我々は，書き手と読み手の感情強度が付与された WRIME データセット1)を用いて書き手と 読み手の感情認識の差の分析を行った，次にその分析結果から，差の大きい「怒り」の感情に着目し， その差が大きい文章を予測する識別器を構築した。 さらに，その差を生み出している表現の検出を試 みた。

## 書き手

(a) 書き手による感情ラベルの共起行列

## 読み手

(b) 読み手による感情ラベルの共起行列

図 1: 書き手と読み手のそれぞれにおける感情ラべ ルの共起行列

## 2.1 データセットとその分析

WRIME データセットは Kajiwara ら [9] によって 構築された日本語の感情分析データセットである. SNS に投稿された計 43,200 件の文章に対して，その 投稿者本人とその内容を読んだ第三者 3 人による 8 種類の感情強度が 4 段階 $(0 \sim 3)$ で付与されてい る. 付与された 8 種類の感情強度は Plutchik $の 8$ 感情 [8] に基づく，我々は，この書き手と読み手の両方の感情ラベルを持つという特性が双方の感情認識の差を明らかにする上で適していると考え，この データセットを用いて書き手と読み手のそれぞれの 感情ラベルについて分析を行った.

図 1 に，書き手と読み手のそれぞれにおける，感情強度が 2 以上である感情ラベルの共起行列を示
す. 書き手の感情強度は投稿者本人による感情ラべ ルであり，読み手の感情強度は第三者 3 人による感情ラベルを平均したものである．書き手による感情 ラベルの共起行列 $1 \mathrm{a}$ と読み手による感情ラベルの 共起行列 $1 \mathrm{~b}$ を比べると, 読み手は文章から一つの 感情に絞って読み取る傾向にあるのに対し，書き手 は複数の感情が共起する傾向にあり，より複雑であ ることが分かる．また，各感情のラベル数に着目す ると，読み手は書き手の感情を十分に読み取れず，過小評価する傾向にある．特に「怒り」と「信頼」 の感情においてその傾向は顕著である．具体的に は，怒りのラベルでは書き手が 3,040 件であるのに 対し，読み手は 543 件しか認識できていない。信頼 のラベルについても同様に書き手が 5,167 件である のに対し，読み手は 185 件しか認識できていないた め，読み手は書き手が持つ「怒り」や「信頼」の感情を十分に読み取れていないと言える。

## 2.2 隠れ怒り文章の予測モデル

上述の分析結果から，本研究では書き手と読み手 の感情認識の差が大きい「怒り」の感情に焦点を当 て，その差が大きい文章を予測する識別器を構築し た. 我々は， 4 段階 $(0 \sim 3)$ で付与された怒りの感情強度において，書き手の強度が読み手の強度を 2 以上上回っている文章は，読み手が書き手の怒りを 十分に読み取れておらず，第三者が怒りの感情を 推定しにくい“隠れ怒り”文章であると考えた。計 43,200 件の WRIME データセットを 4：1の割合で訓練用と評価用に分割し，書き手の怒りの感情強度が 読み手の強度を 2 以上上回っている“隠れ怒り”文章を検出する 2 值分類を行った. 感情強度の差を求 める際，書き手の強度が読み手の強度を上回るケー スと読み手の強度が書き手の強度を上回るケースの 2 つの可能性が考えられるが，怒りの感情ラベルの みを見た場合，後者のケースはほぼ見られなかった ため，今回は考慮しなかった。

“隠れ怒り”文章の予測モデルには，BERT [10] を ベースとするモデルを用いた。日本語 Wikipedia で 事前学習された WholeWordMasking モデル2)を使用 し，モデルの実装には Transformers ${ }^{3}$ [11]を用いた. BERT の最終層の [CLS] トークンから得られた 768 次元の分散表現を全結合層に入力し，“隠れ怒り”文章を検出する 2 值分類を行った. 損失関数に交差エ

2) https://huggingface.co/cl-tohoku/

3) https://github.com/huggingface/transformers
表 1: “隠れ怒り”文章を検出する 2 值分類の性能

図 2: “隠れ怒り”文章を検出する 2 值分類の ROC 曲線

ントロピー誤差，最適化手法に Adam [12] を使用し， バッチサイズは 32 , ドロップアウト率は 0.1 , 学習率は $2 e^{-5}$ ，学習回数は 3 回とした。また，計 34,560 件の訓練用データのうち，検出対象である “隠れ怒 り" 文章が 1,910 件と全体と比べて少ないため，偏 りの影響が減るよう損失関数への重み付けとオー バーサンプリングを行った. 評価指標には，ROC曲線下の面積である AUCを用いた。

## 2.3 怒りの感情認識の差を生み出している 単語の検出方法

“隠れ怒り”文章の予測で真陽性であった文章にお いて出現頻度が高い上位 10 単語を品詞別で求めた.次に，求めた上位 10 単語を対象に真陽性であった 文章における出現頻度と真陰性であった文章におけ る出現頻度の両方を求め, 真陽性での出現頻度が真陰性での出現頻度を特に大きく上回っている単語を 抽出した. ここでの出現頻度は，対象の単語の出現回数を真陽（陰）性の文章群における全単語の出現回数の和で割った值である. さらに, 抽出された単語を含む文章における書き手と読み手 3 人の怒りの 感情強度の平均をそれぞれ求め, 抽出された単語が 書き手と読み手の怒りの感情認識に差を生み出して いるか検証した。

## 3 実験結果

図 3: “隠れ怒り”文章の予測で真陽性であった文章 における頻出単語（上位 10 単語）

## 3.1 隠れ怒り文章の予測モデルの性能

表 1 に，“隠れ怒り”文章を検出する 2 值分類の性能を示す. 計 8,640 件の評価用データのうち，検出対象である“隠れ怒り”文章が 493 件とデータ数に 偏りがあるが，“隠れ怒り”文章を一定数検出できて いると言える.

図 2 に，“隠れ怒り”文章を検出する 2 值分類の ROC 曲線とその曲線下の面積である AUC を示す。 AUC が 0.771 （検出感度が $80.1 \%$ のき，特異度が $58.6 \%$ ）であることから，“隠れ怒り”文章の検出器 として一定の効果があることが確認できた。

## 3.2 怒りの感情認識の差を生み出している 単語の検出結果

図 3 に，“隠れ怒り” 文章の予測で真陽性であっ た文章において出現頻度の高かった上位 10 単語を 品詞別で求めたものを示す. 横軸は真陽性と真陰性 のそれぞれの文章における各単語の出現頻度を表し ている. 真陽性での出現頻度が真陰性での出現頻度 を大きく上回っている単語は，書き手と読み手の怒 りの感情認識に差を生み出している表現であると言 える. 名詞や助詞には出現頻度の差はほぼ見られな いが，接続詞や感動詞には真陽性での出現頻度が真陰性での出現頻度を大きく上回っている単語がいく
表 2: 検出された単語とそれらを含む文章での怒り ラベルの平均

つか見られる。

表 2 に, 図 3 の頻出単語の中で真陽性での出現頻度が真陰性での出現頻度を特に大きく上回っている 単語とその単語を含む文章での怒りラベルの平均を 示す. 差の欄の数値は，書き手の感情ラベルの平均 から読み手 3 人の感情ラベルの平均を差し引いた值 であり，この値が大きいほど書き手と読み手の怒り の感情認識に差があると言える. 検出された単語を 含む文章での差の方がデータセット全体での差より も大きい. よって，検出された単語は，それ自体に 怒りの感情を表す意味は持たないため，読み手が読 み取るのは難しいが，怒りの感情を持った人間が文章を書く際に無意識に用いている表現であると言 える.

検出された「ほんと」や「そんな」といった単語 は，あとに続く単語の意味を強調するために用いら れることが多く, 文脈次第で意味が変化する. デー タセットの文章とラベルのみを用いた分析では，こ うした単語同士の関係性を考慮した分析は難しい. BERT ベースの検出器を用いて文脈を考慮した分析 を行うことで，第三者が読み取りにくい“隠れ怒り”表現と思われる単語を検出することができたと考え られる。

## 4 おわりに

本研究では書き手と読み手の両方による 8 種類の 感情強度が付与された文章から，感情認識の差が大 きい「怒り」の感情に焦点を当て，BERT [10]を用 いてその差が大きい文章の予測を行うとともに，そ の差を生み出していると思われる表現の検出を試 みた。

BERT ベースの検出器を用いて文脈を考慮した分析を行うことで，「ほんと」や「そんな」といった，書き手と読み手の怒りの感情認識の差の原因となり 得る表現を検出することができた.読み手は文章から一つの感情に絞って読み取る傾向にあるのに対し，書き手は複数の感情が共起する 傾向にあったため，今後は複数の感情を考慮し，よ り書き手の感情に沿った推定モデルを構築したい.

## 参考文献

[1] Bing Liu. Sentiment analysis and opinion mining. Synthesis lectures on human language technologies, Vol. 5, No. 1, pp. 1-167, 2012.

[2] Mauajama Firdaus, Hardik Chauhan, Asif Ekbal, and Pushpak Bhattacharyya. Emosen: Generating sentiment and emotion controlled responses in a multimodal dialogue system. IEEE Transactions on Affective Computing, 2020.

[3] Xing Fang and Justin Zhan. Sentiment analysis using product review data. Journal of Big Data, Vol. 2, No. 1, pp. 1-14, 2015.

[4] Apoorv Agarwal, Boyi Xie, Ilia Vovsha, Owen Rambow, and Rebecca J Passonneau. Sentiment analysis of twitter data. In Proceedings of the workshop on language in social media (LSM 2011), pp. 30-38, 2011.

[5] Richard Socher, Alex Perelygin, Jean Wu, Jason Chuang, Christopher D Manning, Andrew Y Ng, and Christopher Potts. Recursive deep models for semantic compositionality over a sentiment treebank. In Proceedings of the 2013 conference on empirical methods in natural language processing, pp. 1631-1642, 2013.

[6] Laura Ana Maria Oberländer and Roman Klinger. An analysis of annotated corpora for emotion classification in text. In Proceedings of the 27th International Conference on Computational Linguistics, pp. 2104-2119, 2018.

[7] Paul Ekman. An argument for basic emotions. Cognition \& emotion, Vol. 6, No. 3-4, pp. 169-200, 1992.

[8] Robert Plutchik. A general psychoevolutionary theory of emotion. In Theories of emotion, pp. 3-33. Elsevier, 1980.

[9] Tomoyuki Kajiwara, Chenhui Chu, Noriko Takemura, Yuta Nakashima, and Hajime Nagahara. Wrime: A new dataset for emotional intensity estimation with subjective and objective annotations. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 2095-2104, 2021.

[10] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018.

[11] Thomas Wolf, Julien Chaumond, Lysandre Debut, Victor Sanh, Clement Delangue, Anthony Moi, Pierric Cistac, Morgan Funtowicz, Joe Davison, Sam Shleifer, et al. Transformers: State-of-the-art natural language processing. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 38-45, 2020.

[12] Diederik P Kingma and Jimmy Ba. Adam: A method for stochastic optimization. arXiv preprint arXiv:1412.6980, 2014 .


# 強化学習を用いたキャラクタらしさを持つ雑談応答の生成

清水健吾 上垣貴嗣 菊池英明
}

早稲田大学人間科学研究科

\{k.bi.sket@akane., t-gappy@fuji., kikuchi@\}waseda.jp
## 概要

雑談対話システムがユーザに「また対話したい」 と思わせるための方法として，特定のキャラクタら しさをシステム応答に付与する方法が考えられる。本研究は，強化学習を用いてニューラル対話生成モ デルを fine-tuning することで，特定のキャラクタら しい雑談応答を生成できる対話生成モデルを提案 する. Fine-tuning の際に，特定のキャラクタらしさ を持つ単一の発話データのみを必要とし，対話形式 のデータを必要としない点で既存研究と大きく異 なる。提案手法に基づく対話システムを評価した結果，対話システムのユーザに特定のキャラクタらし さの印象を与え，「また対話したい」と思わせる効果を確認した。

## 1 はじめに

雑談対話システムの研究において「ユーザにまた 対話したいと思わせられるか」という観点は大きな 課題となっている。ユーザに「また対話したい」と 思わせられる対話システムを開発することを目的と したコンペティションも開催されている $[1,2]$.

また，近年，人と極めて自然な雑談対話を行うこ とが出来る大規模なニューラル対話生成モデルが登場した $[3,4]$. これらの対話生成モデルに基づく対話システムが，よりユーザに「また対話したい」と 思わせるための方法として，システム応答に特定の キャラクタらしさを付与する方法が考えられる.

対話生成モデルに特定のキャラクタらしさを付与 する研究として, [5] が挙げられる. [5] は, 特定の キャラクタらしさを持つ対話データを収集すること で，特定のキャラクタらしい発話を生成する対話シ ステムを提案した。しかし，特定のキャラクタらし さを持つ対話形式のデータを収集するには大きなコ ストを要する。本研究の目的は，ある特定のキャラクタらしさを 持つ応答を生成する手法を提案することである. 特 に，対象のキャラクタらしさを持つ対話形式のデー タではなく，対象のキャラクタらしさを持つ単一の 発話データのみを使用して，発話にキャラクタらし さを付与する手法を提案する．具体的には，強化学習を用いて対話生成モデルを fine-tuning すること で，システム応答に特定のキャラクタらしさを付与 する．また，本研究が提案する手法によって，対話 システムのユーザに「このシステムとまた対話した い」と思わせることができるかについても併せて検証する。

## 2 提案手法

提案手法は以下の 3 つの段階で構成される.

1. 対話生成モデルを学習するために，Twitter 疑似対話データセットとキャラクタツイートデータ セットの 2 種類のデータセットを構築する.

2. Twitter 疑似対話データセットを用いて大規模言語モデルを学習することで対話生成モデルを構築する。

3. 強化学習を用いて，構築した対話生成モデル を fine-tuning する。まず，キャラクターツイー トデータセットを用いて，「対象のキャラクタ らしさ」を算出する報酬モデルを構築する．次 に，報酬モデルが算出する報酬を用いて対話生成モデルに強化学習を行う。

## 2.1 データセットの構築

## 2.1.1 Twitter 疑似対話データセット

Twitter のツイートとそのツイートに対するリプラ イの連鎖を疑似的な対話とみなし，Twitter 疑似対話 データセットを構築した。収集したツイート・リプ

ライ連鎖に対してURL，ハッシュタグ等の削除や，文字の正規化などの前処理を行った. ツイート・リ プライ連鎖の取得は 2020 年 3 月から 2021 年 12 月 にかけて行い，最終的に約 292 万件のデータセット を構築した。

## 2.1.2 キャラクタツイートデータセット

特定のキャラクタらしさを持つツイートを収集 し，キャラクタツイートデータセットを構築した。本研究では対象のキャラクタとして，アニメ「けも のフレンズ」1)に登場する「アライグマ」2)を採用し た. アライグマを取り上げた理由は以下の 2 点で ある.

・Twitter 上にアライグマを模したアカウントが多 く存在し，データを集めやすかった.
- 発言内容にキャラクタらしさが表れやすいキャ ラクタであるため，提案手法の有効性を確認し やすかった。

ツイートを収集した基準を以下に示す。

・有志がまとめた，Twitter 上に存在するアライグ マに模したアカウントの一覧3)に含まれている こと.

・アカウント名に「さん」が含まれ，アカウント のプロフィールに「のだ」が含まれていること.

収集したツィートに対して，2.1.1 節で述べた Twitter 疑似対話データセットと同様の前処理を施 した. さらに，感情分析タスク用に fine-tuning した BERT[6] ${ }^{4}$ を用いてツイートフィルタリングするこ とで，ポジティブな内容のツイートのみを残した.最終的に約 3.5 万件のデータセットを構築した.

## 2.2 対話生成モデルの構築

本研究では，対話を生成するモデルとして GPT2[7] を使用した。事前学習済み GPT-2 として rinna 社が公開しているモデル5)を使用した，GPT-2を 2.1.1 節で構築した Twitter 疑似対話データセットを 用いて学習することで, 日本語版DialoGPT[8]を構築 した. ミニバッチサイズを 16 , gradient accumulation stepsを2，学習率を $2.5 \times 10^{-5}$, optimizerとして

AdamW[9]を使用し，4 エポック学習を行った。

## 2.3 強化学習による fine-tuning

2.2 節で構築した DialoGPT が，対象のキャラクタ らしさを持つ応答を生成できるように強化学習に よって fine-tuning を行った.

## 2.3.1報酬モデル

まず，強化学習における報酬である「対象のキャ ラクタらしさ」を算出するための報酬モデルを構築 した. 報酬モデルとして RoBERTa[10]を使用した.事前学習済み RoBERTa として rinna 社が公開して いるモデル6)を使用した. RoBERTaを2.1.2 節で述 べたキャラクターツイートデータセットを用いて fine-tuning した.「対象のキャラクタらしさを持つツ イートか否か」の 2 値分類タスクを学習すること で，学習したモデルからの出力を「対象のキャラク タらしさ」とみなすことができる.

ミニバッチサイズを 256 , 学習率を $3.0 \times 10^{-5}$, optimizer として AdamW[9]を使用し，1 エポック学習を行った.

## 2.3.2 Proximal Policy Optimization (PPO)

本研究では, 強化学習アルゴリズムの一つであ る Proximal Policy Optimization (PPO)[11]を用いる. PPO を言語生成タスクに適用する際には，損失関数 は以下のように定義される。

$
\begin{gathered}
r(\theta)=\frac{\pi_{\theta}\left(y_{t} \mid s_{t}\right)}{\pi_{\text {old }}\left(y_{t} \mid s_{t}\right)} \\
\text { loss }=-\mathbb{E}_{\hat{Y} \sim \pi_{\text {old }}}\left[\operatorname { m i n } \left(\sum_{t=1}^{T} r(\theta) A\left(s_{t}, y\right)\right.\right. \\
\left.\left.\operatorname{clip}(r(\theta), 1-\epsilon, 1+\epsilon) A\left(s_{t}, y\right)\right)\right]
\end{gathered}
$

式(1)における $A\left(s_{t}, y\right)$ は強化学習の報酬を表す. $\pi_{\text {old }}$ は数ステップ過去のモデルを表す. 現在のモデ ルからの出力と過去モデルからの出力の比 $r(\theta)$ と,報酬の値 $A\left(s_{t}, y\right)$ の積が最大化されるように学習す る.このようにすることで，報酬の値が正の時は現在の出力の確率を上げ，反対に報酬の値が負の時は 現在の出力の確率を下げるように学習される. ただ し, 現在のモデルからの出力と過去モデルからの出力の比が大きすぎるものに対してはクリッピングを

6) https://huggingface.co/rinna/japanese-roberta-base

図 $1 \mathrm{PPO}$ 学習時の報酬の増減

する.これはモデルの急激な変化を防ぎ，学習を安定させる働きがある.

また, さらに学習を安定させるために報酬 $A\left(s_{t}, y\right)$ を次のように設定する。

$
A(x, y)=r(x, y)-\beta \log \frac{\pi(y \mid x)}{\rho(y \mid x)}
$

式 (2)における $\rho$ は初期状態のモデルを表す. 現在のモデルの状態が初期のモデルの状態から離れ過 ぎないように，報酬の值 $r(x, y)$ に対してペナルティ を与えることで，学習の安定化を図る。

## 2.3.3 PPO による fine-tuning

2.2 節で構築した DialoGPT に対して，PPO を用い て fine-tuning を行った. 報酬として 2.3.1 節で構築 した報酬モデルが算出する「対象のキャラクタらし さ」を利用する。「対象のキャラクタらしさ」を最大化するように学習することで，DialoGPT が生成 する応答に対象のキャラクタらしさを付与する.

ミニバッチサイズを 8 ，学習率を $1.41 \times 10^{-5}$, optimizer として Adam[12] を使用し，200 ステップ 学習した. その他のパラメータは [13] に準拠した.学習時の報酬の増減を図 1 に示す. 学習終了後, 報酬が安定した 60 ステップ目のモデルの重みを保存 した.

また，学習したモデルが生成した実際の対話例を 表 1 に示す.

## 3 評価実験

## 3.1 実験目的

以下の 2 点を目的に評価実験を行った。

1. 提案システムによる発話が，発話の受け手に対 してある特定のキャラクタらしさを感じさせる かを検証する。表 1 PPOによって学習した DialoGPT との対話例

User|こんにちは一

System こんにちはなのだ!今日もよろしくお願いしま すのだ!

User

System

User

System

User

System

User

System

$
\text { こちらこそよろしくねー！ }
$

よろしくお願いしますのだ!今日寒いけど、アライグマさんは寒くない？寒いのだー!暖かくして過ごすのだ! アライさんはもふもふしていて暖かそう もふもふなのだー!

私はアイスが好きで、今日もアイス食べ ちゃった。

アイス美味しいのだー!アライさんも食べるの だー!

表 2 評価項目

評価項目名 |アンケート質問文

自然さ|この対話システムの対話は自然で あった。

キャラクタらしさ この対話システムは「アライさん」 だと思う。

対話継続欲求 この対話システムと今後も対話をし たい。

2. 提案システムのユーザが「このシステムと今後 も対話をしたい」と思わせる効果があるかを検証する。

## 3.2 実験設定

実験では 2.2 節で構築した fine-tuning を行う前 の DialoGPT（ベースラインシステム）と，2.3 節で fine-tuning を行った後の DialoGPT（提案システム） を比較した。

評価項目を表 2 に示す. 被験者はクラウドソー シングを利用して 50 名募集した. キャラクタらし さを判断できるように，被験者はアニメ「けもの フレンズ」の視聴経験がある者に限定した. 被験者はLINE 上で 8 回対話システムと対話を行い，そ れぞれの対話に対して，表 2 の評価項目について 1 （まったくそう思わない）から5（とてもそう思う） の 5 段階で評価した。なお，被験者はベースライン システムと提案システムのどちらと対話をしている か知らされなかった。

## 3.3 実験結果

評価実験の結果を図 2 に示す.キャラクタらしさ の評価項目に対してはウィルコクソンの符号順位検定を行い，他の 2 つの評価項目に対しては対応のあ る $t$ 検定を行った。検定の結果，キャラクタらしさ の項目 $(W=15.5, p<.001 ）$ と対話継続欲求の項目

Baseline Proposed

Baseline Proposed

Baseline Proposed

図 2 評価実験の結果（左から順に自然さ，キャラクタら しさ，対話継続欲求を表す.)

表 3 各評価項目の組み合わせごとの無相関検定

$(t(49)=2.26, p=.028)$ において，提案システムが ベースラインシステムを有意に上回った（有意水準 5\%未満). したがって，提案システムが生成する応答が，ユーザに特定のキャラクタの印象を与え，「こ のたいわシステムとまた対話をしたい。」と思わせ る効果を確認した. また，自然さの項目において， ベースラインシステムと提案システムの評価值の同等性を確認するために Two One-Sided Test (TOST) を おこなった. 許容する差の閾値は $\pm 0.5$ とした. 検定の結果，2つのシステムの評価值間において有意 な同等性が確認された $(p=.0043)$. したがって提案手法は，対話の自然さを損なわずに特定のキャラ クタらしさを付与できることを確認した.

また，各評価項目間の組合せにおいて無相関検定 を行った. 相関係数としてはスピアマンの相関係数 を用い， $p$ 值にはボンフェローニ補正を施した. 各項目の組み合わせごとの検定の結果を表 3 に示す。

検定の結果，自然さと対話継続欲求，キャラクタ らしさと対話継続欲求のそれぞれの評価值間で有意 な正の相関が確認された。

## 4 おわりに

本研究の貢献は以下のとおりである.

1. 強化学習を用いて，ある特定のキャラクタらし さを持つ対話応答を生成する手法を提案した. モデルの学習には対象のキャラクタらしさを持 つ単一の発話データのみを必要とし，対話形式 のデータである必要はない.

2. 本研究が提案した手法で応答を生成することに

よって，対話システムのユーザに「このシステ ムと今後も対話したい」と思わせる効果がある ことを確認した。

本研究で提案した手法によって，より容易に特定 のキャラクタらしい対話システムを構築できる可能性が示唆された。今後は，提案手法が他のキャラク タやより高精度で大規模な対話システムに対しても 応用可能かを検証する予定である.

## 参考文献

[1] Raefer Gabriel, Yang Liu, Anna Gottardi, Mihail Eric, Anju Khatri, Anjali Chadha, Qinlang Chen, Behnam Hedayatnia, Pankaj Rajan, Ali Binici, et al. Further advances in open domain dialog systems in the third alexa prize socialbot grand challenge. Alexa Prize Proceedings, 2020.

[2] 東中竜一郎, 西川寛之, 宇佐美まゆみ, 船越孝太郎, 高橋哲朗, 稲葉通将, 赤間怜奈, 佐藤志貴, 堀内颯太, ド ルサテヨルス, 小室允人, 西川寛之, 宇佐美まゆみ. 対話システムライブコンペティション 4. 第 93 回 言語・音声理解と対話処理研究会, pp. 92-100, 2021.

[3] 藤原吏生, 岸波洋介, 今野颯人, 佐藤志貴, 佐藤汰亮,宮脇峻平, 加藤拓真, 鈴木潤, 乾健太郎. ILYS aoba bot:大規模ニューラル応答生成モデルとルールベースを 統合した雑談対話システム. 第 90 回 言語・音声理解と対話処理研究会, pp. 110-115, 2020.

[4] Hiroaki Sugiyama, Masahiro Mizukami, Tsunehiro Arimoto, Hiromi Narimatsu, Yuya Chiba, Hideharu Nakajima, and Toyomi Meguro. Empirical analysis of training strategies of transformer-based japanese chit-chat systems. arXiv preprint arXiv:2109.05217, 2021.

[5] Ryo Ishii, Ryuichiro Higashinaka, Koh Mitsuda, Taichi Katayama, Masahiro Mizukami, Junji Tomita, Hidetoshi Kawabata, Emi Yamaguchi, Noritake Adachi, and Yushi Aono. Methods for efficiently constructing text-dialogueagent system using existing anime characters. Journal of Information Processing, Vol. 29, pp. 30-44, 2021.

[6] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Vol. 1, pp. 4171-4186, 2019.

[7] Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, Ilya Sutskever, et al. Language models are unsupervised multitask learners. Technical report, Open AI, 2019.

[8] Yizhe Zhang, Siqi Sun, Michel Galley, Yen-Chun Chen, Chris Brockett, Xiang Gao, Jianfeng Gao, Jingjing Liu, and William B Dolan. DIALOGPT: Large-scale generative pre-training for conversational response generation. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: System Demonstrations, pp. 270-278, 2020.

[9] Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization. arXiv preprint arXiv:1711.05101, 2017.

[10] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. RoBERTa: A robustly optimized BERT pretraining approach. arXiv preprint arXiv:1907.11692, 2019.

[11] John Schulman, Filip Wolski, Prafulla Dhariwal, Alec Radford, and Oleg Klimov. Proximal policy optimization algorithms. arXiv preprint arXiv:1707.06347, 2017.

[12] Diederik P Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In International Conference on Learning Representations (ICLR), 2015.

[13] Daniel M Ziegler, Nisan Stiennon, Jeffrey Wu, Tom B Brown, Alec Radford, Dario Amodei, Paul Christiano, and Geoffrey Irving. Fine-tuning language models from human preferences. arXiv preprint arXiv:1909.08593, 2019.


# 新型コロナウイルス感染症関連ツイートのトピックと感情の分析

小島章太郎 $^{1}$ 内山清子 $^{1}$
1 湘南工科大学 工学部 コンピュータ応用学科
18A6050@sit.shonan-it.ac.jp uchiyama@sc.shonan-it.ac.jp

## 概要

本研究ではソーシャルネットワーキングサービス

「Twitter」の投稿を分析し、新型コロナウイルス感染症に関するトピックと感情の分析を目的とする。 その上で、日本語のツイートデータを対象とした、感情値の推移の分析とトピックモデルによる単語の 分析とトピック割合推移の調査、深層学習による感情の分類モデルの構築を実施した。

## 1. はじめに

近年ではソーシャルネットワーキングサービス (SNS) に様々な文章が投稿されている。新型コロナ ウイルス感染症 (COVID-19) は世界的に流行が拡大 しており、世間に継続的な影響が発生している感染症である。COVID-19 に関する SNS 上の投稿を分析 することで感染症に対する世間の意識変化や流行傾向などを分析できるのではないかと考えた。

本研究では SNS サービス「Twitter」の投稿を分析 することで、COVID-19 に関する世間の感情や興味 の変化について分析することを目標とした。感情分析については COVID-19 流行下において、日本の Twitterに対して 1 年以上にわたり適用している例が 見られなかったことから、より大規模な感情分析を 実現できるのではないかと考えた。

## 2. 関連研究

本研究では SNS 上の投稿の分析を行うため、イン ターネット上の投稿のトピック分析に関する先行研究を 2.1 節に記載する。また、COVID-19 に関する Twitter の分析の先行研究について 2.2 節に記載する。

## 2.1. インターネット投稿のトピック分析

時系列に沿って変化するインターネット上の投稿 に対する分析として、佐藤らはレビューサイトの分析を行い、月ごとなど一定期間の TF-IDF 值を計算 して季節を表す特徵語の抽出を実現している [1]。大規模なイベントに対するトピックの分析につい て、北田らは東日本大震災を題材にトピックモデル の一種である LDAを用いて分析を行っている [2]。

ツイートに対する感情分析としては中村による 「感情表現辞典」 [3]をもとに 10 軸に分類する手法 が一般的となっている。山本らはこれを Twitter の投稿に適用し、感情分析を行っている [4]。同研究で は Twitter 特有の単語表現や顔文字等の表現が感情表現辞典には含まれていないこと、ツイートという 短文に対して 10 軸の感情軸を適用するのは過多で あり、現実的ではないとされている。

## 2. 2. COVID-19 に関する Twitter 分析

Lisa Singh らは 2020 年 1 月から 3 月にかけて世界各国の Twitter 上の COVID-19に関する投稿を分析し ている [5]。一部の国については COVID-19 の症例件数とツイートの件数に一定の相関関係が見られた ことから、SNS 上の投稿を分析することで感染拡大状況の推定・予測ができる可能性が示されている。

井原らは 2020 年 1 年間の日本語のツイートの分析 を行い、感染拡大状況とツイート数の関係の精查、感情単語の時系列変化の検証等を行っている [6]。

機械学習を用いて COVID-19 関連ツイートの感情 を分析する試みは英語圏では積極的に行われており Rustam らはツイートのネガティブ・ポジティブの二值分類を複数の機械学習モデルを用いて行い、精度 を比較している [7]。

本研究では、新たに 2020 年 1 月から 2021 年 6 月 にかけての日本語のツイートデータを用いて検証を 行うことで長期間の分析を実現する。合わせてトピ ック分析を実施し、単語のトピック別の分類とトピ ックの出現推移の調査を実施する。また、先行事例 では深層学習を用いて日本語の COVID-19 関連のツ イートの感情分析を行っている例が見られなかった ため、本研究では新たに日本語の COVID-19 関連ツ イートに対する感情分析モデルの構築と比較を行う。

## 3. 使用データについて

本研究では、Twitter Academic Research APIを用い てツイートの取得を行った。検索キーワードとして 「新型コロナウイルス」を使用し、2020 年 1 月 1 日 から 2021 年 6 月 30 日を対象に、キーワードが含ま れるツイート全件の取得を行った。取得したツイー 卜は合計 6,549,683 件となった。このうち、メンショ ン(@ツイート)については分析の対象外としている ため、分析対象の件数は約 620 万件となった。

ツイート本文を処理する際、単語への分割が必要 となるため形態素解析エンジンを用いて分かち書き を実施した。形態素解析エンジンは MeCab [8]を使用し、新語・造語に強みを持つ Neologd 辞書 [9]を システム辞書として用いることで、Twitter 本文の分 かち書きを実現した。解析にあたり、下処理として 英数字の半角への統一、記号の除去、数字の除去等 を行ったほか、Twitter 特有の処理として、エスケー プ記号(\&等)の復元、リンク・@メンション・ハ ッシュタグ記号の除去を実施している。

また、厚生労働省がオープンデータとして公開し ている COVID-19 新規陽性者数の推移データを比較対象として使用している [10]。はじめに、感染者数 の増減をもとに期間分けを定義した。 7 日間平均が 増加し始めてから減少傾向に転じるまでの期間を増加期、減少傾向に入ってから減少が止まるまでの期間を減少期、2 週間以上感染者数が大きく変化しな かった期間を停滞期としている。期間分けの推移と 感染者数の推移の対応を図 3.1 に示す。

図 3.1 期間分けと感染者数の対応

https://developer.twitter.com/en/products/twitter-api/academicresearch次に、ツイート数と感染者数の比較と、単語の出現確率の感染者数との比較を試みた。ツイート数と 感染者数の比較は、直接的な比例関係は見られなか った(図 3.2)。単語ごとの比較については、1 日毎に ツイート本文を結合し 1 つの文書とし、その文書集合に対して TF-IDF 值の計算を行った。

図 3.2 ツイート数と感染者数の関係感染拡大初期と重なる第 1 波増加期については、「ステイホーム」や「ソーシャルディスタンス」、「テイクアウト」などいくつかの単語が感染者数と の相関係数 0.8 以上の正の相関を示していた。第 1 波減少期では、「不要不急の外出」「臨時休業」「外出自肃」などが 0.8 以上の正の相関を示した他、「再開」などの単語が増加傾向となる負の相関を示して いた。第 2 波以降では有意な相関を示す単語は確認 されなかった。

## 4. 提案手法

本研究では、COVID-19 の状況下での Twitter の感情を分析するため、はじめに感情値の推移の分析を 行った。続いてトピックの分析を行い、トピックの 割合の推移について調查を行った。最後に深層学習 を用いて感情分析を実施し、感情の分類モデルの作成を行った。

## 4.1. 日別平均感情値の分析

取得したツイートの本文に対し、感情分析ツール 「MLAsk」 [11]を用いて 10 軸の感情分析を実施し た。MLAsk は入力したテキストの形態素解析を行い、感情辞書と比較することで、感情表現辞典に基づき テキストを「好」「安」「哀」「厭」「怖」「怒」

「恥」「昂」「驚」「喜」の 10 軸に分類することが 可能である。また、単語の感情表現辞典との比較や、記号や顔文字の解析を行うことで、ネガティブ・ポ

ジティブ、覚醒・非覚醒の 2 軸にテキストを分類す ることが可能である。

収集したツイートデータに対し、10 軸の感情分析 を実施した。なお、MLAskでは感情表現辞典を元に 定義された単語群を元に感情の分類を行うため、テ キスト中の単語がいずれも感情表現辞典に記載され ていない場合、無感情という判定となる。今回分析対象とした約 620 万件のツイート本文データのうち、 ML-Ask にて感情が含まれていると判定されたツィ 一トは約 115 万件(約 18.5\%)であった。感情軸別の推移をプロットしたものを図 4.1 に示す。

図 4.1 感情軸別の推移グラフ

感染拡大初期は「怖」という感情が半数以上を占 めていたことが明らかとなった。全体的には 2020 年 2 月以降は「厭」という感情が 3 割 4 割で最多 となっている。

第 1 回緊急事態宣言解除のタイミングや年末には 「喜」という感情が瞬間的に増加するなど、特定の 時点にいくつかの特徴が見られた。また、「恥」「昂」

「好」「怒」などの感情はほぼ 1 割を下回った状態 が続いており、Twitter の投稿ではあまり感情軸とし て確認することができなかった。

## 4. 2. LDA を用いたトピック分析と比較

続いて、トピックモデルの一種である潜在的ディ レクリ配分法(Latent Dirichlet Allocation：LDA)を用 いてトピック分析を行った。LDA では一つの文書に 複数のトピックが存在していることが前提となって いることから、大規模で複数のトピックが混在して いる可能性が高い本研究では適していると考え、 LDA を採用した。

はじめにトピック数の決定を行う必要があるため、分析トピック数を2〜21まで 20 回変化させてトピッ クの分析を行い、指標である Perplexity と Coherence の値の確認を行った(図 4.2)。

図 4.2 LDA トピック数別評価結果の推移

その結果、Perplexity が安定しCoherence の值が最 も高かった 7 が適切なトピック数と判断し、トピッ ク数として採用した。

実際にトピック数を 7 に設定し分類されたトピッ クごとの単語の例を図 4.3 に示す。

図 4.3 LDA トピック分類結果

LDA ではトピック数を設定すれば自動でクラス タリングが行われるものの、その結果については人間が手動で意味付けを推定する必要がある。今回の 推定結果を表 4.1 に示す。

表 4.1 トピック項目の推定結果

各トピックの割合推移を分析した結果、感染拡大初期の 2020 年 1 月ごろは、緊急事態宣言の発令準備等に伴う Topic3:行政の動きに関する言及や、PCR 検査やワクチンなど Topic4:検查・対策手法に関する 言及、マスクなど Topic2:感染予防策などの言及が多数を占めていた。その後、2020 年 4 月頃からは

Topic0:感染者数に関する言及が $25 \%$ 程度を占め最多となっている。次いで Topic6:行政アカウント等か らの発信が多かったものの、第 2 波が到来した 2020 年 7 月 8 月ごろは Topic5:感染者数の報道への言及 が、年末には Topic1:社会的影響に関する言及が一時的に増加していた。なお、実際のトピック割合推移 のグラフについて付録に示している。

## 4. 3. 深層学習を用いた感情分析

MLAsk で解析することができるネガティブ・ポジ ティブの判定を教師データとして、深層学習を用い てツイートの感情属性の予測を行った。MLAsk では ラベル付けを行えなかった「ニュートラル」のツイ 一トに関しては学習対象から除外している。ラベル 付けを行うことができたネガティブ・ポジティブ各属性のツイート 2 万件ずつ、合計 4 万件のツイート を使用し、学習データと検証データを $7: 3$ に分割し て検証を行った。予測に際しては日本語処理に対応 した言語処理モデルの BERT など複数のモデルの比較を行い、精度の差を検証した。学習はすべて Tensorflow 2.5.0i豆用いて行った。実際に検証を行っ た汎用モデルとその正解率の一覧を表 4.2 に、BERT モデルとその正解率の一覧を表 4.3 に示す。Long Short Term Memory (LSTM)、Simple Recurrent Neural Network (RNN)、Global Average Pooling 1D について は Tensorflow 標準のモデルを使用し、BERT につい ては東北大学[12]、京都大学[13]、ホットリンク社[14] が配布しているモデルを使用し、ファインチューニ ングを実施した。

表 4.2 感情分析タスクのモデルと正解率一覧

表 4.3 検証を行った BERT モデルと正解率一覧

 & $\mathbf{3}$ & $\mathbf{9 7 . 6 4 \%}$ \\

Tensorflow 標準の汎用モデルの中では LSTM が最 も高い正解率を示し、続いて SimpleRNN、Global Average Pooling 1Dの順となった。

BERT の中で最も正解率が高かったのはホットリ ンク社のSNS コーパスを用いた BERT モデルで、唯一 97\%台となっている。その後に京都大のモデル、東北大のモデルが続いている。全体的に汎用モデル と比較し、BERT は高い正解率を示すことができた。

## 5. 考察

本研究では、ツイートデータに対する感情分析と トピック分析をもとに COVID-19 に関するツイート の分析を実施した。

日別感情值の推移については、緊急事態宣言の発令等に関する時期に感情の変化を見ることができた。一部の感情軸についてはツイートデータ上ではあま り確認できなかったことから、ツイートに対する感情軸については最適化の余地があると考えられる。

トピック分析については、LDAを用いることであ る程度適切なトピック分析を実施することができた と考えられる。2020 年 4 月頃から現在に至るまで、感染者数への言及が最も多くトピックとして現れて おり、感染者数が感染症の一つの指標として世間の 関心が高い状態が続いていると考えられる。

日本語ツイートに対寸る深層学習を用いた感情分析についてはSNS コーパスによるBERT モデルがも っとも高い正解率を示した。同 SNS コーパスは本研究と同じくツイートを元に構築されており、約 8600 万ツイートをもとに構築された大規模なコーパスで あることが理由と考えられる。また、どの BERT モ デルも $90 \%$ を超える正解率が確認された。今回はネ ガティブ・ポジティブの二値分類だったため、比較的高い結果を出すことができたことが考えられる。

## 6. おわりに

本研究では、COVID-19 関連のツイートデータを 収集し、その分析と感染者数との比較を行った結果、感染者数との有意義な相関関係は見られないことを 示した。また、感情分析を実施し時期ごとの感情特性を明らかにした他、深層学習を用いてツイートデ ータの感情を高精度で分類することを示した。

今後は他の文脈におけるツイートデータの活用や、他のインターネット上のテキストデータへの応用を 検討していきたい。

## 参考文献

1. 佐藤裕次郎，山西良典，西原陽子. 宿泊施設の レビューの時系列分析による季節を表す特徴語の抽出. 人工知能学会, 2019. SIG-AM-21-19.

2. 北田剛士，ほか. 東日本大震災時のツイートのト ピック系列の可視化と分析. 2015 年度 人工知能学会全国大会 論文集, 2015. 2B3-NFC-02a-1.

3. 中村明. 感情表現辞典. 東京堂出版, 1993 .

978-4490103397.

4. 山本湧輝, 熊本忠彦 , 灘本明代. ツイートの感

情の関係に基づくTwitter 感情軸の決定. 第 7 回デー タ工学と情報マネジメントに関するフォーラム 論文集, 2015.

5. Lisa Singh，ほか. A first look at COVID-19 information and misinformation sharing on Twitter. National Institutes of Health, 2020.

6. 井原史渡, 岸本大輝, 栗原聡. 新型コロナウイ ルスに伴う Twitter の分析と感染状況との関連. 第 35 回人工知能学会全国大会論文集, 2021.

7. Furqan Rustam，ほか. A performance comparison of supervised. PLOS ONE, 2021.

## 8. MeCab: Yet Another Part-of-Speech and

Morphological Analyzer. (オンライン) (引用日: 2021

年 5 月 21 日.) https://taku910.github.io/mecab/.

9. 佐藤敏紀. Neologism dictionary based on the language resources on the Web for Mecab. (オンライ ン) 2015 年. (引用日: 2021 年 3 月 9 日.) https://github.com/neologd/mecab-ipadic-neologd. 10. 新型コロナウイルス感染症について>オープ ンデータ|厚生労働省. (オンライン) 厚生労働省.

(引用日: 2021 年 8 月 27 日.)

https://www.mhlw.go.jp/stf/covid-19/open-data.html.

11. PtaszynskiMichal. ML-Ask: Affect Analysis

System. Michal Ptaszynski / Research. (オンライン) (引用日: 2021 年 7 月 2 日.)

http://arakilab.media.eng.hokudai.ac.jp/ ptaszynski/repo sitory/mlask.htm.

12. 東北大学 乾研究室. cl-tohoku/bert-base-japanese.

Hugging Face. (オンライン) (引用日: 2021 年 10 月 29

日.) https://huggingface.co/cl-tohoku/bert-base-japanese.

13. BERT 日本語 Pretrained モデル . 京都大学 黒

橋・褚・村脇研究室. (オンライン) 2020 年 11 月 21

日.(引用日: 2021 年 10 月 29 日.)

https://nlp.ist.i.kyoto-u.ac.jp/?ku_bert_japanese.
14. 大規模日本語SNS コーパスによる文分散表現モ デルの公開 : hottoSNS-BERT の配布. 株式会社ホ ツトリンク公式ブログ. (オンライン) 株式会社ホッ トリンク, 2019 年 3 月 11 日. (引用日: 2021 年 10 月 29 日.)

https://www.hottolink.co.jp/blog/20190311_101674/.

## $\mathrm{A$ 付録}

図 A1 新型コロナウイルス LDA トピック推移


# Masked Language Model による系列確率に基づく文法誤り検出

土肥康輔 須藤克仁 中村哲
奈良先端科学技術大学院大学
\{doi.kosuke.de8, sudoh, s-nakamura\}@is.naist.jp

## 概要

言語モデルに基づく文法誤り訂正手法は，少量の ラベル付きデータしか必要としないという長所が あるが，既存手法では訂正対象の誤り種類が限られ ているという課題があった. 本研究では，対象の誤 り種類を拡大する第一歩として，言語モデルにより 算出される系列確率に基づく文法誤り検出手法を 提案する. 文法的に正しい文での各語の確率を計算 して辞書に格納し，推論時には，誤り検出対象の文 での確率と辞書での確率を比較することで，その 語が誤りであるかを判別する．実験の結果， $F_{0.5}$ ス コアは既存モデルに及ばなかったものの, Recall が Precision より高くなり，今後適切な制約を加えるこ とで性能を向上させられる可能性が示された.

## 1 はじめに

文法誤り検出 (GED) は，テキスト中の誤りを自動的に検出するタスクである．Bi-LSTM ベースのモデ ルが主流であったが $[1,2,3,4,5]$, 近年では事前学習済み言語モデルを用いる手法も提案されている $[6,7]$. これらの研究は GED を系列ラベリングタス クとして解いているが，利用可能なラベル付きデー タは多くなく，疑似データの利用も行われている。

少量のラベル付きデータしか必要としない手法 に，言語モデルに基づくアプローチがある. 文法誤 り訂正 (GEC) タスクにおいて，言語モデルの利用は 主要なアプローチの 1 つだったが [8]，機械翻訳に 基づく手法の台頭によりあまり見られなくなって いった ${ }^{1)}$. Bryant ら [9] や Alikaniotis ら [10] の研究 により，言語モデルに基づく手法が再度注目を浴び たが，[9][10] の手法では，訂正できる誤りの種類が 限定されていることが課題となっていた. そこで本研究では，言語モデルに基づくGEC 手法で扱える 誤り種類を拡大する第一歩として，事前学習済み言語モデルによる系列確率に基づく GED を提案する。

1）ただし，GECシステムの一部分としては使い続けられた。実験では，提案手法が評価セット中のすべての 誤り種類を検出対象とできていることが確認され た.しかし，性能では既存モデルに及ばず，特に Precision に課題があった。一方で，提案手法は比較的高い Recall を達成しており，今後適切な制約を加 えることで性能を向上させられる可能性がある.

## 2 関連研究

ニューラルネットワーク手法を初めて GED に用 いたのは Rei ら [1] である. CNN，RNN，Bi-LSTM を比較した結果，Bi-LSTM が最も良い性能を示し たと報告されている．以降は，[1]のモデルを改良 する形で研究が進められ，[2] では文字レベルの情報を追加で用い，[3] ではラベルを予測する前後の トークンを言語モデルで同時に予測することで，性能の向上が図られた. [5] は文脈化された単語分散表現を追加の特徴量として用いることで，さらに性能を向上させた．また，疑似データを用いることで 性能が向上することも報告されている [4].

Bi-LSTM に基づくこれらの手法に対して，Kaneko ら [6] は事前学習済み言語モデルを用いることを提案した。事前学習済み言語モデルをファインチュー ニングして用いる場合，最終層の出力のみを予測に 用いるのが一般的だが，[6] は BERT [11] の最終層 だけでなく中間層の出力も利用するモデルを構築し た. Yuan ら [7] は事前学習手法が GED タスクに類似している ELECTRA [12] を用いるほうが，BERT を含む他の事前学習済み言語モデルを用いるよりも 高い性能となることを示した．さらに，誤り箇所の 誤りカテゴリも予測する多クラス GEDを提案し， GED の出力を GEC タスクの追加入力として用いる ことで，GEC の性能が向上することを示した.

言語モデルに基づくアプローチでは，低い確率の 系列には誤りが含まれていると考える。[9] は母語話者コーパスから構築した N-gram 言語モデルを用 いることで，少量の誤り情報付きデータしか必要と しない GEC 手法を提案した. [10] は BERT 等の最
新のニューラル言語モデルを用いることで，同手法 の性能を向上させた. しかし， [9][10] のモデルの訂正対象は，存在しない語，形態（例 : 名詞の数, 動詞の時制), 冠詞，前置詞に限定されており，誤りの $20 \%$ 程度を占める不足誤りを訂正できないという問題点があった.

## 3 提案手法

本研究では，訓練データでの各トークンの確率を 算出し，トークンを見出し，確率を値とする確率辞書を作成する．推論時には，誤り検出対象の文での 確率と辞書での確率を比較することで，そのトーク ンが誤りであるかを判別する．以下の節で，確率辞書作成と推論の手法について説明する。

## 3.1 確率辞書作成

確率辞書を作成するための元データには，母語話者コーパス，または誤り訂正済みの学習者コーパス を用いる. 辞書に保存されている確率値が推論時の 正誤判断基準となるため，文法的に正しい文を用 いて辞書を作成する. 本研究では，トークンの確率算出に BERT を用いる。 入力文中の各トークン を [MASK] し，元のトークンが返される確率を計算 する手法 $[10,13]$ によってトークンの確率を得る.訓練データから 1 文ごとにトークンの確率を算出 し, そのトークンを見出し, 確率を值として辞書に 登録していく．訓練データの文は BERT のトークナ イザーで分割されるため，見出しはサブワードとな り，訓練データで複数回登場するサブワード（見出 し）には複数の確率（値）が登録される。訓練デー タ中での頻度が $N$ 以上であるサブワードのみを確率辞書に残すというパラメータ min_freqを設定し，本研究では $m i n \_f r e q \in\{1,5,10\}$ とする.

## 3.2 推論

推論時には，確率辞書作成時と同じ手法でトーク ンごとの確率を算出し, 推論対象の文中での確率と 辞書の確率を比較する（図 1). 確率辞書には，1つ の見出しに対して複数の值が登録されているため,基準となる値 $\left(s t d_{t o k e n}\right)$ を決める必要がある. 本研究では，登録されている値の平均値，または中央値 とする。また，確率辞書の見出しにないトークンが 推論対象の文に現れた場合の基準値 $\left(s t d_{a l l}\right)$ は，全見出しの値の平均値，または中央値とする.

しかし, 元トークンが文法的に正しい場合でも，

[MASK] can did it ! I [MASK] did it !

図 1 提案手法での推論の例

言語モデルにとってより「自然な」候補が存在する 場合，言語モデルが元トークンに与える確率は相対的に低いものとなってしまう。 そこで [10] に従い，元トークンが文法的に正しいというバイアスを加 えるパラメータ $\tau$ を設定する。あるトークン $T$ の 推論対象の文での確率を $P\left(T_{s}\right)$, 確率辞書での基準値を $P\left(T_{d}\right)$ とすると，そのトークンに付与される label $\left(T_{s}\right)$ は，以下のようになる.

$
\operatorname{label}\left(T_{s}\right)= \begin{cases}\mathrm{i} & \text { if } \log P\left(T_{s}\right)+\log \tau<\log P\left(T_{d}\right) \\ \mathrm{c} & \text { otherwise }\end{cases}
$

“i”は誤りあり，“c”は正しいと判断されたことを表 す. 本研究では, $\tau \in\{0,2,4,6,8,10,15,20\}$ とする.

上記のように label $\left(T_{s}\right)$ を得ると, ラベルは BERT のトークナイザーで分割されたサブワード単位で付与されるため，元のトークン列との対応を取る必要 がある. 両者の対応付けは以下のアルゴリズムで行 う．サブワードと元トークンを要素とするリストを 作成し，リストから要素を 1 つずつ読み込む。文字列が一致した場合は, label $\left(T_{s}\right)$ を元トークンに対応付け，両リストから次の要素を 1 つずつ読み込む.一致しない場合は，2つの文字列長を比較し，短い ほうの文字列のリストから次の要素を読み込み，そ の文字列の後ろに結合する. この際，サブワード分割を表す “\#\#” は削除したうえで読み込む。これを， 2 つ文字列が一致するまで続ける。一致するまで に使ったサブワードに対応する label $\left(T_{s}\right)$ を確認し，全てが“c”であれば元トークンに“c”を対応付け， そうでなければ“i”を対応付ける。

## 4 実験

実験では，確率辞書作成方法の違いによる誤り検出性能の差を検証する．辞書作成に用いるデータの 種類（母語話者 vs. 学習者）と量, 辞書に登録する 語の訓練データ中での最低頻度，基準値の決め方の 影響を評価する．また， $\tau$ の違いによる誤り検出性能の差を検証する.

## 4.1 データセット

確率辞書作成のための母語話者コーパスには the One Billion Word Benchmark (1B) [14] を用い，学習者 コーパスのトークン数と同程度になるようにサン プリングして使用した. また，データ量の影響を検証するために，約 1,000 万トークンサンプリングし たデータを使用した．学習者コーパスは， W\&I+L train [15] の 80\%，FCE train [16]，NUCLE [17] を用い た. 確率辞書作成に用いたデータの詳細は付録 A に 示す. 開発データには, W\&I+L train の残りの $20 \%$, FCE dev，CoNLL-2013 [18] を用い，評価データには W\&I+L dev，FCE test，CoNLL-2014 [8]を用いた.

## 4.2 実験設定

文中の各トークンの確率算出には, [13] の実装2) を用いた. BERT は HuggingFace 社が公開している bert-base-casedを用い, 訓練データの最大入力長 は 250 トークンとした. 確率辞書の作成はデータ セットごと（付録 A の表の行ごと）に行った. 確率辞書作成に先立ち，URLを含む文，メールアドレス を含む文， 1 文に数字のみから成るトークンが 30 以上含まれる文を訓練データから取り除いた。

また，アポストロフィーを含む短縮形のトーク ン分割方法の違いのため, データをそのまま BERT のトークナイザーに入力すると, 分割結果に影響 があった. そのため，1B は WMT113)で配布され た detokenizer.perlを用いてデトークナイズした. それ以外のデータは, spaCy が例外規則でトークン 分割している短縮形 4$)$ のみをデトークナイズした.

モデルの性能は，ERRANT [19]により算出される Precision, Recall， $F_{0.5}$ スコアにより評価した.

## 4.3 実験結果

開発セットでの結果に基づき, min_freq $=1$, $s t d_{\text {token }}$ と $s t d_{\text {all }}$ の組み合わせ $\in\{\{$ mean, mean $\}$, \{median, median \}\}, $\tau \in\{0,8,20\}$, 確率辞書 $\in\{$ FCE, Learner all, 1B_510K, 1B_2.1M, 1B_10M \}について, 評価セットで評価を行った。

表 1 は，FCE train で確率辞書を作成したときに，基準値の取り方と $\tau$ を変化させた結果である ${ }^{5)}$.

表 1 確率辞書の基準値， $\tau$ による比較

Precision は $\tau=0$ のときに最も低く， $\tau$ が大きくなる につれて上昇した. Recall はその反対で， $\tau$ が大き くなるにつれて低下した。

$\tau$ が同じ値の場合, $F_{0.5}$ スコアは $\{$ mean, mean $\}$ の ほうが高くなったが，これは，基準値を mean と した場合 $\left(P_{\text {avg }}\right)$ と median とした場合 $\left(P_{m d n}\right)$ に, $P_{\text {avg }}<P_{m d n}$ となることが多いためと考えられる. FCE で作成した確率辞書において， $P_{\text {avg }}$ の平均値は -4.16であったのに対して,$P_{m d n}$ の平均值は -3.95 であった。また，頻度 3 以上の見出し 3,787 語にお いて, 3,047 語が $P_{\text {avg }}<P_{m d n}$ となっていた. $P_{m d n}$ のほうが “i”ラベルが多くつくが，Precision が低い ために $F_{0.5}$ スコアが悪化したと考えられる.

$\tau$ の值を大きくすると，誤り検出対象の文のすべ ての語において，ラベル判断に用いられる値が $\tau$ だ け一律に大きくなる（式 1).この操作は, 確率辞書 の基準値を一律に下げる操作と同じである. 多くの 語で $P_{\text {avg }}<P_{m d n}$ となっている状況では，これら 2 つのハイパーパラメータは，実質同じものを操作し ていたことになる.兀 のほうが細かい調整が可能な こと，基準値を\{median, median \}とすると，初期値と して高い Recall からスタートできることから，今後 は $s t d_{\text {token }}$ と $s t d_{\text {all }}$ の組み合わせは\{median, median \} で固定し， $\tau$ のみをハイパーパラメータとして保持 するほうがよいと考えられる。

次に確率辞書間で比較をすると，辞書の作成に利用するデータの種類，量はスコアに影響を与えな いことが明らかになった。例えば，基準值を\{mean， mean \}, $\tau=20$ としたとき, W\&I+L dev での $F_{0.5}$ ス コアは，確率辞書の設定によらず 36 程度であった。 つまり，確率辞書作成に用いるデータは必ずしも学習者コーパスである必要はなく, 言語モデルと確率辞書を作成するための母語話者コーパスが十分に あれば，提案手法を用いて GEDを行うことが可能 となることを示唆している. min_freq $=1$ と設定し ているため，データ量を増やすと確率辞書の見出し 数が増加することが期待されるが，コーパスのトー
表 2 既存モデルとの比較

クン数が増加しても，異なり語数は線形には増加し ない。また，辞書に入る異なり語数が増加しても，評価セットでそれらの語が出てくるとは限らず，カ バー率は劇的には上昇しない。これらの要因によ り，本手法ではデータ量によるスコア差が出なかっ たものと考えられる。

表 2 は，確率辞書を FCE，または1B_510K で作成し，基準値を\{median, median\}， $\tau=20$ としたとき のスコアを，既存モデルと比較した結果を示して いる. [7] は, ELECTRAを FCE データでファイン チューニングすることで，世界最高性能を達成した モデル，[1] は，追加の特徵量を用いていないナイー ブな LSTM ゙ースのモデルである. [7]に対しては， $F_{0.5}$ スコアで 30 ポイント程度のビハインドがある が，[1]に対しては，同程度か上回るスコアを達成し ている。誤り情報付きデータを確率辞書作成に用い ていない1B_510K においても，誤り情報付きデー タを用いている [1] のモデルに迫るスコアを達成し ていることは特筆すべき点である.

提案モデルは, 既存モデルと異なり Recall が Precisionより高い傾向となった. Recall は [7] と同程度のスコアを達成しているが，Precision には大 きな課題がある. 実験結果から， $\tau$ は Precision と Recall の調整にある程度機能していたことがうかが えるが，同時に $\tau$ の値のみでは不十分であったこと も示唆している。 $\tau$ を昇させたときに Recall が急激に低下する一方で，Precision の上昇は比較的緩や かなものとなっていた. 先に述べたように， $\tau$ は誤 り検出対象の文のすべての語において，ラベル判断 に用いられる値を一律で増加させる。一律に変化さ せるのではなく，そのトークンが使われている文脈 に応じて制約を課すしくみが必要と考えられる。

## 4.3.1 誤り種類ごとの検出性能

本手法の動機のひとつに，言語モデルベースのモ デルで扱える誤り種類の拡大があった. 本節では, FCE train で確率辞書を作成し，基準值\{mean, mean \} と設定したモデルの FCE test での誤り検出結果につ いて，誤りタイプ，カテゴリごとの結果を述べる.
ERRANT の出力から, FCE test に存在する 15 種類 すべての誤りカテゴリが検出対象となっていたこと が確認できた ${ }^{6)}$.また，提案モデルは不足誤りの箇所を検出することができていた．以下に例を示す.

Gold: Apart from that it takes long time to go somewhere . $\tau=0$ : Apart from that it takes long time to go somewhere. $\tau=8$ : Apart from that it takes long time to go somewhere .

下線は，その語に誤りラベルがついていることを表 している．冠詞の不足誤りを提案モデルが捉える ことができているのがわかる。一方で，上記の例 の $\tau=0$ のように，提案モデルは偽陽性の数が多く なっている. $\tau=0,8,20$ で Precision が一貫して下位 5 位以内になる誤りカテゴリは, 短縮形, 名詞, 代名詞であった. しかし，個別の例を確認していくと， GED データのラベル付け方法が原因で，ERRANT の誤りカテゴリの判別がうまくいっていない可能性 があることがわかった. GED データでは，不足誤 りはそのトークンが存在しないため，直後のトーク ンに誤りラベルを付与することが一般的である。 そ のため，ERRANT が名詞誤りや代名詞の誤りと判別 していても，実際は別の誤りカテゴリの不足誤りで ある可能性がある．GEDを誤りカテゴリごとに評価するには，不足誤りを正しいカテゴリに対応付け る必要があるが, 現状のモデル出力では, 不足, 置換，余剩のいずれの誤りなのかはわからない. Yuan ら [7] の系列ラベリングベースのモデルのように，誤りタイプまで予測する GED モデルも出てきてい るが，言語モデルベースのモデルでそれが可能なの か検討することは今後の課題である。

## 5 おわりに

本研究では，BERTにより算出される系列確率を 用いることで，少量の誤り情報付きデータしか必要 としない GED 手法を提案した. 既存の言語モデル ベースの GEC モデルが扱えていなかった誤り種類 について，提案手法は検出対象とすることができて いた。しかし，Recall は高いものの，Precision が低 いという課題があった。また，現在の確率辞書で は，同じ表層系で異なる品詞は区別できていない.文脈情報を利用した制約の導入と併せて検討し， Recall の低下を抑えながら Precision を向上させるこ とが今後の課題である.

6）検出性能の良し悪しは考慮していない.

## 謝辞

本研究の一部は JSPS 科研費 JP21H05054 の助成を

受けたものである.

## 参考文献

[1] Marek Rei and Helen Yannakoudakis. Compositional sequence labeling models for error detection in learner writing. In Proc. of ACL, pp. 1181-1191, 2016.

[2] Marek Rei, Gamal Crichton, and Sampo Pyysalo. Attending to characters in neural sequence labeling models. In Proc. of COLING, pp. 309-318, 2016.

[3] Marek Rei. Semi-supervised multitask learning for sequence labeling. In Proc. of ACL, pp. 2121-2130, 2017.

[4] Sudhanshu Kasewa, Pontus Stenetorp, and Sebastian Riedel. Wronging a right: Generating better errors to improve grammatical error detection. In Proc. of EMNLP, pp. 4977-4983, 2018.

[5] Samuel Bell, Helen Yannakoudakis, and Marek Rei. Context is key: Grammatical error detection with contextual word representations. In Proc. of BEA, pp. 103-115, 2019.

[6] Masahiro Kaneko and Mamoru Komachi. Multi-head multi-layer attention to deep language representations for grammatical error detection. Computacion y Sistemas, Vol. 23, No. 3, pp. 883-891, 2019.

[7] Zheng Yuan, Shiva Taslimipoor, Christopher Davis, and Christopher Bryant. Multi-class grammatical error detection for correction: A tale of two systems. In Proc. of EMNLP, pp. 8722-8736, 2021.

[8] Hwee Tou Ng, Siew Mei Wu, Ted Briscoe, Christian Hadiwinoto, Raymond Hendy Susanto, and Christopher Bryant. The CoNLL-2014 shared task on grammatical error correction. In Proc. of CoNLL: Shared Task, pp. 1-14, 2014.

[9] Christopher Bryant and Ted Briscoe. Language model based grammatical error correction without annotated training data. In Proc. of BEA, pp. 247-253, 2018.

[10] Dimitris Alikaniotis and Vipul Raheja. The unreasonable effectiveness of transformer language models in grammatical error correction. In Proc. of BEA, pp. 127-133, 2019.

[11] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proc. of NAACL, pp. 4171-4186, 2019.

[12] Kevin Clark, Minh-Thang Luong, Quoc V. Le, and Christopher D. Manning. ELECTRA: Pre-training text encoders as discriminators rather than generators. In ICLR, 2020.

[13] Julian Salazar, Davis Liang, Toan Q. Nguyen, and Katrin Kirchhoff. Masked language model scoring. In Proc. of ACL, pp. 2699-2712, 2020.

[14] Ciprian Chelba, Tomas Mikolov, Mike Schuster, Qi Ge, Thorsten Brants, Phillipp Koehn, and Tony Robinson. One billion word benchmark for measuring progress in statistical language modeling. In Proc. of Interspeech, pp. 2635-2639, 2014.

[15] Christopher Bryant, Mariano Felice, Øistein E. Andersen, and Ted Briscoe. The BEA-2019 shared task on grammatical error correction. In Proc. of BEA, pp. 52-75, 2019.
[16] Helen Yannakoudakis, Ted Briscoe, and Ben Medlock. A new dataset and method for automatically grading ESOL texts. In Proc. of ACL, pp. 180-189, 2011.

[17] Daniel Dahlmeier, Hwee Tou Ng, and Siew Mei Wu. Building a large annotated corpus of learner English: The NUS corpus of learner English. In Proc. of BEA, pp. 22-31, 2013.

[18] Hwee Tou Ng, Siew Mei Wu, Yuanbin Wu, Christian Hadiwinoto, and Joel Tetreault. The CoNLL-2013 shared task on grammatical error correction. In Proc. of CoNLL: Shared Task, pp. 1-12, 2013.

[19] Christopher Bryant, Mariano Felice, and Ted Briscoe. Automatic annotation and evaluation of error types for grammatical error correction. In Proc. of ACL, pp. 793-805, 2017.

## A 確率辞書作成に用いたデータセット

## B 評価セットでのスコア

## C 実際の誤り種類と ERRANT の判別が一致していない例

以下の例で，提案モデル（確率辞書 $=\mathrm{FCE}$ ，基準値 $=\{$ mean, mean $\} ， \tau=0$ ）の検出結果は，正解と一致している．GED データを元に ERRANT で作成した M2 ファイルでは，“information” は名詞誤りと分類されていたが，GEC データで確認 すると，実際は形容詞の不足誤りであった。

Gold: If you need any information, please let me know .

Model: If you need any information, please let me know .

Corrected: If you need any more information, please let me know .


# 近現代雑誌通時コーパスの語彙統計情報の公開

近藤明日子 ${ }^{1}$ 相田 太一 ${ }^{2}$ 小木曽智信 ${ }^{1}$
1 国立国語研究所 2 東京都立大学
\{kondo, togiso\}@ninjal.ac.jp aida-taichi@ed.tmu.ac.jp

## 概要

1874 年から 2013 年までの 140 年間に刊行された 日本語の雑誌をほぼ 8 年おきにカバーする「近現代雑誌通時コーパス」を構築し、これをもとに $n$-gram 頻度形式と SVMlight 形式の共起語情報をオープン データとして公開した。これは、長期間にわたって 比較的均質な資料に基づく日本語の歴史的な変化を 研究することができる初めての大規模データとな る。これにより、近年注目を集めている言語変化に 対する計算言語学的なアプローチによる研究が日本語においても可能となった。

## 1 はじめに

国立国語研究所では、2005 年公開の「太陽コーパ ス」[1] 以来、明治から大正期の総合雑誌コーパスの 構築を行ってきた。また、発表者等は 2019 年より 『昭和・平成書き言葉コーパス』の構築 ${ }^{11}$ の一環と して総合雑誌のデータ整備を行っている。双方をあ わせた「近現代雑誌通時コーパス」は 1874 年から 2013 年までの 140 年間をおおよそ 8 年おきにカバー する通時的なコーパスとなる。

一方で、自然言語処理の分野では近年、通時的な 言語変化に関する研究が盛んになっている。単語分散表現を活用した意味変化の検出、意味変化の計算 モデルの構築などが高い関心を集め、2019 年以降開催されている歴史的言語変化を扱うワークショッ

SemEval2020 のシェアドタスク [2] も注目された。 しかし、これまで日本語においては通時的な大規模 データが存在しなかったため、この分野での日本語 を対象とした研究は十分に進んでいない。

そこで、本発表では「近現代雑誌通時コーパス」 をもとに、自然言語処理の手法を用いて日本語の通時的な言語変化の研究に利用できるデータを公開す る。同コーパスは権利関係上フルテキストデータを 配布することはできないため、 $n$-gram 頻度形式と SVMlight 形式の共起語情報をオープンデータ（CC BY-SA 4.0）として提供するものである。

## 2 データの構築

## 2.1 雑誌データ

「近現代雑誌通時コーパス」は、明治期から平成期までの書き言葉の通時的変化を研究することを目的として構築したコーパスである。この期間に刊行 された雑誌から 8 年おき（一部、6-7 年おき）に各年代を代表する総合雑誌 1 誌を選定し、該当年の全号（特集号は除く）の全テキスト（目次・刊記・広告等は除く）を収録したコーパスである。明治・大正期のデータは『日本語歴史コーパス 明治・大正編 I雑誌』[3]（短単位データ 1.2)3) に基づき、昭和・平成期のデータは発表者等が 2019 年より構築中の 『昭和・平成書き言葉コーパス』の 2021 年 11 月時点のデータに基づく。『昭和・平成書き言葉コーパ ス』は昭和・平成期の新聞・雑誌・ベストセラー書籍を収録するコーパスで、2023 年よりオンライン検索ツール「中納言 $\rfloor^{4)}$ による検索サービスを提供する 予定である。

コーパスには短単位 [4] による形態論情報を付与 した。形態論情報は $\mathrm{MeCab}^{5}$ ) 用の形態素解析用辞書 UniDic[5] [6] による形態素解析結果を一部人手修正 して作成した。UniDic は「明治・大正期の文語文」「明治・大正期の旧仮名遣いの口語文」「昭和期の旧仮名遣いの口語文」「昭和・平成期の現代仮名遣い の口語文」のそれぞれの時代・文体・表記に適合す

3) https://ccd.ninjal.ac.jp/chj/meiji_taisho.html\#zasshi

4) https://chunagon.ninjal.ac.jp/

5) https://taku910.github.io/mecab/

るよう再学習して新たに作成したものを利用した。

「近現代雑誌通時コーパス」に収録した雑誌名と 刊行年、および各年の延べ語数を表 1 に示す。

## 2.2 データ処理・統計情報

著作権の観点から、2.1 節で収集した雑誌データ を再現できない形で公開するために、 $n$-gram 頻度と $\mathrm{SVMlight}^{7)}$ の 2 つの形式に加工した。それぞれの形式における出力例を表 2 に示す。

表 2 単語 $n$-gram と SVMlight の形式で出力した例

$n$-gram 頻度 Google Books Ngram ${ }^{8)}$ と同様に、単語（表層形）の $n$-gram とその頻度をタブ区切りで

図 1 文芸春秋（1965 年）における上位 100 件の単語 5-gram 頻度および各頻度の出現回数

出力した。今回は 1-gram（単語の頻度）から 5-gram （連続する 5 単語の頻度）まで集計を行った。また、各単語を UniDic に収録されている語彙素 ID に変換 し、語彙素 ID $n$-gram の形式も用意した。語彙素 ID は、UniDic の辞書見出しに相当する「語彙素」ごと に与えられた ID で、異表記や異語形をまとめ上げ た見出し語（lemma）を一意に示す。UniDic の辞書 アーカイブ9) 中の語彙表 (lex.csv) に含まれる語彙素 ID 列と対応付けることで、語彙素（代表表記）・語彙素読み・語種・類（品詞の上位概念）などの情報を取り出すことができる。これにより、表層形 とは異なる見出し語の $n$-gram が利用できる。デー タ作成にあたり、 $n$ の值が大きくなるほど低頻度の $n$-gram の数が膨大になる（図 1）ため、5 回以上出現する $n$-gram のみ出力した。

SVMlight ここでは、各単語を IDに変換し、共起情報を SVMlight 形式で出力した。SVMlight 形式で は、表 2 より、対象の ID（0）に共起する ID（ 0,1 , 10）とその共起回数 $(274,64,10)$ を「共起する ID：共起回数」の形で表現する。共起回数が 1 以上の ID のみ出力するため、スパースな情報を表現するのに 優れている。今回は $n$-gram 頻度と同様に、各単語 を語彙素 IDに変換した。頻度 5 回以上の語彙素 ID を集計対象にし、前後 5 つの語彙素 ID の共起情報 を獲得した。

## 2.3 公開データ

公開データは UTF-8 形式のテキストファイル で、表層形 $n$-gram、語彙素 ID $n$-gram、SVMlight $の$ 3 つのディレクトリに分けて zip 形式で圧縮し

9) https://ccd.ninjal.ac.jp/unidic/download

た。SVMlight 形式は年ごとに 19 ファイル、各々の n-gram は 1～5gram までを年ごとにまとめた 95 ファ イル（5×19）からなる。アーカイブは下記の URL からダウンロードできる。公開ライセンスは CC BY-SA 4.0 である。https://bit.ly/3HT96Ii

## 3 使用用途

ここでは、本データの期待される用途について、自然言語処理および日本語学の側面から言及する。

## 3.1 自然言語処理

自然言語処理では、Google Books Ngram から統計情報や単語分散表現を獲得し、異なる時期間で意味 の変化した単語を検出・分析する研究が数多く行わ れている $[7,8]$ 。しかし、Google Books Ngram に収録されている言語は英語、中国語、フランス語、ド イツ語、ヘブライ語、イタリア語、ロシア語、スペ イン語であり、日本語での分析を行うことができ ない。

そこで、本データを使用することで、日本語でも 同様の分析が可能になる。現在、本データを戦前と 戦後に分割して単語分散表現を学習し、意味の変化 した単語の検出・分析が行われている $[9,10]$ 。

## 3.2 日本語学

日本語学では、コーパスから作成した単語 $n$-gram を用いて、複合辞やコロケーション表現といった特定の意味・機能を有する単語連続（以下、「連語」と 呼ぶ）を抽出する研究が行われている $[11,12]$ 。ま た、『日本語歴史コーパス 明治・大正編 $\mathrm{I}$ 雑誌』の単語 $n$-gram を用いて接続詞を抽出し、明治・大正期の 接続詞の通時的変化を考察する研究もある [13]。た だし、これまで明治期から平成期までの書き言葉を 連続して収録するコーパスが存在しなかったため、近代語から現代語への通史の実証的な害態の把握は 困難であった。それが本データを使用することで可能になる。

例として、表層形の 4-gram のデータを使用して、 4-gram と刊行年との対応関係を分析してみよう。 データから記号類を含むものを除いたうえで各刊行年での頻度上位 5 位の 4-gram を抽出すると、異なり で計 31 種が得られる（表 3 参照）。そのほとんどが 何らかの意味・機能を有する連語と見なされる。こ の 4-gram 31 種 $\times$ 刊行年 19 種の頻度10)のクロス表を

10）データに収録されない頻度 5 未満の 4-gram は頻度 0 と見作成し、コレスポンデンス分析を行った。4-gram・刊行年それぞれの第 1 次元（寄与率 $53.2 \%$ ）スコア を表 3 ・表 4 に示す。

表 3 コレスポンデンス分析による 4-gram の第 1 次元ス コア

表 3 と表 4 のスコアの高低は対応関係にある。表 4 においてスコア昇順で刊行年が古い年から新しい 年の順に並んでいる。それに対応して、表 3 ではス コア昇順で、刊行年の古い雑誌に使用されやすいも のから新しい雑誌に使用されやすいものへと 4-gram が並んでいることになる。ここから明治期から平成期にかけて使用される連語の消長を概観できる。こ のように本データを使用することで、連語をはじめ とする語彙の通時的変化の実態を明らかにすること ができる。

表 4 コア

## 4 おわりに

「近現代雑誌通時コーパス」の整備により、日本語においても大規模なデータに基づいて通時的な 言語変化を研究することが可能になった。しかし、 このコーパスは未だ整備途上であり、今回公開する データにも不完全な点がある。コーパスは 2023 年度に完成予定である。

また、今回提供する $n$-gram 頻度形式と SVMlight 形式のデータはコーパスか得られる統計情報の一例 に過ぎない。研究利用上、別の形式のデータが必要 となる場合にはぜひ発表者にコンタクトしてほし い。コーパスの完成に合わせて有用な形式のデータ を公開することを検討している。

今後、これらのデータを用いることで、日本語に おいても計算言語学的なアプローチによる言語変化 の研究が盛んに行われることを期待している。

## 謝辞

本研究は JSPS 科研費 19H00531、20K20411、国立国語研究所共同研究プロジェクト「通時コーパスの 構築と日本語史研究の新展開」の助成を受けたもの です。

## 参考文献

[1] 国立国語研究所. 太陽コーパス一雑誌『太陽』日本語データベース. 博文館新社, 2005.

[2] Dominik Schlechtweg, Barbara McGillivray, Simon Hengchen, Haim Dubossarsky, and Nina Tahmasebi. SemEval-2020 task 1: Unsupervised lexical semantic change detection. In Proceedings of the Fourteenth Workshop on Semantic Evaluation, pp. 1-23, Barcelona (online), December 2020. International Committee for Computational Linguistics.

[3] 国立国語研究所（近藤明日子・間淵洋子・服部紀子・南雲千香子ほか）.日本語歴史コーパス 明治・大正編 I 雑誌（短単位データ 1.2）. 国立国語研究所, 2019.

[4] 小椋秀樹, 冨士池優美. 『現代日本語書き言葉均衡 コーパス』の言語単位. 『現代日本語書き言葉均衡 コーパス』形態論情報規程集 第 4 版（上）,pp. 1-10, 2011.

[5] 伝康晴, 小木曽智信, 小椋秀樹, 山田篤, 峯松信明, 内元清貴, 小磯花絵. コーパス日本語学のための言語資源-形態素解析用電子化辞書の開発とその応用. 日本語科学, Vol. 22, pp. 101-123, 2007.

[6] 小木曽智信, 小町守, 松本裕治. 歴史的日本語資料を 対象とした形態素解析. 自然言語処理, Vol. 20, No. 5 , pp. 727-748, 2013.

[7] Kristina Gulordava and Marco Baroni. A distributional similarity approach to the detection of semantic change in the Google Books ngram corpus. In Proceedings of the GEMS 2011 Workshop on GEometrical Models of Natural Language Semantics, pp. 67-71, Edinburgh, UK, July 2011. Association for Computational Linguistics.

[8] William L. Hamilton, Jure Leskovec, and Dan Jurafsky. Diachronic word embeddings reveal statistical laws of semantic change. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1489-1501, Berlin, Germany, August 2016. Association for Computational Linguistics.

[9] 相田太一, 小町守, 小木曽智信, 高村大也, 坂田綾香,小山慎介, 持橋大地. 単語分散表現の結合学習による 単語の意味の通時的変化の分析. 言語処理学会第 26 回年次大会 発表論文集, 2020 .

[10] 相田太一, 小町守, 小木曽智信, 高村大也, 持橋大地.通時的な単語の意味変化を捉える単語分散表現の同時学習. 言語処理学会第 27 回年次大会 発表論文集, 2021.

[11] 近藤泰弘. BCCWJ 複合辞リストについて. 青山語文, No. 42, pp. 10-15, 2012.

[12]李在鎬, 佐々木馨. 教科書コーパスを利用した難易度別コロケーション辞書の提案. 第 8 回コーパス日本語学ワークショップ予稿集, 2015.

[13] 近藤明日子. 明治・大正期の書き言葉における文体 と語彙一順接の接続詞を例に一. コーパスによる日本語史研究 近代編, pp. 115-136, 2021.


# 『日本語日常会話コーパス』に対する 係り受け情報アノテーション

浅原正幸
国立国語研究所
masayu-a@ninjal.ac.jp
}

若狭絢
国立国語研究所

## 概要

音声言語に対する日本語係り受けツリーバンク は、独話を主とする『日本語話し言葉コーパス』に 基づくものであった。対話を主とする『日本語日常会話コーパス』に対して係り受け情報を付与作業を 進めており、2022 年春に公開予定である。本発表で は国語研長単位形態論情報・文節境界・文節係り受 けアノテーション作業の概要を示すとともに、2022 年 1 月時点での基礎統計を示す。

## 1 はじめに

国立国語研究所共同研究プロジェクト「大規模日常会話コーパスに基づく話し言葉の多角的研究」で は、『日本語日常会話コーパス』(CEJC) の構築を進 めており、50 時間分の会話データを 2018 年 12 月に モニター公開し [1]、2022 年春には 200 時間分の会話データを公開予定である。CEJC は設計 $[2,3]$ に基 づき、収録 $[4,5] \cdot$ 転記 [6] ・発話単位付与 $[7,8] \cdot$ ・国語研短単位形態論情報付与 - 国語研長単位形態論情報付与・文節境界付与・文節係り受けアノテーショ ンの順に作業を実施した。本発表では CEJC に対す る長単位形態論情報付与・文節境界付与・文節係り 受けアノテーションについて示す。

書き言葉を対象とした文節係り受けアノテーショ ンとして、1995 年の毎日新聞記事を対象とした京都大学テキストコーパス [9]、京都大学ウェブリード 文コーパス [10]、『現代日本語書き言葉均衡コーパ ス』(BCCWJ) を対象とした BCCWJ-DepPara [11] が ある。話し言葉を対象とした文節係り受けアノテー ションは『日本語話し言葉コーパス』[12]に含まれ ているが、主として独話を対象としており、対話を 対象とした大規模な係り受けアノテーションは存在 しない。
2 節では、アノテーション作業の概要として、国語研長単位形態論情報・文節境界アノテーション 作業と文節係り受けアノテーションについて示す。 3 節では、2022 年 1 月現在のデータの基礎統計を 示す。

## 2 アノテーション作業

## 2.1 国語研長単位形態論情報・文節境界ア ノテーション

以下では国語研長単位形態論情報・文節境界アノ テーションについて述べる。上流工程として収録・転記・短単位形態論情報が完了しているデータに 対して、長単位解析器 Comainu [13] により解析した データを対象に進める。短単位形態論情報付与 [14] では、転記に基づく形態に対する形態素の認定を行 う。この時点では「可能性に基づく品詞体系」が付与される。長単位形態論情報付与 [15] では、文節の 認定を行った上で、各文節の内部を規則に従って自立語部分と付属語部分に分割していくという手順 で単位認定を行う。複合的な機能表現を含めて、複合語を構成要素に分割することなく全体で一つと して扱う。長単位の品詞認定においては、「用法に 基づく品詞体系」として、複合化した結果の単位が 文脈内で統語的にどのように振る舞うかに基づき、品詞を認定する。作業は 2019 年 2 月から 2020 年 8 月にかけて、作業者 2 名 ${ }^{11}$ によ、2 次チェックま で行った。その後は、上流工程の修正が行われた際 に、もしくは、係り受け情報アノテーションで不都合な点が見られた際に、追随して長単位形態論情報 に対する修正を繰り返し行った。作業には国語研内 のコーパス管理システム『大納言』[16]を用いた。単位認定基準は基本的に BCCWJ で整備された規程集 [15] に基づく。しかしながら、話し言葉を付与

1）短単位形態論情報修正を作業した 3 名が、一時的に作業を 補助したこともあった。

するうえで規程に定義されていない表現が出現し た。そのような場合、より自然な係り受け木を表現 しやすい単位を認定することを心がけた。

以下具体的な例を示す。

例えば、言いよどみが長単位の中に包摂したほう がわかりやすい場合には包摄するようにした。

(1) \|店員|シ|さん\|が\|

【T001_009-IC03】

短単位境界を卜、長単位境界を\|で表現する。(1)で は、言いよどみ「シ」を含む形で、長単位「店員シ さん」を認定する。

他の例として省略による長単位解析誤りがある。書き言葉においては助詞が手がかりとなり文節境界 が認定しやすい。

(2) \|余裕\|なかっ|た\|気|が\|する $\|$

【T001_009-IC01】

(2)では、「余裕」のあとの助詞が省略されているた めに長単位解析器が誤って連結していたのを修正 した。

(3) || 結構\|し|てる\|人 ||いる|よ $\mid$

【T006_008a-IC04】

(3) では、「結構する」という単位が誤解析されてい たが、分割した。

長単位作業時に短単位作業の誤りが多く見つかつ た例として、フィラーと代名詞・連体詞の曖昧性が ある。

(4) \|あれ\|もう\|声変わり\|

【T011_007-IC06】

(4)では、「あれ」が当初代名詞とされていたが、音声を聞きながら係り受け・共参照を含めて検討する と指示するものもない表現であったため感動詞と した。

(5) ||酵素|うん|たら|かん|たら\|って\|

【T002_019-IC01】

(5) では、短単位の規程上「云（名詞）」「たら（副助

ているが、係り受けを付与するにあたって「酵素う んたらかんたら」の 1 普通名詞に結合した。

## 2.2 文節係り受けアノテーション

係り受けアノテーションは BCCWJ-DepPara[11]の 基準に準じる。BCCWJ-DepParaでは、通常の係り受け相当の "D"、文境界相当の"Z"、係り受けを付与 するうえで後続文節と連結する"B"、係り先が決め られない "F" の 4 つのラベルを認定している2)。こ の 4 種のラベルを本研究にも適用するが、係り受け が決められない文節にはラベル"F"を付与し、無理 に係り受けを決めないという基本方針を決め、作業 を進めた。BCCWJ-DepPara では並列構造の範囲に ついても付与したが、CEJC に対しては現在のとこ ろ並列構造の範囲の付与を行っていない。作業には コーパス管理システム『ChaKi.NET』[17]を用いた。作業は 2020 年 4 月から開始し、2021 年 3 月に 2 次 チェックまで終了した。その後は、上流工程の修正 が行われた際に、追随して係り受け情報に対する修正を繰り返し行った。

アノテーションする単位は、発話単位 [7] に基づ く。このため、書き言葉の文とは異なり、返答など 1 文節 1 発話単位のものが多い一方、明確に文末が 定義できない長い発話単位もあり、単位末が終助詞・接続助詞で終わることも多い。また、単位を 1 発話単位としてするため、話者間の係り受けは付与 しない。

図 1 に CEJC に対する係り受けアノテーション例 を示す。フィラーや言いよどみが 1 文節をなす場合 （図中 1 例目と 2 例目）には、それぞれラベル"F"を 付与したうえで、最後の要素に係るようにした。ま た、発話末は必ずしも述語であるわけではない。図中 3 例目のように、発話末が副詞のような述語に相当しない場合もある。その場合、述語に係るべき要素は最終要素に係るようにした。

## 3 基礎統計

2022 年 1 月現在、上流工程の転記・短単位の修正 がまだ続いており、最終の基礎統計は異なる可能性 がある。以下では、暫定版として 2022 年 1 月 10 日時点の情報を示す。

表 1 基礎統計

2） CSJ[12]では、通常の係り受けをラベルなしとし、並列"P" ・部分並列"I"・狭義の同格"A"・広義の同格（総称など）"A2"・倒置"R"・係り受けの交差"X" $\cdot$ 接続詞"C" ・ 感動詞"E"・言い直 し"D"・フィラー"F"・係り先のない文節"N"・呼びかけ"Y"な どのラベルが定義されている。

で えューつど』 江戸時代の 半分の 米って ほとんど 仙台 東北地方だったんだよね

【C001_012-IC04】

CEJC 言いよどみの係り先

【K001_014-IC01】

CEJC述語以外の発話末

【S001_018-IC01】

図 1 CEJCに対する係り受けアノテーション例

表 1 に基礎統計を示す。平均発話長を 2.30 文節と 書き言葉と比べて極端に短い。発話末に係る文節数 が発話単位数より短いのは、後に示すとおり 1 文節 1 発話単位のものが多いためである。また全係り受 け数 75,852 のうち $46,173(60.87 \%)$ が発話末に係る (右隣接要素に係るものも含む)。

表 2 係り受けラベルの分布

表 2 に係り受けラベルの分布を示す。94.13\%の文節が通常の係り受けラベルで、 $5.63 \%$ の文節がフィ ラー・言いよどみなどの係り受けが決められないも のであった。BCCWJ-DepPara においては、長単位作業者（国語研内）と係り受け作業者（奈良先端大内）
とで異なる作業者が従事していたために、その䶡䶣 を吸収するために "B"ラベルを利用したが、今回の 作業者は長単位と係り受けの両方の作業に従事して いるために、このラベルは不要であった。また、発話単位に基づくために、「文の入れ子」を表現する ための "Z"も $0.22 \%$ と少なかった。

表 3 に発話長 ( 1 発話内の文節数) の分布を示す。 58,174 発話中 34,340 発話が 1 文節の発話、 8,779 発話が 2 文節の発話（合わせて $74.12 \%$ ）であった。 2 文節以下の場合、特殊な場合（係り先がない・2 文 に分かれる・倒置など）を除いて、係り受け木の構造は一意に決まるため、実質的なアノテーション作業は発生しない。係り受けアノテーション作業は残 りの 3 文節以上の発話が対象となるが、 2 文節以内 のものについても長単位の再定義・フィラー・言い よどみの認定などに時間を要し、場合によって、短単位形態論情報の修正を行った。

}} & & \\

表 4 係り受け長の分布

表 4 に係り受け長の分布を示す。全部で 75,852 の 係り受け関係のうち 44,491 (58.65\%) のものが右隣り
のものにかかる（係り受け長 1）であった。係り受 け長が負の値のものは倒置の係り受けであることを 表す。倒置の係り受けが少ないのは、倒置が発生し た箇所で発話単位が分割されて、別の発話単位に認定される傾向があるためである。

## 4 おわりに

本発表では、『日本語日常会話コーパス』(CEJC) に対する係り受け情報アノテーションについて解説 した。2022 年春に有償版 CEJC 契約者向けに共有す る予定である。

本研究は CEJC のコアを対象に、明確な係り受け 関係を "D" ラベルで付与するとともに、不明確な係 り受け関係を "F" ラベルで付与したに過ぎない。よ り精緻な話し言葉向けの係り受け関係ラベルが、吉田ら [18] により提案されている。本データに基づい て、話し言葉特有の不明確な係り受け関係のラベル 付けが進むことを期待する。

また統語的な性質としては、省略が多く、発話単位に分割されているため、統語分析に向かないデー タとなった。実質的な統語分析を行うためには、名詞句省略のみならず、述語省略を含めたゼロ照応を 定義した述語項構造のアノテーションが必要であろ う。その作業においては、述語項構造に基づく共参照情報を付与することが重要である。共参照情報に ついても、本データの場合「同一話者の異なる発話 (単位)」「異なる話者の発話」「発話されないが動画 に写り込んでいるモノ（コト）」「発話されず、動画 にも写り込んでいないモ)（コト）」といったレべ ルがある。述語項構造のアノテーションに向けて、名詞句省略・述語省略を含めた共参照情報の整理を 進めたい。

## 謝辞

実アノテーション作業に従事した山下華代氏に感謝 の意を表します。

本文中にもお示しした通り、本研究実施時に東京大学の吉田奈央氏・宮尾祐介氏に様々な助言を受け ました。その助言の一部は昨年の NLP2021 で発表 されております [18]。ここに記して、感謝の意を表 します。

本研究は国立国語研究所コーパス開発センター 共同研究プロジェクトの成果です。また、科研費 17H00917 の支援を受けました。

## 参考文献

[1] 小磯花絵, 天谷晴香, 居關友里子, 臼田泰如, 柏野和佳子, 川端良子, 田中弥生, 伝康晴, 西川賢哉. 『日本語日常会話コーパス』モニター版の設計・評価・予備的分析. 国立国語研究所論集, No. 18, pp. 17-33, jan 2020.

[2] 小磯花絵, 居關友里子, 臼田泰如, 柏野和佳子, 川端良子, 田中弥生, 伝康晴, 西川賢哉. 『日本語日常会話 コーパス』の構築. 言語処理学会第 23 回年次大会発表論文集, pp. 775-778, 2017.

[3] Hanae Koiso, Yasuharu Den, Yuriko Iseki, Wakako Kashino, Yoshiko Kawabata, Ken'ya Nishikawa, Yayoi Tanaka, and Yasuyuki Usuda. Construction of the Corpus of Everyday Japanese Conversation: An interim report. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018). European Language Resources Association (ELRA), May 2018.

[4] 田中弥生, 柏野和佳子, 角田ゆかり, 伝康晴, 小磯花絵. 『日本語日常会話コーパス』の構築: 会話収録法に着目して. 国立国語研究所論集, No. 14, pp. 275-292, Jan 2018.

[5] 田中弥生, 柏野和佳子, 角田ゆかり, 伝康晴, 小磯花絵. 『日本語日常会話コーパス』の構築-個人密着法 に基づく会話の収録-. Technical report, 国立国語研究所プロジェクト報告書, March 2018.

[6] 臼田泰如, 川端良子, 西川賢也, 石本祐一, 小磯花絵.『日本語日常会話コーパス』における転記の基準と 作成手法. 国立国語研究所論集, No. 15, pp. 177-193, July 2018.

[7] Japanese Discourse Research Initiative. 発話単位ラベリ ングマニュアル version 2.1. Technical report, Japanese Discourse Research Initiative, Jan 2017.

[8] Yasuharu Den, Hanae Koiso, Takehiko Maruyama, Kikuo Maekawa, Katsuya Takanashi, Mika Enomoto, and Nao Yoshida. Two-level annotation of utterance-units in Japanese dialogs: An empirically emerged scheme. In Proceedings of the Seventh International Conference on Language Resources and Evaluation (LREC'10), Valletta, Malta, May 2010. European Language Resources Association (ELRA).

[9] Sadao Kurohashi and Makoto Nagao. Buinding a japanese parsed corpus while improving the parsing system. In Proceedings of the 1st International Conference on Language Resources and Evaluation (LREC-98), pp. 719724. European Language Resources Association (ELRA), 1998.

[10] 萩行正嗣, 河原大輔, 黒橋禎夫. 多様な文書の書き始 めに対する意味関係タグ付きコーパスの構築とその 分析. 自然言語処理, Vol. 21, No. 2, pp. 213-248, 2014.

[11] 浅原正幸, 松本裕治. 『現代日本語書き言葉均衡コー パス』に対する文節係り受け・並列構造アノテー ション. 自然言語処理, Vol. 25, No. 4, pp. 331-356, 2018.

[12] 内元清貴, 丸山岳彦, 高梨克也, 井佐原均. 『日本語話し言葉コーパス』における係り受け構造付与 (version 1.0). Technical report, 『日本語話し言葉コー
パス』の解説文書, 2003

[13] 小澤俊介, 内元清貴, 伝康晴. 長単位解析器の異なる 品詞体系への適用. 自然言語処理, Vol. 21, No. 2, pp. 379-401, 2014.

[14] 小椋秀樹, 小磯花絵, 冨士池優美, 宮内佐夜香, 小西光, 原裕. 『現代日本語書き言葉均衡コーパス』形態論情報規程集 第 4 版（下）. Technical report, 国立国語研究所内部報告書, 2011.

[15] 小椋秀樹, 小磯花絵, 冨士池優美, 宮内佐夜香, 小西光, 原裕. 『現代日本語書き言葉均衡コーパス』形態論情報規程集 第 4 版（上）. Technical report, 国立国語研究所内部報告書, 2011.

[16] 小木曽智信, 中村壮範. 『現代日本語書き言葉均衡 コーパス』形態論情報アノテーション支援システム の設計・実装・運用. 自然言語処理, Vol. 21, No. 2, pp. 301-332, 2020.

[17] Masayuki Asahara, Yuji Matsumoto, and Toshio Morita. Demonstration of ChaKi.NET - beyond the corpus search system. In Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics: System Demonstrations, pp. 49-53, Osaka, Japan, December 2016. The COLING 2016 Organizing Committee.

[18]吉田奈央. 『日本語日常会話コーパス』に対する自然会話特有の現象を区別するための係り受け関係ラ ベルの付与. 言語処理学会第 27 回年次大会発表論文集, pp. 1129-1133, 2021.