# 単語分散表現を用いた新型コロナウイルスによる意味変化検出

高橋寛武 石原祥太郎 ${ }^{1}$ 白井穂乃 1
1 株式会社日本経済新聞社
hiromu.takahashi56@gmail.com \{shotaro.ishihara,hono.shirai\}@nex.nikkei.com

## 概要

本稿では日本語の新聞記事データを題材に，新型 コロナウイルス感染症で意味が変化した単語を検出 する手法を提案する。最初に，実データを用いて時系列の推移で単語分散表現の性能が悪化する可能性 を検証し，単語の意味変化を検出する意義を議論し た. 次に先行研究に独自の工夫を施した手法を用い て, 意味が変化した「コロナ」「まん延」といった単語を導出した. 最後に単語分散表現全体の変化度合 いを計算する方法を提案し，新型コロナウイルス感染症による単語の意味変化の大きさを確認した.

## 1 はじめに

新型コロナウイルス感染症の世界的な流行を背景 に，日常生活にもさまざまな変化が生じている．変化したものの一つに言葉の使い方があり, 新しい生活様式に応じた新語や流行語が登場した. 2020 年度の「ユーキャン新語・流行語大賞」では, 新型コ ロナウイルス感染症の集団感染を避けるための行動 を表す「3密（密閉、密集、密接）」が年間大賞に選 ばれた1) 「密」という語自体は従来から存在してい たが，新しい意味を伴い日常で使用されている.

このような単語の意味変化は semantic shifts や semantic change と呼ばれ，言語学・社会学的な意義 だけではなく, 自然言語処理・検索などの情報科学 の観点でも関心が寄せられている [1]. たとえば近年は大規模事前学習言語モデルが飛躍的な発展を遂 げているが，このような言語モデルの性能は単語の 意味変化に伴い悪化することが示されている [2][3].人間が扱う言語の変化については古くからさま ざまな観点で研究されてきた [4]. 近年は大規模な コーパスが利用可能になると共に, 単語分散表現 [5] を用いて単語の意味変化を捉えようとする取り組み が加速した [6]. たとえば Gulordava ら [7] は， 1960 年代と 1990 年代のコーパスにおける分布を比較し

1) https://www.jiyu.co.jp/singo/index.php?eid=00037「sleep」という単語が睡眠障害に関してより否定的 な意味合いになったという文化的な変化を確認し た. 単語分散表現の設計についても，コーパスを時間軸で分割するのではなく通時的に捉えたり [8], 時系列性に加えて文脈も考慮したり [9] と，意味変化 の影響を軽減する取り組みも存在する。新型コロナ ウイルス感染症関連では Guo ら [10] が，Twitter ${ }^{2}$ か ら抽出したコーパスを時系列で分析し, 単語の意味 の変化を観察した. 日本語での研究事例は少なく,単語の意味変化の検出手法は確立されていない. 同様に，時系列に沿った意味変化に伴う単語分散表現 の性能悪化の可能性についても議論が少ない.

本研究では日本語の新聞記事データを題材に，新型コロナウイルス感染症で意味が変化した単語を検出する手法を構築する. 第 2 章では初めに，時系列 に沿った意味変化に伴う単語分散表現の性能悪化に ついて検証し, 近年の自然言語処理領域の文脈で単語の意味変化を検知する意義を議論する．次に第 3 章では提案手法を説明し，第 4 章では実験結果につ いて述べる. 最後に第 5 章では本稿を総括する.

## 2 単語の意味変化に伴う性能劣化

本章では，時系列に沿った意味変化に伴う単語分散表現の性能悪化を検証する。具体的には新型コロ ナウイルス感染症の流行前後における性能の違いと 時系列ごとの性能の違いという 2 つの設定で予備実験を行う.

## 2.1 word2vec モデルの構築

単語分散表現の獲得には, 先行研究でも数多く利用されている word2vec[5]を利用する。コーパスに は，株式会社日本経済新聞社が提供するニュース配信サービス「日経電子版 ${ }^{3)}$ の新聞記事データを用 いる. 取得期間はサービスが開始された 2010 年 3 月 23 日 2021 年 11 月 30 日である. 予備実験では,

特定の期間を切り出して学習用に用いることで，単語分散表現の違いを検証する。

word2 vec モデルの構築には， gensim[11]を利用す る.テキストの前処理として HTML タグやURL を削除し，分かち書きには MeCab[12]，辞書には mecab-ipadic-NEologd[13]を用いる.

## 2.2 word2vec モデルの評価

日経電子版の新聞記事データを用いて，日経電子版の新聞記事データ（2010 年 3 月 23 日〜2019 年 10 月 31 日）で学習した word2vec モデルの性能を検証する。比較対象には，WikiEntVec[14]，白ヤギ4), chiVe[15]の 3つの word2vec モデルを用いる.

モデルの比較には，記事に含まれる単語から記事 のジャンルを予測する多クラス分類問題を設定す る.キーワードそれぞれの単語分散表現の平均 [16] を入力とし, 分類器には勾配ブースティング決定木 の LightGBM[17]を用いる. キーワードは, 記事本文から固有表現抽出した名詞を中心に，記者や編集者が人手で付与している.

ジャンルは 8 種類で, 評価指標は正答率とした。検証用データセットとしては 2020 年 1 月 1 日〜 2021 年 11 月 30 日の新聞記事データを使った. 日経電子版の新聞記事データで構築した word2vec モデ ルは最も高い正答率を示し，今回構築した word2vec モデルは日経電子版の新聞記事データを用いた分析 で使うモデルとして有用だと示唆された．評価実験 の詳細は、Appendix A に示す.

## 2.3 予備実験 1: 流行前後の性能の変化

1 つ目の予備実験では，新型コロナウイルス感染症の流行前後の word2vec モデルの性能の違いを比較する. 具体的には，記事に付与されたキーワード を入力として，コロナ後の記事データを対象に記事 のジャンルを予測するタスクに取り組む. これによ り「新型コロナウイルス感染症の流行前後では単語 の意味変化が多く，コロナ後の記事データを分析す る場合， word2vec モデルとしてコロナ前モデルより もコロナ後モデルを利用する方が予測性能が高い」 という仮説を検証する. 入力は 2.2 節の設定と同様, キーワードそれぞれの単語分散表現の平均を用い，分類器には LightGBMを用いる.

コロナ前モデルは 2018 年 1 月 1 日 2019 年 8 月

表 1 新型コロナウイルス感染症の流行前後の性能の変化

表 22021 年の記事データに対する性能の変化 word2vec のみ

年過去のデータ で学習

31 日，コロナ後モデルは 2020 年 1 月 1 日〜2021 年 8 月 31 日の日経電子版の新聞記事データで学習 する。検証用データセットとしては 2021 年 9 月 1 日〜2021 年 11 月 30 日の新聞記事データを用いる. ここでコロナ前後の変化を評価するため，共通語を 定義する. 共通語は 2 つの word2vec モデルで語彙 が共通している語である.キーワードが全て共通語 の 19356 記事 (共通語のみ)，一つでも共通語ではな い語を含む 4258 記事 (共通語以外含む)，両者を合 わせた 23614 記事 (すべて) の 3 観点で性能を評価す る. また，評価指標は正答率とする。乱数の seed を 変えて 10 回実験した平均の結果を表 1 に示す.い ずれの観点でも，コロナ後モデルの方が性能が高い という結果が得られた. 特に共通語のみをキーワー ドに含む場合，つまり単語の意味変化による影響が 最も強く出る条件下で性能差が確認された。

## 2.4 予備実験 2: 時系列の性能劣化の推移

2 つ目の予備実験では Kutuzov ら [1] と同様に，各年 1 年分のデータで学習させたモデルを使って時系列の性能の変化を検証する．タスクは 2.3 節の予備実験と同じく, キーワードを入力として，LightGBM を用いて記事のジャンルを予測する。

検証では LightGBM の学習用にも過去のデータを 使うか否かで 2 つの実験を設定する．過去のデータ を使う設定 (word2vec と LightGBM を過去のデータ

で学習)では, word2vec モデルを各年のデータで学習し，LightGBM の学習・検証に 2021 年 1 月 1 日〜 11 月 30 日のデータを用いる. 過去のデータを使わ ない設定 (word2vec のみ過去のデータで学習) では, word2vec モデルと LightGBM を各年のデータで学習 し，検証には 2021 年 1 月 1 日〜 11 月 30 日のデータ を利用する. 結果は表 2 の通りである. どちらの設定でも概ね学習時期が過去になるほど性能が劣化す ることが確認できた。

## 2.5 単語の意味変化を検知する意義

2 つの予備実験を通じ，word2vec モデルの性能が 時間の経過に伴い劣化し, その一つの要因は単語の 意味変化にあると示唆された．近年の自然言語処理 の領域では, 大規模なコーパスで事前学習した単語分散表現を活用する場面が多い. 単語の意味変化の 検知は，単語分散表現を活用するモデルの性能劣化 を議論できる点で意義のある取り組みと言える。

## 3 提案手法

本章では，提案手法である，意味が変化した単語 の検出手法について説明する．新型コロナウイルス 感染症における単語の意味変化を Twitterコーパス で分析した Guo ら [10] の先行研究を基に単語の意味変化の度合いを計算し, 本研究の目的に応じて単語の出現頻度による絞り込みを実施する。

## 3.1 ベクトル空間のマッピング

最初に，単語の意味変化を検出するため，学習済 みの 2 つの word2vec モデルのベクトル空間に回転 を施し，同一の空間に落とし込む手法について説明 する。まず，意味変化の割合は単語頻度の負の累乗 に従うという考え方 [18] に基づき，登場頻度の高い 単語の意味は時間の経過とともに変化せず局所的 な構造は保存されていると仮定を置く.この仮定の 下，Guo ら [10]が提案する手法を利用する．Guo ら [10] の手法は, 学習済みの 2 つの word2vec モデルを 入力とし, 回転行列を導出して座標軸を揃える手法 である. 具体的には, word2vec モデル $i$ で出現頻度 が上位 1000 件の単語行列 $W_{i}$ と, word2vec モデル $j$ で同じ 1000 個の単語から作った行列 $W_{j}$ から, 特異値分解の応用で最適化問題を解く.

座標軸を揃えるマッピング処理を実施した後，各 モデルにおける単語分散表現のコサイン類似度を計算することで，単語の意味変化の度合いを観測でき
る.しかし片方向のみの変換では類似度は平均して 低くなるため [19], Guo ら [10] は逆方向に同様の処理を適用し，単語の安定性 (stab) という観点で単語の意味変化を捉えている. モデル $i$ とモデル $j$ を 比較した単語 $w$ の stabを以下のように定義する. $s t a b$ が小さいほど 2 つの word2vec モデルのベクト ル空間での違いが大きく, 単語の意味変化している とみなす.

$
\begin{gathered}
\operatorname{stab}(w)=\frac{\operatorname{sim}_{i j}(w)+\operatorname{sim}_{j i}(w)}{2} \\
\operatorname{sim}_{i j}(w)=\cos -\operatorname{sim}\left(R^{j i} R^{i j} V_{w}^{i}, V_{w}^{i}\right)
\end{gathered}
$

ただし， $\cos -\operatorname{sim}$ はコサイン類似度， $R^{j i}$ はモデ ル $j$ から $i$ のマッピングに用いた回転行列, $V_{w}^{i}$ は単語 $w$ のモデル $i$ での単語分散表現を意味する.

## 3.2 単語の出現頻度による絞り込み

提案手法では，stabを利用して意味変化した単語 を列挙する際，出現頻度の情報を用いて，過去の モデルでのみ数多く登場している一部の用語を除外する。具体的には，コロナ後（2020～2021 年）の word2 vec モデルでの出現頻度（100万語当たりの調整頻度）の年間平均，およびコロナ前（2010～2019 年）の年間平均と比較した増加率を各単語について 計算し，それぞれの閾値で絞り込みを実施する. 単語の出現頻度による補正は，自然言語処理分野では TF-IDF[20] などで伝統的に利用されている.

## 3.3 モデル全体の変化度合いの計算

単語の $s t a b$ を利用したモデル全体の変化度合い の計算方法を提案する. モデル全体の変化度合いは モデル内の単語の変化度合いと相関しているとみな し, 全単語の $s t a b$ の平均値を採用する.この値が 小さいほど，モデル全体の変化度合いが大きい.

## 4 実験

提案手法の有効性を検証するため，実際に新型コ ロナウイルス感染症の流行前後の word2vec モデル をマッピングする.

## 4.1 ベクトル空間のマッピング

実験ではコロナ前とコロナ後の 2 つのモデルを用 いた. コロナ前モデルは 2010 年 3 月 23 日〜2019 年 10 月 31 日，コロナ後モデルは 2020 年 1 月 1 日〜 2021 年 8 月 31 日の日経電子版の新聞記事データで

図 1 マッピング後のベクトル空間の例

図 2 モデル全体の変化度合いの年次推移

学習した word2vec モデルである. マッピングには， Hamilton ら [18] が公開している実装5)を用いた。

マッピング後のベクトル空間について，「コロナ」 という単語に焦点を当てて可視化した結果を図 1 に 示す. 可視化のために, $\mathrm{t}-\mathrm{SNE}[21]$ を用いて 300 次元 のベクトル空間を 2 次元に圧縮した. 左下の青色の 四角で示した「コロナ」周辺の単語はコロナ前，右上の赤色の丸で示した「コロナ」周辺の単語はコロ ナ後の単語を表している。コロナ前は工業や飲食物 の文脈で利用されていた単語が，コロナ後に感染症 や災害の文脈に変わっていったことが読み取れる。

## 4.2 単語の出現頻度による絞り込み

$s t a b$ が小さかった単語の一覧を確認すると，新型 コロナウイルス感染症をはじめエボラ出血熱やデン グ熱など，感染症関連の単語ばかりが登場している (Appendix B). 提案手法である，単語の出現頻度の 情報を用いて絞り込みを適用した結果を以下に示 す. 具体的には「コロナ後の word2vec モデルでの

出現頻度の年間平均が 15 回より多い」かつ「増加率が 500 \%より大きい」という条件を適用した.

単語の出現頻度による絞り込み

感染拡大, 新型コロナウイルス, 感染, 感染症, 感染者, ウイルス, ウイルス感染, ワクチン, 感染力,変異, 新型肺炎, まん延, パンデミック, 感染予防, WHO, 接種, 世界保健機関, 感染リスク, 重症, 感染者数, 陽性, 新規感染者, 禍, 抗体, 感染対策, 緊急事態宣言, PCR 検査, ウイルス対策, コロナ, 陰性, 消毒, 隔離, 軽症, 外出自粛, 濃厚接触者, 検体,病床, 医療従事者, 終息, 保健所, デルタ, アスト ラゼネカ, オンライン診療, クラスター, 武漢, マ スク,ファイザー, 療養, 死者数, To, 2020, 回分, テレワーク, 経済活動, 自粛, 無観客, 人出, 往来,収束, 休校, 巣ごもり, 都府県, リモートワーク,発令

## 4.3 モデル全体の変化度合いの計算

最後に，モデル全体の変化度合いについて，1 年 ごとのデータで学習した word2vec モデルを用いて 検証する．2010～2021 年の各年のモデル全体の変化度合いの年次推移を図 2 に示す。たとえば 2010 年と 2011 年の変化度合いは，学習用に 2010 年と 2011 年のデータを用いた word2vec を比較すること で算出した. ただし 2021 年については 11 月 30 日 までのデータを利用している。2019 年と 2020 年の 変化度合いが最も大きく，新型コロナウイルス感染症による単語の意味変化の大きさが確認できた.

## 5 おわりに

本稿では，日本語の新聞記事データを題材に，新型コロナウイルス感染症で意味が変化した単語を検出する手法を提案した. 最初に，時系列に沿った単語の意味変化による分散表現の性能悪化を定量的に 確認した. 次に Guo ら [10] の研究を追試し，単語 の出現頻度による独自の工夫を施した．最後に，単語分散表現全体の変化度合いを計算する方法を提案 し，実験を通じて新型コロナウイルス感染症による 単語の意味変化の大きさを確認した。

意味変化した単語を検出する手法は，新型コロナ ウイルス感染症以外の文脈でも適用できる可能性が ある。ただし単語の出現頻度による絞り込みの際に は閾值を適切に設定する必要があり，閾値の設定方法については今後の課題である.

## 参考文献

[1] Andrey Kutuzov, Lilja Øvrelid, Terrence Szymanski, and Erik Velldal. Diachronic word embeddings and semantic shifts: a survey. In Proceedings of the 27th International Conference on Computational Linguistics, pp. 1384-1397, Santa Fe, New Mexico, USA, August 2018. Association for Computational Linguistics.

[2] Shoetsu Sato, Jin Sakuma, Naoki Yoshinaga, Masashi Toyoda, and Masaru Kitsuregawa. Vocabulary adaptation for domain adaptation in neural machine translation. In Findings of the Association for Computational Linguistics: EMNLP 2020, pp. 4269-4279, Online, November 2020. Association for Computational Linguistics.

[3] Kokil Jaidka, Niyati Chhaya, and Lyle Ungar. Diachronic degradation of language models: Insights from social media. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics, pp. 195200, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[4] L. Bloomfield. Language. Holt, Rinehart and Winston, New York, 1933.

[5] Tomás Mikolov, Kai Chen, Greg Corrado, and Jeffrey Dean. Efficient estimation of word representations in vector space. In Workshop Track Proceedings of 1st International Conference on Learning Representations, Scottsdale, Arizona, USA, May 2013.

[6] Elizabeth Closs Traugott. Semantic change. In Oxford Research Encyclopedia of Linguistics. March 2017.

[7] Kristina Gulordava and Marco Baroni. A distributional similarity approach to the detection of semantic change in the Google Books ngram corpus. In Proceedings of the GEMS 2011 Workshop on GEometrical Models of Natural Language Semantics, pp. 67-71, Edinburgh, UK, July 2011. Association for Computational Linguistics.

[8] Alex Rosenfeld and Katrin Erk. Deep neural models of semantic shift. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 474-484, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[9] Valentin Hofmann, Janet Pierrehumbert, and Hinrich Schütze. Dynamic contextualized word embeddings. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics, 2021.

[10] Yanzhu Guo, Christos Xypolopoulos, and Michalis Vazirgiannis. How COVID-19 is changing our language : Detecting semantic shift in twitter word embeddings. February 2021 .

[11] Radim Řehůřek and Petr Sojka. Software Framework for Topic Modelling with Large Corpora. In Proceedings of the LREC 2010 Workshop on New Challenges for NLP Frameworks, pp. 45-50, Valletta, Malta, May 2010. ELRA.

[12] Takumitsu Kudo. Mecab : Yet another part-of-speech and morphological analyzer. 2005.

[13] Taiichi Hashimoto Toshinori Sato and Manabu Okumura. Implementation of a word segmentation dictionary called mecab-ipadic-neologd and study on how to use it effectively for information retrieval (in japanese). In Proceedings of the Twenty-three Annual Meeting of the Association for Natural Language Processing, pp. NLP2017B6-1. The Association for Natural Language Processing, 2017.

[14] Masatoshi Suzuki, Koji Matsuda, Satoshi Sekine, Naoaki Okazaki, and Kentaro Inui. A joint neural model for FineGrained named entity classification of wikipedia articles. IEICE Transactions on Information and Systems, Vol. E101.D, No. 1, pp. 73-81, 2018.

[15] 真鍋陽俊, 岡照晃, 海川祥毅, 高岡一馬, 内田佳孝,浅原正幸. 複数粒度の分割結果に基づく日本語単語分散表現. 言語処理学会第 25 回年次大会, pp. NLP2019-P8-5. 言語処理学会, 2019.

[16] Dinghan Shen, Guoyin Wang, Wenlin Wang, Martin Renqiang Min, Qinliang Su, Yizhe Zhang, Chunyuan Li, Ricardo Henao, and Lawrence Carin. Baseline needs more love: On simple Word-Embedding-Based models and associated pooling mechanisms. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics, pp. 440-450, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[17] Guolin Ke, Qi Meng, Thomas Finley, Taifeng Wang, Wei Chen, Weidong Ma, Qiwei Ye, and Tie-Yan Liu. LightGBM: A highly efficient gradient boosting decision tree. In Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc., 2017.

[18] William L Hamilton, Jure Leskovec, and Dan Jurafsky. Diachronic word embeddings reveal statistical laws of semantic change. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics, pp. 1489-1501, Berlin, Germany, August 2016. Association for Computational Linguistics.

[19] Hosein Azarbonyad, Mostafa Dehghani, Kaspar Beelen, Alexandra Arkut, Maarten Marx, and Jaap Kamps. Words are malleable: Computing semantic shifts in political and media discourse. In Proceedings of the 2017 ACM on Conference on Information and Knowledge Management, pp. 1509-1518, Singapore, Singapore, November 2017. Association for Computing Machinery.

[20] Juan Ramos. Using tf-idf to determine word relevance in document queries. In Proceedings of the first instructional conference on machine learning, Vol. 242, pp. 29-48. Citeseer, 2003.

[21] Laurens Van der Maaten and Geoffrey Hinton. Visualizing data using $t$-sne. Journal of machine learning research, Vol. 9, No. 11, 2008.

[22] Yuya Sakaizawa and Mamoru Komachi. Construction of a Japanese word similarity dataset. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation, Miyazaki, Japan, May 2018. European Language Resources Association.

[23] Keisuke Inohara and Akira Utsumi. JWSAN: Japanese word similarity and association norm. Language Resources and Evaluation, pp. 1-29, 2021.
表 3 word2vec モデルの比較

モデル

## A word2vec モデルの評価実験

日経電子版の新聞記事データで構築した word2vec モデルの性能を他のモデルと比較した結果を表 3 に 示す. モデルは以下の 4 つを用いた.

-日経: 日経電子版の新聞記事データ（2010 年 3 月 23 日～2019年 10 月 31 日）で学習
- WikiEntVec: 日本語 Wikipedia で学習

・白ヤギ: 日本語 Wikipedia で学習
- chiVe: 国立国語研究所の日本語ウェブコーパス （NWJC）で学習

各モデルの評価には日本語単語類似度データ セット「Japanese Word Similarity Dataset (JWSD) 」 [22] と，日本語類似度・関連度データセット「JWSAN」 [23]，および日経電子版の新聞記事データを使っ た. JWSD は単語の類似度を $0 \sim 10$ の値で付与した データセットで, 品詞は形容詞 (JWSD-adv)・動詞 (JWSD-verb) $\cdot$名詞 (JWSD-noun) $\cdot$ 副詞 (JWSD-adj) の 4 種類ある. JWSAN は名詞 ・動詞・形容詞の類似度・関連度のデータセットで，類似度と関連度が それぞれ 1〜7 の值で付与されている. すべての単語ペア 2145 組のデータセット (JWSAN-2145) と, 分散表現に適したデータに厳選した 1400 組のデータ セット (JWSAN-1400) が存在する。評価指標にはス ピアマンの順位相関係数 6 )を用いた。

日経電子版の新聞記事データを用いたタスク （NIKKEI）では，記事に含まれる単語からジャンル を予測した. ジャンルは, 企業・くらし・国際・ス ポーツ・マーケット・経済・社会・政治の 8 種類で,評価指標は正答率を用いた. 検証用データセットと しては 2020 年 1 月 1 日〜2021 年 11 月 30 日の新聞記事データを使った。日経電子版の新聞記事データで構築した word2vec モデルは，その他のモデルと比較し遜色ない性能を 示していると分かる. 特に NIKKEI タスクでは 4 つ のモデルの中で最も高い正答率で，今回構築した word2vec モデルは日経電子版の新聞記事データを用 いた分析で使うモデルとして有用だと示唆された。

## B $s t a b$ が小さい単語上位 $\mathbf{1 0 0$ 件}

stabが小さい単語上位 100 件には，新型コロナウ イルス感染症をはじめエボラ出血熱やデング熱な ど，感染症関連の単語ばかりが登場した。これらの 単語のうち一部はコロナ後モデルの語彙としての 登場頻度が多くなかったため, 本研究の目的を考慮 し，登場頻度に基づく絞り込みを実施した。

## stab が小さい単語上位 100 件

感染拡大, 新型コロナウイルス, 感染, コロナウ イルス, 感染症, 感染者, ウイルス, インフルエ ンザウイルス, ニパウイルス感染症, エボラ出血熱, ウイルス感染, MERS, デング熱, リフトバ レー熱, ジカ熱, 豚コレラ, エボラ熱, 重症熱性血小板減少症候群, エボラウイルス, クリミア・コ ンゴ出血熱, ワクチン,アフリカ豚コレラ, 出血熱, 鳥インフル, 耐性菌, 感染力, ツツガムシ病,鳥インフルエンザ, 変異, インフルエンザ, HBV,中東呼吸器症候群, ラッサ熱, ポリオウイルス, ジカウイルス感染症, 国立感染症研究所, マラリ ア, 感染ルート, 新型肺炎, エボラウイルス病, 結核, 院内感染, アデノウイルス, 病原体, 原虫, 麻疹, 熱帯病, 感染経路, エボラ, マイコプラズマ,蚊, チクングニア熱, インフル, はしか, 病原性,髄膜炎菌, フィラリア症, 新型インフルエンザ, HIV, ハマダラカ, 感染源, 麻疹ウイルス, 黄熱, 七卜免疫不全ウイルス, 新興感染症, エイズ, 多剤耐性菌, まん延, 空気感染, H7N9, ムンプス, パン デミック, ノロウイルス, 日本脳炎, マールブル グ, プリオン病, 感染地域, 狂犬病, 水疮瘡, 感染予防, マーズ, 薬剤而性菌, C 型肝炎, 呼吸器感染症, 豚流行性下痢, ロタウイルス, 成人 $\mathrm{T}$ 細胞白血病, デングウイルス, $\mathrm{E}$ 型肝炎, 寄生虫, 日本紅斑熱, フィラリア, 世界的大流行, WHO, 抗生物質, A 型肝炎, 伝染病, 急性感染症, SFTS, 流行
6) https://docs.scipy.org/doc/scipy/reference/generated/ scipy.stats.spearmanr.html


# 日本語法律分野文書に特化した BERT の構築

宮崎桂輔菅原祐太山田寛章 徳永健伸
東京工業大学 情報理工学院
\{miyazaki.k.am@m, sugawara.y.ag@m, yamada.h.ax@m, take@c\}.titech.ac.jp

## 概要

本論文では日本語の法律分野に特化した BERT モデルを提案する。民事事件判決書コーパスを用 い，BERTを一から事前学習するモデルと，既存の 汎用日本語 BERT に追加事前学習するモデルを作成 した。実験より，民事事件判決書を用いた Masked Language Model，Next Sentence Prediction タスクにつ いては既存の汎用日本語 BERT に追加事前学習する 手法が最も良い正解率を示すことがわかった.

## 1 はじめに

近年，単言語，特定分野の文書に関するタスクに おいて，言語にのみ特化した汎用言語モデルに代わ りドメインに特化した言語モデルが注目されてい る. 英語の科学論文 [1], 生物医学論文 [2], 法律文書 [3] を用いて構築したドメイン特化 BERT が複数 の後段タスクで汎用 BERTを超える性能を示してお り，タスクによっては最先端の結果を示している.日本語においても, 医学分野 [4], 金融分野 [5] など でドメインに特化した BERT が汎用日本語 BERTを 超える性能を示している.

本論文では日本語の法律分野に特化した BERT モ デルを提案する。なお，英語 [3] やフランス語 [6], ルーマニア語 [7] などで法律分野に特化した BERT を構築する先行研究がある．また，最高裁判所の民事事件の判例を使用して BERT を事前学習する先行研究 [8] があるが，本論文では文書数にして 10 倍以上のより大規模なコーパスを用いて事前学習を 行った.

## 2 モデルの構築

## 2.1 日本語法律分野コーパス

本研究では，日本語法律分野コーパスとして株式会社 LIC より提供された日本の民事事件の判決書 (以下，民事事件判決書コーパスと記載)を用いた。
コーパス中の文書数は 170,320 , 文書当たりの平均文字数は約 11,300 字，コーパス全体のデータサイズ は約 5.4GB である.

## 2.2 作成するモデル

英語法律分野文書に特化した BERTを構築する 先行研究 [3] に倣い, 二種類のモデルを作成した. どちらもモデルの構造として BERT-BASE [9]を用 いた.

JLBERT-SC BERT を民事事件判決書コーパスを 用いて一から事前学習したモデルである。語彙は民事事件判決書コーパスから作成した.

JLBERT-FP 既存の汎用日本語 BERT に民事事件判決書コーパスによる追加事前学習を行ったモデル である. 語彙は既存の汎用日本語 BERT のものをそ のまま使用した。

## 3 実験設定

## 3.1 訓練データ, テストデータへの分割

NVIDIA による BERT の実装 [10]を参考に，後述 の文分割を行った後の文の数の比がおよそ 9:1 とな るように，コーパス内の文書を訓練データ，テスト データに分割した。

## 3.2 民事事件判決書コーパスのトークン化

民事事件判決書コーパスに対し, データの前処理 および文分割，形態素分割，サブワード分割による トークン化を行った。

データの前処理 前処理として, 民事事件判決書 コーパスに含まれる判決書の先頭に記載されている 以下の情報は削除した.

・コーパス提供者が割り振った判例番号
- 民事事件記録符号規程により裁判所が付ける事件番号
- 事件名

また，インデントに使われている全角スペースはす べて削除し，それ以外の全角スペースが複数並んで いる箇所についてはスペース一つに置換した。

文分割 次に文分割を行った。句点の直後に括弧閉じが存在する場合のみを例外として扱い，それ以外のすべての改行及び句点を文末とした. 文分割し たコーパスの特徴は付録の表 4 の通りである。

形態素分割 次に JUMAN++ [11] を用いて文を形態素に分割した. JUMAN++の入力文長制限である 4,096 bytes を超える文については，4,096 bytes を超 えないように読点の位置で文を分割した. この処理後も 4,096 bytes を超える文については，文頭から 4,096 bytes を超えないように貪欲に文字列を取って 一文とみなすことを繰り返すことで文分割を実施 した.

サブワード分割 最後に，BPE [12] によるサブ ワード分割を行った. JLBERT-FPでは，柴田らが公開している既存の汎用日本語 BERT [13] の語彙を用 いて BPEを適用した。また，JLBERT-SC では，訓練データから語彙を学習し, 学習した語彙を用いて BPE を適用した。なお，JLBERT-SC の語彙は汎用日本語 BERT に合わせ，語彙数を 32,000 とした. サブ ワード分割を行ったコーパスの特徴は付録の表 5,6 に示す通りである.

## 3.3 モデルの事前学習の設定

NVIDIA による BERT の実装 [10] を参考に，事前学習の設定を行った。

## 3.3.1 事前学習で扱うタスク

BERT の事前学習では，以下の二つのタスクで学習を行う。

Masked Language Model (MLM) ランダムにマス キングされた文中のトークンについて，マスキング される前の正しいトークンを予測するタスクであ る.なお，マスキングの対象とされたトークンのう ち，80\%は [MASK] トークンに，10\%はランダムな トークンに置き換えて，残りの $10 \%$ は元のトークン のままモデルに入力する.

Next Sentence Prediction (NSP) 与えられた二文 が文書内で連続していたかどうかを予測するタスク である．文書内に実在する連続する 2 文を正例，文書内からランダムに抽出した連続しない 2 文を負例とし，正例と負例を $50 \%$ ずつの割合にして学習を 行う.

## 3.3.2 事前学習の流れ

事前学習は, phase 1 と phase 2 の二段階に分けて 行った. phase 1 では，入力文の長さの上限を 128 トークンとし, MLM タスクでは一文あたり $\min (20$,文中のトークン数の $15 \%$ ) トークンをマスクした. phase 2 では， 入力文の長さの上限を 512 トークンと し， MLM タスクでは一文あたり $\min (80$, 文中のトー クン数の $15 \%$ ) トークンをマスクした.

## 3.3.3 モデルの詳細, ハイパーパラメータ

JLBERT-SC，JLBERT-FP 共にモデルの構造は BERT-BASE [9] とした. JLBERT-FP では, 初期パラ メータとして柴田らが公開している汎用日本語 BERT [13] の BASE WWM 版のパラメータを使用し た. optimizerには LAMB [14] を使用した. その他 のハイパーパラメータは付録の表 8,9 に記す.な お，本設定では phase 1 における 1 epoch はミニバッ チ入力回数約 68 万回，約 5,300steps(1GPU の場合), phase 2 における 1 epoch はミニバッチ入力回数約 192 万回，約 3,700steps(1GPU の場合) に対応する.

## 3.3.4 実行環境

BERT の事前学習には, NVIDIA RTX A6000 GPU を 4 つ使用した. モデルの事前学習にかかった時間 は, phase 1 が約 28 時間，phase 2 が約 18 時間，合わ せて約 46 時間であった。

## 3.4 JLBERT-FP の学習データ数削減によ る性能の変化

追加実験として，学習データ量の違いによる性能 の変化を検証するため，学習データの数を段階的 に削減して JLBERT-FP の事前学習を行い, MLM, NSP の各タスクにおける性能を比較した。

## 3.4.1 学習データ

学習データとして, JLBERT-FP の学習データを文書単位でおよそ $50 \%$ ，25\%に削減したデータセッ トを用意した.これらのデータセットに関する 情報は付録の表 7 の通りである.これらのデータ セットを用いて事前学習を行ったモデルを以下 JLBERT-FP-50\%，JLBERT-FP-25\%と略記する。

## 3.4.2 実験設定

実験設定は以下に記載する事項を除き 3.3 と同じ とした. JLBERT-FP-50\%, JLBERT-FP-25\%の事前学習の設定には， 3.3 と比較して以下の変更がある.

・GPUを 1 つ用いて学習を行った. 実効バッチサ イズは $1 / 4$ となっている.

・学習 step 数は変わらず実効バッチサイズが $1 / 4$ となっていることから，ミニバッチ入力回数は 1/4 となっている.

・学習データ数がそれぞれおよそ $1 / 2 ， 1 / 4$ ，ミニ バッチ大力回数が $1 / 4$ となっていることから， epoch数はそれぞれおよそ $1 / 2$ 倍, 等倍となって いる.

## 3.5 非法律ドメインの文書分類

法律ドメインに特化して事前学習を行った BERT の，法律以外のドメインにおけるタスクの性能を検証する。ここでは， livedoor ニュースコーパス [15] を用いて，JLBERT-SC，JLBERT-FP と汎用日本語 BERT の間で性能比較を行った。

## 3.5.1 データセット，タスク

livedoorニュースコーパスは，「livedoorニュース」内の 9 つのカテゴリのニュース記事からなるコー パスである. 本研究では, 記事の内容からその記事 のカテゴリを予測する文書分類タスクを行った．記事数は 7,367 件であり，データセットに占める各力 テゴリの記事の割合が等しく記事数がおよそ $8: 1: 1$ となるように学習，テスト，検証データセットに分割した。学習，テスト，検証データセットそれぞれ について，各カテゴリに属する記事の件数は付録の 表 10 の通りである.

## 3.5.2 livedoor コーパスのトークン化

livedoorニュースコーパスに対し，データの前処理および文分割，形態素分割，サブワード分割によ るトークン化を行った. 本研究では，コーパス内の 各文書の先頭三行 (記事のリンク，記事作成日時,記事の題名) を削除することとした。また，文書内 の半角英数字，記号については，全て全角のものに 変換した. 文分割は改行のみを文末とした. 形態素分割，サブワード分割については，3.2 と同様に JUMAN++および BPE を用いた. モデルに入力する トークン列の長さの上限は 512 とした.

## 3.5.3 モデルの詳細, ハイパーパラメータ

比較するモデルとして，JLBERT-SC，JLBERT-FP および柴田らが公開している汎用日本語 BERT [13] の BASE WWM 版を用いた。optimizer は Adam [16]表 1 事前学習の各タスクの正解率

表 2 livedoorニュース文書分類タスクの正解率

とし, 学習率を $\left.\{10^{-3}, 10^{-4}, 10^{-5}, 10^{-6}\right.\}$ の中で探索し た. バッチサイズは 32 とした.

## 4 実験結果

## 4.1 JLBERT-SC, JLBERT-FP の事前学習

作成した JLBERT-SC，JLBERT-FP，JLBERT-FP$50 \%$ ，JLBERT-FP-25\%それぞれについて，学習デー 夕全体に対する MLM，NSP の正解率を表 1 に示す. この結果から，民事事件判決書の MLM，NSP では，一から民事事件判決書コーパスで事前学習を行う JLBERT-SC より汎用日本語 BERT に民事事件判決書 コーパスによる追加事前学習を行う JLBERT-FP の 方が優れた手法であると言える。また，追加事前学習に用いるデータの量は多ければ多いほど良いこと がわかる。したがって，コーパスサイズを増やすこ とで更なる性能向上が期待できる。

また，各ステップにおけるミニバッチに対する loss および MLM，NSP の正解率の推移をそれぞれ 図 1, 2, 3 に示す. なお, 図 3 中の loss とは, MLM, NSP それぞれの loss の和である。この図から，MLM については学習データからさらに学習する余地があ ることがわかる。

さらに, phase 2 におけるテストデータに対する MLM，NSP の正解率の推移を表 3 に示す。この結果より，JLBERT-FP，JLBERT-SC 共に phase 2 の step 数を増やすほどモデルの性能が良いことがわかる. したがって， step 数を増やすことで更なるモデルの 性能向上が期待できる.
表 3 phase 2 における各タスクの正解率推移

図 1 実効バッチに対する MLM 正解率の推移

## 4.2 livedoor ニュース文書分類結果

各モデルの文書分類タスクにおける正解率を表 2 に示す. 民事事件判決書コーパスのみから語彙の学習，事前学習を行ったモデルである JLBERT-SC が 汎用日本語 BERT に並ぶ正解率を示している. 今回使用した汎用日本語 BERT が事前学習時に最大入力 トークン長を 128 とした学習のみ行なっていること を踏まえると，提案手法において事前学習時に最大入力トークン長を 128 とした学習 (phase 1) に加えて 最大入力トークン長を 512 とした学習 (phase 2) を実施していることの有効性が推測できる。また，汎用日本語 BERT に対する民事事件判決書コーパスによ る追加の事前学習は, 法律分野以外のドメインのタ スクにおいて BERT の fine-tuning に悪影響を及ぼす ことがわかる.

## 5 おわりに

本論文では日本語の法律分野に特化した BERT モ デルを作成した. 実験の結果，既存の汎用日本語

図 2 実効バッチに対する NSP 正解率の推移

図 3 実効バッチに対する loss の推移

BERT に民事事件判決書コーパスによる追加事前学習を行う手法により，テストデータに対する Masked Language Model，Next Sentence Prediction タスクの正解率が最も高くなることがわかった. また, 学習 データ数や学習 step 数を増やすことによりモデルの 更なる性能向上が期待できることが示された. 本モ デルの後段タスクにおける有用性を実証するため に，JLBERT-SC，JLBERT-FPを用いて判決書の重要箇所抽出タスクを行う [17].

## 謝辞

本研究で使用した判決書データは株式会社 LIC から提供を受けたものである. 本研究は，JST， ACT-X，JPMJAX20AM の支援を受けたものである.

## 参考文献

[1] Iz Beltagy, Kyle Lo, and Arman Cohan. SciBERT: Pretrained language model for scientific text. In EMNLP, 2019.

[2] Jinhyuk Lee, Wonjin Yoon, Sungdong Kim, Donghyeon Kim, Sunkyu Kim, Chan Ho So, and Jaewoo Kang. BioBERT: a pre-trained biomedical language representation model for biomedical text mining. 092019.

[3] Ilias Chalkidis, Manos Fergadiotis, Prodromos Malakasiotis, Nikolaos Aletras, and Ion Androutsopoulos. LEGALBERT: The muppets straight out of law school. In Findings of the Association for Computational Linguistics: EMNLP 2020, pp. 2898-2904, Online, November 2020. Association for Computational Linguistics.

[4] Yoshimasa Kawazoe, Daisaku Shibata, Emiko Shinohara, Eiji Aramaki, and Kazuhiko Ohe. A clinical specific BERT developed using a huge japanese clinical text corpus. PLOS ONE, Vol. 16, No. 11, pp. 1-11, 112021.

[5] 鈴木雅弘, 坂地泰紀, 平野正徳, 和泉潔. 金融文書を用 いた事前学習言語モデルの構築と検証. 人工知能学会第 27 回金融情報学研究会 (SIG-FIN), 2021.

[6] Stella Douka, Hadi Abdine, Michalis Vazirgiannis, Rajaa El Hamdani, and David Restrepo Amariles. JuriBERT: A masked-language model adaptation for French legal text. In Proceedings of the Natural Legal Language Processing Workshop 2021, pp. 95-101, Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[7] Mihai Masala, Radu Cristian Alexandru Iacob, Ana Sabina Uban, Marina Cidota, Horia Velicu, Traian Rebedea, and Marius Popescu. jurBERT: A Romanian BERT model for legal judgement prediction. In Proceedings of the Natural Legal Language Processing Workshop 2021, pp. 86-94, Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[8] 星野玲那, 狩野芳伸. 司法試験自動解答を題材にした BERT による法律分野の含意関係認識. 言語処理学会 第 26 回年次大会, 2020.

[9] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[10] NVIDIA. BERT For PyTorch,（2022-01 閲覧）. https: //github.com/NVIDIA/DeepLearningExamples/tree/ master/PyTorch/LanguageModeling/BERT.

[11] Arseny Tolmachev and Sadao Kurohashi. Juman++ v2: A practical and modern morphological analyzer. 言語処理学会 第 24 回年次大会, 岡山, 2018.

[12] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1715-1725, Berlin, Germany, August 2016. Association for Computational Linguistics.

[13] 柴田知秀, 河原大輔, 黒橋禎夫. BERT による日本語構文解析の精度向上. 言語処理学会 第 25 回年次大会, 名古屋, 2019 .

[14] Yang You, Jing Li, Sashank Reddi, Jonathan Hseu, Sanjiv Kumar, Srinadh Bhojanapalli, Xiaodan Song, James Demmel, Kurt Keutzer, and Cho-Jui Hsieh. Large batch optimization for deep learning: Training BERT in $76 \mathrm{~min}-$ utes. In International Conference on Learning Representations, 2020.

[15] 株式会社ロンウイット. livedoorニュースコー パス，（2022-01 閲覧）.http://www.rondhuit.com/ download.html\#ldcc.

[16] Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In Yoshua Bengio and Yann LeCun, editors, 3rd International Conference on Learning Representations, ICLR 2015, San Diego, CA, USA, May 7-9, 2015, Conference Track Proceedings, 2015.

[17] 菅原祐太, 宮崎桂輔, 山田寞章, 徳永健伸. 日本語法律 BERT を用いた判決書からの重要箇所抽出. 言語処理学会 第 28 回年次大会, 2022.

## 付録

表 4 コーパス文分割時のデータ

表 5 トークン化されたコーパスのデータ (JLBERT-SC)

表 6 トークン化されたコーパスのデータ(JLBERT-FP)

表 7 token 化されたコーパスのデータ (JLBERT-FP-n\%)

表 8 モデルのハイパーパラメータ

表 9 事前学習のハイパーパラメータ

表 10 livedoorニュースコーパスのカテゴリ


# Transformer による含意生成とその評価

樫原佑哉 ${ }^{1}$ Bisser Raytchev $^{1}$ 金田和文 ${ }^{1}$ 檜垣徹 ${ }^{1}$
1 広島大学大学院 先進理工系科学研究科
ビジュアル情報学研究室
\{yuya-kashihara,bisser,kin, higaki\}@hiroshima-u.ac.jp

## 概要

最近の自然言語処理のモデルは特殊なタスクにお いて人間を超えるスコアを記録している.しかしこ れらのモデルが言語表現の意味を理解しているかど うかは不明な点が多い.ここでは，「文章の意味を理解することは, その含意の関係にある事柄を推測す ることが必要である」という考えに基づき, 自然言語処理のモデルを用いて前提となる文章から含意の 関係にある文章を生成する実験を行い,その評価を 行う. その結果, Transformer ベースのモデルは人間 に引けを取らない精度で含意を生成することがで き，また含意に対する人間による評価との相関から，含意に対する評価指標に適した自動評価指標を発見 した.

## 1 はじめに

人間が扱う言葉は意味を持ち, 人間は状況に応じ て言葉の意味を理解した上で会話などを行ってい る.また, 自然言語処理の分野では, 我々が普段話し たり, 書いたりする自然言語をコンピュータで処理 する様々なモデルが開発され, 最近では特殊なタス クにおいて人間の精度を超えるスコアを記録してい る.しかし，これらのモデルは特殊なタスクに対し て非常に強力であるが，「モデルが言語の意味をど れくらい理解しているのか」, また「言語の意味を 理解するためにモデルに必要なことは何か」につい ては不明な点が多い. 意味の理解について様々な仮説が提唱されている中で, 本研究では Brandom [1] の 「文章の意味を理解することは, その含意の関係に ある事柄を推測することが必要である」という考え に基づき, 含意を生成する実験を行う. 含意とは, あ る表現に対し, 必然な結果として導かれる事柄であ る. すなわち，「 $\mathrm{P} \rightarrow \mathrm{Q} \perp$ の関係である. 例として前提文「A black dog crosses a puddle of water with a ball in its mouth.」の含意文として，「The dog is crossing the
water.」や「The dog is wet.」などが考えられる. 本研究の大きな目的は, 含意の生成を行う実験によって， モデルが含意を生成する規則を明らかにすることで あり, 本実験ではモデルが含意をどの程度生成でき るのか, どのモデル形態がこのタスクに最も適切か, そして生成した含意をどのように評価するかについ て検証する。

## 2 関連研究

機械学習を用いた含意生成の研究は少ないもの の, 私たちの知る限り 1 つ公表されている. Peter Blouw ら [2] は, 木構造のニューラルネットワーク である Recursive Neural Networkを用いて単一の前提文から単一の含意文を生成した. このモデルでは， Encoder によって文章の木構造が生成されると, それ を逆木構造ネットワークの Decoder を通して予測し た文章を生成する. 本研究でも用いた SNLI データ セット [3] で含意を生成し, その評価としてデータ セットの含意文の単語との合致の割合, 人間による 評価を行なっている.

## 3 扱うタスク

本研究では, 単一の前提文から単一の含意文を予測する含意生成のタスクを扱う。一例を挙げると $\ulcorner$ A black dog crosses a puddle of water with a ball in its mouth.」から「The dog is crossing the water.」を生成 する.このタスクはソース文からターゲット文を予測するという点で翻訳のタスクに似ているため, 使用するモデルとして, 機械翻訳におけるべースライ ンのモデルである RNN(Recurrent Neural Network) と，最近の有力な翻訳モデルである Transformer [4], 更に Transformer の Decoder のみで構成されたモデルであ る GPT モデル [5,6] を採用する.これらのモデルが 含意をどの程度生成できるのか実験し, またその評価として人間の評価と自動的な評価指標を用意しそ の相関を調べどの指標が適切であるかを検討する。

## 4 使用したモデル

本実験では, ベースラインのモデルとして Encoder-Decoder モデルである Attention 付きの RNN と近年の翻訳タスクにおいて有力な同じくEncoderDecoder モデルである Vaswani ら [4] の Transformer, そして大規模なテキストで事前学習を行った Decoderのみのモデルである OpenAI の [5, 6] を採用 した.

## 4.1 Recurrent Neural Network

RNN は翻訳タスクにおいてベースラインとなる Seq2Seq で用いられるモデルである. 今回はアテン ション機構のある GRU 層のシンプルなモデルでど の程度含意生成ができるのか評価する。

## 4.2 Transformer

Transformer は翻訳タスクにおいて当時の最先端 の BLEU スコアを記録したモデルである。また自然言語処理の 11 のタスクで最先端のスコアを達成 した BERT モデル [7] の基本構造となるモデルであ る. Transformer は Encoder と Decoder で構成される. Encoder は入力文に対する各単語の埋め込みべクト ルに対し, Query, Key, Value のベクトルを生成したの ち,独自のアテンション機構 Self-Attention を用いて 各単語が同一文中のどの単語に注目しているかを表現したべクトルを Decoderへ伝搬する. Decoder はそ れを受けて予測した単語を順に出力する。

## 4.3 OpenAI GPT

OpenAI によって公開された GPT モデルは, Transformer の Decoder block のみで構成されるモデ ルである. 入力単語が与えられるとその位置情報を 組み込んだ埋め込みべクトルを用いて入力文に対 し文脈情報を計算し, その 值に基づき次の単語を予測する.このモデルは事前学習 (Pre-Training) と微調整（Fine-Tuning）による学習方法を採用している. この方法はまず大量のデータセットでモデルを事前学習することでテキストの文脈を学習する. そして その事前学習済みのモデルを用いて Fine-Tuning を 行うことで各タスクに適応するモデルの学習が完了する. この方法により大規模なデータセットで事前学習されたモデルを誰でも利用することができ， Fine-Tuning を行うだけで様々なタスクに応用するこ とができる. 現在も BERTをはじめ多くの事前学習済みモデルが公開されている.また, OpenAI は数百万の Web ページからなる更に大規模なデータセッ トで事前学習させた GPT2も公開している.この実験では GPT とGPT2をそれぞれ用いた. GPT2 は異 なる大きさのモデルがあるが, 今回は small モデル (単語の埋め込みが 768 次元)のものを用いる.

## 5 評価指標

含意生成のタスクでは生成された文章が含意文で あるかどうか, その含意文がどのくらい正しいのか といった評価が難しいことが予想される. そして都度言語の専門家が見て判断することは非常にコスト が高いためここでは様々な自動的評価指標を検討 する.まず, 翻訳タスクで一般的に用いられる評価指標である BLEU[8], METEOR[9], TER[10]を使用し た. また前提文から含意文を生成するタスクは前提文の重要な情報を抽出し簡単な文章に置き換える要約の要素を含んでいる. したがって要約で用いられ る指標も検討する. 今回は要約タスクで用いられる ROUGE[11] を加えた. そして含意の評価として有力 であると考えられる二つの指標 (Sentence-BERT[12], BERTScore[13])を提案する。

## 5.1 Sentence-BERT

図 1 に示す Sentence-BERT は, BERT を用いたシャ ムネットワークで, 2 つの入力文に対し BERT で 生成した固定長の埋め込みべクトルから類似度 を計算する。本実験ではこの事前学習されたモ デルで前提文とその含意文の固定長埋め込みべ クトルを作成し, そのコサイン類似度を計算する。 SBERT は-1 から 1 の值をとる. 使用したモデル は 2 種類あり, 基本となる bert-base-nli-mean-tokens モデルを"SBERT_1"，タスクSTS のスコアが最も高 い bert-large-nli-stsb-mean-tokens モデルを"SBERT_2" とする.

## 5.2 BERTScore

BERTScore は図 2 に示すように入力文に対し BERT による各単語の埋め込みべクトルから類似度 を計算する. BERTScore は 0 から 1 の値をとる.

図 1 Sentence-BERT

図 2 BERTScore

## 6 実験

実験では SNLI データセット [3] を用いる.この データセットは, 前提文と仮説文の文ペアが 57 万 セットあり，それぞれの文ぺアがそのぺアの関係を 表す「含意」，「中立」，「矛盾」でラベル付けされ ているデータセットである. 本来は自然言語推論夕 スクと呼ばれる上記三種類のラベルを分類する分類 タスクで用いられるが, 今回は含意生成タスクを扱 うためにラベルが「含意」であるもののみを用いる.

## 6.1 実験 1

実験 1 では SNLI データセットのうちラベルが含意であるものを,トレーニングデータとして 150000 文ペア, バリデーションデータとして 20000 文, テス トデータとして 20000 文を RNN と Transformer の学習に対して用いた. 各モデルの学習後, モデルを用い て生成した含意文に対し, 人間による評価と定量的評価を行った. また, 人間の評価と自動的な各指標 の結果の相関を可視化してどの指標が含意に対して 有効であるかを検証した。

表 1 生成した含意文の例

 \\
Reference & People riding their bikes on a road. \\
RNN & People are riding bikes. \\
Transformer & The bike riders are outside. \\

RNN & The girl is outdoors playing field hockey. \\
Transformer & A girl is outside. \\

Reference-300

Contradiction-300

図 3 人間による評価の結果（被験者 $\mathrm{A}$ ）

## 6.1.1 生成結果の例

表 1 に前提文と生成した含意文の例を示す. Premise が前提文, Reference がデータセットの含意文 である.

## 6.1.2人間による評価

RNN と Transformer の生成した含意の精度を評価 するため, テストデータの前提文 300 文に対し, 前提文とデータセットの含意文 (Reference), 前提文 とNN の出力, 前提文 と Transformer の出力の各ぺ アを評価する。また, 含意の評価の基準が難しいと 予想されるため, 前提文とデータセットの矛盾文 (Contradiction)の 300 文ペアも使用する. 上記の 4 種類の文ペアをラベルを見せずに, ランダムに並び替 えた 1200 文ぺアに対して, 含意の正しさを 5 段階,文法の正しさを 3 段階とした評価を英語に詳しい被験者 2 名に実施した. 被験者 A の結果を図 3 に示す.図 3 より Transformer は人 間に近い形状に分布して いることがわかる. 被験者 B も同様の結果を示した.

## 6.1.3人間による評価と自動的な評価指標の相関

最後に, 自動的な評価指標のうちどれが含意に対 して適切な指標であるかを検討するため, 人間の評

図 4 正規化した各指標と人間による評価の平均スコア

図 5 正規化した各指標と人間による評価の平均スコア 2

価との相関を可視化した. 図 4 は, 人間による評価に 用いた 1200 文ぺアの最大值と最小值で正規化した 各指標と人間の評価を種類ごとにプロットしたも のである.これより, SBERT が人間に近い形状をし ていることがわかる. 同様に図 5 は要約の指標をプ ロットしたものである.いずれも相関が低い事がわ かる。

## 6.2 実験 2

実験 2 では強力な事前学習済みのモデルを試すた め, OpenAI の GPT モデルを採用する. このモデルは Transformer の Decoder block を基とした Decoder の みのモデルである. この実験の目的は, 最近あらゆる タスクで優れた成果を出している事前学習によって 汎用性を獲得した大規模なモデルの含意文の生成能力を検証することと, Decoder のみのモデルでの生成能力を検証することである. 実験 2 では Hugging Face[14] の事前学習済みのモデルとデータセットを 用いる. Hugging Face の SNLI データセットのうち, ラベルが含意であるものをトレーニングデータと して 183416 文ペア, バリデーションデータとして 3329 文, テストデータとして 3368 文を用いる.この 実験では GPT とGPT2 それぞれを用いて学習と生成 を行う。

Fine-Tuning の学習方法として GPT2 の実験で用い られた翻訳タスクの生成手法を学習方法として採用 する.これは入力を「前提文=含意文」のまとめた形表 2 GPT と GPT2（1 epoch, 最大長 20）が生成した含意文の比較例

 &  \\

GPT 出力 &  \\
GPT2 出力 &  \\
GPT 出力 & a man is sitting while someone cleans the store. \\
GPT2 出力 &  \\
GPT 出力 & three men are carrying a sack on their boats. \\

でモデルに渡して言語モデリングで学習させる方法 である. 含意生成を行う際はプロンプト「前提文=」 の入力を与えてそれに続く含意文を生成させる.こ れはソース文からターゲット文を生成するというタ スクにおいて, 文ぺアを連結させて学習させたモデ ルに特定の条件付きサンプルを生成させるものであ り, 貪欲な方法と言える。

## 6.2.1 生成結果の例 (GPT, GPT2)

GPT と GPT2 で Fine-Tuningを 1 エポック行い含意文を生成させた. GPT の性能と直感的な比較する ため, 無作為に選んだ前提文より得られた GPT と GPT2（両方 1 エポックの Fine-Tuining）の出力を比較した結果を表 2 に示す.

## 7 結論

今回の実験から Self-Attention 機構を持つ Transformerは人間に引けを取らない精度で含意を生成 できることがわかった. Encoder Block の無い GPT モデルは 1 epoch のみ Fine-Tuning を行うだけで， Transformer と同様の生成結果を得られた. また, 含意 の評価指標として BLEU や METEOR, ROUGE, TER 等の主に単語の一致具合や編集操作の量を見る指標 よりも, Sentence-BERT の文の埋め込みベクトルによ る類似度の方が適していると言える.今後は単なる 言い換えではなく常識的な推測を含んだ含意生成を 目標にした更なるモデルでの実験や, 文の埋め込み ベクトルを活用した新たな評価指標の検討を考えて いる.

## 参考文献

[1] Robert B. Brandom. Making it explicit: Reasoning, representing, and discursive commitment. Harvard university press, 1998

[2] Peter Blouw and Chris Eliasmith. Inferential role semantics for natural language. In CogSci2017, 2017.

[3] Samuel R. Bowman, Gabor Angeli, Christopher Potts, and Christopher D. Manning. A large annotated corpus for learning natural language inference. In EMNLP Association for Computational Linguistics, 2015.

[4] Ashish Vaswani, Noam Shazeer, Niki Parmara, Jakob Uszkoreit, LlionJones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in neural information processing systems, 2017.

[5] Alec Radford, Karthik Narasimhan, Tim Salimans, and Ilya Sutskever. Improving language understanding by generative pre-training. 2018.

[6] Alec Radford, Jeffrey Wua, Rewon Childa, David Luan, Dario Amodei, and Ilya Sutskever. Language models are unsupervised multitask learners. In OpenAl blog 1.8 : 9, 2019.

[7] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. In arXiv preprint arXiv:1810.04805, 2018.

[8] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: A method for automatic evaluation of machine translation. 40th Annual Meeting on Association for Computational Linguistics, pp. 311-318, 2002.

[9] Alon Lavie and Abhaya Agarwal. Meteor: An automatic metric for mt evaluation with high levels of correlation with human judgments. Second Workshop on Statistical Machine Translation, pp. 228-231, 2007.

[10] MatthewSnover, Bonnie Dorr, Richard Schwartz, Linnea Micciulla, and John Makhoul. A study of translation edit rate with targeted human annotation. 7th Conference of the Association for Machine Translation in the Americas: Technical Papers, 2006.

[11] Kavita Ganesan. Rouge 2.0: Updated and improved measures for evaluation of summarization tasks. arXiv preprint arXiv:1803.01937, 2018.

[12] Nils Reimers and Iryna Gurevych. Sentence-bert: Sentence embeddings using siamese bert-networks. arXiv preprint arXiv:1908.10084, 2019.

[13] Tianyi Zhang, Varsha Kishore, Felix Wu, Kilian Q. Weinberger, and Yoav Artzi. Bertscore: Evaluating text generation with bert. International Conference on Learning Representations, 2020.

[14] Hugging face - the ai community building the future., （2022-1 閲覧）. https://huggingface.co.


# 話者の性格を反映した発話文の生成

米田智美 佐藤理史 夏目和子 宮田玲 小川浩平
名古屋大学大学院工学研究科
yoneda.tomomi@f.mbox.nagoya-u.ac.jp

## 概要

本稿では, 話者 (キャラクタ)の性格を反映した発話文を生成するシステムを提案する。このシステム は, 文型推定モジュールと発話文生成モジュールか ら構成されている. 文型推定モジュールは, 話者と して設定したいキャラクタの性格ベクトルから, そ のキャラクタが使用する表現文型のリストを推定 する. 発話文生成モジュールは, 推定された表現文型のリストと, 発話意図およびキーワードを受け取 り，そのキャラクタらしい発話文を生成する.

## 1 はじめに

近年，ユーザーからの質問に応答したり，ユー ザーと対話したりするエージェントを内部に組み込 んだシステムやサービスが発展してきた. その代表例に, AI スピーカーがある.

対話相手であるエージェントにユーザーが好む 個性や性格を付与すること(エージェントのキャラ クタ化) は, エージェントへの愛着を生むことに繋 がる [1] と考えられる. しかし, 現在のエージェン 卜は没個性的に設定されているか, あるいは特定 のキャラクタの性格と口調を作り込んでいるもの [2][3] がほとんどである. そのため, ユーザーは対話相手のエージェントの性格を自由に設定すること ができない.

この問題を解決するために，本稿では話者の性格, 発話意図, キーワードの 3 つの入力から, その 性格を反映した発話文を生成するシステムを提案す る. 本システムはこれらを入力とすることで, 既存研究 [2][4][5] とは異なり, 対話環境において話題・発話意図に即し, かつキャラクタらしい一発話を生成できる.

以下，まず 2 節で，話者の性格をどのように表現 するかについて述べる. 続いて 3 節でシステムの概要を示し, 4 節と 5 節でシステムを構成する 2 つの モジュールについて説明する.

## 2 性格ベクトル

本研究では, 話者の性格を以下に示す 12 軸 (次元) のべクトルで表現する. 各次元の値は, -2 から 2 までの 5 段階の整数値である.

A. 話者の性質に関わる要素 (4 軸)

1. 現代的な一古びた

2. 男性的一女性的

3. 大人びたー幼い

4. 丁寧一荒っぽい

B. 話者の性格を表現する要素 (8 軸)

5. 活発一落ち着いた

6. ポジティブーネガティブ

7. 親しげーそっけない

8. せっかち—のんびり

9. 優しい一冷たい

10. 豪快一繊細

11. 積極的 一消極的

12. 社交的一孤立的

これらのうち，Bの8軸の設計にあたっては BIG5 [6] や MBTI [7] などの性格診断を参考にした. それ に加え，話者の性質を表す 4 軸 (A) を新たに導入 した.

## 3 発話文生成システムの概要

作成した発話文生成システムの構成を図 1 に示 す. 本システムは, (1) 文型推定モジュール (4 節), (2) 発話文生成モジュール (5 節) の 2 つのモジュー ルから構成されている。

## 4 文型推定モジュール

文型推定モジュールは, 文型データベース (文型 DB) とキャラクタデータベース (キャラクタ DB)を 利用して, 入力された任意の性格ベクトルから, そ の性格を持つキャラクタが使用すると考えられる文型リストを出力する.

図 1 発話文生成システムの構成

## 4.1 文型データベース

文型 DB は『発話文表現文型辞書』[8] から発話意図 46 種類, 表現文型 7,826 件を選択し, データベー ス化したものである.『発話文表現文型辞書』では，各文型に対して, 接続形式 (文型に含まれる核とな る述語の活用型とテンス・否定の有無), 主要部 (述語に後続する助動詞 (相当句) と接辞など), 末尾部 (終助詞と文末記号) が定義されている. 文型 DB で は, 新たに主要部の先頭部の特徴を 7 種類, 主要部 の終端部の特徴を 53 種類に分類し, これらの分類情報を追加した。また特徴べクトルは, 対立する 2 要素を 1 軸にまとめ, 全部で 11 次元のベクトルに 変換した。文型 DB のレコード例を表 1 に示す.

なお, 各文型を構成する要素のうち, *をつけたも のは, キャラクタ DB の拡張 (4.2.2 節) や性格を反映 した文型の推定 (4.3 節)において重要な役割を担う.

## 4.2 キャラクタデータベース

キャラクタ DB は，それぞれのキャラクタに対し て次の 2 種類の情報を定義したデータベースである (図2).
1. キャラクタ $h$ の性格ベクトル $\boldsymbol{c}(h)$

2. キャラクタ $h$ がそれぞれの発話意図 $I$ で使用 する表現文型のリスト $\sum_{I} R_{I}(h)$

本研究で使用する発話意図は全部で 46 種類あり, これらすべてに使用文型のリスト $R_{I}(h)$ を定義する のは作業量が多い。そこで，まず， 7 種類の発話意図に対して使用文型を定義し，その定義に基づいて 残りの 39 種類の発話意図の使用文型を自動推定す る方法を採用した。

## 4.2.1 初期データベースの作成

ソーシャルゲームの男性キャラクタ 25 名 (付録 A.1) に対して，性格ベクトルを定義し， 7 種類の発話意図において使用すると考えられる文型を定義 した.ソーシャルゲームのキャラクタを選択したの は，以下の理由による。

1. 多くの場合，強い個性が付与される。

2. 同じ人物 (ユーザー)への発話が必ずある.

3. 舞台や年齢設定の変化が少ない.

## 4.2.2 データベースの拡張

定義した 7 種類の発話意図のデータに基づいて,残りの 39 種類の発話意図の使用文型を以下のよう に決定した。

1. 文型 $\mathrm{DB}$ において, 発話意図 $I$ に属する表現文型 $r \in R_{I}$ に対して, キャラクタ $h$ のスコア $s(r, h)$ を算出する.

2. その最大值を $T$ とする.
3. $T>0$ の場合は, $s(r, h) \geq 4 T / 5$ を満たす文型 $r$ を，キャラクタ $h$ が発話意図 $I$ で使用する文型 リスト $R_{I}(h)$ に含める.

それ以外の場合は，最大値 $\mathrm{T}$ をる文型 $r$ のみ を $R_{I}(h)$ とする.

ここでスコア $s(r, h)$ は，次のように定義する.

$
\begin{aligned}
s(r, h)= & 50 * s_{1}(r, h)+100 * s_{2}(r, h) \\
& +200 * s_{3}(r, h)+200 * s_{4}(r, h)
\end{aligned}
$
- $s_{1}(r, h)$ キャラクタ $h$ が, 文型 $r$ の主要部の先頭部を使用する割合.

$\cdot$ $s_{2}(r, h)$ キャラクタ $h$ が, 文型 $r$ の主要部の終端部を使用する割合. ただし, 使用しない場合 は, -1 .

$\cdot$ $s_{3}(r, h)$ キャラクタ $h$ が, 文型 $r$ の主要部の終端部と未尾部の組み合わせを使用する割合.た

図 2 キャラクタ DB

だし，使用しない場合は， -1 .
- $s_{4}(r, h)$ キャラクタ $h$ が使用する文型の特徵べ クトルの平均と, 文型 $r$ の特徵ベクトルとのコ サイン類似度.

なお, これらの値の計算に用いる文型は, 7 種類の 発話意図に対して定義した, キャラクタ $h$ が使用す る文型すべてである.

## 4.3 性格に対する文型推定

こうして完成させたキャラクタ DB を利用して，未知のキャラクタ $u$ の性格ベクトル $\boldsymbol{c}(u)$ から, その キャラクタが使用する表現文型のリスト $R_{I}(u)$ を推定する．発話意図 $I$ を表す全文型 $R_{I}$ のうち，どの 文型 $r$ を $R_{I}(u)$ に含めるかは, 次のスコアに基づい て決定する。

$
t(r, u)=t_{1}(r, u)+t_{2}(r, u)+t_{3}(r, u)
$

以下では，推定のための仮定と $t_{n}(r, u)$ の計算法を 示す.

## 4.3.1 性格と表現文型の関連性

仮定 1 キャラクタの性格と使用する表現文型の間 には，関連性がある

例えば，丁寧な振る舞いをするキャラクタは敬語 を用いることが多く，女性的なキャラクタは「〜わ よ」「〜だわ」を多用する.

このような関連性をスコアに反映するために，文型 $r$ の使用者特性ベクトル $\overline{\boldsymbol{c}}(r)$ (文型 $r$ の使用者の性格ベクトルの平均)を求める. この $\overline{\boldsymbol{c}}(r)$ とキャタク タ $u$ の性格ベクトル $\boldsymbol{c}(u)$ の類似度が高ければ，キャ タクタ $h$ が文型 $r$ を使用する可能性が高いと考え, スコア $t_{1}$ を次のように定義する.

$
t_{1}(r, u)=\cos (\overline{\boldsymbol{c}}(r), \boldsymbol{c}(u))
$

## 4.3.2 性格の類似性

仮定 2 性格が似ているキャラクタは, 同じ表現文型を使用する可能性が高い

ここでは，仮定 2 に基づいて未知のキャタクタ $u$ の性格ベクトル $\boldsymbol{c}(u)$ とキャラクタ DB 内の既知の キャタクタ $h$ の性格ベクトル $\boldsymbol{c}(h)$ との類似度を考 える. 性格べクトルの各軸は独立した意味を持って いるため, 単純な差異よりも傾向の一致やその正負 の一致が意味を持つと考えられる．そこでまず性格 ベクトルの各要素において, スコアの計算の前提と なる值を表 2 に従って定め, 性格類似度ベクトル $\boldsymbol{a}(h, u)$ を求める.

表 2 性格類似度ベクトルの要素の値の算出表

この性格類似度ベクトルをもとに，以下の式でス コアを計算する。

$
t_{2}(r, u)=\sum_{h_{i} \in H(r)} \frac{\boldsymbol{a}\left(h_{i}, u\right) \cdot \overline{\boldsymbol{c}}(r)^{T}}{\left|R_{I}\left(h_{i}\right)\right|}
$

ここで $H(r)$ は文型 $r$ を使用するキャラクタの集合, $\left|R_{I}\left(h_{i}\right)\right|$ はキャタクタ $h_{i}$ が発話意図 I で使用す る文型の数である.この式の分数は，特定のキャタ クタ $h_{i}$ と未知のキャラクタ $u$ との性格類似度に基 づく寄与であり，それをすべての既存のキャラクタ に対して足し合わせている.

## 4.3.3 文型の類似度

仮定 3 ある文型を使用するならば，それと類似す る文型を使用する可能性も高い

この仮定に従い，ある文型 $r_{i}$ にスコア $t_{2}$ が与えら れた時, 文型 $r_{i}$ に類似する文型にスコアを与える.
文型間の類似度の計算には文型 DB の特徴ベクトル $\boldsymbol{v}(r)$ のコサイン類似度を利用する。

$
t_{3}(r, u)=\sum_{r_{i} \in\left(R_{I}-\{r\}\right)} t_{2}\left(r_{i}, u\right) \cdot \cos \left(\boldsymbol{v}\left(r_{i}\right), \boldsymbol{v}(r)\right)
$

ここで $R_{I}$ は，与えられた発話意図 $I$ に属するすべ ての文型を表す。

## 4.3.4 文型リストの決定

発話意図 Iにおいて，(式2) のスコア上位 $20 \%$ の 文型をキャラクタ $u$ が使用する文型リスト $R_{I}(u)$ に 含める. 同時に，それらの文型にスコアに反映した 確率を付与する.

## 5 発話文生成モジュール

発話文生成モジュールは，キャラクタ $u$ が使用す る文型リスト $\sum_{I} R_{I}(u)$ と, 発話意図 $I$ およびキー ワードから，発話文 (表層文字列)を生成する，以下 では，まず，発話文生成で利用する述語データベー スを説明し，次に，発話文生成の手順を述べる.

## 5.1 述語データベース

述語データベース (述語 DB) は，入力されたキー ワード (名詞) から文を作るためのデータベースで，「キーワード+助詞+述語」形式のデータ 239,645 件 が収録されている。このデータベースは, Google の Web 日本語 N グラム (2007)[9] から, 以下の手順で 作成した。

1.1-gram データから, 頻度上位 5,000 個の一般名詞を収集した。

2. 3-gram データから, 上記の各名詞 (N) に対し て，パターン「 $\mathrm{N}+$ は/が/を+P」に合致するデー タを収集した。ここで $\mathrm{P}$ は述語であり，動詞 (V) は頻度上位の最大 20 個, イ形容詞 (A) とナ 形容詞 (C) は最大 10 個を収集した。

以下に具体例を示す。

## 5.2 発話文の生成手順

発話文を以下の手順で生成する.

1. 使用文型の選択

与えられた発話意図 $I$ から使用文型リスト $R_{I}(u)$ を得る.このリストに含まれる文型には，確率が付与されているので，その確率に従って 実際に使用する文型をひとつ選択する。

2. キーワード文の作成

選択された文型の接続形式に従って述語形式 (動詞, イ形容詞, ナ形容詞)をランダムにひと つ決定し，述語 DB を参照して，レコード (文) をひとつ，頻度に応じた確率で選択する。

3. 表層文の生成

ステップ 2 で選択された文とステップ 1 で選択 された文型を HaoriBricks3[10] を用いて結合し，表層文を生成する。

## 6 生成例と検討

システムが生成した発話例を付録 A. 2 に示す.

キャラクタ 1 では，末尾部「ぞ」の使用や，「〜く れんか」といった時代がかった話し方の文型が出力 されている。一方，キャラクタ 2 では，感嘆符や長音記号，促音化などの音変化を含んだ文型が用いら れ, 子供っぽさの感じられる口調が多く見られる. キャラクタ 3 では, 総じて敬語表現が出力されてお り，末尾部の「よ」や「ね」などによって大人びた 柔らかい印象が感じられる，以上のように，キャラ クタの性格を反映した発話文が生成できていること が確認できる.

その一方で，発話意図を適切に表わさない発話文 も生成されている．表現文型は，必ずしも任意の キーワード文と結合できるわけではない。たとえ ば，I07 (決心-実行) は，意志性を持った動詞を持つ 文としか結合できず，それ以外の文と結合すると発話意図を表せなくなる。また，J01(褒める) や J02(暊 す)などの JK区分される発話意図では，キーワー ド文の述語が意図伝達の中核要素となるため, 意図 を適切に反映した述語の選択が必要となる.

現在のシステムは，キーワード文の選択 (述語補完) は，キーワードと表現文型の接続形式のみに依存している。表現文型の意図を反映した述語補完, および，性格を反映した述語補完の実現が，今後の 課題である.

## 謝辞

本研究は JSPS 科研費 JP21H03497 の助成を受けた ものです.

## 参考文献

[1] 山本賢太, 井上昂治, 中村静, 高梨克也, 河原達也. 人間型ロボットのキャラクタ表現のため の対話の振る舞い制御モデル. 人工知能学会論文誌, Vol. 33, No. 5, pp. C-I37 1-9, 2018.

[2] 沈睿, 菊池英明, 太田克己, 三田村健. 音声生成 を前提としたテキストレベルでのキャラクタ 付与. 情報処理学会論文誌, Vol. 53, No. 4, pp. 1,269-1,276, 2012.

[3] 小倉拓人, 谷津元樹, 原田実. 人物ベース の Seq2Seq モデルを用いた対話システム DeepEVEにおける小説中の登場人物らしい応答文の生成. 情報処理学会第 80 回全国大会講演論文集, No. 1, pp. 423-434, 2018.

[4] 宮崎千明, 平野徹, 東中竜一郎, 牧野俊朗, 松尾義博, 佐藤理史. 文節機能部の確率的書き換 えによる言語表現のキャラクタ性変換. 人工知能学会論文誌, Vol. 31, No. 1, pp. DSF-E 1-9, 2016.

[5] 谷川晃大, 藤田寛泰, 壹岐太一. 変分オートエ ンコーダと注意機構を用いた発話文のキャ ラクタ性変換. 人工知能学会全国大会論文集, Vol. 32, pp. 4G2-01, 2018.

[6] Lewis R. Goldberg. The structure of phenotypic personality traits. American Psychologist, Vol. 48, No. 1, pp. 26-34, 1993.

[7] Isabel Briggs Myers and Peter B.Myers. Gifts Differing: Understanding Personality Type. Davies-Black Publishing, 1995. Originally published: 1980.

[8] 夏目和子, 佐藤理史. 話し言葉生成のための表現文型辞書. 言語処理学会第 28 回年次大会発表論文集（発表予定）, 2022.

[9] 工藤拓, 賀沢秀人. Web 日本語 $\mathrm{N}$ グラム第 1 版.言語資源協会発行, 2007.

[10] 佐藤理史. Haoribricks3: 日本語文を合成するた めのドメイン特化言語. 自然言語処理学会論文誌, Vol. 27, No. 2, pp. 411-444, 2020.

## 付録 A

## A. 1 キャラクタDB に登録したキャラクター覧 (25キャラクタ)

 \\

## A. 2 発話文の生成例

 &  &  \\


# 近現代雑誌通時コーパスの語彙統計情報の公開

近藤明日子 ${ }^{1}$ 相田 太一 ${ }^{2}$ 小木曽智信 ${ }^{1}$
1 国立国語研究所 2 東京都立大学
\{kondo, togiso\}@ninjal.ac.jp aida-taichi@ed.tmu.ac.jp

## 概要

1874 年から 2013 年までの 140 年間に刊行された 日本語の雑誌をほぼ 8 年おきにカバーする「近現代雑誌通時コーパス」を構築し、これをもとに $n$-gram 頻度形式と SVMlight 形式の共起語情報をオープン データとして公開した。これは、長期間にわたって 比較的均質な資料に基づく日本語の歴史的な変化を 研究することができる初めての大規模データとな る。これにより、近年注目を集めている言語変化に 対する計算言語学的なアプローチによる研究が日本語においても可能となった。

## 1 はじめに

国立国語研究所では、2005 年公開の「太陽コーパ ス」[1] 以来、明治から大正期の総合雑誌コーパスの 構築を行ってきた。また、発表者等は 2019 年より 『昭和・平成書き言葉コーパス』の構築 ${ }^{11}$ の一環と して総合雑誌のデータ整備を行っている。双方をあ わせた「近現代雑誌通時コーパス」は 1874 年から 2013 年までの 140 年間をおおよそ 8 年おきにカバー する通時的なコーパスとなる。

一方で、自然言語処理の分野では近年、通時的な 言語変化に関する研究が盛んになっている。単語分散表現を活用した意味変化の検出、意味変化の計算 モデルの構築などが高い関心を集め、2019 年以降開催されている歴史的言語変化を扱うワークショッ

SemEval2020 のシェアドタスク [2] も注目された。 しかし、これまで日本語においては通時的な大規模 データが存在しなかったため、この分野での日本語 を対象とした研究は十分に進んでいない。

そこで、本発表では「近現代雑誌通時コーパス」 をもとに、自然言語処理の手法を用いて日本語の通時的な言語変化の研究に利用できるデータを公開す る。同コーパスは権利関係上フルテキストデータを 配布することはできないため、 $n$-gram 頻度形式と SVMlight 形式の共起語情報をオープンデータ（CC BY-SA 4.0）として提供するものである。

## 2 データの構築

## 2.1 雑誌データ

「近現代雑誌通時コーパス」は、明治期から平成期までの書き言葉の通時的変化を研究することを目的として構築したコーパスである。この期間に刊行 された雑誌から 8 年おき（一部、6-7 年おき）に各年代を代表する総合雑誌 1 誌を選定し、該当年の全号（特集号は除く）の全テキスト（目次・刊記・広告等は除く）を収録したコーパスである。明治・大正期のデータは『日本語歴史コーパス 明治・大正編 I雑誌』[3]（短単位データ 1.2)3) に基づき、昭和・平成期のデータは発表者等が 2019 年より構築中の 『昭和・平成書き言葉コーパス』の 2021 年 11 月時点のデータに基づく。『昭和・平成書き言葉コーパ ス』は昭和・平成期の新聞・雑誌・ベストセラー書籍を収録するコーパスで、2023 年よりオンライン検索ツール「中納言 $\rfloor^{4)}$ による検索サービスを提供する 予定である。

コーパスには短単位 [4] による形態論情報を付与 した。形態論情報は $\mathrm{MeCab}^{5}$ ) 用の形態素解析用辞書 UniDic[5] [6] による形態素解析結果を一部人手修正 して作成した。UniDic は「明治・大正期の文語文」「明治・大正期の旧仮名遣いの口語文」「昭和期の旧仮名遣いの口語文」「昭和・平成期の現代仮名遣い の口語文」のそれぞれの時代・文体・表記に適合す

3) https://ccd.ninjal.ac.jp/chj/meiji_taisho.html\#zasshi

4) https://chunagon.ninjal.ac.jp/

5) https://taku910.github.io/mecab/

るよう再学習して新たに作成したものを利用した。

「近現代雑誌通時コーパス」に収録した雑誌名と 刊行年、および各年の延べ語数を表 1 に示す。

## 2.2 データ処理・統計情報

著作権の観点から、2.1 節で収集した雑誌データ を再現できない形で公開するために、 $n$-gram 頻度と $\mathrm{SVMlight}^{7)}$ の 2 つの形式に加工した。それぞれの形式における出力例を表 2 に示す。

表 2 単語 $n$-gram と SVMlight の形式で出力した例

$n$-gram 頻度 Google Books Ngram ${ }^{8)}$ と同様に、単語（表層形）の $n$-gram とその頻度をタブ区切りで

図 1 文芸春秋（1965 年）における上位 100 件の単語 5-gram 頻度および各頻度の出現回数

出力した。今回は 1-gram（単語の頻度）から 5-gram （連続する 5 単語の頻度）まで集計を行った。また、各単語を UniDic に収録されている語彙素 ID に変換 し、語彙素 ID $n$-gram の形式も用意した。語彙素 ID は、UniDic の辞書見出しに相当する「語彙素」ごと に与えられた ID で、異表記や異語形をまとめ上げ た見出し語（lemma）を一意に示す。UniDic の辞書 アーカイブ9) 中の語彙表 (lex.csv) に含まれる語彙素 ID 列と対応付けることで、語彙素（代表表記）・語彙素読み・語種・類（品詞の上位概念）などの情報を取り出すことができる。これにより、表層形 とは異なる見出し語の $n$-gram が利用できる。デー タ作成にあたり、 $n$ の值が大きくなるほど低頻度の $n$-gram の数が膨大になる（図 1）ため、5 回以上出現する $n$-gram のみ出力した。

SVMlight ここでは、各単語を IDに変換し、共起情報を SVMlight 形式で出力した。SVMlight 形式で は、表 2 より、対象の ID（0）に共起する ID（ 0,1 , 10）とその共起回数 $(274,64,10)$ を「共起する ID：共起回数」の形で表現する。共起回数が 1 以上の ID のみ出力するため、スパースな情報を表現するのに 優れている。今回は $n$-gram 頻度と同様に、各単語 を語彙素 IDに変換した。頻度 5 回以上の語彙素 ID を集計対象にし、前後 5 つの語彙素 ID の共起情報 を獲得した。

## 2.3 公開データ

公開データは UTF-8 形式のテキストファイル で、表層形 $n$-gram、語彙素 ID $n$-gram、SVMlight $の$ 3 つのディレクトリに分けて zip 形式で圧縮し

9) https://ccd.ninjal.ac.jp/unidic/download

た。SVMlight 形式は年ごとに 19 ファイル、各々の n-gram は 1～5gram までを年ごとにまとめた 95 ファ イル（5×19）からなる。アーカイブは下記の URL からダウンロードできる。公開ライセンスは CC BY-SA 4.0 である。https://bit.ly/3HT96Ii

## 3 使用用途

ここでは、本データの期待される用途について、自然言語処理および日本語学の側面から言及する。

## 3.1 自然言語処理

自然言語処理では、Google Books Ngram から統計情報や単語分散表現を獲得し、異なる時期間で意味 の変化した単語を検出・分析する研究が数多く行わ れている $[7,8]$ 。しかし、Google Books Ngram に収録されている言語は英語、中国語、フランス語、ド イツ語、ヘブライ語、イタリア語、ロシア語、スペ イン語であり、日本語での分析を行うことができ ない。

そこで、本データを使用することで、日本語でも 同様の分析が可能になる。現在、本データを戦前と 戦後に分割して単語分散表現を学習し、意味の変化 した単語の検出・分析が行われている $[9,10]$ 。

## 3.2 日本語学

日本語学では、コーパスから作成した単語 $n$-gram を用いて、複合辞やコロケーション表現といった特定の意味・機能を有する単語連続（以下、「連語」と 呼ぶ）を抽出する研究が行われている $[11,12]$ 。ま た、『日本語歴史コーパス 明治・大正編 $\mathrm{I}$ 雑誌』の単語 $n$-gram を用いて接続詞を抽出し、明治・大正期の 接続詞の通時的変化を考察する研究もある [13]。た だし、これまで明治期から平成期までの書き言葉を 連続して収録するコーパスが存在しなかったため、近代語から現代語への通史の実証的な害態の把握は 困難であった。それが本データを使用することで可能になる。

例として、表層形の 4-gram のデータを使用して、 4-gram と刊行年との対応関係を分析してみよう。 データから記号類を含むものを除いたうえで各刊行年での頻度上位 5 位の 4-gram を抽出すると、異なり で計 31 種が得られる（表 3 参照）。そのほとんどが 何らかの意味・機能を有する連語と見なされる。こ の 4-gram 31 種 $\times$ 刊行年 19 種の頻度10)のクロス表を

10）データに収録されない頻度 5 未満の 4-gram は頻度 0 と見作成し、コレスポンデンス分析を行った。4-gram・刊行年それぞれの第 1 次元（寄与率 $53.2 \%$ ）スコア を表 3 ・表 4 に示す。

表 3 コレスポンデンス分析による 4-gram の第 1 次元ス コア

表 3 と表 4 のスコアの高低は対応関係にある。表 4 においてスコア昇順で刊行年が古い年から新しい 年の順に並んでいる。それに対応して、表 3 ではス コア昇順で、刊行年の古い雑誌に使用されやすいも のから新しい雑誌に使用されやすいものへと 4-gram が並んでいることになる。ここから明治期から平成期にかけて使用される連語の消長を概観できる。こ のように本データを使用することで、連語をはじめ とする語彙の通時的変化の実態を明らかにすること ができる。

表 4 コア

## 4 おわりに

「近現代雑誌通時コーパス」の整備により、日本語においても大規模なデータに基づいて通時的な 言語変化を研究することが可能になった。しかし、 このコーパスは未だ整備途上であり、今回公開する データにも不完全な点がある。コーパスは 2023 年度に完成予定である。

また、今回提供する $n$-gram 頻度形式と SVMlight 形式のデータはコーパスか得られる統計情報の一例 に過ぎない。研究利用上、別の形式のデータが必要 となる場合にはぜひ発表者にコンタクトしてほし い。コーパスの完成に合わせて有用な形式のデータ を公開することを検討している。

今後、これらのデータを用いることで、日本語に おいても計算言語学的なアプローチによる言語変化 の研究が盛んに行われることを期待している。

## 謝辞

本研究は JSPS 科研費 19H00531、20K20411、国立国語研究所共同研究プロジェクト「通時コーパスの 構築と日本語史研究の新展開」の助成を受けたもの です。

## 参考文献

[1] 国立国語研究所. 太陽コーパス一雑誌『太陽』日本語データベース. 博文館新社, 2005.

[2] Dominik Schlechtweg, Barbara McGillivray, Simon Hengchen, Haim Dubossarsky, and Nina Tahmasebi. SemEval-2020 task 1: Unsupervised lexical semantic change detection. In Proceedings of the Fourteenth Workshop on Semantic Evaluation, pp. 1-23, Barcelona (online), December 2020. International Committee for Computational Linguistics.

[3] 国立国語研究所（近藤明日子・間淵洋子・服部紀子・南雲千香子ほか）.日本語歴史コーパス 明治・大正編 I 雑誌（短単位データ 1.2）. 国立国語研究所, 2019.

[4] 小椋秀樹, 冨士池優美. 『現代日本語書き言葉均衡 コーパス』の言語単位. 『現代日本語書き言葉均衡 コーパス』形態論情報規程集 第 4 版（上）,pp. 1-10, 2011.

[5] 伝康晴, 小木曽智信, 小椋秀樹, 山田篤, 峯松信明, 内元清貴, 小磯花絵. コーパス日本語学のための言語資源-形態素解析用電子化辞書の開発とその応用. 日本語科学, Vol. 22, pp. 101-123, 2007.

[6] 小木曽智信, 小町守, 松本裕治. 歴史的日本語資料を 対象とした形態素解析. 自然言語処理, Vol. 20, No. 5 , pp. 727-748, 2013.

[7] Kristina Gulordava and Marco Baroni. A distributional similarity approach to the detection of semantic change in the Google Books ngram corpus. In Proceedings of the GEMS 2011 Workshop on GEometrical Models of Natural Language Semantics, pp. 67-71, Edinburgh, UK, July 2011. Association for Computational Linguistics.

[8] William L. Hamilton, Jure Leskovec, and Dan Jurafsky. Diachronic word embeddings reveal statistical laws of semantic change. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1489-1501, Berlin, Germany, August 2016. Association for Computational Linguistics.

[9] 相田太一, 小町守, 小木曽智信, 高村大也, 坂田綾香,小山慎介, 持橋大地. 単語分散表現の結合学習による 単語の意味の通時的変化の分析. 言語処理学会第 26 回年次大会 発表論文集, 2020 .

[10] 相田太一, 小町守, 小木曽智信, 高村大也, 持橋大地.通時的な単語の意味変化を捉える単語分散表現の同時学習. 言語処理学会第 27 回年次大会 発表論文集, 2021.

[11] 近藤泰弘. BCCWJ 複合辞リストについて. 青山語文, No. 42, pp. 10-15, 2012.

[12]李在鎬, 佐々木馨. 教科書コーパスを利用した難易度別コロケーション辞書の提案. 第 8 回コーパス日本語学ワークショップ予稿集, 2015.

[13] 近藤明日子. 明治・大正期の書き言葉における文体 と語彙一順接の接続詞を例に一. コーパスによる日本語史研究 近代編, pp. 115-136, 2021.


# JParaCrawl v3.0: 大規模日英対訳コーパス

森下 睦 1,2, 帖佐 克己 ${ }^{1}$, 鈴木 潤 ${ }^{2}$, 永田 昌明 1
${ }^{1}$ NTTコミュニケーション科学基礎研究所 2 東北大学
makoto.morishita.gr@hco.ntt.co.jp

## 概要

現在の機械翻訳モデルは主に対訳コーパスを用 いて学習されており、その翻訳精度は対訳コーパス の質と量に大きく依存している。本稿では、新たに ウェブをクロールし日英対訳文を抽出することで大規模日英対訳コーパスを構築し、翻訳精度の底上げ を狙う。今回ウェブから収集した対訳文と以前作成 した日英対訳コーパス JParaCrawl v2.0を合わせるこ とで、合計 2100 万文を超える日英最大規模の対訳 コーパスを作成することに成功した。実験により、新たな対訳コーパスを用いて学習した翻訳モデルが 様々な分野で高い翻訳精度を発揮することを示す。 なお、今回作成した対訳コーパスを JParaCrawl v3.0 と名付け、我々のウェブサイト上で研究目的利用に 限り無償公開する予定である。

## 1 はじめに

現在のニューラル機械翻訳モデルは、主に対訳 コーパスを用いた教師ありの手法 $[1,2,3,4]$ で学習 されている。学習時の対訳コーパスの質と量が翻訳精度に大きな影響を与えること知られているが、一般に公開されている対訳コーパスは多くの言語対で 限られている。例えば、独英などの言語対ではすで に数億文の対訳文が公開されているものの、日英で はまだ同程度のものは存在せず、翻訳モデル学習時 に大きな問題となっている。そのため、本稿ではさ らに大規模なウェブベースの日英対訳コーパスを構築する。現在、日英で最大規模の対訳コーパスの 1 つは約 1000 万文の対訳文を含む JParaCrawl v2.0 [5] であり、これはウェブを大規模にクロールし対訳文を自動的に抽出することで構築されている。本 コーパスは欧州言語対と比較すると小規模であり、 2020 年を最後に更新が止まっているため、最新の 情報を含んでいない。そのため、本研究ではウェブ を全面的に再クロールし、対訳文を抽出することで JParaCrawl コーパスを拡大/更新する。本研究では、対訳文抽出手法を機械翻訳器を用いた手法へと変更 し、新たに PDF や Word 文書も収集対象とすること で、対訳抽出数の向上を狙う。また、新たに作成し た対訳コーパスを用いて、英日および日英の機械翻訳の精度がどのように向上するかを実験的に示す。本研究で作成した対訳コーパスは JParaCrawl v3.0 と 名付け、今後の研究のために我々のウェブサイト1) で公開する予定である。

本稿の貢献は以下のようにまとめられる。

・従来の JParaCrawl コーパスと合わせて 2100 万文対以上を含む大規模な日英対訳コーパスを構築した。

・新たな対訳コーパスにより、幅広い分野で英日・日英機械翻訳の精度が向上することを実験的に確認した。

・本コーパスを研究目的利用に限り無償で公開 する。

## 2 関連研究

対訳コーパスは様々な文書から対訳文を抽出す ることで作成されることが多い。代表的なものとし て、国際機関が作成した対訳文書がある。例えば、欧州議会の議事録から作成された Europarl [6]、国連 の翻訳文書から作成された UN 対訳コーパス [7] な どがある。これらの文書は、通常プロの翻訳者が翻訳しており、文書 ID などのメタデータを持ってい ることもあるので、容易に対訳文を抽出することが できる。しかし、これらの一般に公開されている対訳文書は多くない。

近年では、ウェブから対訳文を抽出する手法も多 く提案されている。ウェブ上には 2 言語以上で書か れたウェブサイトが多数存在し、こういったウェブ サイトから対訳文を抽出する。ウェブ上には、様々 な言語や分野の対訳文が存在しており、大規模な

表 1 JParaCrawl コーパスに含まれる重複を取り除いた対訳文数および英語側単語数

対訳コーパスを作成するための有望な情報源であ る。ウェブから対訳文を抽出する初期の研究として は、大規模な分散システムを構築し対訳文を抽出 したもの [8]、Common $\mathrm{Crawl}^{2}$ から対訳文を抽出し たもの [9] などがある。最近では、多言語文埋め込 みを用いた対訳文対応手法を用いて、Wikipedia や Common Crawl から大規模な多言語対訳コーパスを 作成する研究も報告されている [10,11]。

また、ParaCrawl プロジェクトはヨーロッパ言語 の大規模な対訳コーパスをウェブから継続的に作成している [12]。我々は以前この活動にヒントを得 て、大規模な対訳コーパスが存在しない日英向けの 大規模な対訳コーパスを作成した [5]。このコーパ スは JParaCrawl と名付けられ、1,000万文を超える 対訳文を含む日英における最大規模の対訳コーパス となっている。しかし、JParaCrawl コーパスは、独英などの欧州言語対と比較するとまだ小規模であ り、これをもとにした翻訳モデルの精度も欧州言語対と比較すると低精度である。ゆえに、さらに大き な日英対訳コーパスの作成が求められている。本研究では、ウェブを新たにクロールし対訳文をさらに 抽出することで、JParaCrawl コーパスをさらに拡張 することを目指す。

## 3 JParaCrawl v3.0

本研究では、さらにウェブをクロールして対訳文を抽出し、JParaCrawl v2.0コーパスを拡張するこ と目指す。我々の手法は、以前の ParaCrawl および JParaCrawl プロジェクトに基づくものである。以下 の節でその詳細な手順を述べる。

## 3.1 対訳文を含むウェブサイトの発見

本研究では、ウェブから対訳文を抽出するこ とで大規模な対訳コーパスを構築する。まず、 CommonCrawl 上のテキストデータを CLD22)によっ て解析し、各ドメインの言語別データ量を得る。そ の後、英語と日本語が同量程度含まれるウェブサ

イトには対訳文が存在する可能性があるという仮説に基づき、クロール対象ウェブサイトを列挙す る。本研究では、2019年 3 月から 2021 年 8 月まで に公開された Common Crawl のテキストアーカイブ データを分析対象とし、ウェブサイトの規模が大き く、英語と日本語の文章が同程度である 10 万件の ウェブサイトを列挙した。2019年 3 月以前に公開 されたデータについては、JParaCrawl v2.0 作成時に 既に分析済みであり、本収集の目標の一つである 最新の情報を含むこととも乘離しているため除外 した。本手順で列挙されたウェブサイト一覧を確認したところ、前回の JParaCrawl v2.0 時に候補に挙 がっていないウェブサイトが 7 割を占めていた。な お、本手順には ParaCrawl プロジェクトが提供する extractor4)を使用した。

## 3.2 ウェブサイトのクロール

次に、前節で列挙されたウェブサイト全体をク ロールする。本研究では、Heritrix5)を用いて、各ウェブサイトに対して最大 48 時間のクローリン グを行った。これまでの JParaCrawl では、プレーン テキストのみを対象としていたが、今回はこれに加 えて、PDF や Word 文書もクロールの対象とした。日本国内の官公庁や企業は PDF で文書を発信する ことがあり、これらも対訳抽出の対象とすることで 対訳文数の増加に寄与すると考えられる。

## 3.3 対訳文抽出

次に、クロールされたウェブサイトから対訳文を 抽出する。本手順には、ParaCrawl プロジェクトが提供する Bitextor ${ }^{6}$ を日本語に対応させ使用した。対訳文書と対訳文の対応付けには、機械翻訳を用い た対応付けツールbleualign [13] を使用した。こ のツールでは、まず機械翻訳を用いて日本語文を 英文に翻訳し、BLEU スコアを最大化する日英の文 ペアを発見する。この際、日英翻訳には JParaCrawl v2.0で学習した Transformer ベースのニューラル機械翻訳（NMT）モデルを使用した。なお、以前の JParaCrawl で使用した辞書べースの手法 [14] よりも bleualign の方が高精度であることを予備実験に より確認した。

## 3.4 ノイズ除去

最後の手順として、正しく対応付けられて いない、翻訳が不正確など、学習時のノイズと なる文対をフィルタリングする。本手順には、 Bicleaner ${ }^{7)}$ [15]を使用した。ノイズ除去の後、ク リーンな対訳文と JParaCrawl v2.0を結合、重複文を 削除した。以上の手順により、2100 万文以上を含 む新しい大規模な JParaCrawl v3.0を作成した。これ は、以前の JParaCrawl v2.0 の倍以上の文数である。

表 1 に、これまでの JParaCrawl および今回作成し たv3.0の重複を削除した対訳文数および英語側単語数を示す。なお、これまでの JParaCrawl についても 重複削除を行った文数を報告しているため、以前の 論文で報告されている値とは異なることに注意され たい。PDF なども対訳抽出対象としたことにより、 HTML のみを対象とする場合と比較して、約 $10 \%$ 対訳文抽出数が向上した。

## 4 実験

本節では、新たに作成した JParaCrawl v3.0 の翻訳精度への影響を確認するために、NMT モデルを学習し様々なテストセットでその精度を評価した。以降では、使用したテストセットの詳細およびモデル 学習時の設定について述べる。

## 4.1 実験設定

## 4.1.1 テストセット

様々な分野で NMT モデルの精度を評価するため に、 15 種のテストセットでモデルを評価する。付録表 3 に使用するテストセットの分野および統計情報 を示す。これらには、以前の JParaCrawl 発表時に報告した ASPEC [16] (科学技術論文), JESC [17] (映画字幕), KFTT [18] (Wikipedia 記事), TED (tst2015) [19] (講演)が含まれる。さらに本実験では、会話文中心の対訳コーパスである Business Scene Dialogue コーパス (BSD) [20] や翻訳シェアードタスク [21, 22, 23, 24, 25] のテストセットを追加した。これらには、ニュース 記事、SNS 上のテキスト、Wikipedia 上のコメント などが含まれる。なおシェアードタスク用テスト セットの中には、特定の翻訳方向 (英 $\rightarrow$ 日など) で 使用することを前提としたものもあるが、参考まで に英日、日英の両方向で評価した。また付録表 4 に

7) https://github.com/bitextor/bicleaner示すように、いくつかのコーパスには学習データが 付属しているものがある。比較のため、これらの学習データでも分野別モデルを学習しスコアを報告 する。

## 4.1.2 学習設定

前処理として、対訳コ一パスを sentencepiece [26] を用いてサブワード単位 に分割した。この際、語彙数は 32,000 とした。翻訳モデルの学習には fairseq [27]を用い、small、 base、bigの 3つの異なる大きさの Transformer [4] モ デルを学習した付録表 5 に詳細な学習設定を示す。以前の JParaCrawl の報告に基づき、TED (tst2015) で は small モデルを、KFTTでは base モデルを、その他 のテストセットでは big モデルを使用した。なお、学習に関する設定は、公平な比較のために以前の JParaCrawl の報告とほぼ同じであるが、v3.0 モデル については、対訳コーパスの大きさが原因で 24,000 ステップでは収束せず、更新回数を変更した。評価 には sacreBLEU [28]を用い、BLEU スコア [29]を 報告する。なお、以前の実験との整合性を保つため に、すべてのテストセットを NFKC 正規化した。

## 4.2 実験結果

表 2 に様々なテストセットにおける BLEU スコ アを示す。JParaCrawl v3.0で学習したモデルは、日英ではすべてのテストセットで、英日では 15 の うち 13 のテストセットで以前の JParaCrawl を上回 る精度を達成した。この結果は、科学技術論文、 ニュース、対話などの様々な分野において、新し い JParaCrawl が NMT モデルの精度を押し上げるこ とを示している。特に、WMT21ニュース翻訳タス クでは、JParaCrawl v3.0 モデルが大幅に精度を向上 させることがわかった。これは、前回の JParaCrawl v2.0 が 2019 年のウェブデータをもとに作成されて おり、2021 年のニュースに頻出する単語が正しく 翻訳できていないことが原因だと推測される。例え ば、2021 年のニュース記事では、2019 年には存在 しない COVID-19 に関連する単語が頻出する。こう いった最新の単語を正しく翻訳できるようにするた めには、対訳コーパスを常に更新し続けるなどの対応が必要だと考えられる。

なお、JParaCrawl は特定の分野には特化すること を目的としておらず、JParaCrawl 単独では分野別モ デルの精度には及ばない。しかし、JParaCrawl モデ
表 2 分野別コーパスおよび JParaCrawl v1.0, v2.0, v3.0 で学習した翻訳モデルの BLEU スコア。JParaCrawl モデルのうち 最高スコアのものを太字で示す。

図 1 WMT21 News Ja-Enテストセットの翻訳例

ルから特定分野に対して Fine-tuningを行うことで、分野別データ単独で学習したモデルを上回ることも 報告されている [5]。本傾向は JParaCrawl v3.0でも 同様だと思われるが、具体的な実験については今後 の課題とする。

## 4.3 翻訳例

図 1 に JParaCrawl v1.0、v2.0、v3.0で学習したモデ ルの翻訳例を示す。この例は、WMT21ニュース翻訳テストセットから COVID-19に関連するものを選 んだ。この入力文には、「濃厚接触者」という日本語が含まれており、これは “close contacts”と翻訳さ れるべきである。しかし、v1.0 および v2.0 で学習し たモデルは “strong contact person” と誤訳している。一方で、v3.0で学習したモデルでは、これを正しく “close contacts”と翻訳できている。テストセットを 目視で確認したところ、この例のように COVID-19 に関連する記事で多くの改善が見られた。この結果 は、前節で述べた近年頻出する用語を正しく翻訳で
きているという仮説を支持するものである。

## 5 おわりに

本研究では、これまでの大規模日英対訳コーパ ス JParaCrawl をさらに拡張した JParaCrawl v3.0を作成した。本対訳コーパスは、最新の CommonCrawl アーカイブを分析して対訳文が存在すると思われ るウェブサイトを発見し、それらから対訳文抽出を 行うことで作成した。新たな JParaCrawl v3.0 は 2100 万以上の対訳文を含んでおり、これは JParaCrawl v2.0 の倍以上の大きさである。本対訳コーパスを 用いることで、様々な分野、特に最新のニュース 記事の翻訳精度が向上することを実験的に確認し た。今後の課題としては、継続的な JParaCrawl の更新や、より優れた対訳文抽出/フィルタリング手法 の提案などが挙げられる。なお、本研究で作成した JParaCrawl v3.0 は我々のウェブサイトで研究目的に 限り無償で公開する予定である。

## 参考文献

[1] Ilya Sutskever, Oriol Vinyals, and Quoc V. Le. Sequence to sequence learning with neural networks. In Proceedings of the 28th Annual Conference on Neural Information Processing Systems (NeurIPS), pp. 3104-3112, 2014.

[2] Dzmitry Bahdanau, Kyunghyun Cho, and Yoshua Bengio. Neural machine translation by jointly learning to align and translate. In Proceedings of the 3rd International Conference on Learning Representations (ICLR), 2015.

[3] Minh-Thang Luong, Hieu Pham, and Christopher D. Manning. Effective approaches to attention-based neural machine translation. In Proceedings of the Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 1412-1421, 2015.

[4] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Proceedings of the 31st Annual Conference on Neural Information Processing Systems (NeurIPS), pp. 6000-6010, 2017.

[5] Makoto Morishita, Jun Suzuki, and Masaaki Nagata. JParaCrawl: A large scale web-based English-Japanese parallel corpus. In Proceedings of the 12th International Conference on Language Resources and Evaluation (LREC), pp. 3603-3609, 2020 .

[6] Philipp Koehn. Europarl: A parallel corpus for statistical machine translation. In Proceedings of the Machine Translation Summit X, pp. 79-86, 2005

[7] Michał Ziemski, Marcin Junczys-Dowmunt, and Bruno Pouliquen. The united nations parallel corpus v1.0. In Proceedings of the 10th International Conference on Language Resources and Evaluation (LREC), pp. 3530-3534,

[8] Jakob Uszkoreit, Jay M. Ponte, Ashok C. Popat, and Moshe Dubiner. Large scale parallel document mining for machine translation. In Proceedings of the 23rd International Conference on Computational Linguistics (COLING), pp.1101-1109, 2010 .

[9] Jason R Smith, Herve Saint-Amand, M Plamada, P Koehn, C Callison-Burch, and Adam Lopez. Dirt cheap web-scale parallel text from the common crawl. In Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics (ACL), pp. 1374-1383, 2013.

[10] Holger Schwenk, Vishrav Chaudhary, Shuo Sun, Hongyu Gong, and Francisco Guzmán. WikiMatrix: Mining 135m parallel sentences in 1620 language pairs from Wikipedia. arXiv preprint arXiv:1907.05791, 2019

[11] Holger Schwenk, Guillaume Wenzek, Sergey Edunov, Edouard Grave, and Armand Joulin. CCMatrix: Mining billions of high-quality parallel sentences on the web, arXiv preprint arXiv:1911.04944, 2019.

[12] Marta Bañón, Pinzhen Chen, Barry Haddow, Kenneth Heafield, Hieu Hoang, Miquel Esplà-Gomis, Mikel L. Forcada, Amir Kamran, Faheem Kirefu, Philipp Koehn, Sergio Ortiz Rojas, Leopoldo Pla Sempere, Gema RamírezSánchez, Elsa Sarrías, Marek Strelec, Brian Thompson, William Waites, Dion Wiggins, and Jaume Zaragoza. ParaCrawl: Web-scale acquisition of parallel corpora. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 4555-4567, 2020.

[13] Rico Sennrich and Martin Volk. Iterative, MT-based sentence alignment of parallel texts. In Proceedings of the 18th Nordic Conference of Computational Linguistics (NODALIDA), pp. 175-182, 2011.

[14] Dániel Varga, Péter Halácsy, András Kornai, Viktor Nagy, László Németh, and Viktor Trón. Parallel corpora for medium density languages. In Proceedings of the Recent Advances in Natural Language Processing $\frac{\text { Proceedings of the Recent }}{\text { (RANLP), pp. 590-596, } 2005 .}$

[15] Víctor M. Sánchez-Cartagena, Marta Bañón, Sergio Ortiz-Rojas, and Gema Ramírez-Sánchez. Prompsit's submission to WMT 2018 parallel corpus filtering shared task. In Proceedings of the 3rd Conference on Machine Translation (WMT), pp. 955-962, 2018.

[16] Toshiaki Nakazawa, Manabu Yaguchi, Kiyotaka Uchimoto, Masao Utiyama, Eiichiro Sumita, Sadao Kurohashi, and Hitoshi Isahara. ASPEC: Asian scientific paper excerpt corpus. In Proceedings of the 10th International Conference on Language Resources and Evaluation (LREC), 2016.

[17] R. Pryzant, Y. Chung, D. Jurafsky, and D. Britz. JESC: Japanese-English Subtitle Corpus. arXiv preprint arXiv:1710.10639, 2017.

[18] Graham Neubig. The Kyoto free translation task. http://www. phontron.com/kftt, 2011

[19] Mauro Cettolo, Christian Girardi, and Marcello Federico. WIT3: web inventory of transcribed and translated talks. In Proceedings of the 16th Annual Conference of the European Association for Machine Translation (EAMT), pp. 261-268, 2012 .

[20] Matīss Rikters, Ryokan Ri, Tong Li, and Toshiaki Nakazawa. Designing the business conversation corpus. In Proceedings of the 6th Workshop on Asian Translation (WAT), pp. 54-61, 2019 .

[21] Loïc Barrault, Magdalena Biesialska, Ondřej Bojar, Marta R. Costa-jussà, Christian Federmann, Yvette Graham, Roman Grundkiewicz, Barry Haddow, Matthias Huck, Eric Joanis, Tom Kocmi, Philipp Koehn, Chi-kiu Lo, Nikola Ljubešić, Christof Monz, Makoto Morishita, Masaaki Nagata, Toshiaki Nakazawa, Santanu Pal, Matt Post, and Marcos Zampieri. Findings of the 2020 conference on machine translation (WMT20). In Proceedings of the 5 th Conference on Machine Translation (WMT), pp. 1-55, 2020

[22] Farhad Akhbardeh, Arkady Arkhangorodsky, Magdalena Biesialska, Ondřej Bojar, Rajen Chatterjee, Vishrav Chaudhary, Marta R. Costa-jussa, Cristina España-Bonet, Angela Fan, Christian Federmann, Markus Freitag, Yvette Graham, Roman Grundkiewicz, Barry Haddow, Leonie Harter, Kenneth Heafield, Christopher Homan, Matthias Huck, Kwabena AmponsahKaakyire, Jungo Kasai, Daniel Khashabi, Kevin Knight, Tom Kocmi, Philipp Koehn, Nicholas Lourie, Christof Monz, Makoto Morishita, Masaaki Nagata, Ajay Nagesh, Toshiaki Nakazawa, Matteo Negri, Santanu Pal, Allahsera Auguste Tapo, Marco Turchi, Valentin Vydrin, and Marcos Zampieri. Findings of the 2021 conference on machine translation (WMT21). In Proceedings of the 6th Conference on Machine Translation (WMT), pp. 1-93, 2021.

[23] Xian Li, Paul Michel, Antonios Anastasopoulos, Yonatan Belinkov, Nadir K. Durrani, Orhan Firat, Philipp Koehn, Graham Neubig, Juan M. Pino, and Hassan Sajjad. Findings of the first shared task on machine translation robustness. In Proceedings of the 4th Conference on Machine Translation (WMT), 2019.

[24] Lucia Specia, Zhenhao Li, Juan Pino, Vishrav Chaudhary, Francisco Guzmán, Graham Neubig, Nadir Durrani, Yonatan Belinkov, Philipp Koehn, Hassan Sajjad, Paul Michel, and Xian Li. Findings of the WMT 2020 shared task on machine translation robustness. In Proceedings of the 5th Conference on Machine Translation (WMT), pp. 76-91, 2020.

[25] Antonios Anastasopoulos, Ondřej Bojar, Jacob Bremerman, Roldano Cattoni, Maha Elbayad, Marcello Federico, Xutai Ma, Satoshi Nakamura, Matteo Negri, Jan Niehues, Juan Pino, Elizabeth Salesky, Sebastian Stüker, Katsuhito Sudoh, Marco Turchi, Alexander Waibel, Changhan Wang, and Matthew Wiesner FINDINGS OF THE IWSLT 2021 EVALUATION CAMPAIGN. In Proceedings of the 18th International Conference on Spoken Language Translation (IWSLT), pp. $1-29,2021$.

[26] Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Proceedings of the Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 66-71, 2018.

[27] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan $\mathrm{Ng}$, David Grangier, and Michael Auli. fairseq: A fast, extensible toolki for sequence modeling. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL HLT), pp. 48-53, 2019.

[28] Matt Post. A call for clarity in reporting BLEU scores. In Proceedings of the 3rd Conference on Machine Translation (WMT), pp. 186-191, 2018.

[29] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. BLEU: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics

[30] Graham Neubig. Forest-to-string SMT for asian language translation: NAIST at WAT2014. In Proceedings of the 1st Workshop on Asian Translation (WAT), pp. 20-25, 2014

[31] Diederik Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In Proceedings of the 3rd International Conference on Learning Representations (ICLR), 2015.

[32] Nitish Srivastava, Geoffrey Hinton, Alex Krizhevsky, Ilya Sutskever, and Ruslan Salakhutdinov. Dropout: A simple way to prevent neural networks from overfitting. Journal of Machine Learning Research, Vol. 15, pp. 19291958, 2014.

[33] Razvan Pascanu, Tomas Mikolov, and Yoshua Bengio. On the difficulty of training recurrent neural networks. In Proceedings of the 30th International Conference on Machine Learning (ICML), Vol. 28, pp. 1310-1318, 2013.

[34] Christian Szegedy, Vincent Vanhoucke, Sergey Ioffe, Jon Shlens, and Zbig niew Wojna. Rethinking the Inception Architecture for Computer Vision. In Proceedings of CVPR, pp. 2818-2826, 2016.

[35] Myle Ott, Sergey Edunov, David Grangier, and Michael Auli. Scaling neural machine translation. In Proceedings of the 3rd Conference on Machine Translation (WMT), pp. 1-9, 2018.

[36] Yonghui Wu, Mike Schuster, Zhifeng Chen, Quoc V. Le, Mohammad Norouzi, Wolfgang Macherey, Maxim Krikun, Yuan Cao, Qin Gao, Klau Macherey, Jeff Klingner, Apurva Shah, Melvin Johnson, Xiaobing Liu, Łukasz Kaiser, Stephan Gouws, Yoshikiyo Kato, Taku Kudo, Hideto Kazawa, Keith Stevens, George Kurian, Nishant Patil, Wei Wang, Cliff Young, Jason Smith, Jason Riesa, Alex Rudnick, Oriol Vinyals, Greg Corrado, Macduff Hughes, and Jeffrey Dean. Google's neural machine translation system: Bridging the gap between human and machine translation. arXiv preprint arXiv:1609.08144, 2016

## A 付録

表 3 にテストセットに含まれる分野、対訳文数および英語側単語数を示す。また、表 4 に分野別学習データに含まれ る文数および英語側単語数を示す。なお、ASPEC は本来約 300 万文の学習データを含んでいるが、先行研究に基づき先頭 200 万文のみを学習に使用した [30]。翻訳モデルを学習する際のハイパーパラメータを表 5 に示す。

表 3 テストセットに含まれる分野、対訳文数および英語側単語数

表 4 分野別学習データに含まれる文数および英語側単語数。ASPEC は本来約 300 万文の学習データを含んでいるが、先行研究に基づき先頭 200 万文のみを学習に使用した [30]。

表 5 ハイパーパラメータの一覧


# 書き手と読み手の怒りの感情認識の差の原因となる表現の獲得

中川翼 1 北田 俊輔 2 彌冨 仁 ${ }^{1,2}$
1 法政大学理工学部応用情報工学科 2 法政大学理工学研究科応用情報工学専攻
\{tsubasa.nakagawa.5p, shunsuke.kitada.8y\}@stu.hosei.ac.jp
iyatomi@hosei.ac.jp

## 概要

SNS 等，オンライン上でやりとりされる文章から 相手の感情を正しく推定するのは時に難しく，書き 手と読み手の間での認識・解釈の違いはトラブルに つながる可能性がある. 本研究では，書き手と読み 手の感情認識の差に着目した上で，感情認識の差が 特に大きい「怒り」の感情に焦点を当て，その差が 大きい文章を予測する識別器を構築するとともに，感情認識の差を生み出している表現を明らかにする ための分析を行った. 検出された表現は, それ自体 に怒りの感情を表す意味は持たないため，読み手が 読み取るのは難しいが，書いた本人は確かに怒りの 感情を持つ傾向にあった.

## 1 はじめに

感情分析は，与えられた文章から感情を推定する 自然言語処理の主要なタスクの一つである [1]. 感情を考慮した対話システム [2] や商品レビューから の意見抽出 [3] など様々な用途がある. さらに SNS 等を中心としたオンライン上での文章のやりとりの 増加を受けて，特に Twitter の文章を対象に感情極性 を考慮した研究 [4] も盛んに行われている. 文章か ら相手の感情を正確に推定することが，オンライン 上でのコミュニケーションでは重要である.

近年では，感情極性（肯定的・否定的）の推定 [5] だけでなく, 感情の種類や強度の推定 [6] も試みら れている。感情の種類を考慮した推定では，Ekman の 6 感情（喜び・悲しみ・驚き・怒り・恐れ・嫌悪） [7] や Plutchik の 8 感情（喜び・悲しみ・期待・驚き・怒り・恐れ・嫌悪・信頼） [8] が代表的な基本感情 として用いられている. 相手の感情をより正確に把握するためには，このような粒度の細かい単位での 推定が重要になる. 一方で機械学習を用いた感情分析において，このような多様な感情を対象にした場合，感情は人の経験や背景にも依存するため，文章
のみから正確な推定を行うことは難しい.

これらの多くの先行研究では文章の読み手が付与したラベルを用いて読み手の感情に沿った推定 が行われてきたが，文章の書き手が持つ感情と読 み手が受ける感情には差が存在すると考えられる。 Kajiwara ら [9] は SNS 上の文章を対象にテキストの 書き手による主観的な感情強度ラベルとテキストの 読み手による客観的な感情強度ラベルの両方を収集 したデータセット WRIME を構築・公開した. 彼ら は書き手と読み手の感情強度の比較を行い，怒りや 信頼の感情を中心に，読み手は書き手の感情を十分 に読み取れず，過小評価する傾向にあると述べてい る. 我々は，こうした書き手と読み手の感情認識の 差を生み出す表現を明らかにすることが相手の感情 をより正確に推定する上で重要になると考えた。

本研究では書き手と読み手の両方による 8 種類の 感情強度が付与された文章から，今回は感情認識の 差が大きい「怒り」の感情に焦点を当て，BERT [10] を用いてその差が大きい文章の予測を行うととも に，その差を生み出していると思われる表現の検出 を試みた。検出された単語は，それ自体に怒りの感情を表す意味は持たないため，読み手が読み取るの は難しいが，怒りの感情を持った人間が文章を書く 際に無意識に用いている表現であると言える。

## 2 データセットと実験手法

本研究で我々は，書き手と読み手の感情強度が付与された WRIME データセット1)を用いて書き手と 読み手の感情認識の差の分析を行った，次にその分析結果から，差の大きい「怒り」の感情に着目し， その差が大きい文章を予測する識別器を構築した。 さらに，その差を生み出している表現の検出を試 みた。

## 書き手

(a) 書き手による感情ラベルの共起行列

## 読み手

(b) 読み手による感情ラベルの共起行列

図 1: 書き手と読み手のそれぞれにおける感情ラべ ルの共起行列

## 2.1 データセットとその分析

WRIME データセットは Kajiwara ら [9] によって 構築された日本語の感情分析データセットである. SNS に投稿された計 43,200 件の文章に対して，その 投稿者本人とその内容を読んだ第三者 3 人による 8 種類の感情強度が 4 段階 $(0 \sim 3)$ で付与されてい る. 付与された 8 種類の感情強度は Plutchik $の 8$ 感情 [8] に基づく，我々は，この書き手と読み手の両方の感情ラベルを持つという特性が双方の感情認識の差を明らかにする上で適していると考え，この データセットを用いて書き手と読み手のそれぞれの 感情ラベルについて分析を行った.

図 1 に，書き手と読み手のそれぞれにおける，感情強度が 2 以上である感情ラベルの共起行列を示
す. 書き手の感情強度は投稿者本人による感情ラべ ルであり，読み手の感情強度は第三者 3 人による感情ラベルを平均したものである．書き手による感情 ラベルの共起行列 $1 \mathrm{a}$ と読み手による感情ラベルの 共起行列 $1 \mathrm{~b}$ を比べると, 読み手は文章から一つの 感情に絞って読み取る傾向にあるのに対し，書き手 は複数の感情が共起する傾向にあり，より複雑であ ることが分かる．また，各感情のラベル数に着目す ると，読み手は書き手の感情を十分に読み取れず，過小評価する傾向にある．特に「怒り」と「信頼」 の感情においてその傾向は顕著である．具体的に は，怒りのラベルでは書き手が 3,040 件であるのに 対し，読み手は 543 件しか認識できていない。信頼 のラベルについても同様に書き手が 5,167 件である のに対し，読み手は 185 件しか認識できていないた め，読み手は書き手が持つ「怒り」や「信頼」の感情を十分に読み取れていないと言える。

## 2.2 隠れ怒り文章の予測モデル

上述の分析結果から，本研究では書き手と読み手 の感情認識の差が大きい「怒り」の感情に焦点を当 て，その差が大きい文章を予測する識別器を構築し た. 我々は， 4 段階 $(0 \sim 3)$ で付与された怒りの感情強度において，書き手の強度が読み手の強度を 2 以上上回っている文章は，読み手が書き手の怒りを 十分に読み取れておらず，第三者が怒りの感情を 推定しにくい“隠れ怒り”文章であると考えた。計 43,200 件の WRIME データセットを 4：1の割合で訓練用と評価用に分割し，書き手の怒りの感情強度が 読み手の強度を 2 以上上回っている“隠れ怒り”文章を検出する 2 值分類を行った. 感情強度の差を求 める際，書き手の強度が読み手の強度を上回るケー スと読み手の強度が書き手の強度を上回るケースの 2 つの可能性が考えられるが，怒りの感情ラベルの みを見た場合，後者のケースはほぼ見られなかった ため，今回は考慮しなかった。

“隠れ怒り”文章の予測モデルには，BERT [10] を ベースとするモデルを用いた。日本語 Wikipedia で 事前学習された WholeWordMasking モデル2)を使用 し，モデルの実装には Transformers ${ }^{3}$ [11]を用いた. BERT の最終層の [CLS] トークンから得られた 768 次元の分散表現を全結合層に入力し，“隠れ怒り”文章を検出する 2 值分類を行った. 損失関数に交差エ

2) https://huggingface.co/cl-tohoku/

3) https://github.com/huggingface/transformers
表 1: “隠れ怒り”文章を検出する 2 值分類の性能

図 2: “隠れ怒り”文章を検出する 2 值分類の ROC 曲線

ントロピー誤差，最適化手法に Adam [12] を使用し， バッチサイズは 32 , ドロップアウト率は 0.1 , 学習率は $2 e^{-5}$ ，学習回数は 3 回とした。また，計 34,560 件の訓練用データのうち，検出対象である “隠れ怒 り" 文章が 1,910 件と全体と比べて少ないため，偏 りの影響が減るよう損失関数への重み付けとオー バーサンプリングを行った. 評価指標には，ROC曲線下の面積である AUCを用いた。

## 2.3 怒りの感情認識の差を生み出している 単語の検出方法

“隠れ怒り”文章の予測で真陽性であった文章にお いて出現頻度が高い上位 10 単語を品詞別で求めた.次に，求めた上位 10 単語を対象に真陽性であった 文章における出現頻度と真陰性であった文章におけ る出現頻度の両方を求め, 真陽性での出現頻度が真陰性での出現頻度を特に大きく上回っている単語を 抽出した. ここでの出現頻度は，対象の単語の出現回数を真陽（陰）性の文章群における全単語の出現回数の和で割った值である. さらに, 抽出された単語を含む文章における書き手と読み手 3 人の怒りの 感情強度の平均をそれぞれ求め, 抽出された単語が 書き手と読み手の怒りの感情認識に差を生み出して いるか検証した。

## 3 実験結果

図 3: “隠れ怒り”文章の予測で真陽性であった文章 における頻出単語（上位 10 単語）

## 3.1 隠れ怒り文章の予測モデルの性能

表 1 に，“隠れ怒り”文章を検出する 2 值分類の性能を示す. 計 8,640 件の評価用データのうち，検出対象である“隠れ怒り”文章が 493 件とデータ数に 偏りがあるが，“隠れ怒り”文章を一定数検出できて いると言える.

図 2 に，“隠れ怒り”文章を検出する 2 值分類の ROC 曲線とその曲線下の面積である AUC を示す。 AUC が 0.771 （検出感度が $80.1 \%$ のき，特異度が $58.6 \%$ ）であることから，“隠れ怒り”文章の検出器 として一定の効果があることが確認できた。

## 3.2 怒りの感情認識の差を生み出している 単語の検出結果

図 3 に，“隠れ怒り” 文章の予測で真陽性であっ た文章において出現頻度の高かった上位 10 単語を 品詞別で求めたものを示す. 横軸は真陽性と真陰性 のそれぞれの文章における各単語の出現頻度を表し ている. 真陽性での出現頻度が真陰性での出現頻度 を大きく上回っている単語は，書き手と読み手の怒 りの感情認識に差を生み出している表現であると言 える. 名詞や助詞には出現頻度の差はほぼ見られな いが，接続詞や感動詞には真陽性での出現頻度が真陰性での出現頻度を大きく上回っている単語がいく
表 2: 検出された単語とそれらを含む文章での怒り ラベルの平均

つか見られる。

表 2 に, 図 3 の頻出単語の中で真陽性での出現頻度が真陰性での出現頻度を特に大きく上回っている 単語とその単語を含む文章での怒りラベルの平均を 示す. 差の欄の数値は，書き手の感情ラベルの平均 から読み手 3 人の感情ラベルの平均を差し引いた值 であり，この値が大きいほど書き手と読み手の怒り の感情認識に差があると言える. 検出された単語を 含む文章での差の方がデータセット全体での差より も大きい. よって，検出された単語は，それ自体に 怒りの感情を表す意味は持たないため，読み手が読 み取るのは難しいが，怒りの感情を持った人間が文章を書く際に無意識に用いている表現であると言 える.

検出された「ほんと」や「そんな」といった単語 は，あとに続く単語の意味を強調するために用いら れることが多く, 文脈次第で意味が変化する. デー タセットの文章とラベルのみを用いた分析では，こ うした単語同士の関係性を考慮した分析は難しい. BERT ベースの検出器を用いて文脈を考慮した分析 を行うことで，第三者が読み取りにくい“隠れ怒り”表現と思われる単語を検出することができたと考え られる。

## 4 おわりに

本研究では書き手と読み手の両方による 8 種類の 感情強度が付与された文章から，感情認識の差が大 きい「怒り」の感情に焦点を当て，BERT [10]を用 いてその差が大きい文章の予測を行うとともに，そ の差を生み出していると思われる表現の検出を試 みた。

BERT ベースの検出器を用いて文脈を考慮した分析を行うことで，「ほんと」や「そんな」といった，書き手と読み手の怒りの感情認識の差の原因となり 得る表現を検出することができた.読み手は文章から一つの感情に絞って読み取る傾向にあるのに対し，書き手は複数の感情が共起する 傾向にあったため，今後は複数の感情を考慮し，よ り書き手の感情に沿った推定モデルを構築したい.

## 参考文献

[1] Bing Liu. Sentiment analysis and opinion mining. Synthesis lectures on human language technologies, Vol. 5, No. 1, pp. 1-167, 2012.

[2] Mauajama Firdaus, Hardik Chauhan, Asif Ekbal, and Pushpak Bhattacharyya. Emosen: Generating sentiment and emotion controlled responses in a multimodal dialogue system. IEEE Transactions on Affective Computing, 2020.

[3] Xing Fang and Justin Zhan. Sentiment analysis using product review data. Journal of Big Data, Vol. 2, No. 1, pp. 1-14, 2015.

[4] Apoorv Agarwal, Boyi Xie, Ilia Vovsha, Owen Rambow, and Rebecca J Passonneau. Sentiment analysis of twitter data. In Proceedings of the workshop on language in social media (LSM 2011), pp. 30-38, 2011.

[5] Richard Socher, Alex Perelygin, Jean Wu, Jason Chuang, Christopher D Manning, Andrew Y Ng, and Christopher Potts. Recursive deep models for semantic compositionality over a sentiment treebank. In Proceedings of the 2013 conference on empirical methods in natural language processing, pp. 1631-1642, 2013.

[6] Laura Ana Maria Oberländer and Roman Klinger. An analysis of annotated corpora for emotion classification in text. In Proceedings of the 27th International Conference on Computational Linguistics, pp. 2104-2119, 2018.

[7] Paul Ekman. An argument for basic emotions. Cognition \& emotion, Vol. 6, No. 3-4, pp. 169-200, 1992.

[8] Robert Plutchik. A general psychoevolutionary theory of emotion. In Theories of emotion, pp. 3-33. Elsevier, 1980.

[9] Tomoyuki Kajiwara, Chenhui Chu, Noriko Takemura, Yuta Nakashima, and Hajime Nagahara. Wrime: A new dataset for emotional intensity estimation with subjective and objective annotations. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 2095-2104, 2021.

[10] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018.

[11] Thomas Wolf, Julien Chaumond, Lysandre Debut, Victor Sanh, Clement Delangue, Anthony Moi, Pierric Cistac, Morgan Funtowicz, Joe Davison, Sam Shleifer, et al. Transformers: State-of-the-art natural language processing. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 38-45, 2020.

[12] Diederik P Kingma and Jimmy Ba. Adam: A method for stochastic optimization. arXiv preprint arXiv:1412.6980, 2014 .


# BERT の転移学習と Mis-leading データの削除による 識別精度の改善

岩本昇太
茨城大学工学部
情報工学科
18t4012t@vc.ibaraki.ac.jp
}

新納浩幸
茨城大学大学院理工学研究科
情報科学領域
hiroyuki.shinnou.0828@vc.ibaraki.ac.jp

## 概要

自然言語処理のタスクを機械学習で解決すると き，ラベル付き訓練データの不足に対処する必要が ある。転移学習はターゲット領域のラベル付き訓練データが全く無い場合にも有効な手法であるが，「負の転移」と呼ばれる問題に対処する必要がある.本稿では BERTを用いた文書分類タスクで転移学習を行うときに負の転移に対処するため Mis-leading データの削除と BERT の転移学習を行い，文書分類 タスクで識別精度を改善できることを確認した。

## 1 はじめに

自然言語処理のタスクの多くは，機械学習の手法 により解決できる．ただし，そのためには大量のラ ベル付き訓練データが必要となる．BERT [1] のよう な事前学習済みモデルを用いる場合も，fine-tuning のためのラベル付き訓練データは必要となる。転移学習を用いれば，ターゲット領域の訓練データが全 く無い場合にも対応できる。しかし，転移学習を用 いる場合は負の転移 [2] と呼ばれる問題に対処する 必要がある．負の転移は，ソース領域のデータと ターゲット領域のデータの性質が著しく異なるとき にソース領域のデータを訓練に用いると識別精度が 悪化する現象である。

本稿では，BERTを用いた文書分類タスクで転移学習を行うときに Mis-leading データの削除と BERT の追加学習を行い，識別精度の改善を試みる。 Mis-leading データは，ソース領域の訓練データのう ちターゲット領域での識別精度に悪影響を及ぼすも のである．事前に Mis-leading データを削除するこ とで，ターゲット領域での識別精度の向上が期待で きる。また，ターゲット領域のラベルなしデータを 用いて BERT の追加学習を行うことで，fine-tuning後の識別精度の向上が期待できる [3]. Mis-leading データの削除に加えて BERT の追加学習も行い，識別精度のさらなる改善を図る。

## 2 関連研究

## 2.1 BERT

Bidirectional Encoder Representations from Transformers(BERT) [1] は 2018 年に Google より公開された事前学習済みモデルである。BERT は入力としてトー クン列（単語もしくはサブワード）を受け取り，そ れに対応する埋め込み表現列を出力する。ここで，出力される埋め込み表現は文脈を考慮したものと なっている。大規模コーパスにより事前学習したモ デルを下流タスクのラベル付きデータで fine-tuning することで，文書分類・固有表現抽出・質問応答な ど様々なタスクに対応できる。日本語版の事前学習済みモデルとして，東北大学で公開されているモデ ル1)などがある.

## 2.2 タスク適応型事前学習

Gururangan ら [3] は BERT の派生モデルである RoBERTa [4] の領域適応のためにタスク適応型事前学習 (Task-Adaptive Pretraining; TAPT) を提案した. タスク適応型事前学習は，事前学習済みモデルに対 して解きたいタスクのテキストデータを用いた追加 の事前学習を行う手法である。

## 2.3 負の転移

負の転移 (Negative Transfer) [2] は，ソース領域の データとターゲット領域のデータの性質が著しく異 なるときにソース領域のデータを訓練に用いると 識別精度が悪化する現象である。転移学習では，ど

のようにして負の転移を検知・回避するかが問題と なる.

## 3 提案手法

タスク適応型事前学習を行えば，BERTを用いた 文書分類タスクにおける識別精度の改善は実現でき る. しかし，転移学習を用いる場合に負の転移が生 じうるという問題は解消されていない。本稿では， BERTを用いた文書分類タスクで転移学習を行うと きに Mis-leading データの削除と BERT の追加学習 を行うことで識別精度を改善する手法を提案する。

Mis-leading データを削除する方法は以下の通りで ある.

・ターゲット領域のラベルなしデータを離散確率分布 $P$ で表現する

・ソース領域の個々の訓練データを離散確率分布 $Q_{k}$ で表現する（ $k$ 番目の文書に $Q_{k}$ が対応）
- Kullback-Leibler 情報量 $D_{K L}\left(P \| Q_{k}\right)$ 計算し，そ の値が大きいラベル付きデータを削除する

## 3.1 BERT を用いた文書分類タスクの転移学習

本稿では，下記の手順により BERTを用いた文書分類タスクの転移学習を行う.

1. BERTをソース領域のラベル付きデータで fine-tuning して文書分類器を作成する.

2. 作成した文書分類器により, ターゲット領域で 文書分類を行う。

BERT の fine-tuning では，ターゲット領域のラベル 付きデータは使用しない。

## 3.2 Kullback-Leibler 情報量

Kullback-Leibler 情報量は，情報理論や統計学にお いて 2 つの確率分布の類似度を表す尺度である。あ る 2 の離散確率分布 $P, Q$ に対する Kullback-Leibler 情報量 $D_{K L}(P \| Q)$ は，式(1)となる.

$
D_{K L}(P \| Q)=\sum_{i} P(i) \log \frac{P(i)}{Q(i)}
$

ここで $P(i), Q(i)$ はそれぞれ離散確率分布 $P, Q$ に 従って $i$ が選ばれる確率である.

## 3.3 文書の離散確率分布表現

文書を離散確率分布として表現するためには，ま ず文書をべクトル化しなければならない。文書のべ クトル化には Bag-of-Wordsを用いる. このとき, 単語の重み付けには文書内での単語の出現頻度 (Term Frequency)を用いる. 文書 Doc のベクトル表現は式 (2)のようになる.

$
\left(t f_{1}, t f_{2}, \ldots, t f_{N_{w}}\right)
$

ここで, $t f_{i}$ は単語分割時に用いた辞書で $i$ 番目に 登録されている単語が文書 $D o c$ 内で登場した回数, $N_{w}$ は単語分割時に用いた辞書に収録されている単語数である.

式 (2)より文書を実数値のベクトルで表現できる ようになったが，単語を確率変数とし，文書を離散確率分布として表現するためには，式 (2) のべクト ルをさらに変換する必要がある．そこで，式 (2) の ベクトル表現を式 (3) のように変換する.

$
\begin{array}{r}
\left(v_{1}, v_{2}, \ldots, v_{N_{w}}\right) \\
v_{i}=\frac{t f_{i}}{Z}, \quad Z=\sum_{i=1}^{N_{w}} t f_{i}
\end{array}
$

確率は次の 2 条件を満たす。
- $v_{i} \geq 0$ （確率の值は非負の実数）
- $\sum_{i=1}^{N_{w}} v_{i}=1$ (確率の総和は 1)

式 (3) のベクトルは， $Z$ の定め方より $\sum_{i=1}^{N_{w}} v_{i}=1$ （確率の総和は 1）を満たす。また， $t f_{i}$ は明らかに 非負の値をとるため， $v_{i} \geq 0$ （確率の値は非負の実数）を満たす.したがって，上記の方法により文書 を離散確率分布として表現できる.

## 3.4 Mis-leading データの削除

Mis-leading データは，ソース領域の訓練データの うちターゲット領域での識別精度に悪影響を及ぼす ものである. 本節では Mis-leading データを削除す る方法を説明する。

訓練データとなるラベル付きの文書の集合を $D_{S}=\left.\{D o c_{1}, D o c_{2}, \ldots, D o c_{N}\right.\}$ とする. $D_{S}$ には $N$ 件 の文書が属し， $D_{S}$ に属する文書はすべてソース領域に属する。また，ラベルなしの文書のうちター ゲット領域に属するものの集合を $D_{T}$ とする.

Mis-leading データを削除する手順は以下の通りで ある.
1. $D_{T}$ に属する文書すべてを 1 つの文書とみなし， 3.3 節で説明した手法により離散確率分布 $P$ を 得る.
2. $D_{S}$ に属する文書に 3.3 節で説明した手法を適用し，離散確率分布 $Q_{1}, Q_{2}, \ldots, Q_{N}$ を得る. $k$
番目の文書 $D o c_{k}$ に対応する離散確率分布が $Q_{k}$ である.

3. 各離散確率分布 $Q_{1}, Q_{2}, \ldots, Q_{N}$ について Kullback-Leibler 情報量 $D_{K L}\left(P \| Q_{k}\right)$ を計算 する.

4. ラベルに基づいて訓練データをグループ分け する. 各グループ内で Kullback-Leibler 情報量 $D_{K L}\left(P \| Q_{k}\right)$ の値の大きい順に文書を並べ替 え, $D_{K L}\left(P \| Q_{k}\right)$ の值の大きい方から一定数 の文書を取り出す. 取り出した文書，すなわち $D_{K L}\left(P \| Q_{k}\right)$ の値の大きい文書を Mis-leading データとみなし，訓練データの集合から削除 する。

## 3.5 BERT の追加学習

BERT を fine-tuning して文書分類器を作成する前 に，タスク適応型事前学習を行う. 本稿ではデータ セットに含まれる全領域のラベルなしデータを用い て追加学習を行い, その後ターゲット領域のラベル なしデータを用いて追加学習を行った.

## 4 実験

BERTを用いた文書分類タスクで転移学習を行 うとき, Mis-leading データの削除と BERT の追加学習を行った場合の識別精度を確認した. Mis-leading データの削除と BERT の追加学習を行わずに転移学習を行った場合 (ベースライン) の識別精度と提案手法を用いたときの識別精度を比較し，提案手法の 有効性を確認した。

## 4.1 事前学習済みモデル

東北大学で公開されているモデル (BERT-basejapanese)を使用した。

## 4.2 実験用データセット

実験には Webis-CLS-10 データセットを用いた. このデータセットには日本語及び英語の Amazon レ ビュー文書が収録されている. 本実験では日本語の 文書を用いる. ラベルは星の数であり， 1 から 5 ま での 5 段階である.ただしラベルが 3（星 3つ）の データは存在しない. 本実験ではラベルが 4,5 の データを positive, ラベルが 1,2 のデータを negative として感情分析（2 值分類）を行った.

このデータセットには books, dvd, music の 3 つの 領域がある。各領域には訓練データ 2000 件，テス

トデータ 2000 件が収録されている. この 2 つはラ ベル付きデータである. また，訓練データ・テスト データとは別にラベルなしデータが収録されてい る. データセットの内訳を表 1 に示す.

実験では，ソース領域の訓練データを fine-tuning の訓練データとした. また，ターゲット領域の訓練 データを検証用データとし, 識別精度の最終的な評価にはターゲット領域のテストデータを用いた.

## 4.3Mis-leading データの削除

3.4 節で説明した手法により, ソース領域の訓練 データから Mis-leading データを削除した. 文書の 単語分割には BERT-base-japanese の tokenizer を用い た. 削除する件数は $200,400,600,800,1000$ のいず れかとし，検証用データの識別精度をもとに削除す る件数を選択した。

## 4.4 BERT の追加学習

BERT-base-japanese に対してタスク適応型事前学習を行った. まず全領域のラベルなしデータ及び 訓練データを用いて 10epoch の追加学習を行った. ここで，ラベルなしデータの件数は領域により異 なる. 本稿では books と dvd についてはラベルな しデータをランダム抽出し, music のラベルなし データと同じ件数のラベルなしデータを用意した. music については全てのラベルなしデータを用いた.全領域のラベルなしデータ及び訓練データを用いた 追加学習により得られたモデルをモデル A とする。

更に，モデル A に対してターゲット領域のラベル なしデータ及び訓練データを用いて 10epoch の追加学習を行った. どの領域についても, モデル A の追加学習で用いたものと同一のラベルなしデータで追加学習を行った.

なお，追加学習では Masked Language Model のみ を行い, Next Sentence Prediction は省略した.

## 4.5 文書分類器の作成

モデル A に対してターゲット領域のラベルな しデータ及び訓練データを用いて追加学習を行っ
表 2 実験結果 (正解率)

たモデルを fine-tuning し, 文書分類器を作成した. fine-tuning にはソース領域の訓練データのうち, 3.4 節で説明した手法により Mis-leading データを削除 したものを用いた。

## 4.6 実験結果

提案手法を用いて転移学習を行った場合の識別精度及び提案手法を用いずに転移学習を行った 場合（ベースライン）の識別精度を表 2 に示す。 ベースラインの数値は, 追加学習を行っていない BERT-base-japanese をソース領域の訓練データ全て で fine-tuning して作成した文書分類器をターゲット 領域で用いた場合の正解率である.ソース領域と ターゲット領域の組み合わせは計 6 パターンある が，全パターンについて文書分類タスクを行い，識別精度を評価した。

表 2 の通り，ソース領域とターゲット領域の組み 合わせの全パターンで提案手法での正解率がベース ラインの正解率を上回った.

## 5 考察

以下，ソース領域とターゲット領域の組を（ソー ス領域，ターゲット領域）と表記することがある.

ソース領域とターゲット領域の各組み合わせに ついて, Mis-leading データを削除するために計算し た Kullback-Leibler 情報量 $D_{K L}\left(P \| Q_{k}\right)$ のばらつき を図 1 の箱ひげ図に表した。

ベースラインの正解率と提案手法の正解率を比較したとき，正解率の上がり幅が最も大きかった ソース領域とターゲット領域の組は (dvd, books) で ある。また，正解率の上がり幅が最も小さかった組 は (music, dvd) である.

図 1 の箱ひげ図より，(dvd, books) では他の組よ りも Kullback-Leibler 情報量の散らばりが大きく, Kullback-Leibler 情報量の中央值は小さいとわかる.一方で，(music, dvd)では他の組よりも Kullback-

図 1 Kullback-Leibler 情報量 $D_{K L}\left(P \| Q_{k}\right)$ のばらつき。箱の左のラベルはソース領域とターゲット領域の組（ソー ス，ターゲット).

Leibler 情報量の散らばりが小さく，Kullback-Leibler 情報量の中央値は比較的大きいとわかる。このよう な Kullback-Leibler 情報量 のばらつきが，Mis-leading データを削除する効果の大きさに影響していると考 えられる。

## 6 おわりに

本稿では，BERTを用いた文書分類タスクで転移学習を行うときに Mis-leading データの削除と BERT の追加学習を行い，識別精度の改善を試みた. 実験 により, Mis-leading データの削除と BERT の追加学習を行わない転移学習と比較したときに識別精度が 改善されることを確認できた。

## 謝辞

本研究は JSPS 科研費 JP19K12093 および 2021 年度国立情報学研究所公募型共同研究 (2021-FC05) の助成を受けています.

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[2] Michael T Rosenstein, Zvika Marx, Leslie Pack Kaelbling, and Thomas G Dietterich. To transfer or not to transfer. In NIPS 2005 workshop on transfer learning, Vol. 898, 2005 .

[3] Suchin Gururangan, Ana Marasović, Swabha Swayamdipta, Kyle Lo, Iz Beltagy, Doug Downey, and Noah A. Smith. Don't stop pretraining: Adapt language models to domains and tasks. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 8342-8360, Online, July 2020. Association for Computational Linguistics.

[4] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized BERT pretraining approach. CoRR, Vol. abs/1907.11692, , 2019.


# 双方向翻訳モデルと反復的逆翻訳を用いた 低資源言語に対するニューラル機械翻訳の性能向上

Bui Tuan Thanh秋葉友良塚田元
豊橋技術科学大学
\{bui.tuan.thanh.mg, akiba.tomoyoshi.tk, tsukada.hajime.hl\}@tut.jp

## 概要

本稿では、低資源言語に対して翻訳性能を改善す る手法を提案する。提案法は、2つの手法を組み合 わせて適用することで、追加の学習データなしに少量の対訳コーパスだけを用いて、翻訳モデルを学習 する。まず、対訳コーパスを用いて、翻訳対象言語対の双方向の翻訳モデルを一つのモデルで構成する 双方向翻訳モデルを構築する。次に、同じ対訳コー パスを単言語コーパス対として用いて、反復的逆翻訳 (IBT: Iterative Back Translation)を適用することで、翻訳モデルを更新する。IWSLT2015 の英語・ベトナ ム語翻訳タスクの低資源対訳コーパス (13 万文)を 使用した英越及び越英の翻訳実験により、提案手法 の有効性を示した。

## 1 はじめに

近年、ニューラルネットワークを用いたニュー ラル機械翻訳 (Neural Machine Translation:NMT) が機械翻訳の品質を飛躍的にに向上させている $[1,2]$ 。 ニューラル機械翻訳の翻訳モデルを学習するため には、大規模かつ品質が高い対訳コーパスが必要で あるが、そのような対訳コーパスを作成するのはコ ストが高い。そのため、比較的入手が容易な単言語 コーパスでデータ拡張する手法が提案されている。中でも、逆翻訳を用いる手法 [3] やそれを反復的に 適用する手法 $[4,5]$ は効果的な手法として知られて いる。また、Ding ら [6] は、翻訳対象の 2 言語間の 双方向翻訳を単一の翻訳モデルとして学習すること で、各方向の翻訳性能を向上できることを報告して いる。

本稿では、Ding ら [6] の双方向ニューラル翻訳 (BiNMT: Bidirectional Neural Translation) モデルと、対訳コーパスを単言語コーパスとして利用した反復的逆翻訳手法を組み合わせることにより、元の対訳
コーパス以外の追加の学習データを使わずに翻訳性能を向上させる手法を提案する。本手法では、最初に対訳コーパスで BiNMT の初期モデルを学習す る。次に、学習した BiNMT モデルで、対訳コーパ スの各言語側を単言語コーパスとみなして逆翻訳を 行い、2つの疑似対訳データを生成する。元の対訳学習データと生成した疑似対訳データを混合し、新 たな学習データを構築する。新たな学習データを用 いて、初期 BiNMT モデルを fine-tuning し、新しい BiNMT モデルを得る。新しいモデルは、再び擬似対訳データを生成するために利用され、元の対訳学習データと組み合わせて新規学習データを得て、こ れを用いて再度 BiNMT モデルを更新する。このプ ロセスを繰り返すことにより、翻訳モデルの性能を 改善していく。本手法は、元の対訳コーパス以外の 学習データを使用しないため、低資源言語の翻訳モ デルの性能向上に利用することができる。

提案した手法の有効性を検証するために、英越言語対に対して実験を行った。英越言語対の単方向翻訳モデルと比較し、双方向翻訳モデルの利用のみで も翻訳性能を有意に改善できた。さらに反復的逆翻訳と組み合わせることで、さらに翻訳性能が向上す ることを確認した。

## 2 関連研究

## 2.1 ニューラル機械翻訳の逆翻訳手法

Sennrich らはデータ拡張手法として目的言語側の 単言語データを利用するシンプルで効果的な逆翻訳法 (Back Translation)を提案した [3]。この手法では、最初に目的言語から原言語の方向の翻訳モデルを学習し、目的言語の単言語データを原言語に翻訳し，疑似対訳コーパスを生成する。次に、擬似対訳コー パスを元の対訳コーパスと混合して原言語から目的言語の方向の翻訳モデルを学習する。この手法は目
的言語側の正しい文を使用することで、質の低い擬似的な原言語を用いても翻訳品質の改善が可能であ ることを示している。逆翻訳手法の有効性は他の論文 [7] でも報告されており、特に対訳コーパスが小規模なときに有効に働くことが示されている。

逆翻訳の関連研究として、Zhang ら [8] は原言語側 の単言語データを翻訳し、疑似対訳コーパスを構成 してモデルを学習するという自己学習 (self-learning)手法を提案した。Hoang らと森田らは言語対の両方側の単語データを用いる反復的逆翻訳手法 (IBT: Iterative Back Translation) を提案した [4,5]。 反復的逆翻訳手法では原言語側と目的言語側の単言語データ を使用し、逆翻訳を繰り返すことで疑似対訳コーパ スの生成、モデルの再学習を繰り返す。この手法は 低資源言語対においても有効に働くことが示されて いる。Imamura ら [9] は、逆翻訳においてランダム サンプリングで逆翻訳を行う手法を調査し、ベスト サンプリングより有効に働くことを報告した。

## 2.2 双方向ニューラル機械翻訳

Dinh ら [6] は、学習データを (原言語, 目的言語) のペアとそれを入れ替えた (目的言語, 原言語) のぺ アから成る 2 倍のサイズのデータに構成を変更し、翻訳対象の 2 言語間の翻訳を一つの双方向翻訳モ デルで学習、最後に目的の単一方向学習データで fine-tuning することで、各方向の翻訳品質を改善で きることを報告した。この手法では全学習時間の $\frac{1}{3}$ で双方向翻訳モデルを学習し、残る時間で単方向翻訳モデルを学習する。

## 3 提案手法

## 3.1 BiNMT モデル

対訳コーパスからソースとターゲットが逆方向 の 2 つの学習データを構築し、ソース側の先頭に翻訳方向を示すタグを追加する。これらを連結して新 たな学習データを構成し双方向翻訳モデルの学習 に用いる。その際、単一方向の翻訳に学習が一方的 に偏るのを避けるため、各方向の対訳を交互に配置 するように学習データを構成する。双方向ニューラ ル機械翻訳モデルの構成を図 1 に示す。翻訳の対訳 コーパスは $\mathrm{X}$ 言語と $\mathrm{Y}$ 言語から構成される。 $C_{X}$ は $\mathrm{X}$ 言語のコーパス、 $C_{Y}$ は $\mathrm{Y}$ 言語のコーパスである。

オリジナル

対訳コーパス

図 1 BiNMT モデルの構成

BiNMT の目的関数を次に式に示す。

$
\overleftrightarrow{\mathscr{L}}(\theta)=-\sum_{(\mathbf{x}, \mathbf{y})}(\log p(\mathbf{y} \mid \mathbf{x} ; \theta)+\log p(\mathbf{x} \mid \mathbf{y} ; \theta))
$

ここでは $\mathbf{x}$ が $\mathrm{X}$ 言語の文、 $\mathbf{y}$ が $\mathrm{Y}$ 言語の文である。

## 3.2 BiNMT モデルに基づく反復的な逆翻訳

提案法は BiNMT と反復的逆翻訳を組み合わせる。 ただし、外部の単言語コーパスは使わずに元の対訳 コーパスを単言語コーパス対と見なすことで、新 たな疑似対訳コーパスの生成、BiNMT モデルをの 再学習を繰り返す。また、Imamura ら [9] と同様に、 ランダムサンプリングを用いて逆翻訳を行い、疑似対訳コーパスを生成する。本手法に用いる反復的逆翻訳の手順を以下に示す。言語 $\mathrm{X}$ を言語 $\mathrm{Y}$ に翻訳 することは $\mathrm{X} \rightarrow \mathrm{Y}$, 言語 $\mathrm{Y}$ を言語 $\mathrm{X}$ に翻訳すること は $\mathrm{Y} \rightarrow \mathrm{X}$, 言語 $\mathrm{X}$ と言語 $\mathrm{Y}$ の双方向翻訳は $\mathrm{X} \leftrightarrow \mathrm{Y}$ と する。

1 文対応のとれた言語 $\mathrm{X}$ と $\mathrm{Y}$ のコーパス対 $C_{X}$ と $C_{Y}$ コーパスから $\mathrm{X} \leftrightarrow \mathrm{Y}$ の双方向翻訳モデルを 学習する。このモデルをモデル 0 とする。以下の手順で $\mathrm{X} \leftrightarrow \mathrm{Y}$ の双方向の翻訳モデルを再学習する. $\mathrm{i}$ の初期值は 0 である。

2.1 双方向の翻訳モデル $\mathrm{i}$ を用いて $\mathrm{X} \rightarrow \mathrm{Y}$ 方向 で単言語コーパス $C_{x}$ を翻訳し、 $C_{y}^{i}$ を得る。

図 2 反復的な逆翻訳を用いた BiNMT モデル学習

2.2 双方向の翻訳モデル $\mathrm{i}$ を用いて $\mathrm{Y} \rightarrow \mathrm{X}$ 方向 で単言語コーパス $C_{y}$ を翻訳し、 $C_{x}^{i}$ を得る。

2.3 文対応の取れたコーパス対 $C_{X}$ と $C_{Y}$ で学習データを初期化する。 $C_{x}^{i}$ と $C_{y}$ の組みを 1 つの疑似対訳コーパス $(\mathrm{X} \rightarrow \mathrm{Y})$ として学習データに追加する。同様に $C_{y}^{i}$ と $C_{x}$ の 組みを疑似対訳コーパス $(\mathrm{Y} \rightarrow \mathrm{X})$ として学習データに加え、新しい学習データを構築 する。

2.4 モデル i 新しい学習データでファイン チューニングし、得られた双方向翻訳モデ ルをモデル i+1 とする。

ファインチューニングし、新しい学習 データで双方向翻訳モデルを再学習し、

$3 i=i+1$ としてステップ 2 に戻る。

提案法のモデル学習の流れを図 2 に示す。

## 4 実験

## 4.1 データ

本稿では International Workshop on Spoken Language Translation (IWSLT-2015) の英語・ベトナム語翻訳タ スクの小規模対訳コーパスを用い、英語 $\rightarrow$ ベト ナム語及びベトナム語 $\rightarrow$ 英語の 2 つの方向の翻訳タスクで実験を行った。IWSLT 2015 コーパスの tst2012を開発データとし、tst2013をテストデータ
として使用した。越英対訳コーパスの文数を表 4.1 に示す。英語文に対しては Moses キットの tokenizer で文をトークン化した。ベトナム語文に対してはは pyvi ライブラリの ViTokenizer で文をトークン化し た。英語の文とべトナム語の文は Moses の truecaser を用いて処理を行った。また、原言語の文と目的言語の文を一括して部分単語単位を求める joint Byte Pair Encoding(BPE) [10] で 5000 のサブワードに分割 した。

表 1 IWSLT2015 越英コーパスの対訳文体数

## 4.2 実験設定

ニューラル機械翻訳システムの実装には fairseq を 使用した。各方向の翻訳モデルと双方向ニューラル 機械翻訳モデルは fairseq の Transformer モデル [2] を 用いた。実験の全てのモデルは同じハイパーパラ メータの設定を使用した。学習率が $1 \times 10^{-8}$ 、ウォー ムアップが 4000 ステップ、学習率減衰が逆平方根、 ラベル平滑化が 0.1 、ドロップアウトが 0.1 、重み減衰が 0.0001 、損失関数がラベル平滑化クロスエント ロピーである。モデル学習する際、Adam の最適化

アルゴリズム $\left(\beta_{1}=0.9, \beta_{2}=0.98\right)$ を使用した。双方向翻訳モデルの訓練データのソース側には各文の 先頭に翻訳方向を示すタグ $<e 2 v>$ (英語 $\rightarrow$ ベトナ 厶語), $<v 2 e>$ (ベトナム語 $\rightarrow$ 英語) を追加した。逆翻訳を行う際、ランダムサンプリングで単言語デー タを翻訳した。反復的逆翻訳は、反復を 4 回まで繰 り返した。ランダムサンプリングは予備実験により temperature $=0.8$ に設定した。

## 4.3 評価方法

機械翻訳モデルの自動評価手法として BLEUを用 いた。越英対訳コーパスで各単方向ニューラル機械翻訳モデルを学習し、ベースラインとする。提案す る双方向ニューラル機械翻訳モデルを学習し、ベー スラインと比較し、双方向翻訳モデルが翻訳性能を 改善できるかを調査する。さらに、反復的な逆翻訳手法を適用し、翻訳性能を改善できるか調査する。 また、Koehn らが提案したブートストラップ法 [11] により 1000 サンプルで有意差検定を行う。

## 4.4 実験結果

ベースラインの単方向翻訳モデルと双方向翻訳モ デルの翻訳性能を表 2 に示す。ベースラインと比較 すると、双方向翻訳モデルが英越方向翻訳で+1.15、越英方向翻訳で+1.6を向上した。また、ベースライ ンと双方向翻訳モデルとの間で BLEU スコアの有意差検定 $(p<0.01)$ を行い、両方向の翻訳性能には有意差が存在することが確認した。

表 2

2 単方向翻訳モデルと双方向翻訳モデルの翻訳性能

反復的逆翻訳手法によって、各反復回数での翻訳性能を表 3 と図 3 に示す。反復的逆翻訳手法によ り、双方向翻訳モデルはそれぞれ英越翻訳方向で十 2.61、越英翻訳方向で +3.05 を改善した。英越翻訳方向について、BiNMT モデル 1 と BiNMT モデル 3 の 差に対して有意差検定を行い、有意水準 $p<0.01$ で 差があることが確認できた。越英翻訳方向について は、BiNMT モデル 1 と BiNMT モデル 2 の差に対し て検定を行い、有意水準 $p<0.05$ で差があることが 確認された。表 3 IBTを用いた双方向翻訳モデル

図 3 繰り返し学習の各モデルの BLEU スコア

## 5 おわりに

双方向翻訳モデルを学習し、元の対訳コーパスを 単言語コーパスとみなして逆翻訳とモデル更新を繰 り返す反復的逆翻訳手法により、両方向の翻訳性能 を同時に改善する手法を提案した。IWSLT2015 の英越対訳コーパスで実験を行い、有効性を確認した。各翻訳方向の単方向翻訳モデルと比較し、越英双方向翻訳モデルは越英翻訳方向と英越翻訳方向を同時 に改善でき、反復的逆翻訳で更なる双方向翻訳モデ ルの性能向上を達成した。本手法ではモデルの変更 が必要なく、また追加の学習データを使うことなく 元の学習データのみで両方向の翻訳性能を同時に向上させることができる。

本稿の実験では英越言語対の小規模対訳コーパス に行なったが、今後の研究として、他の言語対と大規模対訳コーパスに本手法の有効性を検証したい。 コーパスサイズはどのように影響するかを調査した い。また、本手法と他の手法を組み合わせ、翻訳精度をさらに向上させる手法を研究したい。

## 謝辞

本研究は JSPS 科研費 19K11980 および 18H01062 の助成を受けた。

## 参考文献

[1] Minh-Thang Luong, Hieu Pham, and Christopher D. Manning. Effective approaches to attention-based neural machine translation. CoRR, abs/1508.04025, 2015.

[2] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. CoRR, abs/1706.03762, 2017.

[3] Rico Sennrich, Barry Haddow, and Alexandra Birch. Improving neural machine translation models with monolingual data. CoRR, abs/1511.06709, 2015.

[4] Vu Cong Duy Hoang, Philipp Koehn, Gholamreza Haffari, and Trevor Cohn. Iterative back-translation for neural machine translation. In Proceedings of the 2nd Workshop on Neural Machine Translation and Generation, pages 18-24, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[5] 森田知熙, 秋葉 友良, and 塚田 元. 双方向の逆翻訳を 利用したニューラル機械翻訳の教師なし適応の検討. 言語処理学会, 2018 .

[6] Liang Ding, Di Wu, and Dacheng Tao. Improving neural machine translation by bidirectional training. CoRR, abs/2109.07780, 2021.

[7] Alberto Poncelas, Dimitar Sht. Shterionov, Andy Way, Gideon Maillette de Buy Wenniger, and Peyman Passban. Investigating backtranslation in neural machine translation. CoRR, abs/1804.06189, 2018.

[8] Jiajun Zhang and Chengqing Zong. Exploiting sourceside monolingual data in neural machine translation. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pages 1535-1545, Austin, Texas, November 2016. Association for Computational Linguistics.

[9] Kenji Imamura, Atsushi Fujita, and Eiichiro Sumita. Enhancement of encoder and attention using target monolingual corpora in neural machine translation. In Proceedings of the 2nd Workshop on Neural Machine Translation and Generation, pages 55-63, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[10] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. CoRR, abs/1508.07909, 2015.

[11] Philipp Koehn. Statistical significance tests for machine translation evaluation. In Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing, pages 388-395, Barcelona, Spain, July 2004. Association for Computational Linguistics.