# Relation between Word Order of Languages and
## Serotonin Transporter Gene

\author{
Terumasa EHARA(江原 暉将) \\ Ehara NLP Research Laboratory \\ eharate @ gmail.com
}

## 1 Introduction

Serotonin transporter gene (5-HTTLPR) has two alleles: Short (S) and Long (L). Relative frequency of $S$ allele (S-ratio in this paper) differs across populations. African populations have low S-ratio, say $20 \%$ and East Asian populations have high S-ratio, say 70\% (Gureyev et al., 2014).

Courtet et al., (2001) show that the relative frequencies of the $\mathrm{S}$ allele were significantly higher in the violent suicidal attempters than in the controls. Chiao and Blizinsky (2010) show culture-gene coevolution between allelic frequency of 5-HTTLPR and cultural values of individualism-collectivism. They show that collectivistic cultures were significantly more likely to comprise individuals carrying the $\mathrm{S}$ allele of the 5-HTTLPR.

We have investigated relations between word order (WO) of languages (focused on the order of Object and Verb: OV/VO) and suicide-rate / homicide-rate of the speakers' populations (Ehara, 2015), the distribution of Ychromosome DNA haplogroups of speakers' populations (Ehara, 2018) and the distribution of mitochondrial DNA haplogroups of speakers' populations (Ehara, 2020). In this paper, we will investigate relation between word order of languages and the S-ratio of the speakers' populations. Our conjecture is "OV language speakers have high Sratio and VO language speakers have low S-ratio".

## 2 Data

Data for the word order (OV/VO) are obtained mainly from the WALS online database (Dryer and Haspelmath, 2013) and Yamamoto's book (Yamamoto, 2003).

Data for S-ratio of populations used in this study are listed in Appendix. They are obtained from papers described in the reference column of the appendix. Language names, their word orders and their speakers' S- ratio are listed in Table 2. Some languages (for example, Mandarin) appear multiple times, because they are spoken in multiple areas or by multiple populations.

## 3 Global analysis

T-test is done for the data in Table 2. OV vs VO word order language speakers have significantly different $\mathrm{S}$ ratio, that is shown in Table 1.

Table 1: T-test result

Figure 1 shows the relation between East longitude of languages and S-ratio. East longitude of languages are obtained from WALS database. In this Figure, blue dots correspond OV languages and red dots correspond VO languages. Most of languages in 100-150 east longitude (East Asian languages) have high S-ratio. There are several outliers in this Figure. Some of them will be explained in section 5 .

Figure 1: East longitude of languages and S-ratio

Table 2: Word Order of languages and S-ratio NO: No dominant order

20.00

VO Arabic (Modern

Standard)

VO Hungarian

NO German

VO Czech

VO Swedish

4 Local analysis

4.1 Ethiopia
Many Ethiopians speak Amharic or Oromo, both of them are OV type. Many languages in Africa are VO type. Table 3 shows the data from Africa. Ethiopian's S-ratio is higher than the S-ratio of other African populations.

Sandawe is OV type and has low S-ratio that is outlier.

Table 3: Data from Africa

 & \multicolumn{1}{|c|}{} & \multicolumn{1}{|c|}{ language } & WO & S-ratio \\

## 4.2 Basque

Basque is OV type and many of European languages are VO type. Table 4 shows the data from South Europe. Basque has highest $\mathrm{S}$-ratio.

Table 4: Data from South Europe

 &  & language & WO & S-ratio \\

## 4.3 Turkey

Turkish is OV type. Table 5 compares languages Turkish and surrounding areas of it. Turkish is in second rank. Hebrew (Modern) spoken by Samaritan has highest S-ratio, that is outlier of the VO type. Other Israeli populations have middle level of S-ratio in this region. Azerbaijani, which is OV type, has also high S-ratio.

Table 5: Data from West Asia and East Europe

 & \multicolumn{1}{|c|}{} & \multicolumn{1}{|c|}{ language } & WO & S-ratio \\

## 4.4 Russia

Table 6 shows Russian data. Two VO type languages (Russian and Komi Zyrian) speakers have low S-ratio.

## Table 6: Data from Russia

 & \multicolumn{1}{|c|}{} & \multicolumn{1}{|c|}{ language } & WO & S-ratio \\

OV type Adyghe speaking Adygei has low S-ratio that is outlier.

## 4.5 Kashmir

Although many Indian languages are OV type, Kashmiri is VO type. Table 7 shows Kashmiri and surrounding areas' data. Kashmir has lowest S-ratio.

Table 7: Data from Kashmiri and surrounding areas

 & \multicolumn{1}{|c|}{} & language & WO & S-ratio \\

## 4.6 East and South East Asia

Data from East and South East Asia are shown in Table 8. Japanese and Korean speakers have high S-ratio. On the other hand, OV language speakers in China (Kazakh, Khalkha and Uygur) have lower S-ratio than Mandarin speakers. Nasioi is also the outlier of OV language speakers.

Table 8: Data from East and South East Asia

 & \multicolumn{1}{|c|}{} & language & WO & S-ratio \\

## 4.7 Native Americans

Table 9 shows data from Native Americans. Top 5 languages are OV type or No dominant word order type (NO). Pima Bajo and Surui speakers are outlier of OV languages speakers in this region.

Table 9: Data from Native Americans

 & \multicolumn{1}{|c}{} & \multicolumn{1}{|c|}{ language } & WO & S-ratio \\

## 5 Examination of the outliers

Local analysis shows that there are several outliers. Table 10 shows the number of speakers of these outlier languages that are obtained from Wikipedia. Except for OV languages in China (Kazakh, Khalkha and Uyghur), the number of speakers of outlier languages are rather small. This fact may affect the S-ratio.

Table 10: Number of speakers of outlier languages

 \\

## 6 Conclusion and Future Works

We have investigated the relation between word order of Object and Verb (OV vs VO) of languages and the relative frequency of serotonin transporter gene 5-
HTTLPR's allele S (S-ratio) of their speakers' population. By statistical analysis (t-test) for global data, we show "OV language speakers have high S-ratio and VO language speakers have low S-ratio".

S-ratio differs geographically. So, we have executed local analysis that shows similar results from the global analysis.

To clarify the reason why the above relation holds is the future work. Another future work is to clarify the reason why the outliers exist.

## References

Laith Naser Al-Eitan, Saied Ali Jaradat, Wenwen Qin, Diah Mutiara B. Wildenauer, Dieter Db Wildenauer, Gary K. Hulse, and Guan K. Tay. 2014. Characterization of serotonin transporter gene (SLC6A4) polymorphisms and its association with drug dependence in a Jordanian Arab population. Toxicology and Industrial Health, 30(7):598610.

Rafael Bisso-Machado, Virginia Ramallo, Eduardo TarazonaSantos, Francisco M. Salzano, Maria Cátira Bortolini, and Tábita Hünemeier. 2013. Brief communication: 5-HTTLPR genetic diversity and mode of subsistence in Native Americans. American Journal of Physical Anthropology, 151(3):492-494.

Joan Y. Chiao and Katherine D. Blizinsky. 2010. Culture-gene coevolution of individualism-collectivism and the serotonin transporter gene. Proceedings of the Royal Society B: Biological Sciences, 277(1681):529-537.

P. Courtet, P. Baud, M. Abbar, J. P. Boulenger, D. Castelnau, D. Mouthon, A. Malafosse, and C. Buresi. 2001. Association between violent suicidal behavior and the low activity allele of the serotonin transporter gene. Molecular Psychiatry, 6(3):338-341.

Matthew S. Dryer and Martin Haspelmath. 2013. The World Atlas of Language Structures Online, Jena: Max Planck Institute for the Science of Human History, https://wals.info/, accessed on 2018-03-09.

Terumasa Ehara. 2015. Relation between Word Order Parameters and Suicide / Homicide Rates. Jounal of Yamanashi Eiwa College, 13:9-29.

Terumasa Ehara. 2020. Relation between Word Order of Languages and the Entropy of Mitochondrial DNA Haplogroups Distribution of the Speakers' Population. In Proceedings of The 26th Annual Meeting of The Association for Natural Language Processing, pages 490-493.

Terumasa EHARA. 2018. Relation between Word Order of Languages and the Entropy of Y-chromosome Haplogroup Distribution of the Speakers' Population. In Proceedings of The 24th Annual Meeting of The Association for Natural Language Processing, pages 1019-1022.

Luke Esau, Mandeep Kaur, Lucinda Adonis, and Zainunisha Arieff. 2008. The 5-HTTLPR polymorphism in South African healthy populations: A global comparison. Journal of Neural Transmission, 115(5):755-760.

Noreen Goldman, Dana A Glei, Yu-Hsuan Lin, and Maxine Weinstein. 2010. The Serotonin Transporter Polymorphism (5-HTTLPR): Allelic Variation and Links with Depressive Symptoms. Depress Anxiety, 27(3):260-269.

A. S. Gureyev, A. A. Kim, Ye D. Sanina, V. I. Shirmanov, V. A. Koshechkin, O. P. Balanovskiy, N. K. Yankovskiy, and S. A. Borinskaya. 2014. Serotonin transporter gene 5HTTLPR VNTR allele frequency distribution in Africa and Eurasia. Russian Journal of Genetics: Applied Research, 12(3):71-86 (in Russian).

Xian Zhang Hu, Robert H. Lipsky, Guanshan Zhu, Longina A. Akhtar, Julie Taubman, Benjamin D. Greenberg, Ke Xu, Paul D. Arnold, Margaret A. Richter, James L. Kennedy, Dennis L. Murphy, and David Goldman. 2006. Serotonin transporter promoter gain-of-function genotypes are linked to obsessive-compulsive disorder. American Journal of Human Genetics, 78(5):815-826.

H. L. Khan, S. Bhatti, S. Abbas, Y. L. Khan, R. M.M. Gonzalez, M. Aslamkhan, G. R. Gonzalez, and H. H. Aydin. 2018. Serotonin transporter (5-HTTLPR) genotypes and trinucleotide repeats of androgen receptor exert a combinatorial effect on hormonal milieu in patients with lifelong premature ejaculation. Andrology, 6(6):916-926.

I. Mata, M. J. Arranz, A. Patiño, T. Lai, M. Beperet, L. Sierrasesumaga, D. Clark, F. Perez-Nievas, L. Richards, F. Ortuño, P. Sham, and R. W. Kerwin. 2004. Serotonergic Polymorphisms and Psychotic Disorders in Populations from North Spain. American Journal of Medical Genetics Neuropsychiatric Genetics, 126 B(1):88-94.

Michael Minkov, Vesselin Blagoev, and Michael Harris Bond. 2015. Improving Research in the Emerging Field of CrossCultural Sociogenetics: The Case of Serotonin. Journal of Cross-Cultural Psychology, 46(3):336-354.

Suriati Mohamed Saini, Nik Ruzyanei Nik Jaafar, Hatta Sidi, Marhani Midin, Azizah Mohd Radzi, and Abdul Hamid
Abdul Rahman. 2014. Serotonin transporter gene polymorphism and its association with bipolar disorder across different ethnic groups in Malaysia. Comprehensive Psychiatry, 55(SUPPL. 1):S76-S81.

John D. Murdoch, William C. Speed, Andrew J. Pakstis, Christopher E. Heffelfinger, and Kenneth K. Kidd. 2013. Worldwide population variation and haplotype analysis at the serotonin transporter gene SLC6A4 and implications for association studies. Biological Psychiatry, 74(12):879-889.

S Nasserddine, K Hamzi, B Diakite, N Serbati, and S Nadifi. 2012. Distribution of 5-Httlpr Serotonin Transporter Polymorphism in Moroccan Population. Int. J. LifeSc. Bt \& Pharm. Res, 1(2).

Tatyana Noskova, Nela Pivac, Gordana Nedic, Anastasiya Kazantseva, Darya Gaysina, Gulnaz Faskhutdinova, Anna Gareeva, Zulfiya Khalilova, Elza Khusnutdinova, Dragica Kozaric Kovacic, Zrnka Kovacic, Mladen Jokic, and Dorotea Muck Seler. 2008. Ethnic differences in the serotonin transporter polymorphism (5-HTTLPR) in several European populations. Progress in Neuro-Psychopharmacology and Biological Psychiatry, 32(7):1735-1739.

Yan-hui QIAO, Mahmut $\cdot$ Halik, Hong-li ZUO, Tuerhong $\cdot$ Kewer, and Dolkun $\cdot$ Mamatyusupu. 2007. A Study of the Serotonin Transporter-linked Promoter Region Polymorphism in Xinjiang Uygur, Kazak, and Mongol Ethnic Group. ACTA ANTHROPOLOGICA SINICA, 26(3):259-263 (in Chinese).

Fatemeh Sadat Rashidi, Ehsan Ahmadipour, Sepideh Shiravand, Abolhassan Ahmadiani, Sareh Asadi, and Jamal Shams. 2018. Association of the functional serotonin transporter haplotype with familial form of obsessive compulsive disorder in Iranian patients. International Journal of Psychiatry in Clinical Practice, 22(1):47-53.

Hideki Yamamoto. 2003. Survey and Historical Study of Geographical and Genealogical Distribution of Word Order around the World. Tansuisha (in Japanese).

## Appendix Data used in the study

 & Language & wo & S-ratio & Reference \\

 & Language & Wo & S-ratio & Reference \\

 & vo & 49.26 & (Chiao and Blizinsky, 2010) \\

WO: Word order, OV: Object verb order, VO: Verb object order, NO: No dominant order


# コロナ禍の状況を自由記述文で記録し分析する試み

那須川哲哉* 鈴木祥子* 村岡雅康* 平野真理**
*日本アイ・ビー・エム株式会社 東京基礎研究所 $* *$ 東京家政大学 人文学部
*\{nasukawa, e30126, mmuraoka\}@jp.ibm.com **hirano-m@tokyo-kasei.ac.jp

## 1 はじめに

新型コロナウイルス感染症の流行による危機的状況（以降「コロナ禍」）が続く中, 日常生活における コロナ禍の影響を記録し分析可能にすることで，例 えば感染者数の増減傾向といった変化の方向性を捉 えるなど，何らかの有用な知見の獲得に結びつけら れる可能性があるのではないかと考えた. 本稿では， テキストデータを中心としたコロナ禍に関するデー タ収集の取り組みと, この取り組みから得られた知見を紹介する。

## 2 コロナ禍データの記録・収集

## 2.1 コロナ禍データ収集方針

大きな災害に関するテキストデータを収集し分析 する取り組みとして, 著者らは, 東日本大震災及び 熊本地震の際に, Twitter へ投稿された関連ツイート を収集し分析した $[1,2]$. 東日本大震災の際には，「地震」「被災」「原発」というキーワードに加え, \#jisin 及び \#jishin というハッシュタグを対象としてデー タを収集した。また, 熊本地震の際には, Tweet Location の情報と被災地の地名のキーワードを手が かりにして，データを収集した。各々のケースで，毎日数十万件規模のデータが集まり, IBM $®$ Content Analytics[3]などのテキストマイニングツールを用い ることにより，被災地で不足している物資の情報な どを捉えることができた.

今回のコロナ禍に関しては, 震災と異なり, 被災地や被災者が限定されない上, 日々の生活全般にど のような影響が生じるかの予想が困難である．その ため, 何らかのキーワードを設定してデータ収集を 行うのは難しい. また，コロナ禍がどれだけの期間続くか分からず, 長期的な取り組みを行なう必要が あると考えた. そこで, コロナ禍で感じたことや気付いたことを多くの人に自由記述形式でテキスト化
してもらい，それを集めて分析するというアプロー チを取ることにし, 入手可能なデータを出来るだけ 多く収集することにした.

## 2.2 Slack チャンネルの作成とデータ収集

るコミュニケーションツール上に，コロナ禍に関す る情報を投稿したり閲覧したりするためのチャンネ ルを作成した. その上で社内の参加者を募り, 書き 込みを依頼した。2020 年 4 月 21 日にこの取り組み を始めて以来，グループ会社や海外を含む多様な部署から参加者が集まり，2021 年 1 月 15 日時点の参加者は 348 名になっている. 投稿データの言語は日本語で,「マスクを買いに行ったがどこにも売ってい ない」「久しぶりに電車に乗ったら車内広告が少なか った」といった体験談や「こんな報道があった」と いう URL 付きの報告など多様な内容が簡梁に表現 されている. 各投稿には投稿者の名前が表示され,閲覧者が絵文字リアクションという機能で各投稿に 対し「残念」「確かに」といった反応を示せるように なっている。

この Slack チャンネルへの 2020 年 12 月末までの 書き込み件数の状況を図 1 に示す.

図 1: Slackチャンネルへの月別投稿データ件数 2020 年 12 月末までに合計 2,820 件の投稿が集まり,各投稿の平均文字数は, 中に含まれる URL の文字数も含めて 141.1 文字となっている.

## 2.3 コロナ日記の収集

IBM 社員とは異なる母集団のデータも集めて比較したいという考えから, 下記 2 大学の学生にも協力を仰ぎ，データ収集を行なった。

滋賀大学データサイエンス学部において, 2020 年 6 月 13 日に「データサイエンス実践論 $\mathrm{A}\rfloor$ という講義でテキストアナリティクスを紹介する機会を活か し, その受講生 41 名に依頼して, 5 月 30 日から 12 日間，コロナ禍で感じたことや気付いたことなどを 簡単な日記形式で記録・提供してもらった. Slack チ ヤンネルへの投稿と異なり他人に読まれることは意識せずに書き溜めたデータをレポート的に提出して もらった. 同日中でもトピックが異なる場合は, 複数件のデータにするよう依頼し, また, 受講課題と して基本的に毎日書くようガイドした. その結果, 536 件のデータが集まり, 各データの平均文字数は 39.5 文字であった. 日別の件数分布を図 2 に示す.

図 2: 滋賀大学コロナ日記の日別データ件数

同様に, 首都圈にある A 大学に所属する学生 11 名に対しても依頼を行い，2020 年 5 月 14 日からの 2 ヶ月間にわたるコロナ日記を提供してもらった. その結果, 7 月 19 日までの 521 件のデータが集まっ た. 各データの平均文字数は 153.2 文字であった.日別の件数分布を図 3 に示す.

図 3: A 大学コロナ日記の日別データ件数

## 2.4 データ収集の難しさと方向性

この試みで，データ収集を長期的に続けている Slack チャンネルに関しては, 開始後 2 ケ月で参加者が 2 百名を超え, さらに趣旨説明のセミナーなど を行った結果, 6 月末には 3 百名を超えた. その後 も参加者数は増加しているが，投稿件数はなかなか 増えない状況が続いている. 原因の一つとして, 記名式であり，多くの同僚に読まれることを意識して 記入することに敷居の高さを感じる参加者が多いこ とが考えられる。

当初は, 数十万〜数百万件規模の大量のデータを 収集し,テキストマイニング技術[4,5]を用いて, 個々 のテキストに目を通すだけでは気付かないような知見の獲得を実現することを目指していた. 現在では， コロナ禍の長期化が見えてきたこともあり, 継続的 に収集することにより，コロナ禍の継時的変化を捉 えることを重要視するようになってきている.

## 3 コロナ禍データの分析と考察

## 3.1 記述内容の比較

前節で紹介した 3 種のデータを IBM Watson ® Discovery ${ }^{\mathrm{ii}}$ の Content Mining application というテキ ストマイニングツール(以下 WD と略記) に投入し， 3 種をまとめた全データにおける出現確率よりも，各データにおける出現確率が高い表現を特徴的な表現として抽出した結果，下記の傾向が見られた.
- 滋賀大学データサイエンス学部のデータ 536 件に特徴的な表現は, 「一日中家」「試験」「暑 い」「講義」「彦根」「就活」「バイト」など
- A 大学のデータ 521 件に特徴的な表現は, 「美味しい」「寝る」「食べる」「嬉しい」「頑張る」「ゆっくり」「辛い」「犬」「癒す」「姉」「飲む」「泣く」「イライラする」「レポート」など
- A 大学データの収集期間と同じ 2020 年 5 月 14 日から 7 月 19 日までに IBM の Slack チャ ンネルに投稿された 1,089 件のデータに特徴的なのは「記事」「エレベーター」「オフィス」「COVID」「ハンドソープ」「登校」など

コロナ日記においては, 日々感じたことが独白的 に記述されているのに対し, IBM のデータは Slack チャンネルで公開される性質上, 新聞やネットの記

事で見つけた情報を共有するような内容が多く, 業務や生活全般に関する広い話題が含まれている。

## 3.2 有益と感じられる情報

2020 年末までに IBM の Slack チャンネルに投稿 されたコロナ禍情報は, 合計 2,820 件という, 全件 に目を通して分析できる量であり, マイニングによ って意外な気付きを見いだすことは難しいが，WD により，図４のように，「ワクチン」に関する投稿が 次第に増えてきているといった知見が得られる.

図 4: 増加傾向にある表現の WD による検出画面 2,820 件のうち最も多くのデータに出現する名詞 が「人」であり，492 件(17.4\%)に含まれている．次 が「コロナ」の 407 件(14.4\%)で，「マスク」の 380 件 (13.5\%)が続く．コロナ禍データの大半が「コロナ」 という表現を含まないことから，コロナ禍に関する データをSNS 等から収集するためには, コロナ禍に 関する多様なトピックの表現をキーワードとして用 いる必要があると考えられる. 従って，この試みで 収集しているコロナ禍データはコロナ禍関連表現を 収集するために活用することもできる．例えば，「リ モート手土産」「帰省暮」「幸先詣」といったコロナ 禍で生まれてきた新しい表現が，「という言葉」とい う表現と共起しているのを見出すことができる.

日々この Slack チャンネルにアクセスしている中 で，著者らが特に実利性が高いと感じたのが物品の 販売に関する情報である．例えば，マスクに関して は，データ収集を開始した当初は，「買えずに困って いる」という投稿が多かったが，2020 年 5 月に入っ てから次第に「売っていた」「值下がりした」という 投稿が見られるようになり，この情報を見て，自宅周辺で適切な值段になるのを待つような動きも見ら れた. また,「スーパーでバターが買えなくて困って いる」という投稿に対し,「ドラッグストアでは買え
た」という投稿があり，困っていた投稿者も買える ようになったことが報告されている.

参加者の多くがテレワークを続け外出を控えてお り，自ら目にできる情報が限られている中，このチ ヤンネルの情報が個々人の視野を広げる効果を出し ていると感じられる.

## 3.3 筆者の性格特性の変化の分析

テキストデータから読み取れる情報は，記述され た内容だけではない. Big Five Model[6,7]などで数值化できるようになった筆者の性格特性がテキストに 表現されることが報告されている[8]. 性格特性は，基本的には個人の特徴として一貫性があることが期待されるが, その判断基準が「人生を楽しんでいる」 かどうかといった本人の感覚に依存していることか らも, 個人の状況に応じ, 多少なりとも変動する.

著者らは日本語テキストから筆者の性格特性を推定するシステム (IBM Watson Personality Insights：以下 PI と略記）を開発し[9], これを用いて，2016 年 に発生した熊本地震の被災者のツイートを分析した 際には, big5_conscientiousness（誠実性・几帳面さ） の facet_cautiousness（注意深さ）の值が被災中に一時的に高まる現象を，また，突然入院した患者のツ イートの分析ではbig5_agreeableness（協調性）の值 が入院中に一時的に高まる $[10]$ 現象を見出した。

今回収集したコロナ禍データでも同様の性格特性 の変化が見られないかを調査した．まずは，A 大学 のコロナ日記を対象として，2020 年 5 月 14 日から 6 月 2 日までの 20 日間 (新型コロナウイルスの PCR 検査新規陽性者数が減少傾向にある収束期), 6 月 3 日から 6 月 22 日までの 20 日間（新規陽性数が少な い安定期)，6月 23 日から 7 月 13 日(一部 19 日)ま での約 20 日間（新規陽性数が増加傾向にある再拡大期）に分け，日記を記述してくれた 11 名の学生の 各期間のテキストから PI で推定される性格特性の 変化を調査した. さらに，同期間に IBM の Slack チ ヤンネルへの投稿が多かった 9名のテキストから PI で推定される性格特性の変化も調査した. 双方のデ 一タにおいて変化量が比較的大きいのは, big5_conscientiousness $の$ facet_dutifulness (忠実性) であるという結果が得られた。その変化状況を図 5 と図 6 に示す.これらの図からは，自肃を守る生活 が続く一方で, そのリターンがないことで徐々に動機付けも下がり, 安定期になって一部の学生や社員 の忠実性が低下している様子が見て取れる. さらに

図 5: A 大学コロナ日記の筆者の dutifulness の変化

図 6: IBM の Slack の投稿者の dutifulness の変化

再拡大期に，忠実性の値が再び高まる（戻る）ケー スとさらに下がるケースに分かれる様子が見られる.

とりわけ学生においてそのばらつきが顕著であり， このことは, オンライン授業導入当初に大学から学生に対して行われていた遠隔でのサポートが，安定期に入って手薄になったことを反映している可能性 もある.こうした長期間にわたる非常事態において 学生のドロップアウトを防ぐためには，むしろ安定期のサポートが重要であることがうかがえる.

## 3.4 感染者数増減傾向推定の可能性

この試みを始めるにあたり，変化のきっかけの一部でも捉えられないものかと期待していた感染者数 の増減傾向は, コロナ禍が続く中で, 非常に多くの 要因に左右される難しい問題であることが分かって きた. Slack チャンネルに蓄積されたデータには，量的な少なさもあり，感染拡大や縮小傾向の特定のき っかけが示されていることは無さそうである。

それでも，今回収集しているデータに加え，日々報道される様々な情報や第一波・第二波を通して， ある仮説を考えるようになった．その仮説とは，危機感を訴える情報が減って安心感が広がると拡大傾向が始まり，拡大傾向に伴い危機感を訴える情報が 増えると自粛による行動変容が進み, 縮小傾向に転 ずるというものである.この仮説が第三波に当ては
まるなら，2020 年 12 月上旬には収束傾向に移行す るのではないかという希望的観測をしていた。しか し, 残念ながら 2021 年 1 月に入っても拡大傾向が 止まらない状況である。

IBM の Slack データから，その背景を示唆しうる 投稿を確認できた. 2020 年 11 月 20 日に『テレビを 見ていたら，「これ以上，何をすれば良いのでしょ う?」という質問が寄せられていました.』という投稿があり，そこに 12 名が「同感です」というリアク ションをしていた. このことから，多くの人が「こ れ以上何もできない」と考え, 行動変容が起こる余地が減っていた可能性が考えられる。

こういったデータや図 5，6 のようなデータが示唆しうるコロナ疲れの状況を把握することで，新規陽性者数の増減傾向の変化につながる行動変容の余地の大小を多少なりとも捉えられる可能性はありそ うだと考えられる。

## 4 おわりに

コロナ禍で自然言語処理の技術を活かそうという 多くの取り組み[11-15]が存在する中, 日常生活の状況を記録し役立てようとする試みを示した。社内外 の多くの協力者に依存する取り組みであり, データ 収集の難しさから，ビッグデータを集めることは出来ていないが，これまでに集まったデータの価値は 大きいと感じている.

コロナ禍において，ずっと巣ごもり状態にある人 がいれば，コロナ禍前と変わらぬ活動を続ける人も いて, 人々の行動や感受性が多様化している. 性格特性の変化にも大きな個人差が認められる。データ の継時的変化に顕著な特徴が現れない性格特性も多 く，それは，コロナ禍の持つストレス状況のあいま いさや，リスクの捉え方における個人差を反映して いるとも推察される.こういった多様性を理解し寛容性を高めることにつながるなら大きな意義があり， その可能性がこのデータには含まれていると考える.

## 謝辞

本取り組みに協力してくださった多くの方々に感謝いたします。

IBM Watson は International Business Machines Corporation の米国およびその他の国における商標.他の会社名, 製品名及びサービス名等はそれぞれ各社の商標または登録商標.

## 参考文献

1. Murakami, Akiko, and Tetsuya Nasukawa. "Tweeting about the tsunami? Mining twitter for information on the Tohoku earthquake and tsunami." In Proceedings of the 21 st International Conference on World Wide Web, pp. 709-710. 2012.

2. Murakami, Akiko, Tetsuya Nasukawa, Kenta

Watanabe, and M. Hatayama. "Understanding

requirements and issues in disaster area using geotemporal visualization of Twitter analysis." IBM Journal of Research and Development 64, no. 1/2 (2019): 10-1.

3. Zhu, Wei-Dong, Asako Iwai, Todd Leyba, Josemina Magdalen, Kristin McNeil, Tetsuya Nasukawa, Nitaben Nita Patel, and Kei Sugano. IBM content analytics version 2.2: Discovering actionable insight from your content. IBM Redbooks, 2011.

4. 那須川哲哉. テキストマイニングを使う技術/作 る技術-基礎技術と適用事例から導く本質と活用法，東京電機大学出版局. 2006.

5. 那須川哲哉, 吉田一星, 宅間大介, 鈴木祥子, 村岡雅康，小比田涼介. テキストマイニングの基礎技術と応用, 岩波書店. 2020 .

6. Goldberg, Lewis R. An alternative" description of personality": the big-five factor structure. Journal of personality and social psychology 59.6: 1216, 1990.

7. McCrae, R. R. and John, O.P. "An introduction to the five - factor model and its applications." Journal of Personality, 60(2), 175-215, 1992.

8. Mairesse, F., Walker, M.A., Mehl, M.R., and Moore, R.K., Using Linguistic Cues for the Automatic Recognition of Personality in Conversation and Text. In Journal of Artificial intelligence Research, 30: 457-500, 2007.

9. 那須川哲哉, 上條浩一. "日本語における筆者の性格推定の取組み" 言語処理学会第 23 回年次大会発表論文集, pp.807-810. 2017. 10. 那須川哲哉, 上條浩一, 榎美紀, 鈴木祥子, 山下紗苗，上泰，権藤恭之，北村英哉，尾崎由佳. "テキス トから推定される筆者の性格特性情報の活用の試み
と考察" 言語処理学会第 26 回年次大会発表論文集, pp.1439-1442. 2020.

11. 荒牧英治, 若宮翔子, 矢田竣太郎, "COVID-19 に 関する自然言語処理"，自然言語処理 2020 年 12 月， Journal of Natural Language Processing Volume 27

Number 4, pp.933-937, 2020.

12. 河原大輔, "オープンコラボレーションによる COVID-19 世界情報集約サイトの構築"，自然言語処理 2020 年 12 月, Journal of Natural Language Processing Volume 27 Number 4, pp.939-943, 2020. 13. Zhang, Edwin, Nikhil Gupta, Rodrigo Nogueira, Kyunghyun Cho, and Jimmy Lin. "Rapidly Deploying a Neural Search Engine for the COVID-19 Open Research Dataset." In Proceedings of the 1st Workshop on NLP for COVID-19 at ACL 2020. 2020.

14. Wolohan, J. T. "Estimating the effect of COVID-19 on mental health: Linguistic indicators of depression during a global pandemic." In Proceedings of the 1st Workshop on NLP for COVID-19 at ACL 2020. 2020. 15. Sun, Shuo, and Kevin Duh. "CLIRMatrix: A massively large collection of bilingual and multilingual datasets for Cross-Lingual Information Retrieval." In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 4160-4170. 2020.


# ウェブ検索クエリのための
部分一致文字列に対するエンティティ名称予測モデルの提案

豊田 樹生 小松 広弥 熊谷 賢 菅原 晃平
ヤフー株式会社
\{itoyota, hkomatsu, kenkumag, ksugawar\}@yahoo-corp.jp

## 1 はじめに

ウェブ検索クエリの多くには部分一致文字列が 含まれている。例えば，クエリ“かぐや様”はエン ティティ名称“かぐや様は告らせたい〜天才たちの 恋愛頭脳戦〜”に対する部分一致文字列である1). しかし，検索クエリとして発行された部分一致文字列が，ウェブページに対するクリック回数がわ ずかか，またはゼロのテイルクエリである場合は， フィードバックを取得することが困難になる。こう いったティルクエリに対してもエンティティリンキ ングを適切に行えるようにすることは検索性能の高 いシステムを作るうえでとても重要である.

そこで, 本研究では, エンティティリンキングの 構成要素のひとつとして, ウェブ検索クエリのため の部分一致文字列に対するエンティティ名称予測モ デルを提案し，次のような貢献を行う：

(i)ブロッキング [8] を用いた大規模分散処理のた めの効率的な訓練事例の自動生成方法を提案 する.

(ii)名称予測モデルのための新たな素性を提案 する.

(iii)フィードバックの取得できない事例に対する PU(Positive Unlabelled) 学習 [4] を用いたラベリ ング手法を提案する.

(iv)比較実験において, Random Forest[2] の予測値 とクリック頻度に基づくモデルの予測值を線形補間により組み合わせることで, nDCG@5 の観点で高い性能を達成したことを示す.

## 2 問題定義

クエリ $q$ 中の主要語 $s_{s}$, 周辺語 $s_{c}$ が与えられ たときにエンティティの名称の候補のランキング
 2020 年 12 月現在の検索意図を考慮している $\left.\langle s_{1}, \ldots, s_{n}\right.\rangle$ を算出する.

各々の $s_{k}($ for $k=1 \ldots n)$ は次のようにスコアリング される:

$\operatorname{score}\left(s_{k}\right)=\max \left.\{\psi\left(s_{k}, s_{s}, s_{c}, e\right) \mid e \in E, s_{k} \in S_{e}\right.\}$

ここで， $\psi$ はスコアリング関数， $E$ は知識ベース 内でのエンティティの集合, $S_{e}$ はエンティティ $e$ から展開できるエンティティ名称の候補の集合で ある.

## 3 提案手法

本研究は，ブロッキングを用いた訓練事例の生成 (3.1), PU 学習 (3.2)の二つから構成されている.

## 3.1 訓練事例の生成

正例の取得 次の条件をすべて満たした場合，ク エリ $q$ とエンティティ名称 $s$ は部分一致していると 判定し, クエリ $q$ 中の主要語 $s_{s}$, 周辺語 $s_{c}$, およ び，エンティティ名称 $s$ の組を正例とする:

(i)主要語 $s_{s}$ とエンティティ名称 $s$ が pkduck[13] の判定式 $\left|s_{s}\right|-\left|L C S\left(s_{s}, s\right)\right| \leq \delta$ を満たす $(\delta=0)$. あるいは事前に辞書登録されている。

(ii) $q$ 中の周辺語 $s_{c}$ がエンティティ $e$ の許可リスト に登録されている2)

(iii)エンティティ名称 $s$ と対応するウェブページに 対してクエリ $q$ でクリックがある.

ラベル未付与の事例の取得 正例と判定された事例から q-gram[5] を基にした手法によりブロッキン グのためのキーを抽出する．手順は次のとおりであ る: 1) エンティティ名称 $s$ を通常の q-gram と同様 に文字 n-gram に分割する。例えば $\mathrm{n}=2$ のとき “伊藤健太郎” は “伊藤”, “藤健”, “健太”, “太郎” の 4 つの キー (主キー)に分割される。2) クエリ $q$ 中の周辺語 $\left.s_{c}(\text { サブキー })^{3}\right)$ と主要語から抽出されたキーを結合

2）この許可リストはエンティティ $e$ と対応する概要文に周辺語 $s_{c}$ を照合するなどの操作により自動的に生成される.

3）周辺語が欠損している場合は周辺語モデルを参照し確率最

する．例えば $\mathrm{n}=2, s_{c}$ =“声優” のとき，“伊藤_声優”, “藤健_声優”, “健太_声優”, “太郎_声優” という 4 つの キーが生成される。3) 結合後のキーの生起頻度を計測し，一定頻度を超えるキーは除外する。

ラベル未付与の事例に対しても同様の方法でブ ロッキングのためのキーを抽出する.ここで，ラベ ル未付与の事例は, 周辺語モデルおよび名前エン ティティモデル [17] のエンティティ ID 同士を結合 したレコードから生成される.このレコードのエン ティティ名称および周辺語からそれぞれ主キー, サ ブキーを生成する．全ての事例を対象として，同一 のキーを持つもの同士でブロックを構成する. ブ ロックの要素がラベル未付与事例のみで構成されて いる場合はそのブロックを除外する. ラベル未付与 の事例に対する主要語 $s_{s}$ を同ブロック内の正例の 主要語を複製することで生成する. ${ }^{4)}$ 最後に残った 事例を学習に用いる。

素性の抽出 正例およびラベル未付与の事例そ れぞれに対し，クエリ素性 $(\mathrm{Q})$ ，エンティティ素性 $(\mathrm{E}) ，$ クエリエンティティ素性 $(\mathrm{QE})$ の 3 種類の素性 の抽出を行った。素性の一覧を表 1 に示す.

Randomized SVD 本研究では素性のうちの一部 を Randomized SVD[3, 7] により次元圧縮したうえで Random Forest への入力とする:

$
\begin{aligned}
X & =U \Sigma V^{*} \\
X V & =U \Sigma
\end{aligned}
$

ここで $X$ は各行が素性のベクトルである行列, $U, V$ は回転行列， $\Sigma$ は特異値の対角行列である． $X$ に対して次元圧縮の回転行列 $V$ を適用することは $V \Sigma$ を求めることと等価であるため, これを求める ことで次元圧縮を行う.

## 3.2 PU 学習

本研究では次のように PU 学習における Double Weighting[4] を適用する:

1) 正例およびラベル未付与の事例を訓練用とテス ト用の 2 つに分割する．2) 訓練用の正例およびラべ ル未付与の事例を入力とし, ラベルが付与されてい るか否かの予測器 $\mathrm{A}$ を生成する. 3) テスト用の正例 に対して予測器 $\mathrm{A}$ を適用し, ラベル付与確率 $g(x)$ の 平均 $c$ を求める. 4) テスト用のラベル未付与の事例 に対して予測器 $\mathrm{A}$ を適用し $w(x)=p(y=1 \mid x, s=0)$

の重みによりラベリングを行う。ここで $w(x)$ は定数 $c$ への依存を持つ. 5) テスト用事例と訓練用事例 を入れ替え，2 4 のステップを行う．6) 全ての事例 にラベルが付与されたことを利用し, エンティティ 名称の生成確率の予測器 B を生成する.

## 4 評価

## 4.1 比較手法

DMククエリ補完モデル $[17]^{5}$ ，クリックログを用いて 所与のクエリに対するエンティティ名称候補の生起確率をディリクレ-多項分布により表現したモデル.遷移先と遷移元のクエリが同一になりやすいか否か によりパラメータベクトルを設定．候補には遷移元 のクエリの複製も含まれる。

CLKDM からクエリの複製操作を取り除き，多項分布化した (パラメータベクトルのすべての要素をゼ ロにした) モデル

RF Random Forest[2]. Spark MLlib 2.4.5を使用. SVD による次元圧縮には Criteo Spark-RSVD ${ }^{6}$ を使用.

COMB(RF+CLK) RF と CLK の予測值の線形補間モデ ル: $\psi_{\text {score }}=\beta * \psi_{C L K}+(1-\beta) * \psi_{R F}$

COMB(RF+DM) RF とDM の予測值の線形補間モデ ル: $\psi_{\text {score }}=\beta * \psi_{D M}+(1-\beta) * \psi_{R F}$

## 4.2 データセット

クリックログ 2019 年 12 月 14 日から 2020 年 12 月 14 日の 1 年間にヤフー検索に対して発行されたクエ リ，および，そのとび先 URL のログ.

タクソノミーおよび知識ベース 2020 年 12 月 15 日付 けの内製の統合的知識ベース [15].

訓練事例 3.1 に示した手順により訓練事例の作成 を行った。正例 8,600,161 件，ラベル未付与事例 4,773,930 件が生成された。

## 4.3 評価用事例の作成

次の手順により評価用事例を作成した: 1) RF と CLK の予測結果間で順位一位のエンティティ名称 が異なるようなクエリを抽出する7)2) 周辺語の付与 されたクエリのうち人物, 建造物, 漫画, 映画カテ ゴリに属するクエリをそれぞれ 25 例ランダムサン
$ に要素を加える条件は pkduck の判定式を満たすか否かに変更した

6) https://github.com/criteo/Spark-RSVD

7）一位の異なるクエリは 551,039 例, 同一のクエリは $7,084,003$例
}

プリングして抽出する 3) 周辺語の付与されていな いクエリのうち空白文字を含むクエリ，含まないク エリをそれぞれ 25 例ランダムサンプリングして抽出する 4) 計 150 クエリをヤフー検索に対して発行 する ${ }^{8)}$. 返却されたウェブページのそれぞれに対し て, 対応するエンティティ名称を記録する9). 5) ク エリ-エンティティ名称に対して，3 スケールで評価值を付与する: 所与のエンティティ名称が検索結果 の 1 位 ${ }^{10)}$ ，もしくは上位 10 件の $50 \%$ 以上を占めて いる場合は 2 , それ以外で検索結果に含まれる場合 は 1 ，検索結果に含まれない場合は 0 とする.

## 4.4 nDCG@5 の比較

4.3 で作成された評価用事例を用いて $\mathrm{nDCG} @ 5$ の計測を行った. 図 1 に線形補間の係数 $\beta$ を $[0,1]$ の範囲で変えたときの値の変化を示 す. $\beta$ の值が $[0,0.25)$ の範囲では CLK が提案手法の $\mathrm{COMB}(\mathrm{RF}+\mathrm{CLK})$ を上回る 0.568 を示し た. $\beta$ の値が $[0.25,1.0]$ の範囲では提案手法の COMB(RF+CLK) が CLKを上回る 0.593 を示し $た^{11)}$. 表 2 に $\operatorname{COMB}(\mathrm{RF}+\mathrm{CLK})$ がnDCG@5 の改善 に貢献した実例を示す。一方, DM は比較手法間で 最も低い性能となった。DM は遷移元のクエリを複製し, エンティティ名称の候補に加えるという操作 が含まれている. そのため, 1 位のエンティティ名称が正答と一致しにくくなり, nDCG のように順位 の影響を受けやすい評価指標において不利に働いた のではないかと考えられる.

## 4.5 素性の分析

図 2 に Random Forest の出力したジニ不純度に基 づく素性の重要度の上位 20 件を示す.

全体で最も効果が高かったのは MinMaxClickFreqで, 次点は MinMaxContProbで あった。一方, 最小最大スケーリングを行わなかっ た ClickFreq および ContProb は上位 20 件内では あるものの効果は大幅に劣るという結果になった.絶対值ではなくエンティティ名称候補間での相対值 が重要であるということがわかった。

全体で三番目に効果が高かったのは GrubbsSmirnovであった。訓練事例の中に, あ るクエリに対する候補エンティティ名称間での

ClickFreqのの分布を考えた時に，外扎値を含むよ うな分布が多く含まれていたということが考えら れる。

Randomized SVD により次元圧縮を行った ClassVec, SfreqVec, ContLocVec の 3 つのベク トルに関しては, この 3 つの中では相対的に ContLocVec の効果が最も高かった. ContLocVec の分散表現は, エンティティのクラスや周辺語を ClassVec およびSfreqVec よりも細かな粒度で表現 しているため, これら 2 素性の役割を包含している のではないかということが考えられる.

またContLocVec 自身よりもそこから派生し た ContLocVecCosMean, ContLocVecCosVar の方 が効果が高かった。ベクトル間の関係性を要約統計量で表現することで，より効果が高まったのではな いかと考えられる。

図 1: nDCG@5 の比較. RF, CLK, DM は $\beta$ とは非依存で ある

図 2: Random Forest の出力した素性の重要度. ContLocVec に対する添え字はベクトルの要素の番号

## 5 おわりに

本研究ではエンティティ名称の予測モデルの提案 を行った。今後の課題としては，より大規模な評価 を行うということやタイプクエリ判定 [10] や人物の 本業判定 [12] などの関連分野の技術をうまく組み合 わせるということがあげられる.

## 参考文献

[1]Roi Blanco, Giuseppe Ottaviano, and Edgar Meij. Fast and space-efficient entity linking for queries. In Proceedings of the Eighth ACM International Conference on Web Search and Data Mining, pp. 179-188. ACM, 2015.

[2]Leo Breiman. Random forests. Machine learning, Vol. 45, No. 1, pp. 5-32, 2001.

[3]Paul G Constantine and David F Gleich. Tall and skinny qr factorizations in mapreduce architectures. In Proceedings of the second international workshop on MapReduce and its applications, pp. 43-50, 2011.

[4]Charles Elkan and Keith Noto. Learning classifiers from only positive and unlabeled data. In Proceedings of the 14th ACM SIGKDD international conference on Knowledge discovery and data mining, pp. 213-220, 2008.

[5]Luis Gravano, Panagiotis G Ipeirotis, Hosagrahar Visvesvaraya Jagadish, Nick Koudas, Shanmugauelayut Muthukrishnan, Divesh Srivastava, et al. Approximate string joins in a database (almost) for free. In $V L D B$, Vol. 1, pp. 491-500, 2001.

[6]Frank E Grubbs. Procedures for detecting outlying observations in samples. Technometrics, Vol. 11, No. 1, pp. 1-21, 1969.

[7]Nathan Halko, Per-Gunnar Martinsson, and Joel A Tropp. Finding structure with randomness: Probabilistic algorithms for constructing approximate matrix decompositions. SIAM review, Vol. 53, No. 2, pp. 217-288, 2011.

[8]George Papadakis, Dimitrios Skoutas, Emmanouil Thanos, and Themis Palpanas. Blocking and filtering techniques for entity resolution: A survey. ACM Computing Surveys (CSUR), Vol. 53, No. 2, pp. 1-42, 2020.

[9]Marius Paşca, Benjamin Van Durme, and Nikesh Garera. The role of documents vs. queries in extracting class attributes from text. In Proceedings of the sixteenth ACM conference on Conference on information and knowledge management, pp. 485-494. ACM, 2007.

[10]Ellie Pavlick and Marius Pasca. Identifying 1950s american jazz musicians: Fine-grained isa extraction via modifier composition. In Proceedings of the 55th
Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2099-2109, 2017.

[11]John W Pratt. Remarks on zeros and ties in the wilcoxon signed rank procedures. Journal of the American Statistical Association, Vol. 54, No. 287, pp. 655$667,1959$.

[12]Mahsa S Shahshahani, Faegheh Hasibi, Hamed Zamani, and Azadeh Shakery. Towards a unified supervised approach for ranking triples of type-like relations. In European Conference on Information Retrieval, pp. 707-714. Springer, 2018.

[13]Wenbo Tao, Dong Deng, and Michael Stonebraker. Approximate string joins with abbreviations. Proceedings of the VLDB Endowment, Vol. 11, No. 1, 2017.

[14]Frank Wilcoxon and Roberta A Wilcox. Some rapid approximate statistical procedures. Lederle Laboratories, 1964.

[15]Tomoya Yamazaki, Kentaro Nishi, Takuya Makabe, Mei Sasaki, Chihiro Nishimoto, Hiroki Iwasawa, Masaki Noguchi, and Yukihiro Tagami. A scalable and plug-in based system to construct a production-level knowledge base. In Proceedings of the 1st International Workshop on Challenges and Experiences from Data Integration to Knowledge Graphs co-located with the 25th ACM SIGKDD International Conference on Knowledge Discovery \&Data Mining, 2019.

[16]豊田樹生, 土沢誉太, 築地毅, 菅原晃平, 野口正樹. dishpam: A distributable seeded hierarchical pachinko allocation model. 言語処理学会第 26 回年次大会発表論文集, pp. P2-19, 2020.

[17]豊田樹生, 夜久真也, 石川葉子, 土沢誉太, Kulkarni Kaustubh, Bhattacharjee Anupam, 宰川潤二. ウェブ 検索クエリに対する周辺語を考慮した教師なし エンティティリンキング. 言語処理学会第 25 回年次大会発表論文集, pp. 81-84, 2019.
表 1: 素性の一覧. クエリ素性 (Q)，エンティティ素性 (E)，クエリエンティティ素性 (QE)

 & Q \\

表 2: 実際の出力例. スコア順にエンティティ名称を列挙した. 評価点 2 の事例は太字にした. 正答と一致す るエンティティ名称には下線を引いた。

 & 南アフリカ国立動物園 & 南アフリカ国立動物園,アフリカンサファリ \\


# SignWriting 表記の手話単語検索のための単語のベクトル表現

松本 忠博
岐阜大学 工学部
tad@gifu-u.ac.jp
}

東香織
岐阜大学工学部
加藤 三保子
豊橋技術科学大学 総合教育院

## 1 はじめに

手話には標準的な文字表現がないことから，主に 手話の言語学的，工学的研究を目的として表記法 がいくつか提案されてきた. Sutton の SignWriting[1] （以下，SWと略す）は主要な表記法の中で唯一日常生活の中で手話を読み書きする書記体系として 提案され，かつ，その文字が Unicode 文字集合にも 含まれている ${ }^{1)}$.これまでに複数の国で，万う児教育の場などでの利用が試みられてきた．SWを使っ た手話文書エディタも複数作られており，我々も JSPad[2] と呼ぶシステムを開発し，公開している.

手話単語の構成要素 (音素) は, 手の形, 手の位置，手の動き，および，顔の表情などの非手指要素 と言われている. SWではそれらを表す図的な記号 を 2 次元的に配置して単語を表記する（図 1)。この 図的な表現は人にとって直観的に分かりやすい反面，自由度が高く，書き手による表記の摇れが大き い。そのため，機械的な単語の同定が単純には行え ず，文書処理の基本操作である単語の検索も簡単で はない。そこでJSPad では，単語を構成する記号間 の類似度の定義と，それをもとにした単語間類似度 の算出アルゴリズムを考案し，SWを入力形式とす る手話一日本語辞書機能を JSPad に実装した [3]. さ らにその改良として，とくに表記の摇れが大きい手 の動きの表記について，動きの特徴量を要素とする 動作特徴ベクトルを定義して, 単語識別精度の向上 を図った [4].

本研究では $\mathrm{SW}$ 表記の手話単語を辞書検索するこ とを主な目的として，動作だけでなく，手の形や位置などの要素についてもべクトル化する方法を検

1) Sutton SignWriting (Unicode block): https://unicode.org/ charts/PDF/U1D800.pdf

図 1 SignWriting による単語の表記例

討している．単語の辞書検索を，手書き文字認識の ように多クラス分類問題として解くには，書き取り データのサンプル数が少ないこと，そして，辞書に 単語が追加された際の対応や，他の国・地域の手話単語辞書への適用がしやすいことなどから，ここで は単語間の類似度を用いて，検索対象の単語との類似度が高い辞書内の単語をユーザに提示する方式を とる。

## 2 SW による手話表記と表記摇れ

SWでは図 2 に示すような図的な記号 (International SignWriting Alphabet, $\mathrm{ISWA}^{2)}$ ) 2 次元的に配置し て手話単語を記述する. 国際発音記号のように様々 な国の手話に対応できるよう，ISWA2010では7つ のカテゴリ (手形，動作，強弱，頭・顔，体など), 30 のグループ，652 種類の基本記号（base symbol） が用意されている。さらに，手形記号と動作記号に は 2 つの修飾要素 fill（手形記号では手のひらの向 きを表す 6 種類）と rotation（手形記号では指先の 向きと左右の手の違いを表す 16 種類）を指定する ことができるため，1 つの基本記号に対して最大で $6 \times 16=96$ 通りの記号が存在することになる。

音声言語では音素（子音・母音）は逐次的に表出 され，文字も 1 次元的に並べられる．手話言語の音素（手の形，向き，位置，動き，顔の表情など）は

2) ISWA 2010: https://movementwriting.org/symbolbank/ index.html\#ISWA2010

図 2 SignWriting で使用される文字 ISWA

3 次元空間上で同時的に表出され，SWではこれを 2 次元平面上に射影した形で表す. その際，類似し た記号のうち（単語の弁別に影響しない範囲で）ど れを選択するか (例：0と几)，指先や手のひらの 向き（角度）がどの記号とも一致しない場合にどの 角度で近似的に表すか，省略可能な記号があるとき にその記号を省略するかしないか，視点をどう選ぶ か（例：話者視点しと，上からの視点4日）など， SW では書き手が恣意的に選択できる要素が多い.同じ動きを表す複数の方法が存在する場合もある （例えば，右手を 2 度上に動かす動作は，記号 丹爪で 表すことも，記号介を 2 つ並べて表すこともでき る).また，内部表現では，記号の位置はピクセル 単位で指定できるため，ひとりの書き手が同じ単語 を書いても，一般に記号の配置はまったく同じには ならない. さらに，実際の手話にも話者によって手 の形や動きが微妙に異なる表現の摇れがあり，それ が表記摇れにつながることもある。これらの要因に より，SW による手話の表記には大きな摇れが生ず るため，文書内の単語の検索のような基本的な操作 も音声言語の文字と同じようにはできない.

## 3 SW 形式の手話単語の検索

## 3.1 関連研究

SW で書かれた手話単語の検索手法として，Costa ら [5] は，2つの単語の照合時に記号の位置のずれ を許容する単語類似関係（sign similarity relation）を 定義し，それを用いた照合手続きを提案している. また，Aerts ら [6] は，検索対象となる単語の手の形 と，その手が接触する体のゾーン，及び，接触の仕方をユーザに指定させることで，単語を検索する方法を提案している。いずれも記号の類似性について
は考慮しておらず，記号の違いは許容されない。

SW の Web サイト3)では，SW によるオンライン 手話辞書 SignPuddle や，SW を使って手話文書を作成するソフトウェアなどがいくつか公開されてい る.これらのソフトウェアにも辞書内の単語を検索 する機能が用意されているが，手話からその訳（英語等）を検索する方法は，単語を構成している記号 を指定するものであり，記号間の類似性や記号の位置情報は考慮していない。

## 3.2 JSPad における従来手法

JSPad では，単語を構成する記号や配置が完全に 一致しなくても，ユーザが記述した単語と類似した 単語を辞書内から見つけ出し，候補をユーザに提示 する機能を実装してきた. ここでは単語間の類似度 を求めるための 2 種類の従来手法の概略を述べる.

## 手法 1

まず，比較対象となる 2 つの単語を構成する記号間の対応関係を推定する．そのために，すべての記号の対応関係のうち，対応する記号間の類似度の平均が最も大きくなるものを探索し，その記号間類似度の平均值を単語間の類似度とする。計算量を抑え るため，類似度 0 の記号の組み合わせが見つかった 場合は，その対応関係は候補から除外する。また，記号数の差が一定以上の場合は，単語間の類似度を 0 とする.

記号間の類似度は，記号が表す手などの形と，単語内での記号の相対位置をもとに算出する. ISWA の各記号は，SSS（sign symbol sequence）と呼ばれる 6 つの值の組によって識別される. これは，各記号 のカテゴリ，グループ，基本記号番号，バリエー ション, 塗り（fill）, 回転 (rotation) を表すもので,例えば，手形記号 は 01-09-016-01-03-01，動作記号 $\Uparrow$ は2-03-001-02-01-01 と表される. 形の類似性 は，このSSSをもとに算出する。また，同じグルー プに属す記号でも，記号が表す手の形が類似したも のとそうでないものが混在する（図 2）ため, 独自に サブグループを設けて類似度の調整に用いている。

位置情報については，対応する記号の単語内の相対位置間のユークリッド距離により類似度を減じる ことで，類似度に反映させる。

## 手法 2

手法 1 の評価実験の結果，ISWA 記号のうち，と くに手の動きを表す記号の表記摇れが大きいことが 分かった. そこで手の動きについては，単語に含ま れる動作の成分（右手の垂直運動, 左手の円運動,反復の有無，接触の有無など）を特徴量とする 39 次元の動作特徵ベクトルで表す. そして，2つの単語の動作特徴ベクトルのコサイン類似度と, 手法 1 による動作以外の要素から得られる単語間類似度の 加重平均を単語間の類似度とした [4].

## 4 手話単語のベクトル化

本研究では手の動き以外の，手形，頭・顔，体 （肩，腕，腰など）の記号についてもべクトル表現を 定め，それらをもとに単語べクトルを生成する. ベ クトル化することで，記号の対応関係を推定するた めの探索を行う必要がなくなる.

## 4.1 記号とその位置のベクトル化

比較対象となる 2 つの単語を構成する記号間の類似度は，記号そのものの類似度と単語内での記号の 相対的な位置によって決まる. まず，記号の類似性 により記号のベクトル表現を取得し，位置情報をそ のベクトルにエンコードする.

## 記号のベクトル化

手法 1 で取得した記号間類似度の算出結果を訓練 データとして用いて，記号が表す手の形などの類似性に基づく記号べクトルを取得する. 学習のための ニューラルネットワークのモデルを図 3 に示す. 入力は比較対象となる 2 つ記号の ID であり, 図中 の 2 つの埋め込み層の重みは共有されている. 2 つ の埋め込み層の出力ベクトルのコサイン類似度が,手法 1 で得られた結果に近づくように学習を行う.学習の結果得られた埋め込み層の重みを記号べクト ルとする.

すべての記号の組み合わせを学習対象にすると訓練データのサイズが大きくなり, 訓練時間も長くな るため，学習はカテゴリごとに行った. カテゴリご との記号数（種類）と埋め込みベクトルの次元数を 表 1 に示す.

記号ベクトルのサイズはカテゴリによらず 185 次元の固定長とする．埋め込みベクトルデータを格納 する位置をカテゴリごとに設定し，空き領域には 0 を埋める．カテゴリの異なる記号間のコサイン類似

図 3 記号間類似度の学習モデル。

度は 0 になる。

## 位置情報のエンコード

手法 1 では，同一の記号でも単語内での相対位置 の違いにより類似度が変化する。これをべクトルで 表現するために，記号の位置情報をべクトルにエン コードする．単語内での相対位置をもとに正規分布 の平均 $\mu$ を設定し，カテゴリごとの重みをかけて記号べクトルに加える．位置情報には $x$ 成分と $y$ 成分 があるため，例えば手形記号（100 次元）では， $x$ 成分を表す正規分布を先頭の 50 次元に，y成分を表す 正規分布を残りの 50 次元に加える.

## 4.2 単語のベクトル化

単語に含まれる記号のベクトルをカテゴリごと に重みをつけて統合し, 固定長の単語ベクトルを取得する. 動作記号（と強弱記号）に対するべクトル については，手法 2 の動作特徴ベクトルを流用す る. 統合の仕方としては，記号べクトルの和をと る (sum pooling)，あるいは，各要素の最大值をとる (max pooling), 平均をとる（average pooling）などが 考えられる．次節の実験では，単語に含まれる記号 のベクトルの，カテゴリごとの平均を単語ベクトル とした. したがって，単語べクトルのサイズは，記号ベクトルと同じ 185 次元である.

## 5 評価実験

単語ベクトルによる単語間類似度評価のために辞書検索実験を行った。

これまでに, 累計 33 名の被験者に日本手話の単語のイラスト 20 語，動画 10 語（の一部）を見て SW

で書き取ってもらい，計 30 種類 406 語の表記デー タを収集している．明かな表記上の誤りには修正を 加え，修正が困難なものは除外した．表記サンプル のそれぞれを辞書検索し，辞書中の目的の単語（正解）が類似度順で何位になるか調べた。「1 位」，「5 位以内」，「10 位以内」を正解とした場合の正解率の マイクロ平均と，406 語の検索にかかった時間を表 2 に示す.

表中のベクトル欄「なし」は動作特徴ベクトルも 単語ベクトルも用いない従来の手法 (手法 1)，「動作」は動作記号のみべクトル化する手法（手法 2) である.

「記号」は手法 2 において，記号の形状に基づく 類似度算出部分に記号ベクトルを使用した方法であ り，記号の位置情報はベクトルにエンコードしてい ない.

「単語 1」は記号べクトルに位置情報をエンコード して，(動作を除く）単語ベクトルを生成し，その単語ベクトルによる類似度と, 動作特徵べクトルによ る類似度の加重平均（9:1）を単語類似度としたもの である.

「単語 2」は動作特長ベクトルを単語ベクトルに組 み入れて 1 つのべクトルにして類似度を求めたもの である.

ベクトル間の類似度にはコサイン類似度を使用し た. 辞書の登録語数は 2048 である.

実験の結果，今回の単語ベクトル表現では，実行時間を短縮することはできたものの，正解率はいず れの場合も下がる結果となった。実行時間が短く なった理由としては, 記号の対応関係の探索が不要 になったことと, 辞書単語のべクトルを予め求めて 辞書に格納しておけるようになったことがあげら れる。

なお，記号べクトルを用いない従来手法におい て，記号間類似度や単語間類似度を定める際，どの ような表記摇れがあるかを調査するためにこれら の表記サンプルを参照しているため，この実験はク ローズドテストとも言える.

## 6 おわりに

SW で表記された単語を辞書や文書中から検索す ることを目的として現在検討している手話単語の ベクトル表現について述べた. 手の動きの要素につ いては動作特徴量をもとにべクトル化し, 手の形や 頭・顔，体（肩，腕，腰）などを表す記号について表 2 日本手話単語による評価実験の結果

} \\

は，従来手法で得られた記号間類似度をもとに埋め 込みベクトルを取得した。記号の位置情報は，正規分布を用いて記号べクトルにエンコードしている.実験の結果，検索にかかる時間は短くなったが，今回の単語のベクトル化方法では正解率は低下した。

サンプルごとの結果の詳細な分析とそれに基づく 手法の改善は今後の課題である. オープンテストと なる別のデータセットによる評価実験についても今後行う予定である.

## 謝辞

本研究は JSPS 科研費 JP18K11430 の助成を受けた ものです.

## 参考文献

[1] Valerie Sutton. Textbook and Workbook, 3rd ed. The deaf action comittee for SignWriting, 2002. https://www. signwriting.org/lessons/books/.

[2] Tadahiro Matsumoto, Mihoko Kato, and Takashi Ikeda. JSPad-a sign language writing tool using SignWriting. In Proceedings of the 3rd International Universal Communicatin Symposium (IUCS2009), pp. 363-367, 2009.

[3] 高瀬友宏, 松本忠博, 加藤三保子. SignWriting を利用 した手話文書エディタ JSPad における手話-日本語辞書について. 言語処理学会第 18 回年次大会発表論文集, pp. 1220-1223, 2012.

[4] 岡田紳太郎, 松本忠博, 加藤三保子. 動作特徴ベクトル の導入による SignWriting 表記の手話単語の類似度定義の改良と評価. 言語処理学会第 25 回年次大会発表論文集, pp. 1141-1144, 2019.

[5] Antônio Carlos da Rocha Costa, Graçaliz Pereira Dimuro, and Juliano Baldez de Freitas. A sign matching technique to support searches in sign language texts. In Workshop on the Representaion and Processing of Sign Languages, LREC2004, Lisbon, pp. 32-36, 2004.

[6] Steven Aerts, Bart Braem, Katrien Van Mulders, and Kristof De Weerdt. Searhing SignWriting signs. In Workshop on the Representation and Processing of Sign Languages, LREC 2004, Lisbon, pp. 79-81, 2004.


# BERT を用いた文書分類タスクへの Mix-Up 手法の適用

菊田尚樹
茨城大学工学部
情報工学科
17t4028n@vc.ibaraki.ac.jp
}

新納浩幸
茨城大学大学院理工学研究科
情報科学領域
hiroyuki.shinnou.0828@vc.ibaraki.ac.jp

## 1 はじめに

自然言語処理のタスクを機械学習のアプローチ で解決しょうとした場合，訓練データの構築コスト が高いことが問題になる。このため従来より様々な 試みがなされている。その中で近年のトピックの一 つとしてデータ拡張 (Data Augmentation)[1] がある. データ拡張手法は大きく加工と生成の 2 種類に分 けられる. 例えば画像の識別であれば，訓練データ 内の画像を反転させたり, 切り取ったりした画像で あってもその画像のラベルに変化はないので，その ようにして加工した画像を訓練データに追加する ことで訓練データを増やすことができる．あるいは GAN などを利用して人工的なデータを生成する手法もデータ拡張の一種といえる. データ拡張の生成手法の一つである Mix-Up 手法 [2] は，簡単に実装で き効果も高いことが知られている. Mix-Up 手法は 画像識別を対象にした手法であるが，自然言語処理 にも応用が可能である [3].

本論文では BERT [4]を用いた文書分類タスクに Mix-Up 手法を試みる. 具体的には BERT は 2 文の 入力が可能であるため，ラベルの異なる 2 文書を組 み合わせて入力し, マルチクラスの出力を教師デー タとする. livedoorニュースコーパスを用いた実験 で提案手法の有効性を示した。

## 2 関連項目

## 2.1 BERT

BERT (Bidirectional Encoder Representations from Transformers の略) は 2018 年に Google が作成し て以降利用が注目されている高性能な事前学習済み モデル [4] であり, 分類, 単語予測, 文脈判断など に活用ができる. 本研究では Mix-Up 手法を利用す ることで，BERTを用いた文書分類タスクの精度向上を試みる。

## 2.2 Mix-Up 手法

Mix-Up とは, 2017 年に Hongyi Zhang により発表 された画像分野でのデータ拡張手法である [2]. 画像データに関しては式 1 , ラベルに関しては式 2 に よってデータ拡張を行う。

$
\begin{aligned}
& x=\lambda x_{i}+(1-\lambda) x_{j} \\
& y=\lambda y_{i}+(1-\lambda) y_{j}
\end{aligned}
$

$\mathrm{x}$ は画像データのベクトル $\mathrm{y}$ はラベルの one-hot ベクトルである。 $\lambda$ は混合の割合を表わしている.

## 2.3 nlp に Mix-Up 手法を用いた先行研究

2019 年，Hongyu Guoにより，Mix-Up 手法を nlp に用いた研究が行われた [3]. Mix の方法は前節の 画像分野での方法と同じく, 式 1 と式 2 によって 行っている. nlp の場合は, xが単語の埋め込み表現 または文の埋め込み表現である。

(例) 6:4 の割合で Mix-Upする場合

## 文書 $\mathbf{1$ のベクトル}

$[0.2,-0.3,0.5, \cdots]$

## 文書 $\mathbf{2$ のベクトル}

$[0.4,0.1,-0.5, \cdots]$

## 新たな文書のベクトル

$[0.2,-0.3,0.5, \cdots] \times 0.6+[0.4,0.1,-0.5, \cdots] \times 0.4$ $=[0.28,0.22,0.1, \cdots]$

## 3 提案手法

先行研究での Mix-Up 手法を BERT での文書分類 にも採用するとなると問題が生じてしまう. 先行研究の手法では, NN の学習以前に文書の特徴べクト ルを作っておく必要があるが，BERTを利用した文書分類では NN の学習プロセスで文書の特徵ベクト ルを得るため, 先行研究とは順序が異なる. 仮に先行研究の手法を採用するとなると, BERTによる特
徵ベクトルの計算部分は学習の外でやることにな り，分類精度が期待できない。 (図 1 参照)

図 1 先行研究手法を BERT で採用する場合の学習範囲

$
\text { そこで，本論文では以下の手法を提案する. }
$

## 3.1 データの Mix 方法

2 つの文書において，BERT に入力する際の ID 列同士を連結するという手法である。id"2"は文の先頭を表し，後続の ID 列には不要なので除いた.こ の手法であれば文書の特徴べクトルを得る BERT 部分の学習が可能である. (図 2 参照) また, BERT の 入力最大列長は 512 のため，それを超えないように 前半と後半の ID 列長はそれぞれ 252 までの制限を かけた。

(例)

## 1 つ目の ID 列

[2, 6259, 9, 12396, 14, 3596, 3]

## 2 つ目の ID 列

[2, 11475, 9, 3741, 5, 12098, 75, ]

## Mix-up 後の新たな ID 列

$[2,6259,9,12396,14,3596,3,11475,9,3741,5$, $12098,75,3]$

図 2 本研究手法での学習範囲

## 3.2 ラベルの Mix 方法

各ラベルをまず 0 と 1 からなる one-hot ベクトル で表現した. Mix させる場合は 0.5 が 2 箇所で残 りが 0 のベクトルを作成した. Mix 後のラベルが 0.5 同士なのは 2 つの文書が等価値に混ざっている ことを表している.

(例)

## ラベル 3

$[0,0,0,1,0,0,0,0,0]$

## ラベル 6

$[0,0,0,0,0,0,1,0,0]$

## ラベル $\mathbf{3$ と $\mathbf{6}$ の Mix}

$[0,0,0,0.5,0,0,0.5,0,0]$

## 4 実験

## 4.1 概要

Mix-Up 手法を用いることで訓練データ数を増加 させた状態での BERTによる文書分類と，BERTを 使った通常の文書分類の精度を比較し, 本研究手法 の効果を調べた。

## 4.2 条件

## 4.2.1 実行環境

実験は Google Colaboratory の GPU 環境を利用し て行った.

## 4.2.2 使用した BERT モデル

BERT は，東北大学 乾・鈴木研究室が作成した日本語版 BERT の事前学習モデル1）のうちの一つであ る,「bert-base-japanese-whole-word-masking 」を使用し た.

## 4.2.3 使用したコーパス

livedoor ニュースコーパス2)を使用し，以下の 9 ジャンルに対しての文書分類を行った.

・ラベル $0:$ 独女通信

・ラベル $1:$ IT ライフハック

・ラベル 2 : 家電チャンネル

・ラベル 3 : livedoor HOMME

・ラベル 4 : MOVIE ENTER

・ラベル 5 : Peachy

・ラベル 6: エスマックス

・ラベル 7 : Sports Watch

・ラベル $8:$ トピックニュース

## 4.3 実験手順 ・手法

## 4.3.1 データの準備

本実験では livedoorニュースコーパスより 6623 個 の記事 (本文) を抽出し，表 1 のように振り分けた。

2) https://www. rondhuit.com/download.html\#ldcc
表 1 使用データの内訳

train は訓練時に用いたデータ，val はハイパーパ ラメータを調整するために分類精度をこまめに確認 する際に使用した検証用データ, test は出来上がっ たモデルの最終的な分類精度を確認する際に使用し たテストデータである.

また，以降の手順において各文書は BERT により 形態素解析と ID 化を済ませた状態で扱っている.

## 4.3.2 訓練データの Mix-Up

訓練データについて，Mix-Up 手法を用いてデー 夕拡張を行った. Mix させる文書の選出方法は以下 の 2 通りを試した。

## Mix させる文書の選出方法 (1)

1 つ目の選定方法は全てのラベルの文書をラ ンダムで Mix させるというものである. 乱数 を用いて 736 個の文書をランダムに並び替 え，一番目から順に隣り合った 2 つ文書 (と そのラベル)を Mix させた. この方法の場合,文書間の隙間の数だけペアが作られるため, 735(736-1) 個の拡張データができる. その結果訓練データは 736 個から 1471 個に拡張した. また，プログラムを起動するたびに選出される 組み合わせは変わるようになっている。

## Mix させる文書の選出方法 (2)

2 つ目の選定方法は，不足しているラベルの文書を対象に Mix-Up によってデータ数を増加さ せるというものである. 本実験では表 1 に示す 通り, 訓練データではラベル 3 の文書が不足し ているため，ラベル 3 の文書が必ず選定される ような動作にした. 具体的には, 51 個のラベル
3 文書からランダムに 1 つ選び，次にラベル 3 以外の 685 個のデータからもランダムに 1 つ選 び，その 2 つの文書を Mix させるという手順を 繰り返した. 連結の順序はラベル 3 の文書が前半でラベル 3 以外の文書が後半である. この動作により 765 個の新たな訓練データを作成し，訓練データは 1501 個に拡張した. また，選出方法 (1) と同じようにプログラムを起動するた びに組み合わせは変わるようになっている.

## 4.3.3 作成した分類器

分類器として使ったニューラルネットワークのモ デルは BERT の直後に全結合層を一層追加したもの を用いた. 長さ 512 以下の ID 列を BERT に入力し, 768 次元の文書の特徴べクトルを出力として得る. それを全結合層に入力し，9 次元の各ラベルに対す る予測値を出力として得るという流れである．細か な設定を以下に示す.

## 損失関数

交差エントロピー : 今回ラベルは one-hot 表現 のため nn.CrossEntropyLoss() に直接入力するこ とはできないため, nn.LogSoftmax()を利用し，交差エントロピーの定義通りに計算して損失を 求めた。

## 最適化関数

確率的勾配降下法 (SGD) : 学習率は検証データ を用いて分類精度と学習効率の両方を考慮した 結果，0.01を採用した。

## 訓練データのバッチサイズ

バッチサイズは実行環境である Google Colaboratory にて可能な最大値であった 10 を採用し た.

## エポック数

検証データでの分類精度の上がり幅を考慮した 結果，10 エポック学習すれば精度は収束値に 達していると判断した。

## 4.4 実験結果

通常版，選出方法 (1) の Mix-Up 版，選出方法 (2) の Mix-Up 版の 3 つにおいて, 訓練データで 10 エ

ポック学習したモデルをそれぞれ 10 個用意し，テ ストデータに対する正解率を求めた. 各モデルを比較した箱ひげ図を図 3 に示す. また，平均値の比較 を表 2 に示す. ※正解率は小数点第 4 位を四捨五入 している.

図 3 実験結果

表 2 平均値の比較

精度の高い順に，選出方法 (2) の Mix-Up，通常の BERT，選出方法 (1)の Mix-Up という結果になった.

## 5 考察

選出方法 (1) では通常よりも精度が落ち, 選出方法 (2)では精度が上がっていることから Mix させる 文書の選定方法が精度に大きく影響を与えることが わかった. 本実験からは，不足しているラベルを中心に Mix させてデータ拡張していくのが有効である と言える。様々な選出方法を試して，最終的な結論 を出したい。

また，今回は Mix させる二つの文書を等価値 (割合を $0.5: 0.5)$ にして実験を行ったが，連結させる ID 列長に差を設けてその割合をラベルの one-hot 表現に採用するといった手法も試してみる価値はある と考えている。

## 6 おわりに

本論文では BERTを用いた文書分類タスクに Mix-Up 手法を試みた。具体的には BERT は 2 文の 入力が可能であるため，ラベルの異なる 2 文書を 組み合わせて入力し，ラベルは one-hot ベクトルに て 0.5 の要素を二つ作ることで混合した. livedoor ニュースコーパスを用いた実験を行い，Mix-Upさ せる文書の選出方法によって精度に差が出ることを 示した.

## 謝辞

本研究は JSPS 科研費 JP19K12093 および 2020 年度国立情報学研究所公募型共同研究 (2020-FC03) の助成を受けています。

## 参考文献

[1] Connor Shorten and Taghi M Khoshgoftaar. A survey on image data augmentation for deep learning. Journal of Big Data, Vol. 6, No. 1, p. 60, 2019.

[2] Hongyi Zhang, Moustapha Cisse, Yann N. Dauphin, and David Lopez-Paz. mixup: Beyond empirical risk minimization, 2017.

[3] Hongyu Guo, Yongyi Mao, and Richong Zhang. Augmenting data with mixup for sentence classification: An empirical study, 2019.

[4] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers forlanguage understanding, 2018.


# 第一原理モデル自動構築のための モデル構築アルゴリズム

加藤祥太
京都大学大学院情報学研究科
katou.shouta.23v@st.kyoto-u.ac.jp
}

加納学
京都大学大学院情報学研究科
manabu@human.sys.i.kyoto-u.ac.jp

## 1 はじめに

化学や鉄鋼などのプロセス産業では，プロセスの 挙動の理解や設計，運転に第一原理モデル（物理モ デル）に基づくプロセスシミュレータが用いられて おり，第一原理モデルはプロセス産業に必要不可欠 である.しかしながら，第一原理モデルの構築には プロセスに関する深い理解と専門知識だけでなく,精度向上のための試行錯誤的な取り組みが必要とさ れる. 本研究の最終目的は, 複数の文献からモデル 構築に必要な情報（数式，変数，実験データなど） を抽出して第一原理モデルを自動で構築する人工知能（AI）を開発することである．著者らは，第一原理モデル自動構築 AI の実現に向けて, 必要な要素技術の開発に取り組んでいる [1].

本研究では，複数の数式を組み合わせて新しい第一原理モデルを自動で構築する手法を提案する. 本稿では，第一原理モデルをモデルと呼ぶ.

## 2 モデル候補作成アルゴリズム

モデルは，プロセスの状態を表す変数（プロセス 変数）間の関係を表す数式で構成されている. モデ ルを構築する上で重要な概念として，「自由度」が ある [2].

$
\text { 自由度 }=\text { 変数の数 }- \text { 数式の数 }
$

自由度は自由に動かすことができる変数の数を表 す. 化学プラントでは，いくつかの変数を操作して 温度や圧力などを制御して製品を製造する。モデル を構築するときには操作する変数（操作変数）の数 と自由度が一致する必要がある。

第一原理モデル自動構築 $\mathrm{AI}$ は，まず，ユーザから モデルに含めたい変数 (必須変数) の集合 $S_{\mathrm{rv}}$ と操作変数の集合 $S_{\mathrm{mv}}$ を受け取る. そして， $S_{\mathrm{rv}}$ と $S_{\mathrm{mv}}$ に 基づき， $N_{\mathrm{e}}$ 個の数式の集合 $S_{\mathrm{e}}$ からモデルを複数作成する。モデルは以下の条件を満たす必要がある.

・必須変数を含む

・操作変数の数とモデルの自由度が等しい

本稿ではこれをモデルの必要条件と呼ぶ.

## 2.1 単純な手法

$N_{\mathrm{e}}$ 個の数式の組み合わせの総数は

$
\sum_{n=1}^{N_{e}}{ }_{N} \mathrm{C}_{n}=\sum_{n=0}^{N_{e}}{ }_{N} \mathrm{C}_{n}-1=2^{n}-1
$

であり，組み合わせ 1 つ 1 つに対してモデルの必要条件を満たすか判定することで，モデルを得る ことができる. 本稿ではこれを単純な手法と呼ぶ. Algorithm 1 に単純な手法のアルゴリズムを示す. こ のアルゴリズムは $O\left(2^{N_{\mathrm{e}}}\right)$ の計算量を要する．プロ セスが複雑，大規模になるほどモデルに含まれる数式の数は多くなる. 仮に，複数の文献から 50 個の 異なる数式を得たとすると，数式の組み合わせは $2^{50} \simeq 10^{15}$ 個あるので，単純な手法では現実的な計算時間でモデルを構築することはできない.

## 2.2 提案手法

提案手法のアルゴリズムを Algorithm 2 に示す.提案手法では，まず，各数式に含まれる変数の集合 と， $S_{\mathrm{e}}$ に現れる各変数を含む数式の集合を作成する (1-6 行目). 次に, 必須変数を含む数式の集合の直積集合を計算し，すべての必須変数を含む数式群の 集合 $M^{\prime}$ を得る (8行目). その後, $M^{\prime}$ に含まれる数式群がモデルの必要条件を満たすか判定する．Mำ の要素 $m^{\prime}$ の自由度 $N_{\mathrm{F}, m^{\prime}}$ が操作変数の数 $N_{\mathrm{mv}}$ に等 しいとき， $m^{\prime}$ はモデルの必要条件を満たす $(12,13$行目). $N_{\mathrm{F}, m^{\prime}}$ が $N_{\mathrm{mv}}$ と異なるとき， $m^{\prime}$ に含まれる 必須変数以外の変数 $\left.\{\tilde{v}_{1}, \cdots, \tilde{v}_{N_{m}}\right.\}$ を求める $(15,16$行目).その後， $\left.\{\tilde{v}_{1}, \cdots, \tilde{v}_{N_{m}}\right.\}$ を含む数式群の集合 $M^{\prime \prime}$ を得る（17 行目）。 $M^{\prime \prime}$ の要素 $m^{\prime \prime}$ と $m^{\prime}$ を組 み合わせた数式群を $\tilde{m}$ とし, $\tilde{m}$ の自由度 $N_{\mathrm{F}, \tilde{m}}$ が $N_{\mathrm{mv}}$ に等しいとき， $\tilde{m}$ はモデルの必要条件を満たす (19-25 行目). 最後に，モデルの必要条件を満たす 数式群を出力する (28 行目).

集合 $S$ の要素数を $L(S)$ で表すと，提案アルゴリ ズムの計算量は式 (3)で表される.

$
\begin{aligned}
& O\left(N_{\mathrm{e}}\right)+O\left(\prod_{i=1}^{N_{\mathrm{rv}}} L\left(S_{\mathrm{e}, v_{i}}\right)\right) \\
& \quad+O\left(L\left(M^{\prime}\right)\left(\prod_{i=1}^{N_{m}} L\left(S_{\mathrm{e}, \tilde{v}_{i}}\right)+L\left(\mathcal{M}^{\prime \prime}\right)\right)\right)
\end{aligned}
$

ここで, $\prod_{i=1}^{N_{\mathrm{rv}}} L\left(S_{\mathrm{e}, v_{i}}\right)$ は必須変数を含む数式群の数, $\prod_{i=1}^{N_{m}} L\left(S_{\mathrm{e}, \tilde{v}_{i}}\right)$ は必須変数を含む数式に含まれる必須変数以外の変数の数である.

## 3 実験

単純な手法と提案手法を用いて，複数の数式の集合，必須変数の集合，操作変数の集合からモデルを 構築した結果を比較した。

## 3.1 実験条件

実験で用いた数式，必須変数，操作変数の集合を 表 1 に示す. 本実験では，数式中の変数を容易に判別できるとした.

## 3.2 モデル構築結果

単純な手法と提案手法によるモデル構築結果を表 2 に示す.

ケース 1 では，単純な手法と提案手法によって同 じモデルの集合が得られた. 得られたモデルは必須変数を含み，操作変数を代入することで必須変数の 值を得ることができる.

ケース 2 では，ケース 1 で用いた数式の集合に必須変数に含まれない変数に関する数式を加えて，2 つの手法で得られるモデルを比較した. 提案手法で はケース 1 と同じモデルの集合が得られたが，単純 な手法では 64 個のモデルの集合が得られた. これ は，必須変数に含まれない変数に関する数式が加 わってもモデルの自由度が変化しないからである. また， $N_{i}$ の数を増加させたとき，提案手法で要する 計算時間にはほぼ変化がないのに対し，単純な手法
表 1 実験で用いた数式, 必須変数, 操作変数の集合

で要する計算時間は指数的に増加した。

ケース 3 では，ケース 1 と同様に，単純な手法と 提案手法によって，同じモデルの集合が得られた.表 2 の例に示す最初の 2 つのモデルでは, 操作変数 を代入することで必須変数の值を得ることができ る. しかし，表 2 の最後に示したモデルでは，操作変数を代入しても必須変数の値を得ることができな いので，実際に使うことはできない。これは，提案手法と単純手法において，モデルに必要な条件のみ しか判定していないからである. 実際に使うことが できるモデルのみを得るためには，2 節で示したモ デルに必要な条件に加えて，必須変数の值を得るこ とができるかを判定する必要がある．モデルに含ま れるすべての方程式が変数に関して一次であれば係数行列を用いて判定できるが，ケース 3 のように変数に関して一次でない方程式を含むモデルもある.判定できない場合もある．実際に使うことができる モデルの選定方法の開発は今後の課題である.

## 4 おわりに

本研究では第一原理モデル自動構築に必要な要素技術として，複数の数式から第一原理モデルを自動 で構築する手法を提案した. 実験を通し，提案手法 を用いることで，複数の数式から現実的な計算時間 で第一原理モデルを構築することができることを確認した. しかし, 提案手法によって構築した第一原理モデルには実際に使うことができないものが含ま
れる.今後はこの問題の解決に取り組み，より有用 な手法を開発する。

## 参考文献

[1] Shota Kato and Manabu Kano. Identifier information based variable extraction method from scientific papers for automatic physical model building. PSE Asia Paper No. 210043, 2020.

[2] Dale E Seborg, Duncan A Mellichamp, Thomas F Edgar, and Francis J Doyle III. Process dynamics and control. John Wiley \& Sons, 2010.
表 2 単純な手法と提案手法によるモデル構築結果

 &  \\

-r_{\mathrm{A}} & =k \\
k & =k_{0} \exp (a / T) \\
k_{0} & =0.1 \\
a & =10 \\
v_{0} C_{\mathrm{A} 0} & -v_{0} C_{\mathrm{A} 0}+r_{\mathrm{A}} V=0 \\
-r_{\mathrm{A}} & =k C_{\mathrm{A}} \\
k & =k_{0} \exp (a / T) \\
k_{0} & =0.1 \\
a & =10 \\
v_{0} C_{\mathrm{A} 0} & -v_{0} C_{\mathrm{A} 0}+r_{\mathrm{A}} V=0 \\
-r_{\mathrm{A}} & =k \\
-r_{\mathrm{A}} & =k C_{\mathrm{A}} \\
-r_{\mathrm{A}} & =k C_{\mathrm{A}}^{2} \\
k & =k_{0} \exp (a / T)\end{aligned}$ & なし \\


# 単語の分散表現に基づく極性判定のための教師なし分野適応

森谷一至
北陸先端科学技術大学院大学
s1910217@jaist.ac.jp

## 1 はじめに

テキスト中に表明されている書き手の意見が肯定的か否定的かを判定する極性判定は，オピニオンマ イニングにおける基礎的な技術のひとつである。近年の極性判定に関する研究は教師あり機械学習を用 いた手法が主流であるが，一般に，教師あり機械学習によって得られた分類モデルは, 訓練デー夕と異 なるドメインのテストデータに適用すると分類の正解率が低下することが知られている。オピニオンマ イニングでは，評価対象は多岐に渡るため，ドメイ ンの違いによる極性判定の正解率の低下は重要な問題である.

分野適応 (転移学習) とは, 訓練データとテスト データのドメインが異なるときに，テストデータに 対する分類性能が落ちないように分類モデルを学習する技術である。このとき，訓練デー夕，テスト データのドメインはそれぞれソースドメイン，夕ー ゲットドメインと呼ばれる. 分野適応の手法には,少量のターゲットドメインの正解ラベル付きデータ を用いる教師あり分野適応と, ターゲットドメイン についてはラベル付きデータを用いない教師なし分野適応がある. 本研究は, 単語の分散表現を利用し た教師なし分野適応手法を提案する。また，通販サ イトに投稿された日本語レビューの極性判定を対象 に提案手法の有効性を実験的に検証する [1].

## 2 関連研究

Blitzer らは Structural Correspondence Learning(SCL) という分野適応の手法を提案している [2]. ソース ドメインとターゲットドメインの両方で頻出し, か つ分類ラベルとの相互情報量が高い単語 (ピボット 素性) と，極性判定に関係する分野特有の単語 (非ピ ボット素性) の関連性をモデル化することで分野適応を行う。

Glorot らは, Stacked Denoising Autoencoders (SDA) を用いて，利用可能な全てのドメインのレビューか

\author{
白井 清昭 \\ 北陸先端科学技術大学院大学 \\ kshirai@jaist.ac.jp
}

ら分野に依存しない抽象度の高い素性を教師なしの 手法で抽出する方法を提案している [3]. Amazon レ ビューデータを用いた極性判定の実験で，先行研究 の手法である SCL[2], Multi-label Consensus Training (MCT)[4], Spectral Feature Alignment (SFA) algorithm[5] と比べて, 彼らの手法の分野適応能力が高いことを 確認した。

Ziser $と$ Reichart は, Pivot Based Language Model (PBLM) による教師なし分野適応の手法を提案して いる [6]. PBLM は，後続するピボット素性あるい は None(ピボット素性以外の素性)を予測する LSTM (Long Short-Term Memory) Language Modeling であり,大量のラベルなしソースドメインとターゲットド メインのデータから学習される。さらに，PBLM を入力とする LSTM (PBLM-LSTM) もしくは CNN (PBLM-CNN) によってテキストの極性を判定する。

Wang は，Bag-of-wordsを機械学習の素性とし，訓練データを素性べクトルに変換する際，ソースドメ インの訓練データに出現する単語と類似しかつター ゲットドメインのみに出現する単語を素性ベクトル に追加することで分野適応を行った [7]. ここで単語間の類似度は事前学習された単語の分散表現を用 いて測る．英語で書かれたテキストの著者の性別を 推定するタスクについて，マイクロブログ (Twitter) ならびにブログを異なるドメインとする実験を行 い，単語の分散表現を用いた素性拡張によって性別推定の正解率が向上することを確認した。

本研究は，Wang による手法 [7] を修正し，夕ー ゲットドメインのみに出現する素性を拡張する際 に，クラス分類に大きく貢献する素性のみを抬張す る手法を提案する．また，Wang の実験は英語で書 かれたテキストの著者の性別を判定していたが，本研究では日本語で書かれたレビューに対する極性判定を対象に分野適応を行う。単語の分散表現に基づ く教師なし分野適応の手法がタスク (性別推定もし くは極性判定) や言語 (英語もしくは日本語) が異な る場合でも有効であるかを実験的に検証する。

$F_{c}=F S \cap F T \quad F_{s}=F S \backslash F_{c} \quad F_{t}=F T \backslash F_{c}$

図 1 素性集合の定義

## 3 提案手法

## 3.1 問題設定

ユーザによって書かれた商品レビューの極性を判定する。ここでの極性のクラスは「肯定的」「否定的」の 2 つとする. レビューは評価対象の商品カテ ゴリ (「食品」「レディースファッション」など) に よっていくつかのドメインに分かれているものとす る. 学習データとテストデータではドメインが異な ると仮定する。また，ソースドメインのレビューに は正解ラベルが付与されているが，ターゲットドメ インのレビューには付与されていないものとする (教師なし分野適応).

## 3.2 素性ベクトルの拡張

極性判定モデルの学習は以下に述べるような 基本的な手法を用いる. 機械学習の素性として Bag-of-words 素性を用いる．レビューを MeCabを用 いて形態素解析し, 自立語 (名詞, 動詞, 形容詞,副詞)を抽出し, その基本形を素性とする.ソース ドメインならびにターゲットドメインの個々のレ ビューを素性ベクトルで表現する。素性べクトルは バイナリベクトルとする。 すなわち, ある素性 (単語) がレビューに出現するときにはその素性の重み を 1 に，それ以外の素性の重みは 0 とする。

ソースドメインのレビュー集合に含まれる素性の 集合を $F S$ ，ターゲットドメインのレビュー集合に 含まれる素性の集合を $F T$ とおく。さらに，図 1 に 示すように，ソース・ターゲットの両方に出現する 素性の集合を $F_{c}$, ソースドメインのみに出現する素性の集合を $F_{s}$, ターゲットドメインのみに出現する 素性の集合を $F_{t}$ とおく。

ドメインが異なる場合，実質的には $F_{c}$ の素性の みで極性判定を行うことになる． $F_{c}$ の素性の数が 少ない場合，極性判定の正解率が低下すると考えら れる。ターゲットドメインのレビューの極性を判定
するためには，夕ーゲットドメインに固有の素性, すなわち $F_{t}$ の素性が重要な役割を果たすことが予想されるが，分類器の学習には $F_{c}$ と $F_{s}$ の素性のみ が使われ， $F_{t}$ の素性は使われない。そこで，ソース ドメインの訓練データから素性ベクトルを作成する 際， $F_{t}$ の素性を自動的に追加する．以下，この手続 きを素性ベクトルの拡張と呼ぶ.

訓練事例 (レビュー)の素性ベクトルの拡張の手続 き [7] を説明する． $F_{t}$ の要素であり，レビューに出現する素性 $f\left(\in F_{c} \cup F_{s}\right)$ と類似した素性 $f^{\prime}$ を素性べ クトルに追加する，正確には，素性べクトルの次元数は $\left|F_{c} \cup F_{s} \cup F_{t}\right|$ のままだが， $f^{\prime}$ に対する重みを 0 から 1 に変更する。素性間の類似度，すなわち単語間の類似度は，大量のテキストから事前学習された 単語の分散表現のコサイン類似度で測る。本研究で は，単語の分散表現として，ウェブテキストから事前学習された単語埋め込みである NWJC2Vec[8] を 用いる.

## 3.3 有効な素性に限定した素性ベクトルの 拡張

前項で述べた素性抬張の手法では，新たに素性べ クトルに追加された素性の中には極性判定に有効で ないものが含まれる可能性がある．有効でない素性 の拡張は極性判定の正解率の低下を招く原因になり うる。提案手法では，有効な素性に限定して素性べ クトルを拡張する。

提案手法による素性ベクトルの拡張の擬似コー ドを Algorithm 1 に示す.ここで， $i$ 番目の訓練事例 の素性ベクトルを $\vec{v}_{i}=\left(w_{i 1}, \cdots, w_{i n}\right)^{T}$ とおく. $w_{i j}$ は $j$ 番目の素性 $f_{j}$ に対する重み, $n$ は素性の総数 $\left(n=\left|F_{c} \cup F_{s} \cup F_{t}\right|\right)$ を表す.

まず，17〜23 行目に示すように，有効な素性を以下の 2 つの条件を満たす素性と定義する。

・極性クラスとの相関が強い

極性判定の 2 つの分類クラスのうち，肯定 クラス $c$ と素性 $f_{j}$ の相関の強さを $\chi^{2}$ 統計量 $\left(\chi^{2}\left(c, f_{j}\right)\right.$ と記す)[9] で測る。素性 $f_{j}$ が $\chi^{2}\left(c, f_{j}\right)$ の大きい上位 $T_{c o r}$ 件の素性のひとつであると き，有効な素性とする。 18 行目の rank は素性 を $\chi^{2}\left(c, f_{j}\right)$ の順に並べたときの順位を表す.

・素性の出現頻度が大きい

素性 $f_{j}$ の訓練デー夕における出現頻度 (Fre $\left(f_{j}\right)$ と記す) が閾値 $T_{f r e}$ よりも大きいと き，有効な素性とする。

Input: $T$ (original training data)

Output: $T^{\prime}$ (new training data)

$T^{\prime} \rightarrow \phi$

for $\vec{v}_{i} \in T$ do

$T^{\prime} \rightarrow T^{\prime} \cup\left.\{\right.$ ExtendFeatureVector $\left.\left(\vec{v}_{i}\right)\right.\}$

end

Function ExtendFeatureVector $\left(\vec{v}_{i}\right)$ :

for $f_{j} \in F_{c} \cup F_{s}$ do

if $w_{i j}=1$ and IsEffective $\left(f_{j}\right)$ then

for $f_{k} \in F_{t}$ do

if $\cos \left(\overrightarrow{w e}\left(f_{j}\right), \overrightarrow{w e}\left(f_{k}\right)\right) \geq T_{\operatorname{sim}}$

then

$w_{i k} \rightarrow 1$

end

end

end

end

Return $\vec{v}_{i}$

end

Function $\operatorname{IsEffective}\left(f_{j}\right)$ :

if $\operatorname{rank}\left(\chi^{2}\left(c, f_{j}\right)\right) \leq T_{\text {cor }}$ and $\operatorname{Fre}\left(f_{j}\right) \geq T_{\text {fre }}$

then

Return true

else

Return false

end

end

Algorithm 1: 素性拡張アルゴリズム

Algorithm 1 では，2４行目に示すように，個々の 訓練事例に対して素性ベクトルを拡張して，新しい 訓練データ $T^{\prime}$ を作成する。素性べクトルを拡張す る際，レビューに出現しかつ有効な素性に対し (7 行目), それと類似しターゲットドメインのみに出現する素性を素性べクトルに追加する (8～12 行目). このとき，単語の分散表現 $(\overrightarrow{w e})$ のコサイン類似度 が閾値 $T_{\text {sim }}$ 以上の素性を拡張する.

提案手法には 3 つのパラメ夕 $T_{\text {sim }}, T_{\text {cor }}, T_{f r e}$ が存在する。これらのパラメ夕は訓練データを用いた交差検定によって最適化する。

## 4 評価実験

## 4.1 実験設定

評価実験には，楽天データ [10] のうち楽天市場に 投稿されたレビューのデータセットを用いた。楽天市場における 34 の商品ジャンルのうち，レビュー 件数の多い上位 5 つのジャンル (表 1 に示す)を選表 1 実験データ

食=食品，レ=レディースファッション，

日=日用品雑貨 $\cdot$ 文房具 ・手芸,

美=美容・コスメ・香水，イ=インテリア・寝具・収納

び，これらのジャンルの商品について投稿されたレ ビューを抽出した。それぞれのレビューに対し，レ ビューワーによって付与された 1～5 の評価ポイン トが 5 または 4 のときは「肯定」のラベルを， 1 また は2のときは「否定」のラベルを付与し，それ以外 のレビューは除去した。肯定と否定のバランスを取 るため，またジャンル毎のデー夕数をほぼ同じにす るため，肯定，否定のラベルがついたレビューをラ ンダムにおよそ 2,000 件サンプリングし，実験デー 夕とした。表 1 は楽天データのレビュー数とサンプ リング後のレビュー数を示している.

あらかじめ，それぞれのジャンルのレビューデー 夕を $80 \%$ の訓練データと $20 \%$ のテストデータに分割 した. そして，5つのジャンルの全ての組み合わせ について，1つをソースドメイン，もう1つをター ゲットドメインとして，極性判定の実験を行った。 これはソースドメインとターゲットドメインが同じ 場合も含む。ソースとターゲットドメインが異なる 場合でも，ドメインが同じ場合とほぼ同じ量のテス トデータで比較するため， $80 \%$ の訓練データと $20 \%$ のテストデータを使用する。

本実験では以下の 3 つの手法を比較した。

ベースライン $(\mathbf{B L})$ 分野適応の手法を使わない手法素性拡張 1 (FE1) 全ての素性から素性べクトルを拡張する手法 (3.2 項)

素性拡張 2 (FE2) 有効な素性のみから素性ベクトル を拡張する手法 (3.3 項)

極性判定の分類器は Naive Bayes モデルを用いて学習した1）。

## 4.2 実験結果と考察

FE1 で実際に拡張された素性の例を表 2 に示す. ほぼ同じ意味を持ち，かつターゲットドメインに固有の素性が拡張されていることが確認された。例え

1） Support Vector Machine も試したが，結果に大きな差はな かつた.

ば，美容ドメインにおける「可愛い」という素性か ら, 日用品ドメインに固有の「おもろい」(表 2 の 5 行目)や，インテリアドメインに固有の「映える」 (表 2 の 7 行目) が素性ベクトルに追加されている.

表 2 素性拡張の例

 \\

& & 粘着 & 塗布 \\
& & 弱い & 緩い \\

& & 見える & 映る \\

& & ある & 留まる \\

3.3 項で述べた手法 FE2 には 3 つのパラメタがあ る. まず， $T_{\text {sim }}$ について， 0.4 と 0.5 に設定した場合 を比較した。 大部分のドメインの組で 0.4 の場合の 正解率が高かったので, $T_{\text {sim }}=0.4$ と設定した. 次 に, 訓練データの 5 分割交差検定により, $T_{c o r}$ は $\{50,100,200\}, T_{\text {fre }}$ は $\{5,10,20\}$ の範囲の中から最適なものを選択した。ドメインの組毎に異なる値が 選択されたことを確認した。

BL, FE1, FE2 による極性判定の正解率を表 3 に示 す。矢印の左がソースドメインを表す記号, 右が ターゲットドメインを表す記号である。 また，太字 はそれぞれのドメインの組で一番正解率の高い值を 表す。

まず，ソースとターゲットのドメインが異なる場合のほとんどについて, ドメインが同じときょりも 正解率が低下することが確認された。 ベースライン (BL) と本研究の手法 (FE1 もしくは FE2) を比べる と, ドメインの組によって, 本研究の手法の方が正解率が高い場合もあれば，そうでない場合もある。特に, ターゲットドメインが「美容・コスメ・香水」 のときは, ベースラインの方が正解率が常に高い.単語の分散表現に基づく素性拡張は常に有効ではな いことがわかった。ただし，20のドメインの組のう ち, BLが一番正解率が高いのは 8 組, FE1 もしくは FE2 が一番正解率が高いのは 13 組であるため, 全体的には素性拡張は有効であると言える。

FE1 と FE2を比較すると, 同様にドメインの組に よって優劣が異なる. ターゲットドメインが「イン テリア・寝具・家具」のときはFE1が，「レディース ファション」のときは FE2が高い傾向が見られる.表 3 実験結果

20 のドメインの組のうち, FE1 の方が正解率が高い のは 8 組, FE2 の方が高いのは 12 組であるため, 全体的には，分類クラスとの相関が高い素性のみから 新たな素性を拡張した方が効果的な領域適応である と言える。

## 5 おわりに

本論文は，事前学習した単語の分散表現を用いた 素性拡張による教師なし領域適応の手法を提案し た. 商品レビューを対象とした極性判定のタスクに ついて，いくつかのソース・ターゲットドメインの 組についてその有効性を示した。ただし，提案手法 は常に有効であるわけではなく, 正解率が向上しな いドメインの組も多く存在した。今後は, 提案手法 が有効に働くドメインの組にはどのような性質があ るかを明らかにしたい。例えば，ソース・ターゲッ トドメインで素性集合の重複の度合が小さいときに は，提案手法による素性拡張が有効に働くといった 性質があることを予想している.

## 参考文献

[1]森谷一至. 単語の分散表現に基づく極性判定の ための教師なし分野適応. 修士論文, 北陸先端科学技術大学院大学, 32021.

[2]John Blitzer, Ryan McDonald, and Fernando Pereira. Domain adaptation with structural correspondence learning. In Proceedings of the Conference on Empirical Methods in Natural Language Processing, pp. 120-128, 2006.

[3]Xavier Glorot, Antoine Bordes, and Yoshua Bengio. Domain adaptation for large-scale sentiment classification: A deep learning approach. In Proceedings of the 28th International Conference on Machine Learning, pp. 513-520, 2011.

[4]Shoushan Li and Chengqing Zong. Multi-domain adaptation for sentiment classification: Using multiple classifier combining methods. In Proceedings of the International Conference on Natural Language Processing and Knowledge Engineering, 2008.

[5]Sinno Jialin Pan, Xiaochuan Ni, Jian-Tao Sun, Qiang Yang, and Zheng Chen. Cross-domain sentiment classification via spectral feature alignment. In Proceedings of the 19th International Conference on World Wide Web, pp. 751-760, 2010.

[6]Yftah Ziser and Roi Reichart. Pivot based language modeling for improved neural domain adaptation. In Proceedings of the Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 1241-1251, 2018.

[7]Sitong Wang. Domain adaptation for gender classification of text. 修士論文, 北陸先端科学技術大学院大学, 92019.

[8]Masayuki Asahara. NWJC2Vec: Word embedding dataset from 'NINJAL Web Japanese Corpus'. Terminology. International Journal of Theoretical and Applied Issues in Specialized Communication, Vol. 24, No. 1, pp. 7-22, 2018. https://www.gsk.or.jp/catalog/gsk2020-d.

[9]Christopher D. Manning and Hinrich Schütze. Foundations of Statistical Natural Language Processing, chapter 5.3.3, pp. 169-172. The MIT Press, 1999.

[10]Rakuten Institute of Technology. 楽天データ公開. https://rit.rakuten.co.jp/data_release_ja/. (2021 年 1


# SESTM モデルによる会社四季報センチメントを用いた投資戦略 の実証分析
## 指田 晋吾

野村アセットマネジメント株式会社 s-sashida@nomura-am.co.jp

## 1 はじめに

近年、機械学習技術の発展によるテキストマイニ ング技術の進展とともに、ファイナンス分野にお いても様々なテキスト情報が分析・利用されてい る。テキスト情報としてよく利用されるものは決算短信、有価証券報告書、新聞記事があり、これらは 個々の文書の分量が多くかつ文書自体も大量にある ため、個人投資家だけではなく、証券、銀行、資産運用会社といった金融機関においても、金融テキス 卜を自動的に解析し、業務支援や経済活動に役立て ようと試みている $[1,2,3]$ 。とりわけ、これらのテキ スト情報から抽出した情報と株価との関係が研究さ れており、テキストマイニングの投資における有効性が明らかになってきている [4]。例えば、[5] らは 決算短信の要約から因果関係の表現を含む文を抽出 し、構文パターンより因果関係を示すネットワーク (因果チェーン [6])を構築し、そのノード間には株価 のリード・ラグ効果があることを実証した。また、 [7] らは決算短信とこれまで分析されていない情報媒体である会社四季報について、肯定語・否定語ス コアを定義した辞書を用いて各テキストについてセ ンチメントスコアを算出し、それが投資に有効であ ることを確認している。さらに、[8] らは、テキス ト内のセンチメント語を抽出する SESTM(Sentiment Extraction via Screening and Topic Modeling) モデルを 構築し、そのモデルから算出されたセンチメントス コアにて非常に良好な株価リターンが得られること を確認している。本研究では、分析例が少ない会社四季報データを用いて日本株式市場において、テキ スト情報を利用した投資戦略の収益機会が存在する かどうかを検証することを目的とする。分析手法と しては、[7] らは四季報を対象に Bag of Words 方式 を用いて共通の辞書を用いてセンチメントを付与 しているのに対して、本研究では、より洗練された中川慧

野村アセットマネジメント株式会社

k-nakagawa@nomura-am.co.jp

SESTM モデルによりセンチメントを付与し、イベ ントスタディ方式での実証分析を行う。

## 2 SESTM モデル

SESTM モデルは、[8] らがニュースからセンチメ ントを抽出する新しい手法を用いて構築されるモデ ルである。彼らが提案した手法は、データベンダー が提供するような一般的なセンチメントスコアな どで多く用いられる辞書べースの手法とは異なり、株価リターンを直接教師として考慮するもので、リ ターン予測に特化している。提案手法は次の 3 つの ステップから構成される。

Step 1: スクリーニング センチメントに影響を与え る単語と与えない単語を分類

Step 2: センチメント評価 それら単語にトピックモ デルを適用しセンチメントを評価

Step 3: スコアリング ペナルティ付きの尤度を用い 文章単位のセンチメントスコアを算出

先行研究では米国株式市場を対象にダウ・ジョー ンズ経済通信のニュース記事を用いて実証分析を 行っており、提案手法の特徴について次の利点を挙 げている。まず、計算負荷量が低いのでコンピュー タリソースを多く必要としない。また、標準的な計量経済手法をベースとしており、シンプルな教師あ り学習となっているので、深層学習等と比較しても 解釈性が高い。そして、既存の辞書データ等は用い ずに分析対象のテキストとそのテキストに対応する リターンデータのみでモデルを構築するため目的用途に特化したものを構築できることも利点として挙 げている。

## 2.1 Notation
- $n, m$ : 四季報の記事数、単語数
- $d_{i} \in \mathbb{R}_{+}^{m}: i$ 番目の記事における単語数
- $D: D=\left[d_{1}, \ldots, d_{n}\right]^{\top}$ と定義される行列 $(n \times m)$

・ $S, N$ : センチメントに影響を及ぼす (及ぼさな い) 単語の集合
- $y_{i}: i$ 番目の記事に対するラベル (リターン)
- $p_{i}: i$ 番目の記事のセンチメントスコア $p_{i} \in[0,1]$

・ $O_{+}, O_{-}$:各単語がポジティブ (ネガティブ) な確率を並べたもの (トピック)

## 2.2 モデルの設定

センチメント $p_{i}$ で条件付けられたリターン $y_{i}$ と $d_{i}$ は (条件付き) 独立であると仮定する。さらに、リ ターン $y_{i}$ とセンチメント $p_{i}$ の関係は、 $g(\cdot)$ を単調増加な関数として $P\left(\left(y_{i}>0 \mid p_{i}\right)=g\left(p_{i}\right)\right)$ と仮定す る。すなわち、センチメント $p_{i}$ が良いほど、リター ンが正となる確率が高いと仮定する。また、関数 $g$ の具体的な関数系は特に推定しない。最後に、 $m$ 個 の単語は、それぞれセンチメントに影響を及ぼす単語 $S$ と影響を及ぼさない単語 $N$ に分割できるとし、 それらをインデックスとした $d_{i,[S]}$ と $d_{i,[N]}$ は独立 であると仮定する。さらに、センチメントが付与さ れた単語数は、次のような多項分布に従うとする。

$
d_{i,[S]} \sim \operatorname{Multinomial}\left(s_{i}, p_{i} O_{+}+\left(1-p_{i}\right) O_{-}\right)
$

ここで、SESTM モデルはパラメータである $O_{+}, O_{-}, p_{i}$ を特定することが目的であり、これらが 推定できれば、新たな記事 $i+1$ に対してセンチメン ト $p_{i+1}$ を付与することができる。

## 2.3 パラメータの推定

SESTM モデルのパラメータである $O_{+}, O_{-}, p_{i}$ の推定は次の 3 つのステップで行う。

## Step 1:センチメントに影響を与える単語 $S$ を抽出 $m$内の単語 $j$ ごとにスコア $f_{j}$ を計算。

$
f_{j}=\frac{\text { 単語 } j \text { を含む記事数、かつ } \operatorname{sgn}(y)=1 \text { の数 }}{\text { 単語 } j \text { を含む記事数 }}
$

次の回帰モデルを考える。

$
\operatorname{sgn}\left(y_{i}\right)=f_{j} \cdot \operatorname{sgn}\left(d_{i, j}\right)+\epsilon_{i} \quad j=1 \ldots m
$

するとハイパーパラメータ $\left(\alpha_{+}, \alpha_{-}, \kappa\right)$ を用いて、次 の $\hat{S}$ を $S$ 推定量 (集合) とすることができる。

$\hat{S}=\left.\{j: f_{j} \geq \frac{1}{2}+\alpha_{+}\right.\} \cup\left.\{j: f_{j} \leq \frac{1}{2}-\alpha_{-}\right.\} \cap\left.\{j: \kappa_{j} \geq \kappa\right.\}$

Step 2: $O_{+}, O_{-}$の推定 $p_{i}$ の推定量 $\hat{p}_{i}$ として次を計算 する。

$
\hat{p}_{i}=\frac{\text { rank of } y_{i} \text { in }\left.\{y_{l}\right.\}_{l=1}^{n}}{n}
$

以下の回帰式から、 $D$ を回帰することで $O=$ $[O+, O-]$ を推定する。

$
\begin{aligned}
\mathbb{E} \tilde{D}^{\top} & =O W, \\
\text { where } W & =\left[\begin{array}{rrr}
p_{1} & \ldots & p_{n} \\
1-p_{1} & \ldots & 1-p_{n}
\end{array}\right] \text {, } \\
\text { and } \tilde{D} & =\left[\tilde{d}_{1}, \ldots, \tilde{d}_{n}\right]^{\top}
\end{aligned}
$

ここで、 $\tilde{D}$ は記事 $i$ ごとのすべてのセンチメントが 付与された単語の頻度を表す。

Step 3:センチメントスコアを推定 パラメータ $O_{+}, O_{-}$ が求まったので、新しい記事に対してセンチメント スコア $p$ を次の最尤推定により求める。

$
\begin{array}{r}
\hat{p}=\arg \max _{p \in[0,1]} \hat{s}^{-1} \sum_{j=1}^{\hat{s}} d_{j} \log \left(p \hat{O}_{+, j}+(1-p) \hat{O}_{-, j}\right) \\
+\lambda \log (p(1-p))
\end{array}
$

$s_{i}$ は $S$ に属する単語の総数であり、 $d_{i,[S]}$ は記事 $i$ の センチメントが付与された単語ベクトルであり観測 できる。また、最尤推定においては、 $p_{i}$ が 0.5 をと りにくいようにペナルティ項 $\lambda \log (p(1-p))$ が付与 されている。

## 3 実証分析

## 3.1 データセット

会社四季報 (以下，四季報) は東洋経済新報社が 3 カ月に一度出版する発行物で、出版日は $3,6,9,12$月の中旬である。四季報には、日本の株式市場の全上場企業について直近決算期の基本財務項目や投資関連指標が記載される。

また、数値以外のデータとして、会社四季報編集部による業績予想数字についての記事があり、そこ には前期実績と比較した今期予想についてのコメン 卜と、前号に揭載した予想や会社計画と比較した今期予想についてのコメントが記載される。この数値及びテキストデータは全上場企業について同様の形式でまとめられている。

本研究では 1999 年 09 月から 2020 年 06 月までに 発行された四季報のテキストデータと紐づく企業 のスペシフィック・リターンを用いてモデルの学習及び予測を行う。本研究では、スペシフィック・リ ターンとして Barra JPE4 モデルのファクターモデル から算出される数値を用いた。スペシフィック・リ ターンとは銘柄の騰落率 (トータル・リターン) か ら、市場全体の全銘柄に共通するあるファクター

(要因)で説明可能なリターンを取り除いた、各銘柄 に固有の変動部分である。四季報データは各企業の 業績について個別に記事が用意されているため、そ の効果の計測がしやすい銘柄固有のリターンであ るスペシフィック・リターンを教師データとして用 い、予測の対象とする。なお、[8]においてはスペシ フィック・リターンではなく、株価リターンを用い ているものの、SESTM モデルで仮定される前提は スペシフィック・リターンでも成立する。

## 3.2 分析手順

分析では四季報の出版日をイベントデーとするイ ベントスタディ [9]を行う。イベントスタディとは 情報の公開等のイベントが、当該企業の市場価値に どのような影響を与えるかを分析する方法である。

モデル作成にあたり、学習データは各出版日から 過去数年分の記事を利用し、教師データは出版日か ら翌出版日までのスペシフィックリターンの算術平均值を正規化したものを利用する。本研究では利用 する過去データを $3,4,5$ 年分の 3 パターンのモデ ルを作成して検証した。学習には全銘柄のデータを 利用し、予測する対象は TOPIX（東証株価指数）の 時価総額上位 500 銘柄 (TOPIX500 の構成銘柄) とし た。モデルは四季報の出版日のタイミングで作成さ れ、その時点の四季報のテキストデータを用いて将来のスペシフィックリターンを予測する。次に予測値を 10 分位に分け、各グループについてイベント デー前後の平均スペシフィックリターン (前回出版日から翌出版日)を求める。そして、各基準日 (四季報の出版日) で得られた各分位の結果の平均を求め、 その累和推移を算出する。このイベントスタディ分析にて四季報データにおける SESTM モデルの有効性を確認する。

## 3.3 分析結果

各学習モデルのイベントスタディの結果は表 (1) となった。累積日数は 57 営業日分である。どのモ デルについても上位分位銘柄 (q1) の四季報出版日以降の平均スペシフィックリターンの累積和が低位分位銘柄 (q10)を上回っていることが分かる。イベン ト日以降の平均スペシフィックリターンについて、平均値が 0 と有意に異なるか $\mathrm{t}$ 検定 (両側検定) にて 確認した。その結果、学習期間 4 年の上位の分位銘柄 (q1) について、1\%水準で有意であった。学習期間 4 年のイベント日以降のスペシフィックリターン
の累積和を表 (2)、イベント前後の累積和の推移を 図 (1) に示す。図の横軸は営業日日数で座標 0 を四季報出版日 (イベントデー) としている。上位分位銘柄 (q1) の平均スペシフィックリターンは四季報出版日以降プラス方向に伸びていることが確認できる。以上の結果より、四季報データを用いた SESTM モ デルの分析では、 4 年分の学習データを用いたモデ ルが比較的良好な結果となり、検定結果からセンチ メントがポジティブな銘柄については分類出来てい るが、ネガティブな銘柄についての分類は上手く出来ていないことが確認出来る。この原因としては、 [7] らの四季報の分析でも確認されている通り、四季報内の肯定語は否定語のおおよそ 2 倍を占めてい ることから、そのデータで学習したモデルの分位別 の結果 (有意性) に差が生じたものと考えられる。

次に作成した SESTM モデルにおいて、単語毎に センチメント評価を行い、学習期間におけるポジ ティブワードとネガティブワードの出現度につい て確認する。図 $(2,3)$ は学習期間が 2005 年 9 月から 2020 年 3 月までの記事で学習させたモデルにて同期間の記事の単語でセンチメントを評価し、ポジ ティブ及びネガティブの単語出現数で単語の表示サ イズを変化させたものである。結果を確認すると、図 (2)のポジティブ側の結果については"増益"、"堅調"、”利益"、” 改善"など幾つかの肯定語の存在が確認出来る。一方、図 (3) のネガティブ側の結果につ いては"減益"などの単語は確認出来るが否定語の数 は多くないことが分かる。この違いは四季報の肯定語と否定語の比率に偏りがあるためだと考えられ、 イベントスタディでの有意性の偏りについての原因考察とも整合する。

図 1 学習期間 4 年でのスペシフィックリターンの類和推移

## 4 まとめと今後の課題

本研究では会社四季報データを用いて SESTM モ デルにてセンチメント評価を行い、イベント・スタ
表 1 各学習モデルのイベントデー以降の累積和リターン (\%). 累積日数: 57 日. *は $10 \%$ 有意、**は $5 \%$ 有意、***は $1 \%$ 有意を示す.

表 2 学習期間 4 年のモデルでのイベントデー以降の累積和リターン $(\%)$ の推移分位

ディによる有効性評価を行った。その結果、学習 データで 4 年分の記事を用いたモデルにて比較的良好な結果を得ることが確認できた。分位分けした結果では高分位銘柄についてはスペシフィックリター ンの有意性が確認出来たものの、低分位銘柄につい ては確認出来なかった。これは四季報データ自体の 肯定語の占める割合が多いことが起因していると考 えられる。今後の課題としては、データ量の多い金融ニュースデータを利用した場合の分析や、比較的肯定後、否定語の割合に差がない決算短信のデータ を用いた検証などが挙げられる。

## 参考文献

[1]高野海斗, 酒井浩之, 坂地泰紀, 和泉潔, 岡田奈奈, 水内利和. 株主招集通知における議案タイトルとその分類及び開始ページの推定システム. 自然言語処理, Vol. 25 , No. 1, pp. 3-31, 2018.

[2]Tomoki Ito, Hiroki Sakaji, Kiyoshi Izumi, Kota Tsubouchi, and Tatsuo Yamashita. Ginn: gradient interpretable neural networks for visualizing financial texts. International Journal of Data Science and Analytics, Vol. 9, No. 4, pp. 431-445, 2020.

[3]高野海斗, 酒井浩之, 中川慧. 学習データの自動生成によ る深層学習を用いた株主招集通知の重要ページ抽出. 人工知能学会論文誌, Vol. 36, No. 1, pp. WI2-G G $_{1}--19,2021$.

[4]和泉潔, 坂地泰紀, 伊藤友貴, 伊藤諒. 金融テキストマイニ ングの最新技術動向 (特集 ai の金融応用 (実践編)). 証券 アナリストジャーナル= Securities analysts journal, Vol. 55, No. 10, pp. 28-36, 2017.

[5]Nakagawa Kei, Sashida Shingo, Sakaji Hiroki, and Izumi Kiyoshi. Economic causal chain and predictable stock returns. In 2019 8th

図 22005 年 9 月から 5 年分の記事におけるポジティブ ワードの出現度

図 32005 年 9 月から 5 年分の記事におけるネガティブ ワードの出現度

International Congress on Advanced Applied Informatics (IIAIAAI), pp. 655-660. IEEE, 2019.

[6]Kiyoshi Izumi and Hiroki Sakaji. Economic causal-chain search using text mining technology. In Proceedings of the First Workshop on Financial Technology and Natural Language Processing, pp. 61-65, 2019.

[7]山本零, 川代尚哉, 栗田昌孝. 決算短信と四季報テキスト情報の投資戦略への利用可能性検証. ジャフィー・ジャーナ ル, Vol. 18, pp. 46-62, 2020.

[8]Zheng Tracy Ke, Bryan T Kelly, and Dacheng Xiu. Predicting returns with text data. Technical report, National Bureau of Economic Research, 2019.

[9]John Y Campbell, John J Champbell, John W Campbell, Andrew W Lo, Andrew W Lo, and A Craig MacKinlay. The econometrics of financial markets. princeton University press, 1997.


# 医師の経験をよく反映した擬似カルテ文書の作成方法

香川璃奈馬場雪乃鶴嶋英夫
筑波大学医学医療系 筑波大学システム情報系
\{kagawa-r, hideo-tsurushima\}@ md.tsukuba.ac.jp baba@cs.tsukuba.ac.jp

## 1 背景と目的

電子カルテには、日々の臨床現場での多様なデー タが蓄積される。カルテの中でも文書には、患者の 主観的な訴えや医師の思考過程など、構造化が容易 とはいえない多彩な情報を、医師が日々記載してお り、その再利用は教育研究目的でも有用である。し かしその一方で、文書に記録される豊富な情報は病歴すなわちプライバシーであり、保護せねばならな い。名前や住所などの個人識別符号を除去した文書 であっても、制限のない公開は日本を含む多くの国 と地域で難しく、ドイツなどでは研究者による利用 が事実上不可能となっている [1]。

そこで我々は、時代や地域に依存する個人情報の 定義、言語や医療体制、対象疾患を問わずに本物ら しい擬似的なカルテ文書データセットを作成できる、汎用的な枠組みが必要だと考えた。

## 1.1 提案フレームワークの方針

まず、教育研究目的で有用な疑似カルテ文書デー タセットが満たすべき要件を 2 つに整理した。

(1) 臨床的妥当性

カルテ文書には、患者の訴え、検査結果、治療計画とその根拠、家族歴や嗜好歴などが記載される。疑似文書には、これらが 1 人の患者ごとに、臨床的 な矛盾なく記載されている必要がある。また、実臨床で臨床家が対応に苦戦する、複雑な患者像を描け てこそ、教育研究目的で価値がある本物らしいデー タセットになると考える。その一方で、臨床的妥当性は医療制度などにも影響されるため、実際にどの ような臨床的特徴を持つ患者がどの程度存在するの かは不明である。

（2）カルテ文書に特徴的な記載の妥当性

多忙な臨床現場において専門知識を持つ医師が記載するカルテ文書には、文脈によって意味が変化す る極端な省略表現やスペルミスを含む非文法的な構造が多用されることが、国や地域を問わず指摘され ている $[2,3]$ 。その一方で、どのような特徴が存在す
るのかを網羅的に明らかにした研究は存在しない。

これらは、カルテ文書の網羅的な閲覧が倫理的観点から不可能であることから、医師にとっても経験的な知見であり評価することは難しい。Generative Adversarial Network に代表されるデータ生成技術は 医療データにも応用されているが、現状で生成され ている文書は限られた内容の短文 $[4,5,6]$ が主であ り、これらを組み合わせても 2 つの要件を満たす擬似文書データセットの作成は困難である。そもそも プライバシー保護の観点から、データ生成に資する 大規模なカルテ文書収集も容易ではない。また、既存の公開カルテ文書として、医師が記憶と経験に基 づいて記載した 670 個の文書[7]や、医師が教育目的 で記載した書籍からの抜粋[1]から成るデータセッ トが存在するが、これらは先述の 2 つの要件の評価 が明示的に行われておらず、特に(2)の特徼が反映さ れていないことが指摘されている[8]。すなわち 2 つ の要件を満たして自由に利用可能な擬似カルテ文書 は存在しない。

そこで我々は 2 つ要件を満たすデータセット作成のために 3 つのステップからなるフレームワーク を提案する。

Step 1: 臨床的妥当性を満たす文書の大規模な生成

Step 2: カルテ文書に固有な特徴の種類とその多様性の顕在化

Step 3: Step 1 で生成された文書のうち Step 2 で得ら れた特徴を満たす文書を選択し、擬似カルテ文書デ ータセットとする。

## 1.2 本研究の目的と貢献

本研究は、提案フレームワークの有効性を実証す ることを目的とする。効率的かつ現実的な手法で実証するため、クラウドソーシングを利用する。本研究の貢献は以下の通りである。

(i)専門的な文書を生成するフレームワークの提案

(ii)カルテ文書に固有な特徴の種類とその多様性の 顕在化

(iii)医師が擬似的に記載する文書よりも本物のカル

テ文書に類似していると評価された、9,856 個の擬似 カルテ文書の公開

## 2 方法

## 2.1 材料

筑波大学附属病院を2013 年 1 月 2018 年 9 月に受診した患者 53,246 人からランダムに選択した 245 人 の患者(女性 $48.2 \%$ 、平均年齢 $60.1 才$ 才)の文書(カルテ 文書の一般的なテンプレートである SOAPフォーマ ットに則るもの。以下、本物のカルテ文書と呼ぶ)を 利用した。また、既存の擬似カルテ文書[7]から SOAP フォーマットに則る 257 個の文書(以下、既存公開文書と呼ぶ)を利用した。各文書が記載された診療科を 筆頭著者が推定した。

解析には以下を利用した。Python 3.7.2、NumPy

1.17.2、SciPy 1.2.1、Pandas 0.24.2、Matplotlib

3.0.3、NetworkX 2.3、Apyori 1.1.1、Community

1.0.0、R 4.0.2、exactRankTests packages $0.8-21$ 。

## 2.2 提案フレームワークの実現例

本研究では、クラウドソーシングを利用すること で提案フレームワークを低コストで実現した(図 1)。前処理として、本物のカルテ文書の固有名詞や 日付などを筑波大学附属病院臨床研究倫理審查委員会から承認を得た手順で書き換え、患者個人が特定 されないことを著者ではない 3 名が確認した。

## step 1 : 臨床的妥当性を満たす文書の生成

模倣をすることで背景知識がなくても事象を再現 できる人間の認知特性[9]を参照し、クラウドワーカ 一が本物のカルテ文書を模倣することで臨床的妥当性を満たす文書を生成した。(a) まず、本物のカルテ 文書を SOAP フォーマットに則って $\mathrm{S}, \mathrm{O}, \mathrm{A} / \mathrm{P}$ の 3 種類に分割した 260 個の文書(140 人の患者分)を作成 した。(b)その中から同じ診療科で記載された同じ 意味( $\mathrm{S}$ または $\mathrm{O}$ または $\mathrm{A} / \mathrm{P})$ に分割された文書をワ 一カーに提示し、ワーカーは提示された文書を模倣 した文書を 1 つ記載した。一度に提示される文書の 数は 1, 2, 3 個からランダムに決定した。ワーカー1 人あたり 20 回作業を行い報酬は 660 円とした。(c) ワーカーが記載した模倣文書のうち模倣の際に提示 された本物のカルテ文書に同じ患者が含まれる模倣文書をSOAP フォーマットに則って再構成した。こ れを生成文書と呼ぶ。同じ患者に基づく模倣文書を 再構成することで、生成文書の中で臨床的な矛盾が生じにくい一方で、別の患者のデータに基づく記載 が含まれることで非実在患者の情報が記載された文書であることを担保した。

図 1 提案フレームワークの概略

## step 2 : カルテ文書に固有な特徴の顕在化

比較を行うことで相違点の判断能力が高まるとい う人間の認知特性 [10]を参照し、以下の 2 段階のマ イクロタスクを実施した。(a) 本物のカルテ文書と 既存公開文書をそれぞれワーカーに提示し、2 者の 違いを「患者の不安な気持ちが記載されている」「日本語の文章の中に英単語が混ざっている」のよ うに任意の数の yes/no クエスチョンのかたちでワ 一カーが記載した。一度に提示する文書数は 1,3 , 5, 7, 10 個ずつのいずれかからランダムに決定し た。得られた回答を特徴候補と呼ぶ。 72 人のワー カーが 50 回ずつ作業を行い、 1 人あたり報酬は 550 円とした。(b) 類似する特徵候補を集約すること で、カルテ文書に固有な特徴を明らかにしたい。そ こでまず、ランダムに選択した 100 個の本物のカル テ文書と、その文書が満たす特徴候補のぺアを取得 した。本物のカルテ文書一つと特徴候補がワーカー に提示され、ワーカーは提示された本物のカルテ文書が満たす特徴候補を任意の数、選択した。1 人あ たり 25 回作業を行い報酬は 440 円とした。得られ た本物のカルテ文書と特徴候補のぺアのうち、出現頻度が低くても強い相関があるぺアを取得するた め、lift[11]が 5 以上のペアを採用した。(c) 類似す る特徴候補を集約するため、(b)でぺアとして採用 された本物のカルテ文書集合間の Jaccard 係数が 0.5 以上の特徴候補同士を類似しているとみなした。特徵候補をノードとし類似する特徴候補間にエッジが あるネットワークを作り、Louvain 法を適用してコ ミュニティを抽出した。コミュニティ毎に、構成す る特徴候補の中から延べ 105 人のワーカーの多数決 で決定された最も代表的な特嘚候補を、本物のカル

テ文書に固有な特徴(以下、記載特徴と呼ぶ)とし

た。 1 人あたりランダムに選択された 50 個のコミ

ユニティについて作業し報酬は 440 円とした。各記載特徵について、カルテ文書を業務で閲覧する治験 コーディネーター 3 名が「この特徴を持つカルテ文書は存在しない $(-2) 」$ から「存在する $(+2)$ 」までの 5 段階のリッカート尺度で評価した。

## step 3 : カルテ文書に固有な特徴を持つ擬似カ ルテ文書の選別

生成文書から 100 個をランダム選択し、生成文書一つと記載特徼を延べ 50 人ワーカーに提示した。 ワーカーは、提示された文書が満たす記載特徴を任意の数、選択した。 1 人あたりランダムに選択され た 10 個の生成文書について作業し報酬は 550 円と した。記載特嘚のうち治験コーディネーターによる 評価の平均が 0 より小さい記載特徴を満たすと判断 したワーカーが半数以下の生成文書を、 2 つの要件 を満たした擬似的なカルテ文書と判断した。

## 2.3 作成した擬似カルテ文書の評価

提案フレームワークによって得られた疑似カルテ 文書と、ランダムに選択した 100 個の本物のカルテ 文書との類似性を評価した。比較対象として、2人 の医師が臨床現場を再現した実験環境で電子カルテ 様画面を利用して記載した 19 個の文書(医師記載文書と呼ぶ)および 257 個の既存公開文書と本物のカ ルテ文書との類似性の比較も行った。類似性の量的評価として、文書あたりの、標準病名数[12]、MeCab0.996 と mecab-ipadic-2.7.0 dictionary を利用して求め た形態素数、文章の難易度(readability)を評価する 13 段階からなる指標である T-13[13,14]を計測した。類似性の質的評価として、医師 3 人が、上記 4 種類の 文書からそれぞれランダムに選択した 12 個ずつを ランダムな順番に閲覧し、各文書を実際のカルテ文書だと思うかを「思わない(1)」から「思う(10)」まで の 10 段階リッカート尺度で回答した。各指標につ いて、本物のカルテ文書とそれ以外の 3 種類の文書 の間の、スコアの平均値の有意差検定を行った。

Shapiro-Wilk 検定と Bartlett の結果に基づき、文書あ たりの標準病名と形態素数の平均値の比較には Brunner-Munzel 検定を用い、readability と医師による 質的評価のスコアの平均値の比較には MannWhitney U 検定を利用した。また、データセットの スコアの分布間の Kullback-Leibler (KL)擬距離(式 (1))を求めた。 $p(x)$ は本物のカルテ文書のスコアの分布、 $q(x)$ はそれ以外の 3 種類のカルテ文書のスコア の分布である。

$
D_{K L}(p(x) \| q(x))=\sum_{x} p(x) \ln \frac{p(x)}{q(x)}
$

## 3 結果

## 3.1 クラウドワーカーの統計データ

延べ 1,662 人のクラウドワーカーのうち $97.3 \%$ は 医療従事者でなく、医療系の学生経験もなかった。

## 3.2 提案フレームワークの実現例

## step 1 : 臨床的妥当性を持つ文書の生成

35 人のワーカーが延べ 700 個の文書を作成し、再構成により 9,856 個の文書が生成された。

## step 2 : カルテ文書に固有な特徴の顕在化

3,197 個の特徴候補から 176 個の記載特徴が抽出 された。コミュニティが抽出され、3 人の治験コー ディネーターの評価によりそのうちの 166 個がカル テ文書の記載特徴とされた(表 1)。また、Step 2 と同様の実験を 3 人の治験コーディネーターが行い取得 された 105 個の特徴と、記載特徴を著者が比較した ところ定性的な違いは認められなかった。

## step 3 : カルテ文書に固有な特徵を持つ擬似力 ルテ文書の選別

100 個の生成文書のらち 83 個が、 2 つの要件を満 たした擬似的なカルテ文書と判断された。

表 1 カルテ文書に固有な特嘚の例

## 3.3 作成した擬似カルテ文書の評価

既存公開文書、医師記載文書、擬似カルテ文書、本物のカルテ文書のそれぞれについて、文書あたり の標準病名数(平均值)は $23.56 、 37.47 、 45.18 、 60.48$ 、形態素数(平均値)は 89.54、105.47、164.04、178.34、 readability スコア(平均値)は 9.70、8.08、10.22、10.29、医師の質的評価(平均値)は $4.53 、 5.25 、 5.20 、 5.0$ であ った。既存公開文書や医師記載文書と異なり、擬似 カルテ文書では 4 つの全ての指標について、スコア の平均値が本物のカルテ文書と等しいという帰無仮説が棄却されなかった(図 2, 表 2)。各指標の本物の

カルテ文書のスコアの分布からの KL 擬距離は、既存公開文書、医師記載文書、擬似カルテ文書の順に、文書あたりの標準病名数は $0.385 、 0.569 、 0.244$ 、形態素数は $0.312 、 0.942 、 0.115 、$ readability スコアは $0.098 、 4.160 、 0.633$ 、医師の質的評価は $1.573 、 1.111$ 、 0.767 であった。すなわち、擬似カルテ文書が他の 2 つのデータセットよりも本物のカルテ文書に類似し ていると判断した。作成した擬似カルテ文書は公開 iした。

表 2 作成した擬似カルテ文書の評価

 &  & 0.54 &  & 0.36 \\

標準病名

図 2 各評価指標のスコア

## 4 考察

本研究では、医師にとっても経験的なカルテ文書 の特徴に着目して提案した擬似文書作成フレームワ 一クを利用して、医師が電子カルテ画面を実験用に再現して記載した文書よりも本物のカルテ文書に類似している擬似カルテ文書を作成した。

## 4.1 提案フレームワークの汎用性と限界

提案フレームワークは、国や地域に依存しない点 で汎用性があり、本実験のようにクラウドソーシン グを利用すれば少数の本物のカルテ文書から擬似的 なカルテ文書を作成できる利点を持つ。その一方で、 カルテ文書に固有の特徴を明らかにする際に、実際 のカルテ文書には存在しない特徴を明らかにするこ とはできない提案手法である点は限界である。

## 4.2 擬似カルテ文書の汎用性と限界

本研究で作成した擬似カルテ文書は、プライバシ 一の問題なく自由に利用可能である。日本語の擬似 カルテ文書として、公開文書数は知る限り最大であ る。文書には「ビタミン B12 内服=痺れ」(痺れの訴 えに対してビタミン B12 を内服する、という意味) のようなカルテ文書に特徴的な記載が存在した。

一方で、医療の背景知識を持たないクラウドワー カーによる記載、また利用した本物のカルテ文書の 特徴を原因とする未知の偏りが生じる可能性は否定 できない。カルテ文書の網羅的な閲覧が倫理的観点 から不可能であることに起因する限界である。

## 5 結論

本研究では、文書の内容の一貫性を保つ必要があ り、文書に固有の特徴が明らかになっておらず、大規模なデータ収集が困難、という 3 つの特徴を持っ たカルテ文書を、擬似的に生成するフレームワーク を提案した。さらに提案フレームワークを、専門知識を持たないクラウドワーカーにより実現すること で、医師が臨床現場を模した環境で記載したカルテ 文書よりも本物らしいと判断できる擬似カルテ文書 を作成した。カルテ文書をはじめとした公開が困難 な文書資源を利用した言語処理研究において、提案 フレームワークが利用されれば幸いである。

## 6 倫理的配慮および謝辞

本研究は筑波大学附属病院臨床研究倫理審査委員会の承認を得た (H30-145)。JST 未来社会創造事業 (JP19211284)、JSPS 科研費 (JP19K19347)、筑波大学社会工学データコモンズの助成を受けた。

## 参考文献

[1] Lohr, Christina, Sven Buechel, and Udo Hahn. "Sharing Copies of Synthetic Clinical Corpora without Physical Distribution-A Case Study to Get Around IPRs and Privacy Constraints Featuring the German JSYNCC Corpus." Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018). 2018.1259-1266.

[2] Savkov, A., Carroll, J., Koeling, R. et al. Annotating patient clinical records with syntactic chunks and named entities: the Harvey Corpus. Lang Resources \& Evaluation 50, 523-548 (2016).

[3] Aramaki A, Imai T, Miyo K, Ohe K. Robust classification for ungrammatical and fragmented texts. Proceedings of the $23^{\text {rd }}$ IEEE International Conference on Data Engineering Workshops; 2007 Apr 15-20:195-201

[4] Lee SH. Natural language generation for electronic health records. NPJ Digit Med 2018; 1(1): 1-7. PMID: 26900011 doi: $10.1016 /$ j.artmed.2016.01.003

[5] Guan J, Li R, Yu S, Zhang, X. Generation of synthetic electronic medical record text. Proceedings of the 2018 IEEE International Conference on Bioinformatics and Biomedicine; 2018 Dec 3-6:374-380; Madrid, Spain. Washington, DC: IEEE; 2018. doi: 10.1109/BIBM.2018.8621223

[6] Ive J, Viani N, Kam J, Yin L, Verma S, Puntis S, et al. Generation and evaluation of artificial mental health records for natural language processing. NPJ Digit Med 2020; 3(1): 1-9. PMID: 32435697 doi: 10.1038/s41746020-0267-х

[7] Aramaki E, Morita M, Kano Y, Ohkuma T. Overview of the NTCIR-11 MedNLP-2 task. Proceedings of the 11th NTCIR Conference; 2014 Dec 9-12:147-154; Tokyo, Japan. Toyko: NII; 2014.

[8] 香川璃奈, 篠原恵美子, 河添悦昌, 今井健, 大江和彦:医師の暗黙知に基づくタグ付きカルテコーパ
ス作成の要件の検討、言語処理学会第 24 回年次大会論文集 2018.757-760

[9] Kuniyoshi Y. The science of imitation — towards physically and socially grounded intelligence - Real World Comput Proj Joint Symp 1994; 95-96.

[10] Gentner D, Markman AB. Structure mapping in analogy and similarity. Am Psychol 1997; 52(1): 45-56.

doi: 10.1037/0003-066X.52.1.45

[11] Tan PN, Kumar V, Srivastava J. Selecting the right objective measure for association analysis. Inform Syst. 2004; 29: 293-313. doi: 10.1016/S0306-4379(03)000723

[12] ICD10 対応標準病名マスター(引用日 : 2020 年 9

月 15 日) https://www2.medis.or.jp/stdcd/byomei/index.html.

[13] Sato S, Matsuyoshi S, Kondoh Y. Automatic assessment of Japanese text readability based on a textbook corpus. Proceedings of the $6^{\text {th }}$ International Conference on Language Resources Evaluation; 2008 May 29-30:654-660; Marrakech, Morocco. Luxemburg: ELRA; 2008.

[14] 帯 3 日本語テキストの難易度を測る(引用日： 2020 年 9 月 15 日 ) http://kotoba.nuee.nagoyau.ac.jp/sc/obi3/

## 付録 公開した擬似カルテ文書の例

(S)

プールで週 1 回のリハビリ、10 分の散歩を初めて、ストレスは減り、体が軽くなったようだ。体調 はまあまあだ。

(O)

推定塩分摂取量 $6.11 \mathrm{~g} /$ day

体重 $66.7 \mathrm{k} \mathrm{g}$

骨格筋 $23.2 \mathrm{k} \mathrm{g}$

骨格筋量 $25.4 \mathrm{k} \mathrm{g}$

低血糖の自覚はないです。

74-199-177-

$(\mathrm{A} / \mathrm{P})$

昨夜からランタス 3 単位で開始したところ、今朝から低血糖になり、ランタスは 1 単位へと減らす。

また、退院は血糖コントロールが安定するまで外科主科で診てもらう。

当科と併せて診てもらい、血糖コントロール続けていく。

退院の目処が立ち次第外科へ連絡。

$\mathrm{Q}(1-1-1) \mathrm{G}(0-0-0-1 \downarrow) \curvearrowleft$

ストレスがあり、栄養や運動の調整は難しい

ビタミンB 12 内服二疩れ


# 商品レビューの複数の観点からの有用性の評価

曽田竬人
北陸先端科学技術大学院大学
s1910131@jaist.ac.jp

## 1 はじめに

ユーザが商品の購入を検討する際，他のユーザに よって書かれた商品のレビューを参考にすること は日常的に行われている. しかし, レビューの中に は，ユーザにとって役に立つものもあればそうでな いものもある. 膨大な量のレビューの中から有用な レビューを見つけるのは多大な労力を要するため, これを効率よく見つける技術が求められる。このよ うな背景の下, レビューの有用性を自動判定する研究が行われてきた。しかし, 先行研究の多くは単に レビューが有用であるか否かを判定するが，どのよ うなレビューが有用かはユーザによって異なると考 えられる。例えば，商品を使用した体験が役に立つ と考えるユーザもいれば，他の商品との比較を重視 するユーザもいるだろう。

本研究では, 商品レビューの有用性を複数の観点 から評価し，その評価結果を包括的にユーザに提示するシステムを提案する [1]. 様々な観点による 有用性の評価結果を閲覧できるようにすることで, ユーザが自身の嗜好に合わせて有用な商品レビュー を見つける作業をサポートすることを狙う。

## 2 関連研究

山澤らは， Amazon ${ }^{1)}$ のレビューを対象に，ユーザ が内容を信用して利用できる文 (有用文)を判別する Support Vector Machine (SVM) を学習した [2]. 佐々木らは，人手による有用なレビューの分析結果を基 に，機械学習を用いて有用なレビューを判別する手法を提案した [3]. Fan らは，製品のメタデータ(夕 イトル,ブランドなど) とレビューテキストの両方を 入力とし, レビューが有用か否かを分類するディー プニューラルネットワークを提案した [4]. Vo ら は, Rodak ら [5] が提案したレビューの特徴を素性 として使用し, Elastic Net 回帰を使用してレビュー の有用性を予測し，レビューをランク付けし，その

\author{
白井 清昭 \\ 北陸先端科学技術大学院大学 \\ kshirai@jaist.ac.jp
}

上位のレビューをユーザに提示するシステムを提案 した [6].

これらの先行研究は，レビューが有用か否かのみ を判定しているのに対し, 本研究では, 有用性の観点をいくつか定義し, 個々の観点毎にレビューの有用性を判定することで，ユーザが多角的な視点から 有用なレビューを見つけることを支援する。

## 3 提案手法

## 3.1 有用性の観点

本研究では, レビューの有用性を判定する先行研究 $[3,6,7]$ の知見や著者らによる経験などを踏まえ,以下の 7 つの観点からレビューの有用性を評価する ことを提案する。

観点 1 評価表現に対する根拠がある

単に商品の善し悪しを評価するだけでなく，その 善し悪しの根拠となる事実もあわせて書いていると き，そのレビューの有用性は高いと評価する。図 1 の例では，「便利です」という評価の根拠として「大 きさもちょうど良い」を示している.

観点 2 商品に関係のある言及が多い

レビューの中には，商品に言及している文もあれ ば，ショップの対応や配送業者の対応など, 商品以外のことに言及している文もある。商品に言及して いる文が多ければ多いほど有用性は高いと評価す る. 図 1 の例では,「発送までが遅かったのが残念 でした」という文は商品に言及していない.

観点 3 他の商品と比較している

レビューが評価対象の商品と他の商品を比較し ているとき，ユーザにとって参考になる情報を提供 している可能性が高いため, 有用性が高いと評価 する. 図 1 の例では, 「商品 $\mathrm{B}$ に比べて軽そう」と いった比較がある.

観点 4 実際に商品を使用した(あるいはしていな い)と推測できる

1) https://www.amazon.co.jp/

図 1 レビューの例

実際に商品を使用していない人のレビューは有用性が低いと評価する。図 1 の例では，まだ実際に使用していませんが,」という句は，ユーザが商品を 実際には使っていないことを表し，このレビューの 信頼性が低くなる。

観点 5 評価(レーティング)に対する根拠がある 多くの ECサイトやロコミサイトでは，ユーザは 商品に対して星の数などでレーティングをつけるこ とができるが，そのレーティングの根拠となる文が 示されているとき, 有用性は高いと評価する. 図 1 の例では, 星の数は 4 と高く, 「便利です」といった 評価表現はその理由の説明とみなせる。

観点 6 分量が多い

ごく簡単に感想を書いた短い一文のレビューよ り，商品に対する意見・感想を詳細に書いた長いレ ビューの方が，有用性が高いと評価する。

観点 7 文章が読みやすい

読みやすい文章で書かれたレビューほど有用性が 高いと評価する。

以下，観点 1 ，観点 2 ，観点 3 による有用性の評価手法については 3.2，3.3，3.4 項で，これら以外の観点による有用性の評価については 3.5 項で述べる.

## 3.2 根拠を含む文の検出

本項では，レビュー文が根拠を含むか否かを判定 する手法について述べる。基本的な考えとしては，根拠を示す接続詞で終わる文節 (例は図 1 の「良い ので」) が評価表現を含む文節 (例は図 1 の「便利で す」) に係るとき，そのレビュー文は根拠を含むと 判定する。具体的には，以下のいずれかの条件を見 たす文を根拠を含む文として検出する。

条件 1 連用形 $\rightarrow$ 評価表現

用言の連用形で終わる文節が評価表現を含む文節 に係る。

(例) 片手でも持ちやすくて 実用的です2)

のが，ので，のは，為，ため，点が，くて， のも，ところが，ところも

図 2 根拠を示す接続詞

条件 2 根拠を表す接続詞 $\rightarrow$ 用言

根拠を示す接続詞で終わる文節が用言を含む文節 に係る。

(例) 耐熱性能も良いのでライフも期待できる

上記を踏まえ，以下の手続きでレビュー文に根拠 が含まれるかを判定する。

1. CaboCha[8]を用いて文節の係り受け解析を 行う.

2. 評価表現もしくは用言 (動詞, 形容詞, 形容動詞)を含む文節 $\mathrm{E}$ を検出する。評価表現は以下 の 2 通りの方法で検出する.

・日本語評価極性辞書 (用言編)[9] に含まれ る評価表現

$\cdot$感情分析 API である COTOHA API[10] に よって検出された評価表現

3. 文節 $\mathrm{E}$ に直接係る文節 $\mathrm{R}$ を検出する。文節 $\mathrm{R}$ が根拠を示す接続詞 (図 2)を含むかどうかを判定する。

4. 文節 $\mathrm{R}$ と $\mathrm{E}$ が上記の条件 1 ，条件 2 のいずれか を満たすとき，根拠を含むと判定する．それ以外は含まないと判定する。

最終的なシステムでは，上記の手法で根拠を含む 文の検出を試み，レビューに根拠を含む文が出現す るか否かをユーザに提示する。また，含む場合には 検出された文を強調して提示する。

## 3.3 商品への言及度の判定

本項では，商品レビューが評価対象の商品につい て言及している度合を「商品言及度」(以下，単に 言及度と記す) と定義し，これを推定する手法につ いて述べる。言及度はユーザレビューの有用性を表 す指標の 1 つとしてユーザに提示することを想定 する。

本研究では, 評価対象の商品のカテゴリに固有の 単語がどれだけ多く含まれるかで言及度を定量化す る. 例えば，商品カテゴリがペットのとき，「大型犬」「フード」「匂い」「食いつき」などはペットに関連する商品に言及するときによく使われる単語であ り，またこのような単語が多いレビューほど商品に 言及していると言える.

同様に表記する。

まず，商品カテゴリ毎に単語の重要度を算出す る. 商品カテゴリ $c$ におけるキーワード $k$ の重要度 $\operatorname{Sig}(k, c)$ は, TF-IDF の考え方に基づき, 式 (1)のよ うに定義する。

$
\operatorname{Sig}(k, c)=t f_{k, c} \cdot \log \frac{N_{c}+1}{c f_{k}}
$

$t f_{k, c}$ は商品カテゴリ $c$ のレビュー集合に含ま れるキーワード $k$ の相対出現頻度, $c f_{k}$ (category frequency) は $k$ が出現するカテゴリの数, $N_{c}$ はカテ ゴリの総数である．重要度の算出は楽天デー夕 [11] における楽天市場の商品説明文の集合を用いる，商品カテゴリは「ビューティ」「文房具」などの 18 種 とする．重要度を算出するキーワードは名詞もしく は複合名詞に限定する。

与えられたレビュー $r$ の言及度を式 (2) のように 定義する。

$
\operatorname{Ex}(r, c)=w \cdot \sum_{k \in K_{r}} \operatorname{Sig}(k, c)+(1-w) \cdot \log \operatorname{len}(r)
$

言及度は, レビュー内の全てのキーワード $\left(K_{r}\right)$ の重要度の和と, レビューの長さ (文字数) len $(r)$ の重み つき和とする， $c$ は，レビュー $r$ が評価対象とする 商品のカテゴリである. len $(r)$ を考慮したのは, 長 いレビューほど商品への言及度が高いという直観に 基づく．重み $w$ は実験的に決定する。

## 3.4 比較の有無の判定

本項では，簡単なルールベースの手法で複数の 商品を比較する文を検出する手法について述べる. Amazon の家電とホームカテゴリの商品レビュー を 1,201 件取得し, 複数の製品を比較しているレ ビューを 176 件見つけた。これらのレビューから，他の商品との比較があるレビューを検出するルール を策定した。ルールは以下の 3 つに大別される。

・比較を表すキーワード＋評価表現複数の商品の比較を示唆するキーワードを含 み，そのキーワードの後に評価表現が出現す るとき，そのレビューは比較ありと判定する。「くらべる」「違う」「反面」など， 34 個のキー ワードからなるルールセットを作成した.

・レビューの最初の文で比較を示唆する表現「○○から買い換えました」などの表現がレ ビューの最初の文に出現するとき, レビュー全体で他の商品との比較があると判定する。「買 い換え」「以前」など 6 つのキーワードを設定
し，それが最初の文に出現するときに比較あり と判定するルールセットを作成した。

・「より」を含む文

節が評価表現を含む文節に直接係るとき，比較 を含むレビューと判定する。

(例) 他の製品より 良いと思います.

最終的なシステムでは, 「他の商品と比較して いる」という観点からの有用性を示すために，レ ビューの中に比較があるか否かを表示することを 想定している。ここでのルールは，比較を含むレ ビューの検出について, 再現率よりも精度を重視し て設計している.

## 3.5 その他の観点からの有用性の評価

これまで述べてきた 3 つの観点以外については，現時点では評価方法を検討している段階である.

観点 4「実際に商品を使用したと推測できる」に ついては, 予備調査として, Amazonに投稿され た本，電子機器，ホーム・キッチンカテゴリのレ ビューを 1,385 件取得し, 商品を使用していないと 思われるレビューを人手で判定した。その結果，該当するレビューはわずか 11 件であった。実際に商品を使用していないレビューの数が非常に少ない ことから，これを自動検出する手法の検討は行わな かった. とはいえ, 別の商品カテゴリのレビューや Amazon 以外のサイトに投稿されたレビューでは商品を使用していないレビューが多く存在する可能性 もあり，今後も調査を続けたい。

観点 5 「評価(レーティング) に対する根拠がある」 については, レビューの極性判定を行い，その極性 がレーティングに近いかどうか，また極性判定の信頼性が十分高いかどうか，などの手法によって評価 する予定である。

観点 6「分量が多い」については，単語数や文字数などで比較的容易に定量化できると考えられる。

観点 7「文章がよみやすい」については，文書の 平易さや読みやすさを判定する先行研究があり, こ れらの技術を適用することが考えられる。

## 4 評価実験

本節では観点 1 , 観点 2 , 観点 3 で有用性を判定 する提案手法の評価実験について述べる.

## 4.1 根拠を含む文の検出手法の評価

Amazon に LED 電球，ルンバ e5，インパクトドラ イバー，洗顔料について投稿されたレビューをラン ダムに 50 件取得した。これらのレビューに対し,根拠を含む評価文が現われるかを著者 2 名が独立に 判定した。提案手法は根拠を含む文を抽出する手法 であるので，商品に対する評価とその根拠が複数の 文に書いてある場合は除外し，ひとつの文に書かれ ているかを判定した。二者の判定の一致率は 0.76 , $\kappa$ 係数は 0.56 であった。

この評価デー夕に対し， 3.2 項で述べた手法で根拠を含む文を検出し，その精度，再現率， $\mathrm{F}$ 值を調 べた。また, 根拠の有無の判定が一致する割合 (正解率) も算出した. 結果を表 1 に示す. 再現率は比較的高いが, 特に評価者 2 に対する精度が低く, $\mathrm{F}$値も 0.7 程度に留まっている。

表 1 根拠を含む文の検出の評価結果

## 4.2 商品への言及度の判定の評価

言及度の計算に用いた 18 のカテゴリについて， それぞれのカテゴリに投稿されたレビューをランダ ムに選択し, レビューの組を 10 件ずつ, 計 180 件作成した。これらに対し, 著者 2 名が独立に, どち らのレビューがより商品に言及しているかを判定 した。このとき，どちらの言及度が大きいか判定が 難しい場合には「不明」とした。最終的に, 評価者 のどちらかが不明と判定した 24 件のデー夕を除く 156 件を評価データとした。二者の判定の一致率は 0.904， $\kappa$ 係数は 0.807 であった。この評価デー夕に 対し, それぞれのレビューの組に対して 3.3 項で述 べた手法でレビューの言及度を算出し, 言及度の大 きいレビューが人手による判定の結果とどれだけ 一致するか (正解率)を調べた。 ベースラインとし て，常に文字数の多いレビューを言及度の大きいレ ビューとして選択する手法 (式 (2)の $w$ を 0 とした 場合) と比較した。図 3 は, 重从 $w$ を 0.990 から 1 ま で $10^{-6}$ 刻みで変動させたときの正解率の変化を示 している.

ベースライン (図 3 の直線) の正解率は, 評価者 1 (a) 評洒者 1

(b) 評価者 2

図 3 商品への言及度の評価結果

は 0.801 ，評価者 2 は 0.740 であった。提案手法につ いては，評価者 1,2 ともに $w=0.9983$ のときに正解率が最大となり，その値はそれぞれ $0.801 ， 0.769$ であった。提案手法がベースラインと同等もしくは 上回ることを確認した。ただし，パラメ夕 $w$ の最適化は本来はテストデータとは別の開発データで行う べきである. 開発データを用いた $w$ の最適化は今後 の課題である。

## 4.3 比較の有無の判定の評価

3.4 項で説明した個々のルールについて，それを 用いて比較を含むレビューを検出したときの精度を 測った。ルールの設計に用いた家電・ホームカテゴ リのレビューに対する精度 (クローズド) と，新たに 取得した「ベビー」カテゴリのレビュー 557 件に対 する精度 (オープン)を調べた。いくつかのルールに ついて，検出精度が十分に高いことを確認した。例 を表 2 に示す。

表 2 比較を含むレビューを検出するルールの精度

## 5 おわりに

今後の課題として, これまで着手していない 4 つ 観点からの有用性評価を実現することが挙げられ る。一方，3つの観点からの有用性の判定について,本論文で提案した手法は比較的基本的なものであ り，これらをより洗練することも必要である。ま た，7つの観点からの有用性の評価結果をどのよう にユーザに提示し，ユーザのレビュー検索を補助す るシステムを実装するかも重要な課題である。

## 参考文献

[1]曽田颯人. 商品レビューの複数の観点からの有用性の評価. 修士論文, 北陸先端科学技術大学院大学, 32021.

[2]山澤美由起, 吉村宏樹, 増市博. Amazon レビュー 文の有用性判別実験. 情報処理学会研究報告自然言語処理 (NL), Vol. 2006, No. 53 (2006-NL-173), pp. 15-20, 2006.

[3]佐々木優衣, 関洋平. 商品レビューを対象とした 有用性の定義と判別. 第 6 回データ工学と情報 マネジメントに関するフォーラム (DEIM2014) B5-1, 2014.

[4]Miao Fan, Chao Feng, Lin Guo, Mingming Sun, and Ping Li. Product-aware helpfulness prediction of online reviews. In Proceedings of the World Wide Web Conference, pp. 2715-2721, 2019.

[5]J. Rodak, M. Xiao, and L. Longoria. Predicting helpfulness ratings of amazon product reviews. Technical report, Stanford University,, 2012.

[6]Chau Vo, Dung Duang, Duy Nguyen, and Tru Cao. From helpfulness prediction to helpful review retrieval for online product reviews. In Proceedings if the Ninth International Symposium on Information and Communication Technology (SolCT 2018), pp. 38-45, 2018.

[7]木浪貴博, 小林亜樹. 商品レビュー文における主観的表現と有用性に関する検討. 情報処理学会第 77 回全国大会講演論文集, pp. 159-160, 2015.

[8]工藤拓, 松本裕治. チャンキングの段階適用に よる日本語係り受け解析. 情報処理学会論文誌, Vol. 43, No. 6, pp. 1834-1842, 2002.

[9]小林のぞみ, 乾健太郎, 松本裕治, 立石健二, 福島俊一. 意見抽出のための評価表現の収集. 自然言語処理, Vol. 12, No. 3, pp. 203-222, 2005.

[10]NTT コミュニケーションズ. COTOHA API. https://api.ce-cotoha.com/contents/index.html. (2020 年 12 月閲覧).

[11]Rakuten Institute of Technology. 楽天デー夕公開. https://rit.rakuten.co.jp/data_release_ja/. (2020 年 12 月閲覧).


# 主観感情と客観感情の強度推定のための日本語データセット

\{kajiwara, chu, takemura, n-yuta, nagahara\}@ids.osaka-u.ac.jp
## 1 はじめに

感情分析は、対話システム [1] やソーシャルメ ディアマイニング [2] など多くの応用を持つ主要な 自然言語処理タスクのひとつである。感情分析は 活発に研究されており、テキストの感情極性の推定 [3] だけでなく、近年ではより詳細な感情の識別 や感情強度の推定 [4] が試みられている。

先行研究では、Ekman の 6 感情（喜び・悲しみ・驚き・怒り・恐れ・嫌悪） [5] や Plutchik $の 8$ 感情 （喜び・悲しみ・期待・驚き・怒り・恐れ・嫌悪・信頼）[6]が代表的な基本感情として用いられている。既存の感情分析データセットには、テキストの書き 手による主観的な感情強度のラベルを収集したも の [7] と、テキストの読み手による客観的な感情強度のラベルを収集したもの [8-13] が含まれる。多く の先行研究が客観的な感情強度ラベルを収集してき た1)ため、これまでの感情分析の研究は客観的な感情強度の推定に焦点を当ててきた。

本研究では、テキストの書き手による主観的な感情強度ラベルとテキストの読み手による客観的な感情強度ラベルの両方を収集し、これらの差異につい て調査する。まず、クラウドソーシングを用いて雇用した 50 人の主観注釈者が、SNS 上での自身の過去の投稿に主観的な感情強度を付与した。そして、収集した全投稿に対して、それぞれ 3 人の客観注釈者が客観的な感情強度を付与した。合計で、 17,000 件の投稿について、Plutchik の 8 感情 [6] の強度を、主観と客観の両方で 4 段階（無・弱・中・強）で付与 した日本語の感情分析データセット2)を構築した。

先述の通り、英語を中心に多くの感情分析データ セット [7-13] が公開されているが、テキストの書き 手が持つ感情と読み手が受ける感情の両方を収集し

表 1 感情強度ラベルの例 $(0:$ 無、1: 弱、2: 中、3: 強)

たのは本研究が初である。日本語では、鍜治ら [14] や鈴木 [15] の研究があるが、これらは感情極性を対象としており、多様な感情を扱っていない。

収集した主観ラベルと客観ラベルを比較した結果、怒りや信頼の感情を中心に、読み手は書き手の 感情を充分に検出できないことが明らかになった。表 1 に、書き手が強い悲しみと怒りの感情を持って 書いた投稿の例を示す。読み手は書き手と同じく悲 しみの感情を持っているが、怒りではなく驚きを感 じており、書き手と読み手の感情は充分に一致しな い。このように、書き手が強い怒りの感情を持って 書いたテキストでも、その半数以上に読み手は怒り を全く感じないなど、全体的に読み手は書き手の感情を過小評価する傾向が見られた。また、BERT [16] による感情強度の推定実験の結果、客観ラベルより も主観ラベルの推定が難しいことがわかった。テキ ストの書き手が持つ感情と読み手が受ける感情には 大きなギャップが存在し、テキストの「読み手」で ある機械学習モデルにとっても、書き手の主観的な 感情強度を推定することは難しいと言える。

## 2 感情分析データセットの構築

## 2.1 主観的感情強度ラベルの収集

クラウドソーシングサービスのランサーズ3)を用 いて、50人の主観注釈者を雇用した。注釈者の内訳は、男性が 22 人、女性が 28 人、 10 代が 2 人、 20 代が 26 人、 30 代が 18 人、 40 歳以上が 4 人である。

表 2 Quadratic Weighted Kappaによる評価者間のアノテーションの一致率

主観注釈者は、SNS 上での自身の過去の投稿に対 して、Plutchik の 8 感情 [6] の強度をそれぞれ 4 段階（無・弱・中・強）で付与した。ただし、テキス トからの感情分析という目的のために、画像付きの 投稿や URL 付きの投稿は対象外とした。各注釈者 は 100 件から 500 件の投稿にラベルを付けており、合計で 17,000 件の投稿と主観的感情強度のラベル を収集した。投稿時期については特に制限を設けな かったが、結果として 2011 年 6 月から 2020 年 5 月 までの 9 年の範囲の投稿が集まった。なお、投稿 1 件あたり 21.5 円の報酬を支払った。

収集したラベルの品質を評価するために、注釈者 ごとに 30 件の投稿を無作為抽出した。評価者（大学院生 1 人) は、投稿内容と 8 感情の強度ラベルを 見て、以下の基準で各投稿を 4 段階評価した。

・3: 付与されたラベルに完全に同意できる

・2: 付与されたラベルに概ね同意できる

・ 1 : 付与されたラベルに同意しにくい

・0：真面目にラベル付けしていると思えない

評価結果を注釈者ごとに平均すると、平均 2.1 点、最低 1.8 点、最高 2.5 点であった。なお、 0 点の投稿 は存在しなかった。平均 2 点を下回る注釈者は 5 人 いたが、著しく低品質な注釈者は見られなかった。

## 2.2 客観的感情強度ラベルの収集

同じくランサーズを用いて、3人の客観注釈者を 雇用した。注釈者の内訳は、30 代の女性が 2 人と 40 代の女性が 1 人である。客観注釈者は、 2.1 節で 収集した 17,000 件の投稿に対して、主観注釈者と同 じく、Plutchik の 8 感情 [6] の強度をそれぞれ 4 段階 で付与した。ただし、主観注釈者がテキストの書き 手である自身の感情を付与した一方で、客観注釈者 はテキストの読み手である自身の感情を付与した。 なお、投稿 1 件あたり 3.8 円の報酬を支払った。収集したラベルの品質を評価するために、注釈者間の一致率として Quadratic Weighted Kappa ${ }^{4)}$ [17] を計算した。表 2 の上段に、客観注釈者間のアノ テーションの一致率を示す。喜びの感情は $\kappa>0.6$ の substantial agreement、信頼の感情は $\kappa<0.4$ の fair agreement であるが、全体としては $0.5<\kappa<0.6$ の moderate agreement を確認できた。

## 2.3 主観注釈者の性格診断

本研究では、性格と感情の関係についても調査 するために、主観注釈者に対して性格診断を実施 した。性格 5 因子モデル [18] に基づく 60 項目の質問 [19] を通じて、調和性・外向性・情緒不安定性・開放性・誠実性の 5 種類の性格診断を実施した。こ の性格診断は、「陽気な」「素直な」などの 60 種類の 性格形容語に対する自身の該当度を 7 段階評価で申告し、各項目の該当度の足し引きによって 5 種類の 性格指標を計算するものである。4 節では、性格診断の結果を用いて感情分析モデルの改善を試みる。

## 3 データセットの分析

表 2 の下段に、主観注釈者と客観注釈者の間の感情強度の一致率を示す。客観注釈者間の感情強度の 一致率に比べて、主観注釈者と客観注釈者の間の感情強度の一致率は全体的に低い。特に、怒りの感情 において、客観注釈者間の一致率と主観注釈者-客観注釈者間の一致率に大きなギャップがある。な お、 3 人の客観注釈者の感情強度を平均すると、主観注釈者との一致率が全体的に若干向上した。

表 3 に、主観の感情強度ラベルと客観の感情強度 ラベルの混同行列を示す。例えば、喜びの感情にお いて、主観注釈者が無とラベル付けした投稿のう

4) https://scikit-learn.org/stable/modules/generated/ sklearn.metrics.cohen_kappa_score.html
表 3 主観ラベルと客観ラベルの混同行列（\%）

ち、客観注釈者が無を付けた割合は 91.7\%であり、客観注釈者が弱を付けた割合は $3.1 \%$ でる。怒り の感情に注目すると、テキストの書き手である主観注釈者が強を付けた投稿の $58.6 \%$ に対して、テキス トの読み手である客観注釈者は無を付けている。信頼の感情では更に顕著であり、主観注釈者が強を付

おり、読み手が書き手の感情を充分に検出できない ことがわかる。その他の感情についても、主観注釈者の感情強度が中以下の投稿については、客観注釈者によって無が付けられる割合が最も高い。また、主観注釈者の感情強度が無のときに客観注釈者の感情強度が弱以上になることは少なく、全体的に読み 手は書き手の感情を過小評価する傾向がある。

## 4 感情強度推定の実験

2 節のデータセットを用いて、感情強度（無・弱・中・強）を推定する 4 值分類の評価実験を行う。

## 4.1 実験設定

データセットは、 30 人 15,000 件の訓練用データ、 10 人 1,000 件の検証用データ、 10 人 1,000 件の評価用データに重複なく分割して実験する。単語分割に は MeCab（IPADIC-2.7.0）５［20]を使用する。

感情分析モデルの性能は、平均絶対誤差によって 評価する。主観注釈者が付与した感情強度ラベル （主観データ）を用いる評価と、3人の客観注釈者が 付与した感情強度ラベルの平均（客観データ）を用

いる評価の両方を実施する。感情分析モデルには、BERT [16] を用いる。事前訓練済みの $\mathrm{BERT}^{6}$ を再訓練し、 $\boldsymbol{y}=\operatorname{softmax}(\boldsymbol{h} \boldsymbol{W})$ と して感情強度を推定する。ただし、 $\boldsymbol{h}$ は BERT の [CLS] トークンから得られる素性べクトルである。主観データにおける評価と客観データにおける 評価の両方で、主観データで訓練した BERT（主観 BERT）と客観データで訓練した BERT（客観 BERT）の両方の性能を調査する。BERT の実装には Transformers ${ }^{7)}$ [21] を使用する。WholeWordMasking モデルを使用し、バッチサイズは 32 、ドロップアウ 卜率は 0.1、学習率は 2e-5、最適化は Adam [22] とし て、3エポックの early-stopping を適用する。

主観データの評価では、主観 BERT において以下 の 2 つの方法で主観注釈者の性格を考慮する。

・ $\mathbf{w} / \mathbf{P c}: \boldsymbol{h}_{c}=[\boldsymbol{u} ; \boldsymbol{v}] \boldsymbol{W}^{c}$ として、性格を考慮する。 ただし、uは 5 次元の性格情報ベクトルを BERT と同じ 768 次元に線形変換した性格表現であ り、v は BERT の [CLS] トークンから得られる 768 次元のテキスト表現である。感情強度の推定においては、 $\boldsymbol{h}$ の代わりに $\boldsymbol{h}_{c}$ を用いる。
- $\mathbf{w} / \mathbf{P a}: \boldsymbol{h}_{a}=\operatorname{attention}\left(\boldsymbol{u} \boldsymbol{W}^{Q}, \boldsymbol{v} \boldsymbol{W}^{K}, \boldsymbol{v} \boldsymbol{W}^{V}\right)$ として、性格を考慮する。つまり、注意機構のクエリと して性格表現 $u$ 、キーおよびバリューとしてテ キスト表現 $v$ を用いる。感情強度の推定におい ては、 $\boldsymbol{h}$ の代わりに $\boldsymbol{h}_{a}$ を用いる。

表 4 感情強度推定の平均絶対誤差

参考のために、最頻クラスのベースラインも評価 する。これは、感情ごとに最も高頻度なラベルを常 に出力するベースラインである。本データセットで はいずれの感情においても無のラベルが最高頻度で あるため、実際には常に無のラベルを出力する。

## 4.2 実験結果

実験結果を表 4 に示す。下段の客観データにおけ る評価よりも上段の主観データにおける評価の方が 全体的に平均絶対誤差が大きく、書き手の感情強度 の推定がより難しいことがわかる。これまでの議論 で、書き手の感情を読み手が推定するのは難しいと 述べたが、同じく「読み手」である機械学習モデル にとっても書き手の感情推定は難しいと言える。

上段の主観データにおける評価では、主観データ で訓練した主観 BERT ではなく客観データで訓練し た客観 BERT が最高性能を達成するという想定外の 結果となった。先述のように、テキストの書き手の 感情（主観データ）の推定は難しいため、単純な訓練では充分な性能が得られなかったものと考える。

そこで、書き手の性格情報を用いて訓練を補助す る 2 手法を検討した。実験の結果、性格表現とテキ スト表現を単純に結合する主観 BERT w/ Pc は有効 ではなかったが、性格表現とテキスト表現を重み付 きで考慮する主観 BERT w/ Pa は単純な主観 BERT よりも低い平均絶対誤差 $(0.553 \rightarrow 0.545)$ を達成し た。しかし、性格情報を用いても、客観 BERT の性能には及ばなかった。参考のために、客観注釈者の性能も掲載する。客観 BERT の性能は、客観注釈者 $\mathrm{A}$ および $\mathrm{C}$ を超えて おり、テキストの「読み手」としての主観感情の推定においては人間に匹敵する水準にあると言える。

下段の客観データにおける評価でも、主観データ における評価と同じく、BERT は最頻クラスのべー スラインよりも低い平均絶対誤差を達成し、客観 BERT が最高性能を達成した。各客観注釈者と比較 すると、客観 BERT の性能は、客観感情の推定にお いては改良の余地が残っていることがわかる。

## 5 おわりに

本研究では、日本語の感情分析のために 17,000 件 のデータセットを構築し、公開 2 ) した。Plutchik の 8 感情に基づき、50人の注釈者が自身の過去の SNS の投稿に主観的な感情強度をラベル付けし、さらに 3 人の注釈者が客観的な感情強度を付与した。

書き手の主観的な感情強度と読み手の客観的な感情強度を比較したところ、怒りや信頼の感情を中心 に、読み手は書き手の感情を充分に検出できず、過小評価する傾向が見られた。また、同じくテキスト の「読み手」である機械学習モデルにとっても、書 き手の主観的な感情強度の推定は難しい。今後は、書き手の性格情報や過去の投稿履歴を考慮し、より 高精度に主観感情を推定するモデルを開発したい。

## 謝辞

本研究は文部科学省による Society 5.0 実現化研究拠点支援事業の支援を受けたものである。

## 参考文献

[1] 徳久良子, 乾健太郎, 松本裕治. Web から獲得した感情生起要因コーパスに基づく感情推定. 情報処理学会論文誌, Vol. 50, No. 4, pp. 1365-1374, 2009.

[2] Stefan Stieglitz and Linh Dang-Xuan. Emotions and Information Diffusion in Social Media - Sentiment of Microblogs and Sharing Behavior. Journal of Management Information Systems, Vol. 29, No. 4, pp. 217-248, 2013.

[3] Richard Socher, Alex Perelygin, Jean Y. Wu, Jason Chuang, Christopher D. Manning, Andrew Y. Ng, and Christopher Potts. Recursive Deep Models for Semantic Compositionality Over a Sentiment Treebank. In Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing, pp. 1631-1642, 2013.

[4] Laura Ana Maria Bostan and Roman Klinger. An Analysis of Annotated Corpora for Emotion Classification in Text. In Proceedings of the 27th International Conference on Computational Linguistics, pp. 2104-2119, 2018.

[5] Paul Ekman. An Argument for Basic Emotions. Cognition and Emotion, Vol. 6, No. 3-4, pp. 169-200, 1992.

[6] Robert Plutchik. A General Psychoevolutionary Theory of Emotion. Theories of Emotion, Vol. 1, pp. 3-31, 1980.

[7] Klaus R. Scherer and Harald G. Wallbott. Evidence for Universality and Cultural Variation of Differential Emotion Response Patterning. Journal of Personality and Social Psychology, Vol. 66, No. 2, pp. 310-328, 1994.

[8] Saima Aman and Stan Szpakowicz. Identifying Expressions of Emotion in Text. In International Conference on Text, Speech and Dialogue, pp. 196-205, 2007.

[9] Carlo Strapparava and Rada Mihalcea. SemEval-2007 Task 14: Affective Text. In Proceedings of the Fourth International Workshop on Semantic Evaluations, pp. 7074, 2007 .

[10] Sven Buechel and Udo Hahn. EmoBank: Studying the Impact of Annotation Perspective and Representation Format on Dimensional Emotion Analysis. In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics, pp. 578-585, 2017.

[11] Saif Mohammad and Felipe Bravo-Marquez. Emotion Intensities in Tweets. In Proceedings of the 6th Joint Conference on Lexical and Computational Semantics, pp. 65-77, 2017.

[12] Saif Mohammad and Svetlana Kiritchenko. Understanding Emotions: A Dataset of Tweets to Study Interactions between Affect Categories. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation, pp. 198-209, 2018.

[13] Laura Ana Maria Bostan, Evgeny Kim, and Roman Klinger. GoodNewsEveryone: A Corpus of News Headlines Annotated with Emotions, Semantic Roles, and Reader Perception. In Proceedings of the 12th Language Resources and Evaluation Conference, pp. 1554-1566, 2020

[14] 鍜治伸裕, 喜連川優. HTML 文書集合からの評価文 の自動収集. 自然言語処理, Vol. 15, No. 3, pp. 77-90, 2008 .
[15] Yu Suzuki. Filtering Method for Twitter Streaming Data Using Human-in-the-Loop Machine Learning. Journal of Information Processing, Vol. 27, pp. 404-410, 2019.

[16] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 4171-4186, 2019.

[17] Jacob Cohen. Weighted Kappa: Nominal Scale Agreement Provision for Scaled Disagreement or Partial Credit. Psychological Bulletin, Vol. 70, No. 4, pp. 213-220, 1968.

[18] Lewis R. Goldberg. The Development of Markers for the Big-Five Factor Structure. Psychological Assessment, Vol. 4, No. 1, pp. 26-42, 1992.

[19] 齊藤崇子, 中村知靖, 遠藤利彦, 横山まどか. 性格特性用語を用いた Big Five 尺度の標準化. 九州大学心理学研究, Vol. 2, pp. 135-144, 2001.

[20] Taku Kudo, Kaoru Yamamoto, and Yuji Matsumoto. Applying Conditional Random Fields to Japanese Morphological Analysis. In Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing, pp. 230-237, 2004.

[21] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Remi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander Rush. Transformers: State-of-the-Art Natural Language Processing. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 38-45, 2020.

[22] Diederik P. Kingma and Jimmy Lei Ba. Adam: A Method for Stochastic Optimization. In Proceedings of the 3rd International Conference on Learning Representations, 2015.