# 公的なメールに対する BERT を用いたセンチメント分析

菊池理紗 1 大関洋平 1
1 東京大学大学院総合文化研究科
rs.kikuchi.11@gmail.com oseki@g.ecc.u-tokyo.ac.jp

## 概要

本研究は，公的な場面で書かれたメールを対象 に，読み手の抱く感情と，それに影響を与えるだろ う文章的特徴を明らかにすることを目的とした。は じめに，コーパスや心理実験から収集したメール を，WRIMEで再訓練した BERTを用いて，ネガティ ブ群・ニュートラル群・ポジティブ群に分類した.次に，各群のメールに対して形態素解析を行い，特徵量を算出した. 分析の結果，ネガティブ群は断り のメールが多く，他の 2 群よりも総文字数や名詞出現率，カタカナ形態素の出現率が低く, 動詞・助動詞の出現率，ひらがな形態素の出現率が高かった. また，ニュートラル群は，記号の出現率が高く，動詞出現率やひらがな形態素の出現率が低かった.

## 1 はじめに

日常生活において，文章は重要なコミュニケー ション手段の一つである。それは手書きのメモや 手紙に始まり，インターネットの発達を背景に開発された，電子メール（以下，メール）やTwitter， Facebook, Instagram, Slack といった様々なツールで も書かれている. これらのツールを媒介として産出 される文章は，文章を通して読み手とコミュニケー ションを行うことを目的としている.

文章は，書き手と読み手の相互作用の結果と捉え ることができる [1]. 特に，コミュニケーションを 前提とした文章では，書き手は，読み手の立場や自分と読み手の現在や未来の関係性，読み手の感情 に対する推測を理由に，文章表現を選択している $[2,3,4]$. 一方で，読み手は，略語の使用や言葉遣 い，文章から推測される書き手の感情などの影響を 受けて，様々な感情・印象を抱く [5, 6, 7]. すなわ ち，書き手と読み手の相互的な影響によって，文章 とそれに伴う感情が生み出されているといえる。

しかし，日本語の文章を対象としたこれまでの研究では，コミュニケーションを前提として産出され
た文章を対象とした研究は少なく, 読み手との関係性に着目した研究や読み手の抱く印象 - 感情と文章的特徵の関係を検討した研究はさらに限られる. そ こで，本研究では，コミュニケーションを前提とし た日本語の文章の中でも，公私共に用いることがで きるメールを対象に，読み手の抱く感情と，それに 影響を与える可能性のある文章的特徴を明らかに することを目的とする。なお，本研究においては，書き手と読み手の関係性は, 大学教員と学生, 大学事務職員と学生といった公的な関係性に限定する。 メールは大学の初年次教育でも取り上げられる媒体であり $[8,9]$, その一方で，大学生の書く公的な メールには不備があるという指摘もある $[10,11]$.本研究の成果は，今後の初年次教育における指導や メールの産出に対する一助となるだろう。

## 2 BERT によるセンチメント分析

## 2.1 カテゴリー個数の設定

センチメント分析とは，ある文章に含まれた感情極性を推測する分析手法であり，この場合，推測さ れるのは，書き手の感情と考えられる．しかし，あ る文章を読んだとき，読み手の感情は，その読み手 が書き手の感情だと推測したものと対応して生じる [6]. すなわち，文章に含まれる感情極性を分析する ことにより，それを読んだ際の読み手の感情を間接的に推測することが可能であるといえる.

英語においては，The Enron Email Dataset ${ }^{11}$ を 用いたメールのセンチメント分析が存在する $[12,13,14,15]$. これらの研究から，メールは，ネガ ティブ・ニュートラル・ポジティブの 3 種類に分類 できると明らかになった。したがって，本研究にお いても，感情極性が 3 種類であることを前提に分析 を行った。


## 2.2 分析のモデル

センチメント分析には，極性辞書を用いて単語 に感情極性を付与する [12,13]，TF-IDF 値をもとに k-means 法でグループ化する [14]，単語の極性をま とめたデータセットを用いて Support Vector Machine で分類する [15] といった様々な分析手法がある. し かし，極性辞書は単語の極性ラベルであり，文章全体を包括したラベルではない。 また，k-means 法を 用いた分類は，後続の研究 [15] でクラスタとラべ ルの間の関連が不明であるという指摘がある. そこ で，本研究では，文章の特徴量と極性ラベルの関係性を BERTに学習させ，それを用いてメールを分類 した. 具体的には，「WRIME：主観と客観の感情分析データセット ver.2 2 ㄱ $^{2}$ [16] を用いて事前学習済み BERT モデルを再訓練し，分類を行った。

WRIME は，日本語の文章の感情分析を行うため のデータセットであり，35,000 件の SNS の投稿につ いて，投稿者と 3 名の読み手が 8 種類の基本感情の 強度 $(0$ : 無〜 3 : 強の 4 段階) と感情極性 ( -2 : 強 いネガティブ〜 2 : 強いポジティブの 5 段階）のラ ベルを付与したものである. 本データセットを学習 データとして採用した理由は，ラベルが文章全体に 対して付与されており，かつ，SNS の投稿を使用し ているためである. SNS は，コミュニケーションを 目的として用いられるツールであり，「話し言葉の 要素を多く含む新しい書き言葉」[17] と定義される 「打ち言葉」を用いている点が, 本研究の分析対象 であるメールと共通している。加えて, 既に Twitter のセンチメント分析を行う際の学習データセットと して利用されている $[18,19]$. したがって, WRIME で再訓練を行うことで，より的確にセンチメント分析が行えると考えた。

また，読み手が付与したラベルを BERT に学習さ せた場合に，書き手の感情を最も正しく判断するこ とが指摘されているため [16], 本研究では, 3 名の 読み手が付与した感情極性の平均値をラベルとし て採用した. さらに，前節で述べたように，メール は 3 種類に分類できることから，5 段階の感情極性 のうち，強いネガティブと弱いネガティブは「ネガ ティブ」, 強いポジティブと弱いポジティブは「ポジ ティブ」としてまとめ，ニュートラルを含めた 3 段階のラベルとして扱うこととした．なお，ラベル数 は，ネガティブが 12,155 件，ニュートラルが 11,462件，ポジティブが 11,383 件である.

BERT モデルは，事前学習済みモデル bert-basejapanese-v2 ${ }^{3}$ )を用いた. BERT モデルの実装には， Hugging Face Transformers ${ }^{4}$ )を使用し, 先行研究を参考に，学習率やバッチサイズ，エポック数を検討し た. その中で最も accuracy が高かった設定を用い,学習率を $2 \mathrm{e}-5$ ，バッチサイズを 32 ，ドロップアウ 卜率を 01，最適化手法を AdamW [20] として， 3 エ ポックの訓練を行った $($ accuracy $=0.674)$.

## 2.3 分析対象

現在，日本では，The Enron Email Dataset のような 大規模なメールデータセットは存在しない。そのた め，2 種類のメールコーパスと第一著者が心理実験 [21,22]を通して収集したメール（計 358 通）を分析対象とした。使用したコーパスは，金澤（2014）の 「日本語教育のためのタスク別書き言葉コーパス」 [23] と東（2020）の「中国語・韓国語を母語とする 日本語学習者縦断的メール文コーパス」[24]であ る.これらのコーパスには，日本語母語話者と中国語母語話者，韓国語母語話者の作成したメールが収録されている. 本研究では，その中から日本語母語話者が産出したメールのみを使用した。

また，「日本語教育のためのタスク別書き言葉 コーパス」には，公的なメール以外の文章も含まれ ていたため，「メール」と明記され，かつ，読み手が 大学教員であるタスク 1 ，タスク 4，タスク 7，タス ク 10 のメール（計 120 通）のみを使用した。同様 に，「中国語・韓国語を母語とする日本語学習者縦断的メール文コーパス」においても，読み手が教員 であるタスク 1 ，タスク 3 ，タスク 4，タスク 7 ，夕 スク8のメール（計 145 通）のみを使用した。

心理実験では, 計 93 名の参加者に対して, 同じ課題内容で 2 回メールを書かせた。これについては,上述の 2 種類のメールコーパスと条件を合わせるた め，1 回目に書かれたメール（93 通）のみを使用し た。なお，上述のコーパスを含めた各メールの読み 手と課題内容を表 1 に示した. 課題内容の「依頼」「断り」「意見」などの分類は，元のコーパスにおけ るタスク内容の説明から引用した。

2) https://github.com/ids-cv/wrime
表 1 各コーパスのタスク内容とセンチメント分析の結果

## 2.4 分析結果

358 通のメールは，45 通がネガティブ， 149 通が ニュートラル，164 通がポジティブに分類された (表 1 の「感情極性」を参照).メールの内訳を検討 したところ，ネガティブに分類されたメールが特定 のタスクに偏っている可能性が考えられた. そのた め, 同じ読み手に対して異なる内容のメールを書 いている東（2020）の「中国語・韓国語を母語とす る日本語学習者縦断的メール文コーパス」のタス ク 3，タスク 4，タスク 7，タスク 8 の計 116 通に ついて，対数線形モデルを適用して検討した. 読 み手との親踈 (親密, 疎遠), 課題内容 (依頼, 断 り)，感情極性（ネガティブ，ニュートラル，ポジ ティブ）という三つの要因が，各感情極性に分類 されたメールの通数に影響を及ぼすと仮定して分析を行った結果，課題内容と感情極性の 1 次の交互作用とそれぞれの主効果を含んだ飽和モデル が適切であった $\left(\mathrm{x}^{2}(4)=3.920, d f=6, p=.69\right)$. ま た, 交互作用のうち, 課題内容が「断り」の場合 に「ネガティブ」に分類されたメールが多かった（ $u=4.22, z=3.96, p<.01)$. したがって, 感情極性と メールの文章的特徵の関係を検討する際には，メー ルの内容も考慮に入れて考える必要がある.

## 3 各感情極性の文章的特徵量の算出

各感情極性に分類されたメールの特徴を検討する ため，件名を除いたメールの総文字数と下記の項目 を算出した (表 2 を参照).これらの特徴量は，テキ スト分類や著者推定，文章の難易度判定を行う際に 用いられることの多い指標であり $[25,26,27]$, ウェ
ブサイト「文体診断ロゴーン」5) でも診断の根拠と して算出されるものである.

(1-a) 平均文長 : 句点（総文字数 $\div$ 区点の数）

（1-b）平均文長 : 記号（総文字数 $\div$ 句点 - 疑問符 $\cdot$感嘆符・改行で区切られた回数）

(2) 平均句読点間隔（総文字数 $\div$ 句読点の数）

(3) 特殊語出現率（記号の数 $\div$ 総形態素数）

（4）名詞出現率（名詞の数 $\div$ 総形態素数）

（5）動詞出現率（動詞の数 $\div$ 総形態素数）

（6）助詞出現率（助詞の数 $\div$ 総形態素数）

(7) 助動詞出現率 (助動詞の数 $\div$ 総形態素数)

（8）ひらがな出現率（ひらがなのみで構成される 形態素の数 $\div$ 総形態素数)

（9）カタカナ出現率（カタカナのみで構成される 形態素の数 $\div$ 総形態素数 $)$

（10）異なり形態素比率（頻度 1 の形態素の数 $\div$総形態素数)

なお，平均文長は 2 種類を算出した.メールでは，宛名や署名が書かれることが多く, それらの末尾に は句点を使用しないためである. 本研究では, 宛名 や署名，メールアドレス，電話番号などは改行を基準に各 1 文と数え，かつ，疑問符や感嘆符が使用さ れた文も 1 文と数えた場合の平均文長も算出した.

算出した各特徴量について，感情極性を要因とし た 1 要因 3 水準の参加者間分散分析を行い，有意差 がみられた場合は，Shaffer 法を用いた多重比較を 行った. 分析の結果, 総文字数は, ネガティブ群が 他の群に比べて有意に少なく $(\mathrm{F}(2,355)=23.22, \mathrm{p}$ <.01), 平均文長は, 句点のみで計算した場合にの み，ネガティブ群が最も短く, ニュートラル群が 最も長いという結果がえられた $(\mathrm{F}(2,355)=13.60$,


4) https://huggingface.co/docs/transformers/index

5) http://logoon.org/
表 2 各感情極性に分類されたメールの文章的特徴量

注：表の数字は平均值. ( ) は標準偏差.

$\mathrm{p}<.01$ ） 記号や改行も含めて計算した場合の平均文長，また，平均句読点間隔では，群間に差はみら れなかった（平均文長：記号： $\mathrm{F}(2,355)=1.93$, n.s.,平均句読点間隔： $\mathrm{F}(2,355)=0.63$, n.s.). これらに加 えて, 特殊語出現率は, ネガティブ群が最も低く, ニュートラル群が最も高かった $(\mathrm{F}(2,355)=9.47, \mathrm{p}$ <.01). すなわち，ネガティブ群は，文章全体の長 さが短く, 句点で文を区切ることが多いと推察でき る. 一方で，ニュートラル群は，ポジティブ群と比較すると，より多くの記号を用いており，文の区切 りでも句点を使うことがより少ないと考えられる.

続いて，各形態素の出現率をみると，名詞出現率 は，ネガティブ群が他の 2 群よりも低く $(\mathrm{F}(2,355)=$ $13.79, \mathrm{p}<.01)$, 動詞出現率は, ニュートラル群が最 も低く，ネガティブ群が最も高かった $(\mathrm{F}(2,355)=$ $18.36, \mathrm{p}<.01$ ). 助詞出現率は, 有意差がみられな かった $(\mathrm{F}(2,355)=2.85$, n.s.). しかし, 助動詞出現率は, ポジティブ群が最も低く, ネガティブ群が最 も高かった $(\mathrm{F}(2,355)=26.30, \mathrm{p}<.01)$. 前章の対数線形モデルの結果をるまえると，ネガティブ群は断 りのメールが多かったために「〜できない」といっ た「動詞十助動詞：ない」といった組み合わせがみ られた可能性が推察される. 対照的に，ニュートラ ル群やポジティブ群には, 金澤（2014）の「日本語教育のためのタスク別書き言葉コーパス」のタスク 7 で書かれた，故郷の観光地や名物を説明するメー ルが含まれるため, 名詞の数が多くなったと考えら れる. この点については, 今後, 各群で使用されて いる語彙を詳しく検討することで確認したい。

最後に，表記については，ひらがな出現率は， ニュートラル群が最も低く, ネガティブ群が最も高 かった $(\mathrm{F}(2,355)=19.07, \mathrm{p}<.01)$. カタカナ出現率 は，ネガティブ群が他の 2 群より低かった（ $\mathrm{F}(2,355)$ $=3.59, \mathrm{p}<.01)$. 加えて, 頻度 1 の形態素の割合を 示す，異なり形態素比率は，ネガティブ群が他の 2群よりも高かった $(\mathrm{F}(2,355)=42.50, \mathrm{p}<.01)$. これ らについても，どのような語彙が使用されていたの かを中心に, 今後の研究で改めて検討したい.

## 4 おわりに

本研究で得られた結果からは，「断り」を目的と するメールがネガティブ群に多く分類されたことか ら，内容と感情極性の関係性が示唆された。また， ネガティブ群に分類されたメールは，他の 2 群とは 異なり，総文字数や句点のみを用いた平均文長が少 なく, 特殊語出現率, 名詞出現率, カタカナ出現率 が低く, 動詞出現率, 助動詞出現率, ひらがな出現率が高かった. 一方で，ニュートラル群に分類され たメールは, ポジティブ群と比較して, 句点のみを 用いた平均文長が長く, 特殊語出現率と助動詞出現率が高く, 動詞出現率とひらがな出現率が低かっ た. 今後, 具体的な使用語彙も加えて, 更なる検討 を行う必要があるが，感情極性と文章の特徴量との 関係について，一定の法則性を示すことができた。

先行研究では, 名詞出現率が高い文章は, 低い文章よりもわかりやすいという指摘がある [28]. ま た，語彙の選び方や，ひらがな出現率・カタカナ出現率は，文章の難易度判定にも用いられる指標であ る $[29,30]$ ことから, 今後の研究として, 文章難易度 と感情極性の関連を検討することもできるだろう。

## 謝辞

本研究は，JST さきがけ JPMJPR21C2 および JSPS 科研費 JP21H05061 の支援を受けたものです.

## 参考文献

[1] Martin Nystrand. A social-interactive model of writing. Written Communication, Vol. 6, No. 1, pp. 66-85, 1986.

[2] Lee Odell and Dixie Goswami. Writing in a non-academic setting. Research in the Teaching of English, Vol. 26, No. 3, pp. 201-223, 1982.

[3] 大浦理恵子, 安永悟. 読み手を特定することが文章産出におよぼす効果. 久留米大学心理学研究, Vol. 6, pp. 11-20, 2007.

[4] 菊池理紗. 好ましいメールの産出において考慮さ れる要因の関係. 読書科学, Vol. 62, No. 1, pp. 26-42, 2021.

[5] WGaray Lewandowski Jr. and Samantha Harrington. The influence of phonetic abbreviations on evaluation of student performance. Current Research in Social Psychology, Vol. 11, No. 15, pp. 215-226, 2006.

[6] 加藤尚吾加藤由樹, 杉村和枝, 赤堀㑆司. テキストコ ミュニケーションにおける受信者の感情面に及ぼ す感情特性の影響一電子メールを用いた実験によ る検討一. 日本教育工学会論文誌, Vol. 31, No. 4, pp. 403-414, 2008.

[7] 坂本真樹紺野倭人. メールの印象を考慮した文章提案システムの構築に関する研究. 人工知能学会第 31 回全国大会論文集, pp. 1-2, 2017.

[8] 高松正毅. 初年次教育におけるアカデミック・リテ ラシー教育の位置と大学教育の問題点. 高崎経済大学論集, Vol. 51, No. 3, pp. 51-65, 2008.

[9] 杉本あゆみ. 初年次教育におけるアクティブラー ニング実践報告ーグローバルキャンパスでの試行一. 千葉経済大学短期大学部研究紀要, Vol. 14, pp. 105-117, 2018.

[10] 布川博士佐藤究. リアリティのある環境の中に埋め 込んだ大学生のメールリテラシ教育の実験一研究室 の事例第 2 報 (2014 年度実験)一. 情報処理学会研究報告, Vol. 2015, pp. 26-42.

[11] 太田陽子. 依頼メール作成タスクに見る大学生のポ ライトネス意識. 相模国文, Vol. 42, pp. 125-136, 2015.

[12] Sudheendra Hangal and Monica S Lam. Sentiment analysis on personal email archives. Proceedings of the 24th annual ACM symposium on User interface software and technology, 2011.

[13] Saif M Mohammad and Wenda Tony Yang. Tracking sentiment in mail: How fgenders differ on emotional axes. Proceedings of the ACL 2011 Workshop on ACL 2011 Workshop on Computational Approaches to Subjectivity and Sentiment Analysis, pp. 70-79, 2013.

[14] Sisi Liu and Ickjai Lee. Email sentiment analysis through k-means labeling and support vector machine classification. Cybernetics Systems, Vol. 49, No. 3, pp. 181-199, 2018 .

[15] Salah Hag Rayan Ali and Neamat El Gayer. Sentiment analysis using unlabeled email data. 2019 International Conference on Computational Intelligence and Knowledge Economy, pp. 328-333, 2019.

[16] Noriko Takemura Yuta Nakashima Tomoyuki Kajiwara, Chenhui Chu and Hajime Nagahara. Wrime: A new dataset for emotional intensity estimation with subjective and objective annotations. Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 2095-2104, 2021.

[17] 文化審議会国語分科会.(編). 分かり合うための言語 コミュニケーション（報告）

[18] Hidetsugu Nanba Satoshi Fukuda and Hiroko Shoji. Analysis of international public emotional responses toward the covid-19 vaccine. 2022 12th International Congress on Advanced Applied Informatics., 2022.

[19] Kongmeng Liew Eiji Aramaki Partick Ramos, Kiki Ferawati and Shoko Wakamiya. Emotion analysis of writers and readers of japanese tweet on vaccinations. Proceedings of the 12th Workshop on Computational Approaches to Subjectivity, Sentiment and Social Media Analysis, pp. 95-103, 2022

[20] Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization. arXiv:1711.05101, 2017.

[21]菊池理紗. 文章を用いたやり取りにおける好ましさ の解明一公的な電子メールを対象として一. 2021.

[22] 菊池理紗. 提示情報がメールの産出に与え る影響一好ましさと特徵語に着目して一。日本教育心理学会第 64 回総会発表論文集, 2022. https://www.jstage.jst.go.jp/article/ pamjaep/64/0/64_163/_article/-char/ja/.

[23] 金澤裕之. 日本語教育のためのタスク別書き言葉 コーパス. 2014.

[24] 東会娟. 中国語・韓国語を母語とする日本語学習者縦断的メール文コーパス. 2020. http: //emailtest.sakura.ne.jp/data/.

[25] 浅石卓真. テキストの特徴を計量する指標の概観.日本図書館情報学会誌, Vol. 63, No. 3, pp. 159-169, 2017.

[26] 野松道子 久野高志 上田修一石田栄美. 文体からみた 学術的文献の特徴分析. 2004 年度三田図書館情報学会研究大会発表論文集, pp. 33-36, 2004.

[27] 亀田雅之. 石岡恒憲.コンピュータによる日本語小論文の自動採点システム. 日本計算機統計学会シンポ ジウム論文集, pp. 153-156, 2002.

[28] 蓮見陽子. 同一情報に基づく文章表現の印象・評価 の差異について. 学習院大学人文科学論集, Vol. 2, pp. 43-67, 1993.

[29] 山田尚勇建石由佳. 日本文の読みやすさの評価式.文書処理とヒューマンインターフェース, Vol. 18, pp. 1-8, 1988 .

[30] Suguru Matsuyosyi Satoshi Sato and Yohsuke Kondoh. Automatic assessment of japanese text readability based on a textbook corpus. Proceedings of the International Conference on Language Resources and Evaluation, Vol. 8, pp. 654-660, 2008.
 菊池理紗 1 大関洋平 1 1 東京大学大学院総合文化研究科 rs.kikuchi.11@gmail.com oseki@g.ecc.u-tokyo.ac.jp  