# 多重対応分析とアスペクトベース感情分析を組み合わせた 受講者満足度調査データの分析手法の開発

藤本一男 1,2 大畑和也 1,3
1 国立研究開発法人 情報通信研究機構 (NICT) サイバーセキュリティ研究所
ナショナルサイバートレーニングセンター
2 津田塾大学 数学・計算機科学研究所 ${ }^{3}$ 法政大学理工学研究科応用情報工学専攻
\{kazuo. fujimoto, kazuya_ohata\}enict.go.jp kazuo. fujimoto2007@gmail.com

## 概要

本研究は，NICT が主催する CYDER ${ }^{1)}$ の受講者ア ンケートに対して，多重対応分析 $\left(\mathrm{MCA}^{2)}\right)$ [2,3] と アスペクトベース感情分析 $\left(\mathrm{ABSA}^{3}\right)$ ) [4]を組みあわ せて，概ね「満足」の結果をあらわしているデータ から改善すべき課題を抽出する方法の開発である

本研究では，MCAを用いて，受講生空間を生成し そこに満足度関係の変数を投影することで，満足， および不満の構造を可視化した ${ }^{4)}$. 次に, 自由記述回答に埋もれている両儀的な語を ABSAによって抽出，それをタグ付けし，MCAによって生成された 空間上の個体へのマッピングを行なった. こうした 処理により全体的に「満足」の回答から課題を抽出 することが可能になった.

## 1 はじめに

受講生アンケートにかぎらず，満足度調査データ によくみられるのが，全体的に「満足」という傾向 である． 5 件法による選択肢では，殆どの回答が 5 と 4 に集中している. しかし，そのイベントは概ね 成功であったですませるならともかく, 受講者アン ケートの目的は，そのイベントの改善にある. であ れば，その中からいかに課題を抽出できるかとい うことが重要になる。このような問題設定のもと,我々は，以下の方針で分析を進めた。

・EDA アプローチ [5] によるデータ構造の想定

1) CYDER (Cyber Defense Exercise with Recurrence: 実践的サイ バー防御演習）とは，サイバー攻撃を受けた際の一連の対応 (インシデント対応) をパソコンを操作しながらロールプレイ 形式で体験できる演習 [1]

2) Multiple Correspondence Analysis

3) Aspect Based Sentiment Analysis

4） MCA のこうした使い方は，LeRoux たちによって幾何学的 データ解析 GDA [2] と呼ばれている.
- 自由記述回答への注目

・アスペクトに基づく自由記述部分の分析
- 選択肢回答分析と自由記述分析の連結

選択肢回答と自由記述分析を組み合わせるアプ ローチは今日，多く実践されているが，我々のアプ ローチは，以下の点に独自性を有する。
- 選択肢回答については，MCAを使うことで，個々の回答者の分布位置を幾何学的に確認しな がら分析が可能になった.

・自由回答については，両儀性を有する重要語句 に，ABSAを用い positive/negative のタグを付与 した.
- 各回答者の幾何学的位置と自由回答の関係が分析可能となった。

分析に用いたのは, 2020 年度に開催された CYDER，A コース受講者の受講後アンケート・デー タ5)である. 以下，CYDER2020Aとして参照する。

なお，処理言語は，R [6] と Pythonを用いた.

## 2 EDA アプローチと MCA よるデー タの構造化

EDA アプローチにより変数間の関係を図 1 のよう に仮定した。

## 2.1 「スキル向上」と「理解」の関係

まず，変数「スキル向上」が受講がもたらす満足度の指標になること，それを目的変数とすれば，変数「理解」が説明変数となることを確認した. また， その理解 -スキル向上関係は, CYDER の実施環境 にまつわる変数である「講師説明」「サポート」「対応」「進度」が関係していることを確認した。

ここで，「理解」と「スキル向上」の関係をみる

5） 受講者総数 2001, 質問総数 (22)，そのうち，選択肢回答設問 $(15)$ ，自由回答設問 $(7)$

図 $1 \mathrm{EDA}$ と $\mathrm{MCA} / \mathrm{CA}$ にるデータの構造化

図 2 「スキル」と「理解」の対応関係

と, 理解の度合いに応じて「スキル向上」感が増加 しているわけではないこともあきらかになった (図 2). つまり，理解していることを確認してスキル向上を確認する側面（理解確認によるスキル向上）の 他に，自分の理解が欠如していることを自覚するこ とを通じて課題が明確になるという側面での「スキ ル向上」感もあるわけである（克服課題の明確化と いうスキル向上).

## 2.2 自由記述回答への注目

この状況を踏まえて，「理解」の回答を選択した 理由を聞く自由回答をテキストマイニングの手法 を用いて，分析した ${ }^{6)}$.ここで得られた共起ネット ワーク図 (図 8) をもとに $\mathrm{KWIC}^{7}$ ) で内容を確認する と，頻出語の中に，positive な用法で用いられている ものと, negative な用法で用いられているものがあ ることが明らかとなった. この区分は，受講生分析 を行う場合に重要であると考え ABSAを用いて，自由記述文自体に, Postive/Negateive のタグをつける こと，また，この重要頻出語の変数を追加した.


## 3 ABSA を用いた自由記述文からの 意見抽出

サービスや商品提供者はユーザーに対してアン ケートやレビューを募ることがあり，ユーザーの意見を理解することはサービスの改善や商品販売の 戦略立案につながる．意見を文章で表現することが できる自由記述のアンケートやレビューでは，ユー ザーは満足もしくは不満足な点についてありのまま を記載することができるため，あらかじめ定められ た項目や数値を選択する選択肢回答よりもきめ細か な意見の抽出が可能である. 自由記述文は数量化し て意見を集約する分析がそのままでは難しく，一件 ずつ手動で意見抽出を行うことは人件費や時間のコ ストがかかるため，機械的な分析手法の開発が望ま れる。

これらのニーズに対し，深層学習を用いて，自由記述文中に含まれる意見に関する重要な単語を抽出 するアスペクトベース感情分析 (ABSA) が広く行わ れている [4]. アンケートやレビューには満足な点 と不満足な点が一つの文に混在しているケースがみ られ，意見の対象が何であるか，その対象に対して どのような感情を持つかを明らかにするため，アス ペクト語の抽出 Aspect Term Extraction (ATE) や抽出 した語の感情分析 Aspect Polarity Classification (APC) など，複数の関連タスクが研究されている [8].

選択肢回答と自由記述の両方を含むアンケートや レビューでは，両方の分析結果を組み合わせること でより詳細な説明性を持つ分析が行えることが期待できる。そこで本研究では，自由記述文に対して ABSA を行い，アスペクト語抽出と感情分析から得 られた結果を，数量化を行う分析として用いること のできる要素の一つとして加える手法を提案する.

まずはじめに，CYDER2020A の自由記述文に対し てアスペクト語とその感情についてラベル付与をお こない，どの程度アスペクト語の抽出と感情の推定 が行えるかを検証する予備実験を行った。その後，残りのデータセットに対しても同様の抽出と推定を 行い，図 3 に示すように，得られた結果を元に出現頻度上位の単語が含まれる回答にフラグを立てるこ とで，選択肢回答の分析で用いることのできる項目 として追加した。

図 3 意見抽出と項目追加の枠組み

## 3.1 ABSA モデルの性能評価

ABSA で使用するデータセットは文中に含まれる 単語や句ごとの細かい粒度でラベルが付与されるた め，一文に対して一つのラベルが付与される一般的 な文レベルの感情分析データセットと比較してラベ ル付与コストがかかる. アスペクト語および感情極性の両方についてラベルが付与された日本語データ セットは，我々の知る限り chABSA-dataset ${ }^{8}$ ) や楽天 データセット [9] と限られている. そのため, 本研究ではデータセットのドメインに依存しない一般的 な語の抽出を期待して, 言語モデル DeBERTaV3 [10] をもとに，英語や中国語を含む 8 つの言語から 20 を超えるデータセット [11] で学習した多言語モデ ルを CYDER2020A の自由記述回答に対して適用し，追加の学習を行っていない状態でアスペクト語と感情がどの程度正しく抽出・予測することができるか を予備実験として検証した。

本研究で使用したモデル9) は，アスペクト語の抽出と, 抽出した単語を positive/Neutral/negative に分類する感情分析を同時に行う，複数のタスクを同時 に行うことで性能の向上が期待できるマルチタスク 学習 [12] を導入した LCF-ATEPC [13] である. モデ ルの入力は，文単位で分かち書きした単語シーケン スであり，主な出力はアスペクト語と感情，及び予測確率であるが，本研究ではアンケート結果をもと にした改善と課題抽出を目的としているため, 感情 が positive または negative と予測されたアスペクト 語のみを用い，Neutral と予測された語は全て除外 した.


表 1 アスペクト語抽出と感情推定のベンチマーク

## 3.2 予備実験詳細とデータ加工

図 1 より，CYDER2020Aの 3つの質問項目に対す る自由記述の回答 (自由記述 15-2: 理解理由，自由記述 20: 気づき，自由記述 22: 全体感想)をそれぞれ文単位に分割し，100 件の文に対して手動でラベルを 付与した. 文の総数は 3,350 , 一文あたりの平均文字数は $\mu=31.39$, 標準偏差 $\sigma=18.64$ より, 文字数 $c$ が $\mu-\sigma<c<\mu+\sigma$ を満たす文の中から無作為に 100 件を選び，検証用データとして作成した. デー 夕作成後, 各文に対して Mecab ${ }^{10)}$ [14] を用いて形態素解析を行い，各トークンごとにアスペクト語で あるかどうかと，アスペクト語である場合はその感情ラベル positive/negative を付与したところ，全体で 1633 個の単語トークンの中に positive 65 件, negative 38 件のラベルが付与された. なお, 図 5 にラベル付与例とその推論結果を示す。

この検証用データに対して LCF-ATEPC モデ ル [13]を用いて推論したところ, positive 60 件, negative 58 件, 合計 118 件のアスペクト語が抽出さ れた. ATEタスクでは各トークンがアスペクト語で あるかどうかの一致を Precision，Recall，F1 で評価 し, APC タスクでは推論結果と検証用データの両方で抽出された語に対し, positive/negative のタグが 一致するかどうかを Accuracy で評価した. 表 1 に， ATE タスクでは予測確率 50\%で各トークンをアス ペクト語として検出するランダムな予測を，同様に APC タスクでは positive/negative 共に 50\%の確率で 予測する，ランダムな予測を 1000 回行った場合の 平均値を Random とし, LCF-ATEPC モデルとの比較 を示す. ATE タスクにおいては Precision のスコア が Random と比較して上回り, CYDER2020A データ セットが未学習かつ事前学習に含まれない日本語を 用いたモデル検証において，ある程度の検出性能を 有するといえる。APC タスクにおいては，抽出した 単語の感情極性の推論が高い性能で行えることを示 しているといえる.

10) https://taku910.github.io/mecab/
次に，単語抽出と推論の性能が確認できた LCFATEPC モデルを CYDER2020A の残りのデータに 対して適用し，アスペクト語の抽出と感情の推論 を行い，極性ごとに抽出された単語を出現頻度 を基準に並べた。表 2 より，出現頻度上位には， negative/positive 共に「演習」,「内容」,「知識」という 単語が共通して含まれていることがわかる。なお， negative で最も出現頻度の多い「時間」は positive で はほとんど抽出されなかった。

表 2 抽出した出現頻度上位 5 単語

さいごに，自由記述を含むアンケート結果に対し て, 図 3 に示すように, これら出現頻度上位 5 つの 単語及び極性が検出された自由記述文に対してそれ ぞれ各単語の出現フラグを立てた項目を追加し，選択肢回答分析に用いるデータとして加工した。

## 4 選択肢回答分析と自由記述分析の 連結

こうして，新たに修飾された自由記述部分をもち いて再度，共起ネットワークを確認 (図9) し，「理解」を内容の確認のみならず克服点の確認が自覚さ れることでもスキル向上を意識できることが明確に 区分されていることを確認した.

図 4 MCA による個体の分布

以上の過程を経て，MCAによって生成された個体マップ $\left(\right.$ 図 4) ${ }^{11)}$ 上に, 自由回答で得られた重要ポ イントを射影することが可能になった (図 7).この
 1$ に沿う形で分布しているポイントが，満足系の回答 をした個体である. 右側に登っていくラインが確認できるが， こちらが，不満系の回答をした個体の分布である．MCA の場
}

個体マップは, LeRoux \& Rouanetによる specificMCA という技法 [2] を用いているが，NAを分析から除去する以外に，低頻度回答（実習に否定的な感想を もった位置の個体）の扱いが問題となった.今回の 分析では，全体的に積極的評価がされている中で， そこに埋もれている課題を抽出するのが目的である ので，この低頻度回答も重要だからである。

MCAを用いれば，注目している変数の相互関係 を幾何学的に可視化することが可能であり，KH Coder を使えば，自由記述の回答を，回答選択を外部変数として分析することは可能である.

そこで、我々は，両儀的な語に ABSAをもちいて タグ付けを行うことで，自由記述回答の内容を回答者の幾何学的位置を参照しながら分析できる方法を 実現した。

回答選択肢の分布は，大多数の回答者が分布する $\operatorname{dim} 1$ に沿って密集している「満足」部分と右側にの びていく「不満」部分に区分される。しかし，タグ 付けによって明らかになったのは， negative にタグ 付された重要語句は，その「満足部分」にも展開さ れているということであった。この両者の関係を背景として解釈する必要がある。

## 5 まとめと課題

以上，MCA による幾何学的データ解析 (GDA)[2] とアスペクトベース感情分析をもちいた自由記述回答分析を結びつけることで，全体的に満足した反応 であるアンケート回答から課題を抽出する方法を開発できた. MCA 用にデータセットを整備していく ことで，回答パターンの比較を年次，またコース別 に行うことも可能である.

しかし，今回の作業の課程で以下のような課題も 明らかになっている。そもそも，自由記述への回答率が低い。その中でも，全体に不満足の感想をもつ 受講者からの回答がすくない。これを増やすための 検討が必要である．また，ABSAについて，我々が 利用可能な日本語データセットが少ないことから複数の言語で学習した多言語モデルを用いたが，その 性能には大いに改善の余地がある。日本語のデータ セットで追加学習を行うことで性能の向上が見込ま れると考えられるため，ABSA データセット構築が 今後の展望として挙げられる.

合は，これらの個体の ID が確認できるので，回答選択肢の内容，自由回答の内容を確認することができる。

## 謝辞

本研究の過程で，CYDER を企画運営している NICT ナショナルサイバートレーニングセンターの みなさんのお世話になりました. 記して感謝いたし ます。

本研究は JSPS 科研費 JP20K02162「データの幾何学的配置に着目したカテゴリカルデータ分析手法の 研究」の助成を受けたものです.

## 参考文献

[1] NICT. Cyder (cyber defense exercise with recurrence :実践的サイバー防御演習）, 2022. https://cyder. nict.go.jp/.

[2] Brigitte Le Roux, Henry Rouanet, 訳: 大隅昇, 小野裕亮, 鳮真紀子. Multiple Correspondence Analysis(多重対応分析). SAGE publisher（オーム社）, 2010(2021).

[3] Michael J. Greenacre, 訳：藤本一男. Correspondence analysis in practice Third edition（対応分析の理論と 実践）. Chapman \& Hall/CRC interdisciplinary statistics series. CRC Press, Taylor \& Francis Group（オーム社）, Boca Raton, 2017(2020).

[4] Hai Ha Do, PWC Prasad, Angelika Maag, and Abeer Alsadoon. Deep learning for aspect-based sentiment analysis: A comparative review. Expert Systems with Applications, Vol. 118, pp. 272-299, 2019.

[5] John Wilder Tukey. Exploratory data analysis. AddisonWesley series in behavioral science. Addison-Wesley Pub. Co, Reading, Mass, 1977.

[6] R Core Team. R: A Language and Environment for Statistical Computing. R Foundation for Statistical Computing, Vienna, Austria, 2022.

[7] 樋口耕一. 社会調査のための計量テキスト分析-内容分析の継承と発展を目指して、第 2 版. ナカニシヤ 出版, 京都, 2020. OCLC: 1149044718.

[8] Wenxuan Zhang, Xin Li, Yang Deng, Lidong Bing, and Wai Lam. A survey on aspect-based sentiment analysis: Tasks, methods, and challenges. arXiv preprint arXiv:2203.01054, 2022.

[9] 中山祐輝, 村上浩司, Ikuko Hardaway. アスペクトベー ス意見分析における日本語評価コーパスの構築. 言語処理学会第 27 回年次大会, 2021.

[10] Pengcheng He, Xiaodong Liu, Jianfeng Gao, and Weizhu Chen. Deberta: Decoding-enhanced bert with disentangled attention. In International Conference on Learning Representations, 2021.

[11] Heng Yang and Ke Li. Pyabsa: Open framework for aspect-based sentiment analysis. arXiv preprint arXiv:2208.01368, 2022.

[12] Rich Caruana. Multitask learning. Machine learning, Vol. 28, No. 1, pp. 41-75, 1997.

[13] Heng Yang, Biqing Zeng, Jianhao Yang, Youwei Song, and Ruyang Xu. A multi-task learning model for chineseoriented aspect polarity classification and aspect term extraction. Neurocomputing, Vol. 419, pp. 344-356, 2021.
[14] Taku Kudo, Kaoru Yamamoto, and Yuji Matsumoto. Applying conditional random fields to Japanese morphological analysis. In Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing, pp. 230-237. Association for Computational Linguistics, 2004

## A 参考グラフ

## A. 1 自由記述ラベル付与と推論結果比較

ラベル付与結果: 講垍はわかりやすかったが画面が小さく見えづらかった モデル予測結果：講習はわかりやすかったが画面が小さく見えづらかった

Negative

ラベル付与結果: 充実した内容で満足したが演垍の時間を伸ばしてほしい

Positive Negative Negative

モデル予測結果: 充実した内容で満足したが演垍の時間を伸ばしてほしい

ラベル付与結果: ツールの説明が不足していたように感じた

モデル予測結果: ツールの説明が不足していたように感じた

図 5 ラベル付与の例†とモデル推論結果

†個人情報保護の観点より，実際に記載された内容

ではなくサンプルとして作成した文を示す.

## A. 2 「理解」と「スキル向上」の対応分析

対応分析の出力で，「理解」を標準座標，「スキル」 を主座標にした biplot である. 矢印が座標軸にあ たる. 座標軸：「理解できた」「理解できない内容が あった」が同じ方向を向き，その方向にスキル「向上したと思う」が位置している.

図 6 「理解」と「スキル向上」の対応分析

## A. 3 ABSA によって「内容」に negative タ グをつけた回答者の位置

図 6. $\operatorname{dim} 1$ は満足度合いの大小 (左が大), $\operatorname{dim} 2$ が不満度をあらわしている。自由記述部分の解釈は これを考慮する必要がある。

## A. 4 共起ネットワーク 1

図 8. この共起ネットワークは，自由記述部分に タグをつけていない.

図 7 MCAによるタグ付き（内容 negative）個体の分布

図 8 共起ネットワークタグなし

## A. 5 共起ネットワーク 2

図 9 共起ネットワークタグあり

図 9. タグをつけ，その語句を強制抽出設定にた ときの共起ネットワーク図
 藤本一男 1,2 大畑和也 1,3 1 国立研究開発法人 情報通信研究機構 (NICT) サイバーセキュリティ研究所 ナショナルサイバートレーニングセンター 2 津田塾大学 数学・計算機科学研究所 ${ }^{3}$ 法政大学理工学研究科応用情報工学専攻 \{kazuo. fujimoto, kazuya_ohata\}enict.go.jp kazuo. fujimoto2007@gmail.com  