# Majority or Minority: 固有表現抽出における データの不均衡性に着目した損失関数の提案

根本颯汰 ${ }^{1}$ 北田俊輔 ${ }^{2}$ 彌冨仁 ${ }^{1}$
1 法政大学理工学部 2 法政大学大学院 理工学研究科
\{sota.nemoto.5s, shunsuke.kitada.8y\}@stu.hosei.ac.jp iyatomi@hosei.ac.jp

## 概要

多くの自然言語処理タスクはデータの不均衡の問題に直面しており，実用的な応用がなされている固有表現抽出もその一つである. 固有表現抽出は抽出対象の固有表現以外のトークンすべてがのククラスとなるため，クラスが大多数を占める不均衡なデータとなっている. 本論文では，固有表現抽出における不均衡性に着目した新たな損失関数 majority or minority loss (MoM loss) を提案する. 提案手法の核となるアイディアは多数派のクラスであるのクラスのトークンのみを計算対象した loss を従来のモデルの損失関数に追加するものである. 実験を通じて MoM loss がマルチクラス，2クラス分類問わず，言語非依存で性能向上に寄与することを確認した.

## 1 はじめに

多くの自然言語処理 (natural language processing; NLP) タスクはデータの不均衡性の問題に直面しており, 固有表現認識 (named entity recognition; NER) もその一つである. 具体的に，非固有表現である 0 クラスのサンプル数は CoNLL2003 データセット [1] においては, それ以外の固有表現クラスのサンプル数の合計の 4.6 倍, OntoNotes 5.0 データセット [2] においては 7.6 倍である. そのため結果として一般的な機械学習モデルを適用した場合，多数を占める 0 クラスへの適合が優先され，他の少数の固有表現クラスの予測性能が低下する恐れがある。したがってこの不均衡な問題に対策することは NER の予測性能の向上において普遍的で重要な課題である.

NER は細かく flat-NER [3] と nested-NER [4] に分けられる. flat-NER はテキスト内の各トークンに 1 つのラベルを割り当てるように訓練する系列ラベリングタスクとして定式化され，各トークンの固有表現ラベルを予測するマルチ分類問題に帰着され
る. 一方で nested-NER は固有表現の範囲が入れ子になっているタスクで，各トークンに対する質問応答タスクとしてみなして学習する機械読解 (machine reading comprehension; MRC) タスクとして定式化されている. 例えば「[大谷翔平] はメジャーリーグで二刀流として活躍している.」に人名を抽出する場合は「本文中に含まれる人名は誰だ」という質問文に対して「大谷翔平」が抽出される。そのため，MRC タスクは質問文に対応したテキスト中の各トークンが抽出対象かどうかの 2 クラス分類問題に帰着される。系列ラベリングタスクで○クララスが多数派であったように，MRC タスクでも非固有表現のトークンが非常に多いため，こちらも不均衡な問題である。

不均衡性に対する手段として深層学習技術の親和性や導入の手軽さから，機械学習モデルの損失関数を設計する cost sensitive learning が現在の主流の一つである [5, 6, 7]. その中でも focal loss (FL) [5] や dice loss (DL) [7] は既存の有効的な手法として広く知られている. FL はコンピュータビジョン分野で効果が確認された損失関数で，物体検出タスクの背景と検出対象の前景との不均衡性に着目して設計された. NLP タスクにも応用され一定の成果を上げている [8]. また DL は NLP 分野のいくつかのタスクで効果が確認され，評価指標である F1 スコアに近いダイス係数を使用することで不均衡性に対処する損失関数である [7]. しかし 2 クラス分類に基づいて設計された FLやDL は2クラス分類問題として扱う MRC タスクには適用可能だがマルチクラス分類である系列ラベリングタスクに適用することは困難である．従って NER を系列ラベリングタスクとして解く際にも適用可能な不均衡性に対処できる損失関数が必要である.

本論文では, 圧倒的多数である○クラスおよび,少数の各固有表現クラスの識別精度の両立を実現

する majority or minority loss (MoM loss) を提案する. MoM loss は元の機械学習モデルの損失に追加するシンプルかつ汎用的な手法で，多数派のクラスデー タのみに対する任意の損失関数として定義される。本論文で扱う NER の系列ラベリングタスクにおいて MoM loss は正解ラベルが ○ クラスのトークンに対する損失として定義される. 少数派クラスから多数派クラスへの誤識別は，当該少数派クラスの precision の大幅な低下をもたらす。提案する MoM loss は各クラスのデータ数に応じて学習係数や損失関数を調整するような従来の手法と異なり, 多数派クラスの誤識別に対して直接ペナルティを課してそれを減らすように学習することで結果として少数派クラスの予測性能を大きく向上させ，全体の識別率の向上に繋げる。また提案する MoM loss は任意の損失関数に適用可能であるため，MRC タスクにおいても適用可能である.

## 2 MoM Loss

我々は表記方法を紹介した後に一般的な cross entropy (CE) について説明し, 次にシンプルでありながら非常に効果的な提案手法 MoM loss について説明する。ここでの説明は我々の提案の主である系列ラベリングタスクとして解くことを想定する.

まず，入力テキスト $X$ は $W=\left[W_{1}, W_{2}, \cdots, W_{M}\right]$ の長さ $M$ のトークンに分割される. トークン $W_{i}$ に対してラベル $T_{i} \in \mathbb{R}^{|\mathscr{F}|}$ を持つ. これは学習時のラベル $T=\left[T_{1}, T_{2}, \cdots, T_{M}\right] \in \mathscr{R}^{M \times|\mathscr{F}|}$ の集合 $\mathcal{T}$ (e.g., B-LOC, I-LOC, B-ORG, ...) として与えられる. 各トークンのラベル付けには一般的によく使われる BIO 形式を採用する [9]. この形式を定義する文字はクラスの接頭辞である，先頭の固有表現を表す $(\mathscr{R})$ 、それ以外の固有表現の $(\mathscr{J})$ 、非固有表現の (O) から成る. モデルは，各トークンについて予測される確率 $P_{i} \in \mathbb{R}^{|\mathscr{T}|}$ を出力するように学習される.つまり系列ラベリングタスクは，教師タグの系列 $T \in \mathbb{R}^{M \times|\mathcal{F}|}$ に近い確率の系列 $P \in \mathbb{R}^{M \times|\mathscr{I}|}$ を推定する.

## 2.1 Cross Entropy Loss $\mathscr{L_{\mathrm{CE}}$}

$\mathrm{CE} \ell_{\mathrm{CE}}\left(T_{i j}, P_{i j}\right)=T_{i j} \log \left(P_{i j}\right)$ はトークン $W_{i}$ の one-hot に表現のラベル $T_{i}$ と予測確率 $P_{i}$ 間の損失関数 $\mathscr{L}_{\mathrm{CE}}(\cdot, \cdot)$ であり，以下のように定義される:

$
\mathscr{L}_{\mathrm{CE}}(T, P)=-\frac{1}{M} \sum_{i=1}^{M} \sum_{j=1}^{|\mathscr{F}|} \ell\left(T_{i j}, P_{i j}\right)
$

$T_{i j}$ と $P_{i j}$ は $T_{i}, P_{i}$ ベクトルの $j$ 番目の要素である.

## 2.2 MoM Loss $\mathscr{L_{\text {MoM }}$}

NER では多数派の○クラスのサンプルが学習を圧迫し, 他の固有表現クラスのサンプルの学習が十分にされず，固有表現クラスの識別精度の低下を招く. 従来のデータ数に応じた損失関数の重み付けは一定の成果を上げているが，重みの最適化を正確に行わないと精度が低下する可能性があるため改善の余地が残されていた $[5,7]$.

MoM loss の基本的な考え方は，○クラスの正解ラベル (i.e., $T_{i j}=0$ ) に対してのみ損失を計算することである。そのため，非固有表現トークンを 0 クラスとみなすことで MRC タスクでも導入が可能となる. 我々の MoM loss を以下のように定義する:

$
\mathscr{L}_{\mathrm{MoM}}(T, P)=-\frac{1}{M} \sum_{i=1}^{M} \sum_{j=1 ; T_{i j}=\mathscr{G}}^{|\mathcal{T}|} \ell\left(T_{i j}, P_{i j}\right)
$

の MoM loss を従来のモデルの損失関数 $\mathscr{L}(\cdot, \cdot)$ に追加する. これによって MoM lossが ○ クラスのみの loss を計算するため, 固有表現クラスとのクラスに対する疑似的な 2 段階分類を実現させた.

モデルの訓練時には、従来の CE に加えて MoM loss を加えた以下の損失を最小化する:

$
\mathscr{L}_{\text {total }}(T, P)=\lambda \cdot \mathscr{L}(T, P)+(1-\lambda) \cdot \mathscr{L}_{\mathrm{MoM}}(T, P),
$

ここでパラメータ $\lambda$ は $\mathscr{L}(\cdot, \cdot)$ と $\mathscr{L}_{\mathrm{MoM}}(\cdot, \cdot)$ の間のトレードオフを制御するハイパーパラメータである. この $\mathscr{L}_{\text {total }}$ は様々な分野でデータの不均衡に対して有効なマルチタスク学習 [10] の一種として考えることができる $[11,12]$.

## 3 実験

本節では提案する損失関数である MoM Loss の効果を, flat-NER として系列ラベリングタスクと MRC タスクの 2 通りの方法でモデルを学習した. 系列ラベリングタスクでマルチクラス分類における提案手法の有効性を示し，MRC タスクで2 クラス分類に親和性のある先行研究と比較した.

## 3.1 データセット

我々は日英含む以下の 4 つのデータセットを使用した: CoNLL2003 [1], OntoNotes5.0 [2], 京大ウェブ文書リードコーパス [13], Stockmark-NER-wiki [14].
表 1 各損失関数の Sequence labeling タスクにおける実験結果

 & 87.62 & 89.15 &  & 71.88 & 74.27 &  & 77.79 & 81.53 &  \\

これらのデータセットの統計量をまとめたものを付録 Aにて議論する。

NER データセットの不均衡性を示すため，Oクラスのサンプル数 $N_{\odot}$ と固有表現クラスのサンプル数 $N_{\text {nonO }}$ から不均衡率 $\rho$ を以下のように計算する:

$
\rho_{\odot}=N_{\odot} /\left(N_{\odot}+N_{\text {non๑ }}\right) .
$

すべてのデータセットで 0 クラスの占める割合が 8 割を超える非常に不均衡なデータセットであることが確認できる。また，英語のデータセットでは一般的な訓練/開発/評価データの分割を採用し，一方で日本語のデータセットではランダムに 8:1:1 にデー タを分割した. さらに詳細なデータセットの内容については付録 Aに記載した。

## 3.2 ベースラインモデル

我々は系列ラベリングタスクには BERT [3] MRC タスクには BERT-MRC [15] を使用した.

BERT [3] は，大規模なテキストコーパスから事前学習された Transformer [16] ベースの言語モデルであり，現在 NLP タスクのベースラインモデルとして幅広く利用されている. テキストを入力することで各トークンに対応したマルチクラスの固有表現ラベルを出力する. 系列ラベリングタスクを解く際にこのモデルを使用し, 日英 4 つのデータセットにて FL [5] を適用したモデルと比較した.

BERT-MRC [15] は BERT を元に NER を MRC タスクとして解くモデルで，当時英語と中国語のベンチマークで当時最先端の記録を更新した. 入力テキストから 2 クラスの各固有表現に対応したトークンの場所を出力する．英語のデータセットを用いて FL [5] やDL [7] を適用したモデルと比較した.

## 3.3 比較対象の損失関数

Focal loss (FL) [5] は2クラス分類に有効な損失関数であり，物体検出における検出対象の前景と背表 2 各損失関数の MRC タスクにおける実験結果

 \\

景の不均衡性に着目した損失関数である. また，マルチクラス分類への拡張も可能であるが，適切なハイパーパラメータの調整が必須となる.

Dice loss (DL) [7] は偽陽性と偽陰性を等しく重要視する損失関数で，重み付き $\mathrm{F}$ 值に近い損失関数である.しかし、2クラス分類タスクである MRC タスクでの使用を前提としており，系列ラベリングタスクでは使用できない。ここではDL の論文内で予測性能の向上に最も貢献した dice coefficient (DSC) をDLとして使用した。

今回提案する損失関数をとその他の損失関数である CE や FL, DLを用いた場合の予測性能の比較結果を報告する。

## 4 実験結果

系列ラベリングタスクにおいて 4 つのデータセットに対する各損失関数を適用した際の予測性能の結果を表 1 に示す. MoM loss は CoNLL2003, OntoNotes 5.0, KWDLC，そして Stockmark-NER-Wiki の 4 つのデータセットに対して既存の CE によって訓練した BERT より F1 スコアが $0.33 \%, 0.37 \%, 0.91 \% ， 0.70 \%$高い結果となった. 提案手法である ○クラスと固有

表現クラスを学習する MoM loss が CE や先行研究のFLよりも優れていることを観測した。

上記の結果を受けて，提案手法と CEのF1 スコアの有意差について，対応ありの $\mathrm{t}$ 検定を実施した. 各データセットにおける $\mathrm{p}$ 值は CoNLL2003 が $6.36 e^{-6}$, OntoNotes 5.0 が $3.99 e^{-6}$, KWDLC が $1.36 e^{-3}$, Stockmark-NER-wiki が $1.06 e^{-3}$ となった. 有意水準が 0.01 の時，対立仮説が支持されるため提案手法と CEのF1 スコアの有意差が確認された.

表 2 に，MRC タスクにおける CoNLL2003 デー タセットに対する各モデルの予測性能の結果を示す. MoM loss は既存の binary CE (BCE) によって訓練した BERT-MRC より F1 スコアが $0.50 \%$ 高い結果となった.また， MoM loss は FL と DL より $0.34 \%$, $0.30 \%$ 高い結果となった. 有効性が示されている DL に更に我々のアイディアを追加することで，さらなる予測性能向上を実現した. 我々は不均衡性に対処する DL の性質を保ちながら MoM loss が更に予測性能を向上させたことを観測した.

表 3 に，系列ラベリングタスクにおける CoNLL2003 データセットに対する各固有表現ごとの予測性能の結果を示す. MoM loss は地名，その他の固有表現，組織名，Oクラスにおいて $0.04 \%$ ， $0.67 \%, 0.11 \%, 0.01 \%$ の予測性能の向上が観測された. 一方，人名クラスにおいては $0.14 \%$ 低下した. この点について以下のセクションで説明する.

## 5 議論

CoNLL2003 データセットにおける全 3,453 件のテストケースのうち損失関数を CE から MoM loss に変更して正解した例は 35 件確認された. そのうち固有表現クラスと○クラス間の正例は 10 件で，固有表現間での正例は 25 件であった. またその 25 件中，サンプル数の少ない固有表現クラスからサンプル数の多い固有表現クラスに予測ラベルが変わったことで正解となった例は 22 件であった. この 35 件中 22 件もサンプル数の少ない固有表現クラスからサンプル数の多い固有表現クラスに予測ラベルが変わった理由として，MoM loss がクラスに対する不均衡性を考慮することで，モデルがＯクラス以外の固有表現クラスのみの分布に従ったためだと考えられる．従って，表 3 において人名クラスのみ精度が下がったのはクラスを除いた固有表現クラスの中で最もサンプル数の多い人名クラスに過学習したためだと推測する。

## 6 おわりに

我々は固有表現抽出のデータセットの不均衡性に着目した新しい損失関数 MoM loss を提案した. この提案手法は多数派のクラスのトークンのみを計算する loss を従来のモデルの損失関数に追加する手法で，言語非依存なシンプルかつ系列ラベリングや MRC タスクなどの解き方に左右されない効果的な損失関数である。評価結果から以下の 2 つが確認できた. 1) BERT において日英 4 つのデータセットを使用して系列ラベリングタスクとして解いた際に言語に依存しない予測性能の向上を確認した．2) BERT-MRC において英語のデータセットを使用して MRC タスクとして解いた際，先行研究の損失関数である FL DLを上回る予測性能の向上を確認した.

## 参考文献

[1] Erik Tjong Kim Sang and Fien De Meulder. Introduction to the conll-2003 shared task: Language-independent named entity recognition. In Proceedings of the Seventh Conference on Natural Language Learning at HLT-NAACL 2003, pp. 142-147, 2003.

[2] Sameer Pradhan, Alessandro Moschitti, Nianwen Xue, Hwee Tou Ng, Anders Björkelund, Olga Uryupina, Yuchen Zhang, and Zhi Zhong. Towards robust linguistic analysis using ontonotes. In Proceedings of the Seventeenth Conference on Computational Natural Language Learning, pp. 143-152, 2013.

[3] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, 2019.

[4] Xiaoya Li, Jingrong Feng, Yuxian Meng, Qinghong Han, Fei Wu, and Jiwei Li. A unified mrc framework for named entity recognition. arXiv preprint arXiv:1910.11476, 2019.

[5] Tsung-Yi Lin, Priya Goyal, Ross Girshick, Kaiming He, and Piotr Dollár. Focal loss for dense object detection. In Proceedings of the IEEE international conference on computer vision, pp. 2980-2988, 2017.

[6] Yin Cui, Menglin Jia, Tsung-Yi Lin, Yang Song, and Serge Belongie. Class-balanced loss based on effective number of samples. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, $\mathrm{pp}$. 9268-9277, 2019.

[7] Xiaoya Li, Xiaofei Sun, Yuxian Meng, Junjun Liang, Fei $\mathrm{Wu}$, and Jiwei Li. Dice loss for data-imbalanced NLP tasks. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 465-476, Online, July 2020. Association for Computational Linguistics.

[8] Tu Dinh Tran, Minh Nhat Ha, Long Hong Buu Nguyen, and Dien Dinh. Improving multi-grained named entity recognition with bert and focal loss. ICIC Express Letters, Part B: Applications, Vol. 12, No. 3, pp. 291-299, 2021.

[9] Lance A Ramshaw and Mitchell P Marcus. Text chunking using transformation-based learning. In Natural language processing using very large corpora, pp. 157176. Springer, 1999.

[10] Rich Caruana. Multitask learning. Machine learning, Vol. 28, No. 1, pp. 41-75, 1997.

[11] Yu Zhang, Ying Wei, and Qiang Yang. Learning to multitask. Advances in Neural Information Processing Systems, Vol. 31, , 2018.

[12] Alexander Spangher, Jonathan May, Sz-Rung Shiang, and Lingjia Deng. Multitask semi-supervised learning for class-imbalanced discourse classification. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 498-517, 2021.
[13] Masatsugu Hangyo, Daisuke Kawahara, and Sadao Kurohashi. Building a diverse document leads corpus annotated with semantic relations. In Proceedings of the 26 th $\mathrm{Pa}-$ cific Asia Conference on Language, Information, and Computation, pp. 535-544, 2012.

[14] Takahiro Omi. stockmarkteam/ner-wikipedia-dataset: Japanese named entity extraction dataset using wikipedia, 2021.

[15] Xiaoya Li, Jingrong Feng, Yuxian Meng, Qinghong Han, Fei Wu, and Jiwei Li. A unified MRC framework for named entity recognition. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 5849-5859, Online, July 2020. Association for Computational Linguistics.

[16] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. Advances in neural information processing systems, Vol. 30, 2017.

[17] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Rémi Louf, Morgan Funtowicz, et al. Transformers: State-of-the-art natural language processing. In Proceedings of the $\mathbf{2 0 2 0}$ conference on empirical methods in natural language processing: system demonstrations, pp. 38-45, 2020.

[18] Diederik P Kingma and Jimmy Ba. Adam: A method for stochastic optimization. arXiv preprint arXiv:1412.6980, 2014.
表 4 各データセットの統計量. 全てのデータセットを，文書ごとに分割し件数と Eq. 4 で実施した不均衡性を示す 0 クラスの割合である $\rho_{0}$ を示す.

## A データセット

English CoNLL2003[1] は1996年 8 月から 1997 年 8 月までのロイター通信のニュース記事からなるデータセットである. また，学習データと評価デー タは,1996 年 8 月末のファイルから 10 日分のデータで，テストデータは1996年 12 月のテキストである.固有表現は人名や地名の他に組織名などがある. さらに，総トークン数が 302,811 に対し非固有表現のトークンが $82.17 \%$ である.

English OntoNotes5.0 [2]は 18 個の固有表現からなる，ニュース，電話での会話，ウェブサイト，放送，トークショーなどの様々なソースから構成されている大規模コーパスである. 固有表現は人名や地名の他に日時や金額，法律名などがある. さらに，総トークン数が 1631,995 に対し非固有表現のトークンが $88.34 \%$ である.

京大ウェブ文書リードコーパス [13] はニュー X記事，百科事典記事，ブログ，商用ページなどのウェブ文書の冒頭 3 文に対してアノテーションしたテキストコーパスである.コーパスの規模は約 5,000 文書で 15,000 文に相当する. 固有表現は人名や地名の他に組織名や日付，時間，金額などがある. さらに，総トークン数が 252,984 に対し非固有

Stockmark-NER-wiki [14] は日本語版 Wikipedia から抜き出した文に対して，アノテーションをした，全体で約 4,000 件ほどのデータセットである.固有表現は人名や地名の他に施設名や製品名，法人名などがある. さらに，総トークン数が 98,496 に対乙非固有表現のトークンが $82.18 \%$ である.

## B 実装の詳細

BERT は Huggingface の Transformers [17]を使用した. 事前学習済みモデルにおいて英語は bertbase，日本語は東北大 BERT を使用した. モデルは Adam [18] を用い, 学習率は $2 e^{-5}$, バッチサイズは 64
で各データセット 10 エポックの微調整をした. focal loss [5] と MoM loss の各パラメータは機械学習モデルにおけるべイズ最適化のパッケージである optuna により最適化をした. 最適なモデルのチェックポイントは評価データでの $\mathrm{F} 1$ スコアに基づく. 我々は、異なるランダムシードを用いた 10 回の実行の F1 スコアの平均値を報告する.

BERT-MRC は論文 [15] 中で公開されている実装を使用した. Adam [18]を用い，学習率は $3 e^{-5}$,バッチサイズは 32 で各データセット 10 エポックの微調整をした. その他の focal loss [5] や dice loss [7] などの各パラメータは dice loss [7] の実装に従った. 最適なモデルのチェックポイントは評価データでの F1 スコアに基づく. 我々は、異なるランダムシー ドを用いた 5 回の実行の F1 スコアの平均値を報告する。


# 妊娠・出産・育児に関する情報サイトにおける 母親の検索行動の予備的分析

内田ゆず 1 高丸圭一 ${ }^{2}$ 乙武北斗 3 木村泰知 4
1 北海学園大学 2 宇都宮共和大学 3 福岡大学 4 小樽商科大学
yuzuehgu.jp takamarualkyowa-u.ac.jp
ototake@fukuoka-u.ac.jp kimura@res.otaru-uc.ac.jp

## 概要

妊娠中の女性や子育て中の女性はメンタルへルスに不調をきたしやすい。深刻な事態に発展する前に不安やストレスの原因を発見し，対応することが必要である. 近年，女性が奸娠・出産・育児に関する情報収集をしたり，交流をするためのオンラインサービスが普及している。そのようなサービスを利用するユーザの検索行動を分析すると，母親が抱える不安や疑問を明らかにできると考えられる。本稿では，妊活・妊娠・出産・育児に関する情報サイトにおける実際の検索履歴データを分析し，検索キー ワードの時間変化や，感情表現の様相を概観する。

## 1 はじめに

出産を控えた母親や乳幼坚をもつ母親は，身体的変化に加え，家庭内での役割や人間関係の変化，心理社会的変化も大きく，精神的な不調をきたしやすい. 母親にとって相談相手がいるという情緒的サポートは育児不安の緩和において重要であるが [1],核家族化や地緑の希薄化，少子化にともない，気軽に相談できる人が身近にいない場合も多い，母親のメンタルヘルスの不調は, 産後うつなどの母親自身の問題のみならず，養育行動や子どもの発達，家族にも影響を及ぼす。最悪の場合，子どもへの虐待， ネグレクト，母親の自死などの事態に発展する可能性もあり，母親の持つ不安やストレスを軽減する方略を見出すために，ストレスの原因を明らかにすることが重要である.

近年，母親を対象としたオンラインサービスが発展しており，スマートフォンアプリを利用して情報を取得したり，母親同士が育児について相談する場になっている.ここでは, 周辺に相談できる相手がいないためオンライン上で相談したい，専門家の意見が知りたい，親族や知人には聞きにくいことを匿名で相談したいといった需要を満たすことができる.また，不安が高く対人関係で消極的な母親については，インターネット利用が育児不安の緩和と関連していると報告されている [2]. 一方で，「インターネット」を相談相手として選ぶ母親は，育児不安が高いという報告もある [3].

このように，育児不安の緩和に対するインター ネット利用の効果については評価が定まっていないものの，母親たちはインターネット上で質問や検索をすることで情報を収集し，不安を解消しょうとしていることは明らかである. そこで，本研究ではインターネット上での母親の行動から妊娠・出産・育児の各時点で典型的に生じる不安や疑問を明らかにし，適切なタイミングで情報提供を行うことで母親の不安を低減することを目指す. 本稿では研究の端緒として，妊娠・出産・育児に関する情報サイトにおける実際の検索履歴データを分析し，検索行動の傾向を概観する。

## 2 使用するデータ

本研究では，「ママの一歩を支える，女性向け Q\&A アプリ」としてコネヒト株式会社 ${ }^{1}$ が運営するサービス「ママリ」の検索データを分析する．利用可能なデータは 2019 年度〜2020 年度に検索された履歴（99,271,031 件）である. 検索データから， ユーザ ID，検索クエリとその検索日がわかる2).また，各ユーザに紐づく子供の属性情報として，誕生日（出産日）や性別の情報も利用可能である.

検索データの一部を表 1 に示す。検索クエリは 1 つ以上の文字列で構成され，複数の文字列が含まれる場合，文字列の境界はスペースで記される．以降の分析では形態素解析器を用いた単語分割は行わ

1) https://connehito.com/

2）個人を識別する情報は一切含まれない

図 1 各期の検索件数（単位：100万回）

ず，スペースで分割した文字列を「検索キーワー ド」と呼ぶこととする ${ }^{3}$ ．検索キーワードには，母子の健康状態，育児全般，家族や日常生活，行政の子育て支援などにかかわる表現が含まれる.

ユーザの検索行動を時系列で分析するために， ユーザの属性情報を利用して検索データの前処理を行う。具体的には検索日と出産日の差を計算し，出産日を起点として何日後（前）に何を検索したかを解析できるように検索履歴を加工する。そのうえで，出産回数が 1 回のユーザ4) が出産の 1 年前から出産の 1 年後までの期間に検索した履歴 $(33,885,687$件）を分析対象として抽出する。対象となるユーザは 887,055 人である。なお，本稿では 2 年間を 30 日単位に分割し, 図 2 のようにそれぞれ- 12 期 12 期と呼ぶこととする.

図 2 データ期間の分割

検索件数を期ごとに集計した結果を図 1 に示す. -8 期〜 4 期の間は検索件数に大きな変化はなく，出産日が近づくと急激に増加してピークの-1 期 （出産直前の 30 日間）には約 300 万件になる. 出産後は，徐々に減少するが，高い水準を維持する。

## 3 検索キーワードの出現傾向

検索クエリの内容を概括的に把握するために，検索キーワードの出現頻度を集計した（頻出するキーワードは付録 $\mathrm{A}$ 参照）その結果，妊娠期間中は「妊娠（中）」「妊娠 $\mathrm{n}$ 週」「つわり」，出産直前の-1 期は「臨月」「陣痛」が高頻度であった. 出産後は 「生後 n ケ月」の出現頻度が圧倒的に高く, 出産直後の 1 期のみ「新生児」の頻度が高い. 2 期（産後 30 日～59 日）では「生後 1 か月」が最頻というように， 2 期以降は検索時期と子供の月齢が一致していることから，ユーザは今現在の状況についての情報を求めていることがわかる.

「生後 $\mathrm{n}$ ケ月」は「生後 1 ヶ月授乳間隔」「生後 3 ヶ月体重」「生後 7 ヶ月離乳食量」のように，複数のキーワードと組み合わせて検索クエリを構成することが多い. したがって，「生後 $\mathrm{n}$ ケ月」と共起する検索キーワードを分析することで，母親が育児のどのタイミングでどのような疑問・不安をもつのかを明らかにできる可能性がある。そこで，検索クエリ内で「生後 n ケ月」と共起するキーワードを集計し，その内容を分析する. なお，「生後 4 ヶ月ミルク量」のように 3 つ以上のキーワードが共起する場合，「ミルク量」で一つの意味を成していると解釈し，分割せずにカウントする。

まず，頻度の高い 100 例について，第一著者が内容によって分類を行ったところ，概ね「授乳」「ミル

図 3 「生後 $\mathrm{n}$ 力月」と共起するキーワードの出現頻度

ク」「離乳食」「生活リズム」「睡眠」「健康」「発育」「動作」「その他」の9 カテゴリに分類された（具体的なキーワードは付録 B 参照). 特に頻度が高い力テゴリは，睡眠（17 例／172,220 回)，授乳（14 例 /166,926 回), 離乳食 (6 例/127,701 回)，ミルク （11 例／115,940 回）であった.「動作」や「発育」 のカテゴリには「寝返りしない」「ハイハイしない」「体重増えない」など，否定形を用いた表現がみら

きるようになる」などの平均的な発達段階と比較して, 我が子の発育・発達状態に不安が生じたときの検索行動だと推測される。

次に，抽出したキーワードの中で，「生後 $\mathrm{n} ヶ月 」$ の $\mathrm{n}$ によって出現頻度が大きく異なる 5 例について, 図 3 に $\mathrm{n}$ と共起頻度の関係を示す. 生後 3 ヶ月ごろまでは「授乳間隔」「ミルク量」との共起が多いが，生後 4 5 ヶ月で「離乳食」に逆転される.一般的に，離乳食の開始時期は生後 6 ヶ月と言われているため，この傾向は妥当であろう.「予防接種」 は生後 2 ケ月との共起が突出している. これは主な予防接種が生後 2 ヶ月頃から始まる 5 ) ことを反映していると考えられる。「夜泣き」は生後 6 ケ月から増減を繰り返しながらも継続して検索されている。赤ちゃんの夜泣きは生後 3 ケ月から生後 1 年半前後に起きやすいとされているが個人差も大きく, 夜泣きが始まる時期が分散していることと関連している可能性がある.

今回の分析では「生後 $\mathrm{n}$ ヶ月」と高頻度で共起するキーワードのみを対象としたため，意外性のある

5）国立感染症研究所「日本の予防接種スケジュー ル」:https://www.niid.go.jp/niid/ja/component/content/article/320infectious-diseases/vaccine/2525-v-schedule.html

結果は得られなかったが, 育児にかかわる様々な事象と検索時期が密接に関連していることは明らかになった. 今後，母親の隠れたニーズやこれまで意識されてこなかった悩みを発見するために，対象を広げて分析を行う予定である.

## 4 検索キーワード中の感情分析

検索クエリの中には，ユーザの感情を示すキー ワードが含まれているものもある. ネガティブな感情やその原因を抽出できれば，ユーザの精神的な不調の発見につながる可能性がある. そこで， ML-Ask[4]を用いて検索クエリから感情情報を抽出する. ML-Ask は辞書 [5] とのパターンマッチングをべースに

喜,怒,哀, 怖, 恥, 好, 厭, 昂, 安, 驚

の 10 カテゴリの感情を推定するもので，本研究で対象とする単語単位の感情分析に適している．産後うつは, 出産後 2 週間以内に発症することが報告さ
表 3 ネガティブな感情を示すキーワード

れている [6] ため, 分析対象のデータは 1 期の検索クエリとする.

ML-Ask によっていずれかの感情を含んでいると推定された検索クエリは28,552 件存在した. 感情力テゴリごとの頻度を表 2 に示す6). 哀，厭，昂の頻度が高く，ユーザがネガティブな感情を含むクエリで検索を行う傾向が明らかになった. 今回は全ユー ザを一括して分析したが，個人に着目することで，短期間にネガティブな感情を含む検索を何度も行っているユーザや，時間の経過とともにネガティブな検索が増加しているユーザなど, 高リスクなユーザを抽出できる可能性がある.

表 3 には，ネガティブな感情カテゴリ（怒，哀，怖，厭，昂）と推定される要因となった語を頻度順にまとめた。表中の”*CVS”は”Contextual Valence Shifters”を意味し，否定表現を示す. 例えば，「落着き*CVS」はデータ中では「落着きがない」などの形で現れる. 最頻の語は「泣く」であるが，本研究のドメインにおいては「赤ちゃんが泣く」文脈での使われ方であると予想され，必ずしも哀の感情を意味するものではない.「痛い」や「痛み」は母子の健康状態に直結するキーワードであり，共起するキー ワードと併せて分析することで適切な医療情報を提供する際に役立つ可能性がある.

その他の特徴として，「いらいら」「ぶるぶる」「びくびく」「がくがく」「ぶつぶつ」「もぞもぞ」「むず
むず」「ぴくぴく」といったオノマトペが散見される点が挙げられる.オノマトペは感情を表す際にも多用される上，もやもやした身体感覚や精神的症状を簡便に説明できる表現方法でもある [7]. 多義性をもつオノマトペであれば，その両方を表すこともある.たとえば，「ぶつぶつ」は「不平・不満や小言をいうさま」の意味で用いられている場合は厭の感情を表し，「表面にたくさん出た粒状の物」の意味の場合は湿疹等の皮膚の状態を表す.このように， オノマトぺは感情や健康状態を抽出する際に有効な手掛かりになり得る.

## 5 おわりに

妊娠・出産・育児に関して適切なタイミングで情報提供を行うことで母親の不安を低減することを目指し，情報サイトにおける検索履歴データを分析した. 検索キーワードの時間変化から，母親は日々の生活の中で生まれる疑問や不安を即時的に検索していることが示唆された。また，ネガティブな感情を含む検索キーワードも多く存在することが明らかになった. 今後はさらに分析を進め，母親の困りごとを抽出したり, 医療ドメインの単語やオノマトペなどを糸口に母親の心身の健康状態を把握することを目指す.また，データを行政の施策と結びつけることも視野に入れている.

6）複数の感情カテゴリをもつ検索クエリも存在する

## 謝辞

本研究の遂行にあたり，貴重なデータを提供していただいたコネヒト株式会社様に感謝の意を表する．また，本研究は JSPS 科研費 $21 \mathrm{~K} 12584$ および 17K12791 の助成を受けたものである.

## 参考文献

[1] 藤田大輔, 金岡緑. 乳幼児を持つ母親の精神的健康度に及ぼすソーシャルサポートの影響. 日本公衆衛生雑誌, Vol. 49, No. 4, pp. 305-313, 2002.

[2] 小林真. インターネットの利用が母親の育児ストレスに及ぼす緩和効果. 富山大学教育学部紀要, Vol. 58, pp. 85-92, 022004.

[3] 山﨑さやか, 篠原亮次, 秋山有佳, 市川香織, 尾島俊之,玉腰浩司, 松浦賢長, 山崎嘉久, 山縣然太朗. 乳幼児を持つ母親の育児不安と日常の育児相談相手との関連：健やか親子 21 最終評価の全国調査より. 日本公衆衛生雑誌, Vol. 65, No. 7, pp. 334-346, 072018.

[4] Michal Ptaszynski, Pawel Dybala, Rafal Rzepka, Kenji Araki, and Fumito Masui. Ml-ask: Open source affect analysis software for textual input in japanese. Journal of Open Research Software, Vol. 5, No. 1, p. 16, 2017.

[5] 中村明. 感情表現辞典. 東京堂出版, 1993.

[6] H Yamashita, K Yoshida, H Nakano, and N Tashiro. Postnatal depression in japanese women: Detecting the early onset of postnatal depression by closely monitoring the postpartum mood. Journal of Affective Disorders, Vol. 58, No. 2 , pp. 145-154, 2000 .

[7] 植田栄子. 診療コミュニケーションにおける擬音語・擬態語の使用傾向と効果的運用について. 日本へルスコミュニケーション学会, Vol. 6, No. 1, pp. 53-67, 2015.

## A 各期における高頻度な検索キーワード

## B「生後 $\mathrm{n$ ヶ月」と共起する検索キーワード}

 \\

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# ユーザ意図を考慮したE コマースにおける 商品検索クエリの調査と分析

浅野孝平 稲田和明 張信鵬
株式会社 MonotaRO
\{kohei.asano,kazuaki.inada,xinpeng_zhang\}@monotaro.com

## 概要

Eコマースの商品検索において，クエリに含まれるユーザの意図を正しく解釈することは重要あり，検索結果にその意図を適切に反映することで，さらなるユーザ体験の向上につながると考えられる. 本研究では，Eコマースの商品検索におけるログデー タを用いて検索されたクエリをクラスタリングし， その結果に対して詳細な分析を行うことで，クエリに含まれるユーザ意図についての理解を深める. さらに，類似した意図を持つクエリのひとつのバリエーションである表記ゆれの問題に着目し，ユー ザーの意図を正しく反映できるクエリ集合が作成できたことを示す.

## 1 はじめに

近年 Eコマースが活発に利用されることに伴い，日々膨大なログデータが蓄積されている。蓄積されたログデータは，各 $\mathrm{E}$ コマースの商品検索や推薦といったサービスにおけるユーザ体験の向上に活用されている. 商品検索では，ユーザが入力したクエリにマッチする検索結果を提示することが重要であるが，入力されるクエリにはユーザの意図が反映されることで多くの曖昧性が含まれているため，クエリからユーザの意図を正しく読み取って検索結果に反映することは難しい，さらに，クエリに含まれる意図の推定精度が十分に高くない商品検索サービスを提供すると，ユーザへ悪い印象を与える可能性があり，コマースサービスの全体的な信頼度の低下や Custer Lifetime Value の低下を招くと恐れがある．そのため，実際の商品検索のサービスとして提供するためには，非常に高精度なクエリの意図推定が必要となると考えられる。

商品検索におけるクエリの分析として，様々な研究が実施されている. Guo らは，クエリに適切な分割を与えたり，逆に結合したりすることで，検索精度を向上させるクエリ整形の手法を提案している

索のクエリに対して，商品の詳細を示す属性値の抽出・活用したクエリ整形を実施しているが，その調査規模は限定的である [2]. このように，特に日本語を対象とした Eコマースの商品検索におけるクエリの理解に関する研究は少なく，クエリに生じる曖昧性に関する分析も十分であるとは言えない。またクエリの分析には，ユーザ意図の類似したクエリをクラスタリングするアプローチが有用であることが知られており [3]，Cao ら [4] のクラスタリングをベース手法として採用した。

そこで本論文では，Eコマースの商品検索におけるクエリと商品クリックなどのログデータの関係に着目してクエリをクラスタリングすることで，意図が類似したクエリの集合を抽出し，その特徴を分析してクエリの理解を深める. 目視の観察によって，同じ商品を求めているクエリには，表記ゆれや言い換えによる曖昧性によって異なる表現や，絞り込みを目的とした属性値，意味的な含意が生じているクエリペアが存在することを確認した。さらに，分析によって発見した表記ゆれの問題に対して，高い精度の同義関係の判定ルールを提案し，検証を行った.

## 2 クエリのクラスタリング

## 2.1 クエリクラスタリングのベース手法

本研究では， Cao ら [4] のクエリクラスタリング手法をべースとする. Algorithm 1 に Cao らのクエリクラスタリング手法を示す. Cao らは，クエリと結びつきのある商品ページの URLを重み付き 2 部グラフとみなし， 2 部グラフが類似しているクエリ間をクラスタ化している。

以下に，Algorithm 1 で用いる表記について記す. クエリの集合を $Q=\left.\{q_{1}, \ldots, q_{n}\right.\}$, 商品の集合を $P=\left.\{p_{1}, \ldots, p_{m}\right.\}$ とする. $n, m$ はそれぞれクエリ数と商品数である. クエリ $q_{i}$ による商品検索によってクリックされた商品 $p_{j}$ の間にはパス $e_{i, j}$ が発生し，そのパスのクリック数を $w_{i, j}$ とする. また，クエリの集合であるクラスタを $C_{k} \in \Theta$ を $C_{k}=\left.\{q_{1}, \ldots, q_{l}\right.\}$ とする. $k, l$ はそれぞれクラスタ ID とクラスタに含まれるクエリ数である.

各クエリ $q_{i}$ のベクトル表現 $\vec{q}_{i} \in \mathbb{R}^{m}$ の $j$ 番目の要素は，式 (1)で定義される.

$
\vec{q}_{i}[j]= \begin{cases}\frac{w_{i, j}}{\sqrt{\sum_{\forall j} w_{i, j}^{2}}} & \left(e_{i, j} \text { が存在する場合 }\right) \\ 0 & (\text { 上記以外 })\end{cases}
$

クラスタ $C_{k}$ のセントロイドベクトル $\overrightarrow{c_{k}} \in \mathbb{R}^{m}$ は, クラスタ $C_{k}$ に属するクエリベクトル $\left.\{\vec{q}_{1}, \ldots, \vec{q}_{l}\right.\}$ の $L_{2}$正規化された平均べクトルで求められる. $\operatorname{dist}(q, C)$ と diameter $(C)$ はそれぞれ式 (2), (3) で定義される.

$
\begin{aligned}
\operatorname{dist}(q, C) & =\sqrt{\sum_{p_{j} \in P}(\vec{q}[j]-\vec{c}[j])^{2}} \\
\operatorname{diameter}(C) & =\sqrt{\frac{\sum_{q \in C} \sum_{q^{\prime} \in C}\left.\|\vec{q}-\vec{q}^{\prime}\right.\|^{2}}{|C|(|C|-1)}}
\end{aligned}
$

また， $D_{\max }$ はクラスタサイズを調整するためのハイパーパラメータである.表 1 クラスタリング結果

## 2.2 クラスタの拡張

Algorithm 1 によるクラスタリングでは，ひとつクラスタに含まれるクエリがひとつのみあるシングルトンクラスタが多数生成される [4] が，シングルトンクラスタに属するクエリは，比較対象のクエリが存在しないため意図分析が困難である．そこで本研究では，類似したクラスタをさらにグループ化してシングルトンクラスタの数を減らすことで，解析対象のクラスタ数の拡大を行う.

各クラスタのセントロイドベクトル $\overrightarrow{c_{k}}$ において $\overrightarrow{c_{k}}[j] \neq 0$ を満たす次元を 1 ，それ以外の次元を 0 とするバイナリベクトル $b_{k}$ を作成する. ある二つのクラスタ $C_{x}, C_{y}$ について, $\overrightarrow{b_{x}}=\vec{b}_{x} \odot \overrightarrow{b_{y}} \neq \overrightarrow{0}$ を満たすとき， $C_{x}$ と $C_{y}$ が関連しているとみなす. さらに $\vec{b}_{k}$ に対して $\vec{b}_{k} \odot \vec{b}_{k^{\prime}}=\vec{b}_{k}$ を満たす $C_{k^{\prime}}$ が $\Theta$ に存在しない場合， $C_{k}$ を極大クラスタと定義する. ある極大クラスタ $C_{k}$ を基準として，式 (4)で得られるクラスタの和集合を，類似したクラスタをグループ化した拡張クラスタ $\mathscr{C}_{k}$ を獲得する。

$
\mathscr{C}_{k}=\bigcup_{i \in\left.\{i: \vec{b}_{k} \odot \vec{b}_{i}=\vec{b}_{i}\right.\}} C_{i}
$

同様に極小なクラスタを基準とした拡張クラスタも獲得する。

## 2.3 クラスタリング結果

クラスタリング対象のクエリとして, monotaro.com¹)の 2022 年 1 月〜12 月における検索頻度の高いクエリ約 17 万 5 千件を採用した. なお前処理として，公序良俗に反する表現などを含むクエリ，信頼性の低いと考えられるクリック数の少ないクエリ-商品間のパス，各クエリにおいて他の商品よりも相対的に重みの小さいクエリ-商品間のパスを削除している.

表 1 に Algorithm 1 のクラスタリング結果と, 2.2 節のクラスタ拡張を適用した結果を示す.なお， $D_{\text {max }}=0.75$ とした.

導出された拡張クエリクラスタの例を表 2 に示

表 2 拡張クエリクラスタの例

す. 例 1 と例 2 から，ひとつの商品を指す言葉に様々なクエリが存在していることがわかる。 また例 3 と例 4 では，俗称や固有商品名を用いて，ひとつの商品を異なる表現で表現で検索されていることが確認できる。 さらに例 5 では，クエリに商品名の 「ボルト/六角ボルト」に加え材質である「sus」や寸法を指す「男8」などの属性值が使用されていること

る寸法を指す属性値であるが, monotaro.com では属性值のみが異なる同一商品を，まとめてひとつの商品ページで取り扱っていることが原因である．以上の観察結果から，ユーザ意図が類似したクエリをグループ化できていることが確認できた.

なお以降の分析では， $\mid$ ஜ $\mid>1$ を満たす拡張クエリクラスタに含まれるクエリのみを用いた。

## 3 クエリクラスタの分析

類似した意図を示すクエリにどのような事例があるかを調査するために，拡張クラスタからランダムサンプルした 200 個のクラスタに対して目視チェックを実施した。本研究では，類似した意図を示すクエリに表れる事例を，表記ゆれ，言い換え，絞り込み，含意，その他の 5 種類に分類し, 各事例の観察結果を表 3 に示す. ただし, ひとつのクラスタに複数の事例が混在しているため, 表 3 のクラスタ数の合計は 200 を超える点に注意されたい.

表記ゆれ表記ゆれとは，文字の変換の有無，誤字，長音や促音の有無，濁音・半濁音の差異によって，同じ単語を指す表現が異なる文字列となっていることを指す. テキストベースの TFIDF や BM25 を用いた一般的な全文検索では，表記ゆれの生じたクエリ間の検索結果がそれぞれ異なる $[5,6]$. また，表 3 類似した意図を持つクエリの観察結果

 \\

表記ゆれの差異による意図の差はほぼなく，基本的にあるひとつの意図を示していると考えられる. そのため表記ゆれにより，十分な検索件数が得られない場合や，ユーザが意図しない検索結果を提示してしまうことは，ユーザ体験の大きな悪化に繋がると考えられるため, 4 章で表記ゆれに焦点を当てた同一意図のクエリ抽出について詳しく分析する.

言い換え言い換えとは，あるひとつの商品を指す表現が複数存在することを指す. たとえば，商品の一般的な名称と固有商品名による検索，業界固有の商品呼称による検索，型番による検索などによって発生する. 特に業界固有の商品呼称に関しては,商品説明文などに明示的に記述されていたり, 言語資源が存在したりしないため，言い換えの中でも特に困難な問題であるといえる。

絞り込み絞り込みとは，商品の絞り込みを目的としたブランドや大きさ・色などの属性値の有無によって，クエリとしての表現が異なる物を指す. 2.3 節で説明したとおり, monotaro.com では属性値のみが異なる商品をまとめてひとつの商品ぺージで取り扱っていることで，類似した意図を持つクエリとして複数の事例が観測された。

含意含意とは, クエリ内のある表現がすでに他の表現を含意していることで，異なるクエリでも同じ意図を示す事例を指す．たとえば「雨傘/ジャンプ傘」では，ジャンプ傘は雨傘の一種であるため, 雨傘がジャンプ傘を含意しているといえる.意味的含意の判断には, ドメイン知識を反映させた WordNet [7]のような意味関係を持つ言語資源の作成が必要であり，対応が困難な問題であると言える。

その他また上記以外にも，スペースの有無や単語の並び順が異なるだけの軽微な差異である事例が 18 件，分類自体が困難な事例が 13 件存在した. 分類が困難な事例は，2 部グラフでユーザの意図を適切に捉えられていないようなクリックログや商品検索結果を持つクエリであり，本手法で抽出した類似していない意図を持つクエリ集合，すなわち負例といえる.

## 4 同じ意図の表記ゆれクエリの獲得

## 4.1 表記ゆれの判定

まず，表記ゆれによって表層が異なるが同じ意図を指すクエリ郡を獲得する基本的な対応方法として，クエリのカナ読みに着目する。しかし，「さらさ」という読みを持つ商品には以下の三つ異なる商品が存在するため, 同じ読みの意図が異なるクエリを同じ意図として判定してしまう危険性がある.

・さらさ（P\&G 社の洗剤）

・サラサ (ゼブラ社のボールペン)
- SARASA（ファロス社の鍼）

そこで表記ゆれによる同じ意図のクエリ獲得では， 2.2 節で獲得した拡張クラスタ内 $\mathscr{C}$ で行う. 拡張クラスタ内のクエリはユーザーの意図が類似してるため，上述の三つのクエリをひとつにまとめた不適切なクエリ集合の抽出を防ぐことができると考えられる.

本研究では，クエリをスペース区切りで分割 $q=\left[t_{1}, \ldots, t_{L}\right]$ した上で，拡張クラスタ内の全てのクエリの構成要素のペア $\left(t_{i}, t_{j}\right)$ に対して，カナ読みの完全一致と編集操作 [8]（挿入・削除・置換） を用いた比較を適用する．編集操作として，「エアチューブ」と「エアーチュウブ」間のような表記ゆれを吸収できるように，ふたつの文字列間における長音の挿入・削除・置換，かな読みの大文字小文字の置換，濁音・半濁音への置換といった特定の文字の操作を許容した. なお，カナ読みの付与には SudachiPy ${ }^{2}$ を用い， $t$ が英数字のみの文字列である場合， $t$ の訓令式ローマ字とみなしてカナ読みを求める.表 4 表記ゆれの解消

 \\

## 4.2 分析結果

2.3 節のクエリに対して，提案した「表記ゆれ」による類似した意図を示すクエリ集合の抽出手法を適用したところ，5,468 ペア，12,892クエリが抽出された。表 4 に抽出された表記ゆれ表現のペアの例を示す.

表 4 の例 1 では，「オイルフィルター」の意図を持つ表記ゆれのクエリ郡をひとつのグループとして集約できていることが確認できた。一方例 2 では，「タフレッド」はアトム社が販売するゴム手袋の商品名，「タフレット」は NACHI (不二越) 社が販売するロールタップの商品名であるため，異なる意図のクエリを集約してしまった. クエリ「タフレッ卜」における商品検索結果で，ユーザーが「タフレッド」の商品をクリックすることが多数あったことが，クラスタの誤判定の原因であるとわかった.

## 5 おわりに

本論文では，ユーザ行動に基づいたクラスタリング手法を用いて，Eコマースの商品検索におけるクエリの分析を行った. クエリクラスタリングによってユーザ意図が類似したクエリをグループ化することができ，類似したクエリとして表記ゆれや商品名の言い換えなどが含まれていることと，それぞれの課題について確認した。さらに，表記ゆれが生じている単語の同義関係の判定方法を提案した.

今後の課題として，より多くのクエリの意味関係を捉えるためには，本研究の分析で発見した言い換えや含意についても考慮する必要がある。そのためにも，言い換えや含意，業界固有の商品呼称に関する言語資源の作成が長期的な課題であると言える. また，クエリに含まれる絞り込みを目的とした属性値について正しく同定し，検索結果に反映することで，より良い検索体験の提供につながることが期待できる.

## 参考文献

[1] Jiafeng Guo, Gu Xu, Hang Li, and Xueqi Cheng. A unified and discriminative model for query refinement. In Proceedings of the 31st annual international ACM SIGIR conference on Research and development in information retrieval, pp. 379-386, 2008.

[2] 中山祐輝, Chen Zhao, Erick Mendieta, 村上浩司, 新里圭司. Eコマースにおける検索クエリの整形と属性值抽出への適用. 言語処理学会第 28 回年次大会発表論文集, pp. 1578-1582, 2022.

[3] Claudio Carpineto and Giovanni Romano. A survey of automatic query expansion in information retrieval. Acm Computing Surveys (CSUR), Vol. 44, No. 1, pp. 1-50, 2012.

[4] Huanhuan Cao, Daxin Jiang, Jian Pei, Qi He, Zhen Liao, Enhong Chen, and Hang Li. Context-aware query suggestion by mining click-through and session data. In Proceedings of the 14th ACM SIGKDD international conference on Knowledge discovery and data mining, pp. 875-883, 2008.

[5] Yuki Amemiya, Tomohiro Manabe, Sumio Fujita, and Tetsuya Sakai. How do users revise zero-hit product search queries? In Advances in Information Retrieval, pp. 185192. Springer International Publishing, 2021.

[6] Gyanit Singh, Nish Parikh, and Neel Sundaresan. Rewriting null e-commerce queries to recommend products. In Proceedings of the 21st International Conference on World Wide Web, pp. 73-82, 2012.

[7] George A Miller. Wordnet: a lexical database for english. Communications of the ACM, Vol. 38, No. 11, pp.39-41, 1995.

[8] Dan Gusfield. Algorithms on Strings, Trees, and Sequences - Computer Science and Computational Biology. Cambridge University Press, 1997.


# E コマースにおける商品用途表現の抽出とグルーピング

梶原奨井上翔太 岡林遥平 稲田和明 張信鵬
株式会社 MonotaRO
}

\{sho.kajihara, shota.inoue, yohei .okabayashi, kazuaki .inada,xinpeng_zhang\}@monotaro.com
## 概要

商品の利用用途などを説明した文は、商品検索などの特定のサービスへの利用を前提として作成された構造化データとは異なり、Eコマースのサービスでの活用が難しい。しかし構造化されていないデー タ内にも、ユーザーが商品を探す際に有用な商品の使い道を記した表現が多数含まれているため、そのような表現を抽出・利用することで商品検索の質を向上させることができると考えられる。そこで本稿では、ユーザの商品検索に有用な 8 種の商品用途表現ラベルを定義し、実際の商品情報に含まれる構造化されていない文にアノテーションした上で、系列ラベリングモデルを作成することで、商品検索に有用な商品の用途表現を抽出する。さらに実際の Eコマースのサービスで活用することを想定し、類似する商品用途表現のグループ化を実施する。

## 1 はじめに

Eコマースに利用されるデータは、商品検索などの特定のサービスに応じて事前定義されたスキー マに沿って、意味の通じる最小単位に分割された構造化データで表現されることが多い。しかし、中には商品の説明文のような構造化されていないデー タも存在する。たとえば「剪定ハサミ」の商品には、(材質, ステンレス)、(大きさ, 20 インチ)のような key-value 形式の構造化された商品情報だけでなく、「庭木の剪定作業、ガーデニング・盆栽・植木のお手入れに。のような構造化されていない商品情報も存在する。

上述のような構造化されていない商品情報の中には、「庭木の剪定作業」といった使い道、「ガーデニング」といった環境、「盆栽」「植木」といった商品の使用対象などの、商品検索に有用な情報が記述されていることがある。これらの有用な情報を抽出することができれば、構造化されたデータと同様に検

表 1 商品用途表現ラベル

に活用でき、ユーザーの利便性を高められると考えられる。

Alicoco[1] では、ユーザーのニーズとして Time, Location, Object, Function, Incident, Cate/Brand, Style, Intellectual Property $の 8$ 種類の関係を定義・活用することで、商品間の知識グラフを作成した。この知識グラフは Alibaba グループの商品検索や推薦に応

層的なカテゴリによる商品分類よりも、ユーザーのニーズをより深く汲み取ることに成功している。

そこで本稿では、商品に記述されている文から、意味の通じる最小粒度の表現 (以降、商品用途表現と呼ぶ）を抽出し、商品と商品用途表現間の関係を整理する。まず、商品用途表現の役割として 8 種のラベルを定義し、実際の Eコマースの商品情報として記述される文に対してアノテーションする。次にラベル付きデータを用いて教師ありの系列ラベリングモデルを作成し、ラベル付けしていないデータから商品用途表現を抽出する。最後に、実際の商品検索サービスへの活用を想定し、類似する商品用途表現のグループ化を実施する。

## 2 商品用途表現のラベリング

Alicoco[1] におけるニーズを参考に、商品用途表現を分類するラベルを表 1 に定める。

表 1 で定めたラベルのアノテーションの例を図 1
に示す。アノテーション対象として、monotaro.com¹) の商品の中で「用途」として定義された属性に含まれる約 10 万文の内、商品に付与されているカテゴリを網羅できるように層化抽出した $10 \%$ 利用した。アノテーションは 2 人の作業者によって実施し、作業中のアノテーション対象の文だけでなく掲載元の web ページの閲覧や Google などの検索エンジンの利用を可能とした。またアノテーションの精度を確保するため、 100 件のデータに対して正しくラベル付けできるようトレーニングした。さらにアノテータ 2 人で相互にレビューする体制を取ることで、ラベリング結果の一貫性とアノテーションの精度を高めた。

アノテーションしていない残りの $90 \%$ のデータに対する商品用途表現ラベルの同定には、図 2 に示す BERT のネットワークの最終層に CRF 層を追加した BERT+CRF モデルを用いる [2]。まず、入力された文を WordPiece トークナイザでトークンに分割した後、各トークンに対して BERT モデルで表 1 に定めた各ラベルの予測確率を計算する。その後、CRF 層で入力全体のラベル遷移を考慮して最終的なラベルを予測する。なお予測対象のラベルには、各商品用途表現ラベルに $B$ および $I$ を組み合わせたラベルと $O$ の 17 種類が存在し、 $B$ は各商品用途表現ラベルが付与された表現の先頭、 $I$ は各商品用途表現ラべルが付与された表現の先頭以外、 $O$ は商品用途表現ラベルが付与されていないトークンを意味する。

また本稿ではモデルの精度改善のために、Least Confidence を用いた能動学習を導入する [3]。アノテーションの半分が終わった時点で学習したモデルを用いて、アノテーション対象外のデータをラベル付けし、各トークンの予測確率に対して Least Confidence を計算する。そして、文内の最も小さな Least Confidence をその文のスコアとし、スコアの低い 2000 文をアノテーション対象として追加する。

## 3 商品用途表現のグルーピング

商品用途表現には異なる表記で同じ意味を持つものが多数存在する。商品検索における絞り込み条件などの実際の Eコマースのサービスを想定すると、 たとえば、「穴や破損個所を修復」と「つなぎ合わせ」のような表現が大きく異なる商品用途表現も、同じ意味として 1 つにグループ化しておく必要がある。

単語やフレーズなどの意味的な類似度を計算する手法の 1 つとして、計算対象の表現をそれぞれべクトル化しそれらの距離を比較する手法が近年よく利用されるが、その類似度は主に含まれる文字列や単語の種類が大きく影響することが報告されている $[4]$ 。

そこで本稿では、以下に示す 3 段階のルールベー スのグルーピングを適用する。1 段階目として、文字列の部分一致により商品用途表現をグループ化する。次に 1 段階目で形成されたグループを、商品用途表現に紐づいている商品のカテゴリ情報によって分割する。最後に日本語 WordNet[5] の概念と部分関係の情報を用いて細分化する。

## 3.1 部分一致と同義語によるグルーピング

1 段階目のグルーピングとして、文字列情報に着目した以下に示す手順を適用する。

1. 他の商品用途表現と文字列が部分一致しない商品用途表現を抽出する。

2. (1) で抽出した商品用途表現と文字列が部分一致する商品用途表現でグループを形成する。

3. 同義語辞書を用いて (1) で抽出された商品用途表現同士をマージする。

たとえば、(1)で「研磨」「研ぐ」のような商品用途表現が抽出され、(2)で「研磨」と部分一致する 「金属研磨」「プラスチック研磨」「研ぐ」と「彫刻刀を研ぐ, 整えて研ぐ」などを集約してグループを形成し、(3)で「研磨」と「研ぐ」が同義語として判定されて、「研磨、研ぐ、金属研磨、プラスチック研磨、彫刻刀を研ぐ, 整えて研ぐ」というグループが出力される。ただし (1)では、使用目的・機能・使用イベントの 3 つのラベルに属する商品用途表現が述語によって構成されることを考慮し、用言の有無を確認することでグルーピングの精度を高める。たとえば、「切断」と「切断を防ぐ」は部分一致しているが、用言を比較すると「切断」と「防ぐ」と異なるため、グループ化させない。

## 3.2 商品カテゴリによるグルーピング

商品カテゴリは末端ほど細分化された意味を持つ木構造で表現されており、たとえば「鋏」のカテゴリでは、親に「農具」、子に「剪定鋏」「収穫鋏」「替え刃」などを持つ。このとき商品カテゴリの根はすべてのカテゴリの祖先に相当するが、2 段階目のグ

図 1 brat によるアノテーションの様子

図 2 BERT+CRF モデルによるラベル付け

ルーピングとして、商品用途表現の抽出元である商品と商品カテゴリの根の子に相当するカテゴリ (以降、モールカテゴリと呼ぶ) の関係を用いる。

まず、各商品用途表現に対応するモールカテゴリを決める。商品用途表現は複数の商品から同じ表現が獲得されるため、 1 つの商品用途表現は複数の商品カテゴリとそれらのモールカテゴリを持つが、最多のモールカテゴリを各商品用途表現の代表とする。その後、3.1 で形成された各グループの中の商品用途表現をモールカテゴリごとに分割する。たとえば、「金属研磨」「プラスチック研磨」が「切削工具・研磨材」、「電解研磨」が「スプレー・オイル・ グリス/塗料/接着・補修/溶接」のモールカテゴリに属し、3.1 節で「金属研磨、プラスチック研磨、電解研磨」というグループが形成されていた場合、「金属研磨、プラスチック研磨」と「電解研磨」の 2 つのグループに分割される。

## 3.3 日本語 WordNet によるグルーピング

3 段階目のグルーピングに使用するスコアとして、日本語 WordNet 内の 2 つの単語 $w_{i}, w_{j}$ 間の意味の距離を以下のように定義する。
1. $w_{i}$ と $w_{j}$ が同じ概念 $\Rightarrow 0$
2. $w_{i}$ と $w_{j}$ が部分関係 $\Rightarrow 0.5$
3. $w_{i}$ の 1 つ上の上位概念と $w_{j}$ の概念が同じ $\Rightarrow 1$
4. $w_{i}$ と $w_{j}$ それぞれ 1 つ上の上位概念が同じ $\Rightarrow$ 1.5

5. 上記以外 $\Rightarrow \infty$

しかしながら、商品用途表現は複数の単語で構成されていることがあるため、構成単語の中から最もその意味を表す単語を抽出したい。一方で、日本語 WordNet に登録されている概念の中には「熱」と 「柔軟性」の 2 つの単語が 1 つ上の概念で紐づくような、グルーピングに活用しにくい抽象度の高い概念が存在する。そこで、式 1 で概念 $i$ の抽象度 $\alpha$ を定義し、商品用途表現を構成する単語の中である抽象度以下かつ最も抽象度の高い単語を用いて、日本語 WordNet による商品用途表現間のスコアを求める。

$
\alpha=\frac{1}{|l(i)|} \sum_{j \in l(i)} d_{i, j}
$

なお、 $l(i)$ は概念 $i$ が持つ下位概念のうち末端にある概念を、 $d_{i, j}$ はツリー上で概念 $i$ から $j$ までに辿る概念数である。2 段階目で作成した各グループ内で上述の商品用途表現間のスコアを求め、最長距離法による階層的クラスタリングを適用し、閾值 $T$ 以下の商品用途表現間を最終的なグループとした。

## 4 評価

## 4.1 商品用途表現の抽出

表 2 に、表 1 のラベルを付与した商品用途表現数、図 2 のモデルによる各ラベルの $F_{1}$ 值、およびラベル付けしていないデータから取得できた商品用途表現数を示す。モデルの訓練および評価には層化グループ付き 5 分割交差検定を用い、各商品用途表現に対して予測された $B$ と $I$ のラベルがアノテーション結果と完全に一致しているかで正誤判定をした。 なお、 $O$ ラベルの $F_{1}$ 值は 0.91 であった。

表 2 より、すべてのラベルにおいて $F_{1}$ 値が 0.8 未
表 2 商品用途表現ラベルのアノテーション数と予測精度

表 3 商品用途表現のグルーピング結果 P1 チタニウム部品研磨, 金属面研磨, アルミ製品研磨 P2 攵テンレス鋼研磨, 工具鋼研磨, ステンレス研磨 P3 プラスチック面研磨, プラスチック研磨, 合成樹脂研磨 4 切刃研磨, 刃研磨, 刃物研磨 P5 難削材研磨, 硬い素材研磨, ステンレス材研磨コンテナ運搬, 計測器運搬, 低温容器運搬

満であり $O$ ラベルの $F_{1}$ 值が 0.91 であることから、商品用途表現の位置は同定できているが、その種類を特定できていないことがわかる。この問題点の 1 つとして、同じ単語でも文脈によって正解ラベルが変わることが挙げられる。学習データとして使用した約 13,000 種類の商品用途表現のうち、同じ文字列かつ複数のラベルを持つものが約 36\%存在した。たとえば、「研磨」という商品用途表現では、サンドペーパーのような商品の場合には「使用目的」のラベルが、研磨液のような商品であれば「使用イベント」のラベルが付与されていた。すなわち、1つの同じ文字列の商品用途表現内に複数の意味が存在する可能性を考慮しなければならないと言える。

## 4.2 同義語のグルーピング

表 3 に、3 章で提案した手法で商品用途表現をグルーピングした結果の例を示す。P1 から P5 は「研磨」に関するグループ、Tは「運搬」に関するグルー プである。なお、3.3 節における抽象度 $\alpha$ と階層的クラスタリングの閾値 $T$ はそれぞれ 1.75、1.51とした。

表 3 より、「研磨」の文字列が含まれる商品用途表現が「金属」や「プラスチック」など使用対象の素材に応じて分割できていることが分かる。各グルー プの商品用途表現がどのタイミングでグループピングされているかを詳しく分析すると、P1 から P3 は 3.2 節の商品カテゴリによるグルーピングが、P4 は 3.3 節の日本語 Wordnet の概念がそれぞれ貢献していた。一方、P5 の「ステンレス材研磨」は P2 に所属することが望ましい。この原因は、 3.3 節の日本語 Wordnet によるスコア付与時に「材」という抽象度の高い単語が選択されていたためであった。また T1 は、それぞれ異なる意味を持つ 3 つの商品用途表現が同じグループに割り当てられた例である。これは、日本語 Wordnetを参照する単語がそれぞれ 「コンテナ」、「器」、「容器」であり、これらが同じ概念に属していることが原因である。改善策として、「計測器」や「低温容器」のような句単位の情報を利用することで、 3 つの表現が同じグループになることを防ぐことができると期待される。

## 5 おわりに

本稿では、商品の使い道などを説明した文などの構造化されていないデータから有用な商品用途表現を抽出して活用するための方法として、商品用途表現を分類する 8 種類のラベルを提案し、そのラベルを用いた商品用途表現の推定とグルーピングについて示した。今後の課題として、提案したグルーピング手法の精度の改善や、今回作成したデータやモデルを実際の Eコマースサービスに適用しての検証が求められる。

## 参考文献

[1] Xusheng Luo, Yonghua Yang, Kenny Qili Zhu, Yu Gong, and Keping Yang. Conceptualize and Infer User Needs in E-Commerce. In Proceedings of the 28th ACM International Conference on Information and Knowledge Management, 2019.

[2] Fábio Souza, Rodrigo Frassetto Nogueira, and Roberto de Alencar Lotufo. Portuguese Named Entity Recognition using BERT-CRF. CoRR, 2019.

[3] David D. Lewis and Jason Catlett. Heterogeneous uncertainty sampling for supervised learning. In Machine Learning Proceedings 1994, 1994.

[4] Shufan Wang, Laure Thompson, and Mohit Iyyer. PhraseBERT: Improved Phrase Embeddings from BERT with an Application to Corpus Exploration. CoRR, 2021.

[5] Hitoshi Isahara, Francis Bond, Kiyotaka Uchimoto, Masao Utiyama, and Kyoko Kanzaki. Development of the Japanese WordNet. In Proceedings of the Sixth International Conference on Language Resources and Evaluation, 2008.


# テキストマイニングによる PubMed・PubMed Central からの 遺伝子ネットワークの抽出

荒金究 1 井元宏明 ${ }^{1}$ 岡田眞里子 ${ }^{2}$
1 大阪大学大学院理学研究科 2 大阪大学蛋白質研究所
$\{k$. arakane, himoto, mokada\}@protein.osaka-u.ac.jp

## 概要

生物学においては，細胞内のタンパク質の生化学反応ネットワークを数理モデルとして記述し，計算機を用いてその時空間動態を再現することでその系に関する洞察を得るシステム生物学という分野がある.しかしモデルを作るには再現したい現象に対する知識を得るために文献情報を大量に収集する必要があり，また知識の偏りによって重要な因子を見落とす可能性があるなどの問題点がある. これらを解決するために，我々は公開されている論文データベースからデータ駆動的にモデルを構築することを目指している。本稿では，論文中に出現する生物学的な固有表現の出現頻度や共起頻度情報を用いて疾患など特定の生命現象に関連するタンパク質ネットワークを抽出する手法と，既存の知識データベースから数理モデルを自動生成する手法を紹介する.

## 1 はじめに

システム生物学の分野では，シグナル伝達経路というタンパク質の生化学反応系を連立常微分方程式 （ODE）を用いて数理モデル化し，計算機を用いてその動態を再現するという手法が用いられている [1]. そのようなシミュレーション解析を通じて，その経路の中で重要な働きをする因子を特定したり， それまで知られていなかった制御機構を予測したりすることで新たな知見を得ることが可能である.

しかしながら，注目する現象を計算機上で再現できるモデルを構築するためには数多くの文献に当たり，シグナル伝達経路を構成するタンパク質やそれらの相互作用についての情報を収集することが必要である.このような人の手によるキュレーションをベースとした従来のモデル構築手法は多大な時間を要し，なおかつバイアスを排し切ることができない.そのため自然言語処理を活用し，データ駆動的
に論文データベースからシグナル伝達経路の数理モデルを自動的に構築する手法が確立すれば，バイアスを取り除きつつ，モデル構築からシミュレーション解析，仮説生成というサイクルを高速化し，より多くの発見をもたらす事ができる.

本稿では，そのようなデータ駆動型の数理モデル構築を目的として，論文中の遺伝子や疾患名などの固有表現の出現頻度や共起頻度を用いたタンパク質間相互作用（Protein-Protein Interaction; PPI）ネットワークの抽出と，それを用いて特定の疾患に関連するネットワークを効率よく抽出する手法，そして最後に知識データベースを用いた自動的な数理モデルの構築手法を紹介する。

## 2 研究手法

以下より，本稿で紹介する研究手法の各ステップの詳細について記す。

## 2.1 固有表現抽出と共起頻度解析

まず最初に，遺伝子や疾患名といった生物学的な固有表現同士の共起頻度解析を行うため, PubTator central[2]（以降 PubTator）データベースを利用した. PubTator では，機械学習モデルを用いて PubMed， PubMed Central に登録されている生物医学系の論文中に存在する生物学的な固有表現を標識し，なおかつそれらを適切なデータベースの項目に紐づけたデータが公開されている。またこのデータの大きな特徴として標識された各固有表現が，例えばタンパク質名であればタンパク質のデータベースなど，適切なデータベースの項目と紐づけられていることが挙げられる。 そのため，（後述する PPI データベー スのような）異なるデータベースの情報と組み合わせることも容易である。よって，今回はそれを利用した共起頻度解析を行った。

共起頻度解析は, PubTator から得たデータセット
中に出現する全ての固有表現に対し行なった.この時，同一の文中に二つ以上の固有表現が出現した場合を一度の共起と見做した。

## 2.2 PPI ネットワークの構築と重みづけ

ある細胞で発現するタンパク質間の相互作用を網羅的に含んだ PPI ネットワークの中には，その細胞内で働くシグナル伝達経路の情報が含まれていることが期待される。そのため，PPI ネットワークから，共起頻度など自然言語処理により得られた情報を用いて，疾患などの特定の現象との関連性が高いサブネットワークを抽出するタスクを考えた。

まず，ネットワークの構築のために OmniPath[3] という PPI データベースを用いる. OmniPath は，夕ンパク質だけでなくDNA やRNAなどの様々な生体分子間の相互作用のデータベースを統合したデータベースである. 最終的なネットワークの大きさを制限するために，OmniPath に登録されている PPIのうちいくつかの条件1)を満たすものを抜き出し，それらを組み合わせたネットワークを重みづけを行う対象とした. 最終的に 1142 のノードと 1993 のエッジからなるネットワークが構築された。

ここで，特定の生命現象との関連性をネットワー クのノードやエッジの重みとして表現したい. そのため，まず注目する現象を表すキーワードを与えた. キーワードは共起頻度解析中に出現した（遺伝子名や病名などの）固有表現に紐づけられる。その後 PubTator の中の論文のうち，与えられたキーワー ドを含む論文を抜き出し, 再度共起頻度解析を行う.ノードにはそれが表すタンパク質の出現頻度， エッジにはそれが結ぶタンパク質同士の共起頻度が，それぞれに関してネットワーク全体で正規化された値を紐づける. 同様の操作を PubTator データセット全体から算出した出現頻度や共起頻度の値を用いて行い，論文にフィルタをかける前後で対応するノードとエッジ同士の重みを比較する。これらの操作を通じて，与えられたキーワードの文脈において強調されるノード（固有表現）とエッジ（共起） の值が大きくなるように重みづけることができる.

## 2.3 重みに応じたサブネットワーク抽出

前節で特定の生命現象に重みづけられたネットワークにおいては，前述の通り注目する現象との関

1）ソースとして KEGG が記載されている (1) 方向性がある （有向エッジで表される）（2）全てのソースで情報が一致している (3)など.連性が高いタンパク質や相互作用により大きい重みが紐づけられていることが期待される。単純に重みに関して閾値を設定し抽出するネットワークに含めるノードやエッジを選択することも可能だが，シグナル伝達経路の中に間値に満たない重みを持つノー ド・エッジが多数混在する可能性があるため，この手法ではシミュレーション解析が行えるような適切なサイズの連続した経路情報を取り出すことができない.

そこで，この問題を解決するために，グラフ理論における Prize-Collecting Steiner Tree (PCST) 問題 [4] の応用を考える．PCSTは，ノードの重み（prize）を最大化しつつ，エッジの重み（cost）を最小化する木を求める組合せ最適化問題である. そこでこの PCST 問題を解くアルゴリズムを自分たちのネットワークに適用した. サイズが大きくなりがちな生物ネットワークに PCST アルゴリズムを適用するという考えは新しいものではない $[5,6,7,8]$. しかしながら，PCST 問題を解くことで得られたネットワー クをシミュレーション解析に用いる試みは初めてと思われる。そこで，本研究では巨大なネットワークに対しても高速に解を計算できるヒューリスティックアルゴリズム [9]を利用した。 また，問題を解く際にはノードとエッジに紐づけられた重みを変換した値を用いた。

## 2.4 数理モデルへの変換

次に，PPI ネットワークを数理モデルに変換しシミュレーション解析を行うために, 本研究室で開発した生化学シミュレーション解析ソフト BioMASS[10] を利用した. BioMASS は，シグナル伝達経路における生化学反応を自然言語に近い形式（中間言語）で記述することで，これを自動的に ODE モデルに変換する Text2Model と呼ばれる機能を有する（図 1 ).

ここで見られるように，シグナル伝達経路においてはタンパク質同士が結合し複合体を形成したり，化学修飾を通じてタンパク質を活性化・不活性化したりといった制御関係の方向性を有する反応が起こる. 数理モデル化にはこのような反応の連鎖の方向性を記述することが必要になる。

しかしながら，前節までに得られた PPI ネットワークから，シグナル伝達経路の数理モデルを得ることは難しい。これは，図 1 におけるEGF_ErbB1 やRafPなどに相当するような，シグナルを下流に

図 1 BioMASS の Text2Model の概要図. [11]より改変.

伝達する因子が明示されておらず，また無向と有向のエッジが混在し，かつ閉路が存在するような PPI ネットワークのみから上流・下流の情報を得ることが困難であるためである.

そこで，次に，このような反応の方向性が既にわかっているシグナル伝達経路に対してシステマティックな処理を行うことで，このネットワークを実行可能な数理モデルに変換可能かを試行した.

ここでは，シグナル伝達経路の知識データベー スである KEGG PATHWAY[12] に登録されている Human ErbB Pathway を元に作成したネットワークを用いた. KEGGから得られたネットワークに対する事前処理として，まず明示されていない逆反応や， リン酸化や活性化状態を表す中間的なノードを自動的に追加し, その後一部のタンパク質の分解反応を手動で加えることを行った．動的なモデル生成には，公開されている時系列の実験データ [11]を用いてパラメータ推定とシミュレーション解析を行った. パラメータ推定とは, 数理モデルの中の反応定数などのパラメータに関して，再現したい現象とのずれが最も小さくなもの遺伝的アルゴリズムなどを用いて推定する手法である. また，実験データには乳がんの異なるサブタイプ由来の細胞株（MCF-7, MDA-MB-231）に対して 2 種類の成長因子（EGF, HRG）で処理したデータが含まれている。最終的に, 生成したモデルで細胞内のタンパク質の時空間動態をある程度再現可能であることを害証した。

## 3 結果と考察

構築した PPI ネットワークから抽出されたサブネットワークの例を図 2 に示す. このネットワークを抽出する際に用いたキーワードは “Breast Cancer” である。この結果から，本手法により，与えられた
キーワードの文脈において強調されたノードやエッジを中心的に抽出することができ，なおかつ少数の重みの小さいものも抽出できていることがわかった. また，抽出されてくるネットワークの大きさは重みの変換のパラメータを変えることで大まかに調節することできた.

図 2 PPI ネットワークから抽出されたサブネットワークの例. 各ノードやエッジに紐づけられている重みが色で表現されている.

また，抽出された遺伝子からそれぞれのコンテキストにおいて生物学的に意味のあるネットワー クが抽出できていることが確認できた. 例えば図 2 で示した “Breast Cancer” のサブネットワークにおいては，がん化と関わりがあることが知られているERBB2[13] やそれと同一のタンパク質ファミリーに属する遺伝子 EGFR が含まれていた。また “Inflammation”をキーワードとして抽出した場合では，細胞の炎症反応において中心的役割を果たすと考えられている NF-кB シグナル伝達経路 [14] の遺伝子が連なって抽出できていることが確認された。

また，与えられた文脈において強調されていなかったノードも注目に値する。すなわち，キーワー ドに関連するものとして抽出できた遺伝子は，換言すればその働きもよく研究されている有名な遺伝子だと言える。一方で，この手法で抽出されてきた関連性の低いと思われるノードやエッジは，この後の解析で注目する現象を再現するために重要な働きをする可能性がある。本稿で紹介した手法では，このように細胞内の遺伝子のシステムの全体像を抽出できる利点があると考えている.

しかしながら，今回の結果として得られた PPI のサブネットワークは，この後に想定している数理モデリングによるシミュレーション解析に用いることはできない，これは，2.4 節で述べたような理由の他に，今回用いた PCST アルゴリズムが無向グラフ

を解くものであったことがより大きな要因として挙げられる.

シグナル伝達経路のモデリング解析では，しばしば入力と出力ノードが定義される. しかし, 無向グラフを解いた場合，想定される入力と出力ノードの間に路が存在するネットワークが得られるとは限らない，その上，生物ネットワークにおいては閉路のような特殊な構造が重要な働きをする場合が多い. そのような特徴を有したネットワークは PCST 問題を解くことでは得られない. そのため，本研究の目的を達成するためには異なる手法が必要だと考えられた。

次に, KEGG PATHWAY 上の Human ErbB pathway を元に作成したネットワークをシステマティックに数理モデルに変換し，それを用いて実際にシミュレーション解析を行った結果を述べる.

KEGG から得られたネットワークに対しては， 2.4 で述べたような処理を通して BioMASS において Text2Model で対応する形式に変換することができた.

このようにして得られた数理モデルに対し，過去に得られた 2 種類の細胞株の 2 条件の実験データ [11]を用いてシミュレーションを行った結果，本手法で得られたモデルはこれらの細胞の応答をある程度表現できることがわかった（図 3). KEGG から得られるような公共のネットワーク情報から，ほぼ自動的に実行可能な数理モデルを生成できた点は成果として大きい. 同モデルが異なる細胞株由来のデー タを説明することができたという結果は, 自動的な ODE モデル生成が実現可能であることと，今後論文データベース等から抽出した情報をどのように構造化すれば良いかを示唆するものである.

MCF-7 (ルミナルA型乳がん細胞株)

MDA-MB-231（トリプルネガティブ型乳がん細胞株）

図 3 ErbB pathway のシミュレーション結果. 実線がシミュレーション結果，エラーバー付きの点が実験データを表す。

## 4 おわりに

本稿では，(1) 論文中の固有表現の出現頻度や共起頻度情報を用いて特定の生命現象に関連するネットワークを疾患名などのコンテキスト依存的に抽出する手法と，(2) 知識データベース KEGG PATHWAY に登録されている情報を元に実行可能なモデルをシステマティックに構築する手法を紹介した。

今回示した (1) の結果では論文情報からデータ駆動的にシミュレーション解析を行えるようなシグナル伝達経路を抽出することは困難であった. これは抽出されたネットワークとシミュレーション解析が行える数理モデルとの間にまだ隔たりが存在するためであった.

(2) の手法に関しては，公共データベースにある有向ネットワーク情報から，人の手による調整をほとんど介さずに実行可能な数理モデルに変換できた. また，同モデルは実験データをある程度再現することが可能であった. まだ完全に自動的にシステマティックにモデルを生成するには至っていないが，今回の結果は自動的なモデル生成に向かうための足がかりとなると考えている.

今後の課題として，(1)と (2) の間をつなぐような手法を開発する必要がある. 今回は，(1)でグラフ理論で発展した PCST 問題の応用を扱ったが，この問題の解を求めるだけでは十分ではない可能性があることを述べた。ここで，より目的に沿うネットワークを抽出するために，PCST 問題を解くアルゴリズムの代わりに深層学習モデルを導入することも考えられる. グラフを扱うことに長けたグラフニューラルネットワークモデルと強化学習モデルを組み合わせた手法などが適用できると考えている.

またそのほかの改善点としては，よりデータ駆動型の研究に近づくために，PPI ネットワークを得るために OmniPath のようなデータベースを参照するのではなく，直接 PubMed 等の論文データベースから抽出することが考えられる。これは自然言語処理の分野では関係性抽出に該当するタスクであり，深層学習モデルを導入することで達成できると思われる。

このように，今回導入することに能わなかった手法を今後取り入れることで，当初の目的であったシグナル伝達経路のモデルの自動抽出を実現できるのではないかと考えている.

## 謝辞

本研究は，JST，CREST バイオ DX（JPMJCR21N3）

(研究代表者岡田眞里子) の支援を受けた. 本研究の議論に関して, 京都大学下平英寿研究室, 理化学研究所泰地真弘人研究室に感謝いたします.

## 参考文献

[1] Uri Alon. An Introduction to Systems Biology: Design Principles of Biological Circuits. CRC Press, July 2006.

[2] Chih-Hsuan Wei, Alexis Allot, Robert Leaman, and Zhiyong Lu. PubTator central: Automated concept annotation for biomedical full text articles. Nucleic Acids Research, 47(W1):W587-W593, July 2019.

[3] Dénes Türei, Tamás Korcsmáros, and Julio SaezRodriguez. OmniPath: Guidelines and gateway for literature-curated signaling pathway resources. Nature Methods, 13(12):966-967, December 2016.

[4] Maria Minkoff. The Prize Collecting Steiner Tree Problem. PhD thesis, Massachusetts Institute of Technology, 2000.

[5] Shao Shan Carol Huang and Ernest Fraenkel. Integrating proteomic, transcriptional, and interactome data reveals hidden components of signaling and regulatory networks. Science Signaling, 2(81):1-11, 2009.

[6] M. Bailly-Bechet, C. Borgs, A. Braunstein, J. Chayes, A. Dagkessamanskaia, J. M. François, and R. Zecchina. Finding undetected protein associations in cell signaling by belief propagation. Proceedings of the National Academy of Sciences of the United States of America, 108(2):882-887, 2011.

[7] Nurcan Tuncbag, Pamela Milani, Jenny L. Pokorny, Hannah Johnson, Terence T. Sio, Simona Dalin, Dennis O. Iyekegbe, Forest M. White, Jann N. Sarkaria, and Ernest Fraenkel. Network Modeling Identifies Patient-specific Pathways in Glioblastoma. Scientific Reports, 6:1-12, 2016.

[8] Jiajie Peng, Linjiao Zhu, Yadong Wang, and Jin Chen. Mining Relationships among Multiple Entities in Biological Networks. IEEE/ACM Transactions on Computational Biology and Bioinformatics, 17(3):769-776, May 2020 .

[9] Yahui Sun, Chenkai Ma, and Saman Halgamuge. The node-weighted Steiner tree approach to identify elements of cancer-related signaling pathways. BMC Bioinformatics, 18(Suppl 16), 2017.

[10] Hiroaki Imoto, Suxiang Zhang, and Mariko Okada. A Computational Framework for Prediction and Analysis of Cancer Signaling Dynamics from RNA Sequencing Data-Application to the ErbB Receptor Signaling Pathway. Cancers, 12(10):2878, October 2020.

[11] Hiroaki Imoto, Sawa Yamashiro, and Mariko Okada. A text-based computational framework for patient specific modeling for classification of cancers. iScience, 25(3):103944, March 2022.
[12] Minoru Kanehisa and Susumu Goto. KEGG: Kyoto Encyclopedia of Genes and Genomes. Nucleic Acids Research, 28(1):27-30, January 2000.

[13] Dihua Yu and Mien-Chie Hung. Overexpression of ErbB2 in cancer and ErbB2-targeting strategies. Oncogene, 19(53):6115-6121, December 2000.

[14] Ting Liu, Lingyun Zhang, Donghyun Joo, and Shao-Cong Sun. NF- $\kappa B$ signaling in inflammation. Signal Transduction and Targeted Therapy, 2(1):1-9, July 2017.


# ソーシャルメディアを用いた 一般用医薬品のファーマコビジランス

西山智弘 ${ }^{1}$ 矢田竣太郎 ${ }^{1}$ 若宮翔子 ${ }^{1}$ 堀里子 ${ }^{2}$ 荒牧英治 ${ }^{1}$
1 奈良先端科学技術大学院大学 2 慶應義塾大学
${ }^{1}$ \{nishiyama. tomohiro.ns5,s-yada, wakamiya, aramaki\}@is.naist.jp
${ }^{2}$ hori-st $@$ pha.keio.ac.jp

## 概要

近年，OTC 医薬品の誤用・乱用が増加しており，社会問題となっているが，自由に購入できるOTC 医薬品の乱用状況を把握することは難しい. そこで，我々はユーザが日常を投稿することが盛んに行われるソーシャルメディアを用いることで，OTC 医薬品の誤用乱用を把握できると考え，OTC 医薬品の使用状況に関してラベル付けを行ったコーパスを構築した. 用いたコーパスに含まれる医薬品名をマスクしたテキストを用いて学習させたモデルで分類精度を確認したところ, 医薬品名が含まれるものと同程度の精度で分類できることがわかった。

## 1 はじめに

近年，高齢化による医療費の増大が社会問題となっている. この解決策の一つとして, 薬局で購入することのできる over-the-counter 医薬品（以降， OTC 医薬品とする）が推奨されている．しかし，これらの医薬品は手軽に手に入れられることから同時にその乱用が増加している。こうした乱用事例は特に若い世代に多く, OTC 医薬品のインターネット売買の普及で消費者がより簡便に OTC 医薬品を購入できるようになった影響等が考えられる [1]. 2021 年 12 月には薬物乱用に関するソーシャルメディア上のコミュニティを通じて知り合ったグループで OTC 医薬品の乱用による死亡事故も起きており，これらの医薬品が不適切に扱われることは社会上の問題である [2].

そのような状況下ではあるが，OTC 医薬品の乱用の現状などを把握する手法は乏しく，その方法としてはアンケートや医療機関への受診などに限られる [3]. こうした手法では, 情報の収集に時間やコストがかかり, 非効率であるだけでなく, 依存症な

図 1 医薬品誤用乱用関連のツイートの抽出

どの問題が発生した後でしか，その事象を捉えることができないため，より簡便に迅速に OTC 医薬品の使用状況を捉える手法が求められている.

特に医薬品の乱用を含めた誤用などの医薬品の使用状況を迅速に取得することができれば，当局自身が医療政策，製薬会社が乱用問題への対策をより効果的に打ち出せる可能性がある. これらを可能とする情報リソースとしてソーシャルメディアが挙げられる。中でも，Twitter は日本国内では LINE， YouTube についで多くのユーザを有しており [4], 匿名発信による手軽さから，ユーザが日常を投稿することが盛んに行われており，ユーザ自身による医薬品使用状況に関する投稿も多い．著者らはこの情報を医薬品安全性監視といったレギュラトリーサイエンスに役立てると考えており，既に誤用乱用などを含めた服薬コンプライアンスに関するコーパスの構築に取り組んでいる [5]. しかし, OTC 医薬品に向けたテキストの分類体系は存在していない.

そこで, 本研究では OTC 医薬品のための誤用乱
用に関するテキスト分類体系を提案し，その自動分類を実施する。

## 2 関連研究

ソーシャルメディアを用いて，医薬品の使用状況を捉える研究は盛んに行われており，患者の薬物乱用や服薬コンプライアンスを検出する試みがなされている [6-14]. Abdellaoui らは，エスシタロプラムとアリピプラゾールという 2 の薬物について，卜ピックモデルを用いたツイート分類を行った [13]. Weinssenbacher らは，コンプライアンス違反を検出するために医薬品投与に関する変更イベントを分類する方法を提案した [6]. また，著者らはこれまで服薬コンプライアンス違反に関するテキストの自動分類の精度を検証している [5]. しかしながら, この研究での服薬コンプライアンス違反の分類精度は 59.7 と低く，改善の余地があると考えられた. この研究において，服薬コンプライアンスの中でも，細かい分類が分類精度の向上に寄与することが示唆されたことから, 本研究ではラベルに大分類と細分類を設けることで，精度向上を試みた。

## 3 データセット

我々は “MediA OTC section” という OTC 用の医薬品コーパスを構築した. 本コーパスは「ブロン」,「パブロン」，「ウット」，「イブ」，「ナロン」，「レスタミン」，「ルル」，「トニン」，「コンタック」，「ドリエル」，「ベンザブロック」，「アネトン」，「エスタロンモカ」からなる 14 種類の医薬品クエリで取得されたツイートについて，誤用乱用に関するラベルが付与された全 22036 件のデータである. 14 種類のクエリは薬剤師資格保有者によって，2020 年の全国の精神科医療施設における薬物関連精神疾患の実態調査に登場する OTC 医薬品の商品名を含むものを全て選択した [15].

## 3.1 前処理

2021 年 1 月 1 日から 2021 年 12 月 31 日の期間で twitterAPIを用いて，14 種類の医薬品クエリで収集したツイートに対して，前処理を行なった。「イブ」,「ルル」,「ナロン」の3クエリについては,「クリスマス」，「ルルル」，「ナロンちゃん」などの明らかに医薬品に関連しないツイートを多く含んでいたため，これらのクエリについては，上述のようなワードを含むツイートを除外した.残ったツイートデータに対して，URL，ハッシュタグ，RT の除去処理や重複ツイートの除去を行なった後，テキスト本文が 10 文以上のツイートを各クエリ 1500 件ずつランダムサンプリングした. ただし，ノイズが多く医薬品関連ツイートの割合が少ない「イブ」，「ルル」については 10000 件ずつ行った。このデータセットに対し，各医薬品の医薬品関連ツイートが 500 件に達するまでアノテーションを実施した。

## 3.2 アノテーション

アノテータはツイートが医薬品に関して書かれたものかどうかを判断する. 第 2 段階として，アノテータは医薬品に関して書かれたツイートについて使用 (Use)，誤用乱用 (Misuse)，言及 (Mention) を判断する。最終段階として，誤用乱用（Misuse） と判断されたツイートについて，細分類を判断する. 細分類は，投与量間違い (dosage error), 過少服用 (underuse)，過剰服用 (overuse)，用法に反する (against usage)，精神的効果（psychotropic effect），ダイエット（weight loss），自殺企図 (suicide attempt),鎮静効果 (sedation)，依存 (addiction)，不適切管理 (stock), 誤認識 (misunderstand), その他誤用乱用 （other）の 12 種類である．これらの分類は，Bigeard らのソーシャルメディアテキストの解析を参考に作成した [8]. 彼らの解析例をもとに，我々は OTC 用のマルチラベルの分類体系を構築した.

また，アノテータは各クエリについて，医薬品関連ツイートが 500 件に達するまでラベル付けを行った. 最終的にラベル付けされたのは，全 20036 件のツイートである.

本データセットは二人のアノテータによって行われた。各医薬品クエリについて，アノテータがそれぞれ 100 件ずつ，合計で 1400 件のツイートに関してラベル付けを行い，アノテータ一致度を計算した. 各ラベルのカッパ係数の平均は 0.891 であり,相当程度一貫しているとみなせる.

## 4 提案手法

分類モデルには Bidirectional Encoder Representations from Transformers (BERT) [16] を用いた。日本語コーパスで事前学習したモデル1)を採用し，デー タセットを用いてファインチューニングを行なっ

図 2 医薬品分類モデルにおける Original と Masked の F1 スコア

た. 学習条件として最適化手法は AdamW，学習率は $1.0 \times 10^{-5}$ ，バッチサイズは 512 であり，バリデーションロスが最小の時点におけるモデルを利用した.

本研究では 3 種類のモデルを作成した.ツイートが医薬品に関するものかどうかを分類するモデル (医薬品分類モデル)，医薬品に関わるツイートを使用 (Use)，誤用乱用 (Misuse)，言及 (Mention) のいずれかに分類するモデル（誤用乱用大分類モデル），誤用乱用に関わるツイートが誤用乱用のうち，どの細分類と判断されるかを分類するモデル（誤用乱用細分類モデル）である.

また，医薬品名がテキスト分類に影響をもたらすことが予想されたため，それぞれのモデルに対して，訓練データとして該当クエリの医薬品名をマスクしないテキスト (Original) とマスクしたテキスト (Masked)を適用したモデルで結果を検討した.

## 5 結果

データセットを 9 (訓練データ) $: 1$ (評価データ) の割合で分割し，3つのモデルによるツイートの分類精度を評価した。

医薬品分類モデルの Original と Masked の分類結果の F1 スコアを比較した結果を図 2 に示す. 全体を見ると，ほとんどの医薬品で Masked の方が F1 スコアが下がっていることがわかる. その中でもイブとルルについては，それぞれ 0.138 と 0.209 と大きな低下を示した。

図 3 は誤用乱用大分類モデルの Original と Masked の分類結果のF1 スコアの差である. Useに関しては医薬品名をマスクしても F1 スコアに差はほとんどでなかった. 一方で, Misuse や Mention では Masked の方が $\mathrm{F} 1$ スコアが上がっていることがわかる. 誤用乱用大分類モデルの Masked の Original の医薬品ごとの F1 スコアについては, appendix に示した.

図 4 は誤用乱用細分類モデルの Original と Masked の分類結果の F1 スコアの差である. 医薬品名をマスクしても，“overuse” や“against usage”では F1 スコアには大きく差はなかった.

## 6 考察

図 2 において，イブとルルの Masked の F1 スコアの大幅な低下には，データの不均衡性が寄与していると考えられる，イブやルルは医薬品関連ツイート以外のツイートも多く含まれ，イブやルルが含まれると医薬品関連でないとツイートが判断されやすくなっていると考えられる。ルルやイブでは医薬品名がマスクされたツイートでは Recall が上昇する代わりに Precision が低下していることから，上述の影響が寄与していることが推測される。例えば，“もうやだルルしかないけど OD しょ”, “ユンケルと、ルルを、ダブルで、飲んだとこなんよ”といった医薬品関連ツイートが Original では医薬品関連ツイートではないと判断されているが， Masked では医薬品関連ツイートであると判断されている. 医薬品名をマスクした方が不必要なツイートを分類してしまう可能性が高くなるが，誤用や乱用をキャッチしていくという意味では医薬品名をマスクした方が漏れの少ない分類モデルを作成できると考えられる。

図 3 において，全体的に Mention が高くなっており，医薬品名をマスクした方が分類精度が改善している.これは, 医薬品名が分類結果に影響を及ぼしていることが理由と考えられる。例えば，“エスタロンモカ?"や“ルルアタック APEX?” といったような医薬品名だけで, Use と分類される例があった.医薬品名をマスクすることで，医薬品名自身が分類

図 3 誤用乱用大分類モデルにおける Original と Masked の F1 スコアの差 Fl score

図 4 誤用乱用細分類モデルにおける Original と Masked の F1 スコア

に与える影響を減じることができる。

図 4 において，一部のカテゴリで Original と Masked に大きな差があった. この理由としては， これらのカテゴリはほぼ全てがラベル数が 100 以下であり，データが不十分であったことが原因であると考えられる。

一方で，ラベル数が 500 以上と十分に確保できた “overuse”においては，医薬品名の有無にかかわらず，精度良く分類することができることがわかった. 既存研究では，コンプライアンス不良を分類した精度は 59.7 であり, 20 ポイント程度の改善が確認できた [5]. 細分類が精度の向上に寄与していると考えられる. OTC 医薬品において，最も問題となっているのは過剰投与であり，本モデルはこうした発言を精度良く分類することができることが示唆された.

## 7 おわりに

本研究では，OTC 医薬品の使用状況を自動で分類するための方法について検討した. OTC 医薬品に関するクエリでツイートを収集し，医薬品について発言されたツイートについて，アノテーションを実施しコーパスを作成した。続いて，作成したコーパスについて，医薬品分類モデル，誤用乱用大分類モデル，誤用乱用細分類モデルの 3 種類のモデルについて, Original と Masked の結果を比較した. その結果，医薬品名をマスクしたとしても，マスクしていないものと比較して, 遜色ない精度で分類できることが示唆された。一方で，ラベル数を確保できない場合には分類精度が低くなるということもわかった. 細分類においてはラベル数を確保することが難しいものがあり，少量データや不均衡データでも検出できることが求められる.

本研究は，捕捉が難しい OTC 医薬品に関する使用状況をソーシャルメディアを通じて捉えるという初の試みであり, OTC 医薬品の使用状況を把握するための新規のテキスト分類体系を構築した. 情報を効率的に収集することで，当局や製薬企業がその対応を適切に行えるようになるものと期待する.

## 謝辞

本研究の一部は, JST AIP 日独仏 AI 研究 JPMJCR20G9，JST CREST JPMJCR22N1，国立情報学研究所 (NII) CRIS，JSPS 科研費 JP21H03170, AMED の課題番号 JP22mk0101229 の支援を受けたものである.

## 参考文献

[1] Reiko Yano Nobuyuki Goto Fumiko Ohtsu Hiroko Niwa, Kouich Tanabe. Association between the Current Situation of Adverse Reactions Caused by Non-prescription Drug Abuse and Patient Backgrounds. Jpn. J. Drug Inform., Vol. 20, pp. 145-155, 2018.

[2] The Japan Times. Abuse of over-the-counter drugs surges among young people in Japan, 2022. https://www. japantimes.co.jp/news/2022/01/17/ national/drugs-mental-suffering/.

[3] Aluri Mourya, Chippy Mary, Chithu James, Josepheena Jose, and R Srinivasan. A Survey on Over The Counter Drug usage in the Community. Journal of Drug Delivery and Therapeutics, Vol. 9, No. 2-s, April 2019. Section: Research.

[4] comnico.【2023 年 1 月版】人気ソーシャルメディアのユーザー数まとめ, 2023. https://www. comnico. jp/we-love-social/sns-users.

[5] 西山智弘, 矢田竣太郎, 若宮翔子, 堀里子, 荒牧英治. ソーシャルメディアにおける服薬ノンコンプライアンス発言の分類と医薬品構造類似度を用いたコーパス可搬性の検討. 言語処理学会第 28 回年次大会発表論文集, pp. 1956-1960, 2022.

[6] Davy Weissenbacher, Suyu Ge, Ari Klein, Karen O'Connor, Robert Gross, Sean Hennessy, and Graciela Gonzalez-Hernandez. Active neural networks to detect mentions of changes to medication treatment in social media. Journal of the American Medical Informatics Association, Vol. 28, No. 12, pp. 2551-2561, 2021. Publisher: Oxford University Press (OUP).

[7] Abeed Sarker and Graciela Gonzalez. Portable automatic text classification for adverse drug reaction detection via multi-corpus training. Journal of Biomedical Informatics, Vol. 53, pp. 196-207, February 2015.

[8] Elise Bigeard, Natalia Grabar, and Frantz Thiessard. Detection and Analysis of Drug Misuses. A Study Based on Social Media Messages. Frontiers in Pharmacology, Vol. 9, p. 791, July 2018.

[9] Nhathai Phan, Soon Ae Chun, Manasi Bhole, and James Geller. Enabling Real-Time Drug Abuse Detection in Tweets. In 2017 IEEE 33rd International Conference on Data Engineering (ICDE), pp. 1510-1514, San Diego, CA, USA, April 2017. IEEE.

[10] Antonio A. Ginart, Sanmay Das, Jenine K. Harris, Roger Wong, Hao Yan, Melissa Krauss, and Patricia A. CavazosRehg. Drugs or Dancing? Using Real-Time Machine Learning to Classify Streamed "Dabbing" Homograph Tweets. In 2016 IEEE International Conference on
Healthcare Informatics (ICHI), pp. 10-13, Chicago, IL, USA, October 2016. IEEE.

[11] Tim K. Mackey, Janani Kalyanam, Takeo Katsuki, and Gert Lanckriet. Twitter-Based Detection of Illegal Online Sale of Prescription Opioid. American Journal of Public Health, Vol. 107, No. 12, pp. 1910-1915, December 2017.

[12] Michael Chary, Nicholas Genes, Christophe GiraudCarrier, Carl Hanson, Lewis S. Nelson, and Alex F. Manini. Epidemiology from Tweets: Estimating Misuse of Prescription Opioids in the USA from Social Media. Journal of Medical Toxicology, Vol. 13, No. 4, pp. 278-286, December 2017.

[13] Redhouane Abdellaoui, Pierre Foulquié, Nathalie Texier, Carole Faviez, Anita Burgun, and Stéphane Schück. Detection of Cases of Noncompliance to Drug Treatment in Patient Forum Posts: Topic Model Approach. Journal of Medical Internet Research, Vol. 20, No. 3, p. e85, March 2018

[14] Miguel A. Alvarez-Mon, Carolina Donat-Vargas, Javier Santoma-Vilaclara, Laura de Anta, Javier Goena, Rodrigo Sanchez-Bayona, Fernando Mora, Miguel A. Ortega, Guillermo Lahera, Roberto Rodriguez-Jimenez, Javier Quintero, and Melchor Álvarez Mon. Assessment of Antipsychotic Medications on Social Media: Machine Learning Study. Frontiers in Psychiatry, Vol. 12, p. 737684, November 2021

[15] 松本俊彦, 宇佐美貴士, 船田大輔, 村上真紀, 沖田恭治, 谷沍由布子, 山本泰輔, 山口重樹. 全国の精神科医療施設における薬物関連精神疾患の実態調査. 医薬品・医療機器等レギュラトリーサイエンス政策研究事業, pp. 41-104, 2020.

[16] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding". In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186. Association for Computational Linguistics, 2019.

## A 参考情報

図 5,6 は誤用乱用大分類モデルの Masked の Original の医薬品ごとの F1 スコアである. Use に関してはラベルを医薬品名をマスクしてもF1 スコアに差はほとんどでなかった. 一方で, Misuse や Mention では Masked の方が F1 スコアが上がっていることがわかる.

F1 score

図 5 誤用乱用大分類モデルにおける Original の F1 スコア

F1 score

図 6 誤用乱用大分類モデルにおける Masked の F1 スコア


# 災害ツイートを対象とした場所参照表現の抽出における 過去事例の利用とその災害種が及ほす影響調査

六瀬聡宏 ${ }^{1}$ 内田理 ${ }^{1}$
${ }^{1}$ 東海大学情報理工学部情報メディア学科
\{trokuse, o-uchida\}@tokai. ac. jp

## 概要

本研究では災害時に流通するツイートから場所を参照する表現の抽出について検討する. 今回は機械学習モデルによる固有表現抽出(NER)の問題として解決を試みる上で 1 つの条件を設け, 学習に過去の災害時に流通したツイートを利用することを考える。災害という状況下では, 迅速かつ的確な対応が求められる一方で, 多くの NER モデルは, 性能の担保には正確にアノテーションされたデータが必要である. 本研究では日本で発生した地震, 豪雨, 台風の 3 つの災害に焦点を当て, 同じ種類の災害で学習した場合, 異なる種類の災害で学習した場合の 2 つの観点から過去の災害時に流通したツイートの利用可能性を検証した。

## 1 はじめに

大規模災害時の被害を最小限に抑えるためには，迅速かつ的確な情報の収集と伝達が重要である. そのため, Twitter を始めとする即時性が高く利用者の多いソーシャルメディアの利活用に関心が寄せられている。災害時には Twitter 上で被災状況の発信や収集が盛んに行われており [1], 流通する情報は初動対応において重要な情報を含むことが報告されている[2].このような背景から, 災害対応にあたる政府や自治体でも Twitter $の$ 利活用が進められている[3].

しかし, Twitter の災害時利用には解決すべき課題も残されている. そのひとつが流通する情報量の急激な増加である. 例えば, 2018 年に発生した大阪府北部を震源とする地震の際には, 発生直後の 10 分間で「地震」という単語を含むツイートが少なくとも 27 万件以上投稿されたとの報告がある[4].以上より, 膨大なツイート群から, 災害対応の意思決定に有益な情報のみを選別する必要がある. 選別の観点として, 信憑性や緊急性の他, 各ツイートの内容がどの場所を対象としたものであるかを特定
することも重要である.ツイートには言及している地点の特定に有益な場所を参照するような表現（場所参照表現）を含む場合がある（表 1）。場所参照表現が適切に抽出できれば，ツイートを地図にマッピングすることができ[5], 災害対応等により活用することが可能となる.

本研究ではツイート本文を対象に固有表現認識 (NER)による場所参照表現の抽出を試みる。ただし，災害発生時にリアルタイムに適用することを想定し，現在発生している災害に対して，過去の災害時に流通したツイートで学習することを考える（図 1）.多くの場合, NER は機械学習モデルによって実現され, 対象のドメインのデータで学習されている. しかし，災害の発生と同時に学習に必要なデータの収集や選別などの一連の作業には多くの時間を要する。一方で，被害を最小限に抑えるという観点からは迅速な対応が必要不可欠である。これらの問題を解決する第一歩として, 国内で発生した, 豪雨, 台風，地震の 3 種類の災害時のツイートからデータセットを構築し，過去の災害ツイートの利用可能性について検証する，今回は同じ種類の災害を利用した場合，異なる種類の災害を利用した場合で，モデルの性能にどのような影響を与えるかを調查した。

表 1 場所参照表現を含む災害ツイートの例

 \\

図 1 過去の災害データを利用した学習の例

## 2 関連研究

災害時における Twitter 利用に関しては，対応の緊急度推定[6]や, キーフレーズ抽出[7]など幅広い分野で研究が進んでいる. これらの研究の多くは英語のツイートを対象としている場合が多いことから，他の言語でデータセットを構築し検証を進める動きもある[8][9]. また，これらのデータセットを統合して多言語に対応したモデルを構築する研究[10]も進められているが, 多言語モデルは特定の言語に特化しているとの報告[11]もあることから英語以外の言語での検証の余地は残されている.

また，災害時におけるツイートの位置情報についても先行研究でいくつかの結果が示されている. 例えば，ツイートが言及している地点の特定には，ツイートに付与されたジオタグと呼ばれる緯度経度情報が利用できる. しかし, ジオタグが付与されたツイート数は決めて少ないことが報告されているため [12], 他の方法と併用することが望ましい. このような背景からツイート本文を対象とした NER によるアプローチは数多く存在し, 洪水 [13]や地震[14] といった状況下での研究がある. 特に, Suwailehら [15]はラベル付きのツイートが利用できない場合に，直近で発生した災害のツイートの有効性について検証している. このSuwailehらの研究は本研究と立ち位置が非常に近いが, 日本国内の災害時ツイートを対象とした場合, 考慮すべき点が存在する. まず,災害の発生頻度や規模, その種類は地域によって異なる。例えば，日本国外では砂嵐 [16]や山火事[17] に関する研究などが進められているが, 日本国内ではこれらの発生頻度や規模は小さい. その一方, 日本では地震が発生する頻度や規模が他国に比べて大きく, 東日本大震災や熊本地震など, 甚大な被害をもたらしたケースが少なくない. 次に, 英語と日本語による言語の性質の違いが挙げられる. 日本語は単語間の境界が曖昧であり, 単語への分割方法が性能に影響を与えることが指摘されている[18]. また，文法の違いも考慮すべき要素である [19].

従って, 日本国内で発生した災害に対し, 日本語で記述されたツイートに対する検証の余地はいまだ大きいと考える.

図 2 問題設定の概要

## 3 問題設定

本研究における場所参照表現の抽出とは, ツイー トに含まれる全ての場所参照表現を特定することである. 問題設定の概要を図 2 に示す.

$L$ 個の単語 $w_{i}(i=1, \cdots, L)$ から構成されるツイート $t=\left.\{w_{1}, w_{2}, \cdots, w_{L}\right.\}$ が与えられたとき, $t$ に含まれる場所を参照している単語 $w_{i}$ をすべて特定することを考える。場所参照表現は複数の単語にまたがる可能性があるため, ツイートを単語の系列とみなし，各単語のクラスを予測する系列ラベリング問題として定義する．クラスの定義は Yang ら[20]を参考に BILOU の 5 クラスを利用する。“B”は場所参照表現の先頭となる単語を示し, 次の単語も場所参照表現の場合は“I”を割り当てる．末端まで到達した場合に“L”を割り当てることにより，“B”から“L”までが場所参照表現であることを表現する．場所参照表現ではない単語は“O”を割り当て, 1 単語からなる場所参照表現は“U”を割り当てることで表現する。本研究ではこの定義に従い, ツイートを構成する単語列に対してマルチクラス分類を試みる.

## 4 データセット

## 4. 1 ツイートの収集

日本国内で発生した豪雨, 台風, 地震の 3 種類の災害に焦点を当て，検証に利用するツイートを収集する. 今回は Twitter Search API を利用し付録 A に示す災害時に流通したツイートを収集した。本研究では，以下の時間を起点として，24 時間以内に流通したツイートを対象とした。
- 地震 : 地震発生時刻
- 豪雨 : 気象庁から最初に大雨特別警報が発表された時刻から 6 時間前
- 台風: 気象庁から日本国内に上陸の発表があった時刻から 6 時間前

災害に関係ないツイートを除外するため, Paul ら [21]などを参考に, 事前の予備実験に基づいて決定したクエリを指定する。詳細は付録Aに示す.

## 4.2 災害に言及したツイートの絞り込み

Paul ら[21]の調査によると，災害に関係するクエリを含むツイートでも実際に災害について言及しているツイートは非常に少ないことが知られている.本研究では更に以下の条件をすべて満たすオリジナ

ルツイート（リツイート以外のツイート）のみに絞り込みを行う。

(1) 日本語で記述されている

(2) 1 回以上リツイートされている

(3) Twitter 公式クライアントから投稿されている

(4) 1 つ以上の場所参照表現を含んでいる

これらの条件は，一度でも拡散されたツイートは有益な情報を含み，かつ，現地からの投稿は機械的に投稿する BOT とは異なり, 特別な Twitter クライアントを利用していないことがほとんどであろうという仮説に基づいて設定した。 条件(4)に関しては関連研究[13]などを参考にしてオープンデータを利用した辞書を構築し, 最長一致で文字列マッチングを行うことにより条件の充足を判断した. それ以外の条件に関してはツイートのメタデータを参照して機械的に判定を行った.

## 4.3 アノテーション

前節の処理で絞り込まれたツイート群に対して，含まれる場所参照表現にアノテーションを行う．今回は Matsuda ら[22]の研究で提案されているアノテ ーションスキームを参考に実施した. 対象となった場所参照表現の例を付録 $\mathrm{C}$ に示す. 作業の過程で “球磨川” の様な場所ではなく人名を指している場合や, 実際の被害状況ではなく被災地の状況を心配するようなツイートを除外し，各災害で必要なツイ一ト数が得られるまで作業を繰り返す. 以上の手順を踏んで，豪雨，地震，台風の 3 種類の災害に対し， それぞれ 3 つの事例を準備した. 今回は災害ごとに 1,000 ツイートを用意し，合計 9,000 ツイートのデー タセットを構築した。

なお, データの偏りといった観点からアノテーション対象のツイートはランダムサンプリングによる選択が望ましい. しかし, 今回は災害に関連したクエリを含むツイートだけでも膨大な数のツイートが流通しているため，前述の条件で絞り込みを行った。詳細を付録 $\mathrm{A}$ に示す. また，作成したデータセットは再現性や研究コミュニティの活性化の観点から公開されることが望ましい。しかし, 災害ツイートに含まれる場所参照表現は Twitter ユーザの居住地や所属組織などプライバシーと密接に関係しているため，慎重になるべきであると考える。その一例として, 救助を求めるツイートに個人の住所が記載され
ているケース[23]を複数確認している。このような背景から今回はデータセットの公開を見送り, 構築方法のみを示すこととした.

## 5 実験

## 5. 1 実験設定

本研究では場所参照表現の抽出に BERT[24]を採用した. BERT は系列ラベリング問題のベースラインとして広く利用されており, 比較的少量の学習でも良好な結果を得られることが知られている。また， BERT のような大量のデータで事前に学習を行う基盤モデルには ALBERT[25]や RoBERTa[26]が存在するが, Suwaileh ら[15]の研究との整合性を考慮した。前述のような基盤モデルがより高い性能を発揮するためには，対象のドメインのコーパスから学習することが望ましい[27][28]. しかし, 学習に必要なコストが高いため, 事前学習済みの BERT モデルを利用しデータセットで微調整する。

また, 学習の効率化のため, ツイート中の URL やユーザ名は<URL>と<USERNAME>にそれぞれ置換した。学習時のハイパーパラメータはオリジナルの論文[24]を参考に optimizer として AdamW を選択し, learning rate を $2 \mathrm{e}-5$, batch size を 8 に設定した上で epochを 5 として学習を行った。

以上の設定に基づき，過去の災害ツイートの利用を 2 つ観点から検証する。まずは，同じ種類の災害で検証した場合を考える。例えば，令和 3 年 8 月豪雨での利用を考えた場合，それ以前に発生した 2 つの豪雨災害で学習し, 令和 3 年 8 月豪雨のツイー トで検証する。また, 令和 3 年 8 月豪雨のツイートで学習した場合も検証する.この検証の目的は, 発生中の災害で即時に学習データが利用可能な場合を性能の上限値とみなし, 過去の災害で学習した場合と比較することである．さらに，災害の種類を変えて検証した場合の影響を検証する。同じく令和 3 年 8 月豪雨の利用を考えた場合, 地震や台風で学習する場合を考える，比較として，同じ種類の過去の豪雨災害を利用した場合，発生中の災害で即時に学習データが利用可能な場合場合も併せて検証する．以上の実験にあたり，各災害のアノテーション済みツイートを Train $(80 \%), \operatorname{Dev}(10 \%)$, Test $(10 \%)$ の 3 つの用途別に分割する. Train で学習し Test を推論し

た場合の性能を検証し, データの観察が必要な場合は Devを利用する。

## 5.2 実験結果（同じ種類の災害）

同じ種類の災害で検証した場合の検証結果を付録 $\mathrm{D}$ に示す. 同じ種類の災害で学習した場合（実験 ID $2,3,6,7,10,11$ ) でも, $\mathrm{F}$ 值で最大 6 ポイント以上の差を確認した. Dev で推論した結果の傾向を調查したところ，ピーク時の時間帯が影響を与えている可能性があることがわかった。例えば，日中に大雨特別警報が発令された平成 30 年台風 21 号の場合は, 現地から具体的な災害の状況を確認できる有益なツイートを多く確認できた。一方で, 令和元年房総台風の場合は, 明け方の午前 3 時に接近し, 午前 5 時に日本へ上陸したため, 災害に言及するツイー トは少ない. 場所参照表現のバリエーションも限定されており，汎化性能に影響を与えたと考えられる。

以上の結果からデータの偏りを抑えるため, 2 つの災害時に流通したツイートを混ぜ合わせた設定でも検証した（実験 ID 4, 8, 12）. 学習データの数を合わせるため, 2 つの災害から半分ずつランダムサンプリングし, 学習と開発用のデータセットを構築した. 実験の結果, 豪雨と台風の場合で性能の向上を確認できた一方で，地震の場合は大きく性能が低下した，地震の場合は被害が広範囲に発生するため， ツイートに含まれる場所参照表現の粒度が大きい. そのため, 含まれる場所参照表現が特定の都道府県名に偏っており，影響を及ぼしたと考えられる（実験 ID 8）. 一方で, 地震の場合は過去の地震を引き合いに出して注意喚起や被災報告するようなツイー 卜も多く, 場所参照表現が重複している傾向がある. この性質はプラスの影響を与える場合もあると考えられる（実験 ID 5）。

最後に, 発生中の災害で即時に学習データが利用可能な場合も検討した（実験 ID $1,5,9$ ）. 地震は比較的小さいが, 豪雨と台風の場合, 性能には $\mathrm{F}$ 値で 3 ポイント程度の開きがあることもわかった。

## 5.3 実験結果（異なる種類の災害）

前節の検証結果から，複数の災害データを混合させることによって，汎化性能の向上が期待できる。 その一方で，妆害種によって組み合わせには検討の余地があることを示唆している. 発生中の災害で即時に学習データが利用可能な場合と同等かそれ以上の性能を獲得するため, さらなる検証を行った. 結果を付録 Eに示す.

5.2 での検証を踏まえ, 災害の種類ごとに過去に発生した 2 つの災害を半分ずつ混ぜたツイートデー タで学習を行った。付録 Eに示す通り，豪雨に対し台風で学習した場合は, 地震で学習した場合と比べると性能が高い.これは, 台風は豪雨と同じく土砂災害や水害による被害が多く, ツイート内容の傾向が類似しているからであると考えられる。一方, 台風に対して豪雨と地震で学習した場合を比較すると，地震の方が高い性能を示している。このことから，災害の傾向が似ている場合は性能向上が期待できるといった仮説には慎重になるべきであると考える。加えて, 地震の場合は地震で学習するよりも, 台風で学習した場合の方が良い性能を示している. 交通インフラへのダメージなど, 被害については共通する部分も少なからずあるが，風水害が被害の中心であり災害の性質が異なる場合でも良好な結果が得られたことは興味深い.これは災害の種類が異なるデ一夕も学習に利用することが可能であることを示唆している。また，地震は単独での学習が適しているなど豪雨や台風とは異なる傾向を示しており, 今後さらなる検証が必要である.

## 5.4 考察

これらの結果から, 過去の災害ツイートと, 発生中の災害ツイートを利用する場合では性能に開きがある. 性能の向上にはマルチタスク学習や, CRFの利用が採用されることが多い。ただし, Wikipedia で学習された BERT はツイートの埋め込みに対して効果が低いといった報告もあり [29], ツイートで学習したモデル[30]への変更は検討の価值がある.

最後に, 先行研究である Suwaileh ら[15]との比較について述べる。台風と豪雨のような傾向の似た災害同士で学習が効果的であることなど, 定量的な検証結果は概敳一致している。しかし，今回は定性的な分析まで踏み込んでいない. 性能向上の観点からもエラーの傾向などが一致するかは, 重要かつ興味深い疑問であり, 今後の検討課題である.

## 6 まとめ

本研究では, 災害時に流通したツイートからの場所参照表現抽出における，過去の災害ツイートの利用可能性を災害種の観点から検証した. 今後は大雪などの災害種の拡張や, 考察での検討事項の他, 定性的な分析を進めることで性能の向上を試みる.

## 謝辞

本研究は，科研費基盤研究(C) 22K12277 の助成を受けて実施した。

## 参考文献

[1] Saleem, H., Zamal, F., Ruths, D.: Tackling the Challenges of Situational Awareness Extraction in Twitter with an Adaptive Approach. Procedia Engineering. 107, pp. 301-311 (2015).

[2] Meier, P.: Digital Humanitarians: How Big Data Is Changing the Face of Humanitarian Response. (2015).

[3] Uchida, O., Utsu, K.: Utilization of Social Media at the Time of Disaster. IEICE ESS Fundamentals Rev. pp. 13, 301-311 (2020).

[4] Yamada, S., Utsu, K., Uchida, O.: An Analysis of Tweets During the 2018 Osaka North Earthquake in Japan -A Brief Report. In: Proc. 2018 5th International Conference on Information and Communication Technologies for Disaster Management (ICTDM). pp. 1-5 (2018)

[5] Uchida, O., Rokuse, T., Tomita, Kajita, Y., Yamamoto, Y., Toriumi, F., Semaan, B., Robertson, S., Miller, M.: Classification and Mapping of Disaster Relevant Tweets for Providing Useful Information for Victims During Disasters. IIEEJ Trans. Image Electronics and Visual Computing, 3, pp. 224-232 (2015).

[6] Sarioglu Kayi, E., Nan, L., Qu, B., Diab, M., McKeown, K.: Detecting Urgency Status of Crisis Tweets: A Transfer Learning Approach for Low Resource Languages. In: Proc. 28th International Conference on Computational Linguistics. pp. 4693-4703. International Committee on Computational Linguistics, Barcelona, Spain (Online) (2020).

[7] Ray Chowdhury, J., Caragea, C., Caragea, D.: Keyphrase Extraction from Disaster-related Tweets. In: The World Wide Web Conference. pp. 1555-1566. Association for Computing Machinery, New York, NY, USA (2019).

[8] Alharbi, A., Lee, M.: Kawarith: An Arabic Twitter Corpus for Crisis Events. In: Proc. 6th Arabic Natural Language Processing Workshop. pp. 42-52. Association for Computational Linguistics, Kyiv, Ukraine (Virtual) (2021).

[9] Cobo, A., Parra, D., Navón, J.: Identifying Relevant Messages in a Twitter-based Citizen Channel for Natural Disaster Situations. In: Proc. 24th International Conference on World Wide Web. pp. 1189-1194. Association for Computing Machinery, New York, NY, USA (2015).

[10] Ray Chowdhury, J., Caragea, C., Caragea, D.: Cross-Lingual Disaster-related Multi-label Tweet Classification with Manifold Mixup. In: Proc. 58th Annual Meeting of the Association for Computational Linguistics: Student Research Work-shop. pp. 292298. Association for Computational Linguistics, Online (2020)

[11] Martínez-García, A., Badia, T., Barnes, J.: Evaluating Morphological Typology in Zero-shot Cross-lingual Transfer. In: Proc. 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers). pp. 3136-3153. Association for Computational Linguistics, Online (2021).

[12] Cheng, Z., Caverlee, J., Lee, K.: You are Where You Tweet: A Content-based Approach to Geo-locating Twitter Users. In: Proc. 19th ACM international conference on Information and knowledge management. pp. 759-768. Association for Computing Machinery, New York, NY, USA (2010).

[13] Al-Olimat, H., Thirunarayan, K., Shalin, V., Sheth, A.: Location Name Extraction from Targeted Text Streams using Gazetteerbased Statistical Language Models. In: Proc. 27th International Conference on Computational Linguistics. pp. 1986-1997. Association for Computational Linguistics, Santa Fe, New Mexico, USA (2018)

[14] Middleton, S.E., Middleton, L., Modafferi, S.: Real-Time Crisis Mapping of Natural Disasters Using Social Media. IEEE Intelligent Systems. 29, 9-17 (2014).

[15] Suwaileh, R., Imran, M., Elsayed, T., Sajjad, H.: Are We Ready for this Disaster? Towards Location Mention Recognition from
Crisis Tweets. In: Proc. 28th International Conference on Computational Linguistics. pp. 6252-6263. International Committee on Computational Linguistics, Barcelona, Spain (Online) (2020).

[16] Hamoui, B., Mars, M., Almotairi, K.: FloDusTA: Saudi Tweets Dataset for Flood, Dust Storm, and Traffic Accident Events. In: Proc. 2th Language Resources and Evaluation Conference. pp. 1391-1396. European Language Resources Association, Marseille, France (2020).

[17] Waqas, H., Imran, M.: \#CampFireMissing: An Analysis of Tweets About Missing and Found People from California Wildfires. Proc. ISCRAM 2019 (2019).

[18] Rust, P., Pfeiffer, J., Vulić, I., Ruder, S., Gurevych, I.: How Good is Your Tokenizer? On the Monolingual Performance of Multilingual Language Models. In: Proc. 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers). pp. 3118-3135. Association for Computational Linguistics, Online (2021).

[19] Hu, J., Ruder, S., Siddhant, A., Neubig, G., Firat, O., Johnson, M.: XTREME: A Massively Multilingual Multi-task Benchmark for Evaluating Cross-lingual Generalisation. In: Proc. 37th International Conference on Machine Learning. pp. 4411-4421. PMLR (2020).

[20] Yang, J., Liang, S., Zhang, Y.: Design Challenges and Misconceptions in Neural Sequence Labeling. In: Proc. 27th International Conference on Computational Linguistics. pp. 3879-3889. Association for Computational Linguistics, Santa Fe, New Mexico, USA (2018)

[21] Paul, U., Ermakov, A., Nekrasov, M., Adarsh, V., Belding, E.: \#Outage: Detecting Power and Communication Outages from Social Networks. In: Proc. The Web Conference 2020. pp. 18191829. ACM, Taipei Taiwan (2020).

[22] Matsuda, K., Sasaki, A., Okazaki, N., Inui, K.: Annotating Geographical Entities on Microblog Text. In: Proc. 9th Linguistic Annotation Workshop. pp. 85-94. Association for Computational Linguistics, Denver, Colorado, USA (2015).

[23] Utsu, K. Uchida, O.: Analysis of Rescue Request and Damage Report Tweets Posted During 2019 Typhoon Hagibis. IEICE Transactions on Fundamentals, E103-A, pp.1319-1323, (2020).

[24] Devlin, J., Chang, M.-W., Lee, K., Toutanova, K.: BERT: Pretraining of Deep Bidirectional Transformers for Language Understanding. In: Proc. 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers). pp. 4171-4186. Association for Computational Linguistics, Minneapolis, Minnesota (2019).

[25] Lan, Z., Chen, M., Goodman, S., Gimpel, K., Sharma, P., Soricut, R.: ALBERT: A Lite BERT for Self-supervised Learning of Language Representations. Arxiv. (2020).

[26] Liu, Y., Ott, M., Goyal, N., Du, J., Joshi, M., Chen, D., Levy, O., Lewis, M., Zettlemoyer, L., Stoyanov, V.: RoBERTa: A Robustly Optimized BERT Pretraining Approach. ArXiv. (2019).

[27] Chalkidis, I., Fergadiotis, M., Malakasiotis, P., Aletras, N., Androutsopoulos, I.: LEGAL-BERT: The Muppets straight out of Law School. In: Findings of the Association for Computational Linguistics: EMNLP 2020. pp. 2898-2904. Association for Computational Linguistics, Online (2020)

[28] Alsentzer, E., Murphy, J., Boag, W., Weng, W.-H., Jindi, D., Naumann, T., McDermott, M.: Publicly Available Clinical BERT Embeddings. In: Proc. 2nd Clinical Natural Language Processing Workshop. pp. 72-78. Association for Computational Linguistics, Minneapolis, Minnesota, USA (2019).

[29] Wang, L., Gao, C., Wei, J., Ma, W., Liu, R., Vosoughi, S.: An Empirical Survey of Unsupervised Text Representation Methods on Twitter Data. In: Proc. 6th Workshop on Noisy User-generated Text (W-NUT 2020). pp. 209-214. Association for Computational Linguistics, Online (2020).

[30] Nguyen, D.Q., Vu, T., Tuan Nguyen, A.: BERTweet: A Pretrained Language Model for English Tweets. In: Proc. 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations. pp. 9-14. Association for Computational Linguistics, Online (2020).

## A ツイートの収集

## B ッイート収集時のクェリ

地震 $O R$ 大雨 $O R$ 火災 $O R$ 国道 OR 津波 $O R$ 突風 $O R$ 強風 $O R$ 暴風 OR 横転 $O R$ 高潮 $O R$ 高波 $O R($ 運転 (取りやめ $O R$ 取り止め OR 見合わせ OR 見合せ OR 見あわせ)) OR 運休 OR 通行止 OR 通行不 OR 通行規制 OR 渋滞 OR 避難 OR 救助 OR 通信障害 OR 停電 OR 帰宅困難 OR 帰宅難民 OR 足止め OR 帰れない OR 帰れなくなった OR 地滑り OR 山崩れ OR 土砂崩れ OR 倒木 OR 落石 OR 落木 OR 崖崩れ OR がけ崩れ OR 土砂流入 OR 地崩れ OR 冠水 OR 氾濫 OR 水没 OR 増水 OR 浸水 OR 洪水 OR 断水 OR 倒壊 OR 全壊 OR 被害状況 OR 崩壊 OR 崩落 OR 半壊

## C アノテーションした場所参照表現の例

## D 同じ種類の災害で学習と推論を行った場合の実験結果

## E 異なる種類の災害で学習と推論を行った場合の実験結果


# クラウドソーシングと自然言語処理による安価な UX 評価の実現

小川健太郎 奥川真理子 加藤晃子
ヤフー株式会社
\{keogawa, mokugawa, akkato\}@yahoo-corp. jp

## 概要

自然言語処理の技術革新が加速している一方で,自然言語処理技術のサービス適用には，専門知識を持った技術者と, 高い処理能力を有する計算機資源が必要になる.そのため「導入したくても導入できない」，「導入しても自分たちで運用できない」という企業や組織も多いのが実情である.

我々はこの問題をクラウドソーシングと既存ツー ルのシンプルな組み合わせで解決した.本稿では「AI リテラシの高くない組織が簡便かつ安価に自然言語処理技術を導入し業務効率化を達成」した事例とその実現プロセスを紹介する。

## 1 背景

100 以上のサービスをもつヤフーでは，サービス品質の維持・向上への取り組みが必要となるため,品質評価部門が自社の「Yahoo!クラウドソーシング」 [1]を利用してUX (User Experience) 評価のスキ ームを構築した. 本章では, このUX 評価の概要と,運用上の課題について述べる.

## 1. $1 \mathrm{UX$ 評価とは}

UX 評価は Yahoo!クラウドソーシングで実施するアンケートがベースとなる．実施の流れは，クラウドソーシングに UX 評価のアンケートを入稿するところから始まる. アンケートはサービスの使い勝手や，信頼性などを選択肢から選ぶ選択式の設問と， サービスの良い点や改善すべき点を自由にコメントする自由記述式の設問（図 1）の大きく2つある。

図 1 自由記述式の設問
アンケートは評価対象となるサービスを実際に利用しているユーザーにメールで配信される。

アンケート終了後, 品質評価部門において結果を集計し，考察とともにサービス担当者にフィードバックされる。なお，自由記述式の回答については，後述寸る「UXピラミッド」を用いて評価する.

## 1. 2 UX ピラミッドとは

UX ピラミッドは 1940 年に提唱されたアブラハム・マズローの欲求階層説を基にアーロン・ウォルターがヒエラルキーを厳密に反映したユーザーニー ズのヒエラルキーについて説明したものである[2].

図 $2 \mathbf{U X}$ ピラミッドと UX の定義

UX ピラミッドでは, より基本的なニーズ（機能性や使いやすさなど）が満たされた後にのみ，優れたニーズ（ピラミッドの最上部にある喜びや価値など）を達成できるとしている(図 2).

ピラミッドのレベル 1 から 3 は, 目的のタスクを達成するユーザーの能力, レベル 4 から 6 では, サービスを使用する際のユーザーエクスペリエンスに焦点を当ており，一般的にユーザー体験のクオリティを測る方法として用いられている.

品質評価部門ではこのレベルをさらに 11 個の項目に細分化し，クラウドソーシングで収集したコメントと紐づけて傾向を分析. これにより, サービスの強みと課題を明らかにし, サービス品質向上のために役立てられている。

## 1.3 現状の課題

UX 評価の運用において，品質評価部門では大きく以下 2 つ課題を抱えていた.

課題 1 : 人手でコメントを分類するのに多大な工数が掛かっている

課題 2 ：自動化には自然言語処理に対する専門知識と高スペックな開発環境が必要

「課題 1 」に関しては，現状，品質評価部門が手作業でコメントを分類しているため 1 サービスにつき 2 日（約 16 時間）の作業工数が掛かっている.

「課題 2 」に関しては, 記載の通り, 品質評価部門に専門知識を有する技術者はおらず，分類を自動化するツールの開発は困難な状況であった。

そこで, 品質評価部門は, ヤフー社内でデータサイエンスの導入支援を担う我々のチームと連携し，解決策を検討していくことになった.

解決策の策定にあたり, あらかじめ両者で以下の要件を満たすことを条件とした。

要件 1 : 現状より分類に掛かる工数が減ること

要件 2 : 素人でも機械学習モデルの利用がしやすいライトな枠組みであること

## 2 提案手法

まず，我々が着目したのは，これまでのUX 評価の運用で既に「手作業で分類したデータ」が蓄積されていたこと. 我々はこれを学習データとしてコメント分類モデルの構築を試みた。

## 2.1 学習データの特徴

クラウドソーシングで得られるコメントは「端的なコメントが多い」といった特徴があげられる.

例えば，Yahoo!ニュースの場合は以下のようなコメントが寄せられることが多い.

例）・見出しがわかりやすい

・ニュースの更新頻度が高くて良い

・ユーザーが投稿するコメントが楽しい

図 3 は各アプリマーケットとクラウドソーシングに投稿された Yahoo!ニュースアプリに対するレビユーコメントの中から直近の投稿 200 件を抽出し文字数の分布を可視化した結果である. コメントの平均文字数は App Store(Apple)は 54 文字, Google Play は 47 文字であるのに対し，クラウドソーシングは 20 文字と全体的に少ない傾向であった. なお, 集計するうえで「不真面目な回答」[3] は除外している.

図 3 レビューの文字数（Yahoo!ニュース）

## 2.2 fastText $の$ 利用

コメント分類モデル構築においては，「ライトな枠組み」という要件を鑑み，主に導入容易性の観点から自然言語処理ライブラリ「fastText」[4]を使用した.

## 2.3 コメント分類の流れ

今回は図 4 で示す 5 つのプロセスでコメント分類モデルを構築した。以下，順を追って説明する。

図 4 コメント分類モデルの構築の流れ

## (1) 手作業でのコメント分類

前述の通り，既に「手作業で分類したデータ」が手元にある状態であったが，内容を見るとかなり不均衡なデータであった（図 5). 特に「08. 継続利用」 や「11.ないと困る」に分類されるコメントが少なかった。これらを補うため, 品質評価部門とともに新たなコメントを作成し, 学習データに追加した. 最終的に 5, 426 件の「手作業で分類したデータ」が準備できた。

図 5 コメント分類ごとの分布

## (2) 学習データの形式に置換

「手作業で分類したデータ」を fastText の学習デ一夕の形式に置換する。具体的には項目名を先頭に配置し「_label_」というプレフィックスを付与寸るのみであるため, 専門知識を持たない品質評価部門も容易に学習データを作成することができた。

## (3) 素性抽出

形態素解析エンジン「 $\mathrm{MeCab} 」[5]$ を利用して, コメントから素性を抽出. 当初「動詞」「形容詞」「名詞」の 3 品詞の形態素のみを対象としていたが, 「使いやすい」で「使い」のみが，「○○できない」で 「○○」と「でき」のみが抽出されてしまうなど, ユーザーの感じ方が得られにくい状況となっていた。解決策として「接尾辞」も対象とし, 「使いやすい」「○○ できない」といったニュアンスを抜き出せるよう工夫した.

## (4) モデリングと評価

上述の通り，自然言語処理ライブラリ「fastText」 と手作業で分類した 5,426 件のデータを用いてコメント分類モデルを作成. データのうち 8 割 $(4,340$件）を学習に，2 割（1,086 件）を評価に利用した。今回はクロスバリデーションを実施せず，不均衡な学習データと同等の構成比率となる評価データを用意し, できるだけ全項目の分類を過不足なく精度評価できるよう考慮した。

図 6 Confusion matrix と各種指標値

モデルの評価には Confusion_matrix を用いて, 俯瞰的に分類項目ごとの精度を把握したうえで， accuracy や precision, recall といった機械学習モデルの一般的な評価指標値を確認した（図 6）.

Confusion matrix の縦と横の軸に付与された数字は項目番号を示し，「1」であれば「01.目的達成」 というように対応付けている。「縦 0 : 横 0 」,

「縦 1 : 横 1」というように，対角線上の数字が大きな值になる傾向であり，つまりは全体として概ね分類に成功している事がうかがえる.

また，指標値を見ると，項目ごとに分類の得意不得意はあるものの, 全体的な accuracy, precision， recall の值はいずれも 0.7 程度と, ランダムに分類分けした場合の正解率 $1 / 12=0.08$ と照らせば，まずまずの分類精度を示しているといえる。

次に, 文書ベクトルを T-SNE で次元削減し散布図としてプロット。機械学習モデルが各項目を切り分けやすい状況かを可視化した（図 7）.

図 $7 \mathrm{t}$-SNE での可視化

図 7 より, どの項目にも該当しない「除外」を含めた全 12 項目が概ね分離できていることから，クラウドソーシングで得られたテキスト群は, 機械学習モデルが分類しやすい傾向にあると考えられる。

## (5) 本番データへの適用

今回のモデルは分類精度が 7 割程度であったことから, 改めて関係者間で「分類モデルの出力は完璧ではなく，あくまで予測値である」ことを共有. 予測が外れているものは担当者が手作業で修正するというハイブリットな運用となるが，分類モデルのアウトプットに分類結果とあわせて予測確率を出力す

ることで, どの分類が誤っている可能性が高く, 重点的に目視でチェックしなければならないか，担当者が示唆を得られるように工夫した。

図 8 分類結果のアウトプット形式

## 4 効果

構築した分類モデルの評価は良好であったため, それを UX 評価の運用へ導入. 品質評価部門の担当者の手作業による運用と，分類モデルを用いた運用を並走させ，導入効果を検証することとした。

効果検証は主に以下 2 つの観点で行われた。

検証 1 : 担当者の分類と本モデルの分類がどれだけ一致しているか

検証 2 : 本モデルを導入することでどれだけ作業工数を減らせるか

## 4.1 効果検証結果

効果検証の結果は表 1 の示す通りとなった.

表 1 モデル導入の効果検証結果

分類精度, 削減工数ともに良好であり, さらに定性評価では担当者より長所として以下の点が挙げられた。

モデルを品質評価部門が自ら運用できそう

「予測確率」を使うと分類の補正が捗る

「人手で補正したデータ」を使ってモデルを再学習することで精度向上も見込めるなお,一致率 $71 \%$ の内訳は「付録 $\mathrm{A}$ にに掲載する。

## 4.2 費用対効果

今回のコメント分類モデルの開発に掛かった工数は約 20 時間である. 分類モデルを通じて 1 回あたりの作業工数を 11 時間削減できた事から, 単純計算で本モデルを 2 回稼働させれば，開発工数はペイできることになるため，コストパフォーマンスの観点で見ても優れた施策であると言える.

一方で，機械学習モデルを導入せずともクラウド
ソーシングを使って分類した方が低コストかつ高精度に分類できるのではないかという疑問がわく。

そこで我々は，機械学習モデルで分類したコメントとまったく同じコメントをクラウドソーシングでワーカーに分類を依頼することとした（図9）。

コメント 1 件につき優良なワーカー 10 人に分類させ，多数決で正解を 1 つに決定する方針とした.

## 下記はコメントの分類表と「Yahoo!ニュース」の良い点に関するコメントです。

コメントを読んで、分類表のどの項目に一番当てはまるかを判定してくださり

 &  \\

コメント |タイムリーなニュースを見る事が出来る

図 9 クラウドソーシングのコメント分類タスク結論から述べると，担当者の分類とクラウドソ ーシングの分類の一致率は $56 \%$ と, 機械学習モデルの分類よりも劣る結果となった（表 2）.

表 2 担当者の分類との一致率

そもそも，この分類作業は UX の知見を有する担当者でも正確な分類は難しく, 今回のクラウドソー シングの作業結果を見ても，ワーカーの分類が分散し多数決が成立しないケースが散見された。

このような専門的な観点でのコメント分類はエキスパートの作業を機械学習モデルに学習させるアプローチをとった方が効果を得られやすいと言える。

## 5 おわりに

fastText は「学習が速い・精度が良い・導入がしやすい」といった特長があるが，今回の取り組みを通じて「関係者との意思疎通も高速化できる」という特長があると実感した。関係者への説明がしやすいことから，学習データ作成を分担する等の協力体制も築きやすく，推論や再学習方法の引継ぎも比較的容易であった. fastText は高精度な自然言語処理を安価かつスピーディーに業務に導入したいというケースに適した手段であると言えよう。

## 参考文献

1. Yahoo!クラウドソーシング.

https://crowdsourcing.yahoo.co.jp/

2. Aarron Walter. Designing for Emotion. 2011.

3. 山﨑郁未, 伊藤理紗, 中村聡史, 小松孝徳. Webアンケートにおける不真面目回答予防システム実現に向けた自由記述配置の基礎検討, 情報処理学会研究報告ヒューマンコンピュータインタラクション（HCI）, Vol.2021-HCI-195, No.34, pp.1-8, 2021.

4. fastText. https://fastText.cc/

5. MeCab. Yet Another Part-of-Speech and Morphological Analyzer.

https://taku910.github.io/mecab/

## 付録 $\mathrm{A$. 効果検証の一致率の内訳}

本文「4.1 効果検証結果」で述べた「担当者の分類と本モデルの分類の一致率 : $71 \% 」 の$ 内訳は以下「表 3」の通りであった。全体的に「図 6」と同じ傾向であり，本番データにおいてもモデル開発時と同等の分類精度であった。

表 3 担当者の分類と本モデルの分類の一致率

 &  &  &  \\

## 付録 B. 安価な施策

## 付録 B. 1 Yahoo!クララウドソーシング

クラウドソーシングとは「crowd=群衆」と 「sourcing=委託」からなる造語であり，インターネットを通じて企業が不特定多数の人々に仕事を依頼できるプラットフォームの事を言う.

Yahoo!クラウドソーシングはアンケートや簡易なアノテーションなど誰でも実施可能な「マイクロタスク」に特化したサービスとなっており，ユーザー はタスクを実施することで, PayPay ポイントが獲得できる（図 10）.

図 12 Yahoo!クララウドソーシングの概要

1 サンプル当たりの費用は 10 円ほどであり，例えば 1,000 人に対してアンケートを実施した際に掛かる費用は 1 万円となり「安価なリサーチツール」と言えるだろう。

## 付録 B. 2 機械学習モデルの開発環境

$
\text { ヤフーには「AI プラットフォーム」と呼ばれる } \mathrm{AI} ・
$
機械学習の開発環境がある。これは, Google Cloud Platform の AI Platform Notebooks のような， マネー ジド型の JupyterLab 環境であり，ヤフーの社員であれば誰でも簡単にブラウザから python のコーディングと実行が行える。一般的に, AI や機械学習モデルの開発には, サーバーのリソース管理,環境構築, サーバメンテナンス, データアクセスのための準備等に時間と手間がかかるが, AI プラットフォームは利用者がこれらを意識することなく, 本来注力するべき AI や機械学習モデルの精度向上やサービス改善業務に注力できる.

GPU の利用も可能であるが，今回は GPU を利用せずに fastText の学習を完了. 学習は 1 分足らずで完了したことからも「安価な開発環境」で開発できたソリューションであると言えるだろう。


# BERT を用いた孤独体験テキストからの孤独感推定

岩井律子 ${ }^{1}$ 熊田孝恒 ${ }^{1,2}$
${ }^{1}$ 理化学研究所ガーディアンロボットプロジェクト ${ }^{2}$ 京都大学大学院情報学研究科
ritsuko.iwai@riken.jp kumada. takatsune.7w@kyoto-u. ac.jp

## 概要

本研究では，記憶された過去の体験等を想起し，記述したテキストには，書き手の孤独感が反映されると考え, BERT を用いてテキストから書き手の自己評価孤独感が推定できるか検討する. ウェブ調查を実施し, 2,947 名分(女性 $=1,507$ 名, $M_{\text {age }}=50.3$, $S D=16.1,20$ 歳 78 歳)の寂しさや孤独についての記述（孤独体験テキスト）を収集し，同時に書き手自身の自己評価孤独感を収集した。また, 孤独体験テキストについて, クラウドソーシングを通じて読み手が評価した他者評価孤独感も収集した. それぞれのデータ（孤独体験テキスト・自己評価孤独感・他者評価孤独感）についての解析や BERT の正解率,分類結果に基づく孤独感スコアについて報告する.

## 1 はじめに

孤独感は心理学研究において古くから重要なテー マの一つである. 孤独感とは, 孤立等によって社会的つながりに関する期待と現実の間に質的，または量的に乘離が認知され, またその認知された乘離に満足できないことにより生じるネガティブな情動と定義される(Cacioppo \& Patrick, 2008). 従って, 友人が多い（量的に満足している）が質的にはもつと満たされるべきだと認識し, それが満たされないことに孤独を感じる人もいるが，一方，友人は少ないが本人はその量と質に満足しており，孤独を感じない人もいる.このように孤独感は, 同じような状況でも, その個人が有する心理特性によって, その感じる程度は異なる。 心理特性は, 個人の中では比較的一貫しており,さまざまな行動や認知に反映される。心理学では, 自らの過去の体験を想起し, 記述する過程で個人の心理特性が反映されるという理論が提案されている.この理論では, 記憶された過去の体験等を想起し記述したテキストには，書き手の心理特性が反映されると考える．このことを検証するために，本研究では，孤独感を取り上げ，書き手の孤独体験に関わる記述から，書き手の自己評価孤独感が推定可能か検証する，具体的には，自らの孤独体験を記述したテキストから，BERT (Bidirectional Encoder Representations from Transformers; Delvin et al.,2019)を用いて孤独感が推定できるかを検証する。 また, 同じテキストに対して他者が評価した孤独感の BERT による推定も行う．BERT が，他者が評価するのと同じような文脈を学習しているのであれば，他者評価についても推定可能であると考えられる. そこで，孤独体験テキストと書き手の自己評価孤独感と，そのテキストを読んだ他者（クラウドワーカ一）による他者評価孤独感を収集し，検討を行う．

## 2 関連研究

孤独感に関わる自然言語処理に関連した先行研究は, 英語によるものではいくつか存在する. Guntuku et al. (2019)は, alone または loneliness の語を含むツイートを収集してその出現頻度によって群分けを行い，言語的特徴などの比較を行った。また， Kiritchenko et al. (2020)は, 1 人でいることのポジテイブな側面(solitude)とネガティブな側面(loneliness) とにツイートを区別し，言語に表れるその特徴の違いについて検討した. Andy et al. (2022)は, 年齢群・性別群ごとにツイートを分析し, 自己評価孤独感に基づいて群分けされた高孤独感群の特徴を検討した。 Liu et al. (2022)は, Facebookへの投稿について類似の分析を行った。これらはいずれも, Twitter・ Facebook などのソーシャルネットワークサービスの言語データを使用したものである.これらはに必ずしも自己評価孤独感が付与されておらず, 他者評価孤独感はいずれにも付与されていない。

孤独感に関わる自然言語処理に関する日本語の研究としては, Nakai et al. (2022)の食事体験に関する研究が唯一である. Nakai et al. は, クラウドソーシングを通じて食事体験に関するテキストと同時に自己評価孤独感スコアを収集し, 解析した。一方, 他者評価については, テストデータの BERT の自己評価
分類結果と比較するために, テストデータのみに対して書き手の孤独感評価を行っているが，他者評価に関する実験は行なっていない。

同じテキストに対して, 自己評価と他者評価を付与して解析する試みは宮内ら(2022)が行っている. クラウドソーシングを通じて募集した注釈者が，自身の過去の投稿に対して感情とその強度, また感情極性を付与している. 加えて, 別途募集した注釈者が同様の評価を行った. しかし, 孤独感に関する自己評価と他者評価と比較した研究は英語にも日本語にも存在しない。

## 3 孤独体験テキストと評価の収集

## 3.1 孤独体験テキストと自己評価の収集

2020 年 3 月に 2,947 名(女性 $=1,507$ 名, Mage $=50.3$, $S D=16.1,20$ 歳 78 歳)に対してウェブ調查 (クロスマーケティング社）を実施し，孤独体験に関するテキストと自己評価孤独感を収集した。

孤独体験テキスト以下のような教示をもとに，自らの孤独体験に関する自由記述を求めた。 『女なたが，この３ヶ月で「さみしさ」や「孤独」を最近感じたのはどんな状況ですか. いつ, 誰と, または一人で, 何をしているとき, どんなきっかけで感じましたか. また，そのときの心の状態はどうでしたか. できるだけ詳しく具体的にその時の状況や気持ち，心情などを記述してください.』

自己評価孤独感日頃の孤独感について日本語版 UCLA 孤独感尺度（第 3 版）(外田ら, 2012)の 20 項目について，「まれに，あるいは，なかった(1 日未満)」「いくらか (1 2 日)」「たまに, あるいは, ある程度の時間(3 4 日)」「ほとんど, あるいは, 全ての時間(5 7 日)」の 4 件法で回答した.

収集した孤独体験テキストの例として，「いつもさみしさがまとわりついて仕方がない。」「1 人で部屋にいて面白くもないテレビを見ているとき。」

「離れて住んでいる母の自律神経がおかしくなり，何を言っても話が通じなくなった時. 姉が面倒をみてくれていたが，姉の体調も心配だったし，なぜこういうことになるのかという憤りもあった. 」などがある，なお，「過去 3 か月で孤独感を実感したことはない.」という孤独体験を否定する回答や, 「特にないけど・・・強いて言えば仕事が早く終わつ
^{i}$ https://github.com/ku-nlp/jumanpp
}

ちやって一人で帰る時くらい。」という否定しながらも何かしらの体験が追記されている回答など，孤独体験であるかの判別が難しいものも含まれている.本研究の目的は記憶から想起され記述されたテキス卜に本人の孤独感が反映されるかを検証することであり, 孤独体験の内容に限定するものではない. そのため，記述内容によってデータを排除することは行わなかった。

## 3.2 他者評価の収集

クラウドソーシング（Yahoo!クラウドソーシング社）を実施し， ウェブ調查で収集した各孤独体験テキストについて, クラウドワーカーが書き手の孤独感の評価を行った $(N=1,075) .1$ タスクは, 14 名分の孤独体験テキスト（一部のテキストは重複）から成り，1タスクあたり 5 名のクラウドワーカーが 4 件法で評価を行った. クラウドワーカーが孤独体験テキストを評価する際に提示された教示は以下のものである. 『以下の「孤独やさみしさを感じた経験」 についての文章を記述している人が, どの程度普段孤独感を感じているのか推定して, 4 つの選択肢（高い・どちらかといえば高い・どちらかといえば低い。低い)から最も適切だと思うものを選んでください.』

他者評価孤独感収集したクラウドワーカーの回答をテキストごとに合計し, 他者評価孤独感スコアとした.

## 4 孤独体験テキストの分析

## 4. 1 孤独感評価の分析

自己評価孤独感と他者評価孤独感のピアソンの積率相関係数を計算したところ, $r=.23(\mathrm{p}<.001)$ であった。高い相関であるとは言い難いが，テキストからその書き手の自己評価孤独感をある程度は推定できると言える。この結果は，書き手に対する情報が各テキストのみに限定されていることを鑑みると，かなり高いと考えられる。

## 4.2 孤独体験テキストの記述統計

孤独体験テキストを形態素解析器 JUMAN++i及び構文・格解析器 KNPiiを用いて分析した（表 1).

ii https://github.com/ku-nlp/knp/
表 1 孤独体験テキストの記述統計

## 4. 3 孤独体験テキストの特徴

孤独体験テキストの単語頻度の特徴を検証すべく,自己評価孤独感スコアの平均值に基づき高孤独感群・低孤独感群に群分けし, 単語出現頻度の差分を計算し, 図示した (図 $1 \cdot 2$ ).

高孤独感群では, 日本語では省略されやすい「自分」「私」などの自己に関する表現が多く, 低孤独感群では，「子供」「友達」「夫」「仲間」など人間関係を示す表現が多い, 加えて, 「孤独だ」や「孤独感」は高孤独感群でより用いられており, 「寂しい」は低孤独感群でより用いられていた。このことから，高群と低群の間で記述に用いられる単語に違いがあることが確認できた。

図 1 高孤独感群のワードクラウド

図 2 低孤独感群のワードクラウド

## 5 孤独感分類の実験

孤独体験テキストを用いて，BERTにより自己評価孤独感，他者評価孤独感それぞれの高低の 2 值分類を推定する評価実験を行う。

## 5. 1 ラベル付与

自己評価孤独感，他者評価孤独感ともに，中央値以上を高，未満を低とラベル付けした（自己評価孤独感：中央値 48 ,他者評価孤独感：中央値 14)

## 5.2 実験設定

孤独体験テキストは，2,356 名分の訓練用デー タ，295 名分の検証用データ，296 名分のテストデ一夕に重複なしで分割して実験を行い，正解率によって比較を行う，表 2 に，各データの自己評価孤独感・他者評価孤独感の高低ラベルの分布を示す.

表 2 データ分割の内訳

} & 高 & 1,148 & 144 & 144 & 1,436 \\

本実験では，Wikipediaを用いて事前訓練された日本語 BERTiiiを本タスク用にファインチューニングする．BERTの実装には，Transformersivを使用する. 最終 4 層の隠れ層からそれぞれ[CLS]トークンのベクトルを結合し，全結合層を最終層に追加してクラス分類を行う. 損失関数には負の対数尤度損失を使用し, 事前学習済みの箇所における学習率は 5e-5, 最後の全結合層における学習率は 1e-4 とした. 最適化は Adam として 20 エポックの earlydropping を適用する。

## 5.3 実験結果と考察

## 5.3. 1 正解率と混同行列

実験の正解率は自己評価孤独感が.56, 他者評価孤独感が. 72 であり, 他者評価孤独感のモデルの方が性能が高かった。

iv https://github.com/huggingface/transformers

図 3 自己評価推定実験結果の混同行列

図 4 他者評価推定実験結果の混同行列

正規化した混同行列（図 3-4）によると, 低群内の推定については, 自己評価孤独感, 他者評価孤独感の分類結果はそれぞれ.70，.82といずれも高い性能を示した。一方, 高群の推定については, 自己評価孤独感の分類結果は. 41 , 他者評価孤独感の正解率は. 59 と反転していた。つまり, 両方のモデル共に, 低群の孤独感はある程度の精度で推定できるものの，高群の孤独感を推定するのが困難であつた. 自己評価孤独感が高い書き手を高いと判断するのと，低い書き手を低いと判断するのは異なる特徴が用いられていることを示唆する. 特に, 孤独感の高い書き手を推定することを可能とする特徴を見つけるのは, BERTにも, 人間の評価者にも難しい課題であると考えられる。

## 5.3.2 分類結果と孤独感スコアの比較

モデルの分類と, 実際の評価スコアがどの程度反映されているのか検討を行った。

まず, 各分類結果に基づく群ごとの自己評価孤独感のスコアを比較した（図 5）．自己評価に基づく高群・低群の自己評価孤独感スコアの平均は, 当然のことながら明確に異なる。一方で, 他者評価群分けに基づく平均値を比較したところ, 高群の自己評価スコアの平均がやや高かった. しかし, 自己評価推定に基づく分類の場合は低群の平均値スコアの方が高い結果であった.

次に，各分類結果に基づく群ごとの他者評価孤独感のスコアを比較した（図6）. 他者評価に基づく高群・低群の他者評価孤独感スコアの平均は,

図 5 分類結果と自己評価スコア

図 6 分類結果と他者評価スコア

当然のことながら明確に異なる。また，他者評価群分けに基づく平均值を比較したところ, 高群の他者評価スコアの平均が高かった。これらの結果は， BERT が孤独感を推定するのに十分な言語的な特徴を学習できていない可能性を示す.

## 6 おわりに

本研究では，記憶された過去の体験等を想起し，記述する際に書かれたテキストに，書き手の孤独感が反映されているのであれば，BERT による自己評価孤独感が推定可能だと考え検討を行った. 自己評価モデルの正解率と分類結果に基づく自己評価孤独感スコアの比較を詳細に検討したところ, 自己評価孤独感の推定は依然として困難であった。一方で,他者評価については, 正解率と分類結果に基づく他者評価孤独感スコアの結果ともに精度がよいことが示された. また, 本研究では, 日本語で自己評価・他者評価孤独感の両方を検討できる初めてデータセットを収集した. 今後は, 心理学的な観点からの詳細な分析を進める予定である. 本研究は, 心理学的な問題に BERT を利用した初めての研究である. 今後, 心理学分野への自然言語処理手法の適用が拡大していくことが期待される.

## 参考文献

Andy, A., Sherman, G., \& Guntuku, S. C. (2022).

Understanding the expression of loneliness on Twitter across age groups and genders. PLOS ONE

17(9): e0273636.

doi:10.1371/journal.pone. 0273636

Cacioppo, J. T., \& Patrick, W. (2008). Loneliness:

Human Nature and the Need for Social Connection. W W Norton \& Co.

Devlin, J., Chang, M., Lee, K. et al. (2019). BERT: Pretraining of deep bidirectional transformers for language understanding. In the Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1, pp. 4171-4186. doi: 10.18653/v1/N19-1423

Guntuku SC, Schneider R, Pelullo A, et al. (2019). Studying expressions of loneliness in individuals using twitter: an observational study. BMJ Open, 9:e030355. doi: 10.1136/bmjopen-2019-030355

Kiritchenko, S., Hipson, W., Coplan, R. et al. (2020). SOLO: A Corpus of Tweets for Examining the State of Being Alone. In the Proceedings of the Twelfth Language Resources and Evaluation Conference, pp. 1567-1577.

Liu, T., Ungar, L.H., Curtis, B. et al. (2022). Head versus heart: social media reveals differential language of loneliness from depression. Npj Mental Health Research, 1, 16. doi: 10.1038/s44184-022-00014-7

多田ゆづり・田高悦子・臺桂. (2012). 高齢者における日本語版 UCLA 孤独感尺度(第 3 版)の開発とその信頼性・妥当性の検討. 日本地域看護学会誌, 15(1), 25-32.

宮内裕人・鈴木陽也・秋山和輝他. (2022). 主観と客観の感情極性分類のための日本語データセッ卜. 言語処理学会第 28 回年次大会発表論文集, pp. 1495-1499.

Nakai, K., Iwai, R., \& Kumada, T. (2022). An examination of eating experiences in relation to psychological states, loneliness, and depression using BERT. In the Proceedings of the $36^{\text {th }}$ Annual Conference of the Japanese Society for Artificial Intelligence, 1S1-IS-3-05.


# 新たな価値観ラベルの発見に対する支援方法の検討

福田悟志 ${ }^{1}$ 石田栄美 ${ }^{2}$
${ }^{1}$ 中央大学理 工学部 ${ }^{2}$ 九州大学 データ駆動イノベーション推進本部
fukuda. satoshi.3238@kc. chuo-u. ac. jp ishita. emi.982@m. kyushu-u. ac. jp

## 概要

先行研究では，東日本大震災による原子力発電所の事故を取り上げている新聞社説の一文ずつに，事前に定義した価值観ラベルの付与を行った. 本研究では，ある特定のトピックに対する人々の価値観は時間の経過とともに変容していくと仮定し，新たな価値観ラベルの発見を支援するための方法を検討した. 具体的には, 先行研究で構築したデータセットを用いて分類器を構築し，ラベル付けされていない文集合に価値観ラベルを付与した。いずれのラベルも付与されなかった文集合に対して，Bertopic を用いてトピック分析を行った. そして, 先行研究でラベル付け対象とした年以降の社説集合に対して上記のアプローチを適用し, 獲得した分析結果が，新たな価値観ラベルの発見に有効かどうか検討した.

## 1 はじめに

特定の事象や政策に対する意見文に表孔ている人々の価値観を明らかにすることで，個々人が何を重要と考えているのか, または何を受容しているのか等を分析することができる。これらは, 世論の理解や政策決定に役立てることができる。本研究ではこれまでに, 東日本大震災による原子力発電所の事故に起因する議論を扱っている新聞社の社説を対象に，人々の価値観に関する内容分析を行ってきた [1][2]. 2011年 3 月 11 日に発生した東日本大震災は,福島第一原子力発電所を損傷させ, 現代における最も重大な原子力災害の一つとなった. 震災後, 原子力発電所の事故対応，政府や企業の対応，住民の対応, 原子力発電所の再稼働や廃炉, 原子力発電所の検査などについて，様々な議論が行われてきた。 そして, 議論の過程で明らかになったことや時代背景の変遷に伴って, 原子力発電に対する人々の価値観も変容していくと考えられる. そのため, ある時点において普遍的なものとして価値観を定義しても，時間が経過するにつれて新たな分析対象となる価値観が生まれている可能性が有る. 本研究では, このような新たな価値観ラベルの発見を支援するためのアプローチを提案し, 先行研究で構築した価値観デ ータを用いた実験により，その有用性を調查する。

## 2 価值観ラベルデータセットの構築

先行研究では, まず, 2011 年から 2016 年の毎日新聞の CD-ROM[3]に収録されている社説記事から 「原発 OR 原子力」というクエリで検索を行い，2 人のコーダーにより，原子力発電を中心とした議論かどうかの判定を行った[1]. クエリ検索で得た 750 件のうち, 411 件が正例, 339 件が負例と判定された. その後, 正例の社説からランダムに 190 件を選択し, 2 人のコーダーにより, 社説の各文に対して,価値観を持つ文か，事実文かを判定した。さらに，価値観を持つ文の場合は，以下の価値観ラベルの中からラベルを付与した[2].

Consequence 将来の展望 (成果, 目的, 目標など) やマクロ・長期的な視点など，結果に基づく判断や評価に基づく価値観.

Intention 印象, 態度, 共感, 誠意など感情や気持ちに関する価値観.

Social Order ルール, 規範, 常識, 期待, 社会的責任など社会構造に関する価値観，政府や国家が関与する制度，法律，政治的判断.

Safety 安全・安心の価伹観, 危険 - 怪我・脅威・恐怖から解放された状態，事故や危険を防止するための対策.

Wealth 事業活動を含む金銭, 物質的所有物, 資源,利益など，あらゆる経済的目標を追求することに対する価値観.

Human Welfare 人類に共通する利益や社会全体に関わる利益を実現するための価値観，公共に対する明確な利益.

上記は，人の価値観は「人々が人生において何を重要視しているかという指針」という定義[4]に基づき，危機的な状況下で人々が重視すると考えられる

4 つの広範な要素に基づいて, 8 つの人間の価値を定義することから始めた. まず，「結果」と「感情・気持ち・誠実さ」のどちらを重視するかという「責任」に関わる問題である. 2 つ目は「秩序」である. 3つ目は「安全」と「豊かさ」のどちらを重視するかという「利益」，4つ目は「福祉」である。これらの価値観ラベルを持っている文を正例とした場合に，価値観文データセットにおける文の数を表 1 に示す.

## 3 新たな価值観ラベルの発見支援

特定のトピックに対する新たな価値観は，時間の経過とともに生まれてくると仮定した。本研究においては，先行研究で価値観ラベルの付与を行っていない 2017 年以降の社説内に，新たな価値観ラベルが潜んでいる可能性が有ると想定した。一方で, これらの社説においても， 2 節で述べた価值観ラベルを持つ文も多く含まれているといえる。また，新しい価値観ラベルを持つと考えられる文集合が数多くある場合，それらを一文ずつ確認していくことはコストがかかる。これに対して, 特定の指標に基づいた文間の関係性に基づいてグループ化された結果を提示することは，その集合に新たな価値観ラベルが存在する可能性もあり, 新たなラベルの発見のための作業の支援につながると考えられる。

本研究では, 新たな価値観ラベルを効率的に発見するためのアプローチとして, 2 節で述べた価値観文データセットを用いて, 新しい価値観ラベルを持つ可能性の有る文の自動的な抽出, および抽出した文集合に対する自動的なグループ化を行う. 以下で詳細を述べる.

## 3.1 分析手順

分析手順は，以下のようになる。1) 価値観ラベルの付与が行われていない社説に対して， 2 節で述べたクエリを用いて, 原発・原子力発電に関する記事を収集する. 2) 2 節で述べた 750 件のラベル付き記事集合を用いて構築した分類器により, 原子力発電を中心に議論が展開されている記事かどうかを判定する.3）表 1 で示した価値観文データセットを用いて構築したラベルごとの分類器を用いて, 正例と判定された社説の各文に対して, 各価値観ラベルを持っているかどうかの判定を行う.4) いずれのラベルも持たないと判定された文集合に対してトピック分表 1 価値観文データセット

析を行い，その分析結果を出力する。

## 3.2 分類モデル

3.1 節の 2)と 3)で用いた分類器の構築について述べる. 分類モデルには, fasttext[5]を用いた. エポック数は 100 とし, 形態素解析には MeCabを用いた. 4)で用いるデータは, 分類器が付与したデータを用いるため, ここで, 10 分割交差検定による各分類器の基本的な性能を表 2 に示す. なお，各価値観ラベルの判定では, 2 值分類による判定のため, 1 つの文に対して複数の価値観に分類される場合がある.

## 3.3 トピック分析

3.1 節で述べた 4)のトピック分析には Bertopic[6] ${ }^{1}$ を用い，クラスタリングモデルには HDBSCAN[7]を用いた。なお，外れ値として割り当てられた文は，分析から除外した。 また, c-tfidf により，各トピックを表す上位 10 件の名詞または名詞句を抽出した。

## 4 実験

## 4. 1 実験方法

3 節で述べたアプローチの有用性を調查するために， 2 種類の実験を行った. まず，表 1 の各価値観文データセットにおいて， 1 種の価值観ラベルのみが付与された文集合を用いて，各ラベルがどのように分類されるのかを分析し, その分類傾向と新しいラベルの発見にどのように影響するのかを調査した。実験に用いた文は合計で 1,659 文であり， Consequence, Intention, Social Order, Safety, Wealth, Human Welfare が付与された文の数はそれぞれ 260 文, 57 文, 936 文, 274 文, 78 文, 54 文であった.
^{1}$ https://maartengr.github.io/BERTopic/api/bertopic.html
}
表 2 分類性能

次に, 2017 年から 2020 年における毎日新聞の社説記事[8]老対象に, 実際に 3.3 節で述べた手順に従って, いずれの価値観ラベルにも分類されなかった文集合のトピック分析を行い，その結果を調べた。分類対象となった社説記事の数は 143 件であり, 表 2 で示した社説記事の分類器により, 74 件が正解と判定された. また, それらの社説における 1,937 文に対して分類を行い，203 文がいずれの価値観ラべルにも分類されなかった.

## 4. 2 実験結果

まず，価値観ラベルが付与された 1,659 件の文集合に対するトピック分析の結果を調べた. Bertopic によるトピック分類では, 30 種類のトピックが生成された. 各トピックの分布を 2 次元平面上にマッピングすると, 図 1 のように, 5 種類の領域に分類されていることが分かる 2 . そこで, 30 種類のトピックを図 1 に従って 5 種類のカテゴリに統合した. 各力テゴリに属するトピック, c-tfidf による各カテゴリを表す名詞または名詞句，各価値観ラベルを持つ文数を表 3 に示す。

表 3 において，カテゴリ 1 では，原発における日本のエネルギー政策に関する話題が中心となっており, 最も多くの文が分類されていた. カテゴリ 2 では, 原発における污染水や放射性物質に関する話題が中心となっており, カテゴリ 3 では, 原発に対する政府対応に関する話題が見られた. また, カテゴリ 4 では震災による原発事故の話題が現れており， カテゴリ 5 では，原発に関する規制や検証に関する話題が見られた。
^{2}$ Bertopic の機能の一つである visualize_topics()を用いて描画した。
}

図 1 特定の価値観ラベルのみを持つ文集合に対するトピック分析結果

価値観ラベルに基づいて各カテゴリを調べると， カテゴリ 2 は, Safety が付与されている文を中心に構成されていた。カテゴリ 3 では, Social order および Human Welfare を持つ文が多く出現しており，このカテゴリにおけるすべての Human Welfare の文は, トピック 13 に出現していた.これらのことから，一部のカテゴリまたはトピックは，特定の価値観ラベルと関連していることが分かる.しかし全体的には，各ラベルはカテゴリを横断して出現しており, 必ずしもラベルに基づいてトピックが生成されるとは限らないといえる.

次に, 分類器により, いずれの価値観ラベルも付与されなかった 203 件の文集合に対する分析結果を調べた. 各トピックの分布を 2 次元平面上にマッピングしたときの結果を図 2 に示す. 図 2 において,生成されたトピックは 4 種類であり，各トピックは独立している傾向にあると考えられる. また, c-tfidf による各トピックを表す名詞または名詞句および各トピックの文数を表 4 に示す. 表 4 と表 3 を比較したとき, 表 4 における原発の運転差し止めに関する話題を表しているトピック 2 や, 町や地域における震災後の策定に関する話題を示しているトピック 3 ，太陽光発電を含むエネルギー計画に関する話題を表しているトピック 4 は, 表 3 のいずれのカテゴリと独立したものである.このように，いずれの価値観も付与されなかった文に対してトピック分析を実行
表 3 各カテゴリに属するトピック, 各カテゴリを表す名詞（名詞句）, 各価値筧ラベルを持つ文数. A は Consequence, B は Intention, C は Social order, D は Safety, E は Wealth, F は Human Welfare を表す. カッコ内の数値は，特定の価値観ラベルを持つ文の総数に対する割合を示す.

 & $0,1,3,5,29$ &  &  &  &  &  &  &  \\

図 2 いずれの価値観ラベルに分類されなかった文集合に対するトピック分析結果

することで，何らかのグループ化が行われ，また， そのトピックを表す語を確認することができる．新しい価値観ラベルを発見したい場合には，これらの語を参考にできる可能性がある．今後は，具体的にどのような価値観ラベルが各トピックに表れているのかを調査していく。表 4 各トピックを表す名詞または名詞句および各トピックに分類された文数

 &  & 73 \\

## 5 おわりに

本研究では，新たな価値観ラベルの発見支援のための方法を検討した．Bertopic を用いた分析において，特定の価値観ラベルと一部のトピックに関連性があることが確認された．今後は，分析結果に基づいて，より効率的に新しい価値観ラベルを発見するための提示方法を検討するとともに，実際に内容分析を行う社会科学者の意見も反映する。

## 謝辞

本研究は JSPS 科研費 JP18H03495 の助成を受けたものである.

## 参考文献

1. CD-毎日新聞データ集 2011 年版, 2012 年版, 2013 年版, 2014 年版, 2015 年版, 2016 年版.

2. Ishita, E., Fukuda, S., Oga, T., Oard, D.W., Fleischmann, K.R., Tomiura, Y., and Cheng, A-S.: Toward Three-stage Automation of Annotation for Human Values. Proc. of iConference, pp. 188-199 2019.

3. Ishita, E., Fukuda, S., Oga, T., Tomiura, Y., Oard, D.W., and Fleischmann, K.R.: Cost-Effective Learning for Classifying Human Values. Proc. of iConference, 2020.

4. Cheng, A.-S., Fleischmann, K.R., Wang, P., Ishita, E., and Oard, D.W.: The Role of Innovation and Wealth in the Net Neutrality Debate: A Content Analysis of Human Values in Congressional and FCC Hearings. Journal of the American society for information science and technology, pp. 1360-1373, 2012.

5. Mikolov, T., Grave, E., Bojanowski, P., Puhrsch, C., and Joulin, A.: Advances in Pre-training Distributed Word Representations. arXiv preprint arXiv:1712.09405, 2017.

6. Grootendorst, M.: BERTopic: Neural Topic Modeling with a Class-based TF-IDF Procedure. arXiv preprint arXiv:2203.05794, 2022.

7. McInnes, L. and Healy, J.: Accelerated Hierarchical Density based Clustering. Proc. of ICDMW, pp. 3342, 2017.

8. CD-毎日新聞データ集 2017 年版, 2018 年版, 2019 年版, 2020 年版.