# ソーシャルメディアを用いた 一般用医薬品のファーマコビジランス

西山智弘 ${ }^{1}$ 矢田竣太郎 ${ }^{1}$ 若宮翔子 ${ }^{1}$ 堀里子 ${ }^{2}$ 荒牧英治 ${ }^{1}$
1 奈良先端科学技術大学院大学 2 慶應義塾大学
${ }^{1}$ \{nishiyama. tomohiro.ns5,s-yada, wakamiya, aramaki\}@is.naist.jp
${ }^{2}$ hori-st $@$ pha.keio.ac.jp

## 概要

近年，OTC 医薬品の誤用・乱用が増加しており，社会問題となっているが，自由に購入できるOTC 医薬品の乱用状況を把握することは難しい. そこ で，我々はユーザが日常を投稿することが盛んに行 われるソーシャルメディアを用いることで，OTC 医薬品の誤用乱用を把握できると考え，OTC 医薬品の 使用状況に関してラベル付けを行ったコーパスを構築した. 用いたコーパスに含まれる医薬品名をマス クしたテキストを用いて学習させたモデルで分類精度を確認したところ, 医薬品名が含まれるものと同程度の精度で分類できることがわかった。

## 1 はじめに

近年，高齢化による医療費の増大が社会問題と なっている. この解決策の一つとして, 薬局で購入することのできる over-the-counter 医薬品（以降， OTC 医薬品とする）が推奨されている．しかし，こ れらの医薬品は手軽に手に入れられることから同時 にその乱用が増加している。こうした乱用事例は特 に若い世代に多く, OTC 医薬品のインターネット売買の普及で消費者がより簡便に OTC 医薬品を購入 できるようになった影響等が考えられる [1]. 2021 年 12 月には薬物乱用に関するソーシャルメディア 上のコミュニティを通じて知り合ったグループで OTC 医薬品の乱用による死亡事故も起きており，こ れらの医薬品が不適切に扱われることは社会上の問題である [2].

そのような状況下ではあるが，OTC 医薬品の乱用 の現状などを把握する手法は乏しく，その方法とし てはアンケートや医療機関への受診などに限られ る [3]. こうした手法では, 情報の収集に時間やコ ストがかかり, 非効率であるだけでなく, 依存症な

図 1 医薬品誤用乱用関連のツイートの抽出

どの問題が発生した後でしか，その事象を捉えるこ とができないため，より簡便に迅速に OTC 医薬品 の使用状況を捉える手法が求められている.

特に医薬品の乱用を含めた誤用などの医薬品の 使用状況を迅速に取得することができれば，当局自身が医療政策，製薬会社が乱用問題への対策をより 効果的に打ち出せる可能性がある. これらを可能 とする情報リソースとしてソーシャルメディアが 挙げられる。中でも，Twitter は日本国内では LINE， YouTube についで多くのユーザを有しており [4], 匿名発信による手軽さから，ユーザが日常を投稿する ことが盛んに行われており，ユーザ自身による医薬品使用状況に関する投稿も多い．著者らはこの情報 を医薬品安全性監視といったレギュラトリーサイエ ンスに役立てると考えており，既に誤用乱用などを 含めた服薬コンプライアンスに関するコーパスの構築に取り組んでいる [5]. しかし, OTC 医薬品に向 けたテキストの分類体系は存在していない.

そこで, 本研究では OTC 医薬品のための誤用乱
用に関するテキスト分類体系を提案し，その自動分類を実施する。

## 2 関連研究

ソーシャルメディアを用いて，医薬品の使用状況 を捉える研究は盛んに行われており，患者の薬物乱用や服薬コンプライアンスを検出する試みがなされ ている [6-14]. Abdellaoui らは，エスシタロプラム とアリピプラゾールという 2 の薬物について，卜 ピックモデルを用いたツイート分類を行った [13]. Weinssenbacher らは，コンプライアンス違反を検出 するために医薬品投与に関する変更イベントを分類 する方法を提案した [6]. また，著者らはこれまで 服薬コンプライアンス違反に関するテキストの自動分類の精度を検証している [5]. しかしながら, こ の研究での服薬コンプライアンス違反の分類精度は 59.7 と低く，改善の余地があると考えられた. この 研究において，服薬コンプライアンスの中でも，細 かい分類が分類精度の向上に寄与することが示唆さ れたことから, 本研究ではラベルに大分類と細分類 を設けることで，精度向上を試みた。

## 3 データセット

我々は “MediA OTC section” という OTC 用の医薬品コーパスを構築した. 本コーパスは「ブロン」,「パブロン」，「ウット」，「イブ」，「ナロン」，「レスタ ミン」，「ルル」，「トニン」，「コンタック」，「ドリエ ル」，「ベンザブロック」，「アネトン」，「エスタロン モカ」からなる 14 種類の医薬品クエリで取得され たツイートについて，誤用乱用に関するラベルが付与された全 22036 件のデータである. 14 種類のクエ リは薬剤師資格保有者によって，2020 年の全国の精神科医療施設における薬物関連精神疾患の実態調査 に登場する OTC 医薬品の商品名を含むものを全て 選択した [15].

## 3.1 前処理

2021 年 1 月 1 日から 2021 年 12 月 31 日の期間 で twitterAPIを用いて，14 種類の医薬品クエリで収集したツイートに対して，前処理を行なった。「イ ブ」,「ルル」,「ナロン」の3クエリについては,「ク リスマス」，「ルルル」，「ナロンちゃん」などの明ら かに医薬品に関連しないツイートを多く含んでい たため，これらのクエリについては，上述のような ワードを含むツイートを除外した.残ったツイートデータに対して，URL，ハッシュ タグ，RT の除去処理や重複ツイートの除去を行 なった後，テキスト本文が 10 文以上のツイートを 各クエリ 1500 件ずつランダムサンプリングした. ただし，ノイズが多く医薬品関連ツイートの割合 が少ない「イブ」，「ルル」については 10000 件ずつ 行った。このデータセットに対し，各医薬品の医薬品関連ツイートが 500 件に達するまでアノテーショ ンを実施した。

## 3.2 アノテーション

アノテータはツイートが医薬品に関して書かれ たものかどうかを判断する. 第 2 段階として，アノ テータは医薬品に関して書かれたツイートについ て使用 (Use)，誤用乱用 (Misuse)，言及 (Mention) を判断する。最終段階として，誤用乱用（Misuse） と判断されたツイートについて，細分類を判断す る. 細分類は，投与量間違い (dosage error), 過少服用 (underuse)，過剰服用 (overuse)，用法に反する (against usage)，精神的効果（psychotropic effect），ダ イエット（weight loss），自殺企図 (suicide attempt),鎮静効果 (sedation)，依存 (addiction)，不適切管理 (stock), 誤認識 (misunderstand), その他誤用乱用 （other）の 12 種類である．これらの分類は，Bigeard らのソーシャルメディアテキストの解析を参考に作成した [8]. 彼らの解析例をもとに，我々は OTC 用 のマルチラベルの分類体系を構築した.

また，アノテータは各クエリについて，医薬品関連ツイートが 500 件に達するまでラベル付けを行っ た. 最終的にラベル付けされたのは，全 20036 件の ツイートである.

本データセットは二人のアノテータによって行 われた。各医薬品クエリについて，アノテータがそ れぞれ 100 件ずつ，合計で 1400 件のツイートに関 してラベル付けを行い，アノテータ一致度を計算し た. 各ラベルのカッパ係数の平均は 0.891 であり,相当程度一貫しているとみなせる.

## 4 提案手法

分類モデルには Bidirectional Encoder Representations from Transformers (BERT) [16] を用いた。日本語 コーパスで事前学習したモデル1)を採用し，デー タセットを用いてファインチューニングを行なっ

図 2 医薬品分類モデルにおける Original と Masked の F1 スコア

た. 学習条件として最適化手法は AdamW，学習率 は $1.0 \times 10^{-5}$ ，バッチサイズは 512 であり，バリ デーションロスが最小の時点におけるモデルを利用 した.

本研究では 3 種類のモデルを作成した.ツイート が医薬品に関するものかどうかを分類するモデル (医薬品分類モデル)，医薬品に関わるツイートを使用 (Use)，誤用乱用 (Misuse)，言及 (Mention) のい ずれかに分類するモデル（誤用乱用大分類モデル），誤用乱用に関わるツイートが誤用乱用のうち，どの 細分類と判断されるかを分類するモデル（誤用乱用細分類モデル）である.

また，医薬品名がテキスト分類に影響をもたらす ことが予想されたため，それぞれのモデルに対し て，訓練データとして該当クエリの医薬品名をマス クしないテキスト (Original) とマスクしたテキスト (Masked)を適用したモデルで結果を検討した.

## 5 結果

データセットを 9 (訓練データ) $: 1$ (評価データ) の割合で分割し，3つのモデルによるツイートの分類精度を評価した。

医薬品分類モデルの Original と Masked の分類結果の F1 スコアを比較した結果を図 2 に示す. 全体 を見ると，ほとんどの医薬品で Masked の方が F1 ス コアが下がっていることがわかる. その中でもイブ とルルについては，それぞれ 0.138 と 0.209 と大き な低下を示した。

図 3 は誤用乱用大分類モデルの Original と Masked の分類結果のF1 スコアの差である. Useに関しては 医薬品名をマスクしても F1 スコアに差はほとんど でなかった. 一方で, Misuse や Mention では Masked の方が $\mathrm{F} 1$ スコアが上がっていることがわかる. 誤用乱用大分類モデルの Masked の Original の医薬品 ごとの F1 スコアについては, appendix に示した.

図 4 は誤用乱用細分類モデルの Original と Masked の分類結果の F1 スコアの差である. 医薬品名をマ スクしても，“overuse” や“against usage”では F1 スコ アには大きく差はなかった.

## 6 考察

図 2 において，イブとルルの Masked の F1 スコア の大幅な低下には，データの不均衡性が寄与してい ると考えられる，イブやルルは医薬品関連ツイート 以外のツイートも多く含まれ，イブやルルが含まれ ると医薬品関連でないとツイートが判断されやすく なっていると考えられる。ルルやイブでは医薬品名 がマスクされたツイートでは Recall が上昇する代わ りに Precision が低下していることから，上述の影響 が寄与していることが推測される。例えば，“もう やだルルしかないけど OD しょ”, “ユンケルと、ル ルを、ダブルで、飲んだとこなんよ”といった医薬品関連ツイートが Original では医薬品関連ツイート ではないと判断されているが， Masked では医薬品関連ツイートであると判断されている. 医薬品名を マスクした方が不必要なツイートを分類してしまう 可能性が高くなるが，誤用や乱用をキャッチしてい くという意味では医薬品名をマスクした方が漏れの 少ない分類モデルを作成できると考えられる。

図 3 において，全体的に Mention が高くなってお り，医薬品名をマスクした方が分類精度が改善して いる.これは, 医薬品名が分類結果に影響を及ぼし ていることが理由と考えられる。例えば，“エスタ ロンモカ?"や“ルルアタック APEX?” といったよ うな医薬品名だけで, Use と分類される例があった.医薬品名をマスクすることで，医薬品名自身が分類

図 3 誤用乱用大分類モデルにおける Original と Masked の F1 スコアの差 Fl score

図 4 誤用乱用細分類モデルにおける Original と Masked の F1 スコア

に与える影響を減じることができる。

図 4 において，一部のカテゴリで Original と Masked に大きな差があった. この理由としては， これらのカテゴリはほぼ全てがラベル数が 100 以下 であり，データが不十分であったことが原因である と考えられる。

一方で，ラベル数が 500 以上と十分に確保でき た “overuse”においては，医薬品名の有無にかかわ らず，精度良く分類することができることがわかっ た. 既存研究では，コンプライアンス不良を分類し た精度は 59.7 であり, 20 ポイント程度の改善が確認できた [5]. 細分類が精度の向上に寄与している と考えられる. OTC 医薬品において，最も問題と なっているのは過剰投与であり，本モデルはこうし た発言を精度良く分類することができることが示唆 された.

## 7 おわりに

本研究では，OTC 医薬品の使用状況を自動で分類 するための方法について検討した. OTC 医薬品に関するクエリでツイートを収集し，医薬品について 発言されたツイートについて，アノテーションを実施しコーパスを作成した。続いて，作成したコーパ スについて，医薬品分類モデル，誤用乱用大分類モ デル，誤用乱用細分類モデルの 3 種類のモデルにつ いて, Original と Masked の結果を比較した. その結果，医薬品名をマスクしたとしても，マスクしてい ないものと比較して, 遜色ない精度で分類できるこ とが示唆された。一方で，ラベル数を確保できない 場合には分類精度が低くなるということもわかっ た. 細分類においてはラベル数を確保することが難 しいものがあり，少量データや不均衡データでも検出できることが求められる.

本研究は，捕捉が難しい OTC 医薬品に関する使用状況をソーシャルメディアを通じて捉えるという 初の試みであり, OTC 医薬品の使用状況を把握する ための新規のテキスト分類体系を構築した. 情報を 効率的に収集することで，当局や製薬企業がその対応を適切に行えるようになるものと期待する.

## 謝辞

本研究の一部は, JST AIP 日独仏 AI 研究 JPMJCR20G9，JST CREST JPMJCR22N1，国立情報学研究所 (NII) CRIS，JSPS 科研費 JP21H03170, AMED の課題番号 JP22mk0101229 の支援を受けたもので ある.

## 参考文献

[1] Reiko Yano Nobuyuki Goto Fumiko Ohtsu Hiroko Niwa, Kouich Tanabe. Association between the Current Situation of Adverse Reactions Caused by Non-prescription Drug Abuse and Patient Backgrounds. Jpn. J. Drug Inform., Vol. 20, pp. 145-155, 2018.

[2] The Japan Times. Abuse of over-the-counter drugs surges among young people in Japan, 2022. https://www. japantimes.co.jp/news/2022/01/17/ national/drugs-mental-suffering/.

[3] Aluri Mourya, Chippy Mary, Chithu James, Josepheena Jose, and R Srinivasan. A Survey on Over The Counter Drug usage in the Community. Journal of Drug Delivery and Therapeutics, Vol. 9, No. 2-s, April 2019. Section: Research.

[4] comnico.【2023 年 1 月版】人気ソーシャルメディ アのユーザー数まとめ, 2023. https://www. comnico. jp/we-love-social/sns-users.

[5] 西山智弘, 矢田竣太郎, 若宮翔子, 堀里子, 荒牧英治. ソーシャルメディアにおける服薬ノンコンプライア ンス発言の分類と医薬品構造類似度を用いたコーパ ス可搬性の検討. 言語処理学会第 28 回年次大会発表論文集, pp. 1956-1960, 2022.

[6] Davy Weissenbacher, Suyu Ge, Ari Klein, Karen O'Connor, Robert Gross, Sean Hennessy, and Graciela Gonzalez-Hernandez. Active neural networks to detect mentions of changes to medication treatment in social media. Journal of the American Medical Informatics Association, Vol. 28, No. 12, pp. 2551-2561, 2021. Publisher: Oxford University Press (OUP).

[7] Abeed Sarker and Graciela Gonzalez. Portable automatic text classification for adverse drug reaction detection via multi-corpus training. Journal of Biomedical Informatics, Vol. 53, pp. 196-207, February 2015.

[8] Elise Bigeard, Natalia Grabar, and Frantz Thiessard. Detection and Analysis of Drug Misuses. A Study Based on Social Media Messages. Frontiers in Pharmacology, Vol. 9, p. 791, July 2018.

[9] Nhathai Phan, Soon Ae Chun, Manasi Bhole, and James Geller. Enabling Real-Time Drug Abuse Detection in Tweets. In 2017 IEEE 33rd International Conference on Data Engineering (ICDE), pp. 1510-1514, San Diego, CA, USA, April 2017. IEEE.

[10] Antonio A. Ginart, Sanmay Das, Jenine K. Harris, Roger Wong, Hao Yan, Melissa Krauss, and Patricia A. CavazosRehg. Drugs or Dancing? Using Real-Time Machine Learning to Classify Streamed "Dabbing" Homograph Tweets. In 2016 IEEE International Conference on
Healthcare Informatics (ICHI), pp. 10-13, Chicago, IL, USA, October 2016. IEEE.

[11] Tim K. Mackey, Janani Kalyanam, Takeo Katsuki, and Gert Lanckriet. Twitter-Based Detection of Illegal Online Sale of Prescription Opioid. American Journal of Public Health, Vol. 107, No. 12, pp. 1910-1915, December 2017.

[12] Michael Chary, Nicholas Genes, Christophe GiraudCarrier, Carl Hanson, Lewis S. Nelson, and Alex F. Manini. Epidemiology from Tweets: Estimating Misuse of Prescription Opioids in the USA from Social Media. Journal of Medical Toxicology, Vol. 13, No. 4, pp. 278-286, December 2017.

[13] Redhouane Abdellaoui, Pierre Foulquié, Nathalie Texier, Carole Faviez, Anita Burgun, and Stéphane Schück. Detection of Cases of Noncompliance to Drug Treatment in Patient Forum Posts: Topic Model Approach. Journal of Medical Internet Research, Vol. 20, No. 3, p. e85, March 2018

[14] Miguel A. Alvarez-Mon, Carolina Donat-Vargas, Javier Santoma-Vilaclara, Laura de Anta, Javier Goena, Rodrigo Sanchez-Bayona, Fernando Mora, Miguel A. Ortega, Guillermo Lahera, Roberto Rodriguez-Jimenez, Javier Quintero, and Melchor Álvarez Mon. Assessment of Antipsychotic Medications on Social Media: Machine Learning Study. Frontiers in Psychiatry, Vol. 12, p. 737684, November 2021

[15] 松本俊彦, 宇佐美貴士, 船田大輔, 村上真紀, 沖田恭治, 谷沍由布子, 山本泰輔, 山口重樹. 全国の精神科医療施設における薬物関連精神疾患の実態調査. 医薬品・医療機器等レギュラトリーサイエンス政策研究事業, pp. 41-104, 2020.

[16] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding". In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186. Association for Computational Linguistics, 2019.

## A 参考情報

図 5,6 は誤用乱用大分類モデルの Masked の Original の医薬品ごとの F1 スコアである. Use に関しては ラベルを医薬品名をマスクしてもF1 スコアに差はほとんどでなかった. 一方で, Misuse や Mention では Masked の方が F1 スコアが上がっていることがわかる.

F1 score

図 5 誤用乱用大分類モデルにおける Original の F1 スコア

F1 score

図 6 誤用乱用大分類モデルにおける Masked の F1 スコア


# 災害ツイートを対象とした場所参照表現の抽出における 過去事例の利用とその災害種が及ほす影響調査

六瀬聡宏 ${ }^{1}$ 内田理 ${ }^{1}$
${ }^{1}$ 東海大学情報理工学部情報メディア学科
\{trokuse, o-uchida\}@tokai. ac. jp

## 概要

本研究では災害時に流通するツイートから場所を 参照する表現の抽出について検討する. 今回は機械学習モデルによる固有表現抽出(NER)の問題として 解決を試みる上で 1 つの条件を設け, 学習に過去の 災害時に流通したツイートを利用することを考える。災害という状況下では, 迅速かつ的確な対応が求め られる一方で, 多くの NER モデルは, 性能の担保 には正確にアノテーションされたデータが必要であ る. 本研究では日本で発生した地震, 豪雨, 台風の 3 つの災害に焦点を当て, 同じ種類の災害で学習し た場合, 異なる種類の災害で学習した場合の 2 つの 観点から過去の災害時に流通したツイートの利用可能性を検証した。

## 1 はじめに

大規模災害時の被害を最小限に抑えるためには，迅速かつ的確な情報の収集と伝達が重要である. そ のため, Twitter を始めとする即時性が高く利用者 の多いソーシャルメディアの利活用に関心が寄せら れている。災害時には Twitter 上で被災状況の発信 や収集が盛んに行われており [1], 流通する情報は 初動対応において重要な情報を含むことが報告され ている[2].このような背景から, 災害対応にあた る政府や自治体でも Twitter $の$ 利活用が進められて いる[3].

しかし, Twitter の災害時利用には解決すべき課題も残されている. そのひとつが流通する情報量の 急激な増加である. 例えば, 2018 年に発生した大阪府北部を震源とする地震の際には, 発生直後の 10 分間で「地震」という単語を含むツイートが少 なくとも 27 万件以上投稿されたとの報告がある[4].以上より, 膨大なツイート群から, 災害対応の意思決定に有益な情報のみを選別する必要がある. 選別の観点として, 信憑性や緊急性の他, 各ツイート の内容がどの場所を対象としたものであるかを特定
することも重要である.ツイートには言及している 地点の特定に有益な場所を参照するような表現（場所参照表現）を含む場合がある（表 1）。場所参照表現が適切に抽出できれば，ツイートを地図にマッ ピングすることができ[5], 災害対応等により活用 することが可能となる.

本研究ではツイート本文を対象に固有表現認識 (NER)による場所参照表現の抽出を試みる。ただし，災害発生時にリアルタイムに適用することを想定し，現在発生している災害に対して，過去の災害時に流通したツイートで学習することを考える（図 1）.多くの場合, NER は機械学習モデルによって実現 され, 対象のドメインのデータで学習されている. しかし，災害の発生と同時に学習に必要なデータの 収集や選別などの一連の作業には多くの時間を要す る。一方で，被害を最小限に抑えるという観点から は迅速な対応が必要不可欠である。これらの問題を 解決する第一歩として, 国内で発生した, 豪雨, 台風，地震の 3 種類の災害時のツイートからデータセ ットを構築し，過去の災害ツイートの利用可能性に ついて検証する，今回は同じ種類の災害を利用した 場合，異なる種類の災害を利用した場合で，モデル の性能にどのような影響を与えるかを調查した。

表 1 場所参照表現を含む災害ツイートの例

 \\

図 1 過去の災害データを利用した学習の例

## 2 関連研究

災害時における Twitter 利用に関しては，対応の 緊急度推定[6]や, キーフレーズ抽出[7]など幅広い 分野で研究が進んでいる. これらの研究の多くは英語のツイートを対象としている場合が多いことから，他の言語でデータセットを構築し検証を進める動き もある[8][9]. また，これらのデータセットを統合 して多言語に対応したモデルを構築する研究[10]も 進められているが, 多言語モデルは特定の言語に特化しているとの報告[11]もあることから英語以外の 言語での検証の余地は残されている.

また，災害時におけるツイートの位置情報につい ても先行研究でいくつかの結果が示されている. 例 えば，ツイートが言及している地点の特定には，ツ イートに付与されたジオタグと呼ばれる緯度経度情報が利用できる. しかし, ジオタグが付与されたツ イート数は決めて少ないことが報告されているため [12], 他の方法と併用することが望ましい. このよ うな背景からツイート本文を対象とした NER によ るアプローチは数多く存在し, 洪水 [13]や地震[14] といった状況下での研究がある. 特に, Suwailehら [15]はラベル付きのツイートが利用できない場合に，直近で発生した災害のツイートの有効性について検証している. このSuwailehらの研究は本研究と立ち 位置が非常に近いが, 日本国内の災害時ツイートを 対象とした場合, 考慮すべき点が存在する. まず,災害の発生頻度や規模, その種類は地域によって異 なる。例えば，日本国外では砂嵐 [16]や山火事[17] に関する研究などが進められているが, 日本国内で はこれらの発生頻度や規模は小さい. その一方, 日本では地震が発生する頻度や規模が他国に比べて大 きく, 東日本大震災や熊本地震など, 甚大な被害を もたらしたケースが少なくない. 次に, 英語と日本語による言語の性質の違いが挙げられる. 日本語は 単語間の境界が曖昧であり, 単語への分割方法が性能に影響を与えることが指摘されている[18]. また，文法の違いも考慮すべき要素である [19].

従って, 日本国内で発生した災害に対し, 日本語 で記述されたツイートに対する検証の余地はいまだ 大きいと考える.

図 2 問題設定の概要

## 3 問題設定

本研究における場所参照表現の抽出とは, ツイー トに含まれる全ての場所参照表現を特定することで ある. 問題設定の概要を図 2 に示す.

$L$ 個の単語 $w_{i}(i=1, \cdots, L)$ から構成されるツイート $t=\left.\{w_{1}, w_{2}, \cdots, w_{L}\right.\}$ が与えられたとき, $t$ に含まれ る場所を参照している単語 $w_{i}$ をすべて特定するこ とを考える。場所参照表現は複数の単語にまたがる 可能性があるため, ツイートを単語の系列とみなし，各単語のクラスを予測する系列ラベリング問題とし て定義する．クラスの定義は Yang ら[20]を参考に BILOU の 5 クラスを利用する。“B”は場所参照表現 の先頭となる単語を示し, 次の単語も場所参照表現 の場合は“I”を割り当てる．末端まで到達した場合 に“L”を割り当てることにより，“B”から“L”までが 場所参照表現であることを表現する．場所参照表現 ではない単語は“O”を割り当て, 1 単語からなる場所参照表現は“U”を割り当てることで表現する。本研究ではこの定義に従い, ツイートを構成する単語列に対してマルチクラス分類を試みる.

## 4 データセット

## 4. 1 ツイートの収集

日本国内で発生した豪雨, 台風, 地震の 3 種類の 災害に焦点を当て，検証に利用するツイートを収集 する. 今回は Twitter Search API を利用し付録 A に 示す災害時に流通したツイートを収集した。本研究 では，以下の時間を起点として，24 時間以内に流通したツイートを対象とした。
- 地震 : 地震発生時刻
- 豪雨 : 気象庁から最初に大雨特別警報が発表された時刻から 6 時間前
- 台風: 気象庁から日本国内に上陸の発表が あった時刻から 6 時間前

災害に関係ないツイートを除外するため, Paul ら [21]などを参考に, 事前の予備実験に基づいて決定したクエリを指定する。詳細は付録Aに示す.

## 4.2 災害に言及したツイートの絞り込み

Paul ら[21]の調査によると，災害に関係するクエ リを含むツイートでも実際に災害について言及して いるツイートは非常に少ないことが知られている.本研究では更に以下の条件をすべて満たすオリジナ

ルツイート（リツイート以外のツイート）のみに絞 り込みを行う。

(1) 日本語で記述されている

(2) 1 回以上リツイートされている

(3) Twitter 公式クライアントから投稿されている

(4) 1 つ以上の場所参照表現を含んでいる

これらの条件は，一度でも拡散されたツイートは有益な情報を含み，かつ，現地からの投稿は機械的に 投稿する BOT とは異なり, 特別な Twitter クライア ントを利用していないことがほとんどであろうとい う仮説に基づいて設定した。 条件(4)に関しては関連研究[13]などを参考にしてオープンデータを利用 した辞書を構築し, 最長一致で文字列マッチングを 行うことにより条件の充足を判断した. それ以外の 条件に関してはツイートのメタデータを参照して機械的に判定を行った.

## 4.3 アノテーション

前節の処理で絞り込まれたツイート群に対して，含まれる場所参照表現にアノテーションを行う．今回は Matsuda ら[22]の研究で提案されているアノテ ーションスキームを参考に実施した. 対象となった 場所参照表現の例を付録 $\mathrm{C}$ に示す. 作業の過程で “球磨川” の様な場所ではなく人名を指している場合や, 実際の被害状況ではなく被災地の状況を心配 するようなツイートを除外し，各災害で必要なツイ 一ト数が得られるまで作業を繰り返す. 以上の手順 を踏んで，豪雨，地震，台風の 3 種類の災害に対し， それぞれ 3 つの事例を準備した. 今回は災害ごとに 1,000 ツイートを用意し，合計 9,000 ツイートのデー タセットを構築した。

なお, データの偏りといった観点からアノテーシ ョン対象のツイートはランダムサンプリングによる 選択が望ましい. しかし, 今回は災害に関連したク エリを含むツイートだけでも膨大な数のツイートが 流通しているため，前述の条件で絞り込みを行った。詳細を付録 $\mathrm{A}$ に示す. また，作成したデータセット は再現性や研究コミュニティの活性化の観点から公開されることが望ましい。しかし, 災害ツイートに 含まれる場所参照表現は Twitter ユーザの居住地や 所属組織などプライバシーと密接に関係しているた め，慎重になるべきであると考える。その一例とし て, 救助を求めるツイートに個人の住所が記載され
ているケース[23]を複数確認している。このような 背景から今回はデータセットの公開を見送り, 構築方法のみを示すこととした.

## 5 実験

## 5. 1 実験設定

本研究では場所参照表現の抽出に BERT[24]を採用した. BERT は系列ラベリング問題のベースライ ンとして広く利用されており, 比較的少量の学習で も良好な結果を得られることが知られている。また， BERT のような大量のデータで事前に学習を行う基盤モデルには ALBERT[25]や RoBERTa[26]が存在す るが, Suwaileh ら[15]の研究との整合性を考慮した。前述のような基盤モデルがより高い性能を発揮する ためには，対象のドメインのコーパスから学習する ことが望ましい[27][28]. しかし, 学習に必要なコ ストが高いため, 事前学習済みの BERT モデル  を利用しデータセットで微調整する。

また, 学習の効率化のため, ツイート中の URL やユーザ名は<URL>と<USERNAME>にそれぞれ置換した。学習時のハイパーパラメータはオリジナル の論文[24]を参考に optimizer として AdamW を選択 し, learning rate を $2 \mathrm{e}-5$, batch size を 8 に設定した 上で epochを 5 として学習を行った。

以上の設定に基づき，過去の災害ツイートの利用 を 2 つ観点から検証する。まずは，同じ種類の災害で検証した場合を考える。例えば，令和 3 年 8 月豪雨での利用を考えた場合，それ以前に発生した 2 つの豪雨災害で学習し, 令和 3 年 8 月豪雨のツイー トで検証する。また, 令和 3 年 8 月豪雨のツイート で学習した場合も検証する.この検証の目的は, 発生中の災害で即時に学習データが利用可能な場合を 性能の上限値とみなし, 過去の災害で学習した場合 と比較することである．さらに，災害の種類を変え て検証した場合の影響を検証する。同じく令和 3 年 8 月豪雨の利用を考えた場合, 地震や台風で学習す る場合を考える，比較として，同じ種類の過去の豪雨災害を利用した場合，発生中の災害で即時に学習 データが利用可能な場合場合も併せて検証する．以上の実験にあたり，各災害のアノテーション済みツ イートを Train $(80 \%), \operatorname{Dev}(10 \%)$, Test $(10 \%)$ の 3 つ の用途別に分割する. Train で学習し Test を推論し

た場合の性能を検証し, データの観察が必要な場合 は Devを利用する。

## 5.2 実験結果（同じ種類の災害）

同じ種類の災害で検証した場合の検証結果を付録 $\mathrm{D}$ に示す. 同じ種類の災害で学習した場合（実験 ID $2,3,6,7,10,11$ ) でも, $\mathrm{F}$ 值で最大 6 ポイント以上の差を確認した. Dev で推論した結果の傾向を調查したところ，ピーク時の時間帯が影響を与えてい る可能性があることがわかった。例えば，日中に大雨特別警報が発令された平成 30 年台風 21 号の場合 は, 現地から具体的な災害の状況を確認できる有益 なツイートを多く確認できた。一方で, 令和元年房総台風の場合は, 明け方の午前 3 時に接近し, 午前 5 時に日本へ上陸したため, 災害に言及するツイー トは少ない. 場所参照表現のバリエーションも限定 されており，汎化性能に影響を与えたと考えられる。

以上の結果からデータの偏りを抑えるため, 2 つ の災害時に流通したツイートを混ぜ合わせた設定で も検証した（実験 ID 4, 8, 12）. 学習データの数を 合わせるため, 2 つの災害から半分ずつランダムサ ンプリングし, 学習と開発用のデータセットを構築 した. 実験の結果, 豪雨と台風の場合で性能の向上 を確認できた一方で，地震の場合は大きく性能が低下した，地震の場合は被害が広範囲に発生するため， ツイートに含まれる場所参照表現の粒度が大きい. そのため, 含まれる場所参照表現が特定の都道府県名に偏っており，影響を及ぼしたと考えられる（実験 ID 8）. 一方で, 地震の場合は過去の地震を引き 合いに出して注意喚起や被災報告するようなツイー 卜も多く, 場所参照表現が重複している傾向がある. この性質はプラスの影響を与える場合もあると考え られる（実験 ID 5）。

最後に, 発生中の災害で即時に学習データが利用可能な場合も検討した（実験 ID $1,5,9$ ）. 地震は比較的小さいが, 豪雨と台風の場合, 性能には $\mathrm{F}$ 値で 3 ポイント程度の開きがあることもわかった。

## 5.3 実験結果（異なる種類の災害）

前節の検証結果から，複数の災害データを混合さ せることによって，汎化性能の向上が期待できる。 その一方で，妆害種によって組み合わせには検討の 余地があることを示唆している. 発生中の災害で即時に学習データが利用可能な場合と同等かそれ以上 の性能を獲得するため, さらなる検証を行った. 結果を付録 Eに示す.

5.2 での検証を踏まえ, 災害の種類ごとに過去に 発生した 2 つの災害を半分ずつ混ぜたツイートデー タで学習を行った。付録 Eに示す通り，豪雨に対し 台風で学習した場合は, 地震で学習した場合と比べ ると性能が高い.これは, 台風は豪雨と同じく土砂災害や水害による被害が多く, ツイート内容の傾向 が類似しているからであると考えられる。一方, 台風に対して豪雨と地震で学習した場合を比較すると，地震の方が高い性能を示している。このことから，災害の傾向が似ている場合は性能向上が期待できる といった仮説には慎重になるべきであると考える。加えて, 地震の場合は地震で学習するよりも, 台風 で学習した場合の方が良い性能を示している. 交通 インフラへのダメージなど, 被害については共通す る部分も少なからずあるが，風水害が被害の中心で あり災害の性質が異なる場合でも良好な結果が得ら れたことは興味深い.これは災害の種類が異なるデ 一夕も学習に利用することが可能であることを示唆 している。また，地震は単独での学習が適している など豪雨や台風とは異なる傾向を示しており, 今後 さらなる検証が必要である.

## 5.4 考察

これらの結果から, 過去の災害ツイートと, 発生中の災害ツイートを利用する場合では性能に開きが ある. 性能の向上にはマルチタスク学習や, CRFの 利用が採用されることが多い。ただし, Wikipedia で学習された BERT はツイートの埋め込みに対して 効果が低いといった報告もあり [29], ツイートで学習したモデル[30]への変更は検討の価值がある.

最後に, 先行研究である Suwaileh ら[15]との比較 について述べる。台風と豪雨のような傾向の似た災害同士で学習が効果的であることなど, 定量的な検証結果は概敳一致している。しかし，今回は定性的 な分析まで踏み込んでいない. 性能向上の観点から もエラーの傾向などが一致するかは, 重要かつ興味深い疑問であり, 今後の検討課題である.

## 6 まとめ

本研究では, 災害時に流通したツイートからの場所参照表現抽出における，過去の災害ツイートの利用可能性を災害種の観点から検証した. 今後は大雪 などの災害種の拡張や, 考察での検討事項の他, 定性的な分析を進めることで性能の向上を試みる.

## 謝辞

本研究は，科研費基盤研究(C) 22K12277 の助成を 受けて実施した。

## 参考文献

[1] Saleem, H., Zamal, F., Ruths, D.: Tackling the Challenges of Situational Awareness Extraction in Twitter with an Adaptive Approach. Procedia Engineering. 107, pp. 301-311 (2015).

[2] Meier, P.: Digital Humanitarians: How Big Data Is Changing the Face of Humanitarian Response. (2015).

[3] Uchida, O., Utsu, K.: Utilization of Social Media at the Time of Disaster. IEICE ESS Fundamentals Rev. pp. 13, 301-311 (2020).

[4] Yamada, S., Utsu, K., Uchida, O.: An Analysis of Tweets During the 2018 Osaka North Earthquake in Japan -A Brief Report. In: Proc. 2018 5th International Conference on Information and Communication Technologies for Disaster Management (ICTDM). pp. 1-5 (2018)

[5] Uchida, O., Rokuse, T., Tomita, Kajita, Y., Yamamoto, Y., Toriumi, F., Semaan, B., Robertson, S., Miller, M.: Classification and Mapping of Disaster Relevant Tweets for Providing Useful Information for Victims During Disasters. IIEEJ Trans. Image Electronics and Visual Computing, 3, pp. 224-232 (2015).

[6] Sarioglu Kayi, E., Nan, L., Qu, B., Diab, M., McKeown, K.: Detecting Urgency Status of Crisis Tweets: A Transfer Learning Approach for Low Resource Languages. In: Proc. 28th International Conference on Computational Linguistics. pp. 4693-4703. International Committee on Computational Linguistics, Barcelona, Spain (Online) (2020).

[7] Ray Chowdhury, J., Caragea, C., Caragea, D.: Keyphrase Extraction from Disaster-related Tweets. In: The World Wide Web Conference. pp. 1555-1566. Association for Computing Machinery, New York, NY, USA (2019).

[8] Alharbi, A., Lee, M.: Kawarith: An Arabic Twitter Corpus for Crisis Events. In: Proc. 6th Arabic Natural Language Processing Workshop. pp. 42-52. Association for Computational Linguistics, Kyiv, Ukraine (Virtual) (2021).

[9] Cobo, A., Parra, D., Navón, J.: Identifying Relevant Messages in a Twitter-based Citizen Channel for Natural Disaster Situations. In: Proc. 24th International Conference on World Wide Web. pp. 1189-1194. Association for Computing Machinery, New York, NY, USA (2015).

[10] Ray Chowdhury, J., Caragea, C., Caragea, D.: Cross-Lingual Disaster-related Multi-label Tweet Classification with Manifold Mixup. In: Proc. 58th Annual Meeting of the Association for Computational Linguistics: Student Research Work-shop. pp. 292298. Association for Computational Linguistics, Online (2020)

[11] Martínez-García, A., Badia, T., Barnes, J.: Evaluating Morphological Typology in Zero-shot Cross-lingual Transfer. In: Proc. 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers). pp. 3136-3153. Association for Computational Linguistics, Online (2021).

[12] Cheng, Z., Caverlee, J., Lee, K.: You are Where You Tweet: A Content-based Approach to Geo-locating Twitter Users. In: Proc. 19th ACM international conference on Information and knowledge management. pp. 759-768. Association for Computing Machinery, New York, NY, USA (2010).

[13] Al-Olimat, H., Thirunarayan, K., Shalin, V., Sheth, A.: Location Name Extraction from Targeted Text Streams using Gazetteerbased Statistical Language Models. In: Proc. 27th International Conference on Computational Linguistics. pp. 1986-1997. Association for Computational Linguistics, Santa Fe, New Mexico, USA (2018)

[14] Middleton, S.E., Middleton, L., Modafferi, S.: Real-Time Crisis Mapping of Natural Disasters Using Social Media. IEEE Intelligent Systems. 29, 9-17 (2014).

[15] Suwaileh, R., Imran, M., Elsayed, T., Sajjad, H.: Are We Ready for this Disaster? Towards Location Mention Recognition from
Crisis Tweets. In: Proc. 28th International Conference on Computational Linguistics. pp. 6252-6263. International Committee on Computational Linguistics, Barcelona, Spain (Online) (2020).

[16] Hamoui, B., Mars, M., Almotairi, K.: FloDusTA: Saudi Tweets Dataset for Flood, Dust Storm, and Traffic Accident Events. In: Proc. 2th Language Resources and Evaluation Conference. pp. 1391-1396. European Language Resources Association, Marseille, France (2020).

[17] Waqas, H., Imran, M.: \#CampFireMissing: An Analysis of Tweets About Missing and Found People from California Wildfires. Proc. ISCRAM 2019 (2019).

[18] Rust, P., Pfeiffer, J., Vulić, I., Ruder, S., Gurevych, I.: How Good is Your Tokenizer? On the Monolingual Performance of Multilingual Language Models. In: Proc. 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers). pp. 3118-3135. Association for Computational Linguistics, Online (2021).

[19] Hu, J., Ruder, S., Siddhant, A., Neubig, G., Firat, O., Johnson, M.: XTREME: A Massively Multilingual Multi-task Benchmark for Evaluating Cross-lingual Generalisation. In: Proc. 37th International Conference on Machine Learning. pp. 4411-4421. PMLR (2020).

[20] Yang, J., Liang, S., Zhang, Y.: Design Challenges and Misconceptions in Neural Sequence Labeling. In: Proc. 27th International Conference on Computational Linguistics. pp. 3879-3889. Association for Computational Linguistics, Santa Fe, New Mexico, USA (2018)

[21] Paul, U., Ermakov, A., Nekrasov, M., Adarsh, V., Belding, E.: \#Outage: Detecting Power and Communication Outages from Social Networks. In: Proc. The Web Conference 2020. pp. 18191829. ACM, Taipei Taiwan (2020).

[22] Matsuda, K., Sasaki, A., Okazaki, N., Inui, K.: Annotating Geographical Entities on Microblog Text. In: Proc. 9th Linguistic Annotation Workshop. pp. 85-94. Association for Computational Linguistics, Denver, Colorado, USA (2015).

[23] Utsu, K. Uchida, O.: Analysis of Rescue Request and Damage Report Tweets Posted During 2019 Typhoon Hagibis. IEICE Transactions on Fundamentals, E103-A, pp.1319-1323, (2020).

[24] Devlin, J., Chang, M.-W., Lee, K., Toutanova, K.: BERT: Pretraining of Deep Bidirectional Transformers for Language Understanding. In: Proc. 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers). pp. 4171-4186. Association for Computational Linguistics, Minneapolis, Minnesota (2019).

[25] Lan, Z., Chen, M., Goodman, S., Gimpel, K., Sharma, P., Soricut, R.: ALBERT: A Lite BERT for Self-supervised Learning of Language Representations. Arxiv. (2020).

[26] Liu, Y., Ott, M., Goyal, N., Du, J., Joshi, M., Chen, D., Levy, O., Lewis, M., Zettlemoyer, L., Stoyanov, V.: RoBERTa: A Robustly Optimized BERT Pretraining Approach. ArXiv. (2019).

[27] Chalkidis, I., Fergadiotis, M., Malakasiotis, P., Aletras, N., Androutsopoulos, I.: LEGAL-BERT: The Muppets straight out of Law School. In: Findings of the Association for Computational Linguistics: EMNLP 2020. pp. 2898-2904. Association for Computational Linguistics, Online (2020)

[28] Alsentzer, E., Murphy, J., Boag, W., Weng, W.-H., Jindi, D., Naumann, T., McDermott, M.: Publicly Available Clinical BERT Embeddings. In: Proc. 2nd Clinical Natural Language Processing Workshop. pp. 72-78. Association for Computational Linguistics, Minneapolis, Minnesota, USA (2019).

[29] Wang, L., Gao, C., Wei, J., Ma, W., Liu, R., Vosoughi, S.: An Empirical Survey of Unsupervised Text Representation Methods on Twitter Data. In: Proc. 6th Workshop on Noisy User-generated Text (W-NUT 2020). pp. 209-214. Association for Computational Linguistics, Online (2020).

[30] Nguyen, D.Q., Vu, T., Tuan Nguyen, A.: BERTweet: A Pretrained Language Model for English Tweets. In: Proc. 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations. pp. 9-14. Association for Computational Linguistics, Online (2020).

## A ツイートの収集

## B ッイート収集時のクェリ

地震 $O R$ 大雨 $O R$ 火災 $O R$ 国道 OR 津波 $O R$ 突風 $O R$ 強風 $O R$ 暴風 OR 横転 $O R$ 高潮 $O R$ 高波 $O R($ 運転 (取りやめ $O R$ 取 り止め OR 見合わせ OR 見合せ OR 見あわせ)) OR 運休 OR 通行止 OR 通行不 OR 通行規制 OR 渋滞 OR 避難 OR 救助 OR 通信障害 OR 停電 OR 帰宅困難 OR 帰宅難民 OR 足止め OR 帰れない OR 帰れなくなった OR 地滑り OR 山崩れ OR 土砂崩れ OR 倒木 OR 落石 OR 落木 OR 崖崩れ OR がけ崩れ OR 土砂流入 OR 地崩れ OR 冠水 OR 氾濫 OR 水没 OR 増水 OR 浸水 OR 洪水 OR 断水 OR 倒壊 OR 全壊 OR 被害状況 OR 崩壊 OR 崩落 OR 半壊

## C アノテーションした場所参照表現の例

## D 同じ種類の災害で学習と推論を行った場合の実験結果

## E 異なる種類の災害で学習と推論を行った場合の実験結果


# クラウドソーシングと自然言語処理による安価な UX 評価の実現

小川健太郎 奥川真理子 加藤晃子
ヤフー株式会社
\{keogawa, mokugawa, akkato\}@yahoo-corp. jp

## 概要

自然言語処理の技術革新が加速している一方で,自然言語処理技術のサービス適用には，専門知識を 持った技術者と, 高い処理能力を有する計算機資源 が必要になる.そのため「導入したくても導入でき ない」，「導入しても自分たちで運用できない」と いう企業や組織も多いのが実情である.

我々はこの問題をクラウドソーシングと既存ツー ルのシンプルな組み合わせで解決した.本稿では「AI リテラシの高くない組織が簡便かつ安価に自然言語処理技術を導入し業務効率化を達成」した事例とそ の実現プロセスを紹介する。

## 1 背景

100 以上のサービスをもつヤフーでは，サービス 品質の維持・向上への取り組みが必要となるため,品質評価部門が自社の「Yahoo!クラウドソーシング」 [1]を利用してUX (User Experience) 評価のスキ ームを構築した. 本章では, このUX 評価の概要と,運用上の課題について述べる.

## 1. $1 \mathrm{UX$ 評価とは}

UX 評価は Yahoo!クラウドソーシングで実施する アンケートがベースとなる．実施の流れは，クラウ ドソーシングに UX 評価のアンケートを入稿すると ころから始まる. アンケートはサービスの使い勝手 や，信頼性などを選択肢から選ぶ選択式の設問と， サービスの良い点や改善すべき点を自由にコメント する自由記述式の設問（図 1）の大きく2つある。

図 1 自由記述式の設問
アンケートは評価対象となるサービスを実際に利用しているユーザーにメールで配信される。

アンケート終了後, 品質評価部門において結果を 集計し，考察とともにサービス担当者にフィードバ ックされる。なお，自由記述式の回答については，後述寸る「UXピラミッド」を用いて評価する.

## 1. 2 UX ピラミッドとは

UX ピラミッドは 1940 年に提唱されたアブラハ ム・マズローの欲求階層説を基にアーロン・ウォル ターがヒエラルキーを厳密に反映したユーザーニー ズのヒエラルキーについて説明したものである[2].

図 $2 \mathbf{U X}$ ピラミッドと UX の定義

UX ピラミッドでは, より基本的なニーズ（機能性や使いやすさなど）が満たされた後にのみ，優れ たニーズ（ピラミッドの最上部にある喜びや価値な ど）を達成できるとしている(図 2).

ピラミッドのレベル 1 から 3 は, 目的のタスク を達成するユーザーの能力, レベル 4 から 6 では, サービスを使用する際のユーザーエクスペリエンス に焦点を当ており，一般的にユーザー体験のクオリ ティを測る方法として用いられている.

品質評価部門ではこのレベルをさらに 11 個の項目に細分化し，クラウドソーシングで収集したコメ ントと紐づけて傾向を分析. これにより, サービス の強みと課題を明らかにし, サービス品質向上のた めに役立てられている。

## 1.3 現状の課題

UX 評価の運用において，品質評価部門では大き く以下 2 つ課題を抱えていた.

課題 1 : 人手でコメントを分類するのに多大な 工数が掛かっている

課題 2 ：自動化には自然言語処理に対する専門知識と高スペックな開発環境が必要

「課題 1 」に関しては，現状，品質評価部門が手作業でコメントを分類しているため 1 サービスにつ き 2 日（約 16 時間）の作業工数が掛かっている.

「課題 2 」に関しては, 記載の通り, 品質評価部門に専門知識を有する技術者はおらず，分類を自動化するツールの開発は困難な状況であった。

そこで, 品質評価部門は, ヤフー社内でデータサ イエンスの導入支援を担う我々のチームと連携し，解決策を検討していくことになった.

解決策の策定にあたり, あらかじめ両者で以下の 要件を満たすことを条件とした。

要件 1 : 現状より分類に掛かる工数が減ること

要件 2 : 素人でも機械学習モデルの利用がしや すいライトな枠組みであること

## 2 提案手法

まず，我々が着目したのは，これまでのUX 評価 の運用で既に「手作業で分類したデータ」が蓄積さ れていたこと. 我々はこれを学習データとしてコメ ント分類モデルの構築を試みた。

## 2.1 学習データの特徴

クラウドソーシングで得られるコメントは「端的 なコメントが多い」といった特徴があげられる.

例えば，Yahoo!ニュースの場合は以下のようなコ メントが寄せられることが多い.

例）・見出しがわかりやすい

・ニュースの更新頻度が高くて良い

・ユーザーが投稿するコメントが楽しい

図 3 は各アプリマーケットとクラウドソーシング に投稿された Yahoo!ニュースアプリに対するレビ ユーコメントの中から直近の投稿 200 件を抽出し文字数の分布を可視化した結果である. コメントの平均文字数は App Store(Apple)は 54 文字, Google Play は 47 文字であるのに対し，クラウドソーシングは 20 文字と全体的に少ない傾向であった. なお, 集計 するうえで「不真面目な回答」[3] は除外している.

図 3 レビューの文字数（Yahoo!ニュース）

## 2.2 fastText $の$ 利用

コメント分類モデル構築においては，「ライトな 枠組み」という要件を鑑み，主に導入容易性の観点 から自然言語処理ライブラリ「fastText」[4]を使用し た.

## 2.3 コメント分類の流れ

今回は図 4 で示す 5 つのプロセスでコメント分類 モデルを構築した。以下，順を追って説明する。

図 4 コメント分類モデルの構築の流れ

## (1) 手作業でのコメント分類

前述の通り，既に「手作業で分類したデータ」が 手元にある状態であったが，内容を見るとかなり不均衡なデータであった（図 5). 特に「08. 継続利用」 や「11.ないと困る」に分類されるコメントが少なか った。これらを補うため, 品質評価部門とともに新 たなコメントを作成し, 学習データに追加した. 最終的に 5, 426 件の「手作業で分類したデータ」が準備できた。

図 5 コメント分類ごとの分布

## (2) 学習データの形式に置換

「手作業で分類したデータ」を fastText の学習デ 一夕の形式に置換する。具体的には項目名を先頭に 配置し「_label_」というプレフィックスを付与寸 るのみであるため, 専門知識を持たない品質評価部門も容易に学習データを作成することができた。

## (3) 素性抽出

形態素解析エンジン「 $\mathrm{MeCab} 」[5]$ を利用して, コ メントから素性を抽出. 当初「動詞」「形容詞」「名詞」の 3 品詞の形態素のみを対象としていたが, 「使 いやすい」で「使い」のみが，「○○できない」で 「○○」と「でき」のみが抽出されてしまうなど, ユーザーの感じ方が得られにくい状況となっていた。解決策として「接尾辞」も対象とし, 「使いやす い」「○○ できない」といったニュアンスを抜 き出せるよう工夫した.

## (4) モデリングと評価

上述の通り，自然言語処理ライブラリ「fastText」 と手作業で分類した 5,426 件のデータを用いてコメ ント分類モデルを作成. データのうち 8 割 $(4,340$件）を学習に，2 割（1,086 件）を評価に利用した。今回はクロスバリデーションを実施せず，不均衡な 学習データと同等の構成比率となる評価データを用意し, できるだけ全項目の分類を過不足なく精度評価できるよう考慮した。

図 6 Confusion matrix と各種指標値

モデルの評価には Confusion_matrix を用いて, 俯瞰的に分類項目ごとの精度を把握したうえで， accuracy や precision, recall といった機械学習モデル の一般的な評価指標値を確認した（図 6）.

Confusion matrix の縦と横の軸に付与された数字 は項目番号を示し，「1」であれば「01.目的達成」 というように対応付けている。「縦 0 : 横 0 」,

「縦 1 : 横 1」というように，対角線上の数字が大 きな值になる傾向であり，つまりは全体として概ね 分類に成功している事がうかがえる.

また，指標値を見ると，項目ごとに分類の得意不得意はあるものの, 全体的な accuracy, precision， recall の值はいずれも 0.7 程度と, ランダムに分類分けした場合の正解率 $1 / 12=0.08$ と照らせば，まず まずの分類精度を示しているといえる。

次に, 文書ベクトルを T-SNE で次元削減し散布図としてプロット。機械学習モデルが各項目を切り 分けやすい状況かを可視化した（図 7）.

図 $7 \mathrm{t}$-SNE での可視化

図 7 より, どの項目にも該当しない「除外」を含 めた全 12 項目が概ね分離できていることから，ク ラウドソーシングで得られたテキスト群は, 機械学習モデルが分類しやすい傾向にあると考えられる。

## (5) 本番データへの適用

今回のモデルは分類精度が 7 割程度であったこと から, 改めて関係者間で「分類モデルの出力は完璧 ではなく，あくまで予測値である」ことを共有. 予測が外れているものは担当者が手作業で修正すると いうハイブリットな運用となるが，分類モデルのア ウトプットに分類結果とあわせて予測確率を出力す

ることで, どの分類が誤っている可能性が高く, 重点的に目視でチェックしなければならないか，担当者が示唆を得られるように工夫した。

図 8 分類結果のアウトプット形式

## 4 効果

構築した分類モデルの評価は良好であったため, それを UX 評価の運用へ導入. 品質評価部門の担当者の手作業による運用と，分類モデルを用いた運用 を並走させ，導入効果を検証することとした。

効果検証は主に以下 2 つの観点で行われた。

検証 1 : 担当者の分類と本モデルの分類がどれ だけ一致しているか

検証 2 : 本モデルを導入することでどれだけ作業工数を減らせるか

## 4.1 効果検証結果

効果検証の結果は表 1 の示す通りとなった.

表 1 モデル導入の効果検証結果

$\left.\begin{array}{|c|c|}\hline \multicolumn{1}{|c|}{\text { 評価指標 }} & \text { 評価値 } \\ \hline \text { 担当者の分類と本モデルの分類の一致率 } & \mathbf{7 1 \%} \text { 一致 } \\ \text { (1,220 件の本番データを使い一致率を算出) }\end{array}\right)$

分類精度, 削減工数ともに良好であり, さらに定性評価では担当者より長所として以下の点が挙げら れた。

モデルを品質評価部門が自ら運用できそう

「予測確率」を使うと分類の補正が捗る

「人手で補正したデータ」を使ってモデルを 再学習することで精度向上も見込める なお,一致率 $71 \%$ の内訳は「付録 $\mathrm{A}$ にに掲載する。

## 4.2 費用対効果

今回のコメント分類モデルの開発に掛かった工数 は約 20 時間である. 分類モデルを通じて 1 回あた りの作業工数を 11 時間削減できた事から, 単純計算で本モデルを 2 回稼働させれば，開発工数はペイ できることになるため，コストパフォーマンスの観点で見ても優れた施策であると言える.

一方で，機械学習モデルを導入せずともクラウド
ソーシングを使って分類した方が低コストかつ高精度に分類できるのではないかという疑問がわく。

そこで我々は，機械学習モデルで分類したコメン トとまったく同じコメントをクラウドソーシングで ワーカーに分類を依頼することとした（図9）。

コメント 1 件につき優良なワーカー 10 人に分類 させ，多数決で正解を 1 つに決定する方針とした.

## 下記はコメントの分類表と「Yahoo!ニュース」の良い点に関するコメントです。

コメントを読んで、分類表のどの項目に一番当てはまるかを判定してくださり

 &  \\

コメント |タイムリーなニュースを見る事が出来る

図 9 クラウドソーシングのコメント分類タスク 結論から述べると，担当者の分類とクラウドソ ーシングの分類の一致率は $56 \%$ と, 機械学習モ デルの分類よりも劣る結果となった（表 2）.

表 2 担当者の分類との一致率

そもそも，この分類作業は UX の知見を有する担当者でも正確な分類は難しく, 今回のクラウドソー シングの作業結果を見ても，ワーカーの分類が分散 し多数決が成立しないケースが散見された。

このような専門的な観点でのコメント分類はエキ スパートの作業を機械学習モデルに学習させるアプ ローチをとった方が効果を得られやすいと言える。

## 5 おわりに

fastText は「学習が速い・精度が良い・導入がし やすい」といった特長があるが，今回の取り組みを 通じて「関係者との意思疎通も高速化できる」とい う特長があると実感した。関係者への説明がしやす いことから，学習データ作成を分担する等の協力体制も築きやすく，推論や再学習方法の引継ぎも比較的容易であった. fastText は高精度な自然言語処理 を安価かつスピーディーに業務に導入したいという ケースに適した手段であると言えよう。

## 参考文献

1. Yahoo!クラウドソーシング.

https://crowdsourcing.yahoo.co.jp/

2. Aarron Walter. Designing for Emotion. 2011.

3. 山﨑 郁未, 伊藤 理紗, 中村 聡史, 小松 孝徳. Webアンケートにおける不真面目回答予防シス テム実現に向けた自由記述配置の基礎検討, 情報処理学会 研究報告ヒューマンコンピュータ インタラクション（HCI）, Vol.2021-HCI-195, No.34, pp.1-8, 2021.

4. fastText. https://fastText.cc/

5. MeCab. Yet Another Part-of-Speech and Morphological Analyzer.

https://taku910.github.io/mecab/

## 付録 $\mathrm{A$. 効果検証の一致率の内訳}

本文「4.1 効果検証結果」で述べた「担当者の分類と本モデルの分類の一致率 : $71 \% 」 の$ 内訳は以下「表 3」の通りであった。全体的に「図 6」と同じ 傾向であり，本番データにおいてもモデル開発時と 同等の分類精度であった。

表 3 担当者の分類と本モデルの分類の一致率

 &  &  &  \\

## 付録 B. 安価な施策

## 付録 B. 1 Yahoo!クララウドソーシング

クラウドソーシングとは「crowd=群衆」と 「sourcing=委託」からなる造語であり，インターネ ットを通じて企業が不特定多数の人々に仕事を依頼 できるプラットフォームの事を言う.

Yahoo!クラウドソーシングはアンケートや簡易な アノテーションなど誰でも実施可能な「マイクロタ スク」に特化したサービスとなっており，ユーザー はタスクを実施することで, PayPay ポイントが獲得 できる（図 10）.

図 12 Yahoo!クララウドソーシングの概要

1 サンプル当たりの費用は 10 円ほどであり，例え ば 1,000 人に対してアンケートを実施した際に掛か る費用は 1 万円となり「安価なリサーチツール」と 言えるだろう。

## 付録 B. 2 機械学習モデルの開発環境

$
\text { ヤフーには「AI プラットフォーム」と呼ばれる } \mathrm{AI} ・
$
機械学習の開発環境がある。これは, Google Cloud Platform の AI Platform Notebooks のような， マネー ジド型の JupyterLab 環境であり，ヤフーの社員であ れば誰でも簡単にブラウザから python のコーディ ングと実行が行える。一般的に, AI や機械学習モデ ルの開発には, サーバーのリソース管理,環境構築, サーバメンテナンス, データアクセスのための準備等に時間と手間がかかるが, AI プラットフォームは 利用者がこれらを意識することなく, 本来注力する べき AI や機械学習モデルの精度向上やサービス改善業務に注力できる.

GPU の利用も可能であるが，今回は GPU を利用 せずに fastText の学習を完了. 学習は 1 分足らずで 完了したことからも「安価な開発環境」で開発でき たソリューションであると言えるだろう。


# BERT を用いた孤独体験テキストからの孤独感推定

岩井律子 ${ }^{1}$ 熊田孝恒 ${ }^{1,2}$
${ }^{1}$ 理化学研究所ガーディアンロボットプロジェクト ${ }^{2}$ 京都大学大学院情報学研究科
ritsuko.iwai@riken.jp kumada. takatsune.7w@kyoto-u. ac.jp

## 概要

本研究では，記憶された過去の体験等を想起し，記述したテキストには，書き手の孤独感が反映され ると考え, BERT を用いてテキストから書き手の自己評価孤独感が推定できるか検討する. ウェブ調查 を実施し, 2,947 名分(女性 $=1,507$ 名, $M_{\text {age }}=50.3$, $S D=16.1,20$ 歳 78 歳)の寂しさや孤独についての記述（孤独体験テキスト）を収集し，同時に書き手自身の自己評価孤独感を収集した。また, 孤独体験テ キストについて, クラウドソーシングを通じて読み 手が評価した他者評価孤独感も収集した. それぞれ のデータ（孤独体験テキスト・自己評価孤独感・他者評価孤独感）についての解析や BERT の正解率,分類結果に基づく孤独感スコアについて報告する.

## 1 はじめに

孤独感は心理学研究において古くから重要なテー マの一つである. 孤独感とは, 孤立等によって社会的つながりに関する期待と現実の間に質的，または 量的に乘離が認知され, またその認知された乘離に 満足できないことにより生じるネガティブな情動と 定義される(Cacioppo \& Patrick, 2008). 従って, 友人 が多い（量的に満足している）が質的にはもつと満 たされるべきだと認識し, それが満たされないこと に孤独を感じる人もいるが，一方，友人は少ないが 本人はその量と質に満足しており，孤独を感じない 人もいる.このように孤独感は, 同じような状況で も, その個人が有する心理特性によって, その感じ る程度は異なる。 心理特性は, 個人の中では比較的一貫しており,さまざまな行動や認知に反映される。心理学では, 自らの過去の体験を想起し, 記述す る過程で個人の心理特性が反映されるという理論が 提案されている.この理論では, 記憶された過去の 体験等を想起し記述したテキストには，書き手の心理特性が反映されると考える．このことを検証する ために，本研究では，孤独感を取り上げ，書き手の孤独体験に関わる記述から，書き手の自己評価孤独感が推定可能か検証する，具体的には，自らの孤独体験を記述したテキストから，BERT (Bidirectional Encoder Representations from Transformers; Delvin et al.,2019)を用いて孤独感が推定できるかを検証する。 また, 同じテキストに対して他者が評価した孤独感 の BERT による推定も行う．BERT が，他者が評価 するのと同じような文脈を学習しているのであれば，他者評価についても推定可能であると考えられる. そこで，孤独体験テキストと書き手の自己評価孤独感と，そのテキストを読んだ他者（クラウドワーカ 一）による他者評価孤独感を収集し，検討を行う．

## 2 関連研究

孤独感に関わる自然言語処理に関連した先行研究 は, 英語によるものではいくつか存在する. Guntuku et al. (2019)は, alone または loneliness の語を含むツ イートを収集してその出現頻度によって群分けを行 い，言語的特徴などの比較を行った。また， Kiritchenko et al. (2020)は, 1 人でいることのポジテ イブな側面(solitude)とネガティブな側面(loneliness) とにツイートを区別し，言語に表れるその特徴の違 いについて検討した. Andy et al. (2022)は, 年齢群・性別群ごとにツイートを分析し, 自己評価孤独感に 基づいて群分けされた高孤独感群の特徴を検討した。 Liu et al. (2022)は, Facebookへの投稿について類似 の分析を行った。これらはいずれも, Twitter・ Facebook などのソーシャルネットワークサービス の言語データを使用したものである.これらはに必 ずしも自己評価孤独感が付与されておらず, 他者評価孤独感はいずれにも付与されていない。

孤独感に関わる自然言語処理に関する日本語の研究としては, Nakai et al. (2022)の食事体験に関する研究が唯一である. Nakai et al. は, クラウドソーシン グを通じて食事体験に関するテキストと同時に自己評価孤独感スコアを収集し, 解析した。一方, 他者評価については, テストデータの BERT の自己評価
分類結果と比較するために, テストデータのみに対 して書き手の孤独感評価を行っているが，他者評価 に関する実験は行なっていない。

同じテキストに対して, 自己評価と他者評価を付与して解析する試みは宮内ら(2022)が行っている. クラウドソーシングを通じて募集した注釈者が，自身の過去の投稿に対して感情とその強度, また感情極性を付与している. 加えて, 別途募集した注釈者 が同様の評価を行った. しかし, 孤独感に関する自己評価と他者評価と比較した研究は英語にも日本語 にも存在しない。

## 3 孤独体験テキストと評価の収集

## 3.1 孤独体験テキストと自己評価の収集

2020 年 3 月に 2,947 名(女性 $=1,507$ 名, Mage $=50.3$, $S D=16.1,20$ 歳 78 歳)に対してウェブ調查 (クロス マーケティング社）を実施し，孤独体験に関するテ キストと自己評価孤独感を収集した。

孤独体験テキスト 以下のような教示をもとに，自らの孤独体験に関する自由記述を求めた。 『女な たが，この３ヶ月で「さみしさ」や「孤独」を最近感じたのはどんな状況ですか. いつ, 誰と, または 一人で, 何をしているとき, どんなきっかけで感じ ましたか. また，そのときの心の状態はどうでした か. できるだけ詳しく具体的にその時の状況や気持 ち，心情などを記述してください.』

自己評価孤独感 日頃の孤独感について日本語版 UCLA 孤独感尺度（第 3 版）(外田ら, 2012)の 20 項目について，「まれに，あるいは，なかった(1 日未満)」「いくらか (1 2 日)」「たまに, あるいは, ある程度の時間(3 4 日)」「ほとんど, あるいは, 全 ての時間(5 7 日)」の 4 件法で回答した.

収集した孤独体験テキストの例として，「いつも さみしさがまとわりついて仕方がない。」「1 人で 部屋にいて面白くもないテレビを見ているとき。」

「離れて住んでいる母の自律神経がおかしくなり，何を言っても話が通じなくなった時. 姉が面倒をみ てくれていたが，姉の体調も心配だったし，なぜこ ういうことになるのかという憤りもあった. 」など がある，なお，「過去 3 か月で孤独感を実感したこ とはない.」という孤独体験を否定する回答や, 「特 にないけど・・・強いて言えば仕事が早く終わつ
^{i}$ https://github.com/ku-nlp/jumanpp
}

ちやって一人で帰る時くらい。」という否定しなが らも何かしらの体験が追記されている回答など，孤独体験であるかの判別が難しいものも含まれている.本研究の目的は記憶から想起され記述されたテキス 卜に本人の孤独感が反映されるかを検証することで あり, 孤独体験の内容に限定するものではない. そ のため，記述内容によってデータを排除することは 行わなかった。

## 3.2 他者評価の収集

クラウドソーシング（Yahoo!クラウドソーシング 社）を実施し， ウェブ調查で収集した各孤独体験テ キストについて, クラウドワーカーが書き手の孤独感の評価を行った $(N=1,075) .1$ タスクは, 14 名分の 孤独体験テキスト（一部のテキストは重複）から成 り，1タスクあたり 5 名のクラウドワーカーが 4 件法で評価を行った. クラウドワーカーが孤独体験テ キストを評価する際に提示された教示は以下のもの である. 『以下の「孤独やさみしさを感じた経験」 についての文章を記述している人が, どの程度普段孤独感を感じているのか推定して, 4 つの選択肢（高 い・どちらかといえば高い・どちらかといえば低い。低い)から最も適切だと思うものを選んでください.』

他者評価孤独感収集したクラウドワーカーの 回答をテキストごとに合計し, 他者評価孤独感スコ アとした.

## 4 孤独体験テキストの分析

## 4. 1 孤独感評価の分析

自己評価孤独感と他者評価孤独感のピアソンの積率相関係数を計算したところ, $r=.23(\mathrm{p}<.001)$ であっ た。高い相関であるとは言い難いが，テキストから その書き手の自己評価孤独感をある程度は推定でき ると言える。この結果は，書き手に対する情報が各 テキストのみに限定されていることを鑑みると，か なり高いと考えられる。

## 4.2 孤独体験テキストの記述統計

孤独体験テキストを形態素解析器 JUMAN++i及 び構文・格解析器 KNPiiを用いて分析した（表 1).

ii https://github.com/ku-nlp/knp/
表 1 孤独体験テキストの記述統計

## 4. 3 孤独体験テキストの特徴

孤独体験テキストの単語頻度の特徴を検証すべく,自己評価孤独感スコアの平均值に基づき高孤独感群・低孤独感群に群分けし, 単語出現頻度の差分を 計算し, 図示した (図 $1 \cdot 2$ ).

高孤独感群では, 日本語では省略されやすい「自分」「私」などの自己に関する表現が多く, 低孤独感群では，「子供」「友達」「夫」「仲間」など人間関係を示す表現が多い, 加えて, 「孤独だ」や「孤独感」は高孤独感群でより用いられており, 「寂し い」は低孤独感群でより用いられていた。このこと から，高群と低群の間で記述に用いられる単語に違 いがあることが確認できた。

図 1 高孤独感群のワードクラウド

図 2 低孤独感群のワードクラウド

## 5 孤独感分類の実験

孤独体験テキストを用いて，BERTにより自己評価孤独感，他者評価孤独感それぞれの高低の 2 值分類を推定する評価実験を行う。

## 5. 1 ラベル付与

自己評価孤独感，他者評価孤独感ともに，中央値以上を高，未満を低とラベル付けした（自己評価孤独感：中央値 48 ,他者評価孤独感：中央値 14)

## 5.2 実験設定

孤独体験テキストは，2,356 名分の訓練用デー タ，295 名分の検証用データ，296 名分のテストデ 一夕に重複なしで分割して実験を行い，正解率によ って比較を行う，表 2 に，各データの自己評価孤独感・他者評価孤独感の高低ラベルの分布を示す.

表 2 データ分割の内訳

} & 高 & 1,148 & 144 & 144 & 1,436 \\

本実験では，Wikipediaを用いて事前訓練された 日本語 BERTiiiを本タスク用にファインチューニン グする．BERTの実装には，Transformersivを使用す る. 最終 4 層の隠れ層からそれぞれ[CLS]トークン のベクトルを結合し，全結合層を最終層に追加して クラス分類を行う. 損失関数には負の対数尤度損失 を使用し, 事前学習済みの箇所における学習率は 5e-5, 最後の全結合層における学習率は 1e-4 とし た. 最適化は Adam として 20 エポックの earlydropping を適用する。

## 5.3 実験結果と考察

## 5.3. 1 正解率と混同行列

実験の正解率は自己評価孤独感が.56, 他者評価孤独感が. 72 であり, 他者評価孤独感のモデルの方 が性能が高かった。

iv https://github.com/huggingface/transformers

図 3 自己評価推定実験結果の混同行列

図 4 他者評価推定実験結果の混同行列

正規化した混同行列（図 3-4）によると, 低群内の推定については, 自己評価孤独感, 他者評価孤独感の分類結果はそれぞれ.70，.82といずれも高い 性能を示した。一方, 高群の推定については, 自己評価孤独感の分類結果は. 41 , 他者評価孤独感の正解率は. 59 と反転していた。つまり, 両方のモデル 共に, 低群の孤独感はある程度の精度で推定できる ものの，高群の孤独感を推定するのが困難であつ た. 自己評価孤独感が高い書き手を高いと判断する のと，低い書き手を低いと判断するのは異なる特徴 が用いられていることを示唆する. 特に, 孤独感の 高い書き手を推定することを可能とする特徴を見つ けるのは, BERTにも, 人間の評価者にも難しい課題であると考えられる。

## 5.3.2 分類結果と孤独感スコアの比較

モデルの分類と, 実際の評価スコアがどの程度反映されているのか検討を行った。

まず, 各分類結果に基づく群ごとの自己評価孤独感のスコアを比較した（図 5）．自己評価に基づく 高群・低群の自己評価孤独感スコアの平均は, 当然 のことながら明確に異なる。一方で, 他者評価群分 けに基づく平均値を比較したところ, 高群の自己評価スコアの平均がやや高かった. しかし, 自己評価推定に基づく分類の場合は低群の平均値スコアの方 が高い結果であった.

次に，各分類結果に基づく群ごとの他者評価孤独感のスコアを比較した（図6）. 他者評価に基づ く高群・低群の他者評価孤独感スコアの平均は,

図 5 分類結果と自己評価スコア

図 6 分類結果と他者評価スコア

当然のことながら明確に異なる。また，他者評価群分けに基づく平均值を比較したところ, 高群の他者評価スコアの平均が高かった。これらの結果は， BERT が孤独感を推定するのに十分な言語的な特徴 を学習できていない可能性を示す.

## 6 おわりに

本研究では，記憶された過去の体験等を想起し，記述する際に書かれたテキストに，書き手の孤独感 が反映されているのであれば，BERT による自己評価孤独感が推定可能だと考え検討を行った. 自己評価モデルの正解率と分類結果に基づく自己評価孤独感スコアの比較を詳細に検討したところ, 自己評価孤独感の推定は依然として困難であった。一方で,他者評価については, 正解率と分類結果に基づく他者評価孤独感スコアの結果ともに精度がよいことが 示された. また, 本研究では, 日本語で自己評価・他者評価孤独感の両方を検討できる初めてデータセ ットを収集した. 今後は, 心理学的な観点からの詳細な分析を進める予定である. 本研究は, 心理学的 な問題に BERT を利用した初めての研究である. 今後, 心理学分野への自然言語処理手法の適用が拡大 していくことが期待される.

## 参考文献

Andy, A., Sherman, G., \& Guntuku, S. C. (2022).

Understanding the expression of loneliness on Twitter across age groups and genders. PLOS ONE

17(9): e0273636.

doi:10.1371/journal.pone. 0273636

Cacioppo, J. T., \& Patrick, W. (2008). Loneliness:

Human Nature and the Need for Social Connection. W W Norton \& Co.

Devlin, J., Chang, M., Lee, K. et al. (2019). BERT: Pretraining of deep bidirectional transformers for language understanding. In the Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1, pp. 4171-4186. doi: 10.18653/v1/N19-1423

Guntuku SC, Schneider R, Pelullo A, et al. (2019). Studying expressions of loneliness in individuals using twitter: an observational study. BMJ Open, 9:e030355. doi: 10.1136/bmjopen-2019-030355

Kiritchenko, S., Hipson, W., Coplan, R. et al. (2020). SOLO: A Corpus of Tweets for Examining the State of Being Alone. In the Proceedings of the Twelfth Language Resources and Evaluation Conference, pp. 1567-1577.

Liu, T., Ungar, L.H., Curtis, B. et al. (2022). Head versus heart: social media reveals differential language of loneliness from depression. Npj Mental Health Research, 1, 16. doi: 10.1038/s44184-022-00014-7

多田ゆづり・田高悦子・臺 桂. (2012). 高齢者におけ る日本語版 UCLA 孤独感尺度(第 3 版)の開発と その信頼性・妥当性の検討. 日本地域看護学会誌, 15(1), 25-32.

宮内裕人・鈴木陽也・秋山和輝他. (2022). 主観と客観の感情極性分類のための日本語データセッ 卜. 言語処理学会第 28 回年次大会発表論文集, pp. 1495-1499.

Nakai, K., Iwai, R., \& Kumada, T. (2022). An examination of eating experiences in relation to psychological states, loneliness, and depression using BERT. In the Proceedings of the $36^{\text {th }}$ Annual Conference of the Japanese Society for Artificial Intelligence, 1S1-IS-3-05.


# 新たな価値観ラベルの発見に対する支援方法の検討

福田悟志 ${ }^{1}$ 石田栄美 ${ }^{2}$
${ }^{1}$ 中央大学理 工学部 ${ }^{2}$ 九州大学 データ駆動イノベーション推進本部
fukuda. satoshi.3238@kc. chuo-u. ac. jp ishita. emi.982@m. kyushu-u. ac. jp

## 概要

先行研究では，東日本大震災による原子力発電所 の事故を取り上げている新聞社説の一文ずつに，事前に定義した価值観ラベルの付与を行った. 本研究 では，ある特定のトピックに対する人々の価値観は 時間の経過とともに変容していくと仮定し，新たな 価値観ラベルの発見を支援するための方法を検討し た. 具体的には, 先行研究で構築したデータセット を用いて分類器を構築し，ラベル付けされていない 文集合に価値観ラベルを付与した。いずれのラベル も付与されなかった文集合に対して，Bertopic を用 いてトピック分析を行った. そして, 先行研究でラ ベル付け対象とした年以降の社説集合に対して上記 のアプローチを適用し, 獲得した分析結果が，新た な価値観ラベルの発見に有効かどうか検討した.

## 1 はじめに

特定の事象や政策に対する意見文に表孔ている 人々の価値観を明らかにすることで，個々人が何を 重要と考えているのか, または何を受容しているの か等を分析することができる。これらは, 世論の理解や政策決定に役立てることができる。本研究では これまでに, 東日本大震災による原子力発電所の事故に起因する議論を扱っている新聞社の社説を対象 に，人々の価値観に関する内容分析を行ってきた [1][2]. 2011年 3 月 11 日に発生した東日本大震災は,福島第一原子力発電所を損傷させ, 現代における最 も重大な原子力災害の一つとなった. 震災後, 原子力発電所の事故対応，政府や企業の対応，住民の対応, 原子力発電所の再稼働や廃炉, 原子力発電所の 検査などについて，様々な議論が行われてきた。 そ して, 議論の過程で明らかになったことや時代背景 の変遷に伴って, 原子力発電に対する人々の価値観 も変容していくと考えられる. そのため, ある時点 において普遍的なものとして価値観を定義しても，時間が経過するにつれて新たな分析対象となる価値観が生まれている可能性が有る. 本研究では, この ような新たな価値観ラベルの発見を支援するための アプローチを提案し, 先行研究で構築した価値観デ ータを用いた実験により，その有用性を調查する。

## 2 価值観ラベルデータセットの構築

先行研究では, まず, 2011 年から 2016 年の毎日新聞の CD-ROM[3]に収録されている社説記事から 「原発 OR 原子力」というクエリで検索を行い，2 人のコーダーにより，原子力発電を中心とした議論 かどうかの判定を行った[1]. クエリ検索で得た 750 件のうち, 411 件が正例, 339 件が負例と判定され た. その後, 正例の社説からランダムに 190 件を選択し, 2 人のコーダーにより, 社説の各文に対して,価値観を持つ文か，事実文かを判定した。さらに，価値観を持つ文の場合は，以下の価値観ラベルの中 からラベルを付与した[2].

Consequence 将来の展望 (成果, 目的, 目標など) やマクロ・長期的な視点など，結果に基づく判断や 評価に基づく価値観.

Intention 印象, 態度, 共感, 誠意など感情や気持ち に関する価値観.

Social Order ルール, 規範, 常識, 期待, 社会的責任など社会構造に関する価値観，政府や国家が関与 する制度，法律，政治的判断.

Safety 安全・安心の価伹観, 危険 - 怪我・脅威・恐怖から解放された状態，事故や危険を防止するため の対策.

Wealth 事業活動を含む金銭, 物質的所有物, 資源,利益など，あらゆる経済的目標を追求することに対 する価値観.

Human Welfare 人類に共通する利益や社会全体に 関わる利益を実現するための価値観，公共に対する 明確な利益.

上記は，人の価値観は「人々が人生において何を 重要視しているかという指針」という定義[4]に基づ き，危機的な状況下で人々が重視すると考えられる

4 つの広範な要素に基づいて, 8 つの人間の価値を 定義することから始めた. まず，「結果」と「感情・気持ち・誠実さ」のどちらを重視するかという「責任」に関わる問題である. 2 つ目は「秩序」である. 3つ目は「安全」と「豊かさ」のどちらを重視するか という「利益」，4つ目は「福祉」である。これらの 価値観ラベルを持っている文を正例とした場合に，価値観文データセットにおける文の数を表 1 に示す.

## 3 新たな価值観ラベルの発見支援

特定のトピックに対する新たな価値観は，時間の 経過とともに生まれてくると仮定した。本研究にお いては，先行研究で価値観ラベルの付与を行ってい ない 2017 年以降の社説内に，新たな価値観ラベル が潜んでいる可能性が有ると想定した。一方で, こ れらの社説においても， 2 節で述べた価值観ラベル を持つ文も多く含まれているといえる。また，新し い価値観ラベルを持つと考えられる文集合が数多く ある場合，それらを一文ずつ確認していくことはコ ストがかかる。これに対して, 特定の指標に基づい た文間の関係性に基づいてグループ化された結果を 提示することは，その集合に新たな価値観ラベルが 存在する可能性もあり, 新たなラベルの発見のため の作業の支援につながると考えられる。

本研究では, 新たな価値観ラベルを効率的に発見 するためのアプローチとして, 2 節で述べた価値観文データセットを用いて, 新しい価値観ラベルを持 つ可能性の有る文の自動的な抽出, および抽出した 文集合に対する自動的なグループ化を行う. 以下で 詳細を述べる.

## 3.1 分析手順

分析手順は，以下のようになる。1) 価値観ラベル の付与が行われていない社説に対して， 2 節で述べ たクエリを用いて, 原発・原子力発電に関する記事 を収集する. 2) 2 節で述べた 750 件のラベル付き記事集合を用いて構築した分類器により, 原子力発電 を中心に議論が展開されている記事かどうかを判定 する.3）表 1 で示した価値観文データセットを用い て構築したラベルごとの分類器を用いて, 正例と判定された社説の各文に対して, 各価値観ラベルを持 っているかどうかの判定を行う.4) いずれのラベル も持たないと判定された文集合に対してトピック分表 1 価値観文データセット

析を行い，その分析結果を出力する。

## 3.2 分類モデル

3.1 節の 2)と 3)で用いた分類器の構築について述 べる. 分類モデルには, fasttext[5]を用いた. エポッ ク数は 100 とし, 形態素解析には MeCabを用いた. 4)で用いるデータは, 分類器が付与したデータを用 いるため, ここで, 10 分割交差検定による各分類器 の基本的な性能を表 2 に示す. なお，各価値観ラベ ルの判定では, 2 值分類による判定のため, 1 つの文 に対して複数の価値観に分類される場合がある.

## 3.3 トピック分析

3.1 節で述べた 4)のトピック分析には Bertopic[6] ${ }^{1}$ を用い，クラスタリングモデルには HDBSCAN[7]を 用いた。なお，外れ値として割り当てられた文は，分析から除外した。 また, c-tfidf により，各トピッ クを表す上位 10 件の名詞または名詞句を抽出した。

## 4 実験

## 4. 1 実験方法

3 節で述べたアプローチの有用性を調查するため に， 2 種類の実験を行った. まず，表 1 の各価値観文データセットにおいて， 1 種の価值観ラベルのみ が付与された文集合を用いて，各ラベルがどのよう に分類されるのかを分析し, その分類傾向と新しい ラベルの発見にどのように影響するのかを調査した。実験に用いた文は合計で 1,659 文であり， Consequence, Intention, Social Order, Safety, Wealth, Human Welfare が付与された文の数はそれぞれ 260 文, 57 文, 936 文, 274 文, 78 文, 54 文であった.
^{1}$ https://maartengr.github.io/BERTopic/api/bertopic.html
}
表 2 分類性能

次に, 2017 年から 2020 年における毎日新聞の社説記事[8]老対象に, 実際に 3.3 節で述べた手順に従 って, いずれの価値観ラベルにも分類されなかった 文集合のトピック分析を行い，その結果を調べた。分類対象となった社説記事の数は 143 件であり, 表 2 で示した社説記事の分類器により, 74 件が正解と 判定された. また, それらの社説における 1,937 文 に対して分類を行い，203 文がいずれの価値観ラべ ルにも分類されなかった.

## 4. 2 実験結果

まず，価値観ラベルが付与された 1,659 件の文集合に対するトピック分析の結果を調べた. Bertopic によるトピック分類では, 30 種類のトピックが生成 された. 各トピックの分布を 2 次元平面上にマッピ ングすると, 図 1 のように, 5 種類の領域に分類さ れていることが分かる 2 . そこで, 30 種類のトピック を図 1 に従って 5 種類のカテゴリに統合した. 各力 テゴリに属するトピック, c-tfidf による各カテゴリ を表す名詞または名詞句，各価値観ラベルを持つ文数を表 3 に示す。

表 3 において，カテゴリ 1 では，原発における日本のエネルギー政策に関する話題が中心となってお り, 最も多くの文が分類されていた. カテゴリ 2 で は, 原発における污染水や放射性物質に関する話題 が中心となっており, カテゴリ 3 では, 原発に対す る政府対応に関する話題が見られた. また, カテゴ リ 4 では震災による原発事故の話題が現れており， カテゴリ 5 では，原発に関する規制や検証に関する 話題が見られた。
^{2}$ Bertopic の機能の一つである visualize_topics()を用いて 描画した。
}

図 1 特定の価値観ラベルのみを持つ文集合に 対するトピック分析結果

価値観ラベルに基づいて各カテゴリを調べると， カテゴリ 2 は, Safety が付与されている文を中心に 構成されていた。カテゴリ 3 では, Social order およ び Human Welfare を持つ文が多く出現しており，こ のカテゴリにおけるすべての Human Welfare の文は, トピック 13 に出現していた.これらのことから，一部のカテゴリまたはトピックは，特定の価値観ラベ ルと関連していることが分かる.しかし全体的には，各ラベルはカテゴリを横断して出現しており, 必ず しもラベルに基づいてトピックが生成されるとは限 らないといえる.

次に, 分類器により, いずれの価値観ラベルも付与されなかった 203 件の文集合に対する分析結果を 調べた. 各トピックの分布を 2 次元平面上にマッピ ングしたときの結果を図 2 に示す. 図 2 において,生成されたトピックは 4 種類であり，各トピックは 独立している傾向にあると考えられる. また, c-tfidf による各トピックを表す名詞または名詞句および各 トピックの文数を表 4 に示す. 表 4 と表 3 を比較し たとき, 表 4 における原発の運転差し止めに関する 話題を表しているトピック 2 や, 町や地域における 震災後の策定に関する話題を示しているトピック 3 ，太陽光発電を含むエネルギー計画に関する話題を表 しているトピック 4 は, 表 3 のいずれのカテゴリと 独立したものである.このように，いずれの価値観 も付与されなかった文に対してトピック分析を実行
表 3 各カテゴリに属するトピック, 各カテゴリを表す名詞（名詞句）, 各価値筧ラベルを持つ文数. A は Consequence, B は Intention, C は Social order, D は Safety, E は Wealth, F は Human Welfare を表 す. カッコ内の数値は，特定の価値観ラベルを持つ文の総数に対する割合を示す.

 & $0,1,3,5,29$ &  &  &  &  &  &  &  \\

図 2 いずれの価値観ラベルに分類されなかった 文集合に対するトピック分析結果

することで，何らかのグループ化が行われ，また， そのトピックを表す語を確認することができる．新 しい価値観ラベルを発見したい場合には，これらの 語を参考にできる可能性がある．今後は，具体的に どのような価値観ラベルが各トピックに表れている のかを調査していく。表 4 各トピックを表す名詞または名詞句および 各トピックに分類された文数

 &  & 73 \\

## 5 おわりに

本研究では，新たな価値観ラベルの発見支援のた めの方法を検討した．Bertopic を用いた分析におい て，特定の価値観ラベルと一部のトピックに関連性 があることが確認された．今後は，分析結果に基づ いて，より効率的に新しい価値観ラベルを発見する ための提示方法を検討するとともに，実際に内容分析を行う社会科学者の意見も反映する。

## 謝辞

本研究は JSPS 科研費 JP18H03495 の助成を受け たものである.

## 参考文献

1. CD-毎日新聞データ集 2011 年版, 2012 年版, 2013 年版, 2014 年版, 2015 年版, 2016 年版.

2. Ishita, E., Fukuda, S., Oga, T., Oard, D.W., Fleischmann, K.R., Tomiura, Y., and Cheng, A-S.: Toward Three-stage Automation of Annotation for Human Values. Proc. of iConference, pp. 188-199 2019.

3. Ishita, E., Fukuda, S., Oga, T., Tomiura, Y., Oard, D.W., and Fleischmann, K.R.: Cost-Effective Learning for Classifying Human Values. Proc. of iConference, 2020.

4. Cheng, A.-S., Fleischmann, K.R., Wang, P., Ishita, E., and Oard, D.W.: The Role of Innovation and Wealth in the Net Neutrality Debate: A Content Analysis of Human Values in Congressional and FCC Hearings. Journal of the American society for information science and technology, pp. 1360-1373, 2012.

5. Mikolov, T., Grave, E., Bojanowski, P., Puhrsch, C., and Joulin, A.: Advances in Pre-training Distributed Word Representations. arXiv preprint arXiv:1712.09405, 2017.

6. Grootendorst, M.: BERTopic: Neural Topic Modeling with a Class-based TF-IDF Procedure. arXiv preprint arXiv:2203.05794, 2022.

7. McInnes, L. and Healy, J.: Accelerated Hierarchical Density based Clustering. Proc. of ICDMW, pp. 3342, 2017.

8. CD-毎日新聞データ集 2017 年版, 2018 年版, 2019 年版, 2020 年版.


# 不完全情報ゲーム Codenames におけるプレイヤ一間の親密度 とゲームへの習熟度がゲームパフォーマンスに与える影響の 分析

早苗 昭尚 ${ }^{1}$ 加藤 勇護 ${ }^{2}$ 坪倉 和哉 1 小林 邦和 ${ }^{2}$
1 愛知県立大学大学院 情報科学研究科
2 愛知県立大学 情報科学部
\{im222009, is211021,im212008\}@cis.aichi-pu.ac.jp
kobayashi@ist.aichi-pu.ac.jp

## 概要

Codenames とは相手から与えられたヒントをもと に意図を推測し単語が書かれた 25 枚のカードから 正解のカードを探し出す不完全情報ゲームの一つ である. Codenames ではルール上, 1 つの単語を用 いて複数のカードを取らせる必要がある. そのた め, Codenames の分析は人間が与えられた条件下で どのように意図を伝えるかの分析と言うことがで き，ゲーム AI の実装だけでなく人間の思考のモデ ル化にも役に立つと考えられる. そこで, 本研究で はプレイヤー間の親密度とゲームへの習熟度に着目 し勝率との関係を分析した. その結果, 親密度が高 いほど勝率が上がることが示唆された。また，プレ イヤーのゲームに対する習熟度による影響は親密度 よりもさらに勝率に大きな影響を与えることを確認 した.

## 1 はじめに

人工知能技術の発展により, 将棋や囲基といった 完全情報ゲームでは，すでに人間のチャンピオンに 勝利するほどの能力を獲得している．そこで，より 高度な知能を獲得することを目指し, 完全情報ゲー ムより複雑かつ解決が困難なタスクである不完全情報ゲームを対象とした研究が進められている.

不完全情報ゲームの 1 つである不完全情報コミュ ニケーションゲームは, 他のプレイヤーとコミュニ ケーションを取りながら進めるゲームであり，例え ば人狼ゲームを対象とした研究が進められている [1]. 不完全情報コミュニケーションゲームの中で も, Codenames は自然言語理解に焦点を当てたゲー ムであり, 場は単語が書かれた 25 枚のカードから構成される. 各カードにはそれぞれ色が割り当てら れている.プレイヤーはスパイマスターと諜報員に 分かれ，スパイマスターのみがカードの色の割り当 てを確認できる、スパイマスターは諜報員に自チー ムの色のカードを選択してもらえるようにヒント を与え，諜報員はヒントをもとに単語が書かれた カードを選択するため，ヒントを通してスパイマス ターと諜報員が意図を伝達/推測する設計のゲーム となっている.

2019 年には Codenames の AI の実装を目的とし た「Codenames AI Competition」が開催されており,関連した研究が行われている $[2,3]$. 文献 [2] では, word2vec [4] や GloVe[5], 文献 [3] では, GPT-2[6] を 用いた実装を提案しているが，実装において人間の ゲームログは活用されていない，坪倉らは，日本語 を対象とした Codenames の研究の第一歩としてゲー ムログの収集を行いヒント行為を「汎化」や「言い 換え」などに分類した [7] が, ヒント行為の分類を 行ったのみでゲームのパフォーマンスや人間の特性 といったことについての研究は行われていない. し かし, Codenamesでは単語によって与えられるヒン トから別の単語を推測するというゲームの性質上, パフォーマンスがプレイヤーの前提知識に影響を受 けると考えられる。 そこで，本研究ではプレイヤー 間の親密度とゲームへの習熟度に着目し, ヒントの 出し手とヒントから推測する人の関係が親密である ほど前提知識の共有部分が多くなるためにゲームの パフォーマンスが向上する，ゲームに習熟している プレイヤーほど効果的な行動を学ぶためにゲームの パフォーマンスが向上するという仮説のもと，ゲー ムログの収集およびパフォーマンスとの関係の分析 を行った。

## 2 Codenames

本章では, Codenamesのルールについて説明する. Codenames では，スパイマスター 1 人と諜報員 1 人以上からなる 2 チームに分かれて行うものと, 2 人 で交互にヒントを出し合いカードを取っていくもの がある. 本研究ではプレイヤー間の関係性を見るた め 2 人で行うルールを用いた。場には 25 枚の単語 が書かれたカードがあり，それらのカードにはそれ ぞれのプレイヤーで異なる配色で取らせるべきカー ド (緑色), 暗殺者カード（黒）どちらでもないカー ド（灰色）が割り当てられている. 2 人で交互にヒ ントを出し合い計 9 つのヒントで緑色のカードを全 て取得できたらプレイヤー側の勝利となる. 暗殺者 のカードを取らせてしまった場合や 9 つのヒントの 後に緑色以外のカードを取った場合にはプレイヤー 側の負けとなる. 2 人のプレイヤーにはそれぞれ異 なる色が見えているが，緑色のカードのうち 3 つは 共有しているため取らなければならないカードは 15 枚となる. また, 自分側の暗殺者のカード 3 枚の うち一枚は必ず相手側から見た緑色のカードとなっ ている.(図 1, 図 2).

プレイヤーが提示するヒントは正解の単語を連想 させ, ヒントとカードの単語が意味的に関係する一語の単語（品詞は問わない）である必要がある.た だし, 連想が容易なヒントを出させないためにいく つかルールが設けられている．例えば，場にある単語や言語を変えただけの単語 (例 : 猫 $\rightarrow$ cat), 場に ある単語を含む単語はヒントとして使用不可であ る.なお，すでに取られた単語はヒントとして使用可能である. また, プレイヤーはヒントのほかに相手プレイヤーに取ってほしいカードの枚数を指定で きる．ヒントを出されたプレイヤーはカードを取る がこの際に指定した枚数よりも多く取ることが可能 である.これは前のヒントをとり逃した場合に役に 立つ.

ヒントを出されたプレイヤーは相手のヒントを 元に, 正解だと思うカードを選ぶ. 選んだカードが 緑色のカードであった場合, さらにもう一枚とるか 否か選ぶことができる. 選んだカードが灰色のカー ドであった場合, 相手にターンを渡す。選んだカー ドが暗殺者のカードの場合, 選んだチームはその時点で負けとなるため, 暗殺者のカードを選ぶことは 絶対に避けなければならない，プレイヤーは9つま でしかヒントを出すことができないために 15 枚の
カードを取るためには，一つのヒントでなるべく多 くのカードを連想させるヒントを出すことが重要で ある.

以上のようにヒントを出すプレイヤーは単語の意味や関係性などからカードの推測に効果的なヒン トを提示し，ヒントを受けたプレイヤーはヒントと なる単語からカードを推測する必要がある。そのた め, Codenames は高度な自然言語理解を必要とする ボードゲームであり，ゲーム AI の実装は挑戦的な 自然言語処理タスクと言える.

## 3 Codenames のデータ収集

Codenames の分析を行うため，ゲームのログを収集した。ゲームはオンラインで Codenames をプレイ することが可能な「CODENAMES ONLINE $\rfloor^{1)}$ で行 い, 本学の大学生と大学院生 9 名が参加し, 一つの 組み合わせごとに 3 ゲームずつ行い合計 16 通りの 組み合わせで 48 ゲーム分のログを取得した. また, プレイヤー間の親密度については「1: 知らない, 5 : 仲が良い」として 1 から 5 の 5 段階で各プレイ ヤーが相手に対する親密度を主観で評価した。

ゲームごとのログは以下のデータから構成さ れる。

・経過ターン数

・与えたヒント
- 指定枚数

・場に残っているカード

・そのターンで取った緑色のカード

・取ったカード

また, ゲームごとのデータの他にも組み合わせご とのログについて以下のデータを取得した.
- 人名 1
- 人名 2
- game1 の勝敗
- game2 の勝敗
- game3 の勝敗

・勝利数

・敗北数
- game1 の合計ターン数
- game2 の合計ターン数
- game3 の合計ターン数

・1 から 2 への親密度

・2 から 1 への親密度

1) https://codenames.game/

図 1 プレイヤー 1 のゲーム画面

図 3 プレイヤーの親密度と勝利数

なお，ヒントを 9 つ出した後サドンデスというヒ ントなしで緑色のカードをとり続けるモードとなる がこの場合にはターン数に 101 と記録し，このデー タの他に備考欄に暗殺者のカードを取ったことなど の情報が記載されている。また，それぞれのゲーム の実施日も記録されている.

## 4 ログの分析

## 4.1 親密度と勝率の相関分析

この節では収集したログを用いて関係性が親密で あるほどゲームのパフォーマンスが向上するという 仮説を検証する.

相手との親密度は客観的な厳密な定義が難しく知 り合ってからの時間だけでも会う頻度だけでも十分 とは言えない. そのため, 本研究では相手との関係性を 5 段階の主観で評価してもらい双方向からの親密度の平均を両者間の親密度の值として用いること とした。

図 3 に親密度と 3 ゲーム中の勝利回数をプロット したものを示す.この図より, 勝利した組み合わせ は親密度 2.5 以上のものしかなかったため相関があ るように見えるが，相関係数としては 0.21 とごく弱 い正の相関であった。この結果は親密度と勝率の間 には明確な関係性はないことを示唆している。この

図 2 プレイヤー 2 のゲーム画面

ような結果が得られた原因の 1 つとして両者間の親密度の認識の違いがあるのではないかと考えた。そ こで，双方の親密度の絶対差を用いた親密度差と勝利数，親密度の値を各組み合わせにおいて低く答え たプレイヤーの親密度を用いた低親密度，高く答え たプレイヤーの親密度を用いた高親密度とした際の 勝利数の相関関係を分析した。

この分析の結果得られた相関係数を表 1 に示す. また，高親密度と勝利数を散布図としてプロットし たものを図 4 に示す.この結果より親密度差を用い た場合と高親密度を用いた場合に相関係数が増加す ることが確認できる。

親密度差について大きいほど勝利数が大きくなる という結果であるが，これは親密度差について值が $0,1,2$ の 3 つであるのに対してデータ数が $5,10,1$ と 偏っていることに原因があると考えられる．低親密度および高親密度を用いた分析においては，低親密度を用いた分析がほぼ無相関であったのに対して，高親密度を用いた分析において弱い正の相関を示し たことからどちらか一方が親密だと判断できるよう な関係性であることが勝率に関係する可能性が示唆 されたが，関係性が親密なほど勝率が高くなるとい う仮説を肯定するほどの強い相関を得ることはでき なかった。

これは個人の認知能力や語彙，ゲームへの習熟度 など様々な要因が関係しているからであると考えら れる.

表 1 親密度の違いと勝利数との相関係数

図 4 高親密度と勝利数

## 4.2 プレイ回数と勝率の相関分析

この節ではゲームに対する習熟度が勝率に影響を およぼすのではないかという仮説のについて分析を 行う。

本研究におけるデータ収集では全員が Codenames 経験者ではあったが，ルール確認のため数回行う程度であった. そのため, 時系列的にそのプレイヤー において何回目に実施したゲームであったのかがプ レイの習熟度に関係し勝率に影響を与えるのではな いかと仮定し, プレイ回数と勝利数についての分析 を行う。

プレイ回数について，データを取得した日時を用 いてそのゲームがプレイヤーにとって何回目のゲー ムであったのかを記録した. 2 人 1 組で行う関係上, 2 人で異なるプレイ回数となるためそのゲームにお けるプレイ回数を 2 人の平均, プレイ回数の絶対差, 低頻度, 高頻度の 4 通りで分析を行った. ここ で, 本研究ではプレイ回数が多い方を高頻度, 少な い方を低頻度と表記する。

3 通りのプレイ回数を用いた勝利数との相関係数 を表 2 に示す. また, 最も強い相関が得られた低頻度をプレイ回数として用いた際の勝利数との散布図 を図 5 に示す.この結果より, プレイ回数による習熟は関係性によるパフォーマンスの向上よりも影響 が大きいという結果が得られた. また, プレイ回数 について低頻度のプレイヤーのプレイ回数が相関係数 0.54 とこれまでの分析で最も大きい正の相関を 示すことがわかった。これは Codenames が二人の認識を共有し協力しなければいけないタスクであるた めに，一方のみの習熟ではゲーム自体の勝率にあま り影響を与えなかったのではないかと考える.表 2 プレイ回数と勝利数との相関係数

図 5 低頻度のプレイ回数と勝利数

## 5 おわりに

本研究では，不完全情報ゲームである Codenames におけるプレイヤーの親密度に着目しゲームログの 収集および勝率の関係の分析とその考察を行った。 データ収集においてはプレイヤー9 名の 16 通りの 組み合わせ 48 ゲーム分のデータを収集し, 親密度 の分析ではより親密度を高く答えたプレイヤーの データを用いた際に勝率と弱い正の相関が得られ た.しかし，仮説を肯定するほどの強い相関ではな かった。さらに，勝率に影響を与える他の要因の一 つとしてプレイ回数についての分析も行った。その 結果, 低頻度のプレイヤーのプレイ回数と勝率の間 には比較的強い正の相関があり親密度よりも大き な影響があることを示した。今後は, Codenamesの ゲームログを追加収集するとともに，他の要因につ いても分析を進めていき将来的には AIによる実装 を行う予定である.

## 参考文献

[1] 片上 大輔, 鳥海 不二夫, 大澤博隆, 稲葉 通将, 篠田 孝祐, 松原仁. 人狼知能プロジェクト. 人工知能学会誌, Vol. 30, No. 1, pp. 65-73, 2015.

[2] Kim, A., Ruzmaykin, M., Truong, A., and Summerville, A. Cooperation and code-names: Understanding natural language processing via codenames. AAAI Conference on Artificial Intelligence and Interactive Digital Entertainment, Vol.15, No.1, pp. 160-166, 2019

[3] Jaramillo, C., Charity, M., Canaan, R., and Togelius, J.Word Autobots: Usingtransformers for word association in the game codenames. AAAIConference on Artificial In-
telligence and Interactive Digital Entertainment, Vol. 16, No. 1, pp. 231-237, 2020.

[4] Mikolov, T., Chen, K., Corrado, G., and Dean, J. Efficientestimation of word representations in vector space. arXiv preprintarXiv:1301.3781, 2013

[5] J.Pennington, R. Socher, and C. D. Manning. Glove: Global vectors for word representation. In EMNLP2014. pp. 1532-1543, 2014

[6] Radford, A., Wu, J., Child, R., Luan, D., Amodei, D., and Sutskever, I. Language models are unsupervised multitasklearners.OpenAI Blog1(8):9, 2019

[7] 坪倉和哉, 久保谷空史, 早苗昭尚, 大橋玲音, 小林邦和, Codenames のゲーム AI 実装に向けたヒント行為 の分類, 人工知能学会全国大会論文集, JSAI2022, 第 36 回, 2022


# 医療文書における数値表現のトークン化による ICD コード予測 と医療タスクへの応用検証

福本拓也 ${ }^{1}$ 五十嵐正尚 ${ }^{2}$ 奥村貴史 ${ }^{3}$ 村松俊平 ${ }^{1}$ 坂根亜美 ${ }^{1}$ 堀口裕正 ${ }^{3}$ 狩野芳伸 ${ }^{1}$
1 静岡大学 2 国立病院機構 3 北見工業大学
${ }^{1}\{$ tfukumoto,smuramatsu,asakane,kano\}@kanolab.net
${ }^{2}\{$ igarashi.masanao.th,horiguchi.hiromasa.nz $\} @$ mail.hosp.go.jp ${ }^{3}$ taka@wide.ad.jp

## 概要

国立病院機構が構築する大規模匿名化電子カルテ データ NCDAを用いて，自由記述テキスト部から主診断 ICD-10 コードを予測するシステムを構築した.予測には Wikipedia と医療テキストとでそれぞれ事前学習された BERT モデルを fine-tuning して比較し た. 電子カルテには既存の言語モデルで扱いづらい 数值を用いたテキスト表現が多く含まれている. そ れらの表現を特殊トークンとしてまとめて扱う手法 を提案し，予測性能の向上を確認した. このICD-10 コード予測で学習されたモデルを別の医療タスクに 応用し, ICD-10コード予測による学習が医療言語処理全般に性能を向上させ得るか調査した.

## 1 はじめに

近年，多くの医療現場で診療記録が電子化されて おり，情報の集積や管理のし易い環境が整備されて いる.カルテに記載された病名には ICD-10[1] の分類コードが付与されるが，コーディングと呼ばれる 付与作業は診療情報管理士が人手で行っている.

ICD-10コードとは，「疾病及び関連保健問題の国際統計分類」というWHO によって定められた国際的に用いられる病名コードのことであり（本研究で は常に ICD-10を対象とし, 以下 ICDコードと記述 する)，階層的に分類された病名が記載されている. ICD コードは先頭のアルファベットに何杕かの数字 が続き，桁で分類階層を表す記法になっているが， ICD コードは病名と 1 対 1 に対応するわけではな い.こうしたICDコードの付与作業は, 高度な専門性が必要なうえ曖昧性のある，難易度の高い作業で ある. 基本的にすべてのカルテにコードが付されて いるため，ICDコードをラベルとみなせば潜在的に 膨大な学習データが利用できる.
ICD ではコードが近い疾病は疾病の性質も近くな るように定義されており, 少ない桁数に疾病の特徵 が圧縮されている．ICDコードの上位桁予測を言語 モデルによって解くことができれば，その言語モデ ルは疾病の特徵を取り込んだモデルになり，医療テ キスト処理全般の性能向上が期待できる.

そこで本研究では，まず異なる事前学習済み BERT モデル [2] fine-tuning して複数の手法で ICD コード分類を行い，ICD コードの予測性能を比較し 分析した。電子カルテの自由記載テキストには，日付や時刻, 検査数値など数値表現が数多く出現す る.しかし, 既存の言語処理モデルは数値表現に弱 い. 特に医療文書に出てくる検查数値は, 医師であ れば専門知識によって解釈し適切な診断を下して いるが，性別や年齢，身長，体重などの文脈によっ て数値の示す意味が変わってしまい言語処理タス クとしては難易度が高い. 医師がカルテを記載する 際には検査結果を具体的な症状などの言葉に変換 していることが期待できるため，電子カルテテキス トにある数值を特殊トークンに置き換えることで， ICD コード予測の精度が上がるのではないかと考 えた. この特殊トークン置換を 3 パターン用意し, ICD コード推測の性能比較に用いた。

さらに，ICDコード予測の fine-tuning によって追加的に学習されたモデルを用いて，別の医療タスク に応用し，ICDコード予測による学習が医療言語モ デルに与える影響を調査した。

## 2 関連研究

これまでに，ICDコードを予測する取り組みは いくつか行われてきている. 日本語カルテを対象 としたものでは，2016 年に開催された NTCIR-12 の MedNLPDoc Task[3] がある. 552 種類の ICD コード を付与した 200 件の模擬カルテを，訓練データとテ

ストデータに分割したうえでテストデータのコード を推測させるものであった．MedNLPDoc では機械学習を用いたチームを抑え，ルールベースを用いた チームが最高性能を達成した [4].

英語カルテでの取り組みでは，Bagheri ら [5] が HA-GRU[6] を用いたICDコードの 1 标予測と 3 桁予測に取り組んでおり，1 桴予測について Accuracy で 72.5, F1 スコアで 43.5, 3 桁予測については Accuracy で 23.7 の最高性能を達成，F1 スコアで 19.8 を報告 している. 特定の種類の疾病に限定した ICD コー ド予測として, Sammani ら [7] が BiGRU[8]を用い て, 出現頻度上位 10 種類の 3 标分類に限定し予測 を行った。その結果，F1 スコアで76-99を達成し，上位 10 種類のさらに小分類にあたる 4 析分類 16 種 でも，F1 スコア87-98を達成した。

数値表現のトークン化に関して，Loukas ら [9] は，上場企業の定期報告書に対する固有表現抽出タスク において，数値表現を単一のトークンに置き換える ことで BERT モデルの性能向上を達成している. 数值をくNUM>トークンに置き換える手法と，1,234.5 のような数値表現を X,XXX.Xに置き換える手法の 2 種類を試しており，後者がより高い性能を示した。

## 3 提案手法

本研究では，いくつかの異なる事前学習を行っ た BERT モデルを用いて，電子カルテテキストか ら ICD コードを予測する多クラス分類を行う．具体的には，ICDコードの先頭のアルファベットを予測する 1 析分類と, 先頭のアルファベットとそれに 続く数字 2 桁を予測する 3 桁分類の二種類を行う. ICD-10 の分類詳細は付録の表 4 を参照されたい. 電子カルテでは主診断と副診断それぞれに ICD コード が割り振られているが，今回は主診断のみを分類す る. システムの概要を図 2 に示す.

## 3.1 数値表現のトークン化

電子カルテのテキストには数値に関する表現が大 きく3つある.1つ目はカルテを記載するときや過去の診察について記載するときに現れる日付表現， 2 つ目は検査時刻や経過時間などを表す時間表現，3 つ目は検査数値である. 前処理として，正規表現を 用いて日付表現を<DATE>, 時間表現をくTIME>トー クンに変換し, その後残りの数値表現を全て<NUM> トークンに変換する。123.45 のような数值は整数部 と小数部をまとめて 1 トークンとする. 変換された
テキストの例を図 1 に示す.

図 1 数值表現トークン化の例

## 3.2 BERT モデルによる分類

事前学習済み BERT モデルを fine-tuning する ことによって多クラス分類を行う. 東北大学 が公開している日本語 Wikipedia で事前学習さ れた bertbase-japanese-whole-word-masking ${ }^{1 \text { ) (以下 cl- }}$ tohoku）と，東京大学が公開している 1.2 億行の 日本語大規模カルテ記録で事前学習された UTHBERT $^{2}$ （以下 UTH）とを用い比較する。cl-tohoku のトークナイザは MeCab-Unidic+WordPiece，UTH は MeCab(ipadic-NEologd+万病辞書) + WordPiece を用い る. fine-tuning には，これら事前学習済みモデルの 最終層に全結合層を加え，クラス数分の出力ノード を用意して学習した。

図 2 システム概要図

## 3.3 データセット

国立病院機構の電子カルテ集積基盤 NCDA[10] の 2022 年 10 月末時点での匿名化データのうち, 21 病院，58,397 人の患者を対象とする．そのうち，ICD コードが主診断として記録されていて疑い診断 ではない患者を抽出したところ，主診断の総数は 105,817 個となった。「紹介状参照」など他の文書を 参照する記述 1 行のみのデータは除去した. 患者に 主診断の ICD コードが複数紐づくことがある. 対象患者に紐づけられたすべての主診断 ICD コードにつ いて， 1 枌分類では最初のアルファベットが，3枌分類では 3 桁すべてが一致する場合に限定すること で，推測対象の ICD コードが一意に定まる患者のみ とした. 1 文書の各行を <NL>トークンで連結して 1 文とし，患者 1 人分をまとめて 1 つの文書として 扱った。

## 4 実験と結果

## 4.1ICD-10 コードの 1 桁分類

対象データICDコードの先頭アルファベット 1 标を分類する. 先頭アルファベットが傷病及び死亡の外因に属する患者数は少なかった（V,W,Y が 0 人， $\mathrm{X}$ が 1 人）ためこれら 4 クラスを除外し，ICD コードの種類は 22 種類，患者数は 29,566 人，約 368 万行のテキストとなった. 最もサンプル数が多いク ラスは $\mathrm{J}$ で 2,927 人，最も少ないクラスは O で 270 人であった. 1 析分類の分布を付録の図 3 に示す.

実験設定と評価結果 学習時の Epoch 数は 10 , 中間層は 768 次元, optimizer には Adam を使用し，学習率は 1e-5, 最大系列長は 200 トークン, 損失関数 には交差エントロピーを用いた。性能の評価には Micro-Precision, Micro-Recall, Micro-F1,Macro-F1を使用した．訓練データとテストデータを $8: 2$ とする 5 分割交差検証を行い，それぞれの評価値の平均を最終的な評価とした．実験では，数値表現の置き換え を以下の 3 パターン比較した.

・なし数値表現置き換えなし

-日時 <DATE>,<TIME>のみ置き換え
- 日時数 <DATE>,<TIME>,<NUM> の置き換え

実験の評価結果を表 1 に示す.土の後に続く値は， クラス毎の最大最少スコアのレンジを示す. 1 桁分類では，数値表現をそのまま用いた UTH-なしが最 も高い性能であった。

考察 cl-tohoku では <DATE>,<TIME>,<NUM>を 使うことによる影響がほとんどなかったことから，一般的なテキストで事前学習した言語モデルは，推測に数値表現を利用していないと考えられる。UTH に関しては<DATE>,<TIME>による影響はほとんど なかったものの，<NUM>を用いると明確に性能が 低下した. その原因として，電子カルテで事前学習 した UTH が検査数値として出現した数値表現の意味をある程度学習できていたところ，特殊トークン に置き換えたせいでその情報が利用できなくなった 可能性がある. 別の原因として, 薬品名と共起する

消えてしまい，薬品名の認識に悪影響を及ぼした可能性がある. この場合は，薬品名に隣接する数値表現を NUM トークンに置き換えないようにすれば，悪影響を抑えることができるかもしれない. 1 桁分類は疾患の部位や系統に関する分類であるため，数値表現が手掛かりになりづらく，全体的に置き換え による差分が小さくなったと考えらえる.

表 1 ICDコード 1 桁分類の評価結果 Micro-Pre. Micro-Rec Micro-F1 Macro-F1

## 4.2ICD-10 コードの 3 桁分類

対象データICD-10コードの先頭から 3 文字にあ たる，アルファベット 1 桁+数字 2 桁からなる 3 桁分類を対象とする。学習データが十分に見込めるよ う，サンプル数が 100 以上のクラスを用い，コード の種類は 67 種類，患者数は 16,731 人, 約 197 万行の テキストとなった. クラス当たりサンプル数は $\mathrm{T} 78$ が最大の 2,254 人，M17 と L72 で共に最小の 101 人 であった。付録の図 4 に分布を示す.

実験設定と評価結果 1 桁分類と同様の条件で，cl-tohokuとUTHを用いて実験を行った。評価結果を表 2 に示す. Micro-Presicionと MicroRecall については，DATE,TIME,NUM トークンを 全て用いた cl-tohoku の性能が最も高かった。 また，Micro-Recall,Micro-F1,Macro-F1 については DATE,TIME トークンを用いた UTH の性能が最 も高くなった. 両モデルに共通して，日付表現 と時間表現を特殊トークンに置き換えたときに Micro-Precision 以外の指標が改善した。

表 2 ICD コード 3 桁分類の評価結果 Micro-Pre. Micro-Rec Micro-F1 Macro-F1

考察 cl-tohokuでは，NUMトークン置き換えに よって性能がさらに向上した.これは，一般テキス 卜で事前学習した BERT モデルが扱えなかった数値表現を置き換えることによる効果と考えられる。 UTH では NUM トークン置き換えで性能が下がって しまった. これは前述の 1 桁分類と同様の理由だと 考える。

また，cl-tohoku はクラスごとの性能ばらつきが大 きい. クラスによっては，一般テキストに表れづら

い表現があるためではないかと考えられる。医療系 の語彙セットを持たない cl-tohoku-日時数が，UTH日時の性能かなり近いことから，ICD コード予測は 具体的な数值表現がなくても適切な語彙セットを 持っていれば対応できる可能性がある. そのため，日本語 Wikipedia と電子カルテの両方で事前学習を 行ったモデルを作ることで，より良い ICD コード予測を行えると期待できる.

## 4.3ICD コード追加学習の応用検証

前節の ICD コード予測を追加的な学習と考え，こ の学習により疾病の類似度に関する知識を獲得でき たと期待する. その応用検証として，8つの病気，症状に罹患しているかを Twitter 投稿から推測する マルチラベル分類を行う，NTCIR-13 の MedWeb[11] タスクを実行し評価する。

## 4.4 データセット

MedWeb タスクは，ツイートに 8 つの病気または 症状（インフルエンザ，下痢／腹痛，花粉症，咳 ／喉の痛み，頭痛，熱，鼻水／鼻づまり，風邪） の罹患の有無を割り当てたマルチラベル分類タス クである．データセットは日本語，英語，中国語の 3 言語が用意されており，各言語につき学習データ 1,920 ツイート，テストデータ 640 ツイートで構成 される。本研究では日本語データのみを用いる.

## 4.5 実験

前述の 3 析分類で fine-tuning したモデルの最終層 を除去し，新たに最終層を追加して MedWeb データ で fine-tuning する. ベースラインは ICD コード予測 を行っていないオリジナルの cl-tohoku と UTH と した. ICDコード予測の学習を行ったモデルとし て，特殊トークン置き換えをしていない cl-tohokuなしおよび UTH-なしと， 3 桁分類の性能が高かっ た cl-tohoku-日時数 (DATE,TIME,NUM トークンを 置き換え）および UTH-日時（DATE,TIMEを置き換 え）の計 6 のモデルを用いて比較実験する。

## 4.6 結果

MedWeb 実験の評価結果を表 3 に示す.

考察 cl-tohokuでは，ICDコード予測で学習した モデルのほうが，学習してないモデルよりも性能が 高くなった.これはICDコード予測によって医学知識をある程度学習できたことが要因と考えられる。表 3 マルチラベル分類の結果

Micro-Pre. Micro-Rec. Micro-F1 Macro-F1

UTH では，ICDコード予測で学習してもしなくて もほとんど変化が無かった. ICDコード予測で学習 したモデルの疾病の類似度に関する知識は増えてい ない可能性が高い.

ICD コード予測をしたモデルを用いて MedWebで 学習しなおした場合, cl-tohoku でも UTH でも数値表現の特殊トークン置き換えを取り入れると性能が 下がってしまった。これは，MedWeb タスクのデー タに数値に関する情報が少なかったことから数値 トークンが活用されずかえって悪影響を及ぼしたの ではないかと考えられる。

## 5 結論

数値表現を 3 種類の特殊トークンに置き換える ことによる ICD-10コード予測の性能向上を試みた.時間と日付に関する数値表現の置き換えは ICD コー ドの上位 3 析分類において, Wikipedia で事前学習し た言語モデルと医療テキストで事前学習した言語モ デルのどちらでも性能向上に寄与した. 全数値表現 を置き換えると，Wikipedia で事前学習した言語モ デルでは性能向上が見られたが，医療テキストで事前学習したモデルでは性能が低下した。

また，ICD-10コード予測によって fine-tuning した モデルを他の医療タスクに適用する実験を行った。医療テキストで事前学習した言語モデルでは性能に 変化が見られなかったが，Wikipedia で事前学習し た言語モデルでは事前に ICD-10コード予測による 追加的な学習を約 197 万行の医療テキストで行うこ とで，約 1.2 億行の医療テキストで事前学習した言語モデルを超える精度を出すことができた。

今後の課題として，数値表現の置き換え条件を詳細にすることで ICD-10 コード予測精度の向上を目指す。さらに，ICD-10コード予測をシングルラベル からマルチラベル分類に変えることによる後段タス クへの影響や，日本語 Wikipedia と電子カルテテキ ストの両方で事前学習したモデルの性能調査などを 行いたい.

## 謝辞

本研究は厚生労働科学研究費補助金 21HA2015, JSPS 科研費 JP22H00804, JP21K18115, JST AIP 加速課題 JPMJCR22U4, およびセコム科学技術財団特定領域研究助成の支援をうけた。

## 参考文献

[1] World Health Organization. ICD-10 : international statistical classification of diseases and related health problems : tenth revision, 2nd ed. 2004. https://apps.who.int/ iris/handle/10665/42980.

[2] Devlin Jacob, Chang Ming-Wei, Lee Kenton, and Toutanova Kristina. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, 2019.

[3] Eiji Aramaki, Mizuki Morita, Yoshinobu Kano, and Tomoko Ohkuma. Overview of the NTCIR-12 MedNLPDoc Task. In Proceedings of the 12th NTCIR Conference on Evaluation of Information Access Technologies (NTCIR-12), pp. 71-75, 2016.

[4] Masahito Sakishita and Yoshinobu Kano. Inference of ICD Codes by Rule-Based Method from Medical Record in NTCIR-12 MedNLPDoc. In Proceedings of the 12th NTCIR Conference on Evaluation of Information Access Technologies (NTCIR-12), pp. 80-84, 2016.

[5] Ayoub Bagheri., Arjan Sammani., Peter G. M. Van Der Heijden., Folkert W. Asselbergs., and Daniel L. Oberski. Automatic ICD-10 Classification of Diseases from Dutch Discharge Letters. In conjunction with the 13th International Joint Conference on Biomedical Engineering Systems and Technologies-BIOSTEC 2020, pp. 281289, 2020.

[6] Du Yong, Wang Wei, and Wang Liang. Hierarchical recurrent neural network for skeleton based action recognition. In Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 1110-1118, 2015.

[7] Arjan Sammani, Ayoub Bagheri, Peter G. M. van der Heijden, Anneline S. J. M. te Riele, Annette F. Baas, C. A. J. Oosters, Daniel Oberski, and Folkert W. Asselbergs. Automatic multilabel detection of ICD10 codes in Dutch cardiology discharge letters using neural networks. npj Digital Medicine, Vol. 5, No. 37, 2021.

[8] Deng Yaping, Lu Wang, Jia Hao, Tong Xiangqian, and Feng Li. A Sequence-to-Sequence Deep Learning Architecture Based on Bidirectional GRU for Type Recognition and Time Location of Combined Power Quality Disturbance. IEEE Transactions on Industrial Informatics, Vol. 15, No. 8, pp. 4481-4493, 2019.

[9] Lefteris Loukas, Manos Fergadiotis, Ilias Chalkidis, Eirini Spyropoulou, Prodromos Malakasiotis, Ion Androutsopoulos, and Georgios Paliouras. FiNER: Finan- cial Numeric Entity Recognition for XBRL Tagging. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 4419-4431, 2022.

[10] Natsuko Kanazawa1, Takuaki Tani, Shinobu Imai, Hiromasa Horiguchi, Kiyohide Fushimi, and Norihiko Inoue. Existing Data Sources for Clinical Epidemiology: Database of the National Hospital Organization in Japan. In Clinical Epidemiology, Vol. 2022:14, pp. 689-698, 2022.

[11] Shoko Wakamiya, Mizuki Morita, Yoshinobu Kano, Tomoko Ohkuma, and Eiji Aramaki. Overview of the NTCIR-13 MedWeb Task. In Proceedings of the 13th NTCIR Conference on Evaluation of Information Access Technologies (NTCIR-13), pp. 40-49, 2017.

## A 付録 (Appendix)

表 4 ICD-10コードの章レベルの分類体系

図 31 桁分類に用いるデータの分布

図 43 桁分類に用いるデータの分布


# 地方自治体の子育て支援事業比較表作成ツールの開発

金田 大海 多田 紘佳 中村 誠
新潟工科大学 工学部
mnakamur@niit.ac.jp

## 概要

近年, 少子高齢化が深刻化しており, それに伴い 総人口が減少傾向にある. 本研究の目的は, 地方自治体（以降，自治体という.)の子育て支援事業の類似事業をまとめ、比較が行なえる表を出力するツー ルの開発である.これにより, 自治体の独自事業の 発見が期待できる. そのために本研究では, 子育て 支援事業の内容を自治体のウェブサイトから取得し， TF-IDF を用いた SVM による文書分類により, 必要項目と不要項目を分類した後, 必要項目についてク ラスタリングを行い，類似する事業をまとめ表を作成し出力するツールを開発する。

## 1 はじめに

近年, 少子高齢化が深刻化しており, 2015 年には 65 歳以上が約 $26.6 \%$ 、 15 歳未満が約 $12.5 \%$ であった のが、2045 年には 65 歳以上が約 $36.8 \%$ に増加、 15 歳未満が約 $10.7 \%$ と減少するとされている。それに 伴い総人口が減少傾向にある [1]. 特に, 少子高齢化 による人口減少は小規模な自治体ほど顕著に表れて いる. また, 少子高齢化により「社会保障分野の負担の増大と手取り収入の減少」や「生産年齢人口減少による経済成長の低下」などの問題が発生してい る [2]. これらの問題に共通する原因は, 生産年齢人口の減少である. このことから, 少子高齢化社会を 改善していくには、人口減少の多い自治体で生産年齢人口の減少を止めていかなければならない. そこ で現在, 少子高齢化対策としてそれぞれ子育て支援事業などを用意して出生率増加を図っており, ウェ ブサイトで確認できる. ところが, 子育て支援事業 は各自治体のウェブサイトで独立して提示されてい るため, 自治体間の比較が難しい. そこで, 子育て 支援事業を 1 つの表にまとめることで比較しやすく なると考えられる。

類似している事業の対応付けを行う手法の研究は すでに行われている [3]. この研究では, 自治体のウ ェブサイトの HTML 内にあるアンカーテキストに着目し，編集距離を用いて対応付けを行っている. ここから, 比較結果として精度は高くないが類似事業の対応付けは有効であると分かる.

したがって，本研究の目的は，各自治体の子育て 支援事業の類似事業の比較表（以降,「比較表」と いう。）を出力するツールの開発である. 利用者は, このツールを開発することで，各自治体が子育て支援事業にどれだけ力を入れているか可視化ができ，他の自治体にはない独自の事業を発見できる.また，各自治体は自身の自治体に足りない事業を発見でき ることから，事業の充実が期待できる。

本研究では，子育て支援事業の内容を自治体のウ エブサイトの HTML から取得し, TF-IDF ベクトル を用いた SVM による文書分類で必要事業と不要事業を分類し，必要事業についてクラスタリングを行 った結果を表にして出力するツールの開発を行う.

## 2 背景

ここでは, 本研究の目的である比較表を出力する ツールの必要性について示す. また, 本研究で使用 しているクローリングと web スクレイピング, SVM，クラスタリングについて説明する。

## 2.1 子育て支援事業

本研究で対象としている子育て支援事業とは, 子育てに関係する行政事業の一群を指す。これらにつ いて，全国の自治体でウェブサイトを用意し提示し ている。図 1 は，柏崎市のウェブサイトである．図 1 のように, 多くの自治体では事業ごとにウェブペ ージを用意しており，そのウェブページに事業の内容などが掲載されている。図 2 は，柏崎市の览童手当のウェブページである. 中には，1つのウェブペ ージに複数の事業をまとめて掲載している自治体も ある.このように，ウェブページに記載されている ため, クローリングを用いることで事業の内容を収集することが可能である.

図 1 柏崎市の事業が提示されている ウェブサイト

図 2 柏崎市の児童手当のウェブページ

## 2.2 比較表

本システムにおける比較用の例を表 1 に示す．新潟県新潟市の「安産教室」や岡山県奈義町の「出産祝金」は独自の事業であることと, 岡山県奈義町に は里親制度の事業が足りないことが一目で分かる.比較表作成における問題の本質は，自治体間におい て類似事業を発見することにある。

表 1 子育て支援事業比較表の例

 &  &  \\

## 2.3 クローリングと web スクレイピング

クローリングとは, ウェブサイトから HTML など の情報を収集することであり，web スクレイピング とは，クローリングにより web サイトから取得した HTML データを解析し, 特定のデータを抽出するこ とである.

本研究では，新潟県内の 23 の自治体と岡山県奈義町を対象に，子育て支援事業に関係すると思われ る「妊娠出産」と「子育て」の 2 つのカテゴリーの 事業を対象にそれらが書かれているウェブページの クローリングを行う。また，内容が書かれているウ ェブページをスクレイピングによってテキストファ イルに書き出す.

## 2.4 SVM

SVM は, 2 クラスのパターン識別器を構成する手法である。学習モデルから，「マージン最大化」と いう基準で線形しきい素子のパラメータを学習し,計算によって 2 值のクラスをつくる [4]。本研究で は分類方法として「ソフトマージン」を用いる.

本研究では, SVM により子育て支援事業に関係し ている事業としていない事業に分類するために用い ている. スクレイピングにより取得したテキストに は，給付金や支援などの事業のみならず，図 3 のよ うにイベント等の一覧しか書かれていないものや表彰関係，おたよりや報告などと子育て支援のための 情報提供には不要な, ウェブページが含まれている.

図 3 不要なウェブページの例

## 2.5 クラスタリング手法

本実験では階層的手法を用いる. 階層的手法とは，最も類似度の高い組み合わせからまとめる手法であ る. 階層的手法には，クラスタ間における距離の求 め方が複数存在する。主な手法は，「群平均法」，

「重心法」，「完全リンク法」，「メジアン法」，「単リンク法」，「ウォード法」，「重み付き平均法」である.
本研究では，各自治体におけるさまざまな子育て 支援事業を対象に, TF-IDF でベクトル化し, それか らコサイン類似度を計算する。その計算結果を用い てメジアン法でクラスタリングを行う。メジアン法 とは，それぞれの重心にクラスタ内の個数に応じた 重み付けを行い、それぞれのクラスタの重み付けし た重心間距離の 2 乗をクラスタ間の距離とする手法 である。

## 2.3 評価手法

比較表の精度については, purity と inverse purity の 2 つから求められる $\mathrm{F}$ 值で評価することが出来る [5]. 図4 に正解クラスタとクラスタリング結果の関係を示す. 同じ図形は類似事業を示している。

図 4 正解クラスタとクラスタリング結果の関係

Purity とは, 図 4 下部の各クラスタにおいて最も よく現れるカテゴリーの出現頻度に注目し, クラス 夕内においてそのカテゴリーが占める割合が大きい ものを高く評価する評価尺度であり, 式 (2) で求ま る.

$
\text { Purity }=\sum_{i} \frac{\left|C_{i}\right|}{n} \text { maxPrecision }\left(C_{i}, L_{j}\right)
$

このとき, C は評価対象とするクラスタ集合， L は 人手で作成したカテゴリー集合, $\mathrm{n}$ はクラスタリン グ対象の文書数である. また, あるカテゴリー $L_{j}$ に 対するクラスタ $C_{i}$ の適合率は式 (3) によって求めら れる。

$
\operatorname{Precision}\left(C_{i}, L_{j}\right)=\frac{\left|C_{I} \cap L_{j}\right|}{\left|C_{i}\right|}
$

Inverse purity とは, 図 4 上部の各カテゴリーに対 して最大の再現率となるクラスタに注目し, クラス 夕内において各カテゴリーで定められた要素を多く 含むクラスタを高く評価する評価尺度であり, 式(4) で求まる.

$
\text { InversePurity }=\sum_{j} \frac{\left|L_{j}\right|}{n} \operatorname{maxRecall}\left(C_{i}, L_{j}\right)
$

このとき，あるカテゴリーに対するクラスタの再現率は式（5）によって求められる.

$
\operatorname{Recall}\left(C_{i}, L_{J}\right)=\frac{\left|C_{i} \cap L_{j}\right|}{\left|L_{j}\right|}
$

また, purity と inverse purity の調和平均 $\mathrm{F}$ は式（6) により定義される。

$
F=\frac{1}{\alpha \frac{1}{\text { Purity }}+(1-\alpha) \frac{1}{\text { InversePurity }}}
$

本研究では $\alpha=0.5$ として評価を行った.

なお、図 4 における purity は 0.6 , inverse purity は 0.65，F 値は 0.62 となる

## 3 提案手法

本研究の各自治体の子育て支援事業の比較表を作成するツールの流れは以下の通りである.

1. あらかじめ各自治体のウェブサイトから，事業内容が書かれている本文を抽出し，テキストフ アイルにする.

2. チェックボックスを用いたユーザーインターフ エースで比較する自治体を選択する

3. 選択した自治体のテキストファイルを参照する

4. 参照したテキストファイルから, 子育て支援事業に必要な項目と不要な項目をSVM を用いて 分類する.

5. 必要項目に分類した方を, TF-IDF でベクトル化 し, $\cos$ 類似度を用いたメジアン法のクラスタリ ングによって比較表を出力する.

このときの、チェックボックスを用いたユーザーイ ンターフェースを図 5 に, 出力結果を図 6 に示す.

類似している事業の対応付けを行う手法の研究 [3]では，「編集距離」を用いているが比較表の精度 は高くなかった. そこで, 本研究では TF-IDFベクト ルを用いた $\cos$ 類似度によりクラスタリングを行う ことで精度の向上を目指す.

図 5 ユーザーインターフェース

図 6 出力結果の一部

## 4 実験

## 4.1 実験の目的

文書分類を用いない比較表作成ツールにより，ク ラスタリングにメジアン法を用いて比較表を作成し たところ, $\mathrm{F}$ 值は 0.371 となった. しかし, この比較表には子育て支援事業と関係のないものも含まれ ていた。そのため, 不要項目を含むか否かで精度は 変わると考えた. また，この比較表は異なる分野の 事業が一緒になっていたため, 分野別で比較表を作成することで見やすい表となり, 精度も向上すると 考えた。そこで，本実験の目的は，文書分類を用い て不要項目を分類し必要項目のみで比較表を作成す ることと, 分野別で作成することで, クラスタリン グの精度が向上するのか検証する．正解データは，不要な項目も考えたデータを新しく用いる.

## 4.2 実験方法

本実験では，新潟県柏崎市，新潟県新潟市，岡山県奈義町の 3 つの自治体を対象とし, 不要項目の分類を行うか否かでモデルの性能を比較する. 分野別 については, 「妊娠出産」と「子育て」の2つの分野を対象とし，それぞれで分類を行ったモデルの性能と文書分類を行ったモデルの性能で比較を行う.性能の比較には, 評価手法を用いた精度の評価を行 う.このとき，カテゴリー集合である正解データ は，人手によって 3 の自治体の子育て支援事業の みを対象に類似事業を対応付け，それ以外を不要な 事業としてまとめた表を用いた。

## 4.3 実験結果

分類の有無について，3つの自治体で作成した比較表の評価結果を表 2 に示す. 1 行目は不要項目の 分類を行っていない場合， 2 行目は行った後のクラ スタリングの結果を表している。

表 3 分野別による評価結果

また, 分野別で作成した比較表の精度の評価結果を 表 3 に示す。

比較表の精度について不要項目の分類を行うか否 かで比較すると, $\mathrm{F}$ 值が約 0.144 向上した. これらに より, 不要な項目がなくなることで, 比較表の精度 が向上したと考えられる。また，このとき作成した 表は，不要な項目がなくなったため類似事業が分か りやすい表となった．参考までに，クローリングや スクレイピングが完全で, 不要項目が存在しない場合の性能を表 2 の 3 行目に示す.

分野別の精度について，表 2 と表 3 の $\mathrm{F}$ 値から，分野別にすることで約 0.029 向上した.この値より,分野別にすることで SVM とクラスタリングの精度 が向上したのではないかと考える.このとき作成さ れた表は, 分野別になっているため, 分野ごとの事業が分かりやすい表となった。

## 5 おわりに

実験から，SVM を用いて分野別に作成することで，不要な項目を無くし，比較表の精度を向上させるこ とが出来た. また, 分野別にしたことで見やすい表 となった。これらにより, 子育て支援事業の比較表作成ツールを開発することが出来た。

今後は，SVM の教師データを増やすことや，比較表の精度のさらなる向上を目指す.

## 謝辞

本研究は, 科学研究費補助金 (19H04427, 代表 :

中村 誠）の助成を受けたものである.

## 参考文献

[1] 河合雅司, 未来の年表 人口減少日本でこれか ら起きること, 講談社現代新書, 2017

[2] 厚生労働省, 少子化の影響と主な対策に関する 整理, (引用日: 2023 年 1 月 5 日.)https://www.mhlw.go. jp/shingi/2002/06/s0614-3a.html

[3] 多田紘佳, 中村誠, 地方自治体ウェブサイトから 得られる子育て支援に関する行政サービスの比較,電子情報通信学会信越支部大会, P-30 (2019)

[4]サポートベクターマシン入門, 栗田多喜夫, 産業技術総合研究所 脳神経情報研究部門, 2002

[5] 杉山一成, 奥村学, 半教師有りクラスタリングを 用いた Web 検索結果における人名の曖昧性解消, 自然言語処理, 16 巻(2009) 5 号


# 大規模言語モデルに基づく 複数の外部ツールを利用した推論フレームワーク

稲葉達郎清丸寛一 Fei Cheng 黒橋 禎夫
京都大学
\{inaba,kiyomaru, feicheng, kuro\}@nlp.ist.i.kyoto-u.ac.jp

## 概要

大規模言語モデルは広範な世界知識に加えて数値計算といった記号処理の能力も一定程度有してお り、種々の推論タスクで驚異的なスコアを達成して いる。しかし、言語モデルが保持できる知識の量と 実行できる記号処理の複雑さには限界がある。大規模言語モデルによる推論のさらなる高度化を目指し て、本研究では大規模言語モデルによる推論時に検索器や電卓など複数の外部ツールの利用を可能にす るフレームワークを提案する。提案手法を知識を要 する数値推論タスク NumGLUE（Task 2）に適用し、強力なべースラインの性能を大幅に上回る、現時点 での最高性能を達成することを確認した。

## 1 はじめに

推論は既知の事柄を手がかりに未知の事柄を推し 量る論理的なプロセスである。推論では、言語理解 の能力はもちろん、実世界に関する知識、数値計算 をはじめとする記号処理の能力も必要となる。計算機による推論の実現は人工知能研究の古くからの 目標であり、現在まで中心的な関心であり続けてい る $[1,2]$ 。

昨今、大規模言語モデル（Large Language Model; LLM） $[3,4,5,6]$ が種々の推論タスクで驚異的なス コアを達成している。これは大規模言語モデルが事前学習を通じて基本的な言語理解の能力に加え、広範な世界知識、そして数値計算を含む記号推論の 能力までもを一定程度獲得していることを示して いる。

しかし、大規模言語モデルであっても保持できる 世界知識の量と実行可能な記号処理の複雑さには限界がある。この問題を解決するため、大規模言語モ デルによる推論時に検索器や電卓などの外部ツール を呼び出し、その結果を利用する手法が提案されて
いる $[7,8]$ 。しかし、先行研究はいずれも単一の外部ツールの利用に留まっており、推論を実行する上 で課題となる知識の問題や記号処理の問題を同時に 解決する枠組みにはなっていない。

本研究では、大規模言語モデルによる推論におい て、検索器や電卓といった複数の外部ツールの利用 を可能にするフレームワークを提案する。図 1 に提案手法の概要を示す。提案手法では、大規模言語モ デルが推論過程を含めて解答を生成するように入力 のテキスト（プロンプト）を設計する [9]。提案手法の鍵は、プロンプトの工夫によって、推論過程の 一部として外部ツールを呼び出す文字列を生成さ せることにある。実行時は、大規模言語モデルが外部ツールを呼び出す文字列を生成したら推論過程 の生成を中断し、生成中の推論過程から利用する外部ツールの名前とそれに与える入力を取り出し、外部ツールの実行結果を推論過程に追記する。その後大規模言語モデルに推論過程の生成を再開させ、外部ツールを呼び出す文字列が生成されたらまた上記 の手続きを行う。

提案手法の有効性を確認するため、専門知識を要 する数値推論タスク NumGLUE（Task 2） [10] のも とで実験を行った。実験の結果、提案手法が強力な ベースライン手法の性能を大幅に上回り、現時点で の最高性能を達成することを確認した。

## 2 関連研究

大規模言語モデルによる推論は、入力のテキスト （プロンプト）を適当に設計し、大規模言語モデル から推論の解答を引き出すこと（プロンプティン グ [11]）で解かれる。特に、大規模言語モデルが解答を推論過程付きで生成するようにプロンプトを設計する Chain of Thought プロンプティング [9, 12] は その有効性が広く知られている。

大規模言語モデルによる推論時に外部ツールを利

図 1 提案手法の全体像。出力中のハイライトは、黄緑色が GPT-3、黄色が電卓 (Calculator; CAL)、橙色が化学反応予測器（Chemical reaction predictor; $\mathrm{CRP}_{\mathrm{RP}}$ )、紫色がモル質量検索器（Molar mass list; $\mathrm{MML}_{\mathrm{ML}}$ ）の出力であることを表す。

用する先行研究としては、推論過程の中に現れた数式を電卓で処理して計算結果を推論過程に埋め込む ことで計算間違いの問題を緩和する取り組み $[8]$ や、推論過程の生成中に知識検索を実行することで多段 の推論を要する質問応答を実行する取り組み [7] が ある。これらの先行研究はそれぞれ未熟な計算能力 と不完全な世界知識という大規模言語モデルが抱え る単一の問題に着目し、それに単一の外部ツールを 利用することで対処している。本研究の特徴は、大規模言語モデルによる推論時に複数の外部ツールの 利用を可能にすることで複数の問題に同時に対処す ることにある。

## 3 提案手法

本研究では、大規模言語モデルによる推論におい て、複数の外部ツールの利用を可能にする枠組みを 提案する。図 1 に提案手法の概要を示す。提案手法 では大規模言語モデルとして GPT-3 [3] を使用し、外部ツールを呼び出す文字列を含む推論過程が生成 されるように Chain of Thought プロンプティング [9] を行う。

プロンプトは、利用可能な外部ツールを明示し た説明文、いくつかの問題文と推論過程付きの解答 のペア (Few-Shot 事例)、解かせる問題文を結合し
て構成する。Few-Shot 事例として与える推論過程に は外部ツールの呼び出し方をアノテーションする。具体的には、<<外部ツール名 >> の文字列を外部 ツールを呼び出す文字列としてアノテーションし、 その直前に外部ツールへの入力を特定のフォーマッ トでアノテーションする。例えば、外部ツールとし て電卓（Calculator）を利用する場合、Few-Shot 事例 として与える推論過程の中で電卓を利用すべき箇所に <<Calculator>> の文字列をアノテーション し、その直前に電卓に与える数式をアノテーション する。

推論時は GPT-3 がプロンプトに従い、与えられた 問題文に対する解答を外部ツールを呼び出す文字列 を含む推論過程と一緒に生成する。その時、>>の 文字列が生成されたら生成を中断し、その直前の文字列から使用する外部ツールの名前とそのツールへ の入力を抽出、外部ツールを実行した後、その結果 を生成中の推論過程の末尾に追記する。これを新た な入力とし、GPT-3による推論過程の生成を再開す る。未知の外部ツール名が生成されたり、外部ツー ルの実行時エラーが発生したりすると外部ツールが 実行結果が得られない。その場合は外部ツールの出力結果に相当する部分も GPT-3 自身に出力させる。 GPT-3 が生成した推論過程付きの解答から最終的

な解答を抜き出す処理もプロンプティングで行う。具体的には、推論過程とその中に含まれる最終的な 解答のペアを Few-Shot 事例とするプロンプトを使用して、GPT-3 に推論過程から解答を抽出させる1)。

## 4 知識を要する数値推論への適用

提案手法の適用例として、本研究では専門知識を 要する数值推論に取り組む。具体的には、数值推論 データセット NumGLUE [10] の Task 2 に取り組む。問題例を例 (1) に示す。

(1) Find the amount of Calcium hydroxide that is required to react with 2 moles of Carbon dioxide to form 2 moles of Calcium carbonate along with 2 moles of Water.

NumGLUE の Task 2 は例 (1)のような化学の専門知識を要する数値推論の問題で大部分が構成される。 これを解くには、言語理解能力、計算能力に加え、化学反応式の作成能力と物質のモル質量の知識が要求される。

本研究では以下の外部ツールを実装し、提案手法 の枠組みで推論の実行時に利用することで本タスク を解く。

-電卓 (Calculator; CAL)：四則演算を中心とする 数式を大力として、その計算結果を出力する。計算結果は数式を Python の eval 関数 ${ }^{2}$ に に入力し て得る。数式中の演算子は Python の文法に合 わせて入力前に置換する。電卓を呼び出す際 は、<<Calculator>> の文字列を出力させる。入力の数式は同じ行に生成させる。
- 化学反応式予測器 (Chemical reaction predictor; CRP) : 反応物と生成物の化学式を入力として、化学反応式を出力する。化学反応式は、反応物 と生成物で各原子の数が同じになるように係数 を調整して得る。化学反応式予測器を呼び出す 際は、<<Chemical reaction predictor>>の文字列を生成させる。入力の反応物と生成物の化学式は直前の 2 行に出力させる。
- モル質量検索器 (Molar mass list; MML) : 化学式 を入力として、そのモル質量を出力する。化学

1）本研究の実験では、ほぼ常に最終的な解答が推論過程の最終行に含まれることが実験的に確認されたため、計算コスト 削減のため、推論過程の最終行を抜き出した上でこの手法を 適用した。

2) https://docs.python.org/3/library/functions.html\# eval表 1 NumGLUE の Task2 における性能。最良の結果を太字で示す。(†) は NumGLUE の論文 [10] からの引用。

式のモル質量は、各原子の質量に関する知識 ベースに基づき、化学式に含まれる原子とその 数から計算する。モル質量検索器を呼び出す際 は、<<Molar mass list>> の文字列を生成さ せる。大力の化学式は同じ行に出力させる。

図1 推論を実行する際に用いるプロンプトを 示す。説明文として、上記の 3 種類の外部ツール が利用可能なことが明示されたテキストを与える。 Few-Shot 事例には、問題文と推論過程付きの解答の ペアの例を与え、推論過程には上記の外部ツールを 利用するためのアノテーションを付与する。

## 5 実験

提案手法の有効性を確認するため、知識を要する 数值推論に提案手法を適用する。

## 5.1 データセット

数値推論データセット NumGLUE [10] の Task 2 を 使用する。4 節で説明した通り、主に化学に関する 専門知識を要する数値推論の問題で構成されてい る。問題の解答は全て数値である。評価にはテスト データの 325 問を使用する。評価指標は正解率で ある。

## 5.2 比較手法

本研究では GPT-3 (text-davinci-003; 175B パラメー タ3)）を使用し、以下の手法を比較する。

Zero-Shot 問題文のみをプロンプトとしてテキ スト生成を行い、その出力を予測とする。

Zero-Shot+CoT [12] 問題文に “Let's think step by step."を付け加えたものをプロンプトとしてテキス

図 2 手法ごとの出力の具体例。赤色のハイライトは誤った知識や誤った計算結果が生成された箇所を示す。緑色のハ イライトは外部ツールの利用によってそれらが改善した箇所を示す。

卜生成を行い、推論過程を伴う解答を得る。最終的 な予測は、生成された推論過程の末尾に“Therefore, the answer (arabic numerals) is”を追加し、それをプロ ンプトとしてテキスト生成を実行して得る。

Few-Shot 問題文の前に Few-Shot 事例として数例の問題文と解答のペアを結合したものをプロンプ トとしてテキスト生成を行い、その出力を予測とし て得る。

Few-Shot+CoT 提案手法と同じプロンプトを使用してテキスト生成を実行し、その出力を予測とし て得る。ただし外部ツールは使用せず、推論過程は 全て GPT-3 に生成させる。

Few-Shot+CoT+\{CAL|CRP|MmL $\}$ 提案手法と同じ プロンプトを使用してテキスト生成を実行し、その 出力を予測とする。推論時、電卓 $(\mathrm{CAL})$ 、化学反応式予測器 ( $\mathrm{CRP})$ 、モル質量検索器 ( $\mathrm{M} \mathrm{ML})$ のいずれ か一つの外部ツールを利用する。利用しない外部 ツールの実行結果は GPT-3 自身に生成させる。

Few-Shot+CoT+ALL 提案手法。電卓、化学反応式予測器、モル質量検索器の全ての外部ツールを使用して推論を実行する。

Few-Shot 事例として、学習データ中の 20 問を使用した。Few-Shot 事例は、外部ツールのアノテー ション数に偏りが出ないように人手で問題を選択 し、推論過程のアノテーションも人手で行った。 Few-Shot 事例の数が性能に与える影響については付録 Aを参照されたい。

## 5.3 結果

表 1 に結果を示す。提案手法は 85.85 ポイントの 正解率であり、現時点での最高性能を達成した。外部ツールを利用しない手法はもちろん、単一の外部 ツールを利用する手法と比べても、推論性能の大き な改善が確認された。

## 6 ケーススタディ

図 2 に提案手法による改善例を示す。CoT プ ロンプティングを使用しない Zero-Shot と FewShot は推論に失敗している。CoT プロンプティ ングに基づく Zero-Shot+CoT と Few-Shot+CoT は $\mathrm{Al} 2(\mathrm{CO} 3) 3$ のモル質量に誤りがあり、Few-Shot+CoT は $12 \times 3 / 342 \times 100$ の計算も間違っている。提案手法 の Few-Shot+CoT+ALL は外部ツールに頼ることで正 しいモル質量と数値計算に基づき正答できている。

## 7 おわりに

本研究では大規模言語モデルによる推論におい て、検索器や電卓等の複数の外部ツールの利用を可能にする枠組みを提案した。本論文ではその枠組み を化学の専門知識を要する数值推論タスクに適用 し、その高い有効性を確認した。提案の枠組みは汎用的であり、外部ツールを変更・拡張することで 様々なタスクに応用可能である。今後、異なるタス クにおいても提案手法の有効性を検証したい。

## 謝辞

この研究は JST、CREST、JPMJCR20D2 と厚生労

働科学研究費補助金 AC 事業 JPMW21AC5001 の支

援を受けたものである。

## 参考文献

[1] Andrew Gordon, Zornitsa Kozareva, and Melissa Roemmele. SemEval-2012 task 7: Choice of plausible alternatives: An evaluation of commonsense causal reasoning. In *SEM 2012: The First Joint Conference on Lexical and Computational Semantics - Volume 1: Proceedings of the main conference and the shared task, and Volume 2: Proceedings of the Sixth International Workshop on Semantic Evaluation (SemEval 2012), pp. 394-398, Montréal, Canada, 7-8 June 2012. Association for Computational Linguistics.

[2] Maarten Sap, Vered Shwartz, Antoine Bosselut, Yejin Choi, and Dan Roth. Commonsense reasoning for natural language processing. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: Tutorial Abstracts, pp. 27-33, Online, July 2020. Association for Computational Linguistics.

[3] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners. In Advances in Neural Information Processing Systems, Vol. 33, pp. 1877-1901. Curran Associates, Inc., 2020.

[4] Aitor Lewkowycz, Anders Johan Andreassen, David Dohan, Ethan Dyer, Henryk Michalewski, Vinay Venkatesh Ramasesh, Ambrose Slone, Cem Anil, Imanol Schlag, Theo Gutman-Solo, Yuhuai Wu, Behnam Neyshabur, Guy Gur-Ari, and Vedant Misra. Solving quantitative reasoning problems with language models. In Advances in Neural Information Processing Systems, 2022.

[5] Susan Zhang, Stephen Roller, Naman Goyal, Mikel Artetxe, Moya Chen, Shuohui Chen, Christopher Dewan, Mona Diab, Xian Li, Xi Victoria Lin, Todor Mihaylov, Myle Ott, Sam Shleifer, Kurt Shuster, Daniel Simig, Punit Singh Koura, Anjali Sridhar, Tianlu Wang, and Luke Zettlemoyer. OPT: Open Pre-trained Transformer Language Models. arXiv preprint arXiv:2205.01068, 2022.

[6] Aakanksha Chowdhery, Sharan Narang, Jacob Devlin, Maarten Bosma, Gaurav Mishra, Adam Roberts, Paul Barham, Hyung Won Chung, Charles Sutton, Sebastian Gehrmann, Parker Schuh, Kensen Shi, Sasha Tsvyashchenko, Joshua Maynez, Abhishek Rao, Parker Barnes, Yi Tay, Noam Shazeer, Vinodkumar Prabhakaran, Emily Reif, Nan Du, Ben Hutchinson, Reiner Pope, James Bradbury, Jacob Austin, Michael Isard, Guy Gur-Ari,
Pengcheng Yin, Toju Duke, Anselm Levskaya, Sanjay Ghemawat, Sunipa Dev, Henryk Michalewski, Xavier Garcia, Vedant Misra, Kevin Robinson, Liam Fedus, Denny Zhou, Daphne Ippolito, David Luan, Hyeontaek Lim, Barret Zoph, Alexander Spiridonov, Ryan Sepassi, David Dohan, Shivani Agrawal, Mark Omernick, Andrew M. Dai, Thanumalayan Sankaranarayana Pillai, Marie Pellat, Aitor Lewkowycz, Erica Moreira, Rewon Child, Oleksandr Polozov, Katherine Lee, Zongwei Zhou, Xuezhi Wang, Brennan Saeta, Mark Diaz, Orhan Firat, Michele Catasta, Jason Wei, Kathy Meier-Hellstern, Douglas Eck, Jeff Dean, Slav Petrov, and Noah Fiedel. PaLM: Scaling Language Modeling with Pathways. arXiv preprint arXiv:2204.02311, 2022.

[7] Shunyu Yao, Jeffrey Zhao, Dian Yu, Nan Du, Izhak Shafran, Karthik Narasimhan, and Yuan Cao. React: Synergizing reasoning and acting in language models. arXiv preprint arXiv:2210.03629, 2022.

[8] Karl Cobbe, Vineet Kosaraju, Mohammad Bavarian, Mark Chen, Heewoo Jun, Lukasz Kaiser, Matthias Plappert, Jerry Tworek, Jacob Hilton, Reiichiro Nakano, Christopher Hesse, and John Schulman. Training verifiers to solve math word problems. arXiv preprint arXiv:2110.14168, 2021.

[9] Jason Wei, Xuezhi Wang, Dale Schuurmans, Maarten Bosma, brian ichter, Fei Xia, Ed H. Chi, Quoc V Le, and Denny Zhou. Chain of thought prompting elicits reasoning in large language models. In Advances in Neural Information Processing Systems, 2022.

[10] Swaroop Mishra, Arindam Mitra, Neeraj Varshney, Bhavdeep Sachdeva, Peter Clark, Chitta Baral, and Ashwin Kalyan. NumGLUE: A suite of fundamental yet challenging mathematical reasoning tasks. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 3505-3523, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[11] Pengfei Liu, Weizhe Yuan, Jinlan Fu, Zhengbao Jiang, Hiroaki Hayashi, and Graham Neubig. Pre-train, prompt, and predict: A systematic survey of prompting methods in natural language processing. ACM Computing Surveys, 2022.

[12] Takeshi Kojima, Shixiang Shane Gu, Machel Reid, Yutaka Matsuo, and Yusuke Iwasawa. Large language models are zero-shot reasoners. In Advances in Neural Information Processing Systems, 2022.
表 2 NumGLUE の Task 2 における Few-Shot 事例の数を 変えたときの性能。最良の結果を太字で示す。

## A Few-Shot 事例の数が性能に与え る影響

Few-Shot 事例の数が性能に与える影響を調べた。表 2 に結果を示す。Few-Shot 事例の数を増やすこと で、外部ツールの利用の有無に関わらず、精度が向上することが確認された。なお、Few-Shot 事例は 20 例の時点で合計のトークン数が 3,000 近くあり、大規模言語モデルが処理可能なトークン長の制約か ら、Few-Shot 事例を増やすことによるこれ以上の性能改善は困難である。


# オープンドメイン質問応答における 文集合と位置情報を用いた抽出精度向上に関する検証

初鹿憂柴田千尋
法政大学 理工学部創生科学科
yu.hatsushika.2r@stu.hosei.ac.jp,chiro@hosei.ac.jp

## 概要

近年，BERT や Transformer を用いた深層学習モデ ルが様々な自然言語処理のタスクで高い精度を上げ ているが，質問応答もその例外には当たらない. 特 に，最近，鈴木ら [1] によって作成された日本語版質問応答データセットが公開されたことにより，日本語でも質問応答に関する研究を進めることが容易になった. 本研究では，日本語版質問応答データ セットを用いて Retriever-Reader とよばれる質問応答のためのモデルに対して，精度改善に向けた手法を 2 つ提案し，その結果を検討する. Retriever 側 は，質問文に対する関連度が高い記事候補を関連度 の高い順に抽出する。一方，Reader が正解の解答を 出力できる場合は，候補となる記事中に正解が含ま れている場合がほとんどであることが，上記データ セットを用いた実験の結果わかっている. したがっ て, Reader が出力する候補に正解が含まれる確率 を，なるべく上げることが重要となる。記事は通常多数の文を含むが，そのすべての文が質問文に関連 しているわけではない。そのため，同じ数のトーク ンを Reader に入力する場合，記事よりも文のほう がより多数の候補を入力することができる．本稿で は，提案手法の 1 つとして，Retriverに，記事の代わ りに文ごとに候補を抽出させることを提案する。

## 1 はじめに

近年，ニューラルネットワークを用いたモデルが クイズ形式の質問に対して高精度に解答する研究が 盛んに行われている [2]. これらの研究が進むことで 従来の検索システムに比べて，より自然な言葉での 質問応答が可能になると考えられている.

出題範囲に制限のない広範囲な一般常識が必要と なるようなクイズに対して，高精度で解答するため には，なるべくたくさんの知識を利用することが必要である。そのため，正解するためには膨大な記事 の中から，答えを含む可能性の高いものを抽出する プロセス，及び，抽出された記事のなかから，文脈 を考慮して答えとなる短いフレーズを導くためのプ ロセスが必要となる。

与えられた質問に対して答えを正しく導き出すた めに用いられる主な手法としては， Retriever-Reader モデルが挙げられる [3]. Retriever とはある記事集合から質問文の情報を用いて関連する記事を抽出す ることが行われ Reader では Transformerを元にした 言語モデルを用いて抽出した関連する記事から答え を導き出すことが行われる．正答数を上げるために は Retriever と Reader 両方の精度を上げる必要があ る. Retriever の精度は抽出した $N$ 件の記事の中に答 えを含んだ記事が含まれるかで測られ，Reader の精度は答えが出力できるかで測られる。今回の実験で は Retrieverに Dense Passage Retriever [4]を，Reader に Fusion-in-Decoder [5] を採用する。本研究では 2 つの手法を提案する. 1 つ目は Retriever に従来用い ていた記事集合を文ごとに分割した文集合を用い る. 2 つ目は抽出された記事に対して位置情報を用 いる.

## 2 関連研究

## 2.1 Retriever-Reader モデル

Retriever-Reader モデルは文を抽出する役割である Retriever と答えを生成する役割である Reader という 2 つの部分から構成されている. Retriever では記事集合と質問文の類似度を計算することによって全て の記事に対して質問文との関連度スコアを付け，ス コア上位から順番に抽出する。 Reader では抽出した 記事集合から, 答えとなるフレーズを Transformer モ デルにより生成する. 今回は埋め込み表現に変換し 連結させることにより言語モデルの入力として解答

を生成する。

図 1 Retriever-Reader モデル

## 2.2 DPR (Dense Passage Retriever)

DPR[4] は質問に対して関連する記事を大規模な 記事集合から意味的に抽出するモデルである. まず 質問文 $q$ と記事集合 $p$ に対して，BERT [6] を用いて 密なべクトル表現 $E(q), E(p)$ にエンコードする.次に式 1 のように内積を計算し関連性の高い記事を 順番に出力する.

$
\operatorname{sim}(q, p)=E_{Q}(q)^{T} E_{P}(p)
$

DPR の学習データセットは，Elasticsearch ${ }^{1)}$ を用 いて作られ, $\left(q_{i}, p_{i}^{+}, p_{i 1}^{-}, p_{i 2}^{-}, \cdots, p_{i N}^{-}\right)$で定義される. $q$ は質問文, $p^{+}$はポシティブパッセージ， $p^{-}$はネ ガティブパッセージを表す. モデルは式 1 の損失関数が最小になるように 2 つの BERT エンコーダを学習する. ポジティブパッセージとの類似度が高く, ネガティブパッセージとの類似度が低いほど損失関数は小さくなる.

$
\begin{aligned}
& \mathrm{L}\left(q_{i}, p_{i}^{+}, p_{i 1}^{-}, p_{i 2}^{-}, \cdots, p_{i N}^{-}\right) \\
& =-\log \frac{e^{\operatorname{sim}\left(q_{i}, p_{i}^{+}\right)}}{e^{\operatorname{sim}\left(q_{i}, p_{i}^{+}\right)}+\sum_{j=1}^{n} e^{\operatorname{sim}\left(q_{i} p_{i j}^{-}\right)}}
\end{aligned}
$

## 2.3 FiD (Fusion-in-Decoder)

Fusion-in-Decoder[5] は Retriever-Reader モデルの Readerとして用いられている。言語モデルをべース に作られており，質問文と記事から答えを生成でき る. Retriever 側で抽出された複数の記事をエンコー ドした後に連結することで複数の記事を大力可能に していることが特徴である。モデルとしては，一般

的な翻訳モデルと同じように, 次トークンの予測す るデコーダを用いている.

## 3 提案手法

提案手法としては，以下に述べるように，Retriever と Reader に対してそれぞれ 1 つずつ工夫を行なう.

## 3.1 文集合

記事集合として wikipedia などのクイズとは直接関連のない一般的な文書セットを用いた場合，記事 の中に多数の文が含まれ，さらに質問文の解答には 必要のない文も多数含まれている。例えば表 1 の例 に示すように, 質問「ゴルフボールの表面につけら れているくぼみのことをなんと言うでしょう」に 対し，正答が「ティンプル」であるような問題に対 して，「乱流」というタイトルの記事が抽出されて いる。記事には，3文含まれているが，回答には赤 く色付けした 2 文目のみが関係していると考えら える。

本研究では，関連する文をより多く正確に抽出す るために，分け方を記事ごとから文ごとにすること を提案する。具体的には Retrieverに用いる記事集合 を文集合に変更して，事前学習を行なう。文集合で

 \\

学習をした Retrieverを用いて文章抽出を行なう。

表 1 抽出した記事に含まれる文章の例

## 3.2 位置情報

もう一つの提案は，Readerの入力に関するもので ある．前述のように，Retriver は関連度の高い順に 記事を列挙する. Retriver が関連度が高いと推定し たとしても，必ずしも正答となるフレーズがその 記事の中に含まれているわけでは当然ないが，実際に，実験結果から，図 2 に示すように，Retriever

で抽出した記事を分析した結果，解答を含んだ記事が検索順位上位に集まる傾向が高いということ がわかる．そこで，情報の重要度を記事位置ごと 与えることで，精度が向上する可能性があるため， Reader に入力する際に位置情報を加える手法を提案 する. 方法としては記事の埋め込み表現に位置エン コーディングを加算する．位置エンコーディングは Transformer Encoder [7] の位置エンコーディングと同 じものを用いる.

図 2 解答が含まれる記事の分布

## 4 データセット

## 4.1 コンテキスト

記事集合や文集合といった DPR で抽出する際の 検索元のデータセットをコンテキストと呼ぶ.

## 4.1.1 記事集合

$\mathrm{AI}$ 王クイズ日本一決定戦に公開されていたウィ キペディアを用いて作られた記事集合を利用した。記事数としては 4,288,199 件のものを利用する. 実際， 1 件の記事サイズは大きいため, 段落ごとに 区切ったデータを記事集合として, 記事に段落が あった場合同タイトルの別の記事として保存されて いる。

## 4.1.2 文集合

今回記事ごとではなく，文ごとのインデックスを 作成するために，AI王クイズ日本一決定戦に公開さ れていたウィキペディアのデータとコードを用いて 集められていた記事集合を句点で区切り, 再度ラべ ルを付け直す。その結果，表 2 に示したようにラべ ルの総数が約 430 万件から約 2,000 万件に増加した.
このため記事または文べクトルを作成する際に約 5 倍の時間がかかった。

表 2 検索インデックスの総数

## 4.2 訓練データ

本研究では $\mathrm{AI}$ 王クイズ日本一決定戦で公開され ていた質問応答タスクの日本語データセットを用 いる. JAQKET [1]をもとにして作られている. 訓練データセットとして 22,335 件の質問文と解答が 含まれている。また，質問文に対して Elasticsearch を用いることで正解が含まれている記事であるポ ジティブパッセージを抽出する. さらにネガティブ パッセージとして回答が含まれていない記事を付与 する. Retrieverの訓練データは質問文, $p^{+}$はポシ ティブパッセージ， $p^{-}$はネガティブパッセージを 用いて $\left(q_{i}, p_{i}^{+}, p_{i 1}^{-}, p_{i 2}^{-}, \cdots, p_{i N}^{-}\right)$で定義される.

Readerにおける訓練データは，質問文を Retriever に入力し検索をかけて得られる記事, 記事タイト ルと質問文を上位 $\mathrm{N}$ 件まで組み合わせて作る. 評価データは JAQKET から訓練データに含まれない 1,000 件の問題を利用して，同様にして作られる.

## 5 実験

## 5.1 実験設定

表 3 亿示したハイパーパラメータを基準として コンテキストと Reader の入力情報に対して変更 を加えて提案手法の有効性を検証する． Retriever に事前学習済みの日本語 BERT ${ }^{2}$ を用いた Dense Passage Retriever, Readerに事前学習済みの日本語 $\left.\mathrm{T} 5^{3}\right)$ を用いた Fusion-in-Decoder を採用する。また， Fusion-in-Decoder に入力するコンテキスト数は 50 と 100 で実験を行う.

## 5.2 抽出精度の比較

記事ごとのインデックスを使用した基準モデルと 文ごとのインデックスを使用したモデルに関して比較実験を行なった，結果は表 4 のようになり，数値 は，上位 $N$ 件までの記事または文を抽出した際に，

表 3 ハイパーパラメーター

答えが含まれた記事が抽出された割合を示す.イン デックスのサイズは表 2 より文集合は記事集合の 4 から 5 倍であるため，コンテキスト 1 つ当たりのサ イズは小さいと推測される. 文ごとで精度が約 0.85 になるのは上位 100 件の時であるのに対して記事ご とでは上位 50 件の時であるため, 抽出精度が同等 に達するために必要なコンテキストの差は 2 倍であ る.そのため，少ない量の文で解答を抽出できてい ることが分かる.

## 5.3 解答生成精度の比較

次に記事集合を用いて学習させた FiD と文集合を 用いて 60,000 ステップ学習させた FiD に対して評価を行う. 結果は表 5 のようになった. 記事集合でテ キスト数 50 の時と, 文集合でテキスト数 100 の時 を比較すると表 4 より解答を含んだコンテキストの 数は同等であったが精度は記事集合の方が高いが,実際に Reader 入力されている文数やトークン数は，文集合のほうが少ないため，入力する文数やトーク ン数を揃えて，精度を比較をする必要がある.

表 5 FiD の結果

## 5.4 位置情報を入力した結果

DPRを用いて抽出した記事 50 件に対して Transformer の位置エンコーディング [7] を参考に位置情報を追加する. 位置情報を加えたモデルと基準 モデルに対して 90,000 ステップ学習する. 位置情報 を加えて学習された FiDに対して行なった評価を表 6 に示す。

次に DPR を用いて抽出した文 50 件， 100 件に対 して位置エンコーディングを加えて 60,000 ステッ プ学習する. 位置情報を加えて学習された FiD に対 して行なった評価を表 7 に示す. 表よりわかるよう に，少なくとも本稿で述べた位置情報の入力の手法 では，精度向上に寄与しないことがわかる.

表 7 文集合と位置情報を用いた結果

## 6 結論

本稿では，コンテキストとして用いていた記事集合を文集合に変えたることにより，DPR での抽出精度がどのように変化するかを検討した．その結果，少ない文章数で解答を含めることができている と言える。一方で，FiD で記事集合と文集合で解答 を含むコンテキストを抽出する精度が同等であった 場合は, Reader の精度は記事集合の方が高くなって いる事がわかる.これは，記事集合の場合は，入力 の文数が少なくなっているためであり，入力の文数 やトークン数を揃えた上で比較する必要があるた め，フューチャーワークとする．位置情報の入力に 関しては, 精度の改善は認められなかったが，問題 それぞれで分布が少しずつ変わっている可能性があ るため，今後は広い範囲に対して位置情報を取る改善が必要である.

今後の展望として,コンテキストを増やして記事集合と文集合の比較実験を行うことを考えている.位置情報に関しては抽出データに対して更に分析を 行う必要がある. また Retriever-Reader モデルにおい て FiD の出力精度を向上させるために DPR で抽出 する情報の性質を検証する必要がある.

## 謝辞

今回研究するにあたり，町田秀輔氏には実験の準備やコードのエラーの解消に助言を頂いたこと深 く感謝申し上げます。本研究の一部は JSPS 科研費 JP18K11449 の助成を受けたものです.

## 参考文献

[1] 鈴木正敏, 鈴木潤, 松田耕史, 西田京介, 井之上直也. Jaqket: クイズを題材にした日本語 qa データセットの 構築. 言語処理学会 第 26 回年次大会 発表論文集, pp. 237-240, 2020.

[2] Ai王クイズ日本一決定戦，（2022-9 閲覧）.https:// sites.google.com/view/project-aio/competition3.

[3] Fengbin Zhu, Wenqiang Lei, Chao Wang, Jianming Zheng, Soujanya Poria, and Tat-Seng Chua. Retrieving and reading: A comprehensive survey on open-domain question answering, 2021.

[4] 加藤拓真, 宮脇峻平, 西田京介, 鈴木潤. オープンドメ イン qa における dpr の有効性検証. 言語処理学会 第 27 回年次大会 発表論文集, pp. 1403-1407, 2021.

[5] Gautier Izacard and Edouard Grave. Leveraging passage retrieval with generative models for open domain question answering. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics, pp. 874-880, 2021.

[6] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert:pre-training of deep bidirectional transformers for language understanding. In In NAACL-HLT, 2019.

[7] Denis Rothman, 黒川利明 (訳). Transformer による自然言語処理. 朝倉書店, 2022.