# Web 文書からの用語検索における用語候補のランキングの検討

池内省吾 ${ }^{1}$ 南條浩輝 ${ }^{2}$ 馬 青 1
1 龍谷大学理工学研究科 2 京都大学学術情報メディアセンター
${ }^{1}$ t20m002@mail.ryukoku.ac.jp ${ }^{2}$ nanjo@media.kyoto-u.ac.jp ${ }^{1}$ qma@math.ryukoku.ac.jp

## 概要

適切な用語を用いないと正確な問い合わせが行 えないことがある。我々は，適切な用語がわからな いユーザの支援の研究を行っている. 具体的には， ユーザからの用語に関する説明文を検索質問として Web 検索を行って，Web 文書から用語を抽出する $「$ Web 文書からの用語検索」を研究している. 本稿 では，Web 文書群から得た用語候補のランキングに ついて述べる.

## 1 はじめに

用語検索は，用語を説明する説明文から用語を求 める処理である. 辞書逆引き [1] とは，説明文と近 い定義文を見つけてその見出し語を求める処理であ り，辞書に掲載されている語に対する用語検索は，辞書逆引きで求めることが可能である。一方，新語 や専門用語は辞書形式で定義されていないことがあ る.そこで，我々はユーザによる説明文を検索質問 として一般の Web ページを検索し，そこから用語抽出を行う「Web 文書からの用語検索」の手法を提案 している [2]. 本稿では, 用語検索において出力す る複数の用語候補のランキング方法について検討を 行った結果を報告する.

## 2 Web 文書からの用語検索

我々が提案している BERTを用いた Web 文書か らの用語検索 [2] について述べる。これは以下の 3 つの処理を順に適用して用語を求めるものである.

1. Web 文書検索: 与えられた説明文からなる検索質問で Web 検索を行い，Web 文書集合を取得 する

2. 用語候補抽出: Web 文書集合それぞれの文書に ついて，与えられた検索質問と文書中のテキス トを連結して BERT に入力し，質問応答の枠組 みを利用して用語候補を抽出する。
3. 用語候補ランキング: 得られた用語候補をラン キングして出力する

## 2.1 Web 文書検索

本研究では, Web 文書として Google スニペット を用いる. Google スニペットは, Goolge 検索エンジ ンに検索質問を入力して得られる検索結果ページに おいて，検索結果の Web ページのタイトルや URL の下に表示される短い説明のことである ${ }^{1)}$. Google スニペットの取得は， Google API Client Libraries [3] を用いて行う。

## 2.2 用語候補抽出

用語候補抽出には BERTを用いた質問応答の枠組 みを用いる。具体的には，SQuAD 2.0 [4] で用いら れた方法 [5] を用いる。これは，質問 $q$ と文書 $d$ を 連結させたもの（[CLS] $q[\mathbf{S E P}] d)$ に対して, 解答可能な場合には文書中の正解の開始位置と終了位置（Start/End）を出力するように，解答不可能な場合には開始位置と終了位置として [CLS] の位置を出力するように BERTを学習 (fine-tuning) するもので ある. 本研究では, BERT の日本語 Pretraining モデ ルとして，京都大学提供 BERT（BERT-BASE-WWM 版 $)^{2)}$ を用いる.

## 2.3 用語候補ランキング

得られた用語候補を何らかの方法でランキング （順位づけ）し，出力する. 我々は, 以前の研究 [2] において頻度に基づいたランキングを行ったもの の，他のランキング手法を検討していなかった. 本研究ではこの検討を行う.

## 3 実験のデータ

## 3.1 用語検索用の検索質問

これは，先行研究 [2] で本タスクのために作成され たものである.

## 3.2 用語抽出用 BERT の学習データ

用語抽出用 BERT の学習データとして，解答可能性付き読解データセット [6] を使用する。これは，文書読解タスク用のデータセットであり，(質問，解答，文書）の組に対して，解答可能性スコアがつ けれらている. 解答可能性スコアは, 文書読解に よって質問に答えることができるかについて人手で 判断されたスコアである. このデータセットの（質問 $q_{i}$, 解答 $a_{i}$, 文書 $d_{i}^{k}$ ) の組について, 質問 $q_{i}$ に 対する解答 $a_{i}$ (本研究での用語) は文書 $d_{i}^{k}$ に必ず 含まれている。一つの質問・解答について複数 $(k)$ の文書が用意されている. 読解タスクにおいては解答不能文書が定義されているが，これは解答を含ま ないという意味ではなく，解答根拠が存在しないと いう意味である。

本研究での用語検索では解答根拠は不要である. さらに，求めた Web 文書に用語が存在しない場合も ある。そこで，読解タスクのデータセットそのもの を学習に使うのではなく, 次のように修正して学習 データとする。

1. 解答可能データ集合: 文書読解タスク用データ セットの $\left(q_{i}, a_{i}, d_{i}^{k}\right)$ の組を全て解答可能デー 夕集合とする． $a_{i}$ の $d_{i}^{k}$ における開始位置と終了位置を BERT に学習させる.

2. 解答不能データ集合: 文書読解タスク用データ セットの $\left(q_{i}, a_{i}, d_{i}^{k}\right)$ の組に対して， $d_{i}^{k}$ を別 の $q_{j}$ に対応する文書 $d_{j}^{l}(j \neq i)$ に置き換えたも のを解答不能データ集合とする ${ }^{3)}$ 。開始位置と 終了位置を共に [CLS] の位置として BERT に学習させる。

## 4 用語候補ランキング

Web 文書からの用語検索では，検索質問と各 Web 文書を連結した文字列を BERT に入力して用語候補を求め，その候補をランキングして出力する（図
$ が含まれていないことも確認する.
}

図 1 複数文書からの用語候補の抽出とランキング

1).

最も単純なランキング手法として頻度に基づくも の（多数決）がある. 実際に，我々も以前に多数決方法による用語検索を行った [2] ものの，他のラン キング手法は十分に検討できていなかった. このよ うな背景に基づき，本研究では多数決方式と他の 4 種類ランキング方法（下記）を検討する。

1. Maj (Majority): 多数決（頻度）に基づいてラン キングを行う。

2. T-TSum (Sum of Term-Term similarities): 用語候補間で類似度をとり，その和に基づいてランキ ングを行う。これは用語候補の内でもっとも中心となるような用語が目的の用語であることを 期待するものである.

3. Q-T (Qery-Term similarity): 検索質問（単語列） と用語候補（単語）との類似度に基づいてラン キングを行う．正解用語と検索質問は同じ意味 を表していると仮定し，両者の類似度を直接求 めることで目的の用語が求められると期待する ものである.

4. Q-T ${ }_{s n i}$ (Query-Term_snippet similarity): 検索質問 (単語列) と用語候補のスニペット（単語列） との類似度に基づいてランキングを行う．正解用語による検索で得られるスニペットを正解用語の説明とみなし，これが検索質問と近いと期待するものである.
5. $\mathbf{Q}_{s n i}-\mathbf{T}_{s n i}$ (Query_snippet-Term_snippet similarity): 検索質問のスニペット（単語列）と用語候補のスニペット（単語列）との類似度に基 づいてランキングを行う．両者ともにスニペッ トとすることで，正解用語と検索質問間で高い 類似度が得られることを期待するものである。

Maj 以外のランキング手法についての概要を図 2 から図 5 に示す.

本研究では，「Xのスニペット」として，Xを検索 クエリとして，Google API Client Librariesを用いて 1 件だけ取得したものを採用した。

本研究では, 用語候補 (単語) や検索質問（単語

図 2 T-Tsum (Sum of Term-Term similarilites)

図 4 Q-T ${ }_{s n i}$ (Query-Term_snippet similarity)

列)，それらのスニペット（単語列）間の類似度を 求めるために，これらを同一次元のベクトル（分散表現）で表現する. 分散表現は，用語候補，検索質問，スニペットを同一に扱い（それらを string と する)，[CLS] string [SEP] を BERT に入力して求め る. 具体的には, 各 token に対応する BERT の出力 embedding の平均値（average pooling）を求める. べ クトル間の類似度はコサイン距離とする。

## 5 実験結果と考察

23 件の検索質問を用いて用語検索を行った. 図 1 に示す通り各質問について M 件（最大 100 件）の Web 文書を検索し, 各 Web 文書から 1 件の用語候補 を取り出して重なりをとり，用語候補の集合（図1 の $\mathrm{N}$ 件）を得た. この用語候補中に正解の用語を含 むものは 17 件，含まないものは 6 件であった. こ の 6 件に関してはどのようなランキング手法を適用 しても正解を上位にランクすることはできない. 求 める Web 文書数を多くし，各文書から複数の用語候補を出力するなどが必要であることがわかる.

はじめに多数決ランキングを行った. 用語候補中 に正解を含むもの 17 件のうち 11 件で正解の用語が

図 3 Q-T (Query-Term similarity)

図 $5 \mathrm{Q}_{s n i}-\mathrm{T}_{s n i}$ (Query_snippet-Term_snippet similarity)

1 位であった。残りの 6 件は， 3 位， 3 位，4 位，5 位，6位，13 位であった. 結果は表 1 の Majに示さ れている。23 件に対する平均逆順位 (MRR) は 0.54 であった（表 2). 1 位ではない 6 件については，正解の用語に代わって検索質問に関係はするものの別 の語が上位に来ていることが多い. 例えば，正解用語が「バナナ」である時には，「マンゴー」や「み かん」が上位にランクされていた． 4 位以降も「パ パイヤ」「ぶどう」「パイナップル」と続き，バナナ と同じカテゴリの果物が続く. 検索質問が曖昧で,抽出する用語が絞りきれない時には，このようなこ とになると考えられる。用語「アイシャドー」に対 しては，「目元」「アイ」「ニベア」「油分」「アイスク リーム」が上位にランクされており，化粧品とは別 カテゴリの食品カテゴリの語が含まれていた. 用語「コールドゲーム」に対しては，「野球」「ヤクルト」 $「 3$ 月 21 日」「甲子園球場」「8 試合」「順延になった」「9月 20 日」などが上位にランクされており，野球 に関する用語が抽出されていると考えられるが，日付などの別のカテゴリと考えられる語も含まれてい た.これらに対しては，用語間の類似度や用語と検索質問の類似度を求めることで明らかに異なる候補
表 1 用語ごとの検索結果

正解となる用語の出現順位を表す * : 順位が 100 件以内に正解がなかった

であるもの（食品や日付など）を除くことができる 可能性がある.

次に，類似度に基づく 4 種類のランキングを行っ た. MRR は $0.05 \sim 0.13$ と低いものであった. この 結果も表 2 に示されている.

T-TSum では，多数決で上位にランクできるもの については低いランクをつけてしまったものの，多数決ランキングで低いランクのものについて，よ り高いランクに出力できていた。実際に多数決で 6 位のアイシャドーは 5 位に，13 位のコールドゲー ムについては 7 位にランクすることができた（表 1 T-TSum).

Q-T では，単語列（検索質問）と単語（用語候補） との間で類似度をとろうとしており，うまく働かな かったものと考えられる。

を取り出して，単語列同士の類似度を測った. Q-T表 2 各手法による MRR の値

よりも類似度の求め方としては適切と考えられる が，課題が大きいことがわかる。

$\mathbf{Q}_{s n i}-\mathbf{T}_{s n i}$ では，用語候補と検索質問の双方からス ニペット（単語列）を取り出して，単語列同士の類似度を測った。検索質問のスニペットが正解用語の スニペットと類似し，かつそれ以外の用語候補のス ニペットと類似しないことを期待したが，そのよう なスニペットの取得に課題があったと考える.

## 6 まとめ

用語検索において出力する複数の用語候補のラン キング方法について検討を行った. 多数決によるラ ンキングが精度が高かった. 類似度に基づく手法そ れ自体は高精度ではなかったが，多数決手法が苦手 とするようなものに対して高いランクに出力できる 可能性があることがわかった. 今後は多数決手法と 類似度に基づく手法の併用による用語検索の高精度化を検討していきたい.

謝辞: 本研究は科研費基盤研究 (C) 19K12241 の補助 を受けた。

## 参考文献

[1] 粟飯原俊介, 長尾真, 田中久美子. 意味的逆引き辞書『真言』. 言語処理学会第 19 回年次大会発表論文集, pp. 406-409, 2013

[2] 池内省吾, 南條浩輝, 馬青. BERT を用いた Web 文書か らの用語検索. 情報処理学会研究報告 Vol.2021-NL249, pp. $1-6,2021$.

[3] Google. Google API Client Libraries. https:// developers.google.com/api-client-library.

[4] Pranav Rajpurkar, Robin Jia, , and Percy Liang. Know What You Don' $t$ Know: Unanswerable Questions for SQuAD. $A C L$, Vol. 2, p. 784-789, 2018.

[5] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL, Vol. 1, p. 4171-4186, 2019.

[6] 鈴木正敏, 松田耕史, 岡崎直観, 乾健太郎. 読解による 解答可能性を付与した質問応答データセットの構築.言語処理学会第 24 回年次大会, pp. 702-705, 2018.

## A 付録

表 A 作成した検索質問 23 件


# 深層距離学習で最適化した文の埋め込み表現による 未知クラスを含む日本語テキスト分類

大段 秀顕林 岳晴 竹中一秀湯浅 晃
株式会社NTT データ
\{ Hideaki.Odan, Takeharu.Hayashi, Kazuhide.Takenaka, Akira.Yuasa\}@nttdata.com

## 概要

一般に「学習データに存在しない未知のクラス」 を含む分類は難しいが，深層距離学習により特徴空間上でのクラスごとの分布を最適化すれば，分類精度の向上が期待される. 本研究では未知クラスを含 む日本語テキストの分類問題に対して, 深層距離学習で最適化した BERT ベースの文の埋め込み表現を 用い，平均 $\mathrm{k}$ 近傍距離による分類を行った。これに より BERT 文書分類の確信度ベースの手法や，他の 文の埋め込み表現モデルを使用した場合と比較して，高い精度を達成した. また一般に難しいとされる「1 クラスあたりのデータ量が少ない場合」「不均衡な 場合」「クラス数が多い場合」であっても他の手法 を上回る精度が得られ，実用性の高さを示した。

## 1 はじめに

一般的な機械学習の分類モデルでは，評価デー夕 には「学習データに存在した既知クラス」しか存在 しないことを暗黙の前提としている。そのため評価 データに「学習データに存在しない未知クラス」が 存在し，「対象データが既知クラスか未知クラスを 判定したうえで正しく分類するタスク」は，通常の 分類モデルとは異なるアプローチが必要になる[1].実際，これに対するナイーブな手法として「分類モ デルの確信度スコアが十分低い場合に未知クラスと してみなす方法」が考えられるが，確信度スコアが 過剰に高くなるケースが知られており[2], 高い精度 での分類は難しいと想定される。

そこで本研究では画像領域でよく使用される深層距離学習に注目した. 深層距離学習では特徴空間上 で各クラスの分布を最適化し，互いにより識別可能 になるような特徵量抽出が可能になる。ここで未知 クラスの識別が既知クラスの識別と同じ観点の延長線上で可能と仮定するならば，深層距離学習により 未知クラスを含む分類の精度向上が期待される.

本研究の新規性は，未知クラスを含む日本語テキ スト分類タスクにおいて深層距離学習で最適化した 文の埋め込み表現を用い，既存手法との比較検証を 行ったことである. 本提案手法で上記タスクを検証 した文献は，著者の知る限り存在しない。具体的に は，深層距離学習の損失関数 AdaCos[3]を用いて，文の埋め込み表現モデル Sentence-BERT (SBERT) [4]を訓練し，最適化したベクトルに対して平均 $\mathrm{k}$ 近傍法による分類を行い，性能を評価した。またデー 夕特性に応じた性能の変化も併せて調査した。

## 2 関連研究

## 2.1 文の埋め込み表現生成モデル

文の埋め込み表現 (Sentence Embedding) 生成モデ ルとは，文の意味を数值的なべクトルに変換するモ デルのことである. 最も単純なものとして TFIDF や,事前学習した単語の埋め込み表現 (word2vec, Glove[5], fastText[6] など)を加重平均する方法 [7][8][9]がある.このほか転移学習可能なユニバーサ ルな表現を得ることを目的とした研究が多く存在す る. 例えば InferSent[10], Universal Sentence Encoder (USE)[11], SBERT などである.いずれも Stanford Natural Language Inference という自然言語推論用デ 一タセットで教師あり学習を行っているが，モデル の構造が異なる．InferSent は双方向 LSTM, USE で は Transformer もしくは DAN, SBERT では BERT を 用いている。論文[4]では Semantic Textual Similarity タスクにおいてこれら手法を比較しており，SBERT が最も高い精度となっている。

## 2.2 深層距離学習

深層距離学習（Deep Metric Learning）とは，特徵
空間上で同じクラスをより近くに，異なるクラスを より遠くに配置するような変換を学習させる手法の ことである. このため互いにより識別可能な特徴量抽出が可能になる. 主な応用タスクとして, 画像領域での顔認証[3][12] [13]や異常検知[14]などがある.

深層距離学習の損失関数には複数手法が提案され ている. 基本的なものとして Contrastive Loss, Triplet Loss が挙げられるほか, 最近では分類モデルのアー キテクチヤをそのまま適用しながら Softmax 関数を 改良した角度ベースの損失関数（CosFace[12]， ArcFace[13], AdaCos など）も提案されている.

## 3 提案手法

まず文の埋め込み表現生成モデルとして, 高い精度を持つSBERT を用いる. ただし元論文[4]と異な り, 自然言語推論データセットではなく、対象タス クのデータセットを用いた深層距離学習によるファ インチューニングを行う。これはユニバーサルな表現よりも，特定のタスクに特化した表現の方が高い 精度を実現できると考えたためである.

次に深層距離学習の損失関数についても, 最適な ものを選択した。まず Contrastive Loss, Triplet Loss は学習過程のサンプル選択依存性が高く, 收束や精度が安定しないため採用しなかった。一方で角度べ 一スの損失関数の多くはハイパーパラメータ依存性 が高い.今回は中でもハイパーパラメータを自動調整できる AdaCos を採用した.

最後に深層距離学習で最適化された埋め込み表現 を平均 $\mathrm{k}$ 近傍距離で分類する. 具体的には, まず学習・テストデータの埋め込み表現を出力し, 特徴空間上にマッピングする. その後, 各テストデータ点 の学習データ点に対する平均 $\mathrm{k}$ 近傍距離を算出する。平均 $\mathrm{k}$ 近傍距離が閾値以上のものを未知クラスとし， それ以外については $\mathrm{k}$ 近傍法による多数決で所属ク ラスを推論した. なお近傍点数 $\mathrm{k}$ として $\mathrm{k}=\min (\mathrm{N}, 5)$ を採用した（Nは最小クラスサイズ）.

## 4 実験設定

## 4.1 データセット

本研究ではデータ特性に応じた性能評価を行うた め，表 1 に示す 4 種類のデータセットを用意した.

まず共通するデータソースとして Yahoo! 知恵袋 データ（第2版）[15]を用いた。これは，ヤフー株式会社が国立情報学研究所に提供しているデータセ
ットで，大/中/小分類カテゴリ・質問文・回答文等 から構成される. 本データセットは量が多いものの,整っていない日本語テキストも多く含まれるため, なるべく品質が高いと思われる「質問ステータス：質問者による知識」「役立つ質問」「BA 不適合投票率：0」「回答ステータス：質問者による BA」を 満たすデータのみを使用した。また分類対象テキス トとしては質問文と回答文を結合したものを用い，正解ラベルは中分類カテゴリを選択した.

この共通データソースに対して，さらに既知/未知 クラスの量を調整することで， 4 種類のデータセッ トを準備した。これらは実験\#1 をべースラインに，以下を評価するために用意している：

- 実験\#2 : クラス当たりのデータ量が少ない場合

- 実験\#3 : クラスごとのデータ量が不均衡な場合

- 実験\#4 : クラスごとのデータ量が非常に不均衡 で, ごく少量データのクラスも存在し，かつ全体のクラス数も多い場合（最も難しい場合）

## 4.2 前処理

ノイズ除去のため,「改行コードの除去 」「HTML 特殊文字コードの復元」「HTML タグの除去」「URL 文字列の除去」「ファイルパス文字列の除去」「正規化」「数字のゼロ置換」を実施した.

## 4.3 モデル

実験では提案手法のほかに，以下の目的のもと，比較用モデルを 5 つ用意した。

- 未学習 SBERT : SBERT のモデル構造ではなく,深層距離学習自体の効果を測るため.

- TFIDF, fastText, USE : ユニバーサルな文の埋め 込み表現生成モデルと比較するため.

- BERT 文書分類 : 分類モデルによるナイーブな 実現手法と比較するため.

これらのらち BERT 文書分類以外のモデルについ ては, 提案手法と同様に埋め込み表現を平均 $\mathrm{k}$ 近傍法によって分類した。一方で BERT 文書分類は異な る手法で分類を行ったので後述する.

## 提案手法 東北大学・乾研究室の日本語 BERT

(cl-tohoku/bert-base-japanese-v2) iをべースに, sentence-transformersiiライブラリを用い, BERT 出力

を平均プーリングする SBERT モデルを用意した.深層距離学習は $A d a C o s$ の損失関数を実装し，バッ チサイズ 4, 最適化関数 AdamW, 学習率 5e-5, スケ ジューラ WarmupLinear, 重多減衰係数 0.01 , patience10 回の早期終了の条件のもと行った.

未学習 SBERT 提案手法と同じ日本語 BERTをべ 一スとした SBERT を用いたが，比較のためファイ ンチューニングを行わない状態とした.

TFIDF MeCab[16] (mecab-ipadic-neologd[17]辞書) を用いてテキストを形態素解析し, 品詞フィルタ処理として「名詞_サ変接続」「名詞_ナイ形容詞語幹」「名詞_一般」「名詞_形容動詞語幹」「名詞_固有名詞」「動詞_自立」「形容詞_自立」のみを残し，原形化を行った単語群を用いて, 埋め込み表現を求め た.

FastText TFIDF と同様の前処理を実施後, 各単語 を fastTextiiiライブラリで単語ベクトル化し, TFIDF 値を重みとして加重平均して, 埋め込み表現を求め た. fastText モデル自体は, 2020/9/2 時点での日本語 Wikipedia ダンプに対して WikiExtractorivで XML タ グを除去したのち MeCab (mecab-ipadic-neologd 辞書）で分かち書きしたデータを, skip-gram 方式・300 次元で学習させたものを用いた.

USE TensorFlow Hubに存在する多言語モデル un iversal-sentence-encoder-multilingual-large(v3)vt使用 して，埋め込み表現を求めた。

BERT 文書分類 提案手法と同じ日本語 BERTを

書分類クラスを用いて, バッチサイズ 32 , 最適化関数 Adam, 学習率 5e-5, patience10 回の早期終了の条件のもと学習させたものを用いた. また分類手順と しては，まずテストデータに対して各既知クラスに 該当する確信度スコアを出力した。次に「確信度ス コアが十分低いとみなす条件」を満たすものについ ては未知クラスを割り当て, それ以外は確信度スコ アが最大のクラスへ割り当てるように推論した。な お，「確信度スコアが十分低いと見なす条件」とし て, 「確信度スコアの最大値が閾値以下」「確信度 スコアの最大値と次点の差分が閾値以下」の両方を

実験したが，今回は精度の良かった前者を採用して いる.

## 4.4 評価方法

既知未知判定の単独精度 まず単純な既知/未知ク ラスの 2 值分類の識別能を評価した. その際，テス トデータにおける既知/未知クラス比率は $1: 1$ に設定 していること，また閾値選択によらない評価を行い たいことを鑑み，評価指標として AUROC（Area Under Receiver Operating Characteristic Curve）を採用 した.

未知クラスを含む分類精度 次に未知クラスも含 め全クラスを正しく推論できるかどうかを accuracy で評価した。なお本評価を行うためには, 既知未知判定を確定させるため, 間値を選択する必要がある.本番適用する場合であれば，テストデータの正解ラ ベルは不明のため, 閾値は平均 $\mathrm{k}$ 近傍距離もしくは 確信度スコアの分布だけから決定すべきである。し かし今回はあくまで各モデルの潜在能力を評価する ことが目的のため, 正解ラベルが所与として精度最大となる閾値を選択したうえで評価したvii.

## 5 実験結果

実験結果を表 2 に示す.ここから以下が分かる：

- 全ての実験条件・評価指標にて, 本提案手法が 最大精度を達成できている.

- 特に実験\#2 4 は, 実験\#1 と比べて「1クラス当 たりのデータ量が少ない」「クラスごとのデー 夕量の不均衡性がある」「クラス数が多い」ケ 一スとなっている．ビジネス利用を想定すると 実際のデータでは不均衡であったり, データ量 が十分になかったり, クラス数が多い場合があ ることを考慮すると，提案手法はいずれの場合 も比較的高い精度を実現でき，実用性が高いと いえる.

- 本提案手法と未学習 SBERT を比較すると, 全 ての実験条件・評価指標にて 20～30\%近くの差分が出ている. ここから SBERT のモデル構造 ではなく, 深層距離学習自体による性能向上効果が非常に高いことが分かる.
$ 近傍距離は既知/未知クラスで值が乘離するため, $\mathrm{M}$字型の分布をすることを別実験で確認している.このよう な場合であれば M 字の真ん中の極小点を間值として選択 できる.
}

- 他のユニバーサルな表現生成モデルと比較し ても，本提案手法が優れており，特定のタスク に特化した表現の方が高い精度を実現できる という仮説通りといえる.ただ USE については 比較的高い精度となっており, ある程度の性能 で十分な場合には, ファインチューニング不要 な USE も選択肢の一つと言える.

- 本提案手法と BERT 文書分類モデルを比較する と, 1クラス当たりの学習データ量が少なくな る場合（実験\#2, \#4）に BERT 文書分類モデル が大きく性能劣化するのに対して, 本提案手法 は性能劣化が少ないことがわかる.ここから同 じ BERT ベースでも, 深層距離学習により少量 データに対する頑健性が高くなっていること がわかる.

## 6 おわりに

本研究では未知クラスを含む日本語テキストの分類問題に対して, 深層距離学習で最適化した文の埋 め込み表現を用いることで，一般に難しいとされる ケースでも既存手法と比べて高い精度を達成でき，実用性が高いことを示した。

今後の改善としては, BERT 以外のベースモデル や他の損失関数への拡張が考えられる. また本提案手法は正解ラベルを必要とするが，自然言語処理で は正解ラベルのアノテーションコストが高いという 課題がある。そこで日本語テキストに対する data augmentation を適用することで, 教師なしの対照学習へと拡張することも考えられる。

表 1 実験条件

} & \multicolumn{2}{|c|}{} & \multicolumn{2}{|c|}{} & \multicolumn{2}{|c|}{ 実験\#4 } \\

表 2 実験結果

} & \multirow[t]{6}{*}{ AUROC } & 本提案手法 & 0.89 & 0.81 & 0.85 & 0.77 \\

## 謝辞

本研究では，国立情報学研究所の IDR データセッ 卜提供サービスによりヤフー株式会社から提供を受 けた「Yahoo！知恵袋データ (第 2 版）」を利用した.

## 参考文献

[1] GENG, Chuanxing; HUANG, Sheng-jun; CHEN, Songcan. Recent advances in open set recognition: A survey. IEEE transactions on pattern analysis and machine intelligence, 2020.

[2] GUO, Chuan, et al. On calibration of modern neural networks. In: International Conference on Machine Learning. PMLR, 2017. p. 1321-1330.

[3] ZHANG, Xiao, et al. Adacos: Adaptively scaling cosine logits for effectively learning deep face representations. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2019. p. 10823-10832.

[4] REIMERS, Nils; GUREVYCH, Iryna. Sentence-bert: Sentence embeddings using siamese bert-networks. arXiv preprint arXiv:1908.10084, 2019.

[5] Jeffrey Pennington, Richard Socher, and Christopher Manning. 2014. Glove: Global vectors for word representation. In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), pages 1532-1543.

[6] Piotr Bojanowski, Edouard Grave, Armand Joulin, Tomas Mikolov. "Enriching Word Vectors with Subword Information" Transactions of the Association for Computational Linguistics (2017) 5: $135-146$

[7] S. Arora, Y. Liang, and T. Ma, "A simple but tough-to-beat baseline for sentence embeddings," International Conference on Learning Representations (ICLR), 2017.

[8] K. Ethayarajh, "Unsupervised random walk sentence embeddings: A strong but simple baseline," in Proceedings of The Third Workshop on Representation Learning for NLP, 2018, pp. 91-100

[9] Z. Yang, C. Zhu, and W. Chen, "Parameter-free sentence embedding via orthogonal basis," in Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), 2019, pp. 638-648.

[10] CONNEAU, Alexis, et al. Supervised learning of universal sentence representations from natural language inference data. arXiv preprint arXiv:1705.02364, 2017.

[11] CER, Daniel, et al. Universal sentence encoder. arXiv preprint arXiv:1803.11175, 2018.

[12] Hao Wang, Yitong Wang, Zheng Zhou, Xing Ji, Zhifeng Li, Dihong Gong, Jingchao Zhou, and Wei Liu. Cosface: Large margin cosine loss for deep face recognition. arXiv preprint arXiv:1801.09414, 2018.

[13] Jiankang Deng, Jia Guo, and Stefanos Zafeiriou. Arcface: Additive angular margin loss for deep face recognition. arXiv preprint arXiv:1801.07698, 2018.

[14] MASANA, Marc, et al. Metric learning for novelty and anomaly detection. arXiv preprint arXiv:1808.05492, 2018.

[15] ヤフー株式会社 (2011): Yahoo! 知恵袋データ

（第 2 版）. 国立情報学研究所情報学研究デー タリポジトリ. (データセット). https://doi.org/10.32130/idr.1.2

[16] Taku Kudo, Kaoru Yamamoto, Yuji Matsumoto: Applying Conditional Random Fields to Japanese Morphological Analysis, Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing (EMNLP-2004), pp.230-237 (2004.)

[17] 佐藤敏紀; 橋本泰一; 奥村学. 単語分かち書き 辞書 mecab-ipadic-NEologd の実装と情報検索 における効果的な使用方法の検討. 言語処理学会第 23 回年次大会発表論文集, 2017, 875-878.


# 疑似訓練データによる格助詞の省略に頑健な係り受け解析

石川遼伍 丹羽彩奈 水木栄 岡崎直観
東京工業大学 情報理工学院
\{ryogo.ishikawa, ayana.niwa, sakae.mizuki\}[at]nlp.c.titech.ac.jp
okazaki[at]c.titech.ac.jp

## 概要

話し言葉やソーシャルメディア上などで散見さ れる「大学行った」のような格助詞が省略された文 は，係り受け解析の精度に悪影響を及ぼす。本稿で は，格助詞の一部を人工的に省略した疑似訓練デー タを用い，係り受け解析精度を向上させるアプロー チを二つ紹介する。一つは疑似訓練データで格助詞補完器を学習し, 省略された格助詞を補完してから 係り受け解析を行うアプローチ，もう一つは疑似訓練データから格助詞の省略を含む文に対応できる係 り受け解析器を直接学習するアプローチである. 既存の係り受け解析器との比較において，特に後者は 格助詞の省略がない文の解析精度を維持したまま，省略文の解析精度を向上させることを確認した.

## 1 はじめに

近年，スマートフォンの利用率は全年代で一貫 して増加しており，LINE や Twitter をはじめとする サービス/アプリの利用者も増加傾向にある [1]. テキストでのコミュニケーションが増えつつあるな かで，ソーシャルメディア等で交わされるメッセー ジを対象とする研究も多く存在する. そのような研究では，テキスト分析の前処理として係り受け解析 を行うことがある $[2,3,4]$.

しかし，ソーシャルメディア上のコミュニケー ションでよく見られる「大学行った」(大学（に）行った）のような助詞が省略された文は，係り受け 解析精度の低下を招く. 池田ら [5] は, 助詞が省略 されている文に着目し, 省略箇所を自動的に推定 し，欠落した助詞を補完することにより，係り受け 解析の精度を向上させる手法を提案した.しかし， この省略補完は省略された箇所の前後数個の形態素 に基づいており，文全体の構造を考慮していない。

日本語の係り受け解析器として，確率モデル
に基づく $\mathrm{KNP}^{1)}$ [6] や，Support Vector Machine に基 づく (abocha2) [7] 等が存在する。また，最近では BERT [8] を利用した手法が提案され, 既存の解析器 を上回る精度を達成している [9]. 一般に，機械学習による手法では訓練データとして係り受け構造 が注釈付けされたコーパスが必要である。ゆえに，格助詞が省略されている文 (以下格助詞省略文と呼 ぶ）の解析精度を向上させるには，格助詞省略文に 注釈付けしたコーパスが必要である．ところが，そ のようなデータを人手で構築した例は少なく，大規模なコーパスである現代日本語書き言葉均衡コーパ ス（BCCWJ）[10]にも，さほど収録されていない.本稿では，人工的に格助詞を省略させた文を疑似訓練データとして利用することにより，訓練データ 不足の問題を回避し，格助詞省略文の係り受け解析精度を向上させる手法を二つ提案する。一つは，疑似データで格助詞補完器を，既存のコーパスで係り 受け解析器をそれぞれ学習したうえで，推論時には 格助詞を補完してから係り受け解析を行うパイプラ インの手法（以下 Pipeline 手法と呼ぶ）である。も う一つは，既存のコーパスの一部を格助詞省略文の 疑似データに変換し，係り受け解析器を学習したう えで，推論時には格助詞省略文に対して直接係り受 け解析を行うエンドツーエンドの手法（以下 E2E 手法と呼ぶ）である。いずれも BERT を基盤とし，事前学習で獲得された知識と周辺文脈の活用を図る。

実験により, 既存の解析器と比較すると，特に $\mathrm{E} 2 \mathrm{E}$ 手法では非省略文の解析精度を維持しつつ，省略文の解析精度が向上することを確認した。また，人工的な省略文の生成手法は簡素かつランダムなも のであっても，省略文に対して有効であることがわ かった. Pipeline 手法は E2E 手法には及ばなかった ものの，格助詞補完器の F1 スコアは人工的な省略文で 0.94 に達しており，口語的な文に対するテキス

2) https://taku910.github.io/cabocha/

図 1: Pipeline 手法

図 2: 格助詞補完モデル

ト正規化の一手法としての応用が期待できる [11].

## 2 関連研究

船越ら [12] は, 音声対話システムにおいて構文解析を困難にする 4 種類の不適格性の解決の一環と して, 助詞が省略されている文の解析手法を提案し た. その手法では, 助詞が付属しない名詞からでも 動詞に係ること許すように，解析に用いる辞書を拡張した. ただし，評価に用いられた表現や助詞の欠落を含む事例が限られていた。

池田ら [5] は，省略箇所を自動的に推定し，欠落 した助詞を補完することによって，係り受け解析の 精度を向上させる手法を提案した. 助詞の欠落箇所 の推定は，任意の品詞間に助詞の欠落があると仮定 し, その前後 4 品詞列を特徴量として学習した SVM を用いる. 補完は, 推定された助詞の欠落箇所の前後最大 4 形態素をクエリとして新聞記事を検索し,助詞別の検索結果の件数をもとにスコアリングし て，補完すべき助詞を決定する。このように，池田 らの手法では文全体の構文構造が考慮されているわ けではない.

## 3 提案手法

本稿で対象とする格助詞は，船越ら [12] や池田 ら [5] を参考に「「が」「を」「に」の 3 種類とした。 また, 柴田ら [9] と同様に, 係り受け解析は単語単位の係り受けを主辞の選択問題として考える. すな わち，サブワードに分割されたトークン列が入力さ れたとき，各単語の先頭トークンに対して主辞の トークンを予測する問題とする。

## 3.1 Pipeline 手法

Pipeline 手法では, 格助詞補完器によって省略さ れた格助詞の補完を行い，その補完結果に対して係 り受け解析を行う（図 1)。

格助詞の補完 格助詞補完器は BERTを疑似訓練 データでファインチューニングして構成する. 本研究では，格助詞補完を系列ラベリング問題として考 える. 図 2 に示すように，モデルはサブワードに分割されたトークン列を入力として，あるトークンと その直後のトークンとの間に対象の格助詞のいずれ かが挿入されるべきか，何も挿入する必要がないの かを予測する．格助詞補完器は，この予測に基づい て入力の単語列に格助詞を挿入したものを出力す る.なお，単語がサブワードに分割されていた場合 は，その先頭のトークンのみを考慮する。

疑似訓練データの作成 生コーパスのテキストを 形態素解析し，句点で文に分割したのち，品詞と表層形をもとに対象の格助詞をランダムに省略するこ とで疑似データを生成する．省略された格助詞に対応する正解ラベルを付与し，訓練データとする．省略は対象の格助詞ごとに $50 \%$ の確率で発生させた。

係り受け解析 通常のコーパスで学習した既存の 解析器を用いる. 格助詞補完器が出力した単語列を 入力にとり，各単語の主辞を予測する。

## 3.2 E2E 手法

E2E 手法では，既存の係り受け解析モデルを疑似訓練データで学習し，これを用いて省略文の係り受 け解析を行う（図3）。

疑似訓練データの作成 品詞や係り受けの情報が 注釈付けされているコーパスをもとに，文ごとに 2 段階でランダムな省略を施し，疑似訓練データを作成する。ある文から格助詞を省略する流れを図 4 に 示す. 前処理として省略操作に先んじて, 省略可能 な格助詞を文から抽出する．ここで，省略可能な格助詞とは，他の形態素からの係りがない格助詞を指 す.これは，仮に他の形態素からの係りがある格助

図 3: E2E 手法

図 4: 人工的な省略文生成の流れ

詞を省略した場合，その文の依存構造木が複数に分割されてしまい，学習時の扱いが煩雑になるためで ある。本稿で利用した BCCWJにおいては，「につい て」や「に関して」などといった格助詞相当の機能表現の複合語 [13] がこの例として挙げられる.

第 1 段階 省略候補の格助詞を形態素レベルで 選択する。省略可能な格助詞それぞれについて，一定の確率で省略候補とする．本稿では，予備害験の 結果を踏まえてこの確率を $50 \%$ とした。

第 2 段階 実際に省略を適用するのか否かを文 レベルで決定する。一定の確率で省略候補を実際に 原文から省略し，それによって生じた ID 等のずれ を修正する。本稿では，予備実験の結果を踏まえて この確率を $30 \%$ とした.なお，実際に省略が適用さ れた場合，原文はコーパスから取り除かれ，省略文 に置き換えられる。

このような 2 段階のプロセスを踏んでいるのは， インフォーマルな文体では格助詞がひとつでも省略 されると他の格助詞も省略されやすい一方，フォー マルな文体では全く格助詞が省略されない文も多い という傾向を模擬するためである. $0.5 \times 0.3=0.15$ であるから，格助詞ごとに $15 \%$ で省略を発生させて いることと等価のように思われるが，その場合は 2 段階のプロセスを経るよりも複数の格助詞が省略さ れた文が生成されにくくなる。しかし，単純に格助詞を省略する確率を引き上げてしまうと，訓練デー タ中の省略文の事例数が多くなりすぎてしまい，解析器は非省略文に対して十分な精度を保つことがで きなくなってしまう.

## 4 実験

## 4.1 データ

係り受け解析の訓練・評価データには，BCCWJの Universal Dependencies 版 (UD Japanese BCCWJ [14]) を用いた. UD Japanese BCCWJ では，あらかじめ データセットが訓練用・開発用・評価用に分割され ており，その事例数はそれぞれ 40,801 文，8,427 文， 7,881 文で，合計 57,109 文である，本稿では，実際 に人間によって書かれた省略文に対する性能を評価 するために，元々の分割は用いずに BCCWJ から抽出したすべての格助詞省略文が評価データに含まれ るように分割しなおした. この際，各分割の事例数 は元々の値をそのまま採用した。

格助詞の省略を明示した注釈付きコーパスが存在しないため, BCCWJ-DepParaPAS [15] の述語項構造を利用して格助詞省略文を抽出した。述語項構造 や形態素の情報に基づいて一定の規則を設け，それ に従って自動的に大まかな抽出を行ったのち，そこ から不適当と判断されるものを人手で取り除いた.自動抽出の基本的な規則は，「ある名詞が述語の項 として注釈付けされているにも関わらず，その名詞 を含む文節に助詞が存在しない場合は抽出する」と いうものである. 抽出作業の結果，1,745 件の格助詞省略文の事例を得た。評価用の 7,881 文のうち, 1,745 文が格助詞省略文で，残りは非省略文である．

## 4.2 実験設定

Pipeline 手法 生コーパスとしてウィキペディア 日本語版の整形済みデータである wiki40b/ja ${ }^{3}$ を用い た. 形態素解析器には fugashi[unidic-lite] ${ }^{4}$ を用いた.文ごとに分割した結果，訓練用 $13,032,687$ 件，開発用 716,896 件, 評価用 717,627 件の事例を得た. 事前学習済みモデルには BCCWJ と品詞体系が一致する ように cl-tohoku/bert-base-japanese-v2 ${ }^{5}$ を使用した. transformers $\left.{ }^{6}\right)$ の実装を改変し，BERT モデルを 3 エ ポックだけファインチューニングした．格助詞補完器のラベリング結果の評価には seqeval ${ }^{7)}$ を用いた。係り受け解析には後述の Baseline 手法を用いた.

3) https://www.tensorflow.org/datasets/catalog/wiki40b

4) https://github.com/polm/fugashi

5) https://huggingface.co/cl-tohoku/

bert-base-japanese-v2

6) https://github.com/huggingface/transformers

7) https://github.com/chakki-works/seqeval
表 1: 係り受け解析の精度（括弧内は有効事例数）

表 2: 格助詞補完の精度

E2E 手法 解析モデルには柴田ら [9] による BERTKNP ${ }^{8}$ を用いた。事前学習済みモデルには Pipeline 手法と同様に cl-tohoku/bert-base-japanese-v2 を使用した. ファインチューニングは Devlin ら [8] や柴田ら [9] に倣い，3 エポック行った. 疑似訓練 データの生成はシード值を変えて 5 回行い，評価結果の平均を算出した.

Baseline 手法 ベースラインとして，訓練デー タ9)をそのまま用いて解析器 BERTKNP を学習した 場合を採用した. 事前学習済みモデルやエポック数 は E2E 手法と同様とした。

評価指標 係り受け解析の評価には, CoNLL 2017 Shared Task [16] の評価スクリプトを用いた ${ }^{10)}$. 解析器が出力した依存構造木において，根が存在しない 場合や，依存関係にループが存在する場合など，構文木として無効である場合は，規定に従いその事例 に対するスコアを 0 として計算した。

## 4.3 実験結果

実験結果を表 1 に示す. Baseline 手法の省略文に 対する精度は非省略文に対するそれよりも 4.5 ポ イント低く, 格助詞の省略が係り受け解析の精度低下を招くことが改めて示された. Pipeline 手法を 見ると，Baseline 手法と比較して省略文に対しては 0.82 ポイントの向上，非省略文に対しては 0.11 ポ イントの悪化という結果で, Pipeline 手法では省略文の解析精度を向上させる効果が大きくないこと がわかった. E2E 手法では省略文に対する精度が $90.42 \pm 0.14$ と 3 手法のうちで最も良く, Baseline 手法と比較して 1.2 ポイントの精度向上を達成してお り，E2E 手法の省略文に対する有効性を確認するこ とができた。また，E2E 手法の非省略文に対する精度は $93.62 \pm 0.15$ で，Baseline 手法の精度と大差がな く, E2E 手法が非省略文の解析精度にほとんど悪影響を与えないことも確かめられた． E2E 手法による

具体的な係り受け解析の改善事例は付録 A で紹介す る. Pipeline 手法と E2E 手法を比較すると，総合的 に E2E 手法のほうが有効であった。これは，人工的 な省略文をエンドツーエンドで学習させることによ り格助詞が省略されていたとしても BERT が文脈を 広くとって解析を行えていることや，Pipeline 手法 のように格助詞補完器からの誤りの伝播が発生しえ ないためであることが推測される.

表 2 に Pipeline 手法の格助詞補完器の人工的な省略文における精度を示す.いずれの格助詞について も F1 スコアは 0.93 以上と，人工的な省略文に対し ては高い精度で補完ができている。

## 5 結論

本稿では，口語的な文で頻繁にみられる格助詞の 省略された文が係り受け解析の精度に悪影響を及 ぼすという問題に対して，省略文に注釈付けした データが入手困難な状況において，疑似訓練データ を作成し, 格助詞補完器や係り受け解析器の学習に 用いることで，省略文の解析精度を向上させる手法 を提案した。人間によって書かれた格助詞省略文を BCCWJ から抽出して構築した評価データにおいて， E2E 手法は既存の解析器より 1.2 ポイント高い精度 を示し, 非省略文に対しても既存の解析器と同等の 精度を維持できることが確認できた. E2E 手法で は，人工的な格助詞の省略を 2 段階のランダムな試行によって行う簡潔な手法を提案し，その有効性を 確認した。一方で，Pipeline 手法は十分な効果がみ られなかったが，疑似訓練データによる格助詞補完器自体の精度は高く，翻訳タスク等におけるテキス ト正規化の手段として活用できる. 今後は，より適切な対象格助詞や省略確率の特定，実際にソーシャ ルメディア上で発信されているテキストでの評価等 を行う予定である.

## 謝辞

本研究は JSPS 科研費 19 H01118 の助成を受けたも のです.

## 参考文献

[1] 総務省. 令和 2 年度情報通信メディ アの利用時間と情報行動に関する調査, 2021. https://www. soumu.go.jp/iicp/research/ results/media_usage-time.html.

[2] Michal Ptaszynski, Fumito Masui, Yuuto Fukushima, Yuuto Oikawa, Hiroshi Hayakawa, Yasunori Miyamori, Kiyoshi Takahashi, and Shunzo Kawajiri. Deep learning for information triage on twitter. Applied Sciences, Vol. 11, No. 14, 2021.

[3] 尾崎航成, 向井宏明, 松井くにお. SNS における不適切投稿の検知. 情報処理学会 第 82 回全国大会講演論文集, pp. 621-622, 2020.

[4] 峰松優, 藤淵俊王, 有村秀孝. ソーシャルビッグデー タを活用した放射線被ばくに対する不安意見の解析 システムの開発. 日本保健物理学会, Vol. 55, No. 1 , pp. 15-22, 2020

[5] 池田和史, 柳原正, 服部元, 松本一則, 小野智弘. 口語文書の解析精度向上のための助詞落ち推定お よび補完手法の提案. 情報処理学会研究報告, Vol. 2010-DBS-151, No. 39, pp. 1-8, 2010.

[6] Daisuke Kawahara and Sadao Kurohashi. A fullylexicalized probabilistic model for Japanese syntactic and case structure analysis. In Proceedings of the Human Language Technology Conference of the NAACL, Main Conference, pp. 176-183, 2006.

[7] Taku Kudo and Yuji Matsumoto. Japanese dependency structure analysis based on support vector machines. In 2000 Joint SIGDAT Conference on Empirical Methods in Natural Language Processing and Very Large Corpora, pp. 18-25, 2000.

[8] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, 2019.

[9] 柴田知秀, 河原大輔, 黒橋禎夫. BERT による日本語構文解析の精度向上. 言語処理学会 第 25 回年次大会, pp. 205-208, 2019.

[10] 前川喜久雄. KOTONOHA『現代日本語書き言葉均衡 コーパス』の開発 (く特集>資料研究の現在). 日本語 の研究, Vol. 4, No. 1, pp. 82-95, 2008.

[11] 笠原要, 斉藤いつみ, 浅野久子, 片山太一, 松尾義博. テキスト正規化技術を用いた cgm 日本語テキスト 翻訳. 言語処理学会 第 21 回年次大会, pp. 804-807, 2015.

[12] 船越孝太郎, 徳永健伸, 田中穂積. 音声対話用構文解析器の頑健性の評価. 情報処理学会研究報告, Vol. 2002-NL-152, No. 104, pp. 35-41, 2002.

[13] 浅原正幸, 金山博, 宮尾祐介, 田中貴秋, 大村舞, 村脇有吾, 松本裕治. Universal dependencies 日本語コーパ ス. 自然言語処理, Vol. 26, No. 1, pp. 3-36, 2019.

[14] 大村舞, 浅原正幸. 現代日本語書き言葉均衡コー パスの Universal Dependencies. 言語資源活用ワー クショップ発表論文集 = Proceedings of Language
Resources Workshop, No. 2, pp. 133-143, 2017.

[15] 浅原正幸, 大村舞. BCCWJ-DepParaPAS: 『現代日本語書き言葉均衡コーパス』係り受け・並列構造と述語項構造・共参照アノテーションの重ね合わせと可視化. 言語処理学会 第 22 回年次大会, pp. 489-492, 2016.

[16] Daniel Zeman, Martin Popel, Milan Straka, Jan Hajič, Joakim Nivre, Filip Ginter, Juhani Luotolahti, Sampo Pyysalo, Slav Petrov, Martin Potthast, Francis Tyers, Elena Badmaeva, Memduh Gokirmak, Anna Nedoluzhko, Silvie Cinková, Jan Hajič jr., Jaroslava Hlaváčová, Václava Kettnerová, Zdeňka Urešová, Jenna Kanerva, Stina Ojala, Anna Missilä, Christopher D. Manning, Sebastian Schuster, Siva Reddy, Dima Taji, Nizar Habash, Herman Leung, Marie-Catherine de Marneffe, Manuela Sanguinetti, Maria Simi, Hiroshi Kanayama, Valeria de Paiva, Kira Droganova, Héctor Martínez Alonso, Çağrı Çöltekin, Umut Sulubacak, Hans Uszkoreit, Vivien Macketanz, Aljoscha Burchardt, Kim Harris, Katrin Marheinecke, Georg Rehm, Tolga Kayadelen, Mohammed Attia, Ali Elkahky, Zhuoran Yu, Emily Pitler, Saran Lertpradit, Michael Mandl, Jesse Kirchner, Hector Fernandez Alcalde, Jana Strnadová, Esha Banerjee, Ruli Manurung, Antonio Stella, Atsuko Shimada, Sookyoung Kwak, Gustavo Mendonça, Tatiana Lando, Rattima Nitisaroj, and Josie Li. CoNLL 2017 shared task: Multilingual parsing from raw text to Universal Dependencies. In Proceedings of the CoNLL 2017 Shared Task: Multilingual Parsing from Raw Text to Universal Dependencies, pp. 1-19, 2017.

(a) 係り受けがループ

(b) 根が複数

(c) 根を誤って予測

図 5: E2E 手法による改善例

## A 係り受け改善例

Baseline 手法では係り受け解析に失敗するものの， E2E 手法では完全に正しく解析できた事例を図 5 に 示す. 赤矢印が Baseline 手法で解析したときに誤っ て予測されたもの，緑矢印が E2E 手法により正解を 予測できたものを表す.いずれの事例でも，格助詞 の省略箇所前後の単語が関係する係り受けの誤りを 修正できていることがわかる. 特に図 $5 \mathrm{a}$ ・図 $5 \mathrm{~b}$ は ベースライン手法では木構造の制約を満たさない出力をしてしまった事例である.


# 発話者の発話意図推定に影響を及ぼす 表情の絵文字の検出

廣瀬将也 ${ }^{1}$ 森辰則 1
1 横浜国立大学大学院環境情報学府
hirose-masaya-km@ynu.jp tmori@ynu.ac.jp

## 概要

絵文字は文字では伝えにくい意味や感情を表現す ることができるため, 感情表現の簡略化やコミュニ ケーションの充実のために広く採用されている。絵文字は近年研究においても注目されており，自然言語処理分野では主に感情分析に利用されている。本論文では, 絵文字を使った感情分析において, 既存手法を利用した感情推定結果に影響を及ぼすと考えら れる皮肉や自嘲の (1) といったレトリカルな用法の 絵文字を検出する方法を提案する。

## 1 序論

SNS を始めとするオンラインコミュニケーション では, 表情や仕草といった非言語情報が制限される ため, 情報の伝達に支障をきたす可能性がある.こう した状況の中で, 非言語的なコミュニケーション機能を有する絵文字が活用されている。

多様な表現ができる絵文字は, 感情推定において も重要な要素となりうる. Hussien ら [1] は, “Joy”, "Sadness", "Anger", "Disgust” の 4 種類の感情を表す ラベル (感情ラベル) を絵文字に割り当て, 文と絵文字の感情は一貫しているという仮定の元, 割り当て た感情ラベルを絵文字を含む文の感情ラベルとみな して学習データに用いることで, 文の感情を推定し ている。また Felbo ら [2] は, 絵文字そのものを文の ラベルとして文から絵文字への予測を行い, 絵文字予測に使ったモデルを転移学習させることで, 絵文字予測タスクから学習した言語表現が感情認識や皮肉検出タスクに有用であることを示した。

しかし,こうした研究の多くは, 絵文字の多様性に ついての考慮が十分ではない. 例えば () という絵文字は喜びの感情を表す文と伴に使われることが多い が，中には表 1 のように皮肉や自嘲の笑顔として利用される場合もある.

絵文字に割り当てた感情ラベルを，それを含む文 のラベルとして利用する場合, 皮肉や自嘲の笑顔の ようにレトリックとして使われる絵文字 (以下「レ トリカル絵文字」と呼ぶ) は発話者の発話意図推定 に影響を及ぼす可能性があり，こうした絵文字を認識して区別することは重要だと考えられる。本研究 ではこのような発話者の発話意図推定に影響を及ぼ す絵文字を自動的に検出するシステムを提案する。

## 2 関連研究

近年, 絵文字を利用した感情分析手法が注目され ているが，絵文字の多様性について考慮した研究は 少ない. Felbo ら [2] は，コーパスの予備知識を必要 としない絵文字予測を使った事前学習と転移学習に よって, 感情推定や皮肉検出で成果をあげている. 事前学習の絵文字予測に関する考察では, 複数の絵文字を使うことで多様な表現を獲得でき，後続のタス クでより良い成果が出ると言及しているが，1 つの 絵文字が持つ多様性については詳しく触れられてい ない. またChen ら [3] は1つの絵文字が正極性にも 負極性にも使われることを考慮し (極性の説明は 3 章を参照)，極性ごとに異なる埋め込みを得ることを 期待して, 絵文字を埋め込む際, 正極性用と負極性用 に 2 つの埋め込みを割り当てている. しかし, 絵文字 に対する 2 つの埋め込みが極性の違いを捉えたもの とは限らず, 評価実験における精度の向上は学習パ ラメータ数の増加によるものの可能性があるため, より詳細な分析が求められる. 本研究の提案手法は,絵文字が持つ多様性をより詳細に分析する際に活用 することが期待できる.

## 3 絵文字の用法に関する分析

本章ではレトリカル絵文字の検出手法を検討す るために, 絵文字の用法に関する分析について説明 する。

## 3.1 ツイートの収集とアノテーション

Twitter のデータを対象として，ツイートにおける 絵文字の用法を分析した. ツイートデータは Twitter API を利用して収集し, 2019 年 9 月から 11 月におけ るツイートのうち (‥: $\cdot$ の のいずれかを含むも のを合計 1000 件取得した. ツイートは複数の文で構成されているものが多く, 1ツイートに複数の絵文字を含む場合もあるため, 収集したツイートから絵文字に対応すると考えられる 1 文（以下ツイート文 とする）を手動で抽出した。

絵文字が感情推定に及ぼす影響を調べるために， それぞれのツイート文について「言語情報のみか ら推定される書き手の感情」および「言語情報と絵文字の組み合わせから推定される書き手の感情」 の 2 通りのラベル付けを行った. このラベル付けは 第一著者によって行われた. ラベルとして付与し た感情は, 中村による感情表現辞典 [4] で利用され ている 10 種類のラベル“喜” ・“好”・“安” . “哀” . “厭” . “怖” . “怒” ・ “恥” . “昂” . “驚”に 3 種類のラ ベル “ $\mathrm{N}($ ニュートラル)” ・ “願” . “他”を加えたもの を利用した。最終的に絵文字 (1)を有する文 228 件, (1.: を有する文 240 件, ‘ を有する文 132 件について,各々に前述の 2 通りのラベルを付与したコーパスを 作成した. ラベル付けの例を表 2 に示す.

## 3.2 分析結果

付与した感情ラベルの割合を絵文字ごとにまとめ た結果を表 3, 4 に示す.

$51.5 \%$ が怒の感情を表す文と伴に使われていること が分かり，それぞれの絵文字が現れる文の感情ラべ ルには偏りがあることがわかる。

次に, 付与した感情を正極性・負極性の 2 つの極表 3 言語情報のみから推定される 書き手の感情と絵文字の関係 (割合)

表 4 言語情報と絵文字の組み合わせから推定される 書き手の感情と絵文字の関係 (割合)

性に分割し，言語情報のみから推定される書き手の 感情極性と絵文字の関係を調査した。付与した感情のうち, “喜” . “好”. “安”を正極性, “哀”・恥”・ “厭” ・怖” ・“怒” ・ “昂”を負極性とし, 極性の定義で きない“N” . “願” . “驚” . “他” は対象から除いた。

このとき, 各極性の割合を (正極性, 負極性) とす ると, (ㄹ) $(82.5 \%, 6.6 \%)$, は $(13.8 \%, 76.3 \%)$, : (3.8, $87.1 \%)$ となり, 絵文字が使われる文の極性で考 えると,偏りがより顕著に現れることが分かる.

ここで, ある絵文字が付与された文について, 言語表現のみから推定された書き手の感情が正極性であ るか負極性であるかを集計した結果, 大多数を占め る感情極性 (正極性もしくは負極性) をその絵文字が 付与された文集合のマジョリティ極性とし，マイノ リティの感情極性を文集合のマイノリティ極性とす る. 以下では単にそれぞれ「絵文字のマジョリティ 極性 (マイノリティ極性)」と呼ぶ.

(ㄷ)の各極性の割合より, (ㄷ)のマジョリティ極性は 正極性，(ㅇ)のマイノリティ極性は負極性となるが，表 3 と表 4 を比較すると, 絵文字が付与される前に 感情ラベルが “N” だった文に (1)を付与した場合は そのラベルが “喜”に変化しているのに対して, () の マイノリティ極性である負極性に (1) が付与されて も極性が変化していないことが分かる．負極性に (1) が付与される事例についてさらに分析を行ったとこ ろ, 負極性で利用される ①) は皮肉や自嘲のニュアン スを持つことが分かった。

## 3.3 レトリカル絵文字検出のための仮説

上記の結果より, 皮肉や自嘲のニュアンスを持つ (10) は, 怒りや悲しみといった負極性を持つ文と伴に 使われていることが分かった. そのため, 言語情報か ら怒り・悲しみといった負極性を予測できれば，皮肉・自嘲の()が検出できると考えられる。

また，は怒り：は悲しみを感情ラベルとして
持つ文とともに使われることが多く, 文と絵文字の 感情ラベルが逆の極性を持つようなレトリカルな絵文字の利用があったとしても少数である。絵文字を 感情ラベルの代替物とした場合,一般的な機械学習 ではマジョリティの事例に偏る判断をする傾向にあ るため, 絵文字が利用される文の感情に偏りがあれ ば, 言語情報から絵文字を予測する分類器は, 文に感情ラベルを付与する分類器と同等なものとして有効 に機能することが期待できる.

以上のことから,次のような仮説が導かれる。

(1) が付与されている文について, 絵文字分類器 が もひしは をを予測した場合, 文の感情ラ ベルは怒りや悲しみと対応している可能性が高 く, 文に付与されている絵文字 ⑩ は皮肉や自嘲 を表すレトリカルな用法である可能性が高い.

本論文ではこの仮説を元にレトリカル絵文字を検出する.

## 4 レトリカル絵文字の検出手法

本章では, 3.3 節で述べた仮説を元に, 絵文字分類器を利用したレトリカル絵文字の検出手法を説明す る.なお, 本論文では )がレトリカルな用法で使わ れているものを検出対象として扱う。

まず, 5.1.1 項で説明する前処理によって, 絵文字を 含む文を「絵文字を除いた文」と「文のラベルとな る絵文字 (1つ)」に分割する. 提案モデルはこの 2 つ を入力として, 入力した絵文字がレトリカル絵文字 であるかどうかを判定し, その結果を出力する.

レトリカル絵文字の判定に利用する絵文字分類器 は, 入力文に対する適切な絵文字を 2 つの絵文字か ら選択し, 選択した絵文字とその予測確率を出力す る二値分類器で作成する. 二値分類としたのは, 絵文字予測タスクでは多值分類よりも二值分類の方が予測性能が高いという先行研究に基づいている [5].

絵文字分類器の出力候補となる 2 つの絵文字の組

各組み合わせごとに分類器の学習を行う. ().(2)の 組み合わせは, マジョリティ極性が類似した絵文字 の組み合わせではレトリカルな絵文字を検出しづら くなるという予想を検証するために利用する。

次に, 学習済みの絵文字分類器に対して, 学習に利用していない ()を含む文から絵文字を除いた文を 入力する. このとき, 入力文のラベルとして (ㄹ を保持しておく. 絵文字分類器が (1) 以外の絵文字を出力 した場合, 入力文のラベルとした をレトリカルな
（）とみなす.この出力 (ㅇを陽性としたときの偽陰性) は分類器の間違いそのものである場合も考えら れるが, 提案モデルではこれをレトリカル絵文字と みなす。このとき, 偽陰性である絵文字の予測確率 を，入力文が () のマイノリティ極性をもつ文である 確率と同等のものであると期待し，これを「レトリ カル絵文字である確率」とする．以上の操作を経て，提案モデルは, 入力した絵文字がレトリカル絵文字 であるかどうかの判定結果とその確率を出力する。

## 5 評価実験

本章では, 提案モデルがレトリカル絵文字の検出 に有効かどうかを検証するための実験を行う。

## 5.1 実験設定

## 5.1.1 データセット

本論文で利用する絵文字付きデータは, Search Tweets APIを利用して収集した. 学習・検証用のデー タセットとして, 4 章で示した 4つの絵文字につい てそれぞれの絵文字を含むツイートを 110 万件ずつ 取得した. ツイートは 2021 年 10 月 31 日から遡って 取得したものを利用し, ハッシュタグ・リンク・メ ディアを持つツイート, リプライやリツイートであ るツイートはクエリを利用して除外した。

次に，学習データの大きさによる検出率の変化を 調べるために, 各絵文字ごとに訓練用に 100 万件ず つ・検証用に 10 万件ずつランダムサンプリングし た LARGE サブセット (L) と, 各絵文字ごとに訓練用 に 10 万件ずつ・検証用に 2 万件ずつランダムサン プリングした SMALL サブセット $(\mathrm{S})$ を作成した.こ

絵文字の組み合わせごとに統合することで, 各サブ セットの総数は LARGE サブセットが訓練用に 200 万件・検証用に 20 万件, SMALL サブセットが訓練用に 20 万件・検証用に 4 万件となり, 最終的に 6 種類のサブセットを作成した.

また, 評価用のデータセットとして, 2021 年 11 月 1 日から 2021 年 11 月 30 日における (ㄷ)を含むツ イートを同様の条件で 100 万件取得した. 評価時に データセットの重複を避けるため, ランダムに並び 替えた評価用データセットを 5 万件ずつのサブセッ トに分割し, 分割したサブセットを各モデルごとの 評価に利用する。

最後に, 絵文字がツイート毎に 1 つになるように
収集したツイートに対して次の前処理を行った。ま ずクエリとして利用した絵文字のうち末尾のものを 除いた全ての絵文字を削除する。1つだけ残った絵文字を文のラベルとして保持しておき, 残った絵文字を EMOJI という特殊トークンに置き換える。

## 5.1.2 実装モデル

絵文字分類器は, 埋め込み層, LSTM 層, 全結合層, ソフトマックス層から構成される DNN である.絵文字を除いた文と, 文のラベルとした絵文字を 入力として, 入力した絵文字がレトリカル絵文字 であるかどうかの判定とその確率を出力する．文 は形態素解析器 MeCab[6] と, 単語分かち書き辞書 mecab-ipadic-NEologd[7] を用いて単語分割を行い, 埋 め込み層へと入力する。埋め込み層の次元数は 300 , LSTM の隠れ層の次元数は 128 を利用した.

## 5.1.3 評価方法

5.1.1 項で作成した評価用データに対して，モデル を用いてレトリカル絵文字の判定を行い, 以下の式 でレトリカル絵文字 (9) の検出率を評価する。

$
\text { 検出率 }=\frac{\text { 実際にレトリカル絵文字 ()であった事例数 }}{\text { モデルがレトリカル絵文字 ) と判定した事例数 }}
$

実際にレトリカル絵文字であるかどうかは人手で 判定し, 学習データの異なるモデルごとにそれぞれ 300 件ずつ行った. このとき, () 全体におけるレトリ カル絵文字の割合を調べるため, 評価用のサブセッ トからランダムに 300 件抽出したものについても同様に判定を行った.

また, レトリカル絵文字の検出率とモデルの出力 における「レトリカル絵文字である確率」の関係性を調べるため, 各モデルには評価用サブセット 5 万件を入力し，その出力を確率順に並び替え，上位 (top) と下位 (worst) からそれぞれ 100 件ずつ抽出し たもの, それらを除いたものからランダム (random) に 100 件抽出したものを評価した。

## 5.2 実験結果

6 種類のサブセットを利用して絵文字分類器の学習を行い, 5.1.3 項の方法によって評価を行った. 評価結果を表 5 に示す。

なお, 表 5 における all は, top・worst・random の合計 300 件におけるレトリカル絵文字の割合を表す. また, 評価用のサブセットからランダムに 300 件抽出したものにおけるレトリカル絵文字 (ㅇ) の割合は $3.3 \%$ あった

表 5 レトリカル絵文字の割合

## 5.3 考察

まず，各モデルにおける all の値に注目すると，ラ ンダムに抽出した におけるレトリカル絵文字の 割合 $(3.3 \%)$ と比較して, () $\cdot$ (6) $\cdot$ (1) の組み合 わせではレトリカル絵文字の検出率が大きく上回っ ている.これに対して, () ・(2)の組み合わせでは, 3 章の分析で () が負極性で使われていた割合が $6.6 \%$ だったことも考慮すると,ランダムに（）を取得した 場合と殆ど変わらないといえる。この結果より, 極性 の異なる絵文字の組み合わせを学習に利用すること が重要であると考えられる。

また, どの絵文字の組み合わせも学習用のデータ サイズを大きくすることで，レトリカル絵文字の検出率が向上していることが分かる. これは, 学習用の データサイズを大きくすることで，それぞれの絵文字のマジョリティ極性に対する識別性能が向上し,結果としてマイノリティ極性を持つレトリカル絵文字の検出率が高まっているからだと考えられる。

いて，レトリカル絵文字の確率が top のものと worst のもので大きく差が生じており，提案モデルの予測確率は有効に機能していると考えられる。

## 6 まとめ

本論文では, 絵文字を使った感情分析において, 既存手法の感情推定結果に影響を及ぼすと考えられる 皮肉や自嘲の (1) といったレトリカルな絵文字を検出する方法を提案した. 提案手法では, 極性の異なる 2 種類の絵文字を学習データとして絵文字の二值分類器を作成し, 分類器の出力における偽陰性を用い てレトリカルな絵文字を検出する. 実験の結果, 提案手法がレトリカルな絵文字の検出に有効であること が示された.

## 参考文献

[1] Wegdan A Hussien, Yahya M Tashtoush, Mahmoud AlAyyoub, and Mohammed N Al-Kabi. Are emoticons good enough to train emotion classifiers of arabic tweets? In 2016 7th International Conference on Computer Science and Information Technology (CSIT), pp. 1-6, 2016.

[2] Bjarke Felbo, Alan Mislove, Anders Søgaard, Iyad Rahwan, and Sune Lehmann. Using millions of emoji occurrences to learn any-domain representations for detecting sentiment, emotion and sarcasm. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 1615-1625, 2017

[3] Yuxiao Chen, Jianbo Yuan, Quanzeng You, and Jiebo Luo. Twitter sentiment analysis via bi-sense emoji embedding and attention-based lstm. In Proceedings of the 26th ACM international conference on Multimedia, pp. 117-125, 2018.

[4] 中村明. 感情表現辞典. 東京堂出版, 1993 .

[5] Weicheng Ma, Ruibo Liu, Lili Wang, and Soroush Vosoughi. Multi-resolution annotations for emoji prediction. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 6684-6694, 2020 .

[6] Taku Kudo. Mecab: Yet another part-of-speech and morphological analyzer. http://mecab. sourceforge. jp, 2006.

[7] 佐藤敏紀, 橋本泰一, 奥村学. 単語分かち書き辞書 mecab-ipadic-neologd の実装と情報検索における効果的な使用方法の検討. 言語処理学会第 23 回年次大会発表論文集, pp. 875-878, 2017.


# 対訳辞書構築技術に基づく教師なしデータフュージョン

熊谷雄介 ${ }^{1}$ 野沢悠哉 ${ }^{2}$ 横井祥 3,4 道本龍 1

1 株式会社博報堂 DY ホールディングス 2 株式会社博報堂 DY メディアパートナーズ

3 東北大学 4 理研 AIP

\{yusuke.kumagae, ryo.domoto\}@hakuhodo.co.jp

yuya.nozawa@hakuhodody-media.co.jp yokoi@tohoku.ac.jp
## 概要

データフュージョンは復数のテーブルデータを擬似的につなぎ合わせる情報推薦分野のタスクで，現実的な教師なしの設定ではまだ解くことができてい ない. 本論文では，このタスクと自然言語処理分野 の対訳辞書構築タスクが「空間を超えてべクトルの 類似性が一貫する」という共通点を持つことに着目 し, 対訳辞書構築技術による教師なしデータフュー ジョンをおこなう．複数の実データでの実験結果と あわせて報告する.

## 1 はじめに

データフュージョン $[1,2]$ は複数のテーブルデー タを擬似的につなぎ合わせる技術で，情報推薦分野 におけるデータ拡張のアプローチのひとつである. たとえば「商品購買履歴テーブル」と「Web サイト 閲覧履歴テーブル」の各行（ユーザ）をおおよそで も対応づけられれば，店頭でホットサンドメーカー を買ったであろうユーザにソロキャンプ動画を推薦するといった，単一データからでは実現できない リッチな施策が可能になる. データフュージョンは このようなマーケティング分野 [3] や，症状や治療法に関する疎なテーブル同士を統合して知見を得た い医療分野 $[4,5]$ において盛んに活用されている. データフュージョンのためのこれまでの手法は,二つのテーブルの間で一部の行（ユーザ）もしくは 列（特徴量）が事前に対応付けられていることを仮定しており, 利用可能な情報に応じて様々な手法が 提案されている（表 1 ）。

しかし現実の問題においては，ユーザ（行）や特徵量（列）について事前には対応付けがわからない 場合が多い. ユーザ（行）についてはプライバシー 保護や技術規制 [6] による利用難度の高まり, 特徴量（列）については新たな知見を得るという目的か らしてそもそも二つのテーブルには共通する項目が 存在しない，という理由が挙げられる ${ }^{11}$.

本論文では，二つのテーブルデータにおいてユー ザと変数のいずれもが共通して存在しない，より現実的な設定でのデータフュージョンを教師なしデー タフュージョンと呼び，これに取り組む（表 1）。

本論文では，データフュージョンの問題と教師な し対訳辞書構築 (bilingual lexicon induction) の問題が 形式的に非常に近いことに着目し，その手法を応用 する。対訳辞書構築は，複数言語間の単語の対応関係を推定する問題で，最近は教師なしの手法が盛ん に開発されている $[10,11,12,13,14]$. 一見するとこ の二つの問題は全く異なる分野の異なる問題に見え るが，表 2 に示すような対応関係が存在する. 詳細 な比較は 3.1 章で行う.

本論文の貢献は (1) より現実的な設定のデータ フュージョンである教師なしデータフュージョンを 定式化し，はじめてこれに取り組んだ，(2) 教師な しデータフュージョンと教師なし対訳辞書構築が同 じ形式をとることに着目し，Gromov-Wasserstein 距離に基づく対訳辞書構築技術を用いた手法を提案し た，(3) 複数の実データを用いた実験により，ベース ラインに対する優位性を示したの三つである.

## 2 問題設定

教師なしデータフュージョンは二つのテーブル データ（ソースとターゲット）について，対応する 行を教師なしで対応付けるタスクである2).

1）冒頭の例でも一方の列は商品，もう一方の列は Web サイ トであり，クラスからして異なる。

2）テーブルとは例えば購買データやテレビの視聴行動データ であり，各行がそれぞれのユーザの行動履歴（購買データで はどの商品を購入したのか，視聴行動データでは誰がどの時間帯にテレビを視聴していたかなど）である.
表 1 ユーザ（行）および特徴量（列）が利用可能な時に採用できる手法の一覧.

 \\

ソース，ターゲットをそれぞれ $\mathbf{T}_{s} \in \mathbb{R}^{n \times m}, \mathbf{T}_{t} \in$ $\mathbb{R}^{n^{\prime} \times m^{\prime}}$ と表す. $n, n^{\prime}$ はソース，ターゲットに含まれ るユーザ数であり， $m, m^{\prime}$ はソース，ターゲットの 各ユーザの特徴量ベクトルの長さである.

正解の対応関係 $\mathbf{Y} \in\{0,1\}^{n \times n^{\prime}}$ は $y_{i, j}=1$ の時には ソースの $i$ 行目とターゲットの $j$ 行目が同一人物で あり， $y_{i, j}=0$ の時には別人であることを意味する.教師なしデーアフュージョンの目的はソースとター ゲットの対応の推定であり，ソースの $i$ 行目とター ゲットの $j$ 行目が対応する度合い $\boldsymbol{\Pi}_{i, j}$ を要素に持つ 行列 $\Pi \in \mathbb{R}^{n \times n^{\prime}}$ の推定である.

## 3 提案手法

本論文では，教師なしデータフュージョンの問題が教師なし対訳辞書構築の問題と形式的に似 ていることに着目し，対訳辞書構築で用いられた Gromov-Wasserstein 距離 (GW) を活用して教師なし データフュージョンを行う.

## 3.1 対訳辞書構築とデータフュージョン

本論文で取り組む教師なしデータフュージョンと 対訳辞書構築との対応関係を表 2 に示す. まず入出力に関して，異なる空間に存在するべクトル同士を 結びつける3）という同一の形式を取っている.

またいずれの問題もべクトル同士の相対的な位置

関係は空間を超えて一貫すると仮定できる. 以下こ れについて詳しく述べる。まず対訳辞書構築のため の多くの手法が「異言語にて，各言語の埋め込み空間内での単語の相対的な位置関係は類似している」 という仮定を利用している $[10,12]^{4)}$.

3） 例えば対訳辞書構築は英語の cat ベクトルと日本語の猫べ クトルとを，データフュージョンはある人の購買ベクトルと 別のある人の Web サイト閲覧ベクトルを結びつけるのが目的である.

4） Mikolov らは猫，牛，犬，馬，豚という五つの動物の単語埋め込みの相対的な位置関係が，英語（ゲルマン語派）とス ペイン語（ロマンス諸語）において非常に類似することを示 している [15].我々は教師なしデータフュージョンにおいてもこ の仮定が自然に成り立つと考える。例えば購買デー タとテレビ番組視聴データにおいては，新しいもの が好きなユーザはどちらのデータでも新しいアイ テム（新商品や新番組）を好むだろう．その結果， どちらのデータにおいても同じ嗜好（新しいもの好 き）のユーザと類似した行動を取り，反対に保守的 なユーザとは類似しなくなるだろう。このようにし て，ユーザの潜在的な興味の近さが複数のテーブル でのユーザベクトル（行）の近さとして観測される と自然に考えられる。

以上の考察から，「相対的位置関係一貫」仮説に 基づく教師なし対訳辞書構築技術を教師なしデータ フュージョンに活用すること提案する．とくに，(1)教師なしの状況で適用可能 (2) 学習が安定するの二点を満たす唯一の手法である Gromov-Wasserstein 距離ベースの手法 [11]を利用する.

ただしここで，単語べクトルは密な埋め込みであ る一方，情報推薦で用いるユーザ・アイテム行列に おける行（ユーザベクトル）は疎であることに注意 する．我々は，単語べクトルが疎な共起行列を分解 した結果と解釈できることに注目し [16], 同様に疎 なユーザ・アイテム行列を分解して対訳辞書構築技法を適用する5).

## 3.2 Gromov-Wasserstein 距離

本論文では Gromov-Wasserstein 距離 (GW) [17] に もとづく対訳辞書構築 [11]を応用する．GW は，二 つのデータ $\mathbf{D}, \mathbf{D}^{\prime}$ に含まれる点を対応付ける技術 であり，Dにおいて近い二点と $\mathbf{D}^{\prime}$ において近い二点とを強く，Dにおいて遠い二点と $\mathbf{D}^{\prime}$ において遠 い二点とを弱く対応付ける．GW の計算の詳細は

Alvarez-Melis らの論文 [11]を参照されたし。

## 3.3 提案法

提案法は次のステップで構成される。

・ソース $\mathbf{T}_{s}$ およびターゲット $\mathbf{T}_{t}$ からそれぞれの ユーザベクトル $\mathbf{V}_{s}, \mathbf{V}_{t}$ を求める

・ユーザベクトル $\mathbf{V}_{s}, \mathbf{V}_{t}$ からそれぞれの要素間距離行列 $\mathbf{C}_{s}, \mathbf{C}_{t}$ を得る

$\cdot \mathbf{C}_{s}$ および $\mathbf{C}_{t}$ を用いて GW を求め, 輸送計画行列 Пを得，この要素 $\Pi_{i, j}$ をソースのユーザ $i$ がター ゲットのユーザ $j$ に対応する度合いとする

$\mathbf{C}_{s}, \mathbf{C}_{t}$ はユーザベクトル $\mathbf{V}_{s}, \mathbf{V}_{t}$ それぞれの行間の 距離を要素に持つ行列であり, 対訳辞書構築では行 ベクトルの比較にコサイン距離を用いるのが一般的 である．実際に採用した手法は 5.1 章で説明する.

## 4 関連研究

対訳辞書構築には大きく分けて真に対応関係に ある単語ペアを用いる教師ありの手法と，それらを 用いない教師なしの手法があるが，本論文では後者 に言及する．教師なしの手法は大きく分けて敵対的生成ネットワーク (Generative Adversarial Network, GAN) [18] を用いる手法 $[10,19,12,20]$ と GANを用 いない手法 $[11,21,22,23]$ がある.

GAN の学習がハイパーパラメタに非常に敏感で 不安定である [24]一方，行列積の繰り返しによって 収束が保証されている [17] ことから, 本論文では GWによる手法 [11]を採用した。

## 5 実験

提案法が実データでうまく働くかを確認するた めに，(1) 単一のデータを擬似的に分割したデータ 対および (2) 異なる種類のデータ対それぞれに対す る教師なしデータフュージョンを行う.

## 5.1 実験設定

データ 実験には以下のデータを用いた. Movie はユーザが映画を 5 段階で評価したデータであり，各行がユーザ，各列が映画のテーブルデータであ る.これは情報推薦タスクの検証において最も用い られている MovieLens 1M [25] から作成した. POS はユーザごとの商品購入情報であり, 各行がユー ザ，各列が JANコード単位で区別された商品からな るテーブルデータである6) . TV はユーザごとのテ

6） POS には主要な商品の JAN コードのみが含まれている.
レビ視聴情報であり，各行がユーザ，各列が「月，曜日，時間帯，放送局」7)における視聴状況からな るテーブルデータである.

POS と TV は同一のユーザが両データに存在する シングルソースデータである8).

本実験では章冒頭で述べた通り (1) 単一のデータ を擬似的に分割したデータ対と (2) 異なる種類の データ対との二種類を準備した. 以下，前者の分割 について説明する9).

■分割による擬似的なデータ対の作成：もともとひ とつだったテーブルを分割して擬似的に教師なしの 問題を作成する．具体的には，各テーブルの列（特徵量）をランダムで 2クラスにわけ，このクラスに 応じて元のテーブルをソースとターゲットに分割 する．以上の処理を Movie，POS，TV に実施した上 で，二つのテーブルの間の行（ユーザ）の対応関係 を忘れて教師なしのアラインメントに取り組む。

開発データとテストデータの作成：また，ハイ パーパラメタ（次元数，距離関数，前処理など）決定のために，テーブルデータを行を基準にランダム に二分割し，一方は開発データ $(\mathrm{dev})$ として最も良 いハイパーパラメタを探索するために用い，もう一方はテストデータ (test) として本論文で精度を報告 する。データの詳細を表 3 に記す10．

評価指標 教師なしデータフュージョンは $\{0,1\}$ のラベルを実数値で予測する二値分類問題であるの で，二値分類問題の標準的な評価尺度である ROCAUC (Area Under the Receiver Operating Characteristic Curve) [26] を採用する.ソース側の各行に対する 予測に対して ROC-AUC を計算し, その平均 (macro ROC-AUC) を報告する ${ }^{11)}$ ，ROC-AUC は $[0,1]$ の間 の値をとり，P(正例のスコア>負例のスコア) と解釈できる.

ハイパーパラメタ調整 開発データを用いて決定 した主なハイパーパラメタは以下である12).

ユーザベクトルの構築は，Randomized SVD [27] (SVD) と Alternating Least Squares による Matrix Factorization [28] (ALS) とによって 10 次元に削減した ベクトルの二種類をユーザベクトルとた. 要素内距
\lrcorner$ など

8） 株式会社インテージのインテージ i-SSP のうち，2019年 1 月 1 日から 2019 年 12 月 31 日までのデータ.

9）後者は POS とTVである.

10）開発データの件数も含めた詳細は Appendix に記載した。

11）異なる五種の乱数で初期化したユーザベクトルによる macro ROC-AUC の平均值と標準偏差を報告する。

12）その他は Appendix を参考されたし.
}
表 3 実験に用いたデータの統計情報. 1 行目は(ソース ーターゲット）の組み合わせを，2行目と 3 行目はテー ブルサイズ（ユーザ数×特徴数）を表す。

表 4 擬似的なデータ対における macro ROC-AUC とそ の標準偏差. 値は大きいほど予測精度が高い.太字は各 データの最大値.

} & 埋込 & Movie & POS & TV \\

表 5 異なるデータ対における macro ROC-AUC とその標準偏差. 值は大きいほど予測精度が高い。太字は各デー タの最大値.

離行列の構築ではユーザベクトル $\mathbf{v}_{i}, \mathbf{v}_{j}$ に対するコ サイン距離 $1-\frac{\mathbf{v}_{i} \cdot \mathbf{v}_{j}}{\left.\|\mathbf{v}_{i}\right.\|_{2}\left.\|\mathbf{v}_{j}\right.\|_{2}}$ を用いた。

ベースライン 教師なしデータフュージョンには 既存研究や簡単に比較できる手法が存在しないた め，いくつかの簡単なべースラインを用意した.

random : ソースに対してランダムにターゲットを 対応付けたものを予測結果とする.

cos : 「特徵量空間の違いを無視し，ユーザベクト ルのコサイン類似度が近いほど類似したユーザであ る」という仮定から，ユーザ $i, j$ の特徴量ベクトル $\mathbf{v}_{i}, \mathbf{v}_{j}$ のコサイン類似度 $\frac{\mathbf{v}_{i} \cdot \mathbf{v}_{j}}{\left.\|\mathbf{v}_{i}\right.\|_{2} \mid \mathbf{v}_{j} \|_{2}}$ を対応度合いと する. 特徵量空間の違いが無視するため，精度良く 対応付けられないと考えられる。

## 5.2 実験結果

## 擬似的なデータ対に対するデータフュージョン単一データを分割した擬似データでの結果は表 4 の 通り。一切教師情報を与えない難しい問題にも関 わらず，提案法（GW）はチャンスレベル（random） を大きく凌駕した. これらの実験で用いたのは疑似
テーブル対であり，「行の類似性は空間を超えて一貫」仮説をおおよそ満たす状態であったため，同じ 仮説に基づく対訳辞書構築手法の適用というアプ ローチがうまく動いたと考えらえれる。また，疎な 行情報（raw）を使うよりも特にSVDを介した密べ クトルを用いた方が性能が高い傾向が見られた. 単語ベクトルの学習は共起行列の SVD と等価である こと [16] から，ここでも対訳辞書構築との共通点が 分かる. ふたつのタスクの共通点や相違点のより厳密な分析は今後の課題である.

TVでは， $\cos / \mathrm{SVD}$ という一見弱いベースライン が ROC-AUC で 1.0 を示している（全問正解）。この 原因は，TV 行列をランダムで擬似分割したとして もソースとターゲットのテーブルにほとんど「共通」の列（特徴量）が多数残ってたためと考えられ $る^{13)}$. 今後教師なしデータフュージョンのベンチ マークを作成する際は，特徴量間の依存性を減らす 工夫が必要だと考えられる。

異なるデータ対に対するデータフュージョン異 なるデータに対するデータフュージョンの結果は 表 5 の通り。一部チャンスレベルを超える結果は観測できるが，まだとても「解けた」とは言い難い状況である。今後の展望として，まず仮説「行の類似性は空間を超えて一貫」が現実の異種データでどの 程度満たされているかについて，データ自体を定性的・定量的に観察したい。また，異種データの場合 は対応付かない行 ${ }^{14)}$ の存在が想定される. 現状の最適輸送に基づく提案法も，ROC-AUC の平均という 評価尺度も，すべての行に対応先があることを仮定 しており，手法や評価尺度の改定も今後の重要な仕事であろう。

## 6 結論

本論文では，共通する行および列を持たない二つ のテーブルデータを対応付けるタスクである教師な しデータフュージョンを定式化した。そして教師な しデータフュージョンが教師なし対訳辞書構築が同 じ形式をとることに着目し，Gromov-Wasserstein 距離にもとづく対訳辞書構築技術を用いた手法を提案 した．複数の実データを用いた検証実験の結果，提案法がベースラインに対して優位性を持つことと， その課題を報告した. 今後はより多くの種類のテー ブルデータに対する検証を進めたい.
$ を視聴」と「10:00 にテ レビ局 $\mathrm{A}$ を視聴」のような列対など.

14）ターゲット側に似たユーザが存在しないようなユーザ
}

## 参考文献

[1] Wagner A. Kamakura and Michel Wedel. Statistical data fusion for cross-tabulation. Journal of Marketing Research, Vol. 34, No. 4, pp. 485-498, 1997.

[2] Elizabeth A. Stuart. Matching methods for causal inference: A review and a look forward, 2010.

[3] Zvi Gilula, Robert E. Mcculloch, and Peter E. Rossi. A direct approach to data fusion. Journal of Marketing Research, Vol. 43, No. 1, pp. 73-83, oct 2006.

[4] Paul R. Rosenbaum and Donald B. Rubin. Constructing a control group using multivariate matched sampling methods that incorporate the propensity score. American Statistician, Vol. 39, No. 1, pp. 33-38, 1985.

[5] Noa Dagan, Noam Barda, Eldad Kepten, Oren Miron, Shay Perchik, Mark A. Katz, Miguel A. Hernán, Marc Lipsitch, Ben Reis, and Ran D. Balicer. BNT162b2 mRNA Covid-19 Vaccine in a Nationwide Mass Vaccination Setting. New England Journal of Medicine, Vol. 384, No. 15, pp. 1412-1423, 2021.

[6] Webkit Org. Intelligent Tracking Prevention 2.3, 2021.

[7] Samuel L. Smith, David H.P. Turban, Steven Hamblin, and Nils Y. Hammerla. Offline bilingual word vectors, orthogonal transformations and the inverted softmax, 2017.

[8] Hidetoshi Shimodaira. Cross-validation of matching correlation analysis by resampling matching weights. Neural Networks, Vol. 75, pp. 126-140, 2016.

[9] Marcello. D' Orazio, Marco. Di Zio, and Mauro. Scanu. Statistical Matching: Theory and Practice. Wiley, 2006.

[10] Guillaume Lample, Alexis Conneau, Marc'Aurelio Ranzato, Ludovic Denoyer, and Hervé Jégou. Word translation without parallel data. In 6th International Conference on Learning Representations, ICLR 2018 - Conference Track Proceedings, feb 2018.

[11] David Alvarez-Melis and Tommi S. Jaakkola. Gromov-wasserstein alignment of word embedding spaces. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, EMNLP 2018, pp. 1881-1890, 2020.

[12] Meng Zhang, Yang Liu, Huanbo Luan, and Maosong Sun. Earth mover's distance minimization for unsupervised bilingual lexicon induction. In EMNLP 2017 - Conference on Empirical Methods in Natural Language Processing, Proceedings, pp. 1934-1945, 2017.

[13] Mikel Artetxe, Gorka Labaka, and Eneko Agirre. A robust selflearning method for fully unsupervised cross-lingual mappings of word embeddings. In ACL 2018 - 56th Annual Meeting of the Association for Computational Linguistics, Proceedings of the Conference (Long Papers), Vol. 1, pp. 789-798, 2018.

[14] Yedid Hoshen and Lior Wolf. Non-adversarial unsupervised word translation. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, EMNLP 2018, pp. 469-478, 2020.

[15] Tomas Mikolov, Quoc V. Le, and Ilya Sutskever. Exploiting Similarities among Languages for Machine Translation. sep 2013.

[16] Omer Levy and Yoav Goldberg. Neural word embedding as implicit matrix factorization. In Advances in Neural Information Processing Systems, Vol. 3, pp. 2177-2185, 2014.

[17] Gabriel Peyre, Marco Cuturi, and Justin Solomon. Gromovwasserstein averaging of kernel and distance matrices. In 33rd International Conference on Machine Learning, ICML 2016, Vol. 6, pp. 3927-3935, 2016.

[18] Ian J. Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville, and Yoshua Bengio. Generative adversarial nets. In Advances in Neural Information Processing Systems, Vol. 3, pp. 2672-2680, 2014.

[19] Xilun Chen and Claire Cardie. Unsupervised multilingual word embeddings. In Proceedings of the 2018 Conference on Em- pirical Methods in Natural Language Processing, EMNLP 2018, pp. 261-270, 2020.

[20] Zi Yi Dou, Zhi Hao Zhou, and Shujian Huang. Unsupervised bilingual lexicon induction via latent variable models. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, EMNLP 2018, pp. 621-626, 2020.

[21] Edouard Grave, Armand Joulin, and Quentin Berthet. Unsupervised alignment of embeddings with Wasserstein Procrustes. In AISTATS 2019 - 22nd International Conference on Artificial Intelligence and Statistics, 2020.

[22] Ruochen Xu, Yiming Yang, Naoki Otani, and Yuexin Wu. Unsupervised cross-lingual transfer of word embedding spaces. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, EMNLP 2018, pp. 2465-2474, 2020.

[23] Tanmoy Mukherjee, Makoto Yamada, and Timothy Hospedales. Learning unsupervised word translations without adversaries. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, EMNLP 2018, pp. 627-632, 2020.

[24] Tim Salimans, Ian Goodfellow, Wojciech Zaremba, Vicki Cheung, Alec Radford, and Xi Chen. Improved techniques for training GANs. In Advances in Neural Information Processing Systems, pp. 2234-2242, 2016.

[25] F. Maxwell Harper and Joseph A. Konstan. The movielens datasets: History and context. ACM Transactions on Interactive Intelligent Systems, Vol. 5, No. 4, dec 2015.

[26] Andrew P. Bradley. The use of the area under the ROC curve in the evaluation of machine learning algorithms. Pattern Recognition, Vol. 30, No. 7, pp. 1145-1159, 1997.

[27] N. Halko, P. G. Martinsson, and J. A. Tropp. Finding structure with randomness: Probabilistic algorithms for constructing approximate matrix decompositions. SIAM Review, Vol. 53, No. 2, pp. 217-288, 2011.

[28] Gábor Takács, István Pilászy, and Domonkos Tikk. Applications of the conjugate gradient method for implicit feedback collaborative filtering. In RecSys'11 - Proceedings of the 5th ACM Conference on Recommender Systems, pp. 297-300, 2011.
表 6 実験に用いたデータの統計情報. 1 行目は（ソース

ブルサイズ（ユーザ数×特徴数）を表す.

## A 実験

## ハイパーパラメタ調整

開発データを用いて以下のハイパーパラメタを決定した。

データの表現 データは値が含まれる部分を 1 ，値 が含まれない部分を 0 として二値化した.

ユーザベクトルの構築 Randomized SVD [27] ${ }^{15)}$

(SVD) と Alternating Least Squares による Matrix

Factorization [28] ${ }^{16)}(\mathrm{ALS})$ とによって 10 次元に

削減したベクトルの二種類をユーザベクトル として用意した. ALS の正則化項は 0.01 を用 いた.

ユーザベクトルの後処理 ユーザベクトルは $\mu_{s, j}$ を $\mathbf{V}_{s}[:, j]$ の平均, $\sigma_{s, j}$ を $\mathbf{V}_{s}[:, j]$ の標準偏差とし て標準化 $\mathbf{V}_{s}^{\prime}[:, j]=\frac{\mathbf{V}_{s}[:, j]-\mu_{s, j}}{\sigma_{s, j}}$ を行った $\left(\mathbf{V}_{t}\right.$ も同様に実施した).

要素内距離 要素内距離行列の構築ではユーザベク トル間の距離に二人のユーザ $(i, j)$ のユーザベ クトル $\mathbf{v}_{i}, \mathbf{v}_{j}$ に対するコサイン距離 $1-\frac{\mathbf{v}_{i} \cdot \mathbf{v}_{j}}{\left.\|\mathbf{v}_{i}\right.\|_{2}\left.\|\mathbf{v}_{j}\right.\|_{2}}$ を用いた。

GW の正則化項 Gromov-Wasserstein 距離の計算に おける正則化項 $\lambda$ は 0.001 を用いた.

## サンプルサイズ

開発データも含めたサンプルサイズの図を表 6 に 記す。

15) https://scikit-learn.org/stable/modules/generated/ sklearn.decomposition.TruncatedSVD.html を用いた

16）https://github.com/benfred/implicitを用いた


# 材料の記述が不完全な料理レシピの分析

河野大悟土屋雅稔
豊橋技術科学大学大学院情報. 知能工学専攻
\{kohno, tsuchiya\}@is.cs.tut.ac.jp

## 概要

料理レシピは，料理に必要な材料リストと調理手順からなる手順文書であり，その文書が理解できて いるか否かを検討することが比較的容易であるた め，文書理解のモデルドメインとして注目されてい る。本稿では，料理レシピを理解する前提として，対象となる料理レシピの記述が完全であるか否か を，材料リストと調理手順の対応関係に基づいて分析する方法について述べる。

## 1 はじめに

料理レシピ（以下，レシピと言う）は，材料リス 卜に記載された材料から料理を作成する調理手順を 記述した典型的な手順文書であり，文書理解のモデ ルドメインとして注目されている $[1,2,3,4]$. しか し, 先行研究では，対象となるレシピが人間にとっ ても理解困難（かつ，計算機にとっても理解困難） である可能性については検討せず，全てのレシピを 文書理解が可能である対象として一律に扱ってい る. 本稿では，レシピの文書理解を検討する前段階 として，理解困難なレシピの識別方法を検討する。

レシピの基本的な要素は, 材料, 分量および手順 の 3 点である. したがって，レシピの理解を困難に する要因も，この 3 点が主要な要因として考えられ る. 第 1 の要因は，材料の不完全な記述である. 材料の不完全な記述とは，材料リストに含まれている 材料が調理手順では言及されていなかったり，逆 に調理手順で言及されている材料が材料リストに 含まれていない，という状況である。例えば，図 1 では，材料リストに含まれている「めんつゆ」が調理手順では言及されていないため，「めんつゆ」を どのように利用すれば良いのか不明である。また，図 1 の調理手順の第 4 手順は「パスタ」に言及して いるが，材料リストには「パスタ」が含まれていな い.このような材料の不完全な記述が存在すると， レシピの理解が困難になる。

作り方

図 1 理解困難なレシピの例

第 2 の要因は，分量の不完全な記述である. 分量 の不完全な記述とは，材料リストや調理手順におい て，具体的な分量が記述されていない状況である.例えば，図 1 では，ほとんどの材料の分量が「適量」 となっている。そのため，調理者（少なくとも，こ のレシピに習熟していない調理者）にとっては，具体的な量を想像することが困難である.

第 3 の要因は，動作の不完全な記述である. 動作 の不完全な記述とは，必要な動作が記述されていな かったり，動作の様相についての説明が不足してい る状況である．例えば，図 1 の調理手順の第 2 手順 は，「炒める」という動作の終了条件として「いい感 じのところ」という曖昧な表現を用いており，どの 程度まで炒めたら良いか理解困難である。

これら 3 つの要因の内，分量および動作の不完全 な記述については，調理者の知識や熟練度によっ て，必要な記述が大きく異なる．先に指摘した「適
量」「いい感じのところ」という表現も, 図 1 のレシ ピに習熟している調理者にとっては，容易に理解で きる表現と予想される. そのため本研究では，材料 の記述が不完全なレシピに限定して検討する. ただ し，材料の記述が完全なレシピが満たすべき条件も また自明ではないため，専門家によって監修された レシピを参照して, 材料の記述が完全なレシピが満 たすべき基準について最初に検討する。次に，ユー ザ投稿型レシピ共有サイトのデータセットを用い て，材料の記述が不完全なレシピの存在割合につい て予備分析した結果を報告する。

## 2 材料の分類

この節では，専門家や第 3 者によって監修されて いないユーザ投稿型レシピの材料リストに基づい て，材料の記述完全性基準が，どのような材料を カバーする必要があるかを検討する．クックパッ ドデータセット $[5,6]$ は, ユーザ投稿型レシピ共有 サイト ${ }^{1)}$ に投稿された大量のレシピからなるデータ セットである．このサイトは，レシピ作成者が投稿 したレシピがそのまま共有されるサイトであり，専門家や第 3 者による監修は行われていない。また, レシピの書き方についてのガイドライン（図2）が 提供されているものの，材料リストに記載するべき 材料としては「食材や調味料」と簡単に指定されて いるのみである.

そのため，本研究ではまず，クックパッドデータ セットに含まれるレシピの材料リストを観察して，材料を分類することを試みた．分類結果を図 3 に示 す.この分類は，材料リストに記載するべきか否か の判断がレシピ作成者によって異なるかどうかを重視している。まず，調理手順で利用する器具につい ては, 繰り返し利用できるフライパンやボウルなど の器具と, 1 回しか利用できない竹串やクッキング シートなどの器具について，大きな差が観察された ため, 「備品」という分類と「消耗品」という分類 を設ける. 消耗品を材料リストに含めているレシピ

4. 材料 $\cdot$ 分量レシピの味が再現できるよう、材料 （食材や調味料）とその分量を書いてください。 ※分量を記載しにくい材料は「少々」や「適量」な どで問題はありません。

5. 作り方お料理初心者の方でもわかるよう、下ご しらえの方法や調理手順を書いてください。

図 2 ユーザ投稿型レシピの書き方のガイドライン

は多いが，それに対して，備品を含めているレシピ は少ない，次に，食材については，実際に摂取する 食材と，実際には摄取しない食材について，大きな 差が観察された。例えば，生地として使う小麦粉に ついては，ほとんどのレシピで材料リストに含まれ ているのに対して，打粉として使う場合は，材料リ ストに含まれていないレシピも多い．そのため，実際に摂取する食材という定義の「具材」という分類 と，調理手順において器具的に利用するが，実際に は摂取しない食品という定義の「副材料」という分類を設ける．最後に，「水分」は，後述する分析にお いて必要となった特殊な分類である。

## 3 材料の記載状況

この節では，専門家によって監修されたレシピを 用いて, 図 3 の分類別に記載状況を調査し，材料の 記述完全性基準について検討する。

本研究では，専門家によって監修されたレシピと して，日本放送協会によって制作された「料理レ シピ」ウェブサイト2)から収集したレシピ（以下， NHKレシピと言う）を参照する。 NHKレシピは， テレビ番組として料理と調理手順を紹介するために 用意されたレシピである. NHKレシピの作成者は,料理の専門家であり，かつ，NHKレシピの記述内容 は，番組制作関係者による監修を受けている。した がって, NHKレシピは, ユーザ投稿型レシピとは異 なり，極めて高度に品質が統制されたレシピである と考えられる. そこで本研究では，NHKレシピに 対する監修基準を，材料の記述が完全なレシピが満 たすべき基準であると仮定する。

2021 年 1 月 30 日に収集した NHK レシピデータ セットの諸元を，表 1 に示す. 収集時点の NHK レ シピデータセットは，「きょうの料理」「ごごナマ」 などの 11 種類のテレビ番組で紹介された 2320 件の レシピからなる.

最初に, NHKレシピデータセットからランダム

表 1 NHKレシピデータセットの諸元

図 3 クックパッドレシピデータに含まれるレシピの材料リストに出現する材料の分類

図 4 材料リストと調理手順の対応付与作業

サンプリングした 500 件のレシピを対象として，人手で，調理手順と材料リストの対応関係を付与する 作業を行った (図 4). 作業結果から，3つのことが 分かる。第 1 に，材料リストに含まれる材料は，必 ず調理手順で言及されている。したがって，材料リ ストに含まれる材料が調理手順では言及されていな いというような不完全な記述（図1の「めんつゆ」） は，NHK レシピにおいては許容されていない. 第 2 に，調理手順において材料リストに含まれていな い材料に言及する場合は，以下の例のように「分量外」「お好みで」などの明示的な指示が存在する.

①.5 2 倍ほどに膨らんだらふたをあけて打ち

粉（強力粉/分量外）をふるう3)。

第 3 に，図 4 のレシピでは，材料リストには「豚こ ま」と記載されている材料が，調理手順では「肉」 として参照されていたり，材料リストには「ブロッ コリー」「たまねぎ」「にんじん」「ほうれんそう」と 記載されている材料が，調理手順では「野菜」とし て参照されており，単純な文字列一致では，調理手順と材料リストの対応関係を解決できない.

図 3 の各分類に属する典型的な材料を対象とし て，NHK レシピデータセットにおける記載状況を 調査した結果を，表 2 に示す.「フライパン」は備

3) https://www.nhk.or.jp/lifestyle/recipe/detail/500360. html から引用品に属する材料であるが，NHKレシピデータセッ トの調理手順では 930 件のレシピに出現する. しか し，その 930 件のレシピの材料リストには，「フラ イパン」は 1 回も出現しない. 備品に属する「鍋」,消耗品に属する「ラップ」「竹串」についても同様 に，調理手順中に出現するレシピであっても，材料 リストには 1 回も出現しない。したがって，NHKレ シピにおいては，備品であるか消耗品であるかに関 わらず，器具は材料リストに常に記載しないという 基準が採用されていると考えられる。

具材に属する「トマト」「豚肉」については，表 2 の記載状況から明らかに，必ず材料リストに記載さ れている。副材料である可能性がある材料について は，個別に検討を要する。「昆布」は，そのものを具材として摂取する料理と，出汁を取るために利用し て，その後は捨ててしまう副材料として利用する料理が存在する．そのため，単純に「昆布」が文字列 として出現している頻度を数えると，表 2 に示す通 り，その小分類は不明である。「昆布」が調理手順 に出現しているレシピを人手チェックしたところ，具材として利用しているレシピは 25 件，副材料と して利用しているレシピは 22 件あり，どちらの小分類に属する場合も全て材料リストにも記載され ていた.「片栗粉」「小麦粉」についても同様に，副材料として利用しているレシピが存在しており，か つ，調理手順中で言及されている場合は材料リスト にも記載されていること（ただし，「分量外」と明記 されている場合を除く）が確認された．以上の議論 から，NHKレシピにおいては，具材であるか副材料 であるかに関わらず，食材は材料リストに常に記載 するという基準が採用されていると考えられる。

水分に属する材料の記載状況は, 器具または食材に属する材料の記載状況と大きく異なる. 調理手順中で「水」に言及している場合であっても，材料リストに「水」が記載されている場合と，記載さ れていない場合がある。調理手順で「水」に言及し ており，かつ，材料リストには「水」が含まれてい

 &  &  \\

表 2 NHKレシピにおける材料の記載状況

ないレシピを 100 件ランダムサンプリングして人手チェックしたところ，具材として利用している 「水」は 42 件，副材料として利用している「水」は 62 件あった. したがって，NHKレシピにおいては，水分に属する材料の記載基準がないと考えられる。

以上の考察と調査から，図 3 の分類に基づいて，材料の記述完全性の基準を以下のように定義する。

1. 調理手順では，材料リストに含まれている全て の材料に言及する。

2. 材料リストには，調理手順中で使用する全ての 食材を記載する．ただし，「分量外」と明記さ れている場合を除く。

3. 器具は，材料リストに記載しない.

4. 水分は，材料リストに記載しても，記載しなく ても良い。

## 4 予備分析

クックパッドデータセットからランダムサンプリ ングした 500 件のレシピを対象として，人手で，調理手順と材料リストの対応関係を付与する作業を 行った結果を, 表 3 に示す. 調理手順で言及されて いる食材が材料リストに含まれていない記述不完全 は，82 件 $(16 \%)$ のレシピにおいて，103 回発生し ていた，具材に属する「塩」「砂糖」「バター」，副材料に属する「油」「サラダ油」などの記述が不完全で ある例が多かった. 材料リストに含まれている食材 が調理手順で言及されていない記述不完全は，44 件 （9\%）のレシピにおいて，57 回発生していた. 具材 に属する「塩」「酒」「砂糖」，副材料に属する「サラ 油」，水分に属する「水」などの記述が不完全であ る例が多かった。

表 3 食材の記述不完全の発生頻度

## 5 結論

本研究では，材料の不完全な記述により，理解が 困難となっているレシピについて分析した．専門家 や第 3 者によって監修されていないユーザ投稿型 レシピの材料リストに基づいて，材料の記述完全性基準が考慮する必要がある材料の分類を検討した 上で，専門家によって監修されたレシピにおける記載状況に基づいて，材料の記述完全性基準を定義し た.この基準を用いて，ユーザ投稿型レシピの記載状況を検討し，16\%のレシピでは材料リストにおけ る食材の記述不完全が，9\%のレシピでは調理手順 における食材の記述不完全が，それぞれ発生してい ることを明らかにした。

今後の課題としては，以下の 2 つを検討してい る. 第 1 に，本研究における材料の記述完全性基準 は，材料に対する言及の有無を単純に基準としてお り，材料（特に副材料）について，記述が不完全で あっても調理手順が推定できる場合を考慮していな い. そのため，本研究の材料の記述完全性基準と，調理者の理解度の関係を明らかにする必要がある。第 2 に，材料の記述完全性基準の不備を自動的に チェックする手法を開発し，ユーザ投稿型レシピ全体における材料の記述不完全の発生率を明らかにす ることを計画している。

## 謝辞

本研究では, 国立情報学研究所の IDR データセッ

ト提供サービスによりクックパッド株式会社から提供を受けたクックパッドデータセットを利用した.

## 参考文献

[1] Yoshio Momouchi. Control structures for actions in procedural texts and PT-chart. In COLING 1980 Volume 1: The 8th International Conference on Computational Linguistics, 1980.

[2] Reiko Hamada, Ichiro Ide, Shuichi Sakai, and Hidehiko Tanaka. Structural analysis of cooking preparation steps in japanese. In Proceedings of the Fifth International Workshop on on Information Retrieval with Asian Languages (IRAL), pp. 157-164, 2000.

[3] Shinsuke Mori, Hirokuni Maeta, Yoko Yamakata, and Tetsuro Sasada. Flow graph corpus from recipe texts. In Proceedings of the Ninth International Conference on Language Resources and Evaluation (LREC'14), pp. 23702377. European Language Resources Association (ELRA), 2014.

[4] 前田浩邦, 山肩洋子, 森信介. 手順文書からの意味構造抽出. 人工知能学会論文誌, Vol. 32, No. 1, pp. 1-8, 2017.

[5] クックパッド株式会社. クックパッドデータ. 国立情報学研究所情報学研究データリポジトリ http://doi.org/10.32130/idr.5.1, 2015.

[6] Jun Harashima, Michiaki Ariga, Kenta Murata, and Masayuki Ioki. A large-scale recipe and meal data collection as infrastructure for food research. In Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC 2016), pp. 2455-2459. European Language Resources Association (ELRA), 2016.


# SNS の投稿内容に基づく生活習慣病発症リスクの分析

田㴊 尚道 松本和幸吉田稔 西村良太 北研二
徳島大学大学院創成科学研究科
c612135001@tokushima-u.ac.jp, \{matumoto, mino, kita, nishimura\}@is.tokushima-u.ac.jp

## 概要

国内における死亡原因は，がん・循環器疾患・糖尿病などで全体の約 6 割を占めている.これらの病気はいずれも食事・運動・睡眠などの生活習慣と深 い関りがあり, 生活習慣病と呼ばれている. 生活習慣病には自覚症状がほとんどないため, 病気の悪化 に気づきにくいという特徴がある。本研究では，よ り簡易的に生活習慣病を予防するシステムの構築を 目指し，ソーシャル・ネットワーキング・サービス (SNS)を用いて, ユーザの投稿内容から食事・運動・体調・精神状態に関するツイートの分析を行った.調查の結果, 本研究の成果がユーザの投稿内容から 生活習慣病発症の危険因子を検出するシステムの構築につながることが分かった。

## 1 はじめに

生活習慣病は国内における，死亡者数の約 6 割を 占めている[1]. 生活習慣病の予防は私たちの健康を 守るために非常に重要であるが，生活習慣病の早期発見は難しい。生活習慣病にはほとんど自覚症状が なく, 気づいた時には病気が悪化しているケースが 少なくない。本研究では, 定期的に生活習慣を見直 すきっかけを与えるシステムが必要であると考え，多くの人が自身の日常生活について投稿している SNS に注目する。本論文では, 年々ユーザが増加傾向にある Twitter[2]を対象とし，ユーザの投稿内容か ら食事，運動，体調，精神状態に関するツイートの 分析を行い, ユーザの特徴, ユーザ間の共通点の分析手法について述べる. これらの分析結果から, ユ 一ザの投稿内容から生活習慣病発症の危険因子を検出するシステムの構築について考察する.

## 2 関連研究

高橋ら[3]は，ユーザの生活パターンと介入が受け 入れられる可能性を考慮して環境のモデルを推定し，後ろ向き帰納法アルゴリズムで目標から逆算して最適な方策を得る方法を構築している. 彼らの研究で は，ユーザの生活パターンへの介入をユーザ自身が記録したカレンダーアプリの生活記録データを分析 することで行う.そのため, 介入を受けるためには， ユーザが毎日の生活を記録する必要がある。また，彼らのシステムは，ある程度生活習慣の改善が必要 であることを自覚しているユーザには有効であるが, ユーザへの負担が大きいため, ユーザ数は限られる.本研究では，生活習慣を改善する必要性に気づいて いないユーザを対象として生活習慣改善のきっかけ を与えるシステムを目指している点で異なる。

Gael Pérez Rodríguezt ら[4]は, Twitterの糖尿病コ ミュニティの患者や近親者の健康状態を理解するた めに，糖尿病患者の投稿内容に焦点を当てた分析を 行っている. Twitter の投稿内容からユーザの健康状態の分析を行う点では, 本研究は彼らの研究と類似 している。彼らは糖尿病に罹っているユーザのみを 分析対象としているが，本研究は分析対象とするユ ーザを限定しない点で異なる。

## 3 提案手法

提案手法は, まず，半年間で健康状態（体調・精神状態）と生活習慣（食事・運動）のそれぞれ 1 項目以上を含むツイートを定期的に行っているユーザ を選定し，半年分のツイートを収集する。これらの 情報の収集には Twitter API [5]を使用する。

収集したツイートに対して，自動および手動でラ ベル付けを行う．自動ラベル付けではラベル別にキ ーワードを設定し，キーワードが含まれるツイート に対してラベルを自動付与する。手動ラベル付けで は，自動ラベル付けでラベルが付与されなかったツ イートを対象に，各ユーザからランダムでツイート を抽出し，手動ラベル付け用のデータを作成し，手作業によるラベル付けを行う．モデル作成のために ラベル付けしたデータのテキストに対して, BERT (Bidirectional Encoder Representations from Transformers)[6]を用いてツイート単位でテキストを ベクトル化した。これを用いてマルチラベル分類モ デルの作成と評価を行った。最後に，作成したモデ ルを用いて，収集した全データにラベルを付与し， データ分析を行う。

## 3. 1 Twitter API

Twitter API を利用することで，公式サイトを介さ ずに, ツイートやタイムラインなどのデータを取得 することができる. キーワードや期間を指定してツ イートを収集することが可能であり，分析に必要な ツイートを効率的に収集することができるため, 本研究では Twitter APIを用いてデータ収集を行う.

## 3.2 ラベル付きデータ作成

ラベルの種類はその他(0), 運動(1), 食事(2),体調(3), 精神状態(4)の 5 種類とした. 自動ラベル 付けでは, 表 1 に示すように各ラベルのキーワード を設定する. キーワードが含まれたツイートには各 キーワードに対応するラベルを付与した。その他 $(0)$ と精神状態(4)のツイートはキーワードの設定が困難であるため, 自動ラベル付けは行わない.

手作業によるラベル付けでは自動ラベル付けでラ ベルが付与されなかったツイートを対象に, 各ユー ザからランダムで一定数のツイートを抽出し, 得ら れたデータを手作業ラベル付け用のデータとする. ラベル付与の偏りを抑えるために, 同じデー夕に対 して 4 人の作業者が付与を行い, 最終的なラベルは 多数決で決定する. 多数決で決定できない場合は,複数のクラスに属するツイートとして扱う。

表 1 ラベルの種類とキーワード

 \\

## 3.3 テキストのベクトル化

東北大学乾研究室が公開している BERTの事前学習済みのモデル[7]を用いて, ツイートの分散表現ベ クトルを取得する.このモデルは日本語の Wikipedia 記事を対象に事前学習したものであり, 得られる分散表現ベクトルの次元数は 768 次元である.

## 3.4 モデル作成と評価

モデルの作成は BERT モデルをサポートしている
Simple Transformers[8]用いた. Simple Transformers は Transformer モデルが,シンプルな実装で使えるラ イブラリである. 今回のモデルの構造は BERT の出力次元がラベルの種類数である 5 になるように最終層だけ全結合層に取り換えたものである。また，モ デルの評価には 5 分割交差検証法を用いる.

## 3.5 データ分析

データ分析では，まずデータ分析の対象ユーザを 抽出した. ラベル $(0)$ のツイートは特徴を把握するこ とが難しいため分析対象外とする。データ分析の対象ユーザを 1 日当たり 10 件以上のツイート, 且つ, その 10 件以上のツイート内に複数のラベルがある ユーザとした.これは 1 日当たりのラベル出現割合 のパターンでユーザを比較するためである.

分析対象のユーザを抽出後, ユーザごとに 1 日当 たりのラベルの出現割合を出し, K-Means 法[9]によ り出現割合のパターンで適当なクラス数にユーザを 分類し, 各クラス内の単語の出現傾向を調べる. 分類したクラス内の単語傾向を調べる手法はトピック モデルを用いる. トピックモデルの学習は LDA(Latent Dirichlet Allocation)[10]により行う.

## 4 結果と考察

## 4. 1 データ収集

Twitter API を用いて 3節で述べた条件に当てはま るユーザの選定を行う。まず，食事・運動のキーワ ードを設定し, 食事・運動関連のツイートをしてい るユーザを特定し，過去に体調・精神状態に関する ツイートを投稿したユーザの特定を行う．表 2 が収集時のキーワードの例である. 最後に，特定したユ 一ザの中で bot の可能性があるユーザ，鍵付きアカ ウントのユーザ，半年以内に作られたユーザを除外 することで，収集対象のユーザを決定する。 ユーザ を選定した後，各ユーザの半年間分のツイートを収集したところ, ユーザ数は 5297 名となり, 収集でき たツイート数は約 276 万件となった。

表 2 ツイート収集時のキーワード

 \\

## 4. 2 ラベル付きデータ

ラベル付きデータの作成は，自動ラベル付けと手動ラベル付けで行った. 自動ラベル付けでは運動,食事，体調の 3 つの項目に対してキーワードを設定 し，キーワードを含むツイートには自動でラベル付 けを行った。手動ラベル付けでは自動ラベル付けで ラベルが付与されなかったツイートを対象に，各ユ 一ザから 2 件のツイートを抽出し，得られた 10,594 件のツイートを手作業ラベル付け用のデータとした。 ラベル付与の偏りを抑えるために，同じデータに対 して 4 人でラベル付けを行い，最終的なラベルは多数決で決めた。ラベル割合が 1:1 に分かれる場合は 重複して学習させ，1:1:1:1に分かれる場合は除外し た. ラベル付けの結果は表 3 のようになった.

表 3 ラベル付け結果

## 4. 3 モデル作成と評価

モデルに学習させるラベル付きデータは自動ラベ ル付けデータを各項目ランダムに 700 件抽出したデ ータと手動ラベルデータで構成されている(表 4).

モデルの作成では Simple Transformers を用いて マルチクラス分類モデルの作成をした. モデルの評価は Python の機械学習用ライブラリである scikit-learn [11]を用いた交差検証法で行った.今回は 5 分割の交差検証を行った。また, 学習データのク ラスに偏りがあるため，学習の際にアンダーサンプ リング，オーバーサンプリングの処理を加えた。ア ンダーサンプリング処理を加えたモデルの分類精度 は $77 \%$ ，オーバーサンプリング処理を加えたモデル は分類精度が $87 \%$ となった。今回，分類精度が高か ったオーバーサンプリング処理を加えたモデルを分析に用いることにした。

表 4 学習データの内訳

## 4. 4 分析結果

データ分析の対象ユーザを 1 日当たり 10 件以上の

ツイート，かつ，その 10 件以上のツイート内に(0) ラベルを除く複数のラベルがあるユーザとする。そ の結果，対象ユーザは 64 名となった. 各ユーザに対 して，1 日当たりの各ラベルの出現割合を求める.各ラベルの出現割合は以下の式(1)で算出した.

$
\begin{aligned}
& R_{i}=100 \times \frac{L_{i}}{L_{s}} \\
& R_{i}: \text { ラベル } \mathrm{i} の \text { 出現割合 } \\
& L_{i}: \text { ラベル } \mathrm{i} の \text { 出現回数 } \\
& L_{s}: \text { 全ラベルの出現回数の合計 }
\end{aligned}
$

ユーザのクラス分類では K-Means 法を用いて，ラ ベルの出現割合のパターンでユーザを 5 つのクラス に分類した。クラス名はクラス内での出現割合の高 いラベルから参照し， A:[運動・食事]，B:[食事・精神状態], C:[食事], D:[体調], $\mathrm{E}$ : [精神状態]とした.

各クラスに対し, トピック数を 30 とし, 名詞, 形容詞のみを対象にトピックモデル (LDA) と pyLDAvis[12]を用いてトピック内の単語傾向やトピ ック間の共通点を調査した. pyLDAvis の散布図にお いて，円の中心に配置されている数字は各トピック の番号を表し，円の大きさは，分析対象としている 単語が各トピックにどの程度含まれているかを表す。 また，円の中心間の距離はトピック間の距離を表し ている。棒グラフは各トピック内の出現頻度の高い 上位 30 語と各単語の出現数を示す. 図 1 はクラス B の「眠い」の出現分布を表している。図 2 は図 1 の トピック 26 内の上位単語を表している. 棒グラフの 赤色部はトピック 26 内での各単語の単語数を示し,青色部は全体の単語数を示している。また，各クラ ス内の上位頻出単語 5 語を表 5 にまとめた。

図 1 pyLDAvisによるトピックモデルの可視化

図 2 pyLDAvisによる単語の出現頻度の可視化

表 5 各クラス内の上位頻出単語

 \\

## 4. 5 考察

pyLDAvis によるトピックモデルの可視化結果に 基づき，クラスごとに考察を行う．クラス A では，「ダイエット」が全トピック，「糖質制限」が 16 トピック，「良い」が 26 トピックに分布していた. ダイエット目的でのトレーニングや食事制限関連の 単語が多く, 健康意識が高いユーザが多いと考えら れる。クラス B では, 図 1 , 図 2 から分かるように 「眠い」が 14 トピック，その他には「怖い」が 9 トピック, 「愚痴」が 10 トピックに分布していた. クラス B は A, C, E と比べ，ネガティブな単語の 分布が広いことから生活習慣に何らかの問題を抱え ているユーザが多いと考えられる。クラス Cでは上位頻出単語以外に「アップ」が 12 トピック，「良い」 が 26 トピック，「楽しい」が 18 トピックに分布し ていた. ポジティブな単語の分布が多く, 食事を中心とした健康意識の高いユーザが多いと考えられる。 クラス Dでは「下剂」「悪い」が 29 トピック，「痛 い」が 28 トピックに分布していた. その他にも「無理」「腹痛」などのネガティブな単語が広く分布し,他のクラスと比較し, 顕著にネガティブな単語が広 く分布していた。さらに「お菓子」「アイス」「ラ 一メン」といった食生活に悪影響を及ぼす可能性の ある単語も確認できた。これらを考慮すると, クラ ス D内のユーザは食生活の乱れから体調不良を起こ している可能性があり, 生活習慣病のリスクが最も 高いユーザが多く含まれると考えられる。クラス E では，「嬉しい」が 23 トピック，「最高」が 20 卜 ピックに分布し, ポジティブな単語が広く分布して いる一方で，「嫌」が 15 トピック，「怖い」が 10 トピック，その他にも「メンタル」「我慢」「必死」
といったネガティブな単語も広く分布していた。ま た，他のクラスには無かった「仕事」が 17 トピック に分布している点も特徵的であった．以上を考慮す ると，仕事などのストレスによって今後生活習慣病 を発症する可能性のあるユーザが多いと考えられる。 これらの考察から5つのクラスを生活習慣病発症少 スクの観点から比較すると、 $[\mathrm{A} \cdot \mathrm{C}]<[\mathrm{E}]<[\mathrm{B}]<[\mathrm{D}]$ の 順で生活習慣病発症リスクは高くなるのではないか と考えられる。

## 5 おわりに

本研究では，Twitterを対象として，ユーザの投稿内容から食事，運動，体調，精神状態に関するツィ 一トの分析を行い, ユーザの特徴やユーザ間の共通点の調查を行った。

その結果，ユーザをトピックモデルによって適当 なクラスに分類することで，クラスごとのユーザの 特徴を把握することが可能であることが分かった. また, 生活習慣病発症のリスクという観点から結果 を考察することによって，各クラスの生活習慣病リ スクの比較を行うことが可能であった。この結果は 生活習慣病発症の危険因子を検出するシステムの構築へつながると考えられる。

今後の課題として, ツイート収集時やラベル付与時のキーワードの見直しと分類モデルの精度向上を 行う。また，体調の変化を表す語とネガティブやポ ジティブワードの共起頻度や生活習慣病を発症する リスク表現をあらかじめ決定しておき，そのような 表現がユーザごとにどのように表れているのかにつ いての調査を行う。

## 謝辞

本研究は公益財団法人 JKA 令和 3 年度複数年研究補助事業により実施されました. 深く謝意を表します.

## 参考文献

[1] 生活習慣病を知万う!(引用日:202 年 12 月 24 日) https://www.smartlife.mhlw.go.jp/event/disease/

[2]【2021 年 12 月版】人気ソーシャルメディアのユー ザ数まとめ (引用日:2021 年 12 月 24 日)https://www.comnico.jp/we-love-social/sns-users

[3] 高橋公海, 辛島匡宏, 倉島健, 戸田浩之: 強化学習 を用いた健康行動促進における介入戦略の学習，第 12 回データ工学と情報マネジメントに関するフォー ラム, 2020 年 3 月 2 日, I2-3, day1 p59

[4] Mining the sociome for Health Informatics: Analysis of therapeutic lifestyle adherence of diabetic patients in Twitter, Gael Pérez Rodríguez, Martín Pérez Pérez, Florentino Fdez-Riverola, Anália Maria Garcia Lourenço, Future Generation Computer Systems, Volume110, September 2020, Pages214-232

[5] Twitter API https://developer.twitter.com/en/docs/twitter-api

[6] BERT: Pre-training of Deep Bidirectional Transformers for Language, Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova, Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Vol.1, pp.4171-4186, 2019.

[7] BERT 日本語学習済みモデル 東北大学 乾・鈴木研究室 https://github.com/cl-tohoku/bert-japanese

[8] Simple Transformers: https://simpletransformers.ai/

[9] sklearn.cluster.KMeans:

https://scikit-learn.org/stable/modules/generated/sklearn.c luster.KMeans.html

[10] models.ldamodel-Latent Dirichlet Allocation-gensim: https://radimrehurek.com/gensim/models/ldamodel.html

[11] scikit-learn: https://scikit-learn.org/stable/

[12] pyLDAvis: https://github.com/bmabey/pyLDAvis


# Twitter 投稿における定性的時間表現の使用時刻分布調査

奥川智貴
筑波大学情報学群
t.oku@mibel.cs.tsukuba.ac.jp
}

乾孝司
筑波大学大学院システム情報工学研究科
inui@cs.tsukuba.ac.jp
}

る語句を「定性的時間表現」と呼び、定性的時間表現の体系的な整理と、Twitter ${ }^{1}$ 投稿における定性的時間表現の使用時刻分布を調査することを目的とす る。特に、「もう 4 時」や「まだ 4 時」などの一部の 定性的時間表現を対象にした調査をする。Twitter 投稿には投稿者のリアルタイムな感覚が反映されたテ キストデータに投稿時刻データが紐づいており、こ の情報を調査に利用する。具体的には、定性的時間表現を含むテキストが投稿された時刻とその投稿内 で言及されている時刻の間の時間のギャップに注目 し、対象表現ごとのギャップを比較することで、定性的時間表現の使われ方の違いを調査する。
## 2 関連研究

## 2.1 自然言語処理における時間表現の扱い

自然言語処理分野における時間表現に注目した 研究では、TimeML[2] の<TIMEX3>に基づいたタグ づけ基準を採用したアノテーションが盛んである。 TimeML とは時間表現と実世界上のイベントを関連づけるタグづけ基準のことであり、これに沿っ て作成されたくTIMEX3>は様々な言語へのアノテー ションに使われている。小西ら [3] は日本語時間表現に対するタグ付け基準を提案しており、対象と する表現を DATE（日付表現）・TIME（時刻表現）$\cdot$ DURATION（持続時間表現）・SET（頻度集合表現） の 4 種類に分類している。DATE・TIME は「昨日」 $\lceil 4$ 時」等、時点及び時区間の時間軸上の位置を定義 するために用いられる表現である。DURATION は $「 1$ 時間」等、時間軸上の位置ではなく時間の量を定義するために用いられる表現である。SET は「週一回」等、時間軸上の複数の時区間を定義するために 用いられる表現である。

小西らの提案した基準に概ね沿う形で成澤 [4] は 時間表現のアノテーションを行ったが、時間表現の 前後の文字列が修飾表現であった場合の規格化に関

1) https://twitter.com/

しては大半が<TIMEX3>で定義される@ $\bmod$ 属性に 値を付与する処理だと述べている。@ $\bmod$ は時間情報表現のモダリティを表す属性である。例えば文中 の「2021 年 12 月 10 日ごろ」は以下のようにタグ付 けされる。

<TIMEX3 tid="t1" type="DATE" value="2021-12

-10 " valueFromSurface="2021-12-10" mod=

"APPROX">2021 年 12 月 10 日ごろ</TIMEX3>

ここでは@ $\bmod$ に格納されている “APPROX”という 值が「ごろ」という表現に対応している。本研究で は@ $\bmod$ を時間表現のあいまい性を捉える属性とし て注目する。詳細は 3 節で説明する。

## 2.2 Twitter を活用した時間研究

Twitterを活用した時間情報に焦点をあてた研究も 多く存在する。例えば Hürriyetoğlu ら [5] はあるイ ベントに関する投稿のストリームからイベント発生 までの時間を推定する手法を提案した。この手法で は、各投稿の文中に含まれる時間表現と投稿時刻を 基に演算処理した結果の中央値や平均値が推定に利用されている。しかしこうした既存研究のほとんど はイベントとその発生時間の対応付けが目的で、時間表現が含まれる文の投稿時刻の分布自体には焦点 を当てていない。

## 3 定性的時間表現

## 3.1 単一型の定性的時間表現

本稿では定性的時間表現を単一型と複合型の 2 種類に分類した上で<TIMEX3>の仕様に沿って各々説明する。

単一型の定性的時間表現とは、時間表現のうち、 それ単体でおよその時刻・時間帯や時間量をあらわ す語句である。ただし、ある程度定量的な定義が存在する語句でも定性的時間表現とみなせる場合もあ る。例えば「朝」は気象庁 [6] が「午前 6 時頃から 午前 9 時頃まで」の時間帯を指す言葉だと定めてい るが、話者自身が感覚的に定めた時間区分に基づい て使われている。単一型定性的時間表現の例を表 1 に示す。

## 3.2 複合型の定性的時間表現

複合型の定性的時間表現とは、時間表現に、 @ mod、@aspect の2 属性のいずれかに値を与えるよ表 1 単一型の定性的時間表現の例

表 2 複合型の定性的時間表現の例

うな修飾表現が結びついた語句である。@ $\bmod$ は先述の通り<TIMEX3>で既に採用されている属性で、時間情報のモダリティを表す。「ごろ」や「前」「過 ぎ」等の修飾表現が該当する。一方で@ aspect とは 今回新たに導入した属性で、話者の感覚や行動の段階や局面を表す。「もう」や「まだ」「ようやく」等 の修飾表現が該当する。複合型定性的時間表現の例 を表 2 に示す。ほかにも、@ $\bmod$ にあたる修飾表現 と@aspect にあたる修飾表現の両方と結びついた時間表現（例：「まだ 4 時過ぎ」）なども複合型定性的時間表現に該当する。

## 4 使用時刻分布調査

## 4.1 調査対象表現

調査対象として、正時を言及していると考えられ る複合型の定性的時間表現である「もう $h$ 時」およ び「まだ $h$ 時」 $(h=0,1, \ldots, 24$ 、以降の $h$ に関しても 同様で、「正時」とも呼ぶ）を選んだ。「もう」およ び「まだ」は先述の通り @ aspect の值を与える修飾表現であり、「h時」は明確に時刻（正時）を言及す るために使われる一般的な時間表現である。

## 4.2 調査データ

調査データは、2014 年 1 月 1 日から 2014 年 12 月 31 日までに東京都で投稿された日本語ツイートの 集合とし、ここから正規表現を用いてテキスト中に 調査対象表現が含まれている投稿を抽出して調査に 利用した。ここで、例えば「もう 3 時」を抽出する 正規表現（Python で記述）は以下のものを用いた。

"もう"+"[33三]"+"時 [^間半 0-9 0-9 ]"

各投稿にはメタデータとしてタイムスタンプ、すな わち投稿時刻情報が付与されている。
表 3 Gap 值の計算例

図 1 もう $h$ 時 : 正時別の投稿件数 (上方向の要素は正、下方向の要素は負のギャップをとる投稿件数)

## 4.3 ギャップに注目した使用時刻分布調査

本研究の目的を達成するために、ギャップ (Gap) という指標を導入する。ギャップとは、ある時間表現を含むテキストが投稿された時刻からその時間表現が表層的に言及している時刻までに経過した秒数 と定義する。ある投稿 $t$ に含まれる時間表現 $e$ のも つギャップは以下の式で求められる。

$
\operatorname{Gap}(t, e)=\operatorname{ReferenceTime}(t, e)-\operatorname{Timestamp}(t)
$

ここで、Timestamp は対象表現が実際に使用された 時刻を表し、ツイートのタイムスタンプの値がその まま代入される。ReferenceTime は対象表現から修飾表現を取り除いた正時時刻であり、Timestamp の 年月日 $+h: 00: 00$ の値が代入される。ただし、 $h=24$ ならば $h=0$ に変換した上で代入を行う。 また、 $h=0,1, \ldots, 12$ かつ $-64,800 \leq G a p \leq-21,600$ ならば、午後について言及した投稿だと判断し、 ReferenceTime の値を 43, 200 秒（= 12 時間分）加算して Gap を再計算する。例えば 13 時 50 分ちょ うどに投稿された「もう 2 時」という投稿の場合、再計算前は $G a p=-42,600$ であるが、再計算後は $G a p=600$ ( = 10 分) となる。Gap < $-64,800$ また は $G a p>21,600$ の場合は、現在時刻とは無関係の 投稿だと判断し、集計から除外した。

上記の結果、1,621 件の「もう $h$ 時」と 817 件 の「まだ $h$ 時」の表現、およびそれらの Gap 值を得 た。Gap 值の計算例を表 3 に示す。

図 2 まだ $h$ 時 : 正時別の投稿件数 (上方向の要素は正、下方向の要素は負のギャップをとる投稿件数)

## 4.4 調査結果

## 4.4.1 使用時刻分布の比較 一「もう」と「まだ」一図 5 が主となる調査結果であるが、その前段階と して図 1 から図 4 で正時別の調査結果をまず報告 する。正時別のツイート件数を図 1 および図 2 に示 す。「もう $h$ 時」を含むツイートは 3 時、 4 時をピー クにして深夜の時間帯を言及したものが多く、「ま だ $h$ 時」を含むツイートは 20 時、 21 時を緩やかな ピークにして夜の時間帯を言及したものが多く見ら れた。つまり言及される時間帯によって対象表現の 使用頻度に差が生じていることがわかる。Gap 值の 正負に注目すると、「もう」と「まだ」のどちらの表現とも若干負の件数が多いものの時間帯による正負 の違いはあまり見られない結果となった。

次に、正時別のギャップ分布として、Gap 值の平均值および中央値を図 3 および図 4 に示す。ここで は平均値を棒グラフで示し、その上に中央値を示 す点グラフを重ねている。平均值に関して、部分的に極端な値をとっているが、これは外れ値の影響を受けているものであったため、ここでは中央値に注目する。中央値に基づくとほとんどの時間帯で「もう $h$ 時」は 0 秒に近い Gap 値であり、「ま だ $h$ 時」は -600 秒以上 0 秒以下の $G a p$ 值であるこ とが概観できる。

図 3 および図 4 の正時別調査結果の要約として、

図 3 もう $h$ 時: 正時別のギャップ平均値 - 中央值 @ aspect 別のギャップ分布の箱ひげ図を図 5 に示す。 $G a p$ 值の平均值を三角の点で、中央値を赤線で示し ている。「もう $h$ 時」のツイート全体の Gap 值の 平均値は 38 秒、中央値は -85 秒であった。「まだ $h$時」のツイート全体の平均值は -554 秒、中央值は -285 秒であった。この結果は、「もう $h$ 時」はほぼ $h$ 時に使われる一方で、「まだ $h$ 時」は約 5 分後に使 われており、@aspect に対応する修飾表現の「もう」 と「まだ」では使用時刻に差があることがわかる。

## 4.4.2 使用時刻分布の比較 —「前」と「過ぎ」—

上記データの中で、さらに@ $\bmod$ 修飾表現の「前」 および「過ぎ」を含むデータを抽出し、同様の調査 をおこなった。この結果の箱ひげ図を図 6 に示す。「もう $h$ 時前」のツイート全体の Gap 值の平均值 は 2,189 秒、中央値は 957 秒、「まだ $h$ 時前」では平均値は 761 秒、中央値は 627 秒、「もう $h$ 時過ぎ」で は平均值は -981 秒、中央値は -851 秒、「まだ $h$ 時過ぎ」では平均值は $-1,551$ 秒、中央値は $-1,075$ 秒 であった。先述の@ aspect 別のギャップ分布の結果 に基づき、「もう」がリアルタイム性を保証するマー カーで、「まだ」が約 5 分後を示すマーカーだと見な すと、「 $h$ 時前」は $h$ 時の約 15 分前に使われる一方 で、「h 時過ぎ」は約 15 分後に使われるといえる。

## 5 おわりに

本稿では、TimeML の<TIMEX3>の仕様に基づい て定性的時間表現の概念を整理した上で、複合型定性的時間表現である「もう $h$ 時」および「まだ $h$時」を対象に時間ギャップを測定し、その分布を比較分析した。今回の調査結果は、たとえば『『もう 9 時だよ』よりも『まだ 9 時だよ』のほうが 9 時から ギャップのあるタイミングでシステム発話をしても

図 4 まだ $h$ 時：正時別のギャップ平均値・中央値

図 5 @ aspect別ギャップ箱ひげ図

図 6 @aspect+@mod 別ギャップ箱ひげ図

よい」や「9 時 15 分に『もう 9 時過ぎ』という発話 は自然であるが、9時 30 分に同じ発話をするのは自然さに欠く」などの知識として自然な対話システム 構築に活かし得る。ただし今回の調査結果を十分な 知識へと昇華させるためには、対象表現を「もう $h$時」「まだ $h$ 時」以外の定性的時間表現にも拡張し た更なる調査が必要である。また、Twitter ユーザが 時間を認識してから実際にツイートを投稿するまで に自然と生じるタイムラグの影響も今後考慮するべ きである。

## 参考文献

[1] Apple. Siri ならこんなことも - apple サポート (日本). https://support.apple.com/ja-jp/HT208336, 2021. (参照 2021-12-22).

[2] James Pustejovsky, José M Castano, Robert Ingria, Roser

Sauri, Robert J Gaizauskas, Andrea Setzer, Graham Katz, and Dragomir R Radev. Timeml: Robust specification of event and temporal expressions in text. New directions in question answering, Vol. 3, pp. 28-34, 2003.

[3] 小西光, 浅原正幸, 前川喜久雄. 『現代日本語書き言葉均衡コーパス』に対する時間情報アノテーション.自然言語処理, Vol. 20, No. 2, pp. 201-221, 2013.

[4] 成澤克麻. 自然言語処理における数量表現の取り扱 い. Master's thesis, 東北大学, 2014.

[5] Ali Hürriyetoglu, Nelleke Oostdijk, and Antal Van den Bosch. Estimating time to event from tweets using temporal expressions. In Proceedings of the 5th Workshop on Language Analysis for Social Media (LASM), pp. 816, 042014.

[6] 気象庁. 予報用語時に関する用語. https://www.jma.go.jp/jma/kishou/know/yougo_ hp/toki.html. (参照 2021-12-22).


# ソーシャルメディアにおける服薬ノンコンプライアンス発言の 分類と医薬品構造類似度を用いたコーパス可搬性の検討

西山智弘 ${ }^{1}$ 矢田竣太郎 ${ }^{1}$ 若宮翔子 ${ }^{1}$ 堀里子 2 荒牧英治 ${ }^{1}$
1 奈良先端科学技術大学院大学 2 慶應義塾大学
${ }^{1}$ \{nishiyama. tomohiro.ns5,s-yada, wakamiya, aramaki\}@is.naist.jp
${ }^{2}$ hori-st $@$ pha.keio.ac.jp

## 概要

ソーシャルメディアデータを用いたへルスケア情報のモニタリングは人々の健康維持に役立つ可能性がある，我々は，ソーシャルメディアにおける服薬コンプライアンスに関連するラベルを付与した 初の日本語コーパスである「MediAコーパス」を構築している. 本コーパスは 20 種類の医薬品につい て，服薬コンプライアンスの概念に基づき，ユーザ による発言の影響力の大きさを考慮してラベル付 けされたデータセットである. 本研究では, 医薬品 の性質に着目し, MediAコーパスを用いた分類結果 を分析した。具体的には，異なる医薬品に関する発言の転移学習の可能性を定量的に評価するために, out-of-domain での分類結果と医薬品の構造類似性と の相関について確認した.

## 1 はじめに

近年，ソーシャルメディアは副作用や服薬コンプ ライアンスなどの医薬品使用情報に関する豊富な知識源として注目されている $[1,2,3,4]$. 服薬コンプ ライアンスは患者が医師の指示通りに医薬品を使用 することと定義され，ヘルスリテラシーと強く関連 する概念の 1 つでもある [5]. 服薬コンプライアン スは，医療従事者だけでなく，患者にとっても重要 であり，これらの情報の利用価値は高い. 服薬コン プライアンスに関する情報を得るための代表的な方法としては，直接測定，質問票による調査，医療従事者による評価などがある [6]. しかし，このよう な手法を用いて患者がどの程度医療従事者の指示の もと治療を行なっているか，適切に治療行為を理解 しているか，ということを逐一監視するモニタリン グはコストが高く，困難である。一方で，ソーシャ ルメディアによる服薬コンプライアンスや人々の医薬品に対する理解，その他健康関連情報の測定は，患者自身の服薬状況や理解度の把握, 医薬品規制当局による規制や医薬品供給者からの安全性情報の迅速な発信による人々の健康維持に役立つ可能性が ある [7]. ソーシャルメディアデータにおけるコン プライアンス不良に関する発言の一例として， ダイ エットをする人が適切な知識を持たず，医療従事者 を介さずに自分で輸入したラシックス』などの処方薬を服用し，腎障害を起こした例が挙げられる。 そ のようなツイートとしては次のようなものがある.

“筋肉が壊れる横紋筋融解症という病気の他に、 ラシックス®を自己判断で飲んでいたせいで 腎臟も弱っていて”

特に，日本では，当局が一定の範囲内で処方箋の ない個人が自己使用目的で海外から医薬品を直接輸入することを認めている。そのため，この例のよう な輸入医薬品による健康被害のリスクが海外よりも 高くなる可能性がある $[8,9]$. さらに，ソーシャル メディアでは，医療機関を通さない医薬品の売買の 可能性に関する発言など，他者に直接影響を与える 行為が問題視されている [10].

そこで，我々は上記の服薬コンプライアンスとい う概念に加えて，他者に直接影響を及ぼす可能性の ある発言をモニタリングするために，新たなデー タセット「MediAコーパス1)」を構築している。本 コーパスは，Twitterにおける医薬品の不適切な理解 に基づく認識や行動に関連する発言を「コンプライ アンス不良」と広義に定義した上で，周囲への影響度を考慮して分類したものである.

コンプライアンス不良のモニタリングの運用とい う観点では, 該当する医薬品名以外の医薬品に対し ても，精度良く検知を行うことが重要である。しか しながら，既存の研究では，どのような性質を有す

医薬品同士であれば，転移学習ができる可能性が高 くなるかは検証されていない [11].

そこで，本研究では MediAコーパスを用いた分類 の評価と医薬品の性質に注目して学習を試みた. さ らに，異なる医薬品に関する発言の転移学習の可能性を定量的に評価するために，out-of-domain での分類結果と医薬品の構造類似性との相関についても評価した.この基本アイデアは，互いに類似している 医薬品，例えば，ラシックス 『と類似する化学構造 を持つ医薬品は，ラシックス $®$ と同じく， ダイエッ 卜目的といった自己判断での服用が多い，という自然な直感に基づくものである. このため，化学構造 の類似度と本研究での分類指標に関連があるものと 考えた。

## 2 MediA コーパスの構築

本研究では，我々が構築している MediA コーパス を利用する。本コーパスは「ロキソニン ®」，「ボル

トラリン ® $\rfloor, 「$ 「ビリファイ $®$, 「コントミン $®$,

ミン」,「ラシックス $\mathbb{\circledR} 」$ からなる 20 種類の医薬品 クエリで取得されたツイートについて，コンプライ アンス不良とその影響度に応じてラベルが付与され た全 22022 件のデータである. 20 種類のクエリは薬剤師資格保有者によって，(1)一般的な処方薬であ り，商品名または一般名であること，(2) 3 年間のツ イート数が 1000 ツイート以上と十分な量が確保で きること，を基準として選定された。

本コーパスでは，発言者が医薬品の取り扱いに関 して不適切に認識している，と読み取れる発言をコ ンプライアンス不良として定義した. さらに，コン プライアンス不良を個人的なものと，売買といっ た周囲へ影響を及ぼす可能性があるものに区別し てラベル付けしている. 具体的には, 発言から個人的なコンプライアンス不良が読み取れる発言を $「$ Personal NC」, 影響力のあるコンプライアンス不良 が読み取れる発言を「Influential $\mathrm{NC}\lrcorner$, コンプライア ンス不良ではない服薬に関する発言を「Use」，それ 以外の発言を「Others」としてラベル付けした.

## 3 実験

## 3.1 BERT による分類

BERT (Bidirectional Encoder Representations from Transformers）[12]を用いて実験を行なった．BERT の事前学習済みモデルである bert-base-japanesewhole-word-masking を採用し，MediAコーパスを用 いてファインチューニングを行なった. このモデル は, 12 層, 768 次元の隠れ層, 12 個のアテンション ヘッドから構成されている.このコーパスの有用性 を評価するために，分類タスクを実施した. ラべ ル付データセットを8（学習セット）：1（検証セッ ト）:1（テストセット）の割合で 3 つに分割した.本研究で学習させた全てのモデルについて, 検証損失が最も小さくなる地点で学習を停止させた.

## 3.2 out-of-domain での検証

医薬品クエリ $i$ に関するツイート $D_{i}$ で構築した モデル $M_{i}$ を用いて, 医薬品クエリ $j$ に関するツ イート $D_{j}$ の分類を予測した. $i, j$ は 2 章に示した 任意の医薬品クエリである. $i \neq j$ の場合, データ セット $D_{i}$ を9（学習セット）:1（検証セット）に分割し， $D_{j}$ をテストセットとした. $i=j$ の場合は, データセット $D_{i}$ を (学習セット):1（検証セッ ト）：1（テストセット）の割合で 3 つに分割した. また, 利用可能なデータセットが小さく, データの 偏りが非常に大きくなるため，4つのラベルの割合 が均等になるようにランダムオーバーサンプリング を行なった [13].

## 3.2.1 医薬品構造類似度

医薬品構造類似度を定量的に算出するために，化学構造の類似度を示す Tanimoto 類似度を使用した. Tanimoto 類似度とは，医薬品の構造の類似性を表す 指標である [14]. 算出方法としては, 化合物 $A$ と化合物 $B$ のフィンガープリントの積集合の大きさを化合物 $A$ と化合物 $B$ のフィンガープリントの和集合 の大きさで割ったものであり，2つの化合物に共通 する部分構造のビットの割合として計算される.

Tanimoto 類似度を算出するために，各医薬品の化学式を SMILES（Simplified Molecular Input Line Entry System）に変換し [15], Morgan fingerprint ベクトル を得た. Morgan フィンガープリントの計算には，入 カパラメータとして半径の大きさとビット数が必要 であり，半径は 2 ビットと 1024 ビットに設定した.

## 4 結果と考察

## 4.1 BERT による分類

BERT によるツイート分類結果を表 1 に示す. F1 值のマクロ平均は 0.740 であり, Personal NC の F1 値は 0.597 と最も低かった. 同様の分類を試みた研究はないが，1 章で述べた関連研究において，服薬方法の変更を分類した時の $\mathrm{F} 1$ 値が 0.501 であったこ とから [11]，この值は妥当であると考えられる. 本 コーパスのアノテーションでは, 医薬品ごとに用量 などの分類基準が異なり, Personal NC に分類するか Use に分類するかは医薬品に依存するため, それだ けモデルの学習が難しくなっている。この点を考慮 すると，関連研究と比較して十分な値であるといえ る. 実際に Personal NC とラベル付けされたツイー トの多くが Use と誤って分類された. Influential NC に分類されたツイートは最も少ないが，精度と再現率ともに 4 分類の中で最も高く, F1 值も最も高い. このことから，Influential NC は，他者に影響を与え るという事実が示すように，他者にとって理解しゃ すいものであることが示唆される.このことは，モ デルの分類結果にも反映されている.

表 1 BERT による分類結果

図 1 各医薬品クエリのツイート数と F1 值の散布図

表 2 はそれぞれの医薬品クエリごとの $\mathrm{F} 1$ 值であ り，各医薬品の分類精度に大きなばらつきがあるこ表 2 それぞれの医薬品における F1 值 (P-NC:Personal NC, I-NC:Influential NC)

とがわかる。全体として，Influential NC で最も良い 結果が得られた。しかし，各医薬品を詳しく見てみ ると，Influential NC の中でも，F1 値が低いものも あった.これは，ロキソニン ®やボルタレン $® の$ ように，OTC 医薬品としても使用されている医薬品 があり，これらの医薬品の購入は問題行動ではない ため，本来はコンプライアンス不良に分類されない ためであると思われる．F1 值が 0 の項目はいずれ も該当するツイート数が 40 以下とデータ量が少な いことが原因であると考えられる。

図 1 はツイート数と F1 値の関係を示す散布図で あり，ここからは $\mathrm{F} 1$ 値がツイート数とともに増加 することがわかる。一方で，Influential NC の F1 值 は，他のカテゴリと異なり，ツイート数に依存しな い. Influential NC に分類されたツイートは，言及さ れた医薬品の種類が異なっていても，内容が類似し ていると考えられる。

## 4.2 out-of-domain での検証

out-of-domain での検証結果を図 2 に示す. ヒート マップの縦軸と横軸は，それぞれ学習データとテス

図 2 out-of-domain 検証時の F1 値

図 3 医薬品間の Tanimoto 類似度

トデータの医薬品クエリである．同じ医薬品を予測 することは out-of-domain ではないが，対角線上の領域は比較のために参照データに含めている．色の濃 さとマクロ $\mathrm{F} 1$ 値が対応しており，マイスリー ®，

ソムラ ®，パキシル ®，レクサプロ ®，セルトラリ

ル ®は対応する領域の色が濃く, これらの医薬品ク エリのツイート同士は互いに利用できる可能性が示唆される.これらの医薬品は, 睡眠薬，抗不安薬，抗精神病薬に分類されることから，分類が似ている 医薬品に対して，転移学習を行える可能性が高いこ とが示唆された。

各医薬品間の Tanimoto 類似度を図 3 に示す. 類似度は化合物の構造的な類似性を数值化したもの で，同じ医薬品の類似度が 1.0 となる. ロキソニン ® とボルタレン ®のように，同じような目的で使用

図 4 Tanimoto 類似度と F1 值の散布図

される医薬品は，構造が似ていることが多い.

各医薬品の Tanimoto 類似度と F1 値の関係を図 4 に示す。縦軸，横軸ともに平均 0 ，分散 1 で標準化 されている. Tanimoto 類似度と F1 值の相関は 0.278 $（ p<0.05 ）$ であった. この結果は，構造類似度が分類結果と弱い相関があることを示している。このこ とから，医薬品の構造情報を医薬品関連文書の転移学習に利用できることが示唆された。

## 5 まとめ

本研究ではコーパスを用いた分類の評価を実施 し，作成したモデルは $\mathrm{F} 1$ 值 0.728 を示した.この コーパスを用いて，転移学習の可能性を評価した。 out-of-domain での評価指標の結果は, 医薬品の構造類似性に相関していた。類似した医薬品に関して は，転移学習を行うことのできる可能性が高いこと が示唆された。

服薬コンプライアンスについては，新薬やジェネ リックなど対象となる医薬品が次々と上市され，ま た，意図的な違法な用途については，その名称は隠語に変換されやすい．このような状況を考えると，大規模なコーパスを静的に使うのではなく，提案手法のように out-of-domain でのアプローチを実践す ることで，現状に迅速に追随することが重要だと考 えている，今後は，本コーパスをリアルデータに適用し, 各医薬品に関するコンプライアンス不良の解析を実施する予定である.

## 謝辞

本研究の一部は, JST AIP 日独仏 AI 研究 JPMJCR20G9，国立情報学研究所 (NII) CRIS，JSPS 科研費 JP21H03170 の助成を受けたものである.

## 参考文献

[1] Takeshi Onishi, Davy Weissenbacher, Ari Klein, Karen O'Connor, and Graciela Gonzalez-Hernandez. Dealing with medication non-adherence expressions in Twitter. In Proceedings of the 2018 EMNLP Workshop SMM4H: The 3rd Social Media Mining for Health Applications Workshop \& Shared Task, pp. 32-33, Brussels, Belgium, 2018. Association for Computational Linguistics.

[2] Mondira Bhattacharya, Scott Snyder, Murray Malin, Melissa M. Truffa, Sandy Marinic, Rachel Engelmann, and Ritu R. Raheja. Using social media data in routine pharmacovigilance: A pilot study to identify safety signals and patient perspectives. Pharmaceutical Medicine, Vol. 31, No. 3, pp. 167-174, 2017.

[3] Jiaheng Xie, Daniel Dajun Zeng, Xiao Liu, and Xiao Fang. Understanding reasons for medication nonadherence: An exploration in social media using sentiment-enriched deep learning approach. In ICIS 2017, ICIS 2017: Transforming Society with Digital Innovation. Association for Information Systems, 2018.

[4] Su Golder, KarenO' Connor, Sean Hennessy, Robert Gross, Graciela Gonzalez-Hernandez. Assessment of Beliefs and Attitudes About Statins Posted on Twitter: A Qualitative Study. JAMA Network Open, Vol. 3, No. 6, pp. e208953-e208953, 2020.

[5] T. A. Miller. Health literacy and adherence to medical treatment in chronic and acute illness: A meta-analysis. Patient Education and Counseling, Vol. 99, No. 7, pp. 1079-1086, 2016.

[6] W. Y. Lam and P. Fresco. Medication Adherence Measures: An Overview. BioMed Research International, Vol. 2015, p. 217047, 2015.

[7] Abeed Sarker, Graciela Gonzalez-Hernandez, Yucheng Ruan, and Jeanmarie Perrone. Machine learning and natural language processing for geolocation-centric monitoring and characterization of opioid-related social media chatter. JAMA Network Open, Vol. 2, , 2019.

[8] Hiromi Okazawa. Laws and regulation on the personal importation of medicines in various countries. Japanese Journal of Social Pharmacy, Vol. 36, No. 1, pp. 39-44, 2017.

[9] Hiroshi Takanashi, Hiromi Okazaki, Humiko Aihara, Tatsuro Koga, Keiichi Hashimoto, and Tomoko Watanabe. Personal import of medicines with potential risks:dangers go beyond counterfeit drugs. Japanese Journal of Social Pharmacy, Vol. 35, No. 2, pp. 108-116, 2016.

[10] Tim K Mackey and Janani Kalyanam. Detection of illicit online sales of fentanyls via twitter. F1000Research, Vol. 6, p. 1937, November 2017.

[11] Davy Weissenbacher, Suyu Ge, Ari Klein, Karen O'Connor, Robert Gross, Sean Hennessy, and Graciela Gonzalez-Hernandez. Active neural networks to detect mentions of changes to medication treatment in social media. Journal of the American Medical Informatics Association, Vol. 28, pp. 2551-2561, 2021.

[12] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional trans- formers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186. Association for Computational Linguistics, 2019.

[13] Gustavo E. A. P. A. Batista, Ronaldo C. Prati, and Maria Carolina Monard. A study of the behavior of several methods for balancing machine learning training data. ACM SIGKDD Explorations Newsletter, Vol. 6, No. 1, p. 20-29, 2004.

[14] Taffee T Tanimoto. An elementary mathematical theory of classification and prediction. IBM internal report, 1958.

[15] David Weininger. SMILES, a chemical language and information system. 1. introduction to methodology and encoding rules. Journal of Chemical Information and Computer Sciences, Vol. 28, No. 1, pp. 31-36, 1988.


# SNS 上の攻撃的表現の検出と位置特定

牧元大悟 ${ }^{1}$ 徳永健伸 ${ }^{1}$
1 東京工業大学 情報理工学院
makimoto.d.aa@m.titech.ac.jp take@c.titech.ac.jp

## 概要

本研究では日本語における攻撃的表現の検出及び 位置特定のタスクのためのデータセット構築し，こ のデータセットを用いて，最先端の機械学習モデル を含む複数のモデルで実験を行いその結果を比較し た。英語を対象とした関連研究の学習モデルが本研究で作成したデータセットにおいても良い結果を達成することを確認した。また, 攻撃的表現の検出と 位置特定をまとめたタスクにおける評価手法につい て考察し，サブタスクに分割して取り組む方針の有効性について検証した。

## 1 序論

本研究の目的は SNS 上の日本語の投稿に対する 攻撃的表現の検出とその位置の特定である。具体的 には、SNS 上の投稿を入力とし，投稿が攻撃的表現 を含むかどうかを判定し，攻撃的表現を含むものに 対してその位置を出力するモデルを構築する。本研究で扱う攻撃的表現とは，第三者が投稿を見た際に 攻撃的な表現であると判断できるものである。攻撃的表現の検出と位置特定を同時に扱う先行研究はなく, 特に日本語の投稿を対象とした研究では 攻撃的表現の位置特定を扱った研究はない。本研究 では日本語のデータセットの作成し、攻撃的表現の 検出と位置特定を同時に行なう手法の提案と英語に おける先行研究を参考にした複数の機械学習モデル の実装と比較，評価手法の検討を行なった。また，攻撃的表現の検出と位置特定を包括的に行う上での 評価方法やタスクの取り組み方，データセットの利用方法を複数の設定で実験し，比較を行なった。本研究の貢献を以下にまとめる。

・攻撃的表現がアノテーションされた日本語デー タセットの作成方法の提示
- 最先端の機械学習を用いた攻撃的表現の検出と 位置特定タスクの実装と評価
・本タスクに対する評価手法の考察

## 2 関連研究

## 2.1 英語における攻撃的表現の検出

Zampieri らは, Offensive Language Identification を 含むタスク群を扱った共有タスクを提案してい る $[1,2]$ 。このタスクで用いられたデータセット OLID [3] は，キーワードを用いて Offensive Language を含みやすいツイートを収集し，アノテーションし たものである。Zampieri らの Offensive Language の 検出では, ALBERT[4] のアンサンブルモデルが最も 良い結果を達成した [1]。

## 2.2 英語における攻撃的表現の位置特定

Pavlopoulos らはは Toxic Span Detecion を扱った共有タスクを提案している [5]。データセットは，既存のデータセットから “Toxic” とラベルされたコメ ントを取り出し，それらに対しスパンのアノテー ションしている。BERT ベースの 3 つのモデルのア ンサンブルが最も良い結果を達成した。

## 2.3 日本語における関連研究

尼崎らは Twitter から人が嫌がる語を含む投稿を 収集し，人手により不適切な投稿であるかどうか のラベルを付与した [6]。作成したデータに対して Bag of Words(BoW) で特徵量を抽出し線形 SVM を用 いて不適切投稿の検知を行なっている。他の類似研究として，学校非公式サイトでの有害な書き込み検出 $[7,8]$ や掲示板の書き込みが児童買春を示唆して いるかの有害性評価 [9] や SNS 上で非難が殺到して しまう投稿を検知する炎上検出 $[10,11]$ などがある。

## 2.4 本研究の位置づけ

本研究は，Twitterにより収集したデータに対し，人手でアノテーションを行いデータセットを作成す

る。作成したデータセットに対して最先端の機械学習モデルを使用して攻撃的表現の検出及び位置特定 を行う。英語を対象とした研究で用いられているよ うな最先端の機械学習モデルが用いられた日本語に おける先行研究はなく, 攻撃的表現の位置特定につ いては先行研究が存在しない。また，検出と位置特定を同時に扱うような研究は英語においても行われ ていない。

## 3 データ

## 3.1 データ収集

本研究では，SNS 上の投稿としてツイートを扱 う。ツイートの収集には TwitterAPI ${ }^{1)}$ を利用する。 リプライ及び引用リッイート（以下，まとめてリプ ライと呼称）を収集対象とし、既定の攻撃的単語を 含むツイートを複数回しているアカウントからリ プライを収集した。既定の攻撃的単語には，畠山 ら [12] が用いた人手のアンケートで半数以上の人が 有害及び少し有害と判断した種単語群のうち卑猥語 を除いた以下の 17 単語を用いた。

死ね，消えろ, 蛆虫, カス, 殺す, きもい, うざい,

不細工, ビッチ, クズ, マスゴミ, 脱冀, 糞虫, ダ セー,ゴキヲタ, マジキモ, 死ね

上記で得られた最終的な収集データに対し，メン ションやハッシュタグ除去等の前処理を行い, 最終的に 306 のアカウントから合計 34,123 リプライが集 まった。また，そのうち既定の攻撃的単語を含むり プライ数は 1,292 で全体の $3.7 \%$ である。

## 3.2 アノテーション

3.1 で収集したリプライに対し人手で以下の $2 \supset$ のアノテーションを行なった。1 リプライにつき 3 人のアノテーターが担当した。

(1) 攻撃的表現を含むかどうかを，「0: 含まない」「1: 含む」「2: ツイートの内容が理解できない」 に分類する

(2)「1: 含む」の攻撃的表現を括弧で囲む（複数可）

## 3.3 データセット構築

攻撃的表現を含むかのラベルについては，2人以上が「2: ツイートの内容が理解できない」としたリ プライを除外し，それ以外のリプライについては 1

1) https://developer.twitter.com/en人以上が「1: 含む」としたリプライのラベルを「1:含む」とし，残りを「0: 含まない」とした。

そして「1: 含む」のラベルがついたリプライにつ いて以下の手順で攻撃的表現の位置を決定する。

(1) 括弧で囲まれた攻撃的表現を文字インデックス の集合に変換し，3 人の文字のインデックスの 集合を統合する

(2) リプライを MeCab[13]を用いてトークン単位に 分割し, (1)で作成した集合の要素のインデッ クスが含まれるトークンを攻撃的表現トークン とし，IOB タグに変換する

攻撃的表現の位置決定における手順 (1) の例を表 1 に示す。以上の操作で得られた BI タグで表される 攻撃的表現のトークン列を 1 つのスパンと呼ぶ。

作成したデータセット内のラベルの分布を表 2 に 示す。また, 攻撃的表現を「1: 含む」とされた 4,828 ツイートの約 $20 \%$ に収集に用いた既定の攻撃的単語 が含まれていた。得られたデータセットを 6:2:2で 訓練・開発・テストに分割した。

## 4 タスク設定と評価

## 4.1 タスク設定

本研究では，SNS 上の攻撃的表現の検出と位置特定という目的を 2 つのサブタスク，攻撃的表現の検出と攻撃的表現の位置特定に分けて考える。攻撃的表現の検出は入力されたリプライが攻撃的表現を 含むかどうかの二値分類を行う。出力は $\Gamma 0$ : 含まな い」「1: 含む」のタグとなる。攻撃的表現の位置特定は攻撃的表現が存在すればそのスパンを出力す る。出力はスパンを表現する BIO タグとなる。

それぞれのサブタスク単体の実験と 2 つのサブタ スクをまとめた実験を行う。サブタスクのまとめ方

として，2つのサブタスクをパイプライン式に行う 方法と両方のサブタスクを一括式に行う方法の 2 通 りで実験を行う。パイプライン式では攻撃的表現の 検出を行った後，検出結果が「1: 含む」の例につい てその位置特定を行う。一括式では攻撃的表現の位置特定を行い，出力にスパンが含まれないような例 を攻撃的表現を含まないとすることで攻撃的表現の 検出と位置特定の両方の結果を得る。

## 4.2 評価

攻撃的表現の検出の評価には，「1: 含む」を対象 とした Accuracy，Precision, Recall，F1 値を用いる。攻撃的表現の位置特定の評価には，Partial Match F1，Exact Match F1，Char-offsets F1 を用いる。Partial Match と Exact Match は固有名認識 (Named Entity Recognition)における評価であり，スパンをベースに 評価を行う。Partial Match は正解のスパンの一部に モデル出力のスパンが被っていればそのスパンにつ いては TruePositive としてカウントし, Exact Match は正解とモデル出力のスパンが完全に一致してる場合を TruePositive としてカウントする。

Char-offsets F1 は Pavlopoulos ら [5] が用いた評価尺度である。リプライ内のスパンを文字オフセッ トに変換し, 正解とモデル出力の文字オフセット リストから F1 を計算する。データセット中の各リ プライについて上記の $\mathrm{F} 1$ を計算し，平均したもの が Char-offsets F1 である。ただし, 正解とモデル出力の文字オフセットリストが共に空の場合は F1 を 1 , どちらか一方が空の場合は $\mathrm{F} 1=0$ として計算 する。後述の表中では Partial Match F1，Exact Match F1，Char-offsetsF1をそれぞれPMF1，EMF1，CoF1 と略記する。

## 5 学習モデル

## 5.1 攻撃的表現の検出

攻撃的表現の検出には BiLSTM モデルと ALBERT fine-tuning モデルを用いる。

BiLSTM モデルは 1 層の BiLSTM 層と二値分類器 から成るモデルを使用した。埋め込み表現の獲得に は ELMo[14]を用いた。

ALBERT Fine-tuning モデルは [1] の Offensive lanuage の検出で最も良い結果のモデルを参考にした。学習済みの ALBERT $^{2}$ を本研究のデータセットで

2) https://github.com/cl-tohoku/bert-japanese fine-tuning したモデルである。ALBERT の入力トー クン列の先頭に挿入される特殊トークン [CLS] の最終隠れ状態を二値分類器の入力とする。

## 5.2 攻撃的表現の位置特定

攻撃的表現の位置特定には BiLSTM-CRF モデル と BERT-CRF fine-tuning モデルを用いる。

BiLSTM-CRF モデルは 1 層の BiLSTM 層と CRF 層 から成るモデルを使用した。CRF[15] 層は，各トー クンに対する各タグのスコアを入力としてタグの依存関係を考慮した全体の最適なタグ列を出力する。埋め込み表現の獲得には ELMoを用いる。

BERT-CRF fine-tuning モデルは [5] の Toxi Span Detection において最も良い結果のモデルを参考に した。学習済みの BERT $^{3}$ )を本研究のデータセット で fine-tuning したモデルである。BERT-CRF は NER において最先端のモデルの 1 つである。各トークン に対する BERT の最終 Transformer 層の隠れ状態を CRF に入力する。

## 5.3 一括式のタスク設定

一括式のタスク設定では，5.2の BERT-CRF finetuning モデルと同様のものを用いる。ただし，5.2の モデルについては攻撃的表現を含む例のみで学習を 行うが，一括式のタスク設定におけるモデルでは全 ての例を用いて学習を行う。

## 6 評価実験

## 6.1 サブタスクの実験結果

表 3 に攻撃的表現の検出の結果，表 4 に攻撃的表現の位置特定の結果を示す。攻撃的表現の位置特定 については入力が必ず攻撃的表現を含むという前提 であり，単体のタスクとして考えた場合の結果であ る。これらの結果は異なるシード值における 5 回の 実験の結果の平均値である。

表 3 攻撃的表現の検出モデルの単タスク性能評価

表 4 攻撃的表現の位置特定モデルの単タスク性能評価

## 6.2 タスク全体の結果

6.1 でそれぞれのサブタスク単体としての結果を 示した。それらのサブタスクで最も結果が良かっ たモデルである ALBERT fine-tuning と BERT-CRF fine-tuning を接続したパイプライン式のモデルの結果と BERT-CRF fine-tuning を用いた一括式のモデル の結果を表 5 と表 6 に示す。

表 5 攻撃的表現の検出：パイプライン式・一括式

表 6 攻撃的表現の位置特定 : パイプライン式・一括式

## 6.3 パイプライン式と一括式の比較

パイプライン式と一括式の「1: 含む」の検出成功数を表 7 に示す。また，パイプライン式と一括式の Partial Match 基準のスパン特定成功数を表 8 に示す。 それぞれモデルは 6.2 と同様である。攻撃的表現の スパンについてはパイプライン式と一括式のそれぞ れで位置特定に成功しているスパンのうち 5 割以上 が各モデルでのみ特定に成功している。そのため,位置特定についてはアンサンブルすることで結果が 向上する可能性が高いといえる。

## 6.4 評価尺度について

攻撃的表現の位置特定の評価に用いた Char-offsets F1 は，攻撃的表現のスパンがない例がデータセッ ト中に多い場合にスパンがある例の影響が小さくな り，スパンを特定できているかどうかの差が值に出 にくくなってしまう。Char-offsets F1 を用いていた 先行研究 [5] では, 既存のデータセットで “Toxic” と 判定されたコメントのみを対象としてデータセット を作成しているため上記の問題は発生しない。本研究においては，攻撃的表現の位置特定のみの実験で は攻撃的表現を含む例のみを対象としているため上表 7 パイプライン式と一括式の「1: 含む」の検出成功数

記の問題は発生しないが，タスク全体での攻撃的表現の位置特定の評価ではデータセットの多くが攻撃的表現のスパンを含まない例のため評価指標に適し ていないと考えられる。

同じく攻撃的表現の位置特定の評価に用いた Partial Match F1 及び Exact Match F1 については，例 ごとにではなくスパンごとに評価しているため， Char-offsets F1 と同様の問題は発生しない。Partial Match F1 の問題点としてはモデル出力のスパンの長 さを評価において考慮しなため，スパンをより長く 出力するモデルにおいて評価が高くなってしまうと いうものがある。一方 Exact Match F1 では，過不足 なく正解スパンと一致させるのは難しいという問題がある。実際に 3 人のアノテーターが全員「1: 含 む」とした例について，そのスパンが完全一致して いるものは 1032 例中 283 例であり，人手において もスパンが完全一致する例は少ない。

## 7 結論

本研究では日本語における攻撃的表現の検出及 び位置特定のタスクを提案した。本タスク用のデー タセットの作成方法について述べ，作成したデータ セットを用いて実験を行った。実験には最先端の機械学習モデルを用い，従来モデルでの結果との比較 やいくつかの異なる条件での性能の比較を行なっ た。また，英語における既存の先行研究と関連研究 を参考に評価手法について考察した。

今後の取り組みとしては，攻撃的であると判断し たアノテーターの人数を利用した重み付きのロス関数の導入や本研究におけるパイプライン式のモデル と一括式のモデルのアンサンブルモデルを用いるこ とが挙げられる。また, fine-tuning に用いた機械学習モデルの事前学習に Twitter のデータを用いるこ とでも結果の改善が期待できる。

## 参考文献

[1] Marcos Zampieri, Preslav Nakov, Sara Rosenthal, Pepa Atanasova, Georgi Karadzhov, Hamdy Mubarak, Leon Derczynski, Zeses Pitenis, and Çağrı Çöltekin. SemEval2020 task 12: Multilingual offensive language identification in social media (OffensEval 2020). In Proceedings of the Fourteenth Workshop on Semantic Evaluation. International Committee for Computational Linguistics, 2020.

[2] Marcos Zampieri, Shervin Malmasi, Preslav Nakov, Sara Rosenthal, Noura Farra, and Ritesh Kumar. SemEval-2019 task 6: Identifying and categorizing offensive language in social media (OffensEval). In Proceedings of the 13th International Workshop on Semantic Evaluation. Association for Computational Linguistics, 2019.

[3] Marcos Zampieri, Shervin Malmasi, Preslav Nakov, Sara Rosenthal, Noura Farra, and Ritesh Kumar. Predicting the Type and Target of Offensive Posts in Social Media. In Proceedings of NAACL, 2019.

[4] Zhenzhong Lan, Mingda Chen, Sebastian Goodman, Kevin Gimpel, Piyush Sharma, and Radu Soricut. Albert: A lite bert for self-supervised learning of language representations. In International Conference on Learning Representations, 2020.

[5] John Pavlopoulos, Jeffrey Sorensen, Léo Laugier, and Ion Androutsopoulos. SemEval-2021 task 5: Toxic spans detection. In Proceedings of the 15th International Workshop on Semantic Evaluation (SemEval-2021). Association for Computational Linguistics, 2021.

[6] 尼崎航成, 向井宏明, 松井くにお. SNS における不適切投稿の検知. 第 82 回全国大会公演論文集, 2020.

[7] 松葉達明, 桝井文人, 井須尚紀. 学校非公式サイトに おける有害情報検出を目的とした極性判定モデルに 関する研究. 言語処理学会第 17 回年次大会発表論文集, 2011.

[8] 新田大征, 桝井文人, プタシンスキ・ミハウ, 木村泰知, ジェプカ・ラファウ, 荒木健治. カテゴリ別関連度最大化手法に基づく学校非公式サイトの有害書込 み検出. 第 27 回人工知能学会全国大会発表論文集, 2013.

[9] 安彦智史, 長谷川大, プタシンスキ・ミハウ, 中村健二, 佐久田博司. Id 交換掲示板における書きこみの 隠語表記摇れを考慮した有害性評価. 情報システム 学会誌, pp. 41-58, 2018.

[10] 三宅剛史, 松本和幸, 吉田稔, 北研二. 分散表現を用い た有害表現判別に基づく炎上予測. 人工知能学会第二種研究会資料, 2017.

[11] 大西真輝, 澤井裕一郎, 駒井雅之, 酒井一樹, 進藤裕之. ツイート炎上抑制のための包括的システムの構築. 人工知能学会全国大会論文集, 2015.

[12] 畠山鈴生, 栘井文人, プタシンスキ・ミハウ, 山本和英. 有害表現抽出に対する種単語の影響に関する一考察. 人工知能学会全国大会論文集, 2016.

[13] 工藤拓, 山本薫, 松本裕治. Conditional random fields を用いた日本語形態素解析. 情報処理学会研究報告. NL, 自然言語処理研究会報告, 2004.

[14] Wanxiang Che, Yijia Liu, Yuxuan Wang, Bo Zheng, and
Ting Liu. Towards better UD parsing: Deep contextualized word embeddings, ensemble, and treebank concatenation. In Proceedings of the CoNLL 2018 Shared Task: Multilingual Parsing from Raw Text to Universal Dependencies. Association for Computational Linguistics, 2018.

[15] John D. Lafferty, Andrew McCallum, and Fernando C. N. Pereira. Conditional random fields: Probabilistic models for segmenting and labeling sequence data. In Proceedings of the Eighteenth International Conference on Machine Learning. Morgan Kaufmann Publishers Inc., 2001.