# BERT とその拡張モデルを用いた作詞家推定手法と分析

笠松雅史 ${ }^{1}$ 青野雅樹 1
1 豊橋技術科学大学 情報 - 知能工学専攻
kasamatsu.masashi.wx@tut.jp masaki.aono.ss@tut.jp

## 概要

深層学習を用いた自然言語処理の中ではまだあまり着目されていない歌詞を対象に，従来手法や BERT とその拡張モデルを用いて歌詞の作詞家推定を行った．また，各推定モデルを用いて，推定モデルが誤分類した歌詞に着目した，間違えやすい歌詞とクラスの基準を提案した. そして，提案した基準のもと歌詞データの分析を行い，作詞家の特徴の推察を行った。

## 1 はじめに

自然言語処理においても深層学習が浸透してきている.その中で Google が 2018 年に BERT（Bidirectional Encoder Representations from Transformers) [1] という自然言語処理モデルを発表した．BERT は，大量のテキストデータから学習を行い, その学習で得られた特徴量を様々なタスク（文章理解や感情分析など）に応用することができるという汎用性の高さが特徴として挙げられる. ここで，BERT の汎用性の高さが歌詞にも適用されるかの興味がある.

また，テキストデータの著者推定タスク [2] は, 近年のソーシャルメディアの発達に伴うテキストデー タの増加により，注目を集めているタスクである。 しかし，題材とされているテキストデータには小説やニュース記事が多く，歌詞は比較的少ない.

そこで本研究では，歌詞の著者，すなわち作詞家の推定を行う．本研究の目的は歌詞データに対する BERT の汎用性の解明と分析である. 目的を達成する手段として，まずBERTを用いた作詞家の推定モデルの獲得, また従来手法の機械学習や深層学習でも推定モデルを獲得，そして得られたモデルで推定精度の比較・分析を行う必要がある. 本稿では, これらについて報告を行う。

## 2 データセット

使用するデータセットは，Uta-Net[3] より取得した作詞家と歌詞がセットになった独自のデータである. データセットでは多くのデータがあることが望ましいため，作詞家には著名で多くの歌詞を作詞した方を対象にしている。したがって，作詞家は 11 クラスで作詞家 1 クラスそれぞれ 100 曲分のデータであり，全部で 1,100 件のデータセットである．表 1 に作詞家とクラスの対応表を示す.

## 3 作詞家推定モデル

ここでは，11クラスの作詞家の分類を行う推定モデルについて述べる.

## 3.1 従来手法による作詞家推定モデル

自然言語処理において，BERT が登場する以前よりよく用いられる従来手法として，次の 3 種類を用いる.
- SVM (Support Vector Machine)
- MLP (Multi Layer Perceptron)
- LSTM (Long Short Term Memory)

まず SVM では，入力特徴量に TF-IDF（Term Frequency-Inverse Document Frequency）で重み付けされた BoW（Bag of Words）を用いる．入力特徴量の次元数は 9,179 次元である.

次に MLPでは，入力特徴量に SVM と同様の TF-IDF で重み付けされた BoWを用いる．MLP の中間層は 2 層で, 中間層のユニット数は入力から順番に 1024，256である.また活性化関数は全て ReLU 関数である.

そして LSTM では， 1 単語 200 次元のランダムベクトルを 1 曲分, 時系列データとして入力する. LSTM の各内部表現の次元数は 128 で, 最終層の内部表現から 11 クラス分類を行う.

## 3.2 BERT を用いた作詞家推定モデル

使用する BERT は，東北大学の乾研究室が公開している訓練済みの BERT-base である [4]. BERTを用いた作詞家推定のモデル図を図 1 に示す. [CLS] トークンに対応する最終章の埋め込みベクトルである [CLS] ベクトルを全結合層に通して作詞家推定を行う.

図1 BERTを用いたモデル図

## 3.3 BERT を拡張した作詞家推定モデル

図 1 に示すような作詞家推定モデルでは, BERT の ENCODER のうち最終層のみの [CLS] ベクトルから作詞家推定を行う. しかし BERTを拡張した作詞家推定モデルでは，中間層の ENCODER より得られる [CLS] ベクトルも利用することを考える. この考えの概要図を図 2 に示す. 図 2 のように最大で 12 層分の [CLS] ベクトルを利用する構造（図 2 中の Classifier）を考える. この考えのもと，表 2 に示す
ように 6 種類の Classifier の構造を持つ作詞家推定モデルを提案する.

図 2 BERTを用いた拡張モデルの概要図

表 2 拡張モデル 6 種類の Classifier の構造

## 4 実験

この実験では，各作詞家推定モデルの精度調査を行う.

## 4.1 実験方法

各作詞家推定モデルの精度調査を K-fold 交差検証で行う. 交差検証の回数は 10 回として, テスト結果 10 回の平均 Accuracyを記録する. 交差検証を行う際のデータ分割は，学習データとテストデータで登場するクラス数が均等となるように分割を行う. すなわち，交差検証ごとに学習データ 990 件（90 件 $\times 11$ クラス)，テストデータ 110 件（10 件 $\times 11$ クラス）となるように分割を行う.

## 4.2 学習の設定

まず SVM の設定は，カーネルにガウスカーネルを用いる。次に MLP の設定は，オプティマイザー に Adamを，学習率は 0.001 ，バッチサイズは 64 ，エポック数は 100 である. またLSTM の設定は, MLP の場合と同様である. そして BERTを用いた作詞家推定モデルは，オプティマイザーは Adam であり，

BERT 部分の学習率は 0.00005 でそれ以外の学習率は 0.0001 ，バッチサイズは 16 , エポック数は 30 である. 最後に BERT を拡張した作詞家推定モデル 6 種類は, BERT を用いた作詞家推定モデルと同様である.

## 4.3 実験結果

表 3 に従来手法による作詞家推定方法 3 種類と BERT とその拡張モデルによる作詞家推定方法 7 種類の平均 Accuracy と標準偏差を示す.

表 3 より，従来手法である SVM や MLP，LSTM と比べて BERT の平均 Accuracy が高いことがわかる.このことから歌詞データに対しても BERT は有効であると考えられる。

また BERT と拡張モデルでは，拡張モデルのうち 2 種類が BERT よりも精度が高いことが確認された。 そこで，BERT より精度が向上した拡張モデル 1 と 6 を図 $3 \mathrm{a}$ と図 $3 \mathrm{c}$ に，精度が低下した拡張モデル 4 を図 $3 b$ に示す. 図 $3 a$ ，図 $3 \mathrm{c} ＼mathrm{~ ， 図 ~} 3 b$ を見ると，精度が向上した拡張モデル 1 と 6では, Classifier の構造が拡張モデル 4 と比べて単純であることから，複数の [CLS] ベクトルを扱う際には単純な構造が有効であると考えられる。

## 5 間違えやすさの分析

ここでは，実験で得られた 10 種類の作詞家推定モデルを用いてどのクラスの歌詞がどのクラスに間違えられやすいかの分析を行う。

## 5.1 間違えやすい歌詞とクラスの基準

はじめに，間違えやすい歌詞の基準を次のように定義する. ある 1 つの歌詞に対して，10 種類の推定
モデルが半数以上あるクラスに誤分類すると，その歌詞は間違えやすい歌詞とする。そして，あるクラスの歌詞がまたあるクラスへ間違えやすい歌詞が 3 曲以上あれば，そのクラスへ間違えやすいクラスとする。

## 5.2 分析方法

上記で定義した間違えやすい歌詞とクラスの基準をもとにして，作詞家 11 クラス全てに対して間違えやすい歌詞とクラスを算出する。次に，間違えやすいクラスの関係図を辺の重みを間違えやすい歌詞の数をとして作成する。

また，作成した関係図から PageRank を算出する。 PageRank とは，1998 年に S.Brin と L.Page によって発表され, 参照リンクが多いWeb ページは重要度が高くなるという考えのもと，Web ページの重要度を測るアルゴリズムである [5]. ここでは，間違えやすい歌詞が多いクラスはそれらの歌詞に重要な特徴があると考えのもと，PageRankによる分析を行う。

そして PageRank の高いクラスに間違われている歌詞に対して，ユーザーローカル提供のテキストマイニングツール [6] を用いてワードクラウドを作成し，間違われやすい歌詞にどのような特徴があるか分析を行う.

## 5.3 分析結果

図 5 に作成した間違えやすい歌詞とクラスの関係図と PageRankを示す. 図 5 において，丸の中の数字がクラスを，矢印に重なっている数字が間違えやすい歌詞の数を，赤字がそのクラスの PageRankをそれぞれ現している。図 5 から，PageRankが高いクラスはクラス 2 ，クラス 4 ，クラス 5 ，クラス 10 などであることがわかる.

次に，PageRank の高いクラスに間違われている歌詞に対するワードクラウドを図 $4 \mathrm{a}$, 図 $4 \mathrm{~b}$, 図 $4 \mathrm{c}$ にそれぞれ示す。図 $4 \mathrm{a}$ は 17 曲分の，図 $4 \mathrm{~b}$ は 12 曲分の, 図 $4 \mathrm{c}$ は 13 曲分の歌詞のワードクラウドである。また，赤字が動詞を，緑字が形容詞を，青字が名詞をそれぞれ表している。

図 4a から，クラス 2 に間違われやすい歌詞には英単語やネガティブな形容詞がよく使用されていると推測できる．次に図 $4 \mathrm{~b}$ からは，クラス 5 に間違われやすい歌詞にはクラス 2 と同様英単語が多く，またネガティブな形容詞が多いが，動詞にはポジティブなものが多い特徴があると推測できる。そ

(a) 拡張モデル 1

(b) 拡張モデル 4

(c) 拡張モデル 6

図 3 精度が向上した拡張モデルと低下した拡張モデル

(a) クラス 2

(b) クラス 5

(c) クラス 10

図 4 間違われた歌詞のワードクラウド

図 5 間違えやすい歌詞のクラスの関係図と PageRank

して図 4c からは，クラス 10 に間違われやすい歌詞には，ネガティブな動詞や形容詞がよく使用されていると推測できる.

## 6 おわりに

本稿では，歌詞データに対しても BERT が有効であるかを K-fold 交差検証を用いて作詞家推定を行い, 従来手法と比較を行った. 比較の結果, BERT はどの従来手法よりも優れた結果であった.

また，BERT の拡張モデルを 6 種類考案し，BERT と比較を行った. 比較の結果，拡張する際は単純な構造が有効であると考えられる。
そして，従来手法と BERT と BERT の拡張モデルの計 10 種類を用いて，間違えやすい歌詞とクラスの基準の提案を行った. 提案した基準のもと簡単な分析を行い，間違えやすい歌詞の特徴の推察を行った. このような推定モデルの誤分類を着目した方法は，データ分析の新たなアプローチの 1 つになると考えられる。

今後の検討として，間違えやすい歌詞とクラスの詳細な分析を進める必要があると考えられる。 また，間違えやすい情報を活用して，例えば GAN （Generative Adversarial Network）にその情報を付加してテキスト生成を行いたいと考えている。

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: pre-training of deep bidirectional transformers for language understanding. CoRR, Vol. abs/1810.04805, , 2018.

[2] Janek Bevendorff, Bilal Ghanem, Anastasia Giachanou, Mike Kestemont, Enrique Manjavacas, Ilia Markov, Maximilian Mayerl, Martin Potthast, Francisco Rangel Pardo, Paolo Rosso, Guenther Specht, Efstathios Stamatatos, Benno Stein, Matti Wiegmann, and Eva Zangerle. Overview of PAN 2020: Authorship Verification, Celebrity Profiling, Profiling Fake News Spreaders on Twitter, and Style Change Detection, pp. 372-383. 092020.

[3] 歌詞検索サービス歌ネット.https://www.uta-net. com/.

[4] Github - cl-tohoku/bert-japanese: Bert models for japanese text. https://github.com/cl-tohoku/bert-japanese.

[5] S. Brin and L. Page. The anatomy of a large-scale hypertextual web search engine. In Seventh International World-Wide Web Conference (WWW 1998), 1998.

[6] Ai テキストマイニング by ユーザーローカル. https://textmining.userlocal.jp/.


# Cross-modal Retrieval of Historical Materials

Jieyong Zhu ${ }^{1}$ Taichi Nishimura ${ }^{1}$ Makoto Goto $^{2}$ Shinsuke Mori ${ }^{3}$
${ }^{1}$ Graduate School of Informatics, Kyoto University
${ }^{2}$ National Museum of Japanese History
${ }^{3}$ Academic Center for Computing and Media Studies, Kyoto University
\{zjsczjy04, taichitary\}@gmail.com
m-goto@rekihaku.ac.jp
forest@i.kyoto-u.ac.jp

## Abstract

In this paper, we propose a neural-network-based crossmodal retrieval method on historical materials. We begin by collecting a multi-modal historical dataset from $\mathrm{Na}-$ tional Museum of Japanese History ${ }^{1}$. The dataset includes over $18 \mathrm{k}$ textual descriptions and 79k images. To evaluate the performance of our methods, we perform cross-modal image-to-text and text-to-image retrieval tasks. The experimental results show that the proposed method performs well in both retrieval tasks on historical materials compared with the random baseline.

## 1 Introduction

With the rapid advancement of digitization, large-scale multi-modal data of historical materials, such as images and texts, have become available on the web. Consequently, cross-modal retrieval of historical materials plays an important role in assisting researchers to study them. Cross-modal retrieval is a technique to perform retrieval tasks across multiple modalities, such as text-to-image and vice versa. In recent years, the development in the field of vision-and-language has accelerated research on crossmodal retrieval tasks with remarkable performance. In this paper, we apply the state-of-the-art cross-modal retrieval methods to historical materials and demonstrate the crossmodal retrieval system.

For historical materials, there are several kinds of corresponding textual data, including the material name, collection name, the designation, the quantity, the material quality, the scale, the production date, the place of use, the

Figure 1 Examples of image-to-text and text-to-image retrieval tasks. Retrieved results in the red boxes are the associated ones with the query in the left.

material id, and the notes. In this paper, we choose the material name, the collection name, and the notes as the three main textual features because we consider that these features are the most important to represent the historical material

Figure 1 shows an overview of image-to-text and text-toimage cross-modal retrieval tasks of historical materials. The left side is the query and the right side is the retrieved results. In the image-to-text retrieval task, given an image of a historical material, we retrieve the relative texts. In the text-to-image retrieval task, given a text that describes a historical material, we retrieve the corresponding image. Note that the ground truth of the query is marked in the red box.

## 2 Related Work

The main challenge of cross-modal retrieval is the modality gap, and the key solution is to generate new representations from different modalities in the shared subspace, such that semantically associated inputs are mapped to similar locations.

Figure 2 An overview of our proposed model.

Subspace learning methods are one kind of the most widely used methods. They aim to find a commonly shared subspace where the similarity between different modalities can be measured. For example, Canonical Correlation Analysis (CCA) [1] is a linear method that learns the common space by maximizing pairwise correlations between two sets of data from different sources. However, because the correlation of multimedia data in the domain of historical materials is too complicated to be fully modeled only by applying linear projections, directly applying CCA over high-level text and image representations cannot achieve a reasonable result.

Inspired by the success of deep networks, a variety of deep-learning-based cross-modal retrieval methods have been developed. Deep Canonical Correlation Analysis (DCCA) [2] is a deep-learning-based method to learn complex nonlinear projections. Wang et al. [3] propose a CNN-based model to map the textual and image data to a shared subspace. Recipe1M [4] proposed a neural embedding model with semantic regularization on a recipe dataset to get a better understanding of food and recipe. Garcia et al. [5] compare a CCA model with deep-learningbased approaches to perform retrieval tasks on the domain of art paintings. In this paper, we adopt a deep-learningbased cross-modal retrieval method on historical materials, which is different from previous works.

## 3 Retrieval System

Figure 2 shows an overview of our proposed model. The proposed method consists of two major processes. Firstly, texts and images are encoded into representations separately. Secondly, the representations are fed into symmetric multi-layer perceptrons (MLPs) with ReLU activation functions to learn the cross-modal embeddings.

## 3.1 Text Encoder

In the input of the text side, we have three types of data: material name, collection name, and notes. We propose two different encoders for converting the text data to vectors: the word2vec-based model and the LSTMbased model. The output of the text encoder is a 2048-D vector.

Word2vec Encoder. We use a mean word2vec vector to represent the textual data. To train a word-level word2 vec model, we tokenize all texts in the dataset using $\mathrm{KyTea}^{2)}$. The dimension of the word2vec embedding is set as 100. Because the number of words is different for each type of text data, we use the mean word $2 \mathrm{vec}$ of words to represent each type of data and concatenate them as a $300-\mathrm{D}$ vector. Then we feed the $300-\mathrm{D}$ vector into a simple fully-connected neural network to get a 2048-D vector as the output.

Bi-LSTM Encoder. We build a bidirectional LSTM model to convert the texts to vectors. The bidirectional LSTM model considers both forward and backward orderings. For each type of data, we train a different bidirectional LSTM model. The outputs of three LSTM models are concatenated as a 300-D vector. As before, the 300-D vector is fed into a simple fully-connected neural network to get a 2048 -D vector as the output.

## 3.2 Image Encoder

The input of the image-side is a single image of historical materials. To convert images into vectors, we employ ResNet50 [6] pre-trained on ImageNet [7]. We remove the last fully-connected layer of ResNet50 and use the rest network to convert an image to a 2048-D vector. Like before, the 2048-D vector is fed into a simple fully-connected neu-

Figure 3 Examples of the dataset.

ral network. As a result, the output of the image encoder is a 2048 -D vector.

## 3.3 Shared Subspace Learning

Finally, we convert text/image vectors into shared subspace using symmetric multi-layer perceptrons (MLPs) with the ReLU activation functions. To train the model, we compute triplet margin loss [8], which makes the vectors in the subspace for a given text-image pair close and otherwise faraway. The triplet margin loss creates a criterion that measures the triplet loss given a triplet and a margin. A triplet is composed of an anchor vector $a$, a positive vector $p$, and a negative vector $n$. The triplet margin loss is formulated as:

$
L(a, p, n)=\max \{d(a, p)-d(a, n)+\operatorname{margin}, 0\}
$

where $d(\cdot)$ is the Euclidean distance between the two vectors, and margin is the hyper-parameter.

## 4 Experiments

To evaluate our methods, we implement the models and perform both image and text retrieval tasks, and measure the performance on our dataset. We also report some samples of the retrieval tasks.

## 4.1 Experimental Settings

Dataset. This is the first attempt to tackle cross-modal retrieval of historical materials, so no datasets exist in this field; thus we created the Japanese historical dataset of textual descriptions and corresponding images by crawling them from the National Museum of Japanese History. The dataset contains 18,429 historical materials, including paintings, calligraphy works, and artifacts. As Figure 3 shows, for each historical material, there is one textual

description and more than one image. In total, the dataset includes over $18 \mathrm{k}$ textual descriptions and over $79 \mathrm{k}$ corresponding images. The details of dataset splits are shown in Table 1. The ratio of the training set is 0.7 , and the ratio of the validation set and test set are both 0.15 .

Hyper-parameter Settings. For the word2vec encoder, we set the embedding size to 100 and use Gensim [9] to train the word2vec model. For the bidirectional LSTM encoder, we set the embedding size to 2,048 . The hidden size is 512 and the output size is 2,048 . This LSTM encoder only has one layer. In the LSTM encoder, we use three different vocabularies for material names, collection names, and notes separately. For the symmetric multi-layer perceptrons (MLPs) with ReLU activation functions, the input size and the output size are both 2,048 . During training, we use Adam optimizer with a learning rate of 0.001 and train 35 epochs. The size of the mini-batch is 32 . We set the margin to 0.1 in the triplet loss function.

Evaluation Metrics. To evaluate the performance of our model on retrieval tasks, we computed two mainstream evaluation metrics in cross-modal retrieval tasks, Recall@K (R@K) and median rank (MedR), where $\mathrm{R} @ \mathrm{~K}$ is the recall rate percentage of the target corresponding to a query appearing in the top $K$ when the set of obtained images is sorted in descending order by cos similarity, and MedR is the median of the ranks of the target corresponding to each query.

## 4.2 Quantitative Evaluation

We report results on 1,000 image-and-text pairs randomly selected from the test set. For both retrieval tasks, We compute the MedR and $\mathrm{R} @ \mathrm{~K}$ with $K$ being 1,5 , and 10. Our proposed method is compared with the random ranking baseline. We can see in Table 2 that the proposed model outperforms the random ranking baseline in imageto-text and text-to-image retrieval tasks. To be specific, the word2vec encoder performs better than the bidirectional LSTM encoder, indicating that the word order is not essen-

Figure 4 Image-to-text retrieval examples. The ground truth in the retrieved results is highlighted in the red box.

Figure 5 Text-to-image retrieval examples. The ground truth is highlighted in the red box.

tial in our tasks.

## 4.3 Retrieval Results

We report image-to-text and text-to-image retrieval results on our best model, the mean word2vec model.

Image-to-Text Retrieval Results. Figure 4 shows two qualitative positive examples of the texts retrieved. On the left side is the query images. On the right side is the top five retrieved texts. In the first example, our model successfully retrieved the ground truth text in the top one. In the second example, the ground truth text is returned as the top five. We can see that our model can learn the cross-modal embeddings well and retrieve good results.

Text-To-Image Retrieval Results. Figure 5 shows two qualitative negative examples of the images retrieved. The left side shows the ground truth image and the query text. The query includes the material name, collection name, and notes. The right side shows the top five retrieved images.
Although the model fails to return the ground truth image in the top five returned images, it can be observed that the retrieved images are semantically similar, which indicates that the our model can learn the semantic information in the domain of historical materials but there is still much room for improvement.

## 5 Conclusion

In this paper, we proposed a model for cross-modal retrieval between historical materials. This paper tackled the cross-modal retrieval of historical materials using deeplearning-based cross-modal retrieval methods. This work is the first attempt to tackle this problem, thus we constructed the dataset of Japanese historical texts and images, and evaluated the model's performance on it. The experimental results showed that the proposed method performs well in the cross-modal retrieval of historical materials.

## References

[1] Yunchao Gong, Qifa Ke, Michael Isard, and Svetlana Lazebnik. A multi-view embedding space for modeling internet images, tags, and their semantics. International journal of computer vision, Vol. 106, No. 2, pp. 210-233, 2014.

[2] Galen Andrew, Raman Arora, Jeff Bilmes, and Karen Livescu. Deep canonical correlation analysis. In International conference on machine learning, pp. 1247-1255. PMLR, 2013.

[3] Jian Wang, Yonghao He, Cuicui Kang, Shiming Xiang, and Chunhong Pan. Image-text cross-modal retrieval via modality-specific feature learning. In Proceedings of the 5th ACM on International Conference on Multimedia Retrieval, pp. 347-354, 2015.

[4] Amaia Salvador, Nicholas Hynes, Yusuf Aytar, Javier Marin, Ferda Ofli, Ingmar Weber, and Antonio Torralba. Learning cross-modal embeddings for cooking recipes and food images. In Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 3020-3028, 2017.

[5] Noa Garcia and George Vogiatzis. How to read paintings: semantic art understanding with multi-modal retrieval. In Proceedings of the European Conference on Computer Vision (ECCV) Workshops, pp. 0-0, 2018

[6] Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deep residual learning for image recognition. In Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 770-778, 2016

[7] Jia Deng, Wei Dong, Richard Socher, Li-Jia Li, Kai Li, and Li Fei-Fei. Imagenet: A large-scale hierarchical image database. In 2009 IEEE conference on computer vision and pattern recognition, pp. 248-255. Ieee, 2009.

[8] Daniel Ponsa Vassileios Balntas, Edgar Riba and Krystian Mikolajczyk. Learning local feature descriptors with triplets and shallow convolutional neural networks. In Edwin R. Hancock Richard C. Wilson and William A. P. Smith, editors, Proceedings of the British Machine Vision Conference (BMVC), pp. 119.1-119.11. BMVA Press, September 2016.

[9] Radim Řehůřek and Petr Sojka. Software Framework for Topic Modelling with Large Corpora. In Proceedings of the LREC 2010 Workshop on New Challenges for NLP Frameworks, pp. 45-50, Valletta, Malta, May 2010. ELRA. http://is.muni.cz/publication/884893/en.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# Web 文書からの用語検索における用語候補のランキングの検討

池内省吾 ${ }^{1}$ 南條浩輝 ${ }^{2}$ 馬 青 1
1 龍谷大学理工学研究科 2 京都大学学術情報メディアセンター
${ }^{1}$ t20m002@mail.ryukoku.ac.jp ${ }^{2}$ nanjo@media.kyoto-u.ac.jp ${ }^{1}$ qma@math.ryukoku.ac.jp

## 概要

適切な用語を用いないと正確な問い合わせが行えないことがある。我々は，適切な用語がわからないユーザの支援の研究を行っている. 具体的には， ユーザからの用語に関する説明文を検索質問として Web 検索を行って，Web 文書から用語を抽出する $「$ Web 文書からの用語検索」を研究している. 本稿では，Web 文書群から得た用語候補のランキングについて述べる.

## 1 はじめに

用語検索は，用語を説明する説明文から用語を求める処理である. 辞書逆引き [1] とは，説明文と近い定義文を見つけてその見出し語を求める処理であり，辞書に掲載されている語に対する用語検索は，辞書逆引きで求めることが可能である。一方，新語や専門用語は辞書形式で定義されていないことがある.そこで，我々はユーザによる説明文を検索質問として一般の Web ページを検索し，そこから用語抽出を行う「Web 文書からの用語検索」の手法を提案している [2]. 本稿では, 用語検索において出力する複数の用語候補のランキング方法について検討を行った結果を報告する.

## 2 Web 文書からの用語検索

我々が提案している BERTを用いた Web 文書からの用語検索 [2] について述べる。これは以下の 3 つの処理を順に適用して用語を求めるものである.

1. Web 文書検索: 与えられた説明文からなる検索質問で Web 検索を行い，Web 文書集合を取得する

2. 用語候補抽出: Web 文書集合それぞれの文書について，与えられた検索質問と文書中のテキストを連結して BERT に入力し，質問応答の枠組みを利用して用語候補を抽出する。
3. 用語候補ランキング: 得られた用語候補をランキングして出力する

## 2.1 Web 文書検索

本研究では, Web 文書として Google スニペットを用いる. Google スニペットは, Goolge 検索エンジンに検索質問を入力して得られる検索結果ページにおいて，検索結果の Web ページのタイトルや URL の下に表示される短い説明のことである ${ }^{1)}$. Google スニペットの取得は， Google API Client Libraries [3] を用いて行う。

## 2.2 用語候補抽出

用語候補抽出には BERTを用いた質問応答の枠組みを用いる。具体的には，SQuAD 2.0 [4] で用いられた方法 [5] を用いる。これは，質問 $q$ と文書 $d$ を連結させたもの（[CLS] $q[\mathbf{S E P}] d)$ に対して, 解答可能な場合には文書中の正解の開始位置と終了位置（Start/End）を出力するように，解答不可能な場合には開始位置と終了位置として [CLS] の位置を出力するように BERTを学習 (fine-tuning) するものである. 本研究では, BERT の日本語 Pretraining モデルとして，京都大学提供 BERT（BERT-BASE-WWM 版 $)^{2)}$ を用いる.

## 2.3 用語候補ランキング

得られた用語候補を何らかの方法でランキング （順位づけ）し，出力する. 我々は, 以前の研究 [2] において頻度に基づいたランキングを行ったものの，他のランキング手法を検討していなかった. 本研究ではこの検討を行う.

## 3 実験のデータ

## 3.1 用語検索用の検索質問

これは，先行研究 [2] で本タスクのために作成されたものである.

## 3.2 用語抽出用 BERT の学習データ

用語抽出用 BERT の学習データとして，解答可能性付き読解データセット [6] を使用する。これは，文書読解タスク用のデータセットであり，(質問，解答，文書）の組に対して，解答可能性スコアがつけれらている. 解答可能性スコアは, 文書読解によって質問に答えることができるかについて人手で判断されたスコアである. このデータセットの（質問 $q_{i}$, 解答 $a_{i}$, 文書 $d_{i}^{k}$ ) の組について, 質問 $q_{i}$ に対する解答 $a_{i}$ (本研究での用語) は文書 $d_{i}^{k}$ に必ず含まれている。一つの質問・解答について複数 $(k)$ の文書が用意されている. 読解タスクにおいては解答不能文書が定義されているが，これは解答を含まないという意味ではなく，解答根拠が存在しないという意味である。

本研究での用語検索では解答根拠は不要である. さらに，求めた Web 文書に用語が存在しない場合もある。そこで，読解タスクのデータセットそのものを学習に使うのではなく, 次のように修正して学習データとする。

1. 解答可能データ集合: 文書読解タスク用データセットの $\left(q_{i}, a_{i}, d_{i}^{k}\right)$ の組を全て解答可能デー 夕集合とする． $a_{i}$ の $d_{i}^{k}$ における開始位置と終了位置を BERT に学習させる.

2. 解答不能データ集合: 文書読解タスク用データセットの $\left(q_{i}, a_{i}, d_{i}^{k}\right)$ の組に対して， $d_{i}^{k}$ を別の $q_{j}$ に対応する文書 $d_{j}^{l}(j \neq i)$ に置き換えたものを解答不能データ集合とする ${ }^{3)}$ 。開始位置と終了位置を共に [CLS] の位置として BERT に学習させる。

## 4 用語候補ランキング

Web 文書からの用語検索では，検索質問と各 Web 文書を連結した文字列を BERT に入力して用語候補を求め，その候補をランキングして出力する（図
$ が含まれていないことも確認する.
}

図 1 複数文書からの用語候補の抽出とランキング

1).

最も単純なランキング手法として頻度に基づくもの（多数決）がある. 実際に，我々も以前に多数決方法による用語検索を行った [2] ものの，他のランキング手法は十分に検討できていなかった. このような背景に基づき，本研究では多数決方式と他の 4 種類ランキング方法（下記）を検討する。

1. Maj (Majority): 多数決（頻度）に基づいてランキングを行う。

2. T-TSum (Sum of Term-Term similarities): 用語候補間で類似度をとり，その和に基づいてランキングを行う。これは用語候補の内でもっとも中心となるような用語が目的の用語であることを期待するものである.

3. Q-T (Qery-Term similarity): 検索質問（単語列） と用語候補（単語）との類似度に基づいてランキングを行う．正解用語と検索質問は同じ意味を表していると仮定し，両者の類似度を直接求めることで目的の用語が求められると期待するものである.

4. Q-T ${ }_{s n i}$ (Query-Term_snippet similarity): 検索質問 (単語列) と用語候補のスニペット（単語列） との類似度に基づいてランキングを行う．正解用語による検索で得られるスニペットを正解用語の説明とみなし，これが検索質問と近いと期待するものである.
5. $\mathbf{Q}_{s n i}-\mathbf{T}_{s n i}$ (Query_snippet-Term_snippet similarity): 検索質問のスニペット（単語列）と用語候補のスニペット（単語列）との類似度に基づいてランキングを行う．両者ともにスニペットとすることで，正解用語と検索質問間で高い類似度が得られることを期待するものである。

Maj 以外のランキング手法についての概要を図 2 から図 5 に示す.

本研究では，「Xのスニペット」として，Xを検索クエリとして，Google API Client Librariesを用いて 1 件だけ取得したものを採用した。

本研究では, 用語候補 (単語) や検索質問（単語

図 2 T-Tsum (Sum of Term-Term similarilites)

図 4 Q-T ${ }_{s n i}$ (Query-Term_snippet similarity)

列)，それらのスニペット（単語列）間の類似度を求めるために，これらを同一次元のベクトル（分散表現）で表現する. 分散表現は，用語候補，検索質問，スニペットを同一に扱い（それらを string とする)，[CLS] string [SEP] を BERT に入力して求める. 具体的には, 各 token に対応する BERT の出力 embedding の平均値（average pooling）を求める. べクトル間の類似度はコサイン距離とする。

## 5 実験結果と考察

23 件の検索質問を用いて用語検索を行った. 図 1 に示す通り各質問について M 件（最大 100 件）の Web 文書を検索し, 各 Web 文書から 1 件の用語候補を取り出して重なりをとり，用語候補の集合（図1 の $\mathrm{N}$ 件）を得た. この用語候補中に正解の用語を含むものは 17 件，含まないものは 6 件であった. この 6 件に関してはどのようなランキング手法を適用しても正解を上位にランクすることはできない. 求める Web 文書数を多くし，各文書から複数の用語候補を出力するなどが必要であることがわかる.

はじめに多数決ランキングを行った. 用語候補中に正解を含むもの 17 件のうち 11 件で正解の用語が

図 3 Q-T (Query-Term similarity)

図 $5 \mathrm{Q}_{s n i}-\mathrm{T}_{s n i}$ (Query_snippet-Term_snippet similarity)

1 位であった。残りの 6 件は， 3 位， 3 位，4 位，5 位，6位，13 位であった. 結果は表 1 の Majに示されている。23 件に対する平均逆順位 (MRR) は 0.54 であった（表 2). 1 位ではない 6 件については，正解の用語に代わって検索質問に関係はするものの別の語が上位に来ていることが多い. 例えば，正解用語が「バナナ」である時には，「マンゴー」や「みかん」が上位にランクされていた． 4 位以降も「パパイヤ」「ぶどう」「パイナップル」と続き，バナナと同じカテゴリの果物が続く. 検索質問が曖昧で,抽出する用語が絞りきれない時には，このようなことになると考えられる。用語「アイシャドー」に対しては，「目元」「アイ」「ニベア」「油分」「アイスクリーム」が上位にランクされており，化粧品とは別カテゴリの食品カテゴリの語が含まれていた. 用語「コールドゲーム」に対しては，「野球」「ヤクルト」 $「 3$ 月 21 日」「甲子園球場」「8 試合」「順延になった」「9月 20 日」などが上位にランクされており，野球に関する用語が抽出されていると考えられるが，日付などの別のカテゴリと考えられる語も含まれていた.これらに対しては，用語間の類似度や用語と検索質問の類似度を求めることで明らかに異なる候補
表 1 用語ごとの検索結果

正解となる用語の出現順位を表す * : 順位が 100 件以内に正解がなかった

であるもの（食品や日付など）を除くことができる可能性がある.

次に，類似度に基づく 4 種類のランキングを行った. MRR は $0.05 \sim 0.13$ と低いものであった. この結果も表 2 に示されている.

T-TSum では，多数決で上位にランクできるものについては低いランクをつけてしまったものの，多数決ランキングで低いランクのものについて，より高いランクに出力できていた。実際に多数決で 6 位のアイシャドーは 5 位に，13 位のコールドゲー ムについては 7 位にランクすることができた（表 1 T-TSum).

Q-T では，単語列（検索質問）と単語（用語候補） との間で類似度をとろうとしており，うまく働かなかったものと考えられる。

を取り出して，単語列同士の類似度を測った. Q-T表 2 各手法による MRR の値

よりも類似度の求め方としては適切と考えられるが，課題が大きいことがわかる。

$\mathbf{Q}_{s n i}-\mathbf{T}_{s n i}$ では，用語候補と検索質問の双方からスニペット（単語列）を取り出して，単語列同士の類似度を測った。検索質問のスニペットが正解用語のスニペットと類似し，かつそれ以外の用語候補のスニペットと類似しないことを期待したが，そのようなスニペットの取得に課題があったと考える.

## 6 まとめ

用語検索において出力する複数の用語候補のランキング方法について検討を行った. 多数決によるランキングが精度が高かった. 類似度に基づく手法それ自体は高精度ではなかったが，多数決手法が苦手とするようなものに対して高いランクに出力できる可能性があることがわかった. 今後は多数決手法と類似度に基づく手法の併用による用語検索の高精度化を検討していきたい.

謝辞: 本研究は科研費基盤研究 (C) 19K12241 の補助を受けた。

## 参考文献

[1] 粟飯原俊介, 長尾真, 田中久美子. 意味的逆引き辞書『真言』. 言語処理学会第 19 回年次大会発表論文集, pp. 406-409, 2013

[2] 池内省吾, 南條浩輝, 馬青. BERT を用いた Web 文書からの用語検索. 情報処理学会研究報告 Vol.2021-NL249, pp. $1-6,2021$.

[3] Google. Google API Client Libraries. https:// developers.google.com/api-client-library.

[4] Pranav Rajpurkar, Robin Jia, , and Percy Liang. Know What You Don' $t$ Know: Unanswerable Questions for SQuAD. $A C L$, Vol. 2, p. 784-789, 2018.

[5] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL, Vol. 1, p. 4171-4186, 2019.

[6] 鈴木正敏, 松田耕史, 岡崎直観, 乾健太郎. 読解による解答可能性を付与した質問応答データセットの構築.言語処理学会第 24 回年次大会, pp. 702-705, 2018.

## A 付録

表 A 作成した検索質問 23 件


# 深層距離学習で最適化した文の埋め込み表現による 未知クラスを含む日本語テキスト分類

大段 秀顕林 岳晴 竹中一秀湯浅 晃
株式会社NTT データ
\{ Hideaki.Odan, Takeharu.Hayashi, Kazuhide.Takenaka, Akira.Yuasa\}@nttdata.com

## 概要

一般に「学習データに存在しない未知のクラス」 を含む分類は難しいが，深層距離学習により特徴空間上でのクラスごとの分布を最適化すれば，分類精度の向上が期待される. 本研究では未知クラスを含む日本語テキストの分類問題に対して, 深層距離学習で最適化した BERT ベースの文の埋め込み表現を用い，平均 $\mathrm{k}$ 近傍距離による分類を行った。これにより BERT 文書分類の確信度ベースの手法や，他の文の埋め込み表現モデルを使用した場合と比較して，高い精度を達成した. また一般に難しいとされる「1 クラスあたりのデータ量が少ない場合」「不均衡な場合」「クラス数が多い場合」であっても他の手法を上回る精度が得られ，実用性の高さを示した。

## 1 はじめに

一般的な機械学習の分類モデルでは，評価デー夕には「学習データに存在した既知クラス」しか存在しないことを暗黙の前提としている。そのため評価データに「学習データに存在しない未知クラス」が存在し，「対象データが既知クラスか未知クラスを判定したうえで正しく分類するタスク」は，通常の分類モデルとは異なるアプローチが必要になる[1].実際，これに対するナイーブな手法として「分類モデルの確信度スコアが十分低い場合に未知クラスとしてみなす方法」が考えられるが，確信度スコアが過剰に高くなるケースが知られており[2], 高い精度での分類は難しいと想定される。

そこで本研究では画像領域でよく使用される深層距離学習に注目した. 深層距離学習では特徴空間上で各クラスの分布を最適化し，互いにより識別可能になるような特徵量抽出が可能になる。ここで未知クラスの識別が既知クラスの識別と同じ観点の延長線上で可能と仮定するならば，深層距離学習により未知クラスを含む分類の精度向上が期待される.

本研究の新規性は，未知クラスを含む日本語テキスト分類タスクにおいて深層距離学習で最適化した文の埋め込み表現を用い，既存手法との比較検証を行ったことである. 本提案手法で上記タスクを検証した文献は，著者の知る限り存在しない。具体的には，深層距離学習の損失関数 AdaCos[3]を用いて，文の埋め込み表現モデル Sentence-BERT (SBERT) [4]を訓練し，最適化したベクトルに対して平均 $\mathrm{k}$ 近傍法による分類を行い，性能を評価した。またデー 夕特性に応じた性能の変化も併せて調査した。

## 2 関連研究

## 2.1 文の埋め込み表現生成モデル

文の埋め込み表現 (Sentence Embedding) 生成モデルとは，文の意味を数值的なべクトルに変換するモデルのことである. 最も単純なものとして TFIDF や,事前学習した単語の埋め込み表現 (word2vec, Glove[5], fastText[6] など)を加重平均する方法 [7][8][9]がある.このほか転移学習可能なユニバーサルな表現を得ることを目的とした研究が多く存在する. 例えば InferSent[10], Universal Sentence Encoder (USE)[11], SBERT などである.いずれも Stanford Natural Language Inference という自然言語推論用デ一タセットで教師あり学習を行っているが，モデルの構造が異なる．InferSent は双方向 LSTM, USE では Transformer もしくは DAN, SBERT では BERT を用いている。論文[4]では Semantic Textual Similarity タスクにおいてこれら手法を比較しており，SBERT が最も高い精度となっている。

## 2.2 深層距離学習

深層距離学習（Deep Metric Learning）とは，特徵
空間上で同じクラスをより近くに，異なるクラスをより遠くに配置するような変換を学習させる手法のことである. このため互いにより識別可能な特徴量抽出が可能になる. 主な応用タスクとして, 画像領域での顔認証[3][12] [13]や異常検知[14]などがある.

深層距離学習の損失関数には複数手法が提案されている. 基本的なものとして Contrastive Loss, Triplet Loss が挙げられるほか, 最近では分類モデルのアー キテクチヤをそのまま適用しながら Softmax 関数を改良した角度ベースの損失関数（CosFace[12]， ArcFace[13], AdaCos など）も提案されている.

## 3 提案手法

まず文の埋め込み表現生成モデルとして, 高い精度を持つSBERT を用いる. ただし元論文[4]と異なり, 自然言語推論データセットではなく、対象タスクのデータセットを用いた深層距離学習によるファインチューニングを行う。これはユニバーサルな表現よりも，特定のタスクに特化した表現の方が高い精度を実現できると考えたためである.

次に深層距離学習の損失関数についても, 最適なものを選択した。まず Contrastive Loss, Triplet Loss は学習過程のサンプル選択依存性が高く, 收束や精度が安定しないため採用しなかった。一方で角度べ一スの損失関数の多くはハイパーパラメータ依存性が高い.今回は中でもハイパーパラメータを自動調整できる AdaCos を採用した.

最後に深層距離学習で最適化された埋め込み表現を平均 $\mathrm{k}$ 近傍距離で分類する. 具体的には, まず学習・テストデータの埋め込み表現を出力し, 特徴空間上にマッピングする. その後, 各テストデータ点の学習データ点に対する平均 $\mathrm{k}$ 近傍距離を算出する。平均 $\mathrm{k}$ 近傍距離が閾値以上のものを未知クラスとし， それ以外については $\mathrm{k}$ 近傍法による多数決で所属クラスを推論した. なお近傍点数 $\mathrm{k}$ として $\mathrm{k}=\min (\mathrm{N}, 5)$ を採用した（Nは最小クラスサイズ）.

## 4 実験設定

## 4.1 データセット

本研究ではデータ特性に応じた性能評価を行うため，表 1 に示す 4 種類のデータセットを用意した.

まず共通するデータソースとして Yahoo! 知恵袋データ（第2版）[15]を用いた。これは，ヤフー株式会社が国立情報学研究所に提供しているデータセ
ットで，大/中/小分類カテゴリ・質問文・回答文等から構成される. 本データセットは量が多いものの,整っていない日本語テキストも多く含まれるため, なるべく品質が高いと思われる「質問ステータス：質問者による知識」「役立つ質問」「BA 不適合投票率：0」「回答ステータス：質問者による BA」を満たすデータのみを使用した。また分類対象テキストとしては質問文と回答文を結合したものを用い，正解ラベルは中分類カテゴリを選択した.

この共通データソースに対して，さらに既知/未知クラスの量を調整することで， 4 種類のデータセットを準備した。これらは実験\#1 をべースラインに，以下を評価するために用意している：

- 実験\#2 : クラス当たりのデータ量が少ない場合

- 実験\#3 : クラスごとのデータ量が不均衡な場合

- 実験\#4 : クラスごとのデータ量が非常に不均衡で, ごく少量データのクラスも存在し，かつ全体のクラス数も多い場合（最も難しい場合）

## 4.2 前処理

ノイズ除去のため,「改行コードの除去 」「HTML 特殊文字コードの復元」「HTML タグの除去」「URL 文字列の除去」「ファイルパス文字列の除去」「正規化」「数字のゼロ置換」を実施した.

## 4.3 モデル

実験では提案手法のほかに，以下の目的のもと，比較用モデルを 5 つ用意した。

- 未学習 SBERT : SBERT のモデル構造ではなく,深層距離学習自体の効果を測るため.

- TFIDF, fastText, USE : ユニバーサルな文の埋め込み表現生成モデルと比較するため.

- BERT 文書分類 : 分類モデルによるナイーブな実現手法と比較するため.

これらのらち BERT 文書分類以外のモデルについては, 提案手法と同様に埋め込み表現を平均 $\mathrm{k}$ 近傍法によって分類した。一方で BERT 文書分類は異なる手法で分類を行ったので後述する.

## 提案手法 東北大学・乾研究室の日本語 BERT

(cl-tohoku/bert-base-japanese-v2) iをべースに, sentence-transformersiiライブラリを用い, BERT 出力

を平均プーリングする SBERT モデルを用意した.深層距離学習は $A d a C o s$ の損失関数を実装し，バッチサイズ 4, 最適化関数 AdamW, 学習率 5e-5, スケジューラ WarmupLinear, 重多減衰係数 0.01 , patience10 回の早期終了の条件のもと行った.

未学習 SBERT 提案手法と同じ日本語 BERTをべ一スとした SBERT を用いたが，比較のためファインチューニングを行わない状態とした.

TFIDF MeCab[16] (mecab-ipadic-neologd[17]辞書) を用いてテキストを形態素解析し, 品詞フィルタ処理として「名詞_サ変接続」「名詞_ナイ形容詞語幹」「名詞_一般」「名詞_形容動詞語幹」「名詞_固有名詞」「動詞_自立」「形容詞_自立」のみを残し，原形化を行った単語群を用いて, 埋め込み表現を求めた.

FastText TFIDF と同様の前処理を実施後, 各単語を fastTextiiiライブラリで単語ベクトル化し, TFIDF 値を重みとして加重平均して, 埋め込み表現を求めた. fastText モデル自体は, 2020/9/2 時点での日本語 Wikipedia ダンプに対して WikiExtractorivで XML タグを除去したのち MeCab (mecab-ipadic-neologd 辞書）で分かち書きしたデータを, skip-gram 方式・300 次元で学習させたものを用いた.

USE TensorFlow Hubに存在する多言語モデル un iversal-sentence-encoder-multilingual-large(v3)vt使用して，埋め込み表現を求めた。

BERT 文書分類提案手法と同じ日本語 BERTを

書分類クラスを用いて, バッチサイズ 32 , 最適化関数 Adam, 学習率 5e-5, patience10 回の早期終了の条件のもと学習させたものを用いた. また分類手順としては，まずテストデータに対して各既知クラスに該当する確信度スコアを出力した。次に「確信度スコアが十分低いとみなす条件」を満たすものについては未知クラスを割り当て, それ以外は確信度スコアが最大のクラスへ割り当てるように推論した。なお，「確信度スコアが十分低いと見なす条件」として, 「確信度スコアの最大値が閾値以下」「確信度スコアの最大値と次点の差分が閾値以下」の両方を

実験したが，今回は精度の良かった前者を採用している.

## 4.4 評価方法

既知未知判定の単独精度まず単純な既知/未知クラスの 2 值分類の識別能を評価した. その際，テストデータにおける既知/未知クラス比率は $1: 1$ に設定していること，また閾値選択によらない評価を行いたいことを鑑み，評価指標として AUROC（Area Under Receiver Operating Characteristic Curve）を採用した.

未知クラスを含む分類精度次に未知クラスも含め全クラスを正しく推論できるかどうかを accuracy で評価した。なお本評価を行うためには, 既知未知判定を確定させるため, 間値を選択する必要がある.本番適用する場合であれば，テストデータの正解ラベルは不明のため, 閾値は平均 $\mathrm{k}$ 近傍距離もしくは確信度スコアの分布だけから決定すべきである。しかし今回はあくまで各モデルの潜在能力を評価することが目的のため, 正解ラベルが所与として精度最大となる閾値を選択したうえで評価したvii.

## 5 実験結果

実験結果を表 2 に示す.ここから以下が分かる：

- 全ての実験条件・評価指標にて, 本提案手法が最大精度を達成できている.

- 特に実験\#2 4 は, 実験\#1 と比べて「1クラス当たりのデータ量が少ない」「クラスごとのデー 夕量の不均衡性がある」「クラス数が多い」ケ一スとなっている．ビジネス利用を想定すると実際のデータでは不均衡であったり, データ量が十分になかったり, クラス数が多い場合があることを考慮すると，提案手法はいずれの場合も比較的高い精度を実現でき，実用性が高いといえる.

- 本提案手法と未学習 SBERT を比較すると, 全ての実験条件・評価指標にて 20～30\%近くの差分が出ている. ここから SBERT のモデル構造ではなく, 深層距離学習自体による性能向上効果が非常に高いことが分かる.
$ 近傍距離は既知/未知クラスで值が乘離するため, $\mathrm{M}$字型の分布をすることを別実験で確認している.このような場合であれば M 字の真ん中の極小点を間值として選択できる.
}

- 他のユニバーサルな表現生成モデルと比較しても，本提案手法が優れており，特定のタスクに特化した表現の方が高い精度を実現できるという仮説通りといえる.ただ USE については比較的高い精度となっており, ある程度の性能で十分な場合には, ファインチューニング不要な USE も選択肢の一つと言える.

- 本提案手法と BERT 文書分類モデルを比較すると, 1クラス当たりの学習データ量が少なくなる場合（実験\#2, \#4）に BERT 文書分類モデルが大きく性能劣化するのに対して, 本提案手法は性能劣化が少ないことがわかる.ここから同じ BERT ベースでも, 深層距離学習により少量データに対する頑健性が高くなっていることがわかる.

## 6 おわりに

本研究では未知クラスを含む日本語テキストの分類問題に対して, 深層距離学習で最適化した文の埋め込み表現を用いることで，一般に難しいとされるケースでも既存手法と比べて高い精度を達成でき，実用性が高いことを示した。

今後の改善としては, BERT 以外のベースモデルや他の損失関数への拡張が考えられる. また本提案手法は正解ラベルを必要とするが，自然言語処理では正解ラベルのアノテーションコストが高いという課題がある。そこで日本語テキストに対する data augmentation を適用することで, 教師なしの対照学習へと拡張することも考えられる。

表 1 実験条件

} & \multicolumn{2}{|c|}{} & \multicolumn{2}{|c|}{} & \multicolumn{2}{|c|}{ 実験\#4 } \\

表 2 実験結果

} & \multirow[t]{6}{*}{ AUROC } & 本提案手法 & 0.89 & 0.81 & 0.85 & 0.77 \\

## 謝辞

本研究では，国立情報学研究所の IDR データセッ卜提供サービスによりヤフー株式会社から提供を受けた「Yahoo！知恵袋データ (第 2 版）」を利用した.

## 参考文献

[1] GENG, Chuanxing; HUANG, Sheng-jun; CHEN, Songcan. Recent advances in open set recognition: A survey. IEEE transactions on pattern analysis and machine intelligence, 2020.

[2] GUO, Chuan, et al. On calibration of modern neural networks. In: International Conference on Machine Learning. PMLR, 2017. p. 1321-1330.

[3] ZHANG, Xiao, et al. Adacos: Adaptively scaling cosine logits for effectively learning deep face representations. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2019. p. 10823-10832.

[4] REIMERS, Nils; GUREVYCH, Iryna. Sentence-bert: Sentence embeddings using siamese bert-networks. arXiv preprint arXiv:1908.10084, 2019.

[5] Jeffrey Pennington, Richard Socher, and Christopher Manning. 2014. Glove: Global vectors for word representation. In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), pages 1532-1543.

[6] Piotr Bojanowski, Edouard Grave, Armand Joulin, Tomas Mikolov. "Enriching Word Vectors with Subword Information" Transactions of the Association for Computational Linguistics (2017) 5: $135-146$

[7] S. Arora, Y. Liang, and T. Ma, "A simple but tough-to-beat baseline for sentence embeddings," International Conference on Learning Representations (ICLR), 2017.

[8] K. Ethayarajh, "Unsupervised random walk sentence embeddings: A strong but simple baseline," in Proceedings of The Third Workshop on Representation Learning for NLP, 2018, pp. 91-100

[9] Z. Yang, C. Zhu, and W. Chen, "Parameter-free sentence embedding via orthogonal basis," in Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), 2019, pp. 638-648.

[10] CONNEAU, Alexis, et al. Supervised learning of universal sentence representations from natural language inference data. arXiv preprint arXiv:1705.02364, 2017.

[11] CER, Daniel, et al. Universal sentence encoder. arXiv preprint arXiv:1803.11175, 2018.

[12] Hao Wang, Yitong Wang, Zheng Zhou, Xing Ji, Zhifeng Li, Dihong Gong, Jingchao Zhou, and Wei Liu. Cosface: Large margin cosine loss for deep face recognition. arXiv preprint arXiv:1801.09414, 2018.

[13] Jiankang Deng, Jia Guo, and Stefanos Zafeiriou. Arcface: Additive angular margin loss for deep face recognition. arXiv preprint arXiv:1801.07698, 2018.

[14] MASANA, Marc, et al. Metric learning for novelty and anomaly detection. arXiv preprint arXiv:1808.05492, 2018.

[15] ヤフー株式会社 (2011): Yahoo! 知恵袋データ

（第 2 版）. 国立情報学研究所情報学研究デー タリポジトリ. (データセット). https://doi.org/10.32130/idr.1.2

[16] Taku Kudo, Kaoru Yamamoto, Yuji Matsumoto: Applying Conditional Random Fields to Japanese Morphological Analysis, Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing (EMNLP-2004), pp.230-237 (2004.)

[17] 佐藤敏紀; 橋本泰一; 奥村学. 単語分かち書き辞書 mecab-ipadic-NEologd の実装と情報検索における効果的な使用方法の検討. 言語処理学会第 23 回年次大会発表論文集, 2017, 875-878.


# 疑似訓練データによる格助詞の省略に頑健な係り受け解析

石川遼伍 丹羽彩奈 水木栄 岡崎直観
東京工業大学 情報理工学院
\{ryogo.ishikawa, ayana.niwa, sakae.mizuki\}[at]nlp.c.titech.ac.jp
okazaki[at]c.titech.ac.jp

## 概要

話し言葉やソーシャルメディア上などで散見される「大学行った」のような格助詞が省略された文は，係り受け解析の精度に悪影響を及ぼす。本稿では，格助詞の一部を人工的に省略した疑似訓練デー タを用い，係り受け解析精度を向上させるアプロー チを二つ紹介する。一つは疑似訓練データで格助詞補完器を学習し, 省略された格助詞を補完してから係り受け解析を行うアプローチ，もう一つは疑似訓練データから格助詞の省略を含む文に対応できる係り受け解析器を直接学習するアプローチである. 既存の係り受け解析器との比較において，特に後者は格助詞の省略がない文の解析精度を維持したまま，省略文の解析精度を向上させることを確認した.

## 1 はじめに

近年，スマートフォンの利用率は全年代で一貫して増加しており，LINE や Twitter をはじめとするサービス/アプリの利用者も増加傾向にある [1]. テキストでのコミュニケーションが増えつつあるなかで，ソーシャルメディア等で交わされるメッセー ジを対象とする研究も多く存在する. そのような研究では，テキスト分析の前処理として係り受け解析を行うことがある $[2,3,4]$.

しかし，ソーシャルメディア上のコミュニケー ションでよく見られる「大学行った」(大学（に）行った）のような助詞が省略された文は，係り受け解析精度の低下を招く. 池田ら [5] は, 助詞が省略されている文に着目し, 省略箇所を自動的に推定し，欠落した助詞を補完することにより，係り受け解析の精度を向上させる手法を提案した.しかし， この省略補完は省略された箇所の前後数個の形態素に基づいており，文全体の構造を考慮していない。

日本語の係り受け解析器として，確率モデル
に基づく $\mathrm{KNP}^{1)}$ [6] や，Support Vector Machine に基づく (abocha2) [7] 等が存在する。また，最近では BERT [8] を利用した手法が提案され, 既存の解析器を上回る精度を達成している [9]. 一般に，機械学習による手法では訓練データとして係り受け構造が注釈付けされたコーパスが必要である。ゆえに，格助詞が省略されている文 (以下格助詞省略文と呼ぶ）の解析精度を向上させるには，格助詞省略文に注釈付けしたコーパスが必要である．ところが，そのようなデータを人手で構築した例は少なく，大規模なコーパスである現代日本語書き言葉均衡コーパス（BCCWJ）[10]にも，さほど収録されていない.本稿では，人工的に格助詞を省略させた文を疑似訓練データとして利用することにより，訓練データ不足の問題を回避し，格助詞省略文の係り受け解析精度を向上させる手法を二つ提案する。一つは，疑似データで格助詞補完器を，既存のコーパスで係り受け解析器をそれぞれ学習したうえで，推論時には格助詞を補完してから係り受け解析を行うパイプラインの手法（以下 Pipeline 手法と呼ぶ）である。もう一つは，既存のコーパスの一部を格助詞省略文の疑似データに変換し，係り受け解析器を学習したうえで，推論時には格助詞省略文に対して直接係り受け解析を行うエンドツーエンドの手法（以下 E2E 手法と呼ぶ）である。いずれも BERT を基盤とし，事前学習で獲得された知識と周辺文脈の活用を図る。

実験により, 既存の解析器と比較すると，特に $\mathrm{E} 2 \mathrm{E}$ 手法では非省略文の解析精度を維持しつつ，省略文の解析精度が向上することを確認した。また，人工的な省略文の生成手法は簡素かつランダムなものであっても，省略文に対して有効であることがわかった. Pipeline 手法は E2E 手法には及ばなかったものの，格助詞補完器の F1 スコアは人工的な省略文で 0.94 に達しており，口語的な文に対するテキス

2) https://taku910.github.io/cabocha/

図 1: Pipeline 手法

図 2: 格助詞補完モデル

ト正規化の一手法としての応用が期待できる [11].

## 2 関連研究

船越ら [12] は, 音声対話システムにおいて構文解析を困難にする 4 種類の不適格性の解決の一環として, 助詞が省略されている文の解析手法を提案した. その手法では, 助詞が付属しない名詞からでも動詞に係ること許すように，解析に用いる辞書を拡張した. ただし，評価に用いられた表現や助詞の欠落を含む事例が限られていた。

池田ら [5] は，省略箇所を自動的に推定し，欠落した助詞を補完することによって，係り受け解析の精度を向上させる手法を提案した. 助詞の欠落箇所の推定は，任意の品詞間に助詞の欠落があると仮定し, その前後 4 品詞列を特徴量として学習した SVM を用いる. 補完は, 推定された助詞の欠落箇所の前後最大 4 形態素をクエリとして新聞記事を検索し,助詞別の検索結果の件数をもとにスコアリングして，補完すべき助詞を決定する。このように，池田らの手法では文全体の構文構造が考慮されているわけではない.

## 3 提案手法

本稿で対象とする格助詞は，船越ら [12] や池田ら [5] を参考に「「が」「を」「に」の 3 種類とした。 また, 柴田ら [9] と同様に, 係り受け解析は単語単位の係り受けを主辞の選択問題として考える. すなわち，サブワードに分割されたトークン列が入力されたとき，各単語の先頭トークンに対して主辞のトークンを予測する問題とする。

## 3.1 Pipeline 手法

Pipeline 手法では, 格助詞補完器によって省略された格助詞の補完を行い，その補完結果に対して係り受け解析を行う（図 1)。

格助詞の補完格助詞補完器は BERTを疑似訓練データでファインチューニングして構成する. 本研究では，格助詞補完を系列ラベリング問題として考える. 図 2 に示すように，モデルはサブワードに分割されたトークン列を入力として，あるトークンとその直後のトークンとの間に対象の格助詞のいずれかが挿入されるべきか，何も挿入する必要がないのかを予測する．格助詞補完器は，この予測に基づいて入力の単語列に格助詞を挿入したものを出力する.なお，単語がサブワードに分割されていた場合は，その先頭のトークンのみを考慮する。

疑似訓練データの作成生コーパスのテキストを形態素解析し，句点で文に分割したのち，品詞と表層形をもとに対象の格助詞をランダムに省略することで疑似データを生成する．省略された格助詞に対応する正解ラベルを付与し，訓練データとする．省略は対象の格助詞ごとに $50 \%$ の確率で発生させた。

係り受け解析通常のコーパスで学習した既存の解析器を用いる. 格助詞補完器が出力した単語列を入力にとり，各単語の主辞を予測する。

## 3.2 E2E 手法

E2E 手法では，既存の係り受け解析モデルを疑似訓練データで学習し，これを用いて省略文の係り受け解析を行う（図3）。

疑似訓練データの作成品詞や係り受けの情報が注釈付けされているコーパスをもとに，文ごとに 2 段階でランダムな省略を施し，疑似訓練データを作成する。ある文から格助詞を省略する流れを図 4 に示す. 前処理として省略操作に先んじて, 省略可能な格助詞を文から抽出する．ここで，省略可能な格助詞とは，他の形態素からの係りがない格助詞を指す.これは，仮に他の形態素からの係りがある格助

図 3: E2E 手法

図 4: 人工的な省略文生成の流れ

詞を省略した場合，その文の依存構造木が複数に分割されてしまい，学習時の扱いが煩雑になるためである。本稿で利用した BCCWJにおいては，「について」や「に関して」などといった格助詞相当の機能表現の複合語 [13] がこの例として挙げられる.

第 1 段階省略候補の格助詞を形態素レベルで選択する。省略可能な格助詞それぞれについて，一定の確率で省略候補とする．本稿では，予備害験の結果を踏まえてこの確率を $50 \%$ とした。

第 2 段階実際に省略を適用するのか否かを文レベルで決定する。一定の確率で省略候補を実際に原文から省略し，それによって生じた ID 等のずれを修正する。本稿では，予備実験の結果を踏まえてこの確率を $30 \%$ とした.なお，実際に省略が適用された場合，原文はコーパスから取り除かれ，省略文に置き換えられる。

このような 2 段階のプロセスを踏んでいるのは， インフォーマルな文体では格助詞がひとつでも省略されると他の格助詞も省略されやすい一方，フォー マルな文体では全く格助詞が省略されない文も多いという傾向を模擬するためである. $0.5 \times 0.3=0.15$ であるから，格助詞ごとに $15 \%$ で省略を発生させていることと等価のように思われるが，その場合は 2 段階のプロセスを経るよりも複数の格助詞が省略された文が生成されにくくなる。しかし，単純に格助詞を省略する確率を引き上げてしまうと，訓練デー タ中の省略文の事例数が多くなりすぎてしまい，解析器は非省略文に対して十分な精度を保つことができなくなってしまう.

## 4 実験

## 4.1 データ

係り受け解析の訓練・評価データには，BCCWJの Universal Dependencies 版 (UD Japanese BCCWJ [14]) を用いた. UD Japanese BCCWJ では，あらかじめデータセットが訓練用・開発用・評価用に分割されており，その事例数はそれぞれ 40,801 文，8,427 文， 7,881 文で，合計 57,109 文である，本稿では，実際に人間によって書かれた省略文に対する性能を評価するために，元々の分割は用いずに BCCWJ から抽出したすべての格助詞省略文が評価データに含まれるように分割しなおした. この際，各分割の事例数は元々の値をそのまま採用した。

格助詞の省略を明示した注釈付きコーパスが存在しないため, BCCWJ-DepParaPAS [15] の述語項構造を利用して格助詞省略文を抽出した。述語項構造や形態素の情報に基づいて一定の規則を設け，それに従って自動的に大まかな抽出を行ったのち，そこから不適当と判断されるものを人手で取り除いた.自動抽出の基本的な規則は，「ある名詞が述語の項として注釈付けされているにも関わらず，その名詞を含む文節に助詞が存在しない場合は抽出する」というものである. 抽出作業の結果，1,745 件の格助詞省略文の事例を得た。評価用の 7,881 文のうち, 1,745 文が格助詞省略文で，残りは非省略文である．

## 4.2 実験設定

Pipeline 手法生コーパスとしてウィキペディア日本語版の整形済みデータである wiki40b/ja ${ }^{3}$ を用いた. 形態素解析器には fugashi[unidic-lite] ${ }^{4}$ を用いた.文ごとに分割した結果，訓練用 $13,032,687$ 件，開発用 716,896 件, 評価用 717,627 件の事例を得た. 事前学習済みモデルには BCCWJ と品詞体系が一致するように cl-tohoku/bert-base-japanese-v2 ${ }^{5}$ を使用した. transformers $\left.{ }^{6}\right)$ の実装を改変し，BERT モデルを 3 エポックだけファインチューニングした．格助詞補完器のラベリング結果の評価には seqeval ${ }^{7)}$ を用いた。係り受け解析には後述の Baseline 手法を用いた.

3) https://www.tensorflow.org/datasets/catalog/wiki40b

4) https://github.com/polm/fugashi

5) https://huggingface.co/cl-tohoku/

bert-base-japanese-v2

6) https://github.com/huggingface/transformers

7) https://github.com/chakki-works/seqeval
表 1: 係り受け解析の精度（括弧内は有効事例数）

表 2: 格助詞補完の精度

E2E 手法解析モデルには柴田ら [9] による BERTKNP ${ }^{8}$ を用いた。事前学習済みモデルには Pipeline 手法と同様に cl-tohoku/bert-base-japanese-v2 を使用した. ファインチューニングは Devlin ら [8] や柴田ら [9] に倣い，3 エポック行った. 疑似訓練データの生成はシード值を変えて 5 回行い，評価結果の平均を算出した.

Baseline 手法ベースラインとして，訓練デー タ9)をそのまま用いて解析器 BERTKNP を学習した場合を採用した. 事前学習済みモデルやエポック数は E2E 手法と同様とした。

評価指標係り受け解析の評価には, CoNLL 2017 Shared Task [16] の評価スクリプトを用いた ${ }^{10)}$. 解析器が出力した依存構造木において，根が存在しない場合や，依存関係にループが存在する場合など，構文木として無効である場合は，規定に従いその事例に対するスコアを 0 として計算した。

## 4.3 実験結果

実験結果を表 1 に示す. Baseline 手法の省略文に対する精度は非省略文に対するそれよりも 4.5 ポイント低く, 格助詞の省略が係り受け解析の精度低下を招くことが改めて示された. Pipeline 手法を見ると，Baseline 手法と比較して省略文に対しては 0.82 ポイントの向上，非省略文に対しては 0.11 ポイントの悪化という結果で, Pipeline 手法では省略文の解析精度を向上させる効果が大きくないことがわかった. E2E 手法では省略文に対する精度が $90.42 \pm 0.14$ と 3 手法のうちで最も良く, Baseline 手法と比較して 1.2 ポイントの精度向上を達成しており，E2E 手法の省略文に対する有効性を確認することができた。また，E2E 手法の非省略文に対する精度は $93.62 \pm 0.15$ で，Baseline 手法の精度と大差がなく, E2E 手法が非省略文の解析精度にほとんど悪影響を与えないことも確かめられた． E2E 手法による

具体的な係り受け解析の改善事例は付録 A で紹介する. Pipeline 手法と E2E 手法を比較すると，総合的に E2E 手法のほうが有効であった。これは，人工的な省略文をエンドツーエンドで学習させることにより格助詞が省略されていたとしても BERT が文脈を広くとって解析を行えていることや，Pipeline 手法のように格助詞補完器からの誤りの伝播が発生しえないためであることが推測される.

表 2 に Pipeline 手法の格助詞補完器の人工的な省略文における精度を示す.いずれの格助詞についても F1 スコアは 0.93 以上と，人工的な省略文に対しては高い精度で補完ができている。

## 5 結論

本稿では，口語的な文で頻繁にみられる格助詞の省略された文が係り受け解析の精度に悪影響を及ぼすという問題に対して，省略文に注釈付けしたデータが入手困難な状況において，疑似訓練データを作成し, 格助詞補完器や係り受け解析器の学習に用いることで，省略文の解析精度を向上させる手法を提案した。人間によって書かれた格助詞省略文を BCCWJ から抽出して構築した評価データにおいて， E2E 手法は既存の解析器より 1.2 ポイント高い精度を示し, 非省略文に対しても既存の解析器と同等の精度を維持できることが確認できた. E2E 手法では，人工的な格助詞の省略を 2 段階のランダムな試行によって行う簡潔な手法を提案し，その有効性を確認した。一方で，Pipeline 手法は十分な効果がみられなかったが，疑似訓練データによる格助詞補完器自体の精度は高く，翻訳タスク等におけるテキスト正規化の手段として活用できる. 今後は，より適切な対象格助詞や省略確率の特定，実際にソーシャルメディア上で発信されているテキストでの評価等を行う予定である.

## 謝辞

本研究は JSPS 科研費 19 H01118 の助成を受けたものです.

## 参考文献

[1] 総務省. 令和 2 年度情報通信メディアの利用時間と情報行動に関する調査, 2021. https://www. soumu.go.jp/iicp/research/ results/media_usage-time.html.

[2] Michal Ptaszynski, Fumito Masui, Yuuto Fukushima, Yuuto Oikawa, Hiroshi Hayakawa, Yasunori Miyamori, Kiyoshi Takahashi, and Shunzo Kawajiri. Deep learning for information triage on twitter. Applied Sciences, Vol. 11, No. 14, 2021.

[3] 尾崎航成, 向井宏明, 松井くにお. SNS における不適切投稿の検知. 情報処理学会第 82 回全国大会講演論文集, pp. 621-622, 2020.

[4] 峰松優, 藤淵俊王, 有村秀孝. ソーシャルビッグデー タを活用した放射線被ばくに対する不安意見の解析システムの開発. 日本保健物理学会, Vol. 55, No. 1 , pp. 15-22, 2020

[5] 池田和史, 柳原正, 服部元, 松本一則, 小野智弘. 口語文書の解析精度向上のための助詞落ち推定および補完手法の提案. 情報処理学会研究報告, Vol. 2010-DBS-151, No. 39, pp. 1-8, 2010.

[6] Daisuke Kawahara and Sadao Kurohashi. A fullylexicalized probabilistic model for Japanese syntactic and case structure analysis. In Proceedings of the Human Language Technology Conference of the NAACL, Main Conference, pp. 176-183, 2006.

[7] Taku Kudo and Yuji Matsumoto. Japanese dependency structure analysis based on support vector machines. In 2000 Joint SIGDAT Conference on Empirical Methods in Natural Language Processing and Very Large Corpora, pp. 18-25, 2000.

[8] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, 2019.

[9] 柴田知秀, 河原大輔, 黒橋禎夫. BERT による日本語構文解析の精度向上. 言語処理学会第 25 回年次大会, pp. 205-208, 2019.

[10] 前川喜久雄. KOTONOHA『現代日本語書き言葉均衡コーパス』の開発 (く特集>資料研究の現在). 日本語の研究, Vol. 4, No. 1, pp. 82-95, 2008.

[11] 笠原要, 斉藤いつみ, 浅野久子, 片山太一, 松尾義博. テキスト正規化技術を用いた cgm 日本語テキスト翻訳. 言語処理学会第 21 回年次大会, pp. 804-807, 2015.

[12] 船越孝太郎, 徳永健伸, 田中穂積. 音声対話用構文解析器の頑健性の評価. 情報処理学会研究報告, Vol. 2002-NL-152, No. 104, pp. 35-41, 2002.

[13] 浅原正幸, 金山博, 宮尾祐介, 田中貴秋, 大村舞, 村脇有吾, 松本裕治. Universal dependencies 日本語コーパス. 自然言語処理, Vol. 26, No. 1, pp. 3-36, 2019.

[14] 大村舞, 浅原正幸. 現代日本語書き言葉均衡コー パスの Universal Dependencies. 言語資源活用ワー クショップ発表論文集 = Proceedings of Language
Resources Workshop, No. 2, pp. 133-143, 2017.

[15] 浅原正幸, 大村舞. BCCWJ-DepParaPAS: 『現代日本語書き言葉均衡コーパス』係り受け・並列構造と述語項構造・共参照アノテーションの重ね合わせと可視化. 言語処理学会第 22 回年次大会, pp. 489-492, 2016.

[16] Daniel Zeman, Martin Popel, Milan Straka, Jan Hajič, Joakim Nivre, Filip Ginter, Juhani Luotolahti, Sampo Pyysalo, Slav Petrov, Martin Potthast, Francis Tyers, Elena Badmaeva, Memduh Gokirmak, Anna Nedoluzhko, Silvie Cinková, Jan Hajič jr., Jaroslava Hlaváčová, Václava Kettnerová, Zdeňka Urešová, Jenna Kanerva, Stina Ojala, Anna Missilä, Christopher D. Manning, Sebastian Schuster, Siva Reddy, Dima Taji, Nizar Habash, Herman Leung, Marie-Catherine de Marneffe, Manuela Sanguinetti, Maria Simi, Hiroshi Kanayama, Valeria de Paiva, Kira Droganova, Héctor Martínez Alonso, Çağrı Çöltekin, Umut Sulubacak, Hans Uszkoreit, Vivien Macketanz, Aljoscha Burchardt, Kim Harris, Katrin Marheinecke, Georg Rehm, Tolga Kayadelen, Mohammed Attia, Ali Elkahky, Zhuoran Yu, Emily Pitler, Saran Lertpradit, Michael Mandl, Jesse Kirchner, Hector Fernandez Alcalde, Jana Strnadová, Esha Banerjee, Ruli Manurung, Antonio Stella, Atsuko Shimada, Sookyoung Kwak, Gustavo Mendonça, Tatiana Lando, Rattima Nitisaroj, and Josie Li. CoNLL 2017 shared task: Multilingual parsing from raw text to Universal Dependencies. In Proceedings of the CoNLL 2017 Shared Task: Multilingual Parsing from Raw Text to Universal Dependencies, pp. 1-19, 2017.

(a) 係り受けがループ

(b) 根が複数

(c) 根を誤って予測

図 5: E2E 手法による改善例

## A 係り受け改善例

Baseline 手法では係り受け解析に失敗するものの， E2E 手法では完全に正しく解析できた事例を図 5 に示す. 赤矢印が Baseline 手法で解析したときに誤って予測されたもの，緑矢印が E2E 手法により正解を予測できたものを表す.いずれの事例でも，格助詞の省略箇所前後の単語が関係する係り受けの誤りを修正できていることがわかる. 特に図 $5 \mathrm{a}$ ・図 $5 \mathrm{~b}$ はベースライン手法では木構造の制約を満たさない出力をしてしまった事例である.


# 発話者の発話意図推定に影響を及ぼす 表情の絵文字の検出

廣瀬将也 ${ }^{1}$ 森辰則 1
1 横浜国立大学大学院環境情報学府
hirose-masaya-km@ynu.jp tmori@ynu.ac.jp

## 概要

絵文字は文字では伝えにくい意味や感情を表現することができるため, 感情表現の簡略化やコミュニケーションの充実のために広く採用されている。絵文字は近年研究においても注目されており，自然言語処理分野では主に感情分析に利用されている。本論文では, 絵文字を使った感情分析において, 既存手法を利用した感情推定結果に影響を及ぼすと考えられる皮肉や自嘲の (1) といったレトリカルな用法の絵文字を検出する方法を提案する。

## 1 序論

SNS を始めとするオンラインコミュニケーションでは, 表情や仕草といった非言語情報が制限されるため, 情報の伝達に支障をきたす可能性がある.こうした状況の中で, 非言語的なコミュニケーション機能を有する絵文字が活用されている。

多様な表現ができる絵文字は, 感情推定においても重要な要素となりうる. Hussien ら [1] は, “Joy”, "Sadness", "Anger", "Disgust” の 4 種類の感情を表すラベル (感情ラベル) を絵文字に割り当て, 文と絵文字の感情は一貫しているという仮定の元, 割り当てた感情ラベルを絵文字を含む文の感情ラベルとみなして学習データに用いることで, 文の感情を推定している。また Felbo ら [2] は, 絵文字そのものを文のラベルとして文から絵文字への予測を行い, 絵文字予測に使ったモデルを転移学習させることで, 絵文字予測タスクから学習した言語表現が感情認識や皮肉検出タスクに有用であることを示した。

しかし,こうした研究の多くは, 絵文字の多様性についての考慮が十分ではない. 例えば () という絵文字は喜びの感情を表す文と伴に使われることが多いが，中には表 1 のように皮肉や自嘲の笑顔として利用される場合もある.

絵文字に割り当てた感情ラベルを，それを含む文のラベルとして利用する場合, 皮肉や自嘲の笑顔のようにレトリックとして使われる絵文字 (以下「レトリカル絵文字」と呼ぶ) は発話者の発話意図推定に影響を及ぼす可能性があり，こうした絵文字を認識して区別することは重要だと考えられる。本研究ではこのような発話者の発話意図推定に影響を及ぼす絵文字を自動的に検出するシステムを提案する。

## 2 関連研究

近年, 絵文字を利用した感情分析手法が注目されているが，絵文字の多様性について考慮した研究は少ない. Felbo ら [2] は，コーパスの予備知識を必要としない絵文字予測を使った事前学習と転移学習によって, 感情推定や皮肉検出で成果をあげている. 事前学習の絵文字予測に関する考察では, 複数の絵文字を使うことで多様な表現を獲得でき，後続のタスクでより良い成果が出ると言及しているが，1 つの絵文字が持つ多様性については詳しく触れられていない. またChen ら [3] は1つの絵文字が正極性にも負極性にも使われることを考慮し (極性の説明は 3 章を参照)，極性ごとに異なる埋め込みを得ることを期待して, 絵文字を埋め込む際, 正極性用と負極性用に 2 つの埋め込みを割り当てている. しかし, 絵文字に対する 2 つの埋め込みが極性の違いを捉えたものとは限らず, 評価実験における精度の向上は学習パラメータ数の増加によるものの可能性があるため, より詳細な分析が求められる. 本研究の提案手法は,絵文字が持つ多様性をより詳細に分析する際に活用することが期待できる.

## 3 絵文字の用法に関する分析

本章ではレトリカル絵文字の検出手法を検討するために, 絵文字の用法に関する分析について説明する。

## 3.1 ツイートの収集とアノテーション

Twitter のデータを対象として，ツイートにおける絵文字の用法を分析した. ツイートデータは Twitter API を利用して収集し, 2019 年 9 月から 11 月におけるツイートのうち (‥: $\cdot$ ののいずれかを含むものを合計 1000 件取得した. ツイートは複数の文で構成されているものが多く, 1ツイートに複数の絵文字を含む場合もあるため, 収集したツイートから絵文字に対応すると考えられる 1 文（以下ツイート文とする）を手動で抽出した。

絵文字が感情推定に及ぼす影響を調べるために， それぞれのツイート文について「言語情報のみから推定される書き手の感情」および「言語情報と絵文字の組み合わせから推定される書き手の感情」 の 2 通りのラベル付けを行った. このラベル付けは第一著者によって行われた. ラベルとして付与した感情は, 中村による感情表現辞典 [4] で利用されている 10 種類のラベル“喜” ・“好”・“安” . “哀” . “厭” . “怖” . “怒” ・ “恥” . “昂” . “驚”に 3 種類のラベル “ $\mathrm{N}($ ニュートラル)” ・ “願” . “他”を加えたものを利用した。最終的に絵文字 (1)を有する文 228 件, (1.: を有する文 240 件, ‘ を有する文 132 件について,各々に前述の 2 通りのラベルを付与したコーパスを作成した. ラベル付けの例を表 2 に示す.

## 3.2 分析結果

付与した感情ラベルの割合を絵文字ごとにまとめた結果を表 3, 4 に示す.

$51.5 \%$ が怒の感情を表す文と伴に使われていることが分かり，それぞれの絵文字が現れる文の感情ラべルには偏りがあることがわかる。

次に, 付与した感情を正極性・負極性の 2 つの極表 3 言語情報のみから推定される書き手の感情と絵文字の関係 (割合)

表 4 言語情報と絵文字の組み合わせから推定される書き手の感情と絵文字の関係 (割合)

性に分割し，言語情報のみから推定される書き手の感情極性と絵文字の関係を調査した。付与した感情のうち, “喜” . “好”. “安”を正極性, “哀”・恥”・ “厭” ・怖” ・“怒” ・ “昂”を負極性とし, 極性の定義できない“N” . “願” . “驚” . “他” は対象から除いた。

このとき, 各極性の割合を (正極性, 負極性) とすると, (ㄹ) $(82.5 \%, 6.6 \%)$, は $(13.8 \%, 76.3 \%)$, : (3.8, $87.1 \%)$ となり, 絵文字が使われる文の極性で考えると,偏りがより顕著に現れることが分かる.

ここで, ある絵文字が付与された文について, 言語表現のみから推定された書き手の感情が正極性であるか負極性であるかを集計した結果, 大多数を占める感情極性 (正極性もしくは負極性) をその絵文字が付与された文集合のマジョリティ極性とし，マイノリティの感情極性を文集合のマイノリティ極性とする. 以下では単にそれぞれ「絵文字のマジョリティ極性 (マイノリティ極性)」と呼ぶ.

(ㄷ)の各極性の割合より, (ㄷ)のマジョリティ極性は正極性，(ㅇ)のマイノリティ極性は負極性となるが，表 3 と表 4 を比較すると, 絵文字が付与される前に感情ラベルが “N” だった文に (1)を付与した場合はそのラベルが “喜”に変化しているのに対して, () のマイノリティ極性である負極性に (1) が付与されても極性が変化していないことが分かる．負極性に (1) が付与される事例についてさらに分析を行ったところ, 負極性で利用される ①) は皮肉や自嘲のニュアンスを持つことが分かった。

## 3.3 レトリカル絵文字検出のための仮説

上記の結果より, 皮肉や自嘲のニュアンスを持つ (10) は, 怒りや悲しみといった負極性を持つ文と伴に使われていることが分かった. そのため, 言語情報から怒り・悲しみといった負極性を予測できれば，皮肉・自嘲の()が検出できると考えられる。

また，は怒り：は悲しみを感情ラベルとして
持つ文とともに使われることが多く, 文と絵文字の感情ラベルが逆の極性を持つようなレトリカルな絵文字の利用があったとしても少数である。絵文字を感情ラベルの代替物とした場合,一般的な機械学習ではマジョリティの事例に偏る判断をする傾向にあるため, 絵文字が利用される文の感情に偏りがあれば, 言語情報から絵文字を予測する分類器は, 文に感情ラベルを付与する分類器と同等なものとして有効に機能することが期待できる.

以上のことから,次のような仮説が導かれる。

(1) が付与されている文について, 絵文字分類器がもひしはをを予測した場合, 文の感情ラベルは怒りや悲しみと対応している可能性が高く, 文に付与されている絵文字 ⑩ は皮肉や自嘲を表すレトリカルな用法である可能性が高い.

本論文ではこの仮説を元にレトリカル絵文字を検出する.

## 4 レトリカル絵文字の検出手法

本章では, 3.3 節で述べた仮説を元に, 絵文字分類器を利用したレトリカル絵文字の検出手法を説明する.なお, 本論文では )がレトリカルな用法で使われているものを検出対象として扱う。

まず, 5.1.1 項で説明する前処理によって, 絵文字を含む文を「絵文字を除いた文」と「文のラベルとなる絵文字 (1つ)」に分割する. 提案モデルはこの 2 つを入力として, 入力した絵文字がレトリカル絵文字であるかどうかを判定し, その結果を出力する.

レトリカル絵文字の判定に利用する絵文字分類器は, 入力文に対する適切な絵文字を 2 つの絵文字から選択し, 選択した絵文字とその予測確率を出力する二値分類器で作成する. 二値分類としたのは, 絵文字予測タスクでは多值分類よりも二值分類の方が予測性能が高いという先行研究に基づいている [5].

絵文字分類器の出力候補となる 2 つの絵文字の組

各組み合わせごとに分類器の学習を行う. ().(2)の組み合わせは, マジョリティ極性が類似した絵文字の組み合わせではレトリカルな絵文字を検出しづらくなるという予想を検証するために利用する。

次に, 学習済みの絵文字分類器に対して, 学習に利用していない ()を含む文から絵文字を除いた文を入力する. このとき, 入力文のラベルとして (ㄹ を保持しておく. 絵文字分類器が (1) 以外の絵文字を出力した場合, 入力文のラベルとしたをレトリカルな
（）とみなす.この出力 (ㅇを陽性としたときの偽陰性) は分類器の間違いそのものである場合も考えられるが, 提案モデルではこれをレトリカル絵文字とみなす。このとき, 偽陰性である絵文字の予測確率を，入力文が () のマイノリティ極性をもつ文である確率と同等のものであると期待し，これを「レトリカル絵文字である確率」とする．以上の操作を経て，提案モデルは, 入力した絵文字がレトリカル絵文字であるかどうかの判定結果とその確率を出力する。

## 5 評価実験

本章では, 提案モデルがレトリカル絵文字の検出に有効かどうかを検証するための実験を行う。

## 5.1 実験設定

## 5.1.1 データセット

本論文で利用する絵文字付きデータは, Search Tweets APIを利用して収集した. 学習・検証用のデー タセットとして, 4 章で示した 4つの絵文字についてそれぞれの絵文字を含むツイートを 110 万件ずつ取得した. ツイートは 2021 年 10 月 31 日から遡って取得したものを利用し, ハッシュタグ・リンク・メディアを持つツイート, リプライやリツイートであるツイートはクエリを利用して除外した。

次に，学習データの大きさによる検出率の変化を調べるために, 各絵文字ごとに訓練用に 100 万件ずつ・検証用に 10 万件ずつランダムサンプリングした LARGE サブセット (L) と, 各絵文字ごとに訓練用に 10 万件ずつ・検証用に 2 万件ずつランダムサンプリングした SMALL サブセット $(\mathrm{S})$ を作成した.こ

絵文字の組み合わせごとに統合することで, 各サブセットの総数は LARGE サブセットが訓練用に 200 万件・検証用に 20 万件, SMALL サブセットが訓練用に 20 万件・検証用に 4 万件となり, 最終的に 6 種類のサブセットを作成した.

また, 評価用のデータセットとして, 2021 年 11 月 1 日から 2021 年 11 月 30 日における (ㄷ)を含むツイートを同様の条件で 100 万件取得した. 評価時にデータセットの重複を避けるため, ランダムに並び替えた評価用データセットを 5 万件ずつのサブセットに分割し, 分割したサブセットを各モデルごとの評価に利用する。

最後に, 絵文字がツイート毎に 1 つになるように
収集したツイートに対して次の前処理を行った。まずクエリとして利用した絵文字のうち末尾のものを除いた全ての絵文字を削除する。1つだけ残った絵文字を文のラベルとして保持しておき, 残った絵文字を EMOJI という特殊トークンに置き換える。

## 5.1.2 実装モデル

絵文字分類器は, 埋め込み層, LSTM 層, 全結合層, ソフトマックス層から構成される DNN である.絵文字を除いた文と, 文のラベルとした絵文字を入力として, 入力した絵文字がレトリカル絵文字であるかどうかの判定とその確率を出力する．文は形態素解析器 MeCab[6] と, 単語分かち書き辞書 mecab-ipadic-NEologd[7] を用いて単語分割を行い, 埋め込み層へと入力する。埋め込み層の次元数は 300 , LSTM の隠れ層の次元数は 128 を利用した.

## 5.1.3 評価方法

5.1.1 項で作成した評価用データに対して，モデルを用いてレトリカル絵文字の判定を行い, 以下の式でレトリカル絵文字 (9) の検出率を評価する。

$
\text { 検出率 }=\frac{\text { 実際にレトリカル絵文字 ()であった事例数 }}{\text { モデルがレトリカル絵文字 ) と判定した事例数 }}
$

実際にレトリカル絵文字であるかどうかは人手で判定し, 学習データの異なるモデルごとにそれぞれ 300 件ずつ行った. このとき, () 全体におけるレトリカル絵文字の割合を調べるため, 評価用のサブセットからランダムに 300 件抽出したものについても同様に判定を行った.

また, レトリカル絵文字の検出率とモデルの出力における「レトリカル絵文字である確率」の関係性を調べるため, 各モデルには評価用サブセット 5 万件を入力し，その出力を確率順に並び替え，上位 (top) と下位 (worst) からそれぞれ 100 件ずつ抽出したもの, それらを除いたものからランダム (random) に 100 件抽出したものを評価した。

## 5.2 実験結果

6 種類のサブセットを利用して絵文字分類器の学習を行い, 5.1.3 項の方法によって評価を行った. 評価結果を表 5 に示す。

なお, 表 5 における all は, top・worst・random の合計 300 件におけるレトリカル絵文字の割合を表す. また, 評価用のサブセットからランダムに 300 件抽出したものにおけるレトリカル絵文字 (ㅇ) の割合は $3.3 \%$ あった

表 5 レトリカル絵文字の割合

## 5.3 考察

まず，各モデルにおける all の値に注目すると，ランダムに抽出したにおけるレトリカル絵文字の割合 $(3.3 \%)$ と比較して, () $\cdot$ (6) $\cdot$ (1) の組み合わせではレトリカル絵文字の検出率が大きく上回っている.これに対して, () ・(2)の組み合わせでは, 3 章の分析で () が負極性で使われていた割合が $6.6 \%$ だったことも考慮すると,ランダムに（）を取得した場合と殆ど変わらないといえる。この結果より, 極性の異なる絵文字の組み合わせを学習に利用することが重要であると考えられる。

また, どの絵文字の組み合わせも学習用のデータサイズを大きくすることで，レトリカル絵文字の検出率が向上していることが分かる. これは, 学習用のデータサイズを大きくすることで，それぞれの絵文字のマジョリティ極性に対する識別性能が向上し,結果としてマイノリティ極性を持つレトリカル絵文字の検出率が高まっているからだと考えられる。

いて，レトリカル絵文字の確率が top のものと worst のもので大きく差が生じており，提案モデルの予測確率は有効に機能していると考えられる。

## 6 まとめ

本論文では, 絵文字を使った感情分析において, 既存手法の感情推定結果に影響を及ぼすと考えられる皮肉や自嘲の (1) といったレトリカルな絵文字を検出する方法を提案した. 提案手法では, 極性の異なる 2 種類の絵文字を学習データとして絵文字の二值分類器を作成し, 分類器の出力における偽陰性を用いてレトリカルな絵文字を検出する. 実験の結果, 提案手法がレトリカルな絵文字の検出に有効であることが示された.

## 参考文献

[1] Wegdan A Hussien, Yahya M Tashtoush, Mahmoud AlAyyoub, and Mohammed N Al-Kabi. Are emoticons good enough to train emotion classifiers of arabic tweets? In 2016 7th International Conference on Computer Science and Information Technology (CSIT), pp. 1-6, 2016.

[2] Bjarke Felbo, Alan Mislove, Anders Søgaard, Iyad Rahwan, and Sune Lehmann. Using millions of emoji occurrences to learn any-domain representations for detecting sentiment, emotion and sarcasm. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 1615-1625, 2017

[3] Yuxiao Chen, Jianbo Yuan, Quanzeng You, and Jiebo Luo. Twitter sentiment analysis via bi-sense emoji embedding and attention-based lstm. In Proceedings of the 26th ACM international conference on Multimedia, pp. 117-125, 2018.

[4] 中村明. 感情表現辞典. 東京堂出版, 1993 .

[5] Weicheng Ma, Ruibo Liu, Lili Wang, and Soroush Vosoughi. Multi-resolution annotations for emoji prediction. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 6684-6694, 2020 .

[6] Taku Kudo. Mecab: Yet another part-of-speech and morphological analyzer. http://mecab. sourceforge. jp, 2006.

[7] 佐藤敏紀, 橋本泰一, 奥村学. 単語分かち書き辞書 mecab-ipadic-neologd の実装と情報検索における効果的な使用方法の検討. 言語処理学会第 23 回年次大会発表論文集, pp. 875-878, 2017.


# 対訳辞書構築技術に基づく教師なしデータフュージョン

熊谷雄介 ${ }^{1}$ 野沢悠哉 ${ }^{2}$ 横井祥 3,4 道本龍 1

1 株式会社博報堂 DY ホールディングス 2 株式会社博報堂 DY メディアパートナーズ

3 東北大学 4 理研 AIP

\{yusuke.kumagae, ryo.domoto\}@hakuhodo.co.jp

yuya.nozawa@hakuhodody-media.co.jp yokoi@tohoku.ac.jp
## 概要

データフュージョンは復数のテーブルデータを擬似的につなぎ合わせる情報推薦分野のタスクで，現実的な教師なしの設定ではまだ解くことができていない. 本論文では，このタスクと自然言語処理分野の対訳辞書構築タスクが「空間を超えてべクトルの類似性が一貫する」という共通点を持つことに着目し, 対訳辞書構築技術による教師なしデータフュー ジョンをおこなう．複数の実データでの実験結果とあわせて報告する.

## 1 はじめに

データフュージョン $[1,2]$ は複数のテーブルデー タを擬似的につなぎ合わせる技術で，情報推薦分野におけるデータ拡張のアプローチのひとつである. たとえば「商品購買履歴テーブル」と「Web サイト閲覧履歴テーブル」の各行（ユーザ）をおおよそでも対応づけられれば，店頭でホットサンドメーカー を買ったであろうユーザにソロキャンプ動画を推薦するといった，単一データからでは実現できないリッチな施策が可能になる. データフュージョンはこのようなマーケティング分野 [3] や，症状や治療法に関する疎なテーブル同士を統合して知見を得たい医療分野 $[4,5]$ において盛んに活用されている. データフュージョンのためのこれまでの手法は,二つのテーブルの間で一部の行（ユーザ）もしくは列（特徴量）が事前に対応付けられていることを仮定しており, 利用可能な情報に応じて様々な手法が提案されている（表 1 ）。

しかし現実の問題においては，ユーザ（行）や特徵量（列）について事前には対応付けがわからない場合が多い. ユーザ（行）についてはプライバシー 保護や技術規制 [6] による利用難度の高まり, 特徴量（列）については新たな知見を得るという目的からしてそもそも二つのテーブルには共通する項目が存在しない，という理由が挙げられる ${ }^{11}$.

本論文では，二つのテーブルデータにおいてユー ザと変数のいずれもが共通して存在しない，より現実的な設定でのデータフュージョンを教師なしデー タフュージョンと呼び，これに取り組む（表 1）。

本論文では，データフュージョンの問題と教師なし対訳辞書構築 (bilingual lexicon induction) の問題が形式的に非常に近いことに着目し，その手法を応用する。対訳辞書構築は，複数言語間の単語の対応関係を推定する問題で，最近は教師なしの手法が盛んに開発されている $[10,11,12,13,14]$. 一見するとこの二つの問題は全く異なる分野の異なる問題に見えるが，表 2 に示すような対応関係が存在する. 詳細な比較は 3.1 章で行う.

本論文の貢献は (1) より現実的な設定のデータフュージョンである教師なしデータフュージョンを定式化し，はじめてこれに取り組んだ，(2) 教師なしデータフュージョンと教師なし対訳辞書構築が同じ形式をとることに着目し，Gromov-Wasserstein 距離に基づく対訳辞書構築技術を用いた手法を提案した，(3) 複数の実データを用いた実験により，ベースラインに対する優位性を示したの三つである.

## 2 問題設定

教師なしデータフュージョンは二つのテーブルデータ（ソースとターゲット）について，対応する行を教師なしで対応付けるタスクである2).

1）冒頭の例でも一方の列は商品，もう一方の列は Web サイトであり，クラスからして異なる。

2）テーブルとは例えば購買データやテレビの視聴行動データであり，各行がそれぞれのユーザの行動履歴（購買データではどの商品を購入したのか，視聴行動データでは誰がどの時間帯にテレビを視聴していたかなど）である.
表 1 ユーザ（行）および特徴量（列）が利用可能な時に採用できる手法の一覧.

 \\

ソース，ターゲットをそれぞれ $\mathbf{T}_{s} \in \mathbb{R}^{n \times m}, \mathbf{T}_{t} \in$ $\mathbb{R}^{n^{\prime} \times m^{\prime}}$ と表す. $n, n^{\prime}$ はソース，ターゲットに含まれるユーザ数であり， $m, m^{\prime}$ はソース，ターゲットの各ユーザの特徴量ベクトルの長さである.

正解の対応関係 $\mathbf{Y} \in\{0,1\}^{n \times n^{\prime}}$ は $y_{i, j}=1$ の時にはソースの $i$ 行目とターゲットの $j$ 行目が同一人物であり， $y_{i, j}=0$ の時には別人であることを意味する.教師なしデーアフュージョンの目的はソースとター ゲットの対応の推定であり，ソースの $i$ 行目とター ゲットの $j$ 行目が対応する度合い $\boldsymbol{\Pi}_{i, j}$ を要素に持つ行列 $\Pi \in \mathbb{R}^{n \times n^{\prime}}$ の推定である.

## 3 提案手法

本論文では，教師なしデータフュージョンの問題が教師なし対訳辞書構築の問題と形式的に似ていることに着目し，対訳辞書構築で用いられた Gromov-Wasserstein 距離 (GW) を活用して教師なしデータフュージョンを行う.

## 3.1 対訳辞書構築とデータフュージョン

本論文で取り組む教師なしデータフュージョンと対訳辞書構築との対応関係を表 2 に示す. まず入出力に関して，異なる空間に存在するべクトル同士を結びつける3）という同一の形式を取っている.

またいずれの問題もべクトル同士の相対的な位置

関係は空間を超えて一貫すると仮定できる. 以下これについて詳しく述べる。まず対訳辞書構築のための多くの手法が「異言語にて，各言語の埋め込み空間内での単語の相対的な位置関係は類似している」 という仮定を利用している $[10,12]^{4)}$.

3） 例えば対訳辞書構築は英語の cat ベクトルと日本語の猫べクトルとを，データフュージョンはある人の購買ベクトルと別のある人の Web サイト閲覧ベクトルを結びつけるのが目的である.

4） Mikolov らは猫，牛，犬，馬，豚という五つの動物の単語埋め込みの相対的な位置関係が，英語（ゲルマン語派）とスペイン語（ロマンス諸語）において非常に類似することを示している [15].我々は教師なしデータフュージョンにおいてもこの仮定が自然に成り立つと考える。例えば購買デー タとテレビ番組視聴データにおいては，新しいものが好きなユーザはどちらのデータでも新しいアイテム（新商品や新番組）を好むだろう．その結果， どちらのデータにおいても同じ嗜好（新しいもの好き）のユーザと類似した行動を取り，反対に保守的なユーザとは類似しなくなるだろう。このようにして，ユーザの潜在的な興味の近さが複数のテーブルでのユーザベクトル（行）の近さとして観測されると自然に考えられる。

以上の考察から，「相対的位置関係一貫」仮説に基づく教師なし対訳辞書構築技術を教師なしデータフュージョンに活用すること提案する．とくに，(1)教師なしの状況で適用可能 (2) 学習が安定するの二点を満たす唯一の手法である Gromov-Wasserstein 距離ベースの手法 [11]を利用する.

ただしここで，単語べクトルは密な埋め込みである一方，情報推薦で用いるユーザ・アイテム行列における行（ユーザベクトル）は疎であることに注意する．我々は，単語べクトルが疎な共起行列を分解した結果と解釈できることに注目し [16], 同様に疎なユーザ・アイテム行列を分解して対訳辞書構築技法を適用する5).

## 3.2 Gromov-Wasserstein 距離

本論文では Gromov-Wasserstein 距離 (GW) [17] にもとづく対訳辞書構築 [11]を応用する．GW は，二つのデータ $\mathbf{D}, \mathbf{D}^{\prime}$ に含まれる点を対応付ける技術であり，Dにおいて近い二点と $\mathbf{D}^{\prime}$ において近い二点とを強く，Dにおいて遠い二点と $\mathbf{D}^{\prime}$ において遠い二点とを弱く対応付ける．GW の計算の詳細は

Alvarez-Melis らの論文 [11]を参照されたし。

## 3.3 提案法

提案法は次のステップで構成される。

・ソース $\mathbf{T}_{s}$ およびターゲット $\mathbf{T}_{t}$ からそれぞれのユーザベクトル $\mathbf{V}_{s}, \mathbf{V}_{t}$ を求める

・ユーザベクトル $\mathbf{V}_{s}, \mathbf{V}_{t}$ からそれぞれの要素間距離行列 $\mathbf{C}_{s}, \mathbf{C}_{t}$ を得る

$\cdot \mathbf{C}_{s}$ および $\mathbf{C}_{t}$ を用いて GW を求め, 輸送計画行列 Пを得，この要素 $\Pi_{i, j}$ をソースのユーザ $i$ がター ゲットのユーザ $j$ に対応する度合いとする

$\mathbf{C}_{s}, \mathbf{C}_{t}$ はユーザベクトル $\mathbf{V}_{s}, \mathbf{V}_{t}$ それぞれの行間の距離を要素に持つ行列であり, 対訳辞書構築では行ベクトルの比較にコサイン距離を用いるのが一般的である．実際に採用した手法は 5.1 章で説明する.

## 4 関連研究

対訳辞書構築には大きく分けて真に対応関係にある単語ペアを用いる教師ありの手法と，それらを用いない教師なしの手法があるが，本論文では後者に言及する．教師なしの手法は大きく分けて敵対的生成ネットワーク (Generative Adversarial Network, GAN) [18] を用いる手法 $[10,19,12,20]$ と GANを用いない手法 $[11,21,22,23]$ がある.

GAN の学習がハイパーパラメタに非常に敏感で不安定である [24]一方，行列積の繰り返しによって収束が保証されている [17] ことから, 本論文では GWによる手法 [11]を採用した。

## 5 実験

提案法が実データでうまく働くかを確認するために，(1) 単一のデータを擬似的に分割したデータ対および (2) 異なる種類のデータ対それぞれに対する教師なしデータフュージョンを行う.

## 5.1 実験設定

データ実験には以下のデータを用いた. Movie はユーザが映画を 5 段階で評価したデータであり，各行がユーザ，各列が映画のテーブルデータである.これは情報推薦タスクの検証において最も用いられている MovieLens 1M [25] から作成した. POS はユーザごとの商品購入情報であり, 各行がユー ザ，各列が JANコード単位で区別された商品からなるテーブルデータである6) . TV はユーザごとのテ

6） POS には主要な商品の JAN コードのみが含まれている.
レビ視聴情報であり，各行がユーザ，各列が「月，曜日，時間帯，放送局」7)における視聴状況からなるテーブルデータである.

POS と TV は同一のユーザが両データに存在するシングルソースデータである8).

本実験では章冒頭で述べた通り (1) 単一のデータを擬似的に分割したデータ対と (2) 異なる種類のデータ対との二種類を準備した. 以下，前者の分割について説明する9).

■分割による擬似的なデータ対の作成：もともとひとつだったテーブルを分割して擬似的に教師なしの問題を作成する．具体的には，各テーブルの列（特徵量）をランダムで 2クラスにわけ，このクラスに応じて元のテーブルをソースとターゲットに分割する．以上の処理を Movie，POS，TV に実施した上で，二つのテーブルの間の行（ユーザ）の対応関係を忘れて教師なしのアラインメントに取り組む。

開発データとテストデータの作成：また，ハイパーパラメタ（次元数，距離関数，前処理など）決定のために，テーブルデータを行を基準にランダムに二分割し，一方は開発データ $(\mathrm{dev})$ として最も良いハイパーパラメタを探索するために用い，もう一方はテストデータ (test) として本論文で精度を報告する。データの詳細を表 3 に記す10．

評価指標教師なしデータフュージョンは $\{0,1\}$ のラベルを実数値で予測する二値分類問題であるので，二値分類問題の標準的な評価尺度である ROCAUC (Area Under the Receiver Operating Characteristic Curve) [26] を採用する.ソース側の各行に対する予測に対して ROC-AUC を計算し, その平均 (macro ROC-AUC) を報告する ${ }^{11)}$ ，ROC-AUC は $[0,1]$ の間の値をとり，P(正例のスコア>負例のスコア) と解釈できる.

ハイパーパラメタ調整開発データを用いて決定した主なハイパーパラメタは以下である12).

ユーザベクトルの構築は，Randomized SVD [27] (SVD) と Alternating Least Squares による Matrix Factorization [28] (ALS) とによって 10 次元に削減したベクトルの二種類をユーザベクトルとた. 要素内距
\lrcorner$ など

8） 株式会社インテージのインテージ i-SSP のうち，2019年 1 月 1 日から 2019 年 12 月 31 日までのデータ.

9）後者は POS とTVである.

10）開発データの件数も含めた詳細は Appendix に記載した。

11）異なる五種の乱数で初期化したユーザベクトルによる macro ROC-AUC の平均值と標準偏差を報告する。

12）その他は Appendix を参考されたし.
}
表 3 実験に用いたデータの統計情報. 1 行目は(ソース ーターゲット）の組み合わせを，2行目と 3 行目はテー ブルサイズ（ユーザ数×特徴数）を表す。

表 4 擬似的なデータ対における macro ROC-AUC とその標準偏差. 値は大きいほど予測精度が高い.太字は各データの最大値.

} & 埋込 & Movie & POS & TV \\

表 5 異なるデータ対における macro ROC-AUC とその標準偏差. 值は大きいほど予測精度が高い。太字は各デー タの最大値.

離行列の構築ではユーザベクトル $\mathbf{v}_{i}, \mathbf{v}_{j}$ に対するコサイン距離 $1-\frac{\mathbf{v}_{i} \cdot \mathbf{v}_{j}}{\left.\|\mathbf{v}_{i}\right.\|_{2}\left.\|\mathbf{v}_{j}\right.\|_{2}}$ を用いた。

ベースライン教師なしデータフュージョンには既存研究や簡単に比較できる手法が存在しないため，いくつかの簡単なべースラインを用意した.

random : ソースに対してランダムにターゲットを対応付けたものを予測結果とする.

cos : 「特徵量空間の違いを無視し，ユーザベクトルのコサイン類似度が近いほど類似したユーザである」という仮定から，ユーザ $i, j$ の特徴量ベクトル $\mathbf{v}_{i}, \mathbf{v}_{j}$ のコサイン類似度 $\frac{\mathbf{v}_{i} \cdot \mathbf{v}_{j}}{\left.\|\mathbf{v}_{i}\right.\|_{2} \mid \mathbf{v}_{j} \|_{2}}$ を対応度合いとする. 特徵量空間の違いが無視するため，精度良く対応付けられないと考えられる。

## 5.2 実験結果

## 擬似的なデータ対に対するデータフュージョン単一データを分割した擬似データでの結果は表 4 の 通り。一切教師情報を与えない難しい問題にも関 わらず，提案法（GW）はチャンスレベル（random） を大きく凌駕した. これらの実験で用いたのは疑似
テーブル対であり，「行の類似性は空間を超えて一貫」仮説をおおよそ満たす状態であったため，同じ仮説に基づく対訳辞書構築手法の適用というアプローチがうまく動いたと考えらえれる。また，疎な行情報（raw）を使うよりも特にSVDを介した密べクトルを用いた方が性能が高い傾向が見られた. 単語ベクトルの学習は共起行列の SVD と等価であること [16] から，ここでも対訳辞書構築との共通点が分かる. ふたつのタスクの共通点や相違点のより厳密な分析は今後の課題である.

TVでは， $\cos / \mathrm{SVD}$ という一見弱いベースラインが ROC-AUC で 1.0 を示している（全問正解）。この原因は，TV 行列をランダムで擬似分割したとしてもソースとターゲットのテーブルにほとんど「共通」の列（特徴量）が多数残ってたためと考えられ $る^{13)}$. 今後教師なしデータフュージョンのベンチマークを作成する際は，特徴量間の依存性を減らす工夫が必要だと考えられる。

異なるデータ対に対するデータフュージョン異なるデータに対するデータフュージョンの結果は表 5 の通り。一部チャンスレベルを超える結果は観測できるが，まだとても「解けた」とは言い難い状況である。今後の展望として，まず仮説「行の類似性は空間を超えて一貫」が現実の異種データでどの程度満たされているかについて，データ自体を定性的・定量的に観察したい。また，異種データの場合は対応付かない行 ${ }^{14)}$ の存在が想定される. 現状の最適輸送に基づく提案法も，ROC-AUC の平均という評価尺度も，すべての行に対応先があることを仮定しており，手法や評価尺度の改定も今後の重要な仕事であろう。

## 6 結論

本論文では，共通する行および列を持たない二つのテーブルデータを対応付けるタスクである教師なしデータフュージョンを定式化した。そして教師なしデータフュージョンが教師なし対訳辞書構築が同じ形式をとることに着目し，Gromov-Wasserstein 距離にもとづく対訳辞書構築技術を用いた手法を提案した．複数の実データを用いた検証実験の結果，提案法がベースラインに対して優位性を持つことと， その課題を報告した. 今後はより多くの種類のテー ブルデータに対する検証を進めたい.
$ を視聴」と「10:00 にテレビ局 $\mathrm{A}$ を視聴」のような列対など.

14）ターゲット側に似たユーザが存在しないようなユーザ
}

## 参考文献

[1] Wagner A. Kamakura and Michel Wedel. Statistical data fusion for cross-tabulation. Journal of Marketing Research, Vol. 34, No. 4, pp. 485-498, 1997.

[2] Elizabeth A. Stuart. Matching methods for causal inference: A review and a look forward, 2010.

[3] Zvi Gilula, Robert E. Mcculloch, and Peter E. Rossi. A direct approach to data fusion. Journal of Marketing Research, Vol. 43, No. 1, pp. 73-83, oct 2006.

[4] Paul R. Rosenbaum and Donald B. Rubin. Constructing a control group using multivariate matched sampling methods that incorporate the propensity score. American Statistician, Vol. 39, No. 1, pp. 33-38, 1985.

[5] Noa Dagan, Noam Barda, Eldad Kepten, Oren Miron, Shay Perchik, Mark A. Katz, Miguel A. Hernán, Marc Lipsitch, Ben Reis, and Ran D. Balicer. BNT162b2 mRNA Covid-19 Vaccine in a Nationwide Mass Vaccination Setting. New England Journal of Medicine, Vol. 384, No. 15, pp. 1412-1423, 2021.

[6] Webkit Org. Intelligent Tracking Prevention 2.3, 2021.

[7] Samuel L. Smith, David H.P. Turban, Steven Hamblin, and Nils Y. Hammerla. Offline bilingual word vectors, orthogonal transformations and the inverted softmax, 2017.

[8] Hidetoshi Shimodaira. Cross-validation of matching correlation analysis by resampling matching weights. Neural Networks, Vol. 75, pp. 126-140, 2016.

[9] Marcello. D' Orazio, Marco. Di Zio, and Mauro. Scanu. Statistical Matching: Theory and Practice. Wiley, 2006.

[10] Guillaume Lample, Alexis Conneau, Marc'Aurelio Ranzato, Ludovic Denoyer, and Hervé Jégou. Word translation without parallel data. In 6th International Conference on Learning Representations, ICLR 2018 - Conference Track Proceedings, feb 2018.

[11] David Alvarez-Melis and Tommi S. Jaakkola. Gromov-wasserstein alignment of word embedding spaces. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, EMNLP 2018, pp. 1881-1890, 2020.

[12] Meng Zhang, Yang Liu, Huanbo Luan, and Maosong Sun. Earth mover's distance minimization for unsupervised bilingual lexicon induction. In EMNLP 2017 - Conference on Empirical Methods in Natural Language Processing, Proceedings, pp. 1934-1945, 2017.

[13] Mikel Artetxe, Gorka Labaka, and Eneko Agirre. A robust selflearning method for fully unsupervised cross-lingual mappings of word embeddings. In ACL 2018 - 56th Annual Meeting of the Association for Computational Linguistics, Proceedings of the Conference (Long Papers), Vol. 1, pp. 789-798, 2018.

[14] Yedid Hoshen and Lior Wolf. Non-adversarial unsupervised word translation. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, EMNLP 2018, pp. 469-478, 2020.

[15] Tomas Mikolov, Quoc V. Le, and Ilya Sutskever. Exploiting Similarities among Languages for Machine Translation. sep 2013.

[16] Omer Levy and Yoav Goldberg. Neural word embedding as implicit matrix factorization. In Advances in Neural Information Processing Systems, Vol. 3, pp. 2177-2185, 2014.

[17] Gabriel Peyre, Marco Cuturi, and Justin Solomon. Gromovwasserstein averaging of kernel and distance matrices. In 33rd International Conference on Machine Learning, ICML 2016, Vol. 6, pp. 3927-3935, 2016.

[18] Ian J. Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville, and Yoshua Bengio. Generative adversarial nets. In Advances in Neural Information Processing Systems, Vol. 3, pp. 2672-2680, 2014.

[19] Xilun Chen and Claire Cardie. Unsupervised multilingual word embeddings. In Proceedings of the 2018 Conference on Em- pirical Methods in Natural Language Processing, EMNLP 2018, pp. 261-270, 2020.

[20] Zi Yi Dou, Zhi Hao Zhou, and Shujian Huang. Unsupervised bilingual lexicon induction via latent variable models. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, EMNLP 2018, pp. 621-626, 2020.

[21] Edouard Grave, Armand Joulin, and Quentin Berthet. Unsupervised alignment of embeddings with Wasserstein Procrustes. In AISTATS 2019 - 22nd International Conference on Artificial Intelligence and Statistics, 2020.

[22] Ruochen Xu, Yiming Yang, Naoki Otani, and Yuexin Wu. Unsupervised cross-lingual transfer of word embedding spaces. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, EMNLP 2018, pp. 2465-2474, 2020.

[23] Tanmoy Mukherjee, Makoto Yamada, and Timothy Hospedales. Learning unsupervised word translations without adversaries. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, EMNLP 2018, pp. 627-632, 2020.

[24] Tim Salimans, Ian Goodfellow, Wojciech Zaremba, Vicki Cheung, Alec Radford, and Xi Chen. Improved techniques for training GANs. In Advances in Neural Information Processing Systems, pp. 2234-2242, 2016.

[25] F. Maxwell Harper and Joseph A. Konstan. The movielens datasets: History and context. ACM Transactions on Interactive Intelligent Systems, Vol. 5, No. 4, dec 2015.

[26] Andrew P. Bradley. The use of the area under the ROC curve in the evaluation of machine learning algorithms. Pattern Recognition, Vol. 30, No. 7, pp. 1145-1159, 1997.

[27] N. Halko, P. G. Martinsson, and J. A. Tropp. Finding structure with randomness: Probabilistic algorithms for constructing approximate matrix decompositions. SIAM Review, Vol. 53, No. 2, pp. 217-288, 2011.

[28] Gábor Takács, István Pilászy, and Domonkos Tikk. Applications of the conjugate gradient method for implicit feedback collaborative filtering. In RecSys'11 - Proceedings of the 5th ACM Conference on Recommender Systems, pp. 297-300, 2011.
表 6 実験に用いたデータの統計情報. 1 行目は（ソース

ブルサイズ（ユーザ数×特徴数）を表す.

## A 実験

## ハイパーパラメタ調整

開発データを用いて以下のハイパーパラメタを決定した。

データの表現データは値が含まれる部分を 1 ，値が含まれない部分を 0 として二値化した.

ユーザベクトルの構築 Randomized SVD [27] ${ }^{15)}$

(SVD) と Alternating Least Squares による Matrix

Factorization [28] ${ }^{16)}(\mathrm{ALS})$ とによって 10 次元に

削減したベクトルの二種類をユーザベクトルとして用意した. ALS の正則化項は 0.01 を用いた.

ユーザベクトルの後処理ユーザベクトルは $\mu_{s, j}$ を $\mathbf{V}_{s}[:, j]$ の平均, $\sigma_{s, j}$ を $\mathbf{V}_{s}[:, j]$ の標準偏差として標準化 $\mathbf{V}_{s}^{\prime}[:, j]=\frac{\mathbf{V}_{s}[:, j]-\mu_{s, j}}{\sigma_{s, j}}$ を行った $\left(\mathbf{V}_{t}\right.$ も同様に実施した).

要素内距離要素内距離行列の構築ではユーザベクトル間の距離に二人のユーザ $(i, j)$ のユーザベクトル $\mathbf{v}_{i}, \mathbf{v}_{j}$ に対するコサイン距離 $1-\frac{\mathbf{v}_{i} \cdot \mathbf{v}_{j}}{\left.\|\mathbf{v}_{i}\right.\|_{2}\left.\|\mathbf{v}_{j}\right.\|_{2}}$ を用いた。

GW の正則化項 Gromov-Wasserstein 距離の計算における正則化項 $\lambda$ は 0.001 を用いた.

## サンプルサイズ

開発データも含めたサンプルサイズの図を表 6 に記す。

15) https://scikit-learn.org/stable/modules/generated/ sklearn.decomposition.TruncatedSVD.html を用いた

16）https://github.com/benfred/implicitを用いた


# 材料の記述が不完全な料理レシピの分析

河野大悟土屋雅稔
豊橋技術科学大学大学院情報. 知能工学専攻
\{kohno, tsuchiya\}@is.cs.tut.ac.jp

## 概要

料理レシピは，料理に必要な材料リストと調理手順からなる手順文書であり，その文書が理解できているか否かを検討することが比較的容易であるため，文書理解のモデルドメインとして注目されている。本稿では，料理レシピを理解する前提として，対象となる料理レシピの記述が完全であるか否かを，材料リストと調理手順の対応関係に基づいて分析する方法について述べる。

## 1 はじめに

料理レシピ（以下，レシピと言う）は，材料リス卜に記載された材料から料理を作成する調理手順を記述した典型的な手順文書であり，文書理解のモデルドメインとして注目されている $[1,2,3,4]$. しかし, 先行研究では，対象となるレシピが人間にとっても理解困難（かつ，計算機にとっても理解困難） である可能性については検討せず，全てのレシピを文書理解が可能である対象として一律に扱っている. 本稿では，レシピの文書理解を検討する前段階として，理解困難なレシピの識別方法を検討する。

レシピの基本的な要素は, 材料, 分量および手順の 3 点である. したがって，レシピの理解を困難にする要因も，この 3 点が主要な要因として考えられる. 第 1 の要因は，材料の不完全な記述である. 材料の不完全な記述とは，材料リストに含まれている材料が調理手順では言及されていなかったり，逆に調理手順で言及されている材料が材料リストに含まれていない，という状況である。例えば，図 1 では，材料リストに含まれている「めんつゆ」が調理手順では言及されていないため，「めんつゆ」をどのように利用すれば良いのか不明である。また，図 1 の調理手順の第 4 手順は「パスタ」に言及しているが，材料リストには「パスタ」が含まれていない.このような材料の不完全な記述が存在すると， レシピの理解が困難になる。

作り方

図 1 理解困難なレシピの例

第 2 の要因は，分量の不完全な記述である. 分量の不完全な記述とは，材料リストや調理手順において，具体的な分量が記述されていない状況である.例えば，図 1 では，ほとんどの材料の分量が「適量」 となっている。そのため，調理者（少なくとも，このレシピに習熟していない調理者）にとっては，具体的な量を想像することが困難である.

第 3 の要因は，動作の不完全な記述である. 動作の不完全な記述とは，必要な動作が記述されていなかったり，動作の様相についての説明が不足している状況である．例えば，図 1 の調理手順の第 2 手順は，「炒める」という動作の終了条件として「いい感じのところ」という曖昧な表現を用いており，どの程度まで炒めたら良いか理解困難である。

これら 3 つの要因の内，分量および動作の不完全な記述については，調理者の知識や熟練度によって，必要な記述が大きく異なる．先に指摘した「適
量」「いい感じのところ」という表現も, 図 1 のレシピに習熟している調理者にとっては，容易に理解できる表現と予想される. そのため本研究では，材料の記述が不完全なレシピに限定して検討する. ただし，材料の記述が完全なレシピが満たすべき条件もまた自明ではないため，専門家によって監修されたレシピを参照して, 材料の記述が完全なレシピが満たすべき基準について最初に検討する。次に，ユー ザ投稿型レシピ共有サイトのデータセットを用いて，材料の記述が不完全なレシピの存在割合について予備分析した結果を報告する。

## 2 材料の分類

この節では，専門家や第 3 者によって監修されていないユーザ投稿型レシピの材料リストに基づいて，材料の記述完全性基準が，どのような材料をカバーする必要があるかを検討する．クックパッドデータセット $[5,6]$ は, ユーザ投稿型レシピ共有サイト ${ }^{1)}$ に投稿された大量のレシピからなるデータセットである．このサイトは，レシピ作成者が投稿したレシピがそのまま共有されるサイトであり，専門家や第 3 者による監修は行われていない。また, レシピの書き方についてのガイドライン（図2）が提供されているものの，材料リストに記載するべき材料としては「食材や調味料」と簡単に指定されているのみである.

そのため，本研究ではまず，クックパッドデータセットに含まれるレシピの材料リストを観察して，材料を分類することを試みた．分類結果を図 3 に示す.この分類は，材料リストに記載するべきか否かの判断がレシピ作成者によって異なるかどうかを重視している。まず，調理手順で利用する器具については, 繰り返し利用できるフライパンやボウルなどの器具と, 1 回しか利用できない竹串やクッキングシートなどの器具について，大きな差が観察されたため, 「備品」という分類と「消耗品」という分類を設ける. 消耗品を材料リストに含めているレシピ

4. 材料 $\cdot$ 分量レシピの味が再現できるよう、材料 （食材や調味料）とその分量を書いてください。 ※分量を記載しにくい材料は「少々」や「適量」などで問題はありません。

5. 作り方お料理初心者の方でもわかるよう、下ごしらえの方法や調理手順を書いてください。

図 2 ユーザ投稿型レシピの書き方のガイドライン

は多いが，それに対して，備品を含めているレシピは少ない，次に，食材については，実際に摂取する食材と，実際には摄取しない食材について，大きな差が観察された。例えば，生地として使う小麦粉については，ほとんどのレシピで材料リストに含まれているのに対して，打粉として使う場合は，材料リストに含まれていないレシピも多い．そのため，実際に摂取する食材という定義の「具材」という分類と，調理手順において器具的に利用するが，実際には摂取しない食品という定義の「副材料」という分類を設ける．最後に，「水分」は，後述する分析において必要となった特殊な分類である。

## 3 材料の記載状況

この節では，専門家によって監修されたレシピを用いて, 図 3 の分類別に記載状況を調査し，材料の記述完全性基準について検討する。

本研究では，専門家によって監修されたレシピとして，日本放送協会によって制作された「料理レシピ」ウェブサイト2)から収集したレシピ（以下， NHKレシピと言う）を参照する。 NHKレシピは， テレビ番組として料理と調理手順を紹介するために用意されたレシピである. NHKレシピの作成者は,料理の専門家であり，かつ，NHKレシピの記述内容は，番組制作関係者による監修を受けている。したがって, NHKレシピは, ユーザ投稿型レシピとは異なり，極めて高度に品質が統制されたレシピであると考えられる. そこで本研究では，NHKレシピに対する監修基準を，材料の記述が完全なレシピが満たすべき基準であると仮定する。

2021 年 1 月 30 日に収集した NHK レシピデータセットの諸元を，表 1 に示す. 収集時点の NHK レシピデータセットは，「きょうの料理」「ごごナマ」 などの 11 種類のテレビ番組で紹介された 2320 件のレシピからなる.

最初に, NHKレシピデータセットからランダム

表 1 NHKレシピデータセットの諸元

図 3 クックパッドレシピデータに含まれるレシピの材料リストに出現する材料の分類

図 4 材料リストと調理手順の対応付与作業

サンプリングした 500 件のレシピを対象として，人手で，調理手順と材料リストの対応関係を付与する作業を行った (図 4). 作業結果から，3つのことが分かる。第 1 に，材料リストに含まれる材料は，必ず調理手順で言及されている。したがって，材料リストに含まれる材料が調理手順では言及されていないというような不完全な記述（図1の「めんつゆ」） は，NHK レシピにおいては許容されていない. 第 2 に，調理手順において材料リストに含まれていない材料に言及する場合は，以下の例のように「分量外」「お好みで」などの明示的な指示が存在する.

①.5 2 倍ほどに膨らんだらふたをあけて打ち

粉（強力粉/分量外）をふるう3)。

第 3 に，図 4 のレシピでは，材料リストには「豚こま」と記載されている材料が，調理手順では「肉」 として参照されていたり，材料リストには「ブロッコリー」「たまねぎ」「にんじん」「ほうれんそう」と記載されている材料が，調理手順では「野菜」として参照されており，単純な文字列一致では，調理手順と材料リストの対応関係を解決できない.

図 3 の各分類に属する典型的な材料を対象として，NHK レシピデータセットにおける記載状況を調査した結果を，表 2 に示す.「フライパン」は備

3) https://www.nhk.or.jp/lifestyle/recipe/detail/500360. html から引用品に属する材料であるが，NHKレシピデータセットの調理手順では 930 件のレシピに出現する. しかし，その 930 件のレシピの材料リストには，「フライパン」は 1 回も出現しない. 備品に属する「鍋」,消耗品に属する「ラップ」「竹串」についても同様に，調理手順中に出現するレシピであっても，材料リストには 1 回も出現しない。したがって，NHKレシピにおいては，備品であるか消耗品であるかに関わらず，器具は材料リストに常に記載しないという基準が採用されていると考えられる。

具材に属する「トマト」「豚肉」については，表 2 の記載状況から明らかに，必ず材料リストに記載されている。副材料である可能性がある材料については，個別に検討を要する。「昆布」は，そのものを具材として摂取する料理と，出汁を取るために利用して，その後は捨ててしまう副材料として利用する料理が存在する．そのため，単純に「昆布」が文字列として出現している頻度を数えると，表 2 に示す通り，その小分類は不明である。「昆布」が調理手順に出現しているレシピを人手チェックしたところ，具材として利用しているレシピは 25 件，副材料として利用しているレシピは 22 件あり，どちらの小分類に属する場合も全て材料リストにも記載されていた.「片栗粉」「小麦粉」についても同様に，副材料として利用しているレシピが存在しており，かつ，調理手順中で言及されている場合は材料リストにも記載されていること（ただし，「分量外」と明記されている場合を除く）が確認された．以上の議論から，NHKレシピにおいては，具材であるか副材料であるかに関わらず，食材は材料リストに常に記載するという基準が採用されていると考えられる。

水分に属する材料の記載状況は, 器具または食材に属する材料の記載状況と大きく異なる. 調理手順中で「水」に言及している場合であっても，材料リストに「水」が記載されている場合と，記載されていない場合がある。調理手順で「水」に言及しており，かつ，材料リストには「水」が含まれてい

 &  &  \\

表 2 NHKレシピにおける材料の記載状況

ないレシピを 100 件ランダムサンプリングして人手チェックしたところ，具材として利用している 「水」は 42 件，副材料として利用している「水」は 62 件あった. したがって，NHKレシピにおいては，水分に属する材料の記載基準がないと考えられる。

以上の考察と調査から，図 3 の分類に基づいて，材料の記述完全性の基準を以下のように定義する。

1. 調理手順では，材料リストに含まれている全ての材料に言及する。

2. 材料リストには，調理手順中で使用する全ての食材を記載する．ただし，「分量外」と明記されている場合を除く。

3. 器具は，材料リストに記載しない.

4. 水分は，材料リストに記載しても，記載しなくても良い。

## 4 予備分析

クックパッドデータセットからランダムサンプリングした 500 件のレシピを対象として，人手で，調理手順と材料リストの対応関係を付与する作業を行った結果を, 表 3 に示す. 調理手順で言及されている食材が材料リストに含まれていない記述不完全は，82 件 $(16 \%)$ のレシピにおいて，103 回発生していた，具材に属する「塩」「砂糖」「バター」，副材料に属する「油」「サラダ油」などの記述が不完全である例が多かった. 材料リストに含まれている食材が調理手順で言及されていない記述不完全は，44 件 （9\%）のレシピにおいて，57 回発生していた. 具材に属する「塩」「酒」「砂糖」，副材料に属する「サラ油」，水分に属する「水」などの記述が不完全である例が多かった。

表 3 食材の記述不完全の発生頻度

## 5 結論

本研究では，材料の不完全な記述により，理解が困難となっているレシピについて分析した．専門家や第 3 者によって監修されていないユーザ投稿型レシピの材料リストに基づいて，材料の記述完全性基準が考慮する必要がある材料の分類を検討した上で，専門家によって監修されたレシピにおける記載状況に基づいて，材料の記述完全性基準を定義した.この基準を用いて，ユーザ投稿型レシピの記載状況を検討し，16\%のレシピでは材料リストにおける食材の記述不完全が，9\%のレシピでは調理手順における食材の記述不完全が，それぞれ発生していることを明らかにした。

今後の課題としては，以下の 2 つを検討している. 第 1 に，本研究における材料の記述完全性基準は，材料に対する言及の有無を単純に基準としており，材料（特に副材料）について，記述が不完全であっても調理手順が推定できる場合を考慮していない. そのため，本研究の材料の記述完全性基準と，調理者の理解度の関係を明らかにする必要がある。第 2 に，材料の記述完全性基準の不備を自動的にチェックする手法を開発し，ユーザ投稿型レシピ全体における材料の記述不完全の発生率を明らかにすることを計画している。

## 謝辞

本研究では, 国立情報学研究所の IDR データセッ

ト提供サービスによりクックパッド株式会社から提供を受けたクックパッドデータセットを利用した.

## 参考文献

[1] Yoshio Momouchi. Control structures for actions in procedural texts and PT-chart. In COLING 1980 Volume 1: The 8th International Conference on Computational Linguistics, 1980.

[2] Reiko Hamada, Ichiro Ide, Shuichi Sakai, and Hidehiko Tanaka. Structural analysis of cooking preparation steps in japanese. In Proceedings of the Fifth International Workshop on on Information Retrieval with Asian Languages (IRAL), pp. 157-164, 2000.

[3] Shinsuke Mori, Hirokuni Maeta, Yoko Yamakata, and Tetsuro Sasada. Flow graph corpus from recipe texts. In Proceedings of the Ninth International Conference on Language Resources and Evaluation (LREC'14), pp. 23702377. European Language Resources Association (ELRA), 2014.

[4] 前田浩邦, 山肩洋子, 森信介. 手順文書からの意味構造抽出. 人工知能学会論文誌, Vol. 32, No. 1, pp. 1-8, 2017.

[5] クックパッド株式会社. クックパッドデータ. 国立情報学研究所情報学研究データリポジトリ http://doi.org/10.32130/idr.5.1, 2015.

[6] Jun Harashima, Michiaki Ariga, Kenta Murata, and Masayuki Ioki. A large-scale recipe and meal data collection as infrastructure for food research. In Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC 2016), pp. 2455-2459. European Language Resources Association (ELRA), 2016.


# SNS の投稿内容に基づく生活習慣病発症リスクの分析

田㴊 尚道 松本和幸吉田稔 西村良太 北研二
徳島大学大学院創成科学研究科
c612135001@tokushima-u.ac.jp, \{matumoto, mino, kita, nishimura\}@is.tokushima-u.ac.jp

## 概要

国内における死亡原因は，がん・循環器疾患・糖尿病などで全体の約 6 割を占めている.これらの病気はいずれも食事・運動・睡眠などの生活習慣と深い関りがあり, 生活習慣病と呼ばれている. 生活習慣病には自覚症状がほとんどないため, 病気の悪化に気づきにくいという特徴がある。本研究では，より簡易的に生活習慣病を予防するシステムの構築を目指し，ソーシャル・ネットワーキング・サービス (SNS)を用いて, ユーザの投稿内容から食事・運動・体調・精神状態に関するツイートの分析を行った.調查の結果, 本研究の成果がユーザの投稿内容から生活習慣病発症の危険因子を検出するシステムの構築につながることが分かった。

## 1 はじめに

生活習慣病は国内における，死亡者数の約 6 割を占めている[1]. 生活習慣病の予防は私たちの健康を守るために非常に重要であるが，生活習慣病の早期発見は難しい。生活習慣病にはほとんど自覚症状がなく, 気づいた時には病気が悪化しているケースが少なくない。本研究では, 定期的に生活習慣を見直すきっかけを与えるシステムが必要であると考え，多くの人が自身の日常生活について投稿している SNS に注目する。本論文では, 年々ユーザが増加傾向にある Twitter[2]を対象とし，ユーザの投稿内容から食事，運動，体調，精神状態に関するツイートの分析を行い, ユーザの特徴, ユーザ間の共通点の分析手法について述べる. これらの分析結果から, ユ一ザの投稿内容から生活習慣病発症の危険因子を検出するシステムの構築について考察する.

## 2 関連研究

高橋ら[3]は，ユーザの生活パターンと介入が受け入れられる可能性を考慮して環境のモデルを推定し，後ろ向き帰納法アルゴリズムで目標から逆算して最適な方策を得る方法を構築している. 彼らの研究では，ユーザの生活パターンへの介入をユーザ自身が記録したカレンダーアプリの生活記録データを分析することで行う.そのため, 介入を受けるためには， ユーザが毎日の生活を記録する必要がある。また，彼らのシステムは，ある程度生活習慣の改善が必要であることを自覚しているユーザには有効であるが, ユーザへの負担が大きいため, ユーザ数は限られる.本研究では，生活習慣を改善する必要性に気づいていないユーザを対象として生活習慣改善のきっかけを与えるシステムを目指している点で異なる。

Gael Pérez Rodríguezt ら[4]は, Twitterの糖尿病コミュニティの患者や近親者の健康状態を理解するために，糖尿病患者の投稿内容に焦点を当てた分析を行っている. Twitter の投稿内容からユーザの健康状態の分析を行う点では, 本研究は彼らの研究と類似している。彼らは糖尿病に罹っているユーザのみを分析対象としているが，本研究は分析対象とするユ ーザを限定しない点で異なる。

## 3 提案手法

提案手法は, まず，半年間で健康状態（体調・精神状態）と生活習慣（食事・運動）のそれぞれ 1 項目以上を含むツイートを定期的に行っているユーザを選定し，半年分のツイートを収集する。これらの情報の収集には Twitter API [5]を使用する。

収集したツイートに対して，自動および手動でラベル付けを行う．自動ラベル付けではラベル別にキ ーワードを設定し，キーワードが含まれるツイートに対してラベルを自動付与する。手動ラベル付けでは，自動ラベル付けでラベルが付与されなかったツイートを対象に，各ユーザからランダムでツイートを抽出し，手動ラベル付け用のデータを作成し，手作業によるラベル付けを行う．モデル作成のためにラベル付けしたデータのテキストに対して, BERT (Bidirectional Encoder Representations from Transformers)[6]を用いてツイート単位でテキストをベクトル化した。これを用いてマルチラベル分類モデルの作成と評価を行った。最後に，作成したモデルを用いて，収集した全データにラベルを付与し， データ分析を行う。

## 3. 1 Twitter API

Twitter API を利用することで，公式サイトを介さずに, ツイートやタイムラインなどのデータを取得することができる. キーワードや期間を指定してツイートを収集することが可能であり，分析に必要なツイートを効率的に収集することができるため, 本研究では Twitter APIを用いてデータ収集を行う.

## 3.2 ラベル付きデータ作成

ラベルの種類はその他(0), 運動(1), 食事(2),体調(3), 精神状態(4)の 5 種類とした. 自動ラベル付けでは, 表 1 に示すように各ラベルのキーワードを設定する. キーワードが含まれたツイートには各キーワードに対応するラベルを付与した。その他 $(0)$ と精神状態(4)のツイートはキーワードの設定が困難であるため, 自動ラベル付けは行わない.

手作業によるラベル付けでは自動ラベル付けでラベルが付与されなかったツイートを対象に, 各ユー ザからランダムで一定数のツイートを抽出し, 得られたデータを手作業ラベル付け用のデータとする. ラベル付与の偏りを抑えるために, 同じデー夕に対して 4 人の作業者が付与を行い, 最終的なラベルは多数決で決定する. 多数決で決定できない場合は,複数のクラスに属するツイートとして扱う。

表 1 ラベルの種類とキーワード

 \\

## 3.3 テキストのベクトル化

東北大学乾研究室が公開している BERTの事前学習済みのモデル[7]を用いて, ツイートの分散表現ベクトルを取得する.このモデルは日本語の Wikipedia 記事を対象に事前学習したものであり, 得られる分散表現ベクトルの次元数は 768 次元である.

## 3.4 モデル作成と評価

モデルの作成は BERT モデルをサポートしている
Simple Transformers[8]用いた. Simple Transformers は Transformer モデルが,シンプルな実装で使えるライブラリである. 今回のモデルの構造は BERT の出力次元がラベルの種類数である 5 になるように最終層だけ全結合層に取り換えたものである。また，モデルの評価には 5 分割交差検証法を用いる.

## 3.5 データ分析

データ分析では，まずデータ分析の対象ユーザを抽出した. ラベル $(0)$ のツイートは特徴を把握することが難しいため分析対象外とする。データ分析の対象ユーザを 1 日当たり 10 件以上のツイート, 且つ, その 10 件以上のツイート内に複数のラベルがあるユーザとした.これは 1 日当たりのラベル出現割合のパターンでユーザを比較するためである.

分析対象のユーザを抽出後, ユーザごとに 1 日当たりのラベルの出現割合を出し, K-Means 法[9]により出現割合のパターンで適当なクラス数にユーザを分類し, 各クラス内の単語の出現傾向を調べる. 分類したクラス内の単語傾向を調べる手法はトピックモデルを用いる. トピックモデルの学習は LDA(Latent Dirichlet Allocation)[10]により行う.

## 4 結果と考察

## 4. 1 データ収集

Twitter API を用いて 3節で述べた条件に当てはまるユーザの選定を行う。まず，食事・運動のキーワ ードを設定し, 食事・運動関連のツイートをしているユーザを特定し，過去に体調・精神状態に関するツイートを投稿したユーザの特定を行う．表 2 が収集時のキーワードの例である. 最後に，特定したユ一ザの中で bot の可能性があるユーザ，鍵付きアカウントのユーザ，半年以内に作られたユーザを除外することで，収集対象のユーザを決定する。 ユーザを選定した後，各ユーザの半年間分のツイートを収集したところ, ユーザ数は 5297 名となり, 収集できたツイート数は約 276 万件となった。

表 2 ツイート収集時のキーワード

 \\

## 4. 2 ラベル付きデータ

ラベル付きデータの作成は，自動ラベル付けと手動ラベル付けで行った. 自動ラベル付けでは運動,食事，体調の 3 つの項目に対してキーワードを設定し，キーワードを含むツイートには自動でラベル付けを行った。手動ラベル付けでは自動ラベル付けでラベルが付与されなかったツイートを対象に，各ユ一ザから 2 件のツイートを抽出し，得られた 10,594 件のツイートを手作業ラベル付け用のデータとした。 ラベル付与の偏りを抑えるために，同じデータに対して 4 人でラベル付けを行い，最終的なラベルは多数決で決めた。ラベル割合が 1:1 に分かれる場合は重複して学習させ，1:1:1:1に分かれる場合は除外した. ラベル付けの結果は表 3 のようになった.

表 3 ラベル付け結果

## 4. 3 モデル作成と評価

モデルに学習させるラベル付きデータは自動ラベル付けデータを各項目ランダムに 700 件抽出したデ ータと手動ラベルデータで構成されている(表 4).

モデルの作成では Simple Transformers を用いてマルチクラス分類モデルの作成をした. モデルの評価は Python の機械学習用ライブラリである scikit-learn [11]を用いた交差検証法で行った.今回は 5 分割の交差検証を行った。また, 学習データのクラスに偏りがあるため，学習の際にアンダーサンプリング，オーバーサンプリングの処理を加えた。アンダーサンプリング処理を加えたモデルの分類精度は $77 \%$ ，オーバーサンプリング処理を加えたモデルは分類精度が $87 \%$ となった。今回，分類精度が高かったオーバーサンプリング処理を加えたモデルを分析に用いることにした。

表 4 学習データの内訳

## 4. 4 分析結果

データ分析の対象ユーザを 1 日当たり 10 件以上の

ツイート，かつ，その 10 件以上のツイート内に(0) ラベルを除く複数のラベルがあるユーザとする。その結果，対象ユーザは 64 名となった. 各ユーザに対して，1 日当たりの各ラベルの出現割合を求める.各ラベルの出現割合は以下の式(1)で算出した.

$
\begin{aligned}
& R_{i}=100 \times \frac{L_{i}}{L_{s}} \\
& R_{i}: \text { ラベル } \mathrm{i} の \text { 出現割合 } \\
& L_{i}: \text { ラベル } \mathrm{i} の \text { 出現回数 } \\
& L_{s}: \text { 全ラベルの出現回数の合計 }
\end{aligned}
$

ユーザのクラス分類では K-Means 法を用いて，ラベルの出現割合のパターンでユーザを 5 つのクラスに分類した。クラス名はクラス内での出現割合の高いラベルから参照し， A:[運動・食事]，B:[食事・精神状態], C:[食事], D:[体調], $\mathrm{E}$ : [精神状態]とした.

各クラスに対し, トピック数を 30 とし, 名詞, 形容詞のみを対象にトピックモデル (LDA) と pyLDAvis[12]を用いてトピック内の単語傾向やトピック間の共通点を調査した. pyLDAvis の散布図において，円の中心に配置されている数字は各トピックの番号を表し，円の大きさは，分析対象としている単語が各トピックにどの程度含まれているかを表す。 また，円の中心間の距離はトピック間の距離を表している。棒グラフは各トピック内の出現頻度の高い上位 30 語と各単語の出現数を示す. 図 1 はクラス B の「眠い」の出現分布を表している。図 2 は図 1 のトピック 26 内の上位単語を表している. 棒グラフの赤色部はトピック 26 内での各単語の単語数を示し,青色部は全体の単語数を示している。また，各クラス内の上位頻出単語 5 語を表 5 にまとめた。

図 1 pyLDAvisによるトピックモデルの可視化

図 2 pyLDAvisによる単語の出現頻度の可視化

表 5 各クラス内の上位頻出単語

 \\

## 4. 5 考察

pyLDAvis によるトピックモデルの可視化結果に基づき，クラスごとに考察を行う．クラス A では，「ダイエット」が全トピック，「糖質制限」が 16 トピック，「良い」が 26 トピックに分布していた. ダイエット目的でのトレーニングや食事制限関連の単語が多く, 健康意識が高いユーザが多いと考えられる。クラス B では, 図 1 , 図 2 から分かるように 「眠い」が 14 トピック，その他には「怖い」が 9 トピック, 「愚痴」が 10 トピックに分布していた. クラス B は A, C, E と比べ，ネガティブな単語の分布が広いことから生活習慣に何らかの問題を抱えているユーザが多いと考えられる。クラス Cでは上位頻出単語以外に「アップ」が 12 トピック，「良い」 が 26 トピック，「楽しい」が 18 トピックに分布していた. ポジティブな単語の分布が多く, 食事を中心とした健康意識の高いユーザが多いと考えられる。 クラス Dでは「下剂」「悪い」が 29 トピック，「痛い」が 28 トピックに分布していた. その他にも「無理」「腹痛」などのネガティブな単語が広く分布し,他のクラスと比較し, 顕著にネガティブな単語が広く分布していた。さらに「お菓子」「アイス」「ラ一メン」といった食生活に悪影響を及ぼす可能性のある単語も確認できた。これらを考慮すると, クラス D内のユーザは食生活の乱れから体調不良を起こしている可能性があり, 生活習慣病のリスクが最も高いユーザが多く含まれると考えられる。クラス E では，「嬉しい」が 23 トピック，「最高」が 20 卜ピックに分布し, ポジティブな単語が広く分布している一方で，「嫌」が 15 トピック，「怖い」が 10 トピック，その他にも「メンタル」「我慢」「必死」
といったネガティブな単語も広く分布していた。また，他のクラスには無かった「仕事」が 17 トピックに分布している点も特徵的であった．以上を考慮すると，仕事などのストレスによって今後生活習慣病を発症する可能性のあるユーザが多いと考えられる。 これらの考察から5つのクラスを生活習慣病発症少スクの観点から比較すると、 $[\mathrm{A} \cdot \mathrm{C}]<[\mathrm{E}]<[\mathrm{B}]<[\mathrm{D}]$ の順で生活習慣病発症リスクは高くなるのではないかと考えられる。

## 5 おわりに

本研究では，Twitterを対象として，ユーザの投稿内容から食事，運動，体調，精神状態に関するツィ一トの分析を行い, ユーザの特徴やユーザ間の共通点の調查を行った。

その結果，ユーザをトピックモデルによって適当なクラスに分類することで，クラスごとのユーザの特徴を把握することが可能であることが分かった. また, 生活習慣病発症のリスクという観点から結果を考察することによって，各クラスの生活習慣病リスクの比較を行うことが可能であった。この結果は生活習慣病発症の危険因子を検出するシステムの構築へつながると考えられる。

今後の課題として, ツイート収集時やラベル付与時のキーワードの見直しと分類モデルの精度向上を行う。また，体調の変化を表す語とネガティブやポジティブワードの共起頻度や生活習慣病を発症するリスク表現をあらかじめ決定しておき，そのような表現がユーザごとにどのように表れているのかについての調査を行う。

## 謝辞

本研究は公益財団法人 JKA 令和 3 年度複数年研究補助事業により実施されました. 深く謝意を表します.

## 参考文献

[1] 生活習慣病を知万う!(引用日:202 年 12 月 24 日) https://www.smartlife.mhlw.go.jp/event/disease/

[2]【2021 年 12 月版】人気ソーシャルメディアのユー ザ数まとめ (引用日:2021 年 12 月 24 日)https://www.comnico.jp/we-love-social/sns-users

[3] 高橋公海, 辛島匡宏, 倉島健, 戸田浩之: 強化学習を用いた健康行動促進における介入戦略の学習，第 12 回データ工学と情報マネジメントに関するフォー ラム, 2020 年 3 月 2 日, I2-3, day1 p59

[4] Mining the sociome for Health Informatics: Analysis of therapeutic lifestyle adherence of diabetic patients in Twitter, Gael Pérez Rodríguez, Martín Pérez Pérez, Florentino Fdez-Riverola, Anália Maria Garcia Lourenço, Future Generation Computer Systems, Volume110, September 2020, Pages214-232

[5] Twitter API https://developer.twitter.com/en/docs/twitter-api

[6] BERT: Pre-training of Deep Bidirectional Transformers for Language, Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova, Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Vol.1, pp.4171-4186, 2019.

[7] BERT 日本語学習済みモデル東北大学乾・鈴木研究室 https://github.com/cl-tohoku/bert-japanese

[8] Simple Transformers: https://simpletransformers.ai/

[9] sklearn.cluster.KMeans:

https://scikit-learn.org/stable/modules/generated/sklearn.c luster.KMeans.html

[10] models.ldamodel-Latent Dirichlet Allocation-gensim: https://radimrehurek.com/gensim/models/ldamodel.html

[11] scikit-learn: https://scikit-learn.org/stable/

[12] pyLDAvis: https://github.com/bmabey/pyLDAvis


# Twitter 投稿における定性的時間表現の使用時刻分布調査

奥川智貴
筑波大学情報学群
t.oku@mibel.cs.tsukuba.ac.jp
}

乾孝司
筑波大学大学院システム情報工学研究科
inui@cs.tsukuba.ac.jp
}

る語句を「定性的時間表現」と呼び、定性的時間表現の体系的な整理と、Twitter ${ }^{1}$ 投稿における定性的時間表現の使用時刻分布を調査することを目的とす る。特に、「もう 4 時」や「まだ 4 時」などの一部の 定性的時間表現を対象にした調査をする。Twitter 投稿には投稿者のリアルタイムな感覚が反映されたテ キストデータに投稿時刻データが紐づいており、こ の情報を調査に利用する。具体的には、定性的時間表現を含むテキストが投稿された時刻とその投稿内 で言及されている時刻の間の時間のギャップに注目 し、対象表現ごとのギャップを比較することで、定性的時間表現の使われ方の違いを調査する。
## 2 関連研究

## 2.1 自然言語処理における時間表現の扱い

自然言語処理分野における時間表現に注目した研究では、TimeML[2] の<TIMEX3>に基づいたタグづけ基準を採用したアノテーションが盛んである。 TimeML とは時間表現と実世界上のイベントを関連づけるタグづけ基準のことであり、これに沿って作成されたくTIMEX3>は様々な言語へのアノテー ションに使われている。小西ら [3] は日本語時間表現に対するタグ付け基準を提案しており、対象とする表現を DATE（日付表現）・TIME（時刻表現）$\cdot$ DURATION（持続時間表現）・SET（頻度集合表現） の 4 種類に分類している。DATE・TIME は「昨日」 $\lceil 4$ 時」等、時点及び時区間の時間軸上の位置を定義するために用いられる表現である。DURATION は $「 1$ 時間」等、時間軸上の位置ではなく時間の量を定義するために用いられる表現である。SET は「週一回」等、時間軸上の複数の時区間を定義するために用いられる表現である。

小西らの提案した基準に概ね沿う形で成澤 [4] は時間表現のアノテーションを行ったが、時間表現の前後の文字列が修飾表現であった場合の規格化に関

1) https://twitter.com/

しては大半が<TIMEX3>で定義される@ $\bmod$ 属性に値を付与する処理だと述べている。@ $\bmod$ は時間情報表現のモダリティを表す属性である。例えば文中の「2021 年 12 月 10 日ごろ」は以下のようにタグ付けされる。

<TIMEX3 tid="t1" type="DATE" value="2021-12

-10 " valueFromSurface="2021-12-10" mod=

"APPROX">2021 年 12 月 10 日ごろ</TIMEX3>

ここでは@ $\bmod$ に格納されている “APPROX”という值が「ごろ」という表現に対応している。本研究では@ $\bmod$ を時間表現のあいまい性を捉える属性として注目する。詳細は 3 節で説明する。

## 2.2 Twitter を活用した時間研究

Twitterを活用した時間情報に焦点をあてた研究も多く存在する。例えば Hürriyetoğlu ら [5] はあるイベントに関する投稿のストリームからイベント発生までの時間を推定する手法を提案した。この手法では、各投稿の文中に含まれる時間表現と投稿時刻を基に演算処理した結果の中央値や平均値が推定に利用されている。しかしこうした既存研究のほとんどはイベントとその発生時間の対応付けが目的で、時間表現が含まれる文の投稿時刻の分布自体には焦点を当てていない。

## 3 定性的時間表現

## 3.1 単一型の定性的時間表現

本稿では定性的時間表現を単一型と複合型の 2 種類に分類した上で<TIMEX3>の仕様に沿って各々説明する。

単一型の定性的時間表現とは、時間表現のうち、 それ単体でおよその時刻・時間帯や時間量をあらわす語句である。ただし、ある程度定量的な定義が存在する語句でも定性的時間表現とみなせる場合もある。例えば「朝」は気象庁 [6] が「午前 6 時頃から午前 9 時頃まで」の時間帯を指す言葉だと定めているが、話者自身が感覚的に定めた時間区分に基づいて使われている。単一型定性的時間表現の例を表 1 に示す。

## 3.2 複合型の定性的時間表現

複合型の定性的時間表現とは、時間表現に、 @ mod、@aspect の2 属性のいずれかに値を与えるよ表 1 単一型の定性的時間表現の例

表 2 複合型の定性的時間表現の例

うな修飾表現が結びついた語句である。@ $\bmod$ は先述の通り<TIMEX3>で既に採用されている属性で、時間情報のモダリティを表す。「ごろ」や「前」「過ぎ」等の修飾表現が該当する。一方で@ aspect とは今回新たに導入した属性で、話者の感覚や行動の段階や局面を表す。「もう」や「まだ」「ようやく」等の修飾表現が該当する。複合型定性的時間表現の例を表 2 に示す。ほかにも、@ $\bmod$ にあたる修飾表現と@aspect にあたる修飾表現の両方と結びついた時間表現（例：「まだ 4 時過ぎ」）なども複合型定性的時間表現に該当する。

## 4 使用時刻分布調査

## 4.1 調査対象表現

調査対象として、正時を言及していると考えられる複合型の定性的時間表現である「もう $h$ 時」および「まだ $h$ 時」 $(h=0,1, \ldots, 24$ 、以降の $h$ に関しても同様で、「正時」とも呼ぶ）を選んだ。「もう」および「まだ」は先述の通り @ aspect の值を与える修飾表現であり、「h時」は明確に時刻（正時）を言及するために使われる一般的な時間表現である。

## 4.2 調査データ

調査データは、2014 年 1 月 1 日から 2014 年 12 月 31 日までに東京都で投稿された日本語ツイートの集合とし、ここから正規表現を用いてテキスト中に調査対象表現が含まれている投稿を抽出して調査に利用した。ここで、例えば「もう 3 時」を抽出する正規表現（Python で記述）は以下のものを用いた。

"もう"+"[33三]"+"時 [^間半 0-9 0-9 ]"

各投稿にはメタデータとしてタイムスタンプ、すなわち投稿時刻情報が付与されている。
表 3 Gap 值の計算例

図 1 もう $h$ 時 : 正時別の投稿件数 (上方向の要素は正、下方向の要素は負のギャップをとる投稿件数)

## 4.3 ギャップに注目した使用時刻分布調査

本研究の目的を達成するために、ギャップ (Gap) という指標を導入する。ギャップとは、ある時間表現を含むテキストが投稿された時刻からその時間表現が表層的に言及している時刻までに経過した秒数と定義する。ある投稿 $t$ に含まれる時間表現 $e$ のもつギャップは以下の式で求められる。

$
\operatorname{Gap}(t, e)=\operatorname{ReferenceTime}(t, e)-\operatorname{Timestamp}(t)
$

ここで、Timestamp は対象表現が実際に使用された時刻を表し、ツイートのタイムスタンプの値がそのまま代入される。ReferenceTime は対象表現から修飾表現を取り除いた正時時刻であり、Timestamp の年月日 $+h: 00: 00$ の値が代入される。ただし、 $h=24$ ならば $h=0$ に変換した上で代入を行う。 また、 $h=0,1, \ldots, 12$ かつ $-64,800 \leq G a p \leq-21,600$ ならば、午後について言及した投稿だと判断し、 ReferenceTime の値を 43, 200 秒（= 12 時間分）加算して Gap を再計算する。例えば 13 時 50 分ちょうどに投稿された「もう 2 時」という投稿の場合、再計算前は $G a p=-42,600$ であるが、再計算後は $G a p=600$ ( = 10 分) となる。Gap < $-64,800$ または $G a p>21,600$ の場合は、現在時刻とは無関係の投稿だと判断し、集計から除外した。

上記の結果、1,621 件の「もう $h$ 時」と 817 件の「まだ $h$ 時」の表現、およびそれらの Gap 值を得た。Gap 值の計算例を表 3 に示す。

図 2 まだ $h$ 時 : 正時別の投稿件数 (上方向の要素は正、下方向の要素は負のギャップをとる投稿件数)

## 4.4 調査結果

## 4.4.1 使用時刻分布の比較 一「もう」と「まだ」一図 5 が主となる調査結果であるが、その前段階と して図 1 から図 4 で正時別の調査結果をまず報告 する。正時別のツイート件数を図 1 および図 2 に示 す。「もう $h$ 時」を含むツイートは 3 時、 4 時をピー クにして深夜の時間帯を言及したものが多く、「ま だ $h$ 時」を含むツイートは 20 時、 21 時を緩やかな ピークにして夜の時間帯を言及したものが多く見ら れた。つまり言及される時間帯によって対象表現の 使用頻度に差が生じていることがわかる。Gap 值の 正負に注目すると、「もう」と「まだ」のどちらの表現とも若干負の件数が多いものの時間帯による正負 の違いはあまり見られない結果となった。

次に、正時別のギャップ分布として、Gap 值の平均值および中央値を図 3 および図 4 に示す。ここでは平均値を棒グラフで示し、その上に中央値を示す点グラフを重ねている。平均值に関して、部分的に極端な値をとっているが、これは外れ値の影響を受けているものであったため、ここでは中央値に注目する。中央値に基づくとほとんどの時間帯で「もう $h$ 時」は 0 秒に近い Gap 値であり、「まだ $h$ 時」は -600 秒以上 0 秒以下の $G a p$ 值であることが概観できる。

図 3 および図 4 の正時別調査結果の要約として、

図 3 もう $h$ 時: 正時別のギャップ平均値 - 中央值 @ aspect 別のギャップ分布の箱ひげ図を図 5 に示す。 $G a p$ 值の平均值を三角の点で、中央値を赤線で示している。「もう $h$ 時」のツイート全体の Gap 值の平均値は 38 秒、中央値は -85 秒であった。「まだ $h$時」のツイート全体の平均值は -554 秒、中央值は -285 秒であった。この結果は、「もう $h$ 時」はほぼ $h$ 時に使われる一方で、「まだ $h$ 時」は約 5 分後に使われており、@aspect に対応する修飾表現の「もう」 と「まだ」では使用時刻に差があることがわかる。

## 4.4.2 使用時刻分布の比較 —「前」と「過ぎ」—

上記データの中で、さらに@ $\bmod$ 修飾表現の「前」 および「過ぎ」を含むデータを抽出し、同様の調査をおこなった。この結果の箱ひげ図を図 6 に示す。「もう $h$ 時前」のツイート全体の Gap 值の平均值は 2,189 秒、中央値は 957 秒、「まだ $h$ 時前」では平均値は 761 秒、中央値は 627 秒、「もう $h$ 時過ぎ」では平均值は -981 秒、中央値は -851 秒、「まだ $h$ 時過ぎ」では平均值は $-1,551$ 秒、中央値は $-1,075$ 秒であった。先述の@ aspect 別のギャップ分布の結果に基づき、「もう」がリアルタイム性を保証するマー カーで、「まだ」が約 5 分後を示すマーカーだと見なすと、「 $h$ 時前」は $h$ 時の約 15 分前に使われる一方で、「h 時過ぎ」は約 15 分後に使われるといえる。

## 5 おわりに

本稿では、TimeML の<TIMEX3>の仕様に基づいて定性的時間表現の概念を整理した上で、複合型定性的時間表現である「もう $h$ 時」および「まだ $h$時」を対象に時間ギャップを測定し、その分布を比較分析した。今回の調査結果は、たとえば『『もう 9 時だよ』よりも『まだ 9 時だよ』のほうが 9 時からギャップのあるタイミングでシステム発話をしても

図 4 まだ $h$ 時：正時別のギャップ平均値・中央値

図 5 @ aspect別ギャップ箱ひげ図

図 6 @aspect+@mod 別ギャップ箱ひげ図

よい」や「9 時 15 分に『もう 9 時過ぎ』という発話は自然であるが、9時 30 分に同じ発話をするのは自然さに欠く」などの知識として自然な対話システム構築に活かし得る。ただし今回の調査結果を十分な知識へと昇華させるためには、対象表現を「もう $h$時」「まだ $h$ 時」以外の定性的時間表現にも拡張した更なる調査が必要である。また、Twitter ユーザが時間を認識してから実際にツイートを投稿するまでに自然と生じるタイムラグの影響も今後考慮するべきである。

## 参考文献

[1] Apple. Siri ならこんなことも - apple サポート (日本). https://support.apple.com/ja-jp/HT208336, 2021. (参照 2021-12-22).

[2] James Pustejovsky, José M Castano, Robert Ingria, Roser

Sauri, Robert J Gaizauskas, Andrea Setzer, Graham Katz, and Dragomir R Radev. Timeml: Robust specification of event and temporal expressions in text. New directions in question answering, Vol. 3, pp. 28-34, 2003.

[3] 小西光, 浅原正幸, 前川喜久雄. 『現代日本語書き言葉均衡コーパス』に対する時間情報アノテーション.自然言語処理, Vol. 20, No. 2, pp. 201-221, 2013.

[4] 成澤克麻. 自然言語処理における数量表現の取り扱い. Master's thesis, 東北大学, 2014.

[5] Ali Hürriyetoglu, Nelleke Oostdijk, and Antal Van den Bosch. Estimating time to event from tweets using temporal expressions. In Proceedings of the 5th Workshop on Language Analysis for Social Media (LASM), pp. 816, 042014.

[6] 気象庁. 予報用語時に関する用語. https://www.jma.go.jp/jma/kishou/know/yougo_ hp/toki.html. (参照 2021-12-22).