# 類似データセット発見課題における詳細なデータセット分類に 基づいた有効性の評価

作本猛 ${ }^{1}$ 早矢仕晃章 ${ }^{2}$ 坂地泰紀 ${ }^{2}$ 野中尋史 3,4
${ }^{1}$ 長岡技術科学大学 2 東京大学
3 愛知工業大学 ${ }^{4}$ 株式会社マヨラボ
s183353@stn.nagaokaut.ac.jp \{hayashi,sakaji\}@sys.t.u-tokyo.ac.jp
hnonaka@aitech.ac.jp

## 概要

近年のコンピュータ技術の発展に伴い，互いに類似するデータセットを発見するための方法が盛ん に研究されているが，従来研究ではデータセットを 探索する個々のユーザのニーズを反映するような 評価項目が用いられてこなかった. そこで，本研究 では，類似データセット発見手法の評価において， データプラットフォームで実際に用いられている分類基準に基づいた 4 種類の詳細な項目を評価に適用 した. その結果，変数ラベル間の Dice 係数を用い た手法が，課題やメイントピックが完全に一致する データセットの探索に有用であることが示された.

## 1 背景

コンピュータ技術の発展とデータプラットフォー ムの台頭により，データの市場取引や Web 上での データ公開・共有が盛んになっている $[1,2]$. また,機械学習・人工知能分野の技術発展によってこうし た需要はより高まり, 企業や行政組織においても データドリブンな分析や意思決定を重視する動き が増加している。市場に流通するデータセットが多様かつ膨大になる中で，データセット発見，特に， データセット間の類似性に基づく検索に注目が集 まっている $[3,4,5]$. これは, ユーザの全てが求め るデータセットに関する知識を持っているという前提は現実的ではなく [6]，また，データセットのメタ データには品質のばらつきの問題があること [7] か ら，データセット検索において従来の Web 文書を対象とした検索技術が必ずしも適切とは言えないこと が要因として挙げられる。 また, Degbelo ら [8]が指摘するように，「自身の課題に関係しているが，想定・知識の外にある，まだ見ぬデータセットが存在
するのか否かを知りたい」という重要なニーズの存在も類似性に基づくデータセット検索への注目を裏付けている.

こうした背景から，一部のプラットフォームで は，データセットの発見可能性を向上させるために 独自のタグオントロジーを定義している. 例えば， Kaggle では「新型コロナウィルス感染症」や「暗号通貨」といった，データセットのメイントピック的 な要素を意味する subject や，テキスト，画像といっ たデータ型を意味する data type，データセットに関連する課題や収集目的を意味する task といったタグ が存在する．データセットの分類として広く使用さ れている上記のような類似性の観点を評価に用い ることで，類似データセットを探索する個々のユー ザのニーズに適した発見手法を提示できると考え られる。しかしながら，従来の類似データセット発見の研究において，上記のような詳細なデータセッ 卜分類に基づいた評価には焦点が向けられてこな かった.

我々は，各手法によって得られたデータセットペ ア間に見られる類似性の種類や，具体的・抽象的と いった類似性の段階を個別に評価するために，デー タプラットフォームで実際に用いられているデータ セット分類を評価に適用した．その結果として，変数ラベル間の Dice 係数に基づく類似度が中〜高の データセットペア間では，データセットに関連する 学術的分野や課題については類似するが，それぞれ の具体的なメイントピックは異なるといった，比較的抽象的な類似が多く見られることを確認した. ま た，類似度の数值に比例して，メイントピックにつ いても類似したデータセットペアが増加するという 傾向が見られたことから，変数ラベル間の Dice 係数に基づく類似度はデータセット間の内容的な類似
性を適切に反映していると考えられる。

本研究の主な貢献として，どのような種類の類似 がデータセットペア間で見られやすいかを類似度 の階級ごとに整理することによって，特定のデータ セット探索のニーズに沿った手法選択に有用な知見 を提供した点が挙げられる.

## 2 関連研究

類似データセット発見における評価は，データ セット構造の類似性に焦点を当てたものと，データ セットに関連するトピックの類似性に焦点を当てた ものの 2 種類が存在する. データセット本体の構造 を用いた評価の例として，ランダム分割されたデー タセットにおける再現可能性を評価する方法 $[9,10]$ や，下流タスクの評価指標に基づいて評価を行う方法 $[11,12]$ などが挙げられる.これらの取り組みは，同じデータ形式や課題に関連するデータセットの 集合，あるいは同じデータスキーマを持つテーブル の集合から，構造的に類似する部分集合を発見する 性能の評価に焦点を当てており，より雑多なデータ セットの集合を対象とする我々の取り組みとは相互補完的な立ち位置にある。

データセットに関連するトピックの類似性に基づ いて評価を行った取り組みとしては, Sakaji ら [13] の取り組みが挙げられる. Sakaji ら [13] は内容的側面と地理的側面の 2 種類の項目に基づいて，各 データセットペアがどの程度類似しているかを定量的に評価した. しかし, データセットの内容的な 類似性を評価するための尺度は一つではない。例 えば, Kaggle データプラットフォームでは, subject や task, data typeのような，共通項目を持つデータ セットへのアクセシビリティを高めるための数種類 の分類が存在している. 加えて，いくつかの分類に は階層構造が定義されている. 得られたデータセッ トペアがどの分類で類似しているのか, どの段階で 類似しているのかについて定量評価が可能となれ ば，データセットを探索するユーザのニーズに合わ せた手法の選択がより容易になると考えられる. そ こで，我々の研究では， Kaggle や Papers with code と いったプラットフォームで用いられているデータ セット分類を適用することで，各データセットペア がどのような項目で類似しているか，具体的に類似 しているか抽象的に類似しているかをそれぞれ定量的に評価している.

## 3 実験

図 1 に示すとおり, 以下の手順に沿って実験を行 う.（1）データセット集合から全ての可能なぺアを 作成する. (2) 全てのデータセットペアについて,後述する手法 (3.2 節) に従ってデータセット間の類似度を計算する。（3）類似度を 10 段階の階級（0〜 $0.1 ， \ldots, 0.9 \sim 1.0$ ）に区分し，各階級に対して対応 する類似度を持つデータセットペアを割り当てる。

（4）各階級に含まれるデータセットペアから最大で 10 件のペアをランダムにサンプリングし, 各評価項目（3.3 節）で共通するぺアの割合（適合率）を計算 する.

(1)

(2)

(3)

(4)

Dice係数 Cos類似度

図 1 評価実験の概要

## 3.1 データセット

本研究ではデータプラットフォーム Kaggle ${ }^{1)}$ から 2020 年 1 月 20 日時点で収集されたデータセットの うち，少なくとも 1 件のタグを含み，かつ少なくと も 100 単語以上で構成される説明文を含んだデータ セット 4041 件を対象に実験を行う．各データセッ 卜に含まれるメタデータは以下の表 1 に示すとおり である.

1) https://www.kaggle.com/
表 1 データセットに含まれるメタデータの概要説明文データセットの内容を詳述した文章変数ラベル データ属性の論理集合

図 2 メタデータと実データとの対応関係

## 3.2 類似データセットペアの発見

今回の実験では, Sakaji ら [13] が提案した手法の うち，変数ラベル間の Dice 係数（以後，変数），説明文の BERT 埋め込みベクトル間のコサイン類似度 （以後，BERT）の 2 種類の類似データセットペアの 発見手法を用いる.

## 3.2.1 変数

変数を用いた類似度については, 先行研究の方法 [13] に従い，Dice 係数を用いて以下のように計算 する。

$
\operatorname{Dice}\left(d_{i}, d_{j}\right)=\frac{2\left|\operatorname{vars}\left(d_{i}\right) \cap \operatorname{vars}\left(d_{j}\right)\right|}{\left|\operatorname{vars}\left(d_{i}\right)\right|+\left|\operatorname{vars}\left(d_{j}\right)\right|}
$

ここで， $d_{i}, d_{j}$ はそれぞれ異なるデータセットを指 し， $\operatorname{vars}(\mathrm{d})$ はデータセット $d$ が保有する変数の集合 を意味する。

## 3.2.2 BERT

データセットの内容が類似している場合，それぞ れの説明文の埋め込みべクトル間のコサイン類似度 は高くなると考えられる。 そこで，先行研究 [13] で 最も良い結果を示した，説明文の名詞を対象とした BERT 埋め込みに基づく手法を使用する。

$
T_{W}=\operatorname{BERT}(W)
$

ここで， $W=\left.\{w_{1}, w_{2}, \ldots, w_{N}\right.\}$ は長さ $\mathrm{N}$ の系列であ る. BERT $(s e q)$ は系列 $s e q$ を入力として受け取り，最終隠れ層のベクトル $T_{W}$ を返す事前学習済みの BERT モデルである. 最後に，入力系列長に関わら ず比較可能なべクトル表現 $V_{B E R T}(W)$ を得るため に，以下のように平均化を行う。

$
V_{B E R T}(W)=\frac{1}{\left|T_{W}\right|} \sum_{t \in T_{W}} t
$

BERT の事前学習済みモデルには，英語版 Wikipedia で学習された bert-base-uncased[14]2)を使用する。

## 3.3 データセット分類に基づく評価項目

Kaggle では，データセットのメイントピックを意味する subject，収集目的や関連する課題を意味す る task，データ形式を意味する data type といった分類が存在する。また， Papers with code には Modality や Task といった分類が存在しており， Modality は Kaggle における data type と同様の分類である。そこ で，我々はこれらの分類を基に，以下の表に示す 4 種類の分類を定義し，各分類に基づいてより詳細な 有効性の検証を行う。

表 2 の 1，2 行目に示す主題（大分類），主題（細分類）は，いずれも Kaggle における subject と対応 している. 主題（細分類）はデータセットが主に対象とする事物（メイントピック）そのものを指して おり，主題（大分類）はそれらが属する学術的，あ るいは技術的な分野・領域を指している。表の 3 行目に示す目的・課題は，Kaggle の task や Papers with codeの Task と対応する項目であり，主にそのデー タセットを用いて解決したい課題を意味している.表の最下部に示すデータ形式は，Kaggleの data type や Papers with code の Modality と対応しており，テー ブルや時系列といった項目が存在する。これらの項目に基づいたデータセット間類似性評価の一例と して，特定の企業における株価の推移を日毎に記録 したデータセットと，暗号通貨の価格変動を日毎に 記録したデータセットの 2 種類を挙げる. 両データ セットは共に経済の分野に属しており，目的・課題 やデータセットの形式も共通したものであると考え られるが，それぞれのメイントピックは株価と暗号通貨のように異なっている。これらのことから，両 データセットは主題 (大分類), 目的・課題，データ 形式において類似しているが，主題（細分類）につ いては異なるとみなされる。


## 4 実験結果

図 3,4 に，それぞれの手法 (変数，BERT) によって 発見された類似データセットペアに対する，各類似度階級における各評価項目の適合率を示す。まず， どちらの結果においても，データ形式に関する適合率は全ての類似度の階級において高い値を示して いることがわかるが，これは今回の実験で使用した データセットの多くがテーブルデータセットであ ることに起因すると考えられる. 図 3 より, 変数に 基づく類似データセットペアにおいて，類似度の数値に比例して, 主題 (大分類), 主題 (細分類), 目的・課題の 3 項目の適合率が高くなる傾向が見られ た. 特に，類似度が $0.4 \sim 0.6$ の階級では，主題（大分類), 目的・課題に対して, 主題（細分類）の適合率が 2 分の 1 程度と低い值を示しているが，0.6 以上の階級ではこれらの差が縮小していき， 0.8 以上 の階級では全ての項目において適合率が最大の値 を示している. これは，変数ラベルに基づくデータ セット間類似度の数値は，データセット間の類似性 の粒度の細かさ，言い換えると，データセット間で 共通する項目の多さを適切に反映していると言え る. 以下の表 3 に, 各階級において得られたデータ セットペアの具体例を示す.

表 3 変数ラベル間の類似度に基づいて得られたデータ セットペアの例. なお，主題（大），主題（細）はそれぞ れ主題（大分類）と主題（細分類）を意味している。

対して，図 4 に示すように，BERT に基づく類似 データセットペアは，データ形式以外の 3 項目にお ける適合率が，全ての類似度階級において低い值を 示した. 類似度の高い領域 (0.7 ) では, 主題（細分類）や目的・課題に沿った類似データセットのペア が増加するという傾向が見られたが，いずれも適合率が 0.1 0.2 程度と低い值を示している.これは，説明文を持つ Kaggle データセットにおいて，テン プレート文章をそのまま説明文として流用したもの が多く存在すること，また，教師なしのテキスト間意味的類似度 (Semantic Textual Similarity) の測定に

図 3 各評価項目におけるデータセットペア間の適合率 （変数）

おいて，BERT は必ずしも有効ではないこと [15] な どが要因として考えられる。

図4 各評価項目におけるデータセットペア間の適合率 (BERT)

## 5 結論

本研究では，類似データセット発見手法の有効性評価において，データプラットフォームで用いられ ている詳細なデータセット分類に基づいた 4 種類の 評価項目を適用した．結果として，変数ラベル間の Dice 係数に基づく類似度はその数值に比例してデー タセットペア間で類似する項目の種類が増加する という傾向が見られた. 特に，類似度が非常に高い （0.8～) 領域では，メイントピックなど具体的な項目についての類似が増加することから，この類似度 はデータセット間の類似性を適切に反映していると 考えられる。 そのため, この手法は関連課題や具体的なメイントピックが完全に一致するデータセット を探索するといった状況に特に適していると考えら れる。

今後の方針としては，他のデータプラットフォー ムでの分析や，異なる類似データセット発見手法の 評価への適用が考えられる。

## 参考文献

[1]Magdalena Balazinska, Bill Howe, and Dan Suciu. Data Markets in the Cloud: An Opportunity for the Database Community. PVLDB, Vol. 4, pp. 1482-1485, August 2011.

[2]Florian Stahl, Fabian Schomm, and Gottfried Vossen. Data Marketplaces: An Emerging Species. Databases and Information Systems VIII, pp. 145-158, 2014.

[3]Kathleen Gregory, Paul Groth, Helena Cousijn, Andrea Scharnhorst, and Sally Wyatt. Searching Data: A Review of Observational Data Retrieval Practices in Selected Disciplines. Journal of the Association for Information Science and Technology, Vol. 70, No. 5, pp. 419-432, 2019.

[4]Kathleen Gregory, Andrea Scharnhorst, and Sally Wyatt. Lost or Found? Discovering Data Needed for Research. Harvard Data Science Review, Vol. 2, No. 2, April 2020.

[5]Laura M. Koesten, Emilia Kacprzak, Jenifer F. A. Tennison, and Elena Simperl. The Trials and Tribulations of Working with Structured Data: -a Study on Information Seeking Behaviour. In Proceedings of the 2017 CHI Conference on Human Factors in Computing Systems, pp. 1277-1289, Denver Colorado USA, May 2017. ACM.

[6]Martin Nečaský, Petr Škoda, David Bernhauer, Jakub Klímek, and Tomáš Skopal. Modular framework for similarity-based dataset discovery using external knowledge. Data Technologies and Applications, Vol. 56, No. 4, pp. 506535, January 2022.

[7]Ulrich Atz. The tau of data: A new metric to assess the timeliness of data in catalogues. In CeDEM14 Conference for E-Democracy and Open Government, Vol. 22, pp. 147162, 2014.

[8]Auriol Degbelo. Open Data User Needs: A Preliminary Synthesis. In Companion Proceedings of the Web Conference 2020, WWW '20, pp. 834-839, New York, NY, USA, April 2020. Association for Computing Machinery.

[9]Srinivasan Parthasarathy and Mitsunori Ogihara. Clustering Distributed Homogeneous Datasets. In Principles of Data Mining and Knowledge Discovery, Vol. 1910, pp. 566-574, Berlin, Heidelberg, 2000. Springer Berlin Heidelberg.

[10]Srinivasan Parthasarathy and Mitsunori Ogihara. Exploiting Dataset Similarity for Distributed Mining. In José Rolim, editor, Parallel and Distributed Processing, Lecture Notes in Computer Science, pp. 399-406, Berlin, Heidelberg, 2000. Springer.

[11]Ingo Siegert, Ronald Böck, and Andreas Wendemuth. Using a PCA-based dataset similarity measure to improve crosscorpus emotion recognition. Computer Speech \& Language, Vol. 51, pp. 1-23, September 2018.

[12]Tatiana Tommasi, Novi Patricia, Barbara Caputo, and Tinne Tuytelaars. A Deeper Look at Dataset Bias. In Domain Adaptation in Computer Vision Applications, Advances in Computer Vision and Pattern Recognition, pp. 37-55. Springer International Publishing, Cham, 2017.

[13]Hiroki Sakaji, Teruaki Hayashi, Kiyoshi Izumi, and Yukio Ohsawa. Verification of Data Similarity using Metadata on a Data Exchange Platform. In 2020 IEEE International Conference on Big Data (Big Data), pp. 4467-4474, December 2020 .
[14]Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, 2019.

[15]Sho Yokoi, Ryo Takahashi, Reina Akama, Jun Suzuki, and Kentaro Inui. Word Rotator's Distance. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 2944-2960. Association for Computational Linguistics, 2020.
 作本猛 ${ }^{1}$ 早矢仕晃章 ${ }^{2}$ 坂地泰紀 ${ }^{2}$ 野中尋史 3,4 ${ }^{1}$ 長岡技術科学大学 2 東京大学 3 愛知工業大学 ${ }^{4}$ 株式会社マヨラボ s183353@stn.nagaokaut.ac.jp \{hayashi,sakaji\}@sys.t.u-tokyo.ac.jp hnonaka@aitech.ac.jp  