# テキストアナリティクスツールの操作ログからの 実験設定の説明文生成

森田康介 ${ }^{1}$ 西村太一 ${ }^{1}$ 亀甲博貴 2 森信介 ${ }^{2}$
1 京都大学大学院 情報学研究科 2 京都大学 学術情報メディアセンター
\{morita.kosuke.45c, nishimura.taichi.43x\}@st.kyoto-u.ac.jp
\{kameko, forest \}@i.kyoto-u.ac.jp

## 概要

本研究では，テキストアナリティクスツールの 操作ログと実験設定の説明文の相互生成を目的と する。人文科学分野において広く使用されている KH Coderを使用した論文を対象に収集し，論文中 の実験設定の記述と実際のツールの操作ログを再現 したものからなるデータセットを構築した. また, このデータセットを用いて論文中の記述から操作ロ グを推定するモデルを構築し，アノテーションして いない論文に適用することやデータの値を置換する ことで自動的にデータセットを拡張した. これらを 用いて，操作ログと説明文を相互生成するモデルを 構築した。

## 1 はじめに

科学技術論文の実験においてその実験設定を正し く記述し残すことは，論文を書いた本人だけでなく 論文を読んだ人間も行った実験の再現が容易になる ことから重要である。近年では，あらゆる分野で論文の再現性が問題となる事例が発生しており $[1,2]$, ますますその重要性が高まっている.

科学実験においてはツールを使用して研究するこ とが多いが，一般的にツールの利用にあたってはど のような処理が行われたかを示す操作ログ (以下ロ グと表記）が出力される．実験に使用したツールの ログから行なった操作の説明文の生成ができれば,論文の書き手に対する執筆の補助になり，読み手の 実行内容の理解度と再現性が高まる. 反対に, 論文 に記されている操作の説明文からツールのログの生成ができれば，実行内容の再現がより容易になる。

本研究では，様々なツールの中でもテキストアナ リティクスツールに焦点を当てる。 テキストアナリ ティクスとは, 文章を解析して情報を取り出す分析

図 1 利用シーンの例.

のことである. テキストアナリティクスツールは人文科学の分野で頻繁に使用されているため，我々は その操作の説明文を生成することで貢献ができると 考えた。利用シーンの例を図 1 に示した.

本研究の課題のように，グラフや表などのデータ として記述されたものについてテキストで説明する タスクは Data-to-Text と呼ばれる [3]. 元来は規則や テンプレートをによる手法が考えられてきた $[4,5]$ が，自然な文を自動で生成するためには，膨大な規則の構築が必要である. そのため, 近年では深層学習を利用した手法が注目されている [6,7]. 深層学習モデルが十分な性能を発揮するためには大規模な データセットを用意しなければならず，その作成に はコストがかかるという問題がある。これを解決す るために擬似的にデータを生成してデータセットを 自動で拡張する手法がとられてきた $[8,9,10]$.

本研究ではテキストアナリティクスツールを利用 した際の仮想的なログを定義し，データセットを構築する. さらに， 3 種のデータ拡張手法を導入する。 その後, T5 [11]を学習させ，ログから操作の説明文 の生成と説明文からのログの生成を行う. 生成した 説明文とログについて，自動評価尺度による評価を 行う.ここで，データセットの拡張の有無やその手法による評価結果の違いについて考察する。

## 2 タスクの定義

## 2.1 使用するツール

本研究では，テキストアナリティクスツールとし て KH Coder [12]を用いる. KH Coder を使用した文献は累計で 5,686 件に上っており, 社会学や文学を はじめとした人文情報学の幅広い分野で使用されて いるツールである.

## 2.2 アノテーション

図 2 アノテーションの例.

最初に，少量のデータセットを人手で作成する. まず，使用者が変更可能な設定を予めリストアッ プした. 次に，KH Coderを用いた論文のリスト1)か ら 2021 年の論文をダウンロードした. そして，そ れらの論文からテキストマイニングを行った際の KH Coder での操作の説明にあたる文を抽出した.例を図 2 の実験設定の説明文に示した. 共起ネット ワークか対応分析を実施している論文がほとんどで あったため，どちらかの説明文のみを収集した。

その後，設定のリストをもとに説明文に対応する ログを人手で作成した. ログの先頭部分には分析方法を記述し，続く括弧の中には各設定項目に対する 值が「(設定項目)=(値)」という形式でコンマによっ て区切って記述されるようにログの記述方法を定め た. ログの例を図 2 に示した. ここで作成したデー タセットの概要を表 1 に記載する.

表 1 手動作成したデータセットの概要.

## 3 データ拡張手法

深層学習モデルが十分な性能を発揮するために は大量のデータが必要となるが，人手でのアノテー ションは費用や時間の点で高コストである. その問題に対処するためにデータ拡張を実施する. 本研究


では，(1) 擬似ラベルに基づく手法，(2) 値の入れ替 えによる手法，(3)2つの手法の併用，の 3 種の拡張手法を用いる. 本章では各手法について記述する。

## 3.1 擬似ラベリング

ここでは，新たにダウンロードした論文ファイル に固有表現認識とテキスト分類によって自動的なア ノテーションを行う.

## 3.1.1 固有表現認識

ここでは，実験設定の情報を説明文から抽出す る固有表現認識（NER）を行う。まず，手動作成の データセットの説明文を MeCab [13] を用いて単語分割した. そして，説明文に含まれる実験設定を固有表現とし, IOB 形式でアノテーションを施した.付録 $\mathrm{A}$ にその固有表現の種類と数の詳細を示す。

Flair [14]を用いて固有表現認識モデルを作成し た. 学習にあたり, Flair 内の日本語の文字単位の事前学習済みの埋め込みベクトルを使用した. テスト セットにおける予測結果の詳細を付録 B. 1 に示す.

得られたモデルを利用し，人手でダウンロードし た 2020 年の論文と Web スクレイピングによってダ ウンロードした 2019 年以前と 2022 年の論文計 2,132 件に対して固有表現認識を行なった. まず，論文 の pdf ファイルを pdfminer ${ }^{2}$ で読み込み， $\mathrm{spaCy}^{3}$ )の 文分割機能を用いて自動で文単位に分割する。その 後, 分割した文それぞれに対して NER のモデルで 固有表現を予測し, 定義したログの形へ整形した.

Flair の固有表現の予測においては確信度を示すス コアも出力される.ノイズが多いデータはモデルの 性能向上を妨げるとされていることから [15], しき い値を 0.5 に設定し，それより小さい確信度の固有表現を除外した。

## 3.1.2 テキスト分類

次に，文から分析方法を予測するモデルを作成す る. 固有表現抽出では分析とは無関係の文からも固有表現が予測される場合がある. そのため, 共起 ネットワーク，対応分析，それ以外の 3 クラスの分類タスクとして扱う. 2020 年の 18 件の論文から固有表現が予測された 205 文に対してその分析方法を 人手でアノテーションした. さらに，これらのデー タに手動で作成したデータを加え，データセットを

作成する.

モデルには BERT [16]を用いた。事前学習済みモ デルには東北大学乾研究室のモデル cl-tohoku/bertbase-japanese-whole-word-masking ${ }^{4}$ を用い，ファイン チューニングを行った. データセットを学習デー タ: 検証データ: テストデータで 8:1:1 に分割した後,学習データで 20 エポック学習させ，そのうち検証 データにおける損失が最も小さいモデルを最終的な 学習済みモデルとした. この時のテストデータにお ける結果の詳細は付録 B. 2 に示す。

このモデルを3.1.1 項で得られた文に適用した. この分類により, 文が共起ネットワークか対応分析 であると分類されたデータに対して分析方法の記述を追加したものを最終的なログとする. これによ り, 平均して 3,339 のデータが作成された.

## 3.2 スワップ

ここでは, 先行研究 $[8,9]$ と同様に説明文とログ の設定に関する值を置換することによりデータ拡張 を行う．具体的なアルゴリズムは付録 C に示す.こ れにより，平均して 1,620 のデータが作成された.

## 3.3 ハイブリッド

3.1 節と 3.2 節で作成したデータセットを結合させ て学習を行う。

## 4 実験

## 4.1 実験設定

モデルには T5 [11]を用いる. Data-to-Text のタス クに対して T5 の有用性は示されていることから [17]，本研究ではこれを用いることにした.

T5 は入力に prefix と呼ばれる語句を付加すること でタスクを識別し，1つのモデルで複数のタスクを 実行することが可能である [11]. 本研究でも，prefix を用いたマルチタスク学習を行う，具体的にはログ からの説明文の生成には入力の先頭に「translate $\log$ to text: 」を, 説明文からのログの生成には「 text to $\log$ : 」を付加する. 全ての訓練データに対し てこれらの 2 通りの入出力を作成する。 さらに，シ ングルタスクの場合でも実験を行い比較する.

事前学習済みモデルには園部 勲氏により transformers に公開されている sonoisa/t5-base-japanese ${ }^{5)}$


を使用した. Raffel ら [11]と同様にパラメータ の更新には Adafactor [18] を用い，学習率は 1e-3, scale_parameter false, relative_step false とした. バッチサイズを 8 とし 100,000 ステップの学習を 行った. 1,000 ステップごとに validationを行い, BLEU-4 の值が最も高いモデルで評価を行う．その 他のパラメータはデフォルトのものを用いた.

本研究で人手で作成したデータセットのサイズは 大きくない. そのため, 以下の手続きで交差検定を 実施した。まず，手動で作成したデータセットをラ ンダムにシャッフルした後, 4:1 に「訓練データおよ び検証データ」と「テストデータ」に分割し，交差検定を行う。さらに，前者のデータは学習データと 検証データに $4: 1$ に分割する. この訓練データと検証データを用いてデータセットを拡張する。なお，評価結果は交差検定における平均值を示している.

BLEU に代表される自動評価尺度は人間によ る評価と相関があることが示されている [19]. そのため, 説明文の評価指標には BLEU [20] と METEOR [21], BERTScore[22]を用いる。また，単純 な規則でログから説明文を生成するシステムも作成乙比較を行う．具体的な生成方法は付録 D に示す.

ログには分析の方法と設定を表す部分が存在す るが，これを分けて評価を行う。まず，生成された ログから分析方法についての部分を抜き取り, 正解 データに対する分類精度を一般的な分類タスクと 同様に計算した. その $\mathrm{F}$ 値を F1-method として表に 掲載した。続いて，分析の設定については括弧の 中に各設定項目に対する値が「(設定項目)=(値)」と いう形式で区切り文字コンマにより記述されてい る.これら設定項目と値の組の 1 ブロックを予測 とみなし，スコアを計算する。具体的には，予測の うち正解と設定項目と値が完全に一致している割合をPrecision とし，正解のうち設定項目と値が予測と完全に一致している割合を Recall として計算 した。例えば，生成されたログの設定項目を「(最小出現数 $=3$, 上位 $=60)$ ), 正解のログの設定項目を $「$ (最小出現数 $=3$, 上位 $=60$, 最小スパニングツリーだ けを描画=on)」とすると，Precision は $2 / 2$ となり， Recall は $2 / 3$ となる. Precision と Recall の調和平均 をF1-options とし計算した. さらに，「共起ネット ワーク」「対応分析」のどちらかの文字列で始まり， それに続いて「(」で始まり「)」で終わるものでな かったものをログの形式のエラーとして計測する. なお， $\mathrm{F}$ 値の計算にはエラーデータは除外している.

表 2 ログから生成した説明文の評価.

## 4.2 ログからの説明文生成

表 2 に実験の結果を示す。まず，ルールベースに と T5 による結果を比較すると BLEU では大きい差 ができていることがわかる。一方で，BERTScore の Precision はルールベースによる生成が最も高くなっ た.この結果からルールベースによる生成では情報 を的確に伝えられているが，論文で記述される文章 とは似ていないと考えられる。

次に，データセットを拡張する場合としない場合 を比較すると，データ拡張を行わない場合がスコア が高くなった. データ拡張手法によってスコアが向上しなかった理由として, 追加したデータの質が考 えられる。擬似ラベリングでは論文ファイルを新た にダウンロードして自動でアノテーションを行なっ た.このファイルの読み込み時にテキスト順序が本来のものでない場合や本文中にない pdf ファイルの 記号がテキストとして入る場合があり，これらがノ イズになっていたと考えられる。また，ダウンロー ドした論文によって読点を表す記号が異なるため文分割を使用したが，この精度が高くないということ も理由の 1 つとしてあげられる. そして，スワップ では文字列の置換を行うが置換すべき対象ではない 文字列まで置換されてしまうことがあるため，それ が学習の妨げとなってしまった可能性がある.

データ拡張手法内では全体的に見てスコアが最も 高いのはハイブリッドだった。これは擬似ラベリン グでは BERTscore の Precision が高く，スワップでは Recall が高くなっているという特徴があり，ハイブ リッドはこの両手法の長所を取り入れてより良い学習が可能になった結果だと考えられる.

そして，マルチタスク学習を行うことでスコアが 上がる場合と下がる場合があった。この結果から夕 スクに特化したモデルを得るためにマルチタスク学習を行うことがが必ずしも良いとは限らないと考え られ，これは Raffel ら [11] の結果と一致している.

## 4.3 説明文からのログ生成

表 3 説明文から生成したログの評価.

結果を表 3 に掲載した。まず，F1-method におい ては擬似ラベリングのスコアが最も高くなった．次 に，F1-options においては拡張しない場合のスコア が最も高かった。一方，エラーが多かったのはデー タ拡張をしない場合とスワップによる拡張の場合 だった. この結果からエラー数の減少に対するデー 夕拡張の有用性が確認できた。

また，マルチタスク学習を行うことによりスコア が下がりエラー数が減少する傾向が確認できた. こ ちらもマルチタスク学習を行うことがが必ずしも良 いとは限らないと考えられる結果となった。

## 5 おわりに

本研究では，テキストアナリティクスの際に出力 されるログと説明文の相互生成を行なった。これを 深層学習的モデルで行うにあたって, 少量のデータ セットを拡張するための固有表現認識とクラス分類 による自動アノテーション手法と值の置換による拡張手法を提案した. 実験において，データセットを 拡張しない場合と各拡張手法を自動評価尺度によっ て比較した。その結果，指標によってはデータ拡張 をすることでスコアが向上することが確認できた.

本研究ではログを仮想的に定義したが，その他の 一般的なツールにおいても本研究と同じ形式でア ノテーションを施すことによって同様の生成手法・ データ拡張手法をとることができるという点で応用可能性があると考えられ，研究の余地がある. その ため，様々なデータへの適用や適切な拡張手法の考案は今後の課題である.

## 参考文献

[1] Jeremy Freese and David Peterson. Replication in social science. Annual review of sociology, Vol. 43, pp. 147$165,2017$.

[2] Scott E Maxwell, Michael Y Lau, and George S Howard. Is psychology suffering from a replication crisis? what does "failure to replicate" really mean? American Psychologist, Vol. 70, No. 6, p. 487, 2015.

[3] Thiago Castro Ferreira, Chris van der Lee, Emiel Van Miltenburg, and Emiel Krahmer. Neural data-to-text generation: A comparison between pipeline and end-to-end architectures. arXiv preprint arXiv:1908.09022, 2019.

[4] Eli Goldberg, Norbert Driedger, and Richard I Kittredge. Using natural-language processing to produce weather forecasts. IEEE Expert, Vol. 9, No. 2, pp. 45-53, 1994.

[5] Kees Van Deemter, Mariët Theune, and Emiel Krahmer. Real versus template-based natural language generation: A false opposition? Computational linguistics, Vol. 31, No. 1, pp. 15-24, 2005.

[6] Tianyu Liu, Kexiang Wang, Lei Sha, Baobao Chang, and Zhifang Sui. Table-to-text generation by structure-aware seq2seq learning. In Thirty-Second AAAI Conference on Artificial Intelligence, 2018.

[7] Ratish Puduppully, Li Dong, and Mirella Lapata. Datato-text generation with content selection and planning. In Proceedings of the AAAI conference on artificial intelligence, Vol. 33, pp. 6908-6915, 2019.

[8] Ernie Chang, Xiaoyu Shen, Dawei Zhu, Vera Demberg, and Hui Su. Neural data-to-text generation with lm-based text augmentation. arXiv preprint arXiv:2102.03556, 2021.

[9] Ernie Chang, Vera Demberg, and Alex Marin. Jointly improving language understanding and generation with quality-weighted weak supervision of automatic labeling. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, pp. 818-829, Online, April 2021. Association for Computational Linguistics.

[10] Chris van der Lee, Thiago Castro Ferreira, Chris Emmery, Travis Wiltshire, and Emiel Krahmer. Neural data-to-text generation based on small datasets: Comparing the added value of two semi-supervised learning approaches on top of a large language model. arXiv preprint arXiv:2207.06839, 2022.

[11] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, Peter J Liu, et al. Exploring the limits of transfer learning with a unified text-to-text transformer. J. Mach. Learn. Res., Vol. 21, No. 140, pp. 1-67, 2020.

[12] 樋口耕一. テキスト型データの計量的分析一2つ のアプローチの峻別と統合一. 理論と方法, Vol. 19, No. 1, pp. 101-115, 2004.

[13] Taku Kudo. Mecab: Yet another part-of-speech and morphological analyzer. http://mecab. sourceforge.net/, 2005.

[14] Alan Akbik, Tanja Bergmann, Duncan Blythe, Kashif Rasul, Stefan Schweter, and Roland Vollgraf. FLAIR: An easy-to-use framework for state-of-the-art NLP. In NAACL 2019, 2019 Annual Conference of the North American Chapter of the Association for Computational Linguistics (Demonstrations), pp. 54-59, 2019.

[15] Benoît Frénay and Michel Verleysen. Classification in the presence of label noise: a survey. IEEE transactions on neural networks and learning systems, Vol. 25, No. 5, pp. 845-869, 2013.

[16] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018.

[17] Mihir Kale and Abhinav Rastogi. Text-to-text pre-training for data-to-text tasks. arXiv preprint arXiv:2005.10433, 2020.

[18] Noam Shazeer and Mitchell Stern. Adafactor: Adaptive learning rates with sublinear memory cost. In International Conference on Machine Learning, pp. 45964604. PMLR, 2018.

[19] Ehud Reiter and Anja Belz. An investigation into the validity of some metrics for automatically evaluating natural language generation systems. Computational Linguistics, Vol. 35, No. 4, pp. 529-558, December 2009.

[20] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th annual meeting of the Association for Computational Linguistics, pp. 311-318, 2002.

[21] Satanjeev Banerjee and Alon Lavie. Meteor: An automatic metric for mt evaluation with improved correlation with human judgments. In Proceedings of the acl workshop on intrinsic and extrinsic evaluation measures for machine translation and/or summarization, pp. 65-72, 2005.

[22] Tianyi Zhang, Varsha Kishore, Felix Wu, Kilian Q Weinberger, and Yoav Artzi. Bertscore: Evaluating text generation with bert. arXiv preprint arXiv:1904.09675, 2019.

## A アノテーションした固有表現

表 4 共起ネットワーク・対応分析における固有表現.

## B テストセットにおける予測結果

## B. 1 固有表現認識

表 5 固有表現認識モデルによる予測結果. 交差検定 1 回分の結果を示した. 高い頻度かつ単語数の少ない固有表現であるほど予測精度が高いという結果が得られた。

表 6 BERT による分析手法の分類の結果. 交差検定 1 回分の結果を示した.

## C スワップのアルゴリズム

スワップのアルゴリズム. value-set は各設定項目を キーとしてデータセット内の全ての取りうる値のリスト を返す辞書である。

## D ルールベースによる生成

本研究では，ルールベースによる生成を行なった。具体的なアルゴリズムは，ログの形式が「分析方法 (設定項目=値, 設定項目=值...)」であることを用いて「(設定項目) を(値),」という文字列を繰り返し，最後の設定項目まで 達した場合「とし (分析方法)を行った.」と出力する.

例えば，「共起ネットワーク (最小出現数 $=3$, 上位 $=60$, 最小スパニングツリーだけを描画=on)」というログが入力 として与えられた場合，「最小出現数を 3 ，上位を 60 ，最小スパニングツリーだけを描画を on とし共起ネットワー ク分析を行った.」となる.

## B. 2 分類モデル
 森田康介 ${ }^{1}$ 西村太一 ${ }^{1}$ 亀甲博貴 2 森信介 ${ }^{2}$ 1 京都大学大学院 情報学研究科 2 京都大学 学術情報メディアセンター \{morita.kosuke.45c, nishimura.taichi.43x\}@st.kyoto-u.ac.jp \{kameko, forest \}@i.kyoto-u.ac.jp  