# 利用規約における QA データセットの作成及び検証

高野海里 1 プタシンスキ・ミハウ ${ }^{1}$ 栘井文人 1
1 北見工業大学テキスト情報処理研究室
f1912290090@std.kitami-it.ac.jp \{michal, f-masui\}@mail.kitami-it.ac.jp

## 概要

本研究では利用規約が読まれていないことで起こ るユーザと企業の双方の問題やトラブルを指摘し， その問題を軽減するため，兄長な利用規約をわかり やすく自動要約する方法が有効であると考えられ る.しかし，自動要約の評価には，人間評価者の応用が必要となり, 近年公開されている数多くの言語 モデルの内，どのモデルが最適しているかの評価が 困難となっている．そこで，自動要約の評価を効率化させるために，文書を要約する前にその文書を理解しなければならないという考えのもと，質問応答 のタスクを用いて最適な言語モデルを選抜する。そ の中で，3つの質問応答データセットを用いて単言語・多言語両方種類の複数の言語モデルを微調整を 行うことで，日本語の質問応答タスクのおいて優れ た言語モデルと, 優れたパラメーター（学習率等） について検証し, その結果について報告する。

## 1 はじめに

インターネットの普及に伴いさまざまなサービ スが配信されており，それらの多くは利用開始時に 利用規約に同意することが求められている. サービ スの内容や社会的役割の増大に併せて文章量が増加・複雑化しているためか，利用規約を読まない ユーザは多くいることが報告されている [1]. 例と して Twitter の利用規約 ${ }^{1)}$ は 11,432 文字, Linkedin の 利用規約 ${ }^{2}$ は 13,233 文字, Facebook の利用規約 3 ) は 15,852 文字と原稿用紙にして 30 枚以上もの文量で ある.これらの穴長な利用規約はサービスを利用す るユーザだけでなく，サービスを提供する企業に とっても問題を生む可能性がある. ユーザにとって は利用規約を読まないことで詐欺などの危険や不利益を被る可能性があり, 企業側にとっては禁止事項

1) https://twitter.com/ja/tos

2) https://jp.linkedin.com/legal/user-agreement

3) https://ja-jp.facebook.com/legal/terms
の伝達漏れ等によるトラブルを誘発する可能性が ある.

このような問題を軽減する手法の一つとして， ユーザにとって読みやすくするために， 冗長な利用規約をわかりやすく要約し，ユーザによる読解率を 上げることである．しかし，企業の作業員が行う人手のみによる利用規約を要約する作業は，時間及び 人件費がかかり，さらに利用規約の内容が法律に合 わせて定期的に更新しなければならないことからす ると，人手にて行うことは極めて非効率的である. その課題を解決するためには，文章の自動要約の技術を使うという方法が挙げられる．要約とは元の意味が変わらないように文章を短くすることであり，正確な要約を行うためにはその文章の意味や内容を 正しく理解する必要がある.

そこで，我々はこのような要約時における入念な 理解の重要性に着目し, 言語モデルにあらかじめ要約対象文を理解4)させることで自動要約の精度を向上できると考えた. そこで本研究では, 要約対象文 を理解した状態を「要約対象文に関する質問に正し く答えられる状態」と見なし，質問応答のタスクで 学習させた言語モデルがどの程度の精度で自動要約 を行えるかを調査する。本論文では具体的に質問応答の部分に焦点を当て，最も高い精度を出せる事前学習済み言語モデルを調査した結果を報告する。

## 2 関連研究

ユーザが利用規約を読まないことにより生じるリ スクを低減するために，利用規約の読解を促進させ る研究は過去にも行われてきた。例えば，竹ノ内ら [2] は，利用規約の表示方法に工夫を加えたが，ユー ザの理解度に大きな改善が得られなかったことを報告している。 さらに，抽出型要約の観点からは，野村ら [3] は，個人の属性に左右される重要文と一般 に共通する重要文を利用規約から抽出している。ま

4）ここの “理解”とは人間と同じ意味の言語理解のことでは なく言語モデルにおいて文書を正確に処理を行うこと指す。

た，Doc2vec や SentenceBERTを用いて文章をべクト ル化し, 既知の利用規約との類似度が低い未知条項 を抜き出すことで不利益をもたらしうる文章を抽出する研究も行われている $[4,5]$. これらに対して 我々のアプローチは言語モデルを用いた抽象型要約 を視野に入れているため，より理解しやすい要約文 の生成が期待できる.

## 3 基本的な概念の説明

本研究では Question Answering（質問応答，略： QA) と Automatic Summarization (自動要約, 略：AS) の技術を組み合わせることで利用規約の文章量を減少させ，ユーザに読解を促進させることを最終目標 とする。そこで具体的には，質問応答の技術を最適 なモデルの選抜に用い，自動要約の技術における人手による評価を効率化させる.

質問応答とは，ある文章を入力に，その文章に関 する質問への回答を出力するタスクである．タスク の応用例として，顧客から寄せられた質問に対する 企業の回答の自動化 [6] や対災害システム [7] など が挙げられる．自動要約とは，ある文章において段落の意味を失わない程度に短くするタスクである。自動要約の応用例として, 研究論文の要約による論文選択時間の短縮 [8] などが挙げられる.

そこで本研究は, 図 1 に示したフローチャートの ように以下 5 段階で研究を進行する.

1. 利用規約の文章に対して，要約対象文である 「コンテキスト」「質問」「回答」からなる質問応答データセットを作成する.

2. 作成したデータセットを用いて複数の言語モデ ルを学習させ， QA タスクで評価し比較する。

3. 評価値が低い場合，データセットの調節（デー タの追加, 質問再作成など）後 2 . に戻ってプロ セスを繰り返す。

4. 評価値の高い言語モデルを用いて, 別に用意し た利用規約の文章を要約させ，さらにSA タス クに応用し評価する。

5. 評価値が低い場合は, 改めてデータセットの調節後 2 . に戻ってプロセスを繰り返す。

## 4 実験

本実験では，8つの言語モデルを 3 種類のデータ セットで学習後, 評価実験を行うことで，日本語の 質問応答のタスクにおいて優れたモデルを調査す

図 1 研究進行のフローチャート

る. また学習率を 2e-5 と 1e-4 に変化させ学習を行 うことで，日本語の質問応答タスクにおいてどちら の学習率が優れているか調査する。また本実験で 使用した実行環境は OS: Ubuntu 20.04.03 LTS，CPU: Intel Xeon E5-2687W v2 @ 3.40GHz，メモリ: 188GB, GPU: GeForce RTX 3060 である.

## 4.1 言語モデル

本実験ではデータを Tokenize（トークン化）する 際に，文中における文字の位置と範囲を示してい る return_offsets_mapping を使用でき, HuggingFace ${ }^{5)}$ にて公開されていて日本語に対応している 8 つの 言語モデルを用いて質問応答タスクの学習を行っ

5) https://huggingface.co

た. 使用した言語モデルの種類は BERT，DeBERTa， RoBERTa，DistilBERT の 4 つであり，多言語で事前学習された言語モデルを 4 つ, 日本語のみで事前学習された言語モデルを 4 つ使用した.

## 4.2 データセット

JaQuAD JaQuAD (Japanese Question Answering Dataset)[9] は日本語機械読解のために作成され た質問応答データセットであり, 日本語 Wikipedia の記事から収集されたコンテキストに対し 39,696 の質問と答えで構成されている.コンテキストは哲学，歴史をはじめとした，さまざまなドメインにお ける質の高い記事6)7)から取集されている。

JSQuAD JSQuAD は JGLUE (Japanese General Language Understanding Evaluation)[10] に構築されている 質問応答データセットである. 2021 年 11 月 1 日時点の日本語版 Wikipedia の記事から収集されたコン テキストに対し 72,721 の質問と答えでSQuAD 形式 で構成されているまた本実験では SQuAD 形式から DatasetDict 型への変換を行うことで，他のデータ セットと限りなく近い条件で使用している.

QADfT QADfT (Question Answering Dataset for Terms of Use $)^{8}$ は JaQuADを参考に, 筆者自ら作成した利用規約特化の factoid 型質問応答データセッ トである. Twitter(147 個，参照日:2022/7/13)，Face$\operatorname{book}$ (69 個, 参照日:2022/8/2), ニコニコ (61 個, 参照日:2022/8/12 ${ }^{9)}$ ， $\operatorname{LINE}\left(100\right.$ 個，参照日:2022/8/12) ${ }^{10)}$, Nintendo Switch(54 個，参照日:2022/8/12) ${ }^{11)}$ ，Nintendo WiiU(89 個，参照日:2022/8/16) ${ }^{12)}$ ，Nintendo 3DS(288 個, 参照日:2022/8/31) 13 ), Nintendo ネットワーク (192 個，参照日:2022/8/25 $)^{14)}$ ，の利用規約から収集した コンテキストに対し, 合計 1,000 の質問と答えで構成されている. 作成したデータセットの一例を 1 に 示す.

6）https://ja.wikipedia.org/wiki/wikipedia:良質な記事

7) https://ja.wikipedia.org/wiki/Wikipedia:秀逸な記事

8) https://huggingface.co/datasets/umisato/QADfT

9) https://account.nicovideo.jp/rules/account

10) https://terms.line.me/line_terms?lang=ja

11) https://www.nintendo.co.jp/support/switch/eula/ usage_policy.html

12) https://www.nintendo.co.jp/support/wiiu/pdf/ wiiu_eula.pdf

13) https://www.nintendo.co.jp/support/information/ 2022/pdf/Nintendo3DS_EULA_20220830.pdf

14) https://www.nintendo.co.jp/support/nintendo_ network/eula/index.html表 1 作成したデータセットの一例

## 4.3 評価指標:SQuAD

SQuAD は質問応答における評価指標の一つであ る. 評価に $\mathrm{EM}$ と $\mathrm{F} 1$ の二つのパラメータを用いる. EM は Exact Match の略で，言語モデルによって生成 された答えと正解が完全一致しているかを示すもの である. F1 は言語モデルによって生成された答え と正解がどれたけ近似しているかを示すものであ る. 本指標における EM のスコア範囲は 0-100であ り, F1 のスコア範囲は 0-1 である.

## 4.4 結果と考察

各データセットを用いた評価実験の結果を表 2～ 5 に示す. また, 表の可読性向上のためスコアの右隣の丸括弧はスコアが高い順に $1,2,3 \ldots$ としており，上位 4 つのスコアを太字で示している. 加えて，付録 A にて可読性向上のため表 2 5を棒グラフで表 したものを図 2〜5に示す.

双方の学習率，各データセットでスコアの 比較をすると，KoichiYasuoka/bert-base-japanesewikipedia-ud-head, bert-base-multilingual-cased, bert-base-multilingual-uncased $の 3$ つ言語モデル は常に上位 4 つのスコアに含まれることから，これ らの言語モデルは日本語の質問応答タスクにおいて 優れたモデルであるといえる．加えて，これら 3 つ の言語モデルの特徴として, モデルの種類が BERT であることから，BERT モデルは他モデルより日本語の質問応答タスクにおいて優れていると考察でき る。また，軽微な差はあれど全体的にスコアが高い ことから，学習率は 1e-4 の方が優れているといえ る. ただし，例外としてxIm-roberta-baseを QADfT

で学習させた場合のみ, 学習率が 2e-5 でのスコアが 大幅に高くなった. これに関して詳しい原因は不明であるが，他のデータセットと比べて QADfT の データ数が 1000 件と少なく，結果においてはっき りとしたパターンが現れにくかったことが考えら れる.

さらに，単言語のモデルの中，青空文庫で事前学習したモデルは全て結果が低く, Wikipediaを元に 事前学習したモデルは, Wikipedia の QA データセッ 卜で比較的に高い結果となっていることから，事前学習言語モデルにおけるドメイン依存性のことを示 していると考えられ，従来研究でも指摘されている 現象である [11][12][13].

そして，単言語のモデルと比べて，多言語のモデ ルの方が大幅結果が高く, 事前学習言語モデルでは 言語間の知識共有のことを示しており，従来研究で 指摘されていることが再確認されている [12][13].

総合的に判断した結果, 研究の次段階では利用規約の自動要約に用いるモデルを選抜した. そ こで，まず，総合的に結果が高かった bert-basemultilingual-cased を用いることにした. 同じモデル の「-uncased」バージョンも結果が高かったが，モ デルの種類が似ているため，最高結果のもののみを 用いることにした. さらに，複数の種類のモデルの 性能を比較するため, xlm-roberta-base も用いるこ とにした. そして, 前者の 2 モデルが多言語のモ デルのため, 単言語のモデルの性能も比較するた めには KoichiYasuoka/bert-base-japanese-wikipediaud-head も用いることにした.

## 5 おわりに

本研究では利用規約が読まれていない社会背景 に対して，質問応答と自動要約を合わせて用いるこ とで自動要約の精度を上げつつ，ユーザに利用規約 の読解を促せるかを考えた. その初期段階として， 3 つの質問応答データセットを用いて，8 種類の言語モデルの微調整を行うことで, 日本語の質問応答 タスクのおいて優れた言語モデルと, 優れた学習率 を選抜することができた. 具体的な評価実験の結果 として 8 つの言語モデルから日本語の質問応答夕 スクにおいて優れたものを得ることができ，ほとん どの言語モデルの学習率は 1e-4 の方が優れている ことが分かった. しかし一部の言語モデルとデータ セットの組み合わせでは, 学習率が 2e-5 の方が優れ ていた. 結果から BERT モデルは他モデルに比べ日表 2 評価実験の結果 (EM, learning late=2e-5)

表 3 評価実験の結果 (EM, learning late=1e-4)

表 4 評価実験の結果 (F1, learning late=2e-5)

表 5 評価実験の結果 ( $\mathrm{F} 1$, learning late=1e-4)

本語の質問応答タスクにおいて優れていると考察 できる. また，一部の言語モデルに関しては，組み 合わせたデータセットのデータ数が 1000 件と少な かったがため, 学習率が 2e-5 の方が優れた結果に なったのではないかと考察できる. 今後の課題とし て，学習率が 2e-5 の方が適していた言語モデルに組 み合わせたデータセットのデータ数を増やした後,変化が見られるかを再度検証する. また, 4.4 で述 べた 3 つの言語モデルを用いて自動要約を行う.

## 参考文献

[1] 公正取引委員会. デジタル広告の取引実態に関する 中間報告書. Technical report, 公正取引委員会, 42020.

[2] 竹ノ内朝陽, 矢谷浩司. サービス利用規約の読解促進を目指した表示手法の比較検討. FIT, Vol. 3, pp. 57-64, 2020.

[3] 佳太野村, 司前川, 晃三水谷, 正之荒井. 利用規約等に おける重要文の抽出手法の検討. 第 78 回全国大会講演論文集, Vol. 2016, No. 1, pp. 575-576, 032016.

[4] 竹ノ内朝陽, 矢谷浩司. 利用規約中の特異な文章 を強調するインタフェース. 電子情報通信学会全国大会. The Institute of Electronics, Information and Communication Engineers, 3 月 2021.

[5] 大茂森口, 健二中村. 機械学習を用いた利用規約から の未知条項の抽出に関する研究. 日本知能情報ファ ジィ学会 ファジィシステムシンポジウム 講演論文集, Vol. 34, No. 0, pp. 861-862, 2018.

[6] 佐藤理, 太田竜男, 佐藤雪乃, 松本桂子, 田澤和彦. 事例データベースを利用した質問応答システムの構築. 全国大会講演論文集,第 49 回,ソフトウェア, pp. 175-176, 091994.

[7] 後藤淳, 大竹清敬, 橋本力, 川田拓也, 鳥澤健太郎. 質問応答に基づく対災害情報分析システム. 自然言語処理, Vol. 20, No. 3, pp. 367-404, 2013.

[8] Jinghong LI. 観点を反映した深層学習および強化学習による学術論文の自動要約生成. 2021.

[9] ByungHoon So, Kyuhong Byun, Kyungwon Kang, and Seongjin Cho. Jaquad: Japanese question answering dataset for machine reading comprehension. arXiv preprint arXiv:2202.01764, 2022.

[10] 栗原健太郎, 河原大輔, 柴田知秀. Jglue: 日本語言語理解ベンチマーク. 自然言語処理, Vol. 29, No. 2, pp. 711-717, 2022.

[11] 柴田祥伍, プタシンスキミハウ, エロネンユーソ,ノ ヴァコフスキカロル, 栘井文人. 日本語大規模ブログ コーパス yacis に基づいた electra 事前学習済み言語 モデルの作成及び性能評価. 言語処理学会第 28 回年次大会 (NLP2022), pp. 285-289, 2022.

[12] Juuso Eronen, Michal Ptaszynski, Fumito Masui, Masaki Arata, Gniewosz Leliwa, and Michal Wroczynski. Transfer language selection for zero-shot cross-lingual abusive language detection. Information Processing \& Management, Vol. 59, No. 4, p. 102981, 2022.

[13] Juuso Eronen, Michal Ptaszynski, and Fumito Masui. Zero-shot cross-lingual transfer language selection using linguistic similarity. Information Processing \& Management, Vol. 60, No. 3, p. 103250, 2023.

## A 付録

図 $2 \mathrm{EM}$ (learning late=2e-5)

図 3 EM (learning late $=1 \mathrm{e}-4$ )

図 4 F1 (learning late $=2 e-5$ )

図 5 F1 (learning late=1e-4)
 高野海里 1 プタシンスキ・ミハウ ${ }^{1}$ 栘井文人 1 1 北見工業大学テキスト情報処理研究室 f1912290090@std.kitami-it.ac.jp \{michal, f-masui\}@mail.kitami-it.ac.jp  