# Wikipedia における文の品質推定のための大規模データセット

安道健一郎 ${ }^{1}$ 関根聡 ${ }^{2}$ 小町守 1
1 東京都立大学 2 理研 AIP
ando-kenichiro@ed.tmu.ac.jp

## 概要

Wikipedia は誰でも編集できるという特性上，客観的な百科事典の記述として適切ではない文が大量に含まれており，それらは日々編集者によりマー クアップされている. 本研究では, その作業支援 を目的に Wikipedia 内の文の品質推定を行うための データセットを構築し、その自動検出タスクを実施 した. 作成したデータセットは英語版 Wikipedia の 全編集履歴から抽出された約 341 万文に、大きく 5 種類に分類された 153 の品質ラベルが付与され、ノ イズなどの処理をしたものである.このデータを 使った分類ラベルの自動検出実験は、編集者をアノ テーターとした文品質検出実験と見ることができ， 73-85 程度の $\mathrm{F}$ 值が得られ、有用性が示された.

## 1 はじめに

Wikipedia は誰でも編集できることで有名な巨大 なオンライン百科事典である。しかし, Wikipedia の質は長い間論争の的となっており, それは自然言語処理（NLP）にとって非常に重要な問題である $[1,2,3,4]$. Wikipedia のテキストは NLP のデータ セットに広く利用され，主要なリソースとなってい るため, Wikipedia の品質が NLP に与える影響は大 きい $[5,6,7,8]$.

実際，いたずらなどによる質の悪い編集も存在す る.そのような編集はしばしば他の編集者によって Wikipedia テンプレート ${ }^{1)}$ でマークアップされ, 修正される. そのような，ユーザーの編集が繰り返さ れることで Wikipedia の質は信頼性面も含めて向上 し続けているが，全ての質の悪い編集文を限られた 編集者でチェックし修正することは非現害的であ る. そのため，この問題を機械でサポートする試 みが過去にいくつかなされている. 代表的なもの


は Wikipedia の Bot ${ }^{2)}$ で，自動で間違った Wikipedia マークアップ書式を修正したり，廃止された機能を 新しいものに置換したり，特に，荒らし的な編集 を元に戻すというものもある。しかし，これらは 素朴で表層的なエラーを対象としており，対象外 のエラーに対する多次元的で詳細な評価は人間が チェックしている. その他のサポートの試みとして は，記事全体の品質を推定する研究や，ある特定の 品質ラベルを識別しようとする研究も行われている $[9,10]$. 前者の bot は文単位でのきめ細かい評価が できず，後者は限られた質の悪い点のみに着目して いる.

そこで，我々はきめ細かく様々な側面から文の品質を推定するための大規模データセットを構築し た. 文の品質ラベルとして，編集者が各文に対して 付与した Wikipedia インラインテンプレート 3）を利用している. 対象ラベルをトークページに関するも のなどを除いて人手で厳選し，ノイズの多い文を フィルタリングした結果, 品質推定ラベルは合計 153 個，総文数は約 341 万文になった. 事前学習モ デルを用いた自動検出の実験では，引用を必要とす る文，構文や意味の修正を必要とする文，命題に関 する問題を持つ文は検出が困難であることがわかっ た.このデータセットは Wikipedia の編集者をアノ テーターとして大規模に文品質評価を行なったと見 ることもでき，NLP の他タスクにおいても有用であ ると思われる。構築されたデータセットは一般公開 されており利用可能である ${ }^{4)}$.

## 2 品質推定データセット

## 2.1 ソーステキスト

Wikipedia は Wiki markup というマークアップ言語 で書かれており，それが MediaWiki というパーサー

2) https://en.wikipedia.org/wiki/Wikipedia:Bots

3) https://en.wikipedia.org/wiki/Wikipedia: WikiProject_Inline_Templates

4) https://github.com/ken-ando/WikiSQE_dataset
表 15 種類に分類した Wikipedia の品質評価ラベル. それぞれ頻度上位 5 ラベルの中から特徴的な 4 ラベルを選び，そ の総数と説明を示している.

により HTML に変換されている. 本研究は英語版 の全編集履歴をターゲットにしているため，この HTML 化処理は非常に計算量が多く，計算リソース と時間を必要とする. そのため，先行研究 [11] で すでに HTML 化されているものを活用する.この データは 2019 年 3 月 1 日以前の英語版 Wikipedia の 全記事の全編集履歴を含んでいる.

## 2.2 対象ラベル

収集対象の品質評価ラベルは Wikipedia inline cleanup template ${ }^{5)}$ に含まれるものをべースとして使用する.このインラインテンプレート集は編集者に 向けて，Wikipediaにおける文の品質の指摘をする ための Wiki markup をまとめたものである. 我々が 持つソーステキストは HTML であるため，このイン ラインテンプレートを Wikipedia サンドボックスを 用いて HTML 表記に変換し, 品質評価ラベルリスト を獲得した。

しかし，この状態ではまだラベルリストのカバ

5) https://en.wikipedia.org/wiki/Category:Inline_

cleanup_templates
レッジに問題がある。第一にベースとして使用した Wikipedia inline cleanup template は 2022 年のもので あり，ソーステキストで用いられた 2019 年の Wiki markup とは相違がある. そのため, 各インラインテ ンプレートのページにリダイレクトしている，既に 廃止された Wiki markup ページを再帰的に取得し, サンドボックスを通すことで過去に遡った HTML 表記の品質評価ラベルを獲得した。第二の問題は MediaWiki パーサーの時間的相違である. ソースの HTML 表記は 2019 年時点の MediaWiki によって生成されたものであり，現在の MediaWiki の出力する HTML ラベルとは相違がある．つまり，サンドボッ クスで変換した HTML ラベルがソーステキスト内 に存在しない可能性がある。この問題に対処するた めに，ソーステキストに含まれる高頻度の品質評価 ラベルを人手でチェックし，リストにないものは新 たに収集リストに追加した。

結果， 153 種類の品質評価ラベルが得られた. そ の一部を表 1 に示す. 全取得ラベルとその説明は データセットの Webページにて公開されている.
表 2 Wikipedia の品質評価ラベルと文例.

## 2.3 品質カテゴリ

分析のために 153 の品質評価ラベルをさらに抽象化し 5 種類に分類した。（表 1，3）

Citation には引用に関するラベルが 59 個属する. このラベルは Citation needed という文に引用が必要 であるということを示すラベルが大多数であり， データセット全体に渡ってみても $68 \%$ 占める。

Syntactic or semantic revision は文法や意味的な改善が必要ということを示すグループであり，26 個の ラベルが属する. Clarification needed という曖昧で わかりにくい文意を明確にするべきというラベルが 多数存在する.

Information addition は文に何かしらの追加の情報 が必要であることを示すグループである．最も多い ラベルは Who?であり，特定の人物名が明記されて いないことを示すラベルである.

Disputed claim は文の形態に問題はないが，その 命題に問題があることを示すグループである. 最も 多いラベルは Dubious であり，編集者から見て，不自然な，真偽が怪しい情報が含まれていることを 示す.

最後に Other はどのグループにも属さないラべ ルの集合である．最も多いラベルは Disambiguation needed であり，文内の Wikilink が曖昧さ回避ページ にリンクされていて改善が必要な際にマークアッ プされる. 次いで多いラベルは Sicである。これは ソースに忠実なものの，一般的にみれば文法的に誤 りである事例が含まれている。

このカテゴリはさらに, Wikipedia に依存する表 35 種類の文品質カテゴリの統計量. \# L はラベル数 ＃T は単語数，PPL はパープレキシティを示している。

ものとそうでないもので分けられる. Syntactic or semantic revision, Information addition, Disputed claim (SID) の 3 カテゴリは一般の文品質にも共通する 特性を備えているため，後の実験で分離して扱う. SID には約半数の 78 種類のラベルが含まれている.

## 2.4 文抽出とフィルタリング

文抽出はソーステキストを pySBD [12]を用いて 文分割し，2.2 節で取得された品質評価ラベルリス トを持つ文を抽出することで行った. しかし，ソー ステキストはこのままではセクションタイトルや 非文などが含まれており，ノイジーである. そのた め，極端に短い文，Wiki markup がそのまま残って いる文，頭文字が小文字である文などをフィルタリ ングした. 各文は引用マーカーが取り除かれて重複 が削除され，最終的に $3,417,909$ 文が取得された.

## 2.5 データセットの分析

取得できた文例を表 2 に示す. ラベルによっ て，文，単語，節に付加されるものがある. 例え ば, Citation needed や Clarification needed, Dubious, Neutrality disputed などはその性質上，文や節など 対象のスパンに付加されやすい。一方で，Who?,

When?，Sicなどは単語に付加されることが多い.

表 3 に GPT-2を用いて算出した各カテゴリのパー プレキシティを示した. パープレキシティはカテゴ リの特性をよく反映しており，Syntactic or semantic revision は文法，意味的に一般とは外れた用法が多 いため，パープレキシティが高くなっている. Other は Sic が多く含まれているため, 特にパープレキシ ティが高い. また, Disputed claim は命題的に特異的ではあるものの，パープレキシティは低く，表層 にその特徴が現れない，判定が難しいグループであ ることが予想できる. Information addition は追加の 情報が必要だが，文自体に問題はない性質があるた め，パープレキシティは低かった.

## 3 実験

Wikipedia の問題のある文の自動検出を行うため に，作成したデータセットを用いて実験を行う．

## 3.1 セットアップ

実験は開発データ，テストデータに十分なサイズ を用意するため，カテゴリごとに実行した（十分サ イズが大きい頻度上位 20 個のラベルの実験結果に ついては Appendix B を参照). 実験のためのデータ セットとして, 前節までに作成したデータの品質ラ ベルを除去したものを正例とし，新しくラベルの付与されていない文をランダムで同じサイズにサン プルしたデータを負例とする. 開発データとテスト データのために，正例と負例をそれぞれ 500 文ずつ ランダムに抽出し, 結合して 1000 文としたものを 2 つ用意する. 残りのデータを訓練データとして使用 した. また, Citation needed については突出してラ ベル数が多いため，カテゴリの評価をなるべく公平 に行うために 200,000 文までにダウンサンプルして 使用した，加えて，SIDとすべてのラベルを含む All を用意する。それらは単なる加重平均ではなく, 属 するカテゴリのラベルを全て連結し，シャッフルし た単独のデータセットである．検出に用いるモデル は DeBERTa [13] と BERT [14], RoBERTa [15] をファ インチューニングしたものであり，全ての設定につ いて 2 值分類である.

## 3.2 実験結果

自動検出の実験結果を表 4 に示す. 全体的には平均的に 7-8 割程度の検出精度であったが, 引用の問題，構文や意味の修正を必要とする文，命題に関す表 4 自動検出の実験結果（F1 スコア）.

る問題を持つ文は検出が比較的困難であることが 分かった. 引用の問題については引用元の文献を勘案しなければならないため，Wikipedia 本文だけで は特定が難しいものと思われる。構文や意味の修正 を必要とする文と命題に関する問題を持つ文につ いては，高次に意味的な要素を捉えなければならな いため難しい. また，何らかの情報の付加が必要な 文は付加する対象の表現に特徴があるため, 高精度 に検出できたものと思われる（When?は時間表現を 対象とするなど). モデル間の比較では, 総合的に BERT が最も良いスコアを示したものの，モデル間 の性能に顕著な違いは見られなかった. 最後に，す べてのデータを用いた All がどのモデルにおいても 最低の精度であった。一方 SID は精度が高く, その 差を勘案すると，カテゴリのまとまりを無視した横断的なデータを用いて学習した弊害であると思われ る. SID は AII と比べて似た文をうまくクラスタリ ングできているので，うまく学習できた.

## 4 関連研究

過去の Wikipedia の編集者支援のための品質推定研究は主に記事単位で行われている [16]. 一方で,文単位に着目した品質推定の研究も存在する. そ れらは引用が必要ということを示す Citation needed [9], 誇張した表現を示す Puffery や Peacock [10], 曖昧な言い回しを示す Weasel words [17] ラベルを対象 に文を集めて分析している。本研究との詳細な比較 を Appendix A に示す. 先行研究は一般に公開され ていないものも多く, Wikipedia の一部の品質ラべ ルを対象としており, 全体を含んだものではない.

## 5 おわりに

本研究では Wikipedia のための文品質推定データ セットを構築し，ラベルの目的ごとにカテゴリを作成した. 自動検出実験では平均的に 7-8 割程度の精度で検出できることが分かった。

## 謝辞

本研究は国立研究開発法人情報通信研究機構委託研究「自動翻訳の精度向上のためのマルチモー ダル情報の外部制御可能なモデリングの研究開発」及び JSPS 科研費 JP20269633 の助成を受けて行わ れた.

研究の遂行にあたり, ご議論いただいた東京大学 の渡邊晃一郎氏に深く感謝いたします。

## 参考文献

[1] Jim Giles. Internet Encyclopaedias Go Head to Head. Nature, Vol. 438, pp. 900-901, 2005.

[2] Encyclopaedia Britannica. Fatally Flawed: Refuting the Recent Study on Encyclopedic Accuracy by the Journal Nature. Chicago, Estados Unidos: Encyclopaedia Britannica, 2006.

[3] Editorial. Britannica Attacks. Nature, Vol. 440, p. 582, 2006.

[4] Thomas Chesney. An Empirical Examination of Wikipedia' s Credibility. First Monday, Vol. 11, No. 11, Nov. 2006.

[5] Pranav Rajpurkar, Jian Zhang, Konstantin Lopyrev, and Percy Liang. SQuAD: 100,000+ Questions for Machine Comprehension of Text. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 2383-2392, November 2016.

[6] James Thorne, Andreas Vlachos, Christos Christodoulopoulos, and Arpit Mittal. FEVER: a Large-scale Dataset for Fact Extraction and Verification. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 809-819, June 2018.

[7] Mahnaz Koupaee and William Yang Wang. WikiHow: A Large Scale Text Summarization Dataset, 2018.

[8] Marta Bañón, Pinzhen Chen, Barry Haddow, Kenneth Heafield, Hieu Hoang, Miquel Esplà-Gomis, Mikel L. Forcada, Amir Kamran, Faheem Kirefu, Philipp Koehn, Sergio Ortiz Rojas, Leopoldo Pla Sempere, Gema RamírezSánchez, Elsa Sarrías, Marek Strelec, Brian Thompson, William Waites, Dion Wiggins, and Jaume Zaragoza. ParaCrawl: Web-Scale Acquisition of Parallel Corpora. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 4555-4567, 2020.

[9] Miriam Redi, Besnik Fetahu, Jonathan Morgan, and Dario Taraborelli. Citation Needed: A Taxonomy and Algorithmic Assessment of Wikipedia's Verifiability. In Proceedings of the 28th International Conference on World Wide Web Companion, pp. 1567-1578, 2019.

[10] Amanda Bertsch and Steven Bethard. Detection of Puffery on the English Wikipedia. In Proceedings of the Seventh Workshop on Noisy User-generated Text, pp. 329-333, November 2021.
[11] Blagoj Mitrevski, Tiziano Piccardi, and Robert West. WikiHist. html: English Wikipedia's Full Revision History in HTML Format. In Proceedings of the International AAAI Conference on Web and Social Media, Vol. 14, pp. 878-884, 2020.

[12] Nipun Sadvilkar and Mark Neumann. PySBD: Pragmatic Sentence Boundary Disambiguation. In Proceedings of Second Workshop for NLP Open Source Software, pp. 110-114, Online, November 2020.

[13] Pengcheng He, Xiaodong Liu, Jianfeng Gao, and Weizhu Chen. DeBERTa: Decoding-enhanced BERT with Disentangled Attention. In Proceedings of The 8th International Conference on Learning Representations, 2020.

[14] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 41714186, June 2019.

[15] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. RoBERTa: A Robustly Optimized BERT Pretraining Approach, 2019.

[16] KayYen Wong, Miriam Redi, and Diego Saez-Trumper. Wiki-Reliability: A Large Scale Dataset for Content Reliability on Wikipedia. In Proceedings of the 44th International ACM SIGIR Conference on Research and Development in Information Retrieval, pp. 2437-2442, 2021.

[17] Viola Ganter and Michael Strube. Finding Hedges by Chasing Weasels: Hedge Detection Using Wikipedia Tags and Shallow Linguistic Features. In Proceedings of the ACL-IJCNLP 2009 Conference Short Papers, pp. 173176, Suntec, Singapore, August 2009.
表 5 先行研究との比較表. “Public?” はデータの公開状況を表す。

表 6 頻度上位 20 品質ラベルの結果. 各 ハイライトは Citaion, Syntactic or semantic revision, Information addition, Other, Disputed claim $の$ 上位力 テゴリを表す.

## A 先行研究との比較

Wikipedia の inline cleanup template を使用し，文の 品質推定を行った先行研究との詳細な比較を表 5 に 示す.

## B 個別ラベルの自動検出結果

品質ラベルの頻度上位 20 ラベルについて DeBERTa で自動分類した結果を表 6 に示す.

## C 実験の詳細

DeBERTa, BERT, RoBERTa はすべて Base_uncased モデルを用いた. エポックは最大 20 に設定し，F1 が最大であるべストエポックモデルをテストに使用 した. 最大入力系列長は 256 , バッチサイズは 64 、学習率は 1e-5 である.
 安道健一郎 ${ }^{1}$ 関根聡 ${ }^{2}$ 小町守 1 1 東京都立大学 2 理研 AIP ando-kenichiro@ed.tmu.ac.jp  