# 複数作業者を想定したアノテーションツールの 作成と機能の検討

星島洸明
京都大学大学院情報学研究科
hoshijima.komei.72x@st.kyoto-u.ac.jp
亀甲博貴
京都大学学術情報メディアセンター
kameko@i.kyoto-u.ac.jp

## 1 はじめに

近年，市民科学 (Citizen Science) を活用した研究 プロジェクトが注目されている。市民科学は非専門家が科学的な調査や研究活動を行うことを指す. 市民科学の特徴は少数の専門家のみで作業すると時間 と費用が膨大にかかるプロジェクトでも多数の非専門家がプロジェクトに参加すると効率的に作業を 進められることである。市民科学のブロジェクトの 例として京都大学古地震研究会が 2017 年に公開し た市民参加型史料翻刻プロジェクト「みんなで翻刻 (地震史料)」[1]が挙げられる. 翻刻とはくずし字 で書かれている古文書などの歴史史料を一文字ずつ 活字に書き起こしていく作業のことを指す.「みん なで翻刻」は web 上で歴史史料を翻刻するためのア プリケーションであり，翻刻作業には研究者だけで なく一般の人々も参加している.

このように，多くの研究分野においてデータに対 して人手でラベルを付与することが求められてい る.そのため，タスクに応じたラベルをつけるアノ テーションツールの需要がある. アノテーション ツールを使用するのが複数人であると想定すると，作業する人それぞれが対象の専門的知識をどの程度有しているかは不明である。またCUIに慣れていな い人も含まれるためツールはマウスのクリックと簡単なキーボードからの入力のみで扱えることが好ま しい.

本研究では，非専門家が複数人いる状態で効率的 にアノテーションすることを目指して，固有表現を 題材にしたアノテーションツールを試作した. 実験 ではアノテーションツールを使用して固有表現の アノテーションコーパスを作成した. 実験の結果,

\author{
西村太一 \\ 京都大学大学院情報学研究科 \\ nishimura.taichi.43x@st.kyoto-u.ac.jp \\ 森信介 \\ 京都大学学術情報メディアセンター \\ forest@i.kyoto-u.ac.jp
}

固有表現認識モデルの支援がある状態のほうが，支援がない場合よりラベル付けされたアノテーショ ンコーパスの品質は向上した。作成したそれぞれの コーパスで学習し比較した結果，支援がある場合で 作成したアノテーションコーパスで学習したほうが $\mathrm{F}$ 値が向上した.

## 2 関連研究

## 2.1 アノテータが複数いる状態のアノテー ション

複数のアノテータが同一の文書に対してアノテー ション作業を行う際，複数のアノテーションデータ から最も優れているラベルデータを選出し, 作成さ れたアノテーションデータで学習したモデルでまだ アノテーションされてないテキストに対してラベル 候補を提示する研究がある [2].

クラウドソーシングでラベル付きのデータを収集 するとアノテータがラベル付けしたタスクに対して 専門的知識をどの程度有しているかはアノテータそ れぞれで異なる. そのため，アノテーションの品質管理はクラウドソーシングにおいて重要な課題であ る. アノテータつけたラベルが誤りであるかを推定 する方法として同じデータを複数のアノテータにラ ベル付けしてもらい，その結果の多数決をとること でラベルの統合を行う方法がある．しかしこの方法 は各アノテータの誤り率が同等であることを前提と するため必ずしも効率的な方法ではない．アノテー タの誤り率を推定するため専門的知識の有無などを 考慮に入れた方法が提案されている [3].

図 1 試作したツールの全体図.

## 2.2 非専門家がいる状態のアノテーション

Snow らの研究 [4] ではクラウドソーシングによっ て専門家，非専門家それぞれがアノテーションコー パスを作成した. 非専門家のアノテータが作成した データの品質の偏りがあるため, データの品質から アノテータの評価を行い管理した. その結果，設定 した 5 つのタスクにおいて非専門家が作成したアノ テーションコーパスは専門家が作成したアノテー ションコーパスの 4 倍用意すると識別機の性能が同 じになった.

専門分野に関する知識を有しない非専門家と専門家が同じテキストに対してラベル付けをする場合， まず非専門家がテキストのラベル付けをしてその 生成物を専門家が修正することで，アノテーション コーパスを生成するコストを削減しアノテータ間の 一致率を向上させた研究がある [5].

## 2.3 既存のアノテーションツール

系列ラベリングで使用される既存のテキストアノ テーションツールはショートカットキーの設定 [6],能動学習を使用可能 [7] といった機能があり，効率的なアノテーションコーパスの作成ができる. 本研究では，こうしたツールを参考に，(1) ラベル候補の 提示機能と (2) ショートカットキーの設定機能が実装されており，効率よくアノテーションを行うこと ができる.
Ac.

居了

図 2 ツールのインターフェイス

## 3 アノテーションツール

複数人が作業することを想定した，ラベル付けを するためのツールを開発した。本ツールの概要図を 図 1 に示す.ツールのラベル付けするときのイン ターフェイスを図 2 に示す. 本ツールはアノテータ が複数人であることを想定しており，各アノテータ はアカウントを作成し各々が作業するプロジェクト を作成する。次にプロジェクト毎にテキストに付与 したいラベルを設定する．作業するテキストには事前に学習したモデルを使用してラベル候補をアノ テータに提示する. アノテータはツールによって提案されたラベルの範囲と種類が正確であると判断し た場合はそのままにしておき，誤っていると判断し た場合はラベルを削除する。ツールによって付与さ れたラベル以外にラベルを付ける必要があるとアノ テータが判断すれば新たにテキストにラベルを追加 する、ツールはアノテータが作業開始から作業終了 までの時間を測定しており，ラベル付けされたデー タとともにそれらの時間をデータベースに格納す る. 各アノテータによってラベル付けされたデータ を元の学習データに加えて，新たにモデルを学習す
表 1 レシピ用語のタグ一覧.

ることで自動ラベリングモデルの精度をより良くし てアノテータの負担を削減する。

## 4 実験

訓練データから学習したモデルを使用して，ラベ ル付けする候補をアノテータに提示して，人手でそ れを修正することでアノテーション作業の効率化が 見られるか観測する実験を行う．本実験では上記の ように新たにモデルの学習はしていない. アノテー タによってラベル付けされたデータを正解データと 比較して評価する。

## 4.1 実験設定

本実験では，アノテーション課題としてレシピ分野を対象とした固有表現認識を行う. 使用するデー タセットは，笹田らの基準 [8](表 1) に基づき定義さ れたレシピ用語を, IOB 形式でレシピ分野に精通し た人がラベル付けしており，これを正解データと して活用した. 支援のための固有表現認識モデル にはこのデータセットの学習データ 2,358 文使用し た.また，テストデータには 387 文使用した. 固有表現認識モデルには BiLSTM-CRF [9]を用いた。ア ノテータは 3 名で, 日本語母語話者でありレシピ分野に関して専門的知識は有していない。各アノテー タそれぞれは同じ 200 文にラベル付けをした. 200 文のうち 100 文は支援あり，100 文は支援なしでラ ベル付けを行った. なお，支援ありの 100 文はアノ テータ毎に異なる.

以下に実験で使用したパラメータを説明する．単語埋め込み層の入力は 1,640 , 出力は 512 で, LSTM 層の出力は 1,024 , 最終的な出力は 17 , バッチサイ ズは 10 で実施した. アノテータ支援のための固有表現認識モデルの適合率，再現率， $\mathrm{F}$ 値はそれぞれ

図 3 作業にかかった時間.

図4 ラベル付けされたデータの品質.

0.8164, $0.8425,0.8292$ であった.

## 4.2 実験手順

本ツールではアノテータが各自アカウントを作成 しそれぞれのアノテータ情報とアノテーションデー タを紐付けられている。そのため，アノテーション 作業にかかる時間をツールで測定してツールによる 支援がある場合と支援がない場合でかかる時間の差 を見られるようになっている。アノテータが作業す る際，ツールによる支援がある場合には，事前に学習した固有表現認識モデルを使用して，ツールの画面に表示されるテキストの中から固有表現を認識し て画面上に表示する.ツールによる支援はそれぞれ のアノテータが作業する 200 文のうちランダムに選 ばれた 100 文に対して行われた。支援がある文と支援がない文はランダムに選ばれ，アノテータは作業 を行う文を選択するまで支援があるかないか知るこ とができない.

作成されたアノテーションコーパスを正解データ と比較して適合率，再現率， $\mathrm{F}$ 値を計算した。

## 4.3 結果

アノテータ 1

アノテータ 2

アノテータ 3

図 5 ラベル付けされたデータの品質の移動平均.

表 2 ラベル付けされたデータの品質.

## 4.3.1 作業時間

作業にかかった時間を図 3 に示す.今回実験に参加したいずれのアノテータでも，支援がある場合の 方が支援がない場合よりも少ない時間で作業を終了 させることができた.

## 4.3.2 データ品質

ラベル付けされたデータの品質を図 4 に示す.值は $\mathrm{F}$ 値を表す. ラベル「 $\mathrm{Af}\lrcorner ， 「 \mathrm{St} 」 に$ 関してアノ テータ 2 の支援なしの場合は他のアノテータより比較的品質が高かった. そのためアノテータ 2 はこれ らのラベルを付けることが比較的得意である可能性 がある.

アノテータ 3 名のラベル付けされたデータの品質 を表 2 に示す. 表中の値は固有表現認識モデルによ る支援がない場合と支援がある場合それぞれにおけ る適合率，再現率， $\mathrm{F}$ 值を平均で示している. 支援 なしの場合よりも支援ありの場合のほうがラベル付 けされたデータの品質は向上した. 支援のための固有表現認識モデルによる自動ラベリングの品質の F 值は，支援がある場合よりは低く支援がない場合よ り高い結果になった。

アノテータが作成したデータの品質が作業の経過とともに変化するか調べるため, 各アノテータの データ品質の移動平均を計算した. 各アノテータの データの品質の移動平均を 10 文毎にとった結果を 図 5 に示す. いずれのアノテータも作業を進めるに したがってラベル付けしたデータの品質は向上して いった. 向上した理由がアノテータが固有表現認識 モデルの出力から学習したためか次第に作業に慣れ ていったためかはさらなる調査が必要である.表 3 ラベルの認識性能 (学習データ:100 文).

## 4.3.3 固有表現認識性能

各アノテータがラベル付けしたデータで学習した 固有表現認識モデルの性能を表 3 に示す. いずれの アノテータでも支援がある場合の方が支援がない場合よりラベル付けされたデータの品質が向上した.

## 5 おわりに

本研究では，非専門家が専門分野のアノテーショ ンコーパスを効率的に作成するためのツールを試作 した. 試作したツールは事前に学習したモデルによ るラベルの提案機能を持つ. 支援があると効率よく アノテーション作業がすすめられ，ラベル付けデー タの品質は向上した。また，アノテータがそれぞれ 提出したアノテーションコーパスで学習した固有表現認識モデルは支援がある場合のほうが固有表現認識性能が高くなった。

アノテータ毎のラベル付けされたデータの品質か ら，(1) 特定のアノテータは特定のラベルの種類に 関してラベル付け作業が得意である場合があるこ と，(2) 特定のラベルに比較的詳しいと思われるア ノテータとそうではないアノテータがそれぞれ作成 したアノテーションコーパスではデータの品質が異 なることが分かった. そのためアノテータ毎に比較的信用できるラベルに重みを付けてアノテータテー タコーパスを作成していくと固有表現認識モデルを 効率的に学習できる可能性がある.

今後は，本ツールにアノテータのラベル付けの誤 り率からアノテータの品質を考慮し管理する機能を 追加する予定である。また，能動学習などを活用し て固有表現認識モデルを逐次更新をする機能を追加 することも検討する。

## 参考文献

[1] みんなで翻刻|歴史資料の参加型翻刻プラット フォーム. https://honkoku.org. (参照 2021-1-13).

[2] An T Nguyen, Byron C Wallace, Junyi Jessy Li, Ani Nenkova, and Matthew Lease. Aggregating and predicting sequence labels from crowd annotations. In Proceedings of the conference. Association for Computational Linguistics. Meeting, Vol. 2017, p. 299. NIH Public Access, 2017.

[3] Peter Welinder, Steve Branson, Pietro Perona, and Serge Belongie. The multidimensional wisdom of crowds. Advances in neural information processing systems, Vol. 23, pp. 24242432, 2010.

[4] Rion Snow, Brendan O'connor, Dan Jurafsky, and Andrew Y Ng. Cheap and fast-but is it good? evaluating non-expert annotations for natural language tasks. In Proceedings of the 2008 conference on empirical methods in natural language processing, pp. 254-263, 2008.

[5] Mary Martin, Cecilia Mauceri, Martha Palmer, and Christoffer Heckman. Leveraging non-specialists for accurate and time efficient AMR annotation. In Proceedings of the LREC 2020 Workshop on "Citizen Linguistics in Language Resource Development”, pp. 35-39, Marseille, France, May 2020. European Language Resources Association.

[6] doccano. https://github.com/doccano/doccano.照 2021-1-13).

[7] Bill Yuchen Lin, Dong-Ho Lee, Frank F. Xu, Ouyu Lan, and Xiang Ren. AlpacaTag: An active learning-based crowd annotation framework for sequence tagging. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics: System Demonstrations, pp. 58-63, Florence, Italy, July 2019. Association for Computational Linguistics.

[8] 笹田鉄郎, 森信介, 山肩洋子, 前田浩邦, 河原達也. レシ ピ用語の定義とその自動認識のためのタグ付与コー パスの構築. 自然言語処理, Vol. 22, No. 2, pp. 107-131, 2015.

[9] Guillaume Lample, Miguel Ballesteros, Sandeep Subramanian, Kazuya Kawakami, and Chris Dyer. Neural architectures for named entity recognition. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 260-270, 2016.
 星島洸明 京都大学大学院情報学研究科 hoshijima.komei.72x@st.kyoto-u.ac.jp 亀甲博貴 京都大学学術情報メディアセンター kameko@i.kyoto-u.ac.jp  