# ニュース記事に対する談話構造と興味度のアノテーション 〜ニュース対話システムのパーソナライズに向けて〜

1 早稲田大学 2 内外切抜通信社 $\quad 3$ 本田技研工業
takatsu@pcl.cs.waseda.ac.jp ando@naigaipc.co.jp hiroshi_01_honda@jp.honda
matsuyama@pcl.cs.waseda.ac.jp koba@waseda.jp

## 1 はじめに

談話構造に基づく文章の首尾一貫性を保持しつ つ，ユーザごとにパーソナライズした情報を提供す る音声対話システムの開発を目的として，ニュース 記事に対して談話構造と文単位のユーザの興味度を 付与したデータセットを構築した.

インターネットの普及により，日々膨大なデジタ ルコンテンツがウェブ上に蓄積され続けている。さ らに，近年ではパソコンやスマートフォンなどが普及したことで，ウェブ上の情報に容易にアクセスで きるようになり，人々のメディアへの接触時間は 年々増加している [1]. 一方で「世の中の情報量が 多すぎる」という意識も高まってきており，限られ た時間の中でより効率的に情報を消費することへの ニーズが高まっている．我々は，このような社会背景を踏まえ，人々が日々消費する情報の中でも特に ニュースに焦点を当て，効率的にニュース記事の内容を伝達する音声対話システム（以下，ニュース対話システム）[2] の開発を進めている.

ニュース記事の内容を効率的に分かりやすく伝 えるうえで重要な観点として，ほしい情報をどれだ け提示でき，いらない情報をどれだけ除外できるか （情報伝達効率）という点と，文章の構造に基づき 意味的に整合性のある文のつながりを保持したまま 情報を伝えられるか（首尾一貫性）という点がある と考える。 ニュース対話システムは，要約に基づく 主計画と補足説明のための副計画から構成されるシ ナリオに基づいて会話を進行させる。 ユーザが受け 身で聴いている限りにおいては主計画の内容を伝え ることになる。主計画として，重要度に基づきユー ザごとに共通の要約を提示するよりも，興味度に基 づきユーザごとにパーソナライズした要約を提示す る方が高い情報伝達効率を実現できることを確認し
た [3]. 一方で，ニュース内容を適切に理解させる ためには話の内容が首尾一貫している必要がある.

そこで，文章の首尾一貫性を考慮しつつ，ユーザ の興味がある情報を提供する音声対話システムを開発するために，日本語のニュース記事に対して図 1 のような談話構造とユーザの興味度を付与したデー タセットを構築した。談話構造に関しては，文を談話単位とし，「係り先」「談話関係」「チャンク」の アノテーションを行った。例を図 1(a) に示す. 係り 先は，ルートノードから親ノード文までの情報が対象の文を理解するうえで必要最小限の情報になる ように付与したものである．談話関係は，子ノード 文が親ノード文に対してどのような意味的関係に あるかを分類したものである．チャンクは，親ノー ド文の内容を正しく理解するために欠かせない情報が子ノード文に書かれている場合，これらをまと めて提示すべきであることを表したものである．合計 1200 記事に対して専門家 2 人が談話構造を付与 した．興味度に関しては，クラウドソーシングを用 いて，様々な属性の被験者に，ニュース記事の話題 と各文の内容について興味度を 6 段階で回答させ た. 例を図 1(b) に示す. 談話構造を付与した 1200 記事に対して，1 人あたり 6 記事， 1 記事あたり 11 人以上となるように配分し，合計 2507 人分のプロ フィールと興味度のデータを収集した。

本稿の構成は次の通りである． 2 章で関連研究に ついて述べる。 3 章で談話構造データセットについ て説明する. 4 章で興味度データセットについて説明する. 5 章で今後の展望について述べる.

## 2 関連研究

談話構造解析は，文章を構成する文や節の間に成 り立つ関係を解析する自然言語処理の基本的なタス クである。談話構造解析の結果は，文書要約 [4] や

(a) 係り先$\cdot$談話関係$\cdot$チャンク(強いチャンク$\cdot$弱いチャンク)のアノテーション例

(b) 興味度のアノテーション例

図 1 アノテーションの例

質問応答 [5]，機械翻訳 [6]，評判分析 [7] などの下流タスクのアプリケーションで用いられる [8].

談話構造解析のための代表的なデータセットとし て, RST Discourse Treebank [9], Discourse Graphbank [10], Penn Discourse Treebank [11] がある. RST Discourse Treebank は, 修辞構造理論 (Rhetorical Structure Theory）[12] に基づいて構築されたデータセットで ある. 修辞構造理論では, Elementary Discourse Unit （EDU）と呼ばれる節を最小の談話単位として，隣接する EDU 同士を談話関係で結合し，より大きな 談話単位を形成する. さらに，その談話単位同士 も談話関係によって統合され, 最終的に修辞構造木が形成される. Discourse Graphbank は，グラフ構造を採用し，1つの談話単位から複数の談話単位に 談話関係が付与されたデータセットである. Penn Discourse Treebank は，木構造やグラフ構造を仮定せ ず，談話単位間の関係を 2 項関係で表現したデータ セットである。隣接する談話単位の間に接続表現が 存在する場合は，その接続表現を手がかりとして談話関係を分類する。談話単位の間に接続表現が存在 しない場合は，接続表現が挿入可能であるかを判断 し，談話関係を分類する。これらは英語のニュース 記事に基づいて作成された談話構造のデータセット であるが，英語以外にも， ドイツ語 [13]，スペイン 語 [14], ポルトガル語 [15], 中国語 [16] など様々な 言語の談話構造のデータセットが構築されている. 6つの言語の対訳テキストに対して談話構造を付与 したデータセットも構築されている [17].

日本語の文書に対して談話構造をアノテー
ションする研究も存在する $[18,19,20]$. 金子らは, BCCWJ [21] の文を分解して得られたセグメント に対して，分節談話表示理論 (Segmented Discourse Representation Theory）[22] に基づいて時間関係と因果関係をアノテーションした [18]. 河原らは，様々 なドメインのウェブ文書の書き始め 3 文を対象にク ラウドソーシングで談話関係のアノテーションを行 う方法を提案し，大規模な文書への談話関係のアノ テーションを短時間で行えることを示した [19]. さ らに，岸本らは，河原らのアノテーション基準に言語テストを追加するなどの改良を加えることでアノ テーションの品質が向上することを確認した [20].

文書要約 $[23,24,25,26]$ のようなタスクへの応用 を考えた場合，修辞構造木のような句構造よりも談話単位間の親子関係を直接表せる依存構造の方が望 ましい。そこで，修辞構造木を談話依存構造木へ変換する方法が提案された $[23,27]$. 一方で，変換ア ルゴリズムによって生成される談話依存構造木の性質が異なることから [28], Yang らは，科学論文のア ブストラクトに対して人手で EDU 間の依存構造と 談話関係をアノテーションする方法を提案し，デー タセットとして SciDTB を構築した [29].

本研究では，日本語のニュース記事に対して専門家が文単位の談話依存構造をアノテーションし，ク ラウドソーシングにより，ユーザのプロフィールお よびニュース記事の話題と文に対する興味度を収集 することで，文章の一貫性を考慮しながらパーソナ ライズした情報を伝達する要約・対話システムの構築に活用できるデータセットを作成した.

## 3 談話構造データセット

15 文から 25 文の日本語のニュース記事 1200 個に 対して，ウェブニュースのクリッピングの専門家 2 人が「係り先」「談話関係」「チャンク」のアノテー ションを行った. ジャンルの内訳は「スポーツ」「テ クノロジー」「経済・政治」「国際」「社会」「地域」 であり，なるべく話題が重複しないように人手で各 ジャンル 200 記事ずつ選択した. アノテーション作業は係り先，談話関係，チャンクの順番で行った.談話単位は文であり，文とは地の文に出現する句点 “。”で区切られる文字列を表す. 2 人のアノテータ は, 半分ずつ作業を分担し, 自分の作業を終えた後 は他方のアノテータのアノテーション結果のチェッ クにまわり，疑問点が見つかった場合は両者の合意 が得られるまで議論を重ねた。

## 3.1 係り先のアノテーション

文 $j$ を文 $i$ の係り先として指定できる条件は以下 の通りである。

・原文において文 $j$ が文 $i$ よりも前に出現している.

-木構造に従ってルートノードから順番に読み進 め，文 $j$ の後に文 $i$ を読んた際に，話の流れが自然である。

・ルートノードから文 $j$ までの情報が文 $i$ を理解す るための必要最小限の情報になっている.

・文 $i$ から読み始めることが可能である場合，文 $i$ の係り先はルートノードとする。

## 3.2 談話関係のアノテーション

談話関係の定義を表 1 に示す. 談話関係の定義に 際して, 日本語を対象とした先行研究の談話関係の 分類 $[30,31,32,33]$ を参考にしつつ，ニュース対話 システムへの応用を考えた際の必要十分な粒度であ ることおよび，実際にニュース記事から構築された 談話依存構造木において頻繁に観測される文間関係 であることに留意した. アノテーションの判断は，談話関係の定義と対話基準の両方の条件に合致して いるかを確認しながら行った. 対話基準とは, 談話関係に基づく応答が自然かどうかに基づく判断であ り，例えば「原因」について判断する際，親ノード 文の内容を伝えた後に「なんで？」と質問が来たと きに，子ノード文の内容を回答として提示しても不自然でないことを確認する。なお，1つの文間に対 して複数の談話関係が付与されることもある.表 1 談話関係の定義（括弧内の説明は対話基準を表す）

 \\

## 3.3 チャンクのアノテーション

親ノード文を提示する際，子ノード文も一緒に提示することが望まれる場合，これらをチャンクとす る. 特に親ノード文の内容を理解するうえで必須と なる情報が子ノード文に書かれている場合，これら を「強いチャンク」とする。例えば図 1 のような,親ノード文に発言，子ノード文に発言者の情報が書 かれている場合や，複数文に渡る手順説明などは強 いチャンクとなる．また，子ノード文の情報は必ず しも必須ではないが，親ノード文の内容に対する 偏った理解を防ぐために子ノード文の情報が重要で ある場合，これらを「弱いチャンク」とする。例え ば図 1 のような, 現状求められているものが親ノー ド文で述べられており，その実現が容易でないこと を子ノード文で説明している場合や，主題に関わる 2 つの国の情勢について，一方の説明が親ノード文 に書かれており，他方の説明が子ノード文に書かれ ている場合などは弱いチャンクとなる。

## 3.4 データセットの統計

記事ごとのルートノードから葉ノードまでの文数 の最大值（木の深さ）の分布を図 2 に示す. 1 記事

図 2 木の深さの分布

図 3 木の幅の分布

あたり木の深さは平均で 6.5 文程度であった. 記事 ごとの葉ノードの数 (木の幅) の分布を図 3 に示す. 1 記事あたり木の幅は平均で 7.5 文程度であった.

データセットにおける談話関係の出現頻度は,「開始」が 1221 個，「結果」が 400 個，「原因」が 691 個，「背景」が 1343 個，「呼応」が 851 個，「対比」が 638 個，「転換」が 220 個，「例示」が 709 個，「結論」 が 920 個，「補足」が 14609 個であった.

強いチャンクの数は 231 個，弱いチャンクの数は 699 個であった. また，1 チャンクあたりの平均文数は 2.15 文であった.

## 4 興味度データセット

クラウドソーシングを用いて被験者を募集し，以下のプロフィールアンケートと興味度アンケートに 回答させた。ニュース記事には談話構造データセッ トで使用したものと共通の 1200 記事を使用した. 1 人あたり 6 ジャンル 1 記事ずつ， 1 記事あたり 11 人以上が回答するように配分し，2507 人分のアンケー 卜結果を収集した。

## 4.1 プロフィールアンケート

以下の 14 項目について回答させた. 性別，年齢，住んでいる地域，職種，業種，ニュースを見る頻度， ニュースをよくチェックする時間帯，映像・音声 文字のうちニュースへの接触方法として多いもの はどれか，ニュースを知る手段，ニュースを読む際 に使用している新聞やウェブサイト・アプリ，有料 でニュースを読んでいるか，普段積極的に読む・見 る・聞くニュースのジャンル，ニュースのジャンル に対する興味の程度，趣味。

## 4.2 興味度アンケート

ニュース記事の本文を読ませ，内容を理解させた 後, 記事全体の話題と各文の内容について興味度を 次の 6 段階で回答させた．6:とても興味がある，5:

(a)記事の話題に対する興味度の割合 (b)文の内容に対する興味度の割合

図 4 アンケートで得られた興味度の割合

図 5 談話依存構造木の深さと興味度の平均值

興味がある，4:どちらかといえば興味がある，3:ど ちらかといえば興味がない，2:興味がない，1:まっ たく興味がない。

## 4.3 データセットの統計

合計で 15042 記事 268509 文に対する回答を得た.記事の話題に対する興味度の割合および文の内容に 対する興味度の割合を図 4 に示す.

談話依存構造木の深さごとに文の興味度の平均値 を計算した結果を図 5 に示す.この結果から，多く の人の興味を引く内容は木の浅いところにあり，人 によって興味が分かれる内容は木の深いところにあ ることが分かった.

## 5 おわりに

ニュース記事に対して談話構造および，ユーザの プロフィールと記事の話題・文に対するユーザの興味度を付与したデータセットを構築した。

今後は，本データセットを用いて，談話構造解析 [34] や，談話構造を制約とした抽出型要約のパーソ ナライズ [35]，談話関係に基づく質問応答や対話制御などについて検討する。

謝辞本研究は，JST START（JPMJST1912）の支援 を受けたものである。

## 参考文献

[1]博報堂 D Y メディアパートナーズ（編）. 広告ビジネ スに関わる人のメディアガイド 2020 : メディア環境の これからと今. 宣伝会議, pp. 20-40, 2020.

[2]高津弘明, 福岡維新, 藤江真也, 林良彦, 小林哲則. 意図性の異なる多様な情報行動を可能とする音声対話シス テム. 人工知能学会論文誌, Vol. 33, No. 1, pp. 1-24, 2018.

[3]Hiroaki Takatsu, Mayu Okuda, Yoichi Matsuyama, Hiroshi Honda, Shinya Fujie, and Tetsunori Kobayashi. Personalized extractive summarization for a news dialogue system. In Proceedings of the 8th IEEE Spoken Language Technology Workshop, 2021.

[4]Jiacheng $\mathrm{Xu}$, Zhe Gan, Yu Cheng, and Jingjing Liu. Discourse-aware neural extractive text summarization. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 5021-5031, 2020.

[5]Peter Jansen, Mihai Surdeanu, and Peter Clark. Discourse complements lexical semantics for non-factoid answer reranking. In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics, pp. 977-986, 2014.

[6]Junxuan Chen, Xiang Li, Jiarui Zhang, Chulun Zhou, Jianwei Cui, Bin Wang, and Jinsong Su. Modeling discourse structure for document-level neural machine translation. In Proceedings of the 1st Workshop on Automatic Simultaneous Translation, pp. 30-36, 2020.

[7]Baptiste Chardon, Farah Benamara, Yannick Mathieu, Vladimir Popescu, and Nicholas Asher. Measuring the effect of discourse structure on sentiment analysis. In Proceedings of the 14th international conference on Computational Linguistics and Intelligent Text Processing, pp. 25-37, 2013.

[8]Shafiq Joty, Giuseppe Carenini, Raymond T. Ng, and Gabriel Murray. Discourse analysis and its applications. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics: Tutorial Abstracts, pp. 12-17,

[9]Lynn Carlson, Daniel Marcu, and Mary Ellen Okurovsky. Building a discourse-tagged corpus in the framework of rhetorical structure theory. In Proceedings of the 2nd SIGdial Workshop on Discourse and Dialogue, pp. 1-10, 2001.

[10]Florian Wolf and Edward Gibson. Representing discourse coherence: A corpus-based study. Computational Linguistics, Vol. 31, No. 2, pp. 249-287, 2005.

[11]Rashmi Prasad, Nikhil Dinesh, Alan Lee, Eleni Miltsakaki, Livio Robaldo, Aravind Joshi, and Bonnie Webber. The penn discourse treebank 2.0. In Proceedings of the 6th International Conference on Language Resources and Evaluation, pp. 2961-2968, 2008.

[12]William C. Mann and Sandra A. Thompson. Rethorical structure theory: Toward a functional theory of text organization. Text, Vol. 8, No. 3, pp. 243-281, 1988.

[13]Manfred Stede. The potsdam commentary corpus. In Proceedings of the Workshop on Discourse Annotation, pp. 96102, 2004.

[14]Iria da Cunha, Juan-Manuel Torres-Moreno, and Gerardo Sierra. On the development of the RST Spanish treebank. In Proceedings of the 5th Linguistic Annotation Workshop, pp. $1-10,2011$.

[15]Thiago Alexandre Salgueiro Pardo, Maria das Graças Volpe Nunes, and Lucia Helena Machado Rino. DiZer: An automatic discourse analyzer for Brazilian Portuguese. In Proceedings of the Brazilian Symposium on Artificial Intelligence, pp. 224-234, 2004.

[16]Lanjun Zhou, Binyang Li, Zhongyu Wei, and Kam-Fai Wong. The CUHK discourse treebank for Chinese: Annotating explicit discourse connectives for the Chinese treebank. In Proceedings of the 9th International Conference on Language Resources and Evaluation, pp. 942-949, 2014.

[17]Deniz Zeyrek, Amalia Mendes, Yulia Grishina, Murathan Kurfali, Samuel Gibbon, and Maciej Ogrodniczuk. TED multilingual discourse bank (TED-MDB): A parallel corpus annotated in the PDTB style. Language Resources and Evaluation, Vol. 54, pp. 587-613, 2020.

[18]Kimi Kaneko and Daisuke Bekki. Building a Japanese cor- pus of temporal-causal-discourse structures based on SDRT for extracting causal relations. In Proceedings of the EACL 2014 Workshop on Computational Approaches to Causality in Language, pp. 33-39, 2014.

[19]Daisuke Kawahara, Yuichiro Machida, Tomohide Shibata, Sadao Kurohashi, Hayato Kobayashi, and Manabu Sassano. Rapid development of a corpus with discourse annotations using two-stage crowdsourcing. In Proceedings of the 25th International Conference on Computational Linguistics, pp. 269-278, 2014.

[20]Yudai Kishimoto, Shinnosuke Sawada, Yugo Murawaki, Daisuke Kawahara, and Sadao Kurohashi. Improving crowdsourcing-based annotation of Japanese discourse relations. In Proceedings of the 11th International Conference on Language Resources and Evaluation, pp. 4044-4048, 2018.

[21]Kikuo Maekawa, Makoto Yamazaki, Toshinobu Ogiso, Takehiko Maruyama, Hideki Ogura, Wakako Kashino, Hanae Koiso, Masaya Yamaguchi, Makiro Tanaka, and Yasuharu Den. Balanced corpus of contemporary written Japanese. Language Resources and Evaluation, Vol. 48, No. 2, pp. 345-371, 2014.

[22]Nicholas Asher and Alex Lascarides. Logics of conversation: Studies in natural language processing. Cambridge University Press, 2003.

[23]Tsutomu Hirao, Yasuhisa Yoshida, Masaaki Nishino, Norihito Yasuda, and Masaaki Nagata. Single-document summarization as a tree knapsack problem. In Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing, pp. 1515-1520, 2013.

[24]Yasuhisa Yoshida, Jun Suzuki, Tsutomu Hirao, and Masaaki Nagata. Dependency-based discourse parser for singledocument summarization. In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing, pp. 1834-1839, 2014

[25]Yuta Kikuchi, Tsutomu Hirao, Hiroya Takamura, Manabu Okumura, and Masaaki Nagata. Single document summarization based on nested tree structure. In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics, pp. 315-320, 2014

[26]Tsutomu Hirao, Masaaki Nishino, Yasuhisa Yoshida, Jun Suzuki, Norihito Yasuda, and Masaaki Nagata. Summarizing a document by trimming the discourse tree. IEEE/ACM Transactions on Audio, Speech and Language Processing, Vol. 23, No. 11, pp. 2081-2092, 2015.

[27]Sujian Li, Liang Wang, Ziqiang Cao, and Wenjie Li. Textlevel discourse dependency parsing. In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics, pp. 25-35, 2014.

[28]Katsuhiko Hayashi, Tsutomu Hirao, and Masaaki Nagata. Empirical comparison of dependency conversions for RST discourse trees. In Proceedings of the 17th Annual Meeting of the Special Interest Group on Discourse and Dialogue, pp. 128-136, 2016.

[29]An Yang and Sujian Li. SciDTB: Discourse dependency treebank for scientific abstracts. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics, pp. 444-449, 2018

[30]黒橋禎夫, 長尾眞. 表層表現中の情報に基づく文章構造 の自動抽出. 自然言語処理, Vol. 1, No. 1, pp. 3-20, 1994.

[31]梅澤俊之, 原田実. センタリング理論と対象知識に基づ く談話構造解析システム DIA. 自然言語処理, Vol. 18, No. 1, pp. 31-56, 2011.

[32]山本和英, 齋藤真実. 用例利用型による文間接続関係の 同定. 自然言語処理, Vol. 15, No. 3, pp. 21-51, 2008.

[33]横山憲司, 難波英嗣, 奥村学. Support Vector Machine を 用いた談話構造解析. 情報処理学会研究報告, Vol. 2003, No. 23(2002-NL-154), pp. 193-200, 2003.

[34]高津弘明, 安藤涼太, 松山洋一, 小林哲則. 会話による ニュース記事伝達のための談話構造解析. 言語処理学会 第 27 回年次大会 発表論文集, 2021 .

[35]高津弘明, 安藤涼太, 本田裕, 松山洋一, 小林哲則. 談話構造制約付きパーソナライズド抽出型要約. 言語処理学会 第 27 回年次大会 発表論文集, 2021.


# 自発的な独話における可読性向上のための 言い直し表現の定義と分析

島森瑛貴
横浜国立大学
simamori-eiki-vj@ynu.jp
}

阪本 浩太郎
横浜国立大学
sakamoto@forest.eis.ynu.ac.jp
森辰則
横浜国立大学
moriaforest.eis.ynu.ac.jp
}

渋木 英潔
国立情報学研究所
shib@nii.ac.jp

## 1 はじめに

オンライン化が進む現代では人の発話を書き起こ しテキストとして読む場面が増えた。そのような話 し言葉の書き起こしは、編集されていない状態では 「文章を㔯長にする語の多用」、倒置」「文章の数 じれ」などの話し言葉に特有の現象が出現する。そ の中でも、話し言葉の自発性に伴って出現する「言 い直し表現」は書き言葉には出現しないため可読性 を下げる要因となりうる。我々はそれらの現象を適切に修正するシステムを作成し可読性の向上に貢献 することを目標とする。

その手始めに本論文では日本語の自発的な独話に 出現する言い直しを検出し修正するシステムの作成 を目的として、言い直し現象を定義し直し機械が処理しやすい形での分類を行う。

## 2 関連研究

話し言葉の自己修復を扱う代表的なモデルとして RIM(Repair Interval Model)[1] が存在する。RIM は自己修復部を被修復部、言い淀み区間、修復部の 3 つ の部分に分割し，これらがこの順に出現することで 一つの自己修復を行っていると仮定している。

丸山ら [2] は RIM 亿基づき『日本語話し言葉コー パス』[3] (Corpus of Spontaneous Japanese 以下，CSJ とする）纪出現する言い直し表現について言語学的 な観点から分類した。分類結果は、発音エラーに伴 う言い直し(R1)、単純な繰り返し(R2)、語彙的な誤 りに伴う言い直し (R3)、情報不足に伴う言い直し (R4)、別表現への言い換え (R5)の 5 つに分類され る。以下沶す分類例は ([分類] 被修復部|言い淀 み区間|修復部) の形式となっている。
(R1)コンテキスト (R1 (D いぞ)||依存 ) モデルを

(R2)その年の (R2七月川七月) から

(R3)独特の (R3 旋律の $\mid(\mathrm{F}$ え) 旋律を) 形作っている

(R4)海外に (R4 興味||元々興味) がありまして

(R5)(R5こちら側のグラフ|右側のグラフ)は何を表 わしているかと言いますと

この分類は処理の対象が形態素未満、形態素以上単語未満、一文節、二文節以上など様々であるため機械的な処理にそのままこの基準を用いることは難し い。そのため工学的な観点から、処理の方法と対応 する分類を行う必要がある。

話し言葉における言い直しの検出の先行研究は [4][5] などがある。

下岡らの手法 [4] は [6] で定義された言い直しの タグを正解として言い直しの検出を行っている。ま た推定された箇所について、係り受け情報を用いて 削除する範囲の同定について検討している。しか し、形態素の繰り返し情報などを素性とした SVM を用いて任意の文節が言い直しであるかを判定して おり、特定のモデルを作成していない。また、[6] は 「同一の内容を指し示している対等な文節」をのみ を言い直しと定義して CSJにアノテーションしてお り、我々の扱いたい問題が含まれていない。

藤井らの手法 [5] は自己修復部を分割したモデル を作成し、言い直しの検出修正を行っている。しか し、そのモデルはフィラーや言い淀みの存在を仮定 しており、それらが存在しない言い直し表現につい ては検出ができない。

本研究では初めに我々の考える言い直し現象を定義し、それに基づいた検出修正に取り組むための分析を行う。

## 3 定義

本研究において、我々は「言い直し」を「同一の 対象に複数回参照する表現のうち、同一の面を参照 しているもの」であると定義する。

この定義では [6] で定義された「言い直し」に加 え以下のものも対象として扱う。言い直し表現の表記は以下 (言い直し元/言い直し先) とする。

1. 言い淀み

・聞き分けられていると(い/言われています)

2. 修正の意図を持つ発言を含むもの

・(苦手というか/苦手意識が)ある。

3. 間に挿入節を含むもの

・(ママが/\{ママと言っても短パンと Tシャツを着 て髭を生やした凄いごつい男の人でどう見ても男な んですけれども\}その人が)

4. 対象を一回以上指示語で参照しているもの1)

・タイミングと振幅比の (関係にちらを)

以下の文のように「みかん」と「りんご」のような 異なる対象を参照する場合や、同じ対象であっても 「実績」と「グループ名」のように異なる面から参照 し直している物は言い直しではないと捉え本研究の 対象としない。

・色鮮やかな (織物や/工芸品が) 並んでいます。

・(トレーニング八十パーセント達成組/つまり先程

のAグループ)

また、本研究では言い直し表現の組のうち、最後に 言い終えている箇所を「言い直し先」と、それ以外 の箇所を「言い直し元」と定義する。

以下の例文では「ハワイ島」「ハワイ島というか」「マウイ」の三つが言い直しの組を構成しており、「マウイ」を言い直し先、「ハワイ」、「ハワイ島とい うか」を言い直し元と考える。

・ただ、4泊 6 日で行ける (ハワイ島/ハワイ島とい うか/マウイ)もよかったんですけど すべての言い直し表現の組は一つ以上の言い直し 元と一つの言い直し先からなるとする。

我々は言い直し先は言い直し元よりも後に発話さ れていることから重要であり残すべきであるという 仮説を立てた。その仮説を元に言い直し現象の組の うち言い直し元と言い直し先のどちらを削除するか 調査する。

## 4 言い直し表現組における削除箇所 の調査

1）CSJでは同格であると扱われている [6]

## 4.1 対象

以下の分析の対象として CSJ のコアのうち独話で ある講演、模擬講演の合計 177 講演を用いた。言い 直し元が自立語を含む組は第一筆者がアノテーショ ンしたデータを用いた。そのような言い直し表現は 1359 組得られた。前述した例のように一つの言い 直し現象で二つ以上の言い直し元が存在するときは それぞれの言い直し元と言い直し先の組を言い直 し元の数だけ用意した。最終的に言い直し元と言い 直し先の組は全部で 1453 件検出された。また、「助詞・助動詞・接辞・数字の言い直し」の形態素は D2 タグとして、「言い直し・言い淀み等による語断片」 の形態素は D タグとして CSJ にアノテーションさ れている [7]。コア 177 講演中に D2 タグは 223 件、 D タグは 2393 件存在する。これらは言い直し元が 文節未満であるような言い直しの表現組の言い直し 元であるとする。合計 4069 件について言い直し元 と言い直し先のどちらを削除するかの分類を行う。削除箇所は第一著者一人が判断して頻度を調査す る。表 1 に結果を示す。

## 4.2 結果

表 1 言い直し組と削除箇所

## 4.3 考察

言い直し元が語断片のときはそれらを削除するこ とで修正する。また、助詞が言い直されているもの は、一つの文節で最後以外の助詞を削除することで 修正する。言い直し元が文節以上のものはおおよそ 言い直し元を削除するが、言い直し先を削除するも のが 87 件存在した。その 87 件のうち、 84 件は言 い直し先の自立語が指示語を含むものであった。ま た、言い直し元のみが指示語を含むが言い直し先を 削除する例は存在しなかった。言い直し先を削除す るもののうち、言い直し先が指示語でないものは以下の 3 件である。

(例 1)(百キロぐらいで/(あっちはマイルで出るんで すけれども) マイルで) 飛ばすから

(例 2)この (安全保障理事会/安保理が) 最近非常に

(例 3) 傾向が我が社にも (ありました/ました)

(例 1) は文章の意味を理解する必要があり、高度な 処理が求められるため今後の課題とする。(例 2) は 正式名称と略語の関係であり、略語を削除すること とする。(例 3) は付属語から繰り返されている場合 であり、一文節中で重複する付属語を削除すること で修正する。

## 5 システム設計方針の概要

本論文で提案するシステムは始めに言い直しの 検出を行い、次に言い直しの修正を行う二つからな る。一文を大力とし、その修正を行った結果の文を 出力とする。

## 5.1 言い直し表現候補検出の方針

検出部では、入力された文を係り受け解析して得 られる文節の組について、任意の二文節が言い直し 表現候補となるかを判断することで言い直し表現候補を検出する。またその時の音声認識や形態素解析 の結果から、語断片や助詞の言い直しと判断される ものが見つかればそれらは全て上記の方針で削除す る。下岡ら [4] は形態素の繰り返し情報が言い直し を検出する際の有効な素性であると述べている。本研究でも言い直し元は言い直し先の自立語を含むと いう仮説を立てる。

また言い直し組の検索範囲が広すぎると言い直し ではない離れた文節を言い直しと誤って判断する と考えられる。そこで対象とする二文節間の最長距離を決めるために、言い直し表現組の間に入る最長 の文節数を調査する。6 章では上記二つの調査を行 う。

## 5.2 言い直し修正の方針

検出部では、検出部で検出された言い直し表現候補の組のうち、言い直し元または言い直し先のいず れかを削除することで修正を行う。言い直し元が形態素未満の語断片であるときは検出部で削除するた め、修正部に入力される言い直し表現候補の組はど ちらも文節単位である。 4 章の分析から言い直し先 の文節のみが指示語を含んでいるときは言い直し先 を、それ以外の場合は言い直し元を削除することで 修正できることが明らかになったため、そのまま言 い直し修正の方針として用いる。また、削除箇所に ついては削除の対象となる箇所は一文節以下であ るという仮説を立てて 7 章で調査する。

## 6 言い直し表現組の検出基準の調査

前章で立てた言い直し元は言い直し先の自立語を 含むという仮説と、言い直し表現は最大いくつの文節を間に含むかの二つを調査する。使用するデータ は言い直し元が文節以上であるような言い直し元と 言い直し先の組 1453 組である。言い直し元、言い 直し先、その間の挿入表現をそれぞれ形態素解析、係り受け解析し共通の自立語を持つか、また挿入節 の文節数を調査した。それぞれの結果は表 2、表 3 に示す。

表 2 言い直し元が言い直し先の自立語を含むか

表 3 言い直し元と言い直し先の間に入る挿入節の文節数

## 6.1 言い直し表現が間に含む文節数

言い直し元と言い直し先のの間には最大で 15 文節までが含まれることが判明した。該当する文は 「ママが (ママと/言っても/短パンと/T シャツを/着 て/髭を/生やした/凄いごつい/男の/人で/どう/見て も/男なんですルれども) その人が」 このことから我々のシステムにおいては注目してい る文節から 15 文節以内を検索の対象とする。

## 6.2 共通の自立語を含むか

言い直し表現組 1453 件のうち 1090 件は言い直し 元が言い直し先の自立語を含むことが判明した。言 い直し先と言い直し元が共通の自立語を含まない 363 件の分類は以下のとおりである。

(1)類義語 87 例

(見紛うような/見間違うような),(人の/人間の)

(2)指示語を含む 80 例 (加盟国にれれは),(これはにの数値は)

(3)編集表現を含む 97 例 (ハワイと言うか/マウイ島),(日本じゃない/東京の)

(4)部分文字列が共通 20 例 (サザン/サザンテラス),(半/半年)

(6)アルファベット、数字 3 例

(XY/Xという単語 $Y$ という単語が),(1999/ 1990 年の)

(7)分類誤り 67 例

各分類ごとの処理方針は以下のとおりである。

(1)(4)(6) は表層系以外での要因が類似している。 そこで、意味が似ている、音が似ている、部分的な 文字列が似ているなどの自立語間の類似度が高いも のが存在したときに言い直しとして検出する。これ らは、分散表現から語の類似度を調べる手法や、文字単位に分解し共通の文字を含むかといった手法で 類似度を調べる。特に数字や、アルファベットは形態素として扱うことが難しいため文字単位で扱うこ とが有効であると考える。

(2) の指示語を含むもの 80 例を分析した結果、(加盟国にれは) や(これにの図は)のように付属語を 持たない名詞 (指示語) の文節と指示語 (名詞) の文節が連接するとき、または(これはにの数値は)の ように指示語と自立語が同じ付属語を持つときのど ちらかであることが分かった。上の二つを指示語を 含む言い直し検出の規則とする。

(3) は我々が編集表現であると判断した表現のリ スト2）を作成し、当てはまるものを検出する。調査 に用いたコーパス内に出現する編集表現は「と言う か」「じゃなくて」のどちらかを基本形に持つ物が 多い。

(7) は形態素解析の誤りや言い直し元が複数ある 場合で、実際には上記のいずれかの手法で検出でき る。(ハワイハハワイと言うか/マウイ島)のように言 い直し元が複数あるとき、調査では(ハワイ/マイ 島) の組を調べたため自立語を含まない。しかし入力の先頭から調べると (ハワイハハワイと言うか)が 共通の自立語を持ち、(ハワイと言うか/マウイ島) は 編集表現を持つため上記の規則に従って、言い直し 表現の検出ができる。

上記の考察を元に本システムでは 15 文節以内に ある任意の 2 つの文節のうち次のような条件を満た すもので最も距離が近い物を言い直しの候補とす る。検出規則を優先度が高い順に次のようにする。

・同一の自立語を含む

・編集表現を持つ

・指示語を含むときの規則に当てはまる
- 文節間の類似度で判断するときの規則に当ては

## 7 修正における削除箇所の文節長の 調査

削除箇所が一文節であるという仮説を調査する。使用するデータは言い直し元が文節以上であるよう な言い直し元と言い直し先の組 1453 組である。調査結果を表 4 に示す。

表 4 削除箇所の長さ

言い直し表現 1453 組のうち削除箇所が一文節のも のは 1062 組存在した。これらは言い直し候補とし て検出されたのちに削除規則に従って文節単位で削除することで修正を実現できる。また削除箇所が二文節以上であるようなものが 391 件存在した。

以下の例文では共通の自立語「隣り」を持つ文節 である「隣の」だけではなく「方」も削除する必要 がある。係り受けの情報を用いると「方」は「隣の」 に係られているが、「隣には」には係っていないた め「隣の方」を削除するというように削除箇所を推定できると考えている。

・(隣りの方隣りには) デパートは作らない

係り受け情報を用いた削除範囲の推定は今後の課題 とする。

## 8 まとめ

本研究では話し言葉の可読性を向上させることを 目的として、「同一の概念に複数回参照しているも のの内、異なる面から参照しているもの」と言い直 しを新たに定義した。その定義のもとで言い直しの 検出修正の規則を作成するため CSJ の独話講演情報 を分析した。今後の課題は自立語間の類似度を測る 基準を設けること、また削除箇所が二文節以上であ るときに削除箇所を適切に推定すること、これらの 方針で実際にシステムを作成し性能を評価すること などがある。

## 参考文献

[1]Christine Nakatani and Julia B Hirschberg. A speechfirst model for repair detection and correction. 31st Annual Meeting of the Association for Computational

Linguistics, 13(1):46-53, 1993.

[2]佐野 信一郎丸山 岳彦. 自発的な話言葉に現れる 言い直し表現の機能的分析. 言語処理学会第 13 回年次大会, 13:1026-1029.

[3]国立国語研究所. 『日本語話し言葉コーパスの構築法』.http://pj.ninjal.ac.jp/corpus_center/ $\mathrm{csj} /, 2006$.

[4]内元清貴井佐原均下岡和也, 河原達也. 『日本語話し言葉コーパス』における自己修復部 (d タグ)の自動検出および修正に関する検討. 情報処理学会研究報告音声言語情報処理 (SLP), 2005(50):95-100, 2005.

[5]斎藤 博昭藤井 はつ音, 岡本 紘幸. 日本語話し言葉 における自己修復の統計モデル. 言語処理学会第 10 回年次大会発表論文集, pages 2-7, 2004.

[6]高梨克也井佐原均内元清貴, 丸山岳彦. 『日本語話し言葉コーパス』における係り受け構造付与. https://pj.ninjal.ac.jp/corpus_center/ csj/manu-f/dependency. pdf, 13(1):1, 2006.

[7]間淵洋子小磯花絵, 西川賢哉. 『日本語話 し言葉コーパスの構築法』2 章転記テキス ト.http://pj.ninjal.ac.jp/corpus_center/csj/ k-report-f/02.pdf, 2006.

## A 付録

と言うんですか: 1

## A. 1 編集表現のリスト

言い直し表現に出現する編集表現について

出現形:出現回数の形で分類した表を以下に示す。

## A.1.1 じゃない系統

「じゃない」の派生は 5 種 14 回出現している。

じゃありませんね: 1

じゃない: 7

じゃないですね: 1

じゃないな: 1

じゃないや: 1

ではないですね: 1

ではないですが: 1

ってことはないですね: 1

## A.1.2 と言うか系統

「と言うか」の派生は 25 種 136 回出現している

言うか: 2

つちゅうか: 2

つつうんですか: 1

って: 1

って言いますか: 1

って言うか: 33

って言うかね: 1

って言うんすか:1

って言うんでしょうか: 2

って言うんですか: 9

って言うんですかね: 2

ってえか: 1

ってか: 3

て言うか:4

て言っていいんでしょうか: 1

て言うんですか: 1

て言うんでしょうかね: 1

と言いましたけど: 1

と言いますか: 15

と言うか: 45

というが: 1

と言うのか: 1

と言うよりは: 1

と言うんでしょうか: 5


# Towards Understanding Implicit Reasoning in Arguments via Multiple Warrants

Keshav Singh $^{\dagger}$ Paul Reisert ${ }^{\ddagger, \dagger} \quad$ Naoya Inoue* Kentaro Inui $^{\dagger, \ddagger}$
${ }^{\dagger}$ Tohoku University, Sendai, Japan ${ }^{*}$ Stony Brook University
${ }^{\ddagger}$ RIKEN Center for Advanced Intelligence Project
keshav.singh29@ecei.tohoku.ac.jp paul.reisert@riken.jp
naoya.inoue.lab@gmail.com inui@tohoku.ac.jp

## 1 Introduction

In argumentative discourse such as debates and essays, some parts of the reasoning are unstated by the debater or writer, often for strategic reasons/purpose. Such implicit reasoning, hereby referred to as a warrant, is often inferred by listeners in distinct ways [10]. For example, consider the following argument consisting of a claim (i.e., declarative statement) and a premise (i.e., supporting statement):

(1) Claim: Voting should be made compulsory Premise: because it increases voter turnout.

In Example 1, a potential set of warrants bridging the reasoning between the claim and the premise could then be considered as follows:

(2) Warrant 1:High voter turnout is good for a fair representation of society.

Warrant 2: Minorities who vote often have their needs prioritized over the majority.

In the educational domain, practicing identification of such warrants has long been shown to improve one's argument comprehension skills $[9,4]$, thus aiding one to make better arguments [12]. For example Hillocks [8] helped students practice argumentation by making them write the appropriate warrant for a given argument which was later corrected if a better warrant existed. This helped students improve their critical thinking and writing skills.

Although identification and correction of warrants is an interesting challenge, especially when deployed in classrooms, despite the evidence, previous works with the aim to automate such identification of warrants have focused on methods which capture these implicit components from only a single perspective. Specifically, these methods usually focus on finding a single warrant for an argument when other possibilities exist. Habernal et al. [7] crowdsourced a pair of both correct and incorrect warrants per argument so that neural models would be able to distinguish between a good and bad warrant. Becker et al. [2] proposed an iterative process of warrant generation by experts aimed to create a single warrant unanimously decided by experts. However, previous work has mentioned that it is unrealistic to restrict on having one single warrant per argument due to vast number of ways to interpret the warrant $[5,10]$. Hence, while the previous methods may lead to finding a single appropriate warrant, they do so at the expense of neglecting the other possible warrants.

In this work, we aim to collect multiple warrants per argument for a variety of topics through a systematic crowdsourcing process. In total, we collect warrants for 3 topics, which totals 6,200 warrants for 620 different arguments consisting of a claim and premise pair. Using a subset of the collected warrants for each topic, we analyze their overall quality through manual analysis and obtain a reasonable quality (Krippendorff's $\alpha=0.63$ ). Furthermore, we conduct a preliminary analysis on the properties of warrants to better understand their structure.

## 2 Towards collecting multiple warrants

For collecting multiple warrants which can be potentially useful in real-world applications such as argument analysis or warrant correction, we require a dataset that fulfills the following criteria: i) diverse set of premises per topic to cater to maximum possible arguments, and ii) multiple unique warrants per premise. In addition, the dataset creation process must be cost effective without compromising data quality. Ideally, a dataset with multiple topics is desirable; however, collecting warrants across multiple topics is both difficult and time consuming. Thus, we define a simple metric to filter a handful of topics (specifically, 3) found in a large, well-known argumentation dataset of diverse premises in order to

Figure 1: Scatter plot of premise diversity vs no. of premises for each topic (represented by points) in IBMRank30k corpus. Diversity of premises for each topic increases along the x-axis. For our task, we choose three least diverse topics for warrant crowdsourcing task.

start with a small and relatively easier topics, We describe our methodology for topic selection and collecting multiple user-generated warrants for a claim and premise pair in the following section.

## 2.1 Source data

As a source dataset, we opted for the arguments from IBM-Rank-30K dataset [6], which contains supporting and opposing stance arguments on 71 common controversial topics.

Several factors motivated our choice for $I B M$ Rank-30K: (1) Arguments were collected actively from crowdworkers with strict quality control measures as opposed to being extracted from targeted audiences such as debate portals. (2) The arguments have already been annotated with point-wise quality. These factors provide a vast majority of all the possible arguments that can be made for a given topic with quality scores.

To select the topics for our warrant crowdsourcing task, we define a new metric. Specifically, for each topic $(t)$, we estimate the diversity of premises $\left(d_{t}\right)$ as a function of its vocabulary size:

$
d_{t}=\frac{\left(\left|V\left(p_{t}\right)\right|-\left|V\left(p_{t}^{50 \%}\right)\right|\right)}{\left(\left|p_{t}\right|-\left|p_{t}^{50 \%}\right|\right)}
$

where $p_{t}$ is a set of premises associated with $t$, $p_{t}^{50 \%}$ is a $50 \%$ random sample of $p_{t}$, and $V(p)$ is a set of unique words (i.e. vocabulary size) of $p$ obtained after tokenization and lemmatization.

The final diversity $\left(d_{t}\right)$ for each topic is calculated after averaging over multiple random resampling runs. As shown in Fig 1, the variety of premises for topics in IBM-Rank-30k is strongly dependent on

## Debate topic: Whaling

John Doe argues :

Whaling is inhumane and an act of greed.

And since,

.. fill the reasoning gap with a proper explaination

I claim that: We should ban whaling

Figure 2: Crowdsourcing interface for collecting warrants for a given topic and premise. Workers were additionally advised to adhere to simple rules when writing their warrants.

the topic. To create our warrant KB, we choose 3 topics with the least growth rate; namely i) Whaling should be banned $\left(d_{t}: 1.36\right)$, ii) Voting should be made compulsory $\left(d_{t}: 1.37\right)$, and iii) Zoos should be banned $\left(d_{t}: 1.41\right)$.

## 2.2 Crowdsourcing methodology

For collecting warrants for arguments across the 3 pre-selected topics, we conducted a crowdsourcing task using Amazon Mechanical Turk ${ }^{1}$ (AMT) platform. Prior to deploying our task in full, we conducted a preliminary study for creating our guidelines by annotating a subset of warrants crowdsourced via multiple trial runs to understand both good and bad warrants. As shown in Fig 2, we provide crowdworkers with an argument (i.e., claim and a premise) and instruct workers to provide a warrant that fills the implicit reasoning between the claim and premise in the form of natural sentence. Additionally, for maintaining high quality annota-
^{1}$ www.mturk.com
}

## Topic T: We should ban whaling \\ Premise P: Alternatives are available to nearly every product produced from whales.

## Warrants W (Score: 2) ->

- We don't need the products that result from whaling

- There are different fish that can be alternative for whale meat

## Warrants W (Score: $o)$->

- Whales are an endangered and are vital to the health of the marine environment
- Whales are animals vital for the balance of the ocean $^{1}$

## Topic T: We should introduce compulsory voting \\ Premise P: Compulsory voting would increase voter turnout.

## Warrants W (Score: 2) ->

- A greater voter turnout leads to a more representative government

- Increase in voter turnout will eradicate the politicians that are dependent on few individuals which can control the election

## Warrants W (Score: o) ->

- It is not democracy if there is only 50 percent of voter turnout. higher voter turnout makes government more representative

- People will complain about politicians regardless of voter turnout.

Figure 3: Examples of warrants captured by our crowdsourcing method. Warrants acquired from different workers as scored best by experts are shown on the left and the worst scored are shown on the right. Note that for a few warrant instances, we found very similar warrants after analyzing them into individual clausal sentence as shown in red.

tions, we filtered crowdworkers via our custom Reasoning Qualification Test (RQT). In RQT, workers were asked 3 simple reasoning questions aimed to test their ability to identify warrants. Only those who answered all questions correctly were allowed to proceed to the final annotation task.

## 3 Collected warrant statistics

In this section, we describe our current set of warrants collected through crowdsourcing. To assess the quality, we also create guidelines for experts to manually examine the crowdsourced warrants.

In total, we collect 6,200 warrants in total for 620 unique claim and premise pairs (10 warrants per premise) from 177 unique crowdworkers. The specific amount of warrants collected per each topic are as follows; Abolish zoos: 198, Introduce compulsory voting: 205 and Ban whaling: 217.

## 3.1 Quality

To examine the quality of the crowdsourced warrants, we ask 2 annotators, both experts of argumentation and authors of this paper, to judge the quality of 200 randomly sampled warrants on a 0-2 scale (0:weak warrant, 2 :strong warrant). As shown in Table 1, the Krippendorff's $\alpha$ (interval) and Cohen's Kappa between both annotators for 200 randomly sampled set was 0.63 and 0.42 respectively. These scores correspond to moderate agreement and

Table 1: Topic-wise quality statistics for the collected warrants. $\alpha$ and $\kappa$ are the Krippendorff's and Cohen's inter-annotator agreement scores respectively. A1 and A2 are the average scores given to the warrants by our two expert annotators.

are comparable to agreement levels in similar computational argumentation works $[1,3]$. Additionally, as shown in Fig 3, the collected warrants ranged from being weak to strong, where some being totally unrelated to the argument (scored:0) while majority explicating the reasoning (scored:2).

## 3.2 Warrant properties

We perform a manual check on a subset of 2,000 warrants from 200 arguments (i.e., 10 warrants per argument) to determine if the collected warrants are related to the argument. On an average, we discovered that $6.67 / 10(66.7 \%)$ warrants were related while the rest were either nonsensical or unrelated. During our analysis, we also found that many warrants were compositional statements i.e. comprising

## Claim: We should ban whaling. Premise: Animals have rights and we as custodians of nature have an obligation to them to protect them from this cruel and needless death

SUPPRESS

Warrant $_{1}$ : animal rights are violated when we needlessly kill them.

Warrant $_{2}$ : whaling is not necessary to our survival and it kills off beautiful majestic creatures. SUPPRESS

Figure 4: Example of reasoning patterns on top of collected warrants. Both warrants help infer the connection between the claim and the premise more clearly.

of two or more compound statements. We observed that many of the warrants contained repetitive statements, as shown in Fig 3.

Towards understanding the underlying reasoning, we conducted a preliminary analysis on warrants for determining what properties of them differ for a claim and premise pair. Motivated by a set of reasoning patterns [11] used to represent various schemes in argumentation [13], we analyze roughly 48 warrants for 6 claim-premise pairs ( 8 warrants per pair) to determine the coverage of warrants which can be represented with reasoning patterns. We find that roughly $20 / 48(41.67 \%)$ warrants can be decomposed into reasoning patterns. An example of such annotation is shown in Fig 4. In this example, the reasoning that whaling suppresses animals and whaling suppresses rights is implicit, which the warrants help explicate. Given the coverage of reasoning patterns in our analysis, we will consider ways to improve our warrant collection task by utilizing them in our future work.

## 4 Conclusion and future work

In this work, we tackle the difficult task of collecting warrants in arguments. We developed a methodology for collecting multiple warrants for arguments and utilize crowdsourcing for collecting 6,200 warrants for 620 arguments. For testing the integrity of the warrants, we conduct a small annotation study on 200 warrants and obtain a reasonable annotator agreement ( 0.63 Krippendorff's $\alpha$ ). Finally, we conduct a preliminary analysis on the decomposition of the warrants and find on average 3 warrants collected per argument to comprise of more than one warrant.

In our future work, we will expand our dataset for a variety of different topics and devise an approach for decomposing collected warrants to a single clausal form. We will also test the usefulness of our collected warrant knowledgebase for the task of warrant explication for unseen arguments in a realistic setting, such as deploying our warrant knowledgebase in schools in which students debate and/or write essays on controversial topics.

## References

[1] Roy Bar-Haim, Lilach Eden, Roni Friedman, Yoav Kantor, Dan Lahav, and Noam Slonim. From arguments to key points: Towards automatic argument summarization. arXiv preprint arXiv:2005.01619, 2020.

[2] Maria Becker, Michael Staniek, Vivi Nastase, and Anette Frank. Enriching argumentative texts with implicit knowledge. In International Conference on Applications of Natural Language to Information Systems, pages 8496. Springer, 2017.

[3] Filip Boltužić and Jan Šnajder. Fill the gap! analyzing implicit premises between claims from online debates. In Proceedings of the Third Workshop on Argument Mining (ArgMining2016), pages 124-133, Berlin, Germany, August 2016. Association for Computational Linguistics.

[4] Sibel Erduran, Shirley Simon, and Jonathan Osborne. Tapping into argumentation: Developments in the application of toulmin's argument pattern for studying science discourse. Science education, 88(6):915-933, 2004.

[5] James B Freeman. Relevance, warrants, backing, inductive support. Argumentation, 6(2):219-275, 1992.

[6] Shai Gretz, Roni Friedman, Edo Cohen-Karlik, Assaf Toledo, Dan Lahav, Ranit Aharonov, and Noam Slonim. A large-scale dataset for argument quality ranking: Construction and analysis. arXiv preprint arXiv:1911.11408, 2019.

[7] Ivan Habernal, Henning Wachsmuth, Iryna Gurevych, and Benno Stein. SemEval-2018 task 12: The argument reasoning comprehension task. In Proceedings of The 12th International Workshop on Semantic Evaluation, pages 763-772, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[8] George Hillocks. Ej in focus: Teaching argument for critical thinking and writing: An introduction. The English Journal, 99(6):24-32, 2010.

[9] David Hitchcock and Bart Verheij. Arguing on the Toulmin model, volume 10. Springer, 2006.

[10] Christian Kock. Multiple warrants in practical reasoning. In Arguing on the Toulmin model, pages 247-259. Springer, 2006.

[11] Paul Reisert, Naoya Inoue, Tatsuki Kuribayashi, and Kentaro Inui. Feasible annotation scheme for capturing policy argument reasoning using argument templates. In Proceedings of the 5th Workshop on Argument Mining, pages 79-89, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[12] Sarah von der Mühlen, Tobias Richter, Sebastian Schmid, and Kirsten Berthold. How to improve argumentation comprehension in university students: Experimental test of a training approach. Instructional Science, 47(2):215237, 2019.

[13] Douglas Walton, Christopher Reed, and Fabrizio Macagno. Argumentation schemes. Cambridge University Press, 2008.


# アスペクトベース意見分析における日本語評価コーパスの構築

楽天株式会社楽天技術研究所
\{yuki.b.nakayama, koji.murakami, ikuko.hardaway\}@rakuten.com

## 1 はじめに

ウェブ上には，ニュース記事に対するコメントや カスタマーレビューなどの意見テキストが膨大に 蓄積されている。これらの有効利用を目的として，意見分析の研究が盛んに行われている。意見分析と は，意見テキストの集合から知識を発見する処理の 総称であり [1], 重要な基盤技術として意見抽出が ある.これは，「ホテル A は朝食が美味しい」のよ うな文に対し「対象＝ホテル $\mathrm{A} ，$ アスペクト＝朝食, 評価 $($ 極性 $)=$ 美味しい（肯定)」のような要素 を抽出することで，意見情報の基本単位を定型化す る. 意見テキストの集合から意見の基本単位が大量 に抽出されると, ある対象における評価の概観が容易となる，例えば，ホテルＡ９品質改善を試みる場合は，ホテル Aに関する意見から否定的な評価を受 けやすいアスペクトを調べるだろう。

特に近年は，対象のアスペクトとその評価極性ペアを抽出するアスペクトベースの意見分析 (Aspect-Based Sentiment Analysis: ABSA) がより重要 なタスクとなっている $[2,3,4,5,6]$. ABSA 手法の 比較評価を行うためには，アスペクトとその評価極性が付与されたコーパスが必須である。評価型国際 ワークショップである SemEval では, ABSA の共有 タスクが実施されており豊富なベンチマークが用意 されている [7,8].コーパスは単言語と単ドメイン だけでなく，それらを横断する手法 $[9,10,11]$ の発展のために, 英語, スペイン語などの 8 言語と, 宿泊施設レビューなどの 6 ドメインからなる．しかし， SemEval には日本語を対象とした ABSA のコーパス はない。また，NTCIR 多言語意見分析コーパス1) TSUKUBA コーパス2)などウェブ上で入手できる日本語用のコーパスのほとんどは，アスペクトを考慮 しない意見分析に特化している [12, 13, 14, 15].本論文では、日本語を対象とした ABSA のための

1) http://research.nii.ac.jp/ntcir/data/data-ja.html

2) https://www.nii.ac.jp/dsc/idr/rakuten/
コーパス構築とデータ分析について述べる。コーパ スのドメインは宿泊施設のレビューであり，文単位 で 7 種類のアスペクトと極性を付与した結果 12,476 レビュー，76,624 文のコーパスが構築された。また コーパスを利用した基礎的な ABSA 手法による実験 から，事例の特徴を分析することでコーパスの性質 について考察する。

## 2 関連研究

新里ら [2] は，楽天市場の店舗レビューを「配送」「梱包」などのアスペクトカテゴリとその極性カテ ゴリに分類する手法を提案したが，実験で用いられ たコーパスは非公開である。

栗原ら [16] は，ドメインを限定しない Twitterによ る評判分析を目的とした日本語の ABSA データセッ ト3)を構築した。本研究との違いを，SemEval2016 Task 5 のサブタスク 1「文レベルの ABSA」で説明す る. 例えば「大浴場のお湯が熱い.」という意見文に 対して，このタスクは「風呂」というアスペクトカ テゴリ（スロット 1）の検出，「大浴場のお湯」とい うアスペクト対象の抽出 (スロット2)，そして「否定的」という極性の分類（スロット3）の 3 スロッ トからなる．彼らはスロット２を対象とするのに対 し，我々はスロット 1 とスロット 3 が対象である.

論文化されてはいないものの，スロット 1 か らスロット 3 の評価に対応しているコーパスと して，上場企業の決算報告書をドメインとした chABSA-dataset ${ }^{4)}$ がある。我々のコーパスは，上記 と比較して規模が大きく、誤り分析を通してコーパ スの性質を明らかにした点で異なる。

## 3 コーパスの設計と構築

楽天トラベル5)の施設に対するユーザレビュー中 の各文に対しアスペクト及び評価極性の付与作業を

行う．作業を行うレビュー文は，ユーザが投稿した 複数文にわたるレビューを句点もしくは同等の文末記号で分割した文を単位とする。ここでは基本方針 と個々のアスペクトについて述べる.

## 3.1 アスペクト及び極性付与の基本方針

楽天トラベルでは表 1 で示す 7 種類のアスペクト について, ユーザから 5 段階の評価と自然文の意見 が入力される. 各文に対してこれらのアスペクト含 まれているか, 含まれている場合はそれらの情報が 肯定的（以下，ポジティブ）もしくは否定的（以下, ネガティブ）であるかを判断してタグを付与する.付与するタグの種類は合計 14 種類となる.

作業対象文はユーザレビューの一部分ではある が，必ずしも全ての文に先に挙げた情報が記載され ているとは限らない. 以下の例のように，意見では なくあくまで事実を述べているだけであり, ポジ ティブ・ネガティブのような評価表現が含まれてい ないことから，アスペクト，極性共に付与しない。

・先月の $\mathrm{GW}$ に泊まりました.

・部屋の広さは通常のシングルルーム程度で した.

・夕食は舟盛りと蟹でした。

## 3.2 アスペクトの定義

ここでは，先に示した 7 種類のアスペクトについ てそれぞれ定義を行う. 例文中の $(\mathrm{P})$ はポジティブ, (N) はネガティブを示す.

## 3.2.1 サービス

経済用語においては「売買した後にモノが残ら ず，効用や満足などを提供する，形のない財」を指 す.ここでは接客態度, 様々な事柄への対応，ル一 ムサービス，清掃状況などを対象とする．食事の配膳についてもこの項目で扱うが, これは食事（夕食, 朝食）そのものにも関連することからサービス のみではなく, 「夕食」もしくは「朝食」の項目も同時に付与する.

・セキュリティもきちんとしていて，お部屋もき
れい. (P)

・とんでもなく待たされる. $(\mathrm{N})$

・部屋のかび臭をごまかすためのお香が鼻につく し, あちこちほこりだらけ. $(\mathrm{N})$

## 3.2.2 立地

宿泊施設への交通, 目的とする観光資源, 商業施設へのアクセスなどの利便性, 宿泊施設の周囲の景観など，施設の地理学上の位置が評価に関係する表現を対象とする．部屋や露天風呂からの見える景色 への感想はそれぞれ部屋, 風呂の項目で扱う。

・隣には郵便局もあり買ったお土産もすぐ送れ る. (P)

・富良野市街地, 北の国からの麓郷, ラベンダー ファームへもアクセスしやすいです. (P)

・立地がわかりづらく, 手間取ってしまいまし た. (N)

## 3.2.3 部屋

部屋そのものに関する表現を対象とし，部屋の広 さや快適さ, 内装（電源, シーリングライト, トイ レそのもの, 洗面所そのものなど）を含む．エアコ ンやテレビ，机などはここには含まず，「何もない 最低限の部屋」に存在するもののみを含める．部屋 からの景色についてはこの項目とする．立地との判断に困惑するが，例えば施設でもオーシャンビュー の部屋とそうでない部屋があり, これは施設の立地 そのものではなく部屋の特性に起因すると判断し部屋についての記述と認識する.

・広いお部屋でゆっくりとした時間を過ごす事が 出来ました. (P)

・お部屋は最上階 6 階のツインの海側の広いお部屋で眺めが良かったです。( $\mathrm{P})$

・隣の部屋の声が聞こえてくるのが気になった。 (N)

## 3.2.4 設備・アメニティ

部屋と風呂を除く宿泊施設内の土産等の販売店舗, ロビー, 庭, 遊戯施設, ジム, 駐車場, レスト ランなどの設備, および部屋に設置されている家具調度 (ベッド，机，いすなど），電気製品（ヘアドラ イヤー, テレビ，エアコン， ウォシュレット，電気 スタンドなど), 寝具, へアケアプロダクト，石盙な どの衛生製品, タオル，無料のドリンク, Wi-Fi な

どについて記述を対象とする。

・部屋には空気清浄機もあり, 助かりました。(P)

・ただ唯一, 部屋の金庫が小さいのがマイナスポ イント. (N)

・また, お部屋のお布団に関して, 枕が大人は合 わなく, ちょっと苦戦しました。(N)

## 3.2.5 風呂

外風呂, 内風呂（部屋に設置されている風呂や シャワー）に関する表現, 風呂からの景色, 雾囲気,温泉の泉質, 温度, 広さなどを対象とする. 清潔さ に関しては部屋と同様, 清掃の状態も考慮する必要 があるため, サービスも同様に付与する. ただし， シャンプーなどのアメニティに関するものは除く。

・温泉の質も良く, まためるめのお湯で長時間浸 かることが出来, 疲れを癒すことが出来まし た. (P)

・朝風呂は雪見風呂で大変景色が良かった。 $(\mathrm{P})$
- 風呂は混んでいて入浴出来ませんでした。 $(\mathrm{N})$

## 3.2.6 朝食

味, 器, バラエティーなどに関する表現を対象と する．朝食時の配膳や，待ち時間などに関する表現 の場合は，（朝食十サービス）の両項目にタグを付与する.

・朝食は，種類も多く，満足でした。(P)

・ただ焼き鮭が身が極めて細く他の料理に比べる と唯一貧粗感が否めません. (N)

## 3.2.7 夕食

朝食と同様, 味, バラエティーなどに関する表現 を対象とする. 夕食時の配膳や, 待ち時間などに関 する表現の場合は, (夕食十サービス) の両項目に タグを付与する．夕食である明示的な表現を含まな いが，「懐石料理」や「お酒，ビール」のように夕食 であると判断できる場合は夕食とする.
- 季節に合わせた懐石料理は見た目も美しく美味 しかったです. $(\mathrm{P})$

-夕食も，あわびの踊り食いあり，伊勢えびのお 刺身，あり，豪華メニューを堪能しました。(P)

-夕食に汁物が出なかったが，酒を飲まない人に とっては汁物がないと食べられない。(N)

## 3.3 アノテーション結果

作業者 40 人に対して 24,314 レビューからなる 10 万文のタグ付付与を依頼した。また作業者間の一致率を測定するために，意図的に作業者間でレビュー に重複を持たせた。複数のラベルがタグ付されてい る文については, 作業者間で全てのラベルが一致し ているかどうかを判定した. 100 レビュー以上の重複があった作業者ぺアに対して $\kappa$ 値 [17] の平均を測定したところ,$\kappa=0.58$ となり, moderate agreement を達成した。表 2 にコーパスの基礎情報を示す.

## 4 評価実験

評価コーパスの性質を調べるために，実験により 成功事例と失敗事例の特徴を分析した。タスクは 3.1 節で説明した 14 クラスのうち，レビュー文を一 つ以上のクラスに分類するマルチラベル分類として 定式化した。手法には BERT[18] を用いた。具体的 には，公開されている事前学習済み BERT モデル6) の最終層における [CLS]トークンに対応する 768 次元の出力を 14 次元の出力層に線形結合させる. 出力層の各ノードでは, シグモイド関数によってアス ペクト・極性対カテゴリに属する確率が得られる。確率が 0.5 以上であれば，対応するノードのカテ ゴリを出力する．ファインチューニングと評価は，表 2 の総文数を学習:開発:テスト $=8: 1: 1$ の割合で分割することで行なった。

表 3 にカテゴリごとの分類性能を, 図 1 に BERT の出力例をそれぞれ示す. 図 1(a) は手法が適切に分類した事例であり，「夕食」「朝食」「二」という語に 注意が強く向けられていることから，本コーパスで 学習された BERT モデルは, 人間が判断に用いる語 を捉えるように学習されたと考えられる。このよう にアスペクトと評価表現が明示的に出現する文につ いては, 比較的容易に分類できることを確認した。

6) https://github.com/cl-tohoku/bert-japanese
図 1 BERT の出力例（BERT の最終層で [CLS] トークンのベクトルがどの単語に注意しているかを可視化した）

次に誤り事例 2,557 件に対し正解とシステム出力 のパターンを集計し，誤りの事例数の多い 3 パター ン（図1(b)）を分析した。文(1) は「ホテル全体 (P)」 が正解であるのに対して，システムは「評価なし」 と出力したパターンである. 分類器は, 正解例のよ うにアスペクトに関連した語を捉えるようモデル学習を行うのに対して，レビュー文では総評を述べて おり個々のアスペクトは記載されていないことか ら，適切にモデル化できていないことが原因と考え られる。こうした事例を捉えるには分類器の設計に 課題があり，例えば「総合評価」という新たなラべ ルを用意して分類を行う必要があると考えられる.

文 (2) は，「不便」であるアスペクトが明示的でな かったため「連れ」や「ます」などアスペクトとは 関連のない語に注意が向けられた結果，「施設・ア メニティ $(\mathrm{P})\rfloor$ が正解であるのに対して，システムは 「評価なし」を出力したと考えられる。このパター ンの失敗事例は 76 件あり，うち 26 件は文 (2)のよ うなゼロ照応で属性が欠落しているか, 照応詞を用 いて属性が省略されていた。本コーパスを用いた実験によって，照応解析手法や文脈を有効利用した属性情報の補完が重要であることが示唆された。

文 (3) は「朝食 (P)」が正解であるのに対して，シ ステムは「朝食 $(\mathrm{P})+$ 夕食 $(\mathrm{P})$ 」と複数ラベルに分類 した例である.システムでは「カレー」というアス ペクトに関連する語に注意が強く向けられたもの の「カレー」は朝食にも夕食にも提供されるため, システムは両方のラベルを出力したと考えられる.実際には同レビュー中，文 (3) の 2 文前には「ここ では特に朝食バイキングが種類も多く味も良いで す.」という文があるため，注目文に関する文脈を 適切に選択する方法と, 選択された文脈の効果的な
エンコーディング方法の考案が課題となる. このよ うな類似カテゴリを持つアスペクトの分類について は誤りが多い傾向にあった。実世界での応用におい ては，カテゴリ同士の類似性は不均一であることが 多いことから, 本コーパスは「朝食」と「立地」の ように関連性のない分類が容易なカテゴリ対と「朝食」と「夕食」のような分類が難しいカテゴリ対を 兼ね備えた有用な評価コーパスであると考える.

表 3 実験結果 ( $\mathrm{P}$ : 精度, $\mathrm{R}$ : 再現率, $\mathrm{F}: \mathrm{F}$ 値)

カテゴリ $\quad \mathrm{P} \quad \mathrm{R} \quad \mathrm{F} \quad$ カテゴリ $\quad \mathrm{P} \quad \mathrm{R} \quad \mathrm{F}$

$\begin{array}{lllllllllllll}\text { 朝食 }(\mathrm{P}) & 0.79 & 0.80 & 0.80 & \text { 立地 }(\mathrm{P}) & 0.77 & 0.58 & 0.66\end{array}$

$\begin{array}{llllllll}\text { 朝食 }(\mathrm{N}) & 0.58 & 0.70 & 0.62 & \text { 立地 }(\mathrm{N}) & 0.63 & 0.56 & 0.59\end{array}$

$\begin{array}{llllllllllllllll}\text { 夕食 }(\mathrm{P}) & 0.74 & 0.75 & 0.75 & \text { 設・ア }(\mathrm{P}) & 0.73 & 0.66 & 0.69\end{array}$

$\begin{array}{lllllll}\text { 夕食 }(\mathrm{N}) & 0.57 \quad 0.66 & 0.61 & \text { 設・ア }(\mathrm{N}) & 0.72 & 0.57 & 0.64\end{array}$

風呂 $(\mathrm{P}) \quad 0.80 \quad 0.70 \quad 0.75$ 部屋 $(\mathrm{P}) \quad 0.74 \quad 0.71 \quad 0.72$

風呂 $(\mathrm{N}) \quad 0.75 \quad 0.66 \quad 0.70$ 部屋 $(\mathrm{N}) \quad 0.65 \quad 0.47 \quad 0.55$

サービス (P) $0.84 \quad 0.75 \quad 0.79$

サービス $(\mathrm{N}) \quad 0.72 \quad 0.590 .65$

マクロ平均 $\quad 0.720 .650 .68$

マイクロ平均 0.750 .690 .72

## 5 おわりに

本論文では，宿泊施設レビューに記述されるアス ペクトと評価極性に着目して日本語 ABSA コーパス 構築について説明した。また評価実験を通して分類実験を行い，その結果から困難なパターンについて 考察した。今後の課題を検討した.コーパス中のレ ビュー数を増加させること，「価格」などコーパス ではカバーし切れていない属性のカテゴリを増や すことが今後の課題である。構築したコーパスは，国立情報学研究所の情報学研究データレポジトリ7) （IDR）にて公開予定である.

## 参考文献

[1] Yuki Nakayama and Atsushi Fujii. Extracting conditionopinion relations toward fine-grained opinion mining. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 622-631, 2015.

[2] 新里圭司, 小山田由紀. 店舗レビューには何が書かれ ているか?一調査及び自動分類システムの開発一. 自然言語処理, Vol. 25, No. 1, pp. 57-79, 2018.

[3] Qingnan Jiang, Lei Chen, Ruifeng Xu, Xiang Ao, and Min Yang. A challenge dataset and effective models for aspect-based sentiment analysis. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 6280-6285, 2019.

[4] Ruidan He, Wee Sun Lee, Hwee Tou Ng, and Daniel Dahlmeier. An interactive multi-task learning network for end-to-end aspect-based sentiment analysis. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 504-515, 2019.

[5] Minh Hieu Phan and Philip O. Ogunbona. Modelling context and syntactical features for aspect-based sentiment analysis. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 3211-3220, 2020.

[6] Jiaxin Huang, Yu Meng, Fang Guo, Heng Ji, and Jiawei Han. Weakly-supervised aspect-based sentiment analysis via joint aspect-sentiment topic embedding. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 6989-6999, 2020

[7] Maria Pontiki, Dimitris Galanis, John Pavlopoulos, Harris Papageorgiou, Ion Androutsopoulos, and Suresh Manandhar. SemEval-2014 task 4: Aspect based sentiment analysis. In Proceedings of the 8th International Workshop on Semantic Evaluation (SemEval), pp. 27-35, 2014.

[8] Maria Pontiki, Dimitris Galanis, Haris Papageorgiou, Ion Androutsopoulos, Suresh Manandhar, Mohammad ALSmadi, Mahmoud Al-Ayyoub, Yanyan Zhao, Bing Qin, Orphée De Clercq, Véronique Hoste, Marianna Apidianaki, Xavier Tannier, Natalia Loukachevitch, Evgeniy Kotelnikov, Nuria Bel, Salud María Jiménez-Zafra, and Gülşen Eryiğit. SemEval-2016 task 5: Aspect based sentiment analysis. In Proceedings of the 10th International Workshop on Semantic Evaluation (SemEval), pp. 19-30, 2016.

[9] Jeremy Barnes, Patrik Lambert, and Toni Badia. Exploring distributional representations and machine translation for aspect-based cross-lingual sentiment classification. In Proceedings of the 26th International Conference on Computational Linguistics (COLING), pp. 1613-1623, 2016.

[10] Md Shad Akhtar, Palaash Sawant, Sukanta Sen, Asif Ekbal, and Pushpak Bhattacharyya. Solving data sparsity for aspect based sentiment analysis using cross-linguality and multi-linguality. In Proceedings of the 2018 Conference of the North American Chapter of the Association for
Computational Linguistics: Human Language Technologies (NAACL), pp. 572-582, 2018.

[11] Chenggong Gong, Jianfei Yu, and Rui Xia. Unified feature and instance based domain adaptation for aspect-based sentiment analysis. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 7035-7045, 2020.

[12] Yohei Seki, Lun-Wei Ku, Le Sun, Hsin-His Chen, and Noriko Kando. Overview of multilingual opinion analysis task at NTCIR-8. In Proceedings of the Seventh NTCIR Workshop, 2010.

[13] 関洋平. 意見分析コーパスの現状と課題. 情報処理学会論文誌データベース（TOD）, Vol. 6, No. 4, pp. 85-103, 2013.

[14]藤井敦, 乾孝司, 中山卓哉. レビュー解析「レビュー 解析を題材とした「誤り分析マニュアル」の試作に 向けた検討」. 言語処理学会第 21 回年次大会ワーク ショップ：自然言語処理におけるエラー分析, 2015.

[15] 藤井敦, 乾孝司. 自然言語処理技術の現状と展望一 エラー分析プロジェクトを通して一: 3.11 レビュー 解析一誤り分析におけるプロセスとプロダクト一.情報処理, Vol. 57, No. 1, pp. 30-31, 2016.

[16] 栗原理聡, 水本智也, 乾健太郎. Twitter による評判分析を目的とした評価対象-評価表現データセット作成. 言語処理学会第 24 回年次大会発表論文集, pp. 344-347, 2018.

[17] J Richard Landis and Gary G Koch. The measurement of observer agreement for categorical data. biometrics, pp. 159-174, 1977.

[18] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL), pp. 4171-4186, 2019.

## 付録. A 円滑なアノテーション作業 のために

本文で述べたような 7 種類のタグの付与を行う際 に，実際の作業では判断に迷うことがある.ここで は，円滑な作業が行えるよう作業者に予め共有した いくつかのケースとその対応について述べる.

## A. 1 明示的な評価表現を含まない場合

作業対象文は, 事実を含まないが明らかな評価極性を含まない意見が記載されていることがある．特 に, 明らかなポジティブではないが以下のようなポ ジティブとする例もある．基本的な判断基準は，満足しているのか不満を示しているのかを捉えること である.

・和洋室のお部屋は所々リフォームされていて苦 になりません。(部屋 $\mathrm{P}$ )

・部屋のボタンなど環境が古いですが，問題あり ませんでした。(部屋 $\mathrm{P}$ )

・朝食のみのプランでしたが朝食は可もなく不可 もなく特に不満ありませんが取り立てて印象に 残るものもありませんでした。(朝食 $\mathrm{P})$

・お部屋は確かに普通ですが, 料理や雪遊びをす る際の環境，何よりオーナーご夫婦の人柄があ たたかく，部屋のことを補って余りある素敵な 宿だと思います。(サービス $\mathrm{P}+$ 設備 $\mathrm{P}+$ 夕食 $\mathrm{P}+$ 朝食 $\mathrm{P})$

・確かに部屋はオーシャンビューだけど，ただ見 えるだけで他に何もない。(部屋 $\mathrm{N})$

・部屋は広くはなかったが，值段からすれば仕方 がないと思う。(部屋 $\mathrm{N}$, 解釈 : 部屋が広くな い=不満)

## A. 2 評価極性を持つ表現がー文に混在す る場合

一文内にポジティブもしくはネガティブの表現の どちらかのみが複数存在する場合はそのままの極性 を付与する. しかしながら，これら両方についての 評価表現が一文内に存在する場合，ポジティブとネ ガティブの両方を付与することとする.

・部屋はまあまあ良かったが便器が小さすぎなの が残念. (部屋 $\mathrm{P}+$ 部屋 $\mathrm{N}$ )

$\cdot$ 中身は素晴らしいので, 外観が勿体無い, とい う感じでした。(設備・アメニティ $\mathrm{P}+$ 設備・ア メニティ $\mathrm{N}$ )

・蜘蛛の巣もあったし料理は最高に良かったんで
すけど。(サービス $\mathrm{N}+$ 夕食 $\mathrm{P}$ )

・少し残念な点朝食のオペレーションが非常に悪 かった。(サービス $\mathrm{N}+$ 朝食 $\mathrm{N}$ )

・部屋のカビ臭をごまかすためのお香が鼻につく し，あちこちほこりだらけ。(サービス $\mathrm{N}+$ 部屋 $\mathrm{N}$ )

## A. 3 大まかな評価, 全ての項目をカバーす る場合

一文に 7 項目全てをカバーするような表現が存在することがある. この場合は, 全ての項目にポジ ティブまたはネガティブを付与する.

・ホテル，食事，サービス全てにおいて大，大，大満足で，おかげで忘れることのできない新婚旅行になりました。(7 項目全て P, 解釈 : 「ホテ ル（立地，部屋，設備・アメニティ，風呂), 食事 (朝食, 夕食), サービス (サービス) 全てに おいて」との記載があるので，全ての項目に夕 グを付与)

・評価通り, 素晴らしい旅館でした。(7 項目全て P)

・総合的に最悪のお宿です. (7 項目全て $\mathrm{N}$ )

・全体的には良い内容のホテルでした。(7 項目全 ح P)

## A. 4 「より」「さらに」や比較，提案を伴 う場合

「こうすればさらに良い」や「こうしてほしい」と いった記述がある．先の例でもあったようにユーザ が基本的に満足しているかどうかに着目し, ポジ ティブ，ネガティブのどちらかを付与する.

・このお風呂が温泉であればいう事はありませ 几. (風呂 $\mathrm{P}$ )

・飲み物の注文は 14 時からということで，友人 が残念がっていました。(サービス N)

・シャワーは温度調節機能付なら, 100 点とおも います。(風呂 $\mathrm{P}$ )

・ただデラックスシングルはドコモですがティー テーブルと椅子を設置してますのでご検討のほ ど。(施設 $\mathrm{N}$ )

・私は大山牧場のコーヒー牛乳でもあれば嬉し かったですね。(サービス $\mathrm{N}$ )

・食事は会場が静か過ぎるので，テレビか BGM があるといいですね (アメニティ $\mathrm{N}+$ 夕食 $\mathrm{N}+$朝食 $\mathrm{N}$ )


# 複数作業者を想定したアノテーションツールの 作成と機能の検討

星島洸明
京都大学大学院情報学研究科
hoshijima.komei.72x@st.kyoto-u.ac.jp
亀甲博貴
京都大学学術情報メディアセンター
kameko@i.kyoto-u.ac.jp

## 1 はじめに

近年，市民科学 (Citizen Science) を活用した研究 プロジェクトが注目されている。市民科学は非専門家が科学的な調査や研究活動を行うことを指す. 市民科学の特徴は少数の専門家のみで作業すると時間 と費用が膨大にかかるプロジェクトでも多数の非専門家がプロジェクトに参加すると効率的に作業を 進められることである。市民科学のブロジェクトの 例として京都大学古地震研究会が 2017 年に公開し た市民参加型史料翻刻プロジェクト「みんなで翻刻 (地震史料)」[1]が挙げられる. 翻刻とはくずし字 で書かれている古文書などの歴史史料を一文字ずつ 活字に書き起こしていく作業のことを指す.「みん なで翻刻」は web 上で歴史史料を翻刻するためのア プリケーションであり，翻刻作業には研究者だけで なく一般の人々も参加している.

このように，多くの研究分野においてデータに対 して人手でラベルを付与することが求められてい る.そのため，タスクに応じたラベルをつけるアノ テーションツールの需要がある. アノテーション ツールを使用するのが複数人であると想定すると，作業する人それぞれが対象の専門的知識をどの程度有しているかは不明である。またCUIに慣れていな い人も含まれるためツールはマウスのクリックと簡単なキーボードからの入力のみで扱えることが好ま しい.

本研究では，非専門家が複数人いる状態で効率的 にアノテーションすることを目指して，固有表現を 題材にしたアノテーションツールを試作した. 実験 ではアノテーションツールを使用して固有表現の アノテーションコーパスを作成した. 実験の結果,

\author{
西村太一 \\ 京都大学大学院情報学研究科 \\ nishimura.taichi.43x@st.kyoto-u.ac.jp \\ 森信介 \\ 京都大学学術情報メディアセンター \\ forest@i.kyoto-u.ac.jp
}

固有表現認識モデルの支援がある状態のほうが，支援がない場合よりラベル付けされたアノテーショ ンコーパスの品質は向上した。作成したそれぞれの コーパスで学習し比較した結果，支援がある場合で 作成したアノテーションコーパスで学習したほうが $\mathrm{F}$ 値が向上した.

## 2 関連研究

## 2.1 アノテータが複数いる状態のアノテー ション

複数のアノテータが同一の文書に対してアノテー ション作業を行う際，複数のアノテーションデータ から最も優れているラベルデータを選出し, 作成さ れたアノテーションデータで学習したモデルでまだ アノテーションされてないテキストに対してラベル 候補を提示する研究がある [2].

クラウドソーシングでラベル付きのデータを収集 するとアノテータがラベル付けしたタスクに対して 専門的知識をどの程度有しているかはアノテータそ れぞれで異なる. そのため，アノテーションの品質管理はクラウドソーシングにおいて重要な課題であ る. アノテータつけたラベルが誤りであるかを推定 する方法として同じデータを複数のアノテータにラ ベル付けしてもらい，その結果の多数決をとること でラベルの統合を行う方法がある．しかしこの方法 は各アノテータの誤り率が同等であることを前提と するため必ずしも効率的な方法ではない．アノテー タの誤り率を推定するため専門的知識の有無などを 考慮に入れた方法が提案されている [3].

図 1 試作したツールの全体図.

## 2.2 非専門家がいる状態のアノテーション

Snow らの研究 [4] ではクラウドソーシングによっ て専門家，非専門家それぞれがアノテーションコー パスを作成した. 非専門家のアノテータが作成した データの品質の偏りがあるため, データの品質から アノテータの評価を行い管理した. その結果，設定 した 5 つのタスクにおいて非専門家が作成したアノ テーションコーパスは専門家が作成したアノテー ションコーパスの 4 倍用意すると識別機の性能が同 じになった.

専門分野に関する知識を有しない非専門家と専門家が同じテキストに対してラベル付けをする場合， まず非専門家がテキストのラベル付けをしてその 生成物を専門家が修正することで，アノテーション コーパスを生成するコストを削減しアノテータ間の 一致率を向上させた研究がある [5].

## 2.3 既存のアノテーションツール

系列ラベリングで使用される既存のテキストアノ テーションツールはショートカットキーの設定 [6],能動学習を使用可能 [7] といった機能があり，効率的なアノテーションコーパスの作成ができる. 本研究では，こうしたツールを参考に，(1) ラベル候補の 提示機能と (2) ショートカットキーの設定機能が実装されており，効率よくアノテーションを行うこと ができる.
Ac.

居了

図 2 ツールのインターフェイス

## 3 アノテーションツール

複数人が作業することを想定した，ラベル付けを するためのツールを開発した。本ツールの概要図を 図 1 に示す.ツールのラベル付けするときのイン ターフェイスを図 2 に示す. 本ツールはアノテータ が複数人であることを想定しており，各アノテータ はアカウントを作成し各々が作業するプロジェクト を作成する。次にプロジェクト毎にテキストに付与 したいラベルを設定する．作業するテキストには事前に学習したモデルを使用してラベル候補をアノ テータに提示する. アノテータはツールによって提案されたラベルの範囲と種類が正確であると判断し た場合はそのままにしておき，誤っていると判断し た場合はラベルを削除する。ツールによって付与さ れたラベル以外にラベルを付ける必要があるとアノ テータが判断すれば新たにテキストにラベルを追加 する、ツールはアノテータが作業開始から作業終了 までの時間を測定しており，ラベル付けされたデー タとともにそれらの時間をデータベースに格納す る. 各アノテータによってラベル付けされたデータ を元の学習データに加えて，新たにモデルを学習す
表 1 レシピ用語のタグ一覧.

ることで自動ラベリングモデルの精度をより良くし てアノテータの負担を削減する。

## 4 実験

訓練データから学習したモデルを使用して，ラベ ル付けする候補をアノテータに提示して，人手でそ れを修正することでアノテーション作業の効率化が 見られるか観測する実験を行う．本実験では上記の ように新たにモデルの学習はしていない. アノテー タによってラベル付けされたデータを正解データと 比較して評価する。

## 4.1 実験設定

本実験では，アノテーション課題としてレシピ分野を対象とした固有表現認識を行う. 使用するデー タセットは，笹田らの基準 [8](表 1) に基づき定義さ れたレシピ用語を, IOB 形式でレシピ分野に精通し た人がラベル付けしており，これを正解データと して活用した. 支援のための固有表現認識モデル にはこのデータセットの学習データ 2,358 文使用し た.また，テストデータには 387 文使用した. 固有表現認識モデルには BiLSTM-CRF [9]を用いた。ア ノテータは 3 名で, 日本語母語話者でありレシピ分野に関して専門的知識は有していない。各アノテー タそれぞれは同じ 200 文にラベル付けをした. 200 文のうち 100 文は支援あり，100 文は支援なしでラ ベル付けを行った. なお，支援ありの 100 文はアノ テータ毎に異なる.

以下に実験で使用したパラメータを説明する．単語埋め込み層の入力は 1,640 , 出力は 512 で, LSTM 層の出力は 1,024 , 最終的な出力は 17 , バッチサイ ズは 10 で実施した. アノテータ支援のための固有表現認識モデルの適合率，再現率， $\mathrm{F}$ 値はそれぞれ

図 3 作業にかかった時間.

図4 ラベル付けされたデータの品質.

0.8164, $0.8425,0.8292$ であった.

## 4.2 実験手順

本ツールではアノテータが各自アカウントを作成 しそれぞれのアノテータ情報とアノテーションデー タを紐付けられている。そのため，アノテーション 作業にかかる時間をツールで測定してツールによる 支援がある場合と支援がない場合でかかる時間の差 を見られるようになっている。アノテータが作業す る際，ツールによる支援がある場合には，事前に学習した固有表現認識モデルを使用して，ツールの画面に表示されるテキストの中から固有表現を認識し て画面上に表示する.ツールによる支援はそれぞれ のアノテータが作業する 200 文のうちランダムに選 ばれた 100 文に対して行われた。支援がある文と支援がない文はランダムに選ばれ，アノテータは作業 を行う文を選択するまで支援があるかないか知るこ とができない.

作成されたアノテーションコーパスを正解データ と比較して適合率，再現率， $\mathrm{F}$ 値を計算した。

## 4.3 結果

アノテータ 1

アノテータ 2

アノテータ 3

図 5 ラベル付けされたデータの品質の移動平均.

表 2 ラベル付けされたデータの品質.

## 4.3.1 作業時間

作業にかかった時間を図 3 に示す.今回実験に参加したいずれのアノテータでも，支援がある場合の 方が支援がない場合よりも少ない時間で作業を終了 させることができた.

## 4.3.2 データ品質

ラベル付けされたデータの品質を図 4 に示す.值は $\mathrm{F}$ 値を表す. ラベル「 $\mathrm{Af}\lrcorner ， 「 \mathrm{St} 」 に$ 関してアノ テータ 2 の支援なしの場合は他のアノテータより比較的品質が高かった. そのためアノテータ 2 はこれ らのラベルを付けることが比較的得意である可能性 がある.

アノテータ 3 名のラベル付けされたデータの品質 を表 2 に示す. 表中の値は固有表現認識モデルによ る支援がない場合と支援がある場合それぞれにおけ る適合率，再現率， $\mathrm{F}$ 值を平均で示している. 支援 なしの場合よりも支援ありの場合のほうがラベル付 けされたデータの品質は向上した. 支援のための固有表現認識モデルによる自動ラベリングの品質の F 值は，支援がある場合よりは低く支援がない場合よ り高い結果になった。

アノテータが作成したデータの品質が作業の経過とともに変化するか調べるため, 各アノテータの データ品質の移動平均を計算した. 各アノテータの データの品質の移動平均を 10 文毎にとった結果を 図 5 に示す. いずれのアノテータも作業を進めるに したがってラベル付けしたデータの品質は向上して いった. 向上した理由がアノテータが固有表現認識 モデルの出力から学習したためか次第に作業に慣れ ていったためかはさらなる調査が必要である.表 3 ラベルの認識性能 (学習データ:100 文).

## 4.3.3 固有表現認識性能

各アノテータがラベル付けしたデータで学習した 固有表現認識モデルの性能を表 3 に示す. いずれの アノテータでも支援がある場合の方が支援がない場合よりラベル付けされたデータの品質が向上した.

## 5 おわりに

本研究では，非専門家が専門分野のアノテーショ ンコーパスを効率的に作成するためのツールを試作 した. 試作したツールは事前に学習したモデルによ るラベルの提案機能を持つ. 支援があると効率よく アノテーション作業がすすめられ，ラベル付けデー タの品質は向上した。また，アノテータがそれぞれ 提出したアノテーションコーパスで学習した固有表現認識モデルは支援がある場合のほうが固有表現認識性能が高くなった。

アノテータ毎のラベル付けされたデータの品質か ら，(1) 特定のアノテータは特定のラベルの種類に 関してラベル付け作業が得意である場合があるこ と，(2) 特定のラベルに比較的詳しいと思われるア ノテータとそうではないアノテータがそれぞれ作成 したアノテーションコーパスではデータの品質が異 なることが分かった. そのためアノテータ毎に比較的信用できるラベルに重みを付けてアノテータテー タコーパスを作成していくと固有表現認識モデルを 効率的に学習できる可能性がある.

今後は，本ツールにアノテータのラベル付けの誤 り率からアノテータの品質を考慮し管理する機能を 追加する予定である。また，能動学習などを活用し て固有表現認識モデルを逐次更新をする機能を追加 することも検討する。

## 参考文献

[1] みんなで翻刻|歴史資料の参加型翻刻プラット フォーム. https://honkoku.org. (参照 2021-1-13).

[2] An T Nguyen, Byron C Wallace, Junyi Jessy Li, Ani Nenkova, and Matthew Lease. Aggregating and predicting sequence labels from crowd annotations. In Proceedings of the conference. Association for Computational Linguistics. Meeting, Vol. 2017, p. 299. NIH Public Access, 2017.

[3] Peter Welinder, Steve Branson, Pietro Perona, and Serge Belongie. The multidimensional wisdom of crowds. Advances in neural information processing systems, Vol. 23, pp. 24242432, 2010.

[4] Rion Snow, Brendan O'connor, Dan Jurafsky, and Andrew Y Ng. Cheap and fast-but is it good? evaluating non-expert annotations for natural language tasks. In Proceedings of the 2008 conference on empirical methods in natural language processing, pp. 254-263, 2008.

[5] Mary Martin, Cecilia Mauceri, Martha Palmer, and Christoffer Heckman. Leveraging non-specialists for accurate and time efficient AMR annotation. In Proceedings of the LREC 2020 Workshop on "Citizen Linguistics in Language Resource Development”, pp. 35-39, Marseille, France, May 2020. European Language Resources Association.

[6] doccano. https://github.com/doccano/doccano.照 2021-1-13).

[7] Bill Yuchen Lin, Dong-Ho Lee, Frank F. Xu, Ouyu Lan, and Xiang Ren. AlpacaTag: An active learning-based crowd annotation framework for sequence tagging. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics: System Demonstrations, pp. 58-63, Florence, Italy, July 2019. Association for Computational Linguistics.

[8] 笹田鉄郎, 森信介, 山肩洋子, 前田浩邦, 河原達也. レシ ピ用語の定義とその自動認識のためのタグ付与コー パスの構築. 自然言語処理, Vol. 22, No. 2, pp. 107-131, 2015.

[9] Guillaume Lample, Miguel Ballesteros, Sandeep Subramanian, Kazuya Kawakami, and Chris Dyer. Neural architectures for named entity recognition. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 260-270, 2016.


# オンライン百科辞典を対象とする 有効期限切れ情報データベースの作成

土屋雅稔横井康孝
豊橋技術科学大学大学院 情報. 知能工学専攻
\{tsuchiya, yokoi\}@is.cs.tut.ac.jp

## 1 はじめに

ウェブを通じて提供される膨大な情報は，我々の 日常生活において欠かせないツールとなっている. しかし，全ての情報を参照することは非現実的であ り，適切な取捨選択が必要である $[1,2]$. 特に，ウェ ブ上の情報は全てが適時に更新されているわけでは ないため，現在参照するには不適当な情報について の取捨選択は重要である。具体例として, 図 1 のよ うな情報を考える。文 $s_{b}$ に記載されている通り大志田駅は 2016 年に廃止されているため, 文 $s_{t}$ に基 づいて盛岡市浅岸字大志田に行く交通手段を考える ことは適切ではない。

ウェブには，文 $s_{t}$ のような情報が多数存在してお り，情報利活用の障害となっている。このような情報の利活用を支援するため，情報を時系列に注目し て整理$\cdot$提示する方法が提案されている $[3,4]$. しか し, 先行研究では, 利用者の観点から現在参照する には不適当な情報の自動判定は行っていない

本稿では，文 $s_{t}$ のような情報を有効期限切れ情報 と呼び，有効期限切れ情報を自動判定するタスクを 提案する．有効期限切れ情報の自動判定タスクを設定するにあたっては, 判定対象となる文 $s_{t}$ および根拠となる文 $s_{b}$ の 2 文を入力して文 $s_{t}$ が有効期限切 れであるか否かを判定する夕スク設定と, 判定対象 となる文 $s_{t}$ のみを入力して文 $s_{t}$ が有効期限切れで あるか否かを判定するタスク設定の 2 通りが考えら れる。有効期限切れ情報の自動判定によって情報利活用を支援するという，有効期限切れ情報の自動判

図 1 有効期限切れ情報の例定タスクが目指す本来の目的から考えると，文 $s_{t}$ の みを入力とする後者のタスク設定が自然である。し かし，後者の夕スク設定を実現するためには，文 $s_{t}$ が有効期限切れである根拠を発見するというタスク を同時に解く必要があり，夕スクが極端に難しくな ることが予想される。そこで本稿では，判定対象と なる文 $s_{t}$ および根拠となる文 $s_{b}$ の 2 文を入力とし て，文 $s_{t}$ が有効期限切れであるか否かを判定すると いう前者の夕スク設定に限定して検討する．以後，判定対象となる文 $s_{t}$ を判定対象文，根拠となる文 $s_{b}$ を基準文と呼ぶ。

有効期限切れ情報を収集するテキストとしては， オンライン百科事典 (日本語版 Wikipedia) を利用す る. オンライン百科事典は継続的に更新されてお り，旧版のオンライン百科事典と，新版のオンライ ン百科事典を比較すると，追加された記事や，記述内容が更新された記事が見つかる．特に，ある項目 に関する記事が更新されている場合，旧版の記述に は有効期限切れ情報が含まれ，かつ，新版の記述に は判定根拠となる情報が含まれることが多いと期待 される。

以下，有効期限切れ情報の分析と定義および有効期限切孔情報データベースの作成方法について述 べる.

## 2 有効期限切れ情報の定義

情報の有効期限切孔とは, 直感的には, 図 1 の ように，古い説明文 $s_{t}$ の情報が新しい説明文 $s_{b}$ に よって上書きされ，古い説明文の情報が有効性を 失っている状態である。ここで，以下のような文 $s_{n}$ を考える。

$s_{n}$ 盛岡市が大志田駅から浅岸駅までの 13 キ 口の近郊自然歩道を整備し、2015 年 5 月 15 日 から利用可能となった。

3 つの文 $s_{t}, s_{b}, s_{n}$ は全て, 大志田駅について述べた
文である。しかし, 文 $s_{b}$ を基準として文 $s_{t}$ が有効期限切れと言うことは可能と考えられるのに対し て, 文 $s_{n}$ を基準として文 $s_{t}$ が有効期限切孔と言う ことは困難である。この例は, 有効期限切れ関係 は，あらゆる文対に対して成り立つわけではなく， ある特定の文対に対してのみ成り立つことを示唆し ている.

そこで，この節では，有効期限切れについて，含意関係との関係に注目しつつ, 形式的な定義を与え ることを試みる。

## 2.1 有効期限切れ現象の検討

最初に，有効期限切れが実際に起きている例文を 参照しながら, 有効期限切れとは, どのような現象 であるのかを検討する。

有効期限切れが起きている例として，以下のよう な 2 つの文 $s_{1}, s_{2}$ を考える。

$s_{1}=\underset{\text { 宾ラ゙本で最も高いビルはークタワーである }}{2010 \text { 年現在 }, \text { 横 }}$

$s_{2}=$ 日本で最も高いビルは, 2015 年現在, あ べのハルカスである

「日本で最も高いビル」に関する文 $s_{1}$ の情報は，文 $s_{2}$ によって上書きされており, 2020 年現在の利用者視点では，文 $s_{1}$ の情報は有効期限切れである.

形式的に議論するため, 文 $s$ の記述内容を, 文 $s$ が注目している時間 $t$ と, 時間とは関係なく成立す る記述内容 $x$ の 2 つ組として考える.

$
s=\langle x, t\rangle
$

まず，文 $s_{1}$ の記述内容を, 2 つ組 $\left.\langle x_{1}, t_{1}\right.\rangle$ に分解する.

$
\begin{aligned}
s_{1} & =\left.\langle x_{1}, t_{1}\right.\rangle \\
x_{1} & =\underset{\text { クタで最も高いビルは },}{\text { 日横浜ランドマーである }} \\
t_{1} & =2010 \text { 年 }
\end{aligned}
$

文 $s_{2}$ の記述内容も, 同様に 2 つ組 $\left.\langle x_{2}, t_{2}\right.\rangle$ に分解 する.

$
\begin{aligned}
s_{2} & =\left.\langle x_{2}, t_{2}\right.\rangle \\
x_{2} & =\underset{\text { 日本である最も高いビルは, あべのハルカス }}{\text { 只い }} \\
t_{2} & =2015 \text { 年 }
\end{aligned}
$

ここで，文 $s_{1}$ の時間情報のみを $t_{2}$ に置き換えた文 $s_{1,2}$ を考える.

$
\begin{aligned}
s_{1,2} & =\left.\langle x_{1}, t_{2}\right.\rangle \\
& =\underset{\text { 浜ランド最も高いビルは }}{\text { 日本でークタワーである }} 2015 \text { 年現在, 横 }
\end{aligned}
$

この時, 文 $s_{1,2}$ と文 $s_{2}$ は，矛盾している.次に，有効期限切れを引き起こさない例として，以下のような文 $s_{3}$ を考える。

$s_{3}=$ 世界で最も高いビルは, 2015 年現在, ブ ルジュ・ハリファである

文 $s_{1}$ は日本で最も高いビルについて述べている. それに対して，文 $s_{3}$ は世界で最も高いビルについて 述べており, 日本で最も高いビルについてはまった く言及していない. そのため, 文 $s_{3}$ が基準となっ て, 文 $s_{1}$ が有効期限切れとなるとは考えられない. また, 文 $s_{1,2}$ と文 $s_{3}$ は, 矛盾していない.

以上の観察より, 本稿では, 有効期限切れを, 矛盾を手がかりとして定義する。

## 2.2 有効期限判定と含意関係判定の関係

本稿では, 2.1 節で述べた通り, 情報の有効期限切 れを，矛盾を手がかりとして定義する，以下では， その形式的な定義について述べる。

最初に, 含意関係判定を定義する. 先行研究 [5] にしたがうと, 含意関係判定は, 2 つの文 $s_{h}, s_{p}$ が与 えられた時, その 2 つの文の含意関係に応じて以下 の 3 通りの値を返す関数 $f$ と見なせる。 なお, 本稿 では，含意関係の方向については考慮せず，どちら かの方向の含意関係が成り立っている時は含意であ るとする。

$
f\left(s_{h}, s_{p}\right)=\left.\{\begin{array}{l}
\text { if } s_{h} \rightarrow s_{p} \vee s_{p} \rightarrow s_{h} \\
\quad \text { 含意 } \\
\text { if } s_{h} \wedge s_{p}=\phi \\
\quad \text { 矛盾 } \\
\text { otherwise } \\
\text { 中立 }
\end{array}\right.
$

次に, 有効期限判定を定義する，まず，判定対象文 $s_{t}$ と基準文 $s_{b}$ を，それぞれ内容と時間情報の 2 つ組に分解する。

$
\begin{aligned}
s_{t} & =\left.\langle x_{t}, t_{t}\right.\rangle \\
s_{b} & =\left.\langle x_{b}, t_{b}\right.\rangle
\end{aligned}
$

判定対象文 $s_{t}$ と基準文 $s_{b}$ が与えられた時, 2.1 節の 観察に基づいて, 有効期限判定を，以下の 2 通りの 値を返す関数 $g$ として定義する。

$
g\left(s_{t}, s_{b}\right)=\left.\{\begin{array}{c}
\text { if } f\left(s_{t}, s_{b}\right)=\text { 矛盾 } \\
\vee f\left(\left.\langle x_{t}, t_{b}\right.\rangle, s_{b}\right)=\text { 矛盾 } \\
\vee f\left(s_{t},\left.\langle x_{b}, t_{t}\right.\rangle\right)=\text { 矛盾 } \\
\text { 期限切れ } \\
\text { otherwise } \\
\text { 期限内 }
\end{array}\right.
$
以上のように，本稿では，情報の有効期限切れを，基準となる情報が存在して初めて決定できる概念と して扱う。

情報の有効期限切れを，以上のように定義する と, 多くの場合に利用者の直感とよく一致するが,時間変化する情報の有効期限切孔については注意が 必要である. 例として, 以下の 2 つの文 $s_{4}, s_{5}$ を考 える。

$s_{4}=$ 東都大学の 2014 年度の受験者数は 2000 人である

$s_{5}=$ 東都大学の 2015 年度の受験者数は 3000 人である

文 $s_{4}$ を，以下の 2 つ組に分解する.

$s_{4}=\left.\langle x_{4}, t_{4}\right.\rangle$

$x_{4}=$ 東都大学の受験者数は 2000 人である

$t_{4}=2014$ 年度

文 $s_{5}$ も，同様に 2 つ組に分解する.

$s_{5}=\left.\langle x_{5}, t_{5}\right.\rangle$

$x_{5}=$ 東都大学の受験者数は 3000 人である

$t_{5}=2015$ 年度

ここで，文 $s_{4}$ の時間情報のみを $t_{5}$ に置き換えた文 $s_{4,5}$ を考える。

$s_{4,5}=\left.\langle x_{4}, t_{5}\right.\rangle$

= 東都大学の 2015 年度の受験者数は 2000

この時, 文 $s_{4,5}$ と文 $s_{5}$ は矛盾している。 そのため,本稿では, 文 $s_{4}$ は 2014 年度の情報としては未だに 真であるにも関わらず，式 4 の定義に基づいて，文 $s_{4}$ は文 $s_{5}$ によって上書きされており, 文 $s_{4}$ の情報 は有効期限切れであると見なす。言い換えれば，本稿の定義では, 有効期限を現時点 (正確には, 基準 テキストが記述された時点) の情報として有効であ るか否かを考えていることになる。

さらに，文 $s_{5}$ の代わりに，以下のような文 $s_{6}$ を 考える。

$s_{6}=$ 東都大学の 2015 年度の受験者数は, 昨年度に比べて 1000 人増加した

文 $s_{6}$ は，以下のように 2 つ組に分解できる.

$s_{6}=\left.\langle x_{6}, t_{6}\right.\rangle$

$x_{6}=$ 東都大学の受験者数は, 昨年度に比べて 1000 人増加した

$t_{6}=2015$ 年度

文 $s_{4}$ と文 $s_{6}$ の対, または文 $s_{5}$ は，同じ事実「東都大学の 2015 年度の受験者数は 3000 人である」につ いての 2 通りの異なる表現である。にも関わらず，文 $s_{4,6}$ は文 $s_{6}$ とは矛盾しないため, 式 4 の定義に従 うと，文 $s_{6}$ を基準として考える場合には，文 $s_{4}$ は 有効期限切れではない，言い換えれば，有効期限切
れの判定にあたっては，2つの文から演繹される結果までは考慮することなく, その 2 つの文に基づい て考えるという立場をとる。

## 3 有効期限切れ情報データベースの 作成

## 3.1 対象テキストの選定

有効期限切れ情報の自動判定によって情報利活用 を支援するという, 有効期限切れ情報の自動検出夕 スクが目指す本来の目的から考えると，判定対象文 としては，個人によるブログ記事に含まれる文のよ うな自由な文体の文を，基準文としては，新聞記事 などの信頼性が高く定型的な文体の文を選択するこ とが適切と考えられる。この場合, 判定対象文はブ ログ記事から, 基準文は新聞記事から収集すること になる。しかし, 膨大なブログ記事から有効期限切 れ情報を含む判定対象文を収集することが困難であ るだけでなく, その判定対象文に対応する根拠とな る基準文を収集することも困難である。

このような文対を大量に作成する方法としては,判定対象文 (または基準文)を多数の作業者に提示 し，提示した文に適するような基準文 (または判定対象文)を作成するように依頼するクラウドソーシ ングが広く用いられている [6]. しかし, この方法 で作成されたデー夕には，作業者によって不適切な バイアスが混入することが指摘されている $[7,8]$.

そのため, 本稿では, オンライン百科事典の継続的な更新という性質に注目し, 更新時期が古い記事 から判定対象文を, 更新時期が新しい記事から基準文を収集する。

## 3.2 アノテーション対象差分の抽出

本稿では, 有効期限切孔情報データベースの作成対象として, オンライン百科事典である日本語版 Wikipedia に注目する. 2014 年 12 月 11 日時点の夕゙ ンプデータと 2018 年 12 月 20 日時点のダンプデー 夕を対象として，WikiExtractor ${ }^{1)}$ を用いたプレーン テキスト化を行い，記事数の変化を調査した。調査結果を, 表 1 に示す. 本稿では, 双方に存在する記事 936,985 件を対象とする。

双方の日時に存在する記事について, 記事の記述内容を比較すると, さまざまな差分が発見される. まず，本稿では，問題を単純化するために，編集に よって変化している文が 1 文であるような差分を対

1) https://github.com/attardi/wikiextractor
表 1 日本語版 Wikipedia の記事数の変化

象とする。また, 有効期限判定の対象として適切な 差分を収集するには, 時間経過によって変化した情報に言及している差分を収集する必要がある。その ため, 2014 年 (判定対象文 $s_{t}$ の記述時点) ら 2018 年 (基準文 $s_{b}$ の記述時点) までの日時に対する言及を 含む差分や, 同じ期間に追加された記事に対する言及を含む差分を対象とする。このように考えると， 193,142 箇所の差分が候補となる.

193,142 箇所の差分には, 句点の追加 $\cdot$ 削除, 誤字脱字の修正など, 微細な編集のみが行われている場合も非常に多く含まれている。本稿の目的に照らす と, 判定対象文と基準文で記述内容が本質的に変化 している場合を対象として，収集およびアノテー ションを行いたい．そこで，判定対象文 $s_{t}$ と基準文 $s_{b}$ の最長共通部分列 $L C S\left(s_{t}, s_{b}\right)$ が, 文 $s_{t}, s_{b}$ に占め る割合が 0.6 以下であるような差分のみを対象とす る。このように考えると， 15,648 箇所の差分が候補 となる。

最後に, できるだけ良質な記事の差分を優先して 収集およびアノテーション対象とすることを考え る.そのため, SQuAD[9] と同様に, Wikipedia の記事間のリンクに基づく PageRank[10] の上位記事から 収集した 9,600 箇所の差分を対象とする.

## 3.3 アノテーション

3.2 節で説明した手順で抽出した 9,600箇所の差分 に対して，3種類の含意関係ラベル (含意, 矛盾, 中立) と 2 種類の有効期限ラベル (期限切れ, 期限内) を人手で付与した。付与したラベルの内訳を，表 2 に示す。表 2 より, $32.2 \%$ (3,090 箇所)の差分が有効期限切孔と判定された. この判定結果から, 日本語版 Wikipedia には有効期限切软情報が多く存在する ことがわかり, 有効期限切れ情報の自動判定が必要 であることが示された。

また，表 2 より，含意関係ラベルが含意または中立である場合であっても，有効期限切れと判定され る差分も多く存在していること，すなわち，従来の 含意関係判定と本稿が提案する情報の有効期限判定表 2 含意関係ラベルおよび有効期限ラベルの分布

には違いがあることがわかる，以下に，含意関係ラ ベルが含意, かつ, 有効期限ラベルが期限切れとな る差分の実例を示す。

この 2 文 $s_{7}, s_{8}$ は，国立駅に関する記事の一部であ る. 文 $s_{7}$ で説明されている事実は, 文 $s_{8}$ でも同様 に説明されているため, 文 $s_{8}$ から文 $s_{7}$ に対する片方向含意は成り立っていると考えられる。しかし,文 $s_{7}$ における「改札は高架下の 1 ケ所」という説明 は，文 $s_{8}$ によって「改札は高架下と西側に 2 ケ所」 と上書きされているため, 有効期限ラベルは期限切 れとなる。

## 3.4 作業者間一致度

アノテーションが安定して行われているかどう かを検討するため, 作業者間一致度を調査する。 3.2 節で述べた Wikipedia の記事間リンクに基づく PageRank の上位記事から，300箇所の差分を調査対象とし，2 名の作業者による独立したアノテーショ ン作業を実施した。2 名の作業者による含意関係判定の一致率は $83.7 \%$ (251 箇所), 有効期限判定の一致率は $88.0 \%$ (264 箇所) だった。作業者間で判断が異 なった箇所について精査したところ, 文外知識の理解度などによるものが多く見られた。

## 4 結論

本稿では，有効期限切孔情報の自動判定タスクを 提案した. 有効期限切れ現象について分析を行い,分析に基づいて, 情報の有効期限切れを含意関係判定と関連付けて定義した。有効期限切孔情報デー夕 ベースを，オンライン百科事典の継続的な更新とい う性質に基づいて作成する方法について述べた。

## 参考文献

[1] Catherine C. Marshall and Frank M. Shipman. Spatial hypertext and the practice of information triage. In Proceedings of the Eighth ACM Conference on Hypertext, HYPERTEXT '97, pp. 124-133, New York, NY, USA, 1997. Association for Computing Machinery.

[2] Sofus A. Macskassy and Foster Provost. Intelligent information triage. In Proceedings of the 24th Annual International ACM SIGIR Conference on Research and Development in Information Retrieval, SIGIR '01, pp. 318-326, New York, NY, USA, 2001. Association for Computing Machinery.

[3] Gabriel Pui Cheong Fung, Jeffrey Xu Yu, Huan Liu, and Philip S. Yu. Time-dependent event hierarchy construction. In Proceedings of the 13th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, KDD '07, p. 300-309, New York, NY, USA, 2007. Association for Computing Machinery.

[4] Canhui Wang, Min Zhang, Liyun Ru, and Shaoping Ma. Automatic online news topic ranking using media focus and user attention based on aging theory. In Proceedings of the 17th ACM Conference on Information and Knowledge Management, CIKM '08, p. 1033-1042, New York, NY, USA, 2008. Association for Computing Machinery.

[5] Marco Marelli, Stefano Menini, Marco Baroni, Luisa Bentivogli, Raffaella Bernardi, and Roberto Zamparelli. A SICK cure for the evaluation of compositional distributional semantic models. In Nicoletta Calzolari (Conference Chair), Khalid Choukri, Thierry Declerck, Hrafn Loftsson, Bente Maegaard, Joseph Mariani, Asuncion Moreno, Jan Odijk, and Stelios Piperidis, editors, Proceedings of the Ninth International Conference on Language Resources and Evaluation (LREC'14), pp. 216-223, Reykjavik, Iceland, may 2014. European Language Resources Association (ELRA).

[6] Samuel R. Bowman, Gabor Angeli, Christopher Potts, and Christopher D. Manning. A large annotated corpus for learning natural language inference. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 632-642, Lisbon, Portugal, September 2015. Association for Computational Linguistics.

[7] Suchin Gururangan, Swabha Swayamdipta, Omer Levy, Roy Schwartz, Samuel Bowman, and Noah A. Smith. Annotation artifacts in natural language inference data. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers), pp. 107-112, June 2018.

[8] Masatoshi Tsuchiya. Performance impact caused by hidden bias of training data for recognizing textual entailment. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), 2018.

[9] Pranav Rajpurkar, Jian Zhang, Konstantin Lopyrev, and Percy Liang. SQuAD: 100,000+ questions for machine comprehension of text. In Proceedings of the 2016 Con- ference on Empirical Methods in Natural Language Processing, pp. 2383-2392, 2016.

[10] Lawrence Page, Sergey Brin, Rajeev Motwani, and Terry Winograd. The pagerank citation ranking: Bringing order to the we.b. Technical Report 1999-66, Stanford InfoLab, November 1999.


# 複数の学習器による知識の蒸留を利用した 読影所見用語認識の精度向上

田川裕輝中野騰久尾崎良太西埜徹
}谷口友紀 大熊智子 中村佳児

富士フイルム株式会社

\{yuki.tagawa, norihisa.nakano, ryota.ozaki, toru.nishino, tomoki.taniguchi, tomoko.ohkuma, keigo.nakamura\}@fujifilm.com
## 1 はじめに

読影レポートとは放射線科の医師が CT や MRI な どの医療画像を元に異常所見や疾患についての読影診断を自然言語によって記述したものである.この レポートの中には医師の知識や経験が表現されてお り，これを抽出すれば様々な用途に利活用すること が期待できる。言語で表現された医師の知識を再利用可能な形にするにはレポートを構造化して疾患や 臟器などの観点から記述内容を分析できるようにす る必要がある. レポートから所見用語を抽出するた めの固有表現認識 (Named Entity Recognition; NER) はレポート構造化の根幹となる技術である.

NER は情報抽出技術の一つであり，多くの研究が 取り組まれている [1]. 特に, 近年では深層学習の 発展に伴い，大量の教師データでモデルを訓練する 手法が提案されている $[2,3]$. 一方で，読影レポー トへのラベル付けは専門知識が必要であり，大量の 教師データを用意するにはコストがかかる. そのた め，我々は大量の教師データを用意せずに所見用語認識の精度向上を目指す。

限られた量の教師データで NER の精度向上を目指した研究に Lai ら [4] や Liang ら [5] の研究がある. これらの研究は限られた教師データで学習したモデ ルで教師無しデータにラベル付けすることで，弱教師データを生成し，学習データを水増ししている。

Lai らは教師データだけで訓練した BERT [6] (以下 Teacher と呼ぶ) と, Teacher が生成した弱教師データ と教師データを混ぜて訓練した BERT (以下 Student と呼ぶ) の精度を比較し, Student が Teacher の精度 を上回った場合，Teacher のパラメータをStudent の パラメータに置き換えて，再び弱教師データを生成 する手法を提案している. またこの処理を複数回繰

図1読影レポートとアノテーションデータのサンプル.

り返すことで，高品質な弱教師データが生成でき たことを報告している. このように， Teacher が学習した知識を Student の学習に利用することを知識 の蒸留 [7] という. 特に, Teacher と Student に同じ モデル構造を利用したものは Self-Distillation [8] や Born-Again Networks [9] と呼ばれる.

生成された弱教師データの質が NER の精度に影響することを考えると，単一の Teacher から弱教師 データを生成するのではなく，Teacher に複数のモ デルを用意し，それぞれの出力を統合することで， より高品質な弱教師データの生成が期待できる. 特 に，NER において高い精度が報告されている BERT はドメイン適用するために対象ドメインのコーパス で継続学習するもの [10] や文字単位の語彙を扱うも の ${ }^{1)}$ など様々なモデルが提案されている. このよう な特徴の異なるモデルを Teacher として組み合わせ ることで，更なる精度向上が期待できる [11,12].

本研究では複数のモデルによる知識の蒸留を利用 した NER の学習手法を提案し, 所見用語認識に適用する. 実験では先行研究である Lai らの研究と比 べ，提案手法が Micro-F1 評価において高い精度とな ることを確認する。

## 2 提案手法

図 2 に提案手法の概要図を示す. 提案手法の学習 フローを以下に説明する。

1. あるトークン系列 $x$ に対して正解ラベル系列 $y$ がアノテーションされた教師データ $S=\left.\{\left(x_{1}, y_{1}\right), \ldots,\left(x_{L}, y_{L}\right)\right.\}$ を利用して，モデルリ
^{1)}$ https://github.com/cl-tohoku/bert-japanese
}

図 2 提案手法の概要図.

スト $F=\left.\{f_{\theta_{1}}, \ldots, f_{\theta_{i}}, \ldots, f_{\theta_{N}}\right.\}$ 中の $N$ 個のモデル を訓練し，Teachers $=\left.\{f_{\theta_{t_{1}}}, \ldots, f_{\theta_{t_{i}}}, \ldots, f_{\theta_{t_{N}}}\right.\}$ を 作成する。ここで $f_{\theta}$ とはパラメータ $\theta$ を持つ NER モデルである.

2. 教師無しデー タ $d$ の リ ス 卜 $U=\left.\{d_{1}, \ldots, d_{j}, \ldots, d_{M}\right.\}$ に対 し $\tau$,各 Teacher モデルから出力 $O=$ $\left.\{\left(d_{1}, \hat{y}_{1,1}\right), \ldots,\left(d_{j}, \hat{y}_{i, j}\right), \ldots,\left(d_{M}, \hat{y}_{N, M}\right)\right.\}$ を生成す る. ここで, $\hat{y}_{i, j}$ とは Teacher モデル $f_{\theta_{t_{i}}}$ によっ て教師無しデータ $d_{j}$ に対して予測したラベル 系列である.

3. 各 Teacher モデルの出力 $O$ を文字単位の多数決で一つの出力結果に統合し, 弱教師デー タ $P=\left.\{\left(d_{1}, \tilde{y}_{1}\right), \ldots,\left(d_{j}, \tilde{y}_{j}\right), \ldots,\left(d_{M}, \tilde{y}_{M}\right)\right.\}$ を生成 する。

4. 教師データ $S$ と弱教師データ $P$ を混ぜたデー タでモデルリスト $F$ 中のモデルを訓練し， Students $=\left.\{f_{\theta_{s_{1}}}, \ldots, f_{\theta_{s_{i}}}, \ldots, f_{\theta_{s_{N}}}\right.\}$ を作成する.
5. $f_{\theta_{t_{i}}}$ と $f_{\theta_{s_{i}}}$ の開発データに対する精度を比較し, $f_{\theta_{s_{i}}}$ が $f_{\theta_{t_{i}}}$ の精度を上回っている場合， $f_{\theta_{t_{i}}}$ の パラメータ $\theta_{t_{i}}$ を $f_{\theta_{s_{i}}}$ のパラメータ $\theta_{s_{i}}$ に置き換 えることで，Teachersを更新する。
6. 2 から 5 までの処理をどの Teacher モデルも更新されなくなるまで，もしくは事前に定義した 回数 Iだけ繰り返す.

7. 各 Teacher モデルを利用してテストセットに対 して予測する。

8. 各 Teacher モデルの予測結果を 3 と同じく文字単位の多数決により一つの予測結果に集約し， テストセットに対する予測結果を得る.

## 3 実験

表 1 データセットの統計量.

## 3.1 データセット

本研究では全身を対象とした日本語読影レポート に所見用語ラベルをアノテーションし，データセッ トを構築した. データセットの統計量を表 1 に示 す. 表 1 の件数は読影レポート中の 1 行を 1 件とし てカウントしている. また，教師無しデータは文字数が多いものから優先して 10,000 件を選択した。

ラベルの種類とその説明を表 2 に示す. 図 1 に示 すように，病変と病名，変化の表現はレポートで はそれらが認められる (Positive; P)，認められない (Negative; N)，疑いや可能性がある (Suspicion; S) と いった事実性も同時に記述される。そのため，所見用語ラベルと同時に事実性ラベルもアノテーション した. 本研究では所見用語ラベルに事実性ラベルを 結合したものをラベル ${ }^{2)}$ とし，事実性判定も所見用語認識タスクとして同時に解いた。また，BIO 方式 3)を用いてラベルを付与した。

## 3.2 モデル

実験で利用するモデルを以下に説明する。

BERT 日本語 Wikipedia で学習した BERT ${ }^{1)}$. 語彙は NEologd 辞書 4)を組み込んだ MeCabによ
^{3}$ BIO 方式では固有表現の開始を表す Begin，同一種の固有表現の継続を表す Inside，どの固有表現にも当てはまらない Outside を利用し，固有表現の境界を認識する。

 }^{4)}$ https://github.com/neologd/mecab-ipadic-neologd

表 2 所見用語ラベルとその説明.

 \\

り単語分割した後，Byte Pair Encoding (BPE) に より構築している.

Char-BERT 日本語 Wikipedia で学習した文字単位の語彙を持つ BERT ${ }^{1)}$. 語彙は文字単位の分割処理により構築している。

UTH-BERT [13] 日本語の医療分野のコーパスで

んだ MeCabで単語分割した後, BPEにより構築している.

Radio-BERT2K 約 97 万行の日本語読影レポー トで学習した BERT. 事前学習時は Masked Language Modeling (MLM) [6] で学習した. ま た，MLM にマスクする単語を単語単位で選択 し，選択された単語に対応するサブワードを 全てマスクする Whole Word Masking (WWM) を 加えた. 語彙は MeCab で単語分割した後, BPE により 2,000 の語彙を構築した. 前処理として 5 文字以下の行は削除した上で事前学習した.

Radio-BERT4K Radio-BERT2K の語彙数を 4,000 に変更したモデル．その他の設定は RadioBERT2Kと同じである.

Radio-AdaptaBERT BERTを日本語読影レポート で継続学習した BERT．継続学習のタスクに はWWMを加えた MLM を利用した。語彙は BERTと同じものを利用した。

実際に学習させるモデルはこれらのモデルの最終層 に CRF [14]を追加したモデルである. 学習時はこ
れらの事前学習モデルで入力系列をエンコードし，得られたべクトル表現から CRF により，正解ラべ ル系列を出力するようにモデル全体を学習する.

学習フロー 3 と 8 では同じデータに対する複数の モデルの予測結果を一つの結果に集約している. 複数の予測結果を一つに結果に集約する手法として トークン単位の多数決を利用する研究がある [11].一方で，トークン (またはトークン系列) に対してラ ベル (またはラベル系列) を予測するモデルの予測結果を集約するには，全モデルでトークン分割の結果 が同じでなければ，トークン単位の多数決を適用す る事ができない．そこで，各モデルが予測したラべ ル系列を文字単位のラベル系列に変換し，全モデル で分割単位を揃えた上で文字単位の多数決により予測結果を集約した。

## 3.3 比較手法

実験で比較する手法を以下に説明する.

Single 教師データのみで学習するベースライン.

Self Distillation (SD) Lai ら [4] の手法. 一つのモデ ルを Teacher と Student として利用し, 弱教師デー タを生成する.

## Collaborative Distillation w/ Multiple Seeds (CDMS)

同じモデル構造で異なる初期シードを設定した複数のモデルを用意し，弱教師データを生成する提案手法.

## Collaborative Distillation w/ Different Models (CDDM)異なる構造を持つ複数のモデルを用意し，弱教師 データを生成する提案手法.

各モデルのパラメータは Single 手法で開発セット に対して最高精度となるパラメータをグリッドサー チで決定した.また，Iには 5 を設定した.

## 3.4 評価方法

手法の評価には Micro-F1 值を用いた. システム が出力したラベル系列と正解ラベル系列を比較し,所見用語の開始点，終点，所見用語ラベルが全て一致した場合に正解とした。

## 3.5 実験結果

表 3 にテストセットに対する Micro-F1 值を示す. CDMS はそれぞれのモデルを異なる 3 つのシード を用意し学習させた結果である. CDDM は BERT, Char-BERT，Radio-AdaptaBERT の 3 つのモデルを利
^{5)}$ http://sociocom.jp/ data/2018-manbyo/index.html
}
表 3 テストセットに対する Micro-F1 值. 最高値には下線を引いている.

用した結果である．值を比較すると，CDMS では Radio-AdaptaBERT を利用し, 学習した場合が最も 高い值となった. また，他の Single やSD と比べて も高い值となっていることから，複数のモデルを組 み合わせて弱教師データを生成する提案手法は所見用語認識タスクに効果的であったといえる。特に，複数の異なるモデルを組み合わせる CDDM が最も高 い性能となった。

## 3.6 分析

各モデルの予測にどの程度のばらつきがあるのか を分析するため，モデル間の予測結果の不一致の割合 [15] を算出した. モデルの予測したラベル系列を 文字単位のラベル系列に変換した上で，予測結果の 不一致の割合 $d_{\text {all }}$ を算出した. さらに，どちらのモ デルも所見用語ラベルを予測した事例の内，ラベル が不一致した割合 $d_{\text {label }}$ と, 予測した所見用語のス パンが不一致した割合 $d_{\text {span }}{ }^{6)}$ を算出した. また， 3 つ以上のモデルの組み合わせに対しては全てのモデ ルの組み合わせに対して不一致の割合を算出し，そ の平均値を多様性尺度 $D$ とした。

表 4 に Single 手法によって訓練されたモデルの予測結果から算出した多様性尺度 $D$ を示す. 全ての 尺度において，同じモデル構造間の予測結果の値よ りも，異なるモデル構造間の予測結果の值の方が高 いことがわかる. $D_{\text {label }}$ では BERT と Char-BERT の 組み合わせが最も高い值となった。これらのモデル の違いは大力テキストをそれぞれ文字単位で分割す るかサブワード単位で分割するかという点である。日本語は単語分割の境界が自明でないため，NER の 予測結果は前段の単語分割の結果の影響を受けるこ とが知られており [16], 異なる単語分割器を持つモ デルを組み合わせたことが同じモデル構造でシー ドのみを変えて組み合わせた場合と比べて高い多
$ ラベル，B ラベル)，(O ラベル，I ラベル) の組み合わせで不一致 した割合を算出した．スパンの不一致の割合を測るため，所見用語ラベルは考慮せず BIO ラベルのみで不一致を検出した.
}

表 4 教師無しデータに対する予測結果から算出した多様性尺度 $D_{\text {all }}, D_{\text {label }}, D_{\text {span }}$. w/ 3seeds とはモデルを異な る 3 つのシードで学習したことを表す. 各尺度毎に最高値には下線を引いている.

様性を生んだと考えられる。また， $D_{\text {span }}$ において は Char-BERT と Radio-AdaptaBERT の組み合わせが 最も高い値となった. これらのモデルの違いは上述 した単語分割方法の違いに加え，事前学習コーパス も異なる. Radio-AdaptaBERT は大量の読影レポー トで継続学習している。この結果から事前学習時の コーパスの違いも多様性を生むと考えられる。

このように異なるモデル構造を組み合わせること で予測結果に多様性が生まれることがわかった．多様性は複数のモデルを組み合わせて性能向上を測る アンサンブル学習において，性能を測る尺度として 期待できるという分析がある [17]. 表 3 の結果から も，多様性の低い異なるシードで学習したモデルを 組み合わせる CDMS より，多様性の高い異なるモデ ルを組み合わせる CDDM のほうが高い精度となっ た.これらの結果から多様な予測をするモデルを組 み合わせて弱教師データを生成する CDDM は所見用語認識の性能向上に寄与したと考えられる.

## 4 おわりに

本研究では所見用語認識の精度向上を目指し, 複数モデルによる知識の蒸留を利用した NER の学習手法を提案した．実験ではベースラインと先行研究 [4] と比較し，提案手法が高い性能となった.

今後は前段の単語分割の結果や事前学習コーパス の違いなどが，後段の所見用語認識の精度に与える 影響を分析したい。

## 参考文献

[1]Vikas Yadav and Steven Bethard. A survey on recent advances in named entity recognition from deep learning models. In Proceedings of the 27th International Conference on Computational Linguistics, pp. 2145-2158, Santa Fe, New Mexico, USA, August 2018. Association for Computational Linguistics.

[2]Guillaume Lample, Miguel Ballesteros, Sandeep Subramanian, Kazuya Kawakami, and Chris Dyer. Neural architectures for named entity recognition. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 260-270, San Diego, California, June 2016. Association for Computational Linguistics.

[3]Xuezhe Ma and Eduard Hovy. End-to-end sequence labeling via bi-directional LSTM-CNNs-CRF. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1064-1074, Berlin, Germany, August 2016. Association for Computational Linguistics.

[4]Tuan Lai, Trung Bui, Doo Soon Kim, and Quan Hung Tran. A joint learning approach based on self-distillation for keyphrase extraction from scientific documents. In Proceedings of the 28th International Conference on Computational Linguistics, pp. 649-656, Barcelona, Spain (Online), December 2020. International Committee on Computational Linguistics.

[5]Chen Liang, Yue Yu, Haoming Jiang, Siawpeng Er, Ruijia Wang, Tuo Zhao, and Chao Zhang. Bond: Bert-assisted opendomain named entity recognition with distant supervision. In ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, 2020.

[6]Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 41714186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[7]Geoffrey Hinton, Oriol Vinyals, and Jeff Dean. Distilling the knowledge in a neural network. arXiv preprint arXiv:1503.02531, 2015.

[8]Jianping Gou, Baosheng Yu, Stephen John Maybank, and Dacheng Tao. Knowledge distillation: A survey. arXiv preprint arXiv:2006.05525, 2020.

[9]Tommaso Furlanello, Zachary Lipton, Michael Tschannen, Laurent Itti, and Anima Anandkumar. Born again neural networks. In Jennifer Dy and Andreas Krause, editors, Proceedings of the 35th International Conference on Machine Learning, Vol. 80 of Proceedings of Machine Learning Research, pp. 1607-1616, Stockholmsmässan, Stockholm Sweden, 10-15 Jul 2018. PMLR.

[10]Xiaochuang Han and Jacob Eisenstein. Unsupervised domain adaptation of contextualized embeddings for sequence labeling. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th In- ternational Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 4238-4248, Hong Kong, China, November 2019. Association for Computational Linguistics.

[11]Zornitsa Kozareva, Boyan Bonev, and Andres Montoyo. Selftraining and co-training applied to spanish named entity recognition. In Mexican International conference on Artificial Intelligence, pp. 770-779. Springer, 2005.

[12]Pierre Lison, Jeremy Barnes, Aliaksandr Hubin, and Samia Touileb. Named entity recognition without labelled data: A weak supervision approach. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 1518-1533, Online, July 2020. Association for Computational Linguistics.

[13]Yoshimasa Kawazoe, Daisaku Shibata, Emiko Shinohara, Eiji Aramaki, and Kazuhiko Ohe. A clinical specific bert developed with huge size of japanese clinical narrative. medRxiv, 2020.

[14]John Lafferty, Andrew McCallum, and Fernando CN Pereira. Conditional random fields: Probabilistic models for segmenting and labeling sequence data. 2001.

[15]David B Skalak, et al. The sources of increased accuracy for two proposed boosting algorithms. Citeseer.

[16]Shotaro Misawa, Motoki Taniguchi, Yasuhide Miura, and Tomoko Ohkuma. Character-based bidirectional LSTM-CRF with words and characters for Japanese named entity recognition. In Proceedings of the First Workshop on Subword and Character Level Models in NLP, pp. 97-102, Copenhagen, Denmark, September 2017. Association for Computational Linguistics.

[17]Kagan Tumer and Joydeep Ghosh. Theoretical foundations of linear and order statistics combiners for neural pattern classifiers.


# 機械加工文書における用語入れ子構造と トリガワードを考慮した用語関係同時抽出

稲熊陸 ${ }^{1}$ 小島 “ $^{2}$ 東孝幸 ${ }^{2}$ 三輪誠 ${ }^{1}$ 古谷 克司 ${ }^{1}$ 佐々木 裕 ${ }^{1}$
1 豊田工業大学 2 株式会社ジェイテクト

## 1 研究背景

機械加工はものづくり分野における基本技術の一 つであるが，少子高齢化にともないものづくりに携 わる技術者，技能者が引退するとともに，新規後継者が減少している. そのため技術者一人あたりの作業負担は増加し，次世代の技術者に熟練技術者と同程度の知識と技術が求められている。

熟練者同等の知識が求められる業務に工程の策定業務が挙げられる。策定業務の遂行のためには，一 つの機械加工因子の変化によって，他の機械加工因子が受ける影響をあらかじめ可能な限り網羅する必要がある. 機械加工因子とは工具の種類や材料の特性, 加工条件と機械加工パラメータなどの機械加工 に関わる全ての因子のことをいう。

機械加工因子は専門書や機械加工を対象とする学会で発表される論文, 社内技術文書や学生向けの教科書など，文書形式で幅広く存在し，文書内で複雑 な関係で結ばれたり，因子間で入れ子構造を形成し たりすることが多い．技術者が文書を閲読し，機械加工因子とその関係を獲得することは熟練者同等の 知識が必要となる点で属人的である.

そこで本研究では，文書に含まれる機械加工因子 と関係の自動抽出を目的に, 用語抽出と, 関係抽出 とのマルチタスク学習を行う深層学習モデルを提案 する. 用語抽出においては入れ子構造を考慮し, 関係抽出においてはトリガワードを考慮したモデル設計を行い，機械加工技術文書における用語と関係の 抽出精度の評価を行う.

## 2 関連研究

属人的方法からの脱却を目指し，機械加工分野の 文書から自動で機械加工因子を獲得し，因子を関係という観点で集約する手法として，増田 [1] らが 行った Support Vector Machine（SVM）を用いた関係抽出の研究がある．増田らはトリガワードと呼ばれ
…切削速度が増加すると切削温度が増し，…

$
\text { トリガワード }
$

図 1 トリガワードの例

る単語について「トリガワードの出現位置」と「ト リガワードが修飾する用語の位置」を定義し，関係抽出の素性に加えた、トリガワードは「物理量を示 す二用語間の変化を表す単語」で定義される. 図 1 に具体的な例を示す.「切削速度」に対して「増加 する」，切削温度に対して「増し」といった単語のこ とをいう．増田らの研究は機械加工因子をあらかじ め特定させた上での関係抽出であり，新しく発表さ れる機械加工技術文書や論文に示されるような文書 への転用には，最初に機械加工因子を獲得するタス クが残っている点で問題が残っている.

## 3 提案手法

本提案モデルは，日本語で記述された機械加工技術文書の入れ子構造を対象とした用語抽出タスクと 関係抽出タスクを，マルチタスク学習で解く深層学習モデルである. 図 2 にモデル全体の概要を示す.図中の格子状の四角はベクトルを表し，行方向に各 トークンのベクトルの次元を，列方向にトークンの 並びを表現している。また，五角形はぞれぞれ記述 された演算処理を表現している。関係抽出タスクに おいては，トリガワードを Attenition 機構を用いて 考慮したモデルとなっている. 本提案モデルにおけ るモデルの入力単位は一文である.

## 3.1 共有部

共有部（Shared Part）は用語抽出と関係抽出のど ちらのタスクを学習する際にも用いられる構成要素 である。与えられた各文を日本語版 Wikipedia で事前に学習された Sentencepiece[2] を用いてトークン に分割する. 得られたサブワード単位のトークン群

図 2 モデル全体の概要

$\boldsymbol{x}$ に対して日本語版 Wikipedia で事前に学習された BERT[3] を用いてトークンの表現 $\boldsymbol{h}_{\mathbf{1}}$ を獲得する.

$
\boldsymbol{h}_{1}=\operatorname{BERT}(\boldsymbol{x})
$

獲得したトークンの表現 $\boldsymbol{h}_{\mathbf{1}}$ を CNN の入力とし，中間表現 $\boldsymbol{h}_{\mathbf{2}}$ を獲得する。

$
\boldsymbol{h}_{\mathbf{2}}=\mathrm{CNN}\left(\boldsymbol{h}_{\mathbf{1}}\right)
$

中間表現 $\boldsymbol{h}_{2}$ は用語抽出と関係抽出のどちらのタス クを解く際にも用いる表現である. 従って用語抽出 と関係抽出それぞれで発生する損失を用いて $\boldsymbol{h}_{\mathbf{2}}$ を 生成するパラメータが更新される。この更新によっ てマルチタスク学習におけるそれぞれのタスクを解 くための表現に新しく情報が追加され，学習が改善 することが期待される。

## 3.2 用語抽出部

入れ子内部の用語と入れ子外部の用語の違いが用語を構成するトークンの数であることに注目し，本提案モデルはトークンの構成数毎に 2 值 ${ }^{1)}$ の出力を するモデルとなっている．図中の五角形の「長さ $i\rfloor$ という演算は，長さ $i$ のトークン列の表現を得る畳 み込み演算である. 以下の式で表される。なお，モ デルは稲熊ら [4]のものを用いている.

$
\boldsymbol{v}_{\boldsymbol{i}}=\operatorname{spanCNN}_{i}\left(\boldsymbol{h}_{\mathbf{2}}\right) \quad \forall i \in\left[1, \ldots, n_{\text {tok }}\right]
$

ここで $\operatorname{spanCNN}_{i}$ はカーネルサイズ $i$ のフィルタに よる畳み込み演算を表す. $n_{t o k}$ は用語を構成する トークン数に対応しており，学習を行う前に与える ハイパーパラメタである. 次に $n_{t o k}$ 個の中間表現 $v_{i}$ に対して共通の全結合層をそれぞれ作用させる.式としては以下のようになる。

$
\boldsymbol{l}_{\boldsymbol{i}}=\text { FullyConnected }_{\text {one }}\left(\boldsymbol{v}_{\boldsymbol{i}}\right)
$

全結合の出力は $n_{t o k}$ 個のカーネルサイズ毎に対応 したトークン数長のシーケンスになる. 出力の中身 はカーネルサイズの用語を構成するトークンの開始位置に 1 が立つものである．損失は以下の式で表さ れる。

$
L_{\text {entity }}=\sum_{i=1}^{n_{\text {tok }}} \sum_{j=1}^{l} y_{i}^{j} \log \left(l_{i}^{j}\right)
$

ここで $n_{t o k}$ はモデルの出力数すなわち用意するフィ ルタ数を表し， $l$ は一文におけるトークン数を表す.各トークンに対する予測 $\hat{l}$ と正解 $y$ との差を交差エ ントロピーで定義する. 各フィルタに対応する出力 の和をとったものを損失とする.

## 3.3 ペア作成部

ペア作成部（Pair Process）において，用語抽出で 抽出された用語からぺアを作成し，関係抽出用に データ整形を行う。用語抽出で抽出された用語が入 れ子構造を構成する場合は，一番大きい単位の用語

のみをぺア作成の対象とする。

作られた各ぺアに対してアノテーションファイル を参照して関係ラベルを付与し，（関係ラベル，用語 1, 用語 2）のトリプレットを作成する. このト リプレットの用語 1 と用語 2 の情報を用いて関係ラ ベルを当てることが関係抽出タスクになる. ペア作成部では, 用語 1 と用語 2 の用語位置ベクトルも作成する. 用語位置ベクトルは一文のトークン数の長 さの次元数が 1 のベクトルで, 用語が存在する位置 に 1, 用語では無い位置には 0 が立つべクトルであ る. 一文から $n_{\text {entity }}$ 個の用語が抽出された場合, 2 つの用語を選択してぺアを作成するので $n_{\text {entity }} \mathrm{C}_{2}$ 個 のペアを作成する。

## 3.4 関係抽出部

関係抽出部はトリガワードを考慮した関係抽出 モデルである. (2) 式の中間表現 $\boldsymbol{h}_{\mathbf{2}}$ に対してトリガ ワードの情報を追加で与えて MultiHeadAttention 層 の入力とし, 関係を求めるモデルとなっている. 最初にトリガワードの情報をアノテーションファイル から参照して $v_{\text {trig }}$ を作成する。v $v_{\text {trig }}$ は長さが一文中のトークン長 (SeqLen) で次元が 1 のベクトルで ある. 対応するトークンに対してトークンがトリガ ワードの場合は 1 が入り，トリガワードではない場合には 0 が要素として定義されるべクトルである. この $v_{\text {trig }}$ に対して平均 0 分散 1 の正規分布に基づ いた重みで初期化される行列を用いた埋め込み処理 を行う。

$
\boldsymbol{h}_{\text {trig }}=\text { Embedding }\left(\boldsymbol{v}_{\text {trig }}\right)
$

この $\boldsymbol{h}_{\text {trig }}$ に対して中間表現 $\boldsymbol{h}_{\mathbf{2}}$ を次元方向に Concat して全結合層に入力して $\boldsymbol{q}$ を生成する.

$
\boldsymbol{q}=\text { FullyConnected }_{q}\left(\boldsymbol{h}_{\mathbf{2}} \oplus \boldsymbol{h}_{\text {trig }}\right)
$

$k, v$ は以下の式に沿って作成し， $q, k, v$ を MultiHeadAttention 層の入力とし， $\boldsymbol{h}_{\mathbf{3}}, \boldsymbol{W}$ を生成する

$
\begin{aligned}
\boldsymbol{k} & =\text { FullyConnected }_{k}\left(\boldsymbol{h}_{\mathbf{2}}\right) \\
\boldsymbol{v} & =\operatorname{FullyConnected}_{v}\left(\boldsymbol{h}_{\mathbf{2}}\right) \\
\boldsymbol{h}_{\mathbf{3}}, \boldsymbol{W} & =\operatorname{MultiHead}(\boldsymbol{q}, \boldsymbol{k}, \boldsymbol{v})
\end{aligned}
$

この Attention は query に対してトリガワードの情報 を加えたものである. query に対しての情報付加な ので「文中における関連度を知りたいもの」として トリガワードを加えていることになる. key, value には $\boldsymbol{h}_{\mathbf{2}}$ の情報が含まれていることを考慮すると，得られる $\boldsymbol{h}_{3}$ は「文全体におけるトークンの内トリ
ガワードに関連するトークンに対して，強く注意が かかった表現」という解釈が可能である. これは 「トリガワードが存在する場合，トリガワードと文全体の文脈との関連性」を考慮することで関係抽出 の精度が向上することを期待している.

次に得られた $\boldsymbol{h}_{3}$ に対してスキップコネクション と畳込み層を 2 層を通して中間表現 $\boldsymbol{h}_{4}$ を作成する。

$
\begin{aligned}
& \boldsymbol{h}_{\mathbf{3}}^{\prime}=\operatorname{CNN}\left(\boldsymbol{h}_{3}\right)+\boldsymbol{h}_{\mathbf{3}} \\
& \boldsymbol{h}_{\mathbf{4}}=\operatorname{CNN}\left(\boldsymbol{h}_{\mathbf{3}}^{\prime}\right)+\boldsymbol{h}_{\mathbf{3}}
\end{aligned}
$

次にペア作成部で作成した用語位置ベクトルと $\boldsymbol{h}_{\mathbf{4}}$ を用いて関係抽出に用いる 2 つの用語の表現 $\boldsymbol{e}_{\mathbf{1}}$ と $e_{2}$ を獲得する。

$
\boldsymbol{e}_{\boldsymbol{i}}=\boldsymbol{p} \boldsymbol{e}_{\boldsymbol{i}} \odot \boldsymbol{h}_{\mathbf{4}} \quad \forall i \in[1,2]
$

ここで $\boldsymbol{p}_{\boldsymbol{i}}$ は $i$ 個目の用語位置ベクトル，๑は要素積を表す. 得られた $e_{1}$ と $e_{2}$ に対して Maxpooling の 演算を行いそれぞれの 1 つのベクトルに整形する。

$
\boldsymbol{e}_{\boldsymbol{i}}^{\prime}=\operatorname{Maxpooling}\left(\boldsymbol{e}_{\boldsymbol{i}}\right) \quad \forall i \in[1,2]
$

ここで $\boldsymbol{e}_{i}^{\prime}$ は複数トークンから構成される用語であ る.この $\boldsymbol{e}_{\boldsymbol{i}}^{\prime}$ をそれぞれ全結合層を入力して用語と しての表現を獲得し，それらのべクトルの和をとっ てから最後に全結合層を通して用語間に存在する各関係の確率を出力する．以下の式で表される。

$
\begin{aligned}
\boldsymbol{e}_{i}^{\prime \prime} & =\text { FullyConnected }\left(\boldsymbol{e}_{\boldsymbol{i}}^{\prime}\right) \quad \forall i \in[1,2] \\
\boldsymbol{e}_{\boldsymbol{r} \boldsymbol{e}} & =\boldsymbol{e}_{1}^{\prime \prime}+\boldsymbol{e}_{2}^{\prime \prime} \\
\boldsymbol{l}_{\boldsymbol{r} \boldsymbol{l}} & =\text { FullyConnected }\left(\boldsymbol{e}_{\boldsymbol{r} \boldsymbol{e}}\right)
\end{aligned}
$

関係抽出を行うことによる一文の損失は以下のよう になる。

$
L_{\text {relation }}=\sum^{n_{\text {entity }} \mathrm{C}_{2}}\left(\sum_{i=1}^{r} y_{i} \log \left(\boldsymbol{l}_{\text {rel }}\right)_{i}\right)
$

ここで $r$ は関係ラベルの種類数であり， $n_{\text {entity }}$ は用語抽出が一文から抽出した用語数である. 各関係に 対して損失が発生し，それらの全ての和をとったも のを関係抽出の損失とする。一文に対するマルチタ スク学習モデル全体の損失としては，用語抽出の損失と合わせて以下のようになる.

$
L_{\text {all }}=L_{\text {entity }}+n L_{\text {relation }}
$

この損失をすべての文に対して，最小化することで マルチタスク学習を実現する。
表 1 関係抽出の対象ラベル数

## 4 実験

4.1 節で今回実験に用いるデータについて述べ， 4.2 節で実験設定について述べる. 4.3 節ではマルチ タスク学習モデルで行った用語抽出と関係抽出の実験について述べる.

## 4.1 対象データ

用いたデータは機械加工の切削加工に関する教科書文で文中に関係ラベルが存在する 794 の文を学習 714 と評価 80 に分割する. データ中の用語ラベル は「機械加工用語である」という Machining である. また，この 794 文の内トリガワードが含まれる文は 149 文で全体の 18.4\%であった。関係ラベルは，用語 A と用語 Bに「A が大きくなれば B が大きくな る」という正の相関を表す Positive の関係，「A が大 きくなると B は小さくなる」という負の相関を表す Negative の関係，「AはBの一種である」という Sub の関係，「A は B と何らかの定性的な関係がある」 という Relation の関係の四種類である.

## 4.2 実験設定

本節では行った実験の全体に共通する設定を述べ る. 最適化アルゴリズムは学習率 0.001 の Adamを 用いた. 用語抽出における用語のフィルタ数 $n_{t o k}$ は 4 とした. これは対象のデータにおける用語を構成 するトークン数が四つまでで全体のトークンの $96 \%$ を越えることが分かったためである.

## 4.3 マルチタスク学習による関係抽出

タスクの難易度に差がある用語抽出タスクと関係抽出タスクにおいて，用語抽出と関係抽出の同時学習モデルによるマルチタスク学習を行うことによる 関係抽出の精度評価実験について述べる. このマル チタスク学習において, 学習初期から用語抽出と関係抽出を同時に行うことは精度が安定しない. その 理由として, 関係抽出の対象とする用語ぺアが用語抽出で抽出された用語から作成されることが挙げ られる。実際に，最初からマルチタスク学習を行う と, 用語の抽出精度が安定していないため, 関係抽表 2 学習法の違いによる評価データでの $\mathrm{F}$ 值

出が対象とする用語ぺアの数が多くなってしまうこ とがあり，GPUメモリに載らず，処理がそもそも不可能であった. そこでマルチタスク学習モデルにお ける関係抽出は学習全体の半分は用語抽出のみを行 い，半分以降は関係抽出も行うマルチタスク学習モ デルとして評価を行った. 表 2 に実験結果を示す. ベースラインモデルは用語抽出と関係抽出を別々で 行ったモデルである．結果を見ると用語抽出と関係抽出どちらのタスクにおいてもマルチタスク学習モ デルの方が高い精度が得られることが分かった. こ の結果から，マルチタスク学習モデルにおける共有部の中間表現 $\boldsymbol{h}_{\mathbf{2}}$ が用語抽出・関係抽出の両タスク にとって必要な情報を獲得していることを示唆して いる.

## 5 おわりに

本研究は熟練者同等の知識が必要となる中で，技術文書等のテキストから機械加工因子と関係を抽出 することを目指し，入れ子構造を考慮した用語抽出 とトリガワードを考慮した関係抽出を同時に学習す るマルチタスク学習モデルを提案した. マルチタス ク学習をおこなうことで，用語抽出，関係抽出とも にベースラインより高い抽出精度が実現できること を示した.

今後の課題としては，マルチタスク学習モデルの 学習方法についてのより詳細な検討, 結果のより詳細な解析が挙げられる。

## 参考文献

[1] 増田ら. Trigger word と部分文字列を用いた機械加工用語の関係抽出. 言語処理学会 第 22 回年次大会 発表論文集, pp. 573-576, 2016.

[2] Taku Kudo and John Richardson. Sentencepiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. CoRR, Vol. abs/1808.06226, , 2018.

[3] Yohei Kikuta. Bert pretrained model trained on japanese wikipedia articles. https://github.com/yoheikikuta/ bert-japanese, 2019.

[4] 稲熊陸, 小島大, 東孝幸, 三輪誠, 古谷克司, 佐々木裕.入れ子構造を考慮した機械加工用語抽出. 言語処理学会第 26 回年次大会 (NLP2020) P5-31, 2020.