# 日本語談話関係解析：タスク設計・談話標識の自動認識・ コーパスアノテーション

談話関係解析は自然言語処理の基盤的な解析の一つであるが，日本語におけるコー パスベースの談話関係解析の研究はほとんどない. 本研究では日本語の談話関係解析を実用化するため，日本語の談話関係夕グ付きコーパスを構築する．日本語の談話関係タグ付きコーパスでは, 談話単位, 談話標識, 談話関係タグの 3 項目をアノ テーションする．その際，高速にコーパスを構築するため，以下の 4 つの手法を採用する。(1) Web ページの冒頭 3 文を収集したコーパスにアノテーションする。 (2)談話関係タグセットは 2 階層 7 種類とする。(3) 談話単位と談話標識は自動認識す る. (4) 熟練のアノテータによる小規模・高品質なものとクラウドソーシングを用い た大規模なものの 2 種類のアノテーションを実施する。構築したコーパスを分析し た結果，クラウドソーシングを用いたものは改善の余地があることが分かった. 構築した談話関係タグ付きコーパスを用いて, 談話関係解析器を訓練する。実験の結果, タグ付きコーパスが機械学習ベースの解析モデルの学習に有効であることが分 かった。また, 明示的な談話関係に限れば, 本研究で整備した談話標識の自動認識 が高精度な解析器として利用可能であることを示した. 本研究で構築した日本語談話関係夕グ付きコーパスは公開し, 談話単位と談話標識の自動認識器は日本語構文・格解析器 KNP に実装されている。

キーワード：談話関係解析, 談話標識, タグ付きコーパス, クラウドソーシング
## Japanese Discourse Relation Analysis: Task Definition, Connective Detection, and Corpus Annotation

\author{
Yudai Kishimoto $^{\dagger}$, Yugo Murawaki ${ }^{\dagger \dagger}$, Daisuke Kawahara $^{\dagger \dagger \dagger}$ and \\ SADAO KUROHASHI ${ }^{\dagger \dagger}$
}

Although discourse parsing is fundamental to natural language processing, limited research has been conducted on corpus-based discourse parsing in Japanese. Herein, we construct a Japanese corpus annotated with discourse units, discourse connectives, and discourse relations. We propose four strategies of easily and rapidly developing a corpus: (1) selecting web documents with their first three sentences as the target doc-

uments, (2) automatically annotating discourse units and connectives, (3) designing a discourse relation tagset consisting of seven classes organized into a two-level hierarchy, and (4) annotating discourse relations through two types of annotators, namely experts and crowd workers. We report that there is significant room for improvement in data annotation performed by crowd workers. Based on this corpus, we develop a Japanese discourse parser. Experimental results show that the proposed parser outperforms previously developed models. We also demonstrate that the automatic recognizer of discourse connectives can be used as a high-quality parser for explicit discourse relations. We implement a recognizer of discourse units and discourse connectives in KNP. We also make the corpus publicly available.

Key Words: Discourse Relations, Discourse Connectives, Annotated Corpus, Crowdsourcing

## 1 はじめに

我々は文章を読解する際，単語や句，節，文などを単独の表現として読解するのではなく，周辺の表現との意味的なつながりを理解しながら読み進めている。このようなつながりを談話関係と呼び，談話関係を解析するタスクを談話関係解析と呼ぶ。具体例を示す.

(i) 恐ろしいほど雨が降っていたせいで,

(ii) 昨日は外出できなかった.

(iii) 一昨日の天気予報では降らないと言ってたんだけどなあ.

例 (1)の (i) と (ii) は「雨が降っていたのが原因で外出できなかった」という意味的なつながり を持つので，「(i)が原因，(ii)が結果」という談話関係を持つ．同様に，(i) と (iii) は「一昨日は 降らないと言っていたのに，雨が降った」という意味的なつながりを持つので，逆接の談話関係を持つ。一方，(ii)と (iii) は (i) と (ii)や, (i) と (iii)のような強い意味的なつながりを持たな いと解釈できる。

談話関係解析は自然言語処理の基盤的な解析の一つであり, 英語では Penn Discourse TreeBank (PDTB) (Prasad, Dinesh, Lee, Miltsakaki, Robaldo, Joshi, and Webber 2008) や RST Discourse Treebank (RST-DT) (Carlson, Marcu, and Okurowski 2001) と呼ばれるコーパスを使って様々 な研究が行われている。しかし, 日本語では因果関係抽出など談話関係の一部を取り扱った研究 (高橋, 目良, 黒澤, 竹澤 2016) や形態素・構文・意味解析結果をもとに文書全体の談話関係 を解析する研究 (梅澤，原田 2011) はあるが，コーパスベースの談話関係解析の研究はほとんど ない．本研究では日本語の談話関係解析を実用化するため，日本語の談話関係解析タスクを定義し，談話関係夕グ付きコーパスを高速な手法で構築する。
本研究では PDTB 2.0 (Prasad et al. 2008) を参考にして日本語の談話関係タグ付きコーパス を構築する．PDTBを参考にする理由は，RST-DT は文書全体の談話関係を 1 つの木構造で表現するためアノテーションが非常に困難であることと，隣接する談話単位間に談話関係タグを 付与する PDTB の設計思想が世界的に広がっているからである．PDTBでは談話単位，談話標識，談話関係夕グの 3 項目のアノテーションが実施されている。談話単位とは談話関係を付与 する単位であり, PDTBでは談話単位ができる限り短くなるようにアノテーションされている.談話標識とは「なので」や「しかし」といった談話関係を直接示す表現を指す。談話標識を持 つ談話関係（以降，明示的と呼ぶ）は談話標識が大きな手がかりとなるため解析精度は非常に 高い一方，談話標識を持たない談話関係（以降，非明示的と呼ぶ）の解析は非常に難しいこと が知られている (Xue, Ng, Pradhan, Rutherford, Webber, Wang, and Wang 2016). 前述の例 (1) では, (i) と (ii)の関係は「〜せいで」という談話標識を持つので明示的な談話関係，(i) と (iii) の関係は談話標識を持たないので非明示的な談話関係に分類される。談話関係夕グは談話単位間に存在する談話関係を表すタグであり，PDTB 2.0 は 3 階層，下位 30 種類からなる談話関係 タグセットを定義している.

PDTB は談話単位について具体的な認定基準を定めておらず，アノテータの判断で様々な長 さのまとまりが談話単位としてアノテートされており，自動認識が容易ではない。近年は，大規模ラベルなしコーパスからの事前学習の有効性が認識されている (Devlin, Chang, Lee, and Toutanova 2019) が，PDTB に基づく談話単位の自動認識の難しさは，大規模ラベルなしコー パスを効果的に活用する上で障害となっている，また，高度なテキスト理解の実現のためには，談話関係解析を述語項構造解析などの他の自然言語処理タスクと連携させることが有望な方策 だが，談話単位の独自性が，やはりタスク間連携の妨げとなっている。また一部の談話関係夕 グの出現頻度が非常に低いため, これまでの研究では一部の夕グが無視されている.

本研究では, 談話関係夕グ付きコーパスを高速に構築する手法を提案する. 本手法のポイン トは以下の 4 点である.

・ Webページの冒頭 3 文を収集したコーパスにタグ付けを実施する.

・ルールベースの解析器を構築し, 談話単位の自動認識を行う.

・ 談話標識を自動認識する高精度な解析器を整備する。

・タグセットを PDTB 2.0 よりも簡潔な 2 階層, 下位 7 種類とする.

談話関係タグのアノテーションは，熟練のアノテータによる小規模だが高品質なものとクラ ウドソーシングを用いた大規模なものの 2 種類を構築する. クラウドソーシングを用いた場合,安価かつ高速に大規模なアノテーションを行うことができるが, 一般的に専門家に比べて品質 が劣ると言われている。そこで，コーパスの品質向上を目指して，夕スクを分割する，クラウド ワーカーに言語テストを提示するなどの工夫を用いる。本研究では, 500 文書からなる高品質な コーパスと 6,445 文書からなる高速かつ大規模なコーパスが構築された. 分析の結果, クラウ

ドソーシングを用いた大規模コーパスは熟練のアノテータによるものに比べて低品質であるこ とがわかった。これは，様々な工夫をしたものの談話関係タグ付けタスク本来の困難さが依然 として残っていたことや，注意深く・真面目に取り組んでいるワーカーとそうでないワーカー の差が激しかったことが原因だと考えられる。そのため，タスクをさらなる分割や談話標識の 自動認識の活用を通して, クラウドワーカーに提示するタスクをより簡潔にする必要がある.

本研究で構築した談話関係解析タグ付きコーパスを用いて談話関係解析器を訓練する。実験 の結果, クラウドソーシングのアノテーションはニューラルネットワークベースの談話関係解析器を学習する際に一定の効果があることが分かった。また，本研究で整備した談話標識の自動認識は明示的な談話関係のみに焦点を絞った解析とみなすことができる。そこで談話標識の 自動認識について評価したところ，高精度であることが分かった。このことから，談話標識の自動認識は精度が高い談話関係解析結果のみを抽出して別のタスクに応用するという用途におい て利用可能だと考えられる。したがって, 今回整備した自動認識は因果関係抽出 (高橋 他 2016) や言論マップ (Murakami, Nichols, Matsuyoshi, Sumida, Masuda, Inui, and Matsumoto 2009),商品レビューを整理する応用システム (清丸，植田，児玉，田中，岸本，田中，河原，黒橋 2020) など，談話関係解析を応用した研究に適用可能である.

本研究は, 日本語のコーパスベースの談話関係解析の研究はほとんどないという現状を打破 するために行った研究である。そのため, タグセットの簡単化や短い文章を対象してアノテー ションを行うなど，問題を限定して設計を行っている。現状の規模でも日本語のコーパスベー スの談話関係解析の研究に貢献できると考えているが，さらなる発展のためにはコーパスの拡張が必要である.

本研究で構築した日本語談話関係夕グ付きコーパスを公開している ${ }^{1}$ 。また, 節と談話標識の 自動認識ルールは日本語構文・格解析器 $\mathrm{KNP}^{2}$ に実装されている.

## 2 関連研究

## 2.1 談話関係解析

談話関係解析は英語を筆頭に中国語，スペイン語，ドイツ語など様々な言語で研究されてい る. 英語では Penn Discourse Treebank (Prasad et al. 2008) と RST Discoures Treebank (Carlson et al. 2001) と呼ばれるコーパスが代表的である. PDTB は英語の新聞記事（2,159 文書）を対象として，2つの談話単位間に談話関係夕グを付与したコーパスである．RST-DT は英語の新聞記事（385 文書）に対して，隣接する談話単位間に談話関係タグを付与している．PDTB と
^{1} \mathrm{http} / / /$ nlp.ist.i.kyoto-u.ac.jp/?日本語談話関係解析

2 http://nlp.ist.i.kyoto-u.ac.jp/?KNP
}

図 1 PDTB 2.0 における談話関係タグセット. (Prasad, Webber, and Joshi 2014)より引用.

の違いは，談話単位を階層的に構造化することで，文書全体の談話関係を 1 つの木構造で表現 している点である。本研究では，PDTBを参考に日本語の談話関係解析タスクを設計する.

PDTB 2.0 (Prasad et al. 2008) の談話関係タグセットは図 1 に示すとおり, 3 階層, 下位 30 種類のタグからなる。しかし PDTBのタグセットは非常に複雑であるため, “Reason”など何千回と出現する夕グがある一方で “Relevance” など出現頻度が 50 回以下の夕グが存在する不均衡 コーパスとなっている。そのため，PDTBを用いた談話関係タグ分類の研究ではタスクを簡単化するために出現頻度が低いタグを除外した設定で行われる (Pitler, Louis, and Nenkova 2009; Lin, Kan, and Ng 2009; Xue, Ng, Pradhan, Prasad, Bryant, and Rutherford 2015).

英語以外の言語では，中国語の談話関係解析が近年研究されている。中国語には PDTB を 参考にして構築された談話関係タグ付きコーパス (Zhou and Xue 2012) があり，これを用いた shared task が 2016 年に開催された (Xue et al. 2016). その他にも，RST で構築されたスペイン 語 (da Cunha, Torres-Moreno, and Sierra 2011) やドイツ語コーパス (Stede and Neumann 2014), 6 ケ国語 (英語, ドイツ語, ポーランド語, ポルトガル語, ロシア語, トルコ語）の TED talk の
^{3} 2019$ 年 3 月に公開された PDTB 3.0 では談話関係タグセットが一部変更されている (Prasad, Webber, and Lee 2018).
}
transcripts に対して PDTB の方式でアノテーションした多言語コーパス (Zeyrek, Mendes, and Kurfalı 2018) が近年構築されている.

日本語では，金子ら (Kaneko and Bekki 2014)の研究がある，金子らは, SDRT (Asher and Lascarides 2003) と呼ばれる談話関係理論を日本語に合わせて再構築した上で，時間関係と因果関係，談話関係をアノテーションした日本語評価データを構築した。しかし，金子らのコーパ スはデータ規模が 66 文（196 セグメント）と非常に小規模であり，機械学習に用いるのは困難 である。本研究では，PDTBを参考に日本語の談話関係解析タスクを定義し，大規模なコーパ スの構築ならびに談話関係解析器の構築を行う.

## 2.2 クラウドソーシングを用いたコーパス構築

クラウドソーシングとは，ネットを通じて不特定多数の人（以降，クラウドワーカーと呼ぶ） にタスクを発注する手法であり，多くの言語リソースの構築に利用されている (Snow, O'Connor， Jurafsky, and Ng 2008; Rajpurkar, Zhang, Lopyrev, and Liang 2016). Snow らは単語の類似度判定やRTE など 5 つのアノテーションタスクを実施した。彼らはクラウドソーシングを用い ることで，単語の類似度判定のアノテーションタスク 300 問が 11 分弱で完了したと報告して いる. Rajpurkar らは 536 記事 107,785 問からなる大規模な機械読解コーパスを構築した。その 際, Wikipediaの記事をクラウドワーカーに提示し，その記事に関する問題文と正解のぺアを 作成させることで，コーパスの大規模化を実現している。 これらの研究から, クラウドソーシ ングを用いると, 安価でかつ高速に大規模なアノテーションを行うことができることが分かる.本研究では, 談話関係夕グ付きコーパスを構築する際にクラウドソーシングを用いることで, 安価でかつ大規模なアノテーションを行う.

クラウドソーシングを用いた場合の問題として，専門家に比べて品質が劣ると言われてい る.この問題に対し, 複数のクラウドワーカーに同じタスクを解かせ，その結果を集約すると いう品質改善手法がよく知られているが，それ以外にも Whitehill ら (Whitehill, Ruvolo, Wu, Bergsma, and Movellan 2009) や Guillaume ら (Guillaume, Fort, and Lefebvre 2016), Habernal $ら$ (Habernal, Hannemann, Pollak, Klamm, Pauli, and Gurevych 2017), Yang $ら$ (Yung, Demberg, and Scholman 2019) が品質向上の手法を提案している. Whitehill らは非常に質の悪いクラウド ワーカーの意見を無視するため，重み付き多数決を用いた後処理手法を提案した，具体的には， クラウドソーシングで得られたアノテーション結果をもとに，クラウドワーカーの専門知識量 やタスクの難易度などを推論することで, 質の悪いクラウドワーカーを推定し, 彼らの意見の重 みを下げるという手法である. Guillaume らや Habernal らはゲーミフィケーションを用いたア ノテーションを提案している。ゲーミフィケーションとは, ゲームデザインなどの要素をゲー ム以外の物事に応用することである．ゲーミフィケーションをクラウドソーシングを用いたア ノテーションに取り入れる場合，クラウドワーカーが繰り返しゲームをプレイすることで，ア

ノテーションに必要な知識を学習し，その結果アノテーションの質が向上することが期待され る.このゲーミフィケーションを使用し, Guillaume らは係り受け関係などの文構造のアノテー ション (Guillaume et al. 2016)を， Habernal らは意見に対する賛否分類や根拠抽出 (Habernal et al. 2017)のタスクをゲーム形式で実施した. Yang らは談話標識を含まない 2 の談話単位を 提示し，談話単位間の談話関係のアノテーションを実施した。この際，クラウドワーカーに談話単位間に挿入できる談話標識を 2 度問うことで，アノテーションの品質向上を目指した。本研究では, クラウドソーシングのタスクを簡易化することで, 品質の向上を試みる.

## 3 日本語における談話関係解析タスクの設計

日本語における談話関係解析タスクを設計するために，本節では談話単位と談話関係タグセッ トを定義する。この際，PDTBのように談話単位や談話関係タグセットの定義が複雑かつ難解 だと，アノテーションに長い時間と莫大なコストがかかってしまう，そこで本研究では，談話単位と談話関係タグセットを簡単化，明瞭化する。

## 3.1 談話関係を付与する単位

本研究では述語項構造を中心とした連続する句 4 の列を節と定義し，節を談話単位とする。な お，1つの節からなる文も節と呼ぶこととする．談話単位として節を採用した理由は，文を単位とすると談話関係と捉えるには粗すぎ，句を単位とすると逆に粒度が小さすぎるからである。 また，節は連続する句の集合体と定義したため節間の境界は句の境界と一致する。これにより，具体的な認定基準が言及されていない PDTB の談話単位よりも明解であるだけでなく, ルール ベースで節分割ができるような分かりやすい単位となっている.

節の分割基準は以下の通りである.

(i) 文末，主節，並列節の末尾を節の境界とする

(ii) 主節に対する従属度が低い従属節の末尾を節の境界とする

(iii) 主節に対する従属度が中程度で，かつ項を 1 つ以上持つ従属節の末尾を節の境界とする

(iv) 連体修飾節，補文節の末尾は節の境界としない

(v) 括弧内の句は節の境界としない

主節, 並列節, 従属節の定義は『基礎日本語文法』(益岡, 田窪 1992)に従う. 従属度が低い従属節とは，主節とは独立した文法的要素を持つ従属節を指す。従属度が中程度の従属節とは, 文法的要素の一部を主節に依存する従属節を指す. 本研究では, 従属度が中程度であっても, 項 を 1 つ以上持てば主節とは独立した文法的要素を持つと判断し，その末尾を節の境界とする。

なお, 従属節の分類は南の研究 (南 1993) と『現代日本語文法 6』(日本語記述文法研究会 2008) を参考にした。

具体例を示す.

(2)【泳ぐので】【入念に準備運動をする.】

（3）【友達と話していたら,】【約束の時間に遅れてしまった.】

本稿中の例において，節を【覀】で示す。また，前側に出現した節を前節，後側の節を後節と 呼ぶ. 例 (2)の前節は (ii)を, 例 (3) の前節は (iii)を満たすため, 2 節に分割している.

対して, 例 (4) と例 (5) は節の分割を行わない例である.

(4)【話していたら，約束の時間に遅れてしまった.】

(5)【ワンタッチでフタが開けられるタンブラーを買った.】

例 (4)の下線部は (i)(ii)(iii)のいずれも満たしていないため, 分割しない. 例 (5)の下線部は (iii) を満たすが，連体修飾節であるので (iv)を満たさない。よって節の分割をしない.

日本語における談話関係解析タスクは，節ぺアの談話関係タグを分類するタスクと定義する. なお，節ぺアは隣接していなくても良いこととする。具体例を示す.

（6）【センター試験の対策は過去問研究につきる.】特に数学はそうである.【センター数学 は，他の入試とはあらゆる面で異なる特殊な試験である. I

（7）【パーマがまだ残っているということで,】それを活かして【カットをしていただきま した.】

以降，2つの【 $\cdots$ によって談話関係解析の対象となる節ぺアを表す.

文を節に分割する際，係り受け関係を無視して分割している。そのため，談話単位として不十分な場合が生じる。具体例を示す.

（8）【テーブルは時間があれば】【まめに拭いていらっしゃるようですが,】床は掃除して いないのですね.

例 (8) の場合,「テーブルは」は後節の「拭いていらっしゃる」に係っている。しかし節は連続する句の集合体と定義しているため，下線部は前節に含まれてしまう。このように，節が入 れ子構造になっている場合の取り扱いは今後の課題とする.
表 1 談話関係タグセット

## 3.2 談話関係タグセット

PDTB 2.0 (Prasad et al. 2008)の談話関係タグセットを参考に，日本語の談話関係タグセッ トを設計する．PDTB 2.0 は図 1 に示すとおり， 3 階層，下位 30 種類の夕グからなる。しか し, PDTB は何千回と出現するタグがある一方で出現頻度が 50 回以下のタグも存在する不均衡コーパスとなっている。そのため, 現在行われている談話関係解析タスクではいくつかの夕 グを統合した設定や出現頻度が低いタグを除外した設定で行われる。具体的には，上位夕グで ある“TEMPORAL” (時間), “CONTINGENCY”（関係可能性), “COMPARISON” (転換), “EXPANSION”（展開）に集約した 4 值分類 (Pitler et al. 2009)や，中位夕グのうち出現頻度 が非常に低い“Condition”（条件）や“Exception”（例外）を学習データから除外した 11 値分類 (Lin et al. 2009) が有名である。日本語の談話関係タグセットは PDTB 2.0 よりも簡単かつ 明瞭なものを目指し，談話関係解析を応用したアプリケーションを想定した上で談話関係タグ の取捨選択を行った，例えば，談話関係解析を応用したアプリケーションとして，賛否両論が あるトピックに対する俯瞰的なマップを生成する言論マップ (Murakami et al. 2009) や Dispute Finder (Ennals, Trushkowsky, and Agosta 2010) が挙げられる。これらのシステムでは, 時間経過や詳細化, 換言といった関係よりも，因果，根拠，比較などの比較的強い談話関係が重要と なる。そこで，因果や根拠を示す PDTB 2.0 の “CONTINGENCY” タグや，比較を示す PDTB 2.0 の “COMPARISON” タグ，『論理トレーニング』(野矢 2006 )を参考に， 2 階層, 下位 7 種類 からなる夕グセットを設計した（表 1 ），表中の上位タイプは上位の夕グ 3 種類の総称, 下位タ イプは下位のタグ 7 種類の総称である。“関係なしまたは弱い関係”（以降，“談話関係なし”と 呼ぶ）は談話単位間に意味的なつながりがない場合だけでなく，詳細化や換言などの付加的な 関係，時間関係も含まれる。各談話関係夕グの詳細は付録 $\mathrm{A}$ に掲載している。

順接系および逆接系の下位タイプ“逆接”については，談話関係の方向が存在する．具体例を 挙げる.

（9）【ボタンを押したので，原因・理由】【お湯が出た.】
【お湯が出た.】【ボタンを押したためだ。原因・理由】

例 (9) では, 前節の「ボタンを押した」ことが原因で, 後節の「お湯が出た.」という結果になっ たと解釈できる。このような前節が従，後節が主となる場合を順方向と呼ぶ．逆に，例 (10)で は前節の「お湯が出た」理由を後節で述べている。このような前節が主，後節が従となる関係 を逆方向と呼ぶ，以降，例 $(9)$ ・例 (10)のように，従属的な節の末尾に関係名を記載すること によって談話関係と方向の両方を示す. すなわち，順方向の場合には前節の末尾に，逆方向の 場合には後節の末尾に関係名を記載する。

PDTB では because や however といった談話標識が含まれる場合と談話標識が含まれない場合の分類を行い，前者を明示的 (Explicit)，後者を非明示的 (Implicit) と定義している．日本語 の談話関係タグセットもPDTB を参考にし，「なので」や「しかし」といった談話標識を含む 場合を明示的，談話標識を含まない場合を非明示的とする。

## 3.3 談話関係タグの判断基準

節間の談話関係を定義する際，談話関係の判断が難しい例がいくつか存在する．そこで，談話関係を付与する際の基準を具体例とともに示す。なお，本節の内容は談話関係タグのアノテー ションマニュアルに記載した判断基準であり，談話関係タグを複数候補から一つに絞るために 行った実処理とは一部異なる。

（11）【まずは気軽に相談してください，条件】【臨床心理士などが，いつでも相談にのります.】

（12【生乳本来の風味と栄養を大切にするため, 目的】【低温殺菌を行っているおいしい牛乳 です. I

例 (11) は前節を条件とみなした順方向の“条件”と，後節を前節の理由とみなした逆方向の“原因・理由”の両方の解釈ができる。このように複数の談話関係が考えられる場合, 順方向の関係を優先する。したがって例 (11)には順方向の“条件”を付与する.

順方向を優先する理由は，順方向の関係の方が文の意味理解が容易であるためである．日本語は必ず前から後ろに係る特徵を持っている。また，複数の節からなる複文は文末の述語を終身とした節（主節）が文全体をまとめる働きをする。これら 2 点から順方向の関係の方が，逆方向の関係よりも自然な流れとなり，意味理解が容易となると考える。

同様に例 (12) は前節が「低温殺菌を行っている」の目的とみなした順方向の“目的”と，「生乳本来の風味と栄養を大切にする」から「美味しい牛乳です」とみなした順方向の “原因・理由”の両方の解釈ができる。このように，複数の談話関係が考えられ，かつ談話関係の方向が 同じとなる場合は，談話標識を手がかりにタグを決定する．例 (12)の場合，前節に「〜するた め」という目的を示す談話標識が含まれるため，順方向の“目的”を付与する。

（13）【これは義詮が正行の人柄を慕い, 原因・理由】そばに葬るように遺言したためといわ れる. I 【このイルミネーションをプロのカメラマンに頼んで】【写真におさめる家庭もあると か. 目的】

例 (13)の「〜といわれる」や例 (14)の「〜とか」ような定説や伝聞を示す修飾表現が節末に含 まれることがある.この場合，これらの表現を無視する．例 (13)の場合, 「〜といわれる」の 部分を無視すると前節が後節の理由にあたるので順方向の “原因・理由”を，例 (14) は前節が 手段，後節が目的なので逆方向の“目的”を付与する.

（15）【前回のコラムでは「管理職は人を管理するな.】仕事を管理せよ」と書きました. 人 を管理すると，【どうしても個人的な好き嫌いの管理になる。原因・理由】

例 (15)のように鉤括弧や丸括弧の内部と外部が同一節内に含まれる場合は，他の節と関係を もっている括弧の内部のみ，もしくは括弧の外部のみを考慮して談話関係を付与する。例 (15) の場合,「どうしても個人的な好き嫌いの管理になる」ので「管理職は人を管理するな」と解釈 できるので，鉤括弧の外部を無視し，“原因・理由”とする。

（16）【強風が吹いたので,】傘が壊れた.【なので，また傘を買った.】

(17)【たった幅 $107.5 \mathrm{~mm} \times$ 奥行き $68.0 \mathrm{~mm} \times$ 高さ $13.5 \mathrm{~mm}$ というサイズで非常に小型の スイッチングハブです. 原因・理由】場所を取らないので, 【設置場所を選びません.】

最後に例 (16), 例 (17)のように $\mathrm{A} \rightarrow \mathrm{B} \rightarrow \mathrm{C}$ の三段論法が成立する場合, $\mathrm{AC}$ 間は原則 “談話関係なし”とする。ただし，AC 間に直接的な談話関係が認められる場合にはその関係を付与す る. 例 (16)の場合, 三段論法が成立するが前節と後節の間に直接的な談話関係が認められない ので，“談話関係なし”を付与する。例 (17) は三段論法が成立しているうえに，節ぺアに直接的 な談話関係が認められる5ので，順方向の“原因・理由”を付与する。

## 4 談話単位と談話標識の自動認識

日本語の談話関係夕グ付きコーパスは談話単位, 談話標識, 談話関係タグの 3 項目をアノテー ションする。しかしPDTBのように全てを人手でアノテーションする場合, 長い時間と莫大な コストがかかる。そこで本研究では, 談話単位と談話標識を自動認識することとし, 談話関係

表 2 副詞的名詞の分類

タグのみを人手でアノテーションすることで高速な構築を目指す。本節では，構築した談話単位と談話標識の自動認識について述べる。談話単位と談話標識の自動認識は日本語構文・格解析器 KNP に実装されている.

## 4.1 節の自動認識

3.1 節の定義をもとに，節の区切れ目となる基本句を認定するルールを整備した．基本句とは KNP で用いられる基本単位の 1 つであり，1つの自立語と後続する付属語から構成される。節 の区切れ目となる基本句は以下のルールを全て満たすものと定義する.
- 従属節の強さを示す素性6が，B-, B, B+, C のいずれかである.

・ 従属節の強さを示す素性が B-, B の場合, 少なくとも 1 つは項を持つ.

$\cdot$ 連体詞ではない。

$\cdot$「〜という」,「〜のように」などの機能的もしくは修飾的な表現を伴わない.

$\cdot$「〜する時」,「〜する後」などの副詞的名詞を伴う場合は，表 2 のルールを満たす.

## 4.2 談話標識の自動認識

日本語の談話標識は，前節に含まれる場合と後節に含まれる場合の 2 種類に分類される。具体例を示す.

（18）【今日は雨の予報なので,】【傘を持って行こう.】

（19）【彼は今日は休みだ.】【な゙なら，風邪を引いたからだ.】

(20)【今日は風が強い.】【台風が近づいているからだろう.】

例 (18)の下線部のように前節に含まれる談話標識をく節-機能 $>$, 例 (19), 例 (20) の下線部の ように後節に含まれる談話標識を $<$ 節-前向き機能 $>$ と定義する.

前節に含まれる談話標識の中には節ぺアの関係が特定できない談話標識が一部含まれる，具

体例を示す.

## 【大学に行くのに,】【電車とバスを使う.】

【雨が降っているのに,】【隣町まで出かける.】

例 $(21)$ と例 $(22)$ はともに談話標識「〜のに」を持つが, 例 $(21)$ は目的の関係を, 例 $(22)$ は逆接 の関係を持つ.このように節ぺアの関係が特定できない談話標識を＜節-機能疑 $>$ と定義する.

本研究では, 節ペア内に $<$ 節-機能 $>$ もしくは $<$ 節-前向き機能 $>$ を持つ場合, 明示的と認定する。ただし，明示的と認定した節ぺアに談話関係がない場合がある。具体例を示す.

(23) (i) 40 歳代以降, 年齢とともに増える傾向にあります.

(ii) しかし，年を取ったら

(iii) 必ずかかる避けられない病気ではありません.

例 (23)の (i)と (ii) は談話標識「しかし」を含むため明示的と認定されるが,この節ぺアには談話関係は存在しない。この現象が起こる原因は，節を自動分割する際に係り受け関係を無視し ているからである。例 (23)の「しかし」は (iii)の「病気ではありません」に係っているが，節分割をする際に係り受け関係を無視しているため, 表層的に隣り合っている (ii)に含まれてし まう。このように，節が入れ子構造になっている場合の取り扱いは今後の課題とする.

<節-機能 $>, \quad<$ 節-機能疑 $>$ ，＜節-前向き節機能＞の一覧を具体例を交えて表 3 に示す. 表中の節ぺアの関係とは談話標識をもとに談話関係タグを細分類したものであり, 全部で 12 種類存在する。談話標識を分類する際，『基礎日本語文法』(益岡，田窪 1992), 『現代日本語文法 6』 (日本語記述文法研究会 2008), 『現代日本語文法 7』(日本語記述文法研究会 2009) を参考にし た. 一部の談話標識は $<$ 節-機能 $>$ となる場合と，＜節-機能疑 $>$ となる場合がある. 具体例を 付録 Bに掲載している。

本研究では, 表 3 に示した談話標識を分類するルールベースの自動認識器を日本語構文・格解析器 KNP に実装した。実装したルールの具体例を挙げる.

談話標識「夕形 + ため」（＜節-機能-原因・理由 $>)$

・ルール：以下のルールを全て満たす基本句に付与する.
- 基本句が節の区切れ目である.
- 基本句が名詞「ため」か名詞「為」である.
- 直前の基本句の活用形が「夕形」である.

$\cdot$例文：

【雨が降ってきたため,く節一機能一原因$\cdot$理由〉【試合は中止となった.】
表 3 節-機能のラベルセット

機能分類の欄が空欄の場合は節-機能, “疑”は節-機能疑, “前向き”は節-前向き機能を示す.談話標識「〜たら」（<節-機能-条件 $>)$

・ルール：以下のルールを全て満たす基本句に付与する.
- 基本句が節の区切れ目である.
- 基本句の活用形が「夕形条件形」である.
- 係り先である基本句が以下の条件のいずれか 1 つを満たす.

*「〜のに」「〜だろうに」などの反事実条件を示す表現が含まれる.

*反復条件を示す表現「〜ものだ」が含まれる.

*時制が過去でない.

*時制が過去だが，「できる」などの可能表現を伴う.

*時制が過去だが，「かもしれない」や「する恐れがある」などの 蓋然性を示すモダリティ表現を伴う。

$\cdot$例文 :

【仕事が終わったら＜節一機能-条件〉】連絡してください.】
【彼がきてたらく節一機能一条件〉】勝てたのに.】

【もしサボっていたらく節一機能一条件〉】先生に怒られてたかもしれない.】 このようなルールを 200 例以上整備し，KNP に実装した。

## 5 談話関係タグ付きコーパスの構築

本節では，談話関係夕グ付きコーパスの構築方法について述べる。本研究では，様々なドメ インを含んだコーパスを対象とし，談話単位である節と談話標識，談話関係夕グをアノテーショ ンする。その際，節と談話標識は 4.1 節と 4.2 節で整備した自動認識器を用いて自動認識するこ ととし，談話関係タグのみを人手でアノテーションすることで，高速なコーパス構築を目指す。 また，談話関係タグは文書中に含まれる全ての節ぺアに対して，2 種類のアノテータがそれぞ れ付与する。1つ目は言語学を習得した熟練のアノテータによるものである。このタグ付けで は高品質なアノテーションが期待される．２つ目はクラウドソーシングを用いた談話関係夕グ 付けである。このタグ付けでは高速かつ大規模なアノテーションが期待される.

## 5.1 タグ付け対象文書

本研究では談話関係を夕グ付けするコーパスとして，新聞記事コーパスではなく，様々なド メインの文書が含まれる京都大学ウェブ文書リードコーパス (萩行, 河原, 黒橋 2014) 7 を選択し た. このコーパスを選んた理由として, Webぺージの冒頭 3 文を収集したコーパスであること があげられる。談話関係は周辺の表現や意味的な繋がりを理解しなけれげ解けない夕スクであ るため，文書が長くなると読解が困難となり，その結果タスク難易度が上昇する。さらに，本研究では文書中に含まれる全ての節ぺアに対して夕グ付けを行うため，1 文書の文数が多くな ると, タグ付けする節ぺアの数も膨大になる. これに対し, 京都大学ウェブ文書リードコーパ スは 1 文書の長さが 3 文であるため，文書の読解が容易であると同時に，夕グ付けする節ぺア 数も平均で 6 個程度に抑えられる。のそのめ, 既存のコーパスよりも比較的容易に夕グ付けで きると期待される.

## 5.2 アノテーション方法

本コーパスは，文書中に含まれる全ての節ぺアに対し，談話標識と表 1 に示した談話関係夕 グのいずれか 1 つを付与する。なお，談話標識が節ペア中に存在しない場合はアノテーション しない．例 (26)を用いてタグ付け方法を説明する。

（26）一人で悩んでいてはいつまでたっても解決できません．まずは気軽に相談してくださ い. 臨床心理士などが，いつでも相談にのります。

4.1 節で整備した自動認識器を用いると，例 $(26)$ は以下の 4 節に分割される.

(i) 一人で悩んでいては,

(ii) いつまでたっても解決できません.

(iii) まずは気軽に相談してください.

(iv)臨床心理士などが，いつでも相談にのります.

この 4 節の全組み合わせに対して談話関係のタグ付けを行う。具体的には以下の 6 例にタグ 付けをする。

(27)【一人で悩んでいては 条件】【つまでたっても解決できません.】まずは気軽に相談し てください．臨床心理士などが，いつでも相談にのります.

（28）【一人で悩んでいては】いつまでたっても解決できません.【まずは気軽に相談してく ださい.】臨床心理士などが，いつでも相談にのります.

（29）【一人で悩んでいては】いつまでたっても解決できません．まずは気軽に相談してくた さい.【臨床心理士などが，いつでも相談にのります.】

(30）一人で悩んでいては【いつまでたっても解決できません.】【まずは気軽に相談してくだ さい.】臨床心理士などが, いつでも相談にのります.

(31）一人で悩んでいては【いつまでたっても解決できません.】まずは気軽に相談してくだ さい.【臨床心理士などが，いつでも相談にのります.】

(32) 一人で悩んでいてはいつまでたっても解決できません.【まずは気軽に相談してくださ い. 条件】【臨床心理士などが, いつでも相談にのります.】

例 (27) は前節が条件となる節ペアなので順方向の “条件”を付与する。例 (28) は節ぺアに談話関係がないため“談話関係なし”を付与する。同様に，例 (29), 例 (30), 例 (31) も談話関係が ないため “談話関係なし”を付与する。例 (32) は前節を条件とみなした順方向の“条件”と，後節を前節の理由とみなした逆方向の “原因・理由”の両方の解釈ができる。この場合，順方向の 関係を優先するため例 (32) は順方向の“条件”を付与する.

## 5.3 専門家による談話関係タグ付け

本研究では, 言語学を習得した熟練のアノテータ（以降，専門家と呼ぶ） 3 名が 3 ヶ月かけて,談話関係夕グと談話関係の方向のアノテーションを行った。このアノテーションを以降，専門

図 2 専門家による談話関係夕グ付けのタスク画面

家セットと呼ぶ．専門家セットは京都大学ウェブ文書リードコーパスから文書を無作為に抽出 した 500 文書からなる。本セットのアノテーション時に専門家に提示したタスク画面を図 2 に 示す.この際，4.1 節で整備した自動認識器によって分割された節を談話単位とし，自動分割結果の人手修正は行わなかった，専門家セットの談話関係タグは，専門家による多数決によって 決定した，全員の意見が一致しなかった場合は，合議により談話関係を決定した。なお，専門家の意見が $2: 1$ に別れた場合，少数派であった談話関係夕グも付記という形でコーパスに記載 している.

また，専門家セットのタグ付け完了後に追加のアノテーションを実施した（以降，比較セット と呼ぶ)。追加のアノテーションを行った理由は, 各専門家の習熟度を調べるためと専門家間の タグ付け結果の一致率を調べるためである．比較セットは京都大学ウェブ文書リードコーパス から無作為に抽出した 300 文書からなる．各文書は専門家セットのアノテーションを行った 3 名の専門家のうち 2 名が談話関係タグと談話関係の方向のアノテーションを行った. 比較セッ トは 6.2 節, 6.4 節の分析で使用する.

## 5.4 クラウドソーシングを用いた談話関係タグ付け

専門家がアノテーションを実施する場合，長い時間と莫大なコストがかかるという問題があ る.この問題を解決するために本研究ではクラウドソーシングを用いた. クラウドソーシング とはネットを通じて不特定多数のクラウドワーカーにタスクを発注するシステムであり，この 方法を使用することで短時間かつ安価で大規模なアノテーションが実施できる。しかし， クラ ウドソーシングでアノテーションされたコーパスは専門家によるものと比較して品質が劣ると いう欠点がある。この欠点を軽減するため, 本研究では 2 つの手法を取り入れる． 1 つ目は 10 人に対して同じ設問を実施し，クラウドワーカーの多数決で談話関係を決定することで信頼性

図 3 クラウドソーシングのタスク画面 (1段階目)

図 4 クラウドソーシングのタスク画面 (2段階目)

の向上を目指した．2つ目は専門家と同じ形式でタスクを実行するとクラウドワーカーには難 しいため，タスクを分割することで簡単化を試みた，具体的には，「節ぺアの談話関係の有無の 判定」と「談話関係があると判定された節ぺアを対象とした談話関係タグの判定」の 2 段階に 分割してクラウドソーシングを実施する。また後者のタスクでは，言語テストを追加すること で，クラウドワーカーが理解しやすい設計を目指した，以降，クラウドソーシングの詳細につ いて説明する。

## 5.4.1 1 段階目：談話関係の有無の判定

本研究では，文書中に含まれる全ての節ぺアに対して談話関係夕グを付与する。そのため, 5.2 節の例 (28) や例 (31)のように，意味的なつながりを持たない節ぺアが多く含まれる。そこ で，意味的なつながりを明らかに持たない節ぺアを除外するために，各文書に含まれる節ぺアご とに談話関係があるかないかの 2 值分類を 1 段階目で行う。まずクラウドワーカーに，ある文書に含まれるすべての節ペアを提示する（図 3)，クラウドワーカーは談話関係を持つ節ぺアを すべて選択する。10 人に対して同じ設問を実施し，1 人以上が談話関係があると選択した節ぺ アを談話関係がある可能性があると判定した。なお，明示的である節ぺアはクラウドワーカー の投票結果にかかわらず, 談話関係がある可能性があると判定した.

## 5.4.2 2 段階目：談話関係タグ判定

2 段階目では，1 段階目で談話関係がある可能性があると判定された節ぺアを対象とする。ま ず，クラウドワーカーにアノテーション対象である節ぺアとその前後の文を提示する（図 4）. クラウドワーカーは提示された節ぺアに対して, 表 1 の下位タイプの中から最も適切な関係を 選択する。この際，談話関係の方向は無視している。 10 人に対して同じ設問を実施し，多数決 によって談話関係夕グを決定する。最多投票となった談話関係夕グが複数ある場合は, 最多投票のタグを全て付与する。なお, “談話関係なし”が最多投票となった場合は第 1 段階の結果を 無視し，談話関係がないと判定する。

2 段階目のタスクは 5.3 節のアノテーションタスクとほぼ同一であり, タスク難易度は非常に 高い，タスク難易度を下げるために付録 Aの内容を整理し，クラウドワーカーにマニュアルと して提示したが，予備実験の結果，クラウドワーカーはマニュアルを読まずにアノテーション を行っていることが分かった. そのため, クラウドワーカーのアノテーション品質を向上させ るためには，マニュアルよりもシンプルでかつ直接的な方法でアノテーション基準を伝える必要がある。そこで，タスク概要欄とタスクの選択回答欄に言語テストを追加して提示した。第 2 段階においてクラウドワーカーに提示した談話関係タグのアノテーション基準を以下に示す.
- 原因・理由

（「1したがって 2$\rfloor$ と言えるが，「1さらに2」と言えない関係. $1 \cdot 2$ が逆でも可.)

例：【1 雨が降った.】よく見ると【2 道が濡れている.】

【1今, すごく眠たい.】【2 昨日徹夜しちゃたから.】

※「2したがって 1 と言える
- 目的

(「1するために 2」と言える関係. 1 ・2が逆でも可.)

例：【1今日切符を買った.】【2 明日京都に行く予定だ.】
- 条件

（「1すれば 2 と言える関係. $1 \cdot 2$ が逆でも可.)

例：【1 明日晴れれば,】午前は買い物に行こう.【2 午後は映画に行こう.】
- その他根拠

（「1だから 2 だろう」と言える関係. $1 \cdot 2$ が逆でも可.)

例 :【1ここにカバンがある.】【2 まだ社内にいるだ万う.】
- 対比

(「1しかし 2 と言え，「1そして 2$\rfloor$ と言える関係. $1 \cdot 2$ が逆でも可.)

例 : 【1 大阪は晴れだが,】【2 東京は雨だ.】
- 逆接・缞歩

(「1しかし 2$\rfloor$ と言えるが,「1そして $2 」$ と言えない関係。または「1だとしても 2$\rfloor と$
言える関係. $1 \cdot 2$ が逆でも可. ）

例：【1 カップ湎を大量に買いだめしたが,】【2 保管する場所がない.】(事実的な逆接)

【1 彼がいたとしても】【2この試合は勝てなかっただう.】(仮定的な逆接)

-上記いずれの関係もない [時間経過・詳細化・定型表現など] 8

例 1 ：時間経過（【家に着いてから】【雨が降ってきた.】）

例 2：詳細化（【昨日，テストを受けた.】【それは英語のテストたっった.】）

例 3 : 定型表現（【様々なコメントをいただき,】【ありがとうございます.】

【3４日後に発送します.】【予めご了承ください.】)

これは，提示した表現を利用してクラウドワーカーに言語テストを行ってもらうことを目的 としている。例えば “条件” の場合， 1 と 2 の間に「すれば」を挿入しても問題ない場合は “条件”と判定するようにクラウドワーカーを誘導している。また，“原因・理由”と“対比”のアノ テーション基準には複数の言語テストを記載している。これは予備実験を行ったところ，以下 の例 (33)のように談話関係がないのに，談話関係があるとワーカー判定した節ぺアが“原因・理由”と“対比”で多く見られたためである。

【神に捧げるといわれる伝統芸能バリ島・ダンスやガムラン音楽は観光客にも人気が高 い.】神々の島, 神秘の楽園といわれ,【美しいビーチもあわせもつリゾート地であり ます.】

例 (33) の場合，「リゾート地である」したがって「人気が高い」と言えると解釈され，予備実験 では“原因・理由”であると判断された。そこで，「1さらに 2 」と言えないという条件を追加す ることで，例 (33)のような節ぺアが“原因・理由”にならないようにした.

## 5.4.3 クラウドセットの構築

Yahoo!クラウドソーシング9を用いて, 京都大学ウェブ文書リードコーパス全体 $\left(6,445\right.$ 文書 ${ }^{10}$, 40,067 節ペア）に対してアノテーションを行った. この際，Yahoo!クラウドソーシングに実装 されているチェック問題という機能を活用した。チェック問題とは, 事前に正解を用意してお いた簡単な問題を出題し，その問題が不正解だったクラウドワーカーをタスクから除外する仕組みである。この仕組みを使用することで，クラウドワーカーが注意深く・真面目に取り組ん でいるかどうかを識別することができ，その結果アノテーション品質の向上が期待できる.

表 4 クラウドセット，専門家セット，比較セットにおける談話関係タグの傾向

 &  & \multicolumn{3}{|c|}{ 比較セット } \\

アノテーションの結果，京都大学ウェブ文書リードコーパス全体の $52.1 \%$ にたる 20,878 ペ アが第 1 段階を通過し，そのうち 6,312 ぺアに“談話関係なし”以外の夕グが付与された。これ は, コーパス全体の $15.7 \%$ に相当する. クラウドソーシングの所要時間は, 第 1 段階が約 1 週間，第 2 段階が約 10 日たっった. クラウドソーシングの費用は，第 1 段階が約 83,000 円，第 2 段階が約 108,000 円だった.

## 6 談話関係タグ付きコーパスの分析

## 6.1 コーパスの規模

本研究で構築したコーパスは，6,445 文書，40,067 節ペアからなる. 内訳は，クラウドセッ トのみに含まれる節ペアが 35,830 ペア，クラウドセットと専門家セットの両方に含まれる節ぺ アが 2,320 ペア，クラウドセットと比較セットの両方に含まれる節ぺアが 1,917 ペアである.

クラウドセット, 専門家セット, 比較セットにおける談話関係夕グの傾向を表 4 に示す。な お，表中の “クラウドセット”はクラウドセットのうち，専門家セットと重複している 2,320 ペ アのアノテーション傾向である。1つの節ぺアに複数の談話関係タグが付与されている場合は 按分している．表 4 より，談話関係タグ付きコーパスは “談話関係なし”が約 8 割を占める不均衡コーパスであることが分かる.

## 6.2 専門家のアノテーション品質

本節では，専門家 3 名の中におけるアノテーションの一致率を求めることで，専門家セット と比較セットのアノテーション品質を評価する.

アノテーションの一致率を計算する際，一般的には Cohen の $\kappa$ 係数を用いる。しかし，専門家セットは 3 名の専門家がアノテーションを行ったためこの指標が使えない.そこで本研究で は Krippendorff の $\alpha$ を用いる (Krippendorff 2013). Krippendorff の $\alpha$ とは 3 名以上のアノテー
表 5 専門家セット，比較セットにおける Krippendorff の $\alpha$

タがいる際に使われる指標であり，データが欠損している場合にも使用できる. Krippendorff の $\alpha$ は以下の式で表される.

$
\alpha=1-\frac{D_{0}}{D_{e}}
$

$\mathrm{D}_{0}$ はアノテータ間で意見の不一致が実際に起こった観測值であり， $\mathrm{D}_{e}$ はアノテータ間で意見 の不一致が偶然起こる期待値である， $\alpha$ は $-1 \sim 1$ の間の値をとり， 1 が完全一致， -1 が完全不一致を示す.

専門家セット，比較セットにおける Krippendorff の $\alpha$ を表 9 に示す。専門家セットの一致率 が 1 になっていない理由は, 少数意見として談話関係タグが付記された節ぺアが 182 例あるか らである.

表 5 より，専門家セットは非常に高い一致，比較セットは高程度の一致だと分かる。このこ とから，専門家セットと比較セットは高品質であると言える。

表 4 をとに，専門家間で意見が異なった節ぺアを分析する，比較セットを比較すると，専門家 C と他 2 名との間で“原因・理由”の傾向が大きく異なることが分かる．そこで専門家 C が“原因・理由”を選んだが，他の専門家が違うタグを付与した例を分析する。

（34）【ハンガリーでは住民の 93.6 \%（2002 年）がハンガリー語を話し,】【国語化している.】評価コーパス：談話関係なし（少数意見：原因・理由（順方向）） [専門家 $A, B ：$ 談話関係なし，専門家 $C:$ 原因 ・理由（順方向）] ロドニーはフィラデルフィアのジョセフ・マッキーンの下で法律を学び,【1793 年に弁護士として認可を受けた.】【ロドニーはウィルミントンとニューキャッスルで并護士業 をおよそ 3 年間営んだ. 】

専門家 $\mathrm{A}$ ：談話関係なし，専門家 $\mathrm{C}$ : 原因・理由（順方向）

【公園内には魯迅の記念館と墓がある.】設置当初は「虹口公園」だったが【魯迅の死後「魯迅公園」と改称された.】

評価コーパス：原因・理由（順方向）（少数意見：談話関係なし）

[専門家 $A, C$ : 原因 - 理由（順方向）, 専門家 $B$ : 談話関係なし]
例 (34)のように専門家セットに付与したタグは “談話関係なし”だが，少数意見として“原因・理由”を併記している例が専門家セット内に 60 例ある。一方で例 (36)のように専門家セットで は“原因・理由”だが，少数意見として“談話関係なし”を併記している例が 36 例ある。これら の例の大半は, “原因・理由” の関係を明示的に伝える書き方になっていないため, 例 (35)のよ うにタグ付けを行うアノテータの文章読解力に依存している場合や, 例 (36) のようにアノテー 夕の背景知識に依存している場合であった。したがって，“原因・理由”と“談話関係なし”の識別は文章を読み解くアノテータの主観が大きく直結しているのではないかと推測される。

## 6.3 クラウドソーシングのアノテーション品質

クラウドソーシングで構築したクラウドセットのアノテーション品質を調查する．専門家セッ トを正解としたときのクラウドセットの適合率，再現率， $\mathrm{F}$ 値を求めた．結果を表 6 に示す。表中の ALL は専門家セット全体の適合率，再現率，F 値を示す。明示的は専門家セット内の明示的な談話関係を持つ節ぺアのみの, 非明示的は非明示的な談話関係を持つ節ぺアのみの適合率,再現率，F 値を示す。[下位タイプ Micro $-F]$ は “談話関係なし”を除いた下位タイプ 6 種類の マイクロ平均を，[上位タイプ Micro $-F]$ は “談話関係なし”を除いた上位タイプ 2 種類のマイ クロ平均を, [談話関係あり]は談話関係があるかないかの 2 值分類にした際の適合率，再現率， $\mathrm{F}$ 值を示している．表 7 は専門家セットの談話関係夕グとは一致しなかったものの, 少数意見 として付記された談話関係タグと一致した場合も正解とした場合を示している。表 7 の [下位夕 イプ Micro-F]のＦ値は 0.570 であり，クラウドセットの品質は専門家セットと比べあまり良 くない。そこで，どのような談話関係夕グが誤って付与されたかを分析した。

表 6 の混同行列を表 8 に示す。“原因・理由”と“談話関係なし”間の関係の識別が難しいこ とが分かる。具体例を示す.

（37）かつては大型コンピューター開発生産事業を行っていた.【現在はテレコム・イタリア に買収され,】【主にシステムソリューション事業を運営している.】フィアットなどと 共にイタリアを代表する歴史的会社である。

クラウドセット：原因・理由，専門家セット：談話関係なし

（38）【道後温泉は日本を代表する温泉の一つです.】古くからの温泉なので，【随所に歴史の 面影があります.】

クラウドセット：原因・理由，専門家セット：談話関係なし

（39）【節税対策の基本について「節税対策チェックリスト」をご用意しました.】【皆様の節税対策にお役立てください.】銀行出身者ならではの資金調達のコツをご紹介します. クラウドセット：談話関係なし，専門家セット：原因・理由（順方向）
表 6 専門家セットを正解とした時のクラウドセットの適合率，再現率， $\mathrm{F}$ 値

表 7 専門家セットを正解とした時のクラウドセットの適合率，再現率， $\mathrm{F}$ 值（少数意見も正解とみなし た場合）

表 8 専門家セットとクラウドセットの混同行列

例 (37)のように，言語テスト（「1したがって 2 」と言えるが，「1さらに 2$\rfloor$ と言えない）を 通らないのに“原因・理由”と判定されたものがある一方，例 (38)のように言語テストを通過 する例も多く見受けられた. さらに，例 (39)のように「1したがって2」だと違和感があるが，同じ原因・理由を示す談話標識「1ですので 2 さであれば言語テストを通過する例も見られた。 このことから，“原因・理由”の言語テストは改善の余地がある。また，定型表現に対する認識 の違いも“原因・理由”の $\mathrm{F}$ 值が低い要因である.

（40）情報技術学院で開催中の『パソコンセミナー』は，カリキュラム変更のため一時中止 させていただく事になりました。【参加希望の生徒様には，大変ご迷惑をおかけします が,】【ご了承ください.】『パソコンセミナー』の開催予定は未定です.

クラウドセット：談話関係なし, 専門家セット：談話関係なし

（41）【オーム社主催の第二種電気工事士試験突破研究会を下記要領で開催いたします.】合格 に必要なポイントをわかりやすく解説いたします.【どうぞお気軽にお越しください.】 クラウドセット：談話関係なし，専門家セット：原因・理由（順方向）

専門家のアノテーションでは，例 (40)の「ご了承ください」のような謝罪や感謝, 話題導入 を示す定型表現は“談話関係なし”とし, 例 (41)の「お気軽にお越しください」のような定型的な表現は文脈に応じて談話関係夕グを付与している。しかし, クラウドワーカーは例 (41)も “談話関係なし”と判断している。このことから，定型表現の定義がクラウドワーカには十分に 伝わっていなかったものと推測される.

次に，表 6 において適合率，再現率ともに低い“根拠”について分析する。“根拠” の適合率が 低い理由は，専門家セットでは “原因・理由”となっている節ぺアを“根拠”と誤答しているこ とが原因だと推測される。具体例を示す。

（42）まだ最終回の放送前ですが【『崖っぷちのエリー』の打ち上げがありました.】【実は先週, 浅間神社のシーン撮影でクランクアップしていたのです.】大杉さんや渡辺えりさ んらを始め，著名な皆さんは人を惹き込む力を持っている。.

クラウドセット：根拠，専門家セット：原因・理由（逆方向）

らに 2』と言えない」を提示した.しかし, 例 $(42)$ のように「『1さらに2』と言えない」例が 存在した。この例は, “原因・理由”に比較的近い“根拠”の言語テスト（「1すれば 2 だろう」） を通過する。したがって, クラウドワーカーは言語テストの結果に従い, “原因・理由”ではな く, “根拠”と判断していたと推測される。

“根拠”の再現率が低い理由は，表 8 より，クラウドワーカーが “談話関係なし”と誤答してい ることが原因だと分かる。具体例を示す.

(43)【朝とタ方, イワツバメが上空を賑やかに飛び回っています.】センター近くにある立倉大橋に，ずら〜っと巣を作るのですが，【現在，巣材集めの真っ最中のようです.】湿っ た地面に降り立っては, 泥や枯れ草をくちばしにくわえて飛び立っていきます.

クラウドセット：原因・理由，専門家セット：根拠（順方向）

“根拠”は“原因・理由”，“目的”，“条件”には該当しないが，節ぺアの関係が根拠に基づく推量や認識を伴う節ぺアに付与する。そのため, 例 (43)のように, 他の順接系よりも談話関係は 比較的弱くなり，“談話関係なし”との分類が難しくなる傾向にある。専門家は前後の文脈から “根拠” の分類ができていたが，専門家でないクラウドワーカーには分類が難しく，その結果誤答が増えたのではないかと推測する。

最後に，適合率が 0.133 と著しく低い“対比”について調べたところ，専門家セットでは “逆接”となっている節ぺアに対して“対比”と誤答していたからだと推測される。具体例を以下に 示す。

（44）青森県は“青い森”というように自然に恵まれています。森や山が多くあります。【い わゆる高山はありませんが,】【高くないゆえに，その土地の人たちと密接にかかわって きました.】

クラウドセット：対比，専門家セット：逆接・譲歩（順方向）

（45）【国の公用語はフィリピノ（タガログ）語.】ただし，ビサヤ諸島のビサヤ語など，地方 によってはタガログ語以外のフィリピノ語が使われている。【マニラ近郊のカビテ州の 一部やミンダナオ島の一部では，スペイン語を多く含むチャバカノ語も話されている.】 クラウドセット：対比, 専門家セット：逆接・譲歩（逆方向）

“対比”と“逆接” の区別はどちらかの節に主眼がおかれているか，それとも 2 節が対等関係にあ るかどうかで識別している。 クラウドセットを分析すると，例 (45) のようにアノテータによっ て解釈が分かれる例が多く存在しており，専門家は文章の内容をしっかりと理解した上で “対比”と“逆接”を分類していたことが分かる。一方，例 (44)のように明らかに片方に主眼がおか れている例も多く，クラウドワーカーは文章の内容を深く理解せず，言語テストなどの表層的 な手がかりをもとに分類を行っていると推測される.

## 6.4 専門家とクラウドソーシングのアノテーションにおける一致率

第 2 段階におけるクラウドソーシングのアノテーションの一致率を 6.2 節で述べた Krippendorff の $\alpha$ を用いて求めた．結果を表 9 に示す。なお，第 2 段階のクラウドソーシングには 3,411 名 のクラウドワーカーが参加した。

表 9 よりクラウドセットはわずかに一致するレベルであり，この点からもクラウドソーシン グの品質が良くないことが分かる. クラウドソーシングが低品質である理由を分析すると, 夕 スク本来の困難さが依然として残っていたことと，注意深く・真面目に取り組んでいないクラ ウドワーカーの除外が不十分であったことが原因たとと推測される。今回のクラウドソーシング （第 2 段階）のタスクは専門家が行ったアノテーションタスクとほぼ同一であり，夕スク難易度
表 9 クラウドセット，専門家セット，比較セットにおける Krippendorff の $\alpha$

は依然として非常に高い。そのため, タスク概要欄とタスクの選択回答欄に言語テストを追加 して提示することで簡単化を試みた。しかし，表 9 と 6.3 節より，今回提示した言語テストでは タスクの難易度はあまり下がらず，その結果低品質になったと推測する。また，Yahoo!クラウ ドソーシングに実装されているチェック問題という機能を活用し，注意深く・真面目に取り組 んでいないクラウドワーカーの除外を試みた。ここでいう，注意深く・真面目に取り組んでい ないクラウドワーカーとは以下の例 (46)のような談話関係タグ付けタスクを誤答するワーカー を指す。

（46）今日の試合は乱打戦で見応えがあった.【試合も勝ったし，大満足.】【ただ，最終回は 胃が痛かった.】（正解：逆接）

しかしクラウドソーシング（第 2 段階）で実施したチェック問題の結果を調査すると，チェック 問題の正答率が $80 \%$ 以上であったクラウドワーカーが約 $9 \%$ 存在した。これらのワーカーはイ ンストラクションを読む等, 注意深く・真面目に取り組んでいるワーカーであると推定される.一方, 7 択問題のチャンスレート (約 14\%) より正解率が低いクラウドワーカーが約 $41 \%$ 存在し た. チャンスレートより正解率が低いことから，これらのワーカーは注意深く・真面目に取り 組んでいないワーカーであるとと推定される。本タスクではチェック問題を使うことで注意深 く・真面目に取り組んでいないワーカーの大半は除外できたものの, 注意深く・真面目に取り 組んでいないワーカーの約 1 割はチェック問題を通過していたことがわかった。このことから 注意深く・真面目に取り組んでいないクラウドワーカーの除外が不十分であり，その結果，注意深く・真面目に取り組んでいるワーカーとそうでないワーカーの差が激しく, クラウドソー シングの一致率が低くなったと推測する。

低程度の一致率となったクラウドソーシングの一致率を向上させる方法として, アノテーショ ンタスクをより簡潔にする万法を検討する。もともと，クラウドソーシングを用いた談話関係 アノテーションはタスク難易度が高いことから 2 段階に分割するという対策を取っていた。し かし, Krippendorff の $\alpha$ が 0.256 と低程度の一致であることから， 2 段階に分けても依然として 難易度が高いと考えられる。そこで，クラウドソーシングを現状の 2 段階から，“談話関係有り 判定”, “談話関係上位タイプ判定”, “談話関係下位タイプ判定”の 3 分割に分割する方法を検討

する． 6.3 節の表 6 の [上位タイプ Micro - F] の F 值が 0.818 であることから，“談話関係上位 タイプ判定”はクラウドワーカーにとって比較的難易度が低いタスクであることが分かる. し たがって，“談話関係上位タイプ判定”で上位タイプを確定させたのち，順接系なら下位タイプ 4 種類の分類タスク，逆接系なら下位タイプ 2 種類の分類タスクを実施することで今よりも高品質なアノテーションが期待される.

また, アノテーションタスクをより簡潔にする方法として 4.2 節で整備した談話標識の自動認識を活用する方法も考えられる，今回のクラウドソーシングでは，談話標識を持つ節ペアは 談話関係がある可能性があると判定し 5.4.2 節のタスクのみを実施したが，談話標識の自動認識 を活用すれば，5.4.2 節のタスクも省略できるため，より効率的なアノテーションが実施可能で ある。しかし， 4.2 節の例 (23)のように明示的と認定した節ぺアに談話関係がない場合がある ため，全自動で行った場合誤った夕グが付与される可能性がある。そのため，談話標識の自動認識を活用する場合は全自動では行わず，談話標識を持つ節と談話関係をクラウドワーカーに 提示した上で，文章中のどの節と関係を持つかを選げせるタスクを実施することになると考え られる。このタスクであれば 5.4 .2 節のタスクより平易であるので，今よりも高品質なアノテー ションが期待される.

## 6.5 本談話関係タグ付きコーパスの限界

本研究は, 日本語のコーパスベースの談話関係解析の研究はほとんどないという現状を打破する ために行った研究である。 そのため, 問題を限定してタスクやコーパスの設計を行っている。例 えば, PDTB では “TEMPORAL” (時間), “CONTINGENCY” (関係可能性), “COMPARISON” (転換), “EXPANSION"（展開）の4つを対象としている。しかし本コーパスでは, 賛否両論が あるトピックに対する俯瞰的なマップを生成する言論マップ (Murakami et al. 2009) や Dispute Finder (Ennals et al. 2010) などの談話関係解析を応用した具体的なアプリケーションでの使用を想定した上で，順接系（PDTB における“CONTINGENCY”），逆接系（PDTBにおける “COMPARISON") のみを対象としている。そのため，因果，根拠，比較の談話関係を利用した アプリケーションは本コーパスを用いて構築することが可能であるが，時間経過（PDTBにお ける“TEMPORAL") や詳細化，換言（共にPDTBにおける“EXPANSION”）を利用したアプ リケーションは構築することができない．PDTB を用いた談話関係解析タスクではいくつかの タグを統合, 除外した設定で行われていること (Pitler et al. 2009; Lin et al. 2009) から, PDTB と同規模のタグセットを設定する必要はないと考えているが, 時間経過や詳細化, 換言など頻出する関係を対象としたアノテーションは今後の検討課題である.

今回選択した京都大学ウェブ文書リードコーパスは冒頭 3 文からなるコーパスである。その ため，文書の中・終盤でのみ現れる言語現象や談話関係の出現傾向の違いがある場合, 本コー パスではカバーできない。本コーパスを用いて談話関係夕グ付きコーパスを構築するにあたつ

て前述した言語現象や談話関係の出現傾向の違いは存在しないと想定して設計しているが，文書中の位置による言語現象や談話関係の傾向の違いの分析は今後の検討課題である。また，新聞記事の文間全てを対象に明示的な談話関係の夕グ付けを行っている PDTBに比べ，京都大学 ウェブ文書リードコーパスは冒頭 3 文からなるため，4 文以上離れた文間の談話関係解析には 向いていない11.PDTB と同じ基準となる, 同一段落内の文間全ての談話関係夕グ付けは今後 の課題である.

## 7 談話関係解析器の構築

本節では，非明示的な談話関係も認識可能な談話関係解析器を構築し，性能評価を行う。こ の際，小規模な専門家セットのみを訓練データとして使用した場合と，大規模なクラウドセッ トを訓練データとして使用した場合の 2 種類の実験を比較することで，クラウドソーシングで 構築したコーパスの有効性を調べる。また専門家セットを評価セットとし, 4.2 節で整備した談話標識の自動認識の精度を評価する。

## 7.1 実験設定

## 7.1.1訓練データ

本実験のタスクは，表 1 の下位タイプ 7 値分類とし， 2 種類の実験設定で行う． 1 つ目は，高品質な専門家セット（2,320 節ぺア）を用いた 5 分割交差検定である。この実験では談話関係解析器の性能を評価する，2つ目は, 前述の 5 分割交差検定の訓練セットにクラウドセットを追加した設定である，具体的には，専門家セットの 5 分の 4 とクラウドセット全体を訓練データ,専門家セットの 5 分の 1 をテストセットとした変則的な 5 分劃交差検定を実施した. なお，ク ラウドセットには複数の談話関係タグが正解として付与されている節ぺアが存在するが, 本実験ではこれらの節ぺアを訓練セットから除外した 38,376 節ぺアを使用する.

## 7.1.2 モデル設定

本実験では談話標識を手がかりとした解析器と河原らの解析器 (Kawahara, Machida, Shibata, Kurohashi, Kobayashi, and Sassano 2014), BERT (Devlin et al. 2019) を用いた解析器, ハイブ リッド方式の解析器の 4 種類のモデルを使用する.

談話標識を手がかりとした解析器とは, 4.2 節で構築した談話標識の自動認識器を用いて節 ペアの談話関係を推定するモデルである（以降，DC と呼ぶ）。節ぺアの談話関係夕グは以下の ルールに従って決定する。

表 10 談話関係解析器の素性

（i） 自動認識器を用いて節ペア内の $<$ 節-機能 $>$ と < 節-前向き機能 $>$ を抽出する. その際, $<$ 節-機能 $>$ と $<$ 節-前向き機能 $>$ のどちらも抽出された場合は $<$ 節-機能 $>$ を優先する.

（ii）＜節-機能 $>$ が抽出された場合，＜節-機能 $>$ を含む節を前節，直後の節を後節とみなし，表 3 と照らし合わせ談話関係タグを決定する。

前節とみなし, 表 3 と照らし合わせ談話関係タグを決定する.

（iv）＜節-機能 $>$ と＜節-前向き機能 > が抽出されなかった場合，もしくは節ペアが隣り合っ ていない場合, “談話関係なし”を付与する。

河原らの解析器（以降, opal と呼ぶ）は, 機械学習ツール opal (Yoshinaga and Kitsuregawa 2010) を使用している. opal は多項式カーネルを用いたオンライン学習が可能なモデルである.今回は passive-aggressive アルゴリズムを多クラス分類に拡張 (Matsushima, Shimizu, Yoshida, Ninomiya, and Nakagawa 2010)したものを利用した。訓練に使用する素性は日本語形態素解析器 Juman++v2 (Tolmachev, Kawahara, and Kurohashi 2018) と日本語構文・格解析器 KNP を 用いて抽出した。用いた素性を表 10 に示す.

BERT は Transformer をべースとしたモデルで, pre-training と fine-tuning の 2 ステップから なる。本実験では日本語 Wikipediaを利用した日本語学習済モデル (柴田，河原，黒橋 2019$)^{12}$ を利用し，訓練データを用いて fine-tuning する．Devlin らは BERT の fine-tuning 時のモデル として，文ぺア分類問題用，1 文分類問題用，質問応答 (SQuAD) 用，系列ラベリング問題用の 4 種類のモデルを提案している。本研究では文ペア分類問題用のモデルを使用する。このモデ ルは [CLS] に対応する Transformer 最終層の Embedding を利用して分類タスクを解いている.

本実験では Google が公開している Tensorflow 実装 13 を使用し， epoch 数は 3 に設定した.

クラウドセットを訓練データとして用いた場合，専門家セットに比べて品質が悪いため，， イズとなる可能性が高い。この問題に対処するために，Patrini らが提案した forward correction (Patrini, Rozza, Menon, Nock, and Qu 2017) をBERT を用いた談話関係解析器に適用する. forward correction とは, ノイズラベル $\tilde{\mathbf{y}}$ を真のラベル $\mathbf{y}$ に変換する行列 $\mathbf{T} \in[0,1]^{c \times c}$ を求める ことで，ノイズが混在しているデータをニューラルネットワークの訓練データとして頑健に使 うことができる手法である．具体的には，BERT の classifier の loss 関数を以下の式に変更する.

$
\begin{aligned}
L\left(\theta ; D_{e}, D_{c}\right) & =\sum_{D_{e}} L(\mathbf{x}, \mathbf{y})+\sum_{D_{c}} L(\mathbf{x}, \tilde{\mathbf{y}}) \\
& =-\log \sum_{D_{e}} p(\mathbf{y} \mid \mathbf{x})-\log \sum_{D_{c}} \hat{p}(\tilde{\mathbf{y}} \mid \mathbf{x}) \\
& =-\log \sum_{D_{e}} p(\mathbf{y} \mid \mathbf{x})-\log \sum_{D_{c}} \sum_{j=1}^{c} p\left(\tilde{\mathbf{y}}=\mathbf{e}^{i} \mid \mathbf{y}=\mathbf{e}^{j}\right) \hat{p}\left(\mathbf{y}=\mathbf{e}^{j} \mid \mathbf{x}\right) \\
& =-\log \sum_{D_{e}} p(\mathbf{y} \mid \mathbf{x})-\log \sum_{D_{c}} \sum_{j=1}^{c} \mathbf{T}_{\mathbf{j i}} \hat{p}\left(\mathbf{y}=\mathbf{e}^{j} \mid \mathbf{x}\right) \\
T_{i j} & =p\left(\tilde{\mathbf{y}}=\mathbf{e}^{j} \mid \mathbf{y}=\mathbf{e}^{i}\right)
\end{aligned}
$

$D_{e}, D_{c}$ はそれぞれ専門家セットとクラウドセットを指す。また, $\mathbf{x}$ が入力, $p(\mathbf{y} \mid \mathbf{x})$ が専門家 セットのタグの出現確率, $\hat{p}(\tilde{\mathbf{y}} \mid \mathbf{x})$ がクラウドセットのタグの出現確率, $p\left(\tilde{\mathbf{y}}=\mathbf{e}^{i} \mid \mathbf{y}=\mathbf{e}^{j}\right)$ が専門家セットのタグ y がクラウドセットのタグ $\tilde{\mathbf{y}}$ に変化する確率を表す。本実験では，訓練データ に含まれる専門家セット（1,856 節ペア）とクラウドセットの混同行列を計算し，それを正規化 した行列を $T$ とした。

ハイブリッド方式の解析器（以降，hybrid と呼ぶ）とは，談話標識を手がかりとした解析器 と BERT を組み合わせた解析器である。まず，談話標識を手がかりとした解析器で談話関係解析を行う，その後，解析結果が “談話関係なし”であった節ぺアに対して BERT を用いた談話関係解析を実施し，談話関係タグを決定する。

## 7.2 実験結果

実験結果を表 11 に示す。表中の [談話関係あり] は “談話関係なし”を除く 6 種類のマイクロ 平均を示している。 [談話関係あり]の $\mathrm{F}$ 値はばらつきがあるが, Accuracy の値はどれも高い. これは談話関係タグ付きコーパスの $80 \%$ 以上が “談話関係なし”となっている不均衡コーパスた からである（表 4 参照）.

クラウドセットの有効性を調べるために, 同一モデルに対して, 訓練データとして専門家セッ

表 11 談話関係解析結果

DC は談話標識を手がかりとした解析器, opal は河原らの解析器, hybrid は DC と BERT を組み合わ せたハイブリッド方式の解析器, BERT+forward correction は forward correction を適用した BERT, hybrid+forward correction は DC と forward correction を適用したBERT を組み合わせたハイブリッド 方式の解析器を示す.

トのみを用いた場合とクラウドセットを追加した場合を比較した。opal は $\mathrm{F}$ 値が 0.387 から 0.311 へと約 $7 \%$ 悪化したのに対し, BERT は 0.088 から 0.374 と大幅に $\mathrm{F}$ 值が向上した. ク ラウドセットは品質が悪いものの規模が大きいという特性を持つ. 高次元離散素性を用いる分類器は品質の悪さの影響を強く受けたのに対して, ニューラルネットの学習には大規模な訓練 データが不可欠であり，クラウドセットの規模が品質の悪さを打ち消してあまりあることがわ かる. さらに, BERT+forward correction は BERT と比べて $\mathrm{F}$ 值が約 $3 \%$ 向上し, opal の $\mathrm{F}$ 值 を上回った. forward correction が品質の問題を軽減し, 精度向上をもたらすことが確認できる.以上のことから, クラウドセットはニューラルネットの学習に不可欠であり, その際に forward correctionのようなノイズ耐性を備えた学習手法が有効であると結論づけられる.

## 7.3 談話標識の自動認識精度評価

4.2 節で整備した談話標識の自動認識は明示的な談話関係だけに焦点を絞ったルールベースの 解析器とみなせる。そこで， 4.2 節のルールを実装した談話標識を手がかりとした解析器を用い て談話標識の自動認識の性能を評価する。テストセットは専門家セット（2,320 節ぺア）とした。実験の結果，表 11 の DC の適合率より精度が高いことが分かる。したがって，談話標識の自動認識は高精度な明示的談話関係解析器として利用可能である. DC の解析誤り例を以下に示 す。なお，抽出された談話標識には下線を引いている。

(47）電報にもエコロジーを意識したものがあるのをご存知でしょうか. 電報には台紙などで 紙を使います。【1年間で送られる電報の数を考えれば,】【消費される紙の量も相当で しょう.】
専門家セット：根拠 (順方向), DC：条件

(48) 文学資料閲覧のための施設です。埼玉ゆかりの文学者の作品や文学関係の資料が閲覧 できます.コピーサービスは 1 枚 10 円で行っておりますが，【貸出はできませんので】【御了承ください.】専門家セット：談話関係なし, DC：原因・理由

(i)「パーキンソン病は小刻み歩行を主な症状とする病気です.

(ii) 例外的に 20 歳台から発症する方や, 80 歳を越えてから

(iii)【発症される方もあります.】

(iv)【脳の中の黒質という数が減ることが原因です.】

専門家セット：談話関係なし, DC：原因・理由

$\mathrm{DC}$ の誤りを分析すると，例 (47) や例 (48)のような, 談話標識以外の要素によって談話関係が 定義される例が多く存在した。例えば例 (47)の場合, 後節に推量表現「〜でしょう」があるの で “根拠”となるが，DCは条件を示す談話標識「〜ば」のみに着目しているため誤答した．同様 に, 例 (48) は後節の定型表現を見落としていたため, 誤答している. 例 (49) は抽出された談話標識「原因です」が示す先は前節にあたる (iii) ではなく, (i) である。例 (49) や 4.2 節の例 (23) のような節が隣り合っていない明示的なぺアについての扱いは，今後の検討課題である。しか し, 例 (47) や例 (48), 例 (49) において, 抽出された談話標識自体は妥当であることから, 4.2 節で整備した自動認識器自体には問題がないと推測する。

一方，談話標識の自動認識が誤っている例は 11 例あった。具体例を示す.

（50）むかしむかし，この世界をつくったインデアンの神さまが旅にでました．そして，雪が いっぱいつもった村にきました.【村にはいると,】【おばあさんがないています.】専門家セット：談話関係なし，DC：条件

(51）噂の大ちゃんですね！【心配したぞ！】でも冒険したせいかちょっとりりしくなった？】専門家セット：談話関係なし，DC：逆接

談話標識「〜と」は，文脈によって“条件”を示す場合と“談話関係なし”（時間経過）を示す場合がある．例 (50) では，後節の時制が過去でないことから“条件”と識別したが，誤答してい る。また，＜節-前向き機能 $>$ については <節-機能疑＞のような節ぺアの関係に曖昧性がある 場合を想定したタグを設定していない。しかし，例 (51)の「でも」は話題提示を示しており，談話関係とは関係ない標識である。これらのルールの修正は今後の課題である.

本研究で構築した談話標識の自動認識は, 明示的な談話関係の解析器として高精度であること が表 11 より分かった。そのため精度が高い解析結果のみを抽出して，他のアプリケーションに
応用するという用途において利用可能だと考える，実際，本研究で構築した談話標識の自動認識 は談話関係解析を応用したアプリケーションで使用されている (Saito, Murawaki, and Kurohashi 2019; 清丸 他 2020). Saito らは因果関係や対比関係を持つ文ぺアを大規模コーパスから収集し 学習データとして用いることで, あるイベントの極性を高精度で推測するモデルを構築した。 この際，本研究で整備した談話標識の自動認識を使用することで高品質な文ぺアを収集してい る。清丸らは商品・サービスのレビューを原因・結果・解決策の 3 種類に集約することで情報 を整理し，解決の糸口となる新たな知見や気づきを喚起するシステム「因果関係グラフ」を提案した。その際，談話標識の自動認識を使用することで因果関係を持つレビューを抽出してい る.これらの研究から, 本研究で整備した自動認識は因果関係抽出や知識抽出, 言論マップな どの談話関係解析を応用したアプリケーションに適用可能であることが分かる.

## 8 まとめ

本研究では日本語の談話関係解析を実用化するため, 英語の談話関係夕グ付きコーパス PDTB 2.0 を参考に，日本語の談話関係解析タスクを定義した。また，様々なドメインを含んだコー パスに，談話単位と談話標識，談話関係タグをアノテーションすることで日本語の談話関係夕 グ付きコーパスを構築した. この際，高速にコーパスを構築するため，談話単位である節と談話標識はルールベースの認識器を用いて自動認識することとした. また, 人手でアノテーショ ンをする談話関係タグは PDTB 2.0 の “CONTINGENCY” と“COMPARISON”などを参考に 2 階層, 下位 7 種類という非常に簡潔なタグセットにした.

談話関係タグのアノテーションは，3名の専門家がタグ付けした小規模なものとクラウドソー シングを用いてタグ付けした大規模なものの 2 種類を実施した. クラウドソーシングを行う際 には，談話関係アノテーションタスクの難易度を考慮し，夕スクを 2 段階に分割する，クラウド ワーカーに言語テストを提示するという 2 つ手法を用いて，夕スクの簡易化とアノテーショ ン品質の向上を試みた。その結果, 6,445 文書（40,067 節ぺア）からなる談話関係夕グ付きコー パスが完成した．また，専門家のアノテーション結果と比較することでクラウドソーシングを 用いた場合のアノテーション傾向と品質について分析した. 分析の結果, クラウドソーシング を用いたアノテーションは品質が良くなく, 改善の余地があることが分かった. 改善方法とし てはタスクのさらなる分割や談話標識の自動認識の活用が考えられる。

本研究で構築したコーパスを用いて談話関係解析を訓練した．実験結果より，クラウドソー シングのアノテーションはニューラルネットワークベースの談話関係解析器を学習する際に有効であることが分かった．また，非明示的な談話関係を含む談話関係の解析は依然として挑戦的な課題だが, 明示的な談話関係に限れば, 本研究で整備した談話標識の自動認識が高精度な 解析器として利用可能であることを示した。この解析器は, 因果関係抽出や知識獲得, 談話関
係解析を応用したアプリケーションなどへの応用が期待できる.

本研究で構築したコーパスはすでに公開されている京都大学ウェブ文書リードコーパスの一要素として公開した。また, 節と談話標識の自動認識ルールは日本語構文・格解析器 KNP の一要素として公開した。

## 謝 辞

研究開始時において澤田晋之介氏の多大なる貢献がありました．また，クラウドソーシング を実施するにあたり，颯々野学氏，小林隼人氏，柴田知秀氏，町田雄一郎氏からご助言をいた だきました，石川真奈見氏，二階堂奈月氏，堀内マリ香氏には専門家として本コーパスのタグ 付け作業にご協力いただきました。この場を借りて皆様に感謝申し上げます.

## 参考文献

Asher, N. and Lascarides, A. (2003). Logics of Conversation. Cambridge University Press.

Carlson, L., Marcu, D., and Okurowski, M. E. (2001). "Building a Discourse-Tagged Corpus in the Framework of Rhetorical Structure Theory." In Proceedings of the 2nd SIGdial Workshop on Discourse and Dialogue, pp. 1-10.

da Cunha, I., Torres-Moreno, J.-M., and Sierra, G. (2011). "On the Development of the RST Spanish Treebank." In Proceedings of the 5th Linguistic Annotation Workshop, pp. 1-10.

Devlin, J., Chang, M., Lee, K., and Toutanova, K. (2019). "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics, pp. 4171-4186.

Ennals, R., Trushkowsky, B., and Agosta, J. M. (2010). "Highlighting Disputed Claims on the Web." In Proceedings of the 19th international conference on World Wide Web, pp. 341-350.

Guillaume, B., Fort, K., and Lefebvre, N. (2016). "Crowdsourcing Complex Language Resources: Playing to Annotate Dependency Syntax." In Proceedings of the 26th International Conference on Computational Linguistics, pp. 3041-3052.

Habernal, I., Hannemann, R., Pollak, C., Klamm, C., Pauli, P., and Gurevych, I. (2017). "Argotario: Computational Argumentation Meets Serious Games." In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. $7-12$.

萩行正嗣，河原大輔，黒橋禎夫 (2014). 多様な文書の書き始めに対する意味関係夕グ付きコー

パスの構築とその分析. 自然言語処理, 21 (2), pp. 213-247.

Kaneko, K. and Bekki, D. (2014). "Building a Japanese Corpus of Temporal-Causal-Discourse Structures Based on SDRT for Extracting Causal Relations." In Proceedings of the EACL 2014 Workshop on Computational Approaches to Causality in Language, pp. 33-39.

Kawahara, D., Machida, Y., Shibata, T., Kurohashi, S., Kobayashi, H., and Sassano, M. (2014). "Rapid Development of a Corpus with Discourse Annotations using Two-stage Crowdsourcing." In Proceedings of the 25th International Conference on Computational Linguistics, pp. 269-278.

清丸寛一, 植田暢大, 昌玉貴志, 田中佑, 岸本裕大, 田中リベカ, 河原大輔, 黒橋禎夫 $(2020)$.因果関係グラフ：構造的言語処理に基づくイベントの原因・結果・解決策の集約. 言語処理学会第 26 回年次大会, pp. 1125-1128.

Krippendorff, K. (2013). Content Analysis: An Introduction to Its Methodology (3rd Edition). Sage Publications.

Lin, Z., Kan, M.-Y., and Ng, H. T. (2009). "Recognizing Implicit Discourse Relations in the Penn Discourse Treebank." In Proceedings of the 2009 Conference on Empirical Methods in Natural Language Processing, pp. 343-351.

益岡隆志，田窪行則 (1992). 基礎日本語文法一改訂版一. くろしお出版.

Matsushima, S., Shimizu, N., Yoshida, K., Ninomiya, T., and Nakagawa, H. (2010). "Exact Passive-Aggressive Algorithm for Multiclass Classification Using Support Class." In Proceedings of 2010 SIAM International Conference on Data Mining, pp. 303-314.

南不二男 (1993). 現代日本語文法の輪郭. 大修館書店.

Murakami, K., Nichols, E., Matsuyoshi, S., Sumida, A., Masuda, S., Inui, K., and Matsumoto, Y. (2009). "Statement Map: Assisting Information Credibility Analysis by Visualizing Arguments." In Proceedings of the 3rd Workshop on Information Credibility on the Web, pp. 43-50.

日本語記述文法研究会 (2008). 現代日本語文法 6 第 11 部 複文. 〈ろしお出版.

日本語記述文法研究会 (2009). 現代日本語文法 7 第 12 部 談話, 第 13 部 待遇表現. くろし お出版.

野矢茂樹 (2006). 新版 論理トレーニング. 産業図書.

Patrini, G., Rozza, A., Menon, A. K., Nock, R., and Qu, L. (2017). "Making Deep Neural Networks Robust to Label Noise: A Loss Correction Approach." In Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition, pp. 1944-1952.

Pitler, E., Louis, A., and Nenkova, A. (2009). "Automatic Sense Prediction for Implicit Discourse Relations in Text." In Proceedings of the Joint Conference of the 47th Annual Meeting of
the ACL and the 4th International Joint Conference on Natural Language Processing of the AFNLP, pp. 683-691.

Prasad, R., Dinesh, N., Lee, A., Miltsakaki, E., Robaldo, L., Joshi, A., and Webber, B. (2008). "The Penn Discourse TreeBank 2.0." In Proceedings of the 6th International Conference on Language Resources and Evaluation, pp. 2961-2968.

Prasad, R., Webber, B., and Joshi, A. (2014). "Reflections on the Penn Discourse TreeBank, Comparable Corpora, and Complementary Annotation." Computational Linguistics, 40 (4), pp. 921-950.

Prasad, R., Webber, B., and Lee, A. (2018). "Discourse Annotation in the PDTB: The Next Generation." In Proceedings 14th Joint ACL - ISO Workshop on Interoperable Semantic Annotation, pp. 87-97.

Rajpurkar, P., Zhang, J., Lopyrev, K., and Liang, P. (2016). "SQuAD: 100,000+ Questions for Machine Comprehension of Text." In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 2383-2392.

Saito, J., Murawaki, Y., and Kurohashi, S. (2019). "Minimally Supervised Learning of Affective Events Using Discourse Relations." In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, pp. 5758-5765.

柴田知秀, 河原大輔, 黒橋禎夫 (2019). BERT による日本語構文解析の精度向上. 言語処理学会 第 25 回年次大会, pp. 205-208.

Snow, R., O'Connor, B., Jurafsky, D., and Ng, A. (2008). "Cheap and Fast - But is it Good? Evaluating Non-Expert Annotations for Natural Language Tasks." In Proceedings of the 2008 Conference on Empirical Methods in Natural Language Processing, pp. 254-263.

Stede, M. and Neumann, A. (2014). "Potsdam Commentary Corpus 2.0: Annotation for Discourse Research." In Proceedings of the 9th International Conference on Language Resources and Evaluation, pp. 925-929.

高橋拓誠，目良和也，黒澤義明，竹澤寿幸 (2016). 大規模テキストコーパスを用いた因果関係 の自動抽出手法. 言語処理学会第 22 回年次大会, pp. 901-904.

Tolmachev, A., Kawahara, D., and Kurohashi, S. (2018). "Juman++: A Morphological Analysis Toolkit for Scriptio Continua." In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 54-59.

梅澤俊之, 原田実 (2011). センタリング理論と対象知識に基づく談話構造解析システム DIA.然言語処理, 18 (1), pp. 31-56.

Whitehill, J., Ruvolo, P., Wu, T., Bergsma, J., and Movellan, J. (2009). "Whose Vote Should

Count More: Optimal Integration of Labels from Labelers of Unknown Expertise." In $A d$ vances in Neural Information Processing Systems 22, pp. 2035-2043.

Xue, N., Ng, H. T., Pradhan, S., Prasad, R., Bryant, C., and Rutherford, A. (2015). "The CoNLL-2015 Shared Task on Shallow Discourse Parsing." In Proceedings of the CoNLL2015 Shared Task, pp. 1-16.

Xue, N., Ng, H. T., Pradhan, S., Rutherford, A., Webber, B., Wang, C., and Wang, H. (2016). "CoNLL 2016 Shared Task on Multilingual Shallow Discourse Parsing." In Proceedings of the CoNLL-16 Shared Task, pp. 1-19.

Yoshinaga, N. and Kitsuregawa, M. (2010). "Kernel Slicing: Scalable Online Training with Conjunctive Features." In Proceedings of the 23rd International Conference on Computational Linguistics, pp. 1245-1253.

Yung, F., Demberg, V., and Scholman, M. (2019). "Crowdsourcing Discourse Relation Annotations by a Two-Step Connective Insertion Task." In Proceedings of the 13th Linguistic Annotation Workshop, pp. 16-25.

Zeyrek, D., Mendes, A., and Kurfalı, M. (2018). "Multilingual Extension of PDTB-Style Annotation: The Case of TED Multilingual Discourse Bank." In Proceedings of the 11th International Conference on Language Resources and Evaluation, pp. 1913-1919.

Zhou, Y. and Xue, N. (2012). "PDTB-style Discourse Annotation of Chinese Text." In Proceedings of the 50th Annual Meeting of the Association for Computational Linguistics, pp. 69-77.

## 付録

## A 談話関係タグの基準

表 1 に示した 7 つの談話関係タグごとの基準を詳細に記す.

## A. 1 順接系

## A.1.1 原因・理由

「〜ので」，「だから」のような原因・理由を示す談話標識が節ぺアに含まれている，もしくは 原因・理由を示す談話標識を節ぺアに挿入しても意味的なつながりが変化しない場合，“原因・理由”の夕グを付与する ${ }^{14}$.この関係をもつ節ぺアには方向があり，一般に，一方の節が原因も

しくは理由，他方の節が結果となる ${ }^{15}$. 例を示す.

(52)【必死に勉強したので, 原因・理由】【試験に受かった.】

(53)【お客様一人ひとりにあったまつ毛のスタイルや，ケアの方法をご提案しています.原因・理由】【何でもお気軽にご相談ください.】

（54）【明るく，分かりやすく，楽しく教えていきたいです.】【勉強は誰もが嫌いなものです.原因・理由】

なお，例 (53)のような比較的弱い因果関係を持つ場合や，例 (54)のような書き手の主観的な理由も“原因・理由”とする。

## A. 1.2 目的

「〜するため」のような目的を示す談話標識が使われている，もしくは目的を示す談話標識 を節ペアに插入ても意味的なつながりが変化しない場合，“目的”とする ${ }^{16}$.この関係をもつ 節ペアにも方向があり，一般に，一方の節が目的，他方の節が手段となる. 例を以下に示す.

（55）【試験に受かるために，目的】【必死に勉強した.】

（56）【都会から離れて,】【体をリフレッシュする，目的】

## A.1.3 条件

「〜すれば」「〜すると」のような条件を示す談話標識が使われている，もしくは条件を示す 談話標識を節ぺアに挿入しても意味的なつながりが変化しない場合, “条件”とする 17 .この関係をもつ節ぺアにも方向があり，一般に，一方の節が条件，他方の節が結果となる．例を以下 に示す.

【酒を飲むと 条件】【すぐ顔が赤くなる.】

【雨が降れば，条件】【道がぬれる.】

例 (58)のように仮定的な条件の場合も“条件”とする.

## A.1.4 根拠

“原因・理由”，“目的”，“条件”には該当しないが，節ぺアの関係が根拠に基づく推量や認識 と解釈できれば，“その他根拠”とする ${ }^{18}$.この関係をもつ節ぺアには方向があり，一般に，一方の節が根拠，他方の節が推量や認識となる。例を以下に示す.

（59）【試験に受かったのだから，根拠】【必死に勉強したのだろう.】

（60）【ツバメは，巣材集めの真っ最中のようです.】【毎日，泥や枯れ草をくちばしにくわえ て飛び立っていきます. 根拠】

## A. 2 逆接系

## A.2.1 対比

「〜の一方で〜」のような対比を示す談話標識が使われている，もしくは対比を示す談話標識を節ぺアに挿入しても意味的なつながりが変化しない場合, “対比”とする ${ }^{19}$. 一方の節が他方の節を含意している場合も含む. この関係をもつ節ぺアは方向をもたないため, 本稿では前節と後節の間に談話関係タグ “対比”を記す。例を以下に示す.

（61）【大阪は雨だが,】対比【東京は晴れだ.】

(62)【本施設は会員の方は使えますが,】対比【非会員の方は使えません.】

## A.2.2 逆接

節ペアの関係を表す際，「〜しかし〜」のような逆接を示す談話標識や「確かに〜だが〜」の ような譲歩を示す談話標識が使われている，もしくは逆接や譲歩を示す談話標識を節ぺアに挿入しても意味的なつながりが変化しない場合, “逆接”とする 20 . “対比”は方向をもたないが,逆接はどちらかの節に主眼があるので方向をもつ. 例を以下に示す.

（63）【昨日は雨が降っていた。 逆接】【かか, 野球の試合があった.】

(64)【明日は 1 日休みだ.】【しかすると急に仕事が入るかもしれないが. 逆接】

（65）【彼が来たとしても，逆接】【状況は改善されなかっただろう.】

例 (65)のような仮定的な逆接表現（以降, “逆条件”と呼ぶ）の場合も“逆接”とする.

## A. 3 関係なしまたは弱い関係

節ペアに意味的なつながりがない，もしくは節ぺアの関係が時間経過 21 や, 例示, 補足, 列挙, 要約・敷衍・換言・含意, 付加など 22 の弱い関係，謝罪や感謝，話題導入を示す定型表現で ある場合，“関係なしまたは弱い関係”とする。例を以下に示す.

（66）【毎日暑い日が続きますね.】【父の手術も無事に終わり,】少しだけほっとしてます.

（67）【これ以外の環境ではご利用いただけない可能性がありますので,】【あしからずご了承 ください. I

(68)【画像を利用する際にコメントなどを頂戴し】【ありがとうございます.】

(69)【【コンビニのドル箱商品といえば】【やはり「おにぎり」です!】

例 (67) は “原因・理由”とも解釈できるが, 後節の「ご了承くたさい」が定型表現なので “関係 なしまたは弱い関係”とする。同様に例 (68) は後節が定型表現，例 (69) は文全体が話題導入を 示す定型表現なので“関係なしまたは弱い関係”となる.

## B曖昧性がある談話標識の分類

談話標識「〜のに」「〜ため」「〜ても」は＜節-機能 $>$ となる場合と，＜節-機能疑 $>$ となる 場合が存在する。以下で具体的に説明する。

## B. $1 \sim$ のに

「〜のに」は原則として $<$ 節-機能疑-目的 $>$ と $<$ 節-機能疑-逆接 $>$ が付与されるが，「夕形 + のに」,「〜なのに」の場合のみ <節-機能-逆接 $>$ が付与される.

（70）【大学に行くのに，＜節-機能疑一目的><節一機能疑一逆接〉】【電車とバスを使う.】

（71）【彼が来たのに，＜節一機能-逆接>】【誰も反応しない.】

（72）【信号が青なのに<節一機能-逆接>】【立ち止まっている.】

## B. $2 \sim$ 〜め

「〜ため」は直前の述語によって, 付与されるラベルが変化する（表 12 参照）.
{ }^{21}$ PDTB 2.0 および 3.0 の“TEMPORAL”に相当.

22 PDTB 2.0 および 3.0 の “EXPANSION" に相当.
}
表 12 “〜ため”の分類

 \\

## B. $3 \sim$ ても

「〜ても」は係り先の基本句の時制によって付与されるラベルが変化する. 係り先の時制が 過去である場合は＜節-機能疑-条件-逆条件 $>$ と <節-機能疑-逆接 $>$ が，係り先の時制が非過

（73）【彼が来ても，＜節一機能疑一条件一逆条件><節一機能疑-逆接>】【状況は改善されなかった.】

（74）【彼が来ても，<節一機能疑一条件一逆条件><節一機能疑一逆接〉【状況は改善されなかっただろう.】 ※ 例 (73) は逆接, 例 $(74)$ は逆条件の関係を持つ.

（75）【不審な点がなくてもく節一機能一条件-逆条件〉】受付近くの応接スペースで応対する.】

## 略歴

岸本裕大：2014 年京都大学工学部電気電子工学科卒業. 2016 年同大学大学院情報学研究科修士課程修了. 2020 年同大学院博士課程単位取得認定退学. 同年エニシア株式会社に入社．談話関係解析の研究に従事．修士（情報学）。情報処理学会, 言語処理学会, 各会員.

村脇 有吾：2011 年京都大学大学院情報学研究科博士後期課程修了, 博士（情報学). 同年京都大学学術情報メディアセンター特定助教, 2013 年九州大学大学院システム情報科学研究院助教, 2016 年京都大学大学院情報学研究科助教，現在にいたる。テキスト解析および計算言語学に関する研究に従事. 言
語処理学会, 情報処理学会, 各会員.

河原 大輔：1997 年京都大学工学部電気工学第二学科卒業. 1999 年同大学院修士課程修了. 2002 年同大学院博士課程単位取得認定退学. 東京大学大学院情報理工学系研究科学術研究支援員, 独立行政法人情報通信研究機構主任研究員, 京都大学大学院情報学研究科准教授を経て, 2020 年より早稲田大学基幹理工学部情報通信学科教授. 自然言語処理, 知識処理の研究に従事. 博士 (情報学). 情報処理学会, 言語処理学会, 人工知能学会, 電子情報通信学会, ACL，各会員。

黒橋 禎夫：1994 年京都大学大学院工学研究科電気工学第二専攻博士課程修了.博士 (工学)。2006 年 4 月より京都大学大学院情報学研究科教授. 自然言語処理, 知識情報処理の研究に従事. 言語処理学会 10 周年記念論文賞, 同 20 周年記念論文賞, 第 8 回船井情報科学振興賞, 2009 IBM Faculty Award 等を 受賞. 2014 年より日本学術会議連携会員.


# 学会記事
## COVID-19に関する自然言語処理

\author{
荒牧 英治 $^{\dagger} \cdot$ 若宮 翔子 $\dagger \cdot$ 矢田竣太郎 $\dagger$
}

## 1 はじめに

自然言語処理の応用といえば，Web 検索や機械翻訳などがキラーアプリケーションと考えら れてきました。しかし，Webの発展とともに，自然言語処理の応用の幅が様々な形に広がって います。今回の COVID-19の危機的状況においても，自然言語処理が必要とされる場面が多く あり, 私の所属する奈良先端科学技術大学院大学ソーシャル・コンピューティング研究室にも 多くの依頼がありました。一部には成功したものもありますが，期待した成果が得られず頓挫 したもの，また，現在進行中の課題もあります。本稿では，その経験を踏まえ，同様の危機的状況に備えるために，どのような準備をしておけばよかったのか，今後の大学のあり方などを 議論できればと思います。まず，様々な社会的課題がある中でも，自然言語処理に求められる パターンは，大まかには次の 2 つに分類できるように思います.

弱い支援：すでに対策や施策などの概ねの方針は決まっているので，問題がないかを確認し

て，最後のひと押しをしてほしい。意思決定のための数字（エビデンス）を示してほし

い.または，方針が誤っている場合には警告してほしい。

強い支援：まったく状況が分からないので，状況把握のための情報を提供してほしい．例え

ば，クラスターの発見，コロナ禍における新しい悩みやニーズの調査など.

これらは完全に二分できる問題でなく，実際には両者の中間にあたる場合もあると思います が，いずれも意思決定の一助にしたいという点では共通しています。さて，コロナ禍以前の平時では, 自然言語処理に求められるものには弱い支援が多いと思っています. 特に, 我々の研究室は，普段から医療・健康関係の共同研究に数多く従事しているのですが，多くの場合，診断支援や症例検索など弱い支援に相当する技術が必要とされてきました。一方，コロナ禍の特徵は，強い支援が必要な場面が多かったように思います。以降，実際の取り組みの例を挙げな がら紹介したいと思います.

## 2 取り組み例

【リスク・コミュニケーションのための流言の把握】リスク・コミュニケーションとは, リ

スクに関する情報を専門家や市民との間で共有し，意思疎通や合意形成を図ることを指します。 コロナ禍においては，PCR 検査の必要性やマスクの意義など，主に予防策に関わる情報がネッ 卜上でやり取りされていることから，リスク・コミュニケーションは重要な概念です。そもそ も，オリンピックを控えていた日本は国立感染症研究所を中心に，「マスギャザリング時の新興・再興感染症の発生に備えた感染症サーベイランスの強化とリスクアセスメントに関する研究」(厚生労働行政推進調査事業費) が組織され，想定外の感染症に対しての対策・準備がなさ れていました。まさに，COVID-19を想定したような事業ですが，主には諸外国から感染症が 持ち込まれた直後の状況把握を想定しており，コロナ禍のように長期間にわたり世界中で大量 のコロナの話題が満ちている状態を想定していませんでした. 多くの不確かな情報を抽出でき ましたが，その真偽の把握はできませんでした。また，我々が想定していた当初のみの擾乱を 防ぐという課題設定の問題も明らかになりました.

【疾患の把握】 2020 年 2 月に，新型コロナウイルス感染症対策専門家会議が立ち上がったこ 万，複数の経路で打診があり，ソーシャルメディア上の情報からクラスターを特定できないか との課題を依頼されました。本研究室では, 2011 年からインフルくん（図 1), 花粉症レーダー などでソーシャルメディアを用いた疾病調査を行っており，政府や製薬会社への情報提供など 多くの実績があります。ただし，ソーシャルメディアでの位置情報の特定には限界があり，調査には Yahoo! JAPAN 研究所にも協力していただきました。ただし，それでもクラスターのよ うな数十人程度の規模の現象を捉えることは困難であり，また，個人情報への配慮など多くの 今後の課題が見えてきました。本取り組みの一部は論文として発表していますので，ご参照下

図 1 インフルエンザサーベイランスシステム

## Q エピソードを検索する

図 2 エピソードバンク（乳がんエピソードバンク）

さい1.

【代替となる医療サービスの提供】コロナ禍によって, 従来の治療やサポートが困難になる ケースがあります。特に，普段から特殊なケアや配慮が必要である社会的弱者やマイノリティ にとっては，ケアが手薄になりがちな災害時は一層の配慮が必要になる場合があります。例え ば，発達障害を持つ方々は自助会（ピア・サポート）が大きな役割を持っていますが，物理的に 会合を開くことができない状態で，急速に病態が悪化する恐れがあります。このような状態を サポートするため，エピソードバンクという本研究室が開発してきたサービスを拡張し， バー チャルな自助会が開催できるような環境を作っています。この活動は現在も継続しており，当事者エピソードバンク（図 2）としてオープン版も公開されています2.

【臨床研究の支援】2010 年から本研究室は日本内科学会の症例報告検索システムを運営して います。学会はコロナ禍で停止していましたが，今後，COVID-19に関連した多くの症例報告
^{1} \mathrm{https}$ ///scientific-reports-under-consideration.nature.com/posts/smartphone-based-syndromic-surveillanceagainst-covid-19-clusters-in-japan

2 https://www.episodebank.com/crest
}

が報告されると見込まれます。本研究室では，学会に蓄積されている情報から，最新のコロナ に関する症例を検索する体制を準備中です。

## 3 おわりに

他にも，大小多くの依頼がありました，傾向としては，当初の混迷とした状態では，強い支援が自然言語処理に期待され, 徐々にいつもどおりの弱い支援に戻ってきたととらえています.我々の研究室は普段から多くの共同研究を遂行していますが，それでも，突如舞い达む課題を同時並行で遂行するのは困難であり，人的状況からお断りした依頼も数多くあります. 可能なら，他の研究室と連動しながら協働できればよかったとも思います。現状では，知人や縁のあった 研究者同士という属人的な関係をべースに社会要請に答えていますが，学会の中に社会実装部会のような社会からの要請を受け入れる部門があってもよいかもしれません.

一方で，なぜ我々の研究室ばかり多くの依頼があるのかについても考えます。その理由は,我々の研究室は自然言語処理研究を行うとともに, 同時にいくつかのサービス提供や事業を継続 して運営しているからだと考えています。というのも，多くの依頼がすでに展開しているサー ビス, 例えば, 日本内科学会症例検索 $(2010-)$, 感染症サーベイランス「インフルくん」(2011-),当事者エピソードバンク $(2017-)$ など，を通じての依頼であったからです。近年の大学の研究室は小規模化し，安定したスタッフがおらず，また，主要なサービスはすでに大手 IT 会社が 展開している状態で，大学研究室のレベルでのサービスの維持はインセンティブがないと思わ れるかもしれません，しかし，危機事態や対象ドメインを絞れば，高いレベルのサービスを大学が提供することも可能です。むしろ, 大学研究室の小回りが利く体制や, 運営の自由さをフ ルに発揮できる場面ではないでしょうか？サービスを提供することで，研究室と社会を接続し， どのように使われるかといったフィードバックを得ることができます。また，長期に渡って続 けると，フィールドや制度といった問題も扱うことができます。これは言い換えれば，社会と インタラクションしているとも言えます。最後になりますが，個人の研究成果や思想をもっと も社会に反映させやすいのが, 研究, 特に大学研究室の研究であると思います。そのためにも,応用する術を持つことは今後ますます重要であると考えています.

## 略歴

荒牧 英治：奈良先端科学技術大学院大学教授．京都大学総合人間学部基礎科学科卒業. 東京大学大学院情報理工系研究科博士課程修了. 博士（情報理工学). 自然言語処理の医療応用に関する研究に従事.

若宮 翔子: 奈良先端科学技術大学院大学准教授. 兵庫県立大学環境人間学部環境人間学科卒業. 兵庫県立大学大学院環境人間学研究科修士課程修了. 同博
士課程修了. 博士 (環境人間学). データ工学, ソーシャル・コンピューティ ングに関する研究に従事.

矢田竣太郎: 奈良先端科学技術大学院大学博士研究員. 東京大学教育学部総合教育科学科卒業. 東京大学大学院教育学研究科修士過程修了. 同博士課程単位取得退学. 博士 (教育学). 医療言語処理および図書館情報学に従事.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 学会記事
## オープンコラボレーションによる \\ COVID-19 世界情報集約サイトの構築

河原 大輔 $\dagger$

## 1 はじめに

新型コロナウイルス感染症 (COVID-19) のパンデミックにより, COVID-19 の感染状況, 予防，教育や経済への影響など様々なトピックの最新情報について人々の関心が高まっている. また，各国・地域における COVID-19 の状況は流行の進展や経済政策などで大きく異なってお り，人々は自国内の状況に加えて，海外の動向にも注目している，例えば，中国や韓国におけ る流行は日本より 1 か月以上早かったように流行の進展に違いがあり, 他国における有効な予防方法や政策などの情報を入手できれば，より効果的な対策をとることができる可能性がある. しかし，他国のニュースは部分的にしか報道されず，言語の壁のため，俯瞰的に情報を得るこ とができないという問題がある.

我々は, この問題を解決するために, 国内の研究機関, 大学とコラボレーションし, 各国・地域のCOVID-19 関連記事，文書を収集，機械翻訳，トピックに分類して，国×トピックという 2 軸で表示する COVID-19 世界情報集約サイト1（図 1）を構築した。本稿では，本サイト構築の概要について述べる.

## 2 フローと各コンポーネント

COVID-19 世界情報集約サイトのフローを図 2 に示す。まず，クラウドソーシングを用いて 各国における信頼度の高い情報源のウェブサイトを収集する。次に，それらのサイトをクロー ルすることによってウェブページを集め，フィルタリング，機械翻訳を行う。最後に，翻訳した 各ページについてトピック分類を行い，国×トピックという 2 軸のインターフェースで表示す る.これらの各コンポーネントは国内の研究機関，大学の研究室で分担して開発している．以下では各コンポーネントについて説明する.
^{1}$ https://lotus.kuee.kyoto-u.ac.jp/NLPforCOVID-19/
}

Johns Hopkins University

○特に径立了記事

} & \multicolumn{4}{|c|}{} &  \\

図 1 COVID-19 世界情報集約サイトにおいて, トピック「予防・防疫・緩和」に関する各国の情報を表示したスクリーンショット.

## 2.1 信頼度の高い情報源ウェブサイトの収集

信頼度の高い記事や文書を得るために，信頼度の高い情報源を選択する必要がある。そのた めに，世界各国の信頼度の高いウェブサイトをクラウドソーシングで収集する。

各国の地元の人々がその地域の信頼できるウェブサイトを知っていると考えられる．クラウ ドソーシングのサービスとして, Crowd $4 U^{2}$, Amazon Mechanical Turk ${ }^{3}$, Yahoo! クラウドソー シング4, Tencent wenjuan 5 などを用い，ワーカーの国籍を収集対象の国に限定する。ワーカー は，信頼できるウェブサイトを挙げるとともに，その理由を回答する。また，各国の政府から発信された情報を一次情報源, 新聞社などの報道機関から発信された情報を二次情報源とし，挙 げたウェブサイトがどちらであるかも回答する。
^{3}$ https://www.mturk.com/

4 https://crowdsourcing.yahoo.co.jp/

5 https://wj.qq.com/
}

図 2 COVID-19 世界情報集約サイト構築のフロー

収集対象の国は，インド，アメリカ，イタリア，日本，スペイン，フランス，ドイッ，ブラ ジルの 8 力国とした. システムは中国と韓国も対象としているが, これらの国については, 留学生に信頼できるウェブサイトを挙げてもらった.

クラウドソーシングの結果， 908 件の回答が得られ，550 件のウェブサイトが収集された. 各 ウェブサイトの回答頻度を計数し，降順にソートした. この上位のウェブサイトを後続の処理 であるクロールの対象とする。結果を分析したところ，各国の上位 3 件までに一次情報源，上位 5 件から 10 件に二次情報源が含まれていることが多い傾向があった.

## 2.2 クロール・フィルタリング・翻訳

現在, 35 件の信頼度の高いウェブサイトを毎日クロールしている. 各サイトのトップページ からリンクをたどることによって同一サイト内のウェブページを再帰的にクロールしている. このクローラは更新クロールを行っており, 同一URL のページは, 前回のクロールから更新さ れている場合にのみ取得する。

クロールによって収集されるページ数は膨大であり，すべてを翻訳するのは非常にコストが かかるため，フィルタリングを行う．フィルタリングは，「COVID」「コロナ」「肺炎」など各国語のコロナ関連のキーワードを用いて行い，これらのキーワードを含むぺージのみを翻訳する。翻訳には，ニューラル機械翻訳エンジンである「みんなの自動翻訳@TexTra」6を用いる。こ の翻訳エンジンは Transformer に基づくモデルを採用しており，高い翻訳精度をもつ。この翻訳エンジンを用いて，各国語のページを日本語と英語に翻訳する。1 日平均 1.1 万ページをク ロール，その内 1,000 ページ程度を翻訳している。

## 2.3 トピック分類

各ページについて，トピックごとに表示するためにトピック分類を行う．設定したトピック は，「感染状況」「予防・防疫・緩和」「症状・治療・検查など医療情報」「経済・福祉政策」「教育関連」「その他」の 6 つである。トピック分類は教師有り学習で行う．まず，クラウドソーシ ングを用いて各ページにトピックを付与したデータを作成し，これを用いてトピック分類器を 学習する。なお，トピック分類は日本語に翻訳したぺージを対象に行う。

クラウドソーシングでは，ワーカーは日本語に翻訳されたページを見て，YES/NO 質問に回答 し，トピックを選択する．YES/NO 質問は，ページが COVID-19に関連しているか (COVID-19 関連），役に立つ情報が載っているか（役立ち情報）である7．トピックは複数選択することがで きる. クラウドソーシングのサービスは Yahoo! クラウドソーシングを用いた．各ぺージのア ノテーションは 10 人のワーカーが行い，5 人以上が選択した YES/NO ラベルおよびトピック を採用する。このアノテーションを 2020 年 4 月 6 月の 3 か月間に週に 2 回ずつ行った. 各回約 800 ページのアノテーションを行い, 合計約 1.8 万ページのトピック付与データを作成した.

トピック分類は，汎用言語モデル BERT (Devlin, Chang, Lee, and Toutanova 2019)を用いて 各ページについて各トピックの尤度を推定する。具体的には, 事前学習済み日本語 BERT モデ ルを用いてぺージ内の各文をべクトル化, mean/max pooling し, 線形分類器で分類する. 分類

て用い，残りの $10 \%$ をテストデータとして用いた，また，当初，「役立ち情報」以外はキーワー ドマッチに基づくトピック分類器を実装し利用していたので, これと BERT に基づく手法と比較する。キーワードは各トピックについて人手で設定しており，その数は合計 76 個である.

トピック分類精度を表 1 に示す。ほとんどのトピックにおいて，BERT がキーワードマッチ よりも精度が高いことがわかる。しかし，BERTを用いても「教育」や「経済・福祉政策」な どのトピックでは精度が低かった．それらのトピックでは学習データ数が少ないことが主な原因と考えられ，データを増やして精度を上げるのが今後の課題である。

## 3 おわりに

COVID-19 世界情報集約サイトを用いて，あるトピック，例えば各国の予防・防疫・緩和の 状況が一覧として把握できる（図1）。た，ある国・地域における様々なトピックを俯瞰的に 捉えることができる．本サイトを用いることによって効果的な予防策の発見や政策立案などに 役立てば幸いである.

表 1 トピック分類精度

太字は，F-score について2つの手法のうち高い方を示す.

国内の複数の研究機関，大学とのオープンコラボレーションによって，短い期間で COVID-19 世界情報集約サイトを構築することができた。このような組織の垣根を越えたオープンコラボ レーションが with コロナ時代にマッチするとともに，より重要になると考えられる。

## オープンコラボレーション参加メンバー

相澤 彰子 §, Frederic Bergeron ${ }^{\ddagger}$, Junjie Chen*, Fei Cheng ${ }^{\ddagger}$, 林 克彦 ${ }^{*}$, 乾 健太郎 9, 伊藤 寞祥 *,

正樹 ${ }^{*}$, 宮尾 祐介*, 森嶋 厚行 ${ }^{*}$, 村脇 有吾 $\ddagger$, 大村 和正 $\ddagger$, Haiyue Song ${ }^{\ddagger}$, 隅田 英一郎・, 鈴木 慎

$\S$ 国立情報学研究所, $\ddagger$ 京都大学, * 東京大学, 『 東北大学, ^筑波大学, †早稲田大学, 一情報通信研究機構, $\diamond$ 東京大学 生産技術研究所

## 参考文献

Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. (2019). "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding." In Proceedings of NAACL-HLT 2019, pp. 4171-4186, Minneapolis, Minnesota. Association for Computational Linguistics.

## 略歴

河原 大輔：2002 年京都大学大学院情報学研究科博士後期課程単位取得認定退

学. 博士 (情報学). 2020 年より早稲田大学基幹理工学部情報通信学科教授.自然言語処理, 知識処理の研究に従事.


# 学会記事
## 森羅プロジェクト

関根聡 $\dagger$

## 1 はじめに

「森羅プロジェクト」は, “Resource by Collaborative Contribution （RbCC: 協働による知識構築)” と呼ぶスキームに基づき, Wikipedia 知識の構造化を目標に 2017 年から進めている プロジェクトである ${ }^{1}$ (Sekine, Kobayashi, Nakayama 2019; 関根・小林・安藤・馬場・乾 2018;関根 ・小林 - 安藤 2019; 小林・中山・安藤・関根 2020). 構造化された知識は自然言語処理の 基礎技術や応用技術に非常に重要なコンポーネントである。近年の深層学習の発展により様々 なタスクの精度は向上しているが，システムがなぜそのような答えを出したのかを提示するに は至っていない。人間であれば容易にできる説明を様々な自然言語の応用システムで実現する ためには，人間が様々な知識を頭の中に持つように、システムも構造化された知識を持つこと が非常に重要だと考えられる、ルールベースの自然言語処理が主流だった時代から，このよう な構造化知識の構築が目指されており, 日本では $\mathrm{EDR}$, 米国では $\mathrm{CYC}$ などのプロジェクトが 実施された。しかしながら，知識を少数の専門家によって構築しようとする上記のプロジェク トは，知識の網羅性及び首尾一貫性の欠如を理由に多くの自然言語処理システムで使われるほ ど広まってはいない，唯一，WordNet は広く使われているが，いわゆる知識ではなく語彙を対象とした辞書であり，説明できる人工知能を実現するためには部分的なものでしかない．それ に対し， 2000 年頃以降はクラウドソーシングにより百科事典的な知識を構築するプロジェクト が行われ，Wikipediaを代表とする大規模な知識が大勢の人の手で作られている。ただ，ここ で作られる知識は人間が読むためのものであり，機械が処理するための構造にはなっていない. そこで，部分的に構造化された知識の利用や他の構造化された知識との融合により，Wikipedia の知識の構造化を実現しようというプロジェクトも開始された. DBpedia, YAGO, Freebase, Wikidataが代表的である. 特に後の二つのプロジェクトは, Wikipediaがそうであったようにク ラウドへの協力を求め, 大勢の人の手で構造化された知識を作ることも手法の一つとしている. しかしながら，このような構造化の手法には大きく二つの問題がある。一つ目は, Wikipediaの 知識の多くは自然文で書かれており，その知識を構造化できていない点である。二つ目は，ク ラウドを利用してボトムアップに知識を構築する方法では構造化の軸が個々のクラウド参加者
^{1}$ SHINRA project. http://shinra-project.info/
}

に委ねられ，機械が利用するために重要な首尾一貫性が知識のフレーム設計の段階で実現され ていないという点である。

これらの問題を解決し, Wikipediaの構造化を低コストで大規模に行おうというのが「森羅プ ロジェクト」である．鍵となるアイデアは，現在，自然言語処理を含む多くの計算機分野で流行している「評価型プロジェクト」である。「評価型プロジェクト」は，夕スクオーガナイザー が何らかのタスクを設定し，参加システムが競い合う中で技術の向上などを目指すプロジェク トである．技術向上のみならず，共通データセットの構築, 問題意識の共有, 新規研究者の学習の場の提供，技術の進歩には貢献しているものの，参加者とタスク設計が分離され，参加シ ステムによる単なる最適化問題の競争の場になっているという弊害が生じている． RbCC の基本精神は，このような弊害はあるものの，評価型プロジェクトのタスクに参加したシステムの 出力を統合し，知識構築につなげられないかというものである，参加者の目的としては，その タスクでの最高性能を出すことであっても構わないが，多くのシステムが参加すれば，最高性能のシステムが取りこぼしている出力を他のシステムが出力する可能性は高まる．つまり多く のシステムによる出力をうまく集計することにより, 最高のシステムが出力した以上の精度の 知識が構築できるのではないかと考えられる。このような考え方はアンサンブル学習と呼ばれ る技術で実現でき，実際に森羅プロジェクトの結果を用いて有効性が証明されている． RbCC の考え方は, Wikipedia 知識の構造化だけに有効なスキームではなく, 多くの人工知能や計算機工学などでも利用できる考え方だと信じている.

## 2 森羅タスク

次に，森羅プロジェクトの概要と，過去に実現したタスクと今後計画しているタスクについ て紹介する。表 1 に概要をまとめている.

Wikipediaを構造化する場合には先に述べたように知識構造フレーム,つまり，エンティティー のカテゴリーや属性の種類を一貫性のある形で定義する必要がある. Freebaseの問題の一つは, このフレームをクラウドでボトムアップに定義していることにあると考えている．例えば，組織のカテゴリーをどう設計するかを個々のクラウドワーカーに任せると，互換性のないカテゴ リーが無秩序に構築されることになり, 首尾一貫した知識の構築は不可能になる。そこで, 我々 は，トップダウンに設計した階層構造を持つカテゴリーと，カテゴリーごとに属性情報を持つ 「拡張固有表現」を利用することとした $\left(\right.$ Sekine 2008) ${ }^{2}$.この拡張固有表現には固有表現で一般的にカバーされる「人名」,「地名」「組織名」だけではなく，「イベント名」「地位職業名」，「芸術作品名」などの幅広い固有表現や，例えば，「地名」の下位カテゴリーには「山地名」，「河川名」,「海洋名」などの「地形名」や「恒星名」,「惑星名」,「星座名」などの「天体名」など詳細
^{2}$ Extended Named Entity (ENE). http://ene-project.info/
}

な固有表現が含まれている。拡張固有表現の Version 8.1. では最大 4 階層で定義された全 219 種類の拡張固有表現が定義されている。また，多くのカテゴリーにはWikipedia 項目の記載を参考にして，そのカテゴリーに属する属性が定義されている。例えば「空港名」では，「国」，「母都市」,「年間利用者客数」,「名前の謂れ」など 24 個の属性が定義されている.

実際に Wikipediaの記事を構造化するためには，まず，それぞれの記事を拡張固有表現に分類 する必要がある。この作業は, 森羅プロジェクト以前に実現した。機械学習と人手によるチェッ クを通し, （当時の）Wikipedia で被リンク数が 5 以上の 82 万記事を $98.5 \%$ の精度で分類した. この知識をべースに，例えば，「人名」に分類された記事から，人名に関する属性値を抽出した り，「空港名」に分類された記事から空港に関する属性值を抽出するのが「森羅プロジェクト」 の属性値抽出のタスクである。表 1 にある通り，森羅 2018 では 5 カテゴリー，森羅 2019 では 追加で 30 カテゴリー, 森羅 2020-JP タスクではさらに追加で 47 カテゴリーを対象に各カテゴ リーに定義された属性に対する值をWikipedia ページから抽出するタスクである.

また, Wikipediaページの分類情報だけでも, 様々な応用に対して有効な情報であることは認め られていたが，それを日本語だけではなく多言語にも展開しようと考えている。そこで， 2020 年 には SHINRA2020-ML (Multi-Lingual) というタスクを実施した。これは日本語以外の 30 言語 （Wikipedia においてユーザー数が多い順：English, Spanish, French, German, Chinese, Russian, Portuguese, Italian, Arabic, Indonesian, Turkish, Dutch, Polish, Persian, Swedish, Vietnamese, Korean, Hebrew, Romanian, Norwegian, Czech, Ukrainian, Hindi, Finnish, Hungarian, Danish, Thai, Catalan, Greek, Bulgarian）の Wikipediaを対象に拡張固有表現への分類を行うタスクで ある。このタスクでは, 分類された日本語 Wikipedia から言語間リンクを使って自動的に構築 した各言語の Wikipedia ページを学習データとしている.

表 1 森羅タスクの概要

 & 8 団体 \\

表 2 森羅 2018 の日本語属性抽出タスクの結果（F 値）

## 3 結果

過去の森羅プロジェクトの全結果を記載することは不可能なため, ここでは，森羅 2018 で行 われた 5 カテゴリーに対する属性値抽出結果とその結果を利用したアンサンブル学習の結果を 表 2 に示す。初回の森羅 2018 では人手で作成したルールに基づくシステムや BERT ゙ースの システム，質問応答システムを応用したシステムなどバラエティーに富んだ 8 システムが参加 した。表の数値は属性値抽出の $\mathrm{F}$ 值であり，太字がそれぞれのカテゴリーの最高精度である. ちなみに，森羅 2019 でも，この 5 カテゴリーを再度，評価の対象としているが，全体的に精度 が飛躍的に向上している（ただし，実験設定は少し異なっている）。表に記載したアンサンブ ル学習は，遺伝的アルゴリズムを使いデベロップメントデータの上で参加した全システムの出力の重みを最適化し，その加重投票で出力するアルゴリズムを利用した． $\mathrm{F}$ 値で最高精度のシ ステムよりも 417 ポイントもの向上が見られる。また, このアンサンブル学習において各シス テムの貢献度を測ったところ, 比較的精度の低いシステムでもポジティブな貢献をしているこ とが分かっている。この結果は，数多くのシステムを集約してより良い結果を構築するという RbCCの考え方をサポートする証拠となっている.

## 4 効果

この構造化知識が構築されれば，対話や質問応答等の自然言語処理応用システムで論理的な 説明を実現することに貢献すると考えているが，他にも以下のような効果があると考えている．
- Wikidataなどを中心としたLinked Open Data (LOD)に組み込み, 自然言語処理以外の データベース研究や知識応用研究など様々な応用を実現する.
- 現在も深層学習に Wikidata や DBpedia などの知識を導入した研究はあるが, より整理

された構造化世界知識を深層学習と組み合わせ，新しい研究基盤を作る。

・ 評価型ワークショップをテコとした知識構築という新しいパラダイムを提案し, 評価型 ワークショップの利点を見直す機会を提供する.
- ML タスクでは 30 言語を対象とすることにより, 英語偏重の言語処理研究の文化を是正 する。言語処理研究は各言語の特性や文化が密接に絡むべきものであり，世界中の研究者が自国語で，様々な固有の環境を考慮に入れた研究をすべきであると考える。その環境を作り上げていくための礎とする。
- 評価型ワークショップで作られたデータ上での最適化問題を解く研究マインドを脱却さ せ，問題設定を重視し，言語を対象とした研究を行う今後の研究文化を構築する.

## 5 今後

日本語 Wikipedia の構造化は, 森羅 2021-JP で大きなカテゴリーは大部分が終了し, 残りの少 しのカテゴリーを対象とした属性値抽出や，これまで実施したタスクの再実験を 2022 に行える ことができれば終了する予定である。しかし，いかに多くのシステムを使っても完全な知識を 作ることは難しい，誤っている部分を効率よく発見し，クラウドソーシングやゲーミフィケー ションを使うなどして精度の向上に努めたい。最低でも $95 \%$ の精度, できれば $98.5 \%$ 程度の精度を求めている。言語に関しては, Wikidataがそうであるように，言語に依存しないシンボル （例えば，“日本”を表す “Q17”）のリンクが知識の中心にあり，そこから数多くの言語の表現 に繋がっているという構造が理想的だと考えている。すでに，そのような知識として Wikidata があるため，そこにいかにつなげていくかが大きな課題である。様々な言語におけるエンティ ティーリンキング, LODの一部としてのデータ構造などの問題を解決していきたいと考えてい る.また，RbCCというスキーム自身が研究方法論の実験であり, これが成功するかどうかは後世の判断になると思う. しかし, 現状を概観すると, せっかく行われている様々な研究努力を 有効に知識構築に生かすという考え方は大きく間違っていないだ万うと自負している． RbCC というスキームが「森羅プロジェクト」だけではなく, 自然言語処理や人工知能の研究分野に おいて広く活用されていくことを心から願っている。また，単に与えられた問題の最適化技術 を競うだけではなく，大きな視野に立って自然言語処理の方向性を考えていく人材が増えるこ とを願っている.

## 謝 辞

本プロジェクトは, $\mathrm{RbCC}$ というスキームが前提としているように，多くの人に支えられて進 めている，拡張固有表現の定義を通した知識のフレームの作成や，データの整備，評価やプロ

ジェクトの運営などは理化学研究所の言語情報アクセス技術チームのメンバーらが中心となっ て行っている. 国内外の多くの研究者にプログラム委員としてご参加いただき，プロジェクト の認知を高めていただいている。それ以外にもこのプロジェクトの推進のために様々な方に協力いただいている。 心から感謝したい。最後に，このプロジェクトのタスクのためにシステム を開発し，データの共有を行っていたたいている多くの参加者にはただたた感謝の言葉を述べ るしかない，今後も，参加者のためにもなるタスク設計やプロジェクト運営を，お互いに協力 しながら考え，進めていきたいと考えている。

## 参考文献

Sekine, S., Kobayashi, A., Nakayama, K., (2019). "SHINRA: Structuring Wikipedia by Collaborative Contribution". In the Proceedings of the 1st Conference on the Automatic Knowledge Base Construction AKBC-2019.

Sekine, S. (2008). "Extended Named Entity Ontology with Attribute Information". In the Proceedings of the 6th International Conference on Language Resource and Evaluation (LREC08).

関根聡, 小林暁雄, 安藤まや, 馬場雪乃, 乾健太郎 (2018). “Wikipedia 構造化データ「森羅」構築 に向けて”. 言語処理学会第 24 回年次大会, pp. 765-768.

関根聡，小林暁雄，安藤まや (2019). "Wikipedia 構造化プロジェクト「森羅 2018」". 言語処理学会第 25 回年次大会, pp. 69-72.

小林暁雄, 中山功太, 安藤まや, 関根聡 (2020). “Wikipedia 構造化プロジェクト「森羅 2019-JP」”.言語処理学会第 26 回年次大会, pp. 1029-1032.

## 略歴

関根 聡：理化学研究所革新知能統合研究センター・言語情報アクセス技術 チームチームリーダー, 合同会社ランゲージ・クラフト主任研究員. 1992 年英国マンチェスター大学計算言語学部修士号. 1998 年ニューヨーク大学コン ピューターサイエンス学部博士号. 松下電業産業株式会社 (現パナソニック), ソニー CSL，マイクロソフト研究所，楽天技術研究所ニューヨークなどでの 研究職を歴任．専門は自然言語処理．特に情報抽出，固有表現抽出，質問応答, 情報アクセスの研究に従事. 情報処理学会自然言語処理研究会主査, そ の他役職多数. 複数の企業の技術顧問なども兼任.


# 学会記事
## 金融・経済ドメインを対象とした言語処理

坂地 泰紀 $\dagger \cdot$ 和泉 潔 $\dagger \cdot$ 酒井 浩之 $\dagger$

## 1 はじめに

近年，機械学習手法や言語処理技術が高まってきたことを背景に，これらの技術を様々なド メインに適用しようとする流れが加速している，そのような中，金融・経済ドメインを対象に した研究が数多く発表されるようになり，決算短信，有価証券報告書，株主招集通知，経済新聞記事といった金融・経済ドメインの文書（金融テキスト）を自然言語処理により自動的に分析し，経済分析や投資先の選定に利用しょうとするなど，各証券会社や銀行もこれらの技術を 取り入れ始めた.

金融の業務において，これらの金融テキストの分析は，従来は人手により行われてきた。し かし, 金融テキストの量は膨大であり, それらの分析には多大は労力と専門的な知識を要する.例えば，決算短信は決算期にもなると 1 日に数百と公開される。そして，決算内容を分析する ためにそれらを素早く読み，把握する必要があるが，それを自然言語処理を用いて支援するこ とができれば，業務の効率化に寄与することができる。しかしながら，また解決すべき課題が 多く残されていることから，さらなる技術開発が望まれているのが現状である。これらの背景 を鑑みて，我々は， 2020 年 3 月に開催された言語処理学会第 26 回年次大会 (NLP2020) におい て，テーマセッションの一つとして「金融・経済ドメインのための言語処理」を提案した。本 セッションでは，想定を超えて 14 件もの発表があり，金融・経済ドメインを対象にした言語処理技術への注目が加速しているのを確認した.

金融・経済を対象とした言語処理では，様々なタスクが取り扱われている。決算短信や有価証券報告書，アナリストレポートの要約や，これらの文書を用いた株価・業績予測，さらに情報抽出や知識獲得，経済ニュースの機械翻訳などが挙げられる。これらの技術のいくつかは既 にサービス化され，公開されている。それに合わせて，国内外の研究発表も活発化してきてお り, 本稿では, 金融・経済を対象にした言語処理の活性化について, 日本国内での動向と国際的な動向との両方から報告させて頂く.

## 2 国内での動向

## 2.1 金融情報学研究会を例にした国内動向

金融・経済を対象にした言語処理の国内での研究は, 主に人工知能学会において発表されて いる。人工知能の分野において，金融・経済に対する言語処理は金融テキストマイニングと呼 ばれており, 金融分野と情報分野の融合を目指した研究会である金融情報学研究会 (SIG-FIN) ${ }^{1}$ での発表が多く,こちらの動向を紹介したい.

金融情報学研究会は, 人工知能学会第 2 種研究会「ファイナンスにおける人工知能応用研究会 (SIG-FIN)」として, 2008 年 9 月に第 1 回が開催された. その後, 2013 年 10 月に行われた 第 11 回研究会より, 金融情報学研究会に名前を変え, 今に至っている. 当初は, 大学や研究機関からの発表が多く，実際に実務で利用するような証券会社や銀行に所属している実務者から 発表は少なかった. しかしながら, 近年, 実務者からの発表, もしくは, 大学との共同研究の 成果を共著者に入る形で発表されることが増えてきた。最近の 5 年間での金融情報学研究会に おける発表数と，第一著者が企業所属者である発表数，共著者に企業所属者が入っている発表数を推移を図 1 に示す.

図 1 において, 金融情報学研究会は年 2 回の研究会を開催していることから, 各年において 2 回ずつカウントしている ${ }^{2}$. 図 1 より, 近年は発表数も増え, また, 企業所属者が共著や筆頭 に入っている発表の割合が増えてきている。この図から, 金融系企業からの, この分野に対す

図 1 金融情報学研究会における発表数の推移

第13回 第14回 第15回 第16回 第17回 第18回 第19回 第20回 第21回 第22回 第24回

## —発表件数 — 一 言語処理に関する研究発表数

図 2 金融情報学研究会における言語処理に関する研究の発表数

る期待の高まりが分かる，また，金融・経済における言語処理に関する発表数の推移を図 2 に 示す.

図 2 より，徐々にであるが，言語処理に関する発表件数も増えてきている.

## 2.2 国内での研究例

国内で発表された研究として, 銘柄ごとの金融極性辞書を自動構築する研究，アナリストレ ポートを用いた株式リターンの予測，銀行が保有するテキストを用いた地域景況インデックス の生成, 決算短信からの業績要因や原因・結果表現の抽出，株主招集通知に打ける議案の自動分類などが挙げられる.

## 3 国際的な動向

金融・経済を対象にした言語処理は，言語処理系，データマイニング系，人工知能系のそれぞ れの国際会議で発表されてきた。また，金融・経済を対象にした工学という幅広い対象を持つ 国際会議として IEEE Conference on Computational Intelligence for Financial Engineering and Economics (IEEE CIFEr)があり，ここで発表されることが多い.

しかしながら，言語処理系や人工知能系のワークショップに目を向けると，国際的な動きは 活発化してきており，COLING，AAAI, IJCAIなどの自然言語処理や人工知能の関連の様々な 国際会議で関連するワークショップが開催されてきている。ここ $2 \sim 3$ 年の間に，言語処理や人工知能技術を用いた金融応用に関するワークショップは, 我々が把握しているだけでも 4 件, 新

たに立ち上げられている。以下でそれらを紹介したい。

## Economics and Natural Language Processing (ECONLP) ${ ^{3}$}

ECONLP は 2018 年に開催された ACL において, 初めて立ち上げられたワークショップであ り，経済分析を対象にした言語処理についての発表がなされている。2018 年には 9 件の発表が あり, 翌年の 2019 年は EMNLP-IJCNLP でのワークショップであり, 8 件の発表があった.

## Financial Technology and Natural Language Processing (FinNLP) ${ ^{4}$}

FinNLP は 2019 年に開催された IJCAI において, 初めて立ち上げられたワークショップであ り，金融・経済分析を対象にした言語処理についての発表がなされている．FinNLPは同時に Shared Task も開催されており，2019年はPDF に含まれるテキストの文境界を発見するタスク であった. 2019 年には 14 件の発表があり，2020 年も IJCAI でのワークショップとして開催予定で, 17 件の研究がアクセプトされている。（FinNLP2020 は新型コロナの影響があり，開催が 延期されている.)

## Knowledge Discovery from Unstructured Data in Financial Services (KDF) ${ ^{5}$}

KDF は 2020 年に開催された AAAIにおいて, 初めて立ち上げられたワークショップであり,金融・経済システムにおける非構造化データ（テキストや画像など）の分析を対象にした研究発表がなされている。2020 年には 14 件の発表があり，14 件のうち 6 件は，テキストを対象に したものであった.

## Financial Narrative Processing Workshop (FNP) ${ ^{6}$}

FNP は 2018 年に開催された LREC において, 初めて立ち上げられたワークショップであ り，金融・経済分析を対象にした言語処理についての発表がなされている。2020 年は Financial Narrative Processing and MultiLing Financial Summarisation (FNP-FNS 2020)として, COLING で開催予定となっている。2018 年は 9 件の発表があり， 2019 年は 11 件の発表があった. こち らのワークショップも Shared Taskを開催しており, 2020 年は 3 件（要約, PDF の構造検知,因果抽出）のタスクが設定された。
^{6} \mathrm{http} / / /$ wp.lancs.ac.uk/cfie/
}

## 3.1 国際的な研究例

国外で発表された研究としては, 経済レポートからの固有表現抽出や経済テキストからの因果チェーン構築，Twitter を用いたダウ平均株価の予測などが挙げられる。

## 4 まとめ

本稿では，国内だけではなく，国際的な金融・経済を対象にした言語処理の動向を紹介した。国内では，金融テキストマイニングの研究発表が盛んに発表されている金融情報学研究が盛り 上がってきていることを示した. 特に, 企業が関係する研究発表数が増えてきていることから,現実社会でこれらの技術が導入され始めていることを示唆している. 国際的な動きとしては，金融・経済を対象にした言語処理を扱うワークショップが，いくつも新規に立ち上げられ，大 きな会議で開催されるようになってきている. さらに，いくつもワークショップが存在するに も関わらず，発表件数が多いことから，現在の盛り上がりは続くと考えられる.

## 略歴

坂地 泰紀：2012 年豊橋技術科学大学大学院工学研究科博士後期課程電子 ・情報工学専攻修了. 博士 (工学)。2012 年株式会社ドワンゴ入社. 2013 年成蹊大学理工学部情報科学科助教. 2017 年東京大学大学院工学系研究科システム 創成学専攻助教を経て, 2018 年より同特任講師.

和泉潔：1998 年東京大学大学院総合文化研究科広域学専攻博士課程修了.博士 (学術). 電子技術総合研究所 (現 産業技術総合研究所) 勤務を経て, 2010 年より東京大学大学院工学系研究科システム創成学専攻准教授, 2015 年より 同教授。

酒井 浩之：2005 年豊橋技術科学大学大学院工学研究科博士後期課程電子・情報工学専攻修了. 博士 (工学)。2005 年豊橋技術科学大学知識情報工学系助手. 2007 年より 同助教. 2010 年からは同大学情報・知能工学系助教. 2012 年 からは成蹊大学理工学部情報科学科講師. 2014 年より同准教授.


# 学会記事
## テーマセッション解説：「言語教育と言語処理の接点」

投野由紀夫 $\dagger$ ・奥村学 $\dagger$

## 1 はじめに

テーマセッション「言語教育と言語処理の接点」は, 2015 年の第 21 回年次大会から継続的 に開催されており，今年の大会が 6 回目となる。過去 6 回の発表数は, 2015 年 8 本, 2016 年 10 件, 2017 年 14 件, 2018 年 10 件, 2019 年 9 件, 2020 年 5 件となっている. これ以外に例年,一般セッションで「教育応用」などのセッションが開催されており, 2020 年は本テーマセッショ ンに関連する発表が他に 9 件見られた。

この背景には, 応用言語学分野で, コーパス言語学 (特に学習者コーパス研究), 言語テスト 理論，コンピューター支援の語学教育 (CALL) などがそれぞれ独自発展を遂げる中で徐々に融合的な分野が誕生し，それが応用言語学の枠内に留まらず自然言語処理の研究者との接点を模索し始めたという経緯がある。また世界的に外国語教育に影響を与えつつあるヨーロッパ言語共通参照枠 (CEFR) の登場も大きく関連している。テーマセッションの発表論文はそれらの動向を反映している.

以下では, 応用言語学分野から学習者コーパス ( 2 節), 言語テストとコーパス (3 節), CEFR の枠組みを利用した言語教育資源構築（4 節）を投野が，日本語学習支援（5 節），言語処理の 教育応用（6 節）を奥村が解説する.

## 2 学習者言語のコーパス分析

コーパス言語学は 1960 年代の Brown Corpus の構築がその出発点とされるが, 1990 年代か ら学習者の産出データをコーパス化する分野が学習者コーパス研究 (learner corpus research) として発達し，第 2 言語習得研究（Second Language Acquisition：以下 SLA）の理論的基盤を 得て，学習者コーパスに基づくエラー分析，習得段階別学習データの特徴分析による中間言語 (interlanguage) 記述を行うなど，コーパスと SLA 研究の融合的な試みがあった (投野，金子，杉浦, 和泉 2013). 学習者コーパスの分析では, 正用法と誤用の両面からその使用確率や使用分布 が学習レベルとどのような関係があるか，という習得上の特徴を抽出する分析が 1 つの大きな

研究の関心になってきた．例えば，金子 (2015) では学習レベル別に名詞句の発達を分析，能登原 (2015) ではレベル別学習者コーパスの n-gram 分析を行い, 語彙・文法の使用範囲や複雑性 を分析している.このような記述的な研究が 2010 年頃にかけてかなり大量に行われ，母語の異 なる学習者英語の研究などが広く行われた (Granger, Guilquin, and Meunier 2015).

## 3 言語テストとコーパス

言語教育と言語処理の接点で顕著な進展を見せているもう 1 つの分野が，言語テストである.過去の試験データなどを活用した言語テストの自動生成，自動採点などの可能性を模索し始め た言語テスト開発の団体（Educational Testing Service など）が，ACL, COLING などで特に技術的に難しい誤り判定の分野で workshop や shared task を始める。また大量の学習者データが インターネットの学習サイト等で利用可能になると日本でも誤りの自動検出・訂正などの研究 が盛んになる。本テーマセッションでも，誤りの夕グの自動付与 (林，高村，奥村，投野 2015),前置詞誤り訂正 (三田，水本，松本 2016)，誤り解説生成 (永田 2019) などの発表がされた。ま た国内でも大学入試共通テストにおける記述式問題の導入可能性とその自動採点に関する研究 が近年なされ，2019 年度に本テーマセッションとは別に単独のテーマセッションがもたれた。本セッションでもスピーキングテスト自動採点 (今井, 赤木, 石塚, 伊東, 菊地, 篠崎, 中園,中村, 西村, 本田, 家根橋, 山田 2017), 小論文採点 (小畑, 竹内, 大野, 泉仁, 田口, 稲田,飯塚，阿保，上田 2019) などの発表があった.

## 4 CEFR の枠組を利用した外国語教育資源の構築

これらと並行してこの 10 年ほどで大きく変化したのが，外国語教育における汎用枠「ヨー ロッパ言語共通参照枠 $(\mathrm{CEFR}) 」(2001,2018)$ の利用拡大である. CEFR レベル $(\mathrm{A} 1 \sim \mathrm{C} 2)$ に 該当する個別言語の言語材料（語彙・文法など）を整備する際に，特に英語に関しては CEFR 準拠の言語資料（例：CEFR 準拠テスト受験者の作文データや CEFR 準拠教科書コーパスな ど）をコーパス分析し，CEFR レベル判別に寄与する言語特徴を特定する手法が L2 学習者プ ロファイリング研究として行われるようになり，日本でも CEFRを日本の英語教育に適用した CEFR-J(投野 2013) において体系的な語彙・文法・テキストのプロファイリングが行われた.本テーマセッションでもこの CEFR-J 関連の発表論文が毎年数本, 累計で 10 数件発表されてい る (例: 石井, 投野 (2017); 水嶋, 荒瀬, 内田 (2016); 林, 石井, 高村, 奥村, 投野 (2016) など).

## 5 日本語学習支援

人間の言語技能は一般に，読む，書く，聞く，話すの 4 つに分類されることが多い，そのた め, 言語教育や言語学習支援においても，これら 4 つの技能のうち，どれか 1 つを対象とする のが一般的である。このうち，音声が介在しないという点では，読む，書くに対応する，読解支援, 作文支援が言語処理の応用対象としては比較的ポピュラーではないかと思われる.

読解支援では，教材となるテキストコーパス（正用コーパス）が，作文支援では，学習者の 作文コーパス（誤用コーパス）と，例文や定型表現を提示するために必要な正用コーパスがそ れぞれ通常は活用される。

そのため, 日本語学習支援の研究では, 読解支援, 作文支援のためのシステム設計や, シス テムで利用される各種コーパスの構築方法, 解析方法（たとえば，定型表現を抽出する）など の研究が見られる.

## 6 言語処理の教育応用

言語処理分野で現在教育応用の領域で行われている夕スクは以下が代表的なものである.

(1) 文法誤り訂正 (grammatical error correction)

(2) 自動採点 (automatic scoring)

(3) テキスト簡易化 (text simplification)

文法誤り訂正は，以下の例のように，学習者の作文中の文法的誤りを検出，訂正するタスク である.

He is fastest runner in the team.

$\rightarrow$ He is the fastest runner in the team.

通常は，誤りを含む可能性のある一文を入力して，誤りを訂正した正しい文を出力する，翻訳問題として解くことが多く, 現在はニューラル機械翻訳モデル, 過去には統計的機械翻訳モ デルを用いることが多かった。

自動採点は，小論文や英作文など比較的長い学習者の文章を採点するケースから，比較的短 い記述式答案を採点するケースまで様々存在するが，テキストに点数をつけるというタスクで ある。テキストに対する評点が連続値に近い場合には回帰問題として，テキストに対して荒い 評価（A, B, C など）しかついていない場合には分類問題として解かれることが多い.

テキスト簡易化は，与えられたテキストをより理解しやすいテキストへと変換するタスクで ある．教育者の教材準備を支援するなどの目的で，学習者に示す英文の難易度を適切なものに 変換するためなどに利用される。たとえば, 以下の例では, 'acquiesced’という単語が非母語話者には難しい単語と判断されるので，より簡単で理解可能な 'accepted’ という単語に置き換え

られている.

The workers acquiesced to their boss's request.

$\rightarrow$ The workers accepted their boss's request.

文法誤り訂正では，作文中の誤り個所を検出，訂正しかしてくれないが，永田 (2019) が提案 する文法誤り解説文生成では, 以下の例のように，与えられたテキスト中の誤り個所について そのヒントや説明を生成してくれる。 すなわち, 文法誤り解説文生成は，与えられたテキスト に対して，書く技能に関するヒントや説明を生成する新しいタスクである。生成された解説文 は，どこが悪いのか，どのように改善したらよいのかを学習者が理解する助けになり，書く能力の向上につながると期待される.

I agreed it.

$\rightarrow$ 動詞 'agree’は自動詞ですので，目的語の前に前置詞が必要です。辞書で 'agree’を調べ てみましょう。

## 7 おわりに

言語教育と言語処理の接点は, 必ずしも比較的最近生まれたものではなく, それなりの歴史 があるものではあるが (奥村 2001), 近年言語処理技術の水準が向上したことにより，その協働 は活発化している。良い書籍も出版されているので, 参考にしていたたききたい (永田 2017).

## 参考文献

Granger, S., Guilquin, G., and Meunier, F. (2015). The Cambridge Handbook of Learner Corpus

Research. Cambridge University Press.

林正頼, 石井康毅, 高村大也, 奥村学, 投野由紀夫 (2016). 英語学習者の英作文から CEFR レべ

ル別基準特性の特定. 言語処理学会第 22 回年次大会発表論文集 (2016 年 3 月), pp. 781-784.林正頼, 高村大也, 奥村学, 投野由紀夫 (2015). 英語学習者の作文における誤りタグの自動付

与. 言語処理学会第 21 回年次大会発表論文集 (2015 年 3 月), pp. 888-891.今井新悟, 赤木彌生, 石塚賢吉, 伊東祐郎, 菊地賢一, 篠崎隆宏, 中園博美, 中村洋一, 西村

隆一, 本田明子, 家根橋伸子, 山田武志 (2017). 自動採点スピーキングテスト SJ-CAT の

能力推定の検証. 言語処理学会第 23 回年次大会発表論文集 (2017 年 3 月), pp. 835-838.

石井康毅, 投野由紀夫 (2017). CEFR-J Grammar Profile のための文法項目頻度調査. 言語処理

学会第 22 回年次大会発表論文集 (2016 年 3 月), pp. 777-780.

金子恵美子 (2015). 英語学習者コーパスにおける名詞句発達分析. 言語処理学会第 21 回年次大

会発表論文集 (2015 年 3 月), pp. 792-795.
三田雅人, 水本智也, 松本裕治 (2016). 文脈を考慮した前置詞誤り訂正に向けた前置詞とその潜在意味関係の同時解析. 言語処理学会第 22 回年次大会発表論文集 (2016 年 3 月), pp. 677-680.水嶋海都, 荒瀬由紀, 内田諭 (2016). CEFR 準拠教科書における語彙・構文の特徴分析とレべ ル自動分類. 言語処理学会第 22 回年次大会発表論文集 (2016 年 3 月), pp. 789-792.永田亮 (2017). 語学学習支援のための言語処理（自然言語処理シリーズ）.コロナ社.永田亮 (2019). 英語ライティング学習支援のための前置詞誤り解説生成. 言語処理学会第 22 回年次大会発表論文集 (2019 年 3 月), pp. 831-834.

能登原祥之 (2015). N-gram 分析を通した CEFR レベル基準特性の特定：動詞共起フレームに

焦点をあてて. 言語処理学会第 21 回年次大会発表論文集 (2015 年 3 月), pp. 876-879.

小畑友也, 竹内孔一, 大野雅幸, 泉仁宏太, 田口雅弘, 稲田佳彦, 飯塚誠也, 阿保達彦, 上田

均志 (2019). 小論文採点支援システムにおける文字誤り検出モジュールの構築. 言語処理学会第 23 回年次大会発表論文集 (2019 年 3 月), pp. 807-810.

奥村学 (2001). 自然言語処理と語学教育. 専門日本語教育研究, 3, pp. 9-13.

投野由紀夫 (2013). CEFR-J ガイドブック. 大修館書店.

投野由紀夫，金子朝子，杉浦正利，和泉絵美 (2013). 英語学習者コーパス活用ハンドブック. 大修館書店.

## 略厤

投野由紀夫：東京外国語大学大学院教授，ワールドランゲージセンター長. 元 アジア辞書学会・英語コーパス学会会長.

奥村 学: 東京工業大学教授. 言語処理学会会長.


# 学会記事
## ロボティクス・グラウンディングと自然言語処理

持橋 大地 ${ }^{\dagger}$

## 1 はじめに

言語処理学会 2020 年年次大会はオンライン開催となりましたが, テーマセッションとして,筆者を中心に 23 人のメンバーで『ロボティクス・グラウンディングと自然言語処理』を企画し ました．実際にはオンライン開催のため多くの方へのアピールが望めないことから，研究発表以外の講演はほぼキャンセルとなりましたが，来年以降も同様のテーマセッションを企画予定 です。そこで本稿では，(1)このテーマセッションの成り立ち，(2) 自然言語処理においてロボ ティクスやグラウンディングがなぜ重要なのか, (3) 言語処理とロボティクス研究の潮流, (4)今後何が望まれるか，について解説します。ロボット先進国の日本において，テキストだけ，あ るいは画像処理などとの単純な結合を超えたこのテーマの重要性に興味を持っていただければ と考えています.

## 2 自然言語処理とロボティクスの関係

個人的な話になりますが，筆者がロボティクス研究と関わるようになったのは，2013 年頃で した，それまでATR 音声研で周囲にロボットを扱っている研究者はいたものの，自分で直接研究に携わることはありませんでしたが, この時お茶の水女子大学の小林先生と産総研の麻生氏が研究室を訪ねて来られ，教師なし形態素解析を拡張してロボットの「動作」を解析したい のだがどうすればよいか，というご相談だったと記憶しています。筆者はいったん記号に直す のではなく，すべてをガウス過程で書いて隠れセミマルコフモデルにすれば良いのではないか， というアイデアをその場でお話しし，それは後年，トップ国際会議 IROS に我々の研究として 発表されました (Nagano, Nakamura, Nagai, Mochihashi, Kobayashi, and Kaneko 2018; Nagano， Nakamura, Nagai, Mochihashi, Kobayashi, and Takano 2019). そこから, 電通大の長井・中村研究室も含めた共同研究が始まりました，現在は，筆者が研究代表者の科研費 (B)「運動の統計的理解と動力学に基づく適応的確率ロボティクス」で引き続き研究を行っています.

こうした中で，ロボティクスにおいては自然言語処理の技術は，あまり深く浸透していない ことがわかってきました. 例えば，ロボットに対する発話は多くの場合, 構文解析や係り受け

図 1 動作の情報と, mMLDA で学習された動作概念の確率分布。概念は言葉や物体と共有されており, マルチモーダル情報から自動的に学習されます.

解析されているわけではなく，そもそも与える入力文も「棚の上にあるペットボトルを取って，机に置いて」のように，自然言語処理のコーパスに現れる文に比べて複雑度が非常に限られて います。一方で，文は多くの場合口語体で，音声認識を通じて得られるためにノイズも多く，書き言葉用に訓練された解析器を用いても充分な効果は期待できません，言語の複雑度が現状 では限られている一方で, 悲虽に只バ页上に動作しなけ杣ならないということが，現実のロ ボットで言語を扱う際の特徴といえます。

こうした理由で, 機械的・物理的な研究が主流を占めるロボティクス界で言語や知的情報処理 （䓡熊口ボテイクス）に興味を持つ研究者（特に日本のグループ）は, ロボットが, 赤ちゃんが言葉を覚えるように自律的に言葉や概念を獲得する研究を発展させてきました．先の相談も，この
流れに沿ったものです。この方法ではモデルはすべてデータから自動的に学習されるため, ロバ スト性に対する問題はありません．電通大（現在は阪大）の長井研究室では，トピックモデルと して知られる LDA（潜在ディリクレ配分法）をもとに，視覚や触覚といった感覚情報に拡張する ことで, 物体のもつ「概念」を自動的に学習するマルチモーダル LDA (MLDA)(Nakamura, Araki, Nagai, and Iwahashi 2011)1および mMLDA(Fadlil, Ikeda, Abe, Nakamura, and Nagai 2013)を 開発しました（図 1）。図 1 では，動作の概念（トピック）は，LDA でモデル化される物体や言葉の概念と結びつけられて学習されます。

また，NICT の杉浦・岩橋ら（現在はそれぞれ慶応大，岡山県立大）は，図 2 のようにロボッ トが人間とインタラクションを行う中で，音素レベルの不完全な音声認識結果から「ぼおる」「つくえ」といった物体の名前や「わたして」といった動作を表す言葉を対話の中で学習できる ことを示しました2(Iwahashi 2006; 杉浦，岩橋，柏岡，中村 2010)．杉浦らはその後，ニューラ ルネットを用いて曖昧な発話をマルチモーダル情報から頑健かつ高精度に理解する研究を様々 に行っており，また 2019 年のロボット学会企画セッションにおいて，招待講演「ロボティクス における言語の利活用」(杉浦 2019) を行っています.

$
\begin{aligned}
& \text { [Situation: Object } 2 \text { was manipulated most recently] } \\
& \text { U: ハコエルモ ちかづけて. / Move-closer box Elmo. } \\
& \text { R: ミドリハコをちかづけて? / Move-closer green box? } \\
& \text { U: いいえ. / No. } \\
& \text { R: アオイハコをちかづけて? / Move-closer blue box? } \\
& \text { U: はい. / Yes. } \\
& \text { R: (The robot moves Object } 3 \text { closer to Object 1.) }
\end{aligned}
$

図 2 ロボットとの対話実験.LCore (Iwahashi 2006) に基づく共有信念の確率をもとに，発話理解の確信度に応じて応答が生成されています。
^{1}$ https://github.com/naka-lab/MLDA で実装が公開されています.

2 言語自体をこうして創発的に考える研究は，NLP2019 の橋本敬氏によるチュートリアル「言語の創発構成論〜言語進化の計算機実験・実験室実験の紹介」にあるように，複雑系の分野で歴史があります。情報理論に基づいてよ り理論的に扱う研究としては, Nowak ら (Plotkin and Nowak 2000) の一連の研究が有名です.
}

しかし, これらの研究は言語のモデルとしては単純なマルコフモデルや HMM, LSTM といっ たモデルが使われており, 自然言語処理の成果を充分に利用したものではありませんでした. これは, 先に述べたようにほとんどの自然言語処理のモデルが教師あり学習を基にしており，ロ ボティクスでうまく用いることができなかったことにも依っています.

グラウンディングの必要性 一方で, 自然言語処理の側では, ニューラルネットにより画像の 情報を容易に扱うことができ3 ${ }^{3}$ End-to-End の学習が可能になったことで, 言葉を画像や株価 のような連続値と結びつける研究が可能になりました。単語べクトルも同時に用いることで,従来は離散的な記号であった言葉が視覚のような連続量と結びつき得ること，すなわち言葉の グラウンデイングが完全ではないにせよ, 可能になりました. そこで 2019 年の言語処理学会年次大会では, 『実世界にグラウンドされた言語処理』テーマセッションが企画され, 10 本の論文が集まりました。

これらの二者はロボティクス側と言語処理側という違いがあるだけで，同じものを目指して いることから，二者を統合したのが今年の『ロボティクス・グラウンディングと自然言語処理』 です。筆者はこれより前, 谷口（立命館大）をはじめとするロボティクスの研究者・言語学お よび自然言語処理の研究者と “LangRobo 研究会”4を立ち上げ, どのような言語処理が必要な のか, 現状のロボティクスに何が欠けているのかについて重ねて議論してきました. 議論の結果は，NII 湘南会議を経て，Advanced Roboticsにおけるサーベイ論文 (Taniguchi, Mochihashi, Nagai, Uchida, Inoue, Kobayashi, Nakamura, Hagiwara, Iwahashi, and Inamura 2019)としてま とめられています.今回の言語処理学会でのセッションは, これを言語処理コミュニティに問 いかけて分野の交流を図る試みでした。

## 3 ロボティクスとグラウンディング研究の潮流

ロボティクスとグラウンディングは，世界的に見ても注目を集めている領域です。たとえば，最も新しい ACL 2020 と EMNLP 2020 では, エリアとして "Language Grounding to Vision, Robotics and Beyond”というズバリの領域が存在して論文が採択されています. 自然言語処理 における最初の集まりは，ACL 2017 における「Robo-NLP 2017」ワークショップ5 だったと思わ れますが,これはNAACL-HLT 2019 において空間把握 (spatial language understanding, SpLU) と合体して，「SpLU-RoboNLP 2019」6として引き継がれています.ワークショップの論文はす
^{5}$ https://robo-nlp.github.io/2017_index.html

6 https://splu-robonlp.github.io/
}

べて ACL Anthology7で公開されていますので，ご興味のある方は確認されると良いでしょう.

ロボティクス側では，マドリードで開催されたロボティクスのトップ国際会議である IROS 2018 において, 日本からは谷口（立命館大), 堀井（電通大), 長井 (阪大), 稲邑 (NII) らを中心に “Workshop on Language Grounding and Robotics” が企画され，筆者も招待講演を行いま した ${ }^{8}$. ここでは 9 本の研究発表があり，テキスト中心の自然言語処理のものとはまた異なった 内容になっています.こちらも，論文はワークショップのサイトで読むことができます.

## 4 今後望まれる研究

ロボティクスおよび自然言語処理, 言語学の研究者と上記のサーベイ論文をまとめる中で, こ れからのロボティクスに必要な課題も見えてきました。現在のロボティクスにおける言語理解 では，ロボットの動作に直結する「〜を片付けて」「〜を取って」のような単純な教示文がほと んどを占めています. 最初に述べたように, ここには構文解析や照応解析, 意味解析 (semantic parsing) はほとんど含まれていません 9 . また副詞や形容詞の理解, メタファー, 語用論といっ た言語的要素も落ちているため,「ちょっと妹の様子を見てきてくれないかな?」のような発話の 意図を理解して適切な行動と応答を行うことは，現在はほぼ不可能です。画像処理とのグラウ ンディングの分野では, 複雑な状況の理解の試みが進んでいますが, 静的な画像からの情報で, かつ認識側からのアクションが起こせなければ，理解できる範囲にも限界が生じると考えられ ます.インタラクションの中で動的に言語を理解し, 行動するロボティクスとの融合は, これ からますます望まれると考えられます.

## 謝 辞

これまで議論いただいた共同研究者の皆様，および LangRobo 研究会の皆様に感謝いたしま す. 本テーマセッションの提案者は次の通りです（敬称略，所属は大会時）。持橋大地（統数研), 谷口忠大 (立命館大), 中野幹生 (HRI), 杉浦孔明 (NICT), 高村大也 (産総研), 亀田克宙（国立歴史民俗博物館），荒牧英治 (NAIST)，Eric Nichols (HRI)，中山英樹（東大），小林一郎（お茶の水女子大）, 乾健太郎（東北大）, 亀甲博貴（京大）, 宮尾祐介（東大), 岩橋直人（岡山県立大), 井之上直也 (東北大), 内田諭 (九大), 森信介 (京大), 長井隆行 (阪大), 稲邑哲也 $(\mathrm{NII})$, 坪井祐太 $(\mathrm{PFN})$, 海野裕也 $(\mathrm{PFN})$, 中村知昭（電通大), 萩原良信（立命館大).
: / /$ iros2018.emergent-symbol.systems

9 ごく少数ですが, 教示文を CCG で解析して論理式に変換する研究 (Thomason+, IJCAI 2015) なども存在してい ます.
}

## 参考文献

Fadlil, M., Ikeda, K., Abe, K., Nakamura, T., and Nagai, T. (2013). "Integrated Concept of Objects and Human Motions Based on Multi-layered Multimodal LDA." In IEEE/RSJ International Conference on Intelligent Robots and Systems, pp. 2256-2263.

Iwahashi, N. (2006). "Robots That Learn Language: A Developmental Approach to Situated

Human-Robot Conversations." In International Workshop on Emergence and Evolution of Linguistic Communication, pp. 143-167.

Nagano, M., Nakamura, T., Nagai, T., Mochihashi, D., Kobayashi, I., and Kaneko, M. (2018). "Sequence Pattern Extraction by Segmenting Time Series Data Using GP-HSMM with Hierarchical Dirichlet Process." In IROS 2018, pp. 4067-4074.

Nagano, M., Nakamura, T., Nagai, T., Mochihashi, D., Kobayashi, I., and Takano, W. (2019). "High-dimensional Motion Segmentation by Variational Autoencoder and Gaussian Processes." In IROS 2019, pp. 105-111.

Nakamura, T., Araki, T., Nagai, T., and Iwahashi, N. (2011). "Grounding of Word Meanings in LDA-Based Multimodal Concepts." Advanced Robotics, 25, pp. 2189-2206.

Plotkin, J. B. and Nowak, M. A. (2000). "Language Evolution and Information Theory." Journal of Theoretical Biology, 205, pp. 147-159.

Taniguchi, T., Mochihashi, D., Nagai, T., Uchida, S., Inoue, N., Kobayashi, I., Nakamura, T., Hagiwara, Y., Iwahashi, N., and Inamura, T. (2019). "Survey on Frontiers on Language and Robotics." Advanced Robotics, 33 (15-16), pp. 700-730.

杉浦孔明 (2019). ロボティクスにおける言語の利活用. 第 37 回日本ロボット学会学術講演会 OS 「確率ロボティクスとデータ工学ロボティクス」招待講演.

杉浦孔明，岩橋直人，柏岡秀紀，中村哲 (2010). 言語獲得ロボットによる発話理解確率の推定 に基づく物体操作対話. 日本ロボット学会誌, 28 (8), pp. 978-988.

## 略歴

持橋大地：1998 年東京大学教養学部基礎科学科第二卒． 2005 年奈良先端科学技術大学院大学情報科学研究科自然言語処理学講座博士後期課程修了. 博士 (理学)．ATR 音声言語コミュニケーション研究所研究員，NTTコミュニケー ション科学基礎研究所リサーチアソシエイト／リサーチスペシャリストを経 て，2011年より現職. 自然言語処理および統計的機械学習に興味を持つ.


# 学会記事
## 化学分野への言語処理の応用

岩倉 友哉 $\dagger \cdot$ 吉川 和 $\dagger$

## 1 はじめに

新材料や新薬の開発, 材料を用いた製品開発には化学物質に関する知識が必要不可欠であり,論文や特許で日々報告される化学物質間の相互関係や化学物質の物性值といった情報を構造化 し蓄積することが行われている。しかしながら， 2015 年の時点で 2 分 30 秒に 1 件のペースで 新たな物質が CAS (Chemical Abstracts Service) に追加されているという報告が示すように ${ }^{1}$,刻々と増え続ける化学物質に対して，専門的な知識を必要とし，現状人手に大きく頼る作業で ある化学物質の知識構造化作業が課題となっている.

この問題に対し, 新規の化学物質の情報の多くは特許や論文のテキストで報告されることか ら，自然言語処理技術の適用が注目を集めており，研究も盛んになってきている．日本国内であ れば, 言語処理学会第 25 回, 26 回年次大会にて,「化学分野への言語処理の応用」というテーマ セッションが開催され，それぞれ，9件，12 件の発表が集まった。国外においても，CHEMDNER (Krallinger, Leitner, Rabal, Vazquez, Oyarzabal, and Valencia 2015) や CHEMPROT (Krallinger, Rabal, Akhondi, et al. 2017), ChEMU (He, Nguyen, Akhondi, Druckenbrodt, Thorne, Hoessel, Afzal, Zhai, Fang, Yoshikawa, Albahem, Cavedon, Cohn, Baldwin, and Verspoor 2020) といった 化学文献からの情報抽出タスクのデータセットが作成され，研究が進められている.

化学の知識構築技術は, 従来から言語処理分野で研究されてきた情報抽出技術に関連が深い ものの, 一つの化学物質名が複数の表記を持つ, 化学物質が刻々と発見され続けられているな どの特徴から, 従来の情報抽出とは異なる課題への取り組みやアプローチが必要になることも ある。そこで本稿では，化学分野の知識構築に焦点を当て，化学分野の特徴や問題を交えなが ら, 化学分野の固有表現抽出, 関係抽出, 同一性判定およびプロセス抽出について紹介する.

## 2 固有表現抽出

化学分野における固有表現抽出は, 知識構築に必要な化学物質名や沸点や融点など化学物質に関連する表現を抽出することが目的となる. 固有表現に関わる化学物質の特徴として, 一つの化学物
^{1}$ https://www.jaici.or.jp/annai/img/20150709_CAS_PressRelase.pdf
}
質が複数の表記を有することが挙げられる。たとえば, フェニルアラニンは, L- $\beta$-phenylalanine, (S)-2-Benzylglycine や Phenylalanine などの異表記を有する.

この問題に対して, 化学物質名抽出と化学物質名言い換えのマルチタスク学習が提案され, CHEMDNER タスクで，精度改善が報告されている (Watanabe, Tamura, Ninomiya, Makino, and Iwakura 2019)。また, 別の方向性として, BioBERT (Lee, Yoon, Kim, Kim, Kim, So, and Kang 2019) や SciBERT (Beltagy, Lo, and Cohan 2019)のように, バイオ分野などの化学に関 わる文献から事前学習することで，精度改善が行われることも報告されている.

## 3 関係抽出

化学分野の関係抽出は, 化学物質間の関係や, 沸点や融点といった数値と化学物質との関係な どを抽出し知識化するために研究が進められている。関係抽出の実現のためには, CHEMPROT のような，ドメインごとに正解が付与された教師データを用いて学習を行う手法が広く用いら れている。しかしながら, 化学分野の関係抽出タスクは, 教師データ作成に高度な専門知識を 必要とするなど, 精度改善のための大規模な教師データの構築コストが問題となる.

そこで，関係抽出においても，BioBERT やSciBERT といった化学に関わる文書での事前学習により，精度改善が行われている。また，外部知識の活用も研究されている。テキストから の薬物相互作用抽出では, 薬物の相互作用情報と分子構造に関する外部薬物データベースから の事前学習モデルを用いることで精度改善が報告されている (Asada, Miwa, and Sasaki 2018).

## 4 同一性判定

論文や特許文書中に出現する化学物質の知識を統合するために，異なる表記であっても同一 の化学物質と認識する必要がある。この実現方法の一つとして, Named Entity Linkingのよう に，規範データベースに対し，紐づける方法が考えられる。しかしながら，供給業者が提供可能 な化学物質は既に 10 億以上 (Hoffmann and Gastreich 2019)とも言われているのに対し, CAS や PubChem²のような最大規模のものでも 1 億から 2 億件程度というのが現状である.

別の方法としては, 化学物質名からの構造推定が挙げられる。異なる名称でも同一構造が推定 されれば，同一と判定する方法である。化学分野では, IUPAC (International Union of Pure and Applied Chemistry) をはじめとした命名法があり, 命名法に従っていれば, 異なる表記でも, 専門家であれば同一構造と推定可能であるという。また, 化学物質の構造表記法としては, Simplified Molecular Input Line Entry System (SMILES) (Weininger 1988) や InChI (IUPAC International

Chemical Identifier) (Heller, McNaught, Pletnev, Stein, and Tchekhovskoi 2015) が制定されてお り, 化学物質名からの SMILES や InChIによる構造推定のフリーソフト OPSIN (Lowe, Corbett, Murray-Rust, and Glen 2011)や, ChemAxon ${ }^{3}$, ChemDraw $^{4}$ といった製品もある.

しかし, OPSINのようなルールベース手法は, 規則が適用できない化学物質名を変換できず,実際の文書中でも，IUPACの命名規則が非常に膨大で複雑であることに起因してか，命名規則 に違反した名称が散見され，変換できない例も少なくない。この問題に対して，化学物質名か ら構造を予測する手法として, ニューラル翻訳を応用した化学物質名から SMILESへの変換手法が提案されている (表, 松下, 岩倉, 田村, 二宮 2020). PubChem から自動構築した学習デー 夕からの学習により, 既存の変換器より高い精度を達成している.

## 5 プロセス抽出

化学物質そのものの情報に加え, 目的の化学物質を生成するための化学反応プロセス情報の 構造化も応用上重要である. 化学反応プロセスの情報源としては論文や特許が挙げられるが,特に特許は報告される化学物質の数が多いこと, および論文に先立って新規の化学物質が報告 される傾向にあることから重要視されている (Senger, Bartek, Papadatos, and Gaulton 2015).

化学特許は一般に数十ページにわたり, 複数の類似の化学反応を記載していることが多い. そのため, 特許文書から化学反応に関する情報を自動抽出するには (1) 個々の化学反応に関す る記述を特定し, (2) 各反応プロセスの具体的な情報（材料となる化学物質, 試薬, 反応時間,温度など）を先述の固有表現抽出や関係抽出などを用いて構造化するといった手順を踏む.

自然言語処理技術を用いた化学文献からの反応プロセス情報の抽出としては,ルールベースの手法と比較的単純な機械学習手法を用いた文書分類を組み合わせた方法が提案されている (Jessop, Adams, and Murray-Rust 2011; Lowe 2012). しかし, 多様な記述パターンをカバーできない,複数の手順を踏む化学反応プロセスを正確に抽出できないといった課題がある. Yoshikawa ら (Yoshikawa, Nguyen, Zhai, Druckenbrodt, Thorne, Akhondi, Baldwin, and Verspoor 2019)は,特許文書中の化学反応に関する記述を特定するタスクを文書のパラグラフ系列に対する系列ラ ベリング問題として定式化し, 化学特許で事前学習されたニューラルネットワークモデルを用 いた手法を提案した。これにより，文書レベルの文脈情報を利用することで抽出精度が大幅に 向上することが明らかになった。一方，化学特許には表や画像の形で表現された情報も多いほ か, 段落をまたぐ参照解析が必要なケースもある. これらを網羅した化学反応プロセス抽出手法の確立は今後の課題である.
^{4}$ http://www.cambridgesoft.com/
}

## 謝 辞

本稿の執筆にあたりまして，松本裕治様，徳永健伸様, Timothy Baldwin 様, 二宮崇様, 嶋田和孝様, 乾孝司様, 田村晃裕様, 西川仁様, ジェプカラファウ様, 進藤裕之様をはじめとし た化学分野の言語処理技術を共同で研究いただいた皆様に感謝申し上げます.

## 参考文献

Asada, M., Miwa, M., and Sasaki, Y. (2018). "Enhancing Drug-Drug Interaction Extraction from Texts by Molecular Structure Information." In Gurevych, I. and Miyao, Y. (Eds.), Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics, ACL 2018, Melbourne, Australia, July 15-20, 2018, Volume 2: Short Papers, pp. 680-685. Association for Computational Linguistics.

Beltagy, I., Lo, K., and Cohan, A. (2019). "SciBERT: A Pretrained Language Model for Scientific Text." In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, pp. 3615-3620.

He, J., Nguyen, D. Q., Akhondi, S. A., Druckenbrodt, C., Thorne, C., Hoessel, R., Afzal, Z., Zhai, Z., Fang, B., Yoshikawa, H., Albahem, A., Cavedon, L., Cohn, T., Baldwin, T., and Verspoor, K. (2020). "Overview of ChEMU 2020: Named Entity Recognition and Event Extraction of Chemical Reactions from Patents." In Experimental IR Meets Multilinguality, Multimodality, and Interaction. Proceedings of the 11th International Conference of the CLEF Association, Vol. 12260. Lecture Notes in Computer Science.

Heller, S. R., McNaught, A., Pletnev, I., Stein, S., and Tchekhovskoi, D. (2015). "InChI, the IUPAC International Chemical Identifier." Journal of Cheminformatics, 7 (1), p. 23.

Hoffmann, T. and Gastreich, M. (2019). "The Next Level in Chemical Space Navigation: Going Far Beyond Enumerable Compound Libraries." Drug Discovery Today, 24 (5), pp. 1148-1156.

Jessop, D. M., Adams, S. E., and Murray-Rust, P. (2011). "Mining Chemical Information from Open Patents." Journal of Cheminformatics, 3 (1), pp. 1-17.

Krallinger, M., Leitner, F., Rabal, O., Vazquez, M., Oyarzabal, J., and Valencia, A. (2015). "CHEMDNER: The Drugs and Chemical Names Extraction Challenge." Journal of Cheminformatics, 7 (1), p. S1.

Krallinger, M., Rabal, O., Akhondi, S. A., et al. (2017). "Overview of the BioCreative VI Chemical-protein Interaction Track." In Proceedings of the 6th BioCreative Challenge Eval-
uation Workshop, Vol. 1, pp. 141-146.

Lee, J., Yoon, W., Kim, S., Kim, D., Kim, S., So, C. H., and Kang, J. (2019). "BioBERT: A Pre-trained Biomedical Language Representation Model for Biomedical Text Mining." Bioinformatics, 36 (4), pp. 1234-1240.

Lowe, D. M., Corbett, P. T., Murray-Rust, P., and Glen, R. C. (2011). "Chemical Name to Structure: OPSIN, an Open Source Solution." Journal of Chemical Information and Modeling, 51 (3), pp. 739-753. PMID: 21384929.

Lowe, D. M. (2012). Extraction of Chemical Structures and Reactions from the Literature. Ph.D. thesis, University of Cambridge.

表悠太郎，松下京群，岩倉友哉，田村晃裕，二宮崇 (2020). Transformer を用いた化合物名から 化学構造への変換. 言語処理学会第 26 回年次大会, pp. 1161-1164.

Senger, S., Bartek, L., Papadatos, G., and Gaulton, A. (2015). "Managing Expectations: Assessment of Chemistry Databases Generated by Automated Extraction of Chemical Structures from Patents." Journal of Cheminformatics, 7 (1), pp. 1-12.

Watanabe, T., Tamura, A., Ninomiya, T., Makino, T., and Iwakura, T. (2019). "Multi-Task Learning for Chemical Named Entity Recognition with Chemical Compound Paraphrasing." In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, pp. 6243-6248.

Weininger, D. (1988). "SMILES, a Chemical Language and Information System. 1. Introduction to Methodology and Encoding Rules." Journal of Chemical Information and Computer Sciences, 28 (1), pp. 31-36.

Yoshikawa, H., Nguyen, D. Q., Zhai, Z., Druckenbrodt, C., Thorne, C., Akhondi, S. A., Baldwin, T., and Verspoor, K. (2019). "Detecting Chemical Reactions in Patents." In Mistica, M., Piccardi, M., and MacKinlay, A. (Eds.), Proceedings of the the 17th Annual Workshop of the Australasian Language Technology Association, pp. 100-110.

## 略歴

岩倉 友哉: 2003 年 (株) 富士通研究所入社. 2011 年東京工業大学大学院総合理工学研究科物理情報システム専攻博士課程修了. 博士 (工学). 現在,（株）富士通研究所プロジェクトマネージャー。言語処理学会, 情報処理学会各会員.

吉川和：2015 年（株）富士通研究所入社. 2015 年東京大学大学院情報理工学系研究科数理情報学専攻修士課程修了. 2019 年から現在, メルボルン大学客員研究員. 現在，（株）富士通研究所研究員. 自然言語処理の研究開発に 従事.