# 事故事例構造化コーパスの構築

東明幸太 ${ }^{1}$ 福岡康大 ${ }^{2}$ 森辰則 ${ }^{1}$
伊藤拓海 ${ }^{3}$
1 横浜国立大学大学院 ${ }^{2}$ 横浜国立大学 3 株式会社 IHI
tomei-kota-pc@ynu.jp fukuoka-kodai-hr@ynu.jp tmori@ynu.ac.jp
ito9762@ihi-g.com

## 概要

製造業の企業では現場からの問い合わせに対する回答を生成する際に過去の事故事例の活用が求められている。しかし、企業に蓄積されているものは構造化されていないプレインテキストであるため活用が難しい。本稿では、現場利用者の情報要求に応じて検索・要約をし、事故の流れを可視化して提示することで原因等をわかりやすく示すシステムを作成するために過去の事故事例を構造化することを目的とする。そのために、事故の流れを示すことができる注釈付け手法を提案し、実際にコーパスの作成を行った。また、事故事例に付与された注釈に基づいて、事故事例中の事象の系列を可視化するためのシステムの試作を行った。

## 1 はじめに

製造現場や建築現場などにおいて、現場で技術的な問題や事故・装置の不具合が発生した場合、現場作業員から担当部署に対してそれら技術的要素や事故・装置の不具合への対処方法について問い合わせが行われ、担当部署が過去の類似事例を参考にして回答を返し、その回答内容に従って問題解決を図る、というプロセスが取られることが多い。しかしそういった問い合わせへの返答に際して、現状では部署の担当者が問い合わせ文の読解・過去の事故不具合事例データベースからの前例の検索・回答文の作成といった作業を人手で行っており、非効率的だという現状がある。そのため、事故・不具合問い合わせ文書の解析・データベースからの類似事例の検索・回答文の生成といった作業を自動で行うことのできるシステムに対して需要が大きい。また、現場では発生した事故や不具合について記録を保存している場合も多く、そうして蓄積された過去の事故・不具合事例集を効果的に活用可能なシステムに対し
ても需要が大きい。本研究では事故・不具合問い合わせ文書の解析 - 類似事例の検索 - 回答文の生成といった作業を自動で行うシステムの実現を目標としている。特に、利用者の情報要求に応じて検索・要約をし、事故の流れを可視化して提示することで原因等をわかりやすく示すことを目指している。

しかし、企業に蓄積されているものは構造化されていないプレインテキストであるため、そのままでは上記システムの実現は難しい。上記の目標の実現には、原因を含む事故につながる事象の流れを表すことができるテキストの構造化と構造化テキストに基づく、事故内容の可視化が必要である。そのために、本稿では、どのように構造化を行えば良いかについて、事故事例のテキストを分析し、構造化のための注釈付けの枠組みを検討した。同枠組みを用いて、後述の『失敗知識データベース』の一部の事例に対し注釈付けを行い構造化されたテキストコー パスを整備した。さらに、その構造化されたテキス卜を入力として、可視化を行うシステムを試作することにより、提案する構造化手法の妥当性を検証した。テキスト構造化の自動化は今後の課題とする。

## 2 関連研究

これまで事象の流れを抽出する研究の一つとして、原因と結果の組を抽出する因果関係抽出が盛んに行われてきた。坂地ら [1] や佐藤ら [2] の研究では、決算短信、有価証券報告書などの金融情報テキストに関して因果関係抽出を行っている。手がかり表現を用いることで原因・結果を含む文を抽出し、原因・結果を含んでいると判定された文から原因と結果の対を抽出している。これらは金融分野のテキストに対して有効であることが確認されているが、我々が対象としている事故事例に対しての有効性は不明である。また、原因・結果のみの抽出であり、情報から得られる事象の流れを網羅していない。
既存の、事故・不具合事例文書の活用を目的とした先行研究として、大森らの研究 [3] がある。大森らは、事例文の中心となる部品や製品の情報提示を行うという観点でこの課題を捉え、事例文からの事故・不具合に関与する製品の記述の抽出、および因果関係抽出を通した事故・不具合の原因に関する記述の抽出というアプローチを通した事故・不具合事例集の活用を検討している。この手法では事例文から中核となる製品やその製品と因果関係を持つ出来事を表す「単語そのもの」を抽出することを目指しており、事故全体の流れに注目して文章を構造化しているわけではないため、事故全体の流れを把握することはできていない。

事故全体の構造化を目指している研究として、畑村らが作成した『失敗知識データベース』[4][5]がある。失敗知識データベースとは、失敗知識のデー 夕化・容易な伝達を目的として、失敗事例を分析して知識として活用できるデータベースを目指し開発されたものである。失敗知識データベースの事例は原因、対策などの項目に分けて記述されており、知識として活用できる形になっている。そのため構造化に大いに参考になる。その一方で、このデータベースと同じ知識を自動的に整備するためには、自動化を意識した分析や手法の提案が必要である。さらに、失敗知識データベースでは事故の詳しい流れが構造化されている項目は存在しない。

我々の研究では、事故・不具合問い合わせ文書の解析 - 類似事例の検索 - 回答文の生成といった作業を自動で行うことのできるシステムの実現を目標としている。その目標の達成に向けて、本論文では、事故事例の流れを構造化し、今後の事故事例の活用に貢献するための正解となるコーパスを作成する。

## 3 コーパスの設計

## 3.1 事故事例の構造分析と構造化の方針

まず一般的に、事故などの事象の流れは、ある 「状態」において、ある「動作」が行われた結果、新しい「状態」が生じるということの繰り返しで表現できる。「状態」に注目すると「動作」は「状態変化」 を起こすものとして位置付けられる。それらの前提から、本稿では事故などの事象の流れの記述は、ある時点での対象物群の有り様を記述した「状態」とその状態を変化させる動作を記述した「状態変化」 の二種類の要素によって記述されているとする。状態ある時点での対象物群の有り様

例）「低圧タービンの外側から 3 段目の動翼 1 本が、車軸への取付部が折れて脱落していた」

状態変化状態を変化させる事象

例）「タービン本体の設計時に想定されなかった異常振動が起きた」

これらは基本的に時系列順で記述されているが、そうではないものも多く、事故の流れを簡単に把握することは困難である。そのため、我々のコーパスでは、時系列に沿った順序関係を「状態」や「状態変化」の間の関係として付与することで、事故の流れを表現できるようにしている。また、事故事例文書は実際の事故の流れを表す記述である「客観的な記述」と事例文書の書き手が原因などを推測、判断して記述した「主観的な記述」で構成されている。そこで、我々のコーパスでは主観的な記述を「思考・判断」として注釈付けをし、これらを客観的な記述と区別する。そうすることで、書かれている記述が実際に起こったことであるのか、書き手の思考・判断の記述であるのかを分けて理解することができる。区別を明示するために、主観的な記述であるということがわかる「思考・判断」を基本要素に追加した。書き手が行う「思考・判断」の対象として 「状態」(例えば、「〜となっていると考えらえる」) や、「状態変化」(例えば、「〜が起こったと推測される」)が現れる場合がある。

思考・判断書き手の事故に対する主観的な思考や判断

例）「バランス調整不良に起因した振れ回りによる共振が原因であった」

「思考・判断」とみなす基準は、明示的に現れる判断表現に基づいて判断する。明示的に現れる判断表現としては、「原因であった」、「考えられる」、「原因は〜のためであった」などがある。

上の例では、「振れ回りによる共振が原因であった」の「原因であった」という記述が「原因の認定」 という判断表現であるため、「思考・判断」であるとみなす。もし、「振れ回りによる共振が起こった」 という記述であれば客観的な記述とする。

## 3.2 注釈付けのための規則の検討

以上で設計したコーパスを作成するために、テキストに注釈をつける。そのための注釈付けの規則を検討した。その結果を以下に示す。

・「状態」「状態変化」「思考・判断」を基本要素として注釈付けするため、それぞれに対応するテキストを $\langle\mathrm{s}>$ (state), $\langle\mathrm{t}>$ (transition), $\langle\mathrm{j}>$ (judgement) タグで囲む。

- 時系列に沿った順序関係を「状態」や「状態変化」の基本要素間の関係として付与する。文書から順序関係が明確にわからないものは並列に扱う。時系列上で隣接していると判断される二つの基本要素において、時間的に前である基本要素を「始点」、後である基本要素を「終点」と呼ぶ。基本要素の時間方向を明示するため、時系列でつながる基本要素の「始点」の注釈に $\mathrm{d}$属性 (direction) を付与し、值”1”を与える。対応する「始点」と「終点」が組であることを明らかにするために、それぞれの id 属性に同じ值を与える。id 属性の値は、「始点」と「終点」の組が文書内で出現する順番により值”1”からはじまる通し番号とする。

- 同一の事象を表現している「状態」「状態変化」 の記述部を共参照関係とし、その関係にある両注釈に、c_id 属性 (coreference id) を付与し、同じ属性値を与える (入れ子の場合は一番外側のみ)。事故事例文書では、異なる場所で同一の事象を表現するテキストが出現しうる。事象の流れを正確に把握するためには、それらが共参照関係にあることを記述する必要がある。

・「状態変化」には人が意志を持って起こしたものとそうでないものがある。両者を区別するため、人が意志を持って起こした「状態変化」 を「有意志」そうでないものを「無意志」とし、「有意志」である「状態変化」には i 属性 (intention)を付与し、值”1”を与える。

-「思考・判断」か否かは、明示的に現れる判断表現の有無に基づいて判断する。明示的に現れる判断表現としては、「原因であった」、「考えられる」、「原因は〜のためであった」などがある。

・「思考・判断」に内包されている「状態」、状態変化」が確実に起こったものではないと読み取れる表現のものがあるため、それらを区別する。「思考・判断」記述部が不確実と読み取れる記述がされているなら uncer 属性 (uncertainty) を付与し、値”1”を与える。

・タグで囲う範囲は述語までとする。

## 4 コーパス作成

「失敗知識データベース」の「事例概要（事故の内容・原因・対処がまとめて記述してある)」を用いてコーパス作成を行った。機械カテゴリの 210 件、失敗知識百選 (失敗事例の中から国内外の典型的な事例を 100 例程度取り上げ、読みやすく記述）の 106 件を対象とした (両者で 4 件の重複があるため) 合計 312 件の事故の事例概要を対象とし、注釈付けを行い、コーパスを作成した。

## 4.1 注釈付け

注釈付けは第一著者、第二著者の二名で行った。 ルールに従い人手で各事例の事例概要に注釈をつけた。その結果をもとに注釈が一致する場所は正解、一致しなかった箇所に関しては、議論を行い、注釈の付け直しを行った。図 1 の原文章に対する注釈付けの例として、結果を図 2 に示す。

図 1 原文章（機械カテゴリ：5 番目のデータ）

図 2 提案するタグセットで注釈付けを行った文章（機械カテゴリ $: 5$ 番目のデータ)

## 4.2 構造化されたテキストからダイヤグラ ムを生成するシステム

我々の研究の目的の一つが、事例文書の要約・可視化である。そこで 4.1 節で注釈付けされたテキストを適切に可視化できるかどうかを検証するために、テキストから図による可視化表現（以下、ダイヤグラム）を生成するシステムを試作した。注釈の種類とそれに付与される属性の組に応じて図 3 に示す通り色付けを行い、区別を容易にした。

事例の流れを把握するため、「思考・判断」に対しては、内包する「状態」、「状態変化」がある要素のみを図に表示した。「思考・判断」が内包する「状態」、状態変化」のノードをさらに枠で囲み一つのノードとした。注釈付けの段階では、不確実とされたか否かは「思考・判断」の属性であったが、図では「思考・判断」の内包する「状態」「状態変化」にも継承されるものとした。

## 状態

状態 (不確実)

状態変化（有意志）

状態変化（不確実、有意志）

## 状態変化（無意志）

状態変化 (不確実、無意志)

図 3 ノードの色と意味

実際に図 2 の注釈付けを行った事例に対して、テキストからダイヤグラムを生成するシステムを利用すると図 4 が出力される。ノードが有向エッジで結合され、時系列となるように配置されている。

図4 図2 の事例からシステムが生成した図

## 5 考察

4 節で「失敗知識データベース」の「事例概要」 316 件に対して、流れを把握できるような構造化の
ルールを作成し注釈付けを行った。注釈付け前後のテキストや生成されたダイヤグラムを第一著者、第二著者の二名が観察し、議論をした。図４のような可視化の結果により「動翼 1 本が、車軸への取付部が折れて脱落していた」という状態が「鍵となる状態」であることがわかりやすくなった。それに対する「試験運転による想定外の異常振動が起き、金属疲労状態になったであろう」という書き手の推論から「動翼 1 本が、車軸への取付部が折れて脱落していた」という原因状態に至る過程の推測もわかった。注釈付けを行っていく中で注釈の位置やどの注釈にするかを修正をしながらコーパスを作成した。特にタグセット作成後、どのタグを振るかという検討する際に判断基準を明確にするべきものがあったため以下に示す。

「状態」「状態変化」の違い「エア吸気口に水滴となって残り」の部分に「状態」「状態変化」どちらのタグを振るかについての検討の余地があった。検討の結果「残り」は動作そのものなので「状態変化」であり、「残っている」であれば進行を表す相表現が付加されているので「状態」と判断する。具体的には、「〜ている」、「〜 ていた」といった進行を表す相表現があれば、 その文を「状態」と判断する。

動作性名詞の扱い動作性名詞とは、例えば、「レー ルの熱膨張で...」における、「熱膨張」のように、 サ変名詞や動詞由来の名詞である。動作を名詞化したものであるから、「状態変化」とする。

## 6 まとめ

本稿では、プレインテキストの活用のための事故事例の構造化のために事故事例テキストを分析し、構造化のための注釈付けの枠組みを検討した。構造化ルールを作成し、注釈付けコーパス作成を行った。さらに、構造化されたテキストを入力として、可視化を行うシステムを試作することにより、提案する構造化手法の妥当性を検証した。正解データとして 312 件は多くないと考えられるため、他の事例に対しても注釈付けを続けていく必要があると考えられる。その後、今回人手で行った構造化を自動化することで、事故事例を把握する時間が短縮されることに貢献できることや、事故の真の原因特定や回答文生成にも役立つと考えられる。

## 参考文献

[1] 坂地泰紀, 酒井浩之, 増山繁. 決算短信 pdf からの原因・結果表現の抽出. 電子情報通信学会論文誌 D, Vol. 98, No. 5, pp. 811-822, 2015.

[2] 佐藤史仁, 佐久間洋明, 小寺俊哉, 田中良典, 坂地泰紀, 和泉潔. 有価証券報告書からの因果関係文の抽出. 人工知能学会全国大会論文集第 32 回 (2018), pp. 2O404-2O404. 一般社団法人人工知能学会, 2018.

[3] 大森信行, 森辰則. 不具合事例文からの製品・部品を示す語の抽出一語の実体性による分類一. 電子情報通信学会論文誌 D, Vol. 95, No. 3, pp. 697-706, 2012.

[4] 畑村洋太郎, 中尾政之, 飯野謙次ほか. 失敗知識デー タベース構築の試み. 情報処理, Vol. 44, No. 7, pp. 733-739, 2003.

[5] 失敗知識データベース,（2022-10 閲覧）. http: //www.shippai.org/fkd/index.php.


# 英語初学者エッセイの議論マイニングコーパスの作成と分析

川原田将之† 平尾努§内田涉†永田昌明 §
†株式会社 NTT ドコモ $\S_{\text {NTT }}$ Nミュニケーション科学基礎研究所
\{masayuki.kawarada.vw, uchidaw\}@nttdocomo.com
\{tsutomu.hirao.kp, masaaki.nagata.et\}@hco.ntt.co.jp

## 概要

議論マイニングとは，筆者の主張や根拠を特定し，それらの論理構造を明らかにするタスクである。学生の書いたエッセイを対象とした議論マイニングのコーパスとしては，Persuasive Essay Corpus (PEC) [1]が存在する。しかし，PEC は，留学生や英語を母国語とした高校生が書いたエッセイを基に作成されており，英語を外国語として学び始めた学習者 (初学者) が書く英文とは，記述されている英語の習熟度に差が存在する. 本稿では，初学者が書いたエッセイに対して，PEC と同様のアノテー ションを行い，新たに議論マイニングコーパスを作成した. 複数名で作成したコーパスに対して一致率を算出し，PEC との比較分析を行った結果を報告する。

## 1 はじめに

英語を外国語として学ぶ者にとって，論理構造が明確な英文が書けることは，重要なスキルの一つである．学習者が書いた英文に対して，自動で論理構造の明確さに対する採点や修正箇所のフィードバックを行うようなシステムがあれば，英語学習に役立てることができ，有用である。このようなシステムを実現するためには，学習者が書いた英文を解析し，論理構造を明らかにする必要がある。

議論マイニングとは，筆者の主張や根拠を特定し，それらの論理構造を明らかにするタスクである. 教育分野における議論マイニングのコーパスとしては, Persuasive Essay Corpus (PEC) [1]が存在する．PEC の英文は，留学生や英語を母国語とした高校生によって書かれたものであり，英語を外国語として学習する中学生や高校生が書くような英文は含まれていない. PECにおけるアノテーションのガイドラインも，意味上の段落であるパラグラフに分けて書かれているエッセイを前提としている。一方で，初学者が書くエッセイは，パラグラフを意識して書かれていないといった特徴が存在する。 このような特徵を持つ文書を対象にした議論マイニングの研究は少なく [2], 英語の習熟度が高い筆者が書いたエッセイと比較する研究は，今まで行われてこなかった.

そこで本稿では，PEC 作成におけるアノテーションガイドラインを用いて，初学者が書いたエッセイの議論マイニングコーパスを作成し，PEC との比較分析を行った結果を報告する．複数名で作成した議論マイニングコーパスに対して，アノテーション一致率を算出したところ，PEC と比較して，一致率は著しく低下した。一致率を上げるためのアノテー ション方法の改善に向けて詳細な分析を行った. ごく少数のエッセイにおいては，筆者が意識してパラグラフを設けて作成されており，そのようなエッセイに限れば，アノテーション一致率は比較的高く,初学者によるエッセイに対するアノテーション方法の変更の方向性が示唆された。

## 2 関連研究

議論マイニングに関する研究は，ニュース記事を対象としたもの [3] や生物学の論文を対象としたもの $[4,5]$ など，様々な分野で行われている．教育分野における議論マイニングのコーパスを作成した研究としては，Stab ら [6] の研究がある. 彼らは, エッセイ投稿用の web サイトから収集した 90 エッセイに対して，Component と呼ばれる筆者の主張が含まれる部分の抽出を行った後，Component 同士の関係を表す Relation の抽出を行っている. これに引き続き，Stab [1] らは，Stab ら [6] のアノテーション方法に修正を加えた方法で，PECを作成した．PEC には，80 のテストデータと 322 の学習データが含まれており，テストデータに対してアノテーション一致率を計算している。

本研究では, Stab [1] らの研究を基に初学者のエッ

セイに対する議論マイニングコーパスを作成する.

## 3 議論マイニングコーパスの作成

先行研究 [1] との比較を行うために，初学者の書いたエッセイに対して，同じ方法でアノテーションされた，議論マイニングコーパスの作成行う.

## 3.1 エッセイの作成

エッセイの作成を行うために，筆者によって意見が分かれるような 250 のトピックを用意した. 初学者1)に，これらのトピックから. 100 語から 150 語程度のエッセイを作成してもらった。各トピックに対して，10 エッセイを作成し2)，合計で 2,500 エッセイを作成した. 指定語数が 100 語から 150 語と短く，依頼を行う際に，パラグラフに分けて書くように指示はしていないため，パラグラフ区切りが含まれているエッセイは 102 例のみであった.

作成した 2,500 エッセイから，ランダムに 100 エッセイを抽出し, これらのエッセイに対してアノテーション作業を行った. 抽出した 100 エッセイの中でパラグラフが存在しているものは 5 例だった.

抽出したエッセイの統計情報と PEC の統計情報を比較したものを付録 $\mathrm{A}$ の表 3 に示す.

## 3.2 アノテーション方法

Stab ら [1] のアノテーション方法では，3 段階に分けてアノテーションが行われる。 まず，アノテー タにトピックとエッセイを渡し，エッセイに書かれている内容を把握してもらう，次に，筆者の主張が含まれる要素である Component の抽出を行う. Component は, MajorClaim, Claim, Premise の 3 種類が存在し, Component の抽出は，文よりも小さい単位でで行われるため，抽出する境界の決定も必要である. Component の抽出は, MajorClaim, Claim, Premise の順に行う. 最後に, 抽出した Component 同士の関係を表す Relation の抽出を行う．Relation は，互いに同じ立場の関係にある Support と対立した立場の関係にある Attack が存在する.

Stab ら [1] の方法では，エッセイにパラグラフが存在することを前提に，各パラグラフ内で相対的に Component と Relation の抽出を行っている。一方で，初学者のエッセイでは，パラグラフが存在しない場

1）本研究で初学者とは，TOEIC ® Listening \& Reading Test で 500 点以下の点数かつ，英語を母国語としない者とした.

2）ただし， 1 人の初学者が同一のトピックについて複数のエッセイを書くことがないように調整した。合が多く，エッセイ全体を見ながら抽出を行う必要がある.

## 3.3 アノテーション作業

アノテーション作業は. 英語を母国語とする 3 名のアノテータで行った. まず， 3 名には，先行研究 [1] のアノテーションガイドライン3)を用いて, アノテーション方法の習得をしてもらった. その後，各アノテータは，それぞれ 100 エッセイに対してアノテーションを行った.

今回作成したエッセイは，PEC と比べて，エッセイ作成者の英語の習熟度が高くないため，アノテー タが理解できない場合や，そもそもトピックに対応した主張が含まれていない場合が想定される.これらに対応するため，アノテータには，どこまでの作業ができるのかを判断してもらい，作業を完了できなかった場合は，その理由を記述してもらった。

表 1 に作成したエッセイに対して行ったアノテーションの例を示す. また，作成した議論マイニングコーパスについて，各アノテータが抽出した Component の数と付与した Relation の数, 作業不可と判断されたエッセイの数を付録 $\mathrm{A}$ の表 4 に示す.

## 4 アノテーション一致率の算出方法

アノテータが可能だと判断した作業についての一致率を算出した後, Stab ら [1] と同様の方法で,Component の一致率と Relation の一致率をそれぞれ算出する.

## 4.1 作業判断についての一致率

本研究では，先行研究 [1] とは異なり，アノテー タが作業不可と判断することも可能である. 各エッセイに対して，3名のアノテータが作業可能と判断したか $(t=1)$, または, 作業不可と判断したか $(t=0)$ を Fleiss [7]の $\kappa$ を用いて，アノテーション一致率を計算する。

## 4.2 Component $の 一$ 致率

まず，文単位でアノテーション一致率を計算する.この方法では，アノテータ間で Component を抽出する境界が異なっていたとしても，抽出した Component が同一の種類であれば，一致していると評価される. 文単位のアノテーション一致率の計

図1作成したエッセイに対して行った，Component（左）とRelation(右)のアノテーションの例

表 1 Component(上)と Relation(下)の抽出に関する先行研究 [1] と本研究のアノテーション一致率の比較. OA は, Observed Agreement を表す. MC，C，P，S，A は，それぞれ, MajorClaim, Claim, Premise, Support, Attackを表す.

算には，観察された一致度 (Observed Agreement) と Fleiss [7]の $\kappa$ を用いた. 観察された一致度は，単純に全体の中で 3 名の作業者の一致した割合を測る指標であり，кは，観察された一致度から偶然の一致を除いた時の一致率を測る指標である。

次に, Component の境界も考慮した評価を行うために, Krippendorff $[8,9]$ の $\alpha_{U}$ の算出を行う.この算出方法では，各エッセイを単語に分割し, ${ }^{4}$ エッセイ全体を単語列と見なした上で，アノテータが抽出した Component の境界とその種類の一致率を計算する. そして, 算出した各エッセイの一致率の平均値を取ることでアノテーション一致率とする。

## 4.3 Relation の一致率

先行研究 [1] に従い, Componentを含んだ 2 文間の Relation の一致率を算出する．あるパラグラフ内に含まれる文の総数を $n$ とすると，パラブラフ内の文はそれぞれ， $s_{1}, \ldots, s_{n}$ と表され，その中の任意のぺアは， $p=\left(s_{i}, s_{j}\right)$ と表される. ここで, $0 \leq i, j \leq n$ かつ $i \neq j$ である. 全エッセイに含まれるぺアの総数 $N$ うち，アノテータ間で Relation の種類が一致している割合からアノテーション一致率を計算する. ただし，パラグラフの区切りが存在しない

表 23 名のアノテータが各作業段階において, 作業不可と判断したエッセイの数. MC，C，P は，それぞれ， MajorClaim, Claim，Premiseを表す。

エッセイでは， $n$ はそのエッセイに含まれる文の数と一致する. アノテーション一致率には, Observed Agreement と Fleiss [7]の $\kappa を$ 用いた.

## 5 分析結果

3 名のアノテータによるアノテーション一致率を算出するため，1 人でも作業が不可と判断したエッセイは除外した. アノテーションが完了した 81 エッセイに対して，前節の方法でアノテーション一致率を算出し, 先行研究 [1] との比較結果を示す.

## 5.1 作業不可と判断されたエッセイに対す る分析

100 エッセイのうち，除外されたエッセイは， 19 エッセイであり，3 人のアノテータ全員が作業不可と判断したエッセイは存在しなかった. アノテータ 3 名の作業判断についての一致率を計算したところ， $\kappa=0.087$ が得られた. また，除外した 19 エッセイのうち，13エッセイは，アノテータ B のみが作業不可と判断したエッセイであったため，アノテー タ A とアノテータ C の一致率を算出したところ, $\kappa=0.2647$ であった. これらの結果を見ると, 作業判断についての一致率は低く, 作業判断はアノテー タによって異なることがわかる。

次に，除外されたエッセイがどの作業段階で作業不可と判断されたのかについて考察する. アノテー ション作業において，Relation を抽出する段階で作業不可と判断された例は存在しなかった. これは, Component の抽出の際には，他の Component との対
応を考えながら行う必要があるため, Component の抽出ができれば，Relation の抽出も行えるからだと考えられる。3名のアノテータが各作業段階において, 作業不可と判断したエッセイの数を表 2 に示す. MajorClaim の抽出を行う段階で，作業不可判断されたエッセイは，10 例であった. 作業不可と判断した理由としては，「トピックに対応した主張が含まれていない」や「エッセイ自体が不明瞭で主張が理解できない」が多かった. また, Premise の抽出において，10 例が作業不可と判断されていた. その理由としては，「Premise に該当する箇所がエッセイ中に存在しない」がほとんどであった。これは，初学者のエッセイは, 主張を書くことができたとしても，それらの因果関係が読者に伝わりづらい英文であるためだと考えられる。

## 5.2 アノテーション一致率に関する分析

Component と Relation のそれぞれにおいて，先行研究と本研究のアノテーション一致率を比較したものを表 1 に示す.まず，Component について見てみると， $\kappa ， \alpha_{U}$ の值は，MajorClaim で $\kappa=0.530 ，$ $\alpha=0.497$ であった. MajorClaim の一致率が比較的高くなった理由としては，一般的に MajorClaim は文書の最初と最後に出てくる場合が多く, エッセイ作成者の意図が分かりづらくても，文の位置からある程度は予測できるからだと考えられる. 先行研究では, Premiseの一致率は $\kappa, \alpha_{U}$ 共に高いが, 本研究では低く, $\kappa=0.247$ と $\alpha_{U}=0.497$ だった. これは, 初学者のエッセイには, 接続詞の誤りが多く含まれ,主張と理由の判別が難しいためだと考えられる.

次に，Relation について比較を行う. Support についての $\kappa$ の值は, $\kappa=0.350$ であり, 先行研究と比べると高くないものの, ある程度の一致率が得られた。一方で，Attackについての一致率は低く， $\kappa=0.072$ であった. この理由として，初学者のエッセイは主張の立場がわかりづらく，アノテータが判別するのが難しかったためだと考えられる.

## 5.3 パラグラフの影響に関する分析

パラグラフの有無がアノテーション一致率に与える影響について調べるために，これらを 2 つの群に分けた後, Component の一致率を比較する. 比較には， $\alpha_{U}$ を用いた. パラグラフが存在するエッセイと存在しないエッセイに対して $\alpha_{U}$ を比較したものを図 2 に示す. MajorClaim, Claim, Premiseの全

図 2 パラグラフが存在するエッセイ (w/ paragraph) と存在しないエッセイ (w/o paragraph) に対する $\alpha_{U}$ の比較

てにおいて，パラグラフがある場合の方がエッセイのアノテーション一致率が高いことがわかる。これは，パラグラフが存在することにより，エッセイ作成者が意図した，意味上の区切りをアノテータが理解しやすくなるためであると考えられる．特に，本研究のような短いエッセイの場合, MajorClaim の含まれるパラグラフは 1 文であることが多く，パラグラフがないものに比べて作業が容易であったと考えられる。ただし，パラグラフが存在するエッセイと存在しないエッセイの間には，サンプル数に大きな偏りがあるため，同程度のサンプル数における比較は，今後の課題である.

これらの結果から, 初学者のアノテーション作業を行う際には，パラグラフに分割可能かを判断する作業を追加するなど，作業工程の検討を行う必要があると考えられる。

## 6 おわりに

本研究では，初学者が書いたエッセイに対して，議論マイニングのアノテーションを行った. 複数のアノテータで作成した議論マイニングコーパスについて，アノテーション一致率を算出したところ，先行研究 [1] よりも一致率が低い結果が得られた. そこで， パラグラフの区切りが存在するエッセイと存在しないエッセイについて，アノテーション一致率の比較を行ったところ，パラグラフが存在するエッセイの方が一致率が高い結果が得られた. 今後は, アノテーション作業におけるパラグラフの影響について，より詳細な分析を行った後，初学者のエッセイに対するアノテーション方法の検討を行いたい.

## 参考文献

[1] Christian Stab and Iryna Gurevych. Parsing argumentation structures in persuasive essays. Computational Linguistics, Vol. 43, No. 3, pp. 619-659, September 2017.

[2] Jan Wira Gotama Putra, Simone Teufel, and Takenobu Tokunaga. Parsing argumentative structure in Englishas-foreign-language essays. In Proceedings of the 16th Workshop on Innovative Use of NLP for Building Educational Applications, pp. 97-109, Online, April 2021. Association for Computational Linguistics.

[3] Khalid Al-Khatib, Henning Wachsmuth, Johannes Kiesel, Matthias Hagen, and Benno Stein. A news editorial corpus for mining argumentation strategies. In Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics: Technical Papers, pp. 3433-3443, Osaka, Japan, December 2016. The COLING 2016 Organizing Committee.

[4] Nancy Green. Towards creation of a corpus for argumentation mining the biomedical genetics research literature. In Proceedings of the First Workshop on Argumentation Mining, pp. 11-18, Baltimore, Maryland, June 2014. Association for Computational Linguistics.

[5] Nancy Green. Identifying argumentation schemes in genetics research articles. In Proceedings of the 2nd Workshop on Argumentation Mining, pp. 12-21, Denver, CO, June 2015. Association for Computational Linguistics.

[6] Christian Stab and Iryna Gurevych. Annotating argument components and relations in persuasive essays. In Proceedings of COLING 2014, the 25th International Conference on Computational Linguistics: Technical Papers, pp. 1501-1510, Dublin, Ireland, August 2014. Dublin City University and Association for Computational Linguistics.

[7] J.L. Fleiss, et al. Measuring nominal scale agreement among many raters. Psychological Bulletin, Vol. 76, No. 5, pp. 378-382, 1971.

[8] Klaus Krippendorff. Content Analysis: An Introduction to Its Methodology (second edition). Sage Publications, 2004.

[9] Klaus Krippendorff. Computing krippendorff's alphareliability. 2011.

## A データ作成時の統計情報

表 3 先行研究 [1] と本研究でアノテーションを行うエッセイの統計情報の比較. 括弧内の值は, パラグラフが存在した 5 例のエッセイのみの平均値を表す.

表 4 各アノテータか抽出した Component の数と Relation の数，および，作業不可と判断したエッセイの数 (作業不可の数).

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# Wikipedia における文の品質推定のための大規模データセット

安道健一郎 ${ }^{1}$ 関根聡 ${ }^{2}$ 小町守 1
1 東京都立大学 2 理研 AIP
ando-kenichiro@ed.tmu.ac.jp

## 概要

Wikipedia は誰でも編集できるという特性上，客観的な百科事典の記述として適切ではない文が大量に含まれており，それらは日々編集者によりマー クアップされている. 本研究では, その作業支援を目的に Wikipedia 内の文の品質推定を行うためのデータセットを構築し、その自動検出タスクを実施した. 作成したデータセットは英語版 Wikipedia の全編集履歴から抽出された約 341 万文に、大きく 5 種類に分類された 153 の品質ラベルが付与され、ノイズなどの処理をしたものである.このデータを使った分類ラベルの自動検出実験は、編集者をアノテーターとした文品質検出実験と見ることができ， 73-85 程度の $\mathrm{F}$ 值が得られ、有用性が示された.

## 1 はじめに

Wikipedia は誰でも編集できることで有名な巨大なオンライン百科事典である。しかし, Wikipedia の質は長い間論争の的となっており, それは自然言語処理（NLP）にとって非常に重要な問題である $[1,2,3,4]$. Wikipedia のテキストは NLP のデータセットに広く利用され，主要なリソースとなっているため, Wikipedia の品質が NLP に与える影響は大きい $[5,6,7,8]$.

実際，いたずらなどによる質の悪い編集も存在する.そのような編集はしばしば他の編集者によって Wikipedia テンプレート ${ }^{1)}$ でマークアップされ, 修正される. そのような，ユーザーの編集が繰り返されることで Wikipedia の質は信頼性面も含めて向上し続けているが，全ての質の悪い編集文を限られた編集者でチェックし修正することは非現害的である. そのため，この問題を機械でサポートする試みが過去にいくつかなされている. 代表的なもの

は Wikipedia の Bot ${ }^{2)}$ で，自動で間違った Wikipedia マークアップ書式を修正したり，廃止された機能を新しいものに置換したり，特に，荒らし的な編集を元に戻すというものもある。しかし，これらは素朴で表層的なエラーを対象としており，対象外のエラーに対する多次元的で詳細な評価は人間がチェックしている. その他のサポートの試みとしては，記事全体の品質を推定する研究や，ある特定の品質ラベルを識別しようとする研究も行われている $[9,10]$. 前者の bot は文単位でのきめ細かい評価ができず，後者は限られた質の悪い点のみに着目している.

そこで，我々はきめ細かく様々な側面から文の品質を推定するための大規模データセットを構築した. 文の品質ラベルとして，編集者が各文に対して付与した Wikipedia インラインテンプレート 3）を利用している. 対象ラベルをトークページに関するものなどを除いて人手で厳選し，ノイズの多い文をフィルタリングした結果, 品質推定ラベルは合計 153 個，総文数は約 341 万文になった. 事前学習モデルを用いた自動検出の実験では，引用を必要とする文，構文や意味の修正を必要とする文，命題に関する問題を持つ文は検出が困難であることがわかった.このデータセットは Wikipedia の編集者をアノテーターとして大規模に文品質評価を行なったと見ることもでき，NLP の他タスクにおいても有用であると思われる。構築されたデータセットは一般公開されており利用可能である ${ }^{4)}$.

## 2 品質推定データセット

## 2.1 ソーステキスト

Wikipedia は Wiki markup というマークアップ言語で書かれており，それが MediaWiki というパーサー

2) https://en.wikipedia.org/wiki/Wikipedia:Bots

3) https://en.wikipedia.org/wiki/Wikipedia: WikiProject_Inline_Templates

4) https://github.com/ken-ando/WikiSQE_dataset
表 15 種類に分類した Wikipedia の品質評価ラベル. それぞれ頻度上位 5 ラベルの中から特徴的な 4 ラベルを選び，その総数と説明を示している.

により HTML に変換されている. 本研究は英語版の全編集履歴をターゲットにしているため，この HTML 化処理は非常に計算量が多く，計算リソースと時間を必要とする. そのため，先行研究 [11] ですでに HTML 化されているものを活用する.このデータは 2019 年 3 月 1 日以前の英語版 Wikipedia の全記事の全編集履歴を含んでいる.

## 2.2 対象ラベル

収集対象の品質評価ラベルは Wikipedia inline cleanup template ${ }^{5)}$ に含まれるものをべースとして使用する.このインラインテンプレート集は編集者に向けて，Wikipediaにおける文の品質の指摘をするための Wiki markup をまとめたものである. 我々が持つソーステキストは HTML であるため，このインラインテンプレートを Wikipedia サンドボックスを用いて HTML 表記に変換し, 品質評価ラベルリストを獲得した。

しかし，この状態ではまだラベルリストのカバ

5) https://en.wikipedia.org/wiki/Category:Inline_

cleanup_templates
レッジに問題がある。第一にベースとして使用した Wikipedia inline cleanup template は 2022 年のものであり，ソーステキストで用いられた 2019 年の Wiki markup とは相違がある. そのため, 各インラインテンプレートのページにリダイレクトしている，既に廃止された Wiki markup ページを再帰的に取得し, サンドボックスを通すことで過去に遡った HTML 表記の品質評価ラベルを獲得した。第二の問題は MediaWiki パーサーの時間的相違である. ソースの HTML 表記は 2019 年時点の MediaWiki によって生成されたものであり，現在の MediaWiki の出力する HTML ラベルとは相違がある．つまり，サンドボックスで変換した HTML ラベルがソーステキスト内に存在しない可能性がある。この問題に対処するために，ソーステキストに含まれる高頻度の品質評価ラベルを人手でチェックし，リストにないものは新たに収集リストに追加した。

結果， 153 種類の品質評価ラベルが得られた. その一部を表 1 に示す. 全取得ラベルとその説明はデータセットの Webページにて公開されている.
表 2 Wikipedia の品質評価ラベルと文例.

## 2.3 品質カテゴリ

分析のために 153 の品質評価ラベルをさらに抽象化し 5 種類に分類した。（表 1，3）

Citation には引用に関するラベルが 59 個属する. このラベルは Citation needed という文に引用が必要であるということを示すラベルが大多数であり， データセット全体に渡ってみても $68 \%$ 占める。

Syntactic or semantic revision は文法や意味的な改善が必要ということを示すグループであり，26 個のラベルが属する. Clarification needed という曖昧でわかりにくい文意を明確にするべきというラベルが多数存在する.

Information addition は文に何かしらの追加の情報が必要であることを示すグループである．最も多いラベルは Who?であり，特定の人物名が明記されていないことを示すラベルである.

Disputed claim は文の形態に問題はないが，その命題に問題があることを示すグループである. 最も多いラベルは Dubious であり，編集者から見て，不自然な，真偽が怪しい情報が含まれていることを示す.

最後に Other はどのグループにも属さないラべルの集合である．最も多いラベルは Disambiguation needed であり，文内の Wikilink が曖昧さ回避ページにリンクされていて改善が必要な際にマークアップされる. 次いで多いラベルは Sicである。これはソースに忠実なものの，一般的にみれば文法的に誤りである事例が含まれている。

このカテゴリはさらに, Wikipedia に依存する表 35 種類の文品質カテゴリの統計量. \# L はラベル数 ＃T は単語数，PPL はパープレキシティを示している。

ものとそうでないもので分けられる. Syntactic or semantic revision, Information addition, Disputed claim (SID) の 3 カテゴリは一般の文品質にも共通する特性を備えているため，後の実験で分離して扱う. SID には約半数の 78 種類のラベルが含まれている.

## 2.4 文抽出とフィルタリング

文抽出はソーステキストを pySBD [12]を用いて文分割し，2.2 節で取得された品質評価ラベルリストを持つ文を抽出することで行った. しかし，ソー ステキストはこのままではセクションタイトルや非文などが含まれており，ノイジーである. そのため，極端に短い文，Wiki markup がそのまま残っている文，頭文字が小文字である文などをフィルタリングした. 各文は引用マーカーが取り除かれて重複が削除され，最終的に $3,417,909$ 文が取得された.

## 2.5 データセットの分析

取得できた文例を表 2 に示す. ラベルによって，文，単語，節に付加されるものがある. 例えば, Citation needed や Clarification needed, Dubious, Neutrality disputed などはその性質上，文や節など対象のスパンに付加されやすい。一方で，Who?,

When?，Sicなどは単語に付加されることが多い.

表 3 に GPT-2を用いて算出した各カテゴリのパー プレキシティを示した. パープレキシティはカテゴリの特性をよく反映しており，Syntactic or semantic revision は文法，意味的に一般とは外れた用法が多いため，パープレキシティが高くなっている. Other は Sic が多く含まれているため, 特にパープレキシティが高い. また, Disputed claim は命題的に特異的ではあるものの，パープレキシティは低く，表層にその特徴が現れない，判定が難しいグループであることが予想できる. Information addition は追加の情報が必要だが，文自体に問題はない性質があるため，パープレキシティは低かった.

## 3 実験

Wikipedia の問題のある文の自動検出を行うために，作成したデータセットを用いて実験を行う．

## 3.1 セットアップ

実験は開発データ，テストデータに十分なサイズを用意するため，カテゴリごとに実行した（十分サイズが大きい頻度上位 20 個のラベルの実験結果については Appendix B を参照). 実験のためのデータセットとして, 前節までに作成したデータの品質ラベルを除去したものを正例とし，新しくラベルの付与されていない文をランダムで同じサイズにサンプルしたデータを負例とする. 開発データとテストデータのために，正例と負例をそれぞれ 500 文ずつランダムに抽出し, 結合して 1000 文としたものを 2 つ用意する. 残りのデータを訓練データとして使用した. また, Citation needed については突出してラベル数が多いため，カテゴリの評価をなるべく公平に行うために 200,000 文までにダウンサンプルして使用した，加えて，SIDとすべてのラベルを含む All を用意する。それらは単なる加重平均ではなく, 属するカテゴリのラベルを全て連結し，シャッフルした単独のデータセットである．検出に用いるモデルは DeBERTa [13] と BERT [14], RoBERTa [15] をファインチューニングしたものであり，全ての設定について 2 值分類である.

## 3.2 実験結果

自動検出の実験結果を表 4 に示す. 全体的には平均的に 7-8 割程度の検出精度であったが, 引用の問題，構文や意味の修正を必要とする文，命題に関す表 4 自動検出の実験結果（F1 スコア）.

る問題を持つ文は検出が比較的困難であることが分かった. 引用の問題については引用元の文献を勘案しなければならないため，Wikipedia 本文だけでは特定が難しいものと思われる。構文や意味の修正を必要とする文と命題に関する問題を持つ文については，高次に意味的な要素を捉えなければならないため難しい. また，何らかの情報の付加が必要な文は付加する対象の表現に特徴があるため, 高精度に検出できたものと思われる（When?は時間表現を対象とするなど). モデル間の比較では, 総合的に BERT が最も良いスコアを示したものの，モデル間の性能に顕著な違いは見られなかった. 最後に，すべてのデータを用いた All がどのモデルにおいても最低の精度であった。一方 SID は精度が高く, その差を勘案すると，カテゴリのまとまりを無視した横断的なデータを用いて学習した弊害であると思われる. SID は AII と比べて似た文をうまくクラスタリングできているので，うまく学習できた.

## 4 関連研究

過去の Wikipedia の編集者支援のための品質推定研究は主に記事単位で行われている [16]. 一方で,文単位に着目した品質推定の研究も存在する. それらは引用が必要ということを示す Citation needed [9], 誇張した表現を示す Puffery や Peacock [10], 曖昧な言い回しを示す Weasel words [17] ラベルを対象に文を集めて分析している。本研究との詳細な比較を Appendix A に示す. 先行研究は一般に公開されていないものも多く, Wikipedia の一部の品質ラべルを対象としており, 全体を含んだものではない.

## 5 おわりに

本研究では Wikipedia のための文品質推定データセットを構築し，ラベルの目的ごとにカテゴリを作成した. 自動検出実験では平均的に 7-8 割程度の精度で検出できることが分かった。

## 謝辞

本研究は国立研究開発法人情報通信研究機構委託研究「自動翻訳の精度向上のためのマルチモー ダル情報の外部制御可能なモデリングの研究開発」及び JSPS 科研費 JP20269633 の助成を受けて行われた.

研究の遂行にあたり, ご議論いただいた東京大学の渡邊晃一郎氏に深く感謝いたします。

## 参考文献

[1] Jim Giles. Internet Encyclopaedias Go Head to Head. Nature, Vol. 438, pp. 900-901, 2005.

[2] Encyclopaedia Britannica. Fatally Flawed: Refuting the Recent Study on Encyclopedic Accuracy by the Journal Nature. Chicago, Estados Unidos: Encyclopaedia Britannica, 2006.

[3] Editorial. Britannica Attacks. Nature, Vol. 440, p. 582, 2006.

[4] Thomas Chesney. An Empirical Examination of Wikipedia' s Credibility. First Monday, Vol. 11, No. 11, Nov. 2006.

[5] Pranav Rajpurkar, Jian Zhang, Konstantin Lopyrev, and Percy Liang. SQuAD: 100,000+ Questions for Machine Comprehension of Text. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 2383-2392, November 2016.

[6] James Thorne, Andreas Vlachos, Christos Christodoulopoulos, and Arpit Mittal. FEVER: a Large-scale Dataset for Fact Extraction and Verification. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 809-819, June 2018.

[7] Mahnaz Koupaee and William Yang Wang. WikiHow: A Large Scale Text Summarization Dataset, 2018.

[8] Marta Bañón, Pinzhen Chen, Barry Haddow, Kenneth Heafield, Hieu Hoang, Miquel Esplà-Gomis, Mikel L. Forcada, Amir Kamran, Faheem Kirefu, Philipp Koehn, Sergio Ortiz Rojas, Leopoldo Pla Sempere, Gema RamírezSánchez, Elsa Sarrías, Marek Strelec, Brian Thompson, William Waites, Dion Wiggins, and Jaume Zaragoza. ParaCrawl: Web-Scale Acquisition of Parallel Corpora. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 4555-4567, 2020.

[9] Miriam Redi, Besnik Fetahu, Jonathan Morgan, and Dario Taraborelli. Citation Needed: A Taxonomy and Algorithmic Assessment of Wikipedia's Verifiability. In Proceedings of the 28th International Conference on World Wide Web Companion, pp. 1567-1578, 2019.

[10] Amanda Bertsch and Steven Bethard. Detection of Puffery on the English Wikipedia. In Proceedings of the Seventh Workshop on Noisy User-generated Text, pp. 329-333, November 2021.
[11] Blagoj Mitrevski, Tiziano Piccardi, and Robert West. WikiHist. html: English Wikipedia's Full Revision History in HTML Format. In Proceedings of the International AAAI Conference on Web and Social Media, Vol. 14, pp. 878-884, 2020.

[12] Nipun Sadvilkar and Mark Neumann. PySBD: Pragmatic Sentence Boundary Disambiguation. In Proceedings of Second Workshop for NLP Open Source Software, pp. 110-114, Online, November 2020.

[13] Pengcheng He, Xiaodong Liu, Jianfeng Gao, and Weizhu Chen. DeBERTa: Decoding-enhanced BERT with Disentangled Attention. In Proceedings of The 8th International Conference on Learning Representations, 2020.

[14] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 41714186, June 2019.

[15] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. RoBERTa: A Robustly Optimized BERT Pretraining Approach, 2019.

[16] KayYen Wong, Miriam Redi, and Diego Saez-Trumper. Wiki-Reliability: A Large Scale Dataset for Content Reliability on Wikipedia. In Proceedings of the 44th International ACM SIGIR Conference on Research and Development in Information Retrieval, pp. 2437-2442, 2021.

[17] Viola Ganter and Michael Strube. Finding Hedges by Chasing Weasels: Hedge Detection Using Wikipedia Tags and Shallow Linguistic Features. In Proceedings of the ACL-IJCNLP 2009 Conference Short Papers, pp. 173176, Suntec, Singapore, August 2009.
表 5 先行研究との比較表. “Public?” はデータの公開状況を表す。

表 6 頻度上位 20 品質ラベルの結果. 各ハイライトは Citaion, Syntactic or semantic revision, Information addition, Other, Disputed claim $の$ 上位力テゴリを表す.

## A 先行研究との比較

Wikipedia の inline cleanup template を使用し，文の品質推定を行った先行研究との詳細な比較を表 5 に示す.

## B 個別ラベルの自動検出結果

品質ラベルの頻度上位 20 ラベルについて DeBERTa で自動分類した結果を表 6 に示す.

## C 実験の詳細

DeBERTa, BERT, RoBERTa はすべて Base_uncased モデルを用いた. エポックは最大 20 に設定し，F1 が最大であるべストエポックモデルをテストに使用した. 最大入力系列長は 256 , バッチサイズは 64 、学習率は 1e-5 である.


# 化学工学分野の論文に含まれる命名法に基づく 変数記号および定義の解析

加藤 祥太 加納 学
京都大学大学院情報学研究科
\{shota, manabu\}@human.sys.i.kyoto-u.ac.jp

## 概要

プロセス産業においてデジタルツインを実現するために対象プロセスの挙動を正確に模倣できる物理モデルが必要であるが，精緻な物理モデルの構築には膨大な労力を要する．著者らは，物理モデル構築工程を効率化するために，物理モデルを自動で構築する人工知能 (AutoPMoB) の実現を目指している. AutoPMoB の実現には文献からの変数定義抽出技術の開発が必要である. 本研究ではその一環として,化学工学分野の 42,323 報の論文に含まれる命名法から 549,840 個の変数記号-変数定義ぺアを抽出し，解析した. 本解析により, 化学工学分野では変数記号に $\rho, \mu, \alpha$ ，変数定義には Reynolds number が最もよく用いられることと, 変数定義の単語数が他分野と化学工学分野とでは異なることを明らかにした。

## 1 はじめに

プロセス産業のデジタルトランスフォーメーション（DX）の実現に向けた最も重要な技術であるデジタルツインを実現するためには，対象プロセスの挙動を正確に再現できる物理モデルが不可欠である.しかし，高精度な物理モデルを構築するには，対象プロセスに関する専門知識を有する技術者や研究者が膨大な文献を調査し，モデル構築に必要な情報を収集し，それらを組み合わせて試行錯誤的に精度向上を行うことが必要とされている．著者らは， この物理モデル構築工程を効率化するために物理モデル自動構築 AI (Automated physical model builder; AutoPMoB）の実現を目指している [1].

物理モデルの表記では数式が重要な役割を果たしており，数式を理解するためには数式を構成する変数の意味を正しく認識する必要がある。しかし，論文中の変数の意味を正しく把握するためには，文中から変数定義を抽出したり別の情報源をもとに

図 1 Nomenclature の例 [2]

定義を予測したりする必要がある．論文には図 1 に示すような Nomenclature が記載されていることがある. Nomenclature とは用語に対する定義の一覧のことであり，一般に命名法と訳される. Nomenclature が記載されている場合には変数記号に対する変数定義の意味を容易かつ正確に抽出できる。本研究は，AutoPMoB の実現に必要な要素技術の 1 つである変数定義抽出手法の開発の一環として，この Nomenclature を複数の論文から抽出して解析する。

## 2 関連研究

変数定義抽出を目的とした最近の自然言語処理タスクに SymeEval2022 Task 12: Symlink がある [3]. Symlink タスクでは，論文中に存在する変数記号と変数定義を抽出し，さらにそれらの関係も抽出することを目指す. Symlink データセットでは，計算機科学・生物学・物理学・数学・経済学の 5 つの分野の TeX 形式の論文に含まれる変数記号と変数定義が対応付けられている. Symlink データセットには 102 報の論文が用いられ，21,915 個の変数記号に対して 9,556 個の変数定義がアノテーションされた. 同様に変数記号に対する変数定義を抽出する手法の開発を目的としたタスクとして，NTCIR-10の Math understanding subtask がある [4]. このタスクでは 45 報の論文に含まれる 4,323 個の変数記号に変数定義が付与された [5]. 分野によって変数定義の記述の仕方は異なるため，我々の最終目的である AutoPMoB の実現に有力な手法を開発するには化学工学関連の文献に含まれる変数記号と変数定義を含

むデータセットが必須である. 上述の既存研究ではいずれも arXiv [6] 上の論文を対象としているが，化学工学関連の論文が arXiv に投稿されることは稀である.そのため, これまでに化学工学関連の論文を対象としたデータセットは存在しない.

## 3 データセット

Elsevier Research Product APIs [7] を用いて，110の化学工学関連論文誌から XML (Extensible Markup Language）形式の論文を収集した. Elsevier 社が公開している XML 形式の論文では，現在，2001 年と 2002 年に開発された XML DTD (Document Type Definitions) 5 が用いられている [2]. API で収集した論文を確認したところ，2003 年以前の論文には XML DTD 5 に基づくものとそれ以前の XML DTD に基づくものが存在していた. そこで，本研究では 2004 年以降の論文を対象とした．XML DTD 5 において，Nomenclature は ce:nomenclature 要素で表され，文書で使用される用語と定義のリストを含む [2]. 用語と定義はそれぞれ def-term 要素と def-dsc 要素で表される [2]. Nomenclature の中には略語（Abbreviation）が含まれることもあるが，本研究では変数のみを対象とする. 本稿では，数学的表現を表す $\mathrm{mml}$ : math 要素が 1 つのみ含まれる def-term 要素を変数記号，それと対応する def-dsc 要素を変数定義とみなす. 2004 年 1 月から 2022 年 3 月までに出版された，変数を含む Nomenclature が存在する論文を収集したところ，42,323 報を得た。 さらに各論文の Nomenclature から合計 549,840 個の変数記号-変数定義ペアを抽出した.

## 4 解析結果

## 4.1 変数

論文に含まれる変数記号-変数定義ぺアの数の度数分布を図 2 に示す. 図ではぺアの数の最大値を 100 としたが，1つの論文に含まれる変数記号-変数定義ぺアの数の最大値は 168 , 最小値は 1 , 平均值は 13，中央値は 5 だった. 図 2 において，変数の数が 1, 2, 3 個の論文は $8,173,5,293,3,463$ 報であった. これらの論文のうち多くは，変数を $\mathrm{mml}$ : math 要素ではなく, ce:italic 要素（斜体表記）としていた。 そのため，図 2 に示す変数の数は実際に論文で用いられているよりも少ない. ce:italic 要素の変数は他の専門用語や略語との区別が難しいと判断したた

The number of variables in one paper

図 2 論文に含まれる変数の数の度数分布

表 1 変数記号の頻度上位 30 個

め，今回の解析では対象としなかった。

## 4.2 変数記号

変数記号は 143,722 種類であった. 変数記号の頻度の上位 30 個を表 1 にまとるる. 頻度が最大の変数記号は $\rho$ であり，その数は 7,752 報 $(5.4 \%)$ であった。

論文間で変数定義が異なるかを確認するため，上位 3 つの変数記号 $\rho, \mu, \alpha$ のそれぞれについて，その定義の主辞の頻度（Frequency; Freq.) を表 2 に示す.本稿では，主辞の抽出に ScispaCy [8] を用いた。 $\rho$ と $\mu$ ではそれぞれ $94.8 \%, 83.1 \%$ の定義の主辞が density, viscosity であった. 一方， $\alpha$ の定義の主辞は $19.3 \%$ が diffusivity， $11.1 \%$ が fraction， $10.5 \%$ が coefficient であった。表 1 に示した各変数について，最も頻度が高い定義が全定義に占める割合を計算したところ，最小值は $\phi$ の $17 \%$ ，最大値は $\rho$ の $86 \%$ であり，この割合が $50 \%$ 以上である変数は 9 個だった.

化学工学関連の論文では， $T_{\mathrm{R}}$ や $T^{\mathrm{e}}$ のように，変数記号に下付き文字や上付き文字などの修飾が付与されることが多い. 本稿では，このように修飾さ
表 2 変数記号に対する定義の主辞の頻度

表 3 主変数記号の頻度上位 30 個

れる変数記号を主変数記号と呼び，数学的表現を表す mml: $m$ ath 要素に含まれる最初の $\mathrm{mml}: \mathrm{mi}$ 要素を主変数記号として抽出した. 主変数記号の頻度の上位 30 個を表 3 に示す. 表 1 と表 3 を比べると, $C$ や $Q$ などの変数は単独で用いられることが少ないが修飾を付与して用いられる割合が他の変数よりも高いことがわかる.

主変数記号についても表 2 と同様に，3つの主変数記号 $T, C, m$ に対応する変数定義の主辞の頻度を表 4 に示す. 主変数記号も変数記号と同様に，最も頻度が高い定義が全体に占める割合が変数記号の種類によって 30 ポイント程度異なる. 以上の結果より，変数記号に対応する変数定義を正確に予測するには，変数記号のみに着目するのではなく, 文献のその他の情報を参照する必要があるといえる。

## 4.3 変数定義

変数定義を構成する単語数の度数分布を図 3 に示す. 一部の変数定義には ce:math 要素で表される数学的表現も含まれていたが，今回は ce: math 要素 1 つを 1 単語として数えた. 図 3 より，単語数が 3 の変数定義が最も多い 111,732 個（20.3\%）であった. また，変数定義の単語数の最大値は 79 , 平均值は 5, 中央值は 4, であった. Lai らが作成した Symlink データセットでは，変数定義の長さは最大 47 で, 1-3 の長さの変数定義が大部分を占めていた [3]. 化表 4 主変数記号に対する定義の主辞の頻度

The number words in each variable definition

図 3 変数定義に含まれる単語数の度数分布

学工学分野の論文では, Lai らが用いた 5 つの分野よりも変数定義の長さが長く, 分野によって長さに差があることが明らかになった。

変数定義と変数定義の主辞の頻度の上位 30 個をそれぞれ表 5 と表 6 に示す. 表 5 に示すように，今回対象とした変数定義のいくつかには単位が含まれる. 変数定義に単位が含まれるために, temperature (K) と temperature, $\mathrm{K}$ のように，単位表記の仕方は異なるが意味が同じ変数定義を複数確認できる。これは数学や情報学の分野に無い工学分野に特有の傾向である. 表 6 において, number, rate, coefficient $の$ 順に主辞の頻度が高い. 表 5 を見ると, number は数の表記に加えて，レイノルズ数（Reynolds number）やプラントル数（Prandtl number）のような専門用語の表記に用いられるために頻度が高いことがわかる。

頻度が高い順に 3 つの変数定義と変数定義の主辞に対する主変数記号を表 7 と表 8 に示す. 表 7 より，変数記号に対する変数定義の場合と比べて，変数定義に対する変数記号の使い方は多くの論文で同じであることがわかる。一方で，表 8 が示すように，変数定義の主辞に対する変数記号の頻度はいずれも $30 \%$ 以下であった. したがって，変数定義から変数記号を予測する場合, 本稿で作成したデータ
表 5 変数定義の頻度上位 30 個

表 6 変数定義の主辞の頻度上位 30 個

セットをそのままが活用できる可能性がある.

## 5 おわりに

本研究では，変数定義抽出手法開発のために，化学工学関連論文に含まれる 549,840 個の変数記号と変数定義のペアを解析した. 解析の結果，変数記号に対応する変数定義を正しく抽出するには変数記号と変数定義以外の文献の情報が必要であることが示唆された. 今後は特徵量作成や言語モデルのチュー ニングに本データセットを活用し，正確に変数定義を抽出できる手法の開発に取り組む.

## 謝辞

本研究は JSPS 科研費 JP21K18849 の助成を受けたものです.

## 参考文献

[1] Shota Kato and Manabu Kano. Towards an automated physical model builder: Cstr case study. In Yoshiyuki Yamashita and Manabu Kano, editors, 14th International表 7 変数定義に対する主記号の頻度

Reynolds number mass flow rate (kg/s) Prandtl number Symbol Freq.|Symbol $\quad$ Freq.|Symbol Freq.

表 8 変数定義の主辞に対する主記号の頻度

number rate coefficient

Symposium on Process Systems Engineering, Vol. 49 of Computer Aided Chemical Engineering, pp. 16691674. Elsevier, 2022.

[2] Tag by Tag, The Elsevier DTD 5 Family of XML DTDs Version 1.9.5.9. https://www.elsevier.com/_data/ assets/pdf_file/0003/58872/ja5_tagbytag5_v1.9.5. pdf, 2016. (Accessed on 01/03/2023).

[3] Viet Lai, Amir Pouran Ben Veyseh, Franck Dernoncourt, and Thien Nguyen. SemEval 2022 task 12: Symlink linking mathematical symbols to their descriptions. In Proceedings of the 16th International Workshop on Semantic Evaluation (SemEval-2022), pp. 1671-1678, Seattle, United States, July 2022. Association for Computational Linguistics.

[4] Akiko Aizawa, Michael Kohlhase, and Iadh Ounis. NTCIR10 math pilot task overview. In Proceedings of the 10th NTCIR Conference, pp. 654-661, 2013.

[5] Giovanni Yoko Kristianto, Goran Topić, and Akiko Aizawa. Extracting textual descriptions of mathematical expressions in scientific papers. In D-Lib Magazine, Vol. 20. Corporation for National Research Initiatives, 2014.

[6] arxiv.org e-print archive. https://arxiv.org/. (Accessed on $01 / 13 / 2023$ ).

[7] Elsevier developer portal. https://dev.elsevier.com/. (Accessed on 01/12/2023).

[8] Mark Neumann, Daniel King, Iz Beltagy, and Waleed Ammar. ScispaCy: Fast and Robust Models for Biomedical Natural Language Processing. In Proceedings of the 18th BioNLP Workshop and Shared Task, pp. 319-327, Florence, Italy, August 2019. Association for Computational Linguistics.


# 検索クエリにおける共起情報を活用した 非曖昧ドメイン固有語辞書の構築: ランドマークの事例

西川荘介 山城颯太 浅野広樹 佐野峻平 竬々野学
ヤフー株式会社
\{sonishik, soyamash, hiroasan, shsano, msassano\}@yahoo-corp.jp

## 概要

特定ドメインにおける曖昧性のない固有名詞群 （非曖昧ドメイン固有語）は固有表現抽出を中心に有用である. 本稿では非曖昧ドメイン固有語辞書構築の一例として, 地図上の一点を表す拠点名称以外の意味ではほぼ出現しない語 (非曖昧ランドマーク語) の辞書の自動構築に取り組む. 提案手法ではこの問題を,エンティティ名が非曖昧ランドマーク語であるか否かの二値分類タスクとして扱い, 検索クエリにおける共起語情報を考慮したモデルを提案する. 実験では提案モデルで 0.907 の F1 值を達成し, ルールベースやその他の機械学習モデルよりも高い性能を示した. さらに, 提案モデルを用いた辞書自動構築により, 固有表現抽出システムの改善を確認した.

## 1 はじめに

非曖昧ドメイン固有語とは特定のドメインを特徴づけるドメイン固有語 $[1,2,3]$ のうち, そのドメイン内のエンティティを指し示す以外の意図で使われることがほぼない語を指す. 非曖昧ドメイン固有語辞書は固有表現抽出器構築において, あるドメインで適合率重視の高速な抽出器を手早く実現したい場合 $[4,5,6]$ や,ツイートや検索クエリなどの対象語の文脈が乏しく曖昧性の解消が難しい場合 $[7,8]$ などに有用である. ${ }^{1)}$ しかし, 非曖昧ドメイン固有語は潜在的に大量に存在し, 常に新語が登場するため, 人手により辞書を拡張し続けることは困難である. 一方で非曖昧ドメイン固有語を含むエンティティリストは知識べースを始めとする言語資源から容易に手に入る. そこで本稿ではこれらの資源を活用し, 拠点名称

図 1 拠点名称ドメインでの非曖昧ドメイン固有語構築

ドメインを対象とした非曖昧ドメイン固有語（非曖昧ランドマーク語）辞書の自動拡張に取り組む。

本研究ではこの自動拡張を行うため, 知識べースなどから取得されたエンティティ名が非曖昧ランドマーク語か否かの二値分類タスクを考える（図 1）. この分類設定では例えば実在する施設名だが一般語でも利用される語（“だるま”,“チューリップ”）や拠点名称かつ固有名詞だがランドマーク意図以外でも利用される語（“甲子園”）などが混在する中で, 真の非曖昧ランドマーク語（“紀尾井タワー”）を判定する必要がある. そのため, 既存の一般名詞か固有名詞かを区別する設定 $[9,10,11]$ やドメイン固有語を分類する設定 $[1,2]$ とは分類対象が異なり,非常に曖昧性が高い. また, 非曖昧ランドマーク語に関する知識は一部の著名なランドマークを除いて利用可能でない場合が多く[12], 分類の手がかりとして使用するのは難しい. そこで本研究では非曖昧ランドマー ク語が拠点名称ドメインに関連する語と検索クエリ上で共起しやすい点に着目し, 検索クエリの共起語特徴量を考慮した二値分類モデルの提案を行う.こ

のモデルを用いて,エンティティ名リストから非曖昧ランドマーク語を自動的に抽出し, 辞書拡張を行うことを想定する. なお, 本手法は学習データとエンティティ名リストを目的ドメインのものに差し替えることで, 拠点名称以外のドメインにも適用可能だと考えられる. 関連研究については付録 A で述べる。

実験では人手で構築したデータセットを用いて複数のベースライン手法との比較を行い, 提案手法の有効性を確認する. さらに提案した二値分類器により実際に非曖昧ランドマーク語辞書の拡張を行い，固有表現抽出システムへの効果を調査する。

## 2 提案手法

本章ではエンティティ名が非曖昧ランドマーク語か否かを判定する二值分類器の構築法を記す.

## 2.1 データセット構築

本節では, 非曖昧ランドマーク語か否かの二値分類データセットを構築した手順について説明する。我々はヤフーの固有表現抽出システムで補助的に用いられてる既存の非曖昧ランドマーク辞書や場所名リストから正例・負例のデータセットを構築した. 具体的には, 非曖昧ランドマーク辞書の語は正例データとし, 場所名リストの語は人目で非曖昧ランドマーク語ではないと判定された語を負例データとした.この負例データには県名・市名などの一般的な地名や, 地図上で一点に定まらないチェーン店名などが含まれる. また,“甲子園”, “だるま” などの必ずしもランドマーク意図があるとは限らない曖昧性の高い語を負例に含めるために, ウェブ検索クエリコーパスに対して形態素解析で前処理後, ある頻度以上出現する語を負例データに追加した。

## 2.2 検索クエリの共起語情報の導入

本節ではより正確な分類を目指し, 検索クエリを活用した手法について説明する. 分類対象のエンティティ名にランドマーク語の手がかりとなるような部分語（“タワー”,“郵便局”）が含まれない場合,対象語の表記情報のみから非瞹昧ランドマーク語の判定を行うことは困難である. また, 多くの非曖昧ランドマーク語は Wikipediaのような自然文コーパスを始めとする大規模コーパス中には出現しないため [12], これらの文書の周辺文脈から曖昧性判定を行う
のは難しい. ${ }^{2)}$ そこで本研究では検索クエリの活用に着目した.例えば曖昧性の高いランドマーク語である “甲子園” は検索クエリ上で “優勝”, “結果”, “球場”などのその曖昧性を解消しうる複数ドメインの語と共起する. 一方, 非瞹昧ランドマーク語は検索クエリ上で拠点名称ドメインの語とよく共起する傾向があり, 例えば“紀尾井タワー”は “アクセス”,“行き方”,“レストラン”とよく共起する. そこで提案手法では分類モデルとして BERT[14]を用い, (1) 事前学習時, (2) fine-tuning 時の二つの設定で検索クエリ上の共起語情報を導入する.

(1) の設定では BERT の事前学習 (Masked LM[14])時のデータセットにウェブ検索クエリコーパスを用いる.これにより, 対象語についての検索クエリ上の共起語情報が暗黙的にモデルに取り込まれる. また,(2)の設定では対象語に対して, その語と共起するウェブ検索クエリ上の語を全て [SEP] トークンで連結することでクエリ共起語付きデータを生成する (例: “紀尾井タワー [SEP] アクセス $[\mathrm{SEP}]$ 行き方 [SEP] レストラン”）．これにより, モデルは対象語とクエリ共起語を区別でき,一つの対象語に対して複数のクエリ共起語を付与できる。3）このデータセットを用いた fine-tuning により検索クエリの共起語情報が明示的にモデルに取り込まれる。

## 3 実験

本章では構築したデータセットを用いて二値分類モデルの学習・評価を行う.さらに, 実際に非曖昧ランドマーク辞書の拡張を行い, 固有表現抽出システムへ導入した場合の影響を報告する。

## 3.1 実験設定

2.1 節で構築したデータセットからランダムにサンプリングを行い, 正例 13,443 件, 負例 62,902 件を得た.これを層化分割し, 学習データ 56,345 件, 検証データ 10,000 件, テストデータ 10,000 件を得た. 評価指標としては Recall,Precision,F1 値を用いた. また,以下では構築した各モデルの設定について述べる。

2）仮に出現する場合も，その周辺文脈のうちどの範囲を分類の手がかりとするかは自明ではない. 仮に出現文書全体を手がかりとする場合は分類モデルの不要な複雑化を招く [13].

3）ユーザーの入力した生の検索クエリ (例: “アクセス紀尾井タワー”,“紀尾井タワー”)を直接分類対象とする設定も考えられるが, (1) 対象語とクエリ共起語の区別,(2) 検索クエリの出現頻度の偏りの調整など,いくつかの課題を解消する必要があり煩雑となる。
表 1

各モデルの二值分類タスクにおける評価結果

BERT ベースラインモデルとして日本語 Wikipedia で事前学習された BERT(以下東北大 BERT) を用いる.4）また, ウェブ検索クエリコーパスで事前学習された BERT（以下クエリ BERT）としてはヤフー社内製のものを用いる.5）両モデルともに最終層の [CLS] トークンに対応する表現を線形分類器に入力することで分類する.

次に, 2.2 節で述べたクエリ共起語付きデータの構築法について説明する. 直近のヤフー検索 ${ }^{6}$ のクエリから 300 万件標本抽出し, それらをスペース区切りで分割し, 各語に対する異なる共起語を最大 10 件までランダムに収集する。 ${ }^{7)}$ この共起語辞書を用いて分類対象の語に対応する共起語を取得し,[SEP] トークンで連結させることで, クエリ共起語付きデータセットを構築する. 実験では（1）対象語のみの場合（2）得られた共起語を全て（最大 10 件）付与した場合の 2 つの設定で提案モデルを比較した.8)

fastText 深層学習を活用して文書分類を解く強力なモデルとして fastText 分散表現の平均ベクトルを入力として線形層で分類する手法 [15] が知られており, 本研究のベースラインとして採用した. このモデルでも BERT での処理 3.1 と同様に学習データに共起語を付与した設定を検証する. この際, 対象語と共起語は単にスペース区切りで連結し, 前処理として MeCab[16] による単語分割を行った.

頻度フィルタ非曖昧ランドマーク語は一般名詞群やランドマーク以外の意図を持つ語と比較し， ウェブ検索クエリ上での出現頻度が低いことが経験的にわかっている. そこでウェブ検索クエリコーパスでの頻度が一定以下である語を非曖昧ランドマー

4) huggingface.co/cl-tohoku/bert-base-japanese-v2

5）検索クエリは短いため,Masked LM のみで事前学習している. techblog.yahoo.co.jp/entry/2021122030233811/

6) https://search.yahoo.co.jp/

7）出現頻度が高い共起語を優先する方法も考えられるが，ランダムに収集する場合とほぼ性能が変わらないことが予備実験で確認されている。

8）なお, 入力共起語数の増加に伴い, 分類性能が向上することが実験で確認されている (付録 B).

図 2 データサイズの影響. 横軸は対数スケール.

クとするルールを作成した. なお,この閾値としては学習データで最も $\mathrm{F} 1$ 値が高くなる値を採用した.

接尾辞一致非曖昧ランドマーク語となり得る語には “○○病院”, “○○郵便局” など特定の接尾辞を持つ語が多い. そこで事前に既存の非曖昧ランドマーク辞書語に頻出する接尾辞を収集し,その接尾辞リストに対象語の接尾辞がマッチした場合に非曖昧ランドマークとするルールを作成した.

なお, 付録 Cにその他の詳細設定を記載した。

## 3.2 実験結果

表 1 に実験結果を示す. 結果から,ルールベースの手法と比較すると機械学習モデルの特に BERT モデルの性能が高いことが分かる. また, 入力共起語を用いない BERT モデルでは東北大 BERT より,クエリ BERT の性能が高い. また, 両 BERT モデルで入力共起語を付加した場合, さらに性能が向上しており, $\left.{ }^{9}\right)$特にクエリ BERT + 入力共起語モデルでは 0.907 の F1 值を達成している. これらの結果は, ウェブ検索クエリによる共起語情報を事前学習時,fine-tuning 時のそれぞれで導入する有効性を示している。

## 3.3 データサイズの影響

非曖昧ランドマーク判定に用いる二値分類モデルを構築する際, 今回のように必ずしも数万件単位の学習データが用意できるとは限らない. 従って, 本節では学習データ数ごとの各モデルの性能を比較することで, 少量の初期データしか手に入らない実践的な設定での提案手法の効果を確認する (図 2). その結果, $1,000 \sim 5,000$ 程度のデータ数10) でも各 BERT モデルで $\mathrm{F} 1$ 値 0.8 前後のスコアが確認されたが, この

9） fastText モデルでは大力共起語の付加により性能が低下した.このモデルでは対象語と付加共起語の区別がつかず,付加共起語がノイズとして働いてしまったためだと考えられる。

10） 正例 (非曖昧ランドマーク語) 数は 180 9 900 程度である。
範囲のデータ数ではクエリ BERT より東北大 BERT に基づくモデルの性能が高いことが確認された.これはクエリ BERT では一般的な語の知識が欠けており, その獲得のために一定の学習データが必要であることが理由として考えられる. また,クエリの共起情報を保持していない東北大 BERT では, データ数 3, 000 ほどから fine-tuning 時にクエリ共起語を付加する効果が現れ始めた. 以上から学習データが少ない場合は東北大 BERT+入力共起語モデルを活用することで効率良く辞書を拡張できることがわかる。

## 3.4 固有表現抽出でのオフライン評価

本節では構築した二値分類モデルを用いて非曖昧ランドマーク辞書の拡張を行い, 非曖昧ランドマー ク辞書を補助的に利用する固有表現抽出システム ${ }^{11)}$ に実際に導入した際の効果を報告する. 分類対象のエンティティ名リストは拠点名称とそのメタ情報を含む拠点名称データベースから取得する.このデー タベースでは図 1 の例のように, 曖昧なランドマー ク名が混在している. このデータベースの拠点名称群に対して前処理 ${ }^{12)} を$ 行い,3.1 節で構築したクエリ BERT モデルによる非曖昧ランドマーク語の抽出を行うことで, 既存の非曖昧ランドマーク辞書を $10.9 \%$ 拡張した.

その結果, 直近一週間のウェブ検索クエリに対するランドマーク認識率は $7.5 \%$ 増加した. この増加分を人手で評価した結果, $98.7 \%$ が改善, $1.3 \%$ が改悪と判断された.この結果から, 提案手法の分類モデルによる非曖昧ランドマーク辞書拡張が固有表現抽出システムに有用であることが確認された. また改悪例ではチェーン店を誤認識している例が散見されたため,この改善が今後の課題として考えられる。

## 4 定性分析

本章では 3.1 節のテストデータを用いて定性分析を行う.まず,ルールベースと機械学習ベースのモデル群の差分について述べる. 頻度フィルタによる分類では「検索されやすい高頻度ランドマーク語」を誤って負例と判定する場合があった. また, 接尾辞一致では “大学病院” などの「拠点名称になり得る接尾辞を持つ一般的な語」も正例判定してしまう場合

があった.これらの語について, 提案手法で構築した機械学習モデルは正確に分類できており, 単なる頻度情報や対象語の表記情報のみに依存しない分類が可能であることが確認された.

次に, 検索クエリによる事前学習の効果を確かめるため, 東北大 BERT とクエリ BERTを比較する. その結果,“大社” “亭”などの「低頻度だがランドマークに用いられやすいサブワードを含む語」をクエリ BERT で正例判定可能となった例が確認された. さらにクエリ BERT では “甲子園”などの「様々な意図で用いられる曖昧語」を負例判定可能となった例がいくつか確認された.これらの結果はクエリ事前学習により, 検索クエリ上における共起語情報が埋め込まれたことが原因と考えられる。

最後に, 入力データに検索クエリを付加する効果を確かめるため,クエリ BERT とクエリ BERT+入力共起語を比較する.クエリ BERT 単体では例えば“ カケーメセレゼ”13)のような「対象語の表記情報にランドマークに関連するサブワードが一切なく, かつウェブ検索クエリ上で低頻度な語」に対して誤分類する例が散見された. 一方で, 入力共起語を用いたモデルではこれらの語において“BBQ”,“食事”,“道の駅” などの拠点名称を想像できる入力共起語により正例判定が可能となった例や“ツイッター”,“本名”,“アルバイト”など様々なドメインの入力共起語により負例判定が可能となった例が確認された.これらの結果はウェブ検索クエリ事前学習時に共起情報がモデルに十分に埋め込まれなかった語に対して, 明示的に入力データに共起語を付加することで,fine-tuning 時にモデルが共起情報を考慮できるようになったためだと考えられる。

## 5 おわりに

本稿ではエンティティ名リストからの非曖昧ランドマーク語自動抽出を目指し, 検索クエリの共起語情報を考慮した分類モデルを提案した. 実験では提案手法の有効性が確認され, さらに実際に提案モデルにより既存の非曖昧ランドマーク辞書を拡張することで, 固有表現抽出システムの改善を実現した.

本研究では拠点名称ドメインを対象としたが，レシピやショッピング, 医療などの他の異なるドメインにおいても非曖昧ドメイン固有語辞書の需要がある. 従って本研究のアイデアを他のドメインに適用することが今後の発展として考えられる。

13）説明のために作成した架空のランドマーク名である.

## 参考文献

[1] Su Nam Kim and Lawrence Cavedon. Classifying domain-specific terms using a dictionary. In Proceedings of the Australasian Language Technology Association Workshop 2011, pp. 5765, December 2011.

[2] Lucas Hilgert, Lucelene Lopes, Artur Freitas, Renata Vieira, Denise Hogetop, and Aline Vanin. Building domain specific bilingual dictionaries. In Proceedings of the Ninth International Conference on Language Resources and Evaluation (LREC'14), pp. 2772-2777, May 2014.

[3] Su Nam Kim, Timothy Baldwin, and Min-Yen Kan. Extracting domain-specific words - a statistical approach. In Proceedings of the Australasian Language Technology Association Workshop 2009, pp. 94-98, December 2009.

[4] Alexandra Pomares Quimbaya, Alejandro Sierra Múnera, Rafael Andrés González Rivera, Julián Camilo Daza Rodríguez, Oscar Mauricio Muñoz Velandia, Angel Alberto Garcia Peña, and Cyril Labbé. Named entity recognition over electronic health records through a combined dictionary-based approach. Procedia Computer Science, Vol. 100, pp. 55-61, 2016.

[5] Reiko Hamada, Ichiro Ide, Shuichi Sakai, and Hidehiko Tanaka. Structural analysis of cooking preparation steps in japanese. In Proceedings of the Fifth International Workshop on on Information Retrieval with Asian Languages, IRAL '00, p. 157-164, 2000.

[6] Shaodian Zhang and Noémie Elhadad. Unsupervised biomedical named entity recognition: Experiments with clinical and biological texts. Journal of Biomedical Informatics, Vol. 46, No. 6, pp. 1088-1098, 2013. Special Section: Social Media Environments.

[7] Alan Ritter, Sam Clark, Mausam, and Oren Etzioni. Named entity recognition in tweets: An experimental study. In Proceedings of the 2011 Conference on Empirical Methods in Natural Language Processing, pp. 1524-1534, July 2011.

[8] Woojin Paik, Elizabeth Liddy, Edmund Yu, and Mary McKenna. Categorization and standardizing proper nouns for efficient information retrieval. In Acquisition of Lexical Knowledge from Text, 1993.

[9] Massimiliano Ciaramita and Mark Johnson. Supersense tagging of unknown nouns in WordNet. In Proceedings of the 2003 Conference on Empirical Methods in Natural Language Processing, pp. 168-175, 2003

[10] 村脇有吾, 黒橋禎夫. テキストから自動獲得した名詞の分類.言語処理学会年次大会発表論文集, pp. 716-719, Mar 2010.

[11] Judita Preiss and Mark Stevenson. Distinguishing common and proper nouns. In Second Joint Conference on Lexical and Computational Semantics (*SEM), Volume 1: Proceedings of the Main Conference and the Shared Task: Semantic Textual Similarity, pp. 80-84, June 2013.

[12]松田耕史, 佐々木彬, 岡崎直観, 乾健太郎. 場所参照表現タグ付きコーパスの構築と評価. 情報処理学会研究報告. 自然言語処理研究会報告, Vol. 2015, No. 12, pp. 1-10, 012015.

[13] Iz Beltagy, Matthew E. Peters, and Arman Cohan. Longformer: The long-document transformer. arXiv:2004.05150, 2020.

[14] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, June 2019

[15] Armand Joulin, Edouard Grave, Piotr Bojanowski, and Tomas Mikolov. Bag of tricks for efficient text classification. In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics: Volume 2, Short Papers, pp. 427-431, April 2017.
[16] Taku Kudo, Kaoru Yamamoto, and Yuji Matsumoto. Applying conditional random fields to Japanese morphological analysis. In Proceedings of the $\mathbf{2 0 0 4}$ Conference on Empirical Methods in Natural Language Processing, pp. 230-237, July 2004.

[17] Michele Bevilacqua, Tommaso Pasini, Alessandro Raganato, and Roberto Navigli. Recent trends in word sense disambiguation: A survey. In Zhi-Hua Zhou, editor, Proceedings of the Thirtieth International Joint Conference on Artificial Intelligence, IJCAI-21, pp. 4330-4338, 8 2021. Survey Track.

[18] David Nadeau and Satoshi Sekine. A survey of named entity recognition and classification. Lingvisticae Investigationes, Vol. 30, No. 1, pp. 3-26, 2007.

[19] Qing Liu, Hongyu Lin, Xinyan Xiao, Xianpei Han, Le Sun, and Hua Wu. Fine-grained entity typing via label reasoning. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 4611-4622, November 2021.

[20] Davi Reis, Felipe Goldstein, and Frederico Quintao. Extracting unambiguous keywords from microposts using web and query logs data. In Making sense of Microposts (at WWW 2012), 2012.

[21] Aixin Sun. Short text classification using very few words. In Proceedings of the 35th International ACM SIGIR Conference on Research and Development in Information Retrieval, SIGIR '12, p. 1145-1146, 2012.

[22] Andrei Z. Broder, Marcus Fontoura, Evgeniy Gabrilovich, Amruta Joshi, Vanja Josifovski, and Tong Zhang. Robust classification of rare queries using web knowledge. In Proceedings of the 30th Annual International ACM SIGIR Conference on Research and Development in Information Retrieval, SIGIR '07, p. 231-238, 2007.

[23] Xuan-Hieu Phan, Le-Minh Nguyen, and Susumu Horiguchi. Learning to classify short and sparse text and web with hidden topics from large-scale data collections. In Proceedings of the 17th International Conference on World Wide Web, WWW '08, p. 91-100, 2008.

[24] Zheng Yu, Haixun Wang, Xuemin Lin, and Min Wang. Understanding short texts through semantic enrichment and hashing. IEEE Transactions on Knowledge and Data Engineering, Vol. 28, No. 2, pp. 566-579, 2016.

[25] Chi Sun, Luyao Huang, and Xipeng Qiu. Utilizing BERT for aspect-based sentiment analysis via constructing auxiliary sentence. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 380-385, June 2019

[26] U. Lee, Z. Liu, and J. Cho. Automatic identification of user goals in web search. In WWW '05: Proceedings of the 14th International World Wide Web Conference, pp. 391-400. ACM Press, 2005.

[27] Dou Shen, Jian-Tao Sun, Qiang Yang, and Zheng Chen. Building bridges for web query classification. In Proceedings of the 29th Annual International ACM SIGIR Conference on Research and Development in Information Retrieval, SIGIR '06, p. 131-138, 2006.

[28]佐々木彬, 五十嵐祐貴, 渡邊陽太郎, 乾健太郎. 場所参照表現のグラウンディングに向けて. 言語処理学会年次大会発表論文集, pp. 177-180, Mar 2014.

[29] Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization. In 7th International Conference on Learning Representations, ICLR 2019, New Orleans, LA, USA, May 6-9, 2019, 2019 .

## A 関連研究

本研究で行う非曖昧な語の抽出は,語義曖昧性解消 [17] や固有表現抽出 [18],Entity Typing[19] のように与えられた文脈に基づき対象語の曖昧性を解消するのではなく, 元来語義曖昧性のない（低い）語を選別する. 最も類似した研究として,Reis らの研究がある [20]. Reis らは英語の SNS テキストを対象とする非曖昧キーワード抽出器の構築に取り組んだ. 彼らはウェブクエリやウェブコーパスから得られる逆文書頻度を始めとした様々な統計的特性を用いたヒューリスティックなフィルタリングルールと, そのルールによる分類結果を用いて学習した SVM 分類器を提案した. 本研究では日本語の拠点名称ドメイン固有語の抽出に対象を絞り, 人手による学習データとウェブ検索クエリを用いた比較的シンプルな設定で汎用言語モデルを学習することで, 実用的な性能を持つ二値分類モデルを構築する. また, 抽出された非曖昧ランドマーク語を固有表現抽出システムに取り込み,システムの性能改善を試みる。

本研究と関連する名詞辞書構築の研究としては, 特定

ドメインを特徴づけるドメイン固有語辞書 $[1,2,3]$ の構築を目指した研究や一般名詞と固有名詞を分類する研究 $[9,10,11]$ などがある. これらの研究と比較すると主に (1)“非曖昧” ドメイン固有語か否かの分類を行う点,(2) 分類の素性にウェブ検索クエリを活用する点で本研究は異なる. (1) について例えば Kim らの研究では石油ドメイン固有語として“gulf”を紹介しているが,これは石油に関係ない文脈で “湾”として登場したり，一般的に“（意見の）隔たり” という意味でも利用されるため, 本研究では収集対象外の語となる. さらに複数のドメイン意図を持つ固有名詞 (“甲子園”) が存在するため, 単に固有名詞を収集するわけでもない.このように名詞辞書構築という観点で特定ドメインの意図以外でほぼ登場しない非曖昧ドメイン固有語を自動収集する方向性は, 我々の知る限り着目されてこなかった. また,(2) について例えば村脇らは対象語のウェブコーパス中の振る舞いを素性として用いることで固有名詞群の分類を行っている.しかし,一部の有名なランドマークを除いて多くの非曖昧ランドマーク語は自然文コーパスに登場しないため [12], 本研究では分類の素性にウェブ検索クエリを活用する。

また, 本研究は比較的短い文書の分類を行う短文書分類タスクと関連がある.このタスクの有力な解決手段として特徴量拡張による手法が提案されており, 検索エンジンの結果 $[21,22]$ や大規模知識ベース $[23,24]$ などの何らかの外部言語資源から得た特徴量を追加で考慮することで分類性能を向上させている. 本研究では非曖昧ドメイン固有語の抽出を短文書分類タスクとして扱い, 汎用言語モデル BERT の Masked LM[14] の事前学習データや fine-tuning 時の付加データ [25] としてウェブ検索クエリのテキスト情報を直接活用することで分類性能の向上を試みる.

また,ユーザーの入力した検索クエリ自体に対してカテゴリ分類もしくは意図推定を行う研究がいくつか報告されている [26, 27]. 本研究の分類対象はあくまでエンティティ名であり, 分類性能を向上させるために検索クエリにおける共起語情報を補助的に用いる。

また, 文書中から場所参照表現を抽出し位置情報と紐付ける研究がいくつか行われている $[12,28]$. 本研究は固有表現抽出タスクではなくエンティティ名を分類するタスクである. 本研究の成果により構築された非曖昧ランドマーク語辞書を活用することで, ランドマーク意図を持つ

図 3 入力共起語数の影響

語をどのような文脈でも高い適合率で固有表現抽出することが可能となる.

## B 入力共起語数の影響

本節では入力共起語数の影響を調査するため, 入力共起語数ごとの性能推移を BERT モデルで観測した（図 3）. その結果, 両 BERT モデルで入力共起数の増加に伴い, 性能が向上することが確認された. また, 性能の向上幅は東北大 BERT の方が大きく, 入力共起語 10 個を利用した場合はクエリ BERT の性能とほぼ同等の性能を達成していることが確認された. この結果は, ウェブ検索クエリ事前学習を行わなくても, 共起語を fine-tuning 時に付加することで検索クエリの共起情報を BERT に導入できることを示している.

## C 実験設定詳細

本節では本文から省略した実験設定の詳細について説明する. BERT モデルの学習では学習率を $2 \times 10^{-5}$, バッチサイズを 64 にし, パラメータ更新の最適化アルゴリズムは AdamW[29] を用いた. また, 検証データにおける F1 值が改善されなくなるまで学習を行った. また,BERT モデルの実装には transformer ${ }^{14)}$, fastText 文書分類モデルの実装には fastText ${ }^{15)}$ を用いた. 機械学習べースのモデルでは異なるシード値で 3 回実験を行い, その結果の平均を示した.

14) https://huggingface.co/

15) https://fasttext.cc/


# 逆翻訳を利用したデータ拡張による文間の修辞構造解析の改善

前川在 1 小林 尚輝 1 平尾 努 2 上垣外 英剛 1 奥村 学 1
1 東京工業大学 ${ }^{2} \mathrm{NTT}$ コミュニケーション科学基礎研究所
\{maekawa, kobayasi, kamigaito, oku\}@lr.pi.titech.ac.jp
tsutomu.hirao.kp@hco.ntt.co.jp

## 概要

十分な量の学習データを確保できないことによ

り，文間の修辞構造解析の性能は文内と比較して大幅に低く，下流タスクにとって大きな問題となっている。これを解決するため，本稿では，学習データを逆翻訳することで得た擬似正解データを用いて解析器を事前学習し, 正解データを用いて追加学習する手法を提案する. シフト還元法による上向き解析器, スパン分割による下向き解析器に提案法を適用し，標準的ベンチマークデータセットである RST-DT，Instr-DT を用いて評価した結果，疑似正解データを用いることで Standard-ParsEval のスコアが約 1-2 ポイント向上することを確認した.

## 1 はじめに

修辞構造理論 [1] では, Elementary Discourse Unit (EDU) と呼ばれる，節に相当する単位を葉ノードとする構成素木として文書の構造を表す. 木は完全 2 分木として表され，中間ノードには 1 つ以上の EDU からなるテキストスパンの役割である核 (Nucleus: N) あるいは衛星 (Satellite: S) と，S から $\mathrm{N} への$ 修飾関係を表す修辞関係ラベルが与えられる. 基本的に核と衛星は対 (S-N，N-S のどちらか) となるが，並列構造を表す場合に例外的に核と核が対 (N-N) となる. 図 1 の左の木は 3 文，6つの EDU からなる文書の構造を表した修辞構造木である. 通常, 修辞構造解析は与えられた文書を，EDUを葉とした修辞構造木へ変換するが，修辞構造木を要約や翻訳などの下流タスクで利用する場合には, 図 1 の右の木のように文を葉とした木が用いられることが多く $[2,3]$,文を葉とした解析の性能向上が望まれる.

一般的に修辞構造解析は隣接するテキストスパンを結合するか否か，あるいはどこで分割するかという一種の分類問題を解くことで実現される. よって，学習データの個々の事例は，テキストスパンと

図 1 RST-DT [4] における修辞構造木の例 (WSJ_1100): $s_{1}$ :[ $e_{1}$ :(Westinghouse Electric Corp. said), $e_{2}$ :(it will buy Shaw-Walker Co.)], $s_{2}$ :[ $e_{3}$ :(Terms weren't disclosed.)], $s_{3}$ :[ $e_{4}$ :(Shaw-Walker,), $e_{5}$ :(based in Muskegon, Mich.,), $e_{6}$ :(makes metal files and desks, and seating and office systems furniture.)]図中 $e$ は EDU, $s$ は文を表す.

その正解/不正解の分割位置，結合される/されないテキストスパンの対のように，テキストスパンを基本単位とする。文を葉とした修辞構造木を構築する解析器を学習するには，EDUを葉とした木を，文を葉とした木へと変換する必要がある。すると，図 1 の右の木からも明らかなように 1 つの修辞構造木から得られるテキストスパンの数が大きく減るため学習データも大きく減ることとなる。修辞構造解析器の学習, 評価に標準的に利用される最大規模のデー タセットである RST Discourse Treebank (RST-DT) [4] ですら 385 文書しかなく, 文間の修辞構造解析のための学習データ不足はより深刻な問題となる.

この問題を解決するため，本稿では，正解データの文書に対し逆翻訳を適用することで得た文書を擬似正解データとして活用する手法を提案する。逆翻訳で大量の擬似正解データを作成し, 解析器の事前学習に用いることで汎化性能の向上を図る. 現在の最高性能の解析器である Kobayashi ら [5] の上向き,下向き解析器に基づき，RST-DT，Instr-DT [6] の二つの異なる領域のデータセットを用いて提案法を評価したところ，擬似正解データを用いることで， RST-DT の場合には Standard-ParsEval で約 1 ポイント，Instr-DT の場合には約 2 ポイント性能が向上することを確認した。

図 2 提案手法の概要

## 2 関連研究

本来の修辞構造解析は EDU を葉とした木を構築する．EDU は文よりも小さな単位であるため文書内の EDU の数は文の数よりも多く，RST-DT では 1 文書あたりの平均 EDU 数は約 57 である. いわゆる構文解析と比較すると木のサイズが非常に大きい。よって，解析中のエラーの伝搬が問題となる.これを抑制するため, 文内の修辞構造と文間の修辞構造を独立に解析する手法が提案されている [7, 8, 9, 10]. Feng ら [7] は, CRFに基づく上向き解析法を提案し, Joty ら $[8,9]$ は Dynamic CRF に基づく上向き解析法を提案している. Lin ら [10] は， Feng らの手法に対しLSTM を導入することで人手の規則による特徴抽出を廃した。また，Kobayashi ら [11] は，EDU，文，段落という 3 つの粒度の単位を葉とする修辞構造を解析する手法を提案した。

修辞構造解析の最大規模のデータセットである RST-DT ですら文書数は 385 しかなく，十分な量があるとは言えない。よって，学習データとテストデータとの間で語彙が違う場合には解析器の性能が劣化する. これを解決するため擬似正解データを利用する手法が盛んに研究されている. Braud ら [12] はスペイン語，ドイツ語の修辞構造アノテーション済みデータセットを英語へと翻訳することで擬似正解データを作成した. しかし，英語以外のデータセットも十分な量があるとは言えず，大量の擬似正解データを用意することはできない。一方, Huber ら [13] は， distant supervision を用いてラベルなしデータから大規模な擬似正解データ MEGA-DT を作成した。そして，Guz ら [14] は，MEGA-DTを用いて解析器を事前学習, 正解データを用いて追加学習することで修辞構造解析の性能が向上することを示した．ただし， Huber らの方法は，大規模な擬似正解データを作成可能であるが，修辞関係ラベルを与えることができない. 一方, Kobayashi ら [15]は，複数の解析器の間で結果が一致する合意部分木を擬似正解データとする手法を提案した. MEGA-DT と同様，大量の擬似正解データを作成可能であるが，擬似正解データの信頼性を担保するためには解析器の性能がある程度高くなければならない。しかし，後述するように現在のトップレベルの解析器でも文間の修辞構造解析の性能は非常に低く解析結果の信頼性が低い.よって，複数の解析器の間で合意がとりにくく，それがとれたとしても非常に小さな部分木となってしまい擬似正解データとして役に立たない可能性がある。また，ラベルなしデータを用いる手法は全般に，正解データと同じ領域のラベルなしデータを利用できるとは限らないという限界もある。

## 3 提案手法

文間の修辞構造解析を改善するには，当然文間の修辞構造のアノテーション済みデータセットが必要となる。人手作成データをこれ以上集めることが困難であることを勘案すれば従来研究と同様に擬似正解データに頼ることが妥当であろう。ここで，我々が欲するデータが文を単位としていることに注目すると，逆翻訳を用いることにより，文書の領域にとらわれることなく語彙や構文の多様性を高めた擬似正解データを作成できる。そして，これを用いて解析器を事前学習することで頑健性の向上を図る (図 2 参照).

## 3.1 逆翻訳を用いた擬似正解データ作成

逆翻訳を単純に適用すると元のデータセットと同じサイズの擬似正解データしか得ることができない。これを解決するため，本稿では，以下のように，原文書から逆翻訳対象とする文をサンプリングし, 逆翻訳時に累積確率を基にした top- $p$ サンプリング [16]を利用して原文に対して複数の逆翻訳結果を用意する。

1. 文書 $d$ から， $n \%$ の文を選択する。具体的には， $s_{d}$ を文書 $d$ に含まれる文の数として， $\operatorname{int}\left(s_{d} \times n / 100\right)$ 文をランダムに選択する.
2. 1 で選択した文を逆翻訳する。逆翻訳時には top- $p$ サンプリングを用いて $k$ 個の翻訳を獲得し，その中から 1 つの翻訳をランダムに選択する.

1,2 を $M$ 回繰り返すことで正解データの $M$ 倍の擬似正解データを獲得する。なお，1 で選択されなかった文には逆翻訳を適用せずそのまま擬似正解データとして用いることに注意されたい.

## 3.2 修辞構造解析器

修辞構造解析器としては，現時点で世界最高性能の, Kobayashi ら [5] で用いられた, 上向き, 下向きのものを利用する. 両方の手法ともテキストスパン (文の系列) に対するべクトル表現は事前学習済み言語モデルを経て得たスパンの左端の単語ベクトルと右端の単語ベクトルの平均ベクトルで表す. 本稿では文献 [5] に従い事前学習済み言語モデルとして DeBERTa [17] を採用する。

## 上向き解析

Guz ら [18] のシフト還元法による上向き解析法を単純化した手法である. スタック $S$ に解析済み部分木を格納し，キュー $Q$ に未解析の文を格納し，以下のシフトと還元操作を繰り返すことで下から修辞構造木を構築する。

シフト $Q$ の先頭の文を取り出し， $S$ に積む，

還元 $S$ の上 2 つの部分木をとりだし併合した後,再度 $S$ に積む。

なお，還元操作の後，左右の部分木の核性 (N-S,S$\mathrm{N}, \mathrm{N}-\mathrm{N})$ と修辞関係ラベルの推定を独立に行う. それぞれの推定は以下の順伝播型ニューラルネットワーク $\mathrm{FFN}_{\mathrm{act}}, \mathrm{FFN}_{\mathrm{nuc}} ， \mathrm{FFN}_{\mathrm{rel}}$ を用いて行う.

$
S *=\operatorname{FFN} *\left(\operatorname{Concat}\left(\mathbf{u}_{\mathrm{s}_{0}}, \mathbf{u}_{\mathrm{s}_{1}}, \mathbf{u}_{\mathrm{q}_{0}}\right)\right)
$

ここで， $\mathbf{u}_{\mathrm{s}_{0}}, \mathbf{u}_{\mathrm{s}_{1}}$ はそれぞれ $S$ の上 2 つの部分木が支配するスパンのベクトル表現， $\mathbf{u}_{\mathrm{q}_{0}}$ は $Q$ の先頭の文のベクトル表現である.

## 下向き解析

Kobayashi ら [11] の再帰的スパン分割による下向き解析法を単純化した手法である. 文書全体を表すスパンを貪欲に 2 分割することで下向きに修辞構造木を構築する。 $i$ 番目から $j$ 番目の文からなるスパンを $k$ 番目の文で分割するスコアは以下の式で定義

表 12 つのデータセットの統計データ

される.

$
s_{\text {split }}(i, j, k)=\mathbf{h}_{i: k} \mathbf{W} \mathbf{h}_{k+1: j}+\mathbf{v}_{\text {left }} \mathbf{h}_{i: k}+\mathbf{v}_{\text {right }} \mathbf{h}_{k+1: j}
$

ここで， $\mathbf{W}$ は重み行列， $\mathbf{v}_{\text {left }}, \mathbf{v}_{\text {right }}$ は重みべクトル， $\mathbf{h}_{i: k}, \mathbf{h}_{k+1: j}$ は以下の式で定義される.

$
\begin{aligned}
\mathbf{h}_{i: k} & =\mathrm{FFN}_{\text {left }}\left(\mathbf{u}_{i: k}\right), \\
\mathbf{h}_{k+1: j} & =\mathrm{FFN}_{\text {right }}\left(\mathbf{u}_{k+1: j}\right)
\end{aligned}
$

なお， $\mathbf{u}$ はスパンのベクトル表現である。そして，以下の式でスパンの分割を決定する。

$
\hat{k}=\underset{i \leq k<j}{\operatorname{argmax}} s_{\text {split }}(i, j, k)
$

上向き解析と同様，核性と修辞ラベル推定は独立に，上のスパン分割と同様に行う.

## 4 実験

## 4.1 実験設定

評価実験には，標準的ベンチマークデータセットである RST-DT [4] と Instr-DT [6] を用いた. RST-DT は新聞記事 (Wall Street Journal) に対して修辞構造のアノテーションを与えたものであり，学習データ 347 文書，テストデータ 38 文書からなる. 開発デー タは与えられていないので Heilman ら [19] に従い，学習データから 40 文書を選択した. Instr-DT は家の修理に関するマニュアルに対してアノテーションを与えたものであり，176文書ある．RST-DT とは異なり，テストデータ，開発データの分割は与えられていない. 本稿では Kobayashi ら [5] の設定に従った. それぞれのデータセットの統計データを表 1 に示す.

文区切りについては文献 [5] に従った。評価には文献 [20] に従い Standard-ParsEval を用いた。木構造のみを評価する Span，核性，修辞関係ラベルを含めて評価する Nuc., Rel., すべてのラベルを含めて評価する Full の計 4 通りの指標を用いた。

なお，各文書に対して $n=25,50,75,100$ として文をランダムに選択し，各文に対し $p=0.95$ の top- $p$ サンプリングで 4 件の逆翻訳を作成した. そ

表 2 Standard-ParsEval を用いた評価結果. Baseline は正解データのみを用いた解析器.

して, $M=10$ として原文書の文数の 10 倍の擬似正解データを得た.

翻訳器としては，Marian-NMT [21]を用いて 1.5 億文のパラレルコーパス1)で学習された OPUS-MT [22] を用いた。また，逆翻訳を行うためには，原言語を一旦任意の目標言語へと翻訳しなければならない.目標言語として，スペイン語，イタリア語，ドイツ語，フランス語，ベトナム語を用い，RST-DT の学習データを逆翻訳した文と逆翻訳前の文との間の BLEU 値 [23] を計算したところ，スペイン語が 42.7 と最も高かったため, 以降の実験の逆翻訳にはスペイン語を利用した. なお, Instr-DT の学習データに対して同様に BLEU 值を計算したところ 40.3 であった。

## 4.2 結果と考察

表 2 に評価結果を示す. スコアは異なるシードを用いた 5 回の試行の平均值であり，カッコ内はその標準偏差を表す。表より，RST-DT のスコアは全般に Instr-DT よりも低い. RST-DT は，1 文書あたりの文の数が多く, 正解の修辞構造木の多様性も高い. よって，学習がより困難であったと考える。

逆翻訳による擬似正解データを用いることで， RST-DT において Span で 0.3, Nuc., Rel. で 0.9, Full で 1.3 ポイントの性能向上が得られている. 上向きと下向きを比較するとやや下向きが良く, 逆翻訳対象として選択する文のパラメタ $n$ については，上向きでは $n=50$, 下向きでは $n=100$ が良い.

一方，Instr-DT においては，すべての指標において RST-DT よりも大きく性能向上しており, その値は約 2 ポイントである. 特に上向き解析ではすべての性能向上が 2 ポイントを上回っている. これは， Instr-DT が RST-DT よりもデータサイズが小さいこ

とから，疑似正解データがより効果を発揮したものと考える。垧きと下向きを比較すると明らかに上向きが良い。逆翻訳のパラメタ $n$ については $n=50$ が良い. 両方のデータセットで最適な $n$ は異なるものの擬似正解データを利用する効果は明らかである.

解析器の性能を左右するスパンのベクトル表現が単語のベクトル表現に依存することに注意すると，学習データの語彙とテストデータの語彙に乘離がないことが望ましい，そこで，テストデータに対する学習データ, 擬似正解データの語彙の被覆率を調べたところ，RST-DTでは，学習データのみで $76.2 \%$ ，擬似正解データを加えると $80.9 \%$ ，Instr-DT では，学習データのみで $83.2 \%$ ，擬似正解データを加えると $89.6 \%$ であった. 両方ともに語彙の被覆率が向上しており，これが解析性能の向上に寄与したと考える。また，逆翻訳の BLEU にほぼ差がないにもかかわらず，Instr-DT の方が被覆率のゲインが大きいことから，逆翻訳の効果は Instr-DT の方がより顕著であったと考える。

## 5 おわりに

本稿では，文間の修辞構造解析の性能を改善するため，学習データに対して逆翻訳を適用することで大量の擬似正解データを作成し，これを用いて解析器を事前学習，正解データを用いて追加学習する手法を提案した. Kobayashi ら [5] の世界最高性能の上向き，下向き解析器に基づき， ベンチマークデー タセット RST-DT，Instr-DT を用い，擬似正解データを用いないべースラインと提案法を比較したところ，RST-DT では最大で 1.3 ポイント，Instr-DT では最大で 2.8 ポイント, Standard-ParsEval スコアが向上し，逆翻訳による擬似正解データの有効性を確認できた。

## 謝辞

本研究の一部は JSPS 科研費 JP21H03505 の助成を受けている。

## 参考文献

[1] W.C. Mann and S.A Thompson. Rhetorical structure theory: A theory of text organization. Technical Report ISI/RS-87-190, USC/ISI, 1987.

[2] Yuta Kikuchi, Tsutomu Hirao, Hiroya Takamura, Manabu Okumura, and Masaaki Nagata. Single document summarization based on nested tree structure. In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 315-320, Baltimore, Maryland, June 2014. Association for Computational Linguistics.

[3] Jingun Kwon, Naoki Kobayashi, Hidetaka Kamigaito, and Manabu Okumura. Considering nested tree structure in sentence extractive summarization with pre-trained transformer. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 4039-4044, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[4] Mary Ellen Okurowski Lynn Carlson, Daniel Marcu. RST Discourse Treebank. Philadelphia: Linguistic Data Consortium, 2002.

[5] Naoki Kobayashi, Tsutomu Hirao, Hidetaka Kamigaito, Manabu Okumura, and Masaaki Nagata. A simple and strong baseline for end-to-end neural rst-style discourse parsing. In Findings of the Association for Computational Linguistics: EMNLP 2022, pp. 6754-6766, 2022.

[6] Rajen Subba and Barbara Di Eugenio. An effective discourse parser that uses rich linguistic information. In Proceedings of Human Language Technologies: The 2009 Annual Conference of the North American Chapter of the Association for Computational Linguistics, pp. 566-574, Boulder, Colorado, June 2009. Association for Computational Linguistics.

[7] Vanessa Wei Feng and Graeme Hirst. Text-level discourse parsing with rich linguistic features. In Proceedings of the 50th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 60-68, Jeju Island, Korea, July 2012. Association for Computational Linguistics.

[8] Shafiq Joty, Giuseppe Carenini, Raymond Ng, and Yashar Mehdad. Combining intra- and multi-sentential rhetorical parsing for document-level discourse analysis. In Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 486-496, Sofia, Bulgaria, August 2013. Association for Computational Linguistics.

[9] Shafiq Joty, Giuseppe Carenini, and Raymond T. Ng. CODRA: A Novel Discriminative Framework for Rhetorical Analysis. Computational Linguistics, Vol. 41, No. 3, pp. 385-435, 092015.

[10] Xiang Lin, Shafiq Joty, Prathyusha Jwalapuram, and M Saiful Bari. A unified linear-time framework for sentence-level discourse parsing. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 4190-4200, Florence, Italy, July 2019. Association for Computational Linguistics.

[11] Naoki Kobayashi, Tsutomu Hirao, Hidetaka Kamigaito, Manabu Okumura, and Masaaki Nagata. Top-down rst parsing utilizing granularity levels in documents. In Proceedings of the AAAI Conference on Artificial Intelligence, pp. 8099-8106, Apr. 2020.

[12] Chloé Braud, Barbara Plank, and Anders Søgaard. Multi-view and multi-task training of RST discourse parsers. In Proceedings of COLING 2016, the 26th International Conference on Compu- tational Linguistics: Technical Papers, pp. 1903-1913, Osaka, Japan, December 2016. The COLING 2016 Organizing Committee.

[13] Patrick Huber and Giuseppe Carenini. MEGA RST discourse treebanks with structure and nuclearity from scalable distant sentiment supervision. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 7442-7457, Online, November 2020. Association for Computational Linguistics.

[14] Grigorii Guz, Patrick Huber, and Giuseppe Carenini. Unleashing the power of neural discourse parsers - a context and structure aware approach using large scale pretraining. In Proceedings of the 28th International Conference on Computational Linguistics, pp. 3794-3805, Barcelona, Spain (Online), December 2020. International Committee on Computational Linguistics.

[15] Naoki Kobayashi, Tsutomu Hirao, Hidetaka Kamigaito, Manabu Okumura, and Masaaki Nagata. Improving neural RST parsing model with silver agreement subtrees. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 1600-1612, Online, June 2021. Association for Computational Linguistics.

[16] Ari Holtzman, Jan Buys, Li Du, Maxwell Forbes, and Yejin Choi. The curious case of neural text degeneration. In 8th International Conference on Learning Representations, ICLR 2020, Addis Ababa, Ethiopia, April 26-30, 2020. OpenReview.net, 2020.

[17] Pengcheng He, Jianfeng Gao, and Weizhu Chen. Debertav3: Improving deberta using electra-style pre-training with gradientdisentangled embedding sharing. CoRR, Vol. abs/2111.09543, , 2021.

[18] Grigorii Guz and Giuseppe Carenini. Coreference for discourse parsing: A neural approach. In Proceedings of the First Workshop on Computational Approaches to Discourse, pp. 160167, Online, November 2020. Association for Computational Linguistics.

[19] Michael Heilman and Kenji Sagae. Fast rhetorical structure theory discourse parsing. CoRR, Vol. abs/1505.02425, , 2015.

[20] Mathieu Morey, Philippe Muller, and Nicholas Asher. How much progress have we made on RST discourse parsing? a replication study of recent results on the RST-DT. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 1319-1324, Copenhagen, Denmark, September 2017. Association for Computational Linguistics.

[21] Marcin Junczys-Dowmunt, Roman Grundkiewicz, Tomasz Dwojak, Hieu Hoang, Kenneth Heafield, Tom Neckermann, Frank Seide, Ulrich Germann, Alham Fikri Aji, Nikolay Bogoychev, André F. T. Martins, and Alexandra Birch. Marian: Fast neural machine translation in C++. In Proceedings of ACL 2018, System Demonstrations, pp. 116-121, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[22] Jörg Tiedemann and Santhosh Thottingal. OPUS-MT - building open translation services for the world. In Proceedings of the 22nd Annual Conference of the European Association for Machine Translation, pp. 479-480, Lisboa, Portugal, November 2020. European Association for Machine Translation.

[23] Matt Post. A call for clarity in reporting BLEU scores. In Proceedings of the Third Conference on Machine Translation: Research Papers, pp. 186-191, Brussels, Belgium, October 2018. Association for Computational Linguistics.


# 含意関係と感情極性は対立的談話関係を捉えられるか

佐藤 拓真 ${ }^{1}$ 窪田 愛 1 峯島 宏次 ${ }^{1}$
1 慶應義塾大学
takuma.sato.keio@gmail.com
ai .kubota.m@gmail.com
minesima@abelard.flet.keio.ac.jp

## 概要

本稿では、含意関係と感情極性が対立的談話関係をどれだけ捉えられるかについて、解析と考察を行った。具体的には、節ぺアに対して判定器を用いて含意関係ラベルと感情極性のスコアをそれぞれ算出し、それらの結果と談話関係コーパスにおける談話関係ラベルを変換して対応付けたうえで、一致率を求めることで各要素の関連を分析した。

解析の結果、含意関係は逆接の談話関係を検出する上で、十分ではないものの一定程度注目に値する要素であることが示唆された。また、感情極性については、極性の判定と逆接の談話関係が同時に発生するという仮説に反して、逆接の談話関係の検出において必須の要素ではないことが分析された。

## 1 はじめに

談話関係 (discourse relation) は人間がどのようにして文を理解・構成しているかを分析するために重要な言語要素である。しかしながら、この談話関係が他の言語要素との間にもつ関係、すなわち、どのような言語要素が談話関係を決定するかについての日本語の研究は、言語処理や言語学の領域において必ずしも十分になされているとはいえない。

本稿においては、上述の談話関係のなかで、とりわけ対立的談話関係について、これが含意関係および感情極性との間にもつ関係について、実験・解析を行った。具体的には、対立的談話関係の代表例として、逆接の談話関係を対象とした。逆接の談話関係がもつ特質として、それが推論 (inference)を含む点がある。たとえば、

(1) 小学生でありながら、哲学書を読む。

という逆接の文においては、「小学生であるならば、哲学書（のような難しい本）は読まない」と
いう非明示的な推論が隠れて存在している。そのほかにも、文中に明示的に現れない対立や不一致 (disagreement)、矛盾の関係を内包するなど、逆接の談話関係は言語的な情報に富んだものである。

窪田ら [1] は、文中に潜む推論の存在に着目して、 とりわけ「ながら」「つつ」という接続詞によって結ばれる文に対して、逆接の談話関係アノテーションを行った。本稿においては、このコーパス（以下単に「談話関係コーパス」と呼ぶ）を用いて、逆接の談話関係を付与された節ぺアを抽出し、多様な対立的関係を含むデータセットを構築した。このデー タセットを用いて、含意関係および感情極性がどの程度逆接の対立的談話関係を捉えているかを解析した。

逆接の談話関係にある文においては、接続詞以前と以降の間になんらかの対立があることが多い。たとえば、

（2）心中悲しみに打ちのめされながら、表情では平然を装っていた。

という文においては、前述したような推論的対立のみならず、「悲しい」と「平然な表情」という感情極性の対立など、さまざまな観点からの対立が発見される。このように、逆接はさまざまな対立関係を含む。

ここで、この逆接の談話関係と含意関係および感情極性について、以下のような仮説を立てる。

仮説 1 「P ながら（つつ） $\mathrm{Q} 」$ が逆接を表すのは、 $P$ と $Q$ が矛盾するとき、つまり、 $P \Rightarrow \neg Q$ という含意関係における矛盾が成立するときである。

仮説 $2 「 \mathrm{P}$ ながら（つつ） $\mathrm{Q} 」$ が逆接を表すのは、 $P$ の感情極性と $Q$ の感情極性が反転しているときである。

これらの仮説を立てられるのは、矛盾 (contradiction）の含意関係や感情極性の反転が、implicit でありながらも定量的に観察される言語的な対立といえるためである。

このような言語学的仮説をコーパスと言語処理のツール（解析器）を用いて検証することで、言語学と言語処理の双方に新たな知見がもたらされることが期待される。理論言語学の領域では、逆接の談話関係と感情極性との関係は十分に注目されていないが、本研究は両者の関係に光を当てるものである。自然言語処理の領域では依然として困難な課題として存在している論理や矛盾の問題における進展に寄与することができる。これらの領域における進展によって、たとえば、テキスト生成等における生成文中の論理的な矛盾や hallucination [2] といった課題への貢献が期待できる。

## 2 関連研究

言語学では、英語の “A but B” が表すいわゆる逆接・譲歩の関係の分析として、条件文 (“If A, B”) や連言文 (“A and B")、選言文 (“A or B”) との比較のもと、多くの研究が蓄積されている $[3,4,5,6]$ 。日本語の「A、しかし、B」を典型とする逆接・譲歩の関係についても、条件文や理由文と比較して様々な分析が提案されている $[7,8,9]$ 。これら日本語・英語の逆接関係の分析に共通するのは、“A but B” や「A、 しかし、B」の典型的用法では、Aと B の間にある種の論理的な矛盾があり、「Aならば（通常は）B ではない」といった対立的推論が前提されている、という観点である ${ }^{1)}$ 。 1 節の仮説 1 はこの分析に基づくものである。

同時に次の例が示すように、A と B の間には必ずしも「Aならば（通常は）Bではない」という推論が前提されず、単に意味的な対比 $[3,5,4,6]$ を表すケースもある。

(3) John is rich but Bill is poor. (ジョンは金持ちだが、ビルは貧乏だ）

感情極性に着目した仮説 2 はこの種の用法に適合していると予想される。計算言語学・自然言語処理で

1）「Aならば（通常は）Bではない」といった対立的推論を前提するのは「直接型 (Direct consessive)」と呼ばれるタイプの逆接で、それに対して、「Aならば（通常は）C、かつ、B ならば（通常は）Cではない」といった対立的推論を前提する「間接型 (Indirect consessive)」と呼ばれるものも存在する ([1] 参照)。「直接型」「間接型」の下位分類の詳細については今後の課題とする。
は、Socher et al. [10] は、仮説 2 を英語で検証した試みとみなせる。

英語では、談話関係コーパス [11]から含意関係ぺアを抽出するという試み [12]があるが、逆接・譲歩の矛盾関係は扱われていない。他方で、既存の含意関係認識データセット $[13,14,15]$ は、含意関係に加えて矛盾関係を含むが、“not”や「ない」のような否定語を伴うケースなど、比較的単純なパターンに限られる傾向がある [16]。コーパス上で逆接・譲歩が付与された談話関係に着目することで、より多様で複雑な対立的推論関係を取り出すことが可能になると考えられる。

## 3 実験設定

## 3.1 データセットの構築手法

使用した文はすべて Kainoki Treebank [17] から抽出した。抽出対象としては、「ながら」「つつ」のそれぞれ（以下、「対象接続詞」と呼ぶ）が前後の節を結ぶ接続詞として機能している文を対象とした。

対象接続詞によって接続される文として、「文前半・文後半」と「 $\operatorname{Arg} 1 \cdot \operatorname{Arg} 2 」 の$ 二種類を抽出した。「文前半・文後半」については、該当する文の文頭から対象接続詞以前を「文前半」、対象接続詞以降から文末までを「文後半」とした。「Arg1・Arg2」については、Kainoki Treebankにおいてそれぞれ「つつ」直上の IPノード、「つつ」節を直接支配する IP ノー ドに支配される部分が該当する。

こうして抽出された「文前半・文後半」「Arg1・ $\operatorname{Arg} 2 」$ 対して、文頭および文末の処理を行った。文頭の処理としては、「話しつつ、私は」「思いながらも、やはり」といった接続部から適切に後半部分を文として抽出するために、「も」「、」を取り除く処理を行った。文末の処理としては、対象となる文の末尾が動詞・助動詞となる場合に、末尾を終止形に変換する処理を行った。処理には MeCab [18] を使用した。

構築されたデータセットの具体例を表 1 に示す。 また、対象接続詞の談話関係コーパスにおける各ラベルの件数を表 2 に示す 2$)$ 。本コーパスにおいては、陽性に相当する逆接ラベルが少ない不均衡なラベル分布がみられる点が特徴的である。

表 1 構築されたデータセットの例

 & 逆接 \\

表 2 談話関係コーパスの各ラベル件数

## 3.2 含意関係と談話関係

含意関係と談話関係の関連を明らかにするため、既存の含意関係データセットを用いて構築した含意関係判定器の出力と、談話関係コーパスから機械的に変換した含意関係ラベルの一致率を、各種評価指標を用いて算出した。

含意関係判定器構築のための学習データには、 JSICK [19]、JNLI(JGLUE [20]に含まれる)、JSNLI [21] を使用した。これらはそれぞれ、文ぺアに対する含意関係ラベルが 3 值 (entailment, contradiction, neutral）で付与された含意関係データセットである。これらの含意関係データセットに対して処理を行い、学習に使用した。各含意関係データセットのサイズを表 3 に示す。

判定器の構築にあたっては、事前学習済み言語モデル BERT [22]をベースラインモデルとした。実装においては、python フレームワーク transformers $^{3}$ における cl-tohoku/bert-base-japanese モデルを使用した $^{4)}$ 。epoch 数は 5 に設定し、最適化アルゴリズムには AdamW を使用した。学習率は 2e-5 に設定した。

上記含意関係データセットのうち JSICK を用いて構築した判定器については、ほとんど全ての入力に対して neutral ラベルを出力する挙動が見られ、有意味な実験結果が獲得されなかったため、以下では JNLI と JSNLI によって構築された判定器を用いた実験結果のみを記載する。

含意関係ラベルへの変換は、談話関係コーパスにおいて、アノテーターが一人でも逆接ラベルと判

3) https://huggingface.co/docs/transformers/index

4) https://huggingface.co/cl-tohoku/bert-base-japanese表 3 各含意関係データセットのサイズ

定した文を contradiction、それ以外を neutral と変換した。

## 3.3 感情極性と談話関係

感情極性 (sentiment polarity) と談話関係の関係を明らかにするために、節ペアのそれぞれに対する感情極性の一致・不一致を用いて、ルールベースで談話関係ラベルに変換した。感情極性の算出モデルには、 huggingface において公開されている事前学習済みモデルである daigo/bert-base-japanese-sentiment ${ }^{5}$ を使用した。

節ペアに対する上記モデルの出力において、label （極性を指す）が異なる場合、談話関係ラベルを逆接ラベルとする変換を行った。この変換手法は、逆接の談話関係においては節ぺア間でのなんらかの対立が発生しているという予想から、感情極性の反転がおこる場合には逆接ラベルの談話関係が発生しやすいという仮説を立てたことによる。

## 4 実験結果

## 4.1 含意関係

含意関係と談話関係の関係についての、「つつ」「ながら」のデータセットに対する実験結果を表 4 に示す。評価においては、逆接ラベルに対応する contradiction ラベルに対する各種スコアを観察した。

## 4.2 感情極性

感情極性と談話関係の関係についての、「つつ」「ながら」のデータセットに対する実験結果を表 4

5) https://huggingface.co/daigo/bert-base-japanese-sentiment
表 4 含意関係に関する実験結果

表 5 感情極性に関する実験結果

に示す。評価においては、逆接ラベルに対する各種スコアを観察した。

## 5 考察

## 5.1 含意関係

多くの実験設定において、Recall が高く Precision が低い傾向がみられた。このことから、「つつ」「ながら」で接続される節ペアにおいては、含意関係として contradiction と予測されるものであっても、逆接の談話関係を示さない場合が多いことが読み取れる。一方で、逆接ラベルの出現は contradiction の判定によってある程度網羅的に予測される。

以上のことから、含意関係において contradiction のラベルが付与されることは、逆接の談話関係の出現を予期させるものの、含意関係ラベルのみで逆接の談話関係の予測に十分とはいえないことが示唆される。

F1-score に注目すると、「文前半・文後半」を用いた実験よりも「Arg1・Arg2」を用いた実験のほうが高いスコアが観察された。このことから、複雑な推論や論理的関係を内包する節ぺアにおいては、使用する文を長くして情報量を増大するよりもむしろ、統語構造的に文のトリミングを行って情報量を絞るほうが含意関係の認識がしやすくなることが示唆された。

## 5.2 感情極性

多くの実験設定において、Recall よりも Precision が高い傾向がみられた。このことから、感情極性において反転のある節ぺアは談話関係としても逆接ラベルを示しやすいが、極性の反転がない節ぺアであっても逆接の談話関係をもつ場合は多いことが読み取れる。つまり、逆接の談話関係を検出するにあたって、感情極性の反転は必ずしもクリティカルな判断要素ではないことが示唆される。

## 6 おわりに

本稿においては、含意関係と感情極性が対立的談話関係、とりわけ逆接の談話関係を検出するうえでどの程度有効かについて、実験と解析を行った。その結果、まず、contradiction の含意関係の出現は逆接の談話関係の出現を予期することに一定程度有効であるが、それだけで逆接の談話関係の出現を断定するには十分でないことが示された。また、感情極性の反転は、逆接の談話関係を捉えるにあたって必ずしも決定的な要素でないことが示された。

今後の課題としては、モーダルや直接・間接性に着目した逆接の談話関係における下位分類に解析の対象を広げることや、Penn Discourse Treebank (PDTB) [23] を使用した英語データでの実験の実施、「ながら」「つつ」以外の接続詞における同様な実験・解析を行うことが存在する。

## 謝辞

本研究は、JST CREST、JP-MJCR2114 の支援を受けたものである。

## 参考文献

[1] 窪田愛, 佐藤拓真, 天本貴之, 秋吉亮太, 峯島宏次. 逆接の推論関係に着目した日本語談話関係アノテー ション. 言語処理学会第 29 回年次大会発表論文集, 2023.

[2] Kurt Shuster, Spencer Poff, Moya Chen, Douwe Kiela, and Jason Weston. Retrieval augmentation reduces hallucination in conversation. In Findings of the Association for Computational Linguistics: EMNLP 2021, pp. 37843803, Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[3] Robin Lakoff. If's, and's and but's about conjunction. In Charles J. Fillmore and D. Terence Langèndoen, editors, Studies in Linguistic Semantics, pp. 3-114. Irvington, 1971.

[4] Eve Sweetser. From Etymology to Pragmatics: Metaphorical and Cultural Aspects of Semantic Structure. Cambridge University Press, 1990.

[5] Mitsuko Narita Izutsu. Contrast, concessive, and corrective: Toward a comprehensive study of opposition relations. Journal of Pragmatics, Vol. 40, pp. 646-675, 2008.

[6] Grégoire Winterstein. What but-sentences argue for: An argumentative analysis of but. Lingua, Vol. 122, No. 15, pp. 1864-1885, 2012

[7] 小泉保. 譲歩文について. 言語研究, Vol. 91, pp. 1-14, 1987.

[8] 坂原茂. 日常言語の推論. 東京大学出版会, 1985.

[9] 衣畑智秀. 日本語の「逆接」の接続助詞について: 情報の質と処理単位を軸に. 日本語科学, Vol. 17, pp. 47-64, 2005 .

[10] Richard Socher, Alex Perelygin, Jean Wu, Jason Chuang, Christopher D. Manning, Andrew Ng, and Christopher Potts. Recursive deep models for semantic compositionality over a sentiment treebank. In Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing, pp. 1631-1642, Seattle, Washington, USA, October 2013. Association for Computational Linguistics.

[11] Rashmi Prasad, Bonnie Webber, and Aravind Joshi. Reflections on the Penn Discourse Treebank, comparable corpora, and complementary annotation. Computational Linguistics, Vol. 40, No. 4, pp. 921-950, 2014.

[12] Sara Tonelli and Elena Cabrio. Hunting for entailing pairs in the penn discourse treebank. In Proceedings of COLING 2012, pp. 2653-2668, 2012.

[13] Samuel R. Bowman, Gabor Angeli, Christopher Potts, and Christopher D. Manning. A large annotated corpus for learning natural language inference. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing (EMNLP). Association for Computational Linguistics, 2015.

[14] Adina Williams, Nikita Nangia, and Samuel Bowman. A broad-coverage challenge corpus for sentence understanding through inference. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 1112-1122, New Orleans, Louisiana, 2018. Association for Computational Linguistics.

[15] Hitomi Yanaka and Koji Mineshima. Compositional Evaluation on Japanese Textual Entailment and Similarity. Transactions of the Association for Computational Linguistics, Vol. 10, pp. 1266-1284, 112022.

[16] Suchin Gururangan, Swabha Swayamdipta, Omer Levy, Roy Schwartz, Samuel Bowman, and Noah A. Smith. Annotation artifacts in natural language inference data. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers), pp. 107-112, New Orleans, Louisiana, 2018. Association for Computational Linguistics.

[17] Ed Kainoki. The Kainoki Treebank - a parsed corpus of contemporary Japanese, 2022. https://kainoki. github. io (accessed September 2022).

[18] Taiichi Hashimoto Toshinori Sato and Manabu Okumura. Implementation of a word segmentation dictionary called mecab-ipadic-neologd and study on how to use it effectively for information retrieval (in japanese). In Proceedings of the Twenty-three Annual Meeting of the Association for Natural Language Processing, pp. NLP2017-B6-1. The Association for Natural Language Processing, 2017.

[19] Hitomi Yanaka and Koji Mineshima. Compositional evaluation on Japanese textual entailment and similarity. Transactions of the Association for Computational Lin- guistics, Vol. 10, pp. 1266-1284, 2022.

[20] Kentaro Kurihara, Daisuke Kawahara, and Tomohide Shibata. JGLUE: Japanese general language understanding evaluation. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 2957-2966, Marseille, France, June 2022. European Language Resources Association.

[21] 吉越卓見, 河原大輔, 黒橋禎夫. 機械翻訳を用いた自然言語推論データセットの多言語化. 情報処理学会第 244 回自然言語処理研究会, 72020.

[22] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[23] Rashmi Prasad, Nikhil Dinesh, Alan Lee, Eleni Miltsakaki, Livio Robaldo, Aravind Joshi, and Bonnie Webber. The Penn Discourse TreeBank 2.0. In Proceedings of the Sixth International Conference on Language Resources and Evaluation (LREC'08), Marrakech, Morocco, May 2008. European Language Resources Association (ELRA).


# Building a Name Masking System: From Dataset to Model

Tianqi Wang ${ }^{1}$ Yoichiro Ogawa $^{1} \quad$ Kazumasa Saito $^{1}$
${ }^{1}$ Classi Corp.
\{tianqi.wang, youichiro.ogawa\}@classi.jp
kazumasa.saitoh@gmail.com
}

\begin{abstract}
Data is becoming a more and more crucial resource nowadays. Machine learning techniques are rapidly developed based on the analysis and leverage of Big Data. Data is collected, stored, and processed in research and product environments. However, there is a downside that the data may contain privacy information, making it a risk to process the raw data. In this paper, we are trying to extract and mask persons' names from a dataset before any further processing. We create our dataset based on KWDLC dataset and propose a simple but efficient model to match names in texts. The model trained with Japanese name dataset is able to match names in the forms of Kanji, Katakana, Hiragana and Romaji from sentences and phrases.
\end{abstract
## 1 Introduction

Data is becoming a more and more important resource, especially for machine learning techniques and artificial intelligence. However, the privacy information potentially contained by the dataset is becoming a challenging risk $[1,2]$. For Classi, we provide assistance systems to schools to help supervisors with daily work, including online education and student management. Analysis of data produced by users such as answers submitted by students is essential to monitor the quality of our services. However, the privacy information(such as addresses, names, student numbers, etc.) potentially contained by the data make it a risky task. Thus, a system to mask privacy information is necessary. There are generally two challenges making this task difficult. Firstly, the dataset for privacy information, especially in Japanese, is scarce. Thus it is difficult to train or fine-tune a model. Secondly, the existing model does not meet the request, especially for name masking.

In this paper, we create a dataset containing Japanese names based on an existing dataset. We then build a model

Table 1 Some examples of collected names. The katakana is omitted for the limited space.

to detect names from natural language text and train the model with the proposal dataset. The experimental results indicate that our proposed model outperforms the existing NER model, and is able to process names in various forms.

## 2 Related Work

The research on privacy-preserving has been widely studied by the community. Generally speaking, there are two approaches, naming anonymization and randomization. Anonymization is a practical solution for preserving users' privacy in data publishing[3]. Data owners such as hospitals, banks, social network (SN) service providers, and insurance companies anonymize their user' $s$ data before publishing it to protect the privacy of users whereas anonymous data remains useful for legitimate information consumers. Randomization refers to methods that perturb data by multiplicative and addive noise or other randomized processes[4].

In our case, the most important privacy information is names, which is possible to be detected by NER models. Named entity recognition (NER) is the task to identify mentions of rigid designators from text belonging to predefined semantic types such as person, location, organization etc[5]. In this paper, we take the pre-trained GiNZA v5[6] as the baseline. GiNZA is a Japanese NLP library based on Universal Dependencies[7], pre-trained with several datasets for different tasks. The named entity recognition model of GiNZA is trained on a part of GSK2014-A (2019) BCCWJ edition[8].

Figure 1 The architecture of proposal model.

## 3 Proposal

## 3.1 Dataset

There is not a dataset for name-masking task according to our knowledge, thus we build the dataset by inserting names into an existing public dataset.

Collect names We collect Japanese names from a website ${ }^{1)}$ providing dummy data of privacy information. There are other types of privacy information such as addresses, credit card numbers, etc. available, but we only use the data of names in this research. The data is provided as full names. Consider the different diversity of family names and given names, the difficulty may also change. Thus we split the names to family names and given names, and organize the data in forms of Kanji, $\mathrm{Hi}-$ ragana, Katakana and Romaji respectively. Some examples of collected names are shown in Table 1 As a result, we have three dataset for full names, family names and given names respectively, and 300 data for each of them.

Insert names We build the dataset by inserting names into the KWDLC corpus[9]. The KWDLC corpus contains documents with various genres and styles, such as news articles, encyclopedic articles, blogs and commercial pages. The linguistic annotations consist of annotations of mor-

phology, named entities, dependencies, etc. We make use of the named entities' annotation in our research.

We extract only the data with names from KWDLS corpus, and remove data where the names do not refer to persons such as 薄竹善道事務所 (Office of Usutake Yoshimiti). Besides, there are texts that are the same after removing name tokens. We remove these data as well to avoid repeated data. As a result, we extracted 798 texts containing names in total. We then insert the names we obtained earlier to the corresponding position of the texts based on the annotations of named entities provided by the KWDLC corpus. All of the names are inserted into the text equally.

We assign binary labels to each character and token as the ground truth. Labels to characters and tokens contained by names are set to 1 while labels to others are set to 0 . The labels are used for training and evaluating models in the following experiments.

## 3.2 Proposed Model

We name our proposed model as NameTagger(NT) in this paper. As illustrated in Figure 1, the model consists of four layers. First, the embedding layer converts tokens to word embeddings $\mathbf{e}_{i} \in \mathbb{R}^{d}$. Then we feed the word embeddings to a Bi-LSTM layer to produce contextualized hidden states $\mathbf{h}_{i}=\left[\overrightarrow{\mathbf{h}_{i}} ; \overleftarrow{\mathbf{h}_{i}}\right]$ for each words. Note that the forward $\left(\overrightarrow{\mathbf{h}_{i}}\right)$ and backward $\left(\overleftarrow{\mathbf{h}_{i}}\right)$ hidden states are concatenated as the output of Bi-LSTM layer. We set the dropout rate of Bi-LSTM layer to 0.5 . The attention layer assign attention values to tokens as probability that the token belongs to a name. The attention values $\alpha_{i}$ to the $i^{t h}$ token are calculated as follows:

$
\alpha_{i}=\frac{1}{1+e^{\mathbf{h}_{i} \mathbf{M}+\beta}}, 0 \leq \alpha_{i} \leq 1
$

where $\mathbf{h} \in \mathbb{R}^{r}$ is the hidden state of the $i^{t h}$ token, $\mathbf{M} \in \mathbb{R}^{r \times 1}$ and $\beta \in \mathbb{R}$ are parameters to learn. Finally, we filter out tokens that are clearly non-names, such as numbers and punctuation.

## 4 Experiments and Discussion

We divide the dataset to training data $(80 \%)$, dev data $(10 \%)$ and test data $(10 \%)$, and make sure that both the text and names are different between each subset of the dataset, so that all of the input data is new to the model in the test phase. We tokenize the input data to tokens
by MeCab[10] with IPA dictionary. We use the word2vec model pre-trained with Japanese Wikipedia, distributed by the Inui Lab at Tohoku University ${ }^{2}$, to initialize the embedding layer. The word embedding dimension is $d=100$. Considering the limited size of training data, we freeze the embedding layer during training phase. The dimension of Bi-LSTM is set to 250 , so the dimension of hidden states is $r=500$ after concatenation.

The performance is evaluated on character level. To evaluate the performance, We first binarize the predicts of our model based on a threshold value:

$
p_{i}= \begin{cases}1, & \alpha_{i}>T \\ 0, & \text { otherwise }\end{cases}
$

where $p_{i}$ is the predicted label to the $i^{t h}$ token, and $T=0.7$ is a hyper-parameter. We then calculate recall, precision and F1 scores between the predicted labels and correct labels.

We train the model for 20 epochs with a learning rate of 0.001, and take Cross-Entropy as the objective function. We save the learned parameters when the model achieves the best performance on dev data, and the final performance is evaluated with the test data.

We explore the following topics in our experiments. We first test the performance of the pre-trained GiNZA model on our dataset, and discuss the possible reason limiting the performance. We then test the performance of our proposed model. Furthermore, We explore various settings to train our model, and discuss the effect on processing different name forms.

## 4.1 Performance of GiNZA

We evaluate the performance of GiNZA in detecting names from our dataset in forms of Kanji, Katakana, Hiragana and RomaJi respectively. Table 2 shows the results.

It is easy to tell that the performance of GiNZA is highly related to the names forms. GiNZA performs pretty well on names in Kanji, but almost does not work for names in Katakana and RomaJi. It is reasonable because Japanese names are in the forms of Kanji and Hiragana in most cases, and is more possible contained in the training data used by GiNZA. Considering the performance irrelevant

Table 2 The performance of GiNZA on full names (FLN), family names (FN) and given names (GN) respectively.

to the frequency of name forms, we assume that the pretrained model relies on vocabulary of names.

## 4.2 Performance of Proposed Model

We train our model with the dataset introduced in Section 3.1. The model is trained for different name forms independently. The comparison between F1 scores produced by GiNZA and our proposed model(NT) is shown in Table 4. Note that because the pre-trained GiNZA model is not finetuned with the dataset, the comparison is only for reference. Our model outperforms the pre-trained GiNZA model on all name forms, especially on non-Kanji forms. The performance on names in Romaji is even better than names in Hiragana and Katakana. It indicates that the model can be overfitted. Because names in Romaji are unknown tokens to the pre-trained word embeddings, the model may prefer to detect all of the unknown tokens as names. To inspect the hypothesis, we train the model with names in Kanji, and apply it to names in other forms. The results are shown as NT(Kanji) at Table 4. The performance on different name forms supports our hypothesis. Because the non-Kanji name tokens are unseen by the model during the training phase, the model barely matches the names correctly. Especially when the names in Romaji are unknown to the model, namely no semantic information is available, the model can not detect the names totally. In order to train one model and apply it to various name forms, we explore two approaches to solve this issue.

## 4.3 Training with Mixed Name Forms

To obtain a model capable of matching various name forms, it is natural to train the model with multiple name forms instead of single ones. To achieve this goal, we build the data set with mixed name forms.

When inserting names into texts, we insert all four forms

Table 3 Example of names extracted by NT and NT(Mix) settings.

Table 4 Performance of proposed model trained with various settings. NT is trained on and applied to datasets of each name forms independently. NT(Kanji) is trained with names in Kanji and applied to each name forms. NT(Mix) is trained with mixed name forms and applied to each name forms. NT(Random) is trained with randomly selected name tokens and applied to each name forms..

to generate the dataset. Namely we created four data for each text. The performance of the model trained with mixed name forms is shown as NT(Mix) in Table 4. The F1 score is close to models trained for each name forms independently, and much better than the setting of NT(Kanji). That indicates that training with mixed name forms clearly improves the performance. We noticed that the NT(Mix) performs even better than NT on Katakana and Romaji, which is out of our expectations, because for the NT setting the name forms are the same in training and test data, while the name forms are different for the NT(Mix) setting. Some further analysis shows that the improvement is from precision, meaning the NT(Mix) produces fewer false-positive results. Table 3 shows some examples of names extracted by the model. The first two examples show that compared to NT(Mix), NT is easier to incorrectly detect full-width numbers as names. As we mentioned above, the model may be overfitted when trained with names in Romaji, tending to predict unknown tokens as names. However, trained with mixed name forms, the model process unknown tokens better. At the same time, the 3rd and 4th examples in Table 3 show that the mixed name forms do not contribute to the processing on known tokens.

## 4.4 Training with Random Name Tokens

As we discussed in Section 4.1, one of the reason limiting the performance of GiNZA may be the dependence on name vocabulary. To train a model independent to name vocabulary, we insert random tokens instead of collected names to the texts to build the dataset. Given a text containing names, we randomly select a token from the text, and replace the name token with the random token. In this way, the selected token appears at least twice in one sentence, one as name, and the another one as non-name. By training the model with this dataset, we expect the model to learn the difference between name tokens and non-name tokens depending on the context instead of the token itself.

NT(Random) in Table 4 shows that the performance is limited overall. Considering the name tokens are randomly selected from the text, there are almost no name data in Katakana and Romaji, but the model works well on names in these two forms, especially compared to the performance of NT(Kanji) and GiNZA. We notice that the performance is limited by precision $(0.343-0.709)$, while the recall scores are still high enough (0.718 - 0.905). It may caused by the semantic features of the pre-trained word embeddings. We consider to fine-tune the word embedding layer with larger dataset in the future.

## 5 Conclusion

With the popular technique based on Big Data, masking privacy information is becoming a crucial challenge task. In this paper, we build a system to detect names in Japanese from texts. We first build a dataset for the name masking task by inserting Japanese names into an existing dataset. The dataset covers names in various forms. We train a simple but efficient model with the dataset to detect Japanese names. The model outperforms the pre-trained NER model on the name-masking task. We also discuss various settings to train and apply the model. However, because of the scarcity of data, we could not evaluate the model with data in the real product context. After applying the model to the product environment, masked data in the real world will be available. Then the model can be better trained and evaluated in the future. We shall also train the model to mask privacy information other than names such as addresses etc. in the future.

## References

[1] W Nicholson Price and I Glenn Cohen. Privacy in the age of medical big data. Nature medicine, Vol. 25, No. 1, pp. 37-43, 2019 .

[2] Sangchul Park, Gina Jeehyun Choi, and Haksoo Ko. Information technology-based tracing strategy in response to covid-19 in south korea - privacy controversies. Jama, Vol. 323, No. 21, pp. 2129-2130, 2020.

[3] Abdul Majeed and Sungchang Lee. Anonymization techniques for privacy preserving data publishing: A comprehensive survey. IEEE access, Vol. 9, pp. 8512-8545, 2020.

[4] Rasim M Alguliyev, Ramiz M Aliguliyev, and Fargana J Abdullayeva. Privacy-preserving deep learning algorithm for big personal data analysis. Journal of Industrial Information Integration, Vol. 15, pp. 1-14, 2019.

[5] Jing Li, Aixin Sun, Jianglei Han, and Chenliang Li. A survey on deep learning for named entity recognition. IEEE Transactions on Knowledge and Data Engineering, Vol. 34, No. 1, pp. 50-70, 2020.

[6] 松田寛. Ginza-universal dependencies による実用的日本語解析. 自然言語処理, Vol. 27, No. 3, pp. 695-701, 2020

[7] Marie-Catherine De Marneffe, Christopher D Manning, Joakim Nivre, and Daniel Zeman. Universal dependencies. Computational linguistics, Vol. 47, No. 2, pp. 255-308, 2021.

[8] 橋本泰一, 乾孝司, 村上浩司ほか. 拡張固有表現タグ付きコーパスの構築. 情報処理学会研究報告自然言語処理 (NL), Vol. 2008, No. 113 (2008-NL-188), pp. 113-120, 2008.

[9] Masatsugu Hangyo, Daisuke Kawahara, and Sadao Kurohashi. Building a diverse document leads corpus annotated with semantic relations. In Proceedings of the 26th Pacific Asia Conference on Language, Information, and Computation, pp. 535-544, 2012.

[10] Taku Kudo. Mecab: Yet another part-of-speech and morphological analyzer. http://mecab. sourceforge. net/, 2005 .