# オンライン百科辞典を対象とする 有効期限切れ情報データベースの作成

土屋雅稔横井康孝
豊橋技術科学大学大学院 情報. 知能工学専攻
\{tsuchiya, yokoi\}@is.cs.tut.ac.jp

## 1 はじめに

ウェブを通じて提供される膨大な情報は，我々の 日常生活において欠かせないツールとなっている. しかし，全ての情報を参照することは非現実的であ り，適切な取捨選択が必要である $[1,2]$. 特に，ウェ ブ上の情報は全てが適時に更新されているわけでは ないため，現在参照するには不適当な情報について の取捨選択は重要である。具体例として, 図 1 のよ うな情報を考える。文 $s_{b}$ に記載されている通り大志田駅は 2016 年に廃止されているため, 文 $s_{t}$ に基 づいて盛岡市浅岸字大志田に行く交通手段を考える ことは適切ではない。

ウェブには，文 $s_{t}$ のような情報が多数存在してお り，情報利活用の障害となっている。このような情報の利活用を支援するため，情報を時系列に注目し て整理$\cdot$提示する方法が提案されている $[3,4]$. しか し, 先行研究では, 利用者の観点から現在参照する には不適当な情報の自動判定は行っていない

本稿では，文 $s_{t}$ のような情報を有効期限切れ情報 と呼び，有効期限切れ情報を自動判定するタスクを 提案する．有効期限切れ情報の自動判定タスクを設定するにあたっては, 判定対象となる文 $s_{t}$ および根拠となる文 $s_{b}$ の 2 文を入力して文 $s_{t}$ が有効期限切 れであるか否かを判定する夕スク設定と, 判定対象 となる文 $s_{t}$ のみを入力して文 $s_{t}$ が有効期限切れで あるか否かを判定するタスク設定の 2 通りが考えら れる。有効期限切れ情報の自動判定によって情報利活用を支援するという，有効期限切れ情報の自動判

図 1 有効期限切れ情報の例定タスクが目指す本来の目的から考えると，文 $s_{t}$ の みを入力とする後者のタスク設定が自然である。し かし，後者の夕スク設定を実現するためには，文 $s_{t}$ が有効期限切れである根拠を発見するというタスク を同時に解く必要があり，夕スクが極端に難しくな ることが予想される。そこで本稿では，判定対象と なる文 $s_{t}$ および根拠となる文 $s_{b}$ の 2 文を入力とし て，文 $s_{t}$ が有効期限切れであるか否かを判定すると いう前者の夕スク設定に限定して検討する．以後，判定対象となる文 $s_{t}$ を判定対象文，根拠となる文 $s_{b}$ を基準文と呼ぶ。

有効期限切れ情報を収集するテキストとしては， オンライン百科事典 (日本語版 Wikipedia) を利用す る. オンライン百科事典は継続的に更新されてお り，旧版のオンライン百科事典と，新版のオンライ ン百科事典を比較すると，追加された記事や，記述内容が更新された記事が見つかる．特に，ある項目 に関する記事が更新されている場合，旧版の記述に は有効期限切れ情報が含まれ，かつ，新版の記述に は判定根拠となる情報が含まれることが多いと期待 される。

以下，有効期限切れ情報の分析と定義および有効期限切孔情報データベースの作成方法について述 べる.

## 2 有効期限切れ情報の定義

情報の有効期限切孔とは, 直感的には, 図 1 の ように，古い説明文 $s_{t}$ の情報が新しい説明文 $s_{b}$ に よって上書きされ，古い説明文の情報が有効性を 失っている状態である。ここで，以下のような文 $s_{n}$ を考える。

$s_{n}$ 盛岡市が大志田駅から浅岸駅までの 13 キ 口の近郊自然歩道を整備し、2015 年 5 月 15 日 から利用可能となった。

3 つの文 $s_{t}, s_{b}, s_{n}$ は全て, 大志田駅について述べた
文である。しかし, 文 $s_{b}$ を基準として文 $s_{t}$ が有効期限切れと言うことは可能と考えられるのに対し て, 文 $s_{n}$ を基準として文 $s_{t}$ が有効期限切孔と言う ことは困難である。この例は, 有効期限切れ関係 は，あらゆる文対に対して成り立つわけではなく， ある特定の文対に対してのみ成り立つことを示唆し ている.

そこで，この節では，有効期限切れについて，含意関係との関係に注目しつつ, 形式的な定義を与え ることを試みる。

## 2.1 有効期限切れ現象の検討

最初に，有効期限切れが実際に起きている例文を 参照しながら, 有効期限切れとは, どのような現象 であるのかを検討する。

有効期限切れが起きている例として，以下のよう な 2 つの文 $s_{1}, s_{2}$ を考える。

$s_{1}=\underset{\text { 宾ラ゙本で最も高いビルはークタワーである }}{2010 \text { 年現在 }, \text { 横 }}$

$s_{2}=$ 日本で最も高いビルは, 2015 年現在, あ べのハルカスである

「日本で最も高いビル」に関する文 $s_{1}$ の情報は，文 $s_{2}$ によって上書きされており, 2020 年現在の利用者視点では，文 $s_{1}$ の情報は有効期限切れである.

形式的に議論するため, 文 $s$ の記述内容を, 文 $s$ が注目している時間 $t$ と, 時間とは関係なく成立す る記述内容 $x$ の 2 つ組として考える.

$
s=\langle x, t\rangle
$

まず，文 $s_{1}$ の記述内容を, 2 つ組 $\left.\langle x_{1}, t_{1}\right.\rangle$ に分解する.

$
\begin{aligned}
s_{1} & =\left.\langle x_{1}, t_{1}\right.\rangle \\
x_{1} & =\underset{\text { クタで最も高いビルは },}{\text { 日横浜ランドマーである }} \\
t_{1} & =2010 \text { 年 }
\end{aligned}
$

文 $s_{2}$ の記述内容も, 同様に 2 つ組 $\left.\langle x_{2}, t_{2}\right.\rangle$ に分解 する.

$
\begin{aligned}
s_{2} & =\left.\langle x_{2}, t_{2}\right.\rangle \\
x_{2} & =\underset{\text { 日本である最も高いビルは, あべのハルカス }}{\text { 只い }} \\
t_{2} & =2015 \text { 年 }
\end{aligned}
$

ここで，文 $s_{1}$ の時間情報のみを $t_{2}$ に置き換えた文 $s_{1,2}$ を考える.

$
\begin{aligned}
s_{1,2} & =\left.\langle x_{1}, t_{2}\right.\rangle \\
& =\underset{\text { 浜ランド最も高いビルは }}{\text { 日本でークタワーである }} 2015 \text { 年現在, 横 }
\end{aligned}
$

この時, 文 $s_{1,2}$ と文 $s_{2}$ は，矛盾している.次に，有効期限切れを引き起こさない例として，以下のような文 $s_{3}$ を考える。

$s_{3}=$ 世界で最も高いビルは, 2015 年現在, ブ ルジュ・ハリファである

文 $s_{1}$ は日本で最も高いビルについて述べている. それに対して，文 $s_{3}$ は世界で最も高いビルについて 述べており, 日本で最も高いビルについてはまった く言及していない. そのため, 文 $s_{3}$ が基準となっ て, 文 $s_{1}$ が有効期限切れとなるとは考えられない. また, 文 $s_{1,2}$ と文 $s_{3}$ は, 矛盾していない.

以上の観察より, 本稿では, 有効期限切れを, 矛盾を手がかりとして定義する。

## 2.2 有効期限判定と含意関係判定の関係

本稿では, 2.1 節で述べた通り, 情報の有効期限切 れを，矛盾を手がかりとして定義する，以下では， その形式的な定義について述べる。

最初に, 含意関係判定を定義する. 先行研究 [5] にしたがうと, 含意関係判定は, 2 つの文 $s_{h}, s_{p}$ が与 えられた時, その 2 つの文の含意関係に応じて以下 の 3 通りの値を返す関数 $f$ と見なせる。 なお, 本稿 では，含意関係の方向については考慮せず，どちら かの方向の含意関係が成り立っている時は含意であ るとする。

$
f\left(s_{h}, s_{p}\right)=\left.\{\begin{array}{l}
\text { if } s_{h} \rightarrow s_{p} \vee s_{p} \rightarrow s_{h} \\
\quad \text { 含意 } \\
\text { if } s_{h} \wedge s_{p}=\phi \\
\quad \text { 矛盾 } \\
\text { otherwise } \\
\text { 中立 }
\end{array}\right.
$

次に, 有効期限判定を定義する，まず，判定対象文 $s_{t}$ と基準文 $s_{b}$ を，それぞれ内容と時間情報の 2 つ組に分解する。

$
\begin{aligned}
s_{t} & =\left.\langle x_{t}, t_{t}\right.\rangle \\
s_{b} & =\left.\langle x_{b}, t_{b}\right.\rangle
\end{aligned}
$

判定対象文 $s_{t}$ と基準文 $s_{b}$ が与えられた時, 2.1 節の 観察に基づいて, 有効期限判定を，以下の 2 通りの 値を返す関数 $g$ として定義する。

$
g\left(s_{t}, s_{b}\right)=\left.\{\begin{array}{c}
\text { if } f\left(s_{t}, s_{b}\right)=\text { 矛盾 } \\
\vee f\left(\left.\langle x_{t}, t_{b}\right.\rangle, s_{b}\right)=\text { 矛盾 } \\
\vee f\left(s_{t},\left.\langle x_{b}, t_{t}\right.\rangle\right)=\text { 矛盾 } \\
\text { 期限切れ } \\
\text { otherwise } \\
\text { 期限内 }
\end{array}\right.
$
以上のように，本稿では，情報の有効期限切れを，基準となる情報が存在して初めて決定できる概念と して扱う。

情報の有効期限切れを，以上のように定義する と, 多くの場合に利用者の直感とよく一致するが,時間変化する情報の有効期限切孔については注意が 必要である. 例として, 以下の 2 つの文 $s_{4}, s_{5}$ を考 える。

$s_{4}=$ 東都大学の 2014 年度の受験者数は 2000 人である

$s_{5}=$ 東都大学の 2015 年度の受験者数は 3000 人である

文 $s_{4}$ を，以下の 2 つ組に分解する.

$s_{4}=\left.\langle x_{4}, t_{4}\right.\rangle$

$x_{4}=$ 東都大学の受験者数は 2000 人である

$t_{4}=2014$ 年度

文 $s_{5}$ も，同様に 2 つ組に分解する.

$s_{5}=\left.\langle x_{5}, t_{5}\right.\rangle$

$x_{5}=$ 東都大学の受験者数は 3000 人である

$t_{5}=2015$ 年度

ここで，文 $s_{4}$ の時間情報のみを $t_{5}$ に置き換えた文 $s_{4,5}$ を考える。

$s_{4,5}=\left.\langle x_{4}, t_{5}\right.\rangle$

= 東都大学の 2015 年度の受験者数は 2000

この時, 文 $s_{4,5}$ と文 $s_{5}$ は矛盾している。 そのため,本稿では, 文 $s_{4}$ は 2014 年度の情報としては未だに 真であるにも関わらず，式 4 の定義に基づいて，文 $s_{4}$ は文 $s_{5}$ によって上書きされており, 文 $s_{4}$ の情報 は有効期限切れであると見なす。言い換えれば，本稿の定義では, 有効期限を現時点 (正確には, 基準 テキストが記述された時点) の情報として有効であ るか否かを考えていることになる。

さらに，文 $s_{5}$ の代わりに，以下のような文 $s_{6}$ を 考える。

$s_{6}=$ 東都大学の 2015 年度の受験者数は, 昨年度に比べて 1000 人増加した

文 $s_{6}$ は，以下のように 2 つ組に分解できる.

$s_{6}=\left.\langle x_{6}, t_{6}\right.\rangle$

$x_{6}=$ 東都大学の受験者数は, 昨年度に比べて 1000 人増加した

$t_{6}=2015$ 年度

文 $s_{4}$ と文 $s_{6}$ の対, または文 $s_{5}$ は，同じ事実「東都大学の 2015 年度の受験者数は 3000 人である」につ いての 2 通りの異なる表現である。にも関わらず，文 $s_{4,6}$ は文 $s_{6}$ とは矛盾しないため, 式 4 の定義に従 うと，文 $s_{6}$ を基準として考える場合には，文 $s_{4}$ は 有効期限切れではない，言い換えれば，有効期限切
れの判定にあたっては，2つの文から演繹される結果までは考慮することなく, その 2 つの文に基づい て考えるという立場をとる。

## 3 有効期限切れ情報データベースの 作成

## 3.1 対象テキストの選定

有効期限切れ情報の自動判定によって情報利活用 を支援するという, 有効期限切れ情報の自動検出夕 スクが目指す本来の目的から考えると，判定対象文 としては，個人によるブログ記事に含まれる文のよ うな自由な文体の文を，基準文としては，新聞記事 などの信頼性が高く定型的な文体の文を選択するこ とが適切と考えられる。この場合, 判定対象文はブ ログ記事から, 基準文は新聞記事から収集すること になる。しかし, 膨大なブログ記事から有効期限切 れ情報を含む判定対象文を収集することが困難であ るだけでなく, その判定対象文に対応する根拠とな る基準文を収集することも困難である。

このような文対を大量に作成する方法としては,判定対象文 (または基準文)を多数の作業者に提示 し，提示した文に適するような基準文 (または判定対象文)を作成するように依頼するクラウドソーシ ングが広く用いられている [6]. しかし, この方法 で作成されたデー夕には，作業者によって不適切な バイアスが混入することが指摘されている $[7,8]$.

そのため, 本稿では, オンライン百科事典の継続的な更新という性質に注目し, 更新時期が古い記事 から判定対象文を, 更新時期が新しい記事から基準文を収集する。

## 3.2 アノテーション対象差分の抽出

本稿では, 有効期限切孔情報データベースの作成対象として, オンライン百科事典である日本語版 Wikipedia に注目する. 2014 年 12 月 11 日時点の夕゙ ンプデータと 2018 年 12 月 20 日時点のダンプデー 夕を対象として，WikiExtractor ${ }^{1)}$ を用いたプレーン テキスト化を行い，記事数の変化を調査した。調査結果を, 表 1 に示す. 本稿では, 双方に存在する記事 936,985 件を対象とする。

双方の日時に存在する記事について, 記事の記述内容を比較すると, さまざまな差分が発見される. まず，本稿では，問題を単純化するために，編集に よって変化している文が 1 文であるような差分を対

1) https://github.com/attardi/wikiextractor
表 1 日本語版 Wikipedia の記事数の変化

象とする。また, 有効期限判定の対象として適切な 差分を収集するには, 時間経過によって変化した情報に言及している差分を収集する必要がある。その ため, 2014 年 (判定対象文 $s_{t}$ の記述時点) ら 2018 年 (基準文 $s_{b}$ の記述時点) までの日時に対する言及を 含む差分や, 同じ期間に追加された記事に対する言及を含む差分を対象とする。このように考えると， 193,142 箇所の差分が候補となる.

193,142 箇所の差分には, 句点の追加 $\cdot$ 削除, 誤字脱字の修正など, 微細な編集のみが行われている場合も非常に多く含まれている。本稿の目的に照らす と, 判定対象文と基準文で記述内容が本質的に変化 している場合を対象として，収集およびアノテー ションを行いたい．そこで，判定対象文 $s_{t}$ と基準文 $s_{b}$ の最長共通部分列 $L C S\left(s_{t}, s_{b}\right)$ が, 文 $s_{t}, s_{b}$ に占め る割合が 0.6 以下であるような差分のみを対象とす る。このように考えると， 15,648 箇所の差分が候補 となる。

最後に, できるだけ良質な記事の差分を優先して 収集およびアノテーション対象とすることを考え る.そのため, SQuAD[9] と同様に, Wikipedia の記事間のリンクに基づく PageRank[10] の上位記事から 収集した 9,600 箇所の差分を対象とする.

## 3.3 アノテーション

3.2 節で説明した手順で抽出した 9,600箇所の差分 に対して，3種類の含意関係ラベル (含意, 矛盾, 中立) と 2 種類の有効期限ラベル (期限切れ, 期限内) を人手で付与した。付与したラベルの内訳を，表 2 に示す。表 2 より, $32.2 \%$ (3,090 箇所)の差分が有効期限切孔と判定された. この判定結果から, 日本語版 Wikipedia には有効期限切软情報が多く存在する ことがわかり, 有効期限切れ情報の自動判定が必要 であることが示された。

また，表 2 より，含意関係ラベルが含意または中立である場合であっても，有効期限切れと判定され る差分も多く存在していること，すなわち，従来の 含意関係判定と本稿が提案する情報の有効期限判定表 2 含意関係ラベルおよび有効期限ラベルの分布

には違いがあることがわかる，以下に，含意関係ラ ベルが含意, かつ, 有効期限ラベルが期限切れとな る差分の実例を示す。

この 2 文 $s_{7}, s_{8}$ は，国立駅に関する記事の一部であ る. 文 $s_{7}$ で説明されている事実は, 文 $s_{8}$ でも同様 に説明されているため, 文 $s_{8}$ から文 $s_{7}$ に対する片方向含意は成り立っていると考えられる。しかし,文 $s_{7}$ における「改札は高架下の 1 ケ所」という説明 は，文 $s_{8}$ によって「改札は高架下と西側に 2 ケ所」 と上書きされているため, 有効期限ラベルは期限切 れとなる。

## 3.4 作業者間一致度

アノテーションが安定して行われているかどう かを検討するため, 作業者間一致度を調査する。 3.2 節で述べた Wikipedia の記事間リンクに基づく PageRank の上位記事から，300箇所の差分を調査対象とし，2 名の作業者による独立したアノテーショ ン作業を実施した。2 名の作業者による含意関係判定の一致率は $83.7 \%$ (251 箇所), 有効期限判定の一致率は $88.0 \%$ (264 箇所) だった。作業者間で判断が異 なった箇所について精査したところ, 文外知識の理解度などによるものが多く見られた。

## 4 結論

本稿では，有効期限切孔情報の自動判定タスクを 提案した. 有効期限切れ現象について分析を行い,分析に基づいて, 情報の有効期限切れを含意関係判定と関連付けて定義した。有効期限切孔情報デー夕 ベースを，オンライン百科事典の継続的な更新とい う性質に基づいて作成する方法について述べた。

## 参考文献

[1] Catherine C. Marshall and Frank M. Shipman. Spatial hypertext and the practice of information triage. In Proceedings of the Eighth ACM Conference on Hypertext, HYPERTEXT '97, pp. 124-133, New York, NY, USA, 1997. Association for Computing Machinery.

[2] Sofus A. Macskassy and Foster Provost. Intelligent information triage. In Proceedings of the 24th Annual International ACM SIGIR Conference on Research and Development in Information Retrieval, SIGIR '01, pp. 318-326, New York, NY, USA, 2001. Association for Computing Machinery.

[3] Gabriel Pui Cheong Fung, Jeffrey Xu Yu, Huan Liu, and Philip S. Yu. Time-dependent event hierarchy construction. In Proceedings of the 13th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, KDD '07, p. 300-309, New York, NY, USA, 2007. Association for Computing Machinery.

[4] Canhui Wang, Min Zhang, Liyun Ru, and Shaoping Ma. Automatic online news topic ranking using media focus and user attention based on aging theory. In Proceedings of the 17th ACM Conference on Information and Knowledge Management, CIKM '08, p. 1033-1042, New York, NY, USA, 2008. Association for Computing Machinery.

[5] Marco Marelli, Stefano Menini, Marco Baroni, Luisa Bentivogli, Raffaella Bernardi, and Roberto Zamparelli. A SICK cure for the evaluation of compositional distributional semantic models. In Nicoletta Calzolari (Conference Chair), Khalid Choukri, Thierry Declerck, Hrafn Loftsson, Bente Maegaard, Joseph Mariani, Asuncion Moreno, Jan Odijk, and Stelios Piperidis, editors, Proceedings of the Ninth International Conference on Language Resources and Evaluation (LREC'14), pp. 216-223, Reykjavik, Iceland, may 2014. European Language Resources Association (ELRA).

[6] Samuel R. Bowman, Gabor Angeli, Christopher Potts, and Christopher D. Manning. A large annotated corpus for learning natural language inference. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 632-642, Lisbon, Portugal, September 2015. Association for Computational Linguistics.

[7] Suchin Gururangan, Swabha Swayamdipta, Omer Levy, Roy Schwartz, Samuel Bowman, and Noah A. Smith. Annotation artifacts in natural language inference data. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers), pp. 107-112, June 2018.

[8] Masatoshi Tsuchiya. Performance impact caused by hidden bias of training data for recognizing textual entailment. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), 2018.

[9] Pranav Rajpurkar, Jian Zhang, Konstantin Lopyrev, and Percy Liang. SQuAD: 100,000+ questions for machine comprehension of text. In Proceedings of the 2016 Con- ference on Empirical Methods in Natural Language Processing, pp. 2383-2392, 2016.

[10] Lawrence Page, Sergey Brin, Rajeev Motwani, and Terry Winograd. The pagerank citation ranking: Bringing order to the we.b. Technical Report 1999-66, Stanford InfoLab, November 1999.


# 複数の学習器による知識の蒸留を利用した 読影所見用語認識の精度向上

田川裕輝中野騰久尾崎良太西埜徹
}谷口友紀 大熊智子 中村佳児

富士フイルム株式会社

\{yuki.tagawa, norihisa.nakano, ryota.ozaki, toru.nishino, tomoki.taniguchi, tomoko.ohkuma, keigo.nakamura\}@fujifilm.com
## 1 はじめに

読影レポートとは放射線科の医師が CT や MRI な どの医療画像を元に異常所見や疾患についての読影診断を自然言語によって記述したものである.この レポートの中には医師の知識や経験が表現されてお り，これを抽出すれば様々な用途に利活用すること が期待できる。言語で表現された医師の知識を再利用可能な形にするにはレポートを構造化して疾患や 臟器などの観点から記述内容を分析できるようにす る必要がある. レポートから所見用語を抽出するた めの固有表現認識 (Named Entity Recognition; NER) はレポート構造化の根幹となる技術である.

NER は情報抽出技術の一つであり，多くの研究が 取り組まれている [1]. 特に, 近年では深層学習の 発展に伴い，大量の教師データでモデルを訓練する 手法が提案されている $[2,3]$. 一方で，読影レポー トへのラベル付けは専門知識が必要であり，大量の 教師データを用意するにはコストがかかる. そのた め，我々は大量の教師データを用意せずに所見用語認識の精度向上を目指す。

限られた量の教師データで NER の精度向上を目指した研究に Lai ら [4] や Liang ら [5] の研究がある. これらの研究は限られた教師データで学習したモデ ルで教師無しデータにラベル付けすることで，弱教師データを生成し，学習データを水増ししている。

Lai らは教師データだけで訓練した BERT [6] (以下 Teacher と呼ぶ) と, Teacher が生成した弱教師データ と教師データを混ぜて訓練した BERT (以下 Student と呼ぶ) の精度を比較し, Student が Teacher の精度 を上回った場合，Teacher のパラメータをStudent の パラメータに置き換えて，再び弱教師データを生成 する手法を提案している. またこの処理を複数回繰

図1読影レポートとアノテーションデータのサンプル.

り返すことで，高品質な弱教師データが生成でき たことを報告している. このように， Teacher が学習した知識を Student の学習に利用することを知識 の蒸留 [7] という. 特に, Teacher と Student に同じ モデル構造を利用したものは Self-Distillation [8] や Born-Again Networks [9] と呼ばれる.

生成された弱教師データの質が NER の精度に影響することを考えると，単一の Teacher から弱教師 データを生成するのではなく，Teacher に複数のモ デルを用意し，それぞれの出力を統合することで， より高品質な弱教師データの生成が期待できる. 特 に，NER において高い精度が報告されている BERT はドメイン適用するために対象ドメインのコーパス で継続学習するもの [10] や文字単位の語彙を扱うも の ${ }^{1)}$ など様々なモデルが提案されている. このよう な特徴の異なるモデルを Teacher として組み合わせ ることで，更なる精度向上が期待できる [11,12].

本研究では複数のモデルによる知識の蒸留を利用 した NER の学習手法を提案し, 所見用語認識に適用する. 実験では先行研究である Lai らの研究と比 べ，提案手法が Micro-F1 評価において高い精度とな ることを確認する。

## 2 提案手法

図 2 に提案手法の概要図を示す. 提案手法の学習 フローを以下に説明する。

1. あるトークン系列 $x$ に対して正解ラベル系列 $y$ がアノテーションされた教師データ $S=\left.\{\left(x_{1}, y_{1}\right), \ldots,\left(x_{L}, y_{L}\right)\right.\}$ を利用して，モデルリ
^{1)}$ https://github.com/cl-tohoku/bert-japanese
}

図 2 提案手法の概要図.

スト $F=\left.\{f_{\theta_{1}}, \ldots, f_{\theta_{i}}, \ldots, f_{\theta_{N}}\right.\}$ 中の $N$ 個のモデル を訓練し，Teachers $=\left.\{f_{\theta_{t_{1}}}, \ldots, f_{\theta_{t_{i}}}, \ldots, f_{\theta_{t_{N}}}\right.\}$ を 作成する。ここで $f_{\theta}$ とはパラメータ $\theta$ を持つ NER モデルである.

2. 教師無しデー タ $d$ の リ ス 卜 $U=\left.\{d_{1}, \ldots, d_{j}, \ldots, d_{M}\right.\}$ に対 し $\tau$,各 Teacher モデルから出力 $O=$ $\left.\{\left(d_{1}, \hat{y}_{1,1}\right), \ldots,\left(d_{j}, \hat{y}_{i, j}\right), \ldots,\left(d_{M}, \hat{y}_{N, M}\right)\right.\}$ を生成す る. ここで, $\hat{y}_{i, j}$ とは Teacher モデル $f_{\theta_{t_{i}}}$ によっ て教師無しデータ $d_{j}$ に対して予測したラベル 系列である.

3. 各 Teacher モデルの出力 $O$ を文字単位の多数決で一つの出力結果に統合し, 弱教師デー タ $P=\left.\{\left(d_{1}, \tilde{y}_{1}\right), \ldots,\left(d_{j}, \tilde{y}_{j}\right), \ldots,\left(d_{M}, \tilde{y}_{M}\right)\right.\}$ を生成 する。

4. 教師データ $S$ と弱教師データ $P$ を混ぜたデー タでモデルリスト $F$ 中のモデルを訓練し， Students $=\left.\{f_{\theta_{s_{1}}}, \ldots, f_{\theta_{s_{i}}}, \ldots, f_{\theta_{s_{N}}}\right.\}$ を作成する.
5. $f_{\theta_{t_{i}}}$ と $f_{\theta_{s_{i}}}$ の開発データに対する精度を比較し, $f_{\theta_{s_{i}}}$ が $f_{\theta_{t_{i}}}$ の精度を上回っている場合， $f_{\theta_{t_{i}}}$ の パラメータ $\theta_{t_{i}}$ を $f_{\theta_{s_{i}}}$ のパラメータ $\theta_{s_{i}}$ に置き換 えることで，Teachersを更新する。
6. 2 から 5 までの処理をどの Teacher モデルも更新されなくなるまで，もしくは事前に定義した 回数 Iだけ繰り返す.

7. 各 Teacher モデルを利用してテストセットに対 して予測する。

8. 各 Teacher モデルの予測結果を 3 と同じく文字単位の多数決により一つの予測結果に集約し， テストセットに対する予測結果を得る.

## 3 実験

表 1 データセットの統計量.

## 3.1 データセット

本研究では全身を対象とした日本語読影レポート に所見用語ラベルをアノテーションし，データセッ トを構築した. データセットの統計量を表 1 に示 す. 表 1 の件数は読影レポート中の 1 行を 1 件とし てカウントしている. また，教師無しデータは文字数が多いものから優先して 10,000 件を選択した。

ラベルの種類とその説明を表 2 に示す. 図 1 に示 すように，病変と病名，変化の表現はレポートで はそれらが認められる (Positive; P)，認められない (Negative; N)，疑いや可能性がある (Suspicion; S) と いった事実性も同時に記述される。そのため，所見用語ラベルと同時に事実性ラベルもアノテーション した. 本研究では所見用語ラベルに事実性ラベルを 結合したものをラベル ${ }^{2)}$ とし，事実性判定も所見用語認識タスクとして同時に解いた。また，BIO 方式 3)を用いてラベルを付与した。

## 3.2 モデル

実験で利用するモデルを以下に説明する。

BERT 日本語 Wikipedia で学習した BERT ${ }^{1)}$. 語彙は NEologd 辞書 4)を組み込んだ MeCabによ
^{3}$ BIO 方式では固有表現の開始を表す Begin，同一種の固有表現の継続を表す Inside，どの固有表現にも当てはまらない Outside を利用し，固有表現の境界を認識する。

 }^{4)}$ https://github.com/neologd/mecab-ipadic-neologd

表 2 所見用語ラベルとその説明.

 \\

り単語分割した後，Byte Pair Encoding (BPE) に より構築している.

Char-BERT 日本語 Wikipedia で学習した文字単位の語彙を持つ BERT ${ }^{1)}$. 語彙は文字単位の分割処理により構築している。

UTH-BERT [13] 日本語の医療分野のコーパスで

んだ MeCabで単語分割した後, BPEにより構築している.

Radio-BERT2K 約 97 万行の日本語読影レポー トで学習した BERT. 事前学習時は Masked Language Modeling (MLM) [6] で学習した. ま た，MLM にマスクする単語を単語単位で選択 し，選択された単語に対応するサブワードを 全てマスクする Whole Word Masking (WWM) を 加えた. 語彙は MeCab で単語分割した後, BPE により 2,000 の語彙を構築した. 前処理として 5 文字以下の行は削除した上で事前学習した.

Radio-BERT4K Radio-BERT2K の語彙数を 4,000 に変更したモデル．その他の設定は RadioBERT2Kと同じである.

Radio-AdaptaBERT BERTを日本語読影レポート で継続学習した BERT．継続学習のタスクに はWWMを加えた MLM を利用した。語彙は BERTと同じものを利用した。

実際に学習させるモデルはこれらのモデルの最終層 に CRF [14]を追加したモデルである. 学習時はこ
れらの事前学習モデルで入力系列をエンコードし，得られたべクトル表現から CRF により，正解ラべ ル系列を出力するようにモデル全体を学習する.

学習フロー 3 と 8 では同じデータに対する複数の モデルの予測結果を一つの結果に集約している. 複数の予測結果を一つに結果に集約する手法として トークン単位の多数決を利用する研究がある [11].一方で，トークン (またはトークン系列) に対してラ ベル (またはラベル系列) を予測するモデルの予測結果を集約するには，全モデルでトークン分割の結果 が同じでなければ，トークン単位の多数決を適用す る事ができない．そこで，各モデルが予測したラべ ル系列を文字単位のラベル系列に変換し，全モデル で分割単位を揃えた上で文字単位の多数決により予測結果を集約した。

## 3.3 比較手法

実験で比較する手法を以下に説明する.

Single 教師データのみで学習するベースライン.

Self Distillation (SD) Lai ら [4] の手法. 一つのモデ ルを Teacher と Student として利用し, 弱教師デー タを生成する.

## Collaborative Distillation w/ Multiple Seeds (CDMS)

同じモデル構造で異なる初期シードを設定した複数のモデルを用意し，弱教師データを生成する提案手法.

## Collaborative Distillation w/ Different Models (CDDM)異なる構造を持つ複数のモデルを用意し，弱教師 データを生成する提案手法.

各モデルのパラメータは Single 手法で開発セット に対して最高精度となるパラメータをグリッドサー チで決定した.また，Iには 5 を設定した.

## 3.4 評価方法

手法の評価には Micro-F1 值を用いた. システム が出力したラベル系列と正解ラベル系列を比較し,所見用語の開始点，終点，所見用語ラベルが全て一致した場合に正解とした。

## 3.5 実験結果

表 3 にテストセットに対する Micro-F1 值を示す. CDMS はそれぞれのモデルを異なる 3 つのシード を用意し学習させた結果である. CDDM は BERT, Char-BERT，Radio-AdaptaBERT の 3 つのモデルを利
^{5)}$ http://sociocom.jp/ data/2018-manbyo/index.html
}
表 3 テストセットに対する Micro-F1 值. 最高値には下線を引いている.

用した結果である．值を比較すると，CDMS では Radio-AdaptaBERT を利用し, 学習した場合が最も 高い值となった. また，他の Single やSD と比べて も高い值となっていることから，複数のモデルを組 み合わせて弱教師データを生成する提案手法は所見用語認識タスクに効果的であったといえる。特に，複数の異なるモデルを組み合わせる CDDM が最も高 い性能となった。

## 3.6 分析

各モデルの予測にどの程度のばらつきがあるのか を分析するため，モデル間の予測結果の不一致の割合 [15] を算出した. モデルの予測したラベル系列を 文字単位のラベル系列に変換した上で，予測結果の 不一致の割合 $d_{\text {all }}$ を算出した. さらに，どちらのモ デルも所見用語ラベルを予測した事例の内，ラベル が不一致した割合 $d_{\text {label }}$ と, 予測した所見用語のス パンが不一致した割合 $d_{\text {span }}{ }^{6)}$ を算出した. また， 3 つ以上のモデルの組み合わせに対しては全てのモデ ルの組み合わせに対して不一致の割合を算出し，そ の平均値を多様性尺度 $D$ とした。

表 4 に Single 手法によって訓練されたモデルの予測結果から算出した多様性尺度 $D$ を示す. 全ての 尺度において，同じモデル構造間の予測結果の値よ りも，異なるモデル構造間の予測結果の值の方が高 いことがわかる. $D_{\text {label }}$ では BERT と Char-BERT の 組み合わせが最も高い值となった。これらのモデル の違いは大力テキストをそれぞれ文字単位で分割す るかサブワード単位で分割するかという点である。日本語は単語分割の境界が自明でないため，NER の 予測結果は前段の単語分割の結果の影響を受けるこ とが知られており [16], 異なる単語分割器を持つモ デルを組み合わせたことが同じモデル構造でシー ドのみを変えて組み合わせた場合と比べて高い多
$ ラベル，B ラベル)，(O ラベル，I ラベル) の組み合わせで不一致 した割合を算出した．スパンの不一致の割合を測るため，所見用語ラベルは考慮せず BIO ラベルのみで不一致を検出した.
}

表 4 教師無しデータに対する予測結果から算出した多様性尺度 $D_{\text {all }}, D_{\text {label }}, D_{\text {span }}$. w/ 3seeds とはモデルを異な る 3 つのシードで学習したことを表す. 各尺度毎に最高値には下線を引いている.

様性を生んだと考えられる。また， $D_{\text {span }}$ において は Char-BERT と Radio-AdaptaBERT の組み合わせが 最も高い値となった. これらのモデルの違いは上述 した単語分割方法の違いに加え，事前学習コーパス も異なる. Radio-AdaptaBERT は大量の読影レポー トで継続学習している。この結果から事前学習時の コーパスの違いも多様性を生むと考えられる。

このように異なるモデル構造を組み合わせること で予測結果に多様性が生まれることがわかった．多様性は複数のモデルを組み合わせて性能向上を測る アンサンブル学習において，性能を測る尺度として 期待できるという分析がある [17]. 表 3 の結果から も，多様性の低い異なるシードで学習したモデルを 組み合わせる CDMS より，多様性の高い異なるモデ ルを組み合わせる CDDM のほうが高い精度となっ た.これらの結果から多様な予測をするモデルを組 み合わせて弱教師データを生成する CDDM は所見用語認識の性能向上に寄与したと考えられる.

## 4 おわりに

本研究では所見用語認識の精度向上を目指し, 複数モデルによる知識の蒸留を利用した NER の学習手法を提案した．実験ではベースラインと先行研究 [4] と比較し，提案手法が高い性能となった.

今後は前段の単語分割の結果や事前学習コーパス の違いなどが，後段の所見用語認識の精度に与える 影響を分析したい。

## 参考文献

[1]Vikas Yadav and Steven Bethard. A survey on recent advances in named entity recognition from deep learning models. In Proceedings of the 27th International Conference on Computational Linguistics, pp. 2145-2158, Santa Fe, New Mexico, USA, August 2018. Association for Computational Linguistics.

[2]Guillaume Lample, Miguel Ballesteros, Sandeep Subramanian, Kazuya Kawakami, and Chris Dyer. Neural architectures for named entity recognition. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 260-270, San Diego, California, June 2016. Association for Computational Linguistics.

[3]Xuezhe Ma and Eduard Hovy. End-to-end sequence labeling via bi-directional LSTM-CNNs-CRF. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1064-1074, Berlin, Germany, August 2016. Association for Computational Linguistics.

[4]Tuan Lai, Trung Bui, Doo Soon Kim, and Quan Hung Tran. A joint learning approach based on self-distillation for keyphrase extraction from scientific documents. In Proceedings of the 28th International Conference on Computational Linguistics, pp. 649-656, Barcelona, Spain (Online), December 2020. International Committee on Computational Linguistics.

[5]Chen Liang, Yue Yu, Haoming Jiang, Siawpeng Er, Ruijia Wang, Tuo Zhao, and Chao Zhang. Bond: Bert-assisted opendomain named entity recognition with distant supervision. In ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, 2020.

[6]Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 41714186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[7]Geoffrey Hinton, Oriol Vinyals, and Jeff Dean. Distilling the knowledge in a neural network. arXiv preprint arXiv:1503.02531, 2015.

[8]Jianping Gou, Baosheng Yu, Stephen John Maybank, and Dacheng Tao. Knowledge distillation: A survey. arXiv preprint arXiv:2006.05525, 2020.

[9]Tommaso Furlanello, Zachary Lipton, Michael Tschannen, Laurent Itti, and Anima Anandkumar. Born again neural networks. In Jennifer Dy and Andreas Krause, editors, Proceedings of the 35th International Conference on Machine Learning, Vol. 80 of Proceedings of Machine Learning Research, pp. 1607-1616, Stockholmsmässan, Stockholm Sweden, 10-15 Jul 2018. PMLR.

[10]Xiaochuang Han and Jacob Eisenstein. Unsupervised domain adaptation of contextualized embeddings for sequence labeling. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th In- ternational Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 4238-4248, Hong Kong, China, November 2019. Association for Computational Linguistics.

[11]Zornitsa Kozareva, Boyan Bonev, and Andres Montoyo. Selftraining and co-training applied to spanish named entity recognition. In Mexican International conference on Artificial Intelligence, pp. 770-779. Springer, 2005.

[12]Pierre Lison, Jeremy Barnes, Aliaksandr Hubin, and Samia Touileb. Named entity recognition without labelled data: A weak supervision approach. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 1518-1533, Online, July 2020. Association for Computational Linguistics.

[13]Yoshimasa Kawazoe, Daisaku Shibata, Emiko Shinohara, Eiji Aramaki, and Kazuhiko Ohe. A clinical specific bert developed with huge size of japanese clinical narrative. medRxiv, 2020.

[14]John Lafferty, Andrew McCallum, and Fernando CN Pereira. Conditional random fields: Probabilistic models for segmenting and labeling sequence data. 2001.

[15]David B Skalak, et al. The sources of increased accuracy for two proposed boosting algorithms. Citeseer.

[16]Shotaro Misawa, Motoki Taniguchi, Yasuhide Miura, and Tomoko Ohkuma. Character-based bidirectional LSTM-CRF with words and characters for Japanese named entity recognition. In Proceedings of the First Workshop on Subword and Character Level Models in NLP, pp. 97-102, Copenhagen, Denmark, September 2017. Association for Computational Linguistics.

[17]Kagan Tumer and Joydeep Ghosh. Theoretical foundations of linear and order statistics combiners for neural pattern classifiers.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 機械加工文書における用語入れ子構造と トリガワードを考慮した用語関係同時抽出

稲熊陸 ${ }^{1}$ 小島 “ $^{2}$ 東孝幸 ${ }^{2}$ 三輪誠 ${ }^{1}$ 古谷 克司 ${ }^{1}$ 佐々木 裕 ${ }^{1}$
1 豊田工業大学 2 株式会社ジェイテクト

## 1 研究背景

機械加工はものづくり分野における基本技術の一 つであるが，少子高齢化にともないものづくりに携 わる技術者，技能者が引退するとともに，新規後継者が減少している. そのため技術者一人あたりの作業負担は増加し，次世代の技術者に熟練技術者と同程度の知識と技術が求められている。

熟練者同等の知識が求められる業務に工程の策定業務が挙げられる。策定業務の遂行のためには，一 つの機械加工因子の変化によって，他の機械加工因子が受ける影響をあらかじめ可能な限り網羅する必要がある. 機械加工因子とは工具の種類や材料の特性, 加工条件と機械加工パラメータなどの機械加工 に関わる全ての因子のことをいう。

機械加工因子は専門書や機械加工を対象とする学会で発表される論文, 社内技術文書や学生向けの教科書など，文書形式で幅広く存在し，文書内で複雑 な関係で結ばれたり，因子間で入れ子構造を形成し たりすることが多い．技術者が文書を閲読し，機械加工因子とその関係を獲得することは熟練者同等の 知識が必要となる点で属人的である.

そこで本研究では，文書に含まれる機械加工因子 と関係の自動抽出を目的に, 用語抽出と, 関係抽出 とのマルチタスク学習を行う深層学習モデルを提案 する. 用語抽出においては入れ子構造を考慮し, 関係抽出においてはトリガワードを考慮したモデル設計を行い，機械加工技術文書における用語と関係の 抽出精度の評価を行う.

## 2 関連研究

属人的方法からの脱却を目指し，機械加工分野の 文書から自動で機械加工因子を獲得し，因子を関係という観点で集約する手法として，増田 [1] らが 行った Support Vector Machine（SVM）を用いた関係抽出の研究がある．増田らはトリガワードと呼ばれ
…切削速度が増加すると切削温度が増し，…

$
\text { トリガワード }
$

図 1 トリガワードの例

る単語について「トリガワードの出現位置」と「ト リガワードが修飾する用語の位置」を定義し，関係抽出の素性に加えた、トリガワードは「物理量を示 す二用語間の変化を表す単語」で定義される. 図 1 に具体的な例を示す.「切削速度」に対して「増加 する」，切削温度に対して「増し」といった単語のこ とをいう．増田らの研究は機械加工因子をあらかじ め特定させた上での関係抽出であり，新しく発表さ れる機械加工技術文書や論文に示されるような文書 への転用には，最初に機械加工因子を獲得するタス クが残っている点で問題が残っている.

## 3 提案手法

本提案モデルは，日本語で記述された機械加工技術文書の入れ子構造を対象とした用語抽出タスクと 関係抽出タスクを，マルチタスク学習で解く深層学習モデルである. 図 2 にモデル全体の概要を示す.図中の格子状の四角はベクトルを表し，行方向に各 トークンのベクトルの次元を，列方向にトークンの 並びを表現している。また，五角形はぞれぞれ記述 された演算処理を表現している。関係抽出タスクに おいては，トリガワードを Attenition 機構を用いて 考慮したモデルとなっている. 本提案モデルにおけ るモデルの入力単位は一文である.

## 3.1 共有部

共有部（Shared Part）は用語抽出と関係抽出のど ちらのタスクを学習する際にも用いられる構成要素 である。与えられた各文を日本語版 Wikipedia で事前に学習された Sentencepiece[2] を用いてトークン に分割する. 得られたサブワード単位のトークン群

図 2 モデル全体の概要

$\boldsymbol{x}$ に対して日本語版 Wikipedia で事前に学習された BERT[3] を用いてトークンの表現 $\boldsymbol{h}_{\mathbf{1}}$ を獲得する.

$
\boldsymbol{h}_{1}=\operatorname{BERT}(\boldsymbol{x})
$

獲得したトークンの表現 $\boldsymbol{h}_{\mathbf{1}}$ を CNN の入力とし，中間表現 $\boldsymbol{h}_{\mathbf{2}}$ を獲得する。

$
\boldsymbol{h}_{\mathbf{2}}=\mathrm{CNN}\left(\boldsymbol{h}_{\mathbf{1}}\right)
$

中間表現 $\boldsymbol{h}_{2}$ は用語抽出と関係抽出のどちらのタス クを解く際にも用いる表現である. 従って用語抽出 と関係抽出それぞれで発生する損失を用いて $\boldsymbol{h}_{\mathbf{2}}$ を 生成するパラメータが更新される。この更新によっ てマルチタスク学習におけるそれぞれのタスクを解 くための表現に新しく情報が追加され，学習が改善 することが期待される。

## 3.2 用語抽出部

入れ子内部の用語と入れ子外部の用語の違いが用語を構成するトークンの数であることに注目し，本提案モデルはトークンの構成数毎に 2 值 ${ }^{1)}$ の出力を するモデルとなっている．図中の五角形の「長さ $i\rfloor$ という演算は，長さ $i$ のトークン列の表現を得る畳 み込み演算である. 以下の式で表される。なお，モ デルは稲熊ら [4]のものを用いている.

$
\boldsymbol{v}_{\boldsymbol{i}}=\operatorname{spanCNN}_{i}\left(\boldsymbol{h}_{\mathbf{2}}\right) \quad \forall i \in\left[1, \ldots, n_{\text {tok }}\right]
$

ここで $\operatorname{spanCNN}_{i}$ はカーネルサイズ $i$ のフィルタに よる畳み込み演算を表す. $n_{t o k}$ は用語を構成する トークン数に対応しており，学習を行う前に与える ハイパーパラメタである. 次に $n_{t o k}$ 個の中間表現 $v_{i}$ に対して共通の全結合層をそれぞれ作用させる.式としては以下のようになる。

$
\boldsymbol{l}_{\boldsymbol{i}}=\text { FullyConnected }_{\text {one }}\left(\boldsymbol{v}_{\boldsymbol{i}}\right)
$

全結合の出力は $n_{t o k}$ 個のカーネルサイズ毎に対応 したトークン数長のシーケンスになる. 出力の中身 はカーネルサイズの用語を構成するトークンの開始位置に 1 が立つものである．損失は以下の式で表さ れる。

$
L_{\text {entity }}=\sum_{i=1}^{n_{\text {tok }}} \sum_{j=1}^{l} y_{i}^{j} \log \left(l_{i}^{j}\right)
$

ここで $n_{t o k}$ はモデルの出力数すなわち用意するフィ ルタ数を表し， $l$ は一文におけるトークン数を表す.各トークンに対する予測 $\hat{l}$ と正解 $y$ との差を交差エ ントロピーで定義する. 各フィルタに対応する出力 の和をとったものを損失とする.

## 3.3 ペア作成部

ペア作成部（Pair Process）において，用語抽出で 抽出された用語からぺアを作成し，関係抽出用に データ整形を行う。用語抽出で抽出された用語が入 れ子構造を構成する場合は，一番大きい単位の用語

のみをぺア作成の対象とする。

作られた各ぺアに対してアノテーションファイル を参照して関係ラベルを付与し，（関係ラベル，用語 1, 用語 2）のトリプレットを作成する. このト リプレットの用語 1 と用語 2 の情報を用いて関係ラ ベルを当てることが関係抽出タスクになる. ペア作成部では, 用語 1 と用語 2 の用語位置ベクトルも作成する. 用語位置ベクトルは一文のトークン数の長 さの次元数が 1 のベクトルで, 用語が存在する位置 に 1, 用語では無い位置には 0 が立つべクトルであ る. 一文から $n_{\text {entity }}$ 個の用語が抽出された場合, 2 つの用語を選択してぺアを作成するので $n_{\text {entity }} \mathrm{C}_{2}$ 個 のペアを作成する。

## 3.4 関係抽出部

関係抽出部はトリガワードを考慮した関係抽出 モデルである. (2) 式の中間表現 $\boldsymbol{h}_{\mathbf{2}}$ に対してトリガ ワードの情報を追加で与えて MultiHeadAttention 層 の入力とし, 関係を求めるモデルとなっている. 最初にトリガワードの情報をアノテーションファイル から参照して $v_{\text {trig }}$ を作成する。v $v_{\text {trig }}$ は長さが一文中のトークン長 (SeqLen) で次元が 1 のベクトルで ある. 対応するトークンに対してトークンがトリガ ワードの場合は 1 が入り，トリガワードではない場合には 0 が要素として定義されるべクトルである. この $v_{\text {trig }}$ に対して平均 0 分散 1 の正規分布に基づ いた重みで初期化される行列を用いた埋め込み処理 を行う。

$
\boldsymbol{h}_{\text {trig }}=\text { Embedding }\left(\boldsymbol{v}_{\text {trig }}\right)
$

この $\boldsymbol{h}_{\text {trig }}$ に対して中間表現 $\boldsymbol{h}_{\mathbf{2}}$ を次元方向に Concat して全結合層に入力して $\boldsymbol{q}$ を生成する.

$
\boldsymbol{q}=\text { FullyConnected }_{q}\left(\boldsymbol{h}_{\mathbf{2}} \oplus \boldsymbol{h}_{\text {trig }}\right)
$

$k, v$ は以下の式に沿って作成し， $q, k, v$ を MultiHeadAttention 層の入力とし， $\boldsymbol{h}_{\mathbf{3}}, \boldsymbol{W}$ を生成する

$
\begin{aligned}
\boldsymbol{k} & =\text { FullyConnected }_{k}\left(\boldsymbol{h}_{\mathbf{2}}\right) \\
\boldsymbol{v} & =\operatorname{FullyConnected}_{v}\left(\boldsymbol{h}_{\mathbf{2}}\right) \\
\boldsymbol{h}_{\mathbf{3}}, \boldsymbol{W} & =\operatorname{MultiHead}(\boldsymbol{q}, \boldsymbol{k}, \boldsymbol{v})
\end{aligned}
$

この Attention は query に対してトリガワードの情報 を加えたものである. query に対しての情報付加な ので「文中における関連度を知りたいもの」として トリガワードを加えていることになる. key, value には $\boldsymbol{h}_{\mathbf{2}}$ の情報が含まれていることを考慮すると，得られる $\boldsymbol{h}_{3}$ は「文全体におけるトークンの内トリ
ガワードに関連するトークンに対して，強く注意が かかった表現」という解釈が可能である. これは 「トリガワードが存在する場合，トリガワードと文全体の文脈との関連性」を考慮することで関係抽出 の精度が向上することを期待している.

次に得られた $\boldsymbol{h}_{3}$ に対してスキップコネクション と畳込み層を 2 層を通して中間表現 $\boldsymbol{h}_{4}$ を作成する。

$
\begin{aligned}
& \boldsymbol{h}_{\mathbf{3}}^{\prime}=\operatorname{CNN}\left(\boldsymbol{h}_{3}\right)+\boldsymbol{h}_{\mathbf{3}} \\
& \boldsymbol{h}_{\mathbf{4}}=\operatorname{CNN}\left(\boldsymbol{h}_{\mathbf{3}}^{\prime}\right)+\boldsymbol{h}_{\mathbf{3}}
\end{aligned}
$

次にペア作成部で作成した用語位置ベクトルと $\boldsymbol{h}_{\mathbf{4}}$ を用いて関係抽出に用いる 2 つの用語の表現 $\boldsymbol{e}_{\mathbf{1}}$ と $e_{2}$ を獲得する。

$
\boldsymbol{e}_{\boldsymbol{i}}=\boldsymbol{p} \boldsymbol{e}_{\boldsymbol{i}} \odot \boldsymbol{h}_{\mathbf{4}} \quad \forall i \in[1,2]
$

ここで $\boldsymbol{p}_{\boldsymbol{i}}$ は $i$ 個目の用語位置ベクトル，๑は要素積を表す. 得られた $e_{1}$ と $e_{2}$ に対して Maxpooling の 演算を行いそれぞれの 1 つのベクトルに整形する。

$
\boldsymbol{e}_{\boldsymbol{i}}^{\prime}=\operatorname{Maxpooling}\left(\boldsymbol{e}_{\boldsymbol{i}}\right) \quad \forall i \in[1,2]
$

ここで $\boldsymbol{e}_{i}^{\prime}$ は複数トークンから構成される用語であ る.この $\boldsymbol{e}_{\boldsymbol{i}}^{\prime}$ をそれぞれ全結合層を入力して用語と しての表現を獲得し，それらのべクトルの和をとっ てから最後に全結合層を通して用語間に存在する各関係の確率を出力する．以下の式で表される。

$
\begin{aligned}
\boldsymbol{e}_{i}^{\prime \prime} & =\text { FullyConnected }\left(\boldsymbol{e}_{\boldsymbol{i}}^{\prime}\right) \quad \forall i \in[1,2] \\
\boldsymbol{e}_{\boldsymbol{r} \boldsymbol{e}} & =\boldsymbol{e}_{1}^{\prime \prime}+\boldsymbol{e}_{2}^{\prime \prime} \\
\boldsymbol{l}_{\boldsymbol{r} \boldsymbol{l}} & =\text { FullyConnected }\left(\boldsymbol{e}_{\boldsymbol{r} \boldsymbol{e}}\right)
\end{aligned}
$

関係抽出を行うことによる一文の損失は以下のよう になる。

$
L_{\text {relation }}=\sum^{n_{\text {entity }} \mathrm{C}_{2}}\left(\sum_{i=1}^{r} y_{i} \log \left(\boldsymbol{l}_{\text {rel }}\right)_{i}\right)
$

ここで $r$ は関係ラベルの種類数であり， $n_{\text {entity }}$ は用語抽出が一文から抽出した用語数である. 各関係に 対して損失が発生し，それらの全ての和をとったも のを関係抽出の損失とする。一文に対するマルチタ スク学習モデル全体の損失としては，用語抽出の損失と合わせて以下のようになる.

$
L_{\text {all }}=L_{\text {entity }}+n L_{\text {relation }}
$

この損失をすべての文に対して，最小化することで マルチタスク学習を実現する。
表 1 関係抽出の対象ラベル数

## 4 実験

4.1 節で今回実験に用いるデータについて述べ， 4.2 節で実験設定について述べる. 4.3 節ではマルチ タスク学習モデルで行った用語抽出と関係抽出の実験について述べる.

## 4.1 対象データ

用いたデータは機械加工の切削加工に関する教科書文で文中に関係ラベルが存在する 794 の文を学習 714 と評価 80 に分割する. データ中の用語ラベル は「機械加工用語である」という Machining である. また，この 794 文の内トリガワードが含まれる文は 149 文で全体の 18.4\%であった。関係ラベルは，用語 A と用語 Bに「A が大きくなれば B が大きくな る」という正の相関を表す Positive の関係，「A が大 きくなると B は小さくなる」という負の相関を表す Negative の関係，「AはBの一種である」という Sub の関係，「A は B と何らかの定性的な関係がある」 という Relation の関係の四種類である.

## 4.2 実験設定

本節では行った実験の全体に共通する設定を述べ る. 最適化アルゴリズムは学習率 0.001 の Adamを 用いた. 用語抽出における用語のフィルタ数 $n_{t o k}$ は 4 とした. これは対象のデータにおける用語を構成 するトークン数が四つまでで全体のトークンの $96 \%$ を越えることが分かったためである.

## 4.3 マルチタスク学習による関係抽出

タスクの難易度に差がある用語抽出タスクと関係抽出タスクにおいて，用語抽出と関係抽出の同時学習モデルによるマルチタスク学習を行うことによる 関係抽出の精度評価実験について述べる. このマル チタスク学習において, 学習初期から用語抽出と関係抽出を同時に行うことは精度が安定しない. その 理由として, 関係抽出の対象とする用語ぺアが用語抽出で抽出された用語から作成されることが挙げ られる。実際に，最初からマルチタスク学習を行う と, 用語の抽出精度が安定していないため, 関係抽表 2 学習法の違いによる評価データでの $\mathrm{F}$ 值

出が対象とする用語ぺアの数が多くなってしまうこ とがあり，GPUメモリに載らず，処理がそもそも不可能であった. そこでマルチタスク学習モデルにお ける関係抽出は学習全体の半分は用語抽出のみを行 い，半分以降は関係抽出も行うマルチタスク学習モ デルとして評価を行った. 表 2 に実験結果を示す. ベースラインモデルは用語抽出と関係抽出を別々で 行ったモデルである．結果を見ると用語抽出と関係抽出どちらのタスクにおいてもマルチタスク学習モ デルの方が高い精度が得られることが分かった. こ の結果から，マルチタスク学習モデルにおける共有部の中間表現 $\boldsymbol{h}_{\mathbf{2}}$ が用語抽出・関係抽出の両タスク にとって必要な情報を獲得していることを示唆して いる.

## 5 おわりに

本研究は熟練者同等の知識が必要となる中で，技術文書等のテキストから機械加工因子と関係を抽出 することを目指し，入れ子構造を考慮した用語抽出 とトリガワードを考慮した関係抽出を同時に学習す るマルチタスク学習モデルを提案した. マルチタス ク学習をおこなうことで，用語抽出，関係抽出とも にベースラインより高い抽出精度が実現できること を示した.

今後の課題としては，マルチタスク学習モデルの 学習方法についてのより詳細な検討, 結果のより詳細な解析が挙げられる。

## 参考文献

[1] 増田ら. Trigger word と部分文字列を用いた機械加工用語の関係抽出. 言語処理学会 第 22 回年次大会 発表論文集, pp. 573-576, 2016.

[2] Taku Kudo and John Richardson. Sentencepiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. CoRR, Vol. abs/1808.06226, , 2018.

[3] Yohei Kikuta. Bert pretrained model trained on japanese wikipedia articles. https://github.com/yoheikikuta/ bert-japanese, 2019.

[4] 稲熊陸, 小島大, 東孝幸, 三輪誠, 古谷克司, 佐々木裕.入れ子構造を考慮した機械加工用語抽出. 言語処理学会第 26 回年次大会 (NLP2020) P5-31, 2020.


# ラベルの不均衡を考慮した End-to-End 情報抽出モデルの学習

山口 泰弘 進藤裕之 渡辺太郎
奈良先端科学技術大学院大学 先端科学技術研究科
\{yamaguchi.yasuhiro.yw2, shindo, taro\}@is.naist.jp

## 1 はじめに

情報抽出とは自然言語で書かれた文書から構造化 された情報を構築する技術である。一般的な情報抽出は，与えられた文から目的の用語を示すスパンを 抽出する固有表現認識と，抽出されたスパンの間の 関係を予測する関係抽出，スパンの共参照関係を予測する共参照解決など複数のタスクからなる。これ らのタスクはこれまで別々に研究が進められてい て，特に関係抽出や共参照解決ではタスクでは，文 と対象のスパンが与えられたもとで関係を予測する 手法が多く研究されている. 情報抽出を行う際は，固有表現認識を行った結果を関係抽出モデルの入力 とするパイプラインシステムとして処理される.こ うしたパイプライン処理においては上流のタスクで の誤りが下流のタスクに伝播しまうことが問題と なる.

そこで，最近ではスパンの抽出とスパンの間の 関係予測を同時に 1 つのモデルで行うマルチタ スク End-to-End 情報抽出の手法が検討されている [1][2][3]. これらの手法は次のような手順で処理さ れる. まず，与えられた文から可能なすべてのスパ ンを列挙する．次に，列挙された各スパンについて スパン埋め込みを計算する。そして，固有表現認識 の場合はスパン埋め込み，関係抽出や共参照解決の 場合はスパンのペアの埋め込み表現に対して分類を 行う.

先述した手法の問題点として，ラベルがつけられ ているスパン・スパンペア (正例) の数とラベルの ないもの (負例) の数に大きな差があることが挙げ られる。処理する文書のトークン数を $N$ としたと き，可能なすべてのスパンの数は $N(N+1) / 2$ とな る。また，スパンペアの数は，すべてを評価した場合 $\{N(N-1) / 2\}^{2}$ となる. 一方, 正例のスパンの数 は多くの場合 $N$ 以下であり，正例と負例の数に不均衡が生じる. 先行研究では評価するスパンを定数 $L \leq N$ 以下の長さのみに限定していて，この場

表 1 SciERC における不均衡

合スパンの数は $L(2 N-L+1) / 2$ であるが，依然と して正例と負例の数には大きな差が生じる．表 1 に SciERC[1] データセットにおける 1 文中の正例と負例のスパンの統計を示す. スパン数は $L=10$ とし た場合に列挙されるスパンの数を計算したもので ある．正例の割合は，スパン数に対するラベル付け されたスパンの割合を表す。この統計から，実際の データセットにおいても正例・負例の数が不均衡で あることがわかる.

こうしたラベルの不均衡は，一般的に機械学習モ デルの学習を妨げることが知られいる [4][5]. そこ で本研究では, Under Sampling, Over Sampling, Hard Example Sampling の 3 つのサンプリング手法を用い て学習に利用するデータを選択することで，このラ ベルの不均衡の問題を解決することを試みた。

これらのサンプリング手法を用いて End-to-End 情報抽出モデルを学習した結果，Hard Example Sampling を用いた場合に最もモデルの予測性能の改善が見られた。

## 1.1 End-to-End 情報抽出モデル

本研究ではマルチタスク End-to-End 情報集出モデ ルとして、DyGIE[2][3]をもとにしたモデルをべー スラインとして用いた. 図 1 に処理の手順を示す. モデルは以下のようなステップで実行される.

スパンの列挙: 与えられた文中から，トークン数 が $L(\leq N)$ 以下の可能な全てのスパンを列挙する. Lはハイパーパラメータとして設定する。

スパン埋め込み: 列挙されたスパンに対応するべ クトル表現を計算する。各トークンに対する埋め 込み $\left.\{\boldsymbol{x}_{1}, \cdots, \boldsymbol{x}_{N}\right.\}$ からスパン $\left(s_{i}, e_{i}\right)$ の始点と終点 の埋め込みを選択し，それらを結合したべクトル $g_{i}=\left[x_{s_{i}} ; x_{e_{j}}\right]$ をスパン埋め込みとする.

図 1 実験に利用したモデルの構造. ベースラインには赤枠の処理を除いたモデルを利用した.

スパンの枝刘: DyGIE[3][2] の手法に基づき，各ス パンに対応するスコアを計算し，スコアの大きいも のを選択する。選択するスパンの数は定数 $\gamma$ を設定

スパンペアの作成: 2 つのスパン埋め込み $g_{i}, g_{j}$ を 結合し，スパンペアのベクトル $\left[\boldsymbol{g}_{i} ; \boldsymbol{g}_{j}\right]$ を作成する.

スパン・スパンペアの分類: スパン，またはスパ ンペアのベクトル $\left(g_{i}\right.$ または $\left.\left[g_{i} ; g_{j}\right]\right)$ を，順伝播型 ニューラルネットワーク (FFN) を用いて各ラベルに 対するスコアを計算する。

スパン埋め込みの更新: DyGIE[3][2] と同様に，予測した共参照関係に基づいてスパン埋め込みの更新 を行う。

損失: 固有表現認識 (NER)，共参照解決 (CR)，関係抽出 (RE) の各タスクにおける交差エントロピー 誤差 $\mathscr{L}_{\mathrm{NER}}, \mathscr{L}_{\mathrm{CR}}, \mathscr{L}_{\mathrm{RE}}$ をそれぞれ計算する. モデルの 学習ではこれらの誤差の和 $\mathscr{L}$ を最小化する。

$
\mathscr{L}=\mathscr{L}_{\mathrm{NER}}+\mathscr{L}_{\mathrm{CR}}+\mathscr{L}_{\mathrm{RE}}
$

提案手法ではこのベースラインモデルにサンプリ ング処理を追加することでラベルの不均衡に対処す ることを試みた。

## 2 サンプリング手法

本研究では，先述のラベルの不均衡を考慮するた めに以下の 3 つのサンプリング手法を検討した.

## 2.1 Under Sampling

各ラベルの学習事例の数が偏っている場合に，多数派のデータはその一部のみを使って学習すること
で少数派とのデータサイズをバランスさせる手法で ある [4]. ここでは列挙されたスパンのうち，NER ラベルが付与されていないスパンからランダムに選択したスパンを学習に使用する。一方，ラベルが付与されたスパンはすべて学習に使用する.

## 2.2 Over Sampling

Over Sampling は少数派のデータを増加させる手法であり、様々な手法が提案されている。本研究で はSMOTE[5] と呼ばれる手法を利用した.

SMOTE アルゴリズムでは，まず，増やしたいラ ベルの対象データをランダムに 1 つ選択し，その近傍 $k$ 個を求める. そして，この $k$ 個の近傍から 1 つ を選んで，対象データとの間に同じラベルをもった データを生成すことでデータを増やす。

固有表現認識，共参照解決，関係抽出の各タスク ごとに，スパン（あるいはスパンペア）の分類器に 渡す直前の埋め込み表現 $\left(g_{i}\right.$ または $\left.\left[g_{i} ; g_{j}\right]\right)$ に対し て SMOTE アルゴリズムを用いて事例を増やす。こ こではラベルのつけられたスパン・スパンペアに対 して Over Sampling を行う．なお，ラベル間のデー 夕数の不均衡については考慮しないものとする。

## 2.3 Hard Example Sampling

予測の難易度にばらつきのあるデータを学習す る際に用いられる手法の 1 つに Hard Example Mining (HEM)[6][7] がある. HEM では, 学習時にモデルの 予測スコアに基づいて学習の難しい事例を発見し， より困難な事例を用いてモデルの学習を行うことで

モデルの性能向上が期待できる. 本研究では，この HEM の考え方をもとに，学習の難しい事例を選択 する Hard Example Sampling を提案する。

可能なすべてのスパンを列挙した場合，実際に ラベルがつけられたスパンとオーバーラップす るスパンが複数生成される。 “This paper reports on two contributions to [ large vocabulary continuous speech recognition ] .”という例文では. 括弧で囲まれた 範囲が実際のスパンである.ことのき，列挙さ れるスパンの中には “continuous speech recognition”, "continuous speech", "contributions to large vocabulary" といった実際のスパンとオーバーラップしたものが 含まれる.こうしたオーバーラップしたスパンは互 いに共通する部分文字列を持ち，似通っているため 分類が困難になと考えられる。

HES を用いることで，ラベルの不均衡を改善する とともに，こうした予測の困難な事例に対する予測性能の改善が期待できる.

## 3 実験

提案した各サンプリング手法を用いてモデルを学習し，固有表現認識，共参照解決，関係抽出の各夕 スクにおける予測性能の比較を行った。

## 3.1 データセット

学習と評価には SciERC[1]を利用した. このデー タセットは 500 本の科学論文のアプストラクに対 して固有表現認識，共参照解決，関係抽出のための アノテーションを行ったデータセットである.この データセットのうち, 学習データと検証データを用 いてモデルの学習とハイパーパラメータの決定を行 い，テストデータで各手法の性能を比較した.

## 3.2 モデルの設定

各トークンの埋め込みを得るために，科学論文で 事前学習された BERT モデルである SciBERT[8] を 利用した. 対象の文を SciBERT に入力し, 得られた トークンの埋め込みを元にスパン埋め込みを算出 した. 学習時には SciBERT のパラメータの更新を 行った.

スパンの列挙では， $L=10$ として，トークン数が 10 以下のすべてのスパンを予測の対象とした。ま た，スパンの枝刈りにおいては共参照解決と関係抽出の両方で $\gamma=0.5$ を設定した.

固有表現認識，共参照解決，関係抽出の各タスク

表 2 実験結果

では，スパン・スパンペアの埋め达みを 2 層の順伝播型ニューラルネットワークを通して各ラベルの 予測スコアを計算した. 各層の次元はすべて 150 と した.

## 3.3 サンプリングの設定

Under Sampling と Hard Example Sampling では, 正例全てに加えて，バッチの繰り返しごとに負例を最大で 50 個ランダムに選択して学習に利用した. ま た, Over Sampling では $k=10$ として近傍を計算し， SMOTE アルゴリズムを用いて各文に対して 10 個の 正例を増やした。

## 3.4 評価

各タスクの性能はテストデータを用いて F1， Precision Recall を計算した. 関係抽出タスクでは,選択されたスパンの範囲と予測された関係ラベル のみに基づいて各スコアを計算した。したがって関係予測の評価においては選択されたスパンの NER ラベルの予測の正しさについて考慮しないものと した.

## 4 結果と考察

実験の結果を表 3.4 に示す. 手法 Base, US, OS, HES, HES+OS はそれぞれ, ベースラインモデル, Under Sampling, Over Sampling, Hard Example Sampling, HES と OS の併用，を表す.すべてのタスクの F1 ス コアにおいて，HESが最も高い精度となった. OS は固有表現認識, 共参照解決のタスクにおいてべー スラインのF1スコアを下回った。一方，Recall を 見るとすべてのタスクにおいて OS が最も高い結果 なった。また，Base と OS, HES と HES+OS をそれ ぞれ比較すると，OS を用いた場合に Precision が低

A probabilistic spectral mapping is estimated independently for each training reference speaker and the target speaker .

Each reference model is transformed to the space of the target speaker and combined by averagin

We pose this as an unsupervised discriminative clustering problem on a huge dataset of image patches

図 2 スパンとその近傍

下し，Recallが上昇する傾向がみられた.

## 4.1 スパン埋め込みの近傍

Over Sampling では近傍の事例を用いてデータを 生成するため，サンプリング対象となる事例の近傍 の状態がモデルの学習やその性能に影響を及ぼすと 考えられる。そこで，SciBERT から計算したスパン 埋め込みを用いて，ラベルのつけられたスパンの埋 め込みの近傍となるスパンを分析した。

表 2 亿正例とその近傍のスパンの例を示す. 赤で 示された範囲が正例のスパンであり，下線で示した ものが最近傍のスパンの範囲である. 近傍のスパン を見ると，その多くが正例とのオーバーラップを含 んでいることがわかる. SMOTE アルゴリズムを利用してデータを増やした場合，こうしたまぎらわし い負例との間に正例データが生成されるため, 正例 と負例の識別が困難になったと考えられる. そし て，まぎらわしい事例に対してラベルを付与してし まうことで，Over Sampling を用いた手法では Recall は高く，Precision は低くなるという結果になった。

一方，Hard Example Sampling ではオーバーラップ を含むスパンを学習に使用し, 正例と負例の境界付近の事例を学習したことで性能の向上に繋がったと 考えられる。

## 4.2 サンプリングサイズの影響

サンプリングサイズの違いによる予測性能への影響を調べるために，異なるサンプリングサイズでモ デルを学習し, 予測性能の比較を行った. 表 4.2 に HES における比較を示す. HES 10, HES 50, HES 100 はそれぞれ負例のサンプリングサイズを $10,50,100$ として学習を行ったものである.

表 4.2 から，HES 50 が全てのタスクにおいて最も 高い F1 スコアとなった. 一方，HES 10 ではベース ラインと比較して固有表現認識と共参照解決におい てはF1 スコアが下回る結果となった。この結果か ら，サンプリングサイズが小さすぎる場合には事例 が不足して十分な学習が行われず，HES を用いても

表 3 サンプリングサイズごとの予測性能

予測性能は向上しないと考えられる。また，HES 50 と HES 100 では HES 50 の F1 スコアが高いことか ら，学習に必要な事例数と正例・負例のバランスを 調整する必要があることが示唆される。

## 5 おわりに

本研究では，マルチタスク End-to-End モデルの 学習におけるラベルの不均衡の問題を解決する ために, Under Sampling, Over Sampling, Hard Example Sampling の 3 つのサンプリング手法による学習を 検討した. 実験の結果，Hard Example Sampling を用 いた場合に，固有表現認識，共参照解析，関係抽出 の全てのタスクにおいてF1 スコアの改善が見られ た.一方，SMOTE による Over Sampling ではまぎら わしい正例が生成されることで Precision の低下と Recall の上昇が確認された。そして，Hard Example Sampling においてはサンプリングサイズが予測性能 に影響を与えていて，予測性能を向上させるために は適切なサンプリングサイズを選択する必要がある ことが示唆された。

また，本研究で用いたようなスパンとその関係を 同時に予測するモデルは，情報抽出以外のタスクに おいてもその利用が検討されている [9]. そこで，今後は他のタスクにおいてもこの提案手法による予測性能への影響を検証したい。

## 参考文献

[1] Yi Luan, Luheng He, Mari Ostendorf, and Hannaneh Hajishirzi. Multi-Task Identification of Entities, Relations, and Coreferencefor Scientific Knowledge Graph Construction. In Proc. \Conf. Empirical Methods Natural Language Process. (EMNLP), 2018.

[2] David Wadden, Ulme Wennberg, Yi Luan, and Hannaneh Hajishirzi. Entity, Relation, and Event Extraction with Contextualized Span Representations. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 5784-5789, Hong Kong, China, nov 2019. Association for Computational Linguistics.

[3] Yi Luan, Luheng He, Mari Ostendorf, and Hannaneh Hajishirzi. Multi-task identification of entities, relations, and coreference for scientific knowledge graph construction. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, EMNLP 2018, pp. 32193232. Association for Computational Linguistics, 2020.

[4] Miroslav Kubat and Stan Matwin. Addressing the curse of imbalanced training sets: One-sided selection. In In Proceedings of the Fourteenth International Conference on Machine Learning, pp. 179-186. Morgan Kaufmann, 1997.

[5] Nitesh Chawla, Kevin Bowyer, Lawrence Hall, and W. Kegelmeyer. Smote: Synthetic minority over-sampling technique. J. Artif. Intell. Res. (JAIR), Vol. 16, pp. 321-357, 062002.

[6] P. F. Felzenszwalb, R. B. Girshick, D. McAllester, and D. Ramanan. Object detection with discriminatively trained part-based models. IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 32, No. 9, pp. 1627-1645, 2010.

[7] Abhinav Shrivastava, A. Gupta, and Ross B. Girshick. Training region-based object detectors with online hard example mining. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 761-769, 2016.

[8] Iz Beltagy, Kyle Lo, and Arman Cohan. SciBERT: A pretrained language model for scientific text. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3613-3618, Hong Kong, China, November 2019. Association for Computational Linguistics.

[9] Zhengbao Jiang, Wei Xu, Jun Araki, and Graham Neubig. Generalizing Natural Language Analysis through Spanrelation Representations. pp. 2120-2133. Association for Computational Linguistics (ACL), jul 2020.


# SVM を用いた BCCWJ における同形異音語の読み推定

小林汰一郎
茨城大学工学部情報工学科
17t4036s@vc.ibaraki.ac.jp
}

古宮嘉那子
茨城大学理工学研究科工学野情報科学領域
kanako.komiya.nlp@vc.ibaraki.ac.jp

## 1 はじめに

日本語には同形異音語と呼ばれるものがある。これ は文字通り「同じ字形で異なる読みを持つ語彙」の ことであり、例として「強請る」などがある。これは 「ユスル」と「ネダル」という 2 つ読みがあるが、こ れらは明らかに異なる意味であり、文章によって適切 に読み分ける必要がある。日本語話者であれば、どち らの読みが正しいのか文脈から判断することはさほど 難しくない。また、 3 種類以上の読みを持つ同形異音語も存在する。「辛い」などがその最たる例である。 これは「カライ」「ツライ」「ヅライ」のように読むこ とができる。「カライ」と「ツライ」が違う意味である ことは言うまでもないが、文章によっては「ツライ」 という読みに連濁が発生し、「ヅライ」と読むことも ある。この連濁を無視して文章を読むことは不自然で あることから、「ツライ」と「ヅライ」にも読み分け が必要であることが分かる。

このように、同形異音語の読み分けは文章の意味を 理解する上で必須である。ただ、その読み分けには文脈の理解が必要であると予想され、機械が読み分ける ことは困難である。そこで、文脈を考慮できる分散表現の一種である BERT など複数のべクトル化手法を用 いて単語をべクトル化し、それらを大力とした SVM を用いて同形異音語の読み分類を行った。

## 2 関連研究

本研究は語義曖昧性解消の一種と捉えられる。語義曖昧性解消とは、複数の語義を持つ単語を一意 に識別するタスクのことである。語義曖昧性解消 は、頻出の単語のみを対象語とする Lexical Sample Task と文中の全単語を対象とする All-words Word Sense Disambiguation（[1]、[2] など）に分けられる。本研究は、Lexical Sample Task の一種として捉えられ る。日本語の Lexical Sample Taskには、SENSEVAL-2 Japanese dictionary task ([3]) や SemEval-2010 Japanese WSD Task（[4]）などがある。

## 3 ベクトル化手法

SVM を用いて同形異音語の読み分類をする際に、以下のようなべクトル化の手法を試みた。

1. one-hot ベクトル

2. word2vec

3. BERT

本節では、これらの手法について

・「私はその辛いカレーをその時食べた。」(以下文章 1)

・「あなたはその辛い出来事を忘れてはいけない。」 (以下文章 2)

を例にとって説明する。

## 3.1 one-hot ベクトルを用いた手法

one-hot ベクトルとは、対応する素性だけを 1 とし、 その他は全て 0 としたべクトルのことである。本研究 で利用した作成方法は以下の通りである。

1. 同形異音語の周辺 6 単語を抽出する

2. 抽出した単語に数値を割り当てる

3. one-hot ベクトルに変換する

4. 同形異音語 1 単語毎にベクトルを連結する

まず 1. では文章中の同形異音語の前後 3 単語ずつ を抽出する。今回の例で言えば、文章 1 と文章 2 か ら抽出される単語はそれぞれ「私」「は」「その」「カ レー」「を」「その」と「あなた」「は」「その」「出来事」「を」「忘れる」の計 12 単語である。

2. では抽出された単語の辞書を作成し、素性とす る。ただし、同じ単語でも、出現した場所によって異 なる素性とする。今回で言えば、文章中の同形異音語「辛い」の 1 つ前に出現した「その」と 3 つ後に出現 した「その」とは区別して素性とする。

3. では 2. で作成した素性に対して、周辺単語が属 する素性を 1 とし、その他は全て 0 とする。

4. では 3. で作成した one-hot ベクトルを単語每に連結させ、 1 つのベクトルとする。

この手法では、文章数によってべクトルの次元が
大きく変化しうる。今回の実験では抽出された文章は $1,441,636$ 文となり、 162,314 次元のベクトルと なった。

## 3.2 word2vecを用いた手法

本研究では $n w j c 2 v e c^{1)}[5]$ を利用した。 $n w j c 2 v e c は$国語研日本語ウェブコーパス (NWJC)([6]) から学習さ れた単語の分散表現データであり、word $2 \mathrm{vec}^{2}$ )を基に 構築された。単語分散表現とは、単語を高次元のべク トルに変換する技術の総称で、word2vecを皮切りに世界中で研究されている。word2vec とは Mikolov ら [7] が 2013 年に提案した手法で、例えば、「王様」を表す ベクトルから「男性」を表すべクトルを引いて、更に 「女性」を表すべクトルを足すと、「女王」を表すべク トルになるように、単語間で構成性を持つのが大きな 特徴である。また、word2vecでは同じ表層を持つ単語 は同じベクトルに変換される。例えば多義語でも同じ ベクトルに変換される。これは同形異音語も同様であ るため、同形異音語自身の word2vec を素性としても 読み分類には役立たない。

今回使用した nwjc2vec の学習の詳細は以下の通り である。

・アルゴリズム : C-BOW

・次元数 : 200

・ウィンドウ幅 : 8

・ネガティブサンプリングに使用した単語数 : 25
- 反復回数 : 15

one-hot ベクトルの時と同じように、ベクトル化の 対象となる単語は文章中の同形異音語の周辺 3 単語ず つである。今回の例で言えば「私」「は」「その」「カ レー」「を」「その」と「あなた」「は」「その」「出来事」「を」「忘れる」の計 12 単語である。各単語べク トルを連結する際、出現した順番に連結することで単語の位置を考慮した。nwjc2vec は 1 単語当たり 200 次元のベクトルであるため、 6 単語の抽出を行った本実験では、 1 文章につき 1,200 次元のべクトルとなった。

## 3.3 BERTを用いた手法

BERT[8] とは'Bidirectional Encoder Representations from Transformers' の略称で、Jacob Devlin らが 2018 年に発表した分散表現及びそれを利用したモデルで ある。BERT の大きな特徴として、文脈に依存した出力を行うことが挙げられる。これは、同じ単語でも 文脈によって違うべクトルを出力するということで

ある。本研究では $n w j c-B^{2} R R T^{3)}$ と呼ばれる、言語資源協会より公開されている事前学習モデルを利用した。 nwjc-BERT は、国立国語研究所コーパス開発センター 超大規模コーパスプロジェクトで整備されたウェブテ キストコーパスから訓練された、48,914 語彙素からな る BERT モデルであり、同データの 226 億語から、表層形でない UniDic 語彙素に基づいて訓練された。次元数は 1 単語当たり 768 次元である。

nwjc-BERTを用いてべクトル化する際には、同形異音語自身をべクトル化の対象とした。上述の通り、 BERT は文脈を考慮し、それ故に同じ単語であっても 文章によって異なるべクトルを出力できる。この特性 を利用し、周辺単語を抽出してべクトル化せず、文章中の同形異音語自身をべクトル化の対象とした。ベク トル化の際は左右 6 単語を文脈として入力した。

## 4 実験

実験には現代日本語書き言葉均衡コーパス (以下 $\mathrm{BCCWJ})^{4}$ を利用した。

BCCWJ に含まれているテキストとしては以下のよ うな種類があり、今回の実験では全てのジャンルを対象とした。

・出版サブコーパス

一書籍

-雑誌

一新聞

・図書館サブコーパス 一書籍

・特定目的サブコーパス

一白書

一教科書

一広報誌

ーベストセラー

-Yahoo!知恵袋
- Yahoo!ブログ

一韻文
- 法律
- 国会会議録

実際に BCCWJ に含まれていた同形異音語は 71 種存在した (表 1) が、単語数が少なすぎるものについて は実験の対象外とした。具体的には、間値を 50 と設定し、合計単語数が間値を下回った単語 (表 1 下部の 「巨頭」「泡沫」「竹馬」)を実験の対象外とした。

サポートベクトルマシン (SVM) には scikit-learn ${ }^{5}$ の

 & 読み 4 & 読み 5 & 読み 6 & 単語数 \\

SVC 及び LinearSVC を利用した。ベクトル化手法毎 のそれぞれ使用したカーネルは表 2 の通りである。

実験結果のマクロ平均、マイクロ平均を表 3 及び 表 4 に示す。また、各単語において、(最頻出読み 数)/(全読み数) をBASELINE として設定した。この BASELINE のマクロ平均とマイクロ平均もそれぞれ 表 3 と表 4 に示す。

## 5 考察

表 3、表4から、one-hotベクトルが最も良く、BERT が最も悪いという結果が読み取れる。one-hot ベクト ルには、定型的な表現やルールが存在するものの分類 には強いという特徴がある。つまり、one-hot ベクト ルが最も良かった要因としては、読みの分類には前後 の単語によるシンプルなルールがあるからだと考えら れる。

また、one-hot ベクトルには未知語が存在しない。 これは、素性として登録されていない単語が出てきた ら、新たに対応した素性を作成するというアルゴリズ ム故である。それに対して、nwjc2vec や nwjc-BERT はあらかじめ登録された単語しかべクトル化できな い。これによって、one-hot ベクトルが単語分散表現よりも良い結果が得られたのではないかと考えら れる。

そこで nwjc2vec と nwjc-BERT に対して未知語を検出した結果、その数は表 5 のようになった。

このように、nwjc-BERT では未知語の割合が $1 / 6$ 程度を占めているが、これは 1 つの文章につき 1 単語程度未知語が発生している計算となる。また、nwjc2vec表 5 未知語の数とその割合

と比べても未知語が 250 倍程度ある。そのため、 one-hot ベクトルと nwjc2vec に比べて、nwjc-BERT が 最も悪い結果になったと考えられる。

## 6 おわりに

本稿では BCCWJ から同形異音語を抽出し、その周辺単語や同形異音語自身を素性として、読みの分類を SVM で行った。ここで、周辺単語を素性とする時は 前後 3 単語のみを素性とした。

単語のベクトル化手法には one-hot ベクトルと単語分散表現を用い、単語分散表現では nwjc2vec と nwjc-BERTを用いた。これらのベクトル化された単語をSVM の入力とし、one-hot ベクトル及び nwjc2vec では linear カーネルのみを、nwjc-BERT では linear、 poly、rbf、sigmoid の 4 種のカーネルを試した。

結果としてはマクロ平均・マイクロ平均共に one-hot ベクトルが最も高く、BERT が最も低いという結果に なった。

今後の展望として、ベクトル化手法として BERTを 用いる場合、今後は 1 文全てを素性として実験しよう と考えている。BERT は文脈を考慮して単語をべクト ル化できるため、ベクトル化の際に与える単語をより に広げることで、今回の実験結果より高い精度が得ら れると考えられる。より高い精度が得られれば、転移学習による他のタスクの解決にもつながると考えて いる。

その他にも one-hot ベクトルと BERT の複合ベクト ルを入力とするなど、ベクトル化手法の工夫も考え ている。また、非線形分類を行うために MLP など、 SVM 以外を用いた分類手法を取り入れることも視野 に入れている。

## 謝辞

本研究は、茨城大学の特色研究加速イニシアティブ 個人研究支援型「自然言語処理、データマイニング に関する研究」に対する研究支援および JSPS 科研費 17KK0002、および 18K11421 の助成を受けたもの です。

## 参考文献

[1] David Yarowsky. Unsupervised word sense disambiguation rivaling supervised methods. In 33rd annual meeting of the association for computational linguistics, pp. 189-196,

1995.

[2] 浅原正幸佐々木稔 新納浩幸鈴木類. 概念辞書の類義語 と分散表現を利用した教師無し all-words WSD. 自然言語処理 Vol26 No2., 2019.

[3] Kiyoaki Shirai. Senseval-2 japanese dictionary task. In Proceedings of SENSEVAL-2 Second International Workshop on Evaluating Word Sense Disambiguation Systems, pp. 33-36, 2001.

[4] Manabu Okumura, Kiyoaki Shirai, Kanako Komiya, and Hikaru Yokono. On semeval-2010 japanese wsd task. Information and Media Technologies, Vol. 6, No. 3, pp. 730-744, 2011.

[5] 新納浩幸, 浅原正幸, 古宮嘉那子, 佐々木稔. nwjc2vec:国語研日本語ウェブコーパスから構築した単語の分散表現データ. 自然言語処理, Vol. 24, No. 5, pp. 705-720, 2017.

[6] Masayuki Asahara, Kikuo Maekawa, Mizuho Imada, Sachi Kato, and Hikari Konishi. Archiving and analysing techniques of the ultra-large-scale web-based corpus project of ninjal, japan. Alexandria, Vol. 25, No. 1-2, pp. 129-148, 2014.

[7] Tomas Mikolov, Kai Chen, Greg Corrado, and Jeffrey Dean. Efficient Estimation of Word Representations in Vector Space. ICLR, 2013.

[8] Zhilin Yang, Zihang Dai, Yiming Yang, Jaime Carbonell, Russ R Salakhutdinov, and Quoc V Le. Xlnet: Generalized autoregressive pretraining for language understanding. In Advances in neural information processing systems, pp. 5753-5763, 2019.


# オンラインコミュニティにおける単語頻度の通時的変化を利用 た新語リストの獲得

阿部香央莉 1 松田耕史 2,1 吉川将司 3,2 乾健太郎 1,2
1 東北大学大学院情報科学研究科 2 理化学研究所 3 東北大学 TCPAI 研究センター
\{abe-k, matsuda, inui\}@ecei.tohoku.ac.jp yoshikawa@tohoku.ac.jp

## 1 はじめに

近年，機械翻訳などの言語処理技術の発展は目覚 ましいが，それらのシステムに対して未知の単語 （未知語）が入力として与えられると，その性能は 顕著に落ちることが知られている $[1,2,3]$.

未知語の例としては，漫画のタイトルなどの固有名詞（「呪術廻戦」，「あつ森」など）や，特定のコ ミュニティ内で生まれ幅広く広まった用語（「草」，「エモい」など)，医学や法学などの専門用語などが あげられる。これらの語は日々生み出され続けてお り，大規模データを学習した BERT[4] のようなモデ ルにおいても, 現状の学習済モデルが静的な状態で 運用されている以上，これらの新語全てに対応する のは不可能である. したがって，今後の自然言語処理技術の発展に向け, 未知語（特に新語）に対応す る術を考えることの重要性が増している。

しかし，日本語において新語を対象にした分析を 行うための基盤は，我々の知る限り十分に整えられ ていない. そのため，我々は新語分析基盤を整える ための最初のステップとして，具体的にどのような 新語が存在するのかを把握するべく, 分析対象とな る新語のリストを収集することを試みる。新語リス トの収集後には，リスト中の語の体系的分析や，自然言語処理システムの新語に対する頑健性を評価 するデータセットの構築等を行っていく. 本研究で は，日本語における新語のリストをデータ駆動的に 獲得することを目的として，時系列の記録が紐づい たテキストデータから (1) 頻度 0 から生起した語の 取得 (2) 年々右肩上がりに頻度上昇した語の時系列 クラスタリングによる取得の 2 つを試す. 結果とし て, 前者で満足に取得できなかった新語を後者で取得できた ${ }^{1)} も の の ，$ 実際に新語リストとして活用す るには目視による確認が必要であり，今後の新語研

1）詳細なクラスタリング結果はhttps://chanabe-k.github。 io/time_clustering_novel_words を参照.究基盤を整えるためさらに精査する心算である.

## 2 関連研究

近年の言語処理分野においては，新語（novel words）や造語（neologism）に着目した研究が広が りつつある．英語では，オンラインコミュニティの Reddit データ [5, 6] や新聞データ [7] を利用した新語 についての研究が行われている. Cole ら [5] は，新語の生み出される数が年々増加するという過去の報告通りの現象が Redditにおいても生じることを確認 している。これは，日々生まれる新語に対処する方法論を考える必要性を示唆する結果である。また， Pinter ら [7] は, 新聞データにおいて出現した新語 に対し, 細かい粒度（混成語，方言，ドメイン特化 の専門用語等）での分類を行い，新語データセット の作成を行っている.この研究からもわかる通り，一言で新語と言ってもその中身は多様であり，こ れら全てに対応するための方法論は自明ではない.既存語の組み合わせや変形で生じた語に関しては, Hofmann ら [6] がある特定の語を語幹として語形変化によって生み出された新語 (例 : trump $\rightarrow$ trumpy, trumpish）のまとまりを形態論的家族（morphological family）と呼び，その広がりを推測するという新し いタスクを提案している. また, Schick らは BERT の埋め込み表現と語形を考慮したベクトルを組み 合わせて（新語などの）希少語に対応する手法を提案している [8]. さらに，英語だけでなくへブライ 語においても，へブライ語の語形成の特徴を考慮し た造語自動生成の研究などが行われている [9]. こ のように，新語に関する研究は言語を跨って行われ ており，その多くは新語問題に取り組む手始めとし て，新語研究を行うための基盤（データセット・タ スク）を整えている。しかし，日本語において同様 に新語についての分析を行いたいと考えた時に，こ のようなデータセットなどの資源は現状整備されて

いない. そのため, 本研究では新語分析を行うため のデータセット構築に向け，まず分析対象とする新語のリストを獲得することを試みる。

日本語において新語の研究を行いたいと考えた 時, 日本語ではひらがな・カタカナ・漢字・アル ファベットの 4 種類もの文字セットを常用している ことにより, 英語等の既存研究の枠組みを適用する だけでは新語のモデリングが困難と考えられる．藤井ら [10] の研究では, 現状の機械翻訳モデルは異表記（本来漢字等で表すべきところを，ひらがなやカ タカナ等で表現している）を含む文に対処できない という指摘がある. このように，一つの概念に対す る表現手法が一意に定まらない点が日本語における 新語研究を複雑化させていると考えられる.

## 3 新語リストの獲得

新語を対象とした分析を始めるにあたり，まず どのような新語を対象とすべきか，対象とする新語をどう同定するかという点が第一の問題とな る. 特に日本語では, 分かち書きがされていないこ とにより，文中のどの範囲を新語として取り出す かという課題も生じる。この議論は, Unidic[11] や $\mathrm{MeCab}$ の NEologd[12] など, 単語分割用辞書の自動獲得の文脈にも近い. 本研究では, 新語の分割自体 は NEologd に頼り，この辞書中で特に幅広く話題と なっている新語をどう獲得するか，という点に焦点 を当てる．単語分割方法を定めた上で，以下の 3 種類の見方で新語を取得することを考える。

1. 予め新語とわかっている単語

2. ある基準（日時等）を境に，頻度 0 から生起し た単語

3. 頻度が年々右肩上がりに上昇した単語

1 は言語学の知見や人手による観察を元にリスト を得る方法で， 2 および 3 は大規模コーパスを利用 してデータ駆動的に得る手法である. しかし， 1 の 手法では選定する新語が人間の感覚や観察に大きく 依存するため, 対象としたい新語を大規模に獲得す ることができない. 本研究では, 先行研究 $[5,7]$ で も用いられている 2 と, 本研究で新たに試みた 3 の 結果を報告する。

## 3.1 データセット

本研究では，通時的な単語頻度の変化を集計・分析することで，新語の隆盛の傾向を捉えることを試
みる.このような分析を行うためには，なるべく大規模かつそのテキストがいつ記述されたものかとい う情報が付加されている，各年代別に分かれたデー タセットを分析対象とする必要がある. 今回は，こ の条件に該当するデータとして，Twitterをクローリ ングして得られたデータ (Twitter データ) および国立情報学研究所のダウンロードサービスにより株式会社ドワンゴから提供を受けた『ニコニコ動画コ メント等データ [13]』(ニコニコデータ) を用いた. Twitter データに関しては，2013 年から 2018 年まで クローリングした結果から，各年別に一部を抽出し た $^{2)}$ データを使用した. Twitter データ及びニコニコ データの各年ごとのデータ規模を表 1 に示す.

単語頻度の傾向分析をする際，データの規模に よって正規化を行った. 以降の実験結果におけるグ ラフの縦軸は，「対象とする単語の頻度 / 総単語数」 で算出した割合となっている。

## 3.2 頻度 0 を基準とした新語獲得

ここでは，Twitter およびニコニコデータセットに おいて，ある年を境に出現した新語を抽出して新語リストを獲得することを試みた。具体的な手順 としては，表 1 に示している各年コーパスにおい て，コーパス中に出現する全単語を集めた語彙集合 $\left(V_{y}, y=2013, \ldots, 2018\right) を$ 作成し，この語彙集合間の 差分を取った. 例えば， 2015 年データセットの語彙集合 $V_{2015}$ から，それまでの（2013～2014 年）デー タセットの語彙集合の和 $V_{2013} \cup V_{2014}$ をいたもの を 2015 年に出現した新語とみなした。なるべく広範に使用されている語を獲得したいため, 初めて出現した年（上記の例の場合，2015 年時点の頻度）に おいて頻度が 100 より大きいものを抽出した.

表 2 にて，実際に獲得された新語のリストの一部 を例として示す. 表 2 より, Twitter・ニコニコデー 夕それぞれにおいて獲得された新語は，数・内容共 に大きく異なることがわかった。取得される数は元 データの規模に大きく依存していた。また内容に関 しては, Twitterデータの方がより時事的な話題やテ レビの番組等の固有名詞が多いのに対して，ニコニ コデータではゲーム・アニメに関する固有名詞が多 い傾向がみられた. また，それぞれのデータから 抽出された時点では，ノイズとみなされるような 単語3) も多く抽出されていたが，Twitter・ニコニコ

2）一部抽出する際，http から始まる URL を含むツイートを 除外し，ツイート内からユーザ名を除く前処理を行った。

3）特にニコニコデータでは「弾幕」あるいは「荒らし」と見な

表 1 各年ごとの Twitter およびニコニコデータの規模（行数，総単語数）.ニコニコデータは 1 コメント 1 行として数え る. 総単語数は単語の異なり数ではなく，データ中の全単語数である（実験節におけるグラフの正規化のために用いる）.

表 2 Twitter およびニコニコデータにおける各年コーパスの語彙集合の差分から得られた新語リスト

データ双方で新語と判定された語（2つのリストの 積集合）を取ることで，より妥当な新語リストを抽出することができた.しかし，積集合を取ることで 新語リスト内の単語の総数は大きく減少するため,積集合を取って質を高めることと獲得される新語の 数はトレードオフの関係にあると言える。一方で,

表現はこの手法ではうまく獲得できなかった. 原因 として，「エモい」は 2013 年時点から Twitter データ で 198 件，ニコニコデータで 452 件出現しており，当時から既に幅広く使用されていた語彙であるこ

たものの，3５年のスパンをかけて徐々にその勢力 を拡大しており，頻度の下限で足切りされたことが あげられる.

されるものにより，一般的でない表現（「。・。丸・。」など） が新語とみなされ獲得されてしまうという現象が起きていた。

## 3.3 時系列クラスタリングによる新語獲得

頻度 0 から急激に使用頻度が増えた単語を抽出す るだけでは，「エモい」等の既知の新語をデータ駆動で獲得することができなかった．そこで，このよ うな単語も抽出する方法として，各年コーパスを比較した際に顕著に頻度が増加した単語を自動抽出す る手法を考えた．具体的には，各単語の 2013～2018 年の頻度の推移を時系列データとみなして時系列ク ラスタリングを行い，単語頻度が上昇傾向にある単語を収集することを試みた。

## 3.3.1 実験設定

Python の tslearn ライブラリ4)における TimeSeriesKMeans（時系列に対応した K-Means 手法）を 用いてクラスタリングを行った.このとき，時系

(a) Twitter, 右肩上がり

(c) Twitter, 凸型

(b) Twitter, 右肩上がり

(d) ニコニコ,右肩上がり

図 1 Twitter およびニコニコデータの単語に対する時系列クラスタリングの結果. 赤線はクラスタの中心線を表す.

列データ間の距離尺度にはユークリッド距離を用 いた5 ${ }^{5)}$.クラスタ数は Twitter・ニコニコデータそれ ぞれにおいて 100，80とした．実行時間を考慮し， Twitter データでは頻度 2,000 以上かつ 20,000 未満の 23,504 語，ニコニコデータでは頻度 2,000 以上かつ 200,000 未満の 14,586 語に対してクラスタリングを 実行した。

## 3.3.2 実験結果

図 1 に，時系列クラスタリングの結果の例を示 す. 図 1 (a)のクラスタでは，2013 年当時の出現頻度がほぼ 0 に近い単語が，2018 年には 3 倍ほどの頻度に達している様子が読み取れる。このクラスタに は 3.2 節で得られなかった「エモい」が含まれてい るだけでなく，「Bluetooth」「LGBT」など，次第に世間に広まった新語が含まれていることを確認でき た. また，同じく右肩上がりの傾向が見られたクラ スタ（図1(b)）では，「すこ」「メルカリ」のような 単語が見られた。一方で，この右肩上がりのクラス タ内には「アスリート」などの新語ではない単語も 見受けられた. 同様に，ニコニコデータでも右肩上 がりのクラスタから流行した新語（「SSR」「野田内閣」など）のリストを得ることができた（図 1 (d)). しかし，Twitter と比べるとニコニコデータでは右肩上がりとみなせるクラスタが少なかった6）。

時系列クラスタリングの副産物として，一時的に 流行した単語リスト（凸型の傾向）や，以前は流行

5） 距離尺度を Dynamic Time Warping (DTW) や Soft DTW とし た実験も行ったが，結果に大きな差異は見られなかった。

6）目視で確認した結果，Twitter データでは $24 / 100$ ，ニコニコ データでは 13 / 80 のクラスタが右肩上がりの傾向を示してい た.
していたが年々衰退している単語のリスト（右肩下 がりの傾向）の収集もできた. 図 1(c)の凸型グラフ のクラスタからは，「集団的自衛権」「アナ雪」など の 2014 年頃に話題となった単語が取得できた.

総じて，異なる 2 種類のデータセットから新語を 含む語集合を得ることができたものの，中には一部新語に分類されないものが含まれており，新語分析用のデータセット等を作る上ではここからさらに目視による確認ステップを挟むなどして，その質を高 める必要があることがわかった．また， 3.2 節と同様に，データセットによって獲得できる新語の種類 は異なっていた。これは各データセットの元となっ たコミュニティの文化やそこで取り上げられる主要 な話題に依拠しているものであり，実世界にある新語を網羅的に獲得するには複数のデータセットで横断的に新語を獲得する必要があると考えられる。

## 4 おわりに

日本語において日々生まれ拡散されていく新語に ついて，時系列情報がテキストと紐付いたデータを 用い，その通時的な変化を元にデータ駆動で新語リ ストを獲得することを試みた。今後は，引き続き利用可能な時系列情報が付加されたデータセット（新聞データ等）を利用して新語リストを拡充し，この 新語リストを利用した日本語における新語データ セットの作成に取り組みたい。またデータセット構築後の次のステップとして，現状の BERT 等のモデ ルにおいて今回収集したような日本語の新語を扱え ているかどうかの分析を行うことも考えている.

謝辞本研究は JSPS 科研費 JP20J21694 の助成を 受けたものです.

## 参考文献

[1] Shoetsu Sato, Jin Sakuma, Naoki Yoshinaga, Masashi Toyoda, and Masaru Kitsuregawa. Vocabulary adaptation for domain adaptation in neural machine translation. In Findings of the Association for Computational Linguistics: EMNLP 2020, pp. 4269-4279. Association for Computational Linguistics, 2020.

[2] Zorik Gekhman, Roee Aharoni, Genady Beryozkin, Markus Freitag, and Wolfgang Macherey. KoBE: Knowledge-based machine translation evaluation. In Proceedings of EMNLP (Findings), pp. 3200-3207. Association for Computational Linguistics, 2020.

[3] Timo Schick and Hinrich Schütze. Rare words: A major problem for contextualized embeddings and how to fix it by attentive mimicking. Proceedings of AAAI, Vol. 34, No. 5, pp. 8766-8774, 2020.

[4] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of NAACL-HLT, pp. 4171-4186. Association for Computational Linguistics, 2019.

[5] J. Cole, M. Ghafurian, and D. Reitter. Word adoption in online communities. IEEE Transactions on Computational Social Systems, Vol. 6, No. 1, pp. 178-188, 2019.

[6] Valentin Hofmann, Janet Pierrehumbert, and Hinrich Schütze. Predicting the growth of morphological families from social and linguistic factors. In Proceedings of ACL, pp. 7273-7283. Association for Computational Linguistics, 2020.

[7] Yuval Pinter, Cassandra L. Jacobs, and Max Bittker. NYTWIT: A dataset of novel words in the New York Times. In Proceedings of COLING, pp. 6509-6515. International Committee on Computational Linguistics, 2020.

[8] Timo Schick and Hinrich Schütze. BERTRAM: Improved word embeddings have big impact on contextualized model performance. In Proceedings of ACL, pp. 3996-4007. Association for Computational Linguistics, 2020.

[9] Moran Mizrahi, Stav Yardeni Seelig, and Dafna Shahaf. Coming to Terms: Automatic Formation of Neologisms in Hebrew. In Proceedings of EMNLP (Findings), pp. 49184929. Association for Computational Linguistics, 2020.

[10] Ryo Fujii, Masato Mita, Kaori Abe, Kazuaki Hanawa, Makoto Morishita, Jun Suzuki, and Kentaro Inui. PheMT: A phenomenon-wise dataset for machine translation robustness on user-generated contents. In Proceedings of COLING, pp. 5929-5943. International Committee on Computational Linguistics, 2020.

[11] 岡照晃. 『国語研日本語ウェブコーパス』からの新規語彙素獲得の試み. 言語資源活用ワークショップ 発表論文集, No. 3, pp. 586-592, 2018.

[12] 佐藤敏紀, 橋本泰一, 奥村学. 単語分かち書き辞書 mecab-ipadic-neologd の実装と情報検索における効果的な使用方法の検討. 言語処理学会第 23 回年次大会 (NLP2017), pp. 875-878. 言語処理学会, 2017.

[13] 株式会社ドワンゴ. ニコニコ動画コメント等データ. text(json), 2018. 国立情報学研究所情報学研究データ リポジトリ.


# ニュース記事に対する談話構造と興味度のアノテーション 〜ニュース対話システムのパーソナライズに向けて〜

1 早稲田大学 2 内外切抜通信社 $\quad 3$ 本田技研工業
takatsu@pcl.cs.waseda.ac.jp ando@naigaipc.co.jp hiroshi_01_honda@jp.honda
matsuyama@pcl.cs.waseda.ac.jp koba@waseda.jp

## 1 はじめに

談話構造に基づく文章の首尾一貫性を保持しつ つ，ユーザごとにパーソナライズした情報を提供す る音声対話システムの開発を目的として，ニュース 記事に対して談話構造と文単位のユーザの興味度を 付与したデータセットを構築した.

インターネットの普及により，日々膨大なデジタ ルコンテンツがウェブ上に蓄積され続けている。さ らに，近年ではパソコンやスマートフォンなどが普及したことで，ウェブ上の情報に容易にアクセスで きるようになり，人々のメディアへの接触時間は 年々増加している [1]. 一方で「世の中の情報量が 多すぎる」という意識も高まってきており，限られ た時間の中でより効率的に情報を消費することへの ニーズが高まっている．我々は，このような社会背景を踏まえ，人々が日々消費する情報の中でも特に ニュースに焦点を当て，効率的にニュース記事の内容を伝達する音声対話システム（以下，ニュース対話システム）[2] の開発を進めている.

ニュース記事の内容を効率的に分かりやすく伝 えるうえで重要な観点として，ほしい情報をどれだ け提示でき，いらない情報をどれだけ除外できるか （情報伝達効率）という点と，文章の構造に基づき 意味的に整合性のある文のつながりを保持したまま 情報を伝えられるか（首尾一貫性）という点がある と考える。 ニュース対話システムは，要約に基づく 主計画と補足説明のための副計画から構成されるシ ナリオに基づいて会話を進行させる。 ユーザが受け 身で聴いている限りにおいては主計画の内容を伝え ることになる。主計画として，重要度に基づきユー ザごとに共通の要約を提示するよりも，興味度に基 づきユーザごとにパーソナライズした要約を提示す る方が高い情報伝達効率を実現できることを確認し
た [3]. 一方で，ニュース内容を適切に理解させる ためには話の内容が首尾一貫している必要がある.

そこで，文章の首尾一貫性を考慮しつつ，ユーザ の興味がある情報を提供する音声対話システムを開発するために，日本語のニュース記事に対して図 1 のような談話構造とユーザの興味度を付与したデー タセットを構築した。談話構造に関しては，文を談話単位とし，「係り先」「談話関係」「チャンク」の アノテーションを行った。例を図 1(a) に示す. 係り 先は，ルートノードから親ノード文までの情報が対象の文を理解するうえで必要最小限の情報になる ように付与したものである．談話関係は，子ノード 文が親ノード文に対してどのような意味的関係に あるかを分類したものである．チャンクは，親ノー ド文の内容を正しく理解するために欠かせない情報が子ノード文に書かれている場合，これらをまと めて提示すべきであることを表したものである．合計 1200 記事に対して専門家 2 人が談話構造を付与 した．興味度に関しては，クラウドソーシングを用 いて，様々な属性の被験者に，ニュース記事の話題 と各文の内容について興味度を 6 段階で回答させ た. 例を図 1(b) に示す. 談話構造を付与した 1200 記事に対して，1 人あたり 6 記事， 1 記事あたり 11 人以上となるように配分し，合計 2507 人分のプロ フィールと興味度のデータを収集した。

本稿の構成は次の通りである． 2 章で関連研究に ついて述べる。 3 章で談話構造データセットについ て説明する. 4 章で興味度データセットについて説明する. 5 章で今後の展望について述べる.

## 2 関連研究

談話構造解析は，文章を構成する文や節の間に成 り立つ関係を解析する自然言語処理の基本的なタス クである。談話構造解析の結果は，文書要約 [4] や

(a) 係り先$\cdot$談話関係$\cdot$チャンク(強いチャンク$\cdot$弱いチャンク)のアノテーション例

(b) 興味度のアノテーション例

図 1 アノテーションの例

質問応答 [5]，機械翻訳 [6]，評判分析 [7] などの下流タスクのアプリケーションで用いられる [8].

談話構造解析のための代表的なデータセットとし て, RST Discourse Treebank [9], Discourse Graphbank [10], Penn Discourse Treebank [11] がある. RST Discourse Treebank は, 修辞構造理論 (Rhetorical Structure Theory）[12] に基づいて構築されたデータセットで ある. 修辞構造理論では, Elementary Discourse Unit （EDU）と呼ばれる節を最小の談話単位として，隣接する EDU 同士を談話関係で結合し，より大きな 談話単位を形成する. さらに，その談話単位同士 も談話関係によって統合され, 最終的に修辞構造木が形成される. Discourse Graphbank は，グラフ構造を採用し，1つの談話単位から複数の談話単位に 談話関係が付与されたデータセットである. Penn Discourse Treebank は，木構造やグラフ構造を仮定せ ず，談話単位間の関係を 2 項関係で表現したデータ セットである。隣接する談話単位の間に接続表現が 存在する場合は，その接続表現を手がかりとして談話関係を分類する。談話単位の間に接続表現が存在 しない場合は，接続表現が挿入可能であるかを判断 し，談話関係を分類する。これらは英語のニュース 記事に基づいて作成された談話構造のデータセット であるが，英語以外にも， ドイツ語 [13]，スペイン 語 [14], ポルトガル語 [15], 中国語 [16] など様々な 言語の談話構造のデータセットが構築されている. 6つの言語の対訳テキストに対して談話構造を付与 したデータセットも構築されている [17].

日本語の文書に対して談話構造をアノテー
ションする研究も存在する $[18,19,20]$. 金子らは, BCCWJ [21] の文を分解して得られたセグメント に対して，分節談話表示理論 (Segmented Discourse Representation Theory）[22] に基づいて時間関係と因果関係をアノテーションした [18]. 河原らは，様々 なドメインのウェブ文書の書き始め 3 文を対象にク ラウドソーシングで談話関係のアノテーションを行 う方法を提案し，大規模な文書への談話関係のアノ テーションを短時間で行えることを示した [19]. さ らに，岸本らは，河原らのアノテーション基準に言語テストを追加するなどの改良を加えることでアノ テーションの品質が向上することを確認した [20].

文書要約 $[23,24,25,26]$ のようなタスクへの応用 を考えた場合，修辞構造木のような句構造よりも談話単位間の親子関係を直接表せる依存構造の方が望 ましい。そこで，修辞構造木を談話依存構造木へ変換する方法が提案された $[23,27]$. 一方で，変換ア ルゴリズムによって生成される談話依存構造木の性質が異なることから [28], Yang らは，科学論文のア ブストラクトに対して人手で EDU 間の依存構造と 談話関係をアノテーションする方法を提案し，デー タセットとして SciDTB を構築した [29].

本研究では，日本語のニュース記事に対して専門家が文単位の談話依存構造をアノテーションし，ク ラウドソーシングにより，ユーザのプロフィールお よびニュース記事の話題と文に対する興味度を収集 することで，文章の一貫性を考慮しながらパーソナ ライズした情報を伝達する要約・対話システムの構築に活用できるデータセットを作成した.

## 3 談話構造データセット

15 文から 25 文の日本語のニュース記事 1200 個に 対して，ウェブニュースのクリッピングの専門家 2 人が「係り先」「談話関係」「チャンク」のアノテー ションを行った. ジャンルの内訳は「スポーツ」「テ クノロジー」「経済・政治」「国際」「社会」「地域」 であり，なるべく話題が重複しないように人手で各 ジャンル 200 記事ずつ選択した. アノテーション作業は係り先，談話関係，チャンクの順番で行った.談話単位は文であり，文とは地の文に出現する句点 “。”で区切られる文字列を表す. 2 人のアノテータ は, 半分ずつ作業を分担し, 自分の作業を終えた後 は他方のアノテータのアノテーション結果のチェッ クにまわり，疑問点が見つかった場合は両者の合意 が得られるまで議論を重ねた。

## 3.1 係り先のアノテーション

文 $j$ を文 $i$ の係り先として指定できる条件は以下 の通りである。

・原文において文 $j$ が文 $i$ よりも前に出現している.

-木構造に従ってルートノードから順番に読み進 め，文 $j$ の後に文 $i$ を読んた際に，話の流れが自然である。

・ルートノードから文 $j$ までの情報が文 $i$ を理解す るための必要最小限の情報になっている.

・文 $i$ から読み始めることが可能である場合，文 $i$ の係り先はルートノードとする。

## 3.2 談話関係のアノテーション

談話関係の定義を表 1 に示す. 談話関係の定義に 際して, 日本語を対象とした先行研究の談話関係の 分類 $[30,31,32,33]$ を参考にしつつ，ニュース対話 システムへの応用を考えた際の必要十分な粒度であ ることおよび，実際にニュース記事から構築された 談話依存構造木において頻繁に観測される文間関係 であることに留意した. アノテーションの判断は，談話関係の定義と対話基準の両方の条件に合致して いるかを確認しながら行った. 対話基準とは, 談話関係に基づく応答が自然かどうかに基づく判断であ り，例えば「原因」について判断する際，親ノード 文の内容を伝えた後に「なんで？」と質問が来たと きに，子ノード文の内容を回答として提示しても不自然でないことを確認する。なお，1つの文間に対 して複数の談話関係が付与されることもある.表 1 談話関係の定義（括弧内の説明は対話基準を表す）

 \\

## 3.3 チャンクのアノテーション

親ノード文を提示する際，子ノード文も一緒に提示することが望まれる場合，これらをチャンクとす る. 特に親ノード文の内容を理解するうえで必須と なる情報が子ノード文に書かれている場合，これら を「強いチャンク」とする。例えば図 1 のような,親ノード文に発言，子ノード文に発言者の情報が書 かれている場合や，複数文に渡る手順説明などは強 いチャンクとなる．また，子ノード文の情報は必ず しも必須ではないが，親ノード文の内容に対する 偏った理解を防ぐために子ノード文の情報が重要で ある場合，これらを「弱いチャンク」とする。例え ば図 1 のような, 現状求められているものが親ノー ド文で述べられており，その実現が容易でないこと を子ノード文で説明している場合や，主題に関わる 2 つの国の情勢について，一方の説明が親ノード文 に書かれており，他方の説明が子ノード文に書かれ ている場合などは弱いチャンクとなる。

## 3.4 データセットの統計

記事ごとのルートノードから葉ノードまでの文数 の最大值（木の深さ）の分布を図 2 に示す. 1 記事

図 2 木の深さの分布

図 3 木の幅の分布

あたり木の深さは平均で 6.5 文程度であった. 記事 ごとの葉ノードの数 (木の幅) の分布を図 3 に示す. 1 記事あたり木の幅は平均で 7.5 文程度であった.

データセットにおける談話関係の出現頻度は,「開始」が 1221 個，「結果」が 400 個，「原因」が 691 個，「背景」が 1343 個，「呼応」が 851 個，「対比」が 638 個，「転換」が 220 個，「例示」が 709 個，「結論」 が 920 個，「補足」が 14609 個であった.

強いチャンクの数は 231 個，弱いチャンクの数は 699 個であった. また，1 チャンクあたりの平均文数は 2.15 文であった.

## 4 興味度データセット

クラウドソーシングを用いて被験者を募集し，以下のプロフィールアンケートと興味度アンケートに 回答させた。ニュース記事には談話構造データセッ トで使用したものと共通の 1200 記事を使用した. 1 人あたり 6 ジャンル 1 記事ずつ， 1 記事あたり 11 人以上が回答するように配分し，2507 人分のアンケー 卜結果を収集した。

## 4.1 プロフィールアンケート

以下の 14 項目について回答させた. 性別，年齢，住んでいる地域，職種，業種，ニュースを見る頻度， ニュースをよくチェックする時間帯，映像・音声 文字のうちニュースへの接触方法として多いもの はどれか，ニュースを知る手段，ニュースを読む際 に使用している新聞やウェブサイト・アプリ，有料 でニュースを読んでいるか，普段積極的に読む・見 る・聞くニュースのジャンル，ニュースのジャンル に対する興味の程度，趣味。

## 4.2 興味度アンケート

ニュース記事の本文を読ませ，内容を理解させた 後, 記事全体の話題と各文の内容について興味度を 次の 6 段階で回答させた．6:とても興味がある，5:

(a)記事の話題に対する興味度の割合 (b)文の内容に対する興味度の割合

図 4 アンケートで得られた興味度の割合

図 5 談話依存構造木の深さと興味度の平均值

興味がある，4:どちらかといえば興味がある，3:ど ちらかといえば興味がない，2:興味がない，1:まっ たく興味がない。

## 4.3 データセットの統計

合計で 15042 記事 268509 文に対する回答を得た.記事の話題に対する興味度の割合および文の内容に 対する興味度の割合を図 4 に示す.

談話依存構造木の深さごとに文の興味度の平均値 を計算した結果を図 5 に示す.この結果から，多く の人の興味を引く内容は木の浅いところにあり，人 によって興味が分かれる内容は木の深いところにあ ることが分かった.

## 5 おわりに

ニュース記事に対して談話構造および，ユーザの プロフィールと記事の話題・文に対するユーザの興味度を付与したデータセットを構築した。

今後は，本データセットを用いて，談話構造解析 [34] や，談話構造を制約とした抽出型要約のパーソ ナライズ [35]，談話関係に基づく質問応答や対話制御などについて検討する。

謝辞本研究は，JST START（JPMJST1912）の支援 を受けたものである。

## 参考文献

[1]博報堂 D Y メディアパートナーズ（編）. 広告ビジネ スに関わる人のメディアガイド 2020 : メディア環境の これからと今. 宣伝会議, pp. 20-40, 2020.

[2]高津弘明, 福岡維新, 藤江真也, 林良彦, 小林哲則. 意図性の異なる多様な情報行動を可能とする音声対話シス テム. 人工知能学会論文誌, Vol. 33, No. 1, pp. 1-24, 2018.

[3]Hiroaki Takatsu, Mayu Okuda, Yoichi Matsuyama, Hiroshi Honda, Shinya Fujie, and Tetsunori Kobayashi. Personalized extractive summarization for a news dialogue system. In Proceedings of the 8th IEEE Spoken Language Technology Workshop, 2021.

[4]Jiacheng $\mathrm{Xu}$, Zhe Gan, Yu Cheng, and Jingjing Liu. Discourse-aware neural extractive text summarization. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 5021-5031, 2020.

[5]Peter Jansen, Mihai Surdeanu, and Peter Clark. Discourse complements lexical semantics for non-factoid answer reranking. In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics, pp. 977-986, 2014.

[6]Junxuan Chen, Xiang Li, Jiarui Zhang, Chulun Zhou, Jianwei Cui, Bin Wang, and Jinsong Su. Modeling discourse structure for document-level neural machine translation. In Proceedings of the 1st Workshop on Automatic Simultaneous Translation, pp. 30-36, 2020.

[7]Baptiste Chardon, Farah Benamara, Yannick Mathieu, Vladimir Popescu, and Nicholas Asher. Measuring the effect of discourse structure on sentiment analysis. In Proceedings of the 14th international conference on Computational Linguistics and Intelligent Text Processing, pp. 25-37, 2013.

[8]Shafiq Joty, Giuseppe Carenini, Raymond T. Ng, and Gabriel Murray. Discourse analysis and its applications. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics: Tutorial Abstracts, pp. 12-17,

[9]Lynn Carlson, Daniel Marcu, and Mary Ellen Okurovsky. Building a discourse-tagged corpus in the framework of rhetorical structure theory. In Proceedings of the 2nd SIGdial Workshop on Discourse and Dialogue, pp. 1-10, 2001.

[10]Florian Wolf and Edward Gibson. Representing discourse coherence: A corpus-based study. Computational Linguistics, Vol. 31, No. 2, pp. 249-287, 2005.

[11]Rashmi Prasad, Nikhil Dinesh, Alan Lee, Eleni Miltsakaki, Livio Robaldo, Aravind Joshi, and Bonnie Webber. The penn discourse treebank 2.0. In Proceedings of the 6th International Conference on Language Resources and Evaluation, pp. 2961-2968, 2008.

[12]William C. Mann and Sandra A. Thompson. Rethorical structure theory: Toward a functional theory of text organization. Text, Vol. 8, No. 3, pp. 243-281, 1988.

[13]Manfred Stede. The potsdam commentary corpus. In Proceedings of the Workshop on Discourse Annotation, pp. 96102, 2004.

[14]Iria da Cunha, Juan-Manuel Torres-Moreno, and Gerardo Sierra. On the development of the RST Spanish treebank. In Proceedings of the 5th Linguistic Annotation Workshop, pp. $1-10,2011$.

[15]Thiago Alexandre Salgueiro Pardo, Maria das Graças Volpe Nunes, and Lucia Helena Machado Rino. DiZer: An automatic discourse analyzer for Brazilian Portuguese. In Proceedings of the Brazilian Symposium on Artificial Intelligence, pp. 224-234, 2004.

[16]Lanjun Zhou, Binyang Li, Zhongyu Wei, and Kam-Fai Wong. The CUHK discourse treebank for Chinese: Annotating explicit discourse connectives for the Chinese treebank. In Proceedings of the 9th International Conference on Language Resources and Evaluation, pp. 942-949, 2014.

[17]Deniz Zeyrek, Amalia Mendes, Yulia Grishina, Murathan Kurfali, Samuel Gibbon, and Maciej Ogrodniczuk. TED multilingual discourse bank (TED-MDB): A parallel corpus annotated in the PDTB style. Language Resources and Evaluation, Vol. 54, pp. 587-613, 2020.

[18]Kimi Kaneko and Daisuke Bekki. Building a Japanese cor- pus of temporal-causal-discourse structures based on SDRT for extracting causal relations. In Proceedings of the EACL 2014 Workshop on Computational Approaches to Causality in Language, pp. 33-39, 2014.

[19]Daisuke Kawahara, Yuichiro Machida, Tomohide Shibata, Sadao Kurohashi, Hayato Kobayashi, and Manabu Sassano. Rapid development of a corpus with discourse annotations using two-stage crowdsourcing. In Proceedings of the 25th International Conference on Computational Linguistics, pp. 269-278, 2014.

[20]Yudai Kishimoto, Shinnosuke Sawada, Yugo Murawaki, Daisuke Kawahara, and Sadao Kurohashi. Improving crowdsourcing-based annotation of Japanese discourse relations. In Proceedings of the 11th International Conference on Language Resources and Evaluation, pp. 4044-4048, 2018.

[21]Kikuo Maekawa, Makoto Yamazaki, Toshinobu Ogiso, Takehiko Maruyama, Hideki Ogura, Wakako Kashino, Hanae Koiso, Masaya Yamaguchi, Makiro Tanaka, and Yasuharu Den. Balanced corpus of contemporary written Japanese. Language Resources and Evaluation, Vol. 48, No. 2, pp. 345-371, 2014.

[22]Nicholas Asher and Alex Lascarides. Logics of conversation: Studies in natural language processing. Cambridge University Press, 2003.

[23]Tsutomu Hirao, Yasuhisa Yoshida, Masaaki Nishino, Norihito Yasuda, and Masaaki Nagata. Single-document summarization as a tree knapsack problem. In Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing, pp. 1515-1520, 2013.

[24]Yasuhisa Yoshida, Jun Suzuki, Tsutomu Hirao, and Masaaki Nagata. Dependency-based discourse parser for singledocument summarization. In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing, pp. 1834-1839, 2014

[25]Yuta Kikuchi, Tsutomu Hirao, Hiroya Takamura, Manabu Okumura, and Masaaki Nagata. Single document summarization based on nested tree structure. In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics, pp. 315-320, 2014

[26]Tsutomu Hirao, Masaaki Nishino, Yasuhisa Yoshida, Jun Suzuki, Norihito Yasuda, and Masaaki Nagata. Summarizing a document by trimming the discourse tree. IEEE/ACM Transactions on Audio, Speech and Language Processing, Vol. 23, No. 11, pp. 2081-2092, 2015.

[27]Sujian Li, Liang Wang, Ziqiang Cao, and Wenjie Li. Textlevel discourse dependency parsing. In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics, pp. 25-35, 2014.

[28]Katsuhiko Hayashi, Tsutomu Hirao, and Masaaki Nagata. Empirical comparison of dependency conversions for RST discourse trees. In Proceedings of the 17th Annual Meeting of the Special Interest Group on Discourse and Dialogue, pp. 128-136, 2016.

[29]An Yang and Sujian Li. SciDTB: Discourse dependency treebank for scientific abstracts. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics, pp. 444-449, 2018

[30]黒橋禎夫, 長尾眞. 表層表現中の情報に基づく文章構造 の自動抽出. 自然言語処理, Vol. 1, No. 1, pp. 3-20, 1994.

[31]梅澤俊之, 原田実. センタリング理論と対象知識に基づ く談話構造解析システム DIA. 自然言語処理, Vol. 18, No. 1, pp. 31-56, 2011.

[32]山本和英, 齋藤真実. 用例利用型による文間接続関係の 同定. 自然言語処理, Vol. 15, No. 3, pp. 21-51, 2008.

[33]横山憲司, 難波英嗣, 奥村学. Support Vector Machine を 用いた談話構造解析. 情報処理学会研究報告, Vol. 2003, No. 23(2002-NL-154), pp. 193-200, 2003.

[34]高津弘明, 安藤涼太, 松山洋一, 小林哲則. 会話による ニュース記事伝達のための談話構造解析. 言語処理学会 第 27 回年次大会 発表論文集, 2021 .

[35]高津弘明, 安藤涼太, 本田裕, 松山洋一, 小林哲則. 談話構造制約付きパーソナライズド抽出型要約. 言語処理学会 第 27 回年次大会 発表論文集, 2021.


# Winograd Schema Challenge への ニューラル言語モデルの適用における人名の影響

米川和仁 松崎拓也
東京理科大学大学院 理学研究科 応用数学専攻
1419523@ed.tus.ac.jp
matuzaki@rs.tus.ac.jp

## 1 はじめに

機械学習モデルが獲得した常識的知識を評価する タスクの一つとして，Winograd Schema Challenge (以降，WSC) [7] というものが構想された. WSC にお ける問題文の例を以下に示す.

When Debbie splashed Tina, she got wet.

この例に対して，回答者は先行詞候補 Debbie と Tina から代名詞 she に対応する先行詞を特定することを 求められる。適切に解くためには「水をかけられた ら濡れる」といった常識的な知識が必要となる. し かし，このような知識は明文化されにくい. そのた め, 単語の共起などの単純な統計的手法では WSC に対して十分な精度を得ることが難しいとされて いる.

一方で，近年の研究では BERT [3] などのニュー ラル言語モデルによるWSC に対する大幅な精度向上が報告されている $[5,10,12]$.このことから， ニューラル言語モデルが常識的な知識を獲得しつ つあるのではないかと考えられる．BERT 等に基 づく手法の訓練は，大量の教師無しデータによる pre-training と比較的少量の教師付きデータによる fine-tuning の 2 つの段階から成る.この学習方法は 従来の手法と大きく異なる特徴の一つであり，大幅 な精度向上の理由の一つと考えられている。しかし ながら，各段階においてデータセットからどの様な 知識が抽出されているかは明らかでない。

本研究では，WSCへのニューラル言語モデルの 適用において，先行詞候補である人名がモデルの予測に与える影響を分析した. 結果として，人名の組 み合わせの変化がモデルの予測に大きく影響する問題の存在が確認できた. また，確認された人名の影響が fine-tuning に使用したデータセットにおいて先行詞候補として出現する人名の偏りによるものでは ないことがわかった.

## 2 関連研究

機械学習手法を用いて WSC を解くために，多く の常識的知識をどの様に素性として表現するかが 議論されてきた. Rahman ら [9] は素性として，「A

といった事態間知識を機械的に収集したものを用 いている。他にも，彼らは接続詞や単語の極性, FrameNetなどを素性として利用している.

人手による素性抽出の取り組みに対して，ニュー ラル言語モデルによる WSCへのアプローチが盛ん になりつつある。Kocijan ら [5] は BERTを用いた手法を提案している。彼らの手法は, [MASK] トーク ンに置き換えられた代名詞の部分に先行詞候補のど ちらが当てはまるのかをモデルに学習させるという ものである.この手法によって，WSC に対する機械学習手法の精度はニューラル言語モデルを用いな い手法に比べ 8.8 ポイントも向上した.

この様な精度向上への取り組みの一方で，モデル が本当に常識的知識を基に WSC を解いているのか という議論が注目されている. Abdou ら [1] は，先行詞の性別の変更や同義語への置換などの言語的摄動に対してモデルによる予測が大きく変化すること を示している。また，同様の摂動に対して人間の回答が安定していることを確認している．以上の結果 から，彼らはモデルが論理的根拠を背景とした回答 を常にしているわけではないと主張している.

## 3 準備

本節では，本研究で用いたデータセットや手法の 詳細について述べる。

## 3.1 Winogrande

近年の研究では，オリジナルの WSC データセッ トの一部は統計的手法でも解くことが可能であるこ

とが報告されている [13].また，データセットに は 273 件の問題しか含まれておらず，訓練及び評価 データをどのように分割すべきかという問題も議論 されてきた.

本研究では，WSC データセットの一つである Winograndeを訓練及び評価データとして用いた. Winogrande は，上で述べたオリジナルの WSC デー タセットの弱点を改良したデータセットとされてい る [11].

本論文でのニューラル言語モデルに対する Winogrande の入力例を表 1 に示す. モデルへの入力文は代名詞（_）を先行詞候補（太字）で穴埋めした ものであり, 各問題に対して2つ用意される. この 2 つの文を同一のモデルへと入力し, $[$ CLS] ベクト ルと分類のためのパラメータベクトルとの内積が大 きい方の文を回答として選択する. Winogrande に対 するニューラル言語モデルの精度を表 2 に示す. 表中の RoBERTa-large（人名）は後述する先行詞候補 がいずれも人名である問題に対する精度である.

## 3.2 影響関数

あるテストサンプルの予測に特定の学習サンプ ルが与える影響を定量的に解析する場合，学習サン プルを 1つずつ除いたデータでモデルを再学習さ せるという方法が考えられる. この手法は単純であ る一方で，解析にかかる時間とコストが膨大になる という問題がある．影響関数 [6] は，この問題を解決し効率的に各訓練データの影響を測ることを可能にする手法である．まず，以下の式で訓練データ $\left.\{\left(x_{1}, y_{1}\right), \ldots,\left(x_{n}, y_{n}\right)\right.\}$ から学習サンプル $\left(x_{i}, y_{i}\right)$ を取 り除いた場合のモデルのパラメータ $\theta$ の変化 $\theta_{\text {change }}$ を求める。

$
\theta_{\text {change }}=-\left(\frac{1}{n} \sum_{j=1}^{n} \nabla_{\theta}^{2} L\left(x_{j}, y_{j}, \hat{\theta}\right)\right)^{-1} \nabla_{\theta} L\left(x_{i}, y_{i}, \hat{\theta}\right)
$

ここで， $L$ は学習に用いた損失関数， $\hat{\theta}$ は学習済 みのモデルのパラメータを示す. 次に，連鎖律を適用しテストサンプル $\left(x_{\text {test }}, y_{\text {test }}\right)$ に対する損失の変化 $L_{\text {change }}$ を以下の式で求める.

$
L_{\text {change }}=\nabla_{\theta} L\left(x_{\text {test }}, y_{\text {test }}, \hat{\theta}\right)^{\top} \theta_{\text {change }}
$

この $L_{\text {change }}$ を基に，あるテストサンプルの予測に 学習サンプルが与える影響を定量的に評価できる。 Han ら [4] は，この手法が BERT の fine-tuning で用い られるデータセットの分析方法として有効であると 示している.

## 4 手法

本研究は, 先行詞候補がいずれも人名である問題 を対象として，人名に対する摂動によるモデルの挙動の変化を調べる. 具体的な摂動の手法は，表 1 に 示すように先行詞候補を異なる人名で置き換えると いうものである．摂動に用いる人名及び対象となる 問題は CoreNLP [2] の Stanford NER (3 class)を用い て抽出した. Winogrande の訓練データ全体に対し検出された 63 個の人名を組み合わせて, 問題当たり に 3,905 件の摂動例を生成した. また，抽出された 問題に対する RoBERTa [8] の精度を表 2 に示す.

## 5 実験

本節では，前節で述べた摂動がニューラル言語モ デルに与える影響について分析を行う。まず，摂動 による予測値の変化の有無について確認する. 次 に, 予測値の変化と問題文中の文法誤りなどノイズ 的要素の関係について述べる. 最後に, fine-tuning で用いた訓練データが摂動による予測値の変化の原因となっているのかについて分析を行う.

## 5.1 実験設定

Winogrande に対して最も精度が良い RoBERTaを 摄動実験の対象とする. 摂動は評価データのみに与 え，38,000 件の訓練データで fine-tuning されたモデ ルの, 評価データに対する予測スコアの変化を観察 した. 本研究における予測スコアとは，代名詞を正 しい先行詞候補で置き換えた問題文に対する出力値 のことである.

## 5.2 摂動の影響

まず，各問題における摂動の影響の度合いを測 る. 影響の度合いを示す score $_{\text {diff }}$ は，原文における 予測スコア score と各摄動例における予測スコア ${ }^{\text {score }}{ }_{i}$ の差分の平均として計算する:

$
\text { score }_{\text {diff }}=\frac{1}{N} \sum_{i=1}^{N}\left(\text { score }_{i}{ }_{i}-\text { score }\right)
$

## ここで $N$ は摄動例の件数である.

摂動による予測スコアの変化の分布を図 1 に示 す. 図 1 の 0 付近のビンから，1684 件中 1400 件ほ どのテストデータで score $_{\text {diff }}$ の絶対値が 0.1 未満で あることがわかる.このことから，RoBERTaは人名 に関する単純な摂動の影響に対して頑健であると考 えられる。一方で，200 件ほどの問題で摄動の影響

表 2 Winogrande に対する各モデルの正解率

図 1 摄動による予測スコアの変化の分布

が観測された.

## 5.3 摂動とノイズの関係

評価データにおける問題文と摂動の影響の例を表 3 に示す. 摄動の影響を大きく受けた問題について 見てみると文法的もしくは意味的な誤りなどのノイ ズが含まれた文が見られた. 例えば，番号 1 の問題 では文中の they という代名詞が指し示す対象が不明瞭である. また，番号 6 の問題のように代名詞の直前に冠詞がついているものも確認された. その一方 で，ノイズがあるにも関わらず摂動の影響を受けて いない問題も多く見られた. 例えば，番号 3 の問題 では trilingual な人物を選択する必要があるが，先行詞候補はどちらも trilingual では無い.このようなノ イズがあるにも関わらず，番号 3 の問題の score $_{\text {diff }}$ は $1.31 \times 10^{-4}$ と非常に小さい. したがって，ノイズ と摂動の影響の間に強い関係があると考えるのは難 しい.

図 2 人名の組み合わせによる予測スコアの分布.縦軸が正解，横軸が誤りの先行詞候補を表す。

## 5.4 摂動と人名の関係

特定の人名に対して予測スコアの偏りがあるの か，すなわち特定の人名に対して大きな/小さなスコ アが付与される傾向の有無を検証する．図 2 に，表 3 の番号 2 の問題に対する各摂動についての予測ス コアの分布 (一部) を示す. 先行詞候補の組み合わ せによって，予測スコアが大幅に変化していること がわかる．また，この図で見られるような縦及び横方向にのびる縞模様が多くの問題で確認された. 例 えば，Joseph や Christopher という人名が正解とな る摂動例はもう一方の人名とのどの組み合わせでも ほぼ一貫して高い予測スコアを示している。このこ とから，モデルの予測と人名の間に強い関係が存在 する場合があると考えられる。

## 5.5 訓練データの影響

摂動例において，特定の人名に対する予測スコア が高くなる例が見られた。このことから，訓練デー タにおいて正解になりやすい人名がテストデータ で選択されやすくなっていることが予想される。本項ではこれを検証する．各摂動例に対して，影響が
表 3 摂動の影響の例

図 3 訓練データにおいて正解となる先行詞候補の出現頻度.

縦軸が摄動例（正解-誤り），横軸が訓練データにおける正解の先行詞候補を示す.

大きい訓練データの上位 3000 件を，影響関数の值 に基づき抽出した. 各摄動例に対し抽出された訓練 データ中での，正解となる人名の出現頻度を図 3 に 示す. 図は表 3 における番号 2 の問題に対する結果 の一部である。各行は一つの摄動例を表し，図に示 した 13 の摄動例は全ての摄動例からランダムサン プリングしたものである.また，各列は訓練デー タにおける正解の先行詞候補を表し，訓練データ に含まれる全ての先行詞候補から図に示した 13 個 の摄動例に用いた人名のみ抽出している. 図 3 か ら, Christine や Leslieの様にどの摂動例に対しても，影響が大きい訓練データに正解として現れる数が ほとんど変化しない人名が多く見られる。一方で， Matthew や Samuel の様に出現頻度が大きく変化して いる列も確認できる。この様な列で確認された偏り の例として, Matthew という先行詞候補の出現頻度 が (Dennis-Kyle) の組み合わせに対して高くなるとい うものがあげられる。このような例は他にもいくつ
か確認できたが，摄動に用いられた人名と同一のも のが，摂動例に対し大きな影響を持つ訓練データの 中で特に多い/少ないという例は確認できなかった.以上のことから，前節で確認された特定の人名に対 する予測スコアの偏りは Winogrande の訓練データ に起因するものではないと考えられる。

## 6 おわりに

本研究では，人名の変更という摄動によってモ デルの挙動がどう変化するかを分析した。結果と して，特定の人名に対して極端な予測を行う問題 の存在を示した. しかし，確認された人名への偏 りが fine-tuning に用いられたデータセットによるも のではないことを確認した。よって，この偏りは pre-training に用いられたデータに起因すると予想さ れる. 今後の課題としては，今回確認された偏りが pre-trainig に用いられたデータセットのどの部分に よるものかについての分析が挙げられる.

## 参考文献

[1] Mostafa Abdou, Vinit Ravishankar, Maria Barrett, Yonatan Belinkov, Desmond Elliott and Anders Søgaard. The Sensitivity of Language Models and Humans to Winograd Schema Perturbations. Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics. 2020

[2] Manning, Christopher D., Mihai Surdeanu, John Bauer, Jenny Finkel, Steven J. Bethard, and David McClosky. The Stanford CoreNLP Natural Language Processing Toolkit In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics: System Demonstrations. 2014.

[3] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers). 2019.

[4] Xiaochuang Han, Byron C. Wallace, and Yulia Tsvetkov. Explaining Black Box Predictions and Unveiling Data Artifacts through Influence Functions. Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics. 2020.

[5] Vid Kocijan, Ana-Maria Cretu, Oana-Maria Camburu, Yordan Yordanov and Thomas Lukasiewicz. A Surprisingly Robust Trick for the Winograd Schema Challenge. Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics. 2019.

[6] Pang Wei Koh and Percy Liang. Understanding black-box predictions via influence functions. Proceedings of the 34th International Conference on Machine Learning. 2017.

[7] Hector Levesque, Ernest Davis, and Leora Morgenstern. The winograd schema challenge. In Thirteenth International Conference on the Principles of Knowledge Representation and Reasoning. 2012.

[8] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach. arXiv preprint arXiv:1907.11692. 2019.

[9] Altaf Rahman and Vincent Ng. Resolving complex cases of definite pronouns: The winograd schema challenge. In Proceedings of the 2012 Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning. 2012.

[10] Yu-Ping Ruan, Xiaodan Zhu, Zhen-Hua Ling, Zhan Shi, Quan Liu, and Si Wei. Exploring Unsupervised Pretraining and Sentence Structure Modelling for Winograd Schema Challenge. arXiv:1904.09705. 2019

[11] Keisuke Sakaguchi, Ronan Le Bras, Chandra Bhagavatula, and Yejin Choi. Winogrande: An adversarial winograd schema challenge at scale. Proceedings of the AAAI Conference on Artificial Intelligence. 2019.

[12] Maarten Sap, Hannah Rashkin, Derek Chen, Ronan Le Bras, and Yejin Choi. Social IQa: Commonsense Rea- soning about Social Interactions. Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP). 2019.

[13] Paul Trichelair, Ali Emami, Adam Trischler, Kaheer Suleman, and Jackie Chi Kit Cheung. How Reasonable are Common-Sense Reasoning Tasks: A Case-Study on the Winograd Schema Challenge and SWAG. Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLPIJCNLP). 2019


# 対話型検索に向けた Semantic Parsing の データ生成フレームワークの提案

丸山拓海椎橋怜史谷山徹神谷慶嶋村昌義
株式会社 LIFULL
\{MaruyamaTakumi, ShiibashiSatoshi, TaniyamaToru, KamiyaKei,
ShimamuraMasayoshi\}@lifull.com

## 1 はじめに

弊社では「LIFULL HOME'S 住まいの窓口 ${ }^{11} 」 と$ いう，家探しや家づくりに関することを専属アドバ イザに無料で相談出来るサービスを運営している.本サービスは実際の店舗だけでなく, ビデオ通話や LINE 経由の相談密口も用意されており，アドバイ ザとの対話を経て，より好みに合った物件探しをす ることができる。一般的に，対話業務を効率化する ために自動応答チャットボットが活用される傾向が あるため，今回我々は対話業務の自動化を想定し，住まい探しに関するユーザ発話の言語解析を試み た. 具体的には, ユーザ発話を適切な論理形式へと 変換する Semantic Parsing とそのデータ構築に取り 組んだ。

Semantic Parsing とは, 自然言語文を特定のアプリ ケーションのための論理形式へと変換するタスク である.ここでいう論理形式とは, ラムダ式 [1] や $\mathrm{SQL}$ 文 $[2,3,4]$, プログラミング言語 [5] などの形式 を指す.また, 独自定義のツリ一構造 $[6,7]$ を利用 している研究も存在する。自然言語をこのような 特定の形式に変換することで, ユーザ発話を入力と した情報検索や AI アシスタントの制御が可能とな る.しかしながら, 論理形式をアノテーションす るには一定レベルの専門知識が必要とされるため, データセットの構築は容易ではない.

そこで，我々は Wang ら [8] の英語を対象とした データ構築手法を参考に, 日本語に合わせた文法規則の定義と対話文脈への拡張を行い, 論理形式アノ テーションを言い換え作業に変換する新たなデータ 構築フレームワークの作成を試みた。本論文の貢献 を以下に示す.

・日本語 Semantic Parsing データセットを効率的

に開発するフレームワークの提案
- 対話履歴を利用した実験により，提案手法で構築したデータの効果を検証

## 2 関連研究

Semantic Parsing は知識データベースに対する質問応答や AIアシスタントの自然言語による制御など 幅広い分野への応用が期待されるタスクである.

Semantic Parsing を行う方法として, 組合せ範疇文法に基づく手法 $[1,9]$ や, 質問応答ペアから学習す る方法 [10] など様々な手法が提案されている. 近年では, 深層学習をベースとした系列変換モデルに よる手法も数多く提案されている $[11,12,13,14]$. その一方で, データセットの構築に専門的知識が必要とされることから，コストが非常に高く，新規ド メインへの適用の難しさが課題となっている.

そこで, Wang ら [8] は, ドメインに依存しない文法規則とドメイン固有の語彙規則の組み合わせから 擬似的な「自然言語文-論理形式ペア」を生成した のち，自然言語文側を人手で言い換えることで，よ り流暢かつ多様性のあるデータ構築を目指した。

## 3 データ生成手法

本論文で提案するデータ生成手法の手順を図 1 に 示す. 大まかな流れは次の通りである: (1) ドメイン 固有の語彙規則 (3.2 節)を定義したのち, それらを (2) 文法規則 (3.3 節)によって組み合わせることで擬似的な文と論理形式のぺアを生成する。その後，(3)擬似生成文を人手で言い換えることで，(4) 言い換 え文と論理形式のペアを獲得する (3.4 節). このよ うに，擬似生成文を経由することで，専門的知識が 必要とされる論理形式のアノテーション作業が言い 換え作業に置き換わり，より容易にデータ構築する ことが可能となる。ポイントは擬似データ生成部

## 言い換え-論理形式のペア

図 1 擬似データ生成フロー

分である.このステップでは, 対象となるドメイン ごとに構築する語彙規則を，フレームワーク側で提供するドメイン非依存の文法規則により適切に組み 合わせ, 自然言語文と Lambda-DCS(3.1 節) と呼ばれ る論理形式のペアを生成する. 詳細は, 3.2 節およ び 3.3 節で述べる.

## 3.1 Lambda-DCS

Lambda-DCS[15] とは, Semanitc Parsing における 知識グラフを背景とした論理形式の 1 つである.具体的には, 名詞や数值表現 (e.g. Apartment, 1LDK) などをノードとし, その関係性 (e.g. floorPlan) を エッジとするグラフで表現される。このグラフ上 のノードを辿っていくことで, 任意の検索対象を

現する場合, Lambda-DCS では, floorPlan.1LDK のよ うに記述する.このように，ノード (1LDK) とエッ表 1 語彙規則の例

住まい探しドメイン

（1）賃貸アパート $\rightarrow$ TYPENP[Apartment]

(2) 1LDK $\rightarrow$ NUM[1LDK]

(3) 間取り $\rightarrow \mathrm{NP} / \mathrm{ga}[$ floorPlan]

(4) 賃料 $\rightarrow \mathrm{NP} / \mathrm{ga}[$ rent]

(5) ペット入居可 $\rightarrow$ NP/no[pet_friendly]

表 2 文法規則の例文法規則:基本

$\begin{array}{ll}\text { (1) } \mathrm{NP} / \mathrm{no}[r] \text { の TYPENP }[x] & \rightarrow \mathrm{NP}[\text { type } . x \wedge r] \\ \text { (2) } \mathrm{NP} / \mathrm{ga}[r] \text { が } \mathrm{NUM}[n] & \rightarrow \mathrm{NP} / \mathrm{no}[r . n] \\ \text { (3) } \mathrm{AP}[r] \mathrm{NP}[x] & \rightarrow \mathrm{NP}[x \wedge r] \\ \text { (4) } \mathrm{NP} / \mathrm{no}[r] \text { ではない } & \rightarrow \mathrm{AP}[\neg(r)] \\ \text { (5) } \mathrm{NP}[\mathrm{x}] \text { か } \mathrm{NP}[\mathrm{y}] & \rightarrow \mathrm{NP}[(x \vee y)]\end{array}$

文法規則:比較級 - 最上級

(6) $\mathrm{NP} / \mathrm{ga}[r]$ が $\mathrm{NUM}[n]$ 以上 $\rightarrow \mathrm{NP} / \mathrm{no}[r . \geq . n]$

(7) $\mathrm{NP} / \mathrm{ga}[r]$ が $\mathrm{NUM}[n]$ 以下 $\rightarrow \mathrm{NP} / \mathrm{no}[r . \leq . n]$

(8) $\mathrm{NP}[x]$ で最も $\mathrm{AP}[r] \rightarrow \mathrm{NP}[\operatorname{argmax}(r, x)]$

文法規則:合計・平均

(9) $\mathrm{NP}[x]$ の $\mathrm{NP} / \mathrm{ga}[r]$ の合計 $\rightarrow \mathrm{NP}[\operatorname{sum}(r, x)]$

(10) $\mathrm{NP}[x]$ の $\mathrm{NP} / \mathrm{ga}[r]$ の平均 $\rightarrow \mathrm{NP}[\operatorname{avg}(r, x)]$文法規則:条件追加 - 削除 - 置換

(11) $\mathrm{NP}[x]$ を追加 $\rightarrow \mathrm{NP}[\operatorname{append}(x)]$

(12) $\mathrm{NP}[x]$ を削除 $\rightarrow \mathrm{NP}[\operatorname{delete}(x)]$

(13) $\mathrm{NP}[\mathrm{x}]$ を $\mathrm{NP}[\mathrm{y}]$ に置換 $\rightarrow \mathrm{NP}[\operatorname{replace}(x, y)]$

ジ (floorPlan) を結合する際に “.”を用いて表現する. また, 論理積 $\wedge$ や論理和 $\vee$, 否定論理 っを利用し,条件を組み合わせていくことで更に複雑な表現を実現する。より詳細には Liang の文献 [15] を参照され たい.

## 3.2 語彙規則

語彙規則では, 3.1 節で述べたグラフのノードと エッジに，対応する自然言語と論理形式を定義す る. 具体的には, 「自然言語 $\rightarrow$ 文法ラベル [論理形式」のような形式を用いて定義する。ここで「住ま い探し」ドメインを例に考えると (表 1), ノードと して (1) 賃貸アパートや (2)1LDK, エッジとして (3)間取りや (4) 賃料などが考えられる. これらを, 文法ラベル (e.g. TYPENP, NUM, NP/no) と文法規則を 用いて適切に組み合わせることで，擬似データを生成する.

## 3.3 文法規則

文法規則では，文法ラベルの組み合わせによる変換規則を記述する (表 2). 生成する自然言語は日本

## 文法ラベル(ブロックの色)に応じて 適切に組み合わせると...

図 2 擬似データ生成例

語を対象としているため, Wang ら [8] の規則とは大 きく異なる規則を作成した。ただし, Wang らの規則と同様に比較級や最上級, 平均などの基本的な表現は網羅している.

近年の Semantic Parsing では, 対話履歴に基づい て論理形式をアノテーションしたデータセット [16] や対話履歴を入力として扱うモデル [13] が提案され ているが，今回は問題を簡略化するため 1 発話単位 での解析に焦点を当てている. そのうえで, 前後の 対話文脈の内容に対して, 条件の追加や修正ができ るように, 表 2 の (11),(12),(13)のような追加・削除・置換の規則を加えている。

これらの文法規則と語彙規則で定義した文法ラベルに基づいて, 語句と論理形式を適切 に組み合わせることで擬似的な自然言語文と 論理形式のペアを生成する. 例えば, 語彙規則 (表 1) の (1)，(2)，（3）と文法規則 (表 2) の (1), (2)を文法ラベルに従って適切に組み合わせ ると, 図 2 に示すように, “NP[NP/no[NP/ga[間取 り] が NUM[1LDK]] の TYPENP[賃貸アパート]] $\rightarrow$ type.Apartment $\wedge$ floorPlan.1LDK”というペアが得ら れる.

しかし，文法ラベルだけでは不自然な組み合わ せが生成される恐れがある. 例えば語彙規則 (表 1) の (2), (4) と文法規則 (表 2) の（2）の組み合わせか ら, “NP/ga[賃料] が NUM[1LDK] $\rightarrow$ rent.1LDK”など表 3 生成データ例

擬似生成 書斎が付いている 築年数が古い という条件を追加

言い換え 書斎が必要です. 築年数は古くて も構いません.

論理形式 append( ageOfHouse.Old $\wedge$ has_study)

擬似生成 既にリフォーム・リノベーション

されている賃貸戸建ての中で最 も賃料が安いもの

言い換え リノベーション済みの賃貸戸建て の中で一番安いところだとどんな 感じですか?

論理形式 $\operatorname{argmax}($ rent.Cheap, type.RentalHouse $\wedge$ is_renovated)

が生成されてしまう。そこで，語彙規則を定義す る際には，それぞれに意味的な型を持たせて，そ の型制約により不自然な組み合わせの生成を抑制 する。例えば，次のような生成途中の状態を考え る: “NP/ga[間取り] が $\mathrm{NUM}[x] \rightarrow$ floorPlan. $x$ ”. ここ で，既に “floorPlan” が確定していることから, $x$ の值 を決定する際には間取りを表す具体的な数值のみ e.g.) ワンルーム, 1K, 1LDK, 2K, ... しか受け付けな いといった制約を与える.

## 3.4 擬似生成文の言い換え

獲得した擬似生成文と論理形式のペアのうち，擬似生成文側を人手で言い換えることで，より流暢か つ多様性のあるデータの構築を目指す。言い換え 作業は, 本論文の著者 5 人で行った。構築したデー タ例を表 3 に示す。

また, 5 人の間で, 共通 20 文の言い換え作業を 行い，作業者間の言い換えにおける類似性を BLEU によって評価した (図 3). その結果, BLEU:0.1〜0.5 辺りに集中していることから，言い換え元 (擬似生成文) が共通していても作業者によって表現が異な り, 多様な言い換え表現を得られていることが分 かった。

## 4 実験

提案手法により生成したデータを Transformer[17] に学習させ, 実際に自然言語文から論理形式への変換することで, データ生成手法の効果を検証する.評価には，擬似生成文の言い換えによって得られた 評価セット 125 ペアおよび住まいの密口の対話履歴を参考に構築した評価セット 173 ペアの 2 つを 利用した。学習には言い換えデータ 1,229 ペアと,
表 4 実験結果

図 3 作業者間の言い換えの類似性

事前学習用に擬似生成データ 50,496 ペアを用いた。 また, Encoderに学習済み $B E R T^{2}$ を利用し [18], 事前学習の効果を比較した. Transformer $の$ Encoder お よび Decoder の各パラメータは BERT[19] を参考に した.

## 4.1 実験結果

実験では学習方法および学習データの異なる次の 4 つの手法を比較した: (a) 言い換え文一論理形式ぺ アのみを学習データとしたモデル，(b) 擬似生成文一論理形式ペアを事前学習したのちに言い換え文-論理形式ペアで Fine-tuning したモデル，(c) 事前学習済み BERT を Encoder として与えたのちに言い換え 文-論理形式ペアで Fine-tuning したモデル， (d) 擬似生成文一論理形式ペアのみを学習データとしたモデ ル (表 4). 評価には, BLEU および正解の論理形式 と完全一致 (Exact) ・ 1 つ以上の項が一致 (Partial) す る出力をした割合を指標に用いる.

言い換え文評価セットと対話履歴評価セットの結果を比較すると傾向に大きな違いはなく, 提案した 生成手法が同じ方法で構築された言い換え文評価

図 4 データサイズとモデルの性能

セットだけでなく目的の対話履歴の解析にも有効で あることが分かる。さらに，(a) 言い換えデータの みの学習と (d) 擬似データのみの学習結果の差から,人手による言い換え作業の効果が見て取れる.

対話履歴評価セットにおける Partial および Exact に注目すると，まだ実応用できる精度とは言い難い が，図 4 に注目すると，さらにデータサイズを拡張 することで，性能改善の見込みがあることが分か る.今後は，モデルの性能改善に寄与する学習デー タを効率的に収集する方法を検討していきたい.

## 5 おわりに

本論文では，語彙規則と文法規則の組み合わせ から自然言語文一論理形式ぺアを生成する，新たな データ構築手法を提案した。自動生成された擬似 データを経由することで，専門知識が必要とされる 論理形式のアノテーションが擬似生成文の言い換 え作業に置き換えられ，より容易にデータセットを 作ることが可能となった。生成データを学習した変換モデルにより，対話履歴を論理形式に変換する実験を行い，提案したデータ生成手法の有効性を確認 した.

## 参考文献

[1] Qingqing Cai and Alexander Yates. Large-scale semantic parsing via schema matching and lexicon extension. In Proceedings of the 51 st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 423-433, Sofia, Bulgaria, August 2013. Association for Computational Linguistics.

[2] Victor Zhong, Caiming Xiong, and Richard Socher. Seq2sql: Generating structured queries from natural language using reinforcement learning. CoRR, Vol. abs/1709.00103, , 2017.

[3] Catherine Finegan-Dollak, Jonathan K. Kummerfeld, Li Zhang, Karthik Ramanathan, Sesh Sadasivam, Rui Zhang, and Dragomir Radev. Improving text-to-SQL evaluation methodology. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 351-360, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[4] Tao Yu, Rui Zhang, Kai Yang, Michihiro Yasunaga, Dongxu Wang, Zifan Li, James Ma, Irene Li, Qingning Yao, Shanelle Roman, Zilin Zhang, and Dragomir Radev. Spider: A large-scale human-labeled dataset for complex and cross-domain semantic parsing and text-toSQL task. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 3911-3921, Brussels, Belgium, October-November 2018. Association for Computational Linguistics.

[5] Y. Oda, H. Fudaba, G. Neubig, H. Hata, S. Sakti, T. Toda, and S. Nakamura. Learning to generate pseudo-code from source code using statistical machine translation. In 2015 30th IEEE/ACM International Conference on Automated Software Engineering (ASE), pp. 574-584, 2015.

[6] Chris Quirk, Raymond Mooney, and Michel Galley. Language to code: Learning semantic parsers for if-this-thenthat recipes. In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 878-888, Beijing, China, July 2015. Association for Computational Linguistics.

[7] Kavya Srinet, Yacine Jernite, Jonathan Gray, and Arthur Szlam. CraftAssist instruction parsing: Semantic parsing for a voxel-world assistant. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 4693-4714, Online, July 2020. Association for Computational Linguistics.

[8] Yushi Wang, Jonathan Berant, and Percy Liang. Building a semantic parser overnight. In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 1332-1342, Beijing, China, July 2015. Association for Computational Linguistics.

[9] Chitta Baral, Juraj Dzifcak, Marcos Alvarez Gonzalez, and Jiayu Zhou. Using inverse lambda and generalization to translate English to formal languages. In Proceedings of the Ninth International Conference on Computational Semantics (IWCS 2011), 2011.

[10] Jonathan Berant, Andrew Chou, Roy Frostig, and Percy Liang. Semantic parsing on Freebase from questionanswer pairs. In Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing, pp. 1533-1544, Seattle, Washington, USA, October 2013. Association for Computational Linguistics.

[11] Li Dong and Mirella Lapata. Language to logical form with neural attention. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 33-43, Berlin, Germany, August 2016. Association for Computational Linguistics.

[12] Jayant Krishnamurthy, Pradeep Dasigi, and Matt Gardner. Neural semantic parsing with type constraints for semistructured tables. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 1516-1526, Copenhagen, Denmark, September 2017. Association for Computational Linguistics.

[13] Alane Suhr, Srinivasan Iyer, and Yoav Artzi. Learning to map context-dependent sentences to executable formal queries. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 2238-2249, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[14] Zhichu Lu, Forough Arabshahi, Igor Labutov, and Tom Mitchell. Look-up and adapt: A one-shot semantic parser. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 1129-1139, Hong Kong, China, November 2019. Association for Computational Linguistics.

[15] Percy Liang. Lambda dependency-based compositional semantics. CoRR, Vol. abs/1309.4408, , 2013.

[16] Shashank Srivastava, Amos Azaria, and Tom Mitchell. Parsing natural language conversations using contextual cues. In Proceedings of the Twenty-Sixth International Joint Conference on Artificial Intelligence, IJCAI-17, pp. 4089-4095, 2017.

[17] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in neural information processing systems, pp. 5998-6008, 2017.

[18] Sascha Rothe, Shashi Narayan, and Aliaksei Severyn. Leveraging pre-trained checkpoints for sequence generation tasks. arXiv, pp. arXiv-1907, 2019.

[19] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.