# ニューラル日本語固有表現認識における格フレームの有効性検証

除山宗一
筑波大学情報学群
s1913548@coins.tsukuba.ac.jp

## 1 はじめに

近年, 固有表現認識 (Named Entity Recognition, NER)課題に対して, LSTM やBERT 等, ニューラルネット ワーク（Neural Network，NN）に基づく解析モデルが 多く提案されている $[1,2]$. これらのモデルでは, $\mathrm{NN}$ の特徴であるモデル設計の柔軟さを生かして, 解析対象となる文書以外の外部情報を特徴量として容易に取 り込むことができる．例えば， Luら [3] は解析対象文書の関連画像情報を外部特徴量として取り込むことで NER の性能向上に繋げている.

本研究では, NER 課題で標準的に用いられる Bi-LSTM-CRF モデルに格フレーム情報を外部情報と して取り込むことを考え，その有効性を検証する。例文「太郎が筑波大学へ行く」において, 述語「行く」の ガ格には人間 (PERSON) や組織 (ORGANIZATION)等をあらわす固有表現が現れやすく, また, へ格に は場所（LOCATION）をあらわす固有表現が現れやす い.このように述語と格関係にある要素の中には特定 の固有表現クラスが現れやすいと考えられ，格フレー ムを参照することで, この固有表現の現れやすさに関 する情報を解析モデルで利用する.

Bi-LSTM-CRF に格フレーム情報を取り込むにあた り, 取り込むタイミングとして, LSTM 層よりも前側, 後側およびその両方の 3 パターンが考えられる. そこで， 3 パターンのうちのどれが組み込むタイミン グとして最良であるかも同時に検証する。

## 2 格フレーム情報

## 2.1 京大格フレーム

河原ら [4] は約 100 億文の大規模 Web コーパスから 格フレームを自動構築する手法を提案しており，構築 したものを京大格フレームとして公開している1). 本研究では京大格フレームを外部情報として取り込む.京大格フレームには表 1 のような情報がまとめられ ている. 表 1 は「打つ」の例であり, 述語「打つ」と

1) http://nlp.ist.i.kyoto-u.ac.jp/index.php

\author{
駒田拓也乾孝司 \\ 筑波大学大学院システム情報工学研究科 \\ \{komada@mibel., inui@\}cs.tsukuba.ac.jp
}

関係をもつ項の情報だけでなく, それらの出現頻度が 述語の用法ごとにまとめられている点が特徴である.

## 2.2 格フレーム内平均ベクトル（MVC）

格フレーム情報を NN モデルの特徴量として用いる 場合, その情報をべクトルへ変換する必要がある. 本研究では, 山城ら [5] が提案した MVC (Mean Vector for Caseframe）特徴量を採用する.

MVC は以下のように計算される.

$
\overline{\boldsymbol{\phi}}_{c f_{l}^{p}(c)}=\frac{\sum_{w \in W_{c f_{l}^{p}(c)}} \operatorname{count}\left(c f_{l}^{p}, c, w\right) \cdot \boldsymbol{\phi}_{w}}{\sum_{w \in W_{c f_{l}^{p}(c)}} \operatorname{count}\left(c f_{l}^{p}, c, w\right)}
$

ある述語 $p$ に対する京大格フレーム中の格フレーム群 を $C F_{p}=\left.\{c f_{1}^{p}, c f_{2}^{p}, \ldots, c f_{m}^{p}\right.\}$ としたとき, $l$ 番目の格フ レーム $c f_{l}^{p}$ がもつ格 $c$ に対応する MVC を $\overline{\boldsymbol{\phi}}_{c f_{l}^{p}(c)}$ と する.ここで，格フレーム $c f_{l}^{p}$ にまとめられている格 $c$ の要素となる単語の集合を $W_{c f_{l}^{p}(c)}$ とする.また， $\boldsymbol{\phi}_{w}$ を単語 $w$ の分散表現ベクトル, $\operatorname{count}\left(c f_{l}^{p}, c, w\right)$ を 単語 $w$ が格フレーム $c f_{l}^{p}$ 内の格 $c$ の要素として出現 する頻度とする. MVC は $c f_{l}^{p}$ 内の格 $c$ として出現す る単語の分散表現の重み付き平均で計算される。例え ば，表 1 の「打つ/うつ:動 1」のガ格 MVC は以下のよ うに計算される。

$
\overline{\boldsymbol{\phi}}_{c f_{\text {動 } 1}^{\text {打つ }}(\text { ガ })}=\frac{253 \cdot \phi_{\text {心臓 }}+134 \cdot \phi_{\text {姿 }}+134 \cdot \phi_{\text {声 }}+\ldots}{253+134+134+\ldots}
$

## 3 Bi-LSTM-CRF (ベースライン)

本研究では, 日本語 NER 課題において高い性能が報告されている Misawa ら [6] の, 文字ベース Bi-LSTM-CRF をべースラインモデルとする.

Misawa らのモデルの入力となる各トークンは，解析対象となる文書に含まれる $j$ 番目の文字の分散表現 を $\boldsymbol{c}_{\boldsymbol{j}}, j$ 番目の文字を含む $i$ 番目の単語の分散表現を $\boldsymbol{w}_{\boldsymbol{i}}$ としたとき，それらを繋ぎ合わせた

$
x_{j}=\left[w_{i} ; c_{j}\right]
$

とする．LSTM 層では (4) 式のように，ひとつ前の トークンの出力 $\overrightarrow{\boldsymbol{y}}_{j-1}, \overrightarrow{\boldsymbol{c}}_{j-1}$ と入力 $\boldsymbol{x}_{j}$ を受け, 出力を
表 1 「打つ」の格フレーム例

行う.

$
\overrightarrow{\boldsymbol{y}}_{j}, \overrightarrow{\boldsymbol{c}}_{j}=\operatorname{LSTM}\left(\boldsymbol{x}_{j}, \overrightarrow{\boldsymbol{y}}_{j-1}, \overrightarrow{\boldsymbol{c}}_{j-1}\right)
$

そして, 順方向の LSTM の出力 $\vec{y}_{j}$ と逆方向の LSTM の出力 $\overleftarrow{y}_{j}$ を繋ぎ合わせた

$
\boldsymbol{y}_{j}=\left[\overrightarrow{\boldsymbol{y}}_{j} ; \overleftarrow{\boldsymbol{y}}_{j}\right]
$

が双方向（Bidirectional）LSTM の出力となる. 各 $\boldsymbol{y}_{j}$ は続く $\mathrm{CRF}$ 層に渡され，NEラベルの予測を行う。

## 4 提案手法

## 4.1 提案手法 1 : 前側挿入

1 つ目の提案手法は, LSTM 層の手前で MVC で表現された格フレーム情報を取り込む手法である．具体的には以下の式で示すゲート機構を導入することで，解析対象文書から得られる言語情報と外部情報である 格フレーム情報を組み合わせる。なお，このゲート 機構は $\mathrm{Lu}[3]$ らが提案した Modulation Gate からパラ メータを減らして簡略化したものである.

$
\begin{aligned}
\beta & =\sigma\left(W_{w} \boldsymbol{h}_{j}+U_{w} \boldsymbol{v}_{j}+b_{w}\right) \\
\boldsymbol{m} & =\tanh \left(W_{m} \boldsymbol{h}_{j}+U_{m} \boldsymbol{v}_{j}+\boldsymbol{b}_{m}\right) \\
\hat{\boldsymbol{h}}_{j} & =\beta \cdot \boldsymbol{h}_{j}+(1-\beta) \cdot \boldsymbol{m}
\end{aligned}
$

このゲートにおいて, $\boldsymbol{h}_{j}$ に

$
\boldsymbol{h}_{j}=\boldsymbol{x}_{j}=\left[\boldsymbol{w}_{\boldsymbol{i}} ; \boldsymbol{c}_{\boldsymbol{j}}\right]
$

のように文書由来の単語と文字データを割り当てる. また, 入力文書を格解析した結果, 単語 $\boldsymbol{w}_{i}$ が述語 $p$ と格 $c$ の関係にある場合は, $\boldsymbol{v}_{j}$ に

$
\boldsymbol{v}_{j}=\overline{\boldsymbol{\phi}}_{\boldsymbol{w}_{i}, c f_{l}^{p}(c)}
$

のように格フレーム由来の MVC を割り当てる．格関係にない単語については MVC 情報の代わりにゼロべ クトルを割り当てる.このようにして格フレーム情報 を取り込んだ $\hat{\boldsymbol{h}}_{j}$ を（3）式の代わりにLSTMへの入力 とする. 本稿ではこの提案手法を後述の提案手法と 区別するために「前側挿入」と呼ぶ。ここで MVC を $\overline{\boldsymbol{\phi}}_{\boldsymbol{w}_{i}, c f_{l}^{p}(c)}$ と表記している理由は, $\overline{\boldsymbol{\phi}}_{c f_{l}^{p}(c)}$ が $\boldsymbol{w}_{i}$ に対応 した MVC であることを示すためである．前側挿入モ
デルのその他の構成はベースラインモデルと同じで ある.

## 4.2 提案手法 2 : 後側挿入

2 つ目の提案手法は, LSTM 層の直後に格フレーム 情報を取り込む手法である. 4.1 節で説明したゲート において, $\boldsymbol{h}_{j}$ に

$
\boldsymbol{h}_{j}=\boldsymbol{y}_{j}
$

のように $j$ 番目の LSTM の出力 $\boldsymbol{y}_{j}$ を割り当てる. ま た, 前側挿入の（10）式と同様に $\boldsymbol{v}_{j}$ には MVC を割り 当てる.このようにして格フレーム情報を取り込んだ $\hat{\boldsymbol{h}}_{j}$ を CRF 層へ渡す. 本稿ではこの提案手法を「後側挿入」と呼ぶ.

## 4.3 提案手法 3 : 両側挿入

3 つ目の提案手法は, 前側挿入と後側挿入によって 2 つのゲートを同時に適用する手法である。本稿では この提案手法を「両側挿入」と呼ぶ。両側挿入モデル の概要図を図 1 に示す.

## 5 評価実験

## 5.1 実験設定

実験には, 搪張固有表現タグ付きコーパス (ENEコー パス)[7]を用いた.このコーパスのうち, 出現頻度の 高い 6 つの固有表現クラス (PRODUCT, NUMBER, LOCATION, TIME, ORGANIZATION, PERSON）を 解析対象とした。表 2 に実験データの基本情報を 示す.

本研究では Misawa ら [6] のモデルをベースライン モデルとして採用しているが，彼らの実験とは以下 の点で実験データの設定が異なる． Misawa らは ENE コーパスに収録されているデータの内，新聞記事の みを解析対象にしているが，本研究では全ジャンル のデータを解析対象にしている。また，Misawa ら は 4 つの固有表現クラス（PRODUCT, LOCATION, ORGANIZATION, TIME）を解析対象として選択した が, 本研究では, 格フレーム情報との相性が良いと考

図 1 提案モデル（両側挿入モデル）の概要

表 2 実験データ

えられる PERSON クラスを含めたいため，上記で述 べた 6 つの固有表現クラスを解析対象とした.

モデルパラメータは Misawa ら [6] にならい設定し た。単語分散表現の次元数は 500 , 文字分散表現の次元数は 50 , LSTM のユニット数は 300 , バッチサイズ は 60 とし, 最適化には Adam[8] を用いた。単語, 文字分散表現は, BCCWJ[9] と毎日新聞の記事 11 年分 （1991-2000 年, 2004 年)を用いて GloVe[10] で作成し た. MVC 作成に必要となる単語分散表現も同様の手法を用いた。本実験では，MVC の作成に用いた京大格フレームとの対応をとるため, Misawa らとは違い,分かち書きには Juman $++^{2}$ を用いた。また，格解析に は $\mathrm{KNP}^{3}$ を用いた。

固有表現のチャンク表現には BIO モデル [11]を用 い, 完全一致以外は誤りとして, F1 值で解析結果を 評価した。

## 5.2 実験結果

実験結果を表 3 に示す. 表の各列における最良値を ボールドで示す. 結果より， 4 つのモデルの中では後側挿入が最も高い $\mathrm{F} 1$ 値となった． F1 值に対する文書単位での並べ替えを行う並べ替え検定を行った結果，後側挿入とベースラインモデルの間には有意水準 0.01 で有意な差があることを確認した。このことから, 取 り込み方にもよるが, 日本語 NER 課題に対して格フ レーム情報が有効に作用することが確認できた。一方，前側挿入と両側挿入はベースラインモデルよりも性能 が低くなった．MVC 自体は文脈情報から切り離した 情報であるため, 格フレーム情報を LSTM 層に通過さ せる場合（前側挿入と両側挿入）と通過させない場合 （後側挿入）で，性能差があらわれたと考えられる.

後側挿入での解析結果の例を図 2 および図 3 に示 す.これらはベースラインモデルでは正しく予測でき なかったが，後側挿入では正しく解析できるように なった例である。例えば，図 2 の事例は，漢数字を含 む文字列の例である. ベースラインモデルでは漢数字 が含まれている文字列に対して NUMBER クラスを予測してしまう誤りがあるが, 後側挿入ではそのような 事例の解析が改善されていた。また, 図3のように, ベースラインモデルでは Other クラスと予測する未抽出誤りがあるが，後側挿入ではそのような事例でも改善がみられた。

2) http://nlp.ist.i.kyoto-u.ac.jp/?JUMAN\%2B $\% 2 B$

3) http://nlp.ist.i.kyoto-u.ac.jp/?KNP
表 3 実験結果（各モデルの比較, F1 值）

表 4 MVC 情報の有無に注目した性能比較（ベースラインと後側挿入）

## 5.3 考察

提案手法において，MVC 情報は入力文書中の述語 と格関係をもつ一部の単語のみに付与される。例え ば，例文「北イタリアのラベンナに住むごく普通の市民」における「ラベンナ」は「住む」と二格の関係を もつが，「北イタリア」は格関係をもたない. そこで，評価データ中の事例群を MVC が付与できたものと付与できなかったものに二分割し，ベースラインモデル と後側挿入それぞれの $\mathrm{F} 1$ 值を再評価した。その結果 を表 4 に示す. MVC が付与できた割合を表の最下段 に示している。また，表中の MVC 付与無し，MVC 付与有りのそれぞれの事例について, ベースラインモデ

矢印で示す。

表から，まず，MVC が付与できない事例よりも MVC が付与できる事例の方が， ベースラインモデル，後側挿入共に性能が高いことがわかる．MVC 情報を 組み込んでいる後側挿入だけでなくベースラインモデ ルにおいても性能差が生じていることから，格フレー 么情報が得られるような事例群はそうでない事例群に 比べて解析が容易な事例が集まっていることが示唆さ れる。

また，表中の矢印の向きに注目すると，多くの固有表現クラスでは後側挿入がベースラインモデルよりも 改善されていることがわかるが，MVC 付与率の低い LOCATION クラスでは MVC 付与無し事例群におい て性能が下がっている。この群の事例を観察すると， LOCATION クラスでは，以下の例文の下線部分のよ うに述語と直接的な格関係をもたないため MVC が付与されない事例が目立っていた。このような事例に関 して，MVC 情報の付与方法の改良については今後の 課題である.一死から八角が（省略）出塁したが...

図 2 解析結果の例 1

企画したのは、西陣で織屋を経営する...

経営/けいえい：動1：デ格

図 3 解析結果の例 2
- 2 年前の世界選手権（カナダ・ハミルトン）で、 （省略）を獲得した日本がお家芸の座を守れるか。 ・米国向けの輸出割合が（省略）まで低下している 二方で...

## 6 おわりに

本研究では日本語 NER 課題おける格フレーム情報 の有効性を検証した。評価実験の結果，Bi-LSTM-CRF モデルに格フレーム情報を取り込んだ提案手法（後側挿入）は，格フレーム情報を取り込まない場合に比べ て 1 ポイント以上高い F1 值を示した。

今後は，LSTM 系モデルよりも高い性能が報告され ている BERT 等の Transformer 系モデルをベースライ ンモデルとして同様の検証を実施し，格フレーム情報 の日本語 NER 課題への有効性を評価する予定である.

謝辞本研究の一部は JSPS 科研費 JP18K11982 の 助成を受けたものです。

## 参考文献

[1] Guillaume Lample, Miguel Ballesteros, Sandeep Subramanian, Kazuya Kawakami, and Chris Dyer. Neural architectures for named entity recognition. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 260-270, 2016.

[2] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018.

[3] Di Lu, Leonardo Neves, Vitor Carvalho, Ning Zhang, and Heng Ji. Visual attention model for name tagging in multimodal social media. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1990-1999, 2018.

[4] 河原大輔, 黒橋禎夫ほか. 高性能計算環境を用いた web からの大規模格フレーム構築. 情報処理学会研究報告自然言語処理 (NL), Vol. 2006, No. 1 (2006-NL-171), pp. $67-73,2006$

[5] 山城颯太, 西川仁, 徳永健伸. 大規模格フレームによる 解候補削減を用いたニューラルネットゼロ照応解析.自然言語処理, Vol. 26, No. 2, pp. 509-536, 2019.

[6] Shotaro Misawa, Motoki Taniguchi, Yasuhide Miura, and Tomoko Ohkuma. Character-based bidirectional lstm-crf with words and characters for japanese named entity recognition. In Proceedings of the First Workshop on Subword and Character Level Models in NLP, pp. 97-102, 2017.

[7] 橋本泰一, 中村俊一. 拡張固有表現タグ付きコーパス の構築. 言語処理学会 第 16 回年次大会 発表論文集（2010 年 3 月）, pp. 916-919, 2010.

[8] Diederik P Kingma and Jimmy Ba. Adam: A method for stochastic optimization. arXiv preprint arXiv:1412.6980, 2014.

[9] Kikuo Maekawa, Makoto Yamazaki, Toshinobu Ogiso, Takehiko Maruyama, Hideki Ogura, Wakako Kashino, Hanae Koiso, Masaya Yamaguchi, Makiro Tanaka, and Yasuharu Den. Balanced corpus of contemporary written japanese. Language resources and evaluation, Vol. 48, No. 2, pp. 345-371, 2014.

[10] Jeffrey Pennington, Richard Socher, and Christopher D Manning. Glove: Global vectors for word representation. In Proceedings of the 2014 conference on empirical methods in natural language processing (EMNLP), pp. 15321543, 2014.

[11] 黒橋禎夫. 改訂版 自然言語処理. 一般財団法人 放送大学教育振興会, 2019.


# 並列構造解析に基づく 複合化された固有表現の曖昧性解消

澤田悠治 ${ }^{1}$ 寺西 裕紀 $^{2}$ 松本 裕治 ${ }^{2}$ 渡辺太郎 ${ }^{1}$
1 奈良先端科学技術大学院大学先端科学技術研究科
2 理化学研究所 革新知能統合研究センター
\{yuya.sawada.sr7, taro\}@is.naist.jp
\{hiroki.teranishi, yuji.matsumoto \}@riken.jp

## 1 はじめに

固有表現認識は，人名や地名などの専門用語 (固有表現)をテキストから自動的に抽出する自然言語処理のタスクの一つである。近年では，これまでの 科学技術の発展に伴う論文アーカイブの蓄積に伴 い，各分野の論文を解析して，物質や微生物の特徵・専門知識を機械的に獲得する自然言語処理技術 の応用が期待されている. 固有表現認識の手法は，人手による素性設計を必要としないニューラルネッ トワークの導入によって顕著に発展している $[1,2]$ が，対応が困難な固有表現が存在し，専門分野にお ける固有表現認識の精度改善と情報検索・関係抽出 などへの応用のために解決が期待される.

従来の固有表現認識手法で対応が困難な固有表現の一つとして，並列構造による省略を伴う 固有表現が挙げられる. 並列構造を含む固有表現には複数の固有表現が複合化されており, 複数の固有表現の中で重複する単語が省略される.例えば，"Human T and B lymphocytes"では，"Human T lymphocyte"と "Human B lymphocyte"の二つの固有表現が複合されており，それぞれの固有表現で "Human"と “lymphocyte"が省略されている。このよ うな固有表現は，生命科学分野のコーパスの一つ である GENIA Term annotation で全体の 3\%に含まれ ており，既存の手法では一つの固有表現 (“Human T and B lymphocytes") として扱うか, 例外として除去 するなどの処理が行われる.

本研究の目的は, 既存の固有表現認識器とのパイ プライン処理が可能な並列構造の解析手法を提案 し，上述の固有表現を辞書や複合名詞句がアノテー ションされたデータセットを用いずに抽出すること である. 具体的には，固有表現認識器で抽出された固有表現に内包される等位接続詞に対して並列構造 の範囲を同定し，省略された単語を補完する手法を 提案する。本稿では，教師情報を用いない並列構造 の解析器と複合された固有表現の正規化方法につい て説明し，提案手法によって固有表現全体の抽出性能の向上が見られたことを示す. また，提案手法に おいて対応が困難な事例についても示し，今後の課題について整理する。

## 2 関連研究

## 2.1 固有表現認識

固有表現認識の多くの研究は系列ラベリングによ る手法に基づいており，固有表現の範囲は BIO 方式 やBIOES 方式などのラベル方式によって表現され る.このようなラベル方式は，連続した単語列から なる一つの固有表現しか表現できない問題があり，上述の固有表現は複合した固有表現全体や一部分の 固有表現のみが抽出対象とされるか，例外として除外されるなどの処理が行われている。複合した固有表現を不連続な範囲を持つ固有表現とみなして解く 手法として，複数のラベル系列を一本のグラフと表現して出力する手法 [3] や，句構造解析で頻繁に用 いられる Shift-Reduce アルゴリズムに基づいた手法 [4] が提案されている。しかしながら，不連続な固有表現が出現する事例の少なさや並列構造によって 複数の固有表現が入り混じりになる点で，学習が困難になる問題がある。

## 2.2 並列構造解析

並列構造解析では，“and"や“or"といった等位接続詞によって結びつけられた句 (並列句) の範囲を同定 する. 並列構造解析の多くの研究では，同一の並列
構造にある並列句同士が意味的・統語的に類似する 特徴 (類似性) に着目している。黒橋ら [5] は, 文字列や品詞の一致などのルールによって付与された スコアを設けて，並列句の類似度をチャートと動的計画法で算出した. 新保ら [6] は英語の並列構造に おいて, 単語や品詞, 形態情報に基づいた素性の重 みづき線形和を元に類似度を算出した。近年では， ニューラルネットワークによる手法とともに，可換性に着目した研究が発展している. Ficler ら [7] は 外部の構文解析器で抽出された並列句の候補の中 で，ベクトル同士のユークリッド距離 (類似性), 片側の候補を抜いた場合に出力されたべクトルなどを 用いたスコアを算出している. 寺西ら [8] は，それ ぞれの並列句の内部と外部の境界などをべースに したスコアを元に，並列構造を表す木を CKYアル ゴリズムによって構築し, 入れ子状の並列構造や三 つ以上の並列句に対応する手法を提案した. ニュー ラルネットワークによる手法の利点は, 黒橋らと新保らのような人手による素性の設計のコストの問題が削減される点にあり, GENIA Treebank と Penn Treebankにおいても高い性能を示している. しかし ながら, これらのモデルの学習には個々の並列構造 にある並列句の範囲がアノテーションされた大量の データが必要になることから，他分野への応用とい う面を考慮すると，データセットの作成にかかるコ ストの問題が課題として挙げられる.

## 3 提案手法

本研究で用いる手法の概要を図 1 に示す。提案手法は，固有表現認識器と並列構造解析器の二つのモ ジュールで構成されている. 固有表現認識器では複合した固有表現を一つの固有表現として抽出し，並列構造解析器では文中に含まれる名詞句と形容詞句の並列構造の範囲を同定する. これら二つのモ ジュールの解析結果に基づいて, 複合した固有表現 を個々の固有表現へと分解する.

図 1 提案手法の概要図

## 3.1 並列構造解析器

固有表現のアノテーションのみが利用できる状況 を想定し，並列構造の教師情報なしで並列構造の範囲を同定する解析器を使用する [9]. 本研究で構築 する並列構造解析器の実行過程を Algorithm 1 に示 す. 語数 $\mathrm{N}$ で構成される文 $w_{1: N}=\left.\{w_{1}, w_{2}, \ldots, w_{N}\right.\}$ と並列キー $w_{k}$ に対して, 全ての可能な並列構造範囲の組み合わせの中でスコアを計算し，最もスコア の高い組み合わせを並列句の範囲として同定する.複合した固有表現に含まれる並列構造は, “T and B" や “myeloid and lymphoid"のような並列する名詞句や 形容詞句からなるため, 本手法は名詞句と形容詞句 による並列構造を同定の対象とする。また, “-2, -4, -5 and -13"のような三つ以上の並列句からなる並列構造の場合は，等位接続詞の前後にある並列句の範囲 (“-5 and -13") のみを同定する.

まず，文や節などの名詞句と形容詞句以外からな る並列構造を対象外とするための前処理として, 品詞タグを用いたルールに従って並列句の可能性があ る範囲を抽出する. 本手法では, 等位接続詞の前後 で動詞, 前置詞, カンマ(“,”), コロン (“:”), セミ コロン (“; ”). 三点リーダ(“...”) を含まない最長 の範囲を抽出する．例えば，“Antigen complexed with major histocompatibility complex class I or II molecules on the surface of antigen presenting cells ..." という文が 入力された場合は, “major histocompatibility complex class I or II molecules” が並列句の候補の最長範囲と して抽出される。また, “-M1, and -M2"のような等位接続詞と先行する並列句の間に出現するカンマ は，事前に除去してから前処理を行う.
次に, 系列アライメントから並列構造の範囲の候補に対してスコア計算を行い，最大スコアを持つ範囲を並列構造の範囲として同定する. 系列アライメ ントでは，一方の系列を置換・挿入・削除の三つの 編集操作を通して他方の系列へ変換し，これらの変換にかかる一連の操作の中で系列間の対応関係が 求められる. それぞれの編集操作に対してはスコア が割り当てられ, 編集グラフでスコアの総和が最も 高い操作系列が最適なアライメントとして決定さ れる. 本手法は，並列構造のアノテーションを用い ずに範囲を同定するため，最適な並列構造をもつ範囲のスコアが最大になるように，学習済みの言語モ デルを用いてスコアの総和の最大值を算出する. 具体的には，挿入・削除をスキップ，置換をマッチの 操作として定義し, 二つの編集操作に対して学習済 みの言語モデルから得られる単語分散表現を元に したスコアを付与する. マッチの操作に対するスコ アは，対応する単語同士のコサイン類似度に基づい て計算し，スキップの操作に対しては，開発デー 夕 [10]を使用した事前実験によって決定された特定の値を割り当てる．本稿では，スコア計算に用い る学習済み言語モデルとして, 筆者ら [9] の評価実験にて最も高い性能を示した ELMo[11]を採用し， PubMed で入手可能な論文を用いて訓練したモデル を使用する。これらのスコアの算出を，前処理で抽出された範囲の中での全ての組み合わせで実行し，最大のスコアを持つ組み合わせを並列構造の範囲と して同定する．編集グラフのサイズが大きくなるほ どスコアも他の候補に比べて大きくなるため，各編集グラフで算出された最大スコアに対して, 操作系列の長さで正規化したスコアを使用する.

## 3.2 複合化した固有表現の正規化

上述の並列構造解析器と従来法による固有表現認識器の出力を利用して, 複合した固有表現を個別の 固有表現に分解する，具体的には，並列構造を含ん でいる固有表現の中で省略されている単語を識別 し，それぞれの固有表現に結合させる. 省略されて いる単語は, 固有表現認識器で抽出された範囲から 並列構造の範囲を取り除くことで識別できる. 例え ば, 固有表現認識器で “Human T and B lymphocytes” が抽出され, 並列構造解析器で “ $\mathrm{T}$ and B” が同定さ れた場合，“Human” と “lymphocytes” が省略されて いる単語であることが分かる。これらの単語をそれ ぞれの並列句と組み合わせることで，二つの固有表現 ("Human T lymphocyte”, "Human B lymphocyte”) が抽出される.

固有表現認識器には，従来法の使用を想定して BioBERT [12] を固有表現認識タスク向けに fine-tune したモデルを使用する．BioBERT は，PubMed で保管されている生命科学分野の論文のアブストラクト と生物医学とライフサイエンス分野の論文のフルテ キストを訓練コーパスとして BERT [13]を事前学習 した，バイオ分野向けの学習済み言語モデルの一つ である. 固有表現認識モデルへの fine-tune を行う際 は, Lee ら [12] と同様に, BioBERT に Softmax 層を 加え，各サブワードの固有表現ラベルを予測する.複合した固有表現については分解せず，一つの固有表現の事例として抽出されるよう，データセットの fine-tuneを行った.

## 4 評価実験

本稿では, 複合化した固有表現について個々 の固有表現がアノテーションされた GENIA Term annotation [14] を用いて評価実験を行う. GENIA Term annotation では, 11 タイプ1) の等位接続詞の夕 グで複合名詞が分類されており，全体の $97 \%$ が AND と OR のラベルで占められる. 本実験では AND と OR を実験対象の等位接続詞として性能の比較を行 い, 並列構造解析器の前処理で用いる品詞は gold の 品詞を使用した.

## 4.1 評価方法

本実験では，Muis ら [3] の評価方法に基づいて， コーパスの最初の $80 \%$ と $10 \%$ の文を固有表現認識器の訓練及び開発用，残りの 10 \%を評価用のデー タセットとして用いる. 固有表現は DNA, RNA, Protein, cell_line, cell_typeの5タイプを対象とし, DNA と RNA, Protein にあるサブカテゴリは親カ テゴリに統合する。また, GENIA Term annotation に

cell line” のような入れ子になった固有表現が全体 の $10 \%$ に含まれており, 固有表現認識器の学習のた め，訓練データと開発データには入れ子状の固有表現を除去した.

本稿では，全ての固有表現と並列構造を含んだ固有表現に限定した設定で精度・再現率及び $\mathrm{F}$ 值で 性能を比較する．全ての固有表現には BioBERTを

ベースラインとして使用し，並列構造を含んだ固有表現を対象にした評価では, 固有表現認識器の代わ りに全ての連続した範囲にある固有表現を Oracle と して組み合わせたモデルを提案手法の upper bound として使用した。また，複合する固有表現を不連続 な固有表現として抽出する手法の一つである Dai ら [4] の手法で実験した結果についても示す. Dai らの 手法は, 複合した固有表現の中で連続した範囲にあ る固有表現に対して偽陽性を判定できないため，並列構造を含む固有表現のみの評価については再現率 のみを示す.

## 4.2 実験結果

 & F1 \\

BioBERT+ours & 0.764 & 0.652 & 0.703 \\
Dai et al [4] & $\mathbf{0 . 7 9 1}$ & $\mathbf{0 . 7 6 2}$ & $\mathbf{0 . 7 7 6}$ \\

Oracle+ours & 0.625 & $\mathbf{0 . 6 7 8}$ & 0.650 \\
Dai et al [4] & - & 0.644 & - \\

表 1 GENIA Term annotation での実験結果

実験結果を表 1 に示す. 全ての固有表現を対象に した評価について，提案手法はベースラインの性能 を上回ったが，並列構造を含む固有表現のみを対象 にした設定では, Oracle の固有表現と組み合わせた モデルと比べ， 0.28 ポイントの改善の余地が見られ た. Dai らの手法と比較すると, 全ての固有表現に おいて提案手法が近い性能を示し, 複合した固有表現に対しては oracle の固有表現を代わりに使用した 手法が同等の再現率を示した.この結果から，複合化された固有表現の正規化において並列構造解析器 が有効に働いていると考えられる. また, 提案手法 と Dai らの手法にある性能の差の原因として, Dai らの手法が入れ子の固有表現も対象にしている点 や後述の固有表現に対する誤りによる点が挙げら れる.

## 5 今後の課題

提案手法では，三点の特徴をもつ固有表現に対し て抽出が困難になる。一つ目は, 並列構造を含んだ 長い範囲の固有表現である. 評価データセットで生 じた固有表現認識器の誤りの例を図 2 に示す.こ
の例では，正解が “Oct-1"と “Oct-2A"と独立した固有表現であるものの, 認識器では “recombinant Oct-1 and Oct-2A protein"と一つの固有表現として抽出され ている.このような抽出の誤りは，複合された固有表現の出現パターンが類似している点が原因として 考えられる。実際に “PRDII and tetrahexamer binding proteins"では, "PRDII binding protein", "tetrahexamer binding protein"と別々の固有表現として扱われてお り，このような一部のタグで頻出する単語が周辺に あることで，複合した固有表現と誤って認識されて いると考えられる。

## The relationship of the $\mathbf{N$ - Oct proteins to Oct - $\mathbf{1}$ and Oct - 2 A was analyzed by proteolytic \\ clipping bandshift assays and by their reactivity towards antisera raised against recombinant -1] and [Oct - 2A] proteins. \\ $\checkmark$}

図 2 BioBERT におけるエラー例

二つ目は，等位接続詞を含んだ単一の固有表現 である。等位接続詞を含む固有表現には，“Signal transducer and activator of transcription protein"のよう な, "Signal transducer"と “activator of transcription"が 並列構造を持っているにも関わらず一つの固有表現 として扱われる事例が存在する。本手法は，二つの モジュールで出力される範囲に重複がある場合は必 ず複合した固有表現であると仮定しているため，固有表現認識器で正しく予測されても並列構造解析器 が別の固有表現として正規化される. また，このよ うな固有表現には略語 (“STAT") が範囲に加えられ る場合もあり，正規化がより困難になる。抽出され た固有表現が複合されたものか分類する機構との 組み合わせとともに，コーパスの整備が今後必要に なる。

三つ目は，三つ以上の並列句からなる並列構造を 含む固有表現である．複合された固有表現の中には "human interleukin -2, -4, -5 and -13"のような三つ以上 の固有表現 ("human interleukin-2", "human interleukin -4", "human interleukin -5", “human interleukin -13") が 複合されたものも存在し，これらの固有表現の正規化には三つ以上の並列句それぞれの範囲を同定する 必要がある. 本手法の並列構造解析器は等位接続詞 の前後にある並列句しか同定できないため，三つ以上の並列句からなる並列構造への対応も課題として 挙げられる.

## 参考文献

[1] Guillaume Lample, Miguel Ballesteros, Sandeep Subramanian, Kazuya Kawakami, and Chris Dyer. Neural architectures for named entity recognition. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 260-270, San Diego, California, June 2016. Association for Computational Linguistics.

[2] Xuezhe Ma and Eduard Hovy. End-to-end sequence labeling via bi-directional LSTM-CNNs-CRF. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1064-1074, Berlin, Germany, August 2016. Association for Computational Linguistics.

[3] Aldrian Obaja Muis and Wei Lu. Learning to recognize discontiguous entities. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 75-84, Austin, Texas, November 2016. Association for Computational Linguistics.

[4] Xiang Dai, Sarvnaz Karimi, Ben Hachey, and Cecile Paris. An effective transition-based model for discontinuous NER. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 58605870, Online, July 2020. Association for Computational Linguistics.

[5] Sadao Kurohashi and Makoto Nagao. A syntactic analysis method of long Japanese sentences based on the detection of conjunctive structures. Computational Linguistics, Vol. 20, No. 4, pp. 507-534, 1994.

[6] Masashi Shimbo and Kazuo Hara. A discriminative learning model for coordinate conjunctions. In Proceedings of the 2007 Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning (EMNLP-CoNLL), pp. 610-619, Prague, Czech Republic, June 2007. Association for Computational Linguistics.

[7] Jessica Ficler and Yoav Goldberg. A neural network for coordination boundary prediction. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 23-32, Austin, Texas, November 2016. Association for Computational Linguistics.

[8] Hiroki Teranishi, Hiroyuki Shindo, and Yuji Matsumoto. Decomposed local models for coordinate structure parsing. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 3394-3403, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[9] Yuya Sawada, Takashi Wada, Takayoshi Shibahara, Hiroki Teranishi, Shuhei Kondo, Hiroyuki Shindo, Taro Watanabe, and Yuji Matsumoto. Coordination boundary identification without labeled data for compound terms disambiguation. In Proceedings of the 28th International Conference on Computational Linguistics, pp. 3043-3049, Barcelona, Spain (Online), December 2020. International Committee on Computational Linguistics.

[10] Jessica Ficler and Yoav Goldberg. Coordination annota- tion extension in the Penn Tree Bank. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 834-842, Berlin, Germany, August 2016. Association for Computational Linguistics.

[11] Matthew Peters, Mark Neumann, Mohit Iyyer, Matt Gardner, Christopher Clark, Kenton Lee, and Luke Zettlemoyer. Deep contextualized word representations. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 2227-2237, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[12] Jinhyuk Lee, Wonjin Yoon, Sungdong Kim, Donghyeon Kim, Sunkyu Kim, Chan Ho So, and Jaewoo Kang. BioBERT: a pre-trained biomedical language representation model for biomedical text mining. Bioinformatics, 2019.

[13] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[14] J.-D. Kim, T. Ohta, Y. Tateisi, and J. Tsujii. GENIA corpus-a semantically annotated corpus for bio-textmining. Bioinformatics, 2003.


# 動的トピックモデルを用いた 特許技術専門用語に対する技術進展分析

東京工業大学工学院経営工学系 ${ }^{1}$ 楽天株式会社 ${ }^{2}$
iwata.m.ac@m.titech.ac.jp,
\{yoshimasa.utsumi, yoshiro.matsuda, ayumi.f.saito\}@rakuten.com,
\{tanaka.y.al,nakata.k.ac\}@m.titech.ac.jp

## 1 はじめに

特許には，世界対応の国際特許分類 (International Patent Classification，IPC) が存在する。また，日本で は，日本での特許出願が多い分野への対応などを 目的として作成された，IPCをべースとして独自に 細展開した特許分類である File Index(FI) も使用さ れる. FI は約 19 万種類にも及ぶ詳細な分類である [1]. FI は，技術の進展に対応し適切なサーチキーと して機能する必要がある. そのため, 特許庁により 年に 1 回から 2 回，必要な分野において改正が行わ れる [2]. FI の改正に関しては 2006 年以降で，約 3 万件の新設と約 3 万件の廃止が行われており, 大量 の FI の中から改正を行うべきであるものを判断す ることが困難であることは容易に想像できる。 そこ で，改正するべき技術の候補を抽出することで，特許庁の業務補助ができると考えられる.

そのため, 本研究の目的は，特許文書を基に，技術進展分析を行うモデルを作成することにより，特許庁の FI 改正という業務の補助を果たすことであ る. 本研究では, まず, 特許文書から特許技術専門用語を抽出するという作業を行う. その後に, 抽出 した特許技術専門用語を動的トピックモデルに適用する. 最後に, 特許技術専門用語の時系列変化及 び実際の FI 改正結果との比較を行うことによって，動的トピックモデルの有用性を確認する．また，ト ピックを利用した共起単語の確認により，技術進展分析を行い, FI 改正業務の補助という観点での実用 の可能性を示す.

## 2 関連研究

## 2.1 専門用語抽出

中川らは，専門用語の多くは複合語であることを 利用し，専門用語を抽出している [3]. そして，専門用語にはターム性 (ある言語的単位を持つ分野固有の概念への関連性の強さ) があるという特徴に注目し，ターム性を反映した専門用語抽出法を採用し た. その上で，抽出された用語候補集合における構造の情報に加え，コーパスにおける個別用語候補の 統計的性質 (純粋な出現回数など) に関しても考慮し たスコアを定義した。

特許の専門用語抽出 [4], [5] に関する論文も基本的にはこの考え方を採用している。しかし，中川ら [3] の研究は特許分野に限られていないため, 特許 の専門用語抽出においては，特許特有の用語 (前記，当該などの特許固有の接頭辞) は除くべきだと示さ れている。

## 2.2 トピックモデル

## 2.2.1トピックモデル

トピックモデルは，1つの文書がトピック分布 を持ち，1つのトピックが単語分布を持つ仮定した 文書生成モデルである．トピックモデルを用いるこ とで，人間が文書を読むことなく大量の文書集合か ら話題になっているトピックを抽出することがで きる. トピックモデルの中でも，Blei らによって提案された Latent Dirichlet Allocation(潜在ディリクレ 配分モデル，LDA)[6] が広く使われている。しかし, LDA においては時系列性は考慮されいないため，卜 ピックの推移を確認することはできない.

## 2.2.2 動的トピックモデル

2.2.1 節の問題に対応しょうと Blei らによって提案された Dynamic Topic Model (動的トピックモデ ル)[7] はLDAを拡張したモデルであり，時系列性を 考慮する. 動的トピックモデルにおいては，データ セットは指定された時間 (タイムスライス) ごとに分割され, 文書のトピック分布のパラメータ，および 各トピックの単語の分布は時間とともに変化する。

しかしながら，[7]では，変分推論が行われてお り，モデルを更新するには全てのデータセットを読 み込む必要があった. そのため, データの拡大が しにくく, 大規模な問題が解けなかった. そこで, Bhadury らは, 確率的勾配ランジュバン動力学法や, ギブスサンプリングの使用を提案した [8]. そして，並列可能な推論アルゴリズムを作り, 高速化に成功 した. その結果, 大規模な動的トピックモデルを学習することができた．また，変分推論においては平均場近似という仮定が行われていた。 それに対し， [8] では，このような不当な仮定を行わないことに より，低いパープレキシティも達成するなど，精度 の保証もされている.

## 3 提案手法

本研究は，FI の改正という観点を基づき，動的ト ピックモデルを用いた特許公報の分析を行った. 以下では，特許技術専門用語抽出，動的トピックモデ ルの適用，評価という流れで説明を行う。

## 3.1 特許技術専門用語抽出

先行研究での結果を踏まえ，特許固有の接頭辞や 指示代名詞 (前記, 当該など) を形態素解析前に除外するべき単語として定義した. 動的トピックモデ ルにおいては, 語彙数が増えると計算時間が増大す る.また，トピックの中身の把握及び「改正すべき である技術を提示する」という目標においては，す べての単語を入力として使う必要がない. このよう な点を考慮し, 頻出単語上位 $K$ 単語を抽出し, 動的 トピックモデルの入力とすることが適切であると 考えた。一方, 出現頻度が多いだけの単語は情報を 持っておらず，トピックモデルを適用した際にノイ ズとなる. そのため, 頻出単語を抽出すること, 及 び，頻出単語で特許技術専門用語でないものを除外 することが必要となる. そこで， [3] のアイデアを 基に, 頻出一般用語スコアを定義した。まず，複合名詞のターム性を反映したスコアを定義するため
に，分野における基礎概念度合い，すなわち特許技術専門用語度合いを最も反映していると考えられる 連接種類数を使用した. [3] では，複合名詞のター ム性を反映したスコアとして相乗平均を考えていた が，大きな概念が少しでも含まれている単語は特許技術専門用語となる可能性が高いと考え，連接種類数の最大値を複合名詞のターム性を反映したスコア とした.

また，頻出単語で特許技術専門用語でないものを 除外するべきという考えを反映するべく，複合名詞 $C N$ の頻出一般用語スコア $F N S(C N)$ を次の様に定義した.

$
F N S(C N)=\frac{f(C N)}{L R(C N)}
$

ここで， $f(C N)$ は複合名詞 $C N$ の単独出現回数，ま た $L R(C N)$ を複合名詞 $C N$ のターム性を反映したス コアとなる. そして, $F N S(C N)$ の上位 $K$ 個を頻出単語であるが特許技術専門用語でないものと考え，除外単語として設定することで，ノイズを除外する ことができた.

## 3.2 動的トピックモデルの適用

それぞれの特許は様々な技術 (=トピック) で構成 されており，技術は特許技術専門用語の集合のよう なものであると考えられる. そのため，技術の進退 を考える際に，トピックという考え方が重要とな る. よって, 本研究では動的トピックモデルを適用 した. その詳細は Iwata et al.[9] を参照されたい. た だし [9]では，「複数，1つ」などのノイズが入り結果解釈がしづらいという問題点が存在した. その問題を解決するために，前処理として特許技術専門用語抽出を行うことにした。 また，計算時間を短縮す るために, [7] ではなく, [8] で提案された手法を採用した.

## 3.3 評価

本研究ではトピックモデルの評価という観点と,実際の改正結果との比較という観点から評価を行っ た. 実際の改正結果との比較では，特許庁の FI の 改正情報 [2] を使用した. ここで，FI の改正情報に 対しても 3.1 節と同じ操作を行い，技術に関する専門用語を抽出した.この結果を基に動的トピックモ デルの結果との比較を行った.

## 4 特許公報を用いた検証

## 4.1 データセット

## 特許技術専門用語抽出

検証に用いるデータセットは，以下の２種類である。

・特許技術専門用語抽出の精度を確認するための データ.

2017 年 10 月 01 日から 2020 年 10 月 01 日に出願され，かつ，2020 年 10 月 01 日時点で登録さ れている登録公報 (全 72,456 件).この登録公報 の中の「発明の名称」及び「要約」を使用した。

・特許庁の公開しているデータ.

[10] に掲載されている特許文献の日英機械翻訳辞書に登録されている単語を今回の正解とみな して利用した。登録されている単語に関して は，※などの記号を置き換えた上，それらの単語に関しては形態素解析を行うなどの処理は 行っていない. 全部で 108,472 件の単語が登録 されている.

## 動的トピックモデル

2006 年 01 月 01 から 2019 年 12 月 31 に出願され, かつ，2020 年 10 月 01 日時点で登録されている登録公報で，クラスが F21(照明)，G06(計算，計数), C12(生化学) であるものである. また，クラスの特許数にばらつきがあったため，アンダーサンプリ ングを行った. その結果，対象となる登録公報は 64,008 件となった．また，この登録公報の中の「発明の名称」及び「要約」を使用した.

## 評価

特許庁の実際の改正結果は [2] から取得を行った。 2006 年以降の改正情報の中で新設と廃止を改正結果とみなし，実験の評価に使用した。

## 4.2 特許技術専門用語抽出

本節では，3.1 節で示した特許技術専門用語抽出 を行うことにより，単純な名詞抽出よりも正しく特許技術専門用語が抽出できることを確認する。ま た，今回は前処理として，すべてカタカナの単語は 特許専門用語であると定義している.

まず， $L R(C N)$ の定義を [3] のように相乗平均を 用いた場合と， 3.1 節のように最大値を用いた場合 の比較を行った. すると，上位単語の中でも，相乗平均を用いた場合は「センサアンプ部, マテリアル
シール部, 脱水部」などの特許技術専門用語が抽出 されるが，最大值を用いた場合においてはそのよう なことは発生せず，より一般用語であると考えられ るものが抽出できた.

また， 4.1 節で述べた特許文献の日英機械翻訳辞書を用いた比較を行った。ここで，評価指標 として利用する評価指標は，Precision@Nである. Precision@ $N$ とは上位 $N$ 単語のうち正解となる単語 の割合であり，推薦システムにおいてよく用いられ る手法である。また，本来であれば翻訳用ではない 特許技術専門用語辞書で, かつ, 前処理が適切にな されているものを正解データとして使うことが適切であることに留意する。また，今回は複数のしき い值で確認を行った上，動的トピックモデルに適用 する数として適切な上位 3,000 単語を使用した. さ らに，同様に複数のしきい值で確認を行った上，除外単語は 500 単語とした. ここで，複合名詞の考慮 の効果，及び除外単語の設定の効果を確認するた め，除外単語を考慮せず，単名詞のみの頻出単語 3,000 件を抽出した場合と, 複合名詞も含む頻出単語 3,000 件を抽出した場合を比較した。

表 1 特許技術専門用語抽出の精度

表 1 より，単名詞のみではなく複合名詞を含む形 にする効果，及び除外単語を設定する効果が確認で きた.

## 4.3 動的トピックモデル

4.2 節の結果を基に，除外単語は 500 単語とした 上で，動的トピックモデルに適用する単語数は除外 されていない単語の中で頻出上位 3,000 単語を使用 した。また，タイムスライスは，出願年とし， 2006 年から 2019 年までの各年の時系列変化を確認した. トピック数は 15 , イテレーション数は 5,000 とした.

## 動的トピックモデルの評価

動的トピックモデル自体の評価には，パープレキシ ティ[11]を用いた. パープレキシティを図 1 に示 す.この結果より，イテレーション数は 1000 ほど で実験結果は十分収束していることが確認できる. また，すべての年において学習が適切に進行してい

図 1 パープレキシティ

ることが確認できる.

動的トピックモデルにおいて，時間とともに変化 するトピックの単語分布の例を図 2 に示す.

図 2 トピック 5 の中の単語の所属確率の推移

このように，各トピックにおいて構成される単語の 所属確率の変化を確認することで，技術進展分析が 可能となる.

## 4.4 単語集計の結果との比較

トピックモデルの有用性について説明するため に，単語を年ごとに単純集計した結果との比較を 行った. また，今回は正解データとして実際の FI 改正結果を用いたが，専門家によりアノテーション することの方が好ましいと考えられる．単純集計の スコア $S F(C N)$ を以下の様に定義した.

$
S F(C N)=\max \left(\left.\{g\left(C N_{t}\right)\right.\}_{t=0}^{T}\right)-\min \left(\left.\{g\left(C N_{t}\right)\right.\}_{t=0}^{T}\right)
$

ただし, $g\left(C N_{t}\right)$ は, 複合名詞 $C N$ のタイムスライス $t$ における特許 1 つに対する平均出現回数である.

動的トピックモデルのスコア $F(C N, i)$ を以下の様 に定義した

$F(C N, i)=\left(\max \left(\left.\{p_{C N, i, t}\right.\}_{t=0}^{T}\right)-\min \left(\left.\{p_{C N, i, t}\right.\}_{t=0}^{T}\right) \times S(i)\right.$

ただし，iはトピック ID である. $p_{C N, i, t}$ は動的ト ピックモデルから得られるタイムスライス $t$, ト ピック $i$ における複合名詞 $C N$ の所属確率である. また， $S(i)$ は，トピックの平均的な大きさであり，動的トピックモデルから計算した．動的トピックモ デルの特性上，複合名詞 $C N$ に対する $F(C N, i)$ は複数ある場合があるが，最大となる値のみ利用した。
これらのスコアを基にソートを行い，Precision@ $N$ を確認した。また，今回のデータにおいて FI の改正は多く行われているため，大きな数の $N$ を確認し た.

表 2 Precision@N

表 2 より，動的トピックモデルを使用することで，改正すべき単語を適切に把握できると分かった。

最後にトピックモデルを用いることによる今後の 可能性について述べる。ここでは例として，「タッ チパネル」に着目する. $F($ タッチパネル,$i)$ が最大 となるトピックであるトピック 15 の上位単語に着目すると，「制御，状態，表示，検出，操作，電子機器, 表示部, 位置, 制御部, 機能, タッチパネル,表示装置」であった. それに対して, 実際の改正結果においては，G06クラスの中で「複数のタッチパ ネルの制御，例. 連結、跨ぐ操作」というタイトル で，2014 年 4 月に改正が行われている。また，この タイトルから，提案手法の特許技術専門用語抽出作業を用いることで「タッチパネル，制御，例，連結，操作」というが抽出される。これは，トピック 15 の 上位単語と重複している。 このように，どのトピッ クに所属しているか，及びトピックの中身を確認す ることで技術を容易に把握でき，技術進展分析の補助となると言える。

## 5 おわりに

本研究は，特許文書から技術の進展分析を行い， FI の改正の補助を行うという目的で，モデルを構築 した. 特許技術専門用語抽出のために，複合名詞を 抽出し，その後頻出一般用語を除いた。このことに より，ノイズとなる単語が減少し特許技術専門用語 が正しく抽出できた. また，動的トピックモデルを 適用することにより，単純な単語の推移を確認する よりも改正すべき単語を正しく発見できることが分 かった. さらに，トピックモデルの特性を生かすこ とで，技術を特許技術専門用語の集まりとみなすこ とができるという有用性を確認できた。

## 参考文献

[1] 特許庁. 特許分類の概要とそれらを用い た先行技術調査, （2021-1 閲 覧）. https: //www.jpo.go.jp/news/shinchaku/event/seminer/ text/document/2019_jitsumusha_txt/04t.pdf.

[2] 特 許 庁. $\mathrm{Fi}$ 改 正 情 報, （2021-1 閲覧).https://www.jpo.go.jp/system/patent/gaiyo/ bunrui/fi/f_i_kaisei.html.

[3] 中川裕志, 湯本紘彰, 森辰則. 出現頻度と連接頻度に 基づく専門用語抽出. 自然言語処理, Vol. 10, No. 1 , pp. 27-45, 2003.

[4] 柚木山駿, 太田貴久, 小林暁雄, 増山繁. 特許関連業務支援のための技術用語自動抽出の試み. 言語処理学会, 第 22 回年次大会 発表論文集, pp. 326-329, 2016.

[5] 粟飯原俊介, 内山清子, 石崎俊. 特許文における分野 オントロジー構築のための重要複合語の抽出と重要複合語間関係の定義. 言語処理学会年次大会発表論文集, Vol. 13, pp. 871-874, 2017.

[6] David M.and Andrew Y. Ng Blei and Michael I. Jordan. Latent dirichlet allocation. Journal of Machine Learning Research, Vol. 3, pp. 993-1022, 2003.

[7] David M.and John D. Lafferty Blei. Dynamic topic models. In Proceedings of the 23rd International Conference on Machine Learning, pp. 113-120, 2006.

[8] Arnab Bhadury, Jianfei Chen, Jun Zhu, and Shixia Liu. Scaling up dynamic topic models. In Proceedings of the 25th International Conference on World Wide Web, pp. 381-2016, 2016.

[9] Mana Iwata, Yoshiro Matsuda, Yoshimasa Utsumi, Yoshitoshi Tanaka, and Kazuhide Nakata. Technical progress analysis using a dynamic topic model for technical terms to revise patent classification codes, 2020. https://arxiv. org/abs/2012.10120.

[10] 特許庁. 特許文献機械翻訳の辞書等の作成,（20211 閲 覧）. https://www.jpo.go.jp/system/laws/ sesaku/kikaihonyaku/tokkyo_dictionary.html.

[11] 岩田具治.トピックモデル. 機械学習プロフェッ ショナルシリーズ，講談社, 2015 .

## A 付録

4.2 節の比較において使用された上位 20 単語.

 \\

4.3 節の動的トピックモデルに適用する単語にお ける頻出単語は以下の通り。

 \\


# 文脈化埋め込み表現を用いた対照学習による病名正規化

氏家翔吾磯颯荒牧英治
奈良先端科学技術大学院大学
\{ujiie, iso.hayate.id3, aramaki\}@is.naist.jp

## 1 はじめに

病名の表記摇れ解消（本稿では病名正規化と呼 ぶ）は，医学論文や診療録などのテキスト（医療文書）の解析における重要な要素技術の一つである.例えば，医療文書からの情報抽出 [1] や関係抽出 [2] では，病名を有用な特徴量として扱っているが，表記摇れにより同じ概念を同一視できない問題があ る.この場合，病名を正規化することはこれらのタ スクに必須の処理となる.

病名正規化の主なアプローチとして，病名の埋め 込み表現を学習し, 辞書中の最近傍のエントリに対応づける手法が挙げられる. これは，大量の学習 データを用いた教師あり学習 $[3,4,5]$ や，大規模な 類義語辞書を用いた自己教師あり学習 [6] により実現されるが，一般に前提となる大規模なりソースを 構築することが困難である場合が多い. 例えば日本語では，人手でメンテナンスされている大規模な類義語辞書は存在せず，病名正規化のデータセットも 公開されていない。そのため，十分に大きな辞書に 依存しない手法の開発が必要である.

そこで本研究は，低リソース上でも有用な病名正規化手法の開発を目的とする．具体的には，人手に よりアノテーションされた学習データがなく, 類義語辞書が小規模な状況を想定する。これは，医学概念の小規模な辞書が存在する一方で，専門知識を必要とするためにアノテーションコストの高い医療分野の現状と矛盾しない自然な設定である.

本研究では，大規模な類義語辞書や大量の学習 データを用いる代わりに，医療文書中に現れる病名 の文脈を手がかりに病名を正規化する手法を提案す る. 例えば，「TdP」と「TDP-43 proteinpathy」は似た 語を含む一方で，「TdP」は不整脈の一種，「TDP-43 proteinpathy」はタンパク質異常による疾患と, 両者 は全く異なる疾患であり，医療文書中で現れる文脈 は大きく異なる. 図 1に示す提案手法では，このよ うな文脈の違いを正規化の手掛かりとして利用す

図 1 病名の文脈化埋め込み表現. 埋め込み表現は辞書 マッチにより病名が自動認識された文から得られる。こ れらは，同じ概念を持つ病名を近く（実線）, 異なる概念 を持つ病名を遠く（破線）埋め込むよう，対照学習により 最適化される.

るため，小規模辞書を用いて医療文書中の病名を自動認識し，その病名の文脈化埋め込み表現を用いて 近傍探索を行う。この際，同じ概念を持つ病名が近 く埋め込まれるように，辞書の情報をもとにモデル を対照学習によって最適化する．実験では，病名正規化における標準的なデータセットを用いて，提案手法の有効性を示す. 本研究の貢献は以下の通りで ある。

・生テキストと小規模な外部リソースを用いた，病名正規化モデルの学習の枠組みを導入した。
- 実験の結果，外部リソースの利用が制限されて いる状況でも，提案手法は高い精度を示すこと を確認した。

## 2 関連研究

病名正規化を扱う研究では，医療分野に最適化さ れた埋め込み表現を用いて病名間の類似度を学習す る手法が多く提案されている $[3,7]$. 特に近年, 双方向言語モデル BERT [8] を，大規模な医療文書を用い

て事前学習した BioBERT [9] や, PubMedBERT [10] が，病名正規化タスクにおいても高い有用性を示し ている。例えば Sung らは，BioBERT を用いて得ら れた病名の埋め込み表現に対し, 類義語間の類似度 が高くなるように Fine-tuning することで，既存手法 よりも高い精度で病名正規化ができることを示した [5]. しかし，この手法はアノテーションされた病名が一定量必要であり, 学習データの作成コストが 高い.

一方で，本研究と同様，明示的な学習データを用 いることなく, 病名正規化モデルを構築する手法も 提案されている. 例えば Liu らは，大規模な類義語辞書を用いて自己教師あり学習を行うことで，人手 によりアノテーションされたデータを必要としない 手法を開発した [6]. 同研究では, 医学概念におけ る大規模なメタシソーラスである UMLS [11]を用 いて，類義語を学習データとみなすことで病名表現 を学習し，高精度に病名正規化が行えることを示し た.この手法では人手でアノテーションされた学習 データを必要としない一方で，大規模な類義語辞書 の存在が前提となっている. 実際，類義語辞書の利用を制限した場合に，同病名正規化モデルの精度が 大幅に劣化することを確認した. 本研究では, 病名 のみを入力とする同研究と異なり，学習・推論時に 病名が自動認識された文から得られた文脈化埋め込 み表現を用いることで，類義語が少量の場合にも文脈を手掛かりに正規化できる。

## 3 手法

病名正規化タスクは，入力文 $X$ における $i$ 番目の 病名 $x_{i}$ について，それに対応する概念 $y_{i} \in \mathbb{C}$ を予測するタスクとして表される。ここで， C $は$ 類義語辞書収載の概念集合である。

提案手法では，病名が自動認識された文集合（用例集合）から得た文脈化埋め込み表現を用いて，近傍探索による病名正規化を行う．文脈化埋め込み表現は，同じ概念を持つ病名が近く埋め込まれるよう に，対照学習により最適化する。

以降，本研究では，類義語の最長一致により病名 を自動認識した用例集合 $\mathbb{S}=\left.\{X_{0}^{\prime}, X_{1}^{\prime}, \cdots, X_{M}^{\prime}\right.\}$, 及 び $\mathbb{S}$ 内の各文の病名, 概念系列 $x^{\prime}(m), y^{\prime}(m)$ から構成されるデータベース $\mathbb{D}=\left.\{\left(x_{j}^{\prime(m)}, y_{j}^{\prime(m)}\right)\right.\}_{m=1, j=1}^{M, \mid x^{\prime}(m)} \mid$ に アクセス可能であると仮定する。 $x_{j}^{\prime(m)}, y_{j}^{\prime(m)}$ はそ れぞれ， $x^{\prime(m)}, y^{\prime}(m)$ における $j$ 番目の病名と概念を 表す.図 2 PubMedBERT を用いた病名の埋め込み表現の獲得

## 3.1 正規化モデル

病名 $x_{i}$ を正規化するため， $K$ 近傍法を用いる. 本研究では，近傍探索時の距離として，文脈化埋め込 み表現のコサイン類似度を用いる。

$x_{i}$ に対する各概念の予測確率を， $x_{i}$ の近傍 $K$ サン プル $\mathbb{N}_{K}\left(x_{i}, \mathbb{D}\right)$ を用いて以下のように定義する.

$
p\left(y_{i}=c \mid x_{i}, \mathbb{D}, K\right)=\frac{1}{K} \sum_{j \in \mathbb{N}_{K}\left(x_{i}, \mathbb{D}\right)} \mathbb{1}\left(y_{j}^{\prime}=c\right)
$

ここで， $\mathbb{(}(e)$ は指示関数である. この予測確率を用 いて, $y_{i}$ は $\arg \max _{c \in \mathbb{C}} p\left(y_{i}=c \mid x_{i}, \mathbb{D}, K\right)$ で正規化さ れる。

文脈化埋め込み表現を得るため，双方向言語モデ ルの一つである BERT [8]，特に医療文書を用いて最適化された PubMedBERT [10] を用いる. 図 2に示す 通り，まず，文中の対象とする病名を特殊トークン で“[ENT]", “[/ENT]"で囲み, PubMedBERTの入力と する。その後，“[ENT]"トークンに対応する埋め込 み表現を，対象とする病名の埋め込み表現として用 いる [12].

## 3.2 対照学習

対照学習とは，あるデータに対して，同一ラベル が付与されたデータ（正例）を近く，異なるラベル が付与されたデータ（負例）を遠く埋め込むように 学習する距離学習手法である $[13,14]$. これにより,同じ概念の病名同士は近く，異なる概念の病名は遠 く埋め込まれる。

対照学習には，正例，負例の病名のペアが必要で ある. 本研究では，それらを用例のミニバッチ内で 動的に構成する。つまり，ミニバッチ内の用例にお ける全ての病名 $x_{j}^{\prime(m)}$ について, 正例として $y_{j}^{\prime(m)}$ と 同じ概念の病名を，負例として $\left.y_{j}^{\prime}{ }^{\prime m}\right)$ と異なる概念 の病名をミニバッチ内から抽出し，それらを正例・負例ペアとする.

損失は Multi-Similarity loss [15]を用いる。この損失関数は正例，負例ぺアの相対的な類似度を考慮し た距離学習手法である。これは，ミニバッチ内のす べての病名 $\mathbb{B}$おいて, 病名 $x_{i}, x_{j} \in \mathbb{B}$ 間のコサイン
類似度 $S_{i, j}$ を要素にもつ類似度行列 $S=\in \mathbb{R}^{|\mathbb{B}| \times|\mathbb{B}|}$ と, $x_{i}$ の正例，負例集合 $\mathbb{P}_{i}, \mathbb{N}_{i}$ を用いて，以下の損失関数で表される.

$
\begin{aligned}
\mathscr{L}_{M S}=\frac{1}{|\mathbb{B}|} \sum_{i=1}^{|\mathbb{B}|} & \left.\{\frac{1}{\alpha} \log \left[1+\sum_{k \in \mathbb{P}_{i}} e^{-\alpha\left(S_{i k}-\lambda\right)}\right]\right. \\
+ & \left.\frac{1}{\beta} \log \left[1+\sum_{k \in \mathbb{N}_{i}} e^{\beta\left(S_{i k}-\lambda\right)}\right]\right.\} .
\end{aligned}
$

ここで， $\alpha, \beta$ は温度パラメータ， $\lambda$ は類似度のオ フセットを表す. 学習には, 正例のうち, 最も類似度の小さい負例より類似していないもの，負例のう ち, 最も類似度の大きい正例より類似しているもの のみを用いる [15].

## 4 実験

## 4.1 データ

リソース 病名の類義語辞書として, MEDIC [16] を用いる. MEDIC は， 13063 個の疾患に対して平均 して 6 個の病名表現が類義語として収載されてい る. 本研究では，より低リソースとなるよう，各概念に対する類義語を半数になるように無作為に抽出 し類義語辞書とする. つまり，今回の実験では， 1 つの概念に対して平均して 3 個の類義語が収載され ている.

学習・推論に用いる用例は, 医学論文の検索シス テムである PubMed に掲載された論文のタイトル及 びアブストラクト（約 27GB）から作成する。なお，評価データに含まれる論文は除外した。

評価用データセット 病名正規化で一般的に用 いられる 3 つのデータセット, NCBI disease corpus (NCBID) [17], BioCreative V Chemical DiseaseRelation (BC5CDR) [18], MedMentions [19]を用いて評価を行 う. 各データセットの詳細は付録A.1節に記載する。

## 4.2 実験設定

モデルの詳細 推論時の kNN の近傍数は, 検証用データセットにおいて最も精度の高かった 15 と した. その他のハイパーパラメータは付録A.2節に 述べる.

ミニバッチの作成 ミニバッチの作成にあたり，用例集合から無作為に用例を抽出した場合，多くの 病名はミニバッチ内に正例を持たない恐れがある. そのため，ミニバッチ作成時に，一定数の概念を無作為に選択し, 各概念から 2 文を無作為に抽出し た.これにより，各用例内の少なくとも 1 つの病名 がミニバッチ内に正例を持つことが保証される。

評価方法 先行研究 $[5,6]$ に従い, Accuracy で評価する。各データセットには，MEDIC に含まれな い医療概念もアノテーションされている. 本研究 は，類義語辞書への紐付けを目的としており，類義語辞書外の概念は対象外であるため, それらは評価 から除いた。

比較手法 提案手法の比較のため, 以下のモデル を比較手法として用いた。いずれも病名のみを入力 としている.
- TF-IDF: 文字単位 1-, 2-gram の TF-IDF のコサイ ン類似度による正規化. Sung らの研究におい て，病名正規化に対する有用性が示されてい る [5].

・PubMedBERT [10]: 同モデルを用いて得られた 埋め込み表現を用いて, Fine-tuning なしに近傍探索を行う手法.

-SapBERT [6]: 類義語辞書を用いた自己教師あり 学習手法. Liu らの実験とは異なり, 類義語辞書として，UMLS 全体でなく提案手法と同様の 辞書を用いた。

## 4.3 結果

表 1 各データセットにおける Accuracy. 病名のリンク先 が異なるため, 先行研究 $[5,6]$ とは異なる.

表 1に実験結果を示す。提案手法はいずれのデー タセットにおいても Accuracy が最も高くなってい る.これは，病名が自動認識されたデータに対する 対照学習により得られた病名の文脈化埋め込み表現 が，病名正規化が有用であることを示している。

## 5 考察

## 5.1 辞書サイズと正規化精度

類義語辞書の規模と病名正規化の精度の関係を分析するため，以下の４つの辞書サイズにおいて実験 を行った。カッコ内は類義語辞書に含まれる類義語
表 2 MedMentions におけるモデルの結果. 各例は, [予測概念] 最近傍データの形式となっている. 対象となる病名を太字，手掛かりとなる語をイタリックで示す.いずれの例も類義語辞書に存在しない病名が入力となっている.

 &  \\

図 3 辞書サイズと Accuracy

図 $4 \mathrm{kNN}$ の近傍数と Accuracy

数である.

・ MEDIC の 50\%を無作為に抽出（39,959）

・MEDIC をそのまま使用（86,205）

・UMLS の関連病名の $50 \%$ MEDIC に追加 $(151,559)$
- UMLS の関 $\mathrm{x}$ 連病名を MEDIC に追加 $(218,325)$

図3は MedMentions における実験結果である. 提案手法は SapBERT と比較し, 辞書サイズが小さいほ ど有効であることがわかる．これは，辞書サイズが 小さく病名表現が限られた場合に，文脈でその情報 を補うことができるためと考えられる。

## 5.2 近傍数と正規化精度

$\mathrm{kNN}$ の近傍数と正規化精度を比較するため， $k$ が 1, 5, 10, 15, 20, 25, 30 の場合で，MedMentions におい て実験を行った. 図 4にその結果を示す. $\mathrm{k}$ が 10 の 時に Accuracy が最大となるが，その他の値の場合に も精度は飽和しており, 入力病名に対応する概念が 正しく近傍として抽出されていると考えられる.

## 5.3 事例の分析

文脈を考慮する有効性を質的に議論するため， MedMentions におけるモデルの予測結果を分析し た，表 2 に，文脈を考慮することにより予測が変化 した例を示す. なお, 例示した全ての入力病名は類義語辞書に収載されていない。

一つ目と二つ目の例は，文脈が予測に有効に働い

た例である。一つ目の例では，急性リンパ性白血病 を表す “translocation $\mathrm{t}(4 ; 11)$ "が入力である．提案手法 では，急性リンパ性白血病の一種である “B-ALL"を 手がかりに，“B-cell ALL"の含まれる用例を最近傍 として抽出できていることがわかる.

二つ目の例は同様に，正式名称 “papillary thyroid carcinoma"と共起した “PTC"を手掛かりにして提案手法が奏功した例である.

三つ目の例は，SapBERT が正解し，提案手法が 予測を誤った例である. 提案手法の予測文は, “carcinoma, non-small-cell lung"が誤って病名として 認識されており，正しくは “renal cell carcinoma"と認識されるべきである．この場合，文脈を考慮するこ とにより, “carcinoma, non-small-cell lung"が病名とし て認識されている場合にも “renal cell"に注目してし まい，“renal cell carcinoma"の近傍として誤って予測 されている.このように，辞書マッチによる認識誤 りが致命的な予測誤りに繋がり得る. 今回の実験で は，最長一致により病名を認識したが，リソースと して固有表現抽出器を使用可能な場合，この問題は 緩和可能である.

## 6 おわりに

本研究では，文脈の一致による病名正規化手法を 提案した. 標準的な病名正規化データセットにおけ る実験により，文脈を考慮することで正規化精度が 向上することが示された. 文脈の一致による正規化 は，低リソース下において精度の向上が顕著であ り，病名の多様性を文脈情報で補えることが示唆さ れた. 本研究は，医療ドメインで自然な問題設定を とっており，今後，さまざまな応用システムにおい て本手法を活用できると考えている

## 参考文献

[1]Sunwon Lee, Donghyeon Kim, Kyubum Lee, Jaehoon Choi, Seongsoon Kim, Minji Jeon, Sangrak Lim, Donghee Choi,

Sunkyu Kim, Aik-Choon Tan, and Jaewoo Kang. BEST: Next-Generation biomedical entity search tool for knowledge discovery from biomedical literature. PLoS One, Vol. 11, No. 10, p. e0164680, October 2016.

[2]Jun Xu, Yonghui Wu, Yaoyun Zhang, Jingqi Wang, HeeJin Lee, and Hua Xu. CD-REST: a system for extracting chemical-induced disease relation in literature. Database, Vol. 2016, , March 2016.

[3]Ishani Mondal, Sukannya Purkayastha, Sudeshna Sarkar, Pawan Goyal, Jitesh Pillai, Amitava Bhattacharyya, and Mahanandeeshwar Gattu. Medical entity linking using triplet network. In Proc. of the 2nd Clinical Natural Language Processing Workshop, pp. 95-100, June 2019.

[4]Jennifer D'Souza and Vincent Ng. Sieve-Based entity linking for the biomedical domain. In Proc. of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 2: Short Papers), pp. 297-302, July 2015.

[5]Mujeen Sung, Hwisang Jeon, Jinhyuk Lee, and Jaewoo Kang. Biomedical entity representations with synonym marginalization. In Proc. of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 3641-3650, 2020.

[6]Fangyu Liu, Ehsan Shareghi, Zaiqiao Meng, Marco Basaldella, and Nigel Collier. Self-alignment pre-training for biomedical entity representations. October 2020.

[7]Haodi Li, Qingcai Chen, Buzhou Tang, Xiaolong Wang, Hua $\mathrm{Xu}$, Baohua Wang, and Dong Huang. CNN-based ranking for biomedical entity normalization. BMC Bioinformatics, Vol. 18, No. Suppl 11, p. 385, October 2017.

[8]Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proc. of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, June 2019.

[9]Jinhyuk Lee, Wonjin Yoon, Sungdong Kim, Donghyeon Kim, Sunkyu Kim, Chan Ho So, and Jaewoo Kang. BioBERT: a pre-trained biomedical language representation model for biomedical text mining. Bioinformatics, Vol. 36, No. 4, pp. 1234-1240, February 2020.

[10]Yu Gu, Robert Tinn, Hao Cheng, Michael Lucas, Naoto Usuyama, Xiaodong Liu, Tristan Naumann, Jianfeng Gao, and Hoifung Poon. Domain-specific language model pretraining for biomedical natural language processing, 2020.

[11]Olivier Bodenreider. The unified medical language system (UMLS): integrating biomedical terminology. Nucleic Acids Res., Vol. 32, No. Database issue, pp. D267-70, January 2004.

[12]Livio Baldini Soares, Nicholas FitzGerald, Jeffrey Ling, and Tom Kwiatkowski. Matching the blanks: Distributional similarity for relation learning. In Proc. of the 57th Annual Meeting of the Association for Computational Linguistics, July 2019.

[13]Kaiming He, Haoqi Fan, Yuxin Wu, Saining Xie, and Ross Girshick. Momentum contrast for unsupervised visual representation learning. In Proc. of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 9729-9738,
2020.

[14]Ting Chen, Simon Kornblith, Mohammad Norouzi, and Geoffrey Hinton. A simple framework for contrastive learning of visual representations. In Hal Daumé III and Aarti Singh, editors, Proc. of the 37th International Conference on Machine Learning, Vol. 119 of Proceedings of Machine Learning Research, pp. 1597-1607, Virtual, 13-18 Jul 2020.

[15]Xun Wang, Xintong Han, Weilin Huang, Dengke Dong, and Matthew R Scott. Multi-similarity loss with general pair weighting for deep metric learning. In 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), June 2019.

[16]Allan Peter Davis, Thomas C Wiegers, Michael C Rosenstein, and Carolyn J Mattingly. MEDIC: a practical disease vocabulary used at the comparative toxicogenomics database. Database, Vol. 2012, p. bar065, March 2012.

[17]Rezarta Islamaj Doğan, Robert Leaman, and Zhiyong Lu. NCBI disease corpus: a resource for disease name recognition and concept normalization. J. Biomed. Inform., Vol. 47, pp. 1-10, February 2014.

[18]Jiao Li, Yueping Sun, Robin J Johnson, Daniela Sciaky, ChihHsuan Wei, Robert Leaman, Allan Peter Davis, Carolyn J Mattingly, Thomas C Wiegers, and Zhiyong Lu. BioCreative V CDR task corpus: a resource for chemical disease relation extraction. Database, Vol. 2016, , May 2016.

[19]Sunil Mohan and Donghui Li. MedMentions: A large biomedical corpus annotated with \} concepts. In Proc of the $A K B C, 2019$.

## A 付録

## A. 1 データセットの詳細

本研究において使用した 3 つのデータセットで は，医学論文のタイトルとアブストラクトに対して 医学概念のスパンと概念識別子がアノテーションさ れている. 表3に，各データセットの文書数, 病名数を示す.

表 3 各データセットにおける文書数と病名数

## A. 2 ハイパーパラメータ

学習におけるハイパーパラメータとして，バッチ 数は 16 (32 文), 温度パラメータ $\alpha, \beta$ は 2,50 , 才 フセット $\lambda$ は 1 に設定した. 推論時は各概念につい て用例集合から無作為に抽出した 25 文の用例を用 いた.

## A. 3 エンティティタグの付与方法

実際の運用では，用例は辞書内の病名が認識され る一方で，入力文は固有表現抽出結果のすべてを病名として認識するため，病名の認識粒度の不一致が 起こる. つまり，推論時において過剰に病名が認識 され，学習時に認識されていない病名にも ENT 夕 グを付与してしまう問題がある。これは，対象とな る病名のみに ENT タグを付与することで緩和可能 である。この問題の Accuracyへの影響を分析する ため，用例・テストデータ共に，対象とする病名の みに ENT タグを付与し，学習・評価を行った.

実験結果を表5に示す. 対象とする病名のみに ENT タグを付与した場合は，すべてに ENT タグを 付与した場合と同等，もしくは精度が悪化した. こ の原因の一つとして，学習時のミニバッチにおける 病名数がある. 対象となる病名のみに ENT タグを 付与した場合，すべての病名に ENT タグを付与す る場合に比べて，負例の数が少なくなる。これによ り，学習が効率的に進まなかった可能性がある.

表 4 実験結果.

図 5 用例数と正規化精度

## A. 4 用例数と正規化精度

用例集合の作成に用いる生テキストの数が膨大 な場合，全探索に大きな計算コストが生じる. これ は，病名ごとに用例を無作為に抽出することで緩和可能である. 用例数の Accuracyへの影響を分析す るため，用例数を 1，5，10，20として MedMentions において実験を行った. 図5に，各用例数に対する Accuracyを示す. Accuracy は用例数 20 の場合に最大になるが，用例数が少ない場合にも大きな減少は ない.このことから，対照学習により汎用的な病名 の埋め込み表現を獲得しており，無作為な抽出によ り用例数が減少しても精度が保たれることが示唆さ れた。


# ルールベース手法による数式群の同義性判定

張純朴 加藤祥太 金上和毅 加納学
京都大学大学院情報学研究科
\{zhang.chunpu.76r, katou.shouta.23v, kanegami.kazuki.55z\}@st.kyoto-u.ac.jp
manabuQhuman.sys.i.kyoto-u.ac.jp

## 1 はじめに

化学や鉄鋼などのプロセス産業では, 激しい競争 や厳しい環境規制，急速に変化する経済状況に応じ てプロセスの運転を改善していくことが求められ ている。しかし，現代のプロセスはより複雑になっ ているため, そのような要求に応えることは困難に なっている [1].プロセスでは実機を用いて試行錯誤的に実験を繰り返すことは難しいため，プロセス シミュレータが広く活用されている。プロセスシ ミュレータは，対象プロセスの第一原理モデル（物理モデル）を用いて，指定した条件下で装置内部の 状態がどのようになるかを計算する．このため，現実の現象を適切に表現できる第一原理モデルを用意 することが重要である。しかし，第一原理モデルの 構築には文献調査を含めた多大なコストがかかる。本研究の最終目的は, 複数の文献から情報を抽出し て第一原理モデルを自動で構築する人工知能 ( $\mathrm{AI})$ を開発することである。

第一原理モデルを構築するには変数，数式，実験 データといった情報が必要である. 文献によって変数の記号が異なったり数式の記述の仕方が異なった りするので，AI は文献中の変数と数式の意味を正確 に判別できなければならない.

本研究では，同じ意味の変数は同じ記号で表現さ れていると仮定し, 複数の数式で構成される数式群 の同義性判定手法を提案する. なお，同一の計算を している 2 つの数式群を同義であると定義する。さ らに，2つの数式群の同義性を判定するウェブアプ リケーションを開発したので，それを簡単に紹介 する.

## 2 関連研究とその問題点

単語や文章を対象としている自然言語処理関連 の研究に対して，数式を扱っている研究は少ない。情報検索の分野では, 数式が有する階層的な情報

(a)

(b)図 1: 等式 $x-y^{2}=0$ の (a) SLT と (b) OPT

を扱うために，数式を Symbol Layout Tree (SLT) や Operation Tree (OPT) [2][3] に変換することが有効と されている．例として，等式 $x-y^{2}=0$ の SLT と OPT を図 1 に示す. Zhong ら [4] はOPTを用いて,数式間の類似度を定義し，数式検索システムを開発 した. Mansouri ら [5] は，SLTとOPTを用いて，数式をベクトル空間へ埋め込む手法を開発した。これ らの研究は，数式の類似度を定義しているが，数式 の見た目を重視し，数式が行っている計算を無視す る傾向がある．実際，Mansouri らが開発した数式検索システム Tangent-CFT [5] を用いて数式の類似度を 計算したところ，数式 $a+b=0$ は，同一の計算をし ている数式 $a=-b$ より，異なる計算をしている数式 $a-b=0$ との類似度が高いと評価された.

数式の同義性判定に関する研究はまだないが，数式間の類似度を計算し，類似度が閾値以上であれば それらの数式を同義であると判定する方法が有効 と考えられる。しかし, 上述のように，数式検索で 用いられている見た目重視の類似度は役に立たな い.このため，数式の計算内容に注目し，数式の見 た目に左右されない同義性判定手法の開発が必要で ある.

## 3 提案手法

本研究では，数式の見た目の類似度ではなく,数式の本質的な計算に注目した同義性判定手法の開発を目指す。数式を扱う先行研究では,

図 2: 数式 $\frac{1}{2}+\frac{1}{x}$ の SLT-tangents

Mathematical Markup Language (MathML) が用いられ ており, MathML はウェブページ上で公開されてい る文献に含まれる数式の標準記法であるため [6], 本研究では MathML 形式の数式を対象とする. Python には, SymPy [7] という代数演算を行うためのライ ブラリがあり, 四則演算や一部の初等関数の演算 を実行できる. SymPy で演算可能な数式を本稿で は SymPy の数式オブジェクトと呼ぶ. 本研究では MathML 形式の数式を SLT に変換し，SLTを解析す ることで，数式に含まれる変数および変数間の関係 の情報を抽出する.これらの情報をもとに，数式の SLT を SymPy の数式オブジェクトに変換する.

## 3.1 数式の木構造への変換

本研究では, MathML 形式の数式を SLT に変換 する際, Tangent-s formula search engine [8] の LayoutSymbol クラスの parse_from_mathml 関数を用いる.以下では，この関数によって生成されたSLTを SLT-tangents と呼ぶ. 数式 $\frac{1}{2}+\frac{1}{x}$ の SLT-tangents を図 2 に示す. SLT-tangents では, 数式の記号や演算子 が左から順に各ノードに格納される。V!, N!, O! はノードが変数, 数字, 演算子であることを示す.更に, 子ノードと親ノードの位置関係を並べた文字列も付属の情報としてノードの中に入れられ る.子ノードと親ノードの位置関係には, a (above), $\mathrm{b}$ (below), c (pre-above), d (pre-below), e (element), $\mathrm{n}$ (next), o (over), u (under), w (within) の 9 種類があ る. SLT-tangents は枝分かれする場合があり, 分枝箇所では子ノードと親ノードの位置関係が $\mathrm{n}$ 以外の ものとなる.

## 3.2 SymPy の数式オブジェクトへの変換

数式をSymPy の数式オブジェクトへ変換するた めには, 数式に含まれる変数および変数間の関係と いう 2 つの情報を抽出する必要がある. 変数につい ては，V!タグが付与されたものを変数として抽出す表 1: 分数, 指数, 括弧, 初等関数の変数間関係

る. 変数間の関係はノード同士の位置関係によって 決まっており, その位置関係に応じて SLT-tangents を解析することで, 変数間の関係の情報を持つデー タを作成する. 分数, 指数, 括弧, 初等関数の変数間の関係を表 1 に示す. 例えば, 数式 $\frac{a+b}{c+d}$ の変数間 の関係は [SLT-tangents 1, SLT-tangents 2, 'frac'] のよ うなデータとして保持される。保持されたデータの 第一成分と第二成分はそれぞれ数式 $a+b$ と $c+d$ の SLT-tangents を指している. さらに，数式 $a+b$ の変数間関係は ['a', '+', 'b'] のようなデータとして保持 される. 四則演算と初等関数からなる数式は, 再帰的に SLT-tangents を解析することにより, SymPy の 数式オブジェクトに変換することができる.

## 3.3 数式群の同義性判定

本研究では, 2 つの数式群の同義性を判定するこ とが目的であるため, 単体の数式のみならず, 複数 の数式から構成される数式群も対象としている. 図 3 に化学反応器の物質収支式を示す. $3 \mathrm{a}$ と $3 \mathrm{~b}$ は同一の物質収支式を表している．本稿において，ある 数式群に含まれる等式が共有する変数を群内共有変数と定義する. $3 \mathrm{a}$ の場合, 変数 $k, \beta, F_{\mathrm{AO}}, F_{\mathrm{A}}, r_{\mathrm{A}}$ が群内共有変数である. 群内共有変数の数は文献に よって異なる可能性があるため, 数式群の同義性判定を行う際, 群内共有変数はない状態が望ましい。

提案手法では, まず数式群の自由度を比較する.

数式群の自由度は一般的に, 数式群に含まれる変数 の数から数式の数を引いた值で定義される [1]. 同一の計算をしている連立方程式ならば, 自由度は等 しい. その後, 群内共有変数を消去する. 群内共有変数を消去する処理は，変数を一個消去するたび に, 数式の数も一個減るため, 数式群の自由度を変 えない可逆的な処理である. 2 つ数式群の片方に 含まれる任意の等式について, もう片方の数式群に それと同一の計算をしている等式が存在する場合, この 2 つの数式群は同義であると判定する. 以上の 処理を Algorithm 1 に示す. なお, 2 つの等式の同

$
\begin{array}{r}
\frac{d n_{\mathrm{A}}}{d t}=F_{\mathrm{AO}}-F_{\mathrm{A}}+r_{\mathrm{A}} \bar{V} \\
k=k_{\mathrm{o}} \exp \left(-\frac{\beta}{T}\right) \\
F_{\mathrm{AO}}=v C_{\mathrm{AO}} \\
F_{\mathrm{A}}=v C_{\mathrm{A}} \\
\beta=\frac{E}{R} \\
-r_{\mathrm{A}}=k
\end{array}
$

(a) 6 つの等式で書かれた物質収支式

$
\begin{array}{r}
\frac{d n_{\mathrm{A}}}{d t}=v C_{\mathrm{AO}}-v C_{\mathrm{A}}-k \bar{V} \\
k=k_{\mathrm{o}} \exp \left(-\frac{E}{R T}\right)
\end{array}
$

(b) 2 つの等式で書かれた物質収支式

図 3: 等式の数が異なる同義の数式群

義性判定では，その 2 つの等式が共有する任意の一 つの変数について, それぞれの等式における解を求 め, 同一の解を得た場合, その 2 つの等式が同義で あると判定する.

## 4 実験

## 4.1 問題設定

実験では, Tangent-CFT [5] と提案手法による結果 を比較した. Tangent-CFT は数式の類似度しか計算 できない. そこで, 数式群の類似度 $S_{\mathrm{A}, \mathrm{B}}^{*}$ を式 (9) で 定義する.

$
S_{\mathrm{A}, \mathrm{B}}^{*}=\frac{\sum_{j=1}^{b} \sum_{i=1}^{a} S_{i, j}}{a b}
$

ここで, $a, b$ は数式群 $\mathrm{A}, \mathrm{B}$ に含まれる数式の数, $S_{i, j}$ は数式群 $\mathrm{A}$ の $i$ 番目の数式と数式群 $\mathrm{B}$ の $j$ 番目 の数式の類似度である. 数式群の類似度が 0.95 以上のとき，2つの数式群を同義であると判定する.

## 4.2 数式群の同義性判定結果

Tangent-CFT と提案手法で 6 組の数式または数式群の同義性を判定した結果を表 2 に示す. 表 2 から 分かるように, Tangent-CFT はたとえ数式群が異な

る計算をしていても類似度を高く評価する場合があ る.また。数式群が同一の計算をしているにも関わ らず，同義と判定されるほど類似度が高くない場合 もある.これは, Tangent-CFT は数式が表現する本質的な計算を無視する傾向があるためである。それ に対して，提案手法は計算の規則に基づいて，同義 の数式群が異なる書き方をされても正確に同義性を 判定することができる.

さらに, 図 4 に示すように, 提案手法を用いて数式群の同義性判定を行うウェブアプリケーションを 作成した.このウェブアプリケーションは 2 つの数式群の同義性を判定し, 結果を画面に表示させる. これを用いることで数式群の同義性を簡単に判定で きる.

## 5 おわりに

本研究では, 第一原理モデル自動構築に必要な要素技術として，数式群の同義性を判定する手法を提案した. 提案手法は, MathML 形式の数式を演算可能な数式に変換することで, 計算の規則に基づいて 数式群の同義性を判定する.

実験により，提案手法は，有理式と初等関数を組
表 2: 提案手法と Tangent-CFT の同義性判定結果の比較

 & 果 ${ }^{1}$ & 同義性 2 \\

${ }^{1} \mathrm{~T}$ は同義である, $\mathrm{F}$ は同義ではないと判定した.

${ }^{2} \bigcirc$ は同義である，×は同義ではないことを表す.

equivalence judgment of equation groups

same

図 4: 数式群同義性判定ウェブアプリケーション

み合わせた数式群の同義性を正確に判定できること を確認した。しかし, 提案手法は微分, 偏微分, 総和, 累乗など初等関数に含まれない記号がある数式 を扱うことができない。特に，微分は第一原理モデ ルの記述によく用いられるため, 今後の研究でより 多くの種類の数式に対応することを目指す.

## 参考文献

[1]D. Seborg, D. Mellichamp, T. Edgar, and F. Doyle III. Process dynamics and control. John Wiley \& Sons, 2010.

[2]R. Zanibbi and D. Blostein. Recognition and retrieval of mathematical expressions. International Journal on Document Analysis and Recognition (IJDAR), Vol. 15, No. 4, pp. 331-357, 2012 .

[3]M. Schubotz, N. Meuschke, T. Hepp, H. Cohl, and B. Gipp. Vmext: a visualization tool for mathematical expression trees. In International Conference on Intelligent Computer Mathematics, pp. 340-355. Springer, 2017.

[4]W. Zhong and R. Zanibbi. Structural similarity search for formulas using leaf-root paths in operator subtrees. In European
Conference on Information Retrieval, pp. 116-129. Springer, 2019 .

[5]B. Mansouri, S. Rohatgi, D. Oard, J. Wu, C. Giles, and R. Zanibbi. Tangent-cft: An embedding model for mathematical formulas. In Proceedings of the 2019 ACM SIGIR international conference on theory of information retrieval, pp. 11-18, 2019.

[6]横井啓介, 松林優一郎, 相澤彰子. D-011 数式とその周辺情報を利用した数式概念検索の実現. 情報科学技術フォーラム講演論文集, Vol. 9, No. 2, pp. 117-120, aug 2010 .

[7]A. Meurer, C. Smith, M. Paprocki, O. Čertík, S. Kirpichev, M. Rocklin, A. Kumar, S. Ivanov, J. Moore, S. Singh, et al. Sympy: symbolic computing in python. PeerJ Computer Science, Vol. 3, p. e103, 2017.

[8]K. Davila and R. Zanibbi. Layout and semantics: Combining representations for mathematical formula search. In Proceedings of the 40th International ACM SIGIR Conference on Research and Development in Information Retrieval, pp. 1165-1168, 2017


# HaoriBricks3 による音変化表現の生成

佐藤理史柳将吾夏目和子
名古屋大学大学院工学研究科
ssato@nuee.nagoya-u.ac.jp

## 1 はじめに

小説や漫画の発話テキストには、話し言葉固有 の音変化が文字として現れる。宮崎ら [1] は、これ を音変化表現と呼んでいる。実際に、小説の会話文 を調べると、多くの実例が観察される。以下に、『舟 を編む』[2]に見られる実例を示す。

(1) 辞書はイメージもいいし、景気にも左右されに くい商品だってのに。(p12)

(2)『大渡海』も、後半がすかすかになっちゃうん ですか？(p191)

(3) はじめての辞書づくりにしては、岸辺君はいい 線いっとるぞ。(p194)

このような音変化表現の生成は、小説の自動生成 [3] を実現するためには不可欠である。そこで、音変化表現を HaoriBricks3 (HB3) [4] で生成する方法を 定め、宮崎ら [1] が示した音変化表現の 127 パター ンのうち、120 パターンを生成できるようにしたの で報告する。

## 2 基本方針

音変化表現には、変化前の表現が存在すると仮定 し、音変化表現を変化前の表現の異形とみなす。こ の考え方に基づけば、元の表現から異形を作る操作 を規定すればよいということになる。

しかしながら、音変化表現には、次のようなバリ エーションが存在する。

・内容語に関わるものと機能語に関わるもの

・使用頻度が高いものと低いもの

・単純なものと複雑なもの

このため、すべての音変化表現を統一的に扱うので はなく、複数の方法で扱うこととする。

具体的には、次に示す 5 つ方法で扱い、それぞ れの方法を適用する原則を定める。
1. (新たな) 内容語として扱う

・活用しない内容語が音変化を受けている 場合

・活用する内容語の語幹が音変化を受けてい る場合

2. 音変化形 (異形) を作り出すコマンドで扱う

・音変化の形式が典型性を持つ場合

3. 新たな活用形として扱う

・活用語尾が後続する語と縮約する場合

・特定の活用形に限り、語幹の末尾の母音が 音変化を受ける場合

4. 新たな機能語として扱う

・機能語が音変化を受けている場合

5. テンス有標 (タ)の拡張として扱う

・「〜たあ」、「〜たあ」

以下では、 5 つのそれぞれの方法と保留とした パターンについて説明する。なお、以下において、 $「 \mathrm{P} n\lrcorner$ という表記は、宮崎らのパターン番号を表 し、*付きの場合は、生産性のあるパターンを示す。

## 3 新たな内容語

HB3 において、内容語の表層文字列を生成するた めに必要な情報は、以下のとおりである。

・活用しない内容語：表記

・活用する内容語：(辞書形) 表記、および、活用型

HB3 には、内容語の辞書形表記から活用型を自動推定する機能が組み込まれているため、辞書形表記 さえあれば、表層文字列を生成することができる。 HB3 のブリックコードでは、内容語を辞書形表記で 記述するので、HB3 システムに何の変更を加えるこ となく、新たな内容語を扱うことができる。

う内容語として扱う。これを述語とみなす場合、活用型は「イ形容詞型アウオ段」と推定されるので、連用形「すっごく」などを正しく生成できる。

なお、「すっごい」は、次に説明する音変化ブリッ
表 1 音変化ブリックの一覧

 &  &  \\

クを用いて、「すごい」の2 文字目に促音「っ」を挿入すると記述してもよい。ただし、ブリックコード を書く時点で「すっごい」を生成することが決まっ ているのであれば、直接「すっごい」と記述する方 が簡単である。

## 4 音変化形を作り出すコマンド

音変化は、音という実在の物理現象に基づくた め、ある種の規則性に則っている場合が多い。たと えば、末尾の文字の直前に長音記号が挿入される (つまり、最後から 2 番目の音が長音化される) 現象 は、「でーす」「まーす」「ませーん」「ごめーん」の ような例に共通して観察される。これらの現象は、個別に扱わずに、そのような異形を生成するコマン ドとして一括して扱う。これを音変化コマンドと 呼び、それを HB3 のブリックとして実装したもの を音変化ブリックと呼ぶ。表 1 に、実装した音変化 ブリックの一覧を示す。

音変化ブリックに組み込まれた音変化コマンド は、string_transという名前の属性として保持さ表 2 音変化ブリックの使用例

れ、HB3 の語の表層文字列化の最終段階で実行さ れる (そのような機能を新たに HB3 に組み込んだ)。 より具体的には、

・活用しない語は、表記 (文字列) を書き換える。

・活用する語は、活用形の表層文字列を生成した 後、その文字列を書き換える。

音変化ブリックの使用例を表 2 に示す。この例の ウ促音化では、「走る」から意志形「走ろう」が生成 され、その後、末尾の「う」を「っ」に書き換える。 アエ交替は、終止形「うるさい」を「うるせえ」に 書き換える。連用形を指定した場合は、連用形「う
表 3 音変化に関わる活用形 (1)

 &  &  &  &  &  &  \\

表 4 音変化に関わる活用形 (2) 新たな活用形

 & イ形容詞型 &  & ワ行文語音便 & 宮崎ら [1] \\

るさく」が生成され、これには、アエ交替が適用で きないため、そのまま「うるさく」が生成される。

## 5 音変化に関わる活用形

音変化表現の中には、活用語尾に関わるものが存在する。活用する語の活用語尾が後続する語と縮約 する場合、および、特定の活用形に限り語幹末尾の 母音が音変化を受ける場合は、新たな活用形として 扱うのが簡単である。表 3 と表 4 に、音変化に関わ る活用形の一覧を示す。

表 3 は、HB3 にすでに組み込まれていた活用形 である。P40「食べただろう/食べたろう」は、「だろ う」の「だ」が脱落したものと説明されているが、 HB3 では夕系推量形とみなす。これは、イ形容詞型 の「寒かろう」(推量形)、「寒かったろう」(夕系推量形) という形式との類似性を重視するからである。

HB3 では、夕系連用チャ形、および、夕系連用 ジャ形という活用形が設定されている。これは、活用形として扱うのがよいか、あるいは、「接続助詞 ちゃ」「接続助詞じゃ」として扱うのがよいかは、判断に迷う。HB3 の活用体系は、JUMAN の活用体系 を出発点としたので、現時点では活用形として残っ ているが、将来、変更する可能性はある。

表 4 は、今回、音変化表現を扱うために、新たに 新設した活用形である。

条件縮約形は、「否定接尾辞ぬ」の活用型である 「特殊型ぬ」にのみ設定する活用形で、次の例のよ うに「ねば」が「な」に縮退した形式である。(宮崎 ら [1] は、このパターン (P20)を「なければ」の「け れば」が脱落した形式と説明している。)
（4） a. 食べねばあかん

b. 食べなあかん

c. 食べにゃあかん

なお、最後の「(食べ)にゃ」は、「否定接尾辞ぬ」の 条件音便形として扱う。

連用縮約形は、「イ形容詞型接尾辞ない」を除く イ形容詞型の活用型に定義される活用形で、次の例 のように、「くは」が「か」に縮退した形式である。

(5) a. 寒くはない

b. 寒かない

残りの活用形は、ウ音便に関わる活用形であり、 その基本となるのが連用ウ音便形である。

イ形容詞型の辞書形は「〜い」となるが、「い」の 直前の (語幹末尾の) 母音にはエ音を除く4 種類があ り、それぞれの連用ウ音便形は、次のようになる。

1.「ア音+い」は「才音+う」に交替する

2.「イ音+い」は「ユ音+う」に交替する

3.「ウ音+い」は「ウ音+う」に交替する

4.「オ音+い」は、原則として、「オ音+う」に交替 する。ただし、「オ音+おい」の場合は、例外的 に「才音+お」となり、末尾の「い」が脱落する。

一方、子音動詞型り行の辞書形は「〜う」となる が、「う」の直前の (語幹末尾の) 母音にはオ音を除 く4 種類があり、それぞれの連用ウ音便形は、次の ようになる。

1.「ア音+う」は「オ音+う」に交替する

2.「いう」は変化しない（「イ音+う」は、「いう」 しかない)
表 5 連用ウ音便形

3.「ウ音+う」は変化しない

4.「エ音+い」は、「オ音十う」に交替する

以上をまとめたものを、表 5 に示す。

連用ウ音便テ形と連用ウ音便タリ形は、連用ウ音便形に「て」「たり」が付いた形式である。連用ウ音便形に「た」がついたタウ音便形は、子音動詞型ワ 行およびワ行文語音便に設定する。連用ウ音便テ形 の「う」が脱落した連用ウ音便省略テ形は、子音動詞型ワ行にのみ設定する。

## 6 音変化に関わる機能語

音変化に関わる機能語の一覧を表 6 に示す。以下 に示すような「ったら」「っちゃ」の扱いは悩ましい が、接続助詞とみなすこととする。

(6) a. 嫌だったら嫌だ

b. 嫌ったら嫌だ

c. 食べるったら食べる

(7) a. 嫌だっちゃ嫌だ

b. 嫌っちゃ嫌た

c. 食べるっちゃ食べる

## 7 テンス有標の拡張

テンス有標を表す「〜た」の形式が「〜たあ」「〜 たあ」となる場合は、それぞれ「タあ」「タあ」とい う特別なブリックで指定する。これは、HB3 のテン スの位置自動決定機構で、テンスが実体化される場所が定まることに起因する。このブリックを用いる と、「タあ (ちゃう (述語 $($ 食べる)))」は「食べちゃっ たあ」を生成するが、これに「丁寧」ブリックを付加すると、「食べちゃいましたあ」を生成する。

## 8 実装保留

宮崎らのリストのうち、実装を保留しているの は、次の 7 パターンである。表 6 音変化に関わる機能語・従属節

} & $\sqrt{ }$ & にゃ & には & P81 \\

P31, P34, P72, P112, P113, P120, P126

実装を保留した理由は、音変化としての典型性が低 く、使用される頻度もかなり低いと判断したためで ある。

謝辞 本研究は JSPS 科学研究費基盤研究 (B)「日本語文章 の構造モデルとその段階的詳細化による文章自動生成機構」(課題番号 18H03285) の助成を受けている。

## 参考文献

[1]宮崎千明, 佐藤理史. 発話テキストへのキャラクタ性付与のための音変化表現の分類. 自然言語処理, Vol. 26, No. 2, pp. 407-440, 2019.

[2]三浦しをん. 舟を編む. 光文社, 2011 .

[3]佐藤理史. コンピュータが小説を書く日. 日本経済新聞出版社, 2016

[4]佐藤理史. Haoribricks3: 日本語文を合成するためのドメ イン特化言語. 自然言語処理, Vol. 27, No. 2, pp. 411-444, 2020 .


# 日本語テキスト音声合成のための句境界予測モデルの検討

二又航介 朴炳宣 山本龍一 橘健太郎
LINE 株式会社
kosuke. futamata@linecorp.com

## 1 はじめに

句境界はテキスト音声合成システムを構築する上 で，音声の自然性に寄与する重要な要因の一つであ る. 句境界とは, 連続する句の間に挿入される音声的なポーズとして定義され，息継ぎやアクセントの 変化などにより発生する。表 1 に句境界を含まない 発話文例と句境界を含む発話文例を示す。

表 1 における'w/o PB'は句境界を含まない発話文例，'w/ PB' は句境界を含む発話文例を表す。ま た, 'w/ PB'における’'は句境界を表す. 表 1 の'w/o $\mathrm{PB}$ 'では，句境界が一切挿入されておらず，聞き手 に対して単調で話速の早い発話として印象を与え る. 一方で表 1 の' $\mathrm{w} / \mathrm{PB}$ 'は, 複数の句境界が適切 に挿入されており一定のリズムで発話されるため，聞き取りやすい印象を与える。このように句境界の 有無によって音声の自然性が大きく異なる.

現在までに，LSTM といった深層学習を用いた手法や品詞タグなどの特徴量の効果が，英語を対象と した句境界予測において検証されている $[1,2,3]$. しかし, 深層学習と従来の機械学習アルゴリズムを 組み合わせた手法 (LSTM+CRF) や BERT[4] など大規模分散表現を用いた手法ついては，句境界予測に 対する効果が検証されていない. また，日本語を対象とした句境界予測では, Random forest や CRF な どによる手法が研究されているものの $[5,6,7]$, 深層学習の有用性については十分に検証されていな い. そこで本稿では，日本語テキスト音声合成シス テムの品質向上のために, 様々な特徴量やモデルの 句境界予測に対する効果を検証する。

句境界予測にあたり，入力として与えられる発話文のトークン系列から各トークンの後に句境界が挿入されるべきか否か出力する系列ラベリングのタス クとしてモデルを構築した. また, 句境界予測に用 いたコーパスを分析した結果，非句境界と句境界数 のラベル分布が大きく偏っていることが判明した.
このようなラベルの分布が偏ったデータに対して，有効である Focal-loss[8] を用いることで句境界予測 の精度上昇を図った. 自動評価実験および主観評価実験の結果，BERT および Focal-lossにより，句境界予測の精度が大きく向上し，かつ音声の自然性が 向上することが明らかになった。

## 2 コーパス及び評価尺度

## 2.1 句境界コーパスの分析

句境界予測モデルを構築するにあたって，複数話者から構成される日本語話し言葉コーパス (CSJ) [9] の書き起こし文および単一話者から構成される独自に収集したコーパスを使用した. CSJでは，200 ミリ秒以上の無音区間を句境界として認定し，独自 コーパスには予め定義された句境界を利用した。ま た，各コーパスは Sudachi[10]を用いて分かち書き し，トークン数が 128 以下の発話のみ使用した. 各 コーパスの統計情報を表 2 および表 3 に示す.

表 3 に示す独自コーパスは単一話者から構成さ れ，句境界の挿入位置が予め統制されている。一方 で表 2 に示す CSJ は複数話者による少数の発話か ら構成される。そのため, 息継ぎタイミング，思考 によるポーズなど句境界が挿入される箇所が話者 によって大きく異なる. したがって，CSJでは句境界の分布が話者によって大きく異なる。このような コーパスから，どのような句構造が自然な音声にな りうるか判別することは難しい. しかし，多くの話者に共通する句境界の分布を得ることができれば，万人に共通する自然な音声になると想定される.

## 2.2 評価尺度

前述の問題を解決するために，自動評価尺度とし て F- $\beta$ を使用した. 式 1 に F- $\beta$ の式を示す.

式 1 に示す F- $\beta$ は F-1 を一般化した評価尺度であ り， $\beta \leq 1.0$ として評価することにより，Recall よ
表 1 句境界を含まない発話文例と句境界を含む発話文例

り Precision が重視されて評価されるため, 多くの 話者に共通する句境界が重点的に学習されることが 期待される。また，一般的に誤った箇所に句境界を 挿入するより, 句境界を挿入しない方が自然な音声 になることが知られている [1]. したがって，F- $\beta$ を 用いることで，誤った箇所に句境界が挿入されるこ とが少なくなり，かつ多くの人に共通する句境界が 学習されることが期待される. 本研究では, 経験上 $\beta=0.25$ として Precisionを 4 倍偏重して評価を行 う。また，単一話者から構成される独自コーパスに ついては，F-1を用いて評価を行う.

$
F_{\beta}=\left(1+\beta^{2}\right) \frac{\text { precision } \cdot \text { recall }}{\left(\beta^{2} \cdot \text { precision }\right)+\text { recall }}
$

## 3 自動評価による実験

句境界予測モデルを構築するにあたって，3つの 実験を行った. まず初めに，品詞タグ，構文情報な ど計 5 種類の特徵量の句境界予測に対する効果を検証した. 次に, CRF や BERT などのモデルの効果に ついて検証した. 最後に, 出力ラベルの分布が大き く偏ったデータに対して有効である Focal-loss の効果について検証した。

## 3.1 特徴量の比較実験

まず初めに，様々な特徴量の句境界予測における 効果を検証した. 表 4 に実験に使用した特徴量を示 す. 表 4 における'DEP' には現トークン，親トーク ンの構文タグおよび相対位置を用いた. 'W2V' は wikipediaによる事前学習済みの embedding を表す。実験には，2 層の BiLSTM を使用し，次元数は 512
とした.

実験の結果，CSJでは全ての特徵量において F-0.25 が上昇した. また, 'UD', 'POS', 'W2V' の特徴量を用いたモデルでは, 'Token' のモデルより 2 ポイ ント以上 F-0.25 が上昇し, 'ALL(POS)' では, F-0.25 の値が 63.5 と最も高い結果となった. 一方で，独自 コーパスでは単一の特徴量を追加するだけでは精度が上昇しなかった. 'ALL(POS)'のみわずかに精度が上昇し，F-1 は值は 90.5 であった. これは，独自コーパスが単一話者による発話，かつ句境界の挿入が箇所が統制されているため，CSJ と比較して句境界の分布が整然としているからであると推察さ れる. 特徴量追加による実験結果の詳細は付録の表 12 に示す.

表 4 実験に使用した特徴量

## 3.2 モデル構造の比較実験

前項の実験では，独自コーパスにおいて特徵量を追加しても句境界予測精度の改善がみ られなかった. そこで，前項の実験で用いた BiLSTM に加え， CRF および BERT を用いること により，句境界予測の精度改善を図った. 実験

を対象とした．BiLSTM ゙ースのモデルには，前項 の実験の結果最も性能が高かった'ALL (POS)'を用 いた. BERT の学習済モデルには日本語 Wikipedia で事前学習を行った'cl-tohoku/bert-base'1)を使用し た. BERT $_{\text {last }}$ は通常の BERT の使い方にならい最終層の出力を利用する。一方 BERT $_{\text {mix }}$ では，学習可能 なパラメータを用いて各層の出力に対する加重平均

1) https://github.com/cl-tohoku/bert-japanese

を利用する．BERTは各層において，構文情報や意味情報など異なる特徴量を暗黙的に学習しているこ とが知られているため [11], それらの特徴量が活用 されることを期待する. 表 5 および表 6 に CSJ およ び独自コーパスによる実験結果を示す.

表 5 に示す CSJ の実験では，BERT mix $_{\text {mix }}$ の F-0.25 が 一番高く, 全ての特徴量を含んだ BiLSTM ベースの モデルより F-0.25が高かった. また，全ての層にお ける出力を利用した $\mathrm{BERT}_{\text {mix }}$ において, 最終層の出力のみ用いた $\mathrm{BERT}_{\text {last }}$ より F-0.25が高かった. した がって, BERT の最終層の出力だけではなく各層に おける出力を用いることで，様々な特徴量を暗黙的 に利用し精度が上昇したと推察される。

表 6 に示す独自コーパスによる害験では， $\mathrm{BERT}_{\text {mix }}+\mathrm{CRF}$ の F-1 が一番高く, その他のモデル より優れていた. また，前述の表 5 における CSJ の 実験と同様に BERT $_{\text {last }}$ より $\mathrm{BERT}_{\text {mix }}$ の F-1 の方が高 い結果となった。

以上の結果より，句境界予測に対して，明示的 な特徵量を用いた BiLSTM ベースのモデルより， BERT ベースのモデルの性能の方が高いことが明ら かになった，BERT ベースのモデルでは，BERT の 最終層の出力のみを用いた $\mathrm{BERT}_{\text {last }}$ より, BERT 全層の出力の加重平均を用いた $\mathrm{BERT}_{\text {mix }}$ の結果の方が 高かった. BERT は各層異なる特徴量を暗示的に含 むため, 全層の出力を用いることによって句境界予測の性能が向上したと推察される。また, BERT $_{\text {last }}$ の性能は BiLSTM ベースのモデルとほとんど性能に 差がなかったため, 句境界予測において BERT を用 いる際，異なる複数の層における特徴量を利用する ことが重要であると考えられる。

表 5 CSJ によるモデル構造比較の F-0.25 評価結果

## 3.3 Focal-loss の効果検証

表 2 および表 3 に示した CSJ および独自コーパス における非句境界 (<NB>) と句境界 (
) の分布は 大きく偏っている．表 7 に CSJ及び独自コーパスに 含まれる非句境界と句境界の数および比率を示す.表 6 独自コーパスによるモデル構造比較の F-1 評価結果

表 7 から，CSJおよび独自コーパスにおける非句境界と句境界の比率は大きく偏っており, 非句境界 の数が圧倒的に多いことがわかる．前節までの実験 では, Cross-entropy lossにより句境界予測モデルの 性能を測ったが，Cross-entropy loss は，非句境界と 句境界の損失を同等に扱うため，非句境界に対する loss が多く伝播される傾向にある。そこで，物体検出の分野で一般的に用いられる Focal-loss を導入す る. Focal-loss の式を式 2 に示す.

$
F L\left(p_{t}\right)=-\alpha_{t}\left(1-p_{t}\right)^{\gamma} \log \left(p_{t}\right)
$

式 2 における $\gamma$ およ゙ $\alpha$ は調整可能なパラメータ を表しており，損失の減衰加減を調整する。これに より, 出力確率 $p_{t}$ の大きいサンプルに対する損失 が減衰される. Focal-loss (FL) における $\gamma$ および $\alpha$ は $\gamma=2.0, \alpha=0.4$ とし, $\mathrm{BERT}_{\text {mix }}$ を用いた.また，独自データに関しては，CSJによる学習済みモデル に対して Fine-tuning (FT) した結果も示す. 表 8 およ び表 9 に実験結果を示す.

表 8 および表 9 に示す結果から，Focal-lossを用い ることにより，F-0.25 および F-1 が上昇することが 明らかになった。また，独自データにおいて CSJに よる学習済みモデルを Fine-tuning した結果，わずか に F-1 が上昇した. 以上の結果から, Focal-lossを用 いることにより, 出力確率の高い非句境界に対する loss が減衰され句境界予測における精度が上昇する ことが明らかになった。

表 7 各コーパスに含まれる句境界の比率

表 8 CSJによる Focal-loss の効果

## 4 主観評価による実験

句境界予測モデルの導入によって実際に音声の自然性が向上するか調査するために，テキスト音声合成において自然性に関する主観評価実験を行った。

実験に使用したテキスト音声合成システムは，音素列および句境界情報から音響特徴量を予測 する音響モデル，音響特徴量から音声波形を生成 するボコーダの二つによって構成される．音響 モデルには FastSpeech 2 [12], ボコーダには Parallel WaveGAN [13] を使用した。学習には 5.5 時間からな る単一女性話者の音声コーパスを用いた。詳細なモ デル構造及び学習条件は [14] に従った。また，句境界予測モデルには独自コーパスにより訓練された ものを用いた。

主観評価実験では，聴取実験による平均オピニ オン評点 (MOS: Mean Opinion Score) テストおよび, $\mathrm{ABX}$ テストにより音声の自然性を評価した。それ ぞれの実験において被験者は健常な聴覚である 25 人の成人日本語母語話者が評価した. MOS テスト では、評価者はランダムに掲示される音声サンプル を聴取し，自然性に関して 5 段階 (1: 非常に悪い，2:悪い，3: 普通，4: 良い，5: 非常に良い）で評価した. $\mathrm{ABX}$ テストでは，評価者はランダムに提示される 音声サンプルのペアを聴取し，A と B のどちらがよ り自然であるか，または同じであるか (Neutral) 評価 した. 評価対象として，読点の後のみを句境界とし た'Rule-based' に加光, 'BiLSTM (Token)', 'BiLSTM (All)', 'BERT mix ', 'BERT ${ }_{\text {mix }}+\mathrm{FL}+\mathrm{FT}^{2}$ ', 正解データ である'Reference' の計 6 条件を用いた. MOS テスト では，テストセット 30 発話に対して 6 条件の計 180 発話を，ABXテストでは，テストセット 30 発話の ペアに対して 5 条件の計 300 発話をそれぞれヘッド ホン聴取により評価した. 表 10 に MOS テストの実験結果，表 11 に ABX テストの実験結果をそれぞれ 示す.

表 10 に示す MOS テストの結果では, 'Reference' を除く $\mathrm{BERT}_{\mathrm{mix}}+\mathrm{FL}+\mathrm{FT}$ の評価値が一番高かった. また，'Rule-based'および BiLSTM ベースのモデル，
BiLSTM ベースのモデルと $\mathrm{BERT}_{\mathrm{mix}}+\mathrm{FL}+\mathrm{FT}$ の間 に $5 \%$ 水準で有意な差が見られた。しかし，BERT お よび $\mathrm{BERT}_{\mathrm{mix}}+\mathrm{FL}+\mathrm{FT}$ の間には有意な差が見られ なかった。

表 11 に示す ABXテストの結果では, 'Rube-based' より'BiLSTM (Token)' の評価値が高く，'BiLSTM (All)'より' BERT $_{\text {mix }}$ 'の評価值が高かった。しか し, ' $\mathrm{BERT}_{\text {mix }}+\mathrm{FL}+\mathrm{FT}$ ' より' $\mathrm{BERT}_{\text {mix }}$ ' の評価値の 方が高かった。これは，両方の BERT ベースモデル の F-1 の値の差がわずかなものであり， $\mathrm{ABX}$ テス トに用いられたサンプルによっては予測結果にほ とんど差がない，または'BERT mix ${ }^{\prime}$ の予測結果の方 が'Reference' に近いサンプルが多くみられたからで あると推察される。実際に，両モデルを比較した ABX テストの回答では'Neutral'を選択する割合が 他の ABXテストの回答より極端に高かった。

以上の結果から，テキスト音声合成システムに句境界予測モデルを導入することにより，音声の自然性が向上することが明らかになった。 また，句境界予測モデルの性能が音声の自然性に大きく関係して いることも明らかになった。

表 10 MOS テストの結果 (95\%信頼区間)

表 $11 \mathrm{ABX}$ テストの結果

## 5 おわりに

本稿では，日本語テキスト音声合成のための句境界予測に対して，様々な特徴量，モデル構造の効果 について検証した。自動評価実験の結果，BERT を 用いた句境界予測モデルを導入することにより，そ の他の句境界予測モデルより大きく予測精度が上昇 した. また，主観評価実験の結果，句境界予測モデ ルの精度上昇により，音声の自然性も向上すること が明らかになった。

## 参考文献

[1] Viacheslav Klimkov, Adam Nadolski, Alexis Moinet, Bartosz Putrycz, Roberto Barra-Chicote, Thomas Merritt, and Thomas Drugman. Phrase break prediction for long-form reading tts: Exploiting text structure information. In Proc. Interspeech 2017, pp. 1064-1068, 2017.

[2] Anandaswarup Vadapalli and Suryakanth V. Gangashetty. An investigation of recurrent neural network architectures using word embeddings for phrase break prediction. In Interspeech 2016, pp. 2308-2312, 2016.

[3] Paul Taylor and Alan W. Black. Assigning phrase breaks from part-of-speech sequences. Computer Speech \& Language, Vol. 12, No. 2, pp. 99 - 117, 1998.

[4] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding, 2019.

[5] 博子武藤, 勇祐井島, 昇宮崎, 秀之水野, 澄宇阪内. Analysis and evaluation of factors relating pause location for natural text-to-speech synthesis. IPSJ Journal, Vol. 56, No. 3, pp. 993-1002, mar 2015.

[6] Deok-Su NA and Myung-Jin BAE. A variable break prediction method using cart in a japanese text-tospeech system. IEICE Transactions on Information and Systems, Vol. E92.D, No. 2, pp. 349-352, 2009.

[7] Shigeru FUJIO, Yoshinori SAGISAKA, and Norio HIGUCHI. Prediction of major phrase boundary location and pause insertion using a stochastic contextfree grammar. The Transactions of the Institute of Electronics,Information and Communication Engineers., Vol. 00080, No. 00001, pp. 18-25, jan 1997.

[8] Tsung-Yi Lin, Priya Goyal, Ross B. Girshick, Kaiming He, and Piotr Dollár. Focal loss for dense object detection. CoRR, Vol. abs/1708.02002, , 2017.

[9] Hanae KOISO and Kikuo MAEKAWA. The corpus of spontaneous japanese : Its design and transcription criteria. IPSJ SIG Notes, Vol. 143, pp. 41-48, may 2001.

[10] Kazuma Takaoka, Sorami Hisamoto, Noriko Kawahara, Miho Sakamoto, Yoshitaka Uchida, and Yuji Matsumoto. Sudachi: a Japanese tokenizer for busi- ness. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), Miyazaki, Japan, May 2018. European Language Resources Association (ELRA).

[11] Anna Rogers, Olga Kovaleva, and Anna Rumshisky. A primer in bertology: What we know about how bert works, 2020.

[12] Yi Ren, Chenxu Hu, Tao Qin, Sheng Zhao, Zhou Zhao, and Tie-Yan Liu. FastSpeech 2: Fast and highquality end-to-end text-to-speech. In Proc. ICLR (in press), 2021.

[13] Ryuichi Yamamoto, Eunwoo Song, and Jae-Min Kim. Parallel WaveGAN: A fast waveform generation model based on generative adversarial networks with multi-resolution spectrogram. In Proc. ICASSP, pp. 6199-6203, 2020.

[14] Ryuichi Yamamoto, Eunwoo Song, Min-Jae Hwang, and Jae-Min Kim. Parallel waveform synthesis based on generative adversarial networks with voicing-aware conditional discriminators, 2020.

## A 付録

特徴量追加による実験結果の詳細を表 12 に示す.

主観評価に利用した発話文例を表 13 に示す。各発話文における’
'は句境界を表す。各発話文は Github 上のページ2)から再生できる.

表 13 主観評価に利用した発話文例

 \\

2) https://github.com/matasuke/nlp2021-pbp-audio-examples


# 歌詞のサビ区間検出手法

渡邊研斗 後藤真孝
産業技術総合研究所(AIST)
\{kento.watanabe, m.goto\}@aist.go.jp

## 1 はじめに

ポピュラー音楽における「サビ」とは，楽曲中で最も繰り返され記憶に残る区間である [1]. 音楽情報処理の分野では，音響信号に基づ くサビ区間検出手法が活発に研究されてきたが [2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,1,18,19],歌詞テキストに基づいた検出手法はこれまで提案さ れていない.

本研究の目的は，歌詞を入力したときに，そのサ ビ区間を自動的に検出することである。テキストの みからサビ区間を検出可能かどうかは自明ではな く, 学術的な視点からも興味深い. 更に，様々な検索システムで歌詞に基づくサビ検出技術が有用であ る．例えば，音楽視聴者が “I love you” などの特定の フレーズを含むサビを探したいとき，検索システム は歌詞のサビ区間の位置を知っている必要がある。本研究では，英語・日本語の歌詞のサビ区間を検出する教師ありモデルを提案する．本モデルは，歌詞の繰り返しパターンを表す構造的特徴量と, サビ 区間特有のフレーズを表す言語的特徴量の両方を考慮する．また，教師あり学習に必要となる訓練デー タを大量に用意するために，我々は歌唱時刻で同期 された音響信号-歌詞のアライメントデータを利用 し, 1 万曲以上の歌詞に教師ラベルを自動付与した.実験では，提案特徴量の有効性や，自動付与した教師ラベルの有用性，英語と日本語のサビ区間に対す る言語依存性など，様々な観点から検出タスクや歌詞のサビ区間の性質を調査した。

## 2 歌詞のサビ区間検出タスク

図 1 はサビ区間のラベルが付与された歌詞の例 である。本タスクでは，入力歌詞には $\mathrm{A} \times ロ ・ \mathrm{~B} \times$ ロ・サビ区間の境界（空行）が一切存在しないと仮定し，全ての歌詞から空行を取り除いた。

本研究では，サビ区間検出タスクを系列ラベリ ング問題として定式化する. つまり，歌詞の各行
のサビおよび非サビのラベルを予測する. $X_{s}$ は $T$ 行のテキスト $\left.\{x_{1}, \ldots, x_{t}, \ldots, x_{T}\right.\}$ で構成される曲 $s$ の歌詞である. 各行 $x_{t}$ はバイナリラベル $y_{t}$ を持 つ. $y_{t}=1$ のとき $x_{t}$ はサビであり,$y_{t}=0$ のとき $x_{t}$ は非サビである． $Y_{S}$ は $X_{s}$ に対応するラベル系列 $\left.\{y_{1}, \ldots, y_{t}, \ldots, y_{T}\right.\}$ である. モデルの訓練では，条件付き確率 $P\left(Y_{S} \mid X_{S}\right)$ を学習する. モデルの評価では,訓練されたモデルは入力された行の系列 $X_{S}$ のラベ 几系列 $Y_{s}$ 予測する.

図 1 の例では，サビ区間は完全一致の繰り返しで あるが，繰り返される行を抽出するだけではサビ区間の検出は困難である。例えば，図 1の9-12 行と 21-24 行は完全一致であるがサビ区間ではない。ま た，様々なバリエーションのサビ区間を検出する ルールの作成も難しい. 本研究では，様々な種類の サビ区間に対応するための特徵量を設計する.

## 3 歌詞のサビ区間のモデル化

本研究では，音響信号に基づくサビ区間検出手法 で用いられる自己類似行列 (SSM) をテキストに応用 することで，歌詞の繰り返しパターンを捉えた構造的特徵量を設計する．更に単語・文脈べクトルを用 いることで，サビ特有のフレーズを捉えた言語的特徵量を設計する。

以下の節では，まず歌詞の繰り返しパターンを表 したSSM と，それらを構造的特徴量としてべクト ル化する方法について説明する。 次に word $2 \operatorname{vec}[21]$ と context2vec[22]を用いて歌詞の意味的・統語的な 情報をべクトル化することで得られる言語的特徵量 について説明する。最後に，これら構造的・言語的特徴量を用いたニューラルネットワーク $(\mathrm{NN})$ ベー スの系列ラベリングモデルについて説明する。

## 3.1 構造的特徵量

これまで音響信号に基づく音楽解析の研究では，図 1 に示したような SSM を用いて繰り返される A メロやサビ区間を検出してきた，繰り返される区間

図 1 サビラベル付きの歌詞（RWC 研究用音楽 DB No.81[20]）と自己類似行列の例. 各セルは行同士の類似度を表す.

は行列内で高い値を持つ斜線として表現され，この 斜線のパターンが構造検出の手がかりとして使わ れてきた. 本研究ではこのSSMによる手法をテキ ストに応用することで，歌詞の繰り返しパターンを 捉える。ただし，SSM 内の各セルの類似度計算に よって，捉えられる繰り返しパターンが大きく異な るため，類似度の設計が重要となる．そこで本研究 では，以下の 9 種類の類似度を設計する。

文字列類似度 行同士の標準化編集距離 [23].

先頭語類似度 各行の先頭単語間の標準化編集距離.

末尾語類似度 各行の末尾単語間の標準化編集距離.

発音類似度 押韻による繰り返しを捉えるために，発音記号の系列間の標準化編集距離を計算する. 本研究では CMU 発音辞書を用いて英語歌詞の発音記号 を抽出する。

品詞類似度 文法構造の類似度を計算するために, 品詞系列間の標準化編集距離を計算する。本研究では NLTK の品詞解析器 [24] を用いる.

単語ベクトル類似度 行同士の意味的類似性を捉え るために，本研究では訓練済みの word2 vec を用い て, 各行内の単語ベクトルを平均し, それらのコサ イン類似度を計算する。ただし， bag of words を仮定したこの類似度では語順の違いを区別できない。

文脈ベクトル類似度語順を考慮するために， word2vec をSTM を用いて拡張した context2vec を 用いて，各行の単語列を LSTM でベクトル化し，コ サイン類似度を計算する。

単語の音節数類似度 サビ区間の歌詞は，単語が全く異なっていても同じ音節数であることがあるため，各行で単語の音節数の系列を利用する. 例えば，歌詞 “Sometimes you lost yourself away” と “Everytime you just close your eyes” の音節数の系列はそれぞれ $\{2,1,1,2,1\}$ と $\{2,1,1,1,1,1\}$ である.これらの音節数系列が類似している場合，繰り返しの可能性があ る. 本研究では動的時間伸縮法 (DTW)[25] を用い て，音節数系列間の類似度を計算する。

行の音節数類似度 本研究では各行内の全単語の合計音節数も使用する。例えば，図 1 に示されている 全サビ区間では，最初の行の合計音節数は 6 であ り, 2 行目の合計音節数は 8 である. 次の手順によ り，各行ペアの合計音節数の類似性を計算する。 (1)連続した 4 行 $L_{t}=\left.\{x_{t}, x_{t+1}, x_{t+2}, x_{t+3}\right.\}$ を抽出する. (2) 行 $x_{t}$ と $x_{t^{\prime}}$ 間の類似度を $L_{t}$ と $L_{t^{\prime}}$ の合計音節数 のDTWによって計算する。

本研究で 9 種類の SSM を上記の類似度を用いて 計算する. SSM は $\mathbf{A}_{m} \in \mathbb{R}^{T \times T}$ で表し, $m(1 \leq m \leq 9)$ は類似度の種類を意味する。次に，SSM から特徵量を計算するために, 本研究では畳み込み ニューラルネットワーク (CNN) を用いる（図 2).各 SSM からターゲットとなる行を中心とした 固定窓幅 $w$ の部分行列を抽出する。ここで部分行列は $\mathbf{a}_{m}^{t}=\mathbf{A}_{m}[t-w+1, \ldots, t+w ; 1, \ldots, T] \in \mathbb{R}^{2 w \times T}$ で表す. CNNへ入力するのは 9 つの部分行列 $\left.\{\mathbf{a}_{s t r}^{t}, \ldots, \mathbf{a}_{s y L}^{t}\right.\} \in \mathbb{R}^{2 w \times T \times 9}$ であり，チャンネルの数は SSM の数に対応する。最初の $2 \mathrm{D}$ 畳み込み層のカー ネルサイズは $(w+1) \times(w+1)$ であるため, SSM 内の

図 $2 \mathrm{SSM}$ のための畳み込みニューラルネットワーク。

斜線の端を捉えることができる。ここで得られたテ ンソルはカーネルサイズが $w \times w$ の max pooling に よってダウンサンプルされる. 次にカーネルサイズ が w の 1D 畳み込み層を適用し, 最後に max pooling によってダウンサンプルする. 各畳込み層の活性化関数には ReLU を使用する．上記手順を歌詞の各行 $x_{t}$ に実行し，構造的特徵量 $\boldsymbol{v}_{t}$ を計算する.

## 3.2 言語的特徵量

サビ区間に出現しやすい歌詞のフレーズを調査す るため, サビ区間と非サビ区間の単語トライグラム の差を計算した. その結果，“I'll” “Let’s”などの 未来に関するフレーズがサビ区間に頻出し, “have been” や “idn't” などの過去に関するフレーズが非 サビ区間で頻出することがわかった。この傾向を利用するために，以下の特徵量を設計する。

単語ベクトルの平均行内の単語を訓練済み word2vec を用いてべクトル化し，その平均を特徴量とする。

単語列のベクトル表現 訓練済み context2vecを用い て行をべクトル化したものを特徴量とする。

歌詞の各行 $x_{t}$ について上記べクトルを計算し，そ れらを連結した言語的特徴量 $\boldsymbol{u}_{t}$ を得る.

## $3.3 \mathrm{NN$ ベースの系列ラベリングモデル}

本研究では，標準的な双方向 LSTM (Bi-LSTM)[26] を用いて, 条件付き確率 $P\left(Y_{s} \mid X_{s}\right)$ を計算する. 位置 $t$ での Bi-LSTM 層への入力は構造的特徴量 $\boldsymbol{v}_{t}$ と, 言語的特徵量 $\boldsymbol{u}_{t}$ の連結ベクトルである. 条件付き確率 $P\left(Y_{S} \mid X_{S}\right)$ は softmax 関数を用いて計算される：

$
P\left(Y_{s} \mid X_{s}\right)=\frac{\exp \left(\operatorname{Score}\left(X_{s}, Y_{s}\right)\right)}{\sum_{Y_{s}^{\prime}} \exp \left(\operatorname{Score}\left(X_{s}, Y_{s}^{\prime}\right)\right)}
$

ここで Score は以下の式で定義される.

$
\operatorname{Score}\left(X_{s}, Y_{s}\right)=\sum_{t}^{T} \mathrm{BN}\left(h_{t}\left[y_{t}\right]\right)
$

ここで $h_{t}\left[y_{t}\right]$ は位置 $t$ の Bi-LSTM の出力であり, BN はバッチ正規化 [27] であり，ロス関数はクロス エントロピーを用いる.

## 4 実験

音響信号ベースのサビ検出の研究 [1] を参考にし て，F-measure を用いて提案手法を評価した。ここ で F-measure は $(2 \cdot R \cdot P) /(R+P)$ で計算され, 各 $R$ と $P$ は以下の式で計算される.

$
\begin{aligned}
P & =\frac{\text { 正しく検出されたサビ区間内の行数 }}{\text { サビ区間として検出された行数 }} . \\
R & =\frac{\text { 正しく検出されたサビ区間内の行数 }}{\text { 正解のサビ区間の行数 }} .
\end{aligned}
$

更に, 音楽構造解析の評価で広く用いられる Python パッケージ mir_eval[28] を用いて, pairwise F-measure $(p-F)$, normalized conditional entropy F-measure (n-F)，V-measure を計算した.

## 4.1 モデルパラメータ

窓幅は 3 とし, $2 \mathrm{D}$ および $1 \mathrm{D}$ 畳み込み層のカーネ ル数をそれぞれ 200 と 400 とした．Bi-LSTM の隠れ 層の次元を 600 とした. word $2 \mathrm{vec} と$ context $2 \mathrm{vec}$ の次元数は 300 として，歌詞データを用いて事前訓練し た. パラメータの最適化には AdamW[29]を使用し，学習率は 0.001 , バッチサイズは 64 とした. 訓練は 100 エポック行い，開発セットにおける最も高い F-measure であるエポックのモデルを評価に用いた.

## 4.2 データセット

各行がサビかどうかを予測する教師ありモデルを 訓練するためには, 図 1 に示したような行単位で教師ラベルを持つ大量の歌詞データが必要となる. 本研究では以下の手順によって歌詞データの各行に 教師ラベルを自動付与した. (1) 我々は歌唱時刻で 同期された音響信号-歌詞のアライメントデータを 100,772 曲だけ用意した. (2) 音響信号べースのサビ 区間検出手法 [1]を用いて, サビ区間の開始時刻と 終了時刻を検出した. (3) 音響信号から検出された サビ区間内に存在する歌詞の行にサビラベルを付与 した. 本研究では 9,313 曲の英語歌詞と, 91,459 曲 の日本語歌詞に教師ラベルを自動付与し, それぞれ のデータをEN_auto とJA_auto と呼ぶ.

パラメータ調整や評価のために，信頼性の高い教
表 1 実験結果: 構造的・言語的特徴量の重要性.

師ラベルを持つ 3 つの歌詞データを用意した。

(a) 訓練の比較用データ自動付与した教師ラベルが 訓練において信頼できるか検証するために，比較用訓練データとして 1,103 曲の日本語歌詞に教師ラベ ルを手動で付与した。このデータをJA_man と呼ぶ.

(b) モデルパラメータの調整用データ我々は RWC 研究用音楽データベースの英語 21 曲と日本語 79 曲の 歌詞にラベルを手動で付与し，このデータをモデル パラメータの調整用に使用した.

(c) テストデータ 118 曲の英語歌詞と 128 曲の日本語歌詞にラベルを手動で付与し，それぞれを EN_test と JA_test と呼ぶ. これらはサビ区間検出手法の評価のために使用した。

## 4.3 構造的・言語的特徵量の重要性

構造的・言語的特徴量の有効性を調査するため に，各特徴量を用いたモデルの性能を比較した. 表 1 より，構造的特徵量のみを使ったモデルは，言語的特徴量のみを使ったモデルよりも大幅に優れるこ とがわかった．また，両特徴量を使用することで性能が更に向上した. これらの結果は, 音響信号のサ ビ区間検出で用いられる SSM を歌詞に応用するこ との重要性を示すだけでなく, 言語的特徴量の追加 が歌詞のサビ区間検出に役立つことを示している.

## 4.4 自動付与した教師ラベルの信頼性

教師ラベルを大量に自動付与した JA_auto と，教師ラベルを少量だが手動付与した JA_man の訓練データとしての性能を比較をする。表 2 より, JA_auto で訓練したモデルが JA_man で訓練したモ デルよりも高性能であることがわかる. この結果 は，教師ラベルが自動的に付与されたものであって も，十分なデータサイズであればモデルの訓練にお いて十分な信頼性を持つことを意味する。表 3 実験結果 : 訓練データサイズと言語依存性.

## 4.5 訓練データサイズと言語依存性

表 1 より，英語モデルよりも日本語モデルの方が 性能が良いことがわかるが，これは訓練データの量 が大きく異なるためだと考えられる．そこで本研究 では，大量の日本語データで訓練されたモデルが，英語のサビ区間をより正確に検出できるかどうか 調査した.なお本実験では，構造的特徴量のみを考慮したモデル1)を用いる．表 3 より，日本語データ で訓練されたモデルが，英語データで訓練されたモ デルよりも，英語のサビ区間を検出できることが わかった. 更に，英語と日本語をあわせたデータ (EJ_auto) で訓練されたモデルの性能が最も優れてい ることがわかった.これらの結果は (1) 異なる言語 で訓練されたモデルでもサビ区間を検出できるこ と，(2) 歌詞の繰り返しパターンは言語に依存しな いこと，(3) 異なる言語データを混合することでサ ビ区間の検出性能が向上することを意味する。これ は，少リソースの言語データであっても，利用可能 な他言語リソースと混ぜることで，サビ区間が検出 できる可能性があることを意味する。

## 5 おわりに

本論文は楽曲のサビ区間を歌詞のみから検出する という新しいタスクと，その手法を提案した。本研究の貢献は以下である：(1) サビ区間の構造的及び 言語的特性を捉えるために，様々な特徴量を設計し た. (2) 歌詞のサビ区間を検出する系列ラベリング モデルを提案した. (3) サビ区間の注釈付きの大規模な訓練データセットを作成する手法を示した。 (4)特徴量の重要性, 訓練データの量, 言語依存性など の様々な観点から，検出タスクや歌詞のサビ区間の 性質を調査した．今後は $\mathrm{A}$ メロや B メロなどの区間も検出できるように手法を拡張する。

謝辞 本研究は, RWC 研究用音楽データベースと,株式会社シンクパワーから提供された歌詞データを 利用した。また, 本研究はJST ACCEL (JPMJAC1602) および科研費 (20K19878) の支援を受けた.

1）SSM は繰り返しのパターンを表した行列に過ぎないため，異なる言語であってもモデルへの入力が実装上可能である.

## 参考文献

[1] Masataka Goto. A chorus section detection method for musical audio signals and its application to a music listening station. IEEE Transactions on Audio, Speech, and Language Processing, Vol. 14, No. 5, pp. 1783-1794, 2006.

[2] Go Shibata, Ryo Nishikimi, Eita Nakamura, and Kazuyoshi Yoshii. Statistical music structure analysis based on a homogeneity-, repetitiveness-, and regularityaware hierarchical hidden semi-markov model. In Proceedings of ISMIR 2019, pp. 268-275, 2019.

[3] Akira Maezawa. Music boundary detection based on a hybrid deep model of novelty, homogeneity, repetition and duration. In Proceedings of IEEE ICASSP 2019, pp. 206210, 2019 .

[4] Gabriel Sargent, Frédéric Bimbot, and Emmanuel Vincent. Estimating the structural segmentation of popular music pieces under regularity constraints. IEEE/ACM Transactions on Audio, Speech, and Language Processing, Vol. 25, No. 2, pp. 344-358, 2017.

[5] Tian Cheng, Jordan B. L. Smith, and Masataka Goto. Music structure boundary detection and labelling by a deconvolution of path-enhanced self-similarity matrix. In Proceedings of IEEE ICASSP 2018, pp. 106-110, 2018.

[6] Jordan B. L. Smith and Masataka Goto. Using priors to improve estimates of music structure. In Proceedings of ISMIR 2016, pp. 554-560, 2016.

[7] Thomas Grill and Jan Schlüter. Music boundary detection using neural networks on combined features and two-level annotations. In Proceedings of ISMIR 2015, pp. 531-537, 2015.

[8] Brian McFee and Dan Ellis. Analyzing song structure with spectral clustering. In Proceedings of ISMIR 2014, pp. 405-410, 2014.

[9] Geoffroy Peeters and Victor Bisot. Improving music structure segmentation using lag-priors. In Proceedings of $I S$ MIR 2014, pp. 337-342, 2014.

[10] Harald Grohganz, Michael Clausen, Nanzhu Jiang, and Meinard Müller. Converting path structures into block structures using eigenvalue decompositions of selfsimilarity matrices. In Proceedings of ISMIR 2013, pp. 209-214, 2013.

[11] Oriol Nieto and Tristan Jehan. Convex non-negative matrix factorization for automatic music structure identification. In Proceedings of IEEE ICASSP 2013, pp. 236-240, 2013.

[12] Florian Kaiser and Geoffroy Peeters. A simple fusion method of state and sequence segmentation for music structure discovery. In Proceedings of ISMIR 2013, pp. 257262, 2013.

[13] Joan Serrà, Meinard Müller, Peter Grosche, and Josep Lluís Arcos. Unsupervised detection of music boundaries by time series structure features. In Proceedings of AAAI 2012, 2012.

[14] Meinard Müller, Peter Grosche, and Nanzhu Jiang. A segment-based fitness measure for capturing repetitive structures of music recordings. In Proceedings of ISMIR 2011, pp. 615-620, 2011

[15] Jouni Paulus, Meinard Müller, and Anssi Klapuri. State of the art report: Audio-based music structure analysis. In Proceedings of ISMIR 2010, pp. 625-636, 2010.

[16] Jouni Paulus and Anssi Klapuri. Music structure analysis using a probabilistic fitness measure and a greedy search algorithm. IEEE Transactions on Audio, Speech, and Language Processing, Vol. 17, No. 6, pp. 1159-1170, 2009.

[17] Meinard Müller and Sebastian Ewert. Joint structure analysis with applications to music annotation and synchronization. In Proceedings of ISMIR 2008, pp. 389-394, 2008.

[18] M. Cooper and J. Foote. Summarizing popular music via structural similarity analysis. In Proceedings of WASPAA 2003, pp. 127-130, 2003.

[19] Jonathan Foote. Automatic audio segmentation using a measure of audio novelty. In Proceedings of IEEE ICME 2000 , p. 452, 2000.

[20] Masataka Goto, Hiroki Hashiguchi, Takuichi Nishimura, and Ryuichi Oka. RWC Music Database: Popular, classical and jazz music databases. In Proceedings of ISMIR 2002, Vol. 2, pp. 287-288, 2002.

[21] Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg Corrado, and Jeffrey Dean. Distributed representations of words and phrases and their compositionality. In Proceedings of NeurIPS 2013, pp. 3111-3119, 2013.

[22] Oren Melamud, Jacob Goldberger, and Ido Dagan. context2vec: Learning generic context embedding with bidirectional LSTM. In Proceedings of SIGNLL 2016, pp. 51-61, 2016.

[23] Yujian Li and Bi Liu. A normalized Levenshtein distance metric. IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 29, No. 6, pp. 1091-1095, 2007.

[24] Steven Bird. NLTK: the natural language toolkit. In Proceedings of ACL 2006, 2006.

[25] Donald J. Berndt and James Clifford. Using dynamic time warping to find patterns in time series. In Proceedings of Workshop on Knowledge Discovery in Databases, pp. 359-370, 1994.

[26] Alex Graves, Abdel-rahman Mohamed, and Geoffrey E. Hinton. Speech recognition with deep recurrent neural networks. In Proceedings of IEEE ICASSP 2013, pp. 6645-6649, 2013.

[27] Sergey Ioffe and Christian Szegedy. Batch normalization: Accelerating deep network training by reducing internal covariate shift. In Proceedings of ICML 2015, Vol. 37, pp. 448-456, 2015

[28] Colin Raffel, Brian McFee, Eric J. Humphrey, Justin Salamon, Oriol Nieto, Dawen Liang, and Daniel P. W. Ellis. mir_eval: A transparent implementation of common MIR metrics. In Proceedings of ISMIR 2014, pp. 367-372, 2014.

[29] Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization. In Proceedings of ICLR 2019, 2019.