# 事前学習モデルを用いた音声認識結果からの固有表現抽出

今藤誠一郎 ${ }^{1}$ 上田 直生也 ${ }^{1}$ 岡 照晃 ${ }^{1}$
杉山 雅和 ${ }^{2}$ 邊土名 朝飛 ${ }^{2}$ 小町守 1
1 東京都立大学 2 株式会社 AI Shift
\{kondo-seiichiro, ueda-naoya\}@ed.tmu.ac.jp, teruaki-oka@tmu.ac.jp
\{sugiyama_masakazu, hentona_asahi\}@cyberagent.co.jp,
komachi@tmu.ac.jp

## 概要

本研究では自動音声認識 (Automatic Speech Recognition; ASR）結果からの固有表現抽出（Named Entity Recognition; NER）に取り組む. 認識結果は音声認識誤りや, 略称や別称による未知の固有表現を含む. そ れらを頑健に汲み取る手段の一つとして, 事前学習 モデルを使った文脈の考慮が挙げられる. 大量のテ キストで学習された事前学習モデルの中には, 様々 な文脈情報が獲得されていると期待できる. 本研究では, 事前学習済み BERT と T5を用い, 福井県の 道路交通情報に関する対話システムの履歴に対し NER を行なった. 辞書マッチに基づく単純な手法よ り, BERT と T5 は高精度な抽出が可能であることを 確認した. T5 は未知の固有表現1)についても抽出で きる傾向が見られた。

## 1 はじめに

音声対話システムはユーザーの発話を入力とし， それに自然言語で応答を返す. 本研究ではユーザー の質問や要求などに対して情報を提供するタスク指向対話に取り組む. タスク指向対話の実現には, 地名や人名などの固有表現を正確に認識する必要が ある. 現在の音声対話システムはユーザーの発話を 自動音声認識（ASR）でテキストに変換し, そのテ キストを処理するのが一般的である. 固有表現の認識もこのテキスト処理の中で行われる. 現在我々が 行っている固有表現の認識も, ASRテキストに対し てタスクごとに作成した辞書に基づいてリンキング を行うことで実現している（図1を参照）. 現状は システム主導の対話が主であり, 発話内容の多くが

1）辞書に対象となる語は含まれているが略語や音声認識誤り が含まれていないという意味の未知の固有表現と,そもそも辞書に対象となる語が含まれていないという意味の未知の固有表現があるが, 本研究ではそれらを区別しない.

図 1 : 想定する音声対話システムのフローチャート

固有表現のみである場合が多いため, ASR テキスト をそのままリンキングするのみで事足りる場合が多 い. しかし今後の展望としてユーザー主導のシステ ムを想定する場合, ユーザーは自由な発話をするた め, 固有表現の抽出が課題といえる.

テキストにおける固有表現抽出（NER）に関 してはこれまでさまざまな研究が行われてきた $[1,2,3,4]$. 辞書に基づいてマッチングをとる手法や ルールベースに基づく手法 [1], 系列ラベリングタス クとして機械学習を用いる手法 $[2,3,4]$ などが提案 されている.これらの先行研究では, 人手で書かれた テキストを対象としてきた.このようなテキストと は異なり, ASR テキストは音声認識誤りを含むこと が想定される. したがって従来の手法, 特に辞書べー スやルールベースのもの以上に困難なタスク設定と なっている.

本研究ではテキスト処理部の機能向上を目指し, ASR テキストに対する NER に取り組む. 音声認識結果を処理する場合, End2End で処理した方が良い という先行研究 [5] もあるが, ここでは, モジュール やリソースの柔軟な交換を可能にするため, ASR は 既存のものを利用するという制約の下で行う. ASR テキストを扱うにあたって, 抽出の対象となる固有
表現自体に音声認識誤りが生じることも多いため,文脈に基づくNER を目指す. 文脈の情報を活用する のに, 大量の文を用いて学習されている事前学習モ デルが有効ではないかという考えの下, 大規模事前学習モデルである BERTを用いて NER に取り組む. またノイズの多いテキストには系列ラベリングより も Seq2Seqとして取り組んだ方が良いとの報告 [6] もあるため, エンコーダーデコーダーの事前学習モ デルである T5を用いた実験も行う.

## 2 関連研究

## 2.1 事前学習モデルを用いた NER

事前学習モデルを用いた NER はこれまでにも取 り組まれている. 現在, 事前学習モデルとして広く 利用されている BERT [7] を提案した Devlin らは, CoNLL-2003 の NER タスク [8] において, BERT が fine-tuning を行うことで当時の SoTA 手法と同等の 性能を発揮できることを示した. また, Phan ら [9] は T5 [10] に医学文献を用いてドメイン適合を施し， NER を行なった。

## 2.2 音声認識結果における NER

Wang [11] らは ASR の予測候補上位 $\mathrm{N}$ 個の埋め达 み表現を合成し, 事前に持っている辞書の各固有表現の埋め込み表現とのドット積を利用することで固有表現を獲得した. 本研究では ASR の予測候補のう ち最上位のみを用いる設定で実験を行う. また辞書 に基づいて NER を行う際には, 簡単のため埋め込み 表現は用いず string match で行なった.

英語を対象にニューラルモデルを用いて音声認識結果から NERに取り組んだ研究がある. Arushi ら [12] は ASR による音声認識誤りを含むテキストか ら, 音声通話のための人名抽出タスクに取り組んだ. テキスト情報のみではなく音素情報や ASR から得 られる候補の上位 $\mathrm{N}$ 個, 利用者の所属に関する情報 を用いる手法を提案した. その結果, ノイズを多く含 むようなテキストからの NER で recall を大きく改善 できることを示した. Yadav ら [13] は音声をテキス 卜に変換してから固有表現を抽出するのではなく, $\mathrm{RNN}$ モデルで音声スペクトルから直接固有表現を 表すラベル付きテキストを End2End で出力する研究 を行なった. その結果, より頑健に固有表現を抽出で きるようになると主張している. 本研究では, ASR モデルのアーキテクチャーは変更できず, 予測結果
の最上位以外は利用できないという設定の下, ASR から得られた日本語文の NER にニューラルモデル を用いて取り組む。

日本語の音声認識結果における NER に関する研究は隠れマルコフモデルや SVM を用いたモデルで 見られた. 長谷川ら [14] は音声認識結果から未知の NER に取り組んだ. 隠れマルコフモデルの学習にお いて, 誤り語を特定のシンボルに置き換え, 固有表現 クラス付きの bi-gram の学習および誤りを考慮した クラスの導入を提案した. 須藤ら [15] は ASR テキス トでSVMを学習する際に, ある単語が正しく認識 できているかを表す二値の素性を組み込むことで precisionを向上させられることを示した. 一方, 本研究では音声認識誤りを含むテキストから後続タスク に繋げるため, 固有表現を recall 重視で抽出すること を目的としここれに事前学習モデルを利用する。

湯野川ら [16] はコールセンターにおいて ASR で 書き起こされた日本語テキストにBERTを用いた系列ラベリングにより, 顧客入電意図の抽出を行なっ た. 本研究でも固有表現の抽出を目的に BERT で系列ラベリングを行うとともに, T5を用いた実験も 行う.

## 3 手法

本研究では音声認識誤りを含む ASR テキストか らの NER 評価用のデータとして道路交通情報に関 するデータを用いる. それに伴い, 道路と住所に関す る固有表現の抽出を行う. 前提条件として出力した いラベル（道路と住所）は指定できるものとする。

BERT を用いた抽出 系列ラベリングタスクとし て NER に取り組む. サブワード単位に分割されたテ キストに, 固有表現の先頭に B, 内部・終端に I, 固有表現以外に O のラベルを付与する BIO モデルでラ ベリングを行う. 概略図を図 2 に示す. 道路情報に関 するラベルは “ $\{B$ ，I $\}$-route”, 住所情報に関するラ ベルは“ $\{B ， I\}$-address”として扱う．ラベルを指定 するにあたり, 文頭に “route” または “address”トーク ンを付与し,ラベルとして“B-label”を与える.

T5 を用いた抽出 質問応答タスクとして NER に 取り組む. 文頭に特殊タグを付与したテキストを入力文として与え, 特殊タグに対応する固有表現を出力する.このとき, 抽出された各固有表現の末尾には ラベルがハイフンで連結され, 付与されるような設定となっている. 概略図を図 3 に示す. 道路情報に関 するラベルは “道路名”, 住所情報に関するラベルは
固有表現ラベル

図 2: BERT を用いた NER

図 3: T5を用いた NER

“住所名”として扱う．ラベルを指定するにあたり，文頭に“道路名を抽出せよ:”または “住所名を抽出 せよ:”という特殊タグを付与する.

## 4 実験

## 4.1 データ

本研究では福井県の道路交通情報に関するシステ ム主導型の対話ログを用いNERを行なった. 対話ロ グは発話者が道路名や住所名を発話していると期待 されるターンのものを用いた. 抽出したい固有表現 の辞書が与えられており,この辞書には固有表現と それに対する一部の別称や略称, 音声認識誤りが登録されている（図 1 中の固有表現辞書）. 運用上,こ の辞書を用いて辞書マッチで NER が成功したデー タ（match）と,失敗したデータ（fallback）（表 1）の 両方を NER の対象テキストとして扱った. match の データは辞書マッチでラベル付けを行い2), fallback のデータに関しては, 人手アノテーションで住所と 道路に関する固有表現にラベル付けを行なった3). match を, 低コストで入手できて基本的には辞書マッ

2）明らかに意味的に誤っているラベルに関しては人手でラベ ルを取り除いた。

3）このアノテーションでは音声認識誤りも考慮して行なった. また,辞書にエントリーされていない固有表現に対しても福井県に実在する場合には抽出対象として扱った. 表 1 に示すよ うに抽出すべき固有表現がそもそもテキスト中に存在してい ない場合と, 音声認識誤りや辞書のエントリー不足のために抽出できなかった場合が混在している.表 1: match と fallback のデータ例

(下線部が固有名詞)

 \\

チで抽出できるデータ, fallbackを入手にコストがか かり基本的には辞書マッチで抽出できないデータと して扱う（4.4）. fallbackにはアノテーションの際に 福井県に実在するか否かの基準でアノテーションを 行なったため, match とラベルがついている単語の基準に相違がある.

出力するラベルを指定するという設定に合わせ て, 各文の先頭に提案手法ごとの前処理を施す. 利用 したデータ数について Appendix の表 3 に示す.

## 4.2 実験設定

辞書に基づいた string match, 事前学習モデルであ る BERT, T5 による 3 通りの NER について比較を行 う. BERT モデルは東北大の公開しているモデル4)を 利用し, token-classification 形式の fine-tuning を行なっ た. パラメーターはバッチサイズを 8 , エポック数を 3 , 最大系列長を 258 と設定した. また, $\mathrm{T} 5$ モデルは Megagon Labs の公開しているモデル5) に fine-tuning を行なった. パラメーターは学習率を 0.0005 , バッチ サイズを 8 , エポック数を 20 , 最大系列長を 128 と設定した.いずれも fine-tuning には, Huggingface の公開している Transformers $\left.{ }^{6}\right)$ のスクリプトを用いた.

## 4.3 評価方法

完全一致を真陽性とみなした precision, recall, F1 スコアを算出して評価を行う. また match と fallback のラベル付け基準には相違がある（4.1）ため, それ ぞれのテストセットを別々に評価する. match の評価は辞書マッチで抽出できる固有表現を抽出できる のか, fallback の評価は辞書に含まれない固有表現を 抽出できるのかを示す指標とする.

また本研究における NER は下流タスクで entity linking を行うことを想定している.このとき, 抽出 した固有表現が本来よりも短い場合, 下流タスクに

表 2: string match, BERT, T5 による実験結果

（“c_”: 固有表現をリファレンスよりも長く予測した場合に真陽性としてスコア計算し直したときの結果）

おいて linking が不可能になる可能性が考えられる.一方で, 本来よりも長く抽出した場合の entity linking における問題は軽微であると考える. 従って, 固有表現をカバーできている場合は真陽性とみなすが, カ バーできていない部分一致は偽陽性とみなした評価 も行う. 例えばリファレンスの“8号線”という固有表現にラベルが付与されていた場合, “国道 8 号線” の抽出は認めるが, “8 号” のみの抽出は認めない.

## 4.4 実験結果と考察

学習データに match と fallbackを両方用いた場合 と matchのみを用いたときの, match と fallback それ ぞれのテストセットにおける実験結果を表 2 に示す. BERT と T5 それぞれの NER 結果の実例を Appendix に掲載する。

辞書マッチ match のデータに関してはデータ 自体が辞書マッチで作成されているため recall が 100 となる. precision が 100 にならないのは match の データを作成する際に明らかに間違ってラベルが付 けられていたものを人手で取り除いたため（4.1）で ある. 一方で fallback のデータに関してはどの評価指標においても 50.0 以下であり, 固有表現を十分に 抽出できていないといえる. 本研究ではこのような データに事前学習モデルを用いた NER がどの程度機能するのかを調査した。

BERT match のテストデータに関しては F1 スコ アで 0.8 ポイント下回るものの, 辞書マッチで抽出 できる固有表現は BERTでも同等に抽出できている といえる. c_F1 では 99.2 ポイントの精度であり, 後続タスクのための NER として望ましい結果である。 fallback のデータに関しては, 辞書マッチと比較して matchのみで学習した場合+20.2 ポイント, fallback も含めて学習した場合+43.3 ポイントであることが確認できる. 特に recall のスコアの向上が顕著に見ら れることから, BERT を用いることで辞書マッチで は抽出できなかった固有表現を抽出できていること がわかる. 学習データに match のデータの半分程度 の fallback のデータを加えることで, より大きなスコ アの向上が見られるが, これは match のデータに含 まれない未知語に対しても学習が行われたためだと 考えられる。

T5 T5に関しても BERT 同様の傾向がみられる. match のテストデータに関しては,BERT と同程度の 性能を出せており, 辞書マッチと同等に抽出できて いる. fallback のデータに関しては, match のみで学習 を行うと precision が低くなった. しかし学習データ に fallback のデータを加えることで precision は改善 され, BERT と比較しても F1 スコアで+4.6 ポイント であり，より意図通りに抽出することができた。

## 5 おわりに

本研究では事前学習モデルである BERT と T5 を 用いて, 音声認識結果に対する NER に取り組んだ.実験の結果, 辞書マッチで作成したデータに関して は事前学習モデルを用いても概ね良好に抽出でき た. また学習データに人手アノテーションしたデー タを追加することで, 辞書に含まれていない固有表現に関しても抽出できることを確認した. 今後はよ り文脈を利用することで, 未知の固有表現を含むノ イジーなテキストから頑健に固有表現を抽出するた めの fine-tuning の方法を含めた工夫、例えば固有表現をマスクしたデータを学習データに追加するとい うような検討を行なっていく。

## 参考文献

[1] 竹元義美. 辞書およびパターンマッチルールの増強 と品質強化に基づく日本語固有表現抽出. 情報処理学会論文誌, Vol. 42, No. 6, pp. 1580-1591, 2001.

[2] John D. Lafferty, Andrew McCallum, and Fernando C. N. Pereira. Conditional random fields: Probabilistic models for segmenting and labeling sequence data. In Proceedings of the Eighteenth International Conference on Machine Learning, p. 282-289, 2001.

[3] 内元清貴, 馬青, 村田真樹, 小作浩美, 内山将夫, 井佐原均. 最大エントロピーモデルと書き換え規則に基 づく固有表現抽出. 自然言語処理, Vol. 7, No. 2, pp. 63-90, 2000.

[4] 山田寛康, 工藤拓, 松本裕治. Support Vector Machine を用いた日本語固有表現抽出. 情報処理学会論文誌, Vol. 43, No. 1, pp. 44-53, 2002.

[5] Motoi Omachi, Yuya Fujita, Shinji Watanabe, and Matthew Wiesner. End-to-end ASR to jointly predict transcriptions and linguistic annotations. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 1861-1871, 2021.

[6] Stefan Constantin, Jan Niehues, and Alex Waibel. Incremental processing of noisy user utterances in the spoken language understanding task. In Proceedings of the 5th Workshop on Noisy User-generated Text (W-NUT 2019), pp. 265-274, 2019.

[7] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, 2019.

[8] Erik F. Tjong Kim Sang and Fien De Meulder. Introduction to the CoNLL-2003 shared task: Language-independent named entity recognition. In Proceedings of the Seventh Conference on Natural Language Learning at HLTNAACL 2003, pp. 142-147, 2003.

[9] Long N. Phan, James T. Anibal, Hieu Tran, Shaurya Chanana, Erol Bahadroglu, Alec Peltekian, and Grégoire Altan-Bonnet. SciFive: a text-to-text transformer model for biomedical literature. CoRR, Vol. abs/2106.03598, , 2021.

[10] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. Journal of Machine Learning Research, Vol. 21, No. 140, pp. 1-67, 2020.

[11] Haoyu Wang, John Chen, Majid Laali, Kevin Durda, Jeff King, William Campbell, and Yang Liu. Leveraging ASR $\mathrm{N}$-Best in Deep Entity Retrieval. In Proceedings of the Interspeech 2021, pp. 261-265, 2021.

[12] Arushi Raghuvanshi, Vijay Ramakrishnan, Varsha Embar, Lucien Carroll, and Karthik Raghunathan. Entity resolution for noisy ASR transcripts. In Proceedings of the 2019 Conference on Empirical Methods in Natural
Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLPIJCNLP): System Demonstrations, pp. 61-66, 2019.

[13] Hemant Yadav, Sreyan Ghosh, Yi Yu, and Rajiv Ratn Shah. End-to-end named entity recognition from English speech. In Proceedings of the Interspeech 2020, pp. 4268-4272, 2020.

[14]長谷川隆明, 林良彦. 隠れマルコフモデルに基づく音声認識結果からの固有表現抽出. 言語処理学会第 9 回年次大会, pp. 533-536, 2003.

[15] Katsuhito Sudoh, Hajime Tsukada, and Hideki Isozaki. Incorporating speech recognition confidence into discriminative named entity recognition of speech data. In Proceedings of the 21 st International Conference on Computational Linguistics and 44th Annual Meeting of the Association for Computational Linguistics, 2006.

[16] 湯野川八雲, 久保優騎. BERT によるコールセンタロ グからの顧客入電意図抽出. 第 92 巻, p. 04, 2021.

## A データセット

表 3: 実験に利用したデータ情報

(発話数と各ラベルが付与された単語数)

## B 出力例

表 4: match のデータにおける NER 失敗例

T5 で抽出に成功して BERT で失敗した例, BERT で抽出に成功して T5 で失敗した例, 両方で失敗した例を, match と fallback それぞれのデータセットについて表 4 および表 5 に示す.

match のテストデータは辞書マッチに基づいて作成されているため, リファレンスには吉田郡や田尻町が含 まれていないが,これらは実際には福井県に存在する地名であり, 実際には抽出した方が良い例となっている. “イチゴった一”は “158 号線”のことを“いちごっぱ” と発話することがあり,それを認識誤りしたものと考え られる.このような例は BERT も T5 も抽出が難しいことが確認できる.

fallback に示す “青年の道” は学習データには含まれていないが, 実際に福井県に存在する道路名である. T5 が抽出できたのは, 末尾についている “道”という単語から道路名であると予測したためと考えられる. T5 の みがこのような文脈から予測をできた理由として, モデル構造の違いと事前学習時のデータ量の違いが考え られるが，この要因の特定は今後の研究課題である. BERT と T5 の両方が“高みの（方の）”を住所を表す固有表現として抽出しているが, 方向を表すような表現から文脈的にこれらのモデルが固有表現を抽出しょう としたことが推測される。
 今藤誠一郎 ${ }^{1}$ 上田 直生也 ${ }^{1}$ 岡 照晃 ${ }^{1}$ 杉山 雅和 ${ }^{2}$ 邊土名 朝飛 ${ }^{2}$ 小町守 1 1 東京都立大学 2 株式会社 AI Shift \{kondo-seiichiro, ueda-naoya\}@ed.tmu.ac.jp, teruaki-oka@tmu.ac.jp \{sugiyama_masakazu, hentona_asahi\}@cyberagent.co.jp, komachi@tmu.ac.jp  