# 音声言語処理のための注意機構を用いた音声認識仮説統合

叶高朋 1 小川厚徳 ${ }^{1}$ マーク・デルクロア ${ }^{1}$ 渡部晋治 ${ }^{2}$
1 日本電信電話株式会社 2 カーネギーメロン大学
\{takatomo.kanou.xe, atsunori.ogawa.gx, marc.delcroix.hc\}@hco.ntt.co.jp
shinjiwacmu.edu

## 概要

音声要約や音声翻訳などの音声言語処理（Spoken language processing:SLP）の多くは, 音声認識 (Automatic speech recognition:ASR) モデルとテ キスト翻訳・要約などの自然言語処理（Natural language processing：NLP）モデルの直列接続で実現されている.このような直接接続のシステム構成 では, 音声認識誤りが NLP モデルの性能に悪影響を 与えることが知られている. 本研究では, 音声認識誤りの悪影響を低減させるため, 複数の ASR モデル の出力を統合しながら, 翻訳・要約を行う方法を提案する。提案手法は要約・翻訳にとどまらず, 様々 な直列接続の SLP システムに適用可能である. 本研究では, まず音声要約と音声翻訳の評価実験を通し て提案手法の有効性を確認した。

## 1 はじめに

音声要約や音声翻訳など, 多くの音声言語処理 (Spoken language processing：SLP）は, 音声認識 (Automatic speech recognition：ASR）モデルと自然言語処理モデル (Natural language processing : NLP) の直列接続で実現されている。このような直列接続 のシステムの学習には, 音声と出力テキストの大規模なぺアデータを必要とせず, 個々の ASR モデルと NLP モデルに最先端のモデルを採用することができ る。一方, 2 つの異なるモデルの学習と推論が独立 して行われるため, 音声認識誤りが後段の NLP モデ ルの推論に悪影響を与え, SLP システム全体の精度 が低下する.

このような認識誤り伝搬の問題に対し, 先行研究では認識誤りに対して頑健になるような拡張を NLP モデルに行い, 再学習することで認識誤り伝搬 の影響を低減した [1-5]. これらの先行研究では, 1 つの ASR から複数の認識仮説を出力させ, ASR 結果の信頼度などの補助情報を抽出し, 信頼度を基
に複数の認識仮説の統合を行う音声翻訳を提案し ている.また我々も先行研究において, Bidirectional Encoder Representations from Transformers (BERT) [6] の分散表現に基づいた音声認識仮説の統合に関する 手法 [7] を提案し, 複数の認識仮説が音声要約におい て, 音声認識誤りに対する頑健性を向上させること を確認した。

しかし,これらの先行研究では, 単一の ASR モデ ルを使い複数仮説を生成しているため, 認識仮説 のバリエーションが乏しい. これは, N-best デコー ディングが多様な結果を出力しないことに起因す る. さらに, [3-5] では, ASR モデルから補助情報を 抽出して, NLP モデルで再学習するため, ASR モデ ルと NLP モデルで同じ単語辞書を使用しなければ ならないという制約がある。これは, 従来の直列接続のメリットであった, ASR と NLP モデルの独立性 を損なうもので, ASR モデルまた NLP モデル，もし くは両方の性能を低下させる。そのため, 最もよい 性能の ASR モデルと言語処理モデルを利用した直列接続でシステムを構成できず, SLP モデルの再学習を行う際に, 初期状態が最適なものではないとい う問題がある.

次に, 音声認識誤りの影響を低減させる方法とし て, 音声認識精度を改善し認識誤りそのものを減ら す方法がある. 先行研究では, 複数の ASR システム を統合することで音声認識精度を改善できることが 報告されている [8-11]. これらシステム統合法では，異なる ASR モデルから出力された仮説を比較する ことで, 認識誤りの位置を推定し修正することが出来了. 本研究では, それらシステム統合法の中で, 最 もよく使われる Recognizer output 投票 error reduction (ROVER) [10] に着目する．ROVER は ASR の後処理 として広く利用され, アラインメントと投票の 2 段階の処理を通して認識仮説を統合する [12-16]. ROVER では, 音声認識結果を単語単位で比較・修正 するため, ASR モデルと NLP モデルに対して特別な
拡張を必要とせず, 直列接続の独立性を損なわない.

しかし, ROVER にもいくつかの問題がある.ま ず,アラインメントの処理は, 単語単位の動的計画法 で行われるため単語同士の類似性や文脈情報を考慮 できない. 次に, 投票の処理では, 各システムの認識結果を平等に扱うため, 多くの認識器が間違えた中, 1 つ認識器が正解を出力するような場合は, 正し く修正できない. さらに直列接続の SLP システムで は, 入力音声を一字一句正しく認識した結果が必ず しも良い出力につながらないという問題ある [17].具体的には, ASR モデルはフィラーや言い間違い, 言 いよどみなども正しく認識しようとする。しかし， これらは翻訳や要約には不要で, NLP モデルの精度 を下げる一因となる。そのため SLP システムでは,最終的な要約・翻訳精度を最大化するような認識結果を用いる必要があるが, ROVER は学習可能な重み を持たないため, 特定のタスクに対して最適化する ことができない.

本研究では, ROVER に代わる方法として, 複数の ASR モデルの出力結果を NLP モデル内部で統合す る方法を提案する. 提案手法では, 注意機構を用い て, 複数の ASR モデルの出力結果をアラインメン トし統合する処理を NLP モデルの分散表現に基づ いて行う. 注意機構は学習可能な重みをもち, 特定 のタスクに最適なシステム統合を学習することが 出来了. 提案法は, 直近の我々の研究 [7] から派生 し, 階層的注意機構 $[18,19]$ やマルチストリームコン ビネーションの研究 [20], マルチモーダル処理の研究 [21] とも関連する. 提案手法では, 複数の ASR モ デルの出力結果をマルチストリームとみなし, 注意機構を用いて統合する.

本研究では, 音声翻訳と音声要約において提案手法をROVERなどの先行研究 $[3,4,10,22]$ と比較 した. 翻訳と要約では解く問題や, 扱うコンテキス ト情報の長さが異なる. 例えば, 翻訳では, 多言語間の複雑な単語の対応関係を学習する必要がある が, 一発話単位で翻訳が行われるため, 複数文にま たがる依存関係を考慮しない。一方, 要約は同一言語間で変換を行うため, 単語の対応関係の学習は容易であるが, 文章全体の要点を見つけるために, 複数文にまたがる依存関係を学習する必要がある. 異 なる 2 つのタスクに対して, 本実験では両タスク に共通の Conformer ASR モデル [23]を, 翻訳タス クには Transformer モデル [24]を, 要約タスクには BERTSum モデル [25]をそれぞれ採用して SLP シス

Speech signal図 1 ROVER と注意機構を用いた仮説統合の比較. 図内において, 注意機構を用いた仮説統合モジュールを Attention Fusion と表記する。

テムを構築した. 提案手法は,このような異なる夕 スクとモデル構造の SLP システムに対して, 最適な システム統合を行い, 両タスクにおいて性能を改善 することができた.

## 2 ASR 仮説の統合

## 2.1 従来の ASR 仮説統合

複数の ASR 仮説の統合し認識精度を改善する研究としては, Lattice を使った方法や, Minimum Bayes risk decoding を使った方法などが提案されてい る $[8,9,11]$. 本研究では, その中で最も一般的な手法 である ROVER に着目した. ROVER [10] はアライン メントと投票の 2 段階の処理を通して, 異なる長さ の認識仮説を統合する。まずアラインメントステッ プでは, 動的計画法を用いて挿入, 削除, 置換を追加 した Word Transition Networkを作成し, 投票ステップ では, 各時間において最も出現頻度も高い認識仮説 を正解として採用する.

ROVER は ASR の後処理として行われ, 認識結果 の単語列を直接比較するため, 様々な SLP システム に取り入れることが出来る. しかし, 単語同士の類似度や文脈情報などの有益な情報を考慮できず, ま た学習可能な重みも持たない. そのため, 各タスク において, 単語の重要度を考慮して ASR システム 統合を行い, SLP システムの性能を最大化するとい うような最適化ができない. 本研究では, これらの ROVER の持つ問題を解決するため, 注意機構を用い た ASR システムの統合法を紹介する.

## 2.2 ASR 仮説の分散表現

ASR 仮説の統合は, 単語の類似度, 文脈情報などを 考慮するため, NLP の分散表現に基づいた統合を行 う. ここで入力単語列 $S^{n} \in \mathbb{R}^{L}$ に対する NLP モデ ルの最初の数層の出力結果を $E^{n} \in \mathbb{R}^{L \times D}$ とする.

$
E^{n}=g\left(S^{n}\right),
$

ここで, $g(\cdot)$ は NLP モデルの最初の数層の写像処理, $D$ は隠れ層の次元数を表す. ASR システムの総数 は $N$ であり, $S^{n}$ は $n$ 個目の ASR が出力した認識結果を表す. 各 $S^{n}$ の長さが異なるため, 事前に最後尾 に Maskトークンで Padding を行い各系列を同じ長 さ $L$ に揃える. 提案手法と ROVER 法の違いを図 1 に示す. 図 1 中の $h(\cdot)$ は $g(\cdot)$ 以降の隠れ層の処理を 表す. ROVER は ASR モデルと NLP モデルのデー 夕受け渡し間に仮説の統合を行うのに対して, 提案手法では, NLP モデルの Encoder 内部で ASR 仮説の 統合を行う.

## 2.3 注意機構による仮説アライメント

まず, ROVER のアラインメントに相当する処理 として, 本研究では注意機構を用いて入力された各 ASR 出力系列の位置合わせを行う。まず, SLP シス テムの再学習時に, 検証データを元に各 ASR モデル の性能を計測し, 最も性能が高い出力 ASR モデルを 同定し, その出力系列を参照仮説 $E^{r}$ とする. 注意機構の Query には参照仮説 $E^{r}$ を Key と Value には任意の ASR システムの出力仮説 $E^{n}$ を用いる. この時 は, 参照仮説 $E^{r}$ は任意の認識仮説 $E^{n}$ にも含まれる.

注意機構を用いたアラインメント結果 $\tilde{E}^{n}$ は以下 のように得られ，

$
\tilde{E}^{n}=\operatorname{softmax}\left(\left(E^{r} W^{Q}\right)\left(E^{n} W^{K}\right)^{\mathrm{T}}\right) E^{n} W^{V}
$

ここで, T は転置記号を表す. 提案手法はROVER と 比べた際,ソフトアライメントを実現し, Encoder で 学習された文脈情報や単語の類似度を考慮できるた め, 単語のみでなくフレーズなどより長い単位を考慮したアライメントを実現可能である.

注意機構には Multi-head-attention を採用し, 注意機構は各 Query, Key, Value に対し学習可能な重み $W^{Q}, W^{K}, W^{V} \in \mathbb{R}^{D \times D^{\prime}}$ を持つ. 本研究では, 注意機構の入力次元数 $D^{\prime}$ と出力次元数 $D$ は同じであり,注意機構の重みは正方行列となる.これらの重み を単位行列で初期化する。その理由は, 複数の ASR システム統合を行う際に, ランダムな写像を行うと
BERTなどの事前に学習された分散表現を十分に考慮できないために, 学習開始時点では, 注意機構にお いて恒常写像が行われ, 参照仮説が選択されるよう 意図したためである.これにより, 事前学習モデル の性能を大きく劣化させずに仮説統合の学習を行う ことが出来る.

## 2.4 注意機構による仮説の統合

次に, ROVER の投票に相当するステップでは, 階層的注意機構 $[18,26,27]$ と同様にアラインメントさ れた各系列の位置 $l$ ごとに異なる $N$ 個の ASR モデ ルから出力された仮説を統合する. $\tilde{E} \in \mathbb{R}^{N \times L \times D}$ はアラインメント済みの $N$ 個の長さ $L$ の音声認識結果の系列である. この時, 位置 $l の E_{l} \in \mathbb{R}^{N \times D}$ に ついて, 注意機構を用いた統合を以下のようにあら わす.

$
\begin{aligned}
\alpha_{l} & =\operatorname{softmax}\left(\left(e_{l}^{r}\right)^{\mathrm{T}} W^{Q} \tilde{E}_{l}\right), \\
e_{l}^{\mathrm{att}} & =\alpha_{l} \tilde{E}_{l}^{\mathrm{T}}
\end{aligned}
$

ここで, $\alpha_{l} \in \mathbb{R}^{1 \times N}$ は各 ASR システムの出力に対す る注意重みである. 提案手法と ROVER との違いは,提案手法では正解単語を出現頻度に基づいて仮説単語から選択するのではなく, 特徴空間上で参照仮説 と他の仮説の類似度を計算し重みとして, すべての 仮説を重ね合わせて正解単語を表現する点である. これにより, 同時に複数の単語の情報を考慮するこ とが可能となる.

## 3 実験

本研究では, 音声要約・翻訳タスクについて関連 する先行研究と提案手法の比較を行った. データ セットには, TED Talk から作成した要約コーパスで ある TEDSumarry [7] と Youtube のビデオから作成し た HOW2 [28] を採用し, ROUGE [29]・BLEU [30] ス コアでの客観評価を実施した。本実験における ASR モデルは ESPnet ${ }^{1)}$ で公開されている Tedlium/HOW2 のレシピに従い構築した. Tedliium は TEDTalk から 作成した音声認識コーパスであり, TEDSumarry 用の ASR モデルの学習に用いられる. 要約・翻訳モデル は OpenNMT ${ }^{2}$ をもとに公開されているレシピ・実装3)を用いて構築した。

本実験では, Topline として正解の音声認識結果を 翻訳・要約した結果 (0) ASR-GTを採用し, Baseline


として, 評価セットで最も性能の良い ASR システム を用いた結果を (1) ASR w/ASR BPE, BERT と同じ 辞書を使用した ASR システムを用いた結果 (3) ASR w/BERT BPE, ROVER ですべての ASR システムの結果を統合し, 翻訳・要約した結果を (3) ROVER に示 す. また, 追加で再学習を行う手法として, 音声認識結果で NLP を再学習したシステムである (4) Retrain と, 先行研究である (5) Confidence [22] と我々の先行研究である (6) Nbest fusion [7] を用意し比較した.

表 1 ROUGE スコア (R1, R2, RL)での各システムの比較結果: システム (7) が提案手法

表 1 の結果より, 提案手法は先行研究の (5) Confidence および, 我々の先行研究 (6) Nbest fusion よりも HOW2 データにおいて良い要約性能を示し た. 一方で TEDSumarry データにおいては, HOW2 データほど顕著な優位性を確認できていない。こ れは, TEDSumarry では正解の音声認識を用いる場合でも, 要約が困難で Topline の性能が低く, Baseline との差が少ない. そのため, 性能改善の余地が少 ないことが一つの原因だと考えられる. Topline と Baseline の差が少ない理由として, 表 2 に示すよう に, TEDTalkでの ASR 性能が高く認識誤りが少ない ことが考えられる。

次に, 音声翻訳の性能を同様のデータを用いて 評価した結果を表 3 に示す. ここで, 翻訳モデルと 同じ辞書を使用した ASR システムを用いた結果 (3) ASR w/MT BPE を示す. 表 3 の結果において, 両

表 2 各 BPE サイズと音声認識性能の単語誤り率に よる評価. $30.5 \mathrm{k}^{*}$ は BERT モデルの単語辞書のサイズ. ROVER は, 各 ASR システムをROVER で統合した際の認識性能

表 3 BLUE スコアによる各音声翻訳システムの評価. シ ステム (7) が提案手法.

データに対して提案手法の優位性が確認できた. 翻訳においても, TEDよりも HOW2 データでの Topline と Baseline の差が大きく, 全体的にスコアの差が大 きい。これは前述の音声認識性能の差と, 英語 (En) からポルトガル語 $(\mathrm{Pt})$ への翻訳が, 英語からドイツ 語（De）へのよりも容易であるためだと考えられ る. よってこれらの結果から提案手法について次の ようなことが言える.

提案手法は, 複数の ASR システムを NLP 内部で統合することで, 様々なタスク・データにおいて音声認識誤りで劣化する翻訳・要約性能を回復できる. しかし, ASR モデルの性能が高く, NLP モデルの性能が低いケースでは, 音声認識誤りが SLP システム に及ぼす影響が少なく, 精度改善の余地が少ない.加えて提案法は NLP モデルの分散表現に基づいて 仮説統合を行うため, NLP モデルの性能が低い場合 は, NLP モデルの分散表現が十分に学習されておら ず, NLP の分散表現を基に仮説を統合する提案法は 効果が小さく, 他の手法との優位な差が出にくいこ と考えられる。

## 4 まとめ

本研究では, ASR と NLPを組み合わせて実現さ れる SLP システムにおいて, 音声認識誤りによる 性能劣化を改善する手法を提案した，本提案手法 は, ROVER を参考に複数の ASR の出力結果を, NLP の分散表現に基づいて統合する.これにより, 従来 ROVER では難しかった, 単語の類似度や文脈情報を 考慮した仮説統合を実現し, 音声要約・翻訳, 双方の タスクで既存手法を上回る音声認識誤りへの頑健性 を示した. 今後は, 注意機構による Alimento と統合方法の改善. 他の音声言語処理タスクへの適応など を検討していく。

## 参考文献

[1] Nicola Bertoldi, Richard Zens, and Marcello Federico. Speech translation by confusion network decoding. In ICASSP, pp. 12971300, 2007.

[2] Masaya Ohgushi, Graham Neubig, Sakriani Sakti, Tomoki Toda, and Satoshi Nakamura. An empirical comparison of joint optimization techniques for speech translation. In INTERSPEECH, pp. 2619-2623, 2013.

[3] Kaho Osamura, Takatomo Kano, Sakti Sakriani, Katsuhito Sudoh, and Satoshi Nakamura. Using spoken word posterior features in neural machine translation. In IWSLT, 2018.

[4] Parnia Bahar, Tobias Bieschke, Ralf Schlüter, and Hermann Ney. Tight integrated end-to-end training for cascaded speech translation. In SLT, pp. 950-957, 2021.

[5] Matthias Sperber, Graham Neubig, Jan Niehues, and Alex Waibel. Neural lattice-to-sequence models for uncertain inputs. In IWSLT, pp. 1380-1389, 2017.

[6] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: pre-training of deep bidirectional transformers for language understanding. In NAACL-HLT, pp. 4171-4186, 2019.

[7] Takatomo Kano, Atsunori Ogawa, Marc Delcroix, and Shinji Watanabe. Attention-based multi-hypothesis fusion for speech summarization. In ASRU, pp. 487-494, 2021.

[8] Gunnar Evermann and Woodland Philip. Posterior probability decoding, confidence estimation and system combination. In Speech Transcription Workshop, Vol. 27, pp. 78-81, 2000.

[9] Björn Hoffmeister, Dustin Hillard, Stefan Hahn, Ralf Schlüter, Mari Ostendorf, and Hermann Ney. Cross-site and intra-site ASR system combination: Comparisons on lattice and 1-best methods. In ICASSP, pp. 1145-1148, 2007.

[10] Jonathan Fiscus. A post-processing system to yield reduced word error rates: Recognizer output voting error reduction (rover). In ASRU, pp. 347-354, 1997.

[11] Haihua Xu, Daniel Povey, Lidia Mangu, and Jie Zhu. Minimum bayes risk decoding and system combination based on a recursion for edit distance. Comput. Speech Lang., Vol. 25, No. 4, pp. 802-828, 2011.

[12] Olivier Siohan, Bhuvana Ramabhadran, and Brian Kingsbury. Constructing ensembles of asr systems using randomized decision trees. In ICASSP, Vol. 1, pp. 197-200, 2005.

[13] Venkata Ramana Rao Gadde, Andreas Stolcke, Dimitra Vergyri, Jing Zheng, M. Kemal Sönmez, and Anand Venkataraman. Building an ASR system for noisy environments: Sri's 2001 SPINE evaluation system. In INTERSPEECH, 2002.

[14] Yulia Tsvetkov, Florian Metze, and Chris Dyer. Augmenting translation models with simulated acoustic confusions for improved spoken language translation. In EACL, pp. 616-625, 2014.

[15] Arne Mauser, Richard Zens, Evgeny Matusov, Sasa Hasan, and Hermann Ney. The RWTH statistical machine translation system for the IWSLT 2006 evaluation. In IWSLT, pp. 103-110, 2006.

[16] Christian Fügen, Alex Waibel, and Muntsin Kolss. Simultaneous translation of lectures and speeches. Mach. Transl., pp. 209-252, 2007.

[17] Xiaodong He, Li Deng, and Alex Acero. Why word error rate is not a good metric for speech recognizer training for the speech translation task? In ICASSP, pp. 5632-5635, 2011.

[18] Zichao Yang, Diyi Yang, Chris Dyer, Xiaodong He, Alexander J. Smola, and Eduard H. Hovy. Hierarchical attention networks for document classification. In NAACL-HLT, pp. 1480-1489, 2016.

[19] Jindrich Libovický and Jindrich Helcl. Attention strategies for multi-source sequence-to-sequence learning. In ACL, pp. 196202, 2017.

[20] Xiaofei Wang, Ruizhi Li, Sri Harish Mallidi, Takaaki Hori, Shinji Watanabe, and Hynek Hermansky. Stream attention-based multi- array end-to-end speech recognition. In ICASSP, pp. 7105-7109, 2019.

[21] Chiori Hori, Takaaki Hori, Teng-Yok Lee, Ziming Zhang, Bret Harsham, John R. Hershey, Tim K. Marks, and Kazuhiko Sumi. Attention-based multimodal fusion for video description. In ICCV, pp. 4203-4212, 2017.

[22] Shi-Yan Weng, Tien-Hong Lo, and Berlin Chen. An effective contextual language modeling framework for speech summarization with augmented features. In EUSIPCO, pp. 316-320, 2020.

[23] Anmol Gulati, James Qin, Chung-Cheng Chiu, Niki Parmar, Yu Zhang, Jiahui Yu, Wei Han, Shibo Wang, Zhengdong Zhang, Yonghui Wu, and Ruoming Pang. Conformer: Convolutionaugmented transformer for speech recognition. In Interspeech, pp. 5036-5040. ISCA, 2020.

[24] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In NIPS, pp. 5998-6008, 2017.

[25] Alexandra Savelieva, Bryan Au-Yeung, and Vasanth Ramani. Abstractive summarization of spoken and written instructions with BERT. In SIGKDD, Vol. 2666 of CEUR Workshop Proceedings, 2020.

[26] Potsawee Manakul, Mark J. F. Gales, and Linlin Wang. Abstractive spoken document summarization using hierarchical model with multi-stage attention diversity optimization. In INTERSPEECH, pp. 4248-4252, 2020.

[27] Tzu-En Liu, Shih-Hung Liu, and Berlin Chen. A hierarchical neural summarization framework for spoken documents. In ICASSP, pp. 7185-7189, 2019.

[28] Ramon Sanabria, Ozan Caglayan, Shruti Palaskar, Desmond Elliott, Loïc Barrault, Lucia Specia, and Florian Metze. How2: A large-scale dataset for multimodal language understanding. CoRR, Vol. abs/1811.00347, , 2018.

[29] Chin-Yew Lin. ROUGE: A package for automatic evaluation of summaries. In ACL, pp. 74-81, 2004.

[30] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In ACL, pp. 311-318, 2002.
 叶高朋 1 小川厚徳 ${ }^{1}$ マーク・デルクロア ${ }^{1}$ 渡部晋治 ${ }^{2}$ 1 日本電信電話株式会社 2 カーネギーメロン大学 \{takatomo.kanou.xe, atsunori.ogawa.gx, marc.delcroix.hc\}@hco.ntt.co.jp shinjiwacmu.edu  