# 会議発話間の関係性推定における マルチモーダル情報活用方法の初期検討

大杉康仁 中辻真
エヌ・ティ・ティレゾナント株式会社
}

y.oosugi@nttr.co.jp
## 概要

会議において、相手が自分の発言を支持しているかどうかを知ることは、会議を円滑に進める上で重要である。本研究では、対面会議において、発話と応答のぺアに対し、応答が発話を支持するものかどうかをマルチモーダル情報を用いて推定することを検討する。発話および応答の書き起こしテキスト・音声・顔動画を入力とする Transformer Encoder に基づくモデルを利用し、各モーダルの効果を検証した。複数人会議コーパス AMIを用いた実験では、 テキストモーダルが最も F1 值に影響を与えることが示唆された。

## 1 はじめに

複数人で行われる会議において、合意が取れている項目を整理し会議を円滑に進めるために、自分の発話と相手の応答との関係性を知ることは重要である。関係性として「納得できたかどうか」[1]や「同意・不同意」「支持・不支持」[2,3] などが挙げられる。ここで、『納得』は自分なりに試行錯誤しながら自ら出した解答である」[4] が、「同意」は「自分も同じ意見であるということを態度に表わすこと」 であり「同意」に類する「支持」は「同意」に比べ継続的な行為とされている1)。そこで本研究では、「同意」や「支持」の方が「納得」よりも外から観察・推定することが容易であり、短時間で行われる発話間の関係性においては「同意」と「支持」はほぼ同一と扱うことができると考え、「支持」に主に着目する。

会議中のある発言に対し別の発言がなされたときの 2 発話間の関係性を分類することは議論マイニングタスクの一つであり、多くの研究がなされている $[2,5,3]$ 。中でも姫野・嶋田 [5] は、企業で頻繁に行

1) https://dictionary.goo.ne.jp/thsrs/4366/meaning/m0u/ 2023/1/4 アクセス

図1 マルチモーダルに基づく発話間の関係性推定タスク

われる会議と同様の形式である複数人議論コーパス AMI[6] について 2 発話間の関係性を 9 種類に分類することを検討している。姫野・嶋田の手法は発話の書き起こしテキストを用いるものであるが、音声の抑揚や表情などパラ言語情報・非言語情報も発話間の支持・不支持の関係性を認識する上で重要である。そこで、本研究では、ある話者の発話と、それに対する別の話者の応答について、2 発話間の関係性をマルチモーダル情報を用いて推定することを検討する。ただし、マルチモーダル情報の効果の測定を簡単にするため、相手の発言を支持する発話かそれ以外かという 2 值分類の問題として検討する。

マルチモーダル情報を用いて議論マイニングを行う方法として、各モーダルを BERT[7] や Wav2Vec2.0[8] などの事前学習モデルで独立にエンコードした後で連結べクトルを線形層で変換する方法が提案されている $[2,3]$ 。一方で、マルチモーダル情報を統合する方法として、言語・音声・動画を系列方向に連結して Transformer Encoder[9] に入力することでモーダル間の関係性をより効率よく捉える手法が提案されている $[10,11]$ 。本研究では、この手法を応用し、発話と応答についてそれぞれ Transformer Encoder でマルチモーダル情報を統合した後で線形層を用いて発話と応答の両方を考慮してその関係性を推定する手法について検証する。

(a)

(b)

図 2 検討モデル (a) と Encoder の内部構造 (b)。青色部分はテキストの埋め込みを、黄色部分は音声の埋め込みを、緑色部分は動画の埋め込みをそれぞれ表す。

## 2 問題設定

対面音声会議における発話テキストを対象とした関係性分類タスク [5] では、書き起こしテキストのみを入力として扱っているが、本研究ではそれをマルチモーダルに拡張する。すなわち、図 1 に示す通り、ある話者 $S_{x}$ の時刻 $i$ の発話 $C=\left.\{\boldsymbol{T}_{i}^{x}, \boldsymbol{A}_{i}^{x}, \boldsymbol{V}_{i}^{x}\right.\}$ に対し、話者 $S_{y}$ が時刻 $j$ の応答 $R=\left.\{\boldsymbol{T}_{j}^{y}, \boldsymbol{A}_{j}^{y}, \boldsymbol{V}_{j}^{y}\right.\}$ を行ったとき、発話 $C$ と応答 $R$ の関係性 $z$ を推定する。ただし、 $T_{i}^{*}$ は発話テキストを、 $A_{i}^{*}$ は音声を、 $V_{i}^{*}$ は動画をそれぞれ表す。本論文では、話者 $S_{x}$ と話者 $S_{y}$ は異なり $(x \neq y)$ 、かつ、話者 $S_{x}$ の発話 $C$ を聞いた後、話者 $S_{y}$ が応答 $R$ を行うものとする $(i<j)$ 。

## 3 検討手法

図 2(a) に本論文で検討した手法の全体像を示す。話者 $S_{x}$ の時刻 $i$ の発話 $C$ と話者 $S_{y}$ の時刻 $j$ の応答 $R$ を別々に Encoder を用いて特徴量化する。それらを次元方向に連結したべクトルを活性化関数を含む 2 層の線形層で変換し、関係性の予測値 $\hat{z}$ を得る。

$
\begin{aligned}
& \hat{z}=\operatorname{Linear}(\sigma(\operatorname{Linear}(\text { Concat }(\boldsymbol{c}, \boldsymbol{r})))) \\
& \boldsymbol{c}=\operatorname{Encoder}\left(\boldsymbol{T}_{i}^{x}, \boldsymbol{A}_{i}^{x}, \boldsymbol{V}_{i}^{x}\right) \\
& \boldsymbol{r}=\operatorname{Encoder}\left(\boldsymbol{T}_{j}^{y}, \boldsymbol{A}_{j}^{y}, \boldsymbol{V}_{j}^{y}\right)
\end{aligned}
$

ただし、Linear $(\cdot)$ は線形層を、 $\sigma(\cdot)$ は活性化関数を、 Concat (.) は次元方向の連結を表す。また、Encoder $(\cdot)$ は Transformer Encoder[9] を用いた各モーダル情報の統合を表し、本論文では図 2(b) に示すように MEmoBERT[11] と同じモデル構造を用いた。以下では各モーダルの埋め込みの方法とその統合方法について説明する。
テキストの埋め込みBERT[7]のトークナイザを用いて発話テキスト $\boldsymbol{T}$ をサブワード系列に分割し、 BERT のサブワード埋め込み $\boldsymbol{a} \in \mathbb{R}^{d_{t} \times L_{t}}$ をテキスト埋め込みとして用いる。ただし、 $L_{t}$ は発話テキストのサブワード系列長を、 $d_{t}$ は特徴量の次元数をそれぞれ表す。

音声の埋め込みフレーム長 $l$ の音声 $\boldsymbol{A}=$ $\left.\{a_{1}, a_{2}, \ldots, a_{l}\right.\}$ について、音響特徵量の埋め込みとして Wav2Vec2.0[8] に基づく特徴量を用いる。ただし、音声のフレーム数は他のモーダルに比べて多いため、フレーム窓 $w$ ごとに平均を取ることで圧縮を行う。また、埋め込み空間の違いを吸収するため線形層による変換を行う。得られる特徵量 $\boldsymbol{a} \in \mathbb{R}^{d_{a} \times L_{a}}$ は下記で表される。

$
\begin{aligned}
\boldsymbol{a} & =\left[\boldsymbol{a}_{1} ; \boldsymbol{a}_{2} ; \ldots ; \boldsymbol{a}_{L_{a}}\right] \\
\boldsymbol{a}_{k} & =\operatorname{Linear}\left(\frac{1}{w} \sum_{t=k}^{k+w}\left(\operatorname{Wav} 2 \operatorname{Vec} 2\left(\boldsymbol{A}_{t}\right)\right)\right)
\end{aligned}
$

ただし、 $L_{a}$ は圧縮後の特徵量数を、 $d_{a}$ は特徵量の次元数を表す。

動画の埋め込み動画 $V$ はフレーム画像 $\left.\{v_{1}, v_{2}, \ldots, v_{L_{v}}\right.\}$ で構成される。本論文では、各フレーム画像を ViT[12]を用いて特徵量化することで、動画特徴量の埋め込み $\boldsymbol{v} \in \mathbb{R}^{d_{v} \times L_{v}}$ を得る。ただし、 $L_{v}$ はフレーム数を、 $d_{v}$ は特徴量の次元数を表す。 また、埋め込み空間の違いを吸収するため線形層による変換を行う。

$
\begin{aligned}
\boldsymbol{v} & =\left[\boldsymbol{v}_{1} ; \boldsymbol{v}_{2} ; \ldots ; \boldsymbol{v}_{L_{v}}\right] \\
\boldsymbol{v}_{k} & =\operatorname{Linear}\left(\operatorname{ViT}\left(v_{k}\right)\right)
\end{aligned}
$

Transformer Encoder を用いた特徵量化各モー ダルの系列長が異なるため、単純な加算は困難で
表 1 TAS データセット

ある。そこで、図 2(b) に示すように、各モーダルの埋め込みをセパレータトークン $[\mathrm{SEP}]$ で連結する。このとき、先頭に特殊トークン [CLS] を追加する。それぞれの埋め込みとして BERT のサブワー ド埋め込みを用いる。さらに、系列の位置埋め込み $p$ と、モーダルの区別のための BERT のセグメント埋め込み $e$ を足しこむ。得られた埋め込み系列を Transformer Encoderに入力し、[CLS]トークン位置の隠れ状態 $\boldsymbol{h}$ を発話もしくは応答の特徴量として用いる。

## 4 評価実験

データセット英語での対面会議を収録した AMI コーパス [6] と、その発話間の関係性を記述した Twente Argument Schema (TAS) データセット [13] を用いた。人手による書き起こしテキストとへッドセットで収録された音声を用いた。また、動画として参加者の正面に配置されたラップトップ PC からの映像を用いた。TAS では「支持する」「支持しない」を含む 9 種類の関係性ラベルが付与されているが、約 $55 \%$ の発話応答ペアに「支持する (Positive)」が付与されておりラベルに偏りが生じている。本研究では相手が自分の発話に同意したかどうかを推定することを目的とするため詳しいラベルは必要ないと考え、TAS の関係性ラベルを「支持する (Positive)」か「それ以外 (Other)」の 2 つに分けて実験を行った。

実験条件 TAS の 94 対話を表 1 に示すように train/dev/test に分割した。実装は Huggingface Transformers ライブラリ [14]を使用し、Transformer Encoder とテキスト埋め込みの初期化には BERT base モデル2)を用いた。音声の埋め込みには Wav2Vec2.0 の base モデル3)を、動画の埋め込みには CLIP[15] の ViT モデル4)を、それぞれ用いた。ただし、学習を簡単にするため、Wav2Vec2.0と ViT のパラメータは固定して用いた。音声について圧縮するためのフレーム窓長 $w$ を 128 に設定した。また、動画につい

2) bert-base-uncased

3) facebook/wav2vec2-base

4) openai/clip-vit-base-patch16表 2 テストデータにおける評価結果：T $\mathrm{A}, \mathrm{V}$ はそれぞれテキスト、音声、動画のモーダルを表す。

ては 25fps で収録されているが、差分の少ない画像が不必要に入力されることを避けるため、1 秒区間の先頭フレームのみを用いるサンプリングを行った。パラメータ最適化には Adam[16] を用い、学習率を $2 \times 10^{-5}$ に、warmup 率を 0.1 に設定して、バッチサイズ 32 で 3 エポック学習した。 5 種類の乱数シードで実験し、その平均值をモデル結果とした。

## 4.1 評価結果

## マルチモーダル情報を考慮することで精度は向上

したか？ 表 2 より、テキストと音声の 2 つのモー ダルを考慮する場合は、テキストのみを考慮する場合と同程度の精度を達成できたが、動画を加えた 3 つのモーダルを考慮する場合は、テキストモーダルのみを考慮する場合に比べて精度が劣化した。そのため、本検討手法ではマルチモーダル情報の効果は強く見られなかった。

どのモーダルが最も効果的か？表 2 に示す通り、テキスト情報が最も効果的であった。このことから、明示的に話者が発言することで応答している場合には、発話テキストを考慮することが最も効果的と言える。一方で、実際の企業で行われる会議では、発言をせずに態度で支持・不支持を示す場合も存在するため、テキスト情報に依存しない推定方法が必要と考えられる。これは今後の課題として対応していく予定である。

## 検討手法は音声情報を効果的に扱えているか？音声情報のみを入力した場合、テキスト情報のみを 用いた場合に比べて精度が劣化したため、本検討手法では音声情報は効果的に活用できていない可能性がある。その原因として、Transformer Encoderを BERT のパラメータ（言語ドメイン）を用いて初期化しため、埋め込みの音声ドメインとの乘離が発生 し、それを Linear 層のみでは吸収しきれなかったこ

図 3 フレーム窓 $w$ を変更した時の $\mathrm{T} \cdot \mathrm{A} ・ \mathrm{~V}$ のマルチモーダルモデルの $\mathrm{F} 1$ 值（dev セット）

表 3 TAS データセットの平均フレーム数、および、検出された正面顔のフレーム単位での平均数

とが挙げられる。

## 音声埋め込みについて短い時間で平均を取ること で精度は向上するか？ テキスト・音声・動画の 3 つのマルチモーダルモデルについて、窓幅 $w$ を変更 したときの $\operatorname{dev}$ セットにおける $\mathrm{F} 1$ 値を図 3 に示す。 wを 128 より小さくして短時間で平均を取ったとこ ろ、128 の時よりも精度がわずかではあるが劣化し た。これは、 $w$ が小さいと言いよどみやポーズなど の情報量の少ないフレームが平均値に悪影響を及ぼ す割合が大きくなるため、広い窓幅の方が精度が向上したと考えられる。

## 検討手法は動画情報を効果的に扱えているか？動画情報のみを入力した場合は他の条件に比べて最 も精度が低かった。検討手法では、動画の時系列情報は位置埋め込みのみで表現されているため、動画 のフレーム間の関係性を捉えきれなかった可能性 がある。また、表 3 に示す通り、利用した動画のフ レーム数と、 $\mathrm{OpenCV}^{5}$ のカカスード分類器で検出 された正面顔のフレーム単位での平均数を調査し た。利用した動画は、各参加者のラップトップ PC から撮影されたものであり、本来はその話者の顔を 写し続けるはずであるが、検出された顔の数は 1 を 下回るものが多く、検出誤りは存在するものの、参加者の正面の顔を正常に撮影できていないフレーム が多かったと言える。そのため、支持・不支持の推定に有用と考えられる表情の特徴を捉えきれずノイ ズになってしまった可能性がある。

## 5 関連研究

マルチモーダル情報を用いた主張の支持・不支持の推定手法としてディベート対話を用いた研究が挙げられる $[2,3]$ 。しかし、これらは音声とテキストの情報のみを考慮しており、話者の顔動画は考慮できていない。本研究の Encoder の構造は、感情推定の手法として提案された MEmoBERT[11]を参考とした。MEmoBERT は著者の Zhao らが独自に収集した 351 個の映画・テレビ動画を用いて事前学習されているが、初期検討のため本論文では事前学習をしないモデルで評価を行った。

本研究では外部から観察することが比較的容易な 「同意・支持」に着目したが、グループディスカッションやカウンセリングの中で話者の納得度合や説得力、コミュニケーション能力などをアノテーション・モデル化する研究も行われている $[1,17,18]$ 。特に伊藤ら [17] は、言語・音声・動画情報を考慮して会議中の各話者の説得力の高さを他の参加者と比較・推定することを検討しており、異なる話者の情報を比較する点で本研究で検討したモデルと類似しているが、マルチモーダル情報の統合に Transformer Encoderを用いる点で異なる。

## 6 おわりに

本論文では、対面会議において、発話とその応答のぺアに対し、応答が発話を支持するかどうかをマルチモーダル情報を用いて推定することを検討した。先行研究である MEmoBERT を参考に、 Transformer Encoder にテキスト・音声・動画の埋め込みを連結して入力するモデルを用いた。AMIコー パスを用いた実験では、テキスト情報のみを考慮した場合が最も精度が高く、検討したモデルではマルチモーダル情報、特に動画情報の考慮が十分にできなかった。ただし、正面の顔を撮影できた動画フレームが少なかったため、データとして動画の持つ情報が少なく、本来支持・不支持の推定に有用な表情の情報を十分に活用できなかった可能性も示唆された。今後は、音声・動画をより効果的に活用する手法について検討する。また、発言を伴わない暗黙的な支持・不支持を推定するため、テキスト情報に依存しないモデル構造についても検討する。

## 参考文献

[1] 松隈亮太, 岡田将吾, 松本妹子, 中元淳. オンラインカウンセリング対話データコーパスの構築と動作シンクロニーの分析. 人工知能学会全国大会論文集, pp. 2I6OS9b03-2I6OS9b03, 2022.

[2] Rafael Mestre, Razvan Milicin, Stuart E. Middleton, Matt Ryan, Jiatong Zhu, and Timothy J. Norman. M-arg: Multimodal argument mining dataset for political debates with audio and transcripts. In Proceedings of the 8th Workshop on Argument Mining, pp. 78-88, 2021.

[3] Eleonora Mancini, Federico Ruggeri, Andrea Galassi, and Paolo Torroni. Multimodal argument mining: A case study in political debates. In Proceedings of the 9th Workshop on Argument Mining, pp. 158-170, 2022.

[4] 今井芳枝, 雄西智恵美, 板東孝枝. 納得の概念分析.日本看護研究学会雑誌, 第 39 巻, pp. 73-85, 2016.

[5] 姫野拓未, 嶋田和孝. 複数人議論における発話間の関係を対象とした関係分類. 言語処理学会第 27 回年次大会発表論文集, pp. 981-985, 2021.

[6] Jean Carletta, Simone Ashby, Sebastien Bourban, Mike Flynn, Mael Guillemot, Thomas Hain, Jaroslav Kadlec, Vasilis Karaiskos, Wessel Kraaij, Melissa Kronenthal, Guillaume Lathoud, Mike Lincoln, Agnes Lisowska, Iain McCowan, Wilfried Post, Dennis Reidsma, and Pierre Wellner. The ami meeting corpus: A pre-announcement. In Proceedings of Machine Learning for Multimodal Interaction, pp. 28-39, 2006.

[7] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the $\mathbf{2 0 1 9}$ Conference of the North American Chapter of the Association for Computational Linguistics, pp. 4171-4186, 2019.

[8] Alexei Baevski, Yuhao Zhou, Abdelrahman Mohamed, and Michael Auli. wav2vec 2.0: A framework for selfsupervised learning of speech representations. In Proceedings of Advances in Neural Information Processing Systems, Vol. 33, pp. 12449-12460, 2020.

[9] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, L ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Proceedings of Advances in Neural Information Processing Systems, Vol. 30, 2017.

[10] Md Kamrul Hasan, James Spann, Masum Hasan, Md Saiful Islam, Kurtis Haut, Rada Mihalcea, and Ehsan Hoque. Hitting your MARQ: Multimodal ARgument quality assessment in long debate video. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 6387-6397, 2021.

[11] Jinming Zhao, Ruichen Li, Qin Jin, Xinchao Wang, and Haizhou Li. Memobert: Pre-training model with prompt-based learning for multimodal emotion recognition. In Proceedings of IEEE International Conference on Acoustics, Speech and Signal Processing, pp. 4703-4707, 2022

[12] Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner,
Mostafa Dehghani, Matthias Minderer, Georg Heigold, Sylvain Gelly, Jakob Uszkoreit, and Neil Houlsby. An image is worth $16 \times 16$ words: Transformers for image recognition at scale. In Proceedings of the 9th International Conference on Learning Representations, 2021.

[13] Rutger Rienks, Dirk Heylen, and Erik van der Weijden. Argument diagramming of meeting conversations. In Proceedings of Workshop on Multimodal Multiparty Meeting Processing, pp. 85-92, 2005.

[14] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Rémi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander M. Rush. Transformers: State-of-the-art natural language processing. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing, pp. 38-45, 2020.

[15] Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, Gretchen Krueger, and Ilya Sutskever. Learning transferable visual models from natural language supervision. In Proceedings of the 38th International Conference on Machine Learning, Vol. 139, pp. 8748-8763, 2021.

[16] Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In Proceedings of 3rd International Conference on Learning Representations, 2015.

[17] 伊藤温志, 坂戸達陽, 中野有紀子, 二瓶芙已雄, 石井亮, 深山篤, 中村高雄. グループディスカッションにおける説得力推定のためのマルチパー ティモデル. 人工知能学会全国大会論文集, pp. 3H3OS12a02-3H3OS12a02, 2022.

[18] 有岡無敵, 山本賢太, 井上昂治, 河原達也, 中村哲, 吉野幸一郎. 遠隔操作アンドロイドを用いたマルチモーダル説得対話コーパスの収集と分析. 言語処理学会第 28 回年次大会発表論文集, pp. 185-190, 2022.


# 音声言語処理のための注意機構を用いた音声認識仮説統合

叶高朋 1 小川厚徳 ${ }^{1}$ マーク・デルクロア ${ }^{1}$ 渡部晋治 ${ }^{2}$
1 日本電信電話株式会社 2 カーネギーメロン大学
\{takatomo.kanou.xe, atsunori.ogawa.gx, marc.delcroix.hc\}@hco.ntt.co.jp
shinjiwacmu.edu

## 概要

音声要約や音声翻訳などの音声言語処理（Spoken language processing:SLP）の多くは, 音声認識 (Automatic speech recognition:ASR) モデルとテキスト翻訳・要約などの自然言語処理（Natural language processing：NLP）モデルの直列接続で実現されている.このような直接接続のシステム構成では, 音声認識誤りが NLP モデルの性能に悪影響を与えることが知られている. 本研究では, 音声認識誤りの悪影響を低減させるため, 複数の ASR モデルの出力を統合しながら, 翻訳・要約を行う方法を提案する。提案手法は要約・翻訳にとどまらず, 様々な直列接続の SLP システムに適用可能である. 本研究では, まず音声要約と音声翻訳の評価実験を通して提案手法の有効性を確認した。

## 1 はじめに

音声要約や音声翻訳など, 多くの音声言語処理 (Spoken language processing：SLP）は, 音声認識 (Automatic speech recognition：ASR）モデルと自然言語処理モデル (Natural language processing : NLP) の直列接続で実現されている。このような直列接続のシステムの学習には, 音声と出力テキストの大規模なぺアデータを必要とせず, 個々の ASR モデルと NLP モデルに最先端のモデルを採用することができる。一方, 2 つの異なるモデルの学習と推論が独立して行われるため, 音声認識誤りが後段の NLP モデルの推論に悪影響を与え, SLP システム全体の精度が低下する.

このような認識誤り伝搬の問題に対し, 先行研究では認識誤りに対して頑健になるような拡張を NLP モデルに行い, 再学習することで認識誤り伝搬の影響を低減した [1-5]. これらの先行研究では, 1 つの ASR から複数の認識仮説を出力させ, ASR 結果の信頼度などの補助情報を抽出し, 信頼度を基
に複数の認識仮説の統合を行う音声翻訳を提案している.また我々も先行研究において, Bidirectional Encoder Representations from Transformers (BERT) [6] の分散表現に基づいた音声認識仮説の統合に関する手法 [7] を提案し, 複数の認識仮説が音声要約において, 音声認識誤りに対する頑健性を向上させることを確認した。

しかし,これらの先行研究では, 単一の ASR モデルを使い複数仮説を生成しているため, 認識仮説のバリエーションが乏しい. これは, N-best デコー ディングが多様な結果を出力しないことに起因する. さらに, [3-5] では, ASR モデルから補助情報を抽出して, NLP モデルで再学習するため, ASR モデルと NLP モデルで同じ単語辞書を使用しなければならないという制約がある。これは, 従来の直列接続のメリットであった, ASR と NLP モデルの独立性を損なうもので, ASR モデルまた NLP モデル，もしくは両方の性能を低下させる。そのため, 最もよい性能の ASR モデルと言語処理モデルを利用した直列接続でシステムを構成できず, SLP モデルの再学習を行う際に, 初期状態が最適なものではないという問題がある.

次に, 音声認識誤りの影響を低減させる方法として, 音声認識精度を改善し認識誤りそのものを減らす方法がある. 先行研究では, 複数の ASR システムを統合することで音声認識精度を改善できることが報告されている [8-11]. これらシステム統合法では，異なる ASR モデルから出力された仮説を比較することで, 認識誤りの位置を推定し修正することが出来了. 本研究では, それらシステム統合法の中で, 最もよく使われる Recognizer output 投票 error reduction (ROVER) [10] に着目する．ROVER は ASR の後処理として広く利用され, アラインメントと投票の 2 段階の処理を通して認識仮説を統合する [12-16]. ROVER では, 音声認識結果を単語単位で比較・修正するため, ASR モデルと NLP モデルに対して特別な
拡張を必要とせず, 直列接続の独立性を損なわない.

しかし, ROVER にもいくつかの問題がある.まず,アラインメントの処理は, 単語単位の動的計画法で行われるため単語同士の類似性や文脈情報を考慮できない. 次に, 投票の処理では, 各システムの認識結果を平等に扱うため, 多くの認識器が間違えた中, 1 つ認識器が正解を出力するような場合は, 正しく修正できない. さらに直列接続の SLP システムでは, 入力音声を一字一句正しく認識した結果が必ずしも良い出力につながらないという問題ある [17].具体的には, ASR モデルはフィラーや言い間違い, 言いよどみなども正しく認識しようとする。しかし， これらは翻訳や要約には不要で, NLP モデルの精度を下げる一因となる。そのため SLP システムでは,最終的な要約・翻訳精度を最大化するような認識結果を用いる必要があるが, ROVER は学習可能な重みを持たないため, 特定のタスクに対して最適化することができない.

本研究では, ROVER に代わる方法として, 複数の ASR モデルの出力結果を NLP モデル内部で統合する方法を提案する. 提案手法では, 注意機構を用いて, 複数の ASR モデルの出力結果をアラインメントし統合する処理を NLP モデルの分散表現に基づいて行う. 注意機構は学習可能な重みをもち, 特定のタスクに最適なシステム統合を学習することが出来了. 提案法は, 直近の我々の研究 [7] から派生し, 階層的注意機構 $[18,19]$ やマルチストリームコンビネーションの研究 [20], マルチモーダル処理の研究 [21] とも関連する. 提案手法では, 複数の ASR モデルの出力結果をマルチストリームとみなし, 注意機構を用いて統合する.

本研究では, 音声翻訳と音声要約において提案手法をROVERなどの先行研究 $[3,4,10,22]$ と比較した. 翻訳と要約では解く問題や, 扱うコンテキスト情報の長さが異なる. 例えば, 翻訳では, 多言語間の複雑な単語の対応関係を学習する必要があるが, 一発話単位で翻訳が行われるため, 複数文にまたがる依存関係を考慮しない。一方, 要約は同一言語間で変換を行うため, 単語の対応関係の学習は容易であるが, 文章全体の要点を見つけるために, 複数文にまたがる依存関係を学習する必要がある. 異なる 2 つのタスクに対して, 本実験では両タスクに共通の Conformer ASR モデル [23]を, 翻訳タスクには Transformer モデル [24]を, 要約タスクには BERTSum モデル [25]をそれぞれ採用して SLP シス

Speech signal図 1 ROVER と注意機構を用いた仮説統合の比較. 図内において, 注意機構を用いた仮説統合モジュールを Attention Fusion と表記する。

テムを構築した. 提案手法は,このような異なる夕スクとモデル構造の SLP システムに対して, 最適なシステム統合を行い, 両タスクにおいて性能を改善することができた.

## 2 ASR 仮説の統合

## 2.1 従来の ASR 仮説統合

複数の ASR 仮説の統合し認識精度を改善する研究としては, Lattice を使った方法や, Minimum Bayes risk decoding を使った方法などが提案されている $[8,9,11]$. 本研究では, その中で最も一般的な手法である ROVER に着目した. ROVER [10] はアラインメントと投票の 2 段階の処理を通して, 異なる長さの認識仮説を統合する。まずアラインメントステップでは, 動的計画法を用いて挿入, 削除, 置換を追加した Word Transition Networkを作成し, 投票ステップでは, 各時間において最も出現頻度も高い認識仮説を正解として採用する.

ROVER は ASR の後処理として行われ, 認識結果の単語列を直接比較するため, 様々な SLP システムに取り入れることが出来る. しかし, 単語同士の類似度や文脈情報などの有益な情報を考慮できず, また学習可能な重みも持たない. そのため, 各タスクにおいて, 単語の重要度を考慮して ASR システム統合を行い, SLP システムの性能を最大化するというような最適化ができない. 本研究では, これらの ROVER の持つ問題を解決するため, 注意機構を用いた ASR システムの統合法を紹介する.

## 2.2 ASR 仮説の分散表現

ASR 仮説の統合は, 単語の類似度, 文脈情報などを考慮するため, NLP の分散表現に基づいた統合を行う. ここで入力単語列 $S^{n} \in \mathbb{R}^{L}$ に対する NLP モデルの最初の数層の出力結果を $E^{n} \in \mathbb{R}^{L \times D}$ とする.

$
E^{n}=g\left(S^{n}\right),
$

ここで, $g(\cdot)$ は NLP モデルの最初の数層の写像処理, $D$ は隠れ層の次元数を表す. ASR システムの総数は $N$ であり, $S^{n}$ は $n$ 個目の ASR が出力した認識結果を表す. 各 $S^{n}$ の長さが異なるため, 事前に最後尾に Maskトークンで Padding を行い各系列を同じ長さ $L$ に揃える. 提案手法と ROVER 法の違いを図 1 に示す. 図 1 中の $h(\cdot)$ は $g(\cdot)$ 以降の隠れ層の処理を表す. ROVER は ASR モデルと NLP モデルのデー 夕受け渡し間に仮説の統合を行うのに対して, 提案手法では, NLP モデルの Encoder 内部で ASR 仮説の統合を行う.

## 2.3 注意機構による仮説アライメント

まず, ROVER のアラインメントに相当する処理として, 本研究では注意機構を用いて入力された各 ASR 出力系列の位置合わせを行う。まず, SLP システムの再学習時に, 検証データを元に各 ASR モデルの性能を計測し, 最も性能が高い出力 ASR モデルを同定し, その出力系列を参照仮説 $E^{r}$ とする. 注意機構の Query には参照仮説 $E^{r}$ を Key と Value には任意の ASR システムの出力仮説 $E^{n}$ を用いる. この時は, 参照仮説 $E^{r}$ は任意の認識仮説 $E^{n}$ にも含まれる.

注意機構を用いたアラインメント結果 $\tilde{E}^{n}$ は以下のように得られ，

$
\tilde{E}^{n}=\operatorname{softmax}\left(\left(E^{r} W^{Q}\right)\left(E^{n} W^{K}\right)^{\mathrm{T}}\right) E^{n} W^{V}
$

ここで, T は転置記号を表す. 提案手法はROVER と比べた際,ソフトアライメントを実現し, Encoder で学習された文脈情報や単語の類似度を考慮できるため, 単語のみでなくフレーズなどより長い単位を考慮したアライメントを実現可能である.

注意機構には Multi-head-attention を採用し, 注意機構は各 Query, Key, Value に対し学習可能な重み $W^{Q}, W^{K}, W^{V} \in \mathbb{R}^{D \times D^{\prime}}$ を持つ. 本研究では, 注意機構の入力次元数 $D^{\prime}$ と出力次元数 $D$ は同じであり,注意機構の重みは正方行列となる.これらの重みを単位行列で初期化する。その理由は, 複数の ASR システム統合を行う際に, ランダムな写像を行うと
BERTなどの事前に学習された分散表現を十分に考慮できないために, 学習開始時点では, 注意機構において恒常写像が行われ, 参照仮説が選択されるよう意図したためである.これにより, 事前学習モデルの性能を大きく劣化させずに仮説統合の学習を行うことが出来る.

## 2.4 注意機構による仮説の統合

次に, ROVER の投票に相当するステップでは, 階層的注意機構 $[18,26,27]$ と同様にアラインメントされた各系列の位置 $l$ ごとに異なる $N$ 個の ASR モデルから出力された仮説を統合する. $\tilde{E} \in \mathbb{R}^{N \times L \times D}$ はアラインメント済みの $N$ 個の長さ $L$ の音声認識結果の系列である. この時, 位置 $l の E_{l} \in \mathbb{R}^{N \times D}$ について, 注意機構を用いた統合を以下のようにあらわす.

$
\begin{aligned}
\alpha_{l} & =\operatorname{softmax}\left(\left(e_{l}^{r}\right)^{\mathrm{T}} W^{Q} \tilde{E}_{l}\right), \\
e_{l}^{\mathrm{att}} & =\alpha_{l} \tilde{E}_{l}^{\mathrm{T}}
\end{aligned}
$

ここで, $\alpha_{l} \in \mathbb{R}^{1 \times N}$ は各 ASR システムの出力に対する注意重みである. 提案手法と ROVER との違いは,提案手法では正解単語を出現頻度に基づいて仮説単語から選択するのではなく, 特徴空間上で参照仮説と他の仮説の類似度を計算し重みとして, すべての仮説を重ね合わせて正解単語を表現する点である. これにより, 同時に複数の単語の情報を考慮することが可能となる.

## 3 実験

本研究では, 音声要約・翻訳タスクについて関連する先行研究と提案手法の比較を行った. データセットには, TED Talk から作成した要約コーパスである TEDSumarry [7] と Youtube のビデオから作成した HOW2 [28] を採用し, ROUGE [29]・BLEU [30] スコアでの客観評価を実施した。本実験における ASR モデルは ESPnet ${ }^{1)}$ で公開されている Tedlium/HOW2 のレシピに従い構築した. Tedliium は TEDTalk から作成した音声認識コーパスであり, TEDSumarry 用の ASR モデルの学習に用いられる. 要約・翻訳モデルは OpenNMT ${ }^{2}$ をもとに公開されているレシピ・実装3)を用いて構築した。

本実験では, Topline として正解の音声認識結果を翻訳・要約した結果 (0) ASR-GTを採用し, Baseline

として, 評価セットで最も性能の良い ASR システムを用いた結果を (1) ASR w/ASR BPE, BERT と同じ辞書を使用した ASR システムを用いた結果 (3) ASR w/BERT BPE, ROVER ですべての ASR システムの結果を統合し, 翻訳・要約した結果を (3) ROVER に示す. また, 追加で再学習を行う手法として, 音声認識結果で NLP を再学習したシステムである (4) Retrain と, 先行研究である (5) Confidence [22] と我々の先行研究である (6) Nbest fusion [7] を用意し比較した.

表 1 ROUGE スコア (R1, R2, RL)での各システムの比較結果: システム (7) が提案手法

表 1 の結果より, 提案手法は先行研究の (5) Confidence および, 我々の先行研究 (6) Nbest fusion よりも HOW2 データにおいて良い要約性能を示した. 一方で TEDSumarry データにおいては, HOW2 データほど顕著な優位性を確認できていない。これは, TEDSumarry では正解の音声認識を用いる場合でも, 要約が困難で Topline の性能が低く, Baseline との差が少ない. そのため, 性能改善の余地が少ないことが一つの原因だと考えられる. Topline と Baseline の差が少ない理由として, 表 2 に示すように, TEDTalkでの ASR 性能が高く認識誤りが少ないことが考えられる。

次に, 音声翻訳の性能を同様のデータを用いて評価した結果を表 3 に示す. ここで, 翻訳モデルと同じ辞書を使用した ASR システムを用いた結果 (3) ASR w/MT BPE を示す. 表 3 の結果において, 両

表 2 各 BPE サイズと音声認識性能の単語誤り率による評価. $30.5 \mathrm{k}^{*}$ は BERT モデルの単語辞書のサイズ. ROVER は, 各 ASR システムをROVER で統合した際の認識性能

表 3 BLUE スコアによる各音声翻訳システムの評価. システム (7) が提案手法.

データに対して提案手法の優位性が確認できた. 翻訳においても, TEDよりも HOW2 データでの Topline と Baseline の差が大きく, 全体的にスコアの差が大きい。これは前述の音声認識性能の差と, 英語 (En) からポルトガル語 $(\mathrm{Pt})$ への翻訳が, 英語からドイツ語（De）へのよりも容易であるためだと考えられる. よってこれらの結果から提案手法について次のようなことが言える.

提案手法は, 複数の ASR システムを NLP 内部で統合することで, 様々なタスク・データにおいて音声認識誤りで劣化する翻訳・要約性能を回復できる. しかし, ASR モデルの性能が高く, NLP モデルの性能が低いケースでは, 音声認識誤りが SLP システムに及ぼす影響が少なく, 精度改善の余地が少ない.加えて提案法は NLP モデルの分散表現に基づいて仮説統合を行うため, NLP モデルの性能が低い場合は, NLP モデルの分散表現が十分に学習されておらず, NLP の分散表現を基に仮説を統合する提案法は効果が小さく, 他の手法との優位な差が出にくいこと考えられる。

## 4 まとめ

本研究では, ASR と NLPを組み合わせて実現される SLP システムにおいて, 音声認識誤りによる性能劣化を改善する手法を提案した，本提案手法は, ROVER を参考に複数の ASR の出力結果を, NLP の分散表現に基づいて統合する.これにより, 従来 ROVER では難しかった, 単語の類似度や文脈情報を考慮した仮説統合を実現し, 音声要約・翻訳, 双方のタスクで既存手法を上回る音声認識誤りへの頑健性を示した. 今後は, 注意機構による Alimento と統合方法の改善. 他の音声言語処理タスクへの適応などを検討していく。

## 参考文献

[1] Nicola Bertoldi, Richard Zens, and Marcello Federico. Speech translation by confusion network decoding. In ICASSP, pp. 12971300, 2007.

[2] Masaya Ohgushi, Graham Neubig, Sakriani Sakti, Tomoki Toda, and Satoshi Nakamura. An empirical comparison of joint optimization techniques for speech translation. In INTERSPEECH, pp. 2619-2623, 2013.

[3] Kaho Osamura, Takatomo Kano, Sakti Sakriani, Katsuhito Sudoh, and Satoshi Nakamura. Using spoken word posterior features in neural machine translation. In IWSLT, 2018.

[4] Parnia Bahar, Tobias Bieschke, Ralf Schlüter, and Hermann Ney. Tight integrated end-to-end training for cascaded speech translation. In SLT, pp. 950-957, 2021.

[5] Matthias Sperber, Graham Neubig, Jan Niehues, and Alex Waibel. Neural lattice-to-sequence models for uncertain inputs. In IWSLT, pp. 1380-1389, 2017.

[6] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: pre-training of deep bidirectional transformers for language understanding. In NAACL-HLT, pp. 4171-4186, 2019.

[7] Takatomo Kano, Atsunori Ogawa, Marc Delcroix, and Shinji Watanabe. Attention-based multi-hypothesis fusion for speech summarization. In ASRU, pp. 487-494, 2021.

[8] Gunnar Evermann and Woodland Philip. Posterior probability decoding, confidence estimation and system combination. In Speech Transcription Workshop, Vol. 27, pp. 78-81, 2000.

[9] Björn Hoffmeister, Dustin Hillard, Stefan Hahn, Ralf Schlüter, Mari Ostendorf, and Hermann Ney. Cross-site and intra-site ASR system combination: Comparisons on lattice and 1-best methods. In ICASSP, pp. 1145-1148, 2007.

[10] Jonathan Fiscus. A post-processing system to yield reduced word error rates: Recognizer output voting error reduction (rover). In ASRU, pp. 347-354, 1997.

[11] Haihua Xu, Daniel Povey, Lidia Mangu, and Jie Zhu. Minimum bayes risk decoding and system combination based on a recursion for edit distance. Comput. Speech Lang., Vol. 25, No. 4, pp. 802-828, 2011.

[12] Olivier Siohan, Bhuvana Ramabhadran, and Brian Kingsbury. Constructing ensembles of asr systems using randomized decision trees. In ICASSP, Vol. 1, pp. 197-200, 2005.

[13] Venkata Ramana Rao Gadde, Andreas Stolcke, Dimitra Vergyri, Jing Zheng, M. Kemal Sönmez, and Anand Venkataraman. Building an ASR system for noisy environments: Sri's 2001 SPINE evaluation system. In INTERSPEECH, 2002.

[14] Yulia Tsvetkov, Florian Metze, and Chris Dyer. Augmenting translation models with simulated acoustic confusions for improved spoken language translation. In EACL, pp. 616-625, 2014.

[15] Arne Mauser, Richard Zens, Evgeny Matusov, Sasa Hasan, and Hermann Ney. The RWTH statistical machine translation system for the IWSLT 2006 evaluation. In IWSLT, pp. 103-110, 2006.

[16] Christian Fügen, Alex Waibel, and Muntsin Kolss. Simultaneous translation of lectures and speeches. Mach. Transl., pp. 209-252, 2007.

[17] Xiaodong He, Li Deng, and Alex Acero. Why word error rate is not a good metric for speech recognizer training for the speech translation task? In ICASSP, pp. 5632-5635, 2011.

[18] Zichao Yang, Diyi Yang, Chris Dyer, Xiaodong He, Alexander J. Smola, and Eduard H. Hovy. Hierarchical attention networks for document classification. In NAACL-HLT, pp. 1480-1489, 2016.

[19] Jindrich Libovický and Jindrich Helcl. Attention strategies for multi-source sequence-to-sequence learning. In ACL, pp. 196202, 2017.

[20] Xiaofei Wang, Ruizhi Li, Sri Harish Mallidi, Takaaki Hori, Shinji Watanabe, and Hynek Hermansky. Stream attention-based multi- array end-to-end speech recognition. In ICASSP, pp. 7105-7109, 2019.

[21] Chiori Hori, Takaaki Hori, Teng-Yok Lee, Ziming Zhang, Bret Harsham, John R. Hershey, Tim K. Marks, and Kazuhiko Sumi. Attention-based multimodal fusion for video description. In ICCV, pp. 4203-4212, 2017.

[22] Shi-Yan Weng, Tien-Hong Lo, and Berlin Chen. An effective contextual language modeling framework for speech summarization with augmented features. In EUSIPCO, pp. 316-320, 2020.

[23] Anmol Gulati, James Qin, Chung-Cheng Chiu, Niki Parmar, Yu Zhang, Jiahui Yu, Wei Han, Shibo Wang, Zhengdong Zhang, Yonghui Wu, and Ruoming Pang. Conformer: Convolutionaugmented transformer for speech recognition. In Interspeech, pp. 5036-5040. ISCA, 2020.

[24] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In NIPS, pp. 5998-6008, 2017.

[25] Alexandra Savelieva, Bryan Au-Yeung, and Vasanth Ramani. Abstractive summarization of spoken and written instructions with BERT. In SIGKDD, Vol. 2666 of CEUR Workshop Proceedings, 2020.

[26] Potsawee Manakul, Mark J. F. Gales, and Linlin Wang. Abstractive spoken document summarization using hierarchical model with multi-stage attention diversity optimization. In INTERSPEECH, pp. 4248-4252, 2020.

[27] Tzu-En Liu, Shih-Hung Liu, and Berlin Chen. A hierarchical neural summarization framework for spoken documents. In ICASSP, pp. 7185-7189, 2019.

[28] Ramon Sanabria, Ozan Caglayan, Shruti Palaskar, Desmond Elliott, Loïc Barrault, Lucia Specia, and Florian Metze. How2: A large-scale dataset for multimodal language understanding. CoRR, Vol. abs/1811.00347, , 2018.

[29] Chin-Yew Lin. ROUGE: A package for automatic evaluation of summaries. In ACL, pp. 74-81, 2004.

[30] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In ACL, pp. 311-318, 2002.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 電話音声認識における特定の文脈への ドメイン適応のための合成音声によるデータ拡張

東佑樹 1 友松祐太 ${ }^{1}$
1 株式会社 AI Shift
\{azuma_yuki, tomomatsu_yuta\}@cyberagent.co.jp

## 概要

タスク指向型の音声対話システムでは予約受付や本人確認等のタスクにおいて，予めパターンの決まっている発話内容 (会員番号, 商品 ID, etc.)を認識する場面がしばしば存在する。そこで本研究では，電話音声認識のタスクにおいて，音声合成により生成した音声を用いて転移学習を行い，特定パターンの認識性能の向上を試みた。提案手法では認識したい発話群の読みを正規表現により生成し，それぞれの読みに対応する音声を合成し，転移学習用のデー タとする. 汎用的な音声認識モデルとの認識性能の比較実験をおこなった結果，提案手法は汎用的なモデルを上回る性能を示した。

## 1 はじめに

タスク指向型の音声対話システムでは，一般にユーザの発話を音声認識 (Automatic Speech Recognition; ASR) によりテキストに書き起し，そのテキストをもとにインテント抽出やシステム応答文の選択などの対話戦略を行う，という構成が取られている。そのような音声対話システムでは ASR の認識誤りが後段のタスクの精度を著しく低下させる $[1,2]$ ため, 高い認識性能が求められる. 加えて，ドメインおよびタスク毎に出現する固有名詞や表現は変化するため，それらを適切に認識するために都度モデルの学習が必要となる. 近年の End-to-End 型の汎用の ASR システムは非常に高い性能を発揮するようになった $[3,4]$ が，ドメイン固有の単語は誤認識しやすい傾向にある. ドメイン毎に転移学習用のデータを整備することでこの問題は解決できる可能性があるが，データの作成には多大なコストを必要とする。また，End-to-End 型の ASR は従来の ASR システムに見られるような音響モデルや言語モデル等が統合されているため，ドメインごとの言語モデ
ルの切り替えが困難となる。

本研究では，予めパターンの決まっている発話内容を認識するタスクにおいて，多様なパターンの発話を考慮した転移学習の手法を提案する。具体的には認識したい発話群の読みを正規表現により生成し，各読みに対応する音声を合成音声により作成することで，ドメインごとの音声を収集することなくモデルの転移学習を実現する．実験では，番地表現を認識対象とし，自社で運用している音声対話システムを通して録音された音声を用いて, 汎用的に使用される ASR システムとの間で認識性能の比較を行う。これにより提案手法の有効性を示す.

## 2 関連研究

教師あり音声データを使用せずに ASR をドメイン適応させるためにはいくつかのアプローチが提案されている.

[5] や [6] ではドメイン適応の選択肢として合成音声を利用している。これらの手法では転移学習時に Encoder 層のパラメータを freeze させることがドメイン外のデータに対する認識性能を向上させるのに有効であることが報告されている。

End-to-End 型の ASR システムにおいて，外部言語モデルを学習時に効果的に利用する手法も提案されている. 代表的な手法としては [7] や [8] などが挙げられる。これらはモデル内部に暗黙的に存在しうる言語モデルをタスクに応じて効果的に調整するための試みである.

また，近年では追加の学習を行うことなく専門用語などの低頻度語の認識精度を改善する手法も提案されており $[9,10,11]$ ，これらはデコーディング時に認識させたいキーワードの出力確率を引き上げるアルゴリズムを組み込むことで出力結果の調整を実現している。

本研究では，音響的な特性が事前学習データと大

きく異なる電話音声をターゲットドメインとしており, その特性を転移学習時に考慮するために，合成音声を利用するアプローチを採用する。

## 3 提案手法及び実験設定

## 3.1 ASR システム

本実験では，ベースとなる ASR として Conformer [3] を採用し, 電話音声へのドメイン適応を考慮した ASR システムを探求する. モデルの学習には ESPnet[12]を利用し，パラメータ等の学習設定は基本的に CSJ のレシピ1)を踏襲している. このレシピは Hybrid CTC/Attention Architecture[13] を採用しており，学習時に Encoder の出力から CTC $\operatorname{Loss}\left(L^{c t c}\right)$ と Attention Decoder を通した損失 $\left(L^{a t t}\right)$ を個別に計算し，両方のスコアの重み付き和により最終的な損失関数 $L$ を決定する。

$
L=\alpha L^{c t c}+(1-\alpha) L^{a t t}
$

また，ESPnetには Shallow Fusion [14](以下，LM) の機能が用意されており，推論時にテキストコーパスのみから学習された言語モデルの出力確率と ASR の出力確率を組み合わせることができる. 本実験では LM の有無による性能の比較も行う。より詳細なモデルの説明はレシピを参照されたい.

また，本実験では，汎用的な ASR システムとして Google Speech-to-Text ${ }^{2}$ ) (以下， Google STT) を選択した。これをべースラインとして，後述の評価データを用いて電話音声の性能比較を行う。

## 3.2 データセット

本実験では，日本語話し言葉コーパス (Corpus of Spontaneous Japanese; CSJ)[15] を事前学習データとして採用した. 転移学習時の学習データ及び検証データは Google Text-to-Speech ${ }^{3}$ (以下， Google TTS) の APIにより生成された合成音声を用いた. 評価データは, 自社で運用している自動音声対話サービス AI Messenger Voicebot ${ }^{4}$ (以下，Voicebot) を通じて収集した電話音声を用いた. 以下，各データの作成手順について記述する。

表 1 番地表現とそれに対応する読みの例. Google TTS にはこのうち対応する読みのテキストを入力として与える

 \\

## 3.2.1 事前学習データの前処理

CSJ の音声は $16 \mathrm{kHz}$ でサンプリングされている.一方で，電話音声のサンプリング周波数は $8 \mathrm{kHz}$ である。学習時と評価時のサンプリング周波数のミスマッチを防ぐため，本実験では CSJ の音声を $8 \mathrm{kHz}$ にダウンサンプリングした. さらに，電話音声で用いられる $\mu$-law アルゴリズム [16] によるコンパンディングにより，評価データである電話音声の音質に近づけた．以下，CSJ の音声を $8 \mathrm{kHz}$ にダウンサンプリングさせて学習させた事前学習モデルを Conformer ${ }_{8 k}$ ，さらに $\mu$-law を通したものを Conformer $_{\text {ulaw }}$ と呼ぶ.

## 3.2.2 転移学習データの作成

転移学習用のデータは以下の通りに作成する。まず，認識させたい表現を受理する正規表現を記述する. 本実験では番地表現 (数字とハイフンの組み合わせ+5) であるため，一つの表現に対して複数の読みの候補が存在しうる (例 $: 0 \rightarrow$ レイ, ゼロ, マル). そこで，各表現に対してとりうる読みを列挙した上で，その読みに対応する音声を Google TTS によって作成する (表 1 参照). その際，多様な音声表現を得るために話者 4 種類，音量 3 種類の組み合わせ (計 12 種類) の設定で音声を作成しデータを拡張した。最終的に生成可能な合成音声の量は膨大な数に及ぶため，今回はその中からランダムに分量を選択した 2 種類を用意した．以下，データ量の小さい方，大きい方をそれぞれ small， large と呼ぶ。それぞれのデータの数は表 2 に示す.
 あるが，本稿では簡単のため考慮していない。

また，3.2.3 節で述べるように，評価データはユー ザ発話の前後に背景雑音のみの区間が入りうるため, 条件を近づけるため合成音声の前後に無音区間を加えた音声も用意した. 具体的には, 合成音声の前に $0 \sim 5$ 秒の中からランダムな長さの無音区間を追加し, 合計の長さが 5 秒間になるように合成音声の後に無音区間を加える．以下，前述の前処理を加えていない場合，無音を追加した場合をそれぞれ $T T S_{\text {org }}, T T S_{\text {pad }}$ と表す.

## 3.2.3 評価データの作成

評価データは 21 名の日本語話者によって, Voicebotを通して収集した音声 (合計 131 発話) を利用した. 具体的には, bot の発話が終了した時点から次に bot が再度発話を開始するまでの区間をユー ザ発話区間とみなし，当該区間を切り出した。 そのため, 評価データには音声の前後に余分に切り出された背景雑音が含まれうる.この背景雑音区間の有無による性能の影響を検証するため，雑音区間を人手で削除したものもあわせて作成した. 以下，人手で無音区間を切り出した音声を test $_{\text {cut }}$, 切り出す前の音声を test $_{\text {org }}$ と表す.

## 4 実験結果と考察

学習した各モデルの認識性能の評価を表 3 に示

も低い文字誤り率 (Character Error Rate; CER) となった学習設定では, ベースラインよりも高い精度を示したが， test org に対してはむしろ低い精度となった。また，他の条件を揃えた場合 LMを利用しない方が一貫してスコアが改善するという結果になった。そこで，最良の条件時 (事前学習モデル： Conformer $_{\text {ulaw }}$, 学習データ量: large, LM: なし)の転移学習データを前述の $T T S_{p a d}$ に変更したところ,

もベースラインを上回る結果となった.

表 3 の実験結果は転移学習時のパラメータの更新箇所を全層に対して行った結果となるが, Encoder を freeze させて実験を行ったところ，性能が著しく悪化するという結果になった (表 4 参照). 先行研究 [5, 6] では転移学習時に Decoder のパラメータを更新することが有効な学習戦略であったのに対し，本実験ではそれに反する結果となった. 先行研究 [5] では Encoder-Decoder ネットワーク [17]を，[6] では RNN-Transducer [18] をべースにした構造を ASR モ表 3 実験結果

 & & & 11.7 & 10.7 \\

デルに採用しているが，本実験では ESPnet の CSJ レシピと同様に Hybrid CTC/Attention Architecture[13] を採用している.このモデルは学習時に Encoder からの出力から CTC Loss と Attention Decoderを通した損失を個別に計算し，両方のスコアの重み付き和により最終的な損失関数を決定する。 CTC Loss は Encoder からの出力を線形層に通した後の値をもとに計算されるため, Encoder のパラメーターを freeze してしまうと更新するパラメータ数が極端に少なくなってしまい，学習がうまく進められなくなったと考えられる。

$T T S_{\text {pad }}$ の条件下では, test $t_{c u t}$, test org の双方で性能が向上した. TTS $S_{\text {org }}$ の条件下では, 事前学習時,転移学習時双方において, 人間の発話の前後に背景雑音区間はほとんど含まれない. そのため, 入力音声長と正解データのテキスト長がある程度対応付けられる学習条件になっており, 背景雑音に対し hallucination $[19,20]$ が発生した可能性が示唆され, $T T S_{p a d}$ の条件によりその影響が低減されたと考えることができる.

表 4 更新パラメータの箇所による挙動の変化. なお, 更新パラメータの箇所以外の学習条件は同一 (転移学習デー タは small, $T T S_{\text {org }}$, LM あり)とする.

## 5 まとめ

本研究ではターゲットとなるドメインの学習デー タが得られない状況で，転移学習のためのデータを音声合成により作成する手法を電話音声認識タスクにおいて行った。比較実験の結果，最も良い性能を発揮した学習設定において, 汎用的な音声認識モデルの精度を上回ることを示した. ただし, 前後の無音区間を切り取っていない音声に対する性能の改善
幅は比較的軽微にとどまった。今後は，多様な背景雑音が含まれる音声に対する頑健性の向上について検討を続ける。また，本研究では正規表現が受理する発話のみを対象にドメイン適応しており，多様な話し方や言い間違い，言い淀みなどによる発話の摇れを考慮をしておらず，それらの音声への対処方法は十分ではない．この点に関しても検討していきたい.

## 謝辞

本論文の作成にあたりご協力いただきました，株式会社 AI Shift の杉山雅和氏，戸田隆道氏，二宮大空氏, 株式会社サイバーエージェントの邊土名朝飛氏に厚く御礼申し上げます。また，有益なご助言をいただきました，吉本暁文氏，郡山知樹氏をはじめとする株式会社サイバーエージェントの AI Lab の方々，名古屋工業大学の李晃伸氏，上乃聖氏にこの場を借りて感謝申し上げます.

## 参考文献

[1] Xiujun Li, Yun-Nung Chen, Lihong Li, Jianfeng Gao, and Asli Celikyilmaz. Investigation of language understanding impact for reinforcement learning based dialogue systems, 2017. https://arxiv.org/abs/1703.07055.

[2] Bing Liu and Ian Lane. End-to-end learning of taskoriented dialogs. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Student Research Workshop, pp. 67-73, New Orleans, Louisiana, USA, June 2018. Association for Computational Linguistics.

[3] Anmol Gulati, Chung-Cheng Chiu, James Qin, Jiahui Yu, Niki Parmar, Ruoming Pang, Shibo Wang, Wei Han, Yonghui Wu, Yu Zhang, and Zhengdong Zhang. Conformer: Convolution-augmented transformer for speech recognition. In Interspeech.

[4] Wei Han, Zhengdong Zhang, Yu Zhang, Jiahui Yu, ChungCheng Chiu, James Qin, Anmol Gulati, Ruoming Pang, and Yonghui Wu. Contextnet: Improving convolutional neural networks for automatic speech recognition with global context. In Interspeech, 2020.

[5] Mimura Masato, Ueno Sei, Inaguma Hirofumi, Sakai Shinsuke, and Kawahara Tatsuya. Leveraging sequence-tosequence speech synthesis for enhancing acoustic-to-word speech recognition. In 2018 IEEE Spoken Language Technology Workshop (SLT), pp. 477-484, 2018.

[6] Jinyu Li, Rui Zhao, Zhong Meng, Yanqing Liu, Wenning Wei, Sarangarajan Parthasarathy, Vadim Mazalov, Zhenghao Wang, Lei He, Sheng Zhao, and Yifan Gong. Developing rnn-t models surpassing high-performance hybrid models with customization capability. In Interspeech, 2020.

[7] Anuroop Sriram, Heewoo Jun, Sanjeev Satheesh, and Adam Coates. Cold fusion: Training seq2seq models together with language models. In Interspeech, 2018.

[8] Changhao Shan, Chao Weng, Guangsen Wang, Dan Su, Min Luo, Dong Yu, and Lei Xie. Component fusion: Learning replaceable language model component for endto-end speech recognition system. In ICASSP, 2019.

[9] Duc Le, Mahaveer Jain, Gil Keren, Suyoun Kim, Yangyang Shi, Jay Mahadeokar, Julian Chan, Yuan Shangguan, Christian Fuegen, Ozlem Kalinli, Yatharth Saraf, and Michael L. Seltzer. Contextualized streaming end-to-end
speech recognition with trie-based deep biasing and shallow fusion. In Interspeech, 2021.

[10] Mirek Novak and Pavlos Papadopoulos. Rnn-t lattice enhancement by grafting of pruned paths. In Interspeech, 2022.

[11] Jung Namkyu, Kim Geonmin, and Chung Joon Son. Spell my name: Keyword boosted speech recognition. In ICASSP, 2022.

[12] Shinji Watanabe, Takaaki Hori, Shigeki Karita, Tomoki Hayashi, Jiro Nishitoba, Yuya Unno, Nelson Enrique Yalta Soplin, Jahn Heymann, Matthew Wiesner, Nanxin Chen, Adithya Renduchintala, and Tsubasa Ochiai. Espnet: Endto-end speech processing toolkit. In Interspeech, pp. 2207-2211, 2018 .

[13] Shinji Watanabe, Takaaki Hori, Suyoun Kim, John R. Hershey, and Tomoki Hayashi. Hybrid ctc/attention architecture for end-to-end speech recognition. IEEE Journal of Selected Topics in Signal Processing, Vol. 11, No. 8, pp. 1240-1253, 2017.

[14] Takaaki Hori, Shinji Watanabe, Yu Zhang, and William Chan. Advances in joint ctc-attention based end-to-end speech recognition with a deep cnn encoder and rnn-lm. In Interspeech, 2017.

[15] Kikuo Maekawa. Corpus of spontaneous japanese : its design and evaluation. Proceedings of The ISCA IEEE Workshop on Spontaneous Speech Processing and Recognition (SSPR), pp. 7-12, 2003.

[16] Mark A. Castellano, Todd Hiers, and Rebecca Ma. Tms320c6000 $\mu$-law and a-law companding with software or the mcbsp. Technical report, Texas Instruments Inc, 2000 .

[17] Dzmitry Bahdanau, Jan Chorowski, Dmitriy Serdyuk, Philémon Brakel, and Yoshua Bengio. End-to-end attention-based large vocabulary speech recognition. In ICASSP, pp. 4945-4949, 2016.

[18] Alex Graves, Abdel rahman Mohamed, and Geoffrey Hinton. Speech recognition with deep recurrent neural networks. In ICASSP, 2013.

[19] K. Sagae, M. Lehr, E. Prud'hommeaux, P. Xu, N. Glenn, D. Karakos, S. Khudanpur, B. Roark, M. Saraçlar, I. Shafran, D. Bikel, C. Callison-Burch, Y. Cao, K. Hall, E. Hasler, P. Koehn, A. Lopez, M. Post, and D. Riley. Hallucinated $n$-best lists for discriminative language modeling. In ICASSP, 2012.

[20] Krithika Ramesh, Ashiqur R. KhudaBukhsh, and Sumeet Kumar. 'beach' to 'bitch' : Inadvertent unsafe transcription of kids' content on youtube. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 36, No. 11, pp. 12108-12118, Jun. 2022.


# Next Sentence Prediction に基づく文脈を考慮した ASR N-best のリランキング

邊土名朝飛 ${ }^{1}$ 友松祐太 ${ }^{1}$
1 株式会社 AI Shift
\{hentona_asahi, tomomatsu_yuta\}@cyberagent.co.jp

## 概要

パイプライン型のタスク指向型音声対話システムにおいて，上流に位置する音声認識システムの音声認識誤りが後続処理に与える影響は大きい. 本研究では，ユーザ発話の ASR 出力の $\mathrm{N}$-best 候補と直前のシステム発話のペアを BERT に入力し， Next Sentence Prediction のアプローチでリランキングすることで，ASR システムの音声認識誤りを低減させることを試みる。また，リランキング性能の向上を目的として，質問応答データセットを用いて BERT の fine-tuning を行う. 実験では，音声認識誤りを付与したデータセットを作成し，リランキング手法適用前後の音声認識誤り率を測ることで有効性を示す.

## 1 はじめに

タスク指向型の音声対話システムは，複数のモジュールから構成されるパイプライン型と，1つのモデルで全ての処理を行う End-to-End 型の 2 つに分類される [1]. 一般的なパイプライン型の音声対話システムは，自動音声認識 (Automatic Speech Recognition; ASR）システムを用いて音声データであるユーザ発話をテキストに変換し，後段の各モジュールで言語理解 (Natural Language Understanding; NLU）や行動決定（Policy），対話状態追跡（Dialogue State Tracking; DST）といった処理を行う [1]. パイプライン型の対話システムは各モジュールが独立しているため，機能ごとにモジュールを個別開発することができるほか，各モジュールの入出力が明確であり解釈しやすいという実応用上の利点がある.

しかし，先行するモジュールから順番に処理される性質上，あるモジュールで生じたエラーが後続のモジュールにも影響を与え，対話能力が低下してしまう欠点が存在する。特に，パイプラインの上流に位置する ASR システムの音声認識誤りが後続処理

図 1 ASR N-best 候補のリランキングの概要図

に与える影響は大きい。音声認識誤りは汎用 ASR システムを使用した場合により顕著に現れるが， [2] のような特定のドメインに特化した ASR システムを開発するためには多大なコストがかかる．そのため，音声認識誤りを改善することを目的として， BERT[3] などの大規模言語モデルを用いて ASR システム出力の N-best 候補をリランキングする手法が数多く提案されてきた $[4,5,6]$.

本研究では，直前のシステム発話を文脈情報として与え，ユーザ発話の ASR N-best 候補をリランキングすることで，ASR システムの音声認識誤りを低減させることを試みる (図 1 参照). N-best 候補のリランキングは，BERT を用いて Next Sentence Prediction(NSP) を行うことで実現する。 さらに，数が非常に限られている日本語タスク指向型対話のデータセットの代わりに，質問応答データセットを用いて BERT の fine-tuning を行い，リランキング性能を向上させることを試みる。関連研究として，対話状態追跡 (Dialogue State Tracking; DST) タスクにおいては，質問応答データセットを用いて学習することで未知ドメインに対する性能が向上したことが報告されている $[7,8]$.
実験では，音声認識誤りを付与したデータセットを作成しリランキング後の ASR 出力の音声認識誤り率を測ることで，NSP および質問応答データセットを用いた fine-tuning の有効性を検証する。

## 2 手法

## 2.1 BERT NSP

最も適した ASR N-best 候補を選択するためのアプローチとして NSPを採用する。NSP は，2つの文を入力として与え, 2 文目が 1 文目に続く文章であるかどうかを識別するタスクである (図 2 参照). BERT-NSP の概要を図 1 に示す. 本研究では, 直前のシステム発話を 1 文目，後続のユーザ発話の ASR N-best 候補を 2 文目とみなし，NSP と同様の枠組みで N-best 候補の“適切さ”のスコアを定量的に推定する. ASR システムが出力した $\mathrm{N}$ 件の認識候補 (N-best) に対し，各候補のスコアをそれぞれ推定した後，スコアが高い順に N-best 候補を並び替える.最終的に，1 番目の候補 (i.e., 最もスコアの高い候補)をASR 出力として選択する. BERT は事前学習として NSP タスクを解いているため, fine-tuning を行わない状態でもある程度は文脈的に適切な N-best 候補を選択できることが期待できる。

図 2 Next Sentence Prediction

## 2.2 QA BERT NSP

質問応答データセットを使用し，質問文を 1 文目，回答文を 2 文目とみなして NSP タスクを解くことで fine-tuningを行う. タスク指向型対話のシナリオの多くは「何日に予約しますか？」 $\longrightarrow \Gamma 12$ 日の月曜日でお願いします」のように質問と回答が交互に行われることで進んでいくことから，質問応答タスクの一種と考えることができる。そこで本研究では，質問応答データセットから「会社の最高責任者を何というか？」セ「社長」のような質問・回答ペアを作成し，それらのデータを用いて BERTを fine-tuning する。これにより，タスク指向型対話に適したモデルとなり, 単純な NSP タスクで事前学習したモデルよりもシステム発話と N-best 候補の間の関係をより適切に捉えることができるようになると考えられる。

図 3 QA BERT NSP モデルの fine-tuning

## 3 実験

本章では，2 章で紹介した手法の評価実験を行う.

## 3.1 実験設定

## 3.1.1 評価用データセット

評価用データセットとして日本語質問応答データセットである JGLUE[9, 10] の JCommonsenseQAを採用し, dev set（データ数：1,119件）を実験に用いた. JCommonsenseQA は，1つの質問につき 5 つの回答選択肢が提示され，そのうち 1 つが正解となっている Multiple choice task データセットである.検証にあたり，JCommonsenseQA の質問文をシステム発話，回答文をユーザ発話とみなす。ただし，回答文には音声認識誤りは含まれていないため，音声合成エンジンを用いて回答文を音声に変換し，その音声を ASR システムに入力することで音声認識誤りを付与した. 音声合成エンジンは pyopenjtalk ${ }^{1 \text { ) }}$ を，ASR システムは Google Cloud Speech-to-Text ${ }^{2}$ を用いた。音声合成時には，弊社で運用している電話自動応答サービス ${ }^{3}$ の状況に近い音声認識誤りを付与するために，合成音声データのサンプリングレー トを一般的な電話音声のものと同じ $8 \mathrm{kHz}$ にダウ

1) https://github.com/r9y9/pyopenjtalk

2) https://cloud.google.com/speech-to-text

3) https://www.ai-messenger.jp/voicebot/
表 1 評価結果

ンサンプリングし，音声品質を低下させた．また， ASR システムが出力する $\mathrm{N}$-best 候補の数は最大 10 件（10-best）出力するように設定し，音声認識に失敗したサンプルは除外した. 最終的に評価に用いたデータは 958 件となった.

## 3.1.2 モデル

実験では，質問応答データセットで fine-tuning した BERT(QA-BERT-NSP) および fine-tuning 無しの BERT(BERT-NSP) の 2 つのモデルを用いた. ベースとなる BERT モデルは，東北大学が公開している日本語 $\mathrm{BERT}^{4}$ を採用した。

QA-BERT-NSP の学習には, JGLUE の JCommonsenseQA の train set（データ数：8,939 件）を使用し，質問・回答テキストのペアを作成した．質問・回答テキストのペアの正例と負例の比率は $1: 1$ に設定し，負例サンプルは正解を除いた 4 つの回答選択肢からランダムに 1 件選択することで獲得した. これにより, 17,878 件の学習データを取得した.また，このうち $90 \%$ を学習用データ，残りの $10 \%$ を検証用データセットとした. 学習時のパラメータについては, batch size は 32, learning rate は $5 \times 10^{-5}$, warmup ratio は 0.1 , epoch数は 5 に設定し, Validation loss が最小となったモデルを評価実験に使用した. その他のパラメータについては huggingface transformer のデフォルト設定に従った.

## 3.1.3 評価指標

適切な ASR N-best 候補を選択できたかを測る評価指標として Word Error Rate (WER) と Character Error Rate (CER) を採用した. WER 計算時に用いる Tokenizer は， \$3.1.2 で説明した日本語 BERT のものを使用した. また, 音声認識結果には基本的に含ま

4) https://huggingface.co/cl-tohoku/ bert-base-japanese-whole-word-masking
れない句読点（、。）・疑問符（?)・感嘆符（！）はテキスト中から削除して評価を行った。

## 3.2 結果と考察

実験結果を表 1 に示す.ここで，表中の Oracle， 1-best，Random について説明する。
- Oracle ASR 出力の N-best 候補中から WER, CER が最小となる候補を選択した際の性能. すなわち，リランキング性能の上限值を表している.

-1-best ASR 出力の N-best の第 1 候補を選択した際の性能.

・Random ランダムに N-Best 候補を選択した際の性能.

次に, w/ ground truth, w/o ground truthについて説明する。
- $w$ / ground truth ASR 出力の N-best 候補中に正解データ (Ground truth)を含ませた場合の評価結果.
- w/o ground truth ASR 出力の N-best 候補中に正解データ (Ground truth) を含めない場合の評価結果.

BERT-NSP と QA-BERT-NSP の WER， CER を比較すると，QA-BERT-NSP のエラー率が全ての評価項目で低いことがわかる.このことから, ASR 出力の N-best候補のリランキングタスクにおいては，質問応答データセットで fine-tuning を行うことは有効であることが示唆される。ここで，w/ ground truth と w/o ground truth の結果を比較すると，w/o ground truth における BERT-NSP と QA-BERT-NSP の性能差よりも w/ ground truth における性能差が小さいことがわかる。この結果から，質問応答データセットによる fine-tuning では文脈的に正しい N-best 候補を選択する能力への寄与は小さいということが示唆さ

れる。

fine-tuning により文脈的に正しい N-best 候補を選択する能力があまり改善しなかったのにも関わらず，N-best の中に正解データを含めないw/o ground truthにおいて性能に差がでた要因として， fine-tuning により名詞単体の N-best 候補を優先的に選択するようになったことが考えられる. 質問応答データセットの回答は名詞 1 単語であることが多いため，それらのデータを用いて fine-tuning したことにより，名詞らしくない N-best 候補を選択しないような挙動になる. 評価データも同じく質問応答デー タセットを用いているため, 名詞らしくない候補を選ばないようにするだけでもエラー率が改善したと考えられる。

一方，1-best を見ると BERT-NSP と QA-BERT-NSP と比較してエラー率が 10 ポイント前後低いため, より文脈的に正しい N-best 候補を選択できるよう BERT モデルを改善する必要がある. Oracleを見ると, 1-best と比較してエラー率が $1 / 3$ 以下であることから，ASR 出力の N-best 中には正しい出力候補が含まれている可能性が高いことを示しており，リランキングによる改善の余地が大きいといえる.

## 4 おわりに

本研究では，文脈情報として直前のシステム発話と，ユーザ発話の ASR 出力の N-best 候補のペアを BERT に入力し, Next Sentence Prediction のアプロー チでリランキングすることで ASR システムの音声認識誤りを低減させることを試みた。また，リランキング性能の向上を目的として，質問応答データセットを用いて BERT の fine-tuning を行うことの有効性を検証した。音声認識誤りを付与したデータセットを用いた実験の結果，文脈的に正しい N-best 候補を識別する能力への fine-tuning の効果は限定的であることが示唆された。一方で，質問応答データセットで fine-tuning した BERT の方が fine-tuning していない BERT よりもエラー率は低下した.今後の課題として, より詳細なエラー分析と, 多様な音声認識誤りパターンを生成し学習に用いることで音声認識誤りにロバストなリランキングモデルを構築することを検討していきたい.

## 謝辞

本論文の作成にあたりご協力頂きました，株式会社 AI Shift の杉山雅和氏，戸田隆道氏，東佑樹氏，二宮大空氏，下山翔氏にこの場を借りて厚く御礼申し上げます.

## 参考文献

[1] Hongshen Chen, Xiaorui Liu, Dawei Yin, and Jiliang Tang. A survey on dialogue systems: Recent advances and new frontiers. SIGKDD Explor. Newsl., Vol. 19, No. 2, p. 25-35, nov 2017.

[2] Yong Zhao, Jinyu Li, Shixiong Zhang, Liping Chen, and Yifan Gong. Domain and speaker adaptation for cortana speech recognition. In 2018 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), pp. 5984-5988, 2018.

[3] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[4] Liyan Xu, Yile Gu, Jari Kolehmainen, Haidar Khan, Ankur Gandhe, Ariya Rastrow, Andreas Stolcke, and Ivan Bulyko. Rescorebert: Discriminative speech recognition rescoring with bert. In ICASSP 2022 - 2022 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), pp. 6117-6121, 2022.

[5] Shih-Hsuan Chiu and Berlin Chen. Innovative bert-based reranking language models for speech recognition. In 2021 IEEE Spoken Language Technology Workshop (SLT), pp. 266-271, 2021.

[6] Joonbo Shin, Yoonhyung Lee, and Kyomin Jung. Effective sentence scoring method using bert for speech recognition. In Wee Sun Lee and Taiji Suzuki, editors, Proceedings of The Eleventh Asian Conference on Machine Learning, Vol. 101 of Proceedings of Machine Learning Research, pp. 1081-1093. PMLR, 17-19 Nov 2019.

[7] Shuyang Gao, Sanchit Agarwal, Di Jin, Tagyoung Chung, and Dilek Hakkani-Tur. From machine reading comprehension to dialogue state tracking: Bridging the gap. In Proceedings of the $2 \mathrm{nd}$ Workshop on Natural Language Processing for Conversational AI, pp. 79-89, Online, July 2020. Association for Computational Linguistics.

[8] Zhaojiang Lin, Bing Liu, Andrea Madotto, Seungwhan Moon, Zhenpeng Zhou, Paul Crook, Zhiguang Wang, Zhou Yu, Eunjoon Cho, Rajen Subba, and Pascale Fung. Zero-shot dialogue state tracking via cross-task transfer. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 7890-7900, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[9] Kentaro Kurihara, Daisuke Kawahara, and Tomohide Shibata. JGLUE: Japanese general language understanding evaluation. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp.

2957-2966, Marseille, France, June 2022. European Language Resources Association.

[10] 栗原健太郎, 河原大輔, 柴田知秀. Jglue: 日本語言語理解ベンチマーク. 言語処理学会第 28 回年次大会, 2022.


# Representative Data Selection for Sequence-to-Sequence Pre-training

Haiyue Song ${ }^{1,2}$ Raj Dabre ${ }^{2}$ Zhuoyuan Mao $^{1} \quad$ Chenhui Chu $^{1} \quad$ Sadao Kurohashi $^{1}$
${ }^{1}$ Kyoto University ${ }^{2}$ NICT
\{song, zhuoyuanmao, chu, kuro\}@nlp.ist.i.kyoto-u.ac.jp
$\{$ raj.dabre $\}$ @nict.go.jp
}

\begin{abstract}
Pre-trained sequence-to-sequence models such as BART [1] have helped improve natural language generation quality. However, training large models is resourceconsuming. We propose a data selection algorithm that selects a tiny but representative subset from billion-scale datasets. Experimental results show that pre-training with $0.26 \%$ data and $4.4 \%$ energy consumption achieves about 90\% BLEU scores on machine translation (MT) tasks and ROUGE scores on text summarization tasks, compared to pre-training on the entire dataset. Compared to random selection baselines, it shows lower perplexity (PPL), higher BLEU and ROUGE scores.
\end{abstract
## 1 Introduction

Pre-training and then fine-tuning is a widely-used paradigm for natural language processing $[2,3]$. However, training pre-trained models such as BART $[1,4]$, IndicBART [5], mT5 [6] usually takes hundreds to thousands of GPU days. Previous works focus on reducing the parameters of the model [7], but there are very few studies [8] related to shrinking the dataset, which can also reduce computational costs.

In this work, we propose a clustering-based representative data selection algorithm. As illustrated in Figure 1, we first convert discrete sentences into continuous embeddings. Then, we perform large-scale and efficient clustering of the sentences based on the embeddings. From each cluster, we select several centroid points according to the scale of the cluster. The centroids from each cluster are combined to form the representative subset. Furthermore, we propose to combine an unsupervised outlier detection method to remove noisy data points. We calculate the

Figure 1: Centroids of clusters as representative data. Each component stands for one cluster with close sentence embeddings. Mapped to 2-D with t-SNE [9].

center point of the entire embedding space and filter out points distant from the center. Experimental results show that with $0.26 \%$ data of the entire dataset and $4.4 \%$ energy comsumption, it can obtain relatively high performance on MT and text summarization tasks, only 2 to 4 points lower in terms of BLEU and ROUGE scores.

## 2 Related Work

Supervised Data Selection In-domain data selection $[10,11,12]$ focuses on extracting sentences from a large general-domain corpus that are most relevant to a target domain. Trusted data or clean selection $[13,14]$ aims to select trusted (clean) data from a general-domain corpus given a small trusted (clean) dataset. They all rank data according to the cross-entropy difference [10] between a general language model (LM) and a target LM, where the
target LM is trained on in-domain data, trusted data, or clean data. However, they require supervision and only solve one particular downstream task.

## Small Scale Representative Data Selection

Representative data selection finds a small subset of the original dataset that captures the most information. Previous methods include calculating the mutual information and relative entropy [15], converting to a sparse multiple measurement vector problem [16]. They are slow and require large memory, therefore, can only handle approximately 10k data points; however, billions of sentences are used in pre-training.

## 3 Representative Data Selection

We introduce the representative data selection approach to extract a fraction from a multi-million to billion scale dataset. It consists of the following steps:

Continuous Embedding Conversion In order to perform clustering, we first convert discrete data such as sentences into continuous representations in a common space. Suppose there is a set containing $n$ sentences $S=\left.\{s_{1}, \ldots, s_{n}\right.\}$. We convert $S$ into embedding set $E=\left.\{e_{1}, \ldots, e_{n}\right.\}$ as following:

$
e_{i}=f\left(s_{i} \mid \theta\right), \quad f: \mathbb{S} \rightarrow \mathbb{R}^{d}
$

where $f$ denotes the sentence-to-vector model, $\theta$ is the parameters of $f, d$ is the dimension of the output vector and $\mathbb{S}$ is a set of all the natural language sentences. Here $f$ can be sent2vec [17] or sentBERT [18].

Outlier Detection We apply an outlier detection algorithm [19] to eliminate noisy data in an unsupervised manner. We first calculate the center of the embedding space $e_{c}$ and filter outliers whose distance from $e_{c}$ is greater than two standard deviations. The de-noised embedding set contains $m$ points, $E^{\prime}=\left.\{e_{1}^{\prime}, \ldots, e_{m}^{\prime}\right.\}$. More precisely:

$
\begin{aligned}
& e_{c}=\operatorname{center}(E)=\frac{1}{n} \sum_{i} e_{i} \\
& E^{\prime}=\left.\{e_{i}^{\prime} \mid e_{i}^{\prime} \in E,\left.\|e_{i}^{\prime}-e_{c}\right.\|<2 \sigma\right.\}
\end{aligned}
$

where $\sigma$ denotes the standard deviation.

Clustering and Selection Suppose we select a subset $S^{\prime}$ containing $k$ sentences. We first apply efficient K-Means algorithm on GPUs [20] to create $k$ clusters $c_{1}, \ldots, c_{k}$ from $E^{\prime}$. For each cluster $c_{i}$ with size $\left|c_{i}\right|$, we select $\frac{k}{m} *\left|c_{i}\right|$ sentences whose embeddings are the nearest from the center of $c_{i}$, forming $S_{c_{i}}^{\prime}=\left.\{e_{1}^{\left(c_{i}\right)}, \ldots, e_{N}^{\left(c_{i}\right)}\right.\}$ :

$
S_{c_{i}}^{\prime}=\underset{\left.\{e_{j}^{\left(c_{i}\right)} \in c_{i}\right.\}}{\arg \min } \sum_{j=1}^{N}\left.\|e_{j}^{\left(c_{i}\right)}-\operatorname{center}\left(c_{i}\right)\right.\|
$

where $N=\frac{k}{m}\left|c_{i}\right|$.

The representative set $S^{\prime}$ of the entire dataset $S$ is the union of all representative sets from each cluster:

$
S^{\prime}=\bigcup_{i=1}^{k} S_{c_{i}}^{\prime}, \quad\left|S^{\prime}\right|=\sum_{i=1}^{k} \frac{k}{m} *\left|c_{i}\right|=k
$

## 4 Experiments

## 4.1 Settings

## Datasets
- Pre-train: IndicCorp [21] that contains a total of 458M sentences in 11 Indian languages and English.
- MT: PMI dataset [22] from WAT2021 MultiIndicMT task [23].
- Summarization: data in 7 Indic languages from multilingual XLSum dataset [24].

We applied script unification for all Indic languages to Devanagari, following mBART50 [4] and IndicBART [5]. Across all experiments, we used the IndicBART vocabulary of $64 \mathrm{k}$ subwords. ${ }^{1 \text { ) }}$

## - Pre-train Methods Comparison
- w/o Pre-train: directly train on downstream tasks from random parameters initialization.
- Random: pre-trained on $k$ randomly selected sentences.
- Random+RemoveOutlier (RO): first remove outliers, then apply Random.
- Repre: pre-train on $k$ sentences by representative data selection w/o outlier detection.
- Repre+RemoveOutlier (RO): first remove outliers, then apply Repre.
- Full: use $458 \mathrm{M}$ monolingual sentences in the IndicCorp dataset.

We compare proposed Repre and Repre+RO methods with two baselines Random and Random+RO. We set $k$ to $1.2 M$ and select sentences from different languages while keeping their proportions in the IndicCorp dataset. We follow fine-tuning settings in [5].

1) Download: https://github.com/AI4Bharat/indic-bart

## - Representative Data Selection Settings
- Continuous Embedding Conversion: we trained one Sent2vec [17] model for each language on IndicCorp data with default settings and sentence embedding dimension to 768 .
- Clustering Algorithm: we used GPU-implemented K-Means in the Faiss toolkit [20].

Model Hyperparameters We followed the settings of IndicBART ${ }^{2}$ and used the yanmmt toolkit ${ }^{3)}$ based on Hugging Face. ${ }^{4}$ )
- Architecture: transformer model of 6 encoder layers and 6 decoder layers with 16 attention heads.
- Training: we used 8 GPUs with a batch size of 4,096 tokens during pre-training and 2,048 tokens during fine-tuning. We trained $200 \mathrm{k}$ steps in pre-training and apply early stopping to fine-tuning.

## 4.2 Pre-trained Model Perplexity

We report our results in terms of the perplexities obtained on a mix of all dev sets from the PMI dataset that contains high-quality data from 10 Indian languages and English. As shown in Figure 2, proposed Repre method showed approximately 0.15 lower minimal PPL than Random. Furthermore, RO is effective for both Random and Repre methods.

## 4.3 Energy Consumption Comparison
- Full: trained on 48 V100 GPUs for 750k steps [5].
- Proposed: trained on 8 V100 GPUs for 200k steps.

Therefore, our approach reduces the energy consumption to $4.4 \%$ 5) compared with Full. $^{6 \text { ) }}$

## 4.4 MT Results

As presented in Table 3, proposed methods yield the highest BLEU scores for all pairs compared with baselines. With $4.4 \%$ energy consumption, our results are only 2-4 BLEU points lower than Full. Additionally, RO helps both Random and Repre.

2) https://github.com/AI4Bharat/indic-bart

3) https://github.com/prajdabre/yanmtt

4) https://huggingface.co
5) $(8 * 200 \mathrm{k}) /(48 * 750 \mathrm{k})=4.4 \%$

6) Training sent 2 vec models and clustering consumes very little energy in comparison.

Figure 2: Perplexity curves of pre-trained models on the PMI dev sets.

## 4.5 Summarization Results

As expressed by Table 1, proposed methods achieve higher ROUGE-L F-scores than baselines. Especially for low-resource bn language that contains only 80k training points, Repre is more robust than Random.

Table 1: ROUGE-L F1 scores on the summarization task.

## 4.6 Outlier Detection Examples

We show examples of normal sentences and outliers. We extract 300 English sentences from IndicCorp and apply the outlier detection algorithm to form Figure 3 together with Table 2. We can find that outlier sentences contain more proper nouns and disfluent phrases.

Table 2: The corresponding sentences in Figure 3.

 \\

Table 3: Performance on the MT task. Report sacreBLEU [25] scores on the WAT2021 MultiIndicMT test set.

Figure 3: Outlier detection. High-dimensional embeddings are mapped into 3-D points by t-SNE [9].

## 4.7 Sentence Clustering Examples

Table 4 shows the clustering results. In each cluster, the centroid is the most relevant from all other points. For example, in the first cluster, sentences are related to "Earth", "Jupiter", "ocean planet", "Life on Earth" and the sentence related to "Earth" is the centroid.
Table 4: Example of clusters. The centroids of the clusters are representative data.

 \\

## 5 Conclusion

In this paper, we propose a representative data selection algorithm together with an unsupervised outlier detection algorithm. With only $0.26 \%$ data and $4.4 \%$ energy consumption of the full model, proposed methods show reasonable performance on MT and text summarization tasks, and much higher performance compared to baselines.

## Acknowledgement

This work was supported by JSPS KAKENHI Grant Numbers JP21J23124.

## References

[1] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension. In ACL.2020, pp. 7871-7880, Online, July 2020.

[2] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In NAACL.2019, pp. 4171-4186, Minneapolis, Minnesota, June 2019

[3] Liu Zhuang, Lin Wayne, Shi Ya, and Zhao Jun. A Robustly Optimized BERT Pre-training Approach with Posttraining. In Proceedings of the 20th Chinese National Conference on Computational Linguistics, pp. 1218-1227, Huhhot, China, August 2021. Chinese Information Processing Society of China.

[4] Yuqing Tang, Chau Tran, Xian Li, Peng-Jen Chen, Naman Goyal, Vishrav Chaudhary, Jiatao Gu, and Angela Fan. Multilingual Translation with Extensible Multilingual Pretraining and Finetuning, 2020.

[5] Raj Dabre, Himani Shrotriya, Anoop Kunchukuttan, Ratish Puduppully, Mitesh M. Khapra, and Pratyush Kumar. IndicBART: A Pre-trained Model for Natural Language Generation of Indic Languages, 2021.

[6] Linting Xue, Noah Constant, Adam Roberts, Mihir Kale, Rami Al-Rfou, Aditya Siddhant, Aditya Barua, and Colin Raffel. mT5: A Massively Multilingual Pre-trained Textto-Text Transformer. In NAACL-HLT.2021, pp. 483-498, Online, June 2021.

[7] Zhenzhong Lan, Mingda Chen, Sebastian Goodman, Kevin Gimpel, Piyush Sharma, and Radu Soricut. ALBERT: A Lite BERT for Self-supervised Learning of Language Representations, 2019.

[8] Ernie Chang, Xiaoyu Shen, Hui-Syuan Yeh, and Vera Demberg. On Training Instance Selection for Few-Shot Neural Text Generation. In ACL-IJCNLP.2021, pp. 8-13, Online, August 2021. Association for Computational Linguistics.

[9] Laurens van der Maaten and Geoffrey Hinton. Visualizing Data using t-SNE. Journal of Machine Learning Research, Vol. 9, No. 86, pp. 2579-2605, 2008.

[10] Robert C. Moore and William Lewis. Intelligent Selection of Language Model Training Data. In ACL.2010, pp. 220224, Uppsala, Sweden, July 2010.

[11] Amittai Axelrod, Xiaodong He, and Jianfeng Gao. Domain Adaptation via Pseudo In-Domain Data Selection. In EMNLP.2011, pp. 355-362, Edinburgh, Scotland, UK., July 2011.

[12] Marlies van der Wees, Arianna Bisazza, and Christof Monz. Dynamic Data Selection for Neural Machine Trans- lation. In EMNLP.2017, pp. 1400-1410, Copenhagen, Denmark, September 2017.

[13] Wei Wang, Taro Watanabe, Macduff Hughes, Tetsuji Nakagawa, and Ciprian Chelba. Denoising Neural Machine Translation Training with Trusted Data and Online Data Selection. In Proceedings of the Third Conference on Machine Translation: Research Papers, pp. 133-143, Brussels, Belgium, October 2018. Association for Computational Linguistics.

[14] Wei Wang, Isaac Caswell, and Ciprian Chelba. Dynamically Composing Domain-Data Selection with Clean-Data Selection by "Co-Curricular Learning" for Neural Machine Translation. In ACL.2019, Florence, Italy, July 2019.

[15] Feng Pan, Wei Wang, A.K.H. Tung, and Jiong Yang. Finding representative set from massive data. In ICDM.2005, pp. 8 pp.-, 2005.

[16] Ehsan Elhamifar, Guillermo Sapiro, and René Vidal. See All by Looking at a Few: Sparse Modeling for Finding Representative Objects. In CVPR.2012, pp. 1600-1607, 2012.

[17] Prakhar Gupta, Matteo Pagliardini, and Martin Jaggi. Better Word Embeddings by Disentangling Contextual nGram Information. In NAACL-HLT.2019, pp. 933-939, Minneapolis, Minnesota, June 2019.

[18] Nils Reimers and Iryna Gurevych. Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks. In EMNLP-IJCNLP.2019, pp. 3982-3992, Hong Kong, China, November 2019.

[19] Stefan Larson, Anish Mahendran, Andrew Lee, Jonathan K. Kummerfeld, Parker Hill, Michael A. Laurenzano, Johann Hauswald, Lingjia Tang, and Jason Mars. Outlier Detection for Improved Data Quality and Diversity in Dialog Systems. In NAACL-HLT.2019, pp. 517-527, Minneapolis, Minnesota, June 2019

[20] Jeff Johnson, Matthijs Douze, and Hervé Jégou. BillionScale Similarity Search with GPUs. IEEE Transactions on Big Data, Vol. 7, No. 3, pp. 535-547, 2021.

[21] Divyanshu Kakwani, Anoop Kunchukuttan, Satish Golla, Gokul N.C., Avik Bhattacharyya, Mitesh M. Khapra, and Pratyush Kumar. IndicNLPSuite: Monolingual Corpora, Evaluation Benchmarks and Pre-trained Multilingual Language Models for Indian Languages.

[22] Barry Haddow and Faheem Kirefu. PMIndia - A Collection of Parallel Corpora of Languages of India, 2020.

[23] Toshiaki Nakazawa, Hideki Nakayama, Chenchen Ding, Raj Dabre, Shohei Higashiyama, Hideya Mino, Isao Goto, Win $\mathrm{Pa} \mathrm{Pa}$, Anoop Kunchukuttan, Shantipriya Parida, Ondřej Bojar, Chenhui Chu, Akiko Eriguchi, Kaori Abe, Yusuke Oda, and Sadao Kurohashi. Overview of the 8th Workshop on Asian Translation. In WAT.2021, pp. 1-45, Online, August 2021.

[24] Tahmid Hasan, Abhik Bhattacharjee, Md. Saiful Islam, Kazi Mubasshir, Yuan-Fang Li, Yong-Bin Kang, M. Sohel Rahman, and Rifat Shahriyar. XL-Sum: Large-Scale Multilingual Abstractive Summarization for 44 Languages. In Findings of ACL-IJCNLP.2021, pp. 4693-4703, Online, August 2021.

[25] Matt Post. A Call for Clarity in Reporting BLEU Scores.


# 日本語 GPT を用いたトークナイザの影響の調査

井上 誠一 ${ }^{12}$ Nguyen Tung ${ }^{1}$ 中町礼文 ${ }^{1}$ 李 聖哲 ${ }^{1}$ 佐藤 敏紀 ${ }^{1}$
${ }^{1}$ LINE 株式会社 2 東京都立大学
\{seiichi.inoue, tung.nguyen, akifumi.nakamachi,
shengzhe.li, toshinori.sato\}@linecorp.co.jp

## 概要

本研究では，大規模言語モデルである日本語 GPT を用いて，Byte-level Byte Pair Encoding トークナイザの構築方法や語彙サイズの違いによる言語モデルの性能を比較し分析した．具体的には，日本語テキストを対象としたトークナイザ構築において，トークナイザの構築に用いるテキストの事前分割，トークナイズ時の分かち書きの有無，語彙サイズという観点で調査を行った.

## 1 はじめに

近年，GPT-3 [1]をはじめとした大規模言語モデルが注目を集めており，自然言語処理のさまざまなタスクの性能を向上させている. 言語モデルの構築において，モデル化するテキストの単位を検討することは重要であるが，モデルのアーキテクチャや言語，またタスクによって適切なトークナイザは異なる [2]. 例えば，Alyafeai ら [3] は，アラビア語において, 複数の異なるトークナイズ手法を用いて感情分析と文書分類を行っており，ほとんどの夕スクにおいて，単語レベルのトークナイザを小さな語彙サイズで学習させたものが最良の結果となることを示した. また，Pan ら [4] は，トルコ語とウルグアイ語の機械翻訳において，形態素解析を行なった後に Byte Pair Encoding (BPE) [5] の学習を行うことで，通常の BPE を使用する場合に比べて性能が向上することを示した。しかし，これらは GRU [6] や Transformer [7] を対象としており, GPT におけるトークナイザの比較，分析は行われていない。また，GPTでは，トークナイザに Byte-level Byte Pair Encoding (Byte-level BPE) [8] が用いられるが，現時点では対象の言語が英語や韓国語 $[1,9]$ に限られており，日本語を中心としたコーパスに対する Byte-level BPE の分析は行われていない. そこで，本研究では，条件の異なるトークナイザ
を用いて，日本語 GPT の事前学習と含意関係認識タスクを用いた転移学習を行い1)，トークナイザの違いが言語モデルの事前学習や下流タスクに与える影響を示し，分析する。

以下に本研究の貢献を示す:

・Byte-level BPEトークナイザについて，トークナイザの構築に用いるテキストの事前分割，トー クナイズ時の分かち書きの有無，語彙サイズという観点で比較を行い，分析した。

・日本語 GPTを用いた含意関係認識タスクにおけるトークナイザの違いによる影響を比較し，分析した.

## 2 関連研究

## 2.1 Generative Pre-training of a Language Model (GPT)

GPT [1,10,11] は，Transformer decoder をべースとした，大規模なコーパスを用いて教師なしで学習される自己回帰型言語モデルである．具体的には， コーパス $\mathrm{X}=\left(x_{1}, x_{2}, \ldots, x_{N}\right)$ の可変長のトークン列を $x_{n}=\left(s_{1}, s_{2}, \ldots, s_{M}\right)$ としたとき，以下の目的関数を最大化することで学習される:

$
p\left(x_{n}\right)=\prod_{i=1}^{M} P\left(s_{i} \mid s_{i-k}, \ldots, s_{i-1}\right)
$

ただし， $k$ は文脈窓幅であり，条件付き確率 $P$ はニューラルネットワークを用いてモデル化される.

## 2.2 Byte-level Byte Pair Encoding

GPT では，トークナイザとして，頻度に基づいた単語分割を学習する手法の一つである Byte-level BPE が用いられている．BPEが文字レベルでのトー クンを学習するのに対し, Byte-level BPE は Byte レベルでトークンを学習しており，基本的には BPE と

1） GPT の構築には Megatron-LM を用いた: https://github. com/NVIDIA/Megatron-LM.
同じアルゴリズムで構築される。

Kim ら [9] は，韓国語を中心としたコーパスを用いて GPTを構築した. トークナイズにおいて，韓国語は英語とは異なる言語特性をもつため，生のテキストを用いてトークナイザの構築を行うのではなく, 形態素解析器を用いてコーパスを事前に形態素に分割してから Byte-level BPEを学習している. しかし，日本語は単語と単語の間にスペースが含まれないなど，韓国語とも言語的な特徵が異なっているため, 日本語において同様の処理を行うことが適切であるかは自明でない.

## 2.3 トークナイザ分析

日本語トークナイザ構築における辞書選択菊地ら [12] は, 日本語 BERT を対象として, トークナイザの入力時において文章を形態素に分割する際に用いる辞書の違いによる性能を，分類タスクを用いて比較した. しかし, 菊池らは, 事前学習とファインチューニングでトークナイザを統一していないため，トークナイザ選択による影響を正確に調査できていない。また，これはトークナイザに SentencePiece [13] を用いた BERT に限定された研究であるため, GPT における Byte-level BPE において同様の結果となるかは定かではない。

語彙サイズの選択Gowda ら [14]は，機械翻訳における適切な語彙サイズに関する分析を行っており，BPEにおいて語彙サイズを大きくすることが性能の向上につながることを示した. また, Xuら [15] も，機械翻訳において，語彙サイズを変化させた時の BLEU [16] のスコアの変化量 (Marginal Utility of Vocabularization: MUV）について最適輸送を用いて最適化する手法を提案した. しかし，これらは日本語を対象とはしておらず，日本語コーパスにおけるトークナイザの語彙サイズについては分析されていない.

## 2.4 含意関係認識

含意関係認識とは，以下に示すようなテキストと仮説を与え，テキストと仮説の間に含意，矛盾，中立のどの関係があるかの判別をシステムで行うタスクである。

テキスト鉢植えの植物のあるテーブルの前で，笑顔の男性の隣に座っている女性が笑っている。

仮説女性は笑っている。

推論判定含意表 1 前処理後の JSNLI データセットの統計量.

## 3 実験

## 3.1 データセット

事前学習GPT の事前学習には, Wikipedia, ニュースサイト，ブログサイト，新聞等の日本語を中心としたテキストから構築されたコーパスを用いた. 前処理として，重複する文書の削除，ランダムサンプリングを行い，最終的に学習に使用したコー パスのサイズは $10 \mathrm{~GB}$ となった.

評価タスク本研究では，GPTの性能比較のための評価タスクとして日本語 SNLI（JSNLI）デー タセット [17]を用いた. JSNLI は，含意関係認識のデータセットである SNLIを日本語に翻訳したものであり，SNLIに機械翻訳を適用した後，評価デー タにクラウドソーシングによるフィルタリング，学習データに計算機による自動フィルタリングを施すことで構築されている. 本研究では, 公開されているデータセットのうち，フィルタリング後の学習データを用い，それに対し学習コストの問題から， さらに 1/10 のランダムサンプリングを行い，それを9:1で学習データと開発データに分割した. 評価データについては，公開されているものをそのまま用いた. 表 1 にデータセットの統計量を示す.

## 3.2 事前学習

GPT の事前学習において，モデルの Layer 数を 12, Hidden dimension を 512, Attention Head の数を 8 とした。また，学習率は $1 \mathrm{e}-4$, バッチサイズは $56^{22}$ とし, iteration 数は $1,000,000$ とした。

## 3.3 転移学習

GPT で評価タスクを解く際は，転移学習やファインチューニングによるモデルの調整を行わず，推論時にタスクに関する説明と少量のデモンストレー ションを与える few-shot 設定を用いるのが一般的である.しかし, 本研究では, 計算コストの問題から GPT のパラメータ数を小さくしており, few-shot 設

定では十分な性能が出せないと予測できるため, 評価セットを用いた転移学習を行う．含意関係認識夕スクに向けた転移学習の際は, Zhao ら [18] に従い, テキストと仮説に続く推論判定を文字列で予測させた. 入力に続く文字列を予測させて評価する際は，予測の先頭のトークンを用いて正誤を判定するのが一般的である [19]. そのため本研究では, 正誤判定に用いる予測ラベルを 1 トークンで表現できるように，含意 $\rightarrow$ “正”，矛盾 $\rightarrow$ “誤”，中立 $\rightarrow$ “不可” と正解ラベルを設定した．転移学習において，モデルのアーキテクチャは事前学習と同様にし, 学習率を事前学習時より小さい値の $5 \mathrm{e}-5$, バッチサイズを 32 とした. また, iteration 数は 15,000 とし, 以下では全て最後の iteration におけるモデルのパラメータを用いて評価を行った。

## 3.4 実験設定

本研究では, GPTのトークナイザとして Byte-level BPE を用いる. トークナイザの比較条件を以下の 3 点とした:

・トークナイザ構築時のテキストの事前分割の有無と辞書選択

・トークナイズ時の分かち書きの有無

・トークナイザ構築時の語彙サイズの選択

そして，次に示すように 2 ステップに分けて実験を行なう.

辞書選択と事前分割に関する予備実験まず， トークナイザ構築において，予備実験では語彙サイズを $50,257^{\text {3) }}$ で固定とする.また，トークナイザ構築に用いるテキストは, unidic ${ }^{4)} /$ ipadic $^{5)}$ を用いて事前分割されたものに加えて事前分割を行わないものの 3 種類とする. これらのトークナイザを用いて GPT の事前学習, 転移学習を行い, スコアを元に比較を行う．ただし，上記のトークナイザのうち，事前分割を行ったテキストを用いて構築されたものは，トークナイズ時に分かち書きを行う場合と行わない場合での比較も行う. 予備実験の詳細を表 2 に示した.

語彙サイズの実験語彙サイズの実験では，事前分割の有無と辞書選択, トークナイズ時の分かち書きの有無を，下流タスクの性能が予備実験において

図 1 辞書選択と事前分割に関する予備実験における各トークナイザの事前学習における validation loss の推移

最良だったもので固定とする。語彙サイズについては, 25,257 から 125,257 まで 25,000 ずつ変化させ，予備実験と同様に GPT の事前学習，転移学習を行い，スコアを元に比較を行う。

## 3.5 予備実験の結果

まず，辞書選択と事前分割に関する予備実験における各トークナイザの統計量を表 2 に示す. 事前分割したテキストを用いて構築されたトークナイザに対しては，トークナイズ時の分かち書きを行った場合と行わなかった場合のトークン化された文章長をそれぞれ別途記載した。トークン長については，事前分割の有無，辞書の違いによって大きな差がないことがわかる．他と比べて， none のトークン長の標準偏差と比べて大きくなっているが，これは，辞書を用いて形態素に事前分割されたテキストを用いてトークナイザを構築する場合，形態素を超えてマー ジが行われないが，生のテキストからマージを学習する none は比較的長いトークンができやすいからであると推測できる. 文章長については，上述の理由から none が一番短くなっている他，トークナイズ時の分かち書きを行った方が僅かに文章長が短くなることが確認された。

これらのトークナイザと条件を用いて事前学習を行った際の loss の推移を図 1 に，転移学習を行なった結果を表 2 に示した. 事前学習の結果からは以下の条件:

・トークナイザ構築に用いるテキストの事前分割を行う

・事前分割には unidic を用いる

・トークナイズ時の分かち書きは行わない

で性能が高いことがわかる。転移学習では，評価タスクのスコアは事前学習の結果の傾向と異なり, トークナイズ時の分かち書きを行った方が性能が高
表 2 辞書選択と事前分割に関する予備実験における各トークナイザの統計量と転移学習の結果

表 3 語彙サイズの実験における各トークナイザの統計量と転移学習の結果

い結果となった.

以上の結果を踏まえて，語彙サイズの実験には下流タスクで最もスコアが高かった unidic w/ seg の条件を用いる。

## 3.6 語彙サイズの実験の結果

語彙サイズの実験における各トークナイザの統計量を表 3 に示す. 語彙サイズが大きくなるに従って，トークン長の平均が長くなり，トークン化された文章長が短くなっていることがわかる. これはマージが増えることでトークン化の際の語彙のマッチ率が上がるためと推測できる。

事前学習における loss の推移を図 2 に，転移学習の結果を表 3 に示す. 事前学習においては，語彙サイズが小さい，つまり文章長が長くなるトークナイザを用いた方が性能が高い傾向がみられた。転移学習での結果は，予備実験での結果の際と同じように事前学習時と異なっており，loss が低くなる小さな語彙サイズで構築されたトークナイザではなく，語彙サイズが比較的大きめな 100,257 のトークナイザを用いた際にスコアが最も高くなっている。

## 4 議論

予備実験と語彙サイズの実験を通して，トークナイザの統計量と性能の関係性を観察すると，事前学習においては「文章長が長い方が性能が高くなる」 という仮説が得られる. これは，文章長が長くなると，モデルの計算量は増加するため ${ }^{6)}$ ，スケーリングの法則 [20] に類似した現象である可能性も考えら

6） 特に，attention 部分の計算が 2 乗のオーダーで大きくなる.

図 2 語彙サイズの実験における各トークナイザの事前学習における validation loss の推移

れる。予備実験において，転移学習の結果とは異なり，事前学習においては，分かち書きを行わうと性能が悪くなる傾向がみられた。これは，上述の仮説に基づくと，分かち書きを行うことにより，入力がトークナイザ構築に用いたテキストと同じになるため，トークナイズ時の語彙のマッチ率が上がり，平均的に文章長が短くなることで事前学習の性能が悪くなっていると考えられる。語彙サイズの実験においても，同様に結果を解釈することができる。一方で，予備実験，語彙サイズの実験のどちらにおいても，転移学習時は必ずしも上述の仮説通りの結果とはなっていない。これは，下流タスクでは，トークンの持つ性質として，仮説のような機械学習的にメリットのある性質よりも，言語学的な性質の方が重要な場合があるからではないかと考える. ${ }^{7)}$

## 5 まとめと今後の展望

本研究では，日本語 GPT におけるトークナイザの影響を調査し，様々な条件における性能比較と分析を行った. 今後は，4 節での考察を元に，機械学習的な性質と言語学的な性質の関係性を明らかにするため，他の下流タスクを用いた評価を含めたさらなる調査を行っていきたい.

7） 仮説の極端な例として，「語彙が基本語彙の 256 トークンしかないトークナイザ」を考えると，ほとんどの単語が最小単位で表現され，文章長が長くなるが，事前学習時の性能が仮に良かったとしても，トークナイズされた文章が言語学的に意味を持っているとは言い難い.

## 参考文献

[1] Tom B. Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared Kaplan, Prafulla Dhariwal, Arvind Neelakantan, et al. 2020. Language Models Are Few-Shot Learners. Advances in Neural Information Processing Systems, vol. 33, 1877-1901.

[2] Sabrina J. Mielke, Zaid Alyafeai, Elizabeth Salesky, Colin Raffel, Manan Dey, Matthias Gallé, Arun Raja, et al. 2021. Between Words and Characters: A Brief History of Open-Vocabulary Modeling and Tokenization in NLP. arXiv [cs.CL]. arXiv. http://arxiv.org/abs/2112.10508.

[3] Zaid Alyafeai, Maged S. Al-shaibani, Mustafa Ghaleb, and Irfan Ahmad. 2021. Evaluating Various Tokenizers for Arabic Text Classification. arXiv [cs.CL]. arXiv. http://arxiv.org/abs/2106.07540.

[4] Yirong Pan, Xiao Li, Yating Yang, and Rui Dong. 2020. Morphological Word Segmentation on Agglutinative Languages for Neural Machine Translation. arXiv [cs.CL]. arXiv. http://arxiv.org/abs/2001.01589.

[5] Rico Sennrich, Barry Haddow, and Alexandra Birch. 2016. Neural Machine Translation of Rare Words with Subword Units. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics, vol. 1, 1715-25.

[6] Junyoung Chung, Caglar Gulcehre, Kyunghyun Cho, and Yoshua Bengio. 2014. Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling. Presented in NIPS 2014 Deep Learning and Representation Learning Workshop.

[7] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Ł. Ukasz Kaiser, and Illia Polosukhin. 2017. Attention Is All You Need. In Advances in Neural Information Processing Systems, vol. 30, 5998-6008.

[8] Changhan Wang, Kyunghyun Cho, and Jiatao Gu. 2020. Neural Machine Translation with Byte-Level Subwords. In Proceedings of the AAAI Conference on Artificial Intelligence, vol. 34, 9154-9160.

[9] Boseop Kim, Hyoungseok Kim, Sang-Woo Lee, Gichang Lee, Donghyun Kwak, Dong Hyeon Jeon, Sunghyun Park, et al. 2021. What Changes Can Large-Scale Language Models Bring? Intensive Study on HyperCLOVA: Billions-Scale Korean Generative Pretrained Transformers. arXiv [cs.CL]. arXiv. http://arxiv.org/abs/2109.04650.

[10] Alec Radford, Karthik Narasimhan, Tim Salimans, and Ilya Sutskever. 2018. Improving Language Understanding by Generative Pre-Training.

[11] Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, Ilya Sutskever, and Others. 2019. Language Models Are Unsupervised Multitask Learners. OpenAI Blog 1 (8): 9.

[12] 築地俊平, 新納浩幸. Tokenizer の違いによる日本語 BERT モデルの性能評価. 2021. 言語処理学会第 27 回年次大会.

[13] Taku Kudo, and John Richardson. 2018. SentencePiece: A Simple and Language Independent Subword Tokenizer and Detokenizer for Neural Text Processing. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, 66-71.

[14] Thamme Gowda, and Jonathan May. 2020. Finding the Optimal Vocabulary Size for Neural Machine Translation. In Findings of the Association for Computational Linguistics: EMNLP 2020, 3955-64.

[15] Jingjing Xu, Hao Zhou, Chun Gan, Zaixiang Zheng, and Lei Li. 2021. Vocabulary Learning via Optimal Transport for Neural Machine Translation. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing, vol. 1, 7361-73.

[16] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. 2002. Bleu: A Method for Automatic Evaluation of Machine Translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, 311-18.

[17]吉越卓見, 河原大輔, 黒橋禎夫. 2020. 機械翻訳を用いた自然言語推論データセットの多言語化. 第 244 回自然言語処理研究会.

[18] Tony Z. Zhao, Eric Wallace, Shi Feng, Dan Klein, and Sameer Singh. 2021. Calibrate before Use: Improving Few-Shot Performance of Language Models. arXiv [cs.CL]. arXiv. http://arxiv.org/abs/2102.09690.

[19] Neel Alex, Eli Lifland, Lewis Tunstall, Abhishek Thakur, Pegah Maham, C. Jess Riedel, Emmie Hine, et al. 2021. RAFT: A Real-World Few-Shot Text Classification Benchmark. arXiv [cs.CL]. arXiv. http://arxiv.org/abs/2109.14076.

[20] Jared Kaplan, Sam McCandlish, Tom Henighan, Tom B. Brown, Benjamin Chess, Rewon Child, Scott Gray, Alec Radford, Jeffrey Wu, and Dario Amodei. 2020. Scaling Laws for Neural Language Models. arXiv [cs.LG]. arXiv. http://arxiv.org/abs/2001.08361.


# End-to-End 学習可能な記号処理層の検討と 数量推論への応用における課題の分析

吉川 将司 ${ }^{1,2}$ Benjamin Heinzerling ${ }^{2}$ 乾 健太郎 ${ }^{1,2}$
東北大学 ${ }^{1}$ 理化学研究所 ${ }^{2}$
\{yoshikawa, inui\}@tohoku.ac.jp benjamin.heinzerling@riken.jp

## 概要

記号処理の仕組みを DNN の微分可能な層として組み込み，end-to-end 学習可能にする方法を検討し， その応用として四則演算プログラム (電卓) 付き文章読解モデルを構築する. さらに，一般的な設定において提案モデルが電卓を活用するように学習しない問題に対し，人工データにより原因を調査をする。

## 1 はじめに

本稿では，離散記号処理関数 $F$ を中間層として持つような DNN モデルを構築し，全体を誤差逆伝搬法によって end-to-end に学習する方法を検討する。 また，その応用例として二項四則演算プログラム (電卓) 付き文章読解モデル (図 1)を構築し，数量推論を要する文章読解 (e.g., DROP [1]) に取り組む. ${ }^{1)}$

F は一般的なプログラミング言語における適当な数の引数を取る関数 (サブルーチン) である. 課題として，F の微分則は不明な上，一般にDNN の中間の活性化を離散值に落とせば勾配が消失し， $F$ より上流の層 (図 1 の $\mathrm{N}_{1}$ ) を最終タスクの損失 $\ell(y)$ によって学習させることができない，そこで，本稿では離散分布のサンプリングに対する微分可能な緩和を行う Gumbel Softmax trick (§2) を応用することで，DNNに組み込み end-to-end 学習可能にする $F$ の代替を構築する方法を提示する。

電卓付き文章読解モデル (図 1) は，文章読解において標準的なスパン抽出 $[3,4]$ によるモデル (推論層)への入力を電卓の計算結果で拡張するものである. 項抽出層が電卓への入力を予測し，電卓で四則演算を行い，推論層はその結果を活用して解答を行う. 全体を微分可能にすることで，項抽出層を最終タスクの損失を最小化するように学習できる．数量推論は (文章理解の上に, ) 広大な数の空間の構造

図 1 電卓付き文章読解モデル. 詳細は本文参照.

表 1 事前実験例.DROP dev データ中の比較を問う問題 (Orig) に対し，人手で数量を入れ替え問題を作り変えた (Other; 300 件). 提案モデルは電卓以外の根拠に依り頻繁に誤答してしまった。下の文例は説明のため簡潔であるが，実際は Wikipedia 文章である。

Orig (元の DROP の事例; F 值: 79.4)

$\mathrm{X}$ has 2 pens. $\mathrm{Y}$ has 3 pens. Who has more pens? $\Rightarrow \mathrm{Y}$

Other (数量と答えを大㣗替え; F-1: 20.2)

$\mathrm{X}$ has 3 pens. $\mathrm{Y}$ has 2 pens. Who has more pens? $\Rightarrow \mathrm{X}$

とその上の演算をモデルに理解させる必要があるが，その仕組みを外部知識層として括りだすことでデータ効率や推論の頑健性において強力なモデルが構築可能と考える. 提案法は潜在変数モデルと関連し(§3)，理屈上，モデル全体としては電卓を活用しながら解答するように学習されると期待できる。

しかし，実際に構築したモデルは，期待される形で電卓を使わず，別の根拠に依る解法を選好するようになってしまった. この点が本稿第 2 の課題である. 表 1 は予備実験の結果であるが，DROP [1] の
一部2）でモデルを訓練した後，評価セット中の比較問題 (表中 Orig) に対し手を加え作成した別の事例 (Other) で性能を評価した. ${ }^{3)}$ 比較問題は, 2 つの個体を数的な性質で比較する問題であるが，電卓で数の差を計算し，その符号に従って正しい個体を選択する，というのが最適な戦法に思われる。しかし，表が示すように，モデルは電卓を活用しないだけでなく，問題中の数を入れ替えてもその結果を反映せず，非本質的な根拠に依存しているようである．外部知識層を組み込む場合，モデル全体を end-to-end 学習可能にするだけではなく, モデルにその知識の有用性を認識させることが重要な課題である. ${ }^{4)}$

本稿では，上述の問題に対し人工的な問題を用い調査を行う。人工データは, 問題の形式に加え, DNN が敏感な分布的な偏りも制御できる. 調査の結果, DROP で典型的な比較問題は電卓がなくとも DNN にとって簡単であり, 問題を少し複雑にすれば提案モデルでも電卓を活用することがわかった。

## 2 DNN における離散記号変数

提案法は離散潜在変数モデルに関連するため，ここで簡潔にまとめる.5)このモデルは $x$ から $y$ への離散潜在変数 $z \in \mathscr{Z}$ 介した生成過程を表し，パラメータ $\theta, \psi$ の確率分布で以下のように表される.

$
p_{\theta, \psi}(y \mid x)=\mathbb{E}_{p_{\theta}(z \mid x)}\left[p_{\psi}(y \mid z, x)\right] .
$

DNN ベースの自然言語処理への応用では検索による言語モデル $[6,7]$ が有名である. このモデルでは,入力テキスト $x$ に対し, Wikipedia 記事 $z$ を検索し (モデル $p_{\theta}(z \mid x)$ ), その記事を活用しながら $\mathrm{QA}$ 等の目的タスクを解く(resp. $\left.p_{\psi}(y \mid x, z)\right)$.

多くの場合，潜在空間 $は$ は大であり，訓練では上の期待値は少数のサンプル $\left.\{z_{i}\right.\}_{i=1}^{N}(N \ll|£|)$ で近似される。しかし、これは $\theta$ による勾配の偏推定， ひいて学習の不安定性を招く可能性がある [8].

Gumbel-Softmax (GS) trick 潜在変数モデルの安定した勾配の近似計算のために GS trick [9] が提案されている. 潜在空間 $\mathscr{~} の$ 要素を $d(=|\mathscr{E}|)$ 次元

2) 解答に 2 数の減算を要する比較, 差, 補部問題 1.4 万件 [5].

3）提案モデルは数量を答える差問題 (How many more pens does $X$ have than $Y$ ?) に対しては安定して高い性能を示す.

4）関連して，検索による言語モデル [6] において，固有表現を重視した事前学習が，他タスクでの性能に大きく貢献するという非自明な結果も注目に値する。

5） 記法: $\mathbf{1}_{k}(k \in \mathbb{N})$ で $k$ 番目の要素が 1 の適当な次元の one-hot ベクトルを表す. $\boldsymbol{x} \in \mathbb{R}^{n}$ に対し, $\operatorname{argmax}(\boldsymbol{x})$ は最大の要素 $x_{k}$ に対応する $\mathbf{1}_{k}$ を返す. argmax に関する議論では簡単のため $x_{k}$ の大きさで同率一位になることはないと仮定する. one-hot ベクトルで表現する $\left(\mathscr{I}=\left.\{\mathbf{1}_{i}\right.\}_{i=1}^{d}\right)$. さらに， $p_{\theta}(z \mid x)$ はスコア関数 $\boldsymbol{f}^{\theta}(x) \in \mathbb{R}^{d}$ と Softmax 関数で表現されると仮定する。

$p_{\theta}\left(z=\mathbf{1}_{i} \mid x\right)=\operatorname{softmax}_{\tau, i}\left(\boldsymbol{f}^{\theta}(x)\right)=\frac{\exp \left(f_{i}^{\theta}(x) / \tau\right)}{\sum_{j} \exp \left(f_{j}^{\theta}(x) / \tau\right)}$. ここで $\tau>0$ は温度パラメータである. Gumbel trick $[10,11]$ によれば式 (1)の期待值に対して, Gumbel 分布 $p_{\varepsilon}$ を用いて以下が成り立つ. ${ }^{6)}$

$
(1)=\mathbb{E}_{\boldsymbol{\varepsilon} \sim p_{\boldsymbol{\varepsilon}}}\left[p_{\psi}\left(y \mid x, \operatorname{argmax}\left(\boldsymbol{f}^{\theta}(x)+\boldsymbol{\varepsilon}\right)\right)\right] .
$

$\operatorname{argmax}$ の微分はほとんど至るところ 0 であるため、 GS trick では $\lim _{\tau \rightarrow 0} \operatorname{softmax}_{\tau}(s)=\operatorname{argmax}(s)$ に着目し softmax の期待値を 1 つの Gumbel ノイズ $\boldsymbol{\varepsilon}$ のみを用いて近似しても安定して学習できることが経験的に知られ，以下に対する誤差逆伝播法によって式 (1)のパラメータを end-to-end に最適化することができる.7)

$p_{\psi}\left(y \mid x, \operatorname{softmax}_{\tau}\left(f^{\theta}(x)+\boldsymbol{\varepsilon}\right)\right)$ where $\boldsymbol{\varepsilon} \sim p_{\boldsymbol{\varepsilon}}$.

また [9] では，順伝搬時には $\operatorname{argmax} を$ 用い，逆伝搬時にその Jacobi 行列 $\frac{\partial \operatorname{argmax}}{\partial s}(s)(=0)$ を softmax のもので代用する Straight-Through Gumbel-Softmax という手法も提案されている. 本稿ではこの亜種の微分可能 $\operatorname{argmax}$ を $\operatorname{argmax}_{\partial}$ と書くことにする.

## 3 微分可能な記号処理層

本研究の鍵は，前節の技術を応用すれば多くの記号処理関数 $F$ を簡単に深層モデルの微分可能な 1 層 $F$ に変換できるということである。この方法は，驚くほどに単純である上， $F$ の上流ネットワーク $\mathrm{N}_{1}$ が $F$ への入力を学習し, 下層ネットワーク $\mathrm{N}_{2}$ に対し $F$ の出力が役立つようなものとなることを保証する.

命題 $1 K$ 個の項空間 $\mathscr{A}_{i}, K$ 引数記号処理関数 $F$ を考える。 $F$ は $\left(a_{1}, \ldots, a_{K}\right) \in \mathscr{A}=\mathscr{A}_{1} \times \cdots \times \mathscr{A}_{K}$ を記号処理の結果を表す可変長のトークン列 $r=\left(r_{1}, \ldots, r_{*}\right) \in \mathscr{V}^{*}$ に変換する.このとき,対応する微分可能な $F$ は, $s \in \mathbb{R}^{|\mathcal{A}|}$ をすべての $\mathrm{a} \in \mathscr{A}$ に対するスコア $s_{\mathrm{a}}$ のベクトルとし、 $R=\left[\mathbf{1}_{r_{1}}, \mathbf{1}_{r_{2}}, \ldots, \mathbf{1}_{r_{*}}\right]^{\top} \in \mathbb{R}^{* *|\mathscr{V}|}$ を $\hat{\mathrm{a}}=\arg \max _{\mathrm{a} \in \mathcal{A}} s_{\mathrm{a}}$ に対する計算結果とした $F: s \mapsto R$ として構築できる.

$F$ から $F$ の構築は簡単である. $i$ 番目の項の組み合わせを $\left(a_{i, 1}, \ldots, a_{i, K}\right)$ とし, $F\left(a_{i, 1}, \ldots, a_{i, K}\right)=$
6) $\varepsilon \in \mathbb{R}^{d} . u_{i}$ を $[0,1]$ 上の一様ノイズとし, $\varepsilon_{i}=-\log \left(-\log u_{i}\right)$.

7）一般の離散分布 $\pi$ に対する GS trick は， softmax $(\log \pi+\varepsilon)$ であるが, $\pi=\operatorname{softmax}\left(\boldsymbol{f}^{\theta}\right)$ の場合 $\operatorname{sof} \operatorname{tmax}\left(\boldsymbol{f}^{\theta}+\boldsymbol{\varepsilon}\right)$ と等しい.
$\left(r_{i, 1}, \ldots, r_{i, n_{i}}\right)$, さらに計算結果の one-hot 表現を $E_{i}=\left[\mathbf{1}_{r_{i, 1}}, \ldots, \mathbf{1}_{r_{i, n_{i}}}\right]^{\top}$ とすると, $s$ に対して微分可能 $\operatorname{argmax}$ を適用して得た重み $z$ による $E_{i}$ の重み付き和として $F$ は表現される:

$
z=\operatorname{argmax}_{\partial}(s), \quad F(s)=\sum_{i=1}^{|\mathscr{A}|} z_{i} E_{i}
$

ここで、可変行数の行列 $E_{i}$ の和は適当に後部に 0 埋めを行うことで可能とする.

このようにして得た記号処理層 $F$ は，微分可能 argmax，ひいては潜在変数モデルと関連し，理屈的には $F$ を中間層とするモデルは $F$ を活用するように学習する. この点については付録 $\mathrm{A}$ にまとめる.

## 4 電卓付き文章読解モデル

前節でのアイデアに基づき電卓付き文章読解モデル (図 1)を構築する。 $P, Q$ を文章と質問のトー クン列とし, まとめて $x=(P, Q)$ とする. 変数 $y$ は $Q$ に対する答えである. また $\mathscr{I}(x)$ は電卓への入力候補の集合であり， $x$ に出現するすべての数量のぺアを要素とする. $\mathscr{I}(x)$ の要素は $d=|\mathscr{I}(x)|$ 次元の one-hot ベクトルで表すこともある.

項抽出層まず $x$ 中から電卓への入力 $z \in \mathscr{E}(x)$ を予測する. 確率分布としては以下のように書ける.

$
p_{\theta}\left(z=\mathbf{1}_{i} \mid x\right) \propto \exp f_{i}^{\theta}(x) .
$

ここで $\boldsymbol{f}^{\theta}(x) \in \mathbb{R}^{d}$ はすべての $(a, b) \in \mathscr{I}(x)$ に対するスコアであり, BERT [12] で $x$ を走査して得た表現ベクトルで, 数量 $a, b$ を表すトークン列で先頭のもの (e.g., “1 \#\# \#2 \#\#3”)を連結し 2 層 ReLU ネットワークで変換して得られる。

電卓層式 (2) に従って抽出された数量に対し,電卓 $F$ は二項四則演算の計算を行い結果を文字列として返す. 本研究では演算として足し算と引き算を用い，すべての演算結果を列挙して返す. 例えば $F(72,23)=" 95=72+23,59=72-23$, $-59=23$ - 72" などとする. この電卓を $\S 3$ の手法に基づき記号処理層 $F$ に変換しモデルに含める.

推論層推論層 $p_{\psi}(y \mid x, F(s))$ は文章読解において標準的なスパン抽出 $[3,4]$ によるものであるが，質問 $Q$, 文章 $P$ に加え電卓の計算結果文字列 $F(s)$ からも回答を抽出することができる点が異なる.

$
p_{\psi}(y \mid x, F(s))=\sum_{(s, t) \in \mathcal{Y}(x, y)} q_{\psi}((s, t) \mid x, F(s))
$

ここで， $y(x, y)$ は添字の組 $(s, t)$ であり,トークン列“[CLS] $Q$ [SEP] $P$ [SEP] $F(s)$ [SEP]” 上で $s$ か表 2 実験データの例. 斜体で示した部分を譲渡文と呼ぶ. どちらの問も根拠として, 9,816,091 (- 6,224,450)> $3,002,489$ である (括弧内は譲渡文ありの場合).

P: John has 5,903,204 grapes, Mark has 8,907,756 grapes, Ryan has 7,646,494 grapes, Anna has 9,816,091 grapes, Kenneth has 8,091,683 grapes, Johnny has 1,078,950 grapes, Carl has 3,002,489 grapes, Alice has 5,953,680 grapes, Grace has 6,279,638 grapes, Kyle has 6,940,318 grapes, Anna gave 6,224,450 grapes to Grace.

$\max \mathbf{Q}$ : What is the maximum number of grapes owned either by Anna or Carl? A: 3,591,641

$\operatorname{argmax} Q$ : Who has more grapes: Anna or Carl? A:

Anna

ら $t$ 番目のトークン列が $y$ に一致するようなものの集合である. $q_{\psi}$ は BERT で同じ文字列を走査して得たベクトル列の関数である.

訓練上述の 3 層を合成すると、提案モデルは $p_{\psi}\left(y \mid x, F\left(\boldsymbol{f}^{\theta}(x)\right)\right)$ である. GS trick (§2) との関連から，このモデルの訓練には，電卓の使い方を探索するため Gumbel ノイズ $\varepsilon \sim p_{\varepsilon}$ を加える. 従って，学習では訓練データ上で以下の損失を最小化する。

$
\ell_{\mathrm{end}}=-\log p_{\psi}\left(y \mid x, F\left(\boldsymbol{f}^{\theta}(x)+\boldsymbol{\varepsilon}\right)\right)
$

注意として，順伝搬時に動的に得られた電卓の計算結果トークン列 $F(\hat{z})\left(\right.$ with $\left.\hat{z}=\operatorname{argmax}\left(\boldsymbol{f}^{\theta}(x)+\boldsymbol{\varepsilon}\right)\right)$ 中にラベル $y$ が含まれる場合，モデルはそのスパンも抽出するように更新される.

層ごとの教師信号提案モデルの強みの 1 つに，層ごとの訓練が可能なことがある. 具体的に，本研究では項抽出層に対して専用の教師信号 $\ell_{\text {arg }}$ を加えることを考える. 訓練事例 $(x, y)$ に対し $y$ が数量であれば $x$ 中の 2 数 $(a, b)$ で $F(a, b)$ が $y$ を含むようなものを全探索し抽出層の訓練に利用する。このようにして得たラベルと式 (2)の間の binary cross entropy を $\ell_{\text {arg }}$ とし， $\ell_{\text {end }}+\ell_{\text {arg }}$ で全体を訓練する．以下の実験では，人工的な設定ゆえに真の項抽出ラベルが手に入るが，現実的な問題設定を考慮して上の手続きで得られるもののみをラベルとして利用する.

## 5 実験

実験データ実験には表 2 のような人工文章読解問題を用いる。人工データは，問題の構造そのものに加え，モデルが敏感なデータの偏りを制御できる. 基本的に，ランダムに人が所有する物体 (grapes,
表 3 主な実験結果 (F1/項正答率). 各設定ごとに訓練・評価に用いるデータは異なる. 列は含まれる問題のタイプ，行は各事例に譲渡文が含まれるかを表す。

表 4 汎化実験. 6 析以下の数字のみを含む 2 万件で訓練後, 7 桁の $\operatorname{argmax}$ 問題のみの評価セットで $\mathrm{F} 1$ /項正答率を評価。訓練/評価セットいずれも譲渡文を含む。

} & argmax & $72.0 /-$ & $74.9 / 2.0$ \\
\cline { 2 - 4 } & max+argmax & - & $78.5 / 99.8$

etc.) を列挙し，それらの間の max/argmax 関係を問う. 析数に基づいて大小関係が推論できてしまうことを防ぐため, 明示的に言及しない限り出現する数をすべて 7 桁で固定する。特殊な場合として，譲渡文 (例最後の斜体文)を含める。このとき，質問は必ず譲渡イベントに参与した人について問うことにする。譲渡文なしでは，数量推論として所有物の数量の比較が必要であるが, 譲渡文ありの場合は譲渡による所有物の数量の変化を含む 2 段階の計算をする必要がある. 訓練/評価には 2 万 $/ 2$ 千件を用いる.問題の構造上, 項抽出損失 $\ell_{\text {arg }}$ は譲渡文ありの $\max$問題の一部のみ ${ }^{8}$ に与えられ，argmax 問題ではタスク損失 $\ell_{\text {end }}$ から抽出方法を学習する必要がある.

項抽出層，推論層では bert-base-uncasedを用い，パラメータを共有させる。既存研究 [4] に従い，入力中の数量は桁ごとに分割する (例: $123 \mapsto 1$ \#\#2 \#\# 3). 評価指標として, DROP と同様のF1 スコアと項抽出の正答率 (2 項完答で 1 点) を報告する. 項抽出は，譲渡文なしの場合は所有物の数量の比較に関するもの, 譲渡文ありの場合は譲渡による数量の変化に関係する 2 項を正解とみなす.

## 5.1 実験結果

表 3 亿問題のタイプ，譲渡文の有無を変えて訓練と評価を行った結果を示す. 譲渡文なしの $\operatorname{argmax}$問題は, 構造的に DROP の比較問題に対応するが， §1での予備実験と同様に提案モデルは高い $\mathrm{F} 1$ を示す一方で，電卓は活用できていないことが観察できる. 図 2 は，同じモデルで $\operatorname{argmax}$ 問題の事例を解かせたときに，入力と電卓計算結果のどのトークンに注目しているかを勾配べースの手法 [13] で可視化

8）表 2 の例において譲渡文が Douglas gave 7,000,000 grapes to Grace. であれば max Q の答えが変わるため存在しない.

図 2 譲渡文なし， argmax 問題で訓練したモデルによる評価事例中のトークン重要度. $\hat{s}$ と $\hat{y}$ を項抽出層, 推論層の予測とし, 各トークン $x_{i}$ の推論層入力の埋め込み表現 $\boldsymbol{e}_{x_{i}}$ について $\left.\|\nabla_{\boldsymbol{e}_{x_{i}}}\left(-\log p_{\psi}(\hat{y} \mid x, F(\hat{\boldsymbol{s}}))\right)\right.\|$ の大きさを示す.

したものであるが，モデルが敏感に反応しうるデー タの偏りを極力廃した人工データでは，明らかに比較すべき人物と関連する数量 (の最初の数桁) に注目しており，この種の問題では電卓を利用せずとも BERT 内部で解法を見つけることが可能であると示唆される。同様の観察から譲渡文なしの max 問題も電卓を使わずに解くことができるようである.

譲渡文ありの実験においては， $\max$ の設定で項正答率が $100 \%$ に達した. この事の要因の 1 つに, この設定では項抽出損失 $\ell_{\text {arg }}$ の効果があると推察される。また $\operatorname{argmax} のみ, ~ \max$ と $\operatorname{argmax}$ 両方を含む場合の 2 つを比べると後者の項正答率の高さから, max で得た電卓の使い方を $\operatorname{argmax}$ 問題に般化して活用するように学習できていることが観察される. これらから，現状の提案モデルが電卓を使うためには，(1) 2 段の推論を要する等数量推論問題が簡単すぎないこと，(2) max 問題等で項抽出の仕方を少し教えることの 2 点が有効であることが推測される.

最後に，提案モデルの未知の析の数に対する頑健性を評価した (表 4). 表 2 と同じ譲渡文ありの事例で 6 析以下の数のみ含む 2 万件 ${ }^{9)}$ で訓練した後， 7 枌の数のみ出現する 2 千件で評価したところ，電卓を活用できるモデルが最も高い頑健性 (F1) と動作の解釈性 (項正答率)を有していることがわかった.

## 6 終わりに

本稿では記号処理関数をDNN の微分可能な層として組み込む方法を検討し，その応用として電卓付き文章読解モデルを構築した．前者の鍵は Gumbel-Softmax trickを拡張することである．応用では，人工データによる実験でモデルの挙動の癖が明らかになったが，一般的な設定で電卓の有用性をモデルに認識させることは今後の課題である.

9） [14] に倣い，事例に出現する数量 $v$ を $d \sim U\{1, \ldots, 6\}, v \sim$ $U\left[10^{d-1}, 10^{d}-1\right]$ の 2 段階の一様サンプリングで得ることで事例に含まれる数が大きな値に偏ることを防いだ。
謝辞本研究は JST CREST JPMJCR20D2 及び JSPS 科研費 20K23314, 21K17814 の助成を受けたものです.

## 参考文献

[1] Dheeru Dua, Yizhong Wang, Pradeep Dasigi, Gabriel Stanovsky, Sameer Singh, and Matt Gardner. DROP: A reading comprehension benchmark requiring discrete reasoning over paragraphs. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 2368-2378, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[2] 吉川将司, 乾健太郎. 離散記号処理に対する近似的な微分構造の考察と数量推論を要する文章読解問題への応用. 言語処理学会年次大会発表論文集, 3 月 2021

[3] Jambay Kinley and Raymond Lin. NABERT+: Improving numerical reasoning in reading comprehension. https: //github.com/raylin1000/drop-bert, 2019.

[4] Mor Geva, Ankit Gupta, and Jonathan Berant. Injecting numerical reasoning skills into language models. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 946-958, Online, July 2020. Association for Computational Linguistics.

[5] Tushar Khot, Daniel Khashabi, Kyle Richardson, Peter Clark, and Ashish Sabharwal. Text modular networks: Learning to decompose tasks in the language of existing models, June 2021.

[6] Kelvin Guu, Kenton Lee, Zora Tung, Panupong Pasupat, and Mingwei Chang. Retrieval augmented language model pre-training. In Hal Daumé III and Aarti Singh, editors, Proceedings of the 37th International Conference on Machine Learning, Vol. 119 of Proceedings of Machine Learning Research, pp. 3929-3938, Virtual, 13-18 Jul 2020. PMLR.

[7] Patrick Lewis, Ethan Perez, Aleksandra Piktus, Fabio Petroni, Vladimir Karpukhin, Naman Goyal, Heinrich Küttler, Mike Lewis, Wen-tau Yih, Tim Rocktäschel, Sebastian Riedel, and Douwe Kiela. Retrieval-augmented generation for knowledge-intensive nlp tasks. In H. Larochelle, M. Ranzato, R. Hadsell, M. F. Balcan, and H. Lin, editors, Advances in Neural Information Processing Systems, Vol. 33, pp. 9459-9474. Curran Associates, Inc., 2020.

[8] Ronald J. Williams. Simple statistical gradient-following algorithms for connectionist reinforcement learning. Machine Learning, Vol. 8, No. 3, pp. 229-256, 1992.

[9] Eric Jang, Shixiang Gu, and Ben Poole. Categorical reparametrization with gumbel-softmax. In Proceedings International Conference on Learning Representations 2017. OpenReviews.net, April 2017.

[10] Emil Julius Gumbel. Statistical Theory of Extreme Values and Some Practical Applications. A Se- ries of Lectures. U.S. Government Printing Office, 1954.

[11] Chris J. Maddison, Andriy Mnih, and Yee Whye Teh. The concrete distribution: A continuous relaxation of discrete random variables. In International Conference on Learning Representations, 2017.

[12] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 41714186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[13] Karen Simonyan, Andrea Vedaldi, and Andrew Zisserman. Deep inside convolutional networks: Visualising image classification models and saliency maps, 2014.

[14] Rodrigo Nogueira, Zhiying Jiang, and Jimmy Lin. Investigating the limitations of transformers with simple arithmetic tasks, 2021

## A $\quad \boldsymbol{F$ の上流ネットワーク $\mathrm{N}_{1}$ の学習}

本稿の目的は記号処理関数を DNN の 1 層とし, ネットワークとの合成関数 $x \xrightarrow{\mathrm{N}_{1}} \boldsymbol{s} \xrightarrow{F} F(\boldsymbol{s}) \xrightarrow{\mathrm{N}_{2}} y$ を end-to-end に学習することであった (図 1).これに関する自然な疑問として，この予測 $y$ に対する損失によりモデル全体を訓練したときに， $\mathrm{N}_{1}$ は $F$ を介して $\mathrm{N}_{2}$ に有用な記号処理計算結果を渡すようになるだろうか，ということがある。これについては，GS trickとの関係で肯定的に答えることができる.

命題 2 入力 $x$, 予測 $y, \mathrm{~N}_{1}(x)=s, s$ は $F(=F)$ に入力されるとする. さらに $\mathrm{N}_{1}$ は $p_{\theta}\left(z=\mathbf{1}_{i} \mid x\right) \propto$ $f_{i}^{\theta}(x), \mathrm{N}_{2}$ は $p_{\psi}(y \mid x, F(z))$ をモデル化する.このとき, Gumbel ノイズで摂動されたこれらの合成 $x \xrightarrow{\mathrm{N}_{1}} \boldsymbol{s} \xrightarrow{F} F(\boldsymbol{s}) \xrightarrow{\mathrm{N}_{2}} y$ は,

$
p_{\psi}\left(y \mid x, F\left(\boldsymbol{f}^{\theta}(x)+\boldsymbol{\varepsilon}\right)\right) \text { with } \boldsymbol{\varepsilon} \sim p_{\varepsilon},
$

であり，これは離散潜在変数モデル $p_{\theta, \psi}(y \mid x)$ を近似的にモデル化する.

計算結果 $F^{\prime}$ の条件付き分布 $p\left(F^{\prime} \mid z\right)$ を仮定すれば $p_{\theta, \psi}(y \mid x)$ は以下のように展開できる.

$
p_{\theta, \psi}(y \mid x)=\sum_{z} \sum_{F^{\prime}} p_{\psi}\left(y \mid x, F^{\prime}\right) p\left(F^{\prime} \mid z\right) p_{\theta}(z \mid x) .
$

$F^{\prime}$ は $z$ から決定的に決まることに加えて, Gumbel trickを用いると，

$
\begin{aligned}
(4) & =\sum_{z} p_{\psi}(y \mid x, F(z)) p_{\theta}(z \mid x) \\
& =\mathbb{E}_{p_{\theta}(z \mid x)}\left[p_{\psi}(y \mid x, F(z))\right] \\
= & \mathbb{E}_{\boldsymbol{\varepsilon} \sim p_{\boldsymbol{\varepsilon}}}\left[p_{\psi}\left(y \mid x, F\left(\boldsymbol{f}^{\theta}(x)+\boldsymbol{\varepsilon}\right)\right)\right] .
\end{aligned}
$

この式と式 (3) は GS trick のときと同様に近似的の関係にある。よって，式 (3) に関してパラメータを最適化すれば， $p_{\theta, \psi}(y \mid x)$ に関する尤度が最大化され，これは一方で $\mathrm{N}_{1}$ が我々の期待するような形で訓練されることを意味する.

本稿の文章読解モデルは, 式 (4) に基づいて訓練することも可能であるが，今後の拡張として記号処理層を多段に適用することを念頭に置き，一度の順伝搬と逆伝搬で訓練可能な Gumbel Softmax 式のアプローチを検討する。