# 非流暢性タグを用いた目的言語テキストによる 自由発話の音声翻訳

胡尤佳 須藤克仁 中村哲
奈良先端科学技術大学院大学
$\{$ ko.yuka.kp2, sudoh, s-nakamura\}@is. naist.jp

## 概要

自由発話はフィラーや言い淀みなどの非流暢性を 含むことがあるため，発話を目的言語のテキストや 音声に翻訳する音声翻訳でもそれらの現象への対応が重要である．特に，非流暢性を含む音声から流暢なテキストへの翻訳は，翻訳時に非流暢性を除去 する必要があり，非流暢性を含むテキストへの翻訳 よりも難しい. 本研究では，非流暢性タグを含む目的言語テキストで学習したモデルを用い，流暢なテ キストへの翻訳を学習する手法を提案する. 本研究 で用いるタグは，多様な非流暢性を一つのタグで表 し，非流暢性事象の位置情報を含む。実験から，提案手法による非流暢性を含む音声から流暢なテキス トへの翻訳性能向上の効果が示された.

## 1 はじめに

人間の自然発話においてはフィラーや言い淀み といった非流暢性がしばしば含まれ，それらの現象 を取り扱うことのできる音声認識 (ASR), 音声翻訳 (ST) が実用上求められている. 通常，発話に非流暢性が含まれていると，ASR の出力テキストも非流暢性を含み，機械翻訳 (MT) での翻訳が難しい．その 結果，ASR とMTを繋ぎ合わせたパイプライン型音声翻訳での最終的な性能低下につながる. それを防 ぐため, 非流暢性検出器により ASR の出力から検出された非流暢性を取り除いてから MT に入力する 手法が主流である [1]. 近年の音声翻訳では，非流暢性を含む音声と非流暢性を含む目的言語テキス ト [2]，もしくは流暢な目的言語テキスト [3] により 構成される音声翻訳データにより, 明示的な非流暢性検出器を用いずに End-to-End 音声翻訳モデルを学習する手法が主流になりつつある [3].

本研究では，可読性が高い出力をより低遅延で得 られる音声翻訳を想定し，非流暢性を含む音声から流暢なテキストへの翻訳の性能向上を目指す。非流暢性を含む音声翻訳での課題として，データが少量 である上，特に非流暢な音声から流暢なテキストへ の翻訳では，翻訳時に非流暢性を除去し，可読性が 高く要約された出力を得る必要があるため，非流暢性を含むテキストへの翻訳と比較して難易度が高 い.このような限られたデータを最大限に利用し，非流暢性を含むテキストへの翻訳モデルを作成し， そのモデルを用いて流暢なテキストへの翻訳を学習 することで，流暢なテキストへの翻訳性能の向上が 期待できる。しかし，非流暢性を含むテキストで学習したモデルを直接利用して流暢なテキストへの翻訳を学習した場合，非流暢性の表記が複数ある上， どの部分が非流暢性であるかという情報を含まない ため，曖昧性が高く性能向上の妨げとなり得る.

Horii らは日本語音声認識において非流暢性をグ ループに分類し，それぞれの非流暢性を意味する非流暢性タグを用いて該当部分を置き換え学習するこ とにより，音声認識の性能を向上させた [4]. この 方法では，多様な非流暢性をタグにまとめることに よりタスクを簡略化している．また，出力がタグ付 きのテキストになるため非流暢性の位置の特定が可能であり，タグを取り除くことで流暢なテキストに 近いテキストを生成することも可能である.

本研究は，非流暢性タグを音声翻訳データの目的言語テキストで取り入れ，タグを含む学習データを 用いてモデルを学習する。その後，このデータで学習したモデルを用いて流暢なテキストへの翻訳を学習する. Horii らの研究では, 音声認識の性能向上 を目的とし，原言語テキストに含まれる，あらかじ め人手で非流暢性とアノテーションされた部分を夕 グで置き換えている. 本研究では，音声翻訳の性能向上を目的とし，目的言語テキストに含まれる非流暢性をタグで置き換えて学習し，その際に，目的言語テキストがアノテーションされた非流暢性の情報

を持たないことを想定し，非流暢性検出器で非流暢性と検出された部分をタグで置き換える手法を取り 入れる. 実験により, 非流暢性タグを用いたデータ を用いて学習したモデルにより, 非流暢性を含む音声から流暢なテキストへの翻訳での性能向上が期待 できることが示された.

## 2 音声翻訳

$\mathbf{X}=\left(x_{1}, \ldots, x_{T}\right)$ を原言語の入力音声に対する音響特徴量の系列, $\mathbf{S}=\left(s_{1}, \ldots, s_{M}\right)$ を原言語テキストの トークン系列, $\mathbf{T}=\left(t_{1}, \ldots, t_{N}\right)$ を目的言語テキスト のトークン系列とする. $v$ を語彙集合 $V$ の元とする と, $t_{i}$ の事後確率は以下の式で表される.

$
P_{\mathrm{ST}}\left(t_{i}=v\right)=p\left(v \mid \mathbf{X}, t_{<i}\right) .
$

ST の学習時の損失関数 $\mathscr{L}_{\mathrm{ST}}$ は, Cross-entropy loss を 用いて以下の式で表される

$
\mathscr{L}_{\mathrm{ST}}=-\sum_{i=1}^{N} \sum_{v \in V}^{V} \delta\left(v, t_{i}\right) \log P_{\mathrm{ST}}\left(t_{i}=v\right)
$

$\delta\left(v, t_{i}\right)$ は， $v=t_{i}$ のとき 1 , そうでなければ 0 となる 関数である.

## 3 非流暢性タグを用いたデータの生成と学習

提案手法で用いる非流暢性タグを用いたデータの 生成過程を図 1 に示す. 提案手法では, 目的言語テ キストのどの単語が非流暢性かという情報が明示的 に付与されていない音声翻訳データを用いること を前提とし, Lou らによる, BERTを用いて事前学習された非流暢性検出器 $[5,6]$ を用いて非流暢性夕 グを付与する. この非流暢性検出器は, 構文解析と 非流暢性検出のタスクをマルチタスク学習により 同時に学習することで得られたモデルであり, 本研究では, 本検出器により得られたタグ付きの音声翻訳データを学習データとして用いる. モデルの学習 で利用するデータは，非流暢性検出器から得られた 非流暢性の情報をもとに，以下二種類のものを作成 する。

・D2D $D_{T a g}$ : 目的言語テキストの非流暢性をタグ で置き換えたデータ

り除いたデータ

また，学習済みモデルに対して Fine-tuningをするた めのデータとして，非流暢性が検出された文のみ で構成されたデータ $\Delta D 2 D_{T a g}, \Delta D 2 D_{\text {NoTag }}$ も作成 する。

図 1 非流暢性検出器を用いた非流暢性タグが付与され た，もしくは除かれたデータ作成の概略図.

## 4 実験

非流暢性を含む音声から流暢なテキストへの翻訳 で，提案手法である非流暢性タグを用いたデータで 学習したモデルによる性能向上がみられるかを検証 するため，以下の実験を行った。

## 4.1 データセット

本研究では音声翻訳データとして, Fisher Spanish Corpus (Spanish-English)を用いた $[2,3]$. 本研究にお ける Fisher Spanish Corpus は，以下からなるデータ で構成されたものを用いた.
- $D 2 D$ : 非流暢性を含む音声から非流暢性を含む 目的言語テキスト
- $D 2 F$ : 非流暢性を含む音声から流暢な目的言語 テキスト

モデルは Fairseq [7]を用いて実装し，Transformer [8] をべースに作成した. 音響特徴量は 80 次元のメルフィルタバンク特徴量を用い, 学習データ では SpecAugument [9]によるデータ拡張手法を用い た. Tokenizer は SentencePiece [10]を用い, 最大語彙数は 8000 とした. 提案手法においては, 非流暢性 を扱うために新たに定義したく\# >を非流暢性ラべ ルとして定義し, それを含めた語彙数 8000 の辞書 を作成した. 学習データからは, 文字数が 400 より 大きく，フレーム数が 3000 より大きいぺアは取り

図 2 ベースラインと提案手法の学習過程の概略図.

表 1 学習に用いた Fisher Spanish Corpus の内訳. () 内は オリジナルでのデータサイズ.

除いた．学習データの内訳を表 1 に示す.

## 4.2 End-to-End 音声翻訳モデル

本研究では，ベースラインと提案手法として以下 のモデルを用いた. ベースラインと提案手法モデル の学習過程を図 2 に示す.

## 4.2.1 ベースラインモデル

本実験では，以下モデルをベースラインとした。
- $D 2 D$ : 非流暢性を含む音声から非流暢性を含む 目的言語テキストへの翻訳を学習したモデル
- $D 2 F$ : 非流暢性を含む音声から流暢な目的言語 テキストへの翻訳を学習したモデル
- $D 2 D+D 2 F: D 2 D$ をもとに流暢な目的言語テキ ストへの翻訳を Fine-tuning で学習したモデル

## 4.2.2 提案手法モデル

提案手法では，図 1 で作成したデータを用いて モデルを作成した. 非流暢性を含む目的言語テ キストから非流暢性検出器により検出されたタ グの内訳を表 2 に示す. $D 2 D_{\text {Tag }}, D 2 D_{\text {NoTag }}$ は，非流暢性を含む目的言語テキストと同じ数のデー タとなっており，学習されたモデルは，夕グ情報を用いていない非流暢性を含むテキストをも とにしたべースラインの $D 2 D$ モデルと比較で きる. $D 2 D_{\text {Tag }}, D 2 D_{\text {NoTag }}$ を用いたモデルとして， $D 2 D_{\text {Tag }}, D 2 D_{\text {Tag }}+D 2 F, D 2 D_{\text {NoTag }}, D 2 D_{\text {NoTag }}+D 2 F$表 2 目的言語テキストに含まれる非流暢性タグの割合.

を作成した。

また， $\Delta D 2 D_{\text {Tag }}, \Delta D 2 D_{\text {NoTag }}$ データを用いて， $D 2 D$ モデルで Fine-tuning したモデルを作成した. $\Delta D 2 D_{\text {Tag }}, \Delta D 2 D_{\text {NoTag }}$ データを用いたモデルとし $\tau, D 2 D+\Delta D 2 D_{\text {Tag }}, D 2 D+\Delta D 2 D_{T a g}+D 2 F, D 2 D+$ $\Delta D 2 D_{\text {NoTag }}, D 2 D+\Delta D 2 D_{\text {NoTag }}+D 2 F$ を作成した.

## 4.3 評価

本研究では，以下の評価データを用いて SacreBLEU [11] により評価した.

-D2F test : 非流暢性を含む音声から流暢な目的言語テキスト

暢性タグを除いた目的言語テキスト

-D2D Tag test : 非流暢性を含む音声から非流暢性タグを含む目的言語テキスト

の非流暢性タグは除去した。

## 5 実験結果と議論

ベースラインと提案手法の BLEU の結果を表 4 に 示す. 実験結果から，提案手法による非流暢性タグ の情報を用いたモデルを流暢なテキストで学習した モデルで， $D 2 D_{\text {Tag }}+D 2 F, D 2 D_{\text {NoTag }}+D 2 F, D 2 D+$ $\Delta D 2 F_{\text {NoTag }}+D 2 F$ が，いずれもベースラインと比較 してD2F test での BLEU の向上が見られることが わかった。この結果から，非流暢性タグの情報を取 り入れた非流暢性を含むテキストへの翻訳を学習し た場合の方が，流暢な目的言語テキストへの翻訳に おいて有効だと分かった。

一方で，流暢なテキストで Fine-tuningをし ない場合の，非流暢性タグの情報を用いた モデル $D 2 D_{\text {Tag }}, D 2 D+\Delta D 2 D_{\text {Tag }}, D 2 D_{\text {NoTag }}, D 2 D+$ $\Delta D 2 D_{\text {NoTag }}$ では，D2F test での評価値がベースラ インである $D 2 D+D 2 F$ の評価値を上回らなかった. このことから，非流暢性タグを付与した，もしくは 除いて学習したモデルは，非流暢性部分が予測され るよう，もしくは除かれるよう学習されるものの，
表 3 D2F test で評価した際のベースラインと提案手法の例文.

表 4 ベースラインと提案手法の BLEU の結果 (下線は ベースラインより評価値が向上したもの).

流暢な翻訳に最適化されていないことが分かった. D2D NoTag test での評価では，提案手法である $D 2 D_{\text {NoTag }}$ と $D 2 D+\Delta D 2 D_{\text {NoTag }}$ で，ベースライン である $D 2 D$ と比較して性能向上が見られており，非流暢性を除去したテキストへの翻訳をする上で は，非流暢性を除去してから学習したモデルが最 も最適化されていることが分かった. その一方で, $D 2 D_{T a g}$ と $D 2 D+\Delta D 2 D_{\text {Tag }}$ のようなタグを含むテ キストで学習したモデルで出力に含まれるタグを除

ンと比べて性能向上は見られなかった.

タグを含むデータで学習したモデルである $D 2 D_{\text {Tag }}$ と $D 2 D+\Delta D 2 D_{\text {Tag }}$ を $D 2 D_{\text {Tag }}$ test で評価 した結果と，出力に含まれる非流暢性タグの割合

スラインの $D 2 D$ を含めほとんどのモデルでの

表 $5 \quad D 2 D_{\text {Tag }}, D 2 D+\Delta D 2 D_{\text {Tag }}$ モデルを $D 2 D_{\text {Tag }}$ test で 評価した際の BLEU と出力に含まれる非流暢性タグの 割合.

D2 $D_{\text {NoTag }}$ test での評価値と比較し低い值となっ ている. 出力に含まれる非流暢性タグの割合をみ ると，参照文である D2D Tag test では $4.5 \%$ のみタ グが含まれているのに対し， $D 2 D+\Delta D 2 D_{T a g}$ では $38.0 \% ， D 2 D_{\text {Tag }}$ では $21.5 \%$ とより多くの非流暢性 タグが含まれており，参照文中に含まれるタグと出力文に含まれるタグの数の差が大きいことが，評価値の低下の要因だと考えられる。

タグを付与したデータで学習したモデル は，このようなタグの過剩生成の傾向がある ものの, $D 2 D_{T a g}+D 2 F$ では性能の向上が見ら れた. ベースラインと提案手法の一つである $D 2 D_{\text {Tag }}, D 2 D_{\text {Tag }}+D 2 F$ での出力文の例を表 3 に示 す. $D 2 D_{\text {Tag }}$ の出力例では，非流暢性である連続し た “that’s”の部分に，適切に非流暢性タグが付与さ れていることが分かる。また，その後流暢なテキス トで Fine-tuning した $D 2 D_{T a g}+D 2 F$ では, ベースラ インである $D 2 D+D 2 F$ で見られた “that's”の繰り返 しを防げており, 提案手法の有効性が確認できた。

## 6 まとめと今後の課題

本研究では，目的言語テキストに対して非流暢性 タグを付与したデータを用い，非流暢性を含む音声 から流暢な目的言語テキストの翻訳を学習した. 実験により，流暢な目的言語テキストへの翻訳での性能向上が期待できることが分かった. 今後の課題と して，出力文に含まれる非流暢性タグの数をコント ロールできるような学習と, 出力位置の予測精度の 向上を考えている.

## 謝辞

本研究の一部は JSPS 科研費 JP21H05054 と JST

SPRING プログラム JPMJSP2140 の助成を受けたも

のである.

## 参考文献

[1] Eunah Cho, Thanh-Le Ha, and Alex Waibel. Crf-based disfluency detection using semantic features for german to english spoken language translation. In Proceedings of the 10th International Workshop on Spoken Language Translation: Papers, Heidelberg, Germany, December 5-6, 2013, 2013.

[2] Matt Post, Gaurav Kumar, Adam Lopez, Damianos Karakos, Chris Callison-Burch, and Sanjeev Khudanpur. Improved speech-to-text translation with the fisher and callhome Spanish-English speech translation corpus. In Proceedings of the 10th International Workshop on Spoken Language Translation: Papers, Heidelberg, Germany, December 5-6 2013.

[3] Elizabeth Salesky, Matthias Sperber, and Alexander Waibel. Fluent translations from disfluent speech in endto-end speech translation. In Proceedings of the $\mathbf{2 0 1 9}$ Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 2786-2792, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[4] Koharu Horii, Meiko Fukuda, Kengo Ohta, Ryota Nishimura, Atsunori Ogawa, and Norihide Kitaoka. Endto-end spontaneous speech recognition using disfluency labeling. In Hanseok Ko and John H. L. Hansen, editors, Interspeech 2022, 23rd Annual Conference of the International Speech Communication Association, Incheon, Korea, 18-22 September 2022, pp. 4108-4112. ISCA, 2022.

[5] Paria Jamshid Lou, Yufei Wang, and Mark Johnson. Neural constituency parsing of speech transcripts. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 2756-2765, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[6] Paria Jamshid Lou and Mark Johnson. Improving disfluency detection by self-training a self-attentive model. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 3754-3763, Online, July 2020. Association for Computational Linguistics.

[7] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A fast, extensible toolkit for sequence modeling. In Waleed Ammar, Annie Louis, and Nasrin Mostafazadeh, editors, Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technolo- gies, NAACL-HLT 2019, Minneapolis, MN, USA, June 2-7, 2019, Demonstrations, pp. 48-53. Association for Computational Linguistics, 2019.

[8] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in neural information processing systems, pp. 5998-6008, 2017.

[9] Daniel S. Park, William Chan, Yu Zhang, Chung-Cheng Chiu, Barret Zoph, Ekin D. Cubuk, and Quoc V. Le. Specaugment: A simple data augmentation method for automatic speech recognition. In Gernot Kubin and Zdravko Kacic, editors, Interspeech 2019, 20th Annual Conference of the International Speech Communication Association, Graz, Austria, 15-19 September 2019, pp. 2613-2617. ISCA, 2019.

[10] Taku Kudo and John Richardson. Sentencepiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, 2018.

[11] Matt Post. A call for clarity in reporting BLEU scores. In Proceedings of the Third Conference on Machine Translation: Research Papers, pp. 186-191, Belgium, Brussels, October 2018. Association for Computational Linguistics.


# 音声機械翻訳の時間効率と精度を改善するための連続音声分割

福田りょう 須藤克仁 中村哲
奈良先端科学技術大学院大学
\{fukuda.ryo.fo3, sudoh, s-nakamura\}@is.naist.jp

## 概要

連続発話音声の機械翻訳には、翻訳処理単位（セ グメント）への音声の事前分割が必要である。既存 の音声分割手法は、文より多くの情報を持つような 長いセグメントを生成する傾向があり、音声機械翻訳（Speech Translation; ST）の時間効率や精度を低下 させていた。本研究では、(1) 長さに関するヒュー リスティクスに頼らない分割アルゴリズムの提案、及び（2）転移学習による音声フレーム分類器の精度改善により上記の問題に取り組んだ。TED talks の音声翻訳コーパスを用いた実験により、提案手法 が生成する平均長が短いセグメントは、音声機械翻訳の時間効率と精度を改善することを示した。

## 1 はじめに

ST は機械翻訳（Machine Translation; MT）の一種 であり、その実用化には連続音声の自動分割が欠か せない。現在の MT は適切に翻訳できる入力長に上限があるため、長い入力は事前に分割する必要があ る。テキストを入力とする通常の MT では、句点や 終止符を境界とした文単位への分割が一般的であ る。一方で、ST の入力である連続発話音声には明示的な境界記号が存在せず、セグメントの境界は自明ではない。ST モデルの学習及び評価時には、音声翻訳コーパスが含むセグメント境界を利用できる が、実用の場面では自動的な音声分割処理が必要に なる。

音声区間検出（Voice Activity Detection; VAD）を 用いた無音区間に基づく分割 [1] は、一般的な音声分割手法として音声認識やST に広く用いられてき た。しかし、発話に含まれる無音は必ずしも意味的 なまとまりの境界とは一致しないため、VAD はし ばしば翻訳に適さないセグメントを生じさせる。近年の研究では、VADによる音声の過剰分割がST の 精度を著しく低下させることが指摘されている [2]。 この問題を緩和するために、Gaido ら [3] と Inaguma
ら [4] は、ST モデルが処理しやすい長さまで VAD によるセグメントを連結して翻訳するヒューリス ティクスを用いた。しかし、無音に基づく不適切な 分割は依然として存在した。

近年では、音声翻訳コーパスのセグメント境界を 予測する、コーパスに基づく音声分割手法 $[5,6,7,8]$ が提案されている。これらの手法は無音に基づく従来手法を大幅に上回り、中でも事前学習済みの自己教師あり音声モデル wav2vec 2.0 を用いた SHAS [7] は、人手で分割されたセグメントの翻訳精度を $95 \%$以上維持することが報告されている。

しかし、SHAS は 2、3文繋がったような長いセグ メントを生成する傾向があり、より文に近い短いセ グメントまで分割することで精度を改善できる可能性がある。また平均セグメント長が長いほど、並列処理できるサンプル数が減少し、かつトークンあた りの時間計算量が増加するため ST の時間効率が低下する。

そこで本研究では、翻訳に必要な情報を過不足な く持つセグメントを生成する音声分割を実現するた めに、SHAS に対して以下の工夫を取り入れた。

1. 長さに関するヒューリスティクスに頼らない分割アルゴリズムの提案

2. 転移学習による音声フレーム分類器の精度改善 TED talks の音声翻訳コーパス MuST-C を用いた実験 により、提案手法が人手分割の約 $97 \%$ の翻訳精度を 維持しつつ、ST の推論速度を約 $25 \%$ 高速化できる ことを示した。

## 2 従来手法 SHAS

SHAS（Supervised Hybrid Audio Segmentation） [7] は音声翻訳コーパスで学習された音声フレー 么分類器 (2.1 節) と確率的分割統治（probabilistic Divide-and-Conquer; pDAC）アルゴリズム（2.2節）を 用いた最新の音声分割手法である。本節では SHAS の概要と課題について説明する。

図 1 SHAS の音声フレーム分類器。 $y=1$ は対応するフ レームが音声翻訳コーパスのセグメントに含まれること を、 $y=0$ はセグメント境界の一部であることを示す。

## 2.1 音声フレーム分類器

SHAS では、入力音声の各フレームがセグメント に含まれるか、あるいはセグメント境界の一部で あるかを予測する音声フレーム分類器を用いる。 その構造は図 1 のような、事前学習済みの自己教師あり音声モデル wav2vec 2.0 のエンコーダに 1 層 の Transformer Encoder 層を繋げたニューラルネット ワークモデルである。モデルは、音声翻訳コーパス が含む高品質な分割（Gold segmentation）を予測す る、フレーム単位の系列ラベリング問題としてセグ メント境界の予測を学習する。学習サンプルとし て、ランダムな位置で抽出した 20 秒の音声と、それ に対応づく $20 \mathrm{~ms}$ フレーム毎のラベル $y \in\{0,1\}$ の系列が用いられる。この時、 $y=1$ は対応するフレー ムが音声翻訳コーパスのセグメントに含まれること を、 $y=0$ はセグメント境界の一部であることを示 す。学習時に wav2vec 2.0 のパラメータは固定とし、最終層の Transformer Encoder 層と出力層のパラメー タのみを更新する。

## 2.2 pDAC アルゴリズム

音声フレーム分類器が予測した、各フレームがセ グメントに含まれる確率 $p \in[0,1]$ に基づき音声分割が行われる。pDAC は、音声を最も確率が低いフ レームの位置で分割し、生成されたセグメントに対 しても同様の分割を適用する再帰的なアルゴリズム である。セグメントの分割は、長さが事前に設定し た値を下回るか、分割の確率が間値を上回るまで行 われる。pDAC の利点は、事前に設定した値を下回 るとただちに分割を終了することで、ST モデルが 扱いやすい長さのセグメントへ音声を分割できるこ とである。

## 3 提案手法

SHAS は、pDAC アルゴリズムで長さに関する ヒューリスティクスを用いることで、安定して高い 翻訳精度を達成した。一方で、SHAS が生成するセ グメントは音声翻訳コーパスのセグメントと比べ て長くなりやすい。音声翻訳コーパスのセグメン ト（Gold）の平均長が 5.79 秒であるのに対し、実験で pDAC は平均長 9.17 秒のセグメントを生成し た (5 節)。付録 A. 4 にはセグメント長の分布を示す。以上から SHAS のセグメントは、精度を低下させ ずに更に細かく分割できる余地があると考えられ る。過分な情報は翻訳結果に悪影響を及ぼす可能性があり、更にセグメント長が長いほど ST の時間効率が低下する。本研究では、上記の問題を改善 するため、長さに関するヒューリスティクスに頼 らない分割アルゴリズム pTHR (3.1 節)を提案する。 また音声フレーム分類器の精度を向上するために wav2vec 2.0 のパラメータを一部更新する転移学習を 行う (3.2 節)。

## 3.1 pTHR アルゴリズム

pTHR は、事前に設定した確率の閾値 $t h r$ を下回 る地点で分割する単純なアルゴリズムである。ただ しセグメントが事前に設定した最小長 $\min$ より大き く、最大長 max 以下になることを保証する。また、隣り合う $n_{m a}$ フレームの確率の移動平均を取るこ とで予測の安定化を図っている。アルゴリズムの疑似コードを付録 A. 1 に示す。分割時にセグメントの 長さを重視していた pDAC に比べ、pTHR は音声フ レーム分類器の予測が結果に強く反映される。その ため過分な情報を持つセグメントが生成されにくい 利点がある。また分割前に音声全体を読み込む必要 がある pDAC に対し、pTHR は予測に音声全体を必要としない前向きアルゴリズムであるためオンライ ン STへも適用できる。

## 3.2 wav2vec 2.0 の転移学習

pTHR は結果が音声フレーム分類器の精度に左右されやすく、モデルの精度の改善による ST の 向上が期待できる。SHAS では、wav2vec 2.0 のパ ラメータを固定して音声フレーム分類器を学習 した。本研究では、wav2vec 2.0 の高い表現力を更 に活用するために、一部パラメータの更新を行な う SHAS+FTPT を提案する（図 2)。具体的には、

図 2 wav2 $2 \mathrm{vec} 2.0$ の部分的な転移学習を行う SHAS+FTPT

wav2vec 2.0 から引き継いだエンコーダ $N_{\text {AllLayers }}$ 層 の中で上 $N_{\text {FTLayers }}$ 層のパラメータを学習する。ま たメモリ効率を高めるため、Feed Forward 層のパラ メータは常に固定として Parallel Adapter [9]を追加・学習した [10]。

## 4 実験設定

提案手法の有効性を検証するために音声翻訳の実験を行い、複数の音声分割手法を比較した。

## 4.1 データ

音声翻訳コーパス MuST-C に含まれる、約 408 時間の英語の講演音声と、それに対応付いた書き起こ しテキスト、及びドイツ語の翻訳テキストを用いて 英独音声翻訳の実験を行った。評価のために、学習 データを用いて作成した音声フレーム分類器 (4.3.1 節) と分割アルゴリズム（4.3.2 節）で評価データの 音声をセグメント化した。セグメント化された音声 をST モデルで翻訳した後、編集距離に基づくテキ スト整列アルゴリズムで評価データの参照訳と対応付けを行った後、BLEUを測定した [11]。

## 4.2 ST モデル

ST モデルとして、Fairseq で公開されているJoint Speech-to-Text [12] モデルを用いた1)。このモデルは MuST-C で学習された Transformer に基づく EncoderDecoder 型のニューラルネットワークであり、音声 とテキストの両方を大力として受け取ることができ る。翻訳時、Decoder はビーム幅 5 でビーム探索を 行った。

1) https://github.com/pytorch/fairseq/blob/main/ examples/speech_text_joint_to_text/docs/ende-mustc.md表 1 BLEUによる分割手法の比較。括弧内の数字は Gold segmentationとの比率を示す。

## 4.3 音声分割手法

## 4.3.1 音声フレーム分類器

音声フレーム分類器の学習には、学習データから ランダムな位置で抽出した 20 秒の音声とそれに対応づくラベル列を用いた。従来手法 SHAS の分類器 として、wav2vec 2.0 XLS-R ${ }^{2}$ のエンコーダを下 16 層 のみ用いる middle モデルと、 24 層全て用いる large モデルを作成した。また提案手法の分類器として以下に列挙する 6 つの SHAS+FTPT（3.2 節）を作成し た。括弧の中に $N_{\text {FTLayers }} / N_{\text {AllLayers }}$ の形式でモデ ルの設定を示している。
- middle+quarter (4/16)
- middle+half (8/16)
- middle+all (16/16)
- large+quarter (6/24)
- large+half (12/24)
- large+all (24/24)

## 4.3.2 分割アルゴリズム

ベースラインアルゴリズムとして、pDAC (2.2 節) に加え、前向きアルゴリズム pSTRM [13] を用い た。ハイパラーパラメータは $t h r=0.5 、 \min =0.2$ とし、 $\max =[10,28]$ の範囲を開発データを用いて 探索した中で、最良の設定で評価を行なった。提案手法である pTHR (3.1 節) のハイパーパラメー 夕は $\max =28 、 \min =0.2$ とし、 $t h r=[0.1,0.9]$ と $n \_m a=[0,1]$ の範囲を開発データを用いて探索し た。このうち、移動平均を用いない $n \_m a=0$ の中で 最良の設定で評価した結果を pTHR、移動平均を用 いる $n \_m a>0$ の中で最良の設定で評価した結果を pTHR+MA として報告する。

## 5 実験結果

表 1 にSHAS と提案手法で生成したセグメントの 翻訳精度を示す。ここでは SHAS は Tsiamas ら [7]

2) https://huggingface.co/facebook/wav2vec2-xls-r-300m

図 34 つの middle サイズモデルにおける分割アルゴリズ ムの比較。横軸はモデルの学習可能なパラメータの割合 を、縦軸は翻訳精度を示す。

から引用した値を、提案手法は複数の音声フレーム 分割器、分割アルゴリズム、及びハイパーパラメー タで実施した中で最も高い翻訳精度を得た条件によ る結果を示している。より詳細な結果を付録 A. 2 に 示す。表 1 において、提案手法はSHAS の BLEU ス コアを $0.63 \mathrm{pt}$ 上回り、また音声翻訳コーパスの高品質なセグメント（Gold）の翻訳精度を $97.4 \%$ 維持 した。

## 5.1 分類器とアルゴリズムの組み合わせ

図 3 は 4 つの middle サイズモデル (middle、 +quarter、thalf、+all）における各分割アルゴリズ ムの比較である（large モデルの結果は付録 A. 3 に 示す)。図の横軸はモデルのパラメータの中で学習可能なものの割合を、縦軸は翻訳精度を示してい る。 wav2vec 2.0 のパラメータを固定して学習した middle では、pTHR の結果が他の分割アルゴリズム と比べて大幅に低い。この結果は分類器の予測精度 が不十分であることを示唆しており、そのような場合では、長さに関するヒューリスティクスを重視し た従来の分割アルゴリズムが優位性を持っていた。一方で、モデルの学習パラメータ数の増加につれ、 pTHR の結果は従来の分割アルゴリズム pDAC 及び pSTRM より大きく向上した。分類器の性能が高い ほど、セグメントの長さを重視する必要性が低下す ることが分かる。

また移動平均を用いた pTHR+MA が一貫して最 も良い翻訳精度を得た。特に、middleでは pTHR を $2 \mathrm{pt}$ 以上上回っており、移動平均による安定化がモ デルの予測精度の低さを補う効果を示した。

図 4 分割アルゴリズムによる ST の時間効率と翻訳精度 のトレードオフ。横軸は 5 回行った ST の推論の平均害行時間を、縦軸は翻訳精度を示す。

## 5.2 ST の時間効率

図 4 は各分割アルゴリズムの時間効率と翻訳精度のトレードオフの比較である。ミニバッチあ たりのトークン数を 100,000 に設定し、同一のマ シンでRTX 3090 を用いて ST の推論を行なった。 また複数の点を打つために、各アルゴリズムを 異なる条件で複数回実行した。pDAC とpSTRM で は $\max =[2,28]$ の範囲で、pTHR と pTHR+MA では threshold $=[0.1,0.9]$ の範囲で条件を設定した。

提案アルゴリズム（pTHR、pTHR+MA）はベース ラインアルゴリズム (pDAC、pSTRM) より優れた時間効率で、高い翻訳精度を達成した。特に pTHR が 生成するセグメントは、人手分割の約 $97 \%$ の翻訳精度を維持しつつ、pDAC のセグメントと比べて約 $25 \%$ 高速に処理された。平均セグメント長が pDAC は9.17秒であるのに対して pTHR は5.67秒と短いこ とが高速化に繋がったと考えられる。付録 A. 4 に、 セグメント手法毎のセグメント長の分布を示す。

## 6 おわりに

本研究では、最新の連続音声分割手法 SHAS の問題点を示した上で、（1）長さに関するヒューリス ティクスに頼らない分割アルゴリズムの提案、及び （2）既存手法で用いられた音声フレーム分類器の精度改善によりこの問題に取り組んだ。TED talks の 音声翻訳コーパスを用いた実験により、提案手法が 生成する平均長が短いセグメントは、音声機械翻訳 の時間効率と精度を改善することを示した。

今後は提案手法を即時性の要求が高い同時音声機械翻訳に適用し、有効性の検証を行う。

## 謝辞

本研究の一部は JSPS 科研費 JP21H05054 と JP21H03500、及び JST SPRING JPMJSP2140 の助成 を受けたものである。

## 参考文献

[1] Jongseo Sohn, Nam Soo Kim, and Wonyong Sung. A statistical model-based voice activity detection. IEEE signal processing letters, Vol. 6, No. 1, pp. 1-3, 1999.

[2] David Wan, Chris Kedzie, Faisal Ladhak, Elsbeth Turcan, Petra Galuščáková, Elena Zotkina, Zheng Ping Jiang, Peter Bell, and Kathleen McKeown. Segmenting subtitles for correcting asr segmentation errors. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, pp. 2842-2854, 2021.

[3] Marco Gaido, Matteo Negri, Mauro Cettolo, and Marco Turchi. Beyond voice activity detection: Hybrid audio segmentation for direct speech translation. CoRR, Vol. abs/2104.11710, , 2021.

[4] Hirofumi Inaguma, Brian Yan, Siddharth Dalmia, Pengcheng Guo, Jiatong Shi, Kevin Duh, and Shinji Watanabe. ESPnet-ST IWSLT 2021 offline speech translation system. In Proceedings of the 18th International Conference on Spoken Language Translation (IWSLT 2021), pp. 100-109, Bangkok, Thailand (online), August 2021. Association for Computational Linguistics.

[5] Xiaolin Wang, Masao Utiyama, and Eiichiro Sumita. Online sentence segmentation for simultaneous interpretation using multi-shifted recurrent neural network. In Proceedings of Machine Translation Summit XVII Volume 1: Research Track, pp. 1-11, 2019.

[6] Javier Iranzo-Sánchez, Adrià Giménez Pastor, Joan Albert Silvestre-Cerdà, Pau Baquero-Arnal, Jorge Civera Saiz, and Alfons Juan. Direct segmentation models for streaming speech translation. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 2599-2611, Online, November 2020. Association for Computational Linguistics.

[7] Ioannis Tsiamas, Gerard I. Gállego, José A. R. Fonollosa, and Marta R. Costa-jussà. SHAS: Approaching optimal Segmentation for End-to-End Speech Translation. In Proc. Interspeech 2022, pp. 106-110, 2022.

[8] Ryo Fukuda, Katsuhito Sudoh, and Satoshi Nakamura. Speech Segmentation Optimization using Segmented Bilingual Speech Corpus for End-to-end Speech Translation. In Proc. Interspeech 2022, pp. 121-125, 2022.

[9] Junxian He, Chunting Zhou, Xuezhe Ma, Taylor BergKirkpatrick, and Graham Neubig. Towards a unified view of parameter-efficient transfer learning. In International Conference on Learning Representations, 2021.

[10] Ioannis Tsiamas, Gerard I. Gállego, Carlos Escolano, José Fonollosa, and Marta R. Costa-jussà. Pretrained speech encoders and efficient fine-tuning methods for speech translation: UPC at IWSLT 2022. In Proceedings of the 19th International Conference on Spoken Language
Translation (IWSLT 2022), pp. 265-276, Dublin, Ireland (in-person and online), May 2022. Association for Computational Linguistics.

[11] Evgeny Matusov, Gregor Leusch, Oliver Bender, and Hermann Ney. Evaluating machine translation output with automatic sentence segmentation. In Proceedings of the Second International Workshop on Spoken Language Translation, 2005.

[12] Yun Tang, Juan Pino, Xian Li, Changhan Wang, and Dmitriy Genzel. Improving speech translation by understanding and learning from the auxiliary text translation task. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 4252-4261, Online, August 2021. Association for Computational Linguistics.

[13] Marco Gaido, Matteo Negri, Mauro Cettolo, and Marco Turchi. Beyond voice activity detection: Hybrid audio segmentation for direct speech translation. In Proceedings of the Fourth International Conference on Natural Language and Speech Processing (ICNLSP 2021), pp. 55-62, Trento, Italy, 12-13 November 2021. Association for Computational Linguistics.

## A 付録

## A. 1 pTHR アルゴリズムの疑似コード

## A. 2 全ての音声フレーム分類器の結果

表 2 音声フレーム分類器 SHAS、SHAS+FTPT と、分割 アルゴリズム pDAC、pSTRM、及び pTHR+MA を用いて 生成したセグメントの翻訳精度。

## A. 3 large サイズモデルのパラメータBLEU 曲線

図 54 つの large サイズモデルにおける分割アルゴリズ ムの比較。横軸はモデルの学習可能なパラメータの割合 を、縦軸は翻訳精度を示す。

## A. 4 セグメント長の分布

(a) Gold セグメント

(b) pDAC セグメント

(c) pTHR セグメント

図 6 セグメント手法毎のセグメント長の分布。(b)(c)で は音声フレーム分類器として large+allを用いた。


# 文脈情報を考慮した高速な英日文アラインメント

福田りょう・, 帖佐 克己
- 奈良先端科学技術大学院大学 $`$ NTTコミュニケーション科学基礎研究所
fukuda.ryo.fo3@is.naist.jp katsuki.chousa.bg@hco.ntt.co.jp

## 概要

本論文では大規模対訳コーパスの作成に向けた高精度かつ高速な文アラインメント手法を提案する。従来手法では文外文脈およびトークン単位の情報を 予測時に考慮することで高精度な文アラインメント を実現していたが，予測時の計算量が大きいことか ら大規模なデータへの適用が難しかった. 本論文で は，両方の言語の文脈情報を考慮した文ベクトルを 用いて対訳文書間の全てのアラインメントを同時に 予測することで，小さい計算量で高精度な文アライ ンメントを獲得する手法を提案する。日英での新聞記事を用いた実験により，提案手法が予測速度を維持しながら高い精度でアラインメントを行えること を示した。

## 1 はじめに

文アラインメントは対訳となっている文書対から 対訳文対を自動で抽出するタスクである。抽出され た大量の対訳文対からなるデータセットは対訳コー パスといい，機械翻訳モデルを始めとした言語横断 モデルの学習に用いられる. 特に, 高精度なニュー ラル機械翻訳（Neural Machine Translation; NMT）モ デルの学習には高品質かつ大量の対訳文が不可欠で あることが知られている [1]. そのため，Webから クロールするなどして得られる大量の対訳文書対か ら高精度な対訳文アラインメントを高速に抽出でき る手法が必要とされている.

近年ではニューラルネットワークを用いたスコア リングに基づく文アラインメント手法が多数提案さ れている. Vecalign [2] は文ベクトルの類似度に基づ くスコアを用いてアラインメントを行う手法であ る. この手法は比較的高速に文対応付けを計算でき る一方で，精度が文べクトルに用いる多言語文埋め 込み表現の精度に大きく影響されるため，英語やド イツ語に比べて低資源な日本語を含む言語対では精度が大きく減少してしまう. SpanAlign [3] は言語横断スパン予測モデルとその予測時に得られるスコア を基にアラインメントを行う手法である。このスパ ン予測モデルは文脈情報および言語横断でのアテン ションを行うことが可能で，高精度な文アラインメ ントを抽出することができる。一方で，モデルに入力するトークン数が増えるに従って予測にかかる計算量が非常に大きくなってしまうため，大規模デー タに対して適用することが難しい。

本論文では, 先行研究の高速な予測速度を維持し ながら高精度な文アラインメントの予測を行う手法 を提案する。提案手法では，対訳文書の各文を事前学習済みの多言語モデルで文ベクトルにエンコード し，両方の言語の文脈情報を考慮した文ベクトルを 求め，その文べクトルに基づいて対訳文書間の任意 のアラインメント候補に対するスコアを一度に計算 する。これにより，高精度な文アラインメントが高速に自動抽出できることが期待される．日英新聞記事を用いた実験で，高速な既存手法と比べて提案手法が予測速度を維持しながら精度を $\mathrm{F}$ 値で $0.032 \mathrm{pts}$向上することを確認した.

## 2 先行研究

文アラインメント手法は文同士の類似度を計算す るスコア関数とその類似度に基づいてアラインメン 卜を求めるアルゴリズムの 2 つのステップに大きく 分解することができる. その内，スコア関数として は文脈情報を考慮しない手法 $[2,4,5,6,7]$ および文脈情報を考慮する手法 [3] が提案されている.

近年のスコア関数はニューラルネットワークに基 づく手法が主流となっている. Vecalign [2] と呼ばれ る手法は多言語文埋め込み表現の LASER [8] による 文ベクトルの類似度に基づいて再帰的な DP マッチ ングを行うことで，独仏間の文アラインメントで最高精度を達成している. また，計算量も小さいこと から世界で最も大きい対訳コーパスの 1 つである ParaCrawl コーパス [9] の作成にも利用されている.一方で，文埋め込みの精度に文アラインメントの精
度が大きく影響されてしまうため, 日英間では独仏間のような言語対と比べて精度が大幅に減少してし まうことが確認されている. SpanAlign [3] はある言語の文書中からもう一方の言語の文に対応する文の スパンの開始/終了位置を予測し, その予測から得ら れるスコアに基づいて ILPを行うことで文アライン メントを実現する.この言語横断スパン予測モデル は, 先行研究によって予測された文アラインメント の結果を学習データとして事前学習済み多言語言語 モデルから作成することができ，文脈情報の利用お よび言語横断でのアテンションを行うことで，日英間の文アラインメントにおいて最高精度を達成して いる。一方で，モデルに同時に入力することができ るトークン数の上限から，文書に含まれる文数が多 くなると sliding window という方法で文書の一部に 対する予測を組み合わせて文書全体に対する予測を 行う必要があるため, 予測の際の計算量が非常に大 きくなってしまう.

また，文アラインメントと似たタスクとして単語 アラインメントタスクがある.このタスクでは対訳文間の単語の対応関係を抽出する。このタスクで も言語横断スパン予測モデルに基づく手法 [10] が 複数の言語対で最高精度を達成している. さらに, Procopio ら [11] は，対訳文間のすべての単語べクト 几同士の直積から得られる類似度行列を用いてアラ インメントを抽出する手法を提案している。ここで 用いられる単語ベクトルはスパン予測モデルと同様 の方法で文脈情報および言語横断のアテンションに 基づいて計算される. これにより，スパン予測に基 づく手法と同等の精度をより高速に実現している.

## 3 提案手法

本論文では，先行研究の高速な予測速度を維持し ながら高精度な文アラインメントの予測を行うため に，高速かつ高精度にスコア関数を計算する手法を 提案する. 図 1 に示す提案手法は，まず対訳文書の 各文を事前学習済みの多言語モデルで同じ空間のべ クトル表現へと変換し（3.1.1 節），次に言語内およ び他言語の文脈情報を考慮した文 n-gram ベクトル を計算し（3.1.2 節），最後に対訳文書間の任意の文 アラインメントの候補に対するスコアを同時に計算 する (3.1.3 節). 提案手法は, 文べクトルへダウン サンプリング，およびスコアの同時計算により高速 な予測が可能である. 更に文脈情報を考慮したべク トルによる高精度な文アライメントが期待できる。

## 3.1 モデル

## 3.1.1 多言語モデルによる文ベクトル

異なる言語の文を同じ空間の埋め込み表現へと変換するために，本手法では LaBSE [12]を使用する. LaBSE は 109 言語以上に対応している多言語文埋め 込みモデルで，対訳文検索（bitext retrieval）では非常に高い精度を実現することが報告されている。

LaBSE を用いて文書 $E$ の文べクトル行列 $H^{e} \in$ $\mathbb{R}^{|E| \times d}$ を以下のように求める.

$
\begin{aligned}
H^{e} & =\left[\mathbf{h}_{1}^{e}, \mathbf{h}_{2}^{e}, \ldots, \mathbf{h}_{|E|}^{e}\right] \\
\mathbf{h}_{i}^{e} & =\operatorname{LaBSE}\left(e_{i}\right), 1 \leq i \leq|E|
\end{aligned}
$

$\mathbf{h}_{i}^{e}$ は $e_{i}$ に対応する文べクトルであり,$d$ は文べク トルの次元数である. 文書 $F$ の文ベクトル行列 $H^{f} \in \mathbb{R}^{|F| \times d}$ も同様に求める.

## 3.1.2 文脈横断の文 n-gram ベクトル

次に，言語内およびもう一方の言語の文脈情報を 考慮した文べクトルを，それぞれの文書の文べクト ルを結合して self attention [13] を計算することで求 める.

$
C_{1}^{e},{ }_{-}, C_{1}^{f}=\text { self_attn }\left(\left[H^{e} ; \mathbf{s} ; H^{f}\right]\right)
$

ここで，self_attn は $l$ 層の Transformer Encoder， s は2つの文書の区切りを表す学習可能パラメータ， $C_{1}^{e} \in \mathbb{R}^{|E| \times d}, C_{1}^{f} \in \mathbb{R}^{|F| \times d}$ はそれぞれ $H^{e}, H^{f}$ に対応 する Transformer Encoder の出力を表す．続いて，多対多の文対応を抽出するために，文べクトルを文 n-gram ゙ククトルに拡張する。

$
\begin{aligned}
C_{1: N}^{e} & =\left[C_{1}^{e} ; \ldots ; C_{N}^{e}\right] \\
C_{n}^{e} & =\text { max_pooling }_{n}\left(C^{e}\right), 1 \leq n \leq N
\end{aligned}
$

ここで， $N$ は文 n-gram の最大文数を表すハイ パーパラメータを, max_pooling $_{n}$ はカーネルサイ ズ $(n, 1)$, ストライド 1 の Max Pooling 層を表す. $C_{1: N}^{e} \in \mathbb{R}^{\left|E_{1: N}\right| \times d}$ は $C^{e}$ の文 n-gram への拡張である (ただし, $\left.\left|E_{1: N}\right|=\frac{N(2|E|-N+1)}{2}\right) . C^{f}$ の拡張 $C_{1: N}^{f}$ も 同様に計算する.

## 3.1.3 スコア計算

最後に，対訳文書間の任意のアラインメント候補 に対するスコア行列 $\hat{A} \in \mathbb{R}^{\left|E_{1: N}\right| \times\left|F_{1: N}\right|}$ を，文 n-gram ベクトル同士の直積を MLP 層 mlp に入力すること

図 1 提案手法の概要

で求める.

$
\hat{A}=\operatorname{mlp}\left(C_{1: N}^{e} \otimes C_{1: N}^{f}\right)
$

(6) 式は一度で全てのアライメント候補のスコア を計算できるため，スパン予測モデル [3] のスコア 計算と比べて非常に高速である.

## 3.2 損失関数

文アラインメントのためのスコア関数計算を，正解の文 n-gram 対応を表す行列 $A \in \mathbb{R}^{\left|E_{1: N}\right| \times\left|F_{1: N}\right|}$ を予測する問題としてモデルを学習する．ただし $A_{i j} \in\{0,1\}$ であり， $A_{i j}=1$ は $i$ に対応する文書 $E$ の文 n-gram と $j$ に対応する文書 $F$ の文 n-gram が 対応関係にあることを示す. モデルの学習時，損失関数として Binary Cross Entropy（3.2.1 節）または Softmax Cross Entropy（3.2.2 節）を用いた.

## 3.2.1 Binary Cross Entropy (BCE) loss

文 n-gram の対応を，二值分類タスクとして学習す る. 学習時の損失 $\mathscr{L}_{b c e}$ は予測されたスコア行列 $\hat{A}$ と, 正解の文 n-gram 対応 $A$ 間の交差エントロピー として (7) 式で定義される.

$
\begin{array}{r}
\mathscr{L}_{\text {bce }}=-\frac{1}{\left|E_{1: N}\right|\left|F_{1: N}\right|} \sum_{i=1}^{\left|E_{1: N}\right|} \sum_{j=1}^{\left|F_{1: N}\right|}\left.\{a_{i j} \log \sigma\left(\hat{a}_{i j}\right)\right. \\
\left.+\left(1-a_{i j}\right) \log \left(1-\sigma\left(\hat{a}_{i j}\right)\right)\right.\}
\end{array}
$

ここで， $\sigma$ はシグモイド関数であり，また $\sigma\left(\hat{a}_{i j}\right)(0 \leq$ $\left.\sigma\left(\hat{a}_{i j}\right) \leq 1\right)$ と $a_{i j} \in\{0,1\}$ はそれぞれ $\hat{A}$ と $A(i, j)$成分に対応する. $\mathscr{L}_{b c e}$ によって，モデルは多対多の 対応付けを直接的に学習できる. また $A$ の各行及び 各列に，値が 1 の要素は高々 1 つしか含まれないた め, DP や ILP といったアライメントアルゴリズム の適用が容易である。一方で， $N$ が大きいほど行列 がスパースになり，学習が難しくなる欠点がある.
モデルの予測時，(6) 式のスコアは $\hat{A}$ の各要素を シグモイド関数で正規化する.

## 3.2.2 Softmax Cross Entropy (SCE) loss

文n-gram の対応を, 多クラス分類タスクとして学習する。学習時の損失 $\mathscr{L}_{s c e}$ は [14] に従い, $E \rightarrow F$方向の対応付け損失 $\mathscr{L}_{E \rightarrow F}$ と $F \rightarrow E$ 方向の対応付 け損失 $\mathscr{L}_{F \rightarrow E}$ の平均で定義する.

$
\begin{gathered}
\mathscr{L}_{\text {sce }}=\left(\mathscr{L}_{E \rightarrow F}+\mathscr{L}_{F \rightarrow E}\right) / 2 \\
\mathscr{L}_{E \rightarrow F}=-\frac{1}{\left|E_{1: N}\right|} \sum_{i=1}^{\left|E_{1: N}\right|} \sum_{j=1}^{\left|F_{1: N}\right|} \\
\left.\{a_{i, j} \log \frac{e^{\left(\hat{a}_{i, j}-m\right)}}{e^{\left(\hat{a}_{i, j}-m\right)}+\sum_{c=1, c \neq j}^{\left|F_{1: N}\right|} e^{\hat{a}_{i, c}}}\right.\}
\end{gathered}
$

ここで， $m$ は正例と負例のスコアの分離を促進する ためのマージンである. $F \rightarrow E$ 方向の対応付け損失 $\mathscr{L}_{F \rightarrow E}$ も (9) 式と同様に計算する.

モデルの予測時，(6) 式のスコアは $\hat{A}$ に対して行方向と列方向にソフトマックス関数をかけて正規化 した値の平均を用いる.

絶対的な対応付けスコア予測を学習する $\mathscr{L}_{b c e}$ と は対照的に， $\mathscr{L}_{\text {sce }}$ では相対的な対応付けスコアの予測を学習するため, 学習が容易になることが期待で きる。

## 4 実験

提案手法の有効性を確認するため, 日本語と英語 の実際の新聞記事の対訳データを用いて文アライン メントの精度と速度の評価を行った.

学習および開発, 評価のデータには読売新聞の記事とその翻訳となっている The Japan News の記事を 使用した ${ }^{1)}$. 表 1 に各データの平均文数を示す. 学

1) https://database.yomiuri.co.jp/about/glossary/
表 1 データセットの平均文数

習データには，内山らの手法 [5] を用いて自動抽出 した対訳文書 2,989 本とその文書内の文アラインメ ントを擬似正解データとして用いた。これらのデー タは，2012 年に発行された日本語記事 317,491 本 と英語記事 3,878 本から抽出した. 開発および評価 データには，2013 年に発行された記事から人手でア ラインメントを行ったものをそれぞれ 15 本ずつ用 いた。評価には，文アラインメントの評価尺度とし て一般的に用いられている，文アラインメント単位 での $F_{1}$ スコアを用いた2).

ベースラインには, Vecalign [2] と SpanAlign [3] を 用いた. Vecalign での文アラインメントには著者実装3)を用いた。アラインメントに含まれる最大文数 は 8，文埋め込みべクトルを作成する際に結合する 最大文数は 10 とした. また，多言語文埋め込みに は LASER [8] を用いた. SpanAlign での文アライン メントについても著者実装4)を用いた。各種設定に 関しては論文の設定に準拠した。

提案手法に含まれるLaBSE は，事前学習済みモ デル゙)をパラメータを固定して用いた. Transformer Encoderは 1 層の encoder layer で構成し, multihead attention の head 数を 8，隠れ層の次元を 768， Feedforward 層の次元を 2048 とした. 文 n-gram の最大文数 $N=2$ とした. アラインメントアルゴリズム として整数計画法を適用し，ソルバには IBM ILOG CPLEX 12.8.0.0を用いた.

表 2 に，各手法における英日文アライメントの 精度と評価データの推論にかかった実行時間を示 す. 提案手法の中で，SCE loss を用いたモデルは BCE loss を用いたモデルより高い F1 スコアを得 た. 相対的なスコアの学習により，スパース性に よる学習の難しさが緩和されたことが示唆される. また Vecalign との比較では，提案手法による $0.32 \mathrm{pt}$ の F1 スコア向上が見られた. 文べクトル計算時の 文脈情報の利用や，ILP による非単調な文対応の 抽出が精度向上に寄与したと考えられる. 一方で，

2）次のスクリプトの strict スコアを使用した. https: //github.com/thompsonb/vecalign/blob/master/score.py

3) https://github.com/thompsonb/vecalign

4) https://github.com/nttcslab-nlp/spanalign

5) https://huggingface.co/sentence-transformers/LaBSE表 2 英日文アラインメントの精度と評価データの推論に かかった実行時間（秒)，および文べクトルの計算に文脈情報を用いない場合（w/o self_attn）の精度

SpanAlign との比較では, 提案手法が $0.48 \mathrm{pt}$ 下回っ た. SpanAlign はトークン単位の文脈情報を考慮す ることに対し，提案手法は文単位に圧縮された文脈情報を利用する。この文脈情報の粒度の違いが精度 の差に繋がったと考えられる。評価データの推論に かかる実行時間は，提案手法が SpanAlign の $1 / 4$ 程度であった ${ }^{6)}$ ．以上の比較から，提案手法は実用レ ベルの精度を維持しつつ, 既存手法と比べて高速に アライメントを行えると結論づける。

文脈情報の有効性を検証するため，提案手法か ら self_attnを除いたモデル（w/o self_attn）を作成した. アライメントの精度を表 2 の下部に示す. self_attnを除き，文ベクトルの計算に文脈情報を 用いないことで，大きく精度が低下した。このこと から，両方の言語の文脈情報が精度向上に作用した ことが示唆された。

## 5 まとめ

本研究では，大規模対訳コーパスの構築に向けた 文対応付けの高速化を検討した. 提案手法は，文単位に圧縮された文脈情報を活用することで，高精度 な既存手法である SpanAlign よりも高速な文対応付 けが行える。また実験では，提案手法が高速な既存手法である Vecalign と比べて高精度に文アライメン トを抽出できることを示した. 今後の課題として， スパース性の問題を解消して対応付け可能な最大文数を増やすことや，非連続な対応関係の抽出を可能 にすることなどが挙げられる。

## 参考文献

[1] Huda Khayrallah and Philipp Koehn. On the impact of various types of noise on neural machine translation. In Proceedings of the 2nd Workshop on Neural Machine Translation and Generation, pp. 74-83, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[2] Brian Thompson and Philipp Koehn. Vecalign: Improved sentence alignment in linear time and space. In Proceedings of EMNLP-2019, pp. 1342-1348, 2019.

[3] Katsuki Chousa, Masaaki Nagata, and Masaaki Nishino. SpanAlign: Sentence alignment method based on cross-language span prediction and ILP. In Proceedings of the 28th International Conference on Computational Linguistics, pp. 47504761, Barcelona, Spain (Online), December 2020. International Committee on Computational Linguistics.

[4] William A. Gale and Kenneth W. Church. A program for aligning sentences in bilingual corpora. Computational Linguistics, Vol. 19, No. 1, pp. 75-102, 1993.

[5] Masao Utiyama and Hitoshi Isahara. Reliable measures for aligning japanese-english news articles and sentences. In Proceedings of the ACL-2003, pp. 72-79, 2003.

[6] D. Varga, L. Németh, P. Halácsy, A. Kornai, V. Trón, and V. Nagy. Parallel corpora for medium density languages. In Proceedings of the RANLP-2005, pp. 590-596, 2005.

[7] Rico Sennrich and Martin Volk. Iterative, MT-based sentence alignment of parallel texts. In Proceedings of the 18th Nordic Conference of Computational Linguistics (NODALIDA 2011), pp. 175182, Riga, Latvia, May 2011. Northern European Association for Language Technology (NEALT).

[8] Mikel Artetxe and Holger Schwenk. Margin-based parallel corpus mining with multilingual sentence embeddings. In Proceedings of the ACL-2019, pp. 3197-3203, 2019.

[9] Marta Bañón, Pinzhen Chen, Barry Haddow, Kenneth Heafield, Hieu Hoang, Miquel Esplà-Gomis, Mikel L. Forcada, Amir Kamran, Faheem Kirefu,
Philipp Koehn, Sergio Ortiz Rojas, Leopoldo Pla Sempere, Gema Ramírez-Sánchez, Elsa Sarrías, Marek Strelec, Brian Thompson, William Waites, Dion Wiggins, and Jaume Zaragoza. ParaCrawl: Web-scale acquisition of parallel corpora. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 4555-4567, Online, July 2020. Association for Computational Linguistics.

[10] Masaaki Nagata, Katsuki Chousa, and Masaaki Nishino. A supervised word alignment method based on cross-language span prediction using multilingual bert. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing (EMNLP 2020), Online, November 2020. Association for Computational Linguistics.

[11] Luigi Procopio, Edoardo Barba, Federico Martelli, and Roberto Navigli. Multimirror: Neural crosslingual word alignment for multilingual word sense disambiguation. In Zhi-Hua Zhou, editor, Proceedings of the Thirtieth International Joint Conference on Artificial Intelligence, IJCAI-21, pp. 3915-3921. International Joint Conferences on Artificial Intelligence Organization, 8 2021. Main Track.

[12] Fangxiaoyu Feng, Yinfei Yang, Daniel Cer, Naveen Arivazhagan, and Wei Wang. Language-agnostic BERT sentence embedding. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 878-891, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[13] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Proceedings of the NIPS 2017, pp. 5998-6008, 2017.

[14] Yinfei Yang, Gustavo Hernandez Abrego, Steve Yuan, Mandy Guo, Qinlan Shen, Daniel Cer, YunHsuan Sung, Brian Strope, and Ray Kurzweil. Improving multilingual sentence embedding using bidirectional dual encoder with additive margin softmax. arXiv preprint arXiv:1902.08564, 2019.


# 音声の離散特徵量を活用した End-to-End 音声翻訳における音声系列長の削減

阿久井 駿 1 鶴岡 慶雅 1
1 東京大学大学院 情報理工学系研究科
\{akui , tsuruoka\}@logos.t.u-tokyo.ac.jp

## 概要

本稿では，end-to-end 音声翻訳における音声系列長を動的に削減する新たな方法を提案する。一般に 音声系列は非常に長いため, end-to-end 音声翻訳モ デルに音声を入力する際は系列を短くする必要があ る. 従来手法では音素の疎密を考慮せずにフレーム を等間隔で圧縮するため，非効率的である可能性が ある。そこで本稿では，音声の離散特徴量を活用し た教師なし音素セグメンテーションに基づいて音声系列を動的に压縮する手法を提案する．同一セグメ ントに属する音声系列を平均して 1 つに圧縮してか らモデルに入力することで，従来手法と同程度の翻訳精度を保ちつつ，系列長を従来手法の半分程度に 削減することに成功した。

## 1 はじめに

音声翻訳は，ある言語の音声を別の言語のテキス トに翻訳するタスクである。音声翻訳は従来，i) 音声認識，ii) テキストどうしの機械翻訳という 2 つの タスクを組み合わせることで実現されていた $[1,2]$. しかしこの方法は，i) 音声認識で生じた認識誤りが 機械翻訳に伝播して翻訳精度が低下する，ii) 音声 のみが持つ韻律などの情報が失われる，iii) 2 つの モデルを経由するため翻訳文を生成するのに時間 がかかる，といった欠点が指摘されていた $[3,4]$. そこで近年では，こうしたデメリットを解消する ために，書き起こし文を経由せずに翻訳文を直接生成する end-to-end 音声翻訳の研究が進められてい る $[5,6,7]$.

近年, テキストどうしの機械翻訳で Transformer [8] が高い翻訳精度を達成したことを受け, end-to-end 音声翻訳においても Transformer を利用した手法が 提案されている $[9,10]$. しかし, Transformer に音声系列を入力する際には，しばしばその計算量が問題
となる。音声系列の入力には，一般的には $10 \mathrm{~ms}$ 程度の幅で抽出した特徴量が用いられることが多く, これは同じ内容のテキストと比べても非常に長い. Transformer の空間計算量は入力の長さの 2 乗に比例 するため，長い音声系列を直接入力することは計算 コストの観点から現実的ではない。

音声系列の長さを削減する既存の手法としては,畳み込みニューラルネットワーク (Convolutional Neural Network; CNN）を利用した方法が挙げられ る [9]. この手法では，音声系列に対して stride が 2 の CNNを 2 回適用することで，系列長をおよそ 4 分の 1 に削減している. しかしこの方法では, 音声系列内における音素の疎密の違いによらず全フ レームが等間隔で圧縮されることになるため，音素が密集している部分の情報が大きく失われる可能性がある。このほかには，音声系列とそれに対応する音素や文字とのアラインメントを学習し,隣接するフレームで同じ音素や文字を表すと推測 されるものを 1 つに圧縮する方法も提案されてい る $[11,12,13,14]$. これらの手法では，音素の疎密 に応じて系列を動的に圧縮することができ， CNN を用いた手法より高い翻訳精度を達成している。し かし，これらの方法はいずれも音声に対応する書き 起こし文や音素の情報が必要であり，文字を持たな い言語に応用することが不可能である.

音声系列に対応する音素とのアラインメントを，音声のみを用いて教師なしで学習する方法も提案さ れており [15]，この手法を用いれば，書き起こし文 を利用しなくても音素の疎密に応じて系列を動的に 圧縮できることが期待される．そこで本稿では，書 き起こし文を利用せず音声のみで学習した音素セグ メンテーションを用いて，音声系列を動的に圧縮す ることを試みた。そして，従来の等間隔で圧縮する 方法と比べた翻訳精度や圧縮率の差について検証 した.

## 2 関連研究

## 2.1 Transformer を利用した End-to-end 音声翻訳

Transformer [8] は attention と呼ばれる機構を用い た encoder-decoder モデルであり，入力系列を受け取 り隠れ状態にエンコードするエンコーダと，エン コーダが出力した隠れ状態と出力系列を受け取り次 のステップの出力を生成するデコーダから構成され る. Transformer はもともとはテキストどうしの機械翻訳のために提案されたモデルであるが，入力系列 としてテキストの代わりに音声の特徴量を用いるこ とで音声翻訳に対しても有効であることが示されて いる [9]. 音声の特徵量には主に対数メルスペクト ログラムが用いられるが，そのままでは系列長が長 いため計算量が非常に大きくなり，GPU のメモリ容量内で学習を行うことが困難となる. そこで, 音声系列に stride が 2 の CNNを 2 回適用し, 系列長をお よそ 4 分の 1 に削減してから Transformerに入力す ることでこの問題に対処している.

## 2.2 音声の離散特徵量を利用した教師なし 音素セグメンテーション

## 2.2.1 VQ-VAE

音声の離散的な特徵量を得る方法として, VectorQuantized Variational Autoencoder（VQ-VAE）[16] を 用いた手法が提案されている [17]. VQ-VAE は, i) エンコーダ，ii) ベクトル量子化，iii) デコーダ，の 3 つの部分から構成される. モデルの詳細な図は付録 $\mathrm{A}$ に記した。

エンコーダ エンコーダはまず 1 次元の音声波形 $\boldsymbol{x}=\left(x_{1}, \ldots, x_{N}\right)$ を入力として受け取り, 対数メルス ペクトログラムを計算する。 次に対数メルスペクト ログラムを 5 層の CNN と線形変換に入力し, 連続的な特徴量 $z=\left(z_{1}, \ldots, z_{T}\right)$ を出力する.

ベクトル量子化 この部分は，コードブックと 呼ばれる $K$ 個の異なる学習可能なべクトルの集合 $\boldsymbol{e}=\left.\{\boldsymbol{e}_{1}, \ldots, \boldsymbol{e}_{K}\right.\}$ で構成される. ここでは，エンコー ダが出力した特徴量 $z$ を受け取り, 各要素 $z_{i}$ をコー ドブックの中で最も $L^{2}$ 距離が近いべクトルに置換 することで離散的な特徴量 $\hat{z}=\left(\hat{z}_{1}, \ldots, \hat{z}_{T}\right)$ を得る.

$
\hat{z}_{i}=\underset{\hat{z}_{i}^{\prime} \in \boldsymbol{e}}{\arg \min }\left.\|z_{i}-\hat{z}_{i}^{\prime}\right.\|_{2}^{2} \quad(i=1, \ldots, T)
$

この操作は微分不可能であるため, 誤差逆伝播の際 は straight-through estimator [18] を用いて式 (2)のよ うに勾配を近似する。ここで $\mathscr{L}$ は損失関数である.

$
\frac{\partial \mathscr{L}}{\partial z} \approx \frac{\partial \mathscr{L}}{\partial \hat{z}}
$

デコーダ デコーダは離散特徴量 $\hat{z}$ を受け取り，各フレームを $50 \%$ の確率で隣接するフレームに置換する time-jitter 正則化 [19]を行う. その後, 話者 を表す埋め込みべクトルと結合し，回帰型ニューラ ルネットワーク（Recurrent Neural Network; RNN）を 用いて元の音声波形を復元する.

モデルは，式 (3) で表される損失関数 $\mathscr{L}$ 最小化 するように学習される。

$
\mathscr{L}=-\frac{1}{N} \sum_{i=1}^{N} \log p\left(x_{i} \mid \hat{z}\right)+\beta \frac{1}{T} \sum_{i=1}^{T}\left.\|z_{i}-\operatorname{sg}\left(\hat{z}_{i}\right)\right.\|_{2}^{2}
$

第 1 項は再構成誤差, 第 2 項はエンコーダの出力を 離散特徵量に近づける項である。ここで， $\operatorname{sg}(\cdot)$ は勾配を計算しないことを意味する。 $\beta$ はハイパーパラ メータであり，本稿では $\beta=0.25$ を用いた.

## 2.2.2 VQ-VAE による音素セグメンテーション

VQ-VAE で得られる離散的な特徴量について, 隣接するフレームで異なるエントリが選ばれている部分を音素の境界とみなし, 教師なしでセグメンテー ションを行う方法が提案されている [15]. しかしこ の方法では, 実際の音素と比べて細かく分割されす ぎてしまう問題がある。 そこで，全体のセグメント 数に制約を設けることで，より音素境界に近いセグ メンテーションが可能である. 具体的には，連続特徵量とエントリ間の $L^{2}$ 距離の 2 乗の和に, ペナル

最小化するように離散特徵量 $\hat{z}$ を選択する。

$
\begin{gathered}
\hat{z}_{1}, \ldots, \hat{z}_{T}=\underset{\hat{z}_{1}^{\prime}, \ldots, \hat{z}_{T}^{\prime}}{\arg \min } \mathscr{E}\left(\hat{z}_{1}^{\prime}, \ldots, \hat{z}_{T}^{\prime}\right) \\
\mathscr{E}\left(\hat{z}_{1}^{\prime}, \ldots, \hat{z}_{T}^{\prime}\right)=\sum_{i=1}^{T}\left.\|z_{i}-\hat{z}_{i}^{\prime}\right.\|_{2}^{2}+\lambda \operatorname{seg}\left(\hat{z}_{1}^{\prime}, \ldots, \hat{z}_{T}^{\prime}\right)
\end{gathered}
$

ここで $\operatorname{seg}\left(\hat{z}_{1}^{\prime}, \ldots, \hat{z}_{T}^{\prime}\right)$ は系列 $\left(\hat{z}_{1}^{\prime}, \ldots, \hat{z}_{T}^{\prime}\right)$ に含まれる セグメント数を表す。また，入はハイパーパラメー タであり，本稿では $\lambda=3$ を用いた. この最小化問題は, $\alpha_{t}=\min _{\hat{z}_{1}^{\prime}, \ldots, \hat{z}_{t}^{\prime}} \mathscr{E}\left(\hat{z}_{1}^{\prime}, \ldots, \hat{z}_{t}^{\prime}\right)$ とおくと, 動的計画法を用いて式 (5)のように解くことができる.

$
\alpha_{t}= \begin{cases}0 & (t=0) \\ \min _{j=1}^{t}\left(\alpha_{t-j}+\min _{k=1}^{K}\left.\|z_{i}-\boldsymbol{e}_{k}\right.\|_{2}^{2}+\lambda\right) & (t=1, \ldots, T)\end{cases}
$

discrete features $\hat{\boldsymbol{z}}$

(a) discrete

log-mel spectrogram

(b) averaged

図 1 セグメンテーションを用いて音声系列を圧縮する 概略図. (a) VQ-VAE の離散特徴量をそのまま用いる方法 (discrete) と， (b) 同じセグメントに属する特徴量を平均 する方法（averaged）の 2 通りを提案した。

## 3 提案手法

## 3.1 音声系列の圧縮

本稿では， end-to-end 音声翻訳モデルに入力する 音声系列に 2.2 節で述べたセグメンテーションを適用し，同じセグメントに割り当てられたフレームを 1 つに圧縮することで，音声系列長を動的に削減す ることを試みた. フレームの圧縮には, 図 1 に示す 2 通りの方法を考えた。

Discreteこの方法では，音声系列として各セグ メントに割り当てられた VQ-VAE の離散特徴量を そのまま用いる. 各離散特徴量に線形変換を施し， Transformer のエンコーダに入力する.

Averaged この方法ではまず，2.1 節で述べた従来手法と同様に，音声から抽出した対数メルスペク トログラムに 2 層の CNN を適用する。ただし，本手法では 2 層目の CNN の stride は 1 とする。こうし て得られた特徴量の各フレームをセグメンテーショ ンと照らし合わせ，同じセグメントに属するフレー ムの特徴量を平均して 1 つのベクトルに統合する。

## 3.2 セグメントの長さに関する情報の付加

3.1 節で述べた方法では，各セグメントがその長 さによらず 1 つのベクトルに圧縮されるため，セグ メントの長さに関する情報が失われてしまう。そこ で，圧縮後の各ベクトルの末尾にセグメントの元の フレーム数を追加し，セグメントの長さに関する情報を補完することを試みた。

## 4 実験

## 4.1 実験設定

提案した音声系列長の削減方法の有効性を検証 するため， 3.1 節で述べた 2 種類の手法（discrete， averaged）を，CNNのみを用いて系列を圧縮する 従来手法（baseline）[9] と比較する実験を行っ た. 提案手法で利用するセグメンテーションには， VQ-VAE で得られる離散特徴量をそのまま用いたセ グメンテーション（vq）と，セグメント数に応じた ペナルティを追加したセグメンテーション（dp）の 2 種類を用いた.また， 3.2 節で述べた方法で圧縮後 の特徴量に各セグメントの長さを付加した場合，実験結果にどのような違いが現れるかを比較した. 翻訳精度の評価には BLEU [20] を用いた.

## 4.1.1 VQ-VAE

音声翻訳に用いるデータセットには話者の情報が 含まれていないため，VQ-VAEの学習には話者アノ テーション付きの英語コーパスである Buckeye [21] に含まれる約 18 時間分の音声を使用した. モデル には 2.2 節で述べた VQ-VAE モデルを使用した. 学習の詳細は先行研究 [17] に従い，学習データからサ ンプルした $320 \mathrm{~ms}$ の音声系列 52 個を 1 つのバッチ としてモデルを学習した. パラメータの最適化には Adam [22] を使用し, 学習率は $4 \times 10^{-4}$ で初期化し た後 300,000 ステップと 400,000 ステップで半分に 減衰するように設定した. また，コードブックの最適化には指数移動平均を用いた方法 [16] を使用し た. モデルは合計で 500,000 ステップ学習した.

## 4.1.2 End-to-end 音声翻訳

End-to-end 音声翻訳のデータセットには，MuSTC [23] の英語-ドイツ語コーパスを用いた. この データセットには，学習データ 250,942 文，検証 データ 1,415 文，テストデータ 2,580 文が含まれる。音声の特徵量には $10 \mathrm{~ms}$ ごとに $25 \mathrm{~ms}$ 幅の窓で抽出 した 80 次元の対数メルスペクトログラムを使用し た. また，テキストはSentencePiece [24]を用いてサ ブワードに分割した. モデルの学習時は, 音声特徴量の系列長が 2,000 フレームを超える文を除外し，各バッチに含まれる音声系列のフレーム数の合計 が最大で 20,000 となるようにバッチ化した. パラ メータの最適化には Adam [22]を使用し， 8 バッチ
表 1 MuST-C 英語-ドイツ語コーパスのテストデータを 用いた各手法の BLEU スコア. 手法名のかっこ内はセグ メンテーションの方法を表す。また，normal は圧縮後の 特徴量に各セグメントの長さを付加しなかった場合の結果，concat は付加した場合の結果である。

## BLEU

ごとにパラメータを更新した．また，学習率は最初 の 10,000 ステップで 0 から $2 \times 10^{-3}$ まで線形に増加 させ，その後はステップ数の平方根に反比例するよ うに減衰させた。モデルは合計で 100,000 ステップ 学習した. その他のハイパーパラメータは付録 Bに 記した。

## 4.2 実験結果

MuST-C 英語-ドイツ語コーパスのテストデータ における各手法の BLEU スコアを表 1 に示す. 離散特徴量をそのまま用いた手法（discrete）は従来手法と比べて大きく翻訳精度が下がる結果となった. Discrete 内で比較すると，セグメンテーションには $\mathrm{dp}$ よりも vqを用いたほうが翻訳精度は高かった。 また，セグメントの長さに関する情報を付加するこ とで BLEU スコアに 2 ポイント前後の向上が見られ た.一方，セグメンテーションに基づいて特徵量を 平均した場合（averaged）は従来手法と同程度の翻訳精度が維持されるか従来手法よりやや劣る結果 となった. Averaged 内で比較すると，セグメンテー ションには $\mathrm{vq}$ より dp を用いたほうが翻訳精度は 高く, この方法では従来手法と比べて BLEU スコア で 0.02 ポイントの改善が見られた. この手法では， セグメントの長さの情報を付加することによる翻訳精度の向上は見られなかった.

## 4.3 考察

Discrete の翻訳精度が従来手法と比べて大きく 劣っていることから，音声翻訳の入力に離散特徴量 をそのまま用いるだけでは，翻訳に必要な音声の情報が大きく久落してしまうと考えられる．セグメン トの元の長さを補うことで翻訳精度は向上したもの の，依然として従来手法の翻訳精度を大きく下回っ表 2 MuST-C 英語-ドイツ語コーパスにおける，セグメ ンテーションの種類ごとの音声系列長の平均圧縮率.

ているため，離散特徴量を音声翻訳に活用するため にはさらなる工夫が必要である.

Averaged では，最も BLEU スコアが高かった dp セグメンテーションを用いた方法でも従来手法と同程度の翻訳精度にとどまった。しかし，表 2 に示し た通り，dpセグメンテーションを用いた方法では音声系列長を従来手法のおよそ半分に圧縮できてい る.このことから，提案手法は従来手法の翻訳精度 を維持しながら音声の系列長を大きく削減できると いう点で有効であると考えられる。

## 5 おわりに

本稿では，end-to-end 音声翻訳において音声系列長を動的に削減するため，VQ-VAE を利用した教師 なし音素セグメンテーションに基づいて音声系列を 圧縮する手法を提案した. 実験の結果，同一セグメ ントに属する音声系列を平均して1つに圧縮してか らモデルに入力することで，従来手法と同等の翻訳精度を保ちながら系列長を従来手法の半分程度にま で削減することに成功した。

今後の課題としては，以下の 3 点が挙げられる.

教師ありセグメンテーション手法との比較 本実験では，ベースラインとして CNNを用いてフレー ムを等間隔で圧縮する方法のみを用いた，今後は教師ありセグメンテーションを使用した従来手法との 比較実験も行い，翻訳精度や圧縮率，計算量などの 違いについて検証する必要がある。

音声翻訳に適した離散表現の獲得本実験では，音声翻訳の入力に離散特徴量を用いた場合，翻訳精度が大きく下がる結果になった。離散特徴量を音声翻訳に活用するためには，より音声翻訳に適した離散表現を得る方法を模索する必要がある。

低リソースな条件下での実験 提案手法のメリッ トの 1 つに，音声の書き起こし文が必要でないため 文字を持たない言語に応用できることが挙げられ る.そうした言語では，本実験のように大規模な学習データが集められない可能性が高い。そこで，低 リソースな条件下でも本手法が有効であるかを実験 して検証する必要がある。

## 参考文献

[1] Fred Stentiford and M.G. Steer. Machine translation of speech. British Telecom Technology Journal, Vol. 6, No. 2, pp. 116-123, 1988.

[2] Hermann Ney. Speech translation: Coupling of recognition and translation. In 1999 IEEE International Conference on Acoustics, Speech, and Signal Processing, Vol. 1, pp. 517-520, 1999.

[3] Nicholas Ruiz and Marcello Federico. Assessing the impact of speech recognition errors on machine translation quality. In Proceedings of the 11th Conference of the Association for Machine Translation in the Americas: MT Researchers Track, pp. 261-274, 2014.

[4] Matthias Sperber and Matthias Paulik. Speech Translation and the End-to-End Promise: Taking Stock of Where We Are. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7409-7421, 2020.

[5] Alexandre Bérard, Olivier Pietquin, Christophe Servan, and Laurent Besacier. Listen and Translate: A Proof of Concept for End-to-End Speech-to-Text Translation. arXiv:1612.01744 [cs], 2016.

[6] Ron J. Weiss, Jan Chorowski, Navdeep Jaitly, Yonghui Wu, and Zhifeng Chen. Sequence-to-Sequence Models Can Directly Translate Foreign Speech. In Interspeech 2017, pp. 2625-2629, 2017.

[7] Alexandre Bérard, Laurent Besacier, Ali Can Kocabiyikoglu, and Olivier Pietquin. End-to-End Automatic Speech Translation of Audiobooks. In 2018 IEEE International Conference on Acoustics, Speech and Signal Processing, pp. 6224-6228, 2018.

[8] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention Is All You Need. In Proceedings of the 31st International Conference on Neural Information Processing Systems, pp. 60006010, 2017.

[9] Changhan Wang, Yun Tang, Xutai Ma, Anne Wu, Dmytro Okhonko, and Juan Pino. Fairseq S2T: Fast Speech-to-Text Modeling with Fairseq. In Proceedings of the 1st Conference of the Asia-Pacific Chapter of the Association for Computational Linguistics and the 10th International Joint Conference on Natural Language Processing: System Demonstrations, pp. 33-39, 2020.

[10] Hirofumi Inaguma, Shun Kiyono, Kevin Duh, Shigeki Karita, Nelson Yalta, Tomoki Hayashi, and Shinji Watanabe. ESPnet-ST: All-in-One Speech Translation Toolkit. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: System Demonstrations, pp. 302-311, 2020.

[11] Elizabeth Salesky, Matthias Sperber, and Alan W Black. Exploring Phoneme-Level Speech Representations for End-to-End Speech Translation. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 1835-1841, 2019.

[12] Elizabeth Salesky and Alan W Black. Phone Features Improve Speech Translation. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 2388-2397, 2020.

[13] Marco Gaido, Mauro Cettolo, Matteo Negri, and Marco Turchi. CTC-based Compression for Direct Speech Translation. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, pp. 690-696, 2021.

[14] Sara Papi, Marco Gaido, Matteo Negri, and Marco Turchi. Speechformer: Reducing Information Loss in Direct Speech Translation. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 1698-1706, 2021.

[15] Herman Kamper and Benjamin van Niekerk. Towards Unsupervised Phone and Word Segmentation Using SelfSupervised Vector-Quantized Neural Networks. In Interspeech 2021, pp. 1539-1543, 2021.

[16] Aaron van den Oord, Oriol Vinyals, and Koray Kavukcuoglu. Neural Discrete Representation Learning. In Proceedings of the 31st International Conference on Neural Information Processing Systems, pp. 6309-6318, 2017

[17] Benjamin van Niekerk, Leanne Nortje, and Herman Kamper. Vector-Quantized Neural Networks for Acoustic Unit Discovery in the ZeroSpeech 2020 Challenge. In Interspeech 2020, pp. 4836-4840, 2020.

[18] Yoshua Bengio, Nicholas Léonard, and Aaron Courville. Estimating or Propagating Gradients Through Stochastic Neurons for Conditional Computation. arXiv:1308.3432 [cs], 2013

[19] Jan Chorowski, Ron J. Weiss, Samy Bengio, and Aaron van den Oord. Unsupervised Speech Representation Learning Using WaveNet Autoencoders. IEEE/ACM Transactions on Audio, Speech, and Language Processing, Vol. 27, No. 12, pp. 2041-2053, 2019.

[20] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: A Method for Automatic Evaluation of Machine Translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, 2002.

[21] Mark A. Pitt, Keith Johnson, Elizabeth Hume, Scott Kiesling, and William Raymond. The Buckeye corpus of conversational speech: Labeling conventions and a test of transcriber reliability. Speech Communication, Vol. 45, No. 1, pp. 89-95, 2005

[22] Diederik P. Kingma and Jimmy Ba. Adam: A Method for Stochastic Optimization. In 3rd International Conference on Learning Representations, 2015.

[23] Roldano Cattoni, Mattia Antonino Di Gangi, Luisa Bentivogli, Matteo Negri, and Marco Turchi. MuST-C: A multilingual corpus for end-to-end speech translation. Computer Speech \& Language, Vol. 66, p. 101155, 2021.

[24] Taku Kudo. Subword Regularization: Improving Neural Network Translation Models with Multiple Subword Candidates. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 66-75, 2018.

## A VQ-VAE モデルの構成

2.2 節で述べた VQ-VAE モデルの詳細な構成を図 2 に示す. モデルの構成やパラメータはすべて先行研究 [17] に従った.

図 2 VQ-VAE モデルの概略図 [17]. 図中の $(N, 1)$ のよう な数値は各特徴量の長さおよび次元数を表す. $N$ は音声波形の長さ, $T^{\prime}$ は音声から抽出した対数メルスペクトロ グラムの長さ， $T$ は離散特徴量の長さである.

## B ハイパーパラメータ

本実験で使用した end-to-end 音声翻訳モデルのハ イパーパラメータを表 3 に示す.

表 3 End-to-end 音声翻訳モデルのハイパーパラメータ.


# Filtering of a Web-Crawled Corpus to Achieve a Strong MT Model: a Case Study on the Japanese-Bulgarian Language Pair

Iglika Nikolova-Stoupak Shuichiro Shimizu Chenhui Chu Sadao Kurohashi
Graduate School of Informatics, Kyoto University
\{iglika,sshimizu, chu,kuro\}@nlp.ist.i.kyoto-u.ac.jp
}

\begin{abstract}
This paper considers a low-resource language pair (Japanese-Bulgarian), whose largest corpus currently available is CCMatrix (4.1M parallel sentences). Unfortunately, due to the imperfect web-crawling process in which the corpus is assembled, MT models directly trained on it do not provide optimal results without further work. This paper seeks to train MT models on a portion of CCMatrix that provide a compromise between size and performance. Two main filtering criteria are utilised in the process: the original margin score that has been used to assemble CCMatrix and a score based on the application of a successful classifier model as presented by [1] for a related WMT shared task. The BLEU scores achieved by several derived models are promising.
\end{abstract
## 1 Introduction

## 1.1 Low-Resource Language Pairs

Low-resource language pairs currently present a major challenge to natural language processing and specifically machine translation (MT). As Dabre et al. [2] illustrate, several techniques have been developing in parallel in attempts to improve the performance of MT models involving such languages. For instance, transfer learning consists in training a "parent" model on a higher-resourced language pair and applying the ensuing embeddings to the original model instead of resorting to random initialisation. Another method, zero-shot translation, involves training the encoder on a number of languages that permits eventual translation among language pairs that the model has not explicitly encountered beforehand [3]. Another line of experiments dealing with the problem of under-resourced languages relates to dataset creation, which in turn can be automated to different degrees. With web-crawling, predefined portions of the web are scanned in search of parallel text. In this manner, OPUS [4] has assembled corpora in a number of language pairs, including the one discussed herein. For instance, WikiMatrix is obtained through exclusive crawling of Wikipedia pages, whilst CCMatrix involves broad portions of the web [5]. In both cases, the cosine-distance-based "margin" metric is applied in the comparison of LASER ${ }^{1)}$ sentence embeddings.

## 1.2 Corpus Filtering

CCMatrix, the largest corpus in the Japanese-Bulgarian language pair currently available (4.1M parallel sentences), is the focus of this research. If trained directly on the corpus, a state-of-the-art MT model is far from achieving optimal performance due to the abundance of noise that is typical to automatically crawled corpora [6].

Between 2018 and 2020, WMT introduced shared tasks that aimed at the filtering of large noisy corpora. Participants were asked to provide scores for each sentence pair in the provided corpus, allowing for solely the highestscoring pairs to be used in the training of MT models. In this paper, one of the most successful models issuing from the task, Acarcicek et al. [1], is utilised to provide an additional score to the afore-mentioned margin one. Following preprocessing of the corpus based on heuristic rules, the two scores are tested separately as well as in different combinations in order to train optimal Transformer MT models in terms of both achieved BLEU score and training size. The highest BLEU score in the Japanese-Bulgarian direction (43.40) comes from a model trained on $500 \mathrm{k}$ parallel sentences based on the margin metric. A compact model of $200 \mathrm{k}$ parallel sentences, based on a combination of the margin and classifier scores, has a comparable result of

42.82. The best model in the Bulgarian-Japanese direction, also based on a combined metric and trained on $200 \mathrm{k}$ sentences, has a score of 40.77 .

This paper extends the work of Nikolova-Stoupak et al. [7], which also applies the mentioned classifier model in the selection of high-quality parallel sentences which are then used in the training of MT models of three increasing sizes (200k, 500k, and $1 \mathrm{M}$ sentence pairs). The classifier-based models' performance comes short of that of margin-based counterparts. Therefore, further work has been required in using the classifier in the filtering process. Improvements introduced in this paper include the construction of a new classifier model, trained on the Flores-200 evaluation dataset [8], additional training sizes, a combination of the two scoring mechanisms, and the assembly of an alternative dataset for evaluation of MT models.

## 2 Related Work

WMT organised three corpus-filtering shared tasks between the years 2018 and 2020, the last two centred specifically on low-resource language pairs. A number of successful projects were produced and, in particular, classifiers were utilised in several discrete ways. For instance, Sánchez-Cartagena [9] applied the classification tool Bicleaner to the provided noisy corpus, achieving an estimation of the parallelism of each original sentence pair. Acarcicek et al.'s [1] model, which is used in this paper, involves a classifier ("proxy-filter"), which is placed on top of a multilingual RoBERTa-Large model [10] and relies on "fuzzy (approximate) string matching" to select challenging negative examples of sentence parallelism.

## 3 Noise in CCMatrix

As recounted in [7], noise in the investigated corpus comes in a variety of forms, including mismatched numbers and dates, redundancy, lack of parallelism in meaning and machine-translated text. Importantly, the assembly of an evaluation dataset to score the derived MT models (described in section 5.1) has motivated additional observations concerning the types of noise that are still persistent in highly scoring sentences according to marginand classifier-based filtering. Complete lack of correspondence within margin-derived sentence pairs is not uncommon. Automatically translated text is often observed and is typically reflected in mistakes in grammar, style and the use of gender and number in Bulgarian sentences. The highest scoring classifier-based sentences are in their vast majority parallel in terms of general meaning. Machinetranslated text is, although less common than in the case of margin-based sentences, still present.

## 4 Methodology

Please refer to figure 1 for an overview of the full filtering process.

## 4.1 Preprocessing

The pipeline of initial preprocessing is identical to the one described in [7]. This stage provides an opportunity to consider the specificities of the two investigated languages; for instance, at determining the acceptable proportions between the sentences in a pair. Such an emphasis is not found in WMT's shared tasks as languages are selected solely based on the relative availability of associated corpora. Consequently, many models, including the regarded one by [1], do not involve a preprocessing stage based on heuristic rules.

## 4.2 Filtering Criteria

## 4.2.1 Margin Scores

The margin score that readily comes with the CCMatrix corpus as result of the web-crawling process is used in subsequent experiments with subcorpora selection in isolation or in addition to the score derived following application of [1]'s classifier model. The margin between a pair of sentences equals the ratio between their cosine distance and the cosine distances with their nearest neighbours in both directions in terms of LASER representations [5].

## 4.2.2 Proxy-Filter Classifier

As described in [7], the main reasons behind the selection of [1]'s model include its high performance, reproducibility and use of state-of-the-art neural translation models. In its quest for negative examples, the classifier selects sentences that are close to the correct translation of the source sentence in terms of Levenshtein distance. Ultimately, each original sentence pair receives a score denoting the estimated probability of it being parallel.

Figure 1 Broad pipeline of the presented work.

## 4.3 MT Models

Once the CCMatrix corpus is filtered and training sets of different sizes assembled, Transformer MT models are trained on them. The Transformer, a state-of-the-art model whose main strength is a reliance on attention mechanisms without the need for recurrence, is opted for due to its simplicity and high translation results [11].

## 5 Experiments

## 5.1 Data

This paper pertains to the cleaning of the CCMatrix corpus in the Japanese-Bulgarian language pair, whose original size is $4.1 \mathrm{M}$ parallel sentences. After the corpus is preprocessed as per section 4.1 , its size is reduced to $2.5 \mathrm{M}$ sentences.

The evaluation dataset used for the MT models (divided into equal-sized test and validation sets) consists of $1 \mathrm{k}$ sentence pairs taken from the original CCMatrix corpus. Half of them are taken at random from the top-scoring 10k sentences based on the margin metric, and the other half are a classifier-based counterpart. In this way, a bias for a particular filtering method is avoided. In addition, the sentences are manually edited in order to ensure their quality.

In [7], the "proxy-filter" classifier is trained on OPUS's Open Subtitles corpus. However, due to its significantly more limited domain and register than CCMatrix, it has been replaced with Flores-200 [3]. This multilingual and rigorously assembled dataset is based on a variety of Wikipedia pages and has undergone professional human translation followed by several manual checks, thus providing both much higher relevance to the task at hand and higher overall quality. On the negative side, the dataset is meant for use in the evaluation of trained MT models and is therefore limited in size ( $1 \mathrm{k}$ parallel sentences). In contrast, Acarcicek et al. [1] explicitly state that their model has optimal quality when trained on a minimum of $2 \mathrm{k}$ sentence pairs.

## 5.2 Application of Scores

The presented translation models differ in terms of the size of training data as well as the ways in which they have been filtered from the original CCMatrix corpus. Like in [7], three main dataset sizes are considered: 200k, 500k and $1 \mathrm{M}$ sentence pairs. In addition, an alternative sizing is introduced that is based on the number of tokens following tokenization with sentencepiece ${ }^{2)}$ (see Appendix A).

Combinations of the two described metrics have also been sought in order to optimise performance. The newlyintroduced "margin-classifier" score is derived through averaging of the two scores, preceded by min-max normalisation. An additional experiment is carried out with doubling the weight of the margin-based score.

## 5.3 Translation Models

Once supcorpora of CCMatrix are selected based on classifier scores (please refer to Appendix B for a detailed description of the classifier model and the derived scores), Transformer models are trained on them. In addition, in order to provide a bigger picture of the impact filtering mechanisms and training sizes have on MT, models are

Table 1 Performance of the full vs preprocessed CCMatrix corpus, JA to BG

Table 2 BLEU scores for each filtering method for the three subcorpus sizes based on number of sentences, JA to BG

also trained on the full CCMatrix corpus and on the corpus following the preprocessing stage. All models are evaluated with the dataset described in 5.1 and the derived BLEU scores are juxtaposed.

The original idea behind the project is to investigate translation from Japanese to Bulgarian, as the latter language is the lower-resourced one and such a translation system would allow for direct translation into it of unique content originally composed in the Japanese language. However, for purposes of comparison and further insight into the work of the trained MT models, the opposite direction is also experimented with.

## 6 Results

## 6.1 Without Filtering

Comparing the BLEU scores achieved by MT models trained on the full vs the preprocessed CCMatrix corpus (Table 1) reveals that the preprocessing stage has caused a significant improvement while largely reducing the training size.

## 6.2 Following Filtering

As can be observed in Table 2, MT performance can be further improved following filtering of the preprocessed CCMatrix corpus. The most successful model, with a BLEU score of 43.40 , is trained on $500 \mathrm{k}$ parallel sentences as filtered based on the margin metric. Overall, marginbased models achieve the highest results. The ones that follow are based on the 1:1 margin-classifier metric; notably, achieving a promising high-scoring compact model of 200k sentence pairs (BLEU 42.82). Like in the case of
Table 3 BLEU scores for each filtering method for the three subcorpus sizes based on number of sentences, BG to JA

[7], last come the classifier-based models, whose weaker performance is not overcome despite the use of the more appropriate Flores-200 dataset to train the underlying classifier model. It is possible that overfitting is produced.

Going back to the results achieved by [7], the strongest one of which is 28.49 and comes from the $1 \mathrm{M}$ marginbased model, one can witness a large general increase of scores. In the case of margin-based models, a training size limit has now been reached, leading the 500k-sentence model to score higher than the 1M-sentence one.

## 6.3 Bulgarian-Japanese Direction

In the Bulgarian to Japanese translation direction, the best models are once again the margin- and marginclassifier-based (1:1) ones (Table 3), notably the latter outperforming the former. It can also be noticed that models using the strongest selection methods perform better in their more compact training sizes.

## 7 Conclusion and Future Work

This paper presents the training of MT models based on portions of the large but noisy CCMatrix corpus in the under-resourced Japanese-Bulgarian language pair. Filtering is based on the margin metric using which the corpus is web-crawled as well as on scores provided by a classifier model following the work of [1]. MT performance is significantly improved as compared with that of the full CCMatrix model as well as of a smaller version based on preprocessing with heuristic rules. The strongest model in the Japanese to Bulgarian direction (BLEU 43.40) is based on margin distance and is trained on 500k sentence pairs. In the opposite direction, best scoring is the model trained on 200k sentence pairs based on averaging of the two metrics. Future improvements of the filtering process to address the prevalence of machine-translated text may include sentence pre-ordering and the explicit inclusion of morphological information along with sentences.

## Acknowledgements

This work was supported by Samsung, SDS.

## References

[1] Haluk Açarçiçek, Talha Çolakoğlu, Pınar Ece Aktan Hatipoğlu, Chong Hsuan Huang, and Wei Peng. Filtering noisy parallel corpus using transformers with proxy task learning. In Proceedings of the Fifth Conference on Machine Translation, pp. 940-946, Online, November 2020. Association for Computational Linguistics.

[2] Raj Dabre, Chenhui Chu, and Anoop Kunchukuttan. A survey of multilingual neural machine translation. ACM Comput. Surv., Vol. 53, No. 5, sep 2020.

[3] Naman Goyal, Cynthia Gao, Vishrav Chaudhary, PengJen Chen, Guillaume Wenzek, Da Ju, Sanjana Krishnan, Marc'Aurelio Ranzato, Francisco Guzman, and Angela Fan. The flores-101 evaluation benchmark for low-resource and multilingual machine translation, 2021.

[4] Jörg Tiedemann. Parallel data, tools and interfaces in OPUS. In Proceedings of the Eighth International Conference on Language Resources and Evaluation (LREC'12), pp. 2214-2218, Istanbul, Turkey, May 2012. European Language Resources Association (ELRA).

[5] Holger Schwenk, Guillaume Wenzek, Sergey Edunov, Edouard Grave, Armand Joulin, and Angela Fan. CCMatrix: Mining billions of high-quality parallel sentences on the web. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 6490-6500, Online, August 2021. Association for Computational Linguistics.

[6] Roland Schäfer, Adrien Barbaresi, and Felix Bildhauer. Focused web corpus crawling. 042014.

[7] Iglika Nikolova-Stoupak, Shuichiro Shimizu, Chenhui Chu, and Sadao Kurohashi. Filtering of noisy web-crawled parallel corpus: the Japanese-Bulgarian language pair. In Proceedings of the 5th International Conference on Computational Linguistics in Bulgaria (CLIB 2022), pp. 39-48, Sofia, Bulgaria, September 2022. Department of Computational Linguistics, IBL - BAS.

[8] Alexandre Magueresse, Vincent Carles, and Evan Heetderks. Low-resource languages: A review of past work and future challenges, 2020.

[9] Víctor M. Sánchez-Cartagena, Marta Bañón, Sergio OrtizRojas, and Gema Ramírez. Prompsit's submission to WMT 2018 parallel corpus filtering shared task. In Proceedings of the Third Conference on Machine Translation: Shared Task Papers, pp. 955-962, Belgium, Brussels, October 2018. Association for Computational Linguistics.

[10] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach, 2019.

[11] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob
Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need, 2017.

Table 4 The hyperparameters used in the grid search for the optimal "proxy-filter" classifier model

Table 5 BLEU scores for each filtering method for the three token-based subcorpus sizes, JA to BG

## A Token-Based Training Sizes

In one set of experiments, the number of tokens in random and classifier-based models is deliberately made to match the one in the three main sizes of margin-based models. The reason behind this experiment lies in the perceived and consequently proven via statistical analysis significant difference between sentence sizes associated with the different filtering methods. Whilst the margin score favours sentences that are longer than the CCMatrix corpus's average sentence size, the classifier model strongly prefers short sentences.

The results deriving from token-size-based experiments are recorded in Table 5. Note that the margin-based results are identical to the ones presented in Table 4, as the 200k-, 500k- and 1M-sentence sizes of margin-based models are used to generate random and classifier-based models of the same token sizes. As expected, performance of the random and classifier-based models is increased with the increase of training size. The only exception is the largest random model, whose performance (BLEU 37.07) is lower than that achieved with the slightly smaller sentence-based model (37.36). This observation implies that a limit has been reached for the size of random-based models, too.

## B Classifier Model

The particular classifier model to be applied in the filtering of CCMatrix is selected following grid searching, as in [7]. Based on previous results, the range of hyperparameters is slightly modified in the following way: the number of training epochs is increased to include 10, positive oversampling is slightly reduced and a decision is made to retain the possibility for a fuzzy max score equal to 100 (i.e. high similarity between sentences is not discouraged as the Flores-200 dataset is free or redundancy). Table 4 shows the content of the grid search as well as the definitions of project-specific hyperparameters. The models are trained on a single TITAN RTX GPU.

Despite the limited data classifier models were trained on, the highest scoring model based on the grid search achieved a surprisingly high F1 score of 0.95 . In contrast, its counterpart in [7], achieved an F1 score of 0.58 . The model was trained for 5 epochs with negative random sampling of 2 and positive oversampling of 5, a proportion common to the highest-scoring models. The model' $\mathrm{s}$ fuzzy ratio is 2 , and the fuzzy max score is 100 .

After the winning classifier model is applied to the preprocessed CCMatrix corpus, each sentence pair receives a score representing the certainty of the two sentences being mutual translations. The values of the derived scores range between 0.0563 and 0.9996 , the median coming at 0.9992 .


# 事前学習モデルによる分割統治ニューラル機械翻訳

石川隆太 加納保昌 須藤克仁 中村哲
奈良先端科学技術大学院大学
\{ishikawa.ryuta.il7, kano.yasumasa.kw4, sudoh,s-nakamura\}@is.naist.jp

## 概要

ニューラル機械翻訳におけるハルシネーションや 繰り返し、訳抜けなどの課題に対し、文をセグメン トに分割して翻訳し、並べ替えて繋げるニューラル 機械翻訳における分割統治的手法 [1] が提案されて いる。本研究では、[1] で課題とされていた、セグ メント翻訳と、セグメントの並べ替えと編集の精度 の 2 つに対し、事前学習モデルの mBARTを用いる ことに加え、セグメント翻訳のモデルを節単位の擬似対訳データでファインチューニングすることで、 セグメント翻訳と、並べ替えと編集の精度の改善を 試みた。実験では提案手法による BLEU の改善は認 められなかったが、過剩な長さの訳出が大きく減少 し、ハルシネーションや繰り返しを抑制できている 傾向が確認できた。

## 1 はじめに

グローバル化に伴い翻訳の需要が高まってお り、ニューラル機械翻訳 (NMT) が注目されている。 NMT は質の高い訳文の生成が期待できる一方で、入力される文が長くなるとハルシネーションや訳抜 け [2] などの問題が発生することがある。この課題 に対し、統計的機械翻訳では、長文を短いセグメン 卜に分割して翻訳し、並べ替えて繋げるという分割統治的手法 [3] が提案されている。また、[3] を参考 にした、NMT における長文のための分割統治的手法 [1] も提案されている。本研究では、[1]において 課題とされていたセグメント翻訳の精度と、翻訳さ れたセグメントの並べ替えと編集の精度改善に向 け、セグメント翻訳と並べ替えと編集のモデルに事前学習モデルの mBARTを用い、さらにセグメント 翻訳のモデルを節単位の擬似対訳データでファイン チューニングする手法の検討を行った。英日翻訳の 実験において提案手法による BLEU の改善は認めら れなかったが、過剰な長さの訳出についてはべース ラインから大きく削減できており、ハルシネーショ
ンや繰り返しを提案手法により抑制できている傾向 が確認できた。

## 2 関連研究

NMT において、長文を分割し、分割された各セ グメントを翻訳した後に前から順に結合し直す手法として Pouget-Abadie ら [4] の自動分割の手法があ る。この手法はRNNを用いて、長文を分割して翻訳する際の最適な位置を予測し、モデルが翻訳を行 いやすいように入力文を分割する手法である。しか し、この手法は英語からフランス語への翻訳のよう に、ソース言語とターゲット言語がほとんど同じ語順を持たない限り、長文分割後のセグメントの並べ 替えの問題に対応することはできない。特に、英語 と日本語のような語順が大きく異なる言語対におい て、結合後の翻訳結果は不自然な文になりやすい。 この課題に対し、加納ら [1] はNMT における分割統治的手法を提案している。

## 2.1 分割統治型ニューラル機械翻訳

入力文を節単位でセグメントに分割し、分割され たセグメントを文単位の対訳コーパスで学習され た翻訳モデルを用いて翻訳し、翻訳された各セグメ ントを、セグメント同士の関係性を表すトークンを 用いて繋げ、翻訳モデルとは別のニューラルネット ワークモデルに入力する。それによって、セグメン トの並べ替えと編集を行い、自然な訳文の生成を実現している。ニューラル機械翻訳の分割統治的手法 において、文分割後のセグメント翻訳の精度と翻訳 されたセグメントの並べ替えと編集の精度は課題と されており、これら 2 つの精度は最終的な翻訳結果 に大きく影響すると考えられる。そこで、本研究で はセグメント翻訳と翻訳後のセグメントの並べ替え と編集の精度を向上させるため、加納らの手法を基 に次の 2 つを実施した。

## $2.2 \mathrm{mBART$ を用いた分割統治型ニューラ ル機械翻訳}

加納らの手法においてはセグメント翻訳と翻訳 されたセグメントの並べ替えと編集のモデルに Transformer[5]を利用しているのに対し、本研究で は事前学習モデルの BART[6] を多言語の大規模な モノリンガルコーパスで事前学習した mBART[7]を 利用した。mBART のファインチューニングによる 機械翻訳 [8] は、10 万から 1000 万文対規模の比較的少量の対訳コーパスで学習する場合に最も効果を 発揮し、mBART と同じ Transformer のエンコーダ・ デコーダモデルを同じ対訳コーパスでゼロから学習 するよりも、顕著に高い性能を発揮することが知ら れている。そのため、事前学習モデルの mBARTを 利用することで少量のコーパスで比較的性能の良い ベースラインの翻訳モデルを作成することができ、 セグメント翻訳の精度の向上が期待できる。さらに mBART は入力文のトークンのマスクや削除、文の 順序をシャッフルするなど人工的なノイズを加えた 上で、元の文を復元する事前学習を行なっている。 そのため、本研究における翻訳したセグメントの並 べ替えと編集を行うタスクと mBART の事前学習方法は似ているため、相性が良く、並べ替えと編集の モデルにおいても mBARTを利用することで、並べ 替えと編集の精度の向上が期待できる。

## 2.3 節単位の擬似対訳データによる節翻訳 モデルの作成

加納らの手法では文分割後の節の翻訳を文単位 の対訳データで学習した翻訳モデルで実施してい たが、節の翻訳において文単位のコーパスで学習さ れた翻訳モデルが適しているとは限らない。そこ で、本研究では節単位の擬似対訳データを作成し、 mBART をセグメント翻訳用にファインチューニン グすることで節翻訳モデルを作成した。これによ り、セグメント翻訳の精度の向上を試みた。

## 3 提案手法

提案手法の概略を図 1 の (a)ベースラインと節翻訳モデルの作成、(b) 節翻訳モデルを用いた分割統治的を用いて示す。提案手法の手順の太字の部分と 図 1 の太枠部分が [1] における分割統治的手法を基 に新たに実施、または変更した部分である。

1. JParaCrawl コーパスからサンプリングした 300 万文対を学習データとして mBART をファイン チューニングしベースラインとなる翻訳モデル表 1:トークン長ごとの評価データの文数

を作成する。

2. コーパスの英語の文を構文解析し、接続詞で分割する。

3. 英文を分割してできた英語節をべースラインの 翻訳モデルで翻訳し、擬似日本語節とし、節単位の英日の擬似コーパスを作成する。
4. 3 で作成した節単位の擬似対訳データでmBART をファインチューニングし節翻訳モデルを作成する。
5. 1 で作成した学習データの英文を構文解析し接続詞で分割し、4で作成した節翻訳モデルで分割した節を翻訳する。
6. 5 で翻訳した英語と翻訳結果の日本語のぺア を”@”を3つ繋げた対訳関係を示す記号で結合 し、分割した節同士を別の” | "を 3 つ繋げた文 の区切りを表す記号で結合する。
7. 6 で作成した英語と日本語を特殊トークンで結合した文をソース、分割前の英語に対応する日本語の文をターゲットとして mBART をファイ ンチューニングし、並べ替えと編集のモデルを 作成する。

## 4 実験

提案手法の有効性を検証するため、以下の実験を 行った。

## 4.1 実験設定

今回実施した実験の詳細設定を以下に示す。 モデルの学習と評価データの対訳コーパス として、JParaCrawl.ver2 [9] を用いた。具体的に JParaCrawl.ver2 から、評価データを 3 万文サンプリ ングし、残りのデータから学習データを 300 万文 サンプリングすることで、それぞれ評価データと 学習データとした。評価データは sentencepiece でサ ブワードに分割した後に、英語のサブワードトー クンを基準とし、トークン長ごとに 4 分割した評価データを作成した。分割したトークン長と対応 する英日の文対の数は表 1 のようになった。評価 データの BLEU は、MeCab [10] によって単語分割 し、sacrebleu [11]を用いて算出した。

節翻訳モデルと並べ替えと編集のモデルには

(a)ベースラインと節翻訳モデルの作成

(b) 節翻訳モデルを用いた分割統治的手法

図 1: ニューラル機械翻訳における分割統治的手法の概略

表 2: 入力トークン長ごとの BLEU

表 3: 入力トークン長ごとの BERTScore (F1)

mBART を使用し、fairseq [12] で実装されたものを 利用した。ベースラインと節翻訳モデル、並べ替 えと編集のモデルの学習時のパラメータの設定は Githubで公開されている英語とルーマニア語におけ る mBART のファインチューニングのデフォルトの 設定 [13] と同じ設定を用いた。

節翻訳モデルを作成する際の節単位の擬似対訳 データは JParaCrawl.ver2 からサンプリングした英文 200 万文を構文解析し、接続詞で分割し、200万文の 内、分割された英語節のみを英語側の節単位のデー タとし、それらを全てべースラインで日本語節に翻訳することで作成した。分割された英語節と翻訳に よって得られた日本語節の対訳節の数は約は 190 万 となった。構文解析には spaCy [14]を利用した。接続詞で分割される英文は次の例のようになる。

I don't like studying math, but / I like studying English.

提案手法の手順 3 と 5 における節対訳データの日本語節と並べ替えと編集のモデルの入力データの日本語節を生成する際のベースラインと節翻訳モデル

図 2: 参照文に対するモデルの出力文の長さ比が 2 以上となった数

のビームサーチのサイズはどちらも 4 とし、評価の 際のビームサイズも 4 とした。

## 4.2 実験結果

表 2 はベースライン、提案手法の入力トーク ン長ごとの BLEUを示している。表 2 から分かる ように、提案手法はべースラインに比べて全体 としての BLEU が 0.8 ポイント低かった。表 3 は BERTScore[15] による評価結果で、表 2BLEU に比べ て差が小さいと言えるが提案手法はベースラインを 上回れなかった。

一方、ハルシネーションや繰り返しの影響を明ら かにするため、参照文のモデルの出力文の長さ比 が大きい事例数を調べた結果を図 2 に示す。特に 長さ比が 3 以上となるような極端に長い翻訳出力 がベースラインでは 67 文、提案手法では 33 文と 半減し、ratio の平均土標準偏差はベースラインで $1.035 \pm 0.360$ 、提案手法で $1.017 \pm 0.339$ になる等、提
表 4: 提案手法によるハルシネーションの改善例

## 入力文

Original Evaluation of the Stratum Corneum Exfoliated by Tape Stripping Method (Part2) - Seasonal and age-related differences of exfoliated pattern ...

## 参照文

原著角層剥離パターンによる角層評価 (第 2 報)一季節変化と年代差について一...

## ベースライン

テープストライプ法によるストラトムコネム浸潤の才 リジナル評価 (第 2 部)一浸潤パターンの季節と年齢関係の差 ... テープストライプ法によるストラトムコネム 浸潤の Original Evaluation of Stratum Corneum Exfoliated by Tape Stripping Method (Part2)一浸潤パターンの季節と 年齢関係の差 ...

## 提案手法

テープストリップ法によるストラトム角膜剥離のオリ ジナル評価 (パート 2) 一季節と年齢に関わる剥離パター ンの違い

案手法により過剰な長さの訳出が抑制できているこ とが分かり、ハルシネーションや繰り返しが減少し ていることが示唆される (出力単語数の散布図を付録の図 3 に示す)。実際にベースラインと提案手法 の翻訳結果を確認すると、ベースラインにおいてハ ルシネーションや繰り返しが起きていた文を提案手法では適切に翻訳できている例が確認できた（表 4 に例を示す)。

## 4.3 考察

提案手法の BLEU がベースラインより低下して しまった原因として、提案手法における節翻訳モデ ルの性能が低いことが考えられる。文単位のベース ライン翻訳モデルと節翻訳モデルにより文単位の 翻訳を行ったときのトークン長ごとの BLEUを表 5 に示す。節翻訳モデルは分割された節を適切に翻訳 し、節翻訳の精度を向上させる目的で作成した。し かし、ベースラインと比較して BLEU が 3.9 ポイン ト低いことから、節翻訳の段階で質の低い訳出文を 生成してしまい、並べ替えと編集のモデルの最終的 な出力文の質が低下した可能性がある。

さらなる比較のため、提案手法における節翻訳モ デルをベースラインのモデルに差し替え分割統治型翻訳を行った。その結果を表 6 に示す。表 5 から分 かるように、提案手法における節翻訳モデルをべー スラインのモデルに差し替えた場合、全体として BLEU が 2.6 ポイント低下した。これは、提案手法 の節翻訳での利用において本稿の節翻訳モデルが ベースラインよりも有効であったことを示唆してい表 5: 節翻訳モデルの入力トークン長ごとの BLEU

表 6: 節翻訳モデルをベースラインに差し替えた際 の入力トークン長ごとの BLEU

表 7: ベースラインが節翻訳の際にハルシネーショ ンを起こした例

## 入力文

The US is likewise bankrupt but

出力文

米国は同様に破産していますが、米国は同様に破産し ています。

る。表 5 で示した通り BLEU が 3.9 ポイント低いに もかかわらずこのような結果になった原因として、 ベースラインは文単位のコーパスで学習されている ため、分割された節を翻訳する際に分割によって失 われた節の前後の文を勝手に補おうとしたことが考 えられる。その具体例を表 7 に示す。こうした事象 により、節翻訳にベースラインモデルを利用した場合に重複やハルシネーションが生じ、最終的な出力 の質が低下することが考えられる。

## 5 おわりに

本稿では、ニューラル機械翻訳による分割統治的手法において、節単位疑似対訳と、後段の並べ替え と編集のモデルに事前学習モデル mBART を利用す る手法を提案した。提案手法は BLEUではベースラ インを下回る結果となったが、ハルシネーションや を起こしていた文を提案手法では適切に翻訳できて いた例が確認できた。

本稿の手法では、節翻訳後の節の並べ替えと編集 の工程において、[1] で利用されていた Transformer を事前学習モデルの mBARTに置き換えることで並 べ替えと編集の精度の改善を試みたが、精度面での 効果は確認できなかった。文全体のコンテキストの 情報やセグメント同士の関係性を考慮した節翻訳結果の並べ替えと編集が改善に向けた課題である。ま た、今回作成した節翻訳モデルは疑似的な節単位の 対訳データで学習されたモデルであるため、節翻訳 モデルの精度は改善の余地があると考えられる。

## 謝辞

本研究の一部は科研費 $21 H 03500$ と 21 H05054 の 助成を受けたものです。

## 参考文献

[1] 加納保昌, 須藤克仁, 中村哲. 分割統治的ニューラル 機械翻訳. 言語処理学会 第 27 回年次大会 発表論文集., 2021.

[2] Ziwei Ji, Nayeon Lee, Rita Frieske, Tiezheng Yu, Dan Su, Yan Xu, Etsuko Ishii, Yejin Bang, Wenliang Dai, Andrea Madotto, and Pascale Fung. Multilingual Denoising Pre-training for Neural Machine Translation. arXiv:2202.03629, 2022.

[3] K. Sudoh, K. Duh, H. Tsukada, T. Hirao, and M. Nagata. Divide and translate: improving long distance reordering in statistical machine translation. In Proceedings of the Joint 5th Workshop on Statistical Machine Translation and Met- ricsMATR(SMT '10), p. 418-427, 2010.

[4] Jean Pouget-Abadie, Dzmitry Bahdanau, Bart van Merrien-boer, Kyunghyun Cho, and Yoshua Bengio. Overcoming the curse of sentence length for neural machine translation using automatic segmentation. In Proceedings of SSST-8 Elighth Workhop on Syntax Semantics and Structure in Statistical Translation, p. 78-85, 2014

[5] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, and Aidan N. Gomez Llion Jones, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in Neural Information Processing Systems., pp. 5998-6008, 2017.

[6] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising sequence-to-sequence pretraining for natural language generation, translation, and comprehension. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, p. 7871-788, 2020.

[7] Yinhan Liu, Jiatao Gu, Naman Goyal, Xian Li, Sergey Edunov, Marjan Ghazvininejad, Mike Lewis, and Luke Zettlemoyer. Multilingual Denoising Pre-training for Neural Machine Translation. arXiv:2001.08210, 2020.

[8] 岡崎直観, 荒瀬由紀, 鈴木潤, 宮尾裕介, 鶴岡慶雅. 自然言語処理の基礎. オーム社, 2022.

[9] Makoto Morishita, Jun Suzuki, and Masaaki Nagata. JParaCrawl: A large scale web-based English-Japanese parallel corpus. In Proceedings of The 12th Language Resources and Evaluation Conference, pp. 36033609, Marseille, France, May 2020. European Language Resources Association.

[10] Taku Kudo. Mecab : Yet another part-of-speech and morpho- logical analyzer., 2006. https://taku910. github.io/mecab/.

[11] Matt Post. A call for clarity in reporting bleu scores. arXiv:1804.08771, 2018.

[12] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A fast, extensible toolkit for sequence modeling. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (Demonstrations), pp. 48-53, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[13] Yinhan Liu, Jiatao Gu, Naman Goyal, Xian Li, Sergey Edunov, Marjan Ghazvininejad, Mike Lewis, and Luke Zettlemoyer. Multilingual denoising pre-training for neural machine translation. 2020.

[14] Matthew Honnibal and Ines Montani. spaCy 2: Natural language understanding with Bloom embeddings, convolutional neural networks and incremental parsing. To appear, 2017.

[15] Tianyi Zhang, Varsha Kishore, Felix Wu, Kilian Q. Weinberger, and Yoav Artzi. Bertscore: Evaluating text generation with bert. In International Conference on Learning Representations, 2020.

## A 付録

表 8: ベースラインと提案手法の出力例

ハルシネーション

入力文

Djiboutian Honorary Consulate in Montreal, Canada usacan i have a djiboutienne visa plsssssssssssssssssssssssssss, i will like to see my country. Post a comment on this page We invite you to share your experiences with the Djiboutian Honorary Consulate obtaining visas and other services, locating the building, and so on.

## 参照文

この手法はカナダのオイルサンド産出地域の観測データに適用し、成功しています。

ベースライン

モントリオール, カナダのドジブティアン名誉領事館このウェブサイトは名誉領事館により運営されているものでは なく、あなたの意見や質問が必ずしもそちらの職員により確認されるというわけではありません。こちらはドジブ ティアンの外交政策について幅広い討論をするフォーラムではないことにご注意ください。そのような話題は削除さ れます。

## 提案手法

Montreal, カナダの Djiboutian 名誉領事館 usacan 私は djiboutienne ビザ plssssssssssssssssssssssss を持っています,私は私の 国を訪問したい.このページにコメントを投稿私たちは、Djiboutian 名誉領事館であなたの経験を共有することをお勧 めしますービザやその他のサービス、建物の検索など.

繰り返し

## 入力文

So this is Kinomoto Sakura?

## 参照文

「で、こちらが木之本桜さん?」「はい、そうです、国王陛下。

## ベースライン

「さあ、さくらさくら?」「そう、さくらさくらは?」「さくらさくらは、さくらさくらは、さくらさくらは、さくらさ くらは、さくらさくらは、さくらさくらは、さくらさくらは、さくらさくらは、さくらさくらは、さくらさくらは、さ くらさくらさくらは、さくらさくらさくらは、さくらさくらさく

## 提案手法

「これは木本さくらですか?」

(a) ベースライン

(b) 提案手法

図 3: 参照文の単語数に対する出力文の単語数


# 論文の階層構造を活用した被引用数予測

平子潤笹野遼平武田浩一
名古屋大学大学院情報学研究科
hirako.jun.e5@s.mail.nagoya-u.ac.jp
\{sasano, takedasu\}@i.nagoya-u.ac.jp

## 概要

日々，大量に発表される論文の中から，重要な論文を自動推薦するため, 論文の将来的な被引用数を 予測する技術の重要性は増している. 被引用数の予測性能の向上に, 論文本文の活用は重要な要素だと 考えられるが，論文本文は一般に記述量の多さから 扱いが難しく, 先行研究においても活用法は十分に 探索されていない. そこで, 本研究では, 被引用数予測において，本文を有効に活用することを目指 し, 論文の階層構造を活用した新たな被引用数予測手法を提案する. さらに, 既存手法を含めた, 複数 の手法との広範囲な比較実験を行い，被引用数予測 における提案手法の有効性を示す.

## 1 はじめに

近年，人工知能分野など様々な分野において論文 の発表数が急激に増加している. これに伴い，重要 な論文を推薦するため，論文の質を予測する技術 の重要性が高まっている. そのため, 本研究では,論文の質を近似する指標として被引用数を採用し $[1,2]$, 論文の将来的な被引用数を予測するタスクに 取り組む。

被引用数を予測する上で，論文本文の活用は重要 な要素であると考えられる. しかしながら, 既存の 被引用数予測の研究 $[3,4]$ では, 論文のテキスト情報としてアブストラクトを用いることが多く，論文 の本文はほとんど活用されていない，その原因は，本文が非常に長く，扱いが難しいことだと考えられ る. 特に，近年盛んに利用されている BERT [5] な どの Transformer [6] ベースのモデルは, 計算量が入力長の 2 乗に比例するため, 非常に長いトークン列 を入力すると，計算量は極めて大きなものとなる。 この問題を解決するため, Transformer の構造自体を 改善するアプローチ $[7,8]$ や，入力文を分割して扱 うアプローチ $[9,10]$ などが提案されているが，被引用数予測における有効性は不明である.
そこで, 本研究では, 被引用数予測において, 本文を有効に活用することを目指し，論文の階層構造 を活用した新たな被引用数予測手法を提案する.こ の手法では，BERTを用いて論文の各節をエンコー ドし，そのセクション表現を集約することで被引用数の予測を行う。また, arXiv と bioRxiv から収集し た論文を用いて，既存手法を含めた複数手法との広範囲な比較実験を行い，提案手法の有効性を示す.

## 2 関連研究

## 2.1 被引用数予測

被引用数予測の既存手法は、テキスト情報を利用 しない手法と利用する手法に大別することができ る.このうちテキスト情報を利用しない手法として は，論文の引用関係をグラフで表現した引用グラフ を用いる手法 $[11,12,13]$ や，RNN を用いて短い期間の被引用数の推移から長い期間の被引用数を予測 する手法 [14] などが挙げられる.

テキスト情報を利用する手法として初期の 研究で提案された手法には，アブストラクトの Bag-of-Words を利用する手法 [3] や頻度べースの重 み付けを利用する手法 [15], LDA より推定されたト ピックを利用する手法 $[16,17]$ などがある. 近年で は，深層学習を用いて論文のテキストの意味的特徵量を捉える手法も研究されており，タイトルとアブ ストラクトをDoc $2 \mathrm{Vec}$ でエンコードして利用する手法 [4] や，事前学習済みモデルを利用して論文の本文全てを活用する手法 [18] も提案されている.

## 2.2 長い系列を扱う手法

Transformer ベースのモデルは，近年の自然言語処理において盛んに利用される一方で，計算コストが 入力長の 2 乗に比例するという問題点があり, 長い 系列を扱うことは難しい。この問題を解決するため に，大きく 2 つのアプローチで研究が行われてい る. 1 つ目は, Transformer の構造自体を改善し，よ

(a) SChuBERT

(b) Longformer (先頭)

(c) 階層構造(先頭)

(d) 階層構造(分割)

図 1 本研究で比較する本文を活用した被引用数予測手法の概要図

り効率的に長い系列を扱うアプローチ $[7,8,19]$ であ る.これらの手法では，主に Self-Attention を改良す ることで，計算量の改善を目指している．2つ目は，入力する長い系列を分割して処理することで，計算量の増加を抑えるアプローチである。これらの手法 には，分割したテキストをBERT でエンコードし， Attention や RNN など比較的単純な手法で集約する 手法 $[9,18]$ や，BERT でエンコードした表現を更に Transformerに入力する階層的な手法 $[10,20]$ がある.

## 3 本文を活用した被引用数予測手法

## 3.1 既存手法: SChuBERT

論文本文から被引用数を予測する手法として， SChuBERT [18] が挙げられる。この手法では, 図 1 の (a) で示すように本文をオーバーラップさせなが らチャンクに分割し，それぞれを BERT でエンコー ドして，GRU [21]を用いて集約することで，被引用数を予測する. SChuBERT は BERT の fine-tuning を 行わないため，比較的小さな計算コストで，全ての 本文を活用することができる．ただし，本文は固定 の文字数で分割しており，節の途中で分割されるこ ともあるため，その場合は論文の構造を捉えること ができない.

## 3.2 本文の先頭部分を利用する手法

長い系列を扱うモデルである Longformer [8] を用 いて，本文の先頭部分から被引用数の予測を行う手法である Longformer (先頭) の概要を図 1 の (b) に示 す.この手法では，Longformer の最大入力長である 4096 に収まるように，論文本文の後半部分を切り捨 て, 残った前半部分の本文から，被引用数の予測を 行う. 入力テキストが長い場合に，一部を切り捨て る手法は一般的に採用される $[8,22]$ 一方で，本文と
いう非常に長いテキストを扱う場合は，多くのテキ ストが切り捨てられてしまい，論文全体をバランス 良く考慮することができない場合が多い. 例えば，本実験で使用するデータセット (4.2 節を参照) にお いて, Longformer (先頭) では，平均で本文の約 $46 \%$ のテキストが切り捨てて入力される.

## 3.3 階層構造を利用する手法

本研究では，新たに本文の階層構造を活用した 2 つの被引用数予測手法を提案する.これらの手法は どちらも，各節をそれぞれパラメータを共有した BERTを用いてエンコードすることでセクション表現を生成し，各セクション表現をプーリングにより 集約することで，被引用数を予測する．ただし， 2 つの手法は，各節の先頭部分のみを活用するか，各節を分割し，より多くのテキストを活用するかで異 なる．各節の先頭部分を活用する手法である階層構造 (先頭) の概要を, 図 1 の (c) に示す. この手法 では，各節の見出しを 1 文目，内容を 2 文目とし て BERT に入力することで，セクション表現を生成 し，そこから被引用数を予測する. ただし， 2 文目 として入力する内容は，BERT の最大大力長である 512 を超えないように，後半を切り捨てる. この手法は，計算コストの増加を抑えることができる一方 で，入力できる内容は限定的である.

次に，各節を分割して活用する手法である階層構造 (分割) の概要を, 図 1 の (d) に示す. この手法 では，まず各節の内容を 50 トークンずつオーバー ラップさせながらチャンクに分割し $[10,18]$, それ ぞれを BERTを用いてエンコードする。そして，そ れらのチャンク表現を Mean プーリングすること で，セクション表現を生成し，そこから被引用数を 予測する。また，各チャンクをエンコードする際 は，全ての場合で 1 文目に見出し， 2 文目にチャン

クを入力する.これは，2つ目以降のチャンクを入力する際に，チャンクのみを入力すると，BERTが パラメータを共有していることから，どの節のチャ ンクかを BERT が捉えることができないためであ る.この手法は, 階層構造 (先頭) と比べ，より多く の内容を扱うことができる一方で，計算コストは増加する. また, 計算コストの都合上, 各セクション の内容は最大で 8 つのチャンクに分割し, 残りのテ キストは切り捨てる.

これらの 2 つの手法では，各セクション表現を プーリングにより集約することで被引用数を予測す る.プーリング手法としては，単純な Mean に加え， Transformer を用いたより表現力が高い手法を採用す る. Transformerによるプーリングでは, 各セクショ ン表現を系列として 1 層の Transformer に入力し，そ の出力の平均を取ることでべクトルを集約する.

## 4 実験

## 4.1 タスク設定

本研究では，論文の本文から，その論文の発表か ら 1 年後の被引用数を予測するタスクに取り組む. ただし, 被引用数 $c$ に対し, $\log (c+1)$ を予測対象と する [18]. さらに本研究では, 先行研究 [23] で提案 された，現実的な被引用数予測の設定を採用する. これは，学習データとして利用する論文の被引用数 の情報を，評価用論文の発表時点に取得できるもの に限定する設定であり，この設定を採用すること で，より現実に即したモデルの評価が可能となる. この設定では，例えば評価用論文の 6 ヶ月前に発表 された学習用論文は，発表から 6 ヶ月後の被引用数 しか取得できない. すなわち, 発表から 1 年未満の 学習用論文は発表から 1 年後の被引用数が取得でき ないため, 先行研究で提案された手法 [23]を用いて 被引用数を補完し，学習データとして利用する.

## 4.2 データセット

本研究では, 計算言語学分野の論文から CLデー タセット, 生物学分野の論文から Bio データセット を構築し，実験を行う。

CL データセットは, 2014 年 6 月から 2020 年 6 月

構築しており, 被引用数を計算するための引用情報

1) https://arxiv.org/
は Semantic Scholar2) から取得する。論文の本文につ いては，論文の HTML 版3)をパースすることで収集 し，HTML 版の収集とパースができない論文につ いては，データセットから除外する。 また, 先行研究 [23] に倣い, 本研究ではデータセットから 13 個 のサブセットを作成し, 学習と評価を行う. 具体的 には, 2019 年 6 月から 2020 年 6 月のうちのある月 を起点として、そこから過去 5 年間に投稿された論文で起点別に 13 個のサブセットを作成し，それぞ れのサブセットの最新月に投稿された論文を評価用論文，残りの論文を学習用論文とする．これらのサ ブセットのうち，2019年 6 月に発表された論文を評価用論文とするサブセットは, 開発セットとして用 い，残りのサブセットは評価値の算出に用いる. ま た, サブセットの平均学習用論文数は 11383 , 平均評価用論文数は 449 であった.

Bio データセットは, 2015 年 4 月から 2021 年 4 月 の間に bioRxiv4) の 3 つのカテゴリ ${ }^{5}$ に投稿された論文で構築し， bioRxivで公開されている HTML 版を パースすることで本文を収集する。また，CL デー タセットと同様に, Bio データセットから 2020 年 4 月から 2021 年 4 月に投稿された論文を評価用論文 とする 13 個のサブセットを作成し，評価用論文が 最も古いサブセットは, 開発セットとして用いる. これらのサブセットの平均学習用論文数は 5737, 平均評価用論文数は 256 であった.

## 4.3 評価方法

評価指標には，スピアマンの順位相関係数 $(\rho)$,平均二乗誤差 (MSE), 実際の上位 $n \%$ 論文が予測値 の上位 $\mathrm{k} \%$ 論文に含まれる割合 $(\mathrm{n} \% @ \mathrm{k} \%)$ を用いる。 また，評価値は，各サブセットでそれぞれモデルの 学習，評価用論文に対する予測を行い，全 12 ヶ月分の予測値を合わせて算出する．全ての設定におい て，異なるランダムシードで 3 回実験を行い，評価値の平均と標準偏差を算出する。

また，実験において一部の手法の予測値の平均 が，正解值の平均と離れてしまい，MSEでの性能評価に悪影響があることが判明したため，開発セット における予測値の平均と正解值の平均の差を補正值 とし, 評価時の予測値から補正値を引いた値に対し MSEを算出する MSE*も評価指標に加える。

2) https://www.semanticscholar.org/

3) https://ar5iv.labs.arxiv.org/

4) https://www.biorxiv.org/

5) Biochemistry, Plant Biology, Pharmacology and Toxicology
表 1 比較実験の結果. 階層構造の括弧内の 2 つ目の要素はプーリング手法を示す. (MSE, MSE*以外の評価値 $\times 100$ )

## 4.4 比較手法

本実験では，3 節で述べた手法に加え，BERT を用いた 2 つの手法を比較する. 1 つ目の BERT (title+abst) は，BERT にタイトルを 1 文目，アブス トラクトを 2 文目として入力し，被引用数を予測す る手法である. 2 つ目の BERT (先頭) は, Longformer (先頭) と同様に，本文の先頭部分を BERT に入力す ることで被引用数を予測する手法である.

## 4.5 実験設定

既存手法である SChuBERT は，ハイパーパラメー 夕の探索範囲を除き, 先行研究 [18] と同様の設定 で実験を行う. その他の全ての手法では，BERT と Longformer の出力として, [CLS]トークンに対応す るベクトル表現を利用し, モデルが最終的に出力し たベクトルを全結合層に入力し, 線形変換を行うこ とで，予測值を出力する. また，予測値と正解值の MSE を損失として学習し, 学習中には, 最終的に出力したべクトルに Dropout [24]を適用する6).

## 4.6 結果

実験結果を表 1 に示す. 既存手法である SChuBERT を除き、論文の本文を活用した手法は，両方 のデータセットにおいて BERT(title+abst)を上回っ ており，被引用数予測において，本文を活用する ことの有用性が確認できた。また，本文を活用す る手法の中では, 本研究で提案した階層構造を利用する手法が最も高い性能を達成した. 提案手法

6）詳細な学習設定は付録 $\mathrm{A}$ を参照.
は，順位相関係数において，その他の全ての比較手法と比べ，CL データセットでは 5.1 ポイント以上, Bio データセットでは 1.8 ポイント以上上回ってい る. MSE や MSE*, $\mathrm{n} \% @ \mathrm{k} \%$ においても，ほとんど の場合で比較手法を上回っており，提案手法が CL と Bio という異なる分野の論文集合に汎用的に有用性を持つことを確認した．次に，提案手法におい $\tau$, 階層構造 (先頭) は, 階層構造 (分割) と同等以上の性能を示しており，各節の先頭部分のみを利用 することで，計算コストの増加を抑えながら，高い 予測性能が達成できることが判明した。また，セ クション表現のプーリング手法においても，Mean より Transformer の方が全体的に高い性能を示すこ とを確認した．既存手法である SChuBERT は，CL データセットに対する MSE，MSE*は向上したもの の, 他の場合では BERT (title+abst) と比べて, 同等以下の結果となった。これは，SChuBERT が本文全文を入力するために，BERT の fine-tuning を行わな いことが原因であると考えられる [10].

## 5 おわりに

本研究では, 論文の階層構造を活用した被引用数予測手法を提案し，既存手法である SChuBERT や Longformer を利用した手法など複数の手法との比較実験を行い，提案手法の有効性を示した. 特に，提案手法において，各節の先頭部分のテキストのみを 利用することで，計算コストの増加を抑えつつ，高 い性能を達成できることを確認した. 今後の展望と しては，引用グラフなど論文のテキスト以外の情報 も同時に扱うモデルの構築をしたいと考えている.

## 謝辞

本研究の一部は, JST ムーンショット型研究開発事業 JPMJMS2033 の支援を受けたものです.

## 参考文献

[1] Daryl E. Chubin and Eugene Garfield. Is citation analysis a legitimate evaluation tool? Scientometrics, Vol. 2, pp. 91-94, 1979.

[2] Dagfinn W. Aksnes. Citation rates and perceptions of scientific contribution. J. Assoc. Inf. Sci. Technol., Vol. 57, pp. 169-185, 2006.

[3] Alfonso Ibáñez, Pedro Larrañaga, and Concha Bielza. Predicting citation count of bioinformatics papers within four years of publication. Bioinformatics, Vol. 25 24, pp. 3303-9, 2009.

[4] Anqi Ma, Yu Liu, Xiujuan Xu, and Tao Dong. A deeplearning based citation count prediction model with paper metadata semantic features. Scientometrics, Vol. 126, pp. 6803 - 6823, 2021

[5] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In NAACL, pp. 41714186, 2019.

[6] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, L ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. V. Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, NeurIPS, Vol. 30, 2017.

[7] Nikita Kitaev, Lukasz Kaiser, and Anselm Levskaya. Reformer: The efficient transformer. In ICLR, 2020.

[8] Iz Beltagy, Matthew E. Peters, and Arman Cohan. Longformer: The long-document transformer. arXiv, Vol. abs/2004.05150, , 2020.

[9] Arash Afkanpour, Shabir Adeel, Hansenclever de F. Bassani, Arkady Epshteyn, Hongbo Fan, Isaac Jones, Mahan Malihi, Adrian Nauth, Raj Sinha, Sanjana Woonna, Shiva Zamani, Elli Kanal, Mikhail Fomitchev, and Donny Cheung. Bert for long documents: A case study of automated icd coding. arXiv, Vol. abs/2211.02519, , 2022.

[10] R. Pappagari, Piotr Żelasko, Jesús Villalba, Yishay Carmiel, and Najim Dehak. Hierarchical transformers for long document classification. ASRU, pp. 838-844, 2019.

[11] Carlos Castillo, Debora Donato, and A. Gionis. Estimating number of citations using author reputation. In SPIRE, 2007.

[12] Feruz Davletov, Ali Aydin, and Ali Cakmak. High impact academic paper prediction using temporal and topological features. 112014.

[13] Nataliia Pobiedina and Ryutaro Ichise. Citation count prediction as a link prediction problem. Applied Intelligence, Vol. 44, pp. 252 - 268, 2015.

[14] Alireza Abrishami and Sadegh Aliakbary. Predicting citation counts based on deep neural network learning techniques. J. Informetrics, Vol. 13, pp. 485-499, 2018.

[15] Lawrence D. Fu and Constantin F. Aliferis. Models for predicting and explaining citation count of biomedical ar- ticles. AMIA, pp. 222-6, 2008

[16] Rui Yan, Jie Tang, Xiaobing Liu, Dongdong Shan, and Xiaoming Li. Citation count prediction: learning to estimate future citations for literature. In CIKM, 2011.

[17] Tanmoy Chakraborty, Suhansanu Kumar, Pawan Goyal, Niloy Ganguly, and Animesh Mukherjee. Towards a stratified learning approach to predict future citation counts. IEEE/ACM Joint Conference on Digital Libraries, pp. 351-360, 2014.

[18] Thomas van Dongen, Gideon Maillette de Buy Wenniger, and Lambertus Schomaker. SChuBERT: Scholarly document chunks with bert-encoding boost citation count prediction. In SDP, 2020.

[19] Manzil Zaheer, Guru Guruganesh, Kumar Avinava Dubey, Joshua Ainslie, Chris Alberti, Santiago Ontañón, Philip Pham, Anirudh Ravula, Qifan Wang, Li Yang, and Amr Ahmed. Big Bird: Transformers for longer sequences. arXiv, Vol. abs/2007.14062, , 2020.

[20] Jin Xue, Xiaoyi Tang, and Liyan Zheng. A hierarchical bert-based transfer learning approach for multidimensional essay scoring. IEEE Access, Vol. 9, pp. 125403-125415, 2021.

[21] Kyunghyun Cho, Bart van Merriënboer, Caglar Gulcehre, Dzmitry Bahdanau, Fethi Bougares, Holger Schwenk, and Yoshua Bengio. Learning phrase representations using RNN encoder-decoder for statistical machine translation. In EMNLP, pp. 1724-1734, Doha, Qatar, October 2014. Association for Computational Linguistics.

[22] Qizhe Xie, Zihang Dai, Eduard Hovy, Thang Luong, and Quoc Le. Unsupervised data augmentation for consistency training. In H. Larochelle, M. Ranzato, R. Hadsell, M.F. Balcan, and H. Lin, editors, NeurIPS, Vol. 33, pp. 62566268. Curran Associates, Inc., 2020.

[23] 平子潤, 笹野遼平, 武田浩一. 直近 1 年の動向を考慮 した最新論文のインパクト予測. 言語処理学会 第 25 回年次大会 発表論文集, pp. 1262-1267, 2022.

[24] Nitish Srivastava, Geoffrey Hinton, Alex Krizhevsky, Ilya Sutskever, and Ruslan Salakhutdinov. Dropout: A simple way to prevent neural networks from overfitting. JMLR, Vol. 15, No. 56, pp. 1929-1958, 2014.

[25] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Remi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander Rush. Transformers: State-of-the-art natural language processing. In EMNLP: System Demonstrations, pp. 38-45, 2020 .

## A 詳細な学習設定

本研究では，BERT の初期重みとして，Transformers [25] で公開されている bert-base-uncased を, Longformer の初期重みとして, allenai/ longformer-base-4096を利用した．また，Transformer プーリングで用いた 1 層の Transformer は, BERTの最終層の重みを用いて初期化した。

既存手法である SChuBERT 以外の手法の学習で は，バッチサイズは 32，最適化関数は AdamW を用 い，全体の学習ステップの $10 \%$ で warm-up し, 残り のステップで線形に減衰する学習率スケジューリ ングを行った. また，エポック数は $\{3,4\}$, 学習率 は $\{2 \mathrm{e}-5 ， 3 \mathrm{e}-5 ， 5 \mathrm{e}-5\}$ でグリッドサーチを行い，開発セットにおいて最も順位相関係数が高くなった值 を利用した. SChuBERT では，エポック数のみハイ パーパラメータ探索を行い，残りの設定については 先行研究と同様に学習を行った. また，エポック数 の探索範囲は，先行研究の值に基づき $\{20 ， 30 ， 40\}$ とした.