# Average Token Delay: 同時翻訳の遅延評価尺度

加納保昌 須藤克仁 中村哲
奈良先端科学技術大学院大学
$\{$ kano.yasumasa.kw4, sudoh, s-nakamura\}@is.naist.jp

## 概要

同時翻訳は、話し手が話し終わる前に翻訳を開始 するタスクである。大きな遅延を許容すれば、翻訳 の質を向上させやすいが、会話など即時性が求めら れる場合には、翻訳の質をできるだけ下げずに遅延 を抑える必要がある。この遅延を測る既存の指標 は、翻訳の出力開始時に着目し、出力の終了時を十分に考慮していなかった。しかし、ある部分の翻訳 の出力終了が遅れると、次の部分の翻訳の出力開始 を遅らせることにもつながり、即時性が失われる。 そこで、本稿では、翻訳の終了時に着目した新しい 遅延評価尺度である Average Token Delay (ATD) を提案する。同時機械翻訳の実験を行い、既存の遅延評価尺度と比較して、より様々な訳出タイミングの決 め方の評価に適していることを確かめた。

## 1 はじめに

同時翻訳とは、話し手が話し終わる前に翻訳を 始めるタスクである。図 1 は、二種類の基本的な 同時機械翻訳戦略による入出力過程をステップご とに示したものである。SRC と TGT はそれぞれ、入出力の 1 トークンを示す。wait-k [1] は、最初に $k$ トークン待って、その後は 1 トークン入力を待 ち、1トークン 翻訳を出力するというのを繰り返 す。chunk-k は、 $k$ トークン待って $k$ トークン出力 するというのを繰り返す。近年の同時機械翻訳モデ ルの翻訳の遅延評価には Average Lagging (AL) [1] が 用いられてきた。これは、各翻訳単語の出力に必要 となる入力単語の数をもとに計算される。図 2 は、入出力を同時に、かつ 1 トークンの入出力を同じ時間で実行できると仮定した wait-k と chunk-k の訳出 タイミングを示している。ここでは簡略化のために 計算時間を省略している。この図からわかる通り、 wait-k と chunk-k は、この仮定の下では入出力のタ イミングが完全に一致する。よって、これらの遅延 は同一になるはずである。しかし、実際にこれら

図 1 step ごとの wait-3 と chunk-3

Wait-3

SRC SRC SRC / SRC / SRC / SRC / SRC / TGT / TGT / TGT / TGT / TGT TGT TGT

## Chunk-3

SRC SRC SRC / SRC SRC SRC / SRC TGT TGT TGT / TGT TGT TGT / TGT

$\begin{array}{llllllllll}1 & 2 & 3 & 4 & 5 & 6 & 7 & 7 & 8 & 9\end{array}$

図 2 time-synchronous な wait-3 $\succ$ chunk-3

の ALを実際に計算すると、wait-kの ALは、 $\frac{15}{5}=3$, chunk-k の AL は $\frac{13}{7} \approx 1.857$ で、chunk-k の方が大幅 に遅延が小さいと評価される。このように、チャン ク翻訳が長くなるほど、AL は遅延を小さく評価す る傾向がある。しかし、実際には、前のチャンクの 翻訳が出力し終わらないと次の翻訳が出力できない ため、チャンク翻訳の長さは遅延につながる。そこ で、本稿では、出力翻訳の終わるタイミングに着目 した遅延尺度である Average Token Delay (ATD) ${ }^{1}$ を 提案する。同時機械翻訳の実験を行い、複数のモデ ルを ALと ATD で比較し、ATD は wait-k のみでな く、チャンクベースのモデルの遅延もより適切に測 れることが分かった。

## 2 関連研究

これまで AL 以外にも、いくつかの遅延尺度が提案されてきた。Consecutive Wait (CW) [2] は文の局所的な遅延を評価する。Average Proportion (AP) [3] は 文全体の遅延を評価するが、入出力のタイミング決定戦略が同じでも、文の長さによって、遅延の値が

大きくことなってしまうという問題があった。AL は、理想的なタイミングとのズレをもとに計算する ことによって、その問題を改善した。ALは以下の 式で定義され、

$
\begin{gathered}
A L_{g}(\boldsymbol{x}, \boldsymbol{y})=\frac{1}{\tau_{g}(|\boldsymbol{x}|)} \sum_{\tau=1}^{\tau_{g}(|x|)}\left(g(\tau)-\frac{\tau-1}{r}\right) . \\
\tau_{g}(|\boldsymbol{x}|)=\min \{\tau|g(\tau)=| \boldsymbol{x} \mid\}
\end{gathered}
$

$g(\tau)$ は単調増加関数で、 $\tau$ 番目の出力単語を出力す るために読んだ入力単語の数を表す。 $\tau_{g}(|x|)$ は、最後の入力単語を読み終わった直後に出力した翻訳単語のインデックスを表す。 $\mathrm{r}$ は $|\boldsymbol{y}| /|\boldsymbol{x}|$ で定義される。

## 3 提案尺度

図 3 Step ごとの speech-to-speech 同時機械翻訳の例

本稿では、Average Token Delay という新しい指標 を提案する。まずは、 speech-to-speech の翻訳におい て説明し、それを speech-to-text、text-to-textへの同時翻訳へと一般化する。

## 3.1 speech-to-speech の同時翻訳

図 3 は音声同時翻訳の音声や処理の継続長を考慮 した処理時間を模式的に示したものである。白い部分は、固定長の音声セグメントを示し、青い部分は 入力を待つか出力するかの決定する時間を示し、オ レンジの部分は、翻訳デコード時間を示す。ステッ プ 1 から翻訳が始まり、ステップ8で翻訳を終え、 ステップ 8 における同じ色の点 (黒、赤、白) の時間差の平均として ATD は計算される。

大力文 $x$ と出力文 $y$ がそれぞれ、 $x=x^{1}, x^{2}, \ldots, x^{C}$ と $\boldsymbol{y}=\boldsymbol{y}^{1}, \boldsymbol{y}^{2}, \ldots, \boldsymbol{y}^{C}$ というチャンクに区切られると する。それぞれのチャンクは、さらにサブセグメン トに分かれる。テキストの場合は単語または文字が サブセグメントとなる。音声の場合は、 0.3 秒で 1 単語の発話があると仮定し、チャンクを 0.3 秒の長 さのサブセグメントに分割し、余りも 1 つのサブセ グメントとする。その結果、入力文と出力文はそれ ぞれ $\boldsymbol{x}=x_{1}, \ldots, x_{|\boldsymbol{x}|}, \boldsymbol{y}=y_{1}, \ldots, y_{|\boldsymbol{y}|}$ というサブセグメ ントの系列として表せる。ATD は以下の式で定義 される。

$
\operatorname{ATD}(\boldsymbol{x}, \boldsymbol{y})=\frac{1}{|\boldsymbol{y}|} \sum_{t=1}^{|\boldsymbol{y}|}\left(T\left(y_{t}\right)-T\left(x_{S(t)}\right)\right)
$

ここで、

$
\begin{gathered}
S=t-\max \left(L_{a c c}\left(\boldsymbol{y}^{c(t)-1}\right)-L_{a c c}\left(\boldsymbol{x}^{c(t)-1}\right), 0\right) \\
s(t)= \begin{cases}S & S \leq L_{a c c}\left(\boldsymbol{x}^{c(t)}\right) \\
L_{a c c}\left(\boldsymbol{x}^{c(t)}\right) & \text { otherwise }\end{cases}
\end{gathered}
$

とする。 $L_{a c c}\left(\boldsymbol{x}^{c}\right)$ は $\mathrm{c}$ 番目のチャンクまでの累積長であり、 $\sum_{j=1}^{c}\left|\boldsymbol{x}^{j}\right|$ と表せる。 $c(t)$ は $y_{t}$ の属する チャンク番号 $c$ を表し、 $L_{a c c}\left(\boldsymbol{x}^{0}\right)=0 、 L_{a c c}\left(\boldsymbol{y}^{0}\right)=0$ とする。

$T(\cdot)$ はそれぞれのサブセグメントの終わるタイミ ングを示し、図3で色のついた点である。ATD は、出力サブセグメント $y_{t}$ と対応する入力サブセグメ ント $y_{s(t)}$ の時間差の平均として計算される。入出力のサブセグメントの対応は、特に語順の大きく異 なる言語ついにおいては意味的に必ずしも正しくな

図 4 speech-to-text 同時翻訳の遅延測定概略図

図 5 text-to-text 同時翻訳 の遅延測定概略図

図 6 non-computation aware text-to-text 同時翻訳 の遅延測定概略図
いが、遅延の計算においては $\mathrm{AL}$ と同様に、このよ うに単純化している。

表 1 は、(4) 式の max の中の例を表す。 $L_{a c c}\left(\boldsymbol{y}^{c(5)-1}\right)-L_{a c c}\left(\boldsymbol{x}^{c(5)-1}\right)=0 \leq 0$ の時は、 $y_{5}$ は $x_{5}$ に対応する。 $L_{a c c}\left(\boldsymbol{y}^{c(5)-1}\right)-L_{a c c}\left(\boldsymbol{x}^{c(5)-1}\right)=1>0$ の時は、 1 チャンク前までの部分翻訳が 1 チャ ンク前までの部分入力より 1 トークン長いため、 $S=5-1=4$ により、 $y_{5}$ は $x_{4}$ に対応する。このよう に、ATDでは前のチャンク翻訳の終了が遅くなると 遅延が増える。

表 2 は、(5) 式の例を表す。 $S=3 \leq L_{a c c}\left(\boldsymbol{x}^{c(3)}\right)$ の 時は、 $y_{3}$ は $x_{3}$ に対応する。 $S=4>L_{a c c}\left(\boldsymbol{x}^{c(4)}\right)$ の時 は、 $x_{4}$ が存在せず、最後の入力トークン $x_{3}$ に対応 する翻訳が長めに出力していると捉える。そこで、 $L_{a c c}\left(\boldsymbol{x}^{c(4)}\right)=3$ により、 $y_{4}$ は $x_{3}$ に対応する。

## $3.2\{$ speech,text $\$-to-text $の$ 同時翻訳}

図 4 は speech-to-textへの同時翻訳を表している。字幕のように、テキストは同時に複数の単語を出力 できるため、テキストのサブセグメント (単語) の 長さは無視している。図 5 は text-to-text 同時翻訳を 示している。この場合、入力のテキストは基本的に streaming ASR(自動音声認識) の結果として受け取る ため、黄色の入力サブセグメントの長さは、ASR の 処理時間となる。

## 3.3 Non-computation-aware ATD

コンピュータの性能や実装効率に依存せずに、同時翻訳モデルの遅延を図ることがある。そのよう な場合には、図 $3,4,5$, のオレンジ、青、黄色の部分を除去し、音声セグメントの長さのみを残して、 ATD の遅延を計算する。しかし、このままでは、 text-to-text の翻訳では、遅延が常に 0 になってしま

う。そこで、図 6 に示される通り、 $\mathrm{CW}$ や AP のよ うに入出力の単語がそれぞれ $1 \mathrm{step}$ の時間を使うと して、ATDを計算する。また、ATD は、図 2 で示さ れるように、モデルが入出力を並列に行うことがで きると仮定して計算される。

## 4 シミュレーション

ATD による遅延計測の特性を示すためのシミュ レーションの結果を以下に示す。

図 $7 \mathrm{AL}$ にる遅延測定

## 4.1 wait-k と chunk-k の比較

長さ 10 トークンの入力文を wait-k と chunk-k で、長さ 10 トークンの文へ翻訳する際に、 $\mathrm{k}$ を 1 から 10 まで変化させて比較した。図 7,8 がその結果を 示す。図 7 は 1 節で述べられたように、chunk-k と wait-k の AL に大きな差が出てしまうことを示して いる。その一方で、ATD は図 8 で示されている通 り、 chunk-k と wait-kが一致している。また、ALで は、wait-9 と wait-10 は遅延の大きさが近いにも関わ らず、ギャップが生まれてしまっている。付録にさ らに大きな図を示す。このように、ATD は、wait-k のような 1 トークン読んで 1 トークン出力するとい うのを繰り返すモデルでも、複数トークンを一度に 出力するチャンクベースのモデルでも、より適切な 結果が得られると考えられる。

## 4.2 翻訳例

図 9 はチャンクベースの 3 つの異なるモデルに よる同時翻訳例である。モデル 1 は入力文全体を 待ってから、翻訳を始めているため、最も遅延が大 きく、翻訳の質は高い。モデル 2 は、「I」の直後に 区切って翻訳を始めているため、モデル 1 より遅延 が小さいが、その分翻訳の質は落ちる。モデル 3 は モデル 2 に似ているが、チャンク翻訳の出力長が長 く、その分翻訳の質が落ちている。

AL は、モデル 3 とモデル 2 の間に急激な差があ り、モデル 3 が最も遅延が少ないと評価している

## Model 1

ATD:5.4, AL:5.0, Quality: 1st

I bought a pen . /

12 私 はペンを買った。

## Model 2

ATD:3.4, AL:1.1, Quality: 2nd

I/ bought a pen. /

Model 3

ATD:4.1, AL:0.8, Quality: 3rd

I/ bought a pen . /

私でございます。/ペンを買った。

$\begin{array}{lllllllllll}1 & 2 & 3 & 4 & 5 & 6 & 7 & 8 & 9 & 10 & 11\end{array}$

図 9 翻訳例

が、これはこれまで述べてきた通り、直感に反して いる。その一方で、ATD は出力長の遅延を考慮して いるため、翻訳が終わるのが遅いモデル 3 よりモデ ル 2 の方が遅延が小さいと評価することができて いる。

## 5 実験

遅延尺度の効果を確かめるため、text-to-text の英独同時機械翻訳の実験を行い、ALと ATD を比較 した。

## 5.1 データ

IWSLT evaluation campaign のデータを用いた。 WMT 2014 training set (450万文) をトレーニングデー タとし、IWSLT 2017 training set (20.6万文)をファイ ンチューニングのデータとして用いた。 $\operatorname{dev2010,}$ tst2010, tst2011 and tst2012 (合計 5,589 文) を開発デー タとし、tst2015 (1,080 文) で評価した。

加納ら [4]に従った実験設定で、wait- $k$ [1], Meaningful Unit (MU) [5], Incremental Constitute Label Prediction (ICLP) [6], そして Prefix Alignment (PA) [4] のモデル を比較した。翻訳の質と遅延の評価には、SimulEval を用いた。

## 5.2 結果

図 10,11 はその実験結果を示す。図 10 の AL に比 べると、図 11 の ATD は各モデルの遅延の違いを より明確に示している。MU と ICLP は ATD におい て、遅延と精度のトレードオフが低下している。こ の原因は、図 12 の AL が小さい範囲で length ratio が 1.0 を超えているところにも現れている。ALが小

図 $10 \mathrm{AL}$ による遅延測定

図 11 ATD による遅延測定

図 12 Length ratio と $\mathrm{AL}$

さい部分では、翻訳が参照文に比べて長めに出力さ れてしまい、図 9 のモデル 3 と同様の現象が起こっ ている。MUは、ATDが大きくなっても、必ずしも BLEU [7] が向上していない。これは、本来より長 く翻訳が出力されたことによって ATD が大きくな ると同時に、翻訳の質も下がってしまったからで ある。

## 6 おわりに

同時機械翻訳における新しい遅延尺度を提案し た。出力翻訳長を考慮した ATD は、ALではうまく 測れないチャンクベースのモデルにも対応した。今後は、タイミング情報のみならず、入出力単語の意味の対応関係も考慮していくことが重要である。

## 謝辞

本研究の一部は科研費 $21 \mathrm{H} 05054$ の助成を受けた

ものである。

## 参考文献

[1] Mingbo Ma, Liang Huang, Hao Xiong, Renjie Zheng, Kaibo Liu, Baigong Zheng, Chuanqiang Zhang, Zhongjun He, Hairong Liu, Xing Li, Hua Wu, and Haifeng Wang. STACL: Simultaneous translation with implicit anticipation and controllable latency using prefix-to-prefix framework. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 3025-3036, Florence, Italy, July 2019. Association for Computational Linguistics.

[2] Jiatao Gu, Graham Neubig, Kyunghyun Cho, and Victor O.K. Li. Learning to translate in real-time with neural machine translation. In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics: Volume 1, Long Papers, pp. 1053-1062, Valencia, Spain, April 2017. Association for Computational Linguistics

[3] Kyunghyun Cho and Masha Esipova. Can neural machine translation do simultaneous translation? arXiv preprint arXiv:1606.02012., 2016.

[4] Yasumasa Kano, Katsuhito Sudoh, and Satoshi Nakamura. Simultaneous neural machine translation with prefix alignment. In Proceedings of the 19th International Conference on Spoken Language Translation (IWSLT 2022), pp. 22-31, Dublin, Ireland (in-person and online), May 2022. Association for Computational Linguistics.

[5] Ruiqing Zhang, Chuanqiang Zhang, Zhongjun He, Hua $\mathrm{Wu}$, and Haifeng Wang. Learning adaptive segmentation policy for simultaneous translation. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 2280-2289, Online, November 2020. Association for Computational Linguistics.

[6] Yasumasa Kano, Katsuhito Sudoh, and Satoshi Nakamura. Simultaneous neural machine translation with constituent label prediction. In Proceedings of the Sixth Conference on Machine Translation, pp. 1124-1134, Online, November 2021. Association for Computational Linguistics.

[7] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

## A 付録

## A. 1 シミュレーション

図 $13 \mathrm{AL}$ にる遅延測定

図 14 ATDによる遅延測定

長さ 40 トークンの入力文を wait-k と chunk-kで、長さ 40 トークンの文へ翻訳する際に、 $\mathrm{k}$ を 1 から 40 まで変化させて比較した。本文の 10 トークンの 場合に比べ、より chunk-k と wait-k のギャップが大 きくなっている。


# 文脈情報を考慮した高速な英日文アラインメント

福田りょう・, 帖佐 克己
- 奈良先端科学技術大学院大学 $`$ NTTコミュニケーション科学基礎研究所
fukuda.ryo.fo3@is.naist.jp katsuki.chousa.bg@hco.ntt.co.jp

## 概要

本論文では大規模対訳コーパスの作成に向けた高精度かつ高速な文アラインメント手法を提案する。従来手法では文外文脈およびトークン単位の情報を 予測時に考慮することで高精度な文アラインメント を実現していたが，予測時の計算量が大きいことか ら大規模なデータへの適用が難しかった. 本論文で は，両方の言語の文脈情報を考慮した文ベクトルを 用いて対訳文書間の全てのアラインメントを同時に 予測することで，小さい計算量で高精度な文アライ ンメントを獲得する手法を提案する。日英での新聞記事を用いた実験により，提案手法が予測速度を維持しながら高い精度でアラインメントを行えること を示した。

## 1 はじめに

文アラインメントは対訳となっている文書対から 対訳文対を自動で抽出するタスクである。抽出され た大量の対訳文対からなるデータセットは対訳コー パスといい，機械翻訳モデルを始めとした言語横断 モデルの学習に用いられる. 特に, 高精度なニュー ラル機械翻訳（Neural Machine Translation; NMT）モ デルの学習には高品質かつ大量の対訳文が不可欠で あることが知られている [1]. そのため，Webから クロールするなどして得られる大量の対訳文書対か ら高精度な対訳文アラインメントを高速に抽出でき る手法が必要とされている.

近年ではニューラルネットワークを用いたスコア リングに基づく文アラインメント手法が多数提案さ れている. Vecalign [2] は文ベクトルの類似度に基づ くスコアを用いてアラインメントを行う手法であ る. この手法は比較的高速に文対応付けを計算でき る一方で，精度が文べクトルに用いる多言語文埋め 込み表現の精度に大きく影響されるため，英語やド イツ語に比べて低資源な日本語を含む言語対では精度が大きく減少してしまう. SpanAlign [3] は言語横断スパン予測モデルとその予測時に得られるスコア を基にアラインメントを行う手法である。このスパ ン予測モデルは文脈情報および言語横断でのアテン ションを行うことが可能で，高精度な文アラインメ ントを抽出することができる。一方で，モデルに入力するトークン数が増えるに従って予測にかかる計算量が非常に大きくなってしまうため，大規模デー タに対して適用することが難しい。

本論文では, 先行研究の高速な予測速度を維持し ながら高精度な文アラインメントの予測を行う手法 を提案する。提案手法では，対訳文書の各文を事前学習済みの多言語モデルで文ベクトルにエンコード し，両方の言語の文脈情報を考慮した文ベクトルを 求め，その文べクトルに基づいて対訳文書間の任意 のアラインメント候補に対するスコアを一度に計算 する。これにより，高精度な文アラインメントが高速に自動抽出できることが期待される．日英新聞記事を用いた実験で，高速な既存手法と比べて提案手法が予測速度を維持しながら精度を $\mathrm{F}$ 値で $0.032 \mathrm{pts}$向上することを確認した.

## 2 先行研究

文アラインメント手法は文同士の類似度を計算す るスコア関数とその類似度に基づいてアラインメン 卜を求めるアルゴリズムの 2 つのステップに大きく 分解することができる. その内，スコア関数として は文脈情報を考慮しない手法 $[2,4,5,6,7]$ および文脈情報を考慮する手法 [3] が提案されている.

近年のスコア関数はニューラルネットワークに基 づく手法が主流となっている. Vecalign [2] と呼ばれ る手法は多言語文埋め込み表現の LASER [8] による 文ベクトルの類似度に基づいて再帰的な DP マッチ ングを行うことで，独仏間の文アラインメントで最高精度を達成している. また，計算量も小さいこと から世界で最も大きい対訳コーパスの 1 つである ParaCrawl コーパス [9] の作成にも利用されている.一方で，文埋め込みの精度に文アラインメントの精
度が大きく影響されてしまうため, 日英間では独仏間のような言語対と比べて精度が大幅に減少してし まうことが確認されている. SpanAlign [3] はある言語の文書中からもう一方の言語の文に対応する文の スパンの開始/終了位置を予測し, その予測から得ら れるスコアに基づいて ILPを行うことで文アライン メントを実現する.この言語横断スパン予測モデル は, 先行研究によって予測された文アラインメント の結果を学習データとして事前学習済み多言語言語 モデルから作成することができ，文脈情報の利用お よび言語横断でのアテンションを行うことで，日英間の文アラインメントにおいて最高精度を達成して いる。一方で，モデルに同時に入力することができ るトークン数の上限から，文書に含まれる文数が多 くなると sliding window という方法で文書の一部に 対する予測を組み合わせて文書全体に対する予測を 行う必要があるため, 予測の際の計算量が非常に大 きくなってしまう.

また，文アラインメントと似たタスクとして単語 アラインメントタスクがある.このタスクでは対訳文間の単語の対応関係を抽出する。このタスクで も言語横断スパン予測モデルに基づく手法 [10] が 複数の言語対で最高精度を達成している. さらに, Procopio ら [11] は，対訳文間のすべての単語べクト 几同士の直積から得られる類似度行列を用いてアラ インメントを抽出する手法を提案している。ここで 用いられる単語ベクトルはスパン予測モデルと同様 の方法で文脈情報および言語横断のアテンションに 基づいて計算される. これにより，スパン予測に基 づく手法と同等の精度をより高速に実現している.

## 3 提案手法

本論文では，先行研究の高速な予測速度を維持し ながら高精度な文アラインメントの予測を行うため に，高速かつ高精度にスコア関数を計算する手法を 提案する. 図 1 に示す提案手法は，まず対訳文書の 各文を事前学習済みの多言語モデルで同じ空間のべ クトル表現へと変換し（3.1.1 節），次に言語内およ び他言語の文脈情報を考慮した文 n-gram ベクトル を計算し（3.1.2 節），最後に対訳文書間の任意の文 アラインメントの候補に対するスコアを同時に計算 する (3.1.3 節). 提案手法は, 文べクトルへダウン サンプリング，およびスコアの同時計算により高速 な予測が可能である. 更に文脈情報を考慮したべク トルによる高精度な文アライメントが期待できる。

## 3.1 モデル

## 3.1.1 多言語モデルによる文ベクトル

異なる言語の文を同じ空間の埋め込み表現へと変換するために，本手法では LaBSE [12]を使用する. LaBSE は 109 言語以上に対応している多言語文埋め 込みモデルで，対訳文検索（bitext retrieval）では非常に高い精度を実現することが報告されている。

LaBSE を用いて文書 $E$ の文べクトル行列 $H^{e} \in$ $\mathbb{R}^{|E| \times d}$ を以下のように求める.

$
\begin{aligned}
H^{e} & =\left[\mathbf{h}_{1}^{e}, \mathbf{h}_{2}^{e}, \ldots, \mathbf{h}_{|E|}^{e}\right] \\
\mathbf{h}_{i}^{e} & =\operatorname{LaBSE}\left(e_{i}\right), 1 \leq i \leq|E|
\end{aligned}
$

$\mathbf{h}_{i}^{e}$ は $e_{i}$ に対応する文べクトルであり,$d$ は文べク トルの次元数である. 文書 $F$ の文ベクトル行列 $H^{f} \in \mathbb{R}^{|F| \times d}$ も同様に求める.

## 3.1.2 文脈横断の文 n-gram ベクトル

次に，言語内およびもう一方の言語の文脈情報を 考慮した文べクトルを，それぞれの文書の文べクト ルを結合して self attention [13] を計算することで求 める.

$
C_{1}^{e},{ }_{-}, C_{1}^{f}=\text { self_attn }\left(\left[H^{e} ; \mathbf{s} ; H^{f}\right]\right)
$

ここで，self_attn は $l$ 層の Transformer Encoder， s は2つの文書の区切りを表す学習可能パラメータ， $C_{1}^{e} \in \mathbb{R}^{|E| \times d}, C_{1}^{f} \in \mathbb{R}^{|F| \times d}$ はそれぞれ $H^{e}, H^{f}$ に対応 する Transformer Encoder の出力を表す．続いて，多対多の文対応を抽出するために，文べクトルを文 n-gram ゙ククトルに拡張する。

$
\begin{aligned}
C_{1: N}^{e} & =\left[C_{1}^{e} ; \ldots ; C_{N}^{e}\right] \\
C_{n}^{e} & =\text { max_pooling }_{n}\left(C^{e}\right), 1 \leq n \leq N
\end{aligned}
$

ここで， $N$ は文 n-gram の最大文数を表すハイ パーパラメータを, max_pooling $_{n}$ はカーネルサイ ズ $(n, 1)$, ストライド 1 の Max Pooling 層を表す. $C_{1: N}^{e} \in \mathbb{R}^{\left|E_{1: N}\right| \times d}$ は $C^{e}$ の文 n-gram への拡張である (ただし, $\left.\left|E_{1: N}\right|=\frac{N(2|E|-N+1)}{2}\right) . C^{f}$ の拡張 $C_{1: N}^{f}$ も 同様に計算する.

## 3.1.3 スコア計算

最後に，対訳文書間の任意のアラインメント候補 に対するスコア行列 $\hat{A} \in \mathbb{R}^{\left|E_{1: N}\right| \times\left|F_{1: N}\right|}$ を，文 n-gram ベクトル同士の直積を MLP 層 mlp に入力すること

図 1 提案手法の概要

で求める.

$
\hat{A}=\operatorname{mlp}\left(C_{1: N}^{e} \otimes C_{1: N}^{f}\right)
$

(6) 式は一度で全てのアライメント候補のスコア を計算できるため，スパン予測モデル [3] のスコア 計算と比べて非常に高速である.

## 3.2 損失関数

文アラインメントのためのスコア関数計算を，正解の文 n-gram 対応を表す行列 $A \in \mathbb{R}^{\left|E_{1: N}\right| \times\left|F_{1: N}\right|}$ を予測する問題としてモデルを学習する．ただし $A_{i j} \in\{0,1\}$ であり， $A_{i j}=1$ は $i$ に対応する文書 $E$ の文 n-gram と $j$ に対応する文書 $F$ の文 n-gram が 対応関係にあることを示す. モデルの学習時，損失関数として Binary Cross Entropy（3.2.1 節）または Softmax Cross Entropy（3.2.2 節）を用いた.

## 3.2.1 Binary Cross Entropy (BCE) loss

文 n-gram の対応を，二值分類タスクとして学習す る. 学習時の損失 $\mathscr{L}_{b c e}$ は予測されたスコア行列 $\hat{A}$ と, 正解の文 n-gram 対応 $A$ 間の交差エントロピー として (7) 式で定義される.

$
\begin{array}{r}
\mathscr{L}_{\text {bce }}=-\frac{1}{\left|E_{1: N}\right|\left|F_{1: N}\right|} \sum_{i=1}^{\left|E_{1: N}\right|} \sum_{j=1}^{\left|F_{1: N}\right|}\left.\{a_{i j} \log \sigma\left(\hat{a}_{i j}\right)\right. \\
\left.+\left(1-a_{i j}\right) \log \left(1-\sigma\left(\hat{a}_{i j}\right)\right)\right.\}
\end{array}
$

ここで， $\sigma$ はシグモイド関数であり，また $\sigma\left(\hat{a}_{i j}\right)(0 \leq$ $\left.\sigma\left(\hat{a}_{i j}\right) \leq 1\right)$ と $a_{i j} \in\{0,1\}$ はそれぞれ $\hat{A}$ と $A(i, j)$成分に対応する. $\mathscr{L}_{b c e}$ によって，モデルは多対多の 対応付けを直接的に学習できる. また $A$ の各行及び 各列に，値が 1 の要素は高々 1 つしか含まれないた め, DP や ILP といったアライメントアルゴリズム の適用が容易である。一方で， $N$ が大きいほど行列 がスパースになり，学習が難しくなる欠点がある.
モデルの予測時，(6) 式のスコアは $\hat{A}$ の各要素を シグモイド関数で正規化する.

## 3.2.2 Softmax Cross Entropy (SCE) loss

文n-gram の対応を, 多クラス分類タスクとして学習する。学習時の損失 $\mathscr{L}_{s c e}$ は [14] に従い, $E \rightarrow F$方向の対応付け損失 $\mathscr{L}_{E \rightarrow F}$ と $F \rightarrow E$ 方向の対応付 け損失 $\mathscr{L}_{F \rightarrow E}$ の平均で定義する.

$
\begin{gathered}
\mathscr{L}_{\text {sce }}=\left(\mathscr{L}_{E \rightarrow F}+\mathscr{L}_{F \rightarrow E}\right) / 2 \\
\mathscr{L}_{E \rightarrow F}=-\frac{1}{\left|E_{1: N}\right|} \sum_{i=1}^{\left|E_{1: N}\right|} \sum_{j=1}^{\left|F_{1: N}\right|} \\
\left.\{a_{i, j} \log \frac{e^{\left(\hat{a}_{i, j}-m\right)}}{e^{\left(\hat{a}_{i, j}-m\right)}+\sum_{c=1, c \neq j}^{\left|F_{1: N}\right|} e^{\hat{a}_{i, c}}}\right.\}
\end{gathered}
$

ここで， $m$ は正例と負例のスコアの分離を促進する ためのマージンである. $F \rightarrow E$ 方向の対応付け損失 $\mathscr{L}_{F \rightarrow E}$ も (9) 式と同様に計算する.

モデルの予測時，(6) 式のスコアは $\hat{A}$ に対して行方向と列方向にソフトマックス関数をかけて正規化 した値の平均を用いる.

絶対的な対応付けスコア予測を学習する $\mathscr{L}_{b c e}$ と は対照的に， $\mathscr{L}_{\text {sce }}$ では相対的な対応付けスコアの予測を学習するため, 学習が容易になることが期待で きる。

## 4 実験

提案手法の有効性を確認するため, 日本語と英語 の実際の新聞記事の対訳データを用いて文アライン メントの精度と速度の評価を行った.

学習および開発, 評価のデータには読売新聞の記事とその翻訳となっている The Japan News の記事を 使用した ${ }^{1)}$. 表 1 に各データの平均文数を示す. 学

1) https://database.yomiuri.co.jp/about/glossary/
表 1 データセットの平均文数

習データには，内山らの手法 [5] を用いて自動抽出 した対訳文書 2,989 本とその文書内の文アラインメ ントを擬似正解データとして用いた。これらのデー タは，2012 年に発行された日本語記事 317,491 本 と英語記事 3,878 本から抽出した. 開発および評価 データには，2013 年に発行された記事から人手でア ラインメントを行ったものをそれぞれ 15 本ずつ用 いた。評価には，文アラインメントの評価尺度とし て一般的に用いられている，文アラインメント単位 での $F_{1}$ スコアを用いた2).

ベースラインには, Vecalign [2] と SpanAlign [3] を 用いた. Vecalign での文アラインメントには著者実装3)を用いた。アラインメントに含まれる最大文数 は 8，文埋め込みべクトルを作成する際に結合する 最大文数は 10 とした. また，多言語文埋め込みに は LASER [8] を用いた. SpanAlign での文アライン メントについても著者実装4)を用いた。各種設定に 関しては論文の設定に準拠した。

提案手法に含まれるLaBSE は，事前学習済みモ デル゙)をパラメータを固定して用いた. Transformer Encoderは 1 層の encoder layer で構成し, multihead attention の head 数を 8，隠れ層の次元を 768， Feedforward 層の次元を 2048 とした. 文 n-gram の最大文数 $N=2$ とした. アラインメントアルゴリズム として整数計画法を適用し，ソルバには IBM ILOG CPLEX 12.8.0.0を用いた.

表 2 に，各手法における英日文アライメントの 精度と評価データの推論にかかった実行時間を示 す. 提案手法の中で，SCE loss を用いたモデルは BCE loss を用いたモデルより高い F1 スコアを得 た. 相対的なスコアの学習により，スパース性に よる学習の難しさが緩和されたことが示唆される. また Vecalign との比較では，提案手法による $0.32 \mathrm{pt}$ の F1 スコア向上が見られた. 文べクトル計算時の 文脈情報の利用や，ILP による非単調な文対応の 抽出が精度向上に寄与したと考えられる. 一方で，

2）次のスクリプトの strict スコアを使用した. https: //github.com/thompsonb/vecalign/blob/master/score.py

3) https://github.com/thompsonb/vecalign

4) https://github.com/nttcslab-nlp/spanalign

5) https://huggingface.co/sentence-transformers/LaBSE表 2 英日文アラインメントの精度と評価データの推論に かかった実行時間（秒)，および文べクトルの計算に文脈情報を用いない場合（w/o self_attn）の精度

SpanAlign との比較では, 提案手法が $0.48 \mathrm{pt}$ 下回っ た. SpanAlign はトークン単位の文脈情報を考慮す ることに対し，提案手法は文単位に圧縮された文脈情報を利用する。この文脈情報の粒度の違いが精度 の差に繋がったと考えられる。評価データの推論に かかる実行時間は，提案手法が SpanAlign の $1 / 4$ 程度であった ${ }^{6)}$ ．以上の比較から，提案手法は実用レ ベルの精度を維持しつつ, 既存手法と比べて高速に アライメントを行えると結論づける。

文脈情報の有効性を検証するため，提案手法か ら self_attnを除いたモデル（w/o self_attn）を作成した. アライメントの精度を表 2 の下部に示す. self_attnを除き，文ベクトルの計算に文脈情報を 用いないことで，大きく精度が低下した。このこと から，両方の言語の文脈情報が精度向上に作用した ことが示唆された。

## 5 まとめ

本研究では，大規模対訳コーパスの構築に向けた 文対応付けの高速化を検討した. 提案手法は，文単位に圧縮された文脈情報を活用することで，高精度 な既存手法である SpanAlign よりも高速な文対応付 けが行える。また実験では，提案手法が高速な既存手法である Vecalign と比べて高精度に文アライメン トを抽出できることを示した. 今後の課題として， スパース性の問題を解消して対応付け可能な最大文数を増やすことや，非連続な対応関係の抽出を可能 にすることなどが挙げられる。

## 参考文献

[1] Huda Khayrallah and Philipp Koehn. On the impact of various types of noise on neural machine translation. In Proceedings of the 2nd Workshop on Neural Machine Translation and Generation, pp. 74-83, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[2] Brian Thompson and Philipp Koehn. Vecalign: Improved sentence alignment in linear time and space. In Proceedings of EMNLP-2019, pp. 1342-1348, 2019.

[3] Katsuki Chousa, Masaaki Nagata, and Masaaki Nishino. SpanAlign: Sentence alignment method based on cross-language span prediction and ILP. In Proceedings of the 28th International Conference on Computational Linguistics, pp. 47504761, Barcelona, Spain (Online), December 2020. International Committee on Computational Linguistics.

[4] William A. Gale and Kenneth W. Church. A program for aligning sentences in bilingual corpora. Computational Linguistics, Vol. 19, No. 1, pp. 75-102, 1993.

[5] Masao Utiyama and Hitoshi Isahara. Reliable measures for aligning japanese-english news articles and sentences. In Proceedings of the ACL-2003, pp. 72-79, 2003.

[6] D. Varga, L. Németh, P. Halácsy, A. Kornai, V. Trón, and V. Nagy. Parallel corpora for medium density languages. In Proceedings of the RANLP-2005, pp. 590-596, 2005.

[7] Rico Sennrich and Martin Volk. Iterative, MT-based sentence alignment of parallel texts. In Proceedings of the 18th Nordic Conference of Computational Linguistics (NODALIDA 2011), pp. 175182, Riga, Latvia, May 2011. Northern European Association for Language Technology (NEALT).

[8] Mikel Artetxe and Holger Schwenk. Margin-based parallel corpus mining with multilingual sentence embeddings. In Proceedings of the ACL-2019, pp. 3197-3203, 2019.

[9] Marta Bañón, Pinzhen Chen, Barry Haddow, Kenneth Heafield, Hieu Hoang, Miquel Esplà-Gomis, Mikel L. Forcada, Amir Kamran, Faheem Kirefu,
Philipp Koehn, Sergio Ortiz Rojas, Leopoldo Pla Sempere, Gema Ramírez-Sánchez, Elsa Sarrías, Marek Strelec, Brian Thompson, William Waites, Dion Wiggins, and Jaume Zaragoza. ParaCrawl: Web-scale acquisition of parallel corpora. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 4555-4567, Online, July 2020. Association for Computational Linguistics.

[10] Masaaki Nagata, Katsuki Chousa, and Masaaki Nishino. A supervised word alignment method based on cross-language span prediction using multilingual bert. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing (EMNLP 2020), Online, November 2020. Association for Computational Linguistics.

[11] Luigi Procopio, Edoardo Barba, Federico Martelli, and Roberto Navigli. Multimirror: Neural crosslingual word alignment for multilingual word sense disambiguation. In Zhi-Hua Zhou, editor, Proceedings of the Thirtieth International Joint Conference on Artificial Intelligence, IJCAI-21, pp. 3915-3921. International Joint Conferences on Artificial Intelligence Organization, 8 2021. Main Track.

[12] Fangxiaoyu Feng, Yinfei Yang, Daniel Cer, Naveen Arivazhagan, and Wei Wang. Language-agnostic BERT sentence embedding. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 878-891, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[13] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Proceedings of the NIPS 2017, pp. 5998-6008, 2017.

[14] Yinfei Yang, Gustavo Hernandez Abrego, Steve Yuan, Mandy Guo, Qinlan Shen, Daniel Cer, YunHsuan Sung, Brian Strope, and Ray Kurzweil. Improving multilingual sentence embedding using bidirectional dual encoder with additive margin softmax. arXiv preprint arXiv:1902.08564, 2019.


# 音声の離散特徵量を活用した End-to-End 音声翻訳における音声系列長の削減

阿久井 駿 1 鶴岡 慶雅 1
1 東京大学大学院 情報理工学系研究科
\{akui , tsuruoka\}@logos.t.u-tokyo.ac.jp

## 概要

本稿では，end-to-end 音声翻訳における音声系列長を動的に削減する新たな方法を提案する。一般に 音声系列は非常に長いため, end-to-end 音声翻訳モ デルに音声を入力する際は系列を短くする必要があ る. 従来手法では音素の疎密を考慮せずにフレーム を等間隔で圧縮するため，非効率的である可能性が ある。そこで本稿では，音声の離散特徴量を活用し た教師なし音素セグメンテーションに基づいて音声系列を動的に压縮する手法を提案する．同一セグメ ントに属する音声系列を平均して 1 つに圧縮してか らモデルに入力することで，従来手法と同程度の翻訳精度を保ちつつ，系列長を従来手法の半分程度に 削減することに成功した。

## 1 はじめに

音声翻訳は，ある言語の音声を別の言語のテキス トに翻訳するタスクである。音声翻訳は従来，i) 音声認識，ii) テキストどうしの機械翻訳という 2 つの タスクを組み合わせることで実現されていた $[1,2]$. しかしこの方法は，i) 音声認識で生じた認識誤りが 機械翻訳に伝播して翻訳精度が低下する，ii) 音声 のみが持つ韻律などの情報が失われる，iii) 2 つの モデルを経由するため翻訳文を生成するのに時間 がかかる，といった欠点が指摘されていた $[3,4]$. そこで近年では，こうしたデメリットを解消する ために，書き起こし文を経由せずに翻訳文を直接生成する end-to-end 音声翻訳の研究が進められてい る $[5,6,7]$.

近年, テキストどうしの機械翻訳で Transformer [8] が高い翻訳精度を達成したことを受け, end-to-end 音声翻訳においても Transformer を利用した手法が 提案されている $[9,10]$. しかし, Transformer に音声系列を入力する際には，しばしばその計算量が問題
となる。音声系列の入力には，一般的には $10 \mathrm{~ms}$ 程度の幅で抽出した特徴量が用いられることが多く, これは同じ内容のテキストと比べても非常に長い. Transformer の空間計算量は入力の長さの 2 乗に比例 するため，長い音声系列を直接入力することは計算 コストの観点から現実的ではない。

音声系列の長さを削減する既存の手法としては,畳み込みニューラルネットワーク (Convolutional Neural Network; CNN）を利用した方法が挙げられ る [9]. この手法では，音声系列に対して stride が 2 の CNNを 2 回適用することで，系列長をおよそ 4 分の 1 に削減している. しかしこの方法では, 音声系列内における音素の疎密の違いによらず全フ レームが等間隔で圧縮されることになるため，音素が密集している部分の情報が大きく失われる可能性がある。このほかには，音声系列とそれに対応する音素や文字とのアラインメントを学習し,隣接するフレームで同じ音素や文字を表すと推測 されるものを 1 つに圧縮する方法も提案されてい る $[11,12,13,14]$. これらの手法では，音素の疎密 に応じて系列を動的に圧縮することができ， CNN を用いた手法より高い翻訳精度を達成している。し かし，これらの方法はいずれも音声に対応する書き 起こし文や音素の情報が必要であり，文字を持たな い言語に応用することが不可能である.

音声系列に対応する音素とのアラインメントを，音声のみを用いて教師なしで学習する方法も提案さ れており [15]，この手法を用いれば，書き起こし文 を利用しなくても音素の疎密に応じて系列を動的に 圧縮できることが期待される．そこで本稿では，書 き起こし文を利用せず音声のみで学習した音素セグ メンテーションを用いて，音声系列を動的に圧縮す ることを試みた。そして，従来の等間隔で圧縮する 方法と比べた翻訳精度や圧縮率の差について検証 した.

## 2 関連研究

## 2.1 Transformer を利用した End-to-end 音声翻訳

Transformer [8] は attention と呼ばれる機構を用い た encoder-decoder モデルであり，入力系列を受け取 り隠れ状態にエンコードするエンコーダと，エン コーダが出力した隠れ状態と出力系列を受け取り次 のステップの出力を生成するデコーダから構成され る. Transformer はもともとはテキストどうしの機械翻訳のために提案されたモデルであるが，入力系列 としてテキストの代わりに音声の特徴量を用いるこ とで音声翻訳に対しても有効であることが示されて いる [9]. 音声の特徵量には主に対数メルスペクト ログラムが用いられるが，そのままでは系列長が長 いため計算量が非常に大きくなり，GPU のメモリ容量内で学習を行うことが困難となる. そこで, 音声系列に stride が 2 の CNNを 2 回適用し, 系列長をお よそ 4 分の 1 に削減してから Transformerに入力す ることでこの問題に対処している.

## 2.2 音声の離散特徵量を利用した教師なし 音素セグメンテーション

## 2.2.1 VQ-VAE

音声の離散的な特徵量を得る方法として, VectorQuantized Variational Autoencoder（VQ-VAE）[16] を 用いた手法が提案されている [17]. VQ-VAE は, i) エンコーダ，ii) ベクトル量子化，iii) デコーダ，の 3 つの部分から構成される. モデルの詳細な図は付録 $\mathrm{A}$ に記した。

エンコーダ エンコーダはまず 1 次元の音声波形 $\boldsymbol{x}=\left(x_{1}, \ldots, x_{N}\right)$ を入力として受け取り, 対数メルス ペクトログラムを計算する。 次に対数メルスペクト ログラムを 5 層の CNN と線形変換に入力し, 連続的な特徴量 $z=\left(z_{1}, \ldots, z_{T}\right)$ を出力する.

ベクトル量子化 この部分は，コードブックと 呼ばれる $K$ 個の異なる学習可能なべクトルの集合 $\boldsymbol{e}=\left.\{\boldsymbol{e}_{1}, \ldots, \boldsymbol{e}_{K}\right.\}$ で構成される. ここでは，エンコー ダが出力した特徴量 $z$ を受け取り, 各要素 $z_{i}$ をコー ドブックの中で最も $L^{2}$ 距離が近いべクトルに置換 することで離散的な特徴量 $\hat{z}=\left(\hat{z}_{1}, \ldots, \hat{z}_{T}\right)$ を得る.

$
\hat{z}_{i}=\underset{\hat{z}_{i}^{\prime} \in \boldsymbol{e}}{\arg \min }\left.\|z_{i}-\hat{z}_{i}^{\prime}\right.\|_{2}^{2} \quad(i=1, \ldots, T)
$

この操作は微分不可能であるため, 誤差逆伝播の際 は straight-through estimator [18] を用いて式 (2)のよ うに勾配を近似する。ここで $\mathscr{L}$ は損失関数である.

$
\frac{\partial \mathscr{L}}{\partial z} \approx \frac{\partial \mathscr{L}}{\partial \hat{z}}
$

デコーダ デコーダは離散特徴量 $\hat{z}$ を受け取り，各フレームを $50 \%$ の確率で隣接するフレームに置換する time-jitter 正則化 [19]を行う. その後, 話者 を表す埋め込みべクトルと結合し，回帰型ニューラ ルネットワーク（Recurrent Neural Network; RNN）を 用いて元の音声波形を復元する.

モデルは，式 (3) で表される損失関数 $\mathscr{L}$ 最小化 するように学習される。

$
\mathscr{L}=-\frac{1}{N} \sum_{i=1}^{N} \log p\left(x_{i} \mid \hat{z}\right)+\beta \frac{1}{T} \sum_{i=1}^{T}\left.\|z_{i}-\operatorname{sg}\left(\hat{z}_{i}\right)\right.\|_{2}^{2}
$

第 1 項は再構成誤差, 第 2 項はエンコーダの出力を 離散特徵量に近づける項である。ここで， $\operatorname{sg}(\cdot)$ は勾配を計算しないことを意味する。 $\beta$ はハイパーパラ メータであり，本稿では $\beta=0.25$ を用いた.

## 2.2.2 VQ-VAE による音素セグメンテーション

VQ-VAE で得られる離散的な特徴量について, 隣接するフレームで異なるエントリが選ばれている部分を音素の境界とみなし, 教師なしでセグメンテー ションを行う方法が提案されている [15]. しかしこ の方法では, 実際の音素と比べて細かく分割されす ぎてしまう問題がある。 そこで，全体のセグメント 数に制約を設けることで，より音素境界に近いセグ メンテーションが可能である. 具体的には，連続特徵量とエントリ間の $L^{2}$ 距離の 2 乗の和に, ペナル

最小化するように離散特徵量 $\hat{z}$ を選択する。

$
\begin{gathered}
\hat{z}_{1}, \ldots, \hat{z}_{T}=\underset{\hat{z}_{1}^{\prime}, \ldots, \hat{z}_{T}^{\prime}}{\arg \min } \mathscr{E}\left(\hat{z}_{1}^{\prime}, \ldots, \hat{z}_{T}^{\prime}\right) \\
\mathscr{E}\left(\hat{z}_{1}^{\prime}, \ldots, \hat{z}_{T}^{\prime}\right)=\sum_{i=1}^{T}\left.\|z_{i}-\hat{z}_{i}^{\prime}\right.\|_{2}^{2}+\lambda \operatorname{seg}\left(\hat{z}_{1}^{\prime}, \ldots, \hat{z}_{T}^{\prime}\right)
\end{gathered}
$

ここで $\operatorname{seg}\left(\hat{z}_{1}^{\prime}, \ldots, \hat{z}_{T}^{\prime}\right)$ は系列 $\left(\hat{z}_{1}^{\prime}, \ldots, \hat{z}_{T}^{\prime}\right)$ に含まれる セグメント数を表す。また，入はハイパーパラメー タであり，本稿では $\lambda=3$ を用いた. この最小化問題は, $\alpha_{t}=\min _{\hat{z}_{1}^{\prime}, \ldots, \hat{z}_{t}^{\prime}} \mathscr{E}\left(\hat{z}_{1}^{\prime}, \ldots, \hat{z}_{t}^{\prime}\right)$ とおくと, 動的計画法を用いて式 (5)のように解くことができる.

$
\alpha_{t}= \begin{cases}0 & (t=0) \\ \min _{j=1}^{t}\left(\alpha_{t-j}+\min _{k=1}^{K}\left.\|z_{i}-\boldsymbol{e}_{k}\right.\|_{2}^{2}+\lambda\right) & (t=1, \ldots, T)\end{cases}
$

discrete features $\hat{\boldsymbol{z}}$

(a) discrete

log-mel spectrogram

(b) averaged

図 1 セグメンテーションを用いて音声系列を圧縮する 概略図. (a) VQ-VAE の離散特徴量をそのまま用いる方法 (discrete) と， (b) 同じセグメントに属する特徴量を平均 する方法（averaged）の 2 通りを提案した。

## 3 提案手法

## 3.1 音声系列の圧縮

本稿では， end-to-end 音声翻訳モデルに入力する 音声系列に 2.2 節で述べたセグメンテーションを適用し，同じセグメントに割り当てられたフレームを 1 つに圧縮することで，音声系列長を動的に削減す ることを試みた. フレームの圧縮には, 図 1 に示す 2 通りの方法を考えた。

Discreteこの方法では，音声系列として各セグ メントに割り当てられた VQ-VAE の離散特徴量を そのまま用いる. 各離散特徴量に線形変換を施し， Transformer のエンコーダに入力する.

Averaged この方法ではまず，2.1 節で述べた従来手法と同様に，音声から抽出した対数メルスペク トログラムに 2 層の CNN を適用する。ただし，本手法では 2 層目の CNN の stride は 1 とする。こうし て得られた特徴量の各フレームをセグメンテーショ ンと照らし合わせ，同じセグメントに属するフレー ムの特徴量を平均して 1 つのベクトルに統合する。

## 3.2 セグメントの長さに関する情報の付加

3.1 節で述べた方法では，各セグメントがその長 さによらず 1 つのベクトルに圧縮されるため，セグ メントの長さに関する情報が失われてしまう。そこ で，圧縮後の各ベクトルの末尾にセグメントの元の フレーム数を追加し，セグメントの長さに関する情報を補完することを試みた。

## 4 実験

## 4.1 実験設定

提案した音声系列長の削減方法の有効性を検証 するため， 3.1 節で述べた 2 種類の手法（discrete， averaged）を，CNNのみを用いて系列を圧縮する 従来手法（baseline）[9] と比較する実験を行っ た. 提案手法で利用するセグメンテーションには， VQ-VAE で得られる離散特徴量をそのまま用いたセ グメンテーション（vq）と，セグメント数に応じた ペナルティを追加したセグメンテーション（dp）の 2 種類を用いた.また， 3.2 節で述べた方法で圧縮後 の特徴量に各セグメントの長さを付加した場合，実験結果にどのような違いが現れるかを比較した. 翻訳精度の評価には BLEU [20] を用いた.

## 4.1.1 VQ-VAE

音声翻訳に用いるデータセットには話者の情報が 含まれていないため，VQ-VAEの学習には話者アノ テーション付きの英語コーパスである Buckeye [21] に含まれる約 18 時間分の音声を使用した. モデル には 2.2 節で述べた VQ-VAE モデルを使用した. 学習の詳細は先行研究 [17] に従い，学習データからサ ンプルした $320 \mathrm{~ms}$ の音声系列 52 個を 1 つのバッチ としてモデルを学習した. パラメータの最適化には Adam [22] を使用し, 学習率は $4 \times 10^{-4}$ で初期化し た後 300,000 ステップと 400,000 ステップで半分に 減衰するように設定した. また，コードブックの最適化には指数移動平均を用いた方法 [16] を使用し た. モデルは合計で 500,000 ステップ学習した.

## 4.1.2 End-to-end 音声翻訳

End-to-end 音声翻訳のデータセットには，MuSTC [23] の英語-ドイツ語コーパスを用いた. この データセットには，学習データ 250,942 文，検証 データ 1,415 文，テストデータ 2,580 文が含まれる。音声の特徵量には $10 \mathrm{~ms}$ ごとに $25 \mathrm{~ms}$ 幅の窓で抽出 した 80 次元の対数メルスペクトログラムを使用し た. また，テキストはSentencePiece [24]を用いてサ ブワードに分割した. モデルの学習時は, 音声特徴量の系列長が 2,000 フレームを超える文を除外し，各バッチに含まれる音声系列のフレーム数の合計 が最大で 20,000 となるようにバッチ化した. パラ メータの最適化には Adam [22]を使用し， 8 バッチ
表 1 MuST-C 英語-ドイツ語コーパスのテストデータを 用いた各手法の BLEU スコア. 手法名のかっこ内はセグ メンテーションの方法を表す。また，normal は圧縮後の 特徴量に各セグメントの長さを付加しなかった場合の結果，concat は付加した場合の結果である。

## BLEU

ごとにパラメータを更新した．また，学習率は最初 の 10,000 ステップで 0 から $2 \times 10^{-3}$ まで線形に増加 させ，その後はステップ数の平方根に反比例するよ うに減衰させた。モデルは合計で 100,000 ステップ 学習した. その他のハイパーパラメータは付録 Bに 記した。

## 4.2 実験結果

MuST-C 英語-ドイツ語コーパスのテストデータ における各手法の BLEU スコアを表 1 に示す. 離散特徴量をそのまま用いた手法（discrete）は従来手法と比べて大きく翻訳精度が下がる結果となった. Discrete 内で比較すると，セグメンテーションには $\mathrm{dp}$ よりも vqを用いたほうが翻訳精度は高かった。 また，セグメントの長さに関する情報を付加するこ とで BLEU スコアに 2 ポイント前後の向上が見られ た.一方，セグメンテーションに基づいて特徵量を 平均した場合（averaged）は従来手法と同程度の翻訳精度が維持されるか従来手法よりやや劣る結果 となった. Averaged 内で比較すると，セグメンテー ションには $\mathrm{vq}$ より dp を用いたほうが翻訳精度は 高く, この方法では従来手法と比べて BLEU スコア で 0.02 ポイントの改善が見られた. この手法では， セグメントの長さの情報を付加することによる翻訳精度の向上は見られなかった.

## 4.3 考察

Discrete の翻訳精度が従来手法と比べて大きく 劣っていることから，音声翻訳の入力に離散特徴量 をそのまま用いるだけでは，翻訳に必要な音声の情報が大きく久落してしまうと考えられる．セグメン トの元の長さを補うことで翻訳精度は向上したもの の，依然として従来手法の翻訳精度を大きく下回っ表 2 MuST-C 英語-ドイツ語コーパスにおける，セグメ ンテーションの種類ごとの音声系列長の平均圧縮率.

ているため，離散特徴量を音声翻訳に活用するため にはさらなる工夫が必要である.

Averaged では，最も BLEU スコアが高かった dp セグメンテーションを用いた方法でも従来手法と同程度の翻訳精度にとどまった。しかし，表 2 に示し た通り，dpセグメンテーションを用いた方法では音声系列長を従来手法のおよそ半分に圧縮できてい る.このことから，提案手法は従来手法の翻訳精度 を維持しながら音声の系列長を大きく削減できると いう点で有効であると考えられる。

## 5 おわりに

本稿では，end-to-end 音声翻訳において音声系列長を動的に削減するため，VQ-VAE を利用した教師 なし音素セグメンテーションに基づいて音声系列を 圧縮する手法を提案した. 実験の結果，同一セグメ ントに属する音声系列を平均して1つに圧縮してか らモデルに入力することで，従来手法と同等の翻訳精度を保ちながら系列長を従来手法の半分程度にま で削減することに成功した。

今後の課題としては，以下の 3 点が挙げられる.

教師ありセグメンテーション手法との比較 本実験では，ベースラインとして CNNを用いてフレー ムを等間隔で圧縮する方法のみを用いた，今後は教師ありセグメンテーションを使用した従来手法との 比較実験も行い，翻訳精度や圧縮率，計算量などの 違いについて検証する必要がある。

音声翻訳に適した離散表現の獲得本実験では，音声翻訳の入力に離散特徴量を用いた場合，翻訳精度が大きく下がる結果になった。離散特徴量を音声翻訳に活用するためには，より音声翻訳に適した離散表現を得る方法を模索する必要がある。

低リソースな条件下での実験 提案手法のメリッ トの 1 つに，音声の書き起こし文が必要でないため 文字を持たない言語に応用できることが挙げられ る.そうした言語では，本実験のように大規模な学習データが集められない可能性が高い。そこで，低 リソースな条件下でも本手法が有効であるかを実験 して検証する必要がある。

## 参考文献

[1] Fred Stentiford and M.G. Steer. Machine translation of speech. British Telecom Technology Journal, Vol. 6, No. 2, pp. 116-123, 1988.

[2] Hermann Ney. Speech translation: Coupling of recognition and translation. In 1999 IEEE International Conference on Acoustics, Speech, and Signal Processing, Vol. 1, pp. 517-520, 1999.

[3] Nicholas Ruiz and Marcello Federico. Assessing the impact of speech recognition errors on machine translation quality. In Proceedings of the 11th Conference of the Association for Machine Translation in the Americas: MT Researchers Track, pp. 261-274, 2014.

[4] Matthias Sperber and Matthias Paulik. Speech Translation and the End-to-End Promise: Taking Stock of Where We Are. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7409-7421, 2020.

[5] Alexandre Bérard, Olivier Pietquin, Christophe Servan, and Laurent Besacier. Listen and Translate: A Proof of Concept for End-to-End Speech-to-Text Translation. arXiv:1612.01744 [cs], 2016.

[6] Ron J. Weiss, Jan Chorowski, Navdeep Jaitly, Yonghui Wu, and Zhifeng Chen. Sequence-to-Sequence Models Can Directly Translate Foreign Speech. In Interspeech 2017, pp. 2625-2629, 2017.

[7] Alexandre Bérard, Laurent Besacier, Ali Can Kocabiyikoglu, and Olivier Pietquin. End-to-End Automatic Speech Translation of Audiobooks. In 2018 IEEE International Conference on Acoustics, Speech and Signal Processing, pp. 6224-6228, 2018.

[8] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention Is All You Need. In Proceedings of the 31st International Conference on Neural Information Processing Systems, pp. 60006010, 2017.

[9] Changhan Wang, Yun Tang, Xutai Ma, Anne Wu, Dmytro Okhonko, and Juan Pino. Fairseq S2T: Fast Speech-to-Text Modeling with Fairseq. In Proceedings of the 1st Conference of the Asia-Pacific Chapter of the Association for Computational Linguistics and the 10th International Joint Conference on Natural Language Processing: System Demonstrations, pp. 33-39, 2020.

[10] Hirofumi Inaguma, Shun Kiyono, Kevin Duh, Shigeki Karita, Nelson Yalta, Tomoki Hayashi, and Shinji Watanabe. ESPnet-ST: All-in-One Speech Translation Toolkit. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: System Demonstrations, pp. 302-311, 2020.

[11] Elizabeth Salesky, Matthias Sperber, and Alan W Black. Exploring Phoneme-Level Speech Representations for End-to-End Speech Translation. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 1835-1841, 2019.

[12] Elizabeth Salesky and Alan W Black. Phone Features Improve Speech Translation. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 2388-2397, 2020.

[13] Marco Gaido, Mauro Cettolo, Matteo Negri, and Marco Turchi. CTC-based Compression for Direct Speech Translation. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, pp. 690-696, 2021.

[14] Sara Papi, Marco Gaido, Matteo Negri, and Marco Turchi. Speechformer: Reducing Information Loss in Direct Speech Translation. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 1698-1706, 2021.

[15] Herman Kamper and Benjamin van Niekerk. Towards Unsupervised Phone and Word Segmentation Using SelfSupervised Vector-Quantized Neural Networks. In Interspeech 2021, pp. 1539-1543, 2021.

[16] Aaron van den Oord, Oriol Vinyals, and Koray Kavukcuoglu. Neural Discrete Representation Learning. In Proceedings of the 31st International Conference on Neural Information Processing Systems, pp. 6309-6318, 2017

[17] Benjamin van Niekerk, Leanne Nortje, and Herman Kamper. Vector-Quantized Neural Networks for Acoustic Unit Discovery in the ZeroSpeech 2020 Challenge. In Interspeech 2020, pp. 4836-4840, 2020.

[18] Yoshua Bengio, Nicholas Léonard, and Aaron Courville. Estimating or Propagating Gradients Through Stochastic Neurons for Conditional Computation. arXiv:1308.3432 [cs], 2013

[19] Jan Chorowski, Ron J. Weiss, Samy Bengio, and Aaron van den Oord. Unsupervised Speech Representation Learning Using WaveNet Autoencoders. IEEE/ACM Transactions on Audio, Speech, and Language Processing, Vol. 27, No. 12, pp. 2041-2053, 2019.

[20] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: A Method for Automatic Evaluation of Machine Translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, 2002.

[21] Mark A. Pitt, Keith Johnson, Elizabeth Hume, Scott Kiesling, and William Raymond. The Buckeye corpus of conversational speech: Labeling conventions and a test of transcriber reliability. Speech Communication, Vol. 45, No. 1, pp. 89-95, 2005

[22] Diederik P. Kingma and Jimmy Ba. Adam: A Method for Stochastic Optimization. In 3rd International Conference on Learning Representations, 2015.

[23] Roldano Cattoni, Mattia Antonino Di Gangi, Luisa Bentivogli, Matteo Negri, and Marco Turchi. MuST-C: A multilingual corpus for end-to-end speech translation. Computer Speech \& Language, Vol. 66, p. 101155, 2021.

[24] Taku Kudo. Subword Regularization: Improving Neural Network Translation Models with Multiple Subword Candidates. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 66-75, 2018.

## A VQ-VAE モデルの構成

2.2 節で述べた VQ-VAE モデルの詳細な構成を図 2 に示す. モデルの構成やパラメータはすべて先行研究 [17] に従った.

図 2 VQ-VAE モデルの概略図 [17]. 図中の $(N, 1)$ のよう な数値は各特徴量の長さおよび次元数を表す. $N$ は音声波形の長さ, $T^{\prime}$ は音声から抽出した対数メルスペクトロ グラムの長さ， $T$ は離散特徴量の長さである.

## B ハイパーパラメータ

本実験で使用した end-to-end 音声翻訳モデルのハ イパーパラメータを表 3 に示す.

表 3 End-to-end 音声翻訳モデルのハイパーパラメータ.


# 感情カテゴリを考慮した単語極性の推定

市村真衣久野雅樹
電気通信大学大学院 情報理工学研究科情報学専攻
i2230018@edu.cc. uec.ac.jp, hisano@uec.ac.jp

## 概要

工学分野の感情推定タスクには, 感情をカテゴラ イズする「感情空間による感情推定」とポジティ ブ〜ネガティブ軸を用いる「感情極性推定」との 2 種あるが, 心理学分野の感情理論「基本感情理論」と 「次元論」に対応しており, 2 つの感情推定には一定 の互換性があると考えられる。本稿では, 先行研究 における感情カテゴリと単語極性の関連を分析した ところ, 感情カテゴリと極性の間に相関関係が認め られ, ロジスティック回帰分析で感情カテゴリによ る単語の極性分類ができることを示した. また,ロジ スティック回帰分析で算出した新たな単語極性を用 いることで, 文書極性の分類性能が向上することも 確認できた。

## 1 はじめに

感情は, 事象によって可変であり, 判断材料やコ ミュニケーション手段になる. 学術および社会では 感情推定を通して, 物事の構造解析・人への思いや りのある機械の開発に取り組んでいる. 感情推定夕 スクは大まかに分けて「感情空間による感情推定」 と「感情極性推定」の2 種が存在する [1]. 前者は, 特定の感情モデルにあてはめて包含する感情を判定す るタスクであり, 感情語の登場回数から特定感情の 興奮・冷静情報を得ている. 対して後者は, 文章や語 などの持つ印象を極性（ポジティブ〜ネガティブの 1 軸）で判定するタスクであり, 文構造や共起関係か ら感情極性情報を得ている. 実際, 両タスクの境界線 は薄く, 各分析者が思考を凝らして手法を生み出し，感情推定をしている.

感情の定義ならびに感情に関する用語（情動,気分, 選好) は厳密に定められているわけではなく, 研究領域や個々の研究によって意味が微妙に異なるこ とも少なくない [2]. 心理学分野では感情研究を古 くから行っている. エクマンとフリーセン (Ekman \& Friesen, 1975 [3]）,イザード（Izard, 1977 [4]）, プ
ルチック (Plutchik, 1980 [5]）は, 感情には通文化的普遍性があると考える基本感情理論を支持してお り, 喜び・悲しみ・怒り・驚き・嫌悪・恐怖（エクマ ンが主張する基本感情）のように感情をカテゴリ に分けて（=離散値で）説明する. 対して,ラッセル (Russell, 1980 [6]）,ワトソンとテレゲン（Watson \& Tellegen, 1985 [7]）,ラッセルとフェルドマン=バレッ ト（Russell \& Feldman-Barrett, 1999 [8]）は, 快感・不快感という知的判断に伴う感情体験を直交座標上 にすべて配置可能だと考える次元論を支持してお り,「快-不快」次元と「覚醒-睡眠」次元（ラッセル が主張）のように感情を少数次元で（=連続値で）説明する。

「感情空間による感情推定」は基本感情理論，「感情極性推定」は次元論に対応すると考える. 両者間 に優劣はなく, 同じ対象「感情」を異なる着眼点と アプローチで調べているものであり,2つの感情推定には一定の互換性があると考えられる. 本研究で は, 先行研究における感情カテゴリと単語極性との つながりを相関分析により調べ, 感情カテゴリから 単語極性を説明できることをロジスティック回帰分析により示した.また, ロジスティック回帰で算出し た予測値を新たな単語極性にすることで, 文書極性 （ポジティブ文書/ネガティブ文書）の分類性能が向上するのかも検証した. 2 つの感情推定の橋渡しに なれば幸いである.

## 2 感情カテゴリと単語極性との関係

## 2.1 前処理

「感情空間による感情推定」では感情カテゴリを，「感情極性推定」ではテキスト（単語, 文, 文書）と 極性をセットにした一覧表である極性辞書を使用す る.今回は, 日本語の感情カテゴリを示す『感情表現辞典』と,公開している数少ない日本語用の極性辞書 3 つを対象にし，それぞれに前処理を施した。
表 1 分析による変数抬張の概要

 \\

$\cdot$「感情表現辞典」[9]（2,308 語）

$\cdot$「単語感情極性対応表」[10]（39,167 語）
- 「日本語評価極性辞書」[11][12]（10,326 語）

また, 先の 2.2 節と 2.3 節との分析にて, 変数を追加する.リストの概要を表 1 に記す.

## 2.1.1 感情カテゴリ

中村は, 言語表現面を反映した感情のあつかい として, 実際の表現例から計 10 類の感情カテゴリ （喜・怒・哀・怖・恥・好・厭・昂・安・驚）を立項 し, 単語を分類している. また, 辞典としての引きや すさを重視し, 感情が混じり合った, あるいは中間的 な意味合いを持つ感情語は, 複数の感情カテゴリに 配列している [9]. 語句編の収録語（2,308 語）それ ぞれに, 本にもとづいて感情カテゴリ 10 種のラベル を 1つずつ付与した. 以下，これを「中村カテゴリ辞書」と表記する。

## 2.1.2 単語極性

単語極性とは, 単語の持つ印象をポジティブ〜ネ ガティブの 1 軸で表現した値である.

高村らは, 電子のスピン系を導入して, 関連する単語ペア（ある単語とその語釈文中の単語,シソーラ スでの類義語ペア, 反義語ぺア, 上位語下位語ぺア, コーパス中に接続詞で連なる形容詞ぺアなど）を結合することにより語彙ネットワーク（約 88,000 単語）としてモデル化し，単語極性を決定する手法を 提案している. 大きなコーパス（約 $1 \times 10^{11}$ 単語）を 用いたターニーら（2003）の手法と同等の性能が出 たとしている [10]. 極性は, 1.0〜-1.0 内の連続値で提供している. 表記と読みが一致し, かつ, 日本語学習済夕モデル [13] に存在する語を抽出した. 以下，こ れを「高村極性辞書」と表記する。

小林らは，＜評価対象表現+属性表現+評価表現＞ の共起情報から作成した 52 個のルールを語釈文に 繰り返し適用し, 半自動的に単語極性を決定する手法を提案している. 評価表現の収集と感情極性の決定の双方を人手に委ねるより, 効率がよいと述べて いる [11]. 東山らは, 収集した $<$ 名詞 $>と<$ 格助詞 +述語＞を共起ベクトルに変換し，名詞の感情極性を 自動獲得する教師あり機械学習による手法を提案し ている. 上記の高村らの手法と比較して,ネガティブ な名詞に関しては劇的に分類性能が向上したと主張 している [12]. 小林らの辞書と東山らの辞書を結合 し，重複データおよび欠損値を含むデー夕を削除し た. 小林らの辞書も東山らの辞書も極性はラベルで 表記しており,ポジティブを示す “ポジ”と“p”,ネガ ティブを示す “ネガ”と “n”, ポジティブとネガティ ブの間のニュートラルを示す “e”（順序分類尺度の データ）である語, かつ, 日本語学習済みモデル [13] に存在する語を抽出した. 以下,これを「小林東山極性辞書」と表記する。

## 2.2 分析 1：相関関係

まず, 小林東山極性辞書の極性情報はラベル表記であるため，“ポジ”と“p”を 1.0 , “ネガ”と“n”を -1.0, “e”を 0.0 として元極性を設定した. そして, 両極性辞書すべての語に対して, 各感情の含有率を計算した。具体的には，「両極性辞書の内の“とある 語”」と「中村辞書の各語」との類似度を日本語学習済みモデル [13] によって算出し, 感情カテゴリご との類似総和を全体の類似総和で割った値を各感情 の含有率とする，という工程を繰り返した。その後,両極性辞書に変数「各感情の含有率」を追加した。 （分析による変数拡張の概要は, 表 1 を参照.) 両極性辞書について,「各感情の含有率」と「元極性」と における相関関係を調べた。

表 2 高村極性辞書の「各感情の含有率」と「元極性」と の相関係数

表 2 と表 3 より，「喜・好・安」はポジティブな感情に，「厭・怒・哀・怖」はネガティブな感情に関連 するといえる. 各感情の含有率に $0 \%$ 多く含むた め相関が小さく出ており, 算出方法に改善の余地が
表 3 小林東山極性辞書の「各感情の含有率」と「元極性」との相関係数

ある.

## 2.3 分析 2 ：ロジスティック回帰

小林東山極性辞書における「各感情の含有率」を 独立変数, 「元極性」を従属変数に設定し, 6 割を学習データとしてロジスティック回帰分析を実施し た.ただし，極性情報のラベルが“e”の単語は除き， “ポジ”と“p”を 1 ，“ネガ”と“n”を 0 として元極性に 設定した. 結果は, 表 4 のとおりである.

表 4 ロジスティック回帰分析における学習評価

表 4 より, 極性情報であるポジティブ/ネガティブ 分類としての学習はできていると判断できる.

回帰式から得た出現確率をポジティブ〜ネガティ ブの範囲 1.0〜-1.0 に変更して, 予測値を算出した.両極性辞書へ変数「各感情含有率から予測した極性」を追加し, 標準化の処理をした。（分析による変数拡張の概要は, 表 1 を参照.) また, 小林東山極性辞書における「元極性」を，極性情報のラベルが“ポ ジ”と“p”を 1.0, “ネガ”と“n”を-1.0, “e”を 0.0 とし て設定した。

## 3 感情カテゴリによる単語極性の性能評価

2.2 節と 2.3 節の分析より, 感情カテゴリと単語極性には一定の互換性があることを示した. 両極性辞書の「元極性」と比べ, 「カテゴリによる極性」は 感情カテゴリの情報を追加で考慮している. よって，文書内にあるポジティブ語・ネガティブ語によって 文書の感情極性が推定できるという報告 [14]に従 い, 文書の感情推定の性能が向上していると予想さ れる.このことを分析的に示す.

## 3.1 データセット

“Amazon Customer Reviews Dataset”[15] より, マー ケットプレイスを日本に限定し, 星評価（星 1 5: 5 に近いほど高評価, 1 に近いほど低評価）にもとづ いて under-sampling したのち, 層化抽出をして 5,250件を性能評価に使用した。年代は 2000～2015 年で ある.

## 3.2 性能評価

ポジティブな文書/ネガティブな文書への分類性能をみるため, 各極性辞書が付与する「レビュー平均極性値」について, 正解ラベルが「星 1 のレビュー 群」と「星 5 のレビュー群」との差を性能評価の 指標とした。まず，両極性辞書の「元極性」および 「カテゴリによる極性」それぞれを用いて, Amazon レビューの各単語に極性值を付与した。そして,レ ビューの極性値としてレビュー内の単語の極性値の 平均を計算して, 標準化の処理をして, 正解ラベルが 「星 1 のレビュー群」と「星 5 のレビュー群」との平均極性値の差（表 5）を算出した。

また, 予測したレビューの極性值を縦軸, レビュー 文の年月日を横軸, マーカーを正解ラベル (星評価) として, 分布図（図 1）も作成した。なお, 横軸はプ ロットの見やすさを重視したため, 伸縮が生じて いる.

表 5 極性辞書による星 1 と星 5 のレビュー平均極性値 の差

表 5 から, 両極性辞書ともに「元極性」より「カテ ゴリによる極性」を付与したほうが, 差の広がりを 確認できる. すなわち, 両極性辞書の「元極性」をそ のまま使用する場合と比較して, ロジスティック回帰分析による予測値（=感情カテゴリの情報を考慮 した単語極性）である「カテゴリによる極性」のほ うが, 単語極性を利用したポジティブ文書/ネガティ ブ文書の分類性能を向上しているといえる。ロジス ティック回帰の学習に用いた 小林東山極性辞書 の 元極性は, 感情カテゴリではなく構文情報を利用し て単語極性を決定している. よって今回の結果は, 構文情報から得た単語極性とほぼ同等の法則性を, 感情カテゴリにあたる「各感情の含有率」, および, そ の組み合わせによっても再現できることを意味して いる.

また, 図 1 は, 5,250 件のレビューをプロットした ものであり, マーカーは正解ラベル (星評価: 5 に近 いほど高評価, 1 に近いほど低評価）,プロット場所 は予測したレビュー極性のスコア（縦軸方向に, 正方向ほど高評価, 負方向ほど低評価）を示している.

年月日

図 1 小林東山極性辞書によってレビュー極性を付与した様子 (上：元極性,下：カテゴリによる極性)

星 5 のレビューはスコアがより正方向にあり, 星 1 のレビューはスコアがより負方向にあり,星 2〜 4 は 星 1 と 5 の間に段階的に分布することが望ましい.小林東山極性辞書の「元極性」も「カテゴリによる 極性」も,図 1 を横切る「星 1 5 のレビュー平均極性値」は縦軸方向に段階的な値であり, 期待した結果である.一方で, プロットをみると星評価間で分布範囲が被っているため, 文書ごとの極性決定には改善の余地がある. 高村極性辞書の両者も同様である.

## 4 おわりに

「感情空間による感情推定」は基本感情理論，「感情極性推定」は次元論に対応していて, 両者が調べ
たい対象「感情」は同じであるという考え方にもと づいて, 感情カテゴリと単語極性とに関連があるこ とを相関分析で, 感情カテゴリから単語極性を説明 できることをロジスティック回帰分析で, 認めるこ とができた. また, カテゴリによる極性（=感情カテ ゴリを考慮した単語極性）を用いると,元極性と比 べて, 文書極性の分類性能を向上することも示した.

今回は日本語学習済みモデル [13]を用いて単語同士の類似度計算をしているため, 形態素が 1 つの単語のみを分析対象にしている. 今後は, 複数の形態素 からなる単語を分析対象に含めることで, より広範囲な感情表現がもつ各々の特徴を調査したい.

## 参考文献

[1] 江間勇希, 鳥海不二夫. 映画脚本デー夕における感情分析. 人工知能学会全国大会論文集 第 34 回, 2020.

[2] 大平英樹 (編). 感情心理学・入門. 有斐閣アルマ, 2010.

[3] Ekman, P., \& Friesen, W.V. Unmasking the face. Prentice Hall, 1975.

[4] Izard, C. E. Human emotions. Plenum Press, 1977.

[5] Plutchik, R. Emotion. Harper \& Row, 1980.

[6] Russell, J. A. A circumplex model of affect. Journal of Personality and Social Psychology, Vol. 39, No. 6, pp. 1161-1178, 1980

[7] Watson, D., \& Tellegen, A. Toward a consensual structure of mood. Psychological Bulletin, Vol. 98, No. 3, pp. 219-235, 1985.

[8] Russell, J. A., \& Feldman-Barrett, L. Core affect, prototypical emotional episodes, and other things called emotion: Dissecting the elephant. Journal of Personality and Social Psychology, Vol. 76, No. 5, pp. 805-819, 1999.

[9] 中村明. 感情表現辞典. 東京堂出版, 1993.

[10] 高村大也, 乾孝司, 奥村学. スピンモデルによる単語 の感情極性抽出. 情報処理学会論文誌ジャーナル, Vol. 47, No. 02, pp. 627-637, 2006.

[11] 小林のぞみ, 乾健太郎, 松本裕治, 立石健二, 福島俊一. 意見抽出のための評価表現の収集. 自然言語処理, Vol. 12, No. 03, pp. 203-222, 2005.

[12] 東山昌彦, 乾健太郎, 松本裕治. 述語の選択選好性に 着目した名詞評価極性の獲得. 言語処理学会第 14 回年次大会論文集, pp. 584-587, 2008.

[13] facebookresearch. fastText. https://github.com/ facebookresearch/fastText. 最終閲覧日：2021 年 12 月 7 日。

[14] $\mathrm{Hu}, \mathrm{M}$. and Liu, B. Mining and summarizing customer reviews. Proc. 2004 ACM SIGKDD international conference on Knowledge discovery and data mining (KDD-2004), pp. 168-177, 2004.

[15] Amazon.com, Inc. Amazon Customer Reviews Dataset. https://s3. amazonaws. com/amazon-reviews-pds/ readme.html. 最終閲覧日：2021 年 12 月 10 日.


# 事前学習モデルによる分割統治ニューラル機械翻訳

石川隆太 加納保昌 須藤克仁 中村哲
奈良先端科学技術大学院大学
\{ishikawa.ryuta.il7, kano.yasumasa.kw4, sudoh,s-nakamura\}@is.naist.jp

## 概要

ニューラル機械翻訳におけるハルシネーションや 繰り返し、訳抜けなどの課題に対し、文をセグメン トに分割して翻訳し、並べ替えて繋げるニューラル 機械翻訳における分割統治的手法 [1] が提案されて いる。本研究では、[1] で課題とされていた、セグ メント翻訳と、セグメントの並べ替えと編集の精度 の 2 つに対し、事前学習モデルの mBARTを用いる ことに加え、セグメント翻訳のモデルを節単位の擬似対訳データでファインチューニングすることで、 セグメント翻訳と、並べ替えと編集の精度の改善を 試みた。実験では提案手法による BLEU の改善は認 められなかったが、過剩な長さの訳出が大きく減少 し、ハルシネーションや繰り返しを抑制できている 傾向が確認できた。

## 1 はじめに

グローバル化に伴い翻訳の需要が高まってお り、ニューラル機械翻訳 (NMT) が注目されている。 NMT は質の高い訳文の生成が期待できる一方で、入力される文が長くなるとハルシネーションや訳抜 け [2] などの問題が発生することがある。この課題 に対し、統計的機械翻訳では、長文を短いセグメン 卜に分割して翻訳し、並べ替えて繋げるという分割統治的手法 [3] が提案されている。また、[3] を参考 にした、NMT における長文のための分割統治的手法 [1] も提案されている。本研究では、[1]において 課題とされていたセグメント翻訳の精度と、翻訳さ れたセグメントの並べ替えと編集の精度改善に向 け、セグメント翻訳と並べ替えと編集のモデルに事前学習モデルの mBARTを用い、さらにセグメント 翻訳のモデルを節単位の擬似対訳データでファイン チューニングする手法の検討を行った。英日翻訳の 実験において提案手法による BLEU の改善は認めら れなかったが、過剰な長さの訳出についてはべース ラインから大きく削減できており、ハルシネーショ
ンや繰り返しを提案手法により抑制できている傾向 が確認できた。

## 2 関連研究

NMT において、長文を分割し、分割された各セ グメントを翻訳した後に前から順に結合し直す手法として Pouget-Abadie ら [4] の自動分割の手法があ る。この手法はRNNを用いて、長文を分割して翻訳する際の最適な位置を予測し、モデルが翻訳を行 いやすいように入力文を分割する手法である。しか し、この手法は英語からフランス語への翻訳のよう に、ソース言語とターゲット言語がほとんど同じ語順を持たない限り、長文分割後のセグメントの並べ 替えの問題に対応することはできない。特に、英語 と日本語のような語順が大きく異なる言語対におい て、結合後の翻訳結果は不自然な文になりやすい。 この課題に対し、加納ら [1] はNMT における分割統治的手法を提案している。

## 2.1 分割統治型ニューラル機械翻訳

入力文を節単位でセグメントに分割し、分割され たセグメントを文単位の対訳コーパスで学習され た翻訳モデルを用いて翻訳し、翻訳された各セグメ ントを、セグメント同士の関係性を表すトークンを 用いて繋げ、翻訳モデルとは別のニューラルネット ワークモデルに入力する。それによって、セグメン トの並べ替えと編集を行い、自然な訳文の生成を実現している。ニューラル機械翻訳の分割統治的手法 において、文分割後のセグメント翻訳の精度と翻訳 されたセグメントの並べ替えと編集の精度は課題と されており、これら 2 つの精度は最終的な翻訳結果 に大きく影響すると考えられる。そこで、本研究で はセグメント翻訳と翻訳後のセグメントの並べ替え と編集の精度を向上させるため、加納らの手法を基 に次の 2 つを実施した。

## $2.2 \mathrm{mBART$ を用いた分割統治型ニューラ ル機械翻訳}

加納らの手法においてはセグメント翻訳と翻訳 されたセグメントの並べ替えと編集のモデルに Transformer[5]を利用しているのに対し、本研究で は事前学習モデルの BART[6] を多言語の大規模な モノリンガルコーパスで事前学習した mBART[7]を 利用した。mBART のファインチューニングによる 機械翻訳 [8] は、10 万から 1000 万文対規模の比較的少量の対訳コーパスで学習する場合に最も効果を 発揮し、mBART と同じ Transformer のエンコーダ・ デコーダモデルを同じ対訳コーパスでゼロから学習 するよりも、顕著に高い性能を発揮することが知ら れている。そのため、事前学習モデルの mBARTを 利用することで少量のコーパスで比較的性能の良い ベースラインの翻訳モデルを作成することができ、 セグメント翻訳の精度の向上が期待できる。さらに mBART は入力文のトークンのマスクや削除、文の 順序をシャッフルするなど人工的なノイズを加えた 上で、元の文を復元する事前学習を行なっている。 そのため、本研究における翻訳したセグメントの並 べ替えと編集を行うタスクと mBART の事前学習方法は似ているため、相性が良く、並べ替えと編集の モデルにおいても mBARTを利用することで、並べ 替えと編集の精度の向上が期待できる。

## 2.3 節単位の擬似対訳データによる節翻訳 モデルの作成

加納らの手法では文分割後の節の翻訳を文単位 の対訳データで学習した翻訳モデルで実施してい たが、節の翻訳において文単位のコーパスで学習さ れた翻訳モデルが適しているとは限らない。そこ で、本研究では節単位の擬似対訳データを作成し、 mBART をセグメント翻訳用にファインチューニン グすることで節翻訳モデルを作成した。これによ り、セグメント翻訳の精度の向上を試みた。

## 3 提案手法

提案手法の概略を図 1 の (a)ベースラインと節翻訳モデルの作成、(b) 節翻訳モデルを用いた分割統治的を用いて示す。提案手法の手順の太字の部分と 図 1 の太枠部分が [1] における分割統治的手法を基 に新たに実施、または変更した部分である。

1. JParaCrawl コーパスからサンプリングした 300 万文対を学習データとして mBART をファイン チューニングしベースラインとなる翻訳モデル表 1:トークン長ごとの評価データの文数

を作成する。

2. コーパスの英語の文を構文解析し、接続詞で分割する。

3. 英文を分割してできた英語節をべースラインの 翻訳モデルで翻訳し、擬似日本語節とし、節単位の英日の擬似コーパスを作成する。
4. 3 で作成した節単位の擬似対訳データでmBART をファインチューニングし節翻訳モデルを作成する。
5. 1 で作成した学習データの英文を構文解析し接続詞で分割し、4で作成した節翻訳モデルで分割した節を翻訳する。
6. 5 で翻訳した英語と翻訳結果の日本語のぺア を”@”を3つ繋げた対訳関係を示す記号で結合 し、分割した節同士を別の” | "を 3 つ繋げた文 の区切りを表す記号で結合する。
7. 6 で作成した英語と日本語を特殊トークンで結合した文をソース、分割前の英語に対応する日本語の文をターゲットとして mBART をファイ ンチューニングし、並べ替えと編集のモデルを 作成する。

## 4 実験

提案手法の有効性を検証するため、以下の実験を 行った。

## 4.1 実験設定

今回実施した実験の詳細設定を以下に示す。 モデルの学習と評価データの対訳コーパス として、JParaCrawl.ver2 [9] を用いた。具体的に JParaCrawl.ver2 から、評価データを 3 万文サンプリ ングし、残りのデータから学習データを 300 万文 サンプリングすることで、それぞれ評価データと 学習データとした。評価データは sentencepiece でサ ブワードに分割した後に、英語のサブワードトー クンを基準とし、トークン長ごとに 4 分割した評価データを作成した。分割したトークン長と対応 する英日の文対の数は表 1 のようになった。評価 データの BLEU は、MeCab [10] によって単語分割 し、sacrebleu [11]を用いて算出した。

節翻訳モデルと並べ替えと編集のモデルには

(a)ベースラインと節翻訳モデルの作成

(b) 節翻訳モデルを用いた分割統治的手法

図 1: ニューラル機械翻訳における分割統治的手法の概略

表 2: 入力トークン長ごとの BLEU

表 3: 入力トークン長ごとの BERTScore (F1)

mBART を使用し、fairseq [12] で実装されたものを 利用した。ベースラインと節翻訳モデル、並べ替 えと編集のモデルの学習時のパラメータの設定は Githubで公開されている英語とルーマニア語におけ る mBART のファインチューニングのデフォルトの 設定 [13] と同じ設定を用いた。

節翻訳モデルを作成する際の節単位の擬似対訳 データは JParaCrawl.ver2 からサンプリングした英文 200 万文を構文解析し、接続詞で分割し、200万文の 内、分割された英語節のみを英語側の節単位のデー タとし、それらを全てべースラインで日本語節に翻訳することで作成した。分割された英語節と翻訳に よって得られた日本語節の対訳節の数は約は 190 万 となった。構文解析には spaCy [14]を利用した。接続詞で分割される英文は次の例のようになる。

I don't like studying math, but / I like studying English.

提案手法の手順 3 と 5 における節対訳データの日本語節と並べ替えと編集のモデルの入力データの日本語節を生成する際のベースラインと節翻訳モデル

図 2: 参照文に対するモデルの出力文の長さ比が 2 以上となった数

のビームサーチのサイズはどちらも 4 とし、評価の 際のビームサイズも 4 とした。

## 4.2 実験結果

表 2 はベースライン、提案手法の入力トーク ン長ごとの BLEUを示している。表 2 から分かる ように、提案手法はべースラインに比べて全体 としての BLEU が 0.8 ポイント低かった。表 3 は BERTScore[15] による評価結果で、表 2BLEU に比べ て差が小さいと言えるが提案手法はベースラインを 上回れなかった。

一方、ハルシネーションや繰り返しの影響を明ら かにするため、参照文のモデルの出力文の長さ比 が大きい事例数を調べた結果を図 2 に示す。特に 長さ比が 3 以上となるような極端に長い翻訳出力 がベースラインでは 67 文、提案手法では 33 文と 半減し、ratio の平均土標準偏差はベースラインで $1.035 \pm 0.360$ 、提案手法で $1.017 \pm 0.339$ になる等、提
表 4: 提案手法によるハルシネーションの改善例

## 入力文

Original Evaluation of the Stratum Corneum Exfoliated by Tape Stripping Method (Part2) - Seasonal and age-related differences of exfoliated pattern ...

## 参照文

原著角層剥離パターンによる角層評価 (第 2 報)一季節変化と年代差について一...

## ベースライン

テープストライプ法によるストラトムコネム浸潤の才 リジナル評価 (第 2 部)一浸潤パターンの季節と年齢関係の差 ... テープストライプ法によるストラトムコネム 浸潤の Original Evaluation of Stratum Corneum Exfoliated by Tape Stripping Method (Part2)一浸潤パターンの季節と 年齢関係の差 ...

## 提案手法

テープストリップ法によるストラトム角膜剥離のオリ ジナル評価 (パート 2) 一季節と年齢に関わる剥離パター ンの違い

案手法により過剰な長さの訳出が抑制できているこ とが分かり、ハルシネーションや繰り返しが減少し ていることが示唆される (出力単語数の散布図を付録の図 3 に示す)。実際にベースラインと提案手法 の翻訳結果を確認すると、ベースラインにおいてハ ルシネーションや繰り返しが起きていた文を提案手法では適切に翻訳できている例が確認できた（表 4 に例を示す)。

## 4.3 考察

提案手法の BLEU がベースラインより低下して しまった原因として、提案手法における節翻訳モデ ルの性能が低いことが考えられる。文単位のベース ライン翻訳モデルと節翻訳モデルにより文単位の 翻訳を行ったときのトークン長ごとの BLEUを表 5 に示す。節翻訳モデルは分割された節を適切に翻訳 し、節翻訳の精度を向上させる目的で作成した。し かし、ベースラインと比較して BLEU が 3.9 ポイン ト低いことから、節翻訳の段階で質の低い訳出文を 生成してしまい、並べ替えと編集のモデルの最終的 な出力文の質が低下した可能性がある。

さらなる比較のため、提案手法における節翻訳モ デルをベースラインのモデルに差し替え分割統治型翻訳を行った。その結果を表 6 に示す。表 5 から分 かるように、提案手法における節翻訳モデルをべー スラインのモデルに差し替えた場合、全体として BLEU が 2.6 ポイント低下した。これは、提案手法 の節翻訳での利用において本稿の節翻訳モデルが ベースラインよりも有効であったことを示唆してい表 5: 節翻訳モデルの入力トークン長ごとの BLEU

表 6: 節翻訳モデルをベースラインに差し替えた際 の入力トークン長ごとの BLEU

表 7: ベースラインが節翻訳の際にハルシネーショ ンを起こした例

## 入力文

The US is likewise bankrupt but

出力文

米国は同様に破産していますが、米国は同様に破産し ています。

る。表 5 で示した通り BLEU が 3.9 ポイント低いに もかかわらずこのような結果になった原因として、 ベースラインは文単位のコーパスで学習されている ため、分割された節を翻訳する際に分割によって失 われた節の前後の文を勝手に補おうとしたことが考 えられる。その具体例を表 7 に示す。こうした事象 により、節翻訳にベースラインモデルを利用した場合に重複やハルシネーションが生じ、最終的な出力 の質が低下することが考えられる。

## 5 おわりに

本稿では、ニューラル機械翻訳による分割統治的手法において、節単位疑似対訳と、後段の並べ替え と編集のモデルに事前学習モデル mBART を利用す る手法を提案した。提案手法は BLEUではベースラ インを下回る結果となったが、ハルシネーションや を起こしていた文を提案手法では適切に翻訳できて いた例が確認できた。

本稿の手法では、節翻訳後の節の並べ替えと編集 の工程において、[1] で利用されていた Transformer を事前学習モデルの mBARTに置き換えることで並 べ替えと編集の精度の改善を試みたが、精度面での 効果は確認できなかった。文全体のコンテキストの 情報やセグメント同士の関係性を考慮した節翻訳結果の並べ替えと編集が改善に向けた課題である。ま た、今回作成した節翻訳モデルは疑似的な節単位の 対訳データで学習されたモデルであるため、節翻訳 モデルの精度は改善の余地があると考えられる。

## 謝辞

本研究の一部は科研費 $21 H 03500$ と 21 H05054 の 助成を受けたものです。

## 参考文献

[1] 加納保昌, 須藤克仁, 中村哲. 分割統治的ニューラル 機械翻訳. 言語処理学会 第 27 回年次大会 発表論文集., 2021.

[2] Ziwei Ji, Nayeon Lee, Rita Frieske, Tiezheng Yu, Dan Su, Yan Xu, Etsuko Ishii, Yejin Bang, Wenliang Dai, Andrea Madotto, and Pascale Fung. Multilingual Denoising Pre-training for Neural Machine Translation. arXiv:2202.03629, 2022.

[3] K. Sudoh, K. Duh, H. Tsukada, T. Hirao, and M. Nagata. Divide and translate: improving long distance reordering in statistical machine translation. In Proceedings of the Joint 5th Workshop on Statistical Machine Translation and Met- ricsMATR(SMT '10), p. 418-427, 2010.

[4] Jean Pouget-Abadie, Dzmitry Bahdanau, Bart van Merrien-boer, Kyunghyun Cho, and Yoshua Bengio. Overcoming the curse of sentence length for neural machine translation using automatic segmentation. In Proceedings of SSST-8 Elighth Workhop on Syntax Semantics and Structure in Statistical Translation, p. 78-85, 2014

[5] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, and Aidan N. Gomez Llion Jones, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in Neural Information Processing Systems., pp. 5998-6008, 2017.

[6] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising sequence-to-sequence pretraining for natural language generation, translation, and comprehension. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, p. 7871-788, 2020.

[7] Yinhan Liu, Jiatao Gu, Naman Goyal, Xian Li, Sergey Edunov, Marjan Ghazvininejad, Mike Lewis, and Luke Zettlemoyer. Multilingual Denoising Pre-training for Neural Machine Translation. arXiv:2001.08210, 2020.

[8] 岡崎直観, 荒瀬由紀, 鈴木潤, 宮尾裕介, 鶴岡慶雅. 自然言語処理の基礎. オーム社, 2022.

[9] Makoto Morishita, Jun Suzuki, and Masaaki Nagata. JParaCrawl: A large scale web-based English-Japanese parallel corpus. In Proceedings of The 12th Language Resources and Evaluation Conference, pp. 36033609, Marseille, France, May 2020. European Language Resources Association.

[10] Taku Kudo. Mecab : Yet another part-of-speech and morpho- logical analyzer., 2006. https://taku910. github.io/mecab/.

[11] Matt Post. A call for clarity in reporting bleu scores. arXiv:1804.08771, 2018.

[12] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A fast, extensible toolkit for sequence modeling. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (Demonstrations), pp. 48-53, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[13] Yinhan Liu, Jiatao Gu, Naman Goyal, Xian Li, Sergey Edunov, Marjan Ghazvininejad, Mike Lewis, and Luke Zettlemoyer. Multilingual denoising pre-training for neural machine translation. 2020.

[14] Matthew Honnibal and Ines Montani. spaCy 2: Natural language understanding with Bloom embeddings, convolutional neural networks and incremental parsing. To appear, 2017.

[15] Tianyi Zhang, Varsha Kishore, Felix Wu, Kilian Q. Weinberger, and Yoav Artzi. Bertscore: Evaluating text generation with bert. In International Conference on Learning Representations, 2020.

## A 付録

表 8: ベースラインと提案手法の出力例

ハルシネーション

入力文

Djiboutian Honorary Consulate in Montreal, Canada usacan i have a djiboutienne visa plsssssssssssssssssssssssssss, i will like to see my country. Post a comment on this page We invite you to share your experiences with the Djiboutian Honorary Consulate obtaining visas and other services, locating the building, and so on.

## 参照文

この手法はカナダのオイルサンド産出地域の観測データに適用し、成功しています。

ベースライン

モントリオール, カナダのドジブティアン名誉領事館このウェブサイトは名誉領事館により運営されているものでは なく、あなたの意見や質問が必ずしもそちらの職員により確認されるというわけではありません。こちらはドジブ ティアンの外交政策について幅広い討論をするフォーラムではないことにご注意ください。そのような話題は削除さ れます。

## 提案手法

Montreal, カナダの Djiboutian 名誉領事館 usacan 私は djiboutienne ビザ plssssssssssssssssssssssss を持っています,私は私の 国を訪問したい.このページにコメントを投稿私たちは、Djiboutian 名誉領事館であなたの経験を共有することをお勧 めしますービザやその他のサービス、建物の検索など.

繰り返し

## 入力文

So this is Kinomoto Sakura?

## 参照文

「で、こちらが木之本桜さん?」「はい、そうです、国王陛下。

## ベースライン

「さあ、さくらさくら?」「そう、さくらさくらは?」「さくらさくらは、さくらさくらは、さくらさくらは、さくらさ くらは、さくらさくらは、さくらさくらは、さくらさくらは、さくらさくらは、さくらさくらは、さくらさくらは、さ くらさくらさくらは、さくらさくらさくらは、さくらさくらさく

## 提案手法

「これは木本さくらですか?」

(a) ベースライン

(b) 提案手法

図 3: 参照文の単語数に対する出力文の単語数


# Filtering of a Web-Crawled Corpus to Achieve a Strong MT Model: a Case Study on the Japanese-Bulgarian Language Pair

Iglika Nikolova-Stoupak Shuichiro Shimizu Chenhui Chu Sadao Kurohashi
Graduate School of Informatics, Kyoto University
\{iglika,sshimizu, chu,kuro\}@nlp.ist.i.kyoto-u.ac.jp
}

\begin{abstract}
This paper considers a low-resource language pair (Japanese-Bulgarian), whose largest corpus currently available is CCMatrix (4.1M parallel sentences). Unfortunately, due to the imperfect web-crawling process in which the corpus is assembled, MT models directly trained on it do not provide optimal results without further work. This paper seeks to train MT models on a portion of CCMatrix that provide a compromise between size and performance. Two main filtering criteria are utilised in the process: the original margin score that has been used to assemble CCMatrix and a score based on the application of a successful classifier model as presented by [1] for a related WMT shared task. The BLEU scores achieved by several derived models are promising.
\end{abstract
## 1 Introduction

## 1.1 Low-Resource Language Pairs

Low-resource language pairs currently present a major challenge to natural language processing and specifically machine translation (MT). As Dabre et al. [2] illustrate, several techniques have been developing in parallel in attempts to improve the performance of MT models involving such languages. For instance, transfer learning consists in training a "parent" model on a higher-resourced language pair and applying the ensuing embeddings to the original model instead of resorting to random initialisation. Another method, zero-shot translation, involves training the encoder on a number of languages that permits eventual translation among language pairs that the model has not explicitly encountered beforehand [3]. Another line of experiments dealing with the problem of under-resourced languages relates to dataset creation, which in turn can be automated to different degrees. With web-crawling, predefined portions of the web are scanned in search of parallel text. In this manner, OPUS [4] has assembled corpora in a number of language pairs, including the one discussed herein. For instance, WikiMatrix is obtained through exclusive crawling of Wikipedia pages, whilst CCMatrix involves broad portions of the web [5]. In both cases, the cosine-distance-based "margin" metric is applied in the comparison of LASER ${ }^{1)}$ sentence embeddings.

## 1.2 Corpus Filtering

CCMatrix, the largest corpus in the Japanese-Bulgarian language pair currently available (4.1M parallel sentences), is the focus of this research. If trained directly on the corpus, a state-of-the-art MT model is far from achieving optimal performance due to the abundance of noise that is typical to automatically crawled corpora [6].

Between 2018 and 2020, WMT introduced shared tasks that aimed at the filtering of large noisy corpora. Participants were asked to provide scores for each sentence pair in the provided corpus, allowing for solely the highestscoring pairs to be used in the training of MT models. In this paper, one of the most successful models issuing from the task, Acarcicek et al. [1], is utilised to provide an additional score to the afore-mentioned margin one. Following preprocessing of the corpus based on heuristic rules, the two scores are tested separately as well as in different combinations in order to train optimal Transformer MT models in terms of both achieved BLEU score and training size. The highest BLEU score in the Japanese-Bulgarian direction (43.40) comes from a model trained on $500 \mathrm{k}$ parallel sentences based on the margin metric. A compact model of $200 \mathrm{k}$ parallel sentences, based on a combination of the margin and classifier scores, has a comparable result of

42.82. The best model in the Bulgarian-Japanese direction, also based on a combined metric and trained on $200 \mathrm{k}$ sentences, has a score of 40.77 .

This paper extends the work of Nikolova-Stoupak et al. [7], which also applies the mentioned classifier model in the selection of high-quality parallel sentences which are then used in the training of MT models of three increasing sizes (200k, 500k, and $1 \mathrm{M}$ sentence pairs). The classifier-based models' performance comes short of that of margin-based counterparts. Therefore, further work has been required in using the classifier in the filtering process. Improvements introduced in this paper include the construction of a new classifier model, trained on the Flores-200 evaluation dataset [8], additional training sizes, a combination of the two scoring mechanisms, and the assembly of an alternative dataset for evaluation of MT models.

## 2 Related Work

WMT organised three corpus-filtering shared tasks between the years 2018 and 2020, the last two centred specifically on low-resource language pairs. A number of successful projects were produced and, in particular, classifiers were utilised in several discrete ways. For instance, Sánchez-Cartagena [9] applied the classification tool Bicleaner to the provided noisy corpus, achieving an estimation of the parallelism of each original sentence pair. Acarcicek et al.'s [1] model, which is used in this paper, involves a classifier ("proxy-filter"), which is placed on top of a multilingual RoBERTa-Large model [10] and relies on "fuzzy (approximate) string matching" to select challenging negative examples of sentence parallelism.

## 3 Noise in CCMatrix

As recounted in [7], noise in the investigated corpus comes in a variety of forms, including mismatched numbers and dates, redundancy, lack of parallelism in meaning and machine-translated text. Importantly, the assembly of an evaluation dataset to score the derived MT models (described in section 5.1) has motivated additional observations concerning the types of noise that are still persistent in highly scoring sentences according to marginand classifier-based filtering. Complete lack of correspondence within margin-derived sentence pairs is not uncommon. Automatically translated text is often observed and is typically reflected in mistakes in grammar, style and the use of gender and number in Bulgarian sentences. The highest scoring classifier-based sentences are in their vast majority parallel in terms of general meaning. Machinetranslated text is, although less common than in the case of margin-based sentences, still present.

## 4 Methodology

Please refer to figure 1 for an overview of the full filtering process.

## 4.1 Preprocessing

The pipeline of initial preprocessing is identical to the one described in [7]. This stage provides an opportunity to consider the specificities of the two investigated languages; for instance, at determining the acceptable proportions between the sentences in a pair. Such an emphasis is not found in WMT's shared tasks as languages are selected solely based on the relative availability of associated corpora. Consequently, many models, including the regarded one by [1], do not involve a preprocessing stage based on heuristic rules.

## 4.2 Filtering Criteria

## 4.2.1 Margin Scores

The margin score that readily comes with the CCMatrix corpus as result of the web-crawling process is used in subsequent experiments with subcorpora selection in isolation or in addition to the score derived following application of [1]'s classifier model. The margin between a pair of sentences equals the ratio between their cosine distance and the cosine distances with their nearest neighbours in both directions in terms of LASER representations [5].

## 4.2.2 Proxy-Filter Classifier

As described in [7], the main reasons behind the selection of [1]'s model include its high performance, reproducibility and use of state-of-the-art neural translation models. In its quest for negative examples, the classifier selects sentences that are close to the correct translation of the source sentence in terms of Levenshtein distance. Ultimately, each original sentence pair receives a score denoting the estimated probability of it being parallel.

Figure 1 Broad pipeline of the presented work.

## 4.3 MT Models

Once the CCMatrix corpus is filtered and training sets of different sizes assembled, Transformer MT models are trained on them. The Transformer, a state-of-the-art model whose main strength is a reliance on attention mechanisms without the need for recurrence, is opted for due to its simplicity and high translation results [11].

## 5 Experiments

## 5.1 Data

This paper pertains to the cleaning of the CCMatrix corpus in the Japanese-Bulgarian language pair, whose original size is $4.1 \mathrm{M}$ parallel sentences. After the corpus is preprocessed as per section 4.1 , its size is reduced to $2.5 \mathrm{M}$ sentences.

The evaluation dataset used for the MT models (divided into equal-sized test and validation sets) consists of $1 \mathrm{k}$ sentence pairs taken from the original CCMatrix corpus. Half of them are taken at random from the top-scoring 10k sentences based on the margin metric, and the other half are a classifier-based counterpart. In this way, a bias for a particular filtering method is avoided. In addition, the sentences are manually edited in order to ensure their quality.

In [7], the "proxy-filter" classifier is trained on OPUS's Open Subtitles corpus. However, due to its significantly more limited domain and register than CCMatrix, it has been replaced with Flores-200 [3]. This multilingual and rigorously assembled dataset is based on a variety of Wikipedia pages and has undergone professional human translation followed by several manual checks, thus providing both much higher relevance to the task at hand and higher overall quality. On the negative side, the dataset is meant for use in the evaluation of trained MT models and is therefore limited in size ( $1 \mathrm{k}$ parallel sentences). In contrast, Acarcicek et al. [1] explicitly state that their model has optimal quality when trained on a minimum of $2 \mathrm{k}$ sentence pairs.

## 5.2 Application of Scores

The presented translation models differ in terms of the size of training data as well as the ways in which they have been filtered from the original CCMatrix corpus. Like in [7], three main dataset sizes are considered: 200k, 500k and $1 \mathrm{M}$ sentence pairs. In addition, an alternative sizing is introduced that is based on the number of tokens following tokenization with sentencepiece ${ }^{2)}$ (see Appendix A).

Combinations of the two described metrics have also been sought in order to optimise performance. The newlyintroduced "margin-classifier" score is derived through averaging of the two scores, preceded by min-max normalisation. An additional experiment is carried out with doubling the weight of the margin-based score.

## 5.3 Translation Models

Once supcorpora of CCMatrix are selected based on classifier scores (please refer to Appendix B for a detailed description of the classifier model and the derived scores), Transformer models are trained on them. In addition, in order to provide a bigger picture of the impact filtering mechanisms and training sizes have on MT, models are

Table 1 Performance of the full vs preprocessed CCMatrix corpus, JA to BG

Table 2 BLEU scores for each filtering method for the three subcorpus sizes based on number of sentences, JA to BG

also trained on the full CCMatrix corpus and on the corpus following the preprocessing stage. All models are evaluated with the dataset described in 5.1 and the derived BLEU scores are juxtaposed.

The original idea behind the project is to investigate translation from Japanese to Bulgarian, as the latter language is the lower-resourced one and such a translation system would allow for direct translation into it of unique content originally composed in the Japanese language. However, for purposes of comparison and further insight into the work of the trained MT models, the opposite direction is also experimented with.

## 6 Results

## 6.1 Without Filtering

Comparing the BLEU scores achieved by MT models trained on the full vs the preprocessed CCMatrix corpus (Table 1) reveals that the preprocessing stage has caused a significant improvement while largely reducing the training size.

## 6.2 Following Filtering

As can be observed in Table 2, MT performance can be further improved following filtering of the preprocessed CCMatrix corpus. The most successful model, with a BLEU score of 43.40 , is trained on $500 \mathrm{k}$ parallel sentences as filtered based on the margin metric. Overall, marginbased models achieve the highest results. The ones that follow are based on the 1:1 margin-classifier metric; notably, achieving a promising high-scoring compact model of 200k sentence pairs (BLEU 42.82). Like in the case of
Table 3 BLEU scores for each filtering method for the three subcorpus sizes based on number of sentences, BG to JA

[7], last come the classifier-based models, whose weaker performance is not overcome despite the use of the more appropriate Flores-200 dataset to train the underlying classifier model. It is possible that overfitting is produced.

Going back to the results achieved by [7], the strongest one of which is 28.49 and comes from the $1 \mathrm{M}$ marginbased model, one can witness a large general increase of scores. In the case of margin-based models, a training size limit has now been reached, leading the 500k-sentence model to score higher than the 1M-sentence one.

## 6.3 Bulgarian-Japanese Direction

In the Bulgarian to Japanese translation direction, the best models are once again the margin- and marginclassifier-based (1:1) ones (Table 3), notably the latter outperforming the former. It can also be noticed that models using the strongest selection methods perform better in their more compact training sizes.

## 7 Conclusion and Future Work

This paper presents the training of MT models based on portions of the large but noisy CCMatrix corpus in the under-resourced Japanese-Bulgarian language pair. Filtering is based on the margin metric using which the corpus is web-crawled as well as on scores provided by a classifier model following the work of [1]. MT performance is significantly improved as compared with that of the full CCMatrix model as well as of a smaller version based on preprocessing with heuristic rules. The strongest model in the Japanese to Bulgarian direction (BLEU 43.40) is based on margin distance and is trained on 500k sentence pairs. In the opposite direction, best scoring is the model trained on 200k sentence pairs based on averaging of the two metrics. Future improvements of the filtering process to address the prevalence of machine-translated text may include sentence pre-ordering and the explicit inclusion of morphological information along with sentences.

## Acknowledgements

This work was supported by Samsung, SDS.

## References

[1] Haluk Açarçiçek, Talha Çolakoğlu, Pınar Ece Aktan Hatipoğlu, Chong Hsuan Huang, and Wei Peng. Filtering noisy parallel corpus using transformers with proxy task learning. In Proceedings of the Fifth Conference on Machine Translation, pp. 940-946, Online, November 2020. Association for Computational Linguistics.

[2] Raj Dabre, Chenhui Chu, and Anoop Kunchukuttan. A survey of multilingual neural machine translation. ACM Comput. Surv., Vol. 53, No. 5, sep 2020.

[3] Naman Goyal, Cynthia Gao, Vishrav Chaudhary, PengJen Chen, Guillaume Wenzek, Da Ju, Sanjana Krishnan, Marc'Aurelio Ranzato, Francisco Guzman, and Angela Fan. The flores-101 evaluation benchmark for low-resource and multilingual machine translation, 2021.

[4] Jörg Tiedemann. Parallel data, tools and interfaces in OPUS. In Proceedings of the Eighth International Conference on Language Resources and Evaluation (LREC'12), pp. 2214-2218, Istanbul, Turkey, May 2012. European Language Resources Association (ELRA).

[5] Holger Schwenk, Guillaume Wenzek, Sergey Edunov, Edouard Grave, Armand Joulin, and Angela Fan. CCMatrix: Mining billions of high-quality parallel sentences on the web. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 6490-6500, Online, August 2021. Association for Computational Linguistics.

[6] Roland Schäfer, Adrien Barbaresi, and Felix Bildhauer. Focused web corpus crawling. 042014.

[7] Iglika Nikolova-Stoupak, Shuichiro Shimizu, Chenhui Chu, and Sadao Kurohashi. Filtering of noisy web-crawled parallel corpus: the Japanese-Bulgarian language pair. In Proceedings of the 5th International Conference on Computational Linguistics in Bulgaria (CLIB 2022), pp. 39-48, Sofia, Bulgaria, September 2022. Department of Computational Linguistics, IBL - BAS.

[8] Alexandre Magueresse, Vincent Carles, and Evan Heetderks. Low-resource languages: A review of past work and future challenges, 2020.

[9] Víctor M. Sánchez-Cartagena, Marta Bañón, Sergio OrtizRojas, and Gema Ramírez. Prompsit's submission to WMT 2018 parallel corpus filtering shared task. In Proceedings of the Third Conference on Machine Translation: Shared Task Papers, pp. 955-962, Belgium, Brussels, October 2018. Association for Computational Linguistics.

[10] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach, 2019.

[11] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob
Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need, 2017.

Table 4 The hyperparameters used in the grid search for the optimal "proxy-filter" classifier model

Table 5 BLEU scores for each filtering method for the three token-based subcorpus sizes, JA to BG

## A Token-Based Training Sizes

In one set of experiments, the number of tokens in random and classifier-based models is deliberately made to match the one in the three main sizes of margin-based models. The reason behind this experiment lies in the perceived and consequently proven via statistical analysis significant difference between sentence sizes associated with the different filtering methods. Whilst the margin score favours sentences that are longer than the CCMatrix corpus's average sentence size, the classifier model strongly prefers short sentences.

The results deriving from token-size-based experiments are recorded in Table 5. Note that the margin-based results are identical to the ones presented in Table 4, as the 200k-, 500k- and 1M-sentence sizes of margin-based models are used to generate random and classifier-based models of the same token sizes. As expected, performance of the random and classifier-based models is increased with the increase of training size. The only exception is the largest random model, whose performance (BLEU 37.07) is lower than that achieved with the slightly smaller sentence-based model (37.36). This observation implies that a limit has been reached for the size of random-based models, too.

## B Classifier Model

The particular classifier model to be applied in the filtering of CCMatrix is selected following grid searching, as in [7]. Based on previous results, the range of hyperparameters is slightly modified in the following way: the number of training epochs is increased to include 10, positive oversampling is slightly reduced and a decision is made to retain the possibility for a fuzzy max score equal to 100 (i.e. high similarity between sentences is not discouraged as the Flores-200 dataset is free or redundancy). Table 4 shows the content of the grid search as well as the definitions of project-specific hyperparameters. The models are trained on a single TITAN RTX GPU.

Despite the limited data classifier models were trained on, the highest scoring model based on the grid search achieved a surprisingly high F1 score of 0.95 . In contrast, its counterpart in [7], achieved an F1 score of 0.58 . The model was trained for 5 epochs with negative random sampling of 2 and positive oversampling of 5, a proportion common to the highest-scoring models. The model' $\mathrm{s}$ fuzzy ratio is 2 , and the fuzzy max score is 100 .

After the winning classifier model is applied to the preprocessed CCMatrix corpus, each sentence pair receives a score representing the certainty of the two sentences being mutual translations. The values of the derived scores range between 0.0563 and 0.9996 , the median coming at 0.9992 .


# 日本語意見分析コーパスの構築に向けた アスペクト情報の特徵分析

村上浩司 ${ }^{1,2}$ 中山 祐輝 ${ }^{2}$ Ikuko Hardaway ${ }^{1}$
${ }^{1}$ Rakuten Institute of Technology, Rakuten USA
2 楽天技術研究所 楽天グループ株式会社
\{koji .murakami , yuki.b. , ikuko. hardaway\}@rakuten.com

## 概要

我々はアスペクト情報を考慮した日本語意見分析 コーパスを構築してきた. 文中に存在するアスペク 卜表現を抽出するため，それらの認定に関してはそ の範囲の決定や対象表現の選別など，作業を進める 上で考慮すべき点が多数ある．本論文ではアスペク ト表現と評価表現について定義を行い，実際の小規模のアノテーション作業で明らかになった課題につ いて整理すると共に，現状のコーパスを利用したア スペクト表現抽出の予備実験を行った。

## 1 はじめに

近年，製品に対するカスタマーレビューやツイー トなどの意見を表現するテキストの分析の重要性 が増している．文を対象とした肯定・否定の極性判定だけではなく，さらに具体的な情報を利用するこ とで顧客の意図や要望を特定し利用することが求 められている。例えばあるホテルの朝食について，「朝食の味噌汁は冷めていた」から「評価対象＝朝食, 属性 $=$ 品質, 評価表現 $($ 極性 $)=$ 冷めていた（否定)」のような情報を抽出することで，文全体が否定であるという文の極性判定だけでは見えてこない 業務の問題点などが明確化する.

そのためには評価極性だけではなく，評価対象，属性といったアスペクト情報を考慮した意見分析 (Aspect-Based Sentiment Analysis: ABSA) が重要 であり $[1,2,3,4,5]$ ，タスクを進める上でそれらの 情報が付与されたコーパスが必須である. 英語の データセットはこれまでに多く開発され，そのう ち SemEvalで行われた ABSA タスクの評価コーパス $[6,7,8]$ や MAMS[2] などが幅広く使われている.日本語では NTCIR 多言語意見分析コーパス ${ }^{11}$ や

TSUKUBAコーパス2)などウェブ上で入手できるも のがいくつかあるが，これらはアスペクト情報を考慮しない意見分析に特化している $[9,10,11,12]$.

新里ら [1] は，楽天市場の店舗レビューを“配送”, “梱包”などのアスペクトカテゴリとその極性カテゴ リに分類する手法を提案したが，実験で用いられた コーパスは非公開である。栗原ら [13] は，ドメイン を限定しない Twitterによる評判分析を目的とした 評価対象と評価表現を抽出するための日本語 ABSA データセット3)を構築した。論文化されてはいない ものの，アスペクトカテゴリとその極性の評価に対応しているコーパスとして，上場企業の決算報告書 をドメインとした chABSA-dataset ${ }^{4}$ がある.

意見分析タスクは文の評価対象などのアスペクト 情報などを扱う方向性とは別に，極性の強さや感情 の種類，意見の立場なども注目されており，近年こ うした種類の情報を付与したコーパスも構築されて いる $[14,15]$.

我々はアスペクト情報を考慮した日本語意見分析 コーパスを構築してきた $[17,16]$. このコーパスは 楽天トラベル5)の施設に対するユーザレビュー中の 各文に対しアスペクトカテゴリ及びその評価極性 の付与作業を行ったものである．本論文では現状の コーパスを拡張しアスペクト表現および評価表現を 付与を目的として，そのために必要なコーパス設計 と事例分析について述べる。具体的には抽出する情報の定義を行い，“朝食”が対象になる文を対象に先行して行ったアノテーション作業から，議論が必要 な事例の分析と作業の方針を策定する。また，作業済みの文を対象にした 2 種類の ABSA 手法による予備抽出実験を行い，その結果から事例の特徵を分析

表 1 アスペクト表現と評価極性に関しての SemEval との比較

することでコーパスの性質について考察する.

## 2 コーパスの設計と構築

これまでに構築した日本語意見分析コーパス $[17,16]$ を拡張し，アスペクト表現と評価表現を付与する。ここではアスペクト表現，評価表現の扱い と定義，作業方針について述べる。

## 2.1 アスペクト表現・評価表現の取り扱い

アスペクト表現は 2014 年の SemEval サブタスク (1)[6] において認識対象とされた. 固有名詞，一般名詞，それらの複合名詞が認識すべきアスペクト 表現となった。またアスペクト表現のクラス（レ ストランドメインでは，“食べ物”，“サービス”，“值段”などを予め定義）をアスペクトカテゴリとし た. 2015 年，2016 年においてはアスペクト表現は 直接の抽出対象とはなっておらず，アスペクトカテ ゴリの定義が変更された. 新しいアスペクトカテゴ リはエンティティ (E) とその属性 (A) の組み合わせ “E\#A"で定義され，このアスペクトカテゴリとその 極性認識がタスクとなった．EとＡは予め定義され たエンティティタイプおよび属性ラベルからそれぞ れ選択される。そしてさらに，エンティティの実体 を指す表現 (OTE:Opinion Target Expressions) の抽出 もタスクとなっている。また，SemEval においては 一貫して評価表現の抽出については行っておらず， アスペクトカテゴリを同定する上で間接的に評価表現やその極性が利用されていると考えられる。

しかしながらこうした SemEval のタスク設定で は，書き手が「どんな種類のことについてどういう 態度で言及したか」は判定できるものの，具体的に 何についてどんな表現で満足・不満足を示している かわからないことから，さらに我々は記載される実際のアスペクトを示す表現と評価表現の抽出を考 える必要がある. SemEval で抽出対象となった情報 と，我々が抽出したい情報の比較を表 1 に示す。抽出したい情報の種類も異なるが，我々はアスペクト 表現に関しては SemEval のように名詞に限定しない ことも違いである.

## 2.2 エンティティと属性，評価表現の定義

SemEval で取り扱うエンティティ (E) と属性 (A) は，小林ら [18] の意見分析抽出で用いられている 3 つ組〈対象，属性，評価値〉のうちの “対象”と “属性”と同様である．小林らの定義では，対象は「対象となっている商品名，サービス名」，属性は「意見 で述べられる対象の部分や性質」，評価表現は「対象もしくは属性の質や量についての評価者の好悪を 示す態度」となっている。

我々は対象 (=エンティティ)を，これまで扱って きた 7 種類のアスペクトのトピック（朝食，夕食,立地，サービス，風呂，部屋，設備・アメニティ） を示す表現と定義する。朝食の場合であれば朝食を 示す “朝飯”，“ブレックファスト”などの表現，もし くは具体的なメニューである “フレンチトースト” や“クロワッサン”などである．また，属性と評価表現は小林らの定義をそのまま利用する。

## 2.3 アノテーションの基本方針

作業を行うデータには，上で述べたアスペクトの トピックと評価極性が付与されてあることから，こ れら 2 つの情報が付与してある文を対象に，象 $(\mathrm{E})$ ，属性 $(\mathrm{A})$ ，評価表現 $(\mathrm{P})>$ の 3 つ組の同定を 行う．具体例を示す.

・朝ごはんは美味しかった.〈朝ごはん，NULL，美味しかった〉

・朝ごはんで食べた味噌汁の風味は最高でした。〈味噌汁，風味，最高〉

対象と属性は，レビュー内で明示的に書かれない 場合がありその時は “NULL”とする。また，評価表現が属性を含む場合がある．例えば“美味しい”と いえば味，“高い”といえば値段といった属性を示 すが，文中には存在しないため属性は NULL のま まにする。また，着目する文中の対象または属性が NULL の場合に，レビュー内の着目文の前文に指し 示す表現がある場合，ゼロ照応問題として，“NULL （実体）”という形式で記述することとする.

## 2.4 アノテーションの課題

実際に“朝食”に関してのレビュー文へのアノ テーション作業を全体 [16] の 5 \%程度に対し先行し て行った. 前節で定義した対象，属性，評価表現は 全ての文で容易に作業できる形で出現するとは限ら ない. 作業した 789 文には肯定評価が 694 文，否定評価は 115 文， 20 文に肯定否定の両方の極性が含ま れていた。そのうち肯定評価文には 58 文，否定評価文には 14 文，それぞれ作業が難しい事例が含ま れていた. これらの作業の難しい文を分析すること でいくかの課題に分類された. 代表的な課題につい て事例とともに説明する。

## 2.4.1 属性相当を表現する節

属性は“（対象）の（属性）”という形で出現す るのが典型的なパタンである。例えば“（朝食）の (地元食材)"といった形式である. しかしながら， “地元食材で作られた朝食” のような連体節で出現す る場合や，上の例のような節を伴って出現する場合 もある。また，節は下の例のように理由節が出現す ることあるが，属性を含む場合とそうでない場合が ある. アノテーションでは, 属性の有無に着目して 作業する必要がある. 属性の種類は予め決めること ができないので作業に伴い拡充することになる.
- 朝食も，地元の食材を使ってあり，美味しく頂 きました.
- 朝食の量も自分に合わせて食べられるので良 かったです.

・食事は郷土料理が出てきたので, 凄く良かった.

## 2.4.2 特殊な評価表現

評価者の態度を示す評価表現は評価極性を持つ述語で示されることが多いが，記号や数字で表現され る場合がある。こうした数字や記号は述語ではない ものの, 評価者の態度を示すことから評価表現とし て扱うこととする.

また，極性を持たない名詞に存在を表す動詞 “あ る・いる”もしくは形容詞 “ない”が続く場合に評価表現と考えられる場合があった. 存在を表す動詞 は，評価表現の定義である “評価者の態度” を直接表さないものの，属性の表現との組み合わせの場合 は評価表現として扱う。

・朝食はさすが！の一言です.
・しかし，料理の味は2でした。

・特に朝食は力を入れているだけあって.

・少量といいつつ，しっかりと量がありました!

## 2.4.3 間接評価, 比較評価

ユーザの意見は必ずしも対象の属性について述べ られずに，間接的な表現や他者との比較で肯定，否定を表す事例があった。これらは 3 つ組で捉えられ ないため，例外として考慮する必要がある。

・朝食は，無料のレベルではない.

・もうけがないのではないかと心配したくらい です.

・朝食は，あれで 1500 円以上払う気はしないで すねい.

・朝食のバイキングは温泉旅館のものより数段上.

## 2.4.4 願望・提案・条件

レビュー文の中には，対象，属性，評価表現を含 むものの，それらが条件付きであったり，「〜はず だった」のような事実に対する意見ではない表現が ある.ここではこうした文には作業を行わないこと とする.

・あれもこれも食べればよかったと後悔してい ます。

・トマトジュースがあればもっと嬉しかった かな.

・ホントに美味しいものを少しずつ楽しみたい世代には至高の幸せです.

表 2 実験結果

## 3 予備実験

アスペクト表現の抽出タスクを BIO チャンキン グとして定式化し, 評価コーパスの性質を実験に よって分析した. 2.3 節で説明した作業方針を踏襲 し，6,012 文に対して追加のアノテーションを行い, 4,761 文を学習データ，1,251 文をテストデータとし て用いた. 抽出手法として，固有表現抽出タスクで 近年頻繁に使用されている BERT-CRF [19] を用い
表 3 出力結果の例

 & & 生きたアワビの酒蒸し\} \\

た.また，アスペクト表現抽出の既存手法からは， コードが公開されているかつ 2021 年 11 月現在で最高値を達成した DILBERT [20]を選択した. 各手法 の詳細を以下に示す。

BERT-CRF アスペクトカテゴリなどのアスペク ト情報は入力として与えず，トークナイズした入力系列を [CLS] トークンと [SEP] トークンで挟んだ 系列をモデルの入力とした. BERTの事前学習モデ ルは, 東北大学が提供している BERT-base ${ }^{6)}$ (以降, BERT $_{B}$-CRF) と BERT-large ${ }^{7}$ (以降， BERT ${ }_{L}$-CRF) の 2 種類を用いた.

DILBERT DILBERT は，ドメイン適応のための 事前学習手法であり，アスペクトカテゴリベースの マスク言語モデルタスク（以下，CMLM）とアスペ クトカテゴリ予測タスクの二つからなる。標準的な マスク言語モデルは，マスクされる語がランダムに 選択されるのに対して，CMLM はアスペクトカテ ゴリに類似した語にマスクするという特徴がある。 これにより，アスペクトと思われる表現に注意が向 けられることで，標準的な事前学習手法よりもアス ペクト抽出タスクにおいて優れた結果を達成したと いう報告がある. 本実験では， Nakayama ら [16] の7 種類のアスペクトのトピックを DILBERT の事前学習に用いた。

表 2 に各手法の実験結果を示す. DILBERT が BERT-CRF とくらべて，優れた F1 スコアを達成し た。両手法における成功事例と失敗事例を分析する ことで，各手法の特長を分析するともに本コーパス を用いた抽出タスクの難しさを調査した。表 3 に DILBERT と BERT $_{L}$-CRF との出力例を示す. (a), (b), (c)は，DILBERT が全てのアスペクト表現の抽出に 成功したのに対して, BERT $_{L}$-CRF は一部のアスペ クト表現を取りこぼした事例である. DILBERT と $\mathrm{BERT}_{L}-\mathrm{CRF}$ 両方とも，抽出対象が「食事」や「接客」といったレビュー中に頻出する単一名詞の 表現は高確率で抽出できていた．DILBERTでは， $\mathrm{BERT}_{L}-\mathrm{CRF}$ とくらべて「ホスピタリティ」や「接客」のような「サービス」の類義語をより獲得でき る手法であることがわかった．また，DILBERT は 「蟹満喫プラン」や「生きたアワビの酒蒸し」のよう な長い系列で表現される料理名や食事プランを抽出 できるという傾向も見られた。これらは，レビュー 中の語とアスペクトカテゴリ間のベクトルの類似性 を事前学習時に考慮するため，アスペクトカテゴリ に関連する語を積極的に抽出する傾向にあったため だと考えられる。一方 (d)では，両手法とも「ぷっ くりしたホタルイカ」というアスペクト表現を抽出 できなかった。事例 (a) と (b) にそれぞれある「蟹」 や「アワビ」は学習データに含まれていたのに対し て，「ホタルイカ」は学習データに含まれず対処で きなかったことが原因だと考えられる。

## 4 おわりに

我々はこれまで，宿泊施設レビューに記述される アスペクトカテゴリと評価極性を付与した日本語 ABSA コーパスを構築してきてきた。本論文ではこ のコーパスをもとに，更に具体的なアスペクト表現 となる対象（エンティティ）とその属性および評価表現を追加付与するため，それぞれの要素の定義を 行い，アノテーションの基本方針について議論と，実データが示す課題について述べた。

また BERT-CRF および DILBERT ベースの分類器 により予備分類実験を行い，その結果からそれぞれ の分類器の処理傾向を考察して今後の課題を検討し た. 定義に従ってコーパス全体にアノテーションを 行いリリースすることが今後の課題である．構築す るコーパスは, 国立情報学研究所の情報学研究デー タレポジトリ8）（IDR）にて追加公開の予定である.

8) https://www.nii.ac.jp/dsc/idr/rakuten/

## 参考文献

[1] 新里圭司, 小山田由紀. 店舗レビューには何が書かれ ているか?一調査及び自動分類システムの開発一. 自然言語処理, Vol. 25, No. 1, pp. 57-79, 2018.

[2] Qingnan Jiang, Lei Chen, Ruifeng Xu, Xiang Ao, and Min Yang. A challenge dataset and effective models for aspect-based sentiment analysis. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 6280-6285, 2019.

[3] Ruidan He, Wee Sun Lee, Hwee Tou Ng, and Daniel Dahlmeier. An interactive multi-task learning network for end-to-end aspect-based sentiment analysis. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 504515, 2019.

[4] Minh Hieu Phan and Philip O. Ogunbona. Modelling context and syntactical features for aspect-based sentiment analysis. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 3211-3220, 2020

[5] Jiaxin Huang, Yu Meng, Fang Guo, Heng Ji, and Jiawei Han. Weakly-supervised aspect-based sentiment analysis via joint aspect-sentiment topic embedding. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 69896999, 2020.

[6] Maria Pontiki, Dimitris Galanis, John Pavlopoulos, Harris Papageorgiou, Ion Androutsopoulos, and Suresh Manandhar. SemEval-2014 task 4: Aspect based sentiment analysis. In Proceedings of the 8th International Workshop on Semantic Evaluation (SemEval), pp. 27-35, 2014.

[7] Maria Pontiki, Dimitrios Galanis, Haris Papageorgiou, Suresh Manandhar, and Ion Androutsopoulos. SemEval2015 task 12: Aspect based sentiment analysis. In Proceedings of the 9th International Workshop on Semantic Evaluation (SemEval), pp. 486-495, 2015.

[8] Maria Pontiki, Dimitris Galanis, Haris Papageorgiou, Ion Androutsopoulos, Suresh Manandhar, Mohammad ALSmadi, Mahmoud Al-Ayyoub, Yanyan Zhao, Bing Qin, Orphée De Clercq, Véronique Hoste, Marianna Apidianaki, Xavier Tannier, Natalia Loukachevitch, Evgeniy Kotelnikov, Nuria Bel, Salud María Jiménez-Zafra, and Gülşen Eryiğit. SemEval-2016 task 5: Aspect based sentiment analysis. In Proceedings of the 10th International Workshop on Semantic Evaluation (SemEval), pp. 19-30, 2016

[9] Yohei Seki, Lun-Wei Ku, Le Sun, Hsin-His Chen, and Noriko Kando. Overview of multilingual opinion analysis task at NTCIR-8. In Proceedings of the Seventh NTCIR Workshop, 2010

[10] 関洋平. 意見分析コーパスの現状と課題. 情報処理学会論文誌データベース（TOD）, Vol. 6, No. 4, pp. 85-103, 2013 .

[11] 藤井敦, 乾孝司, 中山卓哉. レビュー解析「レビュー 解析を題材とした「誤り分析マニュアル」の試作に向けた検討」. 言語処理学会第 21 回年次大会ワーク ショップ：自然言語処理におけるエラー分析, 2015.

[12] 藤井敦, 乾孝司. 自然言語処理技術の現状と展望一 エラー分析プロジェクトを通して一: 3.11 レビュー 解析 一誤り分析におけるプロセスとプロダクト一.情報処理, Vol. 57, No. 1, pp. 30-31, 2016.

[13] 栗原理聡, 水本智也, 乾健太郎. Twitter による評判分析を目的とした評価対象-評価表現データセット作成. 言語処理学会第 24 回年次大会発表論文集, pp. 344-347, 2018.

[14] Haruya Suzuki, Yuto Miyauchi, Kazuki Akiyama, Tomoyuki Kajiwara, Takashi Ninomiya, Noriko Takemura, Yuta Nakashima, and Hajime Nagahara. A japanese dataset for subjective and objective sentiment polarity classification in micro blog domain. In Proc. of the 13th Conference on Language Resources and Evaluation (LREC 2022), pp. 7022-7028, 2022.

[15] Tomoyuki Kajiwara, Chenhui Chu, Noriko Takemura, Yuta Nakashima, and Hajime Nagahara. Wrime: A new dataset for emotional intensity estimation with subjective and objective annotations. In Proc. of 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 2095-2104, 2021.

[16] A Large-Scale Japanese Dataset for Aspect-based Sentiment Analysis, 2022.

[17] 中山祐輝, 村上浩司, Ikuko Hardaway. アスペクトベー ス意見分析における日本語評価コーパスの構築. 言語処理学会第 27 回年次大会発表論文集, pp. 375-380, 2021.

[18] 小林のぞみ, 乾健太郎, 松本裕治, 立石健二, 福島俊一. 意見抽出のための評価表現の収集. 自然言語処理, Vol. 12, No. 3, pp. 203-222, 2005.

[19] Fábio Souza, Rodrigo Nogueira, and Roberto Lotufo. Portuguese named entity recognition using bert-crf. https://arxiv.org/abs/1909.10649, 2019.

[20] Entony Lekhtman, Yftah Ziser, and Roi Reichart. DILBERT: Customized pre-training for domain adaptation with category shift, with an application to aspect extraction. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 219-230. Association for Computational Linguistics, Nov 2021 .