# 音声の離散特徵量を活用した End-to-End 音声翻訳における音声系列長の削減

阿久井 駿 1 鶴岡 慶雅 1
1 東京大学大学院 情報理工学系研究科
\{akui , tsuruoka\}@logos.t.u-tokyo.ac.jp

## 概要

本稿では，end-to-end 音声翻訳における音声系列長を動的に削減する新たな方法を提案する。一般に音声系列は非常に長いため, end-to-end 音声翻訳モデルに音声を入力する際は系列を短くする必要がある. 従来手法では音素の疎密を考慮せずにフレームを等間隔で圧縮するため，非効率的である可能性がある。そこで本稿では，音声の離散特徴量を活用した教師なし音素セグメンテーションに基づいて音声系列を動的に压縮する手法を提案する．同一セグメントに属する音声系列を平均して 1 つに圧縮してからモデルに入力することで，従来手法と同程度の翻訳精度を保ちつつ，系列長を従来手法の半分程度に削減することに成功した。

## 1 はじめに

音声翻訳は，ある言語の音声を別の言語のテキストに翻訳するタスクである。音声翻訳は従来，i) 音声認識，ii) テキストどうしの機械翻訳という 2 つのタスクを組み合わせることで実現されていた $[1,2]$. しかしこの方法は，i) 音声認識で生じた認識誤りが機械翻訳に伝播して翻訳精度が低下する，ii) 音声のみが持つ韻律などの情報が失われる，iii) 2 つのモデルを経由するため翻訳文を生成するのに時間がかかる，といった欠点が指摘されていた $[3,4]$. そこで近年では，こうしたデメリットを解消するために，書き起こし文を経由せずに翻訳文を直接生成する end-to-end 音声翻訳の研究が進められている $[5,6,7]$.

近年, テキストどうしの機械翻訳で Transformer [8] が高い翻訳精度を達成したことを受け, end-to-end 音声翻訳においても Transformer を利用した手法が提案されている $[9,10]$. しかし, Transformer に音声系列を入力する際には，しばしばその計算量が問題
となる。音声系列の入力には，一般的には $10 \mathrm{~ms}$ 程度の幅で抽出した特徴量が用いられることが多く, これは同じ内容のテキストと比べても非常に長い. Transformer の空間計算量は入力の長さの 2 乗に比例するため，長い音声系列を直接入力することは計算コストの観点から現実的ではない。

音声系列の長さを削減する既存の手法としては,畳み込みニューラルネットワーク (Convolutional Neural Network; CNN）を利用した方法が挙げられる [9]. この手法では，音声系列に対して stride が 2 の CNNを 2 回適用することで，系列長をおよそ 4 分の 1 に削減している. しかしこの方法では, 音声系列内における音素の疎密の違いによらず全フレームが等間隔で圧縮されることになるため，音素が密集している部分の情報が大きく失われる可能性がある。このほかには，音声系列とそれに対応する音素や文字とのアラインメントを学習し,隣接するフレームで同じ音素や文字を表すと推測されるものを 1 つに圧縮する方法も提案されている $[11,12,13,14]$. これらの手法では，音素の疎密に応じて系列を動的に圧縮することができ， CNN を用いた手法より高い翻訳精度を達成している。しかし，これらの方法はいずれも音声に対応する書き起こし文や音素の情報が必要であり，文字を持たない言語に応用することが不可能である.

音声系列に対応する音素とのアラインメントを，音声のみを用いて教師なしで学習する方法も提案されており [15]，この手法を用いれば，書き起こし文を利用しなくても音素の疎密に応じて系列を動的に圧縮できることが期待される．そこで本稿では，書き起こし文を利用せず音声のみで学習した音素セグメンテーションを用いて，音声系列を動的に圧縮することを試みた。そして，従来の等間隔で圧縮する方法と比べた翻訳精度や圧縮率の差について検証した.

## 2 関連研究

## 2.1 Transformer を利用した End-to-end 音声翻訳

Transformer [8] は attention と呼ばれる機構を用いた encoder-decoder モデルであり，入力系列を受け取り隠れ状態にエンコードするエンコーダと，エンコーダが出力した隠れ状態と出力系列を受け取り次のステップの出力を生成するデコーダから構成される. Transformer はもともとはテキストどうしの機械翻訳のために提案されたモデルであるが，入力系列としてテキストの代わりに音声の特徴量を用いることで音声翻訳に対しても有効であることが示されている [9]. 音声の特徵量には主に対数メルスペクトログラムが用いられるが，そのままでは系列長が長いため計算量が非常に大きくなり，GPU のメモリ容量内で学習を行うことが困難となる. そこで, 音声系列に stride が 2 の CNNを 2 回適用し, 系列長をおよそ 4 分の 1 に削減してから Transformerに入力することでこの問題に対処している.

## 2.2 音声の離散特徵量を利用した教師なし 音素セグメンテーション

## 2.2.1 VQ-VAE

音声の離散的な特徵量を得る方法として, VectorQuantized Variational Autoencoder（VQ-VAE）[16] を用いた手法が提案されている [17]. VQ-VAE は, i) エンコーダ，ii) ベクトル量子化，iii) デコーダ，の 3 つの部分から構成される. モデルの詳細な図は付録 $\mathrm{A}$ に記した。

エンコーダエンコーダはまず 1 次元の音声波形 $\boldsymbol{x}=\left(x_{1}, \ldots, x_{N}\right)$ を入力として受け取り, 対数メルスペクトログラムを計算する。 次に対数メルスペクトログラムを 5 層の CNN と線形変換に入力し, 連続的な特徴量 $z=\left(z_{1}, \ldots, z_{T}\right)$ を出力する.

ベクトル量子化この部分は，コードブックと呼ばれる $K$ 個の異なる学習可能なべクトルの集合 $\boldsymbol{e}=\left.\{\boldsymbol{e}_{1}, \ldots, \boldsymbol{e}_{K}\right.\}$ で構成される. ここでは，エンコー ダが出力した特徴量 $z$ を受け取り, 各要素 $z_{i}$ をコー ドブックの中で最も $L^{2}$ 距離が近いべクトルに置換することで離散的な特徴量 $\hat{z}=\left(\hat{z}_{1}, \ldots, \hat{z}_{T}\right)$ を得る.

$
\hat{z}_{i}=\underset{\hat{z}_{i}^{\prime} \in \boldsymbol{e}}{\arg \min }\left.\|z_{i}-\hat{z}_{i}^{\prime}\right.\|_{2}^{2} \quad(i=1, \ldots, T)
$

この操作は微分不可能であるため, 誤差逆伝播の際は straight-through estimator [18] を用いて式 (2)のように勾配を近似する。ここで $\mathscr{L}$ は損失関数である.

$
\frac{\partial \mathscr{L}}{\partial z} \approx \frac{\partial \mathscr{L}}{\partial \hat{z}}
$

デコーダデコーダは離散特徴量 $\hat{z}$ を受け取り，各フレームを $50 \%$ の確率で隣接するフレームに置換する time-jitter 正則化 [19]を行う. その後, 話者を表す埋め込みべクトルと結合し，回帰型ニューラルネットワーク（Recurrent Neural Network; RNN）を用いて元の音声波形を復元する.

モデルは，式 (3) で表される損失関数 $\mathscr{L}$ 最小化するように学習される。

$
\mathscr{L}=-\frac{1}{N} \sum_{i=1}^{N} \log p\left(x_{i} \mid \hat{z}\right)+\beta \frac{1}{T} \sum_{i=1}^{T}\left.\|z_{i}-\operatorname{sg}\left(\hat{z}_{i}\right)\right.\|_{2}^{2}
$

第 1 項は再構成誤差, 第 2 項はエンコーダの出力を離散特徵量に近づける項である。ここで， $\operatorname{sg}(\cdot)$ は勾配を計算しないことを意味する。 $\beta$ はハイパーパラメータであり，本稿では $\beta=0.25$ を用いた.

## 2.2.2 VQ-VAE による音素セグメンテーション

VQ-VAE で得られる離散的な特徴量について, 隣接するフレームで異なるエントリが選ばれている部分を音素の境界とみなし, 教師なしでセグメンテー ションを行う方法が提案されている [15]. しかしこの方法では, 実際の音素と比べて細かく分割されすぎてしまう問題がある。 そこで，全体のセグメント数に制約を設けることで，より音素境界に近いセグメンテーションが可能である. 具体的には，連続特徵量とエントリ間の $L^{2}$ 距離の 2 乗の和に, ペナル

最小化するように離散特徵量 $\hat{z}$ を選択する。

$
\begin{gathered}
\hat{z}_{1}, \ldots, \hat{z}_{T}=\underset{\hat{z}_{1}^{\prime}, \ldots, \hat{z}_{T}^{\prime}}{\arg \min } \mathscr{E}\left(\hat{z}_{1}^{\prime}, \ldots, \hat{z}_{T}^{\prime}\right) \\
\mathscr{E}\left(\hat{z}_{1}^{\prime}, \ldots, \hat{z}_{T}^{\prime}\right)=\sum_{i=1}^{T}\left.\|z_{i}-\hat{z}_{i}^{\prime}\right.\|_{2}^{2}+\lambda \operatorname{seg}\left(\hat{z}_{1}^{\prime}, \ldots, \hat{z}_{T}^{\prime}\right)
\end{gathered}
$

ここで $\operatorname{seg}\left(\hat{z}_{1}^{\prime}, \ldots, \hat{z}_{T}^{\prime}\right)$ は系列 $\left(\hat{z}_{1}^{\prime}, \ldots, \hat{z}_{T}^{\prime}\right)$ に含まれるセグメント数を表す。また，入はハイパーパラメー タであり，本稿では $\lambda=3$ を用いた. この最小化問題は, $\alpha_{t}=\min _{\hat{z}_{1}^{\prime}, \ldots, \hat{z}_{t}^{\prime}} \mathscr{E}\left(\hat{z}_{1}^{\prime}, \ldots, \hat{z}_{t}^{\prime}\right)$ とおくと, 動的計画法を用いて式 (5)のように解くことができる.

$
\alpha_{t}= \begin{cases}0 & (t=0) \\ \min _{j=1}^{t}\left(\alpha_{t-j}+\min _{k=1}^{K}\left.\|z_{i}-\boldsymbol{e}_{k}\right.\|_{2}^{2}+\lambda\right) & (t=1, \ldots, T)\end{cases}
$

discrete features $\hat{\boldsymbol{z}}$

(a) discrete

log-mel spectrogram

(b) averaged

図 1 セグメンテーションを用いて音声系列を圧縮する概略図. (a) VQ-VAE の離散特徴量をそのまま用いる方法 (discrete) と， (b) 同じセグメントに属する特徴量を平均する方法（averaged）の 2 通りを提案した。

## 3 提案手法

## 3.1 音声系列の圧縮

本稿では， end-to-end 音声翻訳モデルに入力する音声系列に 2.2 節で述べたセグメンテーションを適用し，同じセグメントに割り当てられたフレームを 1 つに圧縮することで，音声系列長を動的に削減することを試みた. フレームの圧縮には, 図 1 に示す 2 通りの方法を考えた。

Discreteこの方法では，音声系列として各セグメントに割り当てられた VQ-VAE の離散特徴量をそのまま用いる. 各離散特徴量に線形変換を施し， Transformer のエンコーダに入力する.

Averaged この方法ではまず，2.1 節で述べた従来手法と同様に，音声から抽出した対数メルスペクトログラムに 2 層の CNN を適用する。ただし，本手法では 2 層目の CNN の stride は 1 とする。こうして得られた特徴量の各フレームをセグメンテーションと照らし合わせ，同じセグメントに属するフレー ムの特徴量を平均して 1 つのベクトルに統合する。

## 3.2 セグメントの長さに関する情報の付加

3.1 節で述べた方法では，各セグメントがその長さによらず 1 つのベクトルに圧縮されるため，セグメントの長さに関する情報が失われてしまう。そこで，圧縮後の各ベクトルの末尾にセグメントの元のフレーム数を追加し，セグメントの長さに関する情報を補完することを試みた。

## 4 実験

## 4.1 実験設定

提案した音声系列長の削減方法の有効性を検証するため， 3.1 節で述べた 2 種類の手法（discrete， averaged）を，CNNのみを用いて系列を圧縮する従来手法（baseline）[9] と比較する実験を行った. 提案手法で利用するセグメンテーションには， VQ-VAE で得られる離散特徴量をそのまま用いたセグメンテーション（vq）と，セグメント数に応じたペナルティを追加したセグメンテーション（dp）の 2 種類を用いた.また， 3.2 節で述べた方法で圧縮後の特徴量に各セグメントの長さを付加した場合，実験結果にどのような違いが現れるかを比較した. 翻訳精度の評価には BLEU [20] を用いた.

## 4.1.1 VQ-VAE

音声翻訳に用いるデータセットには話者の情報が含まれていないため，VQ-VAEの学習には話者アノテーション付きの英語コーパスである Buckeye [21] に含まれる約 18 時間分の音声を使用した. モデルには 2.2 節で述べた VQ-VAE モデルを使用した. 学習の詳細は先行研究 [17] に従い，学習データからサンプルした $320 \mathrm{~ms}$ の音声系列 52 個を 1 つのバッチとしてモデルを学習した. パラメータの最適化には Adam [22] を使用し, 学習率は $4 \times 10^{-4}$ で初期化した後 300,000 ステップと 400,000 ステップで半分に減衰するように設定した. また，コードブックの最適化には指数移動平均を用いた方法 [16] を使用した. モデルは合計で 500,000 ステップ学習した.

## 4.1.2 End-to-end 音声翻訳

End-to-end 音声翻訳のデータセットには，MuSTC [23] の英語-ドイツ語コーパスを用いた. このデータセットには，学習データ 250,942 文，検証データ 1,415 文，テストデータ 2,580 文が含まれる。音声の特徵量には $10 \mathrm{~ms}$ ごとに $25 \mathrm{~ms}$ 幅の窓で抽出した 80 次元の対数メルスペクトログラムを使用した. また，テキストはSentencePiece [24]を用いてサブワードに分割した. モデルの学習時は, 音声特徴量の系列長が 2,000 フレームを超える文を除外し，各バッチに含まれる音声系列のフレーム数の合計が最大で 20,000 となるようにバッチ化した. パラメータの最適化には Adam [22]を使用し， 8 バッチ
表 1 MuST-C 英語-ドイツ語コーパスのテストデータを用いた各手法の BLEU スコア. 手法名のかっこ内はセグメンテーションの方法を表す。また，normal は圧縮後の特徴量に各セグメントの長さを付加しなかった場合の結果，concat は付加した場合の結果である。

## BLEU

ごとにパラメータを更新した．また，学習率は最初の 10,000 ステップで 0 から $2 \times 10^{-3}$ まで線形に増加させ，その後はステップ数の平方根に反比例するように減衰させた。モデルは合計で 100,000 ステップ学習した. その他のハイパーパラメータは付録 Bに記した。

## 4.2 実験結果

MuST-C 英語-ドイツ語コーパスのテストデータにおける各手法の BLEU スコアを表 1 に示す. 離散特徴量をそのまま用いた手法（discrete）は従来手法と比べて大きく翻訳精度が下がる結果となった. Discrete 内で比較すると，セグメンテーションには $\mathrm{dp}$ よりも vqを用いたほうが翻訳精度は高かった。 また，セグメントの長さに関する情報を付加することで BLEU スコアに 2 ポイント前後の向上が見られた.一方，セグメンテーションに基づいて特徵量を平均した場合（averaged）は従来手法と同程度の翻訳精度が維持されるか従来手法よりやや劣る結果となった. Averaged 内で比較すると，セグメンテー ションには $\mathrm{vq}$ より dp を用いたほうが翻訳精度は高く, この方法では従来手法と比べて BLEU スコアで 0.02 ポイントの改善が見られた. この手法では， セグメントの長さの情報を付加することによる翻訳精度の向上は見られなかった.

## 4.3 考察

Discrete の翻訳精度が従来手法と比べて大きく劣っていることから，音声翻訳の入力に離散特徴量をそのまま用いるだけでは，翻訳に必要な音声の情報が大きく久落してしまうと考えられる．セグメントの元の長さを補うことで翻訳精度は向上したものの，依然として従来手法の翻訳精度を大きく下回っ表 2 MuST-C 英語-ドイツ語コーパスにおける，セグメンテーションの種類ごとの音声系列長の平均圧縮率.

ているため，離散特徴量を音声翻訳に活用するためにはさらなる工夫が必要である.

Averaged では，最も BLEU スコアが高かった dp セグメンテーションを用いた方法でも従来手法と同程度の翻訳精度にとどまった。しかし，表 2 に示した通り，dpセグメンテーションを用いた方法では音声系列長を従来手法のおよそ半分に圧縮できている.このことから，提案手法は従来手法の翻訳精度を維持しながら音声の系列長を大きく削減できるという点で有効であると考えられる。

## 5 おわりに

本稿では，end-to-end 音声翻訳において音声系列長を動的に削減するため，VQ-VAE を利用した教師なし音素セグメンテーションに基づいて音声系列を圧縮する手法を提案した. 実験の結果，同一セグメントに属する音声系列を平均して1つに圧縮してからモデルに入力することで，従来手法と同等の翻訳精度を保ちながら系列長を従来手法の半分程度にまで削減することに成功した。

今後の課題としては，以下の 3 点が挙げられる.

教師ありセグメンテーション手法との比較本実験では，ベースラインとして CNNを用いてフレー ムを等間隔で圧縮する方法のみを用いた，今後は教師ありセグメンテーションを使用した従来手法との比較実験も行い，翻訳精度や圧縮率，計算量などの違いについて検証する必要がある。

音声翻訳に適した離散表現の獲得本実験では，音声翻訳の入力に離散特徴量を用いた場合，翻訳精度が大きく下がる結果になった。離散特徴量を音声翻訳に活用するためには，より音声翻訳に適した離散表現を得る方法を模索する必要がある。

低リソースな条件下での実験提案手法のメリットの 1 つに，音声の書き起こし文が必要でないため文字を持たない言語に応用できることが挙げられる.そうした言語では，本実験のように大規模な学習データが集められない可能性が高い。そこで，低リソースな条件下でも本手法が有効であるかを実験して検証する必要がある。

## 参考文献

[1] Fred Stentiford and M.G. Steer. Machine translation of speech. British Telecom Technology Journal, Vol. 6, No. 2, pp. 116-123, 1988.

[2] Hermann Ney. Speech translation: Coupling of recognition and translation. In 1999 IEEE International Conference on Acoustics, Speech, and Signal Processing, Vol. 1, pp. 517-520, 1999.

[3] Nicholas Ruiz and Marcello Federico. Assessing the impact of speech recognition errors on machine translation quality. In Proceedings of the 11th Conference of the Association for Machine Translation in the Americas: MT Researchers Track, pp. 261-274, 2014.

[4] Matthias Sperber and Matthias Paulik. Speech Translation and the End-to-End Promise: Taking Stock of Where We Are. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7409-7421, 2020.

[5] Alexandre Bérard, Olivier Pietquin, Christophe Servan, and Laurent Besacier. Listen and Translate: A Proof of Concept for End-to-End Speech-to-Text Translation. arXiv:1612.01744 [cs], 2016.

[6] Ron J. Weiss, Jan Chorowski, Navdeep Jaitly, Yonghui Wu, and Zhifeng Chen. Sequence-to-Sequence Models Can Directly Translate Foreign Speech. In Interspeech 2017, pp. 2625-2629, 2017.

[7] Alexandre Bérard, Laurent Besacier, Ali Can Kocabiyikoglu, and Olivier Pietquin. End-to-End Automatic Speech Translation of Audiobooks. In 2018 IEEE International Conference on Acoustics, Speech and Signal Processing, pp. 6224-6228, 2018.

[8] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention Is All You Need. In Proceedings of the 31st International Conference on Neural Information Processing Systems, pp. 60006010, 2017.

[9] Changhan Wang, Yun Tang, Xutai Ma, Anne Wu, Dmytro Okhonko, and Juan Pino. Fairseq S2T: Fast Speech-to-Text Modeling with Fairseq. In Proceedings of the 1st Conference of the Asia-Pacific Chapter of the Association for Computational Linguistics and the 10th International Joint Conference on Natural Language Processing: System Demonstrations, pp. 33-39, 2020.

[10] Hirofumi Inaguma, Shun Kiyono, Kevin Duh, Shigeki Karita, Nelson Yalta, Tomoki Hayashi, and Shinji Watanabe. ESPnet-ST: All-in-One Speech Translation Toolkit. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: System Demonstrations, pp. 302-311, 2020.

[11] Elizabeth Salesky, Matthias Sperber, and Alan W Black. Exploring Phoneme-Level Speech Representations for End-to-End Speech Translation. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 1835-1841, 2019.

[12] Elizabeth Salesky and Alan W Black. Phone Features Improve Speech Translation. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 2388-2397, 2020.

[13] Marco Gaido, Mauro Cettolo, Matteo Negri, and Marco Turchi. CTC-based Compression for Direct Speech Translation. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, pp. 690-696, 2021.

[14] Sara Papi, Marco Gaido, Matteo Negri, and Marco Turchi. Speechformer: Reducing Information Loss in Direct Speech Translation. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 1698-1706, 2021.

[15] Herman Kamper and Benjamin van Niekerk. Towards Unsupervised Phone and Word Segmentation Using SelfSupervised Vector-Quantized Neural Networks. In Interspeech 2021, pp. 1539-1543, 2021.

[16] Aaron van den Oord, Oriol Vinyals, and Koray Kavukcuoglu. Neural Discrete Representation Learning. In Proceedings of the 31st International Conference on Neural Information Processing Systems, pp. 6309-6318, 2017

[17] Benjamin van Niekerk, Leanne Nortje, and Herman Kamper. Vector-Quantized Neural Networks for Acoustic Unit Discovery in the ZeroSpeech 2020 Challenge. In Interspeech 2020, pp. 4836-4840, 2020.

[18] Yoshua Bengio, Nicholas Léonard, and Aaron Courville. Estimating or Propagating Gradients Through Stochastic Neurons for Conditional Computation. arXiv:1308.3432 [cs], 2013

[19] Jan Chorowski, Ron J. Weiss, Samy Bengio, and Aaron van den Oord. Unsupervised Speech Representation Learning Using WaveNet Autoencoders. IEEE/ACM Transactions on Audio, Speech, and Language Processing, Vol. 27, No. 12, pp. 2041-2053, 2019.

[20] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: A Method for Automatic Evaluation of Machine Translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, 2002.

[21] Mark A. Pitt, Keith Johnson, Elizabeth Hume, Scott Kiesling, and William Raymond. The Buckeye corpus of conversational speech: Labeling conventions and a test of transcriber reliability. Speech Communication, Vol. 45, No. 1, pp. 89-95, 2005

[22] Diederik P. Kingma and Jimmy Ba. Adam: A Method for Stochastic Optimization. In 3rd International Conference on Learning Representations, 2015.

[23] Roldano Cattoni, Mattia Antonino Di Gangi, Luisa Bentivogli, Matteo Negri, and Marco Turchi. MuST-C: A multilingual corpus for end-to-end speech translation. Computer Speech \& Language, Vol. 66, p. 101155, 2021.

[24] Taku Kudo. Subword Regularization: Improving Neural Network Translation Models with Multiple Subword Candidates. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 66-75, 2018.

## A VQ-VAE モデルの構成

2.2 節で述べた VQ-VAE モデルの詳細な構成を図 2 に示す. モデルの構成やパラメータはすべて先行研究 [17] に従った.

図 2 VQ-VAE モデルの概略図 [17]. 図中の $(N, 1)$ のような数値は各特徴量の長さおよび次元数を表す. $N$ は音声波形の長さ, $T^{\prime}$ は音声から抽出した対数メルスペクトログラムの長さ， $T$ は離散特徴量の長さである.

## B ハイパーパラメータ

本実験で使用した end-to-end 音声翻訳モデルのハイパーパラメータを表 3 に示す.

表 3 End-to-end 音声翻訳モデルのハイパーパラメータ.


# Filtering of a Web-Crawled Corpus to Achieve a Strong MT Model: a Case Study on the Japanese-Bulgarian Language Pair

Iglika Nikolova-Stoupak Shuichiro Shimizu Chenhui Chu Sadao Kurohashi
Graduate School of Informatics, Kyoto University
\{iglika,sshimizu, chu,kuro\}@nlp.ist.i.kyoto-u.ac.jp
}

\begin{abstract}
This paper considers a low-resource language pair (Japanese-Bulgarian), whose largest corpus currently available is CCMatrix (4.1M parallel sentences). Unfortunately, due to the imperfect web-crawling process in which the corpus is assembled, MT models directly trained on it do not provide optimal results without further work. This paper seeks to train MT models on a portion of CCMatrix that provide a compromise between size and performance. Two main filtering criteria are utilised in the process: the original margin score that has been used to assemble CCMatrix and a score based on the application of a successful classifier model as presented by [1] for a related WMT shared task. The BLEU scores achieved by several derived models are promising.
\end{abstract
## 1 Introduction

## 1.1 Low-Resource Language Pairs

Low-resource language pairs currently present a major challenge to natural language processing and specifically machine translation (MT). As Dabre et al. [2] illustrate, several techniques have been developing in parallel in attempts to improve the performance of MT models involving such languages. For instance, transfer learning consists in training a "parent" model on a higher-resourced language pair and applying the ensuing embeddings to the original model instead of resorting to random initialisation. Another method, zero-shot translation, involves training the encoder on a number of languages that permits eventual translation among language pairs that the model has not explicitly encountered beforehand [3]. Another line of experiments dealing with the problem of under-resourced languages relates to dataset creation, which in turn can be automated to different degrees. With web-crawling, predefined portions of the web are scanned in search of parallel text. In this manner, OPUS [4] has assembled corpora in a number of language pairs, including the one discussed herein. For instance, WikiMatrix is obtained through exclusive crawling of Wikipedia pages, whilst CCMatrix involves broad portions of the web [5]. In both cases, the cosine-distance-based "margin" metric is applied in the comparison of LASER ${ }^{1)}$ sentence embeddings.

## 1.2 Corpus Filtering

CCMatrix, the largest corpus in the Japanese-Bulgarian language pair currently available (4.1M parallel sentences), is the focus of this research. If trained directly on the corpus, a state-of-the-art MT model is far from achieving optimal performance due to the abundance of noise that is typical to automatically crawled corpora [6].

Between 2018 and 2020, WMT introduced shared tasks that aimed at the filtering of large noisy corpora. Participants were asked to provide scores for each sentence pair in the provided corpus, allowing for solely the highestscoring pairs to be used in the training of MT models. In this paper, one of the most successful models issuing from the task, Acarcicek et al. [1], is utilised to provide an additional score to the afore-mentioned margin one. Following preprocessing of the corpus based on heuristic rules, the two scores are tested separately as well as in different combinations in order to train optimal Transformer MT models in terms of both achieved BLEU score and training size. The highest BLEU score in the Japanese-Bulgarian direction (43.40) comes from a model trained on $500 \mathrm{k}$ parallel sentences based on the margin metric. A compact model of $200 \mathrm{k}$ parallel sentences, based on a combination of the margin and classifier scores, has a comparable result of

42.82. The best model in the Bulgarian-Japanese direction, also based on a combined metric and trained on $200 \mathrm{k}$ sentences, has a score of 40.77 .

This paper extends the work of Nikolova-Stoupak et al. [7], which also applies the mentioned classifier model in the selection of high-quality parallel sentences which are then used in the training of MT models of three increasing sizes (200k, 500k, and $1 \mathrm{M}$ sentence pairs). The classifier-based models' performance comes short of that of margin-based counterparts. Therefore, further work has been required in using the classifier in the filtering process. Improvements introduced in this paper include the construction of a new classifier model, trained on the Flores-200 evaluation dataset [8], additional training sizes, a combination of the two scoring mechanisms, and the assembly of an alternative dataset for evaluation of MT models.

## 2 Related Work

WMT organised three corpus-filtering shared tasks between the years 2018 and 2020, the last two centred specifically on low-resource language pairs. A number of successful projects were produced and, in particular, classifiers were utilised in several discrete ways. For instance, Sánchez-Cartagena [9] applied the classification tool Bicleaner to the provided noisy corpus, achieving an estimation of the parallelism of each original sentence pair. Acarcicek et al.'s [1] model, which is used in this paper, involves a classifier ("proxy-filter"), which is placed on top of a multilingual RoBERTa-Large model [10] and relies on "fuzzy (approximate) string matching" to select challenging negative examples of sentence parallelism.

## 3 Noise in CCMatrix

As recounted in [7], noise in the investigated corpus comes in a variety of forms, including mismatched numbers and dates, redundancy, lack of parallelism in meaning and machine-translated text. Importantly, the assembly of an evaluation dataset to score the derived MT models (described in section 5.1) has motivated additional observations concerning the types of noise that are still persistent in highly scoring sentences according to marginand classifier-based filtering. Complete lack of correspondence within margin-derived sentence pairs is not uncommon. Automatically translated text is often observed and is typically reflected in mistakes in grammar, style and the use of gender and number in Bulgarian sentences. The highest scoring classifier-based sentences are in their vast majority parallel in terms of general meaning. Machinetranslated text is, although less common than in the case of margin-based sentences, still present.

## 4 Methodology

Please refer to figure 1 for an overview of the full filtering process.

## 4.1 Preprocessing

The pipeline of initial preprocessing is identical to the one described in [7]. This stage provides an opportunity to consider the specificities of the two investigated languages; for instance, at determining the acceptable proportions between the sentences in a pair. Such an emphasis is not found in WMT's shared tasks as languages are selected solely based on the relative availability of associated corpora. Consequently, many models, including the regarded one by [1], do not involve a preprocessing stage based on heuristic rules.

## 4.2 Filtering Criteria

## 4.2.1 Margin Scores

The margin score that readily comes with the CCMatrix corpus as result of the web-crawling process is used in subsequent experiments with subcorpora selection in isolation or in addition to the score derived following application of [1]'s classifier model. The margin between a pair of sentences equals the ratio between their cosine distance and the cosine distances with their nearest neighbours in both directions in terms of LASER representations [5].

## 4.2.2 Proxy-Filter Classifier

As described in [7], the main reasons behind the selection of [1]'s model include its high performance, reproducibility and use of state-of-the-art neural translation models. In its quest for negative examples, the classifier selects sentences that are close to the correct translation of the source sentence in terms of Levenshtein distance. Ultimately, each original sentence pair receives a score denoting the estimated probability of it being parallel.

Figure 1 Broad pipeline of the presented work.

## 4.3 MT Models

Once the CCMatrix corpus is filtered and training sets of different sizes assembled, Transformer MT models are trained on them. The Transformer, a state-of-the-art model whose main strength is a reliance on attention mechanisms without the need for recurrence, is opted for due to its simplicity and high translation results [11].

## 5 Experiments

## 5.1 Data

This paper pertains to the cleaning of the CCMatrix corpus in the Japanese-Bulgarian language pair, whose original size is $4.1 \mathrm{M}$ parallel sentences. After the corpus is preprocessed as per section 4.1 , its size is reduced to $2.5 \mathrm{M}$ sentences.

The evaluation dataset used for the MT models (divided into equal-sized test and validation sets) consists of $1 \mathrm{k}$ sentence pairs taken from the original CCMatrix corpus. Half of them are taken at random from the top-scoring 10k sentences based on the margin metric, and the other half are a classifier-based counterpart. In this way, a bias for a particular filtering method is avoided. In addition, the sentences are manually edited in order to ensure their quality.

In [7], the "proxy-filter" classifier is trained on OPUS's Open Subtitles corpus. However, due to its significantly more limited domain and register than CCMatrix, it has been replaced with Flores-200 [3]. This multilingual and rigorously assembled dataset is based on a variety of Wikipedia pages and has undergone professional human translation followed by several manual checks, thus providing both much higher relevance to the task at hand and higher overall quality. On the negative side, the dataset is meant for use in the evaluation of trained MT models and is therefore limited in size ( $1 \mathrm{k}$ parallel sentences). In contrast, Acarcicek et al. [1] explicitly state that their model has optimal quality when trained on a minimum of $2 \mathrm{k}$ sentence pairs.

## 5.2 Application of Scores

The presented translation models differ in terms of the size of training data as well as the ways in which they have been filtered from the original CCMatrix corpus. Like in [7], three main dataset sizes are considered: 200k, 500k and $1 \mathrm{M}$ sentence pairs. In addition, an alternative sizing is introduced that is based on the number of tokens following tokenization with sentencepiece ${ }^{2)}$ (see Appendix A).

Combinations of the two described metrics have also been sought in order to optimise performance. The newlyintroduced "margin-classifier" score is derived through averaging of the two scores, preceded by min-max normalisation. An additional experiment is carried out with doubling the weight of the margin-based score.

## 5.3 Translation Models

Once supcorpora of CCMatrix are selected based on classifier scores (please refer to Appendix B for a detailed description of the classifier model and the derived scores), Transformer models are trained on them. In addition, in order to provide a bigger picture of the impact filtering mechanisms and training sizes have on MT, models are

Table 1 Performance of the full vs preprocessed CCMatrix corpus, JA to BG

Table 2 BLEU scores for each filtering method for the three subcorpus sizes based on number of sentences, JA to BG

also trained on the full CCMatrix corpus and on the corpus following the preprocessing stage. All models are evaluated with the dataset described in 5.1 and the derived BLEU scores are juxtaposed.

The original idea behind the project is to investigate translation from Japanese to Bulgarian, as the latter language is the lower-resourced one and such a translation system would allow for direct translation into it of unique content originally composed in the Japanese language. However, for purposes of comparison and further insight into the work of the trained MT models, the opposite direction is also experimented with.

## 6 Results

## 6.1 Without Filtering

Comparing the BLEU scores achieved by MT models trained on the full vs the preprocessed CCMatrix corpus (Table 1) reveals that the preprocessing stage has caused a significant improvement while largely reducing the training size.

## 6.2 Following Filtering

As can be observed in Table 2, MT performance can be further improved following filtering of the preprocessed CCMatrix corpus. The most successful model, with a BLEU score of 43.40 , is trained on $500 \mathrm{k}$ parallel sentences as filtered based on the margin metric. Overall, marginbased models achieve the highest results. The ones that follow are based on the 1:1 margin-classifier metric; notably, achieving a promising high-scoring compact model of 200k sentence pairs (BLEU 42.82). Like in the case of
Table 3 BLEU scores for each filtering method for the three subcorpus sizes based on number of sentences, BG to JA

[7], last come the classifier-based models, whose weaker performance is not overcome despite the use of the more appropriate Flores-200 dataset to train the underlying classifier model. It is possible that overfitting is produced.

Going back to the results achieved by [7], the strongest one of which is 28.49 and comes from the $1 \mathrm{M}$ marginbased model, one can witness a large general increase of scores. In the case of margin-based models, a training size limit has now been reached, leading the 500k-sentence model to score higher than the 1M-sentence one.

## 6.3 Bulgarian-Japanese Direction

In the Bulgarian to Japanese translation direction, the best models are once again the margin- and marginclassifier-based (1:1) ones (Table 3), notably the latter outperforming the former. It can also be noticed that models using the strongest selection methods perform better in their more compact training sizes.

## 7 Conclusion and Future Work

This paper presents the training of MT models based on portions of the large but noisy CCMatrix corpus in the under-resourced Japanese-Bulgarian language pair. Filtering is based on the margin metric using which the corpus is web-crawled as well as on scores provided by a classifier model following the work of [1]. MT performance is significantly improved as compared with that of the full CCMatrix model as well as of a smaller version based on preprocessing with heuristic rules. The strongest model in the Japanese to Bulgarian direction (BLEU 43.40) is based on margin distance and is trained on 500k sentence pairs. In the opposite direction, best scoring is the model trained on 200k sentence pairs based on averaging of the two metrics. Future improvements of the filtering process to address the prevalence of machine-translated text may include sentence pre-ordering and the explicit inclusion of morphological information along with sentences.

## Acknowledgements

This work was supported by Samsung, SDS.

## References

[1] Haluk Açarçiçek, Talha Çolakoğlu, Pınar Ece Aktan Hatipoğlu, Chong Hsuan Huang, and Wei Peng. Filtering noisy parallel corpus using transformers with proxy task learning. In Proceedings of the Fifth Conference on Machine Translation, pp. 940-946, Online, November 2020. Association for Computational Linguistics.

[2] Raj Dabre, Chenhui Chu, and Anoop Kunchukuttan. A survey of multilingual neural machine translation. ACM Comput. Surv., Vol. 53, No. 5, sep 2020.

[3] Naman Goyal, Cynthia Gao, Vishrav Chaudhary, PengJen Chen, Guillaume Wenzek, Da Ju, Sanjana Krishnan, Marc'Aurelio Ranzato, Francisco Guzman, and Angela Fan. The flores-101 evaluation benchmark for low-resource and multilingual machine translation, 2021.

[4] Jörg Tiedemann. Parallel data, tools and interfaces in OPUS. In Proceedings of the Eighth International Conference on Language Resources and Evaluation (LREC'12), pp. 2214-2218, Istanbul, Turkey, May 2012. European Language Resources Association (ELRA).

[5] Holger Schwenk, Guillaume Wenzek, Sergey Edunov, Edouard Grave, Armand Joulin, and Angela Fan. CCMatrix: Mining billions of high-quality parallel sentences on the web. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 6490-6500, Online, August 2021. Association for Computational Linguistics.

[6] Roland Schäfer, Adrien Barbaresi, and Felix Bildhauer. Focused web corpus crawling. 042014.

[7] Iglika Nikolova-Stoupak, Shuichiro Shimizu, Chenhui Chu, and Sadao Kurohashi. Filtering of noisy web-crawled parallel corpus: the Japanese-Bulgarian language pair. In Proceedings of the 5th International Conference on Computational Linguistics in Bulgaria (CLIB 2022), pp. 39-48, Sofia, Bulgaria, September 2022. Department of Computational Linguistics, IBL - BAS.

[8] Alexandre Magueresse, Vincent Carles, and Evan Heetderks. Low-resource languages: A review of past work and future challenges, 2020.

[9] Víctor M. Sánchez-Cartagena, Marta Bañón, Sergio OrtizRojas, and Gema Ramírez. Prompsit's submission to WMT 2018 parallel corpus filtering shared task. In Proceedings of the Third Conference on Machine Translation: Shared Task Papers, pp. 955-962, Belgium, Brussels, October 2018. Association for Computational Linguistics.

[10] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach, 2019.

[11] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob
Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need, 2017.

Table 4 The hyperparameters used in the grid search for the optimal "proxy-filter" classifier model

Table 5 BLEU scores for each filtering method for the three token-based subcorpus sizes, JA to BG

## A Token-Based Training Sizes

In one set of experiments, the number of tokens in random and classifier-based models is deliberately made to match the one in the three main sizes of margin-based models. The reason behind this experiment lies in the perceived and consequently proven via statistical analysis significant difference between sentence sizes associated with the different filtering methods. Whilst the margin score favours sentences that are longer than the CCMatrix corpus's average sentence size, the classifier model strongly prefers short sentences.

The results deriving from token-size-based experiments are recorded in Table 5. Note that the margin-based results are identical to the ones presented in Table 4, as the 200k-, 500k- and 1M-sentence sizes of margin-based models are used to generate random and classifier-based models of the same token sizes. As expected, performance of the random and classifier-based models is increased with the increase of training size. The only exception is the largest random model, whose performance (BLEU 37.07) is lower than that achieved with the slightly smaller sentence-based model (37.36). This observation implies that a limit has been reached for the size of random-based models, too.

## B Classifier Model

The particular classifier model to be applied in the filtering of CCMatrix is selected following grid searching, as in [7]. Based on previous results, the range of hyperparameters is slightly modified in the following way: the number of training epochs is increased to include 10, positive oversampling is slightly reduced and a decision is made to retain the possibility for a fuzzy max score equal to 100 (i.e. high similarity between sentences is not discouraged as the Flores-200 dataset is free or redundancy). Table 4 shows the content of the grid search as well as the definitions of project-specific hyperparameters. The models are trained on a single TITAN RTX GPU.

Despite the limited data classifier models were trained on, the highest scoring model based on the grid search achieved a surprisingly high F1 score of 0.95 . In contrast, its counterpart in [7], achieved an F1 score of 0.58 . The model was trained for 5 epochs with negative random sampling of 2 and positive oversampling of 5, a proportion common to the highest-scoring models. The model' $\mathrm{s}$ fuzzy ratio is 2 , and the fuzzy max score is 100 .

After the winning classifier model is applied to the preprocessed CCMatrix corpus, each sentence pair receives a score representing the certainty of the two sentences being mutual translations. The values of the derived scores range between 0.0563 and 0.9996 , the median coming at 0.9992 .

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 事前学習モデルによる分割統治ニューラル機械翻訳

石川隆太 加納保昌 須藤克仁 中村哲
奈良先端科学技術大学院大学
\{ishikawa.ryuta.il7, kano.yasumasa.kw4, sudoh,s-nakamura\}@is.naist.jp

## 概要

ニューラル機械翻訳におけるハルシネーションや繰り返し、訳抜けなどの課題に対し、文をセグメントに分割して翻訳し、並べ替えて繋げるニューラル機械翻訳における分割統治的手法 [1] が提案されている。本研究では、[1] で課題とされていた、セグメント翻訳と、セグメントの並べ替えと編集の精度の 2 つに対し、事前学習モデルの mBARTを用いることに加え、セグメント翻訳のモデルを節単位の擬似対訳データでファインチューニングすることで、 セグメント翻訳と、並べ替えと編集の精度の改善を試みた。実験では提案手法による BLEU の改善は認められなかったが、過剩な長さの訳出が大きく減少し、ハルシネーションや繰り返しを抑制できている傾向が確認できた。

## 1 はじめに

グローバル化に伴い翻訳の需要が高まっており、ニューラル機械翻訳 (NMT) が注目されている。 NMT は質の高い訳文の生成が期待できる一方で、入力される文が長くなるとハルシネーションや訳抜け [2] などの問題が発生することがある。この課題に対し、統計的機械翻訳では、長文を短いセグメン卜に分割して翻訳し、並べ替えて繋げるという分割統治的手法 [3] が提案されている。また、[3] を参考にした、NMT における長文のための分割統治的手法 [1] も提案されている。本研究では、[1]において課題とされていたセグメント翻訳の精度と、翻訳されたセグメントの並べ替えと編集の精度改善に向け、セグメント翻訳と並べ替えと編集のモデルに事前学習モデルの mBARTを用い、さらにセグメント翻訳のモデルを節単位の擬似対訳データでファインチューニングする手法の検討を行った。英日翻訳の実験において提案手法による BLEU の改善は認められなかったが、過剰な長さの訳出についてはべースラインから大きく削減できており、ハルシネーショ
ンや繰り返しを提案手法により抑制できている傾向が確認できた。

## 2 関連研究

NMT において、長文を分割し、分割された各セグメントを翻訳した後に前から順に結合し直す手法として Pouget-Abadie ら [4] の自動分割の手法がある。この手法はRNNを用いて、長文を分割して翻訳する際の最適な位置を予測し、モデルが翻訳を行いやすいように入力文を分割する手法である。しかし、この手法は英語からフランス語への翻訳のように、ソース言語とターゲット言語がほとんど同じ語順を持たない限り、長文分割後のセグメントの並べ替えの問題に対応することはできない。特に、英語と日本語のような語順が大きく異なる言語対において、結合後の翻訳結果は不自然な文になりやすい。 この課題に対し、加納ら [1] はNMT における分割統治的手法を提案している。

## 2.1 分割統治型ニューラル機械翻訳

入力文を節単位でセグメントに分割し、分割されたセグメントを文単位の対訳コーパスで学習された翻訳モデルを用いて翻訳し、翻訳された各セグメントを、セグメント同士の関係性を表すトークンを用いて繋げ、翻訳モデルとは別のニューラルネットワークモデルに入力する。それによって、セグメントの並べ替えと編集を行い、自然な訳文の生成を実現している。ニューラル機械翻訳の分割統治的手法において、文分割後のセグメント翻訳の精度と翻訳されたセグメントの並べ替えと編集の精度は課題とされており、これら 2 つの精度は最終的な翻訳結果に大きく影響すると考えられる。そこで、本研究ではセグメント翻訳と翻訳後のセグメントの並べ替えと編集の精度を向上させるため、加納らの手法を基に次の 2 つを実施した。

## $2.2 \mathrm{mBART$ を用いた分割統治型ニューラ ル機械翻訳}

加納らの手法においてはセグメント翻訳と翻訳されたセグメントの並べ替えと編集のモデルに Transformer[5]を利用しているのに対し、本研究では事前学習モデルの BART[6] を多言語の大規模なモノリンガルコーパスで事前学習した mBART[7]を利用した。mBART のファインチューニングによる機械翻訳 [8] は、10 万から 1000 万文対規模の比較的少量の対訳コーパスで学習する場合に最も効果を発揮し、mBART と同じ Transformer のエンコーダ・ デコーダモデルを同じ対訳コーパスでゼロから学習するよりも、顕著に高い性能を発揮することが知られている。そのため、事前学習モデルの mBARTを利用することで少量のコーパスで比較的性能の良いベースラインの翻訳モデルを作成することができ、 セグメント翻訳の精度の向上が期待できる。さらに mBART は入力文のトークンのマスクや削除、文の順序をシャッフルするなど人工的なノイズを加えた上で、元の文を復元する事前学習を行なっている。 そのため、本研究における翻訳したセグメントの並べ替えと編集を行うタスクと mBART の事前学習方法は似ているため、相性が良く、並べ替えと編集のモデルにおいても mBARTを利用することで、並べ替えと編集の精度の向上が期待できる。

## 2.3 節単位の擬似対訳データによる節翻訳 モデルの作成

加納らの手法では文分割後の節の翻訳を文単位の対訳データで学習した翻訳モデルで実施していたが、節の翻訳において文単位のコーパスで学習された翻訳モデルが適しているとは限らない。そこで、本研究では節単位の擬似対訳データを作成し、 mBART をセグメント翻訳用にファインチューニングすることで節翻訳モデルを作成した。これにより、セグメント翻訳の精度の向上を試みた。

## 3 提案手法

提案手法の概略を図 1 の (a)ベースラインと節翻訳モデルの作成、(b) 節翻訳モデルを用いた分割統治的を用いて示す。提案手法の手順の太字の部分と図 1 の太枠部分が [1] における分割統治的手法を基に新たに実施、または変更した部分である。

1. JParaCrawl コーパスからサンプリングした 300 万文対を学習データとして mBART をファインチューニングしベースラインとなる翻訳モデル表 1:トークン長ごとの評価データの文数

を作成する。

2. コーパスの英語の文を構文解析し、接続詞で分割する。

3. 英文を分割してできた英語節をべースラインの翻訳モデルで翻訳し、擬似日本語節とし、節単位の英日の擬似コーパスを作成する。
4. 3 で作成した節単位の擬似対訳データでmBART をファインチューニングし節翻訳モデルを作成する。
5. 1 で作成した学習データの英文を構文解析し接続詞で分割し、4で作成した節翻訳モデルで分割した節を翻訳する。
6. 5 で翻訳した英語と翻訳結果の日本語のぺアを”@”を3つ繋げた対訳関係を示す記号で結合し、分割した節同士を別の” | "を 3 つ繋げた文の区切りを表す記号で結合する。
7. 6 で作成した英語と日本語を特殊トークンで結合した文をソース、分割前の英語に対応する日本語の文をターゲットとして mBART をファインチューニングし、並べ替えと編集のモデルを作成する。

## 4 実験

提案手法の有効性を検証するため、以下の実験を行った。

## 4.1 実験設定

今回実施した実験の詳細設定を以下に示す。 モデルの学習と評価データの対訳コーパスとして、JParaCrawl.ver2 [9] を用いた。具体的に JParaCrawl.ver2 から、評価データを 3 万文サンプリングし、残りのデータから学習データを 300 万文サンプリングすることで、それぞれ評価データと学習データとした。評価データは sentencepiece でサブワードに分割した後に、英語のサブワードトー クンを基準とし、トークン長ごとに 4 分割した評価データを作成した。分割したトークン長と対応する英日の文対の数は表 1 のようになった。評価データの BLEU は、MeCab [10] によって単語分割し、sacrebleu [11]を用いて算出した。

節翻訳モデルと並べ替えと編集のモデルには

(a)ベースラインと節翻訳モデルの作成

(b) 節翻訳モデルを用いた分割統治的手法

図 1: ニューラル機械翻訳における分割統治的手法の概略

表 2: 入力トークン長ごとの BLEU

表 3: 入力トークン長ごとの BERTScore (F1)

mBART を使用し、fairseq [12] で実装されたものを利用した。ベースラインと節翻訳モデル、並べ替えと編集のモデルの学習時のパラメータの設定は Githubで公開されている英語とルーマニア語における mBART のファインチューニングのデフォルトの設定 [13] と同じ設定を用いた。

節翻訳モデルを作成する際の節単位の擬似対訳データは JParaCrawl.ver2 からサンプリングした英文 200 万文を構文解析し、接続詞で分割し、200万文の内、分割された英語節のみを英語側の節単位のデー タとし、それらを全てべースラインで日本語節に翻訳することで作成した。分割された英語節と翻訳によって得られた日本語節の対訳節の数は約は 190 万となった。構文解析には spaCy [14]を利用した。接続詞で分割される英文は次の例のようになる。

I don't like studying math, but / I like studying English.

提案手法の手順 3 と 5 における節対訳データの日本語節と並べ替えと編集のモデルの入力データの日本語節を生成する際のベースラインと節翻訳モデル

図 2: 参照文に対するモデルの出力文の長さ比が 2 以上となった数

のビームサーチのサイズはどちらも 4 とし、評価の際のビームサイズも 4 とした。

## 4.2 実験結果

表 2 はベースライン、提案手法の入力トークン長ごとの BLEUを示している。表 2 から分かるように、提案手法はべースラインに比べて全体としての BLEU が 0.8 ポイント低かった。表 3 は BERTScore[15] による評価結果で、表 2BLEU に比べて差が小さいと言えるが提案手法はベースラインを上回れなかった。

一方、ハルシネーションや繰り返しの影響を明らかにするため、参照文のモデルの出力文の長さ比が大きい事例数を調べた結果を図 2 に示す。特に長さ比が 3 以上となるような極端に長い翻訳出力がベースラインでは 67 文、提案手法では 33 文と半減し、ratio の平均土標準偏差はベースラインで $1.035 \pm 0.360$ 、提案手法で $1.017 \pm 0.339$ になる等、提
表 4: 提案手法によるハルシネーションの改善例

## 入力文

Original Evaluation of the Stratum Corneum Exfoliated by Tape Stripping Method (Part2) - Seasonal and age-related differences of exfoliated pattern ...

## 参照文

原著角層剥離パターンによる角層評価 (第 2 報)一季節変化と年代差について一...

## ベースライン

テープストライプ法によるストラトムコネム浸潤の才リジナル評価 (第 2 部)一浸潤パターンの季節と年齢関係の差 ... テープストライプ法によるストラトムコネム浸潤の Original Evaluation of Stratum Corneum Exfoliated by Tape Stripping Method (Part2)一浸潤パターンの季節と年齢関係の差 ...

## 提案手法

テープストリップ法によるストラトム角膜剥離のオリジナル評価 (パート 2) 一季節と年齢に関わる剥離パター ンの違い

案手法により過剰な長さの訳出が抑制できていることが分かり、ハルシネーションや繰り返しが減少していることが示唆される (出力単語数の散布図を付録の図 3 に示す)。実際にベースラインと提案手法の翻訳結果を確認すると、ベースラインにおいてハルシネーションや繰り返しが起きていた文を提案手法では適切に翻訳できている例が確認できた（表 4 に例を示す)。

## 4.3 考察

提案手法の BLEU がベースラインより低下してしまった原因として、提案手法における節翻訳モデルの性能が低いことが考えられる。文単位のベースライン翻訳モデルと節翻訳モデルにより文単位の翻訳を行ったときのトークン長ごとの BLEUを表 5 に示す。節翻訳モデルは分割された節を適切に翻訳し、節翻訳の精度を向上させる目的で作成した。しかし、ベースラインと比較して BLEU が 3.9 ポイント低いことから、節翻訳の段階で質の低い訳出文を生成してしまい、並べ替えと編集のモデルの最終的な出力文の質が低下した可能性がある。

さらなる比較のため、提案手法における節翻訳モデルをベースラインのモデルに差し替え分割統治型翻訳を行った。その結果を表 6 に示す。表 5 から分かるように、提案手法における節翻訳モデルをべー スラインのモデルに差し替えた場合、全体として BLEU が 2.6 ポイント低下した。これは、提案手法の節翻訳での利用において本稿の節翻訳モデルがベースラインよりも有効であったことを示唆してい表 5: 節翻訳モデルの入力トークン長ごとの BLEU

表 6: 節翻訳モデルをベースラインに差し替えた際の入力トークン長ごとの BLEU

表 7: ベースラインが節翻訳の際にハルシネーションを起こした例

## 入力文

The US is likewise bankrupt but

出力文

米国は同様に破産していますが、米国は同様に破産しています。

る。表 5 で示した通り BLEU が 3.9 ポイント低いにもかかわらずこのような結果になった原因として、 ベースラインは文単位のコーパスで学習されているため、分割された節を翻訳する際に分割によって失われた節の前後の文を勝手に補おうとしたことが考えられる。その具体例を表 7 に示す。こうした事象により、節翻訳にベースラインモデルを利用した場合に重複やハルシネーションが生じ、最終的な出力の質が低下することが考えられる。

## 5 おわりに

本稿では、ニューラル機械翻訳による分割統治的手法において、節単位疑似対訳と、後段の並べ替えと編集のモデルに事前学習モデル mBART を利用する手法を提案した。提案手法は BLEUではベースラインを下回る結果となったが、ハルシネーションやを起こしていた文を提案手法では適切に翻訳できていた例が確認できた。

本稿の手法では、節翻訳後の節の並べ替えと編集の工程において、[1] で利用されていた Transformer を事前学習モデルの mBARTに置き換えることで並べ替えと編集の精度の改善を試みたが、精度面での効果は確認できなかった。文全体のコンテキストの情報やセグメント同士の関係性を考慮した節翻訳結果の並べ替えと編集が改善に向けた課題である。また、今回作成した節翻訳モデルは疑似的な節単位の対訳データで学習されたモデルであるため、節翻訳モデルの精度は改善の余地があると考えられる。

## 謝辞

本研究の一部は科研費 $21 H 03500$ と 21 H05054 の助成を受けたものです。

## 参考文献

[1] 加納保昌, 須藤克仁, 中村哲. 分割統治的ニューラル機械翻訳. 言語処理学会第 27 回年次大会発表論文集., 2021.

[2] Ziwei Ji, Nayeon Lee, Rita Frieske, Tiezheng Yu, Dan Su, Yan Xu, Etsuko Ishii, Yejin Bang, Wenliang Dai, Andrea Madotto, and Pascale Fung. Multilingual Denoising Pre-training for Neural Machine Translation. arXiv:2202.03629, 2022.

[3] K. Sudoh, K. Duh, H. Tsukada, T. Hirao, and M. Nagata. Divide and translate: improving long distance reordering in statistical machine translation. In Proceedings of the Joint 5th Workshop on Statistical Machine Translation and Met- ricsMATR(SMT '10), p. 418-427, 2010.

[4] Jean Pouget-Abadie, Dzmitry Bahdanau, Bart van Merrien-boer, Kyunghyun Cho, and Yoshua Bengio. Overcoming the curse of sentence length for neural machine translation using automatic segmentation. In Proceedings of SSST-8 Elighth Workhop on Syntax Semantics and Structure in Statistical Translation, p. 78-85, 2014

[5] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, and Aidan N. Gomez Llion Jones, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in Neural Information Processing Systems., pp. 5998-6008, 2017.

[6] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising sequence-to-sequence pretraining for natural language generation, translation, and comprehension. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, p. 7871-788, 2020.

[7] Yinhan Liu, Jiatao Gu, Naman Goyal, Xian Li, Sergey Edunov, Marjan Ghazvininejad, Mike Lewis, and Luke Zettlemoyer. Multilingual Denoising Pre-training for Neural Machine Translation. arXiv:2001.08210, 2020.

[8] 岡崎直観, 荒瀬由紀, 鈴木潤, 宮尾裕介, 鶴岡慶雅. 自然言語処理の基礎. オーム社, 2022.

[9] Makoto Morishita, Jun Suzuki, and Masaaki Nagata. JParaCrawl: A large scale web-based English-Japanese parallel corpus. In Proceedings of The 12th Language Resources and Evaluation Conference, pp. 36033609, Marseille, France, May 2020. European Language Resources Association.

[10] Taku Kudo. Mecab : Yet another part-of-speech and morpho- logical analyzer., 2006. https://taku910. github.io/mecab/.

[11] Matt Post. A call for clarity in reporting bleu scores. arXiv:1804.08771, 2018.

[12] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A fast, extensible toolkit for sequence modeling. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (Demonstrations), pp. 48-53, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[13] Yinhan Liu, Jiatao Gu, Naman Goyal, Xian Li, Sergey Edunov, Marjan Ghazvininejad, Mike Lewis, and Luke Zettlemoyer. Multilingual denoising pre-training for neural machine translation. 2020.

[14] Matthew Honnibal and Ines Montani. spaCy 2: Natural language understanding with Bloom embeddings, convolutional neural networks and incremental parsing. To appear, 2017.

[15] Tianyi Zhang, Varsha Kishore, Felix Wu, Kilian Q. Weinberger, and Yoav Artzi. Bertscore: Evaluating text generation with bert. In International Conference on Learning Representations, 2020.

## A 付録

表 8: ベースラインと提案手法の出力例

ハルシネーション

入力文

Djiboutian Honorary Consulate in Montreal, Canada usacan i have a djiboutienne visa plsssssssssssssssssssssssssss, i will like to see my country. Post a comment on this page We invite you to share your experiences with the Djiboutian Honorary Consulate obtaining visas and other services, locating the building, and so on.

## 参照文

この手法はカナダのオイルサンド産出地域の観測データに適用し、成功しています。

ベースライン

モントリオール, カナダのドジブティアン名誉領事館このウェブサイトは名誉領事館により運営されているものではなく、あなたの意見や質問が必ずしもそちらの職員により確認されるというわけではありません。こちらはドジブティアンの外交政策について幅広い討論をするフォーラムではないことにご注意ください。そのような話題は削除されます。

## 提案手法

Montreal, カナダの Djiboutian 名誉領事館 usacan 私は djiboutienne ビザ plssssssssssssssssssssssss を持っています,私は私の国を訪問したい.このページにコメントを投稿私たちは、Djiboutian 名誉領事館であなたの経験を共有することをお勧めしますービザやその他のサービス、建物の検索など.

繰り返し

## 入力文

So this is Kinomoto Sakura?

## 参照文

「で、こちらが木之本桜さん?」「はい、そうです、国王陛下。

## ベースライン

「さあ、さくらさくら?」「そう、さくらさくらは?」「さくらさくらは、さくらさくらは、さくらさくらは、さくらさくらは、さくらさくらは、さくらさくらは、さくらさくらは、さくらさくらは、さくらさくらは、さくらさくらは、さくらさくらさくらは、さくらさくらさくらは、さくらさくらさく

## 提案手法

「これは木本さくらですか?」

(a) ベースライン

(b) 提案手法

図 3: 参照文の単語数に対する出力文の単語数


# 論文の階層構造を活用した被引用数予測

平子潤笹野遼平武田浩一
名古屋大学大学院情報学研究科
hirako.jun.e5@s.mail.nagoya-u.ac.jp
\{sasano, takedasu\}@i.nagoya-u.ac.jp

## 概要

日々，大量に発表される論文の中から，重要な論文を自動推薦するため, 論文の将来的な被引用数を予測する技術の重要性は増している. 被引用数の予測性能の向上に, 論文本文の活用は重要な要素だと考えられるが，論文本文は一般に記述量の多さから扱いが難しく, 先行研究においても活用法は十分に探索されていない. そこで, 本研究では, 被引用数予測において，本文を有効に活用することを目指し, 論文の階層構造を活用した新たな被引用数予測手法を提案する. さらに, 既存手法を含めた, 複数の手法との広範囲な比較実験を行い，被引用数予測における提案手法の有効性を示す.

## 1 はじめに

近年，人工知能分野など様々な分野において論文の発表数が急激に増加している. これに伴い，重要な論文を推薦するため，論文の質を予測する技術の重要性が高まっている. そのため, 本研究では,論文の質を近似する指標として被引用数を採用し $[1,2]$, 論文の将来的な被引用数を予測するタスクに取り組む。

被引用数を予測する上で，論文本文の活用は重要な要素であると考えられる. しかしながら, 既存の被引用数予測の研究 $[3,4]$ では, 論文のテキスト情報としてアブストラクトを用いることが多く，論文の本文はほとんど活用されていない，その原因は，本文が非常に長く，扱いが難しいことだと考えられる. 特に，近年盛んに利用されている BERT [5] などの Transformer [6] ベースのモデルは, 計算量が入力長の 2 乗に比例するため, 非常に長いトークン列を入力すると，計算量は極めて大きなものとなる。 この問題を解決するため, Transformer の構造自体を改善するアプローチ $[7,8]$ や，入力文を分割して扱うアプローチ $[9,10]$ などが提案されているが，被引用数予測における有効性は不明である.
そこで, 本研究では, 被引用数予測において, 本文を有効に活用することを目指し，論文の階層構造を活用した新たな被引用数予測手法を提案する.この手法では，BERTを用いて論文の各節をエンコー ドし，そのセクション表現を集約することで被引用数の予測を行う。また, arXiv と bioRxiv から収集した論文を用いて，既存手法を含めた複数手法との広範囲な比較実験を行い，提案手法の有効性を示す.

## 2 関連研究

## 2.1 被引用数予測

被引用数予測の既存手法は、テキスト情報を利用しない手法と利用する手法に大別することができる.このうちテキスト情報を利用しない手法としては，論文の引用関係をグラフで表現した引用グラフを用いる手法 $[11,12,13]$ や，RNN を用いて短い期間の被引用数の推移から長い期間の被引用数を予測する手法 [14] などが挙げられる.

テキスト情報を利用する手法として初期の研究で提案された手法には，アブストラクトの Bag-of-Words を利用する手法 [3] や頻度べースの重み付けを利用する手法 [15], LDA より推定されたトピックを利用する手法 $[16,17]$ などがある. 近年では，深層学習を用いて論文のテキストの意味的特徵量を捉える手法も研究されており，タイトルとアブストラクトをDoc $2 \mathrm{Vec}$ でエンコードして利用する手法 [4] や，事前学習済みモデルを利用して論文の本文全てを活用する手法 [18] も提案されている.

## 2.2 長い系列を扱う手法

Transformer ベースのモデルは，近年の自然言語処理において盛んに利用される一方で，計算コストが入力長の 2 乗に比例するという問題点があり, 長い系列を扱うことは難しい。この問題を解決するために，大きく 2 つのアプローチで研究が行われている. 1 つ目は, Transformer の構造自体を改善し，よ

(a) SChuBERT

(b) Longformer (先頭)

(c) 階層構造(先頭)

(d) 階層構造(分割)

図 1 本研究で比較する本文を活用した被引用数予測手法の概要図

り効率的に長い系列を扱うアプローチ $[7,8,19]$ である.これらの手法では，主に Self-Attention を改良することで，計算量の改善を目指している．2つ目は，入力する長い系列を分割して処理することで，計算量の増加を抑えるアプローチである。これらの手法には，分割したテキストをBERT でエンコードし， Attention や RNN など比較的単純な手法で集約する手法 $[9,18]$ や，BERT でエンコードした表現を更に Transformerに入力する階層的な手法 $[10,20]$ がある.

## 3 本文を活用した被引用数予測手法

## 3.1 既存手法: SChuBERT

論文本文から被引用数を予測する手法として， SChuBERT [18] が挙げられる。この手法では, 図 1 の (a) で示すように本文をオーバーラップさせながらチャンクに分割し，それぞれを BERT でエンコー ドして，GRU [21]を用いて集約することで，被引用数を予測する. SChuBERT は BERT の fine-tuning を行わないため，比較的小さな計算コストで，全ての本文を活用することができる．ただし，本文は固定の文字数で分割しており，節の途中で分割されることもあるため，その場合は論文の構造を捉えることができない.

## 3.2 本文の先頭部分を利用する手法

長い系列を扱うモデルである Longformer [8] を用いて，本文の先頭部分から被引用数の予測を行う手法である Longformer (先頭) の概要を図 1 の (b) に示す.この手法では，Longformer の最大入力長である 4096 に収まるように，論文本文の後半部分を切り捨て, 残った前半部分の本文から，被引用数の予測を行う. 入力テキストが長い場合に，一部を切り捨てる手法は一般的に採用される $[8,22]$ 一方で，本文と
いう非常に長いテキストを扱う場合は，多くのテキストが切り捨てられてしまい，論文全体をバランス良く考慮することができない場合が多い. 例えば，本実験で使用するデータセット (4.2 節を参照) において, Longformer (先頭) では，平均で本文の約 $46 \%$ のテキストが切り捨てて入力される.

## 3.3 階層構造を利用する手法

本研究では，新たに本文の階層構造を活用した 2 つの被引用数予測手法を提案する.これらの手法はどちらも，各節をそれぞれパラメータを共有した BERTを用いてエンコードすることでセクション表現を生成し，各セクション表現をプーリングにより集約することで，被引用数を予測する．ただし， 2 つの手法は，各節の先頭部分のみを活用するか，各節を分割し，より多くのテキストを活用するかで異なる．各節の先頭部分を活用する手法である階層構造 (先頭) の概要を, 図 1 の (c) に示す. この手法では，各節の見出しを 1 文目，内容を 2 文目として BERT に入力することで，セクション表現を生成し，そこから被引用数を予測する. ただし， 2 文目として入力する内容は，BERT の最大大力長である 512 を超えないように，後半を切り捨てる. この手法は，計算コストの増加を抑えることができる一方で，入力できる内容は限定的である.

次に，各節を分割して活用する手法である階層構造 (分割) の概要を, 図 1 の (d) に示す. この手法では，まず各節の内容を 50 トークンずつオーバー ラップさせながらチャンクに分割し $[10,18]$, それぞれを BERTを用いてエンコードする。そして，それらのチャンク表現を Mean プーリングすることで，セクション表現を生成し，そこから被引用数を予測する。また，各チャンクをエンコードする際は，全ての場合で 1 文目に見出し， 2 文目にチャン

クを入力する.これは，2つ目以降のチャンクを入力する際に，チャンクのみを入力すると，BERTがパラメータを共有していることから，どの節のチャンクかを BERT が捉えることができないためである.この手法は, 階層構造 (先頭) と比べ，より多くの内容を扱うことができる一方で，計算コストは増加する. また, 計算コストの都合上, 各セクションの内容は最大で 8 つのチャンクに分割し, 残りのテキストは切り捨てる.

これらの 2 つの手法では，各セクション表現をプーリングにより集約することで被引用数を予測する.プーリング手法としては，単純な Mean に加え， Transformer を用いたより表現力が高い手法を採用する. Transformerによるプーリングでは, 各セクション表現を系列として 1 層の Transformer に入力し，その出力の平均を取ることでべクトルを集約する.

## 4 実験

## 4.1 タスク設定

本研究では，論文の本文から，その論文の発表から 1 年後の被引用数を予測するタスクに取り組む. ただし, 被引用数 $c$ に対し, $\log (c+1)$ を予測対象とする [18]. さらに本研究では, 先行研究 [23] で提案された，現実的な被引用数予測の設定を採用する. これは，学習データとして利用する論文の被引用数の情報を，評価用論文の発表時点に取得できるものに限定する設定であり，この設定を採用することで，より現実に即したモデルの評価が可能となる. この設定では，例えば評価用論文の 6 ヶ月前に発表された学習用論文は，発表から 6 ヶ月後の被引用数しか取得できない. すなわち, 発表から 1 年未満の学習用論文は発表から 1 年後の被引用数が取得できないため, 先行研究で提案された手法 [23]を用いて被引用数を補完し，学習データとして利用する.

## 4.2 データセット

本研究では, 計算言語学分野の論文から CLデー タセット, 生物学分野の論文から Bio データセットを構築し，実験を行う。

CL データセットは, 2014 年 6 月から 2020 年 6 月

構築しており, 被引用数を計算するための引用情報

1) https://arxiv.org/
は Semantic Scholar2) から取得する。論文の本文については，論文の HTML 版3)をパースすることで収集し，HTML 版の収集とパースができない論文については，データセットから除外する。 また, 先行研究 [23] に倣い, 本研究ではデータセットから 13 個のサブセットを作成し, 学習と評価を行う. 具体的には, 2019 年 6 月から 2020 年 6 月のうちのある月を起点として、そこから過去 5 年間に投稿された論文で起点別に 13 個のサブセットを作成し，それぞれのサブセットの最新月に投稿された論文を評価用論文，残りの論文を学習用論文とする．これらのサブセットのうち，2019年 6 月に発表された論文を評価用論文とするサブセットは, 開発セットとして用い，残りのサブセットは評価値の算出に用いる. また, サブセットの平均学習用論文数は 11383 , 平均評価用論文数は 449 であった.

Bio データセットは, 2015 年 4 月から 2021 年 4 月の間に bioRxiv4) の 3 つのカテゴリ ${ }^{5}$ に投稿された論文で構築し， bioRxivで公開されている HTML 版をパースすることで本文を収集する。また，CL デー タセットと同様に, Bio データセットから 2020 年 4 月から 2021 年 4 月に投稿された論文を評価用論文とする 13 個のサブセットを作成し，評価用論文が最も古いサブセットは, 開発セットとして用いる. これらのサブセットの平均学習用論文数は 5737, 平均評価用論文数は 256 であった.

## 4.3 評価方法

評価指標には，スピアマンの順位相関係数 $(\rho)$,平均二乗誤差 (MSE), 実際の上位 $n \%$ 論文が予測値の上位 $\mathrm{k} \%$ 論文に含まれる割合 $(\mathrm{n} \% @ \mathrm{k} \%)$ を用いる。 また，評価値は，各サブセットでそれぞれモデルの学習，評価用論文に対する予測を行い，全 12 ヶ月分の予測値を合わせて算出する．全ての設定において，異なるランダムシードで 3 回実験を行い，評価値の平均と標準偏差を算出する。

また，実験において一部の手法の予測値の平均が，正解值の平均と離れてしまい，MSEでの性能評価に悪影響があることが判明したため，開発セットにおける予測値の平均と正解值の平均の差を補正值とし, 評価時の予測値から補正値を引いた値に対し MSEを算出する MSE*も評価指標に加える。

2) https://www.semanticscholar.org/

3) https://ar5iv.labs.arxiv.org/

4) https://www.biorxiv.org/

5) Biochemistry, Plant Biology, Pharmacology and Toxicology
表 1 比較実験の結果. 階層構造の括弧内の 2 つ目の要素はプーリング手法を示す. (MSE, MSE*以外の評価値 $\times 100$ )

## 4.4 比較手法

本実験では，3 節で述べた手法に加え，BERT を用いた 2 つの手法を比較する. 1 つ目の BERT (title+abst) は，BERT にタイトルを 1 文目，アブストラクトを 2 文目として入力し，被引用数を予測する手法である. 2 つ目の BERT (先頭) は, Longformer (先頭) と同様に，本文の先頭部分を BERT に入力することで被引用数を予測する手法である.

## 4.5 実験設定

既存手法である SChuBERT は，ハイパーパラメー 夕の探索範囲を除き, 先行研究 [18] と同様の設定で実験を行う. その他の全ての手法では，BERT と Longformer の出力として, [CLS]トークンに対応するベクトル表現を利用し, モデルが最終的に出力したベクトルを全結合層に入力し, 線形変換を行うことで，予測值を出力する. また，予測値と正解值の MSE を損失として学習し, 学習中には, 最終的に出力したべクトルに Dropout [24]を適用する6).

## 4.6 結果

実験結果を表 1 に示す. 既存手法である SChuBERT を除き、論文の本文を活用した手法は，両方のデータセットにおいて BERT(title+abst)を上回っており，被引用数予測において，本文を活用することの有用性が確認できた。また，本文を活用する手法の中では, 本研究で提案した階層構造を利用する手法が最も高い性能を達成した. 提案手法

6）詳細な学習設定は付録 $\mathrm{A}$ を参照.
は，順位相関係数において，その他の全ての比較手法と比べ，CL データセットでは 5.1 ポイント以上, Bio データセットでは 1.8 ポイント以上上回っている. MSE や MSE*, $\mathrm{n} \% @ \mathrm{k} \%$ においても，ほとんどの場合で比較手法を上回っており，提案手法が CL と Bio という異なる分野の論文集合に汎用的に有用性を持つことを確認した．次に，提案手法におい $\tau$, 階層構造 (先頭) は, 階層構造 (分割) と同等以上の性能を示しており，各節の先頭部分のみを利用することで，計算コストの増加を抑えながら，高い予測性能が達成できることが判明した。また，セクション表現のプーリング手法においても，Mean より Transformer の方が全体的に高い性能を示すことを確認した．既存手法である SChuBERT は，CL データセットに対する MSE，MSE*は向上したものの, 他の場合では BERT (title+abst) と比べて, 同等以下の結果となった。これは，SChuBERT が本文全文を入力するために，BERT の fine-tuning を行わないことが原因であると考えられる [10].

## 5 おわりに

本研究では, 論文の階層構造を活用した被引用数予測手法を提案し，既存手法である SChuBERT や Longformer を利用した手法など複数の手法との比較実験を行い，提案手法の有効性を示した. 特に，提案手法において，各節の先頭部分のテキストのみを利用することで，計算コストの増加を抑えつつ，高い性能を達成できることを確認した. 今後の展望としては，引用グラフなど論文のテキスト以外の情報も同時に扱うモデルの構築をしたいと考えている.

## 謝辞

本研究の一部は, JST ムーンショット型研究開発事業 JPMJMS2033 の支援を受けたものです.

## 参考文献

[1] Daryl E. Chubin and Eugene Garfield. Is citation analysis a legitimate evaluation tool? Scientometrics, Vol. 2, pp. 91-94, 1979.

[2] Dagfinn W. Aksnes. Citation rates and perceptions of scientific contribution. J. Assoc. Inf. Sci. Technol., Vol. 57, pp. 169-185, 2006.

[3] Alfonso Ibáñez, Pedro Larrañaga, and Concha Bielza. Predicting citation count of bioinformatics papers within four years of publication. Bioinformatics, Vol. 25 24, pp. 3303-9, 2009.

[4] Anqi Ma, Yu Liu, Xiujuan Xu, and Tao Dong. A deeplearning based citation count prediction model with paper metadata semantic features. Scientometrics, Vol. 126, pp. 6803 - 6823, 2021

[5] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In NAACL, pp. 41714186, 2019.

[6] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, L ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. V. Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, NeurIPS, Vol. 30, 2017.

[7] Nikita Kitaev, Lukasz Kaiser, and Anselm Levskaya. Reformer: The efficient transformer. In ICLR, 2020.

[8] Iz Beltagy, Matthew E. Peters, and Arman Cohan. Longformer: The long-document transformer. arXiv, Vol. abs/2004.05150, , 2020.

[9] Arash Afkanpour, Shabir Adeel, Hansenclever de F. Bassani, Arkady Epshteyn, Hongbo Fan, Isaac Jones, Mahan Malihi, Adrian Nauth, Raj Sinha, Sanjana Woonna, Shiva Zamani, Elli Kanal, Mikhail Fomitchev, and Donny Cheung. Bert for long documents: A case study of automated icd coding. arXiv, Vol. abs/2211.02519, , 2022.

[10] R. Pappagari, Piotr Żelasko, Jesús Villalba, Yishay Carmiel, and Najim Dehak. Hierarchical transformers for long document classification. ASRU, pp. 838-844, 2019.

[11] Carlos Castillo, Debora Donato, and A. Gionis. Estimating number of citations using author reputation. In SPIRE, 2007.

[12] Feruz Davletov, Ali Aydin, and Ali Cakmak. High impact academic paper prediction using temporal and topological features. 112014.

[13] Nataliia Pobiedina and Ryutaro Ichise. Citation count prediction as a link prediction problem. Applied Intelligence, Vol. 44, pp. 252 - 268, 2015.

[14] Alireza Abrishami and Sadegh Aliakbary. Predicting citation counts based on deep neural network learning techniques. J. Informetrics, Vol. 13, pp. 485-499, 2018.

[15] Lawrence D. Fu and Constantin F. Aliferis. Models for predicting and explaining citation count of biomedical ar- ticles. AMIA, pp. 222-6, 2008

[16] Rui Yan, Jie Tang, Xiaobing Liu, Dongdong Shan, and Xiaoming Li. Citation count prediction: learning to estimate future citations for literature. In CIKM, 2011.

[17] Tanmoy Chakraborty, Suhansanu Kumar, Pawan Goyal, Niloy Ganguly, and Animesh Mukherjee. Towards a stratified learning approach to predict future citation counts. IEEE/ACM Joint Conference on Digital Libraries, pp. 351-360, 2014.

[18] Thomas van Dongen, Gideon Maillette de Buy Wenniger, and Lambertus Schomaker. SChuBERT: Scholarly document chunks with bert-encoding boost citation count prediction. In SDP, 2020.

[19] Manzil Zaheer, Guru Guruganesh, Kumar Avinava Dubey, Joshua Ainslie, Chris Alberti, Santiago Ontañón, Philip Pham, Anirudh Ravula, Qifan Wang, Li Yang, and Amr Ahmed. Big Bird: Transformers for longer sequences. arXiv, Vol. abs/2007.14062, , 2020.

[20] Jin Xue, Xiaoyi Tang, and Liyan Zheng. A hierarchical bert-based transfer learning approach for multidimensional essay scoring. IEEE Access, Vol. 9, pp. 125403-125415, 2021.

[21] Kyunghyun Cho, Bart van Merriënboer, Caglar Gulcehre, Dzmitry Bahdanau, Fethi Bougares, Holger Schwenk, and Yoshua Bengio. Learning phrase representations using RNN encoder-decoder for statistical machine translation. In EMNLP, pp. 1724-1734, Doha, Qatar, October 2014. Association for Computational Linguistics.

[22] Qizhe Xie, Zihang Dai, Eduard Hovy, Thang Luong, and Quoc Le. Unsupervised data augmentation for consistency training. In H. Larochelle, M. Ranzato, R. Hadsell, M.F. Balcan, and H. Lin, editors, NeurIPS, Vol. 33, pp. 62566268. Curran Associates, Inc., 2020.

[23] 平子潤, 笹野遼平, 武田浩一. 直近 1 年の動向を考慮した最新論文のインパクト予測. 言語処理学会第 25 回年次大会発表論文集, pp. 1262-1267, 2022.

[24] Nitish Srivastava, Geoffrey Hinton, Alex Krizhevsky, Ilya Sutskever, and Ruslan Salakhutdinov. Dropout: A simple way to prevent neural networks from overfitting. JMLR, Vol. 15, No. 56, pp. 1929-1958, 2014.

[25] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Remi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander Rush. Transformers: State-of-the-art natural language processing. In EMNLP: System Demonstrations, pp. 38-45, 2020 .

## A 詳細な学習設定

本研究では，BERT の初期重みとして，Transformers [25] で公開されている bert-base-uncased を, Longformer の初期重みとして, allenai/ longformer-base-4096を利用した．また，Transformer プーリングで用いた 1 層の Transformer は, BERTの最終層の重みを用いて初期化した。

既存手法である SChuBERT 以外の手法の学習では，バッチサイズは 32，最適化関数は AdamW を用い，全体の学習ステップの $10 \%$ で warm-up し, 残りのステップで線形に減衰する学習率スケジューリングを行った. また，エポック数は $\{3,4\}$, 学習率は $\{2 \mathrm{e}-5 ， 3 \mathrm{e}-5 ， 5 \mathrm{e}-5\}$ でグリッドサーチを行い，開発セットにおいて最も順位相関係数が高くなった值を利用した. SChuBERT では，エポック数のみハイパーパラメータ探索を行い，残りの設定については先行研究と同様に学習を行った. また，エポック数の探索範囲は，先行研究の值に基づき $\{20 ， 30 ， 40\}$ とした.


# Improving Peer-Review Score Prediction with Semi-Supervised Learning and Denoising Networks

Panitan Muangkammuen ${ }^{1}$, Fumiyo Fukumoto ${ }^{2}$, Jiyi $\mathrm{Li}^{2}$, and Yoshimi Suzuki ${ }^{2}$
${ }^{1}$ Integrated Graduate School of Medicine, Engineering, and Agricultural Sciences
${ }^{2}$ Interdisciplinary Graduate School
University of Yamanashi
\{g21dts04, fukumoto, jyli,ysuzuki\}@yamanashi.ac.jp
}

\begin{abstract}
Peer review aspect score prediction (PASP) is a valuable tool for improving the efficiency and effectiveness of academic peer review processes. However, the limited availability of labeled peer review data can pose a challenge for traditional supervised learning approaches. In this paper, we present a novel semi-supervised learning (SSL) method for PASP that leverages contextual features from unlabeled data to improve performance. Our approach incorporates the Long-Short Transformer (Transformer-LS), a transformer for long sequences with linear complexity, into the $\Gamma$-model, a variant of the Ladder network that utilizes a denoising autoencoder to reconstruct the input data from a corrupted version. By minimizing the reconstruction error of the auxiliary unlabeled data, it can help in training the classifier. We empirically demonstrate the superior performance of our system compared to the supervised and naive semi-supervised learning baselines on the PeerRead benchmark.
\end{abstract
## 1 Introduction

The increasing number of submissions to AI-related international conferences and journals has made the review process more challenging. Automatic peer-review aspect score prediction (PASP) is a valuable tool for improving the efficiency and effectiveness of the review process by providing reviewers and authors with a numeric score for different qualities of a paper, such as clarity and originality. The PeerRead dataset [1] is the first publicly available collection of scientific peer reviews for research purposes and has been used in a variety of applications, including paper acceptance classification $[2,3,4]$, review aspect score pre- diction [5, 6], citation recommendation [7], and citation count prediction [8].

Previous work on PASP has heavily relied on supervised learning techniques $[1,5]$. However, the available annotated datasets for this task are very restricted, which limits the overall performance of PASP models. To address this issue and improve PASP performance, we propose a semi-supervised learning (SSL) method that leverages contextual features from a larger, unlabeled dataset. Semisupervised learning has been widely used in various natural language processing (NLP) tasks, including classification $[9,10]$, sequence labeling [11, 12], and parsing [13, 14]. It has been shown to be effective in model learning by leveraging a large amount of unlabeled data to compensate for the lack of labeled data. Semi-supervised learning is particularly useful for PASP, as a vast number of scholarly papers are available online and can be easily obtained as unlabeled data.

Recently, transformers [15] have achieved state-of-theart results in a wide range of NLP tasks. However, transformer-based models are unable to process long sequences, such as academic papers, due to their selfattention operation, which scales quadratically with the sequence length. In this paper, we propose a semi-supervised learning technique for PASP that is capable of handling long sequences. Our approach is based on the combination of ladder networks (LNs) [16, 17] and the Long-short transformer (Transformer-LS) [18]. Ladder networks are a type of deep denoising autoencoder that incorporates skip connections and reconstruction targets at intermediate layers, while Transformer-LS is a transformer with a self-attention mechanism that is efficient for modeling long sequences with linear complexity. We propose the $\Gamma$ -

Figure $1 \Gamma$-TLS architecture. The corrupted path shown on the left-hand side shares the Transformer-LS's weights and mapping $f$ with the clean path on the right-hand side.

Transformer-LS ( $\Gamma$-TLS), which integrates a TransformerLS into the $\Gamma$-model [16], a variant of ladder networks. The unsupervised component of $\Gamma$-TLS utilizes a denoising autoencoder to help focus on relevant features derived from supervised learning.

To the best of our knowledge, our work is one of the first applications of SSL to the PASP task. Specifically, our contributions are as follows:

1. We propose $\Gamma$-TLS for PASP that incorporates a Transformer-LS into SSL by training the model using labeled and unlabeled data simultaneously.

2. The experimental results show that $\Gamma$-TLS outperforms the supervised learning baselines and naive SSL methods on the PeerRead benchmark.

## $2 \Gamma$-Transformer-LS ( $\Gamma$-TLS)

To overcome the limitation of the vanilla transformer [15] for long sequences, we adopt the Transformer-LS as the encoder of our framework. Transformer-LS is more memory and computationally efficient than the previous larger models, Longformer [19] and Transformer-XL [20]. For the SSL technique, we choose a denoising network called the $\Gamma$-model [16], which is a variant of ladder networks (LNs). The $\Gamma$-model eliminates most of the decoder, retaining only the top layer, which allows it to be easily integrated into any network without implementing a separate decoder. The encoder in the $\Gamma$-model still includes both the clean and corrupted paths, as in the full ladder network (LN).

Table 1 Statistics of the ACL Dataset.

Figure 1 illustrates the $\Gamma$-Transformer-LS ( $\Gamma$-TLS). Let $\mathbf{x}$ be the input and $y$ be the output with targets $t$. The supervised data of size $N$ consists of pairs $\{\mathbf{x}(n), t(n)\}$, where $1 \leq n \leq N$. The unsupervised data of size $M$ has only input $\mathbf{x}$ without the targets $t$, an $\mathbf{x}(n)$, where $N+1 \leq$ $n \leq N+M$. The network comprises two forward passes, the clean path, and the corrupted path. The clean path, illustrated on the right-hand side in Figure 1, produces clean representation $\mathbf{z}$ and clean output $\mathbf{y}$, given by:

$
\begin{aligned}
& \mathbf{z}=f(\mathbf{h})=N_{B}(\mathbf{W h}) \\
& \mathbf{y}=\phi(\gamma(\mathbf{z}+\beta)) \\
& \mathbf{h}=T L S(\mathbf{x})
\end{aligned}
$

where $\mathbf{h}$ denotes the hidden representation obtained from Transformer-LS $(T L S), \mathbf{W}$ is the weight matrix of the linear transformation $f$, and $N_{B}$ indicates a batch normalization. $\phi$ refers to an activation function, where $\beta$ and $\gamma$ are trainable scaling and bias parameters, respectively.

The corrupted representation $\tilde{\mathbf{z}}$ and corrupted output $\tilde{\mathbf{y}}$ are produced by adding Gaussian noise $\mathbf{n}$ in the corrupted path (left-hand side of Figure 1). The noise $\mathbf{n}$ is applied to the output of each layer of the Transformer-LS $(T L S)$ :

$
\begin{aligned}
& \tilde{\mathbf{z}}=f(\tilde{\mathbf{h}})+\mathbf{n} \\
& \tilde{\mathbf{y}}=\phi(\gamma(\tilde{\mathbf{z}}+\beta)) \\
& \tilde{\mathbf{h}}=T L S(x)+\mathbf{n} .
\end{aligned}
$

The supervised cost $C_{s}$ is the average negative $\log$ probability of the corrupted output $\tilde{\mathbf{y}}$ matching the target $t_{n}$ given the input $\mathbf{x}_{n}$ :

$
C_{s}=-\frac{1}{N} \sum_{n=1}^{N} \log P\left(\tilde{\mathbf{y}}=t_{n} \mid \mathbf{x}_{n}\right)
$

Given the corrupted $\tilde{\mathbf{z}}$ and prior information $\tilde{\mathbf{y}}$, the denoising function $g$ reconstructs the denoised $\hat{\mathbf{z}}$ :

Table 2 Experimental results. The best result is in bold, and the $2 \mathrm{nd}$ best is underlined.

$
\begin{aligned}
\hat{\mathbf{z}} & =g(\tilde{\mathbf{z}}, \mathbf{u}) \\
\mathbf{u} & =N_{B}(\tilde{\mathbf{y}}),
\end{aligned}
$

where $g$ is identical to the one of the $\mathrm{LN}$ [16] consisting of its own learnable parameters. The unsupervised denoising cost function is given by:

$
C_{d}=\frac{1}{N+M} \sum_{n=1}^{N+M} \frac{\lambda}{d}\left.\|\mathbf{z}_{n}-N_{B}\left(\hat{\mathbf{z}}_{n}\right)\right.\|
$

where $\lambda$ is a coefficient for unsupervised cost, and $d$ refers to the width of the output layer. The final cost $C$ is given by:

$
C=C_{s}+C_{d}
$

## 3 Experiments

## 3.1 Setup

Data The ACL 2017 dataset, included in PeerRead [1], is used as evaluation data for our PASP system. The ACL dataset consists of 7 different aspects of scores as listed in Table 1. These aspect scores were derived from a mean of multiple reviews and classified into two categories: positive (scores of 4 or higher) and negative (scores lower than 4). Although the PeerRead dataset contains both paper and review texts, we only used the papers to predict the aspect scores. We utilized the first 8,192 tokens of the paper as the input. We used SciVocab [21] WordPiece vocabulary for tokenization. For the unlabeled data, we used the ACL papers from ScisummNet Corpus ${ }^{1)}$ [22], which provides 999 papers in the ACL anthology.

To evaluate all systems, we employed a 5-fold crossvalidation strategy, in which the final result was calculated as the average of the five folds. As the evaluation metrics, we utilized both accuracy and Macro F1 score. This allows us to comprehensively assess the performance of our systems in terms of both the proportion of correct predictions and the balance between precision and recall.

Baseline models The competitor algorithms that are used as baselines for our model are the following:
- CNN - We implemented a CNN model similar to one in PeerRead [1]. The outputs from the CNN model are passed through a max pooling layer and finally through the final linear layer.
- VAT [9] - An SSL method that exploits information from unlabeled data by applying perturbations to the word embeddings in a neural network. The model utilizes LSTM to learn from sequential inputs.
- HAN [23] - A hierarchical attention network for document classification. The model consists of two levels of attention mechanisms at the word and sentence levels to construct the document representation.
- Multi-task [5] - A multi-task approach that automatically selects shared network structures and other review aspects as auxiliary resources. The model is based on the CNN text classification model.
- Transformer-LS [18] - A transformer for modeling long sequences with linear complexity. We used the

Figure 2 Accuracy against the number of labeled data on Overall recommendation score prediction. The number of unlabeled data is fixed to 999 for $\Gamma$-TLS.

output of the last layer of the [CLS] token as the document representation for the classifier.

The implementation details are shown in Appendix A Implementation details.

## 3.2 Results

The results are listed in Table 2. Our model, $\Gamma$-TLS, demonstrated superior performance in several aspects compared to the baseline models. When evaluated using the accuracy metric, $\Gamma$-TLS outperformed the baseline models on four aspects: Clarity, Soundness Correctness, Substance, and Overall Recommendation. Additionally, $\Gamma$-TLS outperformed the baseline models when evaluated using the Macro F1 score metric on two aspects: Subtance and Overall Recommendation. Overall, $\Gamma$-TLS performed the best out of all the models across an average of seven aspects on both metrics.

Additionally, we observe that the Transformer-LS outperforms the CNN by almost $5 \%$ in accuracy and $10 \%$ in Macro F1 score, which shows that the attention mechanism is relatively more effective for modeling the documents. By applying a hierarchical structure, SSL, or multi-task learning technique, the performance is also further improved.

## 3.3 Ablation study

In comparison to the Transformer-LS model, the incorporating of a denoising network (ladder network) into Transformer-LS resulted in improved performance in almost every aspect, except for Impact on the accuracy and Impact and Meaningful Comparison on Macro F1 score. On average, $\Gamma$-TLS outperformed Transformer-

Figure 3 Accuracy against the number of unlabeled data on Overall recommendation score prediction.

LS by $2.3 \%$ in accuracy and $3.4 \%$ in terms of Macro F1 score metric. This indicates that our assumption, leveraging contextual features from unlabeled data, helps to improve performance.

We also investigated how the number of labeled data used for training affects the overall performance. As shown in Figure 2, increasing the number of labeled data tends to improve the performance of both $\Gamma$-TLS and TransformerLS, with the exception of a labeled data count of 50, where the results were not significantly different. Overall, $\Gamma$-TLS consistently outperformed Transformer-LS, which shows that our proposed SSL method is stably effective on small training data. In addition, the effect of the number of unlabeled data on model performance was examined, as shown in Figure 3. The results indicate that $\Gamma$-TLS's performance improved when the number of unlabeled data was increased from 100 to 400 , but saw no further improvement beyond that point. Our model, $\Gamma$-TLS, still outperforms the Transformer-LS by using only 100 unlabeled data.

## 4 Conclusion

In this paper, we focused on the task of automated peer review aspect score prediction (PASP) and proposed a novel method called $\Gamma$-TLS. The method integrates the Transformer-LS model with the denoising network, the $\Gamma$-model of ladder networks. Our experimental results showed that $\Gamma$-TLS outperformed the baseline models on average accuracy and F1 score. In future research, we plan to investigate ways to leverage related information between aspects for our model, as well as to generate more knowledgeable and explainable review comments.

## Acknowledgement

This work was supported by JKA and JST SPRING, Grant Number JPMJSP2133.

## References

[1] Dongyeop Kang, Waleed Ammar, Bhavana Dalvi, Madeleine van Zuylen, Sebastian Kohlmeier, Eduard Hovy, and Roy Schwartz. A dataset of peer reviews (PeerRead): Collection, insights and NLP applications. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 1647-1661, 2018.

[2] Tirthankar Ghosal, Rajeev Verma, Asif Ekbal, and Pushpak Bhattacharyya. DeepSentiPeer: Harnessing sentiment in review texts to recommend peer review decisions. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 1120-1130, 2019.

[3] Gideon Maillette de Buy Wenniger, Thomas van Dongen, Eleri Aedmaa, Herbert Teun Kruitbosch, Edwin A. Valentijn, and Lambert Schomaker. Structure-tags improve text classification for scholarly document quality prediction. In Proceedings of the First Workshop on Scholarly Document Processing, pp. $158-167,2020$.

[4] Panagiotis Fytas, Georgios Rizos, and Lucia Specia. What makes a scientific paper be accepted for publication? In Proceedings of the First Workshop on Causal Inference and NLP, pp. 44-60, 2021.

[5] Jiyi Li, Ayaka Sato, Kazuya Shimura, and Fumiyo Fukumoto. Multi-task peer-review score prediction. In Proceedings of the First Workshop on Scholarly Document Processing, pp. 121-126, 2020

[6] Qingyun Wang, Qi Zeng, Lifu Huang, Kevin Knight, Heng Ji, and Nazneen Fatema Rajani. ReviewRobot: Explainable paper review generation based on knowledge synthesis. In Proceedings of the 13th International Conference on Natural Language Generation, pp. 384-397, 2020.

[7] Chanwoo Jeong, Sion Jang, Hyuna Shin, Eunjeong L. Park, and Sungchul Choi. A context-aware citation recommendation model with bert and graph convolutional networks, 2019.

[8] Thomas van Dongen, Gideon Maillette de Buy Wenniger, and Lambert Schomaker. SChuBERT: Scholarly document chunks with BERT-encoding boost citation count prediction. In Proceedings of the First Workshop on Scholarly Document Processing, pp. 148-157, 2020

[9] Takeru Miyato, Andrew M. Dai, and Ian Goodfellow. Adversarial training methods for semi-supervised text classification, 2016.

[10] Changchun Li, Ximing Li, and Jihong Ouyang. Semi-supervised text classification with balanced deep representation distributions. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 5044-5053, 2021.

[11] Michihiro Yasunaga, Jungo Kasai, and Dragomir Radev. Robust multilingual part-of-speech tagging via adversarial training. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 976-986, 2018.

[12] Luoxin Chen, Weitong Ruan, Xinyue Liu, and Jianhua Lu. SeqVAT: Virtual adversarial training for semi-supervised sequence labeling. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 8801-8811, 2020.
[13] Xiao Zhang and Dan Goldwasser. Semi-supervised parsing with a variational autoencoding parser. In Proceedings of the 16th International Conference on Parsing Technologies and the IWPT 2020 Shared Task on Parsing into Enhanced Universal Dependencies, pp. 40-47, 2020.

[14] Kyungtae Lim, Jay Yoon Lee, Jaime G. Carbonell, and Thierry Poibeau. Semi-supervised learning on meta structure: Multi-task tagging and parsing in low-resource scenarios. In The ThirtyFourth AAAI Conference on Artificial Intelligence, AAAI 2020, The Thirty-Second Innovative Applications of Artificial Intelligence Conference, IAAI 2020, The Tenth AAAI Symposium on Educational Advances in Artificial Intelligence, EAAI, pp. 8344-8351. AAAI Press, 2020.

[15] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need, 2017.

[16] Antti Rasmus, Harri Valpola, Mikko Honkala, Mathias Berglund, and Tapani Raiko. Semi-supervised learning with ladder networks, 2015.

[17] Harri Valpola. From neural pca to deep unsupervised learning, 2014.

[18] Chen Zhu, Wei Ping, Chaowei Xiao, Mohammad Shoeybi, Tom Goldstein, Anima Anandkumar, and Bryan Catanzaro. Long-short transformer: Efficient transformers for language and vision, 2021.

[19] Iz Beltagy, Matthew E. Peters, and Arman Cohan. Longformer: The long-document transformer, 2020.

[20] Zihang Dai, Zhilin Yang, Yiming Yang, Jaime Carbonell, Quoc Le, and Ruslan Salakhutdinov. Transformer-XL: Attentive language models beyond a fixed-length context. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 2978-2988, 2019.

[21] Iz Beltagy, Kyle Lo, and Arman Cohan. SciBERT: A pretrained language model for scientific text. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3615-3620, 2019.

[22] Michihiro Yasunaga, Jungo Kasai, Rui Zhang, Alexander R. Fabbri, Irene Li, Dan Friedman, and Dragomir R. Radev. Scisummnet: A large annotated corpus and content-impact models for scientific paper summarization with citation networks, 2019.

[23] Zichao Yang, Diyi Yang, Chris Dyer, Xiaodong He, Alex Smola, and Eduard Hovy. Hierarchical attention networks for document classification. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 1480-1489, 2016.

## A Implementation details

## A. 1 CNN

We used a simple MLP with a single hidden layer of 128 neurons with the max pooling of a single 1D-CNN layer of 128 filters and window width 5 . We used a random initialization for the word embeddings size of 128 and trained it with the model. We trained the model using AdamW optimizer on a linear scheduler, a learning rate of 1e-4 with a batch size of 8 .

## A. 2 HAN

We set the max sentence length to 100 tokens and the max number of sentences to 600 . We used a bidirectional single-layer GRU size of 100 with an attention mechanism to aggregate the representation on both word and sentence levels. we also used a random initialization for the word embeddings size of 300. The model was trained on AdamW optimizer, learning rate of $5 \mathrm{e}-5$, and batch size of 8 .

## A. 3 VAT

## A.3.1 Recurrent LM Pre-training

We used a unidirectional single-layer LSTM with 128 hidden units. The dimension of word embedding was 128 . For the optimization, we used the Adam optimizer with a batch size of 32, an initial learning rate of 0.001 , and a 0.9999 learning rate decay factor. We trained for 50 epochs. We applied gradient clipping with norm set to 5.0. We used dropout on the word embedding layer and an output layer with a 0.5 dropout rate.

## A.3.2 Model Training

We added a hidden layer between the softmax layer for the target and the final output of the LSTM. The dimension is set to 30. For optimization, we also used the Adam optimizer, with a 0.001 initial learning rate and 0.9998 exponential decay. Batch sizes are set to 32 and 96 for calculating the loss of virtual adversarial training. We trained for 30 epochs. applied gradient clipping with the norm as 5.0 .

## A. 4 Multi-task

We modified the model from performing a regression task to a classification task by changing the output layer. We used CNN with 64 filters and filter width of 2 . We used fastText as initial word embeddings. The hidden dimension was 1024. We trained the model using Adam optimizer with learning rate 0.001 and batch size of 8 . We trained all of the candidate multi-task models for two auxiliary tasks to find the best one.

## A. 5 Transformer-LS

We used two layers of transformer-ls size 256 with 4 attention heads. The local window attention was set to 128. A [CLS] token was used as a global token. We used dropout and attention dropout of 0.1 . We trained the model using AdamW optimizer on a linear scheduler with batch size 8 . We tuned the learning rate in the range of $\{1 \mathrm{e}-2$, $1 \mathrm{e}-3,1 \mathrm{e}-4\}$

## A. 6 Г-TLS

We used the same architecture as the Transformer-LS (A.5). The denoising cost multipliers $\lambda$ is set to 1 . We tuned the std of the Gaussian corruption noise in the range of $\{0.1,0.2,0.3\}$. We also tuned the learning rate in the range of $\{1 e-2,1 e-3,1 e-4\}$. Batch size is set to 8 for both labeled and unlabeled data, 16 in total.


# 日本語意見分析コーパスの構築に向けた アスペクト情報の特徵分析

村上浩司 ${ }^{1,2}$ 中山 祐輝 ${ }^{2}$ Ikuko Hardaway ${ }^{1}$
${ }^{1}$ Rakuten Institute of Technology, Rakuten USA
2 楽天技術研究所 楽天グループ株式会社
\{koji .murakami , yuki.b. , ikuko. hardaway\}@rakuten.com

## 概要

我々はアスペクト情報を考慮した日本語意見分析コーパスを構築してきた. 文中に存在するアスペク卜表現を抽出するため，それらの認定に関してはその範囲の決定や対象表現の選別など，作業を進める上で考慮すべき点が多数ある．本論文ではアスペクト表現と評価表現について定義を行い，実際の小規模のアノテーション作業で明らかになった課題について整理すると共に，現状のコーパスを利用したアスペクト表現抽出の予備実験を行った。

## 1 はじめに

近年，製品に対するカスタマーレビューやツイー トなどの意見を表現するテキストの分析の重要性が増している．文を対象とした肯定・否定の極性判定だけではなく，さらに具体的な情報を利用することで顧客の意図や要望を特定し利用することが求められている。例えばあるホテルの朝食について，「朝食の味噌汁は冷めていた」から「評価対象＝朝食, 属性 $=$ 品質, 評価表現 $($ 極性 $)=$ 冷めていた（否定)」のような情報を抽出することで，文全体が否定であるという文の極性判定だけでは見えてこない業務の問題点などが明確化する.

そのためには評価極性だけではなく，評価対象，属性といったアスペクト情報を考慮した意見分析 (Aspect-Based Sentiment Analysis: ABSA) が重要であり $[1,2,3,4,5]$ ，タスクを進める上でそれらの情報が付与されたコーパスが必須である. 英語のデータセットはこれまでに多く開発され，そのうち SemEvalで行われた ABSA タスクの評価コーパス $[6,7,8]$ や MAMS[2] などが幅広く使われている.日本語では NTCIR 多言語意見分析コーパス ${ }^{11}$ や

TSUKUBAコーパス2)などウェブ上で入手できるものがいくつかあるが，これらはアスペクト情報を考慮しない意見分析に特化している $[9,10,11,12]$.

新里ら [1] は，楽天市場の店舗レビューを“配送”, “梱包”などのアスペクトカテゴリとその極性カテゴリに分類する手法を提案したが，実験で用いられたコーパスは非公開である。栗原ら [13] は，ドメインを限定しない Twitterによる評判分析を目的とした評価対象と評価表現を抽出するための日本語 ABSA データセット3)を構築した。論文化されてはいないものの，アスペクトカテゴリとその極性の評価に対応しているコーパスとして，上場企業の決算報告書をドメインとした chABSA-dataset ${ }^{4}$ がある.

意見分析タスクは文の評価対象などのアスペクト情報などを扱う方向性とは別に，極性の強さや感情の種類，意見の立場なども注目されており，近年こうした種類の情報を付与したコーパスも構築されている $[14,15]$.

我々はアスペクト情報を考慮した日本語意見分析コーパスを構築してきた $[17,16]$. このコーパスは楽天トラベル5)の施設に対するユーザレビュー中の各文に対しアスペクトカテゴリ及びその評価極性の付与作業を行ったものである．本論文では現状のコーパスを拡張しアスペクト表現および評価表現を付与を目的として，そのために必要なコーパス設計と事例分析について述べる。具体的には抽出する情報の定義を行い，“朝食”が対象になる文を対象に先行して行ったアノテーション作業から，議論が必要な事例の分析と作業の方針を策定する。また，作業済みの文を対象にした 2 種類の ABSA 手法による予備抽出実験を行い，その結果から事例の特徵を分析

表 1 アスペクト表現と評価極性に関しての SemEval との比較

することでコーパスの性質について考察する.

## 2 コーパスの設計と構築

これまでに構築した日本語意見分析コーパス $[17,16]$ を拡張し，アスペクト表現と評価表現を付与する。ここではアスペクト表現，評価表現の扱いと定義，作業方針について述べる。

## 2.1 アスペクト表現・評価表現の取り扱い

アスペクト表現は 2014 年の SemEval サブタスク (1)[6] において認識対象とされた. 固有名詞，一般名詞，それらの複合名詞が認識すべきアスペクト表現となった。またアスペクト表現のクラス（レストランドメインでは，“食べ物”，“サービス”，“值段”などを予め定義）をアスペクトカテゴリとした. 2015 年，2016 年においてはアスペクト表現は直接の抽出対象とはなっておらず，アスペクトカテゴリの定義が変更された. 新しいアスペクトカテゴリはエンティティ (E) とその属性 (A) の組み合わせ “E\#A"で定義され，このアスペクトカテゴリとその極性認識がタスクとなった．EとＡは予め定義されたエンティティタイプおよび属性ラベルからそれぞれ選択される。そしてさらに，エンティティの実体を指す表現 (OTE:Opinion Target Expressions) の抽出もタスクとなっている。また，SemEval においては一貫して評価表現の抽出については行っておらず， アスペクトカテゴリを同定する上で間接的に評価表現やその極性が利用されていると考えられる。

しかしながらこうした SemEval のタスク設定では，書き手が「どんな種類のことについてどういう態度で言及したか」は判定できるものの，具体的に何についてどんな表現で満足・不満足を示しているかわからないことから，さらに我々は記載される実際のアスペクトを示す表現と評価表現の抽出を考える必要がある. SemEval で抽出対象となった情報と，我々が抽出したい情報の比較を表 1 に示す。抽出したい情報の種類も異なるが，我々はアスペクト表現に関しては SemEval のように名詞に限定しないことも違いである.

## 2.2 エンティティと属性，評価表現の定義

SemEval で取り扱うエンティティ (E) と属性 (A) は，小林ら [18] の意見分析抽出で用いられている 3 つ組〈対象，属性，評価値〉のうちの “対象”と “属性”と同様である．小林らの定義では，対象は「対象となっている商品名，サービス名」，属性は「意見で述べられる対象の部分や性質」，評価表現は「対象もしくは属性の質や量についての評価者の好悪を示す態度」となっている。

我々は対象 (=エンティティ)を，これまで扱ってきた 7 種類のアスペクトのトピック（朝食，夕食,立地，サービス，風呂，部屋，設備・アメニティ） を示す表現と定義する。朝食の場合であれば朝食を示す “朝飯”，“ブレックファスト”などの表現，もしくは具体的なメニューである “フレンチトースト” や“クロワッサン”などである．また，属性と評価表現は小林らの定義をそのまま利用する。

## 2.3 アノテーションの基本方針

作業を行うデータには，上で述べたアスペクトのトピックと評価極性が付与されてあることから，これら 2 つの情報が付与してある文を対象に，象 $(\mathrm{E})$ ，属性 $(\mathrm{A})$ ，評価表現 $(\mathrm{P})>$ の 3 つ組の同定を行う．具体例を示す.

・朝ごはんは美味しかった.〈朝ごはん，NULL，美味しかった〉

・朝ごはんで食べた味噌汁の風味は最高でした。〈味噌汁，風味，最高〉

対象と属性は，レビュー内で明示的に書かれない場合がありその時は “NULL”とする。また，評価表現が属性を含む場合がある．例えば“美味しい”といえば味，“高い”といえば値段といった属性を示すが，文中には存在しないため属性は NULL のままにする。また，着目する文中の対象または属性が NULL の場合に，レビュー内の着目文の前文に指し示す表現がある場合，ゼロ照応問題として，“NULL （実体）”という形式で記述することとする.

## 2.4 アノテーションの課題

実際に“朝食”に関してのレビュー文へのアノテーション作業を全体 [16] の 5 \%程度に対し先行して行った. 前節で定義した対象，属性，評価表現は全ての文で容易に作業できる形で出現するとは限らない. 作業した 789 文には肯定評価が 694 文，否定評価は 115 文， 20 文に肯定否定の両方の極性が含まれていた。そのうち肯定評価文には 58 文，否定評価文には 14 文，それぞれ作業が難しい事例が含まれていた. これらの作業の難しい文を分析することでいくかの課題に分類された. 代表的な課題について事例とともに説明する。

## 2.4.1 属性相当を表現する節

属性は“（対象）の（属性）”という形で出現するのが典型的なパタンである。例えば“（朝食）の (地元食材)"といった形式である. しかしながら， “地元食材で作られた朝食” のような連体節で出現する場合や，上の例のような節を伴って出現する場合もある。また，節は下の例のように理由節が出現することあるが，属性を含む場合とそうでない場合がある. アノテーションでは, 属性の有無に着目して作業する必要がある. 属性の種類は予め決めることができないので作業に伴い拡充することになる.
- 朝食も，地元の食材を使ってあり，美味しく頂きました.
- 朝食の量も自分に合わせて食べられるので良かったです.

・食事は郷土料理が出てきたので, 凄く良かった.

## 2.4.2 特殊な評価表現

評価者の態度を示す評価表現は評価極性を持つ述語で示されることが多いが，記号や数字で表現される場合がある。こうした数字や記号は述語ではないものの, 評価者の態度を示すことから評価表現として扱うこととする.

また，極性を持たない名詞に存在を表す動詞 “ある・いる”もしくは形容詞 “ない”が続く場合に評価表現と考えられる場合があった. 存在を表す動詞は，評価表現の定義である “評価者の態度” を直接表さないものの，属性の表現との組み合わせの場合は評価表現として扱う。

・朝食はさすが！の一言です.
・しかし，料理の味は2でした。

・特に朝食は力を入れているだけあって.

・少量といいつつ，しっかりと量がありました!

## 2.4.3 間接評価, 比較評価

ユーザの意見は必ずしも対象の属性について述べられずに，間接的な表現や他者との比較で肯定，否定を表す事例があった。これらは 3 つ組で捉えられないため，例外として考慮する必要がある。

・朝食は，無料のレベルではない.

・もうけがないのではないかと心配したくらいです.

・朝食は，あれで 1500 円以上払う気はしないですねい.

・朝食のバイキングは温泉旅館のものより数段上.

## 2.4.4 願望・提案・条件

レビュー文の中には，対象，属性，評価表現を含むものの，それらが条件付きであったり，「〜はずだった」のような事実に対する意見ではない表現がある.ここではこうした文には作業を行わないこととする.

・あれもこれも食べればよかったと後悔しています。

・トマトジュースがあればもっと嬉しかったかな.

・ホントに美味しいものを少しずつ楽しみたい世代には至高の幸せです.

表 2 実験結果

## 3 予備実験

アスペクト表現の抽出タスクを BIO チャンキングとして定式化し, 評価コーパスの性質を実験によって分析した. 2.3 節で説明した作業方針を踏襲し，6,012 文に対して追加のアノテーションを行い, 4,761 文を学習データ，1,251 文をテストデータとして用いた. 抽出手法として，固有表現抽出タスクで近年頻繁に使用されている BERT-CRF [19] を用い
表 3 出力結果の例

 & & 生きたアワビの酒蒸し\} \\

た.また，アスペクト表現抽出の既存手法からは， コードが公開されているかつ 2021 年 11 月現在で最高値を達成した DILBERT [20]を選択した. 各手法の詳細を以下に示す。

BERT-CRF アスペクトカテゴリなどのアスペクト情報は入力として与えず，トークナイズした入力系列を [CLS] トークンと [SEP] トークンで挟んだ系列をモデルの入力とした. BERTの事前学習モデルは, 東北大学が提供している BERT-base ${ }^{6)}$ (以降, BERT $_{B}$-CRF) と BERT-large ${ }^{7}$ (以降， BERT ${ }_{L}$-CRF) の 2 種類を用いた.

DILBERT DILBERT は，ドメイン適応のための事前学習手法であり，アスペクトカテゴリベースのマスク言語モデルタスク（以下，CMLM）とアスペクトカテゴリ予測タスクの二つからなる。標準的なマスク言語モデルは，マスクされる語がランダムに選択されるのに対して，CMLM はアスペクトカテゴリに類似した語にマスクするという特徴がある。 これにより，アスペクトと思われる表現に注意が向けられることで，標準的な事前学習手法よりもアスペクト抽出タスクにおいて優れた結果を達成したという報告がある. 本実験では， Nakayama ら [16] の7 種類のアスペクトのトピックを DILBERT の事前学習に用いた。

表 2 に各手法の実験結果を示す. DILBERT が BERT-CRF とくらべて，優れた F1 スコアを達成した。両手法における成功事例と失敗事例を分析することで，各手法の特長を分析するともに本コーパスを用いた抽出タスクの難しさを調査した。表 3 に DILBERT と BERT $_{L}$-CRF との出力例を示す. (a), (b), (c)は，DILBERT が全てのアスペクト表現の抽出に成功したのに対して, BERT $_{L}$-CRF は一部のアスペクト表現を取りこぼした事例である. DILBERT と $\mathrm{BERT}_{L}-\mathrm{CRF}$ 両方とも，抽出対象が「食事」や「接客」といったレビュー中に頻出する単一名詞の表現は高確率で抽出できていた．DILBERTでは， $\mathrm{BERT}_{L}-\mathrm{CRF}$ とくらべて「ホスピタリティ」や「接客」のような「サービス」の類義語をより獲得できる手法であることがわかった．また，DILBERT は 「蟹満喫プラン」や「生きたアワビの酒蒸し」のような長い系列で表現される料理名や食事プランを抽出できるという傾向も見られた。これらは，レビュー 中の語とアスペクトカテゴリ間のベクトルの類似性を事前学習時に考慮するため，アスペクトカテゴリに関連する語を積極的に抽出する傾向にあったためだと考えられる。一方 (d)では，両手法とも「ぷっくりしたホタルイカ」というアスペクト表現を抽出できなかった。事例 (a) と (b) にそれぞれある「蟹」 や「アワビ」は学習データに含まれていたのに対して，「ホタルイカ」は学習データに含まれず対処できなかったことが原因だと考えられる。

## 4 おわりに

我々はこれまで，宿泊施設レビューに記述されるアスペクトカテゴリと評価極性を付与した日本語 ABSA コーパスを構築してきてきた。本論文ではこのコーパスをもとに，更に具体的なアスペクト表現となる対象（エンティティ）とその属性および評価表現を追加付与するため，それぞれの要素の定義を行い，アノテーションの基本方針について議論と，実データが示す課題について述べた。

また BERT-CRF および DILBERT ベースの分類器により予備分類実験を行い，その結果からそれぞれの分類器の処理傾向を考察して今後の課題を検討した. 定義に従ってコーパス全体にアノテーションを行いリリースすることが今後の課題である．構築するコーパスは, 国立情報学研究所の情報学研究デー タレポジトリ8）（IDR）にて追加公開の予定である.

8) https://www.nii.ac.jp/dsc/idr/rakuten/

## 参考文献

[1] 新里圭司, 小山田由紀. 店舗レビューには何が書かれているか?一調査及び自動分類システムの開発一. 自然言語処理, Vol. 25, No. 1, pp. 57-79, 2018.

[2] Qingnan Jiang, Lei Chen, Ruifeng Xu, Xiang Ao, and Min Yang. A challenge dataset and effective models for aspect-based sentiment analysis. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 6280-6285, 2019.

[3] Ruidan He, Wee Sun Lee, Hwee Tou Ng, and Daniel Dahlmeier. An interactive multi-task learning network for end-to-end aspect-based sentiment analysis. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 504515, 2019.

[4] Minh Hieu Phan and Philip O. Ogunbona. Modelling context and syntactical features for aspect-based sentiment analysis. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 3211-3220, 2020

[5] Jiaxin Huang, Yu Meng, Fang Guo, Heng Ji, and Jiawei Han. Weakly-supervised aspect-based sentiment analysis via joint aspect-sentiment topic embedding. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 69896999, 2020.

[6] Maria Pontiki, Dimitris Galanis, John Pavlopoulos, Harris Papageorgiou, Ion Androutsopoulos, and Suresh Manandhar. SemEval-2014 task 4: Aspect based sentiment analysis. In Proceedings of the 8th International Workshop on Semantic Evaluation (SemEval), pp. 27-35, 2014.

[7] Maria Pontiki, Dimitrios Galanis, Haris Papageorgiou, Suresh Manandhar, and Ion Androutsopoulos. SemEval2015 task 12: Aspect based sentiment analysis. In Proceedings of the 9th International Workshop on Semantic Evaluation (SemEval), pp. 486-495, 2015.

[8] Maria Pontiki, Dimitris Galanis, Haris Papageorgiou, Ion Androutsopoulos, Suresh Manandhar, Mohammad ALSmadi, Mahmoud Al-Ayyoub, Yanyan Zhao, Bing Qin, Orphée De Clercq, Véronique Hoste, Marianna Apidianaki, Xavier Tannier, Natalia Loukachevitch, Evgeniy Kotelnikov, Nuria Bel, Salud María Jiménez-Zafra, and Gülşen Eryiğit. SemEval-2016 task 5: Aspect based sentiment analysis. In Proceedings of the 10th International Workshop on Semantic Evaluation (SemEval), pp. 19-30, 2016

[9] Yohei Seki, Lun-Wei Ku, Le Sun, Hsin-His Chen, and Noriko Kando. Overview of multilingual opinion analysis task at NTCIR-8. In Proceedings of the Seventh NTCIR Workshop, 2010

[10] 関洋平. 意見分析コーパスの現状と課題. 情報処理学会論文誌データベース（TOD）, Vol. 6, No. 4, pp. 85-103, 2013 .

[11] 藤井敦, 乾孝司, 中山卓哉. レビュー解析「レビュー 解析を題材とした「誤り分析マニュアル」の試作に向けた検討」. 言語処理学会第 21 回年次大会ワークショップ：自然言語処理におけるエラー分析, 2015.

[12] 藤井敦, 乾孝司. 自然言語処理技術の現状と展望一エラー分析プロジェクトを通して一: 3.11 レビュー 解析一誤り分析におけるプロセスとプロダクト一.情報処理, Vol. 57, No. 1, pp. 30-31, 2016.

[13] 栗原理聡, 水本智也, 乾健太郎. Twitter による評判分析を目的とした評価対象-評価表現データセット作成. 言語処理学会第 24 回年次大会発表論文集, pp. 344-347, 2018.

[14] Haruya Suzuki, Yuto Miyauchi, Kazuki Akiyama, Tomoyuki Kajiwara, Takashi Ninomiya, Noriko Takemura, Yuta Nakashima, and Hajime Nagahara. A japanese dataset for subjective and objective sentiment polarity classification in micro blog domain. In Proc. of the 13th Conference on Language Resources and Evaluation (LREC 2022), pp. 7022-7028, 2022.

[15] Tomoyuki Kajiwara, Chenhui Chu, Noriko Takemura, Yuta Nakashima, and Hajime Nagahara. Wrime: A new dataset for emotional intensity estimation with subjective and objective annotations. In Proc. of 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 2095-2104, 2021.

[16] A Large-Scale Japanese Dataset for Aspect-based Sentiment Analysis, 2022.

[17] 中山祐輝, 村上浩司, Ikuko Hardaway. アスペクトベー ス意見分析における日本語評価コーパスの構築. 言語処理学会第 27 回年次大会発表論文集, pp. 375-380, 2021.

[18] 小林のぞみ, 乾健太郎, 松本裕治, 立石健二, 福島俊一. 意見抽出のための評価表現の収集. 自然言語処理, Vol. 12, No. 3, pp. 203-222, 2005.

[19] Fábio Souza, Rodrigo Nogueira, and Roberto Lotufo. Portuguese named entity recognition using bert-crf. https://arxiv.org/abs/1909.10649, 2019.

[20] Entony Lekhtman, Yftah Ziser, and Roi Reichart. DILBERT: Customized pre-training for domain adaptation with category shift, with an application to aspect extraction. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 219-230. Association for Computational Linguistics, Nov 2021 .