# 対訳文のない言語対の NMT の検討
}

\author{
Bui Tuan Thanh 秋葉友良塚田元 \\ 豊橋技術科学大学大学院
}

\{bui.tuan.thanh.mg, akiba.tomoyoshi.tk, tsukada.hajime.hl\}@tut.jp

#
# 概要

ニューラル機械翻訳では高い性能を発揮するため に、大規模かつ品質が高い対訳コーパスが必要にな る。しかし、対訳コーパスのない言語対が数多くあ る。本稿では、日本語（日）とべトナム語（越）を 対訳文のない言語対として、中間語の英語を介した 英日と英越対訳データのみを用いて、日越と越日そ れぞれの翻訳モデルを学習する手法を提案する。提案手法は、英語との 2 つの対訳データを使用して、多様性のある日越擬似データを構築する。IWSLT の 対訳データを用いた実験により、提案手法は小規模 な対訳データで学習された教師あり翻訳モデルやピ ボット翻訳手法を上回ることを示した。ピボット翻訳手法と比較すると、日越方向の性能 (BLEU スコ ア) が+1.96、越日方向の性能が+1.75 向上した。

## 1 はじめに

近年、ニューラルネットワークを用いたニューラ ル機械翻訳 (Neural Machine Translation: NMT)[1,2] は 従来の統計的機械翻訳の性能を上回り、非常に高い 性能を実現している。ニューラル機械翻訳は、翻訳 の品質を飛躍的に向上させるために、大規模かつ品質が高い対訳コーパス (学習データ) が必要になる。 しかし、そのようなデータを入手するのは困難で、高いコストがかかる。少数言語対においては、利用 できる対訳コーパスが少数である低資源言語対の問題、さらには対訳データを利用できないという問題 がある。そのような問題に対応するために、低資源言語対の機械翻訳 $[3,4,5,6]$ 及び対訳データのない 言語対の機械翻訳の研究が行われている $[7,8,9]$ 。

対訳文のない言語対の翻訳モデルを学習する最 も単純な手法はピボット翻訳 [8] である。ピボット 翻訳は 2 つの翻訳モデルを利用するため、翻訳時間がかかり、エラー伝播の問題がある。Ren らは第
3 言語を介して低資源言語対の翻訳精度を上げる Triangular Architecture を提案し、その手法が対訳文 のない言語対にも応用する見込みがあることを主張 している。しかし、その応用の有効性を実験的に示 していない。また、単言語コーパスのみを利用し、翻訳モデルを学習する手法 $[10,11,12]$ がある。これ らの手法では、Sennrich ら [3] の逆翻訳で対訳デー タを構築する。 He ら [7] は逆翻訳がソース側の学習 データと評価データのギャップを生じることを示 し、順翻訳と逆翻訳で生成された擬似対訳データを 組み合わせて利用する手法を提案した。

本稿は、日越を対訳文のない言語対として、英日 と英越対訳データのみを用いて、日越と越日それぞ れの翻訳モデルを学習する手法を提案する。提案法 では英語との 2 つの対訳データを用いて、順翻訳と 逆翻訳で日越の複数の擬似データを構築し、それら の擬似データで翻訳モデルを学習する。実験結果か ら、この手法が有効であることを示す。

## 2 関連研究

## 2.1 ピボット翻訳

ビボット翻訳 [8] は、対訳文のない言語対の翻訳 システムを中間言語を介して構築する最も単純な手法である。中間言語とソース言語、中間言語とター ゲット言語との対訳データを用いる。この手法で は、(ソース言語 $\rightarrow$ 中間言語）翻訳モデルと（中間言語 $\rightarrow$ ターゲット言語）翻訳モデルを用いて、ソー ス言語の文をターゲット言語に翻訳する。2 段階で 翻訳を行うため、翻訳時間がかかる手法である。ま た、第 1 段回目の翻訳の失敗が、第 2 段回の翻訳は 誤った入力を翻訳するとこになり、エラーが増幅す る。これをエラー伝播と呼ぶ。

図 1 提案手法の仕組み

## 2.2 zero-shot 翻訳

Johnson ら [9] は、複数の言語対を用いて1つの翻訳モデルを学習することで、直接学習データのない 言語対も翻訳できることを示した。Johnson らの研究では 12 の言語対を用いた。この手法では、多く の言語対の対訳データが必要になる。本研究の実験 で、2つの対訳データのみを用いた zero-shot 翻訳は 有効ではなかった。

## 2.3 Triangular Architecture

Ren ら [6] は、豊富な対訳データをもつ中間言語 $\mathrm{Y}$ を介して、低資源言語対 X-Z の翻訳制度を上げるの に Triagular Architectureを提案した。X-Y 対訳データ を豊富な対訳データとする。Triagular Architecture で は、 $\mathrm{X} \rightarrow \mathrm{Z}$ 翻訳モデルの精度を上げるために、 $(\mathrm{X}, \mathrm{Y})$対訳データと $(\mathrm{Y}, \mathrm{Z})$ 対訳データを利用する。 $\mathrm{X} \rightarrow \mathrm{Z}$ 翻訳モデルを直接学習せずに、 $\mathrm{Z}$ を潜在変数 (latent variable）として $\mathrm{X} \rightarrow \mathrm{Y}$ 翻訳モデルを学習する。その 後、 $\mathrm{X} \rightarrow \mathrm{Y}$ 翻訳モデルの学習は低資源言語対 $(\mathrm{X}, \mathrm{Y})$ と $(\mathrm{Y}, \mathrm{Z})$ それぞれの翻訳モデルを学習することにな る。その 2 つのモデルの最適化を双方向 EM アルゴ リズムで行う。この手法は単言語のデータを用いる 逆翻訳と組み合わせることができる。Ren らは、対訳文のない言語対に応用する見込みがあることを主張しているが、実験的に有効性を示していない。本稿も中間言語を利用しているが、中間言語との対訳 データのみを用いて目的の言語対の擬似対訳データ
を構築する。

## 2.4 Data Diversification

Nguyen ら [5] は複数の順翻訳モデルと逆翻訳モデ ルを用いて、それらのモデルで生成された複数の擬似データとオリジナル学習データを統合し、新しい 学習データを構築する手法を提案した。Nguyen ら の研究によれば、同じモデルの数を用いる際、パラ メータの初期化をランダムに実行された複数のモデ ルはパラメータの初期化を固定した複数のモデル より性能が良くなった。この手法は English-Nepali、 Nepali-English、English-Sinhala、Sinhala-English など の低資源言語対に有効性があることが示されてい る。提案手法では、擬似データの作成に際して Data Diversification の考えを活用する。

## 3 提案手法

本稿では、対訳データのない日越言語対の翻訳 モデルを学習するために、英語を介した 2 つの対訳データのみを用いて日越の擬似データを構築す る手法を提案する。提案手法の仕組みを図 1 に示 す。ここでは、(en-1、vi) は英越の対訳コーパスで あり、(en-2、ja) は英日の対訳コーパスである。en-1 と en-2 は対になっている必要はない。

最初に、英越と英日の対訳コーパスから、複数の 英越翻訳モデル (en2vi）と英日翻訳モデル（en2ja) を学習する。ここでは、seed の値の変更により、各 のモデルのパラメータの初期値をランダムに設定す

る。この方法で、異なる翻訳モデルを学習すること ができる。

次に、学習できたモデルを用いて、擬似対訳コー パスを生成する。具体的には、英日コーパスの英語文（en-2）を英越翻訳モデル（en2vi）でベトナム語 に翻訳し、擬似対訳文（vi， ja）を構築する。同様 に、英越コーパスの英語文（en-1）を英日翻訳モデ ルで日本語に翻訳し、擬似対訳コーパス（vi、 ja'） を作成する。同じ文を異なる翻訳モデルで翻訳して 擬似対訳文を作ることで、多様性のある擬似データ を作ることができる。予備実験では順翻訳または逆翻訳の擬似データのみを用いるよりもそれらのコー パスを統合して学習したほうが性能が高かった。そ のため、本稿の提案手法はすべて擬似データを統合 して、最終モデルを学習する。

## 4 実験

## 4.1 対訳コーパス

本稿では、International Workshop on Sopken Language Translation (IWSLT) の英越対訳コーパス (IWSLT 2015)、英日対訳コーパス (IWSLT 2017) と日越対訳コーパス (IWSLT 2012)を用いる。英越 の言語対は tst2012を開発データとし、tst2013をテ ストデータとする。英日言語対に対しては、 $\operatorname{dev} 2010$ を開発データとし、tst2015をテストデータとして 利用する。日越言語対に対しては、dev2010を開発 データとし、tst2010をテストデータとして利用す る。各言語対の文数を表 1 に示す。

英語文は Moses キットでトークン化される。べ トナム語文を pyvi ライブラリの ViTokenizerを用い てトークン化した。日本語は Mecab[13] でトーク ン化した。また、英語文とベトナム語文は Moses の truecased を用いて処理した。各言語は Byte Pair Encoding (BPE) で 16000 のサブワードに分割した。

## 4.2 実験条件

fairseq[14]を用いてニューラル機械翻訳システム を構成した。すべてのニューラル機械翻訳モデル
は Transformer で学習した。学習の際は、すべての モデルを同じパイパーパラメータと学習エポック 数（=30）を用いて、学習率は $1 \times 10^{-8}$ 、ウォーム アップは 4000 ステップ、学習率減衰は逆平方根、 ラベル平滑化は $0.1 、$ ドロップアウトは 0.3 、重み減衰は 0.0001 、損失関数はラベル平滑化クロスエン トロピーとした。Adam の最適化アルゴリズムでは $\left(\beta_{1}=0.9, \beta_{2}=0.98\right)$ を使用した。

教師ありモデル：教師あり翻訳モデルを IWSLT の 日越対訳データで学習した。日越対訳データを 使用したのは本モデルのみである。以後のモデ ルは日越対訳データを使用していない。

zero-shot 翻訳: Johnson ら [9]の Many-to-Many 翻訳 モデルを用いて zero-shot 翻訳を行った。英日、日英、英越と越英という４つの翻訳を可能にす る1つの翻訳モデルを学習した。モデルを学習 する際、各バッチでその４つの対訳データの割合を 1:1:1:1 にした。

ピボット翻訳: ピボット翻訳は、英語を中間語と して、ソース文を英語に翻訳し、翻訳できた英語文をターゲット言語に翻訳する。たとえば、日越方向翻訳をする際、日本語文を日英翻訳モ デルを用いて英語に翻訳する、翻訳できた英語文を英越翻訳モデルでベトナム語に翻訳する。 ピボット翻訳に使用したモデルの性能を表 3 に 示す。

提案手法: $(e n 2 v i \times k+e n 2 j a \times k)$ は、それぞれ異な る $k \supset$ en2vi モデル及び異なる $k \supset$ en2ja モデルを用い、擬似対訳コーパスを生成する。 $k=3,4,5$ で実験を行った。提案手法の使用さ れていたモデルを表 4 に示す。

## 4.3 実験結果

実験結果を表 2 に示す。実験結果により、ピボッ 卜翻訳手法は日越両方向で教師ありモデルを上回っ た。日越と越日それぞれの zero-shot 翻訳はできな かった。その原因は少数の言語対で Many-to-Many 翻訳モデルを学習したと考える。擬似データを用 いたことで、日越翻訳性能と越日翻訳性能は向上 した。 $(e n 2 v i \times 1+e n 2 j a \times 1)$ はべースラインを比較 すると越日方向が +0.83 、日越方向が+ 1.01 向上 した。

複数の擬似対訳コーパスを導入すると、越日翻訳性能と日越翻訳性能はさらに改善した。越日翻訳性
能は 13.30 で、日越翻訳性能は 11.65 であった。し かし、en2vi モデルと en2ja モデルをそれぞれ 5 つ以上のモデルを使用すると、有効に働かなかった。

表 2 実験結果 (dev / test)

表 3 ピボット翻訳に使用したモデル $(\mathrm{dev} /$ test)

表 4

提案手法で使用したモデル (dev / test)

## 4.4 擬似データの多様性

実験結果から、擬似データの多様性により、日越 と越日それぞれの翻訳性能か向上したと考えられ る。しかし、多様性ではなく、学習データが増えた から、性能が改善した単に可能性もある。このこと を検証するために、 $(e n 2 v i \times 3+e n 2 j a \times 3)$ の実験を 用いて以下の 3 つのケースで、実験を行った。実験結果を表 5 に示す。

・ケース 1：3つの同じ翻訳モデルを使用する。 すなわち、これらのモデルで生成された擬似データ は全く同じとする。

・ケース $2 ： 3$ モデルの内、2つのモデルは 同じモデルである。

・ケース $3 ： 3$ つ異なる翻訳モデルを使用す る。これらのモデルで生成された擬似データは異な る。(提案手法)表 5 擬似データの多様性の有効性 (dev / test)

表５の結果により、全く同じ擬似対訳データを用 いることより異なる擬似データを使用した方がいい ことがわかる。以上の提案手法は多様な擬似データ を用いて en2vi モデルと en2ja モデルの翻訳性能を 改善することで、日越の擬似対訳コーパスの品質を 向上させることができた。

## 5 おわりに

本稿は、対訳文のない日越言語対の翻訳モデルを 学習するために、英日と英越対訳データのみを用い て、日越の擬似対訳データを生成する手法を提案し た。英語を介した 2 つの対訳コーパスで英越と英日 それぞれ複数の翻訳モデルを学習した。それらの翻訳モデルを用いて、順翻訳と逆翻訳を組み合わせ、日越の複数の擬似データを生成し、すべての擬似 データを統合して、日越と越日それぞれの翻訳モデ ルを学習した。実験では IWSLT の対訳データを用 いて提案手法を検証した。実験結果により、本稿の 提案手法は、小規模の対訳データで学習された教師 ありモデルおよびピボット翻訳手法を上回ること を示した。さらに、追加実験で、多様性のある擬似 データを用いることの有効性を示した。

今後は多様性のある擬似データを構成する手法を 用いて、日越の擬似データを生成する英越翻訳モデ ルと英日翻訳モデルの翻訳性能を改善する予定であ る。英越翻訳モデルと英日翻訳モデルの翻訳性能が 向上すれば、日越の擬似データの品質が改善でき、日越と越日それぞれの翻訳精度はさらに向上させら れると考えている。また、提案手法を適用し、他の 対訳データのない言語対の翻訳モデルの性能を改善 したいと考えている。

## 謝辞

本研究は JSPS 科研費 $18 \mathrm{H} 01062$ の助成を受けたも のです.

## 参考文献

[1] Ilya Sutskever, Oriol Vinyals, and Quoc V. Le. Sequence to sequence learning with neural networks. In Proceedings of the 27th International Conference on Neural Infor-
mation Processing Systems - Volume 2, NIPS'14, p. 3104-3112, Cambridge, MA, USA, 2014. MIT Press.

[2] Thang Luong, Hieu Pham, and Christopher D. Manning. Effective approaches to attention-based neural machine translation. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 1412-1421, Lisbon, Portugal, September 2015. Association for Computational Linguistics.

[3] Rico Sennrich, Barry Haddow, and Alexandra Birch. Improving neural machine translation models with monolingual data. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 86-96, Berlin, Germany, August 2016. Association for Computational Linguistics.

[4] Vu Cong Duy Hoang, Philipp Koehn, Gholamreza Haffari, and Trevor Cohn. Iterative back-translation for neural machine translation. In Proceedings of the 2nd Workshop on Neural Machine Translation and Generation, pp. 18-24, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[5] Xuan-Phi Nguyen, Shafiq Joty, Wu Kui, and Ai Ti Aw. Data diversification: A simple strategy for neural machine translation. In Proceedings of the 34th International Conference on Neural Information Processing Systems, NIPS'20, Red Hook, NY, USA, 2020. Curran Associates Inc.

[6] Shuo Ren, Wenhu Chen, Shujie Liu, Mu Li, Ming Zhou, and Shuai Ma. Triangular architecture for rare language translation. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 56-65, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[7] Zhiwei He, Xing Wang, Rui Wang, Shuming Shi, and Zhaopeng Tu. Bridging the data gap between training and inference for unsupervised neural machine translation. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics.

[8] DE GISPERT A. Catalan-english statistical machine translation without parallel corpus : Bridging through spanish. Proceedings of 5th International Conference on Language Resources and Evaluation (LREC), Genoa, Italy, 2006, pp. 65-68, 2006.

[9] Melvin Johnson, Mike Schuster, Quoc V. Le, Maxim Krikun, Yonghui Wu, Zhifeng Chen, Nikhil Thorat, Fernanda Viégas, Martin Wattenberg, Greg Corrado, Macduff Hughes, and Jeffrey Dean. Google's multilingual neural machine translation system: Enabling zero-shot translation. Transactions of the Association for Computational Linguistics, Vol. 5, pp. 339-351, 2017.

[10] Guillaume Lample, Alexis Conneau, Ludovic Denoyer, and Marc'Aurelio Ranzato. Unsupervised machine translation using monolingual corpora only. In International Conference on Learning Representations (ICLR), 2018.

[11] Zhen Yang, Wei Chen, Feng Wang, and Bo Xu. Unsupervised neural machine translation with weight sharing. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1:
Long Papers), pp. 46-55, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[12] Mikel Artetxe, Gorka Labaka, Eneko Agirre, and Kyunghyun Cho. Unsupervised neural machine translation. In Proceedings of the Sixth International Conference on Learning Representations, April 2018.

[13] Taku Kudo, Kaoru Yamamoto, and Yuji Matsumoto. Applying conditional random fields to Japanese morphological analysis. In Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing, pp. 230-237, Barcelona, Spain, July 2004. Association for Computational Linguistics.

[14] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A fast, extensible toolkit for sequence modeling. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (Demonstrations), pp. 48-53, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.


# 摂動を加えた kNN 機械翻訳による多様な翻訳候補の生成

西田悠人 1 森下 睦 ${ }^{2}$ 上垣外 英剛 1 渡辺 太郎 1
1 奈良先端科学技術大学院大学, ${ }^{2} \mathrm{NTT}$ コミュニケーション科学基礎研究所
nishida.yuto.nu8@is.naist.jp

## 概要

ニューラル機械翻訳システムの標準的な探索アル ゴリズムであるビームサーチには, 出力される複数 の翻訳候補がほとんど同一になってしまう多様性低下の問題が存在する. 本研究では, 翻訳候補の生成 に用例データからの近傍探索を用いることで通常は 翻訳候補に入らないようなトークンを考慮できる $\mathrm{kNN}$ 機械翻訳を応用し, 近傍探索時に摂動を与えて 探索範囲を確率的に拡大する手法を提案する．実験 の結果，提案法により，翻訳精度を維持しつつ翻訳候補の多様性を改善できること，摄動の大きさを調整することで多様性を制御できることを報告する。

## 1 はじめに

機械翻訳システムが多様かつ妥当な翻訳候補を出力することは，リランキング [1] や人手による後編集 [2] といった後段の処理によって翻訳精度の向上 が見込める点で重要である. しかし，ニューラル機械翻訳 (NMT) システムの標準的な探索アルゴリズ ムであるビームサーチには，出力される複数の候補文がほとんど同一になってしまう多様性低下の問題が存在することが知られている $[2,3,4]$. これに 対し, Vijayakumar ら [3] や Freitag ら [4] は翻訳候補 の多様化を促進するビームサーチの変種 (多様化デ コード手法)を提案している.

他方で，NMT システムの標準的な損失関数であ るクロスエントロピー損失を用いて訓練したモデル には，過剰修正 (overcorrection [5]) の問題が存在する ことが知られている。過剩修正とは，訓練データの 分布とは異なる分布の予測に対し, その予測が妥当 であっても出力確率を過剰に低く見積もってしまう 現象のことである. そのため, 前述の多様化デコー ド手法を標準的な NMT システムが出力する確率分布に適用するだけでは，妥当であるが出力確率が低 く翻訳候補に入りづらいトークンが存在し，多様性向上の効果が限定的になっている可能性がある.
したがって，多様化デコード手法の効果を最大化 するためには過剰修正に対処する必要があると考え られる. 本研究では，その手段として用例ベースの 機械翻訳手法の一種である $\mathrm{kNN}$ 機械翻訳 [6] に着目 する. $\mathrm{kNN}$ 機械翻訳は，デコード時に用例データか らの $\mathrm{k}$ 近傍探索によって多くの妥当なターゲット トークンを検索・抽出できるため，過剩修正の問題 に対処できることが Yang ら [7] によって示唆されて いる。しかし, $\mathrm{kNN}$ 機械翻訳の $\mathrm{k}$ 近傍探索では探索 の対象が制限されており，多様性を損ねてしまう。 そこで，我々は $\mathrm{kNN}$ 機械翻訳を応用し， $\mathrm{kNN}$ 機械翻訳における $\mathrm{k}$ 近傍探索時に摂動を加えることで トークンを探索する範囲を確率的に拡大する手法を 提案する (図 1). この手法と多様化デコード手法を 併用することで，翻訳性能を維持しつつ翻訳候補の 多様化が期待できる。

本稿では，ドメイン適応と一般ドメインで評価を 行い，両設定において，提案法によって翻訳性能を 維持しながら多様性が向上することを示した。ま た，本手法において，摂動の大きさを調整すること で多様性が制御できることも判明した.

## 2 関連研究

## 2.1 多様な翻訳候補の生成

ビームサーチによる翻訳候補の多様性低下の問題に対処するため, 出力される翻訳候補の多様化 を促進するビームサーチの変種が提案されている. Vijayakumar ら [3] はビーム間でのトークンの重複 にペナルティを設けたビームサーチである Diverse Beam Search (DBS) を提案した。また，Freitag ら [4] は同一の部分仮説を共有する候補の最大数を決める 手法を提案した。これらの手法はいずれも翻訳候補 の多様性向上を報告しているが，過剰修正に明示的 には対処しておらず，妥当であるが出力確率が低く 出力候補に入りづらいトークンが存在し, 多様性向上の効果が限定的になっている可能性がある.

(1) データストア作成とクェリによる問い合わせ

図 1 提案手法の概略図. 得られた $p_{\mathrm{kNN}}$ によってデコードを行う段階については先行研究と同様であるため省略した.

## $2.2 \mathrm{kNN$ 機械翻訳}

$\mathrm{kNN}$ 機械翻訳は以下に示す 2 ステップの方法で $\mathrm{k}$近傍探索のメカニズムを NMT モデルの推論に適用 する手法であり，大規模な事例データに直接アクセ スすることでよりよい推論を実現できる。

データストア構築NMT モデルに訓練データを 入力し, 訓練データ中の目的言語側のトークンを キー，対応する隠れ層の表現をバリューとしてデー タストアに保持する. 訓練データ $(\mathcal{S}, \mathscr{T})$ のソース文 $s \in \mathcal{S}$ ，ターゲット文 $t \in \mathscr{T}$ に対する時刻 $i$ の隠れ状

式 (1) で表される.

$
\mathscr{D}=\left.\{\left(f\left(s, t_{<i}\right), t_{i}\right), \forall t_{i} \in t \mid(s, t) \in(\mathcal{S}, \mathscr{T})\right.\}
$

デコーディング 入力文 $x$ に対する時刻 $i$ の隠れ 状態ベクトル $\mathbf{h}_{i}$ を出力トークン $y_{i}$ に対応するクエ リとして，データストアから $k$ 近傍 $\mathcal{N} \subset \mathscr{D}$ を抽出 する. クエリ $\mathbf{h}_{i}$ と $k$ 近傍点の距離から $k$ 近傍確率 $p_{\mathrm{kNN}}$ を式 (2)のように計算する。なお， $d(\cdot)$ は距離関数， $T$ は softmax 関数の温度パラメータである.

$
p_{\mathrm{kNN}}\left(y_{i} \mid x, y_{<i}\right) \propto \sum_{\left(\mathbf{k}_{j}, v_{j}\right) \in \mathcal{N}} \mathbb{1}_{y_{i}=v_{j}} \exp \left(\frac{-d\left(\mathbf{k}_{j}, \mathbf{h}_{i}\right)}{T}\right)
$

最後に， $y_{i}$ の出力確率を $k$ 近傍確率 $p_{\mathrm{kNN}}$ と NMT モ デルの出力確率 $p_{\mathrm{MT}}$ の線形補間により式 (3) のよう に計算する. ここで， $\lambda$ は $k$ 近傍確率の重みを決定 するハイパーパラメータである.

$p\left(y_{i} \mid x, y_{<i}\right)=\lambda p_{\mathrm{kNN}}\left(y_{i} \mid x, y_{<i}\right)+(1-\lambda) p_{\mathrm{MT}}\left(y_{i} \mid x, y_{<i}\right)$ $\mathrm{kNN}$ 機械翻訳はモデルを追加で学習することなく 翻訳精度を改善できることが報告されており，Yang ら [7] は $\mathrm{k}$ 近傍探索による過剰修正への対処が翻訳精度向上の理由であると示唆している．また， kNN 機械翻訳の変種として，翻訳性能を更に改善する手法 [8] や推論の遅さを克服する手法 $[9,10]$ が提案さ れている。その一方で， $\mathrm{kNN}$ 機械翻訳を多様性向上 のために活用する研究は行われていない.

## 3 提案法: kNN-Diversify Decoding

本研究では， $\mathrm{kNN}$ 機械翻訳と多様化デコード手法 の組み合わせ，および近傍探索時の探索範囲を確率的に拡げる手法を提案する. 手法の概略図を図 1 に 示す. この手法では, $\mathrm{k}$ 近傍探索によって, 通常で は出力確率の上位には含まれないが妥当なトークン の出力確率の向上が期待できる. さらに，その確率分布を多様化デコード手法を用いて幅広く探索す ることで妥当かつ多様な翻訳候補の生成を図る。ま た，従来の $\mathrm{kNN}$ 機械翻訳では $\mathrm{k}$ 近傍探索の範囲が制限されているという問題を解決し，さらに多様性を 向上させるために， $\mathrm{k}$ 近傍探索時に摂動を加えて探索の範囲を確率的に拡げる手法を 2 種類提案する.

## 3.1 クエリへのノイズ付加

$\mathrm{k}$ 近傍分布に摂動を与える最も単純な方法として $\mathrm{k}$ 近傍探索のクエリにノイズベクトルを加える手法 (図1の (2-ii))を導入する。この手法では，出力トー クン $y_{i}$ に対する中間表現 $\mathbf{h}_{i}$ にノイズベクトル $\mathbf{z}_{i}$ を 加えた $\mathbf{h}_{i}+\mathbf{z}_{i}$ をクエリとして $\mathrm{k}$ 近傍探索を行い $\mathrm{k}$ 近
傍 $\mathcal{N}^{\prime}$ を得る. その後，式2のように，得た $\mathcal{N}^{\prime}$ から $\mathrm{k}$ 近傍確率を計算する。ノイズベクトル $\mathbf{z}_{i}$ はノルム 1 のホワイトガウスノイズ $\mathbf{n}_{i}$ と平均 $m$, 分散 $s^{2}$ の正規分布に従う確率変数 $a_{i}$ の積, すなわち $\mathbf{z}_{i}=a_{i} \times \mathbf{n}_{i}$ として各時刻・各ビームで独立に生成する。 パラ メータ $m, s$ は以下の 2 つの方法を用いて決定する.

静的ノイズ 最も単純な方法として，ハイパーパ ラメータ $h_{m}, h_{s}$ を用いて $m=h_{m}, s=h_{s}$ とする静的 ノイズを導入する。この方法では，追加の推論コス 卜をほぼ必要とせずに $\mathrm{k}$ 近傍探索の範囲を確率的 に拡げられ, 翻訳候補の多様化が期待できる. し かし，ノイズの大きさを適切に決定するためには， データストアの分布の事前調査が必要である1).

適応的ノイズ データストアの分布の事前調査 を必要としない方法として，各時刻で予め $\mathrm{k}$ 近傍探索を行って得た分布を基にノイズの大きさ を決定する適応的ノイズを導入する。具体的に は, 通常の $\mathrm{k}$ 近傍探索を行い, $\mathrm{k}$ 近傍点までの距離の最大値 $d_{\max }$ と $\mathrm{k}$ 近傍点までの距離の標準偏差 $d_{\mathrm{std}}$ を得る. ハイパーパラメータ $h_{m}, h_{s}$ を用いて $m=h_{m} \times d_{\max }, s=h_{s} \times d_{\text {std }}$ とする. この方法では,各時刻における $\mathrm{k}$ 近傍分布に基づいてノイズの大き さを決定できるため, データストアの分布の事前調査は不要である. しかし, 各時刻で 2 回 $\mathrm{k}$ 近傍探索 を行うため，追加の推論コストが必要である.

## 3.2 乱択 $\mathrm{k$ 近傍}

前節の手法の欠点であったデータストアの分布の 事前調査または追加の推論コストを必要とせずに $\mathrm{k}$ 近傍探索の範囲を確率的に拡げる手法として，近傍点の一部をサンプリングする乱択 $\mathrm{k}$ 近傍 (図 1 の (2-iii)を導入する。具体的には， $h>1$ を満たす八 イパーパラメータ $h$ を用いて $\lfloor h \times k\rfloor$ 近傍を抽出し， $\lfloor h \times k\rfloor$ 個の近傍点から $k$ 個を一様ランダムにサン プリングすることで乱択 $\mathrm{k}$ 近傍 $\mathcal{N}^{\prime}$ を得る.この手法では，より多くの近傍点を探索範囲に含めること ができるため，翻訳候補の多様化が期待できる。ま た，データストアの分布を事前に調査する必要はな く, 各時刻ごとに 1 回のみ $\mathrm{k}$ 近傍探索を行うため,追加の推論コストも必要ない.
$ 機械翻訳を行い, その際に $\mathrm{k}$ 近傍点までの距離の平均・分散を取得した.

2） 他に Neucleus Sampling [11] の実験も行ったが，DBS と概 ね同様の結果であったため本稿では割愛する。

3） $N$ が偶数のときは中央順位の 2 文のうち文レベルの BLEU が高い文を選ぶ。

4) https://huggingface.co/bert-base-multilingual-cased
}

## 4 実験設定

## 4.1 データ・モデル・ハイパーパラメータ

実験は大別してドメイン適応の設定と一般ドメ インの設定の 2 つを行う. ドメイン適応の実験では 独英の Koran, IT, Medical, Law, Subtitles の 5 つのドメ インデータ $[12,13]$ を用いる. 一般ドメインの実験 では WMT'19独英翻訳のデータを用いる。両方の 実験において, データストアの構築およびテスト データの翻訳には, fairseq ライブラリ [14] で利用可能な WMT'19独英訓練済みモデル [15] を用いた. ビーム幅は 20 とし, 提案法のハイパーパラメータ は開発データで最も良いパラメータを選んだ. kNN 機械翻訳の詳細な設定については付録 A に記す。多様化デコード手法には DBS を用いた2)．DBS のグ ループ数は 20 とし, 多様性強度は 0.5 とした.

## 4.2 評価指標

翻訳性能 翻訳性能は，オラクル BLEU, Median BLEU，平均文長比によって評価する.オラクル BLEU（BLEU@N）は $N$-best 候補文で文レベルの BLEU [16] が最大の文をそれぞれ選定したときの BLEU であり，リランキングによる性能の上界に 相当する. 実験では BLEU@1 およびBLEU@20を 報告する。なお，BLEU@1 (1-best 訳に対するオラ クル BLEU) は通常の BLEU である. Median BLEU (MedBLEU) は $N$-best 候補文で文レベルの BLEU が 中央值である文3)をそれぞれ選定したときの BLEU であり, 全体の平均的な翻訳品質を示す. 平均文長比 (AveLen) は参照訳の文長に対する翻訳候補の文長の比の平均である.

多様性 翻訳候補の多様性の指標には BLEUbased discrepancy metric (DP) [17]を用いる。DP は，出力された候補文に含まれるユニークな $n$-gram の 多さを示す指標であり，DP が高いと多様性が高い ことを示す．指標の詳細は付録 Bに記す。

流暢性 翻訳候補の流暢性の指標には pseudolog-likelihood score (PLL) [18] を用いる. 実験では,翻訳候補全体の PLL の平均 (AvePLL) および,各 $N$-best 候補文の PLL の最大値/最小値の平均 （MaxPLL/MinPLL）を報告する。また，比較のため に参照訳の AvePLL も報告する. 指標の詳細は付録 B 記す．PLLを計算するための MLM モデルに は多言語 BERT ${ }^{4}$ [19] を使用した.

 & - &  & - & - &  & $-3.35_{ \pm 0.82}$ \\

表 2 一般ドメイン (WMT'19独英翻訳) の評価結果

 & - & - & -2.93 \\

## 5 実験結果

## 5.1 ドメイン適応

ドメイン間の平均をとった結果を表 1 に示す.各ドメインの結果は付録の表 5 に示す. 提案法の kNN+DBS は DBS に対して DP が向上した. kNN に比べて BLEU@20が低下したが, その減少幅は Baseline とDBS の差と同程度である.また，摂動 を加えることで $\mathrm{kNN+DBS}$ と比較して DP および BLEU@20 が改善した.なお，摄動の種類によって BLEU および DP に大きな差はなかった. kNN は Baseline と比較して若干 PLLが低いが，提案法では $\mathrm{kNN}$ と比較して PLL はほぼ毀損されず，参照訳の PLL と比べてもその差は小さい. 以上より，ドメイ ン適応の設定で提案法は翻訳精度と流暢性を低下さ せることなく翻訳候補の多様性を向上させられるこ とが示された.

## 5.2 一般ドメイン

評価結果を表 2 に示す. 提案法である $\mathrm{kNN}+\mathrm{DBS}$ を DBS と比較すると, DP と各種 BLEU が向上して おり，摂動を加えることで BLEU を維持したままさ らに DP が向上している。また，提案法の PLL は参照訳の PLL と比較して高く, Baseline と比較しても 低下していない。よって，一般ドメインにおいても 提案法によって翻訳精度と流暢性を維持しながら多様化の促進がみられた。

図 2 IT ドメインの乱択 $\mathrm{k}$ 近傍における，摄動の大きさ $h$ (横軸) と翻訳精度や多様性 (縦軸) への影響. $h=1$ のス コアは摂動無し，すなわち DBS+kNN の値である。

## 5.3 翻訳性能と多様性のトレードオフ

摂動の大きさによる翻訳精度や多様性への影響を 観察するため，IT ドメインの乱択 $\mathrm{k}$ 近傍における摂動の大きさとDP および BLEU の関係を図 2 に示す.図より，DP と各種 BLEU はトレードオフ関係にあ り，提案法は摂動の大きさを変化させることで多様性と翻訳精度を調整可能であることが示された。

## 6 おわりに

本研究では, $\mathrm{kNN}$ 機械翻訳の $\mathrm{k}$ 近傍探索時に摂動 を加えることで探索範囲を確率的に拡げる手法を 提案し, この手法によって翻訳精度と流暢性を維持 しつつ翻訳候補の多様化ができることを示した。ま た，提案法において摂動の大きさを変化させること で多様性と翻訳精度を調整できることを報告した。今後は, $\mathrm{kNN}$ 機械翻訳の推論速度を向上させる手法 の適用や，より多様性を向上させられる手法の検討 を行いたい。

## 謝辞

本研究は JSPS 科研費 JP21H05054，JP21K17801 の 助成を受けたものです.

## 参考文献

[1] Jiwei Li and Dan Jurafsky. Mutual information and diverse decoding improve neural machine translation. arXiv preprint arXiv:1601.00372, 2016.

[2] Kevin Gimpel, Dhruv Batra, Chris Dyer, and Gregory Shakhnarovich. A systematic exploration of diversity in machine translation. In Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing, pp. 11001111, Seattle, Washington, USA, October 2013. Association for Computational Linguistics.

[3] Ashwin Vijayakumar, Michael Cogswell, Ramprasaath Selvaraju, Qing Sun, Stefan Lee, David Crandall, and Dhruv Batra. Diverse beam search for improved description of complex scenes. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 32, No. 1, Apr. 2018.

[4] Markus Freitag and Yaser Al-Onaizan. Beam search strategies for neural machine translation. In Proceedings of the First Workshop on Neural Machine Translation, pp. 56-60, Vancouver, August 2017. Association for Computational Linguistics.

[5] Wen Zhang, Yang Feng, Fandong Meng, Di You, and Qun Liu. Bridging the gap between training and inference for neural machine translation. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 43344343, Florence, Italy, July 2019. Association for Computational Linguistics.

[6] Urvashi Khandelwal, Angela Fan, Dan Jurafsky, Luke Zettlemoyer, and Mike Lewis. Nearest neighbor machine translation. In International Conference on Learning Representations, 2021.

[7] Zhixian Yang, Renliang Sun, and Xiaojun Wan. Nearest neighbor knowledge distillation for neural machine translation. In Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 5546-5556, Seattle, United States, July 2022. Association for Computational Linguistics.

[8] Xin Zheng, Zhirui Zhang, Junliang Guo, Shujian Huang, Boxing Chen, Weihua Luo, and Jiajun Chen. Adaptive nearest neighbor machine translation. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 2: Short Papers), pp. 368-374, Online, August 2021. Association for Computational Linguistics.

[9] Dexin Wang, Kai Fan, Boxing Chen, and Deyi Xiong. Efficient cluster-based $k$-nearest-neighbor machine translation. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2175-2187, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[10] Yuxian Meng, Xiaoya Li, Xiayu Zheng, Fei Wu, Xiaofei Sun, Tianwei Zhang, and Jiwei Li. Fast nearest neighbor machine translation. In Findings of the Association for Computational Linguistics: ACL 2022, pp. 555-565, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[11] Ari Holtzman, Jan Buys, Li Du, Maxwell Forbes, and Yejin Choi. The curious case of neural text degeneration. In International Conference on Learning Representations, 2020.

[12] Philipp Koehn and Rebecca Knowles. Six challenges for neural machine translation. In Proceedings of the First Workshop on Neural Machine Translation, pp. 28-39, Vancouver, August 2017. Association for Computational Linguistics.
[13] Roee Aharoni and Yoav Goldberg. Unsupervised domain clusters in pretrained language models. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7747-7763, Online, July 2020. Association for Computational Linguistics.

[14] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A fast, extensible toolkit for sequence modeling. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (Demonstrations), pp. 48-53, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[15] Nathan Ng, Kyra Yee, Alexei Baevski, Myle Ott, Michael Auli, and Sergey Edunov. Facebook FAIR's WMT19 news translation task submission. In Proceedings of the Fourth Conference on Machine Translation (Volume 2: Shared Task Papers, Day 1), pp. 314-319, Florence, Italy, August 2019. Association for Computational Linguistics.

[16] Boxing Chen and Colin Cherry. A systematic comparison of smoothing techniques for sentence-level BLEU. In Proceedings of the Ninth Workshop on Statistical Machine Translation, pp. 362-367, Baltimore, Maryland, USA, June 2014. Association for Computational Linguistics.

[17] Raphael Shu, Hideki Nakayama, and Kyunghyun Cho. Generating diverse translations with sentence codes. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 1823-1827, Florence, Italy, July 2019. Association for Computational Linguistics.

[18] Julian Salazar, Davis Liang, Toan Q. Nguyen, and Katrin Kirchhoff. Masked language model scoring. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 2699-2712, Online, July 2020. Association for Computational Linguistics.

[19] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[20] Jeff Johnson, Matthijs Douze, and Hervé Jégou. Billion-scale similarity search with GPUs. IEEE Transactions on Big Data, Vol. 7, No. 3, pp. 535-547, 2019.

## A 実験設定の詳細

データストアの構築および近傍探索には FAISS [20] を 用いた. 近傍数 $k$ および $\mathrm{k}$ 近傍確率の温度 $T$, 補間係数 $\lambda$ は，ドメイン適応では Khandelwal ら [6] のパラメータを用 い，一般ドメインでは開発データで $k=\{16,32,64,128\}$, $T=\{10,100,1000\}, \lambda=\{0.1,0.2, \ldots, 0.9\}$ でグリッドサー チを行い，最良のパラメータを選んだ. 各手法で使用し たハイパーパラメータを表 3 に示す.

## B 評価指標の詳細

ソース文集合を $\mathcal{X}=\left.\{x_{1}, \ldots, x_{M}\right.\}$ ，ソース文 $x_{k}$ に対す る $N$-best 候補文集合を $\mathbf{B}_{k}=\left.\{\hat{y}_{k}^{1}, \ldots, \hat{y}_{k}^{N}\right.\}$ とする.

多様性の指標 DP はソース文集合 $X$ に対する $\mathrm{N}$-best 候補文集合を $\mathbb{N}=\left.\{\mathbf{H}_{1}, \ldots, \mathbf{H}_{N}\right.\} ; \mathbf{H}_{n}=\left.\{\hat{y}_{1}^{n}, \ldots, \hat{y}_{M}^{n}\right.\}$ としたと き，式 (4)のように計算される。なお, $\operatorname{BLEU}\left(\mathbf{H}, \mathbf{H}^{\prime}\right)$ は参照 $\mathbf{H}^{\prime}$ に対する仮説 $\mathbf{H}$ のコーパス単位の BLEU である.

$
\operatorname{DP}(\mathbb{H})=\frac{1}{N(N-1)} \sum_{\mathbf{H} \in \mathbb{H}} \sum_{\mathbf{H}^{\prime} \in \mathbb{H}, \mathbf{H}^{\prime} \neq \mathbf{H}} 1-\operatorname{BLEU}\left(\mathbf{H}, \mathbf{H}^{\prime}\right)
$

流暢性の指標 PLL は文 $y=\left(w_{1}, \ldots, w_{|y|}\right)$ に対して式 (5) のように計算される.ここで，式中の $y_{\backslash t}$ は時刻 $t$ のトー クン $w_{t}$ がマスクされた文であり， $P_{\mathrm{MLM}}\left(w_{t} \mid y_{\backslash t}\right)$ は MLM モデルがマスクされた文 $y_{\backslash t}$ から元のトークン $w_{t}$ を予測する確率である。また，MaxPLL，MinPLL，AvePLLは システム出力を $\mathbb{W}=\left.\{\mathbf{B}_{1}, \ldots, \mathbf{B}_{M}\right.\}$ とするとき，それぞれ 式 (6)，式 (7)，式 (8) のように定義される。

$
\operatorname{PLL}(y)=\sum_{t=1}^{|y|} \log P_{\mathrm{MLM}}\left(w_{t} \mid y_{\backslash t}\right)
$

$\operatorname{MaxPLL}(\mathbb{W})=\frac{1}{|\mathbb{W}|} \sum_{\mathbf{B} \in \mathbb{W}} \max _{\hat{y} \in \mathbf{B}}\left(\frac{1}{|\hat{y}|} \operatorname{PLL}(\hat{y})\right)$

$
\operatorname{MinPLL}(\mathbb{W})=\frac{1}{|\mathbb{W}|} \sum_{\mathbf{B} \in \mathbb{W}} \min _{\hat{y} \in \mathbf{B}}\left(\frac{1}{|\hat{y}|} \operatorname{PLL}(\hat{y})\right)
$

$
\operatorname{AvePLL}(\mathbb{W})=\frac{1}{|\mathbb{W}|} \sum_{\mathbf{B} \in \mathbb{W}}\left(\frac{1}{|\mathbf{B}|} \sum_{\hat{y} \in \mathbf{B}}\left(\frac{1}{|\hat{y}|} \operatorname{PLL}(\hat{y})\right)\right)
$

## C 推論コスト

ドメイン適応実験における各ドメインおよび一般ドメ イン (WMT) の推論の速さ (tokens/s) を表 4 に示す. 表中 の報告值は fairseq の出力ログに記載されている値であ る. 表より，提案法のうち DBS $+\mathrm{kNN}$ ，静的ノイズ，乱択 $\mathrm{k}$ 近傍では推論の速さが kNN と比較して若干低下する傾向があり，適応的ノイズでは推論速度の低下が顕著であ ることがわかる。

表 4 推論の速さ. 単位は tokens/s. 行ラベルは (1) Baseline, (2) DBS, (3) kNN, (4) DBS+kNN, (5) 適応的ノイズ, (6) 静的ノイズ，(7) 乱択 $\mathrm{k}$ 近傍である.

## D 各ドメインの結果

ドメイン適応設定の評価結果を表 5 に示す.

表 5 各ドメインの評価結果. 行ラベルの (1) (7) は 表 4 と同一，列ラベルは(1) DP，(2) BLEU@1，(3) BLEU@20，

(4) MedBLEU, (5) MaxPLL, (6) MinPLL, (7) MaxPLL である.


# 文単位の Nbest 候補制約に基づく文書翻訳

駒田 啓伍 ${ }^{1}$ 森下睦 2 鈴木潤 1
1 東北大学 ${ }^{2} \mathrm{NTT}$ コミュニケーション科学基礎研究所
keigo.komada.r6@dc. tohoku.ac.jp

## 概要

現在の機械翻訳モデルは主に 1 文から 1 文への翻訳を対象としており, 単文に対しては高い精度を達成できるものの，文書全体としての表現の一貫性な どに関しては課題が残っている。 また従来の文書翻訳手法は, 文書から文書への長い系列変換を行うこ とによる翻訳精度低下など実用上の問題が残ってい た. 本研究では, この問題を軽減するために, 単文翻訳モデルと文書翻訳モデルの両方を活用する手法 を提案する. 具体的には，単文翻訳モデルが出力し た翻訳候補をもとに，文書翻訳モデルによって適切 な翻訳文の組合せを求め文書翻訳を実現する. 実験 により，従来の文書翻訳手法と比較して提案手法は 高い文書翻訳精度が得られることが示せた.

## 1 はじめに

機械翻訳技術の進展により，機械翻訳による翻訳品質は実用レベルに達し, 既に商用システムとして 一般にも広く使われている。これにより，機械翻訳 の研究が完結したかというと, 必ずしもそうではな い. 一文単位の翻訳 (以下「単文翻訳」と略記), 特 にデータが集めやすいドメインの文章の翻訳に関し ては十分に実用レベルと言えるが，例えば文章全体 を翻訳する際などに表現やスタイルが一貫した翻訳結果を得ることは, 現状の機械翻訳技術でも容易で はない. 実際に，機械翻訳の研究コミュニティにお いても，文書単位で一貫性のある翻訳（以下「文書翻訳」と略記）の実現は，喫緊に取り組むべき課題 として認識されている.

一貫性のある文書翻訳結果を得たい場合，安直に は文書全体を一文とみなして処理すれば，原理的に は単文翻訳モデルでも翻訳することはできる.しか しこういった方法は一般的には現実的ではない. そ れは，現在広く用いられている Transformer モデル によるニューラル翻訳は，本質的に文長が長くなる と性能が急激に悪くなる性質を持つからである [1].
また，別観点の問題として，高い翻訳品質を達成す るには多くのデータを必要とすることが一般的であ る.しかし, 文書単位の対訳データは, 文単位の対訳データに比べてそれほど多くない. これらの現状 から，現在の文単位のニューラル翻訳をそのまま文書翻訳に転用しても，良い結果が得られない。

これらの背景から，本稿では文書翻訳の性能向上 を目標に新たな方法を提案する。具体的には，従来用いられてきた Transformer ベースの単文翻訳モデ ルに対して, 少量の文書対訳データを用いて追加学習1)を行うことで，データ量の問題に対応する。ま た，単文翻訳モデルが生成する複数の翻訳候補を文書翻訳時の制約と考え，文単位の制約付き生成をす ることで長文を生成する際の翻訳品質の劣化を防 ぎ文書単位の翻訳を獲得する。実験では，chat 及び news 文書に対して実験を行い，単文翻訳で各文を独立に翻訳した結果を並べる形式で文書を翻訳するよ りも，BLEU スコアの意味で高い翻訳精度を達成し たことを報告する。

## 2 文書翻訳

機械翻訳システムの翻訳結果を文書全体で評価し た時，整合性や一貫性の観点で人間に及ばない場合 が多いことが知られている [2].これは，一般的な ニューラル機械翻訳モデルが 1 文から 1 文への翻訳 を対象としているため，文書全体で見た際に表現や スタイルの一貫性が欠如しがちなことが主な要因と して挙げられる.

この問題を解決するために，翻訳時に前後の文 (文脈)を考慮する文書翻訳の手法がいくつか提案 されている. 例えば，Tiedemann\&Scherrer ら [3] は，入力文と出力文に 1 つ前の文を結合し，2文ずつモ デルに入力することで文脈を考慮する手法を提案し た.また，Junczys-Dowmunt [4] はこれを拡張し，文書全体を入出力とするモデルを提案した. これらの 手法は，シンプルかつ効果的であることが検証され

1）本稿では fine-tuning を「追加学習」と表記する

図 1 文書翻訳のアルゴリズムの概略図 $(N=10$ の場合)

ているものの，現在の Transformer モデルは文長が 長くなるにつれ計算量が大幅に増加し，翻訳精度が 低下する欠点 [1] が指摘されており，実用上の問題 が残っている。

本研究の提案法は, 従来法の課題である翻訳時の 計算量を抑えつつ文書全体を考慮した翻訳を実現す る方法となる．次節以降では，提案手法の詳細を説明する。

## 3 提案法

本研究では，通常の 1 文から 1 文へ翻訳を行うモ デル (単文翻訳モデル) と，文書全体を入力し文書全体を出力するモデル (文書翻訳モデル) の両方を活用 することを考える．具体的には，単一ドメインの対訳コーパスで追加学習した単文翻訳モデルで文書中 の各文を独立に翻訳し翻訳候補を得た上で，それら を文書単位の対訳コーパスで追加学習した文書翻訳 モデルの生成制約とする．単文翻訳モデルを単一ド メインに特化させるように追加学習したことで，ド メイン不明の入力文に対してもその文のドメインと 一致する単文翻訳モデルが存在していれば，よい翻訳を出力できるようになることを期待している.こ れにより，文書翻訳モデルは新たに文を生成するの ではなく，単文翻訳モデルで得られた翻訳文をもと に文書全体として適切な文の組合せを求めることと なる.

以下に本手法の詳細な生成手順を述べる。 図 1 の ように単一ドメインの対訳コーパスで追加学習した 単文翻訳モデルを複数個，文書翻訳モデルを 1 つ用意した。以下において $i$ は処理対象の単文が文書内 において $i$ 番目であることを表す。

1. 候補文を生成 入力文書内の $i$ 番目の文を翻訳し て，各単文翻訳モデルから $N$ 個ずつ候補文を 出力させる.

2. 候補文書を生成 前の $(i-1)$ 番目ループで残った表 1 追加学習用及び評価用データの統計量.

候補文書の末尾に候補文を結合する。この操作 を全ての候補文書と候補文の組合せに対して 行って新たな候補文書とする。 $i=0$ の時は，前 のループで残った候補文書は空集合とする。

3. 候補文書を評価入力文書の全体を参照しなが ら，文書翻訳モデルで候補文書を評価する

4. beam search 評価して得られた尤度をもとに，候補文書から $N$ 個だけ選択して次のループに 残す. 1 に戻ってループする.

ループ終了 全ての文に対して操作が終了したら, $N$ 個の候補文書のうち最も尤度が高かったもの を提案法の出力とする。

beam search によって Nbest 候補制約を与えたの は，制約しない場合はと生成した文書数が，文数に 対して指数関数的に増加して，生成した文書の評価 をするのに極めて長い計算時間を必要するからで ある.

## 4 実験

データ 追加学習用および評価用データとして,文書単位の情報をもつ chat および news ドメインの 対訳コーパスを用意した，表 1 にそれらの文書数お よび文数を示す. chatドメインの対訳コーパスとし てBPersona-chat[5]を用いた。同様に, news ドメイン の対訳コーパスとして WMT-2020ニュース翻訳タス クの開発/評価セット (newsdev2020, newstest2020) [6] を使用した. BPersona-chat は文書の単位でランダム に一部を評価用として切り出し，残りを追加学習用 とした。また，news ドメインは newsdev2020を追加学習用, newstest2020を評価用とした.

モデル単文翻訳の事前学習済み翻訳モデルとし て，WMT-2022で好成績を得た NT5 チームが学習し た Transformer [7] ゙ーースの翻訳モデル [8]を用いた.以下，この事前学習済みモデルをベースモデルと呼 ぶ. 次に，このベースモデルから独立に 4 つの翻訳 モデルを追加学習により獲得した.
表 2 文書翻訳モデル DocMT (news\&chat) と単文翻訳モデ ル SentMT (news\&chat) の文書翻訳結果を sacrebleu で評価 した際の BLEU スコア

表 3 文書翻訳モデル DocMT (news\&chat) で単文翻訳と同 じ翻訳をした場合との BLEU スコア

1. DocMT (news\&chat)：news 及び chat ドメイン両方の文書対訳コーパスを使って追加学習をし た文書翻訳モデル

2. SentMT(news\&chat): news 及び chat ドメイン 両方の文書対訳コーパスから文書情報を取り除 き文単位の追加学習をした単文翻訳モデル

3. SentMT(news): news ドメインの文書対訳コー パスから文書情報を取り除き文単位の追加学習 をした単文翻訳モデル

4. SentMT(chat)：chat ドメインの文書対訳コーパ スから文書情報を取り除き文単位の追加学習を した単文翻訳モデル

文書翻訳モデルは Junczys-Dowmunt [4] の手法を参考に，文書中の各文を結合し学習した. 提案法の説明で述べたように，SentMT (chat) と SentMT (news) は，候補の生成のために利用する。また，DocMT が 主たる文書翻訳モデルである. 前記 SentMT (chat) と SentMT(news) モデルが生成した候補を制約とし て文書翻訳をおこなう．SentMT (news\&chat) は，提案法 DocMT (news\&chat) と比較して文書単位で学習 したか文単位で学習したかの違いだけのモデルにな る。なお翻訳モデルの学習には fairseq ツールキッ 卜 [9] を使用した. また，文書翻訳を実行するため に fairseq ツールキットを活用しつつ制約付き翻訳用のコードを独自に作成した.

評価指標本実験の評価は，WMT-2020 の標準評価ツールである sacrebleu [10] を用いて BLEU スコ ア [11]にて実施した.表 4 提案法の候補文を生成するために用いた，ドメイン ごとに追加学習した単文翻訳モデルの BLEU スコア

## 4.1 実験結果

表 2 に主たる実験結果を示す. Ja-En の chat 評価 データに対する翻訳結果を除いて，提案法の BLEU スコアの方が高いという結果になった。この結果か ら，提案法である文書翻訳は，単文翻訳モデルが文書内の文を一文ずつ翻訳して結合する方法（ベース ライン）により文書を翻訳するよりも，概ね良好な 結果が得られることがわかった。

表 3 に，DocMT(news\&chat) に対して単文翻訳 から得た候補を用いずに，通常の単文翻訳と 同様に翻訳した際の結果を示す。また，表 2 の DocMT (news\&chat) および SentMT (news\&chat) からの BLEU スコアの差分を示す. 差分が全てマイナス の値になっているのは，DocMT (news\&chat) で単文翻訳と同じ翻訳をすると，ベースラインである SentMT (news\&chat) よりもさらにスコアが悪くなる ことを示している.この結果から，提案法で導入し た単文翻訳の候補を制約として文書翻訳に利用する ことの有効性が示された. 使うモデルが完全に同じ でも，制約を入れるか入れないかでこのような大き な違いが見られた理由は，文書翻訳の場合は，翻訳文の文長が単文翻訳に比べて長くなることが要因と 考えられる．例えば，学習データに現れない文長の 翻訳をするとき，極端に翻訳品質が悪くなることが 知られている $[12,13]$. また，モデル学習時と翻訳時の状況のずれいわゆる exposure bias に起因する要因もあると考えられる $[14,1]$.

## 4.2 分析/考察

単一のドメインの学習結果 表 4 に，提案法であ る DocMT の候補を生成した単文翻訳 SentMT (chat) と SentMT (news) の 1 ベスト翻訳の性能を示す. chat 評価データを SentMT (chat) にて翻訳する場合，あ るいは，news 評価データを SentMT (news) にて評価 する場合のようにモデルと評価データのドメイン が一致するときは高いスコアが得られた. 反対にモ デルと評価データのドメインが一致しない場合は
表 5 候補文のドメインの内訳と，単文翻訳モデルが候補文を生成した段階での候補文の順位（0 位から）につい ての各種統計量（chatドメインの対訳コーパスにおける 場合）

BLEU スコアが大幅に悪くなった. もう一点着目す べきこととして, 表 3 の DocMT (news\&chat) の結果 は，評価データとモデルのドメインが一致している 場合の結果よりもわずかに良い結果となっている. この結果から, DocMT (news\&chat) は与えられた候補 の中からより良い翻訳候補を選択できたことが示唆 される.

モデルの選択結果の統計量 提案法が実際に出力した文書を構成した候補文に注目して，単文モ デルが生成した候補文のドメインの内訳，モデル が候補文を生成した段階での候補文の尤度による 順位に関するいくつかの統計量の 2 つについて,表 5 に chat ドメインの文書を提案法が翻訳した場合，表 6 に news ドメインの文書を提案法が翻訳し た場合を示す ${ }^{2}$. 選択された候補文の内訳に注目 すると, chatドメインのデータを翻訳した場合は SentMT (news) 由来の候補文があまり混在しなかっ たのに対して, news ドメインのデータを翻訳した場合は SentMT (chat) 由来の候補文が $30 \%$ 以上も混在 していた。選択した候補文の順位について，共通す る傾向としてどちらも順位の高い（0に近い側）候補を選択したことが分かった. 平均は news ドメイ ンの文書を翻訳した場合の方が低かった。また翻訳 する文書と候補文のドメインが異なる場合は，選択 された候補文の順位の標準偏差は大きくなる傾向が 見られた.

翻訳結果の一貫性の定性評価 図 2 に提案法に よる実際の chat 文書翻訳結果を示す.この出力の 中にはSentMT (news) の候補文が含まれているが， その候補文でも chat ドメインのようにくだけた 印象の語彙が使われているのが分かった。一方で SentMT (news) に限らず，SentMT (chat) の候補文の 一部であってもです・ます調の部分があり，正解

2）選択された候補文の尤度による順位に関する分布や，文書内で何文目なのかという位置についての情報の詳細は付録の 表 7, 9,10,11,12を参照表 6 候補文のドメインの内訳と，単文翻訳モデルが候補文を生成した段階での候補文の順位（0位から）について の各種統計量 (news ドメインの対訳コーパスにおける 場合）

 \\

図 2 提案法による Chat 文書の En-Ja 翻訳結果

データのような表現が他の SentMT (chat) の候補文 に存在していたがそれを選択していなかった。ま た，誤訳も見られた。このように，提案法によって スコアが向上したが，まだ改善すべき点は残ってい ることが分かった.

## 5 おわりに

本研究では，単文翻訳モデルが出力した翻訳候補 をもとに，文書翻訳モデルによって適切な翻訳文 の組合せを求め，文書翻訳を実現する手法を提案 した. 結果として chat及び news ドメインの対訳 コーパスに対してこの提案法は，単文翻訳の結果を 結合して文書を構成する手法よりも自動評価におい てより高いスコアを得ることができた。しかし実際 の出力を見ると，文書内での口調・語尾の使用の統一は完全になされているわけではなく，誤訳も確認 された。

簡単に準備できて，それなりに品質の高いデータ が今回用いた chat と news データしかなかったため 2 種類のデータのみで実験を行ったが，より広範な 性能を評価するためには，評価データを増やす必要 がある. 今後，文書翻訳の性能を高めるために，こ れらの評価データおよび追加学習用のデータを構築 していきたいと考えている.

## 謝辞

本研究は JST ムーンショット型研究開発事業 JPMJMS2011 (fundamental research) の助成を受けて 実施されたものである.

## 参考文献

[1] Marc'Aurelio Ranzato, Sumit Chopra, Michael Auli, and Wojciech Zaremba. Sequence level training with recurrent neural networks. In 4th International Conference on Learning Representations, ICLR 2016.

[2] Samuel Läubli, Rico Sennrich, and Martin Volk. Has machine translation achieved human parity? a case for document-level evaluation. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 47914796, Brussels, Belgium, October-November 2018. Association for Computational Linguistics.

[3] Jörg Tiedemann and Yves Scherrer. Neural machine translation with extended context. In Proceedings of the Third Workshop on Discourse in Machine Translation, pp. 82-92, Copenhagen, Denmark, September 2017. Association for Computational Linguistics.

[4] Marcin Junczys-Dowmunt. Microsoft translator at WMT 2019: Towards large-scale document-level neural machine translation. In Proceedings of the Fourth Conference on Machine Translation (Volume 2: Shared Task Papers, Day 1), pp. 225-233, Florence, Italy, August 2019. Association for Computational Linguistics.

[5] Yunmeng Li, Jun Suzuki, Makoto Morishita, Kaori Abe, Ryoko Tokuhisa, Ana Brassard, and Kentaro Inui. Chat translation error detection for assisting cross-lingual communications. In Proceedings of the 3rd Workshop on Evaluation and Comparison of NLP Systems, pp. 88-95, Online, November 2022. Association for Computational Linguistics.

[6] Loïc Barrault, Magdalena Biesialska, Ondřej Bojar, Marta R. Costa-jussà, Christian Federmann, Yvette Graham, Roman Grundkiewicz, Barry Haddow, Matthias Huck, Eric Joanis, Tom Kocmi, Philipp Koehn, Chi-kiu Lo, Nikola Ljubešić, Christof Monz, Makoto Morishita, Masaaki Nagata, Toshiaki Nakazawa, Santanu Pal, Matt Post, and Marcos Zampieri. Findings of the 2020 conference on machine translation (WMT20). In Proceedings of the Fifth Conference on Machine Translation, pp. 1-55, Online, November 2020. Association for Computational Linguistics.

[7] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, L ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in Neural Information Processing Systems, Vol. 30, 2017.

[8] Makoto Morishita, Keito Kudo, Yui Oka, Katsuki Chousa, Shun Kiyono, Sho Takase, and Jun Suzuki. Nt5 at wmt 2022 general translation task. In Proceedings of the Seventh Conference on Machine Translation, pp. 318-325, Abu Dhabi, December 2022. Association for Computational Linguistics.

[9] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A fast, extensible toolkit for sequence modeling. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (Demonstrations), pp. 48-53, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[10] Matt Post. A call for clarity in reporting BLEU scores. In Proceedings of the Third Conference on Machine Translation: Research Papers, pp. 186-191, Brussels, Belgium, October 2018. Association for Computational Linguistics.
[11] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[12] Masato Neishi and Naoki Yoshinaga. On the relation between position information and sentence length in neural machine translation. In Proceedings of the 23rd Conference on Computational Natural Language Learning (CoNLL), pp. 328-338, Hong Kong, China, November 2019. Association for Computational Linguistics.

[13] Shun Kiyono, Sosuke Kobayashi, Jun Suzuki, and Kentaro Inui. SHAPE: Shifted absolute position embedding for transformers. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 3309-3321, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[14] Wen Zhang, Yang Feng, Fandong Meng, Di You, and Qun Liu. Bridging the gap between training and inference for neural machine translation. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 4334 4343, Florence, Italy, July 2019. Association for Computational Linguistics.
表 7 SentMT(chat)が chat ドメインの対訳コーパスにおい て En-Ja 翻訳する際に出力した各順位の候補文が選択され た回数と, 文書内で何文目に選択されたかという位置に 関する各種統計量

} & \multicolumn{4}{|c|}{ 文書内での位置 } \\

表 8 SentMT(chat) が chat ドメインの対訳コーパスにおい て Ja-En 翻訳する際に出力した各順位の候補文が選択され た回数と, 文書内で何文目に選択されたかという位置に 関する各種統計量

表 9 SentMT(chat) が news ドメインの対訳コーパスにお いて En-Ja 翻訳する際に出力した各順位の候補文が選択さ れた回数と, 文書内で何文目に選択されたかという位置 に関する各種統計量

表 10 SentMT(news) が news ドメインの対訳コーパスに おいて En-Ja 翻訳する際に出力した各順位の候補文が選択 された回数と，文書内で何文目に選択されたかという位置に関する各種統計量

表 11 SentMT(chat)が news ドメインの対訳コーパスにお いて Ja-En 翻訳する際に出力した各順位の候補文が選択さ れた回数と, 文書内で何文目に選択されたかという位置 に関する各種統計量

} & \multicolumn{4}{|c|}{ 文書内での位置 } \\

表 12 SentMT(news) が news ドメインの対訳コーパスに おいて Ja-En 翻訳する際に出力した各順位の候補文が選択 された回数と，文書内で何文目に選択されたかという位置に関する各種統計量


# ユーザ定義の翻訳ルールにより 語彙と構文が制御可能なニューラル機械翻訳

徐聖源 1 宮田玲 ${ }^{1}$ 佐藤理史 ${ }^{1}$
1 名古屋大学大学院工学研究科
seo.sung. won.e3@s.mail.nagoya-u.ac.jp

## 概要

ユーザが翻訳ルールを定義することで制御可能なニューラル機械翻訳 URNMT (User-defined Rule constrained Neural Machine Translation) を提案する。本システムはまず、翻訳ルールによって、語彙だけ でなく語順など構文に関する制約の情報を含めた未完成の翻訳（部分翻訳）を生成する。そして、その 部分翻訳を語彙制約付 NMT の一つである EDITOR に制約として与えることで、統制された翻訳を生成 する。EDITORには、部分翻訳を制約として効果的 に活用するための機能を追加した。擬似部分翻訳を 用いた自動評価により、提案手法が適切に部分翻訳 を活用して翻訳を生成できることを確認した。

## 1 はじめに

ニューラル機械翻訳 (neural machine translation; NMT）を制御する手法の一つとして語彙制約付 NMT の研究が行われている $[1,2,3,4]$ 。語彙制約付 NMT は、制約として与えた単語やフレーズを含む翻訳を 生成することができるが、出力文に合わせた語形変化が難しいことが指摘されている [4]。また、マ ニュアル等の産業文書の翻訳では、使用すべき語彙 だけでなく、語順などの構文的なパターンも特定の 形に統制したいという要求がある [5]。

Jon ら [4] は、Transformer [6] 学習時にレンマ化し た制約をソース文と共に学習データとすることで、基本形の制約を与えてもモデルが正しい表層形を選択できるようにした。この手法は、語形変化に柔軟 に対応できる形で語彙レベルで制約された翻訳を可能にするが、構文レベルの制御は対象としない。こ のほか、構文を制御して文を生成する研究 [7] もあ るが、翻訳タスクで語彙と構文を同時に制御する研究は不足している。

本研究では、ユーザが定義した翻訳ルールに従って NMT の出力を制御する URNMT (User-defined Rule constrained Neural Machine Translation) を提案す る。URNMT は、翻訳ルールを用いて翻訳できる部分だけ翻訳して、翻訳できない部分は原言語のまま 残した部分翻訳を生成する。その後、その部分翻訳 を語彙制約付 NMT に制約として与えることで翻訳 を完成させる。部分翻訳に語順や文型などの情報を 組み込むことができるため、語彙制約付 NMT の枠組みを用いながら構文的な制約も課すことができる 点が特徴である。

本稿では、現在日英翻訳を対象として開発中の URNMT の全体構成と各機構を説明する（2 節）。ま た、擬似的な部分翻訳を用いた実験により、提案手法が部分翻訳を制約として適切に活用できることを 示す (3 節)。

## 2 提案システム

URNMT は大きく、翻訳ルールを用いて部分翻訳 を生成する部分翻訳生成器と、部分翻訳を制約とし て用いる NMT で構成される（図 1)。

## 2.1 部分翻訳生成器

部分翻訳生成器は、事前に定義された翻訳ルール が適用できる部分だけ翻訳し、残りは原言語のまま 保持した、不完全な翻訳を生成する。具体的には まず、解析器を使用して入力文の情報を持つ構文木 (Source Tree)を構築する。続いて、辞書ルールに 従って、語句の訳し方に関する情報を Source Tree に追加する。最後に、Source Tree がどのような条件 を満たすときどのような翻訳を生成するか記述す る組み立てルールに従って、目標言語側の木 (Target Tree)を生成した上で、部分翻訳として出力する ${ }^{1)}$ 。

解析器 入力文を Stanza [8] を用いて構文解析し た結果に基づき、Source Tree を構築する。このと

1） Source Tree、Target Tree、辞書ルール、組み立てルールの例 は付録 A に示す。

図 1 提案システム URNMT の全体構成と翻訳例

き、Stanza で得られる情報の一部を削除し、翻訳 ルールの定義に必要な情報のみを残した。また、日本語の動詞の後ろに付く各種の機能表現の情報を翻訳時に用いるため、日本語文末解析器 Panzer [9] で 解析した情報を追加する。

辞書ルール 辞書ルールは、ルールの適用条件、変換方法、語句の属性、適用優先度で構成される。解析器が生成した Source Tree に対し、適用条件を満 たすノードが検索された場合、ルールで定義された 情報を追加する。追加する情報は、図 1 の「ダイア グコード $\rightarrow \mathrm{DTC}$ のような変換方法だけでなく、語句の属性（意味カテゴリなど）も含む 2 ）。Source Tree の各ノードには最大 1 つの辞書ルールが適用され る。複数のルールが適用可能な場合は、適用優先度 が最大のものを選ぶ。それでも 1 つに絞り込めない 場合は、適用条件のより複雑なルールを優先する。

組み立てルール 組み立てルールは、ルールの適用条件、Target Tree の組み立て方法、適用優先度か ら構成される。図 1 では、「Aして、Bする $\rightarrow \mathrm{A} \mid$ ing $\mathrm{B}\lrcorner$ のように簡略化して記述しているが、実際の組 み立てルールは、適用条件・組み立て方法ともに木構造で定義され、語彙だけでなく構文の変換方法も 柔軟に表現できる。組み立てルールの適用条件に完全にマッチする Source Tree 中の部分（ノード集合） に対して、組み立て方法を用いて Target Tree の部分木を生成し、上位ノードから順次 Target Treeを組み 立てる。ある Source Treeノードに対し、複数の組み 立てルール（適用条件）のルートノードが重なる場合は、適用優先度と適用条件の複雑度を考慮して、1 つに絞り込む。なお、ユーザが定義する比較的少数 の組み立てルールでは、Source Tree の全体をカバー できないため、ユーザ定義ルールとは別に、バック アップ用の基本ルールをあらかじめ定義してある。

2）辞書ルールで語句の属性を定義しておくことで、組み立て ルールの柔軟な定義が可能となる。

## 2.2 部分翻訳を制約として用いる NMT

語彙制約付 NMT の一つである EDITOR [3] を使用して、不完全な部分翻訳から完全な翻訳を生成す る。EDITOR は編集を繰り返すことで文を生成する モデルである。編集時は、与えられた制約を初期文 とした後、トークンを削除したり位置を変更したり する再配置操作、単語をどこにいくつ追加すべきか 予測して placeholder を挿入する placeholder 挿入操作、placeholderをトークンに変換するトークン予測操作を繰り返すことで翻訳を完成させる。

EDITOR に制約を与える方法には、制約の編集を 許容するソフトな制約設定と、制約の削除や複数の 制約間へのトークン挿入を禁止するハードな制約設定がある。提案システムでは、制約を厳密に守るこ とを重視するためハードな制約設定を用いるが、オ リジナルの EDITOR に準拠して単純な単語の羅列を 制約にしてしまうと、複数の制約はひと続きの固定表現として訳されてしまう。そこで、本研究では、未翻訳部分の情報を含んだ部分翻訳を制約として効果的に活用するため、EDITOR に以下の 3 つの機能 を追加した (図 1 の例も適宜参照されたい)。

1. placeholder を含む制約生成 部分翻訳中の未翻訳部分をあらかじめ placeholder に置き換えて、 EDITOR のデコード時の中間表現に合わせた制約 を生成する。このとき、未翻訳部分の文字列から、翻訳を完成するときに埋めるべきトークン (すな わち placeholder) の数を予測する。具体的には未翻訳部分をNMT 学習時と同じ方法でトークナイ ズして得られたトークン数を基準とする。なお、 EDITOR はトークンの追加や削除が可能であるた め、placeholder を最初に 1つ入れておき、あとは EDITOR に任せればよいとも考えられるが、経験的 な観察の結果から、適切な数の placeholderを最初か ら制約に含めることが有効であると判断した。

また、オリジナル EDITOR のハードな制約設定で は、制約に含まれる placeholder の編集も禁止されて しまうが、本システムではそれを許可した。

2. リランキング 上記で予測する placeholder の 数は、あくまで原文のトークン数に基づくもので、必ずしも適切な翻訳文に必要なトークン数と一致す るわけではない。この問題を解決するため、予測し た placeholder の数にノイズを与えて複数の制約を生成した後、それぞれの制約に対して EDITOR の出力 を生成する。その後、生成された複数の出力をリラ ンキングし、最も良いものを選ぶ。

placeholder の数は、予測値（未翻訳部分のトーク ン数）を中心に、 0 から 2 倍の範囲内でランダムで 決定し、 1 文ごとに 50 の制約を生成する。異なる制約が 50 個生成できない場合は、 0 から 2 倍の範囲を 超える placeholderを挿入する。

リランキング手法には、雑音のある通信路モデル に基づく手法 [10]を使用した。この手法は、順方向翻訳モデルの生成確率、逆方向翻訳モデルの生成確率、言語モデルの生成確率を線型結合して翻訳にス コアを付けた後、順位付けする。提案システムで は、順方向翻訳モデルとして EDITOR、逆方向翻訳 モデルとして逆方向 Transformer モデル、言語モデ ルとしてターゲット側 Transformer 言語モデルを使用する。

3. スキップ機能 オリジナルの EDITOR は制約 が与えられた時、トークンの再配置と placeholder 挿入を行った後、トークン予測を行う。そのため、制約に含まれる placeholder に対するトークン予測が 行われる前に、placeholder の削除や追加が行われる 可能性がある。最初に予測した placeholder の情報を なるべく生かすために、制約に placeholder が含まれ ている場合、再配置と placeholder 挿入の操作を初回 のみスキップしてトークン予測を先に行うように した。

## 3 疑似部分翻訳を用いた実験

2.2 節で提案した NMT が、部分翻訳を効果的に制約として活用できるのか、また追加した 3 つの機能 が有効であるかを評価した。評価では、実際の使用環境を再現して、開発データを用いてユーザが翻訳 ルールを定義した後、評価データを用いて翻訳ルー ルに基づき生成された部分翻訳を用いることが望ま しい。しかし、このような方法では大量かつ多様な データの準備が難しいため、その前段階として、参照文の一部を特殊トークンに置換することで自動生成した擬似部分翻訳を用いて NMT の評価を行った。

## 3.1 擬似部分翻訳の生成方法

翻訳ルールに基づいて組み立てられた部分翻訳 は、語句や節など文法的な単位の未翻訳部分を持 つ。なるべく実際の部分翻訳の形を模倣するため に、以下の手順で擬似部分翻訳を生成した。

1. 参照文を Stanza で係り受け解析する。

2. 係り受け解析木における、特定の依存関係3) に ある単語間のパスを分割することで、文を一定 のまとまりを持つ要素単位に分解する。

例) Using / the GTS / clear / the DTC

3. 制約に含める文要素をランダムで選ぶ。ある要素を制約に含める確率を $p$ とし、制約に含めな い要素はトークンに分割し、<tok>に置換する。実際の部分翻訳では、未翻訳部分は原言語トー クン列であるが、本実験では<tok>を未翻訳部分とみなす4)。

例) Using <tok> <tok> clear <tok> <tok>

部分翻訳を制約として用いる NMT は 2.2 節で説明した方法で<tok>の数を基準にランダムな数の placeholderを挿入した制約を複数生成し、使用する。

例) Using <plh> clear <plh> <plh> <plh>

## 3.2 実験方法

設定 部分翻訳の完成度合いに多様性を持たせる ために、 3.1 節の手順 3 における確率 $p$ は、 0 から 0.9 まで 0.1 間隔に合計 10 種類を試した。EDITOR は、ハードな制約設定に加えてソフトな制約も試 した。また、EDITORに追加した 3 つの機能の有効性を確かめるために、各機能を使わない設定で の実験も行った。なお、placeholderを使わない設定 では、くtok>を削除した疑似部分翻訳を用いた。リ ランキングを行わない設定では、ランダムな数の placeholder を含む制約を複数ではなく、1つのみ使用する。

データセット NTCIR-9 特許機械翻訳テストコレ クション [11] の英日、日英データを使用した。学習 データは約 320 万文、検証データは 914 文、テスト データは 2000 文を使用した。

3）本研究で対象とした依存関係：root, obj, nsubj, iobj, csubj, ccomp, xcomp, obl, nmod, parataxis, conj, cc, advcl

4）参照文におけるトークン数を既知のものとして利用してい るため、原文におけるトークン数から予測するよりも易しい タスクとなっている。

図 2 擬似部分翻訳を制約として与えた NMT の性能

モデルの学習 EDITOR の学習には教師モデルを 学習データで学習した後、学習データの参照文を教師モデルの出力に置き換えて学生モデルを学習する シーケンスレベル知識蒸留法 [12]を用いた。本実験 では、Transformer 教師モデルから EDITOR 学生モデ ルを学習した。

本実験では、日英方向を順方向としたとき、順方向 EDITOR モデル、知識蒸留のための順方向 Transformer モデル、リランキングのための逆方向 Transformer モデルとターゲット側 Transformer 言語 モデルの合計 4 つのモデルを学習した。学習設定の 詳細は付録 B に示す。

評価 翻訳出力に対して、SentencePiece [13] と NLTK detokenizer [14] によるデトークナイズを行っ た上で、SacreBLEU [15] により BLEUを計算した。

## 3.3 実験結果

図 2 に結果を示す。基本的には、参照文の要素が 制約に含まれる確率 $p$ が高くなるほど、文に対する 制約トークンの割合は大きくなる。図中の hard は、 ハードな制約設定の EDITORに 3 つの拡張機能を追加した、本研究の提案手法である。制約に含まれる 参照文の要素が増えるほど BLEUが安定的に上昇す るため、制約を効果的に活用できていることがわか る。ソフトな制約を使用した場合 (soft)も BLEU は 安定的に上昇しているが、制約が守られないことが 多くなるため、hard に比べると BLEUが低くなる。 hard w/o plhと soft w/o plhはそれぞれ、ハー ドな制約設定とソフトな制約設定で placeholderを 持たない部分翻訳を制約として与えた場合である。 placeholder が存在しないので、自動的にリランキン グとスキップ機能も適用対象外となり、オリジナル の EDITOR と同等の設定である。ハードな制約で
は、ひと続きの制約トークン間に新しいトークンの 挿入が禁止される。そのため、 $p$ が比較的小さい時、 すなわち複数の制約要素が文中で散在する条件下 で、placeholderを削除してしまうと、BLEUが大き く下がる。ソフトな制約では、生成の過程で新しい トークンの挿入も行われるので、このような問題は 生じないが、提案手法より一貫して BLEU が低い。

提案手法からリランキングの機能を除いた場合 (hard w/o rerank)は、 $p<0.8$ の区間で、提案手法 と比べて BLEUが低い。特に、 $p$ の値が低い区間、 すなわち制約が比較的短い場合では、提案手法と比 べ BLEUが大きく下回り、 $p=0.1$ のときは、制約な しの場合 $(p=0)$ よりも BLEU が低い。大部分の区間で提案手法はより高いBLEUを達成し、下がる区間なく安定的な上昇を見せるため、リランキング機能は有効であったと考えられる。

提案手法からスキップ機能を外した場合 (hard w/o skip)、BLEUが大きく下がる区間が存在 する。これは、2.2 節で紹介した placeholder の数が 勝手に変わってしまう現象によるものである。こ のような現象が起こる理由は、EDITOR モデルが placeholderを含む制約に対して再配置と placeholder 挿入操作を学習していないためだと考えられる。 EDIOTR モデルの学習の仕方自体を変える方法もあ るが、より簡便なスキップ機能の導入により、大き く性能を向上できている。

以上のように、提案手法が大部分の区間で最も高 いBLEU を達成したことから、追加した 3 つの機能 が有効であることを確認できた。

## 4 おわりに

本稿では、ユーザ定義の翻訳ルールによって翻訳を語彙的・構文的に制御できるシステム URNMT を提案した。URNMTは、翻訳ルールに基づく部分翻訳の生成器と、部分翻訳を制約とした NMT から 構成される。部分翻訳を効果的に活用するために、語彙制約付き NMT である EDITOR の機能を拡張し た。擬似部分翻訳を用いた実験から、部分翻訳が効果的に活用できること、追加した各機能が有効であ ることを確認した。

提案システムのプロトタイプはすでに完成してい るため、今後はユーザによる翻訳ルールの定義とそ れに基づき生成した部分翻訳を用いた評価実験を行 う予定である。また、ユーザによるシステム全体の 利用を通じたユーザビリティ評価も行う。

## 謝辞

本研究は、トヨタ自動車株式会社との共同研究の

枠組みで行われた。また、本研究の一部は、JSPS 科研費（課題番号：19H05660）および KDDI 財団調査研究助成の支援を受けた。

## 参考文献

[1] Matt Post and David Vilar. Fast lexically constrained decoding with dynamic beam allocation for neural machine translation. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 1314-1324, New Orleans, Louisiana, USA, June 2018.

[2] Raymond Hendy Susanto, Shamil Chollampatt, and Liling Tan. Lexically constrained neural machine translation with Levenshtein Transformer. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 3536-3543, Online, July 2020.

[3] Weijia Xu and Marine Carpuat. EDITOR: An edit-based transformer with repositioning for neural machine translation with soft lexical constraints. Transactions of the Association for Computational Linguistics, Vol. 9, pp. 311-328, March 2021.

[4] Josef Jon, João Paulo Aires, Dusan Varis, and Ondřej Bojar. End-to-end lexically constrained machine translation for morphologically rich languages. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing, pp. 4019-4033, Online, August 2021.

[5] Takahiro Makino, Rei Miyata, Seo Sungwon, and Satoshi Sato. Designing and building a Japanese controlled language for the automotive domain: Toward the development of a writing assistant tool. In Annette Klosa-Kückelhaus, Stefan Engelberg, Christine Möhrs, and Petra Storjohann, editors, Dictionaries and Society. Proceedings of the XX EURALEX International Congress, pp. 409-422. Mannheim, Germany, July 2022.

[6] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Proceedings of the 31st International Conference on Neural Information Processing Systems, pp. 6000-6010, Red Hook, New York, USA, December 2017.

[7] Ashutosh Kumar, Kabir Ahuja, Raghuram Vadapalli, and Partha Talukdar. Syntax-guided controlled generation of paraphrases. Transactions of the Association for Computational Linguistics, Vol. 8, pp. 329-345, 2020.

[8] Peng Qi, Yuhao Zhang, Yuhui Zhang, Jason Bolton, and Christopher D. Manning. Stanza: A Python natural language processing toolkit for many human languages. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: System Demonstrations, pp. 101-108, Online, July 2020.
[9] 佐野正裕, 佐藤理史, 宮田玲. 文末述語における機能表現検出と文間接続関係推定への応用. 言語処理学会 第 26 回年次大会 発表論文集, pp. 1483-1486,オン ライン, March 2020

[10] Kyra Yee, Yann Dauphin, and Michael Auli. Simple and effective noisy channel modeling for neural machine translation. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, pp. 5696-5701, Hong Kong, China, November 2019.

[11] Isao Goto, Bin Lu, Ka Po Chow, Eiichiro Sumita, and Benjamin Tsou. Overview of the Patent Machine Translation Task at the NTCIR-9 Workshop. In Proceedings of NTCIR-9 Workshop Meeting, pp. 559-578, Tokyo, Japan, December 2011.

[12] Yoon Kim and Alexander M. Rush. Sequence-level knowledge distillation. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 1317-1327, Austin, Texas, USA, November 2016.

[13] Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, Brussels, Belgium, November 2018.

[14] Steven Bird, Ewan Klein, and Edward Loper. Natural Language Processing with Python. O'Reilly Media Inc., 2009 .

[15] Matt Post. A call for clarity in reporting BLEU scores. In Proceedings of the Third Conference on Machine Translation, pp. 186-191, Brussels, Belgium, October 2018.

[16] Taku Kudo and Yuji Matsumoto. Japanese dependency analysis using cascaded chunking. In Proceedings of the 6th Conference on Natural Language Learning, pp. 63-69, Stroudsburg, Pennsylvania, USA, 2002.

[17] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A fast, extensible toolkit for sequence modeling. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Demonstrations, pp. 48-53, Minneapolis, Minnesota, USA, June 2019.

## A 部分翻訳生成器の例

図 3 Source Tree の例

図 3 は Source Tree の例である。2つの節で構成さ れている、「使用する」という動詞がテ形で使われ ている、といった情報が保持されている。

図 4 辞書ルールの例

図 4 は辞書ルールの例である。この例は、Source Tree 中の「ダイアグコード」という要素に対して、「DTC」に変換する（変換方法）、「code」という属性 を持つ（語句の属性）、という情報を追加するルー ルである。

図 5 辞書ルールを適用した Source Tree の例

図 5 は、図 4 の辞書ルールを図 3 の Source Tree に 適用した例である。「ダイアグコード」のノードに、辞書ルールで定義した変換方法と語句の属性情報が 付加されている。

図 6 は組み立てルールの例である。この例は、「A して、Bする」という構文は「A|ing B」という構文 に変換することを定めている。図 6 の適用条件と 図 5 の Source Tree を比較すると、条件の全ての要素

図 6 組み立てルールの例

が Source Tree に含まれるため、この組み立てルー ルが適用される。適用条件と組み立て方法で同じ番号を持つノードは互いに繋がり、組み立て方法を Target Tree に足す位置を決定する。

図 7 Target Tree の例

図 7 は、複数の組み立てルールを用いて生成され た Target Tree の例である。「GTS を」や「消去する」 など翻訳ルールが定義されていない部分は、原文文字列のまま Target Tree に組み込まれている。Target Tree のルートノードに表示されている文が、Target Treeを組み立てて生成された部分翻訳である。

## B モデルの学習設定

学習データは日本語を MeCab [16]、英語を Stanza [8] でトークナイズした後、SentencePiece [13] でサブワード分割した。SentencePiece の語彙サイズ は日英共有で 16000 にした。

全てのモデルは fairseq [17] で学習しており、 Vaswani ら [6] の Transformer (base) の設定に従って いる。ドロップアウト率は 0.3 を使用した。

Transformer モデル [6] では、バッチサイズを 44000 とした。最大学習率は 0.0006 とし、検証データの BLEU をエポック毎に評価して、10 エポックの間改善が見られない場合、学習を終了した。

EDITOR モデル [3] では、バッチサイズを 64200 とした。最大学習率は 0.0005 とし、アップデート回数 30 万まで学習を行った。 10000 アップデート毎 に保存したチェックポイントの中で検証データの BLEU が最も高いものを選んだ。


# 近傍事例を用いた対話における感情認識

石渡 太智 1,2 美野 秀弥 ${ }^{1}$ 後藤淳 ${ }^{1}$ 山田寛章 ${ }^{2}$ 徳永 健伸 ${ }^{2}$
${ }^{1}$ NHK 放送技術研究所 2 東京工業大学情報理工学院
\{ishiwatari.t-fa,mino.h-gq,goto.j-fw\}@nhk.or.jp \{yamada,take\}@c.titech.ac.jp

## 概要

ソーシャルメディアでの感情分析や感情的かつ 共感的な対話システムの構築を目的として対話 における各発話の感情認識 (Emotion Recognition in Conversations: ERC) が注目を集めている. ERCで は，発話の内容だけでなく，発話間の関係が話者の 感情に大きな影響を与えることが知られている. 従来手法の多くは，発話間の関係を抽出し，高い認識性能を達成した。このような手法は, 単体で高い認識性能を示すことが多いが，性質の異なるモデルを 組み合わせることでさらなる性能向上が期待でき る. 本研究は, 単体で高い性能を発揮するモデルが 出力する感情ラベルの確率分布と, 性質の異なる別 のモデルを用いて検索した近傍事例から作成した確率分布とを組み合わせる手法を提案する。評価実験 において，提案手法はERCにおける3つのベンチ マークデータセットのうち，2つのデータセットで ベースモデル単体の認識率を上回る性能を達成し た. また並べ替え検定において，提案手法はべース モデル単体に対して統計的に有意な結果を示した。

## 1 はじめに

ソーシャルメディアでの感情分析 [1] や感情的か つ共感的な対話システムの構築 [2] を目的として対話における各発話の感情認識 (Emotion Recognition in Conversations: ERC) が注目を集めている. 先行研究 として，再帰型ニューラルネットワークを用いて発話の内容を抽出する手法 [3] や, 事前学習済み BERT モデルを用いて発話の内容を抽出する手法 [4] が提案されている. ERCでは, 発話の内容だけでなく発話間の関係が話者の感情に大きな影響を与えること が知られているため [5], 近年では, 発話の内容だけ でなく発話間の関係も考慮する手法が提案されてい る $[6,7]$.

感情認識の問題設定では，単一のモデルでも高い 認識性能を示すことが多いが，異なるモデルの出力
を組み合わせることでさらなる性能向上が期待でき る. そこで本研究は，異なるモデルを用いて検索し た近傍事例から確率分布を作成し，ベースモデルに 組み合わせる手法を提案する。近傍事例を活用した 手法は，機械翻訳 $[8,9,10,11]$ や固有表現抽出 [12],文法誤り訂正 [13] などの幅広い問題設定で活用さ れ, 有効性が示されている. しかしながら，対話に おける感情認識では，近傍事例を応用した手法の有効性が示されていない.

そこで本研究は，性質の異なるモデルによって 検索した近傍事例から確率分布を作成し, ベース モデルの確率分布に足し合わせる手法を提案する. ベースモデルには，発話の内容だけでなく発話間 の関係も考慮することで高い認識性能を達成した DAG-ERC モデル [7]を用いる. 評価実験において， ERC における 3 つのベンチマークデータセットの うち，2つのデータセットでベースモデル単体の認識率を上回る性能を達成した. さらに，1 つのデー タセットで，並べ替え検定によって， ベースモデル 単体よりも統計的に有意な結果を得ることを確認 した.

## 2 提案手法

はじめに ERC の問題設定を示す．ERCでは，対話における各発話 $x_{1}, x_{2}, \cdots, x_{N}$ の, neutral, surprise, fear などの感情ラベル $y_{1}, y_{2}, \cdots, y_{N}$ を認識する.$N$ は 1 つの対話に現れる発話の数を示す.

提案手法は, ベースモデルによる確率分布作成 (2.1), 近傍事例の抽出 (2.2), 近傍事例による確率分布作成 (2.3), モデルの組み合わせ (2.4)の 4 つで構成される。詳細を次で説明する。提案手法の概要を 図 1 に示す. 本手法は，事前学習済みのモデルを使用し，推論フェーズのみで動作する。従って，新た な学習パラメータを必要としない.

図 1 提案手法の全体図. はじめにベースモデルによる感情ラベルの確率分布 $p_{\mathrm{dag}}$ を作成する. 次に, Query Encoder が 出力した特徴量ベクトルを用いて，データベースから近傍事例を検索する。得られた上位 $\mathrm{K}$ 個の近傍事例に付与された 感情ラベルの頻度に基づき確率分布 $p_{\mathrm{kNN}}$ を作成する. ベースモデルの確率分布 $p_{\mathrm{dag}}$ と近傍事例の確率分布 $p_{\mathrm{kNN}}$ を重み 係数 $\lambda$ を用いて足し合わせ，確率分布 $p$ を得る．最後に，最も確率の高い感情ラベルを出力する．Frozen はモデルのパ ラメータを固定した状態を示す.

## 2.1 ベースモデルによる確率分布作成

発話の内容だけでなく発話間の関係も考慮した DAG-ERC モデル [7]を用いて，確率分布を作成す る. DAG-ERC モデルは, RoBERTa-large モデル [14] を用いて対話における各発話の内容を考慮した特徴量ベクトルを抽出する. さらに，グラフニューラル ネットワーク $[15,16]$ を用いて自身の発話からの影響と他者の発話からの影響を考慮した特徴量ベクト ルを抽出する. 発話の内容を示す特徴量ベクトルと 発話間の影響を示す特徴量ベクトルを結合し，順伝播型ニューラルネットワークと Softmax 関数を用い て感情ラベルの確率分布を作成する. 得られた確率分布を $p_{\mathrm{dag}}\left(y_{n} \mid x_{1: n}\right)$ とする. 本手法では, 事前学習済みの DAG-ERC モデルを利用し，全てのパラメー タを固定する。なお，本論文ではべースモデルとし て DAG-ERC を用いるが，ERC タスクで事前に学習 した他のモデルも利用可能である.

## 2.2 近傍事例の抽出

ベースと異なるモデルを用いて，近傍事例を検索 する方法について述べる．まず，訓練データセット の各サンプルに対して，Query encoder モデルを用い て特徴量ベクトルを抽出する. 訓練データに付与 された感情ラベルも取り出し, 特徵量ベクトルと ラベルのペアを取得する. 作成した特徵量ベクト ルを Key，感情ラベルを Value として，Key-Value の
ペアからなるデータベースを作成する. Key の特徴量をh，Value のラベルを $v$ とする。本稿では Query encoder として，ERC の問題設定で事前にファイン チューニングを行った RoBERTa-large モデル1)を用 いる.

続いて, 評価対象の対話を入力し, 先ほどの Query encoder モデルを用いて，特徴量べクトルを取得す る. Query encoder モデルを用いて特徴量ベクトルを 導く関数を $f\left(x_{1: n}\right)$ とする. 取得した特徵量べクト ルを Query として，データベースに登録された特徴量ベクトルとの類似度を計算し，類似度の高い上位 $K$ 個の事例を，近傍事例として取得する。抽出し た近傍事例は, 特徵量ベクトル (Emb), 感情ラベル (Lab), Query との距離 (Dist) によって構成され, その 集合を $R^{n}=\left.\{\left(\mathbf{h}_{i}, v_{i}, d\left(\mathbf{h}_{i}, f\left(x_{1: n}\right)\right)\right), i \in\{1,2, \cdots, K\}\right.\}$ とする. $d(\cdot, \cdot)$ はユークリッド距離を用いる.

## 2.3 近傍事例による確率分布作成

検索した近傍事例を用いて確率分布を作成す る. 2.2 項で抽出した $K$ 個の近傍事例の, 感情ラ ベル $v_{i}$ と Query との距離 $d\left(\mathbf{h}_{i}, f\left(x_{1: n}\right)\right)$ を用いる. Khandelwal らの手法 [8] を参考に，ラベルと距離を 用いて確率分布を算出する式を下式で示す.

$
p_{\mathrm{kNN}}\left(y_{n} \mid x_{1: n}\right) \propto \sum_{\left(\mathbf{h}_{i}, v_{i}\right)} \mathbb{1}_{y_{n}=v_{i}} \exp \left(\frac{-d\left(\mathbf{h}_{i}, f\left(x_{1: n}\right)\right)}{T}\right)
$

$\mathbb{1}_{y_{n}=v_{i}}$ は, 近傍 $v_{i}$ が感情ラベル $y_{n}$ と同一である場合に 1 を返す指示関数である。 ハイパーパラメータ $T$ は温度を示す。

## 2.4 モデルの組み合わせ

2.1 項で作成したベースモデルによる確率分布 $p_{\mathrm{dag}}$ と, 2.3 項で作成した近傍事例による確率分布 $p_{\mathrm{kNN}}$ を組み合わせる。係数取り, ベースモデルの出力と近傍事例を組み合わせ た確率分布を作成する．式を下式に示す。

$
p\left(y_{n} \mid x_{1: n}\right)=\lambda p_{\mathrm{kNN}}\left(y_{n} \mid x_{1: n}\right)+(1-\lambda) p_{\mathrm{dag}}\left(y_{n} \mid x_{1: n}\right)
$

に, 作成した確率分布の中で, 最も確率の高い感情 ラベルを，推論結果として出力する。

## 3 実験

## 3.1 データセット

ERC における 3 つのベンチマークセットを用い て，提案手法の有効性を検証する，訓練データ，検証データ，テストデータの割合と評価方法を表 1 に 示す.また各セットにおける対話数と発話数，クラ ス数を示す.

MELD [17] は，複数の俳優が登場する Friends と いう TV ドラマの，一部シーンを切り取った映像 と音声の書き起こしからなるデータセットである. また，1つの対話に複数の話者が登場し, 各発話に は (neutral, happiness, surprise, sadness, anger, disgust, or fear) のうち 1 つが付与される.

IEMOCAP [18] は 2 人の話者が，1 対 1 の会話を 行う様子を収録した映像と音声の書き起こしから なるデータセットである. 各発話には, (happy, sad, neutral, angry, excited, or frustrated) のうち 1 つが付与 される.

EmoryNLP [19] はTV ドラマ Friendsから，一部 のシーンを切り取り収集したデータセットである。 MELD と比較してデータサイズとラベルの種類が異 なり, 各発話には (neural, sad, mad, scared, powerful, peaceful, or joyful)のうち 1 つが付与される.

## 3.2 評価指標

Shen らの手法 [7] で用いられた評価指標と同じ， Weighted-F1 值を全てのデータセットの評価に用い る.また，ノンパラメトリック検定の一つである並
べ替え検定を用いて，有意差を検定する。

## 3.3 その他の実験設定

その他の実験設定を示す. DAG-ERC は [7] で報告された学習パラメータを用いて, 事前に学習 した. また, Query encoder として用いる FinetunedRoBERTa は，学習率を $5 e-6$ に設定し，損失関数に Cross Entropy Loss を，最適化に RAdam optimizer [20] を用いて事前に学習した。

また, ベースモデルと Query encoder の特徴量ベ クトルの次元数を 1024 とし, 近傍事例の数 $K$ を 32 に，温度 $T$ は 1000 に設定した. ハイパーパラメー タである係数 $\lambda$ は $(0,0.25,0.5,0.75,1)$ の中から，検証データで最も Weighted-F1 値が高くなるものを選択した。近傍事例の検索は，faiss[21]を用いた. 全 ての実験結果は 5 回行い平均値を用いた. $512 G B$ メモリの AMD EPYC 7F52 CPU と， 40GB メモリの NVIDIA A100 の GPUを用いて実験を行った。

## 4 実験結果

## 4.1 比較実験

ベースモデル単体との比較結果を表 2 に 示す. ベースモデル単体の手法として, DAGERC[7] と Finetuned-RoBERTaを用いた. 提案手法の Query encoder として, DAG-ERC, Vanilla-RoBERTa, Finetuned-RoBERTa の 3 種類を比較した. 表 2 の avg, std, p-score は, それぞれ平均値, 標準偏差, DAG-ERC を基準にした $\mathrm{p}$ 値を示す.

表 2 の結果より, 3 つのベンチマークデータ セットの内，2つのデータセットでベースモデル 単体を上回る認識性能を達成した。また，MELD データセットにおいて, Finetuned-RoBERTaを Query encoder として用いた手法 (\#4) は, ベースモデルで ある DAG-ERC(\#0) に対して p-score が $5 \%$ を下回っ た. 以上より，提案手法が DAG-ERC に対して統計的に有意な差を示すことが確認できた。

次に, Query encoder の 3 種類を比較する. MELD データセットと IEMOCAP データセットにおいて， Finetuned-RoBERTaを用いた結果 (\#4) が DAG-ERC を用いた結果 (\#2)を上回った. 以上より，ベースモ デルと性質の異なるモデルを組み合わせる方法の有効性が確認できる.

一方で, EmoryNLP データセットでは, 提案手法 $(\# 2,3,4)$ の Weighted-F1 值が，DAG-ERC 単体を用い

 & テストデータ & 訓練データ &  & テストデータ & クラス数 & 評価方法 \\

表 1 MELD，IEMOCAP, EmoryNLP ベンチマークデータセットの割合と評価方法. 訓練データ，検証データ，テスト データにおける対話数と発話数，クラス数を示す.

表 2 MELD, IEMOCAP, EmoryNLP ベンチマークデータセットにおけるベースモデル単体との比較実験. avg, std, p-score は，それぞれ平均値，標準偏差，DAG-ERC を基準にした $\mathrm{p}$ 値を示す. ボールド体は最も性能が高い値を示す．各値は 5 回の実験による Weighted-F1 値の平均値を示す.

図 2 各ベンチマークデータセットにおける係数と Weighted-F1 値の関係. W-F1 は Weighted-F1 値を示す.

た結果 (\#0)に比べて，低い値を示した. これは係数 $\lambda$ として，0や 0.75 が選ばれたことが原因と考えら れる。係数 $\lambda=0$ の場合，近傍事例による確率分布 は利用されず，ベースモデル単体の出力がそのまま 利用される. そのため，性能に変化が生じなかっ た. また， $\lambda$ が大きい場合，近傍事例による確率分布に重きが置かれる. 関連する事例がデータベース に存在しない場合も, 近傍事例による確率分布に重 きが置かれてしまう，そのため，ロバスト性が失わ れ, 性能が落ちてしまった. 今後は, サンプル全体 で一つの係数 $\lambda$ を設定するのではなく, サンプルご

## 4.2 係数の分析

続いて，ハイパーパラメータである係数 $\lambda$ と 認識性能の関係を検証する。各ベンチマーク

$(0,0.25,0.5,0.75,1)$ と変化させた時に, Query encoder として Finetuned-RoBERTa を用いた提案手法の認識率がどのように変化するかを分析する．結果を図 2 に示す.

結果から，全てのデータセットでベースモデル単体 $(\lambda=0)$ が示す認識率を，上回る $\lambda$ が存在するこ とを確認できる．特に $\lambda$ が 0.25 や 0.5 のときに，高 い性能を発揮することがわかった。一方で， $\lambda$ が大 きい場合は，認識性能が極端に劣化することがわ かった。

## 5 おわりに

本稿は，対話における各発話の感情認識におい て，単体で高い性能を発揮するモデルをベースに，性質の異なるモデルを用いて検索した近傍事例か ら，感情ラベルの確率分布を作成し，ベースモデル に組み合わせる手法を提案した. 3 つのベンチマー クデータセットを用いて手法の有効性を確認したと ころ，2つのデータセットでベースモデルの認識率 を上回る性能を達成した。

今後の展望として, 温度 $T$ および係数 $\lambda$ を学習す ることを検討している。本稿では温度 $T$ は固定し，係数 $\lambda$ はハイパーパラメータとして選択した. 最適 な温度と係数はデータセットのサンプルによって異 なると考えられる．今後は，学習によって動的に変更する手法を検討する．また，近傍事例の数 $K$ も同様に変更できる手法を検討する。

## 謝辞

貴重なコメントや議論を頂いた NHK 放送技術研究所の山田一郎シニアリード，宮﨑太郎研究員,安田有希研究員，奥田あずみ研究員に感謝の意を 表す。

## 参考文献

[1] Ankush Chatterjee, Kedhar Nath Narahari, Meghana Joshi, and Puneet Agrawal. Semeval-2019 task 3: Emocontext contextual emotion detection in text. In Proceedings of the 13th international workshop on semantic evaluation, pp. 39-48, 2019.

[2] Navonil Majumder, Pengfei Hong, Shanshan Peng, Jiankun Lu, Deepanway Ghosal, Alexander Gelbukh, Rada Mihalcea, and Soujanya Poria. Mime: Mimicking emotions for empathetic response generation. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), p. 8968-8979, 2020.

[3] Pengfei Liu, Xipeng Qiu, and Xuanjing Huang. Recurrent neural network for text classification with multi-task learning. In Proceedings of the Twenty-Fifth International Joint Conferences on Artificial Intelligence Organization (IJCAI-16), 2016.

[4] Linkai Luo and Yue Wang. Emotionx-hsu: Adopting pre-trained bert for emotion classification, 2019. https://arxiv.org/abs/1907.09669.

[5] Soujanya Poria, Navonil Majumder, Rada Mihalcea, and Eduard Hovy. Emotion recognition in conversation: Research challenges, datasets, and recent advances. IEEE Access, Vol. 7, No. 1, pp. 100943-100953, 2019.

[6] Deepanway Ghosal, Navonil Majumder, Soujanya Poria, Niyati Chhaya, and Alexander Gelbukh. Dialoguegen: A graph convolutional neural network for emotion recognition in conversation. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), p. 154-164, 2019.

[7] Weizhou Shen, Siyue Wu, Yunyi Yang, and Xiaojun Quan. Directed acyclic graph network for conversational emotion recognition. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), p. 1551-1560, 2021.

[8] Urvashi Khandelwal, Angela Fan, Dan Jurafsky, Luke Zettlemoyer, and Mike Lewis. Nearest neighbor machine translation. In International Conference on Learning Representations, 2021.

[9] Xin Zheng, Zhirui Zhang, Junliang Guo, Shujian Huang, Boxing Chen, Weihua Luo, and Jiajun Chen. Adaptive nearest neighbor machine translation. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 2: Short Papers), p. 368-374, 2021.

[10] Qingnan Jiang, Mingxuan Wang, Jun Cao, Shanbo Cheng, Shujian Huang, and Lei Li. Learning kernel-smoothed machine translation with retrieved examples. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, p. 7280-7290, 2021.

[11] Dexin Wang, Kai Fan, Boxing Chen, and Deyi Xiong.
Efficient cluster-based k-nearest-neighbor machine translation. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), p. 2175-2187, 2022.

[12] Xinyu Wang, Yong Jiang, Nguyen Bach, Tao Wang, Zhongqiang Huang, Fei Huang, and Kewei Tu. Improving named entity recognition by external context retrieving and cooperative learning. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), p. 1800-1812, 2021.

[13] Masahiro Kaneko, Sho Takase, Ayana Niwa, and Naoaki Okazaki. Interpretability for language learners using example-based grammatical error correction. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 7176-7187, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[14] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach, 2019. https://arxiv.org/abs/1907.11692.

[15] Petar Veličković, Guillem Cucurull, Arantxa Casanova, Adriana Romero, Pietro Lio, and Yoshua Bengio. Graph attention networks. In Proceedings of the International Conference on Learning Representations, 2017.

[16] Michael Schlichtkrull, Thomas N Kipf, Peter Bloem, Rianne Van Den Berg, Ivan Titov, and Max Welling. Modeling relational data with graph convolutional networks. In European Semantic Web Conference Springer, pp. 593-607, 2018

[17] Soujanya Poria, Devamanyu Hazarika, Navonil Majumder, Gautam Naik, Erik Cambria, and Rada Mihalcea. Meld: A multimodal multi-party dataset for emotion recognition in conversations. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, p. 527-536, 2018.

[18] Carlos Busso, Murtaza Bulut, Chi-Chun Lee, Abe Kazemzadeh, Emily Mower, Samuel Kim, Jeannette N Chang, Sungbok Lee, and Shrikanth S Narayanan. Iemocap: Interactive emotional dyadic motion capture database. Language resources and evaluation, Vol. 42, No. 4, p. 335, 2008 .

[19] Sayyed M Zahiri and Jinho D Choi. Emotion detection on tv show transcripts with sequence-based convolutional neural networks. In Workshops at the Thirty-Second AAAI Conference on Artificial Intelligence, 2018.

[20] Liyuan Liu, Haoming Jiang, Pengcheng He, Weizhu Chen, Xiaodong Liu, Jianfeng Gao, and Jiawei Han. On the variance of the adaptive learning rate and beyond. In Proceedings of the International Conference on Learning Representations, 2019.

[21] Jeff Johnson, Matthijs Douze, and Hervé Jégou. Billionscale similarity search with GPUs. IEEE Transactions on Big Data, Vol. 7, No. 3, pp. 535-547, 2019.


# 補助文自動生成を用いた BERT による日本語アスペクトベース 感情分析におけるアスペクトカテゴリ検出の精度向上

張懿陽 1 竹下 昌志 1 ラファウ・ジェプカ ${ }^{2}$ 荒木 健治 ${ }^{2}$
1 北海道大学大学院情報科学院 2 北海道大学大学院情報科学研究院
\{yiyang.zhang,takeshita.masashi,rzepka,araki\}@ist.hokudai.ac.jp

## 概要

アスペクトベース感情分析（Aspect-Based Sentiment Analysis: ABSA）とは，テキスト内の特定のア スペクトに対する意見の極性を特定する感情分析 タスクであり，細かい粒度の感情分析である. 対象言語を英語にした研究は盛んだが，日本語に特化 した研究はまだ少ない，そこで本研究では，日本語 ABSA タスクのアスペクト抽出 (Aspect Extraction: AE）サブタスクの精度の向上を目的とし，補助文を 自動的に生成し，対象文と補助文を組み合わせた 文ペアで BERT を fine-tuning するという英語に対す る既存手法を日本語に適用する。「chABSA」という データセットで性能評価実験を行った結果，先行研究より F1 值が 7.54 ポイント改善し, 提案手法の有効性が確認された。

## 1 はじめに

感情分析とは，書かれた文章を読み取り，ポジ ティブな内容か，ネガティブな内容か，あるいは ニュートラルの内容かを判定するタスクのことであ る. 感情分析というタスクは主にドキュメントレベ ル，文レベル，アスペクトレベルという 3 つの粒度 がある。それぞれドキュメント単位，文単位，アス ペクト単位で感情極性を判定するタスクである. ア スペクトとは，ある対象の 1 つの側面である. アス ペクトレベルの感情分析はアスペクトベース感情分析 (Aspect-Based Sentiment Analysis: ABSA) という. ABSA を例で説明すると，例えば，「この店の寿司は 美味しいが，ラーメンはまずい」という文の中に，「この店」という対象は「寿司」と「ラーメン」とい う 2 つの側面がある. 話者が「寿司」に対して「美味しい」と評価しているため，「寿司」というアス ペクトに対して「肯定的」な感情をもっており，一方で「ラーメン」に対して「まずい」と評価してい
るため，「ラーメン」というアスペクトに「否定的」 な感情をもっている. ABSA は，ドキュメントレベ ルの感情分析と文レべルの感情分析より細かい粒度 で感情分析を行え，提供できる情報が比較的多い ため，多くの場面で実用化が期待される．例えば， ある会社が自社が発売した商品の各アスペクトに 対し，消費者がどんな感情をもっているかを分析 したい場合，アスペクトレベルの感情分析が必要 となる。本稿では，アスペクトレベルの感情分析， すなわち ABSA に注目して研究する。ABSA タスク は主に 2 つのサブタスクから構成されている. 1 つ 目は，文中に含まれているアスペクトを抽出する タスク (Aspect Extraction: AE）である.2つ目は，各アスペクトに対する感情極性を特定するタスク （Aspect Sentiment Classification: ASC）である.

英語を対象言語とした研究では，ABSA について 多くの研究が行われているが，日本語を対象言語と した研究では，我々が知っている範囲では，ABSA についての研究はまだ 4 件 [1][2][3][4] しかなく，よ り良い手法を用いればより高い精度を達成すること が期待できると考えられる。また，我々 [4] は既に 日本語 ABSA タスクの ASC サブタスクについて研究した。そのため, 本研究では, 日本語 ABSA タス クのアスペクトカテゴリ検出サブタスク，すなわち $\mathrm{AE}$ サブタスクに注目し，先行研究より高いアスペ クトカテゴリ検出精度を達成することを目的として いる. 我々は補助文を自動的に生成し，対象文と補助文を組み合わせた文ペアで BERT を fine-tuning す るという英語のために提案された手法 [5] を用い，補助文の生成方法を日本語に適用し，「chABSA」 データセット [6] という日本語のアスペクト感情分析データセットを用いて実験を行う．その結果，同 じデータセットに基づいた先行研究 [2] より高いア スペクトカテゴリ検出精度を達成した。

## 2 関連研究

英語を対象言語とした ABSA の初期の研究では, Wagner ら [7] の研究と Kiritchenko ら [8] の研究は特徵量エンジニアリングに大きく依存していた. そ の後, Nguyen と Shirai ら [9], Wang ら [10], Tang ら [11][12], Wang ら [13] はニューラルネットワーク ベースの手法を用い，より高い精度を達成した。 その後, Ma ら [14] は有用な常識知識をディープ ニューラルネットワークに組み込み，モデルの結果 をさらに向上させた. Liu ら [15] は言語構造をより よく捉えるためにメモリネットワークを最適化し， Liu らのモデルに適用した.

最近では, 事前学習済み言語モデルについての研究が進みつつあり, Peters ら [16] が提案した ELMo, Radford ら [17] が提案した OpenAI GPT, Devlin ら [18] が提案した BERT のような事前学習された言語 モデルが特徴量エンジニアリングの手間を軽減す る効果を示している. 特に BERT は「隣接文予測」 （next sentence prediction）というタスクで事前学習さ れたため，QA タスクと NLI タスクのような文と文 の関係を理解するタスクにおいて優れた成果を上げ ている。そこで, Sun ら [5] は BERTが QAタスクと NLI タスクに優れるという特徴を活かした手法を提案した.

日本語を対象言語とした研究では，赤井ら [1] は 英語を対象言語とした先行研究で使われていた自己注意機構を使ったニューラルネットワークモデルを 日本語に適用し, KNB コーパス [19] のうち評判情報の感情タグが付いた文で実験を行った結果，感情分類の正解率 (accuracy) は $85 \%$ に達した. 三浦ら [2] は BERT を組み込んだアスペクトカテゴリ分類 ネットとアスペクトセンチメント分析ネットからな る文に含まれている複数アスペクトのセンチメント 分析のための自己注意ニューラルネットワークモデ ルを提案し，「chABSA」データセットで実験を行っ た結果，AE サブタスクでの F1 值は最高 $70.68 \%$ ま で達した。

我々 [4] は既に日本語の ABSA タスクの ASC サブ タスクについて研究し, ASC サブタスクにおいて三浦ら [2] が達成した精度より高い精度を達成できた が， $\mathrm{AE}$ サブタスクについてはまだ研究していない. また, 三浦ら [2] の研究の $\mathrm{AE}$ サブタスクの部分では 主に 2 つの問題が存在している. 1 つ目は BERT の fine-tuning 手法である. 三浦ら [2] の研究では, 各文
をそのまま BERT に入力して fine-tuning しているた め，BERT は QA タスクと NLI タスクのような文ぺ ア分類問題でより優れた性能を発揮できるという特徴を生かしていない. それに対し，我々は BERT の この特徴を活かしたより適切な fine-tuning 手法を用 いて BERT を fine-tuning すれば，より高い分類精度 を達成できると考える. 2 つ目はモデルの性能評価方法である. 三浦ら [2] の研究ではテストデータで dropout 率を変えながら性能評価を行ったが，我々 は検証データで最も良い精度を達成できる dropout 率を探し，その dropout 率でモデルの性能を評価す るという性能評価方法の方が適切だと考える。

以上の問題点を解決するために，本研究では， BERT のより適切な fine-tuning 手法を探し, より適切な性能評価方法でモデルの性能を評価し，三浦ら [2] が達成したアスペクトカテゴリ検出精度より高 い精度を達成することを目標とする。

## 3 提案手法

本研究では，Sun ら [5] が提案した補助文を自動的に生成し，対象文と補助文を組み合わせて生成し た文ペアで BERT モデルを fine-tuning という手法を 用い，日本語に適用し，実験を行う。

以下では BERT，補助文の生成方法，文ペアで fine-tuning した BERT-pair モデルについて詳細に述 べる.

## 3.1 BERT

BERT とは, 「Bidirectional Encoder Representations from Transformers」の略で，日本語では，「Transformer による双方向のエンコード表現」である．BERT は 2018 年 10 月に Google 社が発表した自然言語処理モ デルであり，自然言語処理の多くのタスクで最高水準を達成した. BERT の特徴は，文脈を考慮した 上で単語のエンコード表現を得ることができるこ とと，様々なタスクに適用する際に，学習に必要な データ量が少ないことである．学習に必要なデー タ量が少ない理由は，BERT は既に大規模なデータ セットで事前学習が行われているからである. 事前学習では 2 つ学習方法が施されている. 1 つ目は,「マスク予測」(masked language model) で，文章の一部分を穴抜けにしてモデルに穴の部分の単語を予測 させることである. 2 つ目は，「隣接文予測」で，2 つの文をモデルに与え，隣接した文であるかどうか を判別させることである. この 2 つの学習方法によ

り，BERT は文脈を考慮した上での各単語の意味，及び文と文の関係をよく捉えられるようになって いる.

本研究では, 東北大学が提供している事前学習済みの日本語版の BERT-base モデルの whole-wordmasking バージョン1) モデルと whole-word-masking ではないバージョン2) モデルを利用する．この 2 つ のモデルの両方とも日本語版のウィキペディアで事前学習されたものである.

## 3.2 補助文の生成方法

Sun ら [5] の研究では ABSA タスクの ASC サブタ スクにおいての手法について具体的に説明されてい るが， $\mathrm{AE}$ サブタスクにおいての手法に関する具体的な説明がなかったため, 本研究では Sun ら [5] の 手法の考え方に基づき，AE サブタスクにおいての 日本語に向けた手法を考案した. 具体的には，以下 で紹介するそれぞれの補助文生成方法を用い，各文 をデータセットのアスペクトカテゴリ数に応じて拡張するという手法である.

補助文の生成方法を表 1 に示す。以下にそれぞれ の補助文生成方法について説明する。

$\cdot$QA: QA は Question Answering（質問に答える） という意味である.この方法では，質問の形式 で補助文を生成し，システムにその質問の答え を出すようにする．具体的な生成方法は，アス ペクトカテゴリと「が含まれていますか」とい う文を結合して補助文を生成することである。
- NLI: NLI は Natural Language Inference（自然言語推論）という意味である。この方法では，アス ペクトカテゴリだけで補助文を生成する.

表 1 補助文の生成方法

 & Yes・No \\

本研究で扱うデータセットに 14 種類のアスペク トカテゴリが含まれているため，以上のそれぞれの 補助文生成方法を用い，各文をアスペクトカテゴリ の種類数に応じて 14 文に拡張する。

## 3.3BERT-pair モデル

対象文と前述の補助文生成方法によって生成 した補助文を [SEP] というトークンで結合した文 で fine-tuning した BERT-base モデルをそれぞれの補助文生成方法に対応して「BERT-pair-QA」，「BERTpair-NLI」と名付ける. ただし, whole-word-masking バージョンの BERT-base モデルを使用したものは後 ろに「(w)」を付加する.

## 4 実験

## 4.1 データセット

本研究では，「chABSA」というデータセットを使用している.「chABSA」データセットは上場企業の 有価証券報告書（2016 年度）をべースに作成された データセットで，文の中に含まれている各アスペ クトに対する「Positive」・「Negative」・「Neutral」と いう感情極性情報が含まれている。日本語の ABSA データセットとしては他に楽天の「楽天トラベル: レビューアスペクト・センチメントタグ付きコーパ ス」[3] というコーパスがあるが，これは有料で公開されていないため本研究では用いない.

三浦ら [2] の研究と同様に, 本研究ではこの データセットの中の company, business, product と いう 3 つのエンティティと sales, profit, amount, price, cost という 5 つのアトリビュートの組み合 わせ（例：company\#sales，business\#amount）からな る 15 種類のアスペクトカテゴリを扱う. ただし，「company\#price」というアスペクトカテゴリに属す るアスペクトの数は 0 個なので，三浦ら [2] の研究 と同様に，アスペクトカテゴリ「company\#price」を 扱わない。したがって，実際に扱うアスペクトカテ ゴリは 14 種類で，総文章量は 1,077 文で，合計のア スペクトの数は 2,079 個となる.

提案手法では，扱うアスペクトカテゴリの数に応 じて各文を 14 個に拡張するため, 実際のデータセッ トでは合計データ数は 15,078 個（1,077 の 14 倍） となる。最初に，このデータセットを 7:1:2 の割合 で，訓練データ，検証データ，テストデータに分け て実験を行い，検証データで最も高い精度を達成で きるように dropout 率を調整したら，検証データを 訓練データに入れて実験を行う．したがって，最終的にこのデータセットを 4:1 の割合で，訓練データ 12,062 個，検証データ 3,016 個に分けて実験を行う.

## 4.2 ハイパーパラメータ

本研究では，ハイパーパラメータを Appendix の 表 3 の通りに設定して実験を行う.

ここで，検証データを用いて dropout 率を調整 した結果, 「BERT-pair-QA $\lrcorner, 「$ BERT-pair-QA(w)」, $\lceil$ BERT-pair-NLI $\lrcorner, 「$ BERT-pair-NLI(w)」のどち もも dropout 率を 0 に設定した時に検証データで最も高 い F1 值を得られたため, dropout 率を 0 に設定して テストデータでモデルの性能評価を行う.

## 4.3 評価指標

本研究では，三浦ら [2] の研究と同様に，適合率 と再現率の調和平均指標である F1 值を評価指標と する。

適合率は，モデルが「Yes」と予測したデータの中 に正解も「Yes」であるデータの数の割合である.再現率は, 正解が「Yes」であるデータの中にモデ ルが「Yes」と予測したデータの数の割合である. F1 值は，適合率と再現率の調和平均で，トレードオ フ関係にある適合率と再現率のバランスを取る評価指標である．F1値を式で表すと式（1）となる。

$
F 1 \text { 值 }=2 \cdot \frac{\text { 適合率 } \cdot \text { 再現率 }}{\text { 適合率 }+ \text { 再現率 }}
$

## 4.4 実験結果

実験結果を表 2 に示す.

表 2 実験結果

補助文生成方法 NLI で生成した補助文で finetuning した「BERT-pair-NLI(w)」は既存手法のモデル が達成した全ての結果を上回った上で，提案した他 の全てのモデルを超え，最も高い適合率，再現率， F1 值が得られた。

また,「BERT-pair-NLI(w)」は「BERT-pair-NLI」よ り,「BERT-pair-QA(w)」は「BERT-pair-QA」より高い F1 值が得られた.「BERT-pair-NLI(w)」は「BERT-pair$\mathrm{QA}(\mathrm{w})\lrcorner$ より,「BERT-pair-NLI $」$ はBERT-pair-QA $\lrcorner$
より高い F1 值が得られた。

## 5 考察

実験結果から，提案手法が既存手法より良い精度 を達成したことが確認された. その原因は主に 2 つ あると考えられる．1 つ目の原因は，本研究の提案手法では，各文をデータセットに含まれているアス ペクトカテゴリの種類数（本研究では 14 種類）に 応じて拡張しているため，データセットが拡張さ れ，訓練に用いられる文の数が増加し，モデルの学習データが増加したからである．２つ目の原因は， BERT は「隣接文予測」タスクで事前学習されてお り，文と文の関係をよく捉えているため，QA タス クと NLI タスクのような文ぺア分類問題でより優れ た性能を発揮できるためだと考えられる.

また，三浦ら [2] の研究と異なり，dropout 率を 0.2 ではなく，0 に設定した時に最も良い精度を達成で きた. この理由は，データセットが拡張されている ため，dropout 率を 0 以外の値に設定することによ り dropout を実装した場合，モデルの学習が不足し てしまうためだと考えられる.

さらに,「BERT-pair-NLI(w)」は「BERT-pair-NLI」 より,「BERT-pair-QA(w)」は「BERT-pair-QA」より 高い F1 值が得られた理由は，BERT-base モデルの 事前学習で「whole-word-masking」を使用した方が BERT-base モデルがより言葉の意味を学習できる ためだと考えられる。また，「BERT-pair-NLI(w)」 は「BERT-pair-QA(w)」より，「BERT-pair-NLI」は 「BERT-pair-QA」より高い F1 值が得られた理由は， BERT は QA タスクより，NLI タスクを解く方がよ り優れた性能を発揮できるためだと考えられる。

## 6 まとめ

本研究では，日本語 ABSA タスクのアスペクトカ テゴリ検出サブタスク，すなわち AE サブタスクに おいて，補助文を自動的に生成し，対象文と補助文 を組み合わせた文ぺアで BERT を fine-tuning すると いう英語のために提案された手法を日本語に適用 し，「chABSA」データセットで実験を行った結果，同じデータセットで実験を行った先行研究より高い 精度を達成できた. 今後, 日本語 ABSA タスクの $\mathrm{AE}$ サブタスクにおいてより高い精度を達成するた めに，より良い手法を探し，精度をさらに向上させ ることに取り込む予定である。

## 参考文献

[1] 赤井 龍一, 渥美 雅保. 2019. 自己注意機構を利用し たアスペクトベースの感情分析の日本語文への適用， 2020 年度人工知能学会全国大会（第 33 回）.

[2] 三浦 義栄, 赤井 龍一, 渥美 雅保. 2020. 文中の複数 アスペクトのセンチメント分析のための自己注意 ニューラルネットワーク，2020 年度人工知能学会全国大会（第 34 回）.

[3] Yuki Nakayama, Koji Murakami, Gautam Kumar, Sudha Bhingardive, and Ikuko Hardaway. 2022. A Large-Scale Japanese Dataset for Aspect-based Sentiment Analysis. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pages 7014-7021, Marseille, France. European Language Resources Association.

[4] 張懿陽, ラファウ・ジェプカ, 荒木健治. 2022. BERT モデルと補助文自動生成に基づいた日本語アスペ クトベース感情分析の精度向上. ISSN 1346-3551, 人工知能学会第 2 種研究会ことば工学研究会資料, SIG-LSE-C302-3.

[5] Chi Sun, Luyao Huang, and Xipeng Qiu. 2019. Utilizing BERT for aspect-based sentiment analysis via constructing auxiliary sentence. Proceedings of NAACL-HLT 2019, pages 380-385.

[6] Takahiro Kubo, Hiroki Nakayama. chABSA: Aspect Based Sentiment Analysis dataset in Japanese. URL https://github.com/chakki-works/chABSA-dataset

[7] Joachim Wagner, Piyush Arora, Santiago Cortes, Utsab Barman, Dasha Bogdanova, Jennifer Foster, and Lamia Tounsi. 2014. DCU: Aspect-based polarity classification for SemEval task 4. In Proceedings of the 8th international workshop on semantic evaluation (SemEval 2014), pages 223-229.

[8] Svetlana Kiritchenko, Xiaodan Zhu, Colin Cherry, and Saif Mohammad. 2014. Nrc-canada-2014: Detecting aspects and sentiment in customer reviews. In Proceedings of the 8th International Workshop on Semantic Evaluation (SemEval 2014), pages 437-442.

[9] Thien Hai Nguyen and Kiyoaki Shirai. 2015. PhraseRNN: Phrase recursive neural network for aspect-based sentiment analysis. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pages 2509-2514.

[10] Yequan Wang, Minlie Huang, Li Zhao, et al. 2016. Attention-based LSTM for aspect-level sentiment classification. In Proceedings of the 2016 conference on Empirical Methods in Natural Language Processing, pages 606-615.

[11] Duyu Tang, Bing Qin, Xiaocheng Feng, and Ting Liu. 2015. Effective LSTMs for target-dependent sentiment classification. arXiv preprint arXiv:1512.01100.

[12] Duyu Tang, Bing Qin, and Ting Liu. 2016. Aspect level sentiment classification with deep memory network. arXiv preprint arXiv:1605.08900.

[13] Bo Wang, Maria Liakata, Arkaitz Zubiaga, and Rob Procter. 2017. Tdparse: Multi-target-specific sentiment recognition on twitter. In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics: Volume 1, Long Papers, volume 1, pages 483-493.

[14] Yukun Ma, Haiyun Peng, and Erik Cambria. 2018. Targeted aspect-based sentiment analysis via embedding com- monsense knowledge into an attentive LSTM. In Proceedings of AAAI.

[15] Fei Liu, Trevor Cohn, and Timothy Baldwin. 2018. Recurrent entity networks with delayed memory update for targeted aspect-based sentiment analysis. arXiv preprint arXiv:1804.11019.

[16] Matthew E Peters, Mark Neumann, Mohit Iyyer, Matt Gardner, Christopher Clark, Kenton Lee, and Luke Zettlemoyer. 2018. Deep contextualized word representations. arXiv preprint arXiv:1802.05365.

[17] Alec Radford, Karthik Narasimhan, Tim Salimans, and Ilya Sutskever. 2018. Improving language understanding by generative pre-training. URL https://s3-us-west2.amazonaws.com/openai-assets/research-covers/languageunsupervised/language_understanding_paper.pdf.

[18] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. 2018. Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805.

[19] 橋本力, 黒橋禎夫, 河原大輔, 新里圭司, 永田昌明. 2011. 構文・照応・評判情報つきブログコーパスの構築. 自然言語処理 Volume 18, Number 2, pp.175-201.

## Appendix

表 3 ハイパーパラメータ


# 機械学習を用いた川柳の面白さの予測

太田聖三郎 ${ }^{1}$ 河原大輔 1 野村理朗 2
1 早稲田大学理工学術院 2 京都大学
\{ota-seizaburo@akane.,dkw@\}waseda.jp, nomura.michio.8u@kyoto-u.ac.jp

## 概要

川柳は日本の伝統文芸の一つである．詩や俳句に 関する機械学習を用いた研究は散見されるが，川柳 に関するものはない. 本研究では，川柳を構成す る要素を様々な指標に分解し，それらの予測を組 み合わせることで，より高精度な川柳評価を予測 する手法を提案する. クラウドソーシングを用い て川柳データセットを構築し， BERT-like モデルを ファインチューニングすることより川柳の評価を 予測する. それに加え, 川柳をデータに事前学習 モデルの追加学習を行い, 川柳の特徵を理解した SenryuBERTを構築する。

## 1 はじめに

近年，人工知能による創作活動はめざましい発展 を遂げている。自然言語処理においては詩や俳句な どの生成研究 $[1,2]$ がある. その一方で，それらの 理解に関する研究はほとんどされていない. それら の理解には創作物の持つ面白さや独創性などが関 わってくる. 面白さは人のコミュニケーションの中 でも大きな役割を担っている. つまり，人と計算機 のコミュニケーションを円滑にするためには，計算機による面白さの理解が重要な要素となる.

本研究では川柳という文芸を対象とし，人が川柳 の面白さをどのように理解しているか，また，計算機がそれを理解できるかを分析する。川柳は俳句と 同様に五・七・五の音数を持ち, 元来は俳諧連歌の 長句が独立したものである．短句に対しての前句付 けが流行したことにより生まれた文芸であり, 口語的で風刺的な内容が特徴である. 川柳の面白さは人 が理解するにおいても難しく，これを計算機に理解 させるのはさらに難しいタスクである．この問題に 取り組むにあたって, 川柳の面白さを構成する要素 を細分化し，判断しやすい指標を設けることで，川柳の総合的な面白さの予測を目指す. 川柳の面白さ を定量分析するために，クラウドソーシングによっ
て各指標をアノテーションする．得られたアノテー ションをもとに言語モデルのファインチューニン グを行い，川柳を入力し川柳の総合的な評価を予測 するタスクを行う．川柳の評価を直接予測する場合 と，細分化した指標の予測を組み合わせる場合の精度の差を比較する。

## 2 関連研究

詩・俳句生成 川柳について機械学習を用いた 研究は無い. しかし, 川柳に通ずるものとして,近年では詩や俳句の生成 $[1,2]$ が行われている. Hitsuwari ら [2] は人手評価において, 人工知能が生成した俳句と人間が作った俳句との見分けがつかな いほど完成度の高い川柳の生成を実現している。

BERT/RoBERTa 近年の自然言語処理研究の飛躍的な進歩には BERT [3] の登場が大きく関わってい る. BERT の学習は事前学習とファインチューニン グからなる. 事前学習は自己教師あり学習であり,主な学習方法は Masked Language Model (MLM) であ る. MLM は入力文の一部のトークンをマスクし， マスクされたトークンを予測するタスクである。予測されるトークンのうち $80 \%$ [MASK] トークンに 置き換えられ，10\%はランダムな他のトークンに置 き換えられる。残りのトークンは元のトークンのま まで残される。これは，多ウンストリームタスクに おいて [MASK] トークンが出現しないことを考慮し たためである. Liu ら [4] はBERT を改良したモデル RoBERTaを提案し, データセットの増大や動的マス キングなどにより精度を向上させた。

大喜利データセット 中川ら [5] は大喜利を複数 の指標に分解し，クラウドソーシングを用いて各指標に対しアノーテーションを行うことで，定量分析可能な大喜利データセットを構築している.

## 3 川柳データセットの構築

本研究では川柳を構成する要素を複数のわかりや すい指標に分解し，定量分析を行うために川柳デー

タセットを構築する。

## 3.1 川柳データの収集

川柳は川柳投稿サイト「まるせん」1) より提供を受 けたものを用いる.このデータは川柳，お題，作者 を含む 581,336 句からなる.

## 3.2 川柳データの前処理・フィルタリング

本研究では，川柳の評価をクラウドソーシングを 用いてアノテーションする．アノテーション対象の 川柳を選別するために，川柳の前処理・フィルタリ ングを行う．投稿川柳にはしばしば絵文字を含んで いるものがある.これらは実験で用いる言語モデル の語彙に含まれていないため削除する。また，上記 サイトではお題を作者が自ら設定し投稿するため，不適当なお題やイレギュラーなお題が散見される. そのため，クラウドソーシングにかける川柳につい ては，運営によりあらかじめお題が指定されている 「コンテスト」の川柳を採用する. コンテストはサ イト内で定期的に開催され，その度に 10 句ほどの 入選作品が選出されるため, ある程度の川柳の質が 担保される. データ収集時点までに開催されたコン テスト 304 回のうち，時事的なお題（例: VAR）や長 いお題（例: 最近の若いもん）を除き名詞や形容詞 を中心に 250 題について，フィルタリングを行っ た. 各お題について入選作品+それ以外を合わせ 20 句ずつを選出し, 合計 5,000 句の川柳を抽出した.

## 3.3 川柳の面白さの細分化と評価のアノ テーション

前節で述べた 5,000 句の川柳に対し，クラウド ソーシングを用いてアノテーションを実施する. プ ラットフォームは Yahoo!クラウドソーシング2)を用 いる. 川柳の解説書 $[6,7]$ を参考に，川柳を 8 つの 指標に細分化し, それぞれの指標について 5 段階評価を行ってもらう．細分化した指標を下記に示す。

1. 句がお題に沿っている (along)

2. 場面をイメージしやすい・わかりやすい (imaginable)

3. 句に対比の構図がある (contrast)

4. あたりまえ・ありきたりなことは言っていない (usual)

5. 不適切な表現が含まれていない (appropriate)

1) https://marusenryu.com/

2) https://crowdsourcing.yahoo.co.jp/
6. 語のリズム感・軽快さがある (rhythmic)

7. 言い回しに独創性がある (unique)

8. 体験や体感への想いが感じ取れる・余韻がある (experience)

これらの項目に，

・総合的に良い川柳である (overall)

を加え，合計 9 個の指標について，1句あたり 10 人 のクラウドワーカを雇い，その平均値を正解ラベル として付与する. クラウドワーカにはお題，川柳が 与えられる。

## 4 SenryuBERT の構築

既存の言語モデルは新聞やウェブテキストで学習 しているため, 川柳の風刺的な文脈や語順などのリ ズム感を理解できない可能性がある．この問題に取 り組むために，川柳データを活用し，言語モデルの 追加学習を行うことで SenryuBERT を構築する.

## 4.1 ランダムトークン置換 (RTR)

2節で述べた通り，BERT [3] のMLMでは，予測す るトークンのうち，80\%を[MASK] トークン，10\% をランダムな他のトークン，10\%をそのままのトー クンにして学習を行う．川柳のような短い系列を入力とする場合, $[$ MASK] トークンと異なり, ランダ ムなトークンに置き換えると，BERT の特徴量はラ ンダムなトークンの影響を大きく受けるため，文脈 が破綻する可能性がある．これを防ぐため，通常の MLM に加えて，ランダムなトークンの置き換えを しない学習も行い比較する。

## 4.2 追加学習

川柳データを用いた言語モデルの追加学習は, 早大 RoBERTa-base ${ }^{3)}$ をべースとして行う．学習は表 1 に示す 4 種類の条件で行う. モデル 3 の場合は入力を “お題 [SEP] 川柳” とし，その他のモデルでは “川柳”とする．また，学習時にマスクされるトーク ンにお題は含まれないようにする。実験で使用する ハイパーパラメータを付録 B に示す.

## 4.3 結果

各モデルの [MASK] トークンの予測例を表 2 に 示す. 例には条件 $1,2,3$ とべースラインの早大

表 1 追加学習における学習条件設定

表 2 [MASK] トークンの予測例（入力：“歯ブラシと一緒

RoBERTa-base の結果を示す. 付録 C に他の予測例 を掲載する。定量的な評価は次節のダウンストリー ムタスクにて行う。

定性的評価 ベースラインの RoBERTa では助詞 や関係のない名詞・助詞が予測され, 正解と近い単語の出力は見られない. 条件 3 のお題と川柳を入力 として学習したモデルではベースラインほど遠く はないものの，正解に近い予測はほとんど見られな かった. 条件 1 と 2 のモデルはどちらもある程度の ニュアンスが捉えられており，正解に近い予測がで きている. 条件 2 のモデルでは生起確率が他と比べ て高くなっており，これはランダムトークンによる 文脈の摇れが抑えられたためと思われる。

## 5 川柳構成要素の分析・予測

本研究では，川柳の面白さという曖昧な要素を直接予測する場合と， 3 節で示した 8 つのわかりやす い指標に分解してから予測する場合の精度を比較す る. また，予測した各指標のスコアから総合評価を 予測するタスクを行い，総合評価の予測精度の比較 を行う。まとめると下記の 3 つの実験を行う。

1. 川柳から総合評価の予測

2. 川柳から各指標の評価の予測

3. 各指標の評価から総合評価の予測

実験 1,2 には既存のモデルや 4 節で構築したモデル などの BERT-like モデルを使用し, 実験 3 には決定木アルゴリズムの LightGBM [8]を使用する.

## 5.1 実験設定

実験 1,2 では事前学習済み BERT-like モデルを回帰問題としてファインチューニングすることで，川表 3 総合評価の予測結果

柳から総合評価や各指標の評価を予測する. 4 節で 構築した SenryuBERT に加え，BERT や RoBERTa で の学習を行う. モデルの詳細と学習に用いた八イ パーパラメータは付録 $\mathrm{A}, \mathrm{B}$ に示す. 学習に使用す るデータセットは 3 節で構築した川柳データセッ トを用いる。データセットは訓練用 4,000 句，検証用 500 句，テスト用 500 句に分割する. 川柳はお題 ありきであるため，モデルへの入力は“川柳 [SEP] お題”とする。各指標についてファインチューニン グを 10 回行い，精度を平均值と最大值で算出する. モデルの評価には Pearson の相関係数を用いた.

実験 3 ではまず，実験 1,2 から最良のモデルを選択し，訓練データの各指標を予測する (自動ラベル と呼ぶ). 各指標の自動ラベルから LightGBM を用 いて総合評価を予測し，実験 1 のスコアと比較す る. LightGBM の学習に用いたハイパーパラメータ を付録 B に示す。訓練データに自動ラベルを付与す る手順は，まず，訓練用データを 10 分割する.そ のうち 9 個のデータ (3,500 句)を用いて学習したモ デルで，残りの 1 個のデータに対して各指標のスコ アを予測しラベルとする。これを 10 個の分割全て で行い，4,000 句に自動ラベルを付与する.

## 5.2 実験結果と考察

川柳から総合評価の予測 川柳から直接総合評価を予測した際の評価結果を表 3 に示す. 3 節で提案した SenryuBERT は RoBERTaをベースとしたモ デルであるが，RoBERTa ベースのモデルに関して はすべて BERT よりも最大値で良い精度となった が，RoBERTa と SenryuBERT の間に大きな差はみら れなかった. しかし, SenryuBERTにおいてRTRを 行わなかった場合や，お題を入力に加えて学習し た場合は精度の向上が見られた。最良のモデルは SenryuBERT において，RTRを行わず，[MASK]トー クンの割合を $80 \%$ とした場合で，SenryuBERT とは 最大で約 0.07 の差が見られた. ただし，お題を入力 に加えて学習した SenryuBERT 以外のモデルは精度
表 4 各指標の評価の予測結果

表 5 各指標における川柳評価の予測例と比較 (川柳: “札束を 数え快感 銀行員”, お題: “現実逃避”)

が安定せず，データの順序などの影響を受けやすい ことが分かった. 表 5 に総合評価を川柳から直接予測する場合と提案手法との比較例を示す. 提案手法 が僅かに良い予測ができていることがわかる．表 5 に示す指標は 3 節で示した指標に対応している.

川柳から各指標の評価の予測 川柳を入力とし て 3 節に示した各指標の評価を予測した結果を表 4 に示す. 表 4 には SenryuBERT のファインチュー ニングによる結果と, 総合評価の予測にて高精度 であったRTRを行わないモデルの結果を示す。い ずれの指標においても，RTRを行わないモデルは SenryuBERT の精度を上回る結果となった. この内,総合評価の予測より高い精度となったのは, 体験や 体感への想いが感じ取れる・余韻がある (experience) のみであった.

各指標の評価から総合評価の予測 本実験では，川柳から各指標の評価の予測において精度の高かっ た SenryuBERT -RTR (90\%) のモデルを用いて訓練 データに自動ラベルを付与し，LightGBM の学習を 行う. 川柳から直接総合評価を予測した結果と，各指標のスコアの予測から総合評価を予測した結果 を表 6 に示す. データセットの各指標の正解ラベル をもとに総合評価を予測する場合には，非常に高い 精度で予測ができている. これは，細分化した 8 個 の指標が，人が川柳の面白さをどう理解しているか をうまく表す基底になっていると理解できる. 自動表 6 総合評価の予測結果の比較

ラベルで学習した場合には，正解ラベルと比べて大幅に精度は下がるが，川柳から直接予測する場合と 比べると， 0.01 ほど高い精度が得られ，提案手法が やや高い精度で予測できていることがわかる. 自動ラベルの精度があまり高くならない原因として， experience しか overall の精度に勝っていないことが 考えられる。

## 6 おわりに

本研究では，現状取り組まれていない川柳という 文芸を理解するタスクに機械学習を用いて取り組ん だ. 川柳から直接総合評価を予測するアプローチを ベースラインとして，川柳を相対的にわかりやすい 指標に細分化し，それぞれの項目の予測を組み合わ せることで総合的な評価を予測する手法を提案し た. 提案手法はベースラインに比べて若干の精度の 向上が見られた.

今後，川柳の面白さの理解を目指すには更なる精度の向上が必要である。また，提案手法を活かし，川柳の生成タスクに取り組んでいきたい。

## 謝辞

川柳データを提供いただいた川柳投稿サイト

「まるせん」に感謝する. 本研究は JSPS 科研費 JP22H01103, JP21H04901 の助成を受けて実施した.

## 参考文献

[1] Samuel R. Bowman, Luke Vilnis, Oriol Vinyals, Andrew M. Dai, Rafal Jozefowicz, and Samy Bengio. Generating sentences from a continuous space. 2015.

[2] Jimpei Hitsuwari, Yoshiyuki Ueda, Woojin Yun, and Michio Nomura. Does human-ai collaboration lead to more creative art? aesthetic evaluation of human-made and ai-generated haiku poetry. Computers in Human Behavior, Vol. 139, p. 107502, 2023.

[3] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[4] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach, 2019.

[5] 中川裕貴, 村脇有吾, 河原大輔, 黒橋禎夫. クラウド ソーシングによる大喜利の面白さの構成要素の分析. 言語処理学会年次大会発表論文集, Vol. 25, pp. ROMBUNNO.B3-2 (WEB ONLY), 2019.

[6] 新家完司. 川柳の理論と実践. 新葉館出版, 2011.

[7] 野林正路. 詩・川柳・俳句のテクスト分析. 和泉書院, 2014.

[8] Guolin Ke, Qi Meng, Thomas Finley, Taifeng Wang, Wei Chen, Weidong Ma, Qiwei Ye, and Tie-Yan Liu. Lightgbm: A highly efficient gradient boosting decision tree. Advances in neural information processing systems, Vol. 30, pp. 3146-3154, 2017.

## A 学習に使用したモデル

5 節の実験 1,2 で使用した BERT-like モデルの詳細を表 7 に示す.

表 7 学習に使用した事前学習モデルの詳細

 & Wikipedia \& CC-100 & $125 \mathrm{M}$ & 768 & 32,000 \\
(nlp-waseda/roberta-base-japanese-with-auto-jumanpp) & & & & \\

## B ハイパーパラメータ

表 8 に，4 節の実験で使用したハイパーパラメータを示す.また，表 9 には，5 節の実験 1,2 で使用した八 イパーパラメータを示す. 表 10 に示すのは， 5 節の実験 3 で使用したハイパーパラメータである.

表 8 RoBERTa の追加学習に使用したハイパーパラメータ 表 9 BERT-like モデルのファインチューニングに使用した

表 10 LightGBM の学習に使用したハイパーパラメータ

## C SenryuBERT の予測例

表 11 に，SenryuBERTによる [MASK] トークンの予測例を示す.


# 不適切投稿自動検出システムの構築と放送禁止用語による検証

近藤昌也 ${ }^{1}$ 狩野芳伸 ${ }^{2}$
${ }^{1}$ Septeni Japan 株式会社 2 静岡大学
masaya.kondo@septeni.co.jp kano@inf.shizuoka.ac.jp

## 概要

偏見や誹謗中傷といった不適切な表現を検知する モデルの構築には従来アノテーションを必要とし てきたが，本研究はアノテーション無しに半自動的 に訓練データを構成するシステムを提案する。不適切な単語リストを予め用意し，不適切な単語を含む SNS 投稿を頻繁に行うユーザとそうでないユーザを ルールベースで分類し，機械的にアノテーションに 相当する訓練データを用意する. この訓練データで 構築されたモデルは, 特定の不適切表現に基づくア ノテーションデータで学習されたモデルに比べて,背後にある潜在的なユーザ属性を捉え様々な不適切表現をより有効に検知できる可能性を示す.

## 1 はじめに

近年, SNS 上の誹謗中傷書き込みが社会問題と なっている. その背景のひとつには，コロナ禍によ り社会全体が不安に包まれている中，SNS の利用時間が増えネガティブな情報に触れる機会が多くなっ たことが挙げられる [1]. このような状況の下, SNS 上の偏見や誹謗中傷といった不適切な書き込みを検知するシステムの開発は社会的に重要であり, 様々 な研究が行われてきた $[2,3,4,5]$. いずれの先行研究においても SNS 等のインターネット上の文章に 対し不適切かどうかのラベルを人手で付与し， モデ ルの学習を行っており, 人的コストがかかる. 日本語の公開学習済みモデルで関連するものとしては, ネットいじめのデータで学習したモデルがある $[4]^{1)}$ が，いずれの先行研究でも公開アノテーションデー タをみつけることができず，報告されたモデルの再現が難しい. また，学習データが特定ドメインや小規模であり未知語に弱く, 対象の特徴である新出単語の多さや不適切な表現の幅広さに対応し難い.

我々は，不適切な SNS 投稿の検知モデル構築のた

1) https://huggingface.co/ptaszynski/yacis-electra-small-japanesecyberbullying
めに，不適切かどうかの人手アノテーション作業な しに，モデル構築のためのデータを半自動的に収集 するシステムを提案する. 本研究のデータ収集シス テムは最初に不適切な単語のリストを定義する必要 があるが，それ以外は機械的に実行できる。

本研究では，不適切な表現をより高頻度に使用す るユーザは，最初に種として与えた単語リストにな い不適切な表現をも含む投稿が多い，と仮定する。 そのうえで，提案システムではこの不適切な単語の リストを用いて，不適切な投稿をしがちな SNS ユー ザ群（不適切群）とそうでない一般のSNS ユーザ群 （一般群）をルールベースで分類し，それぞれのユー ザ群における投稿を大規模収集することで，不適切群かどうかの二値分類ラベルが付与された投稿デー タセットを構築する．単に半自動的構築ができるの みならず，潜在的なユーザ属性とさまざまな表現の 広がりを捕捉できると期待する。この二値ラベル付 き投稿データを用いて，SNS などの投稿が適切かど うかを分類し, 荒井ら [6] が作成した日本語へイト スピーチコーパスと，自前で作成した偏見アノテー ション付き投稿コーパスとでその性能をそれぞれ検証し，提案システムが有効に動作することを示す。

## 2 関連研究

松葉ら [2] は, 学校非公式サイトに投稿された書 き込みに対し，検知すべき有害情報の定義を行っ た. 有害・無害情報を含む実際の書き込み 500 件に 対し， 6 人のアノテーターで有害（削除），有害（審議), 無害の 3 つのラベルを付与し，アノテーショ ンラベルの一致度を確認し有害情報の定義に問題が ないことを確認した上で 2,998 件の書き込みに対し ても同様のラベル付けを行い，教師データを作成し た.このデータを用い，書き込み文章の品詞の素性 やTF-IDF などのスコアを特徴量として SVM[7] で 有害・無害を分類するモデルを構築した。

石坂ら [3] は，誹謗中傷のような「悪口文」は「悪口単語」の有無で十分に判断可能という仮説のも

図1 不適切群ユーザのデータ収集の流れ

図 2 不適切群ユーザのバイアス単語抽出方法

と, 単語の「悪口度」を用いて素性選択したSVM で，2ちゃんねるの書き込みから誹謗中傷かどうか を分類するモデルを構築した. モデルを構築する際 には2ちゃんねるから悪口文・非悪口文をそれぞれ 1,400 文ずつ収集している.

柴田ら [4] は, 口語的な文章の処理に焦点を当て た ELECTRA[8] による事前学習済み言語モデルを構築し, 応用例として口語の理解が必要なネットいじ め検出を扱っている. 松葉ら [2] の学校非公式サイ トの書き込みデータに加え, Twitter から収集した有害ツイートデータセットを組み合わせてネットいじ め検出データセットを構築している。

松本ら [5]では，BERT[9]を使って Twitter に投稿 されたリプライツイートがリプライ元のツイートを 煽っているかどうかを分類するモデルを構築してい る. リプライツイートとリプライ元ツイートの組を 収集し，ツイートの組に対し，人手で煽り・非煽り のラベルを付与し，煽りッイートの組 2,134 件，非煽りツイートの組 7,786 件を構築している.

いずれの研究においても，人手でラベル付けし たデータを使ってモデルを構築しているが，デー タが公開されておらず再現が難しい. 柴田ら [4] は HuggingFace 上で学習済みモデルを公開している.

## 3 提案手法

本研究では，SNS 投稿が不適切かどうかを分類す るための訓練データを, 人手のアノテーション作業 を行わずに構成するシステムを提案する。提案シス テムはたとえば Twitter のように，投稿を取得する API が公開されており，かつそのプラットフォーム 上のユーザとユーザの投稿内容が紐づく SNS から
のデータ収集を想定している.

最初に「種」として予め不適切な単語のリストを 用意し, 不適切な単語を含む投稿をより高頻度に行 うユーザを不適切群とみなして抽出する（図 1). 全投稿に共通する形態素列が多いユーザや全投稿に URL を含むユーザは，BOT や商品宣伝用のアカウ ントの可能性が高いため除外した。こうして得られ た不適切群の各ユーザについて，投稿を収集する. さらに，不適切群以外から無作為抽出したユーザを 一般ユーザとみなし，ユーザを 2 群に自動分類す る. こうして得られた 2 群の投稿セットを用いて分類を学習し，不適切投稿推測モデルを構築する.

## 4 実験

## 4.1 放送禁止用語を利用した不適切 Twitter ユーザ群とその投稿の収集

Twitter 投稿を対象に，種となる不適切な単語リス トとして放送禁止用語2)を採用し, 不適切群ユーザ のツイートデータを 2022 年 3 月 24 日から 2022 年 7 月 12 日の間で収集した. 5 ツイート以上投稿履歴 があるユーザの中から, 収集期間中に放送禁止用語を含むツイートを 3 回以上行ったユーザを不適切群ユーザとして，1,243人の不適切群ユーザ, 計 1,209,138 件の投稿を集めることができた. mention や hashtag の文字列はツイートテキスト中から削除 した. 文字数が少ないツイートや，放送禁止用語自体を含むツイートも削除した。

実際に収集された不適切群ユーザのツイートを 分析したところ，社会情勢（ロシアとウクライナの 戦争や選挙，新型コロナウイルス関連）に関する時

2）放送禁止用語一覧 http://monoroch.net/kinshi/で紹介されて いる見出し語
事的なツイートが相当数含まれていた. 時事的なト ピックのツイートかどうかで容易に分類ができてし まうと, 必ずしも本研究の目的にそぐわないため, これらのトピックの代表的な特徴語を抽出し（図 2), 抽出された単語を含むツイートを不適切群ユー ザのツイートから除外する処理を準備した. 実際に 抽出された単語は「日本，ロシア，ウクライナ，国民，中国，日本人，ワクチン，戦争，自民党，コロ ナ」であった.

## 4.2 不適切投稿分類の学習

分類モデルは事前学習済みの日本語 BERT モデ ル3)の最終層に全結合線形層を 1 層追加しファイン チューニングを行って構築した。一般群ユーザから 不適切群と同数のユーザをランダムピックアップし た上で，一般群ユーザ，不適切群ユーザそれぞれを 7:1.5:1.5 で三つにランダム分割し, 学習データ，検証データ，テストデータに分けた。

前節で説明した手法により，時事単語を含むツ イートを不適切群ユーザのツイートから除外した データを使って学習したモデル（*notopical）も用意し比較した. notopical がモデル名末尾にないも のはこの時事単語の除外を適用していない.

学習時に与えるデータの単位として，1ツイート (1tweet_*), 5ツイート (5tweet_*), モデルの入力最大長である 512 トークン (maxlength_*) の 3 種類を 比較した. すなわち，学習時のエポック毎に対象 ユーザを割り振り，そのユーザのツイートをランダ ムサンプリングして， 1 件， 5 件ないし最大長に至 るまで結合して入力とした.

学習は HuggingFace の Trainer クラズ)を使って行 い，検証データの ROC-AUC が最大になる時点のモ デルを保存した. 学習に使用した主な設定情報は表 5 の通りである.

## 5 評価

前章で説明した提案モデル 6 種類（1 ツイート単位, 5 ツイート単位, 最大長の 3 種類と, 時事トピッ クを除外するしないの 2 種類の組合せ）に，ベー スラインとしてネットいじめデータで訓練した柴田ら [4] の公開学習済みモデル (yacis-electra-smalljapanese-cyberbullying, 以下 cyberbullying と呼ぶ）を 加えた計 7 種類のモデルを対象に評価を行った.

$\frac{\text { 表 } 1 \text { 検証・テストデータにおける精度 (ROC-AUC) }}{\text { 検証データ テストデータ }}$

評価データとして，前述の半自動的に構築した不適切・一般の二值分類データセットに加え, 荒井ら [6] の日本語へイトスピーチコーパスと，我々が独自に作成した 5 ちゃんねるの偏見アノテーション付 き投稿コーパスとの 3 種類を用いた。

## 5.1 不適切群ユーザ群投稿分類

不適切かどうかの二値分類データにおける ROC-AUC スコアを表 1 に示す. スコアは入力長が 長いほど向上し, 時事単語を除くと全体に数ポイン ト下落したが，maxlength_notopical のテストデータ 評価値は 0.97 であり，提案手法により収集した一般群と不適切群ユーザの投稿は BERT モデルにより高 い精度で分類可能であることがわかった.

## 5.2 日本語ヘイトスピーチコーパス

日本語ヘイトスピーチコーパスでは，キーワード 「コロナ」を含むツイート 230 件，含まないツイー ト 270 件の合計 500 件のツイートに対し，へイトス ピーチの分類を攻撃対象 (A カテゴリ) と攻撃タイ プ (B カテゴリ)の 2 軸で分け，各々を細分化したガ イドラインを設計している。また，3名のアノテー ターが各カテゴリにおけるラベルに投票しており，各カテゴリについて全員が一致した割合を計算した ところ, 平均 $70.2 \%(43.2 \% \sim 97.0 \%)$ であった.

実験の評価値として，A1 から B5 までの各カテ ゴリについて，各ツイートに対する 3 名のアノテー ターの投票数と, 各モデルが不適切群ユーザと予測 した確率の相関係数を算出した（表 2）.

## 5.35 ちゃんねる偏見コーパス

5 ちゃんねるの「私の中の偏見...」「愚痴・悪口】 ネガティブ専用チラシの裏...【誹謗中傷】」スレッ ド5）における書き込みから 1,000 件を抽出し， 3 名

5) http://medaka.5ch.net/test/read.cgi/kankon/1637901301, https://medaka.5ch.net/test/read.cgi/wmotenai/1655780116, https://medaka.5ch.net/test/read.cgi/wmotenai/1626458070
表 2 日本語ヘイトスピーチコーパスの各カテゴリにおける相関係数

表 35 ちゃんねる偏見コーパスにおける評価スコア

のアノテーターにより，5ちゃんねるの書き込みそ れぞれに対し偏見に当てはまるかを 0（当てはまら ない)，1（少し当てはまる），2（概ね当てはまる）， 3（強く当てはまる）の 4 段階でラベル付与を行っ た. Accuracy によるアノテーター間のラベル一致率は，全員一致の場合で $29.8 \% ， 2$ 名一致の場合で $87.2 \%$ あった. ラベルが 0 かそうでないかの二值分類とみなすと，全員一致が $52.5 \%$ であった.

5 ちゃんねる偏見コーパスについても同様に，3 名のアノテーターの評価ラベルの平均值と不適切群 ユーザに属する予測確率値の相関係数を算出した. また，1名でも 1 以上のラベルをつけていた場合は 偏見ラベル，全員が 0 とラベル付していた場合は正常ラベルとする二値分類タスクの ROC-AUC スコア の算出も行った（表 3).

## 6 考察

表 4 不適切群ツイートのイメージ

日本語ヘイトスピーチコーパスの B5 カテゴリは 「誹謗中傷に該当しない」である．B5に着目した二值分類を実行すると，ROC-AUC スコアは 0.7 程度 であった。不適切群ユーザで投稿と予測した確率と は，5tweet_notopical と 1tweet_notopical が負の相関 を示し，いじめ問題で学習された cyberbullying より も負の相関が強い. 提案手法はヘイトスピーチを判別する性能があることが伺える．5ちゃんねる偏見 コーパスの評価スコアも同様の結果となった.

日本語ヘイトスピーチコーパスや 5 ちゃんねる偏見コーパスの評価スコアに比べて，不適切群ユーザ 群投稿の分類ははるかに評価スコアが高かった. 前述のように，それぞれのコーパスのアノテーション 一致率は二值分類タスクで $70 \%$ 程度であり，比較的難易度の高いタスク設計になっている。

また，提案手法により機械的に収集した訓練デー タのほうが，特定の有害情報を元に人手のアノテー ションで作成された訓練データよりも広く一般的な 不適切表現の特徵を多く含んでいた可能性がある.表 4 は実際に提案手法によって収集された不適切群投稿の例（原文の一部を改変）であるが，社会情勢 に関する投稿の他に，偏見や皮肉，誹謗中傷とも取 れる投稿が見受けられた。

## 7 おわりに

本研究では，アノテーション作業なしに半自動的 に不適切な表現に関するデータを収集してモデルを 構築するシステムを提案しその有効性を検証した。今後の課題として，種として用意する放送禁止用語 を別の不適切な単語群に置き換えても同様の結果が 示せるのか調査したい。また今後の応用例として，全く別の観点における単語リスト（例えばポジティ ブな表現の単語リストなど）を用意し，同様のデー タ収集を行うことで，どのような属性のデータが収集できるのか，また収集したデータを使って機械学習モデルを構築したとき，どのようなタスクに応用 できるのか検討したい.

## 謝辞

日本語ヘイトスピーチデータセットを提供いただ いた理化学研究所の荒井先生に感謝いたします.ま た本研究を進めるにあたって, Septeni Japan 株式会社の勢风弘幸氏と勝谷龍一氏から日々助言をいただ き感謝いたします。

## 参考文献

[1] 山口真一. わが国における誹謗中傷・フェイクニュー スの実態と社会的対処. Technical report, プラット フォームサービスに関する研究会, 2021.

[2] 松葉達明, 栘井文人, 河合敦夫, 井須尚紀. 学校非公式 サイトにおける有害情報検出. 言語処理学会 第 16 回年次大会 発表論文集, pp. 383-386, 2010.

[3] 石坂達也, 山本和英. Web 上の誹謗中傷を表す文の自動検出. 言語処理学会 第 17 回年次大会 発表論文集, pp. 131-134, 2011.

[4] 柴田祥伍, プタシンスキミハウ, エロネンユーソ,ノ ヴァコフスキカロル, 栘井文人. 日本語大規模ブログ コーパス yacis に基づいた electra 事前学習済み言語モ デルの作成及び性能評価. 言語処理学会 第 28 回年次大会 発表論文集, pp. 285-289, 2022.

[5] 松本典久, 上野史, 太田学. Bert を利用した煽りッイー ト検出の一手法. データ工学と情報マネジメントに関 するフォーラム, pp. I14-2, 2021.

[6] 荒井ひろみ, 和泉悠, 朱喜哲, 仲宗根勝仁, 谷中瞳. ソー シャルメディアにおけるへイトスピーチ検出に向け た日本語データセット構築の試案. 言語処理学会 第 27 回年次大会 発表論文集, pp. 466-470, 2021.

[7] Vladimir N. Vapnik. The Nature of Statistical Learning Theory. Springer, 1995.

[8] Quoc V Le Kevin Clark, Minh-Thang Luong and Christopher D Manning. Electra: Pre-training text encoders as discriminators rather than generators. arXiv preprint arXiv:2003.10555, 2020.

[9] Kenton Lee Jacob Devlin, Ming-Wei Chang and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprintarXiv:1810.04805, 2018.

## A 付録

## A. 1 学習時の主な設定情報

表 5 学習時に使用した主な設定情報

## A. 2 学習モデルの予測の振る舞い例

提案手法により構築したモデルのうち，日本語ヘイトスピーチコーパスと 5 ちゃねる偏見コーパスの評価スコアが最も良かった 5tweet_notopical モデルについて，不適切群ユーザ群の予測確率の振る舞いを例文 とともに紹介する（表 6）.

誹謗中傷や偏見と考えられる不適切な文章は，不適切群ユーザである予測確率は高めに算出される傾向に ある。また不適切なコピー文と思われる文章についても日常会話などの一般的な文章と比べると不適切群 ユーザである予測確率は大きくなる傾向にあることがわかる.

表 6 モデルの予測例