# ニューラル機械翻訳のためのノイズ寛容なアンカー学習

根石 将人
東京大学大学院 情報理工学系研究科
neishi@tkl.iis.u-tokyo.ac.jp

## 概要

機械翻訳モデルの学習に用いられる大規模な学習データは収集方法ゆえにノイズデータを含み、そ れらはモデルの性能低下を引き起こす。本研究は、 SVM モデルに打いて提案されたノイズデータがモ デルに及ぼす悪影響を低減するアンカー学習手法に 注目し、これをニューラル機械翻訳 (NMT) 亿導入 することを試みる。実装上問題となる計算コストを 抑えるアンカー表現手法を、ランダムグルーピング 手法と組み合わせ手法の 2 通り提案し、ASPEC 英日翻訳と WMT2017 英独翻訳の 2 つの翻訳タスクでそ の効果を確認した。

## 1 はじめに

高品質な NMT モデルの学習には大規模な対訳文対データが必要であるが、そのようなデータは Web クローリングなどで自動収集されているために対訳関係にないノイズデータが含まれ、これが翻訳モデ ルの品質低下を引き起こすことが知られている [1]。

この問題に対処するため、Conference on Machine Translation (WMT) では 2018 2020 年にかけて対訳 コーパスフィルタリングに関する Shared Task が開催された $[2,3,4]$ 。これらの Shared Taskを通して提案されたフィルタリング手法を用いて、Herold ら [5] は独語から英語の翻訳タスクにおいて合成混入させ たノイズデータの内多くの種類について 90\%以上の 除外成功したと報告している。しかしながら、 イズの種類によっては除外精度が 70\%程度に過ぎ ず、またクメール語から英語のタスクにおいては全体的に精度が低下した。現状のフィルタリング手法 ではノイズデータは除外しきれず、また認識されて いる種類以外のノイズデータの存在も考えられる。

そこで本研究では、Goldberg ら [6]がサポートベ クタマシン (SVM) [7]を用いた分類タスクのために 提案したアンカー学習に注目した。SVM は二値分

\author{
吉永 直樹 \\ 東京大学 生産技術研究所 \\ ynaga@iis.u-tokyo.ac.jp
}

(a) SVM モデルにおけるアンカー学習 [6]

(b) NMT モデルにおけるアンカー学習 (提案手法)

図 1:2つのモデルにおけるアンカー学習

類を行う識別モデルで、学習データとして特徴量べ クトルと二値分類ラベルを使用する。アンカー学習 では、この特徴量ベクトルに各学習データ固有の新 たな特徵量 (アンカー特徵量) を追加し拡張する (図 1a)。この新たに追加されたデータ固有の特徵量に よって、各データがその他のデータに対して線形分離可能になる。これによりSVM モデルは、元々の 特徴量から出力の推論が難しい場合においても、ア ンカー特徴量から正解の出力を推論することを丸覚 えする選択肢が与えられる。こうしてアンカー学習 は、誤った入出力関係をもつノイズデータからの学習におけるモデルへの悪影響を低減し、モデルの性能を向上させることが期待できる。

なお、正確にはアンカー学習は入力から出力の推論が難しい場合 (hard-to-learn cases) に対応しており、 これは翻訳タスクでの例としては低頻度な慣用句 などの厳密にはノイズデータではない場合も含む。本研究では便宜的にそのような場合も含めノイズ データと呼称し、一方で入力から出力の推論が易し いデータを綺麗なデータと呼称する。
本研究では、系列変換モデルを用いた機械翻訳夕 スクを対象としたアンカー学習を提案する。機械学習モデルおよび入力データ形式の違いから、個々の 学習データを弁別化するアンカーとして、アンカー 特徴量ではなくアンカートークンを導入する。ま た、ナイーブにはアンカーは学習データと同数用意 する必要があるが、大規模な学習データを用いる場合にアンカートークンの数が爆発し膨大な計算資源 を必要とする問題がある。この解決のために本研究 では、ランダムグルーピング手法と組み合わせ手法 の 2 種類のアンカートークン手法を提案する。

実験は ASPEC 英日翻訳と WMT2017 英独翻訳の 2つの翻訳タスクでノイズデータを混合したデータ セットで行い、組み合わせ手法によるアンカー学習 が、計算コストの増加を抑えつつ翻訳の BLEU スコ アを向上させることを確認した。

## 2 系列変換モデルのための アンカー学習

本研究では、SVM 分類タスクで提案されたアン カー学習を、系列変換モデルを用いた機械翻訳タス クに導入するのだが、機械学習モデルや学習データ の形式およびデータ数の違いにより、そのままでは 適用出来ない。SVM モデルの入力データは高次元疎ベクトルであり、一方で系列変換モデルの入力は 低次元密ベクトルの系列である。また、SVMによ る分類タスクに比べて機械翻訳のような生成タスク は、一般に学習データ数が大きい。

まず機械学習モデル及びデータの形式の違いに 対応するため、アンカー特徴量の代わりにアンカー トークン (もしくはアンカーベクトル)を導入する (図 1b)。アンカートークンは、モデルの通常入力で ある単語やサブワードなどと同様に扱い、通常入力 に連結することでモデルへ入力する。一方、アン カーは基本的には学習データと同数必要なため、大規模な学習データに対してはアンカーの数が大きく なり、それに対応してアンカートークンをベクトル へ変換する埋め込み層のパラメータ数が増大し、学習時の計算コストが莫大になる問題がある。この学習データサイズの問題に対して、用意するアンカー トークン数を削減する 2 つの手法を提案する。

## 2.1 アンカートークン数削減のための アンカー表現手法

ランダムグルーピング手法 アンカートークン数削減の一つ目の手法として、一つのアンカートーク ンを複数の学習データ間で共有するランダムグルー ピング手法 (RGA: Random Grouping Anchor)を提案 する。この手法では用意するアンカートークンの 数 $N_{g}$ をハイパーパラメータとして設定し、各学習 データに対してランダムにアンカートークンを割り 当てる。

アンカーは本来学習データと同数求められるが、学習データはノイズデータのみならず綺麗なデータ も含み、この綺麗なデータにはアンカーは不要であ る。またノイズデータと綺麗なデータが同一のアン カーを共有している場合、アンカーがノイズデータ の推論に役立つよう学習されることで、逆に綺麗な データについてはアンカーを無視するような学習が 促進される効果も期待できる。しかしながら複数の ノイズデータが同一のアンカーを共有する可能性も あり、この場合は期待されるノイズ低減効果は得ら れず、用意するアンカートークンの数については学習データ中のノイズデータの数や割合を念頭に適切 に調整する必要がある。

組み合わせ手法 ランダムグルーピング手法はア ンカートークンの数を大幅に削減するものの、アン カートークン数は学習データに対して比例の関係に 過ぎない。そこで学習データのさらなる増加に対応出来るように、単一のアンカートークンではなく、複数のアンカートークンの系列をアンカーとして使用する組み合わせ手法 (CA: Combination Anchor) を 提案する。組み合わせ手法では、各学習データに固有のアンカーを用意するために、限られた数のアン カートークンを用意し、それらを組み合わせたアン カートークン系列をアンカーとして利用する。例え ば 32 個のアンカートークンを用意し、系列長を 3 とした場合、 $32^{3}=32768$ 個までの学習データに対し て固有アンカーを割り振ることが出来る。本研究の 実装ではハイパーパラメータとしてアンカートーク ン数 $N_{c}$ のみを設定し、系列長は学習データ数に足 りる最小值を採用した。

組み合わせ手法では系列を構成するアンカートー クンはそれぞれ複数回使用されるため、アンカー トークン系列同士も類似した表現になる可能性があ る。この問題の解決、さらにランダムグルーピング 手法と条件を揃える為に、組み合わせ手法には回帰型ニューラルネットワーク (RNN) を導入し、アン カートークン系列を単一のアンカー表現に変換す る。結果として NMT モデルのパラメータ数は若干
増加するが、学習データと同数のアンカートークン を用意する場合やランダムグルーピング手法と比較 して、増加量は大幅に抑えられる。

## 2.2 アンカートークンの入カ方法

NMT モデルへのアンカートークンの入力箇所と して、エンコーダ側の入力の先頭および最後尾、ま たデコーダ側の入力の先頭の 3 箇所が候補として考 えられる。本研究では、テキスト以外の情報を系列 に追加する先行研究 $[8,9,10,11]$ を踏まえ、先頭を 採用する。またエンコーダ側へのアンカーの入力で は、アンカー情報がエンコーダ内部で入力文との相互処理を経て文脈化され、アンカーがより有用な情報を所持することが期待できる。デコーダ側先頭へ の入力はこれが期待できないため、本研究ではエン コーダ側の入力の先頭を入力箇所として採用する。

アンカーによる推論を補助する情報の追加は、所謂 prompt 手法 [12] と類似しており、特に追加する 情報自体を学習するという点では soft prompt [13] と 同じである。しかしながらメインのモデルの学習と 同時に追加情報であるアンカーを学習する点、また タスク毎ではなく学習データの事例毎に追加情報を 用意する点に違いがある。

先行研究 [6] を参考に、アンカートークンは学習時のみに使用し、推論時は通常通りアンカートーク ンは存在しないまま処理を行う。本研究では NMT モデルとして Transformer[14] ベースのモデルを利用 するが、オリジナルのモデルで使用する絶対的な位置情報では、学習時には常にアンカートークンが特定の位置にあるのに対して、推論時にその特定の位置にアンカートークン以外のトークンが現れるとい う不整合が起きる。これを避けるために本研究では 相対位置に基づく Transformer [15] を採用する。

## 3 実験設定

提案手法が、NMT モデルの学習においてノイズ データの悪影響を低減する効果を確かめるため、2 つの翻訳タスクにおいて実験を行う。学習データと しては、綺麗と見做されているデータセットとノイ ズデータが多いと見做されているデータセットの両方を用意する。基本の実験として両方のデータセッ トを混合したデータセットを用いるが、綺麗と見做 されているデータセットにもノイズデータが含まれ ていることを考慮し、これを単一で用いた場合での 実験も行う。

## 3.1 モデル

NMT モデルとして、PyTorch ${ }^{1)}$ (ver. 1.12.0) で実装 した相対位置を利用する Transformer[15]を用いる。提案手法の実装のために、アンカートークンおよび アンカートークン用の単語埋め込み層、また組み合 わせ手法における RNN として単一の GRU 層をエン コーダに追加実装した。モデルのハイパーパラメー タについては概ね Vaswani らの Base モデル [14] に 従い、また相対位置べクトルの最大距離についての パラメータ $\mathrm{k}$ は 16 とした。

提案手法に関するハイパーパラメータとして、 ランダムグルーピング手法については、用意する アンカートークンの数がノイズデータとされる データの数のおよそ $1,10,100 \%$ となる場合を実験 する。組み合わせ手法のアンカートークン数につい ては、アンカートークン系列長が 3 4 程度となる $N_{c}=128,256,512$ の場合を実験する。

## 3.2 データセット

翻訳タスクとして ASPEC[16] による科学技術論文ドメインの英日翻訳と、WMT2017 [17] による ニュースドメインの英独翻訳を用いる。

ASPEC データセットについては、英語のデー タは Moses toolkit ${ }^{2}$ (ver. 2.2.1)を用いてトークン化及び Truecasing を行い、日本語のデータは $\mathrm{KyTea}^{3)}$ (ver. 0.4.2) による単語分割を行った。以上の処理の 後、SentencePiece[18] により両言語合わせて語彙数 を 16000 として unigram モデルにてサブワード化し た。ASPEC の学習データは対訳文の類似度が高い 順に並べられている4)ため、前半 150 万文を綺麗な データセットとして、また後半 150 万文をノイズの 多いデータセットとして採用した。

WMT2017データセットについては、公式に配布さ れている前処理済みデータ5)を使用し、newstest2015 を開発データ、newstest2016をテストデータとした。 ノイズの多いデータセットとしては ParaCrawl[19] を採用し、Moses toolkitを用いて前処理済みデー

1) https://pytorch.org/

2) http://www.statmt.org/moses/

3) http://www. phontron.com/kytea/

4）データに付属する README に、「訓練データは、類似度の 高い対訳文から順に並べて、上位 100 万文を train-1、次の上位 100 万文を train-2 とし、残りを train-3 とした。それゆえ、 train-2 や train-3 に含まれるデータは、train-1 と比べると対訳文としての質が低い。ととる。

5) https://data.statmt.org/wmt17/translation-task/ preprocessed/
表 1: ASPEC 英日翻訳における BLEU スコアおよび ノイズ混入データでのモデルのパラメータ数

タセットと同様の前処理を行った。以上の処理の 後に、語彙数を 40000 として ASPEC と同様のサブ ワード化を行った。

両データセット共に、学習時には最大文長を 100 とし、それを超えるデータは排除した。

## 3.3 ノイズ混入データ

現実的なノイズデータが混ざった学習データの 条件の設定するために、綺麗なデータセットとノイ ズの多いデータセットの混合データセットを用意 する。Khayrallah ら [1] の実験結果を踏まえ、ノイズ データによるモデルの性能低下を確認できるよう綺麗なデータとノイズデータの割合は 100:50とした。 ASPEC 英日翻訳では先頭 150 万文と後尾 75 万文を 混ぜ、また WMT2017 英独翻訳では配布データセッ トの全 590 万文と ParaCrawl の先頭 300 万文を混ぜ て、ノイズが混入した学習データを作成した。

## 3.4 評価

前処理としてサブワード化を行ったため、評価時 には単語単位での評価のための処理を行う。ASPEC 英日翻訳では出力を全て連結した後に KyTea による 単語分割を再度行い、WMT2017 英独翻訳では出力 に対して Moses toolkit による Detokenizationを行っ た。評価には sacreBLEU[20] を用いた BLEU スコア [21] 使用した。学習は 30 万ステップ行い、 1 万ス テップ毎に開発データでのスコアを算出し、それが 最も高い時点のモデルを最終的なテストデータでの スコア算出に用いた。BLEU スコアの算出のための NMT モデルの出力は全て貪欲法にて行った。

## 4 実験結果

ASPEC 英日翻訳における結果を表 1 に、WMT2017 英独翻訳における結果を表 2 に示す。WMT2017 ノ イズ混入データにおける組み合わせ手法 $\left(N_{c}=512\right)$ のみ通常学習を下回るスコアであった。それ以外で表 2: WMT2017 英独翻訳における BLEU スコアおよ びノイズ混入データでのモデルのパラメータ数

は、どちらの言語対においても、またデータセット のノイズ含有度合いに関わらず、通常の学習に比べ てアンカー学習がより高いスコアを出した。アン カー学習の効果が概ね確認され、さらに綺麗と見做 されているデータセットでもノイズデータの混入に よるモデルの精度低下が認められた。

今回の結果では、2つのアンカー数を抑えた提案手法に BLEU スコアでの優劣差は認められず、それ ぞれのハイパーパラメータについても明確な傾向は 掴めなかった。これらについては学習の複数回試行 を含め、より厳密な分析が必要である。

提案手法によるモデルのパラメータ数の変化につ いて、表 1、2 右端列にノイズ混入データセットに おける実験での NMT モデルのパラメータ数を示す。通常モデルにおける ASPEC 英日翻訳と WMT2017 英独翻訳のパラメータ数の違いは語彙数の違いによ るものである。ランダムグルーピング手法ではアン カートークン数が大きい場合にパラメータ数が大幅 に増加している一方で、組み合わせ手法は GRU 層 の追加によるパラメータ数の増加がありつつも、ア ンカートークン数は大幅に少ないため全体的には 数\%程度の増加に留まっている。結果としてランダ ムグルーピング手法は学習データが大きい場合には 実用的ではなく、組み合わせ手法のみが実用的な範囲に収まっている。

## 5 おわりに

本研究は NMT の学習において、ノイズデータの 悪影響を低減するアンカー学習の手法を導入した。計算コストの面からアンカートークン数を抑える手法として、ランダムグルーピング手法と組み合わせ 手法の 2 つを提案し、ASPEC 英日翻訳と WMT2017 英独翻訳の 2 つの翻訳タスクにてその効果を確認し た。2つの提案手法による BLEU スコアの向上幅は 同程度であり、パラメタ数増加の観点から、組み合 わせ手法の方が優れた手法であると言える。

## 謝辞

本研究は JSPS 科研費 JP21H03494 の助成を受けた ものです。

## 参考文献

[1] H. Khayrallah and P. Koehn. On the impact of various types of noise on neural machine translation. In Proceedings of the 2nd Workshop on Neural Machine Translation and Generation, pp. 74-83, 2018.

[2] P. Koehn, H. Khayrallah, K. Heafield, and M. L. Forcada. Findings of the WMT 2018 shared task on parallel corpus filtering. In Proceedings of the Third Conference on Machine Translation: Shared Task Papers, pp. 726739, 2018.

[3] P. Koehn, F. Guzmán, V. Chaudhary, and J. Pino. Findings of the WMT 2019 shared task on parallel corpus filtering for low-resource conditions. In Proceedings of the Fourth Conference on Machine Translation (Volume 3: Shared Task Papers, Day 2), pp. 54-72, 2019.

[4] P. Koehn, V. Chaudhary, A. El-Kishky, N. Goyal, P. Chen, and F. Guzmán. Findings of the WMT 2020 shared task on parallel corpus filtering and alignment. In Proceedings of the Fifth Conference on Machine Translation, pp. 726-742, 2020.

[5] C. Herold, J. Rosendahl, J. Vanvinckenroye, and H. Ney. Detecting various types of noise for neural machine translation. In Findings of the Association for Computational Linguistics: ACL 2022, pp. 2542-2551, 2022.

[6] Y. Goldberg and M. Elhadad. SVM model tampering and anchored learning: A case study in Hebrew NP chunking. In Proceedings of the 45th Annual Meeting of the Association of Computational Linguistics, pp. 224-231, 2007.

[7] V. N. Vapnik. The nature of statistical learning theory. 1995.

[8] D. Britz, Q. Le, and R. Pryzant. Effective domain mixing for neural machine translation. In Proceedings of the Second Conference on Machine Translation, pp.118126, 2017.

[9] M. Johnson, M. Schuster, Q. V. Le, M. Krikun, Y. Wu, Z. Chen, N. Thorat, F. Viégas, M. Wattenberg, G. Corrado, M. Hughes, and J. Dean. Google's multilingual neural machine translation system: Enabling zero-shot translation. Transactions of the Association for Computational Linguistics, Vol. 5, pp. 339-351, 2017.

[10] S. Sato, N. Yoshinaga, M. Toyoda, and M. Kitsuregawa. Modeling situations in neural chat bots. In Proceedings of ACL 2017, Student Research Workshop, pp. 120127, 2017.

[11] Y. Wang, C. Hoang, and M. Federico. Towards modeling the style of translators in neural machine translation. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 1193-1199, 2021.

[12] T. Brown, B. Mann, N. Ryder, M. Subbiah, J. D Ka- plan, P. Dhariwal, A. Neelakantan, P. Shyam, G. Sastry, A. Askell, S. Agarwal, A. Herbert-Voss, G. Krueger, T. Henighan, R. Child, A. Ramesh, D. Ziegler, J. Wu, C. Winter, C. Hesse, M. Chen, E. Sigler, M. Litwin, S. Gray, B. Chess, J. Clark, C. Berner, S. McCandlish, A. Radford, I. Sutskever, and D. Amodei. Language models are few-shot learners. In Advances in Neural Information Processing Systems, Vol. 33, pp. 1877-1901, 2020.

[13] B. Lester, R. Al-Rfou, and N. Constant. The power of scale for parameter-efficient prompt tuning. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 3045-3059, 2021.

[14] A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit, L. Jones, A. N Gomez, L. Kaiser, and I. Polosukhin. Attention is all you need. In Advances in Neural Information Processing Systems (NIPS) 30, pp. 5998-6008, 2017.

[15] P. Shaw, J. Uszkoreit, and A. Vaswani. Self-attention with relative position representations. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers), pp. 464-468, 2018.

[16] T. Nakazawa, M. Yaguchi, K. Uchimoto, M. Utiyama, E. Sumita, S. Kurohashi, and H. Isahara. ASPEC: Asian scientific paper excerpt corpus. In Proceedings of the Ninth International Conference on Language Resources and Evaluation (LREC), pp. 2204-2208, 2016.

[17] O. Bojar, R. Chatterjee, C. Federmann, Y. Graham, B. Haddow, S. Huang, M. Huck, P. Koehn, Q. Liu, V. Logacheva, C. Monz, M. Negri, M. Post, R. Rubino, L. Specia, and M. Turchi. Findings of the 2017 conference on machine translation (WMT17). In Proceedings of the Second Conference on Machine Translation, pp. 169-214, 2017.

[18] T. Kudo. Subword regularization: Improving neural network translation models with multiple subword candidates. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 66-75, 2018.

[19] Marta Bañón, P. Chen, B. Haddow, K. Heafield, H. Hoang, M. Esplà-Gomis, M. L. Forcada, A. Kamran, F. Kirefu, P. Koehn, S. Ortiz Rojas, L. Pla Sempere, G. RamírezSánchez, E. Sarrías, M. Strelec, B. Thompson, W. Waites, D. Wiggins, and J. Zaragoza. ParaCrawl: Web-scale acquisition of parallel corpora. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 4555-4567, 2020.

[20] M. Post. A call for clarity in reporting BLEU scores. In Proceedings of the Third Conference on Machine Translation: Research Papers, pp. 186-191, 2018.

[21] K. Papineni, S. Roukos, T. Ward, and W. Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, 2002.

## A NMT モデルの学習におけるハイパーパラメータ


# 言い換えによる機械翻訳のドメイン不適合の緩和

惟高 日向 ${ }^{1}$ 梶原智之 ${ }^{2}$ 藤田 篤 ${ }^{3}$ 二宮 崇 ${ }^{2}$
1 愛媛大学工学部 2 愛媛大学大学院理工学研究科 3 情報通信研究機構
\{koretaka@ai., kajiwara@, ninomiya@\}cs.ehime-u.ac.jp atsushi.fujita@nict.go.jp

## 概要

本研究では，対象ドメインのデータを用いずに，入力文のドメインと機械翻訳モデルの訓練ドメイン の不一致を緩和する手法を提案する。対象ドメイン が未知であってもより高品質な翻訳文を得るため に，提案手法では大力文に対する複数の言い換えを 生成し，各々を翻訳した後にリランキングを行う。日英の機械翻訳における評価実験の結果，未知ドメ インにおける翻訳品質の改善を確認できた.

## 1 はじめに

ニューラル機械翻訳 [1-4] の研究の進展に伴い, DeepL ${ }^{1)}$ や $\mathrm{Tex}^{2} \mathrm{Tra}^{2}$ など゙，オンライン機械翻訳サービ スの利用も広がりつつある. ただし，機械翻訳の品質は訓練データに依存するため，訓練データと大き く異なる特性を持つ入力文に対しては，翻訳品質が 低下する恐れがある．例えばドメインの不一致に対 しては，訓練済みの機械翻訳モデルを対象ドメイン の対訳コーパスを用いて転移学習するドメイン適応 [5]がよく用いられている. しかし, 様々なドメ インへの適用を考える場合，対象ドメインごとの転移学習に要する時間や訓練済みモデルの管理などの コストの課題，少資源のドメインにおいて対訳コー パスを用意できないという課題がある.そのため, オンライン機械翻訳サービスのように, 多様な入力 が想定され対象ドメインを限定できない状況では，転移学習などの既存のドメイン適応の手法を採用す ることは容易ではない.

本研究では，対象ドメインを限定せずに入力文と 機械翻訳モデルの間のドメインの不一致を緩和する 手法を提案する. 提案手法は, 既存のドメイン適応 のようにモデルを調整するのではなく，機械翻訳モ デルは変更せずに入力文を編集する。具体的には，入力文の前編集により多様な言い換えを生成し，

1) https://www.deepl.com/translator

2) https://mt-auto-minhon-mlt.ucri.jgn-x.jp/

図 1 提案手法の概要

各々を翻訳した中から後処理として最良の翻訳文を 選択する。これらの多様な言い換えの中には，ドメ インの不一致を緩和するなど，所与の機械翻訳モデ ルにより適した表現が含まれる可能性に期待してい る. 本手法は，機械翻訳モデルを再訓練する必要が ないだけでなく，対象ドメインのデータを用意する 必要もないという利点を持つ. 日英の機械翻訳にお ける評価実験の結果，機械翻訳モデルの訓練に使用 されていない 2 つのドメインの評価用データに対し て，提案手法による翻訳品質の改善を確認できた。

## 2 関連研究

文書要約 [6] や情報抽出 [7] などの様々な自然言語処理タスクにおいて, 入力文の前編集による性能改善が報告されている。機械翻訳においても，手動お よび自動の前編集が研究されている. 機械翻訳のた めの手動前編集の研究 $[8,9]$ では, 翻訳品質の改善 のために効果的な編集事例について分析が行われて いる. 機械翻訳のための自動前編集の研究 [10-12] では，入力文の語句や構造を平易化することで翻訳品質を改善している．前者 $[8,9]$ は，多数の言い換 えおよび翻訳候補を比較することで翻訳品質を改善しているが，人手による大きなコストが必要とな る. 一方で後者 [10-12] は，自動生成されたひとつ の言い換えを翻訳するため，低コストではあるが必 ずしも翻訳品質が改善されるとは限らない. 本研究 では両者の利点を組み合わせ，多数の言い換え文の 自動生成によって低コストで翻訳品質を改善する。

図 2 単語単位の言い換え生成器

## 3 提案手法

提案手法の概要を図 1 に示す. 本研究では，言い 換え生成とリランキングを組み合わせることで，入力文のドメインと機械翻訳の訓練ドメインの間の ギャップを埋め，翻訳品質を改善する。

提案手法では，まず入力文から複数の言い換え文 を生成する. その後，入力文およびこれらの言い換 え文を, 訓練済み翻訳器を用いてそれぞれ翻訳す る. 最後に，入力文を考慮して翻訳文候補をリラン キングし，翻訳品質の高い候補文を出力する.

## 3.1 言い換え生成

本ステップでは，任意の機械翻訳モデルがより適切な翻訳候補を生成できるように，所与の入力文に 対する多様な言い換えを得る。ある機械翻訳モデル にとっての翻訳しやすい表現および翻訳しにくい表現を事前に知ることは困難だが，生成した複数の言 い換えの中に，対象の機械翻訳モデルにとって翻訳 しやすい表現が含まれることを期待する. 本研究で は, 単語単位（図 2）および文単位（図 3）の2 種類 の言い換え手法を比較する. 各手法の言い換えおよ びそれに伴う翻訳文の変化の例を表 1 に示す.

図 3 文単位の言い換え生成器

単語単位の言い換え 単語単位の言い換えでは, BERT [13] などのマスク言語モデルと fastText [14] な どの単語分散表現を用いて，局所的な言い換え表現 を得る。ここでは，入力文を $|X|$ 個の単語からなる $X=x_{1}, \ldots, x_{|X|}$ という単語系列で表す. まず， $i$ 番目 の単語をマスクした入力文をマスク言語モデルに入力し, 単語穴埋め確率に従って上位 10 件の置換単語の候補を生成する. 次に, 元の単語 $x_{i}$ と置換候補 の単語の間の意味的類似度を, 単語分散表現の余弦類似度を用いて推定する。そして， $(|X| \times 10)$ 種類の 置換候補を，マスク言語モデルの単語穴埋め確率お よび単語分散表現の余弦類似度の和でリランキング し, 上位 $k$ 件の置換候補を選択する. 最後に，各単語の置換を適用し， $k$ 件の言い換え文を生成する。

文単位の言い換え 文単位の言い換えでは， Transformer [4] などの系列変換モデルを訓練して，大域的な言い換え表現を得る。まず，対象の機械翻訳モデルを訓練した対訳コーパスを用いて，目的言語から原言語への機械翻訳（逆翻訳）モデルを訓練 する。これを用いて対訳コーパスの目的言語文を翻訳し，逆翻訳文と原言語文の対からなる単言語パラ レルコーパスを自動生成する。そして，この単言語 パラレルコーパスを用いて，逆翻訳文から原言語文 を生成する言い換えモデル3゙を訓練する。この言い 換えモデルを用いてビーム幅 $k$ のビーム探索を行 い，入力文に対する $k$ 件の言い換え文を生成する.

素性説明

順方向翻訳逆方向翻訳言語モデル 文長順方向の機械翻訳モデルによる入力文から翻訳候補への forced decode 確率逆方向の機械翻訳モデルによる翻訳候補から入力文への forced decode 確率対訳コーパスの目的言語側で訓練した言語モデルによる翻訳候補の言語モデル確率入力文と翻訳候補の文長の差分およびその絶対值

言い換え（単語） マスク言語モデルの単語穴埋め確率と単語分散表現の余弦類似度の和言い換え（文）言い換えモデルによる入力文から言い換え文への forced decode 確率

## 3.2 リランキング

本ステップでは，入力文の言い換えを介して得ら れた複数の翻訳候補の中から，高品質な翻訳文を選択する．本研究では，教師なしおよび教師ありの 2 種類のリランキング手法を比較する.

教師なしリランキング 順方向および逆方向の機械翻訳モデルを用意し，入力文と翻訳候補の間で双方向に forced decoding を行う．そして，それぞれの 対数尤度の平均値によってリランキングを行う.

教師ありリランキング 複数の素性および K-best Batch MIRA [15] のアルゴリズムを用いて，検証用 データ全体に対する BLEU [16] を最大化するリラン キングモデルを訓練する．素性には，翻訳候補のリ ランキングに関する先行研究 [17] でも採用されてい る forced decode 確率・言語モデルスコア・文長のリ ランキング素性に加えて，3.1 節で構築した言い換 え生成器に基づく素性を用いる. 本研究で使用する リランキング素性の一覧を表 2 に示す.

## 4 評価実験

提案手法の有用性を確認するために，3つのドメ インにおける日英機械翻訳の実験を行った.

## 4.1 実験設定

データ 日英の機械翻訳モデル（順方向および逆方向）を訓練するために，日英の言語対における最大規模の対訳コーパスである JParaCrawl ${ }^{4 ｝ \text { [18]を用 }$ いた. 本実験では, JParaCrawl (v3.0) から無作為に 抽出した 1,000 万文対を訓練用に，別の 2,000 文対 を検証用に，それぞれ使用した。評価用には，未知 ドメインのデータとして学術論文ドメインである ASPEC [19] の評価用データ 1,812 文対およびニュー スドメインである WMT20 [20] の評価用データ 993 文対，既知ドメインのデータとして JParaCrawl から

4) https://www.kecl.ntt.co.jp/icl/lirg/jparacrawl/無作為に抽出した訓練・検証用データとは異なる 2,000 文対を用いた。

日本語における文単位の言い換えモデルを訓練す るために，機械翻訳モデルの訓練に使用した 1,000 万文対の対訳コーパスを使用した. 逆翻訳モデルを 用いて目的言語文を翻訳し，得られた原言語文と対訳コーパス中の原言語文を対にした単言語パラレ ルコーパスを，言い換えモデルの訓練に使用した.検証用も同様に，機械翻訳モデルの検証用データ 2,000 文対を使用して構築した。

前処理として, 日本語文には Mecab5) (IPADIC) [21]，英語には Moses Tokenizer ${ }^{6)}$ を用い，単語分割を行った. その後，日本語文および英語文 の両方に対して語彙サイズ 32,000 のサブワード分割7) [22]を適用した. 最後に，訓練用データのうち 100 トークンを超える長文を含む文対を除外した。

モデル 機械翻訳モデルおよび文単位の言い換 えモデルは， fairseq ツールキット8）[23]を用いて Transformer モデル [4] を訓練した.モデルの構造は Vaswani ら [4] に倣い, 6 層 8 ヘッド 512 次元とした.訓練は，バッチサイズを 70,000 トークンに設定し，最適化手法には Adam [24] を使用して行った. 検証用データにおける交差エントロピー損失を 1,500 ステップごとに評価し，この損失が 10 回低下しな かった時点で訓練を終了した。機械翻訳の推論時に は，ビーム幅５の1 ベスト出力を用いた.

単語単位の言い換えモデルは，マスク言語モデル と単語分散表現を用いて構築した。マスク言語モ デルには東北大 $\mathrm{BERT}^{9)}$ [13] を，単語分散表現には fastText の日本語モデル ${ }^{10 ｝ \text { [14]を，それぞれ用いた. }$

5) https://taku910.github.io/mecab/

6) https://github.com/moses-smt/mosesdecoder/blob/ master/scripts/tokenizer/tokenizer. perl

7) https://github.com/glample/fastBPE

8) https://github.com/facebookresearch/fairseq

9) https://huggingface.co/cl-tohoku/ bert-base-japanese-whole-word-masking

10) https://fasttext.cc/docs/en/crawl-vectors.html

教師ありリランキングモデルは，Moses [25] の kbmira [15] を用いて構築した. リランキング素性と して用いる言語モデルは，機械翻訳モデルの訓練 データにおける目的言語側から 4-gram 言語モデル を Moses の lmplz [26]を用いて訓練した。

比較手法 提案手法では，入力文および $k$ 種類の 言い換え文の合計 $(k+1)$ 文をそれぞれ翻訳し，それ らの翻訳候補をリランキングした。言い換えを行わ ない比較手法では，ビーム幅 $(k+1)$ のビーム探索を 用いて入力文から $(k+1)$ 文の翻訳候補を出力し，そ れらをリランキングした。

## 4.2 実験結果

表 3 に，各手法の出力に対して SacreBLEU ${ }^{11)}$ [27] を用いて得た BLEU スコア [16] を示す. 統計的有意差検定には，SacreBLEU に実装されている Paired Bootstrap Resampling [28]を用いた.

まず，評価用データのドメインに注目する。提案手法では未知ドメインである ASPEC および WMT20 において，言い換えを行わない比較手法よりも大き く翻訳品質を改善できた。一方で，既知ドメインで ある JParaCrawl に対しては，特に教師ありリランキ ングにおいて，提案手法は言い換えを行わない比較手法ほど品質を改善できなかった.この結果から，既知ドメインでは入力文と機械翻訳モデルの間にド メインの不一致が起こらないため前編集の必要がな い，または，既知ドメインにおける教師ありリラン キングが有用である，ということが示唆される.

次に，言い換え生成の手法に注目する。未知ドメ インにおける教師ありリランキングにおいては単語単位の言い換えが一貫して最高性能を示した。未知
ドメインにおける教師なしリランキングにおいては 言い換え生成手法による優劣は見られないが，既知 ドメインにける教師なしリランキングにおいては単語単位の言い換えが最も高い性能を示した。全体的 には，文単位の言い換えよりも単語単位の言い換え の方が効果的であったと言える。

最後に，言い換えの数 $k$ に注目する．教師なしリ ランキングにおいては $k$ の増加につれて翻訳品質が 向上した。一方で，教師ありリランキングにおいて は $k$ の大小と翻訳品質の関連は見られなかった.

## 4.3 言い換えの人手評価

各ドメインの評価用データから 20 文ずつの入力文を無作為に抽出し, 単語単位および文単位で $k=5$ の言い換えを生成し，同義性および流暢性を 人手評価した。単語単位で $74 \%$ ，文単位で $86 \%$ が 同義であり，単語単位で $78 \%$ ，文単位で $85 \%$ が流暢 であった。どちらの観点からも，文単位の言い換え の方が高品質であった．前節の実験結果をふまえる と，入力文の高品質な言い換えが必ずしも翻訳品質 の改善に寄与するとは限らないことが示唆される。

## 5 おわりに

本研究では，言い換え生成とリランキングを組み 合わせることで，入力文のドメインと機械翻訳の訓練ドメインの不一致を緩和し，翻訳品質を改善し た. 特に，単語単位の言い換え生成と教師ありリラ ンキングの組み合わせによって，機械翻訳モデルの 訓練に使用されていない 2 つのドメインにおいて，一貫して最も大きく翻訳品質を改善できた. 今後 は，本手法をブラックボックス機械翻訳にも適用で きるように，リランキングの素性を再検討する。

11) https://github.com/mjpost/sacrebleu

## 謝辞

本研究は JST（ACT-X，課題番号: JPMJAX1907)

および国立研究開発法人情報通信研究機構の委託研

究（課題番号：225）による助成を受けたものです.

## 参考文献

[1] Ilya Sutskever, Oriol Vinyals, and Quoc V Le. Sequence to Sequence Learning with Neural Networks. In Proc. of NIPS, pp. 3104-3112, 2014.

[2] Dzmitry Bahdanau, Kyunghyun Cho, and Yoshua Bengio. Neural Machine Translation by Jointly Learning to Align and Translate. In Proc. of ICLR, 2015.

[3] Thang Luong, Hieu Pham, and Christopher D. Manning. Effective Approaches to Attention-based Neural Machine Translation. In Proc. of EMNLP, pp. 1412-1421, 2015.

[4] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is All you Need. In Proc. of NIPS, pp. 5998-6008, 2017.

[5] Chenhui Chu and Rui Wang. A Survey of Domain Adaptation for Neural Machine Translation. In Proc. of COLING, pp. 1304-1319, 2018.

[6] Advaith Siddharthan, Ani Nenkova, and Kathleen McKeown. Syntactic Simplification for Improving Content Selection in Multi-Document Summarization. In Proc. of COLING, pp. 896-902, 2004.

[7] Richard J. Evans. Comparing Methods for the Syntactic Simplification of Sentences in Information Extraction. Literary and Linguistic Computing, Vol. 26, No. 4, pp. 371-388, 2011.

[8] Rei Miyata and Atsushi Fujita. Dissecting Human PreEditing toward Better Use of Off-the-Shelf Machine Translation Systems. In Proc. of EAMT, pp. 54-59, 2017.

[9] Rei Miyata and Atsushi Fujita. Understanding Pre-Editing for Black-Box Neural Machine Translation. In Proc. of EACL, pp. 1539-1550, 2021.

[10] Sanja Štajner and Maja Popovic. Can Text Simplification Help Machine Translation? In Proc. of EAMT, pp. 230242, 2016.

[11] Sanja Štajner and Maja Popović. Improving Machine Translation of English Relative Clauses with Automatic Text Simplification. In Proc. of ATA, pp. 39-48, 2018.

[12] Sneha Mehta, Bahareh Azarnoush, Boris Chen, Avneesh Saluja, Vinith Misra, Ballav Bihani, and Ritwik Kumar. Simplify-Then-Translate: Automatic Preprocessing for Black-Box Translation. In Proc. of AAAI, pp. 84888495, 2020.

[13] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proc. of NAACL, pp. 4171-4186, 2019.

[14] Piotr Bojanowski, Edouard Grave, Armand Joulin, and Tomas Mikolov. Enriching Word Vectors with Subword Information. Transactions of the Association for Computational Linguistics, Vol. 5, pp. 135-146, 2017.

[15] Colin Cherry and George Foster. Batch Tuning Strategies for Statistical Machine Translation. In Proc. of NAACL, pp. 427-436, 2012.

[16] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. BLEU: a Method for Automatic Evaluation of Machine Translation. In Proc. of ACL, pp. 311-318, 2002.

[17] Benjamin Marie and Atsushi Fujita. A Smorgasbord of Features to Combine Phrase-Based and Neural Machine Translation. In Proc. of AMTA, pp. 111-124, 2018.

[18] Makoto Morishita, Jun Suzuki, and Masaaki Nagata. JParaCrawl: A Large Scale Web-Based English-Japanese Parallel Corpus. In Proc. of LREC, pp. 3603-3609, 2020.

[19] Toshiaki Nakazawa, Manabu Yaguchi, Kiyotaka Uchimoto, Masao Utiyama, Eiichiro Sumita, Sadao Kurohashi, and Hitoshi Isahara. ASPEC: Asian Scientific Paper Excerpt Corpus. In Proc. of LREC, pp. 2204-2208, 2016.

[20] Loïc Barrault, Magdalena Biesialska, Ondřej Bojar, Marta R. Costa-jussà, Christian Federmann, Yvette Graham, Roman Grundkiewicz, Barry Haddow, Matthias Huck, Eric Joanis, Tom Kocmi, Philipp Koehn, Chi-kiu Lo, Nikola Ljubešić, Christof Monz, Makoto Morishita, Masaaki Nagata, Toshiaki Nakazawa, Santanu Pal, Matt Post, and Marcos Zampieri. Findings of the 2020 Conference on Machine Translation. In Proc. of WMT, pp. 1-55, 2020.

[21] Taku Kudo, Kaoru Yamamoto, and Yuji Matsumoto. Applying Conditional Random Fields to Japanese Morphological Analysis. In Proc. of EMNLP, pp. 230-237, 2004.

[22] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural Machine Translation of Rare Words with Subword Units. In Proc. of ACL, pp. 1715-1725, 2016.

[23] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A Fast, Extensible Toolkit for Sequence Modeling. In Proc. of NAACL, pp. 48-53, 2019.

[24] Diederik P. Kingma and Jimmy Ba. Adam: A Method for Stochastic Optimization. In Proc. of ICLR, 2015.

[25] Philipp Koehn, Hieu Hoang, Alexandra Birch, Chris Callison-Burch, Marcello Federico, Nicola Bertoldi, Brooke Cowan, Wade Shen, Christine Moran, Richard Zens, Chris Dyer, Ondřej Bojar, Alexandra Constantin, and Evan Herbst. Moses: Open Source Toolkit for Statistical Machine Translation. In Proc. of ACL, pp. 177-180, 2007.

[26] Kenneth Heafield. KenLM: Faster and Smaller Language Model Queries. In Proc. of WMT, pp. 187-197, 2011.

[27] Matt Post. A Call for Clarity in Reporting BLEU Scores. In Proc. of WMT, pp. 186-191, 2018.

[28] Philipp Koehn. Statistical Significance Tests for Machine Translation Evaluation. In Proc. of EMNLP, pp. 388-395, 2004 .


# T5 を用いた古文から現代文への翻訳

臼井久生 ${ }^{1}$ 古宮嘉那子 ${ }^{2}$
東京農工大学工学部知能情報システム工学科 1
東京農工大学大学院生物システム応用科学府 2
s190260u@st.go.tuat.ac.jp¹kkomiya@go.tuat.ac.jp²

## 概要

本稿では，日本語の事前学習済み $\mathrm{T} 5$ モデルを用 いて古文から現代文への翻訳を行う. fine-tuning に は，奈良時代から江戸時代までの文献の，古文と現代語訳のパラレルデータを利用した. また複数の青空文庫の作品を利用し, 逆翻訳により疑似パラレル データを作成し，これを fine-tuning の学習データと して追加的に利用することで，翻訳の性能に効果が あるかを検証した. 実験の結果，正規のパラレル データのみで行った場合は BLEU 值が 27.73 となり,統計的機械翻訳に迫る結果となった. また逆翻訳に よる疑似パラレルデータも用いた場合は BLEU 値が 23.81 となり, 古文の翻訳に逆翻訳による疑似パラ レルデータの利用は有効でないことが分かった.

## 1 はじめに

本稿では $\mathrm{T} 5$ を用いて，日本語の古文から現代文 への翻訳を行う. 日本語の古文から現代文への翻訳の先行研究には，統計的機械翻訳 [1] とニューラ ル機械翻訳 [2] による研究があるが，このうちの ニューラル機械翻訳による研究は LSTM(Long Short Term Memory) を用いており, 統計的機械翻訳の結果 を超えることはできなかった。ニューラル機械翻訳 は小規模なコーパスではよい結果が得られないとさ れており [3]，古文と現代文のパラレルコーパスは 小規模であることが、ニューラル機械翻訳を用いた 先行研究の性能の低さの主因であると考えられる。

一方で，深層学習は LSTM の後にも大きな進歩を 見せており, 2018 年に GPT[4] や BERT[5] が公開さ れ，これらを受けて T5[6] が 2019 年に発表された. これらのモデルは大規模なコーパスを用いて事前学習を行っているため, 言語的知識を有していると 考えられ，これを Fine-tuning することでデータが 少ないタスクでも性能の高いモデルが作成可能に なった.本稿ではこの事前学習済みモデルである $\mathrm{T} 5$ を用 いて，古文から現代文への翻訳を行う．古文と現代文のパラレルコーパスは小規模であるため，LSTM を用いた研究においては十分な結果が得られなかっ たが，事前学習済みモデルを用いることでデータの 少なさを補完できる可能性があると考える. 本稿で は，日本語の古文から現代文への機械翻訳におい て，T5を用いることにより統計的機械翻訳に迫る 結果を得られることを示す.

## 2 関連研究

古文の現代語への機械翻訳の例は，星野ら [1] の 統計的機械翻訳と，高久ら [2] の LSTM, Transformer で行った例がある．星野らは古文と現代文の 86,684 文のコーパスを段落ごとに区切ったものを用いて，統計的機械翻訳を行った．高久らはLSTMを用い て，同じコーパスを現代から古代に向けて遡りなが ら学習を行い，ニューラル機械翻訳を行った. 結果 は，統計的機械翻訳では 28.02, LSTM では 19.95 で あった.

T5を用いた翻訳の先行研究には Emezue ら [7] の 例がある。これは， $\mathrm{mt} 5$ を用いてアフリカの言語で あるコサ語，ヨルバ語，イボ語などを英語やフラン ス語に翻訳したものである。これらのアフリカの言語はデータ数が少なく，最も多いコサ語で 158,660 件であり，英語とのパラレルコーパスは 137,000 件ほどであった。コサ語の英語翻訳の BLEU 値は 30.25 であった.

## 3 T5を用いた古文から現代文への 翻訳

T5 とは，Transformer[8] をべースにして，C4 とい うコーパスを用いて事前学習を行ったモデルであ る.この C4 はウェブクロールしたデータを整形し たものであり，このように高品質なデータを利用し たことと事前学習手法，ファインチューニング手法 の調整によって T5 は 2019 年当時 26 種のタスクで
最高性能を達成した。

本稿では日本語データで作成された T5 である sonoisa/t5-base-japanese を用いて，古文の現代文への 翻訳を行った. Fine-tuning の際は，古文を学習デー タ，現代文を教師データとして学習を行い，古文 を入力して現代文を出力するようにモデルを作成 する。

## 4 データ

本稿では星野ら [1] が抽出したパラレルコーパス を用いる。このコーパスは古文作品とそれに対して 人手で付与した現代語翻訳文が対になっている.こ のコーパスは近代，鎌倉，平安の 3 時代の作品デー タで構成される通時コーパスであり，時代の内訳は (近代: 鎌倉: 平安) $=(4,577: 30,075: 52,032)$ 文対である. このコーパスは全 86,684 文対であり,中には一つの 古文に対して複数の現代語翻訳が対応しているも のも含まれる. データの分割割合は, 高久ら [2] に ならい，(学習: 開発: テスト $)=(82,591: 2,000: 2,093)$ 文対に分割をした. 分割の偏りを避ける為に分割の際 にはランダムに分割を行った、コーパスの単語分割 には MeCab v0.996 ${ }^{1)}$ を使用し，古文側には中古和文 UniDic v1.32), 現代文側には UniDic v2.3.0 3 を辞書と して利用した。

## 5 実験

本稿では，T5 モデルを用いて古文から現代文へ の翻訳を行う．4 節で示したパラレルデータの古文を大力とし, 現代文を出力として学習データを システムに与え, Fine-tuningを行う. 評価の際は学習したモデルに古文データを与え, 出力した現代文翻訳データと正解となる現代文データで BLEU 值を算出した. T5 のモデルは transformers ライブ ラリの sonoisa/t5-base-japanese ${ }^{4}$ を利用し, Automodel で指定した。また，Tokenizerには Autotokenizer で sonoisa/t5-base-japanese を指定した. BLEU 值の算出には evaluate ライブラリの sacrebleu $^{5}$ [9] を利用 した.

1) https://taku910.github.io/mecab/

2) https://clrd.ninjal.ac.jp/unidic/

3) https://clrd.ninjal.ac.jp/unidic/

4) https://huggingface.co/sonoisa/t5-base-japanese

5) https://huggingface.co/spaces/evaluate-metric/sacrebleu

## 5.1 古文データを用いた実験

古文と現代文のパラレルデータを用いて T5 の fine-tuning を行った. この実験において調整を行っ たパラメータは, 学習率とエポック数, repetition penalty である. まず学習率とエポック数の組み合わ せについて実験を行ってこれらを決定し, 次に学習率と repetititon penalty の組み合わせについて実験を 行って repetition penalty を選定した.

学習率, エポック数 学習率とエポック数の設定 は，repetition penalty を固定し，最も BLEU 値が高く なる組み合わせを探索した。この際，学習率は対数スケールでおおよそ均等になるように設定した。表 1 に組み合わせの候補を示す。なお，repetition penalty は 5 とした.

表 1 エポック数と学習率の組み合わせ

repetition penalty repetition penalty は, 生成の際 の繰り返しに対してぺナルティを与えるパラ メータである [10]. エポック数と学習率を固定し, repetition penalty について grid search を行った. 学習率の候補は $0.0001 ， 0.0002 ， 0.0003 ， 0.0004$ とし， repetition penalty の候補は 1 から 10 までの 1 刻み 及び 1.1 から 2.5 まで 0.1 刻みとした。また，これ ら二つの実験から，学習率，エポック数, repetition penalty を決定し，最終的な実験を行った.

## 5.2 逆翻訳データを用いた実験

5.1 節の小学館コーパスから抽出した正規のパラ レルデータのみによる学習の実験に加えて, 逆翻訳 データを学習データに加えた実験を行った。逆翻訳 データの作成には, 古文から現代文への翻訳同様, sonoisa/japanese-t5-baseを用いた. パラメータは，予
備実験の結果，学習率を 0.0002,エポック数を 5 , repetition penalty 1.5 に設定した. 予備実験の結果 は付録の表 8 に示した. 学習データを現代文, 正解 データを古文として現代文からの古文生成モデルを 作成し, これに青空文庫から取得した複数の著者に よる複数の書籍データを入力として与え, 古文訳を 出力した. このデータは句点区切りで, 全 522,801 件であった. この出力した古文と現代文をぺアと し，疑似パラレルデータとして新たに古文から現代文への翻訳システムの学習を行った. この際, 学習率を 0.0002 , repetition penaltyを 1.5 とした.

また，逆翻訳による疑似パラレルデータをパラレ ルデータと併用するにあたり，データを与える順番 と正規のパラレルデータを与える回数を以下のよう に変えて実験した。

学習方法 1)すべての逆翻訳データの次にすべての正規のパラレルデータを与え，1 エポック 回す.

学習方法 2)逆翻訳データを $n$ 分割し, 分割したファ イルの途中にすべての正規のパラレル データを与えて学習する。結果として，逆翻訳データは 1 エポック, 正規のパ ラレルデータは $n$ エポック回す計算と なる.

学習方法 2 は, 正規のパラレルデータを途中途中に 挟んで学習することで，翻訳エラーを減らすことを 期待して考案したものである。 なお，ライブラリの 仕様上データは 2 万件の倍数ずつ入力するように なっているため, 逆翻訳データを $n$ 分割する際は等分に分割はせず，まず 2 万件の倍数ずつ入力し最後 に残りのデータを入力する形で，全件を入力した. そのため, 分割数 $n$ と分割したファイルのデータ件数は表 2 のようになる.

表 2 逆翻訳の分割数 $n$ と, 分割後のファイルごとの疑似 データ数

例えば学習方法 2-1 では，まず逆翻訳データの うち 16 万件を与え，次にすべての正規のパラレル データを与える。これを三回繰り返す。ここまでで 逆翻訳データのうち 48 万件を利用している。逆翻訳データは 522,801 件なので，最後に残りの 42,801件の逆翻訳データとすべての正規のパラレルデータ を与えて学習する。結果的に，逆翻訳データは 1 エ ポック，正規のパラレルデータは 4 エポック回した 計算となる.

## 6 結果

## 6.1 古文データを用いた実験の結果

各エポック数でもっとも BLEU 值が高かった際の BLEU 値をその際の学習率とともに表 3 に示す. そ の他を含すすべての結果は付録の表 7 に示す.

学習率と repetition penalty の実験における最高の BLEU 值は表 4 のようになった. すべての結果は付録の表 9 に示す. また，その時のグラフを付録の図 1,図 2 に示す。

エポック数 10 , 学習率 0.0002 のパラメータの際 に BLEU 值が最高であることが分かる. また表 4 の結果から学習率が 0.0002 の際の最高の repetition penalty は 1.5 であることが分かる. そのため，エ ポック数を 10 , 学習率を 0.0002 , repetition penalty を 1.5 として最終的な学習を行ったところ, BLEU 値は 27.73 となった. その際の生成例を表 5 に示す.

## 表 5 最終実験の翻訳例

 \\
そのうち、いつしか講の終る日になり、 \\
僧俗・男女が数知れず集ってきた。 \\
正解 &  \\

## 6.2 逆翻訳データを用いた実験の結果

現代文から古文を生成するモデルの BLEU 值は， 27.03 であった. また，それぞれのデータの順序と 与える回数を変えた学習方法について，結果を表 6 に示す.

表 6 逆翻訳データを用いた際のそれぞれの学習方法の最良の BLEU 値

## 7 考察

本稿の最良の BLEU 值は 27.73 となった. LSTM の BLEU 值 [2] は 19.95 であるので，これを 7.78 上回っている. このことから, 日本語大規模データ を用いて事前学習した T5を用いることによって， データ数の少ない古文の現代文への翻訳に効果があ るということが分かる. 統計的機械翻訳の BLEU 值 [1] は 28.02 であり，残念ながら本研究の結果はこれ に 0.29 ポイント及ばなかった. しかし, この差は僅差であり，統計的機械翻訳に迫る結果となった.

逆翻訳データを用いた実験の BLEU 値は，すべて 古文データのみを用いた実験の最良の BLEU 值を 上回ることはなかった. 逆翻訳で生成したデータを チェックしたところ，古文らしいものではなかった ため，学習の際にノイズとして働いてしまった可能性があると考えている. また，学習方法 2 は学習方法 1 よりも BLEU 值が低くなった. また, 分割数 を多くすると BLEU 值が下がる結果となった. こ のことから，逆翻訳データの間に正規のパラレル データを挟んで学習する手法は有効でないことが分 かった.

さらに BLEU 值を上げる為に，エポック数などの パラメータのさらなる調整も考えられるが，本稿 で行った調整よりさらに細かいパラメータの調整 で BLEU 值が大きく上がることは考え難い。また， データ数を増やすことは，翻訳のプロの人手による データの作成に大きな手間がかかる. ただし，日本語の T5 の large サイズのモデルは筆者らの知る限り 公開されていないが，さらに大きな事前学習モデル が公開されれば，統計的機械翻訳の結果を上回る可能性があると考える。

## 8 まとめ

本稿では，事前学習済み日本語 $\mathrm{T} 5$ モデルを用い て古文から現代文への翻訳を行った．LSTMを利用 した結果を 7.78 上回る結果となり，事前学習モデ ルである $\mathrm{T5}$ を用いることでパラレルデータの少な さを補完できることを示した。またこの結果は，関連研究のうちで最も高い BLEU 值を出した統計的機械翻訳のシステム [1] に迫る BLEU 值である。ま た，青空文庫から逆翻訳データを作成して，これを 学習データに追加する実験を行ったが，この手法は 古文から現代文への翻訳には有効でないことが分 かった。

## 謝辞

本研究は JSPS 科研費 17KK0002，18K11421， 22K12145 の助成を受けたものです.また，国立国語共同研究プロジェクト「開かれた共同構築環境 による通時コーパスの拡張」「多様な語義資源を統

合した研究活用基盤の共創」「アノテーションデー タを用いた実証的計算心理言語学」の成果です.ま た，明星大学の横野光先生には先行研究のデータを いただきました。御礼申し上げます.

## 参考文献

[1] 星野翔, 宮尾祐介, 大橋駿介, 相澤彰子, 横野光. 対照 コーパスを用いた古文の現代語機械翻訳. 言語処理学会, 第 20 回年次大会, 2014.

[2] 高久雅史, 平澤寅庄, 小町守, 古宮嘉那子. 通時的な領域適応を行った単語分散表現を利用した古文から現代文へのニューラル機械翻訳. 言語処理学会, 第 26 回年次大会, 2020.

[3] Philipp Koehn and Rebecca Knowles. Six challenges for neural machine translation. In Proceedings of the First Workshop on Neural Machine Translation, pp. 28-39, Vancouver, August 2017. Association for Computational Linguistics.

[4] Alec Radford, Karthik Narasimhan, Tim Salimans, and Ilya Sutskever. Improving Language Understanding by Generative Pre-Training.

[5] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding, May 2019.

[6] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, Peter J Liu, et al. Exploring the limits of transfer learning with a unified text-to-text transformer. J. Mach. Learn. Res., Vol. 21, No. 140, pp. 1-67, 2020.

[7] Chris C. Emezue and Bonaventure F. P. Dossou. MMTAfrica: Multilingual Machine Translation for African Languages, April 2022.

[8] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention Is All You Need, December 2017.

[9] Matt Post. A call for clarity in reporting BLEU scores. In Proceedings of the Third Conference on Machine Translation: Research Papers, pp. 186-191, Belgium, Brussels, October 2018. Association for Computational Linguistics.

[10] Nitish Shirish Keskar, Bryan McCann, Lav R. Varshney, Caiming Xiong, and Richard Socher. CTRL: A Conditional Transformer Language Model for Controllable Generation, September 2019.
表 7 各学習率とエポック数での BLEU 值 (横軸: エポック数，縦軸: 学習率),repetition penalty:5.0

表 8 逆翻訳モデル作成時の BLEU 值 (横軸: エポック数，縦軸: 学習率),repetition penalty:5.0

表 9 repetition penalty ごとの BLEU 值

(縦軸:repetition penalty 横軸: 学習率 エポック数:1)

表 10 repetition penalty ごとの BLEU 值 (縦軸:repetition penalty 横軸: 学習率 エポック数:1)

図 1 学習率ごとの repetition penalty の変化による BLEU 値変化（0.1 刻み）

図 2 学習率ごとの repetition penalty の変化による BLEU 值変化（1 刻み）


# 事前学習モデルと固有名詞の事後置き換えを用いた 日本語から手話への機械翻訳

宮崎太郎中谷真規 内田翼 金子浩之 佐野雅規
NHK 放送技術研究所
}

\{miyazaki.t-jw, nakatani.n-ge, uchida.t-fi, kaneko.h-dk, sano.m-fo\}@nhk.or.jp
## 概要

手話は先天的あるいは幼少期に聴覚を失った人に とって第一言語であり，それらの人に対する情報提供には手話を用いるのが望ましい。我々は手話での 情報提供をより拡充するために，手話 CG の自動生成システムの開発を進めている。本稿では，手話の 自動生成に用いる日本語-手話の機械翻訳手法につ いて述べる。

手話は対訳コーパスの作成が難しいため，既存の 比較的小規模のコーパスからより良い翻訳精度を得 るために，提案手法では翻訳モデルの Encoder に事前学習モデルを用いる。また，手話では固有名詞の 表現方法が複雑なため, 辞書や固有名詞に特化した 翻訳手法を用いて事後的に固有名詞部分の置き換え をするのが望ましい，そこで，翻訳モデルを用いて 翻訳した後に，得られた翻訳結果と入力の日本語文 から，日本語の固有表現が手話のどの部分に翻訳さ れたかを推定し，固有表現を後から置き換える手法 を提案する。

## 1 はじめに

先天的あるいは幼少期に聴覚を失った人にとっ て，手話は第一言語であり，日本語などの音声言語 やその書き起こしよりも理解がしやすい重要なコ ミュニケーション手段である。そのような人たちに 対して重要な情報を提供する際には，手話を用いる ことが望ましい，総務省が週に 15 分以上の手話放送の実施を普及目標に定めるなど，放送分野におい ても手話による情報提供の拡充が求められている [1].

手話番組を実施するためには番組の音声を手話に 翻訳する手話通訳者の確保などが必要であるが，放送をリアルタイムに翻訳できる手話通訳者の数は限 られており，現状では手話番組の大幅な拡充は難し

図 1 手話 $\mathrm{CG}$ 生成システム概要図

い.そこで，NHKでは日本語の文章を自動で手話に 翻訳する手話 $\mathrm{CG}$ アニメーション（以下，手話 $\mathrm{CG}$ ) の自動生成技術の研究を進めている。これまでに気象情報やスポーツ情報などを対象として，事前に翻訳した定型的な手話表現をテンプレート化し，デー タと組み合わせて手話 $\mathrm{CG}$ を自動生成する技術を 開発してきた $[2,3]$. これらのサービスは定型的な データを基に正確な手話 $\mathrm{CG}$ を生成できる反面，変換できる情報が限定されており，日々のニュースな どの情報を翻訳することはできなかった。我々はよ り幅広い情報を手話 CG に変換するために，機械翻訳を用いた手話 $\mathrm{CG}$ 生成技術の研究を進めている。

機械翻訳を用いた手話 $\mathrm{CG}$ 生成システムの概要図 を図 1 に示す。入力の日本語は機械翻訳技術により 手話単語列に翻訳される. 手話の表現に必要な各単語の動作データはあらかじめモーションキャプチャ により作成してあり，翻訳結果にあわせて動作デー タをつなぎ合わせることで手話 CG が生成できる.

ここで用いる日本語から手話への機械翻訳の課題として，まず学習データの少なさ，ドメインの偏 りが挙げられる。手話はそもそも書き言葉がないた め，機械翻訳の学習データとして使えるような対訳 コーパスが少なく，手話による情報提供がなされて いる分野が限られているため，ドメインには偏りが 生じる. さらに，手話書き起こしの表記方法が用途

や制作者によって異なるため，他者が作成したコー パスをそのまま使うことが難しい. その他の課題と して, 固有表現の翻訳が難しいことが挙げられる。一般の書き言葉であれば固有表現はその発音を基に 音訳したものを用いることができる。一方，手話で は例えば「佐野」という人名は「サノ」という発音 を表す指文字を使用するなど音訳で対応できるもの もあるが，「宮崎」という人名はそれぞれの文字の 意味を基にして翻訳した「宮（神社）」と「先」の 2 単語で表すなど，さまざまな表現方法を組み合わせ て表現される. そのため, 固有名詞の翻訳には固有名詞に特化した翻訳手法が必要であり，それを用い るためには, 文全体の翻訳結果の固有名詞部分を置 き換えることが必要となる.

本稿では，コーパスの少なさを補うための事前学習モデルを用いた機械翻訳手法に，固有名詞をより 正確に表現するための事後置き換えを組み合わせた 翻訳手法を提案する。

## 2 関連研究

## 2.1 プレースホルダーを用いた置き換え

Luong et al.[4] は翻訳が難しい未知語や低頻度語を プレースホルダーに置き換えて翻訳することで，こ れらの翻訳誤りを防ぐ手法を提案した. プレースホ ルダーを用いた翻訳は多くの研究で取り入れられて おり，良好な翻訳性能が報告されている $[5,6]$

これらの手法では，我々がターゲットとしている ニュースなどに頻出し，かつ重要な語句である固有表現の翻訳誤りを軽減可能であるが，プレースホル ダーに置き換えたコーパスから翻訳モデルを学習す る必要がある.

## 2.2 事前学習モデルを用いた翻訳

BERT[7] や RoBERTa[8] などの事前学習モデルを 用いた機械翻訳手法も多く報告されている.

Imamura et al.[9] は BERT を翻訳モデルの Encoder として利用することで, 特に学習データが少ない言語対の翻訳時に翻訳性能が向上することを示した [9]. 本稿では基本となる翻訳モデルにこの Imamura et al. が提案したモデルとほぼ同一のものを用いる.

Clinchant et al.[10] は事前学習モデルを Encoder と して用いることで，単純に BLEU スコアなどの翻訳性能が向上するだけでなく, 学習データと異なるド メインの文章の翻訳性能を向上する効果があるこ

図 2 翻訳モデルの概要

とを示した。また，Zhu et al.[11] は学習データのみ から学習した Encoder と事前学習モデルを Attention Mechanism を用いて組み合わせることにより翻訳性能の向上を実現した.

事前学習モデルは機械翻訳の性能向上に大きな効果が期待できるが，一方で扱うことができる語彙が 事前学習モデルの語彙に限定されるため，プレース ホルダーに置き換えた学習が難しい。

本稿では，事前学習モデルを用いて学習データの 少なさを補いつつ，プレースホルダーを用いた固有表現の置き換えと同様の後処理を可能とすること で，翻訳性能の向上とともに，ニュースで現れる新語や専門用語への対応を可能とすることを目指す.

## 3 翻訳手法

提案手法は，ベースとなる翻訳モデルによる機械翻訳と，翻訳結果の事後置き換えの 2 つのブロック からなる。以下でそれぞれについて説明する。

## 3.1 ベースとなる翻訳モデル

Transformer を用いた Encoder-Decoder モデル [12] をべースとし, Encoder 部に事前学習モデルを用い たものを利用する. 図 2 に翻訳モデルの構成を示 す. 入力日本語 $S=\left.\{s_{1}, s_{2}, \ldots s_{n_{s}}\right.\}$ を事前学習モデ ルからなる Encoderに入力し, 各単語に対応する ベクトル表現 $H=\left.\{h_{s_{1}}, h_{s_{2}}, \ldots h_{s_{n_{s}}}\right.\}$ を得る.このと き， $n_{s}$ は $S$ の Token 数を表す. Decoderには，最初 は文頭を表す記号（図中の $B O S$ ) と, Encoder から の $H$ を大力し, 一単語ずつ次の単語を予想するよう にして翻訳終了を表す記号（図中の EOS）が出力さ れるまで翻訳する。

## 3.2 翻訳結果の事後置き換え

3.1 節で述べた翻訳モデルを用いて，対象とする 入力言語側の固有表現が翻訳結果のどの単語に翻訳 されたかのスコアを計算する。翻訳結果から，この スコアが最大となる部分を辞書などにより置き換え ることで，翻訳結果の事後置き換えを実現する。

入力文 $S$ 中の $n$ から $n^{\prime}$ 番目の単語からなる $S_{n}^{n^{\prime}}$ が置き換えたいフレーズであるとする。この $S_{n}^{n^{\prime}}$ を Encoder に入力した場合に，翻訳結果 $T$ 中の $m$ から $m^{\prime}$ 番目までの単語からなるフレーズ $T_{m}^{m^{\prime}}$ に 翻訳される尤度 $p\left(T_{m}^{m^{\prime}} \mid S_{n}^{n^{\prime}}\right)$ を翻訳モデルから求め る. 具体的には, $T_{m}^{m^{\prime}}$ 中の単語 $t_{\tilde{m}}$ が出力される尤度 $p\left(t_{\tilde{m}} \mid T_{m}^{\tilde{m}-1}, S_{n}^{n^{\prime}}\right)$ は, Encoderに $S_{n}^{n^{\prime}}$ を, Decoder に BOS と $T_{m}^{\tilde{m}-1}$ を入力したときに単語 $t_{\tilde{m}}$ が出力される 尤度として計算ができる. $T_{m}^{m^{\prime}}$ の各単語と翻訳終了 をあらわす EOS が出力される尤度を算出し, 相乗平均を取ったものを部分翻訳尤度 $p\left(T_{m}^{m^{\prime}} \mid S_{n}^{n^{\prime}}\right)$ とする。

$
\begin{aligned}
& p\left(T_{m}^{m^{\prime}} \mid S_{n}^{n^{\prime}}\right)= \\
& \left(\left(\prod_{k=m}^{m^{\prime}} p\left(t_{k} \mid T_{m}^{k-1}, S_{n}^{n^{\prime}}\right) \times p\left(\mathrm{EOS} \mid T_{m}^{m^{\prime}}, S_{n}^{n^{\prime}}\right)\right)^{\frac{1}{m^{\prime}-m+2}}\right.
\end{aligned}
$

この部分翻訳尤度を用いて，翻訳元の文中の $S_{n}^{n^{\prime}}$ が翻訳結果中の $T_{m}^{m^{\prime}}$ に翻訳された確度を表す $\operatorname{score}\left(T_{m}^{m^{\prime}} \mid S_{n}^{n^{\prime}}\right)$ を以下のようにする.

$
\operatorname{score}\left(T_{m}^{m^{\prime}} \mid S_{n}^{n^{\prime}}\right)=p\left(T_{m}^{m^{\prime}} \mid S_{n}^{n^{\prime}}\right)-\bar{p}\left(T_{m}^{m^{\prime}} \mid S_{n}^{n^{\prime}}\right)
$

ここで， $\bar{p}\left(T_{m}^{m^{\prime}} \mid S_{n}^{n^{\prime}}\right)$ は，入力文 $S$ から $S_{n}^{n^{\prime}}$ を除去し たものを Encoder に入力した場合に，翻訳結果 $T$ の $T_{m}^{m^{\prime}}$ を除去した部分が出力される部分翻訳尤度を表 し，これも翻訳モデルから算出する。

入力 $S_{n}^{n^{\prime}}$ に対して $\operatorname{score}\left(T_{m}^{m^{\prime}} \mid S_{n}^{n^{\prime}}\right)$ が最大となる $m, m^{\prime}$ について, $S_{n}^{n^{\prime}}$ が $T_{m}^{m^{\prime}}$ に翻訳されたものもある とみなし，翻訳結果 $T$ 中の $T_{m}^{m^{\prime}}$ を辞書により置き換 える。

## 4 実験条件

## 4.1 手話ニュースコーパス

評価実験には，NHKで作成している手話ニュース コーパスを用いた. 手話ニュースコーパスは NHK で放送している「手話ニュース」を 2009 年 4 月か ら収集したもので，番組の日本語音声の書き起こし と, 手話映像, 手話映像の書き起こしを約 160,000 文対が含まれている. 手話映像の書き起こしは, 手表 1 手話ニュースコーパスの例.

日本語気象庁は周囲の状況を確認し，できるかぎり 安全を確保するよう呼びかけています。

$\mathrm{N}$, 天気, 庁, p t 3, 宣伝, N, みんな,

手話状態, 調べる, $\mathrm{N}$, できる, だけ, すべて,落ち着く 1 , 守る 1 , 頼む 1 ，頭を下げる]，宣伝, p t 3, N

話ニュース中の手話映像を基に，ろう者や CoDA ${ }^{11)}$ により単語ごとに書き起こしている。書き起こしの 例を表 1 に示す. 表中の手話書き起こしは，カンマ 区切りで手話単語列を表記している。 $\mathrm{N}$ はうなずき を，pt 3 は指差しをそれぞれ表し， [頭を下げる] は $\mathrm{NMMs}^{2}$ )を表す。また，「落ち着く1」などの単語末尾に付与された数字は，同じ意味を持つ複数の手話単語の分別用に付したもので，「新日本語-手話辞典」[13]に準拠している.

今回はこの中から固有表現（地名，組織名，人名）が含まれる 69,776 文を実験に用い，学習データ が 66,776 文，開発データが 2,000 文，評価データが 1,000 文となるようにランダムに分割した. 事前に 文中に出現する固有表現を人手により抽出し，日本語-手話の間での固有表現の表現の対応付けをした.

## 4.2 実験設定

翻訳モデルなどの実装には Pytorch[14] と Transformers[15] を用いた. 提案手法の Encoder に 用いる事前学習モデルには rinna 株式会社が公開 している japanese-roberta-base[16]を，Decoderには 6 層の Transformer Decoder を用いた. モデルの最適化には RAdam[17] を用い，Decoder 部の学習率を $1.0 \times 10^{-3}$, 事前学習モデルを用いた Encoder 部の学習率を $2.0 \times 10^{-5}$ とした。学習エポック数を最大 20 として開発データの BLEU 值が最大となるモデルを 評価に用いた。学習はそれぞれのモデルについてラ ンダムシードを変えて 3 回行い，その中で最高の性能となるモデルを用いて評価した. デコード時には Beam 幅 10 の Beam Searchを用いた。

手話の語彙は，学習データ中に 3 回以上出現する 全単語からなる 8,767 とした. これに含まれない単語は，学習時点で OOV に変換して学習した。

手話ではうなずきや指差しなど，機能語として用 いられ固有名詞には出現しない単語がある.今回の 実験では，固有名詞の事後置き換えの際に，これら
聴者でかつ第一言語が手話の人のことを指す。

2） Non-Manual Markers: 手指以外を用いて意味を表現する動作.

の機能語が先頭や末尾につくフレーズは日本語の固有名詞と対応付けないルール処理を加えた。

手話では固有表現の表現摇れが大きい，今回は表現摇れによる影響を排除するために，固有表現の置 き換え辞書には，事前に対象となる評価用の文対ご とに人手で日本語-手話の間での固有表現の対応付 けをしたものを用いた。

## 4.3 ベースライン手法

事前学習モデルを用いない No Pre-train，プレー スホルダーを用いる Placeholders の 2 種類の翻訳 モデルをベースラインとして性能を比較する。な お，提案手法の事前学習を用いる翻訳モデルは以下 では With Pre-train と表記する. No Pre-train と With Pre-train では 3.2 節で述べた固有名詞の事後置き換 えをした場合，しない場合の 2 パターンについてそ れぞれ性能を比較する。

No Pre-train 事前学習モデルを使わず，学習デー タのみから翻訳モデルを学習する。翻訳モデルには 6 層の Transformerを用いた. 学習率は最適な結果が 得られた $5.0 \times 10^{-4}$ とした。

Placeholders No Pre-train と同様のモデルを用 い，学習時に固有表現を人名，地名，組織名それぞ れ異なるプレースホルダーに置き換えて学習する。 デコード時には固有表現をプレースホルダーに置き 換えて翻訳した上で，翻訳結果のプレースホルダー を事後処理で置き換える。このモデルのみ，最適化 には予備実験で最適な性能を得た AdamW[19] を用 い，学習率を $3.0 \times 10^{-4}$ とした.

## 5 実験結果

## 5.1 翻訳性能の評価

表 2 に実験結果を示す. 提案手法 (With Pre-train,固有表現置き換え後) が全体で最もよい性能を示し た.これは，事前学習モデルを用いた翻訳性能の向上と固有名詞の事後置き換えの両方の利点が活用で きたためと考えられる.

No Pre-train と with Pre-train を比較すると，事前学習モデルの使用と固有表現の置き換えの使用により それぞれ翻訳性能が向上したことがわかる。また， Placeholders とその他の手法の比較により, 特別に プレースホルダーを用意しなくても，翻訳モデルか ら得られる翻訳尤度を用いた置き換えで十分に固有表現の置き換えが可能であることが示された.

 &  \\

## 5.2 固有表現の日本語-手話対応付け

3.2 節で述べた固有表現の対応付けの性能評価を 行った. 提案手法で得られた対応付けが正解データ と完全一致した場合を正解とした場合の正解率は $71.7 \%$ (正解: 1,029 , 誤り: 407) であった. 誤りで最 も多かったのが，手話で固有名詞の直後につける固有表現の種類を表す単語を出力に含める誤りであっ た. 例えば日本語の「宮崎」は，手話では「宮（神社)」「先」という $2 \supset の$ 手話単語で表現するが，こ のあとに人名か地名かを区別するために，地名であ れば「場所」，人名であれば「彼」「彼女」という単語を後ろにつけて表現する場合がある。この，「場所」や「彼」「彼女」を固有名詞に含めて出力してし まう誤りである.この種類の誤りが 88 回発生した. ついで多かったものが，「周辺」や一帯をあらわす 「みんな」など，地名と組み合わせて範囲を表現す る単語を固有表現の一部として出力する場合であっ た.これは 59 回発生した. これらはパターン化可能なため, ルール等で対応が可能である.

これ以外の誤りも含め, 誤りの多くは 1 単語の過不足によるもので，翻訳結果に大きく影響するほど の誤りは少なかった。

## 6 おわりに

本稿では日本語から手話単語列に翻訳する機械翻訳手法について述べた. 翻訳モデルの Encoder に事前学習モデルを用い，また，プレースホルダーを使 わずに事後的に固有表現を置き換える翻訳手法を提案した. 提案手法はベースライン手法と比較して良好な翻訳性能が得られることを確認した。

今後の課題として, 今回の実験では固有表現に対 する手話の表現摇れの影響を排除するために，評価 データの文対ごとにそのデータから作成した誤りの ない辞書を使用したが，これを一般に使える辞書に 変更した場合の性能を確認する必要がある。また,翻訳性能にも直結する翻訳元と翻訳結果の間での固有名詞の対応付け部分について，専用のモデルを用意するなど，性能向上を図りたい.

## 参考文献

[1] 総務省. 放送分野における情報アクセシビリティに 関する指針, 2018.

[2] Tsubasa Uchida, Taro Miyazaki, Makiko Azuma, Shuichi Umeda, Naoto Kato, Hideki Sumiyoshi, Yuko Yamanouchi, and Nobuyuki Hiruma. Sign language support system for viewing sports programs. In Proceedings of the 19th International ACM SIGACCESS Conference on Computers and Accessibility, pp. 339-340, 2017.

[3] Makiko Azuma, Nobuyuki Hiruma, Hideki Sumiyoshi, Tsubasa Uchida, Taro Miyazaki, Shuichi Umeda, Naoto Kato, and Yuko Yamanouchi. Development and evaluation of system for automatically generating sign-language cg animation using meteorological information. In International Conference on Computers Helping People with Special Needs, pp. 233-238. Springer, 2018.

[4] Thang Luong, Ilya Sutskever, Quoc Le, Oriol Vinyals, and Wojciech Zaremba. Addressing the rare word problem in neural machine translation. In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 11-19, Beijing, China, July 2015. Association for Computational Linguistics.

[5] Soichiro Murakami, Makoto Morishita, Tsutomu Hirao, and Masaaki Nagata. NTT's machine translation systems for WMT19 robustness task. In Proceedings of the Fourth Conference on Machine Translation (Volume 2: Shared Task Papers, Day 1), pp. 544-551, Florence, Italy, August 2019. Association for Computational Linguistics.

[6] Bosheng Ding, Junjie Hu, Lidong Bing, Mahani Aljunied, Shafiq Joty, Luo Si, and Chunyan Miao. GlobalWoZ: Globalizing MultiWoZ to develop multilingual task-oriented dialogue systems. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1639-1657, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[7] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[8] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach. arXiv preprint arXiv:1907.11692, 2019.

[9] Kenji Imamura and Eiichiro Sumita. Recycling a pretrained BERT encoder for neural machine translation. In Proceedings of the 3rd Workshop on Neural Generation and Translation, pp. 23-31, Hong Kong, November
2019. Association for Computational Linguistics.

[10] Stephane Clinchant, Kweon Woo Jung, and Vassilina Nikoulina. On the use of BERT for neural machine translation. In Proceedings of the 3rd Workshop on Neural Generation and Translation, pp. 108-117, Hong Kong, November 2019. Association for Computational Linguistics.

[11] Jinhua Zhu, Yingce Xia, Lijun Wu, Di He, Tao Qin, Wengang Zhou, Houqiang Li, and Tieyan Liu. Incorporating bert into neural machine translation. In International Conference on Learning Representations, 2020.

[12] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. Advances in neural information processing systems, Vol. 30, , 2017.

[13] 日本手話研究所 (編) 米川明彦（監修）. 新日本語手話辞典. 全日本䆍唖連盟出版局, 2006.

[14] Adam Paszke, Sam Gross, Francisco Massa, Adam Lerer, James Bradbury, Gregory Chanan, Trevor Killeen, Zeming Lin, Natalia Gimelshein, Luca Antiga, Alban Desmaison, Andreas Kopf, Edward Yang, Zachary DeVito, Martin Raison, Alykhan Tejani, Sasank Chilamkurthy, Benoit Steiner, Lu Fang, Junjie Bai, and Soumith Chintala. Pytorch: An imperative style, high-performance deep learning library. In H. Wallach, H. Larochelle, A. Beygelzimer, F. d'AlchéBuc, E. Fox, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 32. Curran Associates, Inc., 2019.

[15] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Rémi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander M. Rush. Transformers: State-of-the-art natural language processing. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 38-45, Online, October 2020. Association for Computational Linguistics.

[16] 趙天雨, 沢田慶. 日本語自然言語処理における事前学習モデルの公開. 人工知能学会研究会資料 言語・音声理解と対話処理研究会, Vol. 93, pp. 169-170, 2021.

[17] Liyuan Liu, Haoming Jiang, Pengcheng He, Weizhu Chen, Xiaodong Liu, Jianfeng Gao, and Jiawei Han. On the variance of the adaptive learning rate and beyond. In International Conference on Learning Representations, 2019.

[18] Taku Kudo and John Richardson. Sentencepiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. arXiv preprint arXiv:1808.06226, 2018.

[19] Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization. In International Conference on Learning Representations, 2019.


# 会議議事録を対象とした議論構造解析と議題生成による 議会レポートの自動生成

大杉了斗 ${ }^{1}$ 秋葉友良 ${ }^{1}$ 増山繁 ${ }^{2}$
1 豊橋技術科学大学 2 東京理科大学
ohsugi.ryoto.dv@tut.jp, akiba@cs.tut.ac.jp masuyama@rs.tus.ac.jp

## 概要

国や地方議会議会での質疑応答は議事録に記録さ れ, 市民はこの議事録を読むことでどのような対策 を行っているか知ることができる.しかし, 議会は特殊な形式で進行するため, 議事録は非常に長く読み づらい. 対策案として, 東京都議会は議事録を分かり やすく構造化した「ネットリポート1)」を人手によ り作成し, 公開している. そこで本研究では, 「ネッ トリポート」を自動作成するシステムの構築を目的 とする. システム実現のための課題を「議論構造解析」と「議題生成」に分け，それぞれ手法を提案する。

## 1 はじめに

国や地方議会が解決すべき政治的課題は議会の質疑応答を通じて議論され, 発言は議事録に記録され る. 図 1 の上に, 本研究の対象でもある東京都議会会議録の例を示す. 市民は議事録を通じて議論内容を 把握し, 課題に対する意見や対策を知ることができ る.しかし, 東京都議会を含む多くの議会は, 議員が まとめて回答をし, 知事や局長が担当の質問に答弁 を行う「一括質問・一括答弁」と呼ばれる特殊な形式が取られている. そのため, 質問や答弁に区切りが ないため長く読みづらく, 対応する答弁がどこにあ るか探すのも困難であり, 市民が議事録を読むこと は難しい. このような問題に対処するため, 東京都議会では「ネットリポート」を公開している. 図 1 の 下にデータ例を示す. ネットリポートでは, 議事録が 「一問一答」形式に編集されている. また, いくつか の質問答弁ペアをまとめて見出し（本研究では議題 と呼ぶ）を付けることで, 議論内容の把握を容易に している.一方でネットリポートは議会職員により 人手作成されているため, 公開には手間や時間がか かるという問題が存在する。議事録

○福祉保健局健康危機管理担当局長(仿藤智秀君) 三点のこ質問におお答え

すが、.

次に、医澺機閲における竐虑、梌查体制についてでありますが、

} \\

図 1 議事録とネットリポート

そこで本研究では,「ネットリポート」の自動作成するシステムの構築を目的とする。「ネットリ ポート」の自動作成システムを実現するために, 本研究では大きく 2 つ課題を設定する. 1 つ目の課題は「議論構造解析」と呼び, 議会議事録の構造で ある「一括質問・一括答弁」形式から，「一問一答」形式に自動変換することを課題とする. 2 つ目の課題は「議題生成」と呼び, 議論構造解析で得た質問答弁ペアに対して, 対応する議題を生成することを 課題とする. 議論構造解析と議題生成についてそれ ぞれ手法を提案し, 評価実験で有効性を確認する. 最後に付録 A では 2 つの提案手法を組み合わせたシス テムを構築し, 議事録から「ネットリポート」を自動生成できることを示す.

## 2 関連研究

## 2.1 議論構造解析の関連研究

テキストを分析・構造化するために, 様々なアプ ローチが提案されている. その内の 1 つは, 文間での 論理構造を見つける修辞構造理論（RST）[1] を用 いる方法である. 林ら (2015) は, 修辞構造理論に基 づいて談話構造木を導出することで, 談話構造を分析した [2]. 本研究との違いは, 単に文同士を比較す る構造化ではなく, 異なる話者のまとまった発話文 （質問答弁ペア）の対応関係を見つける.

## 2.2 議題生成の関連研究

要約テキストを生成する研究は広く行われている が, 特にキーフレーズ抽出・生成が挙げられる.この 研究の目的は, 文書を要約するような複数の短いフ レーズ表現（キーフレーズ）を抽出, または生成する ことである. キーフレーズ抽出では, 抽出したキーフ レーズ TopicRank[3] や AttentionRank [4] などを用い て順位付けする.キーフレーズ生成では, seq2seq モ デル [5][6]を用いてキーフレーズを生成する. 本研究との違いは, 複数の質問答弁に対応する 1 つの議題を生成することである. キーフレーズ研究では複数の短い単語の集合で文書を表すのに対し, 議題は 1つのフレーズで質問答弁を表現する必要がある.

## 3 提案手法

提案手法に基づく「ネットリポート」の自動作成 プロセスを図 2 に示す. 3.1 では議論構造化 (1)(2) に ついて, 3.2 では議題生成 (4)(5) について提案手法を紹介する。

## 3.1 議論構造解析

議論構造解析における目的は，「一括質問・一括答弁」形式の議事録を「一問一答」形式へ変換する ことである.これは, NTCIR-16 QALab-PoliInfo-3 にお ける QA Alignment タスク [7] と同様の問題設定であ る. 提案手法は,「セグメンテーション」(図2(1)）と，「アライメント」（図2(2)）の2 段階に分けられる.

## 3.1.1 セグメンテーション

セグメンテーションでは, 質問と答弁の境界を見 つけ,テキストを分割する。議会における議論は形式化されている. 例えば, 議員は質問を「〜について見解を伺います.」と終えることが多い.このような特徵に着目し, 特定語句にマッチする付録 B の表 5 の ような正規表現を作成した. 質問と回答側で異なる 正規表現ルールを用いて, 質問の場合はマッチした 文の後ろに, 答弁の場合はマッチした文の前に境界 を挿入する. 境界に挟まれたテキストはセグメント と呼び，一つの質問と答弁として扱う.またセグメン テーションエラーに対するヒューリスティックな処理として,連続した境界は削除する。

## 3.1.2 アライメント

アライメントでは, 質問と答弁の対応付けを行い 「一問一答」を導出する.まず,Okapi BM25[8] を用い てセグメントをべクトルに変換する. 次に, ベクトル 間のマッチングを行う. 質問と回答のぺアは必ず一対一となるため, ベクトル間のコサイン類似度を最大にする完全マッチング問題として解く.この問題 を効率的に解くハンガリアン・アルゴリズム [9] が 知られており, 提案手法でもこのアルゴリズムを適用する. またセグメンテーションエラーにより,セグ メント数が質問と答弁で一致しないことがあるた め, その場合はダミーのセグメントを追加して双方 の数を合わせることで対応する.

## 3.2 議題生成

ネットリポートにおける議題は, 複数の質問答弁 に対してまとめて付けられている.なぜなら,議員は 質問を細分化して複数回に渡って質問するからであ る. したがって, 議題生成における問題設定において も同様に, 複数の質問答弁を与えて 1 つの議題を生成することを目的とする. 質問答弁をどの程度まと

図 2 自動作成システムの処理の流れの概要

めて議題を付けるかについては,ネットリポートの 編集者に委ねられる.この処理は図 2 における (3) グ ループ分けとして示されている. グループ分けの明確な正解は存在しないため, この部分は手動で行い 本研究の対象外とする.

3.1 議論構造解析で得た複数の質問答弁から, 議題を生成する. 提案手法では, seq2seq モデルである Transformer[10] を用いて議題を学習・予測する. 複数の質問答弁を入力する都合上, 入力が長くなりテ キストの一部が切り捨てられてしまう場合が存在す る.このような問題に対処するため, 提案手法では議題候補を抽出する（図 2(4)）. 議題候補を得るため に, 回答の先頭文から付録 B の表 6 に示す正規表現 で範囲を選択して取り出す. 抽出した議題候補は特殊トークンで区切って全て結合し, 生成モデルを通 じて1つの議題を得る（図 2(5)）.また与えられた 質問答弁が 1 つの場合, 提案手法は生成モデルを用 いずに候補議題を予測としてそのまま出力する． 1 つの質問答弁に対しては, 生成した抽象的な議題よ りも, 発話から取り出した抽出的な議題候補が適し ているという考えに基づいている。

## 4 評価実験・分析

## 4.1 議論構造解析

## 4.1.1 比較手法

主にアライメントの提案手法の有効性を検証する ため, 比較手法を実装する. 加えて, アライメントの 上限值として Oracle も実装する。

w/o BM25 類似度計算に BM25 ゙゙クトルのコサイン 類似度を用いない比較手法. 代わりに $\mathrm{N}$-gram 集合の一致数を類似度として用いる. 予備実験で最も性能が高かった Tri-gram を採用する.

w/o Hungarian 質問答弁の割り当てにハンガリア ン・アルゴリズムを用いない比較手法. 代わり に類似度が最大となるように貪欲に割り当てを 行う手法を実装する. また,この手法は一対多ま たは多対一の質問答弁を許す。

Oracle 類似度計算の際に正解の一問一答ペアを参照する. セグメント同士で正解と同じ文ペアが 含まれているほど, 類似度が高くなるように算出する.

## 4.1.2 実験設定

データセットと評価方法は, QA Alignment タスク [7] に従う. データセットは 2019～2020 年度のネッ トリポートである. 具体的な評価方法は, 予測が正解 と同じ一問一答ぺアになっているかどうか文単位で カウントし, Precision, Recall, F1 を計算する. 実装に おいて, BM25を適用するためのテキスト分割とし て MeCab[11]を用いた。

## 4.1.3 実験結果と分析

評価結果を表 1 に示す. まず提案手法は, 既存の検索手法やアルゴリズムを組み合わせたシンプルな手法にも関わらず, F1 は約 8 割以上を達成した. 比較手法である w/o BM25 は, 提案手法と比べやや F 1 が 低下した. BM25 は他のセグメントも考慮する点が 性能改善につながったと考えられる. w/o Hungarian は, 提案手法と比べ F 1 が大きく低下した. 実際の結果では, 一部のセグメントに偏って割り当てられる ケースが多く観察された. 質問と答弁は一対一の関係であるという制約下でアルゴリズムを適用するこ とで, 高い精度で効率的に対応付けを見つけること ができる. Oracle の結果から, アライメントの上限値
表 1 議論構造解析における評価結果

は約 9 割であることがわかる.このことから,アライ メントの性能を改善するよりも, セグメンテーショ ンの性能に関して改善の余地があると言える.

## 4.2 議題生成

## 4.2.1 比較手法

議題生成における提案手法の有効性を比較するた め, 以下の比較手法を実装する。

w/o Transformer Transformerを用いない手法. 代わ りに抽出した議題候補を予測としてそのまま出力する. 候補が複数ある場合は, 最初に抽出され た議題候補を選ぶ.

w/o 候補入力 Transformerに候補を入力しない手法.代わりに質問答弁の発話テキストをそのまま Transformer に入力し, 学習と予測を行う. 複数 の質問答弁は特殊トークンで区切って結合し， モデルに入りきらない長い入力は切り捨てら れる。

w/o 候補出力 提案手法では与えられた質問答弁が 一つの場合に候補議題を直接予測として出力し ているが,これを行わない手法. 与えられた質問答弁の数に関わらず, 全てのサンプルに対して 議題を生成する。

## 4.2.2 実験設定

データセット作成のため, 公開されている 13 年分の東京都議会ネットレポートを収集した. データ セットの統計を表 2 に示す. 表において, $\mathrm{n}$ はサン プル数, avg.src は質問答弁の平均単語数, avg.tgt は議題の平均単語数, avg.qa は与えられる質問答弁の平均数を表す. 評価指標として, 単語 ROUGE-1,2,L[12]表 3 議題生成における評価結果

ROUGE-1 ROUGE-2 ROUGE-L

表 4 出力例

## 新型コロナ対策

質問 1 次に、新型コロナ対策です。岸田政権‥

答弁 1 次に、新型コロナウイルス感染症対策 $\cdots$

質問 2 都の説明では、都内で一日当たり最大 $\cdots$

答弁 2 まず、検査件数でございますが、一日…

の F1 平均値を用いる. 実装として, 学習フレーム ワークとして fairseq[13] を,トークナイザとして $\mathrm{MeCab}[11]$ を用いる.

## 4.2.3 実験結果と分析

評価結果を表 3 に示す. まず提案手法は, ROUGE-1 で 0.362 を達成した. 性能評価に関する前提として,議題のような短いフレーズの制限下で正解単語を完全に予測することは難しく, 全体的に性能は低下す る. 他の性能低下の要因としては, 単なる生成ミスの 他, 議題の長さの不一致, そもそも間違った議題候補 が入力されることなどが挙げられる. 比較手法であ る w/o Transformer は, 提案手法と比べ ROUGE が大 きく低下した. これは議題候補を出力する抽出手法 に比べ, 抽象手法である Transformer による生成が有効であることを示している. w/o 候補入力は, ROUGE がやや低下した. 発話すべてを入力に用いることは，長い入力は壳長で切り捨てられる短所がある一方 で, 発話に含まれる情報量が多く候補抽出によるミ スもない長所もあるため, 性能差が小さくなったと 考えられる. w/o 候補出力は, ROUGE が低下した. 1 つの質問答弁に対しては, 生成した議題よりも抽出 した議題候補が適していることを示している.

## 5 おわりに

本研究では，「ネットリポート」の自動作成シス テムの構築を目的とし, 議論構造解析ではシンプル で有効的な手法を, 議題生成では議題候補と生成モ デルを組み合わせる手法を提案した. 最後に, 各提案手法を組み合わせたシステムの出力例を表 4 に一部示し, 詳細は付録 Aに示す.

## 参考文献

[1] WILLIAM C. MANN and SANDRA A. THOMPSON. Rhetorical structure theory: Toward a functional theory of text organization. Text - Interdisciplinary Journal for the Study of Discourse, Vol. 8, No. 3, pp. 243-281, 1988.

[2] 林克彦, 平尾努, 吉田康久, 永田昌明. 修辞構造木 ら自動変換した談話依存構造木の性質について. Proceedings of the Twenty-first Annual Meeting of the Association for Natural Language Processing, 2015.

[3] Adrien Bougouin, Florian Boudin, and Béatrice Daille. TopicRank: Graph-based topic ranking for keyphrase extraction. In Proceedings of the Sixth International Joint Conference on Natural Language Processing, pp. 543551, Nagoya, Japan, October 2013. Asian Federation of Natural Language Processing.

[4] Haoran Ding and Xiao Luo. AttentionRank: Unsupervised keyphrase extraction using self and cross attentions. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 1919-1928, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[5] Rui Meng, Sanqiang Zhao, Shuguang Han, Daqing He, Peter Brusilovsky, and Yu Chi. Deep keyphrase generation. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 582-592, Vancouver, Canada, July 2017. Association for Computational Linguistics.

[6] Xingdi Yuan, Tong Wang, Rui Meng, Khushboo Thaker, Peter Brusilovsky, Daqing He, and Adam Trischler. One size does not fit all: Generating and evaluating variable number of keyphrases. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7961-7975, Online, July 2020. Association for Computational Linguistics.

[7] Yasutomo Kimura, Hideyuki Shibuki, Hokuto Ototake, Yuzu Uchida, Keiichi Takamaru, Madoka Ishioroshi, Masaharu Yoshioka, Tomoyoshi Akiba, Yasuhiro Ogawa, Minoru Sasaki, Kenichi Yokote, Kazuma Kadowaki, Tatsunori Mori, Kenji Araki, Teruko Mitamura, and Satoshi Sekine. Overview of the ntcir-16 qa lab-poliinfo-3 task. Proceedings of The 16th NTCIR Conference, 62022.

[8] Stephen Robertson, S. Walker, S. Jones, M. M. HancockBeaulieu, and M. Gatford. Okapi at trec-3. In Overview of the Third Text REtrieval Conference (TREC-3), pp. 109126. Gaithersburg, MD: NIST, January 1995.

[9] H. W. Kuhn and Bryn Yaw. The hungarian method for the assignment problem. Naval Res. Logist. Quart, pp. 83-97, 1955.

[10] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. Von Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc., 2017.

[11] T. KUDO. Mecab : Yet another part-of-speech and morphological analyzer. http://mecab.sourceforge.net/,
2005.

[12] Chin-Yew Lin. ROUGE: A package for automatic evaluation of summaries. In Text Summarization Branches Out, pp. 74-81, Barcelona, Spain, July 2004. Association for Computational Linguistics.

[13] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A fast, extensible toolkit for sequence modeling. In Proceedings of NAACL-HLT 2019: Demonstrations, 2019.

## A システム構築

「議題構造分析」と「議題生成」における提案手法 を組み合わせ,ネットリポートの自動作成システム を構築する. 図 3 に, システムが実際に出力したデー タの例を示す. 提案手法の結果を HTML+CSS 形式 で出力することで, 閲覧者にわかりやすく提示でき るようにした. 実際のネットリポートと同様に, 出力結果は一問一答で, 議題がつけられたデータを出力 できていることが分かる. 対応するネットリポート は脚注 URL に示す 2$).$

## B 使用した正規表現

表 5 と表 6 に, 実際に用いた正規表現を示す.

表 5 セグメンテーションのための正規表現 (お)?(伺い尋ね)(を)?(いた)?し?(させて いただき)?(ます|たい)|(見解|答弁|所見 |課題認識|考え(説明) をお?(求め|伺い 聞かせ|尋ね)|(お)?(答え聞かせ)(て|を)?

質問 くださいありがとうございましたい かがですか|どうですがでありませ んかるものです|(どのように|どう)(考 えて(認識して取り組む)のですが でしょうか

(お)?答え (を)?(いた)?(|し申し上げ)ま す初めに, 次(いで|に|は), |まず, 他方 で, |最後に, 続きまして, 沉ついて (で す|であります|でございます)|の (お話

答弁 |お尋ね)(がございました|でございま す)|(の|に関する)(ご)?質問で (ござい ま)?す|(質問|指摘|言及|お尋ね)が?ござ いました|(質問(指摘)を?いただきまし た

表 6 候補抽出のための正規表現

開始 た, |他方で, |^最後に, ^続きまして, |^ それから, ^^さらに,|^いわゆる,

終了 に(ついてやき関する引?答え)|[^に

## 令和四年東京都議会会議録第二号 (2022/2/22)

## 八十二番 (米倉春奈君)

質問 八十二番 (米倉春宗君) 都の説明では、都内で一日当たり最大十三万件の検査を行えるは ずです。ところが、一日当たりの検直数は、一月第四週の約六万件をピークに減少し、二月第二週 は約五万件にすぎません。都のモニタリング会議は、無症状や軽症で検査未実施の感染者が多数型在している状況が危惧されると繰り返し指摘しています。知事、検目数が少な過ぎると思いません か。検㚗能力を十分活用できていない原因を明らかにし、必要な方か迅速に検査を受けられるよう することを求めます。いかがですか。

答弁 福祉保健局健康危機管理担当局長（佐藤智秀君） まず、検査件数でございますが、一日当 たりの最大検直実績は、行政検相四万七千件、都の独自検査一万六千件、PCR等検査無料化事業一万二千件、合わせて七万五千件でございます。また、このほか、今般の感染急拡大に伴う措置とし て、無症状の㴵厚接触者に対し、受診前に自宅で行う検査キットを一日最大四万件配布していると ころでございます。

## 一兵問答并 3 検査体制

一質問答弁4 高龄者施設等における検査

図 3 システムの出力結果


# 表の段階的な縮小による biography 生成

金子知弘船越孝太郎奥村学
東京工業大学
\{kaneko, funakoshi, oku\}@lr.pi.titech.ac.jp

## 概要

本研究では，人物情報に関する表から説明文を生成する biography 生成における壳長性の改善と網羅性の向上に取り組む。一般に生成モデルでは, 繰り 返しなどの冗長な出力を行う問題があり, biography 生成に打いても表内の項目を複数回記述して兄長 な出力を行ってしまうことがある. 本研究では， biography 生成における冗長な生成を制御する方法 の 1 つとして，表中から記述済みの項目を削除し，表を段階的に縮小する手法を提案する。実験では， SynthBio データセットを用い，自動評価において冗長性の改善，網羅性の向上を確認した.

## 1 はじめに

自然言語処理分野では，表 [1] やグラフ [2]な ど，構造化されたデータからのテキスト生成が重要な課題として位置付けられている。その中で Table-to-text タスク [3,4] は, 図 1 亿示すように, 表 を入力し，表の内容を自然言語で記述するタスクで ある. 生成されたテキストにより，表内の情報の関連性を理解しやすくなる利点がある. 本研究では, その中でも，ある人物に関する情報をまとめた表を 対象に biographyを生成するタスクに取り組む。

一般に生成モデルでは, 繰り返しなどの冗長な出力を行う問題があり, biography 生成においても表内 の項目を複数回記述して冗長な出力を行うことがあ る. 例えば，高い生成性能を持つ事前学習済みモデ ル T5 [5]を Wikiperson データセット [6] で追加学習 しSynthBio データセット [7] で評価すると, 図 1 の ように，表内のセルが生成文で複数回記述され（赤色）㔯長な生成が起きている. さらに，㔯長な生成 により，記述されないセルが発生する（青色）.

本研究は,このような内容記述の壳長性を減らす とともに網羅性を上げることを目的とし，表内から 記述済みのセルを削除し，表を段階的に縮小する手法を提案する.この手法ではまずどのセルが記述さ

Sylvia Audrey Mabika is a Zimbabwean poet and novelist. Sylvia
Audrey Mabika was born in Harare, Zimbabwe Zimbabwe. Sylvia
Audrey Mabika was born in Harare, Zimbabwe Zimbabwe to a
Zimbabwean mother and a Zimbabwean mother. Sylvia Audrey
Mabika's first novel The Reluctant Muse was published in 2007. Sylvia
Audrey Mabika's first novel The Reluctant Muse was published at Yale
University. mabika's first novel The Reluctant Muse was published in
English.

図 1 Table-to-text タスクの表と生成文の例. 表内の赤色 のセルは，生成文の赤色の単語列で複数回記述されてい る. 一方，表内の青色のセルが記述されていない.

れたかを判定し，その後記述されたと判定されたセ ルはクロスアテンションにおいてマスクを行う。こ れにより，人物情報に関する，より理解しやすい表 の内容記述を生成することができる。

近年，人間のアノテータが介入したSynthBio デー タセットが提案され，biography 生成汐けるモデ ル性能をより適切纪評価できるようになった。そこ で, 本研究でも SynthBio データセットを用いて評価 を行い，自動評価においで兄長性の改善と網羅性の 向上を確認した。

## 2 関連研究

人物情報の表から biographyを生成するタス ク $[8,9]$ は, 文生成を目的とした WikiBio データセッ ト [1] とテキスト生成を目的とした Wikiperson デー

図 2 提案手法の流れ. 色付きの文字は，記述されたと判定されたセルとそのセルに該当する出力文の単語列を表す.

タセットで研究されてきた。例えば，Liu ら [10]の 入力にエンティティ情報を結合した学習方法, Wang ら [9] の表とテキストの類似性を制約に加算した生成フレームワーク, Tian ら [11] のデータからスコア を学習する変分ベイズ学習フレームワークなどがあ る. Wang ら [8] は, 忠実度と網羅性の向上を目的と した 2 段階モデルを提案し，従来の最先端モデルの スコアを凌駕した.このモデルは，1 段階目で生成 すべき単語を抽出し，2 段階目でその抽出した単語 を元に，単語の削除と挿入を繰り返し行うことでテ キスト生成を行っている. しかし，この手法ではモ ジュールが多くモデルが複雑化している.

## 3 提案手法

本節では， biography 生成における冗長な生成 を制御する手法として，記述された表内のセル を削除し，表を段階的に縮小する手法を説明す る.まず biography 生成では，表 $T$ を入力とし，説明文 $Y=\left.\{y_{1}, y_{2}, \cdots, y_{m}\right.\}$ を生成する. 表 $T$ は $T=\left.\{c_{1}, c_{2}, \cdots, c_{n}\right.\}$ のようにセル $c_{i}$ の集合として形式化され，セル $c_{i}$ は $c_{i}=\left.\langle k_{i}, v_{i}\right.\rangle$ のようにキー値 $k_{i}$ とバリュー值 $v_{i}$ のペアで構成される. ただし，表 $T$ をモデルに入力するときは，表の構造をモデルが 理解しやすくするため，バリュー値の前後に 2 つ の特別なトークン $<\mathrm{SP} 1>\cdot<\mathrm{SP} 2>$ を挿入する. 例え ば, <birth date, 10 April 1912>は, birth date <SP1> 10 April $1912<$ SP2>とモデルに入力する.

具体的な提案手法の流れを図 2 に示す.まず，表 から 1 文目が生成されたら, 表内のどのセルが記述 されたかの判定を行う（図 2 (1). 次に，記述された と判定されたセルは表から削除する（図2 (2)）そし
て，縮小された表を元に 2 文目を生成し，再び 2 文目において表内のどのセルが記述されたかを判定し (図 2 (1) ), 記述されたと判定されたセルは表から削除する (図 2 (2)').この一連の流れを，表内のセル がなくなるまで繰り返し行うことで，㔯長性を減ら すと共に網羅性を上げる.

## 3.1 どのセルが記述されたかの判定

学習時，デコーダにどのセルが記述されたかを表 すへッドを構築することで判定を行う. 具体的な ヘッド構築の流れを図 3 に示す. まず，エンコーダ の隠れ状態からセル表現を構築する（図 3 (1)）。次 に, 出力文の各トークンからセル表現へのアテン ションスコア（図 3 (2) を計算する。をして，事前 に作成した教師データ（図 3 (3) ) とアテンションス コアからクロスエントロピー損失を計算する. 最後 に，クロスエントロピー損失を言語モデルの学習損失に加算する.

推論時は，構築したヘッドのアテンションスコア を元に，どのセルが記述されたかの判定を行う. 具体的には，生成したトークンからあるセル表現への アテンションスコアが，事前に設定した間値を上回った場合，そのセルは「記述された」と判定する.

セル表現の構築エンコーダの隠れ状態からセル 表現をまず構築する.しかし，セルに含まれる全て のトークンの隠れ状態からセル表現を構築すると， セル同士でテキストが異なるため，隠れ状態の次元数も異なる. その結果，セル同士でセル表現の次元数も異なってしまう．そこで，モデル入力において 各セルに付加した特別なトークン ( $<\mathrm{SP} 1>,<\mathrm{SP} 2>)$ の隠れ状態を結合したものをセル表現として利用す

図 3 どのセルが記述されたかを表すへッドの構築の流れ. (1)は，セルの隠れ状態からセル表現を構築する手順. 例え ば，＜birth date,10 April 1912> はセル表現 $\mathrm{CR}_{\text {birth date }}$ となる. (2)は，出力文の各トークンから各セル表現へのアテンション スコア (青色).(3は，出力文の各トークンから各セル表現への教師データ（緑色）. 例えば，出力文の 10 April 1912 とい うトークン列は，<birth date,10 April 1912> のセル表現 $\mathrm{CR}_{\text {birth date }}$ への教師データが 1 で，それ以外は 0 である.

る. 具体的には，セル $c_{i}$ に対してのセル表現 $\mathrm{CR}_{i}$ は，

$
\mathrm{CR}_{i}=\operatorname{concat}\left(h_{\mathrm{SP}_{i}}, h_{\mathrm{SP}_{i}}\right)
$

となる.ここで, $h_{\mathrm{SP}_{1}}$ と $h_{\mathrm{SP}_{i}}$ はそれぞれセル $c_{i}$ の 特別なトークン $<\mathrm{SP} 1>と<\mathrm{SP} 2>$ の隠れ状態である.

アテンションスコアの計算 Transformer モデ ル [12] の出力文のトークンから入力文のトークンへ のアテンションスコアの計算方法と同様に，出力文 のトークン $y_{j}$ からセル表現 $\mathrm{CR}_{i}$ へのアテンション スコア $A_{i, j}$ を計算する.

$
A_{i, j}=\operatorname{softmax}\left(K_{\mathrm{CR}_{i}} Q_{j}\right)
$

ここで， $K_{\mathrm{CR}_{i}}$ と $Q_{j}$ は

$
\begin{aligned}
K_{\mathrm{CR}_{i}} & =W_{\mathrm{CR}} \times \mathrm{CR}_{i} \\
Q_{j} & =W_{y} \times y_{j}
\end{aligned}
$

であり， $W_{\mathrm{CR}}$ と $W_{y}$ は学習可能な重み行列である.

クロスエントロピー損失の計算 出力文のトー クン $y_{j}$ からセル表現 $\mathrm{CR}_{i}$ へのアテンションスコア $A_{i, j}$ と教師データ $L^{n \times m}$ からクロスエントロピー損失を計算する.

$
\operatorname{loss}_{\mathrm{attn}}=\frac{1}{m} \sum_{1 \leq j \leq m} \frac{1}{n} \sum_{1 \leq i \leq n} L_{i, j} \log A_{i, j}
$

ここで，教師データ $L$ は

$
\begin{array}{ll}
L_{i, p: q}=1, L_{l(\neq i), p: q}=0 & \left(y_{p: q}={ }^{\exists} v_{i}\right), \\
L_{l, p: q}=\frac{1}{n} & \left(y_{p: q} \neq{ }^{\forall} v_{i}\right)
\end{array}
$

である. 式(6) は，あるセル $c_{i}$ のバリュー值 $v_{i}$ と出力文の単語列 $y_{p: q}$ が完全一致1) するとき, 出力文の

1）同じ表内で包含関係にあるバリュー値を持つ複数のセルが 存在する場合（例えば，セル<birth place，Columbia> とセル <university, Columbia University> がある場合), 出力文と最長で完全一致しているセルを優先する.単語列 $y_{p: q}$ からセル表現 $\mathrm{CR}_{i}$ への教師データは 1 であり，それ以外のセル表現 $\mathrm{CR}_{l(\neq i)}$ への教師デー タは 0 であることを意味する。式 (7) は，出力文の トークン列 $y_{p: q}$ が全てのセルのバリュー值と完全一致しないとき2), 出力文の単語列 $y_{p: q}$ から全てのセ ル表現への教師データは $\frac{1}{n}$ であることを意味する.

言語モデルの学習損失への加算 計算したクロス エントロピー損失 $\operatorname{loss}_{a t t n}$ を言語モデルの学習損失 $\operatorname{loss}_{\mathrm{LM}}$ に加算する.

$
\text { loss }=\operatorname{loss}_{\mathrm{LM}}+\operatorname{loss}_{\mathrm{attn}}
$

どのセルが記述されたかの判定を行う手法を説明してきたが，この手法では，生成文に対してどの セルも記述されていないと判定する場合がある. そ のような場合には，記述されたと未だ判定されてい ないセルの中で，生成文の各トークンからのアテン ションスコアが最大のセルをまずリストアップし, その中で最大のアテンションスコアであるセルを記述されたと判定する。

## 3.2 表内のセルの削除

表内のセルの削除は，Transformer モデル [12] の クロスアテンションをマスクすることで仮想的に 行う．クロスアテンションとは，文生成時に入力の どこに注目するかを表す機構なので，クロスアテン ションをマスクするということは，入力の表の特定 のセルに注目させず記述させないことを意味する。

一般に biography 生成用のデータセットでは，表 1 に示すように，セルが参照文で 2 回以上言及される

2）これは, 出力文の単語列 $y_{p: q}$ がどのセルも記述していな いことを意味し, 文章構成上必要な単語列などについてのも のである
表 1 Wikiperson でセルが参照文で言及される回数.

表 2 Wikiperson と SynthBio の統計量.

ことがある．このように参照文で 2 回以上言及され るセルは冗長であると考え，学習時はセルが最後に 言及された時点でマスクし，推論時は 1 回目に記述 された時点でマスクする。

## 4 実験

## 4.1 実験設定

学習データには Wikiperson データセット，検証・評価データには Wikiperson データセットと SynthBio データセットを用いた. これらのデータセットの統計量を表 2 に示す.

自動評価では，PARENT [13] と PARENT-T [9]を 評価指標として用いた. PARENT は，表と参照文の 両方との, n-gram 単位での生成文の一致度を測る。 PARENT-T は，表のみを考慮した n-gram 単位での生成文の一致度を測る。テキスト長は, SentencePiece 3)を用いて文字列をトークン化し，トークン単位で 生成テキストの長さを測ったものである.

先行研究 [8] は SynthBio データセットで評価して おらず，また， Wikiperson データセットでは T5 モ デル [5] が先行研究 [8] よりも PARENT F1 が良いた め, ベースラインとしては, T5 モデルと, 繰り返し 抑制の既存研究である, repetition penalty [14] を T5 上に実装したモデル（rep. penalty モデル）を用い た. 提案モデルも $\mathrm{T} 5$ 上で構築する.

より具体的には, 本研究の実装には Huggingface [15] を用いた. モデルは T5-small を使用し， ヘッド数は 8 , 層数は 6 である. 初期学習率は $5 \mathrm{e}-05$ で, Adam optimizer [16] $\left(\beta_{1}=0.9, \beta_{2}=0.999\right)$ により パラメータを最適化した. 学習は最大 60 エポック 行い，最も検証データに対する損失の低いモデルを 選択した。最大テキスト長は 512 で，語彙サイズは 32,103 である．学習バッチサイズは 64 である．検

表 3 自動評価結果 (Wikiperson).

表 4 自動評価結果（SynthBio）.

$\frac{\text { PARENT }}{\text { Pre. Rec. F1 }} \frac{\text { PARENT-T }}{\text { Pre. Rec. F1 } \text { テキスト長 }}$

証・評価時のビームサイズは 4 とした.

セルが記述されたと判定する閾値は，検証データ でチューニングした結果， 0.50 とした. また，ベー スラインモデルの repetition penalty 値は，検証デー タでチューニングした結果， 1.90 とした.

## 4.2 実験結果

Wikiperson による評価結果を表 3 に，Synthbio に よる評価結果を表 4 に示す. Wikiperson による評価において，提案モデルはベースラインモデルよ りも，PARENT F1，PARENT-T F1 が低い，提案モデ ルは推論時，セルが 1 回目で記述されたらマス クするため，1つのセルは 1 回のみ記述される. Wikiperson は表 1 に示すように，セルの約 $18.0 \%$ が 2 回以上言及されるため, Wikiperson において提案手法の有効性が示せなかったと考えられる。

それに対して，SynthBioによる評価において，提案モデルの PARENT F1, PARENT-T F1 ともにベース ラインモデルよりも高い. 提案モデルはベースライ ンモデルと比較してテキスト長が短くなっており， しかも評価指標の F1 が向上していることから，㔯長性が減った上で網羅性が向上したことがわかる.

## 5 結論

本研究では，冗長性の改善と網羅性の向上を目的 として，記述された表内のセルを削除し，表を段階的に削除する手法を提案した. 評価実験の結果，提案モデルは PARENT, PARENT-T F1 ともにベースラ インモデルを上回った. 特に，提案モデルはベース ラインモデルと比較してテキスト長が短くなってお り, 評価指標の F1 が向上したことから, 穴長性が 改善した上で網羅性が向上したと言える.

## 謝辞

本研究を実施するにあたり，産業技術総合研究所人工知能研究センター 高村大也氏, 奈良先端科学技術大学院大学 上垣外英剛准教授, 東京工業大学 小林尚輝氏に大変お世話になりました. 深く感謝申し 上げます.

## 参考文献

[1] Rémi Lebret, David Grangier, and Michael Auli. Neural text generation from structured data with application to the biography domain. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pages 1203-1213, Austin, Texas, November 2016. Association for Computational Linguistics.

[2] Soichiro Murakami, Akihiko Watanabe, Akira Miyazawa, Keiichi Goshima, Toshihiko Yanase, Hiroya Takamura, and Yusuke Miyao. Learning to generate market comments from stock prices. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 1374-1384, Vancouver, Canada, July 2017. Association for Computational Linguistics.

[3] Jekaterina Novikova, Ondřej Dušek, and Verena Rieser. The E2E dataset: New challenges for end-to-end generation. In Proceedings of the 18th Annual SIGdial Meeting on Discourse and Dialogue, pages 201-206, Saarbrücken, Germany, August 2017. Association for Computational Linguistics.

[4] Lya Hulliyyatus Suadaa, Hidetaka Kamigaito, Kotaro Funakoshi, Manabu Okumura, and Hiroya Takamura. Towards table-to-text generation with numerical reasoning. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pages 14511465, Online, August 2021. Association for Computational Linguistics.

[5] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. Journal of Machine Learning Research, 21(140):1-67, 2020.

[6] Qingyun Wang, Xiaoman Pan, Lifu Huang, Boliang Zhang, Zhiying Jiang, Heng Ji, and Kevin Knight. Describing a knowledge base. In Proceedings of the 11th International Conference on Natural Language Generation, pages 10-21, Tilburg University, The Netherlands, November 2018. Association for Computational Linguistics.

[7] Ann Yuan, Daphne Ippolito, Vitaly Nikolaev, Chris Callison-Burch, Andy Coenen, and Sebastian Gehrmann. Synthbio: A case study in faster curation of text datasets. In Thirty-fifth Conference on Neural Information Processing Systems Datasets and Benchmarks Track (Round 2), 2021.
[8] Peng Wang, Junyang Lin, An Yang, Chang Zhou, Yichang Zhang, Jingren Zhou, and Hongxia Yang. Sketch and refine: Towards faithful and informative table-to-text generation. In Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021, pages 48314843, Online, August 2021. Association for Computational Linguistics.

[9] Zhenyi Wang, Xiaoyang Wang, Bang An, Dong Yu, and Changyou Chen. Towards faithful neural table-to-text generation with content-matching constraints. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pages 1072-1086, Online, July 2020. Association for Computational Linguistics.

[10] Tianyu Liu, Xin Zheng, Baobao Chang, and Zhifang Sui. Towards faithfulness in open domain table-to-text generation from an entity-centric view. Proceedings of the AAAI Conference on Artificial Intelligence, 35(15):13415-13423, May 2021.

[11] Ran Tian, Shashi Narayan, Thibault Sellam, and Ankur P. Parikh. Sticking to the facts: Confident decoding for faithful data-to-text generation. CoRR, abs/1910.08684, 2019.

[12] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, L ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. Von Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, volume 30. Curran Associates, Inc., 2017.

[13] Bhuwan Dhingra, Manaal Faruqui, Ankur Parikh, MingWei Chang, Dipanjan Das, and William Cohen. Handling divergent reference texts when evaluating table-to-text generation. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pages 4884-4895, Florence, Italy, July 2019. Association for Computational Linguistics.

[14] Nitish Shirish Keskar, Bryan McCann, Lav R. Varshney, Caiming Xiong, and Richard Socher. CTRL: A conditional transformer language model for controllable generation. CoRR, abs/1909.05858, 2019.

[15] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Rémi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander M. Rush. Transformers: State-of-the-art natural language processing. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pages 38-45, Online, October 2020. Association for Computational Linguistics.

[16] Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In Yoshua Bengio and Yann LeCun, editors, 3rd International Conference on Learning Representations, ICLR 2015, San Diego, CA, USA, May 7-9, 2015, Conference Track Proceedings, 2015.


# Language Understanding with Non-Autoregressive BERT-to-BERT Autoencoder

Mohammad Golam Sohrab $^{1}$ Matīss Rikters $^{1}$ Makoto Miwa $^{1,2}$
${ }^{1}$ Artificial Intelligence Research Center (AIRC)
National Institute of Advanced Industrial Science and Technology
${ }^{2}$ Toyota Technological Institute, Japan
\{sohrab.mohammad, matiss.rikters\}@aist.go.jp
makoto-miwadtoyota-ti.ac.jp
}

\begin{abstract}
We propose a fast and scalable non-autoregressive S2S model that is flexible enough to employ the widely successful BERT as the backbone for the encoder and the decoder. In this paper, we pre-train BERT models using the nonautoregressive approach, which we call non-autoregressive BERT-to-BERT (NAR-B2B). We evaluate the NAR-B2B model using the standard GLUE tasks for natural language understanding. Experimental results show that the pre-training strategy is effective for BERT and the nonautoregressive approach enables fast training and decoding.
\end{abstract
## 1 Introduction

Pre-trained language models (PLMs) have been widely successful across many natural language processing (NLP) tasks. Especially, the Bidirectional Encoder Representations from Transformers (BERT) model [1] has received widespread attention due to its ability to infer contextualised word representations. With this ability, BERT can help obtain superior performance in downstream tasks by leveraging simple fine-tuning. Recently, pre-training sequence-to-sequence (S2S) models such as BERT2BERT [2], BART [3], T5 [4], and Optimus [5] have been introduced. They are applied to various tasks in NLP since they are well suited to problems such as summarisation and question answering. These models employ transformer-based bidirectional models, such as BERT, as an encoder and use as a decoder powerful auto-regressive models like GPT-2 [6], which generate tokens in a left-toright manner. Among these models, Optimus is based on variational autoencoders (VAE) $[7,8]$, which can be considered the first large-scale pre-trained deep latent variable model and proven useful for non-autoregressive modeling [9].

These models, however, have several limitations. First, the models need many computational resources to decode, especially for longer texts. For instance, Optimus limited their inputs to the length of 64, and it also limited the training data. Second, some models use different architectures for their encoders and decoders. For example, Optimus is based on BERT and GPT-2. Such inconsistency in models results in different tokenisation between input and output.

To tackle these limitations, we aim at building a largescale non-autoregressive pre-trained S2S model using the BERT as the backbone for both encoder and decoder models. The non-autoregressive modelling allows fast decoding and the use of longer texts. Unlike the Optimus and BART models, our model does not rely on autoregressive GPT-2-like models. The input and output tokenisation become consistent by using the same BERT architecture.

In this paper, as the first step towards the above modelling, we propose to pre-train the BERT models using the non-autoregressive sequence-to-sequence model, which we call non-autoregressive BERT-to-BERT, or NAR-B2B. We train the entire non-autoregressive S2S model with an autoencoding objective, which is inspired by BERT. To investigate better autoencoding, we compare autoencoder (AE) and variational autoencoder (VAE) models in the S2S modelling following Optimus. We evaluate the performance of the pre-trained NAR-B2B models to confirm that the BERT models can be trained via S2S modelling. We also evaluate and compare the pre-trained NAR-B2B

Figure 1 The NAR-B2B architecture (inspired by Optimus). The dotted line illustrates the ground truth words (GTW) setting where the decoder receives GTW as input.

models in the encoder and decoder. Experimental results show the effectiveness of our modelling in both speed and performance. First, we could pre-train the NAR-B2B models with more training data and less training time using the S2S model. Second, our pre-trained NAR-B2B models in both encoder and decoder perform better than the Optimusencoder-based BERT and the original BERT model.

## 2 Pre-training NAR-B2B

To pre-train non-autoregressive BERT-to-BERT (NARB2B) models using the S2S modelling, we train the $\{\phi, \delta\}$ parameters, which corresponds to the parameters of the BERT encoder and the non-autoregressive (NAR) BERT decoder using an autoencoding objective, i.e., AE or VAE. The architecture of the proposed model is illustrated in Figure 1.

## 2.1 Model Architecture

The model architecture of NAR-B2B is composed of a multi-layer Transformer-based encoder and decoder, in which the embedding layer and the stack of transformer layers are initialised with BERT [1]. To leverage the expressiveness power of existing pre-trained BERT models, we initialise our BERT encoder BERT ${ }_{\phi}$ and BERT decoder $\mathrm{BERT}_{\delta}$ with the pre-trained BERT parameters. Here, we denote the number of layers (i.e., Transformer blocks) as $\mathrm{L}$, the hidden size as $\mathrm{H}$, and the number of self-attention heads as A. Specifically, in this paper, we employ bert-basecased ( $\mathrm{L}=12, \mathrm{H}=768, \mathrm{~A}=12$, Total Parameters=110M) for both encoder and decoder models.

Input Sequence Following the BERT setup, we first append a [CLS] and a [SEP] token on both sides of the source sentence. Then, inspired by the input format representation [10], we merge sentences for faster training and flexibility in dealing with longer sequences. Specifically, we merge multiple sentences with a special token [SEP] to ensure that the source sequence length is not longer than the BERT default maximum sequence length, which is 512 .

Figure 2 Beta ( $\beta$ ) Annealing

BERT Encoder Our NAR-B2B model first feeds the input sequence $\boldsymbol{X}=\boldsymbol{x}_{[C L S]}, \boldsymbol{x}_{1}, \ldots, \boldsymbol{x}_{n}$ to the $\mathrm{BERT}_{\phi} \mathrm{em}$ bedding layer. In BERT, the first token of every sentence is a special classification token ( [CLS ] ). The last layer's hidden state $\boldsymbol{h}_{[C L S]} \in \mathbb{R}^{H}$ corresponding to this token is used as the sentence-level representation. It further constructs the latent representation $z=\boldsymbol{W}_{E} \boldsymbol{h}_{[C L S]}$ where $z \in \mathbb{R}^{P}$ is a $P$-dimensional vector and $\boldsymbol{W}_{E} \in \mathbb{R}^{P \times H}$ is the weight matrix.

Building Decoder Input The latent embedding $\mathbf{z}$ is added to the [PAD] and positional embeddings to construct the decoder's input sequence $X^{D}$. In addition to this PAD setting, we tried to use the input sequence of the encoder to construct the input as shown as the dotted line in Figure $1^{1)}$. Under this setting, the decoder receives the encoder's ground truth words (GTW) as input. The embedding representation $\boldsymbol{x}_{i}^{D}$ of the $i$-th token of the decoder's input sequence is calculated as $\boldsymbol{x}_{i}+\mathbf{W}_{D} \mathbf{z}$. To facilitate $\mathbf{z}$ in BERT decoding, we add the latent vector $\mathbf{z}$ to all inputs of the intermediate layers in the decoder.

Non-autoregressive BERT Decoding Our nonautoregressive BERT decoder $\mathrm{BERT}_{\delta}$ receives the input $\boldsymbol{X}^{D}$ and generates the original sequence in a nonautoregressive manner (all tokens simultaneously).

## 2.2 Training

To train NAR-B2B, we employ AE and VAE objectives. AE To train NAR-B2B with the AE objective, the model entirely focuses on maximizing the mutual information (MI) $[5,11]$ to recover a sentence from the latent space.

VAE The VAE objective consists of two terms, (a) reconstruction and (b) Kullback-Leibler (KL) regularization, balanced by a weighting hyper-parameter $\beta$. When training with the KL regularization, the KL tends to vanish [11, 5]. [11] proposed a cyclical annealing schedule (CAS), which

1) Since our target is the pre-training of BERT, we tried to use the encoder's input sequence in the decoder.
repeats the annealing process of beta multiple times by showing that the KL vanishing is caused by the lack of good latent codes in the training decoder at the beginning of optimization. To train NAR-B2B with the VAE objectives, we progressively improve latent representation $\mathbf{z}$ by adapting a CAS [11], where $\beta$ is repeatedly annealed from 0 to 1 . We split the training iterations into ten cycles, starting with $\beta=0$ and ending with $\beta=1$. Within each cycle, there are three consecutive stages: training $\mathrm{AE}(\beta=0)$ for 0.5 proportion, annealing $\beta$ from 0 to 1 for 0.25 proportion, and fixing $\beta=1$ for 0.25 proportion (as illustrated in Figure 2).

## 3 Experiments

The pre-training procedure follows existing literature on PLM pre-training. Following BERT, we use BookCorpus $^{2}$ [12] and English Wikipedia ${ }^{3}$ ) to pre-train our NARB2B model. (details in Appendix B).

Table 1 shows the performance comparison of our NARB2B model with BERT [1] and Optimus [5]. The NARB2B model yields higher performance than the BERT and Optimus models. BERT and Optimus (VAE) are considered baseline models, and their scores are taken from the Optimus [5] literature. In this table, the scores in the bold text indicate the best performance of a certain task in GLUE datasets. The results of the pre-trained encoder model of NAR-B2B using the AE objectives (NAR-B2B (AE) + Encoder) show that the model performs higher than the baseline models on five tasks. The pre-trained decoder model of NAR-B2B using the AE objectives (NAR-B2B (AE) + GTW + Decoder) outperforms the baseline models on all tasks except QQP. Since our NAR-B2B (AE) + GTW + Decoder models outperform the NAR-B2B (AE) + Encoder model, we evaluate the pre-trained decoder model of NAR-B2B with the VAE objectives (NAR-B2B (VAE) + Decoder model) and report the results in Table 1, where the model outperforms the baseline models.

Table 2 shows the performance of the NAR-B2B decoder using the AE, full-VAE, VAE with GTW, and VAE with PAD on a sample dataset ( $10 \%$ from $207 \mathrm{M}$ data). For the full-VAE model, we annealed $\beta$ from 0.25 to 1 to let the model always learn only in VAE objectives. During $\beta$

annealing, we follow the same proportion as the cyclical schedule in VAE stated in Section 2.2. This table shows the effectiveness of AE and VAE models with different settings over the baselines and full-VAE approaches, where VAE with PAD achieves the best score in terms of average in the four tasks of the GLUE tasks. Our NAR-B2B with AE and VAE achieve competitive scores as the original BERT, compared with the VAE with the PAD model. Our NAR-B2B model initialised with sample data perform comparable scores of Table 1.

Training large models on large-scale data sets is computationally challenging. In Optimus [5], computational efficiency is missing to train the model. Therefore, in our earlier attempt, we train the Optimus using 32M sentences that needs around $20 \mathrm{~K}$ iterations using a sequence length of 64 for 46 hours. In contrast to training the NAR-B2B model, it needs around $27 \mathrm{~K}$ iterations using a sequence length of 512 using $207 \mathrm{M}$ sentences for 39 hours. Our model can learn around seven times larger data than Optimus with lower cost while improving performance (details in Appendix A). Experimental results based on GLUE tasks with different objectives of NAR-B2B have demonstrated strong performance of NAR-B2B models. Besides, NAR-B2B can efficiently learn and decode the large-scale dataset by providing longer sequences. In future extensions, it would be interesting to investigate how effectively we can train our PLM in several hours without degrading the performance by adapting efficient transformers like Big Bird [13], where the maximum sequence length is 4096.

We report the performance of WNLI based on 634 examples of the GLUE dataset separately in Table 3 for readers' interest. The GLUE benchmark consists of nine datasets, but BERT [1] literature ignores the WNLI dataset because of its problematic nature, as they reported. The Optimus literature reports the Optimus performance that includes WNLI; meanwhile, Optimus reports the score along with the WNLI dataset by re-running the BERT model. The Optimus model performs lower than BERT but outperforms the BERT model while adding the WNLI score. In this table, our NAR-B2B model with ground truth words (GTW) as input to the decoder model outperforms the BERT and Optimus model ${ }^{4)}$. In contrast, our NAR-B2B model with PAD setting as decoder input outperforms the BERT model

4) In decoder input, the Optimus model follows the GTW setting, while PAD setting in Optimus is absent.

 &  &  &  &  &  &  &  & Avg. \\

Table 1 Comparison of BERT, Optimus, and NAR-B2B with the AE and VAE objectives on the validation set of GLUE. (+) denotes our models performance being higher than baseline models, (-) indicates our models performance being lower. PAD denotes the decoder receives the BERT special token [PAD] as its input, while GTW denotes the decoder receives the ground truth words as its input.

Table 2 Comparison of NAR-B2B model on a sample dataset (10\% from 207M sequences). NAR-B2B performances with the AE, full-VAE, VAE, and VAE with PAD objectives. Comparison is on the validation set of GLUE.

Table 3 Comparison of BERT, Optimus (VAE), and NAR-B2B with the WNLI dataset.

but exact score to the Optimus model.

## 4 Related Work

Pre-trained Language Models (PLMs) are neural networks trained on large-scale datasets that can be fine-tuned on problem-specific data. Some of the most popular have been GPT-2 [6], XLNet [14], and XLM [15]. They became widely adapted after BERT [1] reported SOTA results for 11 NLP tasks.

Li et al. [5] proposed the first large-scale language VAE model, Optimus. They connect a BERT encoder and a GPT-2 decoder using a universal latent embedding space. The model is first pre-trained on a large text corpus and then fine-tuned for various language generation and understanding tasks. It achieves SOTA on VAE language modelling benchmarks.

Rothe et al. [2] developed a Transformer-based sequence-to-sequence models by describing several combinations of model initialization that include BERT2BERT, a BERT-initialized encoder paired with a BERT-initialized autoregressive decoder. Our implementation and architecture of NAR-B2B is a non-autoregressive VAEbased model without cross-attention which differs from BERT2BERT.

The Cyclical Annealing Schedule [11] was proposed to mitigate the problem of KL regularisation vanishing. They increase the $\beta$ weighting hyper-parameter multiple times, which progressively enables learning of more meaningful latent codes by leveraging the results of previous learning cycles as a warm restart.

NAR models have been recently investigated in NLP tasks due to their efficiency. For example, Gu et al. [16] introduced a NAR model for machine translation (MT) based on the transformer [17]. This reduced latency by $90 \%$ and achieved competitive output quality with only a slight decrease in translation performance compared to similar-sized autoregressive (AR) models. Furthermore, Gu and Kong [9] further minimised the gap with AR models achieving SOTA performance on several MT benchmarks.

## 5 Conclusion

In this paper, we introduced a fast and scalable S2S model non-autoregressive BERT-to-BERT (NAR-B2B) that aims at building a large-scale NAR pre-trained S2S model using BERT as the backbone for both encoder and decoder models. To investigate better modelling, we compared AE and VAE models in the S2S modelling. We evaluated the NAR-B2B model's contribution over the nine language understanding tasks, and the results show that the NAR-B2B model with different settings consistently performs better in comparison to the original BERT and Optimus models. In future work, we plan to expand the experiments to more language combinations for MT and additional language generation tasks.

## Acknowledgement

This paper is based on results obtained from a project JPNP20006, commissioned by the New Energy and Industrial Technology Development Organization (NEDO).

## References

[1] Jacob Devlin, et al. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of NAACL, pp. 4171-4186, 2019.

[2] Sascha Rothe, et al. Leveraging pre-trained checkpoints for sequence generation tasks. TACL, Vol. 8, pp. 264280, 2020.

[3] Mike Lewis, et al. BART: Denoising sequence-tosequence pre-training for natural language generation, translation, and comprehension. In Proceedings of ACL, pp. 7871-7880. ACL, 2020.

[4] Colin Raffel, et al. Exploring the limits of transfer learning with a unified text-to-text transformer. JMLR, Vol. 21, pp. $1-67,2020$.

[5] Chunyuan Li, et al. Optimus: Organizing sentences via pre-trained modeling of a latent space. In Proceedings of EMNLP, pp. 4678-4699. ACL, 2020.

[6] Alec Radford, et al. Language models are unsupervised multitask learners. OpenAl blog, Vol. 1, No. 8, p. 9 , 2019.

[7] Diederik P. Kingma and Max Welling. Auto-encoding variational bayes. In ICLR, 2014.

[8] Danilo Jimenez Rezende, et al. Stochastic backpropagation and approximate inference in deep generative models. In ICML, pp. 1278-1286, 2014.

[9] Jiatao Gu and Xiang Kong. Fully non-autoregressive neural machine translation: Tricks of the trade. In Findings of ACL-IJCNLP 2021, pp. 120-133. ACL, 2021.

[10] Yinhan Liu, et al. Roberta: A robustly optimized bert pretraining approach. arXiv preprint, 2019.

[11] Hao Fu, et al. Cyclical annealing schedule: A simple approach to mitigating KL vanishing. In Proceedings of NAACL, pp. 240-250. ACL, 2019.

[12] Yukun Zhu, et al. Aligning books and movies: Towards story-like visual explanations by watching movies and reading books. In ICCV, 2015.

[13] Manzil Zaheer, et al. Big bird: Transformers for longer sequences. NeurIPS, Vol. 33, , 2020.

[14] Zhilin Yang, et al. Xlnet: Generalized autoregressive pretraining for language understanding. In NeurIPS, Vol. 32, pp. 5753-5763, 2019.

[15] Alexis Conneau and Guillaume Lample. Cross-lingual language model pretraining. In NeurIPS, Vol. 32, pp. 7059-7069, 2019.

[16] Jiatao Gu, et al. Non-autoregressive neural machine translation. In ICLR, 2018.

[17] Ashish Vaswani, et al. Attention is all you need. NIPS, Vol. 30, pp. 6000-6010, 2017.

[18] Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization. In ICLR, 2019.

[19] Alex Wang, et al. GLUE: A multi-task benchmark and analysis platform for natural language understanding. In Proceedings of the BlackboxNLP Workshop, pp. 353-355. ACL, 2018.

## A Computational Efficiency

Table 4 shows the computational efficiency of NAR-B2B in comparison to the Optimus model. We train the Optimus and NAR-B2B based on a single epoch. Optimus can use a larger batch size because of the shorter sequence length.

Table 4 Computational details

## B Experimental Settings

## B. 1 Pre-training

The BookCorpus data set is already processed into 86M sentences. We load Wikipedia with the version of 20200501.en from huggingface datasets and split the text from text field into sentences by detecting newlines that lead to $121 \mathrm{M}$ sentences. We ignore the title field in Wikipedia. To pre-train our NAR-B2B model, our model receives $207 \mathrm{M}$ sentences from combining BookCorpus and Wikipedia datasets. Using sentence merging described in Section 2.1, it further compresses the data from 207M into $16 \mathrm{M}$ longer sequences split into 100 files as the input to the BERT model.

The NAR-B2B model we trained had 12 layers in the encoder and decoder. We used a batch size of 600 and trained the model for 13,302 steps. We optimized our PLM models using AdamW [18] with the learning rate of 5e-5 for BERT-base-cased. We trained each language model with 200 GPUs (NVIDIA V100 for NVLink 16GiB) with a batch size of 600 . The maximum sequence length is set to 512 .

## B. 2 Language Understanding

We consider the GLUE benchmark [19], which consists of nine datasets for general language understanding. Following the fine-tuning setting in $[1,5]$, we use the learning rate $[2,3,4,5] \times 10^{-5}$ with different seeds and train the model for three epochs. We select the best performances among different runs. We employ Optimus evaluation script ${ }^{5)}$ for GLUE to report all the scores.