# JParaCrawl を用いた単文翻訳におけるドメイン適応

名村太一 ${ }^{1}$ 村上仁一 ${ }^{2}$
1 鳥取大学工学部電気情報系学科
2 鳥取大学工学部
${ }^{1}$ B19T2076C@edu.tottori-u.ac.jp
${ }^{2}$ murakami@tottori-u.ac.jp

## 概要

NMT において様々なドメイン適応 (domain adaptation) の手法が研究されている [1]. また，ドメ イン適応のためには大規模なコーパスが必要であ る.そこで大規模コーパスとして JParaCrawl[2] が 開発された。しかし，まだ人手の翻訳精度に及ば ない. 本研究ではファインチューニングに用いる コーパスが小さいことが原因だと考える。そこで JParaCrawl からテスト文に類似する対訳を抽出し， コーパスを拡張しファインチューニングを行う．実験の結果，対訳を追加しなかった場合と比較して， $\mathrm{BLEU}$ 值が 1.7 向上 $\mathrm{s}$ した.

## 1 はじめに

NMT においてドメイン適応についての様々な研究がされてきた [1]. また，ドメイン適応を行うた めには十分なコーパスが必要である。しかし，日英対訳コーパスにおいては一般的なドメインの大規模 コーパスが無かった. そこでウェブから大規模かつ 特定のドメインに特化しない日英対訳コーパスとし て JParaCrawl[2] が開発された. しかし，まだ人手の 翻訳精度に及ばない。

本研究ではファインチューニングに用いるコーパ スが小さいことが原因だと考える．そこで，ファイ ンチューニングに用いるコーパスを拡張することで 翻訳精度の向上を図る. まず，目的ドメインのテス ト文に類似する対訳を JParaCrawl から抽出する．次 に，抽出したコーパスと目的ドメインのコーパスを 合わせた新たなコーパスを作成する。そして新たな コーパスを用いて JParaCrawl の事前学習済みモデル のファインチューニングを行う.

また，目的ドメインのコーパスのみを用いて JParaCrawl の事前学習済みモデルをファインチュー ニングしたものを BaseLine とする. BaseLine と提案手法の比較を，BLEU 値による自動評価と人手に よる対比較評価で行う.

## 2 過去研究 \\ 2.1 JParaCrawl

NTTコミュニケーション科学基礎研究所によっ て作成された日英対訳コーパスである. 対訳文は約 2000 万文が用意されている.

## 2.2 ドメイン適応

ドメイン特有の言い回しや表現がある。そのため NMT において，汎用的なシステムよりそのドメイ ンに適応したシステムの方が翻訳精度が向上する [4]. ドメイン適応するために様々な手法が研究され ているが，コーパス中心とした適応 (data centric) と， モデル中心とした適応 (model centric) に大きく分け られる [1]. 本研究ではこれらを組み合わせてドメ イン適応を行う。

## 2.2.1 データ選択

データ選択 (data selection) とはコーパスによるド メイン適応の手法である [1]. 目的ドメインのコー パスに類似する文を他のコーパスから抽出し，コー パスを拡張する。様々なアルゴリズムが考案されて いるが [5], 本研究では TF-IDFを用いる.

## 2.2.2 ファインチューニング

ファインチューニング (fine-tuning) とはドメイン 適応の手法である [6][1]. 事前学習済みモデルを目的ドメインのコーパスを用いてパラメータを微調整することである.これによってモデルをドメイ ンに適応させる. 本研究では JParaCrawl のファイン チューニングの方法に従って行う.

## 3 提案手法

本研究では，以下の手順を提案する.

1. TF-IDF でテスト文に類似する対訳を JParaCrawl から抽出

2. 抽出した対訳を目的ドメインのコーパスに付け 加えて，新たなコーパスを作成

3. 新たなコーパスを用いて，JParaCrawl で学習さ れた事前学習済みモデルをファインチューニ ング

## 4 実験

## 4.1 実験データ

実験に用いるデータを表 1 に表す. 単文対訳コー パスとテスト文は電子辞書を中心に採取された単文 を用いる [7]. また，本実験では JParaCrawl の対訳の 内，Bicleanerの値を 0.7 以上の対訳のみを使用する.

表 1 実験データ

## 4.2 実験設定

FAIRSEQ[8] を用いて実験を行う. 学習のパラメー 夕は [2] に従って, 同様の設定で行う. そのため, 事前学習済みモデルから 2,000 ステップの学習を行 うことでファインチューニングを行う．また，前処理には sentencepiece[9] を用いて，語彙数 32,000 と し， unigram 単位で分割する。

## 4.3 実験手順

1. TF-IDF でテスト文に類似する文を JParaCrawl から抽出する

2. 単文対訳コーパスと抽出した文を合わせたコー パスを用いて，JParaCrawl で学習された事前学習済みモデルをファインチューニングする

3. テスト文の翻訳を行い，評価を行う

抽出する量を，テスト文 1 文に対して類似した上位 10 文を Proposed として実験を行う。

評価には SacreBLEU[10] を用いて, BLEU[11]を 計算する. また，人手による対比較評価も行う.

## 4.4 BaseLine

本実験では，BaseLine を単文対訳コーパスのみを 用いて事前学習済みモデルをファインチューニング した結果とする.

## 5 実験結果 \\ 5.1 自動評価

表 2 に BLEU 値の評価結果を示す。

表 2 提案手法と BaseLine の BLEU 值

表 2 より, BLEU 値において Proposed は BaseLine より向上することが確認できた.

## 5.2 人手評価

人手評価は同研究室の学生 4 名に行ってもらっ た. そしてその平均値を人手評価とする。

Proposed と BaseLine の対比較評価を行う. テスト 文の中からランダム 100 文に対して，Proposed の方 が良い，BaseLine の方が良い，ほとんど差がないの 3 つの分類で対比較評価を行った. その結果を表 3 に示す.

表 3 Proposed と BaseLine の対比較評価

その結果，BaseLineの方が良いが 16.8\%に対して， Proposed の方が良いが $28.5 \%$ で上回った. 人手評価 でも Proposed が BaseLine を上回る結果になった.

## 5.3 出力例

## 5.3.1 Proposed の良い例

BaseLine の翻訳結果と比較して Proposed の方が良 い文を，追加された文とともに表 4 に示す.

表 4 より, BaseLine では「知床」が翻訳されな かったのに対して，Proposedでは「知床」が含まれ る文が追加されることによって，正しく翻訳される ようになった.

## 5.3.2 Proposed が悪かった例

BaseLine の翻訳結果と比較して Proposed の方が悪 かった翻訳と，追加された文を表 5 に示す。

「葬られた」の翻訳は「hushed up」が正しいが,「葬られた」と「buried」を含む対訳を学習したため，間違った翻訳をしたと考えられる。
表 4 Proposedの良い翻訳例と，追加された文

 \\

表 5 Proposed の悪い翻訳例と，追加された文

類似文 1 日本語文 遺体は後に，裸にされて傷つけられ た状態で発見され,ブロードフット の遺体とともにラグマーニーにあ
る私の兄の要塞の近くに葬られた。

類似文 1 英語文 The body was afterwards found, naked and mutilated, and, with Broadfoot's, maunee.

## 6 考察

## 6.1 抽出するデータ量を変更

## 6.1.1 自動評価結果

この節では JParaCrawl から抽出するデータ量を変更する. Proposed ではテスト文 1 文に対して類似す る上位 10 文を抽出していた.ここではテスト文 1 文 に対して類似する上位 1 文と 100 文としたものを top1と top100として実験を行う.

表 6 より，top1 では BaseLine より BLEU 值が向上した. Proposed の方が top1 と比べて BLEU 值が高 かった. また， top100では BaseLine より BLEU 值が 低下した.

## 6.1.2 Proposed と top1 の違いの例

top1 の結果から BaseLine よりも BLEU 值が高い ため, Proposed と比較したものを表 7 に示す.

表 7 top1, Proposed, BaseLine の翻訳を比較

 \\

## この結果では, BaseLine より top1 の方がよくなっ た. しかし, JParaCrawl より抽出する量を増やした Proposed はかえって悪くなった. この原因として， top1 には無かったが Proposed には含まれていた類似文が影響したと考える.

## 6.2 ランダムに追加

この節では JParaCrawl からランダムに抽出した 対訳を追加し，学習を行う。それぞれ 1 万，10万， 100 万の対訳を抽出し, 追加したコーパスで学習を 行った. その結果を表 8 に示す.

表 8 BaseLine と randomに 1 万，10万，100万を追加し て学習した BLEU 值

random 100,000が最も BLEU 值が高い結果だった. しかし，類似文を追加した Proposed の方が BLEU 值 が向上した.

## 6.3 抽出した対訳のみでファインチューニ ング

この節では単文対訳コーパスを使用せずに， JParaCrawl より抽出したコーパスのみでファイン チューニングを行う．抽出する量をテスト文 1 文 に対して 1 文， 10 文，100 文とし，それぞれ JPara top1，JPara top10，JPara top100とする. その結果を 表 9 に示す.

表 9 より, 全ての結果で BaseLine を下回ったが，類似する文を増やすと BLEU 値が向上した。一方表
表 9 JParaCrawl からテスト文に類似する文を抽出した コーパスのみでファインチューニングを行ったモデルの BLEU 值

6 では，top100において，コーパスを大きくしすぎ ると BLEU 值が低下した. しかし，この実験では BLEU 值が向上した.

## 6.4 JParaCrawl+単文対訳コーパスから 抽出

テスト文により類似したコーパスでファイン チューニングを行えば翻訳精度が向上すると考 える。そのため，この節では単文対訳コーパスと JParaCrawl を合わせたコーパスからテスト文に類似 する文を抽出する. 抽出する量は，テスト文 1 文に 対して 1 文， 10 文， 100 文とし，それぞれを JPara+単文 top1，JPara+単文 top10，JPara+単文 top100 とす る. その結果を表 10 に示す.

表 10 単文対訳コーパス+JParaCrawl からテスト文に類似する文を抽出したコーパスでファインチューニングを 行ったモデルの BLEU 值

表 10 より，全ての結果で BaseLine を下回ったが，類似する文を増やすと BLEU 值が向上した．また，表 9 と比較して全体的に BLEU 値が向上した.

この結果より，テスト文に類似していることより 一定量の単文対訳コーパスが重要であると考える.単文対訳コーパスは単文の短い文で構成されてい る. それに対して JParaCrawl の多くは長い文で構成 される.この違いにより表 2 の結果が最も良かった と考える。

## 6.5 Google 翻訳との比較

Google 翻訳との比較を行う. 表 11 で Google 翻訳 と BLEU 値で比較する。 また, 表 12 に, Proposed と Google 翻訳の対比較評価の結果を示す.表 11 Google 翻訳と BLEU 值で比較

表 12 Proposed と Google 翻訳の対比較評価

表 13，14 に Google 翻訳と Proposed の例を示す.

表 13 Proposed と Google 翻訳を比較して, Proposed が良 かった例

表 14 Proposed と Google 翻訳を比較して, Google が良 かった例

 \\

表 11 より，BLEU 值において，Proposed の値は Google 翻訳の值に近かった. しかし, 表 12 の結果 ではまだ及ばなかった.

## 7 おわりに

本研究では，TF-IDFを用いて JParaCrawl からテ スト文に類似する対訳文を抽出した. その対訳文を 目的ドメインのコーパスに追加することでコーパ スを拡張した. 拡張したコーパスを用いて事前学習済みモデルのファインチューニングを行うことで BaseLine と比較して BLEU 值と人手評価の両方で翻訳精度の向上が見られた. 具体的には BLEU で 1.7 向上した.

コーパスを拡張しすぎると翻訳精度の低下が確認 されたので，適切なコーパスの量や，他の対訳の抽出法を今後の課題にする.

## 謝辞

人手評価に協力してくれた，以下の 5 名の学生の 協力を得ました. 感謝致します. (柳原弘哉，丸山京祐，深谷 諒，松本 武尊）

## 参考文献

[1] Chenhui Chu and Rui Wang. A survey of domain adaptation for neural machine translation. In Proceedings of the 27th International Conference on Computational Linguistics, pp. 1304-1319, Santa Fe, New Mexico, USA, August 2018. Association for Computational Linguistics.

[2] 森下睦, 帖佐克己, 鈴木潤, 永田昌明. Jparacrawl v3.0:大規模日英対訳コーパス. 言語処理学会第 28 回年次大会 発表論文集 (2022 年 3 月) , 2022.

[3] Marta Bañón, Pinzhen Chen, Barry Haddow, Kenneth Heafield, Hieu Hoang, Miquel Esplà-Gomis, Mikel L Forcada, Amir Kamran, Faheem Kirefu, Philipp Koehn, et al. Paracrawl: Web-scale acquisition of parallel corpora. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 4555-4567, 2020.

[4] Philipp Koehn and Rebecca Knowles. Six challenges for neural machine translation. arXiv preprint arXiv:1706.03872, 2017 .

[5] Alberto Poncelas, Gideon Maillette de Buy Wenniger, and Andy Way. Transductive data-selection algorithms for fine-tuning neural machine translation. arXiv preprint arXiv:1908.09532, 2019.

[6] Minh-Thang Luong and Christopher D Manning. Stanford neural machine translation systems for spoken language domains. In Proceedings of the 12th International Workshop on Spoken Language Translation: Evaluation Campaign, 2015.

[7] 村上仁一. 日英対訳データベースの作成のための 1 考察. 言語処理学会第 17 回年次大会発表論文集, D4-5, pp. 979-82, 2011.

[8] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A fast, extensible toolkit for sequence modeling. arXiv preprint arXiv:1904.01038, 2019.

[9] Taku Kudo and John Richardson. Sentencepiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. arXiv preprint arXiv:1808.06226, 2018.

[10] Matt Post. A call for clarity in reporting BLEU scores. In Proceedings of the Third Conference on Machine Translation: Research Papers, pp. 186-191, Belgium, Brussels, October 2018. Association for Computational Linguistics.

[11] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th annual meeting of the Association for Computational Linguistics, pp. 311-318, 2002.


# 介護事例データベースを用いた介護支援提示モデルの構築

結城 政宗 ${ }^{1}$ 中島陽子 ${ }^{1}$ 本間宏利 ${ }^{1} \quad$ M. Ptaszynski $^{2}$ 桝井文人 ${ }^{2}$ 秋葉友良 ${ }^{3}$
1 釧路工業高等専門学校 創造工学科
2 北見工業大学 地域未来デザイン工学科
3 豊橋技術科学大学 情報・知能工学系
\{yoko, honma\}@kushiro-ct.ac.jp

## 概要

認知症グループホームの抱える大きな問題の一つに 介護職員の離職率の高さがある．特に，新人介護職員 の離職を防止し，介護の質保証と向上に向けて取り組 むことが喫緊の課題となっている。この問題に対処す る方法として，先行研究で介護事例データベースを活用した適切な「対応方法」の提示を試みてきた. 介護事例データベースとは，「利用者 $\mathrm{id}\lrcorner ， 「$ 困りごと」，「対応方法」の組で構成されるデータベースである。しか しながら，先行研究では未知の困りごとに対しては，適切な対応方法を提示できないという問題点があった. そこで，本研究では未知（介護事例データベースに未登録）の困りごとに対して適切な対応方法の候補を提示可能な介護支援提示システムの実現を目的とした.

## 1 研究背景

令和元年版高齢社会白書によると，現在の日本は高齢化率は約 $28 \%$ という超少子高齢社会であり，2050 年には高齢化率は約 $40 \%$ になると試算されている.こ のような状況下で，近年，認知症高齢者を支援する地域密着型サービスである認知症高齢者グループホーム (以下，認知症 GH) が急増している. 国内の認知症施策で，2015 年に「認知症施策推進総合戦略」が策定さ れ，認知症 GH の存在は重要かつ必要不可欠なサービ スとなっている.

認知症 GH の抱える大きな問題の一つに介護職員の 離職率の高さがある。2017 年の介護職員の離職率は 16.7\%（介護労働安定センター調べ）であり，他業種 と比較して高い数値となっている。また，認知症 $\mathrm{GH}$ の離職者の約 4 割が入職 1 年末満の介護職員であり, これは他の介護施設での場合より高い. 新人介護職員 の離職を防止し，介護の質保証と向上に向けて取り組 むことが喫緊の課題となっている。近年，運営形態，サービスの質，職員教育など様々 な視点から，介護施設現場に伏在する問題の調查とそ れらの改善案に関する研究が数多く行われている. し かしながら，介護施設現場からは介護サービス受給者 の多様性に即時対応可能な，具体的解決策の提示支援 が強く望まれている。

本研究は, 認知症グループホームが所有する介護資料を利用して，介護事例データベースを構築し，自然言語処理や機械学習などの人工知能技術を応用して，様々な介護事例に対して，効果的な介護対応手段を提示する介護コミュニケーション支援システムの開発を 目指す. 本システムの実現によって，認知症グループ ホームの介護業務の円滑化，業務負担の軽減化，およ び，介護職員の離職率の低減など，現状の問題解決に 貢献できると考えている.

## 2 本研究の目的

介護施設における介護業務は年々複雑化しており，特に勤務年数が短く経験が少ない職員は，利用者の困 りごとへの対応に苦慮することが多い. 現在の介護支援施設では「困りごと」が生じた時に，介護従事者の経験に基づく適切と思える「対応方法」を用いて対応・解決している。そこには「適切な対応方法の適切さの判断が難しい」という問題が絶えず存在している．そこ で，経験に基づいた対応方法を提案することが重要と 考え,「利用者 id」,「困りごと」,「対応方法」の組で構成 される介護事例データベースを構築し，未知の困りご とを入力すると，その困り事と類似している文を抽出 しそれらの対応方法を提示する手法を提案する. 予備実験において、困りごと文の類似文抽出と対応方法提示において Tf-IDF，BERTscore,SentenceBERTを用 いて実験を試みたところ SentenceBERT が最も精度が 高いことが確認できた。しかし，介護事例データベー スのデータが少なかったため，未知データ（介護事例

データベースに未登録）を入力した際に類似した困り ごとが抽出できないという問題が生じた. そこで，本研究では，新たに介護施設の議事録から介護事例を抽出し介護事例データベースへ追加し, SentenceBERT を用いた対応方法の提示，さらに，利用者への対応の 見極めに必要な，性格などを考慮するために，新たに，個人属性データベースを構築し，個人属性を考慮した 対応方法の提示を試みる。

## 3 システムの概要

本システムは，介護事例データベースと個人属性 データベースを備え，入力は「困りごと」とその困り ごとその事象をかかえた施設利用者（認知症患者）の 「個人属性」とし，出力は困りごとに対応するための 「対応方法候補文」とする．対応方法候補文は介護職員が適宜選択できる.

新たに構築した個人属性データベースについて説明する。本データベースは利用者のデータ（個人属性 データ）を「性別」，「生年」，「職業」，「趣味」，「性格」 に基づいていくつかのグループに分類し，ラベルを付与した.これらのラベルの選定は，介護施設職員から 個人の特性が現れる項目を聴取したものによる。個人属性データベースの例を表 1 に示す。

個人属性の各項目の種類は，「生年」においては厚生労働省の介護保険施設の利用者の状況 ${ }^{1}$ ，「職業」は総務省の日本標準職業分類 ${ }^{2}$, 趣味」は令和 3 年社会生活基本調査 生活時間及び生活行動に関する結果，「性格」 は堀毛らの研究 [7] に基づいてラベリングを行った.

これらの項目を特徴ベクトルとし，個人属性のクラ スタリングを行う. クラスタリングには k-means 法を 用いる。

個人属性クラスタリングは，個人属性データを入力 し，それと類似する属性を有する利用者 idを取得する。図 1 に本介護支援提示システムのイメージを示す.

## 3.1 提案手法

個人属性を考慮した困りごとに対する対応方法候補 を提示する手順を以下に示す。

図 1: 介護支援提示システムイメージ

1. 個人属性データベース内の「個人属性」に入力し た「個人属性」を追加し，クラスタリングを行う．類似している「利用者 id」を導出する。

2. 介護事例データベースの中から類似性の高い「利用者 id」を持つデータを検索する。

3. 入力の「困りごと」文と検索したデータ内の「困 りごと」文を SentenceBERT を用いてべクトル 化する.

4. 入力の「困りごと」文と類似する「困りごと」文 を抽出する。ここで，個人属性を考慮する場合は，類似性の高いクラスタから類似文を抽出する。

5. 類似する「困りごと」と対になっている「対応方法」を提示する。

## 3.2 困りごと類似文の抽出

「困りごと」の類似事例の抽出には，本研究で は文章のベクトル化に sonoisa/Sentence-BERT ${ }^{3}$ ，文章間の類似度の指標にはコサイン類似度を用いた。 SentenceBERT[8] は事前学習された BERT モデルに 加え，Siamese Network という手法を用い，一般的な BERT よりも高精度で文章ベクトルの生成する。類似文は，提示方法を選択する際に選択に困らない数を考慮し上位 6 位を採用する。

## 3.3 対応方法提示

対応方法提示の具体例を図 2 を例に示す. 対応方法 は, 抽出した困りごとの類似文と対である対応方法を 対応方法候補として提示する．例えば，「車いすの方を 勝手に椅子に移乗してしまう」という困りごとを入力 すると，介護事例データベースから「勝手に車いすか
^{3}$ https://huggingface.co/sonoisa/sentence-bert-base-jamean-tokens-v2
}
表 1: 個人属性データベース

ら移乗してしまう」,「車いす、椅子からの立ち上がり が増え、転倒の危険がある」や「車いすからソファー に自分で移動しようとする」というような類似文が抽出される。 介護事例データベースから，それらの類似文と対をなしている対応方法，「見守り強化」，「見守り を強化する」や「見守り強化，移乗の際は介助行う」 を出力する。

図 2: 対応方法提示イメージ

## 4 評価実験

個人属性クラスタリングと対応方法提示モデルを実装し実験を行なった. それぞれについて実験設定と結果を示す.

## 4.1 個人属性クラスタリング実験

個人属性クラスタリングは，介護施設から提供され た 37 名のデータを用いる. 各項目をべクトル化し 2 種類の方法で実験を行なった。一つ目は，ワンホット ベクトルを採用した場合，二つ目は介護職員がどの項目を重視したいか重みを考慮したべクトルとした場合 である. それぞれの結果の例を図 3 と 4 に示す.

図 3 の結果では，クラスタリングが成功しているよ うに見えるが、下方に生年ラベルが 4（90 歳以上）の データが集中している. 従って, 性格や趣味など種類 が多いものは疎になり，生年や性別のような種類が少 ないものが優勢になることがわかる.

図 4 の結果では，性格を重視したい場合の例である.生年と趣味に 2 , 性格に 3 の重さを掛けて実験を行っ

図 3: 個人属性クラスタリング実験 1

図 4: 個人属性クラスタリング実験 2

た. 上方に性格ラベルが 4 (社交型) のデータが集まっ ており，性格を最重要視したクラスタリング結果であ る.どの項目を重視した対応方法候補を望むかで，必要に応じて重みの変更可能であることがわかる.

## 4.2 対応方法提示実験

次に，対応方法候補提示の評価実験について説明す る. 介護事例データベースのデータ全 881 個のうち, トレーニングデータは 866 個，テストデータは個人属性が影響していると考えられる困りごとデータを 15 個を用いて実験を行う．上位 6 位までの類似困りごと 文を用いて, 対応方法候補を 6 個出力する. また, 個人属性の有用性を確かめるために, 個人属性クラスタリ

ング機構の有無で比較実験を行う。それぞれ 90 個ず つの全 180 文の対応方法候補文を評価した. 評価方法 は,1:「対応方法として適していない」, 2 :対応方法と しては適しているがその利用者の個人属性には適して いない「正解」および 3 :対応方法として適しておりか つ利用者の個人属性にも適している「最適」の 3 段階評価を行った。

実験結果を表 2 に示す. ただし正解率は「正解」と 「最適」の出現率, 最適率は「最適」の出現率とする. 個人属性を考慮しない場合の正解率は $58.9 \%$, 最適率は $25.6 \%$, 個人属性を考慮した場合の正解率は $48.9 \%$ 最適率は $15.6 \%$ であった. 個人属性を考慮した場合，個人属性を考慮しない場合と比較して精度が低い. 原因 の一つとして, 個人属性を考慮するには介護事例デー タベース内のデータ数の不足が挙げられる。

表 2: 類似文抽出実験

## 5 考察

本システムでは個人属性クラスタリングで出力した 結果を類似文抽出で用いるため, システムの不具合や 改善点を見つけるのが非常に難しい，最も影響してい ると考える, 介護事例データベース内のデータ数の不足について考察する. 表 3 は困りごと「入浴拒否があ る」に対して個人属性を考慮した場合と考慮しない場合に出力された対応方法候補文でる. 個人属性クラス タリングを利用していない場合に比べて, 利用した場合の候補には「好きな飲み物、飲める物、水分ゼリー 等を検討」など，「入浴拒否がある」とは関係のない対応方法が出力されている. これは介護事例データベー ス内に「入浴拒否がある」に似た「困りごと」は存在 するが, 個人属性の絞り込みによって類似した「困りご と」が除外されたことが考えられる。一方，同じ個人属性に類似した困りごとがある場合は，本手法は有効 であることは確認できている。従って，介護事例デー タベースのデータ数を増加することは個人属性クラス タリングを含め本システム全体の精度向上につながる と考える。

## 6 おわりに

本研究では, 介護事例データベースへのデータ追加 および個人属性データベースの構築と個人属性を考慮 するための個人属性クラスタリングと困りごとの類似文を抽出し対応方法候補を提示する介護方法提示モデ ルの構築を行なった.未知の困りごとに対しても適切 な対応方法の候補を提示することはできたものの，個人属性を考慮すると精度が低くなってしまうことが明 らかになった．今後は，自動的に介護事例データベー スにデータを追加する機能を追加し，実際に認知症 $\mathrm{GH}$ で働く介護職員の方々に本システムの一部を評価 して頂き，より需要にあっているシステムへと改善し ようと考えている。

## 参考文献

[1] 古村美津代, 他, “認知症高齢者グループホームに おける新人介護従事者が抱える困難,” 日本認知症ケア学会誌, vol.17, no.3, pp.583-593, 2018.

[2] 山口晴保, 他, “認知症グループホームにおけるグ ループホームケアの効果研究," 認知症ケア研究誌, vol.2, pp.103-115, 2018.

[3] 藤井容子, 他, “高齢者や障がい者が共に暮らす共生型グループホームの実践的研究," 住総研研究論文集, vol.42, pp.37-48, 2015.

[4] 中川孝子, 他, “認知症高齢者グループホームにお ける「その人らしさを尊重したケア」の実態と影響要因,”弘前医学, vol.69, pp.57-65, 2019.

[5] 河野由美子, 他, “認知症グループホームの管理者 の介護職への人材育成に対する意識,”日本住宅 ケア学会誌, vol.22, pp.105-112, 2018.

[6] 加藤龍兵, 中島陽子, “自然言語処理を用いた介護 コミュニケーション支援システムの開発,”釧路高専卒業研究, 2020.

[7] 堀毛一也, 他, “施設介護職員による認知症高齢者 の性格・感情認知とケア・対処方略の関連,”現代行動科学会, vol.22, pp.9-23, 2006.

[8] Reimers N.; and Gurevych I., " Sentencebert: Sentence embeddings using siamese bertnetworks,' arXiv:1908.10084., 2019.
表 3: 困りごと「入浴拒否がある」の類似対応方法候補文


# 中間タスクの挿入による学術論文における URL 引用の分類

和田 和浩 1 松原 茂樹 1,2
1 名古屋大学情報学部 2 名古屋大学情報連携推進本部
\{wada.kazuhiro.s8@s, matsubara.shigeki.z8@f\}.mail.nagoya-u.ac.jp

## 概要

学術活動において，データやプログラムなどの学術資源にアクセスできることは重要である. 特に URLによる引用（以下，URL引用）はその論文で使用された学術資源を参照していることが多く, これ らを分類し利用することで学術資源へのアクセス性 を高めることができる. そこで本論文では，学術論文における URL引用の種類と目的でクラス分類す る手法について述べる。本手法では，メインタスク で使用するデータを利用し，その入力の対を用いた 中間タスクを設定し導入した. 分類実験の結果，先行研究に対する本手法の優位性を確認した。

## 1 はじめに

学術活動において，学術論文，及び，そこで利用 されたデータやプログラムなどの学術資源にアク セスできることは重要である。これらのアクセス性 を向上させるための様々なデータベースやサービ スが存在する. 例えば, Google Scholar ${ }^{1)}$, Semantic Scholar $^{2)}$ では単なる論文の提示だけでなく，論文中 の引用関係に基づき，関連する論文に辿ることがで きる. このように, 引用関係を用いることは学術資源へのアクセス性を高める上で有用である.

これらのサービスが対象とする引用は, 主に参考文献に記された書誌情報である. しかし，学術論文 における引用対象は，参考文献リストの書誌情報以外に，URLによる引用（以下，URL引用）もあり， これらは参考文献リストに加えて脚注や本文中にも 出現する.こうした URL引用はその論文で使用さ れたデータやプログラムなどの学術資源を含むこと が多い. URL引用を利用することで論文中のデー タやプログラムなどのアクセス性が高まる。また， URLによる引用は種類や目的が多様であるため, そ れらを含めて提示することにより，サービスの利便性が向上することが期待できる.

これを実現するために，論文におけるURL引用 を種類と目的で分類する必要がある. 引用の種類 や目的の分類体系については既に様々な提案があ る $[1,2,3]$. なかでも角掛らは，URLによる引用に ついてその種類と目的のクラスを整理しており， SciBERT[4] を用いた分類手法を提案している [1]. しかし, 角掛らの分類手法には, 少数クラスに対す る分類性能が低く, 一部のクラスが予測結果として 全く出力されない場合があった.

そこで本論文では，中間タスクを用いた論文にお ける URL引用の分類手法を提案する。中間タスク を用いた手法は既に多くの提案があり，その有効性 が示されている $[5,6]$. しかし，中間タスクの挿入 には

・中間タスクに必要なデータを新たに用意する必要がある

・適切な中間タスクを選択する必要がある

という課題を解決する必要がある $[7,8]$.

メインタスクに関連したタスクを選ぶことで適切 な中間タスクの選択をする手法 [7] が提案されてお り，メインタスクと中間タスクとの関連性の高さは 適切な中間タスクの選択に重要である. 本手法では メインタスクで使用するデータを再利用して，メイ ンタスクにおける入力の対を用いた中間タスクを作成した。これにより，中間タスク用の新たなデータ を必要とせずにメインタスクに関連した中間タスク の使用が可能となる.

本手法を評価するために実験を行い，先行研究の 手法との分類性能を比較した. 実験の結果，本手法 の有効性を確認した。

1) Google Scholar https://scholar.google.co.jp/

2) Semantic Scholar https://www.semanticscholar.org/

## 2 関連研究

## 2.1 引用の分類

論文中の引用を分類する取り組みは既に存在し ており, 角掛らは学術論文中の URL が指すものに ついて，ツールとデータを区別する分類タスクに取 り組んだ [9]. また，引用の目的を 6 種類のクラス に分類する Shared Task が提案されている [2]. この タスクに対する取り組みとして，Baig らは TF-IDF とデータを分析して作成した特徴量を用いた手法 [10]を，Maheshwari らは大規模言語モデルである SciBERT[11] を利用した手法 [4] をそれぞれ提案し ている. そして, 角掛らは URL 引用に注目し, そ の URL が指すものが果たす役割と種類, 引用の目的の分類体系を作成し，その分類手法を提案してい る [1].

## 2.2 中間タスクの挿入

大規模言語モデルを用いた学習では通常，大規模 なコーパスを用いて事前学習を行ったのち，メイン タスクのファインチューニングを行う。これに対 して事前学習とメインタスクのファインチューニ ングとの間に別のタスク（以下，中間タスク）を設 け，そのファインチューニングを行うことで，メイ ンタスクに有用な特徴を効果的に学習する方式が提案されている. Phang らは中間タスクの挿入により GLUE ベンチマークの性能が改善することを示して いる [5].

その一方で，中間タスクを挿入すれば必ず効果 をもたらすとは限らないという問題点も指摘され ている [7, 8]. Poth らは中間タスク用のデータや 学習済みモデルの利用可能性に応じて中間タスク を適切に選択する手法を提案している [7]. また Pruksachatkun らは特定の能力を問う probing task に 対する性能を分析することで，中間タスクとして効果的なタスクの特徴について分析している [8].

## 3 提案手法

## 3.1 問題設定

本研究では, 角掛らが提案した URL引用の種類 と目的の分類 [1] に基づきアノテーションされた データを使用する．1つの URL引用に対して， Role, Type, Function の 3 種類のラベルが存在する. Role,

$
\text { 図 } 1 \text { モデルの概略 }
$

Type は URL が参照する学術資源の種類を表すラべ ルであり Roleが大分類, Type が小分類に相当し, 相互に対応関係がある. Function は URL引用の目的 を表すラベルである. 本研究ではこれらの 3 つのラ ベルそれぞれの分類タスクに取り組む.

## 3.2 手法の概要

提案手法の概略を図 1 に示す. 提案手法では中間 タスクとメインタスクに分けてモデルの学習を行 う.いずれも BERT[12]を Encoder として利用して 共有する. 出力は中間タスク，メインタスクに共通 して BERT の [CLS] トークンに対応する出力に対し てラベルごとに全結合層を持つ. 活性化関数として 中間タスクではシグモイド関数を，メインタスク ではソフトマックス関数を利用する。また, Role, Type, Function の各ラベル間の関連性を考慮して分類するため，マルチタスク学習を採用する $[1,13]$.

## 3.3 中間タスクの学習

中間タスクの入力ではメインタスクにおけるモデ ルへの入力の対を使用し, 出力では入力の対がメイ ンタスクで同じクラスに属しているか否かの 2 值の 分類を行う. このとき, Role, Type, Function ごとに クラスが割り当てられているため， 3 種類のそれぞ れでクラスが一致しているかどうかを判定する．損失関数として3つのラベルそれぞれの BCELoss の 和を使用した。つまり，データセット中の $i$ 番目の データの入力を $I_{i}$, Role, Type, Function のラベルを それぞれ $R_{i}, T_{i}, F_{i}$ と記すとき, モデルの入力, 出力及び損失関数は以下のようになる。

$
\begin{aligned}
& \text { 入力 }: I_{\text {int }}=[C L S]+I_{i}+[S E P]+I_{j}+[S E P] \\
& \text { 出力 }: O_{\text {role }}=\sigma\left(W_{\text {role }} B E R T\left(I_{\text {int }}\right)\right) \\
& O_{\text {type }}=\sigma\left(W_{\text {type }} B E R T\left(I_{\text {int }}\right)\right) \\
& O_{\text {function }}=\sigma\left(W_{\text {function }} B E R T\left(I_{\text {int }}\right)\right)
\end{aligned}
$
表 1 Role のクラス分布

表 2 Typeのクラス分布

表 3 Function のクラス分布

損失関数 : $\quad B C E \operatorname{Loss}\left(\delta_{R_{i} R_{j}}, O_{\text {role }}\right)$

$+B C E L o s s\left(\delta_{T_{i}, T_{j}}, O_{\text {type }}\right)$

$+B C E \operatorname{Loss}\left(\delta_{F_{i}, F_{j}}, O_{\text {function }}\right)$

ただし， $\sigma$ はシグモイド関数を， $\delta$ はクロネッカー のデルタをそれぞれ表す.

## 3.4 メインタスクの学習

メインタスクの学習では Role, Type, Function のク ラス分類を行う. 基本的なモデル構造は中間タスク の学習のものと同様であり, 変更点は最後の各ラべ ルに対応する全結合層がそれぞれのクラス数に対応 した出力になる点, 及び，多クラス分類であるため 活性化関数にソフトマックス関数を使用している点 である. また，BERT 部分のパラメータについては 中間タスクの学習後のものを初期値として使用して いる. 損失関数は各ラベルの CrossEntropyLoss の和 とした.

## 4 実験

提案手法を評価するため，URL引用の分類実験を 行った.

## 4.1 実験の概要

使用データURL引用に Role, Type, Function の 3 種類のラベルが付与されたデータ [1]を使用した (3.1 節参照). 各ラベルのクラス分布を表 $1,2,3$ に示 す. Role は各クラスがほぼ均等に分布しているもの の，Type，Function は，クラス間の不均衡が大きく，分類が困難であることが予想される.

実験設定 提案手法を PyTorch ${ }^{3)}$ と Hugging Face ${ }^{4)}$ を利用して実装した。中間タスク，メインタスクで 共有する BERT には事前学習済みの公開モデル5)を 使用した.

モデルへの入力は角掛らの手法 [1] を参考に，節

3) PyTorch.org https://pytorch.org/

4) Hugging Face https://huggingface.co/

5) google/bert_uncased_L-12_H-768_A-12 https://huggingface. co/google/bert_uncased_L-12_H-768_A-12表 4 実験結果

タイトル，引用文とその前後 1 文（計 3 文），脚注文 または参考文献を [SEP] トークンで区切ったものを 使用した。

学習時，中間タスクでは patienceを 2 に，メイン タスクでは 5 に設定して Early Stopping を行った.以下に学習時に設定したパラメータを示す.
- 学習率 (共通) : 1e-5
- 最適化手法（共通）：Adam[14]

・バッチサイズ：16 (中間タスク)，32（メインタ スク)

-中間タスク用に作成するデータの数 : 300,000

比較手法 以下の 2 種類の手法を用いる.
- Zhao らが提案した SciResCLS[15]. 引用文脈を 使用してマルチタスク学習を行う
- 角掛らによる手法 [1]. 入力の素性として節タ イトル，脚注文または参考文献を追加してマル チタスク学習を行う

評価指標 使用するデータは分布の偏りが大きい ため，少数クラスに対する分類性能を評価するため にマクロ平均の F1 值を採用する。

## 4.2 実験結果

学習, 検証データの分割時のシード値を変更し て複数回実験を行い，それぞれのマクロ平均の F1 値を平均した結果を表 4 に示す. Role は角掛らの 手法に若干劣る結果となったが，Type では 2 3\%, Function では 5 7\%の性能の向上が確認できた.

表 5 に提案手法と角掛らの手法 [1] のあるシー ド值で学習したときのクラスごとの F1 值を示す.標本数の少ない Media, Compare, Extend に対しても,提案手法ではいくつか予測されるようになった. ク
表 5

クラスごとの $\mathrm{F}$

検証時の損失

図 2 学習曲線

ラス分布の偏りが大きくなる Role, Type, Function の順に比較手法に対する性能の改善幅が大きくなっ ている.

## 4.3 考察

## 4.3.1 メインタスクの学習過程の比較

深層学習モデルの学習では，その性能だけでなく 学習の安定性も重要である。そこで，学習及び検証時の損失関数の値の推移を確認した. 図 2 に提案手法と角掛らの手法 [1] のメインタスクの学習時の損失の推移を示す。学習時, 検証時ともに提案手法が 角掛らの手法 [1] に比べて小さな損失となっている. また，角掛らの手法 [1] は検証時の損失に上下があ るのに対して提案手法はエポック毎に安定して損失 が減少しており，より安定した学習ができているこ とがわかる.

## 4.3.2 中間タスクの有効性

中間タスクで学習された特徴がメインタスクで有効に機能することを確認するために，中間タスクの 学習後, BERT 部分のパラメータをフリーズさせて表 6 BERT をフリーズさせたときの実験結果

メインタスクの学習を行った. これにより，学習可能なパラメータは各ラベルの確率を出力するための 全結合層 1 層となるため，この実験設定でもモデル の分類性能が維持されるならば，それは，中間タス クのみでファインチューニングされた BERT によ り，メインタスクを学習するために有効な特徴を表現できていることを示している.

実験結果を表 6 に示す。ただし，提案手法の入力 は引用文のみとし，節タイトル，脚注文は使用して いない. これは Zhao らの手法 [15] の入力と同様で ある. BERT 部分のパラメータをフリーズさせても 性能は維持されており，中間タスクにより学習され た特徴がメインタスクにおいて有効に働いている。

## 5 まとめ

本論文では，学術論文における URL引用を種類 と目的でクラス分類する手法を提案した. 本手法で は，メインタスクで使用するデータを利用し，その 入力の対を用いた中間タスクを設定し導入した。そ して，分類実験の結果，先行研究では性能が十分で なかった Type，Functionにおいて性能が向上してお り，本手法の有効性を確認した。

今後の課題として，提案手法で性能の向上が確認 できなかった Role に対する分類性能の改善に向け，複数の中間タスクを組み合わせて学習する手法を検討することがあげられる。

## 謝辞

本研究は，一部，科学研究費補助金（基盤研究

(B)）（No. 21H03773）により実施したものである.

## 参考文献

[1] Masaya Tsunokake and Shigeki Matsubara. Classification of url citations in scholarly papers for promoting utilization of research artifacts. In Proceedings of the 1st Workshop on Information Extraction from Scientific Publications (WIESP) at AACL-IJCNLP, November 2022.

[2] Suchetha N. Kunnath, David Pride, Drahomira Herrmannova, and Petr Knoth. Overview of the 2021 SDP 3C citation context classification shared task. In Proceedings of the 2nd Workshop on Scholarly Document Processing, pp. 150-158, Online, June 2021. Association for Computational Linguistics.

[3] David Jurgens, Srijan Kumar, Raine Hoover, Dan McFarland, and Dan Jurafsky. Citation classification for behavioral analysis of a scientific field, 2016.

[4] Himanshu Maheshwari, Bhavyajeet Singh, and Vasudeva Varma. SciBERT sentence representation for citation context classification. In Proceedings of the 2nd Workshop on Scholarly Document Processing, pp. 130133, Online, June 2021. Association for Computational Linguistics.

[5] Jason Phang, Thibault Févry, and Samuel R Bowman. Sentence encoders on STILTs: Supplementary training on intermediate labeled-data tasks. November 2018.

[6] Ting-Yun Chang and Chi-Jen Lu. Rethinking why intermediate-task fine-tuning works. In Findings of the Association for Computational Linguistics: EMNLP 2021, pp. 706-713, Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[7] Clifton Poth, Jonas Pfeiffer, Andreas Rücklé, and Iryna Gurevych. What to pre-train on? Efficient intermediate task selection. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 10585-10605, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[8] Yada Pruksachatkun, Jason Phang, Haokun Liu, Phu Mon Htut, Xiaoyi Zhang, Richard Yuanzhe Pang, Clara Vania, Katharina Kann, and Samuel R. Bowman. Intermediatetask transfer learning with pretrained language models: When and why does it work? In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 5231-5247, Online, July 2020. Association for Computational Linguistics.

[9] Masaya Tsunokake and Shigeki Matsubara. Classification of urls citing research artifacts in scholarly documents based on distributed representations. In 2nd Workshop on Extraction and Evaluation of Knowledge Entities from Scientific Documents, 2021.

[10] Yasa M. Baig, Alex X. Oesterling, Rui Xin, Haoyang Yu, Angikar Ghosal, Lesia Semenova, and Cynthia Rudin.
Multitask learning for citation purpose classification. In Proceedings of the 2nd Workshop on Scholarly Document Processing, pp. 134-139, Online, June 2021. Association for Computational Linguistics.

[11] Iz Beltagy, Kyle Lo, and Arman Cohan. SciBERT: A pretrained language model for scientific text. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, pp. 3615-3620, Hong Kong, China, November 2019. Association for Computational Linguistics.

[12] Alex Wang and Kyunghyun Cho. BERT has a mouth, and it must speak: BERT as a Markov random field language model. In Proceedings of the Workshop on Methods for Optimizing and Evaluating Neural Language Generation, pp. 30-36, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[13] Ozan Sener and Vladlen Koltun. Multi-task learning as multi-objective optimization. In S. Bengio, H. Wallach, H. Larochelle, K. Grauman, N. Cesa-Bianchi, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 31. Curran Associates, Inc., 2018.

[14] Diederik P Kingma and Jimmy Ba. Adam: A method for stochastic optimization. December 2014.

[15] He Zhao, Zhunchen Luo, Chong Feng, Anqing Zheng, and Xiaopeng Liu. A context-based framework for modeling the role and function of on-line resource citations in scientific literature. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, pp. 5206-5215, Hong Kong, China, November 2019. Association for Computational Linguistics.


# Character-level Data Augmentation on Code Mixed Sentences for Low-Resource Settings

Niraj Pahari, Kazutaka Shimada
Kyushu Institute of Technology
nirajpahari@gmail.com
shimada@ai.kyutech.ac.jp
}

\begin{abstract}
Due to the rise in multilingual speakers and the use of social media, the occurrence of code-mixing is increasing. To understand these code-mixed data, different models require a large amount of data to train on. However, the codemixed data is not readily available. Data augmentation is commonly being used for increasing the performance of the models by generating synthetic data to train on. Most of the existing techniques on data augmentation for codemixing use large parallel corpus and/or external knowledge like POS taggers. In this paper, we study the combination of four different character-level operations to generate the augmented sentences from the source sentences while preserving the labels of the original sentences. Experiments show that this method can benefit the multilingual pretrained language models on the low-resource cases. This method can be a strong baseline for future research on this domain.
\end{abstract
## 1 Introduction

Whenever multilingual speakers communicate with each other, they tend to mix the structure or vocabulary from different languages. This phenomenon of mixing multiple languages during one conversation is known as codemixing or code-switching. Code-mixing can occur within the sentence (intra-sentential) or between multiple sentences (inter-sentential). The rise in the number of multilingual speakers and the rise of social media usage has increased the occurrence of code-mixing. This has increased the need for NLP models to understand the code-mixing data. However, due to the spontaneous nature of code mixing, it is difficult to collect the data, so it is mostly considered a low-resource problem [1]. Code-mixed data involve more than one language. Identifying the tokenlevel language tag is one of the fundamental tasks of this domain. In this paper, we perform a language identification task. It is a sequence labeling task.

Data augmentation is the set of techniques to generate synthetic data. It can help to train better and more robust models in the case that available original data is small. Augmentation techniques are commonly used in computer vision [2] and speech [3]. However, these techniques are more challenging in NLP due to the discrete nature of language [4]. Several researchers explored different techniques for data augmentation in NLP [5], [6], [7]. These studies mostly focus on classification tasks that are different from sequence labeling tasks. Some papers presented different augmentation techniques for sequence labeling tasks [8], [9], [10]. There are previous studies on code-mixed data augmentation [11], [1]. However, most of the work has been done on classification tasks, and the techniques mostly use external knowledge.

In this paper, we try to study the augmentation technique for code-mixed sentences using simple character-level operations. To create the augmented data, we use swapping, substituting, deleting, and inserting random characters from the original sentence. The labels are kept the same for augmented sentences and the original sentences. Since no external knowledge is required for these techniques, they are extremely easy to implement.

## 2 Related Work

Several studies have been done on data augmentation for NLP. Kobayashi [5] studied the technique to replace the synonym from the sentence to generate the augmented sentence. Easy data augmentation (EDA) proposed by Wei and Zou [6] uses synonym replacement, random insertion,

Table 1: Example of a Nepali-English sentence with augmented sentences. " $l 1$ ", " $l 2$ ", "ne", and " $O$ " denote tags for each token. The detail is explained in Section 4.1. In this example, $l 1$ stands for English, and $l 2$ stands for Nepali. The modified tokens after character-level operations are shown with bold typeface.

swap, and deletion of the words from the sentences to generate their augmented counterparts. Sennrich et al. [7] proposed the back-translation method, one of the widely used data augmentation techniques. It is the procedure of translating a sentence into one language and translating it back to the original language. While this technique is common for sentence classification tasks, it is not much applicable for sequence labeling since the position of labels might change during the process.

For the sequence tagging tasks, Sahin and Steedman [8] proposed the dependency tree morphing technique which was motivated by image cropping and rotation in computer vision. Ding et al. [9] used a generation approach for low-resource tagging tasks. Their approach linearizes the sentences with their labels, and a language model is learned based on the linearized sentences. The learned language model is then used to sample new sentences and is delinearized to obtain the augmented sentences with tokenlevel labels. The study by Dai and Adel [10] modifies the sentence-level tasks into sequence labeling tasks and shows an improvement in the performance for different recurrent models and transformer-based models.

In the case of code-mixing, Pratapa et al. [12] used the Equivalence Constraint Theory to generate grammatically valid augmented code-mixed sentences. Gupta et al. [11] proposed an mBERT-based method to generate code-mixed sentences using the existing parallel data in two languages. Li and Murray [1] introduced a language-agnostic solution for creating synthetic data. They also use parallel corpus and POS taggers. In this paper, we study data augmentation with the combination of four different character-level operations. It is easy to implement and does not require any additional data or knowledge.

## 3 Method

Data augmentation is a technique to create artificial data from real data to increase the size of the dataset. The data for our task contain code-mixed sentences from social media. Code-mixed data involve more than one language. Moreover, in social media, the occurrence of typos is also high. Therefore, it adds to the complexity of data augmentation. Furthermore, sequence tagging tasks are more susceptible to data augmentation noise since they are token-level tasks as opposed to classification tasks, which are sentence-level tasks [9]. Inspired by the work by Wei and Zou [6], based on four simple word-level operations for simple data augmentation, we perform the simple character-level operations on the available dataset and generate synthetic data. For a given sentence, we randomly perform the following character-level operations:

1. Swap the adjacent characters in the word,

2. Substitute a character in the word with a random character,

3. Delete a random character in the word, and

4. Insert a random character at a random position in the word.

Table 1 shows an example of augmented sentences using the character-level operations mentioned above.

The number of tokens in the source sentence and augmented sentences are the same. We assume that the augmented sentences are label-preserving. In other words, the label of each token is the same as the original sentence token.

The architecture for the training is shown in Figure 1. Similar to Li and Murray [1], we employ the gradual finetuning process proposed by Xu et al. [13] for training pur-

Table 2: Dataset Statistics.

Figure 1: Architecture for gradual fine tuning with augmented data. "Three from one" denotes that three sentences are generated from one sentence in the original data, as the augmented data. $M_{0}$ is the initial pre-trained model. $M_{n}$ is the fine-tuned model after stage $n$.

poses. The gradual fine-tuning is to apply the augmented data to the model gradually. In fine-tuning, a large size of augmented data is utilized first. Then, the size of additional data decreases step by step. $M_{0}$ is the pre-trained language model. In the first stage, we generate three augmented sentences from each sentence in the original dataset. The $M_{0}$ model is fine-tuned with these augmented data followed by the original dataset, resulting in the fine-tuned model $M_{1}$. In the next stage, we utilize two augmented sentences from each sentence in the original dataset. The $M_{1}$ model is again fine-tuned with the augmented sentences followed by the original dataset to obtain the fine-tuned model $M_{2}$. Similarly, fine-tuning is done with one augmented sentence per sentence in the original dataset. Finally, in the last stage, the model is fine-tuned with only the original dataset, which allows the model to fit better on the original dataset distribution. The final fine-tuned model $M_{4}$ is used for inferencing. Random operations from the four operations are applied to the generation of augmented sentences from each original sentence.

## 4 Experimental Settings

## 4.1 Tasks

The task in this paper is a language identification task. This is a sequence labeling task where each token should be classified as the particular language label (lang1, lang2), named entity label (ne), or others label $(O)$. Correct language labels should be given to the tokens based on the language to which the token belongs. Since named entities are language-independent, we cannot identify the language label. Therefore, they are labeled as ne. If a token is emoticons or special characters, we cannot also identify the language. In a similar way to ne, the token is labeled with the " $O$ " tag.

## 4.2 Datasets

In this paper, the Nepali-English [14] code mixed dataset and the Hindi-English [15] code mixed dataset are used. The Nepali-English dataset contains tweets and Facebook from public posts, whereas the Hindi-English dataset contains a corpus from Facebook pages of prominent public figures in India. Although Nepali and Hindi languages use Devanagari script for writing, these datasets only consider sentences written in Romanized form. The train, development, and test splits provided by [16] are used. The statistics of the dataset are shown in Table 2.

## 4.3 Experimental Setup

The experiments are conducted using two multilingual transformer-based language models: mBERT [17] and XLM-R[18]. The experimental models are implemented using Pytorch libraries ${ }^{1)}$. Huggingface models ${ }^{2)}$ are used to load the pre-trained models. AdamW [19] optimizer with the learning rate of $5 e^{-5}$ is used. TextAttack [20] library is used to generate the augmented sentences. For the gradual fine-tuning, 4 stages explained in Section 3 with 10 epochs per stage are run. Due to the imbalance in label distribution, the weighted F1 score is used as the evaluation metric.

## 5 Results

We compare four types of original dataset sizes: $25 \%$, $50 \%, 75 \%$, and $100 \%$ used from the original data. We also compare the models with our data augmentation and with-

(a) Language identification with mBERT

(b) Language identification with XLM-R

Figure 2: Performance of gradual fine-tuning with data augmentation for mBERT and XLM-R.

out the augmentation method. Figure 2 shows the performance of our data augmentation method compared with the case where data augmentation is not used ${ }^{3)}$. The data augmentation method improved the results for both mBERT and XLM-R, especially in low-resource settings such as $25 \%$. For both datasets, the tendency of the performance is similar. The difference in the performance was significant when the data use was very less. For the Nepali-English dataset, mBERT and XLM-R obtained performance gains of 1.41 and 1.26, respectively, in the $25 \%$ data. Similarly, for the Hindi-English dataset, mBERT and XLM-R obtained performance gains of 2.24 and 10.82, respectively, in the $25 \%$ data. It can also be seen that mBERT performs better than XLM-R in a very low-resource case. For both mBERT and XLM-R, the difference in the F1-scores "with" and "without" augmentation tends to be larger in Hindi-English than in Nepali-English. For example, in the $25 \%$ settings of XLM-R, while the F1-scores are 91.36 and 89.95 (the red circle and square) for Nepali-English, those are 86.3 and 75.48 (the yellow circle and square) for Hindi-English. It is caused by the number of instances

of the datasets. For the $25 \%$ setting, while the number of instances for Hindi-English was 1206, that for NepaliEnglish was 2113. This result shows that our augmentation is effective in the case that the size of the dataset is small.

## 6 Conclusion

In this work, we study the character-level operations for generating augmented sentences for a code-mixing domain. We experimented with the augmentation techniques on different low-resource settings with mBERT and XLM$\mathrm{R}$ pre-trained models. From the results of the experiments, we show that this easy method can improve the low-resource cases for code-mixing sentences. For the extremely low-resource case for XLM-R, it can boost the performance by 10.82 for the Hindi-English code-mixing dataset in the case that only 1206 sentences were used. This technique becomes a strong baseline for future studies on different augmentation techniques in this domain.

## References

[1] Shuyue Stella Li and Kenton Murray. Language agnostic code-mixing data augmentation by predicting linguistic patterns. arXiv preprint arXiv:2211.07628, 2022.

[2] Connor Shorten and Taghi M Khoshgoftaar. A survey on image data augmentation for deep learning. Journal of Big Data, Vol. 6, No. 1, pp. 1-48, 2019.

[3] Aggelina Chatziagapi, Georgios Paraskevopoulos, Dimitris Sgouropoulos, Georgios Pantazopoulos, Malvina Nikandrou, Theodoros Giannakopoulos, Athanasios Katsamanis, Alexandros Potamianos, and Shrikanth Narayanan. Data augmentation using gans for speech emotion recognition. In Interspeech, pp. 171-175, 2019.

[4] Steven Y Feng, Varun Gangal, Jason Wei, Sarath Chandar, Soroush Vosoughi, Teruko Mitamura, and Eduard Hovy. A survey of data augmentation approaches for nlp. In Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021, pp. 968-988, 2021.

[5] Sosuke Kobayashi. Contextual augmentation: Data augmentation by words with paradigmatic relations. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers), pp. 452-457, 2018.

[6] Jason Wei and Kai Zou. Eda: Easy data augmentation techniques for boosting performance on text classification tasks. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 63826388, 2019.

[7] Rico Sennrich, Barry Haddow, and Alexandra Birch. Improving neural machine translation models with monolingual data. In Proceedings of the 54th Annual Meet-
ing of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 86-96, 2016.

[8] Gözde Gül Şahin and Mark Steedman. Data augmentation via dependency tree morphing for low-resource languages. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 50045009, 2018.

[9] Bosheng Ding, Linlin Liu, Lidong Bing, Canasai Kruengkrai, Thien Hai Nguyen, Shafiq Joty, Luo Si, and Chunyan Miao. Daga: Data augmentation with a generation approach for low-resource tagging tasks. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 6045-6057, 2020.

[10] Xiang Dai and Heike Adel. An analysis of simple data augmentation for named entity recognition. In Proceedings of the 28th International Conference on Computational Linguistics, pp. 3861-3867, 2020.

[11] Abhirut Gupta, Aditya Vavre, and Sunita Sarawagi. Training data augmentation for code-mixed translation. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 5760-5766, 2021.

[12] Adithya Pratapa, Gayatri Bhat, Monojit Choudhury, Sunayana Sitaram, Sandipan Dandapat, and Kalika Bali. Language modeling for code-mixing: The role of linguistic theory based synthetic data. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1543-1553, 2018

[13] Haoran Xu, Seth Ebner, Mahsa Yarmohammadi, Aaron Steven White, Benjamin Van Durme, and Kenton Murray. Gradual fine-tuning for low-resource domain adaptation. In Proceedings of the Second Workshop on Domain Adaptation for NLP, pp. 214-221, 2021.

[14] Thamar Solorio, Elizabeth Blair, Suraj Maharjan, Steven Bethard, Mona Diab, Mahmoud Ghoneim, Abdelati Hawwari, Fahad AlGhamdi, Julia Hirschberg, Alison Chang, and Pascale Fung. Overview for the first shared task on language identification in code-switched data. In Proceedings of the First Workshop on Computational Approaches to Code Switching, pp. 62-72, Doha, Qatar, October 2014. Association for Computational Linguistics.

[15] Deepthi Mave, Suraj Maharjan, and Thamar Solorio. Language identification and analysis of code-switched social media text. In Proceedings of the Third Workshop on Computational Approaches to Linguistic CodeSwitching, pp. 51-61, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[16] Gustavo Aguilar, Sudipta Kar, and Thamar Solorio. LinCE: A Centralized Benchmark for Linguistic Codeswitching Evaluation. In Proceedings of The 12th Language Resources and Evaluation Conference, pp. 1803-1813, Marseille, France, May 2020. European Language Resources Association.

[17] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[18] Alexis Conneau, Kartikay Khandelwal, Naman Goyal, Vishrav Chaudhary, Guillaume Wenzek, Francisco Guzmán, Édouard Grave, Myle Ott, Luke Zettlemoyer, and Veselin Stoyanov. Unsupervised cross-lingual representation learning at scale. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 8440-8451, 2020.

[19] Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization. In International Conference on Learning Representations, 2018.

[20] John Morris, Eli Lifland, Jin Yong Yoo, Jake Grigsby, Di Jin, and Yanjun Qi. Textattack: A framework for adversarial attacks, data augmentation, and adversarial training in nlp. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 119-126, 2020.


# 多言語事前学習モデルを前提とした 非英語間ピボット翻訳の特徵調査

今村 賢治隅田英一郎
国立研究開発法人情報通信研究機構
\{kenji.imamura, eiichiro.sumita\}@nict.go.jp

## 概要

多言語翻訳モデルは、複数の言語を一つのモデル で扱えるようにしたものであるが、学習していない 言語対（ゼロショット翻訳）の翻訳品質は非常に悪 い。一方、ピボット翻訳は英語等のピボット言語を 介して原言語 $セ$ ピボット $\rightarrow$ 目的言語の翻訳を行う方法で、原言語と目的言語の直接対訳がなくても機械翻訳を行うことができる。

本稿では、多言語モデルを用いてピボット翻訳を 行い、直接翻訳と比較する。また、逆翻訳で生成し た疑似対訳で多言語モデルをファインチューニング することで、直接対訳がなくても翻訳品質を向上で きることを示す。

## 1 はじめに

多言語ニューラルネットワークモデルは、複数の 言語を一つのモデルで学習させたもので、機械翻訳 や言語横断処理に有効である。処理対象に類似した 言語（たとえば、同じ言語属のもの）もリソースと して活用することで、低リソースでも処理対象言語 の精度を向上させられるという利点がある。1) 機械翻訳の場合、原言語と目的言語の組み合わせで翻訳 を行うため、言語特化モデルでは組み合わせ数のモ デルを用意しなければならない。多言語モデルを用 いると、さまざまな言語対を一つのモデルで扱える ため、管理が容易となる。そのため、対訳コーパス で事前学習したエンコーダ・デコーダモデルもいく つか公開されている。

たとえば、OPUS-100 コーパスを事前学習した多言語翻訳モデル $[1]^{2)}$ が公開されている。これは、

100 言語と英語間の翻訳モデル（いわゆる英語中心 English-Centric モデル）である。M2M-100 モデル $[2]^{3)}$ の対象も 100 言語であるが、英語以外の対訳 コーパスを追加することで、 2,200 方向の事前学習 を行っている。なお、mBART $[3,4]$ もエンコーダ. デコーダ型の事前学習モデルだが、これは単言語 コーパスだけで訓練されている。

100 言語を翻訳対象とした場合、のべ 9,900 方向 の翻訳を行う可能性があるが、多言語翻訳モデルを 用いても、対訳コーパスで学習されていない言語対 （ゼロショット翻訳 [5] と呼ばれている）の翻訳品質 は非常に悪く、実用に適さない場合が多い。

対訳コーパスの入手が困難な言語対で、ある程度精度のよい翻訳を実現する方法として、ピボット翻訳 [6] がある。これは、原言語と目的言語の間にピ

ボット言語 $\rightarrow$ 目的言語を実現する (図 1(a))。ピボッ トには、対訳コーパスが豊富な言語が有利なため、英語が用いられることが多い。ピボット翻訳は統計翻訳でよく利用されていたが、ニューラル機械翻訳 にも適用可能である。多言語事前学習モデルにピ ボット翻訳を適用することで、対訳コーパスが存在 しない言語間 (ゼロリソース言語。主に非英語間) の翻訳であっても、 1 つのモデルで実用的な翻訳が 実現できる。

本稿では、ゼロリソース言語対に対して、多言語事前学習モデルを用いたピボット翻訳を適用し、翻訳品質の測定と、逆翻訳を併用した品質向上法につ いて議論する。

## 2 本稿の多言語事前学習モデル

今回、CC-100 コーパス $[7,8]$ と、OPUS-100コー パス $[9,10]$ または CCAligned v1 コーパス [11] がカ バーする 103 言語に対応した英語中心モデルを新た

表 1 コーパスサイズ

 & テスト \\

ASPEC-JC & 669,923 & 2,090 & 2,107 \\

に訓練した。CC-100 は単言語コーパス、OPUS-100 と CCAligned は対訳コーパスである。いずれも Web のクロールデータを基にしている。

構築方法は以下のとおりである。

1. まず、[12]の方法を踏襲し、mBART-50 [3] モデ ルの単語埋込を、CC-100コーパスがカバーす る 109 言語に拡張した。拡張部分はランダム初期化している。

2. 次に、CC-100コーパスを用いて、上記モデル に対してノイズ除去の追加訓練した。この訓練 は、mBART-50 の訓練と同じである。

3. その後、OPUS-100とCCAligned コーパスのう ち、英語 ↔外国語対訳を用いて、モデルを追加訓練した。言語対によって、コーパスサイズ に大きな差があるため、温度サンプリング [13] を行い、コーパスサイズが大きな言語対はダウ ンサンプリング、小さな言語対はアップサンプ リングしながら訓練した（温度係数 $T=0.7$ )。

作成されたモデルは、基本的には mBART-50 と同 じ構造なので、エンコーダ、デコーダはそれぞれ 12 層、埋込 1,024 次元、FFN4,096 次元、 16 ヘッド、単語埋込は 25 万語である。なお、mBART-50 は、原言語と目的言語を言語タグという形で指定するため、本モデルも翻訳時に原言語、目的言語が明確になっ ている必要がある。

本モデルの訓練コーパスサイズ（一部）と、3 節 で用いる ALTコーパスの言語と英語間の翻訳品質 を付録に示す。

## 3 翻訳実験

本稿では、外国語と日本語間翻訳について実験を 行う。

## 3.1 実験設定

## 3.1.1 コーパス

今回は、ゼロリソース言語と、直接対訳が存在し た場合を比較するため、以下の対訳コーパスを利用した。コーパスサイズを表 1 に示す。なお、訓練直接翻訳

ピボット翻訳

(a) 翻訳方式

## 基本モデル

2節のモデルを

そのまま使用

## $+X X \rightarrow$ Enモデル

ピボットの前半部を強化

(b) モデル

## +直接対訳モデル

ピボットを経由せずに 直接翻訳を強化

## $+E n \rightarrow X X$ モ゙ルル

ピボットの後半部を強化

図 1 翻訳方式とモデル

セットは、著しく長さが異なる対訳を取り除いたあ とのサイズである。

低リソース言語の実験では、Asian Language Treebank (ALT) Parallel コーパス [14] ${ }^{4}$ を使用した。 これは、英語 $(\mathrm{En}) 、 日$ 本語 $(\mathrm{Ja})$ の他、ベンガル語

語 (Lo)、マレー語 $(\mathrm{Ms})$ 、ミャンマー語 $(\mathrm{My})$ 、タイ語 $(\mathrm{Th}) 、$ タガログ語 $(\mathrm{Tl}) 、$ 、ベトム語 $(\mathrm{Vi})$ 、中国語簡体字 $(\mathrm{Zh})$ をカバーする多言語コーパスである。同 じ英語 Wikinews の文を各言語に翻訳しているため、英語以外の言語間でも対訳となっているのが特徴で ある。実験は、日本語と英語以外の外国語間の翻訳 について行う。

中リソース言語の実験では、ASPEC-JC[15]5)を使用する。これは日本語 $(\mathrm{Ja})$ と中国語 $(\mathrm{Zh})$ の対訳コー パスで、科学技術文献を基にしている。対応する英語はない。主として、逆翻訳の有効性を確認するた めに使用する。

## 3.1.2 比較方式・翻訳システム

本稿では、直接翻訳とピボット翻訳の比較を行う (図 1(a))。その際、使用するモデルは、2 節の多言語事前学習モデルをそのまま使用する場合を基本

モデルとし、それを対訳コーパスでファインチュー ニングしたモデルの翻訳結果と比較する (図 1(b))。 ファインチューニングは、以下の対訳コーパスを用 いて行った。

## - +直接対訳:

外国語 ↔ 日本語対訳でファインチューニング した場合。ピボットを経由してないため、翻訳方式は直接翻訳となる。6)

## - $+\mathbf{X X \rightarrow$ En:}

外国語 $\rightarrow$ 英語対訳でファインチューニングし た場合。ピボット翻訳の前半部を強化した状態 となる。なお、ピボット翻訳の後半部は基本モ デルを使用する。

## - +En $\rightarrow \mathbf{X X :$}

英語 $\rightarrow$ 外国語対訳でファインチューニングし た場合。ピボット翻訳の後半部を強化した状態 となる。ピボット翻訳の前半部は基本モデルを 使用する。

ピボット翻訳を用いると、ゼロリソース言語対で も機械翻訳を行うことができるので、直接対訳コー パス（人手翻訳）以外にも、目的言語のコーパスを ピボット経由で逆翻訳した疑似対訳を用いてファイ ンチューニングすることもできる。本稿では、人手翻訳と逆翻訳で作成した疑似対訳の比較も行う。な お、原言語から作成した疑似対訳は本稿では順翻訳 と呼ぶ。逆翻訳は単語サンプリング $[17,18]$ を使っ て、目的言語 1 文に対して 1 つの疑似原文を生成し た。順翻訳は、翻訳品質が直接最終翻訳品質に影響 するため、1 ベスト訳を使用した。

## 3.1.3 その他の実験設定

ファインチューニングとテスト時のハイパーパラ メータを表 2 に示す。

評価は sacreBLEU [19] で行った。ミャンマー語な ど、トークナイザーが対応していない言語は BLEU [20] で評価するのが不適切な場合もあるため、トー クナイザー非依存の評価方法である ChrF [21] の評価結果を併記する。

## 3.2 実験結果

ALT コーパスによる実験結果を表 3、ASPEC-JC コーパスによる実験結果を表 4 に示す。なお、ALT

6）ファインチューニングしていない言語は catastrophic forgetting 現象 [16] により翻訳品質が著しく低下するため、ピ ボット翻訳は適用できない。表 2 ハイパーパラメータ一覧

コーパスの結果は外国語 $\leftrightarrow$ 日本語の結果の平均值 を示している。

## 3.2.1 ピボット翻訳 vs. 直接翻訳

ALT コーパスも、ASPEC-JC コーパスも、言語方向によらず、基本モデルで直接翻訳した結果 (No. 1) は非常に低い値となっている。これはゼロショット 翻訳となっているためである。しかし、同じモデル でピボット翻訳を使う (No. 2) と、 12 ポイント以上 の BLEU スコアで翻訳することができ、ゼロリソー ス言語でもある程度の翻訳品質が確保できる。直接対訳でファインチューニングすると（No. 5a)、No. 2 に比べも ALT コーパスで 3 ポイント 以上、ASPEC-JCコーパスでは 18 ポイント以上、 BLEU スコアが向上する。ALT コーパスは 1.8 万文 しかファインチューニングに使用していないので、翻訳品質向上を目指すなら、できる限り直接対訳を 整備すべきである。

## 3.2.2ピボット翻訳の前半部と後半部

表 3 の No. 3a、4a はそれぞれ基本モデルの一部の 言語を対訳コーパスでファインチューニングしたも のである。No. 3a はピボットの前半部、No. $4 \mathrm{a}$ は後半部を強化したことに相当する。

No. 2 と No.3a は、大きな差異がないが、No. 4a は BLEU スコアが 3 ポイント程度向上している。つま り、ピボット翻訳の前半部と後半部では、後半部を 強化した方が、効率的に品質を向上させることがで きた。これは、基本モデルが Web から取得したコー パスで学習されているおり、ドメインが異なってい るためで、ピボット後半をドメイン適応させること で品質向上したものと考えられる。
表 3 ALTコーパスの翻訳結果。太字はモデル・翻訳方式で最高品質を表す。

表 4 ASPEC-JC コーパスの翻訳結果。太字はモデル・翻訳方式で最高品質を表す。

## 3.2.3機械翻訳によるデー夕拡張

表 3、表 4 の No. 3a, 4a, 5a は、人手翻訳による対訳コーパスでファインチューニングしたモデル、 No. 3b, 4b, 5b は、機械翻訳（逆翻訳または順翻訳） で作成した疑似対訳でファインチューニングしたモ デルによる結果である。

ピボット翻訳のベースライン (No. 2) と比べると、 ピボットの前半部を疑似対訳で強化 (No. 3b) して も、翻訳品質はほとんど変わらない。

一方、逆翻訳で作成した疑似対訳でピボットの後半部を強化 (No. 4b) したり、直接対訳でファイン チューニングすると (No. 5b)、ベースラインより大幅に翻訳品質を向上させることができる。人手翻訳 (No. 5a) の翻訳品質には到達できないが、逆翻訳は 目的言語の単言語コーパスがあれば可能である。単言語コーパスが豊富にあるならば、ゼロリソース言語対でも、（疑似）直接対訳をピボット逆翻訳で作成しファインチューニングすれば、効率的に翻訳品質を向上させることができると考えられる。

## 4 まとめ

ピボット翻訳はゼロリソース言語対でも翻訳が可能である。目的言語の単言語コーパスがあれば、逆翻訳により疑似対訳コーパスを生成することがで きるので、ゼロリソース状態でも翻訳品質を向上さ せることができる。翻訳品質そのものは直接翻訳の 方が高いため、実用システムを目指すなら、直接対訳コーパスを充実させるべきであるが、直接翻訳が実現できない場合でも、これに準じる性能を実現で きるピボット翻訳は有用である。さらに、機械翻訳 を新しい言語対に拡張する際、翻訳結果を確認した り、逆翻訳で作成した疑似対訳を後編集することで 直接対訳作成の補助にも利用できる。

ピボット翻訳と直接翻訳を適切に使い分けなが ら、多言語化を進める予定である。

## 謝辞

本件は、総務省の「ICT 重点技術の研究開発プロ ジェクト (JPMI00316)」における「多言語翻訳技術 の高度化に関する研究開発」による委託を受けて実施した研究開発による成果です。

## 参考文献

[1] Biao Zhang, Philip Williams, Ivan Titov, and Rico Sennrich. Improving massively multilingual neural machine translation and zero-shot translation. arXiv e-print, 2004.11867, 2020.

[2] Angela Fan, Shruti Bhosale, Holger Schwenk, Zhiyi Ma, Ahmed El-Kishky, Siddharth Goyal, Mandeep Baines, Onur Celebi, Guillaume Wenzek, Vishrav Chaudhary, Naman Goyal, Tom Birch, Vitaliy Liptchinsky, Sergey Edunov, Edouard Grave, Michael Auli, and Armand Joulin. Beyond english-centric multilingual machine translation. arXiv e-print, 2010.11125, 2020.

[3] Yinhan Liu, Jiatao Gu, Naman Goyal, Xian Li, Sergey Edunov, Marjan Ghazvininejad, Mike Lewis, and Luke Zettlemoyer. Multilingual denoising pre-training for neural machine translation. Transactions of the Association for Computational Linguistics, Vol. 8, pp. 726-742, 2020.

[4] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan

Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7871-7880, Online, July 2020. Association for Computational Linguistics.

[5] Melvin Johnson, Mike Schuster, Quoc Le, Maxim Krikun, Yonghui Wu, Zhifeng Chen, Nikhil Thorat, Fernanda Viégas, Martin Wattenberg, Greg Corrado, Macduff Hughes, and Jeffrey Dean. Google's multilingual neural machine translation system: Enabling zero-shot translation. Transactions of the Association for Computational Linguistics, Vol. 5, No. 0, pp. 339-351, 2017.

[6] Masao Utiyama and Hitoshi Isahara. A comparison of pivot methods for phrase-based statistical machine translation. In Human Language Technologies 2007: The Conference of the North American Chapter of the Association for Computational Linguistics; Proceedings of the Main Conference, pp. 484-491, Rochester, New York, April 2007.

[7] Alexis Conneau, Kartikay Khandelwal, Naman Goyal, Vishrav Chaudhary, Guillaume Wenzek, Francisco Guzmán, Edouard Grave, Myle Ott, Luke Zettlemoyer, and Veselin Stoyanov. Unsupervised cross-lingual representation learning at scale. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 8440-8451, Online, July 2020. Association for Computational Linguistics.

[8] Guillaume Wenzek, Marie-Anne Lachaux, Alexis Conneau, Vishrav Chaudhary, Francisco Guzmán, Armand Joulin, and Edouard Grave. CCNet: Extracting high quality monolingual datasets from web crawl data. In Proceedings of the Twelfth Language Resources and Evaluation Conference, pp. 4003-4012, Marseille, France, May 2020. European Language Resources Association.

[9] Roee Aharoni, Melvin Johnson, and Orhan Firat. Massively multilingual neural machine translation. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 3874-3884, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[10] Jörg Tiedemann. Parallel data, tools and interfaces in opus. In Nicoletta Calzolari (Conference Chair), Khalid Choukri, Thierry Declerck, Mehmet Uğur Doğan, Bente Maegaard, Joseph Mariani, Asuncion Moreno, Jan Odijk, and Stelios Piperidis, editors, Proceedings of the Eight International Conference on Language Resources and Evaluation (LREC'12), Istanbul, Turkey, may 2012. European Language Resources Association (ELRA).

[11] Ahmed El-Kishky, Vishrav Chaudhary, Francisco Guzmán, and Philipp Koehn. CCAligned: A massive collection of cross-lingual web-document pairs. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 5960-5969, Online, November 2020. Association for Computational Linguistics.
[12] Zihan Wang, Karthikeyan K, Stephen Mayhew, and Dan Roth. Extending multilingual BERT to low-resource languages. In Findings of the Association for Computational Linguistics: EMNLP 2020, pp. 2649-2656, Online, November 2020. Association for Computational Linguistics.

[13] Naveen Arivazhagan, Ankur Bapna, Orhan Firat, Dmitry Lepikhin, Melvin Johnson, Maxim Krikun, Mia Xu Chen, Yuan Cao, George Foster, Colin Cherry, Wolfgang Macherey, Zhifeng Chen, and Yonghui Wu. Massively multilingual neural machine translation in the wild: Findings and challenges. arXiv e-print, 1907.05019, 2019.

[14] Hammam Riza, Gunarso Michael Purwoadi, Teduh Uliniansyah, Aw Ai Ti, Sharifah Mahani Aljunied, Luong Chi Mai, Vu Tat Thang, Nguyen Phuong Thai, Vichet Chea, Rapid Sun, Sethserey Sam, Sopheap Seng, Khin Mar Soe, Khin Thandar Nwet, Masao Utiyama, and Chenchen Ding. Introduction of the asian language treebank. In Oriental COCOSDA, 2016.

[15] Toshiaki Nakazawa, Manabu Yaguchi, Kiyotaka Uchimoto, Masao Utiyama, Eiichiro Sumita, Sadao Kurohashi, and Hitoshi Isahara. ASPEC: Asian scientific paper excerpt corpus. In Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC'16), pp. 2204-2208, Portorož, Slovenia, May 2016. European Language Resources Association (ELRA).

[16] Ian J. Goodfellow, Mehdi Mirza, Da Xiao, Aaron Courville, and Yoshua Bengio. An empirical investigation of catastrophic forgetting in gradient-based neural networks. arXiv preprint, 2013.

[17] Kenji Imamura, Atsushi Fujita, and Eiichiro Sumita. Enhancement of encoder and attention using target monolingual corpora in neural machine translation. In Proceedings of the 2nd Workshop on Neural Machine Translation and Generation, pp. 55-63, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[18] Sergey Edunov, Myle Ott, Michael Auli, and David Grangier. Understanding back-translation at scale. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 489-500, Brussels, Belgium, October-November 2018. Association for Computational Linguistics.

[19] Matt Post. A call for clarity in reporting BLEU scores. In Proceedings of the Third Conference on Machine Translation: Research Papers, pp. 186-191, Brussels, Belgium, October 2018. Association for Computational Linguistics.

[20] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[21] Maja Popović. chrF: character n-gram F-score for automatic MT evaluation. In Proceedings of the Tenth Workshop on Statistical Machine Translation, pp. 392-395, Lisbon, Portugal, September 2015. Association for Computational Linguistics.
表 5 基本モデルの訓練コーパスと英語間翻訳品質

## A 基本モデルの英語 $\leftrightarrow$ 外国語間翻訳品質

本稿で対象とした言語について、基本モデルの訓練コーパスサイズと、英語間翻訳品質を表 5 に示 す。CC-100 は単言語コーパスの文数、OPUS-100と CCAligned は英語 ↔外国語間の対訳文数である。

翻訳品質は、ALT コーパステストセットについ て、基本モデルで翻訳したもである。翻訳方式は直接翻訳を使用した。なお、表中の‡は、sacreBLEU のトークナイザーが非対応かつスペース区切りが （ほぼ）ない言語を表す。†はトークナイザーが非対応だが、スペース区切りがある言語を表す。


# NMT による複文翻訳における単文対訳学習文の利用

丸山京祐 ${ }^{1}$ 村上仁一 2
1 鳥取大学工学部電気情報系学科
2 鳥取大学工学部
${ }^{1}$ b19t2110u@edu.tottori-u.ac.jp
${ }^{2}$ murakami@tottori-u.ac.jp

## 概要

NMT を使った複文翻訳においては複文対訳文を 学習して翻訳する。しかし, 多くの複文対訳文を集 めることには限界がある．艺こで，複文対訳文だけ でなく, 単文対訳文を学習に使用することで複文翻訳の精度を向上させることを考えた .

本論文では，複文翻訳の学習文に複文対訳文だけ でなく，単文対訳文も同時に学習した結果を示す。

## 1 はじめに

NMT において翻訳する文と同じ分野の文を学習 することが望ましいとされている [1] . 光のため，複文翻訳においては複文対訳文を学習して翻訳す る.しかし, 多くの複文対訳文を集めることには限界がある。そとで，複文対訳文だけでなく単文対訳文を学習に使用することで複文翻訳の精度を上げ ることを考えた . 複文は単文の組み合わせの構造に なっている. ぞため, 単文の学習が翻訳の精度向上に影響すると考えている。

本論文では，NMT を使用して複文翻訳するとき の単文対訳文の量の影響を調査する。

## 2 提案手法

複文は複数の単文を組み合わせた構造になってい る. そのため，複文学習文に単文を追加することで 複文翻訳の精度向上ができると考えた。

本研究では，以下の手法を提案する。

1. 複文対訳学習文と単文対訳学習文を合わせた コーパスを作成

2. 作成したコーパスを NMT で学習

3. 学習した NMT で複文テスト文を翻訳

## 3 実験

本実験では，OpenNMT-py[2]を用いて翻訳実験を 行う.

NMT に複文対訳学習文 9 万文のみを学習したモ デルと半分の 4 万 6 千文のみ学習したモデルを作成 し複文テスト文を翻訳する。光して，光れ光れの複文対訳学習文に単文対訳学習文を 2 万文，4万文， 8 万文，16万文を加えてモデルを作成し，光れ光れの モデルで複文テスト文を翻訳する。

## 3.1 実験データ

実験には，電子辞書などの例文より抽出したコー パス [3]を用いる.使用するデータの内訳を表 1 に 示す.

表 1 実験データ

表 2 に単文対訳学習文の例文を示す. 表 3 に複文対訳学習文の例文を示す. 表 4 に複文テスト文の例文を示す.

表 2 単文対訳学習文の例文

 \\

表 3 複文対訳学習文の例文

 &  \\

表 4 複文テスト文の例文

その国はこの戦いを前から予知して光れ に備えてきた。

彼らは、わがXYZ 社への訪問中、当社が 完全にオープンで協力的であつたことに同意するでしょう。

## 4 実験結果

## 4.1 自動評価結果

複文のテスト文 9243 文の翻訳結果の出力文に対 して自動評価指標 BLEU[4]による自動評価を行っ た. 表 5 に複文 9 万文に単文を加えた学習の自動評価結果を示す. 表 6 に複文 4 万 6 千文に単文を加え た学習の自動評価結果を示す.

表 5 複文 9 万文に単文を加えた学習の自動評価結果

表 6 複文 4 万 6 千文に単文を加えた学習の自動評価結果

表 5,6 より, 複文に単文を加えるほど精度は向上していくことがわかる.

## 4.2 出力結果の例文

複文対訳学習文 9 万文に単文対訳学習文を加えて 学習する実験の出力結果の例文を示す. 表 7 に翻訳精度が向上した例文を示す. 表 8 に翻訳精度が低下 した例文を示す。表 7 翻訳精度が向上した例

 \\

表 8 翻訳精度が低下した例

 \\

## 4.3 人手評価結果

複文テスト文 9243 文を翻訳した結果から 100 文 を抽出し，人手による対比較評価を行った . 評価者

は著者 1 名である. 表 9 に複文対訳学習文 9 万文の みの結果と学習文に単文対訳学習文 16 万文を加え た結果を比較した結果を示す。

表 9 複文 9 万文, 複文 9 万文 + 単文 16 万文の対比較評価

表 9 から，複文 9 万文のみの結果より単文 16 万文を加えた結果の方が良い結果となっていることが 示された。

## 4.4 実験のまとめ

実験結果より，複文対訳学習文に単文対訳学習文 を多く加えて学習するほど複文翻訳の精度が向上す ることがわかる .

## 5 考察

5.1 学習文が単文対訳学習文のみの複文翻訳の精度

複文対訳学習文の必要性を確認するため，単文対訳学習文のみを学習した場合の複文翻訳の精度を示 す.

## 5.1.1 出力結果の例文

学習文が単文対訳学習文のみの出力結果の例文を 表 10 に示す.

表 10 単文対訳学習文のみの出力例

 \\

## 5.1.2 自動評価結果

複文のテスト文 9243 文を入力文として翻訳実験 を行い, 出力文に対して自動評価指標 BLEU による 自動評価を行った。

表 11 単文対訳学習文のみの自動評価結果

表 11 より, 単文対訳学習文のみでは複文翻訳の 精度がかなり低いことがわかる. 表 5,6 の結果と 比較すると，複文対訳学習文の量が単文対訳学習文 よりも精度に対する影響が大きいことがわかる．

## 5.2 BLEU 値の考察

複文対訳学習文のみの学習の結果と単文対訳学習文を加えた結果において，自動評価の有用性を調へ る.光のために，BLEU 値の近い複文対訳学習文 9 万文の結果と複文対訳学習文 4 万 6 千文に単文対訳学習文 8 万文を加えた結果を人手で比較する。

## 5.2.1 出力結果の例文

複文対訳学習文 9 万文の結果と複文対訳学習文 4 万 6 千文に単文対訳学習文 8 万文を加えて実験した ときの出力結果の例文を示す. 複文対訳学習文 9 万文の結果が良い例を表 12 に示す.また，複文対訳学習文 4 万 6 千文に単文 8 万文を加えた結果が良い 例を表 13 に示す。

表 12 複文対訳学習文 9 万文の結果が良い例

 \\

表 13 複文対訳学習文 4 万 6 千文 + 単文 8 万文の結果が 良い例

 \\

## 5.2.2 人手評価結果

複文テスト文 9243 文を翻訳した結果から 100 文 を抽出し，人手による対比較評価を行った. 評価者 は著者 1 名である.表 14 に複文対訳学習文 9 万文 のみの結果と複文対訳学習文 4 万 6 千文に単文対訳学習文 8 万文を加えた結果を対比較評価した結果を 示す.

表 14 複文 9 万文, 複文 4 万 6 千文 + 単文 8 万文の対比較
評価

表 14 から, 人手評価では複文 9 万文のみの結果 の方が少し良い結果となっていることがわかる．表 12の1つ目に示す例文のように出力単語は良く見え る.しかし，文全体では意味がおかしい．このよう な出力結果が複文 4 万 6 千文 + 単文 8 万文では比較的多く見られた．このことが自動評価と人手評価の 結果の違いになっていると考えられる。

## 6 おわりに

本研究では，NMT による複文翻訳において複文対訳学習文と単文対訳学習文光れ光れを学習した翻訳と複文対訳学習文に単文対訳学習文を加えて学習 し翻訳をした。

光の結果，複文翻訳において以下のことがわ
かった

・複文対訳学習文に単文対訳学習文を加えること で翻訳精度が向上する

・複文対訳学習文の量は単文対訳学習文よりもさ らに翻訳精度に大きく影響する

・複文対訳学習文のみと単文対訳学習文を加えた 学習文の比較において, 単語よりも文全体の意味か間違うことが比較的多くなるので, 自動評価が参考になりにくい

今後の研究では, 本研究で使用した NMT のモデ ルとは異なる翻訳モデルについての調査を行う．

## 参考文献

[1] Rui Wang, Masao Utiyama, Andrew Finch, Lemao Liu, Kehai Chen, and Eiichiro Sumita. Sentence selection and weighting for neural machine translation domain adaptation. IEEE/ACM Transactions on Audio, Speech, and Language Processing, Vol. 26, No. 10, pp. 1727-1741, 2018.

[2] Opennmt - open-source neural machine translation, 2017. https://opennmt.net/.

[3] 村上仁一. 日英対訳データベースの作成のための 1 考察. 言語処理学会第 17 回年次大会発表論文集, D4-5, pp. 979-82, 2011.

[4] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th annual meeting of the Association for Computational Linguistics, pp. 311-318, 2002.


# 翻訳における文パターンの利用

深谷諒 1 村上仁一 ${ }^{2}$
1 鳥取大学工学部電気情報系学科
2 鳥取大学工学部
1b19t2092k@edu. tottori-u.ac.jp
${ }^{2}$ murakami@tottori-u.ac.jp

## 概要

NMT の翻訳は単語ごとに行う傾向にある.光の ため，文全体を考えず翻訳することになり，間違っ た翻訳になることがある. 光れを要素合成法の問題 という．光こで本研究では，文全体を考えて翻訳す るために NMT の学習データに文パターンを追加す ることを考えた . 実験の結果 , 文パターンを追加し たほうが精度がわずかに向上した。

## 1 はじめに

近年，機械翻訳の 1 つに NMT がある.しかし NMT は単語ごとに翻訳する傾向にある. 光こで本研究は NMT に文パターンを追加することにより，翻訳精度の向上を試みる . 文パターンを追加するこ とにより，単語ごとの部分的な翻訳ではなく, 文全体を考えた翻訳ができると考えられる。

## 2 要素合成法の問題

NMT を用いて文を翻訳する際，単語ごとに翻訳 すると間違った訳になる場合がある．例を以下の表 1 に示す.

この出力文は，"通した"を"passed"，"我"を"me"と 単語ごとに訳しているため間違いが起きている.こ のように英文を単語ごとに訳し，間違った翻訳にな ることを要素合成法の問題という．

## 3 文パターン

文パターンとは，変数を用いてパターン化された 文である. 本研究の文パターンは, 対訳学習文から 自動抽出した変数が 1 つのものを用いる（森本 [1] 参照) . 文パターンの作成の方法を以下に示す.また，文パターンの例を表 2 に示す。

手順 1 GIZA++[2]を用いて対訳学習文から翻訳確率を得る.光して任意の対訳学習文と翻訳確率から，対訳単語を作成する。

手順 2 任意の対訳学習文から対訳単語を変数化 し，対訳文パターンを作成する。

手順 3 任意の対訳学習文から対訳文パターンの変数部を抽出し，対訳句とする。

手順 4 手順 3で作った対訳句から, 対訳文パター ンを生成する。

手順 5 もう一度任意の対訳学習文から対訳文パ ターンの変数部を抽出し，対訳句とする。

手順 6 最後に対訳句から 1 変数の対訳文パターン を抽出する。

## 4 提案手法

単語ごとの翻訳ではなく，文全体を考えて文パ ターンを追加することによって, 要素合成法の問題 が解決され，翻訳精度が向上すると考える. 文パ ターンを追加する流れと手順を以下に示す．

図 1 提案手法の流れ

手順 1 対訳学習文に文パターンを追加して，新た な学習データを作る。

手順 2 手順 1 のデータをNMT で学習する.

手順 3 手順 2 で学習した NMT モデルを使って翻訳を行う。

## 5 実験

## 5.1 実験手順

手順 1 NMT に単文対訳学習文約 16 万文を学習 する.

手順 21 で学習した NMT モデルを用い，テスト 文を翻訳しベースラインとする。

手順 3 対訳学習文に変数が 1 つの文パターン 65 万パターンを追加し，新たな学習データを 作る.

手順 43 の学習データを使って NMT で学習 する.

手順 54 で学習させた NMT モデルを用い，テス ト文を翻訳し提案手法とする。

手順 6 提案手法とベースラインを比較して自動評価 (BLEU, METEOR, RIBES, TER) を行う .

手順 7 出力文からランダムに選んだ 100 文につ いて提案手法とベースラインを比較して人手評価を行う。

## 5.2 実験条件

本研究では，OpenNMT[3] を用いて日英ニューラ ル機械翻訳を行う。

## 5.3 実験データ

実験に用いるデータの内訳を表 3 に示す．表 3 実験データ

## 6 実験結果

## 6.1 自動評価結果

テスト文約 1 万 6 千文を入力文として翻訳実験 を行い，出力文に対して自動評価を行った. 表 4 に，自動評価 (BLEU, METEOR, RIBES, TER) の結果を示 す.

表 4 自動評価の比較

表 4 の結果より，自動評価ではベースラインと比較して提案手法の精度が良いことがわかった．

## 6.2 人手評価結果

出力文からランダムに選んだ 100 文を用い, 人手 による対比較評価を行った。評価結果を表 5 に示 す. 表 5 の結果は, 4 名が同じ 100 文を評価し, 光 の結果をまとめた. 以下の表 5 では 4 名の被験者を 光れ光れ被験者 $\mathrm{A}$, 被験者 $\mathrm{B}$, 被験者 $\mathrm{C}$, 被験者 $\mathrm{D}$ とし以下では $\mathrm{A}, \mathrm{B}, \mathrm{C}, \mathrm{D}$ とする.また，評価の説明 を以下に示す。

提案手法口

提案手法とベースラインの比較した際，ベース ラインの出力文の方が入力文の意味に近い.

ベースラインロ

提案手法とベースラインを比較した際, 対訳句追加時の出力文の方が入力文の意味に近い。

互角

提案手法とベースラインを比較した際，両手法 の出力文の評価が互角 .

表 5 対比較評価の結果

表 5 の結果より，人手評価では提案手法がわずか に精度がいいことがわかった。

## 6.3 出力結果の例

ベースラインと提案手法との対比較評価におい て，提案手法○とした例を表 6,7 に示す.ベースラ イン○とした例を表 8 ，9 に示す.互角の例を表 10 ， 11 に示す.また, 表 6〜8には, 提案手法の出力結果 に影響したであろう文パターンを光れ艾れ示す。

## 6.3.1 提案手法口の例

表 6 提案手法口の例 1

 \\

表 6 の例において, "手掛かり"に対して"harbinger" という比較的近い訳が得られている提案手法を口 と した.

表 7 提案手法口 の例 2

 \\

表 7 の例において, "戦闘中"に対して"in the battle" という比較的近い訳が得られている提案手法を口 した.表 8 ベースラインロ 例 1

表 8 の例において , "flickering"より"swinging"のほ うが適していると考え, ベースラインロとした。

表 9 ベースラインロの例 2

 \\

表 9 の例において, 提案手法の後半が不要だと感 じた.よって,ベースラインロとした.

## 6.3.3 互角の例

表 10 の例において, どちらも正しい訳と判断し て，互角とした．

表 11 互角の例 2

 \\

表 11 の例において，どちらも間違った訳と判断 して，互角とした。

## 7 おわりに

本研究では, 要素合成法の問題を解決するため に，NMT の学習データに文パターンを追加した。
実験結果より，提案手法の BLEU 値が約 0.7 ポイン トベースラインを上回った．また，人手評価では提案手法がベースラインの精度をわずかに上回った．今後は , パターンを選択して追加する予定である.

## 謝辞

人手評価には，以下４名の学生の協力を得まし た. 感謝いたします. (矢野貴大，松本武尊，名村太一, 丸山京祐)

## 参考文献

[1] 森本世人 村上仁一: 類似度を利用した変換テーブルの精度向上

[2] Franz Josef Och, Hermann Ney:" A System- atic Comparison of Various Statistical Alignment Models" Computational Linguistics, pp.19-51, 2003.

[3] OpenNMT : https://pypi.org/project/OpenNMT-py/1.2.0/


# BERT を用いた多言語同時学習による疾患分類

朱晨成 Niraj Pahari 嶋田和孝
九州工業大学大学院
zhu. chencheng822@mail.kyutech.jp nirajpahari@gmail.com
shimada@ai.kyutech.ac.jp

## 概要

電子カルテが紙ベースの医療記録に代わって使用 されるようになり，医療分野における自然言語処理技術の応用が注目されている. しかし，英語以外の 言語における関連する分野のデータセットは依然と して少ない、マルチタスク学習は，データ不足の問題を緩和できるアプローチであることが示されてい る. 本研究では，BERT に基づく多言語の同時学習 モデル（MTL）を構築し，NTCIR-13 MedWeb マルチ ラベルの疾患分類タスクで精度評価を行う．シング ルタスク学習（STL）と比較した結果，MTL モデル は場合によって STL モデルを上回ることが判明し た.また，アブレーションテストによって類似性が 高い言語のバイリンガル MTL モデルにおける精度 の向上を確認した.

## 1 はじめに

医療分野でのデジタル化の進展に伴い，電子形式 の医療記録（EHR）が推進されている。それにより 大量のテキストデータが発生し，医療における自然言語処理の研究にも注目が集まっている [1]. しか し，そのドメインの特異性から，専門家によるアノ テーションが必要で時間と人件費のコストが大き く，患者のプライバシーに配慮して非公開にされる データセットも多い [2]. したがって医療ドメイン ではアノテーションされた学習用コーパスの不足が 続いている. 特に英語以外の言語で書かれたデータ ではこの傾向が強く, 関連研究の進展が遅い。この ような言語資源のアンバランスは，多言語環境に適 した技術によって克服することができる. さらに，同じタスクであれば言語を超えた共通の特徵が存在 する可能性もある．異なる言語の医学文章を解析す ることで，語の曖昧性（コロナと COVID-19など） が解消され, 各国の希少疾病の研究などの発展に貢献すると考えられる。
マルチタスク学習は，機械学習の様々な分野で利用されている [3]. 自然言語処理の研究においては,少量のラベル付きデータセットを処理し，関連する タスク間の表現を学習するためによく用いられてい る $[4,5]$. 医療分野では，固有表現抽出や関係抽出 などのタスクにマルチタスク学習を適用する研究が 盛んに行われている $[6,7,8]$. 多言語を用いた研究 においては，マルチタスク学習は主に対訳問題の解決に用いられている $[9,10]$.

本研究では，英語・日本語・中国語の 3 つの言語 の医療分野におけるマルチラベル分類タスクに対 して，BERT に基づくマルチタスク学習のフレーム ワークを流用し，同時に学習するモデルを提案する (以降 MTL と呼ぶ)。その性能をシングルタスク学習 (STL) との比較する。また，多言語 MTL モデル における言語類似度の影響を調べるために，アブ レーションテストも行う.

## 2 関連研究

マルチタスク学習は転移学習の一種である. 関連する複数のタスクから有用な情報を共有するこ とで，1 つのタスクのみを学習させるよりもより良 い結果を得られ，モデルの汎化性能も高められる [11]. Ruder [3] は，一般的に用いられているマルチ タスク学習法をハードパラメータシェアとソフト パラメータシェアの 2 種類に分類した。 ハードパラ メータシェアでは，複数のタスク間でモデルの重み を共有するが，各タスクの固有出力層を残す。これ に対して，ソフトパラメータシェアではタスクごと にそれぞれ独立したモデルと重みを持つ。学習の 時，タスク独自の重みを更新する際に，お互いの損失シグナルを重み付けながら導入できる [12].

医療分野では，マルチタスク学習が様々なタスク で幅広く活用されている. Joshi ら [13] は，BiLSTM に基づくマルチタスク学習モデルを構築し，ツイー 卜文を対象に 3 つの医療関連の分類タスクを行い，

STLより良い結果を得た. Hartmann ら [14] は, 英語，スペイン語，フランス語のデータセットを処理するために mBERT をべースとして，ハードパラ メータシェアによって多言語のマルチタスク学習 モデルを構築した. タスクには，製品レビューの否定範囲解析, 生物医学テキストの否定範囲解析, 症状の有無判断が含まれる. また, このモデルの多言語への汎化能力を評価し, 臨床テキストにおけるゼ ロショットの否定範囲解析が可能であることを示 した.

## 3 データセット

本研究では，多言語テキスト分類タスクにお ける MTL フレームワークの性能を調べるため， NTCIR-13 医学自然言語処理 Web 文書 (MedWeb) [15]を用いる. MedWeb は，人手で作成された疑似 ツイート文からなるデータセットである．作成され たツイートの原文は日本語で，著者たちがそれを英語と中国語に翻訳し，マルチリンガルのデータセッ トを作成した. ツイート一文に対して，インフルエ ンザ，下痢，花粉症，咳，頭痛，発熱，鼻水，風邪の 8 つのラベルが付与される. 表 1 に各言語の疑似ツ イートとそのラベルの例を示す. 各疾患・症状には 陽性（positive）と陰性（negative）の状態が割り当 てられ，それぞれ $\mathrm{p}$ と $\mathrm{n}$ で示される. 1 つの疑似ツ イートは複数の症状を表現している可能性があるた め，複数のラベルにポジティブなステータスが付与 される場合がある. 本研究ではこれら 8 つのラベル を同時に分類するマルチラベルタスクに取り組む.

## 4 手法

本研究では，BERTをベースモデルとして，医療分野におけるマルチラベル分類の STL モデル, 及び MTL モデルを構築する。

## 4.1 STL モデル

STL をべースラインとして，各言語のデータセッ 卜に対して，BERT モデルの様々なバリアントを用 いて，その言語独自の分類タスクを実行する. 使用 する BERT バリアントは， 5.1 節で説明する。

## 4.2 MTL モデル

ソフトパラメータシェアで MTL モデルを構築 する. 本研究では，BERT モデルに基づき，その 12 層の Transformer 隠れ層を分解する. 大きく分け
るとボトム層，中間層，トップ層である。一般に， Transformer のボトム層は最も線形な語順情報を持ち [16]，中間層は主に依存関係を捉え [17]，タスク間 の転移能力が最も強く[18]，トップ層はタスク固有 の特徴を学習している [19].

図 1 に本研究で使用する MTL モデルの概要図を 示す.フリーズ層（Freeze）は，重みを更新しない 層である. 共有層（Share）では，3つのモデルのパ ラメータを互いに共有し，3つのタスクに応じた重 みの更新を行う，固有層（Individual）は，各言語の データセットに固有の特徴を学習し，その重みは対応言語自身の分類タスクに応じて更新される. 我々 の別の研究において F-S-I の組み合わせが最も効率的であることが示されているため [20], 本研究でも この設定を採用する．BERT のボトム層をフリーズ 層，中間層を共有層，トップ層を固有層とする．最後に, 12 層の Transformer の上に線形層を追加して,各言語のマルチラベル分類を行う.

## 5 実験

## 5.1 実験設定

BERT バリアント 各言語に対して多言語事前学習モデルと言語独自のモノリンガル BERTを 用いる。なお, 多言語事前学習モデルは, mBERT [21] と LaBSE [22]を使用する。言語独自のモノ リンガル BERT について英語データセットで は bert-base-uncased ${ }^{1)}$ を，日本語データセットでは 東北大学で開発された cl-tohoku/bert-base-japanesewhole-word-masking ${ }^{2}$ を，中国語データセットでは bert-base-chinese ${ }^{3)}$ を使用する。

STL モデル各言語に対して Single $e_{m B e r t}$, Single $_{\text {LaBSE }}$, Single mono の 3 つの STL モデルを 用いる. 下付き文字の mBERT, LaBSE と mono は各言語のデータセットで利用する BERT バリアントを 示している.

MTL モデル図 1 に示すように MultimBert ,

築する．また，各 MTL モデルで F-S-I それぞれの層数を変化させ，最適なコンビネーションを探る. 初期の組み合わせは 4-4-4（フリーズ層は L1-4, 共有層は L5-8, 固有層は L9-12). さらに，1-7-4 と 1-4-7

表 1 各言語の疑似ツイートとそのラベルの付け方の例。

 & Cough & Headache & Fever &  & Cold \\

日本語分類器

mbert/LaBSE/BERT ja

Transformer 12

† ... $\uparrow$

$\uparrow$ Transformer $n+1$ Transformer $n$

$\uparrow$ Transformer $m+1$

$\uparrow$ Transformer $m$ Transformer 1 日本語データセット

## 中国語分類器

mbert/LaBSE/BERTzh

中国語データセット

図 1 MTL モデルの概要図.

の組み合わせが最も有効的であることが示されてい るため [20]，計三つの組み合わせで実験を行う.

BERT の実装 最適化アルゴリズムに AdamW, 学習率は Transformer 層を 5e-5, 線形層を 5e-3 とし，損失関数には Binary Cross Entropy を用いた. Epoch 数 は 10，過学習抑制のために EarlyStopping を用いた。各言語について，トレーニングには 1920 文，テス トには 640 文を使用する。評価指標は文中の 8 つの ラベルがすべて正しく分類されている場合のみを正解とし，精度の計算を行う。

## 5.2 実験結果

## 最適な BERT バリアントとレイヤー数の組合せ表 2 に F-S-Iレイヤー数の組み合わせが異なる場合の 3 つの MTL モデルの精度を示す. 左端の列の 数字は，実験設置のフリーズ層，共有層，固有層 の数を示す.太字は各言語での最高精度を意味す る。*は各モデルでの各言語の最高精度を意味する。 LaBSE を用いた MTL モデルで，3つの言語に対し て平均的に良い結果が得られた。また，1-7-4 層の 設定では，すべての BERT バリアントに対して，過半数の言語で最も良い精度であることがわかった. この結果は [20] と同様であり，各言語において固有表 2 異なる F-S-Iレイヤー数の組み合わせにおける 3 つ の MTL モデルの予測の完全一致精度.

層が重要であることが示されている.

STL との比較 表 2 から 1-7-4 層の設定が MTL モデルに最適な組み合わせであると考えられるた め，この設定の各 MTL モデルを用いて STL モデル との比較を行う。その結果を表 3 に示す.太字は 各言語での最高精度を意味する。まず，同じ BERT

表 3 MTL と STL の予測の完全一致精度比較.

$\Delta$ は同じ BERT バリアントを用いた MTL モデルと STL モデル の分類精度の平均差を示す

$\Delta_{\text {mono }}$ は全ての MTL モデルと Single mono の分類精度の平均差を 示す

て，言語間の分類精度の平均差を互いに比較する ( $\Delta$ ). 全体として，STLよりも MTLの方が優れてい るが，その効果は必ずしも大きくはなかった. 次 に，全ての MTL モデルをSTL モデルで最も精度

LaBSE を用いた MTL モデルのみ Single mono よりも わずかに精度が向上している。なお，この精度は臨床医学テキストで事前学習した BERT モデルを用い た NTCIR-13 MedWeb タスクの日本語データセット での予測精度を上回る結果となった [23].

まとめると，提案手法（MTL）は各言語でチュー ニングされた最適なモデルに対していつも高い 精度が得られるとは限らない(例えば Multi LaBSE

Transformer のパラメータがより多くのノイズを生成 するため，MTLがその能力を発揮できないことが 原因であると考えられる。しかし，複数を組み合わ せて同時に学習するメリットも明らかになった。

## 5.3 アブレーションテスト

Conneau ら [24] の研究では，言語間の類似性 が mBERT，XML などの多言語事前学習モデルの cross-lingual transfer 能力に影響し, 類似性の高い言語ほどタスクの精度が高くなることが示されてい る.そこで本研究では, 言語間の類似性の影響を調査するため， 3 言語内の 1 つを除いてバイリンガル MTL モデルを作成し，アブレーションテストを行っ た. 言語学的に見ると英語と中国語は文法構造が似 ており，日本語と中国語は表層形が似ている。ま た，英語と日本語の類似性はこの組み合わせの中で表 4 バイリンガル MTL の予測の完全一致精度.

は最も低いと考えられる。英語-中国語，日本語-中国語，英語-日本語の 3 つのペアでテストを行う。そ の結果を表 4 に示す. without ja と without zh の組み 合わせもテストを行ったが，精度の向上が見られな かったため，スペースの関係上割愛する。日本語-中国語ペアはテストを行なった全てのグループの中で 最も良い精度が得られた. その平均精度は， 3 言語 を用いた MTL よりも優れている $(\Delta)$. また，ベー スラインで最も性能が良かった Single mono と比較し てもわずかに優れていた $\left(\Delta_{\text {mono }}\right)$. 加えて, LaBSE を用いたバイリンガル MTL モデルは，日本語にお いて全ての実験の中で最も高い精度を示した．言語間の相関の度合い，特に表層形の類似度が，多言語 MTL モデルの性能に影響を与えることがわかる.

## 6 まとめ

本研究では, 多言語医療関連マルチラベル分類 タスクに対して，Transformer に基づくソフトパラ メータシェアアプローチによる MTL モデルを構築 した. MTL モデルは全体的に STL モデルより優れ ているが，言語や組み合わせによっては各言語独自 の BERT モデルの精度を上回るには至らない場合も あった. また，アブレーションテストを行い，日本語の分類タスクと中国語の分類タスクのみからなる バイリンガル MTL モデルが最も良い結果を得られ た.この結果により，言語間の表層形の類似性が多言語の MTL モデルの性能に影響を与えることが示 された。

今回英語, 日本語, 中国語の 3 言語のみ用いた.今後はスペイン語やフランス語など，英語の表層形 に類似度高い言語のデータセットも取り込みたい。

## 参考文献

[1] Eiji Aramaki, Shoko Wakamiya, Shuntaro Yada, and Yuta Nakamura. Natural language processing: from bedside to everywhere. Yearbook of Medical Informatics, 2022.

[2] Shuntaro Yada, Yuta Nakamura, Shoko Wakamiya, and Eiji Aramaki. Real-mednlp: Overview of real document-based medical natural language processing task. In Proceedings of the 16th NTCIR Conference on Evaluation of Information Access Technologies, pp. 285-296, 2022.

[3] Sebastian Ruder. An overview of multi-task learning in deep neural networks. arXiv preprint arXiv:1706.05098, 2017.

[4] Pengfei Liu, Xipeng Qiu, and Xuanjing Huang. Adversarial multi-task learning for text classification. arXiv preprint arXiv:1704.05742, 2017.

[5] Anders Søgaard and Yoav Goldberg. Deep multi-task learning with low level tasks supervised at lower layers. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 231-235, 2016.

[6] Shweta Yadav, Srivatsa Ramesh, Sriparna Saha, and Asif Ekbal. Relation extraction from biomedical and clinical text: Unified multitask learning framework. IEEE/ACM Transactions on Computational Biology and Bioinformatics, Vol. 19, No. 2, pp. 1105-1116, 2020.

[7] Andriy Mulyar, Ozlem Uzuner, and Bridget McInnes. Mtclinical bert: scaling clinical information extraction with multitask learning. Journal of the American Medical Informatics Association, Vol. 28, No. 10, pp. 21082115, 2021.

[8] Zhaoying Chai, Han Jin, Shenghui Shi, Siyan Zhan, Lin Zhuo, and Yu Yang. Hierarchical shared transfer learning for biomedical named entity recognition. BMC bioinformatics, Vol. 23, No. 1, pp. 1-14, 2022.

[9] Daxiang Dong, Hua Wu, Wei He, Dianhai Yu, and Haifeng Wang. Multi-task learning for multiple language translation. In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 1723-1732, 2015.

[10] Yiren Wang, ChengXiang Zhai, and Hany Hassan Awadalla. Multi-task learning for multilingual neural machine translation. arXiv preprint arXiv:2010.02523, 2020.

[11] Yu Zhang and Qiang Yang. A survey on multi-task learning. IEEE Transactions on Knowledge and Data Engineering, 2021.

[12] Michael Crawshaw. Multi-task learning with deep neural networks: A survey. arXiv preprint arXiv:2009.09796, 2020.

[13] Aditya Joshi, Sarvnaz Karimi, Ross Sparks, Cécile Paris, and $C$ Raina MacIntyre. Does multi-task learning always help?: An evaluation on health informatics. In Proceedings of the the 17th annual workshop of the Australasian language technology association, pp. 151158, 2019 .
[14] Mareike Hartmann and Anders Søgaard. Multilingual negation scope resolution for clinical text. In Proceedings of the 12th International Workshop on Health Text Mining and Information Analysis, pp. 7-18, 2021.

[15] Shoko Wakamiya, Mizuki Morita, Yoshinobu Kano, Tomoko Ohkuma, and Eiji Aramaki. Overview of the ntcir-13: Medweb task. In NTCIR, 2017.

[16] Yongjie Lin, Yi Chern Tan, and Robert Frank. Open sesame: getting inside bert's linguistic knowledge. arXiv preprint arXiv:1906.01698, 2019.

[17] Jesse Vig and Yonatan Belinkov. Analyzing the structure of attention in a transformer language model. arXiv preprint arXiv:1906.04284, 2019.

[18] Anna Rogers, Olga Kovaleva, and Anna Rumshisky. A primer in bertology: What we know about how bert works. Transactions of the Association for Computational Linguistics, Vol. 8, pp. 842-866, 2020.

[19] Yaru Hao, Li Dong, Furu Wei, and Ke Xu. Visualizing and understanding the effectiveness of bert. arXiv preprint arXiv:1908.05620, 2019.

[20] Niraj Pahari and Kazutaka Shimada. Multi-task learning using bert with soft parameter sharing between layers. In 2022 Joint 12th International Conference on Soft Computing and Intelligent Systems and 23rd International Symposium on Advanced Intelligent Systems, pp. 1-6, 2022.

[21] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018.

[22] Fangxiaoyu Feng, Yinfei Yang, Daniel Cer, Naveen Arivazhagan, and Wei Wang. Language-agnostic bert sentence embedding. arXiv preprint arXiv:2007.01852, 2020.

[23] Yoshimasa Kawazoe, Daisaku Shibata, Emiko Shinohara, Eiji Aramaki, and Kazuhiko Ohe. A clinical specific bert developed using a huge japanese clinical text corpus. Plos one, Vol. 16, No. 11, p. e0259763, 2021.

[24] Alexis Conneau, Shijie Wu, Haoran Li, Luke Zettlemoyer, and Veselin Stoyanov. Emerging cross-lingual structure in pretrained language models. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 6022-6034, Online, July 2020. Association for Computational Linguistics.


# TED 講演の英日翻訳と日英翻訳の検討

足立十一郎山本一公 中川聖一
中部大学 工学部 情報工学科
}

\{ep19002-1545@sti, kazumasayamamoto@isc, nakagawa@isc\}.chubu. ac. jp
## 概要

我々は、MIT の講義や TED 講演を対象に、テキ スト入力や音声入力の英日機械翻訳の研究を行って きた。本稿では、Transformerの翻訳モデルを用い て、英日・日英共通の双方向モデル、TED の英-西 の英語側コーパス、および日本語話し言葉コーパス CSJ の模擬講演を使用したデータ拡張、大量の書き 言葉対訳コーパスである ASPEC を用いた転移学習 などによる改善について報告する。また、TED 講演の BLEU 値が如何に低いかを複数人による翻訳結果の比較と人間による評価により検討した結果に ついて報告する。

## 1 はじめに

我々は、MIT の講義や TED 講演を対象に、テキ スト入力や音声入力の英日機械翻訳の研究を行って きた $[1,2,3]$ 。機械翻訳技術の進展とともに、統計的機械翻訳手法、系列変換によるニューラル機械翻訳手法を検討してきたが、今回、Transformerによる翻訳手法を導入し、改善を図ったので報告する。

TED 講演の英日機械翻訳は、講演が話し言葉であ るため文単位が曖昧であり、また学習に使用するパ ラレルデータが少ないという問題があり、100 万ぺ アある ASPEC のような書き言葉の翻訳と比べて格段に難しい $[2,3]$ 。TED 講演の英日翻訳に関しては、 IWSLT のワークショップで、2021 年には英日の瞬時テキスト翻訳が、2022 年には英日の瞬時音声翻訳 がタスクに加えられている[4,5]。Fukuda らは、 Transformer の学習に TED の英日 22 万文のパラレル コーパス以外に、WMT20 news の 1800 万文ペアを 用いて、IWSLT2021 Devセットに対してテキスト入力のオフライン翻訳で 16.8、瞬時翻訳で 15.6 の BLEU 値を得ている[6]。瞬時翻訳は、オフライン翻訳に比べて BLEU 值で 10\% 20\%程度低下する。ま た、音声入力の音声翻訳は、音声認識性能に大きく 依存するが、テキスト翻訳に比べて、BLEU 値で $10 \%$ ～20\%低下寸る $[4,5]$ 。

パラレルデータ不足を補うために単言語コーパス によるデータ拡張手法がある[7]。これは、単言語コ 一パスを翻訳することで疑似的なパラレルコーパス を作成し、ベースとなるパラレルコーパスと混合し て学習に用いる手法である。山岸らは、本手法の単言語コーパスとして、日本語話し言葉コーパス CSJ の学会講演の書き起こしを使用した[8]。本研究では、 TED の英語-スペイン語のパラレルーパスの英語側 の単言語と CSJ の日本語単言語の模擬講演コーパス を使用する。

同じく山岸らは、Fukuda らと同様に、ドメインの 異なる大規模パラレルコーパスを用いた転移学習を TED 翻訳に適用した $[8]$ 。具体的には、IWSLT2010の TED のテストデータに対して、書き言葉の 100 万文英日ペアの ASPEC や字幕データの 280 万文ぺアの JESC からの転移学習で、それぞれ $14.19,15.47$ の BLEU 値を得ている $[7,9]$ 。本研究でもこの手法を利用する。

低リソース言語のモデルの学習手法として、マル チリンガル学習がある[10]。この手法は、多言語のパ ラレルデータで多言語翻訳モデルを学習し、エンコ 一ダの出力である表現を汎用的な意味空間に写像す るものと考えられ、小規模のパラレルデータでこの モデルを適応学習する方法である。この類似な方法 として、双方向翻訳モデルが提案されている $[11]$ 。こ れは、対訳コーパスからソースとターゲットを順逆両方向の 2 つのパラレルデータを構築して、順逆両方向の翻訳モデルを共通なモデルとして学習する。 Thanh らは、TED 講演の英語-ベトナム語の双方向翻訳に適用し、有効性を示している[12]。本研究ではパ

ラレルコーパスの規模とこの手法の有効性との関係 を明らかにする。最後に TED 講演の翻訳の困難さを BLEUと人手による評価で検討する。

## 2 翻訳モデル

## 2.1 LSTM モデル [13]

LSTM(Long-short Term Memory)はある入力単語シ 一ケンス $\left.\{\mathrm{x}_{1}, \mathrm{x}_{2}, \ldots \mathrm{x}_{\mathrm{i}}\right.\}$ から別の出力単語シーケンス $\left.\{\mathrm{y}_{1}, \mathrm{y}_{2}, \ldots \mathrm{y}_{\mathrm{j}}\right.\}$ に変換するリカレントネットワークによ る sequence-to-sequence モデルである。エンコーダと デコーダはLSTM によって構成される。LSTM とは 再帰型ニューラルネットワーク $(\mathrm{RNN})$ の一種で時系列データも考慮したモデルである。LSTM は忘却ゲ 一ト、入力ゲート、出力ゲートによって RNN で発生 する勾配消失問題の改善を行っている。

本研究ではLSTM モデルの翻訳モデルとして 1 層 の双方向の LSTM をエンコーダ、 1 層の単方向の LSTM をデコーダに利用する。またエンコーダの出力の全体ではなく一部に注目する注意機構を用いた。

## 2.2 Transformer モデル [14]

Transformer モデルは再帰型ニューラルネットワ ークの様に時系列データを用いて学習を行う。出力 を求める際は RNN ではなくセルフアテンション機構を用いる。エンコーダは同じ構成のエンコーダの 積み重ねによって構成されており、それらのエンコ ーダはセルフアテンションとフィードフォワードネ ットワーク(FFNN)により構成される。デコーダも同 じ構成のデコーダが積み重ねられている。一つのデ コーダはセルフアテンションと FFNN に加えてその 間に注意機構が入っている。標準モデルはエンコー ダ 6 層、デコーダ 6 層であるが、最適な数は学習デ 一夕量に依存する。IWSLT の 22 万文ぺアの英日パ ラレルコーパスで 20 epoch 学習した場合は、 6 層-6 層で $0.80,5$ 層-5 層で $1.94,4$ 層-4 層で $10.36,3$ 層-4 層で 13.66, 3 層-3 層で 13.22 の BLEU 値であった。本研究ではエンコーダとデコーダは 3 層とした。

## 2.3 単方向翻訳モデルと双方向翻訳モデル

単方向翻訳モデルの場合は、原言語と目的言語の ペアで学習することで翻訳モデルを作成する。双方向翻訳モデルの場合は原言語と目的言語のぺアとそ れを入れ替えた目的言語と原言語のペアから成るデ ータセットによって学習する。一つの共通モデルで英日、日英翻訳を実現する。

## 3 翻訳モデルの改善

## 3.1 データ拡張

本実験で使用する TED 講演のIWSLT (International Workshop on Spoken Language Translation )のコーパスには英語と日本語の対訳コ 一パスが少ないため、英語または日本語の単言語コ ーパスをベースモデル $\mathrm{g}$ で翻訳することで英語と日本語の疑似対訳コーパスを作成し、翻訳モデル学習 の追加の学習データとすることでデータ拡張を行う。 データ拡張には IWSLT2018 英語-スペイン語ペアの 英語側コーパスと CSJ(Corpus of Spontaneous Japanese )日本語コーパスの模擬講演を用いた。

## 3.2 ASPEC(書き言葉)からの転移学習

100 万文ペアからなる ASPEC (Asian Scientific Paper Excerpt Corpus )コーパスにより単方向翻訳モ デル、双方向翻訳モデルを学習し、そのパラメータ を初期値として IWSLT 及びデータ拡張したデータ セットで翻訳モデルを学習する。なお、ASPEC コー パスによる翻訳モデル学習の際には、TED 語彙ファ イルに合わせて学習を行った。

## 4 翻訳実験

## 4.1 使用するデータ

本研究では IWSLT2016 英日対訳コーパスを使用 した。単言語コーパスとして IWSLT2018 英語-スペ イン語ペアの英語側と日本語の単言語コーパスであ るCSJ をデータ拡張に用いた。表 1 に学習文数、開発文数、テスト文数を示す。

## 4.2 各翻訳モデルの仕様

LSTM モデルの学習には OpenNMT[15]Ver. 0.7.0 を使用した。エンコーダは 1 層の双方向 LSTM、デ コーダは 1 層の単方向 LSTM を使用した。LSTM の 隠れ層の次元数と単語分散表現の次元数は 1024 と した。学習の最適化はSGD、学習率はファインチュ ーニング時は 0.01562 、それ以外は 1.0 、学習 step 数 はファインチューニング時は開発データで一番性能 が良かった step 数を選び、それ以外は単方向翻訳モ デルでは 80000 、双方向翻訳モデルでは 100000 とし た。
表 2: TED 講演の翻訳実験結果(BLEU)（無印は 5 つのモデルの平均値、*印は単一の固定 seed モデル）

} & ベースライン & $9.52^{*}$ & 9.94* & $14.42 *$ & $14.10^{*}$ \\

表 1: 使用データセット

 &  &  &  \\

(日本語 $)$ & 21,9229 & & \\

(2 分野 $)$ & (2 分野 $)$ & (24 分野 $)$ \\

バッチサイズは 64 で epoch 数に換算すると単方向 のベースラインは約 23epoch である。語彙サイズは ソース・ターゲットそれぞれ 50000 語とした。

Transformer モデルの学習には fairseq[16]Ver.0.12.2 を使用した。エンコーダとデコーダの層数はそれぞ れ 3 層、単語分散表現の次元数は 1024 とした。学習 の最適化は Adam、学習率は 0.0005、学習 epoch 数 は 20 まで学習した。

## 4.3 評価方法

翻訳モデルの性能評価には BLEU を用いる。本研究では 4-gram までの値を計算し、翻訳モデルの評価 に使用した。また、LSTM モデルについては一部を 除いてランダム初期値のため、5つのモデルを学習 して BLEU 値の平均を求めた。

TED の日本語訳を用いた参照訳は直訳ではなく 意訳が多く、機械による訳と相当異なる結果になる。 そこで、翻訳業者 $\mathrm{A}$ と B 依頼して、新たな参照文 として使用し、比較する。

## 5 翻訳実験結果

## 5.1 翻訳モデルの比較

LSTM と Transformer による各翻訳モデルの主な 評価結果を表 2 に示す(詳細な結果は付録に示す)。 LSTM と Transformer を比べると全体で Transformer の方が BLEU 値で 3 程度性能が良い結果となった。

## 5.2 単方向翻訳モデルと双方向翻訳モデル

LSTM モデルではベースラインから双方向翻訳モ デルにすることによって BLEU 值が+1.17 改善され た。Transformer モデルでは単方向翻訳モデルと双方向翻訳モデルを比較すると BLEU 値の差はあまりな かった。単方向翻訳モデルと双方向翻訳モデルの優劣は学習データ量に依存するかを調べるために ASPEC で評価した。表 3 に結果を示す。Transformer ではすべての場合で単方向翻訳モデルが良かったが、 LSTM モデルにおいて 100 万文では単方向翻訳モデ ルが良く、50万文では同等、 25 万文の場合は双方向翻訳モデルが性能を上回った。

表 3: ASPEC による単方向、双方向翻訳モデル の翻訳結果

## 5.3 単言語データからのデータ拡張

## 一 英語コーパス 対 日本語コーパス 一

(a)英日翻訳

表 2 の「英日翻訳」欄に各モデルの英日翻訳結果

を示す。LSTM モデルの単方向翻訳モデルではデー 夕拡張を行うことでベースラインから BLEU 值が改善されることが分かる。IWSLT2018 と CSJによるデ 一夕拡張を比較すると、CSJ によるデータ拡張の方 が良くなった。双方向翻訳モデルの場合は、CSJ よ りも IWSLT2018 によるデータ拡張の万が良い結果 となった。Transformer モデルでは双方向翻訳モデル +IWSLT2018 によるデータ拡張で BLEU 值が向上し た。

データ拡張による学習後、元の英日コーパス (英日翻訳用）もしくは日英コーパス（日英翻訳用）で ファインチューニングをすると、LSTM モデルでも Transformer モデルでも IWSLT2018 によるデータ拡張をしたモデルで改善が見られた。

(b) 日英翻訳

表 2 の「日英翻訳」欄に各モデルの日英翻訳結果 を示す。LSTM の双方向翻訳モデルでは IWSLT2018 のデータ拡張により多くの場合でBLEU 値が改善さ れた。一方、CSJ によるデータ拡張ではあまり改善 が見られなかった。Transformer モデルの双方向翻訳 モデルでは IWSLT2018 によるデータ拡張で BLEU 値が改善された。

ファインチューニングをすると、英日翻訳の結果 と同じ傾向で LSTM モデルでも Transformer モデル でも IWSLT2018 によるデータ拡張をしたモデルで 改善が見られた。

## 5.4 ASPEC モデルからの転移学習

表 2 に示すように ASPEC モデルからの転移学習で、 LSTM でも Transformer モデルでも多くの場合で BLEU 值が改善された。データ拡張と fine tuning に より日英翻訳で 15.02 の BLEU 値が得られた。

## 5.5 人手による評価

(a) 二つの翻訳業者 A, Bによって翻訳されたIWSLT の 12 講演のうち 3 講演のテスト文 254 文を参照文 とした場合と IWSLT2016 (TED) 参照文と比較した。 また、TED 参照文に翻訳業者 $\mathrm{A}, \mathrm{B}$ の翻訳文を加えた マルチリファレンスとした結果を表 5 示す。翻訳業者同士の比較でも BLEU 值は低い。特に翻訳業者A の BLEU 值が低い。マルチリファレンスでの BLEU 値は 24.03 と大きく改善した。TEDの翻訳は人間で も摇れが大きい。TED 参照文は意訳であり、機械翻訳に対するターゲットとしては必ずしも適切とは言 えない。IWSLT2021では、直訳に近い参照文でも評価され、BLEU スコアが $10 \% \sim 20 \%$ 向上、 2 つマ ルチリファレンスだと $50 \%$ 以上向上している[4]。我々の場合は、 3 つのマルチリファレンスで $100 \%$ 以上向上した。

(b) 二つの翻訳業者による翻訳文と Transformer モデ ル (CSJ によるデータ拡張+ASPEC による転移学習 をした単方向翻訳モデル) による機械翻訳結果を, T $\mathrm{ED}$ 参照文と比較して男女 2 名 (C, D) の人手によっ て 1 文ずつ 5 点満点で評価した結果を表 6 に示す。評価基準を以下に示す。

5: TED 参照文の意味と同じ意味である。

4: TED 参照文の意味と概ね同じ意味である。

3: TED:参照文の意味と大まかには似ており、意図はほぼ通じる。

2: TED 参照文の意味と一部やや外れている。

1 TED:参照文の意味とかなり離れていて、意図 は正しく伝わらない。

結果は、翻訳業者 $\mathrm{B}>$ 翻訳業者 $\mathrm{A}>$ Transformer と、表 4 の BLEU 值と同じ傾向であり、BLEU 值と 人手による評価は相関があると思われる。

表 5: 人手による翻訳との比較（TED 3 講演）

 & 24.03 \\

表 6: 人手による TED 参照文と翻訳結果の比較

## 6 まとめ

本研究では、 22 万文ぺアと小規模データでは双方向翻訳モデルが単方向翻訳モデルよりも翻訳性能が 向上した。データ拡張やファインチューニング、転移学習を組み合わせるとさらに翻訳性能が向上した。 ただし、Transformer のベースラインの性能が高く、 Transformerに対する改善効果は比較的小さい。最良 モデルの英日で 15.02 , 日英で 15.49 の BLEU 值が得 られた。

## 謝辞

本研究は、豊橋技術科学大学の秋葉友良准教授お よび秋葉研究室の学生諸君にご協力をいただいた。 また、JSPS 科研費 18 H01062 の研究助成を受けた。

## 参考文献

[1] 後藤 統興, 山本 一公, 中川 聖一：音声認識誤りを考慮した英語講義音声の日本語への音声翻訳システムの検討，言語処理学会第 23 回年次大会, pp.1054-1057, 2017.

[2] 佐橋 広也, 秋葉 友良, 中川 聖一：科学技術論文抄録と講義の英日機械翻訳のリスコアリ ングの検討，言語処理学会第 25 回年次大会、 pp. 1165-1168, 2019.

[3] 松永凌：トピック分散表現と逆翻訳によるデ 一タ拡張を用いた英日機械翻訳，中部大学卒業論文, 2022

[4] Antonios Anastasopoulos, Ondřej Bojar, et.al: Findings of the IWSLT 2021 evaluation campaign, Proc. IWSLT-2021, pp.1-29, 2021.

[5] Antonios Anastasopoulos, Loïc Barrault, et.al: Findings of the IWSLT 2022 evaluation campaign, Proc. IWSLT-2022, pp. 98-158, 2022.

[6] Ryo Fukuda, et al.: NAIST English-to-Japanese simultaneous translation system for IWSLT 2021 simultaneous text-to-text task, Proc. IWSLT-2021, pp. 39-45, 2021.

[7] Rico Sennrich, Barry Haddow, Alexandra Birch: Improving neural machine translation models with monolingual data, Proc. ACL, pp. 86-96, 2016.

[8] 山岸 勇輝, 秋葉 友良, 塚田 元 : 逆翻訳を用 いたデータ拡張と転移学習を利用した英日講演字幕翻訳の改善, 言語処理学会第 26 回全国大会, pp.1277-1280, 2020.

[9] 山岸 勇輝, 秋葉 勇輝, 塚田 元: 入力側単言語資源と転移学習を利用による講演字幕を対象とした英日ニューラル機械翻訳の改善，言語処理学会第 28 回全国大会, pp.1317-1321, 2022.

[10] Raj Dabre, Chenhui Chu, Anoop Kunchukuttan: A survey of multilingual neural machine translation, ACM Computer Surveys, vol.53, no.3, 2020.

[11] Liang Ding,Di Wu, Dachen Tao: Improving neural machine translation by bidirectional training, arXiv:2109.07780, 2021.

[12] Bui Tuan Thanh, 秋葉 友良, 塚田 元: 双方向翻訳モデルと反復逆翻訳を用いた低資源言語 に対するニューラル機械翻訳の性能向上, 言語処理学会第 28 回全国大会, pp. 1756-1760, 2022.

[13] Ilya Sutskever, Oriol Vinyals, Quoc V. Le: Sequence to sequence learning with neural networks, Advances in Neural Information Processing Systems (NIPS 2014), 27, 2014.

[14] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob, Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin: Attention is all you need. Conference on Neural Information Processing Systems (NIPS2017), 30, 2017.

[15] Open Source Neural Machine Translation in PyTorch, 2023 年 1 月 12 日, https://github.com/OpenNMT/OpenNMT-py.

[16] Facebook AI Research Sequence-to-Sequence Toolkit written in Python, 2023 年 1 月 12 日, https://github.com/facebookresearch/fairseq.
付録 A: TED 講演の翻訳実験結果 (BLEU) (無印は 5 つのモデルの平均値、*印は単一の固定 seed モデル)

} & \multirow{2}{*}{ 使用データセット } & \multicolumn{2}{|c|}{ LSTM } & \multicolumn{2}{|c|}{ Transformer } \\

付録 B：翻訳例

 \\