# 異なる難易度の参照文を用いる多段階難易度制御翻訳

谷 和樹 ${ }^{1}$ 湯浅 亮也 ${ }^{1}$ 田村 晃裕 ${ }^{1}$ 梶原 智之 ${ }^{2}$ 二宮 崇 ${ }^{2}$ 加藤 恒夫 ${ }^{1}$
1 同志社大学 2 愛媛大学
\{ctwh0176@mail4,ctwh0190@mail4, aktamura@mail,tsukato@mail\}.doshisha.ac.jp
\{kajiwara,ninomiya\}@cs.ehime-u.ac.jp

## 概要

本研究では，目的言語文の難易度を多段階で制御 する機械翻訳（多段階難易度制御翻訳）のための学習方法として，異なる難易度の参照文を用いる手法 を提案する。従来手法では，原言語文と難易度付き 目的言語文の文対の単位でモデルの学習を行うた め，同一の原言語文に対応付く異なる難易度の目的言語文間を対比させた学習を行えない。そこで本研究では，学習対象の参照文と共に異なる難易度の参照文も使い, 出力が学習対象の難易度から離れるほ ど大きな損失を与えるぺナルティ項を導入した損失関数を用いる学習手法を提案する. 日英多段階難易度制御翻訳の実験を行い，提案手法により BLEU が 0.66 ポイント改善できることを確認した.

## 1 はじめに

近年，ニューラル機械翻訳（NMT）はますます発展・普及し, 利用者層が幅広くなっている. 従来の 一般的な NMT は, 利用者や状況に依らない一律な 翻訳を行う。一方で，近年では，出力される目的言語文の表現を制御するための研究が盛んになってい る $[1,2,3]$. そのひとつに，ユーザの読解レベルに あわせた翻訳を行うため，原言語文と共に難易度を 入力として受け付け，指定された難易度の目的言語文を生成する難易度制御翻訳がある。

初期の難易度制御翻訳では，難易度は 2 段階 [4] であったが，近年では，より柔軟に出力文の難易度を制御するため，3 段階以上の難易度（例えば，小学生, 高校生,一般, 専門家向けなど）を制御可能な多段階難易度制御翻訳 (Multi-Level Complexity Controlling Machine Translation: MLCCMT) [5, 6] の研究が行われている. 先行研究 [5] は英語-スペイン語間の MLCCMT に取り組み，マルチタスクモデルを 提案している. マルチタスクモデルは, MLCCMT をメインタスクとし，難易度を制御しない通常の機械翻訳と同一言語内での平易化（単言語平易化） の 2 つのサブタスクと共にマルチタスク学習で学習されるモデルである. また，先行研究 [6] は日英 MLCCMT に取り組み，先行研究 [5] の手法を日英の 言語対に適用している。

MLCCMT の学習では，表 1 のような，一つの原言語文が難易度の異なる複数の参照文に対応する教師データを使用できる. しかし, 従来の学習では,原言語文と難易度付き目的言語文の文対の単位で学習を行う。例えば，表 1 の教師データは従来手法で は 3 つの教師データ（日本語文-難易度 12 の英語文,日本語文-難易度 7 の英語文，日本語文-難易度 4 の 英語文）に分解される．そして，教師データの各文対は独立に扱われる．そのため，難易度 12 の英語文への翻訳を学習する際，難易度 4 や難易度 7 の英語文と対比させた学習を行うことはできない.

そこで本研究では，同一の原言語文と難易度の異 なる複数の参照文からなる組の単位で MLCCMT モ デルを学習する手法を提案する。提案手法では，学習対象の参照文と共に異なる難易度の参照文も使 い，出力が学習対象の難易度から離れるほど大きな 損失を与えるペナルティ項を導入した損失関数に基 づき MLCCMT モデルを学習する．これにより，例 えば表 1 の教師データを用いて難易度 12 の英語文 への翻訳を学習する際，出力を難易度 12 の英語文 に最も近づけ，かつ，難易度 4 の英語文より難易度 7 の英語文に近づけるように学習を行う。

提案手法の有効性を先行研究 [6] で作成された評価データセットを用いた日英多段階難易度制御翻訳 の実験で検証した. その結果，提案損失関数を利用 することで BLEUが 0.66 ポイント改善でき，提案手法の有効性を確認した.

## 2 従来研究

本節では，MLCCMT の従来研究を述べる. 先行研究 [5] では，MLCCMT の研究が初めて行われ，英
表 1 提案手法で用いる教師データの例

図 1 提案手法の概要図

語-スペイン語間の MLCCMT モデルとしてマルチタ スクモデルが提案された. マルチタスクモデルで は，以下の式 (1) の損失関数に基づき，通常の機械翻訳と単言語平易化の 2 つのサブタスクとメインタ スクのMLCCMTを1つのモデルで同時に学習する。

$
\begin{aligned}
& \text { loss }=L_{M T}+L_{\text {Simplify }}+L_{C M T} \\
& L_{M T}=\sum_{\left(s_{i}, s_{o}\right) \in D_{M T}} \operatorname{CrossEntropy}\left(\left(s_{i} ; \theta\right), s_{o}\right)
\end{aligned}
$

$
\begin{aligned}
& L_{C M T}=\sum_{\left(s_{i}, c_{o}, s_{o}\right) \in D_{C M T}} \text { CrossEntropy }\left(\left(s_{i}, c_{o} ; \theta\right), s_{o}\right)
\end{aligned}
$

ここで， $\theta$ はモデルパラメータ,$s_{i}$ は原言語文, $s_{o}$ は 目的言語文， $s_{o^{\prime}}$ は $s_{O}$ を平易化した文， $c_{o / o^{\prime}}$ は $s_{o / o^{\prime}}$ の難易度である. また， $D_{M T}, D_{S}, D_{C M T}$ は，それ ぞれ，通常の機械翻訳，単言語平易化，MLCCMT 用 の教師データである.

先行研究 [5] では， ベースラインの MLCCMT と して，難易度を制御しない通常の機械翻訳モデルと 単言語平易化モデルをパイプラインでつなげたパイ プラインモデルが実装され，実験でマルチタスクモ デルと比較された. その結果，マルチタスクモデル の方が性能が高いことが示されている。これらのモ デルの教師データや評価データは，様々な難易度で記述された英語とスペイン語のニュース記事からな る Newselaコーパス1）から自動作成されている.

先行研究 [6] は日英 MLCCMT に取り組んでいる.人手翻訳により日英 MLCCMT 用の評価データセッ トを作成し, 先行研究 [5] のモデルを日英 MLCCMT に適用し，その性能を報告している。

これらの先行研究で使われている従来の MLCCMT は，原言語文と難易度付き目的言語文の 文対の単位で学習されている。そのため，同一の原言語文に対応付く異なる難易度の目的言語文間を対比させた学習を行うことができない.

## 3 提案手法

本節では，学習対象の難易度の参照文と共に異な る難易度の参照文も用いて MLCCMT モデルを学習 する手法を提案する．具体的には，指定された難易度の参照文に対する従来の損失と共に，出力と指定以外の難易度の参照文との損失が指定難易度の参照文との損失よりも小さくなることに対して，難易度 が離れるほど大きなぺナルティを与える損失関数に 基づき MLCCMT モデルを学習する. 提案手法の概要を図 1 に示す.

提案手法では，同一の原言語文と難易度の異なる 複数の参照文からなる組の単位で MLCCMT モデル を学習する。表 1 に提案手法で用いる教師データの 例を示す. 実験では，英語の多段階難易度コーパス


Newsela-auto [7] の最高難易度の英語文を Google 翻訳で日本語文に翻訳することで日英 MLCCMT の教師データを作成した。作成した教師データは，一つ の日本語文に対して難易度がそれぞれ異なる 3 か ら 5 文の英語文が対応付けられている. 提案手法で は，そのまとまり（組）単位で学習を行う。

具体的には，以下の式 (5)の損失関数を最小化す ることでモデルを学習する。提案損失関数は, 同一 の原言語文に対応付けられた難易度の異なる複数の 参照文をまとめた組単位で定義される。

$
\begin{gathered}
\text { loss }=L_{\mathrm{tgt}}+\alpha \cdot \frac{1}{n-1} \sum_{k=1}^{n-1} d_{k}^{2} \cdot \max \left(L_{\mathrm{tgt}}-L_{\mathrm{sub}_{k}}, 0\right) \\
L_{\mathrm{tgt}}=\text { CrossEntropy }\left(\left(x, c_{\mathrm{tgt}} ; \theta\right), y_{\mathrm{tgt}}\right) \\
L_{\mathrm{sub}_{k}}=\operatorname{CrossEntropy}\left(\left(x, c_{\mathrm{tgt}} ; \theta\right), y_{\mathrm{sub}_{k}}\right)
\end{gathered}
$

ここで, $\operatorname{tgt} と \operatorname{sub}_{k}$ は, それぞれ, 学習対象の参照文と 同一組内の学習対象以外の参照文を表す. $n$ を組内 の参照文数とすると, $\operatorname{sub}_{k}$ の数は $n-1(k=1, \ldots, n-1)$ である. そして, $L_{\mathrm{tgt}}, L_{\mathrm{sub}_{k}}, x, y, c, \theta, \alpha, d_{k}$ は，それぞ れ, 学習対象の難易度の参照文との誤差, 学習対象以外の難易度の参照文との誤差，原言語文，目的言語文，難易度，モデルパラメータ，ハイパーパラ メータ，難易度の差 $\left(d_{k}=c_{\mathrm{tgt}}-c_{\mathrm{sub}_{k}}\right)$ である.

提案損失関数は, 第 1 項目の $L_{\mathrm{tgt}}$ により, 出力を 学習対象の参照文に近づける. この項は, 従来の学習で用いられている損失と同じである。これに加え て第 2 項目で, 出力が組中の参照文の中で学習対象 の参照文に最も近づくように， $L_{\mathrm{tgt}}-L_{\mathrm{sub}_{k}}>0$ の時 にペナルティを与える。この際，表 1 の例のよう に，難易度が離れるほど語彙や構文が変化して出力 が異なる傾向があるため, 難易度の差の二乗 $\left(d_{i}{ }^{2}\right)$ を掛けて，学習対象の難易度から離れた難易度の参照文ほど大きなぺナルティを与える．また，学習対象以外の参照文数 $(n-1)$ は組によって異なるた め, その数で割る.このペナルティ項の影響度は八 イパーパラメータ $\alpha$ で制御する. $\alpha=0$ のときは学習対象以外の参照文を用いない従来の学習手法と同等になる.

## 4 実験

## 4.1 実験設定

本実験では，日英多段階難易度制御翻訳の実験 により，提案手法の有効性を検証する。評価デー 夕は先行研究 [6] で作成された日英 MLCCMT 用評価データ（1,014 組）を用いた. 教師データは $D_{M T}, D_{C M T}, D_{S}$ の 3 種類のデータを用いた. $D_{M T}$ は，JParaCrawl [8] と News-Commentary $の$ 日英対訳文対からなる機械翻訳用データであり， $D_{S}$ は， Newsela-auto [7] 中の英語文集合毎に抽出した最高難易度の英語文とそれ以外の英語文の対からなる 単言語平易化用データである. そして， $D_{C M T}$ は, Newsela-auto [7] 中の各英語文集合に対して, 最高難易度の英語文を Google 英日翻訳で翻訳した日本語文を付与した MLCCMT 用データ（ただし，評価 データセット [6] に含まれるデータは除く) である.各教師データのデータ量は付録 A の表 4 に示す.

本実験では提案手法の有効性を検証するため, 3 節で説明した提案手法と，提案手法において八 イパーパラメータ $\alpha$ を 0 にしたべースライン手法の性能を比較する。また，2 節で述べた従来の マルチタスクモデルの性能とも比較する. 各モ デルは Transformer モデル [9]を採用した. 実装は Fairseq [10]を用いた.

マルチタスクモデルでは, 先行研究 [6] と同様に,日英 MLCCMTをメインタスク，通常の日英翻訳と 英語多段階平易化をサブタスクとしたマルチタス ク学習を行った. 日英 MLCCMT タスクの学習には $D_{C M T}$, 日英翻訳タスクと英語多段階平易化タスク の学習には，それぞれ， $D_{M T}$ と $D_{S}$ を使用した. そ の他の実験設定は付録 A の表 5 に示す.

提案手法では，まず， $D_{M T}$ を用いて日英 NMT モ デルの事前学習を行った.この事前学習の設定は, Kiyono ら [11]に倣った. その後， $D_{C M T}$ を用いて 3 節の提案損失関数により, 事前学習したモデルを ファインチューニングした。 ハイパーパラメータ $\alpha$ のチューニングは，検証データに対する BLEU [12] の値に基づいて行った. その結果，提案手法の $\alpha$ は 0.5 とした. チューニングの詳細は付録 A の表 6 に 示す. その他の実験設定は付録 A の表 5 に示す.

評価指標は, 先行研究 [6] 同様, 翻訳性能の指標 として BLEU [12], 平易化の指標として SARI [13]を 用いた. また, 目的難易度の出力文集合から算出 した fkgl [14] と目的難易度との平均絶対誤差であ る $\mathrm{MAE}_{f k g l}$ [15] も用いた. これらの指標の数值は, EASSE [16] を用いて算出した。

## 4.2 実験結果

実験結果を表 3 に示す. 提案手法及びマルチタス クモデルの性能は，ランダムシードを変更して学習
表 2 翻訳結果の比較（BS：ベースライン手法（ $\alpha=0.0)$ ，従来：マルチタスクモデル，提案：提案手法）

表 3 実験結果

した 3 回の実験結果の平均の値である. 表 3 より,提案手法の方がベースライン手法 $(\alpha=0.0)$ の性能 よりも高いことが分かる.これより，提案損失関数 に基づき，学習対象以外の参照文も用いて学習す ることで MLCCMT の性能を改善できることが分か り，提案手法の有効性を確認できた。

また表 3 より，提案手法は従来研究 [6] のパイプ ラインモデルやマルチタスクモデルよりも高い性能 を達成できたことが分かる. ただし, 従来研究のマ ルチタスクモデル [6] の教師データ量は本実験で使用した教師データ量よりも少ないことに注意された い (付録 A の表 4 参照). 提案手法と教師データ量 を揃えた本実験のマルチタスクモデルには，提案手法はわずかに及ばない結果となった.

## 5 考察

本節では，各モデルが出力した翻訳結果の例を比較する．例としてテストデータの中で最も難易度の 段階数が多い 5 段階の組から抽出した翻訳例を表 2 に示す. 表 2 において，BS がべースライン手法 $(\alpha=0)$ ，従来がマルチタスクモデル，提案が提案手法である、マルチタスクモデルと提案手法では, 異
なるランダムシードを用いて 3 回実験を行ったた め，3つの翻訳結果が得られる。表 2 では，BLEU の値が最も良かったシードを用いた場合の翻訳結果 を示している。

表 2 より，ベースライン手法は目的の難易度が異 なる場合にも同じ出力をする場合がある．その一方 で提案手法は，従来手法のうち最高性能であるマル チタスクモデルと同様に，目的の難易度ごとに適切 に異なる出力を行っていることが分かる.これよ り，提案損失関数によって異なる難易度の参照文を 対比させて学習させることで，難易度を制御しやす くなることが実例により確認できた。

## 6 まとめ

本研究では，多段階難易度制御翻訳のための学習手法として，学習対象の難易度の参照文と共に異な る難易度の参照文も用いて，出力が学習対象の難易度の参照文から離れるほど大きな損失を与えるぺナ ルティ項を導入した損失関数に基づき学習する手法を提案した。そして，日英多段階難易度制御翻訳 の実験を通じて提案手法の有効性を確認した. 今後 は，マルチタスクモデルと提案損失関数を組み合わ せることで更なる性能改善が実現できるかを検証す る予定である.

## 謝辞

本研究は JSPS 科研費 JP22K12177，JP21K12031 の 助成を受けたものである. また，本研究成果の一部

は, 国立研究開発法人情報通信研究機構の委託研究 (No. 225) により得られたものである.ここに謝意 を表する。

## 参考文献

[1] Rico Sennrich, Barry Haddow, and Alexandra Birch. Controlling politeness in neural machine translation via side constraints. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 35-40, 2016.

[2] James Kuczmarski and Melvin Johnson. Gender-aware natural language translation. In Technical Disclosure Commons, (October 08, 2018), 2018.

[3] Andrea Schioppa, David Vilar, Artem Sokolov, and Katja Filippova. Controlling machine translation for multiple attributes with additive interventions. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 6676-6696, 2021.

[4] Kelly Marchisio, Jialiang Guo, Cheng-I Lai, and Philipp Koehn. Controlling the reading level of machine translation output. In Proceedings of Machine Translation Summit XVII: Research Track, pp. 193-203, 2019.

[5] Sweta Agrawal and Marine Carpuat. Controlling text complexity in neural machine translation. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 1549-1564, 2019.

[6] Kazuki Tani, Ryoya Yuasa, Kazuki Takikawa, Akihiro Tamura, Tomoyuki Kajiwara, Takashi Ninomiya, and Tsuneo Kato. A benchmark dataset for multi-level complexitycontrollable machine translation. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 6744-6752, Marseille, France, June 2022. European Language Resources Association.

[7] Chao Jiang, Mounica Maddela, Wuwei Lan, Yang Zhong, and Wei Xu. Neural CRF model for sentence alignment in text simplification. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7943-7960, 2020.

[8] Makoto Morishita, Jun Suzuki, and Masaaki Nagata. JParaCrawl: A large scale web-based English-Japanese parallel corpus. In Proceedings of the 12th Language Resources and Evaluation Conference, pp. 36033609, Marseille, France, May 2020. European Language Resources Association.

[9] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, L ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in Neural Information Processing Systems, Vol. 30, 2017.

[10] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A fast, extensible toolkit for sequence modeling. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computa- tional Linguistics (Demonstrations), pp. 48-53, 2019.

[11] Shun Kiyono, Takumi Ito, Ryuto Konno, Makoto Morishita, and Jun Suzuki. Tohoku-AIP-NTT at WMT 2020 news translation task. In Proceedings of the Fifth Conference on Machine Translation, pp. 145-155, 2020.

[12] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, 2002.

[13] Wei Xu, Courtney Napoles, Ellie Pavlick, Quanze Chen, and Chris Callison-Burch. Optimizing statistical machine translation for text simplification. Transactions of the Association for Computational Linguistics, Vol. 4, pp. 401-415, 2016.

[14] J Peter Kincaid, Robert P Fishburne Jr, Richard L Rogers, and Brad S Chissom. Derivation of new readability formulas (automated readability index, fog count and flesch reading ease formula) for navy enlisted personnel. Technical report, Naval Technical Training Command Millington TN Research Branch, 1975.

[15] Daiki Nishihara, Tomoyuki Kajiwara, and Yuki Arase. Controllable text simplification with lexical constraint loss. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics: Student Research Workshop, pp. 260-266, 2019.

[16] Fernando Alva-Manchego, Louis Martin, Carolina Scarton, and Lucia Specia. EASSE: Easier automatic sentence simplification evaluation. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP): System Demonstrations, pp. 4954, Hong Kong, China, November 2019. Association for Computational Linguistics.

## A 付録

本付録では，教師データの統計量を表 4 に示し，実験で用いたモデルの詳細設定を表 5 に示す. そして，提案手法のハイパーパラメータ $\alpha$ のチューニング結果を表 6 に示し，提案手法とマルチタスクモデルのラン ダムシードごとの実験結果を，それぞれ，表 7 と表 8 に示す.

表 4 各モデルで使用する教師データ（文対数）

表 5 Fairseq を用いた実験設定

表 6 ハイパーパラメータ $\alpha$ のチューニング（検証データにおける性能）

表 7 提案手法 $(\alpha=0.5)$ のランダムシード毎の実験結果

表 8 マルチタスクモデルのランダムシード毎の実験結果


 谷 和樹 ${ }^{1}$ 湯浅 亮也 ${ }^{1}$ 田村 晃裕 ${ }^{1}$ 梶原 智之 ${ }^{2}$ 二宮 崇 ${ }^{2}$ 加藤 恒夫 ${ }^{1}$ 1 同志社大学 2 愛媛大学 \{ctwh0176@mail4,ctwh0190@mail4, aktamura@mail,tsukato@mail\}.doshisha.ac.jp \{kajiwara,ninomiya\}@cs.ehime-u.ac.jp  