# T5 を用いた古文から現代文への翻訳

臼井久生 ${ }^{1}$ 古宮嘉那子 ${ }^{2}$
東京農工大学工学部知能情報システム工学科 1
東京農工大学大学院生物システム応用科学府 2
s190260u@st.go.tuat.ac.jp¹kkomiya@go.tuat.ac.jp²

## 概要

本稿では，日本語の事前学習済み $\mathrm{T} 5$ モデルを用 いて古文から現代文への翻訳を行う. fine-tuning に は，奈良時代から江戸時代までの文献の，古文と現代語訳のパラレルデータを利用した. また複数の青空文庫の作品を利用し, 逆翻訳により疑似パラレル データを作成し，これを fine-tuning の学習データと して追加的に利用することで，翻訳の性能に効果が あるかを検証した. 実験の結果，正規のパラレル データのみで行った場合は BLEU 值が 27.73 となり,統計的機械翻訳に迫る結果となった. また逆翻訳に よる疑似パラレルデータも用いた場合は BLEU 値が 23.81 となり, 古文の翻訳に逆翻訳による疑似パラ レルデータの利用は有効でないことが分かった.

## 1 はじめに

本稿では $\mathrm{T} 5$ を用いて，日本語の古文から現代文 への翻訳を行う. 日本語の古文から現代文への翻訳の先行研究には，統計的機械翻訳 [1] とニューラ ル機械翻訳 [2] による研究があるが，このうちの ニューラル機械翻訳による研究は LSTM(Long Short Term Memory) を用いており, 統計的機械翻訳の結果 を超えることはできなかった。ニューラル機械翻訳 は小規模なコーパスではよい結果が得られないとさ れており [3]，古文と現代文のパラレルコーパスは 小規模であることが、ニューラル機械翻訳を用いた 先行研究の性能の低さの主因であると考えられる。

一方で，深層学習は LSTM の後にも大きな進歩を 見せており, 2018 年に GPT[4] や BERT[5] が公開さ れ，これらを受けて T5[6] が 2019 年に発表された. これらのモデルは大規模なコーパスを用いて事前学習を行っているため, 言語的知識を有していると 考えられ，これを Fine-tuning することでデータが 少ないタスクでも性能の高いモデルが作成可能に なった.本稿ではこの事前学習済みモデルである $\mathrm{T} 5$ を用 いて，古文から現代文への翻訳を行う．古文と現代文のパラレルコーパスは小規模であるため，LSTM を用いた研究においては十分な結果が得られなかっ たが，事前学習済みモデルを用いることでデータの 少なさを補完できる可能性があると考える. 本稿で は，日本語の古文から現代文への機械翻訳におい て，T5を用いることにより統計的機械翻訳に迫る 結果を得られることを示す.

## 2 関連研究

古文の現代語への機械翻訳の例は，星野ら [1] の 統計的機械翻訳と，高久ら [2] の LSTM, Transformer で行った例がある．星野らは古文と現代文の 86,684 文のコーパスを段落ごとに区切ったものを用いて，統計的機械翻訳を行った．高久らはLSTMを用い て，同じコーパスを現代から古代に向けて遡りなが ら学習を行い，ニューラル機械翻訳を行った. 結果 は，統計的機械翻訳では 28.02, LSTM では 19.95 で あった.

T5を用いた翻訳の先行研究には Emezue ら [7] の 例がある。これは， $\mathrm{mt} 5$ を用いてアフリカの言語で あるコサ語，ヨルバ語，イボ語などを英語やフラン ス語に翻訳したものである。これらのアフリカの言語はデータ数が少なく，最も多いコサ語で 158,660 件であり，英語とのパラレルコーパスは 137,000 件ほどであった。コサ語の英語翻訳の BLEU 値は 30.25 であった.

## 3 T5を用いた古文から現代文への 翻訳

T5 とは，Transformer[8] をべースにして，C4 とい うコーパスを用いて事前学習を行ったモデルであ る.この C4 はウェブクロールしたデータを整形し たものであり，このように高品質なデータを利用し たことと事前学習手法，ファインチューニング手法 の調整によって T5 は 2019 年当時 26 種のタスクで
最高性能を達成した。

本稿では日本語データで作成された T5 である sonoisa/t5-base-japanese を用いて，古文の現代文への 翻訳を行った. Fine-tuning の際は，古文を学習デー タ，現代文を教師データとして学習を行い，古文 を入力して現代文を出力するようにモデルを作成 する。

## 4 データ

本稿では星野ら [1] が抽出したパラレルコーパス を用いる。このコーパスは古文作品とそれに対して 人手で付与した現代語翻訳文が対になっている.こ のコーパスは近代，鎌倉，平安の 3 時代の作品デー タで構成される通時コーパスであり，時代の内訳は (近代: 鎌倉: 平安) $=(4,577: 30,075: 52,032)$ 文対である. このコーパスは全 86,684 文対であり,中には一つの 古文に対して複数の現代語翻訳が対応しているも のも含まれる. データの分割割合は, 高久ら [2] に ならい，(学習: 開発: テスト $)=(82,591: 2,000: 2,093)$ 文対に分割をした. 分割の偏りを避ける為に分割の際 にはランダムに分割を行った、コーパスの単語分割 には MeCab v0.996 ${ }^{1)}$ を使用し，古文側には中古和文 UniDic v1.32), 現代文側には UniDic v2.3.0 3 を辞書と して利用した。

## 5 実験

本稿では，T5 モデルを用いて古文から現代文へ の翻訳を行う．4 節で示したパラレルデータの古文を大力とし, 現代文を出力として学習データを システムに与え, Fine-tuningを行う. 評価の際は学習したモデルに古文データを与え, 出力した現代文翻訳データと正解となる現代文データで BLEU 值を算出した. T5 のモデルは transformers ライブ ラリの sonoisa/t5-base-japanese ${ }^{4}$ を利用し, Automodel で指定した。また，Tokenizerには Autotokenizer で sonoisa/t5-base-japanese を指定した. BLEU 值の算出には evaluate ライブラリの sacrebleu $^{5}$ [9] を利用 した.

1) https://taku910.github.io/mecab/

2) https://clrd.ninjal.ac.jp/unidic/

3) https://clrd.ninjal.ac.jp/unidic/

4) https://huggingface.co/sonoisa/t5-base-japanese

5) https://huggingface.co/spaces/evaluate-metric/sacrebleu

## 5.1 古文データを用いた実験

古文と現代文のパラレルデータを用いて T5 の fine-tuning を行った. この実験において調整を行っ たパラメータは, 学習率とエポック数, repetition penalty である. まず学習率とエポック数の組み合わ せについて実験を行ってこれらを決定し, 次に学習率と repetititon penalty の組み合わせについて実験を 行って repetition penalty を選定した.

学習率, エポック数 学習率とエポック数の設定 は，repetition penalty を固定し，最も BLEU 値が高く なる組み合わせを探索した。この際，学習率は対数スケールでおおよそ均等になるように設定した。表 1 に組み合わせの候補を示す。なお，repetition penalty は 5 とした.

表 1 エポック数と学習率の組み合わせ

repetition penalty repetition penalty は, 生成の際 の繰り返しに対してぺナルティを与えるパラ メータである [10]. エポック数と学習率を固定し, repetition penalty について grid search を行った. 学習率の候補は $0.0001 ， 0.0002 ， 0.0003 ， 0.0004$ とし， repetition penalty の候補は 1 から 10 までの 1 刻み 及び 1.1 から 2.5 まで 0.1 刻みとした。また，これ ら二つの実験から，学習率，エポック数, repetition penalty を決定し，最終的な実験を行った.

## 5.2 逆翻訳データを用いた実験

5.1 節の小学館コーパスから抽出した正規のパラ レルデータのみによる学習の実験に加えて, 逆翻訳 データを学習データに加えた実験を行った。逆翻訳 データの作成には, 古文から現代文への翻訳同様, sonoisa/japanese-t5-baseを用いた. パラメータは，予
備実験の結果，学習率を 0.0002,エポック数を 5 , repetition penalty 1.5 に設定した. 予備実験の結果 は付録の表 8 に示した. 学習データを現代文, 正解 データを古文として現代文からの古文生成モデルを 作成し, これに青空文庫から取得した複数の著者に よる複数の書籍データを入力として与え, 古文訳を 出力した. このデータは句点区切りで, 全 522,801 件であった. この出力した古文と現代文をぺアと し，疑似パラレルデータとして新たに古文から現代文への翻訳システムの学習を行った. この際, 学習率を 0.0002 , repetition penaltyを 1.5 とした.

また，逆翻訳による疑似パラレルデータをパラレ ルデータと併用するにあたり，データを与える順番 と正規のパラレルデータを与える回数を以下のよう に変えて実験した。

学習方法 1)すべての逆翻訳データの次にすべての正規のパラレルデータを与え，1 エポック 回す.

学習方法 2)逆翻訳データを $n$ 分割し, 分割したファ イルの途中にすべての正規のパラレル データを与えて学習する。結果として，逆翻訳データは 1 エポック, 正規のパ ラレルデータは $n$ エポック回す計算と なる.

学習方法 2 は, 正規のパラレルデータを途中途中に 挟んで学習することで，翻訳エラーを減らすことを 期待して考案したものである。 なお，ライブラリの 仕様上データは 2 万件の倍数ずつ入力するように なっているため, 逆翻訳データを $n$ 分割する際は等分に分割はせず，まず 2 万件の倍数ずつ入力し最後 に残りのデータを入力する形で，全件を入力した. そのため, 分割数 $n$ と分割したファイルのデータ件数は表 2 のようになる.

表 2 逆翻訳の分割数 $n$ と, 分割後のファイルごとの疑似 データ数

例えば学習方法 2-1 では，まず逆翻訳データの うち 16 万件を与え，次にすべての正規のパラレル データを与える。これを三回繰り返す。ここまでで 逆翻訳データのうち 48 万件を利用している。逆翻訳データは 522,801 件なので，最後に残りの 42,801件の逆翻訳データとすべての正規のパラレルデータ を与えて学習する。結果的に，逆翻訳データは 1 エ ポック，正規のパラレルデータは 4 エポック回した 計算となる.

## 6 結果

## 6.1 古文データを用いた実験の結果

各エポック数でもっとも BLEU 值が高かった際の BLEU 値をその際の学習率とともに表 3 に示す. そ の他を含すすべての結果は付録の表 7 に示す.

学習率と repetition penalty の実験における最高の BLEU 值は表 4 のようになった. すべての結果は付録の表 9 に示す. また，その時のグラフを付録の図 1,図 2 に示す。

エポック数 10 , 学習率 0.0002 のパラメータの際 に BLEU 值が最高であることが分かる. また表 4 の結果から学習率が 0.0002 の際の最高の repetition penalty は 1.5 であることが分かる. そのため，エ ポック数を 10 , 学習率を 0.0002 , repetition penalty を 1.5 として最終的な学習を行ったところ, BLEU 値は 27.73 となった. その際の生成例を表 5 に示す.

## 表 5 最終実験の翻訳例

 \\
そのうち、いつしか講の終る日になり、 \\
僧俗・男女が数知れず集ってきた。 \\
正解 &  \\

## 6.2 逆翻訳データを用いた実験の結果

現代文から古文を生成するモデルの BLEU 值は， 27.03 であった. また，それぞれのデータの順序と 与える回数を変えた学習方法について，結果を表 6 に示す.

表 6 逆翻訳データを用いた際のそれぞれの学習方法の最良の BLEU 値

## 7 考察

本稿の最良の BLEU 值は 27.73 となった. LSTM の BLEU 值 [2] は 19.95 であるので，これを 7.78 上回っている. このことから, 日本語大規模データ を用いて事前学習した T5を用いることによって， データ数の少ない古文の現代文への翻訳に効果があ るということが分かる. 統計的機械翻訳の BLEU 值 [1] は 28.02 であり，残念ながら本研究の結果はこれ に 0.29 ポイント及ばなかった. しかし, この差は僅差であり，統計的機械翻訳に迫る結果となった.

逆翻訳データを用いた実験の BLEU 値は，すべて 古文データのみを用いた実験の最良の BLEU 值を 上回ることはなかった. 逆翻訳で生成したデータを チェックしたところ，古文らしいものではなかった ため，学習の際にノイズとして働いてしまった可能性があると考えている. また，学習方法 2 は学習方法 1 よりも BLEU 值が低くなった. また, 分割数 を多くすると BLEU 值が下がる結果となった. こ のことから，逆翻訳データの間に正規のパラレル データを挟んで学習する手法は有効でないことが分 かった.

さらに BLEU 值を上げる為に，エポック数などの パラメータのさらなる調整も考えられるが，本稿 で行った調整よりさらに細かいパラメータの調整 で BLEU 值が大きく上がることは考え難い。また， データ数を増やすことは，翻訳のプロの人手による データの作成に大きな手間がかかる. ただし，日本語の T5 の large サイズのモデルは筆者らの知る限り 公開されていないが，さらに大きな事前学習モデル が公開されれば，統計的機械翻訳の結果を上回る可能性があると考える。

## 8 まとめ

本稿では，事前学習済み日本語 $\mathrm{T} 5$ モデルを用い て古文から現代文への翻訳を行った．LSTMを利用 した結果を 7.78 上回る結果となり，事前学習モデ ルである $\mathrm{T5}$ を用いることでパラレルデータの少な さを補完できることを示した。またこの結果は，関連研究のうちで最も高い BLEU 值を出した統計的機械翻訳のシステム [1] に迫る BLEU 值である。ま た，青空文庫から逆翻訳データを作成して，これを 学習データに追加する実験を行ったが，この手法は 古文から現代文への翻訳には有効でないことが分 かった。

## 謝辞

本研究は JSPS 科研費 17KK0002，18K11421， 22K12145 の助成を受けたものです.また，国立国語共同研究プロジェクト「開かれた共同構築環境 による通時コーパスの拡張」「多様な語義資源を統

合した研究活用基盤の共創」「アノテーションデー タを用いた実証的計算心理言語学」の成果です.ま た，明星大学の横野光先生には先行研究のデータを いただきました。御礼申し上げます.

## 参考文献

[1] 星野翔, 宮尾祐介, 大橋駿介, 相澤彰子, 横野光. 対照 コーパスを用いた古文の現代語機械翻訳. 言語処理学会, 第 20 回年次大会, 2014.

[2] 高久雅史, 平澤寅庄, 小町守, 古宮嘉那子. 通時的な領域適応を行った単語分散表現を利用した古文から現代文へのニューラル機械翻訳. 言語処理学会, 第 26 回年次大会, 2020.

[3] Philipp Koehn and Rebecca Knowles. Six challenges for neural machine translation. In Proceedings of the First Workshop on Neural Machine Translation, pp. 28-39, Vancouver, August 2017. Association for Computational Linguistics.

[4] Alec Radford, Karthik Narasimhan, Tim Salimans, and Ilya Sutskever. Improving Language Understanding by Generative Pre-Training.

[5] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding, May 2019.

[6] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, Peter J Liu, et al. Exploring the limits of transfer learning with a unified text-to-text transformer. J. Mach. Learn. Res., Vol. 21, No. 140, pp. 1-67, 2020.

[7] Chris C. Emezue and Bonaventure F. P. Dossou. MMTAfrica: Multilingual Machine Translation for African Languages, April 2022.

[8] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention Is All You Need, December 2017.

[9] Matt Post. A call for clarity in reporting BLEU scores. In Proceedings of the Third Conference on Machine Translation: Research Papers, pp. 186-191, Belgium, Brussels, October 2018. Association for Computational Linguistics.

[10] Nitish Shirish Keskar, Bryan McCann, Lav R. Varshney, Caiming Xiong, and Richard Socher. CTRL: A Conditional Transformer Language Model for Controllable Generation, September 2019.
表 7 各学習率とエポック数での BLEU 值 (横軸: エポック数，縦軸: 学習率),repetition penalty:5.0

表 8 逆翻訳モデル作成時の BLEU 值 (横軸: エポック数，縦軸: 学習率),repetition penalty:5.0

表 9 repetition penalty ごとの BLEU 值

(縦軸:repetition penalty 横軸: 学習率 エポック数:1)

表 10 repetition penalty ごとの BLEU 值 (縦軸:repetition penalty 横軸: 学習率 エポック数:1)

図 1 学習率ごとの repetition penalty の変化による BLEU 値変化（0.1 刻み）

図 2 学習率ごとの repetition penalty の変化による BLEU 值変化（1 刻み）
 臼井久生 ${ }^{1}$ 古宮嘉那子 ${ }^{2}$ 東京農工大学工学部知能情報システム工学科 1 東京農工大学大学院生物システム応用科学府 2 s190260u@st.go.tuat.ac.jp¹kkomiya@go.tuat.ac.jp²  