# LLM が機械翻訳を捉えた桎梏から脱したのか 一翻訳創造性について一

Huacheng Song ${ }^{1}$ Haoying Yang $^{1}$ Hongzhi Xu$^{1}$
1 上海外国語大学 コーパス研究院
hinayang331@gmail.com

## 概要

翻訳の文化的・技術的転回に伴って、翻訳創造性の重要さが高まる一方、それが自動翻訳モデルに一つの難題だと認識され、訳文における創造性の評価研究がますます必要となる。本研究では、訳者、 Google および GPT4 による日本文学の中国語訳を対象に、各翻訳方式の創造性をめぐって細粒度的かつ量的評価を行った。その結果、LLM の翻訳創造性上の性能がニューラル機械翻訳より優れたが、この桎梏から完全に逃したというわけでもなく、翻訳者に比べれば成長の余地が多大にある。

## 1 はじめに

現在のニューラル機械翻訳（NMT：Neural Machine Translation）が直面した最大な問題点は抽象性、柔軟性および多様性という言葉遣いの特徴を持った文学の翻訳と言えよう $[1,2]$ 。近年、ChatGPT を始め、大規模言語モデル（LLM：Large Language Models）が登場し、自動翻訳を含む数多くのテキスト生成タスクに高精度の性能を発揮したことから、世間で大きな期待が寄せられている $[3,4]$ 。ところが、NMT と LLM による自動翻訳の翻訳創造性を哯き込む研究はまだ少なく、ましてや日本語訳を対象とした研究も管見の限り行われていない。こうした現状はモデルによる訳出精度の向上に支障を生じるだろう。

本研究は、Bayer-Hohenwarter[5] と Guerberof-Arenas ら [6,7] の研究を踏まえ、受容可能性 (Acceptability) と新奇性（Novelty）という 2 つの側面から、訳者ならびに Google、GPT4 による日本文学の中国語訳上の翻訳創造性を考察した。まず、原文から 8 種類の潜在的創造性単位（UCP：Unit of Creativity Potential） を抽出し、翻訳品質評価枠組である DQF-MQM[8] および Bayer-Hohenwarter [5] と Pedersen [9, 10] が構築した翻訳ストラテジー分類体系を採用し、訳文の受容可能性スコア（AS：Acceptability Score）と新奇性スコア（NS：Novelty Score）を算出した上で、創造性スコア（CS：Creativity Score）を計算する。さらに、4つの翻訳自動評価指標を利用し、UCP 翻訳の全体的・局所的性能を観察する。

結果として、UCP の創造的翻訳は今も自動翻訳の問題点であることが得られた。LLM は一般の NMT より性能が上がったが、人間並みのレベルにはまだ達してないことに、本研究は以下の課題から具体的に論述する。1）UCP 翻訳は 3 つの翻訳方式にどのような支障を及ぼすか？2）3つの翻訳方式による各種類の UCP 訳文にどのような性能が見られるか？3）LLM は翻訳創造性の難題を克服したか？

## 2 関連研究

「創造性」は、抽象的な心理学の概念で、適切かつ正確な定義と測量は極めて難しい [11]。この概念を借りて、翻訳分野では創造的翻訳（Creative Translation）という概念が生まれた。翻訳目的の実現を前提に原文と変わった表現を用いる翻訳方略を指し、受容可能性と新奇性という 2 つの性質を持っている $[12,13,5,11]$ 。しかし、今のところ、翻訳創造性に関する量的研究はまだ始まったばかりで、運用可能な量的理論体系の構築が中心になっている $[14,5,11]$ 。コーパスで尃門訳者と翻訳学習者の翻訳創造性を比較し、翻訳教育に示唆を与える実証研究もいくつか進められている $[5,15,16]$ 。どちらも本研究の理論基礎の構築に役立っている。

自動翻訳の領域では、NMT に創造性があるかという課題に取り組んだのは Guerberof-Arenas ら [6,7] のみだ。彼らは、翻訳創造性評価指標の核心である創造的シフト（Creative Shift）[5]をめぐって、NMT が $\mathrm{SF}$ 小説翻訳上の性能を分析した。結果として、文学テキストを用いて訓練されたモデルでも、期待された創造性に至らないのみならず、それに基づ

きポストエディットを行った専門訳者の創造性さえ低下させたことに、翻訳創造性の研究が NMT の更なる発展に重大な意味を持つことが裏付けられた。日本での NMT パフォーマンスを細粒度的に考察する研究は、多くが語彙・文法レベルに着目した $[17,18,19,20]$ 。一方、LLM 領域の最新研究は、自動翻訳の全体的性能を向上させることが主流である [3, 4, 21]。要するに、NMT でも LLM でも文学翻訳の創造性への注目が十分に集まっていない。

## 3 研究デザイン

本研究は 2 つの段階からなっている。1）原文と訳文の収集とアノテーション、2）訳文の品質と翻訳創造性の自動評価と人手評価。

## 3.1 デキスト収集とアノテーション

デキスト収集本研究では、1）代表的な現代文学作品であること、2) 創造的翻訳が必要であること、3）モデルの訓練データに包含されていないこと [7] を基準に、日本人作家村田喜代子の受賞された短編小説「百のトイレ」、「蟹女」、「真夜中の自転車」「白い山」1)を原文として選んだ。原文デキストは合計 3114 文、93265 文字で、平均文長は 30 文字である。比較分析の対象とする中国語訳文は 3 つの翻訳方式 : 人間翻訳の訳文は 2023 年に出版された中国語版2)、NMT 訳文は NMT システム Google 翻訳 3)、LLM 訳文は OpenAI GPT4 4) から入手する。

テキストアノテーション Bayer-Hohenwarte [5] によると、翻訳創造性を測るには、その第一歩が原文の UCP 表現を抽出することである。UCP 表現とは、特殊あるいた新奇な表現と形式を使ってある意味や目的を伝達・実現することである。本研究は、日本語で最も使用されている 8 種類の UCP 表現5)を対象に、原文に現れた UCP 表現を 4 名の日本語母語話者に抽出・分類してもらった。クロスチェックした結果、908 文で 1192 の UCP 表現が見つかった。

本文での翻訳創造性は、Guerberof-Arenas ら [6, 7] の研究と同様に、「受容可能性」と「新奇性」から考察が展開される。そこで、UCP 表現の訳文をアノテーションする際、前者は DFQ-MQM[8] に基づいたエラーの識別とエラーの重大度 (Severity) の判

1) https://a.co/d/6Ds7zjv

2) https://a.co/d/2CCBPba

3) https://translate.google.com

4) https://openai.com/gpt-4

5）詳しい定義と例文は付録の表 A断、後者は具体的な翻訳方略・手法の判断を 2 人の中国人日本語翻訳者に頼んだ。それぞれの詳しい注釈キームは表 1 と表 2 が示されている。

表 2 新奇性の注釈スキー

 \\

特に、受容可能性、新奇性と翻訳創造性の関係は 2つの仮設を基盤とする。

・受容可能性は新奇性の前提である。適切かつ正確（中立あるいは称賛の場合）であるUCP 訳文のみ、新奇性スコアの算出を行う。

・新奇性は翻訳創造性の核心である。新奇性がない訳文は正しくても翻訳創造性がないとする。

## 3.2 指標とスコア

アノテーションから得たデータを基に、本文は 1）4つの翻訳自動評価指標 BLEU[22]、COMET[23]、 COMETKIWI[24]、XCOMET-QE[25]、2) 受容可能性、新奇性および翻訳創造性を定量化した人手評価体系を通じて、訳者ならびに Google 翻訳、GPT4 の翻訳創造性について全体から局所までの量的比較分析を実施した。

人手評価は 3 つの公式によって計算される。AS （公式 1）は UCP 訳文の語彙・文法上の正確さと意味上の適切さ、NS（公式 2) は UCP 訳文における創造性シフトの比率を測る。 $N_{U C P S} 、 N_{\text {Kudos }} 、$ $N_{\text {Creative Shifts }}$ はそれぞれ UCP、表 1 の称賛、表 2 の「新奇性のある」カテゴリーの中に含められた翻訳方略の数で、ErrorPoints は表 1 の「受容不可能」 に含められたエラー重大度の総点である。CS（公式 3）は AS と NS の加重調和平均值で、本研究は $\beta$ を 1 とする。3つのスコアは区間 $[0,1]$ 内にあり、翻訳性能との関係は正の相関にある。
表 38 種類の UCP 訳文の自動評価平均スコア

Acceptability Score $($ AS $)=\left(\frac{\mathrm{N}_{\text {Kudos }}+\sum \text { Error Points }}{\mathrm{N}_{\text {UCPs }}}+15\right) / 16$

Novelty Score(NS) $=\frac{\mathrm{N}_{\text {Creative Shifts }}}{\mathrm{N}_{\mathrm{UCPs}}}$

Creativity Score $(C S)=\frac{\left(1+\beta^{2}\right) \times \text { Acceptability Score } \times \text { Novelty Score }}{\beta^{2} \times \text { Acceptability Score }+ \text { Novelty Score }}$

## 4 結果分析

## 4.1 自動評価

3 つの翻訳方式から生成された UCP 表現を含む文全体の訳文（以下 Sent）と、UCP 表現だけに対応する訳文（以下 UCP 訳文）に対する 4 つの自動評価指標による採点は表 4 にまとめた。BLEU と COMET は人間翻訳を参照訳とし、NMT 訳文と参照訳との一致性を測るため、人間翻訳への点付けはしない。一方、COMETKIWI と XCOMET-QE は、原文と訳文間の意味的類似度を測るメカニズムとなっている。 また、BLEU ${ }^{6}$ スコアだけが区間 $[0,100]$ の実数で、残りの $3 つ^{7)}$ は $[0,1]$ の間の実数で表現される。

表 4 UCPを含む文の翻訳と UCP 訳文の自動評価スコア

表４の示すとおり、GPT4 は文レベルにおいても句レベルにおいてもより高い性能を発揮できた。BLEU と COMET のスコアからみては、 GPT4 は Google 翻訳より人間翻訳と一致する一方、 COMETKIWI と XCOMET-QE のスコアからみては、原文に潜んだ意味をより正確に掘り出せる。そして、各指標の Sent スコアと UCP スコアを比較し、 XCOMET-QE を除く 3 つの指標は前者より後者のほ

6) https://github.com/mjpost/sacrebleu

7) https://github.com/Unbabel/COMET
うが低いことから、UCP 翻訳に必要な創造性がどの翻訳方式にも支障をもたらしたことが考えられる。

表 3 は各種の UCP 訳文に対する自動評価指標の平均得点を統計した。Google と GPT4 の性能について、C 類 UCP 訳文が BLEU と COMET からもっとも低い評価をもらったのに対し、COMETKIWI と XCOMET-QE のスコアは D 類 UCP が一番低い。わりと性能高く訳出できた UCP は G 類 UCPで、翻訳方式と評価指標にかかわらず 0.5 以上の得点を得た。

異なった翻訳方式のスコアを比較分析すると、表 4 との共通点と相違点がいくつか見つかった。共通点として、GPT4 の性能が全体的に Google 翻訳より優れていることがあげられる。相違点として、C 類 UCP と D 類 UCP 訳文に対する COMETKIWI と XCOMET-QE のスコアは、人間翻訳のほうが高いこと、そして、Google 翻訳は数種類の UCP に対して、 GPT4 と太刀打ちできる情報抽出能力を備えていることがある。

自動評価指標の採点は、GPT4 による UCP 翻訳がより高い品質を持っていることを示した。ところが、COMETKIWIと XCOMET-QE が人間翻訳への点付けが一番低いという常識外れな現象も見られ、主流となった自動評価指標は単語の埋め込みと意味特徵によって、参考訳への依存から解放されたが、まだ十分にはならないことがわかった。そこで、本研究は信頼性の高い人手評価に重きを置いた。

## 4.2 人手評価

表 6 では、訳者、Google 翻訳、GPT4 による UCP 訳文の AS、NS および CS が表されている。どのスコアでも人間 $>$ Google $>$ GPT4 という順序が観察される。CS について、GPT4 と Google 翻訳は人間翻訳に比べてそれぞれ 0.13 と 0.2 の差が見られるが、自動翻訳同士の差は 0.07 しかない。要するに、翻訳創造性の各方面において、GPT4 が Google 翻訳より優れたといえども、人並みのレベルまではかなり
表 58 種類の UCP 訳文の Acceptability Score、Novelty Score および Creativity Score

の距離があるので、創造性という桎梏を完全に脱したというわけではない。AS における3つの翻訳方式間の差は 0.1 に及ばいが、新奇性における Google 翻訳とGPT4 の得点はそれぞれ人間翻訳の $50 \%$ と $70 \%$ とっており、翻訳方式間の創造性の差異は新奇性によるものとみなせるだろう。

表 6 UCP 訳文の Acceptability Score、Novelty Score および Creativity Score

UCP の種類を考えながら、翻訳方式間の得点を比較した。表 5 によると、各種のUCP 訳文のどの得点でも全体と一致した順序が現れた。人間翻訳は必ずしも正しいとは言えないが、ASが 0.92 と 0.95 の間で分布している。それに比べて、GPT4も Google 翻訳も 0.85 以上の点数を得たため、受容可能性上の性能において今の自動翻訳にはかなりの競争力があると考えられる。Google 翻訳による全種類の UCP 訳文は NS 值が人間翻訳の半分以下で、新奇性のない翻訳方略が多用されている。GPT4 は C 類 UCP をはじめ、 5 種の UCP 訳文の NS が人間翻訳と 0.1 弱の差が観察されたが、残りの 3 種 (A 類、B 類、 $\mathbf{F}$類）訳文のパフォーマンスには改善の余地がかなり大きい。

UCP 全体において、B 類 UCP の CS が一番高く、 どの翻訳方式にとってもこれを創造的に訳す難易度が一番低いことがわかった。図 1 によっては、B 類 UCP を訳す際、訳者のみならず、自動翻訳も直接訳、抽象化または調整の翻訳方略を活用できる。 これは、原文に出た B 類 UCP の大半は、身体部位に基づいたものであることが原因だろう。このような表現が頻ぱんに使われている間、それに対応する中国語訳も定着した。そして、訓練データにも使用されたため、Google 翻訳と GPT4 に学習された。その反対に、G類 UCP と H 類 UCP 訳文の創造性は一段と低く、借用・直接訳・定訳という新奇性のない翻訳方略の使用が多くみられる。主な原因は：1)定訳が多いこと、2）一部の H 類 UCP は漢字からなっており、中国語との意味的連合性が強いことにある。A 類 UCP の訳文においては、翻訳方式間の $\mathrm{CS}$ に著しい差がある一方、人間翻訳の NS は自動翻訳の $70 \%$ を超えている。我々の認知構造に深く根差している A 類 UCP は、文化・社会・コンテクストと深く関わっているが、B類 UCP などの言語文化に定着された UCP とは違って、個人的的な性質を持っており、形式的にも意味的にも柔軟性と多様性が顕著である。専門訳者は起点言語と目標言語の文化を熟知しているため、認知的・文化的負荷の高い A 類 UCP を翻訳するとき、抽象化・具象化・調整などの方略を使いこなせる。ところが、現時点での NMT とLLM にとって、認知的に原文の意味合いを理解するのは今も一つ大きな課題と言える。

## 5 おわりに

本研究は、Guerberof-Arenas ら [7] が提唱した翻訳創造性スコアの公式を改善した上で、日本文学に出た UCP 表現の中国語訳を対象に、量的アプローチで GPT4を代表とする LLM の性能を考察した。結果的には、LLM の翻訳創造性および 2 つの側面「受容可能性」と「新奇性」における性能は Google 翻訳を代表とする NMT より増しているが、専門訳者のレベルに到達するまで見過ごせない距離があると言える。ゆえに、認知的・文化的要素を考慮に入れることで、LLM の文学翻訳における性能向上が期待される。また、翻訳自動評価指標による翻訳創造性への評価も今後の課題として改善する必要がある。

## 参考文献

[1] Cynthia Beatrice Costa and Igor A Lourenço da Silva. On the translation of literature as a human activity par excellence: ethical implications for literary machine translation. Aletria: Revista de Estudos de Literatura, Vol. 30, No. 4, pp. 225-248, 2020.

[2] Katherine Thai, Marzena Karpinska, Kalpesh Krishna, Bill Ray, Moira Inghilleri, John Wieting, and Mohit Iyyer. Exploring document-level literary machine translation with parallel paragraphs from world literature. In Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing, pp. 9882-9902, 2022.

[3] Wenhao Zhu, Hongyi Liu, Qingxiu Dong, Jingjing Xu, Lingpeng Kong, Jiajun Chen, Lei Li, and Shujian Huang. Multilingual machine translation with large language models: Empirical results and analysis. arXiv preprint arXiv:2304.04675, 2023.

[4] Biao Zhang, Barry Haddow, and Alexandra Birch. Prompting large language model for machine translation: A case study. arXiv preprint arXiv:2301.07069, 2023.

[5] Gerrit Bayer-Hohenwarter. Translational creativity: how to measure the unmeasurable, Vol. 37. Samfundslitteratur Copenhagen, 2009.

[6] Ana Guerberof-Arenas and Antonio Toral. The impact of postediting and machine translation on creativity and reading experience. Translation Spaces, Vol. 9, No. 2, pp. 255-282, 2020.

[7] Ana Guerberof-Arenas and Antonio Toral. Creativity in translation: Machine translation as a constraint for literary texts. Translation Spaces, Vol. 11, No. 2, pp. 184-212, 2022.

[8] Arle Lommel and Alan K Melby. Tutorial: Mqm-dqf: A good marriage (translation quality for the 21 st century). In Proceedings of the 13th Conference of the Association for Machine Translation in the Americas (Volume 2: User Track), 2018.

[9] Peter Sibson. Subtitling norms for television: an exploration focussing on extralinguistic cultural references, 2012.

[10] J. Pedersen. Subtitling Norms for Television: An Exploration Focussing on Extralinguistic Cultural References. Benjamins translation library. John Benjamins Publishing Company, 2011.

[11] Gerrit Bayer-Hohenwarter and Paul Kussmaul. Translation, creativity and cognition. In The Routledge handbook of translation and cognition, pp. 310-325. Routledge Abingdon and New York, 2020.

[12] Ana Rojo. The role of creativity. The handbook of translation and cognition, pp. 350-368, 2017.

[13] Paul Kussmaul. Types of creative translating. Benjamins translation library, Vol. 39, pp. 117-126, 2000.

[14] Paul Kussmaul. Creativity in the translation process: Empirical approaches. In Translation Studies: The state of the art, pp. 91-101. Brill, 1991.

[15] Gerrit Bayer-Hohenwarter. Comparing translational creativity scores of students and professionals: flexible problemsolving and/or fluent routine behaviour, Vol. 83. Samfundslitteratur Copenhagen, 2010.

[16] Gerrit Bayer-Hohenwarter. "creative shifts" as a means of measuring and promoting translational creativity. Meta, Vol. 56, No. 3 , pp. 663-692, 2011.

[17] 毅彦吉見. 人間による翻訳文と機械翻訳文における係り受け距離の比較分析. Information: an international Interdisciplinary journal, Vol. 17, No. 6, pp. 2155-2168, 06 2014.

[18] TAKEHIKO YOSHIMI. Comparative analysis of familiarity rating of verbs in human-translated and machine-translated sentences. Journal of Natural Language Processing, Vol. 11, No. 2, pp. 101-113, 2004.

[19] 毅彦吉見. 人間による翻訳文と機械翻訳文における係り受け構造の統計的性質. 計量国語学 = Mathematical linguistics :計量国語学会機関誌, Vol. 24, No. 5, pp. 218-227, 2004.

[20]毅彦吉見. 人間による翻訳文と機械翻訳文における名詞の馴染み度の計量的比較分析. Information : an international Interdisciplinary journal, Vol. 16, No. 7, pp. 5329-5344, 07 2013.

[21] Chenyang Lyu, Jitao Xu, and Longyue Wang. New trends in machine translation using large language models.

[22] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th annual meeting of the Association for Computational Linguistics, pp. 311-318, 2002.

[23] Ricardo Rei, José GC De Souza, Duarte Alves, Chrysoula Zerva, Ana C Farinha, Taisiya Glushkova, Alon Lavie, Luisa Coheur, and André FT Martins. Comet-22: Unbabel-ist 2022 submission for the metrics shared task. In Proceedings of the Seventh Conference on Machine Translation (WMT), pp. 578-585, 2022.

[24] Ricardo Rei, Marcos Treviso, Nuno M Guerreiro, Chrysoula Zerva, Ana C Farinha, Christine Maroti, José GC De Souza, Taisiya Glushkova, Duarte Alves, Luísa Coheur, et al. Cometkiwi: Istunbabel 2022 submission for the quality estimation shared task. In Proceedings of the Seventh Conference on Machine Translation (WMT), pp. 634-645, 2022.

[25] Nuno M Guerreiro, Ricardo Rei, Daan van Stigt, Luisa Coheur, Pierre Colombo, and André FT Martins. xcomet: Transparent machine translation evaluation through fine-grained error detection. arXiv preprint arXiv:2310.10482, 2023.

 &  \\

## B 人手評価について

(a) 人間翻訳

(b) Google 翻訳

(c) GPT4 翻訳

図 18 種類の UCP に対する翻訳方略の分布