# 同時通訳品質評価方法検討のための 同時通訳者と翻訳者の評価比較分析

蒔苗 茉那 ${ }^{1}$ 須藤 克仁 ${ }^{1}$ 中村 哲 ${ }^{1}$ 松下 佳世 ${ }^{2}$ 山田 優 ${ }^{2}$
${ }^{1}$ 奈良先端科学技術大学 ${ }^{2}$ 立教大学
\{makinae.mana.mh2, sudoh, s-nakamura\}@is.naist.jp

## 概要

同時通訳の品質評価は，人と機械双方の同時通訳の向上と発展のために重要である. しかし, 標準的な品質評価基準はまだ確立されていない. 本研究 では，同時通訳の品質評価基準を検討するための第一歩として，同時通訳者と翻訳者による評価の比較分析を行い，通訳と翻訳の品質評価観点の差異につ いて議論する。評価は同時通訳者と翻訳者各 1 名 が，同一の記者会見に対してMultidimensional Quality Metrics (MQM) をもとにした「JTF 翻訳品質評価ガイドライン」を利用した. 評価結果の比較分析により, 同時通訳者と翻訳者の間の評価観点 の共通点と相違点を明らかにする. そして同時通訳品質評価への応用の可能性を検討し、改良が必要な 項目を明らかにする。

## 1 はじめに

同時通訳とは，原言語から目的言語へ，発話さ れた内容を聞き取りつつ，同時に発話内容を訳出し ていく行為を指す. 同時通訳では, 訳出は原発話 になるべく追いつくことが要求されるため, 厳しい 時間制約の下で話者の伝えたいことを正確に訳出す ることが求められる.

しかし，そのような要求に応えられているかの 標準的な評価基準は確立されていない. 同時通訳の 訳出結果が原発話の内容を十分汲み取れているかを 評価するためには、訳出結果の品質の良し悪しを多角的に判断しなければならないが、そのための具体的かつ実用的な基準はまだ存在しないのである.こ こでの評価は通訳品質の向上につながることから，現在人間が行っている同時通訳を評価する上でも有益である. しかし現状, 同時通訳の訳出結果全体を 大まかに評価する指標はあるものの，一文ずつなど細かいセグメント単位での訳出に注目した評価指標 はなく，十分な評価ができていない状況にある.

一方で近年, 機械による自動同時翻訳の研究が 進んでいる. 例えば Fukuda ら[1]は漸進的な音声認識, 機械翻訳, 音声合成をカスケード処理する自動同時翻訳システム実現した. 機械もまた人間と同様 に，訳出内容を評価することができれば，その評価 をもとに改善することができるため, 評価は重要で ある. しかし, 同時通訳の品質評価基準が存在しな いことから，現状は翻訳の指標である BLEU 等を 元に改善を試みているが，これらは評価指標に不十分である。なぜなら，通訳評価には流暢性，自然性 より, 同時性, 内容伝達度の視点が重要となるため である。なぜなら，自動同時通訳の改善に翻訳の指標が用いられているということは, 同時通訳の特徴 が改善指標に十分に反映されていないことを意味す るからである. そのため, 同時通訳の品質評価基準 を構築することは，人間だけでなく機械による同時通訳にとっても有益であると考える.

本研究では, 同時通訳の品質評価基準構築に向 けて，翻訳の品質評価基準である Multidimensional Quality Metrics (MQM) [2]に着目し, その同時通訳評価への応用について検討する. 原言語から目的言語に変換するという点で同時通訳と翻訳は似ている ものの, 一方で訳出時間の制限などいくつかの点で 異なる性質を持つことから，翻訳の品質評価基準を 同時通訳にそのまま当てはめようとすると問題が生 じる．例えば，聞き手の内容理解に与える影響が小 さいと考えられる程度の簡略化や省略は、時間的な 制約を伴う同時通訳においては、一定程度許容され るからである. そこで本稿ではそのための第一歩と して，MQM を同時通訳評価へ応用するにあたり何 が必要かを明らかにするために，同時通訳者と翻訳者による評価の視点の共通点と相違点の分析を行 う. 具体的には，同一の同時通訳に対して同時通訳
者と翻訳者が $\mathrm{MQM}$ に基づく JTF 翻訳品質評価ガ イドライン[3]を利用して行った評価結果の比較と 分析を通じて，翻訳評価の視点をほぼそのまま応用可能な項目および同時通訳評価向けに改変が必要な 項目を明らかにすることを目指す。

本稿の検討を通じ以下が明らかになった。

- $M Q M$ 評価項目のうち, 同時通訳評価に応用可能な項目はカテゴリ「正確さ-誤訳-」である.

- $\mathrm{MQM}$ 評価項目のうち, 同時通訳評価に応用す るには要検討な項目は流暢さ」とカテゴリ 「抜けと余分」である.

## 2 関連研究

MQM（Multidimentional Quaity Metrics）とは,翻訳の評価指標フレームワークであり，この $\mathrm{MQM}$ を用いた翻訳の評価手法の有効性が示されている. MQM については 3 章で詳説する. Freitag ら[4]は， Direct Assessment による人手評価よりも，MQM 評価が Scalar Quality Metric (SQM)など他の評価手法と 相関が最も強いことを示し, 機械翻訳の評価に MQM を用いるのが適当ではないかと提案してい る. WMT21 Metrics Shared Task [5] では、実際に MQM を用いた人手評価が追加で行われており， MQM の評価手法としての有効性を示している.既存の同時通訳の評価指標は，訳出結果全体を 通じたプロダクト評価というよりも，むしろ通訳者 を評価するものであり，代表的なものに NAATI Metrics [6]と EU Metrics [7]がある. NAATI (National Accreditation Authority For Translators and Interpreters）とは，オーストラリア政府公認の翻訳者や通訳者の国家資格の認定のことを指し，そこで 使用されている NAATI Metrics は通訳の内容を A: Meaning Transfer Skill, B: Application of interpreting mode, C: Rhetorical skill, D: Language Proficiency enabling meaning transfer $の 4$ つの指標をもとに 5 段階評価を行うことで, 通訳全体を通して適切な訳出 が行われていたかを評価する. EU Metrics では，

Content, Delivery/From, Technique の 3 つの指標 をもとに，通訳全体を通して適切な訳出が行われて いたか評価をする。一方で，通訳者ではなく，通訳内容に注目し, 一文ずつなど細かいセグメント単位 での通訳の評価指標はこれまでのところ確認できて いない.

## 3 MQM による同時通訳評価

## 3. 1 MQM - JTF 翻訳品質評価ガイドライン

MQM とは翻訳の評価指標フレームワークであ り, 日本翻訳連盟（JTF）では $\mathrm{MQM}$ をとに JTF 翻訳品質評価ガイドライン[3]を作成, 公開してい る.

$\mathrm{MQM}$ や JTF 翻訳品質評価ガイドラインでは,評価依頼者が各エラーカテゴリの重みを事前に設定 することで仕様を決定し, 評価者はその仕様をもと に，翻訳結果を 1 文単位でエラーベースの評価を行 う。具体的には重みと重大度を掛け合わせ点数化す る. エラーのカテゴリには正確さ・流暢さ・用語・ スタイル・地域慣習などがある。評価依頼者が各エ ラーカテゴリに対し重みを自由に設定するので，ど のエラー項目を重視度するかの表現が可能である。 エラーが文章に与える重大度の程度は深刻・重度・軽度・なしがあり, JTF 翻訳品質評価ガイドライン のサンプル評価シートにおけるそれぞれの標準値は $100 \cdot 10 \cdot 1 \cdot 0$ であり，重大なエラーには大きなぺ ナルティがかかるようになっている。この重み付き 和で表されるエラースコアが大きいほど、その文章 に対するエラーは深刻であると考える。

## 3.2 同時通訳評価への応用

本研究では, $\mathrm{MQM}$ に基づく同時通訳評価の確立に向けた検討を行う。過去の同時翻訳評価の試み [8]では，英日の同時翻訳タスクに対して，JTF 翻訳品質ガイドラインを用いて, 翻訳者が評価者として 訳出内容を評価した. その結果, BLEU スコアと人手評価によるエラースコアとの間に正の相関関係が 見られたことが報告されている. しかしながら先に 述べたような翻訳と通訳の違いについては十分に考慮されておらず，通訳においては問題とされないよ うな点について過剰な減点を受けていることが憂慮 される. そこで本研究では通訳者と通訳者による評価を実施し，評価結果の比較と分析を行う。

今回の分析から期待される効果として，両者間 での共通点が明らかになれば，それは翻訳内容の品質を評価する MQM は同時通訳の品質評価にも応用可能であると示すことができる. また両者間での相違点が明らかになれば，それは同時通訳評価者と翻訳評価者の間で評価すべき項目の違いが存在するこ との現れであり, それらの違いは同時通訳評価体系 の構築時に検討すべき項目と考えることができる.
分析のために，同時通訳者，翻訳者，各 1 名 に，共通の同時通訳データの評価を依頼した，同時通訳者は 15 年以上の実務経験を持つが、JTF ガイ ドラインを使用した評価の経験はない。翻訳者は JFT ガイドラインを使用した評価の経験を持つ。同時通訳データは日本記者クラブの記者会見の同時通訳収録データ(JNPC063) [9]である。評価にあたり同時通訳者には原発話と同時通訳の音声およびそれら の書き起こしを提示し，翻訳者には原発話と同時通訳の書き起こしのみを提示した。なお，評価を行っ た翻訳者は JTF ガイドラインを用いた評価作業の 経験を有していたのに対し, 同時通訳者は MQM や JTF ガイドラインに基づく評価作業の経験がなかつ たため，事前の打ち合わせにより JTF ガイドライ ンに基づく評価方法について説明を行った上で，エ ラー重大度について通訳の観点で評価して良い旨を 伝えた。

表 $1 \mathrm{JTF}$ ガイドラインによる同時通訳者と翻訳者の同時通訳評価結果比較

 &  \\

## 4 分析結果

以下に，JTF ガイドラインを用いた同時通訳者 と翻訳者による同時通訳評価結果について, 評価の 共通点・相違点について分析した結果のうち代表的 なものを例示する（表 1 ）. 表中のエラー値は翻訳者による評価において事前に設定したカテゴリおよ び重大度による重みに基づくものである（重みの詳細は付録に記載）。

## 4.1 同時通訳者評価と翻訳者評価の共通点

同時通訳者と翻訳者による評価で共通する傾向 があったものとして, 例(1)に示すカテゴリ「正確 さ-誤訳-」が挙げられる. 当該カテゴリでは, 原発話で用いられている単語が目的言語にて適切な訳に 置き換わっていない場合は共通して減点されてい た. エラー重大度の判定については同時通訳者と翻訳者の間で摇れがあり, 例(1)では同時通訳者のほ うが重大度が高いとしており, エラー值が 26.6 と なったのに対し，翻訳者では 1.33 であった。

## 4.2 同時通訳者評価と翻訳者評価の相違点

同時通訳評価者と翻訳評価者の間における評価項目の相違点として, カテゴリ「流暢さ」とカテゴ リ「抜けと余分」が挙げられる．カテゴリ「流暢 さ」にて，翻訳評価者は目的言語が英文の語順通り に訳されているので不自然（例(2) エラー値 0.67），表現が不自然で流暢さに欠ける（例(3) エ ラー値 0.67）という理由で，それら理由に該当する 訳出文を減点対象としていた。一方同時通訳評価者 は, 前述した理由で訳出文を減点することはなかっ た. 英日翻訳における英語と日本語の語順の違いか ら, 同時通訳において早く訳出しようとすると通常 の日本語の伝達順と入れ替えて訳出せざるを得ない が，翻訳の観点では自然さや流暢さが損なわれてい ると判断したからではないかと考えられる. 例(2) であれば，「〜してから 30 年ぶりである」と時間 の言及を強調する訳出を好ましい翻訳とすると, こ の通訳結果ではそうした強調が反映されていないと 考えることもできる.

カテゴリ「抜けと余分」にて，翻訳評価者は原発話に含まれる単語が全て訳出されていない場合は 基本的に減点としていた（例(4) エラー値 1.33）.一方同時通訳評価者は, 原言語側に含まれる単語が 全て訳出されていなかったとしても，全てを一律に減点することはなかった(エラー值 0 ). こちらもカ テゴリ「流暢さ」と同様に, 英日の文法構造の違い と原言語になるべく追いつこうとする訳出時間制限 のトレードオフから, 同時通訳において, ある程度 の抜けは容認されて然るべきなのではないかと考え る.

## 5 考察

分析結果から，カテゴリ「正確さ-誤訳-」に て, 同時通訳評価者と翻訳評価者の評価項目の視点 が共通していることが分かった. そのため, カテゴ リ「正確さ-誤訳-」については, 翻訳内容の品質を 評価する $\mathrm{MQM}$ ・ $\mathrm{JTF}$ ガイドラインに基づいて同時通訳の品質を評価することができると示唆される. しかしながら今回は評価対象, 評価者とも事例が非常に限定されていることから, 今後より多くの事例 を通じて誤訳の認定基準について検討することが必要と考えられる。

一方，カテゴリ「流暢さ」とカテゴリ「抜けと 余分」においては, 同時通訳評価者と翻訳評価者の 評価項目の視点が異なることが分かった. そのた め, これらの違いは同時通訳の特徴と捉えることが でき。こうした特徴を反映した評価体系の必要性が 確認できた.

## 6 おわりに

本稿では, 翻訳品質評価基準である Multidimensional Quality Metrics (MQM)が同時通訳評価へ応用可能であるかを調査するために，同時通訳評価者と翻訳評価者の間における評価の視点の共通点と相違点の分析を行い, 応用可能な項目と検討が 必要な項目を明らかにした。

一方で今回行った分析は, 原言語と目的言語が一対一で評価される単文評価による分析であった. 訳出時間や前後の文章の重要度によって訳出結果が大 きく影響を受ける同時通訳において，前後の関係や 訳出時間が考慮されない単文評価のみの分析結果は,同時通訳品質評価項目の検討に必要ではあるものの 十分であるとは言えない. 今後は, 訳出時間と訳出結果, エラーの関係性について分析を進めていくこ とで, 単文評価で分析するができなかった, 同時通訳が持つ特徴であるリアルタイムで連続した文章間 の関係性について明らかにしていきたいと考える。

## 謝辞

本研究は JSPS 科研費 JP21H05054 の助成を受け たものです.

## 参考文献

[1] Ryo Fukuda, Sashi Novitasari, Yui Oka, Yasumasa Kano, Yuki Yano, Yuka Ko, Hirotaka Tokuyama, Kosuke Doi, Tomoya Yanagita, Sakriani Sakti, Katsuhito Sudoh and Satoshi Nakamura. "Simultaneous Speech-to-speech Translation System with Transformer-based Incremental ASR, MT, and TTS," Proc. Oriental COCOSDA 2021, 186-192, Nov. 18,2021

[2] A.Lommel et al., "Multidimensional Quality Metrics (MQM):A Framework for Declaring and Describing Translation Quality Metrics," Revista Tradumàtica: tecnologies de la traducció, 2014

[3] 一般社団法人 日本翻訳連盟（JTF），“JTF 翻訳品質評価ガイドライン”:

https://www.jtf.jp/pdf/jtf_translation_quality_guideli nes_v1.pdf

[4] Markus Freitag, George Foster, David Grangier, Viresh Ratnakar, Qijun Tan, and Wolfgang Macherey. "Experts, Errors, and Context: A Large-Scale Study of Human Evaluation for Machine Translation," Transactions of the Association for Computational Linguistics, 9:1460-1474. 2021

[5] Markus Freitag, Ricardo Rei, Nitika Mathur, Chi-kiu Lo, Craig Stewart, George Foster, Alon Lavie, and Ondřej Bojar. 2021. Results of the WMT21 Metrics Shared Task: Evaluating Metrics with Expert-based Human Evaluations on TED and News Domain. In Proceedings of the Sixth Conference on Machine Translation, pages 733-774, Online. Association for Computational Linguistics

[6] NAATI Metrics:

https://www.naati.com.au/wp-

content/uploads/2020/10/Certified-Interpreter-

Assessment-Rubrics.pdf

[7] EU Mettics:

https://europa.eu/interpretation/doc/marking_criteria_ en.pdf
[8] Antonios Anastasopoulos, Loïc Barrault, Luisa Bentivogli, Marcely Zanon Boito, Ondřej Bojar, Roldano Cattoni, Anna Currey, Georgiana Dinu, Kevin Duh, Maha Elbayad, Clara Emmanuel, Yannick Estève, Marcello Federico, Christian Federmann, Souhir Gahbiche, Hongyu Gong, Roman Grundkiewicz, Barry Haddow, Benjamin Hsu, et al.. 2022. Findings of the IWSLT 2022 Evaluation Campaign. In Proceedings of the 19th International Conference on Spoken Language Translation (IWSLT 2022), pages 98-157, Dublin, Ireland. Association for Computational Linguistics.

[9] 松下佳世, 山田優, 石塚浩之, “英日 - 日英通訳 データベース (JNPC コーパス) の概要”, 日本翻訳学会, vol. 22, pp. 87-94, 2020

## A 付録

MQM による同時通訳評価者と翻訳評価者の同時通訳データ評価結果比較

データ：JNPC063

 &  \\

## 重みの詳細

 & 0.5 &  & 0.5 \\


 蒔苗 茉那 ${ }^{1}$ 須藤 克仁 ${ }^{1}$ 中村 哲 ${ }^{1}$ 松下 佳世 ${ }^{2}$ 山田 優 ${ }^{2}$ ${ }^{1}$ 奈良先端科学技術大学 ${ }^{2}$ 立教大学 \{makinae.mana.mh2, sudoh, s-nakamura\}@is.naist.jp  