# 異言語話者の対話を仲介する音声対話翻訳

清水周一郎 ${ }^{1}$ Chenhui Chu ${ }^{1}$ Sheng $\mathrm{Li}^{2}$ 黒橋禎夫 ${ }^{1}$
1 京都大学大学院情報学研究科 2 情報研究通信機構 (NICT)
\{sshimizu,chu,kuro\}@nlp.ist.i.kyoto-u.ac.jp sheng.li@nict.go.jp

## 概要

本研究では、異言語話者の対話を仲介する音声対話翻訳という新たな機械翻訳のパラダイムを提案 する。日英のビジネスシーン対話コーパスに音声と 話者情報を付与した SpeechBSD コーパスを構築し、 ベースラインの実験を行った。音声対話翻訳におい ては文脈を考慮することが重要であるため、単言語文脈と二言語文脈の 2 つの設定で文脈を構成した。 Whisperを用いた音声認識と mBART の fine-tuning に よる機械翻訳を組み合わせた cascade 音声翻訳の実験を行い、二言語文脈の有効性を示した。

## 1 はじめに

グローバル化に伴い、異なる言語を母語とする 人々の間のコミュニケーションの重要性が高まって いる。しかし、世界には言語の「壁」が存在し、コ ミュニケーションを妨げる大きな原因となってい る。テキスト翻訳の精度は近年のニューラル機械翻訳の発展によって向上した。しかし、人間同士の意思疎通において最も重要な役割を果たす対話の分野 における翻訳の研究は未だ少ない。テキストの対話 であるチャットにおける対話翻訳の研究はされてい る $[1,2,3]$ が、音声での対話翻訳の研究はされてい ない。

本研究では、「音声対話翻訳」という新しい機械翻訳のパラダイムを提案する。音声対話翻訳におい ては、複数の話者が異なる言語を話す多言語対話 （異言語話者の対話）を考え、ある言語の音声を別 の言語のテキストに翻訳する1)。応用例としては、大学のゼミをはじめとした、異なる言語を話す話者 が集まるミーティングにおける利用が考えられる。 また、音声対話翻訳を行う際、異なる言語の文脈を 利用することで、翻訳の曖昧性を解消することを目指す（図 1)。
 に焦点を当てるため、音声合成は別のモジュールと考える。

図 1 音声対話翻訳における文脈の重要性

本研究では、日英の音声対話翻訳を扱った。音声対話翻訳のデータセットは存在しないため、既存 のテキスト対話コーパスであるビジネスシーン対話コーパス [4]を用いて、対応する音声をクラウド ソーシングで収集して SpeechBSD データセットを 構築した。また、文脈を考慮した音声対話翻訳シス テムとして、既存研究の手法 [5] を対話に適用した 単言語で文脈を構成する手法と、二言語で文脈を構成する手法を試した。

音声翻訳の手法として、原言語の音声を目的言語 のテキストに直接変換する end-to-end の手法 $[6,7]$ と、原言語の音声を書き起こして機械翻訳への入力とする cascade の手法 [8] があるが、本研究では cascade で実験を行った。2) 音声認識は、事前学習さ れた大規模音声認識モデルである Whisper [11]を用 いた。機械翻訳の実験では、文脈を利用しない場合、単言語文脈を利用する場合、二言語文脈を利用 する場合の 3 つの設定で mBART [12]を用いて実験 した。それらを組み合わせた cascade 音声翻訳の実験により、二言語文脈の有効性を示した。

## 2 関連研究

Zhang ら [5] は、音声翻訳における文脈の利用の 有効性を示した。彼らは翻訳したい発話より前の発話を文脈として利用し、文脈と発話をともに翻訳す るという手法を試し、その有効性を示した。文脈の

2）近年の研究 $[9,10]$ から、end-to-end と cascade の手法にほと んど性能の差は見られないことが分かっている。End-to-end ではモデルが複雑になることが多く分析が難しくなるため、本研究では casade で実験を行った。
利用方法を複数提案しており、本研究ではそのう ちの sliding window based decoding を採用している。 Zhang らの研究では 1 人の話者が講演形式で話す コーパスでの実験であったが、本研究では対話形式 の状況に焦点を当てる点が異なる。

Liang ら [1] はテキストでの対話であるチャットに おける対話翻訳の研究を行い、文脈や話者情報を利用することで翻訳性能が向上することを示した。彼 らは文脈を利用した翻訳タスクに加え、対話の応答予測や文脈の判定タスクなど計 5 つのタスクををマ ルチタスク学習し、それらが対話の翻訳に有効であ ることを示した。本研究はテキストではなく音声の 対話に焦点を当てる点が異なるほか、新たな二言語文脈の構成方法を提案している。

## 3 音声対話翻訳

音声対話翻訳においては、複数の話者 $S^{m}(m=$ $1,2, \cdots, M)$ が異なる二言語 $L^{n}(n=1,2)$ を話す異言語話者の対話を考える。対話 $D=\left(U_{1}, \cdots, U_{T}\right)$ にお ける発話 $U_{t}(t=1,2, \cdots, T)$ は $U_{t}=\left(S_{t}^{m}, L_{t}^{n}, X_{t}\right)$ で表 される。ここで $S_{t}^{m}$ は発話の話者、 $L_{t}^{n}$ は発話音声の 言語、 $X_{t}$ は発話の音声信号を表す。 $X_{t}$ と内容の等 しい言語 $L^{n}$ のテキストを $Y_{t}^{n}(n=1,2)$ とする。音声対話翻訳のタスクは、各発話 $U_{t}$ について、音声信号 $X_{t}$ から対応する翻訳 $Y_{t}^{2}$ （原言語が $L^{1}$ の場合）また は $Y_{t}^{1}$ （原言語が $L^{2}$ の場合）を生成することである。音声対話翻訳においては、文脈を考慮すること が重要である。例として、英語話者と日本語話者 が何らかの問題について対話している状況を考え る（図 1)。英語話者が “Whad do you think about this idea?” と発話し、日本語話者が「少し甘いと思いま す」と返したとする。このとき、翻訳システムが文脈を考慮しない場合、2つ目の発話が文脈を考慮せ ずに翻訳されて「甘い」を“naive”でなく“sweet”と 翻訳してしまう可能性が高い。英日双方の文脈を考慮することで、この対話の文脈における「甘い」の 意味が明確になり、適切な翻訳が可能になると期待 される。

## 4 音声対話翻訳データセットの構築

音声対話翻訳のデータセットを構築するため、既存のテキスト対話コーパスであるビジネスシーン対話コーパス（以下、BSDコーパス）[4]を用いて、対応する音声と話者情報をクラウドソーシングで収集 した。収集した音声と話者属性が付いた BSDコー
パスを SpeechBSD コーパスと呼ぶこととする。

## 4.1 BSD コーパス

BSDコーパスは、対話における機械翻訳を推進 するために人手で設計されたコーパスである。BSD コーパスはシナリオと呼ばれる単位の対話から成 り、各シナリオでは 2 人以上の話者が対話してい る。シナリオの原文は半分が日本語、半分が英語と なっており、言語によって表現が偏ることがないよ う構成されている。シナリオによって含まれる文数 は異なるが、平均して 30 文程度である。

## 4.2 構築方法

シナリオを話者ごとに分割し、クラウドソーシン グにより音声を収集した。クラウドソーシングのプ ラットフォームとして、日本語は Yahoo!クラウド ソーシング3)、英語は Amazon Mechanical Turk ${ }^{4}$ を用 いた。音声を録音する Web ページを設計し、各プ ラットフォームからリンクで誘導して音声の収集 を行った。録音にあたっては、静かな環境で行い、 はっきりと丁寧に発音するよう指示を出した。ま た、録音データと共に話者の出身地（日本語の場合都道府県、英語の場合アメリカの州）及び性別の 情報を集めた ${ }^{5)}$ 。英語の音声の収集にあたっては、 ワーカーの出身地をアメリカ合衆国に限定した。

## 4.3 収集した音声及び話者属性の統計

収集した音声の統計を表 1 に示す。英語音声が計 24.3 時間、日本語音声が計 30.7 時間であった。男声/女声については英語は偏りがなく、日本語では やや男声が多かった。出身地については、日本語で は人口の分布に概ねしたがっていたが、英語では分布に偏りがあった（付録図 2）。このようなデータの 偏りは英語と日本語で異なるクラウドソーシングプ ラットフォームを利用したことに起因すると考えら れる。

## 5 文脈を考慮した音声対話翻訳

ここでは、音声対話翻訳において文脈を考慮する 手法として、単言語文脈と二言語文脈の 2 つを考 える。

$M=2$ の場合で考える。 $m=n$ (話者 $S^{i}$ が言語 $L^{i}(i=1,2)$ で話す) としても一般性を失わない。ま

3) https://crowdsourcing.yahoo.co.jp/

4) https://www.mturk.com/

5）これらの情報の収集にあたりワーカーの同意を得ている。
表 1 SpeechBSDコーパスの統計

た、簡単のため、話者は交互に発話し、話者 $S^{1}$ が対話を始めるものとする6)。すなわち、

$
{ }^{\forall} U \in\left.\{U_{t} \mid t \bmod 2=i\right.\}, \quad L(U)=L^{i}
$

## とする。

まず、 $S^{i}$ の時点 $t(t=1,2, \cdots, T)$ での各発話 $U_{t}=\left(S_{t}^{i}, L_{t}^{i}, X_{t}\right)$ 亿対し、音声認識システムを用いて 書き起こし $Y_{t}^{i}(t=1,2, \cdots, T)$ を得る。音声認識にお ける文脈の必要性は機械翻訳と比べて小さいと仮定 し、ここでは文脈を考慮しない。

1つ目の単言語文脈を利用する手法は、書き起こ しを機械翻訳したテキスト7)を用いて単言語で文脈 を構成し、その文脈を用いて翻訳したい発話を翻訳 する手法である。発話 $U_{\tau}$ の言語 $L^{i}$ についての単言語文脈のテキストは

$
\boldsymbol{Y}_{<\tau}^{i}=\left.\{Y_{t}^{i} \mid t<\tau\right.\}, \quad i=1,2
$

で表せる。この場合、機械翻訳システムは単言語対 のものが 2 つでも良いし、二言語対に対応した 1 つ の翻訳システムでも良い。本研究では単言語対の機械翻訳システム 2 つを用いた。 $L^{1}$ を原言語、 $L^{2}$ を 目的言語とする機械翻訳モデルは、以下の対数尤度 を最大化するように学習する。

$
\mathscr{L}^{1 \rightarrow 2}=\sum_{t} \log \mathrm{P}\left(Y_{t}^{2}, \boldsymbol{Y}_{<t}^{2} \mid Y_{t}^{1}, \boldsymbol{Y}_{<t}^{1}\right)
$

文脈及び翻訳対象の発話は発話順 $t$ に沿って与え る。出力は $Y_{t}^{2}$ と $Y_{<t}^{2}$ が共に出てくるため、後処理 により $Y_{t}^{2}$ のみを取り出す。 $L^{2}$ を原言語、 $L^{1}$ を目的言語とする場合も同様である。

2つ目の二言語文脈を利用する手法は、文脈を二言語の書き起こし ${ }^{8)}$ から構成する手法である。発話

6）本研究で用いるデータセットでは、同じ話者による連続し た複数の発話は別の発話として扱うため、話者が交互に発話 するわけではない。また、話者が 3 者以上の場合、対話内で の登場順に番号を振り、番号の偶奇が一致する話者は同じ言語を話すものとして扱う。

7）推論時には書き起こしを用いるが、訓練時にはそれに対応 する正解のテキストを用いる。

8）同様に推論時のみで、訓練時にはそれに対応する正解のテ キストを用いる。 $U_{\tau}$ の二言語文脈のテキストは $\boldsymbol{Y}_{<\tau}=\tilde{\boldsymbol{Y}}_{<\tau}^{1} \cup \tilde{\boldsymbol{Y}}_{<\tau}^{2}$ で表 せる。ここで

$
\tilde{\boldsymbol{Y}}_{<\tau}^{i}=\left.\{Y_{t}^{i} \mid t<\tau \wedge t \bmod 2=i\right.\}, \quad i=1,2
$

である。この場合、機械翻訳システムは二言語対 に対応したものである必要がある。 $\boldsymbol{Y}_{<\tau}$ の翻訳を

$\overline{\tilde{\boldsymbol{Y}}_{<\tau}^{i}}=\left.\{Y_{t}^{j} \mid t<\tau \wedge t \bmod 2=i\right.\}, \quad(i, j)=(1,2),(2,1)$

である。二言語文脈を扱う機械翻訳モデルは、以下 の対数尤度を最大化するように学習する。

$
\mathscr{L}=\sum_{t} \log \mathrm{P}\left(\overline{Y_{t}}, \overline{\boldsymbol{Y}_{<\tau}} \mid Y_{t}, \boldsymbol{Y}_{<\tau}\right)
$

ここで、 $\overline{Y_{t}}$ は $L\left(U_{t}\right)=L^{1}$ のとき $Y_{t}^{2} 、 L\left(U_{t}\right)=L^{2}$ の とき $Y_{t}^{1}$ とする。文脈及び翻訳対象の発話は発話順 $t$ に沿って与え、出力は後処理により $\overline{Y_{t}}$ のみを取り 出す。

なお、文脈 $\boldsymbol{U}_{<\tau}=\left.\{U_{t} \mid t<\tau\right.\}$ を考える際、モ デルの入力長には制限があるため、文脈幅 $c$ を考慮する。発話 $U_{\tau}$ の文脈幅が $c$ の文脈は $\boldsymbol{U}_{<\tau}=\left.\{U_{t} \mid t=\tau-1, \cdots, \tau-c \wedge t>0\right.\}$ で表せる。

## 6 実験

## 6.1 音声認識

本研究は日英の翻訳を対象とするため、日本語と 英語の音声認識器が必要となる。本研究では、多言語音声認識及び英語を目的言語とする多言語音声翻訳のマルチタスクモデルである Whisper [11]を 用いた。Whisper は log-Mel spectrogram 特徴量を大力に用いた Transformer [13] ベースのモデルで、計 680,000 時間の音声データを用いて教師あり学習 されており、多様なドメインのデータで訓練する ことによって頑健性の高い性能を達成している。 encoder 12 層、decoder 12 層の medium fine-tuning 等を行わずに用いた。語彙は公開されている語彙サイズ 50,257 の byte-level BPE モデルを用いた。 SpeechBSDコーパスの評価データで音声認識の予測を行い、日本語は文字誤り率 (CER)、英語は単語誤り率 (WER) で評価した。結果は日本語の CER が $13.2 \%$ 、英語の WER が $8.3 \%$ であった。

## 6.2 機械翻訳

本研究では翻訳の際に二言語の文脈を考慮するた め、二言語対に対応した機械翻訳モデルを用いる必
要がある。本研究では mBART [12] の 25 言語版（日本語を含む）の large（各 12 層の encoder と decoder から成る Transformer）モデルを用いて、公開されて いる語彙（語彙サイズ $250,001 ＼mathrm{~ ） 用 い て ~ B S D コ ー ~}$ パスで fine-tuning を行った。実装には Fairseq [14] を 用いた。設定として文脈を利用しない場合、単言語文脈を利用する場合、二言語文脈を利用する場合の 3つを試した。

## 6.2.1 実験設定

文脈を利用しない場合 対話の各発話を個別の ものとして扱い、通常の機械翻訳と同じ方法で mBART の fine-tuning を行った。モデルは日英・英日で個別のものとした。前処理として、日本語・英語の各文に mBART の sentencepiece model を適用し てサブワード分割を行った。訓練時のハイパーパ ラメータは基本的に mBART [12] の論文と同じも のを用いたが、開発データの loss に基づく patience 10 の early stopping を採用した。Checkpoint を epoch ごとに保存し、翻訳生成時のモデルには最後の 10 checkpoint を平均したものを用いた。評価には SacreBLEU [15]を用いた9)。

単言語文脈を利用する場合 各シナリオで 5 節 の方法で文脈幅 $c=2^{10)}$ の単言語文脈を構成し、 mBART の fine-tuning を行った。モデルは日英・英日 で個別のものとした。文脈及び翻訳する発話同士は end of sentence トークン</s>で繋げた。そのほかの パラメータは文脈を利用しない場合と同じである。

二言語文脈を利用する場合 各シナリオで 5 節の 方法で文脈幅 $c=2$ の二言語文脈を構成し、mBART の fine-tuning を行った。文脈及び翻訳する発話同士 は end of sentence トークン</s>で繋げた。mBARTで は入出力の最後のトークンとしてja_xx や en_xx と いった言語タグを用いて翻訳の言語対を指定する必要がある。二言語文脈を使用する場合には原言語や 目的言語といった考え方ができないため、入力側に ja_XX、出力側に en_Xxをつける場合とその逆の場合 を試し、BLEU スコアはその平均をとった (両者に 顕著な差は見られなかった。）また、評価の際には 文脈を利用しない場合と同じ出力形式となるように 戻して評価した。そのほかのパラメータは文脈を利

9) 英日: nrefs:1|case:mixed|eff:no|tok: ja-mecab-0.996IPA|smooth: exp|version:2.0.0

日英: nrefs:1|case:mixed|eff:no|tok:13a|smooth: $\operatorname{exp|}$ version:2.0.0

10）Zhang らの研究で性能の高かった値を採用した。表 2 機械翻訳 (MT) 及び cascade 音声翻訳 (Cascade ST) の BSDコーパス評価データの BLEU スコア

用しない場合と同じである。

## 6.2.2 結果

表 2 に文脈を用いなかった場合、単言語文脈を用 いた場合、二言語文脈を用いた場合の比較を示す。文脈を用いなかった場合と比べて、単言語文脈の利用により英日・日英とも 0.9 ポイントの BLEU スコ アの改善が見られた。単言語文脈と二言語文脈を使用した場合の結果に顕著な差は見られなかった。

## 6.3 Cascade 音声翻訳

音声認識の出力を機械翻訳への入力とすることで cascade 音声翻訳の実験を行った。手法は 5 節で記述した通りである。音声認識には Whisper の出力結果を用い、文脈を利用しない場合、単言語文脈を利用する場合、二言語文脈を利用する場合のそれぞれ で実験した。

結果を表 2 に示す。音声翻訳においても、文脈を 用いなかった場合と比べて、単言語文脈を利用する ことで 0.4-0.7 ポイントの BLEU スコアの改善が見 られた。また、二言語文脈を利用した場合はさらに 0.2 - 1.3 ポイントの改善が見られた。

## 7 おわりに

本研究では、音声対話翻訳という新たな研究の枠組みを提案し、クラウドソーシングを用いた音声収集により SpeechBSD コーパスを構築した。文脈の 利用方法として単言語文脈を利用する手法と二言語文脈を利用する手法を試し、実験によって二言語文脈の有効性を示した。今後の展望として、 end-to-end の音声翻訳モデルの実験や、話者の属性情報を用い た音声翻訳を行う予定である。

## 謝辞

本研究は JSPS 科研費 JP19K20343 及びサムスン SDS 株式会社の助成を受けたものである。

## 参考文献

[1] Yunlong Liang, Chulun Zhou, Fandong Meng, Jinan Xu, Yufeng Chen, Jinsong Su, and Jie Zhou. Towards making the most of dialogue characteristics for neural chat translation. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 67-79, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[2] Yunlong Liang, Fandong Meng, Yufeng Chen, Jinan Xu, and Jie Zhou. Modeling bilingual conversational characteristics for neural chat translation. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 5711-5724, Online, August 2021. Association for Computational Linguistics.

[3] Yunlong Liang, Fandong Meng, Jinan Xu, Yufeng Chen, and Jie Zhou. Scheduled multi-task learning for neural chat translation. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 4375-4388, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[4] Mat̄̄ss Rikters, Ryokan Ri, Tong Li, and Toshiaki Nakazawa. Designing the business conversation corpus. In Proceedings of the 6th Workshop on Asian Translation, pp. 54-61, Hong Kong, China, November 2019. Association for Computational Linguistics.

[5] Biao Zhang, Ivan Titov, Barry Haddow, and Rico Sennrich. Beyond sentence-level end-to-end speech translation: Context helps. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 2566-2578, Online, August 2021. Association for Computational Linguistics.

[6] Long Duong, Antonios Anastasopoulos, David Chiang, Steven Bird, and Trevor Cohn. An Attentional Model for Speech Translation Without Transcription. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, 2016.

[7] Alexandre Berard, Olivier Pietquin, Christophe Servan, and Laurent Besacier. Listen and Translate: A Proof of Concept for End-to-End Speech-to-Text Translation. In NIPS Workshop on End-to-end Learning for Speech and Audio Processing, 2016.

[8] F. W. M. Stentiford and M. G. Steer. Machine translation of speech. British Telecom technology journal, 1988.

[9] Luisa Bentivogli, Mauro Cettolo, Marco Gaido, Alina Karakanta, Alberto Martinelli, Matteo Negri, and Marco
Turchi. Cascade versus direct speech translation: Do the differences still make a difference? In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 2873-2887, Online, August 2021. Association for Computational Linguistics.

[10] Viet Anh Khoa Tran, David Thulke, Yingbo Gao, Christian Herold, and Hermann Ney. Does Joint Training Really Help Cascaded Speech Translation?, 2022.

[11] Alec Radford, Jong Wook Kim, Tao Xu, Greg Brockman, Chiristine McLeavey, and Ilya Sutskever. Robust Speech Recognition via Large-Scale Weak Supervision, 2022.

[12] Yinhan Liu, Jiatao Gu, Naman Goyal, Xian Li, Sergey Edunov, Marjan Ghazvininejad, Mike Lewis, and Luke Zettlemoyer. Multilingual denoising pre-training for neural machine translation. Transactions of the Association for Computational Linguistics, Vol. 8, pp. 726-742, 2020.

[13] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, L ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. V. Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc., 2017.

[14] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A fast, extensible toolkit for sequence modeling. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (Demonstrations), pp. 48-53, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[15] Matt Post. A call for clarity in reporting BLEU scores. In Proceedings of the Third Conference on Machine Translation: Research Papers, pp. 186-191, Brussels, Belgium, October 2018. Association for Computational Linguistics.

(a) 日本語

(b) 英語

図 2 収集した音声の話者の出身地の発話数による分布


# ReazonSpeech: A Free and Massive Corpus for Japanese ASR

Yue Yin $^{1}$ Daijiro Mori ${ }^{1}$ Seiji Fujimoto $^{2}$
${ }^{1}$ Reazon Holdings, Inc. ${ }^{2}$ Clear Code, Inc.
\{yue_yin, daijiro_mori\}@reazon.jp fujimoto@clear-code.com
}

\begin{abstract}
ReazonSpeech is a 15,000 -hour and continuously growing corpus collected from Japanese TV shows free for commercial usage. The automatic speech recognition (ASR) model trained on ReazonSpeech achieves state-of-the-art results with $8.23 \%$ character error rate (CER) on JSUT basic5000[1] and $9.93 \%$ on Common Voice[2] v8.0 test set, on par with the recently released Whisper[3] largev2 model. We released the dataset creation toolkit under Apache License 2.0 and made both the corpus and the pretrained ASR model freely available ${ }^{1)}$.
\end{abstract
## 1 Introduction

End-to-end (E2E) automatic speech recognition has recently drawn attention for its state-of-the-art results on benchmark datasets in terms of accuracy and its promise for not needing in-depth expertise compared to hybrid models[4]. With the release of large-scale corpora and models for English, the development of English E2E ASR is flourishing more than ever. Compared to English, Japanese is still resource-scarce and the development of E2E ASR is largely hindered by this scarcity. This paper introduces our attempt to construct a freely available largescale high-quality Japanese ASR corpus from TV recordings via bootstrapping labeling seeding from a small-scale corpus. The release of the corpus is bundled with the creation pipeline free-and-open-source for continual evolution. The initial release of the corpus consists of 15,735 hours of audio data and is by far the largest freely available Japanese ASR corpus of our knowledge and the construction is intended to be continuous. With the Amendment to the Copyright $\mathrm{Act}^{2}$ ) encouraging the use of digital contents in AI going on in Japan since 2019, we hope to ride the

crest of the wave and bring Japanese E2E ASR to a new stage by open-sourcing the project.

## 2 Related Work

There has been a line of research on creating Japanese ASR corpora recently. High-quality corpora that require human efforts such as CSJ[5], and Common Voice[2] have been explored extensively for Japanese ASR for the last decades. While highly supervised corpora are fundamental for hybrid models and remain essential to E2E ASR as benchmark datasets for evaluation, the expensive human labor cost casts a limit on the scalability of such highly supervised corpora in terms of E2E training. These days, the popularity of bootstrapping audiotranscription pairs for ASR training from media like audiobooks and subtitled videos using existing ASR resources has taken a rise. Corpora like The People's Speech [6] and GigaSpeech[7] have shown the competency of automatically generated large-scale corpora for ASR training. For Japanese, LaboroTVSpeech[8] and JTubeSpeech[9] have been introduced in recent years and built up a solid foundation for Japanese E2E ASR. More recently, with the release of Whisper[3], sacrificing the supervision for scale is shown to be promising for E2E ASR. In this work, we applied the automatic construction techniques to TV recordings and further seeks the potential of constructing largescale datasets without depending on existing resources.

## 3 Corpus Construction

A lot of Japanese TV shows are aired with subtitles that can be leveraged for ASR corpus creation. However, the subtitles cannot be directly used to construct an ASR corpus mainly due to the following reasons:

1. timestamps are inaccurate, especially for news and live TV programs

2. transcriptions are missing for commercials and speech

Figure 1 Corpus construction workflow

that has its transcription embedded in the video

3. transcriptions are inaccurate, especially when the speech is informal (eg. deletion of filler phrases)

Of the above limitations, we aim to address 1 and 2 by refining the alignment between text transcription and audio. We leave limitation 3 out of account because of its complexity and the amount of human effort required. The workflow of the construction is illustrated in Figure 1.

## 3.1 Pretrained ASR Models for Alignment

ASR based As suggested in [7, 8, 10], one can automatically generate a corpus using ASR-based alignment and cleansing by leveraging the divide-and-conquer. LaboroTVSpeech[8] and GigaSpeech[7] use the strategy proposed in [11] which consists of a pretrained acoustic model and a biased language model through Kaldi[12] interface. Inspired by this approach, we tried ASR-based alignments for the corpus. We broke down the audio into utterances using voice activity detection through pyannotate[13] and resegmented subtitles into complete sentences using GiNZA[14] through SpaCy framework[15]. We then transcribed the audio segments using an ASR model pretrained on LaboroTVSpeech[16] and matched the audio and transcription chunks based on the ASR results using a dynamic programming-based algorithm as illustrated in Figure 5 in the appendix. By listening to the extracted utterances, we noticed a lot of insertion/deletion at the beginning/end, suggesting that this approach is inadequate to resolve the missing transcription issue 2. Besides, certain words occur repeatedly throughout the entire TV show, making the matching error-prone. In our experience with this method, the quality of the constructed corpus and extraction efficiency largely depends on the accuracy and agreement of the intermediate processes, and this dependency unnecessarily aggregates er- rors and introduces overheads in computation.

CTC segmentation based Finding out that using ASR results overcomplicate the task and suffers from missing transcriptions drove us to rethink the possibility to leverage the inaccurate timestamps that have been ignored. JTubeSpeech[9] has suggested the viability of anchoring text in a longer audio segment for corpus creation on Japanese subtitled YouTube videos. The success of this work hinted at the possibility to reframe the task to anchor the text in a longer audio segment which is a superset of the actual utterance by utilizing the fuzzy timestamps in the subtitles. As suggested in this work of German corpus construction[17], there are several established methods for alignment:
- Acoustics based: Montreal Forced Aligner[18], Kaldi

[12]based scripts, etc.
- Text-to-speech based: Aeneas[19]
- Connectionist Temporal Classification outputs based: CTC segmentation[17]

Amongst the above methods, we chose to experiment with CTC through ESPnet2[20] interface as we have access to a noise-tolerant pretrained model under the same-domain corpus LaboroTVSpeech[16]. Moreover, this method is independent of in-depth language-specific knowledge and compatible with our eventual E2E training goal. To test the compatibility of the CTC segmentation approach with our task, we used a model from [16] and added 25 seconds before the starting point of the subtitled timestamp as the inaccuracy usually happens at the beginning. The issues we noticed in ASR based approach are considerably relieved. The positive results confirmed the viability of this method on our task.

## 3.2 Bootstrapping Labeling for Alignment

Approach The success in using CTC segmentation [17] shows the promise of the approach leveraging robust pretrained ASR models for corpus creation. However, de-
pending on resources that have non-permissive licenses casts restrictions on the constructed corpus, not to mention that such language resource is a luxury that some languages might not have. Therefore we further seek the possibility of loosening the assumption of having an ASR model by leveraging public-domain small-scale data. Bootstrapping labeling methods are shown to be effective in various tasks where there is little data available. The process of bootstrapping labeling usually follows this procedure: 1 . obtain a small amount of labeled data and train a model based on it 2. use the model to label more data 3. select high-quality labeled data to add to the training data 4 . retrain the model 5. repeat 2-4 until satisfactory results are obtained.

Although this technique has been applied to different tasks including ASR [21, 22, 23], its efficacy on alignment has not been well-studied. We applied this approach to our task by starting with training an initial model based on Common Voice[2] dataset and grew the aligner iteratively following the procedure described in Figure 2:

1. train 0th-gen ASR model on Mozilla Common Voice[2] v8.0 (47.7 hrs)

2. use ASR model CTC alignment[17]

3. select high-quality aligned utterances

4. retrain ASR model

5. repeat 2-4 until extraction efficiency reaches a satisfactory level

Figure 2 bootstrapping labeling flow

To speed up the development cycle, we orchestrated a pipeline where ASR training and aligning can be carried out in parallel. The paragraphs below describe how highquality alignments are selected and how the extraction efficiency is measured to monitor the improvements. Figure 3 and 4 show the improvements in extraction efficiency and ASR performance for the models throughout the process.

Alignment quality measurement We listened to
200 utterances of variable lengths created by CTC segmentation using the ASR model pretrained on LaboroTVSpeech [16], and 79 utterances are deemed appropriate. Instead of thresholding CTC scores which is a byproduct of the alignment as suggested in JTubeSpeech [9], we use CER(ASR(audio), transcription) $\leq 0.33$ as the threshold to select quality data as it has a higher level of agreement with human judgment: F1 score of 0.87 while using CTC score $>-1$ only has an F1 score of 0.42 .

Extraction efficiency evaluation To further quantify the extraction efficiency, we define the metric as

$
\text { extraction rate }=\frac{\text { length of text in constructed corpus }}{\text { length of text in subtitles }}
$

Note that the extraction rate is an approximate metric as the potential of TV recordings as ASR corpus largely depends on the TV program genre. However, by calculating this metric using the same TV recordings, we are able to compare the extraction efficiency of different models.

Figure 3 Extraction rate for every generation on one-day amount of unseen recordings

Figure 4 CER on JSUT basic5000 for every generation

## 4 Experimental Results

Corpus creation results We used the recordings in 2022.12.27 to compare the extraction rate for every generation of models. As shown in Figure 3, the extraction rate surpassed the LaboroTVSpeech pretrained model[16] starting from the 7 th generation and reached $70.12 \%$ for the released model. The consistently improving extraction rate showed the effectiveness of bootstrapping labeling in our task, eventually allowing us to release the model and corpus freely available. It also revealed the possibility of
constructing large-scale corpora for more languages with few labeled resources.

ASR results We trained an E2E ASR model using a recipe provided by ESPnet 2 [24] on ReazonSpeech and evaluated the system on the following benchmark datasets:
- JSUT[1] basic 5000: a high-quality dataset covers common words originally recorded for text-to-speech.
- Common Voice[2] v8.0 test set : 4483 utterances with slightly noisier environments.

We used CER after removing punctuation marks and converting numbers to words using num2words[25] to measure the ASR performance. The model trained on ReazonSpeech achieves state-of-the-art performance in terms of CER, on par with the Whisper[3] model trained on 680,000 hours of multilingual data and 7043 hours of Japanese. The comparison on model sizes perspective is attached in the appendix. The competitive results we have on the benchmark datasets showed the usefulness of our corpus. Also by observing the improvements in ASR performance throughout the bootstrapping process, we confirmed our pipeline's capability of fostering continuous evolution.

Table 1 Comparison of Model CER (\%)

## 5 Released Corpus information

We used 1seg TV recordings from 2021.05.27 to 2022.12.25 to construct the initial release of ReazonSpeech which consists of $10,390,151$ utterances $(15,735$ hours of speech and $227.6 \mathrm{M}$ characters in the transcriptions). The alignment of the corpus is done by the 10th-gen ASR created as the procedure described in 3.2(trained on $10,000 \mathrm{hrs}$, extraction rate $66.84 \%$, with a threshold at CER(transcription, ASR(audio)) $\leq 0.33$ ). The duration of utterance was capped at 14 seconds and the dictionary size at 2600 for training efficiency. The full corpus without duration or dictionary constraints contains $19 \mathrm{k}$ hours of audio. Details about the corpus and TV program genre can be found on our project page. To comply with the Copyright Act, we shuffled the data at the utterance level to prevent the reconstruction of the TV shows for purposes except for ASR researches. We will delete the relevant utterances upon request from the authors of the content.

Table 2 Comparison of Japanese ASR Corpora

Audio processing To enrich the variability in leading blanks and noises and avoid the abrupt starting of speech, we allowed more span in the beginning during audio segmentation to reduce the possibility of introducing systematic errors brought by CTC segmentation. To ensure no confounding speech gets prepended to the audio, the midpoint between the end of the previous segment and the start of the current segment is set to be the adjusted starting point, and the prepending duration is capped at 3 seconds.

Text processing We unified half-width and fullwidth alphanumerics and removed special characters from the transcriptions. Further processing is left to the judgment of researchers who use the corpus. The normalized transcriptions cover 2599 unique characters and 359,608 unique surface forms under tokenization by MeCab[26] with mecab-ipadic-NEologd[27] as the dictionary.

## 6 Conclusion

This paper introduces our efforts on the automatic construction of a freely available large-scale Japanese ASR corpus from TV recording fully from scratch without dependency on pretrained models. By confirming the strong ASR performance, we showed the effectiveness of our proposed method and corpus. By open-sourcing the project, we hope to lower the barrier of entry for E2E ASR training, allowing more individuals and organizations to participate.

## 7 Future Work
- We plan to maintain the project and release corpus updates periodically.
- We currently use CER based on ASR results for filtering. There might be more appropriate and computationally efficient metrics.
- Bootstrapping from pretrained multilingual models could make the learning curve less steep as they have a robust acoustic model.

## Acknowledgement

We would like to express our gratitude to Taichi Kakinuma for providing legal guidance on the project. We are also grateful to the datasets and softwares we extensively used including but not limited to ESPnet[20] toolkit, recipes and models, Common Voice[2], LaboroTVSpeech[8].

## References

[1] Ryosuke Sonobe, Shinnosuke Takamichi, and Hiroshi Saruwatari. JSUT corpus: free large-scale japanese speech corpus for end-to-end speech synthesis. arXiv preprint arXiv:1711.00354, 2017

[2] Rosana Ardila, Megan Branson, Kelly Davis, Michael Kohler, Josh Meyer, Michael Henretty, Reuben Morais, Lindsay Saunders, Francis Tyers, and Gregor Weber. Common voice: A massively-multilingual speech corpus. In Proceedings of the Twelfth Language Resources and Evaluation Conference, 2020.

[3] Alec Radford, Jong Wook Kim, Tao Xu, Greg Brockman, Christine McLeavey, and Ilya Sutskever. Robust speech recognition via large-scale weak supervision. arXiv preprint arXiv:2212.04356, 2022.

[4] Jinyu Li. Recent advances in end-to-end automatic speech recognition. arXiv preprint arXiv:2111.01690, 2021.

[5] Kikuo Maekawa. Corpus of spontaneous japanese: Its design and evaluation. In Proceedings of The ISCA \& IEEE Workshop on Spontaneous Speech Processing and Recognition (SSPR2003), 2003.

[6] Daniel Galvez, Greg Diamos, and Juan et al. Ciro. The people's speech: A large-scale diverse english speech recognition dataset for commercial usage. arXiv preprint arXiv:2111.09344, 2021.

[7] Guoguo Chen, Shuzhou Chai, and Guan-Bo Wang et al. GigaSpeech: An Evolving, Multi-Domain ASR Corpus with 10,000 Hours of Transcribed Audio. In Proceedings of Interspeech 2021, pp. 3670-3674, 2021.

[8] Shintaro Ando and Hiromasa Fujihara. Construction of a large-scale japanese asr corpus on tv recordings. In IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP2021), 2021.

[9] Shinnosuke Takamichi, Ludwig Kurzinger, Takaaki Saeki, Sayaka Shiota, and Shinji Watanabe. JTubeSpeech: 音声認識と話者照合のために YouTube から構築される日本語音声コーパス. 言語処理学会第 28 回年次大会, 2022.

[10] Jeong-Uk Bang, Mu-Yeol Choi, Sang-Hun Kim, and OhWook Kwon. Automatic construction of a large-scale speech recognition database using multi-genre broadcast data with inaccurate subtitle timestamps. IEICE Transactions on Information and Systems, 2020.

[11] Vimal Manohar, Daniel Povey, and Sanjeev Khudanpur. Jhu kaldi system for arabic mgb-3 asr challenge using diarization, audio-transcript alignment and transfer learning. In IEEE 2017 Workshop on Automatic Speech Recog- nition and Understanding (ASRU2017), 2017.

[12] Daniel Povey, Arnab Ghoshal, Gilles Boulianne, and Burget et al. The kaldi speech recognition toolkit. In IEEE 2011 Workshop on Automatic Speech Recognition and Understanding (ASRU2011), December 2011.

[13] Hervé Bredin, Ruiqing Yin, Juan Manuel Coria, and Gelly et al. pyannote.audio: neural building blocks for speaker diarization. In IEEE International Conference on Acoustics, Speech, and Signal Processing(ICASSP2020), 2020.

[14] Mai Hiroshi and Masayuki. 短単位品詞の用法曖昧性解決と依存関係ラベリングの同時学習. 言語処理学会第 25 回年次大会, 2019.

[15] Matthew Honnibal, Ines Montani, Sofie Van Landeghem, and Adriane Boyd. spaCy: Industrial-strength Natural Language Processing in Python. 2020.

[16] Shinji Watanabe. ESPnet2 pretrained model, Shinji Watanabe/laborotv_asr_train_asr_conformer2_latest33_raw _char_sp_valid.acc.ave, fs=16k, lang=jp, 2020. https: //zenodo.org/record/4304245.

[17] Ludwig Kürzinger, Dominik Winkelbauer, Lujun Li, Tobias Watzel, and Gerhard Rigoll. Ctc-segmentation of large corpora for german end-to-end speech recognition. In Speech and Computer, 2020.

[18] Michael McAuliffe, Michaela Socolof, Sarah Mihuc, Michael Wagner, and Morgan Sonderegger. Montreal forced aligner: Trainable text-speech alignment using kaldi. In Proceedings of Interspeech 2017, 2017.

[19] Alberto Pettarin et al. Aeneas, 2017. https://www. readbeyond.it/aeneas/.

[20] Shinji Watanabe, Takaaki Hori, Shigeki Karita, Tomoki Hayashi, Jiro Nishitoba, Yuya Unno, Nelson Enrique Yalta Soplin, Jahn Heymann, Matthew Wiesner, Nanxin Chen, Adithya Renduchintala, and Tsubasa Ochiai. ESPnet: Endto-end speech processing toolkit. In Proceedings of Interspeech 2018, 2018.

[21] Daniel Waegel. A survey of bootstrapping techniques in natural language processing. 2013.

[22] Paul Albert, Diego Ortego, Eric Arazo, Noel E. O'Connor, and Kevin McGuinness. Relab: Reliable label bootstrapping for semi-supervised learning. arXiv preprint arXiv:2007.11866, 2020.

[23] Manuel Giollo, Deniz Gunceler, Yulan Liu, and Daniel Willett. Bootstrap an End-to-End ASR System by Multilingual Training, Transfer Learning, Text-to-Text Mapping and Synthetic Audio. In Proceedings of Interspeech 2021, 2021.

[24] Espnet/egs2/laborotv/asr1, 2021. https://github.com/ espnet/espnet/tree/master/egs2/laborotv/asr1.

[25] Virgil Dupras et al. num2words library: Convert numbers to words in multiple languages, 2021. https://gi thub. $\mathrm{com} /$ savoirfairelinux/num2words.

[26] Taku Kudo. Mecab : Yet another part-of-speech and morphological analyzer, 2006.

[27] Toshinori Sato, Taiichi Hashimoto, and Manabu Okumura.単語分かち書き辞書 mecab-ipadic-neologd の実装と 情報検索における効果的な使用方法の検討. 言語処理学会第 23 回年次大会, 2017 .

## A Appendix

Figure 5 Example of Aligning using Dynamic Programming

Figure 6 CER vs. Number of Model Parameters

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# ニューラル記号推論における推論過程の教示方法

青木洋一 ${ }^{1}$ 工藤慧音 ${ }^{1}$ Ana Brassard ${ }^{2,1}$ 栗林樹生 ${ }^{1,3}$ 吉川将司 ${ }^{1}$
坂口慶祐 1,2 乾健太郎 1,2
1 東北大学 ${ }^{2}$ 理化学研究所 ${ }^{3}$ Langsmith 株式会社
\{youichi.aoki.p2,keito.kudo.q4\}@dc.tohoku.ac.jp,
ana.brassard@riken.jp, kuribayashi@tohoku.ac.jp
\{yoshikawa, keisuke.sakaguchi, kentaro.inui\}@tohoku.ac.jp

## 概要

ニューラルモデルを用いた記号推論能力は推論過程を生成することで向上する. しかし，推論過程の 性質や形式がどのような影響を与えるかは分かっ ていない. 本研究では，推論過程について出力戦略 と推論戦略という 2 つの軸から，ニューラルモデル で形式的な推論を行う際の適切な推論過程の教示方法を探る. 我々は多段数値推論問題 $(A=1, B=3$, C=A+3，C?）を用いた統制的実験を行い，各形式の選択が性能に大きな影響を与える事が分かった。加え て，少なくとも本実験設定範囲内では，ニューラル モデルによってほぼ完璧な推論が達成され，適切な 戦略の選択が重要である事を示す.

## 1 はじめに

ニューラルネットワークという「柔らかい」道具立ての上で記号的推論が実現可能かについては，人工知能分野における根幹的な問いである. 本研究で は，ニューラル系列変換モデルで多段数量推論を実現できるのかという例題のもと，適切な推論過程の 教示方法を選択することで，少なくとも我々の設定内では記号推論が実現可能であることを示す.

近年，ニューラルモデルに推論過程を生成させる ことで，数量推論 $[1,2,3,4,5]$, 常識推論 $[1,6]$, 記号推論問題 $[1,3]$ など様々な設定において性能が向上することが示された．しかしながら，どの様に推論を行うかなどは暗黙的に決定されるなど，しばし ば限定的な設定が課されている。

実験では推論過程の教示方法について，出力戦略と推論戦略の 2 軸に分解し, ニューラルモデルに 形式的な推論を行わせる際の適切な設定を調査する (図 1). 出力戦略（§2.2）は，推論過程生成の粒度 (一遍出力, ステップ出力, 文字出力) を指す. 既存研

図 1: 出力戦略と推論戦略の選択が, ニューラルモ デルの多段推論の学習可能性に大きく影響する.

究では様々な方法が採用されており, 統制的な分析 はなされていない. 例えば，推論過程とそこから導 かれる結論を一度に生成させる形式 $[1,3,4,5,6,7]$,推論過程をある程度生成し, 結論が出るまで繰り返 す形式 $[8,9,10]$, 推論過程と共にサブゴールも繰 り返し生成する形式などがある $[11,12]$. 推論戦略 （§2.3）は推論を行う順番・内容 (最短経路, 全探索経路, 後向き十最短経路）を指す。例えば，質問内容から逆向きに手がかりを探索し，見つけた手がか りを用いて推論を行う手法や（後向き十最短経路） [9, 13, 14], 与えられた文脈に対して網羅的に推論を 行う形式もある $[10,11,15]$.

数量推論問題を通して, ニューラルモデルで記号推論を学習する際にどの様な戦略の組み合わせが有効を調査した. ただし, この形式言語によって構成 された純粋な設定は自然言語上においても記号推論 を行うための必要条件を明らかにする事を目的とし ている. 実際，この純粋な数量推論問題が解けない モデルが，より複雑な問題で適切な汎化を達成する とは期待できない.

実験の結果，各形式の選び方がニューラル系列変換モデルの記号推論性能に大きく影響することを発見し，少なくとも本実験設定範囲内では，推論の深 さ方向の外挿に対してほぼ完璧な汎化を達成する戦略の組み合わせがある事を明らかにした。

## 一遍出力

ステップ出カ

文字出力

(a) 一遍出力: 一度の入力に対して，推論過程全体と答えを出力する. ステップ出カ: 1 つの 推論ステップを繰り返し出力する. 文字出力: 1 文字を繰り返し出力する.

## 後向き十最短経路

$C=3+B, B=A+1, \quad A=1, B=1+1$ $B=2 ， C=3+2 ， C=5$ ，答え： 5

(b) グラフのノードが変数，エッジが依存関係を表す. 最短経路: 答えの導出に必要不可欠な式のみを出力する最小 の推論過程. 全探索経路: 目標に到達するまで，貪欲に式 を解く，後向き十最短経路: 質問内容から逆向きに手がか りを探索し (図中ステップ 1,2 ), 見つけた手がかりを用 いて最短経路を出力（図中ステップ 3,4 ).

図 2: 入力:D=A+2, $A=1, B=A+1, C=3+B, C$ ? が与えらえれた場合の（a）出力戦略（b）推論戦略

## 2 実験設定

## 2.1 問題定義

$D=A+2 ， A=1, B=A+1, C=3+B ， C ? と い う$ 方程式が与 えられ，任意の変数の値（例えば C の値）を答える 問題を用いた（図 1). 各式は代入（A=1）またはモ ジュール加算と代入 $(B=3+1)$ で構成される.ただ し，モジュール加算は $\bmod 100$ である。問題の文脈には，答えを計算するのに必要でない式も含ま れている. (図 1 中の $D=A+2$ ). 特定の変数に割り当 てられた值は通常，異なる式で参照される（A=1， $B=A+1)$. また，式の順番，数字や変数の值は無作為 に割り当てられている. 各問題には推論の深さ（答 えに到達するために必要な式の数）が定義されてい る. 例えば, $A=1, B=2+A, C=3+B, D=2, C$ ? という問題の推論の染さは $3(A=1, B=2+A, C=3+B)$ である.

人エデータを用いる動機DROP [16] などといっ た自然言語で記述されたデータではなく，本人工 データを用いた理由は 3 点ある. 第一に，汎化能力 の検証のため推論の深さといった問題の複雑さの統制が容易である点が挙げられる。一般的な数量推論問題の場合，推論の深さの統制が難しい（例えば，推論の深さが 10 である様々な事例を考え出すのは 容易でない）．実験では推論の深さ方向の外挿に焦点を当て，深さが浅い（深さ 1-5）事例を使ってモ
デルを学習し，深さが浅い／深い（深さ 1-12）事例 で評価する。

第二に，自然言語による記述は暗黙のうちに「偽 のバイアス」を与える可能性があり，モデルが高い 性能を示した際に，意図した解き方で解いているの か解釈が難しい $[17,18,19,20,21,22]$. 我々のデー タでは，記号の出現の偏りなどを排除していること と，数量推論であり解空間が広いことから，モデル 誤った汎化により正答する可能性や偶然正答する可能性を排除できている.

第三に，我々の設定は数量推論問題を解くための 必要条件であるという点が挙げられる.

## 2.2 出力戦略

既存研究に従い系列変換モデルを用いる $[8,10$, 11]. 次の 3 つの出力（デコード）形式を比較した:一遍出力，ステップ出力，文字出力（図 2a).

一遍出力: 入力に対して，推論過程全体と答えを 一度に出力する. (chain-of-thought と同様の形式) $[1,2,12,23]$. この設定では, 推論過程数が長いほど デコーダが一度に生成しなければならない系列長が 長くなる.

ステップ出カ: 入力に対して, 推論 1 ステップを 出力する. 元の入力に生成された出力ステップを 書き足して再度エンコーダに入力し, 次の推論ス テップを出力させる. この処理を停止文字が出力

図 3: 推論の深さ 12 の問題に対して，一遍出力，ス テップ出力が生成した推論過程長（文字数）の分布.

されるまで，あるいは設定した最大反復回数（100） に達するまで繰り返す (proofwriter と同様の形式) $[8,9,10,11,12]$.

文字出力: 入力に対して, 1 つの文字だけを出力す る. ステップ出力と同様に，元の入力に出力文字を 追加し，推論が停止するまで処理を繰り返す．最大反復回数は 500 に設定した.

一遍出力では, 問題の複雑さ（推論の深さ）に応 じて生成すべき系列の長さが変化し，ステップ，文字出力では問題の複雑さに関係なく, 生成長 (1 推論ステップ/文字）はほぼ変わらない。また，ステッ プ出力と文字出力を比較すると, 問題を意味のある 単位で分割することの優位性が検証できる。

## 2.3 推論戦略

任意の変数を導出するための推論経路は複数考え られる。したがって, 既存研究に関して，我々は 3 つの推論戦略を比較した. 最短経路, 全探索経路,後向き十最短経路 (図 $2 \mathrm{~b}$ ).

最短経路: 答えの導出に必要不可欠な式と, それら 用いた推論結果のみを出力する形式 (図 $2 \mathrm{~b}$ の例では Dの値を使わずに C の値を導出可能なため，D に関す る推論が推論過程に含まれていない） [1, 2, 12, 23].

全探索経路：問いに関連する式であるかは考えず，答えに達するまで与えられた方程式を順に貪欲に解 き続ける形式 $[10,11,15]$. 具体的には, 各ステップ で最も左にある解ける方程式を計算する。 ただし， この方法は長い推論過程を導くことになるため計算量の観点からは非効率である。

後乃向き + 最短経路：質問内容から逆向きに手がか りを探索し (図中ステップ 1,2 ), 見つけた手がかり を用いて最短経路を出力する形式 $[9,13,14]$.

推論過程無し: 基準の設定として，推論過程を生成 させず直接答えを出力させる形式も検証した.

## 3 実験

## 3.1 実験設定

モデル：我々は事前学習済みの T5-base を使用し た ${ }^{1)}$ [24].

学習: まず $10 \mathrm{~K}$ の基本的な演算（すなわち，代入, 参照，加算）に関する事前学習用データセット を用いて 30 エポックの事前学習を行う. 具体的に は， $A=1, A$ ?）や， $A=1+3, A$ ?）のような形式のデー タセットを用意した. 次に，深さ 1-5 で合計 $5 \mathrm{~K}$ の 学習データ（各推論の深さに対して $1 \mathrm{~K}$ 個の学習事例）を用いて 2000 エポックの学習を行った. 詳細 な実験設定は付録 A に記述する。

評価: 未知の問題への汎化能力を評価するため，比較的単純な問題（深さ 1-5）での評価に加え，よ り複雑な問題（深さ 6-12）における性能を評価す る. 評価は各推論の深さに対して 200 個の評価事例 で行った.

## 3.2 結果：出力戦略

推論戦略を最短経路に固定し, 出力戦略を比較し た. 図 $4 \mathrm{a}$ に推論の深さごとの正解率を示す. なお， ここでの正解率は答え（例えば， $\mathrm{C}=6$ ）が正しいか どうかで決定した. その結果，(i) 推論過程を生成 すると性能が向上する，（ii）出力戦略の中では，ス テップ出カが最も良い性能を導くかつ一遍出力の性能が最も悪いことが分かった.

一遍出力の性能が劣る原因は，デコーダが（浅 い）学習データと同じような長さの推論過程を出力 するように過学習したためであると予想を立てた。実際，一遍出力を用いた場合，領域外（推論の深さ 12 など）の設定でも比較的短い推論過程を生成して おり（図3），この仮説は支持される。

文字出力に対するステップ出力の優位性は, 推論過程を意味のある単位に分割し，各ステップをエン コーダーデコーダーの 1 回の呼び出しでモデル化す ることの優位性を示唆している.

## 3.3 結果：推論戦略

図 $4 \mathrm{~b}$ は，出力戦略をステップ出力に固定した場合の各推論戦略における，推論の深さ毎の正解率で ある. 推論の深さが増すと最短経路の設定では性能

(a) 出力戦略

(b) 推論戦略

図 4: 推論の深さに対するモデルの正解率. 灰色の範囲は学習領域（深さ 1-5）を示している. 図 4a は，一遍出力を用いた場合の推論過程長の増加に伴う正解率低下を表している. 図 $4 \mathrm{~b}$ は, ステップ出力と後向き +最短経路または全探索経路の組み合わせにより汎化がうまくいく事を示している.

表 1: ステップ出力，最短経路設定における誤りの 例.（スキップ）は，推論ステップが誤ってスキッ プされたことを表す.

 &  \\

が低下するが，全探索経路または後向き十最短経路 では，推論の深さ 6-12に外挿した場合であっても正 しい推論を行えた.また，全探索経路と後向き十最短経路では，最後の答えだけでなく，間の推論過程 も正しく生成された (約 100\% の正解率). 詳細は付録（表 2）に記述するなお，これらの形式は出力戦略を一遍出力にした場合では効果がなかった。

先行研究では推論過程長が長い場合，推論過程 を生成しないモデルの方が生成するモデルより汎化性能が高いというやや非直観的な結果が報告されて いるが [25], 我々の結果は適切な出力戦略を選択す ることで推論過程の生成は効果的であることを示唆 している。

最短経路が劣る原因は，推論過程の情報が不十分 なことにあると考えた. モデルは推論過程を出力す る前に最短経路を知ることができない. そのため,最短経路であっても最短経路上の変数以外も探索す る必要がある.この処理を最短経路は暗黙のうちに 行っている。一方，図 $2 \mathrm{~b}$ から分かる様に，全探索経路はこの過程を明示的に行なっている. そのため, たとえ推論過程が長くなったとしても, 後向き十最

## 短経路や全探索経路など，推論過程をくまなく提示 した方が正解率が高くなると結論づけた。

## 3.4 誤り分析

最短経路における推論の深さ 12 の事例の誤りを 分析した. ${ }^{2}$ （i）コピー誤り，(ii）早すぎる代入と いう 2 種類の誤りが確認され，表 1 にそれぞれの 誤りの例とその割合を示す. 最も頻度の高いもの （53\%）は単純なコピー誤りで，モデルが元の方程式 を推論過程に正確にコピーできなかったというもの である. 誤ったコピー能力は先行研究でも示されて おり [26], モデルにコピー機構を導入する利点が支持される [27]. 次に，早すぎる代入は，モデルが文脈から方程式をコピーするステップを飛ばして，無作為に値を代入する誤りである。これらの誤りは最短経路以外の推論戦略ではほぼ解決され，学習時に 最短経路で提示している情報が不十分であることが 示唆される。

## 4 おわりに

記号推論におけるニューラル系列変換モデルの推論過程の教示方法を調査し, ステップ出力と細かな 粒度の推論を組み合わせることで記号推論をより 良く行う事ができることを明らかにした. この結果 は，ニューラルモデルによるより確実な記号推論の 実現可能性を支持するものである.

しかしながら，この傾向がより複雑な記号的推論 や自然言語で書かれた問題に対して一般化されるか どうかは不明である.したがって，異なる設定にお いて一般化しない場合，我々はそのギャップを縮め て行くことを目指す.

2）合計 32 の事例を解析した. これは 1 つのシードにおける 全不正解数である.

## 謝辞

本研究は JST CREST JPMJCR20D2 及び JSPS 科研費 JP22H00524,21K21343 の助成を受けたものです.

## 参考文献

[1] Jason Wei, Xuezhi Wang, Dale Schuurmans, Maarten Bosma, Ed H. Chi, Quoc Le, and Denny Zhou. Chain of thought prompting elicits reasoning in large language models. CoRR, 2022.

[2] Karl Cobbe, Vineet Kosaraju, Mohammad Bavarian, Jacob Hilton, Reiichiro Nakano, Christopher Hesse, and John Schulman. Training verifiers to solve math word problems. CoRR, 2021.

[3] Takeshi Kojima, Shixiang Shane Gu, Machel Reid, Yutaka Matsuo, and Yusuke Iwasawa. Large language models are zero-shot reasoners. CoRR, 2022.

[4] Gabriel Recchia. Teaching autoregressive language models complex tasks by demonstration. CoRR, 2021.

[5] Aitor Lewkowycz, Anders Andreassen, David Dohan, Ethan Dyer, Henryk Michalewski, Vinay V. Ramasesh, Ambrose Slone, Cem Anil, Imanol Schlag, Theo GutmanSolo, Yuhuai Wu, Behnam Neyshabur, Guy Gur-Ari, and Vedant Misra. Solving quantitative reasoning problems with language models. CoRR, 2022.

[6] Xuezhi Wang, Jason Wei, Dale Schuurmans, Quoc V. Le, Ed H. Chi, and Denny Zhou. Self-consistency improves chain of thought reasoning in language models. CoRR, 2022.

[7] Maxwell I. Nye, Anders Johan Andreassen, Guy Gur-Ari, Henryk Michalewski, Jacob Austin, David Bieber, David Dohan, Aitor Lewkowycz, Maarten Bosma, David Luan, Charles Sutton, and Augustus Odena. Show your work: Scratchpads for intermediate computation with language models. CoRR, 2021.

[8] Soumya Sanyal, Harman Singh, and Xiang Ren. Fairr: Faithful and robust deductive reasoning over natural language. In ACL 2022.

[9] Gabriele Picco, Thanh Lam Hoang, Marco Luca Sbodio, and Vanessa López. Neural unification for logic reasoning over natural language. In EMNLP 2021.

[10] Oyvind Tafjord, Bhavana Dalvi, and Peter Clark. Proofwriter: Generating implications, proofs, and abductive statements over natural language. In ACL/IJCNLP 2021.

[11] Zhengzhong Liang, Steven Bethard, and Mihai Surdeanu. Explainable multi-hop verbal reasoning through internal monologue. In NAACL-HLT 2021.

[12] Vered Shwartz, Peter West, Ronan Le Bras, Chandra Bhagavatula, and Yejin Choi. Unsupervised commonsense question answering with self-talk. In EMNLP 2020.

[13] Tim Rocktäschel and Sebastian Riedel. End-to-end differentiable proving. In NeurIPS 2017.

[14] Nuri Cingillioglu and Alessandra Russo. Deeplogic: Towards end-to-end differentiable logical reasoning. In AAAI 2019, CEUR Workshop Proceedings.

[15] Kaiyu Yang, Jia Deng, and Danqi Chen. Generating natural language proofs with verifier-guided search. CoRR, 2022.

[16] Dheeru Dua, Yizhong Wang, Pradeep Dasigi, Gabriel Stanovsky, Sameer Singh, and Matt Gardner. DROP: A reading comprehension benchmark requiring discrete reasoning over paragraphs. In NAACL-HLT 2019.

[17] Suchin Gururangan, Swabha Swayamdipta, Omer Levy, Roy Schwartz, Samuel R. Bowman, and Noah A. Smith. Annotation artifacts in natural language inference data. In NAACL-HLT, 2018.

[18] Ashim Gupta, Giorgi Kvernadze, and Vivek Srikumar. BERT \& family eat word salad: Experiments with text understanding. In AAAI 2021

[19] Hadeel Al-Negheimish, Pranava Madhyastha, and Alessandra Russo. Numerical reasoning in machine reading comprehension tasks: are we there yet? In EMNLP 2021.

[20] Saku Sugawara, Kentaro Inui, Satoshi Sekine, and Akiko Aizawa. What makes reading comprehension questions easier? In EMNLP 2018.

[21] Robin Jia and Percy Liang. Adversarial examples for evaluating reading comprehension systems. In EMNLP 2017.

[22] Tom McCoy, Ellie Pavlick, and Tal Linzen. Right for the wrong reasons: Diagnosing syntactic heuristics in natural language inference. In ACL 2019.

[23] Semih Yavuz, Kazuma Hashimoto, Yingbo Zhou, Nitish Shirish Keskar, and Caiming Xiong. Modeling multihop question answering as single sequence prediction. In ACL 2022.

[24] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. J. Mach. Learn. Res., Vol. 21, pp. 140:1-140:67, 2020.

[25] Nicolas Gontier, Koustuv Sinha, Siva Reddy, and Christopher Pal. Measuring systematic generalization in neural proof generation with transformers. In NeurIPS 2020.

[26] Song Xu, Haoran Li, Peng Yuan, Youzheng Wu, Xiaodong He, and Bowen Zhou. Self-attention guided copy mechanism for abstractive summarization. In ACL 2020.

[27] Santiago Ontanon, Joshua Ainslie, Zachary Fisher, and Vaclav Cvicek. Making transformers solve compositional tasks. In ACL 2022, Dublin, Ireland.

[28] Jeonghwan Kim, Giwon Hong, Kyung-min Kim, Junmo Kang, and Sung-Hyon Myaeng. Have you seen that number? investigating extrapolation in question answering models. In EMNLP 2021.

[29] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. In ACL 2020.

図 5: 推論の深さに対する T5-base と T5-large の正解率の変化.

## A 詳細な実験設定

学習率は, $10^{-3}, 10^{-4}, 10^{-5}$ のうち, 学習データ での損失の収束が最も早い学習率を使用した. モデ ルに関しては学習後のエポック毎のチェックポイン トのうち，損失が最も小さいモデルを使用した．ま た, 節 3 の実験結果は 3 種類のシード值で得られた 結果の平均值である. トークナイザは，○から 9 ま での全ての数值を保持し, 我々のデータセットに含 まれる数值は予め桁ごとに分割される (“12” は “@@1 (@2” の様に分割される） [28].

## B モデルサイズが異なる場合

モデルサイズが異なる場合の設定として, t5-large と t5-base を比較した. 図 5 にその結果を示す. T5-large は T5-base と比較して, 一遍出力とステッ プ出力の正解率がほぼ同等であることがわかる。一方, 文字出力の場合, t5-large の方が正解率が高い. この結果から, 文字単位の出力は, モデルサイズを 大きくする必要がある事がわかった.

## C アーキテクチャが異なる場合

アーキテクチャが異なる場合の設定として， BART-base ${ }^{3)}$ [29] を基準として，T5 の NLP タスク による事前学習の有効性を調査した. 図 6 はこの結果を示し，T5 が BART より優れていることがわか る.これは，NLPタスクの事前学習が記号推論にも 有効であることを示唆している.

## D 推論過程の正解率と誤り分析

表 2 は推論過程の正解率を示している.ここで推論過程の正解率（スコアの左側）は完全一致ではな く，数学的な正しさを基準に評価したものである.

3) https://huggingface. co/docs/transformers/model_doc/ bart

図 6: 推論の深さに対する T5-base と BART-base の正解率の変化.

表 2: 各推論の深さにおけるステップ出力を用いた T5-base の正解率 (推論過程 /答え). 推論過程の正解率（スコアの左側）は，完全一致を基準に測定し た.

また，答えが正しく，推論過程が誤っている場合 を分析した結果，2つの誤りパターンが見受けら れた. 1 つ目は，推論過程の誤り部分が答えの導出 には影響が無い場合が挙げられる。具体的には， $\mathrm{D}=3+\mathrm{A}, \mathrm{A}=1, \mathrm{D}=3+2, \mathrm{D}=5$ の様に $\mathrm{D}$ の値を誤って導出 したとしても答えの導出にD の値を用いない場合，正しい答えを出力する事があった. 2 つ目は，一度誤った推論過程が再び誤った推論をするなどして，最終的に正しい推論過程に合流する場合が挙げられ る. 具体的には，変数 $B$ の值を求める際に B=2+D と いう誤った推論ステップが出力された後, 正しい推論ステップ B=2+A が出力されるような事例を確認す る事ができた。


# XAI における忠実性評価手法の考察

牧野 雅紘 ${ }^{1}$ 浅妻佑弥 1,2 佐々木 翔大 ${ }^{2,1}$ 鈴木潤 1,2
東北大学 ${ }^{1}$ 理化学研究所 ${ }^{2}$
\{masahiro.makino.r6、asazuma.yuya.r7\}@dc. tohoku.ac.jp
shota.sasaki.yvariken.jp jun.suzuki@tohoku.ac.jp

## 概要

本稿では、XAIを評価する際に重要視されている 忠実性において評価手法は複数存在しており、どの 評価手法を使用して評価を行うのか同意が取れてい ないという課題について検証する。実験では複数あ る忠実性評価手法間の相関を測定した。その結果、忠実性という 1 つの軸で論じられている評価手法で あるにも関わらず、相関がない評価手法の組み合わ せもあり、それぞれの評価手法が異なった観点で評価を行なっている可能性があることが判明した。本稿では、複数の忠実性評価手法を組み合わせて多角的に説明の忠実性を評価することを提案する。

## 1 はじめに

近年、深層学習を中心人工知能技術の発展が著 しい。しかしこの発展を支える深層学習の手法の多 くは、内部の挙動が人間に理解できない複雑な数値計算により成立している。予測結果の理由が理解で きないため，いくら正確な予測をしても利用者の信頼を得られず、高い信頼性を重要視する諸分野（金融・医療）における発展の妨げになりうる。

この問題を解消するために、モデル内部や予測の挙動を説明することのできる説明可能な AI (XAI) に関する研究が盛んに行われている。その 中でもモデルの出力毎に事後的な説明を生成する 手法は Feature Attribution と呼ばれる $[1,2,3,4,5]$ 。代表的な例として Local Interpretable Model-agnostic Explanations (LIME) [1] がある。LIME はモデルの出力が行われたのちに、入力の近傍で局所的に線形近似することで説明を生成する。

Feature Attribution によって生成された説明がモデ ルを正確に説明することができているかを表す指標が忠実性である。この忠実性が XAI の性能を測 る代表的な指標の一つとなっており、忠実性評価に ついて盛んに議論が行われている $[6,7]$ 。実際に自然言語処理分野における代表的な会議である ACL、 NAACL、EMNLP の論文を 2020-2022 年分調査した 結果、説明を評価する際に忠実性が最も重要視され ていることがわかった。しかしながら、この忠実性評価には、忠実性を評価する指標が複数存在し、ど の指標を使用すれば良いのかの同意が取れていない という大きな課題がある。

そこで本稿では、異なる指標の評価結果間の相関 を計算することで、評価手法間の関係性を分析す る。その結果、忠実性という 1 つの軸で論じられて いる評価手法にも関わらず、結果に相関のない評価手法の組み合わせが存在することがわかった。ゆえ に、実験結果から複数の評価手法を使用して忠実性 を多角的に評価する必要があると結論づけた。本稿 が説明の忠実性を評価する際、どの指標を用いて評価すればいいのかを選択する一助となり、忠実性の 正しい評価へとつながることを期待する。

## 2 関連研究

モデルの出力毎に事後的な説明を生成する手法 を Feature Attribution と呼ぶ。この手法には線形近似を利用した LIME [1] や勾配を利用した Integrated Gradients [2] などが存在する。

忠実性とは，Feature Attribution によって生成され た説明がモデルを正確に説明することができている かを表す指標である。複数の既存研究が、忠実性に よる説明間の性能比較を行っている $[8,9,10]$ 。説明評価の際に忠実性が重要視されているため、複数の忠実性評価手法が提案されてきた。しかし どの忠実性評価手法を使用するかは各論文で同意が 取れておらず、著者に判断が委ねられている。その ため忠実性評価手法を分析し、評価手法を評価する 試みが行われている [6, 7]。Chan ら [6] は、忠実性評価手法每に評価結果が大きく異なる場合があると 言及し、6つの評価手法間において2つの評価軸か ら優劣を議論した結果 2 つの評価手法の使用を提案
表 1 論文本数調査

表 2 指標調査

した。

我々は、評価手法毎に結果が大きく異なる理由を 明らかにするために、結果間の相関の計算による分析を行った。その結果から，非類似性を持つ評価手法を組み合わせた多角的な忠実性評価を提案する。

## 3 忠実性評価手法

説明がモデルを正確に説明することができている かを表す忠実性について調査した結果、複数の仮説 が生じた。この章では具体的な調査結果と仮説につ いて表記する。

## 3.1 文献調査の結果

まずは 2020-2022年の間の ACL、EMNLP、NAACL を対象に XAIに関連する論文を収集した。その結果を表 1 に示す。

次に収集した論文を Future Attribution 手法の XAI について論じられている論文に絞り、どのような観点で評価が行われているのかを調査した。その結果 を表 2 に示す。この結果から実際に説明を評価する 際には忠実性が重要視されている傾向にあることが わかった。

加えて、異なる忠実性評価手法がいくつ存在して いるかの調査を行った。調査の結果、9つの忠実性評価手法の存在を確認した。9つの評価手法は、分類タスクにおいて、入力文の一部がモデルの予測ラ ベルの確率にどのように影響を与えるかを測定する 点で共通していた。例えば、XAIが分類において重要度が高いと判断した入力文の一部をマスクした 際にモデルの予測ラベルが大きく減少すれば、この XAIによる説明はモデルを正しく説明していると言
えるため高い評価を得る。

しかし、この9つの評価手法は、どの評価手法を 使用すればいいのかの同意が取れていないことがわ かった。論文ごとに研究者が独断で使用する評価手法を選択している状況である。この状況は、どの評価手法を使用するかで異なった評価結果を示す [6]中で、XAIの忠実性を正しく評価できていない可能性を示唆している。

## 3.2 仮説

以上の調査結果から、XAI の説明を評価する際に 忠実性は重要視されているものの、評価手法が複数存在し、どの手法を使用するかで大きく結果が異な るという状況にあるということがわかった。

しかしながら、複数の忠実性評価が異なった結果 を示すことは先行研究で部分的に示唆されているも のの、評価手法間の類似性や非類似性などの関係性 の定量的に調査は不十分である。そこで本稿では、評価手法間の類似性や非類似性などの関係性を定量的に分析し、以下の仮説を検証する。

・評価手法間の関係性を分析することで、手法を 分類することができるのではないか。

・分類により、結果が異なる原因や適切な評価手法の選択が可能となり、説明を正しく評価する 一助になるのではないか。

## 4 実験方法

3.2 節で示した仮説を以下の方法で検証する。ま ずは、文書分類タスクにおいてモデルに予測ラベル を出力させる。このモデルに対して XAIによって 説明を行う。具体的には予測ラベルの結果に影響を 与えた単語に対して重要度を付与する。

次に説明として得られた単語重要度に対して9つ の忠実性評価手法を用いて忠実性を計算する。最後 に各分類モデルごとに、それぞれの忠実性評価手法 によって得られた結果間でピアソン相関を計算する ことで、評価手法間の関係性を分析する。

## 4.1 データと分類モデル

文書分類タスクのデータセットとして $\mathrm{AG}$ NEWS [11] を使用した。AG NEWS は、4つのクラス ("World"、"Sports"、"Business"、"Sci/Tech") の記事の 見出しと説明フィールドを集めて構築したニュー ス記事のデータセットで、訓練データ 800 個、開
発データ 100 個、評価データ 100 個で構成され る。このデータセットを用いて 3 つの分類モデル (BERT [12]、LSTM [13]、CNN [14]) を学習した。そ の結果、評価セットにおけるモデルの性能値 (F1) は を BERT が 0.919、LSTM が 0.904、CNN が 0.926 と なった。

## 4.2 XAI

XAI は LIME [1]、Integrated Gradients [2]、Deep Lift [3]、InputXGradient [4]、Vanila Gradient [5] を使用した。LIME はモデルを入力の近傍で線形近似 を利用することで説明を生成する。また Integrated Gradients、InputXGradient、Vanila Gradient は勾配を 利用して説明を生成する手法である。

## 4.3 評価手法

忠実性評価手法は、Most Informative Token (Most) [15], Decision Flip (Flip) [16], Comprehensiveness (Com) [17]、Sufficiency (Suf) [17]、Correlation between Importance and Output Probability (Cor) [18], Monotonicity (Mono) [18]、 Logodds (Log) [19]、NAUC (NA) [20]、 RAUC (RA) [21] の9つを使用した。実験では先行研究に習い、式 (3)、(4) で $q \in B=\{1 、 5 、 10 、 20 、 50\}$ とし、式 (7)、(8) で $t=20 \%$ とした。詳しい数式は 付録に記載した。

## 5 実験結果/考察

得られた忠実性評価結果について相関を計算し、考察したことを以下に示す。高い正の相関を示し た評価手法の組み合わせは Flip、Com、Log、NA で あった。また、これらの指標の組み合わせはモデル と使用する XAI に依存することなく同じ結果を示 す傾向にあることがわかった。この様子を図 1 に 示した。なお箱ひげ図である図 $1 、 2$ は対象とする XAI を複数種類用意したときの値の分布をあらわし ている。

Cor、Mono、Most、Suf、RA は、弱い正の相関を 示した評価手法の組み合わせがあるものの、高い正 の相関を示す評価手法の組み合わせは存在しなかっ た。これらの評価手法と Flip との相関を図 2 に示 した。ここでは (Flip、Com、Log、NA) と他の評価手法間の相関が弱いことを示すために、代表して Flip との相関を示している。またCor、Mono、Most、 Suf、RA 間の相関を図 2 に表した。

図 1 と図 2 の結果から、9つの評価手法の中で

図 1 正の相関を示した評価手法

図 2 Flipと評価手法の相関

(Flip、Com、Log、NA) は同じ観点で評価を行なって いる可能性が高いことがわかる。一方でその他の評価手法は、それぞれ異なった観点で説明の忠実性を 測っている可能性が高いことがわかる。

この実験結果から 9 つの評価手法の分類について の考察を行う。各評価手法がどの程度の重要度を持 つ単語に注目して忠実性を評価しているかに注目し て分類を行なった。また各評価手法の測定している 性質に注目して分類を行った。各評価手法が忠実性 を評価する際に注目している単語重要度の範囲を示 したのが図 4 であり、各評価手法が注目する単語と 測定する性質を軸に分類した表が 3 である。

9 つ評価手法は評価の際に注目する単語によっ て4つに分類した。また評価で測定する性質でさら に分類した。単調増加性とは、入力に重要度の低い 単語を順に一つずつ追加していった際に分類ラベル の確率が単調に増加するかを表す。相関性とは単語

図 3 Cor、Mono、Most、Suf、RA 間の相関

図4 各評価手法の注目している単語

表 3 忠実性評価手法の分類

の重要度と分類ラベルの確率変動の間の相関を表 す。ランダム優位性とはランダムに単語をマスクし た際と重要度の高い単語順にマスクした際の分類ラ ベルの確率変動の違いを表す。確率変動性とは単語 をマスクした際に分類ラベルの確率がどの程度変動 するかを示す。つまり忠実性をはかる評価手法の中 で、測定している性質が異なるということである。

そこで本稿では、複数の評価手法を用いて、さま ざまな観点から忠実性評価を行う必要があると主張 する。ある評価手法で、高い評価を得たとしても違 う評価手法では低い評価を得る可能性があるからで ある。特に評価手法間で優劣がはっきりしていない からこそ複数の評価手法を用いて多角的に評価する 必要がある。

## 6 おわりに

本稿では、忠実性が XAI 評価において重要視され ていることを示した。しかしその忠実性を測る指標 は乱立し、どの評価手法を使用するのか同意が取れ ていないことがわかった。

そこで本稿の実験で、9つの忠実性評価手法を対象にそれぞれの相関を計算し、9つの評価手法間の 関係を分析した。その 4 つの評価手法間で高い相関 が見られた一方で他の 5 つの評価手法間では相関が なかった。つまり多くの評価方法間で、異なった結果を示すことが定量的に示された。

そこで本稿では、複数の評価手法を用いて、さま ざまな観点から忠実性評価を行う必要があると主張 する。ある評価手法で、高い評価を得たとしても違 う評価手法では低い評価を得る可能性があるからで ある。特に評価方法間で優劣がはっきりとしていな いからこそ複数の評価手法を用いて多角的に評価す る必要がある。

本研究では、複数の評価手法のうち、どの手法を 用いて多角的に評価すべきかまでは分析することが できなかった。そのため、各評価手法が何を評価し ているのか、そして各評価手法の使用に優劣をつけ ることができるのかを分析することが今後の方針と して考えられる。この分析により具体的にどの評価手法を用いて説明を評価するべきかを特定していき たい。

## 謝辞

本研究は、JSPS 科研費 JP21H04901、JST ムーン ショット型研究開発事業 JPMJMS2011 (fundamental research) の助成を受けて実施されたものである。

## 参考文献

[1] Marco Ribeiro, Sameer Singh, and Carlos Guestrin. "why should I trust you?": Explaining the predictions of any classifier. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Demonstrations, pp. 97-101, San Diego, California, June 2016. Association for Computational Linguistics.

[2] Mukund Sundararajan, Ankur Taly, and Qiqi Yan. Axiomatic Attribution for Deep Networks. In International Conference on Machine Learning, pp. 3319-3328, 2017.

[3] Avanti Shrikumar, Peyton Greenside, and Anshul Kundaje. Learning Important Features Through Propagating Activation Differences, 2019.

[4] Avanti Shrikumar, Peyton Greenside, and Anshul Kundaje. Learning important features through propagating activation differences. In Proceedings of the 34th International Conference on Machine Learning.

[5] Karen Simonyan, Andrea Vedaldi, and Andrew Zisserman. Deep inside convolutional networks: Visualising image classification models and saliency maps. 2014.

[6] Chun Sik Chan, Huanqi Kong, and Liang Guanqing. A Comparative Study of Faithfulness Metrics for Model Interpretability methods. Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Long Papers), Vol. 1, pp. 5029-5038, 2022.

[7] Alon Jacovi and Yoav Goldberg. Towards faithfully interpretable NLP systems: How should we define and evaluate faithfulness? In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 4198-4205, Online, July 2020. Association for Computational Linguistics.

[8] Giuseppe Attanasio, Debora Nozza, Eliana Pastor, and Dirk Hovy. Benchmarking post-hoc interpretability approaches for transformer-based misogyny detection. In Proceedings of NLP Power! The First Workshop on Efficient Benchmarking in NLP, pp. 100-112, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[9] Pepa Atanasova, Jakob Grue Simonsen, Christina Lioma, and Isabelle Augenstein. A diagnostic study of explainability techniques for text classification. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 3256-3274, Online, November 2020. Association for Computational Linguistics.

[10] George Chrysostomou and Nikolaos Aletras. Improving the Faithfulness of Attention-based Explanations with Task-specific Information for Text Classification. Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing, pp. 477-488, 2021.

[11] Ag's corpus of news articles, 2004. http://groups .di.unipi. it/ gulli/AG_corpus_of_news_articles.html.

[12] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computa- tional Linguistics.

[13] Felix A Gers, Jurgen Schmidhuber, and Fred Cummins. Learning to forget: Continual prediction with LSTM. Neural computation, pp. 2451-2471, 2000.

[14] Krizhevsky, Sutskever, and Hinton. Imagenet classification with deep convolutional neural networks. Advances in Neural Information Processing Systems 25, pp. 1097-1105, 2012.

[15] George Chrysostomou and Nikolaos Aletras. Improving the faithfulness of attention-based explanations with task-specific information for text classification. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 477-488, Online, August 2021. Association for Computational Linguistics.

[16] Sofia Serrano and Noah A. Smith. Is attention interpretable? In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 2931-2951, Florence, Italy, July 2019. Association for Computational Linguistics.

[17] Jay DeYoung, Sarthak Jain, Nazneen Fatema Rajani, Eric Lehman, Caiming Xiong, Richard Socher, and Byron C. Wallace. ERASER: A benchmark to evaluate rationalized NLP models. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 4443-4458, Online, July 2020. Association for Computational Linguistics.

[18] Vijay Arya, Rachel K. E. Bellamy, Pin-Yu Chen, Amit Dhurandhar, Michael Hind Samuel C. Hoffman, Stephanie Houde, Q. Vera Liao, Ronny Luss, Aleksandra Mojsilović Sami Mourad, Pablo Pedemonte, Ramya Raghavendra, John Richards, Prasanna Sattigeri Karthikeyan Shanmugam, Moninder Singh, Kush R. Varshney, Dennis Wei, and Yunfeng Zhang. One Explanation Does Not Fit All: A Toolkit and Taxonomy of AI Explainability Techniques.

[19] Avanti Shrikumar, Peyton Greenside, and Anshul Kundaje, editors. Learning important features through propagating activation differences.

[20] Hillary Ngai and Frank Rudzicz. Doctor XAvIer: Explainable diagnosis on physician-patient dialogues and XAI evaluation. In Proceedings of the 21st Workshop on Biomedical Language Processing, pp. 337-344, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[21] Andreas Madsen, Vaibhav Adlakha Nicholas Meade, and Siva Reddy. Evaluating the Faithfulness of Importance Measures in NLP by Recursively Masking Allegedly Important Tokens and Retraining. 2021.

## 付録

## 忠実性評価手法

入力文を $x$ とする。 $x$ の単語の数を $l_{x}$ とする。 $x$ の予測されるクラスは $c(x)$ とし, クラス $j$ に対応す る予測確率を $p_{j(x)}$ とする。説明が与えられたとき $k$ 番目の重要な単語を $x_{k}$ とする。上位 $k$ 個 (または 上位 $q \%$ )の重要な単語のみを含む入力列を $x_{: k}$ (また は $x_{: q \%}$ ) とする。修正された単語部分列が含まれる 修正された入力列を $x^{\prime}$ をスクした修正入力系列 を $x / x^{\prime}$ とする。

また Area Under the Curve (AUC) は分類ラベルの確率を、重要度の降順でマスクした単語の割合に対し てプロットすることで得られる曲線と $x$ 軸間の面積 である。 $y$ を、 $x$ の重要度で降順に並べ替えた単語列 とすると図 5 の $\operatorname{AUC}\left(y_{10: 20 \%}\right)$ は $y$ を上位 $0 \%-20 \%$ の単語をマスクした際に計算される AUC を表す。

マスクした単語の割合 $q$

図 $5 \mathrm{AUC}$ の略図

Most Informative Token (Most) 入力文の中の最 も重要度の高い単語をマスクした際に分類ラベルが 変化した時、忠実と判断される指標である。

$
\text { Most }= \begin{cases}1 & \text { if } c(x) \neq c\left(x / x_{: 1}\right) \\ 0 & \text { if } c(x)=c\left(x / x_{: 1}\right)\end{cases}
$

Decision Flip (Flip) 分類ラベルが変化するまで、重要度の高い順に単語をマスクしていき、分類ラべ ルを変化させるのに必要とした単語のインスランス 内全ての単語に対する割合を計算する。

$
\text { Flip }= \begin{cases}-\min \frac{k}{l_{x}} & \text { s.t. } c(x) \neq c\left(x / x_{: k}\right) \\ -1 & \text { if } c(x)=c\left(x / x_{: k}\right) \text { for any } k\end{cases}
$

Comprehensiveness (Com) 分類ラベルの確率と 重要度の高い単語をマスクしていった際の分類ラべ
ルの確率の差を計算する。

$
\operatorname{Com}=\frac{1}{|B|} \sum_{q \in B}\left(p_{c(x)}(x)-p_{c(x)}\left(x / x_{: q \%}\right)\right)
$

Sufficiency (Suf) 分類ラベルの確率と重要度の 低い単語をマスクした後の分類ラベルの確率の差を 計算する。

$
\operatorname{Suf}=-\frac{1}{|B|} \sum_{q \in B}\left(p_{c(x)}(x)-p_{c(x)}\left(x_{: q \%}\right)\right)
$

## Correlation between Importance and Output Prob- ability (Cor) 重要度の高い単語を一つずつマスク していき、その際の分類ラベルの確率との相関を計算する。

$
\text { Cor }=-\rho(\boldsymbol{u} 、 \boldsymbol{p})
$

$\boldsymbol{u}$ は単語の重要度を降順に並べたベクトルである。 $\boldsymbol{p}=\left[p_{c(x)}(x), p_{c(x)}\left(x / x_{1}\right), p_{c(x)}\left(x / x_{2}\right), \cdots, p_{c(x)}(x /\right.$ $\left.x_{l_{x}}\right) . \rho$ はピアソン相関係数を表している。

Monotonicity (Mono) 単語の重要度とその単語 を追加した後の分類ラベルの確率を計算する。

$
\text { Mono }=\rho(\boldsymbol{u} 、 \boldsymbol{p})
$

$\boldsymbol{u}$ は単語の重要度を降順に並べたべクトルである。 $\boldsymbol{p}=\left[p_{c(x)}(x), p_{c(x)}\left(x / x_{: 1}\right), p_{c(x)}\left(x / x_{: 2}\right), \cdots, p_{c(x)}(x /\right.$ $\left.x_{: l_{x-1}}\right) . \rho$ はピアソン相関係数を表している。

Logodds (Log) 単語重要度の高い単語をマスク する前と後の予測されたクラスに関する負の対数確率を計算する。

$
\log =\log \frac{p_{c(x)}\left(x / x_{: l_{x}}\right)}{p_{c(x)}\left(x / x_{: t \%}\right)}
$

NAUC (NA) 縦軸を予測ラベルの確率、横軸をマ スクする単語の割合とする。予測ラベルの確率とマ スクした単語の割合の乗算 (つまり四角形の面積) に 対して AUC が占める割合を計算する。

$
\mathrm{NA}=\frac{\operatorname{AUC}\left(y_{0 \%: t \%}\right)}{q \cdot p_{c(x)}(x)}
$

RAUC (RA) 単語をランダム順でマスクした際の AUC に対して単語を重要度の降順でマスクした際 の AUC が占める割合を計算する。 $z$ を $x$ をランダム に並び替えた単語列とする。

$
\mathrm{RA}=\sum_{k=0}^{9} \frac{\operatorname{AUC}\left(y_{k * 10 \%:(k+1) * 10 \%}\right)}{\operatorname{AUC}\left(z_{k * 10 \%:(k+1) * 10 \%}\right)}
$


# 自然言語生成におけるタスク横断自動評価のメタ分析

星野 翔 1 張 培楠 1
1 株式会社サイバーエージェント
\{hoshino_sho,zhang_peinan\}@cyberagent.co.jp

## 概要

本研究は、自然言語生成における自動評価尺度の 信頼性をタスク横断の観点でのメタ分析で明らかに する。具体的には、機械翻訳・文書要約・物語生成 のメタ評価データセットにてタスク横断で用いられ る自動評価手法 4 つを調査した。従来研究のメタ評価との違いは、データセット間の比較が可能な形で システム出力の自動・人手評価結果の相関係数を分析した点である。分析結果からは相関係数がタスク 横断で著しく低下する現象が観察され、自動評価尺度のタスク横断での信頼性に留意すべきことが示唆 された。従来研究の比較検討から新たな知見が得ら れたことでメタ分析の有用性が示された。

## 1 はじめに

自然言語生成 (natural language generation; NLG) $の$自動評価尺度 ${ }^{1)}$ はタスク横断でも用いられる。例え ば、代表的な手法 BLEU [2] は元々機械翻訳 $[3,4]$ の ために提案されたが、いまや文書要約 [5] や物語生成 [6] など他タスクに応用されている。しかし、こ れら手法がタスク横断の自動評価において信頼に足 るか十分検討されていない。その結果、比較的新し いタスクの一つで自動評価手順が確立されていない 雑談対話 [7] にて、BLEUがベンチマーク指標とし て流用され、未だに使われ続けている問題がある。

この問題に対し、従来研究の NLG メタ評価 $[4,5,6]$ では、機械翻訳や文書要約などの各タスク内でシス テム出力の自動・人手評価結果の相関係数を算出 し、自動評価手法の信頼性を議論している（図 1a）。 また Marie らの研究 [8] は、機械翻訳において共通 する自動評価手順の問題点を二次的な文献調査の形 で報告している。しかし従来研究の議論は各タスク 内に閉じているため、俯瞰的なタスク横断の観点で

1） NLG の自動評価尺度は質的評価尺度 quality metrics と多様性評価尺度 diversity metrics に大きく二分され、両者ともに 広く用いられるが、多様性評価尺度についてはメ夕評価方法 [1] が定まっていないため本研究の対象外とする。

(a) 各 NLG タスクでのメタ評価 (一次研究)

(b) NLG タスク横断でのメタ分析 (二次研究)

図 1 メタ評価とメタ分析での研究方法の違い。

の信頼性は議論されていない。

そこで本研究は、NLG タスク横断での自動評価尺度の信頼性をメタ分析により明らかにする（図 1b）。 メタ分析はサーベイ論文と似た二次研究の一種であ り、一次研究（原著論文）の統計的な分析を目的と する。原則的に新たなデータ・実験を用いず、従来研究の比較のみから新たな解釈や知見を導き出す形 で一次研究を俯瞰的に再検討する。

本研究では機械翻訳・文書要約・物語生成のメ夕評価データセットにてタスク横断で用いられる自動評価手法 4 つの信頼性を調査した。具体的には、メ タ評価での知見も踏まえつつ、自動評価と人手評価 のシステム順位相関係数をタスク間で比較可能な形 で報告し、自動評価尺度の信頼性を議論する。

調査の結果、BLEU など自動評価手法の信頼性が タスク横断で著しく低下する現象や、タスク横断の 観点でより信頼性が高い手法の存在などが観察され た。総じて、自動評価尺度のタスク横断での信頼性

に留意すべきことが示唆される。一次研究の比較検討から新たな知見が得られたことで、メタ分析の有用性が示された。

## 2 調査方法

本研究は NLG タスクの機械翻訳・文書要約・物語生成を対象として、データセット 4つをメタ評価 の再現実験とメタ分析の二段階で調査する（表 1)。 まず予備検証として、従来研究であるメ夕評価の再現実験を一般公開データセットを使用し改めて実施 する。この再現実験で本研究の分析手順の正しさを 確認し、また既存データセットにおける再現手順の 曖昧性を明らかにする。次にメタ分析で、既存デー タセットをタスク横断の比較が可能な形で統計的に 分析し、新たにタスク横断での議論を可能とする。

データセット 本研究には下記 3 タスクのメタ評価データセット 4 つを用いた2)。これらのタスクは NLG タスク三種の類型化 [9] にそれぞれ対応する。 またシステム出力の自動評価結果に加えて人手評価結果も含んだデータセットが一般公開されており、 メタ評価の再現性が期待できるため使用した。

・機械翻訳は、入力文をある言語から別の言語へ過不足なく「変換」するタスクである。 WMT20・21 metrics shared task データセット $[10,4]$ のうち新聞ドメインの英 $\rightarrow$ 独翻訳の みを対象に、Freitag ら [3] に従い Google 提供 の multidimensional quality metrics (MQM) に基づ く人手評価結果を使用した。他の言語対や WMT21の TED ドメイン [4] は用いなかった。
- 文書要約は、入力文書の内容を保持しながら より短い文書へと「圧縮」するタスクである。新聞ドメインの CNN / Daily Mail [11] に基づく SummEval データセット [5]を対象に、専門家の 人手評価結果を使用した。

・物語生成は、入力文に後続する内容のより長く 一貫性がある文書を「創作」するタスクである。匿名掲示板を収集した WritingPrompts [12] に基 づく HANNA データセット [6] を対象に、クラ ウドワーカーの人手評価結果を使用した。

統計処理 本研究では、タスク毎に自動評価結果 と人手評価結果の相関係数をシステム単位で算出し タスク横断での信頼性を調査した。統計処理にはメ タ評価での知見 [3] の多くを取り入れた。まず人手

2）雑談対話 [7] のメタ評価データセットも存在するが、他 データセットと異なる設定となるため活用できなかった。表 1 使用した NLGメタ評価データセットの内訳。 システム数には人間を含めず、外れ値も除いた。

評価にはクラウドワーカーより信頼が置ける専門家 の評価結果を可能な限り採用した。また相関係数に は標本数の少なさを考慮し Pearson [13] の相関係数 ではなくKendall [14] の順位相関係数を值域 $[-1,1]$ で用いた。さらに人間（参照文）はシステムに数え ず、外れ值扱いのシステムは集計対象から除いた。

自動評価手法 自動評価手法には、参照文との単語 $n$-gram 一致率に基づく BLEU [2]、ROUGE [15] の $\mathrm{F}$ 値、文字 $n$-gram 一致率に基づく $\operatorname{chrF}[16]$ 、事前学習済みモデル BERT [17] に基づく BERTScore [18] の $\mathrm{F}$ 值の計 4 手法を使用した。これら手法はタスク横断の質的評価尺度として用いられており、文書単位 での単一参照文との比較結果を分析対象とした。

## 3 メタ評価の再現実験

表 2 に従来研究である NLGメタ評価の再現実験結果を示す。なおこの再現実験に限りWMT21で は Pearson の相関係数、HANNA では ROUGE の $\mathrm{F}$ 値 ではなく recall 值を用いた。また WMT20・21では ROUGE を、WMT20 では BERTScore を自動評価に 用いていないため欠損値扱いの空欄 (-) とした。

これらの值は WMT21 論文 [4] Table 23、SummEval 論文 [5] Table 2、HANNA 論文 [6] Figure 4 とそれぞ れ完全に一致し、従来研究を再現できたことで分析手順の正しさを確認できた。例外的に WMT20では 今回参照した Freitag らの論文 [3] Figure 7 に測定値 の記載がなく值の一致まで確認できなかった。その ため WMT20でのメタ分析手順はより新しく値の一致まで確認できたWMT21 に準じた。

既存データセットの再現性には同様の難があり、再現手順の曖昧性に起因する論文中の値との不一致 が GitHub Issues で報告されている。また報告に基づ きWMT21 論文が改訂された事例も存在する ${ }^{3)}$ 。

表 2 NLGメタ評価の再現実験結果。データセット毎に異なる設定であり直接比較可能な值ではない。 Pearson の相関係数または Kendall の順位相関係数での值で、桁数を丸めると各論文中の報告値と一致する。

表 3 NLG タスク横断での自動評価尺度のメタ分析結果。Kendall の順位相関係数での最高値を太字で表す。

## 4 タスク横断でのメタ分析

表 3 に NLG タスク横断での自動評価尺度のメタ 分析結果を示す。すなわち表 2 と表 3 の違いが図 1 に示したメタ評価とメタ分析の研究方法の違いに対応する。なおメタ分析では報告値を直接比較可能と するため SummEval と HANNA で全ての人手評価観点の代表値として平均値を用いた。

この分析結果から、自動評価尺度をタスク横断 で用いた場合に信頼性が著しく低下する現象が観察された。例えば、機械翻訳タスクの WMT21で は BLEU と人手評価結果の相関係数が約 0.9 と非常に強い相関を示しているが、物語生成タスクの HANNA では約 0.4 に、文書要約タスクの SummEval では約 0.2 と弱い相関にまで低下した。他手法の $\mathrm{chrF}$ BBERTScore にても同様の現象が観察されたが、 BLEU での低下が最も顕著だった。

さらに BLEU と chrF の手法間での比較において、
WMT21を例外として chrF が BLEUを相関係数で上回っていた。例えば、SummEval と HANNA の両方 で chrF は約 0.5 と比較的強い相関を示しており、そ れぞれ BLEUを上回る。つまりタスク横断の観点 では BLEU より chrF の方が信頼性が高いと言える。他方で、事前学習済みモデルに基づく BERTScore と その他の単語 $n$-gram 一致率に基づく手法間での比較において、手法の性質に起因する傾向の違いは特 に観察されなかった。

これらの観察から、総じて、自動評価尺度のタス ク横断での信頼性に留意すべきことが示唆される。従来研究であるメタ評価の分析からこの新たな知見が得られたことで、一次研究を比較検討するメタ 分析の有用性が示された。ただしメタ分析（二次研究）の調査結果はメタ評価（一次研究）の質と量に 左右されやすく、手法間の優劣など確固たる結論付 けにはデータ量が不十分な調査だったと考える。

## 5 関連研究

Deng ら [9] の研究では、NLGタスクを文書要約な ど「圧縮」タスク・機械翻訳など「変換」タスク・物語生成など「創作」タスクの三種に類型化してお り、本研究でもこの定義を採用した (§2)。また各夕 スクで重視する評価観点を使い分けることで従来手法と遜色ない性能でありながらタスク横断的に使用 できる自動評価手法を提案している。

Pillutla ら [19] の研究では、物語生成や雑談対話な ど正解が一意に定まらない「創作」タスク、いわゆ る open-ended タスク向けにタスク横断の自動評価手法 MAUVE を提案している。一方で本研究が対象 とした文書要約や機械翻訳など、正解を参照文とし て定められる「圧縮」・変換」タスク、通称 directed generation タスク [20] での性能は調査されていない。

Tevet と Berant [1] の研究では、多様性評価尺度の メタ評価において表層多様性 form diversity と内容多様性 content diversity の 2 つの人手評価観点が内在す ることを指摘し、多様性を 1 つの人手評価観点とみ なす従来研究の曖昧性とその結果生じやすい人手評価結果不一致の問題を明らかにした。また多様性の 人手評価結果がより一致しやすい新たな評価手順を 提案している。本研究ではこれらの議論を踏まえて 多様性評価尺度を分析の対象外とした (§1)。

## 6 おわりに

本研究は、機械翻訳・文書要約・物語生成にて夕 スク横断で用いられる自動評価手法 4 つをメタ分析 として調査した。具体的には、メタ評価データセッ トに含まれる自動・人手評価結果のシステム順位相関係数を比較可能な形で統計的に分析した。分析結果から、タスク横断では相関係数が著しく低下する 現象が観察され、自動評価尺度のタスク横断での信頼性に留意すべきことが示唆された。一次研究の比較検討から新たな知見が得られたことで、メタ分析 の有用性が示された。雑談対話など他タスクへの応用や自動評価手法の拡充は今後の課題としたい。

## 参考文献

[1] Guy Tevet and Jonathan Berant. Evaluating the evaluation of diversity in natural language generation. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics, pp. 326-346, 2021.

[2] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. BLEU: A method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, 2002.

[3] Markus Freitag, George Foster, David Grangier, Viresh Ratnakar, Qijun Tan, and Wolfgang Macherey. Experts, errors, and context: A large-scale study of human evaluation for machine translation. Transactions of the Association for Computational Linguistics, Vol. 9, pp. 1460-1474, 2021.

[4] Markus Freitag, Ricardo Rei, Nitika Mathur, Chi-kiu Lo, Craig Stewart, George Foster, Alon Lavie, and Ondřej Bojar. Results of the WMT21 metrics shared task: Evaluating metrics with expert-based human evaluations on TED and news domain. In Proceedings of the Sixth Conference on Machine Translation, pp. 733-774, 2021.

[5] Alexander R. Fabbri, Wojciech Kryściński, Bryan McCann, Caiming Xiong, Richard Socher, and Dragomir Radev. SummEval: Re-evaluating summarization evaluation. Transactions of the Association for Computational Linguistics, Vol. 9, pp. 391-409, 2021.

[6] Cyril Chhun, Pierre Colombo, Fabian M. Suchanek, and Chloé Clavel. Of human criteria and automatic metrics: A benchmark of the evaluation of story generation. In Proceedings of the 29th International Conference on Computational Linguistics, pp. 5794-5836, 2022.

[7] Chia-Wei Liu, Ryan Lowe, Iulian Serban, Mike Noseworthy, Laurent Charlin, and Joelle Pineau. How NOT to evaluate your dialogue system: An empirical study of unsupervised evaluation metrics for dialogue response generation. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 2122-2132, 2016.

[8] Benjamin Marie, Atsushi Fujita, and Raphael Rubino. Scientific credibility of machine translation research: A meta-evaluation of 769 papers. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics, pp. 7297-7306, 2021.

[9] Mingkai Deng, Bowen Tan, Zhengzhong Liu, Eric Xing, and Zhiting Hu. Compression, transduction, and creation: A unified framework for evaluating natural language generation. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 7580-7605, 2021 .

[10] Nitika Mathur, Johnny Wei, Markus Freitag, Qingsong Ma, and Ondřej Bojar. Results of the WMT20 metrics shared task. In Proceedings of the Fifth Conference on Machine Translation, pp. 688-725, 2020.

[11] Ramesh Nallapati, Bowen Zhou, Cicero dos Santos, Çağlar Gülçehre, and Bing Xiang. Abstractive text summarization using sequence-to-sequence RNNs and beyond. In Proceedings of the 20th Conference on Computational Natural Language Learning, pp. 280-290, 2016.

[12] Angela Fan, Mike Lewis, and Yann Dauphin. Hierarchical neural story generation. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics, pp. 889-898, 2018.

[13] Karl Pearson. Note on regression and inheritance in the case of two parents. Proceedings of the Royal Society of London, Vol. 58, No. vii, pp. 240-242, 1895.

[14] Maurice George Kendall. A new measure of rank correlation. Biometrika, Vol. 30, No. 1/2, pp. 81-93, 1938.

[15] Chin-Yew Lin. ROUGE: A package for automatic evaluation of summaries. In Proceedings of the ACL Workshop: Text Summarization Branches Out, pp. 74-81, 2004

[16] Maja Popović. chrF: character $n$-gram F-score for automatic MT evaluation. In Proceedings of the Tenth Workshop on Statistical Machine Translation, pp. 392-395, 2015.

[17] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 4171-4186, 2019.

[18] Tianyi Zhang, Varsha Kishore, Felix Wu, Kilian Q. Weinberger, and Yoav Artzi. BERTScore: Evaluating text generation with BERT. In Proceedings of the Eighth International Conference on Learning Representations, 2020.

[19] Krishna Pillutla, Swabha Swayamdipta, Rowan Zellers, John Thickstun, Sean Welleck, Yejin Choi, and Zaid Harchaoui. MAUVE: Measuring the gap between neural text and human text using divergence frontiers. Advances in Neural Information Processing Systems, Vol. 34, pp. 4816-4828, 2021.

[20] Ari Holtzman, Jan Buys, Li Du, Maxwell Forbes, and Yejin Choi. The curious case of neural text degeneration. In Proceedings of the Eighth International Conference on Learning Representations, 2020.


# 編集操作によるデータ拡張を用いた テキスト平易化の自動評価

山中光 徳永健伸
東京工業大学 情報理工学院
\{yamanaka.h.ac@m, take@c\}.titech.ac.jp

## 概要

テキスト平易化とは文の意味を保ちつつ平易に書 き換えるタスクである．既存のテキスト平易化の研究では様々な自動評価指標が使用されているが，平易性を測定する適切な自動評価指標に関する合意が 存在しない. また，既存の自動評価指標は評価する ために参照文を必要とするものが多いので，参照文 を集めるコストも問題となる。本研究では評価時に 参照文を必要としない，テキスト平易化のための新 しい自動評価指標を提案する．提案手法では，難易 の順序関係を判別するためのランキングモデルを学習し, さらに学習データを拡張するために編集操作 を用いたデータ拡張手法を提案する。 また，平易性 を評価するために適切な評価データについても議論 する. 評価実験の結果，提案手法が既存の評価指標 と同等以上の評価性能を示した。

## 1 はじめに

テキスト平易化とは文の意味を保ちつつ，語彙平易化や構文平易化などの複数の編集操作を通じて平易に書き換えるタスクであり [1], 子供や非母語話者など平易な文を必要とする人々にとって重要な支援技術の1つとしても期待されている [2]. 先行研究ではテキスト平易化を難解な文から平易な文への 単一言語内の翻訳問題として捉え, 近年では深層学習を用いた手法によって流暢な平易文を生成するこ とが可能になっている [3].

テキスト平易化の評価に関しては，流暢性（出力文の文法的正しさ), 同義性（出力文が元の文（原文）の意味を保持している程度), 平易性（出力文 が原文よりも平易になった程度）という 3 つの観点 から人手評価が行われる $[4,1]$. 既存研究では, こ れら 3 つの観点において人手評価と相関する自動評価指標を用いて平易化の評価を行う，中でも平易性
に関する自動評価指標としては，文中の単語数と平均音節数から計算される FKGL [5], 入出力文と参照文間における N-gram 一致度を測る SARI [6] が主 に使用されており，近年では出力文と参照文におけ る BERT の埋め込みで類似性を測る BERTScore [7] を用いることが提案されている [1]. しかし，こう いった自動評価指標それぞれに関して，平易性の評価のために用いることが不適切であることが報告さ れており $[8,9,10]$ ，平易性のための適切な自動評価指標に関する合意は取れていない。さらに，SARI と BERTScore に関しては計算時に参照文を必要と するため，人手で作られた適切な参照文を収集する コストが存在する。

参照文を用いずに評価値を算出できる自動評価指標は，テキスト平易化のみならず他分野でも重要 であり，処理の前後のパラレルデータのみを用いて 学習できる枠組みが要約 [11] や文法誤り訂正 [12] の分野で提案されている。これらの研究では，何ら かの方法で測った文の良さを順序付けするランク 学習と, 順序付けのために必要なデータ拡張を行 うことで評価モデルを作成している [11,12]. 本研究はこれらの研究を参考にし，原文と参照文から 成るパラレルデータのみを用いて学習し，計算時 に参照文を用いない，平易化のための新しい自動評価指標 SIERA（SImplification metric based on Edit operation through learning to RAnk）を提案する.

SIERA では，平易性の順序のついた文対を用いて ランク学習を行い，さらに評価性能の向上を目的に 編集操作に基づいた拡張データも学習に活用する。 またテキスト平易化の自動評価指標の評価データ から，平易性を測るのに適切な評価データ抽出を， Inter-class correlation（IC）と Inter-annotator agreement （IAA）の観点から行った. 実験の結果，拡張データ を用いた提案モデルが既存の自動評価指標と同等以上の評価性能を持つことを示した。

## 2 ランキングモデル

提案モデルは，平易性の順序関係を判別する ランキングモデルであり，リーダビリティ指標 NPRM[13] に着想を得たモデルである.

学習 $n$ を総文対数， $x_{i 1}$ を原文， $x_{i 2}$ を平易文 (参照文)としたとき, 原文と平易文の対集合 $X=\left.\{\left(x_{11}, x_{12}\right), \ldots,\left(x_{n 1}, x_{n 2}\right)\right.\}$ から入力 $I_{i j k}$ とラベル $y_{i j k}$ を以下のように作成する.

$
\begin{aligned}
& I_{i j k}=\operatorname{concat}\left(x_{i j} ; \text { SEP } ; x_{i k}\right) \\
& y_{i j k}= \begin{cases}{[0,0,1]} & \text { if } j<k \\
{[1,0,0]} & \text { if } j>k \\
{[0,1,0]} & \text { if } j=k\end{cases}
\end{aligned}
$

ただし, $\operatorname{concat}(a ; \mathrm{SEP} ; b)$ は文 $a$ に右から文 $b$ を SEP トークンで結合する操作であり, $(j, k) \in \Lambda, \Lambda=$ $\{(1,2),(2,1),(1,1),(2,2)\}$ とする. 作成した入力 $I_{i j k}$ とラベル $y_{i j k}$ を用いて，以下のように損失関数 $L$ で 評価モデルを学習する.

$
\begin{aligned}
S_{i j k} & =\operatorname{softmax}\left(\operatorname{FFNN}\left(\operatorname{BERT}\left(I_{i j k}\right)\right)\right) \\
L & =-\sum_{i=1}^{n} \sum_{(j, k) \in \Lambda} y_{i j k} \log \left(S_{i j k}\right)
\end{aligned}
$

ただし， BERT (.) は BERT の出力における CLS トー クンを表し，FFNNは 1 層の全結合層とする.

評価時評価スコア scoreを推論するには，原文 orig と平易文 simp から入力 $I_{\text {eval }}$ を以下のように作成し, score を得る.

$
\begin{gathered}
I_{\text {eval }}=\operatorname{concat}(\text { orig } ; \mathrm{SEP} ; \operatorname{simp}) \\
\text { score }=\operatorname{softmax}\left(\operatorname{FFNN}\left(\operatorname{BERT}\left(I_{\text {eval }}\right)\right)\right)_{[3]}
\end{gathered}
$

ただし, [3] はべクトルの 3 次元目の要素を表す.

## 3 編集操作を用いたデータ拡張

2 節のランキングモデルの訓練データを拡張する 手法を本節で提案する. 具体的には，原文と平易文 の対から成るパラレルデータにおいて，原文と平易文の中間の平易性を持つ文 (本研究では中間文と呼 ぶ）を，編集操作を用いて作成し，中間文を含む文対を訓練データとして用いる. 編集操作で中間文が 作成できる根拠として, 平易化のための編集操作を 適用した文がそうでない文よりも平易性が高いと 人間によって評価される [9] ことが挙げられる。つ まり，原文から参照文となる平易文に変換するため
に必要な編集操作を，原文に部分的に適応した文を 考えると，これは原文と参照文の中間の平易性を持 つ文（中間文）になる．中間文を学習に用いること で，より細かい粒度で平易性のランキングモデルが 学習できることを期待する。

中間文作成の手順 本研究では編集操作を，トー クン単位編集操作 (TE) とスパン単位編集操作 （SE）に分類する，中間文は，原文と参照文から自動的に抽出した $\mathrm{TE}$ から $\mathrm{SE}$ を構成し， $\mathrm{SE}$ を原文に 適応することで作成する.

TE は，原文を参照文に変換するために，原文に おけるそれぞれのトークンに対して適用する変換操作である. 本研究では Dong ら [14] に倣って TE の種類を ADD（トークンの挿入），DEL（トークン の削除), KEEP (トークンの保持) とし, 同研究の 方法1)を用いて自動的かつ一意に抽出する．SE は KEEP 以外の連続する 1 つ以上の, 平易化操作とし て意味を持つような $\mathrm{TE}$ のことであり，以下の 3 種類が存在する.

-ADD-DEL スパン：連続する 1 つ以上の ADD と DELがこの順序で結合している部分. 語彙平易化や文分割に該当する。

-DEL スパン：ADD-DEL スパン以外の連続する 1 つ以上の DEL 部分. 不必要な情報削除に該当 する.
- ADD スパン：ADD-DEL スパン以外の連続する 1 つ以上の ADD 部分. 必要な情報追加に該当 する。

表 1 に TEと SE の抽出例を示す. 抽出できた SE が $N$ 個だった場合，何も適用しない場合と全て適用す る場合を除いた $2^{N}-2$ 通りの組み合わせで原文に $\mathrm{SE}$ を適用し， $2^{N}-2$ 件の中間文の集合を作成する. そこから $m$ 件ランダムサンプリングしたものをデー タ拡張に用いる. 中間文を用いて提案モデルを学習 する際は，中間文と原文，参照文それぞれをぺアと した入力を拡張データとして学習に使用する.

## 4 平易性のための評価データ

テキスト平易化の自動評価指標の評価データ Simplicity-DA [1] では, システムが出力した文に対し て人手評価が付与されている. しかし, SimplicityDA のようにシステムが出力した文を使用する評価 データは，流暢性，同義性，平易性間の Inter-class

表 1 トークン単位編集操作とスパン単位編集操作を抽出した例。それぞれのハイライトの色は， ADD-DEL スパン DEL スパン，ADD スパンを表す.この例ではスパン単位編集操作が合計 4 個抽出されている.

 \\

KEEP KEEP ADD(.) ADD(It) ADD(would) ADD(create) DEL DEL DEL KEEP KEEP KEEP

correlation（IC）が高いので，平易性の評価データと して使用することは不適切であることが示唆され ている [10]. システムが出力した文はそもそも流暢性や同義性が低い文を含んでおり，そのような質の 低い文に対して人間が平易性の評価を行う際には，流暢性や同義性に強く依存した評価值が付与され てしまうことを意味する。したがって，流暢性や 同義性に問題があるデータを含む Simplicity-DA を すべてそのまま平易性の評価に用いるのは好まし くない. そこで本研究では，以下の分析に基づき， Simplicity-DA から流暢性，同義性と平易性の依存性 (IC) が低い部分集合を抽出する．まず，以下のよう に Simplicity-DA の部分集合を作成する.
- all：Simplicity-DA 全体

-f_high：流暢性が全体の中央値よりも高い部分集合
- m_high：同義性が全体の中央値よりも高い部分集合

-fm_high：流暢性と同義性がそれぞれの全体の中央値よりも同時に高い部分集合

それぞれの部分集合において，平易性に対する流暢性と同義性の IC をピアソンの相関係数 $\rho$ で計算する。また，人手評価値そのものの信頼性を分析するために， $\operatorname{ICC}(1, k)[15]$ を用いて Inter-annotator agreement（IAA）を計算する. $\operatorname{ICC}(1, k)$ は $k$ 人評価値を集計した値に対する信頼性を表す指標で あり，0.5未満なら poor， 0.5～0.75 なら fair，0.75〜 0.90 なら good， 0.90 以上なら exellent と解釈され る [16]. 結果を表 2 に示す. まず $\rho$ に関しては，all が最も高い傾向を示すことが分かる.この結果は, Simplicity-DA の平易性に関する人手評価は IC が高 く，平易性の評価データとしてそのまま用いるのに は適さないことを示唆する。また，fm_high が最も 低い傾向を示すことから，Simplicity-DA においては表 2 Simplicity-DAにおける $\rho$ と $\operatorname{ICC}(1, k)$.

流暢性と同義性の両方の質の高いデータが平易性の 評価データとして信頼性が高いことを確認できる.一方， $\operatorname{ICC}(1, k)$ の結果から，評価值そのものの信頼性に関しては all の信頼性が最も高い（exellent）が, fmhighに関しても高い（good）信頼性を持つこと が分かる. 以上より Simplicity-DA において, IC と IAA の観点から fm_high が平易性の人手評価として 適切であると判断した。

## 5 実験

SIERA に関する実験を行い，人手評価との相関を 調べた.

## 5.1 実験設定

訓練データ訓練データとして Newsela [17] を用 いて 2 節の提案モデルをファインチューニングす る. Newsela は原文を人手により平易文に書き直し たデータセットである. Newsela の特徴として最終的な平易文に至る途中段階の文も 4 段階にわたり付与されていることが挙げられる．本研究では，難易度の差が 4 である文対のみをべースラインとして用 いるデータ（Base）とした. この Base に，3 節の手法を適用し中間文を拡張したデータ（Silver）を作成 した. また Base から，Newsela の人手による途中段階の平易文を中間文とみなして文対を追加し，デー タ拡張をおこなった (Gold). これらの訓練データを
表 3 既存の評価指標（上）と提案手法（下）の人手評価との相関. SIERAに関しては 10 回実験を行った平均 （左）と標準偏差（右）を示す。

用いて提案モデルを学習する際は，FFNN のパラ メータと BERT の最終層のパラメータを学習した。

評価データ 4 節の結果から, 評価データとし て Simplicity-DA の fm_high 分割を用いた. さらに，人手で書き直された質の高い参照文で構成された 評価データであり，IC が低いことが確認されて いる Human-Likert [10] も用いた. また提案手法と の比較を行うために，参照文が必要な指標として BERTScore (精度, 再現率, F1)，SARI，BLEU，参照文が必要ない指標として FKGLを用いて人手評価 との相関を調べた。人手評価との相関は, 評価デー タに付与されている平易性の人手評価スコアと自動評価指標が算出したスコアとのピアソンの相関係数 を用いて計算する。

## 5.2 実験結果

表 3 に実験結果を示す。既存の評価指標の中で は, Simplicity-DA と Human-Likert のどちらにおい てもBERTScore_p が最も人手評価との相関が高い. BERTScore_p と提案手法を比較すると, SimplicityDA に関しては Base では SIERA が劣るが Silver や Gold で同等以上の評価性能を示している.また， Human-Likert では Base, Silver, Gold のいずれにお いても SIERA が高い性能を持つ.この結果から, 参照文なしで評価スコアを計算できる SIERA は，参照文が計算時に必要な既存評価指標と比較しても同等以上の性能であるといえる。

また, 表 3 下から, 中間文を活用している Silver と Gold が中間文を使用しない Base よりも高い相関 を示す傾向があることが分かる. これは，提案した ランキングモデルは中間文を用いると，より細かい 粒度の平易性の違いを考慮することが可能になり，平易性に関する評価性能が上がることを示唆する。表 4 同義性が低い中間文の 1 例.

原文 Wars of the future will be fought with American women on the front lines and the public has no problem with it .

参照文 American women will soon be able to fight in wars .

中間文 Wars of the future will be able to fight in

一方で，Silver で学習したモデルは Gold で学習した モデルよりも Base からの上がり幅が小さい傾向に ある. Gold の中間文は人手で作成されたものなの で流暢性や同義性に関しての質が担保されている一方で，Silverの中間文は自動的に抽出した SEを原文 に適用しただけの文をランダムサンプリングしてい るので，質が低い文も含まれる．実際に作成できた 同義性が低い Silver の中間文の例を表 4 に示す.こ の例では，原文の "fought with American women on the front lines and the public has no problem with it" が参照文の “able to fight in wars” に置き換わって作成された 中間文を示している。この部分の置き換えだけでは 文全体として同義性を損ねたものとなってしまうの で，同義性を保つためには原文の主語である“Wars of the future”を参照文の “American women” に同時に 置換する必要がある．このような Gold と Silver の中間文の質に関する違いが，Silver で学習した SIERA の評価性能の上がり幅が低くなる原因となっている 可能性がある. 考えられる改善方法としては, Silver で拡張した $2^{N}-2$ 件の中間文の中から流暢性や同義性の高いものだけをサンプリングして学習に使用することが挙げられるので，これを今後の課題と する。

## 6 おわりに

本研究では編集操作を用いたデータ拡張手法で拡張した中間文を用いてランキングモデルを学習する ことで，参照文なしで計算できるテキスト平易化の ための新しい自動評価指標 SIERAを提案した。ま た，平易性を評価するのに適切な評価データの抽出方法を IC と IAA に観点から行った. 評価実験を通 じて，中間文を学習に用いることによってランキン グモデルの評価性能が向上することを示し，SIERA が既存の評価指標と同等以上の人手評価との相関を 示すことを確認した. 今後の課題としては，流暢性 や同義性の高い中間文を自動的に抽出する方法を模索することが挙げられる.

## 参考文献

[1] Fernando Alva-Manchego, Carolina Scarton, and Lucia Specia. The (un)suitability of automatic evaluation metrics for text simplification. Computational Linguistics, Vol. 47, No. 4, pp. 861-889, December 2021.

[2] Sian Gooding. On the ethical considerations of text simplification. In Ninth Workshop on Speech and Language Processing for Assistive Technologies (SLPAT-2022), pp. 50-57, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[3] Sergiu Nisioi, Sanja Štajner, Simone Paolo Ponzetto, and Liviu P. Dinu. Exploring neural text simplification models. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 85-91, Vancouver, Canada, July 2017. Association for Computational Linguistics.

[4] Louis Martin, Samuel Humeau, Pierre-Emmanuel Mazaré, Éric de La Clergerie, Antoine Bordes, and Benoît Sagot. Reference-less quality estimation of text simplification systems. In Proceedings of the 1st Workshop on Automatic Text Adaptation (ATA), pp. 29-38, Tilburg, the Netherlands, November 2018. Association for Computational Linguistics.

[5] J. Peter Kincaid, Robert P. Fishburne, R L Rogers, and Brad S. Chissom. Derivation of new readability formulas (automated readability index, fog count and flesch reading ease formula) for navy enlisted personnel. 1975.

[6] Wei Xu, Courtney Napoles, Ellie Pavlick, Quanze Chen, and Chris Callison-Burch. Optimizing statistical machine translation for text simplification. Transactions of the Association for Computational Linguistics, Vol. 4, pp. 401-415, 2016.

[7] Tianyi Zhang, Varsha Kishore, Felix Wu, Kilian Q. Weinberger, and Yoav Artzi. Bertscore: Evaluating text generation with BERT. In 8th International Conference on Learning Representations, ICLR 2020, Addis Ababa, Ethiopia, April 26-30, 2020. OpenReview.net, 2020.

[8] Teerapaun Tanprasert and David Kauchak. Flesch-kincaid is not a text simplification evaluation metric. In Proceedings of the 1st Workshop on Natural Language Generation, Evaluation, and Metrics (GEM 2021), pp. 114, Online, August 2021. Association for Computational Linguistics.

[9] Fernando Alva-Manchego, Louis Martin, Antoine Bordes, Carolina Scarton, Benoît Sagot, and Lucia Specia. ASSET: A dataset for tuning and evaluation of sentence simplification models with multiple rewriting transformations. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 4668-4679, Online, July 2020. Association for Computational Linguistics.

[10] Thomas Scialom, Louis Martin, Jacopo Staiano, Éric Villemonte de la Clergerie, and Benoît Sagot. Rethinking automatic evaluation in sentence simplification. CoRR, Vol. abs/2104.07560, , 2021.

[11] Hanlu Wu, Tengfei Ma, Lingfei Wu, Tariro Manyumwa, and Shouling Ji. Unsupervised reference-free summary quality evaluation via contrastive learning. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 36123621, Online, November 2020. Association for Computational Linguistics.

[12] Koki Maeda, Masahiro Kaneko, and Naoaki Okazaki. IMPARA: Impact-based metric for GEC using parallel data. In Proceedings of the 29th International Conference on Computational Linguistics, pp. 3578-3588, Gyeongju, Republic of Korea, October 2022. International Committee on Computational Linguistics.

[13] Justin Lee and Sowmya Vajjala. A neural pairwise ranking model for readability assessment. In Findings of the Association for Computational Linguistics: ACL 2022, pp. 3802-3813, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[14] Yue Dong, Zichao Li, Mehdi Rezagholizadeh, and Jackie Chi Kit Cheung. EditNTS: An neural programmerinterpreter model for sentence simplification through explicit editing. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 3393-3402, Florence, Italy, July 2019. Association for Computational Linguistics.

[15] Patrick E. Shrout and Joseph L. Fleiss. Intraclass correlations: uses in assessing rater reliability. Psychological bulletin, Vol. 86 2, pp. 420-8, 1979.

[16] Terry K. Koo and Mae Y. Li. A guideline of selecting and reporting intraclass correlation coefficients for reliability research. Journal of chiropractic medicine, Vol. 15, No. 2, pp. 155-163, 2016.

[17] Wei Xu, Chris Callison-Burch, and Courtney Napoles. Problems in current text simplification research: New data can help. Transactions of the Association for Computational Linguistics, Vol. 3, pp. 283-297, 2015.


# 同時通訳品質評価方法検討のための 同時通訳者と翻訳者の評価比較分析

蒔苗 茉那 ${ }^{1}$ 須藤 克仁 ${ }^{1}$ 中村 哲 ${ }^{1}$ 松下 佳世 ${ }^{2}$ 山田 優 ${ }^{2}$
${ }^{1}$ 奈良先端科学技術大学 ${ }^{2}$ 立教大学
\{makinae.mana.mh2, sudoh, s-nakamura\}@is.naist.jp

## 概要

同時通訳の品質評価は，人と機械双方の同時通訳の向上と発展のために重要である. しかし, 標準的な品質評価基準はまだ確立されていない. 本研究 では，同時通訳の品質評価基準を検討するための第一歩として，同時通訳者と翻訳者による評価の比較分析を行い，通訳と翻訳の品質評価観点の差異につ いて議論する。評価は同時通訳者と翻訳者各 1 名 が，同一の記者会見に対してMultidimensional Quality Metrics (MQM) をもとにした「JTF 翻訳品質評価ガイドライン」を利用した. 評価結果の比較分析により, 同時通訳者と翻訳者の間の評価観点 の共通点と相違点を明らかにする. そして同時通訳品質評価への応用の可能性を検討し、改良が必要な 項目を明らかにする。

## 1 はじめに

同時通訳とは，原言語から目的言語へ，発話さ れた内容を聞き取りつつ，同時に発話内容を訳出し ていく行為を指す. 同時通訳では, 訳出は原発話 になるべく追いつくことが要求されるため, 厳しい 時間制約の下で話者の伝えたいことを正確に訳出す ることが求められる.

しかし，そのような要求に応えられているかの 標準的な評価基準は確立されていない. 同時通訳の 訳出結果が原発話の内容を十分汲み取れているかを 評価するためには、訳出結果の品質の良し悪しを多角的に判断しなければならないが、そのための具体的かつ実用的な基準はまだ存在しないのである.こ こでの評価は通訳品質の向上につながることから，現在人間が行っている同時通訳を評価する上でも有益である. しかし現状, 同時通訳の訳出結果全体を 大まかに評価する指標はあるものの，一文ずつなど細かいセグメント単位での訳出に注目した評価指標 はなく，十分な評価ができていない状況にある.

一方で近年, 機械による自動同時翻訳の研究が 進んでいる. 例えば Fukuda ら[1]は漸進的な音声認識, 機械翻訳, 音声合成をカスケード処理する自動同時翻訳システム実現した. 機械もまた人間と同様 に，訳出内容を評価することができれば，その評価 をもとに改善することができるため, 評価は重要で ある. しかし, 同時通訳の品質評価基準が存在しな いことから，現状は翻訳の指標である BLEU 等を 元に改善を試みているが，これらは評価指標に不十分である。なぜなら，通訳評価には流暢性，自然性 より, 同時性, 内容伝達度の視点が重要となるため である。なぜなら，自動同時通訳の改善に翻訳の指標が用いられているということは, 同時通訳の特徴 が改善指標に十分に反映されていないことを意味す るからである. そのため, 同時通訳の品質評価基準 を構築することは，人間だけでなく機械による同時通訳にとっても有益であると考える.

本研究では, 同時通訳の品質評価基準構築に向 けて，翻訳の品質評価基準である Multidimensional Quality Metrics (MQM) [2]に着目し, その同時通訳評価への応用について検討する. 原言語から目的言語に変換するという点で同時通訳と翻訳は似ている ものの, 一方で訳出時間の制限などいくつかの点で 異なる性質を持つことから，翻訳の品質評価基準を 同時通訳にそのまま当てはめようとすると問題が生 じる．例えば，聞き手の内容理解に与える影響が小 さいと考えられる程度の簡略化や省略は、時間的な 制約を伴う同時通訳においては、一定程度許容され るからである. そこで本稿ではそのための第一歩と して，MQM を同時通訳評価へ応用するにあたり何 が必要かを明らかにするために，同時通訳者と翻訳者による評価の視点の共通点と相違点の分析を行 う. 具体的には，同一の同時通訳に対して同時通訳
者と翻訳者が $\mathrm{MQM}$ に基づく JTF 翻訳品質評価ガ イドライン[3]を利用して行った評価結果の比較と 分析を通じて，翻訳評価の視点をほぼそのまま応用可能な項目および同時通訳評価向けに改変が必要な 項目を明らかにすることを目指す。

本稿の検討を通じ以下が明らかになった。

- $M Q M$ 評価項目のうち, 同時通訳評価に応用可能な項目はカテゴリ「正確さ-誤訳-」である.

- $\mathrm{MQM}$ 評価項目のうち, 同時通訳評価に応用す るには要検討な項目は流暢さ」とカテゴリ 「抜けと余分」である.

## 2 関連研究

MQM（Multidimentional Quaity Metrics）とは,翻訳の評価指標フレームワークであり，この $\mathrm{MQM}$ を用いた翻訳の評価手法の有効性が示されている. MQM については 3 章で詳説する. Freitag ら[4]は， Direct Assessment による人手評価よりも，MQM 評価が Scalar Quality Metric (SQM)など他の評価手法と 相関が最も強いことを示し, 機械翻訳の評価に MQM を用いるのが適当ではないかと提案してい る. WMT21 Metrics Shared Task [5] では、実際に MQM を用いた人手評価が追加で行われており， MQM の評価手法としての有効性を示している.既存の同時通訳の評価指標は，訳出結果全体を 通じたプロダクト評価というよりも，むしろ通訳者 を評価するものであり，代表的なものに NAATI Metrics [6]と EU Metrics [7]がある. NAATI (National Accreditation Authority For Translators and Interpreters）とは，オーストラリア政府公認の翻訳者や通訳者の国家資格の認定のことを指し，そこで 使用されている NAATI Metrics は通訳の内容を A: Meaning Transfer Skill, B: Application of interpreting mode, C: Rhetorical skill, D: Language Proficiency enabling meaning transfer $の 4$ つの指標をもとに 5 段階評価を行うことで, 通訳全体を通して適切な訳出 が行われていたかを評価する. EU Metrics では，

Content, Delivery/From, Technique の 3 つの指標 をもとに，通訳全体を通して適切な訳出が行われて いたか評価をする。一方で，通訳者ではなく，通訳内容に注目し, 一文ずつなど細かいセグメント単位 での通訳の評価指標はこれまでのところ確認できて いない.

## 3 MQM による同時通訳評価

## 3. 1 MQM - JTF 翻訳品質評価ガイドライン

MQM とは翻訳の評価指標フレームワークであ り, 日本翻訳連盟（JTF）では $\mathrm{MQM}$ をとに JTF 翻訳品質評価ガイドライン[3]を作成, 公開してい る.

$\mathrm{MQM}$ や JTF 翻訳品質評価ガイドラインでは,評価依頼者が各エラーカテゴリの重みを事前に設定 することで仕様を決定し, 評価者はその仕様をもと に，翻訳結果を 1 文単位でエラーベースの評価を行 う。具体的には重みと重大度を掛け合わせ点数化す る. エラーのカテゴリには正確さ・流暢さ・用語・ スタイル・地域慣習などがある。評価依頼者が各エ ラーカテゴリに対し重みを自由に設定するので，ど のエラー項目を重視度するかの表現が可能である。 エラーが文章に与える重大度の程度は深刻・重度・軽度・なしがあり, JTF 翻訳品質評価ガイドライン のサンプル評価シートにおけるそれぞれの標準値は $100 \cdot 10 \cdot 1 \cdot 0$ であり，重大なエラーには大きなぺ ナルティがかかるようになっている。この重み付き 和で表されるエラースコアが大きいほど、その文章 に対するエラーは深刻であると考える。

## 3.2 同時通訳評価への応用

本研究では, $\mathrm{MQM}$ に基づく同時通訳評価の確立に向けた検討を行う。過去の同時翻訳評価の試み [8]では，英日の同時翻訳タスクに対して，JTF 翻訳品質ガイドラインを用いて, 翻訳者が評価者として 訳出内容を評価した. その結果, BLEU スコアと人手評価によるエラースコアとの間に正の相関関係が 見られたことが報告されている. しかしながら先に 述べたような翻訳と通訳の違いについては十分に考慮されておらず，通訳においては問題とされないよ うな点について過剰な減点を受けていることが憂慮 される. そこで本研究では通訳者と通訳者による評価を実施し，評価結果の比較と分析を行う。

今回の分析から期待される効果として，両者間 での共通点が明らかになれば，それは翻訳内容の品質を評価する MQM は同時通訳の品質評価にも応用可能であると示すことができる. また両者間での相違点が明らかになれば，それは同時通訳評価者と翻訳評価者の間で評価すべき項目の違いが存在するこ との現れであり, それらの違いは同時通訳評価体系 の構築時に検討すべき項目と考えることができる.
分析のために，同時通訳者，翻訳者，各 1 名 に，共通の同時通訳データの評価を依頼した，同時通訳者は 15 年以上の実務経験を持つが、JTF ガイ ドラインを使用した評価の経験はない。翻訳者は JFT ガイドラインを使用した評価の経験を持つ。同時通訳データは日本記者クラブの記者会見の同時通訳収録データ(JNPC063) [9]である。評価にあたり同時通訳者には原発話と同時通訳の音声およびそれら の書き起こしを提示し，翻訳者には原発話と同時通訳の書き起こしのみを提示した。なお，評価を行っ た翻訳者は JTF ガイドラインを用いた評価作業の 経験を有していたのに対し, 同時通訳者は MQM や JTF ガイドラインに基づく評価作業の経験がなかつ たため，事前の打ち合わせにより JTF ガイドライ ンに基づく評価方法について説明を行った上で，エ ラー重大度について通訳の観点で評価して良い旨を 伝えた。

表 $1 \mathrm{JTF}$ ガイドラインによる同時通訳者と翻訳者の同時通訳評価結果比較

 &  \\

## 4 分析結果

以下に，JTF ガイドラインを用いた同時通訳者 と翻訳者による同時通訳評価結果について, 評価の 共通点・相違点について分析した結果のうち代表的 なものを例示する（表 1 ）. 表中のエラー値は翻訳者による評価において事前に設定したカテゴリおよ び重大度による重みに基づくものである（重みの詳細は付録に記載）。

## 4.1 同時通訳者評価と翻訳者評価の共通点

同時通訳者と翻訳者による評価で共通する傾向 があったものとして, 例(1)に示すカテゴリ「正確 さ-誤訳-」が挙げられる. 当該カテゴリでは, 原発話で用いられている単語が目的言語にて適切な訳に 置き換わっていない場合は共通して減点されてい た. エラー重大度の判定については同時通訳者と翻訳者の間で摇れがあり, 例(1)では同時通訳者のほ うが重大度が高いとしており, エラー值が 26.6 と なったのに対し，翻訳者では 1.33 であった。

## 4.2 同時通訳者評価と翻訳者評価の相違点

同時通訳評価者と翻訳評価者の間における評価項目の相違点として, カテゴリ「流暢さ」とカテゴ リ「抜けと余分」が挙げられる．カテゴリ「流暢 さ」にて，翻訳評価者は目的言語が英文の語順通り に訳されているので不自然（例(2) エラー値 0.67），表現が不自然で流暢さに欠ける（例(3) エ ラー値 0.67）という理由で，それら理由に該当する 訳出文を減点対象としていた。一方同時通訳評価者 は, 前述した理由で訳出文を減点することはなかっ た. 英日翻訳における英語と日本語の語順の違いか ら, 同時通訳において早く訳出しようとすると通常 の日本語の伝達順と入れ替えて訳出せざるを得ない が，翻訳の観点では自然さや流暢さが損なわれてい ると判断したからではないかと考えられる. 例(2) であれば，「〜してから 30 年ぶりである」と時間 の言及を強調する訳出を好ましい翻訳とすると, こ の通訳結果ではそうした強調が反映されていないと 考えることもできる.

カテゴリ「抜けと余分」にて，翻訳評価者は原発話に含まれる単語が全て訳出されていない場合は 基本的に減点としていた（例(4) エラー値 1.33）.一方同時通訳評価者は, 原言語側に含まれる単語が 全て訳出されていなかったとしても，全てを一律に減点することはなかった(エラー值 0 ). こちらもカ テゴリ「流暢さ」と同様に, 英日の文法構造の違い と原言語になるべく追いつこうとする訳出時間制限 のトレードオフから, 同時通訳において, ある程度 の抜けは容認されて然るべきなのではないかと考え る.

## 5 考察

分析結果から，カテゴリ「正確さ-誤訳-」に て, 同時通訳評価者と翻訳評価者の評価項目の視点 が共通していることが分かった. そのため, カテゴ リ「正確さ-誤訳-」については, 翻訳内容の品質を 評価する $\mathrm{MQM}$ ・ $\mathrm{JTF}$ ガイドラインに基づいて同時通訳の品質を評価することができると示唆される. しかしながら今回は評価対象, 評価者とも事例が非常に限定されていることから, 今後より多くの事例 を通じて誤訳の認定基準について検討することが必要と考えられる。

一方，カテゴリ「流暢さ」とカテゴリ「抜けと 余分」においては, 同時通訳評価者と翻訳評価者の 評価項目の視点が異なることが分かった. そのた め, これらの違いは同時通訳の特徴と捉えることが でき。こうした特徴を反映した評価体系の必要性が 確認できた.

## 6 おわりに

本稿では, 翻訳品質評価基準である Multidimensional Quality Metrics (MQM)が同時通訳評価へ応用可能であるかを調査するために，同時通訳評価者と翻訳評価者の間における評価の視点の共通点と相違点の分析を行い, 応用可能な項目と検討が 必要な項目を明らかにした。

一方で今回行った分析は, 原言語と目的言語が一対一で評価される単文評価による分析であった. 訳出時間や前後の文章の重要度によって訳出結果が大 きく影響を受ける同時通訳において，前後の関係や 訳出時間が考慮されない単文評価のみの分析結果は,同時通訳品質評価項目の検討に必要ではあるものの 十分であるとは言えない. 今後は, 訳出時間と訳出結果, エラーの関係性について分析を進めていくこ とで, 単文評価で分析するができなかった, 同時通訳が持つ特徴であるリアルタイムで連続した文章間 の関係性について明らかにしていきたいと考える。

## 謝辞

本研究は JSPS 科研費 JP21H05054 の助成を受け たものです.

## 参考文献

[1] Ryo Fukuda, Sashi Novitasari, Yui Oka, Yasumasa Kano, Yuki Yano, Yuka Ko, Hirotaka Tokuyama, Kosuke Doi, Tomoya Yanagita, Sakriani Sakti, Katsuhito Sudoh and Satoshi Nakamura. "Simultaneous Speech-to-speech Translation System with Transformer-based Incremental ASR, MT, and TTS," Proc. Oriental COCOSDA 2021, 186-192, Nov. 18,2021

[2] A.Lommel et al., "Multidimensional Quality Metrics (MQM):A Framework for Declaring and Describing Translation Quality Metrics," Revista Tradumàtica: tecnologies de la traducció, 2014

[3] 一般社団法人 日本翻訳連盟（JTF），“JTF 翻訳品質評価ガイドライン”:

https://www.jtf.jp/pdf/jtf_translation_quality_guideli nes_v1.pdf

[4] Markus Freitag, George Foster, David Grangier, Viresh Ratnakar, Qijun Tan, and Wolfgang Macherey. "Experts, Errors, and Context: A Large-Scale Study of Human Evaluation for Machine Translation," Transactions of the Association for Computational Linguistics, 9:1460-1474. 2021

[5] Markus Freitag, Ricardo Rei, Nitika Mathur, Chi-kiu Lo, Craig Stewart, George Foster, Alon Lavie, and Ondřej Bojar. 2021. Results of the WMT21 Metrics Shared Task: Evaluating Metrics with Expert-based Human Evaluations on TED and News Domain. In Proceedings of the Sixth Conference on Machine Translation, pages 733-774, Online. Association for Computational Linguistics

[6] NAATI Metrics:

https://www.naati.com.au/wp-

content/uploads/2020/10/Certified-Interpreter-

Assessment-Rubrics.pdf

[7] EU Mettics:

https://europa.eu/interpretation/doc/marking_criteria_ en.pdf
[8] Antonios Anastasopoulos, Loïc Barrault, Luisa Bentivogli, Marcely Zanon Boito, Ondřej Bojar, Roldano Cattoni, Anna Currey, Georgiana Dinu, Kevin Duh, Maha Elbayad, Clara Emmanuel, Yannick Estève, Marcello Federico, Christian Federmann, Souhir Gahbiche, Hongyu Gong, Roman Grundkiewicz, Barry Haddow, Benjamin Hsu, et al.. 2022. Findings of the IWSLT 2022 Evaluation Campaign. In Proceedings of the 19th International Conference on Spoken Language Translation (IWSLT 2022), pages 98-157, Dublin, Ireland. Association for Computational Linguistics.

[9] 松下佳世, 山田優, 石塚浩之, “英日 - 日英通訳 データベース (JNPC コーパス) の概要”, 日本翻訳学会, vol. 22, pp. 87-94, 2020

## A 付録

MQM による同時通訳評価者と翻訳評価者の同時通訳データ評価結果比較

データ：JNPC063

 &  \\

## 重みの詳細

 & 0.5 &  & 0.5 \\