# ニューラル系列変換のための Transformerの注意機構を活用した外部記憶融合

庵 愛，増村 亮，牧島 直輝，田中 智大，高島 瑛彦，折橋 翔太
日本電信電話株式会社, NTTメディアインテリジェンス研究所
mana.ihori.kx@hco.ntt.co.jp

## 1 はじめに

機械翻訳やキャプション生成, 音声認識などの言語生成タスクでは，性能の高い Transformer [1] を用 いることが主流となっている [2-9]. Transformer な どのニューラル系列変換モデルを学習するために は，大量のパラレルデータが必要となる. そのた め, テキストのみのデータを大量に保持していて も，その対となるデータがなければ，学習に用いる ことはできない。また，パラレルデータの作成はコ ストが大きく，学習に十分な量のパラレルデータを 用意することは難しい.

テキストのみのデータを活用するために，大量の テキストのみのデータから学習された外部言語モデ ルを参照すべき外部記憶として利用する方法が提案 されている [10-12]. この方法は, 外部言語モデルを ニューラル系列変換モデルに統合することで実現さ れ，ニューラル系列変換モデルの性能の改善に役立 つことが確認されている。しかし, 従来の外部言語 モデルの統合方法は, recurrent neural network (RNN) に基づくニューラル系列変換モデルを対象としてお り，Transformer を対象としているわけではない。

Transformer と RNN に基づくニューラル系列変換 モデルの異なる点として, multi-hop 注意機構 [13] を採用している点がある. multi-hop 注意機構では, デコーダの層数分, ソースターゲット注意を繰り返 す.このように，Transformer ではソースターゲット 注意を複数回繰り返すことによって，ソースが持つ 系列変換に必要な情報をより柔軟に抽出していると 考えられる。

以上より，本論文では Transformer の構造を活用 した外部言語モデルの統合方法について提案する。 Transformer が multi-hop 注意機構を採用する特徴的 な構造であることを考慮し，外部言語モデルに対
しても multi-hop 注意機構を適用する.ここでは， Transformer のデコーダの内部情報をキーとし，言語 モデルに対するソースターゲット注意を多段に行う ことで，言語モデルから系列変換に必要な情報を取捨選択することを期待している．評価実験には，話 し言葉・書き言葉変換と方言変換の 2 種類のテキス トスタイル変換タスクを採用する．各タスクにおい て，提案手法を用いた Transformer に対する外部言語モデルの統合が性能を向上させることを示す.

## 2 関連研究

ニューラル系列変換モデルに対する最も単純 な外部言語モデルの統合方法として, 系列変換モ デルと言語モデルを対数線形補完する方法があ る $[10,14,15]$. この方法は, shallow fusion と呼ばれ る.しかし, shallow fusion は系列変換モデルと言語 モデルを別々に学習しているため, 系列変換モデル の学習中に外部言語モデルの情報を取り入れること ができない，そこで，系列変換モデルの学習中に言語モデルの出力を統合する, deep fusion [11] や cold fusion [12] などの方法が提案されている. これらの 方法では, 系列変換モデルの学習にパラレルデータ の情報だけでなく，テキストのみの情報も用いるこ とが可能となった。図 1 に，テキストスタイル変換をタスクとし，Transformerに cold fusion を適用し た場合のモデル構造を示す.しかし，これらの方法は，RNN に基づくニューラル系列変換モデルに 適用することを前提として提案されたものであり， Transformer の構造を明示的に活かせていない.

## 3 提案手法

本論文では， Transformer の構造を明示的に活用し た外部言語モデルの統合方法を提案する。ここで，提案手法は，cold fusion を拡張した方法となる.し

図 1 cold fusion を用いた Transformer

かし, cold fusion が外部言語モデルの持つ知識を一度のみ使うのに対して, 提案手法では, multi-hop 注意機構を用いることで外部言語モデルの持つ知識 を繰り返し使用する。そのため, 提案手法は, cold fusion よりも Transformer のデコーダが持つ multi-hop な構造を明示的に活かし, 言語モデルの持つ知識を 柔軟に抽出することが期待される.

本論文では，テキストスタイル変換をタスクとし て, 入力のトークン系列を $\boldsymbol{X}=\left.\{x_{1}, \cdots, x_{M}\right.\}$, 出力 のトークン系列を $\boldsymbol{Y}=\left.\{y_{1}, \cdots, y_{N}\right.\}$ と表す.ここで， $M$ は入力の, $N$ は出力のトークン数を表す. テキス トスタイル変換では, 変換前のトークン系列 $\boldsymbol{X}$ が与 えられた時, 変換後のトークン系列 $\boldsymbol{Y}$ の事後確率を 式 (1)によって導出する.

$
P(\boldsymbol{Y} \mid \boldsymbol{X} ; \boldsymbol{\Theta})=\prod_{n=1}^{N} P\left(y_{n} \mid y_{1: n-1}, \boldsymbol{X} ; \boldsymbol{\Theta}\right)
$

ここで, $y_{1: n-1}=\left.\{y_{1}, \cdots, y_{n-1}\right.\}$ であり, $\boldsymbol{\Theta}=$ $\left.\{\theta_{\mathrm{enc}}, \theta_{\mathrm{dec}}, \theta_{\mathrm{lm}}\right.\}$ はモデルパラメータを表す. $\theta_{\mathrm{enc}}, \theta_{\mathrm{dec}}$ は Transformer のエンコーダとデコーダ, $\theta_{\operatorname{lm}}$ は 外部言語モデルにおけるパラメータを表す。 $P\left(y_{n} \mid y_{1: n-1}, \boldsymbol{X} ; \boldsymbol{\Theta}\right)$ は Transformer のエンコーダ, 提案手法を用いて外部言語モデルを統合したデコーダに よって算出される. 図 2 に，テキストスタイル変換 をタスクとし，Transformerに提案手法を適用した場合のモデル構造を示す.

## 3.1 エンコーダ

エンコーダでは, $K$ 層の Transformer エンコーダ ブロックを用いて，入力系列 $\boldsymbol{X}$ を隠れ状態ベクト ル $\boldsymbol{S}^{(K)}$ に変換する. まず，最初の Transformer エン

図 2 提案手法を用いた Transformer

コーダブロックの入力 $\boldsymbol{S}^{(0)}=\left.\{s_{1}^{(0)}, \cdots, s_{M}^{(0)}\right.\}$ は, 式 (2) によって算出される。

$
\begin{gathered}
\boldsymbol{s}_{m}^{(0)}=\operatorname{AddPositionalEncoding}\left(\boldsymbol{x}_{m}\right) \\
\boldsymbol{x}_{m}=\operatorname{Embedding}\left(x_{m} ; \theta_{\mathrm{enc}}\right)
\end{gathered}
$

ここで, AddPositionalEncoding($\cdot$) は, 位置エンコー ディングの関数を, Embedding(.) は，トークンを連続ベクトルに変換する関数を表す。次に， $k$ 層目の 隠れ状態べクトルである $S^{(k)}$ は，下層の出力 $\boldsymbol{S}^{(k-1)}$ を入力として式 (4)によって算出される.

$
\boldsymbol{S}^{(k)}=\operatorname{TransformerEncBlock}\left(\boldsymbol{S}^{(k-1)} ; \theta_{\mathrm{enc}}\right)
$

ここで，TransformerEncBlock($\cdot$) は，Transformer エ ンコーダブロックを表しており，複数ヘッドの自己注意層と位置単位の順伝播ネットワーク [1] によっ て構成される。

## 3.2 提案手法を用いたデコーダ

提案手法を用いたデコーダでは， $J$ 層の Transformer デコーダブロックを用いて算出された隠れ状態ベクトル $\boldsymbol{u}_{n-1}^{(J)}$ から，トークン $y_{n}$ の事後確率を式 (5)を用いて算出する.

$
P\left(y_{n} \mid y_{1: n-1}, \boldsymbol{X} ; \boldsymbol{\Theta}\right)=\operatorname{softmax}\left(\boldsymbol{u}_{n-1}^{(J)} ; \theta_{\mathrm{dec}}\right)
$

ここで， softmax($\cdot$) は，活性化関数 softmax を用いた 線形変換を表す。

Transformer デコーダブロックの入力の隠机状態ベ クトルである $\boldsymbol{u}_{n-1}^{(0)}$ は式 (6)によって算出される.

$
\begin{gathered}
\boldsymbol{u}_{n-1}^{(0)}=\operatorname{AddPositionalEncoding}\left(\boldsymbol{y}_{n-1}\right) \\
\boldsymbol{y}_{n-1}=\operatorname{Embedding}\left(y_{n-1} ; \theta_{\mathrm{dec}}\right)
\end{gathered}
$
$j$ 番目の隠れ状態べクトルである $\boldsymbol{u}_{n-1}^{(j)}$ は，入力系列の情報を持つ隠扎状態ベクトル $\boldsymbol{c}_{n-1}^{(j)}$ と，外部言語モデルの情報を持つ隠れ状態ベクトル $\boldsymbol{b}_{n-1}^{(j)}$ から算出される. まず, $\boldsymbol{c}_{n-1}^{(j)}$ は, 下層の出力 $\boldsymbol{u}_{1}^{(j-1)}, \cdots, \boldsymbol{u}_{n-1}^{(j-1)}$ と, エンコーダの出力 $\boldsymbol{S}^{(k)}$ を入力と して以下のように算出される.

$
\begin{gathered}
\overline{\boldsymbol{v}}_{n-1}^{(j)}=\operatorname{SourceTarget}\left(\boldsymbol{u}_{1: n-1}^{(j-1)}, \boldsymbol{u}_{n-1}^{(j-1)} ; \theta_{\mathrm{dec}}\right) \\
\boldsymbol{v}_{n-1}^{(j)}=\operatorname{LayerNorm}\left(\boldsymbol{u}_{n-1}^{(j-1)}+\overline{\boldsymbol{v}}_{n-1}^{(j)}\right) \\
\overline{\boldsymbol{c}}_{n-1}^{(j)}=\operatorname{SourceTarget}\left(\boldsymbol{S}^{(K)}, \boldsymbol{v}_{n-1}^{(j)} ; \theta_{\mathrm{dec}}\right) \\
\boldsymbol{c}_{n-1}^{(j)}=\text { LayerNorm }\left(\boldsymbol{u}_{n-1}^{(j)}+\overline{\boldsymbol{c}}_{n-1}^{(j)}\right)
\end{gathered}
$

ここで, SourceTarget $(\cdot)$ は, 複数ヘッドのソースター ゲット注意層を，LayerNorm($\cdot$)は, layer normalization を表す. 次に， $\boldsymbol{b}_{n-1}^{(j)}$ は，隠れ状態ベクトル $\boldsymbol{v}_{n-1}^{(j)}$ と，外部言語モデルの出力を入力として以下のように算出される.

$
\begin{gathered}
\boldsymbol{l}_{n-1}^{\mathrm{LM}}=\text { LanguageModel }\left(y_{1: n-1} ; \theta_{\mathrm{dec}}\right) \\
\boldsymbol{h}_{n-1}^{\mathrm{LM}}=\operatorname{linear}\left(\boldsymbol{l}_{n-1}^{\mathrm{LM}} ; \theta_{\mathrm{dec}}\right) \\
\overline{\boldsymbol{b}}_{n-1}^{(j)}=\operatorname{SourceTarget}\left(\boldsymbol{h}_{1: n-1}^{\mathrm{LM}}, \boldsymbol{v}_{n-1}^{(j)} ; \theta_{\mathrm{dec}}\right) \\
\boldsymbol{b}_{n-1}^{(j)}=\operatorname{LayerNorm}\left(\boldsymbol{v}_{n-1}^{(j)}+\overline{\boldsymbol{b}}_{n-1}^{(j)}\right)
\end{gathered}
$

ここで，LanguageModel($\cdot$) は，外部言語モデルを表 す. さらに，隠れ状態べクトル $\boldsymbol{c}_{n-1}^{(j)}$ と $\boldsymbol{b}_{n-1}^{(j)}$ をゲー ティング機構 [16] を用いて式 (16) によって連結さ せる.

$
\begin{gathered}
\boldsymbol{q}_{n-1}^{(j)}=\left[\boldsymbol{c}_{n-1}^{(j)}{ }^{\mathrm{T}}, \boldsymbol{g}_{n-1}^{(j)} \odot \boldsymbol{b}_{n-1}^{(j)}{ }^{\mathrm{T}}\right]^{\mathrm{T}} \\
\boldsymbol{g}_{n-1}^{(j)}=\operatorname{sigmoid}\left(\left[\boldsymbol{c}_{n-1}^{(j)}, \boldsymbol{b}_{n-1}^{(j)}{ }^{\mathrm{T}}\right]^{\mathrm{T}} ; \theta_{\mathrm{dec}}\right)
\end{gathered}
$

ここで， sigomid($\cdot$)は，活性化関数 sigmoid を用いた 線形変換を表す. 最終的に， $\boldsymbol{u}_{n-1}^{(j)}$ は $\boldsymbol{q}_{n-1}^{(j)}$ を入力と して以下のように算出される.

$
\begin{aligned}
& \overline{\boldsymbol{u}}_{n-1}^{(j)}=\text { FeedForward }\left(\boldsymbol{q}_{n-1}^{(j)} ; \theta_{\mathrm{dec}}\right) \\
& \boldsymbol{u}_{n-1}^{(j)}=\text { LayerNorm }\left(\boldsymbol{q}_{n-1}^{(j)}+\overline{\boldsymbol{u}}_{n-1}^{(j)}\right)
\end{aligned}
$

ここで，FeedForward($\cdot$) は，位置単位の順伝播ネッ トワークを表す.

## 3.3 学習

Transformer のモデルパラメータは, 学習データ $\mathscr{D}=\left.\{\left(\boldsymbol{X}^{1}, \boldsymbol{Y}^{1}\right), \cdots,\left(\boldsymbol{X}^{|D|}, \boldsymbol{Y}^{|D|}\right)\right.\}$ を用い, 以下の損失関数で最適化される.

$
\mathscr{L}=-\frac{1}{|\mathscr{D}|} \sum_{d=1}^{|\mathscr{D}|} \log P\left(\boldsymbol{Y}^{d} \mid \boldsymbol{X}^{d} ; \boldsymbol{\Theta}\right)
$

ここで, 外部言語モデルのパラメータ $\theta_{\operatorname{lm}}$ は, freezing したものを使用する.

## 4 評価実験

評価実験では，話し言葉・書き言葉変換と方言変換の 2 種類のテキストスタイル変換タスクを用い た. 話し言葉・書き言葉変換は，音声認識結果であ る話し言葉テキストを，フィラーや言い淀みなどを 削除した書き言葉テキストに変換するタスクであ る [17]. 方言変換は，日本各地の方言で話されてい るテキストを標準語のテキストへ変換するタスクで ある.

## 4.1 データ

話し言葉・書き言葉変換： 話し言葉・書き言葉変換では, 日本語話し言葉コーパス (CSJ）[18] と 日本語文章のための話し言葉・書き言葉変換コーパ ス（CJSW） [17]を使用した。ここで，CSJを 46,847 文の学習セット, 13,510 文の開発セット, 3,949 文 のテストセットに分割した。また，CJSWを 36,749 文の学習セット，2,627 文の開発セット，6,415 文の テストセットに分割した. すべてのデータは, 音声認識の書き起こしである話し言葉テキストと, クラ ウドソーシングによって作成された書き言葉テキス トのパラレルデータから成る。

方言変換： 東北弁，大阪弁，九州弁で話された テキストを標準語のテキストに変換したパラレル データをクラウドソーシングによって作成した。そ れらのデータを，15,506 文の学習セット，3,924 文 の開発セット，2,160 文のテストセットに分割した。 これらのデータは， 3 種類の方言を混合したもので あり，テストセットは，東北弁が 700 文，大阪弁が 862 文，九州弁が 598 文で構成した。

テキストのみのデータ： 様々なトピックのウェ ブページから我々が実装したクローラで収集した 100 万文の書き言葉テキストを用いた.

## 4.2 実験条件

テキストスタイル変換モデルには Transformer を 採用し, shallow fusion [10] と cold fusion [12], 提案手法を用いて外部言語モデルの統合を行った。ここ で，外部言語モデルの統合を用いない Transformer をべースラインとして用いた。また，外部言語モ デルには任意の言語モデルを用いることができ るが，本論文では Open AI GPT [19]を採用した.

Transformer のエンコーダには 256 ユニットを持つ 4 層の Transformer エンコーダブロックを，デコーダ には 256 ユニットを持つ 2 層の Transformer デコー ダブロックを採用した。また，GPTには256ユニッ トを持つ 4 層の Transformer ブロックを採用した。 このとき，すべての Transformer ブロックにおける 複数ヘッドの注意機構はヘッド数を 8 に設定した.出力層のユニットサイズは, 外部言語モデルの学習 データに含まれる文字数である 5,640 に設定した。 shallow fusion の $\gamma$ は 0.1 に設定した。学習には adam を用い，学習率の warmup を 100,000 に設定した。ま た, ミニバッチサイズは 64 に設定し, 各発話は 200 で truncate した. さらに，トークンの分割には文字区切りを採用した。

## 4.3 実験結果

表 1 に話し言葉・書き言葉変換の結果を, 表 2 に方言変換の結果を示す.ここで，自動評価指標には， 3-gram の BLEU [20] と ROUGE-L [21], METEOR [22] を採用した. 表 1,2 より, 2 つのスタイル変換タ スクにおいて提案手法が最も高い性能を示した。ま た，各手法におけるテキストスタイル変換の例を図 3 に示す. まず，CSJ の変換結果に着目すると，提案手法では"新鮮"という単語を正しく生成できてい るが，他の手法では生成に失敗していることがわか る.ここで, "新鮮"という単語は, Transformer の学習データには含まれていなかったが，外部言語モデ ルの学習データには含まれていた. 次に, 東北弁の 変換結果に着目する. shallow fusion や cold fusion で は, ベースラインの生成文の流暢性を改善すること はできているものの, 文頭の誤変換は修正できてい なかった。一方, 提案手法では, 他手法の"皆"とい う誤変換を"何"と正しく修正できていることが確認 された. 以上より, 提案手法では, Transformerの持 つ多段な構造を明示的に活かすことにより，外部言語モデルの情報をより柔軟に抽出できるようになっ たと考えられる。また, 表 1 と表 2 の結果を比べる と, 方言変換タスクの方が提案手法による効果が大 きいことが確認できる.これは, Transformer の学習 データ量に依存したものだと考えられる. 実際に，学習データ量は, CSJ が最も多く, 次に CSJW, 方言変換データとなっていた。 以上より，外部言語モデ ルの統合は, ニューラル系列変換モデルの学習デー 久量が少ない時ほど, より有効に働くことが示唆さ れた。表 1 話し言葉・書き言葉変換タスクにおける結果

a). ベースライン b). Shallow fusion

c). Cold fusion d). 提案手法

表 2 方言変換タスクにおける結果

a). ベースライン b). Shallow fusion

c). Cold fusion d). 提案手法

## 5 おわりに

本論文では, Transformer の構造を明示的に活用し た外部言語モデルの統合方法について提案した. 従来のニューラル系列変換モデルに対する外部言語 モデルの統合方法は, 最終層の直前に言語モデルの 情報を統合するのみであった。それに対して，提案手法では外部言語モデルの出力に対して, 多段に注意機構を設けることにより, 系列変換に有効な情報 を柔軟に取捨選択できるようにした。評価実験の結果, 既存手法と比べて提案手法では, 2 種類のテキ ストスタイル変換タスクにおいて従来手法よりも性能が改善され，有効性が示唆された。

図 3 各手法におけるスタイル変換の例

## 参考文献

[1] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Proc. Advances in neural information processing systems (NIPS), pp. 5998-6008, 2017.

[2] Qiang Wang, Bei Li, Tong Xiao, Jingbo Zhu, Changliang Li, Derek F. Wong, and Lidia S. Chao. Learning deep transformer models for machine translation. In Proc. Association for Computational Linguistics(ACL), pp. 18101822, 2019.

[3] Loïc Barrault, Ondřej Bojar, Marta R. Costa-jussà, Christian Federmann, Mark Fishel, Yvette Graham, Barry Haddow, Matthias Huck, Philipp Koehn, Shervin Malmasi, Christof Monz, Mathias Müller, Santanu Pal, Matt Post, and Marcos Zampieri. Findings of the 2019 conference on machine translation (WMT19). In Proc. Conference on Machine Translation (WMT), pp. 1-61, 2019.

[4] Jie Li, Xiaorui Wang, Yan Li, et al. The speechtransformer for large-scale Mandarin Chinese speech recognition. In Proc. International Conference on Acoustics, Speech and Signal Processing (ICASSP), pp. 7095-7099, 2019.

[5] Jun Yu, Jing Li, Zhou Yu, and Qingming Huang. Multimodal transformer with multi-view visual representation for image captioning. IEEE Transactions on Circuits and Systems for Video Technology, pp. 1-1, 2019.

[6] Guang Li, Linchao Zhu, Ping Liu, and Yi Yang. Entangled transformer for image captioning. In Proc. International Conference on Computer Vision (ICCV), pp. 8928-8937, 2019.

[7] Linhao Dong, Shuang Xu, and Bo Xu. Speech-transformer: a no-recurrence sequence-to-sequence model for speech recognition. In Proc. International Conference on Acoustics, Speech and Signal Processing (ICASSP), pp. 58845888, 2018.

[8] Shigeki Karita, Nanxin Chen, Tomoki Hayashi, Takaaki Hori, Hirofumi Inaguma, Ziyan Jiang, Masao Someki, Nelson Enrique Yalta Soplin, Ryuichi Yamamoto, Xiaofei Wang, et al. A comparative study on transformer vs RNN in speech applications. In Proc. Automatic Speech Recognition and Understanding Workshop (ASRU), pp. 449-456, 2019.

[9] Julian Salazar, Katrin Kirchhoff, and Zhiheng Huang. Self-attention networks for connectionist temporal classification in speech recognition. In Proc. International Conference on Acoustics, Speech and Signal Processing (ICASSP), pp. 7115-7119, 2019.

[10] Anjuli Kannan, Yonghui Wu, Patrick Nguyen, Tara N Sainath, Zhijeng Chen, and Rohit Prabhavalkar. An analysis of incorporating an external language model into a sequence-to-sequence model. In Proc. International Conference on Acoustics, Speech and Signal Processing (ICASSP), pp. 5824-5828, 2018.

[11] Caglar Gulcehre, Orhan Firat, Kelvin Xu, Kyunghyun Cho, Loic Barrault, Huei-Chi Lin, Fethi Bougares, Holger Schwenk, and Yoshua Bengio. On using monolingual corpora in neural machine translation. arXiv preprint
arXiv:1503.03535, 2015.

[12] Anuroop Sriram, Heewoo Jun, Sanjeev Satheesh, and Adam Coates. Cold fusion: Training seq2seq models together with language models. In Proc. International Speech Communication Association (INTERSPEECH), pp. 387-391, 2018.

[13] Sainbayar Sukhbaatar, Jason Weston, Rob Fergus, et al. End-to-end memory networks. In Proc. Advances in neural information processing systems (NIPS), pp. 2440-2448, 2015.

[14] Jan Chorowski and Navdeep Jaitly. Towards better decoding and language model integration in sequence to sequence models. In Proc. International Speech Communication Association (INTERSPEECH), pp. 523-527, 2017.

[15] Ilya Sutskever, Oriol Vinyals, and Quoc V Le. Sequence to sequence learning with neural networks. In Proc. Advances in neural information processing systems(NIPS), pp. 31043112, 2014.

[16] Zhilin Yang, Bhuwan Dhingra, Ye Yuan, Junjie Hu, William W Cohen, and Ruslan Salakhutdinov. Words or characters? fine-grained gating for reading comprehension. arXiv preprint arXiv:1611.01724, 2016.

[17] Mana Ihori, Akihiko Takashima, and Ryo Masumura. Parallel corpus for Japanese spoken-to-written style conversion. In Proc. Language Resources and Evaluation Conference (LREC), pp. 6346-6353, 2020.

[18] Kikuo Maekawa, Hanae Koiso, Sadaoki Furui, and Hitoshi Isahara. Spontaneous speech corpus of Japanese. In Proc. International Conference on Language Resources and Evaluation (LREC), pp. 947-952, 2000.

[19] Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. Language models are unsupervised multitask learners. OpenAI blog, p. 9, 2019.

[20] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proc. Annual Meeting on Association for Computational Linguistics (ACL), pp. 311-318, 2002.

[21] Chin-Yew Lin and Franz Josef Och. Automatic evaluation of machine translation quality using longest common subsequence and skip-bigram statistics. In Proc. Annual Meeting on Association for Computational Linguistics (ACL), pp. 605-612, 2004.

[22] Satanjeev Banerjee and Alon Lavie. METEOR: An automatic metric for MT evaluation with improved correlation with human judgments. In Proc. the ACL Workshop on Intrinsic and Extrinsic Evaluation Measures for Machine Translation and/or Summarization, pp. 65-72, 2005.
 庵 愛，増村 亮，牧島 直輝，田中 智大，高島 瑛彦，折橋 翔太 日本電信電話株式会社, NTTメディアインテリジェンス研究所 mana.ihori.kx@hco.ntt.co.jp  