# 近傍の事例を用いた非自己回帰生成

丹羽彩奈 高瀬翔 岡崎直観
東京工業大学 情報理工学院
\{ayana.niwa [at] nlp., sho.takase [at] nlp., okazaki [at]\} c.titech.ac.jp

## 概要

非自己回帰モデルは，自己回帰モデルよりも少な い計算量で文を生成できるが，生成文の品質が劣る ため，生成を反復する等の工夫が要る。本稿では，編集操作に基づく非自己回帰モデルの初期状態に入力文の近傍の事例を活用し，反復回数を抑えつつ生成品質を改善する手法を提案する。また，初期事例 の選び方で性能が変化すること, 理想的な事例を選択できれば，非自己回帰モデル単体でも自己回帰モ デルの性能を上回る可能性があることを報告する。

## 1 はじめに

非自己回帰モデル [1] は，近年活発に研究が進め られているテキスト生成の枠組みのひとつである。自己回帰モデル [2] では，デコーダの入力層から出力層への順伝播の計算を生成されるトークンの数だ け繰り返す必要があるが，非自己回帰モデルは複数 のトークンを同時に予測するため，順伝播の計算が 1 回で済み, 生成が速い。一方で，生成されるトー クン間の依存関係を十分に捉えられず，自己回帰モ デルに比べて生成文の品質が劣る傾向にある.

これに対し, 非自己回帰モデルの生成を複数回繰 り返すことで生成文の質を向上させる手法が提案さ れているが，生成速度の優位性を維持したまま自己回帰モデルと同等の生成品質に引き上げることは達成できていない $[3,4]$. また品質向上のために自己回帰モデルを利用した知識蒸留 [5] がほぼ必須である.

本研究では，非自己回帰モデルによる生成文の品質をより少ない回数の生成で向上させるため，近傍 の事例を初期状態に用いる手法を提案する. 近傍 の事例は, 品詞タグ付け [6] や, 用例ベース機械翻訳 $[7,8]$ など，幅広いタスクで活用されてきた. 近年では，特にニューラル機械翻訳などのタスクで自己回帰モデルにおける近傍の事例の有効性が報告さ れている $[9,10,11]$. しかし, 非自己回帰モデルに おける近傍の事例の有効性は検証されていない。提案手法では，Levenshtein Transformer [12]をべー スに，検索された近傍の事例に対してトークンの 挿入・削除を行い，文を生成する．例えば，"I have an apple.” という英文を “Ich habe einen Apfel.” という 独文に翻訳する時, “I have a banana.”—“Ich habe eine Banane.”という英独の翻訳対を近傍の事例として見 つけ，その独文を初期状態として 'eine', 'Banane'と いう単語を削除し， 'einen', 'Apfel’’とい単語を插入することで，正しい独訳を生成できる。これによ り，全てのトークンを無から生成するよりも容易に 文を生成できるため, 品質の向上と生成回数の削減 を期待できる。検索された近傍の事例からターゲッ 卜文への編集操作を効率的に学習するため，本研究 では近傍の事例とターゲット文の違いに着目した学習方策を設計する. 既存研究 $[13,14]$ は近傍の事例 をエンコードする特別な機構やパラメータが必要で あったが，提案手法は学習法策の変更により近傍の 事例を考慮したデコーディングを実現する。

評価実験では，非自己回帰モデルにおいても近傍 の事例は有用であり，既存の非自己回帰モデルと比 べ少ない反復回数で高い生成品質を達成できること が分かった。また，理想的な近傍の事例を選ぶこと ができれば，非自己回帰モデル単体でも自己回帰モ デルの性能を超える可能性があることも報告する.

## 2 提案手法

本研究では，ソース文 $x$ と近傍の事例 $z_{0}$ を用いて ターゲット文 $\boldsymbol{y}^{*}$ を生成する系列変換タスクに取り 組む. 図 1 に示す通り，提案手法は翻訳メモリ（学習事例の全文対）から近傍の事例を検索する（2.2 節). 次に，検索した近傍の事例に対してトークン の削除・挿入を行うことで文を生成する（2.1 節）.

## 2.1 近傍の事例の編集モデル

モデルの概要 提案モデルは，編集に基づく非自己回帰モデル Levenshtein Transformer [12] に着想 を得た系列変換モデルである．デコーダは，不要

図 1 提案手法の概要. 英文 “Procedures for the implementation of humanitarian operations”を独文 “Verfahren für die Durchführung der humanitären Aktionen” に翻訳するとき，近傍の事例 “Zeitplan für die Durchführung der Aktionen (schedule for implementation of measures)”を初期状態として編集を繰り返す.

なトークンの削除，プレースホルダー $[\mathrm{PLH}]$ の挿入, $[\mathrm{PLH}]$ への単語の挿入の機構を持つ. 近傍の事例 $z_{0}$ からターゲット文 $\boldsymbol{y}^{*}$ への編集操作は, 模倣学習で学習する。模倣学習は強化学習の一種で，エキ スパートの一連の行動を模倣し，同様の行動がで きるように学習する. モデルはステップ $k$ で前ス テップで編集済みの系列 $\boldsymbol{y}^{k-1}$ を受け取り, 次の系列 $\boldsymbol{y}^{k}=\mathscr{E}\left(\boldsymbol{y}^{k-1}, \boldsymbol{a}^{k}\right)$ を生成するための行動（編集操作） $\boldsymbol{a}^{k} \in \mathscr{A}$ を選択する.ここで， \& は編集操作と系列を 受け取り，編集済みの系列を返す環境である。この 行動を選択するための方策 $\pi$ は, 入力系列 $\boldsymbol{y}_{0: n}^{k-1}$ に 対するデコーダの出力 $\left(\boldsymbol{h}_{0}, \boldsymbol{h}_{1}, \ldots, \boldsymbol{h}_{n}\right)$ から行動空間 Aへの写像として定義される. 方策 $\pi$ は線形分類器 で近似するのが一般的であり，本モデルにおける方策 $\pi$ は削除すべきトークン位置の予測器 $\pi^{\mathrm{del}}$, [PLH] を挿入すべき位置と数の予測器 $\pi^{\mathrm{ph}}$, そして [PLH] に挿入すべきトークンの分類器 $\pi^{\mathrm{tok}}$ からなる.

学習時 方策分類器の学習では, 系列 $\boldsymbol{y}$ からエキ スパートとなる文 $e$ を生成するための正しい行動を 示すオラクル方策 $\pi^{*}$ を設計する．モデルは，その 系列 $\boldsymbol{y}$ とエキスパート $\boldsymbol{e}$ の編集距離 $D$ が最も小さ くなるように編集操作を選択する。 なお，本模倣学習における報酬関数はこの編集距離 Dの負の値を とったものである.

$
\boldsymbol{a}^{*}=\underset{\boldsymbol{a}}{\arg \min } \mathscr{D}(\mathscr{E}(\boldsymbol{y}, \boldsymbol{a}), \boldsymbol{e})
$

そして, 入力事例に対する最適な編集操作 $\boldsymbol{a}^{*}$ の確率 が最大となるようにモデルの方策 $\pi_{\theta}=\pi^{\mathrm{del}} \cdot \pi^{\mathrm{phh}} \cdot \pi^{\mathrm{tok}}$ を更新する. 本研究では, 近傍の事例に対する編集操作を効率的に学習するため, 各編集操作における オラクル方策 $\pi^{*}$ を次のように設計した.

1. 削除操作: 近傍の事例に対する編集操作におい て重要なのは, 近傍の事例内に含まれる不要な単語 を削除することである．そこで，近傍の事例 $z_{0}$ を 削除操作の対象 $\boldsymbol{y}_{\mathrm{del}}$ とし, ターゲット文 $\boldsymbol{y}^{*}$ に存在 しない単語を削除する学習を行う。

$
\begin{gathered}
\boldsymbol{y}_{\mathrm{del}}=z_{0} \\
\pi^{*}\left(\boldsymbol{y}_{\mathrm{del}}\right)=C\left(\boldsymbol{y}^{*}, z_{0}\right)
\end{gathered}
$

ここで, $C\left(\boldsymbol{y}^{*}, z_{0}\right)$ は系列 $\boldsymbol{y}^{*}$ と $z_{0}$ の共通単語列を返 す関数である。

2. 挿入操作: ターゲット文をエキスパートとし, トークンが削除された文に必要なトークンを挿入す る学習を行う. 挿入操作の対象となる系列 $\boldsymbol{y}_{\text {ins }}$ には モデルが系列 $\boldsymbol{y}$ に削除操作 $\tilde{d}$ を行った後の不完全な 事例 $\mathscr{E}\left(z_{0}, \tilde{d}\right)$ とターゲット文 $\boldsymbol{y}^{*}$ からランダムに単語を削除した事例 $\mathscr{E}\left(\boldsymbol{y}^{*}, \tilde{d}\right)$ のいずれかからランダム に選択し，挿入操作を学習する。

$
\boldsymbol{y}_{\text {ins }}=\left.\{\begin{array}{cc}
\mathscr{E}\left(\boldsymbol{y}^{*}, \tilde{d}\right), \tilde{d} \sim \pi^{\mathrm{RND}} & (\text { if } u<\alpha) \\
\mathscr{E}\left(z_{0}, \tilde{d}\right), \tilde{d} \sim \pi_{\theta} & \text { (otherwise) }
\end{array}\right.
$

ここで， $\pi^{\mathrm{RND}}$ はランダムに単語を削除する方策， $\pi_{\theta}$ は学習中のモデルの方策, $\alpha \in[0,1]$ はハイパー パラメータ， $u$ は $[0,1]$ から一様分布に従ってサン プリングした值である. 挿入操作は, $[\mathrm{PLH}]$ が必要 な位置とその数を予測した後, $[\mathrm{PLH}]$ を埋めるトー クンを予測するという二つのサブタスクからなる。
推論時 事前に検索した近傍の事例 $z_{0}$ を最初の デコーダへの入力として，最も高確率な編集操作を 選択・適用することを繰り返すことで文を生成す る. このとき, 反復回数が上限に達するか, 同じ編集操作が予測された場合に編集を終了させる.

## 2.2 近傍の事例の検索

提案手法では，学習データ内のすべての文対を含 む翻訳メモリから生成したい文に最も類似した事例 を検索し，学習時・推論時の編集対象とする。既存 の近傍の事例の検索方法は, 語彙マッチング $[9,11]$ とべクトル $[10,14]$ の二種類に大別される [9].

語彙マッチング いくつかの方法が考えられる が，今回は大きなデータにもスケールするように，近傍の事例を用いた既存研究 [15] と同様に，単語の 出現頻度をべクトル化する．具体的には，TFIDF ベ クトル tfidf(.) のコサイン類似度を用いて事例 $s_{i}, s_{j}$ の近さスコア $S_{\text {TFIDF }}$ を定義する。

$
S_{\mathrm{TFIDF}}\left(s_{i}, s_{j}\right)=\frac{\operatorname{tfidf}\left(s_{i}\right) \cdot \operatorname{tfidf}\left(s_{j}\right)}{\left.\|\operatorname{tfidf}\left(s_{i}\right)\right.\|\left.\|\operatorname{tidf}\left(s_{j}\right)\right.\|}
$

また，より大域的な系列の類似度を考慮するため， TFIDF ベクトルの類似度が上位 $n$ 件の事例を最長共通部分文字列（LCS）の長さでリランキングする設定でも実験を行う (TFIDF+LCS).

文ベクトル エンコーダから計算される文べクト ルのコサイン類似度 $S_{\text {SentVec }}$ を用いる.

$
S_{\text {SentVec }}\left(s_{i}, s_{j}\right)=\frac{\boldsymbol{h}_{\boldsymbol{i}} \cdot \boldsymbol{h}_{\boldsymbol{j}}}{\left.\|\boldsymbol{h}_{\boldsymbol{i}}\right.\|\left.\|\boldsymbol{h}_{\boldsymbol{j}}\right.\|}
$

ここで， $\boldsymbol{h}_{i}, \boldsymbol{h}_{j}$ はそれぞれ，文 $s_{i}, s_{j}$ をエンコードし て得られた文べクトルである。

## 3 実験

機械翻訳タスクを用いて，非自己回帰生成モデル における近傍の事例の効果を調べる。

## 3.1 実験設定

データセット 本研究では法文書コーパスであ る JRC-Acquis ${ }^{1)}$ を利用する。本実験では，重複する 対訳対の事例を除外した後, $\mathrm{Gu}$ ら [11] と同様の前処理を行なった. 各言語対の事例数を表 1 に示す. トークナイザには Moses Tokenizer 2)を用いた。

モデル 自己回帰モデルの（AR）ベースライン として Transformer [16] の base 設定を用いる。また，


編集操作に基づく非自己回帰モデル（NAR）のベー スラインとして Levenshtein Transformer (Levenshtein Trans）[12]を用いる. 提案手法は NeighborEdit と表記する.モデルは fairseq [17] ${ }^{3}$ をべースに実装し た. 学習は全て 1 ステップあたりのバッチサイズを 32,768，ステップ数は 40,000 回とした.

近傍の事例の検索法 2.2 節で説明した TFIDF, SentVec で翻訳メモリを検索し，入力に最も近い事例を選択する. TFIDF+LCS では，TFIDF で検索さ れた上位 10 件を LCS の長さでリランキングした.比較のため，訓練データからランダムに選んだ場合 も実験した. 文べクトルのエンコーダには多言語 コーパスで事前学習済みの SBERT モデル ${ }^{4}$ [18]を，近傍検索には faiss ${ }^{5}$ を用いた。

評価 生成の品質評価では，SacreBLEU [19] を用 い，大文字小文字を区別する BLEU で比較する．ま た，一事例あたりの推論に要した平均反復回数と平均所要時間を測定する. 後者は, 先行研究 [20] に従 い，1 個の GPU を用いてバッチサイズ 1 で文を生成 し，一事例を生成し終えるまでの所要時間の平均値 を求めた.なお，提案手法の平均所要時間には近傍 の事例の検索にかかる時間も含めた。

## 3.2 実験結果

表 2 に BLEU, 平均反復回数, および所要時間 [ms] を示した. また，提案手法とべースラインの出力例を A. 1 に示した. 近傍の事例を初期状態に用い る NeighborEdit は，非自己回帰モデルのベースライ ン（Levenshtein Trans）の性能を 2.2 から 6.3 ポイン 卜ほど上回った. 平均反復回数もべースラインから 最大で $25 \%$ 以上減少した. この結果は, 近傍の事例 を非自己回帰モデルに組み込むことで，品質を向上 させながら反復回数を削減できることを示してい る. さらに，推論にかかる所要時間もほぼ全ての設定でベースラインよりも短くなった. この所要時間 に関しては，付録 A. 2 で補足した。

表 2 JRC-Acquis データセットでの BLEU スコアと平均反復回数と平均所要時間（太字は非自己回帰モデルでの最良値）

表 3 SRC と ORACLE の BLEUスコアの比較（英独，*は自己回帰モデルの BLEU スコア 53.22 を超えた数值を指す)近傍の学習時の推論時のクエリ

続いて，提案手法の初期系列 $z_{0}$ が生成の質に与え る影響を詳しく調べるため，学習時と推論時の検索 クエリにそれぞれソース文（SRC) とターゲット文 （ORACLE）を用いた場合を比較する．後者は，理想的な近傍の事例を選択した場合の上限性能を表す.表 3 に英独での結果を示した通り，特に語彙マッチ ングを用いた検索では，推論時に ORACLE を用いる ことで BLEU スコアが向上する（+1.69 から+4.56 ポ イント)。一方で，学習時に ORACLE を組み込んで も，BLEU スコアはさほど変化しないため，提案手法の性能向上のためには, 編集操作の訓練データを 理想に近づけるよりも，初期状態を改善することが 重要である. つまり，適切な近傍の事例を選択でき れば，提案手法は自己回帰モデル（AR）の性能を超 える可能性がある. これは, 英仏・英西でも同様で あった (付録 A. 3 参照). しかし, 現実の問題設定で は ORACLE のターゲット文を用いることができない. そこで, SRCで検索した事例のみで ORACLE の性能 に迫ることができるかを調べるため，用いる近傍の 事例を 5 件に増やし，それぞれ並列に文を生成し， その中で最も BLEU の値が高い事例を出力文と見な した場合の結果を表 4 に示した. その結果，すべて の検索法で大幅に性能が向上し $(+4.60$ から +5.45 ポ イント), ORACLE（上位 1 件）と同等以上の性能を 達成できた。つまり，SRCをクエリとした場合でも，表 4 近傍の事例数を変えた場合の BLEU スコア（英独）

リランキングによって自己回帰モデルの性能を英独翻訳で 2.88 ポイント以上上回る可能性がある.

しかし，提案手法には改善の余地がある。例え ば，非自己回帰モデルによく見られる問題である単語の反復 [1] がベースラインよりも頻繁に見られる. これは，提案手法の方策がモデルの出力に対する削除操作を対象としておらず，デコードの途中で余計 に生成された単語を反復の過程で削除しにくいため である。また，近傍の事例から出力文を生成するま でに, 複数回の反復を要する事例でも生成文の品質 が低下する傾向が見られる。単語の重複を削除した り，複数の反復にわたって編集を行う場合の性能を 改善するため，モデルの出力に対する編集操作を組 み込んだ方策の設計を今後の課題としたい。

## 4 おわりに

本稿では，編集操作に基づく非自己回帰モデルに 近傍の事例を組み込む手法を提案し, 既存手法より も少ない反復回数でも生成文の質を大幅に改善でき ることを報告した．また，近傍の事例の選び方で性能が大きく変化すること，近傍の事例を適切に選択 できれば，非自己回帰モデル単体でも自己回帰モデ ルの性能を超える可能性があることを示した. 今後 の展望としては，より良い文単位での近傍の事例の 検索法の検討やモデルの出力に対して繰り返し編集 を行うための方策の設計，複数の近傍の事例を同時 に考慮するモデルの開発を行いたい。

## 謝辞

本研究は JSPS 科研費 $21 \mathrm{~J} 13602$ の助成を受けたも のです.

## 参考文献

[1] Jiatao Gu, James Bradbury, Caiming Xiong, Victor O.K. $\mathrm{Li}$, and Richard Socher. Non-autoregressive neural machine translation. In International Conference on Learning Representations, 2018.

[2] Ilya Sutskever, Oriol Vinyals, and Quoc V Le. Sequence to sequence learning with neural networks. In Advances in Neural Information Processing Systems, Vol. 27, 2014.

[3] Jason Lee, Raphael Shu, and Kyunghyun Cho. Iterative refinement in the continuous space for non-autoregressive neural machine translation. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 1006-1015, Online, November 2020. Association for Computational Linguistics.

[4] Yinhan Liu Luke Zettlemoyer Marjan Ghazvininejad, Omer Levy. Mask-predict: Parallel decoding of conditional masked language models. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing, 2019.

[5] Yoon Kim and Alexander M. Rush. Sequence-level knowledge distillation. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 1317-1327, Austin, Texas, November 2016. Association for Computational Linguistics.

[6] Walter Daelemans, Jakub Zavrel, Peter Berck, and Steven Gillis. MBT: A memory-based part of speech taggergenerator. In Fourth Workshop on Very Large Corpora, Herstmonceux Castle, Sussex, UK, June 1996. Association for Computational Linguistics.

[7] Makoto Nagao. A framework of a mechanical translation between japanese and english by analogy principle. In Proceedings of the International NATO Symposium on Artificial and Human Intelligence, pp. 173-180, 1984.

[8] Eiichiro Sumita and Hitoshi Iida. Experiments and prospects of example-based machine translation. In 29th Annual Meeting of the Association for Computational Linguistics, pp. 185-192, Berkeley, California, USA, June 1991. Association for Computational Linguistics.

[9] Jitao Xu, Josep Crego, and Jean Senellart. Boosting neural machine translation with similar translations. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 1580-1590, Online, July 2020. Association for Computational Linguistics.

[10] Urvashi Khandelwal, Angela Fan, Dan Jurafsky, Luke Zettlemoyer, and Mike Lewis. Nearest neighbor machine translation. In International Conference on Learning Representations, 2021.

[11] Jiatao Gu, Yong Wang, Kyunghyun Cho, and Victor OK Li. Search engine guided neural machine translation. In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 32, 2018.

[12] Jiatao Gu, Changhan Wang, and Junbo Zhao. Levenshtein transformer. In H. Wallach, H. Larochelle, A. Beygelzimer, F. d'Alché-Buc, E. Fox, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 32. Curran Associates, Inc., 2019.

[13] Ziqiang Cao, Wenjie Li, Sujian Li, and Furu Wei. Retrieve, rerank and rewrite: Soft template based neural summarization. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 152-161, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[14] Sebastian Borgeaud, Arthur Mensch, Jordan Hoffmann, Trevor Cai, Eliza Rutherford, Katie Millican, George van den Driessche, Jean-Baptiste Lespiau, Bogdan Damoc, Aidan Clark, Diego de Las Casas, Aurelia Guy, Jacob Menick, Roman Ring, Tom Hennigan, Saffron Huang, Loren Maggiore, Chris Jones, Albin Cassirer, Andy Brock, Michela Paganini, Geoffrey Irving, Oriol Vinyals, Simon Osindero, Karen Simonyan, Jack W. Rae, Erich Elsen, and Laurent Sifre. Improving language models by retrieving from trillions of tokens, 2021.

[15] Hao Peng, Ankur Parikh, Manaal Faruqui, Bhuwan Dhingra, and Dipanjan Das. Text generation with exemplarbased adaptive decoding. In Proceedings of the $\mathbf{2 0 1 9}$ Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 2555-2565, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[16] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in neural information processing systems, $\mathrm{pp}$. 5998-6008, 2017.

[17] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A fast, extensible toolkit for sequence modeling. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (Demonstrations), pp. 48-53, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[18] Nils Reimers and Iryna Gurevych. Sentence-BERT: Sentence embeddings using Siamese BERT-networks. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3982-3992, Hong Kong, China, November 2019. Association for Computational Linguistics.

[19] Matt Post. A call for clarity in reporting bleu scores. WMT 2018, p. 186, 2018.

[20] Weijia Xu and Marine Carpuat. EDITOR: An edit-based transformer with repositioning for neural machine translation with soft lexical constraints. Transactions of the Association for Computational Linguistics, Vol. 9, pp. 311-328, 2021.

 &  \\

図 2 実際の出力例. (英独，赤文字が挿入されたトークンで，青文字が削除されたトークン)

表 5 SRC と ORACLE の BLEU スコアの比較（英仏，* は自己回帰モデルの BLEU スコア 64.21 を超えた数值近傍の学習時の推論時のクエリ

表 6 SRC と ORACLE の BLEU スコアの比較（英西，* は自己回帰モデルの BLEU スコア 61.01 を超えた数値近傍の学習時の推論時のクエリ

## A 付録 (Appendix)

## A. 1 モデルの出力例

ベースライン（Levenshtein Transformer）と提案手法（NeighborEdit）の実際の出力例を図 2 に示した. 提案手法は，近傍の事例から不要な単語を削除した結果をテンプレートのように用いて必要な単語を穴埋めする ことで，より少ない反復回数で正解文を生成することができる.

## A. 2 推論時の所要時間

表 2 で示したように，提案手法は平均反復回数がベースラインと比較して少ないが，一方で推論に要 する所要時間の差は顕著でない。これは，提案手法が近傍の事例の検索時間を含めていることょりも， Levenshtein Transformer が 1 反復目の削除操作をスキップすることが原因として考えられる．なお，提案手法 の近傍の事例一件あたりの平均検索時間は, TFIDF（Top-1 の検索）で 0.11 [ms], TFIDF+LCS（Top-10 の検索）で 0.13 [ms], SentVec（Top-1 の検索）で $0.08[\mathrm{~ms}]$ であった.

## A. 3 Src と OracLe の BLEU スコアの比較（英仏，英西）

英仏，英西のデータセットを用いた検索のクエリ SRC と ORACLE の比較を表 5,6 に示した. これらのデータ セットにおいても，訓練データの質よりも推論時のデコーダの初期値の質を向上させることで性能改善が見 られた.また，推論時の近傍の事例を適切に選択できれば自己回帰生成の性能を超えられる場合がある。
 丹羽彩奈 高瀬翔 岡崎直観 東京工業大学 情報理工学院 \{ayana.niwa [at] nlp., sho.takase [at] nlp., okazaki [at]\} c.titech.ac.jp  