# 構文ラベル予測による同時ニューラル機械翻訳

加納保昌 1 須藤克仁 1,2 中村哲 1,2
1 奈良先端科学技術大学院
2 理化学研究所 革新知能統合研究センター AIP
\{kano. yasumasa.kw4, sudoh, s-nakamura\}@is.naist.jp

## 概要

同時翻訳は、話し手が話し終わる前に翻訳を開始 するタスクであり、いつ翻訳を開始するかが重要で ある。しかし、英語と日本語のように語順が異なる 言語ペアのニューラル機械翻訳では、そのタイミン グ判断は未だ難しい。そこで、構文ラベル予測モデ ルと、そのラベルを利用した簡単な判断ルールを 提案する。これらにより、既存手法では難しかっ た翻訳の構文や出力タイミングの制御もしやすく なった。英日同時通訳の実験で、提案手法は精度と 遅延のトレードオフにおいて、ベースラインを上回った。

## 1 はじめに

表 1 英語 (SVO) から日本語 (SOV) への翻訳

同時翻訳は、話し手が話し終わる前に翻訳を始め るタスクである。文の後半を見ずに翻訳を始めなけ ればいけないので、文全体を見て行う通常の翻訳 (フルセンテンス翻訳) より難しい。同時翻訳では、 いつ翻訳を始めるのかというタイミングを決めるこ とが重要である。そのタイミングの遅延と翻訳精度 にはトレードオフがあり、できるだけ遅延を抑える 必要がある。

よく使われる同時機械翻訳モデルの一つに wait-k

込まれるのを待ったのちに、翻訳を開始する。しか し、このような単純な手法では日英などの、長距離 の単語の並べ替えが必要となる言語対の同時翻訳は 難しい。

表 1 に示されている通り、単純に前から訳すだけ の順送り翻訳は不自然になりがちである。“bought a pen”という部分は、“ペンを買った”というように 訳される方が自然である。ここでは、“bought” の後 の目的語を待つ必要がある。この例文では、“I”が 並べ替えを必要としない最後の単語であり、ここが 自然に翻訳をすることができるセグメントの境で ある。

このような並べ替えの問題を解決するため、部分入力文の次にくる構文ラベルの予測とそれに基づく シンプルなルールによってセグメンテーションを行 い、チャンクベースで翻訳をする手法を提案する。

これによって、既存手法では困難だった翻訳出力 の構文とタイミングの制御をしやすくした。そし て、英日同時翻訳の実験の結果、ベースラインを精度と遅延のトレードオフにおいて上回った。

## 2 関連研究

ニューラル同時機械翻訳においては、wait-kよ りも翻訳タイミングを柔軟に決められるように、遅延をロス関数に組み込む手法が提案されてきた $[2,3,4]$ 。しかし、学習済みモデルを用いて最適な セグメント境界を BERT [5] による予測モデルで見 つけ、チャンクごとに翻訳していく Meaningful Unit (MU)[6] という手法も提案され、これらを上回った。

統計的機械翻訳においては、構文情報を用いる手法として、小田ら [7] が、各セグメントの右辺と左辺の構文要素ラベルを予測することで、不完全な文 を漸進的に構文解析する手法を提案した。彼らは、予測された構成要素とセグメント内の単語を連結 し、その結果を tree2string の機械翻訳に入力した。 そして、翻訳結果のどこに構成要素が現れるかに よって、さらに入力トークンを待つか、翻訳を出力 するかを決めた。本研究はこの手法をニューラル機械翻訳に展開し、よりシンプルにしたものである。

 &  \\

図 1 ICLP から予測されたラベルとルールに基づいて境界が検出されると、NMT（翻訳モデル）は翻訳を開始する。前 の翻訳（図では赤色）は次の翻訳のプレフィックスとして使われる。図では簡単のため EOS は省略されている。

 & You &  &  &  &  &  &  & . \\

表 2 最小セグメント長が 1 の ICLP の結果例。

## 3 提案手法

図 1 は提案手法の全体図である。まず、文のプレ フィックスから次の構文要素ラベルを予測する。そ して、そのラベルを用いたルールによってそこがセ グメント境界だと判断された場合には、そのチャン クを翻訳する。

## 3.1 チャンクベースの同時翻訳

標準的なニューラル機械翻訳は次の式で表さ れる。

$
p_{\text {full }}(Y \mid X)=\prod_{t=1}^{|Y|} P\left(y_{t} \mid X, y_{<t}\right)
$

$X=x_{1}, x_{2}, \ldots, x_{n}$ は $n$ トークンからなる入力文で、 $Y=y_{1}, y_{2}, \ldots, y_{m}$ は $m$ トークンからなる予測された 翻訳文である。

チャンクベースの同時翻訳でも、上記のモデルを 通常の対訳文ペアで学習する。しかし、推論時には 以下の処理を行う。

チャンク系列 $\boldsymbol{X}^{i-1}=X_{1}, X_{2}, \ldots, X_{i-1}$ をチャンク系列 $\widetilde{\boldsymbol{Y}}^{i-1}=\widetilde{Y}_{1}, \widetilde{Y}_{2}, \ldots, \widetilde{Y}_{i-1}$ に翻訳したとする。次に $X_{i}$ から $\widetilde{Y}_{i}$ へ翻訳する際には、過去の全ての $X_{1}^{i}$ を含 めて、頭から翻訳し直すが、 $\widetilde{Y}^{i-1}$ に forced decoding を適用する。プレフィックス $\widetilde{Y}^{i}$ の確率は以下の式 で表され、第一項は (1) 式のフルセンテンスの翻訳
と同様に計算される。

$
\begin{aligned}
& p_{\text {prefix }}\left(\widetilde{\boldsymbol{Y}}^{i} \mid \boldsymbol{X}^{i}\right)= \\
& \quad p_{\text {full }}\left(\widetilde{\boldsymbol{Y}}^{i-1} \mid \boldsymbol{X}^{i}\right) \times p_{\text {chunk }}\left(\widetilde{Y}_{i} \mid \boldsymbol{X}^{i}, \widetilde{\boldsymbol{Y}}^{i-1}\right) .
\end{aligned}
$

第二項は、 $\widetilde{Y}_{i}=y_{1}^{i}, y_{2}^{i}, \ldots, y_{\left|\widetilde{Y}_{i}\right|}^{i}$ として、以下のように 分解される。

$
p_{\text {chunk }}\left(\widetilde{Y}_{i} \mid \boldsymbol{X}^{i}, \widetilde{\boldsymbol{Y}}^{i-1}\right)=\prod_{t=1}^{\left|\widetilde{Y}_{i}\right|} P\left(y_{t}^{i} \mid \boldsymbol{X}^{i}, \widetilde{\boldsymbol{Y}}^{i-1}, y_{<t}^{i}\right) .
$

チャンクベースのデコーディングは、チャンクごと に Encoderをリフレッシュする。チャンクは複数単語で構成されることが多いため、新しい単語が入っ てくるたびに Encoder をリフレッシュする漸進的な Transformer[1] よりも効率的である。

## 3.2 構文ラベル予測

現在の時間ステップにおいて、文のプレフィック スの後に来る構文構成ラベルを予測する。この処理 を ICLP (Incremental Constituent Label Prediction) と呼 ぶ。ここで、次の構文ラベルとは、木の先行順にお いて文のプレフィックスの次に来る構成要素である と定義する。しかし、ある統語要素の次には通常多数の統語要素が出現し得るため、このままでは予測 が難しい。そこで提案手法では、一つ先の単語を見 て、その単語から始まる構文要素のラベルを予測す ることとする。入力系列 $W=\left[w_{1}, w_{2}, \ldots, w_{|W|}\right]$ にお いて、部分単語系列 $w_{i}$ から構文ラベル $c_{i}$ を予測す

る式は以下で表される。

$
c_{i}=\underset{c^{\prime} \in C}{\operatorname{argmax}} p\left(c^{\prime} \mid w_{\leq i}\right),
$

C は構文ラベル集合である。

## 3.3 セグメンテーションルール

表 2 はセグメンテーションの例を示す。我々は一 つの基本ルールと二つの補助ルールを提案する。

・S と VP の直前で区切る。

・前のラベルが $\mathrm{S}$ または VP であれば区切らない。

・チャンクが最小セグメント長より小さければ区切らない。

SVO 型から SOV 型へと翻訳する際には、原言語の 主語と動詞の間では問題なく区切れるが、動詞と目的語の間では並べ替えが発生するため、区切るべき ではない。よって第一のルールとして、VPの前で 区切ることとした。Table 3 のように、“( S ( VP “) )” の形で現れることも多いので、 $\mathrm{S}$ もルールに追加 した。

表 2 の“can save”のように、VP が連続する場合 は、“can”と“save”で分けるのは適切ではないため、 2つ目のルールを設けた。

また、精度と遅延をコントロールするため、三つ 目のルールとして、最小セグメント長を推論時のハ イパーパラメータとして与えた。

## 4 実験

提案手法の遅延と精度のトレードオフ、そして翻訳タイミングの制御を既存手法と比べるため、英日同時翻訳の実験を行った。

## 4.1 データと前処理

英日対訳データとして WMT2020 の約 1790 万文で学習し、IWSLT2017 の約 22.3 万文でファイン チューニングを行った。IWSLT の dev2010、tst2011、 tst2012、 tst2013 からなる 5312 文のペアを開発デー タに使用し、IWSLT の dev2021 の 1442 文でモデル を評価した。

英語は Moses [8] で、日本語は MeCab [9] で単語分割した。BPEでサブワード分割し、語彙サイズは英日共有で 1.6 万とした。ICLP は Penn Treebank 3 を用 いて学習し、その $1 \%$ 開発データとした。そして、 NAIST-NTT TED Talk Treebank で評価した。

## 4.2 モデル設定

全ての翻訳モデルは fairseq [10] の Transformer-base [11]をベースに実装され、IWSLT2021 のベースモデ

はセグメント境界である確率の閾値を、固定長区切 りではセグメント長を、ICLP では最小セグメント 長を変えることによって遅延を制御した。值の範囲 などの詳細は付録に記述する。

ICLP は 2 種類実装し、比較した。一つは 2 層の 単方向 LSTM [14] に全結合層を加えたもので、エン ベディングと隠れ層は 512 次元とし、入力は Moses でトークナイズし、BPE[15] で語彙 16K のサブワー ドに分割した。もう一つは、BERTを用いたもので、 Huggingface transformers[16] $の$ bert-base-uncased を 用いて、それに付随するトークナイザを用いた。こ れらに、文のプレフィックスを入力し、構文ラベル を予測した。

一つ先の単語を見ることで精度の向上が見ら れ、LSTM と BERT の差は小さかった。詳細は付録参照、

## 4.3 評価

simuleval [17] を用い、精度は BLEU [18] で、遅延 の大きさは Average Lagging (AL) [1] で測った。AL は以下の式で表される。

$
A L_{g}(X, Y)=\frac{1}{\tau_{g}(|X|)} \sum_{t=1}^{\tau_{g}(|X|)} g(t)-\frac{t-1}{\gamma} .
$

$g(t)$ は、非減少関数で、 $t$ 番目の目的言語単語を 出力するために読む原言語の単語数を示す。 $\tau_{g}(|X|)$ は原言語文全体を読み終えた時のデコードステップ である。最後の原言語トークンを読み込んだ直後に 予測される $\tau_{g}(|X|)$ 番目のターゲットトークンまで の遅延をカウントする。 $\gamma$ は $|Y| /|X|$ である。

## 4.4 結果

図 2 は遅延パラメータを変化させたときの BLEU と AL の関係を示す。提案手法は、ベースラインの 左上にあり、遅延と精度のトレードオフで上回っ た。VPにS を加えることによって、境界の数が増 え、点が左側に移動し、遅延を抑えた。wait-kのよ うに単純なモデルとその他では大きな差があった。 その一方、固定長区切りのチャンクデコーディン グは単純だが、wait-kよりも精度が提案手法に近

図 2 BLEU と AL の散布図。MU1 と MU2 はそれぞれ境界予測に 1 つまたは 2 つ先の単語を用いた MU。fixed は ワブワード、または単語単位で固定長に区切って翻訳し たモデル。

図 3 Length Ratio と AL の散布図。

かった。

## 5 分析

## 5.1 セグメント長分布

図 3 に機械翻訳と参照訳の長さ比である length ratio と AL の関係を示す。Wait-k は遅延ごとにモデ ルを学習するので不安定であるが、それ以外のモデ ルに関しては、Ratio は AL が小さく遅延が小さいほ ど、大きくなっている。ALが小さいということは、平均セグメント長が短いということであり、その場合には、想定された長さより長いセグメント翻訳が 出力されているということがわかる。

図 4,5 は AL が 7.2 に近い時のテストセットにお ける原言語のセグメント長分布を示す。長さは各セ グメントに含まれるサブワード数である。ICLP に 比べると、MUは、より広い分布を持ち、多くのセ グメントが 2 トークンから構成されている。このよ うな短いセグメントは、周囲のコンテクストが使え

図41つ先の単語を利用した MU のセグメント長分布 $(\mathrm{AL}=7.26, \mathrm{BLEU}=16.53)$

図 5 ICLP のセグメント長分布 $(\mathrm{AL}=7.23, \mathrm{BLEU}=17.22)$

ず、上記のように長めに翻訳されることが原因で、 MU の BLEU の低下につながったと考えられる。

## 5.2 遅延制御

図 4,5 で示されているように、提案手法の方が分布の広がりが狭く、より翻訳タイミングの間隔が安定している。

最小セグメント長というハイパーパラメータに よってどのようなタイミングで翻訳がされるかとい うことが予測しやすくなることに加え、構文ラベル のルールによって、出力がどのような構文になるか もある程度制御できるようになる。本稿で提案した ルールでは、フルセンテンスの翻訳に近づけること を目指した。しかし、それよりも遅延を小さくした い場合でも、NP の前でも区切るというルールを加 えるだけで、表 1 のような順送りだが内容を理解で きる翻訳を出力することもできる。実際の出力例を 付録に記載する。

## 6 おわりに

本稿では、構文ラベル予測モデルとそれに基づく ルールを使った同時翻訳を提案した。翻訳出力の制御もしやすくなり、ベースラインを精度と遅延のト レードオフで上回った。今後は、このようなルール を自動で発見して、他の言語対にも適用することが 期待される。

## 謝辞

本研究の一部は JSPS 科研費 JP21H05054 と JP21H03500 の助成を受けたものである。

## 参考文献

[1] Mingbo Ma, Liang Huang, Hao Xiong, Renjie Zheng, Kaibo Liu, Baigong Zheng, Chuanqiang Zhang, Zhongjun $\mathrm{He}$, Hairong Liu, Xing Li, Hua Wu, and Haifeng Wang. STACL: Simultaneous translation with implicit anticipation and controllable latency using prefix-to-prefix framework. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 30253036, Florence, Italy, July 2019. Association for Computational Linguistics.

[2] Colin Raffel, Minh-Thang Luong, Peter J Liu, Ron J Weiss, and Douglas Eck. Online and lineartime attention by enforcing monotonic alignments. In Proceedings of the 34th International Conference on Machine LearningVolume 70, pp. 2837-2846, 2017.

[3] Naveen Arivazhagan, Colin Cherry, Wolfgang Macherey, Chung-Cheng Chiu, Semih Yavuz, Ruoming Pang, Wei Li, and Colin Raffel. Monotonic infinite lookback attention for simultaneous machine translation. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 1313-1323, Florence, Italy, July 2019. Association for Computational Linguistics.

[4] Xutai Ma, Juan Pino, James Cross, Liezl Puzon, and Jiatao Gu. Monotonic multihead attention. In ICLR 2020, 2020.

[5] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[6] Ruiqing Zhang, Chuanqiang Zhang, Zhongjun He, Hua Wu, and Haifeng Wang. Learning adaptive segmentation policy for simultaneous translation. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 2280-2289, Online, November 2020. Association for Computational Linguistics.

[7] Yusuke Oda, Graham Neubig, Sakriani Sakti, Tomoki Toda, and Satoshi Nakamura. Syntax-based simultaneous translation through prediction of unseen syntactic constituents. In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 198207, Beijing, China, July 2015. Association for Computational Linguistics.

[8] Philipp Koehn, Hieu Hoang, Alexandra Birch, Chris Callison-Burch, Marcello Federico, Nicola Bertoldi, Brooke Cowan, Wade Shen, Christine Moran, Richard Zens, Chris Dyer, Ondřej Bojar, Alexandra Constantin, and Evan Herbst. Moses: Open source toolkit for statistical machine translation. In Proceedings of the 45th Annual Meeting of the Association for Computational Linguistics Companion Volume Proceedings of the Demo and Poster Sessions, pp. 177-180, Prague, Czech Republic, June 2007. Association for Computational Linguistics.

[9] Taku Kudo. Mecab : Yet another part-of-speech and morphological analyzer., 2005 . http://mecab. sourceforge.net/.

[10] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A fast, extensible toolkit for sequence modeling. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (Demonstrations), pp. 48-53, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[11] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszko-reit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and andillia Polosukhin. Attention is all you need. CoRR, p. Vol.abs/1706.03762, 2017.

[12] How to reproduce the result of wmt14 en-de on transformer base model?, 2018. https://github.com/pytorch/ fairseq/issues/346.

[13] An example of english to japaneses simultaneous translation system, 2021. https://github.com/pytorch/ fairseq/blob/master/examples/simultaneous_ translation/docs/enja-waitk.md.

[14] Sepp Hochreiter, J “ urgenSchmidhuber. Long shortterm memory. Neural Computation, 1997.

[15] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1715-1725, Berlin, Germany, August 2016. Association for Computational Linguistics.

[16] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Remi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander Rush. Transformers: State-of-the-art natural language processing. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 38-45, Online, October 2020. Association for Computational Linguistics.

[17] Changhan Wang Jiatao Gu Juan Pino Xutai Ma, Mohammad Javad Dousti. Simuleval: An evaluation toolkit for simultaneous translation. In Proceedings of the EMNLP, 2020.

[18] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

## A 付録

## A. 1 翻訳モデルのハイパーパラメータ

## wait-k

$\mathrm{k}$ の範囲は、 $[2,4,6, \ldots, 30]$

MU

ハイパーパラメータ $\mathrm{p}$ はセグメント境界であ る確率の閾値を表す。p の範囲は、 $\mathrm{p}$ are [0.5, $0.1,0.15, \ldots, 0.95],[0.99,0.991,0.992, \ldots, 0.999]$, and [0.9991, 0.9992,..., 0.9999]。境界予測の際には、1 つ、または 2 つ先のトークンを利用した。

## Fixed-size Segmentation

これは入力系列を固定長で区切ってチャンクデ コーディングを行う。セグメントサイズを表 すハイパーパラメータ $\mathrm{f}$ の範囲は、単語単位で は、 $[2,4,6, \ldots, 30]$ 、サブワード単位では、 $[4,8$, $12, \ldots, 60]$ とした。

ICLP

ハイパーパラメータは、セグメントを構成する 最小単語数 $\mathrm{m}$ で、その範囲は、 $[1,2,3, \ldots, 29]$ 。。

Wait-k は $\mathrm{k}$ トークン待った後は、一つの単語の入力後、必ず一つの単語を出力しなければならないた め、 greedy decodingを行った。それ以外のモデルは、 beam search をビーム幅 4 で行った。

## A. 2 ルールの違いによる実際の出力例

原文 I /like / delicious food.

ラベル / VP/NP/NN / .

翻訳私は/好きです/美味しい食べ物.

表 3 VP+NPで区切った結果

原文 I / like delicious food.

ラベル / VP / NP / NN / .

翻訳私は/美味しい食べ物が好きです。

表 4 VPのみで区切った結果

## A. 3 ICLP モデルの比較

表 51 つ先の単語を用いた BERT ベースの ICLP

表 61 つ先の単語を用いた LSTM ゙ーースの ICLP

表 7 先の単語を用いない BERT ベースの ICLP

図 6 LSTM ベースと BERT ベースの ICLP の英日同時翻訳比較


# 近傍の事例を用いた非自己回帰生成

丹羽彩奈 高瀬翔 岡崎直観
東京工業大学 情報理工学院
\{ayana.niwa [at] nlp., sho.takase [at] nlp., okazaki [at]\} c.titech.ac.jp

## 概要

非自己回帰モデルは，自己回帰モデルよりも少な い計算量で文を生成できるが，生成文の品質が劣る ため，生成を反復する等の工夫が要る。本稿では，編集操作に基づく非自己回帰モデルの初期状態に入力文の近傍の事例を活用し，反復回数を抑えつつ生成品質を改善する手法を提案する。また，初期事例 の選び方で性能が変化すること, 理想的な事例を選択できれば，非自己回帰モデル単体でも自己回帰モ デルの性能を上回る可能性があることを報告する。

## 1 はじめに

非自己回帰モデル [1] は，近年活発に研究が進め られているテキスト生成の枠組みのひとつである。自己回帰モデル [2] では，デコーダの入力層から出力層への順伝播の計算を生成されるトークンの数だ け繰り返す必要があるが，非自己回帰モデルは複数 のトークンを同時に予測するため，順伝播の計算が 1 回で済み, 生成が速い。一方で，生成されるトー クン間の依存関係を十分に捉えられず，自己回帰モ デルに比べて生成文の品質が劣る傾向にある.

これに対し, 非自己回帰モデルの生成を複数回繰 り返すことで生成文の質を向上させる手法が提案さ れているが，生成速度の優位性を維持したまま自己回帰モデルと同等の生成品質に引き上げることは達成できていない $[3,4]$. また品質向上のために自己回帰モデルを利用した知識蒸留 [5] がほぼ必須である.

本研究では，非自己回帰モデルによる生成文の品質をより少ない回数の生成で向上させるため，近傍 の事例を初期状態に用いる手法を提案する. 近傍 の事例は, 品詞タグ付け [6] や, 用例ベース機械翻訳 $[7,8]$ など，幅広いタスクで活用されてきた. 近年では，特にニューラル機械翻訳などのタスクで自己回帰モデルにおける近傍の事例の有効性が報告さ れている $[9,10,11]$. しかし, 非自己回帰モデルに おける近傍の事例の有効性は検証されていない。提案手法では，Levenshtein Transformer [12]をべー スに，検索された近傍の事例に対してトークンの 挿入・削除を行い，文を生成する．例えば，"I have an apple.” という英文を “Ich habe einen Apfel.” という 独文に翻訳する時, “I have a banana.”—“Ich habe eine Banane.”という英独の翻訳対を近傍の事例として見 つけ，その独文を初期状態として 'eine', 'Banane'と いう単語を削除し， 'einen', 'Apfel’’とい単語を插入することで，正しい独訳を生成できる。これによ り，全てのトークンを無から生成するよりも容易に 文を生成できるため, 品質の向上と生成回数の削減 を期待できる。検索された近傍の事例からターゲッ 卜文への編集操作を効率的に学習するため，本研究 では近傍の事例とターゲット文の違いに着目した学習方策を設計する. 既存研究 $[13,14]$ は近傍の事例 をエンコードする特別な機構やパラメータが必要で あったが，提案手法は学習法策の変更により近傍の 事例を考慮したデコーディングを実現する。

評価実験では，非自己回帰モデルにおいても近傍 の事例は有用であり，既存の非自己回帰モデルと比 べ少ない反復回数で高い生成品質を達成できること が分かった。また，理想的な近傍の事例を選ぶこと ができれば，非自己回帰モデル単体でも自己回帰モ デルの性能を超える可能性があることも報告する.

## 2 提案手法

本研究では，ソース文 $x$ と近傍の事例 $z_{0}$ を用いて ターゲット文 $\boldsymbol{y}^{*}$ を生成する系列変換タスクに取り 組む. 図 1 に示す通り，提案手法は翻訳メモリ（学習事例の全文対）から近傍の事例を検索する（2.2 節). 次に，検索した近傍の事例に対してトークン の削除・挿入を行うことで文を生成する（2.1 節）.

## 2.1 近傍の事例の編集モデル

モデルの概要 提案モデルは，編集に基づく非自己回帰モデル Levenshtein Transformer [12] に着想 を得た系列変換モデルである．デコーダは，不要

図 1 提案手法の概要. 英文 “Procedures for the implementation of humanitarian operations”を独文 “Verfahren für die Durchführung der humanitären Aktionen” に翻訳するとき，近傍の事例 “Zeitplan für die Durchführung der Aktionen (schedule for implementation of measures)”を初期状態として編集を繰り返す.

なトークンの削除，プレースホルダー $[\mathrm{PLH}]$ の挿入, $[\mathrm{PLH}]$ への単語の挿入の機構を持つ. 近傍の事例 $z_{0}$ からターゲット文 $\boldsymbol{y}^{*}$ への編集操作は, 模倣学習で学習する。模倣学習は強化学習の一種で，エキ スパートの一連の行動を模倣し，同様の行動がで きるように学習する. モデルはステップ $k$ で前ス テップで編集済みの系列 $\boldsymbol{y}^{k-1}$ を受け取り, 次の系列 $\boldsymbol{y}^{k}=\mathscr{E}\left(\boldsymbol{y}^{k-1}, \boldsymbol{a}^{k}\right)$ を生成するための行動（編集操作） $\boldsymbol{a}^{k} \in \mathscr{A}$ を選択する.ここで， \& は編集操作と系列を 受け取り，編集済みの系列を返す環境である。この 行動を選択するための方策 $\pi$ は, 入力系列 $\boldsymbol{y}_{0: n}^{k-1}$ に 対するデコーダの出力 $\left(\boldsymbol{h}_{0}, \boldsymbol{h}_{1}, \ldots, \boldsymbol{h}_{n}\right)$ から行動空間 Aへの写像として定義される. 方策 $\pi$ は線形分類器 で近似するのが一般的であり，本モデルにおける方策 $\pi$ は削除すべきトークン位置の予測器 $\pi^{\mathrm{del}}$, [PLH] を挿入すべき位置と数の予測器 $\pi^{\mathrm{ph}}$, そして [PLH] に挿入すべきトークンの分類器 $\pi^{\mathrm{tok}}$ からなる.

学習時 方策分類器の学習では, 系列 $\boldsymbol{y}$ からエキ スパートとなる文 $e$ を生成するための正しい行動を 示すオラクル方策 $\pi^{*}$ を設計する．モデルは，その 系列 $\boldsymbol{y}$ とエキスパート $\boldsymbol{e}$ の編集距離 $D$ が最も小さ くなるように編集操作を選択する。 なお，本模倣学習における報酬関数はこの編集距離 Dの負の値を とったものである.

$
\boldsymbol{a}^{*}=\underset{\boldsymbol{a}}{\arg \min } \mathscr{D}(\mathscr{E}(\boldsymbol{y}, \boldsymbol{a}), \boldsymbol{e})
$

そして, 入力事例に対する最適な編集操作 $\boldsymbol{a}^{*}$ の確率 が最大となるようにモデルの方策 $\pi_{\theta}=\pi^{\mathrm{del}} \cdot \pi^{\mathrm{phh}} \cdot \pi^{\mathrm{tok}}$ を更新する. 本研究では, 近傍の事例に対する編集操作を効率的に学習するため, 各編集操作における オラクル方策 $\pi^{*}$ を次のように設計した.

1. 削除操作: 近傍の事例に対する編集操作におい て重要なのは, 近傍の事例内に含まれる不要な単語 を削除することである．そこで，近傍の事例 $z_{0}$ を 削除操作の対象 $\boldsymbol{y}_{\mathrm{del}}$ とし, ターゲット文 $\boldsymbol{y}^{*}$ に存在 しない単語を削除する学習を行う。

$
\begin{gathered}
\boldsymbol{y}_{\mathrm{del}}=z_{0} \\
\pi^{*}\left(\boldsymbol{y}_{\mathrm{del}}\right)=C\left(\boldsymbol{y}^{*}, z_{0}\right)
\end{gathered}
$

ここで, $C\left(\boldsymbol{y}^{*}, z_{0}\right)$ は系列 $\boldsymbol{y}^{*}$ と $z_{0}$ の共通単語列を返 す関数である。

2. 挿入操作: ターゲット文をエキスパートとし, トークンが削除された文に必要なトークンを挿入す る学習を行う. 挿入操作の対象となる系列 $\boldsymbol{y}_{\text {ins }}$ には モデルが系列 $\boldsymbol{y}$ に削除操作 $\tilde{d}$ を行った後の不完全な 事例 $\mathscr{E}\left(z_{0}, \tilde{d}\right)$ とターゲット文 $\boldsymbol{y}^{*}$ からランダムに単語を削除した事例 $\mathscr{E}\left(\boldsymbol{y}^{*}, \tilde{d}\right)$ のいずれかからランダム に選択し，挿入操作を学習する。

$
\boldsymbol{y}_{\text {ins }}=\left.\{\begin{array}{cc}
\mathscr{E}\left(\boldsymbol{y}^{*}, \tilde{d}\right), \tilde{d} \sim \pi^{\mathrm{RND}} & (\text { if } u<\alpha) \\
\mathscr{E}\left(z_{0}, \tilde{d}\right), \tilde{d} \sim \pi_{\theta} & \text { (otherwise) }
\end{array}\right.
$

ここで， $\pi^{\mathrm{RND}}$ はランダムに単語を削除する方策， $\pi_{\theta}$ は学習中のモデルの方策, $\alpha \in[0,1]$ はハイパー パラメータ， $u$ は $[0,1]$ から一様分布に従ってサン プリングした值である. 挿入操作は, $[\mathrm{PLH}]$ が必要 な位置とその数を予測した後, $[\mathrm{PLH}]$ を埋めるトー クンを予測するという二つのサブタスクからなる。
推論時 事前に検索した近傍の事例 $z_{0}$ を最初の デコーダへの入力として，最も高確率な編集操作を 選択・適用することを繰り返すことで文を生成す る. このとき, 反復回数が上限に達するか, 同じ編集操作が予測された場合に編集を終了させる.

## 2.2 近傍の事例の検索

提案手法では，学習データ内のすべての文対を含 む翻訳メモリから生成したい文に最も類似した事例 を検索し，学習時・推論時の編集対象とする。既存 の近傍の事例の検索方法は, 語彙マッチング $[9,11]$ とべクトル $[10,14]$ の二種類に大別される [9].

語彙マッチング いくつかの方法が考えられる が，今回は大きなデータにもスケールするように，近傍の事例を用いた既存研究 [15] と同様に，単語の 出現頻度をべクトル化する．具体的には，TFIDF ベ クトル tfidf(.) のコサイン類似度を用いて事例 $s_{i}, s_{j}$ の近さスコア $S_{\text {TFIDF }}$ を定義する。

$
S_{\mathrm{TFIDF}}\left(s_{i}, s_{j}\right)=\frac{\operatorname{tfidf}\left(s_{i}\right) \cdot \operatorname{tfidf}\left(s_{j}\right)}{\left.\|\operatorname{tfidf}\left(s_{i}\right)\right.\|\left.\|\operatorname{tidf}\left(s_{j}\right)\right.\|}
$

また，より大域的な系列の類似度を考慮するため， TFIDF ベクトルの類似度が上位 $n$ 件の事例を最長共通部分文字列（LCS）の長さでリランキングする設定でも実験を行う (TFIDF+LCS).

文ベクトル エンコーダから計算される文べクト ルのコサイン類似度 $S_{\text {SentVec }}$ を用いる.

$
S_{\text {SentVec }}\left(s_{i}, s_{j}\right)=\frac{\boldsymbol{h}_{\boldsymbol{i}} \cdot \boldsymbol{h}_{\boldsymbol{j}}}{\left.\|\boldsymbol{h}_{\boldsymbol{i}}\right.\|\left.\|\boldsymbol{h}_{\boldsymbol{j}}\right.\|}
$

ここで， $\boldsymbol{h}_{i}, \boldsymbol{h}_{j}$ はそれぞれ，文 $s_{i}, s_{j}$ をエンコードし て得られた文べクトルである。

## 3 実験

機械翻訳タスクを用いて，非自己回帰生成モデル における近傍の事例の効果を調べる。

## 3.1 実験設定

データセット 本研究では法文書コーパスであ る JRC-Acquis ${ }^{1)}$ を利用する。本実験では，重複する 対訳対の事例を除外した後, $\mathrm{Gu}$ ら [11] と同様の前処理を行なった. 各言語対の事例数を表 1 に示す. トークナイザには Moses Tokenizer 2)を用いた。

モデル 自己回帰モデルの（AR）ベースライン として Transformer [16] の base 設定を用いる。また，

編集操作に基づく非自己回帰モデル（NAR）のベー スラインとして Levenshtein Transformer (Levenshtein Trans）[12]を用いる. 提案手法は NeighborEdit と表記する.モデルは fairseq [17] ${ }^{3}$ をべースに実装し た. 学習は全て 1 ステップあたりのバッチサイズを 32,768，ステップ数は 40,000 回とした.

近傍の事例の検索法 2.2 節で説明した TFIDF, SentVec で翻訳メモリを検索し，入力に最も近い事例を選択する. TFIDF+LCS では，TFIDF で検索さ れた上位 10 件を LCS の長さでリランキングした.比較のため，訓練データからランダムに選んだ場合 も実験した. 文べクトルのエンコーダには多言語 コーパスで事前学習済みの SBERT モデル ${ }^{4}$ [18]を，近傍検索には faiss ${ }^{5}$ を用いた。

評価 生成の品質評価では，SacreBLEU [19] を用 い，大文字小文字を区別する BLEU で比較する．ま た，一事例あたりの推論に要した平均反復回数と平均所要時間を測定する. 後者は, 先行研究 [20] に従 い，1 個の GPU を用いてバッチサイズ 1 で文を生成 し，一事例を生成し終えるまでの所要時間の平均値 を求めた.なお，提案手法の平均所要時間には近傍 の事例の検索にかかる時間も含めた。

## 3.2 実験結果

表 2 に BLEU, 平均反復回数, および所要時間 [ms] を示した. また，提案手法とべースラインの出力例を A. 1 に示した. 近傍の事例を初期状態に用い る NeighborEdit は，非自己回帰モデルのベースライ ン（Levenshtein Trans）の性能を 2.2 から 6.3 ポイン 卜ほど上回った. 平均反復回数もべースラインから 最大で $25 \%$ 以上減少した. この結果は, 近傍の事例 を非自己回帰モデルに組み込むことで，品質を向上 させながら反復回数を削減できることを示してい る. さらに，推論にかかる所要時間もほぼ全ての設定でベースラインよりも短くなった. この所要時間 に関しては，付録 A. 2 で補足した。

表 2 JRC-Acquis データセットでの BLEU スコアと平均反復回数と平均所要時間（太字は非自己回帰モデルでの最良値）

表 3 SRC と ORACLE の BLEUスコアの比較（英独，*は自己回帰モデルの BLEU スコア 53.22 を超えた数值を指す)近傍の学習時の推論時のクエリ

続いて，提案手法の初期系列 $z_{0}$ が生成の質に与え る影響を詳しく調べるため，学習時と推論時の検索 クエリにそれぞれソース文（SRC) とターゲット文 （ORACLE）を用いた場合を比較する．後者は，理想的な近傍の事例を選択した場合の上限性能を表す.表 3 に英独での結果を示した通り，特に語彙マッチ ングを用いた検索では，推論時に ORACLE を用いる ことで BLEU スコアが向上する（+1.69 から+4.56 ポ イント)。一方で，学習時に ORACLE を組み込んで も，BLEU スコアはさほど変化しないため，提案手法の性能向上のためには, 編集操作の訓練データを 理想に近づけるよりも，初期状態を改善することが 重要である. つまり，適切な近傍の事例を選択でき れば，提案手法は自己回帰モデル（AR）の性能を超 える可能性がある. これは, 英仏・英西でも同様で あった (付録 A. 3 参照). しかし, 現実の問題設定で は ORACLE のターゲット文を用いることができない. そこで, SRCで検索した事例のみで ORACLE の性能 に迫ることができるかを調べるため，用いる近傍の 事例を 5 件に増やし，それぞれ並列に文を生成し， その中で最も BLEU の値が高い事例を出力文と見な した場合の結果を表 4 に示した. その結果，すべて の検索法で大幅に性能が向上し $(+4.60$ から +5.45 ポ イント), ORACLE（上位 1 件）と同等以上の性能を 達成できた。つまり，SRCをクエリとした場合でも，表 4 近傍の事例数を変えた場合の BLEU スコア（英独）

リランキングによって自己回帰モデルの性能を英独翻訳で 2.88 ポイント以上上回る可能性がある.

しかし，提案手法には改善の余地がある。例え ば，非自己回帰モデルによく見られる問題である単語の反復 [1] がベースラインよりも頻繁に見られる. これは，提案手法の方策がモデルの出力に対する削除操作を対象としておらず，デコードの途中で余計 に生成された単語を反復の過程で削除しにくいため である。また，近傍の事例から出力文を生成するま でに, 複数回の反復を要する事例でも生成文の品質 が低下する傾向が見られる。単語の重複を削除した り，複数の反復にわたって編集を行う場合の性能を 改善するため，モデルの出力に対する編集操作を組 み込んだ方策の設計を今後の課題としたい。

## 4 おわりに

本稿では，編集操作に基づく非自己回帰モデルに 近傍の事例を組み込む手法を提案し, 既存手法より も少ない反復回数でも生成文の質を大幅に改善でき ることを報告した．また，近傍の事例の選び方で性能が大きく変化すること，近傍の事例を適切に選択 できれば，非自己回帰モデル単体でも自己回帰モデ ルの性能を超える可能性があることを示した. 今後 の展望としては，より良い文単位での近傍の事例の 検索法の検討やモデルの出力に対して繰り返し編集 を行うための方策の設計，複数の近傍の事例を同時 に考慮するモデルの開発を行いたい。

## 謝辞

本研究は JSPS 科研費 $21 \mathrm{~J} 13602$ の助成を受けたも のです.

## 参考文献

[1] Jiatao Gu, James Bradbury, Caiming Xiong, Victor O.K. $\mathrm{Li}$, and Richard Socher. Non-autoregressive neural machine translation. In International Conference on Learning Representations, 2018.

[2] Ilya Sutskever, Oriol Vinyals, and Quoc V Le. Sequence to sequence learning with neural networks. In Advances in Neural Information Processing Systems, Vol. 27, 2014.

[3] Jason Lee, Raphael Shu, and Kyunghyun Cho. Iterative refinement in the continuous space for non-autoregressive neural machine translation. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 1006-1015, Online, November 2020. Association for Computational Linguistics.

[4] Yinhan Liu Luke Zettlemoyer Marjan Ghazvininejad, Omer Levy. Mask-predict: Parallel decoding of conditional masked language models. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing, 2019.

[5] Yoon Kim and Alexander M. Rush. Sequence-level knowledge distillation. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 1317-1327, Austin, Texas, November 2016. Association for Computational Linguistics.

[6] Walter Daelemans, Jakub Zavrel, Peter Berck, and Steven Gillis. MBT: A memory-based part of speech taggergenerator. In Fourth Workshop on Very Large Corpora, Herstmonceux Castle, Sussex, UK, June 1996. Association for Computational Linguistics.

[7] Makoto Nagao. A framework of a mechanical translation between japanese and english by analogy principle. In Proceedings of the International NATO Symposium on Artificial and Human Intelligence, pp. 173-180, 1984.

[8] Eiichiro Sumita and Hitoshi Iida. Experiments and prospects of example-based machine translation. In 29th Annual Meeting of the Association for Computational Linguistics, pp. 185-192, Berkeley, California, USA, June 1991. Association for Computational Linguistics.

[9] Jitao Xu, Josep Crego, and Jean Senellart. Boosting neural machine translation with similar translations. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 1580-1590, Online, July 2020. Association for Computational Linguistics.

[10] Urvashi Khandelwal, Angela Fan, Dan Jurafsky, Luke Zettlemoyer, and Mike Lewis. Nearest neighbor machine translation. In International Conference on Learning Representations, 2021.

[11] Jiatao Gu, Yong Wang, Kyunghyun Cho, and Victor OK Li. Search engine guided neural machine translation. In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 32, 2018.

[12] Jiatao Gu, Changhan Wang, and Junbo Zhao. Levenshtein transformer. In H. Wallach, H. Larochelle, A. Beygelzimer, F. d'Alché-Buc, E. Fox, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 32. Curran Associates, Inc., 2019.

[13] Ziqiang Cao, Wenjie Li, Sujian Li, and Furu Wei. Retrieve, rerank and rewrite: Soft template based neural summarization. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 152-161, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[14] Sebastian Borgeaud, Arthur Mensch, Jordan Hoffmann, Trevor Cai, Eliza Rutherford, Katie Millican, George van den Driessche, Jean-Baptiste Lespiau, Bogdan Damoc, Aidan Clark, Diego de Las Casas, Aurelia Guy, Jacob Menick, Roman Ring, Tom Hennigan, Saffron Huang, Loren Maggiore, Chris Jones, Albin Cassirer, Andy Brock, Michela Paganini, Geoffrey Irving, Oriol Vinyals, Simon Osindero, Karen Simonyan, Jack W. Rae, Erich Elsen, and Laurent Sifre. Improving language models by retrieving from trillions of tokens, 2021.

[15] Hao Peng, Ankur Parikh, Manaal Faruqui, Bhuwan Dhingra, and Dipanjan Das. Text generation with exemplarbased adaptive decoding. In Proceedings of the $\mathbf{2 0 1 9}$ Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 2555-2565, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[16] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in neural information processing systems, $\mathrm{pp}$. 5998-6008, 2017.

[17] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A fast, extensible toolkit for sequence modeling. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (Demonstrations), pp. 48-53, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[18] Nils Reimers and Iryna Gurevych. Sentence-BERT: Sentence embeddings using Siamese BERT-networks. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3982-3992, Hong Kong, China, November 2019. Association for Computational Linguistics.

[19] Matt Post. A call for clarity in reporting bleu scores. WMT 2018, p. 186, 2018.

[20] Weijia Xu and Marine Carpuat. EDITOR: An edit-based transformer with repositioning for neural machine translation with soft lexical constraints. Transactions of the Association for Computational Linguistics, Vol. 9, pp. 311-328, 2021.

 &  \\

図 2 実際の出力例. (英独，赤文字が挿入されたトークンで，青文字が削除されたトークン)

表 5 SRC と ORACLE の BLEU スコアの比較（英仏，* は自己回帰モデルの BLEU スコア 64.21 を超えた数值近傍の学習時の推論時のクエリ

表 6 SRC と ORACLE の BLEU スコアの比較（英西，* は自己回帰モデルの BLEU スコア 61.01 を超えた数値近傍の学習時の推論時のクエリ

## A 付録 (Appendix)

## A. 1 モデルの出力例

ベースライン（Levenshtein Transformer）と提案手法（NeighborEdit）の実際の出力例を図 2 に示した. 提案手法は，近傍の事例から不要な単語を削除した結果をテンプレートのように用いて必要な単語を穴埋めする ことで，より少ない反復回数で正解文を生成することができる.

## A. 2 推論時の所要時間

表 2 で示したように，提案手法は平均反復回数がベースラインと比較して少ないが，一方で推論に要 する所要時間の差は顕著でない。これは，提案手法が近傍の事例の検索時間を含めていることょりも， Levenshtein Transformer が 1 反復目の削除操作をスキップすることが原因として考えられる．なお，提案手法 の近傍の事例一件あたりの平均検索時間は, TFIDF（Top-1 の検索）で 0.11 [ms], TFIDF+LCS（Top-10 の検索）で 0.13 [ms], SentVec（Top-1 の検索）で $0.08[\mathrm{~ms}]$ であった.

## A. 3 Src と OracLe の BLEU スコアの比較（英仏，英西）

英仏，英西のデータセットを用いた検索のクエリ SRC と ORACLE の比較を表 5,6 に示した. これらのデータ セットにおいても，訓練データの質よりも推論時のデコーダの初期値の質を向上させることで性能改善が見 られた.また，推論時の近傍の事例を適切に選択できれば自己回帰生成の性能を超えられる場合がある。


# A Framework for Low Resource Language Translation based on SMT and Highly Accurate Word Alignment

Jingyi Zhu ${ }^{1}$ Yizhen Wei ${ }^{1} \quad$ Takuya Tamura $^{1} \quad$ Takehito Utsuro $^{1}$ Masaaki Nagata $^{2}$
${ }^{1}$ Deg. Prog. Sys.\&Inf. Eng., Grad. Sch. Sci.\&Tech., University of Tsukuba
 }^{2}$ NTT Communication Science Laboratories, NTT Corporation, Japan

\begin{abstract}
In this paper, we present a framework using SMT and highly accurate word alignment for low resource language translation. We align words in a parallel sentence pair using SpanAlign, a highly accurate word aligner based on crosslanguage span prediction. Then, we build bilingual phrase tables based on the alignments. For the SMT input, we use both normal-order sentences and pre-ordered sentences. The pre-ordering process is through an order-transform neural network called Pointer Network. The results on the Asian Language Treebank datasets show that the proposed SMT based on high precision alignment outperforms an NMT based on the Transformer in a simulated low resource translation setting using 20,000 parallel sentence pairs.
\end{abstract
## 1 Introduction

Despite Neural Machine Translation(NMT) having achieved a state of the art performance in recent years, it is known as data-driven [1]. To overcome the challenge that exists in small-scale translation or low resource translation tasks, serval researches focus on the approaches such as pre-training with large scale corpus and fine-tuning with small-scale corpus [2], or map the monolingual vector embeddings into a common cross-lingual embedding space [3] [4]. However, these effective methods need a lot of computation [2] or large-sized parallel corpus.

In this paper, we propose a framework based on SMT and highly accurate word alignment to explore the feasibility of low resource language translation. Specifically, the framework does not need a sequence-to-sequence NMT model but uses phrase-by-phrase translation instead. Since we focus on the limitation of the low resource language corpus, we use the Asian Language Treebank corpus, which contains 20,000 parallel sentences as the base corpus. We do the experiments between the directions of the Japanese-
English pair and the Japanese-Chinese pair. We experimentally show that our proposed framework outperforms an NMT based on the Transformer.

## 2 Related Work

Although pre-ordering has often been used in SMTrelated works, some research has recently applied preordering to NMT. Kawara et al. [5] discussed the influence of word order on the NMT model, and concludes that it is important to keep the consistency between the input source word order and the output target word order, to improve the translation accuracy. Murthy et al. [6] proposed a transfer learning approach for NMT, which trains an NMT model on an assisting language-target language pair, improves the translation quality in extremely lowresource scenarios. Nevertheless, those methods both rely on the neural network translation model or separately pretraining a translation model by a large-scale corpus. In contrast, our proposed framework has no neural translation component and we focus on the translation task limited by a small-scale corpus.

## 3 The Framework based on SMT and Word Alignment

This section mainly demonstrates the whole process of the proposed framework, as shown in Figure 1.

First, We fine-tune multilingual BERT using the manually made word alignment data, then we use the word alignment model to align words in the training sentences. The word alignment data is used to train the Moses model, consisting of the phrase table and language model. At last, the original order test data or preordered test data is translated phrase-by-phrase. On the other hand, Figure 1(b) shows the procedure to create pre-ordered test data. The word alignment of the training corpus is also used to train the Pointer Network. Then the trained Pointer Network transforms the original order test data into pre-ordered test
data.

## 3.1 Word Alignment by SpanAlign

SpanAlign [7] is a multilingual BERT [8] based alignment method, which formalizes a word alignment problem as a collection of independent predictions from a token in the source sentence to a span in the target sentence. Because our method relies on high precision alignments to make bilingual phrase tables, and training data for Pointer Network, we apply SpanAlign to extract the alignments from the parallel corpus.

## 3.2 Pre-ordering by Pointer Network

The pre-ordering process transforms the orders of the tokens in a source sentence to those of the tokens in its target sentence before translation is performed. Figure 2 shows an example for transferring Japanese sentence.

The original Pointer Network is an LSTM [9] based neural network, which aims at solving graph theory problems such as the Traveling salesman problem and Convex Hull. An encoding RNN converts the input sequence to a code (blue) that is fed to the generating network (purple) [10]. At each step, the generating network produces a vector that modulates a content-based attention mechanism over inputs. The output of the attention mechanism is a softmax distribution with a dictionary size equal to the length of the input.

Inspired by this, we apply Pointer Network to word order rearrangement like Figure 3. Specifically, we replace the input of Pointer Network with a sequence of the token instead, and then add an embedding layer to represent words with vectors. At decoding time, the decoder predict next pointer probability $p\left(C_{i} \mid C_{1}, \ldots, C_{i-1}, P\right)$ rely on inputs and predicted outputs :

$
\begin{array}{r}
u_{j}^{i}=v^{T} \tanh \left(W_{1} e_{j}+W_{2} d_{i}\right) \quad j \in(1, \ldots, n) \\
p\left(C_{i} \mid C_{1}, \ldots, C_{i-1}, P\right)=\operatorname{softmax}\left(u^{i}\right)
\end{array}
$

where softmax normalizes the vector $u^{i}$ (of length $n$ ) to be an output distribution of inputs. $P$ is the input sentence, and $C_{i}$ is the token of output sentence. $u^{i}$ is the vector. Parameters $v, W_{1}, W_{2}$ are learnable parameters of the output model, and $e_{j}, d_{i}$ represents for the encoder state and decoder state, respectively.

## 3.3 Bilingual Phrase Table based Phrase-byPhrase Translation

Bilingual phrase tables are lists of terms (words or phrases) in one language associated with their translations in a second language. Therefore, Phrase-by-Phrase translation is a process that, for each token in the source sentence, retrieve and output the most appropriate target tokens in the built-up phrase table. In our proposed framework, we replace the GIZA++ ${ }^{1)}$ which is contained in Moses with SpanAlign, to evaluate whether the improvement of alignment accuracy has an impact on the statistical machine translation.

## 4 Experiments

## 4.1 Dataset

We use the ALT (Asian Language Treebank)2) as our main experiment corpus. Here we use English-Japanese and Chinese-Japanese, about $20 \mathrm{~K}$ sentence pairs for each language pair. Parallel data are divided into the training data (18K) and the test data (1K). We use Japanese-English and Chinese-Japanese corpus because the word-order divergence of the two languages is very large and manually made word alignment data is available. We use MeCab ${ }^{3}$ ) and Jieba ${ }^{4)}$ to tokenize Japanese and Chinese sentences into tokens, respectively. The English side is tokenized by tokenizer.perl in the Mosesdecoder.

## 4.1.1 SpanAlign Settings and Fine-tuning

We use the ALT Japanese-English dev data of about 1,000 sentences of word alignment data to fine-tune SpanAlign for Japanese-English. For Chinese-Japanese, we use about 3,000 sentences of word alignment data created by NTT to fine-tune SpanAlign. We follow the parameter as default, while the training batch size is set to 8 and the training epoch is 10 . The average extraction threshold in bidirectional sides is 0.4 .

## 4.1.2 Pointer Network Settings and Training

Training data for the Pointer network are the training data of original order sentences and pre-ordered sentences made by the alignments generated by SpanAlign. We use a

(a)

(b)

Figure 1 Our proposed Framework: (a) is the flow chart, which accepts the normal order sentence or preordered sentence as translation input, (b) is using Pointer Network to do the preordering.

Figure 2 Transform the word order of the source Japanese language to the target English language

Figure 3 Architecture of Pointer Network (the modified Pointer Network accepts the original order sequence as input, and outputs the pre-ordered sequence). 2-layer bidirectional LSTM, with a hidden state of 512 and an embedding state of 128 . And we set the training batch size to 16 , the learning rate to $3 \mathrm{e}-4$, the training epoch is 10 , max sequence length to 120 . After training, the weighted Pointer Network is used to do the pre-ordering operation for test data sentences. We exploit RIBES [11], an efficient measure for automatically evaluating machine translation qualities based on the order of words, to evaluate the performance of the Pointer Network.

## 4.1.3 Phrase-by-Phrase Translation

We use Moses ${ }^{5)}$ to make the phrase table, and the maximum length of each phrase is set to 3 . The difference between our framework and previous pre-ordering of SMT is that we use the original order data pairs to make the phrase table, and we only apply preordering to the test data. We use a trigram LM (Language Model), which is learned by target side sentences contained in the training-part corpus, to ensure the fluency of the output language. For the Japanese to English direction and Chinese to Japanese direction, we compare the translation results between alignments from SpanAlign and Awesome-align [12], which is also based on a pre-trained multilingual language model but does not require manually made word alignment data.

## 4.2 Results

## 4.2.1 Pointer Network Performance

Because there is no ALT Chinese-Japanese manual alignment data exist for evaluation, we only use Japanese

5) https://www.statmt.org/moses/

Table 1 BLEU score between baseline and proposed approach.

and English data to verify the performance of the Pointer Network. Table 2 shows the F1 score between SpanAlign and Awesome-align, demonstrating the high alignment accuracy. Table 3 shows the result of the score of the preordered test data for transferring Japanese order into English order verified by RIBES. Here, we see ALT Japenese manual alignment data as the reference. From the results, Pointer Network trained with tokens extracted from SpanAlign is nearly the same as that of manual alignment. Thus, it can be considered that Pointer Network successfully learned certain language order features which are effective for the pre-ordering task.

Table 2 F1 score of SpanAlign and Awesome-align

Table 3 RIBES result of Pointer Network trained by each approach, of transferring Japanese order into English order

## 4.2.2 Translation accuracy

As a criterion to verify the translation accuracy, we use the BLEU [13] score. And we select Transformer [1] as our baseline. Table 1 shows the accuracy of our proposed method and the accuracy of the baseline. The results show that the proposed method exceeds the NMT model in ev- ery setting. Note that we did not use mert to fine-tune any weight of the translation model and language model. However, for the direction of Japanese, better results were obtained using the original order language as input.

We also tried making the phrase table after reordering the training data, however, the BLEU score is lower than that made by original order data.

## 5 Conclusion and Future Work

In this paper, we proposed a framework for low resource translation without using the sequence-to-sequence neural translation model. We use the normal-order tokens and the pre-ordered tokens as input and translated phrase-byphrase. The results show that both methods exceed the baseline of NMT for high precision alignment. And as the accuracy of alignment extraction increases, the accuracy of translation also increases. In future work, we will continue our experiments with other language pairs, like southeast Asian languages.

## References

[1] A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit, L. Jones, A. Gomez, U. Kaiser, and I. Polosukhin. Attention is all you need. In NIPS, 2017.

[2] Y. Liu, J. Gu, N. Goyal, X. Li, S. Edunov, M. Ghazvininejad, M. Lewis, and L. Zettlemoyer. Multilingual denoising pre-training for neural machine translation. Transactions of the ACL, pp. 726-742, 2020.

[3] Z. Lin, X. Pan, M. Wang, X. Qiu, J. Feng, H. Zhou, and L. Li. Pre-training multilingual neural machine translation by leveraging alignment information. In proc. EMNLP, pp. 2649-2663, 2020.

[4] S. Sen, K. Gupta, A. Ekbal, and P. Bhattacharyya. Mul-
tilingual unsupervised NMT using shared encoder and language-specific decoders. In Proc. 57th ACL, pp. 30833089, 2019.

[5] Y. Kawara, C. Chu, and Y. Arase. Recursive neural network-based preordering for statistical machine translation and its analysis. Journal of Natural Language Processing, Vol. 26, No. 1, pp. 155-178, 2019.

[6] R. Murthy, A. Kunchukuttan, and P. Bhattacharyya. Addressing word-order divergence in multilingual neural machine translation for extremely low resource languages. In Proc. NAACL, pp. 3868-3873, 2019.

[7] M. Nagata, K. Chousa, and M. Nishino. A supervised word alignment method based on cross-language span prediction using multilingual BERT. In Proc. EMNLP, pp. 555-565, 2020

[8] J. Devlin, M. Chang, K. Lee, and K. Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proc. NAACL, pp. 4171-4186, 2019.

[9] S. Hochreiter and J. Schmidhuber. Long short-term memory. Neural Computation, Vol. 9, No. 8, p. 1735-1780, 1997.

[10] O. Vinyals, M. Fortunato, and N. Jaitly. Pointer networks. In NIPS, 2015.

[11] H. Isozaki, T. Hirao, K. Duh, K. Sudoh, and H. Tsukada. Automatic evaluation of translation quality for distant language pairs. In Proc. EMNLP, pp. 944-952, 2010.

[12] Z. Dou and G. Neubig. Word alignment by fine-tuning embeddings on parallel corpora. In proc. 16th EACL, pp. 2112-2128, 2021.

[13] K. Papineni, S. Roukos, T. Ward, and W. Zhu. Bleu: a method for automatic evaluation of machine translation. In Proc. 40th ACL, pp. 311-318, 2002.


# 入力側単言語資源と転移学習の利用による 講演字幕を対象とした英日ニューラル機械翻訳の改善

山岸勇輝秋葉友良 塚田元
豊橋技術科学大学
\{yamagishi.yuki.oj, akiba.tomoyoshi.tk, tsukada.hajime.hl\}@tut.jp

## 概要

本論文では、” Technology, Entertainment, Design (TED)”の講演データに対する英日機械翻訳の 性能向上のための取り組みとして、3つの手法の利用を提案する。第 1 に入力側単言語資源で事前学習 された BERT を機械翻訳に利用する手法、第 2 に事前学習モデルへ入力側単言語資源を利用し追加学習を行う手法、第 3 にドメイン外の大量の対訳コー パスを用いて転移学習を行う手法、を検討した。評価実験の結果、事前学習済みモデルを用いた翻訳モ デルと転移学習を組み合わせることで、Trasformer ベースのベースラインモデルから 4.12Point の大幅 な改善を達成した。

## 1 はじめに

近年では世界規模で開かれる講演会の数も増えて きており、このような場では広く英語を用いて講演 が行われる。そこで英語以外の母語のみを扱う人々 にとって講演データを他言語へ翻訳するということ が必要となる。

研究で広く用いられている字幕付き講演データに TED[1] があるが、実際に TED の講演データの翻訳 を行うと英日翻訳が他言語対に比べて大きく性能 が低いという問題がある。原因としては英日翻訳に は他言語対の翻訳に比べ文法・文構造の違いが大き く、少量の講演データでは NMT の学習に対して十分な量でないことが考えられる。

学習データである対訳コーパスを補うために、 Sennrich ら [2] は出力側単言語コーパスを逆翻訳し て疑似対訳コーパスを作成する手法を提案した。対訳コーパスと比べ単言語コーパスの取得は比較的容易であるため、データ拡張の手法として広く用いら れている。しかし本研究の対象である英日講演翻訳 では、出力側単言語コーパスである日本語講演デー
タは人手で翻訳され作成されているため学習データ 以外の入手が困難である。

本研究では、TED 英日翻訳を対象に、利用可能な 言語リソースを検討した上で、適用可能な手法を用 いて性能改善を試みた。第 1 に、入力側単言語資源 で学習された事前学習済みモデルを翻訳モデルに利用した。また事前学習済みモデルを適用した翻訳モ デルへ、入力側単言語資源を利用した追加学習とド メイン外の対訳コーパスを利用した転移学習を適用 した。

## 2 関連研究

## 2.1 BERT

BERT[3] は 2018 年に Google が発表した自然言語処理モデルである。モデルは双方向の Transformer をベースとしたエンコーダーで、あるトークン 列 (単語またはサブワード)を入力として、入力の 各トークンに対応する分散表現を出力する。事前学習に Masked Language Modeling(MLM) と Next Sentence Prediction(NSP)の2つのタスクを行ってい る。BERT は多くのタスクにおいて高い精度を記録していて、SQuAD や GLUE などの複数のベンチ マークタスクにおいて最先端の性能を達成してい る。現在は、BERT を拡張した RoBERTa[4] や軽量版の ALBERT[5] など様々なモデルが提案されてい る。

## 2.2 BERT を利用した機械翻訳

高橋ら [6] は NMT の入力言語側の単語分散表現 に BERT の出力を用いることで翻訳性能の改善を 達成している。BERT の出力を分散表現に用いるこ とで、従来の単語依存の分散表現ではなく、コンテ キストも考慮された分散表現となり、より文脈に 合わせた翻訳が行えるようになった。Zhu ら [7] は

Transformer のエンコーダ・デコーダにおいて BERT の出力への Attention を利用する BERT-fused NMT モ デルを提案し、翻訳性能が改善することを示した。 このモデルは IWSLT2014 の独英翻訳において最先端の性能を達成している。

## 2.3 転移学習

転移学習を利用した手法として、Firat ら [8] は大量のコーパスで学習した NMT モデルのパラメータ を目的となる少量のコーパスで学習したモデルに転送することによって、少量の対訳コーパスを持つ言語間の翻訳精度を大幅に改善した。

## 3 提案手法

本研究では学習データ以外の日本語講演データ の入手が難しい為、目的言語側の単言語コーパスを 用いる Sennrich らの手法は困難と考えた。学習デー タが不足している場合、データ拡張の手法以外に事前学習済みモデルを用いる手法も広く知られてい る。本研究は、事前学習済みモデルである BERTを 機械翻訳モデルに用いる。また利用可能なコーパス を検討し、英語側講演データとドメイン外の英日対訳コーパスが考えられた。この2つのコーパスを用 いて BERTへの追加学習と翻訳モデルへの転移学習 の手法を行う。

## 3.1 事前学習済みモデルの利用

事前学習済みモデルである BERTを機械翻訳モデ ルへ適用した 2 つのモデルを利用する。1つめに BERT 入力モデルとして高橋らが行った、BERT の 出力を NMT の単語分散表現として利用するモデル を用いる。2つめに Zhu らが提案する BERT-fused モ デルを採用する。

## 3.2 事前学習済みモデルへの追加学習

本研究で用いた BERT は、英語版 Wikipedia と BooksCorpus を用いて事前学習を行ったモデルであ る。これらのデータは様々なドメインを含むもので あるため、講演データを用いた BERTへの追加学習 を行うことで、より講演に適した翻訳が出来るよう になると考える。具体的には英語側講演データを用 いて MLM と NSP の2つのタスクを行う。

## 3.3 転移学習

この手法では翻訳のベースとなる英日対訳コー パスを持つ IWSLT とドメイン外の大量の英日対訳 コーパスを用いて行う。はじめにドメイン外対訳 コーパスで学習を行い英日翻訳モデルの構築を行 う。この時ボキャブラリは IWSLT のみから作成し たものを利用し学習を行う。このモデルを翻訳の ベースとなる IWSLT の開発セットを用いて評価を 行う。BLEU スコアにて評価し、最も高い値を示す モデルを転移学習の初期モデルとして選択する。 IWSLT で学習を行う際 NMT のモデルの初期モデル として選択したモデルを用いることで転移学習を行 い英日翻訳モデルの構築を行う。

## 4 実験

提案手法によって TED の英日講演字幕翻訳への 性能が改善されるかを調査する。

## 4.1 データセット

英日対訳コーパスの学習データとして TED の講演データである IWSLT2017を、転移学習のために ASPEC[9] とJESC[10]の3つのコーパスを利用する。 IWSLT2017 の開発データには $\operatorname{dev} 2010$ をテストデー タには tst2010を使用する。ASPECコーパスは科学技術論文抄録のコーパスで、文単位で様々な抄録 から対訳文を抽出した対訳コーパスである。JESC コーパスはインターネット上からクロールされた映画と TV 番組の字幕データで作成された対訳コーパ スである。

表 1 英日対訳コーパス

BERT への追加学習のための入力側単言語コー パスとして、学習に使用している IWSLT2017 の訓練データ、学習に使用していない IWSLT2012 か ら 2017 までの講演データ、JESC の訓練データ、 IWSLT2017 のテストデータの 4 つを利用する。TED の講演データは英語がオリジナルのデータである ため、過去に公開されているデータを利用すること が可能である。また、追加学習で用いるのは大力側

データとなるため、テストデータを直接追加学習に 利用することが可能である。

表 2 追加学習に利用する入力側単言語資源

## 4.2 実験設定

ベースラインは、RNN $に$ LSTM + Attention 機構 のモデルと Transformer のモデルの 2 つを用いた。翻訳の単位は両モデル共に単語単位での翻訳を行 う。レイヤー数は RNN が 2 層、Transformer が 6 層 で隠れ層の次元数は RNN が 768、Transformer が 512 となっている。Optimizer は両モデル共に Adam を使用しドロップアウトも共に 0.3 となっている。学習済みの BERT は Google が公開している BERT-Base モデル [3] を利用した。 12 層の Transformer で構築 され、隠れ層の次元数は 768 となっている。

## 4.3 実験結果

## 4.3.1事前学習済みモデルの利用

事前学習済みモデルを利用した BERT 入力モデル と BERT-fused モデルの性能を調査する。BERT 入力 モデルの NMT は LSTM を使用した為、ベースライ ン (RNN) からの性能を比較、BERT-fused モデルで は NMT は Transformer を使用する為、ベースライン (Transformer) との比較を行う。

表

事前学習済みモデルを利用したモデルは共にベー スラインモデルからの改善が確認できた。BERT 入力モデルでは、RNN から 2.18Point の改善が見られ た。また BERT-fused モデルでは、Transformer から 1.90Point の改善が見られた。2つのモデルを比較す ると NMT に Transformer を利用する BERT-fused モ デルがより高い性能を示した。

## 4.3.2 事前学習済みモデルへの追加学習

BERT-fused モデルにおける BERTへの追加学習 の効果を調べた。 3 種類のコーパスを用いて、追加学習を行い 4 つの翻訳モデルを構築した。元の BERT-fused モデルと比較した。

## Bf+trainIWSLT

BERT-fused モデルの BERTへ学習データである IWSLT2017 の英語側訓練データを用いて追加学習を 行ったモデル

## Bf+otherIWSLT

学習データを含まない IWSLT の英語側講演データ を用いて追加学習を行ったモデル

## Bf+trainJESC

追加学習に用いる IWSLT のデータは数十万文の少量のデータのため、ドメイン外ではあるが講演に近 く大量のデータを持つ JESC の訓練データを用いて 追加学習を行ったモデル

## Bf+testIWSLT

追加学習は入力側データのみで行えることから、目的としている IWSLT2017 のテストデータを直接用 いて追加学習を行ったモデル

表 4 追加学習の性能の比較 (BLEU)

BERT へ追加学習を行った 4 つのモデル全てで、追加学習を行っていない元の BERT-fused モデルか らの改善は見られなかった。原因として講演データ を用いることでより特定のドメインに BERT を強化 できると考えたが、本来 BERT が持つ汎化性能が低下し翻訳性能の低下に繋がったと考える。

## 4.3.3 転移学習

BERT-fused における転移学習の効果を調べた。転移学習には ASPEC とJESC の 2 つのドメイン外対訳 コーパスを用いて 5 つの翻訳モデルを構築した。元 の BERT-fused モデルと比較した。

Bf+transASPEC

ASPEC を用いて BERT-fused モデルに転移学習を
行ったモデル

## Bf+transJESC

JESC を用いて BERT-fused モデルに転移学習を行っ たモデル

## Bf+transASPEC/JESC

ASPEC と JESC を結合したコーパスを用いて BERTfused モデルに転移学習を行ったモデル

## Bf+transJESC'

JESC の 2 文を 1 文に連結したコーパス $\mathrm{JESC}^{2}$ をを用 いて BERT-fused モデルに転移学習を行ったモデル

## Bf+transASPEC/JESC'

ASPEC と JESC'を結合したコーパスを用いて BERT-fused モデルに転移学習を行ったモデル

表 5 転移学習の性能の比較 (BLEU)

転移学習の手法では ASPEC と JESC の 2 つのコー パスで共に改善が見られ、ASPEC を用いた場合が より大きな改善が見られた。科学技術論文の抄録で ある ASPEC に比べ字幕データである JESC は TED の講演データに近いドメインを持つが、ASPEC よ り大きな改善が見られなかった為、各コーパスの 特徴を調査した。各コーパスでの平均文長を調べ ると JESC は IWSLT2017と ASPEC に比べ半分以下 の文長であることが分かった。そこで JESC の 2 文 を 1 文に連結処理した JESC' を作成し転移学習を 行った。

表 6 各コーパスの平均文長

JESC’を転移学習に用いたモデルは ASPEC のみ を用いる場合よりも高い性能を示した。文長をよ り、IWSLT2017 の学習データに近いものとしたた め、性能の改善に繋がったのではないかと考える。
ASPEC と JESC'を混ぜたデータを用いる転移学習 では更なる性能改善は見られなかった。

表 7 はベースラインである Transformer と最も良 い性能を示した Bf+transJESC'の翻訳例である。 Bf+transJESC' は Transformer で翻訳出来ていなかっ た入力文の単語を正しく翻訳出来るようになってい ることが分かる。

表 7 翻訳の改善例

## 5 おわりに

本研究では TED の講演データである IWSLT2017 を用いた英日翻訳性能の改善を目的に、入力側単言語資源で学習された事前学習済みモデルと入力側 である英語データによる事前学習済みモデルへの 追加学習、また大量のドメイン外の英日対訳コーパ スを利用した転移学習の手法を行った。BERT を用 いた翻訳モデルは既存の RNN、Transformer ベース のモデルからより性能が向上することが確認でき た。BERT-fused モデルにおける BERT への追加学習 は性能の改善は確認できなかった。BERT-fused に おける転移学習の効果は大きく、講演データに近 いドメインを含む JESC コーパスを連結処理し用い た転移学習は最も良い性能が確認できた。最終的 にベースラインである Transformer の BLEU スコア 10.58 から 4.12Point の大幅な改善を達成し 14.70 ま で向上が見られた。提案法で得られた BLEU スコア 14.70 は、IWSLT2018 で報告されているべストスコ ア 10.88[11] と比べてもかなり高いものとなってい る。今後の課題としては、追加学習に用いた入力側単言語資源を疑似的な対訳コーパス作成のために利用しデータ拡張の手法を試みる事や、現在提案され ている様々な BERT モデルを用いることなどが考え られる。

## 謝辞

本研究は JSPS 科研費 19K11980 および $18 \mathrm{H} 01062$

の助成を受けた

## 参考文献

[1] M. Cettolo, M. Federico, L. Bentivogli, J. Niehues, S. Stuker, K. Sudoh, K. Yoshino, and C. Federmann, "Overview of the IWSLT 2017 Evaluation Campaign", In Proceedings of the 14th International Workshop on Spoken Language Translation (IWSLT), 2017.

[2] R. Sennrich, B. Haddow, and A. Birch."Improving neural machine translation models with monolingual data". In Proc. of ACL-2016 (Volume 1: LongPapers), pages 8696, 2016.

[3] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. "BERT: Pre-training of deep bidirectional transformers for language understanding", In North American Association for Computational Linguistics (NAACL),2019.

[4] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, Veselin Stoyanov."RoBERTa: A Robustly Optimized BERT Pretraining Approach", arXiv e-prints, arXiv:1907.11692,2019.

[5] Zhenzhong Lan, Mingda Chen, Sebastian Goodman, Kevin Gimpel, Piyush Sharma, Radu Soricut. "ALBERT: A Lite BERT for Self-supervised Learning of Language Representations", International Conference on Learning Representations, 2020.

[6] 高橋 竜, 秋葉 友良, 塚田 元,"汎用分散表現 BERT を 用いたニューラル機械翻訳の検討", 言語処理学会第 27 回年次大会, 2020

[7] Jinhua Zhu, Yingce Xia, Lijun Wu, Di He, Tao Qin, Wengang Zhou, Houqiang Li, Tie-Yan Liu."Incorporating BERT into Neural Machine Translation",International Conference on Learning Representations, 2020.

[8] O. Firat, K. Cho, and Y. Bengio, "MultiWay, Multilingual Neural Machine Translation with a Shared Attention Mechanism”, ArXiv e-prints,pp.866-875, 2016.

[9] T. Nakazawa, M. Yaguchi, K. Uchimoto, M. Utiyama, E. Sumita, S. Kurohashi, and H. Isahara. "ASPEC: Asian scientific paper excerpt corpus", In Proceedings of the Ninth International Conference on Language Resources and Evaluation (LREC 2016), pp. 2204-2208, 2016.

[10] Reid Pryzant, Youngjoo Chung, Dan Jurafsky, Denny Britz. "JESC: Japanese-English Subtitle Corpus",European Language Resources Association,2018.

[11] Yuto Takebayashi, Chu Chenhui, Yuki Arase, Masaaki Nagata. "Word Rewarding for Adequate Neural Machine Translation",In Proceedings of the 15th International Workshop on Spoken Language Translation,2018.


# Sentence-BERT を利用した FAQ 検索におけるデータ拡張手法

加納 渉
岡山大学大学院自然科学研究科
kano-w@s.okayama-u.ac.jp

## 概要

本研究では，質問応答における類似文章検索につ いて，データ拡張を利用した検索精度向上を検討す る. 質問応答のデータセットは Yahoo!知恵袋データ などが公開されているが，特定の FAQ に対応したシ ステムを作る場合，データセットが十分に集まらな いことも想定される. 本研究では，人手でのデータ 作成に加え，疑似文章生成モデルを利用してデータ 拡張を行い，その検索精度への影響を調べた. 実験 の結果，拡張データを一定量混ぜた場合，わずかに 精度が向上することが確認できた.

## 1 はじめに

質問応答システムでは，同じ単語でも文脈によっ て意味が違ったり，ユーザによって表現方法が変わ るため, 柔軟な質問応答の実現には単語一致のみで は十分ではないことが考えられる．類似文章検索手法としては, 分散表現を用いるものがあり, 分散表現を取得するモデル例として，Word2Vec[1] や Bidirectional Encoder Representations from Transformers (BERT)[2] がある. 分散表現を使用することで単語間 の意味的な距離をべクトルとして測ることができ る. 本研究では，さまざまなタスクで SoTAを達成 し, 文章全体の意味を特徴化できるという機能を持 つ BERTを使用し，類似文章検索を行う。

岡山大学情報統括センターのホームページ及び岡山大学 Moodle 上には, 利用者の質問とその回答が 掲載されている場所がある。このウェブサイトで将来的に質問応答システムを実現するため, 既に寄せ られている質問と回答をデータセットとして機械学習モデルに適用し, 類似文章検索精度を向上させ たい. しかしそのデータ数はあまり多くなく, 質問 もひとつずつしか付属していないため, 検索モデル 構築のためのデータセットとしては不十分なこと， ユーザの入力として想定される表現の幅が少ないこ とが問題点として挙げられる. 本研究では人手によ

\author{
竹内孔一 \\ 岡山大学学術研究院自然科学学域 \\ takeuc-k@okayama-u.ac.jp
}

る質問データに加えて，疑似文章生成モデルで疑似的な質問文を再現し学習データに追加することで，類似質問検索を行った. 以下では，そのデータ拡張手法と，データ追加方法について報告する.

## 2 関連研究

高橋ら [3] はコミュニティベースの Q\&A サイト における確率モデルを利用した類似質問検索手法を 提案した。これは，質問検索では検索対象文書の長 さが短いことを考慮し, 適切に回答文情報を利用す ることで有効性を示した。

中野ら [4] は，対話的情報検索の問い返し文にお いて，質問文の統語構造解析を行い，得られた部分木の一部を欠落させることで曖昧な質問文生成を行 なった. 生成した曖昧質問を利用し，BERTによる 質問応答システムを適用することで，質問応答精度 を向上することができた.

Mass ら [5] は，FAQ 検索において3つのリラ ンカーによる教師なし手法を提案した、ユーザ クエリ-質問文，ユーザクエリ-回答間で BERT の Fine-tuning を行うとともに，質問文の言い換えを作成してさらにクエリ-質問文間 BERTを Fine-tuning することで，既存の教師あり手法と同等以上の性能 を示した。

## 3 データセット作成

本研究で使用するデータは，岡山大学情報統括セ ンターのホームページ及び岡山大学 Moodle から集 め，整形したものである ${ }^{1)}$. 元データの形式は質問 と回答のペアとなっており, その中から学習データ として使用可能な 108 件を抽出したが，データセッ トとして明らかに少ないため，まず研究室の方々に 依頼し，ある質問の回答に結びつくような質問を単語の組及び文章形式でそれぞれ 3つずつ作成した. しかし，人手でのデータ追加はより実用的で自然な 文章を考えることができるが，問題点として時間が

1) https://msgs.ccsv.okayama-u.ac.jp/a/faq.php

かかること，外部に依頼した際のコストがある.

本研究では，人手作成データに加えて疑似的 な質問を Variational AutoEncoder (VAE)[6] によって 生成し, 学習データとして利用する. VAE の基本構造は Encoder と Decoder からなり, その間に 潜在空間を導入する. 潜在空間は確率分布が設定される. 文章生成に使用した VAE モデルを 図 1 に示す. 本モデルは Encoder, Decoder にそれ ぞれ Transformer[7] の Encoder, Decoder ブロック を使用している Transformer-Based Conditional VAE (T-CVAE)[8] を利用して, 入力文章を再現する. 潜在変数には乱数を加えており, 入力文章と少し異な る文章を出力しやすくなる仕組みとなっている.

このモデルに対し，元データの質問部分を用いて BLEU[9] スコアが約 70 程度になるまで学習させ, それぞれの質問について 10 パターンの疑似質問を 生成した. BLEU スコアは語順を考慮しないため, スコアが高くても文章として自然であるか，元文章 をそのまま再現しているかはわからない. 本実験で は生成文章の文法的正しさは問わないものとするた め, 入力文章とほぼ同じであったり, 明らかに文法 が破綻しているものも存在する. 次に BERT に対し て 2 值分類問題で Fine-tuning を行うため，ラベル付 き文章ペアのデータセットを作成する必要がある.詳しくは 4 章で述べる. ここまでで，元データのあ る質問 1 つについて，
- 人手により作成した質問 ○クエリタイプの質問 3 件 (query 1, 2,3)。文タイプの質問 3 件 (sentence1, 2,3)

・VAEで作成した疑似質問 (10 パターン)

が存在する. 元データのタイトル部分を anchor と し，それ以外の人手作成データ，VAE 生成データか ら類似質問 (positive), 非類似質問 (negative) を選び，組み合わせていく。つまり，ある anchor一つに対 ᄂ, (anchor, positive), (anchor, negative) の 2 種類のラ ベル付きデータが作られる. positive pair は，あるタ イトルとそれから作られた人手作成データ，VAE生成データを組み合わせ，negative pair はあるタイト ルと関連のない全ての人手作成データ, VAE 生成 データを組み合わせる。人手作成のうち, query3, sentence3 から作られる positive pair はテストデータ に使用する。

図 1 T-CVAE による文章生成, [8] より引用

## 4 実験

実験として，ある質問に対して最も類似した各回答の質問文を検索できるか評価する．質問と各回答 に属する質問との類似度を計算するために機械学習を利用する。ここでは，2 値分類による BERT の Fine-tuning 及び検索精度評価, 改善手法について述 べる.

## 4.1 実験設定

文やクエリ同士の類似度を評価するモデル図は共通であり, 図 2 に示す.これは Sentence BERT[10]2) と呼ばれる，文章ぺアを利用した学習を行うための モデルである。類似文章ぺアを用いて Fine-tuning を 行うとき，単一の BERT で毎回 2 つの文章を入力す ると計算量は $O\left(n^{2}\right)$ となるため，学習時間が大幅に かかる. Sentence BERT の特徵は, Siamese Network の構造をとっていること，Pooling 層を導入している 点である．2つの入力の埋め込みべクトルを同時に 計算することで，大幅な学習時間短縮を実現してい る. 文献 [10] では,
- Classification Objective Function
- Regressioon Objective Function
- Triplet Objective Function

の 3 つの目的関数が紹介されている. 本研究で は，入力ペアが positive か negative を判定するため， Classification Objective Function を採用している. 以下の実験での BERTはすべて, 日本語 Wikipedia 事前学習済み ${ }^{3}$ を使用し, Baseline は事前学習済み BERT を用いたものを表す. Sentence BERT の Fine-tuning の際のバッチサイズは 16 , epoch は 10 とし, Pooling 手法は文献 [10] で最も高い評価となった MEANを

図 2 実験で使用する Sentence BERT モデル

採用する.

## 4.2 予備実験

予備実験として，元データのタイトル部分と人手作成データ，及び疑似質問を用いて Sentence BERT の Fine-tuning を行った。学習データセットのパター ンは以下の通り。

・人手作成データ
- 人手作成+疑似質問 (1 パターン)
- 人手作成+疑似質問 (3 パターン)
- 人手作成+疑似質問 (5 パターン)
- 人手作成+疑似質問 (10 パターン)

ある positive pairの 1 件に対し, negative pair は 107 件存在する。学習データの positive pair と negative pair の数を合わせるため, 107 件から一つ選ぶ必要 がある. 予備実験での negative pair の選び方はラン ダムとする.

## 4.3 改善手法

改善手法として，ある positive pair に対応する negative pair の候補から，ペアの類似度が一番大き いものを選ぶデータセット，小さいものを選ぶデー タセットをそれぞれ作成し，再度実験を行なった。事前学習済み日本語 BERT による埋め込みべクトル の cosine 類似度を用いるが，そのために BERT の出力をべクトルに変換する必要がある. 本実験では時系列方向に平均をとったべクトルを質問のべクトル とする。

## 4.4 評価手法

Fine-tuning した BERT による埋め込みベクトルを 使用して候補のランキングを出し，精度評価を行 なった. 本研究の場合は，入力にタイトル部分，回表 1 予備実験結果

} & 0.606 & 0.616 & 0.537 & 0.481 \\

答候補は人手作成データの query 3 , sentence 3 から選 ぶ.つまり，一つの入力につき正解が 2 つ存在し ている。評価指標は 1 位正解率，5 位正解率，Mean Reciprocal Rank (MRR) とする [11].

1 位正解率は，回答候補ランキングを出した時，1 位に正解がある割合である.

5 位正解率は，ランキングを上位 5 位まで出した 時，その中に正解がある割合である。今回正解は入力 1 つにつき 2 つあるが，上位 5 位までに 2 つ入つ ていたとしても 1 つしか入っていない場合と評価は 変わらないこととする。

MRR は正解となる回答のランクの逆数をポイ ントとし，その平均をとったものである. つまり, MRR が高いほどランキングの上位に正解が出てい ることになる。今回は上位 5 位までのランキングで 評価し，その中に入っていなければポイントは 0 と する。

## 4.5 結果

予備実験結果を表 1 に示す. 予備実験では，ラン ダムで選んだ negative pairを追加した. Baseline よ りも，人手作成データ及び疑似質問を加えた場合の ほうが精度が高くなっている箇所が見られるもの の，あまり一貫した精度の向上が見られない.

次に，改善手法を適用した場合の実験結果を表 2 と表 3 に示す. 表 2 を見ると negative pair に類似し ていないものを選んだ場合はどの結果においても精度が下がっており，Baseline よりも全てにおいて低 く，特に疑似質問を加えた場合に下がりやすくなっ ているのが読み取れる。

一方，表 3 を見ると，疑似質問を加えたほうが，人手作成データのみよりも精度は良くなる傾向にあ る. 特に，疑似質問を 5 パターン分加えた場合，ど の評価指標においても高い値を得ている。さらに，表 1 において，疑似質問を 5 パターン追加した結果
表 2 negative pair(dessimilar) を選択した場合の実験結果

} & 0.458 & 0.583 & \\

表 3 negative pair(similar)を選択した場合の実験結果

を表 3 の同じ項目で比較すると, negative pair に類似度の一番高いものを選ぶ手法のほうが高い值を示し ている.

## 4.6 考察

以上の実験結果より，人手作成データに加え， VAE によって作成した疑似質問から 2 值分類用デー タセットを作成し，特に negative pair に一番類似度 の高いものを選んだ場合，精度向上を確認できた。一方，表 3 の疑似質問を 10 パターン混ぜた場合を 見ると，この選び方であっても学習データ数を増 やせば精度が上がるわけではないことがわかる。 negative pair に一番類似していないぺアを選んだ場合，ランダム，または類似しているものを選ぶ場合 よりも顕著に精度が下がった. これらの原因とし て，より異なるぺアを学習する回数が増え，最終的 な類似度の近いものを選ぶという，元々のタスクの 目標に適合しない学習が進んでいるためではないか と考えられる。

## 5 まとめと今後の課題

本研究では，類似質問検索において学習データが 十分に得られない場合のデータ拡張手法を提案し た. 学習を行なった VAE で生成した文章を用いて 2 値分類学習用データセットを構築する際, negative pair に類似度の一番高いものを選択した場合に，人手作成データのみよりも精度向上が確認できた。 しかし, 今回は岡山大学情報統括センター，及び Moodle の FAQ のみでの実験のため，その汎用性に ついては検証の余地がある. 今後の課題として, VAE による生成文の品質評価，回答部分の利用， Yahoo!知恵袋などの大規模なデータセットでも実験 を行い，有効性を検証する必要がある。

## 謝辞

本研究でのデータ作成にご協力いただいた竹内研究室の諸氏に感謝する。

## 参考文献

[1] Tomas Mikolov, Kai Chen, Greg Corrado, and Jeffrey Dean. Efficient estimation of word representations in vector space. CoRR, Vol. abs/1301.3781, , 2013.

[2] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186. Association for Computational Linguistics, June 2019.

[3] 高橋輝, 高須淳宏, 安達淳. コミュニティベース Q\&A からの類似質問検索手法. 情報処理学会全国大会講演論文集, 第 72 回, pp. 111-112, 2010.

[4] 中野佑哉, 河野誠也, 吉野幸一郎, 須藤克仁, 中村哲.問い返し質問文生成によって曖昧性解消を行う質問応答システム. 言語処理学会第 27 回年次大会 発表論文集, 2021

[5] Yosi Mass, Boaz Carmeli, Haggai Roitman, and David Konopnicki. Unsupervised faq retrieval with question generation and bert. Association for Computational Linguistics, 2020.

[6] Diederik P. Kingma and Max Welling. Auto-encoding variational bayes. In 2nd International Conference on Learning Representations, ICLR 2014, Banff, AB, Canada, April 14-16, 2014, Conference Track Proceedings, 2014.

[7] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. V. Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc., 2017.

[8] Tianming Wang and Xiaojun Wan. T-cvae: Transformerbased conditioned variational autoencoder for story completion. In Proceedings of the Twenty-Eighth International Joint Conference on Artificial Intelligence, IJCAI19, pp. 5233-5239. International Joint Conferences on Artificial Intelligence Organization, July 2019

[9] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of
machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[10] Nils Reimers and Iryna Gurevych. Sentence-BERT: Sentence embeddings using Siamese BERT-networks. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3982-3992. Association for Computational Linguistics, November 2019.

[11] 磯崎秀樹, 東中竜一郎, 永田昌明, 加藤恒昭. 質問応答 システム. コロナ社, 2009.


# 質問応答におけるユーザ入力表現のドメイン固有の表現への マッピング

TSENG YI KAI $^{1}$ 徳永健伸 ${ }^{1}$ 横野光 ${ }^{2}$
1 東京工業大学 2 明星大学
tseng.y.ab@m.titech.ac.jp take@c.titech.ac.jp hikaru.yokono@meisei-u.ac.jp

## 概要

あるドメインの初心者はそのドメイン固有の用語 を知らないことが多く，別の単語で言い換えること があり，質問応答システムなどを利用する際の問題 になる。この問題に対して，本論文ではBERT を用 いて単語の埋め込みを計算し，コサイン類似度によ り初心者が入力した表現とドメイン固有の表現を対応づける手法を提案する. Minecraftを対象として提案手法の評価を行った。

## 1 はじめに

あるドメインにおいてユーザが問題に遭遇した とき，キーワードを検索エンジンに入力して膨大な 情報から欲しい情報を自分で探すより，自然言語で 質問して回答を得る方が簡単である。しかし，質問者がそのドメインの初心者である場合，ドメイン固有の用語を知らないために，それを他の単語で表現 することがある．そのような表現を含む質問に対し てシステムは適切な回答を返せないことが考えら れる.

そこで本論文では，あるドメインの質問応答シス テムにおいて初心者が使用することを想定し，質問中の表現をドメイン固有の正式な名称に対応づける システムの構築を行う. 具体的なドメインとして有名なコンピュータゲームである Minecraft ${ }^{1)}$ を対象と する.

Minecraft には多様なオブジェクトが存在し，プレ イヤーが取れる行動が多様で自由度が高い。そのた め，何をすれば良いか分からないという初心者ユー ザが多く，コミュニティサイトでは様々な質問のや り取りがなされている.

Minecraft における質問応答システムに関して， Dumont et al. [2016] はコーパスを作成し，質問応答

1) https://www.minecraft.net/
システムの実現可能性を示した．しかし，Minecraft には特有の用語が存在するため, 前述の問題が起こ りうる。例えば，“melon”という物体はスイカのよ うな見た目であることから “watermelon”と，また， スイッチの機能を持つ “lever”を“switch”と言い換え られることがある．既存の質問応答システムはこの ように使用されている表現に対応できない可能性が ある。そこで，例えば “How do I craft a switch?” とい う質問文の “switch” という単語を正式な名称である “lever”に対応づけることで，ドメインの知識をあま り持っていない初心者でも使える質問応答システム の実現を目指す。

このような対応付けを実現するために，単語 の埋め込みを計算し，コサイン類似度により対応する用語を判断する．埋め込みには，Word2Vec [Mikolov et al., 2013], Global vectors [Pennington et al., 2014], BERT [Devlin et al., 2018] といった数多くの手法が使われているが，本論文では文脈を考慮できる BERT を用いて，初心者による表現をより精度よく 正式な名称に対応づける。

## 2 関連研究

本論文で扱う現象は言い換えの一種とみること ができる. Niu et al. [2021] は，質問応答システムの 精度向上を含む幅広い応用を目指し，教師なし学習 によるパラフレーズの生成の手法を提案した．教師 なし学習は手動によるラベル付きの必要がないた め，より簡単に構築できる。 Behrendt and Harmeling [2021] は，BERT を拡張し， ArgueBERT という二つ の文の類似度を計算することによりパラフレーズ を検出するモデルを提案した． Wang et al. [2021] は， ドメイン特有の知識も考慮した上で BERTを用いて パラフレーズを検出する方法を提案した.

これらに対し，提案システムでは事前学習済み BERT の埋め込みを利用し，コサイン類似度により
関連の用語を出力する. Niu らは教師なし学習を 利用するのに対し, 本研究では事前学習済み BERT を用いるため，手動によるラベル付けのみならず Finetuning も必要なく，より簡単に構築できる.

また，Behrendt らと Wang らは文単位でパラフ レーズか否か判定するのに対し，提案システムでは ランキングをもとに質問文の表現に対応するドメイ ン固有の表現を提示する. これは, 初心者による言 い換えは必ずしも正確な言い換えとは限らないた め，類似している用語をいくつか提示することによ り，柔軟に対応できるからである.

## 3 提案システム

図 1 提案システムの概要

提案システムは, 図 1 に示すようにドメイン固有 の表現 (用語) に対して事前にドメインの知識を持つ ユーザが作成したテキスト (ドメインコーパス)を用 いて，その埋め込みを計算しておく。そして，入力 された質問文中の単語に対して，その埋め込みを計算し, ドメイン固有の表現とのコサイン類似度を求 め，ランキングの 1 位のものを対応として出力，ま たは，上位のランキング結果を提示する. テキスト の分割には BERT の tokenizer を用いる.

## 3.1 埋め込み

埋め込みの計算は事前学習済み BERT (bert-base(uncased) ${ }^{2)}$ を用いる. 単語の埋め込みは BERT が出力する 768 次元の最後の隠れ層を使う.

質問文中の表現の埋め込みと用語の埋め込みのコ サイン類似度の計算方法は次の 2 種類を用いる。
- Mean-of-Posts : 各用語 $w$ に対し，ドメインコー パスに出現した $w$ の埋め込みの算術平均を $w$ の埋め込みとし，それと入力単語の埋め込みの コサイン類似度を求める
- Max-Post：各用語 $w$ に対し，ドメインコーパス に出現した $w$ のそれぞれの埋め込みと大力の単語の埋め込みとのコサイン類似度を計算し, そ の最大値を $w$ とのコサイン類似度とする

2) https://huggingface.co/bert-base-uncased

## 3.2 Tokenization

文を BERT に入力する際に， tokenizer を用いて文 をトークンに分割する必要があるが，用語によって tokenizer の動作が異なることがある.

複数形の扱い 単語の複数形に対して 2 種類の 分割が存在する。一部の単語の複数形は単数形と 語尾の-s と 2 個のトークンに分割される. 例えば, “lever” の複数形 “levers” は “lever” と “\#\#s” に分割さ れる.この場合，単数形の埋め込みがそのまま使え るため，“\#\#”を無視して単数形の埋め込みを考慮 すればよい，一方，複数形がそのまま 1 個のトーク ンになる単語も存在する. 例えば, “block”の複数形 “blocks” は “block” と “\#\#s" と 2 個のトークンでは なく，そのまま “blocks” という 1 個のトークンにな る.この場合, 複数形のトークンは単数形のトーク ンと異なるため, 求めた埋め込みに差が出てしま い，単数形の埋め込みのみ考慮すると複数形に対応 できない恐れがある。そこで，用語の複数形にも対応できるように，複数形が単数形と異なるトークン に分割される場合，単数形だけでなく，複数形の埋 め込みも求め, 用語 $w$ との類似度として, $w$ の単数形との類似度と $w$ の複数形との類似度のうち高い方 と選ぶ.

マルチトークン 単語が複数のトークンに分割さ れたり, 複数の単語からなる用語が存在するため, 1 つの表現が複数のトークンで構成されることが ある。例えば, “ender pearl”は “end”, “\#\#er”, “pearl” と 3 個のトークンに分割される。そのため，類似度 の計算においてはマルチトークンの表現への対策が 必要となる. マルチトークンの表現の埋め込みには 次の 2 種類の計算方法を用いる。

・Last-Token：最後のトークンの埋め込みを表現全体の埋め込みとする。
- Mean-of-Tokens : 全てのトークンの埋め込みの 算術平均を全体の埋め込みとする。

## 4 評価

## 4.1 データセット

Minecraft を対象のドメインとして提案システム の評価を行う．考慮する Minecraft の用語としては Dumont et al. [2016] が提案した質問応答コーパスで 列挙された 443 個のエンティティを採用する.いく

つかのエンティティには別称が付いている3)ため， これらの別称を含めて合計 465 個の用語を対象と する.

ドメインコーパスとして Minecraft に関する Reddit の投稿4)を用い，465 個の用語に対する埋め込みを 計算した. Reddit からは 76437 投稿が取得でき，そ の中で 465 語のうち 457 語, 443 エンティティの うち 438 エンティティが 1 回以上出現している. BERT による Minecraft の用語 $w$ の埋め込みを求め る際には $w$ を含む文を入力する必要があるため， Reddit の投稿から $w$ が出現した投稿のタイトルを利用した。また，評価用のデータとして Dumont らも 使用した GameFAQs ${ }^{5}$ という QA サイトの Minecraft に関する質問文のタイトルを用いた。このサイトか らは 986 個の質問が取得できた。

## 4.2 結果と考察

評価データの各表現に対し，457 個の Minecraft の 用語とのコサイン類似度ランキングを作成した. 埋 め込みが有効であれば，評価データの質問文に含ま れる Minecraft の用語に対する類似度ランキングに おいて，その用語自体が 1 位になるはずである。例 えば, “How to get glass?" という質問文の “glass” と いう表現に対して用語の類似度ランキングを作成 すると, “glass” 自体が Minecraft の用語であるため, “glass”がランキングの 1 位になることが期待され る.これを利用し, 埋め込みの有効性を検証する ために, GameFAQs の質問文で合計 598 回出現した 126 種類の用語自体の順位を分析した。

表現間の類似度の計算は 3.1 で言及した Meanof-Posts と Max-Post の 2 種類を用い，マルチトーク ンの表現の埋め込みは 3.2 で言及した Last-Token と Mean-of-Tokens の 2 種類を用い，これらの組み合わ せである 4 種類の手法に対して評価を行った。

各手法において用語自体が 1 位になった割合を 表 1 に，用語の順位の分布と 1 位とならなかった用語の類似度の分布を図 2 に示す。

Max-Post \& Mean-of-Tokens の精度が最も良いが， Max-Post は用語の個々の埋め込みとの類似度を計算 するためストレージや計算能力が必要となる.この 点を考慮すると, Mean-of-Posts \& Last-Token の精度 が良いと見ることができる.

表 11 位になった用語の割合

また，BERT は文脈を考慮した埋め込みを出力 するため，入力の文に誤字が含まれると，得られ る埋め込みが変化し，特に Max-Postを利用する場合ではランキングが大きく変化してしまう。一方， Mean-of-Posts を利用する場合，投稿間の埋め込みの 平均を取るため，安定した埋め込みが得られると考 えられる。

入力の単語と用語が共通語尾を持つ場合，埋め込 みが近くなり，順位上で完全に分離できず， 1 位に ならないことがある.しかし， 1 位ではなくても比較的高い順位に用語が表れていれば，上位の用語を 提示することでユーザに適切な用語の発見を促すこ とができると考えられる。

## Mean-of-Posts \& Last-Token

最下位となった用語の順位は 8 位であった. 用語自体が 1 位にならなかった事例では, 入力の 単語と共通の語尾を持つ用語が上位になった. 8 位になった事例は “Do monsters still attack in creative mode?” であり, 入力の表現は “creative mode” だっ た. 用語との類似度は 0.8186 であり，このときの 1 位は “adventure mode” (類似度 0.8807) だった。 2〜7 位も同様に“mode”という語尾を持つ用語であった.

1 位にならなかった用語の類似度は全て 0.7 以上 と高いため，質問応答システムは 1 位の単語のみな らず，全て類似度の高い用語を関連の用語として ユーザに提示することができる.

## Max-Post \& Last-Token

最下位となった用語の順位は 137 位であった. その事例は "Blockes will no drop blockes after I break them?” という質問文であり，入力の表現は “Block” だった. “Block”という用語自体との類似度は 0.6074 だったが， 1 位が “Spider”(類似度 0.7847)， 2 位が “Mob”(類似度 0.7737) であった。この事例の “Blockes”という単語は, “Block” の複数形と思われ るが，正しい綴りは “Blocks”である。この誤字に より埋め込みが大きく影響されてしまい，正解が

Self similarity whose rank $>1$
(Mean-of-Posts \& Last-Token)

Self similarity whose rank >

Self similarity whose rank $>1$
Mean-of-Posts $\&$ Mean-of-Tokens)

Self similarity whose rank $>1$

図 2 順位の分布 (上図)と 1 位とならなかった用語の類似度の分布 (下図)

得られなかったと考えられる。実際に“Blockes”を “Blocks"に修正すると, “Spider” との類似度が 0.3052 に, “Mob”との類似度が 0.3583 に下がり, “Block”自体との類似度が 0.6288 に上がった. このことか ら，この手法は誤字の影響を受けやすいと言える.

## Mean-of-Posts \& Mean-of-Tokens

最下位となった用語の順位は 5 位であり，Meanof-Posts \& Last-Token と比べると，全体的には良い性能となり，最下位の用語の順位は良くなったが， 1 位でない単語の類似度は低くなった。 入力が“Mob spawners mayhem” という質問文で入力の単語が “Mob”である事例では，Mean-of-Posts \& Last-Token において 1 位が “Mob”(類似度 0.3393 ) であったが， Mean-of-Posts \& Mean-of-Tokens において “Mob” が 2 位となり，1 位がマルチトークンである lava slime(類似度 0.3862 )となった. これは，トークン間の平均 を取ったことにより，埋め込みに食い違いが発生し たと考えられる。

## Max-Post \& Mean-of-Tokens

最下位となった用語の順位は 170 位だった. 順位が極端に低い単語は 170 位と 18 位の 2 個であ り，両方とも入力に誤字が含まれていた. 170 位 は Max-Post \& Last-Token の項で言及した “Blockes” の 例であり，18 位は “Wheather”(“Whether” の誤字) で あった。これらを除外すると，最下位の用語の順位 は 5 位になり，1 位でない単語の類似度は全て 0.7 以上と高くなるため，質問文に誤字が含まれていな ければ，Max-Post \& Mean-of-Tokens による埋め込み は有効であると考えられる。

## 4.3 異なる表現間のマッピング

4.2 では入力表現に対して，対応する Minecraft の 用語が 1 位となることを正解として評価したが，実際に対話システムで使うことを考えると 2 位以下の 候補を利用する可能性もある．そこで，4.2で対象 とした表現を除いた合計 1,310 個 (543 種類) の名詞 を対象としてランキングを作成し， 1 位の用語との 類似度が高い名詞を分析した。

類似度が 0.8 以上になった名詞を確認したとこ ろ, 多くは "game" $\rightarrow$ "the game", "mode" $\rightarrow$ "hardcore mode”といった，用語と共通語尾を持つ名詞であ り, 類似度が 0.7 程度の単語を確認したところ, "circuits" $\rightarrow$ "redstone wire", "farm" $\rightarrow$ "plant" といっ た，関連用語の対応が得られた。また，数は少な かったが，“space” $\rightarrow$ “inventory slot”といった我々が 想定しているような言い換えも得られた。

## 5 おわりに

本論文では，特定ドメインにおける初心者が用い る表現をドメイン固有の表現に対応づけるシステム を提案した。具体的なドメインとして Minecraft を 対象とし，コミュニティサイトのデータを用いて評価を行い，埋め込みを計算する 4 種類の手法を比較 し，その特性や有効性を考察した。

実際の対話システムの環境で，より多くの事例を 収集するために Ogawa et al. [2020] の基盤を用いて 初心者と経験者のペアを組ませて対話を収集し，事例の分析やシステムの改良を行う予定である.

## 謝辞

本研究は JSPS 科研費 JP19H04167 の助成を受 けた。

## 参考文献

M. Behrendt and S. Harmeling. Arguebert: How to improve bert embeddings for measuring the similarity of arguments. In Proceedings of the 17th Conference on Natural Language Processing (KONVENS 2021), pages 28-36, 2021.

J. Devlin, M.-W. Chang, K. Lee, and K. Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018.

C. Dumont, R. Tian, and K. Inui. Question-answering with logic specific to video games. In Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC'16), pages 4637-4643, 2016.

T. Mikolov, K. Chen, G. Corrado, and J. Dean. Efficient estimation of word representations in vector space. arXiv preprint arXiv:1301.3781, 2013.

T. Niu, S. Yavuz, Y. Zhou, N. S. Keskar, H. Wang, and C. Xiong. Unsupervised paraphrasing with pretrained language models. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pages 5136-5150, 2021.

H. Ogawa, H. Nishikawa, T. Tokunaga, and H. Yokono. Gamification platform for collecting task-oriented dialogue data. In Proceedings of the 12th Language Resources and Evaluation Conference, pages 70847093, 2020 .

J. Pennington, R. Socher, and C. D. Manning. Glove: Global vectors for word representation. In Proceedings of the 2014 conference on empirical methods in natural language processing (EMNLP), pages 1532-1543, 2014.

H. Wang, F. Ma, Y. Wang, and J. Gao. Knowledge-guided paraphrase identification. In Findings of the Association for Computational Linguistics: EMNLP 2021, pages 843-853, 2021.


# 司法試験自動解答におけるルールベースと機械学習のシステム構築と アンサンブル

藤田真伎 ${ }^{1}$ 狩野芳伸 ${ }^{1}$
1 静岡大学 情報学部
mfujita@kanolab. net
kano@inf.shizuoka. ac.jp

## 概要

法律分野における自然言語処理技術の利用は，大 きく期待されている応用分野の一つである．究極的 な目標は裁判過程の自動化であり，裁判のコストの 高さや，判決を市民に説明するといった課題に対応 できる可能性がある. 法律分野の自然言語処理技術 に関するワークショップとして，我が国司法試験の 民法分野短答式問題の自動解答を行い性能を競う COLIEE が毎年開催されてきた. 我々は COLIEE の 含意関係認識タスクを対象に，ルールベースのシス テムと機械学習ベースのシステムの実装, 改良を行 い, さらにこの二つのシステムのアンサンブルを行 い，解答性能の向上を確認した。

## 1 はじめに

法律分野の自然言語処理技術に関するワークショ ップとして, 我が国司法試験の民法分野短答式問題 の自動解答を行い性能を競う Competition on Legal Information Extraction and Entailment (以下 COLIEE) [1]が毎年開催されてきた. COLIEE の Task 4 は民法条文一覧と過去問題が与えられ，それをもとにシ ステムを作成し, テスト問題の解答の精度を競うも のである.このタスクは，図 1 のように問題文と その問題を解くのに必要な関連民法条文の二つが与 えられ，問題文が正しいか否かを Yes かNo の二択 で答え,解答の精度を競うものである.

COLIEE 2021 の Task 4 に，我々はルールベース の解答方法を用いるシステム [2]を使用した。他の チームは BERT [3]を中心に使用するチーム [4] [5] [6]や T5 をベースにアンサンブルを行うチーム [7]，グラフニューラルネットワークを用いるチー ム[8]など機械学習ベースのシステムを使用してお り，ルールベースのシステムを使用するチームは 我々のみだった。推論過程がブラックボックスであ
る機械学習ベースのシステムと異なり，ルールベー スのシステムは人間の思考に沿った推論を行うこと ができため，究極的な目標である裁判過程の自動化 の際に重要となる, 説明可能な出力といった面で優 れている.

本論文では，ルールベースのシステムの改良を説明し，また BERT を用いた機械学習ベースのシス テムの実装, 改良を行う。その後, 二つのシステム のアンサンブルを行った結果, 精度が向上した.こ のことから，ルールベースのシステムは説明可能な 出力が可能なだけでなく, 精度向上にも貢献できる ことが確認できた.

図 1 COLIEE Task 4 (含意関係認識) の問題例

## 2 関連研究

ルールベースのシステムの先行研究として星野 [9]のものがあり，これをべースに用いる。これは 文章を構文解析システム [10]で解析し, 解析結果 から節分割をする。 その後, 解析結果を再度使用 し, 各節で主語, 述語, 目的語の節セットを抽出し て解答を行うものである。このシステムは複数のモ ジュールに分かれており，モジュールにより解答方法と精度が異なる。詳細探索モジュールは関連民法条文と問題文節セットが全て一致していたら比較を 行う，曖昧探索モジュールは節セットのうち二つが
一致していたら比較を行うなど比較条件が異なって いる.

2021 年に開催された COLIEE 2021 において,

Task 4 では BERT を用いた北海道大学のチーム [4] が最高の成績を収めた。このチームは, 主に訓練デ 一タの拡張と BERT のアンサンブルによって性能向上を図っている。訓練データの拡張には, 配布さ れる民法条文一覧を使用している，文章を分割する ことでデータ数を増やし, またその文章の一部を否定形にすることで論理を反転させることでもデータ 拡張をしている。また複数の BERT のアンサンブ ルも行っており, 異なるデータで学習させたモデル の中で, 精度の高いものを複数選択し結果をアンサ ンブルすることにより精度を向上させた.

## 3 提案手法

## 3.1 ルールベースのシステムの改良

## 3. 1.1 モジュールの構成

我々が以前に構築したルールベースのシステム [9]を改良し，精度の向上を図る.モジュールの詳細は次項以降で説明する．モジュールごとに解答で きる問題と正答率が異なるため, 正答率の高いモジ ュールから順に解答を行い, 最後に全ての問題に解答できるが正答率の低い全探索モジュールで解答を 行っている. 全探索モジュールで多くの問題に解答 してしまい, 全体の正答率が下がるのが問題点とな っていたため, 多くの問題に解答でき正答率の高い 中間層の項探索モジュールを作成し, 精度向上を図 った. 図 2 がモジュールの構成図である.

図 2 ルールベース改良後モジュール構成図

## 3. 1.2 二重構文解析

既存のシステムでは, 文章を一度構文解析し, 文章を複数の節に分割した後, その構文解析結果を再度使用し, 節ごとの主語, 述語, 目的語の節セット を作成していた. しかし, この方法では文章が長文 の場合に節セットが上手く抽出されない場合や，入 れ子構造に対応できないことがあった. そのため,節分割後に再度構文解析を行い，その結果を節セッ 卜抽出に使用することで上記の問題に対応した.こ の手法は全てのモジュールで使用する.

## 3.1.3 新規節セット

先述の二重構文解析を用いても，節セットが全て 抽出されない場合があった. そのような場合に備え 節セットの抽出方法を改善した。構文解析結果を使用しても節セットが全て抽出されなかった場合, 助詞の「は」や「が」の前に位置する単語を主語に,助詞の「に」と「を」の前に位置する単語を目的語 に設定した。また，比較しやすい節セットの作成の ため，人物名を全て「人」に，「甲」「乙」「丙」 を全て「物」に置き替える処理を追加し，比較を行 いやすい節セットを作成した。

## 3.1. 4 項探索モジュール

先述の新規節セットを用いた新たなモジュールを 作成する.このモジュールを項探索モジュールとし た. このモジュールでは新規節セットと既存の節セ ットの両方を使い，節セット内のどれか一つでも一致したら比較対象とみなし解答を行う. 複数の条文 が一致した場合, 一致数が多いものを優先し, 数が 同じ場合は精度が高いと考えられる既存の節セット で一致したものを優先する。

## 3.2 機械学習ベースのシステムの実装

機械学習手法として BERTを用いた. 14 年分の 過去問題のうち 2 年分を検証データ，残りを訓練デ 一タとして使用したものを 7 回実行し，全ての過去問題を検証に使用した。入力の最大文字列長は 512 とし，それ以上の長さの問題は解答を行わない。

## 3. 2.1 否定形

先行研究 [4]にならい，文末を否定形にすること でデータ拡張を行う. 先行研究では与えられた民法条文一覧のみを否定形にすることでデータ拡張して

いたが，提案手法では過去問題の問題文部分も否定形にすることで更なるデータ拡張を行う。

## 3.2. 2 データセットのリスト化

与えられた関連民法条文は，複数の条文に分かれ ている場合があるため, そのような場合は条文ごと に分割し使用する. 分割後の民法条文と, 問題文を セットにすることでデータ拡張を行う.

## 3. 2.3 置き替え

民法条文の中には，条番号で他の条文を参照する 場合が存在する. そのような場合, 参照先の条文の 情報がないと適切な解答が行えないと考え, 人手で 条番号を実際の条文の内容に置き替えたデータを作成した. また, これにより文章が長くなりすぎ解答 に不利になってしまう可能性も考慮し, 置き替え前 のデータと置き換え後のデータの両方を使用する.

## 3. 2.4 組み合わせ

分割により民法条文部分に必要なデータが含まれ なくなるなる可能性が考えられるため, 分割後のデ 一タから全ての組み合わせで再度民法条文部分を構築し, データ拡張と過不足のない民法条文の作成を 同時に行う.

## 3.2.5 AB 置き換え

過去問題の中には, 人物名がアルファベットで登場する場合があり, そのような問題は解答率が低い 傾向にある. そこで, 問題に二回以上人物名が登場 した場合，それらをアルファベットに置き替えるこ とで訓練データを拡張し, このような問題に対応で きる可能性を向上させた.

## 3. 2.6 解答の決定

推論の際に, 分割された複数の問題が異なる答え を示す場合がある。そのような場合は, Yes と No の解答数を比べ，解答数の多いものをそのモデルの 最終的な解答とする。また，結果のばらつきをなく すため同一の訓練データでモデルを 5 回作成し推論 を行う. その際, 5 個の出力の Yes の数と No の数 を再度比較し, 多いほうを最終的な解答として出力 する.

## 3.3 アンサンブル

ルールベースのシステムと機械学習ベースのシス テムのアンサンブルを行い, 精度の向上を図る. ア
ンサンブルの基準にはルールベースのシステムの上位モジュールを使用し，上位モジュールで解答でき た問題はルールベースのシステムの解答結果を，そ れ以外の問題は機械学習ベースのシステムの解答結果を用いる。どこまでを上位モジュールとするかを 検討するため，全てのパターンでテストを行う．

## 4 結果

## 4. 1 ルールベースのシステムの結果

COLIEE 2021 に提出した, ルールベースのシステ ムの実行結果について記述する。提出時のシステム の H18 R01 の過去の問題, R02 のテスト問題に対す る結果は表 1 のようになった. なお, ベースライン は今回の改良の行う前の, 前年度までのルールベー スのシステムである.

表 1 ルールベースのシステム問題害行結果

 &  &  &  \\

## 4.2 機械学習ベースのシステムの結果

機械学習ベースのシステムで過去の問題, テスト 問題に対し， 5 回ずつモデルの作成，推論を行いそ の結果を統合したものが表 2 である.

表 2 機械学習ベースのシステム問題実行結果

 &  &  &  &  &  \\

## 4. 3 アンサンブルの結果

過去問題,テスト問題の解答についてのアンサン ブルを行う．アンサンブルに用いる結果は，ルール ベースのシステムは表 1 に記載した KIS1 の結果,機械学習ベースのシステムは表 2 の最下段に記載 した全ての提案手法を用いる設定での実行結果を用 いる. なお, COLIEE 2021 提出後にシステムの軽微 な不具合を発見したため，少し修正を加えた。その ためルールベースのシステムの解答結果が少しだけ 異なっている.

結果を表に示したものが表 3 である. 例として，曖昧探索の行に記されている結果は，ルールベース のシステムの詳細探索, 曖昧探索モジュールまでで 解答できた問題についてはルールベースのシステム の解答結果を使用し, 解答できなかったその他の問題については機械学習ベースのシステムの解答結果 を使用する。

表 3 アンサンブルの結果

 &  \\

## 5 結果 $\cdot$ 考察

## 5.1 ルールベースの結果・考察

過去問題 806 問に対し実行した結果, 表 1 からシ

スト問題に対して実行した場合, 訓練データと比べ あまり精度が高くなかった。しかし, 改良前のルー ルベースのシステムであるべースラインの正答率は 0.513 と改良後の KIS1 3 より低くなっていた。この ことから, 改良により精度が低下したのでなく, ル ールベースのシステムが今回のテスト問題と相性が 悪かったと考えられる。

## 5. 2 機械学習ベースの結論・考察

表 2 から提案手法を用いたシステムは用いなか ったシステムより過去問題の解答精度が向上してい た。また，どれか一つの提案手法用いなかったもの は，提案手法を全て用いたものの精度と同等もしく は低下していた。よって全ての提案手法がマイナス には働いていないと考えられる。

テスト問題では提案手法を用いないものの方が精度は高かった。しかし, 提案手法を用いないものの 精度が過去問題と比べかなり高いこと，テスト問題 の問題数の少なさから，提案手法の有効性を否定で きる結果ではないと考え, 有効性については今後さ らなる検討が必要である。

## 5.3 アンサンブルの結論 ・ 考察

表 3 から，詳細探索モジュールのみ，または詳細探索+曖昧探索モジュールのルールベースのシステ ムの解答と，それ以外の問題の機械学習ベースのシ ステムの解答をアンサンブルしたものは，どちらか 一方のシステムの解答のみの場合よりも精度が向上 した. このことから，アンサンブルに使用するルー ルベースのシステムのモジュール選択が適切であれ ば, アンサンブルは非常に有効であると考えられる.

一部の問題のみしか解答できなくとも，高精度で 解答を行えるモジュール，システムがアンサンブル の際には有効であり，そのようなシステムを作成し アンサンブルすることで更なる精度向上が期待でき る.

## 6 おわりに

本論文では，ルールベースのシステムの改良，機械学習ベースのシステムの実装と改良を行い，それ らのアンサンブルを行った。結果，ルールベースの システム改良，アンサンブルで特に精度の向上を確認できた.

アンサンブルによる精度の向上は，精度の高い一 つのシステムだけでなく複数のシステムを使用する ことの有効性を示す結果となった。また，ルールベ ースのシステムを用いたアンサンブルにより精度が 向上したことから，ルールベースのシステムは説明可能な出力といった面のみならず，精度向上にも貢献できることを示せた.

今後は説明可能な出力を考慮しながら, 機械学習 ベースのシステムの改良の有効性の検討，アンサン ブルを前提としたモジュール，システムの実装に取 り組んでいきたい.

## 参考文献

[1] Summary of the Competition on Legal Information Extraction/Entailment (COLIEE) 2021. Juliano Rabelo, Randy Goebel, Yoshinobu Kano, Mi-Young Kim , Masaharu Yoshioka, Ken Satoh. Proceedings of the Eighth International Competition on Legal Information Extraction/Entailment (COLIEE 2021) , 2021 , pp. 1-7.

[2] Predicate's Argument Resolver and Entity Abstraction for Legal Question Answering: KIS teams at COLIEE 2021 shared task. Masaki Fujita, Naoki Kiyota, Yoshinobu Kano. Proceedings of the Eighth International Competition on Legal Information Extraction/Entailment (COLIEE 2021), 2021 , pp. 1524.

[3] BERT: Pre-training of Deep Bidirectional

Transformers for Language Understanding. Jacob Devlin , Ming-Wei Chang , Kenton Lee , Kristina Toutanova. arXiv:1810.04805v2, 2019.

[4] BERT-based Ensemble Methods with Data Augmentation for Legal Textual Entailment in COLIEE Statute Law Task. Masaharu Yoshioka, Yasuhiro Aoki , Youta Suzuki. ICAIL '21: Proceedings of the Eighteenth International Conference on Artificial Intelligence and Law, 2021 , pp. 278-284.

[5] ParaLaw Nets - Cross-lingual Sentence-level Pretraining for Legal Text Processing. Ha-Thanh Nguyen, Vu Tran, Phuong Minh Nguyen, Thi-Hai-Yen Vuong, Quan Minh Bui, Chau Minh Nguyen, Binh Tran Dang, Minh Le Nguyen, Ken Satoh. Proceedings of the Eighth International Competition on Legal Information Extraction/Entailment (COLIEE 2021), 2021 , pp. 54-59.

[6] BM25 and Transformer-based Legal Information Extraction and Entailment. Mi-Young Kim, Juliano Rabelo, Randy Goebel. Proceedings of the Eighth International Competition on Legal Information Extraction/Entailment (COLIEE 2021) , 2021 , pp. 2530. [7] A Pentapus Grapples with Legal Reasoning. Frank Schilder, Dhivya Chinnappa, Kanika Madan, Jinane Harmouche, Andrew Vold, Hiroko Bretz, John Hudzina. Proceedings of the Eighth International Competition on Legal Information Extraction/Entailment(COLIEE 2021), 2021 , pp. 60-68.
[8] Using Contextual Word Embeddings and Graph Embeddings for Legal Textual Entailment Classification. Sabine Wehnert, Shipra Dureja, Libin Kutty, Viju Sudhi, Ernesto W. De Luca. Proceedings of the Eighth International Competition on Legal Information Extraction/Entailment (COLIEE 2021), 2021 , pp. 6977.

[9] Question Answering System for Legal Bar Examination using Predicate Argument Structures focusing on Exceptions. Reina Hoshino, Naoki Kiyota, Yoshinobu Kano. Proceedings of the Sixth International Competition on Legal Information Extraction/Entailment (COLIEE 2019), 2019 , pp. 38-44.

[10] 日本語構文・格・照応解析システム KNP. 京都大学 大学院情報学研究科 知能情報学専攻 黒橋・褚・村脇研究室. (オンライン) (引用日: 2022 年 1 月 6 日.) https://nlp.ist.i.kyoto-u.ac.jp/?KNP.

## 付録 A

## A1 先行研究のシステムのモジュー

## ル概要

ルールベースのシステムの先行研究として星野 のシステムについて関連研究で述べた。星野のシス テムのモジュール構成図は図 A 1 のようになってい る.

図Ａ1 星野のルールベースのシステムモジュー ル構成図

詳細探索モジュールでは, 関連民法条文と問題文 の文末の節を比較し, 主語, 述語, 目的語からなる 節セットが全て一致していた場合のみ比較を行う。曖昧探索モジュールでは, 主語と述語のペア, 又は 述語と目的語のぺアが一致していたときに比較を行 う. 全探索モジュールでは節セットの比較をせずに 推論を行う。

## A2 COLIEE 2021 提出結果

ルールベースのシステムを COLIEE 2021 に提出 した際の，参加チームの結果一覧が表 A 1 である. KIS1 3 は表 1 と一致している.表 A 1 COLIEE 2021 Task 4 各チーム提出結果

 & Accuracy \\
& BaseLine & 57 & 0.5309 \\
HUKB & HUKB-2 & 55 & 0.7037 \\
HUKB & HUKB-1 & 55 & 0.6790 \\
HUKB & HUKB-3 & 54 & 0.6667 \\
UA & UA_parser & 51 & 0.6296 \\
INLP & INLP.Enss5C15050 & 51 & 0.6296 \\
JNLP & INLP.Enss5C15050SilverE2E10 & 51 & 0.6296 \\
JNLP & JNLP.EnssBest & 48 & 0.5926 \\
OVGU & OVGU_run3 & 48 & 0.5926 \\
TR & TR-Ensemble & 48 & 0.5926 \\
TR & TR-MTE & 45 & 0.5556 \\
OVGU & OVGU_run2 & 44 & 0.5432 \\
KIS & KIS1 & 44 & 0.5432 \\
KIS & KIS3 & 44 & 0.5432 \\
UA & UA_1st & 43 & 0.5309 \\
KIS & KIS2 & 43 & 0.5309 \\
UA & UA_dl & 41 & 0.5062 \\
TR & TR_Electra & 36 & 0.4444 \\
OVGU & OVGU_run1 & & \\


# 深層学習モデルは司法試験をどこまで解いているのか :問題分類とそれに基づく分析

清田直希 ${ }^{1}$ 藤田真伎 ${ }^{2}$ 狩野芳伸 ${ }^{1}$
1 静岡大学大学院 総合科学技術研究科 情報学専攻 2 静岡大学 情報学部
nkiyota@kanolab.net mfujita@kanolab.net kano@inf.shizuoka.ac.jp

## 概要

自然言語処理技術の法的応用は重要であるが，テ キストの専門性が高く, 複雑な構文・意味構造の法律文書を処理するのは依然として難しい。司法試験 の自動解答を題材とした COLIEE では，多くの参加 チームが end-to-end の深層学習モデルを提出してお り,一見高いスコアを獲得しているように見えるが, これらのモデルはブラックボックス的な処理のため,解答の根拠を示すことは難しい. 本稿での問題分類 とシステム出力の詳細な比較により、現在のシステ ムは未だ正しい推論過程に基ついた自動解答を行え ていないことが示唆された。

## 1 はじめに

近年，自然言語処理技術は急速に発展し，様々な 分野での活用が期待されている。司法の分野も例外 ではなく，法律文書は文章中の事象を客観的に判断 しなければならないことから，自然言語処理の導入 に期待が高まっている。

本研究では，毎年開催されている我が国の司法試験の自動解答を行うコンテスト型のワークショップ COLIEE タスクシリーズ[1]-[7]で配布されたデータ を対象とする. COLIEE2021[8]で，我々は日本語の 述語項に着目した解答器を作成した. その他のチー ムは，汎用的自然言語処理モデル BERT[9]を使用し た機械学習的なアプローチで自動解答を実現してい た.

法律文書の処理は，専門性の高い言語が多く用い られているうえ，複雑な構文構造や人物関係，言い 換え表現など高度かつ多様な解析技術を必要とする 複合的な要素がある。こうした, 複雑な文書処理に ついて現状の自然言語処理モデルが論理的な解答を 行っているのかを, 問題分類を通して分析した。最後に，この分析に基づいて，説明可能な自動解答モ
デルの実現について論じる

## 2 司法試験の自動解答タスク COLIEE

## 2. 1 COLIEE

COLIEE (Competition for Legal Information Extraction and Entaiment)は, COLIEE 2014，COLIEE 2015 , COLIEE 2016 と人工知能学会国際シンポジ ア (JSAI-isAI)のひとつである JURISIN (法情報学ワ ークショップ)において開催してきた. COLIEE 2017 は法と人工知能に関するトップカンファレンスであ る ICAIL (International Conference of Artificial Intelligence and Law)において開催された. COLIEE 2018 からはカナダ法を用いたタスクが追加された が，本稿では我が国の司法試験を用いたタスクのみ を対象とする。

司法試験は弁護士や裁判官，検察官となろうとす る者を対象に行われる試験である。問題形式は択一問題を含む短答式と論文式に分けられて行われる.試験の科目数については，短答式が憲法，民法，刑法の 3 科目であり，論文式が公法系科目 (憲法及び 行政法に関する分野), 刑事系科目 (刑法及び刑事訴訟法に関する分野), 選択科目 (知的財産法, 労働法 などの中から 1 科目選択する)の 4 科目である.

COLIEE ではこのうち民法短答式試験を対象とし ている. 多択を 2 択にブレークダウンするとともに，解答に関連する条文を検索する情報検索タスク (Information Retrieval)と， 2 択を Yes/No で答える含意関係タスク (Entailment)がある。また，知識源と して民法の全条文を配布し，問題文共々原文の日本語に加え，英語に翻訳したものを配布している。

COLIEE 2021 では, 5 つのタスクが用意され, Task1 と 2 はカナダの判例法を用いたタスクであった. Task3 が情報検索タスク, Task4 が含意関係タスクで あった．以下で各タスクを定式化する。
情報抽出タスクでは, 与えられた問題文 $\mathrm{Q}$ を解答 するのに関連する民法条文のサブセット $\mathrm{S}_{1}, \mathrm{~S}_{2}, \cdots$, $\mathrm{S}_{\mathrm{n}}$ を民法全体から抽出する。

含意関係タスクは，与えられた問題文 $\mathrm{Q}$ を同時に 与えられた民法条文のサブセット $\mathrm{S}_{1}, \mathrm{~S}_{2}, \cdots, \mathrm{S}_{\mathrm{n}}$ が含意するかを解答するタスクである. すなわち, 含意関係にあれば Yes，そうでなければ No と解答する。

Task5 は司法試験の問題文のみを与えられ, 条文検索から解答まで行う Task3 と 4 を組み合わせたタ スクとなっている。本稿では Task 4 を対象とする.

なお, Task 4 と 5 においては 2 択のブレークダウ ンによって, 法律文書を正しく理解していなくても， Yes/No で解答をすれば $1 / 2$ の確率で正解になってし まうため, 解答の論理性が失われる点が課題とされ ている.

## 2.2 分析対象の解答器モデル

本稿では我々が COLIEE 2021 において作成した 解答器である KIS1[10]を分析対象に用いる. この解答器は我々の COLIEE 2020 のモデル[11]をベースに しており, 述語項構造の抽出比較が基盤になってい る. 本モデルは従来のモデルの節セットに加えて,関連条文中には登場しない表現を抽象表現に置き換 え(例 : “甲” $\rightarrow$ “物”), 節分割により節セットの要素 を埋められれなかった場合, 隣接する節の引数を利用して要素を埋める新規節セットを用いている. ま た, 従来では問題文と関連条文の文末の節セットの みが比較対象であったが, 本解答器ではすべての節 セットを比較することができる項探索モデルを実装 した. 本解答器は我々が提出したものの中で最も高 い精度であった。

また, 本稿の分析のためにシンプルな BERT を用 いた解答器(Vanilla BERT モデル)を作成した. 本モ デルは日本語の Wikipedia で訓練されているi. 事前訓練に使用されたテキストファイルは約 1,700 万文 で構成されており, サイズは 2.6GB である. ファイ ンチューニングの際には, COLIEE で出題された過去の問題から作成された 2,164 の訓練データを使用 した.

COLIEE 2021 では 80 問の問題を対象に解答の精度を競った. 我々が分析対象とするモデルは, 述語項ベースの正解が 44 (正答率: .550), vanilla BERT の 正解が 50 (正答率: .625)であった.

## 3 司法試験の問題分類

司法試験を解答するうえでは，背後にある構文構造, 人物の役割と関係性, 論理, 抽象性など多様で 複雑な構造を的確に処理をする必要がある。 どの問題解答にどのような要素技術が必要か, 平成 29 年度以降のテストデータを対象に解答に必要な要素基準 ごとに手作業でマルチラベル分類をした．分類の基準を表 1 に示す. 本節ではうちいくつかの分類基準 を概説する。

## 表 1 COLIEE 司法試験問題の技術別分類基準

分類名分類基準文章の一部を省略している際に，それが何

照応解析 を指しているのかを明確にする際に用い る.「こそあど言葉」のみだけではなく「前文」「同項」なども対象となる

条文検索 条文中に別の条文が指定されている問題

意味役割

付与問題文の中で用いられている名詞が動作主なのか・その動作の対象なのか, 手段な のか等を特定する必要がある問題

## 条件文抽

出・判断問題文・条文のそれぞれの条件文を調べる ことで正誤が判断できる可能性がある問題

係り受け主語と述語の関係 又は文の並列関係に着解析 目する必要がある問題

箇条書き

解析条文で箇条書きが用いられている問題. 主 に箇条書きに書かれているものは条件を 満たす変数とみなしてよいと考える。

法律系用 民法に記載されている文章と司法試験中語事実関での言動についての事実関係を示す必要

係 がある問題

## 否定形解又は「〜できない(不可能)」「〜しなけれ

釈 ばならない(義務)」など「ない」が用いら れていてもその意味が異なる問題法律系の言語ではない一般生活で用いら

一般辞書 れるような事物が出てきている問題(例:冷蔵庫, 会社)

 \\

付与 & 必要がある問題

## 3.1 照応解析

照応解析は，文章中で登場する「これ」や「この」 などの指示内容を明確にする解析である．前述の指示しに加えて，「前章」や「同項」など司法試験特有の指示表現もあり，言語処理においてはその内容 を正しく理解する必要がある.

## 3.2 条件文抽出・判断

条件文抽出・判断は問題文及び条文の条件文を調 べることで正誤判定ができる可能性がある問題であ る. 例えば以下のような問いである。

関連条文 :

第百六十条 相続財産に関しては，相続人が確定し た時, 管理人が選任された時又は破産手続き開始の 決定があった時から六箇月を経過するまでの間は，時効は，完成しない。

問題文 (正答: No) :

相続財産に関しては, 相続財産管理人が選任された 場合でも，相続人が確定するまでの間は，時効は完成しない.

太字の部分が文章中の条件である.この場合, 相続財産の時効不成立の条件が正誤の判断材料になる.関連条文では, 管理人選任時から六箇月間は時効が 完成しないと記載されているのに対し, 問題文では 相続人が確定するまでの間と主張されている.この ように,これらの文は条件が異なっていることから，答えは Noとなる.

## 3.3 法律系用語事実関係

法律系用語事実関係とは, 法的な知識を要する表現の関係性である。例えば，問題文では「売買」，関連条文では「双務契約」と記述されていた場合，前者が後者の包含関係にあることを正しく理解しな ければ関連条文の内容を適用するかどうかを判断で きない。つまり，直接記載されていたり，肯定形や 否定形を入れ替えたりしただけの単純な問題ではな い.

## 3. 4 否定形解釈

否定形解釈は，条文及び問題文の否定形を正しく 解釈したうえで，正誤の判断材料にするタスクであ る. 以下のように条文の内容を否定形に反転した司法試験の問題も見受けられる.

関連条文:

第六百七十五条 組合の債権者は, その債権の発生 の時に組合員の損失分担の割合を知らなかったと きは，各組合員に対して等しい割合でその権利を行使することができる.

問題文 (正答: No):

組合の債権者は, 各組合員に対して, その権利を行使することができない.

このように, 関連条文の内容を否定形にすること で，問題文の主張の正誤も反転する。つまり，この 問題の答えは No となる.

否定形解釈は一見，文末の「ない」を認識できれ ば簡単に評価できるように思えるが，以下のような 問いでは「ない」のみで判断することが難しい.

関連条文：

第六百三十三条 報酬は，仕事の目的物の引き渡し と同時に，支払わなければならない.

問題文 (正答: No) :

請負人は，仕事の目的物の引き渡しを要する場合に は，これを引き渡した後でなければ，報酬を請求す ることができない.

この場合，条文と問題文それぞれに「ない」が用 いられている.しかし, 後者は否定形なのに対して,前者は「義務」を表しているため,この問題の答え は No となる. つまり，この問題を解くためには， これらの「ない」に内在される意味を把握しなけれ ばならない.

## 3.5 人物関係抽出 $\cdot$ 人物役割付与

## 関連条文:

第二百条 占有者がその占有を奪われたときは，占有回収の訴えにより，その物の返還及び損害の賠償 を請求することができる。

問題文 (正答: Yes):

A は自己の所有する工作機械を B に賃貸していた が，B は，工作機械の賃貸借契約継続中に工作機械 をCに窃取された。この場合，Bは，Aから独立し て，Cに対して占有回収の訴えを提起することがで きる.

先に示した例では，問題文を関連条文と単純に比較することは難しく，正しい解答を出すためには A やB といった人物がどんな関係性であり，それぞれ の人物がどのような役割を担っているのかを明らか にする必要がある．この場合，A と B は「賃貸借契約」の関係性である。こうした複数の人物間の関係性を明らかにする必要がある問題には人物関係抽出 のタグをつけた。一方で，A は「賃貸人」，B は「賃借人」となり, 工作機械を「占有」していることに なる。このように，各人物が問題文中でどのような 役割を担っているのかを明らかにする必要がある問題が人物役割付与である.

## 4 説明可能な自動解答に向けた分析

## 4. 1 問題分類別の正答率

表 2 BERT モデルの問題分類別正答率 (COLIEE2021 抜粋)

 &  &  & 艺 &  &  &  \\

表 2 は COLIEE 2021 の他参加チームのうち BERT を用いたモデルと，筆者らが作成した Vanilla BERT と, baseline（全て No と解答した場合）とについて の問題分類別の正答率を抜粋したものである. BERT モデルは古典的な自然言語処理モデルである 筆者らの KIS1 よりも，それぞれの分類で高い正答率であった。

## 4. 2 問題分類別の解答状況

本節では, 実際に出題されたテストデータを基に,問題の分析を行った (問題例については付録 Bを参照). 本問題では先の章で示したように，A や B の役割を明らかにしたうえで，下線部が「債務の目的物 の代償である権利の移転」の法律用語系事実関係で あることもあり，より難易度が高い問題だと考えら れる。使用言語別にみると，日本語モデルは $10 / 12$ に対し，英語モデルは $3 / 6$ であった。しかし本問題 では，英語では “a seller (A)”のように役割が明記さ れており前述のような人物役割の推論過程を省略で きる. 日本語よりも推論が容易にも関わらず，正答率について大きな差が出た点で現状の推論が不十分 なことを示唆できる。

## 5 議論と展望

COLIEE 2021 では 7 割程度の精度を達成した解答器も存在したが，問題分類別の分析を行った結果，同じ技術に分類された問題においても，正答率が安定していなかったため，解答器が法律文書を十分正 しく処理するためにはまだ多くの課題があると考え る．法律分野における実用を想定すると，推論過程 とその根拠を示す必要がある．現状の 2 択式で解答器の精度を計る評価方法については，新たな評価尺度を追加し，ブラックボックス的な処理の弊害を除 きうる説明可能な技術の開発を進めたい.

## 謝辞

本研究は JSPS 科研費 17H06103 の助成を受けたも のです.また，COLIEE のオーガナイザの方々には 本研究に使用したデータを提供していただきました ことを厚く御礼申し上げます。

## 参考文献

[1] "Competition on Legal Information

Extraction/Entailment (COLIEE-14), Workshop
on Juris-informatics (JURISIN) 2014," 2014. http://webdocs.cs.ualberta.ca/ miyoung2/jurisin_ task/index.html.

[2] M.-Y. Kim, R. Goebel, and K. Satoh, "COLIEE-2015 : Evaluation of Legal Question Answering," in Proceedings of the Ninth International Workshop on Juris-informatics (JURISIN 2015), 2015, pp. 1-11, [Online]..

[3] M.-Y. Kim, R. Goebel, Y. Kano, and K. Satoh, "COLIEE-2016: Evaluation of the Competition on Legal Information Extraction and Entailment," in Proceedings of the Tenth International Workshop on Juris-informatics (JURISIN 2016), 2016, pp. 1-13, [Online].

[4] Y. Kano, M.-Y. Kim, R. Goebel, and K. Satoh, "Overview of COLIEE 2017," in Proceedings of the Competition on Leal Information Retrieval and Entailment Work-shop (COLIEE 2017) in association with the 16th International Conference on Artificial Intelligence and Law, 2017, vol. 47, no. no.Icail, pp. 1-8.

[5] M. Yoshioka, Y. Kano, N. Kiyota, and K. Satoh, "Overview of Japanese Statute Law Retrieval and Entailment Task at COLIEE-2018," in Proceedings of the Twelfth International Workshop on Juris-informatics (JURISIN 2018), 2018, pp. 1-12.

[6] R. Goebel, Y. Kano, M.-Y. Kim, J. Rabelo, K. Satoh, and M. Yoshioka, "COLIEE 2019 Overview," in Proceedings of the Competition on Legal Information Retrieval and Entailment Workshop (COLIEE 2019) in association with the 17th International Conference on Artificial Intelligence and Law, Jun. 2019, pp. 1-9.

[7] J. Rabelo, M.-Y. Kim, R. Goebel, M. Yoshioka, Y. Kano, and K. Satoh, "COLIEE 2020: Methods for Legal Document Retrieval and Entailment," in Proceedings of the Fourteenth International Workshop on Juris-informatics (JURISIN 2020), 2020, pp. 1-15.

[8] R. Goebel, Y. Kano, S. Univesity, M. Kim, and J. Rabelo, "Summary of the Competition on Legal
Information Extraction/Entailent (COLIEE) 2021," in Proceedings of the COLIEE Workshop in ICAIL., 2021, pp. 1-7.

[9] J. Devlin, M.-W. Chang, K. Lee, and K. Toutanova, "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding," Oct. 2018, Accessed: Jan. 08, 2020. [Online]. Available: http://arxiv.org/abs/1810.04805.

[10] M. Fujita, N. Kiyota, and Y. Kano, "Predicate's Argument Resolver and Entity Abstraction for Legal Question Answering: KIS teams at COLIEE 2021 shared task," in Proceedings of COLIEE 2021 Workshop on International Conference on Artificial Intelligence and Law (ICAIL 2021), 2021, pp. 15-24.

[11] R. Hayashi, N. Kiyota, M. Fujita, and Y. Kano, "Legal Bar Exam Solver integrating Legal Logic Language PROLEG and Argument Structure Analysis with Legal Linguistic Dictionary," in Proceedings of the Fourteenth International Workshop on Juris-informatics (JURISIN 2020), 2020, pp. 148-161.

[12] M. Yoshioka and Y. Suzuki, "BERT-based ensemble methods with data augmentation for legal textual entailment in COLIEE statute law task," in Proceedings of the COLIEE Workshop in ICAIL., 2021, pp. 78-83.

[13] M.-Y. Kim, J. Rabelo, and R. Goebel, "BM25 and Transformer-based Legal Information Extraction and Entailment," in Proceedings of the COLIEE Workshop in ICAIL., 2021, pp. 25-30.

[14] H.-T. Nguyen et al., "JNLP Team: Deep Learning Approaches for Legal Processing Tasks in COLIEE 2021," in Proceedings of the COLIEE Workshop in ICAIL., 2021, pp. 46-53.

[15] S. Wehnert, S. Viju, D. Shipra, K. Libin, S. Saijal, and W. de L. Ernesto, "Legal norm retrieval with variations of the bert model combined with TF-IDF vectorization," 2021.

## 付録 A COLIEE 2021 formal run の問題分類別正答率

Table 1 COLIEE 2021 Task4 formal run の問題分類別正答率 (チーム名はそれぞれ a1: HUKB-1, a2: HUKB-2, a3: HUKB-3, b1: JNLP.Enss5C15050, b2: JNLP.Enss5C15050SilverE2E10, b3: JNLP.EnssBest, c1: KIS1, c2: KIS2, c3: KIS3, d1:OVGU_run1, d2: OVGU_run2, d3: OVGU_run3, e1: TR-Ensemble, e2: TR-MTE, e3: TR_Electra, f1: UA_dl, f2: UA_parser, g: our Vanilla BERT, h: COLIEE_baselineを表している)

 &  &  &  &  &  &  &  &  &  &  &  &  &  &  &  &  &  &  &  \\

## 付録 B

問題文 (正答: Yes):

A と B は，Ａが所有する骨董品甲を B に 100 万円で売却する旨の売買契約を締結した．売買契約の締結後，B が 代金 100 万円を支払ったが，A が甲を B に引き渡す前に，甲が B の責めに帰すべき事由により焼失した場合にお いて，A が甲の焼失による損害をてん補するために支払われる損害保険金 70 万円を得たときは， B は，A に対し， 70 万円の支払を請求することができる.

(If, after the conclusion of the contract for sale, a buyer (B) pays 1000000 yen for $\mathrm{X}$, but before a seller (A) delivers $\mathrm{X}$ to B, $\mathrm{X}$ is burned-out due to grounds attributable to $\mathrm{B}$, and $\mathrm{A}$ obtains 700,000 yen of the insurance money for damage caused by the destruction of X, B may claim payment of 700,000 yen to A.)

関連条文:

第四百二十二条の二 債務者が，その債務の履行が不能となったのと同一の原因により債務の目的物の代償であ る権利又は利益を取得したときは，債権者は，その受けた損害の額の限度において，債務者に対し，その権利の 移転又はその利益の償還を請求することができる。

(Article 422-2 If the obligor acquires a right or profit as a substitute for the subject matter of the obligation due to the same cause as the one that has rendered the performance of the obligation impossible, the obligee may demand the transfer of the right or reimbursement of the profit from the obligor, to the extent of the amount of damage sustained thereby.)