# 折り返し翻訳を利用した言い換え生成

松本武尊 ${ }^{1}$ 村上仁一 ${ }^{2}$
1 鳥取大学工学部電気情報系学科 2 鳥取大学工学部
${ }^{1}$ b19t2108k@edu. tottori-u.ac.jp
${ }^{2}$ murakami@tottori-u.ac.jp

## 概要

言い換え技術は，機械翻訳や対話システムな ど様々なことに応用されている [1]. 本研究では, ニューラル機械翻訳 (NMT) を用いて，折り返し翻訳を行うことにより，自動で言い換え生成を行う.機械翻訳を用いた言い換え生成は，誤訳などにより 精度が低下する。この問題に対して，本研究では入力文を折り返し翻訳した結果が一致した場合のみ言 い換えとする．実験の結果，高い精度で大量の言い 換え文を得ることに成功した。

## 1 はじめに

言い換え生成は，同一言語の翻訳と捉えることが 可能である．そのため，機械翻訳を用いて言い換え 生成を行うことができる。しかし，精度があまり良 くない. その原因として, 翻訳機の精度に大きく依存してしまうことがあげられる. そこで本研究で は，折り返し翻訳を行い元の文と折り返し翻訳をさ れた文を比較する. そして，2つの文が一致したも のを採用することによって誤訳が減ると考えられ る.そこで，NMTを用いて折り返し翻訳を行い，言 い換え生成を行い，精度の調査を行う。

## 2 従来手法

言い換え生成は，様々な研究がなされてきた. 機械翻訳を用いた手法では，対訳文の一方を翻訳する ことによって，翻訳された結果ともう一方を言い 換えとしている. [2]では，言い換え認識の評価用 コーパスの構築のために，複数の翻訳機を用いて同 じ英語文を翻訳し，複数の日本語訳を得ている。こ れらの日本語訳は，言い換えとなる。図 1 に例を示 す.しかし，翻訳誤りなどによって言い換えとして 不適切なものが含まれる。 そこで，誤訳を回避する ために，BLEU 值を用いて翻訳精度が高い日本語対訳を言い換え文とすることで，言い換え生成を行っ
た.しかし，BLEU 值を用いても，誤訳を十分に回避できない.

図 1 従来手法の例

## 3 提案手法

2つの文をそれぞれ翻訳し，翻訳結果が一致した とき，2つの文は言い換え文だと予想される. そこ で，図２のようにNMT を用いて折り返し翻訳を行 い，翻訳結果が一致した場合，言い換え文とする。 それにより，誤訳が減り言い換え精度が向上すると 考えられる．以下に提案手法の例を示す。

1. 対訳英文“The signal turned green.”を英日翻訳 する

2.1の結果の“信号機が緑になった。”を日英翻訳 する

3. 日英翻訳をした結果の “The signal turned green.” と対訳英文“The signal turned green.” を比較し，一致しているかを調べる

4. 一致しているとき，英日翻訳した結果の “信号機が緑になった。”と対訳日本文の“信号は青 になった”を言い換え文とする

図 2 提案手法の例

## 4 評価方法

本研究では，人手で評価を行う．言い換えは表現 が多様であり言い換えの評価は曖昧である. そこ で，2つの意味が完全に等しくなくとも，大きな差 がなければ正解とする。

## 5 実験

本研究では，2 種類の実験を行う．また，この 2 種類の実験で生成された言い換え文からランダムに 20 文抽出を行い，人手で評価を行う.

1. 折り返し翻訳を行う実験 (提案手法)

2. 折り返し翻訳を行わない実験 (ベースライン)

## 5.1 実験条件

本研究では，OpenNMT[3]を用いて機械翻訳を行 う.また，実験データは単文の日英対訳文 163,188 文を学習及び入力として用いる。

## 5.2 実験手順

1. OpenNMT に日英対訳学習文約 16 万文を用いて 学習する

2. 英日翻訳を行う
3. 2 の結果を基に日英折り返し翻訳を行う

4. 対訳英文と 3 の結果が同一であるとき，対訳日本文と 2 を言い換え文とする

5. ベースラインと提案手法についてランダムに抽出した 20 文の人手評価を行う

## 5.3 実験結果

実験結果を表 1 に示す. 本研究では，対訳日本文 と一致したものは，同一文とみなし，言い換えに含 まない。

表 1 実験結果

表 1 より，折り返し翻訳を行うと，得られる言い 換え文の数が大きく低下する。

## 5.4 出力例

表 2 に提案手法, 表 3 にベースラインの出力結果 を示す.

表 2 提案手法の出力例

表 3 ベースラインの出力例

表 2，3より，言い換えが不正解である文は，主語 が正しく訳されていない場合がある.

## 5.5 人手評価

表 4 に入力文 20 文に対して得られた言い換え文 の人手評価結果を示す.

表 1 より，提案手法では得られた言い換え文は約 2 万 5000 文である。また, 表 4 より, 正解率は 0.850 である.ベースラインと比較すると, 大幅な改善が 見られる。

## 6 考察

## 6.1 4-Best

本研究では，大量の言い換え文を得るために， 4-Best で調査をおこなう．以下に実験手順を示す.

1. OpenNMT を日英対訳学習文約 16 万文を用いて 学習する

2. 英日翻訳を行い， 1 文ずつ日本語文を 4 文出力 する

3. 英日翻訳を行った結果の日本語文 1 文に対し て，日英折り返し翻訳を行い，4 文出力する

4. 日英折り返し翻訳を行った結果, 4 文の内 1 つ でも対訳英文と同一であるとき，対訳日本文と 英日翻訳された結果を言い換えとする

5. ベースラインと提案手法についてランダムに抽出した 20 文の人手評価を行う

## 6.1.1 4-Best における実験結果

表 5 に 4-Best における実験結果を示す.ここで，学習文, 入力文は提案手法と同じものを利用して いる.

表 5 4-Best における実験結果

表 1 と表 5 を比較すると，得られた言い換え文が 増加したことが確認できる。

## 6.1.2 4-Best における出力例

表 6 に 4-Best の場合の出力例を示す。なお，言い 換え文同士が同一になった場合や，折り返し翻訳が 一致しない場合がある. そのため, 入力文 1 文に対 して4文出力されない場合がある.表 6 4-Best における出力例

表 6 より, 言い換えが正解した文と不正解な文が 混在している場合があることが確認できる。

## 6.1.3 4-Best における人手評価

表 7 に 4-Best における入力文 20 文に対して得ら れた言い換え文の人手評価結果を示す。

表 7 4-Bestにおける入力文 20 文に対する出力の評価

表 4 と表 7 を比較すると, 得られた言い換え文が 増加しており，正解率も増加している。

## 6.1.4 4-Best における 1 文に対する人手評価

複数の出力の内，正解した言い換えがある場合，入力文に対して言い換えを得られたとしたときの結果を表 8 に示す.

表 8 4-Best における正解した言い換えがある場合の評価

表 8 より，4-Bestでは，入力文全てに対して言い 換え文を得られた。また，表 5 より，4-Bestでは得 られた言い換え文は約 13 万 5000 文である. 表 7 よ り，正解率は 0.857 である.

## 6.24 システム

NMT は，学習を行う際に乱数が用いられる. そ のため，同じ実験条件でも出力が異なる [4]. その

ため，1つのモデルで折り返し翻訳が一致しなかっ た文が複数のモデルで翻訳を行うことにより，折り 返し翻訳が一致する可能性がある。これらから，言 い換え文の増加を試みる. 本研究では，4つのモデ ルを用いて実験を行い，N-Best は 4 とする.これを 4 システムと呼ぶ.

## 6.2.14 システムにおける実験結果

表 9 に 4 システムにおける実験結果を示す.ここ で，学習文，入力文は提案手法と同様のデータを利用している.

表 94 システムにおける実験結果

表 5 と表 9 を比較すると，得られた言い換え文が さらに増加していることが確認できる。

## 6.2.2 4 システムにおける出力例

表 10 に 4 システムにおける出力例を示す. 4-Best と同様に, 最大出力数は 16 文である. しかし, 言 い換え文同士が同一文の場合や，折り返し翻訳が一致しない場合がある. よって，入力文 1 文に対して 16 文出力されない場合がある.

表 104 システムにおける出力例

表 10 より，大きく意味が異なっている文も見ら れる。

## 6.2.3 4 システムにおける人手評価

表 11 に 4 システムにおける入力文 20 文に対して 得られた言い換え文の人手評価結果を示す.表 114 システムにおける入力文 20 文に対する出力の 評価

表 7 と表 11 を比較すると, 4 システムでは, 複数出力された言い換え文同士や，対訳日本文と同一な 文が増加している. そのため, 正解率が減少したと 考える。

## 6.2.4 4 システムにおける 1 文に対する人手評価

4-Best と同様に正解した言い換えがある場合，入力文に対して言い換え文を得られたとしたときの結果を表 12 に示す.

表 124 システムにおける正解した言い換えがある場合 の評価

表 8 と表 12 を比較すると，精度が低下すること が確認できる．また，表 9 より，4 システムでは得 られた言い換え文は約 36 万 3000 文である. 表 12 より, 正解率は, 0.817 である.

## 6.3 今後の課題

本研究では対訳コーパスが存在していることを前提にしている。 そのため, 今後の課題は, 任意の入力に対しての言い換え生成である.

## 7 おわりに

本研究では, 折り返し翻訳を行った結果が一致 したことに着目して言い換え生成を行った. 結果 より，精度の向上が確認できた. また，考察より， 4-Best では人手評価で正解率が 0.857 であり, 約 13 万 5000 文の言い換え文を得た. 今後として，任意 の入力に対して言い換え生成を行い, 生成された 言い換え文を用いて，機械翻訳の精度向上を行い たい.

## 参考文献

[1] Jianing Zhou and Suma Bhat. Paraphrase generation: A survey of the state of the art. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 5075-5086, 2021.

[2] 鈴木由衣, 梶原智之, 小町守. 複数の機械翻訳を用いた 言い換え認識の評価用コーパス構築に向けて. 言語処理学会第 23 回年次大会, pp. 609-612, 2017.

[3] OpenNmt. https://pypi.org/project/OpenNMT-py/2. 2.0\%.

[4] 矢野貴大, 村上仁一. ニューラル機械翻訳に乱数が与 える影響。

[5] 乾健太郎, 藤田篤. 言い換え技術に関する研究動向.自然言語処理, Vol. 11, No. 5, pp. 151-198, 2004.

[6] 小町守, 梶原智之. 言語学習支援のためのニューラル 言い換え生成. 人工知能, Vol. 34, No. 4, pp. 451-459, 2019.

[7] 村上仁一, 藤波進. 日本語と英語の対訳文対の収集と 著作権の考察. 第一回コーパス日本語学ワークショッ プ, pp. 119-130, 2012.

[8] 藤田篤ほか. 言い換え技術の研究動向: 分類体系, 知識獲得, 応用. 研究報告自然言語処理 (NL), Vol. 2013, No. 6, pp. 1-1, 2013.
 松本武尊 ${ }^{1}$ 村上仁一 ${ }^{2}$ 1 鳥取大学工学部電気情報系学科 2 鳥取大学工学部 ${ }^{1}$ b19t2108k@edu. tottori-u.ac.jp ${ }^{2}$ murakami@tottori-u.ac.jp  