# 類似度を利用した変換テーブルの精度向上

森本世人
鳥取大学 工学部
b16t2117c@edu.tottori-u.ac.jp

## 1 はじめに

機械翻訳において，相対的意味論に基づいた変換主導型統計機械翻訳 [1](Transfar Driven Statistical Machine Translation : 以下, TDSMT) が提案されている. TDSMT では変換テーブルを用いて翻訳を行う．変換テーブルとは $\ulcorner A$ が $B$ ならば $C$ は $D$ である」という $A, B, C, D$ の相対性に基づいて関係を定義したテーブルである.ここで $A$ と $B$ は単語である.また， $C$ と $D$ は単語もしくは句である.

変換テーブルを自動的に作成する際に，誤つた変換テー ブルを作成してしまうという問題点が存在する. そとてで，従来手法では誤った変換テーブルを削除するために変換テーブルを生成した後に，枝刈りを行う．従来行われている枝刈りの手法は， $A$ と $B, C$ と $D$ の対訳単語確率を用いた枝刈りである.しかし，枝刈りの精度は未だ不十分である。

本研究では，従来手法で行う枝刈りに加えて， $A$ と $C$, $B$ と $D$ の類似度を用いて枝刈りを行うことを提案する。類似度とは注目単語の前後環境がどれだけ一致しているかと定義する．提案手法を用いることで変換テーブルの精度を向上できると考える [2].

## 2 変換テーブル作成方法

変換テーブルは対訳学習文からパターンを用いて自動作成する. 以下に変換テーブルの作成手順を示す. また,表 1 に変換テーブルの作成過程の例を示す.

## 手順 1 対訳単語の作成

対訳文 (1) と対訳単語確率 (IBM model 1[3]) を利用して対訳単語を作成する. 対訳単語は変換テーブルの $A$ と $B$ の部分に相当する.

手順 2 パターンの作成

手順 1 で作成した対訳単語に相当する部分を変数化し,パターンを作成する.

手順 3 変換テーブルの作成対訳文 (2) とパターンを照合する. パターンにおいて変数が一致した対訳句は変換テーブルの $C$ と $D$ の部分に相当する.

## 3 従来手法

## 3.1 対訳単語確率 [4]

対訳単語確率とは入力言語の単語が出力言語の単語に訳される確率を示している。対訳単語確率が高いほどもっともらしい訳であると考えられる . 值は IBM model 1 によって求める.

日本語単語 $A$ が英語単語 $B$ に訳される対訳単語確率を

\author{
村上仁一 \\ 鳥取大学工学部 \\ murakami@tottori-u.ac.jp
}

表 1 変換テーブルの作成過程

} & \multicolumn{2}{|c|}{ 日本語 } & \multicolumn{2}{|c|}{ 猫 } \\

$\operatorname{prob}(A B)$ とする.入力言語と出力言語を入れ替えた対訳単語確率 $\operatorname{prob}(B A)$ も同樣に計算する.

## 3.2 対訳単語確率を用いた枝刈り

以下に手順を示す。

手順 1 変換テーブルより $\operatorname{prob}(A B), \operatorname{prob}(B A)$, $\operatorname{prob}(C D), \operatorname{prob}(D C)$ の値を計算する.

手順 2 単語ごとに光れ光れ，順位付けする。

手順 3 任意の順位を閾値として枝刈りを行う。

従来手法の問題点として, 誤った変換テーブルが多く残る点がある。

## 4 提案手法

## 4.1 類似度

誤った変換テーブルは $A$ と $C$ や $B$ と $D$ 置き換え可能性が低いと考える. $A$ と $C$ や $B$ と $D$ 類似度で枝刈りをすると精度の向上が見込める．類似度が高い単語らは，置き換え可能性が高いと仮定する. 本研究では，類似度とは前後単語の環境と定義する.よって注目単語における前後単語の一致度が高いほど類似度が高いと考える。

4.2 類似度を用いた枝刈り

以下に手順を示す . 類似度の値を $\operatorname{sim}($ )とする。

手順 1 従来手法の枝刈りを行う

手順 2 変換テーブルより $\operatorname{sim}(A C), \operatorname{sim}(B D)$ の値を計算する.

手順 3 任意の値を閾値として枝刈りを行う。

## 4.3 類似度の計算

二つの日本語単語 $A$ と $C$ の類似度の値を $\operatorname{sim}(A C)$ とすると $\operatorname{sim}(A C)$ は以下の式 4.3 で計算する.

$
\begin{aligned}
\operatorname{sim}(A C)=\log _{2}\{ & \frac{\operatorname{count}\left(A_{\text {context }} \cap C_{\text {context }}\right)}{\operatorname{count}\left(A_{\text {context }}\right)} \\
& \left.\times \frac{\operatorname{count}\left(A_{\text {context }} \cap C_{\text {context }}\right)}{\operatorname{count}\left(C_{\text {context }}\right)}\right.\}
\end{aligned}
$

$\operatorname{count}(X)$ :集合 $X$ の単語の総数

$
A_{\text {context }}, C_{\text {context }} \text { : 単語 } A \text { と } C \text { の前後単語の集合 }
$

上記の式は One-hot の word2vec に類似している.なお類似度の計算においては 2 単語連続を 1 単語として用いる.式 4.3 を英語単語 $B$ と $D$ でも同樣の計算を行い $\operatorname{sim}(B D)$ とする.

## 5 実験条件

## 5.1 実験データ

電子辞書などの例文より抽出した単文コーパス [5] を用いる . 使用するデータは対訳学習文約 160,000 文である .学習文より生成された枝刈り前の変換テーブルの数は約 2,064 万個である . 枝刈り前の変換テーブルの精度は誤り率 $76 \%$ である.

## 5.2 評価方法

枝刈り後の変換テーブルをランダムに 100 個抽出する．抽出した変換テーブルに対して人手で正解か否かで 2 值評価する . 変換テーブルの評価は置き換え可能性の評価が難しい．よって，翻訳に用いる際最も重要となる $C$ と $D$ の対訳関係を評価する．

## 6 実験

6 章の実験の目的は , 変換テーブルの精度向上である．光して，提案手法と従来手法を比較する.

## 6.1 閥值

実験 1 で用いた閾値を表 2 に示す.表 2 実験で用いた閾値

## 6.2 実験結果

評価結果を表 3 に示す.

表 3 従来手法と提案手法の誤り率

表 5.2 の結果より，提案手法による変換テーブルの精度向上が確認できた . 提案手法により，誤り率が約 $28 \%$ から $3 \%$ に向上する.一方で変換テーブルの数が約 $81 \%$減少した。

## 6.3 出力例

提案手法の出力例を表 4 と表 5 に示す. 表 4 は正解と評価される変換テーブルである . 表 5 は誤りと評価される変換テーブルである。

従来手法では出力し，提案手法では出力できなかった例を表 6 と表 7 に示す.表 6 は誤りと評価される変換表 4 提案手法における正解の出力

表 5 提案手法における誤りの出力

テーブルである . 表 7 は正解と評価される変換テーブル

 & $D$ &  \\

である.

表 6 提案手法における変換テーブルの改善例

表 7 提案手法における変換テーブルの改悪例

提案手法は間違った変換テーブルを出力から削除できる (表 6). 一方で, 正解の変換テーブルも削除している (表 7).

## 7 考察

## 7.1 単語と句に分けた調査

枝刈りした変換テーブルにおける単語と句の内訳を調査する. 方法として , 6 章で枝刈りした変換テーブルの $C$ と $D$ に当たる部分が単語-単語, 単語-句, 句-単語, 句-句でグループ分けする.

7.1.1 枝刈り前の変換テーブル

枝刈り前の変換テーブルにおけるグループごとの変換テーブルの数を表 8 に示す.

7.1.2 枝刈り後のテーブルの調査

グループごとの変換テーブルの数を表 9 に示す.
表 8 グループごとの変換テーブルの数

表 9 グループニ゙との変換テーブルの数

次に，表 9 の各グループを評価した . グループごとにランダムに 100 個ずつ抽出して評価した. 評価結果を表 10 に示す.

表 10 誤り率

表 10 より, 句-句のグループでは誤り率が $38 \%$ から $11 \%$ に向上した.

## 7.1.3 出力例

7.1 節における句の出力例を表 11 と表 12 に示す. . 表 11 は正解と評価した例である. 表 12 は誤りと評価した例である

表 11 提案手法における句の正解例

 & $D$ &  \\

表 12 提案手法における句の誤り例

7.2 変換テーブルの評価 ( $A$ と $\mathrm{C}, B$ と $D$ の置き換え可能性)

今回は簡易的に評価を行うために $C$ と D の部分の訳が適切であるかで評価を行った. しかし変換テーブルの構成を考えると $A$ と $\mathrm{B}$ の訳の適切さや $A$ と $\mathrm{C}, B$ と $D$ の置き換え可能性も考慮に入れて評価する. 光こで， 6 章で用いた変換テーブルに注目して評価を行う。

## 7.2 .1 評価結果

評価結果を表 13 に示す.

表 13 従来手法と提案手法の誤り率

## 7.2 .2 評価例

7.2 章で評価した変換テーブルの例を示す. . 表 14 は正解と評価した例である。

$
\text { 表 } 14 \text { 評価例 }
$

表 14 において対訳関係は正しいと考える.ここで置き換え可能性を考える．「少し」は副詞であり，「調査」は名詞である．副詞は後ろに何を伴っても良い．よってA と $C$ は置き換え可能性があると考えられる．

表 15 は正解と評価した例である.

表 15 評価例

表 14 と同樣に表 15 も対訳関係は正しいと考える. 同樣に，置き換え可能性を考える。「では」は主に接続助詞と係助詞の連語であり，「限り」は名詞である．接続助詞の前単語は名詞を取る. 名詞は複合名詞の形で名詞につながる可能性がある.よって $A$ と $C$ は置き換え可能性があると考える

表 14 と表 15 で示した例のように品詞が異なった変換テーブルの置き換え可能性を評価するのが難しい．

7.3 パターンについて

変換テーブルの作成において，複数の変数によるパターンが用いられている. 表 16 と 17 に変換テーブルのパターンの例を示す.

表 16 は正解と評価される変換テーブルである

表 16 パターン例

 & $D$ &  \\

表 16 では「が」と「The」のように訳されない単語を仮定した上で，SV の形でパターンが生成され上手く対応されている.(ここでD源文は SVO 形ではあるがV と O を一つの句として扱っている)

表 17 は誤りと評価される変換テーブルである．

表 17 と同様に $D$ の原文が命令形になっているとパターンが誤ってしまう例が多い。

## 7.4 変換テーブルの数を増加させた実験

7.4 節では , 変換テーブルの数を提案手法と従来手法で同程度に揃えた上で精度を調査する.少して，提案手法と従来手法を比較する。
表 17 パターン例

}} \\

## 7.4 .1 閾値

7.4 の実験では求められた類似度を昇順に順位付けする.さらに , 類似度の順位を閾値とする．実験で用いた閾値を表 18 に示す.

表 18 実験で用いた閾値

## 7.4 .2 実験結果

評価結果を表 19 に示す.

表 19 従来手法と提案手法の誤り率

表 19 の結果より，変換テーブルの数を同程度にした際も，提案手法による変換テーブルの精度向上が確認できた . 提案手法を用いることにより誤り率が $28 \%$ から $20 \%$ に向上する.

## 7.4.3 出力例

従来手法では枝刈りできず，提案手法では枝刈りできた変換テーブルの例を表 20 と 21 に示す. 表 20 と 21 は誤りと評価される変換テーブルである

表 20 提案手法による変換テーブルの改善例

表 21 提案手法における変換テーブルの改善例

この節の例については 7.5 章で考察する

## 7.5 形態素解析の問題

7.4 章で得た出力例を考察する. 表 20 と表 21 はいずれも誤りと評価した例である．

例のように，C が「し」となる変換テーブルは従来手法で枝刈りをした場合 6482 個存在する.一方提案手法で枝刈りをすると 44 個となる．中身として従来手法では $\ulcorner し\lrcorner$ 訳として「with」や「to」などが多くある. 提案手法では「did」や「has $」\ulcorner$ made」などが列挙される.

日本語において「し」は動詞に付属して「〜した」という 3 単語の形で用いられることが多い. しかし, 英語では「〜した」を 1 単語の動詞の過去形で訳される場合が多い．また，英語文において「し」の対訳単語はない場合も多い.よって「し」の樣な単語において間違った変換テーブルを作成してしまう場合がある．提案手法では $A$ と $C$ の類似度を用いて枝刘りを行うので多くの間違った変換テーブルを削除できると考える．

## 7.6 閾値の選択

6 章では閾値を類似度の数值とした. 7.4 章では閾値を類似度の順位とした. 表 3 と表 19 より閾値を類似度の数値とした実験がより高い精度を示した . 類似度の数値を閾値としたことで改善できる例を表 22 に示す. . 表 22 は誤りと評価される例である．

表 22 誤りが削除された例

一方 , 閾値を類似度の順位としたほうが良い例を 23 に示す . 表 23 は正解と評価される例である.

表 23 正解が削除された例

表 22 において「listener」という表現がある．「listener $」$ という表現は学習文内で 6 度しか出現しない表現である．表 23 において「shoreline」という表現がある．「shoreline」 という表現は学習文内で 3 度しか出現しない表現である．学習文内での出現頻度が低頻度な表現は類似度の順位が高さと類似度の値が高さが一致しない．

## 8 おわりに

本研究では , 変換テーブルの精度向上を目的とする手法を提案した. 提案手法は, 変換テーブルの同言語間の類似度を用いて枝刈りする手法である . 実験結果より ,変換テーブル数の誤り率が $28 \%$ から $3 \%$ に改善できた . また句-句のグループでも $38 \%$ から $11 \%$ に改善できた . よつて，提案手法の有効性が確認できた . しかし，変換テー ブルの数が $3,698,524$ 個から 701,828 個に減少する.

## 参考文献

[1] 安場裕人, 村上仁一。“変換主導型翻訳の提案” 自然言語処理学会, 2018

年 3 月

2] 中島綜太, 村上仁一“TDSMT で作成された自動対訳句の前後環境を用いた精度向上”, 言語処理学会第 26 回年次大会, P4-36, 2020

[3] Peter F.Brown, Stephen A.Della Pietra, Vincent J.Della Pietra, Robert L.Mercer (1993). The mathematics of statistical machine translation:Parameter Estimation. Computational Linguistics.

[4] 興梠玲架，村上仁一“パターンに基づく統計機械翻訳において変数部の総和を使つた対訳句の抽出”, 卒業論文, 2016 年 3 月

[5] 村上仁二, 藤波進“日本語と英語の対訳文対の収集と著作権の考察”, 第一回コーパス日本語学ワークショップ,pp.119-130. 2012.