# 類似度を利用した変換テーブルの精度向上

森本世人
鳥取大学 工学部
b16t2117c@edu.tottori-u.ac.jp

## 1 はじめに

機械翻訳において，相対的意味論に基づいた変換主導型統計機械翻訳 [1](Transfar Driven Statistical Machine Translation : 以下, TDSMT) が提案されている. TDSMT では変換テーブルを用いて翻訳を行う．変換テーブルと は $\ulcorner A$ が $B$ ならば $C$ は $D$ である」という $A, B, C, D$ の 相対性に基づいて関係を定義したテーブルである.ここ で $A$ と $B$ は単語である.また， $C$ と $D$ は単語もしくは句 である.

変換テーブルを自動的に作成する際に，誤つた変換テー ブルを作成してしまうという問題点が存在する. そとてで，従来手法では誤った変換テーブルを削除するために変換 テーブルを生成した後に，枝刈りを行う．従来行われて いる枝刈りの手法は， $A$ と $B, C$ と $D$ の対訳単語確率を 用いた枝刈りである.しかし，枝刈りの精度は未だ不十分である。

本研究では，従来手法で行う枝刈りに加えて， $A$ と $C$, $B$ と $D$ の類似度を用いて枝刈りを行うことを提案する。類似度とは注目単語の前後環境がどれだけ一致している かと定義する．提案手法を用いることで変換テーブルの 精度を向上できると考える [2].

## 2 変換テーブル作成方法

変換テーブルは対訳学習文からパターンを用いて自動作成する. 以下に変換テーブルの作成手順を示す. また,表 1 に変換テーブルの作成過程の例を示す.

## 手順 1 対訳単語の作成

対訳文 (1) と対訳単語確率 (IBM model 1[3]) を利用 して対訳単語を作成する. 対訳単語は変換テーブルの $A$ と $B$ の部分に相当する.

手順 2 パターンの作成

手順 1 で作成した対訳単語に相当する部分を変数化 し,パターンを作成する.

手順 3 変換テーブルの作成対訳文 (2) とパターンを照合する. パターンにおいて 変数が一致した対訳句は変換テーブルの $C$ と $D$ の部分に相当する.

## 3 従来手法

## 3.1 対訳単語確率 [4]

対訳単語確率とは入力言語の単語が出力言語の単語 に訳される確率を示している。対訳単語確率が高いほど もっともらしい訳であると考えられる . 值は IBM model 1 によって求める.

日本語単語 $A$ が英語単語 $B$ に訳される対訳単語確率を

\author{
村上仁一 \\ 鳥取大学 工学部 \\ murakami@tottori-u.ac.jp
}

表 1 変換テーブルの作成過程

} & \multicolumn{2}{|c|}{ 日本語 } & \multicolumn{2}{|c|}{ 猫 } \\

$\operatorname{prob}(A B)$ とする.入力言語と出力言語を入れ替えた対訳単語確率 $\operatorname{prob}(B A)$ も同樣に計算する.

## 3.2 対訳単語確率を用いた枝刈り

以下に手順を示す。

手順 1 変換テーブルより $\operatorname{prob}(A B), \operatorname{prob}(B A)$, $\operatorname{prob}(C D), \operatorname{prob}(D C)$ の値を計算する.

手順 2 単語ごとに光れ光れ，順位付けする。

手順 3 任意の順位を閾値として枝刈りを行う。

従来手法の問題点として, 誤った変換テーブルが多く 残る点がある。

## 4 提案手法

## 4.1 類似度

誤った変換テーブルは $A$ と $C$ や $B$ と $D$ 置き換え可能性が低いと考える. $A$ と $C$ や $B$ と $D$ 類似度で枝刈り をすると精度の向上が見込める．類似度が高い単語らは，置き換え可能性が高いと仮定する. 本研究では，類似度 とは前後単語の環境と定義する.よって注目単語におけ る前後単語の一致度が高いほど類似度が高いと考える。

4.2 類似度を用いた枝刈り

以下に手順を示す . 類似度の値を $\operatorname{sim}($ )とする。

手順 1 従来手法の枝刈りを行う

手順 2 変換テーブルより $\operatorname{sim}(A C), \operatorname{sim}(B D)$ の値を計算 する.

手順 3 任意の値を閾値として枝刈りを行う。

## 4.3 類似度の計算

二つの日本語単語 $A$ と $C$ の類似度の値を $\operatorname{sim}(A C)$ とす ると $\operatorname{sim}(A C)$ は以下の式 4.3 で計算する.

$
\begin{aligned}
\operatorname{sim}(A C)=\log _{2}\{ & \frac{\operatorname{count}\left(A_{\text {context }} \cap C_{\text {context }}\right)}{\operatorname{count}\left(A_{\text {context }}\right)} \\
& \left.\times \frac{\operatorname{count}\left(A_{\text {context }} \cap C_{\text {context }}\right)}{\operatorname{count}\left(C_{\text {context }}\right)}\right.\}
\end{aligned}
$

$\operatorname{count}(X)$ :集合 $X$ の単語の総数

$
A_{\text {context }}, C_{\text {context }} \text { : 単語 } A \text { と } C \text { の前後単語の集合 }
$

上記の式は One-hot の word2vec に類似している.なお 類似度の計算においては 2 単語連続を 1 単語として用 いる.式 4.3 を英語単語 $B$ と $D$ でも同樣の計算を行い $\operatorname{sim}(B D)$ とする.

## 5 実験条件

## 5.1 実験データ

電子辞書などの例文より抽出した単文コーパス [5] を用 いる . 使用するデータは対訳学習文約 160,000 文である .学習文より生成された枝刈り前の変換テーブルの数は約 2,064 万個である . 枝刈り前の変換テーブルの精度は誤 り率 $76 \%$ である.

## 5.2 評価方法

枝刈り後の変換テーブルをランダムに 100 個抽出する．抽出した変換テーブルに対して人手で正解か否かで 2 值評価する . 変換テーブルの評価は置き換え可能性の評価 が難しい．よって，翻訳に用いる際最も重要となる $C$ と $D$ の対訳関係を評価する．

## 6 実験

6 章の実験の目的は , 変換テーブルの精度向上である．光して，提案手法と従来手法を比較する.

## 6.1 閥值

実験 1 で用いた閾値を表 2 に示す.表 2 実験で用いた閾値

## 6.2 実験結果

評価結果を表 3 に示す.

表 3 従来手法と提案手法の誤り率

表 5.2 の結果より，提案手法による変換テーブルの精度向上が確認できた . 提案手法により，誤り率が約 $28 \%$ から $3 \%$ に向上する.一方で変換テーブルの数が約 $81 \%$減少した。

## 6.3 出力例

提案手法の出力例を表 4 と表 5 に示す. 表 4 は正解と 評価される変換テーブルである . 表 5 は誤りと評価され る変換テーブルである。

従来手法では出力し，提案手法では出力できなかった 例を表 6 と表 7 に示す.表 6 は誤りと評価される変換表 4 提案手法における正解の出力

表 5 提案手法における誤りの出力

テーブルである . 表 7 は正解と評価される変換テーブル

 & $D$ &  \\

である.

表 6 提案手法における変換テーブルの改善例

表 7 提案手法における変換テーブルの改悪例

提案手法は間違った変換テーブルを出力から削除でき る (表 6). 一方で, 正解の変換テーブルも削除している (表 7).

## 7 考察

## 7.1 単語と句に分けた調査

枝刈りした変換テーブルにおける単語と句の内訳を調査する. 方法として , 6 章で枝刈りした変換テーブルの $C$ と $D$ に当たる部分が単語-単語, 単語-句, 句-単語, 句-句 でグループ分けする.

7.1.1 枝刈り前の変換テーブル

枝刈り前の変換テーブルにおけるグループごとの変換 テーブルの数を表 8 に示す.

7.1.2 枝刈り後のテーブルの調査

グループごとの変換テーブルの数を表 9 に示す.
表 8 グループごとの変換テーブルの数

表 9 グループニ゙との変換テーブルの数

次に，表 9 の各グループを評価した . グループごとに ランダムに 100 個ずつ抽出して評価した. 評価結果を表 10 に示す.

表 10 誤り率

表 10 より, 句-句のグループでは誤り率が $38 \%$ から $11 \%$ に向上した.

## 7.1.3 出力例

7.1 節における句の出力例を表 11 と表 12 に示す. . 表 11 は正解と評価した例である. 表 12 は誤りと評価した 例である

表 11 提案手法における句の正解例

 & $D$ &  \\

表 12 提案手法における句の誤り例

7.2 変換テーブルの評価 ( $A$ と $\mathrm{C}, B$ と $D$ の置き換え可能性)

今回は簡易的に評価を行うために $C$ と D の部分の訳が 適切であるかで評価を行った. しかし変換テーブルの構成を考えると $A$ と $\mathrm{B}$ の訳の適切さや $A$ と $\mathrm{C}, B$ と $D$ の 置き換え可能性も考慮に入れて評価する. 光こで， 6 章 で用いた変換テーブルに注目して評価を行う。

## 7.2 .1 評価結果

評価結果を表 13 に示す.

表 13 従来手法と提案手法の誤り率

## 7.2 .2 評価例

7.2 章で評価した変換テーブルの例を示す. . 表 14 は正解と評価した例である。

$
\text { 表 } 14 \text { 評価例 }
$

表 14 において対訳関係は正しいと考える.ここで置き 換え可能性を考える．「少し」は副詞であり，「調査」は名詞である．副詞は後ろに何を伴っても良い．よってA と $C$ は置き換え可能性があると考えられる．

表 15 は正解と評価した例である.

表 15 評価例

表 14 と同樣に表 15 も対訳関係は正しいと考える. 同樣に，置き換え可能性を考える。「では」は主に接続助詞 と係助詞の連語であり，「限り」は名詞である．接続助詞 の前単語は名詞を取る. 名詞は複合名詞の形で名詞につ ながる可能性がある.よって $A$ と $C$ は置き換え可能性が あると考える

表 14 と表 15 で示した例のように品詞が異なった変換 テーブルの置き換え可能性を評価するのが難しい．

7.3 パターンについて

変換テーブルの作成において，複数の変数によるパ ターンが用いられている. 表 16 と 17 に変換テーブルの パターンの例を示す.

表 16 は正解と評価される変換テーブルである

表 16 パターン例

 & $D$ &  \\

表 16 では「が」と「The」のように訳されない単語を 仮定した上で，SV の形でパターンが生成され上手く対応 されている.(ここでD源文は SVO 形ではあるがV と O を一つの句として扱っている)

表 17 は誤りと評価される変換テーブルである．

表 17 と同様に $D$ の原文が命令形になっているとパ ターンが誤ってしまう例が多い。

## 7.4 変換テーブルの数を増加させた実験

7.4 節では , 変換テーブルの数を提案手法と従来手法で 同程度に揃えた上で精度を調査する.少して，提案手法 と従来手法を比較する。
表 17 パターン例

}} \\

## 7.4 .1 閾値

7.4 の実験では求められた類似度を昇順に順位付けす る.さらに , 類似度の順位を閾値とする．実験で用いた 閾値を表 18 に示す.

表 18 実験で用いた閾値

## 7.4 .2 実験結果

評価結果を表 19 に示す.

表 19 従来手法と提案手法の誤り率

表 19 の結果より，変換テーブルの数を同程度にした 際も，提案手法による変換テーブルの精度向上が確認で きた . 提案手法を用いることにより誤り率が $28 \%$ から $20 \%$ に向上する.

## 7.4.3 出力例

従来手法では枝刈りできず，提案手法では枝刈りでき た変換テーブルの例を表 20 と 21 に示す. 表 20 と 21 は 誤りと評価される変換テーブルである

表 20 提案手法による変換テーブルの改善例

表 21 提案手法における変換テーブルの改善例

この節の例については 7.5 章で考察する

## 7.5 形態素解析の問題

7.4 章で得た出力例を考察する. 表 20 と表 21 はいず れも誤りと評価した例である．

例のように，C が「し」となる変換テーブルは従来手法で枝刈りをした場合 6482 個存在する.一方提案手法 で枝刈りをすると 44 個となる．中身として従来手法では $\ulcorner し\lrcorner$ 訳として「with」や「to」などが多くある. 提案手法では「did」や「has $」\ulcorner$ made」などが列挙される.

日本語において「し」は動詞に付属して「〜した」と いう 3 単語の形で用いられることが多い. しかし, 英語 では「〜した」を 1 単語の動詞の過去形で訳される場合 が多い．また，英語文において「し」の対訳単語はない場合も多い.よって「し」の樣な単語において間違った変換テーブルを作成してしまう場合がある．提案手法では $A$ と $C$ の類似度を用いて枝刘りを行うので多くの間違っ た変換テーブルを削除できると考える．

## 7.6 閾値の選択

6 章では閾値を類似度の数值とした. 7.4 章では閾値を 類似度の順位とした. 表 3 と表 19 より閾値を類似度の 数値とした実験がより高い精度を示した . 類似度の数値 を閾値としたことで改善できる例を表 22 に示す. . 表 22 は誤りと評価される例である．

表 22 誤りが削除された例

一方 , 閾値を類似度の順位としたほうが良い例を 23 に 示す . 表 23 は正解と評価される例である.

表 23 正解が削除された例

表 22 において「listener」という表現がある．「listener $」$ という表現は学習文内で 6 度しか出現しない表現である．表 23 において「shoreline」という表現がある．「shoreline」 という表現は学習文内で 3 度しか出現しない表現である．学習文内での出現頻度が低頻度な表現は類似度の順位が 高さと類似度の値が高さが一致しない．

## 8 おわりに

本研究では , 変換テーブルの精度向上を目的とする手法を提案した. 提案手法は, 変換テーブルの同言語間の類似度を用いて枝刈りする手法である . 実験結果より ,変換 テーブル数の誤り率が $28 \%$ から $3 \%$ に改善できた . また 句-句のグループでも $38 \%$ から $11 \%$ に改善できた . よつ て，提案手法の有効性が確認できた . しかし，変換テー ブルの数が $3,698,524$ 個から 701,828 個に減少する.

## 参考文献

[1] 安場裕人, 村上仁一。“変換主導型翻訳の提案” 自然言語処理学会, 2018

年 3 月

2] 中島綜太, 村上仁一“TDSMT で作成された自動対訳句の前後環境を用いた 精度向上”, 言語処理学会第 26 回年次大会, P4-36, 2020

[3] Peter F.Brown, Stephen A.Della Pietra, Vincent J.Della Pietra, Robert L.Mercer (1993). The mathematics of statistical machine translation:Parameter Estimation. Computational Linguistics.

[4] 興梠玲架，村上仁一“パターンに基づく統計機械翻訳において変数部の総和 を使つた対訳句の抽出”, 卒業論文, 2016 年 3 月

[5] 村上仁二, 藤波進“日本語と英語の対訳文対の収集と著作権の考察”, 第一回 コーパス日本語学ワークショップ,pp.119-130. 2012.
 森本世人 鳥取大学 工学部 b16t2117c@edu.tottori-u.ac.jp  