# 論文
## 二値符号予測と誤り訂正を用いたニューラル翻訳モデル

\author{
小田悠介 ${ }^{\dagger, \dagger \dagger} \cdot$ Philip Arthur ${ }^{\dagger} \cdot$ Graham Neubig ${ }^{\dagger,+\dagger \dagger}$ $\cdot$ \\ 吉野幸一郎 ${ }^{\dagger,+\dagger \dagger \dagger}$ ・中村哲 $\dagger$
}

本論文では, ニューラル翻訳モデルで問題となる出力層の時間・空間計算量を, 二值符号を用いた予測法により大幅に削減する手法を提案する。提案手法では従来のソフトマックスのように各単語のスコアを直接求めるのではなく, 各単語に対応付けられたビット列を予測することにより，間接的に出力単語の確率を求める。これにより, 最も効率的な場合で従来法の対数程度まで出力層の計算量を削減可能である.このようなモデルはソフトマックスよりも推定が難しく, 単体で適用した場合には翻訳精度の低下を招く。このため, 本研究では提案手法の性能を補償するために, 従来法との混合モデル，および二值符号に対する誤り訂正手法の適用という 2 点の改良も提案する。日英・英日翻訳タスクを用いた評価実験により, 提案法が従来法と比較して同等程度の BLEU を達成可能であるとともに, 出力層に要するメモリを数十分の 1 に削減し, CPU での実行速度を 5 倍から 10 倍程度に向上可能であることを示す.

キーワード：ニューラル翻訳，二値符号予測，誤り訂正

## Neural Machine Translation Models using Binarized Prediction and Error Correction

\author{
Yusuke Oda $^{\dagger, \dagger \dagger}$, Philip Arthur ${ }^{\dagger}$, Graham NeubiG ${ }^{\dagger, \dagger \dagger \dagger}$, Koichiro Yoshino ${ }^{\dagger,+\dagger \dagger \dagger}$ \\ and Satoshi NaKamura ${ }^{\dagger}$
}

In this paper, we propose a new method for calculating the output layer in neural machine translation systems with largely reduced computation cost based on binary code. The method is performed by predicting a bit array instead of actual output symbols to obtain word probabilities, and can reduce computation time/memory requirements of the output layer to be logarithmic in vocabulary size in the best case. In addition, since learning proposed model is more difficult than softmax models, we also introduce two approaches to improve translation quality of the proposed model: combining softmax and our models and using error-correcting codes. Experiments on English-Japanese bidirectional translation tasks show proposed models achieve that their BLEU approach the softmax, while reducing memory usage on the order of one

tenths, and also improving decoding speed on CPUs by x5 to x10.

Key Words: Neural Machine Translation, Binalized Prediction, Error Correction

## 1 はじめに

機械翻訳システムでより多くの文を対象に翻訳精度を維持したい場合, その量に応じた大きさの語彙をシステムが取り扱う必要がある。語彙サイズは様々な機械翻訳手法の性能や効率に影響を及ぼすが，特に近年活発に研究されているニューラル翻訳モデル (Sutskever, Vinyals, and Le 2014) では, 語彙サイズの増加に伴う影響が顕著である. 図 1 はエンコーダ (Encoder: 符号化器), デコーダ (Decoder: 復号器) および注意機構 (Attention) と呼ばれる個々のネットワーク構造からなる翻訳モデル (Bahdanau, Cho, and Bengio 2014; Luong, Pham, and Manning 2015) であり，ニューラル翻訳モデルとして典型的に使用される構造である。 エンコーダは入カシンボル列を連続空間上のベクトル集合に変換し，この情報をもとにデコーダが出力シンボルを 1 個ずつ順に決定する。エンコーダとデコーダの内部構造はモデルによって様々であり，典型的には複数のリカレントニューラルネットワーク (Recurrent Neural Network: RNN)を用いて構成される。注意機構はエンコーダが生成したべクトルに関する重み付き和を与えるモデルで，デコーダが次回のシンボル推定に使用する文脈情報を生成する.

ここで, ニューラルネットワークで単語等の離散的なシンボルを扱う場合, モデルの入出力

図 1 エンコーダ・デコーダモデルに注意機構を導入した典型的なニューラル翻訳モデルの概観. このうち, 出力層における内部べクトルから単語への変換が大きな計算負荷となる.
層でシンボルと内部ベクトルとの相互変換を行う必要がある。この特徴は特に出力層側で問題となる。入力層側は毎回特定の単語が与えられるため，無関係な単語に関する計算は行われないのに対し, 出力層側はあらゆる候補の中から妥当な出力単語を選択する必要があるためである. 単語選択のアルゴリズムとして語彙サイズに対する時間・空間計算量の大きな手法を選択した場合，実質的な計算コストが語彙サイズに依存することとなり，翻訳モデルを構築・運用する上での問題となる。実際，ニューラルネットワークによる単語推定で最も単純かつ標準的な手法であるソフトマックス演算は，語彙に含まれる全単語のスコアを隠れ層の一次結合として愚直に計算するため, 計算量は語彙サイズに比例する。このため, 出力層の計算をいかにして軽量化するかが重要な課題であると言える.

この問題はよく認識されており，2.2で紹介するように，従来様々な解決手法が提案されてきた. 出力層を改良するにあたっての着眼点は様々であり, 従来手法が何を重点的に解決しようとしているかはそれぞれ異なる。この中で, 特に重要と考えられる 4 つの観点を以下に示す.翻訳精度手法を適用した際, 平均的な翻訳精度が大幅に低下してはならない. 特に, 単純なソフトマックスと比較して同等程度の性能が維持可能, あるいは, 可能であればより高い性能を達成可能である手法が望ましい.

空間効率（使用メモリ量） 膨大なメモリを必要とする手法を実行するためには大規模かつシステムが専有可能な計算資源が必要であり, 携帯デバイス等の計算資源の制約の強い機器での直接実行には適さない，多くの環境に搭載可能なシステムを構築するためには，手法自体が可能な限り少ないメモリ消費の下で動作可能である必要がある.

時間効率（実行速度） 可能な限り高速に動作する手法が望ましい。高速にパラメータを学習可能であればシステムをチューニングする利便性が向上し, また運用時に高速なシステムは計算資源やユーザへの負担を減少させることとなる，空間効率と同様に，運用時に強力な計算資源が使用可能とは限らず, このため非力な CPUでも効率的に動作可能な手法がより望ましい.

並列計算との親和性運用時とは対照的に, パラメータの学習時には GPU 等の強い並列性を持つ計算資源を使用することができる場合がある．並列化の容易な手法であれば，学習時にこれらの強力な計算資源の恩恵に与ることが可能である.

これらの観点のうち，いずれの項目を特に重視するかが手法自体の特徴となる。提案手法では特に空間効率と時間効率に関して，モデルの定式化段階での計算量を削減することに主眼を置き, 翻訳精度は既存手法で最も表現力の高いソフトマックスモデルと同等程度の実現を目標とした.

提案手法による出力層はソフトマックスとは異なり，語彙中の単語に対して直接スコアを計算することは行わない，その代わり，各単語に一意な二値符号を割り当て，そのビット列を単語の表現として出力層で学習することで，間接的に単語の推定を行う。この手法を用いること

で, 最も理想的な場合で $2^{n}$ 種類の単語を $n$ ビットのみを使用して表現することが可能となるため, その推定に必要な時間・空間計算量を語彙サイズ $V$ に対して $O(\log V)$ まで減少させることが可能となる.

提案手法の基本的なアイデアはこのように単純だが，実験で示すように，単に二値符号のみを用いる手法では翻訳精度が従来手法と比べて大幅に低下してしまうという問題がある。本論文では更に，この問題に対して 2 種類の観点から提案手法を改良する手法を導入する。まず,従来のソフトマックスモデルを部分的に導入することで，高頻度語と低頻度語を分離して学習可能とする手法を提案する。また，二値符号そのものの頑健性を向上させるために，誤り訂正符号, 特に畳込み符号 (Viterbi 1967) による宇長化を施す.

実験では，二值符号予測とこれらの改善手法について，難易度の異なる 2 種類の英日・日英翻訳タスクを用いて翻訳精度の比較を行った。この結果より, 提案手法が従来のソフトマックスと遜色ない翻訳精度を達成可能であるとともに, 出力層の動作に必要なパラメー夕数, および計算時間の両面においてソフトマックスよりも優れていることを示す.

## 2 詳細な問題定義と従来研究

## 2.1 単純なソフトマックスモデルの定式化

近年のニューラル翻訳モデルでは, 多くのモデルがワンホット表現と呼ばれる単語の表示手法を入出力層に導入している。つまり, 語彙サイズ $V$ と同じ数の次元の連続空間 $\mathbb{R}^{V}$ を考え， このうちある単語 $\operatorname{ID} \operatorname{id}(w) \in\{x \in \mathbb{N} \mid 1 \leq x \leq V\}$ に対応する次元のみ 1 , 他の次元を 0 とする単位べクトル $e_{\mathrm{id}(w)} \in \mathbb{R}^{V}$ を単語の表現と見なす. 本研究では特に出力層について着目するため, 以降は単語や語彙に関する用語は全て目的言語側のみを指して用いることとする。さて, $\mathbb{R}^{V}$ の部分空間

$
\mathbb{R}_{\text {Cat }}^{V}:=\left.\{\boldsymbol{x} \mid \boldsymbol{x} \in \mathbb{R} \wedge \forall i .0 \leq x_{i} \leq 1 \wedge \sum_{i=1}^{V} x_{i}=1\right.\}
$

は $V$ 次元のカテゴリカル分布の空間を表し, 各 $e_{\mathrm{id}(w)}$ はちょうどその頂点に位置する. ここから，ワンホット表現で得られるべクトルは特定の語彙を定義域とする確率質量関数の一種と見なすことができる。ここで添字付き細字変数 $x_{i}$ はべクトル $\boldsymbol{x}$ の $i$ 番目の要素を表し，以降の式においても，他のベクトルに対して同様の記法を用いるものとする.

典型的なニューラル翻訳モデルの出力層では, 出力された $V$ 次元ソフトマックス確率分布 $\boldsymbol{v} \in \mathbb{R}_{\mathrm{Cat}}^{V}$ と, ある単語 $w$ のワンホット表現 $\boldsymbol{e}_{\mathrm{id}(w)}$ との交差エントロピーを最小化するようパラメータを学習する。図 1 に示すように, 出力層は典型的には 1 層の全結合ネットワークと見なすことができ，損失関数の計算は以下の手順となる.

$
\begin{aligned}
L_{\mathcal{H}}(\boldsymbol{v}, \mathrm{id}(w)) & :=\mathcal{H}\left(\boldsymbol{e}_{\mathrm{id}(w)}, \boldsymbol{v}\right), \\
& =-u_{\mathrm{id}(w)}+\log \sum_{i=1}^{V} \exp u_{i}, \\
\boldsymbol{v} & :=\frac{\exp \boldsymbol{u}}{\sum_{i=1}^{V} \exp u_{i}} \\
\boldsymbol{u} & :=W_{h u} \boldsymbol{h}+\boldsymbol{\beta}_{u} .
\end{aligned}
$

ここで, $W_{h u} \in \mathbb{R}^{V \times H}$ と $\boldsymbol{\beta}_{u} \in \mathbb{R}^{V}$ は勾配法で学習可能なパラメータであり, $\boldsymbol{h}$ は出力層の計算に用いる隠れ層のベクトル，H は $\boldsymbol{h}$ の次元数を表す。また $\exp \boldsymbol{u}$ はべクトル $\boldsymbol{u}$ に関する要素ごとの指数関数であり，他のベクトルに関しても同様の表記を用いるものとする．ワンホット表現はただ一つの要素が 1 であるべクトルのため, 式 (2)を交差エントロピーの定義に従って分解することで式 (3) が得られる。複数の隠れ層から出力が計算されるネットワークの場合は， $\boldsymbol{h}$ として出力層に直結する全てのべクトルを結合したものを考えればよい. 式 (5)より明らかに, 単純なソフトマックスモデルの計算には $O(H V)$ だけの時間・空間計算量が必要となる.このうち, 隠れ層の次元数 $H$ は典型的には数百から千程度で決め打ちされることが多いのに対し, 語彙サイズ $V$ は使用するコーパスによって数千から数万程度の値を選択することとなり (Sutskever et al. 2014), 出力層の計算量に直接影響を与える.

## 2.2 出力層の軽量化に関する従来手法

出力層の軽量化は, ニューラル翻訳モデルと同様のネットワーク構造を持つモデル群の中心的な話題のひとつであり，様々な着眼点に基づく手法が提案されている。これらの着眼点は以下のようなグループに分類でき，グループの異なる手法はいくつかの例外を除き基本的に併用可能である.

後処理による隠れ層の大きさの削減前述のように, ソフトマックスモデルの計算量は時間 $\cdot$

空間ともに $O(H V)$ となる。本グループに属する手法は, 学習済みのモデルに対して後処理を行い，隠れ層のサイズ $H$ の大きさを縮小することで，全体的な計算量の圧縮を行うことを目的としている。また, 出力層の直前のみでなく, モデルの隠れ層全体を削減する手法についても本グループに属するものと考えられる.

このような考えに基づく一般的な手法としては, 学習済みパラメータのノルムを比較し,実際の計算への寄与が小さいものを削除してしまう重み枝刈り (Weight Pruning) (See, Luong, and Manning 2016)，学習済みモデルの最終的な出力を教師データとし，これを再現するより小さなモデルを再学習する蒸留 (Distillation) (Kim and Rush 2016) などが挙げられる。いずれの手法においても，その着眼点は隠れ層側の圧縮であり，語彙サイズ $V$ に関しては元の計算量が維持される点に特徴がある.
確率分布の変形本グループに属する手法は, 隠れ層のサイズ $H$, 及び語彙サイズ $V$ を変えず，最終的な確率の定式化に変更を加えることで計算量を削減することを目的としており，後述するように本論文の提案手法はこのグループに属する.

階層的ソフトマックス (Hierarchical Softmax) (Morin and Bengio 2005)では, 二分木を用いて単語を階層的にクラスタリングした後, 木の根から左右どちらの枝を辿るかを二値分類問題として順に判定してゆくことで単語の推定を行う。このとき単語の生成確率は, 木の根から単語に至るまでに経由した全ての分岐に関する二値分類確率の総乗として得られる. 本手法を用いる場合, すべての単語に関する確率を求める操作は通常行わず，各分岐において選択されなかった側の枝に付属する単語は全て候補から除外される.このような貪欲探索を適用することで, 選出される単語の大域最適性が保証されない代わりに, 出力層の時間計算量を理想的には $O(H \log V)$ まで削減することが可能となる1，一方，木に含まれる分岐の数は $V-1$ であり，それぞれが固有のパラメータを持つため, 出力層全体の空間計算量はソフトマックスと同様 $O(H V)$ となり, パラメータの保持に必要なメモリの削減は期待できない。また木構造を使用することにより計算手順が複雑化するため, 並列計算を行うには実装の工夫が必要となる.

階層的ソフトマックスは単語に対応するある種の二値符号を学習するモデルであると考えられるが, 異なる観点から単語を二值符号化し, そのビット列を学習する手法としてブルームフィルタ (Bloom Filter) を適用する研究がある (Serrá and Karatzoglou 2017). この手法ではフィルタ中の各ビットが 1 になる確率を尤度関数としてモデルの学習を行っているが, フィルタ自体の特性により, ビット列から単語を復元する写像の定義が曖昧であるため，機械翻訳をはじめとした文生成タスクへ直接適用するのは難しいと考えられる。

区分ソフトマックス (Differentiated Softmax) (Chen, Grangier, and Auli 2016a) では, 単語を複数のグループに分類し, それぞれのグループを隠れ層の異なる部分と対応させることで, 比較的小さな行列の組み合わせで出力層を表現し, 計算時間・使用メモリ量の両面での向上を実現している。これはパラメータ行列 $W_{h u}$ を部分的にゼロ行列に固定することと等しい. ところが時間・空間計算量の観点では $O(H V)$ から変化がなく, 語彙サイズ $V$ が増加した際の拡張性の面では問題が残る。また, 異なるグループに属する単語間の関連性を出力層で十分扱うことができず，全結合型のネットワークを用いるソフトマックスと比較すると改善の余地が残されている.

適応ソフトマックス (Adaptive Softmax) (Grave, Joulin, Cissé, Grangier, and Jégou

2017) では, 単語を出現頻度に基づいて複数のグループに分類し，まず高頻度語のグルー プにおいて通常のソフトマックスを実行する。このときグループ内の単語とは別に，各低頻度語のグループそのものに対応するラベルを追加しておき，ソフトマックスによってそのラベルが選出された場合には該当するグループで再びソフトマックス計算を行う. この手法では，パラメータ数が低頻度語グループの推定の分だけ通常のソフトマックスから若干増加しており，推定に使用するグループ数を $G$ とすると，パラメータに関する空間計算量は $O(H(V+G))$ となる。一方で, 上位のソフトマックスで選択されなかったグループに属するパラメータは階層的ソフトマックスと同様に無視されるため, 実質的な出力層の計算の大部分を高頻度語グループのソフトマックスのみで終了することができ, 時間計算量の短縮が見込める。ただし, 選出される単語の大域最適性がモデルの設定によっては保証されない可能性があり, この点も階層的ソフトマックスと同様である.

LightRNN (Li, Qin, Yang, and Liu 2016) は各単語に 2 種類の異なるワンホット表現を割り当て, 単語推定を 2 つのソフトマックスの積に分解することで出力層の時間・空間計算量を $O(H \sqrt{V})$ に削減する手法である。この手法では 2 つのソフトマックスを RNN の異なる時刻に割り当てるため, RNN の系列長は通常のソフトマックスのちょうど 2 倍となるが，全体として階層的ソフトマックスより効率的に動作することを報告している. また，前回の学習結果を用いてワンホット表現の割り当てを修正することで，推定精度をより向上させる手法についても提案している.

サンプリング出力層が生成する確率分布を全体の計算なしに近似する手法として, 適当な数の不正解ラベルを選択し，これらと正解ラベルとの関係を損失として学習するサンプリング法が適用されることがある (Gutmann and Hyvärinen 2010; Mnih and Teh 2012; Mikolov, Sutskever, Chen, Corrado, and Dean 2013). これらの手法は学習時に語彙サイズ $V$ の時間計算量への影響を取り除くことができ，学習速度を向上させることが可能である一方， テスト時には元のモデルと同じ時間計算量を必要とする。空間計算量, 特にパラメータ数に関しては元のモデルと同一であり, 元のモデル構造を維持したまま学習時の時間計算量を削減する手法であると言える。また, 確率分布の定式化手法によっては, サンプリング法の適用に制約を受ける場合がある。

サンプリング法の効果的な応用として，単語間で分散表現を共有することでパラメータ数を削減する手法が提案されている (Chen, Mou, Xu, Li, and Jin 2016b). この手法では,各単語の分散表現を予め選出した共通単語の分散表現の線形和として定義することで, ネットワーク内のパラメータ数に関する空間計算量を語彙サイズ $V$ から共通単語数 $V^{\prime}$ （論文では $V^{\prime}=8 \mathrm{k}$ に固定）に削減している．純粋なモデルの目的関数はソフトマックスと同一であるため，このままでは線形和の操作分だけ計算量が増加してしまうが，サンプリング法を適用することでこの欠点を回避している.
語彙の変更以上の手法がすべて語彙が与えられた下での軽量化手法であるのに対し, 語彙の定義自体を変更することで $V$ そのものを小さくしてしまう手法が適用されることがある.最も単純には語彙として文字を使用する手法 (Ling, Trancoso, Dyer, and Black 2015) が挙げられるが, これはエンコーダやデコーダの生成する系列長が単語を用いた場合と比べて著しく増加してしまう欠点がある。より効率的な手法として，学習デー夕に含まれる全ての文字列を被覆する部分文字列の集合を学習し，これを語彙として使用するサブワード (Subword) 法 (Wu, Schuster, Chen, Le, Norouzi, Macherey, Krikun, Cao, Gao, Macherey, Klingner, Shah, Johnson, Liu, Kaiser, Gouws, Kato, Kudom Kazawa, Stevens, Kurian, Patil, Wang, Young, Smith, Riesa, Rudnick, Vinyals, Corrado, Hughes, and Dean 2016; Sennrich, Haddow, and Birch 2016; Chitnis and DeNero 2015; Mikolov, Sutskever, Deoras, Le, Kombrink, and Černocký 2012) が挙げられる. 語彙サイズを適切に設定し, コーパスに対し最適化されたサブワード列は, 単語列と比較して遜色ない程度の系列長を実現できることが知られているが，効果的なサブワード集合の学習に関する知識が別途必要となる ${ }^{2}$.

## 3 二値符号予測に基づく単語推定モデル

本研究で提案する手法は, いずれも前節の着眼点のうち, 確率分布の変形に基づいて計算量を削減する手法のグループに属する。本節では提案手法の基本的な定式化, 及び単純な手法からの性能の改善手法について導入する。

## 3.1 二値符号を用いた単語の表現手法

図 2(a) は従来のソフトマックスモデルによる単語推定モデルを表す. また図 2(b) は本研究で提案する二値符号を用いた単語推定モデルを表す。提案手法はソフトマックスモデルとは異なり, 各単語の生成確率をモデルが直接求めることは行わず, 二值符号の各ビットの生成確率から間接的に単語の生成確率の推定を行う。まず,

$
\boldsymbol{b}(w):=\left[b_{1}(w), b_{2}(w), \cdots, b_{B}(w)\right]: \mathcal{V} \rightarrow\{0,1\}^{B}
$

を各単語 $w$ に直接対応するビット列とする。ここで各 $b_{i}(w) \in\{0,1\}$ はそれぞれ独立した $w$ に関する二值決定関数であり，B はビット列に含まれるこれらの関数の個数とする．また $\mathcal{V}$ は語彙を表す。なお，本節における $V$ は単語 ID $\operatorname{id}(w)$ の異なり数を表し，実際の語彙サイズ $|\mathcal{V}|$ と

(a) ソフトマックスによる推定

(b) 二値符号推定

図 2 ソフトマックスモデルと提案手法における出力層の設計の相違点

は異なることをここで注記しておく。

議論を明確にするために, $\boldsymbol{b}(w)$, \}よびビット列から単語への逆方向の写像 $b^{-1}(\cdot):\{0,1\}^{B} \rightarrow \mathcal{V}$ に対して以下のような制約が存在するものとする。

・ $\boldsymbol{b}(w)$ は単語 $\operatorname{ID} \operatorname{id}(w)$ に関して単射である。つまり，

$
\operatorname{id}(w) \neq \operatorname{id}\left(w^{\prime}\right) \Rightarrow \boldsymbol{b}(w) \neq \boldsymbol{b}\left(w^{\prime}\right)
$

が成立する。この制約は，学習時に各単語を明確に区別して扱うために必要である ${ }^{3}$.
- $b^{-1}(\cdot)$ は左逆写像であり, 定義域は $\{0,1\}^{B}$ 全体である。つまり $b^{-1}(\boldsymbol{b}(w))=w$ が成り立つとともに， $\boldsymbol{b}(\cdot)$ の像に含まれるかどうかに関わらず，あらゆるビット列が何らかの単語に関連付けられているものとする。この制約は, 翻訳モデルの不安定性により解釈不能なビット列が生成される可能性を排除するために必要であるとともに, 4.2 節で導入する誤り訂正符号の根拠としても重要である.

これらの制約により， $V$ 種類の単語を十分に識別するために必要なビット数として

$
B \geq\left.\lceil\log _{2} V\right.\rceil
$

が自明な制約として得られる。

提案手法の出力層では, $\boldsymbol{b}(w)$ の各ビットが 1 となる確率

$
\boldsymbol{q}(\boldsymbol{h}):=\left[q_{1}(\boldsymbol{h}), q_{2}(\boldsymbol{h}), \cdots, q_{B}(\boldsymbol{h})\right] \in[0,1]^{B}
$
(w)$ の設計に隠蔽されているものとする.
}

を，式 (10) に示すように，現在の隠れ層の値 $\boldsymbol{h}$ からそれぞれ独立したロジスティック回帰モデルで推定する.

$
\begin{aligned}
\boldsymbol{q}(\boldsymbol{h}) & =\sigma\left(W_{h q} \boldsymbol{h}+\boldsymbol{\beta}_{q}\right) \\
\sigma(\boldsymbol{x}) & :=\frac{1}{1+\exp (-\boldsymbol{x})}
\end{aligned}
$

ここで $W_{h q} \in \mathbb{R}^{B \times H}$ と $\boldsymbol{\beta}_{q} \in \mathbb{R}^{B}$ は学習可能なパラメータである. これより, ある単語 $w$ が $\boldsymbol{q}(\boldsymbol{h})$ から生成される確率は, $\boldsymbol{q}(\boldsymbol{h})$ に含まれる各ビットごとの確率の積

$
\operatorname{Pr}(\operatorname{id}(w) \mid \boldsymbol{h}):=\prod_{i=1}^{B}\left(b_{i}(w) q_{i}(\boldsymbol{h})+\left(1-b_{i}(w)\right)\left(1-q_{i}(\boldsymbol{h})\right)\right)
$

として得られる. 生成確率が最大となるビット列を $\boldsymbol{q}(\boldsymbol{h})$ から得るには, 単に $q_{i}(\boldsymbol{h}) \geq 1 / 2$ である場合は 1 , そうでなければ 0 を出力ビットとすればよい.

ここまでで記述したビット列に関する制約は非常に一般的なものであり，単語とビット列を対応させる手法には様々なものが考えられる。また, 翻訳モデルにとってどのようなビット列の割り当て手法が効果的であるかは自明ではない。このため本研究では, 事前実験として複数種の割り当て手法で実際に翻訳モデルの学習を行い, その中で経験的に最も高い翻訳精度を記録した Algorithm 1 に示す単語の出現頻度に基づく手法を採用しだ ${ }^{4}$.ここで, UNK (unknown) は語彙に含まれない単語, BOS (begin-of-sentence) は文頭記号, EOS (end-of-sentence) は文末記号である。また $\operatorname{rank}(w) \in \mathbb{N}_{>0}$ は学習データ中の出現頻度に基づく各単語の順位である. Algorithm 1 によるビット列の割り当ては最も効率的な手法 $\left(B=\left.\lceil\log _{2} V\right.\rceil\right)$ であることが保証される。また, 高位のビットの組み合わせが単語のおおよその出現頻度を示していると考えられる一方, 下位のビットほどランダム性が強まり, 単語に関する頻度以外のどのような情報も保持していないと考えられる。

## 3.2 損失関数

従来のモデルと同様に, 提案手法による出力層は勾配法を用いて翻訳モデル全体と同時に最適化を行う．このため，ビット列のための損失関数はいたるところ (劣) 偏微分可能であり，また

$
L_{\mathcal{B}}(\boldsymbol{q}, \boldsymbol{b}) \begin{cases}=\epsilon_{L}, & \text { if } \boldsymbol{q}=\boldsymbol{b} \\ \geq \epsilon_{L}, & \text { otherwise. }\end{cases}
$

を満たすべきである.ここで $\epsilon_{L} \in \mathbb{R}$ は損失関数の最小値であり，学習には影響しない.
^{4}$ Algorithm 1 以外に事前に実験した手法としては, 完全なランダム, Huffman 符号 (Huffman 1952), Brown Clustering (Brown, Desouza, Mercer, Pietra, and Lai 1992), word2vec の単語ベクトルの符号に基づいた割り当て等がある. 可変長の符号については末尾を 0 で埋めることで固定長として扱った.
}
明示的に確率モデルを学習する観点では, このような損失関数として交差エントロピー

$
L_{\mathcal{B}}(\boldsymbol{q}, \boldsymbol{b}):=-\sum_{i=1}^{B}\left(b_{i} \log q_{i}+\left(1-b_{i}\right) \log \left(1-q_{i}\right)\right)
$

を用いるのが望ましいが，事前実験により二乗誤差

$
L_{\mathcal{B}}(\boldsymbol{q}, \boldsymbol{b}):=\sum_{i=1}^{B}\left(q_{i}-b_{i}\right)^{2}
$

を用いる方が最終的な翻訳精度が僅かに向上することが確認された. このため, 実験では損失関数として式 $(15)$ を使用することとした.

## 3.3 二値符号予測モデルの計算量

二値符号予測を用いた場合の出力層の計算量は, 空間計算量・時間計算量ともにビット数 $B$ に関して $O(H B)$ となる. ここで単語とビット列間の割り当てに Algorithm 1 で示したような最も効率的な手法を用いた場合, この計算量は $O(H \log V)$ に等しくなる. これは従来のソフトマックスモデルで必要とされた $O(H V)$ と比較して顕著に小さく，また $V$ 種類のラベルを識別するモデルとしては最小の計算量であると考えられる。 例として $V=65536=2^{16}$ とした場合, 出力層に必要とされるのは 16 ビット分のパラメータであり，従来法と比較して $16 / 65536=1 / 4096$程度までパラメータ数が削減されることとなる。

ここで，二值符号予測モデルは従来手法である階層的ソフトマックス (Morin and Bengio 2005) に強い制約を導入したものと捉えることが可能である．具体的には，単語のビット列への割り当てを二分法の一種に基づいて行う点は階層的ソフトマックスと提案手法の共通点であり，各ビットの推定にビット間の従属性を仮定しない点，および二分木上の同一階層で常に同じパラメータを使用する 2 点が異なる。これらの制約により，提案手法のビット列 $\boldsymbol{b}$ の各ビットは完全に並列に計算することが可能であり，式 (10)でも示したように，実質的に単一の行列による積算として表現可能である。この特徵は, 提案手法が GPU などの並列計算に特化した計算資

源上で特別な処理なしに計算可能であることを示している。また，ビット間の従属性を仮定しないため, ビットごとの独立した推定結果から常に大域最適なビット列を得られる点も階層的ソフトマックスと異なる.

## 4 二値符号予測モデルの改良

前節までで示した単純な二值符号予測には, 翻訳精度の点で問題が残っている。実験で示すように, 二値符号予測を単体で用いた翻訳モデルは, 従来のソフトマックスモデルと比較して大幅に翻訳精度の低下を招くこととなる. 4.1 節と 4.2 節では, このような翻訳精度の問題を解決するために， 2 種類の改良を導入することで二值符号予測モデルの翻訳精度を向上させる手法を提案する。

## 4.1 ソフトマックスとニ值符号予測の混合モデル

自然言語の単語のユニグラム出現頻度は Zipf の法則 (Zipf 1949)に従うことが知られており,学習データ全体のほとんどが一部の頻出語のみに偏っていると言える。その結果, ニューラル翻訳モデルの出力層から伝えられる勾配も頻出語由来のものが多数となり, 語彙全体を効率よく学習できない可能性があるという問題がある。従来のソフトマックスモデルでは, 各単語のスコアをそれぞれ独立したパラメータを用いて推定しており, 単語の出現頻度の偏りに起因する問題はこれらのパラメータ全体に分散する形で回避されていた。一方, 提案手法である二値符号予測モデルでは同一のパラメータで頻出語と希少語の両方に対応する必要があり, 学習機会の少ない希少語のビット列の学習を頻出語によって阻害されてしまう可能性がある. この問題を回避する単純な方法として, 頻出語と希少語の予測をモデル的に分離し, 一方の勾配が他万に影響を与えないようにすることが考えられる。このようなモデルとして, 本節では図 3 に示すソフトマックスと二値符号予測の混合モデルを提案する. 具体的には, 図 3 左側のソフトマックス層で, 上位 $N-1$ 位までの頻出語と「その他の単語」に相当する記号 OTHER を識別するモデルを学習する，希少語を出力するには，まず OTHER 記号をソフトマックス層で推定し,

図 3 ソフトマックスと二值符号予測の混合モデル

その後図 3 右側の二值符号推定により具体的な単語のビット列を推定する, という二段構造の推定を行う。ここで，ソフトマックス層と二値符号推定はそれぞれ独立したパラメータにより計算されるため，実際には並列計算が可能である点に注意する。この手法による各単語の生成確率は, ソフトマックス層の確率と二値符号推定による確率の積となり,

$
\begin{aligned}
\operatorname{Pr}(w \mid \boldsymbol{h}) & := \begin{cases}v_{\mathrm{id}(w)}^{\prime}, & \text { if } \operatorname{id}(w)<N, \\
v_{N}^{\prime} \cdot \pi(w, \boldsymbol{h}), & \text { otherwise },\end{cases} \\
\boldsymbol{v}^{\prime} & :=\frac{\exp \boldsymbol{u}^{\prime}}{\sum_{i=1}^{V} \exp u_{i}^{\prime}}, \\
\boldsymbol{u}^{\prime} & :=W_{h u^{\prime}} \boldsymbol{h}+\boldsymbol{\beta}_{u^{\prime}}, \\
\pi(w, \boldsymbol{h}) & :=\prod_{i=1}^{B}\left(b_{i} q_{i}+\left(1-b_{i}\right)\left(1-q_{i}\right)\right),
\end{aligned}
$

と書くことができる. ここで $W_{h u^{\prime}} \in \mathbb{R}^{N \times H}$ と $\boldsymbol{\beta}_{u^{\prime}} \in \mathbb{R}^{N}$ は学習可能なパラメータであり, $\operatorname{id}(w)$ は単語の出現頻度の順位 $\operatorname{rank}(w)$ に基づいて定義されているものとする。また, 損失関数はソフトマックス層の交差エントロピーと二値符号推定の損失の和で表記でき,

$
\begin{aligned}
L & := \begin{cases}l_{\mathcal{H}}(\operatorname{id}(w)), & \text { if } \operatorname{id}(w)<N, \\
l_{\mathcal{H}}(N)+l_{\mathcal{B}}, & \text { otherwise },\end{cases} \\
l_{\mathcal{H}}(i) & :=\lambda_{\mathcal{H}} L_{\mathcal{H}}\left(\boldsymbol{v}^{\prime}, i\right), \\
l_{\mathcal{B}} & :=\lambda_{\mathcal{B}} L_{\mathcal{B}}(\boldsymbol{q}, \boldsymbol{b}),
\end{aligned}
$

となる.ここで $\lambda_{\mathcal{H}}$ と $\lambda_{\mathcal{B}}$ はソフトマックスと二值符号推定の学習重みを決めるハイパーパラメータである。これらは実際には調整が必要だが，本研究では簡単のために $\lambda_{\mathcal{H}}=\lambda_{\mathcal{B}}=1$ のみを使用した，前述のように，希少語の推定にはソフトマックス層と二値符号予測の両者を使用するが，式 (20) の出力層における偏微分を考えれば，隠れ層 $\boldsymbol{h}$ より後段では両者の勾配が独立していることが分かる.

混合モデルの計算量は, ソフトマックス層の追加により単純な二值符号予測モデルから増加し， $O(H(N+\log V))$ となる．ただしソフトマックス層は頻出語のみを対象とするため， $N$ は $V$ と比較して通常非常に小さく抑えられることとなり，実際の計算コストの増加はそれほど大きくならないことが期待される。ソフトマックス層の大きさを変化させたときの翻訳精度への影響については，実験で詳しく調査する。

混合モデルにより頻出語と希少語を分離するという考えは, 区分ソフトマックス (Chen et al. 2016a) や適応ソフトマックス (Grave et al. 2017) で用いられた，単語クラスタごとに異なるスコア計算を用いる手法が元となっている。ただし，区分ソフトマックスでは隠れ層と出力層の
結合に制約が設けられているのに対し，混合モデルでは全結合ネットワークを使用しており，隠れ層の値全てを各出力の推定に用いる点が異なる。これは，混合モデルを適用してもモデル全体の計算量を小さく抑えられるためである。また，混合モデルの希少語部をソフトマックスに置き換えた場合, 適応ソフトマックスの分割数が 2 の場合とモデル的に一致する。このため, 混合モデルは 2 分割適応ソフトマックスの計算量に改善を加えたものと捉えることも可能である.

## 4.2 誤り訂正符号の適用

前節までで述べた単純な二値符号予測モデル，および混合モデルは，使用する二值符号自体の頑健性を考慮していない点で問題がある。具体的には， $\boldsymbol{q}(\boldsymbol{h})$ は全てのビットを誤りなく推定しなければ正しい単語を予測することができず， 1 ビット誤っただけで全く異なる単語を出力してしまう可能性がある。この問題は, ビット列全体の空間 $\{0,1\}^{B}$ に全ての単語が密に配置されていることに起因するものであり，ビット列に対して何らかの壳長性を導入することで解決できるものと考えられる。

図 4 はこの考えを簡単な例で示したものである. ここでは 2 種類の単語 “a”, “b”を 3 ビッ卜を使用して推定することを考え，各単語はそれぞれ「重心」ビット列 [000], [111] に写されるものと考える。このようなビット列の配置を選択すると, 重心同士の間には 3 ビットのハミング距離を持つこととなり，1 ビットだけの間違いであれば，その近傍にある重心ビット列を選択することで元の単語を正しく復元可能であることが分かる. 図 4 では各々の重心の近傍を灰色の領域で示している。このように，実際に記号が関連付けられたビット列同士の間隔に余裕を持たせることで多少のビット誤りを許容する手法は, 誤り訂正符号 (Shannon 1948)の中心的な考えである。より具体的には，ビット列同士が少なくとも $d$ ビットのハミング距離を持つとき, 符号化手法全体では高々 $\lfloor(d-1) / 2\rfloor$ ビットまでの誤りを訂正可能であることが知られている.この距離は選択した誤り訂正手法によって定まる定数であり, 最小ハミング距離または自由距離と呼ばれる。

誤り訂正をクラス分類問題に適用する考えは多く提案されており, タスクごとにうまく手法を

図 4 壳長な符号表現による予測の簡単な例
設計することで，単純なクラス分類に対する優位性が示されている (Dietterich and Bakiri 1995; Klautau, Jevtić, and Orlitsky 2003; Liu 2006; Kouzani and Nasireding 2009; Kouzani 2010; Ferng and Lin 2011, 2013). 本研究では, 特定の誤り訂正手法を Algorithm 1 で得られるビット列へ適用することで冗長化を行い，二値符号予測へ冗長性の導入を行う。ここで，過去に誤り訂正が検証されたクラス分類問題では高々 100 種類程度のクラスを扱っていたのに対し, 本研究では語彙サイズに応じて数万種類程度のクラスを識別する必要があり，問題の複雑さが大きく異なる点に注意が必要である。本研究では，このような巨大なクラス分類問題においても誤り訂正手法の適用が有効であることを示す.

図 5(a) と 5 (b) は誤り訂正手法を導入した際の学習時・テスト時の挙動を示している。学習時には，まず元となるビット列 $\boldsymbol{b}(w)$ を誤り訂正符号の重心となる冗長なビット列

$
\boldsymbol{b}^{\prime}(\boldsymbol{b}(w)):=\left[\boldsymbol{b}_{1}^{\prime}(\boldsymbol{b}(w)), \boldsymbol{b}_{2}^{\prime}(\boldsymbol{b}(w)), \cdots, \boldsymbol{b}_{B^{\prime}}^{\prime}(\boldsymbol{b}(w))\right]:\{0,1\}^{B} \rightarrow\{0,1\}^{B^{\prime}}
$

に写す.ここで $B^{\prime}(B) \geq B$ は壳長化後のビット列に含まれるビット数である. この写像は単射であり，各 $\boldsymbol{b}(w)$ をより大きな空間のお互いに離れた位置に配置し直すこととなる。ニュー ラル翻訳モデルはこの壳長なビット列 $\boldsymbol{b}^{\prime}(\boldsymbol{b}(w))$ を出力層で学習する。なお, 典型的な誤り訂正手法では $B^{\prime}$ は $B$ の高々定数倍, つまり $O\left(B^{\prime} / B\right)=O(1)$ であり, 誤り訂正手法の適用前後で出力層の計算量自体が変化しない点は重要である.

翻訳モデルから実際の単語を生成する際は，モデルにより推定された確率列 $\boldsymbol{q}(\boldsymbol{h})$ を元に，元の単語に相当する確率列

$
\tilde{\boldsymbol{q}}(\boldsymbol{q}(\boldsymbol{h})):=\left[\tilde{\boldsymbol{q}}_{1}(\boldsymbol{q}(\boldsymbol{h})), \tilde{\boldsymbol{q}}_{2}(\boldsymbol{q}(\boldsymbol{h})), \cdots, \tilde{\boldsymbol{q}}_{B}(\boldsymbol{q}(\boldsymbol{h}))\right]:[0,1]^{B^{\prime}} \rightarrow[0,1]^{B}
$

の復元を行う．このとき誤り訂正の効果により， $\boldsymbol{q}(\boldsymbol{h})$ に含まれる多少の誤りは許容され得ることとなる。写像 $\tilde{\boldsymbol{q}}(\cdot)$ は少なくとも $\boldsymbol{b}^{\prime}(\cdot)$ の左逆写像であり, $[0,1]^{B^{\prime}}$ 全体が定義域となる (復元結果が曖昧になるような入力が存在しない) ような手法を選択可能である. ここまでの議論で, 3 節で導入したビット列に関する制約は誤り訂正の導入後も満たすことが分かる。このため,

(a) 学習時

(b) 生成時

図 5 誤り訂正を導入した場合の学習時・テスト時の動作
図 5 全体を単一の単語とビット列間の関連付け手法であると見なすことが可能である.

ここで，誤り訂正手法により壳長化されたビット列の特徴は，翻訳モデルの精度に直接影響を与えると考えられる。どのようなビット列が最適であるかは自明ではないが，ここでは望ましい特徴についての定性的な議論を行う。まず，図 4 は 1 ビット訂正可能な誤り訂正符号の一種であるが，ニューラルネットワークの出力としては明らかに適切でないことが直ちに分かる。 なぜなら，重心ビット列の全てのビットが完全に一致しており，ニューラルネットワーク側から見ると各ビットの違いを区別できず，実質的に 1 ビットしか学習しない場合と同一のモデルになってしまうからである。このため，㔯長化後のビット列は，ビット同士が可能な限りお互いに異なる傾向を持つことが望ましいと判断できる。また，出力層がどのようなビット誤りを生成するのかは自明ではないため，ランダムに発生する誤りを均等に訂正可能な手法を選択するのが妥当であると考えられる。更に，ニューラルネットワークが生成する出力 $\boldsymbol{q}(\boldsymbol{h})$ は 0 から 1 の間の連続値であり，単なるビット列よりも多くの情報を保持していると考えられる。このため, これらの連続値を直接使用してビット列を復元できる手法がより望ましい.

これらを満たす誤り訂正手法として，本研究では畳込み符号 (Viterbi 1967) を用いることとした。畳込み符号は入力ビット列とハイパーパラメータである重みビット列の畳込み和で表現され，ビット列中の離れた位置にあるビット同士が独立となるため，ランダムなビット誤りに特に頑健に動作するという特徵がある。また確率過程に基づくビット列の復号手法を用いることで，ビットごとの確率を直接考慮することが可能である.

Algorithm 2 は実験で実際に用いた疊み込み符号のアルゴリズムである。ここで, 重みべクトル [1001111] および [1101101] は事前実験の結果により複数の設定から計算効率と復号能力のバランスを考慮して定めた。なお， $\boldsymbol{x}[i . . j]:=\left[x_{i}, \cdots, x_{j}\right], \boldsymbol{x} \cdot \boldsymbol{y}:=\sum_{i} x_{i} y_{i}$ である. 畳込み符号は単一の冗長化手法に対して複数の復号手法が存在するが, 実験では Algorithm 3 に示すアルゴリズムを使用した.ここで $\boldsymbol{x} \circ \boldsymbol{y}$ はべクトル $\boldsymbol{x}$ と $\boldsymbol{y}$ の結合を表す. Algorithm 3 はビタビアルゴリズム (Viterbi 1967) に基づく手法であり, 畳込み符号を隠れマルコフモデルの一種として解釈し, 入力された確率列 $\boldsymbol{q}(\boldsymbol{h})$ から確率的に最も妥当な元のビット列を推定する. Algorithm 3

は一見複雑だが，実際には CPU 上で効率的に処理可能であり，ニューラルネットワークの計算とは分離されているため, 翻訳モデル自体の計算効率への影響は避けることが可能である.

## 5 実験

## 5.1 実験設定

提案手法の翻訳精度を比較するために, 英日・日英双方向の翻訳タスクでの実験を行った。使用したコーパスは ASPEC (Nakazawa, Yaguchi, Uchimoto, Utiyama, Sumita, Kurohashi, and Isahara 2016) と BTEC (Takezawa 1999)であり，ASPEC は上位 200 万文, BTEC は検証・テスト用以外の全文を学習データとした。表 1 にコーパスの詳細を示す. これらのコーパスは平均文長や語彙サイズの面で難易度が大きく異なるため, 難易度に起因するモデルの差異を比較するのに役立つと考えられる．英語のトークン化には Moses (Koehn, Hoang, Birch, Callison-Burch,
表 1 実験に使用したコーパスの詳細

Federico, Bertoldi, Cowan, Shen, Moran, Zens, Dyer, Bojar, Constantin, and Herbst 2007) に含まれる tokenizer.perl を使用し，日本語のトークン化には KyTea (Neubig, Nakata, and Mori 2011）を使用した。また同じく Moses に含まれる lowercase.perlにより小文字化を行った.語彙は単語の出現頻度に基づいて選択し, 出現順位が $V-3$ 位より大きい単語は全て UNK 記号に置換した。

ニューラル翻訳モデルを含む全てのアルゴリズムは $\mathrm{C}++$ 言語で記述し，特にニューラルネットワークの構築には DyNet (Neubig, Dyer, Goldberg, Matthews, Ammar, Anastasopoulos, Ballesteros, Chiang, Clothiaux, Cohn, Duh, Faruqui, Gan, Garrette, Ji, Kong, Kuncoro, Kumar, Malaviya, Michel, Oda, Richardson, Saphra, Swayamdipta, and Yin 2017)を使用した. 全てのモデルは 1 個の GPU (NVIDIA GeForce GTX TITAN X) を用いて学習した。テストに関しては，実行時間を検証するために GPU 上と CPU 上の両方で行った.

提案手法が従来のソフトマックスモデルと異なるのは出力層のみであり, 他の部分は完全に同一である。 ニューラル翻訳モデル全体の構成には, エンコーダに双方向 RNN (Bahdanau et al. 2014)，注意機構およびデコーダは Luong らによる Concat Global Attention モデル (Luong et al. 2015）を使用した．エンコーダおよびデコーダを構成する RNN には，入力・忘却・出カゲートを含む 1 層の LSTM (Gers, Schmidhuber, and Cummins 2000) を使用した。また過学習を避けるために, 各 RNN の入出力部のみ $30 \%$ のドロップアウト (Dropout) (Srivastava, Hinton, Krizhevsky, Sutskever, and Salakhutdinov 2014) を導入した. ニューラルネットワークの学習には Adam 最適化器 (Kingma and Ba 2014) を使用した. Adam のハイパーパラメータは $\alpha=0.001, \beta_{1}=0.9 \beta_{2}=0.999, \varepsilon=10^{-8}$ で固定し, 文長に基づいてグループ化された 64 文によるミニバッチ学習を行った。各モデルの評価には大文字・小文字を考慮しない BLEU (Papineni, Roukos, Ward, and Zhu 2002) を使用し, ミニバッチ 1000 個の学習が終了するごとにスコアの計算を行った。 なお, 文中に未知語が存在することを正しく推定したかどうかを評価するために，本実験での BLEU の評価には UNK も計算対象に含めているが，UNK を取り除いて計算した場合でも最終的なスコアの傾向は同様であることを注記しておく.

表 2 に本実験で比較した手法の凡例を示す. 特に提案手法については, 混合モデルと誤り訂
正の適用の有無，および混合モデルにおけるソフトマックス層のサイズ $N$ による影響を実験により検証する．また，混合モデルとの直接比較が可能な 2 分割の場合の適応ソフトマックス (Grave et al. 2017) についても実験を行い，同様に性能の測定を行った.

## 5.2 実験結果と考察

表 3 に各手法の Test データにおける BLEU, 二値符号のビット数 $B$ と出力層で実際に計算される値の個数 $\#_{\mathrm{out}}$, 出力層の推定に必要なパラメータ数 $\#_{W, \boldsymbol{\beta}}$, および出力層とモデル全体におけるパラメータ数の Softmax との比率を示す. 表 4 には英語 $\rightarrow$ 日本語下での各手法の学

表 2 比較を行ったモデルの名称と詳細

表 3 各手法の BLEU, 出力層のパラメータ数とその Softmax に対する比率

表 4 各手法の平均計算時間

習時・テスト時における平均実行時間を示す。また図 6,7 には学習済みミニバッチ数 180,000 までの英日翻訳におけるソフトマックス及び提案手法の Test データ上での BLEU の変化を示す. 図 6, 7 から明らかなように，学習中の BLEU の変動は不安定であり, 比較には何らかの平滑化が必要である．このため, Dev デー夕上で BLEU が最大となった世代を中心とした 5 世代について Test データ上で BLEU を求め, 表 3 にはその平均値を示した.

## 5.2.1 空間効率

まず，提案手法のいずれにおいても，Softmax と比較して大幅に出力層のパラメータ数を削減していることが確認できる。 モデル全体のパラメータ数では, いずれの提案手法も Softmax と比較して $70 \%$ 程度のパラメータ数に抑えられており, 実質的には従来のソフトマックスモデルで必要とされた出力層のためのパラメータが無視可能なレべルまで削減されたと考えられる. なお，残りのパラメータの大部分はエンコーダおよびデコーダの入力部における単語べクトルとして確保されているものであり，これらは依然として $O(E V)$ だけのメモリ空間を専有している. ここで $E$ は原言語・目的言語ごとの単語べクトルに用いられる次元数だが，典型的には $H$ と同程度 (つまり $O(E / H)=O(1))$ と見なすことが可能である. 1 節で述べたように, これ

図 6180,000 世代までの学習の推移 (ASPEC En $\rightarrow \mathrm{Ja}$ )

図 7 180,000 世代までの学習の推移 (BTEC En $\rightarrow \mathrm{Ja}$ )

らのパラメータ数の削減は本研究の対象ではないが, 出力層と同様の符号化を導入することは可能であると考えられる。このような手法が翻訳モデルにどう影響するかは今後の研究課題である。また 2.2 節で述べたように，適応ソフトマックスのパラメータ数は基本的に単純なソフトマックスと同等であり，使用するグループ数に比例した分だけ増加している．具体的には，本実験で使用した適応ソフトマックスは分割数が 2 であるため, 出力層のサイズは各コーパスの語彙サイズに 1 を足した大きさとなる.

## 5.2.2 翻訳精度

Binary の BLEU 値に着目すると, 他のいずれの手法と比較しても大幅に低い値となっていることが観察される。これは 3 節で述べた事実から予測され得る結果であり, 単純な二値符号予測では頑健性に問題があるという特徴を反映していると考えられる。これとは対照的に, Hybrid- $N$ と Binary-EC では Binary と比較して十分に高いBLEU を示しており，実験設定によってはほぼ Softmax に近似する値を達成していることが分かる。この傾向は, 混合モデルと誤り訂正符号の導入がどちらも二値符号予測に対して有効であることを示している. 特に Binary-EC と Hybrid-512を比較すると, 前者のパラメータ数が $1 / 10$ 程度なのにも関わらず基本的に高い BLEU を達成しており, この結果からビット列に壳長性を導入することがより推定精度の向上に効果的であると言うことができる。また， 2 種類の改良を両方導入した Hybrid- $N-E C$ では更なる精度の向上が見られ，設定次第では Softmax と同等かそれ以上の BLEUを達成していることが観察できる。この挙動から，混合モデルと誤り訂正の両者が手法として概ね直交しており，組み合わせることでより高い効果を示すことが可能であると言える。特に BTEC において，Softmax が低い翻訳精度となったのは，コーパスの難易度に対してソフトマックス層のパラメータ数が適切な大きさでなかった点が考えられる. Adaptive2- $N$ と Hybrid-N-EC の比較では, ASPECでは Adaptive2-512 と Hybrid-2048-EC が同等程度, BTECでは Adaptive2-2048 と Hybrid-2048-EC が同等程度の性能と考えられる. これらの手法の本質的な違いは希少語グルー プの単語推定にソフトマックスと誤り訂正符号のどちらを使用したかのみであり, 各モデルによる希少語の推定精度を間接的に反映しているものと考えられる。適応ソフトマックスと提案手法の混合モデルでは希少語に関するパラメータ数が数百から数千倍程度異なることを考えると，適応ソフトマックスの翻訳精度が混合モデルより高くなることが自然に考えられ, 実際 ASPEC では希少語グループのサイズが同等である Adaptive2-2048 と Hybrid-2048-ECでは前者の方が翻訳精度が高いことが観察される．BTECで両者の性能が接近しているのは，Softmax との比較でも言及したように，コーパスの難易度に対する Adaptive2- $N$ の過剰なパラメータ数が関係していると考えられる。また, Adaptive2-2048 はいずれのコーパスでもSoftmax より高い性能を達成しており, これは混合モデルと同様に, 単語の出現頻度に基づいて推定を分割したことによる効果と考えられる。

## 5.2.3 時間効率

表 4 の計算時間に着目すると, いずれの提案手法も Softmax と比較して高速に動作していることが分かる. 特に CPU 上でのテスト時の実行速度は ASPEC で 10 倍, BTEC で 5 倍程度に高速であり，強力な計算資源が期待できない環境でも提案手法が効率的に動作可能であることを示している。また, 誤り訂正手法の復号アルゴリズムはいずれの実験でも CPU 上で実行しているが, これに起因する計算速度の低下は翻訳モデル全体から見ると部分的であることが分

かり，この点でも誤り訂正手法の適用が効果的であることを示している. Adaptive2- $N$ に関しては，GPU 上でのテスト時の実行速度は提案手法と遜色ない性能を示しており，単語の出現頻度に基づいて適切にソフトマックスを分割するだけでも高い高速化効果が得られることを示している。一方, $\mathrm{CPU}$ 上でのテスト時の速度は, Softmax と比較した際には Adaptive2- $N$ でも十分高速化されていると言えるが，提案手法は更にその数割から数倍程度高速という結果となっている.この実行速度の差異は希少語の推定に要する計算量を反映していると考えられ，GPU のように十分な並列化の可能でない状況下では, 依然として計算量そのものを削減する利点が大きいことが観察される。なお，Adaptive2-512より Adaptive2-2048 の方が高速に動作している点は, 提案論文に示されている 2 分割時の実行速度とのトレードオフに関する議論と一致する (Grave et al. 2017).

ここで, 適応ソフトマックス (Grave et al. 2017) の本来の目的は学習時間の削減であるが,本実験では Adaptive2- $N$ の学習時間が Softmax と比較して若干増加しており, 提案論文の結果に従っていないことが確認される。これはミニバッチ学習時の実用上の問題に起因するものである. 原理的には, 適応ソフトマックスは頻出語の推定時に希少語のスコア計算を除外することが可能であり，このときうまく計算を回避する実装を用いることで計算量の削減が得られるものである．本実験の場合，入力データを個別に処理するテスト時の動作がこれに該当し，実際に期待通りの高速化効果が得られている。一方，学習時には DyNet を用いた実装の制約上, ミニバッチに含まれる全データに対して同様の計算を行う必要があり，ある時刻で推定しなければならない単語に頻出語と希少語が混在しているような, ネットワークにデータごとの条件分岐が存在する場合への対処が難しい。本実験ではこの問題を回避するため, 頻出語に対してもダミーの希少語ラベルを与えて計算を行っているが，このときの計算量は通常のソフトマックスとほぼ等しくなり, また計算過程が複雑になる分, 実際の計算効率はソフトマックスよりも低下する．表４では実際にこの効果を確認した形となっている．汎用的なニューラルネットワークのツールがこの問題に対処できるかどうかは, データごとに異なるネットワーク構造が与えられたとき, ツール側で効率的に処理する能力を持っているかどうかに依存している.このような手法の候補としては，実際のネットワーク計算の直前にミニバッチ計算の最適化を行う手法が考えられる (Neubig, Goldberg, and Dyer 2017). なお，提案手法である混合モデルに関しても, 計算グラフ上では適応ソフトマックスとほぼ同様のネットワーク構造を持っており, Hybrid- $N$, Hybrid-N-EC の学習時間も上記と同じ理由によるオーバーヘッドを含んでいる.

## 5.2.4 混合モデルの翻訳精度への影響

図 8 は Hybrid- $N$ においてソフトマックス層の大きさ $N$ を指数的に変化させた際の翻訳精度への影響である。ここで混合モデルの定義より，Softmax と Binary はそれぞれ $N$ を $V$ 1 に設定した場合の極限であり，Hybrid- $N$ による翻訳精度の近似的な上限と下限を表わすと考

図 8 Hybrid- $N$ において $N$ を変化させた場合の BLEU の変化 $(\mathrm{En} \rightarrow \mathrm{Ja})$

えられる。実際, 図 8 の曲線はおおよそ Softmax とBinary の間を推移しており，ここから混合モデルのソフトマックス層の大きさと翻訳精度にはトレードオフの関係があることが分かる。また BTEC と ASPEC の曲線をそれぞれ観察すると， BTEC ではより小さな $N$ (例えば $N=1024$ 程度) で翻訳精度が Softmax 付近に飽和しているのに対し, ASPEC ではより大きな $N$ においても精度の向上が見られる.ここから， $N$ による翻訳精度の変動はコーパス自体の難易度をいくらか反映しているものと考えられる。つまり，より簡単なコーパスを学習する場合は $N$ として小さな値を取ることができ，より難しいコーパスになるほど大きな $N$ を選択する必要があると考えられる。また表 3 で示したように，誤り訂正を併用することで混合モデル単体よりも翻訳精度の向上が期待できるため, 実際の $N$ の値には図 8 から読み取れるものより小さな値を設定することが可能であると言える.

## 5.2.5 単語の出現頻度と推定精度の関係

前節までの議論により，提案手法によるコーパス全体としての翻訳精度の傾向については判明した。しかし，ニューラル翻訳は出力文を単語単位で逐次的に生成するモデルであり，具体的な単語単位の推定精度に関しても議論が必要である. 図 9,10 に示すのは, 表 3,4 に示した 7 手法について, 日本語 Test データ中の各単語を学習データ中での出現頻度の順位でグループ化し，各グループについてユニグラム再現率および適合率を示したものである。ここで，適合率の計算は BLEU の方法に準拠し, 再現率については BLEU の方法の分母を正解データに置き換えることで計算した，なお，分母が 0 となる場合は便宜的に値を 0 と表示した.

まず，再現率についてはいずれの手法・コーパスにおいてもほほ同様の傾向を示しており, 手

図 9 各手法の出現頻度ごとのユニグラム推定精度 $(\mathrm{ASPEC} \mathrm{En} \rightarrow \mathrm{Ja})$

法の違いによる全体的な値の増減が確認できる。特に Binaryのみは, 他の手法と比べて全てのグループで全体的に低い值となっており，単純な二値符号予測ではどのような単語もうまく推定することができないことが分かる。また ASPEC と BTEC の両コーパスで, 出現頻度が数十位付近の単語で再現率が低下し，その後また上昇するという共通の傾向を示しており，両コーパスのドメインや難易度が大きく離れていることから, これは言語に共通の何らかの特徴を捉えているものと考えられる。

一般的に単語を出現頻度でグループ化した場合, 頻出語のグループには機能語が多く集まり,希少語には内容語が多く集まる傾向にある。内容語と比較して機能語は用例が複雑であり，内容語と同一のモデルで推定するには難易度が高くなると考えられる。表 5 および 6 は ASPEC および BTEC の日本語学習データにおける頻出語たが, 両者とも出現頻度が 64 位の付近で機

図 10 各手法の出現頻度ごとのユニグラム推定精度 $(\mathrm{BTEC} \mathrm{En} \rightarrow \mathrm{Ja}$ )

表 5128 位までの頻出語 (ASPEC Ja)

 \\

表 6128 位までの頻出語 (BTEC Ja)

 \\

能語と内容語が执よそ交代していることが観察できる。つまり，前述の Recall の低下と再上昇は，機能語と内容語の推定難易度の違いを反映しているものと考えられる。

一方，適合率の傾向を観察すると，Binary が他の手法より全体的に低い点，および誤り訂正の適用により全体的なスコアが引き上げられている点は再現率と同様であるが，Hybrid- $N$ において出現頻度の順位が $N$ 付近を超えた単語は, そうでない単語と比較して大幅に適合率が低下していることが確認できる。これは明らかに，学習の比較的容易なソフトマックス層のみによる推定から二值符号予測を用いる推定に切り替わるために起こる現象であり，二値符号予測が本質的にソフトマックスよりも難しい推定問題であることを表していると考えられる。混合モデルと誤り訂正符号の併用により，このような適合率の大幅な低下が緩和されており，両者をバランス良く組み合わせることで全体的な推定精度を補償することが可能であることが分かる.

## 6 おわりに

本研究では, ニューラル翻訳モデルの出力層の計算量を圧縮することを目的とし, 単語に割り当てられた二值符号を予測することで間接的に単語の推定を行う手法を提案した。 また，単純な二值符号予測の精度を向上させるために，従来のソフトマックスモデルを部分的に採用した混合モデル，および二値符号に対し誤り訂正符号を適用することによる頑健性の向上を提案した，実験により，これらの手法を組み合わせて用いることで，従来のソフトマックスモデルと比較して数十分の 1 程度のパラメータ数と短い実行時間（特に CPU 上でのテスト時に 5 分の 1 から 10 分の 1 程度）で，同等程度の翻訳精度を実現可能であることを示した。

本研究では二値符号予測の基本的なフレームワークを提案したが，実験で使用した手法には事前実験に基づく様々なヒューリスティクスが残っており，各部分問題には，より翻訳モデルに適した手法を開発する余地が残されている。具体的には次のような課題が挙げられ，これらについてより深い研究を今後行ってゆく予定である.
- 翻訳モデルにより適した単語のビット列への割り当て手法. より本質的には, どのような特徴量を保持したビット列であれば効率的に予測することが可能か. また，ビット数を制御することで任意に冗長性が設定可能となるような割り当て手法の設計.
- ニューラル翻訳モデルの学習により適した形の誤り訂正手法の開発. また, 誤り訂正符号を学習することを前提とした損失関数の設計.
- 入力層側の単語ベクトルも二值符号に制約することで，モデルのパラメータ数をより削減することが可能と考えられるが, そのようなモデルで同様の翻訳精度を達成することは可能か.
- 翻訳モデルの内部状態やパラメータが獲得した表現に関する調査. 特に,ソフトマックスモデルと比較した際にどのような共通点・相違点が見出だるか.

## 謝 辞

本研究の一部は JSPS 科研費 JP16H05873, 及び JP17H00747 の助成を受けて行ったものである.

## 参考文献

Bahdanau, D., Cho, K., and Bengio, Y. (2014). "Neural Machine Translation by Jointly Learning to Align and Translate." arXiv preprint arXiv:1409.0473.

Brown, P. F., Desouza, P. V., Mercer, R. L., Pietra, V. J. D., and Lai, J. C. (1992). "Class-based N-gram Models of Natural Language." Computational Linguistics, 18 (4), pp. 467-479.

Chen, W., Grangier, D., and Auli, M. (2016a). "Strategies for Training Large Vocabulary Neural Language Models." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1975-1985, Berlin, Germany. Association for Computational Linguistics.

Chen, Y., Mou, L., Xu, Y., Li, G., and Jin, Z. (2016b). "Compressing Neural Language Models by Sparse Word Representations." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 226-235, Berlin, Germany. Association for Computational Linguistics.

Chitnis, R. and DeNero, J. (2015). "Variable-Length Word Encodings for Neural Translation Models." In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 2088-2093, Lisbon, Portugal. Association for Computational Linguistics.

Dietterich, T. G. and Bakiri, G. (1995). "Solving Multiclass Learning Problems via Error-
correcting Output Codes." Journal of Artificial Intelligence Research, 2, pp. 263-286.

Ferng, C.-S. and Lin, H.-T. (2011). "Multi-label Classification with Error-correcting Codes." Journal of Machine Learning Research, 20, pp. 281-295.

Ferng, C.-S. and Lin, H.-T. (2013). "Multilabel Classification using Error-correcting Codes of Hard or Soft Bits." IEEE Transactions on Neural Networks and Learning Systems, 24 (11), pp. 1888-1900.

Gers, F. A., Schmidhuber, J., and Cummins, F. (2000). "Learning to Forget: Continual Prediction with LSTM." Neural Computation, 12 (10), pp. 2451-2471.

Grave, É., Joulin, A., Cissé, M., Grangier, D., and Jégou, H. (2017). "Efficient Softmax Approximation for GPUs." In Proceedings of the 34th International Conference on Machine Learning, pp. 1302-1310, Sydney, Australia.

Gutmann, M. and Hyvärinen, A. (2010). "Noise-contrastive Estimation: A New Estimation Principle for Unnormalized Statistical Models." In Proceedings of the 13th International Conference on Artificial Intelligence and Statistics, pp. 297-304, Sardinia, Italy.

Huffman, D. A. (1952). "A Method for the Construction of Minimum-Redundancy Codes." Proceedings of the Institute of Radio Engineers, 40 (9), pp. 1098-1101.

Kim, Y. and Rush, A. M. (2016). "Sequence-Level Knowledge Distillation." In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 1317-1327, Austin, Texas. Association for Computational Linguistics.

Kingma, D. and Ba, J. (2014). "Adam: A Method for Stochastic Optimization." arXiv preprint arXiv:1412.6980.

Klautau, A., Jevtić, N., and Orlitsky, A. (2003). "On Nearest-neighbor Error-correcting Output Codes with Application to All-pairs Multiclass Support Vector Machines." Journal of Machine Learning Research, 4 (April), pp. 1-15.

Koehn, P., Hoang, H., Birch, A., Callison-Burch, C., Federico, M., Bertoldi, N., Cowan, B., Shen, W., Moran, C., Zens, R., Dyer, C., Bojar, O., Constantin, A., and Herbst, E. (2007). "Moses: Open Source Toolkit for Statistical Machine Translation." In Proceedings of the 45th Annual Meeting of the Association for Computational Linguistics Companion Volume Proceedings of the Demo and Poster Sessions, pp. 177-180, Prague, Czech Republic. Association for Computational Linguistics.

Kouzani, A. Z. (2010). "Multilabel classification using error correction codes." In International Symposium on Intelligence Computation and Applications, pp. 444-454. Springer.

Kouzani, A. Z. and Nasireding, G. (2009). "Multilabel Classification by BCH Code and Random Forests." International Journal of Recent Trends in Engineering, 2 (1), pp. 113-116.

Li, X., Qin, T., Yang, J., and Liu, T.-Y. (2016). "LightRNN: Memory and Computation-Efficient Recurrent Neural Networks." In Advances in Neural Information Processing Systems, Vol. 29.

Ling, W., Trancoso, I., Dyer, C., and Black, A. W. (2015). "Character-based Neural Machine Translation." arXiv preprint arXiv:1511.04586.

Liu, Y. (2006). "Using SVM and Error-correcting Codes for Multiclass Dialog Act Classification in Meeting Corpus." In INTERSPEECH, pp. 1938-1941.

Luong, T., Pham, H., and Manning, C. D. (2015). "Effective Approaches to Attention-based Neural Machine Translation." In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 1412-1421, Lisbon, Portugal. Association for Computational Linguistics.

Mikolov, T., Sutskever, I., Chen, K., Corrado, G. S., and Dean, J. (2013). "Distributed Representations of Words and Phrases and Their Compositionality." In Advances in Neural Information Processing Systems, pp. 3111-3119.

Mikolov, T., Sutskever, I., Deoras, A., Le, H.-S., Kombrink, S., and Černocký, J. (2012). "Subword Language Modeling with Neural Networks."

Mnih, A. and Teh, Y. W. (2012). "A Fast and Simple Algorithm for Training Neural Probabilistic Language Models." In Proceedings of the 29th International Conference on Machine Learning.

Morin, F. and Bengio, Y. (2005). "Hierarchical Probabilistic Neural Network Language Model." In Proceedings of 10th International Workshop on Artificial Intelligence and Statistics, Vol. 5, pp. 246-252.

Nakazawa, T., Yaguchi, M., Uchimoto, K., Utiyama, M., Sumita, E., Kurohashi, S., and Isahara, H. (2016). "ASPEC: Asian Scientific Paper Excerpt Corpus." In Proceedings of the 9th International Conference on Language Resources and Evaluation (LREC 2016), pp. 2204-2208, Portoro, Slovenia. European Language Resources Association (ELRA).

Neubig, G., Dyer, C., Goldberg, Y., Matthews, A., Ammar, W., Anastasopoulos, A., Ballesteros, M., Chiang, D., Clothiaux, D., Cohn, T., Duh, K., Faruqui, M., Gan, C., Garrette, D., Ji, Y., Kong, L., Kuncoro, A., Kumar, G., Malaviya, C., Michel, P., Oda, Y., Richardson, M., Saphra, N., Swayamdipta, S., and Yin, P. (2017). "DyNet: The Dynamic Neural Network Toolkit." arXiv preprint arXiv:1701.03980.

Neubig, G., Goldberg, Y., and Dyer, C. (2017). "On-the-fly Operation Batching in Dynamic Computation Graphs." In Conference on Neural Information Processing Systems (NIPS), pp. 3974-3984, Long Beach, California, USA.

Neubig, G., Nakata, Y., and Mori, S. (2011). "Pointwise Prediction for Robust, Adaptable

Japanese Morphological Analysis." In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, pp. 529-533, Portland, Oregon, USA. Association for Computational Linguistics.

Papineni, K., Roukos, S., Ward, T., and Zhu, W.-J. (2002). "Bleu: a Method for Automatic Evaluation of Machine Translation." In Proceedings of 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA. Association for Computational Linguistics.

See, A., Luong, M.-T., and Manning, C. D. (2016). "Compression of Neural Machine Translation Models via Pruning." In Proceedings of The 20th SIGNLL Conference on Computational Natural Language Learning, pp. 291-301, Berlin, Germany. Association for Computational Linguistics.

Sennrich, R., Haddow, B., and Birch, A. (2016). "Neural Machine Translation of Rare Words with Subword Units." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1715-1725, Berlin, Germany. Association for Computational Linguistics.

Serrá, J. and Karatzoglou, A. (2017). "Compact Embedding of Binary-coded Inputs and Outputs using Bloom Filters." In Proceedings of the 5th International Conference on Learning Representations, Vancouver, BC, Canada.

Shannon, C. E. (1948). "A Mathematical Theory of Communication." Bell System Technical Journal, 27 (3), pp. 379-423.

Srivastava, N., Hinton, G. E., Krizhevsky, A., Sutskever, I., and Salakhutdinov, R. (2014). "Dropout: A Simple Way to Prevent Neural Networks from Overfitting." Journal of Machine Learning Research, 15 (1), pp. 1929-1958.

Sutskever, I., Vinyals, O., and Le, Q. V. (2014). "Sequence to Sequence Learning with Neural Networks." In Advances in Neural Information Processing Systems, pp. 3104-3112.

Takezawa, T. (1999). "Building a Bilingual Travel Conversation Database for Speech Translation Research." In Proceedings of the 2nd International Workshop on East-Asian Resources and Evaluation Conference on Language Resources and Evaluation, pp. 17-20.

Viterbi, A. (1967). "Error Bounds for Convolutional Codes and an Asymptotically Optimum Decoding Algorithm." IEEE Transactions on Information Theory, 13 (2), pp. 260-269.

Wu, Y., Schuster, M., Chen, Z., Le, Q. V., Norouzi, M., Macherey, W., Krikun, M., Cao, Y., Gao, Q., Macherey, K., Klingner, J., Shah, A., Johnson, M., Liu, X., Kaiser, Ł., Gouws, S., Kato, Y., Kudo, T., Kazawa, H., Stevens, K., Kurian, G., Patil, N., Wang, W., Young, C., Smith, J., Riesa, J., Rudnick, A., Vinyals, O., Corrado, G., Hughes, M., and Dean J.

(2016). "Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation." arXiv preprint arXiv:1609.08144.

Zipf, G. K. (1949). Human Behavior and the Principle of Least Effort. Addison-Wesley Press.

## 略歴

小田悠介：2011 年神戸市立工業高等専門学校電子工学科卒業. 2013 年同専攻科電気電子工学専攻卒業. 2015 年奈良先端科学技術大学院大学情報科学研究科博士前期課程修了. 修士 (工学). 現在, 同博士後期課程に在籍. 2015 年日本学術振興会特別研究員 (DC1). 2017 年より情報通信研究機構先進的音声翻訳研究開発推進センター研究技術員. 機械翻訳, 自然言語処理, ソフトウェア工学に関する研究に従事. 言語処理学会年次大会優秀賞 $(2015$ 年・2016 年). ACL, 電子情報通信学会, 情報処理学会, 教育システム情報学会, 言語処理学会各会員.

Philip Arthur: 2013 年インドネシア大学計算機科学科卒業. 2015 年奈良先端科学技術大学院大学情報科学研究科博士前期課程修了. 現在, 同学博士後期課程に在籍. 修士 (工学). 機械翻訳, 自然言語処理に関する研究に従事.

Graham Neubig: 2005 年米国イリノイ大学アーバナ・シャンペーン校工学部コンピュータ・サイエンス専攻卒業. 2010 年京都大学大学院情報学研究科修士課程修了. 2012 年同大学院博士後期課程修了. 同年奈良先端科学技術大学院大学助教. 2016 年より米国カーネギーメロン大学助教. 機械翻訳, 自然言語処理に関する研究に従事.

吉野幸一郎：2009 年慶應義塾大学環境情報学部卒業. 2011 年京都大学大学院情報学研究科修士課程修了. 2014 年同研究科博士後期課程修了. 同年, 日本学術振興会特別研究員 (PD). 2015 年奈良先端科学技術大学院大学情報科学研究科特任助教. 2016 年より同助教. 同年より科学技術振興機構さきがけ研究員 (兼任). 京都大学博士 (情報学). 音声言語処理および自然言語処理, 特に音声対話システムに関する研究に従事. 2013 年度人工知能学会研究会優秀賞受賞. IEEE, ACL, SIGdial, 情報処理学会, 言語処理学会各会員.

中村哲：1981 年京都工芸繊維大学工芸学部電子工学科卒業. 京都大学博士 (工学). シャープ株式会社. 奈良先端科学技術大学院大学助教授, 2000 年 ATR 音声言語コミュニケーション研究所室長, 所長, 2006 年 (独) 情報通信研究機構研究センター長, けいはんな研究所長などを経て, 現在, 奈良先端科学技術大学院大学教授. ATR フェロー. カールスルーエ大学客員教授. 音声翻訳, 音声対話, 自然言語処理の研究に従事. 情報処理学会喜安記念業績賞,
総務大臣表彰, 文部科学大臣表彰, Antonio Zampoli 賞受賞. IEEE SLTC 委員, ISCA 理事, IEEEフェロー.

$(2017$ 年 4 月 8 日 $\quad$ 受付 $)$
$(2017$ 年 10 月 2 日 $\quad$ 再受付 $)$
$(2017$ 年 11 月 30 日 $\quad$ 採録)


# 平易なコーパスを用いないテキスト平易化

梶原 智之咕 ・小町守 $\dagger$
}

難解なテキストと平易なテキストからなる大規模な単言語パラレルコーパスを用い て, テキスト平易化が活発に研究されている. しかし, 英語以外の多くの言語では平易に書かれた大規模なコーパスを利用できないため，テキスト平易化のためのパラレ ルコーパスを構築するコストが高い. そこで本研究では，テキスト平易化のための 大規模な疑似パラレルコーパスを自動構築する教師なし手法を提案する. 我々の提案するフレームワークでは，リーダビリティ推定と文アライメントを組み合わせる ことによって, 生コーパスのみからテキスト平易化のための単言語パラレルコーパ スを自動構築する。統計的機械翻訳を用いた実験の結果，生コーパスのみを用いて 学習した我々のテキスト平易化モデルは, 平易に書かれた大規模なコーパスを用い て学習した従来のテキスト平易化モデルと同等の性能で平易な同義文を生成できた. キーワード：テキスト平易化, 疑似パラレルコーパス, リーダビリティ推定, 文アライメント
## Text Simplification without Simplified Corpora

## Tomoyuki Kajiwara $^{\dagger$ and Mamoru Komachi ${ }^{\dagger}$}

Several studies on automated text simplification are based on a large-scale monolingual parallel corpus constructed from a comparable corpus comprising complex text and simple text. However, constructing a parallel corpus for text simplification is expensive as large-scale simplified corpora are not available in many languages other than English. Therefore, we propose an unsupervised method that automatically builds a pseudo-parallel corpus to train a text simplification model. Our framework combines readability assessment and sentence alignment and automatically constructs a text simplification corpus from only a raw corpus. Experimental results show that a statistical machine translation model trained using our corpus can generate simpler synonymous sentences performing comparably to models trained using a large-scale simplified corpus.

Key Words: Text Simplification, Pseudo-parallel Corpus, Readability Assessment, Sentence Alignment

## 1 はじめに

難解なテキストの意味を保持したまま平易に書き換えるテキスト平易化は, 言語学習者や子どもをはじめとする多くの読者の文章読解を支援する．近年，テキスト平易化を同一言語内の翻訳問題と考え，統計的機械翻訳を用いて入力文から平易な同義文を生成する研究 (Specia 2010; Zhu, Bernhard, and Gurevych 2010; Coster and Kauchak 2011a, 2011b; Wubben, van den Bosch, and Krahmer 2012; Štajner, Bechara, and Saggion 2015a; Štajner, Calixto, and Saggion 2015b; Goto, Tanaka, and Kumano 2015) が盛んである. しかし, 異言語間の機械翻訳モデルの学習に必要な異言語パラレルコーパスとは異なり，テキスト平易化モデルの学習に必要な単言語パラレルコーパスの構築はコストが高い. これは, 日々の生活の中で対訳（異言語パラレル）データが大量に生産および蓄積されるのとは異なり，難解なテキストを平易に書き換えることは自然には行われないためである。そのため, 公開されておりテキスト平易化のために自由に利用できるのは, English Wikipedia と Simple English Wikipedia ${ }^{2}$ から構築された英語のパラレルコー パス (Zhu et al. 2010; Coster and Kauchak 2011b; Hwang, Hajishirzi, Ostendorf, and Wu 2015) のみであるが, Simple English Wikipediaのように平易に書かれた大規模なコーパスは英語以外の多くの言語では利用できない.

そこで本研究では, 任意の言語でのテキスト平易化を実現することを目指し, 生コーパスから難解な文と平易な文の同義な対（テキスト平易化のための疑似パラレルコーパス）を抽出する教師なし手法を提案し，獲得した疑似パラレルコーパスと統計的機械翻訳モデルを用いて英語および日本語でのテキスト平易化を行う，図 1 に示すように，我々が提案するフレームワー クでは, リーダビリティ推定と文アライメントの 2 つのステップによって生コーパスからテキスト平易化のための疑似パラレルコーパスを構築する。 大規模な生コーパスには, 同一の（あるいは類似した）イベントや事物に対する複数の言及や説明が含まれると期待でき，それらからは同義や類義の関係にある文対を得ることができるだろう。さらに我々はリーダビリティ推定によって難解な文と平易な文を分類するので，生コーパスから難解な文と平易な文の同義な対を抽出することができる.

我々は 2 つの設定で提案手法の効果を検証した。まず先行研究と同様に，難解なテキストと平易なテキストのコンパラブルコーパスからテキスト平易化のためのパラレルコーパスを構築した. 我々の提案する文アライメント手法は難解な文と平易な文のアライメント性能を改善し,高品質にテキスト平易化コーパスを構築できた. さらに, 我々のコーパスで学習したモデルは従来のコーパスで学習したモデルよりもテキスト平易化の性能も改善できた. 次に，コンパラブルコーパスを利用しない設定で, 生コーパスのみからテキスト平易化のための疑似パラレル

図 1 疑似パラレルコーパスと統計的機械翻訳モデルを用いたテキスト平易化

コーパスを構築し，フレーズベースの統計的機械翻訳モデルを用いてテキスト平易化を行った。平易に書かれた大規模コーパスを使用しないにも関わらず，疑似パラレルコーパスで学習したモデルは従来のコーパスで学習したモデルと同等の性能で平易な同義文を生成することができた.

本研究の貢献は次の 2 つである.
- 単語分散表現のアライメントに基づく文間類似度を用いて, 難解な文と平易な文の文アライメントを改善した。
- 生コーパスのみから教師なしで擬似パラレルコーパスを自動構築し, これがコンパラブルコーパスから得られる従来のパラレルコーパスと同等に有用であることを確認した.

これまでは, 人手で構築された難解な文と平易な文のパラレルコーパス3 ${ }^{3}(\mathrm{Xu}$, Callison-Burch, and Napoles 2015), 平易に書かれた大規模なコーパス (Simple English Wikipedia), 文間類似度のラべル付きデータ4 (Agirre, Cer, Diab, and Gonzalez-Agirre 2012; Agirre, Cer, Diab, Gonzalez-Agirre, and Guo 2013; Agirre, Banea, Cardie, Cer, Diab, Gonzalez-Agirre, Guo, Mihalcea, Rigau, and Wiebe 2014; Agirre, Banea, Cardie, Cer, Diab, Gonzalez-Agirre, Guo, Lopez-Gazpio, Maritxalar, Mihalcea, Rigau, Uria, and Wiebe 2015), 言い換え知識 5 (Ganitkevitch, Van Durme, and CallisonBurch 2013; Pavlick, Rastogi, Ganitkevitch, Van Durme, and Callison-Burch 2015; Pavlick and Callison-Burch 2016) などの言語資源が豊富に存在する英語を中心にテキスト平易化の研究が進
^{4}$ http://ixa2.si.ehu.es/stswiki/index.php/Main_Page

5 https://www.seas.upenn.edu/〜 epavlick/data.html
}

められてきたが，本研究ではこれらの外部知識を利用することなく生コーパスのみからテキスト平易化のための疑似パラレルコーパスを自動構築し，統計的機械翻訳を用いたテキスト平易化における有用性を確認した，生コーパスは多くの言語で大規模に利用できるので，今後は本研究の成果をもとに多くの言語でテキスト平易化を実現できるだろう.

本稿の構成を示す。2 節では, 関連研究を紹介する。 3 節では, 生コーパスから擬似パラレルコーパスを構築する提案手法を概説する．4節では，テキスト平易化のための文アライメントとして，単語分散表現のアライメントに基づく文間類似度推定手法を提案する。続いて, 5 節から 7 節で実験を行う。まず 5 節では， 4 節の提案手法を評価し，テキスト平易化のための最良の文アライメント手法を決定する， 6 節では， 3 節から 5 節に基づき, 英語の疑似パラレルコー パスを構築し，テキスト平易化を行う， 7 節では，同様に日本語の疑似パラレルコーパスを構築し，テキスト平易化を行う。最後に 8 節で，本研究のまとめを述べる.

## 2 関連研究

## 2.1 統計的機械翻訳を用いたテキスト平易化

2010 年以降, 統計的機械翻訳を用いたテキスト平易化の研究が盛んである. 特に英語では, English Wikipedia と Simple English Wikipediaをコンパラブルコーパスと考え，ここから抽出された単言語パラレルコーパス (Zhu et al. 2010; Coster and Kauchak 2011b; Hwang et al. 2015) とフレーズベースの統計的機械翻訳モデルを用いたテキスト平易化 (Zhu et al. 2010; Coster and Kauchak 2011a, 2011b; Wubben et al. 2012; Štajner et al. 2015a) が盛んに研究されている. Coster and Kauchak (2011b) は，標準的なフレーズベースの統計的機械翻訳ツール Moses (Koehn, Hoang, Birch, Callison-Burch, Federico, Bertoldi, Cowan, Shen, Moran, Zens, Dyer, Bojar, Constantin, and Herbst 2007) を用いて英語のテキスト平易化を行った.

本研究でも, 同じくMoses を用いてテキスト平易化を行うが, 我々は任意の言語でのテキスト平易化を実現することを目的に, Simple English Wikipediaに頼ることなく English Wikipedia のみから構築する疑似パラレルコーパスでモデルを学習する。

## 2.2 テキスト平易化のための単言語パラレルコーパス

これまでに 3 種類の英語のテキスト平易化のための単言語パラレルコーパスが, English Wikipedia と Simple English Wikipediaの文アライメントによって構築されている. Zhu et al. (2010)は, 文を TF-IDF ゙クトルとして表現し, そのベクトル間のコサイン類似度を用いて初めてテキスト平易化のための単言語パラレルコーパス6を構築した. Coster and Kauchak (2011b)
^{6}$ https://www.ukp.tu-darmstadt.de/data/sentence-simplification/simple-complex-sentence-pairs/
}

は，TF-IDFベクトル間のコサイン類似度に加えて文の出現順序を考慮することで，より高精度にテキスト平易化コーパス7を構築した. しかし, Zhu et al. や Coster and Kauchakの手法では,異なる単語間の類似度を考慮していない．難解な表現から平易な表現への書き換えが頻繁に行われるテキスト平易化タスクにおいては，異なる単語間の類似度も適切に測定したい. Hwang et al. (2015)は，国語辞典の見出し語と定義文中の単語の共起を用いて，異なる単語間の類似度も考慮してテキスト平易化コーパス8を構築した。

本研究では，単語分散表現を用いることで辞書などの外部知識に頼らず異なる単語間の類似度を考慮する文アライメントを行う。

## 2.3 文間類似度推定

文間の意味的類似度を計算する Semantic Textual Similarity (STS) タスク (Agirre et al. 2012, 2013, 2014, 2015)では，単語分散表現の成功を受け，異なる単語間の類似度を考慮する手法が提案されている。 SemEval-2015のSTS タスク (Agirre et al. 2015) では, word2vec (Mikolov, Chen, Corrado, and Dean 2013a) の単語分散表現や PPDB: paraphrase database (Ganitkevitch et al. 2013) の言い換えを用いた単語アライメントに基づく教師あり学習の手法 (Sultan, Bethard, and Sumner 2015; Hänig, Remus, and de la Puente 2015; Han, Martineau, Cheng, and Thomas 2015) が上位を独占している，同じく word2vecの単語分散表現のアライメントに基づく教師なしの文間類似度計算手法 (Song and Roth 2015; Kusner, Sun, Kolkin, and Weinberger 2015) も提案されている.

文間類似度のラベル付きデータを必要としないこれらの教師なし手法は，テキスト平易化のための単言語パラレルコーパスの自動構築にも応用できる.

## 2.4 リーダビリティ推定

テキストの可読性を評価するリーダビリティ尺度としては, Flesch Reading Ease Formula (Flesch 1948) や Flesch-Kincaid Grade Level (Kincaid, Fishburne Jr., Rogers, and Chissom 1975) がよく知られている。これらはいずれも，単語数と音節数を用いてリーダビリティを計算する. また, 単語数に加えて難解な表現が出現する割合を考慮する Dale-Chall Readability Formula (Chall and Dale 1995) や言語モデルに基づく手法 (Collins-Thompson and Callan 2004) も提案されている。これらの研究は英語を対象としているが, リーダビリティ尺度は言語ごとに開発されており, 例えば日本語では柴崎, 玉岡 (2010), 佐藤 (2011), 藤田, 小林, 南, 杉山 (2015) の研究がある.

本研究ではシンプルなリーダビリティ尺度を採用するが, 我々の提案するフレームワークに
$

8 http://ssli.ee.washington.edu/tial/projects/simplification/
}
基づいて, リーダビリティ推定のステップには任意のリーダビリティ尺度を適用できる.

## 2.5 テキスト平易化の評価

統計的機械翻訳を用いたテキスト平易化 (Specia 2010; Zhu et al. 2010; Coster and Kauchak 2011a, 2011b; Wubben et al. 2012; Štajner et al. 2015a, 2015b; Goto et al. 2015) では, 機械翻訳のための評価尺度である BLEU (Papineni, Roukos, Ward, and Zhu 2002)による自動評価が一般的である. BLEUではリファレンスとの比較によって出力文の意味や文法の正しさを評価するが，テキスト平易化では入力文よりも平易な文を出力したいため, 入力文と出力文の比較も行いたい.

本研究では，テキスト平易化のために新たに提案された SARI (Xu, Napoles, Pavlick, Chen, and Callison-Burch 2016)による自動評価も行う，SARIは入力文と出力文とリファレンスの 3 つを用いる自動評価尺度であり, 特に平易さの観点で BLEUよりも人手評価との相関が高いことが知られている.

## 3 生コーパスから疑似パラレルコーパスを構築するためのフレームワーク

本研究では, 生コーパスからテキスト平易化のための疑似パラレルコーパスを自動構築するフレームワークを提案する。これは，より一般的には図 2 のように説明できる。生コーパスから無作為に抽出した 2 つの文に対して，タスクに応じた品質推定を行い，一定以上の尤度を持つ文対を擬似パラレルコーパスとして抽出する。品質推定 (Štajner, Popović, Saggion, Specia, and Fishel 2016) とは入力文と出力文の比較によってリファレンスなしで出力文を評価する技術の総称であり，テキストからのテキスト生成タスク，特に機械翻訳 (Callison-Burch, Koehn, Monz, Post, Soricut, and Specia 2012; Bojar, Buck, Callison-Burch, Federmann, Haddow, Koehn,

図 2 品質推定を用いた生コーパスからの疑似パラレルコーパス構築

Monz, Post, Soricut, and Specia 2013; Bojar, Buck, Federmann, Haddow, Koehn, Leveling, Monz, Pecina, Post, Saint-Amand, Soricut, Specia, and Tamchyna 2014; Bojar, Chatterjee, Federmann, Haddow, Huck, Hokamp, Koehn, Logacheva, Monz, Negri, Post, Scarton, Specia, and Turchi 2015; Bojar, Chatterjee, Federmann, Graham, Haddow, Huck, Jimeno Yepes, Koehn, Logacheva, Monz, Negri, Neveol, Neves, Popel, Post, Rubino, Scarton, Specia, Turchi, Verspoor, and Zampieri 2016) を中心に研究されている. 図 2 に戻ると, 品質推定のステップでは言い換え生成であれば 2 文間の同義性を評価し, 文圧縮であれば 2 文間の同義性および文 $\mathrm{A}$ に対する文 B の圧縮率を評価し，応答文生成であれば文 $\mathrm{A}$ を質問文として文 B の応答文らしさを評価する.このように，タスクごとの品質推定を高精度に実現できれば，このフレームワークを用いてタスクに応じた疑似パラレルコーパスを生コーパスから抽出できる.

本研究では，テキスト平易化のための疑似パラレルコーパスを構築したい。テキスト平易化は意味を保持したまま平易に書き換えるタスクなので, 図 2 における品質推定のステップでは,各文の難易度および 2 文間の同義性を評価する。我々は文の難易度を評価するために，各言語で開発されているリーダビリティ尺度を用いる，各文に対してリーダビリティ推定を行い，絶対的あるいは相対的なリーダビリティの高低がわかれば，続いてリーダビリティの低い難解な文とリーダビリティの高い平易な文の同義性を評価する。一般に長い文よりも短い文の方が読みやすいので，テキスト平易化では難解な表現から平易な表現への言い換えの他に，重要ではない表現の省略も頻繁に行われる (Xu et al. 2015).そのため, テキスト平易化における同義性は，言い換えタスクのような相互に置換可能な「同義性」には限定されない。そこで我々は，4 節で説明する意味的文間類似度を用いて 2 文間の同義性を評価する。最終的に，難解な文と平易な文の対であり，かつ類似度が高い文対のみをテキスト平易化のための擬似パラレルコーパスとして採用する。

## 4 単語分散表現のアライメントに基づく文間類似度を用いた文アライメント

難解な文と平易な文の同義性を評価するために, 我々は単語分散表現のアライメントに基づく4 種類の文間類似度の計算手法を提案する．4.1 節から 4.3 節で説明する手法は, Song and Roth (2015)によって提案された単語分散表現のアライメントに基づく文間類似度の計算手法を本タスクに応用するものである. 4.4 節の Word Mover's Distance (Kusner et al. 2015) も, 単語分散表現のアライメントに基づく文間類似度の計算に用いることができる.

## 4.1 Average Alignment

文 $x$ と文 $y$ の間の全ての単語の組み合わせについて単語間類似度を計算し, それらの $|x||y|$ 個の単語間類似度を平均して文間類似度 $S_{\text {ave }}(x, y)$ を求める.

$
S_{\text {ave }}(x, y)=\frac{1}{|x||y|} \sum_{i=1}^{|x|} \sum_{j=1}^{|y|} \phi\left(x_{i}, y_{j}\right)
$

ここで， $x_{i}$ およ゙ $y_{j}$ は，それぞれ文 $x$ および文 $y$ に含まれる単語を表す.また， $\phi\left(x_{i}, y_{j}\right)$ は単語 $x_{i}$ と単語 $y_{j}$ の間の単語間類似度を表し, 本研究ではコサイン類似度を用いる.

## 4.2 Maximum Alignment

Average Alignment は単語分散表現に基づく文間類似度として直感的であるが，同義の文対を考えても全ての単語の組み合わせについて単語間類似度が高くなるとは考えにくく, 多くの単語間類似度は 0 に近い値を取るノイズになると考えられる。そこで文 $x$ に含まれる各単語 $x_{i}$ に対して最も類似度が高い文 $y$ 中の単語 $y_{j}$ を選択し, それらの $|x|$ 個の単語の組み合わせについてのみ計算した単語間類似度 $\phi\left(x_{i}, y_{j}\right)$ を平均して $S_{\text {asym }}(x, y)$ を求める. $S_{\text {asym }}(x, y)$ は非対称なスコアであるため, $S_{\text {asym }}(x, y)$ と $S_{a s y m}(y, x)$ の平均値を用いて対称な文間類似度 $S_{\max }(x, y)$ を計算する。

$
\begin{aligned}
S_{\text {asym }}(x, y) & =\frac{1}{|x|} \sum_{i=1}^{|x|} \max _{j} \phi\left(x_{i}, y_{j}\right) \\
S_{\text {max }}(x, y) & =\frac{1}{2}\left(S_{\text {asym }}(x, y)+S_{\text {asym }}(y, x)\right)
\end{aligned}
$

## 4.3 Hungarian Alignment

Average Alignment および Maximum Alignment は，それぞれ多対多および多対一の単語アライメントに基づく文間類似度である。本節では $x$ および $y$ の 2 文を単語をノードとする 2 部グラフとして考え, 一対一の単語アライメントに基づく文間類似度を定義する。この 2 部グラフは, 単語間類似度 $\phi\left(x_{i}, y_{j}\right)$ を重みとする重み付きの辺を持つ重み付き完全 2 部グラフである. この完全 2 部グラフの最大マッチングを求めることで, 単語間類似度の総和を最大化する一対一の単語アライメントを得ることができる． 2 部グラフの最大マッチング問題は, Hungarian 法 (Kuhn 1955) を用いて解くことができる。そこで文 $x$ に含まれる各単語 $x_{i}$ に対して Hungarian 法によって文 $y$ 中の単語 $h\left(x_{i}\right)$ を選択し, それらの $|x|$ 個の単語の組み合わせについて計算した単語間類似度を平均して文間類似度 $S_{h u n}(x, y)$ を求める。

$
S_{h u n}(x, y)=\frac{1}{\min (|x|,|y|)} \sum_{i=1}^{|x|} \phi\left(x_{i}, h\left(x_{i}\right)\right)
$

## 4.4 Word Mover's Distance

Word Mover's Distance (Kusner et al. 2015) も，単語の分散表現を用いた多対多の単語アライメントに基づく文間類似度の計算に用いることができる. Word Mover's Distance は, 文 $x$ から文 $y$ へと単語を輸送する輸送問題を解くEarth Mover's Distance (Rubner, Tomasi, and Guibas 1998)の特殊な場合に相当する.

$
\begin{aligned}
S_{w m d}(x, y) & =1-\operatorname{WMD}(x, y) \\
\operatorname{WMD}(x, y) & =\min \sum_{u=1}^{n} \sum_{v=1}^{n} \mathcal{A}_{u v} \psi\left(x_{u}, y_{v}\right) \\
\text { subject to }: \sum_{v=1}^{n} \mathcal{A}_{u v} & =\frac{1}{|x|} \operatorname{freq}\left(x_{u}\right) \\
\sum_{u=1}^{n} \mathcal{A}_{u v} & =\frac{1}{|y|} \operatorname{freq}\left(y_{v}\right)
\end{aligned}
$

ここで, $\psi\left(x_{u}, y_{v}\right)$ は単語 $x_{u}$ と単語 $y_{v}$ の間の単語間非類似度（距離）を表し, 本研究ではユー クリッド距離を用いる。また, $\mathcal{A}_{u v}$ は文 $x$ 中の単語 $x_{u}$ から文 $y$ 中の単語 $y_{v}$ へ輸送量を表す行列であり, $n$ は語彙数, $f r e q\left(x_{u}\right)$ は文 $x$ 中での単語 $x_{u}$ の出現頻度である.

## 5 実験 1：難解な文と平易な文のアライメント

本節では，難解な文と平易な文の組に対してパラレルおよびノンパラレルの 2 值分類を行い,単語分散表現のアライメントに基づく文間類似度の有効性を評価する。

## 5.1 実験設定

Hwang et al. (2015) は, English Wikipedia と Simple English Wikipedia から抽出した 67,853 文対に対して以下の 4 つのラベルを人手で付与したデータを公開している.
- Good : 2 文間の意味が等しい（277 文対）
- Good Partial : 一方の文が他方を含意する（281 文対）
- Partial：部分的に関連する（117 文対）
- Bad：無関係 $(67,178$ 文対)

我々はこの評価用データセットを用いて, 以下の 2 つの設定で, 文間類似度によって各文対をパラレルデータとノンパラレルデータに 2 值分類する.
- Gvs.O：Goodのラベル付きデータのみをパラレルデータとする
- G+GP vs. $O$ : Good と Good Partialの 2 つのラベル付きデータをパラレルデータとする評価には, Hwang et al. と同じく以下の 2 つの尺度を用いる.
- MaxF1：F1 スコアの最大値
- AUC-PR : Precision-Recall 曲線（PR 曲線）上の Area Under the Curve

比較手法には, English Wikipedia と Simple English Wikipedia からテキスト平易化のためのパラレルコーパスを構築する Zhu et al. (2010), Coster and Kauchak (2011b) および Hwang et al.の 3 つの先行研究に加えて, Additive Embeddings (Mikolov, Sutskever, Chen, Corrado, and Dean 2013b) を用いる. Additive Embeddings は, 単語アライメントを使用しない比較手法であり，単語の分散表現を足し合わせることによって文の分散表現を構成し，コサイン類似度によって文間類似度を計算する。

単語分散表現に基づく文間類似度計算のために, 我々は公開されている学習済みの単語分散表現9を用いる。これは, Google News dataset 上でword2vec (Mikolov et al. 2013a)の CBOW モデルによって学習された 300 次元の単語分散表現である.

提案手法のうち, Average Alignment, Maximum Alignment および Hungarian Alignment については, Song and Roth (2015)にならって単語アライメントのノイズ除去を行った. 4.2 節でも述べたが，同義の文対 $(x, y)$ を考えても全ての単語対について単語間類似度が高くなるとは考えにくく, どの単語アライメントの手法を用いても単語間類似度が低いにも関わらず対応付けられてしまう単語対が存在する。このようなノイズとなる単語対の影響を抑えるため, 我々は $\phi\left(x_{i}, y_{j}\right)>\theta$ の単語間類似度を持つ単語対 $\left(x_{i}, y_{j}\right)$ のみを用いて単語アライメントを行った。 この閥値 $\theta$ は MaxF1を最大化するように選択し, Average Alignment については $G$ vs. Oの分類時に $0.89, G+G P$ vs. $O$ の分類時に 0.95, Maximum Alignment については $G$ vs. $O$ の分類時に 0.28, $G+G P$ vs. $O$ の分類時に 0.49, Hungarian Alignment については $G$ vs. $O$ の分類時に $0.98, G+G P$ vs. $O$ の分類時に 0.98 を採用した.

## 5.2 実験結果

パラレルデータとノンパラレルデータの 2 值分類の結果を表 1 に示す. Good とその他の 2 值分類においては多対多の単語アライメントに基づく Word Mover's Distanceが最も高い性能を示した。また, Good+Good Partialとその他の 2 值分類においては多対一の単語アライメントに基づく Maximum Alignment が最も高い性能を示した。なお， Maximum Alignment は Good とその他の 2 值分類においても 3 つの先行研究よりも高い性能を示した.

図 3 および図 4 に, パラレルデータとノンパラレルデータの 2 值分類における Precision-Recall 曲線を示す. 図 4 の Good +Good Partial とその他の 2 値分類において，太実線の Maximum Alignment が他の単語分散表現に基づく文間類似度計算手法よりも高い性能を示した.

3 節で述べたように，テキスト平易化タスクでは省略も頻繁に行われる。そこで，テキスト

表 1 パラレルデータとノンパラレルデータの 2 值分類精度

図 3 Gvs.Oの 2 值分類における $\mathrm{PR}$ 曲線

図 $4 G+G P$ vs. Oの 2 値分類における $\mathrm{PR}$ 曲線

平易化のための単言語パラレルコーパスには，対応する難解な文と平易な文が同義である Good の文対だけでなく，難解な文が平易な文の意味を含意する Good Partial の文対も含めることが重要である。そのため，Good+Good Partialとその他の 2 値分類において最も高い性能を示す Maximum Alignment が，テキスト平易化のための単言語パラレルコーパス構築に最も適した文間類似度の計算手法であると言える。

図 5 および図 6 から, Maximum Alignment では (genus, genus) と (species, genus)のような多対一の単語アライメントが可能であるが, Hungarian Alignment には (as, genus) や (tree, is)のような誤った単語アライメントが見られる。機能語は色々な単語とある程度の単語間類似度を持つため, Hungarian Alignment における一対一の制約は厳しすぎる。また, Maximum Alignment は多対一の単語アライメントを許すので，フレーズと単語の言い換えも上手く捉えられる.

図 5 Maximum Alignment による単語アライメント図 6 Hungarian Alignment による単語アライメント

## 6 実験 2: 英語のテキスト平易化

Simple English Wikipediaのような平易に書かれた大規模コーパスは英語以外の多くの言語では利用できないため, 本研究では生コーパス (English Wikipedia) からテキスト平易化のための疑似パラレルコーパスを構築し，それを用いてフレーズベースの統計的機械翻訳モデルを訓練することによってテキスト平易化を実現する.

本節では，平易に書かれた大規模コーパスが利用できる英語での実験によって，文アライメント手法の改善によるテキスト平易化の性能の変化を確認する。 また，平易なコーパスに頼らない疑似パラレルコーパスから訓練されたモデルが，既存のパラレルコーパスから訓練されたモデルに匹敵する性能を発揮できることを示す.

## 6.1 疑似パラレルコーパスの構築

3 節で述べたように，我々はリーダビリティ推定と文アライメントによって各文対に対してテキスト平易化のための品質推定を行い，コーパスに含める文対を選抜する。

## 6.1.1 生コーパス

まず, 生コーパスを用意する。本研究では, English Wikipedia ${ }^{10}$ の各記事に対して WikiExtractor $^{11}$ を用いた本文抽出と NLTK 3.2.112を用いたトークナイズを行い， 10 単語以上の $6,283,703$文を対象とした。

## 6.1.2 リーダビリティ推定

次に，英文のリーダビリティ推定のために，我々は英語のテキスト平易化 (Zhu et al. 2010; Bingel and Søgaard 2016) でよく利用される Flesch Reading Ease Formula (Flesch 1948)を用いる. Flesch Reading Ease Formula では, $\alpha$ を単語数, $\beta$ を 1 単語あたりの平均音節数として, 文のリーダビリティを次のように定義する。

$
\text { FleschReadingEase }=206.835-1.015 \alpha-84.6 \beta
$

Flesch Reading Ease Formula で計算されたリーダビリティスコアは, おおよそ 0 以上 100 以下の値を取り, $[60,70)$ を標準レべルとして，高いほど読みやすい平易な文であることを意味する. そこで我々は, English Wikipedia から抽出した $6,283,703$ 文を以下のように分割した.

・ 難解なサブコーパス : $[0,60)$ のリーダビリティスコアを持つ $3,689,227$ 文

・平易なサブコーパス : $[60,100]$ のリーダビリティスコアを持つ $2,358,921$ 文

・リーダビリティを測定不能として棄却：数百単語の長文や箇条書きなど， 0 未満または 100 を超えるリーダビリティスコアを持つ 235,555 文

## 6.1.3 文アライメント

我々は 5 節で最も高い性能を示した Maximum Alignment を用いて全ての難解な文と平易な文の組み合わせに対して文間類似度を計算した。単語分散表現には，5 節と同じく公開されている学習済みの CBOW モデル ${ }^{13}$ 使用した. ノイズを軽減するために単語間類似度が 0.5 以上の単語対のみを単語アライメントに使用し, 文間類似度が 0.5 以上である $2,072,572$ 文対を抽出して英語のテキスト平易化のための疑似パラレルコーパスを構築した.

## 6.2 疑似パラレルコーパスの妥当性

図 7 に, English Wikipedia と Simple English Wikipediaの文のリーダビリティの分布を示す.縦軸は各リーダビリティスコアの文数を正規化したものであり, 各ヒストグラムの面積が 1 となる. Flesch Reading Ease Formula に基づくリーダビリティスコアの 60 未満の範囲では, 難解なコーパスである English Wikipediaの文が出現する割合が高い. 同じく, 60 以上の範囲では平易なコーパスである Simple English Wikipediaの文が出現する割合が高い. よって, 本研究で難解な文と平易な文を分割した閾値 60 の基準も妥当であると言える。また，English Wikipediaには難解な文が多いとは言え，全ての文が難解なわけではないこともわかる．そのため, English Wikipedia から平易な文を抽出することで, 平易な文書に頼ることなく平易なサブコーパスを得ることができる.

図 8 に, 我々が構築した疑似パラレルコーパスの文間類似度ごとの同義性の品質を示す. Good, Good Partial，Partial および Badの各ラベルは，5 節の実験設定と対応しており，Hwang et al. (2015) に準ずるものである. 文間類似度の範囲ごとに 100 文対を無作為抽出し, 合計 500 文対を 2 人のアノテータが評価した. 各文対に 4 つのラベルのうちの 1 つを割り当てたところ，アノテータ間の一致率はピアソンの相関係数で 0.629 と十分に高かった。この同義性に関する人手評価から，文間類似度が高くなるにつれて無関係な Badの文対が減少し，同義な Goodの文対が増加していることがわかる。また，一方の文が他方を含意する Good Partialの文対は文間類似度 $[0.9,1.0)$ の範囲でのみ減少しているが，これは難解な文と平易な文の文長に関係している。文間類似度 $[0.8,0.9)$ の範囲では，難解な文の平均文長は平易な文の平均文長よりも約 3 語長い.しかし, 文間類似度 $[0.9,1.0)$ の範囲では, その差は 1 語未満である. 文長の近い文対では意味的な包含関係が成立しにくく, 文間類似度の高い文対は同義になりやすいと考えられる。

表 2 に，我々が構築したテキスト平易化のための疑似パラレルコーパスの例を示す. Goodの

図 7 リーダビリティの分布

図 8 疑似パラレルコーパスの品質

表 2 English Wikipedia から構築したテキスト平易化のための疑似パラレルコーパスの例

文対には，難解な語句から平易な語句への言い換え (precipitation $\rightarrow$ rainfall) の例が見られる. Good Partialの文対には省略の例が見られる，Partialの文対は，同義関係や含意関係ではないが，共通する語句や関連する語句を含み，関連する内容について書かれている。

English Wikipediaを分割した難解なサブコーパスと平易なサブコーパスの組は, English Wikipedia と Simple English Wikipediaの組とは異なりコンパラブルコーパスではない. そのため, 図 8 に示したように，同義や含意の関係にある文対の割合は多くはない. しかし, 本研究ではフレーズベースの統計的機械翻訳を用いてテキスト平易化を行うため，以下の 3 つの理由でこの問題の影響は少なく，雑音の多い文対からでも重要な知識を獲得できる.
- テキスト平易化は同一言語内の翻訳問題であるため, 入力文に含まれる多くの単語をそのまま出力できる（変換しないことが正解である）。そのため，異言語間の翻訳問題とは異なり，適切な変換対が少量しか得られないことが致命的な問題にはならない.
- フレーズベースの統計的機械翻訳では，フレーズ単位の変換対を学習する。難解なフレー ズとその言い換えである平易なフレーズの組は，同義や含意の関係にある文対からだけではなく，類義の関係にある文対からも得ることができる。

・フレーズベースの統計的機械翻訳では, 最終的に言語モデルによるリランキングを行うため，雑音の多いフレーズペアを獲得していても，平易な言い換えとして適切なフレー ズペアをその中に含むことができれば適切な平易文が得られる.

## 6.3 実験設定

我々は生コーパスのみから構築したテキスト平易化のための疑似パラレルコーパスの有効性を調査するために，フレーズベースの統計的機械翻訳を用いてテキスト平易化モデルを学習し， Simple English Wikipedia を使って構築された既存のテキスト平易化のためのパラレルコーパスを用いて学習したモデルとの比較を行う。本研究では，テキスト平易化を難解な文から平易な文への翻訳問題と考え，対数線形モデルを用いてモデル化する.

$
\begin{aligned}
\hat{s} & =\underset{\text { simple }}{\operatorname{argmax}} P(\text { simple } \mid \text { complex }) \\
& =\underset{\text { simple }}{\operatorname{argmax}} P(\text { complex } \mid \text { simple }) P(\text { simple }) \\
& =\underset{\text { simple }}{\operatorname{argmax}} \sum_{m=1}^{M} \lambda_{m} h_{m}(\text { simple }, \text { complex })
\end{aligned}
$

対数線形モデルでは $M$ 個の素性関数 $h_{m}($ simple, complex $)$ および各素性の重み $\lambda_{m}$ を考え，翻訳確率 $P$ (simple complex) をモデル化する。テキスト平易化の場合は，入力の難解な文に対して素性関数の重み付き線形和を最大化する平易な文 $\hat{s}$ を探索する問題を考える。素性関数としては，フレーズの平易化モデル $\log P($ complex $\mid$ simple $)$ や言語モデル $\log P($ simple $)$ などを用いる.
我々はフレーズベースの統計的機械翻訳ツールである Moses 2.1 (Koehn et al. 2007) を使用し，パラレルコーパスからの単語アライメントの獲得には GIZA++ (Och 2003)を用いた。また, KenLM (Heafield 2011) を用いて各パラレルコーパスの平易側の文から 5-gram 言語モデルを構築した。 テストデータには, Xu et al. (2016)によって公開されているマルチリファレンスのパラレルコーパス14を使用した。これは, English Wikipedia から抽出された難解な 350 文に対して，それぞれ 8 人が平易な同義文を付与したものである。本研究では，このマルチリファレンスのパラレルコーパスを用いて Flesch Reading Ease (FRE), BLEU (Papineni et al. 2002) および SARI (Xu et al. 2016)による自動評価を行った。なお，トレーニングデータからはテストデータに含まれる English Wikipediaの文を除外した。

## 6.4 実験結果

表 3 および表 4 にフレーズベースの統計的機械翻訳を用いたテキスト平易化の実験結果を示す. Baseline は，書き換えを行わず入力文をそのまま出力する弱いべースラインである．Zhu

定と同じくフレーズベースの統計的機械翻訳ツール Moses によってテキスト平易化を行うが,

表 3 英語のテキスト平易化の実験結果

 &  &  &  & 平易化規則数 & \multirow{2}{*}{ FRE } & BLEU & SARI \\

Zhu et al. corpus & 108,016 & 181,459 & 149,643 & 21.2 & 17.4 & $7,441,535$ & 59.7 & 84.7 & 34.7 \\
Coster and Kauchak corpus & 137,362 & 132,567 & 120,620 & 23.6 & 21.1 & $11,871,929$ & 59.8 & 86.4 & 34.1 \\
Hwang et al. corpus & 284,738 & 212,138 & 164,979 & 26.0 & 19.8 & $25,482,261$ & 61.0 & 81.3 & 34.5 \\
Our parallel corpus & 492,993 & 274,775 & 198,043 & 25.3 & 17.9 & $34,370,284$ & 61.7 & 78.4 & 34.9 \\
Our pseudo-parallel corpus & $2,072,572$ & 174,310 & 156,271 & 43.5 & 32.7 & $146,522,360$ & 58.9 & 78.0 & 34.0 \\

表 4 疑似パラレルコーパスの文対数と性能の変化

 & 文対数 &  &  &  &  & 平易化規則数 & FRE & BLEU & SARI \\

難解なコーパス (English Wikipedia) と平易なコーパス (Simple English Wikipedia) の両方を用いて構築されたパラレルコーパスをトレーニングに使用する. Our parallel corpus ${ }^{18}$ は, 同じく English Wikipedia と Simple English Wikipedia のコンパラブルコーパスを用いるが, 4.2 節の Maximum Alignment によって構築したテキスト平易化のためのパラレルコーパスをトレーニングに使用する強いべースラインである. Our pseudo-parallel corpus は我々の提案手法であり，生コーパスのみを用いて構築したテキスト平易化のための疑似パラレルコーパスを使用する.

## 6.4.1 語彙数

我々のパラレルコーパスや既存の他のパラレルコーパスでは，難解なコーパスの方が平易なコーパスよりも語彙数が多い. これは, Simple English Wikipedia が 850 語の基本語彙を用いるというガイドラインに従って書かれているためである. 850 語の制約が厳密に守られているわけではないとはいえ, Simple English Wikipediaの語彙の方が少なくなっている. しかし, 我々の疑似パラレルコーパスでは，文間類似度の高い 100 万文対までは難解なコーパスの語彙数の方が少ない。これは, 文間類似度を用いて貪欲に文アライメントを取るため, 同じ文が繰り返し使用される場合があるからである。例えば 10 万文の疑似パラレルコーパスでは，平易なコー パスの異なり文数が 25,817 であるのに対して，難解なコーパスの異なり文数は 3,674 である.

## 6.4.2 平均文長

我々のパラレルコーパスは既存の他のパラレルコーパスよりも難解なコーパスと平易なコーパスの文長の差が大きく, English Wikipedia と Simple English Wikipediaの全体の平均文長 (25.1 および16.9）に近い。これは，Maximum Alignment が文長に関わらず適切に文間類似度を計算できていることを意味する.

## 6.4.3平易化規則数（フレーズテーブルのエントリ数）

10 万文や 50 万文の部分に注目すると, 我々の疑似パラレルコーパスは得られる規則が少ない。これは類似度の低い文対ほど多くの平易化が実施されるためである。例えば， Zhu et al. corpus や我々のパラレルコーパスには， 0.5 以上の類似度の文対が含まれている，一方，疑似パラレルコーパスには, 10 万文で 0.94 以上, 50 万文で 0.79 以上の類似度の文対しか含まれていない. 同じ 10 万文や 50 万文で比較したときには我々の疑似パラレルコーパスでは類似度の高い文対が多くなり, 平易化のバリエーションは少ない。しかし, 疑似パラレルコーパスは大量に用意できるため, 最終的には十分な量の規則を獲得することができる.

## 6.4.4 FRE: Flesch Reading Ease (リーダビリティ)

疑似パラレルコーパスを用いて学習したモデルでも，入力文よりもリーダビリティの高い文を出力できた。平易な大規模コーパスを使用していないにも関わらず，文間類似度の上位 200 万文を用いて学習した場合には, Simple English Wikipediaを使って学習した場合と同等の 59 を超えるリーダビリティを持つ文を出力することができた.

## 6.4.5 BLEU およびSARI

FRE が出力文のみを用いてリーダビリティのみを評価するのに対して, BLEU は出力文とリファレンスの両方を, SARI は入力文と出力文とリファレンスの全てを用いて文法や意味も評価する. Xu et al. (2016)は, BLEU が Grammar や Meaning の観点で人手評価との相関が高く, SARI が Simplicity の観点で人手評価との相関が高いことを報告しており，テキスト平易化のために提案された SARI は Grammar/Meaning/Simplicity の全てのバランスが取れた自動評価尺度であると結論付けている。表 3 によると, BLEU は Baselineが最も高い. これは, 入力文を何も変換しない場合には意味も文法も損なわれないためである．完全に意味を保持することはできないため, 平易化の操作を加えることによってリーダビリティが向上する一方で BLEU は低下してしまう．BLEUを高く保ちつつリーダビリティのより高い文を出力することが良い平易化である。

我々のパラレルコーパスを用いて学習したモデルは, SARI で最高性能を達成した. 他の先行研究との違いは文アライメントの手法であり, 5 節の内的評価の結果と同様に Maximum Alignment の有効性が確認できた。

疑似パラレルコーパスを用いて学習したモデルでは, 文間類似度の上位 150 万文を使った場合にSARIが最大となった. 平易な大規模コーパスを利用しないにも関わらず, 先行研究のパラレルコーパスを用いて学習したモデルと同等の性能を発揮することができた. また，このときの BLEU も先行研究と同等であり, 入力文の文法や意味を保持した文を出力することができた.

## 6.4.6 テキスト平易化の例

表 5 に，フレーズベースの統計的機械翻訳を用いたテキスト平易化の例を示す。疑似パラレルコーパスを用いて学習したモデルは, Reference 1 と同様に不要な表現 “both”を省略し, Reference 2 や 3 と同様に難解な表現 “numerous”を平易な表現 “many”に言い換えた. 比較手法の中には，難解な表現 “extremely” から平易な表現 “very”への言い換えも見られた一方で， “world”など必要以上の省略も見られた.
表 5 英語のテキスト平易化の例

 \\

## 7 実験 3: 日本語のテキスト平易化

提案手法が言語やコーパス (English Wikipedia) に依存しないことを確認するために，本節では日本語の均衡コーパスを用いた実験を行う.

## 7.1 疑似パラレルコーパスの構築

6.1 節と同じく, リーダビリティ推定と文アライメントによって生コーパスからテキスト平易化のための疑似パラレルコーパスを構築する。生コーパスには現代日本語書き言葉均衡コーパス (BCCWJ) (Maekawa, Yamazaki, Maruyama, Yamaguchi, Ogura, Kashino, Ogiso, Koiso, and Den 2010)を, リーダビリティ推定には文中の各単語の単語難易度 ${ }^{19}$ (梶原, 小町 2017)の平均値をそれぞれ使用した。この単語難易度は, 571,023 語の日本語の単語に 3 段階 $(1:$ 初級, 2 : 中級， 3 : 上級）の難易度が自動的に付与されたものである. Maximum Alignment の文アライメントに使用する単語分散表現は, word2vec (Mikolov et al. 2013a)の CBOW モデルを BCCWJ 上で学習した。ノイズを軽減するために単語間類似度が 0.5 以上の単語対のみを単語アライメントに使用し, 文間類似度が 0.6 以上である 470,885 文対を抽出して日本語のテキスト平易化のための疑似パラレルコーパスを構築した。

## 7.2 実験設定

6.3 節の英語の実験と同じ設定で，フレーズベースの統計的機械翻訳モデルを用いてテキスト平易化を行った。テストデータには， $\mathrm{Web}^{20}$ から収集した 2,000 文対を使用した，収集したデータは難解なテキストと平易なテキストからなるコンパラブルコーパスである. Maximum Alignment の文間類似度が $[0.75,1.0)$ の範囲の各文対について, 2 人のアノテータが Hwang et al. (2015)に準ずる 4つのラベル (Good, Good Partial, Partial，Bad)のうちの1つを割り当てたところ，アノテータ間の一致率はピアソンの相関係数で 0.769 と十分に高かった. テストデー 夕として使用するのは，2 人のアノテータがいずれも Goodまたは Good Partialのラベルを付与した 2,000 文対である.

## 7.3 実験結果

表 6 に，フレーズベースの統計的機械翻訳を用いた日本語のテキスト平易化の実験結果を示す. 日本語ではテキスト平易化のためのパラレルコーパスが公開されていないため，書き換えを行わず入力文をそのまま出力する弱いべースラインのみと比較する．疑似パラレルコーパスを用いて学習したモデルは，いずれも SARIにおいて Baseline（入力文）よりも高い性能を示した. 英日の実験結果から，我々は提案手法が言語やコーパスに依存せず有効であることを確認できた. なお, 表 3 の英語の実験結果に比べて全体に BLEUが低いのは, シングルリファレンスのテストデータで評価を行っているためである.

表 7 に，日本語のテキスト平易化の例を示す。疑似パラレルコーパスで訓練したテキスト平易化モデルは，難解な表現“定休日” から平易な表現“休みの日”などの言い換えを漏らしてい

表 6 日本語のテキスト平易化の実験結果

 &  &  &  & 平易化規則数 &  & BLEU & SARI \\

$S_{m a x} \geq 0.80$ & 867 & 697 & 677 & 17.3 & 16.8 & 14,356 & 2.53 & 52.9 & 30.9 \\
$S_{\text {max }} \geq 0.75$ & 2,299 & 2,118 & 1,980 & 16.2 & 15.8 & 49,688 & 2.54 & 46.5 & 32.1 \\
$S_{\text {max }} \geq 0.70$ & 11,941 & 8,732 & 7,470 & 15.9 & 15.8 & 307,275 & 2.51 & 40.1 & 34.4 \\
$S_{\text {max }} \geq 0.65$ & 90,542 & 33,535 & 28,573 & 16.4 & 16.6 & $2,609,793$ & 2.49 & 28.6 & 31.7 \\
$S_{\text {max }} \geq 0.60$ & 470,885 & 78,651 & 66,177 & 17.4 & 17.7 & $15,128,855$ & 2.51 & 19.9 & 28.3 \\

表 7 日本語のテキスト平易化の例

 &  \\

るものの，難解な表現 “電話で聞く”から平易な表現 “電話をする”などの言い換えや，ガ格と二格の並び替えに成功した。

## 8 おわりに

本稿では，フレーズベースの統計的機械翻訳モデルを用いる生コーパスのみからのテキスト平易化について述べた，提案手法では，平易に書かれた大規模なコーパスや言い換え知識などの外部知識に頼らず，生コーパスのみを用いてリーダビリティと文間類似度によってテキスト平易化のための疑似パラレルコーパスを構築する。我々が提案した単語分散表現のアライメントに基づく文間類似度は，外部知識に頼ることなく難解な単語と平易な単語の単語間類似度を考慮することができ，従来の文間類似度よりも文長に頑健なため，テキスト平易化コーパスを構築するための文アライメントに適した手法である.フレーズベースの統計的機械翻訳を用いたテキスト平易化の実験結果は，疑似パラレルコーパスを用いて学習したモデルが，平易な大規模コーパスを用いて学習する先行研究のモデルと同等の性能で入力文を平易な同義文に変換できることを示した。

これまでは，豊富な言語資源が存在する英語を中心にテキスト平易化の研究が進められてき

たが，生コーパスは英語以外の多くの言語でも大規模に利用できるので，今後は多くの言語でテキスト平易化が実現できるだろう.

また，パラレルコーパスは文圧縮や応答文生成などの他のテキストからのテキスト生成タスクにおいても有用な言語資源である。日本語など，英語以外の言語の単言語パラレルコーパスが不足している現状を考えると, 本研究で提案した疑似パラレルコーパスの自動構築手法は, これらのタスクにおいても有望である.

## 謝 辞

本研究は首都大学東京傾斜的研究費 (全学分) 学長裁量枠戦略的研究プロジェクト戦略的研究支援枠「ソーシャルビッグデータの分析・応用のための学術基盤の研究」から部分的な支援を受けた。

## 参考文献

Agirre, E., Banea, C., Cardie, C., Cer, D., Diab, M., Gonzalez-Agirre, A., Guo, W., LopezGazpio, I., Maritxalar, M., Mihalcea, R., Rigau, G., Uria, L., and Wiebe, J. (2015). "SemEval-2015 Task 2: Semantic Textual Similarity, English, Spanish and Pilot on Interpretability." In Proceedings of the 9th International Workshop on Semantic Evaluation, pp. 252-263.

Agirre, E., Banea, C., Cardie, C., Cer, D., Diab, M., Gonzalez-Agirre, A., Guo, W., Mihalcea, R., Rigau, G., and Wiebe, J. (2014). "SemEval-2014 Task 10: Multilingual Semantic Textual Similarity." In Proceedings of the 8th International Workshop on Semantic Evaluation, pp. 81-91.

Agirre, E., Cer, D., Diab, M., and Gonzalez-Agirre, A. (2012). "SemEval-2012 Task 6: A Pilot on Semantic Textual Similarity." In *SEM 2012: The 1st Joint Conference on Lexical and Computational Semantics - Volume 1: Proceedings of the Main Conference and the Shared Task, and Volume 2: Proceedings of the 6th International Workshop on Semantic Evaluation, pp. 385-393.

Agirre, E., Cer, D., Diab, M., Gonzalez-Agirre, A., and Guo, W. (2013). "*SEM 2013 shared task: Semantic Textual Similarity." In 2nd Joint Conference on Lexical and Computational Semantics, Volume 1: Proceedings of the Main Conference and the Shared Task: Semantic Textual Similarity, pp. 32-43.

Bingel, J. and Søgaard, A. (2016). "Text Simplification as Tree Labeling." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics, pp. 337-343.

Bojar, O., Buck, C., Callison-Burch, C., Federmann, C., Haddow, B., Koehn, P., Monz, C., Post, M., Soricut, R., and Specia, L. (2013). "Findings of the 2013 Workshop on Statistical Machine Translation." In Proceedings of the 8th Workshop on Statistical Machine Translation, pp. $1-44$.

Bojar, O., Buck, C., Federmann, C., Haddow, B., Koehn, P., Leveling, J., Monz, C., Pecina, P., Post, M., Saint-Amand, H., Soricut, R., Specia, L., and Tamchyna, A. (2014). "Findings of the 2014 Workshop on Statistical Machine Translation." In Proceedings of the 9th Workshop on Statistical Machine Translation, pp. 12-58.

Bojar, O., Chatterjee, R., Federmann, C., Graham, Y., Haddow, B., Huck, M., Jimeno Yepes, A., Koehn, P., Logacheva, V., Monz, C., Negri, M., Neveol, A., Neves, M., Popel, M., Post, M., Rubino, R., Scarton, C., Specia, L., Turchi, M., Verspoor, K., and Zampieri, M. (2016). "Findings of the 2016 Conference on Machine Translation." In Proceedings of the 1st Conference on Machine Translation, pp. 131-198.

Bojar, O., Chatterjee, R., Federmann, C., Haddow, B., Huck, M., Hokamp, C., Koehn, P., Logacheva, V., Monz, C., Negri, M., Post, M., Scarton, C., Specia, L., and Turchi, M. (2015). "Findings of the 2015 Workshop on Statistical Machine Translation." In Proceedings of the 10th Workshop on Statistical Machine Translation, pp. 1-46.

Callison-Burch, C., Koehn, P., Monz, C., Post, M., Soricut, R., and Specia, L. (2012). "Findings of the 2012 Workshop on Statistical Machine Translation." In Proceedings of the 7th Workshop on Statistical Machine Translation, pp. 10-51.

Chall, J. and Dale, E. (1995). Readability Revisited: The New Dale-Chall Readability Formula. Cambridge, MA: Brookline Books.

Collins-Thompson, K. and Callan, J. P. (2004). "A Language Modeling Approach to Predicting Reading Difficulty." In Proceedings of the Human Language Technology Conference of the North American Chapter of the Association for Computational Linguistics, pp. 193-200.

Coster, W. and Kauchak, D. (2011a). "Learning to Simplify Sentences Using Wikipedia." In Proceedings of the Workshop on Monolingual Text-To-Text Generation, pp. 1-9.

Coster, W. and Kauchak, D. (2011b). "Simple English Wikipedia: A New Text Simplification Task." In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, pp. 665-669.

Flesch, R. (1948). "A New Readability Yardstick." Journal of Applied Psychology, 32, pp. 221-233.
藤田早苗, 小林哲生, 南泰浩, 杉山弘晃 (2015). 幼児を対象としたテキストの対象年齢推定方法. 認知科学, 22 (4), pp. 604-620.

Ganitkevitch, J., Van Durme, B., and Callison-Burch, C. (2013). "PPDB: The Paraphrase Database." In Proceedings of the 2013 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 758-764.

Goto, I., Tanaka, H., and Kumano, T. (2015). "Japanese News Simplification: Task Design, Data Set Construction, and Analysis of Simplified Text." In Proceedings of MT Summit XV, pp. 17-31.

Han, L., Martineau, J., Cheng, D., and Thomas, C. (2015). "Samsung: Align-and-Differentiate Approach to Semantic Textual Similarity." In Proceedings of the 9th International Workshop on Semantic Evaluation, pp. 172-177.

Hänig, C., Remus, R., and de la Puente, X. (2015). "ExB Themis: Extensive Feature Extraction from Word Alignments for Semantic Textual Similarity." In Proceedings of the 9th International Workshop on Semantic Evaluation, pp. 264-268.

Heafield, K. (2011). "KenLM: Faster and Smaller Language Model Queries." In Proceedings of the 6th Workshop on Statistical Machine Translation, pp. 187-197.

Hwang, W., Hajishirzi, H., Ostendorf, M., and Wu, W. (2015). "Aligning Sentences from Standard Wikipedia to Simple Wikipedia." In Proceedings of the 2015 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 211-217.

梶原智之, 小町守 (2017). “Simple PPDB: Japanese.” 言語処理学会第 23 回年次大会発表論文集, pp. 529-532.

Kincaid, J. P., Fishburne Jr., R. P., Rogers, R. L., and Chissom, B. S. (1975). "Derivation of New Readability Formulas (Automated Readability Index, Fog Count and Flesch Reading Ease Formula) for Navy Enlisted Personnel." In Technical Report, Defence Technical Information Center Document, pp. 8-75.

Koehn, P., Hoang, H., Birch, A., Callison-Burch, C., Federico, M., Bertoldi, N., Cowan, B., Shen, W., Moran, C., Zens, R., Dyer, C., Bojar, O., Constantin, A., and Herbst, E. (2007). "Moses: Open Source Toolkit for Statistical Machine Translation." In Proceedings of the 45th Annual Meeting of the Association for Computational Linguistics Companion Volume Proceedings of the Demo and Poster Sessions, pp. 177-180.

Kuhn, H. W. (1955). "The Hungarian Method for the Assignment Problem." Naval Research Logistics Quarterly, 2, pp. 83-97.

Kusner, M., Sun, Y., Kolkin, N., and Weinberger, K. (2015). "From Word Embeddings to

Document Distances." In Proceedings of The 32nd International Conference on Machine Learning, pp. 957-966.

Maekawa, K., Yamazaki, M., Maruyama, T., Yamaguchi, M., Ogura, H., Kashino, W., Ogiso, T., Koiso, H., and Den, Y. (2010). "Design, Compilation, and Preliminary Analyses of Balanced Corpus of Contemporary Written Japanese." In Proceedings of the 7th International Conference on Language Resources and Evaluation, pp. 1483-1486.

Mikolov, T., Chen, K., Corrado, G. S., and Dean, J. (2013a). "Efficient Estimation of Word Representations in Vector Space." In Proceedings of Workshop at the International Conference on Learning Representations.

Mikolov, T., Sutskever, I., Chen, K., Corrado, G. S., and Dean, J. (2013b). "Distributed Representations of Words and Phrases and Their Compositionality." In Advances in Neural Information Processing Systems, pp. 3111-3119.

Och, F. J. (2003). "Minimum Error Rate Training in Statistical Machine Translation." In Proceedings of the 41st Annual Meeting of the Association for Computational Linguistics, pp. 160-167.

Papineni, K., Roukos, S., Ward, T., and Zhu, W.-J. (2002). "BLEU: A Method for Automatic Evaluation of Machine Translation." In Proceedings of 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318.

Pavlick, E. and Callison-Burch, C. (2016). "Simple PPDB: A Paraphrase Database for Simplification." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics, pp. 143-148.

Pavlick, E., Rastogi, P., Ganitkevitch, J., Van Durme, B., and Callison-Burch, C. (2015). "PPDB 2.0: Better Paraphrase Ranking, Fine-grained Entailment Relations, Word Embeddings, and Style Classification." In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing, pp. 425-430.

Rubner, Y., Tomasi, C., and Guibas, L. J. (1998). "A Metric for Distributions with Applications to Image Databases." In Proceedings of the 6th International Conference on Computer Vision, pp. 59-66.

佐藤理史 (2011). 均衡コーパスを規範とするテキスト難易度判定. 情報処理学会論文誌, 52 (4), pp. 1777-1789.

柴崎秀子, 玉岡賀津雄 (2010). 国語科教科書を基にした小・中学校の文章難易度学年判定式の構築. 日本教育工学会論文誌, 33 (4), pp. 449-458.

Song, Y. and Roth, D. (2015). "Unsupervised Sparse Vector Densification for Short Text Similar-
ity." In Proceedings of the 2015 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 1275-1280.

Specia, L. (2010). "Translating from Complex to Simplified Sentences." In Proceedings of the 9th International Conference on Computational Processing of the Portuguese Language, pp. 30-39.

Štajner, S., Bechara, H., and Saggion, H. (2015a). "A Deeper Exploration of the Standard PB-SMT Approach to Text Simplification and its Evaluation." In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing, pp. 823-828.

Štajner, S., Calixto, I., and Saggion, H. (2015b). "Automatic Text Simplification for Spanish: Comparative Evaluation of Various Simplification Strategies." In Proceedings of the International Conference Recent Advances in Natural Language Processing, pp. 618-626.

Štajner, S., Popović, M., Saggion, H., Specia, L., and Fishel, M. (2016). "Shared Task on Quality Assessment for Text Simplification." In LREC 2016 Workshop 83 Shared Task on Quality Assessment for Text Simplification, pp. 22-31.

Sultan, M. A., Bethard, S., and Sumner, T. (2015). "DLS@CU: Sentence Similarity from Word Alignment and Semantic Vector Composition." In Proceedings of the 9th International Workshop on Semantic Evaluation, pp. 148-153.

Wubben, S., van den Bosch, A., and Krahmer, E. (2012). "Sentence Simplification by Monolingual Machine Translation." In Proceedings of the 50th Annual Meeting of the Association for Computational Linguistics, pp. 1015-1024.

Xu, W., Callison-Burch, C., and Napoles, C. (2015). "Problems in Current Text Simplification Research: New Data Can Help." Transactions of the Association for Computational Linguistics, 3, pp. 283-297.

Xu, W., Napoles, C., Pavlick, E., Chen, Q., and Callison-Burch, C. (2016). "Optimizing Statistical Machine Translation for Text Simplification." Transactions of the Association for Computational Linguistics, 4, pp. 401-415.

Zhu, Z., Bernhard, D., and Gurevych, I. (2010). "A Monolingual Tree-based Translation Model for Sentence Simplification." In Proceedings of the 23rd International Conference on Computational Linguistics, pp. 1353-1361.

## 略歴

梶原智之：2013 年長岡技術科学大学工学部電気電子情報工学課程卒業. 2015 年同大学大学院工学研究科修士課程電気電子情報工学専攻修了. 同年, 首都
大学東京大学院システムデザイン研究科博士後期課程情報通信システム学域に進学, 現在に至る. 自然言語処理の研究に従事. 情報処理学会, 人工知能学会, 言語処理学会各学生会員.

小町守：2005 年東京大学教養学部基礎科学科科学史・科学哲学分科卒業. 2007 年奈良先端科学技術大学院大学情報科学研究科博士前期課程修了. 2008 年より日本学術振興会特別研究員 (DC2) を経て, 2010 年博士後期課程修了.博士 (工学)。同年より同研究科助教を経て, 2013 年より首都大学東京システムデザイン学部准教授. 大規模なコーパスを用いた意味解析および統計的自然言語処理に関心がある. 情報処理学会, 人工知能学会, 言語処理学会, ACL 各会員.

(2017 年 9 月 21 日受付)

(2017 年 11 月 30 日採録)

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/