# 素性空間拡張法に基づくフレーズベース統計翻訳の マルチドメイン適応

今村 賢治 ${ }^{\dagger}$ 隅田英一郎†

ドメイン適応は，機械翻訳を実用に使用するときの大きな課題の一つである．本稿 では，複数ドメインを前提とした，統計翻訳の適応方式を提案する。本稿の方式は, カバレッジが広い (未知語が少ない) コーパス結合モデルと, 素性関数の精度がよい 単独ドメインモデルを併用する。これらを，機械学習のドメイン適応に用いられて いる素性空間拡張法の考え方で結合する。従来の機械翻訳における素性空間拡張法 は, 単一のモデルを用いていたが, 本稿の提案方式は, 複数のモデルを用いること により，両者の利点を活かすことが特徴である，実験では，単独ドメインモデルに 比べ，翻訳品質が向上または同等を保持した。提案法は，当該ドメインの訓練コー パスが小規模である場合に高い効果を持ち，100万文規模の大規模コーパスを持つ ドメインへの適応に使用しても, 翻訳品質を下げることなく, ドメインによっては 品質向上の効果がある。基本的な対数線形モデルでも, モデルの選択と設定を適切 に行うことで，最先端品質の適応方式が実現できることを示す.

キーワード：ドメイン適応，フレーズベース統計翻訳，素性空間拡張法，コーパス結合モデ ル, empty 值
## Multi-domain Adaptation for Statistical Machine Translation Based on Feature Augmentation

\author{
Kenji Imamura $^{\dagger}$ and Eirchiro Sumita ${ }^{\dagger}$
}

Domain adaptation is a major challenge when machine translation is applied to practical tasks. In this study, we present domain adaptation methods for machine translation that assume multiple domains. The proposed methods combine two typesof models: a corpus-concatenated model covering multiple domains and single-domain models that are accurate but sparse in specific domains. We combine the advantages of both the models using feature augmentation for domain adaptation in machine learning; however, a conventional method of feature augmentation for machine translation uses a single model. Our experimental results show that the translation qualities of the proposed method improved or were at the same level as those of the single-domain models. The proposed method is extremely effective in low-resource domains. Even in domains having a million bilingual sentences, the translation quality was at least preserved and even improved in some domains. These results demonstrate that stateof-the-art domain adaptations can be realized with appropriate model selection and appropriate settings, even when standard log-linear models are used.

Key Words: Domain Adaptation, Phrase-based Statistical Machine Translation, Feature Augmentation, Corpus-concatenated Model, Empty Value

## 1 はじめに

さまざまな種類のテキストや，音声認識結果が機械翻訳されるようになってきている．しかし， すべてのドメインのデータにおいて，適切に翻訳できる機械翻訳器の実現はいまだ困難であり，翻訳対象ドメインを絞りこむ必要がある.

対象ドメインの翻訳品質を向上させるには, 学習デー夕（対訳文）を大量に収集し, 翻訳器を訓練するのが確実である。しかし，多数のドメインについて，対訳文を大量に収集することはコスト的に困難であるため, 他のドメインの学習データを用いて対象ドメインの翻訳品質を向上させるドメイン適応技術が研究されている (Foster and Kuhn 2007; Foster, Goutte, and Kuhn 2010; Axelrod, He, and Gao 2011; Bisazza, Ruiz, and Federico 2011; Sennrich 2012; Sennrich, Schwenk, and Aransa 2013). このドメイン適応は，機械翻訳を実用に供するときには非常に重要な技術である.

本稿では, 複数ドメインを前提とした, 統計翻訳の適応方式を提案する。本稿の提案方式は,複数のモデルを対数線形補間で組み合わせる方法である. シンプルな方法であるが, 機械学習分野のドメイン適応方法である素性空間拡張法 (Daumé 2007)の考え方を流用することで, 複数ドメインの利点を活かす。具体的には，以下の 2 方式の提案を行う.

（1）複数ドメインの同時最適化を行う方法. この場合, 拡張された素性空間に対して, マルチドメイン対応に変更した最適化器で同時最適化を行う.

（2）複数ドメインを一つ一つ個別に最適化する方法. この場合, 素性空間を制限し，通常の対数線形モデルとして扱う．既存の翻訳システムへの改造が少なくても実現できる.

いずれの方法も，さまざまなドメインで未知語が少ないコーパス結合モデルと， ドメインを限定した際に翻訳品質がよい単独ドメインモデルを併用する. さらに, 複数モデル組み合わせ時のハイパーパラメータをチューニングする.

素性空間拡張法を機械翻訳に適用した例には, Clark, Lavie, and Dyer (2012)がある.これは，翻訳文の尤度の算出に用いられる素性ベクトルの重みだけを適応させていて，素性関数は適応させていない，本稿の新規性は，コーパス結合モデルと単独ドメインモデルを使って，素性関数を適応させていること, および，複数モデル組み合わせ時のハイパーパラメータを適切に設定することの 2 点である. モデルの選択と設定を適切に行うことによって, 最先端のドメイン適応と同等以上の精度が出せることを示す.

なお，本稿では，事前並べ替えを使ったフレーズベース統計翻訳方式 (PBSMT)(Koehn, Och, and Marcu 2003; Koehn, Hoang, Birch, Callison-Burch, Federico, Bertoldi, Cowan, Shen, Moran,

Zens, Dyer, Bojar, Constantin, and Herbst 2007) を対象とする．以下，第 2 節では， 統計翻訳のドメイン適応に関する関連研究を述べる。第 3 節では，提案方式を詳細に説明する。第 4 節では，実験を通じて本方式の特徴を議論し，第 5 節でまとめる.

## 2 統計翻訳のドメイン適応

機械翻訳のドメイン適応は，翻訳対象のドメイン（内ドメイン）データが少なく，他のドメイン（外ドメイン）データが大量にある場合，内外ドメインのデータ双方を使って，内ドメインの翻訳品質を向上させる技術である.

ドメイン適応には，「ニュース」「Web」のように，あらかじめデータがどのドメインに属するか決まっている場合の他に，自動クラスタリングによって仮想的に作られる場合もある。自動で分割されたドメインでも，重みを最適化することによって，トータルの翻訳品質が向上するという報告もある (Finch and Sumita 2008; Sennrich et al. 2013). 本稿では，前者のあらかじめデータのドメインが決まっている場合で議論する.

## 2.1 コーパス結合

最もシンプルなべースラインとして用いられている方法は, 内ドメインと外ドメインのデー 夕を結合して学習し，1つのモデルを構築する方法である（本稿ではコーパス結合方式と呼ぶ）.学習された結合モデルは, 各ドメインの開発セットで最適化される.

一般的な機械学習では，結合されたコーパスで学習したモデルは，内ドメイン，外ドメイン双方の中間的性質を持つため, その精度も内ドメインデータのみ, 外ドメインデータのみで学習されたモデル（単独ドメインモデルと呼ぶ）の中間の精度になることが多い. 一方，機械翻訳の場合，コーパスを結合することにより，カバーする語彙が増加するため未知語が減少し, 単独ドメインモデルより翻訳品質が向上する場合もある。最終的に翻訳品質が向上するか否かは,未知語の減少とモデルパラメータの精度低下のトレードオフになる。

## 2.2 線形補間，対数線形補間

統計翻訳では，翻訳に使用するサブモデル（フレーズテーブル，言語モデル，並ベ替えモデルなど）が返す値（素性関数値）を，線形または対数線形結合して，翻訳文の尤度を算出する。対数線形モデルでは，以下の式で尤度 $\log P(e \mid f)$ を算出する.

$
\log P(e \mid f) \quad \propto \quad \mathbf{w} \cdot \mathbf{h}(e, f)
$

ただし, $e$ は翻訳文, $f$ は原文, $\mathbf{h}(e, f)$ は素性ベクトル, $\mathbf{w}$ は素性関数の重みベクトルである.

このとき，重みべクトル $\mathrm{w}$ をドメイン毎に切り替えることで， ドメイン依存訳を生成する方
法がある．たとえば，Foster and Kuhn (2007) は, PBSMTのサブモデルをドメイン毎に訓練し，線形補間，対数線形補間でドメイン毎の重みを変えて翻訳を行った．彼らはパープレキシティなどを目標関数にして，独自の重み推定を行ったが，近年は，重みの推定に誤り率最小訓練法 (MERT) (Och 2003) などの最適化方法が用いられている (Foster et al. 2010).

素性空間拡張法 (Daumé 2007) は，翻訳に限らず，機械学習全般に使われるドメイン適応方式で，素性関数の重みをドメイン毎に最適化する (3.1節参照). Clark et al. (2012)は, これを対数線形補間方式の一種として翻訳に適用し，効果があったと報告している。 なお, 彼らは単一のモデルを用い，モデルの重みのみをドメイン適応させている.

## 2.3 モデル適応

重みベクトルではなく, 素性べクトル $\mathbf{h}(e, f)$ （素性関数）を変更することによってドメイン適応する方法は，大きく 2 つに分けられる。一つは，訓練済みサブモデル自身を変更する方法である。もう一つは，ドメインに適応させたコーパスからモデルを訓練する方法である。このうち， サブモデル自身を変更する方法には, fill-up 法 (Bisazza et al. 2011), 翻訳モデル混合 (Sennrich 2012), インスタンス重み付け (Foster et al. 2010; Matsoukas, Rosti, and Zhang 2009) が知られている.

fill-up 法は，フレーズテーブルから翻訳候補を取得する際，内ドメインの単独モデルにフレー ズが存在する場合はその素性関数值を使用, 存在しない場合は外ドメインの単独モデルからフレーズを取得し，その値を使用する。

翻訳モデル混合は， 2 つのフレーズテーブルに記録された翻訳確率を重み付きで混合し，新たなフレーズテーブルを生成する。重みは開発セットのパープレキシティが最小になるように，素性関数毎に設定される.

インスタンス重み付けは，フレーズテーブルのモデルパラメーターつ一つを，内ドメインと外ドメインを識別するように内ドメインの開発セットで混合する.

これらの方法は, 素性関数値のみでなく, デコード時のフレーズ候補も 2 つのモデルのフレー ズを使用するため，一般的には未知語は減少する。しかし，フレーズテーブル以外のサブモデルは, 別の構築・混合法を使わなければならないというデメリットも存在する.

## 2.4 コーパスフィルタリング

素性ベクトル $\mathbf{h}(e, f)$ を変更するもう一つの方法は, モデル訓練用コーパスをドメイン適応させる方法である，最初に述べたコーパス結合も，この一種であるが，よりドメインに適応させるには，外ドメインコーパスから対訳文を取捨選択した方がよい。この，外ドメインコーパスから対訳文を取捨選択し，内ドメインコーパスとともにモデルを作成する方式を，コーパスフィルタリングと呼ぶ. Axelrod et al. (2011)は，内ドメインに適した対訳文を，内外ドメインの交
差エントロピーの差に基づき, 外ドメインコーパスから取捨選択した. 選択された文を内ドメインコーパスに追加してモデルを訓練することで, ドメイン適応を行った。

コーパスフィルタリングは，翻訳器が使用する全サブモデルを，その種類を問わず適応させることができる点がメリットであるが，最適な追加訓練文数は，あらかじめ予想できない点がデメリットである.

## 2.5 その他の方法

その他の方法としては, 2 つの翻訳器を直列に接続し, 外ドメイン翻訳器による翻訳結果を, さらに内ドメイン翻訳器を使って訂正する方法もある (Jeblee, Feely, Bouamor, Lavie, Habash, and Oflazer 2014).これは, ドメイン依存訳の生成を一種の誤り訂正ととらえていることに相当する。

## 3 マルチドメイン適応方式

## 3.1 素性空間拡張法

素性空間拡張法 (Daumé 2007) は, 一般的な機械学習におけるパラメータ（統計翻訳では素性の重みに対応）のドメイン適応に用いられる方式である。素性空間を共通，内ドメイン（ター ゲットドメイン)，外ドメイン(ソースドメイン) に分割し，素性を，それが由来するドメインごとに異なる空間に配置する。内ドメインの素性は共通空間と内ドメイン空間に，外ドメインの素性は共通空間と外ドメイン空間にコピーして配置するのが特徴である。そして，全体を最適化することにより，適応された重みべクトルを得る。

素性が踈な二值素性の場合，共通空間に格納される素性は，内ドメインデータから得られる素性と，外ドメインデータから得られる素性の和 $(\mathrm{OR})$ になる，そのため，共通空間にある素性が，内外ドメインの枑いに欠落した素性を補完し，精度が向上する。統計翻訳のような密な実数素性の場合, 共通空間を介して, 外ドメインの素性が内ドメインの事前分布として作用し，より内ドメインに適合した重みに調整される（Daumé (2007)の 3.2 節参照).

通常は，外ドメインを内ドメインに適応するために使用されるが，素性空間拡張法では，外ドメインと内ドメインを同等に扱っており，容易に $D$ ドメインに拡張することができる。その場合，素性空間は共通，ドメイン $1, \ldots$ ドメイン $D$ のように， $D+1$ 空間に分割される（図 1 ）. すなわち，

$
\mathbf{h}(f, e)=\left.\langle\mathbf{h}_{c}, \mathbf{h}_{1}, \ldots, \mathbf{h}_{i}, \ldots, \mathbf{h}_{D}\right.\rangle
$

ただし， $\mathbf{h}_{c}$ は共通空間の素性ベクトル， $\mathbf{h}_{i}$ はドメイン依存空間の素性ベクトルである。共通空

図 1 素性空間拡張とコーパス結合モデル／単独ドメインモデルの併用

間には常に素性が配置されるが，ドメイン依存空間には，データの属するドメインが一致する場合だけ，素性が配置される。

$
\begin{aligned}
& \mathbf{h}_{c}=\boldsymbol{\Phi}(f, e) \\
& \mathbf{h}_{i}= \begin{cases}\boldsymbol{\Phi}(f, e) & \text { if domain }(f)=i \\
\emptyset & \text { otherwise }\end{cases}
\end{aligned}
$

ただし， $\boldsymbol{\Phi}(f, e)$ はモデルスコア等を格納した部分べクトルで, 素性空間を拡張しない場合は, $\mathbf{h}(f, e)$ と同じになる.この素性マトリクスを最適化し, 重みべクトルを得る.

4 節の実験では, Mosesツールキット (Koehn et al. 2007)のデフォルト素性（15 次元）を使用する。素性の一覧を表 1 に示す。これに素性空間拡張法を適用すると, 共通空間では 15 次元, ドメイン依存空間では各 14 次元となる 1 .

Clark et al. (2012)は，アラビア語 $\rightarrow$ 英語翻訳（ドメインは News と Web）およびチェコ語 $\rightarrow$ 英語翻訳（ドメインは Fiction など 6 ドメイン）について素性空間拡張法を適用し，効果が観測されたと報告している，ただし，彼らは，翻訳モデル，言語モデルなどのサブモデルは，コー パス結合モデル 1 種類だけを使用しており，純粋に素性関数の重みだけをドメイン最適化している.

表 1 本稿で用いる素性の一覧

 \\

## 3.2 提案法

## 3.2.1コーパス結合モデルと単独ドメインモデルの導入

機械翻訳では，素性の重みより素性関数の方が翻訳品質に対する影響が大きいため，素性空間によってモデルを切り替えるのは自然な拡張である.

本稿で用いる素性関数は，実数值を返す関数であるが，その実態は，モデルファイルに記録されているインスタンスを読み込み，それに対応する值を返している。もし，訓練データ不足などの理由でモデルファイル中にインスタンスが存在しない場合, 素性関数値は極小值になる. つまり，実数値の素性関数であっても，実際には二値素性と同様に，スパースネスの問題がある。そこで本稿では，二値素性の素性空間拡張法の考え方を素性関数に適用し，共通空間に対応するモデルとして，全ドメインのコーパスから作成したコーパス結合モデルを使用する。ドメイン依存空間には，それぞれの単独ドメインモデルを使用する。具体的には,

・フレーズテーブル, 語彙化並び替えモデル, 言語モデルなどのサブモデルについて, 単独ドメインモデルとコーパス結合モデルを作成しておく．
- 素性空間拡張では, 共通空間にはコーパス結合モデルのスコアを素性関数値として配置し, 各ドメインの空間には, 単独ドメインモデルのスコアを配置し, 最適化する（図 1）.式 (3)(4) は以下の式に置換される。

$
\begin{aligned}
\mathbf{h}_{c} & =\boldsymbol{\Phi}_{c}(f, e) \\
\mathbf{h}_{i} & = \begin{cases}\boldsymbol{\Phi}_{i}(f, e) & \text { if domain }(f)=i \\
\emptyset & \text { otherwise }\end{cases}
\end{aligned}
$

ただし, $\boldsymbol{\Phi}_{c}(f, e)$ はコーパス結合モデルから得られた素性ベクトル, $\boldsymbol{\Phi}_{i}(f, e)$ は, 単独ドメインモデル $i$ から得られた素性ベクトルである.

・ デコーディングの際は，まず，単独ドメインモデルとコーパス結合モデルのフレーズテー ブルをすべて検索し，翻訳仮説を生成する，探索の際には，共通空間と対象ドメインの空間の素性だけを使って尤度計算をする。

翻訳仮説生成にコーパス結合フレーズテーブルを使用することにより，他のドメインで出現した翻訳フレーズも利用でき，未知語の減少が期待できる。また，翻訳仮説が単独ドメインモデルに存在している場合, 高い精度の素性関数値が得られると期待される.

本方式は, 拡張素性空間を最適化することによって, 重みベクトル $\mathbf{w}$ を適応し, コーパス結合モデルと単独ドメインモデルを併用することで, 素性関数 $\mathbf{h}(e, f)$ の適応を行っている. どちらもモデルの種類に依存しないため, 翻訳に使用する全サブモデルについて，適応させることができる.

なお，機械翻訳では，言語モデルを大規模な単言語コーパスから作成する場合がある。このモデルは，いわば非常に多くのドメインを含むコーパス結合モデルに相当するため，共通空間に配置するとよい。このように，外部知識から得られたモデル（素性関数）を追加する場合には，共通空間の次元を増加させる。

## 3.2.2 empty 値

本方式では, コーパス結合モデル, 単独ドメインモデルのどちらか一方にのみ出現するフレー ズ対が多数存在する。これらフレーズなどのインスタンスに関しても素性関数は値を返す必要がある。この值を本稿では empty 值と呼ぶ.これはいわばn-gram 言語モデルにおける未知語確率に相当するものであるので，フレーズの翻訳確率分布から算出されるべきものであるが，本稿では, パイパーパラメータとして扱い, 開発コーパスにおける BLEU スコアが最高になるよう，実験的に設定する²

## 3.3 最適化

## 3.3.1 同時最適化

一般的な機械学習における素性空間拡張法の利点の一つは, 素性空間を操作しているだけなので，最適化アルゴリズムは既存の方法が使えるという点である.

機械翻訳の場合, 最適化方法には, 誤り率最小訓練 (MERT)(Och 2003), ペアランク最適化 (PRO)(Hopkins and May 2011), k ベストバッチ MIRA (KBMIRA) (Cherry and Foster 2012)が知られている。本稿では，高次元の最適化に適した KBMIRA を使用する ${ }^{3}$.

通常の機械学習における最適化と, 機械翻訳の最適化の大きな相違点は, 多くの機械学習の損失関数が，尤度などデコーダが出力するスコアを使用しているのに対して，機械翻訳は BLEU (Papineni, Roukos, Ward, and Zhu 2002)のような, 翻訳文の自動評価値を使用する点である. この自動評価値は，翻訳文と参照訳との比較によって算出され，コーパス単位に計算される場合が多い. 実際, MERT, KBMIRA は開発セットの BLEU スコアを損失関数の一部に使用している 4 . つまり，複数ドメインを同時に最適化する場合は，ドメイン毎に BLEUスコアを算出しないと，結果がドメイン最適にならないことを意味している.

上記問題を解決するため，本稿では KBMIRAを変更する． Cherry and Foster (2012)のアルゴリズム 1 に対する変更点は，以下のとおりである.

(1) 処理済み翻訳文の BLEU 統計量（n-gram一致数など）を保存する変数 $B G$ を，1つからドメイン数 $D$ 個に拡張する.

(2) 各翻訳文の BLEU スコアは，その翻訳文のドメイン $i$ の $B G_{i}$ から算出する.

(3) 素性重みを更新後, その翻訳文の BLEU 統計量を $B G_{i}$ に追加する.

この変更によって, 各ドメイン空間の素性重みは, そのドメインの開発セットに最適化される.

## 3.3.2 個別最適化

同時最適化は，適応させたいドメインが限られている場合にも，すべてのドメインを最適化しなければならないので, 少々非効率である。そこで, 全 $D$ ドメインのうち, ドメイン $i$ だけ適応させたい場合, ドメイン $i$ に関連する空間だけに限り, 最適化を行う。これを本稿では個別最適化と呼ぶ.

個別最適化は，素性空間を共通空間とドメイン $i$ 空間に制限し，チューニングデータもドメイン $i$ に関するものだけにする。すなわち, 式 (2) は式 (7)に置き換える.

$
\begin{aligned}
\mathbf{h}(f, e) & =\left.\langle\mathbf{h}_{c}, \mathbf{h}_{i}\right.\rangle \\
\mathbf{h}_{c} & =\boldsymbol{\Phi}_{c}(f, e) \\
\mathbf{h}_{i} & =\boldsymbol{\Phi}_{i}(f, e)
\end{aligned}
$

これは, 一般的な対数線形モデルであるので, 同時最適化を行わなくても, 既存の最適化器をそのまま使うことができる。また，デコーダも，(1) 複数モデルを同時に使えること， (2) empty 值を設定できること，の 2 点を満たすものであればよいため, 既存のものを少し修正するだけで利用可能となる.

同時最適化に比べると, 共通空間の最適化が弱くなる恐れがあるが, もともと機械翻訳は素性の重みより素性関数の影響の方が大きいため, 実用上は問題は少ないと考えられる。ただし,
^{4}$ Clark et al. (2012) が素性空間拡張法の最適化に使用した PRO は文単位に近似した BLEU スコアを用いている.
}
以下の 2 点に関しては, 同時最適化と共通に満たす必要がある.

(1) 共通空間の素性にコーパス結合モデルを使うこと。

(2) empty 值を適切に設定すること.

## 4 実験

## 4.1 実験設定

## 4.1.1 ドメイン/コーパス

本稿では, 英日／日英翻訳を対象に，以下の 4 つのドメインの最適化を行う，各ドメインのコーパスサイズを表 2 に示す. MEDコーパスは比較的小規模で, それ以外のドメインは 100 万文規模である。なお, 訓練文は 80 単語以下のものだけを使用した.
- MED: 病院等における医師（スタッフ）と患者の疑似対話のコーパス. 内部開発.
- LIVING: 外国人が日本に旅行や在留する際の疑似対話コーパス. 内部開発.
- NTCIR: 特許コーパス. 訓練コーパスと開発コーパスは国際ワークショップNTCIR-8, テストコーパスは NTCIR-9のものを使用 ${ }^{5}$.
- ASPEC: 科学技術文献コーパス (Nakazawa, Yaguchi, Uchimoto, Utiyama, Sumita, Kurohashi, and Isahara 2016) ${ }^{6}$. ASPEC-JEのうち, 対訳信頼度の高い 100 万文を使用.

## 4.1.2翻訳システム

各コーパスの対訳文は，内部開発の事前並べ替え（Goto, Utiyama, Sumita, and Kurohashi (2015)の 4.5 節）を適用したのちに使用した. これは, 新聞, Wikipedia, 旅行会話, 生活会話,科学技術文, ブログなどを混合した対訳コーパスから，ランダムに 500 万文程度を抽出して訓練した，特定のドメインに依存しない事前並び替えである，今回は，全ドメイン，全方式について同一の事前並び替えを適用した。

表 2 コーパスサイズ

また, 日本語に関しては, 訓練, テスト等すべての文について, あらかじめ形態素解析器 MeCab(Kudo, Yamamoto, and Matsumoto 2004) で単語分割を行ってから使用した. 英語に関しては, Mosesツールキット (Koehn et al. 2007) 付属の tokenizer, truecaser で前処理した.翻訳システムの訓練のうち, フレーズテーブル, 語彙化並び替えモデルの学習には Moses ツー ルキットをデフォルト設定で使用した。言語モデルは KenLM(Heafield, Pouzyrevsky, Clark, and Koehn 2013) を用いて, 訓練セットの目的言語側から5 グラムモデルを構築した. 最適化は 3.3.1 節で述べたマルチドメイン KBMIRA を使用した.

デコーディングには，内部開発の Moses のクローンデコーダを使用した. デコーダの設定値は Moses のデフォルト値と同じ phrase_table_limit $=20$, distortion_limit $=6$, ビーム幅 200 とした. なお, フレーズ候補取得の際には, 複数のフレーズテーブルをすべて検索して候補を取得後, 拡張素性空間で算出された尤度に従って, 20 個に絞り达んた。

## 4.1.3 empty 值

3.2.1節で述べた empty 値は, -3 から -20 の間の整数値のうち, 全ドメインの開発セット翻訳結果を 1 ドキュメント扱いしたときの BLEU スコアが最高值になる値を採用した. 結果, 英日翻訳に関しては -7 , 日英翻訳は -6 となった. これを確率値とみなした場合, 英日は $\exp (-7) \approx 0.0009$,日英は $\exp (-6) \approx 0.0025$ となる.

## 4.1.4 評価指標

評価指標には BLEU, 翻訳編集率 (TER) (Snover, Dorr, Schwartz, Micciulla, and Makhoul 2006), Meteor (Denkowski and Lavie 2014) (英語のみ), RIBES (Isozaki, Hirao, Duh, Sudoh, and Tsukada 2010)（日本語のみ）を使用し, MultEval ツール (Clark, Dyer, Lavie, and Smith 2011) ${ }^{7}$ で有意差検定を行った ${ }^{8}$. 危険率は $p<0.05$ とした. 最適化の摇れを吸収するため, 5 回最適化を実施し，その平均値を使用した。なお，単純化のため，本文では BLEUで説明する.

## 4.1.5 比較方式

各ドメインコーパスだけでモデルを構築, 最適化, テストする単独ドメインモデル方式をべー スラインにし，他の方式と比較する。従来法としては， 2 節で述べた以下の方式を使用する.

・ コーパス結合：全ドメインのコーパス結合モデルを使用し, 各ドメインの開発セットで最適化, テストした場合.
- 素性空間拡張法 (Clark)：共通空間, ドメイン空間共に, コーパス結合モデルの素性関

数を使った素性空間拡張法. Clark et al. (2012)の設定と同じだが, 最適化にはマルチドメイン KBMIRAを使用した。
- Fill-up 法：ドメイン適応方式に fill-up 法 (Bisazza et al. 2011) を用いた場合.

・ 翻訳モデル混合：ドメイン適応方式に翻訳モデル混合 (Sennrich 2012)を用いた場合. Moses 付属の tmcombine プログラムで混合した.
- コーパスフィルタリング : Axelrod et al. (2011) が提案した修正 Moore-Lewis フィルタリングで，自分以外のドメインのコーパスから対訳文を選択し， ドメインの訓練文に加えた場合．追加文数は， 10 万文単位に文数を変え，各ドメインの開発セットの BLEU スコアが最高になった文数を採用した9．

提案法は，以下のバリエーションをテストする.
- 提案法（同時最適化）：提案法のうち，3.3.1 節で述べた同時最適化を使用した場合.
- 提案法 (個別最適化) : 提案法のうち, 3.3.2 節で述べた個別最適化を使用した場合.
- 提案法 $($ empty $=-100)$ ：提案法の empty 值を, Moses と同じ -100 に設定した場合. なお，最適化は個別最適化を使用したが，同時最適化でも同じ傾向が観察された。
- 提案法（外ドメイン）：提案法のうち, 共通空間に対応するモデルとして, コーパス結合モデルではなく，内ドメインデータを取り除いた外ドメインコーパス（つまり，内ドメイン以外の 3 ドメインのコーパス）だけから学習したモデルを使用した場合. これも個別最適化を使用した。

## 4.2 翻訳品質

各方式について，英日翻訳および日英翻訳における自動評価スコアを，それぞれ表 3 ，表 4 に示す. なお, 表中太字は方式間最高値, (+) は, 単独ドメインモデル方式をべースラインとしたとき有意に向上したもの，（）は有意に悪化したものを表す $(p<0.05)$.

今回用いたデータは，ドメイン同士の関連性が比較的薄かったため，従来法では，適応によって翻訳品質は軒並み悪化した。たとえば，コーパス結合方式と素性空間拡張法 (Clark) は, 単独モデルより翻訳品質が低下する傾向が強かった. コーパス結合方式は各ドメインが平均化されたモデルが作成され，素性関数の精度が落ちたためと考えられる。

Fill-up 法は，コーパス結合方式に比べると翻訳品質は向上する場合が多かったが，単独ドメインモデルより悪化した．翻訳モデル混合は, ドメインによって有意に向上する場合と悪化する場合があり，この実験での有効性は確認できなかった。コーパスフィルタリングは, ASPEC の英日翻訳を除き，単独ドメインモデルより有意に向上，または同等品質となった. ASPEC 英日翻訳は 10 万文を加えただけだったが，これが悪影響しており，コーパスフィルタリングは有

表 3 方式別の自動評価スコア（英日翻訳）

効だが，最適な追加文数の決定は難しいことを示している。

一方, 提案法は, 同時最適化, 個別最適化ともに, すべてのドメインにおいて単独ドメインモデルより向上あるいは同等品質となり, 適切に適応できた. 同時最適化に比べ, 個別最適化の方が, BLEU スコアが高い傾向がある。なお, empty 值を -100 にすると, 最適化時に BLEU スコアが振動して, 最適化できない場合があった（表中の N/A）。また, 提案法でも, 共通空間に使用するモデルを外ドメインモデルにすると，大部分のケースでは提案法に比べ品質が悪化した. 共通空間に使用するモデルは，内ドメインを含むコーパス結合モデルの方が望ましいことを示している.

まとめると, 提案法はドメイン適応方式の中ではほぼ最高品質を確保できた. 特に, 個別最適化方式のような標準的な対数線形モデルであっても，適切な設定をすれば，最先端方式と同等以上のドメイン適応が実現できることを示している.
表 4 方式別の自動評価スコア（日英翻訳）

## 4.3 シングルドメイン適応としての効果

ドメイン適応が必要となる場面は，新たなドメインデータの翻訳を行わなければならないにも関わらず，十分な量の訓練文が集まらない場合である。本節では， MED 英日翻訳に絞って，訓練コーパスのサイズを変えて翻訳品質を測定する。なお，他のドメインについては変更せず，全訓練文を使用する.

表 5 は，単独ドメインモデル，コーパス結合，コーパスフィルタリングと提案法（個別最適化）を比較した結果である。表中の（+）は単独ドメインモデルと比較して有意に高く，（）は有意に低いことを表す。(†)はコーパス結合と比較して有意に高く，(个)はコーパスフィルタリングと比較して有意に高いことを表している $(p<0.05)$.

訓練コーパスが 1,000 文 (1 k) しかない場合は, 提案法は単独ドメインモデルに比べて非常に
表 5 訓練コーパスサイズ別 BLEU スコア（MED コーパス，英日翻訳）

 & コーパス結合 & \multicolumn{1}{|c}{} & \multicolumn{1}{|c}{} \\

$3 \mathrm{k}$ & 8.99 & $17.52(+)$ & $17.42(+)$ & $\mathbf{1 7 . 9 5}(+)(\dagger)(\uparrow)$ \\
$10 \mathrm{k}$ & 12.54 & $18.19(+)$ & $18.38(+)$ & $\mathbf{1 9 . 0 2}(+)(\dagger)(\uparrow)$ \\
$30 \mathrm{k}$ & 16.49 & $19.18(+)$ & $20.21(+)(\dagger)$ & $\mathbf{2 0 . 2 8}(+)(\dagger)$ \\
$100 \mathrm{k}$ & 20.63 & 20.92 & $22.14(+)(\dagger)$ & $\mathbf{2 2 . 5 3}(+)(\dagger)(\uparrow)$ \\
$223 \mathrm{k}$ (全訓練文) & 23.23 & $22.65(-)$ & $\mathbf{2 4 . 0 2}(+)(\dagger)$ & $23.75(+)(\dagger)$ \\

高い品質となっているが，コーパス結合とはほぼ同じである。訓練コーパスサイズが増えるにしたがい，全方式ともに BLEU スコアが向上するが，コーパス結合の品質向上は単独ドメインモデルより緩やかで, 約 10 万文 $(100 \mathrm{k})$ で単独ドメインモデルの品質が逆転する. 提案法は, 3,000 文 $(3 \mathrm{k})$ 以上では常に単独ドメインモデル，コーパス結合の品質を上回っており，両者の利点をうまく融合させた方式であることを示している.

コーパスフィルタリングは，提案方式とほぼ同様に， 3 万文 $(30 \mathrm{k})$ 以上では，単独ドメインモデル，コーパス結合を有意に上回ったが，提案法を有意に上回ることはなかった， 4.2 節でも述ベたように，コーパスフィルタリングは，最適な追加文数の決定が難しい．実際，この実験では, 10 万文単位での最適な追加文数を決定するため, 1 試行あたり 10 回以上の訓練, 最適化, テストを繰り返した。提案法の訓練回数は, 個別最適化の場合, コーパス結合モデルと単独ドメインモデルの 2 回に固定されており, 使いやすさの観点では提案法がコーパスフィルタリングより優れていると考える.

ここで，表 3,4 に戻る，表 $3 ４$ では，MEDコーパスにおける提案法（同時最適化, 個別最適化）の翻訳品質が英日，日英ともに向上した。この理由は，MEDコーパスが約 22 万文と, 他のコーパスに比べて小規模で，翻訳品質向上の余地を残していたためと推測できる。一方, MED 以外のドメインは, 100 万文規模の大規模コーパスから学習しているため, 必ずしも翻訳品質が向上するわけではない，しかし，特筆したいのは，大規模コーパスに提案方式を適用しても，翻訳品質が下がることがなく，データによっては向上する場合もあるという点である。 その点で，提案方式はコーパスサイズに対して非常にロバストな方式といえる.

## 4.4 末知語

本稿の提案方式の特徵は，コーパス結合モデルと単独ドメインモデルの利点を融合させたものとまとめられる。本節では各モデルの未知語の観点から分析する。

本稿では, Irvine, Morgan, Carpuat, Daumé, and Munteanu (2013) に準じて, 未知語を原言
表 6 未知語を含む文の割合（英日翻訳）

語未知と目的言語未知に分けて考える ${ }^{10}$. 原言語未知は入力の単語あるいはフレーズがフレー ズテーブルに存在しない場合である，目的言語未知は，原言語のフレーズは存在するが，目的言語の単語あるいはフレーズが存在しないために，参照訳が生成できない場合である。これは，強制デコーデイング (Yu, Huang, Mi, and Zhao 2013) を行い，参照訳が生成できるかどうかで判定できる.

英日翻訳におけるドメイン毎の未知語率を表 6 に示す。これは, 5 回の最適化のうちの 1 試行を取り出した結果である。ドメイン毎に割合の差はあるが，単独ドメインモデルに比べ，コー パス結合は原言語未知, 目的言語未知ともに減少する。たとえば，MEDコーパスでは，原言語未知は $9.1 \% \rightarrow 0.9 \%$, 目的言語未知は $38.5 \% \rightarrow 16.1 \%$ と減少し, 他のドメインの単語が利用可能になっている。しかし，最終的な翻訳品質は単独ドメインモデルの方がよかったことを考えると, 未知語の減少が直接品質向上に寄与したわけではない，最適化が重要であることがわかる。

提案法は，NTCIRを除き，さらに未知語が減少した。提案法はコーパス結合モデルと単独ドメインモデルのフレーズテーブルを OR 検索している． 2 つのフレーズテーブルは，重複する訓練コーパスを使用しているにも関わらず，訓練によって得られるフレーズは異なるため，結果的にカバレッジが向上したものと考えられる.

## 4.5 ドメイン適応による翻訳の変化例

統計翻訳のモデルを変更した場合，翻訳文の変化を適切に分類するのは非常に難しい，本提案のドメイン適応に関しても，正確な分類は困難だと判断したが，翻訳品質が向上している場合，典型的には以下の 3 パターンが観察された. ここでは表 7 に示す翻訳例を参照しながら説明する。この例は MED ドメインの英日翻訳から抜き出したものである.
- 単語の翻訳がドメイン依存訳に変化したものがある。例 1 の “first visit” の翻訳に関しては，コーパス結合では「初めて」と一般的な訳になっているが，単独ドメインモデルと

表 7 翻訳の変化例（MED ドメイン, 英日翻訳，テストセット）

 &  \\

提案法では,「初診」となり, 病院における対話に適応した訳となっている. 同様に, 例 2 では “opening hours”の訳が「診療時間」と翻訳されている.
- 例 3,4 のように, コーパス結合では常体の翻訳文になっているが, 単独ドメインモデル,提案法では敬体の翻訳文となっている。コーパス結合モデルでは, 特許や論文のコーパスを用いているため，常体が多数派を占めているためたとと考えられる，提案法は，コー パス結合モデルを併用しているにも関わらず，MEDの単独ドメインモデルを適切に利用して，敬体の翻訳文を生成した。これも一種のドメイン依存訳であると考えられる.
- 例 5,6 では, 単独ドメインモデルでは原言語未知になる単語があった (starvation, Sangenjaya, Shimokitazawa) が，コーパス結合，提案法ではこれが解消されている.

## 5 まとめ

本稿では，複数ドメインを前提とした，統計翻訳の適応方式を提案した。本稿の方式は，カバレッジが広い（未知語が少ない）コーパス結合モデルと, 素性関数の精度がよい単独ドメインモデルを併用し, 機械学習分野のドメイン適応方法である, 素性空間拡張法の考え方を利用して両者を結合した。また, empty 值をチューニング対象に追加した.

実験では同時最適化を行った場合，個別最適化を行った場合ともに，単独ドメインモデルに比べ，翻訳品質が向上または同等を保持した，提案法は，当該ドメインの訓練コーパスが小規模である場合に高い効果を持ち，100万文規模の大規模コーパスを持つドメインへの適応に使用しても，翻訳品質を下げることなく， ドメインによっては品質向上の効果がある．基本的な対数線形モデルでも，モデルの選択とチューニングを慎重に行うことで，最先端方式と同等以上の適応方式になることを示した。

提案方式は, 対数線形モデルに基づく統計翻訳にはすべて適用可能であるので, 木構造変換のような翻訳方式でも効果を確認したいと考えている。ただし，木構造変換の翻訳方式は，構文解析を利用しているため, 翻訳品質は構文解析自身の精度にも影響を受ける。本稿で用いた事前並び替えも，構文解析を利用している。構文解析などの翻訳に使われているコンポーネントについては, 別途ドメイン適応させる必要がある (森下, 赤部, 波多腰, Neubig, 吉野, 中村 2016) が, 本稿の提案方式は, コンポーネントの適応とは独立に併用可能である.

## 謝 辞

本研究は総務省の情報通信技術の研究開発「グローバルコミュニケーション計画の推進一多言語音声翻訳技術の研究開発及び社会実証一I. 多言語音声翻訳技術の研究開発」の一環として行われました。

## 参考文献

Axelrod, A., He, X., and Gao, J. (2011). "Domain Adaptation via Pseudo In-Domain Data Selection." In Proceedings of the 2011 Conference on Empirical Methods in Natural Language Processing, pp. 355-362, Edinburgh, Scotland, UK.

Birch, A., Osborne, M., and Koehn, P. (2007). "CCG Supertags in Factored Statistical Machine Translation." In Proceedings of the 2nd Workshop on Statistical Machine Translation, pp. 9-16, Prague, Czech Republic.

Bisazza, A., Ruiz, N., and Federico, M. (2011). "Fill-up versus Interpolation Methods for Phrasebased SMT Adaptation." In Proceedings of the International Workshop on Spoken Language Translation (IWSLT), San Francisco, California, USA.

Cherry, C. and Foster, G. (2012). "Batch Tuning Strategies for Statistical Machine Translation." In Proceedings of the 2012 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 427-436, Montréal, Canada.

Clark, J. H., Dyer, C., Lavie, A., and Smith, N. A. (2011). "Better Hypothesis Testing for Statistical Machine Translation: Controlling for Optimizer Instability." In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, pp. 176-181, Portland, Oregon, USA.

Clark, J. H., Lavie, A., and Dyer, C. (2012). "One System, Many Domains: Open-Domain Statistical Machine Translation via Feature Augmentation." In Proceedings of the 10th biennial conference of the Association for Machine Translation in the Americas (AMTA 2012), San Diago, California, USA.

Daumé, III, H. (2007). "Frustratingly Easy Domain Adaptation." In Proceedings of the 45th Annual Meeting of the Association of Computational Linguistics, pp. 256-263, Prague, Czech Republic.

Denkowski, M. and Lavie, A. (2014). "Meteor Universal: Language Specific Translation Evaluation for Any Target Language." In Proceedings of the 9th Workshop on Statistical Machine Translation, pp. 376-380, Baltimore, Maryland, USA.

Finch, A. and Sumita, E. (2008). "Dynamic Model Interpolation for Statistical Machine Translation." In Proceedings of the 3rd Workshop on Statistical Machine Translation, pp. 208-215, Columbus, Ohio, USA.

Foster, G., Goutte, C., and Kuhn, R. (2010). "Discriminative Instance Weighting for Domain Adaptation in Statistical Machine Translation." In Proceedings of the 2010 Conference on Empirical Methods in Natural Language Processing, pp. 451-459, Cambridge, Massachusetts,

USA.

Foster, G. and Kuhn, R. (2007). "Mixture-Model Adaptation for SMT." In Proceedings of the 2nd Workshop on Statistical Machine Translation, pp. 128-135, Prague, Czech Republic.

Goto, I., Utiyama, M., Sumita, E., and Kurohashi, S. (2015). "Preordering Using a TargetLanguage Parser via Cross-Language Syntactic Projection for Statistical Machine Translation." ACM Transactions on Asian and Low-Resource Language Information Processing, 14 (3), pp. 13:1-13:23.

Heafield, K., Pouzyrevsky, I., Clark, J. H., and Koehn, P. (2013). "Scalable Modified Kneser-Ney Language Model Estimation." In Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 690-696, Sofia, Bulgaria.

Hopkins, M. and May, J. (2011). "Tuning as Ranking." In Proceedings of the 2011 Conference on Empirical Methods in Natural Language Processing, pp. 1352-1362, Edinburgh, Scotland, UK.

Irvine, A., Morgan, J., Carpuat, M., Daumé, III, H., and Munteanu, D. (2013). "Measuring Machine Translation Errors in New Domains." Transactions of the Association for Computational Linguistics, 1, pp. 429-440.

Isozaki, H., Hirao, T., Duh, K., Sudoh, K., and Tsukada, H. (2010). "Automatic Evaluation of Translation Quality for Distant Language Pairs." In Proceedings of the 2010 Conference on Empirical Methods in Natural Language Processing, pp. 944-952, Cambridge, Massachusetts, USA.

Jeblee, S., Feely, W., Bouamor, H., Lavie, A., Habash, N., and Oflazer, K. (2014). "Domain and Dialect Adaptation for Machine Translation into Egyptian Arabic." In Proceedings of the EMNLP 2014 Workshop on Arabic Natural Language Processing (ANLP), pp. 196-206, Doha, Qatar.

Koehn, P., Hoang, H., Birch, A., Callison-Burch, C., Federico, M., Bertoldi, N., Cowan, B., Shen, W., Moran, C., Zens, R., Dyer, C., Bojar, O., Constantin, A., and Herbst, E. (2007). "Moses: Open Source Toolkit for Statistical Machine Translation." In Proceedings of the 45th Annual Meeting of the Association for Computational Linguistics Companion Volume Proceedings of the Demo and Poster Sessions, pp. 177-180, Prague, Czech Republic.

Koehn, P., Och, F. J., and Marcu, D. (2003). "Statistical Phrase-Based Translation." In HLTNAACL 2003: Main Proceedings, pp. 127-133, Edmonton, Alberta, Canada.

Koehn, P. and Schroeder, J. (2007). "Experiments in Domain Adaptation for Statistical Machine Translation." In Proceedings of the 2nd Workshop on Statistical Machine Translation, pp. 224-227, Prague, Czech Republic.

Kudo, T., Yamamoto, K., and Matsumoto, Y. (2004). "Applying Conditional Random Fields to Japanese Morphological Analysis." In Lin, D. and Wu, D. (Eds.), Proceedings of EMNLP 2004, pp. 230-237, Barcelona, Spain.

Matsoukas, S., Rosti, A.-V. I., and Zhang, B. (2009). "Discriminative Corpus Weight Estimation for Machine Translation." In Proceedings of the 2009 Conference on Empirical Methods in Natural Language Processing, pp. 708-717, Singapore.

森下睦, 赤部晃一, 波多腰優斗, G.Neubig, 吉野幸一郎, 中村哲 (2016). 統語ベース翻訳のための構文解析器の自己学習. 自然言語処理, 23 (4), pp. 353-376.

Nakazawa, T., Yaguchi, M., Uchimoto, K., Utiyama, M., Sumita, E., Kurohashi, S., and Isahara, H. (2016). "ASEPC: Asian Scientific Paper Excerpt Corpus." In Proceedings of the 10th Edition of the Language Resources and Evaluation Conference (LREC-2016), Portoroz, Slovenia.

Och, F. J. (2003). "Minimum Error Rate Training in Statistical Machine Translation." In Proceedings of the 41st Annual Meeting of the Association for Computational Linguistics, pp. 160-167, Sapporo, Japan.

Papineni, K., Roukos, S., Ward, T., and Zhu, W.-J. (2002). "Bleu: a Method for Automatic Evaluation of Machine Translation." In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 311-318, Philadelphia, Pennsylvania, USA.

Sennrich, R. (2012). "Perplexity Minimization for Translation Model Domain Adaptation in Statistical Machine Translation." In Proceedings of the 13th Conference of the European Chapter of the Association for Computational Linguistics, pp. 539-549, Avignon, France.

Sennrich, R., Schwenk, H., and Aransa, W. (2013). "A Multi-Domain Translation Model Framework for Statistical Machine Translation." In Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 832-840, Sofia, Bulgaria.

Snover, M., Dorr, B., Schwartz, R., Micciulla, L., and Makhoul, J. (2006). "A Study of Translation Edit Rate with Targeted Human Annotation." In Proceedings of the 7th Biennial Conference of the Association for Machine Translation in the Americas (AMTA-2006), pp. 223-231, Cambridge, Massachusetts, USA.

Yu, H., Huang, L., Mi, H., and Zhao, K. (2013). "Max-Violation Perceptron and Forced Decoding for Scalable MT Training." In Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing, pp. 1112-1123, Seattle, Washington, USA.

## 略歴

今村賢治：1985 年千葉大学工学部電気工学科卒業. 同年 2014 年日本電信電話株式会社. 1995 年 1998 年 NTT ソフトウェア株式会社. 2000 年 2006 年 ATR 音声言語コミュニケーション研究所. 2014 年より (株) ATR-Trek 所属として, 国立研究開発法人情報通信研究機構 (NICT) へ出向. 現在 NICT 先進的音声翻訳研究開発推進センター主任研究員. 主として自然言語処理技術の研究 - 開発に従事. 博士 (工学). 電子情報通信学会, 情報処理学会, 言語処理学会, ACL 各会員.

隅田英一郎：1982 年電気通信大学大学院修士課程修了. 1999 年京都大学大学院博士 (工学) 取得. 1982 年 1991 年（株）日本アイ・ビー・エム東京基礎研究所研究員. 1992 年 2009 年国際電気通信基礎技術研究所研究員. 主幹研究員. 室長. 2007 年現在国立研究開発法人情報通信研究機構 (NICT) 先進的音声翻訳研究開発推進センター (ASTREC) 副センター長. 2016 年 NICT フェロー. 機械翻訳の研究に従事.


# 実世界参照による分野特有の固有表現認識の精度向上

友利 涼 $十$ 二宮 崇㠹・森 信介怰

本稿では, 将棋の解説文に対する固有表現を題材として, テキスト情報に加えて実世界情報を参照する固有表現認識を提案する。この題材での実世界情報は，固有表現認識の対象となる解説文が言及している将棋の局面である. 局面は, 盤面上の駒 の配置と持ち駒であり，すべての可能な盤面状態がこれによって記述できる。提案手法では，まず各局面の情報をディープニューラルネットワークの学習方法の 1 つ である stacked auto-encoderを用いて事前学習を行う. 次に, 事前学習の結果をテ キスト情報と組み合わせて固有表現認識モデルを学習する。提案手法を評価するた めに, 条件付き確率場による方法等との比較実験を行った。実験の結果, 提案手法 は他の手法よりも高い精度を示し，実世界情報を用いることにより固有表現認識の 精度向上が可能であることが示された。

キーワード：実世界参照，ニューラルネットワーク，固有表現認識
## Improvement in Domain-Specific Named Entity Recognition by Utilizing the Real-World Data

\author{
Suzushi Tomori ${ }^{\dagger}$, Takashi Ninomiya ${ }^{\dagger \dagger}$ and Shinsuke Mori ${ }^{\dagger \dagger}$
}

In this paper, we propose a method that utilizes real-world data to improve named entity recognition (NER) for a particular domain. Our proposed method integrates a stacked auto-encoder (SAE) and a text-based deep neural network for achieving NER. Initially, we train the SAE using real-world data, then the entire deep neural network from sentences annotated with named entities (NEs) and accompanied by real world information. In our experiments, we chose Japanese chess as our subject. The dataset consists of pairs of a game state and commentary sentences about it annotated with game-specific NE tags. We conducted NER experiments and verified that referring to real-world data improves the NER accuracy.

Key Words: Real World Information, Neural Network, Named Entity Recognition

近年, 情報化技術の発展により, インターネット上やデータベース上にはテキストとそのテキストに付随する実世界情報が大量に存在している。実世界情報を用いる自然言語処理の研究

として，テキストを用いて画像を検索する研究 (Karpathy, Joulin, and Li 2014) や画像の解説文を生成する研究 (Socher, Karpathy, Le, Manning, and Ng 2014) などが行われている. また，実世界情報を用いることで言語モデルの性能を向上させる研究 (Kiros, Salakhutdinov, and Zemel 2014）も行われており，実世界情報の活用は自然言語処理の基礎技術の精度向上に有効たと考えられる。そこで本稿では実世界情報とテキスト情報を素性として入力した際の固有表現認識を提案する。

本稿では，将棋の解説文に対する固有表現認識を題材として，テキスト情報に加えて実世界情報を参照する固有表現認識器を提案する。固有表現とは, 文書の単語列に人名や地名など約 8 種類の定義 (Tjong Kim Sang and De Meulder 2003) を行ったものが一般的であるが，近年では医療の専門用語を定義したバイオ固有表現 (Settles 2004) なども提案されており, 本研究では将棋解説コーパス (Mori, Richardson, Ushiku, Sasada, Kameko, and Tsuruoka 2016) で定義される将棋固有表現を扱う。将棋解説コーパスは, 将棋の解説文に対して単語分割と固有表現夕グが人手で与えられた注釈つきテキストデータであり，各解説文には解説の対象となる将棋の局面情報が対応付けされている，局面は，盤面上の駒の配置と持ち駒であり，すべての可能な盤面状態がこれによって記述できる。本研究では局面情報を実世界情報として用いる．提案手法では，まず各局面の情報をディープニューラルネットワークの学習方法の 1 つである stacked auto-encoder (SAE) を用いて事前学習を行う，次に，事前学習の結果をテキスト情報と組み合わせて固有表現を学習する。提案手法を評価するために, 条件付き確率場による方法等との比較実験を行い，実世界情報を用いることにより固有表現認識の精度向上が可能であることを示す. 将棋の固有表現認識の精度が向上すると, 文書から戦型名や囲い名などを自動的に抽出でき，将棋解説文の自動生成のための基礎技術となる。また，一般の固有表現認識を高い精度で行えるようになると質問応答や文の自動生成などの高度な応用の基礎技術となる.

## 2 関連研究

本章では, まず本研究で扱う固有表現認識について述べる。 その後, 実世界情報を用いた自然言語処理の研究について述べる. 最後に将棋の局面情報を用いた自然言語処理の先行研究について述べる.

## 2.1 固有表現認識

本稿で行う固有表現認識は自然言語処理の重要な応用の一つである。一般的な固有表現認識は，対象を新聞記事，固有表現として人名，地名，組織名等を扱った研究が広く行われている (Tjong Kim Sang and De Meulder 2003; Ratinov and Roth 2009). 固有表現認識は, ある系列 (単語列) の各要素（各単語）に適切なラベル列を付与する問題である系列ラベリング問題と

して解かれることが一般的である。サポートベクターマシンや最大エントロピーモデルなどを用いた様々な手法が提案されており (Borthwick 1999; Tjong Kim Sang and De Meulder 2003; Finkel, Grenager, and Manning 2005)，条件付き確率場 (CRF) による系列ラベリング (Lafferty, McCallum, and Pereira 2001) がよく用いられる. また，近年では染層学習を用いて解く手法が提案されており，Bi-directional LSTM を用いて解く手法が CoNLL 2003 コーパス (Tjong Kim Sang and De Meulder 2003) において最高精度を記録している (Ma and Hovy 2016). 系列ラベリング問題として固有表現認識を解く際に，BIO タグ体系を用いて各単語のタグを学習することが多い. BIO の B (Begin) はある固有表現の最初の単語, I (Intermediate) は同種の固有表現の継続, O (Other) はいずれの固有表現でもないことを意味する. 固有表現が $J$ 種類ある場合, 固有表現ごとに B夕グと I夕グが存在し，どの固有表現でもない単語には O が対応するので, BIO タグ数は $2 J+1$ 種類存在する。各単語にはいずれか 1 種類のタグが付与されるが, BIO タグ系列には接続制約がある。例えば，固有表現がI夕グから始まってはいけない．また，BIO夕グ体系の他にも，同種の固有表現の終端を表す $\mathrm{E}(\mathrm{End}) や 1$ 単語からなる固有表現を表す S (Single) のタグを加えた BIESO タグ体系で記述されることもある.

## 2.2 実世界情報を用いた自然言語処理

実世界情報を用いた自然言語処理の研究はいくつか存在するが，その多くは教師なし学習を用いてマルチモーダルなべクトル表現を獲得する手法である. それらに対し, 本研究はテキストに付随した実世界情報を用いて固有表現認識を直接解く。

Bruni らは，テキストのベクトルと画像のベクトル表現の一種である Bag-of-Visual-Words に特異値分解 (SVD) を用いることでマルチモーダルなべクトルを獲得する手法を提案した (Bruni, Tran, and Baroni 2014). 似た手法を用いて音情報を用いたべクトルを獲得する研究がある (Lopopolo and van Miltenburg 2015). これはテキスト側のベクトルは潜在的意味解析 (LSA) を用いて獲得し, 音情報のべクトルは Bag-of-Audio-Words を用いた. Ngiam らや Srivastava and Salakhutdinov は教師なし学習のニューラルネットワークである deep restricted Boltzmann machines を用いて，マルチモーダルなベクトルを獲得する手法を提案した (Ngiam, Khosla, Kim， Nam, Lee, and Ng 2011; Srivastava and Salakhutdinov 2012). これはテキストとそのテキストに対応した画像，またはテキストとそのテキストに対応した音情報などのぺアから学習し，隠れ層から分散表現を獲得する手法である．また，Ngiam らはマルチモーダルなべクトルを獲得した後, 獲得したべクトルを入力として用いて, 音声認識や画像検索などの教師あり学習を行う手法を提案した (Ngiam et al. 2011). Silberer and Lapata は深層学習を用いてマルチモーダルなべクトルを獲得する手法を提案した (Silberer and Lapata 2014).

単語の分散表現にマルチモーダル情報を用いる研究がある. 単語の分散表現とは, 自然言語処理においてよく用いられる低次元の実数値べクトルであり, word2vec (Mikolov, Chen, Corrado, and

Dean 2013a; Mikolov, Sutskever, Chen, Corrado, and Dean 2013b) がよく用いられる. Lazaridou らは word2vec を拡張し, 画像情報と組み合わせる手法を提案した (Lazaridou, Pham, and Baroni 2015). Kiela and Clark も同様に word2vec を音情報と組み合わせる手法を提案した (Kiela and Clark 2015).

## 2.3 将棋の局面を用いた自然言語処理

Kameko らは，将棋の局面に将棋解説文が付与された将棋解説コーパスを用いて，ニューラルネットワークを応用した将棋解説文のための単語分割手法を提案している (Kameko, Mori, and Tsuruoka 2015). この手法は，まず将棋局面情報を入力とするニューラルネットワークを用いることで将棋用語辞書を獲得し, 得られた将棋用語辞書を用いて単語分割を行うことで単語分割の精度向上を実現している。具体的には，将棋用語辞書を作成するために，まず確率的単語分割手法により確率的に単語分割されたコーパスを生成する。次に, 将棋局面情報を入力とし,確率的コーパスの単語を出力とするフイードフォワード型のニューラルネットワークを学習し,学習されたニューラルネットワークを用いて単語候補をスコア付けし抽出することで, 将棋用語辞書が得られる。本研究と彼らの研究との違いは次の通りである。(1) 彼らは局面の素性に, コンピュータ将棋プログラムを用いて作成した複雑な素性を用いているが, 本研究では単純な駒の位置情報のみを素性として用いていること, (2) 彼らは将棋の局面との対応により事前に獲得しておいた語彙を参照し単語分割しているが, 本研究では将棋の局面との対応を直接参照して固有表現認識を行うことが挙げられる。

## 3 将棋解説コーパス

将棋は 2 人で行うボードゲームで $9 \times 9$ のマスの盤面と成った駒も含めて 14 種類の駒を用いる．盤面上の駒の配置と持ち駒からゲームの状態に関するすべての情報が得られる完全情報ゲームである。将棋にはプロ制度があり, 日々多数のプロ間の対局が行われている．多くの対局には，対局者以外のプロが解説を行い，その解説文がインターネットで配信されている.

本稿で用いる将棋解説コーパス (Mori et al. 2016) は, 将棋の解説文に対して単語分割と固有表現夕グが人手で与えられた注釈つきテキストデータである。固有表現は, 将棋の解説に特化されており，表 1 のように 21 種類が定義されている. 出現割合はコーパス中に出現する各固有表現の割合を示す. 実際のアノテーションは, BIO2 形式であり, 各単語ごとに $\mathrm{BIO}$ 夕グが 1 つ付与されており，夕グの種類数は 43 種類 $(21 \times 2+1=43)$ ある.

各解説文には, 解説の対象となる局面が対応付けされており, ほとんどの解説文は局面に関するコメントをしているが，局面に関係のないコメント（対局者に関する情報など）も少量含まれる，局面の情報は，解説文が言及する実世界情報とみなすことができ，これを参照するこ
表 1 将棋の固有表現の種類とその意味

とによる固有表現認識が本稿の中心となるアイデアである.

## 4 提案手法

将棋解説文の固有表現認識を行うために用いたフィードフォワード型のニューラルネットワー クと実世界情報（将棋の局面）の事前学習について説明する.

## 4.1 ニューラルネットワークの構成

図 1 は実世界を参照する固有表現認識のニューラルネットワークの全体図である。テキストの素性は, 左側の入力層に $\left(f_{1}^{t}, f_{2}^{t}, \ldots, f_{n}^{t}\right)$ として入力する. 図の右下の 5 つの層は実世界に関するニューラルネットワークであり， $\left(f_{1}^{r}, f_{2}^{r}, \ldots, f_{m}^{r}\right)$ に実世界情報の素性を入力する. 図の上側のニューラルネットワークでテキスト情報と実世界情報を統合して固有表現認識を行う。実世

Real-world-input

図 1 実世界を参照する固有表現認識のためのディープニューラルネットワーク

界に関するニューラルネットワークの中間層の層数については開発データを用いて調整する ${ }^{1}$. このネットワークは出力層において，注目している単語が属する各夕グの確率を出力する.

## 4.2 実世界情報の事前学習の入力とテキストの入力

実世界情報は, 図 1 の右下に示されるニューラルネットワークの入力として参照される。本研究では実世界情報として, 図 2 に示すように盤面上の全てのマス $(9 \times 9)$ における先手と後手を区別した駒の種類 $(2 \times 14)$ の有無に対応する 2,268 次元 $(2,268=9 \times 9 \times 2 \times 14)$ のバイナリ素性と, 持ち駒を記述する先手と後手の 7 種類の駒の個数に対応する 14 次元 $(14=7 \times 2)$ の整数素性の合計 2,282 次元の素性を用いる.

表 2 に実験で用いたテキスト素性を示す。 $w_{i}$ は現在着目し, タグを推定している単語であり,単語の素性には 1-of- $k$ 表現を用いた. $\operatorname{type}(w)$ は $w$ の文字の種類, 平仮名, 片仮名, 漢字, 数字，記号やそれらの組み合わせを表し, $\operatorname{pos}(w)$ は $w$ の品詞を表す.

## 4.3 実世界情報の事前学習

本研究では事前学習手法の一つであるSAE を用いて実世界情報の事前学習を行う。図 3 の左側のように，まず 3 層のニューラルネットワークの入力層と出力層に同じ実世界情報を与え，

図 2 将棋盤面の素性

表 2 タグを推定している $w_{i}$ のテキスト素性

図 3 Stacked auto-encoder
入力されたべクトルと同じベクトルを出力として予測するニューラルネットワークを学習する. このとき中間層の次元数を入力層よりも少ない次元数とすることで, 中間層において次元圧縮された実世界情報を得ることができる，次に図 3 の中央のように，出力層を取り除き，新しい中間層を 1 つ増やしたネットワークを再定義する。その後，先ほど得られた中間層（下から 2 層目）のベクトルと同じベクトルを出力層で予測するニューラルネットワークを学習する。このとき，新しく定義しなおした部分（上から 3 層）の重みのみを更新していく，同様に，層を積み重ねることで，より深く一般化された特徵量 $\left(a_{1}, a_{2}, \ldots, a_{l}\right)$ を学習することができる。本研究では，実世界情報のみを用いて事前学習を行うこととする.

## 4.4 テキスト情報と実世界情報の統合

事前学習後, テキスト情報側のニューラルネットワークと実世界情報側のニューラルネットワークを統合し, 固有表現認識タスク用にファインチューニングを行う。固有表現認識器のネットワークは出力層において, タグの種類数のユニット（本研究では 43 個）が存在する．学習の際には，テキスト側の素性とそのテキストに対応する実世界情報側の素性を入力とし，各単語の正解の BIO タグの尤度が最大になるように, 図 1 に示されているニューラルネットワーク全体が最適化される。具体的には, 中間層の活性化関数には標準シグモイド関数を用い, 出力層ではソフトマックス関数を用いて各夕グの確率を出力し, 損失関数には交差エントロピー誤差を用いる。したがって, 固有表現認識のための中間層だけでなく, 事前学習された実世界情報側のニューラルネットワークも同時に調整される。

## 4.5 最適タグ列の探索

固有表現認識は各単語に対する BIO 夕グを推定することで実現されるが，各単語ごとに確率が最も高い BIO タグを出力すると, 推定した固有表現がI タグから始まってしまう場合など, BIO 夕グ制約を満たさない場合がある。本研究では BIO夕グ制約を満たすために，各夕グの推定確率を用いて, ビタビアルゴリズムを適用し, 制約を満たす遷移のみからなる確率最大の BIO タグ列を探索する。

## 5 評価実験

提案手法の有効性を確認するために，固有表現認識の実験を行った。この章では，まず評価の方法を説明する．その後，実験設定を説明し，それぞれの結果を提示する。

## 5.1 評価の方法

評価の方法として以下のように定義される再現率と適合率, $\mathrm{F}$ 値を用いる（式 (1) 参照）。ここで正解数は図 4 のように, 将棋解説コーパスに出現する実際の固有表現とシステムが出力し

た固有表現の始点と終点が完全に一致した数である.これらに加えて各単語のタグ一致率も調ベた.

$
\begin{aligned}
\text { 再現率 } & =\frac{\text { 正解数 }}{\text { コーパスに出現する固有表現の総数 }} \\
\text { 適合率 } & =\frac{\text { システム正解数 }}{\text { シズ出力した固有表現の総数 }} \\
\mathrm{F} \text { 値 } & =\frac{2 \cdot \text { 適合率 } \cdot \text { 再現率 }}{\text { 適合率 }+ \text { 再現率 }}
\end{aligned}
$

## 5.2 実験設定

実験には将棋解説コーパスを用いた ( 3 章参照)，表 3 に実験で用いたコーパスの詳細を示す. まず，将棋の局面情報のみを用いて事前学習を行い，学習されたネットワークを用いて固有表現認識器を構築した。表 4 に局面を事前学習する際に用いた各層の次元数を示す. 今回の実験では, 中間層の層数 $0 \sim 5$ 層に設定し, それぞれの中間層での次元数は固定して実験を行った.中間層の次元数は開発セットを用いて, $\mathrm{F}$ 值が最も高くなるよう調整し，今回は中間層の層数を 4 層にした。また, 既存手法として, 条件付き確率場 (CRF) (Lafferty et al. 2001) と実世界

正解データ： この/O あと/O 三/St-B 間/St-I 飛車/St-I に/O対/O し/O $\ldots$

出力結果 : この/O あと/O 三/St-B 間/St-I 飛車/St-I に/O 対/O L/O … この/O あと/O 三/Cs-B 間/Cs-I 飛車/Cs-I に/O対/O L/O $\ldots$... $\times$ この/O あと/O 三/St-B 間/St-I 飛車/O に/O 対/O L/O $\ldots$... この/O あと/O 三/St-B 間/St-I 飛車/St-I に/St-I 対/O L/O

図 4 評価方法

表 3 将棋解説コーパスの諸元

表 4 将棋盤面埋め迄みに用いたニューラルネットワークの各層の次元数

情報を用いないディープニューラルネットワーク（テキスト情報のみを用いたディープニュー ラルネットワーク）を提案手法と比較した. このとき従来手法と提案手法では同じテキスト素性を用いており，ハイパーパラメータは開発セットを用いて調整した。テキスト素性では各単語の品詞情報も用いるが, 将棋解説コーパスは単語分割は与えられているが各単語の品詞情報は与えられていない. そのため, KyTeaを用いて品詞推定を行った.

## 5.3 実験結果

表 5 に実験の結果を示す。提案手法の有効性を示すために従来手法の「CRF」（条件付き確率場）「DNN」（ディープニューラルネットワーク）を比較対象とした.「局面」は局面の参照 (4.3，4.4 節参照）を示しており，「DNN + 局面」は提案手法である．表 5 より「CRF」よりも「DNN」が精度が高く, ディープニューラルネットワークが固有表現認識に効果的であることが分かる。また，いずれの従来手法よりも提案手法の精度が高く, 実世界情報を用いることで,「CRF」，「DNN」よりも「DNN + 局面」の方がそれぞれ 1.57 ポイント， 0.64 ポイント高かった. 提案手法の BIO タグ推定精度は「CRF」と「DNN」の精度に対して，マクネマー検定において有意水準 $1 \%$ で統計的に有意差があった. これより，テキスト情報と実世界情報を用いた提案手法の有効性が確認できる.

将棋解説コーパスを詳しくみると, 各単語に対する O夕グ（どの固有表現でもない単語）の割合は約 $68 \%$ であり, 固有表現は $\mathrm{Pi}$ （駒名）や Ot（その他重要な表現）などが多く出現する.「DNN」での出力と「DNN + 局面」の出力を比較し局面を参照することによる精度向上を分析すると, 正解は Ot の単語に対し, 「DNN」では不正解でO タグを出力しているが,「DNN + 局面」では適切に Ot を出力する例が多数あり, 局面を参照することにより, 不正解から正解に変化した固有表現の約 $1 / 3$ が Otに関する単語であった。例えば，「応手」や「効果」,「バリケード」などが提案手法では正しくOt と認識されていた.「と金」や「と」は歩が成った駒を指し, 提案手法では正しく $\mathrm{Pi}$ と認識できた例があった. これは実世界情報としてその駒に対する素性が効いていると考えられ，と金の局面素性を発火させずに入力した際には Pi に分類する確率が低下した。また,「DNN」の適合率に比べ, 「DNN + 局面」の適合率は減少している.

表 5 固有表現認識の結果

図 5 事前学習の際, 層数を変化させたときの精度（F 値）

これは, 出力が一致せず，どちらの出力も不正解の固有表現が 12 個存在したが，そのほとんどについて「DNN」では O タグを出力しており，「DNN + 局面」では何らかの固有表現夕グを出力しているためである。例えば，St（戦型名）の固有表現「橋本流」に対し，「DNN」では $\mathrm{O}$ を出力し，「DNN + 局面」では Ot を出力していた.

局面情報を事前学習した際のSAEの中間層の層数を変化させた場合の精度（F 値）の変化を図 5 に示す. 中間層 0 層のときは事前学習せずに局面情報を入力とした場合の精度である。図 5 より, 中間層 $0 \sim 1$ 層のときはテキスト情報のみを用いた「DNN」よりも精度が低く, 中間層 $2 \sim 5$ 層のときに「DNN」よりも精度が高くなった. これより, ある程度次元圧縮された局面情報が有効であることがわかる.

局面情報は精度を向上させたが，その差はわずかである。それは，固有表現インスタンスの多くは $\mathrm{Tu}$ （手番）や $\mathrm{Pi}$ (駒名), Po（位置）であるが，それらはテキストのみの情報でも高精度で認識することができており, 局面情報を加えることで精度向上が見达める St (戦型) や $\mathrm{Ca}$ (囲い) のインスタンスは割合が少ないためと考えられる.

## 6 おわりに

本稿では, 新たな固有表現認識の解法として, 実世界情報の参照を提案した，提案手法では，全体の枠組みとしてディープニューラルネットワークを用いる。まず実世界情報だけを用いて SAE の事前学習を行い，これをテキスト情報のみを参照する通常の固有表現認識器と統合し，統合されたニューラルネットワークの再学習を行う.

実験では，将棋解説に駒の配置という実世界情報と固有表現タグが付与された将棋解説コー パスを用いた。将棋解説コーパスに対する固有表現認識の精度評価を行い，既存手法に対する
優位性や実世界情報参照の効果を実験的に示した。

本稿で提案した実世界情報を参照する固有表現認識の手法は，将棋解説コーパスのように実世界情報と固有表現タグが付与されたコーパスが利用可能であれば，実世界情報の素性とテキスト素性を同時に入力することができるため，他ドメインの固有表現認識にも適用することが可能である．また，入力される実世界情報によってはネットワークの構造を変更する必要がある (画像情報の入力には畳み込みニューラルネットワークを用いる等). 例えば，ニュース記事とそれに付随した画像情報を参照することにより，一般の固有表現認識の精度向上が期待できる。

## 謝 辞

本研究の一部は, The 54th Annual Meeting of the Association for Computational Linguistics (ACL 2016) で発表したものである (Tomori, Ninomiya, and Mori 2016).

本研究は JSPS 科研費 26540190 及び 25280084 の助成を受けたものである。ここに謝意を表する。

## 参考文献

Borthwick, A. E. (1999). A Maximum Entropy Approach to Named Entity Recognition. Ph.D. thesis, New York, NY, USA. AAI9945252.

Bruni, E., Tran, N. K., and Baroni, M. (2014). "Multimodal Distributional Semantics." Journal of Artificial Intelligence Research, 49, pp. 1-47.

Finkel, J. R., Grenager, T., and Manning, C. (2005). "Incorporating Non-local Information into Information Extraction Systems by Gibbs Sampling." In Proceedings of the 43rd Annual Meeting on Association for Computational Linguistics, pp. 363-370.

Kameko, H., Mori, S., and Tsuruoka, Y. (2015). "Can Symbol Grounding Improve Low-Level NLP? Word Segmentation as a Case Study." In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 2298-2303, Lisbon, Portugal. Association for Computational Linguistics.

Karpathy, A., Joulin, A., and Li, F. F. (2014). "Deep Fragment Embeddings for Bidirectional Image Sentence Mapping." In Ghahramani, Z., Welling, M., Cortes, C., Lawrence, N., and Weinberger, K. (Eds.), Advances in Neural Information Processing Systems 27, pp. 1889-1897. Curran Associates, Inc.

Kiela, D. and Clark, S. (2015). "Multi- and Cross-Modal Semantics Beyond Vision: Grounding in Auditory Perception." In Proceedings of the 2015 Conference on Empirical Methods in Nat-
ural Language Processing, pp. 2461-2470, Lisbon, Portugal. Association for Computational Linguistics.

Kiros, R., Salakhutdinov, R., and Zemel, R. (2014). "Multimodal Neural Language Models." In Proceedings of the 31st International Conference on Machine Learning, pp. 595-603.

Lafferty, J. D., McCallum, A., and Pereira, F. C. N. (2001). "Conditional Random Fields: Probabilistic Models for Segmenting and Labeling Sequence Data." In Proceedings of the 18th International Conference on Machine Learning, ICML '01, pp. 282-289, San Francisco, CA, USA. Morgan Kaufmann Publishers Inc.

Lazaridou, A., Pham, N. T., and Baroni, M. (2015). "Combining Language and Vision with a Multimodal Skip-gram Model." In Proceedings of the 2015 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 153-163.

Lopopolo, A. and van Miltenburg, E. (2015). "Sound-based distributional models." In Proceedings of the 11th International Conference on Computational Semantics, pp. 70-75.

Ma, X. and Hovy, E. (2016). "End-to-end Sequence Labeling via Bi-directional LSTM-CNNsCRF." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1064-1074.

Mikolov, T., Chen, K., Corrado, G., and Dean, J. (2013a). "Efficient Estimation of Word Representations in Vector Space." In arXiv preprint arXiv:1301.3781.

Mikolov, T., Sutskever, I., Chen, K., Corrado, G. S., and Dean, J. (2013b). "Distributed Representations of Words and Phrases and Their Compositionality." Advances in Neural Information Processing Systems, 26, pp. 3111-3119.

Mori, S., Richardson, J., Ushiku, A., Sasada, T., Kameko, H., and Tsuruoka, Y. (2016). "A Japanese Chess Commentary Corpus." In Proceedings of the 10th International Conference on Language Resources and Evaluation, pp. 1415-1420.

Ngiam, J., Khosla, A., Kim, M., Nam, J., Lee, H., and Ng, A. (2011). "Multimodal Deep Learning." In Proceedings of the 28th International Conference on Machine Learning, pp. 689-696.

Ratinov, L. and Roth, D. (2009). "Design Challenges and Misconceptions in Named Entity Recognition." In Proceedings of the 13th Conference on Computational Natural Language Learning, CoNLL '09, pp. 147-155.

Settles, B. (2004). "Biomedical Named Entity Recognition Using Conditional Random Fields and Rich Feature Sets." In Proceedings of the International Joint Workshop on Natural Language Processing in Biomedicine and its Applications, pp. 33-38.

Silberer, C. and Lapata, M. (2014). "Learning Grounded Meaning Representations with Autoen-
coders." In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 721-732.

Socher, R., Karpathy, A., Le, Q. V., Manning, C. D., and Ng, A. Y. (2014). "Grounded Compositional Semantics for Finding and Describing Images with Sentences." Transactions of the Association for Computational Linguistics, 2, pp. 207-218.

Srivastava, N. and Salakhutdinov, R. (2012). "Multimodal Learning with Deep Boltzmann Machines." In Advances in Neural Information Processing Systems 25, pp. 2222-2230.

Tjong Kim Sang, E. F. and De Meulder, F. (2003). "Introduction to the CoNLL-2003 Shared Task: Language-independent Named Entity Recognition." In Proceedings of the 7th Conference on Natural Language Learning at HLT-NAACL 2003-Volume 4, CoNLL '03, pp. 142-147.

Tomori, S., Ninomiya, T., and Mori, S. (2016). "Domain Specific Named Entity Recognition Referring to the Real World by Deep Neural Networks." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 236-242.

## 略歴

友利涼：2016 年愛媛大学工学部卒業. 同年より京都大学大学院情報学研究科修士課程在学.

二宮崇：2001 年東京大学大学院理学系研究科情報科学専攻博士課程修了. 同年より科学技術振興事業団研究員. 2006 年より東京大学情報基盤センター講師。2010 年より愛媛大学大学院理工学研究科准教授, 2017 年同教授. 東京大学博士 (理学). 言語処理学会, 情報処理学会, 人工知能学会, 電子情報通信学会, 日本データベース学会, ACL 各会員.

森信介：1998 年京都大学大学院工学研究科電子通信工学専攻博士後期課程修了. 同年,日本アイ・ビー・エム株式会社入社. 2007 年より京都大学学術情報メディアセンター准教授, 2016 年同教授. 京都大学博士 (工学). 1997 年情報処理学会山下記念研究賞受賞. 2010 年, 2013 年情報処理学会論文賞受賞. 2010 年第 58 回電気科学技術奨励賞受賞. 言語処理学会, 情報処理学会, 日本データベース学会, ACL 各会員.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 大規模コーパスに基づく日本語二重目的語構文の基本語順の分析

笹野 遼平 $\dagger$ ・奥村 学帡
}

日本語二重目的語構文の基本語順に関しては多くの研究が行われてきた。しかし, それらの研究の多くは，人手による用例の分析や，脳活動や読み時間の計測を必要 としているため, 分析対象とした用例については信頼度の高い分析を行うことがで きるものの, 多くの仮説の網羅的な検証には不向きであった。一方，各語順の出現傾向は，大量のコーパスから大規模に収集することが可能である。そこで本論文で は，二重目的語構文の基本語順はコーパス中の語順の出現割合と強く関係するとい う仮説に基づき，大規模コーパスを用いた日本語二重目的語構文の基本語順に関す る分析を行う， 100 億文を超える大規模コーパスから収集した用例に基づく分析の 結果，動詞により基本語順は異なる，省略されにくい格は動詞の近くに出現する傾向がある，Pass タイプと Show タイプといった動詞のタイプは基本語順と関係しな い，二格名詞が着点を表す場合は有生性を持つ名詞の方が「にを」語順をとりやす い，対象の動詞と高頻度に共起するタ格名詞およびニ格名詞は動詞の近くに出現し やすい等の結論が示唆された。

キーワード：二重目的語構文，基本語順
## Corpus-Based Analysis of the Canonical Word Order of Japanese Double Object Constructions

\author{
Ryohei Sasano ${ }^{\dagger}$ and Manabu Okumura ${ }^{\dagger \dagger}$
}

\begin{abstract}
Several studies have investigated the canonical word order of Japanese double object constructions. However, most of these studies use either manual analyses or measurements of human characteristics such as brain activities or reading times for each example. Thus, although these analyses are reliable for the examples they focus on, the findings cannot be generalized to other examples. In contrast, the trend of actual usage can be automatically collected from a large corpus. Thus, in this study, we assume that there is a relation between the canonical word order and the proportion of each word order in a large corpus and present a corpus-based analysis of the canonical word order of Japanese double object constructions. Our analysis is based on a very large corpus comprising more than 10 billion unique sentences and suggests that the canonical word order of such constructions varies from verb to verb. Moreover, it suggests an argument whose grammatical case is infrequently omitted with a given verb tends to be placed near the verb and that there is few relation between the canonical word order and the verb type: show-type and pass-type. The dative-accusative order is more preferred when the semantic role of dative argument
\end{abstract}

is animate Possessor than when the semantic role is inanimate Goal. Furthermore, an argument that frequently co-occurs with the verb tends to be placed near the verb.

Key Words: Dobule Object Construction, Canonical Word Order

## 1 はじめに

日本語は比較的語順が自由な言語であるとされるが, 多くの研究において日本語にも基本語順が存在していることが示唆されている (Mazuka, Ito, and Kondo 2002; Tamaoka, Sakai, Kawahara, Miyaoka, Lim, and Koizumi 2005). しかし, どの語順を基本語順とみなすかについては意見が分かれる場合があり, 二重目的語構文についても，二つの目的語の基本語順に関し多くの説が提案されている。具体的な争点としては, 二重目的語構文の基本語順は「がにを」である (Hoji 1985) か,「がにを」と「がをに」の両方である (Miyagawa 1997) かや, 後者の立場の類型として基本語順は動詞の種類に関係するという説 (Matsuoka 2003)や，二格の意味役割や有生性が関わっているとする説 (Miyagawa and Tsujioka 2004; Ito 2007) などが存在している. また, これらの研究の分析方法に関しても, 理論研究 (Hoji 1985; Miyagawa and Tsujioka 2004) に加え,心理実験 (Koizumi and Tamaoka 2004; 中本, 李, 黒田 2006; Shigenaga 2014) や脳科学 (高祖,萩原, 曽雌 2004 ; 犬伏, 飯島, 小泉, 酒井 2009）に基づく実証的研究など, 多くの側面からの分析が行われている.

しかし, これらの分析手法はいずれも分析の対象とした各用例について人手による分析や脳波等の計測が必要となるため, 分析対象とした用例については信頼度の高い分析を行うことができるものの，新たな用例に対し分析を行う場合には改めてデー夕を収集する必要があり，多くの仮説の網羅的な検証には不向きである。一方，各語順が実際にどのような割合で出現するかの傾向は，コーパスから大規模に収集することが可能である。コーパス中の個別の事例から， それが基本語順なのか, かき混ぜ語順なのかを自動的に判定するのは容易でないものの, 大規模に収集した用例において多数を占める語順であるならば，その語順が基本語順である可能性が高いと考えられる.

たとえば，(1)に示すように11, 動詞が「感じる」, 二格要素が「言葉」, ヲ格要素が「愛情」の場合,「にを」語順が $97.5 \%$ 占めていることから, この動詞と格要素の組み合わせの場合, 「にを」語順が基本語順であると考えられる，一方，(2)に示すように，動詞が「誘う」，二格要素が「デート」， ヲ格要素が「女性」である場合は，「をに」語順が $99.6 \%$ 占めており，この語順が基本語順であると考えられる。

（1）にを：言葉に愛情を感じる。[用例数：118 (97.5\%)] をに：愛情を言葉に感じる。[用例数 : $3(2.5 \%)]$
^{1}(1),(2)$ に示した用例数は本研究で収集した各語順の用例数を表している. 具体的な収集手順は 4 節で説明する.
}

（2）にを：デートに女性を誘う。[用例数：4 (0.4\%)]

をに：女性をデートに誘う。[用例数： $923(99.6 \%)]$

そこで本研究では, 二重目的語構文の基本語順はコーパス中の語順の出現割合と強く関係するとの仮定に基づき， 100 億文を超える大規模コーパスから収集した用例を用いた日本語二重目的語構文の基本語順に関する各種の仮説の検証を行う. 日本語二重目的語構文の基本語順を解明することができれば，日本語二重目的語構文の統語構造や言語理解プロセスの解明における重要な手掛りとなることが期待できる。本研究で行う大規模コーパスに基づく分析は, コー パス中で多数を占める語順が基本語順と同じであるとは限らないことから, 基本語順の解明に直結するとは言えないものの, 心理実験や脳科学等などのよりコストの掛かる検証を行う前段階の検証として有用であると考えられる。

## 2 日本語二重目的語構文と語順

二重目的語構文とは，(3) に示す各文における「次郎」と「写真」のように，典型的には二格とヨ格で表される 2 つ目的語を取る構文である。これらの格はそれぞれの与格 (dative, DAT),対格 (accusative, ACC) を表す.また，ガ格（主格）項も含めて 3 つの項を取ることから三項動詞文とも呼ばれる。(3) に示す $\mathrm{a} \sim \mathrm{f}$ の 6 の文は語順は異なるものの, 本質的には同じ事象を表している.

(3) a: 太郎が次郎に写真を見せた。

b: 太郎が写真を次郎に見せた。

c: 次郎に太郎が写真を見せた。

$\mathrm{d}$ : 次郎に写真を太郎が見せた。

e : 写真を太郎が次郎に見せた。

$\mathrm{f}:$ 写真を次郎に太郎が見せた。

二重目的語構文の基本語順に関しては多くの研究が行われている. これらの研究の主張は大きく3つに分けることができる (Koizumi and Tamaoka 2004).1つ目は，いかなる場合であっても基本語順は (3)-aのように「がにを」語順であるという説 (Hoji 1985)，2つ目は「がにを」 と「がをに」のいずれもが基本語順であるという説 (Miyagawa 1997), 3つ目は動詞のタイプにより「がにを」語順が基本語順である場合と「がをに」語順が基本語順である場合があるという説 (Matsuoka 2003) である.

これらの 3 つの説において, 基本語順において 3 つの項のうちガ格項の位置は先頭であるということは共通していることから，以下本論文では「がにを」語順を単に「にを」語順，「がをに」語順を単に「をに」語順と表記する．また，基本語順という用語の意味が研究により異

なっていることに注意する必要がある。具体的には，基本語順は語彙によらず構文ごとにたた 1 つ存在しているという立場 (Hoji 1985), 動詞のタイプや動詞と各項に入る名詞の組み合わせによって基本語順は異なるという立場 (Matsuoka 2003; 中本他 2006), ある文における基本語順が複数存在しうるという立場 (Miyagawa 1997)が存在しており，各立場により基本語順という用語の意味は異なっている。本論文では, 基本語順は動詞と各項に入る名詞の組み合わせが与えられた場合に定まる, 日本語使用者にとってもっとも自然で理解しやすい語順のことであるとし，動詞と各項に入る名詞の組み合わせによって基本語順は異なるものの，基本的に 1 つの組み合わせに対する基本語順は 1 つだけ存在しているという立場で考察を行う.

日本語における動詞の項の並び順に影響を与える要因は多く知られている。代表的なものとしては, 多数の語で構成される長い項は動詞から遠い位置に, 少数の語で構成される短い項は動詞の近くに置かれることが多いといった性質 (Yamashita and Chang 2001)や, 既知の情報は前方に，新情報は後方に置かれやすいという性質 (Kuno 2006)などが挙げられる. これらの性質は日本語特有のものではなく，たとえば英語の与格交替に関しても類似した性質が確認されており，これらの性質が与格交替が起こるかどうかの予測に有用であることが報告されている (Bresnan, Cueni, Nikitina, and Baayen 2007). 他にも, 日本語における動詞の項の並び順に関する研究は古くから多く行われており，たとえば佐伯は 4 編の小説, 計 67 ページに含まれる文を手作業で分析し，上記の 2 つの傾向に加えて「与格の二は対格のヲのまえにくる」，「慣用表現では特定の補語は動詞の直前にくる」などの傾向を抽出している (佐伯 1975).

本研究では, 基本語順の分析を目的とすることから, 項の長さや, 新情報であるかどうかなどの文脈に基づく要因を取り除いた分析を行う，具体的には，極めて大規模なコーパスから得られる統計情報を用いることで, 個別の用例における項の長さ等の要因は無視できると仮定し,分析を行う。

## 3 本研究で検証する仮説

本研究では, 日本語二重目的語構文の基本語順に関する代表的な仮説およびその類型として,以下の 5 つ日日本語二重目的語構文の基本語順に関する仮説を検証する.

A. 動詞によらず基本語順は「にを」である (Hoji 1985)

B. 基本語順は動詞のタイプによって異なる (Matsuoka 2003)

C. 省略されにくい格は基本語順において動詞の近くに位置する

D. 基本語順は二格名詞の意味役割や有生性によって異なる (Matsuoka 2003; Ito 2007)

E. 対象の動詞と高頻度に共起するヲ格, 二格名詞は基本語順において動詞の近くに位置するまず，仮説 A，B，Cはいずれも二格名詞やヲ格名詞の性質を考慮に入れない仮説であり，収集したテキストにおける語順の割合を動詞ごとに調べることで検証が可能である.このうち仮
説 B は，(4)-a に示す「見せる」のように使役起動交替を適用したときにニ格名詞が主語となるものを Show タイプ， (4)-bに示す「渡す」のようにチ格名詞が主語となるものを Pass タイプと分類した上で，Show タイプの動詞は「にを」が，Pass タイプの動詞は「をに」が基本語順であるとする仮説である (Matsuoka 2003)．また，仮説 C は「役立てる」の二格や「もたらす」のヨ格などのように，省略されることが少ない格は，動詞の直前に出現することが多いとする仮説である.

(4) a. 彼に本を見せる。(cf. 彼が見る。)

b. 本を彼に渡す。(cf. 本が渡る。)

一方, 仮説 $\mathbf{D}, \mathbf{E}$ は二格やヲ格の性質も考慮に入れた仮説である. 仮説 $\mathbf{D}$ は基本語順は二格名詞の意味役割によって異なるという仮説で，特に (5)-a における「先生」のようにニ格名詞が有生性を持つ所有者（着点）を表す場合，(5)-bにおける「学校」のように有生性を持たない場所（着点）を表す場合よりも「にを」語順をとりやすいとする仮説である (Matsuoka 2003; Ito 2007).

(5) a. 先生に本を返却した。

b. 本を学校に返却した。

仮説 $\mathbf{E}$ は「思ったことを口に出す」や「人のことに口を出す」などのような慣用表現を含む文に関する Miyagawa らの分析 (Miyagawa and Tsujioka 2004)を拡張したものであり，「変化をもたらす」などのように, 慣用表現として特別な意味を持っていない場合であっても, 高い頻度で動詞と共起するヲ格名詞や二格名詞は動詞の近くに出現しやすいとする仮説である。中本ら (中本他 2006) は, 日本語の語順選好は動詞に還元できない文レベルの意味と相関する，すなわち, 基本語順は単純な動詞のタイプや二格の意味役割から決めることはできず, 文を構成する主要な要素間の相互作用の結果としての文レべルの意味が語順選好に関係していると主張しているが, 基本語順は動詞の種類だけでなく, 動詞とチ格名詞, 二格名詞との組み合わせによって決まるという意味で仮説 $\mathbf{E}$ は中本らの説に近い説であると言える。

## 4 分析に使用する用例の収集

大規模コーパスに基づく日本語二重目的語構文の基本語順の分析は, 理論研究や, 心理実験や脳科学などに基づく実証的手法と比べ, 圧倒的に多くの用例を使用できるという利点がある一方で，自動的に用例を収集する必要があるため, 誤った用例が収集されてしまうことが問題となる，たとえば，単純に動詞の前に出現した格助詞を収集すると，(6)のような文から「鍵を彼に教わった」という用例が収集されてしまう。このような問題は, 係り受け解析を行い, 名詞句「鍵を」の係り先が「教わった」ではなく「置いた」であることを考慮することで防ぐことができ

るが，現状の構文解析システムの精度はたかだか $92 \%$ 程度であり (Yoshinaga and Kitsuregawa 2014)，係り受け解析を利用するだけでは，依然として多くの適切でない用例を収集してしまう可能性が残る。

（6）鍵を彼に教わった場所に置いた。

そこで本研究では, 非常に規模の大きいコーパスから，二格やヲ格が明示的に出現しており, かつ，構文的な曖昧性の少ない用例たけを抽出，利用することによりこの問題に対処する．具体的には，河原らの手法 (河原，黒橋 2002)を基にした下記の手順を，Webから収集したテキスト集合に適用することにより，大規模かつ高精度な用例の収集を実現する².

1. 收集したテキスト集合を句点等を手がかりに文に分割. この際、コピーページなどから 1 つの用例を重複して収集するのを防ぐため，完全に同一の文は 1 つに統合する.

2. 構文解析システム $\mathrm{KNP}^{3}$ を用いて構文解析を行い 4 , 構文的曖昧性がないと解析された係り受け関係から動詞とガ格名詞，二格名詞， ヨ格名詞を収集 ${ }^{5}$.この際，格要素が複合名詞となっている場合は, 主辞が 1 文字の場合はその直前の形態素とセットで, それ以外の場合は主辞のみを収集する。また，動詞は「れる」や「たい」などの接尾辞を伴わず出現したもののみを収集対象とする.

3. 収集した用例を動詞ごとにまとめ, 以下の条件すべてを満たす動詞を分析の対象とする.

(a) 形態素解析システム JUMAN ${ }^{6}$ の基本的語彙に含まれる動詞である.

(b) ヨ格名詞, 二格名詞をともに持つ用例の割合が動詞の出現数の $5 \%$ 以上である.

（c） ヨ格名詞，二格名詞をともに持ち，かつ，いずれも JUMAN の基本的語彙に含まれる用例の異なり数が 500 以上である.

上記 2 において，たとえば，(6)に示す文が与えられた場合，「鍵を」と「彼に」の2つの文節は後方に 2 つ動詞が存在するため係り先に曖昧性があることから「鍵を」と「彼に」を含む用例は収集されず，係り先に曖昧性のない「場所に」とその係り先である「置いた」で構成される「場所に置いた」という用例だけが収集される7．また， 3 の (b)の条件は三項動詞のみを収集対象とするための条件である。目的語が 2 つ出現する用例が $5 \%$ 以上というのは緩い条件のように思えるが，該当の項が省略されている，被連体修飾要素として出現している，係り受けに曖昧性がある等の理由で，三項動詞であっても目的語が 2 つ明示的に出現しないことが多い

ことから，実際にこの条件を満たした動詞の多くは三項動詞であった.

100 億文を超える文集合から用例を抽出した結果，上記の 3 の (a)～(c)の条件をすべて満たす動詞は 648 種類収集された。 1 動詞あたりの出現数の平均は約 35 万，中央値は約 8.3 万，収集されたチ格名詞，二格名詞をともに持つ用例数の平均は約 3.8 万，中央值は約 0.9 万であった.

## 5 大規模コーパスに基づく基本語順の分析

## 5.1 動詞ごとの基本語順の分析

仮説 $\mathbf{A}, \mathbf{C}$ の検証を行うため，前節で収集した 648 動詞それぞれに対し， ヲ格とニ格の一方のみが出現した用例に占める二格のみが出現した用例の割合 $R_{\text {DAT-only }}$ と， ヨ格とニ格の両方が出現した用例に占める「をに」語順の割合 $R_{\mathrm{ACC}-\mathrm{DAT}}$ を算出し，これらの相関を調査した。このうち，以下の式で算出される $R_{\text {DAT-only }}$ は，二格がヲ格と比べてどのくらい省略されにくいかを表す値であり基本的に語順に関する情報を含まない値である。

$
R_{\text {DAT-only }}=\frac{N_{\text {DAT-only }}}{N_{\text {DAT-only }}+N_{\text {ACC-only }}}
$

ここで， $N_{\text {DAT-only }}, N_{\text {ACC-only }}$ は，それぞれニ格のみが出現した用例数， ヨ格のみが出現した用例数を表す.たとえば，(7)に示す文は， ヨ格は出現するものの，二格は出現しないため，後者の用例として計数される。

(7) 学長が学位を授与した。

しかし，4節で収集した用例のうち，ヲ格とニ格の一方のみが収集された用例すべてを使用すると， $R_{\mathrm{ACC}-\mathrm{DAT}}$ の値が大きい動詞ほど， $R_{\mathrm{DAT}-\mathrm{only}}$ の值も大きくなりやすいというバイアスが生じてしまう。これは，動詞の近くに出現しやすい項の方が，実際の係り先との間に他の述語が出現する可能性が少ないため，係り先となる述語の曖昧性が相対的に少ないためである。このバイアスを軽減するため, 本研究では $R_{\text {DAT-only }}$ の値を算出する際に，(7) に示す文のようにガ格も収集された用例のみを使用した。これは，ガ格項， ヲ格項，二格項の中で，多くの場合，先頭に出現するガ格項が収集されているならば，収集されなかった項は出現していない可能性が高いと考えられるためである.

表 1 に動詞ごとの $R_{\text {DAT-only }}$ と $R_{\text {ACC-DAT }}$ の値の例を, 図 1 に分析対象とした 648 動詞それぞれの 2 つの値を 2 次元にプロットした結果を示す. 図中の各点は 648 個の動詞をそれぞれ表しており，破線は線形回帰直線を表している，相関係数は 0.391 であった。また，右の棒グラフは $R_{\mathrm{ACC-DAT}}$ の值が該当する区間に含まれる動詞の数を表している。図 1 に示す結果から， ヲ格とニ格の一方のみが出現した用例に占める二格の割合と， ヲ格と二格の両方が出現した用例に占める「をに」語順の割合の間には弱いながらも正の相関があることが確認できる。この結果は仮
表 1 動詞ごとの二格のみ出現した用例の割合 $R_{\mathrm{DAT}-\mathrm{only}}$ と「をに」語順の割合 $R_{\mathrm{ACC}-\mathrm{DAT}}$ の例

図 1 動詞ごとの, 二格のみ出現した用例の割合 $R_{\mathrm{DAT}-\mathrm{only}}$ （横軸）と,「をに」語順の割合 $R_{\mathrm{ACC}-\mathrm{DAT}}$ (縦軸).

$\cdot$は各動詞，破線は線型回帰直線を表し，右の棒グラフは各区間に含まれる動詞の数を表す.

説 $\mathbf{C}$ が主張するように，省略されにくい格は動詞の近くに位置する傾向があることを示唆している。一方, $38.2 \%$ の動詞 8 は「をに」語順の方が優勢であり，仮説 $\mathbf{A}$ が主張するようにすべての動詞の基本語順が「にを」であるとは考えにくい．ただし， 648 動詞全体では「にを」語順の割合は $67.2 \%$,「にを」語順が優勢な動詞は 648 個中 400 個であり，全体としては「にを」語順の方が優勢であった.

動詞 9 につては優勢な語順であってもその占める割合は $80 \%$ 以下であり，動詞によって基本語順が決定されるとは考えにくい結果であった。表 1 に示した例のうち「近付ける」, 「適用す

る」,「詰める」,「挙げる」の 4 動詞は 2 つの語順がほほ拮抗していた動詞の例となっている.

## 5.2 動詞のタイプと基本語順

仮説 Bをさらに詳細に検証するため, Show タイプに分類される動詞と，Pass タイプに分類される動詞をそれぞれ抜き出し，コーパス中での語順の分布を調査した。各タイプの動詞として，基本的に Koizumi ら (Koizumi and Tamaoka 2004) が心理実験で使用した動詞を使用した。たたし, Show タイプの動詞に関しては Koizumi らが使用した 10 動詞のうち「はかせる」は JUMAN において 2 形態素に分割されることから除外し, 代わりに「知らせる」と「言付ける」の 2 動詞を追加し，全体で Show タイプ 11 動詞, Pass タイプ 22 動詞を調査対象とした.

各動詞のヲ格，ニ格を両方とる用例数と「をに」語順の割合を表 2 に示す. Show タイプに属する動詞の「をに」語順の割合の分布と，Pass タイプに属する動詞の「をに」語順の割合の分布の差を Wilcoxon の順位和検定により検定した結果， $\mathrm{p}$ 値は 0.359 となり，両者に有意な差は確認できなかった。この結果は, 容認性判断課題においてこれらの動詞タイプの間で反応時間の差が見られなかったとする Koizumi らの報告 (Koizumi and Tamaoka 2004)と一致しており,仮説 B は正しくないことを示唆している。

## 5.3 二格名詞の性質と基本語順

二格名詞の性質と基本語順の関係に関する仮説 $\mathbf{D}$ を検証するため, 二格名詞のカテゴリと語順の関係を調査した。ここで，二格名詞のカテゴリには，JUMAN 辞書に付与されているカテゴリ情報 10 をとに決定し，そのカテゴリに属する二格名詞の用例数が 100 万を超える 8 つの

表 2 Show タイプと Pass タイプの動詞ごとのヲ格とニ格を両方とる用例数と「をに」語順の割合

カテゴリを対象に「をに」語順の割合を調査した。結果を表 3 に示す. 二格名詞のカテゴリによって「をに」語順の割合に違いがあることが確認できるが，二格名詞が有生名詞の典型である 『人』カテゴリを持つ場合に着目すると, 全体では $35.3 \%$ である「をに」語順の割合が $38.7 \%$ と僅かに大きな値となっている。これは二格が有生名詞の場合「にを」語順をとりやすいという仮説と合致しない結果である.

しかしながら，この結果は，二重目的語構文をとるものの， ヨ格，二格の意味役割がまったく異なる動詞間で比較を行ったため生じた可能性が考えられる。そこで本研究ではさらに，滝本ら (滝本, カフラマン, 広瀬 2015) が使用した実験文を参考に，（8) に示すような二格が着点を表す典型的な文を対象に，二格の有生性の有無による語順選好の違いを調査した。

(8) a. 本を学校に返却した.

b. 先生に本を返却した.

具体的には， ヲ格名詞のカテゴリが『人工物-その他』である用例に限定した上で, 所有者 (着点）を表す有生名詞の典型として『人』カテゴリに属する名詞，場所（着点）を表す無生名詞の典型として『場所-施設』カテゴリに属する名詞を考え, 二格名詞のカテゴリが『人』である用例数と，『場所-施設』である場合の用例数がいずれも 100 以上である動詞を対象に，二格名詞のカテゴリごとの「をに」語順の割合を調査した

調査の結果, 用例数がいずれも 100 以上であった 126 動詞のうち, 有意水準 0.05 で比率の差の検定を行った結果, 二格名詞のカテゴリが『人』である場合と『場所-施設』である場合で,語順の出現割合に有意な差があると判定された動詞は 94 個存在し, そのうち 64 動詞はニ格名詞のカテゴリが『人』である場合の方が「にを」語順となる割合が大きいという結果が得られた. すなわち，二格名詞が有生性を持つ場合の方が「にを」語順をとりやすい動詞が 64 個存在するのに対し，「をに」語順をとりやすい動詞は 30 個であり，この差を二項検定を用いて検定を行うと $\mathrm{p}$ 值は 0.00059 と算出され, 有意な差であるとの結果が得られた. この結果は, 二格

表 3 二格名詞のカテゴリごとの「をに」語順の割合

表 4 二格の性質と語順の関係の調査に使用した動詞の例とその語順の割合および用例

 & 出現頻度の高い用例とその頻度 \\

名詞が所有者（着点）である場合の方が場所（着点）である場合と比べて「にを」語順をとりやすいという仮説 Dを支持している.

表 4 に，用例数がいずれも 100 以上であった 126 動詞のうちの 6 動詞について，二格が『人』 であった場合と『場所-施設』であった場合，それぞれの場合の「をに」語順となる割合と出現頻度の高い用例の例を示す。表中で太字記載された「をに」率はもう一方と比べて有意に割合が大きいことを表している。二格が『人』である場合の方が「をに」語順となる割合が大きかった動詞の1つに動詞「据える」があったが，その用例にはニ格が『人』である場合であっても 「主役に据える」などのようにニ格が所有者（着点）を表していないものが多く含まれていた. また, 動詞「展示する」の場合, 副詞的に使用されている「一同」にカテゴリ『人』が付与されているため, 二格が『人』である場合の方が「をに」語順となる割合が大きくなったと考えられる。このように，分析においてノイズとなるような不適切な用例は，二格が『人』である場合の方が「をに」語順となる割合が大きい動詞に多く出現していた.

## 5.4 動詞と名詞の共起度合と語順の関係

続いて，仮説 $\mathbf{E}$ の検証を行うため， ヲ格名詞，二格名詞，動詞の 3 つ組が与えられた場合の, ヨ格名詞と動詞, 二格名詞と動詞, それぞれの共起のしやすさと,「をに」語順の関係を調査した. 本研究では, ある格 $c$ を埋める名詞 $n$ と動詞 $v$ の共起度合いの尺度として, 以下の式によ

り定義される正規化自己相互情報量 (NPMI) を使用した.

$
\operatorname{NPMI}_{c}(n, v)=\frac{\operatorname{PMI}_{c}(n, v)}{-\log \left(p_{c}(n, v)\right)}, \text { ただし, } \operatorname{PMI}_{c}(n, v)=\log \frac{p_{c}(n, v)}{p_{c}(n) p(v)}
$

ここで, $p_{c}(n)$ は対象の格 $c$ を埋める名詞が $n$ である確率, $p(v)$ は動詞が $v$ である確率, $p_{c}(n, v)$ は対象の格 $c$ を埋める名詞と動詞の組み合わせが $(n, v)$ となる確率をそれぞれ表す. NPMI は自己相互情報量 (PMI) を $[-1,1]$ の範囲に正規化した尺度となっており， $n$ と $v$ が常に共起する場合に 1 , 独立に出現する場合に 0 , 一度も共起しない場合に -1 の値をとる。本研究では, 仮説 $\mathbf{E}$ を検証するため, 二格名詞と動詞の $\mathrm{NPMI}_{\mathrm{DAT}}$ の值と, ヨ格名詞と動詞の $\mathrm{NPMI}_{\mathrm{ACC}}$ の值の差を算出し，「をに」語順の割合との関係を調査した，仮説 $\mathbf{E}$ が正しい場合，二格名詞の方が動詞と高頻度に共起する場合, すなわち, 二格名詞と動詞の NPMI の方が大きな値となる場合,二格名詞は動詞の近くに出現しやすいことになるので，「をに」語順の割合が大きくなる.

まず，検証に使用する用例の収集を行った，具体的には， 500 回以上出現したチ格名詞，ニ格名詞，動詞の組み合わせを収集した．収集の結果，2,417個の組み合わせが収集された．たたし，仮説 E を検証するにあたり，慣用表現の影響を考慮する必要がある．たとえば， (9) に示す「足を運ぶ」，「棚に上げる」は慣用表現であるが，このような慣用表現は多くの場合，間に別の項を挟まないことが知られている．たとえげ (9)-bと同じ意味で「棚に自分を上げる。」などと言うことはできない.

（9） a. 美術館に足を運ぶ。（ヲ型慣用表現）

b. 自分を棚に上げる。(二型慣用表現)

そこで，慣用表現による影響を確認するため，収集された 2,417 個の組み合わせを人手で確認し, 慣用表現として使用されることが大半であると考えられる組み合わせであるかどうかの判定を行った. (9)-aのようにヲ格名詞と動詞が慣用表現を構成しているものをヲ型慣用表現, (9)-bのように二格名詞と動詞が慣用表現を構成しているものを二型慣用表現と呼ぶことにすると, 2,417 個の組み合わせのうち, 404 個がヲ型慣用表現, 84 個がニ型慣用表現と判定された. また, この過程で検証に使用するのに適していないと考えられる事例, 具体的には, (10)-aのようにニ格が副詞的に使用されている「最大限」や「最小限」であるものが 58 個, (10)-bの「友達に知らせる」のようにSNS 等で定型句として自動生成されていると考えられるものが 57 個見つかったため, 検証に使用する用例からこれらを除いた。この結果, 最終的に検証に使用する組み合わせは 2,302 個, そのうち，404 個がヲ型慣用表現， 84 個がニ型慣用表現であった. 1 組み合わせあたりの用例数の平均は 1,534 であった.

(10) a. 魅力を最大限に生かす。

b. 美容室を友達に知らせる。

続いて, 2302 個の組み合わせに対して, $\operatorname{NPMI}_{\mathrm{DAT}}(n, v)-\mathrm{NPMI}_{\mathrm{ACC}}(n, v)$ と,「をに」語順の割
合 $R_{\mathrm{ACC-DAT}}$ を算出した．表 5 に算出された値の例を示す。表中で斜体となっている值は, 仮説 $\mathbf{E}$ と合致しない用例であることを示している。また，図 2 に 2,302 個の組み合わせそれぞれの値を 2 次元にプロットした結果を示す。図中の＋はヲ型慣用表現，×は二型慣用表現，・はそれ以外の組み合わせを表しており，破線は線形回帰直線，右の棒グラフは $R_{\mathrm{ACC}-\mathrm{DAT}}$ の値が該当する区間に含まれる組み合わせの数を表している。

二格名詞と動詞，ヲ格名詞と動詞の NPMI の値の差と,「をに」語順の割合の相関係数は全体

表 5 名詞と動詞の共起度合と「をに」語順の割合 $R_{\mathrm{ACC}-\mathrm{DAT}}$ の例

図 2 ヨ格名詞, 二格名詞, 動詞の組み合わせごとの名詞と動詞の共起度合 $\operatorname{NPMI}_{\mathrm{DAT}}(n, v)-\operatorname{NPMI}_{\mathrm{ACC}}(n, v)$ と「をに」語順の割合 $R_{\mathrm{ACC}-\mathrm{DAT}}$ の関係．+がヲ型慣用表現，×がニ型慣用表現，・がそれ以外の組み合わせ，破線は線型回帰直線を表し，右の棒グラフは各区間に含まれる組み合わせの数を表す.

では 0.567 , 慣用表現を除いた場合は 0.513 であった。ほぼすべてのヲ型慣用表現は「にを」語順を，二型慣用表現は「をに」語順をとっており，これらの影響で相関係数がより大きくなっていると言えるが，これらの影響を除いた場合であっても正の相関があった。この結果は全体的な傾向として仮説 $\mathbf{E}$ が正しいことを示唆している.

さらに，図 2 の棒グラフに示すように， 格名詞，二格名詞と動詞の組み合わせごとの語順の割合の分布を見ると， $80.1 \%$ の組み合わせ 11 では，優勢となる語順が $90 \%$ 以上を占めていることが分かる。この結果は，優勢な語順であってもその占める割合は限定的であった動詞ごとの分析と対照的な結果であり，ヲ格名詞，二格名詞と動詞の 3 つ組が与えられた場合は，「をに」 または「にを」のいずれかに優勢な語順が定まる可能性が高いと考えられる。ヲ格名詞，二格名詞と動詞の 3 つ組が与えられた場合，文レベルの意味も定まると考えられることから，この結果は，日本語の語順選好は動詞に還元できない文レべルの意味と相関するという中本ら (中本他 2006)の説を支持する結果であると考えられる.

## 6 おわりに

本研究では, 100 億文を超える大規模コーパスから収集された用例を用い, 日本語二重目的語構文の基本語順，具体的には 2 つの目的語の基本語順が「をに」であるか「にを」であるかに関する各種の仮説の検証を行った。大規模コーパスに基づく分析結果が示唆する結論は以下のように要約される ${ }^{12}$.
- 省略されにくい格は動詞の近くに出現する傾向がある $[5.1$ 節, 仮説 $\mathbf{C}$ を支持 $]$
- 約 6 割の動詞は「にを」語順, 4 割の動詞は「をに」語順が優勢である $[5.1$ 節, 仮説 $\mathbf{A}$ 否定 $]$

・ 優勢な語順であってもその割合が $80 \%$ 以下である動詞が 6 割を占める [5.1 節]
- Pass タイプと Show タイプなどの動詞タイプは基本語順と関係しない $[5.2$ 節, 仮説 $\mathbf{B}$ 否定 $]$

・ 二格名詞が着点を表す場合, 有生性を持つ場合の方が「にを」語順をとりやすい [5.3 節，仮説 $\mathbf{D}$ を支持]
- 対象の動詞と高頻度に共起するタ格名詞, 二格名詞は動詞の近くに出現しやすい [5.4 節，仮説 $\mathbf{E}$ を支持]
- ヨ格名詞, 二格名詞, 動詞の3つ組が与えられた場合,「をに」語順と「にを」語順のいずれか一方の語順が $90 \%$ 以上となる場合が 8 割を占める $[5.4$ 節 $]$

本研究で行った日本語二重目的語構文の基本語順の分析の限界として, 基本的にニ格とヨ格の両方が明示的に出現した構文的曖昧性のない用例のみを分析に使用しているため，ヨ格が副

助詞「は」や「も」を用いて表現されやすい動詞や，連体節などを含む長い項を取りやすく項と動詞の間の係り受け関係に曖昧性が存在することが多い動詞等については正しく分析できていない可能性が考えられる。また，大規模コーパスに基づく基本語順の分析は，多くの仮説の網羅的な検証に向いていると言えるが，これらの分析は二重目的語構文の基本語順はコーパス中の語順の出現割合と強く関係するとの仮定に基づいており，実際に人がどのように二重目的語構文を処理し，どのような語順を基本語順として捉えているかの信頼度の高い結論を得るためには，脳科学などのより直接的な検証も行うことが望ましいと考えられる。

## 謝 辞

本研究で用例収集に使用した述語項構造データを提供していただた京都大学の河原大輔准教授および黒橋禎夫教授に感謝いたします。本論文の一部は The 54th Annual Meeting of the Association for Computational Linguistics で発表したものです (Sasano and Okumura 2016).また，本研究の一部は JSPS 科研費 25730131，16K16110 の助成を受けたものです.

## 参考文献

Bresnan, J., Cueni, A., Nikitina, T., and Baayen, H. (2007). "Predicting the Dative Alternation." In Bouma, G., Krämer, I., and Zwarts, J. (Eds.), Cognitive Foundations of Interpretation, pp. 69-94. Amsterdam: Royal Netherlands Academy of Science.

Hoji, H. (1985). Logical Form Constraints and Configurational Structures in Japanese. Ph.D. thesis, University of Washington.

犬伏知生, 飯島和樹, 小泉政利, 酒井邦嘉 (2009). 日本語二重目的語文の脳内処理における基本語順の効果. 日本言語学会第 138 回大会予稿集, pp. 286-289.

Ito, A. (2007). "Argument Structure of Japanese Ditransitives." In Takita, K. and Fuji, C. (Eds.), Nanzan Linguistics Special Issue 3, pp. 127-150.

河原大輔, 黒橋禎夫 (2002). 用言と直前の格要素の組を単位とする格フレームの自動構築. 自然言語処理, $9(1)$, pp. 3-19.

河原大輔, 黒橋禎夫 (2005). 格フレーム辞書の漸次的自動構築. 自然言語処理, 12 (2), pp. 109-131.

Koizumi, M. and Tamaoka, K. (2004). "Cognitive Processing of Japanese Sentences with Ditransitive Verbs." Gengo Kenkyu, 125, pp. 173-190.

高祖歩美, 萩原裕子, 曽雌崇弘 (2004). 三項動詞文処理の多チャンネル脳波研究. 電子情報通信学会技術研究報告. TL, 思考と言語, 104 (170), pp. 31-36.

Kuno, S. (2006). "Empathy and Direct Discourse Perspectives." In Horn, L. and Ward, G. (Eds.),

The Handbook of Pragmatics, Blackwell Handbooks in Linguistics, pp. 315-343. Wiley.

Matsuoka, M. (2003). "Two Types of Ditransitive Consturctions in Japanese." Journal of East Asian Linguistics, 12, pp. 171-203.

Mazuka, R., Ito, K., and Kondo, T. (2002). "Costs of Scrambling in Japanese Sentence Processing." In Nakayama, M. (Ed.), Sentence Processing in East Asian Languages, pp. 131-166. Stanford, CA: CSLI Publications.

Miyagawa, S. (1997). "Against Optional Scrambling." Linguistic Inquiry, 28, pp. 1-26.

Miyagawa, S. and Tsujioka, T. (2004). "Argument Structure and Ditransitive Verbs in Japanese." Journal of East Asian Linguistics, 13, pp. 1-38.

中本敬子, 李在鎬, 黒田航 (2006). 日本語の語順選好は動詞に還元できない文レベルの意味と

相関する. 認知科学, 13 (3), pp. 334-352.

佐伯哲夫 (1975). 現代日本語の語順. 笠間書院.

Sasano, R. and Okumura, M. (2016). "A Corpus-Based Analysis of Canonical Word Order of Japanese Double Object Constructions." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics, pp. 2236-2244.

Shigenaga, Y. (2014). "Canonical Word Order of Japanese Ditransitive Sentences: A Preliminary Investigation Through a Grammaticality Judgment Survey." Advances in Language and Literary Studies, 5 (2), pp. 35-45.

滝本宮美, カフラマンバルジュ, 広瀬友紀 (2015). 日本語の二重目的語構文における文理解の難易度について一二格名詞の有生性に着目して一. 日本言語学会第 150 回大会, pp. 110-115.

Tamaoka, K., Sakai, H., Kawahara, J., Miyaoka, Y., Lim, H., and Koizumi, M. (2005). "Priority Information Used for the Processing of Japanese Sentences: Thematic Roles, Case Particles or Grammatical Functions?" Journal of Psycholinguistic Research, 34 (3), pp. 281-332.

Yamashita, H. and Chang, F. (2001). "LLong Before Short" Preference in the Production of a Head-final Language." Cognition, 81 (2), pp. B45-B55.

Yoshinaga, N. and Kitsuregawa, M. (2014). "A Self-adaptive Classifier for Efficient Text-stream Processing." In Proceedings of the 24th International Conference on Computational Linguistics, pp. 1091-1102.

## 略歴

笹野遼平：2009 年東京大学大学院情報理工学系研究科博士課程修了. 京都大学特定研究員, 東京工業大学助教を経て, 2017 年より名古屋大学准教授. 博士 (情報理工学). 自然言語処理, 特に照応解析, 述語項構造解析に関する研究に従事. 言語処理学会, 情報処理学会, 人工知能学会, ACL 各会員.
奥村学：1989 年東京工業大学大学院理工学研究科博士課程修了. 同年, 東京工業大学助手. 1992 年北陸先端科学技術大学院大学助教授, 2000 年東京工業大学助教授, 2009 年同教授, 現在に至る. 工学博士. 自然言語処理, 知的情報提示技術, 語学学習支援, テキスト評価分析, テキストマイニングに関する研究に従事. 情報処理学会, 電子情報通信学会, 人工知能学会, AAAI,言語処理学会, ACL, 認知科学会, 計量国語学会各会員.

(2017 年 6 月 7 日受付)

(2017 年 8 月 30 日再受付)

(2017 年 10 月 4 日採録)


# nwjc2vec: 国語研日本語ウェブコーパスから構築した 単語の分散表現データ

新納 浩幸 $\dagger$ ・浅原 正幸 $\dagger \dagger \cdot$ 古宮嘉那子 $\dagger$ ・佐々木 稔 $\dagger$
}

我々は国語研日本語ウェブコーパスと word2vec を用いて単語の分散表現を構築し， その分散表現のデータを nwjc2vec と名付けて公開している. 本稿では nwjc2vec を 紹介し, nwjc2vec の品質を評価するために行った 2 種類の評価実験の結果を報告す る. 第一の評価実験では, 単語間類似度の評価として, 単語類似度データセットを利用して人間の主観評価とのスピアマン順位相関係数を算出する. 第二の評価実験で は, タスクに基づく評価として, nwjc2vec を用いて語義授昧性解消及び回帰型ニュー ラルネットワークによる言語モデルの構築を行う．どちらの評価実験においても，新聞記事 7 年分の記事データから構築した分散表現を用いた場合の結果と比較する ことで, $n w j c 2 v e c$ が高品質であることを示す.

キーワード：分散表現，国語研日本語ウェブコーパス, word2vec
## nwjc2vec: Word Embedding Data Constructed from NINJAL Web Japanese Corpus

\author{
Hiroyuki Shinnou $^{\dagger}$, Masayuki Asahara $^{\dagger \dagger}$, Kanako $^{\dagger}$ Komiya $^{\dagger}$ and Minoru Sasaki ${ }^{\dagger}$
}

We constructed word embedding data (named as 'nwjc2vec') using the NINJAL Web Japanese Corpus and word2vec software, and released it publicly. In this report, $n w j c 2 v e c$ is introduced, and the result of two types of experiments that were conducted to evaluate the quality of nwjc2vec is shown. In the first experiment, the evaluation based on word similarity is considered. Using a word similarity dataset, we calculate Spearman's rank correlation coefficient. In the second experiment, the evaluation based on task is considered. As the task, we consider word sense disambiguation (WSD) and language model construction using Recurrent Neural Network (RNN). The results obtained using the nwjc2vec were compared with the results obtained using word embedding constructed from the article data of newspaper for seven years. The nwjc2vec is shown to be high quality.

Key Words: Word Embedding, NINJAL Web Japanese Corpus, word2vec

## 1 はじめに

一般に, 自然言語処理システムでは単語を何らかの数值べクトルとして表現する必要がある.単純にベクトル化する方法としては one-hot 表現がある。これは単語の種類数が $N$ の場合, $N$次元ベクトルを用意し，単語 $w$ が $i$ 番目の種類の単語であれば， $N$ 次元ベクトルの $i$ 番目だけを 1 に，他は 0 にして $w$ をべクトル化する方法である. one-hot 表現によるべクトル化は単にベクトル化しただけであり，べクトル間の関係はその単語間のなんらかの関係を反映しているわけではない，処理の意味を考えれば，単語のべクトルはその単語の意味を表し， ベクトル間の関係は，単語の意味の関係を反映したものになっていることが望ましい.このような背景下で, Mikolov は word2vec を発表し (Mikolov, Sutskever, Chen, Corrado, and Dean 2013b; Mikolov, Chen, Corrado, and Dean 2013a), 単語の意味を低次元密なべクトルとして表現する分散表現が大きな成功を収めた。その後, 自然言語処理の様々なタスクにおいて, 分散表現が導入され，既存のシステムを改善している。また同時に近年, 自然言語処理の分野でも深層学習の利用が活発だが，そこでは単語のべクトル化に分散表現が用いられる (岡崎 2016).つまり,現在, 自然言語処理システムにおける単語のベクトル化には分散表現を用いることが一般的な状況となっている.

分散表現は, 単語分割されたコーパス1があれば word $2 \mathrm{vec}^{2}$ や $\mathrm{GloVe}^{3}$ などの公開されているツールを用いて簡単に構築できる。また深層学習で利用する場合は, ネットワークの一部として分散表現を学習できる。このため分散表現のデータ自体の品質に関心が持たれることは少ない. ただし分散表現を利用したシステムでは，分散表現の品質がそのシステムの精度に大きな影響を与えている。また深層学習では, 学習時間や得られるモデルの品質の観点から, 分散表現を学習時に構築するよりも，既存の学習済みの分散表現を用いる方が望ましい.

このような観点から容易に利用できる高品質の分散表現データがあれば, 様々な自然言語処理システムの構築に有益であることは明らかである. 以上の潜在的な需要に応えるために我々は国語研日本語ウェブコーパス（以下，NWJC）(Asahara, Maekawa, Imada, Kato, and Konishi 2014)を利用して分散表現を構築し，それを nwjc2vec と名付けて公開している4．NWJC は約 258 億語からなるコーパスである。1 年分の新聞記事中のプレーンな文のデータが約 2,050 万語5であることを考えると, NWJC は 1,200 年分以上の新聞記事に相当し, 超大規模コーパスといえる。そのためそのコーパスから構築された nwjc2vec が高品質であることが期待できる.

本稿では nwjc2 vec を紹介するとともに, nwjc2vec の品質を評価するために行った二種類の評価実験の結果を報告する，第一の評価実験では，単語間類似度の評価として，単語類似度デー夕セットを利用して人間の主観評価とのスピアマン順位相関係数を算出する。第二の評価実験では，タスクに基づく評価として，nwjc2vec を用いて語義曖昧性解消及び回帰型ニューラルネットワーク（Recurrent Neural Network, 以下 RNN）による言語モデルの構築を行う。なおここでの言語モデルとは確率的言語モデルであり単語列に対する確率分布を意味する．構築した言語モデルはパープレキシティにより評価できるので，その評価値により構築の基になった分散表現データを評価する。どちらの評価実験においても，新聞記事 7 年分の記事データから構築した分散表現を用いた場合の結果と比較することで, nwjc2vec が高品質であることを示す.

## 2 nwjc2vec の構築

## $2.1 \quad$ NWJC

NWJC はウェブを母集団とし， 100 億語規模を目標として構築した日本語コーパスである. ウェブアーカイブの構築で用いられる Heritrix-3.1.16クローラを運用することで, 1 年間, 3 か月おきに，固定した約 1 億 URLのウェブページを収集している．得られたウェブページは nwc-toolkit-0.0.2 $2^{7}$ を用いて，日本語文抽出と正規化を行う。コピーサイトの問題を緩和するために, 文単位の単一化（文の異なりを用いる）を行った。アノテーションはすべて自動解析を用い, 形態論情報, および係り受け情報を付与している。形態素解析には形態素解析器 MeCab$0.996^{8}$ と UniDic-2.1.2 $2^{9}$ を使用し, 係り受け解析には係り受け解析器 CaboCha-0.69 $9^{10}$ と UniDic 主辞規則11を使用した。

収集したデータを研究者に提供することが求められているが，著作権の問題があり，収集したデータをそのまま外部の研究者に提供することは難しい，そこで，文字列のみならず，形態論情報や係り受け構造に基づく検索系を構築し, 例文とともに元データが含まれる URLへのリンクを含めて提示するサービスを構築した (Asahara, Kawahara, Takei, Masuoka, Ohba, Torii, Morii, Tanaka, Maekawa, Kato, and Konishi 2016).

このサービスから利用可能なデータは， 2014 年 10-12 月期収集データ（NWJC-2014-4Qデー 夕）に基づく，基礎統計は表 1 のとおりである。
^{6} \mathrm{http}$ //webarchive.jira.com/wiki/display/Heritrix/Heritrix/

7 https://github.com/xen/nwc-toolkit

8 https://taku910.github.io/mecab/

9 http://unidic.ninjal.ac.jp/

10 https://taku910.github.io/cabocha/

11 CaboCha コンパイル時に ./configure --with-posset=UNIDIC と指定することで, 解析器の主辞規則を UniDic 品詞体系に適応することができる.
}

## 2.2 word2vec による分散表現の構築

表 1 に示した NWJC-2014-4Q データを用いて分散表現データを構築する。分散表現デー夕の構築には word2vec ${ }^{12}$ の $\mathrm{CBOW}$ モデルを用いた．表 2 に word2 vec 実行時の各種パラメータを示す 13.

分散表現の学習に利用するコーパスは単語分割されている必要がある。ここではこの単語として，書字形出現形のみを使った word と，形態論情報14を含めた $\operatorname{mrph} の 2$ 種類を用意し，それぞれの単語単位に対してモデルを構築した。

## 2.3 nwjc2vec

上記により構築できた 2 つのモデルのうち特に有用であるのは形態論情報を含めた分散表現である.このモデルの分散表現を nwjc2vec と名付けて公開している.

nwjc2vec は柔軟な利用が可能なように, 分散表現をテキストファイルの形式で保存している.

1 行は 1 形態素に相当し，以下の形式になっている.

形態素 e_1 e_2 $\cdot$ $\cdot$ e_200

表 1 基礎統計: NWJC-2014-4Qデー夕

表 2 word2vec の実行時のパラメータ

e_i がその形態素の分散表現の i 次元目の値である. 例えば，以下は「意味」に対応する分散表現である。

$
\begin{aligned}
& \text { 意味, 名詞, 普通名詞, サ変可能,*,*, }{ }^{*}, \text { イミ, 意味, 意味, イミ, 意味, イミ, 漢, }{ }^{*},{ }^{*},{ }^{*} \text {, } \\
& -10.491043-2.121982-3.084628 \cdots 4.0247053 .57007212 .781445
\end{aligned}
$

つまり“意味, 名詞, 普通名詞, サ変可能, ${ }^{*},{ }^{*}, *$, イミ, 意味, 意味, イミ, 意味, イミ, 漢, ${ }^{*},{ }^{*},{ }^{*}$, , が 1 形態素である。またべクトル値は word2vec の出力値をそのまま書き出しており，大きさ15を 1 とする正規化はされていない.

nwjc2vec 全体としては $1,738,455$ 形態素からなる ${ }^{16}$ 。書字形出現形は $1,541,651$ 種類存在するので，書字形出現形が同じでも形態論情報が異なるものが多数存在する. 従来の単語分散表現は書字形出現形を形態素としたものが一般的であり, その場合, 品詞の違いによる別単語を同一の分散表現にしているという明らかな欠点がある. nwjc2vec ではその欠点を回避できている.

大分類の品詞別の形態素数を頻度順に表 3 にまとめる. etc は半角英単語などの未知語であり，語彙素の付与に失敗しているものである.

表 3 品詞別の形態素数

次に表 3 の etc 以外の分散表現のベクトルの大きさを調べた。平均は 9.261, 標準偏差は 9.641，中央値は 5.105 であった。またべクトルの大きさを 0.1 刻みに丸め, その頻度分布を調べた。結果を図 1 に示す.

参考として， ベクトルの大きさとその単語の関係を調べた. ベクトルの大きさの小数点以下を切り捨て，大きさ $3,15,75^{17}$ の単語をランダムに 10 個取り出した. その結果を表 4 に示す.ここから明確な特徴を示すことはできないが, 頻度が小さな単語はそのべクトルも小さく,頻度が大きな単語はそのべクトルも大きいという傾向があると考えられる。

図 1 分散表現ベクトルの大きさの頻度分布

表 4 ベクトルの大きさと単語の関係

 \\

17 この 3 つの数値は, ベクトルの大きさは 3 が最頻出であったことから選んだ.

## 3 評価実験

一般に分散表現の評価法には単語間類似度の観点からのものと, 分散表現を用いたタスクの精度の観点からのものが存在する。単語間類似度から nwjc2vec を評価したものとして, 分類語彙表との対応をみた評価が報告されている (浅原, 岡 2017). そこでは主観的な評価ではあるが, nwjc2vec が高品質であることが示されている. ここでは更に定量的な評価を行うために,単語類似度データセットを利用する。またタスクの精度の観点としては, 語義曖昧性解消と言語モデル構築という 2 つのタスクから評価を行う。どちらの評価実験においても，新聞記事 7 年分の記事データから構築した分散表現を用いた場合の結果と比較することで, nwjc2vec が高品質であることを示す.

## 3.1 比較のための分散表現 mai2vec の構築

$n w j c 2 v e c$ との比較のために, 新聞記事 7 年分から分散表現を構築する。用いたコーパスは毎日新聞' 93 年度版から '99 年度版の 7 年分の記事であり, そこから見出しや表内の文字列等を取り除き, 文として認められるものだけを取り出した. 取り出した文は $6,791,403$ 文であった. これを MeCab-0.996 と UniDic-2.1.2を用いて分かち書きし, これを word2vec にかけることで分散表現を構築した。この分散表現デー夕をここでは mai2vec と名付ける． word2 vec 実行時の各種パラメータは nwjc2vec を構築したもの（表 2）と合わせた. 最終的に得られた mai2vec の形態素数は 132,509 であった.

## 3.2 単語間類似度による評価

分散表現を単語間類似度の観点から評価する方法として, 単語類似度データセットを利用する方法がある。単語類似度データセットは用意された単語ぺアに対して, 複数の人間が主観的にその類似度を付けたものである。複数人の類似度の平均を，その単語ぺアの類似度とみなす。

単語類似度データセット中の単語ペアの類似度を, 分散表現データを用いて算出する。デー タセットに記されている類似度が高い単語ぺアに対しては, 分散表現データも高い類似度を算出し, 低い単語ぺアに対しては分散表現データも低い類似度を算出するというように, デー夕セット内に記された類似度と分散表現が算出する類似度に相関があれば，その分散表現デー夕の単語間類似度が概ね正しいと考えられる。この相関の算出には一般にスピアマン順位相関係数が用いられる。

ここでは首都大学東京の小町研究室が以下で公開している単語類似度データセットを利用する.このデータセットは形容詞, 副詞, 名詞及び動詞の 4 つの単語類似度データセットからなる. 10 人のアノテータにより各単語ぺアに対して 11 段階（0 から 10）の類似度が付与されている.
表 5 単語類似度データセット中の利用した単語ぺア数

表 6 単語間類似度の実験結果

https://github.com/tmu-nlp/JapaneseWordSimilarityDataset

このデータセット中の単語ペアのうち mai2vec と nwjc2vec の両方に登録されている単語ぺアだを評価に利用した. 利用した単語ペア数を表 5 に示す.

上記の単語ペアに対して mai2vec あるいは nwjc2vec から類似度を求め ${ }^{18}$, 形容詞, 副詞, 名詞及び動詞の各データセットに対して，スピアマン順位相関係数を算出した. 結果を表 6 に示す.

全てのデータセットにおいて nwjc2vec は mai2vec よりも評価値が高く, 単語間類似度の観点では mai2vec よりも品質が高いと言える.

## 3.3 タスクに基づく評価

## 3.3.1語義曖昧性解消タスク

分散表現を用いて, 教師あり学習による語義曖昧性解消を行う。語義曖昧性解消に分散表現を用いる手法には Sugawara が提案した手法 (Sugawara, Takamura, Sasano, and Okumura 2015) を用いる. Sugawara の手法は語義曖昧性解消に対して通常設定する素性群（基本素性と呼ぶ） の他に対象単語の前後 2 単語の分散表現を素性として加えるというものである.

例えば以下の文を考える。語義曖昧性解消の対象単語は「意味」であり，単語区切りを“/” で示す。

江戸/時代/の/庶民/たち/が/そこ/に/新た/な/意味/の/付与/を/おこなっ/て/き/た/。

標準的な教師あり学習の手法では「意味」の前後の文脈情報（例えば前後に現れる自立語や直前の品詞など）を素性で表す。これが基本素性となる。この基本素性をべクトル表現したものを $V$ とする. Sugawara 手法は対象単語の前後 2 単語, つまり「新た」「な」「の」「付与」の 4 単語の分散表現 $V_{\text {新た, }} V_{\text {な, }} V_{\text {の, }}, V_{\text {付与 }} V$ に結合させ, それを新たな上記文の素性ベクトル

表 7 平均正解率 $(\%)$

として教師あり学習を行うというものである.

ここでの実験では分散表現の差異を明確にするために基本素性を利用せずに，前後 2 単語の

する。各分散表現を求める際に nwjc2vec あるいは mai2vec を利用する.

ただし nwjc2vec の形態素には形態論情報が付与されているが, ここでは大分類の品詞だけを用いることにした. 例えば上記文では, 形態素解析時に各単語に大分類の品詞名を付与し, 以下のような形に直すことで分散表現を求めている.

江戸-名詞/時代-名詞/の-助詞/庶民-名詞/たち-接尾辞/が-助詞/そこ-代名詞/に一助詞/新た-形状詞/な-助動詞/意味-名詞/の-助詞/付与-名詞/を一助詞/おこなっ-動詞/てー助詞/ き-動詞/た-助動詞/。-補助記号

語義曖昧性解消のデータセットとしては SemEval-2 の日本語辞書タスク (Okumura, Shirai, Komiya, and Yokono 2011)のデータセットを用いる. このタスクでは 50 単語の対象単語が設定され，各対象単語に対して，50 用例の訓練データと 50 用例のテストデータが与えられている. 各対象単語に対して訓練データで分類器を学習し, その単語のテストデータにより分類器の正解率を測る。そして 50 単語に対する正解率の平均によって評価を行う.

実験結果を表 7 に示す。表中の baseline は SemEval-2 でのベースラインである。表中の mai2vec は分散表現 mai2vec から素性ベクトルを作る手法である。表中の nwjc2vec は分散表現 nwjc2vec から素性べクトルを作る手法である. どちらの場合も分散表現のベクトルは大きさを 1 に正規化している．また大きさを 1 に正規化せずに， word2vec から求まった値を直接使った場合を mai2vec-0 と nwjc2vec-0 により示した. ベースラインも含め, いずれのシステムも学習アルゴリズムとしては線形の $\mathrm{SVM}^{19}$ を用いた.

nwjc2vec が最も高い正解率を出しており，nwjc2vec が高品質であると考えられる．また分散表現のべクトルの大きさは 1 に正規化して利用した方がよいことも確認できる.

## 3.3.2RNN による言語モデル構築

RNN は時系列デー夕を処理する深層学習のモデルである，様々な応用があるが，最も典型的な応用は言語モデルの構築である。時刻 $t$ の入力データを, 文 $s$ 内の $t$ 番目の単語 $w_{t}$ とし,

その教師データを次に現れる単語 $w_{t+1}$ とすることで言語モデルが学習できる.

ここでは RNN の拡張版である Long Short-Term Memory (以下 LSTM) (Gers, Schmidhuber, and Cummins 2000) を用いる。言語モデルを学習する LSTM の時刻 $t$ 時の入出力を表したネットワークを図 2 に示す. 時刻 $t$ で単語 $w_{t}$ が入力され，それを $w_{t}$ の分散表現のべクトルに変換し，その分散表現のベクトルをLSTM ブロックに入力する．LSTM ブロックでは次の時刻 $t+1$ への LSTM ブロックへ $w_{0}$ から $w_{t}$ の単語列の情報を圧縮したべクトル $h_{t}$ と記憶セル $c_{t}$ を渡す. 同時に $y_{t}$ を出力し, それを線形作用素 $W$ で one-hot 形式のベクトルに直すことで次に現れる単語を予測する。学習時には $W y_{t}$ と $w_{t+1}$ との誤差からネットワークの重みを学習する。

上記ネットワークでは， $w_{t}$ をその分散表現のべクトルに変換するが，その変換，つまり $w_{t}$ の分散表現自体を LSTM 内で学習している。その際, 学習対象の分散表現の初期値は通常ランダムな値を設定する。しかしこの初期值に既存の分散表現のデータを利用することも可能である. あるいは, 分散表現を学習対象から外し, 分散表現への変換は既存の分散表現のデータを利用する形でも良い.

ここでの実験では分散表現の品質の比較を目的としているために, 分散表現を学習対象から外し, 分散表現への変換は評価対象の分散表現デー夕を利用する形で実験を行う。つまり分散表現への変換に mai2vec を用いて構築した言語モデル (mai2vec-lm), 及び分散表現への変換に nwjc2vec を用いて構築した言語モデル (nwjc2vec-lm) を比較することで nwjc2vec を評価する. また参考として分散表現を LSTM 内で学習して構築した言語モデル (base-lm) も評価する。言

図 $2 \operatorname{LSTM}$ の時刻 $t$ 時の入出力
語モデルの評価にはパープレキシティを用いる.

言語モデルの学習用のコーパスとしては現代日本語書き言葉均衡コーパス (Maekawa, Yamazaki, Ogiso, Maruyama, Ogura, Kashino, Koiso, Yamaguchi, Tanaka, and Den 2014)の Yahoo! ブログと Yahoo! 知恵袋から取り出した 7,330 文のうち 7,226 文を学習用コーパス, 104 文を評価用コーパスとした. 1 epoch $^{20}$ 毎に構築した言語モデルのパープレキシティを表 8 と図 3 に示す.

表 8 エポック毎のパープレキシティ

## perplexity

250

50

図 3 分散表現の違いによる言語モデルのパープレキシティ

mai2vec-lm と nwjc2vec-lm は base-lm よりもパープレキシティが低く, 言語モデルの学習には分散表現への変換を同時に学習するよりも，既存の分散表現を利用した方がよいと言える. また nwjc2vec-lm は mai2vec-lm よりもパープレキシティが低く, nwjc2vec の方が mai2vec よりも品質が高いと言える.

## 4 考察

単語間類似度に基づく評価実験では, mai2vec も nwjc2vec もスピアマン順位相関係数の値自体は低かった. ただし nwjc2vec は mai2vec よりも明らかに評価値が高く, 少なくとも mai2vec よりも品質が高いと言える. 分類語彙表との対応をみた実験 (浅原, 岡 2017) からも単語間類似度の精度は良く，しかもタスクに基づく評価実験から mai2vec もかなり品質が高いことがうかがえるため, nwjc2vec は単語間類似度の観点からは高品質であると考える.

タスクに基づく評価実験では, 語義曖昧性解消でも言語モデルの構築でも nwjc2vec は mai2vec よりも良い値を出したが，その差はわずかであった。ただし品質の差は数値の差以上のものがあると考えられる。

まず語義曖昧性解消では SemEval-2 の日本語辞書タスクのデータを用いたが，このタスクは baseline がかなり高く，通常のリソースを使う限りでは baseline を超えることは困難である．実際に SemEval-2 の参加システムで baseline を超える正解率を出したシステムはなかった. また新納はこのタスクにおいて様々なシソーラスの情報を試したが, baseline を $0.2 \%$ 以上改善できるものはなかった (新納, 佐々木, 古宮 2015). そこではシソーラスの粒度を混合して利用することで $77.28 \%$ まで改善しているが, nwjc2vec はこの值よりも $0.43 \%$ 高い. Yamaki は wikipedia から構築した分散表現と独自の手法を利用して， $77.10 \%$ の正解率を出したが (Yamaki, Shinnou， Komiya, and Sasaki 2016), この值は mai2vec と同程度である. mai2vec も nwjc2vec も baseline を超えているので, どちらの分散表現もかなり品質は高いといえるが, nwjc2vec は mai2vec よりも $0.64 \%$ 高い.この $0.64 \%$ の差はなかなか埋めることができないものである.

次に言語モデルを用いたここでの実験では，未知語の問題を避けていることを注記したい. ここで利用した学習用コーパスと評価用コーパスには mai2vec および nwjc2vec のどちらにも未知語が存在しないように, どちらかに未知語が存在する場合は, その文を予めコーパスから取り除いている。初期のコーパス (175,302 単語, 異なり単語数 15,082 単語) では mai2vec を用いた場合の未知語は 7,424 単語（異なり数 3,204 単語）存在したが, nwjc2vec を用いた場合の未知語は 404 単語（異なり数 324 単語）であり，大きな差がある。本実験において，学習用コー パスあるいは評価用コーパス内の分散表現データにおける未知語の出現が, 構築できる言語モデルにどの程度悪影響を与えるかは不明である。ただし明らかに未知語の出現により評価値は悪くなるはずであり，この点から nwjc2vec と mai2vec の品質の差は更にあると考えられる.
表 9 fine-tuning の効果

最後に nwjc2vec の fine-tuning について述べる。 あるモデルの学習を行う際に, 訓練データが少量しかないことは通常起こりえる。このとき別の訓練データから学習された既存のモデルが利用できれば, 手持ちの少量の訓練データからその既存のモデルを自分の用途に調整することができる。これを fine-tuning という。分散表現も fine-tuning が可能であるため, nwjc2vec の存在意義は更に高い.

この点を確認するため, 分散表現の学習プログラム21を作成し(新納 2016), その分散表現の初期値を nwjc2vec に設定し，学習用コーパスとしては mai2vec の基になったコーパスから 30 万文をランダムに取り出したものを用いて nwjc2vec の fine-tuning を行った. 得られた分散表現を用いて, 前章で行った LSTM による言語モデルの学習を再度行った. 学習用コーパスと評価用コーパスも前章のものと同じである。結果を表 9 と図 4 に示す. 各 epoch 後に学習できた言語モデルのパープレキシティは fine-tuning による分散表現を用いたものの方が優れており， fine-tuning の効果が確認できる.

## 5 おわりに

本稿では我々が構築, 公開している日本語単語の分散表現のデー夕 nwjc2vec を紹介した. $n w j c 2 v e c$ は超大規模コーパスである国語研日本語ウェブコーパスから word2vec を用いて構築した分散表現のデータである。ここでは nwjc2vec の品質を評価するため 2 種類の評価実験を行った．第一の評価実験では単語間類似度の評価として，単語類似度データセットを利用して人間の主観評価とのスピアマン順位相関係数を算出した。第二の評価実験では，タスクに基づく評価として, nwjc2vec を用いて語義曖昧性解消及び回帰型ニューラルネットワークによる言

perplexity

50

図 4 fine-tuning による言語モデルのパープレキシティ

語モデルの構築から nwjc2vec の評価を行った。二つの評価実験から nwjc2vec が高品質であることが示された. 今後は nwjc2vec の fine-tuning の可能性を調査したい.

## 謝 辞

本研究の一部は国語研コーパス開発センター「超大規模コーパス」プロジェクト (20112015）・コーパス開発センター共同研究プロジェクト「コーパスアノテーションの拡張・統合・自動化に関する基礎研究」(2016-2021) ・新領域創出型共同研究プロジェクト「all-words WSD システムの構築及び分類語彙表と岩波国語辞典の対応表作成への利用」(2016-2017) によるものです.

## 参考文献

Asahara, M., Kawahara, K., Takei, Y., Masuoka, H., Ohba, Y., Torii, Y., Morii, T., Tanaka, Y., Maekawa, K., Kato, S., and Konishi, H. (2016). '“BonTen'—Corpus Concordance System for 'NINJAL Web Japanese Corpus'." In Proceedings of COLING 2016, the 26th International

Conference on Computational Linguistics: System Demonstrations, pp. 25-29.

Asahara, M., Maekawa, K., Imada, M., Kato, S., and Konishi, H. (2014). "Archiving and Analysing Techniques of the Ultra-large-scale Web-based Corpus Project of NINJAL, Japan." Alexandria: The Journal of National and International Library and Information Issues, 25 (1-2), pp. 129-148.

浅原正幸，岡照晃 (2017). nwjc2vec:『国語研日本語ウェブコーパス』に基づく単語の分散表現データ. 言語処理学会第 23 回年次大会発表論文集, pp. 94-97.

Gers, F. A., Schmidhuber, J., and Cummins, F. (2000). "Learning to Forget: Continual Prediction with LSTM." Neural Computation, 12 (10), pp. 2451-2471.

Maekawa, K., Yamazaki, M., Ogiso, T., Maruyama, T., Ogura, H., Kashino, W., Koiso, H., Yamaguchi, M., Tanaka, M., and Den, Y. (2014). "Balanced Corpus of Contemporary Written Japanese." Language Resources and Evaluation, 48 (2), pp. 345-371.

Mikolov, T., Chen, K., Corrado, G., and Dean, J. (2013a). "Efficient Estimation of Word Representations in Vector Space." In ICLR Workshop Paper.

Mikolov, T., Sutskever, I., Chen, K., Corrado, G. S., and Dean, J. (2013b). "Distributed Representations of Words and Phrases and Their Compositionality." In Advances in Neural Information Processing Systems, pp. 3111-3119.

岡崎直観 (2016). 言語処理における分散表現学習のフロンティア（〈特集〉ニューラルネットワーク研究のフロンティア）. 人工知能 : 人工知能学会誌, $\mathbf{3 1}(2)$, pp. 189-201.

Okumura, M., Shirai, K., Komiya, K., and Yokono, H. (2011). "On SemEval-2010 Japanese WSD Task.” 自然言語処理, 18 (3), pp. 293-307.

新納浩幸 (2016). Chainer による実践深層学習. オーム社.

新納浩幸, 佐々木稔, 古宮嘉那子 (2015). 語義曖昧性解消におけるシソーラス利用の問題分析.言語処理学会第 21 回年次大会発表論文集, pp. 59-62.

Sugawara, H., Takamura, H., Sasano, R., and Okumura, M. (2015). "Context Representation with Word Embeddings for WSD." In PACLING-2015, pp. 149-155.

Yamaki, S., Shinnou, H., Komiya, K., and Sasaki, M. (2016). "Supervised Word Sense Disambiguation with Sentences Similarities from Context Word Embeddings." In PACLIC-30, pp. 115-121.

## 略歴

新納浩幸: 1985 年東京工業大学理学部情報科学科卒業. 1987 年同大学大学院理工学研究科情報科学専攻修士課程修了. 同年富士ゼロックス, 翌年松下電器を経て, 1993 年より茨城大学工学部. 現在, 茨城大学工学部情報工学科教
授. 博士 (工学). 機械学習や統計的手法による自然言語処理の研究に従事.言語処理学会, 情報処理学会, 人工知能学会各会員.

浅原正幸：1998 年京都大学総合人間学部卒. 2003 年奈良先端科学技術大学院大学情報科学研究科博士後期課程修了. 2004 年より同大学助教. 2012 年より国立国語研究所コーパス開発センター特任准教授.現在同准教授. 博士（工学)．自然言語処理・コーパス言語学の研究に従事．情報処理学会，言語処理学会, 言語学会, 日本語学会各会員.

古宮嘉那子 : 2005 年東京農工大学工学部情報コミュニケーション工学科卒. 2009 年同大大学院博士後期課程電子情報工学専攻修了. 博士（工学）。同年東京工業大学精密工学研究所研究員, 2010 年東京農工大学工学研究院特任助教, 2014 年茨城大学工学部情報工学科講師. 現在に至る. 自然言語処理の研究に従事. 情報処理学会, 人工知能学会, 言語処理学会各会員.

佐々木稔：1996 年徳島大学工学部知能情報工学科卒業. 2001 年同大学大学院博士後期課程修了。博士（工学）．2001 年 12 月茨城大学工学部情報工学科助手. 現在, 茨城大学工学部情報工学科講師. 機械学習や統計的手法による情報検索, 自然言語処理等に関する研究に従事. 言語処理学会, 情報処理学会各会員.

(2017 年 6 月 1 日受付)

(2017 年 8 月 4 日再受付)

(2017 年 9 月 5 日採録)