# 誤り例のクラスタリングによる 係り受け解析器のドメイン適応効果の分析

原 拓也 $\dagger$ ・松崎 拓也 ${ }^{\dagger \dagger,+\dagger \dagger}$ - 横野 光 ${ }^{\dagger \dagger \dagger \dagger}$ - 佐藤 理史 $\dagger$

本論文では, 日本語係り受け解析器に対する追加訓練の効果を複数のドメインにわ たって俯瞰的に調べた結果を報告する。この分析のために，適応先ドメインデータ を利用した追加訓練の前後それぞれの誤りを収集し, 解析器の内部状態から得られ る，密な実数値べクトルで表現された係り受け誤りの埋め込み表現に対してクラス タリングを行った。得られたクラスタに対する定量的・定性的分析を通じて，係り 受け誤りの種類や頻度を, 複数の適応先ドメインにわたって, 包括的に把握するこ とができた。 特に, 追加訓練の効果が強く見られたクラスタや, 効果が薄かったク ラスタについて，それらに属する誤りを観察することで，追加訓練に関するドメイ ンごとの特徴に関する仮説を立て，コーパス上の統計量によって検証するという分析の流れが効率化された。分析の結果から，追加訓練の主要な効果は, 類似した文型に対する正しい構文構造の分布がドメイン間で異なることを学習することである という示唆を得た。

キーワード：ドメイン適応，係り受け解析，クラスタ分析，埋め込み表現
## Analyzing the Effect of Domain Adaptation for Dependency Parsers by Clustering Parsing Errors

Takuya Hara ${ }^{\dagger}$, Takuya Matuzaki ${ }^{\dagger, \dagger \dagger \dagger}$, Hikaru Yokono ${ }^{\dagger \dagger \dagger}$ and Satoshi Sato ${ }^{\dagger}$

This paper reports on an analysis of the effect of additional training of Japanese dependency parsers across multiple domains from a bird's-eye view. Parsing errors were collected before and after additional training using target domain data. We conducted cluster analysis of the parsing errors represented as dense real vectors, which were obtained from the internal states of the parser. Through quantitative and qualitative analysis of the clusters, the types and numbers of the parsing errors across multiple target domains were investigated. Several hypotheses concerning the effect of additional training were developed on the basis of the cluster analysis and verified through statistical analysis of the corpus. The results suggest that the main effect of additional training was learning the difference in the distributions of the correct syntactic structures for similar word sequences in different domains.


Key Words: Domain Adaptation, Dependency Parsing, Cluster Analysis, Embedding

## 1 はじめに

機械学習に基づく言語処理システムは, 一般に, 訓練に用いたテキストドメインと, 実際に運用ないし評価を行うテキストドメインが異なる場合に精度が低下する。この，訓練時と運用・評価時のテキストドメインの異なりによる精度低下を防ぐという課題を， ドメイン適応問題と呼ぶ，以下では，訓練に用いるデータのテキストドメインを適応元ドメイン，運用ないし評価を行うデータのテキストドメインを適応先ドメインと呼ぶ.

ドメイン適応が必要になる理由は，端的にいえば，訓練データと評価データが同一分布からのサンプルであるという統計的機械学習の基本的な前提が破られていることにある．このため，最も基本的なドメイン適応手段は，適応先ドメインのアノテーション付きコーパスを訓練デー 夕に追加してモデルを訓練しなおすこと，すなわち，いわゆる追加訓練によって，訓練データと評価データの分布を近づけることである.

このように，追加訓練という明らかな解決法が存在するドメイン適応問題を, ことさら問題として取り上げるのには主に 2 つの理由がある。ひとつは工学的あるいは経済的な理由である.我々が言語処理技術を適用したいテキストドメインが多様であるのに対して, 既に存在するアノテーション付きデータのドメインは限られており，かつ，ターゲットとなるドメインごとに新たにアノテーションを行うことには大きなコストが必要となる．また，単純な追加訓練を超えるドメイン適応技法の中には，大量に存在する適応先ドメインの生テキストを活用することでアノテーションのコストを抑えることを狙うものもあるが，本稿で取り上げる適応先ドメインの一つである教科書テキストのように，そもそも，生テキストですら大量に存在する訳ではないドメインもある。このため, 既存のアノテーション付きデータに比べ相対的に少量しか存在しない適応先ドメインデータをどのように活用するかは，重要な技術課題となる。

ドメイン適応問題が重要である 2 つ目の理由は, 単一言語のデータには, 明らかにテキストドメインを超えた共通性が存在するという点にある。例えば，教科書テキストを解析したい場合でも，モデルを新聞テキストで訓練することには，当然ある程度の有効性がある．簡単にいえば，「どちらも日本語だから」そのようなことが可能になるわけであり，およそ全てのドメイン適応技術はこの前提に基づいているが，しかし我々は「日本語とは何か」ということの数理的・統計的な表現を知った上でこれを行っている訳では当然ない，逆に言えば，ドメイン適応課題とは，ある夕スクの精度向上という目的を通じた間接的な形であれ，「日本語とは何か・日本語テキストに共通するものは何か」の理解に近づくための一つの試みであるといえる.

以上の 2 つの理由のいずれからも，最も基本的なドメイン適応手段である追加訓練が， どのような例に対して有効で，どのような例に対してそうでないのかを知ることには大きな意義が

ある。それを知るための基本的な方法は，追加訓練によって改善された誤りとそうでないものを一つ一つ観察し分類してゆくことだが, これを通じて, 追加訓練によって全体として何が起こっているのかを把握することは必ずしも容易でない.

そこで本稿では, 追加訓練の効果を俯瞰的に観察・分析するための一手法を提示し, 日本語係り受け解析タスクにおける追加訓練を例として，その効果の分析を行った結果を報告する。本研究における分析手法は, 追加訓練前後の係り受け誤り例の収集・係り受け誤りの埋め込み埋め达みのクラスタリングの 3 つのステップに分けられる。係り受け誤りの埋め込みは, クラスタリングを行うための前処理のステップであり，ニューラルネットに基づく係り受け解析器の内部状態を用いて，係り受け誤りを密な実数ベクトルで表現する。解析器の内部状態を用いることで，データにもとづいて導出された，係り受け解析タスクにおいて重要な特徴を抽出した表現に基づくクラスタリングを行うことができ，いわば，「解析器の視点」からの追加訓練の効果の分析が行えると期待できる。次に，こうして得られた埋め込みをクラスタリングすることで追加訓練の効果を俯瞰的に観察・分析する。具体的には，クラスタリング結果に対していくつかの統計的・定量的分析を行い, 高次元の空間の点として表現された誤りの分布と, 追加訓練による誤りの解消・発生の様子を観察する。さらに，適応先ドメインごとに，追加訓練の効果が特徵的に表れているクラスタや, 効果が見られないクラスタに着目してその内容を観察することで，追加訓練の効果に関わるドメインごとの特徴を分析する。この際，一つ一つの誤り例だけでなく，まずクラスタとしてまとめて観察することで，追加訓練によって改善しやすい誤りや，ドメインごとに発生しやすい誤りを見出すことが容易になると考えられる。さらに，追加訓練の効果やドメイン間の差について, クラスタに含まれる誤りの観察をもとに仮説を立て，コーパス上の統計量にもとづきそれを検証することで，ドメイン適応の有効性に関わるテキストドメインの特徴を把握し，よりよい追加訓練手法のための基礎的な知見を得ることが期待できる。

本稿では，適応元ドメインとして新聞記事，適応先ドメインとして理科教科書および特許文書を用いて上記の分析を行った結果を報告する。追加訓練の効果が特に強く認められたクラス夕の誤りを詳細に分析した結果，「Xは $+V_{1}$ スル $+N$ は/が/を $+V_{2}$ スル」「 $X$ は $+V_{1}$ スルと $+V_{2}$ スル」(「V $V_{k}$ スル」は用言, $N$ は体言) など，どのドメインにも出現する文型に対して，正しい構造の分布がドメイン間で異なることが学習されたためであると分かった。追加訓練が効果を上げる理由としては，大きく分けて，（a）適応元ドメインでは稀な構文が新たに学習されること，および，（b）表層的には類似した文型に対する正しい構文構造（の分布）が，適応元ドメインと適応先ドメインで異なることが学習されることの 2 つが考えられる. 本研究の分析の結果からは，後者が追加訓練の主要な効果であることが示唆される.

なお, 本研究における分析手法は追加訓練と誤りの収集が可能な解析器であればニューラル解析器に限らず適用することができる。例えば, (原, 松崎, 佐藤 2018)ではSVM を用いた解
析器である CaboCha (工藤, 松本 2002) に対する追加訓練の影響を, ニューラル解析器から得られる埋め达み表現とクラスタリングを用いて分析している。ただ，本稿では誤り収集と埋め达み表現の作成は同じ解析器で行った。

以下，2 節で関連研究についてまとめ，3 節で分析手法について詳述する。 4 節で実験結果を述べ，5 節でまとめと今後の展望を述べる.

## 2 関連研究

ドメイン適応問題に対する研究は数多くあるが，それらは大きく分けると 2 つのアプローチに分けられる。一つ目のアプローチは効果的な学習法に関するものである。このアプローチは少量しかない適応先ドメインデータの情報をより強く反映し, 正しく解析を行うため, 一般的な機械学習のプロセスの一部を変更するものである。例えば Daumé III ら (Daumé III and Marcu 2006) は学習時の適応先ドメインデータの重みを適応元ドメインデータと変える方法を提案した. Daumé III (Daumé III 2007) は両方のドメインに共通の情報と固有の情報とを素性表現を使って工夫して学習する方法を提案した。 McClosky ら (McClosky, Charniak, and Johnson 2010) は複数の適応元ドメインの重みつき和によって適応先ドメインを表現する手法を提案した. Wang ら (Wang, Finch, Utiyama, and Sumita 2017) は適応先ドメインに類似した適応元ドメインデータだけをモデルの内部表現を用いて選択，訓練に用いる手法を提案した. Sato ら (Sato, Manabe, Noji, and Matsumoto 2017) は両方のドメイン共通の情報と固有の情報を敵対的学習を用いて分離し，訓練を行った。

二つ目のアプローチは効率的な適応先データの収集法に関するものである. アノテーションされた適応先データは少ないが，生の適応先デー夕は大量に利用できるという場合に利用できる手法で, 生の適応先データのうち最も精度上昇に寄与するデータを選択し，そのデータを訓練デー 夕に追加するというものである。この手法はアクティブラーニングと呼ばれ，この手法を用いても適応先ドメインのアノテーションコストを減少できると期待できる（例えば (Marcheggiani and Artieres 2014; Li, Zhang, Zhang, Liu, Chen, Wu, and Wang 2016) など).

また, 本研究はニューラルモデルの挙動について, 特に追加訓練の効果に焦点を当てて説明しようとする研究とも位置付けられるが, 複雑なニューラルモデルの挙動を様々な側面から理解しようとする試みは近年注目を集めている。例えば，Kohら (Koh and Liang 2017) は損失関数の微分を用いて特定の訓練例や特定の素性が出力に与える影響を調べた。 Tenney ら (Tenney, Das, and Pavlick 2019) は最終的な決定に対して Bidirectional Encoder Representations from Transformers (BERT) (Devlin, Chang, Lee, and Toutanova 2019)の各層がもたらす寄与と, 各層を追加することによる精度上昇量をもとに BERT の各層の振る舞いを調べた。

本研究では特に追加訓練の効果を理解することを目的として係り受け誤りの分類・分析を行

うが，より一般に，係り受け誤りの分類・分析を通した性能の改善に関しては先行研究が存在する，例えば，金山 (金山 2004) は，係り受け誤りについての調査から誤りの共通点を見出し，正解と誤りを区別する素性を追加することで誤りを減少させた。河原ら (河原，金山，颯々野 2015) は，係り受け誤りをいくつかのパターンに分類し，それぞれのパターンについての対処法を述べ，さらに現在の性能評価の問題点や後続のタスクへの影響についても議論した。これらの先行研究は主として特定のドメインにおける係り受け誤りの改善を目的としているが，本研究ではドメインごとの差から生じる誤りや，追加訓練による誤り傾向の変化の分析を目的とする点でこれらと異なる。また，先行研究では誤りを人手で分類しているが，本研究は解析器の内部状態を用いて自動的に分類している。これによって，人手での分類が困難なほど多数の係り受け誤りを俯瞰的に観察することが可能になる。さらに，人の目を通して把握した文型や言語現象の類似性ではなく，解析器の内部状態を基に誤りを自動分類することで，データからの学習の効果と結びつけやすい形で誤りが分類できると期待できる.

以上のように，ドメイン適応問題に関する研究やニューラルモデルの挙動について説明する研究，および誤り分析に関する研究は多く存在するが，ドメイン適応問題において追加訓練が解析結果にもたらす影響について, 単なる精度の向上ではなく, その内実を理解することを目的とした研究は少ない. 本研究は, これを目的として誤り傾向の変化を定性的・定量的に分析したものである.

## 3 分析手法

本節では分析手法について述べる。図 1 に分析の流れのブロック図を示す。以降ではそれぞれのブロックについて詳しく述べる。

図 1 分析の流れのブロック図

## 3.1 係り受け解析器

はじめに, 本研究で用いる係り受け解析器について述べる。これは図 1 の誤り収集・誤り埋め込みブロックで用いられる。本研究で用いるモデルは, 松野ら (松野, 能地, 松本 2018)のものをべースとしている。松野らのモデルとの相違点については本項の最後にまとめる.

本研究で用いる係り受け解析器を図 2 に示す.この解析器は大きく文節埋め込み層 (図下側) とスコア計算層（図上側）に分けられる。さらに文節埋め达み層は以下の 3 ステップに分けられる。

## 1. 形態素層

形態素の素性表現ベクトル列 $\boldsymbol{x}_{i}^{\text {word }}$ に対し Bi-directional Long-Short Term Memory (BiLSTM) を適用することで，各形態素を文脈を考慮した埋め込み表現 $\left(\overleftarrow{\boldsymbol{y}}_{i}^{\text {word }}, \overrightarrow{\boldsymbol{y}}_{i}^{\text {word }}\right)$ に変換する。

$
\left(\overleftarrow{\boldsymbol{y}}_{i}^{\text {word }}, \overrightarrow{\boldsymbol{y}}_{i}^{\text {word }}\right)=\operatorname{BiLSTM}^{\text {word }}\left(\boldsymbol{x}_{i}^{\text {word }}\right)
$

## 2. 差分層

$\overleftarrow{\boldsymbol{y}}^{\text {word }}=\left(\overleftarrow{\boldsymbol{y}}_{0}^{\text {word }}, \ldots, \overleftarrow{\boldsymbol{y}}_{M+1}^{\text {word }}\right), \overrightarrow{\boldsymbol{y}}^{\text {word }}=\left(\overrightarrow{\boldsymbol{y}}_{0}^{\text {word }}, \ldots, \overrightarrow{\boldsymbol{y}}_{M+1}^{\text {word }}\right)(M$ は形態素数 $)$ に対し, 文節に属する形態素の情報が入力される前の情報と全ての情報が入力された後の情報の差分を取ることで文節を表す表現 $\boldsymbol{x}^{\text {chunk }}=\left(\boldsymbol{x}_{1}^{\text {chunk }}, \ldots, \boldsymbol{x}_{C}^{\text {chunk }}\right) （ C$ は文節数）を求める. $t$ 番目の文節が $i$ 番目の形態素から $j$ 番目の形態素で構成されているとき， $x^{\text {chunk }}$ は以下のように計算される. ただし，甲はべクトルの結合を表す.

図 2 解析器の構成

$
\begin{aligned}
\overleftarrow{\boldsymbol{x}}_{t}^{\text {chunk }} & =\overleftarrow{\boldsymbol{y}}_{i}^{\text {word }}-\overleftarrow{\boldsymbol{y}}_{j+1}^{\text {word }} \\
\overrightarrow{\boldsymbol{x}}_{t}^{\text {chunk }} & =\overrightarrow{\boldsymbol{y}}_{j}^{\text {word }}-\overrightarrow{\boldsymbol{y}}_{i-1}^{\text {word }} \\
\boldsymbol{x}_{t}^{\text {chunk }} & =\overleftarrow{\boldsymbol{x}}_{t}^{\text {chunk }} \oplus \overrightarrow{\boldsymbol{x}}_{t}^{\text {chunk }}
\end{aligned}
$

## 3. 文節層

$\boldsymbol{x}^{\text {chunk }}$ BiLSTM に通すことで周辺の文脈も含んだ文節の情報を表す表現 $\boldsymbol{y}^{\text {chunk }}=\left(\boldsymbol{y}_{0}^{\text {chunk }}, \ldots, \boldsymbol{y}_{C+1}^{\text {chunk }}\right)$ （以降，文節埋め达み表現）にする.

$
\begin{aligned}
\left(\overleftarrow{\boldsymbol{y}}_{t}^{\text {chunk }}, \overrightarrow{\boldsymbol{y}}_{t}^{\text {chunk }}\right) & =\operatorname{BiLSTM}^{\text {chunk }}\left(\boldsymbol{x}_{t}^{\text {chunk }}\right) \\
\boldsymbol{y}_{t}^{\text {chunk }} & =\overleftarrow{\boldsymbol{y}}_{t}^{\text {chunk }} \oplus \overrightarrow{\boldsymbol{y}}_{t}^{\text {chunk }}
\end{aligned}
$

スコア計算層では $t$ 番目の文節と $u$ 番目の文節 $(t<u)$ について, それらの文節埋め达み表現 $\boldsymbol{y}_{t}^{\text {chunk }}, \boldsymbol{y}_{u}^{\text {chunk }}$ 多層パーセプトロンに入力することで， 2 文節間の係り受け関係スコアを計算する。 $t$ 番目の文節が $u$ 番目の文節に係る時の係り受け関係スコア $s_{t, u}$ は以下のように計算される。

$
\begin{aligned}
& s_{t, u}=\operatorname{MLP}\left(\boldsymbol{y}_{t}^{\text {chunk }} \oplus \boldsymbol{y}_{u}^{\text {chunk }} \oplus[\mathrm{I}(u-t=1), \mathrm{I}(u-t \leq 5)]\right) \\
& \mathrm{I}(x)= \begin{cases}1 & (x \text { is true }) \\
0 & (x \text { is false })\end{cases}
\end{aligned}
$

$\mathrm{I}(u-t=1)$ は文節間距離が 1 であるかという素性を, $\mathrm{I}(u-t \leq 5)$ は文節間距離が 5 以下であるかという素性を表す。文節間距離素性は係り受け解析において大きな役割を果たすため，精度を向上させる目的でこのタイミングで明示的に導入する。文節間距離素性の境界値の設定（1, 2 5, 6 以上）は CaboCha の実装に従ったものである。このスコア計算モデルと，遷移ベース係り受け解析アルゴリズムである内元ら (内元, 関根, 井佐原 1999)のアルゴリズムを用いて係り受け解析を行う. 内元らのアルゴリズムは, ある係り文節に対し受け文節となりうる全ての文節 1 について係り受け関係スコアを計算し, 最もスコアが高い文節を受け文節と決めるということを後ろの文節から順に繰り返すことで構文木を構築する。正しい係り受け文節ぺアを入力した時のスコアが他のぺアを入力した時のスコアより高くなるようにするため, 損失関数 loss を以下のように定義し, 訓練を行った.

$
\operatorname{loss}=-\sum_{u^{\prime} \in \mathcal{C}_{t}} \log \frac{\exp \left(s_{t, u}\right)}{\exp \left(s_{t, u}\right)+\exp \left(s_{t, u^{\prime}}\right)}
$

ただし,$t$ は係り文節， $u$ は正しい受け文節， $\mathcal{C}_{t}$ は受け文節の候補集合を表す.
^{1} 1$. 係り文節より後ろに存在すること, 2 . 非交差条件を満たすこと，の 2 つを満たす文節.
}
係り受け解析器の追加訓練を行う際は，適応元ドメインのデータで訓練したパラメータを初期値とし, 適応先ドメインのデータによる訓練を行った。本研究における分析では, 追加訓練前後の誤り傾向の変化を，文節埋め达みの空間内でどの領域に配置される誤りが減少あるいは増加したか，という観点から捉える。また, この観察を複数の適応先ドメインに渡って行う．各適応先ドメインでの追加訓練の前後で文節埋め込み自体が変化すると，そのような形で誤りの変化を観察することはできない。そのため，文節埋め込み層のパラメータは固定し，スコア計算層のパラメータのみ学習するようにした。

本研究で用いるモデルと松野らのモデルでは, 係り受け関係スコアの計算法および解析アルゴリズムが異なる。松野らは文節埋め达み表現に対し, 係り文節／受け文節専用の多層パーセプトロンを適用したあとでBiaffine 変換を用いることで，係り受け関係スコアを計算している. Biaffine 変換は最大で 2 つの要素の組み合わせ素性を用いた回帰を行えるが，隠れ層 1 層の多層パーセプトロンでも，隠れ層のユニット数が十分であれば実質的に同じように組み合わせ素性を用いて回帰を行うことができる (Cybenko 1989)，そのため，表現力は同等（以上）であると考えられる。そこで本研究では多層パーセプトロンを用いた図 2 の構成で解析を行った。また解析アルゴリズムとして松野らはグラフベース解析アルゴリズムを使っている. グラフベー ス解析アルゴリズムの典型例は，係り受けが非交差という条件の下で 2 文節間の係り受けスコアの和を最大化する構文木を求めるものである。このような手法では, 非交差制約によって, ある 2 つ文節間の係り受けスコアの変化が構文木全体の形状に影響する場合がある。このため, 係り受け関係スコアと構文木上で生じる誤りの関係が遷移べースの解析法ほど明確でない. そこで本研究では遷移ベースのアルゴリズムを用いる.

## 3.2 係り受け誤りの収集・埋め込み

この項では，図 1 の誤り収集・誤り埋め込みブロックについて述べる。本研究の目的は追加訓練の前後における係り受けの誤り方の変化の分析である。そのために，表 1 に示す 3 種類の係り受け誤りの例を収集する。

## a. 適応元ドメインにおける誤りの収集

適応元ドメインのデータを訓練データと評価データが $1 ： 1$ になるように分割し, 訓練デー タを用いてモデルを訓練する。得られたモデルを用いて評価データを解析した際の誤りを用い

表 1 係り受け誤りの分類

る。適応元ドメインはデータ量が多く，かつ，標準的な日本語をある程度代表するテキストドメインだと仮定しているため，この誤りをクラスタリングした結果を分析（3.3 項）における誤りタイプの基準として用いる.

## b. 追加訓練前の適応先ドメイン誤りの収集

追加訓練前の適応先ドメインの解析誤りとして, a で得られたモデルを用いて, 適応先ドメインのデータ全てを解析した際の誤りを用いる。

## c. 追加訓練後の適応先ドメイン誤りの収集

追加訓練後の適応先ドメインの解析誤りとして, a で得られたモデルを 4 分割交差検証の要領で追加訓練・評価する。つまり適応先ドメインのデータを 4 つに分割し, そのうちの 3 つを用いて追加訓練によりモデルを作成，残り 1 つのデータを解析する，というプロセスを，評価に用いるデータを順番に入れ替えながら 4 回行い，得られた誤りを用いる.

これらの誤りのうち， bを追加訓練前誤り，cを追加訓練後誤りと呼ぶ。なお，追加訓練後の解析器を用いて適応元ドメインのデータを解析した際の誤りは使用しない. その理由は, 本研究の対象が追加訓練前後における適応先ドメインの解析誤りの変化であり, 適応元ドメインの解析誤りの変化には興味がないためである.

上のようにして得られた係り受け誤りはそのままでは数値的な取り扱いが難しい。そのため,数値表現に変換する。係り受け誤りには係り文節 $b_{1}$, 本来 $b_{1}$ が係るべき正しい受け文節 $b_{2}$, 解析器が誤って出力した受け文節 $b_{2}^{\prime}$ という 3 つの主たる要素がある. 本研究では係り受け誤り埋め込み表現を $b_{1}, b_{2}, b_{2}^{\prime}$ それぞれの文節の文節埋め込み表現（3.1 項）と距離素性を結合したものと定義する。距離素性は係り文節が文の先頭から $a$ 番目に，正しい受け文節が $b$ 番目に，誤って選択した受け文節が $c$ 番目に存在するときの, $\mathrm{I}(b-a=1), \mathrm{I}(b-a \leq 5), \mathrm{I}(c-a=1), \mathrm{I}(c-a \leq 5)$ の値を結合させたべクトルである。係り受け誤り埋め达み表現はべクトルなので，数値的な取り扱いが容易になり，次項のクラスタリングを行えるようになる.

## 3.3 クラスタリング・定量的分析

この項では図 1 のクラスタリング・分析ブロックについて述べる。係り受け誤りは一つ一つ見ることである程度誤りの原因が推測できるものの, そのような分析のみでは全体としての傾向は掴みにくい．そこで俯瞰的に分析するためにクラスタリングを行う．クラスタリングアルゴリズムとしてはデータ件数の多さを考慮し, k-means 法を用いる. k-means 法では, デー夕のみならず初期値によっても結果が変化するため, 追加訓練前誤りと追加訓練後誤りを独立してクラスタリングしてしまうと，得られるクラスタ集合の間で一対一の対応関係が自然に見いだせるとは限らない. その場合, 追加訓練前後の比較が難しくなるため, それを防ぐために以下のようにクラスタリングを行う.

（1）適応元ドメイン誤り（表 1 のa）のみを用いて k-means 法でクラスタリングする.

（2）適応先ドメイン誤り（表 1 の b , c）のそれぞれの埋め込み表現を，手順 1 で得られたクラスタのうち，最もクラスタ重心が近いものに割り当てる.

以上の手順は，まず数の多い適応元ドメインにおける誤りを，クラスタリングを通じてグルー プ化することで誤りタイプを定め，次に追加訓練前後それぞれの適応先ドメイン誤りを，近い誤りタイプに分類していくことを意図している.

## 4 実験

3 節で述べた分析手法に基づき，追加訓練の効果を調べる実験を行った．本節ではその詳細と分析結果について述べる。以下， 4.1 項で利用したデータ， 4.2 項で係り受け誤りの収集結果について述べ， 4.3 項で係り受け誤りのクラスタリング結果に基づく定量的分析についてまとめ, 4.4 項で，いくつかのクラスタの観察を通じて，追加訓練におけるドメインごとの特徴を分析した結果について述べる。

## 4.1 利用データ

追加訓練の効果を調べるためのデータとして以下の 3 種類の係り受けアノテーション付きコーパスを用いた。
- 京都大学テキストコーパス (黑橋, 長尾 1997) (以下, 新聞記事)

1995 年 1 月 1 日から 17 日までの毎日新聞の記事にアノテーションを付与したもの.
- 東京書籍「新編新しい科学 (中学 1 年生, 中学 2 年生)」(以下, 理科教科書)

中学 1 年生向け, 中学 2 年生向けの理科の教科書にアノテーションを付与したもの.
- 特許文書

高分子化合物に関する特許の実施例の箇所にアノテーションを付与したもの.

これらのうち, 新聞記事を適応元ドメイン, 理科教科書および特許文書を適応先ドメインとして扱う。それぞれのコーパスの統計情報を表 2 に示す。表からわかるように，適応先ドメインの量は適応元ドメインよりも少量 (10\%未満) である。また新聞記事や理科教科書と比べると,特許文書の方が文が長いということがわかる.

表 2 適応元ドメイン・適応先ドメインの統計

## 4.2 係り受け誤りの収集結果

3.1 項で述べた解析器を, 以下のようにハイパーパラメータを設定して訓練した. 入力は形態素の品詞 $(4$ レべル ) ・活用形・活用タイプのそれぞれを 20 次元の埋め达み層に通したものと,形態素の基本形 2 を 200 次元の埋め込み層に通したものを結合した 320 次元のべクトルの系列とした。形態素層・文節層の BiLSTM は隠れ層が 1 層 300 次元のものを用いた。訓練アルゴリズムは学習係数 0.01 の AdaGradで, ミニバッチサイズは 32 文, 重み減衰係数は $10^{-5}$ とした.訓練中の勾配爆発を抑えるため，勾配のノルムは 5 に制限した。エポック数は最大 32 エポックだが, 各エポックの結果のうちで評価デー夕における損失が最も少ないものを最終結果とした.実装には Chainer (Tokui, Oono, Hido, and Clayton 2015)を用いた。なお，訓練および誤りの収集いずれにおいても，単語区切り・品詞・文節区切りは正解データのものを用いた.

追加訓練では 3.2 項で述べたように 4 分割交差検証の要領で訓練を行ったが, 理科教科書と特許文書では分割の方法を変えて訓練した，具体的には理科教科書（および新聞記事の訓練・評価デー夕）の分割は文単位で行い，特許文書は文書単位で行った。その理由は，同じ特許文書内では，物質の生成手順をパラメータを変えて繰り返す記述など，極めて類似した文が連続することが多く，それらが訓練データと評価デー夕に分かれると正しく汎化性能を評価できないと考えたためである.

追加訓練前後の解析器の精度および収集できた係り受け誤りの数を表 3 に示す ${ }^{3}$. 理科教科書・特許文書それぞれについて追加訓練の前後を比較すると, 文節単位精度が 3 ポイント以上向上していることから, 追加訓練には効果があることが確認できる。また, 追加訓練前の理科教科書の文節単位精度と比べて特許文書の文節単位精度は 2.5 ポイントほど低いことから, 特許文書の解析には新聞記事での訓練だけでは不足することが多いと考えられる。

## 4.3 係り受け誤りのクラスタリングと分析

前項で収集した係り受け誤りを 3.2 項で述べた手法で埋め込み表現に変換した。それらをク

表 3 解析器の精度および収集できた係り受け誤りの数



ラスタ数 30 として 3.3 項で述べた手法を用いてクラスタリングした. 係り受け誤りをクラスタリングしたものを主成分分析を用いて平面上にプロットした結果を図 3 から図 8 に示す 4 。以降では，得られたクラスタを用いて定量的分析を行っていく。

図 3 新聞記事の係り受け誤り埋め込み表現を平面にプロットした図

図 5 理科教科書（追加訓練前）の係り受け誤り埋め込み表現を平面にプロットした図

図 7 特許文書（追加訓練前）の係り受け誤り埋め込み表現を平面にプロットした図

図 4 図 3 のクラスタ集合を 3 つのまとまりに分割した図

図 6 理科教科書（追加訓練後）の係り受け誤り埋め达み表現を平面にプロットした図

図 8 特許文書 (追加訓練後) の係り受け誤り埋め込み表現を平面にプロットした図


## 4.3.1 クラスタ集合の傾向の分析

図 3 を観察すると，図 4 のようにいくつかのクラスタをまとめることで，大きく 3 つの誤りタイプに分割できそうである。以降では左のまとまり（赤）を L 群，中央のまとまり（緑）を C 群, 右のまとまり（青）を $\mathrm{R}$ 群と呼ぶ.このように 3 つに分割した群が係り受け誤りの特徴をどのように反映しているか調べるため，それぞれの群の係り受け誤りに対して，＜係り文節の最後の単語 ${ }^{5}$ の品詞, 正しい受け文節の最初の単語 6 の品詞, 誤って選択した受け文節の最初の単語の品詞>の 3 つ組を作成し，分布を調べた。その結果を図 9 に示す 7 . $\mathrm{R}$ 群は $\mathrm{L}$ 群, $\mathrm{C}$ 群と大

## 係 $/$ 正受 $/$ 誤受

図 9 図 4 のそれぞれのまとまりに属する各誤りを構成する 3 つの文節の品詞の組の分布


きく異なっており，正しい受け文節と誤った受け文節がともに名詞であるパターンが多かった. $\mathrm{L}$ 群と $\mathrm{C}$ 群については似た分布となっているが， L 群は 3 つ組のうち 2 つが動詞である誤りが $\mathrm{C}$ 群よりも相対的に多くなり, それ以外では $\mathrm{C}$ 群より少なくなっているという特徴があった.他にも係り受け関係に影響を与える要素である読点の有無と文節間距離を調べるため, 図 4 のそれぞれのまとまりに属する誤りに対し，係り文節／正しい受け文節／誤った受け文節が読点を含んでいるかどうかの 3 つ組の分布（図 10）および＜係り文節から正しい受け文節までの文節間距離，係り文節から誤った受け文節までの文節間距離>の2つ組の分布（図 11）を調べた. $\mathrm{R}$ 群は全ての文節に読点が無いパターンが相対的に多く, 距離が短い係り受け関係に偏っ

図 10 図 4 のそれぞれのまとまりに属する各誤りを構成する文節の読点の有無の分布

図 11 図 4 のそれぞれのまとまりに属する各誤りの係り文節〜正しい受け文節／係り文節〜誤った受け文節間距離の分布。ただし， $=1$ は距離が 1 であることを， $\leq 5$ は距離が $2-5$ であることを， $\geq 6$ は距離が 6 以上であることを表す.

ていた. $\mathrm{L}$ 群は $\mathrm{C}$ 群と比べると係り文節に読点があるパターンが相対的に多く, 距離が 6 以上の係り受け関係に偏っていた。

以上で調べた品詞，読点の有無，および文節間の距離は係り受け誤り埋め込みの分布と完全に対応しているわけではないものの，それらと係り受け誤りの空間内でのまとまりに関連性があったことから，埋め込み表現は係り受け誤りの構文的な特徴をある程度捉えていると考えられる。

## 4.3.2 正規化距離による分析

図 3 から図 8 を見ると，少なくとも第 1 ，第 2 主成分のなす平面上では，新聞記事誤りの分布から大きく離れた位置には適応先ドメイン誤りが存在しないことがわかる. 理科教科書と特許文書の誤りについて，新聞記事誤りの分布との違いをより詳しく見るため，誤りからそれが属するクラスタの重心までの正規化距離のヒストグラムを作成した。ここでいう誤り $e$ の正規化距離とは，誤り $e$ の所属するクラスタを $C, C$ の重心を $c, C$ に属する新聞記事誤りの集合を $N$ として以下のように計算される値である.

$
\frac{\|e-c\|}{\sqrt{\frac{\sum_{n \in N}|| n-c \|^{2}}{|N|}}}
$

すなわち誤りから最寄りのクラスタ重心までの距離を，クラスタを等方的正規分布からの標本と見たときの分散の平方根で正規化したものである。その結果を図 12 に示す.また，それぞれのドメインについての正規化距離の平均を表 4 に示す。この図や表から新聞記事誤りと比べて

図 12 新聞記事・理科教科書・特許文書のそれぞれの誤りについての正規化距離の分布
表 4 新聞記事・理科教科書・特許文書のそれぞれの正規化距離の平均

理科教科書誤りは重心に近い傾向が, 特許文書誤りは重心から遠い位置 $(\geq 1.2)$ にも存在する傾向があり，ドメインごとに特徴があることが確認できる。また追加訓練前後を比較すると，理科教科書誤りは訓練によってより重心に近い側に偏る傾向があり，特許文書誤りは訓練によってより重心から遠い側に偏る傾向があることがわかる。しかし, どちらの適応先ドメインでも， かつ, 追加訓練の前後いずれにおいても，誤りからクラスタ重心までの距離は新聞記事誤りに比べて極端に遠いものが多い訳ではないことが分かる。このことから，適応先ドメインにおける誤りは, 解析器の内部状態が新聞記事上では起こらなかったような状態 (いわば解析器にとって 「未知の内部状態」）になったために起こったわけではなく，新聞テキストと適応先ドメインのテキストは, 解析器内の中間表現としては類似しているが, 解析器が取るべき正しいアクションが異なっているために誤りが生じていることが示唆される。 よって, 新聞記事誤りを基準として適応先ドメイン誤りを分類することで，おおまかには構造的に類似した誤りのクラスタが得られると予想される。 さらに詳細には, 「解析器の視点」からは類似しているように見えるものの, 本来は新聞と適応先ドメインで異なる特徵をもつ誤りのグループが見いだせる場合があると予想される。実際に $§ 4.4 .3$ でそのような例を示す.

## 4.3.3適応先ドメイン比による分析

理科教科書・特許文書の各クラスタを定量的に分析するための指標として，適応先ドメイン誤り比を定義する。これはそれぞれのクラスタに対し式 (11) で定義される値で, この値が大きいほど適応先ドメインに固有の誤りタイプだと考えられる。適応元ドメイン誤りの数で割る理由は，どのドメインにも大量に存在する誤りタイプではなく，適応先ドメインに特徴的に多い誤りタイプを見るためには基準となるドメイン（適応元ドメイン）で正規化したほうが良いためである.

$
\text { 適応先ドメイン比 }=\frac{\# \text { 適応先ドメインから得られた誤り }}{\# \text { 適応元ドメインから得られた誤り }}
$

理科教科書・特許文書それぞれについての適応先ドメイン比を図 13 , 図 14 に示す。追加訓練前後の適応先ドメイン比を比べると，ほとんどすべてのドメインで追加訓練を行うことで減少し

図 13 理科教科書解析誤りの各クラスタにおける適応先ドメイン比

図 14 特許文書解析誤りの各クラスタにおける適応先ドメイン比

ていることがわかる。しかし減少量はクラスタごとに異なるので，改善しやすい係り受け誤りと改善しにくい係り受け誤りがあることも確認できる。また理科教科書と特許文書で適応先ドメイン比が高いクラスタが異なっていることからは, ドメインごとに誤りの分布に特徴があることが確認できる。

## 4.3.4追加訓練の前後における各クラスタに属する誤りの数の比較

最後に理科教科書, 特許文書の各クラスタについて追加訓練で変化しなかった／解消された ／新たに発生した誤りの数を表 5 に示す 8 . 新たに発生した誤りの数と変化しなかった誤りの数の比はどちらのドメインにおいてもほぼ $1: 2$ であるが，新たに発生した誤りの数と解消された誤りの数の比はドメインごとに異なっていることがわかる（理科教科書 $\rightarrow 1: 2.37$, 特許文書 $\rightarrow 1: 1.85)^{9}$. 表中で特に多くの誤りが解消されたクラスタ 13 に属する理科教科書誤りどうしは，互いの類似性が高く，頻出する構文だと予想される。これは一般に機械学習は似通っていて，かつ大量に存在する誤りをより積極的に解消する傾向があるためである．実際にそうであるかは $\S 4.4 .3$ で検討する。

表 5 追加訓練による各クラスタに属する誤りの数の変化

## 4.4 クラスタリング結果に基づくエラー分析

この項では前項で作成したクラスタのうち, クラスタ $5,10,13,24$ についてさらに詳しく分析を行う。これらのクラスタを選択した理由は，クラスタ 5 やクラスタ 13 は理科教科書において適応先ドメイン比が大きく減少するという特徴を，クラスタ 10 は理科教科書と特許文書のいずれにおいても適応先ドメイン比があまり減少しないという特徴を, クラスタ 24 はどちらのド

メインにおいても適応先ドメイン比が減少するという特徴を持っていたためである.

## 4.4.1クラスタ 5 (理科教科書で大きくエラーが減少)

クラスタ 5 について，その誤り例を以下に示す。たたし係：‥は係り文節を, 正受：‥は正しい受け文節を，誤受：‥はシステムが誤って選択した受け文節を表す。

新聞記事-5：

この/ため/ポストが/見つかるまでの/係：間、/研究生などと/して/

大学に/正受：残る/人が/誤受：少なくない。

理科教科書-5：

また,/震度の/係：分布も／震央を/中心に/した/同心円状に/誤受：なる/ことが/正受：多い。

特許文書-5：

表 1 / /表 3 から、/実施例/ 1 ～6の/係：熱可塑性樹脂組成物は、/

長期にわたって/優れた/耐加水分解性および/耐熱性を/正受：有する/ことが/誤受：分かった。

クラスタ 5 に属する誤りは，正しい受け文節と誤った受け文節がともに用言で，文中で先に出現する文節が連体修飾節であるものが多く見られた。この場合，係り文節の意味的に係る範囲が連体修飾節内で収まっているならば連体修飾節の末尾文節を受け文節とすべきだが，収まっていないならばより後ろの文節を受け文節とする必要がある。 クラスタ 5 に属する誤りの多くはその判定を誤った結果発生したものだと考えられる。例えば理科教科書では，「“/こと+助詞（が，は等）/(わかる｜多い｜ある｜できる)」という形の文が 2,460 文中 274 文と頻出する. この文型では文中で前方に出現するガ格文節が「こと」の直前の連体修飾節と文末文節のどちらに係るのか，一般には文脈や語彙の情報から判定する必要がある。一方, 理科教科書の文であるという前提があれば，「Xは/ㄱV スル/ことが/わかる」のように文末の用言によって正しい受け文節 (「わかる」)がほぼ決まるものもある。この「“/こと＋助詞/用言」という文型において判定を誤ったパターンは追加訓練前は 43 個であったが， 22 個解消し 5 個新たに発生することにより追加訓練後は 26 個になった. 表 5 からわかるように，理科教科書で追加訓練によって解消されたクラスタ 5 の誤りは計 123 個あり，上記の「“/こと+助詞/用言」という文型以外のものも含まれる。他の誤りも同様に，一般的には文脈や語彙の情報を必要とする連体修飾節と後続の用言の間での受け文節の選択において，被修飾体言（上記の文型における「こと」） と後続の用言の組合せなどを手掛かりに, ドメイン特有の傾向が学習されたものと考えられる. また，他の要因の可能性として受け文節の曖昧さの問題も挙げられる。例えば，クラスタ 5 に属する誤りの中には以下のようにアノテーションエラーあるいは本質的に判断が難しいと思われる例も存在した。
A.

これに対して，/光を/当てた/係：ときに/植物に/誤受：とりこまれる/気体も/正受：ある。
B.

その/係：ほかに/体外へ/誤受：排出される/物の/ひとつとして/尿が/正受：ある。

このような場合に, 理科教科書のアノテーションでは後方の用言が受け文節として選ばれる傾向が見受けられ，これが追加訓練の結果に影響を及ぼしている可能性もある.

## 4.4.2 クラスタ 10 (理科教科書・特許文書ともに誤りが減少しない)

クラスタ 10 について，その例を以下に示す.

新聞記事-10：

それに/より/貸手、/借り手および/係：天下り経営者や/正受：行政の/誤受：責任が/明確になり、/二度と/失敗しない/ための/数々の/教訓が/国民全体に/共有されるはずだ。

理科教科書-10：

ある/係：温度の/誤受： $1 \mathrm{~m}^{3}$ の/正受：空気に/ふくまれる/水蒸気の/質量が，/

その/温度での/飽和水蒸気量に対して/どれくらいの/割合かを/百分率で/表す。

特許文書-10：

上記の/粉体/100 m g/内径/係：10.00 mmの/正受：円形の/誤受：ダイスに/充填し、/ ダイス内部の/気圧を/減圧した/上で、/5 $\mathrm{t} / \mathrm{c} \mathrm{m}^{2}$ の/荷重を/かけ、/

圧着温度/140 Cで/ 1 分間/圧着した。

クラスタ 10 に属する誤りは，係り文節が体言に接続する句であり，正しい受け文節と誤った受け文節が「Aの B」のように両方とも体言句かつそれらが係り受け関係になっているという特徴を持つものが多かった。このタイプはさらに (a) 並列関係の接続先の判断誤りと (b) 連体の 「の」の接続先の判断誤りに分けられる。例えば，新聞記事-10は (a) の誤りで，「天下り経営者や」と「責任が」は語句の意味を考えなければ接続できるが，常識的には並列関係にならないと考えられる。理科教科書-10 は (b) の誤りで，「温度」と「 $1 \mathrm{~m}^{3}$ 」はどちらも空気の属性であり，いずれも「空気」を修飾しうるという知識があれば正しく判定できる。しかし特許文書-10 において「10.00 mm」は「円形」と「ダイス」どちらの属性としても考えられるので，文脈に依存する判定を行う必要もある。いずれのタイプの判断も意味的あるいは語彙レベルの知識を要し, 少量の追加訓練データからはそのような知識は得られなかったため, 誤りは大きくは改善しなかったと考えられる。

特許文書におけるクラスタ 10 の誤りが理科教科書より多かった理由は，この夕イプの構文の出現回数が多かったためだと推測される。この構文は一文に多くの内容を含めることができる
表 6 （係り $\rightarrow$ 体言 $\mathrm{vs}$ 体言）状態での判定の回数と全判定回数

一方，使いすぎると文の読みにくさにつながると考えられる．理科教科書では対象読者を考慮し「AのBの $\mathrm{C}\rfloor$ のような連体修飾の連続を控えているが，特許文書では一文で多くのことを表すために連体修飾句を多用したと考えられる。この仮説を検証するため，新聞記事・理科教科書・特許文書を正しく解析するときに，受け文節が体言句 10 かつ受け文節候補の中に体言句が 2 つ以上存在するという状況（係り $\rightarrow$ 体言 vs 体言）の回数をカウントした. その結果を表 6 に示す.この結果から，特許文書では複数の体言句の中から正しい受け文節を選択しなければならない場合が多く, その結果誤りも増えたと考えられる。

## 4.4.3 クラスタ 13 (理科教科書で大きくエラーが減少)

## クラスタ 13 について，その例を以下に示す。

新聞記事-13：

立証負担が/軽く、/証拠も/そろえやすい/係：ことから/東京地検は/

「製造の/企て」に/正受：絞り达んだと/誤受：聞く。

理科教科書- 13 :

ドルトンは，/19世紀の/係：初めごろ,/物質は/それ以上/分割する/ことの/できない/

小さな/粒子で/誤受：できていると/正受：考えた。

クラスタ 13 に属する誤りは正しい受け文節と誤った受け文節の一方が引用の助詞を含む「〜 と」という形の文節で，他方がそれに後続する用言である場合が多かった．評価デー夕におけるこのパターンの出現数を，正しい受け文節が (a)引用の「と」を含む文節であるか， (b) 用言文節かに分類しつつ集計した。その結果を表 7 に示す。新聞記事では正しい受け文節が引用の 「と」を含む文節である回数が用言文節である回数の 2 倍弱であるが, 理科教科書では 8 割以上の場合に正しい受け文節が用言文節となっている。これは, 理科教科書には用語の定義を行う「Xを/Xは $+\mathrm{Y}$ と+いう」などの形の文が多く含まれるためであり，「Xを/Xは」の受け文節が用言文節に大きく偏っていることを追加訓練で学習した結果, 図 13 のように係り受け誤りが大きく減少したと考えられる。また特許文書においてはそもそもこの文型の出現数が少な


かったことが, 図 14 のクラスタ 13 の適応先ドメイン比が小さい理由だということがわかる.

## 4.4.4 クラスタ 24 (理科教科書, 特許文書ともにエラーが減少)

新聞記事-24：

ところが/阪神大震災では/一番/重要な/情報収集が/係：遅れ、/自衛隊の/初動問題に/

誤受：代表されるように/首相官邸だけでなく/政府全体の/対応が/後手に/正受：回った。

理科教科書-24：

炭酸水素ナトリウムを/加熱すると, / 3 種類の/物質に/係：分かれ, /

酸化銀を/誤受：加熱すると, $/ 2$ 種類の/物質に/正受：分かれた。

特許文書-24：

次いで、/圧力を/常圧から/13.3 k P aに/係：し、/加熱槽温度を/ $190{ }^{\circ} \mathrm{C}$ まで/ 1 時間で/

正受：上昇させながら、/発生する/フェノールを/反応容器外へ/誤受：抜き出した。

クラスタ 24 に属する誤りは係り文節・正しい受け文節・誤った受け文節のすべてが節の末尾の用言文節であるというパターンが多かった．3つの節が並んでいるとき，係り受け誤りの構造には図 15 の (a), (b) の 2 種類が存在する。(a)の構造は本来は単純に並列された構造を出力すべきだが，階層的な構造を出力したことを表し，(b)の構造は先頭の節が後ろの 2 の節の両方と意味的に関係を持つため階層的な構造を出力すべきだが，単純に並列された構造を出力し

表 7 評価デー夕における「 $\cdots /$ 係り文節 $/ \cdots / \cdots$ と/用言」という文型を含む文の数（出現数）と正しい受け文節

(a):並列構造認識失敗

(b):階層構造認識失敗

図 153 つの節が並んでいるときの係り受け解析の誤り方
表 8 クラスタ 24 に属する係り受け誤りにおける誤り方の分布

たことを表す 11.

(a), (b)のような誤りを回避するには, 本来であれば節同士の関係性を認識する必要がある.節同士の関係を認識することは意味的な判断を要する比較的難しいタスクだと考えられるが，今回使用した理科教科書・特許文書のどちらも係り受け誤りが減少している。その理由はドメインごとの構文の出現分布の偏りにあると推測できる。そこで実際にクラスタ 24 に属する係り受け誤りについて誤り方で分類し，その出現数を調べた。その結果を表 8 に示す。ただし誤り方が「並列構造認識失敗」とは図 15 における (a)のタイプの誤り方を表し,「階層構造認識失敗」は (b)のタイプの誤り方を表す. 理科教科書・特許文書の共通点として，一方のパターンに偏っていた係り受け誤りが追加訓練を行うことで改善されているということが挙げられる。このことから，追加訓練の主な効果の一つは，このような誤り方の偏りを減らすことであると示唆される。ところで，理科教科書と特許文書では偏り方が反対になっている，追加訓練前において理科教科書は誤り方が「階層構造認識失敗」である誤り（例：理科教科書-24）が多い。その理由は，理科教科書は複数の関連したことを述べるために階層的な並列構造を取ることが多いが，階層的と認識できなかったことが多かったからだと考えられる。それとは対照的に追加訓練前において特許文書は誤り方が「並列構造認識失敗」である誤り（例：特許文書-24）が多い.その理由は, 特許文書は物質の生成手順など手続きを述べた文が多く, 単純に並列接続した構文が多いが，並列的と認識できなかったことが多かったからだと考えられる。

## 4.4.5共通点を見出すことができなかったクラスタ

クラスタ 2 に属する誤りの例を以下に示す.

新聞記事-2

F R Bは/「穏やかな/調整」と/しているが、/金融政策の/基調は、/一年以上/続いた/

予防的引き締めから/係：緩和へ/誤受：大きく/舵が/正受：切り替えられたといえよう。

理科教科書- 2

これまでに，/分解や/化合，/酸化や/還元などの/化学変化について/学習したが，/

化学変化の/なかには/加熱したり，/電流を/流したりしなくても，/

係：図1のように,/溶液を/誤受：混ぜ合わせる/ことで，/反応が/正受：起こる/ものも/ある。

特許文書-2

また、/40 1 lビーカーに/酸化チタン/( $\left.\mathrm{TiO}_{2}\right)$ と/酸化セリウム/ $\left(\mathrm{CeO}_{2}\right)$ と/

ジクロロメタン/20 m l/入れて、/

酸化チタンが/ポリブタジエンに対して/20 w t\%に/なると共に/

酸化セリウムを/係：ポリブタジエンに対して/誤受： $50 \mathrm{wt} \%$ 正受：なるように/調製した。

クラスタ 2 は理科教科書・特許文書の両方について適応先ドメイン比が減少しないという特徴を持っているが，このクラスタに属する誤りの共通点を見出すことはできなかった。 そもそも追加訓練が効果をもたらさないクラスタには少なくとも 2 種類あると考えられる.ひとつはクラスタ 10 の「Aの B C C」の構造のようなタイプで, 意味を考えないとどうしても正しくできない例が一定数残り, 追加訓練の効果が小さい場合である。もう一つはこのクラスタ 2 のように，おそらく，そもそも類似の例が少なく，様々な誤りが埋め达み上は近くなってしまっている場合である．前者は人間が見れば共通点を見出すことができるが，後者は人間が見ても共通点を見出すことができない，後者のように，低頻度かつ多種の誤りが混じっている場合には，本研究でのクラスタリングに基づく分析手法を通じて誤りの特徴を捉えることは難しいと考えられる。

## 5 おわりに

ドメイン適応問題は現実の様々な場面に出現するもので, 機械学習に基づく言語処理技術の実用において重要な課題である。ドメイン適応問題の解決法の一つに追加訓練があるが, 「なぜ」うまくいくのか, その理由を調べた研究は少なく明確には解明されていなかった. 本研究では日本語係り受け解析に焦点を当て, 追加訓練の影響の俯瞰的な調査を通して, ドメイン適応問題に対する知見を得るための分析を行った。本研究における分析手法の特徴は二つあり，一つは解析器の内部状態を用いることで「解析器の視点から」分析を行えること, もう一つはドメインの特徴を探す際に，クラスタリングを用いることで，詳細に調べるべき誤りの集合を発見しやすくなり，効率的に分析を行えることである.

本研究では，新聞記事を適応元ドメイン，理科教科書・特許文書を適応先ドメインとする実験を行った。まず，得られたクラスタに対し正規化距離や適応先ドメイン比などの指標を用いた定量的分析を行うことで，クラスタが係り受け誤りの構造をある程度反映していること， ド

メインごとに誤りが固有の分布を持つこと, およびクラスタによって追加訓練の効果に差があることなどがわかった。これらによって，クラスタに基づく分析が，適応先ドメインの異なりによる精度低下の理由の違いや, 分野適応の効果を誤りの構造に即して理解するための手段として妥当であることの前提が確認できた。

次に，いくつかのクラスタについてそのクラスタを構成する誤りを観察したところ，クラス夕 10, 13 などのように誤りの共通点を見出すことができたクラスタがあった。そのようなクラスタについて仮説を立て検証を行うことで，追加訓練による適応先ドメイン比の変化などの特徵を説明することができた。さらに，本来は意味を考慮しなければ正しく解析できない文型でも，構造の出現頻度に偏りがあれば学習されること，および出現頻度に偏りが生まれる原因には，ドメインに頻出する定型句（クラスタ 13 :「〜を〜という」）や，ドメインごとの文体の異なり（クラスタ 24 ：並列的 vs 階層的）などがあることがわかった.

これらの分析結果から， ドメインが異なることによって引き起こされる精度低下は，解析器の視点では似た形に見える文型でも，ドメインによって正解となる構造の出現頻度の偏り方が異なることが大きな原因であることが示唆される。適応元ドメインデータをいくら増やしても，同じドメインである限り正解の構造の頻度の偏り方は変化しないため，上で述べたような適応先ドメインに特徴的な構文は同じように誤り続ける。したがって適応元ドメインのデータのみで訓練された解析器が，適応先ドメインに特徴的な構文を全て正しく解析することは難しいことがわかる，逆に言えば，適応先ドメインデータを用いた追加訓練の主要な効果は，このドメイン固有の頻度の偏り方を学習することにあると考えられる。その意味では適応先ドメインを何らかの手法で近似して訓練を行う手法は, 適応先ドメイン固有の構文の頻度を相対的に増やしている点で正しいアプローチと言える。しかし, 適応元ドメインと適応先ドメインで正しい構造の分布が大きく異なる文型に対しては，訓練例の重みを変えるなどの手法によるドメイン適応技術には限界があるものと考えられる。今回用いた手法は，ドメイン適応技術の限界となりうる，表層的には類似しているがドメインごとに固有な構造の分布を持つ文型を見つける手がかりを得るためにも有用だと考えられる。さらに，今後の展望として機械で自動的にクラス夕の特徴を発見できれば，クラスタを用いたアクティブラーニングへの応用が考えられる.

一方で, 本研究における分析手法を用いても, 類似例が少なく解析器自体がうまく埋め込むことができない誤りが集まったと思しきクラスタなど，共通点を見出すことができず分析を行えなかったクラスタも存在していた。頻度が小さい多種の誤りから共通点を見つけ出すことは本研究の今後の課題である。その他, 誤りではなく正しかった例も用いた調査・分析や, 得られた知見を基にしたドメイン適応技術の開発が今後の課題として挙げられる。

## 謝 辞

本研究では, JSPS 科研費 $16 \mathrm{H} 01819$ で開発された教科書アノテーションデータの提供を受けた.ここに記して謝意を表する。また本研究は JST，さきがけ，JPMJPR175Aの支援を受けたものであり, 特許文書に関する分析は名古屋大学と富士通研究所の共同研究の成果である.

## 参考文献

Cybenko, G. (1989). "Approximation by Superpositions of a Sigmoidal Function." Mathematics of Control, Signals and Systems, 2 (4), pp. 303-314.

Daumé III, H. (2007). "Frustratingly Easy Domain Adaptation." In Proceedings of the 45th Annual Meeting of the Association of Computational Linguistics, pp. 256-263. Association for Computational Linguistics.

Daumé III, H. and Marcu, D. (2006). "Domain Adaptation for Statistical Classifiers." Journal of Artificial Intelligence Research, 26, pp. 101-126.

Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. (2019). "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota. Association for Computational Linguistics.

原拓也，松崎拓也，佐藤理史 (2018). 係り受け誤り埋め込み表現のクラスタリングによるドメイン適応の効果の分析. 情報処理学会研究報告 2018-NL-238, pp. 1-8.

金山博 (2004). 統計的日本語構文解析器の部分的修正. 情報処理学会研究報告 2003-NL-160, pp. 1-8.

河原大輔，金山博，颯々野学 (2015). Project Next NLP 構文解析タスク. 言語処理学会第 21 回年次大会ワークショップ「自然言語処理におけるエラー分析」予稿集.

Koh, P. W. and Liang, P. (2017). "Understanding Black-box Predictions via Influence Functions."

In Precup, D. and Teh, Y. W. (Eds.), Proceedings of the 34th International Conference on Machine Learning, pp. 1885-1894, International Convention Centre, Sydney, Australia. PMLR.

工藤拓，松本裕治 (2002). チャンキングの段階適用による日本語係り受け解析. 情報処理学会論文誌, 43 (6), pp. 1834-1842.

黑橋禎夫，長尾眞 (1997). 京都大学テキストコーパス・プロジェクト.人工知能学会全国大会論文集, 11, pp. 58-61.

Li, Z., Zhang, M., Zhang, Y., Liu, Z., Chen, W., Wu, H., and Wang, H. (2016). "Active Learning for Dependency Parsing with Partial Annotation." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 344-354.

Marcheggiani, D. and Artieres, T. (2014). "An Experimental Comparison of Active Learning Strategies for Partially Labeled Sequences." In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 898-906.

松野智紀, 能地宏, 松本裕治 (2018). ニューラルグラフ型係り受け解析器のための文節べクトル表現. 言語処理学会第 24 回年次大会発表論文集, pp. 600-603.

McClosky, D., Charniak, E., and Johnson, M. (2010). "Automatic Domain Adaptation for Parsing." In Human Language Technologies: The 2010 Annual Conference of the North American Chapter of the Association for Computational Linguistics, pp. 28-36. Association for Computational Linguistics.

Sato, M., Manabe, H., Noji, H., and Matsumoto, Y. (2017). "Adversarial Training for CrossDomain Universal Dependency Parsing." In Proceedings of the CoNLL 2017 Shared Task: Multilingual Parsing from Raw Text to Universal Dependencies, pp. 71-79, Vancouver, Canada. Association for Computational Linguistics.

Tenney, I., Das, D., and Pavlick, E. (2019). "BERT Rediscovers the Classical NLP Pipeline." In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 4593-4601, Florence, Italy. Association for Computational Linguistics.

Tokui, S., Oono, K., Hido, S., and Clayton, J. (2015). "Chainer: A Next-Generation Open Source Framework for Deep Learning." In Proceedings of Workshop on Machine Learning Systems (LearningSys) in the 29th Annual Conference on Neural Information Processing Systems (NIPS), Vol. 5, pp. 1-6.

内元清貴, 関根聡, 井佐原均 (1999). 最大エントロピー法に基づくモデルを用いた日本語係り受け解析. 情報処理学会論文誌, 40 (9), pp. 3397-3407.

Wang, R., Finch, A., Utiyama, M., and Sumita, E. (2017). "Sentence Embedding for Neural Machine Translation Domain Adaptation." In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 560-566, Vancouver, Canada. Association for Computational Linguistics.

## 略歴

原拓也：2018 年名古屋大学工学部電気電子 - 情報工学科卒業. 同年, 名古屋大学工学研究科博士前期課程に進学.

松崎拓也：2002 年東京大学工学部システム創成学科卒業. 2007 年同大大学院
情報理工学系研究科にて博士号（情報理工学）取得. 同大学助教, 国立情報学研究所特任准教授, 名古屋大学准教授を経て, 2019 年より東京理科大学理学部准教授. 言語処理学会, 人工知能学会, 情報処理学会各会員.

横野光：2003 年岡山大学工学部情報工学科卒業. 2008 年同大大学院自然科学研究科産業創成工学専攻単位取得退学. 東京工業大学精密工学研究所研究員, 国立情報学研究所特任研究員, 同研究所特任助教を経て，2016 年より株式会社富士通研究所研究員. 博士 (工学). 意味解析の研究に従事. 情報処理学会, 人工知能学会, 言語処理学会各会員.

佐藤理史 : 1988 年京都大学大学院工学研究科博士後期課程電気工学第二専攻研究指導認定退学. 京都大学工学部助手, 北陸先端科学技術大学院大学助教授, 京都大学大学院情報学研究科助教授を経て, 2005 年より名古屋大学大学院工学研究科教授. 工学博士. 言語処理学会, 人工知能学会, 情報処理学会,日本認知科学会, ACM 各会員.

(2019 年 9 月 1 日受付)

(2019 年 11 月 29 日再受付)

(2019 年 12 月 19 日採録)