# RNN とロジスティック回帰を用いた 平仮名文の逐次的な形態素解析

森山 柊平 $\dagger \cdot$ 大野 誠寛 $\dagger \dagger$
}

本論文では，平仮名のみで書かれた日本語文 (以下，平仮名文）に対する形態素解析 について述べる。平仮名文は, 漢字仮名まじり文と比べて, 考えられる単語候補が増大するなど，はるかに曖昧性が多いことが知られている。これまでに，平仮名文を主 な対象とした形態素解析手法がいくつか開発されているが, その多くが十分な解析精度を得られていない. 一部, 著名な日本語形態素解析器の漢字仮名まじり文に対 する解析精度に匹敵する高い精度を平仮名文に対して達成している従来手法が存在 するが，その手法には膨大な解析時間を要するという問題がある。そこで本論文で は, 平仮名文に対する高精度かつ実用的な速度での解析を目指し, RNN (Recurrent Neural Network) とロジスティック回帰を用いた平仮名文の逐次的な形態素解析手法を提案する，提案手法では，解析の高速化を図るため, 単語境界の推定は文字境界ごとに, 形態素情報の推定は単語ごとに, 文頭から逐次的に実行する。また, 解析の高精度化を図るため, 各時点において, ロジスティック回帰により局所的な情報に基づいて推定した結果と，RNNにより大域的な情報を考慮して推定した結果と を統合し, 単語境界や形態素情報を推定する。評価実験の結果, 提案手法は, 単語分割と形態素情報のすべての一致を正解とする最も厳しい基準において，前述の従来手法を上回る解析精度を達成しつつ, 従来手法と比べて 100 倍以上の高速化を実現していることを確認した。

キーワード : 形態素解析, 単語分割, 品詞夕グ付け, リカレントニューラルネットワーク, ひ らがな
## Sequential Morphological Analysis of Hiragana Strings using Recurrent Neural Network and Logistic Regression

\author{
Shuhei Moriyama ${ }^{\dagger}$ and Tomohiro Ohno ${ }^{\dagger \dagger}$
}

This paper describes the morphological analysis of unsegmented Hiragana strings. It is known that Hiragana strings have more ambiguities than Kanji-Kana mixed strings. Certain morphological analysis methods have been developed mainly for Hiragana strings, but most have not obtained sufficient analysis accuracy. The accuracy of a prior method is higher than that of the famous conventional morphological analysis tool for Kanji-Kana mixed strings, but the prior method has the problem in

that it requires considerable amount of analysis time. Aiming for high-accuracy and practical-speed analysis of unsegmented Hiragana strings, we propose a sequential morphological analysis method using RNN (Recurrent Neural Network) and logistic regression. To speed up the analysis, the proposed method sequentially estimates word boundaries for each character boundary and estimates morpheme information for each word. To improve the accuracy of the analysis, the proposed method estimates word boundaries and morpheme information by integrating the estimation based on local information by logistic regression and the estimation based on global information by RNN. The experimental results confirmed that the proposed method achieved a speed-up of more than 100 times and a higher analysis accuracy than that of the prior method.

Key Words: Morphological Analysis, Word Segmentation, POS Tagging, Recurrent Neural Network, Hiragana

## 1 はじめに

日本語文は, 通常, 漢字や平仮名, 片仮名, 算用数字などの文字種により構成されるが, 幼児向け書籍や外国人日本語初学者による作文などにおいて, 平仮名のみで書かれる文も多々存在する，本論文では，平仮名のみで書かれた日本語文（以下，平仮名文）に対する形態素解析 について述べる。

これまでに, 日本語形態素解析器として, JUMAN (黒橋・河原研究室 2012), ChaSen (松本他 2008), $\mathrm{MeCab}^{1}$ (Kudo et al. 2004), $\mathrm{KyTea}^{2}$ (Neubig et al. 2011)などが開発されており, 新聞記事文など，様々な文字種で書かれた漢字仮名まじり文に対して高い解析精度が達成されてい る.しかし, 平仮名文は, 漢字仮名まじり文と比べて, 考えられる単語候補が増大するなど，は るかに曖昧性が多いため (長尾 1996), 例え, これら従来の解析器を平仮名文だけからなるコー パスで学習し直したとしても，これらによる平仮名文の解析精度は大きく低下することが報告 されている (森山 他 2018).

一方，平仮名を主な対象とした形態素解析に関する研究もいくつか存在する (工藤 他 2012;藤田 他 2014; 森山 他 2018; 井筒, 古宮 2021). その一つとして, 我々の先行研究 (森山 他 2018) では, Kudo らの日本語形態素解析 (Kudo et al. 2004)を拡張し, RNNLM (Reccurent Neural Network Language Model) との統合を行うことにより，平仮名文に対して高い解析精度を実現 しており，その精度は従来の形態素解析器が漢字仮名まじり文に対して達成している精度に匹敵している. しかし, この手法の解析時間は一般的な計算機において平均 7 秒/文を超えてお り, 前述した従来の著名な形態素解析器と比べて桁違いに遅い。応用システムに依存して必要

な解析速度は決まるため一概には言えないが，外国人日本語初学者の独習支援システムなどに おいて, 1 文ごとに処理結果を出力することが想定される場合, 我々の先行研究の手法には解析速度に関して実用上の問題が存在しているといえる。この手法では, Kudo らの手法 (Kudo et al. 2004)の枠組みを採用しており，ラティス上の最適経路を推定する必要があるが，各ノー ドに対して RNNLM が与えるスコアは，どの経路を通ったかによって異なるため，ビタビアル ゴリズムを単純に適用することはできない。すなわち, 経路ごとにRNNLM によるスコアを繰 り返し計算する必要があり，漢字仮名まじり文よりも一般に長くなる平仮名文では特に，多く の解析時間がかかると考えられる。

また, その多くが平仮名で構成されている絵本のテキストを対象とした研究 (藤田 他 2014) で は，対象ドメインのデータで Neubig らの点予測による形態素解析手法 (KyTea) (Neubig et al. 2011)を学習し直すことの有効性が報告されている. Neubig らの手法 (Neubig et al. 2011) は,形態素解析を単語分割と品詞推定に分けて段階的に処理し，各処理において，文字境界あるい は単語ごとに点予測を文頭から順に繰り返すため，1文の文字数や単語数に対する線形時間で 処理できると考えられる。実際，我々の先行研究 (森山 他 2018) において, Neubig らの手法の 平仮名文に対する解析時間は一般的な計算機上で平均 4.30 ミリ秒/文であることを確認してお り，従来の形態素解析器の漢字仮名まじり文に対する解析時間と同程度である。また，我々の 先行研究において, Neubig らの手法の平仮名文に対する解析精度は, 我々の先行研究における 提案手法に次いで高いことを確認しており (森山 他 2018), 平仮名文に対する形態素解析手法 として Neubigらの手法は有力視できる.

しかし, Neubig らの手法による平仮名文の形態素解析精度は, 単語境界のみの判定基準で $95.62 \%$, すべての形態素情報が一致するという判定基準で $93.28 \%$ あったのに対して，我々の 先行研究の手法はそれぞれ順に $98.68 \%, 95.52 \%$ であり，大きな差がある (森山 他 2018). Neubig らの手法 (KyTea) は，推定箇所の前後の情報を用いて線形SVM あるいはロジスティック回帰 により推定するが，ある一定の窓幅内に存在する局所的な情報しか利用できていない. Neubig らの手法は，漢字仮名まじり文に対しては高精度で解析できるのに対して，平仮名文に対して はその解析精度が大きく減少していた (森山 他 2018). それに対し, 我々の先行研究の手法 (森山 他 2018) では, RNNLM から得られるスコアを取り入れることにより，大域的な情報を活用 することができており，平仮名文に対する解析精度の向上に寄与したものと考えられる。この ことは，平仮名文の曖昧性解消には大域的な情報が効果的であることを示唆している.

そこで本論文では, 平仮名文に対する高精度かつ実用的な速度での解析を目指し, RNN (Reccurent Neural Network) とロジスティック回帰を用いた平仮名文の逐次的な形態素解析手法を 提案する，提案手法では，平仮名文に対する形態素解析の高速化を図るため, Neubig らの手法 (Neubig et al. 2011)の枠組みを採用し，単語境界の推定は文字境界ごとに，形態素情報の推定 は単語ごとに, 文頭から逐次的に実行する。 また, 平仮名文に対する逐次的な形態素解析の高
精度化を図るため, Neubig らの手法 (Neubig et al. 2011)の枠組みにおいて, 局所的な情報だけ でなく，大域的な情報を加味し，平仮名文独特の高い曖昧性の解消を試みる。具体例には，各時点において，Neubig らの手法においてロジスティック回帰が局所的な情報のみを用いて推定 した結果と，RNNが大域的な情報を考慮して推定した結果とを組み合わせることが，平仮名文 の逐次的な形態素解析の高精度化において有効であることを示す。さらに，漢字仮名まじり文 の形態素解析と比べて，平仮名文の形態素解析では特に，大域的な情報を考慮することが効果的であることを示す.

RNN を日本語形態素解析に用いた関連研究として, Kitagawa と Komachi の日本語単語分割 (Kitagawa and Komachi 2018) がある. Kitagawa と Komachi の手法は，RNNを用いて逐次的 に単語境界か否かを判定するものであり，Neubig らの手法に比肩する解析精度を達成してい る。しかし, 解析対象は漢字仮名まじり文であり，平仮名文ではない。また，単語分割のみを 行っており，品詞などの形態素情報の推定には取り組んでいない。それに対し, Tolmachev ら は，単語分割と形態素情報推定を RNNを用いて逐次的に行う手法を提案している (Tolmachev et al. 2019). しかし, この手法の解析対象も漢字仮名まじり文であり, 平仮名文ではない. そ の他，Morita らは，RNNLM を用いたラティスに基づく日本語形態素解析手法を提案している (Morita et al. 2015). この手法 (JUMAN++ ver. 1) は, 我々の先行研究の手法と同様に, 多く の解析時間がかかるという問題があったが，Tolmachev らによって新たなビームサーチ法が施 され，JUMAN++ ver. 2 では解析時間の短縮化が図られている (Tolmachev et al. 2018). しか しながら, この研究の解析対象も漢字仮名まじり文であり平仮名文ではない. また, 公開中の JUMAN++では，ユーザが形態素定義を変更し平仮名文で学習し直すことは容易ではないと考 えられる。一方, 平仮名文の形態素解析に RNNを用いた研究として, 井筒らは Bi-LSTM CRF に基づく手法を提案しているが，その解析精度は，MeCab と比べて低く, 改善の余地が残され ている (井筒, 古宮 2021)。なお, 日本語以外の言語として中国語に対しても, RNN な゙の深層学習を用いた形態素解析手法が様々提案されており，その有効性が報告されているが (Chen et al. 2015; Ma and Hovy 2016; Ma et al. 2018), 日本語に対する有効性は明らかではない.

以下， 2 章では提案手法の詳細を紹介する， 3 章では，平仮名文を対象とした形態素解析実験 を実施し, 提案手法の有効性を示す. 4 章では, 3 章の実験結果の分析や, 漢字仮名まじり文に 対する形態素解析実験に基づいて，提案手法の特徴を考察する.

## $2 \mathrm{RNN$ とロジスティック回帰を用いた平仮名文の逐次的な形態素解析}

本研究では, 平仮名文に対する高精度かつ実用的な速度での解析を実現するために, RNN とロ ジスティック回帰を用いた平仮名文の逐次的な形態素解析手法を提案する。具体的には, Neubig

図 1 提案手法の処理手順

らの点予測による手法 (Neubig et al. 2011)においてロジスティック回帰3が与える確率と, 新た に構築した RNNが与える確率とを線形結合したスコアを用いて，文頭から逐次的に解析する.

また，提案手法は，Neubig らの手法 (Neubig et al. 2011) と同様に，形態素解析を単語境界の 推定と形態素情報の推定とに分けて段階的に処理する（図 1 参照)。なお，形態素情報の推定で は, 品詞 (大分類), 品詞 (細分類), 活用型, 活用形, 見出し語の漢字仮名表記, 読み, の 6 種類の情報を独立に推定する ${ }^{4}$. ここで，本研究では，平仮名文を対象とするため，見出し語の漢字仮名表記を原形の代わりに推定している。これは, 我々の先行研究 (森山 他 2018) と同様に,平仮名文の同音異義語の識別を考慮するためである.

以下では，提案手法における単語境界の推定と形態素情報の推定をそれぞれ順に説明する。

## 2.1 単語境界の推定

単語境界の推定では, Neubig らの手法 (Neubig et al. 2011) と同様に，1 文を構成する文字列 $\boldsymbol{x}=c_{1} c_{2} \cdots c_{n}$ を入力とし，各文字間に単語境界の有無を示す単語境界タグ $\boldsymbol{t}=t_{1} t_{2} \cdots t_{n-1}$ を 出力する．ここで，単語境界タグ $t_{i}$ は, 文字 $c_{i}$ と $c_{i+1}$ の間に単語境界が存在するとき 1 , 存在 しないとき 0 をとる。また，提案手法では，各文字間に単語境界が存在するか否かを文頭から 順に判定し，その判定をすべての文字境界について繰り返す.

提案手法ではまず，ロジスティック回帰と RNN とをそれぞれ用いて，各文字間に単語境界
^{3}$ Neubig らの点予測による手法 (Neubig et al. 2011) を実装した KyTea では，分類器として線形SVM とロジス ティック回帰を選択可能だが，ロジスティック回帰が与える確率を提案手法では用いる.

4 本研究の実装では, これら 6 種類の形態素情報の推定を逐次的に行っているが，並列処理することも考えられる.
}

が存在する確率と存在しない確率を推定する。その後, 両者が推定した 2 つの確率を線形結合 し, その値に基づいて, 単語境界の有無を判定する。 すなわち, 文字 $c_{i}$ と $c_{i+1}$ の単語境界の有無 $t_{i}$ を式 (1)により推定する.

$
t_{i}=\underset{v \in\{0,1\}}{\arg \max }\left((1-\alpha) P_{l r}\left(t_{i}=v\right)+\alpha P_{r n n}\left(t_{i}=v\right)\right)
$

ここで, $P_{l r}\left(t_{i}=v\right)$ は夕グ $t_{i}$ が $v$ である確率をロジスティック回帰により推定した値, 同様に, $P_{r n n}\left(t_{i}=v\right)$ は RNNにより推定した值を表す.また， $\alpha(0 \leq \alpha \leq 1)$ は補完係数であり，パラ メータ調整用の開発データを用いて実験的に決定する.

以下では，ロジスティック回帰と RNNの各々による単語境界の推定について述べる。

## 2.1.1 ロジスティック回帰による単語境界の推定

確率 $P_{l r}\left(t_{i}\right)$ を算出する際にロジスティック回帰で用いる素性は, 夕グ位置 $i$ の前後 $m$ 文字 からなる長さ $2 m$ の文字列中から得られる, 文字 n-gram と文字種 n-gram である. これらの素性は Neubig らの手法 (Neubig et al. 2011)の単語分割にて用いられている素性と同様であるが,本研究では平仮名文を扱っているため, 文字種は, 平仮名 $(\mathrm{H})$, 数字 $(\mathrm{N})$, その他 $(\mathrm{O})$ の 3 種と する．例えば，図1の入力文「しかし、はってんとじょうこくからのひはんがつよい。」におい て, $i=3, m=3$ とし, 1-gram から 3-gram まで使用するとすると, $P_{l r}\left(t_{3}\right)$ を算出する際の素性 は以下となる.
- 文字 1-gram：し|か|し|、|は|っ
- 文字 2-gram：しか|かし|し、|、は|はっ
- 文字 3-gram：しかし|かし、|し、は|、はっ
- 文字種 1-gram : $\mathrm{H}|\mathrm{H}| \mathrm{H}|\mathrm{O}| \mathrm{H} \mid \mathrm{H}$
- 文字種 2-gram : $\mathrm{HH}|\mathrm{HH}| \mathrm{HO}|\mathrm{OH}| \mathrm{HH}$
- 文字種 3-gram : $\mathrm{HHH}|\mathrm{HHO}| \mathrm{HOH} \mid \mathrm{OHH}$

なお, Neubig らの手法では辞書素性を用いることも可能であり, 提案手法においても原理的 には使用可能であるが, 簡単化のため本研究では使用していない.

## 2.1.2RNNによる単語境界の推定

確率 $P_{r n n}\left(t_{i}\right)$ を算出する際に用いる RNN の概要を図 2 に示す. まず，2.1.1 節で述べた文字 n-gram や文字種 n-gramのすべての素性の各々を Embedding を通し分散表現とする。次に，各素性の Embedding を連結したべクトルを RNNの入力とし, 順方向の LSTM (Long Short-Term Memory) (Hochreiter and Schmidhuber 1997)により変換する. 最後に，線形変換とSoftmax 関数を適用し，2 次元の出力を得る。この出力は単語境界の有無の確率分布を表す.

なお, Embeddingの事前学習は実施しておらず, 学習開始時点では Embedding は乱数により

図 2 単語境界推定のための RNN の概要

無作為に初期化し, Embedding を含むモデル全体を end-to-end で学習させている.

提案手法と同様に, RNNを用いた日本語分割手法として Kitagawa と Komachi の手法 (Kitagawa and Komachi 2018) があるが, 提案手法とは, タグを付与する対象とタグの種類数（出力層の 次元数）に違いがある. Kitagawa と Komachi の研究では，各文字に対して, 'B', 'I', 'E', 'S' (順に,「単語の先頭」,「単語の内部」,「単語の末尾」,「一文字からなる単語」) の 4 種類の夕グ を付与すべく, RNNが設計されている。それに対し，提案手法では，ロジスティック回帰が与 える確率 $P_{l r}\left(t_{i}\right)$ との線形結合を行うため, 各文字境界に対して, 単語境界の有無の 2 種類の夕 グを付与するべく，RNNを設計している。

また, 両手法とも, Neubig らの手法 (Neubig et al. 2011) を参考として, 文字 n-gram や文字種 n-gram を RNN の入力に利用するが，夕グを付与する対象が異なっているため，その取り方 は完全に一致しているわけではない，提案手法では，ロジスティック回帰が与える確率 $P_{l r}\left(t_{i}\right)$ との線形結合を行うため, Neubig らの手法 (Neubig et al. 2011) と同一の素性としている.

なお, 2.1.1 節と同様に, 提案手法においても辞書素性を使用可能であるが, 本研究では簡単化のため使用していない.

## 2.2 形態素情報の推定

形態素情報の推定では，2.1 節の単語境界の推定によって単語に分割された 1 文を入力とし,各単語の 6 種類の形態素情報 (品詞 (大分類), 品詞 (細分類), 活用型, 活用形, 見出し語の 漢字仮名表記，読み）をそれぞれ推定する（図 1 参照）６種類の各形態素情報を推定する枠組 みは同一であり，それぞれ独立に実行される。そのため以下では，品詞（大分類）の推定方法 のみを取り上げ説明する。また，本節では品詞（大分類）を品詞と略称する。

品詞の推定では, 1 文を構成する単語列 $\boldsymbol{w}=w_{1} w_{2} \cdots w_{k}$ を入力とし, 各単語の品詞ラベル
$\boldsymbol{l}=l_{1} l_{2} \cdots l_{k}$ を出力する. ここで, $l_{j}$ は, 単語 $w_{j}$ の品詞ラベルである. また, 本手法では, 各単語の品詞ラベルを文頭から順に判定し，その判定を文末まで繰り返す.

品詞の推定においても，単語境界推定と同様に，まず，ロジスティック回帰と RNN とをそれ ぞれ用いて, 各単語が各品詞ラベルを持つ確率を推定する。その後, 両者が推定した 2 つの確率を線形結合し，その値に基づいて，各単語の品詞ラベルを判定する.

品詞の推定は多值分類問題となるが，各単語に対して品詞を推定する際，各単語が取り得る 品詞ラベルの種類数をどのように考えるかによって, 多値分類器の構成方法には 2 つの方法が 考えられる (森他 2011)，一つは，品詞ラベルをすべて集めた集合を $L$ とするとき，すべての 語彙に対して, $|L|$ 值分類問題を解く 1 つのモデルを作る方法であり, 全体モデルと呼ばれる. もう一つは，ある単語 $w_{j}$ が実際に取り得るラベルは $L$ の部分集合 $L_{j}$ であることを考慮し, 各語彙に対してその語彙だけのためのモデルを作る方法であり，個別モデルと呼ばれる ${ }^{5}$.

本研究では，ロジスティック回帰による推定と RNN による推定とで異なるモデルを採用す る. すなわち，ロジスティック回帰による推定では Neubig らの手法 (Neubig et al. 2011; 森 他 2011) と同様に個別モデルを採用し，RNNによる推定では訓練データ量がスパースとなること を考慮し全体モデルを採用する，個別モデルが語彙ごとにモデルを使い分けるのに対し，全体 モデルはすべての単語で共通のモデルを使用することから, 多くの場合, 個別モデルにより分類するクラス数は，全体モデルにより分類するクラス数より小さくなる．そのため，両者が推定した確率値を線形結合する際には，ロジスティック回帰（個別モデル）により分類するクラ ス数に基づき，RNN（全体モデル）が推定した確率値を補正する.

具体的には, 単語 $w_{j}$ の品詞ラベル $l_{j}$ を式 (2) により推定する.

$
l_{j}=\underset{v \in L_{j}}{\arg \max }\left((1-\beta) P_{l r}^{\text {個 }}\left(l_{j}=v\right)+\beta \frac{P_{r n n}^{\text {全 }}\left(l_{j}=v\right)}{\Sigma_{v \in L_{j}} P_{r n n}^{\text {羔 }}\left(l_{j}=v\right)}\right)
$

ここで, $P_{l r}$ 個 $\left(l_{j}=v\right)$ は単語 $w_{j}$ の品詞ラベルが $v$ である確率をロジスティック回帰（個別モデ ル）により推定した値を，同様に， $P_{r n n}^{\text {全 }}\left(l_{j}=v\right)$ は RNN（全体モデル）により推定した值をそれ ぞれ表す. $L_{j}$ は，単語 $w_{j}$ が取り得る品詞ラベルを集めた集合を表し ${ }^{6}, \quad \Sigma_{v \in L_{j}} P_{l r}^{\text {個 }}\left(l_{j}=v\right)=1$ となる。なお，品詞ラべルをすべて集めた集合 $L$ に関しては， $\Sigma_{v \in L} P_{r n n}$ 全 $\left(l_{j}=v\right)=1$ が成り立 つ. ここで, $\left|L_{j}\right| \leq|L|$ であるため, 式 $(2)$ では, $P_{r n n}^{\text {全 }}\left(l_{j}=v\right)$ を補正した上で, $P_{l r}^{\text {個 }}\left(l_{j}=v\right)$ との 線形結合を行っている。なお， $\beta(0 \leq \beta \leq 1)$ は補完係数であり，パラメータ調整用の開発デー 夕を用いて実験的に決定する。 $\beta$ は, 図 1 に示す 6 種類の各形態素情報で個別に設定できるが,本研究では予備実験により同一の値を設定している (3.2 節参照).

以下では，ロジスティック回帰と RNNの各々による品詞の推定を説明する.
^{5} \mathrm{http}: / /$ www.phontron.com/kytea/train-ja.html

6 実際には訓練データにおいて各単語に付与されているラべルを集めている.
}

## 2.2.1 ロジスティック回帰による品詞の推定

確率 $P_{l r}$ 個 $\left(l_{j}\right)$ を算出する際にロジスティック回帰で用いる素性は, Neubig らの手法 (Neubig et al. 2011) の品詞推定にて用いられている素性と同様である。具体的には, 推定する単語 $w_{j}$ の直前の $m$ 文字からなる文字列 $\boldsymbol{c}_{-}$と直後の $m$ 文字からなる文字列 $\boldsymbol{c}_{+}$の連結 $\boldsymbol{c}_{-} \boldsymbol{c}_{+}$に含まれ る，文字 n-gram と文字種 n-gram である。ただし，本研究では平仮名文を扱っているため，文字種は, 平仮名 $(\mathrm{H})$, 数字 $(\mathrm{N})$, その他 $(\mathrm{O})$ の 3 種である. 例えば, 図 1 における単語境界推定 の出力文「しかし／、／はってん／とじょう／こく／から／の／ひはん／が／つよい／。」 において, $j=3, m=3$ とし, 1-gram から 3 -gram まで使用するとすると, $P_{l r}^{\text {個 }}\left(l_{3}\right)$ を算出する 際の素性は，文字列「かし、とじょ」から得られ，以下となる。
- 文字 1-gram：か|し|、|と|じ|ょ
- 文字 2-gram：かし|し、|、と|とじ|じょ
- 文字 3-gram：かし、|し、と|、とじ|とじょ
- 文字種 1-gram : $\mathrm{H}|\mathrm{H}| \mathrm{O}|\mathrm{H}| \mathrm{H} \mid \mathrm{H}$
- 文字種 2-gram : $\mathrm{HH}|\mathrm{HO}| \mathrm{OH}|\mathrm{HH}| \mathrm{HH}$
- 文字種 3-gram : $\mathrm{HHO}|\mathrm{HOH}| \mathrm{OHH} \mid \mathrm{HHH}$

ロジスティック回帰による品詞推定モデルは, 個別モデルに基づくため語彙ごとに作る.

なお, Neubig らの手法では, 推定対象の単語が訓練デー夕に出現せず，辞書に出現する場合 は，その単語の辞書情報をそのまま出力するという形で辞書を利用しているが，簡単化のため 本研究では使用していない.

## 2.2.2 RNN による品詞の推定

確率 $P_{r n n}^{\text {全 }}\left(l_{j}\right)$ を算出する際に用いる RNN の概要を図 3 に示す。まず，2.2.1 節で述べた文

図 3 形態素情報推定のための RNN の概要
字 n-gram と文字種 n-gram のすべての素性に加えて, 推定対象の単語を抽出し，その各々を Embedding を通し分散表現とする。本研究では, Neubig らの手法 (Neubig et al. 2011)の全体 モデルの場合と同様に，推定対象の単語そのものを分類器の素性として利用する。次に，2.2.1 節で述べた文字 n-gram と文字種 n-gram のすべてと推定対象の単語の各 Embedding を連結した ベクトルを RNNの入力とし，順方向の LSTMにより変換する，最後に，線形変換と Softmax 関数を適用し， $|L|$ 次元の出力を得る。この出力は品詞ラベルの確率分布を表す.

なお, 2.1.2節と同様に, Embeddingの事前学習は実施しておらず, 学習開始時点では Embedding は乱数により無作為に初期化し, 訓練データの正解の単語境界情報を用いて, Embedding を含 むモデル全体を end-to-end で学習させている。また，前述したように，RNNによる品詞推定は 全体モデルに基づくため，各単語に対して適用されるモデルは共通である。また，2.2.1節と同様に，簡単化のため本研究では辞書を使用していない.

## 3 評価実験

平仮名文の形態素解析における提案手法の有効性を確認するため, 従来手法との比較実験を 実施した。

## 3.1 実験データ

実験では，京都大学テキストコーパス Version 4.0 の各見出し語を平仮名に置換したものを利用する7.コーパスは 38,400 文, 972,894 単語， $2,320,340$ 文字からなり,これを訓練デー夕, 開発データ及びテストデータに分割して使用する。詳細を表 1 に示す. 1 月 17 日の一般記事（社説以外の記事）を開発データとし，1月 12 日から 1 月 16 日の 5 日分の一般記事のうち， 1 日分を テストデータとする実験を 5 回実施する，各回における訓練データは，当該テストデータと開発データを除くすべてを使用することとした。例えば， 1 月 16 日の一般記事をテストデータと する場合，訓練デー夕は 1 月 1 日から 1 月 15 日の一般記事と 1 月から 12 月の社説記事となる.

表 1 実験データ

## 3.2 比較手法

提案手法 (以下, $[\mathrm{LR}+\mathrm{RNN}]$ と記す) との比較のため, 以下 7 つの比較手法を設けた.
- $[\mathrm{MeCab}]$ : 形態素解析器 MeCab (ver. 0.996) を用いる手法. MeCabのモデルの学習には seed 辞書, 設定ファイル及びコーパスを用意する必要がある 8 . seed 辞書は 3.1 節で述べ た訓練データの語彙から作成した。素性抽出テンプレート等の設定ファイルは, $\mathrm{MeCab}$ の配布辞書のひとつであり, 京都大学テキストコーパスの品詞体系に従う JUMAN 辞書 のものと同一とした，たたし，JUMAN 辞書の設定では学習時に正解を判定する条件を 形態素情報のうち活用形までの一致としているため, ひらがな文の解析に則すよう形態素情報すべての一致を正解とするよう設定を変更している。コーパスは 3.1 節で述べた訓練データを $\mathrm{MeCab}$ のフォーマットに修正して作成した. ハイパーパラメータ C $1.0 を$指定し，コーパス中に出現する素性は，頻度によるフィルタをかけず，すべて使用した.
- [KyTea] : 形態素解析器 KyTea (ver. 0.4.6) を用いる手法. 本実験の訓練データを使い, 一 から学習したモデルを用いる。訓練時のオプションは “-full”と“-model”のみを指定し,辞書を使用せず，分類器はデフォルトの線形SVM としている。また, 解析時のオプショ ンは “-model”のみを指定している.
- $[\mathrm{CRFs}+\mathrm{RNNLM}]$ : 我々の先行研究手法 (森山他 2018). なお, 使用されている訓練デー 夕は本実験の訓練データと同一である.
- $[\mathrm{CRFs}]:[\mathrm{CRFs}+\mathrm{RNNLM}]$ において, 補間係数 $\alpha$ を 0 とし, $\mathrm{CRFs}$ が与える確率のみを 用いて推定する手法.
- $[$ RNNLM $]:[\mathrm{CRFs}+\mathrm{RNNLM}]$ において, 補間係数 $\alpha$ を 1 とし, RNNLM が与える確率の みを用いて推定する手法.
- $[\mathrm{LR}]$ : 提案手法 $[\mathrm{LR}+\mathrm{RNN}]$ において, 補間係数 $\alpha, \beta$ をともに 0 とする手法.
- $[\mathrm{RNN}]$ : 提案手法 $[\mathrm{LR}+\mathrm{RNN}]$ において, 補間係数 $\alpha, \beta$ をともに 1 とする手法.

これら 7 つの比較手法と提案手法の違いを表 2 に整理して示す.これらの手法は, 判定アル ゴリズムが逐次的であるか，ラティスベースであるかの違い，また， スコア算出器や分類器と して，局所情報を素性とする機械学習のみを用いるのか，大域情報を考慮できる RNNのみを用 いるのか，両者を用いるのかという違いの 2 つの観点で整理できる.

$[\mathrm{LR}+\mathrm{RNN}]$ における単語分割推定と形態素情報推定の際に使用したRNN のハイパーパラメー 夕を表 3 に示す。このうち, 対象単語の Embedding 次元数は形態素情報推定のための RNN の みに関わるハイパーパラメータであり, その他は, 単語分割推定と形態素情報推定の両方でと もに同じ値を用いた。なお, Adamの各パラメータは推奨値とした。また, エポック数は, 開発データ上での $\mathrm{F}$ 値が収束するまでとした。，提案手法及び上記 7 つの比較手法のモデルの学習

表 2 提案手法と比較手法の特徵

表 3 RNN のハイパーパラメータ

は， 3.1 節で述べた訓練データのみを用いて行った。

提案手法における補完係数 $\alpha$ と $\beta$ は，表 1 のテストデータごとに訓練データが変わるため, それぞれの訓練データごとに，開発データにおいて $\mathrm{F}$ 値を最も高くする $\alpha$ と $\beta$ から 1 まで 0.1 刻みで探索し，それらを採用した。ただし， $\beta$ の探索は正解の単語分割を与えた上で実施し, また， $\beta$ は 6 種類の形態素情報共通とした。表 4 の上 2 行に，本実験において採用した補完係数 $\alpha$ と $\beta$ を示す.また，単語境界推定と形態素情報推定のいずれにおいても，提案手法で用い る素性を決定する際の空幅は $m=3$ とし, n-gram は 1-gram から 3-gram まで使用した.

提案手法は scikit-learn (Pedregosa et al. 2011), 及び, PyTorch (Paszke et al. 2019), PyTorchlgnite (Fomin et al. 2020) を使い Python で実装した。なお, 我々の先行研究手法 [CRFs+RNNLM] も Python で実装している。

表 43 章と 4.4 節の各実験における $[\mathrm{LR}+\mathrm{RNN}]$ の補完係数 $\alpha$ と $\beta$

## 3.3 評価指標

解析時間の評価では，プログラムの実行時間を bashの timeにより計測し, 1 文あたりの平均解析時間を算出した。なお，推論時のプログラムはすべて， CPU:Intel Core i5-6500, RAM:8.0GB を搭載したマシン上で実行し，GPUは使用していない。

また，解析精度の評価には適合率，再現率及び $\mathrm{F}$ 值を使用する。それぞれの計算式は以下の 通りである.

$
\begin{gathered}
\text { Precision }=\frac{\text { Number of correct morphemes }}{\text { Number of predicted morphemes }} \\
\text { Recall }=\frac{\text { Number of correct morphemes }}{\text { Number of groundtruth morphemes }} \\
F=\frac{2 * \text { Precision } * \text { Recall }}{\text { Precision }+ \text { Recall }}
\end{gathered}
$

我々の先行研究 (森山 他 2018) と同じく, 評価基準は次の 5 つを設けた.
- level0：単語分割が正解.
- level1：level0 に加え品詞（大分類）が正解.
- level2：level1 に加え品詞（細分類）が正解.
- level3 : level2 に加え活用型と活用形が正解.
- level4 : level3 に加え見出し語の漢字仮名表記と読みが正解.

level4 の正解は同音異義語の識別の成功に相当する.

なお，上述の各評価指標の値は 5 回の実験結果の平均をとったものとする.

## 3.4 実験結果

実験結果を表 5 に示す 9 . 提案手法 $[\mathrm{LR}+\mathrm{RNN}]$ は, 我々の先行研究手法 $[\mathrm{CRFs}+\mathrm{RNNLM}]$ と 比較して, 100 倍以上高速になっている。表 2 に両者の違いを示した通り, [CRFs+RNNLM $]$ は

} & \multicolumn{5}{|c|}{$\mathrm{F}$ 值（適合率 [\%]/再現率 [\%]） } \\

表 5 実験結果

ラティス上の経路ごとに RNNLM によるスコア計算を繰り返し計算する必要があるのに対し, $[\mathrm{LR}+\mathrm{RNN}]$ は，文字列長あるいは単語長だけ RNN を適用すればよく，計算量を大きく抑えるこ とができる。この点が提案手法の高速化を実現できた主要因と考えられる。その他の要因とし て, [CRFs+RNNLM] は LSTM の各層の隠れ状態の次元数が 1500 であるの対して, [LR+RNN $]$ は約 1/8の 200 であり，RNNのモデルサイズを小さくすることができた点も考えられる.

一方, 提案手法 $[\mathrm{LR}+\mathrm{RNN}]$ の解析時間は, $[\mathrm{MeCab}]$ や [KyTea] には及ばなかった. ただし,提案手法が Python で実装されているのに対し, [MeCab] や [KyTea] は C++で実装されており，同一言語で各手法を実装すれば，各手法の解析時間の差は表 5 の結果より縮まると考えられる. また，本実験では図 1 の 6 種類の形態素情報の推定を逐次的に行っているが，これらを並列処理することにより，更なる高速化が期待できる。いずれにしろ，提案手法の更なる高速化は今後の課題である.

次に, 解析精度に目を向けると, 提案手法 $[\mathrm{LR}+\mathrm{RNN}]$ は, 単語分割性能を示す level0 と, 最も 厳しい評価基準である level4 の F 値において, 最高値を達成しており, level4 の F 值において 2 番目に高い値を示した $[\mathrm{CRFs}+\mathrm{RNNLM}]$ を有意に上回った $(p<0.05)^{10}$. 提案手法 $[\mathrm{LR}+\mathrm{RNN}]$ は, 我々の先行研究手法 $[\mathrm{CRFs}+\mathrm{RNNLM}]$ と比較し, 同程度以上の高い解析精度を達成しつつ,
$ 検定を実施し確認した. な お，本実験結果の検定はすべて同じ方法で実施した.
}
解析時間を大幅に削減できていることを確認した。

また， [KyTea] や $[\mathrm{MeCab}]$ とそれぞれ比較した場合，提案手法 $[\mathrm{LR}+\mathrm{RNN}]$ は全 level におい て有意に上回った（いずれも $p<0.01 ）$ ，提案手法は，平仮名文を対象とする場合において，代表的な日本語形態素解析器を上回る高い解析精度を達成していることを確認した。

## 4 考察

本章では，前章の実験結果に基づき，平仮名文の形態素解析における提案手法の特徴を考察 する。具体的には， [CRFs+RNNLM] や [KyTea], [LR], [RNN]による各解析精度との比較を通 じて，提案手法の利点や誤り傾向について述べる。また，漢字仮名まじり文に対して提案手法 を適用し，平仮名文に対する解析との違いについて考察する。

## 4.1 提案手法と $[\mathrm{CRFs+\mathrm{RNNLM}]$ の比較}

本節では, 提案手法 $[\mathrm{LR}+\mathrm{RNN}]$ と我々の先行研究手法 $[\mathrm{CRFs}+\mathrm{RNNLM}]$ の解析結果に基づ き，表 2 に示す両者の違いが解析精度に及ぼす影響を考察する。

まず，単語分割を意味する level 0 や，最も厳しい評価基準である level 4 の $\mathrm{F}$ 値において，提案手法 $[\mathrm{LR}+\mathrm{RNN}]$ が [CRFs+RNNLM $]$ を有意に上回った原因を考察する。表 5 の適合率に着目 すると, level0 や level4 において, [CRFs+RNNLM] が提案手法を著しく下回っていることがわ かる. 図 4 に， $[\mathrm{CRFs}+\mathrm{RNNLM}]$ の適合率を著しく低下させている例を示す. 平仮名文の解析 を便宜上，漢字仮名表記で記載していることに注意されたい.いずれの例も訓練データに出現 しない未知語が入力文に含まれており，提案手法と $[\mathrm{CRFs}+\mathrm{RNNLM}]$ がいずれも形態素解析に 失敗した例となっているが, $[\mathrm{CRFs}+\mathrm{RNNLM}]$ は未知語を構成する文字列を細かく刻み単語分割していることがわかる。そのため，適合率の分母が増加し，適合率を押し下げたものと考え られる。

$[\mathrm{CRFs}+\mathrm{RNNLM}]$ は, 言語モデルによって算出される次の単語の生起確率を用いているため, ラティス上において, 未知語が含まれるパスはスコアが著しく低くなり選択されにくくなる. そのため，未知語を構成する文字列を細かく刻み，訓練データに存在した単語に分割したパス が選択されることになると考えられる。なお，ラティスベースの形態素解析を行う $[\mathrm{MeCab}]$ や $[\mathrm{CRFs}],[\mathrm{RNNLM}]$ も同様に, level0の適合率が低く, その中でも言語モデルを利用する [RNNLM] の低下は著しいことが確認できるが, これらも同様の理由が考えられる.

一方, 提案手法 $[\mathrm{LR}+\mathrm{RNN}]$ は, 逐次的に判定するため, 未知語を構成する文字列を未知語 1 語として判定する傾向が強いと考えられる。また, 提案手法は, 表層形を元に RNNにより推定 を行うため, 入力文の一部に未知語があった場合でも他の箇所へ影響は少なく, 未知語に対し てある程度頑健と考えられる， 3 章の実験では， 3.1 節で述べた通り，新聞記事を日付ごとに分

 \\

※平仮名文の解析を便宜上, 漢字仮名表記で記載していることに注意されたい.

※ UNK は未知語を意味する。

図 4 未知語が含まれる文に対する提案手法と [CRFs+RNNLM $]$ の解析例

割して実験データを作成しており，テストデータには訓練データに出現しない未知語が比較的多く含まれる形となっている。そのことも提案手法 $[\mathrm{LR}+\mathrm{RNN}]$ に有利に働いたものと考えられ る。なお，本研究では，新聞記事全体から文単位でランダムにサンプリングして別の実験デー 夕を作成し，未知語が含まれる割合が低下したテストデータに対しても評価実験を実施してお

り, 3 章の実験結果との比較からも, 提案手法 $[\mathrm{LR}+\mathrm{RNN}]$ の未知語に対する頑健性を確認して いる（詳細は付録 Aを参照されたい）.

次に, level0 や level4 の解析において，[CRFs+RNNLM] は成功しているものの，提案手法が 失敗した例を考察する。そのような例を図 5 に示す。平仮名文の解析を便宜上，漢字仮名表記 で記載していることに注意されたい。最初の例では，「三/党（さん/とう）」が正解であるのに 対し, 提案手法は「山刀（さんとう）」と解析誤りを犯しているが， [CRFs+RNNLM $]$ は正解と 同一の単語分割及び漢字仮名表記の推定に成功している。 [CRFs+RNNLM] はビームサーチを 用いているものの，RNNLM をラティス上の経路ごとに適用するため，一部の後方文脈を考慮 できる．そのため，後方の「政局」を考慮して，「三/党（さん/とう）」の解析に成功したものと 考えられる。それに対して，提案手法は逐次的に単語境界を判定しているため, 順方向 LSTM により前方の大域的な情報を考慮しているといえども，後方の「政局」を考慮できず，この解析に失敗している。上から 2 例目も同様に考察できる。また，上から 3 例目と 4 例目では，提案手法は単語分割に成功しているものの, 漢字仮名表記の推定, すなわち, 同音異義語の識別 に失敗している。これらの例でも，後方文脈を考慮できないことにより，提案手法が失敗して いるものと考えられる。

提案手法は，高速化を図るために逐次的な単語分割手法を採用しており，高速性を犠牲にしな いためには，逐次的に判定を行う枠組みにおいて単語分割精度を向上させる方策を考える必要 がある，例えば，大域的な情報をより強く考慮するため，双方向 LSTM (Schuster and Paliwal

 \\

※平仮名文の解析を便宜上, 漢字仮名表記で記載していることに注意されたい.

図 5 提案手法が失敗し, $[\mathrm{CRFs}+\mathrm{RNNLM}]$ が成功した例

1997) や Attention (Vaswani et al. 2017) などの活用が考えられるが，その改善策については今後の課題である.

## 4.2 提案手法と [KyTea] の比較

本節では, 提案手法 $[\mathrm{LR}+\mathrm{RNN}]$ と， [KyTea] の解析結果に基づき, 表 2 に示す両者の違いが 解析精度に及ぼす影響を考察する。

表 5 における提案手法 [LR+RNN] と [KyTea] の各 levelの F 値を詳細に見ると， level0におい て 2.44 ポイントの差が生じ，その差が level1～4においてそのまま引き継がれ 2.09～2.35 ポイ ント差となっている。このことから，提案手法が全 level の F 値において [KyTea] より有意に上回ったのは，単語分割によって生じた精度差が主な原因であり，その差が形態素情報の推定ま で引きずられたためと考えられ，形態素情報の推定では両手法に精度差はほとんどないという 仮説が考えられる。

そこで，この仮説を検証するため, 正解の単語分割に基づいて, 提案手法と [KyTea] で形態素情報を推定するという追加実験を実施した，実験設定は， 3 章と同様であり，提案手法と [KyTea] の形態素情報推定機構の入力に，正解の単語分割を与えている点のみが異なる.

表 6 に追加実験の結果を示す。なお，正解の単語分割結果を与えているため, 正解率で評価 している（適合率・再現率・F 値はいずれも正解率と同値となる），両者を比較すると，各 level でその差はほとんどなく, この結果は上記の仮説を支持するものと考えられる.

一方, 単語分割 level0の F 値において, 提案手法と [KyTea] との間に有意差が生じた原因は,大域的な情報を考慮しているか否かにあると考えられる。図 6 に，単語分割において，提案手法 は成功し, [KyTea] は失敗した例を示す。平仮名文の解析を便宜上，漢字仮名表記で記載してい ることに注意されたい. 1 つ目の例では,「しょうちく(松竹)」が正解であるのに対し, [KyTea] は「しょう/ちく(小/地区)」と解析誤りを犯しているが, 提案手法は正解と同一の解析に成功 している。提案手法と [KyTea] はいずれも逐次的に単語境界の判定を行うが，提案手法は，「え んげき(演劇)」や「げきじょう（劇場)」といった前方に位置する大域的な情報を RNNにより 考慮することができ, 「しょうちく（松竹)」の解析に成功したものと考えられる．その他の例 についても，同様の考察ができる。

提案手法は, 逐次的な手法を採用しているため, 1 文全体の最適経路を求める [CRFs+RNNLM $]$

表 6 正解の単語分割に基づく提案手法と [KyTea] の形態素情報推定結果

 \\

※平仮名文の解析を便宜上, 漢字仮名表記で記載していることに注意されたい.

※ UNK は未知語を意味する。

図 6 単語分割において, [KyTea] が失敗し, 提案手法が成功した例

と比べると大域的な判断を一部犠牲にしていることになるものの，RNNを組み合わせることに より，大域的な情報を考慮することに成功していると考えられる。

## 4.3 提案手法と $[\mathrm{LR]$ 及び $[\mathrm{RNN}]$ の比較}

本節では，提案手法 $[\mathrm{LR}+\mathrm{RNN}]$ と，提案手法を構成する $[\mathrm{LR}]$ 及び $[\mathrm{RNN}]$ の 3 つの手法によ る推定結果を比較し, 提案手法の誤り傾向と，その誤りの削減可能性について考察する.

表 7 に，推定対象箇所のうち，各手法が各 level の評価基準に照らして誤った箇所の数と，そ の誤り箇所の重なり数を示す.ここで，単語境界推定の評価は， 3 章の実験結果に基づいたも

表 7 提案手法 $[\mathrm{LR}+\mathrm{RNN}]$ と $[\mathrm{LR}],[\mathrm{RNN}]$ の各手法が誤った箇所の数と, その誤り箇所の重複

のであるが，形態素情報推定の評価は，各手法の間で推定対象箇所をそろえるため，正解の単語境界を各手法の入力として再実験11した結果に基づいたものである。そのため, 単語境界推定時と形態素情報推定時の推定対象箇所の総数は，各手法で同数であり，それぞれ，表 1 に示 す 5 つのテストデータの合計文字数 421,760 と合計単語数 175,981 である.

どの level においても, $[\mathrm{LR}]$ と $[\mathrm{RNN}]$ の共通の誤り数と, $[\mathrm{LR}+\mathrm{RNN}]$ と $[\mathrm{LR}]$ と $[\mathrm{RNN}]$ の共通の誤り数に差はほとんどなく, $[\mathrm{LR}]$ と $[\mathrm{RNN}]$ がいずれも誤った箇所は, $[\mathrm{LR}+\mathrm{RNN}]$ でも誤っ ていることが分かる. $[\mathrm{LR}]$ と $[\mathrm{RNN}]$ のどちらもが誤っていたとしても，どちらかの手法におい て下位候補が第 1 位候補と大差なく高い確率値を持ってる場合などにおいて, 式 (1)の $\alpha$ や式 (2)の $\beta$ の選び方によっては原理的に正解できる可能性はある. しかし, $[\mathrm{LR}]$ と $[\mathrm{RNN}]$ のいず れもが誤るような箇所は, 4.1 節で述べた通り, 後方文脈などの大域的な情報を考慮する必要の ある場合が多いと考えられ，線形結合の補完係数を変更するだけで正解に導くことは難しいと 考えられる。

一方, $[\mathrm{LR}+\mathrm{RNN}]$ の誤りのうち, $[\mathrm{LR}]$ と $[\mathrm{RNN}]$ のどちらか一方が正解しているものについ ては，推定対象箇所ごとに $\alpha$ や $\beta$ を適切に選ぶことができれば正解できる可能性があると言 える。例えば，単語境界推定において，[LR] と $[\mathrm{RNN}]$ のどちらか一方が正解していたものを [LR+RNN] で正解できたとすると, level0 の F 值は 94.37 から 96.37 まで改善することができ る. より適切な $\alpha や \beta$ の設定方法の検討は今後の課題である.

## 4.4 漢字仮名まじり文に対する解析精度との比較

1 章で述べたように，平仮名文の形態素解析は，漢字仮名まじり文と比べて，一般に難しい夕 スクであり，その解析精度が大きく低下することが知られている。本節では，その解析精度の 低下を提案手法がどの程度, 抑制できているかを確認するため, 我々の先行研究 (森山 他 2018) と同様に，漢字仮名まじり文に対する形態素解析実験を実施し，平仮名文に対する実験結果と

比較する。

漢字仮名まじり文に対する実験の設定を述べる，実験データには，平仮名文コーパスに変換 する前のオリジナルの京都大学テキストコーパスを，表 1 と同様に，訓練データ，開発デー夕， テストデータに分割したものを用い， 3 章と同様の実験を 5 回実施した． 3 章の実験との違い は，実験データが平仮名文コーパスに変換されているか否かのみである。また，我々の先行研究 (森山 他 2018) と同様に, [KyTea] や [MeCab], [CRFs+RNNLM] のほか, JUMAN++ (ver. 1.02)を用いる手法 (以下, $[$ JUMAN++]) 12でも形態素解析を実行し, 提案手法と比較した。な お，提案手法 $[\mathrm{LR}+\mathrm{RNN}],[\mathrm{KyTea}],[\mathrm{MeCab}],[\mathrm{CRFs}+\mathrm{RNNLM}]$ は，表 1 の訓練データ（ただ し，当該箇所のオリジナルの京都大学テキストコーパス）により学習し直したものを利用し， [JUMAN++] は JUMAN++ (ver. 1.02) をデフォルトのまま利用した。また，提案手法の補完係数については, 3.2 節と同様の方法で, 開発デー夕を用いて新たに決定した。表 4 の下 2 行に,本実験において採用した補完係数 $\alpha$ と $\beta$ を示す. その他の実験設定は, 3 章と同一とした.

表 8 に漢字仮名まじり文と平仮名文の形態素解析結果（ $\mathrm{F}$ 値）を示す.下 4 行の平仮名文の 形態素解析精度は，比較の簡単化のために，表 5 の値を再掲載したものである。

解析対象が漢字仮名まじり文から平仮名文に変わった時の各手法の解析精度の低下に着目す ると, 提案手法の落ち込みは, $[\mathrm{CRFs}+\mathrm{RNNLM}]$ と比べると大きいものの, 提案手法と同様に 逐次的な解析を行う [KyTea] と比べると小さいことがわかる。提案手法は, RNNにより大域的 な情報を考慮することによって，平仮名文における曖昧性の一部を解消することに成功し，解析精度の低下を抑制できているものと考えられる.

ここで，提案手法における，式 (1) の補完係数 $\alpha$ に着目する，表 4 を見ると，平仮名文を対象とした場合の最適な補完係数の値は，特に $\alpha$ において，漢字仮名まじり文を対象とした場合

表 8 漢字仮名まじり文と平仮名文の形態素解析結果（F 値）の比較

平仮名文

漢字仮名まじり文

図 73 章（左図：平仮名文対象）と本節（右図：漢字仮名まじり文対象）の実験における $\alpha$ の探索

より，大きくなる傾向が読み取れる。図 7 に， 3 章や本節の実験において， $\alpha$ を 0 から 1 まで 0.1 刻みで変化させたときの, 開発データにおける level0の F 值をプロットしたグラフを示す.「 $\left.\alpha_{-} 112\right.\rfloor は 1$ 月 12 日をテストデータとするときの訓練データで学習したモデルにおいて $\alpha$ を 探索した結果を示す。平仮名文を対象とした場合のグラフのピークが漢字仮名まじり文を対象 とした場合と比べて右に寄っていることが分かる。このことは, 漢字仮名まじり文と比べて,平仮名文の曖昧性解消には, RNNによる大域的な情報をより強く考慮することが重要であるこ とを示唆している。提案手法は，RNNによる大域的な情報を考慮する度合いを強めることによ り，平仮名文に対する解析精度の低下を抑制しているものと考えられる。

一方，漢字仮名まじり文に対する解析精度は，参考までに実施した [JUMAN++] を除き 13 ，す べての level において, 提案手法 $[\mathrm{LR}+\mathrm{RNN}]$ と $[\mathrm{KyTea}]$ が拮抗し, どちらかが最も高い $\mathrm{F}$ 值を 達成している. どの level においても，提案手法 $[\mathrm{LR}+\mathrm{RNN}]$ と $[\mathrm{KyTea}]$ との有意差は認められ なかった (いずれの level も $p>0.05$ ). 上述したように，漢字仮名まじり文を解析する際の補完係数の値は 0 に近づいており，その分だけ，[LR+RNN] が手法として，[LR]に近づいていると いえる。[LR] と [KyTea] は，用いた機械学習手法に違いがあるだけであり，提案手法と [KyTea] の間の差も小さくなっているものと思われる。漢字仮名まじり文に対する提案手法の有効性に 関する検証は今後の課題としたい.

## 5 おわりに

本論文では，RNNとロジスティック回帰を用いた平仮名文の逐次的な形態素解析手法を提案 した．平仮名文に対する形態素解析実験の結果，単語分割と形態素情報のすべての一致を正解 として測定した $\mathrm{F}$ 値において，提案手法は 88.22 となり, 従来手法 [CRFs+RNNLM] の 87.70 を 上回る解析精度を達成した。また提案手法は, 従来手法 [CRFs+RNNLM] と比べて 100 倍以上 の高速化を実現していることを確認した。さらに，漢字仮名まじり文に対する解析実験との比較の結果，漢字仮名まじり文と比べて，平仮名文の解析では，大域的な情報がより効果を発揮 することを確認した。

今後は, 双方向 LSTM (Schuster and Paliwal 1997) や Attention (Vaswani et al. 2017) などの 導入を検討し, 平仮名文に対する形態素解析精度の向上を図る予定である. また, 更なる高速化についても検討したい。 さらに，漢字仮名まじり文に対する提案手法の効果について検証を 進め，漢字仮名まじり文に対する形態素解析精度の向上にも取り組みたい.

## 謝 辞

本研究の提案手法の実装には， scikit-learn 及び PyTorch，PyTorch-lgniteを利用した。評価 には京都大学テキストコーパス, KyTea, MeCab, JUMAN++を利用した。これらの開発に携 わった方々に感謝する。本研究は, 一部, 科学研究費補助金基盤研究 (C) No. $19 K 12127$ によ り実施した。

## 参考文献

Chen, X., Qiu, X., Zhu, C., Liu, P., and Huang, X. (2015). "Long Short-Term Memory Neural Networks for Chinese Word Segmentation." In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 1197-1206, Lisbon, Portugal. Association for Computational Linguistics.

Fomin, V., Anmol, J., Desroziers, S., Kriss, J., and Tejani, A. (2020). "High-Level Library to Help with Training Neural Networks in PyTorch." https://github.com/pytorch/ignite.藤田早苗, 平博順, 小林哲生, 田中貴秋 (2014). 絵本のテキストを対象とした形態素解析. 自

然言語処理, 21 (3), pp. 515-539. [Fujita, S., Taira, H., Kobayashi, T. and Tanaka, T. (2014). "Japanese Morphological Analysis of Picture Books." Journal of Natural Language Processing, 21 (3), pp. 515-539.].

Hochreiter, S. and Schmidhuber, J. (1997). "Long Short-term Memory." Neural Computation,

9, pp. 1735-1780.

井筒順, 古宮嘉那子 (2021). Bi-LSTM CRF モデルを用いた平仮名文の形態素解析. 言語処理学会第 27 回年次大会発表論文集, pp. 942-946. [Izutsu, J. and Komiya, K. (2021). “BiLSTM CRF Moderu-wo Mochita Hiragana-bun-no Keitaiso-kaiseki." Proceedings of the 27th Annual Meeting of the Association for Natural Language Processing, pp. 942-946.].

Kitagawa, Y. and Komachi, M. (2018). "Long Short-Term Memory for Japanese Word Segmentation." In Proceedings of the 32nd Pacific Asia Conference on Language, Information and Computation, pp. 279-288, Hong Kong. Association for Computational Linguistics.

工藤拓, 市川宙, DavidTalbot, 賀沢秀人 (2012). Web 上のひらがな交じり文に頑健な形態素解析.言語処理学会第 18 回年次大会発表論文集, pp. 1272-1275. [Kudo, T., Ichikawa, H., Talbot, D. and Kazawa, S. (2012). "Web-jo-no Hiragana-majiri-bun-ni Ganken-na Keitaiso-kaiseki." Proceedings of the 18th Annual Meeting of the Association for Natural Language Processing, pp. 1272-1275.].

Kudo, T., Yamamoto, K., and Matsumoto, Y. (2004). "Applying Conditional Random Fields to Japanese Morphological Analysis." In Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing, pp. 230-237, Barcelona, Spain. Association for Computational Linguistics.

黒橋禎夫, 居蔵由衣子, 坂口昌子 (2000). 形態素・構文タグ付きコーパス作成の作業基準 version 1.8. http://nlp.ist.i.kyoto-u.ac.jp/index.php?京都大学テキストコーパス [Kurohashi, S., Igura, Y. and Sakaguchi, M. (2000). "Keitaiso $\cdot$ kobun-tagu-tsuki Kopasu-sakusei-no Sagyokijyun version 1.8."].

黒橋・河原研究室 (2012). 日本語形態素解析システム JUMAN version 7.0. http://nlp.ist.i. kyoto-u.ac.jp/index.php? JUMAN [Kurohashi $\cdot$ Kawahara Kenkyu-sitsu. (2012). "Nihongo Keitaiso-kaiseki-sisutemu JUMAN version 7.0."].

Ma, J., Ganchev, K., and Weiss, D. (2018). "State-of-the-art Chinese Word Segmentation with BiLSTMs." In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 4902-4908, Brussels, Belgium. Association for Computational Linguistics.

Ma, X. and Hovy, E. (2016). "End-to-end Sequence Labeling via Bi-directional LSTM-CNNsCRF." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1064-1074, Berlin, Germany. Association for Computational Linguistics.

松本裕治, 高岡一馬, 浅原正幸 (2008). 形態素解析システム『茶鉒』 version 2.4.3 使用説明書. http://chasen-legacy.osdn.jp/ [Matsumoto, Y., Takaoka, K. and Asahara M. (2008). "Keitaiso-kaiseki-sisutemu ChaSen version 2.4.3 Siyo-setsumei-sho."].
森信介, 中田陽介, NeubigGraham, 河原達也 (2011). 点予測による形態素解析. 自然言語処理, 18

(4), pp. 367-381. [Mori, S., Nkata, Y., Neubig, G. and Kawahara, T. (2011). "Morphological Analysis with Pointwise Predictors." Journal of Natural Language Processing, 18 (4), pp. 367-381.].

Morita, H., Kawahara, D., and Kurohashi, S. (2015). "Morphological Analysis for Unsegmented Languages using Recurrent Neural Network Language Model." In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 2292-2297, Lisbon, Portugal. Association for Computational Linguistics.

森山柊平, 大野誠宽, 増田英孝, 絹川博之 (2018). Recurrent Neural Network Language Model を用 いたべた書きかな文の形態素解析. 情報処理学会論文誌, 59 (10), pp. 1911-1921. [Moriyama, S., Ohno, T. Masuda, H. and Kinukawa, H. (2018). "Morphological Analysis of Unsegmented Kana Strings Using Reccurent Neural Network Language Model." IPSJ Journal, 59 (10) pp. 1911-1921.].

長尾真 (編) (1996). 岩波講座ソフトウェア科学〈〔知識〕15〉自然言語処理. 岩波書店. [Nagao, M. (Ed.) (1996). "Iwanami-koza Sofutouea-kagaku 〈[Chishiki] 15〉 Sizen-gengo-shori." Iwanami Shoten].

Neubig, G., Nakata, Y., and Mori, S. (2011). "Pointwise Prediction for Robust, Adaptable Japanese Morphological Analysis." In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, pp. 529-533, Portland, Oregon, USA. Association for Computational Linguistics.

Paszke, A., Gross, S., Massa, F., Lerer, A., Bradbury, J., Chanan, G., Killeen, T., Lin, Z., Gimelshein, N., Antiga, L., Desmaison, A., Kopf, A., Yang, E., DeVito, Z., Raison, M., Tejani, A., Chilamkurthy, S., Steiner, B., Fang, L., Bai, J., and Chintala, S. (2019). "PyTorch: An Imperative Style, High-Performance Deep Learning Library." In Advances in Neural Information Processing Systems 32, pp. 8024-8035. Curran Associates, Inc.

Pedregosa, F., Varoquaux, G., Gramfort, A., Michel, V., Thirion, B., Grisel, O., Blondel, M., Prettenhofer, P., Weiss, R., Dubourg, V., Vanderplas, J., Passos, A., Cournapeau, D., Brucher, M., Perrot, M., and Duchesnay, E. (2011). "Scikit-learn: Machine Learning in Python." Journal of Machine Learning Research, 12, pp. 2825-2830.

Schuster, M. and Paliwal, K. (1997). "Bidirectional Recurrent Neural Networks." IEEE Transactions on Signal Processing, 45 (11), pp. 2673-2681.

Tolmachev, A., Kawahara, D., and Kurohashi, S. (2018). "Juman++: A Morphological Analysis Toolkit for Scriptio Continua." In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 54-59, Brussels, Belgium.

Association for Computational Linguistics.

Tolmachev, A., Kawahara, D., and Kurohashi, S. (2019). "Shrinking Japanese Morphological Analyzers With Neural Networks and Semi-supervised Learning." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 2744-2755, Minneapolis, Minnesota. Association for Computational Linguistics.

Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., and Polosukhin, I. (2017). "Attention is All you Need." In Guyon, I., Luxburg, U. V., Bengio, S., Wallach, H., Fergus, R., Vishwanathan, S., and Garnett, R. (Eds.), Advances in Neural Information Processing Systems, Vol. 30, pp. 5998-6008. Curran Associates, Inc.

## 付録

## A ランダムサンプリングデータを用いた評価実験

本付録では，新聞記事全体から文単位でランダムにサンプリングすることにより，3.1節とは 別の実験データを作成し，その実験データを用いて，3 章と同様の評価実験を実施した結果を 示す. ランダムサンプリングして実験データを作成した場合は，日付ごとに分割して作成した 場合と比べて，テストデータに未知語が含まれる割合は低下することになる． 3 章の実験結果 との比較を行うことにより，未知語割合が提案手法や比較手法に与える影響を考察する.

## A. 1 実験概要

実験データは, 3.1 節と同じく, 京都大学テキストコーパス Version 4.0 の各見出し語を平仮名 に置換したものを利用し作成した。コーパス全体に含まれる 38,400 文 $(972,894$ 単語, $2,320,340$文字）から，文単位でランダムに各 1,000 文をサンプリングしてテストデータおよび開発デー 夕を作成し, 残りの 36,400 文を訓練データとする実験を 5 回実施する．各回の訓練データ，開発データおよびテストデータの詳細を表 9 に示す。また，表 10 に，本付録，及び， 3 章の実験 における各テストデータに含まれる未知語（各訓練データに出現しない単語）の割合を示す.

その他の実験環境や比較手法，評価指標については 3 章の実験と同じである．ただ，本実験における提案手法 $[\mathrm{LR}+\mathrm{RNN}]$ の補完係数 $\alpha, \beta$ は表 11 の通りである.

## A. 2 実験結果

実験結果を表 12 に示す． 3 章の実験結果の適合率，再現率， $\mathrm{F}$ 値（表 5）は，本付録の実験結果（表 12）と比べると, 全ての手法で全ての levelにおいて低い値となっている。 上述した通

表 9 ランダムサンプリングにより作成した実験データ

表 10 ランダムサンプリングデータ及び日付に基づく分割データの各テストデータにおける未知語の割合

表 11 ランダムサンプリングデータを用いた実験における $[\mathrm{LR}+\mathrm{RNN}]$ の補完係数 $\alpha$ と $\beta$

り，3 章の実験デー夕は，本付録の実験データと比べて，テストデータに未知語が含まれる割合が増加しており（表 10 参照），全体的に精度が低下したものと考えられる。

特に，ラティスベースの $[\mathrm{MeCab}]$ や $[\mathrm{CRFs}], \quad[\mathrm{RNNLM}], \quad[\mathrm{CRFs}+\mathrm{RNNLM}]$ の level0 の適合率に着目すると, 表 12 と比べて表 5 の値は著しく低下しており，テストデータに未知語が含ま れる割合が増えると，ラティスベースの形態素解析手法の適合率が低下するという， 4.1 節で述 べた考察を確認できる.

同様に, [CRFs+RNNLM] と提案手法 $[\mathrm{LR}+\mathrm{RNN}]$ の level0 の F 値に着目すると, [CRFs+RNNLM] では 95.89 から 93.37 と大きく低下するのに対して, [LR+RNN] は 95.98 から 94.37 と低下 するものの，その下げ幅が小さくなっており，提案手法の未知語への頑健性を確認できる.

表 12 ランダムサンプリングデータに対する実験結果

## 略歴

森山 柊平：2016 年東京電機大学工学部第二部情報通信工学科卒業. 2018 年同大学大学院未来科学研究科情報メディア学専攻修士課程修了. ヴイエムウェ ア株式会社を経て, 現在, Idein 株式会社に在職. 自然言語処理に関する研究, エッジデバイス向けの画像認識システムの開発に従事.

大野 誠寛：2003 年名古屋大学工学部電気電子・情報工学科卒業. 2007 年名古屋大学大学院情報科学研究科博士後期課程修了. 博士 (情報科学). 同年同大大学院国際開発研究科助教. 2011 年同大情報基盤センター助教. 2017 年より 東京電機大学未来科学部情報メディア学科准教授. この間, 日本学術振興会特別研究員. 自然言語処理, 音声言語処理の研究に従事. 言語処理学会, 情報処理学会, 電子情報通信学会, 各会員.


# マスクされた単語埋め込みと 2 段階クラスタリングを用いた 動詞の意味フレーム推定

山田 康輔 $\dagger$ ・笹野 遼平 $\dagger,+\dagger$ ・武田 浩一 $\dagger$
}

近年, 動詞の意味フレーム推定タスクでは, 推定対象の動詞の文脈化単語埋め込み に基づき，動詞全体で一度にクラスタリングを行う手法がいくつか提案されている。 しかし, このような手法には大きく 2 の欠点が存在する. 1 つは動詞の表層的な 情報を過度に考慮するため, 意味の似た異なる動詞の用例をまとめづらいこと，も う 1 つは同じ動詞の用例がその動詞自身が持つ意味の異なり数以上のクラスタに分割されることである。本論文では，これらの欠点を克服するために，マスクされた 単語埋め込みと 2 段階クラスタリングを用いた動詞の意味フレーム推定手法を提案 する. FrameNetを用いた実験を通し，マスクされた単語埋め込みを活用することが 動詞の表層的な情報に強く依存したクラスタの構築を抑制し，また， 2 段階のクラ スタリングを行うことで各動詞の用例が属するクラスタの異なり数を適正化できる ことを示す.

キーワード : 意味フレーム推定, マスクされた単語埋め込み, 文脈化単語埋め込み, FrameNet
## Semantic Frame Induction using Masked Word Embeddings and Two-Step Clustering

\author{
Kosuke Yamada $^{\dagger}$, Ryohei Sasano ${ }^{\dagger}{ }^{\dagger \dagger}$ and Koich Takeda ${ }^{\dagger}$
}

Recent studies on semantic frame induction show that relatively high performance has been achieved by using clustering-based methods with contextualized word embeddings. However, there are two potential drawbacks to these methods: one is that they focus too much on the superficial information of the frame-evoking verb and the other is that they tend to divide the instances of the same verb into too many different frame clusters. To overcome these drawbacks, we propose a semantic frame induction method using masked word embeddings and two-step clustering. Through experiments on the dataset from the English FrameNet, we demonstrate that using the masked word embeddings is effective for avoiding too much reliance on the surface information of frame-evoking verbs and that two-step clustering can improve the number of resulting frame clusters for the instances of the same verb.

Key Words: Semantic Frame Induction, Masked Word Embeddings, Contexutualized Word Embeddings, FrameNet

## 1 はじめに

人は言葉を理解するとき，これまでの経験から得た単語の背景知識を利用している。たとえ ば，動詞「振る舞う」において，「シェフが料理を振る舞う」と言われれば「誰かが誰かに何ら かの料理を提供している」状況を想像し，「紳士のように振る舞う」と言われれば「誰かがあ る特定の様子で行動している」状況を想像する，人はこれらの「振る舞う」の意味の違いをそ の前後の文脈によって理解し，さらに「“誰かに”提供している」や「“誰かが”行動している」 のような状況を理解するのに必要とされる事柄を補完して，これらの言葉を理解している。フ レーム知識とは, このような単語の背景知識を, 同じ状況を想起させる語と状況の記述に必要 な要素を含んだ意味フレームの形式でまとめたものである。その代表的なリソースの1つとし て, FrameNet (Baker et al. 1998; Ruppenhofer et al. 2016) が存在する.これは Fillmore が提唱するフレーム意味論 (Fillmore 1982) に基づいたフレーム知識リソースである. FrameNet は, テキスト中の単語に対してフレームやフレーム要素のラベル付けを行う意味解析器の構築 (Das et al. 2014; Swayamdipta et al. 2017) に加え，イベント検出 (Liu et al. 2016) や関係抽出 (Zhao et al. 2020)のような情報抽出に関するシステム構築などに利用される.

しかし, FrameNet は人手で整備されていることから, 語彙やフレームのカバレッジに限界が ある.このため, 大規模なテキストコーパスから自動的に動詞のフレーム知識を構築する取り 組みが行われている (Kawahara et al. 2014; Ustalov et al. 2018)。しかしながら，これらの手法 では, 大規模コーパスから動詞とその項を収集し, それらの表層的な情報に基づきクラスタリン グをしているため, 動詞や項の出現する文脈を十分に考慮できていない. そこで，本研究では，文脈を考慮した単語埋め达みを活用することで，より高品質なフレーム知識の自動構築の実現 を目指す.フレーム知識を自動構築するためには，動詞の意味フレーム推定とフレーム要素推定が必要となるが, 本論文では, 最初の段階である動詞の意味フレーム推定に焦点を当てる.

動詞の意味フレーム推定は，テキスト中の動詞を，その動詞が喚起する意味フレームごとに まとめるタスクである。本論文では, FrameNetで定義されている意味フレームごとに, 動詞の 用例をクラスタリングすることで本タスクを実現する。たとえば，表 1 の (1)〜 (4) に示す動詞「get」と「acquire」の用例の場合, $\{(1)\},\{(2)\},\{(3),(4)\}$ の 3 つのクラスタにまとめることを 目標とする。本タスクの大きな特徴の1つとして, 同じ動詞の用例であってもその動詞が示す

表 1 FrameNet における動詞「get」と「acquire」の用例と各動詞が喚起するフレーム（括弧内）．
状況が異なる場合，それらは異なるフレームを喚起し，異なる動詞の用例であってもそれらの 動詞が類似した状況を示す場合，それらは同じフレームを喚起することが挙げられる。

動詞の意味フレーム推定タスクに対して， すでに ELMo (Peters et al. 2018) や BERT (Devlin et al. 2019) などの文脈化単語埋め込みを用いたクラスタリング手法が提案されている。たとえ ば，SemEval2019における動詞の意味フレーム推定の共有タスク (QasemiZadeh et al. 2019)で は，ベースラインを超えた 3 グループ (Arefyev et al. 2019a; Anwar et al. 2019; Ribeiro et al. 2019) はいずれも，推定対象動詞の文脈化単語埋め込みを用いて，動詞全体で一度にクラスタリ ングを行っている。しかしながら，このような手法には大きく 2 つの欠点がある.

1つ目の欠点は，フレーム推定対象となる動詞の表層的な情報を過度に考慮してしまうことで ある．表 1 の動詞「get」のように，一部の動詞は文脈により異なるフレームを喚起する。しか し, 文脈化単語埋め込みはその単語の表層情報も含むことから, 同じ動詞の埋め込みは文脈が 異なっていたとしても類似する傾向がある。このため, 文脈化単語埋め込みに基づくクラスタ リングを行うとき，異なる意味の動詞の用例であっても同じ動詞であれば，1つのクラス夕にま とめられてしまう事例が多い。たとえば，FrameNetから動詞「get」と「acquire」の用例を抽出し, 事前学習済み BERT (Devlin et al. 2019) を用いて「get」と「acquire」の文脈化単語埋め 込みを獲得し, t-SNE (Maaten and Hinton 2008) によって 2 次元にマッピングした結果を図 1 左に示す.「get」が喚起するフレームのうち Getting フレームを喚起する「get」の埋め込みは,

図 1 動詞「get」と「acquire」の文脈化単語埋め込みの 2 次元マッピング. 左図が動詞の通常の埋め込 み，右図がマスクされた動詞の埋め込みによる結果である．2つの図の間にある括弧付きの数字は 表 1 の用例に対応し, +と・はそれぞれ動詞「get」と「acquire」の埋め込み, 各色は Arriving, Transition_to_state, Getting フレームを示す.
同じくGetting フレームを喚起する「acquire」の埋め込みに近い位置に分布する傾向はあるも のの，動詞ごとにまとまって分布する傾向が強いことが確認できる。本研究ではこの問題を解消するため，フレーム推定対象の動詞をマスクしたときの文脈化単語埋め込みを利用する手法 を提案する，具体的には，推定対象の動詞を“[MASK]” に置き換えたときの文脈化単語埋め込 みを利用する。図 1 左と同様にして，マスクされた動詞の文脈化単語埋め込みを 2 次元にマッ ピングした結果を図 1 右に示す。マスクを用いた埋め込みの場合，動詞の表層的な情報が限定的となり，同じフレームを喚起する動詞の埋め込みが近い位置に分布することが確認できる.

2 つ目の欠点は, 同じ動詞が喚起するフレームの異なり数は数個程度と限定的であるにも関わ らず，その動詞の用例が多くの異なるクラスタに分かれる事例が多いことである。これは，動詞の埋め込みが外れ值となる場合，それぞれ別のクラスタに属するようにクラスタリングされ るためである．このような事態を避けるため，本研究ではまず動詞ごとに用例のクラスタリン グを行った後，フレーム単位でまとめるために動詞横断的にクラスタリングを行う 2 段階クラ スタリング手法を提案する。

## 2 関連研究

FrameNet などのフレーム知識リソースの構築や拡張は, 人手で整備されていることから多大なコストがかかる．このため，大規模なテキストコーパスからフレーム知識を自動構築する 取り組みが行われている. Kawahara らは大規模な Webコーパスから動詞とその項を抽出し, Chinese Restaurant Process (Aldous 1985)を用いて，動詞ごとに意味の類似した項をまとめる クラスタリングを行うことで，動詞の意味フレームを獲得している (Kawahara et al. 2014). ま た, Ustalov らは大規模コーパスから動詞，主語，目的語から成る 3 つ組を収集し，それらの 3 つ組の文脈を考慮しない単語埋め込みを連結した表現に基づき，グラフベースのクラスタリン グを行うことで実現している (Ustalov et al. 2018). しかし, これらの手法は, 大規模コーパス から動詞とその項を収集し，動詞や項の表層的な意味に基づきクラスタリングを行っているた め, 動詞や項の文脈による意味の違いをほとんど考慮できていない。本研究で使用するように，文脈化単語埋め込みを利用することで，より高品質なフレーム知識の自動構築が期待できる.

フレーム知識の自動構築において, 文脈化単語埋め込みを利用した取り組みが行われている. SemEval2019 の共有タスク (QasemiZadeh et al. 2019)では，動詞の意味フレーム推定や項の意味役割推定に対し, ELMo や BERT から獲得した文脈化単語埋め込みを用いた手法が提案され ている. 特に, 動詞の意味フレーム推定に関して, Arefyev ら (Arefyev et al. 2019a), Anwar ら (Anwar et al. 2019), Ribeiro ら (Ribeiro et al. 2019)による手法が高いパフォーマンスを示す と報告されている. Arefyev らは, 推定対象の動詞の BERT から獲得した埋め込みを基に階層型クラスタリングを行い，その後，BERT を用いて対象動詞の言い換え単語を推定し，それら

の単語を用いて各クラスタを 2 分するクラスタリングを行っている. この手法は, 本研究の提案手法と同様に 2 段階でクラスタリングしているが，1 段階目に動詞横断的なクラスタリング を行っており，我々が指摘する欠点を持つ. Anwar らは, skip-gram (Mikolov et al. 2013) によ る推定対象動詞の埋め込みと文全体の埋め込みを連結した表現を用いて階層型クラスタリング を行っている。 Anwar らは共有タスクのスコア提出後に，ELMoから獲得した埋め込みを用い た同様のモデルを検討し， skip-gram を用いたときより高いスコアが得られたと報告している． Ribeiro らは，推定対象動詞の ELMo による文脈化単語埋め込みを基に，グラフベースのクラス タリング (Biemann 2006) を行っている.

文脈化単語埋め込みは，動詞の意味フレーム推定タスクと類似した語義推定タスクにおいて も有用であることが報告されている．Amrami らは，ELMoを用いて語義推定対象語の言い換 え候補となる語の出現確率を算出し，それに基づき語義を推定している (Amrami and Goldberg 2018). Arefyev らは，推定対象語の前後の文脈情報をより考慮することで，Amrami らの手法 を改善している (Arefyev et al. 2019b)。また, Amrami らは ELMoを BERT に置き換えること で，さらに高いパフォーマンスが得られたと報告している (Amrami and Goldberg 2019). 語義推定は同じ語の意味を識別する夕スクであるため，意味の似た異なる動詞をまとめることは考慮されていない。このため, これらの手法を動詞の意味フレーム推定に直接適用することは容易でない.

## 3 提案手法

本研究では，動詞の意味フレーム推定において，文脈化単語埋め込みとして動詞をマスクし た場合の埋め込みを利用し, 動詞ごとの用例クラスタリングと動詞横断クラスタリングの 2 段階でクラスタリングを行う手法を提案する。

## 3.1 マスクされた単語の埋め込みの利用

動詞の意味フレーム推定に用いる埋め込みとして，従来手法で使用された推定対象動詞の文脈化単語埋め込みに加え, その動詞をマスクした場合の文脈化単語埋め込みを利用する。近年, BERT などの多くの事前学習済みモデル (Devlin et al. 2019; Liu et al. 2019; Lan et al. 2020; He et al. 2020) では，テキストの一部の単語を特殊トークンである“[MASK]”などに置き換え，周囲の文脈からそのマスクされた単語の元単語を推定するマスク単語穴埋めタスクによる事前学習が行われている。この事前学習により，マスクされた単語埋め込みは，表層的な情報を抑え つつ周囲の文脈を考慮した埋め込みが獲得できていると考えられ，動詞横断的にフレームを推定する際に有用であることが期待される。

本研究では, 文脈化単語埋め込みとして BERT を利用する. BERT は Yamada ら (Yamada
et al. 2021b) の文脈化単語埋め込みを用いた動詞のフレーム識別実験において高い評価スコア を獲得しており, 本研究においても有用と考えられる。具体的には, 以下の 3 種類の文脈化単語埋め込みを考える。

$v_{\text {word }}$ ：フレーム推定対象動詞の通常の文脈化単語埋め込み

$v_{\text {mask }}$ フレーム推定対象動詞を“[MASK]”に置き換えた場合の文脈化単語埋め込み

$v_{\mathbf{w}+\mathbf{m}}$ : 式 (1) で定義される上記 2 つの加重平均

$
v_{\mathrm{W}+\mathrm{M}}=(1-\alpha) \cdot v_{\mathrm{WORD}}+\alpha \cdot v_{\mathrm{MASK}}
$

$v_{\mathrm{W}+\mathrm{M}}$ は推定対象動詞をマスクした場合と, しない場合の文脈化単語埋め込みの加重平均である.開発セットを用いて重み $\alpha$ を適切に設定することにより，推定対象動詞の表層的な情報と周辺文脈から得られる情報を適切に考慮した埋め込みが得られることを期待している． $v_{\mathrm{W}+\mathrm{M}}$ は， $\alpha$ が 0 のときに $v_{\mathrm{WORD}}$ と一致し， $\alpha$ が 1 のときに $v_{\mathrm{MASK}}$ と一致する.

## 3.22 段階クラスタリング

動詞の意味フレーム推定で行うクラスタリングとして，1段階目に動詞ごとの用例クラスタ リング， 2 段階目に動詞横断クラスタリングを行う 2 段階クラスタリングを提案する. 1 段階目 のクラスタリングでは，同じ意味の同じ動詞の用例をまとめたクラスタが得られる．その後, 2 段階目のクラスタリングでは，同じ意味の異なる動詞の用例をまとめたクラスタが得られ，ク ラスタは FrameNet の意味フレームと対応するものとする。1 段階目のクラスタリングにおいて 各動詞の用例を少数の意味ごとのクラスタにまとめておくことで, 同じ動詞の用例が多くの異 なるクラスタに分割しないことを期待している.

図 2 に動詞「get」と「acquire」の用例を 2 段階クラスタリングしたときの流れを示す.この 例では，まず，1 段階目のクラスタリングを行い，「get」の用例は 3 つのクラスタ，「acquire」の 用例は 1 つのラスタにまとめられている。次に，1段階目でまとめられたクラスタ内で埋め込 みの平均を算出し， 2 段階目のクラスタリングで用いる埋め込みを作成している. 最後に, 2 段階目のクラスタリングを行い,「get」のクラスタのうちの1つと「acquire」のクラスタがマー ジされ, 3 つのクラスタとなっている. 以下では, 各クラスタリングの詳細について説明する.

1. 動詞ごとの用例クラスタリング 1段階目のクラスタリングは, 各動詞の用例をその動詞の 意味ごとにまとめることを目的とする。このクラスタリングの対象となる動詞は共通であるた め, 文脈化単語埋め込みとして $v_{\text {WORD }}$ を用いる場合と， $v_{\text {MASK }}$ を用いる場合で結果に大きな違い はないと考えられる 1 .このため，1 段階目のクラスタリングでは $v_{\text {MASK}}$ のみを用いる. クラス タリング手法は, X-means (Pelleg and Moore 2000), またはユークリッド距離に基づく群平均

1段階目：動詞ごとの 用例クラスタリング

## 2段階目：動詞横断 クラスタリング

図 22 段階クラスタリングの流れ. 左上, 左下図はそれぞれ動詞「get」と「acquire」を対象とした 1 段階目の動詞ごとの用例クラスタリング, 中図は 1 段階目のクラスタリングで構築したクラスタ内の 埋め込みの平均の算出, 右図は 2 段階目の動詞横断クラスタリングを示している. 各図における + と・は用例中の「get」と「acuquire」の埋め込みを表す.

法による階層型クラスタリングを用いる．X-means は，全ての用例を 1 つのクラスタにした状態から，クラスタ数 2 の K-means を繰り返し行い，ベイズ情報量基準 (BIC) (Schwarz 1978) に 基づき自動的にクラスタリングを終了する手法である。一方, 群平均法は, クラスタ間の全要素ぺアの平均距離をクラスタ間距離として定義し, クラスタ間距離の小さいクラスタペアから 順にマージする手法であるが，自動的にクラス夕数を決められない。このため，群平均法では クラスタリングの終了基準が必要である。本研究では, クラスタ間距離が間値 $\theta$ 以下となるク ラスタペアがなくなった時点を終了基準とする。閥値 $\theta$ は全動詞で共有され，十分に大きな值 に設定した場合，すべての動詞のクラスタはそれぞれ 1 つとなる. 閾値 $\theta$ を十分に大きな値か ら徐々に小さくしていき, 全動詞のクラスタ数の平均が, 開発セットにおける各動詞が喚起す るフレームの異なり数の平均と最も近い值に設定する.

FrameNet (Baker et al. 1998; Ruppenhofer et al. 2016) では，意味フレームとそのフレームを 喚起する語を結び付けたものを語彙項目 (Lexical Unit; LU) と呼ぶ．動詞「get」の場合, get-

Arriving, get-Transition_to_state, get-Getting がLUにあたる. 1段階目のクラスタリングによ り構築されたクラスタは, 各動詞の用例を，その動詞が喚起するフレームごとにまとめたもの であることから，各クラス夕は LUに対応する集合とみなすことができる。 そこで，本研究で は 1 段階目のクラスタリングで構築されたクラスタを疑似 LU (pseudo-LU; pLU) と呼ぶことに する。

2. 動詞横断クラスタリング 2 段階目のクラスタリングでは, 1 段階目のクラスタリングで構築された $\mathrm{pLU}$ に対して, 動詞横断的にクラスタリングすることで, 同じ意味フレームを喚起す る異なる動詞の用例をまとめることを目的とする。ここでは，まず，pLUごとに動詞の埋め込 みの平均を算出する. その後, 得られた埋め込みに基づき, 動詞横断的にクラスタリングを行 う．クラスタリング手法は，ユークリッド距離に基づく群平均法，またはウォード法による階層型クラスタリングを用いる.

これらの手法は共にクラスタリングの終了基準が必要である。単純な基準として，フレーム 数と動詞数の比率を用いることが考えられるが，フレームの種類数は上限があり，フレーム数は 動詞数に対して線形に増加しないため, 終了基準として適切ではない. そこで, 本研究では, 開

割合を用いた基準を提案する。具体的には, $\mathrm{pLU}$ ぺアが同じクラスタに属する割合 $P_{\mathrm{C}_{1}=\mathrm{C}_{2}}$ が,開発セットにおける $\mathrm{LU}$ ペアが同じフレームに属する割合 $P_{\mathrm{F}_{1}=\mathrm{F}_{2}}$ 以上となった時点でクラスタ リングを終了する． $P_{\mathrm{F}_{1}=\mathrm{F}_{2}}$ は式 $(2)$ により算出される。一方, $P_{\mathrm{C}_{1}=\mathrm{C}_{2}}$ も同様に計算できるが, 全 ての $\mathrm{pLU} ゚ ア$ 数はクラスタリングの段階に依らず一定であるのに対し, 同じクラスタに属する $\mathrm{pLU}$ ペア数はクラスタリングが進むにつれて単調増加し，全体が1つのクラスタとなった時点 で 1 となる.このため, クラスタリングの過程で $P_{\mathrm{F}_{1}=\mathrm{F}_{2}}$ 以上の値となることが保証される。ま た，無作為に抽出した LUペアが同じフレームに属する確率はデータサイズに依らないことか ら, このような基準はテストセットのサイズに依らず有効であると考えられる.

$
p_{\mathrm{F}_{1}=\mathrm{F}_{2}}=\frac{\text { 同じフレームに属する } \mathrm{LU} \text { ペア数 }}{\text { 全ての } \mathrm{LU} \text { ペア数 }}
$

## 4 実験

マスクされた単語埋め込みと 2 段階クラスタリングを用いた提案手法の有用性を確認するた め，動詞の意味フレーム推定タスクによる実験を行った。

## 4.1 実験設定

データセット FrameNet $1.7^{2}$ (Ruppenhofer et al. 2016) から，いずれかのフレームにおいて 20

件以上の用例が存在する動詞，および該当する $\mathrm{LU}$ の用例を抽出し，実験に使用した．LUごと の用例数は上限 100 件とし，それを越える場合は無作為に 100 件を選択し用いた。全部で 1272 動詞が抽出され，そのうち $20 \%$ の 255 動詞を開発セット，残りの 1017 動詞をテストセットと して使用した。この際，文脈に応じて異なるフレームを喚起する動詞 ${ }^{3}$ 割合が開発セットとテ ストセットで一致するように注意した，なお，開発セットは $v_{\mathrm{w}+\mathrm{M}}$ の重み $\alpha^{4}$ ，クラスタ数，お よび文脈化単語埋め达みとして使用する BERT の層の決定に利用した 5 . 表 2 に作成したデー タセットの統計値を示す。全体のフレーム数が開発セットとテストセットのフレーム数の和よ り小さな数になっているのは, 開発セットとテストセットは動詞単位で分割していることから, それぞれに含まれるフレームは一部重複するためである。

評価尺度 評価尺度として， B-Cubed Precision (BCP), B-Cubed Recall (BCR)，およびその 調和平均である B-Cubed F-score (BCF) (Bagga and Baldwin 1998) と, Purity (PU), Inverse Purity (IPU)，およびその調和平均である F-score (PIF) (Zhao and Karypis 2001)の6つを利用 した．B-Cubed はクラスタ集合とラベル集合のサンプルの分布に着目した評価指標である。 ク ラスタにラベルを割り当てず，サンプルごとで Precision と Recallを計算し，その調和平均に よってクラスタリング評価を行う．Purity はクラスタが単一のラベルで占められている度合い， Inverse Purity は単一のラベルが1つのクラスタに集中している度合いを評価する指標である. SemEval2019 の共有タスク (QasemiZadeh et al. 2019)では，BCF を基準にシステムの順位を決定している.

比較モデル 提案手法では，文脈化単語埋め込みとして Hugging Face が公開している Transformers $^{6}$ (Wolf et al. 2020) に含まれる事前学習済みの BERT (bert-base-uncased) を利用した 7 . クラスタリング手法に関しては，1 段階目のクラスタリングとして群平均法による階層型クラ スタリングまたは X-means の 2 種類を，2 段階目のクラスタリングとしてウォード法または

表 2 FrameNet を用いたデータセット

群平均法による階層型クラスタリングの 2 種類をそれぞれ利用し, これらの組み合わせた計 4 種類のモデルを比較した。また，各動詞の用例集合をそれぞれ1クラスタとして扱うモデル (1-cluster-per-verb; 1cpv), 各動詞の用例集合をそれぞれ 1 クラスタ (1cpv')とした上で， 2 段階目のクラスタリングを行うモデルとも比較した.

SemEval2019 の共有タスクのスコアの高かった上位 3 つの従来研究のモデルとの比較も行っ た. Arefyevらは，推定対象動詞の BERT の埋め込みを用いて，そのコサイン類似度に基づく 群平均法による階層型クラスタリングを行った後に，BERT を用いて獲得した推定対象動詞の 言い換え単語による tf-idf ベースの特徴量を作成して，各クラスタを 2 分するクラスタリングを 行っている (Arefyev et al. 2019a). また，開発時とテスト時の差をなくすために，開発セットと テストセットを統合してクラスタリングを行っている。開発時には，開発セットのフレームラ ベルのみを用い，1段階目のクラスタリング終了基準となるクラスタ数と，使用する BERT の 埋め込みの層を BCF を基準に決定している. Anwar らは, skip-gram で推定対象動詞の埋め込 みと文全体の埋め込みを連結した表現を用い，そのマンハッタン距離に基づく群平均法による 階層型クラスタリングを行っている (Anwar et al. 2019). 開発時には，クラスタリング終了基準となるクラスタ間距離を BCF を基に決定している. Rebeiro らは，推定対象動詞の ELMoの 埋め込みを獲得し, Chinese Whispers (Biemann 2006)によるグラフクラスタリングを行ってい る (Ribeiro et al. 2019). Chinese Whispers はクラスタ数を自動的に決定する手法であるため,開発セットによるハイパーパラメータを調整する必要はない.

さらに，2 段階クラスタリングの有用性を確認するため，1段階でクラスタリングを行うモデ ルとの比較も行った，1段階クラスタリングに基づくモデルでは，提案モデルと同様に，文脈化単語埋め込みとして $v_{\mathrm{W}+\mathrm{M}}$ を使用し，重み $\alpha$ を開発セットにより調整し， ウォード法または 群平均法による階層型クラスタリングを用いた。ここで指定したクラスタ数は, データセット 中のフレーム数とし, クラスタ数がフレーム数と一致した時点でクラスタリングを終了した.

## 4.2 実験結果

表 3 に実験結果を示す. SemEval2019の共有タスクにおいてシステムの順位付けに使用され た BCF で比較した場合，1段階目にX-means, 2 段階目に群平均法を用いた手法のスコアが 63.4 となり，全手法の中で最も高いスコアを達成した，PIFにおいても最も高いスコアである 71.9 を達成しており, 有用な手法であるといえる。また，2 段階目のクラスタリングの終了基準に 関しても，テストセット中のフレーム数は 393 であるのに対してクラスタ数は 410 であり，有効に機能していることが確認できる.

マスクされた単語の埋め込みの有用性 2 段階クラスタリングに基づくモデルの多くは $\alpha$ が 0.0 と 1.0 以外の値となっていることから， $v_{\mathrm{WORD}}$ と $v_{\mathrm{MASK}}$ の両方を考慮することの有効性が確認で きる。また，多くのモデルで $\alpha$ は 1.0 に近い値となっており，2 段階目の動詞横断クラスタリン

} & 1 段階目 & 2 段階目 & & & & & \\

表 3 動詞の意味フレーム推定実験の結果． $\alpha$ は $v_{\mathrm{w}+\mathrm{M}}$ の重み，\# $\mathrm{pLU}$ は 1 段階目のクラスタリング後の $\mathrm{pLU}$ 数, $\# \mathrm{C}$ は最終的に得られたクラスタ数を表す.

グにおいて $v_{\mathrm{MASK}}$ が有用であることがわかる.

一方，1段階クラスタリングに基づくモデルにおける $v_{\mathrm{W}+\mathrm{M}}$ は， $\alpha$ が 0.0 で $v_{\mathrm{WORD}}$ と同等な埋 め込みとなっている。すなわち, 用例全体でクラスタリングする場合, $v_{\mathrm{MASK}}$ の有用性は確認で きなかった。これは動詞全体で一度にクラスタリングを行う場合, 異なる動詞の用例をまとめ ることよりも，同じ動詞の用例をまとめることを優先した方がスコアが高くなるためであると 考えられる。また， $v_{\mathrm{MASK}}$ は同じ“[MASK]” トークンの埋め込みであることから， $v_{\mathrm{WORD}}$ と比較 して多くの動詞の埋め込みが類似していると考えられる。このため, 異なる意味の動詞の用例 であっても同じクラスタに含まれる傾向がある。加えて，1段階クラスタリングでは，類似し た用例集合による動詞の埋め込みの平均ではなく，単独の動詞の埋め込みを利用するため，そ の影響をより受けやすくなっていると考えられる。

2 段階クラスタリングの有用性 2 段階目に群平均法を用いたモデルのスコアが全体的に高く, 1 段階でクラスタリングを行う手法と比較しても 10 ポイント前後高いスコアを達成している. このことから 2 段階クラスタリングが有用であるといえる.

1段階目のクラスタリングに関して, 1cpv'の後に群平均法を利用するモデルよりも，X-means の後に群平均法を利用したモデルのスコアが 2.9 ポイント高いことが確認できる。ただし， 1 段階目に群平均法，2段階目に群平均法を利用したモデルは，1cpv'の後に群平均法を利用するモ デルよりも 0.4 ポイント低く, 必ずしも 1 段階目のクラスタリングが有用であるという結果は得 られなかった。しかしながら，本実験では，用例数の少ないLU を利用していないことから全体的に複数のフレームを喚起しうる動詞が少なくなっているが，実際に大規模なテキストコー パスからフレーム知識を構築する場面では, 文脈に応じて意味の異なる動詞の数が増えるため,

1 段階目のクラスタリングが有用となる可能性があると考えている。これらのクラスタリング 法について，4.3節においても言及する.

2 段階目のクラスタリングに関して，2段階目にウォード法を用いたモデルは，2 段階目に群平均法を用いたモデルより 10 ポイント以上低いスコアとなっている. これは本タスクで構築し たいクラスタとウォード法から構築するクラスタの傾向が異なることが要因であると考えられ る. ウォード法では，クラスタサイズの大きいクラスタペアほど結合しにくくなる特徴により，同程度のサイズのクラスタを多く構築する傾向がある。一方で, FrameNetにおけるそれぞれの フレームを喚起する動詞数の分布はロングテールとなっている。これらの違いがスコアの低下 につながっていると考えられる。このことについて， 4.4 節でさらに言及する.

提案手法によって得られたクラスタの例 提案手法によって構築されたクラスタが意味フレー ムをどれほど表現できているかを確認するために，実験で最もスコアの高かった，1段階目に X-means, 2 段階目に群平均法を用いたモデルによるクラスタリング結果の一部を示す. 表 4 に, クラスタ内の合計動詞数の多い上位 5 クラスタを示し, また, 表 5 に, データセット中のフレー ム内の合計動詞数の多い上位 5 フレームを示す.

表 4 より, クラスタ内の合計動詞数の最も多いクラスタ IDが 139 のクラスタでは, 自ら移動す ることを意味する Self_motion フレームを喚起する動詞の用例を中心にクラスタが構築されてい ることが確認できる. Self_motion フレームはデータセットにおいて最も多くの種類の動詞が喚起するフレームであり，それを反映したクラスタリング結果が得られている．他のフレームに関 して, Motion フレームは Self_motion フレームの上位フレーム8であり, また, Operate_vehicle, Motion_noise, Body_movement フレームの上位フレームでもある. すなわち, このクラスタは Self_motion フレーム，およびそのフレームと関係の深いフレームを喚起する動詞の用例がまと まっていることを意味し, 動詞の意味に合わせてクラスタが構築できていることがわかる。ま た, 表 5 に Self_motion フレームを喚起する動詞の用例の属しているクラスタを示しているが, クラスタ IDが139のクラスタにおいて, Self_motion フレームが付与された動詞 71 個のうち 57 個をまとめることに成功していることが確認された.

表 4 より，クラスタ ID が 232 のクラスタはクラスタ内の用例中の動詞はすべて同じ Experiencer_obj フレームを喚起するものとなっており，フレームに対応したクラスタが形成されて いることが確認できる。このように，単独のフレームに対応したクラスタが形成された理由は 2 つある考えられる．1つは，Experiencer_objフレームは何らかの事象により人などの生物 が感情を引き起こすことを意味するフレームであるが，上位下位関係にあるフレームが感情に 関する Emotions フレームのみであり関係の深いフレームが少ないことである.このため, フ
^{8}$ FrameNet では, 一部のフレーム間に継承などの階層関係が定義されている．詳しくは Ruppenhofer らの文献に 記載されている (Ruppenhofer et al. 2016).
}

 \\

表 4 1 段階目に X-means, 2 段階目に群平均法を用いたモデルによるクラスタリング結果. クラスタ内 の合計動詞数の多い上位 5 クラスタを示す. クラスタ内で最も動詞数の多いフレームをそのクラス 夕の代表フレームとし, †は代表フレームの上位にあたるフレーム， は代表フレームと下位にあ たるフレーム，† は代表フレームと共通の上位フレームを持つフレームであることを意味する。

レームの曖昧さによる影響を受けづらい。もう 1 つは，このフレームを喚起する動詞は感情に 関するもののみであることから，動詞そのものの意味が類似しているものが多く，また，構文 が類似する傾向がある。このような理由で，Experiencer_obj フレームを喚起する動詞の文脈化単語埋め込みの類似度が高いと考えられる。また, 表 5 から Experiencer_obj フレームが付与さ れた動詞 47 個のうち 35 個をまとめており，適切にクラスタが構築できていることがわかる. Experiencer_obj フレームは, Self_motion フレームより最大クラスタに属さない動詞も他のクラ

表 51 段階目に X-means, 2 段階目に群平均法を用いたモデルによるクラスタリング結果. FrameNetを 用いたデータセット中のフレーム内の合計動詞数の多い上位 5 フレームを示す.

スタでまとまる傾向が見られるため，他のフレームより推定しやすいフレームであると考えら れる。

表 4 より, クラスタ ID が 319 のクラスタは Statement フレームを喚起する動詞を中心にクラ スタが形成されている。しかし, このクラスタでは 15 種類のフレームがそれぞれ付与された動詞の用例がクラスタ内に含まれている。これには大きく 2 つの理由が考えられる. 1 つは，クラ

スタ IDが 139 のクラスタと同様に，クラスタ内の代表的なフレームと関係の深いフレームが同 じクラスタとしてまとまってしまったという理由である. Statement フレームは話し手から聞 き手に向けてメッセージを伝えることを意味するフレームであるが，クラスタ内に含まれてい る Reveal_secret, Complaining, Affirm_or_deny, Telling フレームは, Statement フレームの下位の関係にあたり，より具体的な状況を意味することから同じクラスタに属していると考えら れる。もう 1 つは，1段階目のクラスタリングにおいて，同じ動詞の用例間のフレームを識別で きず，異なるフレームを喚起する動詞の用例を 1 つのクラスタにまとめてしまい，最終的に同じ クラスタになったという理由である。このクラスタでは, 動詞「say」,「suggest」,「mention」,「confide」,「urge」,「argue」,「conclude」がそれに該当する.

## 4.31 段階目のクラスタリングに関する考察

2 段階クラスタリングにおいて，2 段階目に群平均法を用いたモデルのスコアが高い傾向にあっ た。その 1 段階目のクラスタリング手法を比較すると，群平均法を用いたモデルは， X-means を用いたモデルよりもスコアが低く, 1 cpv'モデルと同等のスコアを示すことが確認された。こ れには大きく2つの理由が考えられる。

1 つは，外れ値の影響を受けたクラスタを構築する傾向があることである．たとえば，図 3 に クラスタリング結果を付与した, 動詞「lead」の埋め込みの t-SNE による 2 次元マッピングを

群平均法

X-means

図 31 段階目に群平均法（左）または X-means （右），2 段階目に群平均法を用いたモデルのクラスタ リング結果を付与した, 動詞「lead」のマスクされた動詞の BERT から獲得した埋め込みの t-SNE による 2 次元マッピング. 各色は Leadership, Cotheme フレームを示し, 数字は 2 段階クラス タリングによって得られた最終的なクラスタのクラスタ ID を示す.
示す. 図 3 からわかるように，X-means を用いたモデルは動詞が喚起するフレームごとに適切 にクラスタが構築されている。一方で，群平均法を用いたモデルは 2 つのクラスタがあるもの の，片方はほとんどの用例が 1 つのクラスタにまとまっており，適切にクラスタが構築されて いない. これは群平均法がクラスタを結合する際に，クラスタサイズを考慮しないことが要因 である可能性が高い．群平均法を用いたモデルでは，このような事例が複数確認されたことか ら，スコアが低くなっていると考えられる。

もう 1 つは, 特定のフレームしか喚起しない動詞であるにも関わらず, その動詞の用例が複数 のクラスタに分かれてしまうことである。実験に用いたテストセットの中には, 特定のフレー ムしか喚起しない動詞が 875 個存在する. X-means を用いた場合, 875 個全ての動詞において, その用例がそれぞれ 1 つのクラスタまとまった一方で, 群平均法を用いた場合, 87 個の動詞 でその用例が複数のクラスタに分かれた。これは郡平均法におけるクラスタ数の決定方法に影響されていると考えられる．郡平均法では，各動詞が喚起するフレームの異なり数の平均を基準としてクラスタリングを終了させているため, ある動詞のフレームの識別度合いが他の動詞 のフレーム識別に影響を及ぼす。たとえば，複数の意味を持つ動詞の意味フレームを識別でき ずに1つのクラスタとなった場合，特定の意味しか持たない動詞のクラスタが分割される可能性が高い.このため, 1 段階目に群平均法を用いたモデルのスコアが低くなっていると考えら れる。

## 4.42 段階目のクラスタリングに関する考察

2 段階クラスタリング手法では，2 段階目にウォード法を用いたモデルの方が， 2 段階目に群平均法を用いたモデルよりも全体的にスコアが低くなった。この1つの要因として, 各クラス 夕の大きさが，データセット中の各フレームの傾向を十分に反映していないことが考えられる.具体的には，各クラスタに含まれる動詞数の分布が，データセット中の各フレームを喚起する 動詞数の分布とは異なっていると考えられる。これを検証するために，1段階目にX-means， 2 段階目にウォード法または群平均法を用いたモデルを使用し, 得られた各クラスタの動詞数の 分布とデータセット中の各フレームを喚起する動詞数の分布と比較した.

図 4 にデータセット中の各フレームを喚起する動詞の異なり数と，2つのモデルによって得 られた各クラスタに含まれる動詞数の分布を示す。縦軸は各フレームを喚起する動詞数および 各クラスタに含まれる動詞の異なり数，横軸はそれらを動詞数が多い順に並び替えたときの順位を示している，各フレームを喚起する動詞数の多い上位 5 フレームは，表 5 に示すように， Self_motion, Experiencer_obj, Statement, Body_movement, Placingフレームである. これら のフレームを喚起する動詞はそれぞれ 71 個, 47 個, 26 個, 26 個, 24 個存在する.また, 1 段階目にX-means，2 段階目に群平均法を用いたモデルでは，クラスタ内に含まれる動詞数の多い 上位 5 クラスタは，表 4 に示すように，クラスタ IDが $139,232,319,146,309$ のクラスタで

図 4 FrameNet を用いたデータセット中の各フレームを喚起する動詞の異なり数，および 1 段階目に X-means，2 段階目にウォード法または群平均法を用いたモデルによる各クラスタ内の動詞数．縦軸は各フレームを喚起する動詞の異なり数および各クラスタに含まれる動詞数，横軸はそれらを動詞数が多い順に並び替えたときの順位を示している.

ある。これらのクラスタに含まれる動詞はそれぞれ 65 個, 35 個, 24 個, 23 個, 18 個存在する.

図 4 からわかるように，2段階目に群平均法を用いたモデルによる各クラス夕内の動詞数の 分布が，データセット中の各フレームを喚起する動詞の異なり数の分布とかなり類似している.一方，2 段階目にウォード法を用いたモデルによる各クラスタに含まれる動詞数の分布は，デー タセット中の各フレームを喚起する動詞の異なり数の分布と異なることがわかる。これらの結果から, ウォード法はクラスタ内の動詞数が多いほど他のクラスタと結合しづらくなるため, こ のタスクには適しておらず，群平均法のようなクラスタ内の動詞数を考慮しない手法が動詞横断的なクラスタリングにおいて有用であると考えられる.

## 5 おわりに

本研究では, 動詞の意味フレーム推定において, マスクされた単語の埋め込みと 2 段階クラ スタリングを用いた手法を提案した．FrameNetを用いた評価実験を行い，提案手法が従来手法 より高いスコアを達成できることを示し，提案手法の有用性を確認した。具体的には，マスク された単語埋め込みを用いることによって，同じフレームを喚起する異なる動詞の用例をより まとめられるようになること，また，2 段階クラスタリングによって，同じ動詞の用例が多く のクラスタに分割されることを防ぐことを示した。

本研究の最終目標は，実用的な意味処理を支援するために，大規模コーパスからフレーム知
識を自動構築することである、フレーム知識を自動構築するためには，動詞の意味フレーム推定に加えて, フレーム要素推定が必要となる. 従来研究 (Kawahara et al. 2014; Ustalov et al. 2018) におけるフレーム要素は，動詞に対して同じ依存関係ラベルが付与されたものとしてい る.しかし, 動詞との依存関係が同じ語であっても意味役割の異なるものや, 依存関係が異なっ ていても意味役割が同じものは存在する。文脈化単語埋め込みは周囲の文脈を考慮しているこ とから, 意味役割の違いを認識し, このような事例に対応できる可能性がある．今後の課題と して，依存関係ラベルより的確な単位である意味役割に基づいたフレーム要素の推定手法を検討したい.

また, 本研究では FrameNet を用いたデータセットに対する動詞の意味フレーム推定に取り組 んでいる。しかし, 大規模コーパスに対して, 提案手法を単純に適用できるとは限らない. た とえば，FrameNetの用例は，フレームや意味役割が人手でラベル付けされたものであるが，大規模コーパスの中には人手でさえラベル付けることが難しい事例が存在すると考えられる。こ のような事例の対処法を検討したい.

## 謝 辞

本論文の一部は, The 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing で発表したもので ある (Yamada et al. 2021a). また, 本研究の一部は JSPS 科研費 $21 \mathrm{~K} 12012$ の助成, および, JST 及び名古屋大学による名古屋大学融合フロンティアフェローシップの支援を受けたものである.

## 参考文献

Aldous, D. J. (1985). "Exchangeability and Related Topics." In École d'Été de Probabilités de Saint-Flour XIII-1983, pp. 1-198.

Amrami, A. and Goldberg, Y. (2018). "Word Sense Induction with Neural biLM and Symmetric Patterns." In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing (EMNLP 2018), pp. 4860-4867.

Amrami, A. and Goldberg, Y. (2019). "Towards Better Substitution-based Word Sense Induction." arXiv preprint arXiv:1905.12598.

Anwar, S., Ustalov, D., Arefyev, N., Ponzetto, S. P., Biemann, C., and Panchenko, A. (2019). "HHMM at SemEval-2019 Task 2: Unsupervised Frame Induction using Contextualized Word Embeddings." In Proceedings of the 13th International Workshop on Semantic Evaluation (SemEval 2019), pp. 125-129.

Arefyev, N., Sheludko, B., Davletov, A., Kharchev, D., Nevidomsky, A., and Panchenko, A. (2019a). "Neural GRANNy at SemEval-2019 Task 2: A Combined Approach for Better Modeling of Semantic Relationships in Semantic Frame Induction." In Proceedings of the 13th International Workshop on Semantic Evaluation (SemEval 2019), pp. 31-38.

Arefyev, N., Sheludko, B., and Panchenko, A. (2019b). "Combining Lexical Substitutes in Neural Word Sense Induction." In Proceedings of the International Conference on Recent Advances in Natural Language Processing (RANLP 2019), pp. 62-70.

Bagga, A. and Baldwin, B. (1998). "Entity-Based Cross-Document Coreferencing Using the Vector Space Model." In Proceedings of the 36th Annual Meeting of the Association for Computational Linguistics and 17th International Conference on Computational Linguistics (COLING 1998), pp. 79-85.

Baker, C. F., Fillmore, C. J., and Lowe, J. B. (1998). "The Berkeley FrameNet Project." In Proceedings of the 36th Annual Meeting of the Association for Computational Linguistics and 17th International Conference on Computational Linguistics (ACL-COLING 1998), pp. 86-90.

Biemann, C. (2006). "Chinese Whispers: An Efficient Graph Clustering Algorithm and its Application to Natural Language Processing Problems." In Proceedings of TextGraphs: The 1st Workshop on Graph Based Methods for Natural Language Processing (TextGraphs 2006), pp. 73-80.

Das, D., Chen, D., Martins, A. F. T., Schneider, N., and Smith, N. A. (2014). "Frame-Semantic Parsing." Computational Linguistics, 40 (1), pp. 9-56.

Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. (2019). "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL-HLT 2019), pp. 4171-4186.

Fillmore, C. J. (1982). Frame Semantics. Hanshin Publishing Company.

He, P., Liu, X., Gao, J., and Chen, W. (2020). "DeBERTa: Decoding-enhanced BERT with Disentangled Attention." arXiv preprint arXiv:2006.03654.

Kawahara, D., Peterson, D., Popescu, O., and Palmer, M. (2014). "Inducing Example-based Semantic Frames from a Massive Amount of Verb Uses." In Proceedings of the 14th Conference of the European Chapter of the Association for Computational Linguistics (EACL 2014), pp. 58-67.

Lan, Z., Chen, M., Goodman, S., Gimpel, K., Sharma, P., and Soricut, R. (2020). "ALBERT: A Lite BERT for Self-supervised Learning of Language Representations." In Proceedings of
the International Conference on Learning Representations (ICLR 2020).

Liu, S., Chen, Y., He, S., Liu, K., and Zhao, J. (2016). "Leveraging FrameNet to Improve Automatic Event Detection." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (ACL 2016), pp. 2134-2143.

Liu, Y., Ott, M., Goyal, N., Du, J., Joshi, M., Chen, D., Levy, O., Lewis, M., Zettlemoyer, L., and Stoyanov, V. (2019). "RoBERTa: A Robustly Optimized BERT Pretraining Approach." arXiv preprint arXiv:1907.11692.

Maaten, L. v. d. and Hinton, G. (2008). "Visualizing Data using t-SNE." Journal of Machine Learning Research, 9, pp. 2579-2605.

Mikolov, T., Sutskever, I., Chen, K., Corrado, G. S., and Dean, J. (2013). "Distributed Representations of Words and Phrases and their Compositionality." In Advances in Neural Information Processing Systems (NIPS 2013), pp. 3111-3119.

Pelleg, D. and Moore, A. (2000). "X-means: Extending K-means with Efficient Estimation of the Number of Clusters." In Proceedings of the 17th International Conference on Machine Learning (ICML 2000), pp. 727-734.

Peters, M., Neumann, M., Iyyer, M., Gardner, M., Clark, C., Lee, K., and Zettlemoyer, L. (2018). "Deep Contextualized Word Representations." In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL-HLT 2018), pp. 2227-2237.

QasemiZadeh, B., Petruck, M. R. L., Stodden, R., Kallmeyer, L., and Candito, M. (2019). "SemEval-2019 Task 2: Unsupervised Lexical Frame Induction." In Proceedings of the 13th International Workshop on Semantic Evaluation (SemEval 2019), pp. 16-30.

Ribeiro, E., Mendonça, V., Ribeiro, R., Martins de Matos, D., Sardinha, A., Santos, A. L., and Coheur, L. (2019). "L2F/INESC-ID at SemEval-2019 Task 2: Unsupervised Lexical Semantic Frame Induction using Contextualized Word Representations." In Proceedings of the 13th International Workshop on Semantic Evaluation (SemEval 2019), pp. 130-136.

Ruppenhofer, J., Ellsworth, M., Schwarzer-Petruck, M., Johnson, C. R., and Scheffczyk, J. (2016). FrameNet II: Extended Theory and Practice. International Computer Science Institute.

Schwarz, G. (1978). "Estimating the Dimension of a Model." The Annals of Statistics, 6 (2), pp. 461-464.

Swayamdipta, S., Thomson, S., Dyer, C., and Smith, N. A. (2017). "Frame-Semantic Parsing with Softmax-Margin Segmental RNNs and a Syntactic Scaffold." arXiv preprint arXiv:1706.09528.

Ustalov, D., Panchenko, A., Kutuzov, A., Biemann, C., and Ponzetto, S. P. (2018). "Unsupervised

Semantic Frame Induction using Triclustering." In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (ACL 2018), pp. 55-62.

Wolf, T., Debut, L., Sanh, V., Chaumond, J., Delangue, C., Moi, A., Cistac, P., Rault, T., Louf, R., Funtowicz, M., Davison, J., Shleifer, S., von Platen, P., Ma, C., Jernite, Y., Plu, J., Xu, C., Scao, T. L., Gugger, S., Drame, M., Lhoest, Q., and Rush, A. M. (2020). "Transformers: State-of-the-Art Natural Language Processing." In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations (EMNLP 2020), pp. 38-45.

Yamada, K., Sasano, R., and Takeda, K. (2021a). "Semantic Frame Induction using Masked Word Embeddings and Two-Step Clustering." In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (ACL-IJCNLP 2021), pp. 811-816.

Yamada, K., Sasano, R., and Takeda, K. (2021b). "Verb Sense Clustering using Contextualized Word Representations for Semantic Frame Induction." In Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021 (ACL-IJCNLP 2021 Findings), pp. 4353-4362.

Zhao, H., Li, R., Li, X., and Tan, H. (2020). "CFSRE: Context-aware based on Frame-Semantics for Distantly Supervised Relation Extraction." Knowledge-Based Systems, 210. 106480.

Zhao, Y. and Karypis, G. (2001). "Criterion Functions for Document Clustering: Experiments and Analysis." Tech. rep., Retrieved from the University of Minnesota Digital Conservancy.

## 略歴

山田 康輔：2021 年名古屋大学大学院情報学研究科博士前期課程修了. 同年,同大学院同研究科博士後期課程に進学. 2022 年より日本学術振興会特別研究員 (DC2).

笹野 遼平：2009 年東京大学大学院情報理工学系研究科博士課程修了. 京都大学特定研究員, 東京工業大学助教を経て, 2017 年より名古屋大学准教授. 博士 (情報理工学)。2019 年より理化学研究所 AIP センター客員研究員を兼任.

武田 浩一：1983 年京都大学大学院工学研究科情報工学専攻修士課程修了. 同年日本アイ・ビー・エム株式会社に入社. 2017 年より名古屋大学教授. 博士 (情報学).

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 雑談対話システムにおける対話破綻を生じさせる発話の類型化

東中竜一郎 $\dagger \cdot$ 荒木 雅弘 ${ }^{\dagger \dagger} \cdot$ 塚原 裕史 ${ }^{\dagger \dagger} \cdot$ 水上 雅博 ${ }^{+\dagger \dagger}$
}

本稿では，雑談対話システムにおける対話破綻を生じさせる発話の類型を提案する.対話破綻の類型に関して先行研究では，「理論に基づいた類型」と「データに基づい た類型」が提案されてきた. 前者は, 依拠している人どうしの対話についての理論 が，雑談対話システムの対話破綻現象を捉えるのに適さないことが多いという問題点がある．後者は，データを取得したシステムの対話破綻にしか対応できないとい う限界がある。本稿では，これら二つの類型の問題点をそれぞれが補い合う形で統合し, 雑談対話システムにおける対話破綻を生じさせる発話の類型を新しく作成し た。対話破綻類型アノテーション実験の結果, この統合的な類型は以前に提案され た類型と比較して, Fleiss の $\kappa$ 值において高い一致率を達成し, 安定したアノテー ションが行えることがわかった.

キーワード：雑談対話システム，対話破綻，エラー類型化
## Classification of Utterances that Lead to Dialogue Breakdowns in Chat-oriented Dialogue Systems

\author{
Ryuichiro Higashinaka ${ }^{\dagger}$, Masahiro Araki ${ }^{\dagger \dagger}$, Hiroshi Tsukahara ${ }^{\dagger \dagger \dagger}$ and \\ MASAHIRO MizUKAMI ${ }^{\dagger \dagger \dagger \dagger}$
}

This study proposes a taxonomy of errors in chat-oriented dialogue systems. Previously, two taxonomies were proposed, one theory-driven and the other data-driven. The former suffers from the fact that dialogue theories for human conversation are often not appropriate for categorizing errors made by chat-oriented dialogue systems. The latter has limitations in that it can only cope with system errors for which data exist. This paper integrates these two taxonomies to create a comprehensive taxonomy of errors in chat-oriented dialogue systems. It was determined that, with our integrated taxonomy, errors can be reliably annotated with a higher Fleiss' kappa compared with the previously proposed taxonomies.

Key Words: Chat-oriented Dialogue Systems, Dialogue Breakdown, Taxonomy of Errors

## 1 はじめに

近年, 社会的側面から雑談対話システムが注目を集めている (Wallace 2009; Banchs and Li 2012; Higashinaka et al. 2014; Ram et al. 2018). 雑談対話システムの実装手法としてニューラル ネットワークを用いた手法が広く研究されており, 有望な結果がいくつか得られている (Vinyals and Le 2015; Zhang et al. 2018; Dinan et al. 2019; Adiwardana et al. 2020; Roller et al. 2020). しかし, これらのシステムの性能はまだ満足できるものではなく, 対話破綻が生じるようなシ ステムのエラーがしばしば見られる.

システムのエラーを減らす方法のひとつは, どのような種類のエラーが生じやすいのかを分析し，そのエラーを削減する手立てを考えることである。このような目的において，エラーの 類型化は有用である。これまで，タスク指向対話システムにおいてはいくつかのエラー類型が 提案されており (Dybkjær et al. 1996; Bernsen et al. 1996; Aberdeen and Ferro 2003; Dzikovska et al. 2009), システムの性能向上において効果を発揮してきた. 雑談対話システムにおいても 同様のアプローチがなされてきており, 東中らは「理論に基づく類型」と「データに基づく類型」の二つの観点の異なる類型を提案している (Higashinaka et al. 2015a, 2015b) ${ }^{1}$.

しかし, 前者の「理論に基づく類型」は, Griceの会話の公準 (Grice 1975) や隣接ぺアの概念 (Schegloff and Sacks 1973) など, 人どうしの対話を対象とした理論が元になっているため, 人 とシステムとの対話において生じるエラーと適合しない点が多いという問題点があった。また 後者の「データに基づく類型」は，分析に用いたデータのみから引き出されたエラー類型であ り, 潜在的に生じ得るエラーや未知のシステムで生じる可能性があるエラーがカバーできていな いという限界がある。これらの理由から, これらの類型はアノテーションの一致率が低いとい う問題や，エラーの概念化があまりうまくできていないという問題を抱えている (Higashinaka et al. 2019).

本稿では, 雑談対話システムにおける新しい対話破綻の類型を提案する。これまでに提案さ れた二つの類型に基づいて, それぞれの類型の利点と欠点を明らかにしたうえで, 統合的な類型を作成した. そして, この統合的な類型の適切性をアノテーションの一致率を用いて評価し たところ, Fleiss の $\kappa$ 値が専間作業者間で 0.567 , クラウドワーカー間で 0.488 となり, 既存の 類型よりも高い值となった。また，アノテーションにおいて判断が困難とされた事例もほとん ど見られなかった。このことから，統合的な類型はエラーの概念化が適切になされており, 雑談対話システムの分析に適するものになっているといえる.

## 2 従来の類型とそれらの統合

東中らは雑談対話システムのエラーについて,「理論に基づく類型」(Higashinaka et al. 2015a) と「データに基づく類型」(Higashinaka et al. 2015b)の 2 種類を提案している.

「理論に基づく類型」は，対話における人どうしの協調的な振る舞いを説明する対話理論に 基づき，対話理論が説明する原則から逸脱した現象をエラーとして位置づけている。それに対 して「データに基づく類型」は，雑談対話システムの対話データの分析に基づいて典型的なエ ラーを抽出したものである。この類型では，対話破綻を生じさせたシステム発話に対してアノ テータがそのエラー内容を説明するコメントを付与し，それらのコメントにクラスタリング手法を適用して，得られた個々のクラスタに名前を付与したものをエラー類型としている.

## 2.1 理論に基づく類型

「理論に基づく類型」 (Higashinaka et al. 2015a; 東中他 2016) は, 人どうしの協調的な対話 の原則とされる Griceの会話の公準 (Grice 1975) に主として基づいている. Griceの会話の公準は，対話において一般的に成り立つ協調性の原則を，量・質・関連性・様態のそれぞれの観点から規定している。一方, 対話の構成要素をスコープの広さで分類すると, 発話・隣接ペア (Schegloff and Sacks 1973)・対話内文脈・対話外の環境となる. 協調性の原則とスコープは原則 として直交する概念であるので, これらの組み合わせでエラー類型を規定できるとして考案さ れたものが，この類型である．ただし，協調性の原則とスコープの組み合わせにおいて，「発話」 に対する「関連性」の逸脱は定義できないので除かれている。また，分析に用いた対話デー夕中に観測された，人どうしの対話では現れない対話システム固有のエラーについては，該当す るスコープ内に付け加えられている.

この類型では，エラーの種類は 表 1 に示す 16 種類となっている．大分類にスコープ, 小分類に主として Griceの会話の公準を位置づけた対応となっている.

この類型は, アノテーションの一致率によって評価された. 具体的には, 対話破綻のアノテー ションが行われたデータを対象とし，特に対話破綻を引き起こすと考えられる発話に対して，エ ラーの種類を付与することで行われた。アノテーションの一致率（Fleissの $\kappa$ 值）は，大分類で 0.400, 小分類で 0.239 と低いものであったと報告されている (Higashinaka et al. 2015a). この ように低い一致率となった原因としては, 評価に用いた人とシステムとの雑談対話において対話破綻が高頻度で起こっており，人を対話相手とする場合とは異なる振る舞いをユーザがした結果, 対話そのものが人どうしのものとはかなり異なったものになっていたということが考えら れる。それゆえ, 人どうしの対話における協調性を前提とした理論がうまく当てはまらない対話であったにも関わらず, その観点からエラーを分類しようとしたため, アノテーションの一致率が結果として低くなったものと考えられる。このことを支持するデータとして, ひとつの対

 &  \\

矛盾 & 基盤化欠如 (Lack of common ground) \\
& 非常識 & 一般常識欠如 (Lack of common sense) \\
社会性欠如 (Lack of sociality)

表 1 理論に基づく類型

話中で最初に出現するエラー（小分類）に対するアノテーションの一致率が 0.32 であったのに 対して, 2 回目以降のエラーに対するものは 0.19 であったことが報告されている (Higashinaka et al. 2019).

## 2.2 データに基づく類型

「データに基づく類型」(Higashinaka et al. 2015b) は，対話破綻アノテーション時に破綻発話 に対して付けられたコメントをクラスタリングすることによって作成された。コメントを付与 したアノテータは主として対話システムの研究者である. クラスタリングに際しては, 事前にク ラスタ数を決めることが難しいことから，データに基づいてクラスタ数を自動的に決めること ができるノンパラメトリックベイズの一手法である Chinese restaurant process (CRP) (Pitman 1995) が用いられている。約 1,500 のコメントを対象にクラスタリングを行った結果, 17 個の クラスタが得られ，これに基づいて表 2 に示すエラー類型が決められた。なお，類型名はクラ スタ毎のコメントを人手で観察することによって決められている.

このようにして決められた類型は, アノテーションの一致率に基づいて評価された (Higashinaka et al. 2019). その結果,「理論に基づく類型」よりもこの類型の方が Fleiss の $\kappa$ 値が高いことが 報告されている.

近年, 同様の方法で作成された類型を用い, 対話システムの評価や改善を目指す研究も報告 されている. Seeら (See and Manning 2021) は， 特定の対話システムのログにおけるユーザの

表 2 デー夕に基づく類型

ネガティブな反応からエラー類型を作成し，ユーザが不満を抱く原因の特定を図っている.

しかし「データに基づく類型」は，類型作成時の対話データに大きく依存するという問題点 がある。対話システムとの対話ログ分析の結果として得られた類型は，現在も進展を続ける技術の特定の時期におけるシステムの誤り傾向の分析に基づいていることになり，今後の技術の 進展によって対話システムが異なる振る舞いを示したときに生じ得るエラーには適用できない 可能性がある.

## 2.3 類型の統合手順

前節までの分析に基づき，我々は二つの類型を統合するという考えに至った。「理論に基づく 類型」は人とシステムとの対話に対して適用が難しい状況があるが，「データに基づく類型」は 理論が捉えきれていないそのような対話現象を適切に扱えることが期待できる。一方で，「デー 夕に基づく類型」がカバーできていない現象が潜在的・将来的にあり得るという欠点は,「理論 に基づく類型」の考え方に基づいてより包括的な対話現象をカバーする方向で補える. このよ うにこれらの類型は統合することで，より良い類型となることが期待できる。

まず統合にあたり，既存類型が原則としているシングルラベルアノテーションからマルチラ ベルアノテーションへと枠組みを変更した。これは，たとえばユーザからの質問に答えないだ けでなく，非常識な内容の発言を行うなど，ひとつのシステム発話が複数のエラーを含む可能性を考慮したものである。実際，「理論に基づく類型」の実験結果においてスコープをまたがる
混同が多く見られており (Higashinaka et al. 2015a), 複数のレベルで生じたエラーをカバーす るためにマルチラベルアノテーションへの移行は必然であると考えた.

次に「理論に基づく類型」に対して，人とシステムの対話に当てはまりやすいように拡張を 試みた。対話システムの起こすエラーは， Grice の会話の公準に基づいて判断できる不適切性 をときとして大きく逸脱していることが観察されることから，大きく逸脱するケースを切り出 して「形式」のエラーとして捉えることにした. そしてそれ以外を「内容」のエラーとして捉 えることにした。なお，スコープについてはまずは大枠を残して考えた。

逸脱の仕方を表す「形式」においては，スコープの狭い順に，言語表現としての標準的な規範（発話レベル），隣接する発話の機能の関係 (Allen and Core 1997)（応答レベル），話題の関連性（文脈レベル）, 社会的規範（環境レベル）を設定することとした。これらは人どうしの対話において通常守るべき形式を表しており，それらからの逸脱は検出しやすく，また概念化も しやすいと考えられる．あるエラーがこれらの形式からの逸脱に当てはまらない場合，「内容」 に問題があると考える。すなわち内容に関しては，当該スコープでの形式が守られているにも かかわらず，そのスコープに原因が存在して対話が破綻している現象を指すことと定義できる。

そして,「理論に基づく類型」と「データに基づく類型」のエラータイプを, 形式・内容とス コープで構成したフレームに当てはめた。ここで，「理論に基づく類型」において「環境」と規定されたスコープについては，我々の方針として守るべき形式として社会規範を導入したこと から,「社会性」というスコープ名に置き換えていることに注意されたい。この当てはめの結果,大半のエラータイプは設定したフレームにうまく収まったが，一部のエラータイプはフレーム にうまく収まるよう合併・削除・分割・追加が必要であった.

合併・削除については, 東中ら (Higashinaka et al. 2019)の指摘に基づき, 概念的に近い「表現エラー」と「用法エラー」を統合して発話レベルの形式のエラーとし, 曖昧性あるいは対話 システムへの理解を必要とする観点からアノテーションが困難であると指摘されている「対話不成立」、「解析エラー」，「会話のずれ」は取り除いた。また，「データに基づく類型」において 「発話無視」とされていたものは, 典型的な隣接ぺアに応じて「依頼無視」「提案無視」「挨拶無視」に分割した（「質問無視」は既に用意されていた）.

このプロセスにおいて，応答レベルの「内容」に当てはまるエラーが見つからなかった。し かし, 応答の形式は守っているものの, 対話破綻が生じるような発話とはどのようなものかと いう議論から，「期待無視」（次節参照）のエラーを追加した，加えて，誤った情報を含む発話 が, 常識欠如, 矛盾, 意図不明などに分散していると考えられたことから, そのような誤りを 「誤情報」のエラーとして切り出して，新規に追加した。

最後に，「理論に基づく類型」において「大分類－類型名」（例：応答一関係）のように呼ば れていたものを「「データに基づく類型」の呼び方に合わせて類型名のみでそのエラーがわかり やすくなり，かつ他のエラーとの区別がつきやすくなるように名称変更を行った.

## 3 統合的な類型

前章での議論に基づいて作成したエラー類型の統合案を 表 3 に示す. エラー類型の種類は I1 から I17（I は Integrated の頭文字）までの計 17 種類となり，個々のエラー類型は対話にお けるスコープと, 逸脱の種類（形式または内容）の組み合わせでグループ化される．以下では,個々のエラータイプの詳細を対話例（大半は実対話データ，一部作例）を示しながら説明する.

## 3.1 発話レベルのエラー

## 3.1.1 形式の逸脱

発話レベルにおける形式に関するエラーは，対話を行っている言語の形式からの逸脱を表す.

日本語としての妥当な文字列, 文構造をなしていないものがこのカテゴリに当てはまる.

(I1) 解釈不能： 発話の意味内容がまったく理解できないような発話. たとえば，意味のない 単語の羅列や誰も理解できないスラング, 断片的な発話など.

(1) Withha （発話をどうにも解釈しようがない）

(I2) 文法エラー： 文を構成する要素の欠落や誤用によって, 文意が汲み取れない発話.

（2）熱中症に気をつけか？？

## 3.1.2 内容の逸脱

単語の意味的組合せの誤用により，内容が汲み取れない，あるいは明らかに事実と異なる意味内容になっているもの.

(I3) 用法エラー： 文法的には問題はないが, 発話の中で一般に用いられないような言葉の用

表 3 統合的なエラー類型
法が用いられている発話. たとえば，単語や表現の組み合わせが意味をなさなかったり， ある述語について相応しくない主語が用いられていたりするなど.

(3) 小説は日露戦争がなるのです（小説は日露戦争がなるものではない）

（I4）誤情報： 明らかに事実とは異なる内容が含まれている発話.

(4) ビートルズのボブディランの新しいアルバムが出ましたね（ボブディランは ビートルズのメンバーではない)

## 3.2 応答レベルのエラー

## 3.2.1 形式の逸脱

応答レベルの形式は, Dialog Act Markup in Several Layers (DAMSL)2における機能の対応に 基づいている. DAMSL では発話の持つ前向き機能 (forward looking function)を, 発話後の対話相手の信念や行為に影響を及ぼすものと捉え, 後ろ向き機能 (backward looking function) を それ以前の前向き行為に関連する機能と捉えている.

この考えに基づき, 直前のユーザ発話が質問や提案などの前向き機能を持つとき, システム 発話がそれに対応する後向き機能を有していないものを応答レベルにおける形式の逸脱と位置 づけた.

(I5): 質問無視： ユーザの質問を無視している発話．具体的には，質問で聞かれている回答種別（たとえば，命題の真偽，確認への YES/NO，同意／不同意, 選択肢からの選択, $5 \mathrm{~W} 1 \mathrm{H}$ 型の質問, 人名, 地名, 理由, 方法など）とタイプが合った内容を含まない返答 をしている発話 3 .

(5) U: 何を食べているのですか？

S：スポーツは好きですか

(6) U: 横須賀は何県ですか？

$\mathrm{S}$ : 横浜から横須賀に引っ越すのです

(I6)：依頼無視： 相手からの「〜して下さい」のような依頼に対し, 適切な後向き機能を有し ない発話。

(7) $\mathrm{U}$ : 今度買ってきて下さい

S: やはり暑い季節に合わせたコスチュームになっているのでしょうかね？

(I7): 提案無視： 相手からの「〜しましょう」という提案に対し, 適切な後向き機能を有しな い発話.

(8) $\mathrm{U}$ : 趣味の話をしましょう

$\mathrm{S}$ : 裏磐梯と台湾なら, どちらが楽しいでしょうか？

(I8): 挨拶無視：相手からの挨拶に対し, 適切な後向き機能を有しない発話.

(9) U: そろそろ帰りますね。

$\mathrm{S}$ : こんにちは. （別れる挨拶に対して，会った時の挨拶をしている）

## 3.2 .2 内容の逸脱

直前のユーザ発話に対する応答の形式は合っているが, 期待されている内容が含まれていな いもの.

(I9)：期待無視： 前向き機能を有する相手からの発話に対し, 適切な後向き機能を有する発話 としての形式は満たしているが，期待されている内容を含まない応答．あまりに情報が なかったり遠回しだったりする応答で, 内容が妥当ではないと考えられる応答.

(10) U: 好きなスイーツありますか？

S：あります。（肯定的な返答の場合には，そのスイーツの名前を具体的に答え ることが期待されている)

この例は一見妥当な応答に見えるが，協調的に対話を進めている文脈ではこのような応答が不適切となることがある.

## 3.3 文脈レベルのエラー

ここでは，文脈レべルの形式を話題の関連性維持と定義した。すなわち，話題からはずれる 発話や意図の不明確性・必要な要素の欠落などによって現在の話題を継続することが難しい状況を文脈レベルの形式からの逸脱と捉える。それに対して，話題は維持されているものの，矛盾や不要な繰り返しを含む発話を内容の逸脱とした.

## 3.3.1 形式の逸脱

(I10): 発話意図不明確： 発話そのものは理解でき，かつ応答内容と話題との関係も分かるが, その内容をなぜ発話したのかという意図が明示されず，かつ文脈からも意図が分からな い発話. 関係性を表す要素（たとえば，接続詞や状況説明）が不足しているなど.

$
\mathrm{U}: \text { こんにちは. 私はイチゴが好きです. あなたは？ }
$

S：私はりんごが好きです

$\mathrm{U}:$ 赤い色っていいですよね.

S: イチゴは美味しいですね（りんごが美味しいと言っていたのに，なぜ突然 イチゴに言及するのか意図が不明確)

(I11)：話題遷移エラー： 直前に相手が話していた話題と異なる話題へ説明なく遷移させる発話. ユーザの新しい話題に遷移する発話に対して, 理由なく元の話題に戻す発話も含む. なお, 話題とは何について話しているかということを表す。話題の粒度は, 食事, ファッ ション， スポーツ，美容，健康，旅行などのカテゴリで表現できる程度のものとする。

$\mathrm{S}:$ おー.クラリネットはいいですね.

U：難しかったですが，とても楽しかったです

S: ヘえ〜そうなんですか. 何のパンが一番好きですか？

なお，隣接する発話が明確な話題を持たない場合, このエラータイプは適用されない. また，前の発話がこれまでの話題の終端となり得る後ろ向き機能を持つ発話であるとき，当該発話によって話題の遷移が発生しても，このエラータイプは適用されない。たとえ ば，以下は話題遷移エラーには当てはまらない.

S: あなたはテレビでオリピックの放送を見ますか？

$\mathrm{U}: は い ，$ 見たいですね.

S:こんな日は鍋料理が食べたいですね.

(I12): 情報不足： 発話に含むべき要素（主として修飾句, および主語や目的語などの格要素） が含まれていないために意味（何を言っているか）が理解できない，もしくは，理解し づらい発話.

(14) U:おはよう。最近はすずしいですよ.

S：好きですよ（何が好きかわからない）

(15) U:それはちょっと高すぎるでしょ？

$\mathrm{S}:$ 温度差がひどいですよねえ（何の「温度差」なのか分からない.）

## 3.3.2 内容の逸脱

これまでの文脈で基盤化された内容に言及し，それらに対して矛盾する発話や不要な繰り返 しを行っている発話.

(I13)：自己矛盾：これまでに話者自身が発話した内容と矛盾している内容を含む発話．ただ し，矛盾とは平叙文・質問文に関わらず，発話内容に含まれる内容の辻褄が合わないこ とを指す。

(16) U：どこの出身ですか？

$\mathrm{S}$ ：愛知の知多ですよ．知多半島にあります.

$\mathrm{U}$ : 愛知ですかあ. いいところですね.

S：それから名古屋で就職が決まったことですね.

U: どんな仕事をするんですか？

S：専業主婦ですよ。（就職が決まったという内容と矛盾する）

(I14): 相手の発話との矛盾：これまでに相手が発話した内容と矛盾している内容を含む発話 (矛盾の定義については, 自己矛盾の場合と同様)。また, 相手が言った内容について, そ れを否定するような質問も含む。

$
\begin{aligned}
& \text { S: セリーグとパリーグはどちらが好きですか？ } \\
& \text { U: セリーグが好きです. } \\
& \text { S: セリーグは嫌いなんですね. }
\end{aligned}
$

(I15): 繰り返し：これまでに自身が発話した文字列をただ繰り返しただけのような発話. な お，単語を言い換えただけのような発話も繰り返しに含む。また，執拗に聞き直すよう な発話の繰り返しも含む。

(18) S: 映画が楽しみです

$\mathrm{U}:$ そうですか

$\mathrm{S}:$ あはい

$\mathrm{U}:$ 他に好きなものは?

S：映画が楽しみですね

## 3.4 社会レベルのエラー

## 3.4.1 形式の逸脱

言葉使いが社会の儀礼・礼節に反しユーザを不快にする, あるいは差別的で悪意がある発話.

(I16)：社会性欠如：相手，もしくは，特定の社会集団に対して気遣わないような失礼な言い 方や言い回しが用いられている発話.
$\mathrm{U}:$ このまえ○○
（国名が入る）に行ってきました
S: ○○の人って頭悪いですよね

## 3.4.2 内容の逸脱

内容が社会通念／知識と反するにもかかわらず，根拠もなく断定あるいは肯定している発話.

(I17)：常識欠如： 常識とは異なる内容が発話に含まれている発話. 一般的な事実とは異なる ことを無根拠に主張したり，ある社会集団において大多数に信じられている事柄に対し て逆の意見を述べたりするなど。

(20) U: 熱中症の話をしたいの？

S：熱中症はいいですよねー

## 3.5 エラーの独立性・排他性

このようにして定めた類型において, その成り立ちからエラーの独立性・排他性を定義して おくべきものがある.

まず，発話レベルで破綻している発話に対しては，その該当するエラー以外のエラーは生じ ないものとする。「解釈不能」は日本語かどうかもわからないということであり，「文法エラー」「用法エラー」「誤情報」は内容が解釈できないということなので，それによって以降のレベル での対話の形式や内容が満たされているかどうかの判断はできないと考える.

また, 文脈レベル・形式の枠にある「発話意図不明確」と「話題遷移エラー」,「発話意図不明確」と「情報不足」は同時にはエラーとなり得ず排他的に扱われる。これは 3.3 .1 節で述べた ように，「発話意図不明確」が話題に追随できていることを前提としているのに対して，「話題遷移エラー」は不自然に話題が遷移している，「情報不足」は話題との関係が不明という前提が あり，定義からこれらは両立しない.

## 4 評価

統合的な類型を用いてエラータイプのアノテーションを行い, アノテータ間の一致率を評価 した. 比較のため,「理論に基づく類型」と「データに基づく類型」についても，同じデータ ・同じアノテータで評価を行った。

## 4.1 手順

エラータイプのアノテーションにあたり， 3 節の定義・例示に加えて，それぞれのエラーの 背景や注意点などを加えたマニュアルを作成した ${ }^{4}$. また, アノテーション作業中の入力ミス をなくすために，表計算ソフトで入力が行えるワークシートとその作業マニュアルを別途用意 した．表計算ソフト上では排他性について処理をあえて行わなかった。これは，アノテータに
^{4}$ https://github.com/ryuichiro-higashinaka/taxonomy-of-errors
}

マニュアルを正確に理解してもらえているかを確認するためである。排他性については，アノ テーション後に著者でチェックし，排他条件を満たさないものについては修正を依頼した.

アノテーション対象のデータは, 対話破綻検出チャレンジで用いられた DBDC および DBDC2 のデータ (Higashinaka et al. 2016, 2017)5である. このデータにおける対話は DCM (大西，吉村 2014), DIT (Tsukahara and Uchiumi 2015), IRS (Ritter et al. 2011)の 3 種類の日本語雑談対話システムとユーザとのテキストチャットによって行われた. データ中のすべてのシステム発話に対して, 30 名のアノテータによって破綻度合いのラベル (B (breakdown): 明らかな破綻, PB (possible breakdown): 違和感あり，NB (not a breakdown): 破綻ではない) が付けられてい る.今回の評価実験では, これらのうち, 半数（15名）以上のアノテータが $\mathrm{B}$ または $\mathrm{PB}$ と付 けた発話を破綻発話と認定し, それらに対してエラー類型のアノテーションを行った。

データセットは計 400 対話からなる。このデータセットを漸進的な評価・改良に用いるため に各 80 対話からなる 5 つのデータセット A から Eに分割した．結果として，データセット A， $\mathrm{B}, \mathrm{C}$ を用いることで統合案を順次改良し（具体的には，判定が割れた事例を分析し，より良い 類型にするために，混同行列を作成し，混同が多い類型の組み合わせについて類型の改訂を行 う等)，データセット D で最終的な評価を行った。データセット $\mathrm{E}$ は将来の改良・評価のため 現時点では未使用である。評価に用いたデータセット D には 599 個の破綻発話があり，これら をエラー類型アノテーションの対象とした.

アノテータは，その属性に基づいて 2 グループに分割された。 1 つのグループは言語資源作成タスクに精通した専門作業者 2 名からなり, もうひとつのグループはクラウドワーカー 10 名 （20 代から 50 代の女性 6 名男性 4 名, クラウドソーシングサービス会社6による認定ワーカー） からなる．クラウドワーカーを評価に加えた理由は, 今回提案するエラー類型が適切に概念化 され非専門家にも容易に理解可能なものであることを検証するためである.

すべてのアノテータは統合的な類型, および,「理論に基づく類型」と「データに基づく類型」 のマルチラベルアノテーションを行った.「理論に基づく類型」と「データに基づく類型」につ いては, 先行研究 (Higashinaka et al. 2015a, 2019) においてシングルラベルアノテーションが実施されているが，2.3 節で述べた通り，ひとつの発話が複数のエラーを含みうることからマルチ ラベルアノテーションを実施した。なお，「データに基づく類型」については， 2.3 節で述べた 東中らの考察 (Higashinaka et al. 2019) と同様の根拠に基づき，「対話不成立」，「解析エラー」,「会話のずれ」のラベルを取り除き，「表現エラー」と「用法エラー」のラベルを統合した。そ の結果, 「理論に基づく類型」では表 2 に示した 16 種類,「データに基づく類型」では 13 種類 のエラータイプでアノテーションが行われた。アノテータは，それぞれのエラータイプの定義
^{5}$ https://dbd-challenge.github.io/dbdc3/datasets

 }^{6}$ https://www.lancers.jp/

と事例が記述されたマニュアルに従い，表計算ソフト上でアノテーションを実施した。

## 4.2 アノテーションー致の評価尺度

我々はアノテーション一致の評価尺度として, Fleissの $\kappa$ 値 (Fleiss and Cohen 1973) を改良 して用いた。重み付きの Cohen の $\kappa$ 值を用いている先行研究 (Rosenberg and Binkowski 2004; Ravenscroft et al. 2016)を参考に，重み付き Fleiss の $\kappa$ 值を定義した.

まず，重み付きのアノテータ間一致率 $P_{a}$ を，マルチラベルアノテーションを考慮して以下 のように定義した。

$
P_{a}=\frac{1}{N} \sum_{n=1}^{N} \frac{\sum_{c=1}^{C} \sum_{\left(l, l^{\prime}\right)} w_{n c l} w_{n c l^{\prime}}}{\sum_{c=1}^{C} \sum_{\left(l, l^{\prime}\right)}\left(w_{c n l}{ }^{2}+w_{c n l^{\prime}}{ }^{2}\right) / 2}
$

ここで, $w_{n c l}$ は対象発話番号 $n$ にアノテータ $l$ がエラータイプ $c$ を割り当てたときの重みであ る. 本来この重みはアノテータのマルチラベリングの頻度やエラータイプの出現頻度, さらに はアノテータが複数ラべルの重みを自ら割り当てた際の値などを反映させるべきであるが，計算が複雑になるため今回は対象発話番号 $n$ にアノテータ $l$ が付けたラベルの個数の逆数とした. また, $N$ はアノテーション対象発話の総数, $C$ はエラータイプの種類数で, $\sum_{\left(l, l^{\prime}\right)}$ はすべての アノテータの組に関する和を示している.

この定義より，重み付き Fleiss の $\kappa$ 値は $\kappa=\left(P_{a}-P_{\epsilon}\right) /\left(1-P_{\epsilon}\right)$ で計算される. ここで, $P_{\epsilon}$ は,

$
P_{\epsilon}=\sum_{c=1}^{C}\left(\frac{1}{N L} \sum_{n=1}^{N} \sum_{l=1}^{L} w_{n c l}\right)^{2}
$

であり， $L$ はアノテータ数である。この重み付き一致率と, 通常の Fleiss の $\kappa$ 値は, 重みが 1 のときに同じ式となる.

本 $\kappa$ 值は, Fleiss の $\kappa$ 值を, マルチラベルアノテーションにおける一致率を評価できるよう に独自に拡張したものであり, 我々の知る限り, マルチラベルアノテーションにおける $\kappa$ 値の 3 人以上の場合への拡張についての文献は他に見られない.

## 4.3 結果

実験の結果得られた重み付き Fleiss の $\kappa$ 值を 表 4 に示す. 統合的な類型の一致率は専門作業者間で 0.567 , クラウドワーカー間で 0.488 であり,「理論に基づく類型」や「データに基づ 〈類型」と比べて高い値となっている。このことから，提案類型は安定したアノテーションが 可能であり，有効な類型であるといえる.

「理論に基づく類型」と「データに基づく類型」では専門作業者のほうが $\kappa$ 值が低く, 提案類型では逆になっている理由は, 類型の定義の曖昧性によるものではないかと考えている. 具体

表 4 重み付き Fleiss の $\kappa$ 値

的には，「理論に基づく類型」と「データに基づく類型」における類型の定義は，提案類型に至 る過程のものであり，曖昧性があったと考えられる。一般に専門作業者は自身の理解や経験に 基づく文脈や用法の細かな違いも踏まえた広範な判断基準に従って厳密にアノテーションを行 うが，各自の定義がずれていれば，作業が厳密な分だけ $\kappa$ 値が低くなる，一方，クラウドワー カーの場合, 専門作業者ほどの厳密さを持たないため, このような $\kappa$ 值の低下は起きづらい.今回の提案類型では，エラーの定義が明確化されたため，定義のずれが解消され，専門作業者 については $\kappa$ 值が高まり, クラウドワーカーの值を上回ったと考えられる.

なお，今回アノテータには，判断が難しい，あるいは不可能であると思った場合，最も当て 嵌まると思われるものを選択しつつ，その旨をコメントとして残すように依頼していた。今回 そのようなコメントを残したアノテータはクラウドワーカーにはおらず，専門作業者からのコ メントも 1 件（「該当するものがない」）のみであった。このことから，今回の類型が，起こり うる破綻のパターンを十分カバーしたものであると考えることができる.

発話毎の一致割合について, クラウドワーカーによるアノテーション結果において 5 名（す なわち半数）以上が一致している発話の割合を調べた。統合的な類型では，全 599 発話のうち, 507 発話で半数以上一致となり，そうならなかった発話は 92 発話であった.

これに対して「理論に基づく類型」のアノテーションでは, 全 599 発話のうち, 126 発話が半数以上一致, そうならなかった発話が 473 発話となった. この 473 発話のなかで, 396 発話は統合的な類型で半数以上一致となった．統合的な類型による改善が多く見られた事例は, 応答一不理解および応答－意図不明が (I5) 質問無視に集約された事例，スコープの決定がアノテーショ ンが分かれる要因となった, 応答－無関係と文脈－無関係話題が (I10) 発話意図不明確に集約 された事例などである。 さらに，(I4) 誤情報 カテゴリの導入によって, 応答-無関係, 文脈一関連性不明, 環境一一般常識欠如に分かれていたアノテーションが集約される事例が見られた.

「データに基づく類型」のアノテーションでは，全 599 発話のうち， 347 発話が半数以上一致, そうならなかった発話が 252 発話となった. この 252 発話のなかで, 193 発話は統合的な類型で半数以上一致となった。「理論に基づく類型」の場合と同様に，(I4）誤情報 カテゴリの導入は効果的であった. また, 意図不明や話題遷移エラーが (I10) 発話意図不明確 に集約された.

統合的な類型のクラウドワーカーによるアノテーション結果から計算した混同行列を図 1 に 示す. 混同行列の各要素は以下の式によって求めた.

図 1 統合的な類型の混同行列. I1-I17 は 表 3 で定義されたエラータイプを表している。なお，対角成分より上の部分は，行列が対称であることから省略している.

$
m_{c c^{\prime}}=\sum_{\left(l, l^{\prime}\right)} \sum_{n=1}^{N} w_{n c l} w_{n c^{\prime} l^{\prime}} /\left(\begin{array}{l}
L \\
2
\end{array}\right)
$

これはあるアノテータがラベル $c$ と付けた事例に対して, 別のアノテータがラベル $c^{\prime}$ と付けた 回数の重み付き平均値を表す. 対角要素の値から見て相対的に大きな値となっている非対角要素は，混同が生じていると解釈することができる.

これによると, (i) (I5) 質問無視 と (I10) 発話意図不明確, (ii) (I10) 発話意図不明確 と (I11)話題遷移エラー, (iii) (I10) 発話意図不明確と (I12) 情報不足 との間で混同が見られる.

(i) の混同パターンについては, (I5) 質問無視 と (I10) 発話意図不明確 が同じ発話に対して 同時に付けられている事例も多かったことから，質問への回答になっていない発話の解釈が難 しく，なぜ適切な応答ができなかったのかわからないという判断につながったのではないかと 考えられる。

(ii) の混同パターンについては，「発話における話題」の捉え方に個人差があったと考えられ る. 典型的な対話例を以下に示す.

(21) U: 死に慣れるのは怖いね

$\mathrm{S}:$ えっ！！？？テトラポットから落ちたんですか？

$\mathrm{U}:$ 落ちていません

S: スイカは木から生えていないですよ.

この対話例の最後のシステム発話では，システムは唐突にスイカについて話し始めている，ス イカという単語に着目したアノテータは無理な話題の遷移を表す (I11) 話題遷移エラーと捉え た一方,「死」と「木が生える」という言葉に関連性を感じたアノテータは発話の意図がわから

ないことを表す (I10) 発話意図不明確 と捉えたと考えられる.

(iii)の混同パターンについては, 短いシステム発話に対して頻繁に観測されたことから, 対話文脈の情報をどれほど補って解釈できるかということについての個人差によって生じている と考えられる。

(22) U: 国内と海外ではどちらが好きですか.

S：旅行は高いですね

$\mathrm{U}:$ プランによっては安く行けますよ.

S: プランは良いですね

この対話例の最後のシステム発話では, プランの何がどのように良いのかが説明されていない. この発話に対して文脈によって補えきれない要素が特定できたアノテータが (I12) 情報不足, 発話をまったく文脈に位置づけられないアノテータが (I10) 発話意図不明確 と判断したものと考 えられる。

## 4.4 エラータイプの分布

統合的な類型におけるエラータイプの分布を表 5 に示す. 分布を計算する際に用いたデータ は，前節で用いた 3 種類の対話システム (DCM, DIT, IRS) との対話データと，今回分析した データには含まれていない2つの新しい対話システム Hobbyist (HBY) (杉山 他 2020; Sugiyama et al. 2021) 7 , ILYS-AOBA (ILA) (藤原 他 2020) 8 との対話データである. これらのデー夕に対 して, 2 名の専門作業者が, 対話破綻検出, 破綻類型ラベリングの順でアノテーションを行っ た. 新しい対話システムの対話データは対話システムライブコンペティション 3 (東中 他 2020) の予選で収集された 10 対話9を用いた. HBY は日本語版 BlenderBot (Roller et al. 2020) であ る. Transformer encoder-decoder モデルを採用し, Twitter から得られた約 21 億個の発話対で 事前学習を行い，日本語版の PersonaChat (Zhang et al. 2018) や EmpatheticDialogues (Rashkin et al. 2019) のデータに加え，内製のチャットコーパスを用いて fine-tuning を行っている. ILA は HBY に近いアーキテクチャを採用しているが, 学習データは HBY と比べて小規模である.

分布を見ると, DCM, DIT, IRS の 3 つのシステムでは, (I5) 質問無視と (I10) 発話意図不明確が多かったが，近年のニューラルネットワークベースのシステムである HBY と ILA では (I4) 誤情報 と (I13) 自己矛盾 が比較的多いことがわかる. これは, 近年のシステムでは主要な 問題点が，対話を形式的に成立させるということから，話されている内容やパーソナリティの 一貫性を維持することに移っていることを示しているといえる.

表 5 エラータイプの分布. 頻度上位 3 つまでを太字で示している.

なお, DCM, IRS では (I4) 誤情報や (I13) 自己矛盾が, DIT では (I13) 自己矛盾が比較的少な い傾向にある。誤情報は近年の生成型の手法によく見られるエラー（いわゆるハルシネーショ ン (Maynez et al. 2020)）であり，矛盾は，話がある程度つながるようになったからこそ顕在化 するエラーである，表 5 に示す通り, DCM, DIT, IRS の全体傾向としては, (I5) 質問無視や (I10) 発話意図不明確が多い，質問無視や発話意図不明確が多いと話が進まず，文脈的なエラー が現れにくいため, DCM, IRS では (I4) 誤情報や (I13) 自己矛盾が, DIT では (I13) 自己矛盾 が比較的少なくなっていると考えられる.

杉山らの文献 (杉山 他 2020) では, HBY の不自然な発話として「矛盾, 話題の飛び, キーワー ド関係誤り，事実誤認」が挙げられており，これは本類型の I13（矛盾）, I10（話題の飛び）, I4（キーワード関係誤り，事実誤認）にあたり，いずれも他の類型と比較して高い頻度で出現 している．また，藤原らの文献 (藤原 他 2020) では, ILA で評価が低くなった発話として「文脈と矛盾する応答」が挙げられているが, これは本類型の (I13) 自己矛盾にあたり, 我々の分析 でも，他の類型と比較して頻度が高くなっている。この分析を通じて，提案類型を定める上で 考察の対象としていない雑談対話システムについても，ある程度エラーの傾向を捉えることが できていることがわかる.

## 5 おわりに

本稿では，雑談対話システムにおけるエラーの新しい分類法を提案した。これまでに提案さ れた「理論に基づく類型」と「データに基づく類型」を統合し，統合的な類型を作成した，統合的な類型を重み付き Fleiss の $\kappa$ 值で評価したところ，提案類型は既存のものよりも優れてい ることがわかった。いくつかのエラータイプの間にはまた混同が見られるものの， $\kappa$ 値はアノ テーションを信頼するのに十分な高さを示している.

今後の課題として，英語など他の言語へも類型の適用を広めたい。本類型の考案は日本語を 対象に行ったが，類型化の枠組みは言語に依存していない。しかしながら，実際に英語圈の対話 システムに対してどのような類型が得られるかは明らかではない。日本語のより多様な対話シ ステムでの破綻に対して類型をより洗練させながら，他の言語に対しても一般性があるかを確認していきたい．他の可能性としては，対話モデルの頑健性を高める unlikelihood training (Li et al. 2019) における人工的なエラー生成のガイドラインとして用いることが考えられる. さら に提案類型はシステムによるエラーを減らすという目的以外にも, 対話の破綻が起きた後に回復する方法の検討に用いることができる (Higashinaka et al. 2020). 修復 (Purver et al. 2018),明確化要求 (Liu et al. 2014; Stoyanchev et al. 2013; Rodríguez and Schlangen 2004), ユーザの 不満検出 (See and Manning 2021) など，ミスコミュニケーション時に人々がどのように反応す るかを理解するための様々な研究が行われており，我々は本類型を，対話破綻を中心とした様々 な対話現象の対応を考えるための指針として，利用していけるのではないかと考えている.

## 謝 辞

本論文の一部は, The 22nd Annual Meeting of the Special Interest Group on Discourse and Dialogue (SIGDIAL 2021) で発表したものです (Higashinaka et al. 2021).

## 参考文献

Aberdeen, J. and Ferro, L. (2003). "Dialogue Patterns and Misunderstandings." In Proceedings of ISCA Workshop on Error Handling in Spoken Dialogue Systems, pp. 17-21.

Adiwardana, D., Luong, M.-T., So, D. R., Hall, J., Fiedel, N., Thoppilan, R., Yang, Z., Kulshreshtha, A., Nemade, G., Lu, Y., and Le, Q. V. (2020). "Towards a Human-like Open-Domain Chatbot." arXiv preprint arXiv:2001.09977.

Allen, J. and Core, M. (1997). "Draft of DAMSL: Dialog Act Markup in Several Layers." https://www.cs.rochester.edu/research/cisd/resources/damsl/.

Banchs, R. E. and Li, H. (2012). "IRIS: A Chat-oriented Dialogue System Based on the Vector Space Model." In Proceedings of the ACL 2012 System Demonstrations, pp. 37-42.

Bernsen, N. O., Dybkjær, H., and Dybkjær, L. (1996). "Principles for the Design of Cooperative Spoken Human-Machine Dialogue." In Proceedings of ICSLP, Vol. 2, pp. 729-732.

Dinan, E., Logacheva, V., Malykh, V., Miller, A., Shuster, K., Urbanek, J., Kiela, D., Szlam, A., Serban, I., Lowe, R., Prabhumoye, S., Black, A. W., Rudnicky, A., Williams, J., Pineau, J., Burtsev, M., and Weston, J. (2019). "The Second Conversational Intelligence Challenge (ConvAI2)." arXiv preprint arXiv:1902.00098.

Dybkjær, L., Bernsen, N. O., and Dybkjær, H. (1996). "Grice Incorporated: Cooperativity in Spoken Dialogue." In Proceedings of COLING, Vol. 1, pp. 328-333.

Dzikovska, M. O., Callaway, C. B., Farrow, E., Moore, J. D., Steinhauser, N., and Campbell, G. (2009). "Dealing with Interpretation Errors in Tutorial Dialogue." In Proceedings of SIGDIAL, pp. 38-45.

Fleiss, J. L. and Cohen, J. (1973). "The Equivalence of Weighted Kappa and the Intraclass Correlation Coefficient as Measures of Reliability." Educational and Psychological Measurement, 33 (3), pp. 613-619.

藤原吏生, 岸波洋介, 今野堸人, 佐藤志貴, 佐藤汰亮, 宮脇峻平, 加藤拓真, 鈴木潤, 乾健太郎 (2020). ILYS aoba bot: 大規模ニューラル応答生成モデルとルールベースを統合した雑談対話システム. SIG-SLUD, B5 (02), pp. 110-115. [R. Fujihara, et al. (2020). ILYS aoba bot: A Chatbot Combining Rules and Large-Scale Neural Response Generation. SIG-SLUD, B5 (02), pp. 110-115.].

Grice, H. P. (1975). "Logic and Conversation." In Cole, P. and Morgan, J. (Eds.), Syntax and Semantics 3: Speech Acts, pp. 41-58. New York: Academic Press.

Higashinaka, R., Araki, M., Tsukahara, H., and Mizukami, M. (2019). "Improving Taxonomy of Errors in Chat-Oriented Dialogue Systems." In Proceedings of IWSDS, pp. 331-343.

Higashinaka, R., Araki, M., Tsukahara, H., and Mizukami, M. (2021). "Integrated Taxonomy of Errors in Chat-oriented Dialogue Systems." In Proceedings of SIGDIAL, pp. 89-98.

Higashinaka, R., Funakoshi, K., Araki, M., Tsukahara, H., Kobayashi, Y., and Mizukami, M. (2015a). "Towards Taxonomy of Errors in Chat-oriented Dialogue Systems." In Proceedings of SIGDIAL, pp. 87-95.

東中竜一郎, 船越孝太郎, 荒木雅弘, 塚原裕史, 小林優佳, 水上雅博 (2016). テキストチャッ トを用いた雑談対話コーパスの構築と対話破綻の分析. 自然言語処理, 23 (1), pp. 59-86. [R. Higashinaka, et al. (2016). Text Chat Dialogue Corpus Construction and Analysis of Dialogue Breakdown. Journal of Natural Language Processing, 23 (1), pp. 59-86.].

Higashinaka, R., Funakoshi, K., Inaba, M., Tsunomori, Y., Takahashi, T., and Kaji, N. (2017). "Overview of Dialogue Breakdown Detection Challenge 3." In Proceedings of Dialog System Technology Challenge.

Higashinaka, R., Funakoshi, K., Kobayashi, Y., and Inaba, M. (2016). "The Dialogue Breakdown Detection Challenge: Task Description, Datasets, and Evaluation Metrics." In Proceedings of LREC, pp. 3146-3150.

東中竜一郎, 船越孝太郎, 高橋哲朗, 稲葉通将, 角森唯子, 赤間怜奈, 宇佐美まゆみ, 川端良

子, 水上雅博, 小室允人, ドルサテョルス (2020). 対話システムライブコンペティション 3. SIG-SLUD, B5 (02), pp. 96-103. [R. Higashinaka, et al. (2020). The Dialogue System Live Competition 3. SIG-SLUD, B5 (02), pp. 96-103.].

Higashinaka, R., Imamura, K., Meguro, T., Miyazaki, C., Kobayashi, N., Sugiyama, H., Hirano, T., Makino, T., and Matsuo, Y. (2014). "Towards an Open-domain Conversational System Fully Based on Natural Language Processing." In Proceedings of COLING, pp. 928-939.

Higashinaka, R., Mizukami, M., Funakoshi, K., Araki, M., Tsukahara, H., and Kobayashi, Y. (2015b). "Fatal or Not? Finding Errors that Lead to Dialogue Breakdowns in Chat-oriented Dialogue Systems." In Proceedings of EMNLP, pp. 2243-2248.

Higashinaka, R., Tsunomori, Y., Takahashi, T., Tsukahara, H., Araki, M., Sedoc, J., Banchs, R. E., and D'Haro, L. F. (2020). "Overview of Dialogue Breakdown Detection Challenge 5." In Proceedings of WOCHAT+DBDC5.

Li, M., Roller, S., Kulikov, I., Welleck, S., Boureau, Y.-L., Cho, K., and Weston, J. (2019).

"Don’t Say That! Making Inconsistent Dialogue Unlikely with Unlikelihood Training." arXiv preprint arXiv:1911.03860.

Liu, A., Sloan, R., Then, M.-V., Stoyanchev, S., Hirschberg, J., and Shriberg, E. (2014). "Detecting Inappropriate Clarification Requests in Spoken Dialogue Systems." In Proceedings of SIGDIAL, pp. 238-242.

Maynez, J., Narayan, S., Bohnet, B., and McDonald, R. (2020). "On Faithfulness and Factuality in Abstractive Summarization." In Proceedings of ACL, pp. 1906-1919.

大西可奈子, 吉村健 (2014). コンピュータとの自然な会話を実現する雑談対話技術. NTT DoCoMo テクニカル・ジャーナル, 21 (4), pp. 17-21. [K. Onishi and T. Yoshimura (2014). Konpyuta tono Shizen na Kaiwa wo Jitsugen Suru Zatsudan Taiwa Gijyutsu. NTT DoCoMo Technical Journal, 21 (4), pp. 17-21.].

Pitman, J. (1995). "Exchangeable and Partially Exchangeable Random Partitions." Probability Theory and Related Fields, 102 (2), pp. 145-158.

Purver, M., Hough, J., and Howes, C. (2018). "Computational Models of Miscommunication

Phenomena." Topics in Cognitive Science, 10 (2), pp. 425-451.

Ram, A., Prasad, R., Khatri, C., Venkatesh, A., Gabriel, R., Liu, Q., Nunn, J., Hedayatnia, B., Cheng, M., Nagar, A., King, E., Bland, K., Wartick, A., Pan, Y., Song, H., Jayadevan, S., Hwang, G., and Pettigrue, A. (2018). "Conversational AI: The Science Behind the Alexa Prize." CoRR, abs/1801.03604.

Rashkin, H., Smith, E. M., Li, M., and Boureau, Y.-L. (2019). "Towards Empathetic Opendomain Conversation Models: A New Benchmark and Dataset." In Proceedings of $A C L$, pp. 5370-5381.

Ravenscroft, J., Oellrich, A., Saha, S., and Liakata, M. (2016). "Multi-label Annotation in Scientific Articles-The Multi-label Cancer Risk Assessment Corpus." In Proceedings of LREC, pp. 4115-4123.

Ritter, A., Cherry, C., and Dolan, W. B. (2011). "Data-driven Response Generation in Social Media." In Proceedings of EMNLP, pp. 583-593.

Rodríguez, K. J. and Schlangen, D. (2004). "Form, Intonation and Function of Clarification Requests in German Task-Oriented Spoken Dialogues." In Proceedings of SEMDIAL, pp. 101-108.

Roller, S., Dinan, E., Goyal, N., Ju, D., Williamson, M., Liu, Y., Xu, J., Ott, M., Shuster, K., Smith, E. M., Boureau, Y.-L., and Weston, J. (2020). "Recipes for Building an Open-domain Chatbot." arXiv preprint arXiv:2004.13637.

Rosenberg, A. and Binkowski, E. (2004). "Augmenting the Kappa Statistic to Determine Interannotator Reliability for Multiply Labeled Data Points." In Proceedings of HLT-NAACL (Short Papers), pp. 77-80.

Schegloff, E. A. and Sacks, H. (1973). "Opening Up Closings." Semiotica, 8 (4), pp. 289-327.

See, A. and Manning, C. (2021). "Understanding and Predicting User Dissatisfaction in a Neural Generative Chatbot." In Proceedings of SIGDIAL, pp. 1-12.

Stoyanchev, S., Liu, A., and Hirschberg, J. (2013). "Modelling Human Clarification Strategies." In Proceedings of SIGDIAL, pp. 137-141.

杉山弘晃, 成松宏美, 水上雅博, 有本庸浩, 千葉祐弥, 目黒豊美, 中嶋秀治 (2020). Transformer encoder-decoder モデルによる趣味雑談システムの構築. SIG-SLUD, B5 (02), pp. 104-109. [H. Sugiyama, et al. (2020). Development of Conversational System Talking about Hobby using Transformer-based Encoder-Decoder Model. SIG-SLUD, B5 (02), pp. 104-109.].

Sugiyama, H., Mizukami, M., Arimoto, T., Narimatsu, H., Chiba, Y., Nakajima, H., and Meguro, T. (2021). "Empirical Analysis of Training Strategies of Transformer-based Japanese Chitchat Systems." arXiv preprint arXiv:2109.05217.

Tsukahara, H. and Uchiumi, K. (2015). "System Utterance Generation by Label Propagation Over Association Graph of Words and Utterance Patterns for Open-domain Dialogue Systems." In Proceedings of PACLIC, pp. 323-331.

Vinyals, O. and Le, Q. (2015). "A Neural Conversational Model." arXiv preprint arXiv: 1506.05869 .

Wallace, R. S. (2009). "The Anatomy of A.L.I.C.E." In Parsing the Turing Test, pp. 181-210. Springer.

Zhang, S., Dinan, E., Urbanek, J., Szlam, A., Kiela, D., and Weston, J. (2018). "Personalizing Dialogue Agents: I have a dog, do you have pets too?" In Proceedings of ACL, pp. 2204-2213.

## 略歴

東中竜一郎：2001 年慶應義塾大学大学院政策・メディア研究科修士課程, 2008

年博士課程修了. 2001 年日本電信電話株式会社入社. 2020 年より, 名古屋大学大学院情報学研究科教授. NTT 人間情報研究所・NTT コミュニケーショ ン科学基礎研究所客員上席特別研究員. 慶應義塾大学環境情報学部特別招聘教授. 2004 年から 2006 年まで英国シェフィールド大学客員研究員. 質問応答システム・対話システムの研究に従事. 人工知能学会, 言語処理学会, 情報処理学会, 電子情報通学会各会員. 博士 (学術).

荒木 雅弘：1988 年京都大学工学部卒業. 1993 年京都大学大学院工学研究科

博士課程研究指導認定退学. 京都大学工学部助手, 同総合情報メディアセン ター講師を経て, 現在京都工芸繊維大学大学院工芸科学研究科准教授. 対話 システムの開発方法論の研究に従事. ACL, ISCA，情報処理学会等各会員.博士 (工学).

塚原 裕史 : 1996 年中央大学大学院理工学研究科物理学専攻博士前期課程修了.

1999 年博士後期課程修了. 2000 年日立ソフトウェアエンジニアリング株式会社入社. 2005 年より, 株式会社デンソーアイティーラボラトリ。人工知能を 応用した車載情報システム，音声対話を利用した車載機器向けユーザインタ フェースの研究開発に従事. 日本物理学会, 人工知能学会, 言語処理学会, 情報処理学会各会員. 博士 (理学).

水上 雅博: 2012 年同志社大学理工学部卒業. 2014 年奈良先端科学技術大学院大学情報科学研究科修士課程修了. 2017 年同研究科博士課程修了. 同年, 日本電信電話株式会社入社. 現在, NTTコミュニケーション科学基礎研究所に 所属. 自然言語処理及び対話システムに関する研究に従事. 博士（工学）.

(2021 年 9 月 30 日 受付)

(2022 年 1 月 14 日 再受付)

(2022 年 2 月 22 日 採録)