# 複合化された固有表現認識のための教師なし並列構造解析
澤田 悠治 $\dagger \cdot$ 寺西 裕紀竍・松本 裕治 ${ }^{\dagger} \cdot$ 渡辺太郎†

固有表現認識は, 科学技術論文などのテキストから分野特有の用語を機械的に抽出す るタスクである。固有表現認識の従来研究は連続した範囲から成る固有表現のみを 解析対象としているが，並列する固有表現の一部が省略された複合的表現が含まれて おり, これらの固有表現に対して個々の固有表現を抽出することが困難である. 本研究では, 近年の自然言語処理タスクで広く使用されている学習済み言語モデルを用 いて, 並列構造の教師データを用いずに並列する句の範囲を同定し, 複合化された固有表現を正規化する手法を提案する． GENIA Treebank と GENIA term annotation を用いた評価実験では, 教師情報を使用した先行研究と近い解析性能を示し, 提案手法によって固有表現認識の精度が向上することを確認した.

キーワード：固有表現認識，並列構造解析，系列アライメント
## Coordinate Structure Analysis without Labeled Data for Recognizing Compound Named Entities

\author{
Yuya Sawada $^{\dagger}$, Hiroki Teranishi ${ }^{\dagger \dagger}$, Yuji Matsumoto ${ }^{\dagger \dagger}$ and Taro Watanabe ${ }^{\dagger}$
}

Named entity recognition is a fundamental task to detect terminologies from a text such as scientific literature. Previous studies treat only entities in continuous spans although sentences may contain compound named entities with coordination, which cannot be identified by existing recognizers. To recognize those entities, we propose a pipeline method in which entities with coordination are first identified using an unsupervised method utilizing a pretrained language model and then individual embedded named entities are normalized. In experiments, we demonstrate that our coordination identification method is comparable to the state-of-the-art supervised model for GENIA treebank, and the performance of named entity recognition for GENIA term annotation is improved by our normalization method.

Key Words: Named Entity Recognition, Coordinate Structure Analysis, Sequence Alignment

## 1 はじめに

物質名や有機物名などの分野特有の用語（固有表現）を科学技術文献などのテキストから機械的に抽出する技術は，物質・有機物などが取り持つ関係性の抽出や検索などにおいて重要な基盤とされている．固有表現認識の手法は，人手による素性設計を必要としないニューラルネッ トワークの導入によって顕著に発展している (Lample et al. 2016; Ma and Hovy 2016) が, 従来 の固有表現認識技術では抽出が困難な固有表現が存在し, 専門分野における固有表現認識の精度改善と, 情報検索・関係抽出などの応用のために解決が期待される。

既存の固有表現認識手法で抽出が困難な固有表現の一つとして, 複数の固有表現が並列関係 にある表現が挙げられる。並列関係にある要素（並列句）は “and”や“or”などの等位接続詞 によって連接されて並列構造を構成するが，並列句に共通して出現する接頭・接尾の要素はし ばしば並列構造の外側に括り出される。例えば，“human T and B lymphocytes”には "human T lymphocyte”と “human B lymphocyte”の二つの固有表現が並列関係にあり，それぞれの固有表現で共通して出現する “human” と “lymphocyte”が省略されている。このような固有表現 は，生命科学分野の固有表現認識コーパスである GENIA term annotation で全体の $3 \%$ に含ま れており, 既存研究の評価実験では一つの固有表現 ("human T and B lymphocytes") として扱 うか, 評価対象から除外されている.

本研究では, 並列構造及びその並列句に共有される隣接要素から構成される固有表現を, 複合固有表現と呼ぶ1. 例えば，上述の固有表現は名詞の並列構造 (“T and B”) と並列句に共有され る隣接要素 ("human”, “lymphocyte”) から成り, これらの構成要素を連結することで "human T and B lyphocytes" が表現されていると解釈できる. 複合固有表現に内包される並列構造の範囲を同定し, 並列句に共有される要素を特定することで, 並列句とその共有要素によって表さ れる個々の固有表現を復元することが可能であると考えられる.

並列構造の範囲同定に関する多くの研究では, 並列句が意味的・統語的に類似しているとい う特徴に着目しており, 近年ニューラルネットワークの導入によって顕著に発展している。し かしながら, 既存手法は分野に特化したコーパスを使用する教師あり学習による手法に基づい ており，固有表現認識タスクへの応用を考慮すると固有表現と並列構造の両方のアノテーショ ンにかかるコストが問題になる。

本研究では, 既存の固有表現認識器とのパイプライン処理が可能な, 並列構造のアノテーショ ンを用いない並列構造の範囲同定手法を提案する。また, 複合固有表現に対して提案手法が同定した範囲から省略された要素を識別し, 正規化する方法についても示す. 提案手法では, 近年自然言語処理タスクで広く利用されている事前学習された単語分散表現を用いて, 等位接続

詞前後の要素の対応関係を示すスコアを計算する，評価実験では， GENIA Treebankにおける 並列句の範囲同定のタスクにおいて，並列構造のアノテーションを用いない手法が教師ありの 既存手法に近い再現率を得た。さらに，GENIA term annotationを用いた固有表現認識のタス クにおいても，既存の固有表現認識手法の精度が改善されたことを示す。

本研究の貢献は以下の三点である.

・これまで例外的に扱われてきた，複合固有表現に対応する抽出手法を提案した。
- 事前学習された単語分散表現を用いて, 並列構造の範囲のアノテーションデータを用い ずに並列構造の範囲を同定する手法を開発した。
- 提案手法が既存の並列構造解析の教師あり手法に近い性能を達成し, 並列構造の範囲同定が固有表現認識に有用に働くことを示した.

## 2 提案手法

本研究で用いる手法の概要を図 1 に示す. 提案手法は, 複合固有表現を一つの固有表現として 抽出する固有表現認識器と, 文中に含まれる名詞と形容詞の並列構造の範囲を同定する並列構造解析器の二つのモジュールで構成されている。二つのモジュールの解析結果に基ついて, 複合固有表現に含まれる省略された要素を検出し，個々の固有表現へ正規化する。例として，図 1 では 固有表現認識器で “tissue-specific H2A-2 and H2B-2 genes”, 並列構造解析器で “H2A-2” および “H2B-2"が入力文から抽出されており, 二つのモジュールの出力から “tissue-specific H2A-2 and H2B-2 genes" が複合固有表現であること, “tissue-specific"と "genes”が複数の固有表現の中で 共通した要素であることが分かる. 本研究では, 並列構造解析器で同定された並列構造が固有

図 1 提案手法の概要図
表現認識器で予測された範囲に含まれる場合は，その範囲が複合固有表現であると仮定し, 並列構造の個々の並列句を展開して個別の固有表現 ("tissue-specific H2A-2 genes" と "tissue-specific H2B-2 genes"） へと正規化する².

## 2.1 並列構造解析器

並列構造解析器では, 訓練データを用いたモデルの教師あり学習を行わずに等位接続詞の前後にある並列句範囲を同定する。“-2, $-4,-5$ and -13”のような三つ以上の並列句から成る並列構造は，等位接続詞前後の並列句のみ (“-5 and -13”) を同定する。複合固有表現に含まれる並列構造は, “T and B” “myeloid and lymphoid” のように名詞や形容詞の並列から成るため, 提案手法は名詞と形容詞の並列構造を範囲同定の対象とする。本研究で構築する並列構造解析器 の実行過程を Algorithm 1 に示す. 語数 $N$ で構成される文 $w_{1: N}=\left.\{w_{1}, w_{2}, \ldots, w_{N}\right.\}$ と等位接続詞 $w_{k}(1 \leq k \leq N)$ に対して, 全ての可能な並列構造範囲の組み合わせの中でスコアを計算し,最もスコアの高い組み合わせを並列句の範囲として抽出する. 本手法では, 以下の三つの手順

にしたがって並列句ぺアを決定する。
- 並列句の最長範囲の抽出（前処理）: 入力文に対して, 名詞または形容詞の並列構造と 成り得る系列の最長範囲を抽出する (Algorithm 1:6 行目).
- 系列アライメント：並列構造の可能な全ての組み合わせに対して編集グラフを用いてス コアを計算し, 最大スコアとなる並列句ペアを同定する (Algorithm 1: 7-15 行目).
- フィルタリング: スコアが間値未満となった並列句ぺアの結果に対して, 並列構造を不在のものと見なす (Algorithm 1: 16-18 行目).

以降の小節では, これらの手順の詳細について説明する.

## 2.1.1 並列句の最長範囲の抽出

まず，名詞と形容詞以外の文や節などの並列構造を対象外とするための前処理として，品詞 タグを用いたルールに従って並列句の可能性がある単語系列 $\left(w_{i: k-1}, w_{k+1: j}\right)$ を抽出する。具体的には，等位接続詞の前後で動詞, 前置詞, カンマ $($,$) , コロン ($ : ), セミコロン ( ; ), 三点リーダ $(\cdots)$ を含まない最長の範囲を抽出する ${ }^{3}$. 例えば,

"Antigen complexed with major histocompatibility complex class I or II molecules on the surface of antigen presenting cells ..."

という文が入力された場合は, “major histocompatibility complex class I or II molecules” が並列構造の候補の最長範囲として抽出される。“-M1, and -M2”のように等位接続詞と先行する並列句の間にカンマが出現する場合があるため，等位接続詞に先行するカンマは事前に除去して から前処理を行う。また, 副詞句から成る並列構造を解析結果から除くためのルールとして, 等位接続詞前後の単語がともに副詞である場合は, 名詞・形容詞の並列構造は検出されず NONE を返す ${ }^{4}$.

## 2.1.2 系列アライメント

系列アライメントでは, 前処理で抽出された範囲 $[i, j]$ における並列句の候補ぺア $w_{b: k-1}(i \leq$ $b \leq k-1), \quad w_{k+1: e}(k+1 \leq e \leq j)$ に対してスコア計算を行い，最大スコアを持つ候補ぺアを 並列構造 $w_{b: e}$ として同定する，系列アライメントは，遺伝子配列などの系列間で相同性（類似性）を検出する手法 (Levenshtein 1966)の一つであり，一方の系列を插入・削除・置換の三つの 編集操作を通して他方の系列へと変換する一連の操作を考えることで，系列間の対応関係が求 められる。系列アライメントの例を図 2 に示す. 図 2 では縦方向の辺が挿入, 横方向の辺が削
=$ “" かつ $\left.w_{j+1}="\right) "$ かつ $w_{i: j}$ に丸括弧が出現しない場合は, 範囲 $[i, j]$ を並列構造の可能な範囲として定める.
}

図 2 並列構造解析に用いる系列アライメント

除, 斜め方向の辺が置換の操作に対応しており，赤線が最適な編集経路を表す.この編集経路 は, "the"と "the", "retinoid-induced"と “RARE-medicated”, “program”と "signal”がそれぞ れ対応関係にあることを意味している。三つの編集操作にはスコアが割り当てられており，編集グラフと呼ばれる格子状の空間でスコアの総和が最も高い操作系列が最適なアライメントと して決定される。

$
\operatorname{Score}\left(w_{b: k-1}, w_{k+1: e}\right)=\max _{R \in \mathcal{R}_{G}\left(w_{b: k-1}, w_{k+1: e}\right)} \sum_{\text {op }_{l, m} \in R} s\left(\mathrm{op}_{l, m}\right)
$

ここで $\mathcal{R}_{G}\left(w_{b: k-1}, w_{k+1: e}\right)$ は系列 $w_{b: k-1}$ と $w_{k+1: e}$ の編集グラフ $G$ 上の可能な操作系列の集合 であり, $\mathrm{op}_{l, m}$ は要素 $w_{l}(b \leq l \leq k-1)$ および $w_{m}(k+1 \leq m \leq e)$ に対する任意の編集操作を 表す。

系列アライメントに基づいて並列構造の範囲を同定する Shimbo and Hara (2007)の手法では,語数 $N$ の入力文に対して $N \times N$ 個の格子点で構成される編集グラフを用いて，編集グラフ上 の辺に割り当てられた特徴について学習されたパラメータの線形和として操作系列のスコアを 計算し，範囲を同定している。本手法は Shimbo and Hara (2007) と同様に系列アライメントに 基づいて並列構造の範囲を同定するが，並列構造のアノテーションに基づいて学習されたパラ メータを用いるのではなく, 学習済み言語モデルを用いてスコアの総和が最大となる編集操作系列を求めることで, 最適な並列構造の範囲の組み合わせを決定する. 具体的には, 挿入・削除をスキップ, 置換をマッチの操作として定義し, 二つの編集操作に対して学習済み言語モデ ルから得られる単語分散表現に基づいたスコア $s\left(\mathrm{op}_{l, m}\right)$ を付与する. スキップの操作に対して は, 開発データを用いて調整した定数値 $\beta$ を割り当て, マッチの操作に対するスコアは, 対応 する単語同士のベクトル $\mathbf{v}_{l}^{\text {pre }}(b \leq l \leq k-1)$ と $\mathbf{v}_{m}^{\text {post }}(k+1 \leq m \leq e)$ のコサイン類似度に基づ

いて計算する ${ }^{5}$.

$
\begin{gathered}
s\left(\mathrm{op}_{l, m}\right)= \begin{cases}\beta & \left(\mathrm{op}_{l, m}=\mathrm{SKIP}\right) \\
f_{\text {match }}(l, m) & \left(\mathrm{op}_{l, m}=\mathrm{MATCH}\right)\end{cases} \\
f_{\text {match }}(l, m)= \begin{cases}\cos \left(\mathbf{v}_{l}^{\text {pre }}, \mathbf{v}_{m}^{\text {post }}\right)^{2} & \text { if } \cos \left(\mathbf{v}_{l}^{\text {pre }}, \mathbf{v}_{m}^{\text {post }}\right) \geq 0 \\
-\cos \left(\mathbf{v}_{l}^{\text {pre }}, \mathbf{v}_{m}^{\text {post }}\right)^{2} & \text { otherwise }\end{cases}
\end{gathered}
$

全ての候補ぺア $w_{b: k-1}(i \leq b \leq k-1), w_{k+1: e}(k+1 \leq e \leq j)$ についてスコアを比較する際,編集グラフのサイズが大きくなるほど編集操作の回数が多くなり, 式 (1) によって計算された スコアの総和が大きくなる。そこで各編集グラフ $G\left(w_{b: k-1}, w_{k+1: e}\right)$ で算出された最大スコアを 編集グラフ上の最適経路 $\hat{R}$ の長さ $T$ によっ正規化し, 正規化されたスコアを用いて候補ぺア を決定する。ししたがって, Alignment 関数は以下のように定義される.

$
\operatorname{Alignment}\left(\mathrm{w}_{b: k-1}, \mathrm{w}_{k+1: e}\right)=\operatorname{Score}\left(\mathrm{w}_{b: k-1}, \mathrm{w}_{k+1: e}\right) / \mathrm{T}^{\alpha}
$

ここで $\alpha$ はハイパーパラメータであり，0.00～1.00の範囲で調整される.

## 2.1.3並列句ペアのフィルタリング

前処理や系列アライメントによって同定された並列句ペアの中には，本手法で解析対象とし ていない文や節などの並列構造の断片から成る並列構造が誤検出される場合がある. 例えば,

"[that is responsible for trans-activation by the HTLV-I trans-activator p40tax] and [that has the ability to bind to cyclic-AMP responsive element binding factor ( CREB )-like factor ( $\mathrm{s}$ )]"

のような従属節による並列構造に対し, 前処理によって "the HTLV-I trans-activator p40tax and that” が並列構造の最長範囲として抽出され，系列アライメントによって “that”を並列句に持 つ並列構造が決定される。このように誤検出される並列構造は，並列句ぺアに対する系列アラ イメントのスコア（式 (1)）が低くなると考えられるため, 閥値 $\eta$ を設定し, スコアが間値 $\eta$ 未満となった並列句ぺアは名詞・形容詞の並列構造と見なさずNONE を返す。閾値によるフィル タリングを適用するため, 式 (4)の Alignment 関数にシグモイド関数を適用し, Alignment 関数の返り値の値域を $0.00 \sim 1.00$ に変換する.

## 2.2 複合固有表現の正規化

## 2.2.1BERT を用いた固有表現認識

本研究では，BERT (Devlin et al. 2019) を固有表現認識タスク向けに fine-tuning したモデルを

固有表現認識器として使用する. 固有表現認識タスクへの fine-tuning を行う際には, Lee et al. (2019) と同様に学習済みの BERT と Softmax 層を結合して，各サブワードの固有表現ラベルを 予測する ${ }^{6}$. 複合固有表現に対しては，一つの固有表現として抽出されるように学習する.

## 2.2.2 個別固有表現の抽出

2.1 節と 2.2 .1 節で述べた並列構造解析器と固有表現認識器の出力を利用して, 複合固有表現 を個別の固有表現に分解する。具体的には，並列構造を含んでいる固有表現の中で省略されて いる要素を識別し，それぞれの固有表現に結合させる。省略されている要素は, 固有表現認識器で抽出された範囲から並列構造の範囲を取り除くことで得ることができる. 例えば，固有表現認識器で “human T and B lymphocytes” が抽出され, 並列構造解析器で “T and B” が同定さ れた場合は，並列構造の範囲を取り除いて“human”と“lymphocytes”を省略された要素と見な す.これらの省略された要素をそれぞれの並列句と連結することで，二つの固有表現 “human T lymphocyte”と “human B lymphocyte” が最終的に抽出される. 固有表現によって抽出され た並列構造を含まない表現は, 並列構造解析器を用いた正規化は適用されずに一つの固有表現 として抽出する.

## 3 実験

本研究では GENIA Treebank (beta) (Tateisi et al. 2005) と GENIA term annotation (Kim et al. 2003) を用いて評価実験を行う. GENIA Treebank は統語範疇のラベルとともに並列構造 の範囲がアノテーションされており, GENIA term annotation は複合固有表現を構成している 個々の固有表現がアノテーションされている。そこで並列構造解析の評価には GENIA Treebank beta, 固有表現認識の評価には GENIA term annotation を用いて, それぞれのデータセットに て教師なし手法である提案手法と先行研究の教師あり手法の性能を比較する. また, 提案した 並列構造解析手法のハイパーパラメータは, GENIA Treebankの並列構造のアノテーションが 利用できない状況を想定して, Penn Treebank (Ficler and Goldberg 2016a) 上で調整したため,予備実験として Penn Treebankにおける提案手法の性能について示す.

## 3.1 Penn Treebank での予備実験

## 3.1.1 実験設定

Penn Treebank での実験には，コーパスの Wall Street Journal のパートのうち， セクション 22 を開発データ, セクション 23 を評価データとして用いて, 対象の等位接続詞は寺西ら $(2020)$
^{6}$ Lee et al. (2019) が公開しているソフトウェアを使用した .
}

表 1 各単語分散表現に対するハイパーパラメータの設定

と同様に “and", “or", "but”, “nor", “and/or"とする. スキップと正規化のハイパーパラメー 夕の調整にはハイパーパラメータの最適化ツールである Optuna (Akiba et al. 2019)を使用し,開発データで最も高い $\mathrm{F}$ 值を示した設定を採用した7.

また, 本稿では異なる単語分散表現による解析性能の差異を調べるため, FastText (Bojanowski et al. 2017), ELMo (Peters et al. 2018), BERT (Devlin et al. 2019) による単語分散表現を使用 した ${ }^{8}$. BERT を使用する際は，BERT に付随するトークナイザによってサブワードに分割され る場合を考慮して, 分解されたサブワードのベクトルから要素ごとの平均をとることで単語分散表現を取得した．各単語分散表現を用いたモデルで採用するハイパーパラメータの設定は表 1 の通りである.

## 3.1.2 評価指標

全ての名詞の並列構造における等位接続詞の前後の並列句範囲の一致について, 適合率・再現率及びそれらの調和平均（F 値）で評価する9．Penn Treebankによる実験では名詞の並列構造の みを範囲同定の対象にしているため, 前処理の手順で形容詞の並列構造を解析対象から除外する ルールを加えた ${ }^{10}$.また, Penn Treebankにおける先行研究として, Penn Treebank の評価実験 で最も高い性能を示している教師あり学習手法である寺西ら (2020)の結果についても示す ${ }^{11}$. 寺西ら (2020)の手法は, 文脈を考慮した単語分散表現を使用していないため, BERT-Large (cased) から取得される単語分散表現を素性として追加したモデルを使用した結果についても示す.

## 3.1.3 実験結果

表 2 に実験結果を示す。テストデータにおいて, ELMo と BERT が FastText よりも高い適合
$ 值を示した設定を採用した.

8 FastText は Wikipediaを訓練コーパスに用いたモデル , BERT は BERT-Large, uncased のモデル  を使用した. 各単語分散表現のベクトルの次元数は FastText が 300 次元, ELMo と BERT はどちらも 1024 次元である.

9 寺西ら (2020) と同様に NP ・NX の並列構造を名詞の並列構造と見なす.

10 副詞句と同様に，等位接続詞の前後にある単語の品詞が形容詞の場合は NONE を出力する.

11 寺西ら (2020) の手法では, Wall Street Journal のパートでセクション 2 から 21 を訓練データとして使用してい る.
}

“Teranishi+20 (original)” は寺西ら (2020) の報告している結果から抜粋

表 2 Penn Treebankでの実験結果

率, 再現率, $\mathrm{F}$ 値を示しており, 文脈を考慮した単語分散表現が類似度計算に有効に働いてい る.しかし先行研究の実験結果と比較すると, 提案手法は先行研究より 40 ポイント程度低い值 となった。これは, 並列関係にある名詞句同士の意味があまり類似しない事例に対して, 類似 する単語同士の対応が有効に働かなかった点が原因として考えられる. 複合固有表現は並列句 で共通する接頭・接尾の要素によって並列構造を成すため, 並列句同士が類似しない事例は含 まれにくい。例えば，

"GM officials want to get their strategy to reduce capacity and the work force in place before those talks begin ."

という文に含まれる名詞の並列構造 ("capacity and the work force") では, 前後の並列句に属す る単語ぺアで類似するものがなく, 並列構造が不在なものとして誤って予測される。対して寺西らの手法では，並列句の内側と外側の境界において単語の連接関係を考慮したスコアを導入 することで，双方の並列句で意味が異なる事例に対しても並列構造の外側の文脈から範囲が同定できる。また, 以下のような事例も偽陽性・偽陰性の原因として挙げられ, 本研究の今後の 課題である.
- 名詞の並列構造が形容詞から成るため, 前処理の段階で形容詞の並列構造として誤って 除外される事例 ("You ca n't say the same with black and white").
- 語順が逆転しているため, 類似となるぺアが適切に選ばれない事例 ("Elcotel , a telecommunications company, had net income of $\$ 272,000$, or five cents a share").
- 節の先頭と末尾の名詞句が, 名詞の並列構造として誤って予測される事例 ("Also， the company 's hair-growing drug , Rogaine, is selling well - at about \$125 million for the year, but the company 's profit from the drug has been reduced by ...").

## 3.2 GENIA Treebankでの実験

## 3.2.1 実験設定

教師あり手法である寺西ら (2020) の手法と教師なし手法である提案手法の性能を比較するた め, GENIA Treebank (beta) での実験を行った. 先行研究との比較のため, 対象の等位接続詞 を“and”, “or”, “but”とし, 前処理で使用する品詞タグはコーパスに付与されている品詞を 使用した。また, Penn Treebankを用いた予備実験と同様に事前学習された FastText, ELMo, BERT に基づいた単語分散表現を使用して，それぞれの解析性能について比較した。これら の単語分散表現には, GENIA Treebank と同様に生命科学分野に関する論文アブストラクトを 訓練コーパスにしたモデルを使用する．FastTextには，PubMedで入手できる論文のアブスト ラクト，MIMIC-III に収録されている医療カルテを用いて学習した BioWordVec ${ }^{12}$ (Yijia et al. 2019), ELMo は PubMed で入手可能な論文を用いて訓練したモデル13を使用した. BERT では, FastText や ELMo と同様に生命科学分野の論文を用いて学習した SciBERT (Beltagy et al. 2019) と BioBERT (Lee et al. 2019)を使用した ${ }^{14}$ 、ハイパーパラメータの設定は, GENIA Treebank の並列構造のアノテーションを用いないことを想定して, Penn Treebankの予備実験で調整し た設定（表 1）をそれぞれ採用した。 さらに，特定のドメインにおいて並列構造のアノテーショ ンが利用できないことを想定して，Penn Treebankの訓練データで学習した寺西ら (2020) の手法を用いた結果についても評価する。Penn Treebankの 39,832 文の訓練データには 15,670 文に 並列構造のアノテーションが含まれているのに対し， GENIA Treebankには 2,508 文に並列構造のアノテーションが含まれている。少量の訓練事例で学習して他ドメインへ識別する性能を 比較するため, Penn Treebankの訓練データに存在する並列構造を含む文から 1/10 の文をサン プリングして学習した寺西ら (2020)の手法による結果についても示す.

## 3.2.2 評価指標

GENIA Treebankでの実験では, 先行研究との比較のため, 等位接続詞に隣接する並列句の 範囲の一致について 5 分割交差検定による再現率で評価を行った。並列構造は前置詞句や節を 含んだ並列句から成る場合があるが，複合固有表現に内包される並列構造は前置詞句や節が含 まれにくい，したがって，本実験では全並列構造による設定に加えて，前置詞句・節・前処理 で適用した記号を含まない並列構造のみを単純な並列構造として評価する. 本手法は GENIA
$ _2xhighway_weights_PubMed_only.hdf5

14 SciBERT は SciBERT-SciVocab, uncased のモデル , BioBERT は BERT-Large, cased のモデル を使用した. SciBERT の次元数は 768 次元， BioBERT の次元数は 1024 次元である.
}

Treebank のデータセットによるモデルの訓練を行わないため, 5 分割交差検定の Held-out データ のみを使用し, 5 分割したデータセットでの再現率の平均によって性能を示した. 寺西ら $(2020)$ の手法は， GENIA Treebankの実験では文脈を考慮した単語分散表現を使用していないため, BioBERT-Large (cased) から取得される単語分散表現を素性として追加したモデルをべースラ インとして使用する. Penn Treebankの一部の訓練データを使用する設定では, Penn Treebank からサンプリングした訓練事例を全訓練データで学習する設定の 10 倍のエポック数で学習し, Held-out データでの再現率の平均を 1 試行のスコアとする. この手続きを 5 回試行した上で,全試行におけるスコアの平均と標準偏差を示す.

また，前処理や闇値を用いずに予測した際の識別性能について，適合率・再現率・F 値によっ て評価する。複合固有表現に内包する並列構造のみを識別するため, 前処理や閥値などを用い ない設定による評価では, 名詞・形容詞の並列構造を併せて評価する。

## 3.2.3 実験結果

実験結果を表 3 に示す。寺西ら (2020) の教師あり学習の手法 (Teranishi+20 (original)) と比べ て, 提案手法 (Ours (ELMo)) は全ての並列構造を対象とした名詞と形容詞の並列構造範囲の一致ではそれぞれ 14 ポイント・17 ポイント程度の差, 単純な並列構造 (Teranishi+20 (BioBERT)) においては, それぞれ 6 ポイント・5ポイント程度の差が見られた. Penn Treebankの学習デー 夕の全事例を用いて学習したモデル (Teranishi+20 (PTB (full))) は, GENIA で学習したモデ ル (Teranishi+20 (BioBERT)) と同程度の性能を示しているが, Penn Treebankの学習データか ら少量の訓練事例をサンプリングした場合 (Teranishi+20 (PTB (1/10))), 再現率が著しく低下 し, 各試行で性能にばらつきが見られた。また, Penn Treebank の少量の訓練事例で学習した

(再現率, 単位:\%)

表 3 GENIA Treebank beta の実験結果

モデルと GENIA Treebank で学習したモデル (Teranishi+20 (BioBERT))を比較すると, 形容詞の並列構造では GENIA で学習したモデルと同程度の性能を示しているものの, 名詞の並列構造では再現率は 10 ポイント以上下回っている. これらの手法と比較して, 提案手法は Penn Treebankの全学習データを使用して学習したモデルと比べて差はあるものの, $1 / 10$ の教師デー 夕で学習したモデルとは名詞の並列構造で同等以上の精度を示しており, 単純な形容詞の並列構造においては各試行で取りうる性能に近い精度を示している。したがって, 提案手法は同じ ドメインで学習された教師あり手法と比べて改善の余地はあるものの, 少数の並列構造の訓練事例を用いるだけで他のドメインから学習された手法と近い性能が得られていると考えられる.

単語分散表現の比較においては, ELMoが名詞と形容詞の並列構造において最も高い再現率を 示した. これは, 文字列が類似するような専門用語に対して類似度計算をする際に, ELMo で導入 されている文字レべルの畳み込み層が有効に働いたためだと考えられ, Claudia and Damir (2020) による医学用語の類似性を評価した実験でも同様の傾向が報告されている. また, BioWordVec を使用したモデルは名詞の並列構造において SciBERT と BioBERT をそれぞれ使用したモデル の再現率を下回ったものの，形容詞の並列構造においては SciBERT と BioBERT のモデルを上回る再現率を示した. 形容詞の並列構造は, “normal and anergic”のような一単語の並列句で構成されている傾向があり, 図 3 でも長さ正規化のパラメータの増加に伴って再現率が増加してい る.この結果から, 名詞句のような複数の単語系列から成る並列句のアライメントには文脈を 考慮した分散表現，形容詞の並列構造のような範囲の短い事例に対しては文字レベルの類似性 を考慮した分散表現が有用に働き, ELMo を使用したモデルがサブワードの平均をとる BERT を使用したモデルと比べて高い再現率が得られたと考えられる.

名詞と形容詞の単純な並列構造について, 前処理の有無, ハイパーパラメータの設定, 編集操

(a) 長さ正規化 $\alpha$

(b) スキップ $\beta$

図 3 各パラメータの設定に対する再現率の推移 (ELMo)

パラメータの設定を使用したモデル (default) では適合率と比較して再現率が高くなり，名詞句・形容詞句などの異なる統語範疇を持つ句の並列 16 に対して, 名詞と形容詞の並列構造とし て誤って予測していると考えられる。間値を用いない設定では, default の設定による結果と比 ベて再現率が 1 ポイント増加したのに対して，適合率は 7 ポイント低下した。閾值 $\eta$ に対する $\mathrm{F}$ 値の推移を図 4 に示す。図 4 では閾値 0.54 の設定で $\mathrm{F}$ 値が最大値を示しており，閾値を設定 しない場合では高いスコアを示さない非類似の要素ぺアが, 並列構造として誤検出されている ことを示している．闇値を高くした設定では，類似する要素ぺアも並列構造として検出されな くなるため，偽陰性の誤りが生じる。前処理のルールを用いず等位接続詞前後の全ての単語系列からアライメントをとる設定では，性能が著しく低下した．前処理における制約を無くした

表 4 異なる設定によるモデルの性能の違い

図 4 閾値 $\eta$ に対する $\mathrm{F}$ 値の推移

ことで等位接続詞の前後の単語系列で部分的にマッチしてしまい，正解となる並列句ペアのス コアを上回ってしまったことが，精度低下の原因として考えられる，スキップのスコアと長さ 正規化の強さを示すパラメータを 0 にした設定では, default と性能が変わらない結果となった.

実際に各単語分散表現を用いて，等位接続詞前後の単語系列でマッチの操作に対するスコア （式 3）を算出した例を図 5 に示す 17 . 図 5 では，どの単語分散表現も対応する単語に対して最 も高いスコアが付与されている。しかし，ELMo を用いた結果（図 5a）では対応する単語同士 と対応しない単語同士で 0.2 以上の差が見られるのに対して, BERT を用いた計算（図 $5 \mathrm{~b}, 5 \mathrm{c}$ ) では 0.1 以下の近いスコアが付与されている箇所が存在する。このように，対応しない単語同士に対して ELMo が低いスコアを算出でき, 対応する位置から距離が遠くなる程スコアが低く なるように計算されていることから，スキップや正規化の制約を設けなくても最適なアライメ ントが取ることができたと考えられる。

また，編集操作に付与する計算方法では，ユークリッド距離，内積を用いた場合はコサイン 類似度と比べて性能が著しく低下した。コサイン類似度による計算も二乗せず単純に計算した 方法は再現率が 10 ポイント程度下回っており, 二乗したことで対応関係にある単語同士と対応 しない単語同士のスコアの差が僅かに大きくなったことが要因として考えられる.

## 3.2.4 解析結果の定性的分析

表 5 に提案手法による並列構造解析の出力例を示す。まず，各単語分散表現を用いた提案手法の解析結果（表 5a）では, BERT が専門的な単語と無関係な単語が類似するような分散表現

(a) ELMo

(b) BioBERT

(c) SciBERT

図 5 各単語分散表現を用いたマッチ操作に対するスコアの例
^{17}$ ELMo と BERT から得られた単語分散表現は，同一文内の異なる単語間でコサイン類似度がほとんど非負となつ ていた.
}
(a) ELMo と BERT の単語分散表現によって解析された並列構造の例

 \\
正解 & {$[\mathrm{IL}-10]$ and [IL-4];[mRNA] and [protein] } \\
出力 (ELMo) & {$[\mathrm{IL}-10]$ and [IL-4];[mRNA] and [protein] } \\
出力 (SciBERT) & {$[\mathrm{IL}-10]$ and [IL-4];[IL-6 mRNA] and [protein expression] } \\
出力 (BioBERT) & {$[\mathrm{IL}-10]$ and [IL-4];[IL-6 mRNA] and [protein expression] } \\

(b) どの単語分散表現を使用したモデルでも誤った例

入力文
正解
出力 (ELMo, BERT)

B lymphocytes and macrophages express closely related immunoglobulin $\mathrm{G}$ ( IgG ) Fc receptors ( Fc gamma RII) that differ only in the structures of their cytoplasmic domains.

[B lymphocytes] and [macrophages] [lymphocytes] and [macrophages]

表 5 提案手法の並列構造解析器による出力例

を生成したことで，誤ったアライメントを引き起こす事例が存在した．実際に表 $5 \mathrm{a}$ の例につ いて，各単語分散表現で類似度を計算した結果を図 6 に示す。この例では，ELMo（図 6a）は “mRNA”に対応する “protein”に最も高いスコアが付与されているのに対して, BioBERT（図 6b）とSciBERT（図 6c）は “protein”よりも“expression” の方が高い類似度を示している。こ れは BERT の単語分散表現はサブワードベクトルから生成されたことが原因として考えられ， サブワードから単語分散表現を生成する場合は専門用語の文字列の特徴を利用しにくい可能性 がある.

表 $5 \mathrm{~b}$ では, どの単語分散表現を使用したモデルでも誤って解析された例を示す. 提案手法で は，前後の並列句で系列長が異なる事例に対して誤りが生じやすい。本研究で用いた系列アラ イメントは一対一のアライメントに基づいているため, 表 5b の例では “B”と "lymphocytes”で アライメントをとる必要がある. しかしながら, “macrophages”は “B”よりも "lymphocytes" の方が意味的に近く，単語分散表現による類似度計算のみから予測することは難しいと考えら れる。並列句の境界にある単語の連接関係を考慮し，一つの単語が複数の単語に対してアライ メントを可能にすることが提案手法の今後の課題である.

## 3.3 GENIA term annotation での実験

複合固有表現を含む固有表現全体の抽出性能を評価するため，GENIA term annotation で実験を行なった. GENIA term annotation における固有表現の出現数と文数を表 6 にまとめる. GENIA term annotation では, 11 タイプの等位接続詞のタグで複合固有表現が分類されてお

(a) ELMo

(b) BioBERT

(c) SciBERT

図 6 各単語分散表現を用いたマッチ操作に対するスコアの例

表 6 GENIA term annotationにおける固有表現の出現数

り18, AND と ORのラベルは全体の $97 \%$ 占めるため, 本実験では AND と OR の等位接続詞 を範囲同定の対象とした。

## 3.3.1 実験設定

GENIA term annotation での実験では，入れ子を対象にした固有表現認識の関連研究で使用さ れている Muis and $\mathrm{Lu}$ (2016)の評価方法19に基づいて，コーパスの最初の $80 \%$ と $10 \%$ の文を固有表現認識器の訓練及び開発用, 残りの $10 \%$ 評価用のデータセットとして使用した. さらに固有表現のタイプがDNA, RNA, Protein, cell_line, cell_typeの固有表現のみを評価対象とし, DNA とRNA, Proteinのサブカテゴリは全て親カテゴリに統合した. GENIA term annotation には, "EBV - transformed human B cell line”の "human B cell line”のような入れ子になった 固有表現もアノテーションされているため, 固有表現認識器のモデルの学習には, 訓練データ と開発データで入れ子状の固有表現を除去し, 最長範囲の固有表現のみを対象として使用した.

固有表現認識器には, 生命科学のドメインに合わせるため BERT の代わりに BioBERT (Lee et al. 2019)を使用した. BioBERT は, 生命科学分野の固有表現認識タスクの評価用コーパス である JNLPBAを用いた先行研究の中で最も高い抽出性能を示している 20 . 並列構造解析器で 用いる学習済みの言語モデルには，Penn Treebank と GENIA Treebankの実験で最も高い性能 を示した ELMoを採用し, 系列アライメントで使用するスキップ及び長さ正規化のハイパーパ ラメータも表 1 の設定を採用した. 並列構造解析器の前処理で使用する品詞夕グは, コーパス に付与されている品詞を使用した.

## 3.3.2 評価指標

GENIA term annotation の実験では，全ての固有表現を対象とした設定と複合固有表現に限定した設定で，固有表現の抽出における適合率・再現率・F 値を評価指標として性能を比較し た. 全ての固有表現を対象にした設定では，BioBERTを使用したモデルをベースラインとし， BioBERT と提案手法の並列構造解析器を組み合わせたモデルと抽出精度を比較した. 複合固有表現のみを対象にした設定では，提案手法の並列構造解析器による固有表現認識の性能の上限 を示すため, コーパスに付与されている複合固有表現の全体範囲のアノテーションを固有表現認識器の代わりに用いた設定 (Oracle) と, BERTによる固有表現認識器と組み合わせた提案手法の抽出精度を比較した。また，複合固有表現の一部を不連続な固有表現として抽出するDai et al. (2020)の教師あり学習手法を用いた実験結果についても示し, 提案手法における並列構造解析器の有用性を検証した ${ }^{21}$. Dai et al. (2020) は実験用のコーパスに GENIA term annotation
(2016)$ の実験では複合固有表現を一つの固有表現として扱っているため, これらの固有表現を個別の固有表現に分解したデータセット を使用した.

20 JNLPBA では, GENIA term annotation と同じくPubMed の論文アブストラクトを使用しているが, 最長範囲 にある固有表現のみを評価対象としており，複合固有表現は一つの固有表現として扱っている.

21 入れ子構造を考慮した固有表現認識タスクにおいて GENIA term annotation を用いて評価を行った研究が存在す るが, これらの研究はデータの分割や前処理などの実験設定がそれぞれ異なっており, 再現が困難なため採用しな かった.
}

を採用していないため, Dai らが公開しているソフトウェア 22 を使用し，素性として用いる単語分散表現には ELMo をPubMed で事前学習したモデルを採用した. Dai et al. (2020)の手法は,複合化によって省略が生じた固有表現を含めた不連続な固有表現のみを対象にした設定で性能 を評価しており，複合固有表現以外の固有表現が抽出され得るため，複合固有表現のみを対象 にした設定では再現率のみを示す.

## 3.3.3実験結果

実験結果を表 7 に示す。全ての固有表現を対象にした評価について，提案手法はべースライ ンの性能を改善させたが，複合固有表現のみを対象にした設定では Oracle と固有表現認識器の 間に 28 ポイントの差があり, パイプラインに使用している固有表現認識器の誤りに起因した性能低下が見られる. Dai et al. (2020)の手法と比較すると, 全ての固有表現を対象にした設定 では提案手法の再現率は Dai et al. (2020)の手法と比べて 10 ポイント程度の差があるものの,複合固有表現のみを対象にした設定では, Oracle と提案手法を組み合わせたモデルが Dai et al. (2020) とほぼ同等の再現率を示した。この結果は, 提案手法で用いた固有表現認識器が入れ子状に埋め込まれている他の固有表現を抽出対象にしていないのに対して, Dai et al. (2020)の 手法ではこれらの固有表現も対象にしていることが原因として考えられる ${ }^{23}$. 固有表現認識器 の性能差の影響をなくすため, Dai らの手法をパイプラインで用いる固有表現認識器として使用する。ただし, Daiらの手法では, 複合固有表現が既に不連続な固有表現として抽出されて いるため，等位接続詞の前後に固有表現が抽出された場合は一つの複合固有表現とみなし（no disc), 提案手法の並列構造解析器を用いて個々の固有表現として再度抽出する。結果を表 8 に 示す. Daiらの手法による出力から得た複合固有表現を個々の固有表現として再度抽出した場

表 7 GENIA term annotation での固有表現認識の実験結果

 \\
BioBERT & \multicolumn{3}{|c}{$\mathrm{F}$} \\
Dai et al (no disc) & 78.6 & 63.6 & 69.1 \\
Dai et al & $79.1(+0.7)$ & $76.2(+2.5)$ & $77.6(+1.6)$ \\
Dai et al (no disc)+Ours & $79.2(+0.8)$ & $75.0(+1.3)$ & $77.1(+1.1)$ \\

“Dai et al (no disc)”は, 複合固有表現内の個々の固有表現を結合した際の抽出精度括弧内の数字は “Dai et al (no disc)” からの上がり幅を示す.

表 8 Dai らの出力から得た複合固有表現を使用した実験結果

合, 提案手法は教師あり手法であるDai らの手法とほぼ同等の性能で抽出できていることが分 かる。これらの結果を踏まえて, 複合固有表現の正規化において提案手法の並列構造解析器が 有効に働いており, 複合固有表現に対する固有表現認識器の抽出性能に従って, 今後解析性能 も向上すると考えられる。

## 4 関連研究

## 4.1 固有表現認識

これまでの固有表現認識の多くの研究は, 系列ラベリングによる手法に基づいている。系列 ラベリングでは，入力された単語系列に対し，固有表現のラベルと境界を表すラベル系列を予測する。初期の系列ラベリングによる手法では，人手による素性設計と機械学習手法の一つで ある条件付き確率場 (Lafferty et al. 2001) が主に使用されており, 単語の表層形や品詞などの 情報が素性として使用された。近年では，双方向型の Long-Short Term Memory (Lample et al. 2016; Ma and Hovy 2016) や ELMo (Peters et al. 2018), BERT (Devlin et al. 2019) などの文脈 を考慮した単語の深層情報を利用することで, 最小限の素性で学習が可能な手法が考案されて いる．系列ラベリングに基づく手法では，固有表現の始点 (B) や内部 (I) などを示すラベル方式によって定義されており，連続した単語列から成る固有表現しか表現できず，入れ子構造と なる固有表現や不連続な固有表現を表せない問題がある。したがって, 先行研究では複合固有表現に対しては複合固有表現全体または連続した一部分を固有表現として抽出して評価するか, あるいは例外の事例として評価対象から取り除いている。

複合固有表現におけるラベリングの問題に対して, Muis and Lu (2016)と Dai et al. (2020)は 不連続な範囲を持つ固有表現に対応する手法を提案した。複合固有表現では, “Vitamins A and B”の“(Vitamins) B”のように, 省略を伴う一部の固有表現の範囲が不連続的になり，これらの
固有表現を不連続な範囲をもつ固有表現と見なすことができる，Muis らは，医療ドメインの固有表現認識において系列ラベリングのラベル方式を拡張し，単語を示すノードと固有表現のク ラスを意味するエッジで繋いだ一本のハイパーグラフが構成されるようなラベル系列を予測す ることで，不連続な範囲に対応する手法を提案した，Daiらは，医療・創薬ドメインの固有表現認識において, Lample et al. (2016)が開発したShift-Reduce アルゴリズムに基づく固有表現認識手法を拡張し，不連続な範囲の固有表現をボトムアップに抽出する手法を提案した。

また，複合固有表現を含む省略を伴った並列的表現に対して，Buyko et al. (2007)と Chae et al. (2014) は省略を正規化する手法を提案した。複合固有表現の一部には “[IL-5] / [GM-CSF] receptor”のような，等位接続詞によらない並列関係によって省略を伴う表現が存在する。 Buyko et al. (2007) は入力文の単語系列を先行詞，接辞，等位接続詞，複合表現以外を示す四種類のラ ベルに分類し，ラベルの出現パターンに基づいて省略を伴う複合表現を予測する手法を提案し た. Chae et al. (2014)は, 生命科学分野の専門用語を集積した辞書で複合表現を網羅的に探索 し, 先頭にある単語の省略 (forward), 末尾にある単語の省略 (backward), 先頭や末尾などの 複雑な省略 (complex) の三つのカテゴリに基づくルールを用いて, 複合表現を正規化する手法 を提案した. Buyko et al. (2007) は複合表現のそれぞれの要素に対してアノテーションされた データセット, Chae et al. (2014)の手法はデータセット上の全ての専門用語が網羅された辞書 を使用している点で本研究と異なる.

本研究は, 複合固有表現に対して, 並列構造解析と固有表現認識の手法を組み合わせる試み として位置付けられる，固有表現の範囲と並列句の範囲を独立して予測することで，複合固有表現に含まれる個々の固有表現について評価する設定で，固有表現の認識精度が向上した.

## 4.2 並列構造解析

並列構造は，等位接続詞などの句を連接させる働きを持つ語，等位接続詞などによって結び つけられた句（並列句）によって構成される。並列構造解析では, 並列構造に属する並列句の始点と終点を予測する.これまでの並列構造解析の多くの研究では, 並列構造の範囲同定に有用 な特徴として，並列句の類似性に基づいた手法が発展している。並列構造の類似性とは，同一 の並列構造に属する並列句同士が句の構造や意味において類似する性質である．例えば，図 7 のような隣接する二つの並列句, "strong tyrosine phosphorylation of STAT4" と "variable weak phosphorylation of STAT3”は, ほぼ同一の品詞系列を持ちながら，STAT ファミリー分子のリ ン酸化に関する意味を持っている.

まず並列構造の類似性に基づく手法として，Kurohashi and Nagao (1994)は結びつけらた並列句同士の類似度を示すスコアを文字列や品詞の一致などのルールによって計算することで,日本語における並列構造の範囲を同定する手法を提案した. Shimbo and Hara (2007) は英語の 並列構造において, 単語や品詞, 形態情報に基づいた素性を用いて並列句の内部にある単語同

図 7 並列構造の類似性の例

士のアライメントによって類似度を計算する。単語のアライメントには, それぞれの素性の重 み付き線形和がスコアとして表され, 重みのパラメータは機械学習手法での一つであるパーセ プトロンを用いて調整される. Hara et al. (2009) はShimbo and Hara (2007)の手法を拡張し,全ての並列構造のスコアの総和が最大になるような木を導出することで, 入れ子状になった複数の並列構造・三つ以上の並列句によって構成される並列構造に対応した.

近年は, ニューラルネットワークに基づいた並列構造の範囲同定手法が提案されている. Ficler and Goldberg (2016b) は句構造解析器である Berkeley Parser (Petrov et al. 2006) を用いて抽出 された並列句ぺアの候補に対して，ベクトル同士のユークリッド距離などを素性として用いて スコアを計算する。これらのスコア付けされた並列句ぺアの中で，最もスコアの高いぺアを並列句の範囲として予測する. 寺西ら (2018)は並列構造全体の範囲に対して, 外部の構文解析器 を利用しないエンドツーエンドな範囲同定手法を提案した。寺西ら (2020) は, それぞれの並列句の内部と外部の境界などに基づいたスコアを用いて, Hara et al. (2009) と同様に並列構造を 表す木を CKY アルゴリズムによって構築し, 入れ子状の並列構造, 三つ以上の並列句に対応す る手法を提案した. 寺西ら (2020)の手法は, 並列構造解析の既存手法において最も高い解析精度を達成している。しかしながら, これらの手法の学習には個々の並列構造に対して各並列句 の範囲がアノテーションされた大量のデータが必要になることから, 他分野への応用という面 を考慮すると, データセットの作成にかかるコストの点で課題が残る.

本研究は, 並列句の全ての候補ぺアに対してスコア計算を行い, 並列関係にある単語系列の ペアに対して高いスコアを割り当てる点で, 従来研究の手法と類似する. しかしながら, 複合固有表現に含まれる並列構造は，名詞や形容詞による並列に限定されており，文や動詞句など の全ての並列構造に対して網羅的に解析することは実用上効率的ではない. また, 名詞や形容詞による並列構造は, 文や節による並列と比べて並列句同士の類似性が高い傾向にある。本研究は, 名詞と形容詞の並列構造に焦点をあて, 事前学習された単語分散表現と品詞のみを使用 し, 並列構造のアノテーションを用いない点で従来研究と異なる.

## 5 おわりに

本研究は, 並列構造解析器と固有表現認識器のパイプライン処理によって, 複合固有表現か ら個々の固有表現を抽出する手法を提案した。事前学習された単語分散表現から文脈・単語の 表層を考慮した情報を用いることで，生命科学分野の並列句の範囲同定タスクにおいて教師あ り学習に基づく手法に近い再現率を達成し, 固有表現認識のタスクにおいても, 提案手法の並列構造解析器を既存の固有表現認識器と組み合わせることで固有表現認識の精度向上に有用に働 くことが示された。提案手法は, 複合固有表現に含まれる個別の固有表現を抽出できる点, 並列構造のアノテーションを用いた学習を行う必要がない点が貢献として挙げられる.

提案手法の課題として, 提案手法は等位接続詞の前後にある二つの並列句のみの範囲を予測 するため, 三つ以上の並列句で構成される並列構造に対しても個々の並列句を取り扱えるよう

にすることが挙げられる。また，等位接続詞に含む固有表現は複数の固有表現が結合されて範井が広くなることから，固有表現の抽出が困難になる。さらに，並列構造を含む固有表現の中 には正規化の必要がない単一の固有表現も含まれるため，今後は広範囲な固有表現にも頑健に 対応するとともに, 並列構造と固有表現の範囲を同時に解析できるように改善する予定である.

## 謝 辞

本研究の一部は JST CREST（課題番号：JPMJCR1513）の支援を受けて行い， The 28th International Conference on Computational Linguistics で発表したものです (Sawada et al. 2020).

## 参考文献

Akiba, T., Sano, S., Yanase, T., Ohta, T., and Koyama, M. (2019). "Optuna: A Next-Generation Hyperparameter Optimization Framework." In Proceedings of KDD '19, pp. 2623-2631, New York, NY, USA. Association for Computing Machinery.

Beltagy, I., Lo, K., and Cohan, A. (2019). "SciBERT: A Pretrained Language Model for Scientific Text." In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3615-3620, Hong Kong, China. Association for Computational Linguistics.

Bojanowski, P., Grave, E., Joulin, A., and Mikolov, T. (2017). "Enriching Word Vectors with Subword Information." Transactions of the Association for Computational Linguistics, 5, pp. 135-146.

Buyko, E., Tomanek, K., and Hahn, U. (2007). "Resolution of Coordination Ellipses in Biological Named Entities using Conditional Random Fields." In Proceedings of the 10th Conference of the Pacific Association for Computational Linguistics, pp. 163-171.

Chae, J., Jung, Y., Lee, T., Jung, S., Huh, C., Kim, G., Kim, H., and Oh, H.-B. (2014). "Identifying Non-elliptical Entity Mentions in A Coordinated NP with Ellipses." Journal of Biomedical Informatics, 47, pp. 139-152.

Claudia, S. and Damir, J. (2020). "Can Embeddings Adequately Represent Medical Terminology? New Large-Scale Medical Term Similarity Datasets Have the Answer!" In Proceeding of the Thirty-Fourth AAAI Conference on Artificial Intelligence, pp. 8775-8782, New York, USA. Association for the Advancement of Artificial Intelligence.

Dai, X., Karimi, S., Hachey, B., and Paris, C. (2020). "An Effective Transition-based Model for Discontinuous NER." In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 5860-5870, Online. Association for Computational Linguistics.

Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. (2019). "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota. Association for Computational Linguistics.

Ficler, J. and Goldberg, Y. (2016a). "Coordination Annotation Extension in the Penn Tree Bank." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 834-842, Berlin, Germany. Association for Computational Linguistics.

Ficler, J. and Goldberg, Y. (2016b). "A Neural Network for Coordination Boundary Prediction." In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 23-32, Austin, Texas. Association for Computational Linguistics.

Hara, K., Shimbo, M., Okuma, H., and Matsumoto, Y. (2009). "Coordinate Structure Analysis with Global Structural Constraints and Alignment-Based Local Features." In Proceedings of the Joint Conference of the 47th Annual Meeting of the ACL and the 4th International Joint Conference on Natural Language Processing of the AFNLP, pp. 967-975, Suntec, Singapore. Association for Computational Linguistics.

Kim, J.-D., Ohta, T., Tateisi, Y., and Tsujii, J. (2003). "GENIA Corpus-A Semantically Annotated Corpus for Bio-textmining." Bioinformatics.

Kurohashi, S. and Nagao, M. (1994). "A Syntactic Analysis Method of Long Japanese Sentences

Based on the Detection of Conjunctive Structures." Computational Linguistics, 20 (4), pp. 507-534.

Lafferty, J. D., McCallum, A., and Pereira, F. C. N. (2001). "Conditional Random Fields: Probabilistic Models for Segmenting and Labeling Sequence Data." In Proceedings of the Eighteenth International Conference on Machine Learning, pp. 282-289, San Francisco, CA, USA. Morgan Kaufmann Publishers Inc.

Lample, G., Ballesteros, M., Subramanian, S., Kawakami, K., and Dyer, C. (2016). "Neural Architectures for Named Entity Recognition." In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 260-270, San Diego, California. Association for Computational Linguistics.

Lee, J., Yoon, W., Kim, S., Kim, D., Kim, S., So, C. H., and Kang, J. (2019). "BioBERT: a pre-trained biomedical language representation model for biomedical text mining." Bioinformatics.

Levenshtein, V. I. (1966). "Binary Codes Capable of Correcting Deletions, Insertions and Reversals." Soviet Physics. Doklady, 10, pp. 707-710.

Ma, X. and Hovy, E. (2016). "End-to-end Sequence Labeling via Bi-directional LSTM-CNNsCRF." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1064-1074, Berlin, Germany. Association for Computational Linguistics.

Muis, A. O. and Lu, W. (2016). "Learning to Recognize Discontiguous Entities." In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 75-84, Austin, Texas. Association for Computational Linguistics.

Peters, M., Neumann, M., Iyyer, M., Gardner, M., Clark, C., Lee, K., and Zettlemoyer, L. (2018). "Deep Contextualized Word Representations." In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 2227-2237, New Orleans, Louisiana. Association for Computational Linguistics.

Petrov, S., Barrett, L., Thibaux, R., and Klein, D. (2006). "Learning Accurate, Compact, and Interpretable Tree Annotation." In Proceedings of the 21st International Conference on Computational Linguistics and 44th Annual Meeting of the Association for Computational Linguistics, pp. 433-440, Sydney, Australia. Association for Computational Linguistics.

Sawada, Y., Wada, T., Shibahara, T., Teranishi, H., Kondo, S., Shindo, H., Watanabe, T., and Matsumoto, Y. (2020). "Coordination Boundary Identification without Labeled Data for Compound Terms Disambiguation." In Proceedings of the 28th International Conference on

Computational Linguistics, pp. 3043-3049, Barcelona, Spain (Online). International Committee on Computational Linguistics.

Shimbo, M. and Hara, K. (2007). "A Discriminative Learning Model for Coordinate Conjunctions." In Proceedings of the 2007 Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning (EMNLP-CoNLL), pp. 610-619, Prague, Czech Republic. Association for Computational Linguistics.

Tateisi, Y., Yakushiji, A., Ohta, T., and Tsujii, J. (2005). "Syntax Annotation for the GENIA Corpus." In Companion Volume to the Proceedings of Conference including Posters/Demos and tutorial abstracts.

寺西裕紀, 進藤裕之, 松本裕治 (2018). 語系列の類似性$\cdot$可換性の特徵表現による並列句の範囲同定.自然言語処理, 25 (4), pp. 441-462. [H. Teranishi et al. (2018). Similarity and Replaceability Feature Representations of Word Sequences for Identifying Coordination Boundaries. Journal of Natural Language Processing, 25 (4), pp. 441-462.].

寺西裕紀, 進藤裕之, 渡辺太郎, 松本裕治 (2020). 局所的モデルと CKYアルゴリズムによる 並列構造解析. 自然言語処理, 27 (4), pp. 719-752. [H. Teranishi et al. (2020). Coordinate Structure Analysis using Local Models and CKY Algorithm. Journal of Natural Language Processing, 27 (4), pp. 719-752.].

Yijia, Z., Chen, Q., Yang, Z., Lin, H., and lu, Z. (2019). "BioWordVec, Improving Biomedical Word Embeddings with Subword Information and MeSH." Scientific Data, 6. 52.

## 略歴

澤田 悠冶：2019 年関西学院大学総合政策学部卒. 2021 年奈良先端科学技術大学院大学先端科学技術研究科博士前期課程修了. 同年, 同大学院先端科学技術研究科博士後期課程入学. 自然言語処理の研究に従事.

寺西裕紀：2014 年慶應義塾大学商学部卒. 2018 年奈良先端科学技術大学院大学情報科学研究科博士前期課程修了. 2020 年同大学院先端科学技術研究科博士後期課程修了. 博士 (工学). 同年より理化学研究所革新知能統合研究セン ター (AIP) 特別研究員. 自然言語処理の研究に従事.

松本裕治：1977 年京都大学工学部情報工学科卒. 1979 年同大学大学院工学研究科修士課程情報工学専攻修了. 同年電子技術総合研究所入所. $1984 \sim 85$ 年英国インペリアルカレッジ客員研究員．1985～87 年（財）新世代コンピュー 夕技術開発機構に出向. 1988 年京都大学助教授, 1993 年奈良先端科学技術大学院大学教授. 2020 年理研 AIP 知識獲得リーダ, 現在に至る. 工学博士.専門は自然言語処理. 情報処理学会, 人工知能学会, 言語処理学会, AAAI,

ACL, ACM 各会員, 情報処理学会フェロー. ACL Fellow,

渡辺 太郎：1994 年京都大学工学部情報工学科卒業. 2000 年 Language and Information Technologies, School of Computer Science, Carnegie Mellon University, Master of Science 取得. 2004 年京都大学博士（情報学)。ATR および NTT, NICT にて研究員，またグーグルでソフトウェアエンジニアとして勤めたあ と, 2020 年より奈良先端科学技術大学院大学教授. 自然言語処理や機械学習,機械翻訳の研究に従事.

(2021 年 3 月 1 日 受付)

(2021 年 6 月 2 日 再受付)

(2021 年 7 月 13 日 採録)


# 発話順序に基づくGraph Attention Networks を用いた 対話文における感情認識

石渡 太智 ${ }^{\dagger,+\dagger}$ ・安田 有希 $\dagger$ ・宮㠃 太郎 ${ }^{\dagger}$ 後藤 淳 $\dagger$
}

SNS 上のユーザ動向調査やフェイクニュース検知を目的に, 対話文における各発話の感情認識 (Emotion Recognition in Conversations: ERC) が注目を集めている。ERCで は，対話文における各発話の内容に加えて，発話間の関係が話者の感情に大きな影響を 与えることが知られている。従来の State-of-the-art を達成した手法は, 発話間の関係 の中でも特に自己依存と相互依存を, Relational Graph Attention Networks (RGAT) を用いて取得し, 当時の世界最高峰の認識精度を得た. しかしながら, RGAT モデル は発話の順序情報を利用できない課題がある。そこで本論文は， RGAT モデルに発話順序を加える新たな手法 Relational Position Encodings を提案する。提案手法を用い ることで，自己依存と相互依存を含む発話間の関係と，発話の順序情報の両方を利用で きる。評価実験において，ERCにおける 3 つのベンチマークデータセットのうち， 2 つのデータセットで従来手法を上回る認識精度を達成し, 世界最高峰の認識精度を達成 した.

キーワード：感情認識, 発話順序, Relational Graph Convolutional Networks, Graph Attention Networks, Position Encodings
## Position-aware Graph Attention Networks for Emotion Recognition in Conversations

\author{
Taichi Ishiwatari ${ }^{\dagger, \dagger \dagger}$, Yuki Yasuda $^{\dagger}$, Taro MiYazaki ${ }^{\dagger}$ and Jun Goto ${ }^{\dagger}$
}

Interest in emotion recognition in conversations (ERC) has been increasing in various fields, because it can be used in the various tasks such as analyzing user behaviors and detecting fake news. Many recent ERC methods use graph neural networks to consider the relationships between the utterances of the speakers. In particular, the strong method considers self-speaker and inter-speaker dependencies in conversations by using relational graph attention networks (RGAT). However, graph neural networks do not consider sequential information. In this paper, we propose relational position encodings that provide RGAT with sequential information reflecting the relational graph structure. Therefore, our RGAT model can capture both the speaker dependency and the sequential information. Experiments on three ERC datasets show that our model is beneficial to recognizing emotions expressed in conversations. In

addition, our approach empirically outperforms the state-of-the-art on several benchmark datasets.

Key Words: Emotion Recognition, Utterance Sequence, Relational Graph Convolutional Networks, Graph Attention Networks, Position Encodings

## 1 はじめに

SNS 上のユーザ動向調査 (Lee and Hong 2016) やフェイクニュース検知 (Guo et al. 2019)へ の応用を目的として, 対話文における各発話の感情認識 (Emotion Recognition in Conversations: ERC) が注目を集めている (Picard 2010)。またチャットボットなどの会話エージェントが自然な 発話文を生成するために，話者の感情が対話中にどのように変化するかが分析されている (Huang et al. 2018).

先行研究の多くは, Recurrent Neural Networks (RNN) を用いて, 各発話の特徴を抽出する (Liu et al. 2016; Hochreiter and Schmidhuber 1997)。しかし，RNNを用いる場合，長い系列データの 特徴の抽出は容易ではない (Bradbury et al. 2016). そこで Majumder らは, Attention 機構によ り全発話の中から関連のある発話に焦点を当て, 長い系列データの特徴を抽出することで高い認識精度を実現した (Majumder et al. 2019)。しかしながら，これらの従来手法は発話間の関係，特に 自身の発話からの影響（自己依存）と他者の発話からの影響（相互依存）を考慮していない．表 1 を用いて，2つの依存関係の重要性を示す。表 1 は，2 人の話者が就職活動について意見を交わす 例である。話者 A は長い間就職先が見つからないため，一連の発話で常に負の感情を抱いている. これは自己依存の例を示し，自分自身の感情の推移を表す。一方で，話者 B の 4 番目の感情は，直

 & neutral \\

表 1 対話文の各発話に現れる感情ラベルの例
前の話者 A の状況に同情し, 負の感情を抱いている. これは相互依存の例を示し, 他者の発話が自身の感情に影響を与える性質を持つ。

Ghosal らは自己依存と相互依存の関係を利用するために, Relational Graph Attention Networks (RGAT) 1 を用いて, 当時の世界最高峰の認識精度を達成した (Ghosal et al. 2019).この手法は, ノードに各発話の特徴量を, エッジに発話間の関係を, エッジの種類に依存関係の種類を設定し,有向グラフを構築する。しかしながら，RGAT を含む Graph Neural Networks (GNN) は対話文中 の発話の順序情報を利用できない課題がある．表 1 を用いて，順序情報の重要性を示す。話者 B は 4 番目の発話で，感情が変化する。これは， 1 番目や 2 番目の発話ではなく, 直前の 3 番目の発話 に同情したことが原因と考えられる。従って, ERC の認識精度の向上には, 発話から発話への距離の影響を考慮する必要がある。

一般的な解決策として，発話の絶対位置 (Vaswani et al. 2017) や相対位置 (Shaw et al. 2018)を 基にした Position Encodings を，GNN モデルに加える方法がある．絶対位置を基にした Position Encodings は GNN のノード（発話）に，相対位置を基にした Position Encodings はエッジ（発話間の関係) に加えられる。一方で提案手法は, Ghosal らの手法 (Ghosal et al. 2019)を参考に, 自己依存と相互依存の利用を目的として, 依存関係の種類に応じたRGAT を用いる。従って, 絶対位置や相対位置ではなく依存関係の種類に応じた位置表現を用いることで, 認識性能の向上が期待 できる.

本論文は，依存関係の種類に応じた位置表現を新たに作成し，RGAT に加える手法 Relational Position Encodings を提案する。提案手法を用いることで, 自己依存と相互依存を含む発話間の関係と，発話の順序情報の両方を利用できる．評価実験において，ERCにおける 3 つのべンチマー クデータセットのうち, 2 つのデータセットで従来手法を上回り, 世界最高峰の認識精度を達成し た. さらに, 絶対位置や相対位置ではなく, 依存関係の種類に応じた位置表現が, ERC の精度向上に貢献することも確認した。

本論文の貢献を以下に示す。(1) 対話文における発話の順序情報を利用するため, 初めて RGAT モデルに Relational Position Encodings を適応した. (2) 提案手法を用いることで, 自己依存と相互依存を含む発話間の関係と，発話の順序情報の両方の利用を可能にした. (3) 従来手法との比較実験を通して，提案手法の有用性を確認した。(4) 絶対位置や相対位置ではなく, 依存関係の種類 に応じた位置表現の有用性を確認した。
^{1}$ RGCN: Relational Graph Convolutional Networks (Schlichtkrull et al. 2018) と GAT: Graph Attention Networks (Veličković et al. 2017) を組み合わせたモデル.
}

## 2 関連研究

対話文における各発話の感情認識 (ERC) 多くの研究者が ERC に注目し認識精度向上に取り組 んでいる。その中でも，精度向上に大きく貢献した手法に DialogueRNN (Majumder et al. 2019) がある. DialogueRNN は, Attention 機構によって全発話の中から関連のある発話に焦点を当て,長い系列デー夕の特徴を抽出する手法である.

また，発話の特徴を抽出する手法として，Luo らの手法 (Luo and Wang 2019) と Yang らの手法 (Yang et al. 2019) がある. Luo らの手法 (Luo and Wang 2019) は事前学習済み BERT モデル (Devlin et al. 2018)を用いて, トークンごとの特徴量を抽出する. 得られた特徴量の中から, 先頭 の $[C L S]$ トークンの特徴量を抜き出し, Feed Forward Neural Networks (FFNN) を用いて感情ラ ベルの確率値を算出する. Yang らの手法 (Yang et al. 2019) は, 事前学習済み BERT モデルに,複数の発話をまとめて入力する手法である。複数の発話の間に $[S E P]$ トークンを挿入し，連結す る。連結した複数発話を同時に入力することで, 各発話の内容を考慮しつつ発話間の相互作用も利用することができる.

Graph Neural Networks (GNN) GNN は, 自然言語処理の分野だけでなく画像処理など様々 な問題に応用され, 著しい注目を集めている。いくつか種類のある GNN の中でも，ノードとノー ドの結合関係を表す隣接行列を利用した GCN: Graph Convolutional Networks (Kipf and Welling 2016)をはじめ, RGCN (Schlichtkrull et al. 2018)やGAT (Veličković et al. 2017) が盛んに利用 されている。提案手法は， RGCN と GATを組み合わせた RGAT を用いる， RGCN はノード間の 関係の種類ごとに GCN を用意するため，自己依存と相互依存など依存の種類ごとにネットワーク を構築することができる。またGAT を用いることで, ノード間の類似度を計算し，関連性のある ノードに注意を向けることができる.

提案手法に最も関連のある手法として, DialogueGCN (Ghosal et al. 2019) がある. DialogueGCN は，自己依存と相互依存を含む発話間の関係の取得のために RGAT モデルを利用し，当時の世界最高峰の認識精度を達成した手法である．Ghosal らは，対話文に登場する話者ごとに自己依存と相互依存の影響の度合いが異なると考え, 話者ごとに自己依存と相互依存を区別する RGAT モデル を構築した. しかしながら, 話者の数が増えると, 依存関係の種類が増えパラメータの数も増加す る. そこで提案手法は, パラメータ数の削減を目的として, 話者ごとに自己依存と相互依存を区別 しないRGAT モデルを構築する。加えて, DialogueGCN を含む GNN モデルは, 対話文中の発話 の順序情報を利用できない課題がある。本論文は, 順序情報の利用を目的として, 依存関係の種類 に応じた位置表現を新たに作成し，RGAT モデルに加える手法 Relational Position Encodings を 提案する.

Position Encodings本論文は, 発話の順序情報をGNN モデルに加える手法を提案する。関連研究に, Position Encodings を Transformer (Vaswani et al. 2017) に加える方法がある. Transformer

モデルは Attention 機構を基に構成されるため，時系列情報の利用が容易ではない，そこで，絶対位置 (Vaswani et al. 2017) や相対位置 (Shaw et al. 2018), 構造位置 (Wang et al. 2019) に基づく Position Encodings が提案されている. GNN も同様に時系列情報の利用が容易ではない。そのた め Ingraham らはタンパク質の設計に際し，タンパク質の相対的な位置をGNN のエッジに付加す るモデルを提案した (Ingraham et al. 2019).

## 3 提案手法

はじめに $\mathrm{ERC}$ の問題設定を示す． ERC では，対話文における各発話 $u_{1}, u_{2}, \cdots, u_{N}$ の感情ラべ ル (neutral, surprise, fear など）を認識する．Nは1つの対話に現れる発話の数を示す.また, 1 つの対話に登場する話者を $s_{m}(m=1, \cdots, M)$ とする． $M$ は話者の人数を示す.

提案手法は, 発話特徵量の抽出, Position Encodings を加えた発話関係の抽出, 感情ラベルの識別の 3 つで構成される。全体図を図 1 に示す. 本手法は, Ghosal らの手法 (Ghosal et al. 2019)を 参考に，発話間の関係の抽出を目的として，RGAT モデルを構築する。さらに，RGAT では取得 が容易でない発話の順序情報の利用を目的として, Position Encodings を加える手法を提案する.

図 1 提案手法の全体図。はじめにRoBERTaを用いて発話の特徵量を抽出する。次に，RGATを用いて 発話間の関係を考慮した特徴量を作成する。 $\mathbf{h}_{i}^{l}$ は発話 $u_{i}$ の $l$ 層目の特徴量を表す. 次に, Position Encodings により RGAT に発話の順序情報を付加する。最後に発話の特徴量と発話間の関係を考慮し た特徴量を連結し, FFNNを用いて感情ラベルを認識する。 図は発話 $u_{4}$ の感情ラベルを識別する例を 示す.

## 3.1 発話特徵量の抽出

BERT モデル (Vaswani et al. 2017) を用いた発話特徵量の抽出方法 (Luo and Wang 2019) を参考 に, 発話内の token ごとの特徵量を抽出する。まず, 各発話 $u_{1}, u_{2}, \cdots, u_{N}$ を RoBERTa tokenizer を用いて, tokenごとに分割する。発話 $u_{i}$ の分割された token を $\left(u_{i, 1}, u_{i, 2}, \cdots, u_{i, T_{i}}\right)$ とする. $T_{i}$ は発話 $u_{i}$ に含まれる tokenの数を示す. 次に，事前学習モデル RoBERTa-large ${ }^{2}$ (Liu et al. 2019) を用いて，発話の内容を考慮した特徴量を抽出する。最後に，Max-pooling を通じて発話 $u_{i}$ の特徵量 $\mathbf{h}_{i}^{0} \in \mathbb{R}^{D}$ を得る. $D$ は発話特徴量の次元数を示す. 事前学習済み RoBERTa モデルは, 学習 ステップでファインチューニングを行う.

## 3.2 順序情報を考慮した発話関係の抽出

次に，3.1 節で作成した特徴量 $\mathbf{h}_{i}^{0}$ を RGAT に入力し, 発話間の関係を考慮した特徴量を作成す る。本手法は，自己依存と相互依存の関係を区別するために，RGAT を用いて関係の種類に応じた ネットワークを用意する。また, Attention 機構を導入し，関連性のある発話に注意を向ける。さ らに，発話の順序情報の利用を目的として，依存関係の種類に応じた位置表現を加える Relational Position Encodings を提案する.

## 3.2.1 グラフ構造

はじめにグラフ構造を定義する. グラフのノード（発話の特徵量）を $\mathbf{v}_{i} \in \mathcal{V}$ とし，2つのノード $\mathbf{v}_{i}, \mathbf{v}_{j}$ 間を結ぶエッジ（発話間の関係）を $\left(\mathbf{v}_{i}, r, \mathbf{v}_{j}\right) \in \mathcal{E}$ とする. $r \in \mathcal{R}$ はエッジの種類（依存関係の種類）を示す.ノードとエッジを一つにまとめた複数のグラフを， $\mathcal{G}=(\mathcal{V}, \mathcal{E}, \mathcal{R})$ と表記する. ノード グラフのノード $\mathbf{v}_{i} \in \mathcal{V}$ は, 各発話の特徴量で表現する. ノード $\mathbf{v}_{i}$ は, 発話の特徴量 $\mathbf{h}_{i}^{0}$ を初期値とする．RGAT を複数層重ねることで，隣接する発話の特徴量を複数回集計する． $L$ 層重 ねた発話 $u_{i}$ の特徴量を $\mathbf{h}_{i}^{L}$ とする.

エッジの種類発話間の関係ごとにグラフを構築する Ghosal らの手法 (Ghosal et al. 2019) を参考に，(a) 話者の関係と (b) 時間の関係に基づきエッジの種類を決定する。(a) 話者の関係：発話間の関係を自己依存と相互依存のいずれかに割り当てる。話者 $s_{m}$ による発話 $u_{i}$ に対して, 同じ話者 $s_{m}$ の発話（ $u_{i}$ を含む）を自己依存とする。一方で, 話者 $s_{m}$ による発話 $u_{i}$ に対して, 違う話者 $s_{k \neq m}$ の発話を相互依存とする. (b) 時間の関係：発せられた時間によって, エッジの種類を割り 当てる。すなわち発話 $u_{i}$ に対して，発話 $u_{j}$ が先に発せられたか（過去），あるいは後に発せられ たか（未来）に応じて種類を分ける。一般的に，リアルタイムの対話では，未来の発話を利用でき ないが，ERC の問題設定はデータが全て揃ったオフラインを想定しているため，未来の発話も利用することができる.
^{2}$ https://github.com/pytorch/fairseq
}
以上より，(a) 話者の関係と (b) 時間の関係に基づき, (1) 自己 - 過去, (2) 相互 - 過去, (3) 自己 - 未来, そして (4) 相互 - 未来, の計 4 種類のエッジを設定する. エッジの種類を $\mathcal{R}=\{1,2,3,4\}$ とする。

次に，エッジの種類について, Ghosal らの手法 (Ghosal et al. 2019) と本手法の違いを説明する.

Ghosal らは自己依存と相互依存の影響の度合いが話者ごとに異なると考え，登場する話者の数に 応じて, (a) 話者の関係と (b) 時間の関係に基づく 4 種類の関係を用意した。例えば，ある対話に $s_{1}, s_{2}$ の話者 2 人が登場する場合, (1) 話者 $s_{1}$ - 自己 - 過去, (2) 話者 $s_{2}$ - 自己 - 過去, $\cdots$, (8) 話者 $s_{2}$ - 相互 - 未来の, 計 2 (話者の数) $\times 4$ (関係の種類) $=8$ 種類のエッジを用意する. Ghosal ら の手法は，話者ごとにネットワークを区別するため，特定の話者に関する影響を考慮することがで きる。しかしながら，対話に登場する話者の数が増えると，エッジの種類が増えパラメータの数も 増加する，そこで本手法は，パラメータの数を削減するために，話者ごとに関係を区別せず，(a)話者の関係と $(\mathrm{b})$ 時間の関係に基づく 4 種類の関係を用いる.

グラフの構築対話文における全ての発話に対して，4 種類の関係に基づいたグラフを構築する.

図 2 を用いて, グラフ構築の例を示す. 図 2 は，4 番目の発話（左）と 5 番目の発話（右）を基準 にしたときの，隣接する発話との関係を示す。例えば，4番目の発話を基準にした 1 番目の発話は，過去の自身の発話なので，赤色で示す $(1)$ 自己 - 過去の関係 $(r=1)$ を表す. また， 6 番目の発話 は未来の自身の発話なので，青色で示す $(3)$ 自己 - 未来の関係 $(r=3)$ を表す. 次に， 5 番目の発話を基準にした図 2 の右側の例を考える．５番目の発話を基準にした 2 番目の発話は，過去の違う 話者の発話なので, 黄色の点線で示す $(2)$ 相互 - 過去の関係 $(r=2)$ を表す.このように, 対話文 における全ての発話 $u_{i}$ に対して, 隣接する発話 $u_{j}$ と, 話者と時間の関係に基づく 4 種類の関係を

図 2 グラフの構築方法. 対話文における全ての発話に対して, エッジの種類に基づくグラフを構築する. 左 は発話 $\mathbf{h}_{4}$ を基準にしたとき，右は発話 $\mathbf{h}_{5}$ を基準したときのエッジの種類を示す.
構築する.

エッジの上限数 エッジを結ぶ発話の上限数（密幅）を定める．過去の密幅を $p$ ，未来の密幅を $f$ としたとき，発話 $u_{i}$ と $p$ 個の過去の発話， $f$ 個の未来の発話をエッジで結ぶ．密幅を小さく設定 する場合，小さな隣接グループしか注目することができない，一方で窓幅を大きくする場合，高い 計算コストが必要となる。従って，適当な窓幅 $p$ と $f$ の設定が求められる．本手法は，ハイパーパ ラメータの数を削減するために, 過去の密幅 $p$ と未来の窓幅 $f$ を同じ値 $p=f$ に設定する.

隣接発話の集合 発話 $u_{i}$ の隣接する発話の集合を定める. エッジの種類 $r$ で発話 $u_{i}$ に隣接する発話の集合を $\mathcal{N}_{r}(i)$ とする。集合 $\mathcal{N}_{r}(i)$ の要素は，最大で密幅 $p(=f)$ の数存在する，例えば，図 2 に おいて窓幅 $p=3$ で 5 番目の発話（右側）を基準にしたとき，黄色の点線で示すエッジの種類 $r=2$ で発話 $u_{5}$ に隣接する発話の集合は, $\mathcal{N}_{2}(5)=\{1,2,4\}$ となる.

## 3.2.2 RGAT

RGCN モデル (Schlichtkrull et al. 2018) と GAT モデル (Veličković et al. 2017) に基づき，隣接 する発話の特徵を加味した, $l+1$ 層目の発話 $u_{i}$ の特徵量 $\mathbf{h}_{i}^{l+1}$ を作成する. 次項に示す, 発話 $u_{i}$ と発話 $u_{j}$ 間の Attention 機構と Position Encodings を加味した重み係数 $\alpha_{i j}^{l}$ により，隣接する発

集計した特徴量を下式で示す.

$
\mathbf{h}_{i}^{l+1}=\sum_{r \in \mathcal{R}} \sum_{j \in \mathcal{N}_{r}(i)} \alpha_{i j}^{l} W_{r}^{l} \mathbf{h}_{j}^{l}
$

$W_{r}^{l}$ は，エッジの種類 $r$ ごとに用意した RGAT のパラメータである. RGAT の層数を $L$ 回重ねる ことで， $L$ 回分のエッジによって結ばれた隣接ノードの特徵を反映することができる。 さらに本手法は式 (1)に Multi Head Attention を適用し, Layer Normalization も加える.

## 3.2 .3 エッジの重み係数

式 (1)における, Attention 機構を用いたエッジの重み係数 $\alpha_{i j}^{l}$ を導入する。本手法は, GAT モ デル (Veličković et al. 2017) と同様に Attention 機構を利用する. 発話 $u_{i}$ と, エッジの種類 $r$ で隣接する発話の集合 $\mathcal{N}_{r}(i)$ の発話 $u_{j}$ の, エッジの重み係数 $\alpha_{i j}^{l}$ を下式で示す.

$
\begin{aligned}
\alpha_{i j}^{l} & =\frac{\exp \left(z_{i j}^{l}\right)}{\sum_{\bar{j} \in \mathcal{N}_{r}(i)} \exp \left(z_{i \bar{j}}^{l}\right)} \\
z_{i j}^{l} & =\operatorname{LeakyReLU}\left(\left(\mathbf{a}_{r}^{l}\right)^{T}\left[W_{r}^{l} \mathbf{h}_{i}^{l} \| W_{r}^{l} \mathbf{h}_{j}^{l}\right]\right)
\end{aligned}
$

ただし, 式 (1) に示すように, $j$ はエッジの種類 $r$ で発話 $u_{i}$ に隣接する集合 $\mathcal{N}_{r}(i)$ の要素である. 従っ $\tau, j \in \mathcal{N}_{r}(i)$ の関係から， $(i, j)$ の組が定まるとエッジの種類 $r$ も定まる。また, $W_{r}^{l}$ は Attention 機構のパラメータを, $\mathbf{a}_{r}^{l}$ は学習可能なべクトルを, ${ }^{T}$ は転置を示す. 活性化関数 LeakyReLU を
通じて得た $z_{i j}^{l}$ を，集合 $\mathcal{N}_{r}(i)$ における edge softmax ${ }^{3}$ (Veličković et al. 2017)で正規化し，重み 係数 $\alpha_{i j}^{l}$ を得る.

## 3.2.4 Relational Position Encodings

本項では，RGAT モデルでは取得が容易でない発話の順序情報の利用を目的として，エッジの種類に応じた位置表現を新たに作成し，RGAT に加える手法 Relational Position Encodings を提案 する。提案手法の位置表現を図 3 に示す。

順序情報を加える従来手法に，絶対位置 (Vaswani et al. 2017) や相対位置 (Shaw et al. 2018) に 基づくPosition Encodings がある. 図 3 に示すように，絶対位置はノード（発話）の順番に基づ き，相対位置はエッジ（発話間の関係）すなわち発話から発話への距離に基づく．発話から発話へ 有向グラフを結ぶ GNN では，相対位置を基にした Position Encodings の適用が望ましい。しかし ながら，相対位置を基にした Position Encodings は，エッジの種類によらず一律に順序情報が与え られる。本手法は，自己依存と相互依存の取得を目的に RGAT を利用するため（3.2.1 項），エッ ジの種類に応じた位置表現を作成する。以上より，図 3 に示す，エッジの種類ごとに用意した相対位置の位置表現 (Relational Position)を新たに作成する。

次に Relational Position の式を示す.はじめに，隣接発話の集合に対応する順番の集合を定め る. 隣接発話の集合 $\mathcal{N}_{r}(i)$ に対応する順番の集合を， $\mathcal{I}_{r}(i) \subset \mathbb{N}$ とする． $\mathbb{N}$ は自然数の集合を示す. $\mathcal{I}_{r}(i)$ は, 窓幅 $p(=f)$ を最大とする自然数から降順に，隣接発話の集合 $\mathcal{N}_{r}(i)$ の要素数を取り出し た集合を示す. 例えば, 図 3 の例で空幅 $p=3$ の時, エッジの種類 $r=1$ で発話 $u_{4}$ に隣接する集合は， $\mathcal{N}_{1}(4)=\{1,2,4\}$ である.この時，窓幅 $p=3$ を最大とする自然数から降順に，隣接発話の 集合 $\mathcal{N}_{1}(4)$ の要素数取り出した順番の集合は $\mathcal{I}_{1}(4)=\{1,2,3\}$ となる. 次に，エッジの種類 $r=2$

図 3 提案手法 Relational Position の例. 提案手法は,エッジの種類ごとに用意した相対位置を用いる. 背景色は $\mathbf{h}_{4}$ を基準とした時のエッジの種類を示す. 提案手法の値は, 空幅 $p=3$ のときの発話 $u_{4}$ から の Relational Position を示す.

で発話 $u_{4}$ に隣接する集合 $\mathcal{N}_{2}(4)=\{3\}$ に対応する順番の集合を考える。この時，密幅 $p=3$ を最大とする自然数から降順に，隣接発話の集合 $\mathcal{N}_{2}(4)$ の要素数取り出した順番の集合は $\mathcal{I}_{2}(4)=\{3\}$ となる.

続いて，隣接発話の集合 $\mathcal{N}_{r}(i)$ の要素に対応する，順番の集合 $\mathcal{I}_{r}(i)$ の要素を取り出す変換を定 める. 隣接発話の集合 $\mathcal{N}_{r}(i)$ の中で，対象 $i$ から相対距離の遠い順に，順番の集合 $\mathcal{I}_{r}(i)$ の要素を対応させる. その変換を $\operatorname{idx}_{r, i}: \mathcal{N}_{r}(i) \rightarrow \mathcal{I}_{r}(i)$ とする. すなわち, 対象 $i=4$ にエッジの種類 $r=4$ で隣接する発話の集合 $\mathcal{N}_{4}(4)=\{5,9,10\}$ に対して, 対象 $i=4$ から相対距離の遠い順に, 順番の 集合 $\mathcal{I}_{4}(4)=\{1,2,3\}$ を対応させる. 例えば, $j=10$ 番目の発話は, 隣接する発話 $\mathcal{N}_{4}(4)$ の中で対象 $i=4$ に最も遠いので，順番の集合 $\mathcal{I}_{4}(4)$ の中から 1 が対応する. したがって， $j=10$ 番目の発話の順番を抜き出すときは，変換 $\mathrm{idx}_{r, i}(j)$ を用いて $\mathrm{idx}_{4,4}(10)=1$ となる.

本手法では, 発話 $u_{j}$ から発話 $u_{i} へ の$ 位置表現 Relational Position を，変換 $\mathrm{idx} r_{r, i}$ を用いて，下式で表現する。

$
\mathrm{PE}_{i j}=\mathrm{idx}_{r, i}(j)-\{(r+1) \bmod 2\}
$

$\bmod$ は剩余演算を示す. 式 $(3)$ の $\bmod$ を含む 2 項目は, 相互の依存関係を示すエッジの種類 $r=2,4$ の時に，位置表現の値を $(-1)$ 加算する処理を示す。すなわち，対象の発話に対して，自分自身の 発話の位置表現を最大（空幅 $p$ ）に設定する。また，位置表現 $\mathrm{PE}_{i j}$ は，対象の発話から離れるに 従い減少する.

Gehring らの手法 (Gehring et al. 2017) を参考に，位置表現 $\mathrm{PE}_{i j}$ の値を固定する場合 (fixed) と 学習する場合 (learned)の 2 つを用意する。まず值を固定する場合 (fixed) は, 式 (3) によって得ら れる値をそのまま用いる。一方で，値を学習する場合 (learned) は，式 (3) によって得られた値を 入力した 1 層の FFNN の出力を用いる。値を学習する場合 (learned) は，データセットに適した位置表現を学習することが可能になる.

図 4 に示すように，相対位置に基づく位置表現 $\mathrm{PE}_{i j}$ は，発話から発話への距離に相当し，エッ ジの重み係数に加えることができる (Relational Position Encodings). 新たに提案する位置表現を 加えたエッジの重み係数を下式で示す.

$
\begin{aligned}
\alpha_{i j}^{l} & =\frac{\exp \left(z_{i j}^{l}\right)}{\sum_{\bar{j} \in \mathcal{N}_{r}(i)} \exp \left(z_{i \bar{j}}^{l}\right)} \\
z_{i j}^{l} & =\operatorname{LeakyReLU}\left(\left(\mathbf{a}_{r}^{l}\right)^{T}\left[W_{r}^{l} \mathbf{h}_{i}^{l}|| W_{r}^{l} \mathbf{h}_{j}^{l}\right]+\mathrm{PE}_{i j}\right)
\end{aligned}
$

式 (2) との違いは, 位置表現 $\mathrm{PE}_{i j}$ を足し合わせている点である。位置表現 $\mathrm{PE}_{i j}$ は, 値を固定する 場合 (fixed) も学習する場合 (learned) も, 同様にスカラー値である.

図 4 Relational Position Encodings の挿入方法. 位置表現をエッジの種類ごとに用意し，それぞれをエッ ジに加える。 “PE"は Position Encodings を示す.

表 2 MELD, IEMOCAP, EmoryNLP ベンチマークデータセットの割合と評価方法. train, validation, test における対話数と発話数, クラス数を示す.

## 3.3 感情ラベルの識別

3.2 節で発話関係を考慮し作成した特徴量 $\mathbf{h}_{i}^{L}$ と， 3.1 節で作成した発話の特徴量 $\mathbf{h}_{i}^{0}$ を連結した

別する。式を以下に示す.

$
\operatorname{Classifier}(\mathbf{x})=\operatorname{ReLU}\left(\mathbf{x} W_{1}+\mathbf{b}_{1}\right) W_{2}+\mathbf{b}_{2}
$

$W_{1}$ と $W_{2}$ は FFNN のパラメータを示し, $\mathbf{b}_{1}$ と $\mathbf{b}_{2}$ は学習可能なバイアスベクトルを示す.

## 4 実験設定

## 4.1 データセット

ERCにおける 3 つのベンチマークセットを用いて，提案手法の有効性を検証する． train, validation， test の割合と評価方法を表 2 に示す。また各セットにおける対話数と発話数，クラス数を示す.

MELD (Poria et al. 2018) は，複数の俳優が登場する Friends という TVドラマの, 一部シー ンを切り取った映像と音声の書き起こしからなるデータセットである。また， 1 つ対話に複数 の話者が登場するデータセットである。各発話は, (neutral, happiness, surprise, sadness, anger, disgust, or fear)のうち 1 つが付与される.

IEMOCAP (Busso et al. 2008) は 2 人の話者が， 1 対 1 の会話を行う様子を収録した映像と 音声の書き起こしからなるデータセットである. 各発話は, (happy, sad, neutral, angry, excited, or frustrated) のうち 1 つが付与される.

EmoryNLP (Zahiri and Choi 2018) はTV ドラマ Friendsから，一部のシーンを切り取り収集したデータセットである．MELDデータセットとデータサイズとラベルの種類が異なり， (neural， sad, mad, scared, powerful, peaceful, or joyful)のうち 1 つが付与される.

## 4.2 評価指標

Ghosal らの手法 (Ghosal et al. 2019) で用いられた評価指標と同じ, Weighted-F1 值を全ての データセットの評価に用いる.

## 4.3 従来手法

提案手法の有効性を検証するために，以下に示す従来手法と精度を比較する。

CNN (Kim 2014)Convolutional Neural Networks (CNN) を用いて対話文における各発話の特徵量を抽出する手法である。これは対話文における発話同士の関係は利用しない.

CNN+cLSTM (Poria et al. 2017) CNN を用いた発話特徴量の抽出に加えて，双方向 Long Short Term Memory (LSTM) を用いて隣接する発話間の関係を利用する手法である.

KET (Zhong et al. 2019) 階層的 Self-Attention を用いて発話の特徴量を抽出する手法である. また, GAT と外部データベースを組み合わせ, Commonsense Knowledge と感情に関連する単語 の特徵量を抽出する手法である.

DialogueRNN (Majumder et al. 2019) CNN を用いて発話の特徴量を抽出し，各発話の関連と話者の特徴, 感情の推移について，それぞれ Gated Recurrent Unit (GRU) でモデリングする 手法である.

DialogueGCN (Ghosal et al. 2019) CNN を用いて発話の特徴量を抽出し，隣接する発話間 の相互作用を GRU を用いて抽出する手法である。加えて，発話間の関係の中でも自己依存と相互依存の取得に RGAT を利用する手法である.

IEIN (Lu et al. 2020) 双方向 GRU を用いて発話の特徵量を抽出し, 発話間の相互作用の抽出 に双方向 GRU と Attention 機構を用いる手法である。 さらに，感情ラベルの確率を入力し，新た な感情ラベルの確率を出力するネットワークを用いる，再起的に確率を導出することで，隣接する 発話間の影響を利用する。

HiTrans (Li et al. 2020) EmoryNLP データセットにおいて, State-of-the-art を達成した手法 である。発話特徴量の抽出に BERT モデルを用い，話者間の関係の抽出に Transformer を利用し，階層的に組み合わせた手法である。

DialogXL (Shen et al. 2020) MELD, IEMOCAP データセットにおいて, State-of-the-art を 達成した手法である。過去の発話を保存し共有するネットワークを, XLNet に加えた手法である. また隣接する発話間の関係 (local) と, 会話全体の発話間の関係 (global) と, 話し手, 聞き手の特徵を，それぞれ Self-Attention を用いて抽出する手法である。

## 4.4 その他の実験設定

その他の実験設定を示す. 提案手法は, 損失関数に Cross Entropy Loss を用いて学習を行った. また, RoBERTa と RGAT モデルの学習率を $1 e-3$ に設定し, Cosine Annealing Schedule により学習率を減少させ学習した (Loshchilov and Hutter 2016). RAdam optimizer (Liu et al. 2019)を用い て最適化を行った. 発話の特徴量と発話関係を考慮し作成した特徴量の次元数を 1024 とし, ラベル 識別の中間層の次元数を 512 に設定した。また, エッジ重み係数を計算する際に, 4-Head Attention を用いた．RGATのレイヤ数とバッチサイズはそれぞれ 2 と 8 に設定した． validation セットで最 も Weighted-F1 值が高くなるハイパーパラメータの組み合わせを選択した. ドロップアウトの割合 は $0.1,0.3,0.5$ の中から 0.3 を，窓幅は $(p, f)=(2,2),(3,3),(4,4),(5,5)$ の中から $(p, f)=(5,5)$ を 選択した。全ての実験結果は 5 回行い平均値を用いた. $512 \mathrm{~GB}$ メリの Xeon(R) Gold $6246 \mathrm{CPU}$ と，48GBメモリの Quadro RTX 8000 GPU を用い, CentOS 環境で実験を行った.

## 5 結果と考察

## 5.1 従来手法との比較

従来手法との比較結果を表 3 と表 4 に示す. 提案手法を除く全ての Weighted-F1 値は, 各文献 から引用する。

ベンチマークの比較 表 3 より, MELD データセットでは, Weighted-F1 値 $63.12 \%$ を達成し, 従来手法を約 $0.7 \%$ 近く上回る世界最高水準の認識精度を達成した。また, IEMOCAPデータセット においても, Weighted-F1 值 $65.95 \%$ を獲得し，世界最高水準の認識精度を達成した。結果から 3 つのベンチマークデータセットのうち，2つのデータセットでState-of-the-art を達成し, 提案手法 の有効性を確認した. さらに, 複数のベンチマークで高い認識精度を有することから, デー夕数や 発話数，登場する話者数が異なる場合でも，精度良く認識できることを確認した。

感情ラベルの比較MELD データセットを用いて, 感情ラベルごとの認識精度を比較し, 提案手法の特徴を分析する。結果を表 4 に示す. 従来手法 $(\sharp 0-\sharp 4)$ に加え, $\sharp 5$ に発話特徴量の抽出を目的として RoBERTa を用いた手法 (RoBERTa), $\sharp 6$ に発話関係の抽出を目的としてRGAT を加え

表 3 MELD, IEMOCAP, EmoryNLP ベンチマークデータセットにおける従来手法との比較.ボールド体 は最も性能が高い値を示す，各値は 5 回の実験による Weighted-F1 值の平均値を示す.

表 4 MELDデータセットに打ける従来手法と提案手法の, 感情ラベルごとの認識結果. ボールド体は最も性能が高い値を示す．RoBERTa は発話特徴量の抽出を目的としてRoBERTaを用いた手法, +RGAT は 発話関係の抽出を目的としてRGAT を加えた手法 (RoBERTa+RGAT), +PE は Position Encodings を加えた提案手法 (RoBERTa+RGAT +PE) を示す．W-F1 は Weighted-F1 值を示す.

た手法 (+RGAT)，そして $\sharp 7$ に Position Encodings を加えた提案手法 (+PE) の結果を示す.

結果から, 従来手法 $(\sharp 0-\sharp 4)$ と比較し, 全ての感情ラベルで提案手法 $(\sharp 7)$ の有効性を確認でき る. 特に, 出現回数の少ない disgust ラベルにおいて, 提案手法 ( $\sharp 7$ ) は F 1 值 $27.51 \%$ を達成し, F1 値 $19.38 \%$ を獲得した $\mathrm{Lu}$ らの手法 ( $\sharp 4)$ を $8 \%$ 以上上回る認識精度を達成した．出現頻度の低い感情ラベルにおいても，提案手法は高い認識性能を有することを確認した。

また $\operatorname{RoBERTa}(\sharp 5)$ と $+\operatorname{RGAT}(\sharp 6)$ と比較し, ほとんど全ての感情ラべルで提案手法 ( $\sharp 7)$ の有効性を確認できる。しかしながら， fear ラベルでは， $\operatorname{RoBERTa}(\sharp 5)$ が高い認識性能を達成した. MELD データセットでは, “I lost it”や“How bad is this?”といった発話に，しばしば fear ラべ ルが付与される． RoBERTa(\#5) が最も高い $\mathrm{F} 1$ 值を達成したことから，他の発話からの影響や時系列情報に比べて，発話内容が fear の感情に影響することが分かった.

## 5.2 推定結果の分析

次に，発話特徴量の抽出を目的としてRoBERTaを用いた手法，発話関係の抽出を目的として RGAT を加えた手法 (+RGAT)，そしてPosition Encodings を加えた提案手法 $(+\mathrm{PE})$ ，それぞれ の推定結果を分析する．結果を表 5 に示す．表 5 は，MELDの validation セットの一部で，恋人 と共に引越しをする Monica が，友人である Rachel に別れを告げるシーンである.

結果から，RGAT を用いない手法 (RoBERTa) は，4番目と 10 番目の発話で，誤って joy と認識していることが分かる。一方で, RGAT を用いる手法 $(+\mathrm{RGAT},+\mathrm{PE})$ は, 正しく感情ラべルを 認識した，発話間の関係を考慮したことで，Monicaと Rachel の一連の悲しい感情を反映し，正し く認識した。

しかしながら，0 番目の発話で，提案手法 (+PE) は joy と誤って認識した. 先頭（または末尾） の発話を認識する場合, 未来（過去）の発話しか参照できないため, 他の発話に比べて識別が難し い，そこで，対話全体の感情の傾向を考慮することで，参照し得る情報の不足を補うことが見达め る. MELD データセットでは, 表 5 の正解ラベルが示すように, 負の感情が現れる対話の場合は負 の感情 (sadness, surprise など）が続く傾向にある，従って，対話全体で負の感情が連続する傾向 を考慮することで, 表 5 の 0 番目の結果のような正の感情（joyなど）への誤認識を防ぐことが期待

 & neutral & joy & neutral & joy \\

表 5 MELD データセットにおける推定結果．RoBERTa は発話特徴量の抽出を目的として RoBERTaを用 いた手法, +RGAT は発話関係の抽出を目的として RGAT を加えた手法 (RoBERTa+RGAT), +PE は Position Encodings を加えた提案手法 (RoBERTa+RGAT+PE) を示す.

$r=1:$ 自己 - 過去 $\square r=2:$ 相互 - 過去

$r=3:$ 自己 - 未来 $\square r=4:$ 相互 - 未来

図 5 表 5 のサンプルにおけるエッジの種類ごとの重み係数. 左に発話関係の利用を目的として RGAT を加えた手法+RGAT(RoBERTa+RGAT), 右に Position Encodings を加えた提案手法 $+\mathrm{PE}(\mathrm{RoBERTa}+\mathrm{RGAT}+\mathrm{PE})$ の結果を示す. 各図は RGAT モデルの最終層 $(L=2)$ の, 4 番目 の発話へのエッジの重み係数を示す。重み係数の值が大きいほど，濃い色を示す.

できる。提案手法は，window 幅を設け隣接する発話の局所的な影響を考慮する構造をそなえてい るが，対話全体の感情の傾向を捉える構造はそなえていない．今後の展望として，発話間の局所的 な影響を抽出するモデルに加えて，対話全体の大域的な感情の傾向を抽出するモデルを検討する．

最後に RGAT を加えた手法 $(+\mathrm{RGAT})$ と提案手法 $(+\mathrm{PE})$ について, 4 番目の発話で neutral と 推定した際に，周辺のどの発話の影響を重視したかを分析する。表５のサンプルにおける，+RGAT と $+\mathrm{PE}$ のそれぞれのエッジの重み係数（式 (2),(4)）を，図 5 に示す. 左に+RGAT の結果を，右 に $+\mathrm{PE}$ の結果を示す。それぞれの図は，RGAT モデルの最終層 $(L=2)$ の， 4 番目の発話に対す るエッジの種類ごとの重み係数を示す. 重み係数の值が大きいほど濃い色で示す.

図 5 の結果から, $\mathrm{PE}$ 加えることで，対象の発話 $(i=4)$ に近い発話の影響がそれぞれのエッ ジの種類で大きくなることが確認できる．赤色で示す自己 - 過去の関係 $(r=1)$ では，PE を加え ることで 4 番目の発話の影響が大きくなり，緑色で示す相互 - 未来の関係 $(r=4)$ では, $\mathrm{PE}$ を加 えることで 7 番目の発話の影響が大きくなった。このように，PEを加えることで，対象に近い発話の影響を重視することが確認できる。

## 5.3 モデルの種類

MELD データセットを用いて，絶対位置と相対位置に基づくPosition Encodings と比較し，提案手法の有効性を確認する。 Transformerにおける Position Encodings 手法 (Vaswani et al. 2017) を参考に，絶対位置に基づくPosition Encodings をRGAT モデルの入力部分に加える．また，相対位置に基づくPosition Encodings を，グラフのエッジ係数に加える。位置表現を示す值は，固定 する場合 (fixed) と，FFNN を用いて学習する場合 (learned)のいずれかを用いる．結果を表 6 に

表 6 絶対位置と相対位置, 提案手法に基づくPosition Encodings の比較

示す. 発話特徴量の抽出を目的としてRoBERTa を用いた手法 $(\sharp 0)$ と，発話関係の抽出を目的と してRGAT を加えた手法 ( $\sharp 1)$ をそれぞれベースラインとする．Position Encodings の種類を変更 し，固定または学習した場合の結果を $\sharp 2-\sharp 7$ に示す.

提案する Relation Position Encodings を用いて値を学習する場合 ( $\sharp 7$ ), 最も高い Weighted-F1 値 $63.12 \%$ を得た。提案手法はベースライン $(\sharp 0, \sharp 1)$ に比べ $2 \%$ 近く值が改善し, さらにその他の Position Encodings に比べ高い認識精度を達成した，以上より，Position Encodings を学習する場合, 最も高い認識精度を達成することが確認できる。また，全ての Position Encodings $(\sharp 2-\sharp 7)$ が，ベースライン $(\sharp 0, \sharp 1)$ よりも高い Weighted-F1 值を得ていることから, Position Encodings の 有効性も確認することができる。

## 6 まとめ

本論文は，対話文における各発話の感情認識において，RGAT モデルに適した順序情報を加える Relational Position Encodings を提案した。順序情報を加えたRGAT を用いることで，発話間の 関係と発話の順序情報の両方を利用できる．3つのベンチマークデータセットを用いて提案手法の 有効性を確認したところ，2つのデータセットで従来手法を上回る認識精度を達成した。また提案手法は, 絶対位置や相対位置に基づく Position Encodings よりも高い認識精度を達成し, その有効性を確認した。

今後, Relational Position Encodings の次元数を増加させることを検討している． Relational Position Encodings はエッジの重み係数に加えるため, スカラー值で表現した. スカラー值では表現次数として不十分な可能性があり，今後次元数を増やすことを検討する．また，発話間の局所的 な影響を抽出するモデルに加えて，対話全体の大域的な感情の傾向を抽出するモデルを検討する。

## 謝 辞

本論文の内容の一部は, Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP2020) で発表したものである (Ishiwatari et al. 2020).

貴重なコメントや議論を頂いた NHK 放送技術研究所の山田一郎上級研究員, 美野秀弥研究員,遠藤伶研究員, 東京工業大学の德永健伸教授に感謝の意を表す.

## 参考文献

Bradbury, J., Merity, S., Xiong, C., and Socher, R. (2016). "Quasi-recurrent Neural Networks." In Proceedings of the International Conference on Learning Representations.

Busso, C., Bulut, M., Lee, C.-C., Kazemzadeh, A., Mower, E., Kim, S., Chang, J. N., Lee, S., and Narayanan, S. S. (2008). "IEMOCAP: Interactive Emotional Dyadic Motion Capture Database." Language resources and evaluation, 42 (4), p. 335.

Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. (2018). "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding." CORR, abs/1810.04805.

Gehring, J., Auli, M., Grangier, D., Yarats, D., and Dauphin, Y. N. (2017). "Convolutional Sequence to Sequence Learning." In Proceedings of the 34th International Conference on Machine Learning-Volume 70, pp. 1243-1252.

Ghosal, D., Majumder, N., Poria, S., Chhaya, N., and Gelbukh, A. (2019). "DialogueGCN: A Graph Convolutional Neural Network for Emotion Recognition in Conversation." In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 154-164.

Guo, C., Cao, J., Zhang, X., Shu, K., and Liu, H. (2019). "DEAN: Learning Dual Emotion for Fake News Detection on Social Media." CORR, abs/1903.01728.

Hochreiter, S. and Schmidhuber, J. (1997). "Long Short-term Memory." Neural Computation, 9 (8), pp. 1735-1780.

Huang, C., Zaiane, O. R., Trabelsi, A., and Dziri, N. (2018). "Automatic Dialogue Generation with Expressed Emotions." In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers), pp. 49-54.

Ingraham, J., Garg, V., Barzilay, R., and Jaakkola, T. (2019). "Generative Models for Graph-based Protein Design." In Advances in Neural Information Processing Systems,
pp. 15794-15805.

Ishiwatari, T., Yasuda, Y., Miyazaki, T., and Goto, J. (2020). "Relation-aware Graph Attention Networks with Relational Position Encodings for Emotion Recognition in Conversations." In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 7360-7370.

Kim, Y. (2014). "Convolutional Neural Networks for Sentence Classification." In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 1746-1751.

Kipf, T. N. and Welling, M. (2016). "Semi-supervised Classification with Graph Convolutional Networks." In Proceedings of the International Conference on Learning Representations.

Lee, J. and Hong, I. B. (2016). "Predicting Positive User Responses to Social Media Advertising: The Roles of Emotional Appeal, Informativeness, and Creativity." International Journal of Information Management, 36 (3), pp. 360-373.

Li, J., Ji, D., Li, F., Zhang, M., and Liu, Y. (2020). "HiTrans: A Transformer-Based Contextand Speaker-Sensitive Model for Emotion Detection in Conversations." In Proceedings of the 28th International Conference on Computational Linguistics, pp. 4190-4200.

Liu, L., Jiang, H., He, P., Chen, W., Liu, X., Gao, J., and Han, J. (2019). "On the Variance of the Adaptive Learning Rate and Beyond." In Proceedings of the International Conference on Learning Representations.

Liu, P., Qiu, X., and Huang, X. (2016). "Recurrent Neural Network for Text Classification with Multi-Task Learning." In Proceedings of the 25th International Joint Conferences on Artificial Intelligence Organization (IJCAI-16), pp. 2873-2879.

Liu, Y., Ott, M., Goyal, N., Du, J., Joshi, M., Chen, D., Levy, O., Lewis, M., Zettlemoyer, L., and Stoyanov, V. (2019). "RoBERTa: A Robustly Optimized BERT Pretraining Approach." CORR, abs/1907.11692.

Loshchilov, I. and Hutter, F. (2016). "SGDR: Stochastic Gradient Descent with Warm Restarts." In Proceedings of the International Conference on Learning Representations.

Lu, X., Zhao, Y., Wu, Y., Tian, Y., Chen, H., and Qin, B. (2020). "An Iterative Emotion Interaction Network for Emotion Recognition in Conversations." In Proceedings of the 28th International Conference on Computational Linguistics, pp. 4078-4088.

Luo, L. and Wang, Y. (2019). "EmotionX-HSU: Adopting Pre-trained BERT for Emotion Classification." CORR, abs/1907.09669.

Majumder, N., Poria, S., Hazarika, D., Mihalcea, R., Gelbukh, A., and Cambria, E. (2019). "DialogueRNN: An Attentive RNN for Emotion Detection in Conversations." In Proceedings
of the AAAI Conference on Artificial Intelligence, Vol. 33, pp. 6818-6825.

Picard, R. W. (2010). "Affective Computing: From Laughter to IEEE." IEEE Transactions on Affective Computing, 1 (1), pp. 11-17.

Poria, S., Cambria, E., Hazarika, D., Majumder, N., Zadeh, A., and Morency, L.-P. (2017). "Context-Dependent Sentiment Analysis in User-Generated Videos." In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (volume 1: Long papers), pp. 873-883.

Poria, S., Hazarika, D., Majumder, N., Naik, G., Cambria, E., and Mihalcea, R. (2018). "MELD: A Multimodal Multi-party Dataset for Emotion Recognition in Conversations." In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. $527-536$.

Schlichtkrull, M., Kipf, T. N., Bloem, P., Van Den Berg, R., Titov, I., and Welling, M. (2018). "Modeling Relational Data with Graph Convolutional Networks." In European Semantic Web Conference Springer, pp. 593-607.

Shaw, P., Uszkoreit, J., and Vaswani, A. (2018). "Self-Attention with Relative Position Representations." In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics, pp. 464-468.

Shen, W., Chen, J., Quan, X., and Xie, Z. (2020). "DialogXL: All-in-One XLNet for Multi-Party Conversation Emotion Recognition." In 35th AAAI Conference on Artificial Intelligence, pp. 13789-13797.

Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., and Polosukhin, I. (2017). "Attention Is All You Need." In Advances in Neural Information Processing Systems, pp. 5998-6008.

Veličković, P., Cucurull, G., Casanova, A., Romero, A., Lio, P., and Bengio, Y. (2017). "Graph Attention Networks." In Proceedings of the International Conference on Learning Representations.

Wang, X., Tu, Z., Wang, L., and Shi, S. (2019). "Self-Attention with Structural Position Representations." In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 1403-1409.

Yang, K., Lee, D., Whang, T., Lee, S., and Lim, H. (2019). "EmotionX-KU: BERT-Max based Contextual Emotion Classifier." CORR, abs/1906.11565.

Zahiri, S. M. and Choi, J. D. (2018). "Emotion Detection on TV Show Transcripts with Sequencebased Convolutional Neural Networks." In Workshops at the 32nd AAAI Conference on

Artificial Intelligence, pp. 44-52.

Zhong, P., Wang, D., and Miao, C. (2019). "Knowledge-Enriched Transformer for Emotion

Detection in Textual Conversations." In Proceedings of the 2019 Conference on Empirical

Methods in Natural Language Processing and the 9th International Joint Conference on

Natural Language Processing (EMNLP-IJCNLP), pp. 165-176.

#
略歴

石渡太智：2017 年早稲田大学大学院修士課程修了. 同年, NHK に入局. 2019 年より放送技術研究所にて自然言語処理の研究に従事. 2021 年より東京工業大学博士後期課程在学. 言語処理学会会員.

安田 有希：2017 年早稲田大学大学院修士課程修了. 同年, NHK に入局. 2019 年より放送技術研究所にて自然言語処理の研究に従事.

宮﨑太郎：2006 年東京工業大学大学院修士課程修了. 同年, NHK に入局. 2011 年より放送技術研究所にて自然言語処理の研究に従事. 2017 年から 2018 年メル ボルン大学訪問研究員. 言語処理学会, 映像情報メディア学会, 電子情報通信学会, 各会員.

後藤淳：1993 年徳島大学大学院修士課程修了. 同年, NHK に入局. 1998 年 より同放送技術研究所で言語処理研究に従事. 2014 年総合研究大学院大学博士課程修了. 博士 (情報学). 現在, 放送技術研究所上級研究員. 映像情報メディ ア学会, 電子情報通信学会各会員.

\author{
(2021 年 3 月 31 日 受付) \\ (2021 年 7 月 1 日 再受付) \\ (2021 年 8 月 11 日 採録)
}

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# ニューラル機械翻訳での目的言語側の文脈の効果的な利用

美野 秀弥 ${ }^{+}, \dagger+$ - 伊藤 均 $\dagger \cdot$ 後藤 功雄 $\dagger$ - 山田 一郎 $\dagger \cdot$ 德永 健伸 $\dagger \dagger$

本稿では, 文脈を考慮したニューラル機械翻訳の精度向上のため, 目的言語側の前文の参照訳と機械翻訳結果の両方を文脈情報として用いる手法を提案する。文脈と して，原言語側または目的言語側の周辺の文が利用できるが，目的言語側の周辺の 文を用いる手法は翻訳精度が下がることが報告されている。目的言語側の文脈を利用したニューラル機械翻訳では，学習時は参照訳を用い，翻訳時は機械翻訳結果を 用いるため, 参照訳と機械翻訳結果の特徴の異なり（ギャップ）が原因の 1 つと考 えられる。そこで，学習時と翻訳時の目的言語側の文脈情報のギャップを緩和する ために，学習時に用いる目的言語側の文脈情報を学習の進行に応じて参照訳から機械翻訳結果へ段階的に切り替えていく手法を提案する。時事通信社のニュースコー パスを用いた英日・日英機械翻訳タスクと，IWSLT2017の TED トークコーパスを 用いた英日 -日英, および英独・独英機械翻訳タスクの評価実験により, 従来の目的言語側の文脈を利用した機械翻訳モデルと比較して，翻訳精度が向上することを 確認した。

キーワード：ニューラル機械翻訳，文脈情報，Curriculum Learning
## Effective Use of Target-side Context for Neural Machine Translation

\author{
Hideya Mino ${ }^{\dagger, \dagger \dagger}$, Hitoshi $^{\dagger}$ Ito $^{\dagger}$, Isao Goto ${ }^{\dagger}$, Ichiro Yamada $^{\dagger}$ and \\ TAKEnobu Tokunaga ${ }^{\dagger \dagger}$
}

This paper proposes a method for a context-aware neural machine translation (NMT) using both the ground truth and the machine-translated previous sentences of the target-side. Through the progress made in a sentence-level NMT, a context-aware NMT has been rapidly developed to exploit previous sentences as context. Recent work in the context-aware NMT incorporates source- or target-side contexts. In contrast to the source-side context, the target-side context causes a gap between training that utilizes a ground truth sentence and a machine-translated sentence as context. This gap leads to translation quality deteriorating because the translation model is trained with only the ground truth data that cannot be used in the inference. The proposed method can make the translation model robust against mistakes and biases made at the inference. We confirmed the improvements of our proposed approach

compared to models using the previous approaches in English $\leftrightarrow$ Japanese and English $\leftrightarrow$ German translation tasks.

Key Words: Neural Machine Translation, Context Information, Curriculum Learning

## 1 はじめに

近年，ニューラルネットワークを活用した機械翻訳（ニューラル機械翻訳）(Vaswani et al. 2017; Bahdanau et al. 2015; Sutskever et al. 2014) は著しい精度の向上を実現している.ニュー ラル機械翻訳は通常，原言語一文を入力して目的言語への翻訳結果を出力するが，さらに翻訳精度を上げるため，翻訳対象の周辺の文を文脈情報として活用する手法が提案されている (Maruf et al. 2019; Voita et al. 2019; Agrawal et al. 2018; Bawden et al. 2018; Kuang et al. 2018; Läubli et al. 2018; Miculicich et al. 2018; Tiedemann and Scherrer 2017; Wang et al. 2017). 本稿では,特に目的言語側の前文を活用したニューラル機械翻訳の改善手法を提案する。文脈情報を用い る手法には原言語側や目的言語側の周辺の文を用いる手法があるが，文脈情報に目的言語側の 周辺の文を用いる手法は翻訳精度が下がることが報告されている (Bawden et al. 2018). この翻訳精度の低下は，翻訳モデルの学習時と翻訳時で用いる周辺の文の特徴の異なり（ギャップ）が 原因の 1 つと考えられる。従来研究では, 学習時は目的言語側の周辺の文の参照訳を使用し,翻訳時は翻訳モデルによって生成された機械翻訳結果を用いているが，機械翻訳結果には，参照訳には含まれない訳抜け，過剰訳，誤訳などの機械翻訳特有の誤り（機械翻訳誤り）が含ま れる可能性がある。また，機械翻訳誤りが無い場合でも，機械翻訳結果は，Translationese（翻訳調）と呼ばれる偏りのある文となっている．Toral (2019) は，機械翻訳結果が人手翻訳で作ら れた翻訳文と比較して単純で標準的な翻訳になる傾向があることを示している。学習時と翻訳時でギャップのあるデータを用いることで生じるモデルの偏りは, exposure bias と呼ばれてお り (Ranzato et al. 2016), 翻訳品質の低下に繋がることが報告されている (Zhang et al. 2019).目的言語側の周辺の文の利用において，学習時に参照訳を用い，翻訳時に機械翻訳誤りを含み，翻訳調の特徴を有する機械翻訳結果を用いることは, exposure biasによる翻訳低下を引き起こ すと考えられる。下記は, IWSLT2017で提供されている日英対訳データセット (Cettolo et al. 2012) から抽出した例であり, 翻訳対象の原言語文, 翻訳対象の参照訳, 翻訳対象の機械翻訳結果を示している。 さらに，文脈情報として，前文の参照訳と機械翻訳結果を示している。機械翻訳結果は，日英対訳データセットを Transformer モデル (Vaswani et al. 2017) で学習した機械翻訳器を用いて翻訳した。

前文の参照訳 : She lays eggs, she feeds the larvae - so an ant starts as an egg, then it's a larva.
前文の機械翻訳結果 : And when they get their eggs, they get their eggs, and the queen is there.

翻訳対象の原言語文：脂肪を吐き出して幼虫を育てます

翻訳対象の参照訳 : She feeds the larvae by regurgitating from her fat reserves.

翻訳対象の機械翻訳結果 : They take fat and they raise the larvae of their larvae.

翻訳対象の原言語文では主語が省略されており，この文のみで主語を推定することができず参照訳を生成することは困難である。しかし，前文の参照訳，または機械翻訳結果には主語を推定する情報（参照訳には“she”，機械翻訳結果には“queen”）が含まれており，目的言語側の 前文を使うことで正しい翻訳ができる可能性がある。一方で，前文の参照訳と機械翻訳結果を 比較すると機械翻訳結果には誤訳が含まれており，参照訳と機械翻訳結果との間にギャップが あることが分かる。誤訳のない参照訳のみを文脈情報として学習した翻訳モデルは文脈に含ま れる誤訳に頑健でないと考えられ，参照訳と機械翻訳を学習時と翻訳時で別々に用いる手法は exposure biasによる翻訳精度低下を引き起こす可能性がある。

本稿では，スケジュールドサンプリング法 (Bengio et al. 2015) を参考にして，学習時と翻訳時の目的言語側の前文の特徴のギャップを緩和するための学習デー夕制御手法を提案する。具体的には, 初期の学習では従来手法と同様に文脈情報として目的言語側の前文に参照訳のみを 用い，学習が進行するにつれて，段階的に参照訳から機械翻訳結果へ切り替えていく．この処理により，翻訳モデルが機械翻訳誤りに頑健になり，翻訳調の特徴に対応できるようになると 期待できる。機械翻訳結果は, 対訳データを Transformer モデルで学習した機械翻訳器で生成 する，実験では，提案手法を結合ベース文脈考慮型ニューラル機械翻訳 (Bawden et al. 2018; Tiedemann and Scherrer 2017) とマルチエンコーダ文脈考慮型ニューラル機械翻訳 (Kim et al. 2019; Bawden et al. 2018) で実装し，ニュースコーパス (田中 他 2021)を用いた英日・日英機械翻訳タスク，およびIWSLT2017データセット (Cettolo et al. 2012) を用いた英日・日英，およ び英独・独英機械翻訳タスクで評価した。その結果, 提案手法が従来手法と比較して BLEU ス コア (Papineni et al. 2002)により翻訳精度が改善していることを確認した。

本稿の構成は以下の通りである。まず， 2 章で提案手法が前提とする文脈考慮型ニューラル 機械翻訳について述べ， 3 章で提案手法を説明する． 4 章で提案手法の効果を確認するための 翻訳実験の詳細を示し， 5 章で翻訳実験の結果を示して提案手法の効果を分析する，6 章で関連研究について述べ, 最後に 7 章で本稿をまとめる.

## 2 文脈考慮型ニューラル機械翻訳

本節では，文脈考慮型ニューラル機械翻訳モデルの従来手法である，結合ベース文脈考慮型 ニューラル機械翻訳と，マルチエンコーダ文脈考慮型ニューラル機械翻訳を説明する。

## 2.1 結合ベース文脈考慮型ニューラル機械翻訳

結合ベース文脈考慮型ニューラル機械翻訳 (Tiedemann and Scherrer 2017; Bawden et al. 2018) は，ニューラル機械翻訳モデルの構造を変えずに，翻訳対象の文と文脈情報との間に特殊なトー クン (_BREAK-) を挿入して結合してエンコーダに入力する。翻訳時に，翻訳対象の文の翻訳結果のみを出力するモデルを 2-to-1 モデル，翻訳対象の文に加えて文脈情報を併せて翻訳するモ デルを 2-to-2 モデル1 と呼ぶ． 2-to-2 モデルでは，翻訳対象の文の翻訳結果と文脈情報の翻訳結果の間に特殊なトークンを併せて出力させることで, 出力から翻訳対象の文の翻訳結果のみを 抽出できるようにする。李他 (2019) は，新聞デー夕を用いた日英・英日機械翻訳実験で 2-to-2 モデルと 2-to-1 モデルの比較を行い，2-to-1 モデルの方が翻訳精度が向上したことを報告して おり，本稿でも事前実験の結果も踏まえて 2-to-1 モデルを用いた.

## 2.2 マルチエンコーダ文脈考慮型ニューラル機械翻訳

マルチエンコーダ文脈考慮型ニューラル機械翻訳 (Bawden et al. 2018; Kim et al. 2019) は,翻訳対象の文を入力とするエンコーダと，文脈情報を入力とするエンコーダを持つ．複数のエ ンコーダの出力べクトルは結合する必要があり，複数の出力べクトルを「どこで結合させるか」 と，「どのように結合させるか」の違いでいくつかのバリエーションがある.「どこで結合させる か」は，エンコーダの出力ベクトルをデコーダの内側と外側のどちらで結合するかを表す．Kim et al. (2019) は, エンコーダの出力ベクトルをデコーダの内側で結合したモデルの方が翻訳精度 が高いことを示しており，本稿でもデコーダの内側で結合する手法を用いた.「どのように結合 させるか」は，連結 (attention concatination), 重み付き和（attention gate），階層（hierarchical attention）の 3 種類がある (Bawden et al. 2018). 本稿では，事前実験で BLEU スコアの高かっ た重み付き和を用いた。重み付き和は，翻訳対象のベクトル $\mathbf{c}_{\mathrm{s}}$ と文脈のベクトル $\mathbf{c}_{\mathrm{r}}$ を用いて 下記の式によりベクトル $\mathbf{c}$ を得る (Bawden et al. 2018).

$
\begin{gathered}
\mathbf{g}=\tanh \left(W_{r} \mathbf{c}_{\mathbf{r}}+W_{s} \mathbf{c}_{\mathbf{s}}\right)+\mathbf{b} \\
\mathbf{c}=\mathbf{g} \odot\left(W_{t} \mathbf{c}_{\mathbf{r}}\right)+(\overrightarrow{1}-\mathbf{g}) \odot\left(W_{u} \mathbf{c}_{\mathbf{s}}\right)
\end{gathered}
$

g は gating activation と呼ばれる，各ベクトルの要素の重要度の違いを表すべクトルである．b はバイアスベクトル $, W_{r}, W_{s}, W_{t}, W_{u}$ は重み行列である。はアダマール積を計算する.

## 3 提案手法

本節では，文脈を考慮した機械翻訳手法の一手法である目的言語側の文脈を考慮する機械翻
^{1}$ 2-to-1 は片言語の文脈があれば適用可能であるのに対し, 2-to-2 は対訳の文脈が必要となり, 適用範囲が異なる.
}
訳における，学習時と翻訳時に用いる目的言語側の文脈情報のギャップを低減することを目的 としたサンプリング手法について説明する。

## 3.1 利用する文脈情報

学習時にニューラル機械翻訳のエンコーダに入力する目的言語側の文脈情報として, 前文の 参照訳と機械翻訳結果の両方を用い，前節で示した 2 種類のアーキテクチャに適用する。翻訳対象が文書の先頭のときは，前文の情報がないため，特殊なトークン（_BOS_）を文脈情報と して用いる。図 1 （a）は結合ベース文脈考慮型ニューラル機械翻訳に適用したモデルを示し，図 1（b）はマルチエンコーダ文脈考慮型ニューラル機械翻訳に適用したモデルを示している.翻訳対象である，文書中の $j$ 番目の原文のトークン列は $X^{j}$ で表す. 文脈情報として用いる，文書中の $j-1$ 番目の参照訳のトークン列は $\hat{Y}^{j-1}$ で表し, $j-1$ 番目の機械翻訳結果のトークン 列は $\bar{Y}^{j-1}$ で表す。文脈情報として用いる機械翻訳結果は，学習時と翻訳時ともに文脈を考慮 しないニューラル機械翻訳で生成する。図 1 の $p$ は 1 エポックの学習データに含まれる参照訳 の割合を示し， $1-p$ が機械翻訳結果が含まれる割合となる． $p=0$ の場合は入力される文脈情報データの全てが機械翻訳, $p=1$ の場合は文脈情報データの全てが参照訳で学習されることに なる。翻訳時は $p=0$ ，すなわち常に機械翻訳結果が文脈情報として用いられる．結合べース 文脈考慮型ニューラル機械翻訳（図１（a））では，エンコーダが出力したべクトルがデコーダ に入力される，マルチエンコーダ文脈考慮型ニューラル機械翻訳（図 1 （b））では，原文エン コーダと文脈エンコーダが出力した 2 つのべクトルを 1 つのべクトルに変換してからデコーダ に入力し，デコーダを通して目的言語側の文のトークン列 $Y^{j}$ を得る.

## 3.2 サンプリング制御

学習データ内の目的言語側の文脈情報として，参照訳と機械翻訳結果のどちらを用いるかを サンプリングレート $p$ により制御するが，タスクや学習時の翻訳モデルの性能によって適切な

(a)

(b)

図 1 （a）結合ベース文脈考慮型ニューラル機械翻訳，（b）マルチエンコーダ文脈考慮型ニューラル機械翻訳

サンプリングレートは異なる。学習時において，目的言語側の文脈情報に機械翻訳結果を使う 場合ではエンコードされた文脈情報ベクトルは訳抜け, 過剰訳, 誤訳など機械翻訳特有の誤り （機械翻訳誤り）を含み，翻訳モデルはこれらの機械翻訳誤りを考慮して学習される。一方，参照訳のみを使う場合では機械翻訳誤りがないので，文脈情報を効果的に利用するように翻訳モ デルが学習されることが期待できる。翻訳時において，目的言語側の文脈情報に機械翻訳誤り のない参照訳を使うことができる場合では，学習時も同様に参照訳を使うことが望ましい。し かし，翻訳時には参照訳ではなく機械翻訳結果を用いるため，翻訳モデルは訳抜け，過剰訳，誤訳などが含まれた文脈を利用して翻訳することになる。さらに，機械翻訳結果は，機械翻訳誤 りがない場合でも，Translationese（翻訳調）と呼ばれる偏りのある文であることが知られてい る. Toral (Toral 2019) は，機械翻訳は人手翻訳よりもシンプルかつ標準化された結果になる傾向にあると示しており，参照訳と機械翻訳結果は多様性の側面からも異なる特徴を有している と考えられる。

翻訳時と同じ特徴を有する目的言語側の文脈情報を使うという観点では機械翻訳結果を用い ることが好ましいが，効果的な文脈の利用という観点では参照訳を用いることが好ましい，そ こで，双方の利点を活かすために，特徴の異なる参照訳と機械翻訳結果の両方を用いて学習する ことを提案する。提案手法は，カリキュラム学習 (Bengio et al. 2009) とスケジュールドサンプ リング (Bengio et al. 2015) のアプローチを参考にしてサンプリングを制御する. Bengio et al. (2015) は, 学習時に, Recurrent neural networkに入力する直前のトークンとしてモデルの出力 と正解のどちらを用いるかをサンプリング制御したのに対し，本稿ではこの手法を，目的言語側の文脈情報として機械翻訳の出力と正解のどちらを用いるかのサンプリング制御に応用する. この手法は, 下記の手順により学習エポックごとに, 入力に用いる文脈情報を変更することで,翻訳モデルを段階的に機械翻訳誤り，および翻訳調に対応させる。学習エポック数 $l$ に対応し たサンプリングレートを $p_{l}$ とする.

（1） 1 エポック目 $(l=1)$ の学習はサンプリングレートを $p_{1}=1$ とし，目的言語側の文脈情報には全て参照訳を用いる。

（2） 2 エポック目 $\left(l \geq 2 ）\right.$ 以降の学習はサンプリングレート $p_{l}$ を下記の逆シグモイド関数に より減少させる.

$
p_{l}=\frac{k}{k+\exp (l-2 / k)}
$

$k(\geq 1)$ は $p$ の減少スピードを制御するハイパーパラメータである. 1 エポック終了時の翻訳モ デルの性能が高いのであれば $k$ の値を 1 に近づけ, 2 エポック目以降の学習デー夕内の機械翻訳の割合を増やす。上記の手順により，翻訳誤りに頑健で翻訳調の特徴に対応した翻訳モデル の学習を実現する。

## 4 評価実験

本節では，提案手法の効果を確認するための機械翻訳実験について述べる.

## 4.1 データ

実験では，下記の 2 種類のコーパスを用いる．表 1 に各データセットのデータ数と記事数を 示す.

$
\text { ニュースコーパス }
$

時事通信社のニュース記事を利用して開発された日英ニュース対訳コーパス (田中 他 2021)の一部を用いた. このコーパスは日本語のニュース記事の一部を文単位で人手翻訳している。本実験では，ニュースタイトルを除きニュース本文を利用した。コーパス 中の 1 記事あたりの平均文数は 8 文であった.

TED トークコーパス

IWSLT2017 (Cettolo et al. 2012) で公開されている TED の字幕対訳コーパスを用いた.

開発データセットは“dev2010”を用いた。テストセットは英日・日英機械翻訳タスクに ついては“tst2014”を用い, 英独・独英機械翻訳タスクについては“tst2015”を用いた. コーパス中の 1 記事あたりの平均文数は 119 文であった.

## 4.2 文脈の利用

2 章で述べた結合ベース文脈考慮型ニューラル機械翻訳（図 1 (a)）とマルチエンコーダ文脈考慮型ニューラル機械翻訳（図 1 （b））の２種類の文脈考慮型ニューラル機械翻訳を用いた.目的言語側の文脈情報には翻訳対象の文の 1 つ前の文を利用した.

## 4.3 詳細設定

英語とドイツ語のデータのクリーニング, および単語分割には Moses toolkit ${ }^{2}$ の clean-corpus-

表 1 コーパスの統計情報.

n.perl ${ }^{3}$, tokenizer.perl ${ }^{4}$ を用いた。日本語の形態素解析には, KyTea (Neubig et al. 2011)を利用 した。各タスクで語彙数を制限するため, バイトペア符号化（byte pair encoding）を用いたサブ ワード (Sennrich et al. 2016) を用いた。語彙数は 48,000 とし，頻度が 35 以下の語彙はサブワー ドに分割した。データ内の長大語は特別な処理を行わなかった ${ }^{5}$. 結合べース文脈考慮型ニュー ラル機械翻訳には， Transformer モデル (Vaswani et al. 2017) のエンコーダとデコーダを用い た. Transformer モデルは, レイヤを複数層スタックしたモデルであり, multi-head attention 層 と position-wise feed-forward 層のサブレイヤを有する．原言語文と目的言語側の文脈情報が結合された単語列をエンコーダが中間表現であるべクトルに変換し，デコーダがそのべクトルを 用いて翻訳結果となる目的言語文を生成する。マルチエンコーダ文脈考慮型ニューラル機械翻訳についても，Transformer モデルを用い，Littell et al. (2019)のアーキテクチャを基に実装し た。結合ベース文脈考慮型ニューラル機械翻訳とマルチエンコーダ文脈考慮型ニューラル機械翻訳のいずれも Sockeye toolkit (Hieber et al. 2018)を用いて実装した。

本稿のモデルの学習には Adam (Kingma and Ba 2015) を optimizer として用い，学習率は 0.0002 とした. バッチ内のデータは 5,000 トークン以内になるように構築した。学習時の各エ ンコーダへの入力の最大長は，結合ベース文脈考慮型ニューラル機械翻訳では 200 トークン, マルチエンコーダ文脈考慮型ニューラル機械翻訳では原文エンコーダ，文脈エンコーダともに 100 トークンに制限した 6 . 翻訳時の各エンコーダへの入力の最大長は設定しなかった。 その他 のハイパーパラメータの設定は Sockeye toolkit のデフォルト値に従った. Early stopping を設定し，patienceの値を 32 とした．翻訳時は，ビームサーチを用い，ビーム幅を 5 とした。式 3 のハイパーパラメータ $k$ は 2 とした。学習, 翻訳ともに, Nvidia P100 Tesla GPUを用いて計算を行った。翻訳性能の比較には，ランダムシードの異なる 5 つのモデルを学習してそれぞれ のモデルが出力した翻訳結果の BLEU スコア (Papineni et al. 2002)の中央値を用いた. BLEU スコアには, case-insensitive BLEU-4 を用い, multi-bleu.perl7で計算した. また, サンプル数を 10,000 に設定した paired-bootstrap.py8を用い，BLEU スコアにおける提案手法と他手法との有意差を調べた。

## 4.4 比較手法

提案手法との比較を行うために本稿で用いた比較手法（表 2）を説明する.
^{3}$ https://github.com/moses-smt/mosesdecoder/blob/master/scripts/training/clean-corpus-n.perl

4 https://github.com/moses-smt/mosesdecoder/blob/master/scripts/tokenizer/tokenizer.perl

5 頻度などの設定条件に従い，バイトペア符号化によりサブワード分割される.

6 結合ベース文脈考慮型ニューラル機械翻訳は，原文と文脈の合計が 200 トークン以内であれば学習データとして用 いるため, マルチエンコーダ文脈考慮型ニューラル機械翻訳よりも学習データの数は $6 \sim 153$ データ多くなった.

7 https://github.com/moses-smt/mosesdecoder/blob/master/scripts/generic/multi-bleu-detok.perl

 }^{8}$ https://github.com/neubig/util-scripts/blob/master/paired-bootstrap.py

 \\

表 2 比較手法.

文レベル機械翻訳（Single-Sentence）

文脈として目的言語側の前文を考慮することによる効果を知るために，文脈を考慮しな い機械翻訳手法を比較手法とした。翻訳対象のみをエンコーダに入力してデコーダが翻訳結果を出力する。 Transformer モデルのニューラル機械翻訳を用いた.

文脈考慮型機械翻訳（Src-Context， Trg-Context）

文脈を考慮する機械翻訳手法として，原言語側の情報を用いる手法 (Agrawal et al. 2018;

Bawden et al. 2018) と目的言語側の情報を用いる手法 (Bawden et al. 2018) がある. 両方の情報を併用することもできるが，本稿ではどちらの情報が有効であるかを比較する ために，原言語側の情報を用いた場合（Src-Context）と目的言語側の情報を用いた場合 （Trg-Context）のそれぞれを比較手法とした。目的言語側の情報を用いる手法では，参照訳と機械翻訳結果のいずれかを用いることができるため，それぞれを用いた手法（TrgContext GT，Trg-Context Pred.）を比較した。文脈情報は，提案手法と同様に翻訳対象 の文の 1 つ前の文を利用した. Src-Context, Trg-Context GT, Trg-Context Pred. とも に，結合ベース文脈考慮型ニューラル機械翻訳とマルチエンコーダ文脈考慮型ニューラ ル機械翻訳の 2 種類のシステムに適用した.

## 5 実験結果

ニュースコーパスを用いた英日・日英機械翻訳実験の結果，および TED トークコーパスを用 いた英日・日英, 英独・独英機械翻訳実験の結果を表 3 に示す. 文脈を用いない手法（SingleSentence), 原言語側の前文を用いた手法 (Src-Context)，目的言語側の前文として，参照訳を用い て学習した手法 (Trg-Context GT), 機械翻訳結果を用いて学習した手法 (Trg-Context Pred.),参照訳と機械翻訳結果の両方を用いて学習した提案手法, それぞれの BLEU スコアを示して いる.

表 3 原言語側，または目的言語側の文脈情報を用いた,ニュースコーパスの英日・日英機械翻訳 (EN-JA, JA-EN）の実験結果（上部）およびTED トークコーパスの英日・日英機械翻訳 (EN-JA, JA-EN),英独・独英機械翻訳（EN-DE，DE-EN）の実験結果（下部）、vanilla は文脈を用いないニューラル 機械翻訳, concat. は結合ベース文脈考慮型ニューラル機械翻訳, multi-enc. はマルチエンコーダ文脈考慮型ニューラル機械翻訳を表している．Src，Trg GT，Trg MT は，学習時に用いた文脈情報 として，原言語側の前文，目的言語側の参照訳，目的言語側の機械翻訳結果を用いたことを表して

Trg-Context GT, Trg-Context Pred. と比較して有意に BLEU スコアが高いことを示している（有意水準 $\alpha=0.05$ ). Src-Context, Trg-Context GT, Trg-Context Pred については同じシステム内 (concat.または multi-enc.) での比較とした.

## 5.1 提案手法の有効性の検証

提案手法と，文脈を考慮しないニューラル機械翻訳，目的言語側の前文を用いた手法，およ び原言語側の前文を用いた手法とを比較することで提案手法の有効性を検証する。

先ず，提案手法と，文脈を用いないニューラル機械翻訳（Single-Sentence）とを比較する。表 3
より，結合ベース文脈考慮型ニューラル機械翻訳（concat.）を用いた場合は,ニュースコーパ ス日英機械翻訳と TED トークコーパス英日・日英機械翻訳以外のタスクにおいて提案手法の BLEU スコアが有意に高かった. マルチエンコーダ文脈考慮型ニューラル機械翻訳 (multi-enc.) を用いた場合は，全てのタスクにおいて提案手法の BLEU スコアが有意に高かった。

次に，目的言語側の前文を用いた手法間の比較として，提案手法と，参照訳のみを用いて学習した手法（Trg-Context GT），および機械翻訳結果のみを用いて学習した手法（Trg-Context Pred.）とを比較する，表 3 より，結合ベース文脈考慮型ニューラル機械翻訳（concat.）を用い た場合は，TEDトークコーパスの英独機械翻訳の Trg-Context GT との比較では同じ BLEU ス コアだったが，それ以外では提案手法の BLEU スコアが高く，一部のタスクでは有意に高かっ た。マルチエンコーダ文脈考慮型ニューラル機械翻訳（multi-enc.）を用いた場合は，全タスク において提案手法の BLEU スコアが高く，一部のタスクでは有意に高かった.

最後に，提案手法と，原言語側の前文を用いた手法（Src-Context）とを比較する。表 3 より， マルチエンコーダ文脈考慮型ニューラル機械翻訳（multi-enc.）を用いた場合は，全タスクにお いて提案手法の BLEU スコアの方が高く, TED トークコーパスの英日, 独英機械翻訳タスクで は有意に高かった．先行研究では目的言語側の文脈の利用により翻訳精度が低下することが報告されていたが (Bawden et al. 2018)， multi-enc. を用いた提案手法では，文脈を用いていない 手法と比較して有意に BLEU スコアが高かっただけでなく, Src-Context と比較しても全タスク で BLEU スコアが高くなっており，Src-Context と同等以上の効果が得られた。原言語側の前文を用いる手法と目的言語側の前文を用いる手法は異なる情報を用いており，競合するもので はなく，条件によって一方のみが利用可能である場合や，併用が可能である場合が考えられる．上記の比較により，提案手法の有効性を確認した.

## 5.2 目的言語側の前文に機械翻訳結果のみを用いる影響の考察

表 3 より，目的言語側の前文に機械翻訳結果のみを用いた手法（Trg-Context Pred.）の BLEU スコアは，提案手法よりも低かっただけでなく，結合べース文脈考慮型ニューラル機械翻訳 (concat.）を用いたニュースコーパスの日英機械翻訳タスクと TED トークコーパスの英日・日英, 英独機械翻訳タスクでは, 文脈を考慮しない Transformer モデル（Single-Sentence）よりも低 かった．Trg-Context Pred.は，学習時，翻訳時ともに機械翻訳結果を用いており exposure bias による影響を回避できているが，BLEU スコアが低かった理由について考察する．表 3 の参照訳のみを用いて学習した手法（Trg-Context GT）は, 学習時に参照訳, 翻訳時に機械翻訳結果 を用いているが，Trg-Context GT の翻訳時に参照訳を用いることで，Trg-Context Pred. と同様に exposure biasによる影響を回避することができる。Trg-Context GT の翻訳時に目的言語側の前文として参照訳を用いた結果は，後で説明する「exposure biasの影響の考察」（表 4 の 一番下の行）で示しており，Trg-Context Pred.の結果と比較して BLEU スコアが高い. 両者の

表 4 学習時と翻訳時両方ともに目的言語側の前文の参照訳を用いた実験結果（BLEU スコア）との比較. マルチエンコーダ文脈考慮型ニューラル機械翻訳を用いた。目的言語側の前文の機械翻訳の出力に は Single-Sentence の出力を用いた。†は Single-Sentence と比較して有意に BLEU スコアが高いこ とを示している（有意水準 $\alpha=0.05 ）$.

違いは，翻訳時に目的言語側の前文として機械翻訳結果を用いたか，参照訳を用いたかの違い であり，これらの訳質の違いであるといえる。以上より, Trg-Context Pred. の BLEU スコアが 低かった理由は，文脈として利用している目的言語側の前文の機械翻訳結果の訳質が低いため に，文脈情報を効果的に利用するように学習することが困難であったためと考えられる．

提案手法は, 学習の初期に訳質の高い参照訳を用いて文脈情報を効果的に利用する方法を学習 した上で, 段階的に機械翻訳の出力に置き換えることで, 文脈情報の効果的な利用と exposure bias の影響の回避を両立したと考えられる。提案手法の学習終了時の学習データ内に含まれる参照訳の割合は 9\%（学習終了時のエポック数が8の場合），または 6\%（学習終了時のエポック数が 9 の場合）であり ${ }^{9}$, 学習終了時には exposure biasの影響がほぼ無い学習を行っている.

## 5.3 Exposure bias の影響の考察

提案手法は exposure biasの問題を緩和するための手法であるが，仮に，学習時，翻訳時とも に目的言語側の文脈に参照訳を用いた場合も，exposure biasの問題は起こらないといえる。そ こで, exposure biasの影響を考察するために，翻訳時に目的言語側の前文として， exposure bias の影響がない参照訳を用いた場合の結果を表 4 に示す。機械翻訳器は，マルチエンコーダ文脈考慮型ニューラル機械翻訳を用いた。翻訳時の文脈情報に参照訳を用いた Trg-Context GT は， exposure bias の問題が起こると考えられる機械翻訳の出力（Single-Sentence の出力）を用いた Trg-Context GT と比較して, 全てのタスクで BLEU スコアが高かった. また, Single-Sentence との比較では，翻訳時の文脈情報に機械翻訳結果を用いたTrg-Context GT はニュースコーパス の日英機械翻訳タスクと TED トークコーパスの英独・独英機械翻訳タスクのみで有意に BLEU スコアが高かったが，参照訳を用いた Trg-Context GT は全てのタスクで有意に BLEU スコア が高いことを確認できた，以上の結果より，翻訳時に目的言語側の前文として利用した機械翻訳結果と参照訳の違いが翻訳精度に影響していると言え, これが exposure biasの影響と考える ことができる.

## 5.4 翻訳時に自身の機械翻訳結果を用いた場合の効果の考察

提案手法は, exposure biasの影響の緩和を目的とし, 学習時の目的言語側の前文として参照訳と事前に用意した機械翻訳の出力（Single-Sentence の出力）をサンプリング制御しながら用 い，翻訳時の目的言語側の前文としても同様の Single-Sentence の出力を用いることを前提とし た。目的言語側の前文には，他の選択肢として，学習時と翻訳時ともに Single-Sentenceの出力 の代わりに自身の機械翻訳結果を用いることも考えられる。自身の出力を用いる場合には，文書単位で 1 文ずつ順番に機械翻訳する必要があり，文書内の文を並列に翻訳できないという問題がある. さらに，学習時にはモデルの更新ごとに機械翻訳する必要がある。一方で, 「目的言語側の前文に機械翻訳結果のみを用いる影響の考察」で示したように文脈情報として用いる機械翻訳結果の訳質も翻訳精度に影響することから, 目的言語側の前文として, Single-Sentenceの 出力の代わりに，訳質の高い自身の出力を用いることで，翻訳精度の向上が期待できる。学習時の自身の出力の利用は困難であるが，翻訳時であれば自身の出力を用いることが可能である. そこで, Trg-Context Pred.の翻訳時には目的言語側の前文として Trg-Context Pred.の出力を用 い，提案手法の翻訳時には目的言語側の前文として提案手法の出力を用いた場合の結果を表 5 に 示す. 機械翻訳器は, マルチエンコーダ文脈考慮型ニューラル機械翻訳を用いた。 Trg-Context Pred., および提案手法のいずれにおいても, 自身の前文出力を利用することで, 一部のタスク で有意に BLEU スコアが高く，かつ BLEU スコアが低下したタスクはなく，これらは訳質の向上によるものと考えられる，以上の結果より，翻訳速度を優先する場合は Single-Sentence の出力を用い，翻訳品質を優先する場合は自身の出力を用いればよい.

## 5.5 事例を用いた考察

表 6 に，TEDトークコーパスを用いた日英タスクの出力例を示す. 上段（点線の上）には, 目的言語側の前文の参照訳と機械翻訳結果 (MT-OUT), 翻訳対象の日本語文と参照訳を示し, 下段（点線の下）には，各手法による翻訳結果を示す。機械翻訳器は，マルチエンコーダ文脈考慮型ニューラル機械翻訳を用いた。例文の翻訳対象の日本語文には，ゼロ代名詞が含まれ，かつ，

} & \multicolumn{2}{|c|}{ ニュースコーパス } & \multicolumn{4}{|c|}{ TED トークコーパス } \\

表 5 目的言語側の前文の自身の機械翻訳結果を用いた実験結果 (BLEU スコア）との比較. マルチエンコー ダ文脈考慮型ニューラル機械翻訳を用いた。†は翻訳時に目的言語側の前文として Single-Sentence の出力を用いた場合と比較して有意に BLEU スコアが高いことを示している（有意水準 $\alpha=0.05 ）$

 &  \\

表 6 TED トークコーパスを用いた日英機械翻訳実験の翻訳結果例（上段：入力と参照訳, 下段：各手法の結果).
目的言語側の文から代名詞を推定できると考えられるものを選んだ。最初の例（\#1）は，同じ 文 ("We choose to go to the moon.") が 2 度続くケースであり, 代名詞 ("We =私たち”) が省略されている。翻訳対象文では，文の主語である“We＝私たち”が省略されており，文脈を考慮 しない機械翻訳（Single-Sentence）は主語を誤って翻訳した。一方，文脈を考慮した機械翻訳で は 4 つとも主語を適切に補完して翻訳した， 2 番目の例（＃2）は，前文が長文の例であり，代名詞 ( "him =彼”) が省略されている. 文脈を考慮しない機械翻訳では代名詞を補完せずに翻訳 した。文脈考慮型機械翻訳では，原言語側の前文を用いた手法（Src-Context）と提案手法は代名詞を正しく補完して翻訳しているが，目的言語側の前文を用いたその他の手法（Trg-Context GT，Trg-Context Pred.）では，誤った代名詞を補完して翻訳した．前文が長文になるとエン コーダが目的言語側の文脈を適切に処理することが困難となる。この例は, Trg-Context GT, Trg-Context Pred.において，エンコーダが適切に処理できなかった例であると考えられる． 3 番目の例 $(\# 3)$ は, 代名詞 ("his =彼”) が省略されている. 提案手法のみが代名詞を適切に 補完して翻訳している。

## 6 関連研究

機械翻訳において文脈の情報は, 語彙, 時制, 指示詞, 省略などの文間の表現の一貫性を保持す る上で重要である (Bawden et al. 2018; Läubli et al. 2018; Müller et al. 2018; Voita et al. 2018).加えて，翻訳する上で対応する必要が出てくるゼロ照応解析 (Okumura and Tamura 1996; Iida et al. 2016) や語義曖昧性の解消などにも文脈は有効な情報となる. 多くの文脈考慮型のニュー ラル機械翻訳は, 翻訳対象の文だけでなく, 原言語側の文脈, 目的言語側の文脈, またはその両方を入力できるようなモデルとなっている (Tiedemann and Scherrer 2017; Agrawal et al. 2018; Bawden et al. 2018; Kim et al. 2019). Bawden et al. (2018)は, 原言語側, および目的言語側の 前文を文脈情報として用いた手法を提案し，それぞれの効果を比較した. Agrawal et al. (2018) は，原言語側，および目的言語側の複数の前文，および後文を文脈情報として用いる手法を提案した. Bawden et al. (2018)は，目的言語側の前文を用いる手法では，学習時に前文の参照訳 を，翻訳時には機械翻訳結果を用いて実験を行い，目的言語側の文脈情報の効果が低かったこ とを報告している. Agrawal et al. (2018)は, 目的言語側の文脈を使うと誤差が伝搬することで 性能が劣化することを報告している．また，複数の文脈情報を使うことで翻訳品質が向上する 場合があるが，膨大なメモリと計算量が必要となる傾向があることを報告している．本稿では，先行研究で指摘された目的言語側の文脈を用いることで性能が劣化した原因を推定し，その問題を低減する手法を提案している.

文脈考慮型ニューラル機械翻訳の実装方法には，結合ベース文脈考慮型ニューラル機械翻訳 (Tiedemann and Scherrer 2017; Bawden et al. 2018) とマルチエンコーダ文脈考慮型ニューラル機
械翻訳 (Bawden et al. 2018; Kim et al. 2019) がある。Tiedemann and Scherrer (2017) は，前文と 翻訳対象の原文の間に特殊なトークン（_BREAK_）を挿入して結合して単体のエンコーダに入力 することを提案した. Bawden et al. (2018) は，マルチエンコーダ NMT (Zoph and Knight 2016; Libovický and Helcl 2017; Wang et al. 2017)を拡張し，原言語側の前文と翻訳対象の文とを別々 のエンコーダに入力することを提案した．マルチエンコーダ文脈考慮型ニューラル機械翻訳は，各エンコーダの出力ベクトルを連結（attention concatination），重み付き和（attention gate）,階層（hierarchical attention）のいずれかにより結合する. Kim et al. (2019) は，各エンコーダ の出力ベクトルの結合をデコーダの前段，またはデコーダ内で行うことができることを示し，そ の違いを調査した，本稿では，先行研究と同様に結合べース文脈考慮型ニューラル機械翻訳と マルチエンコーダ文脈考慮型ニューラル機械翻訳を用いているが，先行研究は目的言語側の文脈として参照訳を用いているのに対して，本稿では機械翻訳結果を用いて exposure bias を低減 している点において異なる。

本稿の提案手法はスケジュールドサンプリング法 (Bengio et al. 2015) を参考にしている.

Bengio らは，イメージキャプショニング，構文解析，音声認識のタスクに対して，自己回帰型の 言語モデルの最尤推定学習時と推論時との間のギャップの問題を解決するためにスケジュール ドサンプリング法を提案した. Ranzato et al. (2016)は, このギャップを exposure bias と呼び，文書要約, 機械翻訳, イメージキャプショニングのタスクに対して, exposure biasの問題を解決 するために評価尺度を報酬として用いる強化学習の手法を提案した. Zhang et al. (2019) は, リ カレントニューラルネットワーク (RNN) ベースのニューラル機械翻訳における exposure bias の問題を解決するために減衰を用いたサンプリング法を提案し，参照訳のトークンと予測トー クンのいずれかを確率的にサンプリングして用いることで学習時と翻訳時のギャップを効果的 に削減することを示した. Ranzato et al. (2016) と Zhang et al. (2019) は，文脈を考慮しない機械翻訳においてスケジュールドサンプリング法を学習時に用いて直前の履歴のトークンの選択 に利用している。これに対して，本稿では，文脈を考慮する機械翻訳において，スケジュール ドサンプリング法を学習時に文脈として用いる文の選択に利用している.

## 7 まとめ

本稿では，文脈考慮型ニューラル機械翻訳において，目的言語側の文脈を効果的に利用す る手法を提案した，提案手法では，学習時と翻訳時の間にある目的言語側の前文のギャップ （exposure bias）の問題の解消を目的とし, 目的言語側の参照訳と機械翻訳結果の両方を用いて, スケジュールドサンプリング法で学習データを制御した。結合べース文脈考慮型ニューラル機械翻訳とマルチエンコーダ文脈考慮型ニューラル機械翻訳を用いて提案手法を実装し，英日・日英，および英独・独英の機械翻訳タスクで評価した。実験により，BLEU スコアにおいて提
案手法の有効性を確認した. 今後の課題として, 提案手法の各タスクにおける最適なハイパー パラメーター値の調査と, 目的言語側と原言語側の周辺の複数文を併用した手法に取り組む予定である.

## 謝 辞

本稿は国際会議 The 28th International Conference on Computational Linguistics (COLING2020) で発表した論文 (Mino et al. 2020)に基づいて日本語で書き直し, 説明を追加したものである.本研究成果は, 国立研究開発法人情報通信研究機構 (NICT) の委託研究「多言語音声翻訳高度化のためのディープラーニング技術の研究開発」により得られたものである.ここに謝意を表 する．また，有意義なコメントを頂いた査読者のみなさま，日頃熱心にご討論頂いている NHK 放送技術研究所スマートプロダクション研究部のみなさま，特に本稿をまとめるにあたり多く のコメントを頂いた衣川 和克氏に感謝を表する。

## 参考文献

Agrawal, R., Turchi, M., and Negri, M. (2018). "Contextual Handling in Neural Machine Translation: Look Behind, Ahead and on Both Sides." In Proceedings of the 21st Annual Conference of the European Association for Machine Translation, pp. 11-20, Alacant, Spain. European Association for Machine Translation.

Bahdanau, D., Cho, K., and Bengio, Y. (2015). "Neural Machine Translation by Jointly Learning to Align and Translate." In 3rd International Conference on Learning Representations, ICLR 2015, San Diego, CA, USA, May 7-9, 2015, Conference Track Proceedings.

Bawden, R., Sennrich, R., Birch, A., and Haddow, B. (2018). "Evaluating Discourse Phenomena in Neural Machine Translation." In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 1304-1313, New Orleans, Louisiana. Association for Computational Linguistics.

Bengio, S., Vinyals, O., Jaitly, N., and Shazeer, N. (2015). "Scheduled Sampling for Sequence Prediction with Recurrent Neural Networks." In Cortes, C., Lawrence, N. D., Lee, D. D., Sugiyama, M., and Garnett, R. (Eds.), Advances in Neural Information Processing Systems 28, pp. 1171-1179. Curran Associates, Inc.

Bengio, Y., Louradour, J., Collobert, R., and Weston, J. (2009). "Curriculum Learning." In Danyluk, A. P., Bottou, L., and Littman, M. L. (Eds.), ICML, Vol. 382 of ACM International

Conference Proceeding Series, pp. 41-48. ACM.

Cettolo, M., Girardi, C., and Federico, M. (2012). "WIT": Web Inventory of Transcribed and Translated Talks." In Proceedings of the $16^{\text {th }}$ Conference of the European Association for Machine Translation (EAMT), pp. 261-268, Trento, Italy.

Hieber, F., Domhan, T., Denkowski, M., Vilar, D., Sokolov, A., Clifton, A., and Post, M. (2018). "The Sockeye Neural Machine Translation Toolkit at AMTA 2018." In Proceedings of the 13th Conference of the Association for Machine Translation in the Americas (Volume 1: Research Papers), pp. 200-207, Boston, MA. Association for Machine Translation in the Americas.

Iida, R., Torisawa, K., Oh, J.-H., Kruengkrai, C., and Kloetzer, J. (2016). "Intra-Sentential Subject Zero Anaphora Resolution using Multi-Column Convolutional Neural Network." In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 1244-1254, Austin, Texas. Association for Computational Linguistics.

Kim, Y., Tran, D. T., and Ney, H. (2019). "When and Why is Document-level Context Useful in Neural Machine Translation?" In Proceedings of the 4th Workshop on Discourse in Machine Translation, DiscoMT@EMNLP 2019, Hong Kong, China, November 3, 2019, pp. 24-34.

Kingma, D. P. and Ba, J. (2015). "Adam: A Method for Stochastic Optimization." In International Conference on Learning Representations (ICLR).

Kuang, S., Xiong, D., Luo, W., and Zhou, G. (2018). "Modeling Coherence for Neural Machine Translation with Dynamic and Topic Caches." In Proceedings of the 27th International Conference on Computational Linguistics, pp. 596-606, Santa Fe, New Mexico, USA. Association for Computational Linguistics.

Läubli, S., Sennrich, R., and Volk, M. (2018). "Has Machine Translation Achieved Human Parity? A Case for Document-level Evaluation." In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 4791-4796, Brussels, Belgium. Association for Computational Linguistics.

Libovický, J. and Helcl, J. (2017). "Attention Strategies for Multi-Source Sequence-to-Sequence Learning." In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 196-202, Vancouver, Canada. Association for Computational Linguistics.

Littell, P., Lo, C.-k., Larkin, S., and Stewart, D. (2019). "Multi-Source Transformer for KazakhRussian-English Neural Machine Translation." In Proceedings of the 4th Conference on Machine Translation (Volume 2: Shared Task Papers, Day 1), pp. 267-274, Florence, Italy. Association for Computational Linguistics.

Maruf, S., Martins, A. F. T., and Haffari, G. (2019). "Selective Attention for Context-aware Neural Machine Translation." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 3092-3102, Minneapolis, Minnesota. Association for Computational Linguistics.

Miculicich, L., Ram, D., Pappas, N., and Henderson, J. (2018). "Document-Level Neural Machine Translation with Hierarchical Attention Networks." In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 2947-2954, Brussels, Belgium. Association for Computational Linguistics.

Mino, H., Tanaka, H., Ito, H., Goto, I., Yamada, I., and Tokunaga, T. (2020). "ContentEquivalent Translated Parallel News Corpus and Extension of Domain Adaptation for NMT." In Proceedings of The 12th Language Resources and Evaluation Conference, pp. 3616-3622, Marseille, France. European Language Resources Association.

Müller, M., Rios, A., Voita, E., and Sennrich, R. (2018). "A Large-Scale Test Set for the Evaluation of Context-Aware Pronoun Translation in Neural Machine Translation." In Proceedings of the 3rd Conference on Machine Translation: Research Papers, pp. 61-72, Brussels, Belgium. Association for Computational Linguistics.

Neubig, G., Nakata, Y., and Mori, S. (2011). "Pointwise Prediction for Robust, Adaptable Japanese Morphological Analysis." In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, pp. 529-533, Portland, Oregon, USA. Association for Computational Linguistics.

Okumura, M. and Tamura, K. (1996). "Zero Pronoun Resolution in Japanese Discourse Based on Centering Theory." In COLING 1996 Volume 2: The 16th International Conference on Computational Linguistics, pp. 871-876, Copenhagen, Denmark.

Papineni, K., Roukos, S., Ward, T., and Zhu, W.-J. (2002). "Bleu: A Method for Automatic Evaluation of Machine Translation." In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA. Association for Computational Linguistics.

Ranzato, M., Chopra, S., Auli, M., and Zaremba, W. (2016). "Sequence Level Training with Recurrent Neural Networks." In Bengio, Y. and LeCun, Y. (Eds.), 4th International Conference on Learning Representations, ICLR 2016, San Juan, Puerto Rico, May 2-4, 2016, Conference Track Proceedings.

李凌寒, 中澤敏明, 鶴岡慶雅 (2019). 文脈情報を考慮した日英ニューラル機械翻訳. 言語処理学会第 25 回年次大会, pp. 101-104. [R. Ri et al. (2019). Bunmyaku Jyoho wo Koryo shita

Nichiei Nyuraru Kikaihonyaku. Proceedings of the 25th Annual Meeting of the Association for Natural Language Processing, pp. 101-104.].

Sennrich, R., Haddow, B., and Birch, A. (2016). "Neural Machine Translation of Rare Words with Subword Units." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1715-1725, Berlin, Germany. Association for Computational Linguistics.

Sutskever, I., Vinyals, O., and Le, Q. V. (2014). "Sequence to Sequence Learning with Neural Networks." In Proceedings of the 27th International Conference on Neural Information Processing Systems - Volume 2, NIPS'14, pp. 3104-3112, Cambridge, MA, USA. MIT Press.田中英輝, 中澤敏明, 美野秀弥, 伊藤均, 後藤功雄, 山田一郎, 川上貴之, 大嶋聖一, 朝賀英裕 (2021). 時事通信社ニュースの日英対訳コーパスの構築一第 3 報. 言語処理学会第 27 回年次大会, pp. 228-231. [H. Tanaka et al. (2021). Jiji Tsushinsha Nyusu no Nichiei Taiyaku Kopasu no Kochiku: The 3rd Report. Proceedings of the 27th Annual Meeting of the Association for Natural Language Processing, pp. 228-231.].

Tiedemann, J. and Scherrer, Y. (2017). "Neural Machine Translation with Extended Context." In Proceedings of the 3rd Workshop on Discourse in Machine Translation, pp. 82-92, Copenhagen, Denmark. Association for Computational Linguistics.

Toral, A. (2019). "Post-editese: an Exacerbated Translationese." In Proceedings of Machine Translation Summit XVII Volume 1: Research Track, pp. 273-281, Dublin, Ireland. European Association for Machine Translation.

Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., and Polosukhin, I. (2017). "Attention Is All You Need." In Guyon, I., Luxburg, U. V., Bengio, S., Wallach, H., Fergus, R., Vishwanathan, S., and Garnett, R. (Eds.), Advances in Neural Information Processing Systems 30, pp. 5998-6008. Curran Associates, Inc.

Voita, E., Sennrich, R., and Titov, I. (2019). "Context-Aware Monolingual Repair for Neural Machine Translation." In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 877-886, Hong Kong, China. Association for Computational Linguistics.

Voita, E., Serdyukov, P., Sennrich, R., and Titov, I. (2018). "Context-Aware Neural Machine Translation Learns Anaphora Resolution." In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1264-1274, Melbourne, Australia. Association for Computational Linguistics.

Wang, L., Tu, Z., Way, A., and Liu, Q. (2017). "Exploiting Cross-Sentence Context for Neu-
ral Machine Translation." In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 2826-2831, Copenhagen, Denmark. Association for Computational Linguistics.

Zhang, W., Feng, Y., Meng, F., You, D., and Liu, Q. (2019). "Bridging the Gap between Training and Inference for Neural Machine Translation." In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 4334-4343, Florence, Italy. Association for Computational Linguistics.

Zoph, B. and Knight, K. (2016). "Multi-Source Neural Translation." In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 30-34, San Diego, California. Association for Computational Linguistics.

## 略歴

美野 秀弥：2002 年東京工業大学情報理工学部計算工学科卒業. 2004 年同大学院情報理工学研究科修士課程修了. 同年 NHK 入局, 北見放送局, (独) NICT 出向を経て, 現在, 放送技術研究所スマートプロダクション研究部研究員. 自然言語処理の研究に従事. 言語処理学会会員.

伊藤均：2010 年神戸大学工学部電気電子工学科卒業. 2012 年京都大学大学院情報学研究科修士課程修了. 同年 NHK 入局. 山口放送局を経て, 現在, 放送技術研究所スマートプロダクション研究部研究員. 自然言語処理の研究に 従事. 音響学会, 言語処理学会 各会員.

後藤 功雄 : 1995 年早稲田大学理工学部電気工学科卒業. 1997 年同大学院理工学研究科修士課程修了. 2014 年京都大学大学院情報学研究科博士課程修了.博士（情報学）１１997 年 NHK 入局，（株）ATR および（独）NICT 出向を経 て, 現在, 放送技術研究所スマートプロダクション研究部にて自然言語処理 の研究に従事. 言語処理学会, 情報処理学会 各会員.

山田 一郎：1991 年, 名古屋大学工学部情報工学科卒業. 1993 年, 同大学大学院修士課程修了. 博士 (情報科学)。同年, NHK 入局. スタンフォード大学訪問研究員, (独) NICT 専門研究員を経て, 現在, 放送技術研究所スマート プロダクション研究部にて機械翻訳，ビッグデータ解析の研究に従事. 言語処理学会, 映像情報メディア学会 各会員.

徳永 健伸：1983 年東京工業大学工学部情報工学科卒業. 1985 年同大学院理工学研究科修士課程修了. 同年 (株) 三菱総合研究所入社. 1986 年東京工業大学大学院博士課程入学. 現在, 東京工業大学情報理工学院教授. 博士 (工学).
専門は自然言語処理, 計算言語学. 情報処理学会, 人工知能学会, 言語処理学会, 計量国語学会, Association for Computational Linguistics, ACM SIGIR, Cognitive Science Society, International Cognitive Linguistics Association 各会員.

(2021 年 3 月 31 日 受付)

(2021 年 7 月 1 日 再受付)

(2021 年 8 月 17 日 採録)