# 論文
## 事象に対する網羅的な時間情報アノテーションとその分析

## 坂口 智洋 $\dagger \cdot$ 河原 大輔 + 黒橋 禎夫 $\dagger$

テキスト中には過去・現在・未来における様々な事象が記述されており, その内容 を理解するためにはテキスト中の時間情報を正確に解釈する必要がある。これまで,事象情報と時間情報を関連付けたコーパスが構築されてきたが, これらは開始と終了が比較的明確な事象に着目したものであった. 本研究では, 網羅的かつ表現力豊 かな時間情報アノテーション基準を導入し, 京都大学テキストコーパス中の 113 文書に対するアノテーションとその分析を行った. 同コーパスには既に述語項関係や 共参照関係のアノテーションガなされており, 本アノテーションと合わせてテキス ト中の事象・エンティティ・時間を対象とした統合的な時間情報解析に活用するこ とが可能となった.

キーワード：時間情報，時間軸，アノテーション

## Comprehensive Annotation and Analysis of Temporal Information of Events

\author{
Tomohiro Sakaguchi $^{\dagger}$, Daisuke Kawahara $^{\dagger}$ and Sadao Kurohashi ${ }^{\dagger}$
}

Various past, present, and future events are described in text. To understand such text, correct interpretation of temporal information is essential. For this purpose, many corpora associating events with temporal information have been constructed. Although these corpora focus on expressions with strong temporality, many expressions have weak temporality, but are still clues to understanding temporal information. In this article, we propose an annotation scheme that comprehensively anchors textual expressions to the time axis. Using this scheme, we annotated 113 documents in the Kyoto University Text Corpus. Because the corpus has already been annotated with predicate-argument structures and coreference relations, it can now be utilized for integrated information analysis of events, entities, and time.

Key Words: Temporal Information Annotation, Temporal Anchoring

## 1 はじめに

Web 上では日々多くのテキスト情報が発信されており，これまでに膨大な量のテキストが蓄積されている。この大量のテキストから, あるトピックについての知識を抽出するためには, 関

連するテキストの統合・要約・比較を行う情報分析技術が必要である．異なる時期に書かれたテ キストや異なる時期について言及しているテキストを対象として分析を行うためには，テキス トに含意されている時間情報を正しく解釈する必要があり，これまでに事象情報と時間情報の 関係性という観点から多くの研究やタスクが行われてきた。例えば TempEval 1, 2, 3 では, 事象一事象表現間，事象一時間表現間の時間的順序関係の推定が行われた (Verhagen, Gaizauskas, Schilder, Hepple, Katz, and Pustejovsky 2007; Verhagen, Sauri, Caselli, and Pustejovsky 2010; UzZaman, Llorens, Derczynski, Allen, Verhagen, and Pustejovsky 2013). また, SemEval 15 で は複数のテキストから事象表現を抽出し, 時系列に配置するタイムライン生成タスクが扱われ た (Minard, Speranza, Agirre, Aldabe, van Erp, Magnini, Rigau, and Urizar 2015).

このようなタスクにおいてモデルの学習やシステムの評価を行うため, テキスト中の事象情報と 時間情報を関連付けたコーパスが作られてきた (Pustejovsky, Hanks, Saurí, See, Gaizauskas, Setzer, Radev, Beth Sundheim, Ferro, and Lazo 2003; Cassidy, McDowell, Chambers, and Bethard 2014; Reimers, Dehghani, and Gurevych 2016). これらのコーパスでは開始・終了時が比較的明確な事象表現を対象にアノテーションが行われたが, テキストの時間情報理解のための手がか りはこれにとどまらない. 本研究では, 時間性が曖昧な表現を含めた, テキスト中の様々な表現がもつ時間情報を表現力豊かにアノテーションするための基準を提案する.

先行研究における時間情報アノテーションのアプローチは 2 つに大別される．1つは事象間の 時間的順序関係を付与する相対的なアノテーション方法である。もう1つは各事象を時間軸に 対応させる絶対的なアノテーション方法である．前者は小説など時間情報の少ないテキストで あっても情報量の多いアノテーションが可能である．後者は新聞などの時間情報の多いテキス トにおいて少ないアノテーション量で正確に時間情報を表現できる。本研究は後者のアプロー チを発展させるものであり, 構築するコーパスはタイムライン生成など時間軸を用いてテキス トの比較・統合を行うタスクにおいて学習／評価データとして使用することが可能である.

本アノテーション基準の特徴は次の 2 つである。1つは, 時間性をもち得る幅広い表現をアノ テーション対象とすることである. 多くの先行研究は, TimeML (Sauri, Littman, Gaizauskas, Setzer, and Pustejovsky 2006) のガイドラインに従い，何か起きたことやその状態を表す一時性 の強い表現である “event”に対してアノテーションを行っている。そのため次の例の「出現し ており」のような一時性の弱い表現にはアノテーションが行われない.

（1）インターネット上では様々な事業が急速に出現しており，政府でさえ把握できていない.

しかし, 一時性の弱い表現がもつ時間情報もテキスト解釈の手がかりとなり得る。この例の 場合,「出現しており」が数年前から現在にかけての事象であるという時間情報をアノテーショ ンすることも重要である。そこで本研究では先行研究より対象を広げ，テキスト中で時間性を もち得る全ての事象表現, すなわちテキスト中の述語または事態性名詞（サ変名詞, 動詞連用
形の名詞化，形容動詞語幹）を含む基本句全て（以降，対象表現と呼ぶ）をアノテーション対象とする．ここで基本句とは，京都大学テキストコーパスで定義されている単位で，自立語と それに続く付属語のことである。

本アノテーション基準のもう 1 つの特徴は, 頻度や期間などの多様な時間情報を扱えること である。(Reimers et al. 2016) は事象の起きる期間を開始点と終了点を用いて時間軸に対応付け たが，次の例で太字で示す「飛び飛びな時間」や「大きな区間の中のある一部の期間」に起き る事象を正確に時間軸に対応付けることはできなかった.

（2）毎週日曜は球場で野球を見る。

(3) 来週は 3 日間京都に出張する。

(4) 昔はよく一緒に遊んでいた。

本研究では，テキスト中に含まれる多様な時間情報をより正確に時間軸に対応付けられる時間 タグを導入する。

多様な表現に対して表現力豊かにタグ付けすることで，個人のテキスト解釈や常識がタグの 摇れとして現れる。本研究ではこのような摇れも時間がどのように解釈されているかを知る上 で重要だと考えているため，最終的に複数のアノテータの付与した時間タグを 1 つに統合する ことはしない，代わりに，解釈の違いを尊重しつつ明らかなアノテーションミスのみを修正す るアノテーション方法を導入する。

本アノテーション基準を用いて, 京都大学テキストコーパス中の 113 文書 4,534 対象表現に対 してアノテーションを行った。その結果，対象表現の $76 \%$ に時間性が認められ，そのうち $35 \%$ （全体の $26 \%$ ）で本稿で新たに提案する記法が用いられた。同コーパスには, 既に述語項関係や 共参照関係のアノテーションがなされているため, 本アノテーションと合わせてテキスト中の 事象・エンティティ・時間を対象とした統合的な時間情報解析に活用することが可能となる.

## 2 関連研究

事象情報と時間情報を関連付けたコーパスは，これまでにも多く作られており，これらのア ノテーション方法は大きく 2 つのアプローチに分けられる．1つは，事象間の時間的順序関係 を付与する方法である。事象情報や時間情報を扱う多くのタスクで利用されている TimeBank Corpus (Pustejovsky et al. 2003)には, TimeMLの基準に基づいて事象・時間表現情報がアノ テーションされており, さらに時間的順序関係を表す TLINK, 事象間の関係を表すSLINK，相動詞と事象の関係を表す ALINK の 3 つの関係が付与されている. 当初はアノテータが重要と判断した表現間にのみアノテーションがなされていたためスパースであったが, 後の TempEval 夕 スクはこれを発展させ, 同一文中と隣接文間の関係に対してアノテーションを行った. BCCWJ-

TimeBank (Asahara, Kato, Konishi, Imada, and Maekawa 2014) は, 現代日本語書き言葉均衡 コーパス (BCCWJ)の新聞記事に対してTimeBank Corpusに準拠した基準でアノテーションを 行ったものである.

このような時間的順序関係をより密にアノテーションしたコーパスも存在する. (Kolomiyets, Bethard, and Moens 2012)は子ども向けの物語コーパス中の各事象表現に対してその最も近い 事象表現との時間的順序関係をアノテーションした。また TimeBank Dense Corpus (Cassidy et al. 2014)は, 同一文内・隣接文間の全ての事象 - 時間表現間, 事象－事象表現間に対してア ノテーションを行っている.

もう1つのアプローチは, 事象を時間軸に対応させる方法である. EventStatus Corpus (Huang, Cases, Jurafsky, Condoravdi, and Riloff 2016) は, 社会不安に関する新聞記事中の事象表現に対 して Past, On-going, Future Planned, Future Alert, Future Possible の 5 ののラベルをアノテー ションした. (Asakura, Hangyo, and Komachi 2016) は, ソーシャルメディアに投稿された洪水 に関するテキストに含まれる事象表現に対して PAST, PRESENT, FUTUREのラベルと事実性 に関する 3 つの値 (high probability, low probability, unmentioned)をアノテーションした.

より細かい粒度で時間軸に対応付けたコーパスも存在する。 (Reimers et al. 2016) は, TimeBank Corpus 中の事象表現に対して時間値を付与した．時間値は日にちの粒度で付与されており，事象が 1 日内で終わるものか, 複数日に跨るものかで夕グが異なる。前者にはその事象が起きた 日付を，後者にはその事象の開始日と終了日を付与する。次の例文の「出発した」は 1 日内の 事象であり，この方法でアノテーションする場合は 1980-05-26を付与する。「過ごした」は複数日に跨る事象であるため, beginPoint=1980-05-26 endPoint=1980-06-01 のように開始日と終了日を付与する。

(5) 1980 年 5 月 26 日、彼は宇宙に向けて出発した。サリユート 6 号で 6 日間を過ごした。

事象の正確な日付が分からない場合は, after と before を用いて記述する。次の例文の「滞在した」には beginPoint=after 1984-10-01 before 1984-10-31 endPoint=after 1984-10-01 before 1984-10-31,「選ばれた」には after 2014-01-01 before 2014-12-31 が付与される.

（6）サリバンは 1984 年 10 月、チャレンジャー号のメンバーとして宇宙に滞在した。 2014 年 にはタイム 100 に選ばれた。

また，時間性をもたない事象に対しては，n/aを付与した。

彼らのアノテーションでは, 全事象の約 6 割が 1 日内の事象, 約 4 割が複数日に跨る事象で ある。前者のうち日付が明確なものは $56 \%$, 後者のうち開始日が明確なものは $20 \%$, 終了日が 明確なものは $16 \%$ であり，全事象の $64 \%$ after または before を用いて表されている。時間性 をもたない事象は全体の $0.7 \%$ であった。
本稿ではこの事象を時間軸に対応させるアプローチを発展させ，テキスト中の多様な時間情報に対応できる夕グ付け基準を提案する。

## 3 アノテーション基準

1 章で述べたように，本研究ではテキスト中の述語または事態性名詞（サ変名詞，動詞連用形 の名詞化, 形容動詞語幹）を含む基本句全てを対象表現として，それらに時間タグを付与する. ここで基本句とは，自立語とそれに続く付属語のことである．基本句を基本単位とすることに より，「行くつもりだ」や「勝てたかもしれない」のような助詞や接尾辞を含む動詞句をひとか たまりとして時間性を考えることができる．英語を対象とした先行研究の多くが，開始と終了 が比較的明膫で一時性の強い事象である, TimeML における “event”をアノテーション対象と するのに対し, 本研究では時間性をもち得るより幅広いこれらの表現をアノテーション対象と する。対象表現の例を次に示す。例 (7)の「行くつもりた」は動詞を含む基本句であるため，ま た例 (8)の「所属」は事態性名詞であるため対象表現である。例 (9)には, 事態性名詞の基本句 である「結婚を」と，動詞を含む基本句である「考えたい」の 2 つの対象表現が存在する.

(7) 明日京都に行くつもりだ。

(8) 連合所属議員

(9) そろそろ結婚を考えたい。

アノテータには, 本章で述べるアノテーション基準に従って, 対象表現に対するアノテーショ ンを依頼した。アノテータは，まず対象表現が時間性をもつかどうかを判定する，時間性をも つ場合はテキストの作成日 (Document Creation Time, DCT) と文脈を考慮して対応する時間夕 グを付与する。時間性を持たない場合は $t: n / a$ (not applicable) という時間タグを記す.

時間性をもつ場合，時間タグは時間基本単位 (Time Base Unit, TBU) またはその組み合わせ として表す（表 1). 時間基本単位とは, 特定の時点や期間を表すもので， 5 種類の夕グを定義す る. さらに, 時間基本単位中の一部の期間や繰り返しを表す 3 通りの方法を導入し, 多様な時間情報を表現する。(Reimers et al. 2016) が扱った時間情報は, 表 1 中の $1,3, \mathrm{~b}, t: n / a$ である.時間タグは, 先行研究と同様, 日にちを最小粒度とする。これは, 情報分析において着目し たい粒度が数日から数年であることが多いことによる．例えば次の文のように， 2017 年 4 月 29 日に書かれたテキストでは，「帰った」はその日の 18 時のことであるが，日にち以下の粒度の 情報は捨てて 2017 年 4 月 29 日という情報をタグ付けする.

(10) [DCT: 2017-04-29] 今日は夜 6 時に帰った。
表 1 時間タグの一覧

*は本研究で新しく導入したタグを表す.

## 3.1 対象表現の時間性判定

対象表現が時間性をもつかどうかは，過去から未来の間において表現の表す動作や状態に変化があるか否かで判断する。文脈によって変化の有無や度合いの解釈は変わり得るため，次の ような事例を共通認識としつつ，具体的な判断基準は各アノテータに委ねた。

時間性をもつ例をいくつか挙げる.

(11) 明日京都に行く。

(12) 言語処理研究が盛んだ。

(13) あの子は背が低かった。

例 (11)の「行く」は，明日という特定の日に起きるものであるため，時間性をもつ．例 (12) の「盛んだ」は，いつからいつまでかは分からないがある限られた時期のことであるため時間性をもつと考える。例 (13)の「低かった」も, 現在はそうではないことを示唆しているため,時間性をもつと考える。これらの例において, 先行研究がアノテーション対象としているのは,例 (11)のみである.

次に時間性をもたない例を示す.

ウサギは草を食べる 動物だ。

(15) 彼の目は黒い。

例 (14)の「食べる」と「動物だ」は, 昔から変わらない一般的な事柄であるため時間性をも たないと考える，例 (15)の「黒い」も同様である．ただ，次の文のように現在は異なること を示唆する表現の場合は時間性をもつと解釈する。

(16) 以前は目の色が黒かった。

## 3.2 時間基本単位

## 3.2.1日付・期間を表すタグ

日付の時間情報は, $t$ タグにその時間の表す値を記すことで表現する。 $t: Y Y Y Y や t: Y Y Y Y-$ $M M-D D$ など, BCCWJ-TimeBank で定義されている時間表現の時間值の記法で記す. 次の例 の「到着した」は 2017 年 4 月 28 日の出来事であるため, 時間値 $t: 2017-04-28$ を付与する.

(17) [DCT: 2017-04-29] 昨日大統領がニューヨークに到着した。

$\rightarrow t: 2017-04-28$

本研究では先行研究とは異なり, 日にちより大きな粒度の時間タグを許す。例えば次の例の 「暑かった」には， $t: 2016-08$ を付与する．このタグは，必ずしも厳密に 2016 年 8 月 1 日から 31 日までの期間を表すわけではない.「8月」という表現は「8月1日から 31 日まで」という表現 と比べ，その表す期間は漠然と捉えられる。本研究における夕グの粒度はこのような漠然性を 含意する。

(18) [DCT: 2017-04-29] 昨年の8月は暑かった。

$\rightarrow t: 2016-08$

アノテータの負担軽減のため, 次のような省略表記を導入する。
- 文書作成日時の日付は $t: D C T$ と記すことができる.
- ある日から一定期間前／後の日を引き算／足し算で記すことができる. この際, 期間は BCCWJ-TimeBank で定義された期間表現の時間値の記法を用いる。例えば， 1 年間は $P 1 Y, 1$ ヶ月は $P 1 M, 1$ 週間は $P 1 W, 1$ 日間は $P 1 D$ と表す. 次の例の「行く」の時間値 は $t: D C T+P 1 W$,「行った」の時間値は $t: D C T-P 1 W$ と表せる.

(19) 私も来週そこに行く。

$\rightarrow t: D C T+P 1 W$

(20) 私も先週そこに行った。

$\rightarrow t: D C T-P 1 W$

## 3.2.2 漠然とした時間を表すタグ

テキスト中には漠然とした時間情報を表す表現も多く存在する。例えば次の文では，「住んで いた」が過去のいつ, どのくらいの期間のことであるのか具体的には分からない.

(21) 昔広島に住んでいた。

(Reimers et al. 2016)はこれを「今日までのある日から，今日までのある日まで」と捉え， beginPoint=before DCT endPoint=before DCT とタグ付けした．本研究では, このような漠然 とした時間情報をより正確に表現するため，新たなタグを導入する。

文書作成日を基準として, 漠然とした過去, 現在, 未来は, それぞれ $t: P A S T, t: P R E S E N T$, $t$ :FUTURE と記す.ここで，「現在」は文書作成日の少し前から少し後までを表す。例えば次 の文の「持ち込める」は, 文書作成日だけでなく, 文書作成日から少し前や後でも成り立つこ

(22) 国内線では飲み物を持ち込める。

$\rightarrow t: P R E S E N T$

過去と未来については, それぞれ時間的距離に応じて $t: P A S T-M$ と $t: P A S T-Y, t: F U T U R E-M$ と $t$ :FUTURE-Yという表記を導入する. $t$ :PAST-M は数ヶ月前を, $t: P A S T-Y$ は数年前を表す 1 .数年以上前, あるいはどのくらい昔なのかが不明な場合は $t: P A S T$ を用いる.未来についても 同様である。

漠然とした時間表現はこれ以外にもある。「1980年頃」や「約 3 年間」など数値の曖昧性が明示されている表現の場合, その曖昧な数值の直後に ap (approximately) と記す. 次の例の「建 てられた」には $t: 1980 a p$ を付与する.

(23) 1980 年頃に建てられた建物

$
\rightarrow t: 1980 \mathrm{ap}
$

## 3.2.3開始・終了時を用いて期間を表す方法

期間の時間値は, 開始時と終了時を〜で結ぶことで表す.これは (Reimers et al. 2016)の beginPoint, endPoint に対応する. 例 (5)の「過ごした」には $t: 1980-05-26 \sim 1980-06-01$ を付与 する。

（5） 1980 年 5 月 26 日，彼は宇宙に向けて出発した。サリュート 6 号で 6 日間を過ごした。

$
\rightarrow t: 1980-05-26 \sim 1980-06-01
$

事象の開始時, 終了時のいずれかが不明かつ近い過去／未来である場合はこれを書かない.次の例文の「忙しかった」の時間タグは $t:$ 2017-04-28となる.

[DCT: 2017-04-29] 昨日まで忙しかった。

$
\rightarrow t: \sim 2017-04-28
$

事象の開始時, 終了時が遠い過去や未来である場合は, PASTや FUTUREを用いる.

## 3.2.4 相対的な時間を表すタグ

事象を時間軸に対応付けるアプローチの弱点の 1 つは, 小説など時間表現が少ないテキスト では多くの事象が時間軸と対応付けられない可能性があることである。このような場合, 事象表現間の相対的な時間関係をタグ付けするアプローチの方が情報量の多いアノテーションが可能である。そこで本研究では, 絶対的な時間値が分からない場合は相対的な時間値を付与する.

対象表現の具体的な日付が分からないが, 同一文中の他の基本句との時間関係が分かる場合, これを時間値として記す（時間共参照と呼ぶ），例えば次の文の「起きた」は，具体的な日付は 分からないが基本句「選挙の」の表す日の翌日であることは分かる。この場合, $t$ :選挙の $+P 1 D$ と記す。

(25）選挙の翌日、大規模なデモが起きた。

$\rightarrow t$ :選挙の $+P 1 D$

参照できる基本句が複数ある場合は, 1. 絶対的な時間値が付与されている基本句, 2. 距離が 近い基本句の順で優先順位を付け, 最も優先順位の高いもの1つを選択する。

## 3.2.5発話日時を表すタグ

会話文やインタビューなどでは，その発話日時が不明なことが多い. 文脈から具体的な日付 が分かる場合はそれを利用して夕グ付けを行うが，分からない場合は発話日を $t: U D$ (Utterance Day)として記述する。例えば次の文の「頑張るしかない」には $t: U D+P 1 D$ を付与する.

（26）「明日頑張るしかない」と監督は言った。

$
\rightarrow t: U D+P 1 D
$

ただし, 上の文の「言った」のように, 発話の外の表現には $U D$ は用いず, 絶対的な時間値 を記す。

## 3.3 時間基本単位 (TBU) の一部分の表現

## 3.3.1 TBU 内の一部の期間を表す方法

ある大きな TBU の中の一部の期間は, 大きい期間を表す $t$ タグと小さい期間を表す span夕グを 組み合わせることで表現する。span夕グは, 期間の長さが分かる場合は BCCWJ-TimeBankで定義された期間表現の時間値の記法を用いて記す. 例えば 3 日間は span:P3D, 3 週間は span:P3W, 3 年間は span:P3Yと表す. 期間の長さが分からない場合は span:part と記す. 例 (6)の場合,「滞在した」は 1984 年 10 月のある期間なので $t: 1984-10, s p a n: p a r t を, 「$ 選ばれた」は 2014 年の

（6）サリバンは 1984 年 10 月、チャレンジャー号のメンバーとして宇宙に滞在した。 2014 年 にはタイム 100 に選ばれた。

$\rightarrow$ 「滞在した」t:1984-10,span:part

「選ばれた」t:2014,span:P1D

(Reimers et al. 2016)と比較すると, span:partは彼らの before, afterを用いた記法に対応する.

## 3.3.2TBU 中の繰り返しを表す方法

対象表現は常に連続した期間として表せるわけではない。「毎週日曜日」に行う事象や「3日 に 1 回」行う事象もある。このように飛び飛びで複数日に渡って起きる事象は, $t$ 夕グや span タグに加えて繰り返し規則を表す freq夕グを用いて表す.

繰り返しに関するアノテーション方法は次の 3 つがある.
- 「週に 2 回」や「3日に 1 度」のように, 繰り返し規則が一定の期間中に起きた回数 として表される場合，回数／期間を freq夕グに記す。次の例文の「通っている」には t:2016-07 DCT,freq:2/P1W とタグ付けする.

(27) [DCT: 2017-04-29] 昨年 7 月から週に 2 回プールに通っている。

$\rightarrow t: 2016-07 \sim D C T$,freq:2/P1W
- 「毎月 25 日」や「毎週日曜日」のように, 繰り返し規則が特定の日付や曜日として表さ れる場合, その日付や曜日を freq夕グに記す.このとき, BCCWJ-TimeBankの夕グ付 け基準を拡張し，いかなる数字も入るという意味で $Y Y Y Y-M M-D D$ の各部分に@を入れ ることを許す。例えば freq:@@@@-@@-25 は毎月 25 日を表す. 次に例を挙げる。

(28) 骨董市は毎月 25 日に開催される。

$\rightarrow$ t:PRESENT,freq:@@@@-@@-25

(29) 毎週日曜はプールに行く。
- 具体的な回数や頻度が文脈から分からない場合, 頻度を抽象的に表した 4 つの値, usually, often, sometimes, rarelyのいずれかを用いる。次の例文の「行く」には $t$ :PRESENT, freq:sometimes を付与する.

(30) [DCT: 2017-04-29] スターバックスに時々行く。

$\rightarrow t: P R E S E N T$, freq:sometimes

## 4 アノテーション結果

## 4.1 アノテーション対象

上述のアノテーション基準を用いて, 京都大学テキストコーパス (Kawahara, Kurohashi, and Hasida 2002) 中の一部の記事に対してアノテーションを行った. 同コーパスは, 1995 年 1 月 1 日から 17 日までの毎日新聞の記事に各種言語情報を人手で付与したものである. この中から当時話題になっていたトピックを 11 個選定し，トピックに関連する 113 記事 856 文，4,534 表現 にアノテーションを行った（表 2)，4,534 表現のうち，述語は 3,072 表現，事態性名詞は 1,462 表現であった.

## 4.2 アノテーション方法

3 名のアノテータにアノテーションを依頼した．本研究では個人の感覚や常識によって解釈 が変わるような表現も対象としているため, アノテータの付与したタグを最終的に 1 つに統合

表 2 アノテーションを行った記事数の分布

図 13 名のアノテー夕によるアノテーション方法. データを 3 分割し，各アノテータは第 1 段階でその うちの 2 つ, 第 2 段階で残りの 1 つを担当する. 第 2 段階では他の 2 人が第 1 段階で付与した夕 グを見ることができる.

することはしない. 代わりに，他のアノテータの解釈を尊重しつつ, 明らかなアノテーション ミスは修正する 2 段階のアノテーションを行う。まず対象となる文書群全体を 3 つに分割し,各アノテー夕は第 1 段階でそのうちの 2 つ, 第 2 段階で残りの 1 つを担当する（図 1）。これに より，最終的に全員が各文書に 1 度ずつアノテーションを行う。第 1 段階では各アノテータが 独立にアノテーションを行うのに対し，第 2 段階では他の 2 人が第 1 段階で付与したタグを見 た上で同じタグもしくは独自の夕グを付与する。第 2 段階では，もし既に付けられたタグに明 らかな誤りがある場合は印をつける。印を付けられた夕グは全体の $2 \%$ \%あり, 本稿における分析では欠損値として扱う.

## 4.3 時間タグの分布

アノテーションされた全時間タグの分布を表 3 に示す。約 $25 \%$ の対象表現が時間性をもたな いと判定された. 日付タグが全体の約 $25 \%$, 期間を表すタグが約 $15 \%$ 占める一方で, 漠然と した時間タグは約 $10 \%$, 時間共参照を含む夕グは数\%と少ない. 新聞を対象に夕グ付けを行っ たため, 表現の多くが時間軸に対応付けられたと考えられる。また, 繰り返しを表す freq夕グ は全体の $1 \%$ ととんど表れなかった。 本稿で新たに提案したタグは, 全体の約 $25 \%$ 占めた.

表 4 は，アノテーションの第 2 段階における，述語と事態性名詞それぞれに付与された時間 タグの分布を示したものである。述語に付与されたタグの $27 \% を 日$ 付タグが占めるのに対し,事態性名詞では約半分の $12 \%$ である。一方, 事態性名詞では時間性なしと判定された表現が多 く, 述語の約 2 倍の割合に当たる $35 \%$ 占める。これは, 「全欧安保協力機構」「地方旅行の自由化」など，事態性名詞が組織や一般的な事象などを表すことも多いためである.

## 4.4 アノテータ間一致率

Krippendorff's $\alpha$ (Krippendorff 2004; Hayes and Krippendorff 2007) を用いてアノテータ間一致率を算出した。(Reimers et al. 2016) と同様の 2 つの基準を用いた. 1 つはタグの一致度を厳格 に測る基準 (Strict 基準) で, 時間タグが完全に一致するか否かを判定する. 例えば $t: 1994-12-31$ は $t: 1994-12-31$ と一致するが, $t: \sim 1994-12-31$ とは一致しない. もう1つは時間夕グの部分一致
表 3 第 1 , 第 2 段階でアノテーションされた全ての時間タグの分布

インデントされた項目は内訳を表す。また，*は本研究で新たに導入したタグを表す.

表 4 第 2 段階でアノテーションされた, 述語と事態性名詞に対する時間夕グの分布

を認める緩やかな基準（Relax 基準）である。アノテータ間の時間タグが 1 日でも重なってい たら一致とし, 全く重なっていなかったら不一致とする。例えば $t: 1994-12-31$ と $t$ : 1994-12-31 は，両者の範囲が重なっているため一致と判定する。一方， $t:$ 1994-12-31と $t: 1995-01-01$ のよ うに, 1 日も重なっていない場合は不一致と判定する. このとき, $t: n / a$ と時間共参照について は部分一致を認めず，完全に同じでない場合は不一致として扱う，各段階終了時の一致率を表 5 に記す。表の括弧内の 2 つの数值はそれぞれ述語, 事態性名詞のみを対象とした場合の一致率である。最終時とは，第 2 段階までのアノテーションを終えた，最終的な夕グを表す.「t:n/a を除く」は，各段階で 1 人でも $t: n / a$ を付けた表現（第 1 段階終了時, 最終時ともに約 1,300 個） を除いたものである。第 1 段階終了時では 2 名の, 最終時では 3 名のアノテー夕間一致率を算出した.

第 1 段階終了時と最終時の一致率を比較すると, 後者が大幅に上がっている. これは, 前者 は独立に付与されたタグであるのに対し, 後者は他のアノテータのタグを見て付与された第 2

除いて評価すると, Strict 基準において大幅な一致率向上が見られた。このことから, Relax 基準での一致率が低い原因の 1 つが，時間性判定の難しさにあることが分かる.

述語と事態性名詞の一致率を比較すると，両基準ともに事態性名詞の一致率が低い。事態性名詞は述語に比べて時間性のない表現の占める割合が多いため, 時間性判定の難しさの影響を

名詞の一致率が低く, 時間が明確な表現は少ないことが分かる。たたし，これらの値は Relax 基準では大幅に上がり，また述語との差もほぼなくなるため，夕グは完全には一致しないもの のアノテータ間の認識に大きな隔たりはないと考えられる。

(Reimers et al. 2016)の一致率と比較すると, 特に Strict 基準において低いものとなっている. これは時間タグのバリエーションを増やしたことにより個人の解釈の摇れが多く反映されたこ とを表している.

両基準におけるアノテータ間のタグの一致／不一致について，次章でより詳細に述べる.

表 5 Krippendorff's $\alpha$ を用いて算出したアノテータ間一致率

括弧内の数値は（述語／事態性名詞）における一致率を表す。

## 5 アノテータ間でのタグの摇れ分析

本研究で提案した時間タグは, 先行研究と比べ時間情報をより正確に表現できるようになっ た一方でアノテータの解釈に敏感である。本章では，アノテータ間でどのように時間タグが摇 れたかを分析する.

具体的な時間値にとらわれずに時間タグの特徴を扱うため，時間タグを粒度の面から抽象化する。例えば， $t: 1994-12-31$ や $t: D C T$ などの日付を表す時間タグは $D A Y, t:$ 1994-12-31 は 〜DAY, t:1994は YEAR とする。また, spanタグや freq夕グはその値を省略して表記する。例 えば $t:$ 1994-12-31,span:P1D や $t: \sim 1994-12-31$, span:part は DAY,span とする.

本章では，アノテータが独立にアノテーションを行った，第 1 段階のアノテーション結果を 対象として分析する。表 6 , 表 7 は, それぞれ Strict 基準と Relax 基準において, アノテータ間 でどのように時間夕グが摇れたかをまとめたものである. ここで, アノテーションの一致の判定は元の時間値を用いて行い，集計のみ抽象化を行った値を使用した。

表 6 を見ると, Strict 基準ではアノテータ間で一致したタグの約 7 割が DAYと n/aであり,不一致の多くは $\mathrm{n} / \mathrm{a}$ か否かの判定, あるいは $D A Y$ と DAYなどの日付と期間の解釈の違いに 起因するものであることが分かる，表 7 を見ると，Relax 基準における不一致のほとんどは $n / a$ か否かの判定である. Strict 基準で見られた日付と期間の解釈の違いのほとんどはこの基準で は一致しており，領域が重なっていたことが分かる.

このような, アノテータ間の時間性判定と日付・期間の解釈の摇れについて次節以降, 具体例を通して分析する。

表 6 第1 段階のアノテーション結果に対する,『Strict 基準』におけるアノテータ間の時間タグの一致不一致頻度

表 7 第 1 段階のアノテーション結果に対する, 『Relax 基準』におけるアノテータ間の時間タグの一致不一致頻度

## 5.1 時間性の判定

Relax 基準において，アノテータ間でタグが一致しない最大の原因は，アノテータによって時間性の判断が摇れることにある。n/a夕グと共起しやすいタグは，頻度順に $\mathrm{n} / \mathrm{a}(76.6 \%), D A Y$ (5.3\%), PRESENT (5.0\%), DAY,span (1.7\%) となっており， 8 割近くの割合でアノテータ間 で $\mathrm{n} / \mathrm{a}$ が一致し, そうでない場合の約 4 割は片方のアノテータが DAYか PRESENTを付与し ている。このような表現には状態や役職，組織を表すものが多く，ある程度普遍的なものと見 るか，期間としては長くても一時的なものと見るかで判断が分かれている.

大統領官邸のある中心部

$\rightarrow t: P R E S E N T$ vs $t: n / a$

時間性を認めたアノテータは，記事の執筆時前後では大統領官邸が中心部にあるものの，過去，あるいは未来にはそれが変わる可能性があると解釈したのに対し，時間性を認めなかった アノテータは，変わる可能性はほとんどない，半永続的なことと解釈したと考えられる．

## 5.2 日付と期間の解釈

(Reimers et al. 2016) も指摘しているとおり，ある事象がある日一日内のことなのか, 複数日 に跨ることなのかをテキストから判断するのは難しい。また，ある事象の開始時や終了時を明確化することも容易ではない。このような曖昧性は, 本アノテーションにおいては $D A Y, \sim D A Y$, $\sim D A Y$,span, $D A Y \sim, D A Y \sim$, span, PRESENT の摇孔として現れる. 中でも多いのは $D A Y$ と D DAY,spanの間の摇れである. 特にDAYが DCT の場合が多く, 文書作成日に起きたのか, そ れまでに起きたのかの解釈が難しいことを表している.

これはアノテーション対象が新聞記事であることが要因の 1 つであると考えられる. 次の例 では，アノテータのタグが $t: D C T$ と $t: \sim D C T$,span:partで摇れた. 前者はこの表現を文書作成日のことと解釈したのに対し，後者はより長い期間であると解釈したと考えられる.

(32)しかしデュダエフ政権部隊は頑強に抵抗，双方の死者は数百人に達する見込みだ。

$\rightarrow t: D C T$ vs $t: \sim D C T$,span:part

性から，その日のことを記事にしたと解釈したのに対し，後者はそうとは限らないと解釈した と考えられる。

（33）外相は，「非民営化・再国営化」の基本方針を打ち出した。

$\rightarrow t: D C T$ vs $t: \sim D C T$,span:P1D

こうした新聞ならではの書き方やテーマ, 性質が, 解釈をより難しくしていると考えられる. このように，テキストに明示的に書かれていないことに対する解釈は読者によって少しずつ異 なり，しかもいずれも誤りとは言えない. 人がどのようにテキスト理解をしているのかをデー 夕として表現する方法の 1 つが, 本研究のように, 複数のアノテータの解釈を反映させたタグ を全て記載することだと考える。

## 6 時間情報推定

本研究で付与したタグを推定する簡単なモデルを作成し, そのエラー分析を通して, 推定に 必要な知識や技術について議論する.

## 6.1 問題設定

本稿で提案した時間タグは多様な時間情報を扱える一方で, 作成したコーパスの分量が大き くないため，機械学習を用いて直接推定するには夕グがスパースだという問題がある。 そこで タグを下記の 3 つの要素へと簡略化し, 各々を多クラス分類問題として推定する（図 2).

a. 時間性：事象が時間性をもつか否か（2クラス）

b. 事象の時間的長さ：事象の発生期間（4クラス）

c. 事象の発生時期 : 文書作成日を基準とした事象の発生時期（5クラス）

以下に各タスクの詳細を述べる。
(b) 事象の時間的長さ

(c) 文書作成日を基準とした、事象の発生時期

図 2 推定を行う 3 つのタスク

## 6.1.1（a）時間性判定タスク

対象表現が時間性をもつか否か, すなわち対応する時間タグが $t: n / a$ か否かを判定する．全対象表現 4,534 個のうち, $76 \%$ の 3,438 個が時間性をもつ.

## 6.1.2 (b) 事象の時間的長さ分類タスク

時間性をもつ事象において, 事象の時間的な長さを時間粒度に応じて 4 つクラスに大別し, 4 クラス分類問題として考える。具体的には, 期間を 1 日以内, 1 ヶ月未満, 1 年未満, 1 年以上, の 4 つに分類する. 時間共参照や span:part が付与された表現など時間の長さが分からな いものはデータから取り除き、全 4,534 対象表現のうち 2,752 個を用いた. 以下に例を示す.
- 1 日以内: $t: 1994-12-31, t: 1994, s p a n: P 1 D$
- 1 ヶ月未満: $t: 1994-12-25 \sim 1994-12-31, t: 1994-12, s p a n: P 3 D$
- 1 年未満: $t: 1994-12$
- 1 年以上: $\quad t: 1994, t: P A S T$

全体に占めるクラスの割合は, 1 日以内 $(1,545$ 個, $56 \%$ ), 1 ヶ月以内 $(640$ 個, $23 \%), 1$ 年以内 $(135$ 個, $5 \%), 1$ 年以上（432 個, $16 \%$ ) である.

## 6.1.3 (c) 事象の発生時期分類タスク

時間性をもつ事象における，文書作成日から事象を代表する日にち（以降，事象代表日と呼 ぶ）までの日数を時間の粒度に応じて 5 つのクラスに大別し, 5 クラス分類問題として考える。 ここで, 事象代表日とは事象の開始日と終了日の中間に位置する日を指す. span夕グを用いて 表されるような開始日や終了日が不明な事象の場合, より広い範囲を表す $\mathrm{t}$ タグの中間に位置 する日を用いる。例えば t:1994-12,span:P3D では, 1994 年 12 月の中間の日である 1994 年 12 月 16 日を事象代表日とする.

具体的には, 3 年以上前, 3 年前から 3 日前, 3 日前から 3 日後, 3 日後から 3 年後, 3 年以上後の 5 つである（図 3）．時間共参照など事象の発生時期が明確に分からないものはデータから 取り除き, 全 4,534 対象表現のうち 3,276 個を用いた.

図 3 事象の発生時期の 5 クラス分類（タスク c)

以下に文書作成日を 1995 年 1 月 1 日とした場合の例を示す.
- 3 年以上前: $\quad t: 1990, \quad t: P A S T$
- 3 年前から 3 日前: $t: 1994-06-01, t: 1994, s p a n: P 1 D$
- 3 日前から 3 日後: $t: D C T, t: 1994-12-29 \sim 1994-12-31$
- 3 日後から 3 年後: $t: 1995-03, s p a n: p a r t, t: F U T U R E-M$
- 3 年以上後: $\quad t: 2000, t: F U T U R E$

全体に占めるクラスの割合は， 3 年以上前 (284 個, $9 \%$ ）, 3 年前から 3 日前 (879 個, $27 \%$ ）, 3 日前から 3 日後 (1,331 個, $41 \%$ ), 3 日後から 3 年後 (571 個, $17 \%$ ), 3 年以上後 $(211$ 個, $6 \%)$ である。

## 6.2 モデル

事象が時間性をもつかどうかは，対象表現中の語彙情報が大きな手がかりとなると考えられ る。例えば「出勤する」は多くの場合時間性をもつのに対し，「装甲」などのサ変名詞は時間性 をもたないことが多い，一方で，事象の時間的長さや発生時期は文脈に大きく依存すると考え られる．例えば，対象表現「滞在した」の前に「3日間」という表現があるのか「1年間」とい う表現があるのかで事象の時間的長さは全く異なる。同様に，対象表現「昇段した」の前の表現が「昨日」なのか「昨年」なのかで発生時期は異なる。そこで本研究では 2 つのモデルを用意 し, 時間性判定タスクでは対象表現に着目したモデルを, 事象の時間的長さ分類タスクと発生時期分類タスクでは文脈にも着目したモデルを用いる。コーパス中の対象表現が多様でスパー スであること，また対象表現自体が重要な手がかりであり word2vec で事前学習した単語分散表現が有効であると考え，これを活かしたニューラルネットワークモデルを構築する。モデルの 全体図を図 4 に示す.

両モデルの違いは対象表現を表すべクトルである。時間性判定のモデルでは，対象表現中の 各単語べクトルを足し合わせたものを用いる。例えば，図 4 の例（左）では，対象表現「空爆を」 を構成する「空爆」と「を」の 2 つの単語べクトルを足し合わせる。文脈を用いるモデルでは, まず文全体に対して双方向 GRU (Gated Recurrent Unit) (Chung, Gulcehre, Cho, and Bengio

図 4 対象表現「空爆を」の時間情報を推定する 2 つのニューラルネットワークモデル. 対象表現中の語彙情報のみを用いる (a) 時間性判定モデル（左）と，文脈を使用する $(b, c)$ 事象の時間的長さ・発生時期推定モデル (右).

2014）を適用した後，対象表現中の自立語の単語ベクトルを用いる。図 4 の例（右）では，対象表現「空爆を」の中の自立語である「空爆」の単語ベクトルを用いる。両モデルとも，この 対象表現ベクトルに, 同一文／直近の時間表現情報を表すべクトルと, 時間表現との共起スコ アベクトルを結合し，パーセプトロンを用いてクラス分類を行う。以下に両ベクトルの詳細を 述べる。
- 同一文・直近の時間表現情報ベクトル：

文に含まれる時間表現の時間的粒度を表す 4 次元のバイナリベクトルである。文中の時間表現をルールベースで検出し，検出された時間表現が（日，週，月，年）の各粒度に 当てはまるか否かの 2 クラスでベクトルを構成する。例えば図 4 の例の場合，文中には 「昨日」という時間表現が存在するため，「日」の粒度に該当する次元のみ 1 でその他は 0 の 4 次元べクトル $(1,0,0,0)$ となる.「同一文中の時間表現情報ベクトル」は，対象表現 の文の時間情報べクトルであり，「直近の時間表現情報べクトル」は，対象文以前で時間表現を含む文の時間表現情報べクトルである。全 4,534 対象表現のうち， $35 \%$ にたる 1,601 表現で同一文中に時間表現が検出され，また $87 \%$ にたる 3,940 表現ではその文以前に時間表現が検出された。
- 共起スコアベクトル:

対象表現と時間表現粒度の共起度を表す 4 次元の実数値べクトルである。まず前処理と して，前項と同様にテキスト中の時間表現をルールベースで検出し，これを（日，週，月，年）のいずれかの粒度に変換する。その後, 対象表現と各粒度との同一文中での共起ス コアを算出する。共起スコアには自己相互情報量 (Pointwise Mutual Information, PMI) を，データには 1984 年から 2005 年までの朝日新聞 1,300 万文を用いた.

## 6.3 実験

各タスクにおけるクラス分類には，コーパス構築時において第 2 段階でアノテーションされ たタグを利用し，5 分割交差検定を用いて学習・評価を行った。 2 クラス分類である時間性判定 タスクの評価には F1 值, 多クラス分類である事象の時間的長さ分類・事象発生時期分類タスク の評価には Micro-F1 値を用いた.

パーセプトロンには， 50 次元の 1 つの隠れ層を持つ 2 層フィードフォワードニューラルネッ トワークを使用した。損失関数には交差エントロピー誤差関数を，パラメータの最適化には Adadeltaを使用した. GRUの隠れ層は 100 次元である.

単語の分散表現には 98 億文の Web テキストにより事前学習された 200 次元のベクトルを, 品詞の分散表現にはランダムに初期化された 10 次元のベクトルを用いた. これらは誤差逆伝播時 に値が更新される。

各タスクの実験結果を表 8 に示す.いずれのタスクも各クラスのデータ量に大きな偏りがあ ることから，マジョリティのクラスのみを出力した場合のスコアをべースラインとして記載し た. 時間性判定タスクでは約 9 割のスコアが得られた一方, 事象の時間的長さ分類タスクは約 6 割, 事象発生時期分類タスクは約 5 割にとどまった.

また，各タスクで最もスコアが良かった条件における Confusion Matrixを表 9 に示す。時間性判定タスクでは，誤りの約 7 割が時間性のないものをあると判定したものであった。事象の 時間的長さ分類タスクでは, 「1 ヶ月未満」クラスを「1 日以内」クラスと誤答することが多かっ た. 事象の発生時期分類タスクでは,「3 年前から 3 日前」クラスと「 3 日前から 3 日後」クラ スの区別で多くの誤りが存在する.

表 8 (a) 時間性判定タスク, (b) 事象の時間的長さ分類タスク，(c) 事象の発生時期分類タスクにおける 実験結果

2 クラス分類である時間性判定タスクでは F1 値を用い，他の 2 つのタスクでは Micro-F1 値を用いて評価 した.
表 9 (a) 時間性判定タスク, (b) 事象の時間的長さ分類タスク,

(c) 事象の発生時期分類タスクにおける Confusion Matrix

(a) 時間性判定タスク

(b) 事象の時間的長さ分類タスク

(c) 事象の発生時期分類タスク

## 6.4 議論

## 6.4.1 時間性判定タスク

本タスクでは, 単語分散表現の情報のみでベースラインを 3 ポイント以上上回った. これは,対象表現自体が時間性の有無に大きく関係していること示唆している。 また, 品詞分散表現を 利用することでスコアの向上が見られた.「対して」や「総当たり」などのサ変動詞／名詞から なる時間性をもたない対象表現検出に役立ったと考えられる.

本モデルでは対象表現のみに着目したが, このアプローチでは次の例の「開発」を正しく解 くことができない.

(34) 国連の支援で，総合開発の立案などの成果をあげた（時間性あり）

(35) 開発のゆがみを知る人たち（(時間性なし）

(36) 経済開発区（時間性なし）

例 (34) は特定の開発事業であるため時間性をもつが，例 (35) や例 (36) は不特定あるいは一般的な事象であるため時間性をもたない。このような例に対処するためには, 対象表現の前後 の表現や，対応する述語や項の性質などの情報を考慮する必要がある.

## 6.4.2 事象の時間的長さ分類タスク

本タスクでは共起スコアベクトルの導入によりスコアが向上した。例えば次の例の「宿泊」 は, 単語と品詞情報のみのモデルでは誤答したが, 「宿泊」と日にち粒度の時間表現の共起スコ

アが高いという情報を与えることで正答した.

(37) ホテルの宿泊者が目撃した

一方, 表 9 からも分かるように，多くの例で誤って「1 日以内」クラスを出力した. 次の例は 全て「1日以内」クラスを出力し誤答したものである.

(38) 兵士が首都から南に脱出している

(39) 見逃せないのは労組の圧力だ

(40) 出稼ぎ世帯の大半は、テレビやバイクを買う

(41) 啓蒙に力を入れている

例 (38), 例 (39), 例 (40) はいずれも, 対象表現自体は 1 日以内の事象とも捉えることができ るものであるが，この文脈ではそうではない，本モデルは文脈を考慮するものであるが，より 大規模なデータで学習する必要があると考えられる。例 (41)では, 対象表現は軽動詞であり,「啓蒙」が時間を考える上での手がかりである。このような単語の含意する時間情報知識を大規模に獲得し，モデルに取り入れる必要がある.

## 6.4.3事象の発生時期分類タスク

本タスクでは，時間表現情報ベクトルがスコア向上に貢献している。これは例えば「四日発生した雪崩」のように，時間表現が重要な手がかりを与える場合が多く存在するためだと考え られる。本モデルでは「昨日」や「1995 年」などの明示的な時間表現のみを対象としたが, テ キスト中には「ベトナム戦争」や「前回のワールドカップ」など暗黙的に時間情報を表す表現 も多く存在し, 誤答の原因となっている。Wikipediaなどの外部知識を用いて，より広範な時間情報を考慮する必要がある.

本モデルでは時間表現情報を 4 つの粒度で表したが，テキスト中には「昼過ぎ」などより細 かい粒度の情報も多く存在する。これらの情報を利用することでスコア向上が期待される。ま た，本モデルでは時間の粒度のみに着目したが，時間表現が日付を表すのか期間を表すのかで 大きく意味が変わる。例えば「3日」という時間表現を「1月 3 日」のことと解釈するのか「3 日間」のことと解釈するのかは, 事象の時間的長さ・発生時期の推定タスクにおいて非常に重要であり, さらなるスコア向上のためには高度な時間表現解析器の導入が必要である.

## 7 本アノテーションの応用

本アノテーションには様々な応用先が考えられる。例えば，ニュース記事からのタイムライ ンやサマリーの生成である。ニュースには事件や出来事に関する新しい情報は記載されるが,

それを取り巻く出来事やこれまでの経緯は記載されないことも多いため, 出来事の全体像を知 るためには複数の記事を読み情報を統合する必要がある。またニュースには，その時の情報に 基づいた予想や解釈も記載されるため，異なる時期に書かれた別の記事と比較することは情報 の信頼性を担保する上で有益である.

本稿で述べたアノテーション基準やデータ，時間情報推定モデルは，このような記載時期の 異なる情報の統合や比較に利用することができる。図 5 は，1995 年 1 月に行われたサッカー大会に関する事象を時間軸上に配置したものである。文章作成日を区別して事象を配置するため 2 つの時間軸を導入しており，横軸は文章作成日，縦軸は事象の起きた日を表す。例えば右上 の「デンマークが優勝した」は，1月 15 日に記述された事象で, これに対応する時間値は 1 月 13 日 (t:1995-01-13) である. 本研究で作成したデータは, このようにアプリケーションを構築 するためのモデルの学習や評価に用いることができる。本研究でアノテーションを行った京都大学テキストコーパスには, 既に述語項構造や共参照関係のアノテーションがなされているた め,「ラモス」など特定のエンティティに着目した学習や評価にも用いることが可能である.

また, 本アノテーション基準や時間情報推定モデルを利用することにより, 事象に関する時間情報知識を大量のテキストから収集することが可能となる. 出来事や状態の発生日や継続日数, 頻度などの情報は, 情報検索, 要約, 対話, 文生成など多くのアプリケーションで利用す

図 51995 年1月に行われた、サッカーのインタコンチネンタル選手権に関する事象の時間軸への配置.横軸は文章作成日, 縦軸は事象の起きた日を表す. 例えば右上の「デンマークが優勝した」は文章作成日が 1 月 15 日で，これに対応する時間値は 1 月 13 日である.

ることができる。本稿で述べたアノテーション基準は，これらの時間情報を詳細に記述する手段として用いることができ，また時間情報推定モデルは事象に関する時間情報をテキストから 自動獲得する技術に応用することが可能である.

## 8 おわりに

本稿では，テキスト中の時間情報を網羅的にアノテーションするための新しい夕グ付け基準 について述べた。従来研究よりも広範な表現をアノテーション対象とし, また表現力豊かな時間タグを導入した。京都大学テキストコーパス中の 113 文書に対してアノテーションを行った 結果, $76 \%$ の表現が時間性をもつと判断され，そのうちの $35 \% （$ 全体の $26 \%$ ）に本稿で新たに提案された時間タグが付与された。本研究で付与した時間情報を, 時間性・事象の時間的長さ・事象の発生時期の 3 つの観点から推定するモデルを構築した. 各精度は $\mathrm{F}$ 値において $90 \%, 61 \%$, $49 \%$ あった.

本研究では，新聞記事を対象にアノテーションを行ったが，新聞特有の書き方や性質がアノ テーションの摇れの原因の 1 つになっていると考えられる. 今後は, Webなど新聞以外のコー パスでのアノテーションを試みたい.

また, 本研究では時間表現に対するアノテーションは行っていない.これは, 日本語時間表現に対するアノテーションにおけるアノテータ間一致度は高いことが (小西, 浅原, 前川 2013) により報告されており，時間表現に対する解釈が摇れて事象に対するアノテーションに影響を 及ぼすことは少ないと考えたからである。しかし, 時間情報解析器を構築する上では有益な情報になると考えられるため，今後は時間表現にもアノテーションを行い，より充実した時間情報コーパスにしていきたい.

## 謝 辞

本研究の一部は JST CREST JPMJCR1301，AIP チャレンジの助成によるものです。また本論文の内容の一部は, 11th edition of the Language Resources and Evaluation Conference で発表したものです (Sakaguchi, Kawahara, and Kurohashi 2018).

アノテーションにご協力いただいた石川真奈見氏, 堀内マリ香氏, 二階堂奈月氏に感謝いた します。また，時間情報推定モデルに関して有益なコメントをくださった柴田知秀氏に感謝い たします.

## 参考文献

Asahara, M., Kato, S., Konishi, H., Imada, M., and Maekawa, K. (2014). "BCCWJ-TimeBank: Temporal and Event Information Annotation on Japanese Text." International Journal of Computational Linguistics 83 Chinese Language Processing, 19 (3), pp. 1-24.

Asakura, Y., Hangyo, M., and Komachi, M. (2016). "Disaster Analysis using User-Generated Weather Report." In Proceedings of the 2nd Workshop on Noisy User-generated Text (WNUT), pp. 24-32, Osaka, Japan. The COLING 2016 Organizing Committee.

Cassidy, T., McDowell, B., Chambers, N., and Bethard, S. (2014). "An Annotation Framework for Dense Event Ordering." In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 501-506, Baltimore, Maryland. Association for Computational Linguistics.

Chung, J., Gulcehre, C., Cho, K., and Bengio, Y. (2014). Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling.

Hayes, A. F. and Krippendorff, K. (2007). "Answering the Call for a Standard Reliability Measure for Coding Data." Communication Methods and Measures, 1 (1), pp. 77-89.

Huang, R., Cases, I., Jurafsky, D., Condoravdi, C., and Riloff, E. (2016). "Distinguishing Past, On-going, and Future Events: The EventStatus Corpus." In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 44-54. Association for Computational Linguistics.

Kawahara, D., Kurohashi, S., and Hasida, K. (2002). "Construction of a Japanese Relevancetagged Corpus." In Proceedings of the 3rd International Conference on Language Resources and Evaluation (LREC-2002), Las Palmas, Canary Islands-Spain. European Language Resources Association (ELRA).

Kolomiyets, O., Bethard, S., and Moens, M.-F. (2012). "Extracting Narrative Timelines as Temporal Dependency Structures." In Proceedings of the 50th Annual Meeting of the Association for Computational Linguistics, Jeju, Republic of Korea, 8-14 July 2012, pp. 88-97. ACL.

小西光, 浅原正幸, 前川喜久雄 (2013). 『現代日本語書き言葉均衡コーパス』に対する時間情報アノテーション. 自然言語処理, 20 (2), pp. 201-221.

Krippendorff, K. (2004). Content Analysis: An Introduction to Its Methodology (second edition). Sage Publications.

Minard, A.-L., Speranza, M., Agirre, E., Aldabe, I., van Erp, M., Magnini, B., Rigau, G., and Urizar, R. (2015). "SemEval-2015 Task 4: TimeLine: Cross-Document Event Ordering." In Proceedings of the 9th International Workshop on Semantic Evaluation (SemEval 2015),
pp. 778-786, Denver, Colorado. Association for Computational Linguistics.

Pustejovsky, J., Hanks, P., Saurí, R., See, A., Gaizauskas, R., Setzer, A., Radev, D., Beth Sundheim, D. D., Ferro, L., and Lazo, M. (2003). "The TIMEBANK Corpus." In Proceeding Corpus Linguistics 2003, pp. 647-656.

Reimers, N., Dehghani, N., and Gurevych, I. (2016). "Temporal Anchoring of Events for the TimeBank Corpus." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2195-2204, Berlin, Germany. Association for Computational Linguistics.

Sakaguchi, T., Kawahara, D., and Kurohashi, S. (2018). "Comprehensive Annotation of Various Types of Temporal Information on the Time Axis." In Proceedings of the 11th Edition of its Language Resources and Evaluation Conference, pp. 332-338, Miyazaki, Japan.

Sauri, R., Littman, J., Gaizauskas, R., Setzer, A., and Pustejovsky, J. (2006). "TimeML Annotation Guidelines, Version 1.2.1.".

UzZaman, N., Llorens, H., Derczynski, L., Allen, J., Verhagen, M., and Pustejovsky, J. (2013). "SemEval-2013 Task 1: TempEval-3: Evaluating Time Expressions, Events, and Temporal Relations." In 2nd Joint Conference on Lexical and Computational Semantics (*SEM), Volume 2: Proceedings of the Seventh International Workshop on Semantic Evaluation (SemEval 2013), pp. 1-9. Association for Computational Linguistics.

Verhagen, M., Gaizauskas, R., Schilder, F., Hepple, M., Katz, G., and Pustejovsky, J. (2007).

"SemEval-2007 Task 15: TempEval Temporal Relation Identification." In Proceedings of the 4th International Workshop on Semantic Evaluations (SemEval-2007), pp. 75-80. Association for Computational Linguistics.

Verhagen, M., Sauri, R., Caselli, T., and Pustejovsky, J. (2010). "SemEval-2010 Task 13: TempEval-2." In Proceedings of the 5th International Workshop on Semantic Evaluation, pp. 57-62. Association for Computational Linguistics.

## 略歴

坂口智洋 : 2013 年東京大学理学部生物情報科学科卒業. 2015 年京都大学大学院情報学研究科修士課程修了. 同大学院博士課程在学中. 修士 (情報学)。自然言語処理の研究に従事.

河原 大輔：1997 年京都大学工学部電気工学第二学科卒業. 1999 年同大学院修士課程修了. 2002 年同大学院博士課程単位取得認定退学. 東京大学大学院情報理工学系研究科学術研究支援員, 独立行政法人情報通信研究機構研究員, 同主任研究員を経て，2010 年より京都大学大学院情報学研究科准教授. 自然言
語処理, 知識処理の研究に従事. 博士 (情報学). 情報処理学会, 言語処理学会, 人工知能学会, 電子情報通信学会, ACL, 各会員.

黒橋 禎夫：1994 年京都大学大学院工学研究科電気工学第二専攻博士課程修了.博士 (工学). 2006 年 4 月より京都大学大学院情報学研究科教授. 自然言語処理, 知識情報処理の研究に従事. 言語処理学会 10 周年記念論文賞, 同 20 周年記念論文賞, 第 8 回船井情報科学振興賞, 2009 IBM Faculty Award 等を 受賞. 2014 年より日本学術会議連携会員.

$(2018$ 年 8 月 1 日 $\quad$ 受付 $)$
$(2018$ 年 11 月 1 日 $\quad$ 再受付 $)$
$(2018$ 年 12 月 12 日 $\quad$ 採録)


# 論文
## CKYに基づく畳み込みアテンション構造を用いた ニューラル機械翻訳

\author{
渡邊 大貴 $^{\dagger}$ ・田村 晃裕 $^{\dagger} \cdot$ 二宮 崇 $^{\dagger} \cdot$ Teguh Bharata Adji ${ }^{\dagger \dagger}$
}

本論文では, ニューラル機械翻訳 (NMT) の性能を改善するため, CKY アルゴリズ ムから着想を得た, 畳み込みニューラルネットワーク (CNN) に基づく新しいアテ ンション構造を提案する。提案のアテンション構造は, CKY テーブルを模倣した CNN を使って, 原言語文中の隣接する単語／句の全ての可能な組み合わせを表現 する。提案のアテンション構造を組み込んた NMT は, CKY テーブルの各セルに 対応する CNN の隠れ状態に対するアテンションスコア（言い換えると，原言語文中の単語の組み合わせに対するアテンションスコア）に基づき目的言語の文を生成 する. 従来の文構造に基づく NMT は予め構文解析器で解析した文構造を活用する が, 提案のアテンション構造を用いる NMT は, 原言語文の構文解析を予め行うこ となく, 原言語の文に潜む構造に対するアライメントを考慮した翻訳を行うことが できる. Asian Scientific Paper Excerpt Corpus (ASPEC) 英日翻訳タスクの評価実験により, 提案のアテンション構造を用いることで, 従来のアテンション構造付き のエンコーダデコーダモデルと比較して， 1.43 ポイント BLEU スコアが上昇するこ とを示す. さらに，FBIS コーパスにおける中英翻訳タスクにおいて，提案手法は，従来のアテンション構造付きのエンコーダデコーダモデルと同等かそれ以上の精度 を達成できることを示す.

キーワード：ニューラル機械翻訳，CKY アルゴリズム，畳み込みニューラルネットワーク

## Neural Machine Translation with CKY-based Convolutional Attention

\author{
Taiki Watanabe ${ }^{\dagger}$, Akiniro Tamura $^{\dagger}$, Takashi Ninomiya $^{\dagger}$ and Teguh Bharata Adji ${ }^{\dagger \dagger}$
}

This paper proposes a new attention mechanism for neural machine translation (NMT) based on convolutional neural networks (CNNs), which is inspired by the CKY algorithm. The proposed attention represents every possible combination of source words (e.g., phrases and structures) through CNNs, which imitates the CKY table in the algorithm. NMT, incorporating the proposed attention, decodes a target sentence on the basis of the attention scores of the hidden states of CNNs. The proposed attention enables NMT to capture alignments from underlying structures of a source sentence without sentence parsing. The evaluations on the Asian Scientific Paper

Excerpt Corpus (ASPEC) English-Japanese translation task show that the proposed attention gains 1.43 points in BLEU as compared to a conventional attention-based encoder decoder model. Furthermore, the proposed attention is at least comparable to, or better than, a conventional attention-based encoder decoder model on the FBIS Chinese-English translation task.

Key Words: Neural Machine Translation, CKY Algorithm, Convolutional Neural Networks

## 1 はじめに

近年，ニューラルネットワークに基づく機械翻訳（ニューラル機械翻訳；NMT）は，単純 な構造で高い精度の翻訳を実現できることが知られており，注目を集めている．NMT の中で も，特に，エンコーダデコーダモデルと呼ばれる，エンコーダ用とデコーダ用の 2 種類のリ カレントニューラルネットワーク (RNN) を用いる方式が盛んに研究されている (Sutskever, Vinyals, and Le 2014). エンコーダデコーダモデルは，まず，エンコーダ用の RNN により原言語の文を固定長のベクトルに変換し，その後，デコーダ用のRNNにより変換されたべクト ルから目的言語の文を生成する。通常，RNNには，Gated Recurrent Units (GRU) (Cho, van Merrienboer, Gulcehre, Bahdanau, Bougares, Schwenk, and Bengio 2014b) や Long Short-Term Memory LSTM) (Hochreiter and Schmidhuber 1997; Gers, Schmidhuber, and Cummins 2000) が 用いられる。このエンコーダデコーダモデルは，アテンション構造を導入することで飛躍的な 精度改善を実現した (Bahdanau, Cho, and Bengio 2015; Luong, Pham, and Manning 2015).こ の拡張したエンコーダデコーダモデルをアテンションに基づく NMT (ANMT) と呼ぶ. ANMT では，デコーダは，デコード時にエンコーダの隠れ層の各状態を参照し，原言語文の中で注目 すべき単語を絞り込みながら目的言語文を生成する。

NMT が出現するまで主流であった統計的機械翻訳など, 機械翻訳の分野では, 原言語の文, 目的言語の文，またはその両方の文構造を活用することで性能改善が行われてきた (Lin 2004; Ding and Palmer 2005; Quirk, Menezes, and Cherry 2005; Liu, Liu, and Lin 2006; Huang, Knight, and Joshi 2006). ANMTにおいても，その他の機械翻訳の枠組み同様，文の構造を利用することで 性能改善が実現されている。例えば，Eriguchiら (Eriguchi, Hashimoto, and Tsuruoka 2016b) は，NMTによる英日機械翻訳において原言語側の文構造が有用であることを示している．従来の文構造に基づく NMT のほとんどは，事前に構文解析器により解析された文構造を活用す る。そのため, 構文解析器により解析誤りが生じた場合, その構造を利用する翻訳に悪影響を 及ぼしかねない。また, 必ずしも構文解析器で解析される構文情報が翻訳に最適とは限らない.

そこで本論文では，予媾文解析を行うことなく原言語の文の構造を活用することで NMT の性能を改善することを目指し，CKYアルゴリズム (Kasami 1965；Younger 1967) を模倣した

CNN に基づく畳み込みアテンション構造を提案する. CKYアルゴリズムは, 構文解析の有名な アルゴリズムの一つであり，文構造をボトムアップに解析する．CKYアルゴリズムでは，CKY テーブルを用いて，動的計画法により効率的に全ての可能な隣接する単語／句の組み合わせを 考慮して文構造を表現している。提案手法は，この CKYアルゴリズムを参考にし，CKYテー ブルを模倣した CNN をアテンション構造に組み込むことで，原言語文中の全ての可能な隣接 する単語／句の組み合わせに対するアテンションスコアを考慮した翻訳を可能とする。具体的 には，提案のアテンション構造は，CKYテーブルの計算手順と同様の順序で CNN を構築し，提案のアテンション構造を組み达んた ANMT は, デコード時に, CKYテーブルの各セルに対応する CNN の隠れ層の各状態を参照することにより, 注目すべき原言語の文の構造（隣接する 単語／句の組み合わせ）を絞り达みながら目的言語の文を生成する。したがって，提案のアテ ンション構造を組み込んだ ANMT は, 事前に構文解析器による構文解析を行うことなく, 目的言語の各単語を予測するために有用な原言語の構造を捉えることが可能である. ASPEC の英日翻訳タスク (Nakazawa, Yaguchi, Uchimoto, Utiyama, Sumita, Kurohashi, and Isahara 2016) の評価実験において，提案のアテンション構造を用いることで従来の ANMT と比較して, 1.43 ポイント BLEU スコアが上昇することを示す。また，FBISコーパスにおける中英翻訳タスク の評価実験において, 提案手法は従来の ANMT と同等もしくはそれ以上の精度を達成できるこ とを示す。

## 2 関連研究

ANMT の性能を改善する方向性の一つとして, 文の構造を活用する ANMT が数多く提案さ れている。文構造に基づくANMT は，原言語の文構造を利用するANMT，目的言語の文構造 を利用する ANMT，原言語と目的言語の文構造を利用する ANMT の 3 つに大別できる.

原言語の文構造を利用する ANMT として, Eriguchi ら (Eriguchi et al. 2016b) は, 事前に解析した原言語文の句構造を Tree-LSTM (Tai, Socher, and Manning 2015) によりボトムアップ にエンコードする ANMT を提案している. Yang ら (Yang, Wong, Xiao, Chao, and Zhu 2017), そしてChen ら (Chen, Huang, Chiang, and Chen 2017a) は, この Eriguchi らのモデルを拡張 し, 原言語文の句構造をボトムアップにエンコードした後でトップダウンにエンコードする双方向のエンコーダを用いる ANMT を提案している. Sennrich ら (Sennrich and Haddow 2016) は, 原言語の文の言語学的素性を埋め込み層でベクトル化し, 原言語の単語の埋め込みべクト ルと結合したべクトルを RNN エンコーダの入力とする ANMT を提案している. 様々な言語学的素性を用いているが，その中に，品詞夕グや係り受け関係の夕グといった文構造を表す素性を用いている. Chen ら (Chen, Wang, Utiyama, Liu, Tamura, Sumita, and Zhao 2017b)は,原言語の文の係り受け解析結果に基づき，親ノード，子ノード，兄弟ノードの情報をCNNで
畳み込み，畳み达んだベクトルを ANMT で用いる方法を提案している. Bastings ら (Bastings, Titov, Aziz, Marcheggiani, and Simaan 2017) は, 原言語文の係り受け構造をグラフ構造とみな L, Graph Convolutional Networks により係り受け構造をエンコーディングするエンコーダを 提案し, Bag-of-Words エンコーダや CNN エンコーダ, 双方向 RNN エンコーダと組み合わせる ことで性能改善を行っている. Li (Li, Xiong, Tu, Zhu, Zhang, and Zhou 2017) は, 原言語の 文の句構造解析木を線形化して得られた構造ラベル系列と原言語文の単語系列の 2 つ系列を エンコーディングするエンコーダを複数提案している.

目的言語の文構造を利用する ANMT としては, Wu ら (Wu, Zhang, Yang, Li, and Zhou 2017), そして Eriguchi ら (Eriguchi, Tsuruoka, and Cho 2017) が Shift-Reduce 法の依存構造解析をデ コーダに組み込み，目的言語文の単語系列とその依存構造を同時にデコードすることで目的言語側の文構造を活用する ANMT を提案している. Eriguchi ら (Eriguchi et al. 2017) は, 構文解析モデルの一つである Recurrent Neural Network Grammars (Dyer, Kuncoro, Ballesteros, and Smith 2016)を NMT のデコーダに適用することで, 目的言語文の構文構造を翻訳に利用してい る. Aharoni ら (Aharoni and Goldberg 2017) は目的言語側の文構造を翻訳で活用するために,目的言語文の句構造解析木を線形化した系列を出力するNMT を構築することを提案している.

また, Wu ら (Wu, Zhang, Zhang, Yang, Li, and Zhou 2018) は, 原言語側と目的言語側の両方 の依存構造を活用する dependency-to-dependencyニューラル機械翻訳モデルを提案している.

これらの文構造に基づく従来の ANMT は，構文解析器により解析した文構造を活用する。し たがって, 構文解析器により解析誤りが生じた場合, その構造を利用する翻訳に悪影響を及ぼ しかねない。また, 必ずしも構文解析器で解析される構文情報が翻訳にとって最適とは限らな い. そこで本研究では，予め構文解析を行うことなく原言語の文の構造を活用する ANMT を提案する。

構文解析器による解析を必要としない文構造を活用する ANMT として, Hashimoto ら (Hashimoto and Tsuruoka 2017) のモデルがある.このモデルでは, 原言語側の構文解析モ デルと翻訳モデルを対訳コーパスから同時に学習し, 翻訳タスクに適した構文解析モデルを学習することで翻訳精度を向上させている。このモデルは構文解析として係り受け解析を用いて いるが, 本研究では, アテンション構造で目的言語の単語を予測する際に有効な単語のまとま りを捉えることに焦点をあて，句構造解析を前提としている。

また, エンコーダに CNN を用いたNMT としては, Choら (Cho, van Merrienboer, Bahdanau, and Bengio 2014a), そしてGehring ら (Gehring, Auli, Grangier, and Dauphin 2017)の手法が ある. Gehring らの手法では， 2 つの CNN をエンコーダとして使用する。一方の CNN は，デ コード時にアテンションスコアを計算するための出力を生成するもので, 原言語文の幅広い情報を扱う。一方，他方の CNN は，LSTM デコーダへ入力するべクトルを計算するためのもの で，局所的な情報を扱う。この手法は構文構造に焦点をあてていないが，提案手法では原言語
文の構文構造に着目する，Cho らの手法は， Gated Recursive Convolutional Neural Networkを 用いて，原言語文をボトムアップにエンコードしている。彼らは，提案のエンコーダで文の構造を教師なしで捉えられると主張している。このモデルと本研究の提案手法との違いは, Cho らの手法では，隣接する二つの下位セルを畳み込むことで上位セルを計算するのに対して，提案手法では，CKYアルゴリズムを模倣することで複数の下位セルのぺアから上位セルを計算す る点である．提案手法では上位セルを計算する際に複数のセルを考慮できるため，翻訳モデル の学習過程で原言語文の構造を捉えやすくなると考えられる。また, 提案手法はアテンション 構造を有しているが，Cho らの手法ではアテンション構造を有していない点も大きな違いであ る。定量的に比較してみると，Cho らの手法はフレーズベース統計的機械翻訳 Moses より翻訳精度が低いことが報告されているが，我々の ASPEC10万文対における実験では，本研究の提案手法は Moses より翻訳精度が高い（Mosesの BLEU が 18.69, 提案手法の BLEU が 26.99 であ る）ことを確認している。同じデータセットによる直接の定量的な比較は行っていないが，こ れらの結果から，提案手法の方が Cho らの手法より翻訳性能がよいと考えられる.

## 3 アテンションに基づくニューラル機械翻訳 (ANMT)

本節では, 提案手法のベースラインとなる従来の標準的な ANMT (Luong et al. 2015; Bahdanau et al. 2015) について説明する. ANMT は, 原言語文を固定長のべクトルに変換するエンコーダ 用の RNN と，変換した固定長べクトルから目的言語文を生成するデコーダ用の RNN を用いて 翻訳を行う，エンコーダデコーダモデル (Sutskever et al. 2014; Cho et al. 2014b) にアテンショ ン構造を導入したモデルである。本研究では, 2 層の双方向 LSTM をエンコーダ用 RNN とし て使用した. 原言語文 $\mathbf{x}=x_{1}, x_{2}, \cdots, x_{S}$ が入力として与えられたとき, エンコーダは, $i$ 番目 の入力単語 $x_{i}$ を単語埋め达み層により $d$ 次元ベクトル $v_{i}$ に変換する。 その後, エンコーダは, $v_{i}$ に対する隠れ状態 $h_{i}$ を次式の通り算出する ${ }^{1}$.

$
\begin{aligned}
& \overrightarrow{h_{i}^{(1)}}=\operatorname{LSTM_{enc}^{(f,1)}}\left(v_{i}, \overrightarrow{h_{i-1}^{(1)}}\right), \\
& \overleftarrow{h_{i}^{(1)}}=\operatorname{LSTM}_{\text {enc }}^{(b, 1)}\left(v_{i}, \overleftarrow{h_{i+1}^{(1)}}\right) \\
& \overrightarrow{h_{i}^{(2)}}=L S T M_{e n c}^{(f, 2)}\left(\overrightarrow{h_{i}^{(1)}}, \overrightarrow{h_{i-1}^{(2)}}\right)+\overrightarrow{h_{i}^{(1)}}, \\
& \overleftarrow{h_{i}^{(2)}}=L S T M_{\text {enc }}^{(b, 2)}\left(\overleftarrow{h_{i}^{(1)}} \overleftarrow{, h_{i+1}^{(2)}}\right)+\overleftarrow{h_{i}^{(1)}} \\
& h_{i}=\overrightarrow{h_{i}^{(2)}}+\overleftarrow{h_{i}^{(2)}}
\end{aligned}
$

ここで, $\rightarrow$ とはそれぞれ順方向と逆方向を表し, $L S T M_{e n c}^{(f, 1)}, L S T M_{e n c}^{(b, 1)}, L S T M_{e n c}^{(f, 2)}, L S T M_{e n c}^{(b, 2)}$ は, それぞれ第 1 層目の順方向, 第 1 層目の逆方向, 第 2 層目の順方向, 第 2 層目の逆方向の LSTM エンコーダを表す. また, $\overleftarrow{h_{i}^{(1)}}, \overrightarrow{h_{i}^{(1)}}, \overleftarrow{h_{i}^{(2)}}, \overleftrightarrow{h_{i}^{(2)}}, h_{i}$ の次元は $d$ である. また, 第 2 層目 の LSTM エンコーダには, Residual Connection (He, Zhang, Ren, and Sun 2016)を適用した. Residual Connection とは, ショートカット接続を持つ構造で, パラメータの最適化を容易にす るものである.

初期のエンコーダデコーダモデル (Sutskever et al. 2014; Cho et al. 2014b) では, デコーダは,原言語の文をエンコードした固定長のベクトル $h_{S}$ を初期値として目的言語の文を生成する。一方で，アテンション構造を導入した ANMT では，デコーダは，LSTM エンコーダの各隠れ層の 状態 $h_{i}(i=1, \cdots, S)$ を参照しながら, 目的言語の文を生成する. アテンション構造としては, Additive Attention (Bahdanau et al. 2015) や Dot-Product Attention (Luong et al. 2015) が主流 である. 本研究では, アテンション構造として Dot-Product Attentionの一つである, Global Dot Attention (Luong et al. 2015) を用いる。また，デコーダ用の RNNとして 2 層の LSTM を使用 する．以下ではデコーダの動作を説明する。

デコーダは，エンコーダによって与えられる原言語文の情報に基づき, 目的言語文 $\mathbf{y}=$ $y_{1}, y_{2}, \cdots, y_{T}$ を出力する. まず，第 1 層目の LSTM デコーダ $\left(L S T M_{d e c}^{(1)}\right)$ と第 2 層目の LSTM デコーダ $\left(L S T M_{d e c}^{(2)}\right)$ の初期状態を, それぞれ, 第 1 層目, 第 2 層目の逆方向の LSTM エンコー ダの内部状態に初期化する. その後, $j$ 番目のLSTM デコーダの第 1 層目, 第 2 層目の隠れ層 の状態 $s_{j}^{(1)}, s_{j}^{(2)}$ を, 次式の通り, 一つ前 $(j-1$ 番目）のデコーダの情報（出力単語や隠れ層 の状態など）に基づいて算出する.

$
\begin{aligned}
& s_{j}^{(1)}=L S T M_{d e c}^{(1)}\left(\left[w_{j-1} ; \hat{s}_{j-1}\right], s_{j-1}^{(1)}\right), \\
& s_{j}^{(2)}=L S T M_{d e c}^{(2)}\left(s_{j}^{(1)}, s_{j-1}^{(2)}\right) .
\end{aligned}
$

ここで， $w_{j-1}$ は $j-1$ 番目の出力単語である $y_{j-1}$ の単語埋め込みベクトル，「;」はべクトルの 結合, $\hat{s}_{j-1}$ は出力単語 $y_{j-1}$ の生成時に使用されたアテンションベクトルを表す2. なお, $w_{j-1}$ と $\hat{s}_{j-1}$ は $d$ 次元である.

その後, $j$ 番目のアテンションベクトル $\hat{s}_{j}$ を, コンテキストベクトル $c_{j}$ を使用して, 次式の 通り算出する。

$
\hat{s}_{j}=\tanh \left(W_{c}\left[s_{j}^{(2)} ; c_{j}\right]+b_{c}\right)
$

ここで, $W_{c} \in R^{d \times 2 d}$ は重み行列, $b_{c} \in R^{d}$ はバイアス項, $\tanh$ はハイパボリックタンジェント

関数である. コンテキストベクトル $c_{j}$ は, エンコーダの全状態 $h_{i}(i=1 \cdots S)$ の加重平均であ り，次式の通り算出されたものである.

$
c_{j}=\sum_{i=1}^{S} \alpha_{j}(i) h_{i}
$

ここで，アテンションスコアと呼ばれる重み $\alpha_{j}(i)$ は， デコーダの状態 $s_{j}^{(2)}$ において，エンコー ダの状態 $h_{i}$ に対する重要度を表し，次式の通り算出される。

$
\alpha_{j}(i)=\frac{\exp \left(h_{i} \cdot s_{j}^{(2)}\right)}{\sum_{k=1}^{S} \exp \left(h_{k} \cdot s_{j}^{(2)}\right)}
$

ここで, $\exp$ は指数関数を表す.

その後, $j$ 番目の出力単語 $y_{j}$ の確率分布は, アテンションベクトル $\hat{s}_{j}$ に基づき次式の通り求 めることができる。

$
p\left(y_{j} \mid y_{<j}, \mathbf{x}\right)=\operatorname{softmax}\left(W_{s} \hat{s}_{j}+b_{s}\right) .
$

ここで, $W_{s} \in R^{|V| \times d}$ は重み行列, $b_{s} \in R^{|V|}$ はバイアス項, softmax はソフトマックス関数を 表す。また, $|V|$ は目的言語の辞書のサイズを表す.

ANMT の目的関数は，次式で表される。

$
J(\theta)=-\sum_{(\mathbf{x}, \mathbf{y}) \in \mathbf{D}} \log p(\mathbf{y} \mid \mathbf{x})
$

ここで，Dはデータセット全体を表し， $\theta$ は学習されるモデルパラメータである.

このように, 出力単語は, アテンションスコアを重みとした荷重平均であるコンテキストベ クトルにしたがって算出したアテンションベクトルに基づいて決定されるため，ANMT では， エンコーダの各状態の中から注目すべき状態（原言語の文の中で注目すべき単語）をしぼりこ みながら目的言語の文を生成することができる.

## 4 提案モデル

## 4.1 CKY アルゴリズム

CKYアルゴリズムは，チョムスキー標準形の文脈自由文法により，ボトムアップに構文を解析する手法である。チョムスキー標準形とは， $A, B, C$ を非終端記号， $a$ を終端記号としたとき,生成規則がすべて $A \rightarrow B C$ または $A \rightarrow a$ の形をしているものである. CKYアルゴリズムでは,図 1 に示す CKY テーブルをボトムアップに埋めていくことで構文解析を行う. CKYテーブル のセルにある括弧中の数字は入力文中の単語のインデックスであり, 括弧により入力文中の部
分文字列を表現している。例えば， $[0,3]$ のセルには， 1 単語目 $w_{1}$ から 3 単語目 $w_{3}$ までの部分文字列に相当する非終端記号が格納される，各セルに非終端記号を格納する際は，部分文字列 を 2 つにわけ，そのすべての組み合わせに対する生成規則を満たす非終端記号を追加する。例 えば, $[0,3]$ のセルを埋める場合, $[0,1]$ と $[1,3]$ の組み合わせ及び $[0,2]$ と $[2,3]$ の組み合わせを 考慮する. CKYテーブルの各セルをボトムアップに埋めていき, 最上位のセル（図 1 の場合, $[0,5]$ のセル）が開始記号となれば，構文解析に成功する.

CKYアルゴリズムの疑似コードを Algorithm 1 に示す. Algorithm 1 において， $R$ は非終端記号の集合を表す. Algorithm 1 の 2 行目と 3 行目では, CKYテーブルの第一層目の初期化を 行う. 4 行目で入力文中の単語数, 5 行目で句の開始位置, 7 行目で句の分割可能な位置につい て網羅的に for ループで回すことで部分文字列の全組み合わせに対して処理を行う．8行目から

図 1 CKY テーブル

10 行目では，着目している 2 つのセルに含まれる非終端記号を生成する生成規則が存在すると き，新たな句を候補として追加している。このように，下位のセルからボトムアップに動的計画法で生成規則を考えていくことで，効率よく全ての隣接する単語／句の組み合わせを考慮し た構文解析を可能としている.

## 4.2 CKYに基づく畳み込みアテンション構造による機械翻訳

図 2 に提案モデルの全体の構造を示す. 提案モデルのエンコーダ部では, 通常の LSTM エン コーダ（3 節参照）により原言語の文を単語列としてエンコードする。加えて, CKYアルゴリ ズムの CKYテーブルにおける計算手順を模倣し，CNN を用いて，原言語文中の隣接する単語 ／句の組み合わせをエンコードする。そしてデコーダ部では，LSTM エンコーダの各隠れ状態 に対するアテンションスコアから算出したコンテキストベクトル $c_{j}$ に加えて, 原言語文中の単語の組み合わせのエンコード結果に対するアテンションスコアから算出したコンテキストベク トル $c_{j}^{\prime}$ に基づき，アテンションベクトル $\hat{s}_{j}$ を生成する。そして，注目すべき単語，注目すべ き単語の組み合わせの情報を含んだアテンションベクトル $\hat{s}_{j}$ に基づき目的言語の単語を予測す る. 以下で, 提案モデルの具体的な計算方法を説明する.

提案手法のアテンション構造では，CKYアルゴリズムにおける生成規則を図 3 に示すネット ワーク構造によって模倣する。具体的には，CKYアルゴリズムにおいて生成規則が CKYテー ブルの 2 つのセルボトムアップにまとめる動作を模倣して, 図 3 のネットワーク構造により,

図 $2 \mathrm{CKY}$ に基づく置み込みアテンション構造の全体図

図 3 CKYに基づく畳み迄みアテンション構造の Deduction Unit

CKYテーブルの 2 つのセル（具体的には $d$ 次元ベクトル）から，上位のセルの $d$ 次元ベクトル を算出する。ここで，CKYテーブルの各セルの $d$ 次元ベクトルは，セルが表現する単語の組み 合わせの状態を表すべクトルと捉えることができる。この CKYアルゴリズムにおける生成規則に対応するネットワークをDeduction Unit (DU) と呼ぶ. DU は， 4 種類の 1D CNN を残差接続し，その後 Layer Normalization (Ba, Kiros, and Hinton 2016)により, ベクトルを正規化 して出力する構造である ${ }^{3}$. 図 3 では, 各 CNN のフィルタサイズと出力チャネル数を括弧内に 記している。具体的には，CNN1, CNN2，CNN3，CNN4のフィルタサイズは，それぞれ， 1 , 2，1，2であり，チャネル数は，それぞれ， $\frac{d}{2}, \frac{d}{2}, d, d$ ぞある，DUは入力として 2 ののべクト ルを受け取る．CNN1では，DUに入力された 2 つのべクトルをフィルタサイズ 1 の CNNによ り，チャネル数 $\frac{d}{2}$ に変換する。その後，フィルタサイズ 2 の CNN2により，2つのベクトルを 1 つのべクトルへ畳み达む，そして，置み达まれたべクトルは，フィルタサイズ 1 の CNN3 に よりチャネル数 $d$ へと変換される。また, DUに入力された 2 つのべクトルはフィルタサイズ 2 の CNN4 によって1つのべクトルに畳み込まれる ${ }^{4}$. その後, CNN3 の出力べクトルと CNN4

の出力ベクトルを加算し, Layer Normalization により正規化した後に, DU の出力として 1 つ のベクトルを出力する。なお，DUのそれぞれの $\mathrm{CNN} の$ の力べクトルには， Relu 関数を適用 している.

このDU を使うことで，CKYアルゴリズムの計算順序と同様の順序で下位セルの 2 つの状態を畳み込むことにより，CKYテーブルの各セルの状態を導出することができる，たたし，上位セルの状態を導出する際，CKYアルゴリズムと同様，複数のDU から当該上位セルの状態 となりうるべクトルが算出される。その際は, 候補となったべクトルのうち, 要素和が最大で あるべクトルに設定する。この全体のネットワークを CKY-CNN と呼ぶ。ここで， CKY-CNN は，レイヤーの数は文長と同等となり，また，各レイヤーにおいてDU のパラメータは共有 されることに注意されたい，以降， $i$ 層目の CKY-CNNの $j$ 番目のセルの状態を $h_{i, j}^{(c k y)}$ と記述 すると, CKY-CNN の具体的な動作は次の通りである。まず, CKY-CNN の第 1 層目の状態 $\left(\mathbf{h}_{\mathbf{1}}^{(\mathbf{c k y})}=\left(h_{1,1}^{(c k y)}, \ldots, h_{1, S}^{(c k y)}\right)\right)$ を，LSTM エンコーダの状態 $\left(\mathbf{h}=\left(h_{1}, \ldots, h_{S}\right)\right)$ に設定する.

そして，2 層目より上の層の CKY-CNN のセルの状態を次のように算出する.

$
h_{i, j}^{(c k y)}=\max _{1 \leq k \leq i-1} D U\left(h_{k, j}^{(c k y)}, h_{i-k, j+k}^{(c k y)}\right)
$

ここで， $\max$ 関数は入力されたそれぞれのべクトルに対してべクトルの要素和を計算し，その 値が最大となるべクトルを返す関数である。図 4 に，CKY-CNN により，セル $\left(h_{4,1}^{(c k y)}\right)$ を導出 する畳み达みの例を示す。この導出過程では，以下が実行される。

$
h_{4,1}^{(c k y)}=\max \left(D U\left(h_{1,1}^{(c k y)}, h_{3,2}^{(c k y)}\right), D U\left(h_{2,1}^{(c k y)}, h_{2,3}^{(c k y)}\right), D U\left(h_{3,1}^{(c k y)}, h_{1,4}^{(c k y)}\right)\right) .
$

具体的には, 3 つの DUが, それぞれ, 2 つのセル $\left(h_{3,1}^{(c k y)}\right.$ と $\left.h_{1,4}^{(c k y)}\right), 2$ つのセル $\left(h_{2,1}^{(c k y)}\right.$ と $\left.h_{2,3}^{(c k y)}\right)$,

図 4 CKY-CNN の例

2 つのセル $\left(h_{1,1}^{(c k y)}\right.$ と $\left.h_{3,2}^{(c k y)}\right)$ の状態に基づきべクトルを生成する. その後, ベクトルの要素和 が最も大きいべクトルをセル $\left(h_{4,1}^{(c k y)}\right)$ の状態に設定する.

CKYに基づく畳み込みアテンション構造を用いた NMT では，LSTM エンコーダの隠れ層の 状態に加えて，CKY-CNN の隠れ層の状態（CKYテーブルの各セルの状態）を参照しながら 目的言語の文を生成する. デコーダの状態 $s_{j}^{(2)}$ と CKY-CNN の隠れ層の状態 $h_{i, j}^{(c k y)}$ とのアテン ションスコアは Global Dot Attetnion (Luong et al. 2015) を用いて次式の通り計算する.

$
\alpha^{\prime}\left(i_{1}, i_{2}, j\right)=\frac{\exp \left(h_{i_{1}, i_{2}}^{(c k y)} \cdot s_{j}^{(2)}\right)}{\sum_{k=1}^{S} \sum_{l=1}^{S-k+1} \exp \left(h_{k, l}^{(c k y)} \cdot s_{j}^{(2)}\right)} .
$

ここで， $s_{j}^{(2)}$ は第 2 層目のLSTM デコーダの隠れ層の状態である. そして，CKY-CNN のコン テキストベクトル $c_{j}^{\prime}$ を次式の通り算出する.

$
c_{j}^{\prime}=\sum_{k=1}^{S} \sum_{l=1}^{S-k+1} \alpha^{\prime}(k, l, j) h_{k, l}^{(c k y)}
$

その後, アテンションベクトル $\hat{s}_{j}$ を, LSTM エンコーダのコンテキストベクトル $\left(c_{j}\right)$ と CKY-CNN のコンテキストベクトル $\left(c_{j}^{\prime}\right)$ に基づき次のように算出する.

$
\hat{s}_{j}=\tanh \left(\hat{W}\left[s_{j}^{(2)} ; c_{j} ; c_{j}^{\prime}\right]+\hat{b}\right)
$

ここで, $\hat{W} \in R^{d \times 3 d}$ は重み行列， $\hat{b} \in R^{d}$ はバイアス項である．また，LSTM エンコーダのコン テキストベクトル $c_{j}$ は，式 (9) の通り算出されたものであることを確認しておく. $j$ 番目の目的言語の単語は, 従来の ANMT と同様に, アテンションベクトル $\hat{s}_{j}$ を用いて次のように計算 する。

$
p\left(y_{j} \mid y_{<j}, \mathbf{x}\right)=\operatorname{softmax}\left(W_{s} \hat{s}_{j}+b_{s}\right)
$

ここで, $W_{s} \in R^{|V| \times d}$ は重み行列, $b_{s} \in R^{|V|}$ はバイアス項を表す.

提案手法の目的関数は, 従来の ANMT と同様, 式 (12)である. また, 提案モデルの時間計算量は $\mathcal{O}\left(S^{3}+S^{2} T\right)$, 空間計算量は $\mathcal{O}\left(S^{2} T\right)$ である. ここで, $S$ は原言語文の文長, $T$ は目的言語文の文長である.

## 5 実験

本節では， 4 節で提案したモデルの性能及び有効性を検証する.

## 5.1 実験設定

評価実験は, Asian Scientific Paper Excerpt Corpus (ASPEC) ${ }^{5}$ の英日翻訳タスク, 新聞から作成 された FBISコーパスを用いた中英翻訳タスクにより行った。英文の単語分割は Moses Decoder,日本語文の単語分割は Kytea (Neubig, Nakata, and Mori 2011)，中国語文の単語分割は Stanford Chinese Segmenter6を使用した．また，各コーパスの文字は全て小文字に変換した．実験に使用 した対訳文の数を表 1 に示す。学習データとして, ASPECでは 100,000 文対, FBISでは 172,400 文対の対訳文を用いた。なお，ASPEC，FBIS ともに学習データとして単語の数が 50 単語以下 の文を使用した。また, ASPEC, FBIS ともに学習データにおいて, 出現数が 2 回未満の単語 は特殊文字「UNK」に置き換えた. FBISについては, 開発データとして NIST02 の評価データ を使用し，テストデータとしてNIST03，NIST04，NIST05 の評価データを用いた.

単語埋め込みべクトルと隠れ層の各状態のべクトルの次元数は 256 とした. モデルの各パラ メータの学習には Adam (Kingsma and Ba 2014) を使用し, Adam のパラメータの初期値は, $\alpha=0.01, \beta_{1}=0.9, \beta_{2}=0.99$ とした. 学習率は, 1 エポック毎に開発デー夕に対するパープ レキシティを計算し，パープレキシティが以前のエポックと比較して増加した場合に半分にし た. 勾配は Eriguchi ら (Eriguchi, Hashimoto, and Tsuruoka 2016a) に倣い, 3.0 でクリッピン グした。また，過学習を防ぐために，Dropout (Srivastava, Hinton, Krizhevsky, Sutskever, and Salakhutdinov 2014) と Weight Decay ${ }^{7}$ 用いた. Dropout の比率は, LSTM では 0.2 , CNN で は 0.3 とし, Weight Decayの係数は $10^{-6}$ とした. バッチサイズは 50 とした。なお, ハイパー パラメータは，開発データに対する BLEU スコアにより決定した。 また，目的言語の文は出現確率に基づいた貪欲法により生成した。

## 5.2 実験結果

提案の CKY に基づく畳み込みアテンションの有効性を検証するため, 提案のアテンション を用いた NMT（4 節）と従来のアテンションを用いた NMT（3 節）を比較した. ベースライン

表 1 実験デー夕の対訳文対

^{6} \mathrm{http} / / / \mathrm{nlp}$. stanford.edu/software/segmenter.shtml

7 Pytorch  で実装されている L2 penalty を使用した.
}

の従来モデルと提案モデルの違いは，アテンション構造のみである。表 2 に各モデルの翻訳精度を示す8．翻訳精度の評価尺度は BLEU (Papineni, Roukos, Ward, and Zhu 2002)を用いた。 また参考のために，表 3 に，ASPEC における，1 エポックあたりの平均学習時間及び一文ずつ デコードした際のテストデータのデコードにかかった時間を示す9。図 5 には，ASPEC におけ る開発データに対する BLEU スコアの推移を示す.

翻訳精度の有意差検定は, 有意差水準 $5 \%$ でブートストラップによる検定手法 (Koehn 2004) により行った. 表 2 の「*」は，提案モデルと従来の ANMT モデルの翻訳精度の差が統計的に 有意であることを示す.

表 2 より, ASPEC, FBIS (NIST03), FBIS (NIST04) では, 提案モデルが従来の ANMT よ

表 2 実験結果 (BLEU(\%))

表 3 学習時間及びデコード時間（秒）

図 5 開発データにおける BLEU の推移
^{9}$ CPU は Intel XeonE5-1650, GPU は NVIDIA GeForce TITAN X を用いた.
}

り統計的に有意に翻訳精度が良いことが分かる。また，FBIS (NIST05) では，提案モデルは従来の ANMT と同等の翻訳精度であることが分かる。これらの結果より，提案のアテンション構造は NMT の性能改善に寄与することが実験的に確認できる.

## 6 考察

## 6.1 提案モデルの各要素の有効性検証

本節では，提案モデルの各要素の有効性を検証するため，ASPEC 10 万文対の英日翻訳タスク において提案モデルと以下の 3 つのモデルを比較する．1つ目は，提案モデルの式 (16) におい て LSTM エンコーダのコンテキストベクトル $\left(c_{j}\right)$ を取り除いたモデル， すなわち， CKY-CNN のコンテキストベクトル $\left(c_{j}^{\prime}\right)$ のみを使用したモデル「提案モデル $\left(c_{j}^{\prime}\right.$ のみ)」である. 2 つ目 は, 提案モデルのDU（図 3）において，CNN4 の代わりに二つの入力ベクトルの要素和を演算 に使用するモデル「提案モデル（要素和)」である，3つ目は, 従来 ANMT モデルのエンコー ダLSTM を，提案モデルの計算時間と同等になるまで，再帰的に積み重ねたモデル「再帰的従来 ANMT モデル」である。具体的には，エンコーダの 2 つの LSTM を 6 回再帰的に使用して 原言語文をエンコードした。

実験結果を表 4 に示す.「提案モデル ( $c_{j}^{\prime}$ のみ)」は「従来モデル」よりも翻訳精度が高いこ とが分かる。ただし，「提案モデル」よりは翻訳精度が低い。このことから，CKY-CNN のコン テキストベクトルのみを用いた場合でも提案モデルは NMT の精度改善に寄与できるが，LSTM のコンテキストベクトルと CKY-CNN のコンテキストベクトルを同時に使用することで, NMT の翻訳精度がさらに改善されることが分かる。

「提案モデル」と「提案モデル (要素和) 」を比較すると「提案モデル」の方が翻訳精度が高 い.このことから，提案モデルのDUにおいて，CNN4 を用いた residual connection が有効で あったことが分かる。また, 「提案モデル」は, 層を深くした従来モデルである「再帰的従来 ANMT モデル」の翻訳精度を上回っており，このことからも提案モデルの有用性が実験的に確認できる.

表 4 提案モデルの各要素の有効性検証実験の結果 (BLEU (\%))

## 6.2 大規模コーパスにおける有効性検証

本節では, 大規模コーパスにおいても提案手法の有効性が確認できるかを検証する．具体的に は，ASPEC の英日翻訳で 1,346,946 文対の学習データを使った場合の性能を評価する。本実験 では, 3 節で説明した従来の ANMT と提案モデルに加え, Eriguchi らのモデル (Eriguchi et al. 2016b) と Gehring らのモデル (Gehring et al. 2017) との比較も行う. Eriguchi らのモデルの翻訳精度は, 彼女らの論文で報告されている次元数 1,024のモデルの翻訳精度である. Gehring ら のモデルの翻訳精度は，公開されているモデルをデフォルトの設定で実験デー夕に適用した翻訳精度である。

本実験においては，単語埋め込みべクトルと隠れ層の各状態のベクトルの次元数は 512 とし た. また，学習デー夕において出現回数が 9 回未満の単語を特殊文字「UNK」に置き換えた. LSTM の Dropout の比率は 0.2 , Weight Decay の係数は $10^{-8}$ とし, 目的言語文はビームサーチ により生成した. ビーム幅は $5,10,15,20$ のうち, 開発データに対する BLEU スコアが最も 高いものを選択した。具体的には, 従来の ANMT モデルはビーム幅 20 , 提案モデルはビーム 幅 15 であった。その他の設定は, 5.1 節と同じである.

表 5 に実験結果を示す。表 5 より，提案モデルは従来の ANMT モデルよりも翻訳精度が良い ことが分かる. また, 先行研究と比較しても翻訳精度が高い. なお, 提案モデルと従来の ANMT モデルの翻訳精度の差及び提案モデルと Gehring らのモデルの翻訳精度の差は有意差水準 $5 \%$ で統計的に有意であった ${ }^{10}$. これらのことから大規模データに対しても提案モデルが有効であ ることが分かった.

## 6.3 アテンションスコアの解析

本研究では，予め構文解析を行うことなく原言語の文の構造を ANMT で活用することが目的 であった。そこで, 目的言語の単語を予測する際に，提案のアテンション構造により，原言語 の文の構造（複数の隣接する単語／句の組み合わせ）を活用できているかを考察する.

表 6 に英日翻訳のテストデータ対する従来の ANMT および提案モデルの翻訳結果の実例を示 し, 図 6 と図 7 に表 6 の翻訳結果を生成した際の提案モデルのアテンションスコアを示す。ま

表 5 大規模コーパスにおける実験結果 (BLEU $(\%))$

表 6 翻訳結果の例

 \\

CKY-CNNの層数

図 6 アテンションスコアの例 1 (左図：い（ついて）, 右図：し（した)）

図 7 アテンションスコアの例 2 (左図：絶縁, 右図：結晶)

た, 図 8 に表 6 の翻訳結果を生成した際の従来の ANMT のアテンションスコアを示す. 図 6 の 左図は「ついて」の「い」, 右図は「した」の「し」を生成する際のアテンションスコア11であり,図 7 の左図は「絶縁」, 右図は「結晶」を生成する際のアテンションスコアである。図 6 , 図 7 ,図 8 では，セルが濃い色であるほど（黒に近いほど），より高いアテンションスコアであること を表している。また，図 6 と図 7 においては，横軸は原言語の単語を示し，縦軸は CKY-CNN の深さを示す。なお，CKY-CNN の第 1 層目のアテンションスコアは，LSTM の隠れ層のアテ ンションスコアと一致する。つまり, 第 1 層目のアテンションスコアが, 原言語の単語に対す るアテンション，第 2 層目より上のアテンションスコアが構造（隣接する単語／句の組み合わ せ）に対するアテンションを示す。図 7 より，「絶緑」や「結晶」のような内容語のように単語単位のアライメントが明確に分かる単語に対しては，第 1 層目（LSTM 層）のアテンションス コアが高くなっている。一方で, 図 6 の「い」や「し」のような機能語のように単語単位のア ライメントが明確にならない単語に対しては, 高いアライメントスコアが 2 層目より上（CKY 層）に位置していることが分かる。一方で, 図 8 の従来の ANMT のアテンションスコアでは,「ため」と "technological”,「た」と“.(ピリオド) ”のように対応関係にない単語に対してもア テンションスコアが高くなっている.

また, 表 7 に，提案モデルにおける，品詞ごとのアテンションスコアの配置について示す. こ れは, Kyteaが特定した品詞ごとに最も高いアテンションスコアの層を数え上げたものである.表 7 より, 名詞, 形容詞, 副詞といった単語単位のアライメントが明確に分かる単語に対して

図 8 従来の ANMT のアテンションスコアの例
^{11}$ Kytea での単語分割では,「ついて」は,「つ」,「い」,「て」の 3 単語,「した」は「し」と「た」に分割された.
}
表 7 品詞ごとのアテンションスコアの配置

は, 第 1 層目にアテンションが多く張られていることが分かる, 一方で, 語尾, 助詞, 助動詞 といった単語単位のアライメントが明確になりにくい単語に対しては, 第 2 層目以降にアテン ションが張られる傾向があることが分かる.

以上より, 従来の ANMT のアテンション構造が単語レベルでのアライメントを見つけるのに 対して, 提案のアテンション構造は 2 層目以降を活用して構造的なアライメントを捉えている ことが分かる.

## 7 まとめ

本論文では，NMT の性能を改善するため，CKY アルゴリズムを模倣した CNN に基づく新 たなアテンション構造を提案した。提案のアテンション構造を用いることで, ASPEC の英日翻訳タスクの評価では, 従来の ANMT と比較して 1.43 ポイント BLEU スコアが上昇し, FBIS における中英翻訳タスクでは, 従来の ANMT と比較して同等かそれ以上の翻訳精度を達成でき ることを実験的に確認した。 また, 提案のアテンション構造は従来の ANMT のアテンション構造では捉えることができない隣接する単語/句の組み合わせに対するアライメント（構造的な アライメント）を捉えることができることを実例により確認した.

提案のアテンション構造は, CKYテーブルのすべてのセルの隠れ状態を保持する必要がある ため，従来手法と比べて多くのメモリを使用する，今後は，メモリ消費の問題について提案手
法を改善し, より少ないメモリ消費で動作するモデルに改善したい. また, 提案手法では, 上位セルの状態を導出する際, 複数の候補から 1 つのみを選択するが，今後は，候補に対して重 み付けを行うなどして複数の状態を考慮できるモデルに改良したい.

## 謝 辞

本論文は国際会議 The 8th International Joint Conference on Natural Language Processing で 発表した論文 (Watanabe, Tamura, and Ninomiya 2017) に基づいて日本語で書き直し, 説明や 評価を追加したものである.

本研究成果は, 国立研究開発法人情報通信研究機構の委託研究により得られたものである. また, 本研究の一部は JSPS 科研費 25280084 及び $18 \mathrm{~K} 18110$ の助成を受けたものである. ここ に謝意を表する。

## 参考文献

Aharoni, R. and Goldberg, Y. (2017). "Towards String-To-Tree Neural Machine Translation." In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 132-140.

Ba, J., Kiros, R., and Hinton, G. E. (2016). "Layer Normalization." CoRR, abs/1607.06450.

Bahdanau, D., Cho, K., and Bengio, Y. (2015). "Neural Machine Translation by Jointly Learning to Align and Translate." In Proceedings of the 3rd International Conference on Learning Representations.

Bastings, J., Titov, I., Aziz, W., Marcheggiani, D., and Simaan, K. (2017). "Graph Convolutional Encoders for Syntax-aware Neural Machine Translation." In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 1957-1967. Association for Computational Linguistics.

Chen, H., Huang, S., Chiang, D., and Chen, J. (2017a). "Improved Neural Machine Translation with a Syntax-Aware Encoder and Decoder." In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1936-1945.

Chen, K., Wang, R., Utiyama, M., Liu, L., Tamura, A., Sumita, E., and Zhao, T. (2017b). "Neural Machine Translation with Source Dependency Representation." In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 2846-2852.

Cho, K., van Merrienboer, B., Bahdanau, D., and Bengio, Y. (2014a). "On the Properties of Neural Machine Translation: Encoder-Decoder Approaches." In Proceedings of 8th Workshop
on Syntax, Semantics and Structure in Statistical Translation, pp. 103-111.

Cho, K., van Merrienboer, B., Gulcehre, C., Bahdanau, D., Bougares, F., Schwenk, H., and Bengio, Y. (2014b). "Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation." In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing, pp. 1724-1734.

Ding, Y. and Palmer, M. (2005). "Machine Translation Using Probabilistic Synchronous Dependency Insertion Grammars." In Proceedings of the 43rd Annual Meeting of the Association for Computational Linguistics, pp. 541-548.

Dyer, C., Kuncoro, A., Ballesteros, M., and Smith, N. A. (2016). "Recurrent Neural Network Grammars." In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 199-209.

Eriguchi, A., Hashimoto, K., and Tsuruoka, Y. (2016a). "Character-based Decoding in Tree-toSequence Attention-based Neural Machine Translation." In Proceedings of the 3rd Workshop on Asian Translation, pp. 175-183.

Eriguchi, A., Hashimoto, K., and Tsuruoka, Y. (2016b). "Tree-to-Sequence Attentional Neural Machine Translation." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics, pp. 823-833.

Eriguchi, A., Tsuruoka, Y., and Cho, K. (2017). "Learning to Parse and Translate Improves Neural Machine Translation." In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 72-78.

Gehring, J., Auli, M., Grangier, D., and Dauphin, Y. (2017). "A Convolutional Encoder Model for Neural Machine Translation." In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 123-135.

Gers, F. A., Schmidhuber, J., and Cummins, F. (2000). "Learning to Forget: Continual Prediction with LSTM." Neural Computation, 12 (10), pp. 2451-2471.

Hashimoto, K. and Tsuruoka, Y. (2017). "Neural Machine Translation with Source-Side Latent Graph Parsing." In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 125-135.

He, K., Zhang, X., Ren, S., and Sun, J. (2016). "Deep Residual Learning for Image Recognition." In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. $770-778$.

Hochreiter, S. and Schmidhuber, J. (1997). "Long Short-term Memory." Neural Computation, 9 (8), pp. 1735-1780.

Huang, L., Knight, K., and Joshi, A. (2006). "Statistical Syntax-directed Translation with

Extended Domain of Locality." In Proceedings of the 7th Conference of the Association for Machine Translation in the Americas, pp. 66-73.

Kasami, T. (1965). "An Efficient Recognition and Syntax Algorithm for Context-free Languages." Tech. rep. AFCRL-65-758, Air Force Cambridge Research Laboratory.

Kingsma, D. and Ba, J. (2014). "Adam: A Method for Stochastic Optimization." In Proceedings of the 5th International Conference on Learning Representations.

Koehn, P. (2004). "Statistical Significance Tests for Machine Translation Evaluation." In Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing, pp. 388-395.

Koehn, P., Hoang, H., Birch, A., Callison-Burch, C., Federico, M., Bertoldi, N., Cowan, B., Shen, W., Moran, C., Zens, R., et al. (2007). "Moses: Open Source Toolkit for Statistical Machine Translation." In Proceedings of the 45th Annual Meeting of the Association for Computational Linguistics on Interactive Poster and Demonstration Sessions, pp. 177-180.

Li, J., Xiong, D., Tu, Z., Zhu, M., Zhang, M., and Zhou, G. (2017). "Modeling Source Syntax for Neural Machine Translation." In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 688-697.

Lin, D. (2004). "A Path-based Transfer Model for Machine Translation." In Proceedings of the 20th International Conference on Computational Linguistics, p. 625.

Liu, Y., Liu, Q., and Lin, S. (2006). "Tree-to-String Alignment Template for Statistical Machine Translation." In Proceedings of the 21st International Conference on Computational Linguistics and 44th Annual Meeting of the Association for Computational Linguistics, pp. 609-616.

Luong, T., Pham, H., and Manning, C. D. (2015). "Effective Approaches to Attention-based Neural Machine Translation." In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 1412-1421.

Nakazawa, T., Yaguchi, M., Uchimoto, K., Utiyama, M., Sumita, E., Kurohashi, S., and Isahara, H. (2016). "ASPEC: Asian Scientific Paper Excerpt Corpus." In Proceedings of the 9th International Conference on Language Resources and Evaluation, pp. 2204-2208.

Neubig, G., Nakata, Y., and Mori, S. (2011). "Pointwise Prediction for Robust, Adaptable Japanese Morphological Analysis." In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics, pp. 529-533.

Papineni, K., Roukos, S., Ward, T., and Zhu, W.-J. (2002). "BLEU: A Method for Automatic Evaluation of Machine Translation." In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318.

Quirk, C., Menezes, A., and Cherry, C. (2005). "Dependency Treelet Translation: Syntactically

Informed Phrasal SMT." In Proceedings of the 43rd Annual Meeting of the Association for Computational Linguistics, pp. 271-279.

Sennrich, R. and Haddow, B. (2016). "Linguistic Input Features Improve Neural Machine Translation." In Proceedings of the 1st Conference on Machine Translation: Volume 1, Research Papers, pp. 83-91. Association for Computational Linguistics.

Srivastava, N., Hinton, G. E., Krizhevsky, A., Sutskever, I., and Salakhutdinov, R. (2014).

"Dropout: A Simple Way to Prevent Neural Networks from Overfitting." Journal of Machine Learning Research, 15 (1), pp. 1929-1958.

Sutskever, I., Vinyals, O., and Le, Q. V. (2014). "Sequence to Sequence Learning with Neural Networks." In Advances in Neural Information Processing Systems, pp. 3104-3112.

Tai, K. S., Socher, R., and Manning, C. D. (2015). "Improved Semantic Representations From Tree-Structured Long Short-Term Memory Networks." In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 1556-1566.

Watanabe, T., Tamura, A., and Ninomiya, T. (2017). "CKY-based Convolutional Attention for Neural Machine Translation." In Proceedings of the 8th International Joint Conference on Natural Language Processing (Volume 2: Short Papers), pp. 1-6.

Wu, S., Zhang, D., Yang, N., Li, M., and Zhou, M. (2017). "Sequence-to-Dependency Neural Machine Translation." In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 698-707.

Wu, S., Zhang, D., Zhang, Z., Yang, N., Li, M., and Zhou, M. (2018). "Dependency-toDependency Neural Machine Translation." IEEE/ACM Transactions on Audio, Speech, and Language Processing, 10.119/TASLP.2018.2855968.

Yang, B., Wong, D. F., Xiao, T., Chao, L. S., and Zhu, J. (2017). "Towards Bidirectional Hierarchical Representations for Attention-based Neural Machine Translation." In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 1432-1441.

Younger, D. H. (1967). "Recognition and Parsing of Context-free Languages in Time $n^{3}$." Information and Control, 2 (10), pp. 189-208.

## 略歴

渡邊大貴：2017 年愛媛大学工学部情報工学科卒業. 2017 年より同大学院理工学研究科修士課程に在学. 情報処理学会学生会員.

田村 晃裕：2005 年東京工業大学工学部情報工学科卒業. 2007 年同大学院総合理工学研究科修士課程修了. 2013 年同大学院総合理工学研究科博士課程修
了. 日本電気株式会社, 国立研究開発法人情報通信研究機構にて研究員とし て務めた後, 2017 年より愛媛大学大学院理工学研究科助教となり, 現在に至 る. 工学博士. 言語処理学会, 情報処理学会, 人工知能学会, ACL 各会員.二宮 崇：2001 年東京大学大学院理学系研究科情報科学専攻博士課程修了.同年より科学技術振興事業団研究員. 2006 年より東京大学情報基盤センター 講師. 2010 年より愛媛大学大学院理工学研究科准教授, 2017 年同教授. 東京大学博士 (理学). 言語処理学会, 情報処理学会, 人工知能学会, 電子情報通信学会, 日本データベース学会, ACL 各会員.

Teguh Bharata Adji: His bachelor degree was fulfilled at Universitas Gadjah Mada in 1995 and his first Master degree was received from the same university in 1998. He also finished master program from Doshisha University, Kyoto in 2001. His doctoral degree was then obtained in 2010 from Universiti Teknologi Petronas, Malaysia. He is now an associate professor of Universitas Gadjah Mada. His research interest and publications are in the fields of Natural Language Processing, Social Media Technology, Big Data, Data Security.

$(2018$ 年 8 月 1 日 $\quad$ 受付 $)$
$(2018$ 年 11 月 1 日 $\quad$ 再受付 $)$
$(2018$ 年 12 月 12 日 $\quad$ 採録 $)$

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/