# 時系列株価データからの市況コメントの自動生成

柳瀬 利彦

本稿では，日経平均株価の市況コメントを生成するタスクを例として，時系列数値 データの多様な特徴を抽出してテキスト化する手法を提案する。日経平均株価の市況コメントでは価格の変動の特徴だけが表出されるわけではなく, 価格の履歴を参照する表現, 時系列データの変化を示す表現, テキストが書かれる時間帯に依存す る表現が見られる。また，数値に言及する場合は，価格が直接言及されることもあ れば, 前日からの増減幅やそれらを切り上げ・切り捨てした値などが用いられるこ ともある。本研究では, エンコーダ・デコーダモデルをべースラインとし, 上記の ような多様な特徴を自動抽出してテキスト化するためのエンコード／デコード手法 を探求する。まず，株価の短期的・長期的な変化を捉えるために，エンコーダへの 入力として短期的および長期的な時系列株価データを与える。デコード時には, テ キストが書かれる時間帯に依存する表現を生成するために，時間帯情報を導入する． また，デコーダが数値に言及する際, 数値の演算操作を推定して計算することで株価の数值表現を生成する，実験では，自動評価および情報性・流暢性に関する人手評価を行い，提案手法によって上記の特徵を捉えた質の高い株価の市況コメントの 生成が可能になることを示した。

キーワード：Data-to-Text, 自然言語生成，ニューラルネットワーク
## Generating Market Comments from Stock Prices

\author{
Soichiro Murakami ${ }^{\dagger, \dagger \dagger}$, Akihiko Watanabe ${ }^{\dagger, \dagger \dagger}$, Akira Miyazawa ${ }^{\dagger \dagger \dagger}$, \\ KeIichi Goshima ${ }^{\dagger \dagger \dagger \dagger \dagger}$, Toshihiko Yanase ${ }^{\dagger \dagger \dagger \dagger \dagger}$, \\ Hiroya Takamura $^{\dagger, \dagger \dagger}$ and Yusuke Miyao ${ }^{\dagger+, \dagger \dagger \dagger \dagger \dagger \dagger \dagger}$
}

This study tackles the task of generating market comments from stock prices. Market comments not only describe the increase and decrease of the price but also describe how the price changes compared with the previous period and contain expressions that depend on their delivery time. Additionally, market comments typically mention numerical values, such as closing prices and differences in stock prices, that need

arithmetic operations such as subtraction and rounding off to derive these values. To capture these characteristics, we propose a novel encoder-decoder model to automatically generate market comments from stock prices. The model first encodes both short- and long-term series of stock prices so that it can create short- and longterm changes in stock prices. Thereafter, we feed our model with delivery time of the market comment in the decoding phase to generate time-dependent expressions. Moreover, our model can generate a numerical value by selecting an appropriate arithmetic operation, such as subtraction or rounding off, and applying it to the input stock prices. As shown in empirical experiments, our model generates high-quality market comments with fluency and informativeness in comparison with baselines.

Key Words: Data-to-Text, Natural Language Generation, Neural Networks

## 1 はじめに

金融や医療，情報通信などの多くの分野において，様々な形式のデータを取り扱う機会が増えてきている. しかし, 大規模で複雑なデータを専門知識のない人が見て解釈することは容易ではなく，専門家であったとしても大規模なデータから重要な情報を読み取るためには時間がかかる。そのため，データの概要を説明する概況テキストを自動的に生成する Data-to-Text 技術の関心が高まっている (Gatt and Krahmer 2018).

本稿では，日経平均株価の市況コメントを生成するタスクを例として，時系列数値データから多様な特徵を抽出し，データの概要をテキスト化する手法を提案する。本研究では，日経平均株価の市況コメントの自動生成を，時系列株価データから単語系列を生成する系列生成夕スクとして考え，機械翻訳や文書要約などの系列生成タスクで広く用いられているエンコーダ・ デコーダモデル (Sutskever, Vinyals, and Le 2014)を使用する.

図 1 に日経平均株価の時系列株価データと市況コメントの例を示す.この例のように，株価

図 1 日経平均株価と市況コメント

の市況コメントなどの時系列数值データの概況テキストでは，「上がる」，「下がる」といった単純な特徴だけが表出されるわけではない，過去のデータの履歴や，テキストが書かれる時間帯によって言及すべき内容は様々である。また, 数値の時系列データの場合, 時系列中の数値や,過去との差分を計算した値が言及されることが多々ある。例えば, 図 1 の市況コメントでは,「続落」,「反発」のように価格の履歴を参照する表現 $(1,3,6)$,「上げに転じる」のように時系列データの変化を示す表現 (2),「始まる」，「前引け」，「午後」，「大引け」などテキストが書かれる時間帯に依存する表現 $(1,3,4 ， 6)$ が見られる。また，数值に言及する場合は，価格が直接言及される $(3,6)$ こともあれば，履歴からの差分 $(3,6)$ や，切り上げ・切り捨てした値 $(5)$ が用いられることもある。

本研究では，株価の市況コメントにおけるこれらの特性を踏まえ，データから多様な特徴を自動抽出し，テキスト化するためのエンコード／デコード手法を提案する。まず，「続落」，「上げに転じる」といった時系列株価データの過去の履歴や変化を捉えるために，株価の短期的および長期的な時系列データを使用する。次に，「前引け」，「大引け」といった市況コメントが記述される時間帯に依存する表現を生成するために，デコード時に時刻情報を導入する，加えて， $\lceil 19,386$ 円」，「100 円」といった株価の終値や前日からの変動幅などの数値を市況コメントで言及するために，入力である時系列株価データ中から適切な数値を出力するための演算操作を推定し, 計算することで数値の出力を行う.

実験では，日経平均株価の時系列株価データと人手で書かれた市況コメントを用いて提案手法の評価を行った，自動評価では，実際の市況コメントと生成テキストの一致度合いを評価するための BLEU, および，「続落」，「前引け」などの表現を正しく出力できているかを評価するための $\mathrm{F}$ 值を使用し，提案手法がベースライン手法に比べて大幅に性能が向上することを確認した。 さらに，人手評価では，テキストの流暢性と情報性の観点において，提案手法により株価の市況コメントにおける上記のような多様な特徴を捉えた質の高いテキストを生成できることを示した。

## 2 関連研究

時系列データや構造化データの概要を人間にとって分かりやすく伝えるために，データから概況テキストを自動生成する Data-to-Text 技術に関して様々な研究が行われている (Gatt and Krahmer 2018). 例えば，時系列の気象情報から天気予報の概況を説明するテキストを自動生成する研究 (Belz 2007; Angeli, Liang, and Klein 2010), 医師や看護師の意思決定補助を目的に臨床データから概況テキストを生成する研究 (Portet, Reiter, Gatt, Hunter, Sripada, Freer, and Sykes 2009; Banaee, Ahmed, and Loutfi 2013b), スポーツの試合における play-by-playデータやスコア情報から試合の概況テキストを生成する研究 (Liang, Jordan, and Klein 2009; 田川, 嶋
田 2018; Taniguchi, Feng, Takamura, and Okumura 2019),一定期間毎の学習態度を記録した時系列データから学生へのフィードバックのテキストを自動生成する研究 (Gkatzia, Hastie, and Lemon 2014) などが行われている.

Data-to-Text の研究では, 従来, 人手で作成したルールによりテキスト生成を行うルールベー ス手法が主流であった (Goldberg, Driedger, and Kittredge 1994; Dale, Geldof, and Prost 2003; Reiter, Sripada, Hunter, Yu, and Davy 2005)。一方, 近年では, 情報通信技術の発展により様々な形式の大規模データが容易に入手できるようになったことで, データとテキストの大規模なぺアデータから学習した対応関係を基に生成を行う機械学習べースの手法への関心が高まっている (Liu, Wang, Sha, Chang, and Sui 2018; Iso, Uehara, Ishigaki, Noji, Aramaki, Kobayashi, Miyao, Okazaki, and Takamura 2019). 例えば，画像データからその説明文を生成する画像キャプション生成タスク (Vinyals, Toshev, Bengio, and Erhan 2015) や構造化された気象データから天気予報テキストを生成するタスク (Mei, Bansal, and Walter 2016b) などの様々な Data-to-Text タスクにおいて機械学習を用いた手法の研究が行われている. 本研究では, これらの研究と同様に,機械学習を用いて時系列株価データと人手で書かれた株価の市況コメントのペアデータから対応関係を学習し, これらに基づいてテキスト生成を行う手法を提案する.

Data-to-Text タスクは，一般的に，生成テキストで言及する内容を選択するコンテンツ選択タスク (content selection) と選択したコンテンツを基に実際にテキスト生成を行う生成タスク (surface realization)の2つのサブタスクに分けられる。従来, これらのサブタスクは個々に取り組まれてきた (Barzilay and Lapata 2005; Wong and Mooney 2007; Lu, Ng, and Lee 2009). 一方,近年では，1つのフレームワークでこれらのサブタスクを同時に取り組む手法が提案されている (Chen and Mooney 2008; Kim and Mooney 2010; Angeli et al. 2010; Konstas and Lapata 2012, 2013). 特に最近では, 時系列データや構造化データから概況テキストを生成するために, 機械翻訳で注目されているエンコーダ・デコーダモデル (Sutskever et al. 2014; Cho, van Merrienboer, Gulcehre, Bahdanau, Bougares, Schwenk, and Bengio 2014)を用いて, Data-to-Text タスクにおける個々のサブタスクを同時に取り組む研究が積極的に行われており, その有用性が示されている (Mei et al. 2016b; Lebret, Grangier, and Auli 2016; Sha, Mou, Liu, Poupart, Li, Chang, and Sui 2018).

しかしながら，エンコーダ・デコーダモデルを用いたData-to-Text タスクにおいて，解決すべき課題がいくつか残っている。例えば, 図 1 の株価の市況コメントのように，テキストが書かれる時間帯に依存する表現 $(1,3,4,6)$ や株価の終值や増減幅などの数值に言及する表現 $(3,5,6)$ が用いられる特徴があり, これらの特徴を捉えてテキスト化するためのエンコード／デコード手法が必要となる。時間帯に依存する表現を生成するための方法として, 時系列株価デー夕の時刻情報をモデルへ組み込むことなどが考えられる．例えば，Li, Galley, Brockett, Spithourakis, Gao， and Dolan (2016) は，エンコーダ・デコーダモデルを用いた対話モデルの研究において，個人の
人格情報をデコーダに導入することで, 個人の特徴を捉えた単語列を生成できることを報告している。これらを踏まえ本研究では, 時間帯に依存する表現を生成するために，追加情報として時刻情報をデコーダに組み込む方法を提案する，また，数値に言及する表現を生成するための方法として，機械翻訳分野で提案されている，入力に含まれる単語を出力に含めやすくするためのコピー機構付きエンコーダ・デコーダモデル (Gu, Lu, Li, and Li 2016; Gulcehre, Ahn, Nallapati, Zhou, and Bengio 2016) などが考えられる. しかし, 時系列数值データの Data-to-Text タスクでは，コピー機構だけでは解決できない課題がある。例えば，株価の市況コメントでは，図 1 のように, 履歴からの差分 $(3,6)$ や, 切り上げ・切り捨てした値 $(5)$ が用いられることもあり,入力に含まれる要素をそのまま出力することを目的としたコピー機構では，差分や切り上げ・切り捨てした値のように演算操作を必要とする数値を出力することができない．そのため，入力の数値デー夕に対して言及をする場合，入力からコピーを行うだけでなく，数値に対して何らかの演算操作を行い, 計算結果を出力する機構が必要であると考えられる. 本研究では, これらの課題を解決するために，言及する数值に応じて入力データから数值をコピーまたは演算操作を行い計算結果を生成するための機構を導入したエンコーダ・デコーダモデルを提案する.

株価の市況コメントの生成を目的とした既存研究は多く存在する。まず，図 1 に示すような株価の値動きや過去の価格との比較, 数値表現などの特徴を持った市況コメントの自動生成に取り組む研究の先駆けとして, Kukich (1983) は, 日足の株価データベースから市況コメントを生成するための複数のルールを組み合わせた手法を提案した，具体的には，まず，入力である日足の株価データベースの中から 120 個のルールに基づいて言及するべき値動きや価格等のコンテンツ選択を行い，次に 16 個のルールに基づいて言及するコンテンツの順番の並び替えを行う，そして，選択したコンテンツおよび 109 個のルールとフレーズ辞書に基づいて，使用するフレーズや述語句の統語形式，主語の照応関係等の選択を行うことで市況コメントの生成を行っている。このように, Kukich (1983) の研究では, 人手で数多くのルールを記述する必要がある。一方，我々が提案するエンコーダ・デコーダを用いた手法では，実際の時系列株価デー 夕と人手で書かれた市況コメントのペアデータから対応関係を学習し，これらに基づいて，言及するべき値動きや価格等のコンテンツ選択および使用するフレーズ（単語列）の選択等を行うため，数多くのルールは不要である。

同様に，Aoki and Kobayashi (2016)は，日経平均株価を対象に，株価の値動きを説明するテキストの生成に取り組んでいる。本研究と同様に, この研究では, 時系列株価デー夕と市況コメントのペアデータから学習した対応関係を基にテキスト生成を行う機械学習べースの手法を提案している。具体的には, クラスタリング手法により算出した時系列株価データの類似度を基に，重み付けされた bi-gram 言語モデルを生成し，その言語モデルを用いてテキスト自動生成を行う．また, Aoki and Kobayashi (2016)の研究では, 時系列株価データの類似度に基づいて言及する値動きを選択するタスク（コンテンツ選択タスク）および言語モデルを用いたテキ

スト生成タスクの 2 つを個々に取り組んでいる。一方，本研究ではエンコーダ・デコーダモデルによりこれらのサブタスクを同時に取り組むことが可能となる。加えて，この研究では，図 1(3), (5)のような終値や値上げ幅などの数値への言及を行う取り組みが行われていない. これに対し本研究では，数值の変動を概況するだけでなく，入力の時系列数值データを参照した上で，実際の数値へ言及を行うテキストを生成する手法を提案する.

また, Aoki, Miyazawa, Ishigaki, Goshima, Aoki, Kobayashi, Takamura, and Miyao (2018) は,市況コメントにおいてしばしば言及される株価の変化要因の生成に取り組んでいる。ここで変化要因とは,「日経平均、反落で始まる下げ幅 100 円超、欧米株安・円上昇で」のように，市況コメントの主な記述対象である株価デー夕（日経平均株価）の値動きに影響したとされる外国株式や原油価格などの情報のことを指している. Aoki, Miyazawa, Ishigaki, Aoki, Noji, Goshima, Kobayashi, Takamura, and Miyao (2019)は，時系列株価デー夕に加えて，市況コメントの生成内容を表すトピックを入力として与えることで，市況コメント生成タスクにおける生成文の内容制御に取り組んでいる。さらに，Zhang, Yuan, Wang, and Foster (2018) は, 人手で書かれた文章のように自然で多様なテキストの生成を目的に，株価の値動きの方向（值上がり，値下が

り）やその変動幅を表すための動詞を適切に選択するための研究に取り組んでいる.

これらの研究では, 市況コメント生成タスクにおける, 変化要因の記述 (Aoki et al. 2018) や生成文の内容制御 (Aoki et al. 2019), 多様な表現を用いたテキスト生成 (Zhang et al. 2018)を行うことを目的としている。一方，本研究では市況コメントにおける価格の履歴を参照する表現や時間帯に依存する表現，株価の数値表現などの様々な特性を表出するテキストの生成に取り組んでおり，これらの研究とは目的が異なる.

## 3 提案手法

近年, 機械翻訳 (Cho et al. 2014) や文書要約 (Rush, Chopra, and Weston 2015) などの様々な系列生成タスクにおいて，エンコーダ・デコーダモデル (Sutskever et al. 2014)を用いた手法が提案され, 有用性が示されている。本研究では, 時系列株価デー夕に対する市況コメントの生成を,時系列株価データから単語系列を生成する系列生成タスクとして考え，エンコーダ・デコーダモデルを用いた手法を提案する。本研究では, エンコーダとして一般的に利用されている多層パー セプトロン (Multi-Layer Perceptron: MLP)，畳み込みニューラルネットワーク (Convolutional Neural Network: CNN), 再帰的ニューラルネットワーク (Recurrent Neural Network: RNN)のうちいずれかを採用し，それぞれの性能の比較を行う。また，デコーダには，テキスト生成夕スクにおいて広く使われている再帰的ニューラルネットワーク言語モデル (Recurrent Neural Network Language Model: RNNLM) を利用する.

時系列株価データの市況コメントを記述する際には，モデルでは，時系列データの絶対的・相
対的な変化や最大值・最小値といった特徴を，異なるタイムスケールで捉える必要がある。また，市況コメントでは，「前引け」，「大引け」などのテキストが書かれる時間に依存する表現が用いられることや，株価の終值や変動幅などの数値について言及されることがある．本研究では，このような時系列株価データの多様な特徴を自動抽出してテキスト化するために，標準的なエンコーダ・デコーダモデルに対して 3 つの手法を提案する.

本研究で提案するモデルの概要を図 2 に示す。提案モデルでは，時系列データの様々な変化を異なる夕イムスケールで捉えるために，短期的な時系列データ $\boldsymbol{x}_{\text {short }}$ および長期的な時系列データ $\boldsymbol{x}_{\text {long }}$ を入力として利用する。また，テキストが書かれる時間に依存する表現を生成するために，デコード時にテキストを記述する時間帯の情報 $(\boldsymbol{T})$ を利用する，加えて，市況コメントの生成時に株価の終值や変動幅などの実際の数值に言及する際には，入力した時系列デー タ中から正しい数值を出力するための演算操作 ( $<\mathrm{OP} 2>$ 等) を推定し, 計算することで数値の出力を行う.

以降では，(1) 時系列株価データのエンコード手法，(2)テキスト生成時の時間帯の考慮，(3)数値の演算操作の推定について詳細を説明する.

(2)テキスト生成時の時間帯の考慮

(3) 数値の演算操作の推定

図 2 提案モデルの概要

## 3.1 時系列株価データのエンコード手法

本研究では, 時系列株価データとして, 日経平均株価を使用する。株価の短期的または長期的な数値の変動を捉えるために，短期的な時系列データとして， $N$ タイムステップからなる 1 日分の株価データ $\boldsymbol{x}_{\text {short }}=\left(x_{\text {short }, i}\right)_{i=0}^{N-1}$, 長期的な株価データとして, 過去 $M$ 営業日分の終値 $\boldsymbol{x}_{\text {long }}=\left(x_{\text {long }, i}\right)_{i=0}^{M-1}$, を入力として利用する.

画像処理分野 (Cun, Boser, Denker, Howard, Habbard, Jackel, and Henderson 1990) や自然言語処理分野 (Vijayarani, Ilamathi, and Nithya 2015) などの様々な分野において, 機械学習モデルの汎化性能やデータに含まれるノイズを除去するために，データに対して前処理を行うことが一般的である (Zhang and Qi 2005; Banaee, Ahmed, and Loutfi 2013a). 本研究でも同様に,数值データである時系列株価データに対して，前処理を行う.

数値データの前処理手法として, 標準化 (standardization) と前日との差分 (moving reference) (Freitas, De Souza, and de Almeida 2009)を使用する。使用する前処理手法の式を以下に示す：

$
\begin{aligned}
x_{i}^{\text {std }} & =\frac{x_{i}-\mu}{\sigma}, \\
x_{i}^{\text {move }} & =x_{i}-r_{i},
\end{aligned}
$

ここで， $x_{i}$ は数値データである株価を表す。式 (1)では，学習に使用する全株価デー夕 $\boldsymbol{x}$ の平均値 $\mu$, 標準偏差 $\sigma$ を用いて標準化を行う，式 (2)では, 前日の終値からの価格の変動を捉えるために，前日の終値 $r_{i}$ から各タイムステップの価格 $x_{i}$ の差分を計算する.

次に，時系列株価データの前処理とエンコードの手順について説明する。まず，前処理は， 1 日分の株価データ $\boldsymbol{x}_{\text {short }}, M$ 営業日分の終值データ $\boldsymbol{x}_{\text {long }}$ に対して行い, 数値べクトル $\boldsymbol{l}_{\text {short }}$, $l_{\text {long }}$ をそれぞれ作成する。次に，作成した数値べクトルをそれぞれエンコーダへ入力し，エンコーダの出力状態ベクトル $\boldsymbol{h}_{\text {short }}, \boldsymbol{h}_{\text {long }}$ を獲得する. 続いて, 前処理により作成した数值べクトルとエンコーダの出力状態ベクトルを結合し, multi-level representationベクトル (Mei, Bansal, and Walter 2016a)を作成する. この multi-level representation について, Mei et al. (2016a)は,入力データの高レベルな表現 $\left(\boldsymbol{h}_{\text {short }}, \boldsymbol{h}_{\text {long }}\right)$ と低レベルな表現 $\left(\boldsymbol{l}_{\text {short }}, \boldsymbol{l}_{\text {long }}\right)$ を同時にモデルで考慮することで，モデルが入力データ中の重要な情報を選択する性能が向上したことを報告している．株価の市況コメントの記述においても，入力データである短期的および長期的な時系列株価データ中の重要な値動きを捉えることが必要とされる。 そのため, 本研究でも同様に, multi-level representation を採用し，デコーダである RNNLM の初期状態 $s_{0}$ を次のように設定する：

$
\boldsymbol{s}_{0}=\boldsymbol{l}_{\text {short }} \oplus \boldsymbol{l}_{\text {long }} \oplus \boldsymbol{h}_{\text {short }} \oplus \boldsymbol{h}_{\text {long }} \text {. }
$

ここで，甲は連結演算子を表している.

2 の前処理手法を用いる場合, 短期的及び長期的な時系列株価データ $\boldsymbol{x}_{\text {short }}, \boldsymbol{x}_{\text {long }}$ に対してそれぞれの前処理を適用し，4つの数値べクトル $\boldsymbol{l}_{\text {short }}^{\text {move }}, l_{\text {short }}^{\text {std }}, l_{\text {long }}^{\text {move }}, l_{\text {long }}^{\text {std }}$ を作成する. 次に， それぞれの数値ベクトルに対して独立のエンコーダを使用し, 計 4 つのエンコーダの出力状態ベクトルを獲得する。この時, デコーダである RNNLM の初期状態 $s_{0}$ は次のように設定する：

$
\boldsymbol{s}_{0}=\boldsymbol{l}_{\text {short }}^{\text {move }} \oplus \boldsymbol{l}_{\text {short }}^{\text {std }} \oplus \boldsymbol{l}_{\text {long }}^{\text {move }} \oplus \boldsymbol{l}_{\text {long }}^{\text {std }} \oplus \boldsymbol{h}_{\text {short }}^{\text {move }} \oplus \boldsymbol{h}_{\text {short }}^{\text {std }} \oplus \boldsymbol{h}_{\text {long }}^{\text {move }} \oplus \boldsymbol{h}_{\text {long }}^{\text {std }} .
$

また, 時系列株価データのような時系列数値データから, 数値の変動等の特徴を抽出するためのエンコード手法として, いくつかの方法が考えられる。本研究ではエンコーダとして, MLP, CNN, RNN のいずれかを用いる。本研究では，実験において，時系列数値デー夕の特徴抽出手法として有用なエンコード手法を比較検討する.

## 3.2 テキスト生成時の時間帯の考慮

時系列データの概況テキストは，テキストが書かれる時間帯に依って言及すべき内容は様々である。例えば株価の市況コメントの場合, 一般的に, 図 1 中の (1), (6)のように, 取引が始まる時間帯には「前日から価格がどのように変動したか」, 取引が終了する時間帯には「値上げ幅と終値はいくらか」等が言及される.

Li et al. (2016)が行ったエンコーダ・デコーダモデルを用いた対話モデルの研究では，デコー ド時にある個人の人格情報を追加的に入力することで, その人の話し方や背景などの特徴を捉えた単語列を生成できることが報告されている。これらを踏まえ本研究では, デコード時の各タイムステップの状態 $s_{j}$ に時間帯情報 $\boldsymbol{T}$ の付与を行い, 時間帯を考慮したテキストの生成を行う。具体的には, 市況コメントが配信される時間帯（9時, 15 時等）を入力として時間帯情報埋め込みベクトル $T$ を作成し, デコード時の各タイムステップの隠れ状態ベクトル $s_{j}$ に時間帯情報埋め込みべクトル $T$ を加算する 1.

## 3.3 数値の演算操作の推定

RNNLM などの言語モデルを用いたテキスト生成において，一定の出現頻度よりも少ない単語は未知語 (out-of-vocabulary: OOV) として, <unk>などの特殊トークンに置き換えられることが一般的である (Sutskever et al. 2014). 特に, 固有名詞や数值などのバリエーションが多い単語は出現頻度が少なくなる傾向があるため, OOVとして扱われてしまうことがある. また, これらの単語がOOV として扱われなかった場合であっても，その単語と類似した別の単語を誤って生成してしまうことがある。機械翻訳の分野では, OOV 問題の対策として, 出現頻度が少なくなりやすい固有名詞などを入力テキストからコピーを行い, これらの単語を出力するた
^{1}$ Li et al. (2016) の研究では埋め込みベクトルを連結しているが, 予備検証において加算の場合でも連結の場合と同様に出力が変化することが明らかになったため，今回は加算を採用した。
}

めの機構が提案されている (Luong, Sutskever, Le, Vinyals, and Zaremba 2015; Gulcehre et al. 2016).

入力の数值データに言及するテキストでは, 図 1 中の $(3,6)$ のように， 入力データに含まれる数値について直接言及することが多い。しかし, それだではなく, 履歴からの差分 $(3,6)$ や，切り上げ・切り捨てした値 (5) が用いられることもある。 そのため, 入力データから数値をコピーするだけでなく，「差分の計算」等の数値の演算操作が必要となる．しかしながら，通常のモデルでは，このような演算操作を必要とする数值を直接的に生成することができない. そこで本研究では, 演算した数値を間接的に生成するために, 12 種類の演算トークンを導入する.具体的には，モデルにおいて株価の数值箇所を直接的に予測する代わりに， 12 種類の演算トー クンのいずれかを推定し, 予め定義した各演算トークンに対応する演算操作のルールに基づいて価格の計算を行い，計算結果の価格で演算トークンを置換する.

本手法では, 前処理として, 学習データのテキスト中の価格箇所を $<\mathrm{OP} 1>$ や $<\mathrm{OP} 2>$ 等の演算トークンに置換する。使用する演算トークンは，言及する価格の性質に依って異なる。表 1 に事前に定義した演算トークンと対応する演算操作の内容を示す. ここで, 次の市況コメントを例として，学習データのテキストの前処理方法について説明する.

(a) 日経平均、反発午前終値は 227 円高の 16,610 円

前処理では, まず始めに, 表 1 中の全ての演算操作（12 種類）を行い, 各演算トークンに対応する数値を計算する。例えば, ここで，前日の終值 $x_{\mathrm{long}, M-1}$ を 16,383$\rfloor$, 最後のタイムステップの価格 $x_{\text {short }, N-1}$ を 16,610$\rfloor$ とした場合，演算トークン $<\mathrm{OP} 1>$ に対応する数値は「227」となる．次に，各演算トークンに対応する数値「227」等とテキスト (a) 中の数値「227」,「16,610」

表 1 定義した演算トークンと演算操作

を比較し，正解の数值「227」「16,610」のそれぞれに最も近い数値を計算した演算操作およびその演算トークンを求める．最後に，導出した演算トークンを，正解の数値「227」，「16,610」 に対する最適な演算トークンとして見做し，正解の数値と演算トークンを置換することで，以下の前処理済みテキスト (b)を獲得する.

(b) 日経平均、反発午前終値は $<\mathrm{OP} 1>$ 円高の $<\mathrm{OP} 6>$ 円

上記の例では，テキスト (a) 中の「227」は，前日の終値 $x_{\text {long }, M-1}$ である「16,383」と最後のタイムステップの価格 $x_{\text {short }, N-1}$ である「16,610」の差を表すため, 演算トークン $<\mathrm{OP} 1>$ に置換し，「16,610」は，最後のタイムステップの価格 $x_{\text {short }, N-1}$ である「16,610」を表すため，演算トークン $<\mathrm{OP} 6>$ に置換している.

次に, テスト時における数値の導出方法について説明する。 入力として, 前日の終值 $x_{\mathrm{long}, M-1}$ が 14,612 円で最後のタイムステップの価格 $x_{\text {short }, N-1}$ が 14,508 円の時系列株価データをモデルへ与え，テキスト (c)を生成した場合を考える.

(c) 日経平均、反落で始まる下げ幅 $<\mathrm{OP} 2>$ 円超、 $<\mathrm{OP} 7>$ 円台

まず, $<\mathrm{OP} 2>$ を, 前日の終值 $x_{\text {long }, M-1}$ と最後のタイムステップの価格 $x_{\text {short }, N-1}$ の差を 10 の位で切り捨てた価格である「100」へ置換する．次に，<OP7>を，最後のタイムステップの価格 $x_{\text {short }, N-1}$ を 100 の位で切り捨てた価格である「14,500」へ置換する．以上により，テキスト $(\mathrm{d})$ が得られ，これを出力テキストとする.

(d) 日経平均、反落で始まる下げ幅 100 円超、14,500 円台

このように，株価データと市況コメントのペアデータから対応関係を学習するエンコーダ・ デコーダモデルと本課題に対する少量のルールを組み合わせることにより，従来のルールに基づくテキスト生成手法 (Kukich 1983) と比べて， より少ないルールによって株価の価格や上げ幅等の数値表現を含む市況コメントの生成が可能となる.

## 4 実験設定

## 4.1 データセット

実験には，時系列株価データとして IBI-Square Stocks ${ }^{2}$ から収集した 2013 年 3 月から 2016 年 10 月までの 5 分足の日経平均株価，市況コメントとして日経 QUICK ニュース社が提供する日経平均株価ニュースのヘッドラインテキスト，計 7,351 件を利用した。市況コメントの内， 2013 年 3 月から 2016 年 1 月までの市況コメントである 5,880 件を学習データ, 2016 年 2 月から同年

10 月までの 730 件， 741 件をそれぞれ開発データ，評価データとして利用した。市況コメントの形態素解析には $\mathrm{MeCab}^{3}$ （IPA 辞書）を使用し, 各形態素を 1 つの語彙とした。また，学習データの市況コメントにおいて, 出現回数が 1 回以下の形態素は未知語として扱い, 特殊トー クン <unk>へ置換を行った。その結果，学習データにおける語彙サイズは 691 , 平均文長（1 文あたりの平均語数）は 12.5 となった。

人手評価用の評価データとして，上記評価データからランダムに抽出した 100 件の市況コメントおよび株価データを使用した。

実験では，短期的な時系列株価データである 1 日分の株価データのタイムステップ数 $N$ を 62 ,長期的な時系列株価データである過去 $M$ 営業日分の終值のタイムステップ数 $M$ を 7 とした.本研究では, 時系列株価データとして 5 分足の日経平均株価を用いている。従って, 市況コメントが書かれる直近の時間帯から 62 タイムステップ前までの株価を 1 日分の時系列株価デー夕として設定している.

学習時には, 全 62 タイムステップから成る 1 日分の株価データ $\boldsymbol{x}_{\mathrm{short}}$, 全 7 タイムステップから成る過去 7 営業日分の終値データ $x_{\text {long }}$ と市況コメントのペアを使用する. テスト時には,株価データのみを用いて市況コメントを生成する。

## 4.2 ハイパーパラメータ

エンコーダ・デコーダモデルの学習において, 単語埋め込みべクトルの次元は 128 , 時間帯情報埋め达みベクトルの次元は 64 , エンコーダの隠れ状態の次元は 256 とした. エンコーダに $\mathrm{CNN}$ を用いる場合, 畳み込み層は 1 層とし, 入力チャネル数は 1 , 出力チャネル数は 16, フィルタサイズは 3 , 活性化関数には ReLU (Glorot, Bordes, and Bengio 2011)を使用した. 同様に, MLP を用いる場合，隠れ層は 3 層とし，活性化関数には Tanhを用いた。また，RNNを用いる場合, 1 層の Long-Short Term Memory (LSTM) (Hochreiter and Schmidhuber 1997)を使用し,活性化関数には Tanhを用いた。

デコーダには，テキスト生成タスクで広く用いられている RNNLM を用いた，RNNには， LSTM を使用し，レイヤ数は 1 層とした。活性化関数には Tanhを使用した. デコーダの隠れ状態の次元数は, 使用する前処理手法の数や multi-level representation の有無によって変化する. 例えば，式 (4)のように，前処理手法として標準化および前日の差分の 2 手法を用い, さらに multi-level representation を導入する場合，デコーダの隠れ状態は 1,162 次元となる ${ }^{4}$. ここで，数値べクトル $l_{\text {short }}^{\text {move }}, l_{\text {short }}^{\text {std }}$ の次元数は $62, l_{\text {long }}^{\text {move }}, l_{\text {long }}^{\text {std }}$ は, エンコーダの出力状態ベクトル $\boldsymbol{h}_{\text {short }}^{\text {move }}, \boldsymbol{h}_{\text {short }}^{\text {std }}, \boldsymbol{h}_{\text {long }}^{\text {move }}, \boldsymbol{h}_{\text {long }}^{\text {std }}$ の次元数は 256 である.
^{3} \mathrm{http} / / /$ taku910.github.io/mecab/

 }^{4} 62 \times 2+7 \times 2+256 \times 2+256 \times 2=1,162$ より，2つの前処理手法および multi-level representation を導入する場合のデコーダの隠れ層は 1,162 次元となる.

モデルの学習時には, デコーダの各タイムステップの入力として, 学習データの市況コメントの単語系列をそのまま用いる Teacher Forcingにより学習を行った．また，本研究で使用する市況コメントのデータセットは，機械翻訳等の一般的なテキスト生成タスクと比べてデータ規模が小さいことから，事前学習済み言語モデルなどの事前学習の枠組みを導入することによる性能向上が期待できる (Song, Tan, Qin, Lu, and Liu 2019; Devlin, Chang, Lee, and Toutanova 2019; Radford, Wu, Child, Luan, Amodei, and Sutskever 2019). しかし, 本研究で使用する市況コメントデータの予備検証において, 事前学習を導入しない場合であっても, 一定の学習効果が得られることが明らかになったため，単語埋め込みベクトルやエンコーダ・デコーダモデルにおける重みパラメータの事前学習，および，事前学習済み言語モデルの導入は行っていない.

ミニバッチのサイズは 100 , 損失関数には交差エントロピー, モデルパラメータの最適化手法には Adam (Kingma and Ba 2015) ( $\alpha=0.001, \beta_{1}=0.9, \beta_{2}=0.999, \epsilon=10^{-8}$ )を使用した。学習時のエポック数は 30 に設定した，実験結果では，学習における全 30 エポックの内，開発データに対する BLEU が最も高いエポック時のモデルを評価対象とし, 自動評価および人手評価の結果を報告する。

## 4.3 評価指標

実験では，2つの自動評価指標と人手評価により生成テキストの評価を行った. 1 つ目の自動評価指標として，実際の株価の市況コメントと生成されたテキストの一致度合いを測る目的として BLEU (Papineni, Roukos, Ward, and Zhu 2002)を使用した. BLEU の計測には MTEval toolkit $^{5}$ を使用した，スコアの計算においては， 4-gram までを考慮し，大文字・小文字は区別している。また, ブートストラップ・リサンプリング法 (Koehn 2004)により統計的有意差の検定を行った。有意水準は $5 \%$ とした。

2 つ目の自動評価指標として,「続落, 反発, 上げに転じる」といった短期的・長期的な時系列株価データの変動を説明する表現や「始まる，前引け」などの時間帯に依存する表現を評価データの正解テキストと比較して正しく出力できているかを評価するために， $\mathrm{F}$ 值を用いて評価を行った。表 2 に $\mathrm{F}$ 值による評価で用いる表現を示す。ここで表 2 において，各データにおける出現件数は，5,880 件の学習データ，730 件の開発デー夕，741 件の評価データのそれぞれにおける各表現の出現件数を表している． F 值による評価で用いる表現の選定においては，学習データの市況コメントにおける株価の変動を説明する表現打よび時間帯に依存する表現のうち, 比較的に出現回数が多い 13 種類の表現を選定した.

人手評価では，生成テキストの情報性と流暢性について評価するために，金融工学の専門家の 1 人に評価を依頼した。また，提案手法及び人手により生成した市況コメントの品質の違い
^{5}$ https://github.com/odashi/mteval
}
表 2 F 値による評価に用いた表現および各デー夕における出現件数

を評価するために，システム名を伏せて，両者の生成テキストおよび対応する短期的・長期的な時系列株価データ $\boldsymbol{x}_{\text {short }}, \boldsymbol{x}_{\text {long }}$ を評価者に提示した。人手評価では, 情報性と流暢性の 2 つの観点について，0または 1 の 2 段階のスコア付けを行った。ここで， 1 は情報性または流暢性が高いことを表す。情報性の評価では，評価者は生成テキスト及び対応する時系列株価デー 夕を参照し評価を行った，具体的には，時系列株価データの重要な値動きや值動きの概況について適切に述べている生成テキストを情報性が高いテキストとして定義した。流暢性の評価では，評価者は生成テキストのみを与え，テキストの可読性の観点で評価を行う。すなわち，株価の値動きについて生成テキストで述べられている内容の正しさにかかわらず評価を行う。また, 数値の演算操作の推定を行わない場合, 生成テキストにおける数値箇所が未知語 (<unk>) として出力されることで，流暢性の評価に影響する恐れがある。そのため本研究では，生成テキストにおける<unk>には適切な数値や文字列が入っているものとして評価を行うよう評価者に説明した。

また，人手で書かれた市況コメントでは，本研究で使用する時系列株価データには含まれてない情報について記述することがある。例えば，人手で書かれた市況コメントである「日経平均、反落して始まる米株安や円高で、下げ幅 100 円超える」には，「米株安や円高で」といった外部情報が含まれる。システムへの入力として与える時系列株価データからこのような外部情報を予測することは不可能であることから，人手評価では，生成テキストに含まれる外部情報を無視して評価するように評価者へ依頼した.

## 4.4 比較モデル

表 3 , 表 4 に提案モデルおよび比較モデルの一覧を示す。実験では，まず，エンコード手法の検討として, MLP, CNN, RNNのそれぞれをエンコーダとしたモデル (mlp-enc, $c n n$-enc, rnn-enc) の比較を行う.

次に，入力の時系列データから短期的及び長期的な変化を捉える能力があるかを確認するために, 短期的な株価デー夕 $x_{\text {short }}$ または長期的な終值デー夕 $x_{\text {long }}$ を使用しないモデル (-short, -long)の比較を行う。また, 数値データの表現手法の有用性を確かめるために, $m l p-e n c$ モデルをべースとして，各前処理手法（標準化，前日との差分）, multi-level representationを使用しない各モデル (-std, -move, -multi)の評価を行う.

最後に, 数値の演算操作の推定手法, および, 時間帯情報の入力手法の有用性を確かめるために，各手法を使用しないモデル (-num, -time)の評価を行う. ベースラインとして, 1 日分の株価データのみを入力として, エンコーダに MLP, 前処理手法に標準化と前日との差分を使用するモデル (baseline) を用いた.

表 3 実験で使用した提案モデルの概要

表 4 実験で使用した比較モデルの概要

## 5 実験結果

BLEU, F 値による評価の実験結果を表 5 , 表 6 にそれぞれ示す. また, 各モデルの出力例と人手で書かれた市況コメント (Human) を図 3 に示す.

## 5.1 時系列株価データのエンコードおよび表現手法の効果

まず，時系列株価データのエンコード手法の検討として，MLP, CNN, RNNのそれぞれをエンコーダとしたモデル (mlp-enc, cnn-enc, rnn-enc)の比較を行う. BLEUによる自動評価では，MLP をエンコーダとした提案手法 ( $m l p$-enc) がベースラインを含めたその他全てのモデル (baseline, cnn-enc, rnn-enc 等) と比較して, 有意水準 $5 \%$ で統計的有意に BLEU スコアが高かった.また，表 6 の各表現に対する F 值を比較すると， MLP, CNN, RNNのそれぞれをエンコー ダとした 3 モデルにおいて，MLP をエンコーダとした $m l p$-encがより多くの表現を正しく出力できている．特に， $m l p$-encは，「日経平均、反発で始まる上げ幅100 円超」や「日経平均、一時下げ幅100 円超える」のように，短期的な株価の変動を説明する際に用いられることが多い表現である「上げ幅」，「下げ幅」に対する $\mathrm{F}$ 值が他の 2 つのモデル ( cnn-enc, rnn-enc) に対して大きく上回っていた。これらの結果から，単語の一致率を基にした評価指標である BLEUにおいて，MLPをエンコーダとした $m l p$-enc が CNN, RNNのそれぞれをエンコーダとした cnn-enc, rnn-enc より BLEU スコアが向上したことが推察できる.

表 5 各モデルの評価デー夕に対する BLEU スコア

表 6 各表現に対する $\mathrm{F}$ 值

(a) 2016/2/15 の日経平均株価の値動き

(b) 2016/7/21 の日経平均株価の値動き

(c) 2016/2/15 15:00 の株価に対する生成テキスト

(d) 2016/7/21 9:00 の株価に対する生成テキスト

図 3 短期的・長期的な時系列株価データおよび各モデルの生成テキスト

次に, 時系列株価データの表現手法の検討として, 数値データの前処理手法として使用した標準化および前日との差分の比較を行う，表 5 の BLEU スコアによる自動評価では，標準化と前日との差分の両方を前処理手法として用いる $m l p$-enc がいずれかの前処理を用いないモデル (-std，-move) よりも BLEUが高いことが分かった，表 6 の F 値による評価においては，両者の前処理手法を用いる $m l p$-enc は「上げに転じる」,「下げに転じる」等の株価の値動きに言及する表現について，その他の 2 つのモデル (-move, - std )よりも適切に出力できることが分かった.

また，各前処理手法の有用性を検証するために，両方の前処理手法を用いる $m l p$ - $e n c$ といずれかの前処理を用いない-std および-move の BLEU スコアに着目すると，-move によって生成した市況コメントは-std と比べて, $m l p$-enc よりも大幅に BLEU スコアが低下している. 同様に,表 6 の $\mathrm{F}$ 値による評価において, -move は-std と比べて, mlp-enc よりも「続落」,「反発」等の株価の変動を説明する表現に対する $\mathrm{F}$ 値が大幅に低下している．以上のことから，数値データ

の前処理手法である前日との差分は, 標準化よりも時系列株価データの変動を捉えて株価の値動きを説明する表現を生成する精度に大きく貢献していることが考えられる。

続いて， 入力の時系列株価データの表現方法として用いた multi-level representation の効果について比較する．3.1節で述べたとおり， multi-level representation は，エンコーダの出力べクトルである高レベルな表現（ $\boldsymbol{h}_{\text {short }}^{\text {move }}, \boldsymbol{h}_{\text {short }}^{\text {std }}$ 等）と前処理手法により作成した数值べクトルである低レベルな表現（ $\boldsymbol{l}_{\text {short }}^{\text {move }} \boldsymbol{h}_{\text {short }}^{\text {std }}$ 等）を同時に考慮することで，入力データ中の重要な情報を選択する性能が向上することを期待して導入したべクトル表現手法である。表 5 の BLEU スコアによる自動評価では, multi-level representation を用いないモデル (-multi) の BLEU スコアが $m l p$-enc よりも低下することを確認した，また，表 6 の $\mathrm{F}$ 值による評価では，-multi は mlp-enc と比べて,「続落」,「反落」、「下げに転じる」等の株価の値動きを説明する表現に対する $\mathrm{F}$ 値が低下することが分かった，以上のことから， multi-level representationベクトルを導入することで，モデルが時系列株価データ中の重要な変動を捉える性能が向上し, 自動評価指標である BLEU や F 值の改善に寄与したことが考えられる。

さらに，入力データとして短期的及び長期的な時系列株価デー夕を用いることでモデルが株価の様々な変化を異なるタイムスケールで捉えることができているかを検証するために，短期的及び長期的な時系列株価デー夕 $\boldsymbol{x}_{\mathrm{short}}, \boldsymbol{x}_{\mathrm{long}}$ を両方用いたモデル（mlp-enc, rnn-enc 等）とそれぞれ用いないモデル (-short, -long)の比較を行う。まず, 表 5 の BLEUによる自動評価では，両方のデータを用いた mlp-enc は，いずれかを用いない-short および-long と比べて BLEU スコアが有意に向上することを確認した．特に，短期的な時系列株価データ $\boldsymbol{x}_{\text {short }}$ を入力に与えないモデル (-short)では, BLEU スコアが著しく低下した．また，表 6 の各表現に対する F 値の評価では，両方の時系列株価デー夕を用いたモデル（mlp-enc, rnn-enc 等）は, -short 及び-long と比較して「続落, 反発, 上げに転じる」等の短期的及び長期的な株価の変化を説明する表現を正しく出力できることが分かった。これらの結果より，入力データとして短期的及び長期的な時系列株価データを与えることで，モデルが株価の様々な変化を捉える性能が向上し，値動きを説明する表現を適切に生成する精度の改善に寄与したことが考えられる。

## 5.2 時間帯の考慮手法の効果

次に，モデルが市況コメントが書かれる時間帯に依存する表現を用いて株価の値動きを適切に説明する性能が向上することを期待して導入した時間帯情報埋め込みべクトル $\boldsymbol{T}$ の効果について検証を行う。具体的には，時間帯情報を用いたモデル $(m l p-e n c)$ とそれを用いないモデル (-time)の比較を行う.

まず，表 5 の BLEUによる自動評価では，デコード時のデコーダの状態に時間帯情報を付与していない-time モデルは, $m l p$-enc と比べて BLEUが有意に低下することを確認した。次に，表 6 において，時間帯情報を考慮するモデル（rnn-enc，-num 等）と時間帯情報を考慮しない

モデル (-time) を比較すると，-time は「始まる，前引け，大引け」といった時間帯に関して言及を行う表現を正しく出力できていないことが分かる.

また, 表 6 より, 時間帯情報を考慮しない-time は時間帯情報を考慮する $m l p$-enc と比べて,時間帯に依存する表現だけでなく,「X円高の」「X 円安の」等の株価の変動幅に言及する表現の予測精度も低下することが分かった。これは，「日経平均、大幅続伸前引けは 251 円高の 12,219 円」のように，株価の市況コメントにおいて，「前引け」，「大引け」は，前日の終值からの変動幅について言及する際の「X円高の」，「X 円安の」といった表現とともに用いられる傾向が強いためであると考えられる，つまり，時間帯情報を与えないことで，モデルが「前引け」，「大引け」について言及する性能が低下し, 同様に「X 円高の」，「X 円安の」といった表現の予測性能が低下したことが推察できる。

以上のことから，モデルへ時間帯情報を導入することにより，時間帯に依存する表現を適切に用いつつ株価の値動きを説明する性能の改善に貢献することが考えられる.

## 5.3 数値の演算操作の推定手法の効果

モデルが生成した株価の市況コメントにおいて，株価の終值や変動幅などの数値を適切に出力できているかを検証するために，数値の演算操作の推定手法を導入したモデル $(m l p-e n c)$ と導入していないモデル (-num) の比較を行う. 各モデル (mlp-enc, -num) による市況コメントの生成例および人手で書かれた正解テキスト (Human) を表 7 に示す.

まず，表 5 の BLEUによる自動評価では，演算操作の推定手法を導入していない-num は，本手法を導入した $m l p$-enc と比べて BLEU スコアが大きく低下することが分かった. ここで, -num と mlp-enc の差分は, 数値の演算操作の推定手法のみであることに注意されたい（表 3 , 表 $4)$.

本手法を導入した $m l p$-encでは，株価等の数值について言及する際，予測した演算操作に基づいて実際の値を計算し出力する。一方，本手法を導入していない-num や baseline等では，数值の演算操作の推定を行わず，デコーダである RNN 言語モデルから数値を “単語”として出力する。そのため表 7 のように，演算操作の推定を導入していない-numによって生成した市況コメントでは，数値として言及すべき箇所において＜unk> や適切ではない数値（126 円）が出力される事例が多く，単語の一致率を基にした BLEUによる自動評価において， $m l p$-enc よりも

表 7 -num および mlp-enc モデルによる市況コメントの生成例

低いスコアとなったことが考えられる。

次に，数値の演算操作によってどの程度の株価の数値表現を正しく出力できているかについて分析を行う．表 8 に評価データ中の各数値表現を各モデル $(m l p$-enc, $-n u m)$ が正しく出力できた数，できなかった数を算出した結果を示す. 表 8 の算出において，「日経平均前引け、 97 円安の 17,137 円」のように 1 件の市況コメントに複数の数値表現が含まれている場合は, 各数值表現に対して正しい数値を出力できている数を算出した。全 741 件の評価データにおいて，株価の数値表現は合計で 863 事例含まれていた。このうち，数値の演算操作の推定手法を導入した $m l p$-encでは， 640 事例の数値表現を正解テキストと比較して正しく出力できていた。一方，本手法を導入していない-num では， 92 事例の数値表現を正しく出力できていたが，その他の 771 事例において数値表現が誤っていた．以上により，数値の演算操作の推定を行うことにより，多くの事例で株価の数值表現を正しく出力できていることが確認できた.

加えて，表 8 における $m l p$-enc の数値表現の誤り 223 事例について分析を行った. 具体的には, 正解の演算操作とテキスト，および，推定した演算操作と生成テキストの四つ組を参照し,人手による分析を行った. その結果, $m l p$-enc の数値表現の誤りである 223 事例のうち 81 事例は，数値表現の切り上げ・切り捨て操作（<OP3>，<OP5>等）の推定誤りが起因していることが分かった，例えば，正解テキストでは演算トークンが＜OP5>である数值表現について $<\mathrm{OP} 3>$ と推定した事例が 37 事例と一番目に多く，正解テキストでは演算トークンが $<\mathrm{OP} 4>$ である数值表現について $<\mathrm{OP} 3>$ と推定した事例が 26 事例と 2 番目に多いことが分かった。また, その他の 142 事例については，正解テキストと生成テキストにおけるコンテンツ選択の異なりに起因していることが分かった。具体例として, 正解テキストでは「日経平均、反落で始まる下げ幅は 100 円超える」のように株価の下げ幅について言及しているのに対し, 生成テキストでは「日経平均、反落で始まる 17600 円台」のように株価自体が何円台になったかについて言及している事例などが挙げられる。この事例の場合，正解テキストに含まれる数値（100 円）と生成テキストの数値（17600 円）は異なるため, 表 8 において不正解として算出されていることに注意されたい.

また, 本研究では, 市況コメントで用いられる価格の差分や切り上げ・切り捨てした値などの数値表現を生成するために， 12 種類の演算トークン（表 1）を導入している。しかし, 市況コメントの生成時に正解の数値表現に対応する演算トークンが無い場合, 数値表現の誤りが発生す

表 8 評価デー夕における数値表現の正解・不正解数

ることが懸念される．そこで，本研究で提案する 12 種類の演算トークンの網羅性について調査を行った，具体的には，実験で使用した評価デー夕における株価の数值表現である全 863 事例において，定義した演算トークンに該当しない数値表現の事例を人手によって確認した。その結果，定義した演算トークンに該当しない事例が 2 つあることが分かった．表 9 にれれの事例を示す。例えば，事例 (a)における「200 円」は，週の初めから現在までに株価がどの程度の範囲で値動きしたかを表す値幅であり，表 1 の演算トークンに該当するものは存在しない。また，事例 (b)における「2448 円」は，該当年度において株価がどの程度下落したかを表す年度ベースの下げ幅であり，こちらも同様に表 1 に該当するものは存在しない.これらの数値表現を算出するためには，対応する演算トークンを導入する必要があることに注意されたい．以上の調査の結果，実験で使用した評価データにおいて定義した演算トークンに該当しない事例は 2 件であり, 演算トークンの網羅性が起因となる数值表現の誤り発生は少ないことが分かった.

## 5.4 人手評価結果

表 10 に提案手法 ( $m l p$-enc), ベースライン手法 (baseline) で生成した市況コメントおよび人手で書かれた市況コメント (Human)に対する人手評価の結果を示す。ここで表 10 において，情報性および流暢性は，0 または 1 の 2 段階評価においてスコアが 1 であった事例数，外部情報は生成テキストに外部情報を含む事例数を表している.

人手評価の結果，人手で書かれた市況コメントよりもやや劣るものの，提案手法により情報性および流暢性に関して質の高い市況コメントを生成できることが分かった。また，提案手法とべースライン手法の人手評価結果の比較では, 情報性について, 提案手法がベースライン手法を大幅に上回る結果となった。しかし, 流暢性の観点においては, ベースライン手法が提案手法を上回っていた。

情報性に関する人手評価において提案手法がべースライン手法よりも大幅に上回っていた理由として, 図 3 のように, 提案手法はべースライン手法と比べて生成テキスト中の株価の数値

表 9 定義した演算トークンに該当しない事例

(a) 日経平均、じり安週初から値幅 200 円の範囲で推移

(b) 日経平均、15 年度 2448 円下落年度ベースで 5 年ぶり

表 10 人手評価の結果

表現の誤りが少ないことが主な要因として考えられる。また, ベースライン手法は数値の演算操作の推定手法を使用していないため, 5.3 節の-numのように多くの事例において，数値表現の誤りが含まれていることが推察できる。これらの結果から，時系列株価データの値動きを適切に述べているかに基づいた情報性の評価において，評価者が提案手法の生成テキストの情報性が高いと判定したことが考えられる.

加えて，生成テキストの流暢性に関する人手評価においてべースライン手法が提案手法を上回っていた理由として, 提案手法における演算操作の推定誤りによって, 提案手法が「日経平均、上げ幅 0 円超える」といったテキストを生成していたことが原因として考えられる。「0円超える」といった表現は市況コメントにおいて通常使われず不自然であり，株価の値動きについても述べられていないため，評価者がこのような表現を含む生成テキストを流暢性および情報性が低い市況コメントと判定したことが考えられる。実際に，各評価事例に対する人手評価結果を集計したところ，評価者が流暢性に 0 を付けた 7 件の提案手法の生成テキストのうち， 6 件において「0円」という表現が含まれていることが分かった。また, 「0円」という表現は通常の市況コメントでは用いられないため, 価格を “単語”として予測するべースライン手法の語彙には含まれていない，そのため, ベースライン手法では上記のような「0 円超える」といった表現を含む不自然なテキストを生成しない。このことから，評価者はベースライン手法で生成された全ての市況コメントについて流暢性が高いと判定したことが考えられる。

また，人手で書かれた市況コメント (Human)のうち， 5 件の流暢性が低いと判定された理由について確認を行った。その結果， 5 件の市況コメントのいずれにおいても「日経平均、反発して始まる 42 円高、短期的な戻りを期待」といった, 価格の言及方法について独特の略し方が用いられていることが分かった。 その要因として，本実験では日経平均株価ニュースのへッドラインテキストを市況コメントとして使用しており，文字数やスペース等の制約が存在することが関係していると考えられる。このような略した表現は，ほかの多くの市況コメントでは用いられないことから流暢性が低いと判定されたと考えられる.

## 5.5 各学習データサイズのモデル精度への影響

学習データサイズを変化させた場合のモデル精度への影響について分析を行った. 図 4 に各学習データサイズにおける各モデルの BLEU スコアの比較を示す。分析では, 開発データセットに対する BLEU スコアを算出した，実験結果より，学習データサイズを 3,000 事例にした時に，ほとんどのモデルにおいて BLEU スコアが飽和していることが分かった. また，各モデル間でスコアの収束の早さに大きな違いは無かった.

図 4 各学習データサイズにおける BLEU スコアの比較

## 6 おわりに

本研究では，日経平均株価を例として，時系列株価データから株価の值動きを概況する市況コメントを自動生成するためのエンコーダ・デコーダモデルを提案した。時系列株価デー夕を概況する市況コメントには，時系列データ中の数値への言及，過去の価格の変動との比較，テキストが書かれる時間帯によって言及する内容が異なる，などの特徴があり，本研究では大きく分けて 3 つの手法を提案し，有用性を示した.

今後の課題として 2 点を挙げる。まず， 1 点目の課題として，時系列株価データのエンコー ド手法のさらなる検討のために，近年さまざまな言語処理タスクで有用性が示されている SelfAttention Network (SAN) をエンコーダとして利用することが挙げられる．SANの利点の 1 つとして, RNNなどの再帰構造のネットワークと比べて, 時系列データにおける各タイムステップ間の依存関係をより短い距離で考慮できることが挙げられる (Vaswani, Shazeer, Parmar, Uszkoreit, Jones, Gomez, Kaiser, and Polosukhin 2017; Shen, Zhou, Long, Jiang, Pan, and Zhang 2018). これにより, 全 62 タイムステップからなる 1 日分の時系列株価データといった長い系列長の時系列データにおける長距離の依存関係をモデル化する能力が向上し，短期的及び長期的な株価の変化を捉える性能が改善することが期待できる。

2 点目の課題として, いつからいつまでの株価の値動きや上げ幅について言及するべきかモデルに考慮させることが考えられる。例えば，実際の日経平均株価の上げ幅が 300 円だったにも拘わらず，現在のモデルでは「日経平均、上げ幅 200 円超える」といった市況コメントを生成することがある。このような生成テキストは，誤りではないが正確な市況コメントとは言えない。この問題を解決するために，モデルが市況コメントを生成する際に，生成テキストで言及する時系列株価データの期間を選択するための機構が必要であると考えられる.

また, 今後の展望として, 天気予報やスポーツなどの様々なドメインにおける時系列データの概況テキストの生成や, 株式市場全体の個別銘柄などの複数の時系列株価デー夕を考慮した市況コメントの生成などが考えられる.

## 謝 辞

本論文は筆者らが国立研究開発法人産業技術総合研究所に在籍中の研究成果をまとめたものです.また, 本論文の一部は, The 55th Annual Meeting of the Association for Computational Linguistics (ACL2017)で発表したものです (Murakami, Watanabe, Miyazawa, Goshima, Yanase, Takamura, and Miyao 2017). この成果は, 国立研究開発法人新エネルギー・産業技術総合開発機構 (NEDO) の委託業務の結果得られたものです.

## 参考文献

Angeli, G., Liang, P., and Klein, D. (2010). "A Simple Domain-Independent Probabilistic Approach to Generation." In Proceedings of the 2010 Conference on Empirical Methods in Natural Language Processing, pp. 502-512. Association for Computational Linguistics.

Aoki, K. and Kobayashi, I. (2016). "Linguistic Summarization Using A Weighted N-gram Language Model Based on the Similarity of Time-series Data." In Proceedings of IEEE International Conference on Fuzzy Systems, pp. 595-601.

Aoki, K., Miyazawa, A., Ishigaki, T., Aoki, T., Noji, H., Goshima, K., Kobayashi, I., Takamura, H., and Miyao, Y. (2019). "Controlling Contents in Data-to-Document Generation with Human-Designed Topic Labels." In Proceedings of the 12th International Conference on Natural Language Generation, pp. 323-332. Association for Computational Linguistics.

Aoki, T., Miyazawa, A., Ishigaki, T., Goshima, K., Aoki, K., Kobayashi, I., Takamura, H., and Miyao, Y. (2018). "Generating Market Comments Referring to External Resources." In Proceedings of the 11th International Conference on Natural Language Generation, pp. 135-139. Association for Computational Linguistics.

Banaee, H., Ahmed, M. U., and Loutfi, A. (2013a). "A Framework for Automatic Text Generation of Trends in Physiological Time Series Data." In Processing of IEEE International Conference on Systems, Man, and Cybernetics, pp. 3876-3881.

Banaee, H., Ahmed, M. U., and Loutfi, A. (2013b). "Towards NLG for Physiological Data Monitoring with Body Area Networks." In Proceedings of the 14th European Workshop on Natural Language Generation, pp. 193-197. Association for Computational Linguistics.

Barzilay, R. and Lapata, M. (2005). "Collective Content Selection for Concept-to-Text Generation." In Proceedings of the Conference on Human Language Technology and Empirical Methods in Natural Language Processing, pp. 331-338. Association for Computational Linguistics.

Belz, A. (2007). "Probabilistic Generation of Weather Forecast Texts." In Proceedings of the 2007 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 164-171. Association for Computational Linguistics.

Chen, D. L. and Mooney, R. J. (2008). "Learning to Sportscast: A Test of Grounded Language Acquisition." In Proceedings of the 25th International Conference on Machine Learning, pp. 128-135.

Cho, K., van Merrienboer, B., Gulcehre, C., Bahdanau, D., Bougares, F., Schwenk, H., and Bengio, Y. (2014). "Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation." In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing, pp. 1724-1734. Association for Computational Linguistics.

Cun, Y. L., Boser, B., Denker, J. S., Howard, R. E., Habbard, W., Jackel, L. D., and Henderson, D. (1990). "Advances in Neural Information Processing Systems 2.". Chap. Handwritten Digit Recognition with a Back-propagation Network, pp. 396-404. Morgan Kaufmann Publishers Inc.

Dale, R., Geldof, S., and Prost, J.-P. (2003). "CORAL: Using Natural Language Generation for Navigational Assistance." In Proceedings of the 26th Australasian Computer Science Conference, pp. 35-44.

Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. (2019). "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1, pp. 4171-4186. Association for Computational Linguistics.

Freitas, F. D., De Souza, A. F., and de Almeida, A. R. (2009). "Prediction-Based Portfolio Optimization Model Using Neural Networks." Neurocomputing, 72 (10), pp. 2155-2170.

Gatt, A. and Krahmer, E. (2018). "Survey of the State of the Art in Natural Language Generation: Core Tasks, Applications and Evaluation." Journal of Artificial Intelligence Research, 61 (1), pp. 65-170.

Gkatzia, D., Hastie, H., and Lemon, O. (2014). "Comparing Multi-label Classification with Reinforcement Learning for Summarisation of Time-series Data." In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics, pp. 1231-1240. Associa-
tion for Computational Linguistics.

Glorot, X., Bordes, A., and Bengio, Y. (2011). "Deep Sparse Rectifier Neural Networks." In Gordon, G., Dunson, D., and Dudík, M. (Eds.), Proceedings of the Fourteenth International Conference on Artificial Intelligence and Statistics, Vol. 15 of Proceedings of Machine Learning Research, pp. 315-323. PMLR.

Goldberg, E., Driedger, N., and Kittredge, R. I. (1994). "Using Natural-Language Processing to Produce Weather Forecasts." IEEE Expert, 9 (2), pp. 45-53.

Gu, J., Lu, Z., Li, H., and Li, V. O. (2016). "Incorporating Copying Mechanism in Sequenceto-Sequence Learning." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics, pp. 1631-1640. Association for Computational Linguistics.

Gulcehre, C., Ahn, S., Nallapati, R., Zhou, B., and Bengio, Y. (2016). "Pointing the Unknown Words." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics, pp. 140-149. Association for Computational Linguistics.

Hochreiter, S. and Schmidhuber, J. (1997). "Long Short-Term Memory." Neural Computation, 9 (8), pp. 1735-1780.

Iso, H., Uehara, Y., Ishigaki, T., Noji, H., Aramaki, E., Kobayashi, I., Miyao, Y., Okazaki, N., and Takamura, H. (2019). "Learning to Select, Track, and Generate for Data-to-Text." In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 2102-2113. Association for Computational Linguistics.

Kim, J. and Mooney, R. J. (2010). "Generative Alignment and Semantic Parsing for Learning from Ambiguous Supervision." In Proceedings of the 23rd International Conference on Computational Linguistics, pp. 543-551.

Kingma, D. P. and Ba, J. (2015). "Adam: A Method for Stochastic Optimization." In Proceedings of the 3rd International Conference on Learning Representations.

Koehn, P. (2004). "Statistical Significance Tests for Machine Translation Evaluation." In Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing, pp. 388-395. Association for Computational Linguistics.

Konstas, I. and Lapata, M. (2012). "Unsupervised Concept-to-Text Generation with Hypergraphs." In Proceedings of the 2012 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 752-761. Association for Computational Linguistics.

Konstas, I. and Lapata, M. (2013). "Inducing Document Plans for Concept-to-Text Generation." In Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing, pp. 1503-1514. Association for Computational Linguistics.

Kukich, K. (1983). "Design of A Knowledge-Based Report Generator." In Proceedings of the 21st Annual Meeting of the Association for Computational Linguistics, pp. 145-150. Association for Computational Linguistics.

Lebret, R., Grangier, D., and Auli, M. (2016). "Neural Text Generation from Structured Data with Application to the Biography Domain." In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 1203-1213. Association for Computational Linguistics.

Li, J., Galley, M., Brockett, C., Spithourakis, G., Gao, J., and Dolan, B. (2016). "A PersonaBased Neural Conversation Model." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics, pp. 994-1003. Association for Computational Linguistics.

Liang, P., Jordan, M., and Klein, D. (2009). "Learning Semantic Correspondences with Less Supervision." In Proceedings of Association for Computational Linguistics and International Joint Conference on Natural Language Processing, pp. 91-99. Association for Computational Linguistics.

Liu, T., Wang, K., Sha, L., Chang, B., and Sui, Z. (2018). "Table-to-Text Generation by Structure-Aware Seq2seq Learning." In Proceedings of the 32nd AAAI Conference on Artificial Intelligence, pp. 4881-4888.

Lu, W., Ng, H. T., and Lee, W. S. (2009). "Natural Language Generation with Tree Conditional Random Fields." In Proceedings of the 2009 Conference on Empirical Methods in Natural Language Processing, pp. 400-409. Association for Computational Linguistics.

Luong, T., Sutskever, I., Le, Q., Vinyals, O., and Zaremba, W. (2015). "Addressing the Rare Word Problem in Neural Machine Translation." In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 11-19. Association for Computational Linguistics.

Mei, H., Bansal, M., and Walter, M. R. (2016a). "Listen, Attend, and Walk: Neural Mapping of Navigational Instructions to Action Sequences." In Proceedings of the 30th AAAI Conference on Artificial Intelligence, pp. 2772-2778.

Mei, H., Bansal, M., and Walter, M. R. (2016b). "What to Talk about and How? Selective Generation using LSTMs with Coarse-to-Fine Alignment." In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 720-730. Association for Computational Linguistics.

Murakami, S., Watanabe, A., Miyazawa, A., Goshima, K., Yanase, T., Takamura, H., and Miyao,

Y. (2017). "Learning to Generate Market Comments from Stock Prices." In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1374-1384. Association for Computational Linguistics.

Papineni, K., Roukos, S., Ward, T., and Zhu, W.-J. (2002). "BLEU: A Method for Automatic Evaluation of Machine Translation." In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318. Association for Computational Linguistics. https://openai.com/blog/better-language-models/.

Portet, F., Reiter, E., Gatt, A., Hunter, J., Sripada, S., Freer, Y., and Sykes, C. (2009). "Automatic Generation of Textual Summaries from Neonatal Intensive Care Data." Artificial Intelligence, 173 (7-8), pp. 789-816.

Radford, A., Wu, J., Child, R., Luan, D., Amodei, D., and Sutskever, I. (2019). "Language Models are Unsupervised Multitask Learners.".

Reiter, E., Sripada, S., Hunter, J., Yu, J., and Davy, I. (2005). "Choosing Words in ComputerGenerated Weather Forecasts." Artificial Intelligence, 167 (1-2), pp. 137-169.

Rush, A. M., Chopra, S., and Weston, J. (2015). "A Neural Attention Model for Abstractive Sentence Summarization." In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 379-389. Association for Computational Linguistics.

Sha, L., Mou, L., Liu, T., Poupart, P., Li, S., Chang, B., and Sui, Z. (2018). "Order-Planning Neural Text Generation From Structured Data." In Proceedings of the 32nd AAAI Conference on Artificial Intelligence, pp. 5414-5421.

Shen, T., Zhou, T., Long, G., Jiang, J., Pan, S., and Zhang, C. (2018). "DiSAN: Directional Self-Attention Network for RNN/CNN-free Language Understanding." In Proceedings of the 32nd AAAI Conference on Artificial Intelligence, pp. 5446-5455.

Song, K., Tan, X., Qin, T., Lu, J., and Liu, T.-Y. (2019). "MASS: Masked Sequence to Sequence Pre-training for Language Generation." In International Conference on Machine Learning, pp. 5926-5936.

Sutskever, I., Vinyals, O., and Le, Q. V. (2014). "Sequence to Sequence Learning with Neural Networks." In Proceedings of the 27th International Conference on Neural Information Processing Systems, pp. 3104-3112.

田川裕輝, 嶋田和孝 (2018). スポーツ要約生成におけるテンプレート型手法とニューラル型手法の提案と比較. 自然言語処理, 25 (4), pp. 357-391.

Taniguchi, Y., Feng, Y., Takamura, H., and Okumura, M. (2019). "Generating Live Soccer-Match Commentary from Play Data." In Proceedings of the 33rd AAAI Conference on Artificial Intelligence, pp. 7096-7103.

Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., and Polosukhin, I. (2017). "Attention is All You Need." In Guyon, I., Luxburg, U. V., Bengio, S., Wallach, H., Fergus, R., Vishwanathan, S., and Garnett, R. (Eds.), Advances in Neural Information Processing Systems 30, pp. 5998-6008. Curran Associates, Inc.

Vijayarani, S., Ilamathi, M. J., and Nithya, M. (2015). "Preprocessing Techniques for Text Mining: An Overview." International Journal of Computer Science 83 Communication Networks, 5 (1), pp. 7-16.

Vinyals, O., Toshev, A., Bengio, S., and Erhan, D. (2015). "Show and Tell: A Neural Image Caption Generator." In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 3156-3164.

Wong, Y. W. and Mooney, R. (2007). "Generation by Inverting a Semantic Parser that Uses Statistical Machine Translation." In Proceedings of the 2007 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 172-179. Association for Computational Linguistics.

Zhang, D., Yuan, J., Wang, X., and Foster, A. (2018). "Probabilistic Verb Selection for Datato-Text Generation." Transactions of the Association for Computational Linguistics, 6, pp. 511-527.

Zhang, G. P. and Qi, M. (2005). "Neural Network Forecasting for Seasonal and Trend Time Series." European Journal of Operational Research, 160 (2), pp. 501-514.

## 略歴

村上聡一朗 : 2015 年熊本高等専門学校専攻科電子情報システム工学専攻修了. 2017 年東京工業大学大学院博士前期課程修了. 同年, 株式会社 NTT ドコモに入社. 2019 年より, 東京工業大学工学院博士後期課程に在籍. 自然言語処理, 特に自然言語生成, 機械翻訳に関する研究開発に従事. ACL, 言語処理学会, 各会員.

渡邊亮彦：2012 年群馬工業高等専門学校専攻科生産システム工学専攻修了. 2014 年東京工業大学大学院総合理工学研究科博士前期課程修了. 同年, 同研究科博士後期課程に進学. 2018 年より, 株式会社 EduLab にて機械学習を活用したプロダクトの研究開発に従事.

宮澤彬：2012 年早稲田大学政治経済学部経済学科卒業. 2014 年より総合研究大学院大学複合科学研究科情報学専攻博士課程に在籍. 自然言語処理、特にメタファーへの計算的アプローチに関心を持つ。

五島圭一：2012 年慶應義塾大学経済学部卒業. 2014 年慶應義塾大学大学院経
営管理研究科修士課程修了. 2017 年東京工業大学大学院総合理工学研究科知能システム科学専攻博士後期課程修了. 博士 (工学).日本銀行金融研究所を経て, 2019 年より早稲田大学商学部講師.

柳瀬利彦：2005 年東京大学工学部電子情報工学科卒業. 2007 年東京大学大学院新領域創成科学研究科基盤情報学専攻修士課程修了. 2010 年同大学大学院にて博士後期課程を修了。博士 (科学)。株式会社日立製作所を経て，2018 年より株式会社 Preferred Networks にて機械学習及びブラックボックス最適化に関する研究開発に従事. 人工知能学会, Association for Computing Machinery の会員.

高村大也：1997 年東京大学工学部計数工学科卒業. 2000 年同大大学院工学系研究科計数工学専攻修了 (1999 年はオーストリアウィーン工科大学にて研究). 2003 年奈良先端科学技術大学院大学情報科学研究科博士課程修了. 博士 (工学)． 2003 年から 2010 年まで東京工業大学精密工学研究所助教. 2006 年にはイリノイ大学にて客員研究員. 2010 年から 2016 年まで同准教授. 2017 年より同教授および産業技術総合研究所人工知能センター知識情報研究チー ム研究チーム長. 計算言語学, 自然言語処理を専門とし, 特に機械学習の応用に興味を持つ。

宮尾祐介：2000 年東京大学大学院理学系研究科修士課程修了. 2001 年より同大学にて助手, 2007 年より助教. 2006 年同大学大学院にて博士号（情報理工学）取得. 2010 年より国立情報学研究所准教授，2018 年より東京大学教授.構文解析, 意味解析などの自然言語処理基盤技術とその応用の研究に従事.人工知能学会, 情報処理学会, 言語処理学会, Association for Computational Linguistics 各会員.

(2019 年 11 月 1 日受付)

(2020 年 2 月 1 日再受付)

(2020 年 3 月 3 日採録)


# 世界史用語集の語釈文における 見出し語に照応するゼロ代名詞とその表層格の推定

本稿では，世界史に関する大学入試論述問題に対して自動要約手法に基づき解答を 自動生成する際の知識源の一つとして世界史用語集に注目し, 見出し語と語积部に 分かれている文書データから解答となる文章を作成するために，語釈文における見出し語に照応するゼロ代名詞とその表層格を推定する手法を提案する。本稿の扱う タスクは, 先行詞候補が見出し語に限られている一方でそれに照応するゼロ代名詞 を複数の候補から一つ選ぶという点, および先行詞である見出し語が文中に存在し ないため, 照応解析において有効な手掛かりとなる先行詞の文脈情報が全く使えな いという点で, 従来のゼロ代名詞照応解析とは異なる。世界史用語集を対象とした 評価実験を行った結果，KNP を用いた既存のゼロ照応解析を使用した手法に比べ，提案手法が有効であることが確認された。 さらに, 出現頻度の低い表層格で埋め込 まれる場合の精度低下が観察されたため, 通常の文から擬似訓練事例を生成する手法を検討した。同事例を使用した結果，ヨ格，二格の推定の F 値を改善できること が確認された。

キーワード：ゼロ代名詞照応解析，擬似訓練事例，表層格推定，照応解析，世界史用語集
## A New Method to Find Zero Pronouns Referring to Entry Words and Estimate their Surface Cases in the Context of a World History Glossary and its Descriptions

\begin{abstract}
Kosuke Oya ${ }^{\dagger}$, Kotaro Sakamoto ${ }^{\dagger}$, Hideyuki Shibuki ${ }^{\dagger \dagger}$ and Tatsunori Mori ${ }^{\dagger \dagger \dagger}$
In this paper, we focus on the usage of a world history glossary as one of the knowledge sources for automated answer generation of essay-type questions. The questions we use were derived the University of Tokyo's entrance examinations on world history, and the answer generation uses a multi-document summarization methodology. In the automated answer generation, the glossary's descriptions we used as part of the answers. However, entry words were often omitted from the descriptions. To make complete sentences from entry words and their description, we propose a method to
\end{abstract}

find zero pronouns referring to entry words inside the descriptions and estimate their surface cases. This paper's task differs from conventional zero anaphora resolution in the following two ways. First, with this method the entry word is the only candidate for the antecedent, as opposed to having to select one zero pronoun among several zero pronouns. Second, context information of the antecedent, which may be a useful clue in anaphora resolution, does not exist for the entry words, because the entry word appears alone and is not embedded in a sentence. Evaluation results based on a world history glossary revealed that the proposed method would be more effective than the existing method using zero anaphora analysis with Kurohashi-Nagao Parser. Furthermore, we attempted a method to generate pseudo training data from ordinary sentences in a textbook because we observed low accuracy when the entry word was embedded with low-frequency surface cases. Additionally, the results demonstrated that the introduction of the data improves the estimation of "o"-case and "ni"-case in terms of $\mathrm{F}$-measure.

Key Words: Zero Anaphora Resolution, Pseudo Training Data, Surface Cases Estimation, Reference Resolution, World History Glossary

## 1 はじめに

近年, 文書情報に対する情報要求は複雑化，高度化しており，そのような要求を満たすアクセス技術として質問応答が注目されている。質問応答とは，利用者の自然言語による質問に対して情報源となる文書集合から解答そのものを抽出する技術であり，複雑高度な情報要求を自然言語で表現できる点に特徴がある.

しかしながら, 従来の質問応答に関する研究では, 「アメリカの大統領は誰ですか？」といった比較的簡単な形式の質問を扱うものが多く, 質問の確信に至るまでの背景や経緯を複数文にわたって説明したりする現実世界の質問状況とは異なる場合がある。そのような現実世界における質問に対する質問応答を目的とした取り組みは，TRECの Live QA (Agichtein, Carmel, Harman, Pelleg, and Pinter 2015) や NTCIR の QA Lab (Shibuki, Sakamoto, Yoshinobu Kano, Ishioroshi, Itakura, Wang, Mori, and Kando 2014; Shibuki, Sakamoto, Ishioroshi, Fujita, Kano, Mitamura, Mori, and Kando 2016; Shibuki, Sakamoto, Ishioroshi, Kano, Mitamura, Mori, and Kando 2017),「ロボットは東大に入れるか」プロジェクト（以下，「東ロボプロジェクト」）(新井, 松崎 2012) などで盛んに行われている.

現実世界における質問のように，質問の背景を複数文にわたって説明する記述や，解答が複数文を含む文章となるような質問の例として，大学入試問題が挙げられる。大学入試問題には大学入試センター試験と二次試験があり, 二次試験の世界史分野には数十字から数百字以内で解答を記述する論述問題が含まれていることがある，QA Labでは, 世界史の大学入試問題を対象としており, 特に二次試験の論述問題への自動解答が挑戦的な課題として設定されている.
先行研究 (阪本, 中山, 渋木, 石下, 森, 神門 2016) では, 情報要求の存在する抽出型の複数文書要約としてこの課題を位置づけ, 教科書や用語集等の知識源から句点区切りの単位でテキストを抽出・整列して論述問題に解答する質問応答システムを提案している。知識源に使用される用語集は見出し語と語釈部に分かれて構成されており，語釈部には見出し語が明示されていないため，語釈部を句点で区切った文（以下，「語釈文」という）だけをそのまま解答文に含めてしまうと，何について述べているかわからない文になってしまう．また，論述問題において解答に含めなければならない指定語句が見出し語となっている場合, 語釈文だけから解答を構成すると大きく減点されてしまう。

このような背景から，上述の既存システムでは，用語集の語釈文を解答の材料として抽出した際には，見出し語を文頭に主題として付け加えた文を生成し，これを解答の一部とする手法を提案している。しかしながら，この手法によって生成された文は，文法的に誤りがある場合や，解答文に適していない場合がある 1.

これらの問題を解消するためには，

（i）見出し語を語釈文に埋め込むことができるか，否か，すなわち，語釈文の述語の省略された項をゼロ代名詞とみなした場合, 見出し語がその先行詞となるか, 否かを判定する.見出し語を埋め达むことができる，すなわち，見出し語が先行詞となるのであれば，見出し語の表層格を推定する.

(ii) 問題文ならびに論述文章の前後の文等から何を主題にするかを決定し，それに応じて格交替などを行い論述問題の解答の一部とする.

ことが必要である。本稿では, (i) に掲げた課題を解決するために, 語釈文中の各動詞に着目し, それが見出し語に照応するゼロ代名詞を持つか否かを判定するとともに，持つ場合にはその表層格を推定する手法を検討する。(ii)については，今後の課題とする。

また, 提案手法は, 教師あり学習に基づく手法となっているため, 訓練事例を必要とするが,用語集の形式をした事例は数に限りがあり，特定の表層格で埋め込む場合の事例が限られていることが観察された，そのため，訓練事例数が少ないという問題を解消するために，擬似訓練事例の自動生成を行う.

本稿の以降の章では次の内容を述べる。 2 章では既存の世界史論述解答システムの概要とその問題点を述べ，本研究で提案する解決策を述べる。 3 章では世界史用語集に関して予備調査を行った結果について述べる. 4 章では本研究の関連研究について述べる. 5 章では見出し語に照応するゼロ代名詞とその表層格を推定する手法を提案する． 6 章では実験結果を報告し， 7 章で考察， 8 章でまとめとする.

## 2 世界史論述問題解答システム

## 2.1 大学入試における世界史論述問題の構成

例えば，東京大学入試二次試験における世界史は 3 問の大問から成っており，大問毎に，大論述, 小論述, 語句と解答の形式が異なっている。本稿では, 問 1 の大論述問題を対象とする.問 1 の質問文は，図 1 のようにコンテキスト部と制約指定部からなっており，コンテキスト部を読ませ，制約指定部で指定される字数制約 450 字〜 600 字， 7 個 9 個の指定語句，「17 世紀から 18 世紀末まで」のような時間制約などを満たすコンテキスト部に関連する解答が求められる.この問題に対する解答例 (佐藤 2017) を図 2 に示す.

図 1 東京大学 2008 年度入試二次試験における世界史の問 1

図 2 東京大学 2008 年度入試二次試験における世界史の問 1 に対する解答例

## 2.2 解答システムの事例とその問題点

Sakamoto et al. (Sakamoto, Ishioroshi, Matsui, Jin, Wada, Nakayama, Shibuki, Mori, and Kando 2016) では，東京大学入試二次試験の世界史分野の指定語句ありの論述問題を対象とした質問応答システムの構築を検討している。論述問題を情報要求の存在する抽出型の複数文書要約として位置づけ, 論述問題を解く際には, 知識源として教科書 4 冊と用語集 1 冊を利用している.

同研究で提案されている大学入試の論述問題における質問応答システムの概要を図 3 に示す.同システムが論述問題を解く手順は次の通りである.

まず最初に, 質問文として東京大学入試二次試験世界史問 1 の問題文を入力する. 第一段階の「質問文解析」では，質問文から，問題文，指定語句，制限文字数，指定された時間情報を抽出する．第二段階の「関連文書の検索」では，文書検索モジュールを用いて知識源から指定語句を含む文書を検索する．第三段階の「文の抽出」では，知識源から指定語句を含む文を句点区切りで抽出する。この際，用語集から抽出した文に対しては文頭に見出し語を主題として埋め込む．第四段階の「文の組の生成」では，同じ指定語句を含む文をまとめて指定語句ごとに

図 3 世界史論述問題解答システムの概要
組を作成する，第五段階の「文の順位付け」では，解候補としての相応しさを表すスコアを文に付与し，そのスコアを基に文の組の中で順位付けを行う，スコアが等しい場合は文の文字数が多い順に順位づける，第六段階の「解候補生成」では，それぞれの文の組の上位 5 文から 1 文ずつ選択し組み合わせることで複数の解候補を生成する。第七段階の「文の並べ替え」では,解候補中の文を文の時間情報を基に古い順に並べる，第八段階の「解候補の削減」では，字数制約に反する解候補は削除する。もし字数制約を満たす解候補が存在しない場合は最小字数の解候補のみ残す。第九段階の「解候補順位付け」では，それぞれの解候補に解答らしさのスコアをつけて，スコアを基に順位付けを行う。解候補の解答らしさのスコアは解候補に含まれる文のスコアの合計で計測する。第十段階の「解候補選択」では，解答らしさのスコアが最大の解候補を選択する，以上のように，この研究では指定語句で検索して，知識源の中から解答と思われる記述を文単位で抽出している。

知識源のうちの 1 つである世界史用語集は表 1 のように見出し語と語釈部に分かれて構成されている。上記第三段落において，論述問題に解答する際に，この語釈部を句点で区切った文だけをそのまま解候補の一部に含めてしまうと，何について述べているかわからない文になってしまう。また，論述問題において解答に含めなければならない指定語句が見出し語となっている場合，見出し語を含まない語釈文だけから解答を構成すると大きく減点されてしまう。このため上述のシステムでは，用語集の語釈文を解答の材料として抽出した際には，助詞「は」を添えた見出し語を文頭に付け加えた文を生成する手法を提案している．図４の下線部はそれぞれ用語集から語釈文を抽出し，この手法を適用した文である.

この手法は, 図 4 下線部 (1)のようにコピュラ文となる場合等には文法的に問題ないが, 語釈文によっては図 4 下線部 (2) のように文法的に誤りのある文が生成され得るという問題点がある. また, この手法によって得た文の主題は図 4 下線部 (3) のようにかならず見出し語になるため，解答文に適していない場合がある。例えば図 1 に示す 2008 年度の問 1 は，各国の動き

表 1 用語集の見出し語と語釈部の例

 \\

を述べよという問題であり, 図 2 に示す模範解答 2 ではイギリスを主題として文章が展開されているが，上記手法による解答では，国ではない「クリミア戦争」という出来事が主題となっており，解答に適している文であるとは言えない.

## 2.3 本研究で提案する解決策

2.2 節で述べたような問題を解消するためには,

（i） 見出し語を語釈文に埋め込むことができるか，否かを判定する，埋め込めるのであれば，見出し語の表層格を推定する.

(ii) 問題文ならびに論述文章の前後の文等から何を主題にするかを決定し，それに応じて格交替などを行い論述問題の解答の一部とする.

ことが必要である。これらを行うことにより，例えば図 4 下線部 (2) のような文を図 5 のように解答に適した文にすることができる。具体的には，図 3 の第三段階の「文の抽出」により語釈文を抽出した後，（i）を行い，見出し語である「クリミア戦争」が「参戦する」の「二格」に埋め込むことができることを推定する。 さらに図 3 の第七段階の「文の並び替え」を行った後に (ii)を行い，問題文から国名「イギリスとフランスなど」を主題にすることを決定し，助詞「は」を添えて文頭に置く。

図 4 東京大学 2008 年度入試二次試験における世界史の問 1 に対する, 先行研究のシステムによる解答

## (2)イギリスとフランスなどは，東地中海へのロシアの南下を阻止するため， 1854年オスマン帝国側について(1)クリミア戦争に参戦した。

図 5 本研究の提案する解決策により期待される文例

ビスマルクは，外交ではフランスを孤立させた。

図 6 先行研究により出力されたものを簡略化した，格交替が必要な文例

フランスは，ビスマルクにより外交で孤立させられた。

図 7 本研究の提案する解決策により期待される文例 2

次に，格交替が必要な例を挙げる，図 6 の文例は，図 1 の問題に対して，先行研究のシステムから出力された解候補中の一文を簡略化したものである。この文に関しても，国名「フランス」を主題にすることが望ましいが，この場合，「ビスマルク」の格が何であるのかを推定する必要がある。さらに，「フランス」はタ格の項となっているためそのまま主題にすると，不自然な文となってしまう。この例では，見出し語である「ビスマルク」が「孤立させる」の「ガ格」 に埋め込むことができることを推定した後，「フランス」を主題にすることを決定し，「孤立させる」を「孤立させられる」のように受動態に書き換え格交替をすることが望ましい（図 7）。

1 章でも述べたように，本稿では (i) に掲げた課題を解決するために，語釈文中の各動詞に着目し，それが見出し語に照応するゼロ代名詞を持つか否かを判定するとともに，持つ場合にはその表層格を推定する手法を検討する。(ii)については，今後の課題とする.

## 3 世界史用語集の見出し語と語釈文の関係に関する予備調査

## 3.1 調査の目的と方法

2.3 節で提案した解決策を適用する必要がある文が世界史用語集の語釈部にどの程度存在するかを明らかにし，具体的なタスクの定義をするために，株式会社山川出版社・世界史 B 用語集改訂版 (全国歴史教育研究協議会 2008) を対象に，見出し語と語釈文との間の照応に関する以下の調査を行った. 分析対象には用語集の見出し語 7,037 語の中から 70 語間隔で抽出した見出し語 100 語とその語釈部に現れる全文を用いた。また，以下の調査は全て単文単位で行う。すなわち語釈文が複文，重文になっている場合には，述語単位に切り分けたものに対して各調査における分類を行う。

## 調査 1

見出し語と語釈文中の単文の関係を「1．単文においてゼロ代名詞化された格要素の一つが,見出し語に照応する」，「2．単文が，主題がゼロ代名詞化されたコピュラ文で，ゼロ代名詞が見出し語に照応する」，「3．単文中に見出し語そのものが現れている」，「4. 単文に現れる代名詞が見出し語に照応する」，「5．1～4のいずれでもない」のいずれかに人手で分類し，出現数を調

べる. それぞれに分類される語釈文中の単文および見出し語の例を表 2 に示す. 分類 1 の例では,「行われた」の「ガ格」の格要素がゼロ代名詞化しており, 見出し語の「聖職売買」に照応している。分類 2 の例では，「エピクロス=サモス島出身の哲学者」の関係が成り立っており，コピュラ文である。この場合先行研究の手法を適用できる。分類 3 の例では見出し語「四書」が語釈文に含まれている。分類 4 の例では代名詞「この (危機)」が見出し語「金融恐慌」に照応している．分類 5 の例は分類 1 分類 4 に該当せず，単文中に見出し語を埋め込むことはできない.

## 調査 2

表 3 の分類 1 にはゼロ代名詞化された見出し語に照応する格要素が「動詞」「形容詞・形容動詞」「名詞」のうちどの品詞に関わる格要素であるかという観点で人手で分類を行い，その出現数について調べる。ここで用言のとる格は「が・を・に・で・と・から・へ・まで・より」格であり，名詞のとる格は「の」格のみである.

## 調査 3

動詞のいずれかの格要素になっている場合の表層格毎の出現数についても人手で調べる.

## 調査 4

動詞のいずれかの格要素になっている場合について, 表層格毎, 節の種類毎の分布について NPを用いて調べる.

表 2 語釈文中の単文と見出し語の関係の分類毎の例

表 3 語釈文中の単文と見出し語との間の関係の分類ならびにその出現数（調査 1 の結果）

## 3.2 調査結果および本研究のタスク定義

調査 1 の結果を表 3 に示す.「3．単文中に見出し語そのものが現れている」「4. 単文に現れる代名詞が見出し語に照応する」場合は非常に少なく，「1. 単文においてゼロ代名詞化された格要素の一つが, 見出し語に照応する」場合が多いことがわかった.

調査 2 の結果を表 4 に示す。 ゼロ代名詞化された格要素が見出し語に照応する場合, 動詞の格要素になっている場合が非常に多いが, 名詞の格要素になっている事例, 形容詞・動詞の格要素になっている事例も見られた。

調査 3 の結果を表 5 に示す。動詞の格要素になっている場合（表 4 の A)，表層格は「ガ格」「ヲ格」「二格」「デ格」「ト格」「カラ格」となる場合があった．表 5 を見ると「ガ格」の事例数が最も多く,「ヲ格」「二格」「デ格」の事例数は少なく,「ト格」「カラ格」の事例数は非常に少ない. 用語集の語釈文に対して先行研究の手法 3 を適用した時に意味がわかりにくくなってしまう事例は特に，見出し語が「ヲ格」「二格」「デ格」など「ガ格」以外の格に埋め迄むことができる場合である。例えば，図 8 は「聖職売買」が「行われた」の「ガ格」に埋め込める場合であるが，この場合先行研究の手法においても，生成された文単体としては，適格な文となっている ${ }^{4}$. しかし, 図 9 のように「クリミア戦争」が「参戦した」の「二格」に埋め込める場合は，先行研究の手法を適用すると文単体として意味がわかりにくい文になってしまう．そのため「ヲ格」「二格」「デ格」に埋め込めることを正しく推定することは重要であると言える.

調查 4 の結果を表 6 に示す.この表を見ると，見出し語が動詞の格要素になっている場合に

表 4 語釈文中の単文においてゼロ代名詞化された格要素と見出し語との間の分類ならびにその出現数 (調査 2 の結果)

表 5 動詞の格要素になっている場合の表層格毎の出現数（調查 3 の結果）

聖職売買は、教会が腐敗した9〜10世紀にさかんに行われた。

図 8 見出し語が下線部動詞の「ガ格」に埋め込める時に Sakamoto et al. (2016)の手法を適用した場合

図 9 見出し語が下線部動詞「二格」に埋め込める時に Sakamoto et al. (2016)の手法を適用した場合

表 6 動詞の格要素になっている場合の表層格毎, 節の種類毎の出現数（調査 4 の結果）

その動詞が連体節の一部であるという事例は極めて少ない.

これらの調査結果をふまえ, 本研究のタスク定義を以下に述べる。本研究では, 語釈文中の各動詞について, ゼロ代名詞化された格要素の一つが, 見出し語に照応しているか否か, すなわち, 表 4 の A であるか否かを判定し, 表 4 の A である場合はさらにその表層格を推定する.埋め込める場合の表層格は，「ガ格」「ヲ格」「二格」「デ格」「ト格」「カラ格」となるケースがあったが，「ト格」「カラ格」となるケースは非常に少なかった。そのため本研究では「埋め込めない」「ガ格」「ヲ格」「二格」「デ格」「それ以外の格」のうちのどれであるかを推定する。また，表 3 の分類 2 に属すコピュラ文については，体言止めの文でありその体言がサ変名詞以外であるか否か，という簡単な条件で判定できる ${ }^{5}$ 。その場合は，助詞「は」を添えて見出し語を文頭に置くだけで良いので，本研究の扱うタスクの対象としない. よって本研究の扱うタスクは，用語集の見出し語と語釈文を入力とし，語釈文中の各動詞句 ${ }^{6}$ に対して「埋め込めない」,「ガ格」，「デ格」，「ヲ格」，「二格」，「それ以外の格」のいずれかのラべルを出力するという多クラス分類問題とする。その際，対象となる動詞句が受身形，および使役形の場合であっても原型に戻さず，それぞれの態のままで表層格の推定を行う，入力と出力の例を図 10 に示す.

## 4 関連研究

日本語では格要素の省略が頻繁に起きることから, 日本語ゼロ代名詞照応解析に関する研究
^{6} \mathrm{KNP}$ の解析の結果，<用言:動＞タグがふられた句を動詞句としている.
}

図 10 本研究が扱うタスクにおける入出力例

が多く行われている。大規模格フレーム (河原，黒橋 2005,2006 )を使用した手法としては，文内・文間両方のゼロ照応を対象とし，構文的手掛かりおよび大規模格フレームによる語彙的手掛かりを素性とした対数線形モデル (Sasano and Kurohashi 2011) や，格フレームの汎化を利用したニューラルネットゼロ照応解析モデル (山城，西川，徳永 2018)，外界照応および著者$\cdot$読者表現を考慮したゼロ照応解析 (Hangyo, Kawahara, and Kurohashi 2013) などがある．機械学習を用いた手法としては, 文内ゼロ照応を対象とし, 文の構造を素性として取り入れた手法 (飯田, 乾, 松本 2006) や, フィードフォワードニューラルネットワーク (FNN) とリカレントニューラルネットワーク (RNN) を組み合わせて使用した手法 (Matsubayashi and Inui 2017) などがある.

これらの関連研究はいずれもWeb テキストや新聞記事などの文章中のゼロ代名詞照応解析を行っているのに対し，本研究では世界史用語集を対象とし，質問応答における解答の流暢性の向上を目的としている。一般的なゼロ代名詞照応解析のタスクでは，ある格にあるゼロ代名詞に注目したうえで，先行する名詞句群から高々一つの候補を選択することを行っている。一方で，本研究の扱うタスクでは先行詞を用語集の見出し語に限定した上で，それに照応できるゼ口代名詞（とその格）を高々一つ選択することを行っている. さらに, 先行詞である見出し語は, 単独で表示され，文中に存在するわけではないため, 照応解析において有効な手掛かりとなる先行詞の文脈情報がまったく使えないという点が特徴的である.

また，擬似訓練事例を利用した研究としては，Q\&A サイトの質問分類において，Q\&Aに対して擬似的な分類ラベルを付与したデータを利用して特徴表現の収集を行った研究 (大森，森田, 泓田, 青江 2015) や, 単語分散表現において, 学習を高速化させるために擬似的に負例をいくつかサンプリングし損失を算出する手法である Negative Sampling (Goldberg and Levy 2014) などが挙げられる。ゼロ代名詞照応解析の夕スクにおいて擬似訓練事例を利用した研究としては, 中国語ゼロ代名詞照応解析の研究 (Liu, Cui, Yin, Zhang, Wang, and Hu 2017) がある. この研究では文章中に 2 回以上出てくる名詞に着目し, より後の方に出現する名詞を取り除いた

ものを，ゼロ代名詞に見立てて擬似訓練事例としている。この研究では，文章中に 2 回以上出現する名詞の一方を取り除いているのに対し，本研究では 1 回しか出現していなくても，それが世界史固有表現である場合には取り除き，見出し語としている点が異なる.

## 5 機械学習を用いた見出し語に照応するゼロ代名詞とその表層格の推定手法

## 5.1 全体の処理の流れ

本節では 3.2 節で述べたタスクを実現する提案手法の概要を述べる。照応解析には大きく規則ベースの手法と学習ベースの手法があるが，照応関係を包括的に捉える規則を書き尽くすことは困難であると考えたため，本研究では学習べースの手法を用いることとした．図 11 に提案手法の処理の流れを示す。提案手法により見出し語に照応するゼロ代名詞の表層格の推定を行う手順は次の通りである。まず最初に，見出し語とそれに対応する語釈文の組を入力とする.第一段階の「構文・格解析」では $\mathrm{KNP}^{7}$ により構文・格解析を行う．第二段階の「動詞句の抽出」では，構文・格解析結果をもとに，＜用言:動＞タグがふられた句を抽出する．第三段階の 「動詞句毎に素性を抽出」では，抽出した動詞句それぞれに対して，KNPの構文・格解析結果, その際に使用された京大格フレーム (河原，黒橋 2006), 日本語語彙大系 (池原 1997) などの言語資源を用いて素性抽出を行う。第四段階の「動詞句毎に表層格を推定」では，第三段階で抽出した素性を入力とし, Support Vector Machine をone-versus-the-rest 法により多クラス分類に拡張したモデルによりそれぞれの表層格を推定する。最後に，第四段階で推定された動詞句毎の表層格を出力とする.

図 11 提案手法の概要

## 5.2 使用する素性

飯田ら (2006)によると, ゼロ代名詞照応解析に使用する素性は一般的に以下の 3 種類に分けられる。

1）対象となるゼロ代名詞を持つ述語の語彙, 統語情報に関する素性

2）先行詞候補に関する語彙，統語，意味，位置情報に関する素性

3）対象となるゼロ代名詞を持つ述語と先行詞候補の対から抽出可能な情報に関する素性語釈文におけるゼロ代名詞照応の場合, 先行詞である見出し語に文脈がないため, これらのうち 2) に含まれる先行詞候補に関する統語，位置情報に関する素性を利用することはできない．本研究では 1) に分類される素性として「節の種類」,「態」,「格の埋まりやすさ」,「すでに埋まっている格」,「動詞の直前に現れやすい格 (直前格)」,「複合格助詞」，2）に分類される素性として「見出し語の意味カテゴリ」，3）に分類される素性として「意味クラス PMI」「意味的な類似度」の合計 6 種類の素性を使用する。「格の埋まりやすさ」「意味クラス PMI」「意味的な類似度」については，KNPの解析時に使用された格フレームをもとに，「ガ格」「デ格」「ヲ格」「ニ格」それぞれに設定する。上記の素性は，いずれも先行研究で使われている素性である.

また，上記の素性では，格助詞を付与した見出し語を語釈文に埋め込んで作られる文（以下，「見出し語を埋め込んだ文」という．）全体の適格性を考慮せず，埋め込む前のそのままの語釈文を解析した際に適用された格フレームを素性抽出に利用している。そのため，本研究で新たに使用する素性として，埋め达み後の適格性を判断することを目的として，見出し語を埋め达んだ文を考慮した「KNP スコア差分」と「再選定格フレーム素性」の 2 つの素性を提案する.

## 5.2.1 ベースライン素性

ゼロ代名詞照応解析における先行研究で活用されてきた以下の素性をべースラインとする.

## 節の種類

ゼロ代名詞を持つ述語の統語的選好を考慮するため, 節の種類を素性として使用する (Hangyo et al. (2013)，3節)，節の種類とは，注目する述語がどの種類の節に含まれているかであり，「主節」「連用節」「連体節」のいずれかになる。KNP の解析結果から得られる。

態

KNP の解析結果から得られる，動詞の態を使用する (Hangyo et al. (2013), 3 節)。「能動形」「受身形」「使役形」のいずれかであり，KNPの解析結果から素性抽出を行う.

## 格の埋まりやすさ

格フレームのそれぞれの格の埋まりやすさは, その格が明示されていない場合に, ゼロ代名詞として省略されているのか, 単にその格が考慮されていないのかの判断の手掛かりになると考えられる。そこで, 格の埋まりやすさの素性として格スロット生成確率を用いる（笹野ら (2011), 5 節)，格フレーム $C F_{i}$ の格スロット $s_{j}$ に格要素が対応付けられている確率 $P\left(A\left(s_{j}\right)=1 \mid C F_{i}, s_{j}\right)$

は， $C F_{i}$ の直前格スロットを $s_{k}$, 格スロット $s_{j}$ の用例数の合計を $n_{j}$ とすると,

$
P\left(A\left(s_{j}\right)=1 \mid C F_{i}, s_{j}\right)=\frac{n_{j}}{n_{k}}
$

と計算する. ここで， $A\left(s_{j}\right)$ は格スロット $s_{j}$ が埋まっている時 1 をる関数である.

## 既に埋まっている格

すでに対応づけられている項がある格に見出し語を埋め込むことができる事例は極めて少ないと考えられる。それぞれの格について，すでにその格に対応づけられた，直接係り受けを持つ項がある場合は 1 ，ない場合は 0 とする（Hangyo et al. (2013)， 3 節)。格の対応づけの判定は KNP により行い，格が明示されているか否かの区別はしていない.

## 用言の直前に現れやすい格である直前格

直前格はその用言の用法の決定に対して重要な役割を果たす (河原，黒橋 2005) ため，直前格が埋まっていない場合には見出し語を埋め込みやすいと考えられる。そのためそれぞれの格に関して直前格であれば 1 ，そうでなければ 0 とする素性を使用する.

## 複合格助詞

「〜として」の「する」や「〜によって」の「よる」などの動詞句は複合格助詞の一部であるが，これらの動詞の格要素に見出し語を埋め込める場合は極めて少ないと考えられる。そのため動詞句が複合格助詞の一部である場合は 1 , そうでなければ 0 とする素性を使用する.

## 見出し語の意味カテゴリ

どのような意味カテゴリに属する見出し語に対する語釈文であるかによって，語釈文中のある格での省略されやすさに偏りがあると考えられる。先行研究では IREX で定義された 8 種類の固有表現を使用することが多いが，本研究では世界史用の固有表現辞書 (石下, 阪本, 中山,渋木，森，神門 2016)の 17 種類の固有表現クラスのうちどのクラスに属するかをバイナリ素性として使用する。世界史固有表現辞書を登録した MeCabにより見出し語を形態素解析し, 固有表現クラスを獲得する。表 7 に，世界史固有表現辞書で定義されている 17 種類の固有表現クラスと，その固有表現クラスに属するサブクラスおよび語の例を示す. サブクラスについては 「意味クラス PMI」や「意味的な類似度」の計算に用いる。

## 意味クラス PMI

ある格スロットにどのくらい先行詞候補が入りやすいかを考慮するため, 見出し語の意味クラスと対象の格スロットの意味クラス情報との間の自己相互情報量 (PMI) を素性として使用する (笹野ら (2011)，5 節)。ここで，意味クラスには日本語語彙大系 (池原 1997) において深さ 5 の位置にある意味属性を使用し，さらに深い位置の意味属性に属する語はその上位の深さ 5 の位置にある意味属性に含める。また，世界史用語集の見出し語が日本語語彙大系にそのまま登録されていることは稀であるため，見出し語の汎化を行う必要がある．見出し語の汎化には世界史固有表現辞書のサブクラスにあたる語を使用する。ただし，見出し語が世界史固有表現辞
表 7 世界史固有表現辞書で定義される固有表現クラスとその固有表現クラスに属するサブクラスおよび語の例

 & コリント式, ロマン主義 \\

書に登録されていない場合には見出し語の末尾の名詞を使用する．対象の格フレーム $C F_{i}$ の格スロット $s_{j}$ の用例における見出し語と同じ意味クラス $C L_{k}$ に属する語の占める割合を，一般のテキストにおける $C L_{k}$ に属する語の占める割合で割ることにより計算する（式 $(2) ）$.

$
\log \left.\{P\left(C L_{k} \mid C F_{i}, s_{j}\right) / P\left(C L_{k}\right)\right.\}
$

格スロット $s_{j}$ の用例に見出し語と同じ意味クラスに属する語が無い場合は一定の小さな値 $\log (0.000001)$ を与える.

## 意味的な類似度

ある格スロットにどのくらい先行詞候補が入りやすいかを考慮するため，世界史固有表現辞書により得られた見出し語のサブクラスにあたる語と, 対象の格スロットの用例との意味的な類似度を日本語語彙大系により計算し（笹野ら (2005) 付録, 式 (1)を使用), 最も値の大きいものを素性として使用する。意味クラス PMI と異なり，用例の出現頻度を考慮せず，1つでも見出し語と意味が類似している語があれば大きな値をとる.

## 5.2.2 本研究で提案する素性

本研究で新たに導入する素性を以下に示す.
表 $8 \mathrm{KNP}$ スコア差分算出例

 \\

教会が腐敗した 9〜10 世紀にさかんに聖職売買を行われた & -61.4 & $-61.4-(-43.2)=-18.2$ \\
教会が腐敗した 9〜10 世紀にさかんに聖職売買に行われた & -61.1 & $-61.1-(-43.2)=-17.9$ \\
教会が腐敗した 9〜10 世紀にさかんに聖職売買で行われた & -59.9 & $-59.9-(-43.2)=-16.7$ \\

## KNP スコア差分

見出し語を埋め达んだ文を KNP で解析した時のスコアから，元の語釈文を KNP で解析した時のスコアを引いたものを「KNP スコア差分」とする．KNP スコアは KNPによる構文・格解析結果のもっともらしさであり，このスコアが高いほど日本語として出現しやすい文であると言える 8 ，そのため，埋め込みの前後でのスコアの差は，埋め込みの良さを表すと考える．表 8 に KNP スコア差分の算出の例を示す。この例では, KNP スコア差分の値が最も大きい（絶対值が一番小さい）ガ格が適切であると判断される.

## 再選定格フレーム素性

見出し語を埋め込んだ文を KNP により解析し，その時に使用された格フレームを使用し，京大格フレームを使用して抽出する素性「格の埋まりやすさ」「意味クラス PMI」「意味的な類似度」「直前格」を再計算・再抽出したものを「再選定格フレーム」素性とする。

## 5.3 擬似訓練事例の利用

3.1 節で述べたとおり，「ヲ格」「二格」「デ格」に関する埋め込みの推定精度は重要である。しかし, これらの格について学習に用いることのできる訓練事例が非常に少ないため, 上手く学習できないことが予想される。また，相対的に割合の低い事例の数を増やすためには，非常に多くの語釈文を正解事例として人手で解析する必要があるが，世界史の分野で見出し語と語釈部に分かれている文書データの数は限られており，正解事例を大量に増やすことは現実的ではない.

この問題を解消するため, 比較的潤沢に入手可能な世界史教科書の記述から擬似訓練事例を自動生成し，これを活用することを提案する，生成手順としては，教科書中の文を句点区切りで分割し，分割されたテキストごとに以下の処理を行う.

（1）「を」「に」「で」のいずれかでマークされた世界史固有表現に注目し，2，3の処理を行う.

（2）その世界史固有表現を文中から取り除き，見出し語とする.

（3）直後の「を」「に」「で」のいずれかの格助詞を取り除き，埋め込みされる表層格の正解

$
\text { ラベルとする. }
$

図 12 に擬似訓練事例の自動生成の例を示す.

この手法によって生成された擬似訓練事例は，大きく分けて 3 種類に分類される．各分類の定義は以下の通りである。分類 A は取り除きたい文節の係先が連体節となっておらず，取り除きたい文節にかかる文節が存在しない事例である。分類 B は取り除きたい文節の係先が連体節となっている事例で，分類 C は取り除きたい文節にかかる文節が存在する事例である。各々の例を図 13, 図 14, 図 15 に示す.ここで, 着目する固有表現および格助詞で構成される文節を <>で囲み, 着目した固有表現が1つの項となっている述語に下線を引いている. 分類 $\mathrm{C}$ の文は，文節を取り除いた結果，係り受け関係が崩れてしまい元の文の意味を維持しなくなってしまうために排除すべき事例であると考えられる。分類 $\mathrm{C}$ に属さない文においても不自然な文となっている場合があるが，自動生成された文が自然であるか不自然であるかを機械的に正確に判別することは難しい. そのため，不自然な文を機械的に取り除く近似的な方法として分類 B を導入している。分類 $\mathrm{B} には$ 多くの場合不自然な文が分類されるが，一部自然な文も含まれて

## 世界史教科書の一文

セルジューク朝は、ビザンツ帝国の軍を破ってアナトリアに進出し、この地
をトルコ化・イスラーム化していった。

(1)「を」「に」「で」でマークされた世界史固有表現に注目訓練データの作成

図 12 擬似訓練事例の自動生成の例

図 13 分類 $\mathrm{A}$

<モンゴルに>蹂躙されたバグダードにかわって、カイロがイスラーム世界の内外を結ぶ国際交易の中心となった

図 14 分類 B

## シーア派に対し、ムハンマドのスンナを尊重し、正統カリフ、ウマイヤ朝、 アッパース朝と続いたくカリフを>正統な指導者と肯定する党派をスンナ派 という

図 15 分類 C

図 16 擬似訓練事例を自動で分類する手順

おり，一方で分類 $\mathrm{A} には$ 多くの場合自然な文が分類されるが，一部不自然な文も含まれている. そこで本研究では自動生成された擬似訓練事例のうち，分類 $\mathrm{C}$ を使用せず，分類 $\mathrm{A}, \mathrm{B}$ のみを使用する。また，自動生成された訓練事例が分類 A，B，Cのどれに該当するかの分類については，KNPの解析結果を利用し図 16 の手順により自動で行う。文節の係り受け関係およびある文節が主節・連用節・連体節のうちどれであるかは KNP の解析結果よりわかる。

## 6 評価実験

見出し語が語釈文に埋め込めるか否かを判定し，埋め込める場合に見出し語の表層格を推定するという本稿の提案する解析手法の有効性を調べるために，ベースライン素性（5.2.1 節）のみを使用した手法と, 従来型のゼロ照応解析に基づく手法による推定精度をそれぞれ求め比較検討する。また，本稿で提案する素性（5.2.2 節）の有効性を調べるために，ベースライン素性に提案素性も加えた手法の推定精度を求め, ベースライン素性のみの手法と比較検討する。さらに，擬似訓練事例の有効性を確認するために，擬似訓練事例の追加の前後における推定精度について比較検討を行う.

なお, 従来型のゼロ照応解析に基づく手法としては，見出し語を 1 文目，語釈文を 2 文目と

した文章を KNPに入力し, 得られた述語項構造解析の結果（これにはゼロ照応解析結果も含まれる）から見出し語を項としている結果のみを取り出して得られたものを出力とする，簡便なものを採用した。

## 6.1 使用するデータと実験設定

評価実験では，世界史用語集 (全国歴史教育研究協議会 2008) 中の見出し語 7,037 語から 3 節で使用した語を除いたもののうち，ランダムに抽出した 900 語とそれに対応する語釈部を使用する.これらの語釈文中のすべての動詞句に対し，見出し語がどの表層格に埋め込むことができるか，もしくは埋め込むことができないかの正解事例を，第一著者が作成したものをデータセットとして使用する，正解ラベル毎の事例数は表 9 の通りである。また，正解ラベル毎，節の種類毎の事例数は表 10 の通りである。全ての実験において，Support Vector Machineの実装には python の機械学習ライブラリである scikit-learn を使用した。 カーネル関数にはRBF を使用し，各パラメータの値はデフォルト值である。また，評価実験は 10 分割交差検定により行い，精度は $\mathrm{F}$ 値によって評価する。提案手法で用いる擬似訓練事例の生成には世界史 B 教科書 (東京書籍 2007) を使用する。この教科書から生成された分類每の擬似訓練事例の数は表 11 に示す通りであった。なお，擬似訓練事例は訓練事例のみに含まれており評価事例には含まれていない.

表 9 見出し語 900 語文の語釈文における正解ラベル毎の事例数

表 10 見出し語 900 語文の語釈文における正解ラベル毎, 節の種類毎の事例数

表 11 擬似訓練事例の分類毎の数

最後に，提案手法で得られた解析結果を論述問題解答作成手法に組み达んだ場合にどのような解答が作成されるかについて，事例を調查し，既存手法との比較を行う．実験に使用する論述問題を図 17 に示す。この実験をする際に，対象となる用語（「バグダード鉄道」「仇教運動」「ゴールドラッシュ」）については訓練事例から除いて学習した.

## 6.2 実験結果

6 節の冒頭で述べた，KNP の解析結果に基づく従来型のゼロ照応解析手法を「KNP ゼロ照応解析手法」, ベースライン素性（5.2.1 節）のみを使用した手法を「ベースライン素性手法」, ベースライン素性に加え，本稿で提案する素性（5.2.2 節）を使用した手法を「提案手法」として，実験結果を表 12 に示す.

また，使用する素性を 1 つずつ除くことにより素性の有効性を検証する実験を行った結果を

図 17 東京大学 2003 年度入試二次試験における世界史の問 1

表 12 世界史用語集を用いた実験結果

表 13 に示す.

次に，擬似訓練事例を訓練事例に追加して学習を行ったモデルにより，評価実験を行った結果を表 14 に示す。また，今回は事例数の少ない「ヲ格」「二格」「デ格」の精度も重視したいため，全体結果を「Micro F」「Macro F」で評価する.

さらに擬似訓練事例を使用したモデルとの比較のために，クラス頻度に偏りがある学習において，その頻度を考慮した学習を行うオプションとして class_weight="balanced”を指定する. このパラメータ指定により，訓練データのクラスの頻度に反比例する重みを，パラメータ $\mathrm{C} に$乗じた状況で学習したモデルによる実験結果を表 15 に示す。なお,このモデルでは擬似訓練事例を使用していない.

最後に, 提案手法で得られた解析結果を論述問題解答作成手法に組み込んだ場合にどのような解答が作成されるかについて，事例を調査し，既存手法との比較を行った。既存手法を用い

表 13 素性を 1 つずつ除いた場合の $\mathrm{F}$ 値

表 14 擬似訓練事例の分類ごとの実験結果

表 15 SVM に class_weight="balanced”を指定したモデルによる実験結果

図 18 東京大学 2003 年度入試二次試験における世界史の問 1 に対する, 先行研究のシステムによる解答

図 19 東京大学 2003 年度入試二次試験における世界史の問 1 に対する, 提案手法を組み込んた場合の解答

て作成された解答を図 18 に，提案手法を用いて作成された解答を図 19 に示す。それぞれの図で，下線部は用語集から生成された文を示している。

## 7 考察

## 7.1 実験毎の考察

本節では各実験毎に考察を述べる，表 12 をると，「埋め込めない」，ならびに，各格の推定の全てにおいて $\mathrm{F}$ 值の値が, KNP ゼロ照応解析手法, ベースライン素性手法, 提案手法の順に向上していることが見て取れる．各手法の推定精度の間に統計的な有意差があるかを確認するために McNemar 検定を行った結果，KNP ゼロ照応解析手法とべースライン素性手法との比較、ベースライン素性手法と提案手法との比較においては， $\mathrm{P}$ 值がそれぞれ， $2.270 \times 10^{-161}$, ならびに， 0.179 となり, 前者の間には有意差があるものの, 後者の間には有意差があるとは言えないことがわかった．表 13 の，素性を 1 つずつ除いて実験を行った結果を見ると，「節の種類」「見出し語の意味カテゴリ」「埋まっているか」「再選定格フレーム素性」が有効であることがわかる．動詞句が連体節に含まれる場合，その動詞句のいずれかの格に見出し語を埋め込むことができる場合は少ない。そのため「埋め込めない」の推定の際には「節の種類」の素性が有効である，また，世界史用語集では，図 20 のように見出し語が場所を表す語のときには「尹格」に入りやすいなどの傾向があるため，「見出し語の意味カテゴリ」が有効であると考えられる。すでに対応づけられている項がある格に見出し語を埋め込むことができる事例は極めて少ないと考えられるため，「埋まっているか」の素性は非常に重要である。「意味クラス PMI」や 「意味的な類似度」の素性はあまり有効ではなかったが，これには 2 つ原因が考えられる。 1 つ目は 5.2 節でも述べたように，見出し語を埋め达んだ文を考慮せず格フレームを選定している点である. また 2 つ目は, 日本語語彙大系を使用してこれらの素性を計算している点である.日本語語彙大系に登録されている語は京大格フレームの用例として出現している語と比較すると少なく，世界史用語集に出現するような語はほとんど登録されていない。そのため，分散表現を用いて格フレームの用例を汎化して利用する (山城他 2018)ことで, さらに F 值を向上させることができる可能性がある.

擬似訓練事例を利用した実験の結果（表 14），分類 A の擬似訓練事例のみを利用した場合に Macro Fが向上していることがわかる。一方で，分類 B の事例も利用した場合に Macro F は分

## 見出し語）ポンディシェリ 語䣋文）1672 74年フランスが獲得。1954年インドに返還した。

図 20 見出し語が「場所」を表す場合の見出し語と語釈文の例
類 Aのみを利用した場合に比べ下がり， Micro F は大きく下がってしまった．分類 B は質の低い擬似訓練事例であると言えるため，質の高い擬似訓練事例を利用することは重要であると考えられる。また，擬似訓練事例を利用して事例数の少ない格の訓練事例数を増やした場合に，元々事例数の多い「埋め込めない」「ガ格」の $\mathrm{F}$ 值が下がってしまったため，バランスよく訓練事例数を増やす必要があると考えられる．SVM の class_weight パラメータを “balanced”にした場合の実験では，Micro F，Macro Fのどちらも擬似訓練事例を用いた場合よりも高かったが， ヲ格, 二格の $\mathrm{F}$ 値については擬似訓練事例の分類 $\mathrm{A}$ のみ使用した場合の方が高かった。デ格の $\mathrm{F}$ 值は擬似訓練事例を用いた場合の方が低いが，これはデ格の擬似訓練事例がヲ格，二格と比較して少ないことが起因していると考えられる。本研究では教科書の文から世界史固有表現を取り除くことで擬似訓練事例を生成したが，「埋め込めない」事例の場合にはこの手法が適用できないため,「埋め达めない」の擬似訓練事例の自動生成手法については今後検討する必要がある．また，教科書の文から生成できる擬似訓練事例の数には限りがあるため，NAISTテキストコーパス，京大ウェブ文書リードコーパスなどの，述語項関係のアノテーションがされたコー パスを使用して，学習事例を増やすことが考えられる。これについては，今後の課題としたい.最後に, 既存のシステムの解答と, 既存のシステムに提案手法を組み达んだ手法で作成された解答との比較を行った結果を考察する。下線部 (1), (2), (3) はコピュラ文であるため, 既存のシステムと提案手法を組み込んだ手法で作成された文は同じである。下線部 (4)については 「バグダード鉄道」が「ねらう」のヲ格に埋め込めることを推定できている。下線部 (5) については「留まる」に対して「バグダード鉄道」が埋め込めないと判定されてしまった. 下線部 (6) では「爆発する」のガ格に「仇教運動」が埋め込めることを推定できている。下線部 (7)では， どの述語の格にも「ゴールドラッシュ」が埋め込めないと判定された.「鉄道や汽船による交通網の発展がゴールドラッシュの背景にあり，...」と続くのが自然と考えられる．これらの結果を見ると，述語の項に埋め达められない場合にも文中の名詞のノ格になっている場合などがあるため，それも含めて推定することが今後の課題であると考えられる.

## 7.2 失敗分析

本節では推定に失敗した具体的な事例に基づき考察を行う７.2.1 節では擬似訓練事例を用いない場合における失敗事例を分析し，7.2.2 節では分類 A の擬似訓練事例を追加したことにより, 推定が成功から失敗に転じてしまった事例について分析する。分析対象には， 6 章の実験で 10 分割にしたうちの 1 セットにあたる見出し語 90 語とその語釈部からなるデータセットを使用する。

## 7.2.1擬似訓練事例を用いない場合における失敗分析

擬似訓練事例を用いない場合に推定に失敗した事例を調查した結果，失敗の原因と考えられるものには,

（1）格フレームの選択誤り

（2）見出し語が世界史固有表現辞書に登録されておらず，見出し語の意味カテゴリの素性が抽出できないことによる分類誤り

(3） KNP による格解析・形態素解析の誤り

（4）見出し語に照応する名詞が語釈文中に存在するにも関わらず，重ねてゼロ照応をしてしまうという誤り

（5）見出し語以外に照応するゼロ代名詞が存在し，格が埋まっているにも関わらず，格を埋めようとしてしまう誤り

の 5 つがあった. 失敗原因の内訳を示した混同行列を表 16 に示す. 表中の (1)～(5) は上述の原因に対応している。分析対象のデータセットには正解ラベルが「その他の格」となる事例は存在せず，システムが「その他の格」と予測した事例も存在しなかったため「その他の格」については省略している。また，明確な原因が明らかではなく，おそらくは複合的な要因による失敗であると考えられる事例を表中では「他」としている。「他」に該当する失敗事例の数には特に偏りはなく，誤りの傾向はつかめなかった。また，正解ラベルが「埋め込めない」である事例を「ガ格」と予測したもの, 正解ラベルが「ガ格」である事例を「埋め込めない」と予測したものが多いことがわかった。さらに，正解ラベルが「デ格」となる事例を「埋め达めない」と予

表 16 失敗原因の内訳を示した混同行列

測する事例が非常に多く存在しており, これらの事例の判別が難しいということがわかった.

(1)の格フレームの選択誤りの例を図 21 に示す. 見出し語を埋め込まない状態で格解析した際に選定された格フレームと，見出し語を埋め込んだ状態で格解析した際に選定された格フレー ムのいずれの必須格にも正解となる格が存在しないため,「格の埋まりやすさ」,「意味的な類似度」などの素性値が 0 となってしまい，上手く分類できないと考えられる。また，この場合は必須格に「デ格」が含まれる格フレームが選定されることで上手く分類される可能性がある。しかし, 図 21 に示した必須格に「デ格」が含まれる「収まる」の格フレーム 6 では,「ガ格」,「ニ格」,「デ格」のいずれの用例も語釈文中の「収まる」の格要素と意味的に遠いものであった。この場合，格フレーム生成確率が高い「収まる」の格フレーム 1, 2 などが選定されやすく，「収まる」の格フレーム 6 が選定されなかったと考えられる。ここで, 格フレーム生成確率 $P\left(F_{i} \mid v_{i}\right)$ は用言 $v_{i}$ の頻度を $C\left(v_{i}\right), v_{i}$ が格フレーム $F_{l}$ をとる頻度を $C\left(F_{i}, v_{i}\right)$ として

$
P\left(F_{i} \mid v_{i}\right)=\frac{C\left(F_{i}, v_{i}\right)}{C\left(v_{i}\right)}
$

と計算される (河原, 黒橋 2007).

(2)については, 特に見出し語が助詞を含んでいる場合などに, 世界史固有表現辞書に登録されていないことがある．例えば「アルバニアの対ソ外交」や「ドイツの軍備制限」などである. これらの場合には「見出し語の意味カテゴリ」の素性が全て 0 となってしまい, 分類に有効な素性が使用できないため失敗してしまう場合があると考えられる.

(3) の KNP による格解析・形態素解析の誤りが分類の失敗の原因となっていると考えられる

図 21 格フレームの選択誤りが起きた事例
事例を図 22 に示す.この例では，「行った」を動詞「行く」の活用形と誤解析してしまっており，適切な素性の抽出ができていないと考えられる。

(4)の見出し語に照応する名詞が語釈文中に存在するにも関わらず。重ねてゼロ照応をしてしまうという誤りが起きている事例を図 23 に示す.この例では, 「組織」が「ミール」を照応しており，この文に対して「ミール」を埋め达むことはできない．見出し語に照応するゼロ代名詞の推定を行う前に，見出し語に照応する名詞の推定を事前に行うことができればこのような事例においても正しく推定できると考えられる.

(5) の見出し語以外に照応するゼロ代名詞が存在し, 格が埋まっているにも関わらず，格を埋めようとしてしまう誤りの事例を図 24 に示す。この例では「建国する」の「ガ格」の格要素は 「オスマン」であるが，「オスマン」は「建国する」と直接係り受け関係になく，ゼロ代名詞化している。この場合,「ガ格」は埋まっていないと解析されるため, いずれかの格で埋め込めると誤分類してしまう場合がある。見出し語に照応するゼロ代名詞の推定を行うと同時に，文内ゼロ代名詞照応解析も行うことでこのような事例においても正しく推定できると考えられる.

【用語集の記述】
見出し語) イタリア政策
語釈文) 教皇や教皇領の保護を理由に行ったが，帝国教会政策の維持をはかる
ことこそが目的であった
【期待される出力】
残される=>ヨ格

図 22 KNPによる解析誤りが起きた事例

図 23 見出し語に照応する名詞が語釈文中に存在する事例

## 【用語集の記述】

見出し語）ルーム＝セルジューク朝

語釈文）13世紀モンゴルの侵攻を受けて弱体化していたが，この王朝に仕えていたオスマンが自立してオスマン帝国を建国した

【期待される出力】

残される =>埋め込めない

図 24 見出し語以外に照応する代名詞がゼロ化している事例

## 7.2.2 擬似訓練事例の分類 A を利用した際の失敗分析

表 12 および表 14 からもわかるように，擬似訓練事例を利用した場合には，利用していない場合に比べ，「埋め达めない」，「ガ格」の再現率が下がり「ヲ格」、「二格」,「デ格」の再現率が上がっている，実際に失敗した事例を分析すると，図 25 のように，見出し語を語釈文中に「埋め込めない」場合に「二格」や「ヲ格」などに埋め込めると推定してしまう場合がいくつか見られた。しかしこれだけでは，何が失敗の原因となっているかまでは考察できない。そこで，世界史教科書から自動生成された擬似訓練事例の中に, 分類の失敗の原因になるような事例がないかの調査を行った。調査対象は評価実験に使用した分類 $\mathrm{A}$ の擬似訓練事例 427 個とした.

調査の結果，自動生成された擬似訓練事例の中には「元の文において，注目している動詞について表出している格要素がただ一つしかないために, それを取り除くと動詞しか残らない事例」があった。，図 26 の例では，「除く」の唯一の格要素である「稲作」が含まれる文節を取り除いてしまうことで, 「除く」に対応づけられる格要素が存在しなくなってしまう．このような擬似訓練事例では，着目する動詞がどのような用法で使われているか，すなわちどの格フレームを使用するかを決定づけるための手掛かりが少ないため，適切な格フレームを選定できていないと考えられる。その結果, 質の低い擬似訓練事例となってしまい, 分類に失敗してしまう場合があると考えられる。このような事例を擬似訓練事例から取り除くことで，さらに質の高い擬似訓練事例のみを学習に使うことができるようになり, 分類精度が向上する可能性がある.

また，自動生成された擬似訓練事例の中には見出し語とみなした語の意味カテゴリに偏りがあり，特に「場所」を意味する語の割合が多いことがわかった．用語集の事例および擬似訓練事例における正解ラベル毎の, 見出し語の意味カテゴリが「場所」である割合を表 17 に示す.用語集の事例中の, 見出し語の意味カテゴリが「場所」である割合と比較して, 擬似訓練事例中に含まれる，見出し語の意味カテゴリが「場所」である割合は非常に高くなっている。このような場合, 擬似訓練事例を含む訓練事例の分布と, 評価事例の分布が大きく異なってしまい,

図 25 「埋め迄めない」事例に対して「二格」と推定してしまった例

## く稲作を>除けば, しばしば耕地をかえなければならなかった

図 26 元の文において, 注目している動詞について表出している格要素がただ一つしかないために，それを取り除くと動詞しか残らない事例
表 17 用語集の事例および擬似訓練事例における正解ラベル毎の，見出し語の意味カテゴリが「場所」である割合

学習が上手くいかないと考えられる。この結果, 見出し語を語釈文中に「埋め达めない」場合に「二格」や「ヲ格」などに埋め込めると誤分類してしまう場合があると考えられる。擬似訓練事例の分布が，訓練事例の分布と近くなるように，擬似訓練事例を間引くなどして調整することで，このような誤りを解消することができると考えられる。

## 8 まとめ

本研究では, 文章中のゼロ代名詞照応解析と異なり, 見出し語と語釈文に分かれている文書データに対し，語釈文における見出し語に照応するゼロ代名詞の表層格の推定を行った. 評価実験を行った結果，KNP を用いた既存のゼロ照応解析を使用した手法に比べ，提案手法が有効であることを示すことができた．見出し語を埋め込んだ文を考慮した素性を使用することにより, 全体的に $\mathrm{F}$ 値を向上させることができたが, 最終的な $\mathrm{F}$ 値は 0.782 であり改善の余地があると考えられる。また，事例数の少ない格の推定精度を向上させるために擬似訓練事例を使用し， ヨ格，二格の F 值を向上させることができた．今後の課題としては，「埋め达めない」事例の擬似訓練事例の自動生成や，擬似訓練事例の分布の調整，さらに質の良い擬似訓練事例の選定, ニューラルネットワークに基づくゼロ照応解析モデルとの比較などが挙げられる.

## 謝 辞

本研究の一部は, JSPS 科研費 JP16K00296, ならびに, 横浜国立大学大学院環境情報研究院共同研究推進プログラムの助成を受けたものである.

## 参考文献

Agichtein, E., Carmel, D., Harman, D., Pelleg, D., and Pinter, Y. (2015). "Overview of the TREC 2015 LiveQA Track." In Proceedings of The 24th Text REtrieval Conference.

新井紀子, 松崎拓也 (2012). ロボットは東大に入れるか? : 国立情報学研究所「人工頭脳」プロジェクト. 人工知能学会誌, 27 (5), pp. 463-469.

Goldberg, Y. and Levy, O. (2014). "word2vec Explained: Deriving Mikolov et al.'s NegativeSampling Word-Embedding Method." In arXiv preprint arXiv:1402.3722.

Hangyo, M., Kawahara, D., and Kurohashi, S. (2013). "Japanese Zero Reference Resolution Considering Exophora and Author/Reader Mentions." In Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing, pp. 924-934, Seattle, Washington, USA. Association for Computational Linguistics.

飯田龍, 乾健太郎, 松本裕治 (2006). 文の構造を利用した文内ゼロ照応解析. 言語処理学会第 12 回年次大会発表論文集, pp. 488-491.

池原悟 (1997). 日本語語彙大系. 岩波書店.

石下円香，阪本浩太郎，中山周，渋木英潔，森辰則，神門典子 (2016). 東大入試世界史第 2 問 （小論述問題）及び第 3 問（語句問題）を解く質問応答システムの検討. 言語処理学会第 22 回年次大会発表論文集, pp. 557-560.

河原大輔, 黒橋禎夫 (2005). 格フレーム辞書の漸次的自動構築. 自然言語処理, 12 (2), pp. 109-131.河原大輔，黒橋禎夫 (2006). 高性能計算環境を用いた Webからの大規模格フレーム構築. 情報処理学会自然言語処理研究会 171-12, pp. 67-73.

河原大輔，黒橋禎夫 (2007). 大規模格フレームに基づく構文・格解析の統合的確率モデル. 自然言語処理, $14(4)$, pp. 68-81.

Liu, T., Cui, Y., Yin, Q., Zhang, W.-N., Wang, S., and Hu, G. (2017). "Generating and Exploiting Large-scale Pseudo Training Data for Zero Pronoun Resolution." In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 102-111, Vancouver, Canada. Association for Computational Linguistics.

Matsubayashi, Y. and Inui, K. (2017). "Revisiting the Design Issues of Local Models for Japanese Predicate-Argument Structure Analysis." In Proceedings of the 8th International Joint Conference on Natural Language Processing (Volume 2: Short Papers), pp. 128-133, Taipei, Taiwan. Asian Federation of Natural Language Processing.

大森勇輔，森田和宏，泓田正雄，青江順一 (2015). 擬似訓練デー夕を用いた Q\&A サイトの質問分類. 言語処理学会第 21 会年次大会発表論文集, pp. 489-492.

阪本浩太郎, 中山周, 渋木英潔, 石下円香, 森辰則, 神門典子 (2016). 東大入試世界史第 1 問

（大論述問題）を解く質問応答システムの検討. 言語処理学会第 22 回年次大会発表論文集, pp. 553-556.

Sakamoto, K., Ishioroshi, M., Matsui, H., Jin, T., Wada, F., Nakayama, S., Shibuki, H., Mori, T., and Kando, N. (2016). "Forst: Question Answering System for Secondstage Examinations at NTCIR-12 QA Lab-2 Task." In Proceedings of The NTCIR-12 Conference.

Sasano, R. and Kurohashi, S. (2011). "A Discriminative Approach to Japanese Zero Anaphora Resolution with Large-scale Lexicalized Case Frames." In Proceedings of 5th International Joint Conference on Natural Language Processing, pp. 758-766, Chiang Mai, Thailand. Asian Federation of Natural Language Processing.

佐藤貢 (2017). 東大世界史 27 カ年［第 6 版］. 教学社.

Shibuki, H., Sakamoto, K., Ishioroshi, M., Fujita, A., Kano, Y., Mitamura, T., Mori, T., and Kando, N. (2016). "Overview of the NTCIR-12 QA Lab-2 Task." In Proceedings of The NTCIR-12 Conference.

Shibuki, H., Sakamoto, K., Ishioroshi, M., Kano, Y., Mitamura, T., Mori, T., and Kando, N. (2017). "Overview of the NTCIR-13 QA Lab-3 Task." In Proceedings of The NTCIR-13 Conference.

Shibuki, H., Sakamoto, K., Yoshinobu Kano, T. M., Ishioroshi, M., Itakura, K. Y., Wang, D., Mori, T., and Kando, N. (2014). "Overview of the NTCIR-11 QA-Lab Task." In Proceedings of the 11th NTCIR Conference.

東京書籍 (2007). 世界史 B. 東京書籍株式会社.

山城颯太, 西川仁, 徳永健伸 (2018). 分散表現による大規模格フレームの汎化を利用した統合

的ニューラルゼロ照応解析. 言語処理学会第 24 回年次大会発表論文集, pp. 588-591.

全国歴史教育研究協議会 (2008). 世界史 B 用語集改訂版. 株式会社山川出版社.

## 略歴

大矢康介：2018 年横浜国立大学理工学部数物・電子情報系学科卒業. 2018 年

より横浜国立大学環境情報学府情報環境専攻博士課程前期在籍中. 自然言語処理の研究に従事.

阪本浩太郎：2014 年横浜国立大学大学院環境情報学府情報メディア環境学専攻博士課程前期修了。2014 年より横浜国立大学大学院環境情報学府博士課程後期在学.この間, 2015 年 8 月より 2016 年 8 月まで米国カーネギーメロン大学言語技術研究所外来研究員．自然言語処理，質問応答などの研究に従事．言語処理学会会員.

渋木英潔：1997 年小樽商科大学商学部商業教育養成課程卒業. 1999 年同大学
大学院商学研究科修士課程修了. 2002 年北海道大学大学院工学研究科博士後期課程修了. 博士 (工学). 2006 年北海学園大学大学院経営学研究科博士後期課程修了. 博士（経営学).

森辰則：1986 年横浜国立大学工学部情報工学科卒業. 1991 年同大学大学院工学研究科博士課程後期修了. 工学博士. 同年, 同大学工学部助手着任. 同講師, 同助教授を経て, 現在, 同大学大学院環境情報研究院教授. この間, 1998 年 2 月より 11 月まで Stanford 大学 CSLI 客員研究員. 自然言語処理, 情報検索, 情報抽出などの研究に従事. 言語処理学会, 情報処理学会, 電子情報通信学会, 人工知能学会, ACM 各会員.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/