# 論文
## 『現代日本語書き言葉均衡コーパス』に対する 文節係り受け・並列構造アノテーション

本稿では『現代日本語書き言葉均衡コーパス』のコアデータに対する文節係り受け・並列構造情報のアノテーションについて述べる。統語構造のアノテーションに対し て, 文節係り受け情報と並列・同格構造を分離してアノテーションする方法を提案 する。さらに節境界を越える係り受け関係について，節の分類に基づきスコープを 決めることでよりアノテーションの精緻化を行う，実作業の工程上の問題などにも 言及しながら，アノテーション基準を概説する。また，アノテーションデータの基礎統計量について示す.

キーワード：コーパス, アノテーション, 係り受け, 並列, 同格

## Bunsetsu-based Dependency Relation and Coordinate Structure Annotation on 'Balanced Corpus of Contemporary Written Japanese'

\author{
MASAYUKI ASAHARA $^{\dagger}$ and Yuji MATSUMOTO ${ }^{\dagger \dagger}$
}

This article presents syntactic annotation for 'Balanced Corpus of Contemporary Written Japanese'. We propose a syntactic annotation schema wherein the bunsetsu dependency and coordinate structure are separated. In addition, we propose an annotation standard to determine the attachments beyond clause boundaries. Our annotation schema and standard have issues associated the hierarchical annotation processes. Furthermore, we present the basic statistics of the annotation data.

Key Words: Corpus, Annotation, Dependency Relation, Coordination, Apposition

## 1 はじめに

文節係り受け解析は情報抽出・機械翻訳などの言語処理の実応用の前処理として用いられてい る. 文節係り受け解析器の構成手法として, 規則に基づく手法とともに, アノテーションを正解ラ ベルとしたコーパスに基づく機械学習に基づく手法が数多く提案されている (Uchimoto, Sekine,

and Isahara 1999; Kudo and Matsumoto 2002; Sassano 2004; Iwatate, Asahara, and Matsumoto 2008; Yoshinaga and Kitsuregawa 2010, 2014). 文節係り受け情報は，新聞記事 (黒橋, 居倉, 坂口 2000) $\cdot$話し言葉 (内元, 丸山, 高梨, 井佐原 2003) ・ブログ (橋本, 黒橋, 河原, 新里, 永田 2011) などにアノテーションされているが, 使用域 (register) 横断的にアノテーションされた データは存在しない.

我々は『現代日本語書き言葉均衡コーパス』（以下 BCCWJ）に対する文節係り受け・並列構造アノテーションを整備した。対象は BCCWJ のコアデータで新聞・書籍・雑誌・白書・ウェ ブデータ（Yahoo!知恵袋・Yahoo!ブログ）の 6 種類からの使用域からなる。これらに対して係 り受け・並列構造を付与したものを BCCWJ-DepPara として公開した.

本稿では, アノテーション作業における既存の基準上と工程上の問題について議論し, どのよ うに問題を解決したかについて解説する。既存の基準上の問題については, 主に二つの問題を 扱う。一つ目は, 並列構造・同格構造の問題である。係り受け構造と並列構造は親和性が悪い.本研究では，アノテーションの抽象化としてセグメントとそのグループ（同値類）を新たに定義し, 係り受け構造と独立して並列構造と同格構造を付与する基準を示し，アノテーションを 行った。二つ目は，節間の関係である。我々は，節境界を越える係り受け関係に対する判断基準を示し，アノテーションを行った. 工程上の問題においては，文節係り受けアノテーション のために必要な先行工程との関係について述べ，作業順と基準により解決を行ったことを示す.本論文の貢献は以下のとおりである.
- 使用域横断的に 130 万語規模のコーパスにアノテーションを行い, アノテーションデー 夕を公開した。
- 係り受けと並列・同格構造の分離したアノテーション基準を策定した.

・節境界を越える係り受け関係に対する判断基準を明示した。

・ 実アノテーション問題における工程上の問題を示した.

2 節では『現代日本語書き言葉均衡コーパス』の概要について述べる。 3 節ではアノテーショ ン作業で扱った問題について紹介する． 4 節では先行研究である京都大学テキストコーパスの アノテーション基準 (黒橋 他 2000) や日本語話し言葉コーパス (内元 他 2003) のアノテーショ ン基準と対比しながら基準を示す. 5 節では基準の各論について示す. 6 節ではまとめと今後の 課題について述べる.

また，以下では二文節間に係り受け関係を付与することを便宜上「かける」と表現する．

## 2 『現代日本語書き言葉均衡コーパス』

本節では『現代日本語書き言葉均衡コーパス』の概要 (国立国語研究所コーパス開発センター 2015)について述べる.
『現代日本語書き言葉均衡コーパス』は, 約 1 億語からなる現代日本語の均衡コーパスである. このうち約 130 万語からなるコアデータは, 新聞 $(\mathrm{PN})$ ・書籍 $(\mathrm{PB}) \cdot$ 雑誌 $(\mathrm{PM}) \cdot$ 白書 $(\mathrm{OW}) \cdot$ Yahoo! 知恵袋 $(\mathrm{OC}) \cdot Y a h o o !$ ブログ $(\mathrm{OY})$ の 6 種類の使用域からなる.この使用域を表すア ルファベット 2 文字は, サンプルの識別子であるサンプル ID の接頭辞として用いられている. 2006 年に整備がはじまり， 2008 年以降，毎年サンプル版が内部公開された。 2011 年に version 1.0 が一般公開され，2015 年に修正版 version 1.1 が公開された.

すべてのサンプルについて, 自動解析による短単位 (Short Unit Word: SUW)(小椋, 小磯, 冨士池, 宮内, 小西, 原 2011a) $\cdot$ 長単位 (Long Unit Word: LUW)(小椋, 小磯, 冨士池, 宮内, 小西, 原 $2011 b)$ 二つの形態論情報が提供されている. コアデータについては, 人手で短単位・長単位形態論情報が全数チェックされ，長単位に基づく文節境界が付与されている，2008 年〜2010 年のサンプル版はコアデータの量が増えるとともに，形態論情報の誤りの修正がなされた.

2011 年に公開された BCCWJ version 1.0 の文境界は不完全であることが報告されている (田野村 2014).これを受けて, 非コアデータ全体に対して特定の誤りパターンに基づく文境界修正 (小西, 中村, 田中, 間淵, 浅原, 立花, 加藤, 今田, 山口, 前川, 小木曽, 山崎, 丸山 2015) が行われた.このデータは BCCWJ version 1.1 として, 2015 年に公開された. なお, version 1.0 から version 1.1 へ更新時には, 文境界にかかわる形態論情報のみが修正された.

コアデータに対しては，さまざまな研究機関がアノテーションを行った1. できるだけアノ テーションが重なるようにするために，アノテーションの優先順位が研究者間で共有されてい $る^{2}$. 成果物は BCCWJ の DVD 版所有者のみが利用可能なダウンロードサーバ3で公開されて おり，本研究の成果物も含まれている。

## 3 アノテーション作業で扱った問題

本節では，アノテーション作業で扱った問題について示す.

アノテーション基準の策定には，扱う言語表現をどのように記号化するかを決める必要があ る. BCCWJに対する文節係り受け・並列構造アノテーションでは, 既存の係り受けアノテー ション基準で表現できなかった構造を表現することを目標とし，基準の再設計を行った。具体的には並列・同格構造を文節係り受けと分離してアノテーションを行い，新聞記事を対象にし ていたときには問題にならなかった, 倒置や係り先のない文節の認定を行った.

アノテーションの実作業では, 上流工程としてサンプリング・電子化・著作権処理・文境界認定・短単位形態論情報付与・長単位形態論情報付与・文節認定などがあった. これらの作業
^{1}$ https://pj.ninjal.ac.jp/corpus_center/anno/

2 https://github.com/masayu-a/BCCWJ-ANNOTATION-ORDER/

3 https://bccwj-data.ninjal.ac.jp/mdl/
}

と並行して行ったために, 工程上に発生する問題を解決しながら行う必要があった. 工程上の 問題は，上流工程が完了するまで作業が開始できないという作業順の問題と, 上流工程で付与 されたアノテーションが文節係り受け・並列構造を付与するのに適さないという基準上の問題 の二つがあった。

## 3.1 基準で扱う言語学的な問題

アノテーション作業および基準において, 重点的に取り扱った言語学的な問題について示す.一つ目は並列・同格構造である。並列・同格構造は文節係り受け関係との親和性が悪く, 特 に部分並列 (non-constituent conjuncts) の場合に表現に無理が生じる. 以下の例文では, 1 文節目から 3 文節目までと 4 文節目から 6 文節目までの二つの構成要素による並列構造をなすが, この並列構造を係り受け関係により自然に表現することは難しい.

部分並列 (non-constituent conjuncts) の例

本を 兄の 太郎に ノートを 弟の 三郎に かしている

本稿ではこの例も含めて, 係り受け構造・並列構造・同格構造をどのように表現するか, 過去の研究と対照しながら議論する.

我々の基準では, 文節係り受けとは別に並列や同格構造の構成要素の範囲を形態素単位（国語研短単位）に同定し，構成要素間に無向リンク（同値関係）をはることでグループ（同値類） としてアノテーションを行う，並列や同格のアノテーションを分離したうえで，文節係り受け 関係は本来係かるべき要素に係かるようにする.

この結果, 非交差条件を満たさない構造 (non-projectivity) を許す. さらに並列構造の構成要素二つ以上のヲ格を含む構成要素から一つの述語に係かることを許すため, 二重ヲ格制約を満 たさない.

テ形や連用中止の連続などの述語並列については，並列構造を認定しない方針をとる。これ は, 日本語の節間の並列関係を従属関係と識別するのが困難であるために作業から除外する. そのかわり，節に対する格要素の係り受け関係の曖昧性については，南の節分類 (南 1974)を参考に, (野田 1985)の議論を参考にしながら厳密に行う.

Web 上のテキストには倒置であったり，係り先のない文節が含まれたりする。これらについ ては基準において主辞後置制約 (strictly head final)を緩和し右から左に係ることを許すほか,係り先のない文節にラべルを付与したうえで連結根付き木 (single rooted) 制約も緩和してアノ テーションを行う ${ }^{4}$.

現実のテキストには外国語や顔文字など，日本語の係り受け関係が認定できないものも存在

する。これらについては，係り受けアノテーションを放棄するセグメントを導入して対処する。

## 3.2 作業順で扱う工程上の問題

係り受けの上流工程として, サンプリング・電子化・著作権処理・数值表現正規化・文境界認定・短単位形態論情報付与・長単位形態論情報付与がある.

サンプリングはコーパスに収録するテキストを選択する工程である。電子化は紙媒体のテキ ストを機械可読な形式に入力する工程である。著作権処理はコーパスに採録して公開してよい かを権利者に確認する工程である。数值表現正規化は，アラビア数字や漢数字など多様な数値表現を位取り記数法を用いて正規化する工程 (NumTrans) である。文境界認定は日本語文とし て適切な文単位を認定する工程である。BCCWJ において形態論情報付与は, 二重形態素解析 と呼ばれ，短単位・長単位の二つの単位を付与する。短単位形態論情報付与 (小椋他 2011a) は,形態素解析器 $\mathrm{MeCab}^{5}$ と辞書 UniDic ${ }^{6}$ による解析を行い, 人手で修正を行う工程である. 長単位形態論情報付与 (小椋他 2011b) は, 長単位解析器 Comainu(小澤, 内元, 伝 2014) ${ }^{7}$ により 文節境界と長単位形態論情報を推定したうえで人手で修正を行う工程である。

2008 年の時点で, 新聞・書籍・白書・Yahoo!知恵袋のデータに短単位形態論情報が付与され たデータが内部公開された. 文節係り受け付与には長単位形態論情報が必要なために, 並列構造・同格構造を先行して付与した. その後, 雑誌・Yahoo!ブログのデータが得られ次第, 並列構造・同格構造を付与した。この作業は基本的に 1 人の作業者により全データに対してアノテー ションを行った。

2009 年の時点で, 長単位形態論情報が得られ，文節係り受けアノテーションを開始した。文節係り受けアノテーションは既に付与されている並列構造・同格構造アノテーションと, 文節係 り受け解析器 CaboCha 8による自動解析結果を重ね合わせたものを修正することで行った. 作業者は十数名により並行で行った。 この時点でのデータを BCCWJ-DepPara version 1 とした.

2011 年 12 月に BCCWJ DVD version 1.0 が公開された. BCCWJ-DepPara version 1 と BCCWJ DVD version 1.0 とで, 係り受けアノテーション作業と形態論情報修正作業が並行して実施されたために，二つのデー夕間で形態論情報に齯䶣が発生した. この齯䶣を動的計画法を用 いて検出し, 一意に構造が決められる 1 対多対応もしくは多対 1 対応の䶡䶣については自動的 に修正した。一意に構造が決められない多対多の構造については, 人手で確認することで解消 を行い，BCCWJ-DepPara version 2 を公開した。

その後, BCCWJ DVD version 1.0 は文境界に問題があることが報告された (田野村 2014).

係り受けアノテーションにおいては根が文末にあるため, 文末の定義が重要である。 このため, DVD 版とは異なる独自の文境界基準を規定したうえで，文境界の修正と節境界を越える係り受 け関係の修正に着手した。文境界修正については基準で扱う工程上の問題として次小節で扱う. 2015 年に BCCWJ DVD version 1.1 が公開され, これには数值表現正規化前のデータ (OT) も含めることになった．表層文字列を数值表現正規化後のデータ (NT) ではなく数值表現正規化前のデータ $(\mathrm{OT})$ に変更するという作業を行い, それに基づいて発生した䶡齬の吸収作業を行っ た.この BCCWJ DVD version 1.1 に対応する，節境界を超える係り受け関係を修正したものを BCCWJ-DepPara version 3 として公開した，並行して非コアデータを含むコーパス全体の文境界修正を行ったために， BCCWJ DVD version 1.1 の文境界 (小西他 2015) と BCCWJ-DepPara version 3 の文境界 (小西, 小山田, 浅原, 柏野, 前川 2013) との間に文境界の齯䶣が発生して いる．前者の文境界は文境界の右端を認定したもので文の入れ子の最小スパンを文として規定 しているが，後者の文境界は文の入れ子を許した最大スパンを文として規定しており，基準に はカギカッコ内の要素の意味に基づいた判断を行っている。このため, 節間の関係が複雑にな り，今回改めて節境界を超える係り受け関係を整理した。なお，BCCWJ-DepPara version 3 に おける文境界は，BCCWJ コアデータについて付与されているが，BCCWJ 非コアデータ全体 について付与することは作業工数が膨大になるために断念した.

## 3.3 基準で扱う工程上の問題

工程上, 他の基準のデー夕をもとに作業を行うが, 上流工程で付与された情報が必ずしも文節係り受けを付与するために適した基準でない場合がある。この基準の䶡䶣を解決するため, アノテーションラベルに䶡䶣の情報を持たせる方策をとる.

一つは文節境界である。国語研文節境界は形態論情報に基づき定義する作業が上流工程で行 われているが，係り受け構造を厳密に判定しながら決められたものではない．文節係り受け構造をアノテーションする際，文節が細かく分かれているがためにアノテーションしがたい構造 については，「文節をつなぐ」というラべルを定義し，それを付与することにより解決する。

もう一つは文境界である。文境界は係り受け木の根を決める重要な概念であるが，BCCWJ においては version 1.0 の時点では文境界認定を実質的に放棄しており，DVD が頒布された時点で，BCCWJ の整備とは独立に修正を始めた (小西他 2013)。その際に節境界を作業者が内省により分類しながら，節を越える文節のスコープを再定義した。なお，本研究の文境界修正 (小西他 2013) と DVD 版の文境界 (小西 他 2015) は独立のものである.

## 4 既存のアノテーション基準との違いの概要

本節では，係り受け関係ラベルを比較することで先行研究の基準との違いを概観する。『現代日本語書き言葉均衡コーパス』(BCCWJ) の基準については BCCWJと記し, 『日本語話し言葉コーパス』(CSJ)の基準については CSJと記し, 『京都大学テキストコーパス』(KC)の基準 については $\overline{\mathrm{KC}}$ と記す.

各基準の違いをまとめたものを表 1 に示す.

表 1 係り受けアノテーション基準の比較

まず, 本論文の主貢献である並列構造関連の違いについて簡単に説明する。中俣は「並列関係と は元来範列的関係であったものを言語の線条性の要請に従って統合的関係に変換したものである. そのために非現実性を帯びる」と述べている (中俣 2015).いわゆる部分並列 (non-constituent conjuncts)のような統語木の部分木を満たさないものが範列的関係であった場合に, 並列構造 を木構造として表現する際に無理が生じる。 $\mathrm{KC}$ においては, 並列構造に対してラベル $\mathrm{P}$, 同格構造についてラベル A を準備し，係り受け関係にラベルを付与することにより表現する。部分並列についてはラベル I を付与した上で, 係り受け関係が交差しないよう並列構造の構成要素の最右要素に係り先を決める。 $\overline{\mathrm{CSJ}}$ においては, $\mathrm{KC}$ の基準をもとに同格構造を狭義の同格（ラベル A）と総称や数值表現などの広義の同格（ラベル A2）を区別し，係り受け関係にラ ベルを付与することにより表現する。 BCCWJにおいては, 並列構造・同格構造のような範列的関係を, 係り受け関係で表現することを放棄する。並列構造・同格構造はその構成要素の範囲（セグメント）とその同値類（グループ）を定義することで表現する。セグメント・グルー プに対するラベルとして Parallel (並列構造) ・Apposition（狭義の同格）・Generic（総称など） を定義する。なお, 以下の例では Parallel を実線角丸四角で, Apposition を点線角丸四角で, Generic を破線角丸四角で囲み，それぞれの隣接構成素をラベル矢印のない太いスプライン曲線（Parallel は実線・Apposition は点線・Generic は破線）で結ぶことにより表現する.

非交差制約 (projectivity) や主辞後置制約 (strictly head final) を違反する場合のラベルについ

場でアノテーションを行っており, 特別なラベルを設定していない. CSJにおいては, 交差す る関係にはラベル X を付与し，倒置などで右から左に係る関係には左から右に係る関係をラべ ル R として付与する。 BCCWJにおいては, 交差する関係および倒置などで右から左に係る 関係を許すが，それらは正しい係り先に係る関係を導入することにより表現し，ラべルとして は通常の係り受け関係と同じラベル Dを用いる.

次に，上流工程のアノテーションを修正するラベルについて示す. $\mathrm{KC}$ にいては, すべて のアノテーションが一機関で作成されているために工程間で発生する齯䶣を吸収するという機構は基準に組み込まれていない. CSJにおいては，ポーズが入ったがために書き起こしレベル で文節境界が入ったが，統語的には文節境界が入るべきではないという場合がある。その場合 には，後続文節と接続するためのラベル B+ を定義する。 BCCWJにおいては, 文節境界ア, テーションと係り受けアノテーションが別機関で作成されており, これらの間の文節境界の齯齬を吸収するためのラベル B を定義する。また， BCCWJには文の入れ子を許した文境界単位を認定するため, 文中に文境界が出現する場合がある。その場合にはラベル Z 定義する.

係り受けアノテーションを放棄するラベルについて示す.

KCにおいては, 対象が新聞記事であるため, 基本的には係り受けアノテーションを放棄す るという方策はとられていない.
一方, CSJにおいては, 係り受け関係が不定なものとして，接続詞（ラベル C)・感動詞（ラ ベル $\mathrm{E}) \cdot$ 言い直し (ラベル $\mathrm{D}^{9}$ (or S1:複数文節の言い直し))・フィラー (ラベル $\left.\mathrm{F}\right) \cdot$ 係り先 のない文節 (ラベル N) ・古典 (ラベル K (or K-S1, K-E1: 複数文節の場合) )・呼びかけ（ラベ ル Y) などにラベルを定義している.

BCCWJにおいては，接続詞・感動詞に対して，係り受け関係が認定できるものはラベル D を付与し，認定できないものはラベル $\mathrm{F}$ を付与し係り先を不定とする（根にかける），言い直し に対して，言い直す前のものから言い直した後のものへの係り受けをラベル D で付与するが，言い直した後のものが存在しない場合にはラベル $\mathrm{F}$ を付与し，根にかける，また，言い直す前 の範囲に対してセグメント Disfluency を規定する. フィラー・顔文字・非言語音・係り先のな い文節・記号・補助記号 $10 \cdot U R L \cdot$ 空白など係り先が不定になるものに対してラベル $\mathrm{F}$ を付与 し，根にかける，外国語・ローマ字文・漢文・古文などの係り受けを放棄する範囲については Foreign のセグメントを定義し, セグメント内の係り受け関係は基本的には右連接要素にかけ る. 呼びかけや文末要素であって係り受けが決まらないものに対しては，ラベル Zを定義する とともに，根にかける ${ }^{11}$.なお，以下の例では Disfluency や Foreign を破線角丸四角で囲むこ とにより表現する。

その他, $\mathrm{CSJ}$ 特有のラベルとして, 話し手の文法的誤りを示すラベル $\mathrm{S}$ :格表示誤りがある. BCCWJにおいては，文法的誤りを示すラベルは認定していない.

## 5 各論

以下では，本論文における係り受け・並列構造アノテーション基準を既存のアノテーション 基準と比較しながら用例を用いて示す.

BCCWJの右に付与されているXXXXX_Y_ZZZZ_ZZZZZ は用例が出現したファイルを示す. XXXXX が作業の優先順位 ${ }^{12}$ ，Y が優先順位を表す部分集合名 ${ }^{13}$ ，ZZZZ_ZZZZZ が DVD に収録されている元データのファイル名である。明示されていないものは，各コーパスのマニュア ルの用例などに基づいた作例である.

## 5.1 係り受け関係

## 5.1.1 係り受け関係の表現法

以下では係り受け関係を次のような図で示す.

BCCWJ 00079_D_PM11_00322

\|次|の\|||特集|で|は|、||具体|的|な\|||取り組み|を\|\|紹介|し|たい|。|

| は国語研短単位形態素境界 ( $(\overline{B C C W J}) \overline{\mathrm{CSJ}})$ もしくは JUMAN 品詞体系形態素境界 ( $\overline{\mathrm{KC}})$ を表す。係り受け関係の説明に形態素境界が問題にならない場合には省略する。

|| は国語研文節境界 ( $\overline{\mathrm{BCCWJ}} \overline{\mathrm{CSJ}})$ もしくは京都大学テキストコーパス文節境界 ( $\mathrm{KC})$ を 表す。係り受け関係の説明に文節境界が問題にならない場合には省略する.

係り受け関係は文節列上に矢印で表現する。倒置を除いて格要素 $\rightarrow$ 述語, 修飾語 $\rightarrow$ 被修飾語などの方向に付与する.

## 5.1.2 倒置

KCJ基準においては, 主辞後置 (strictly head final)の原則から常に左から右に係る。 BCCWJCSJ の基準においては, 右から左に係ることを許す.

CSJでは右から左に係ることをラベル Rを用いて示すが， BCWJ においては特に明示し ない.

BCCWJにおいて, 最初の「何だ万う」は係り先なしになるが, アノテーションッール上で は末尾の文外の根ノード（以下 ROOT と呼ぶ）にかけることにより表現する. 倒置箇所は通常 の係り受けとしてラベル D を用いる。倒置などにより係り先が不定になる箇所には ROOT に かけてラベル F を用いる.

BCCWJ

## 5.1.3 交差

KCの基準においては, 非交差制約 (projectivity)の原則から係り受け関係が同格表現以外に おいては交差することを許さない.

BCCWJCSJの基準においては，係り受け関係が交差することを許す。 CSJでは係り受け 関係が交差することをラベル X を用いて明示するが，BCCWJにおいては特に明示しない. BCCWJ

地面を 大きな 削るドリルみたいだね

$\overline{\mathrm{CSJ}}$

## 5.1.4 係り先のない文節

KC の基準においては, 最右文節以外に係り先のない文節を許さない. (BCCWJ CSJの基準 においては，最右文節以外でも係り先のない文節を許す.

BCCWJにおいては係り先のない文節を ROOT（CaboCha 出力における文節 ID -1）に係 るように表現する。係り先のない文節の分類については，後述する係り受け関係ラベル分類に 基づいて記述する。

尚, CSJにおいては係り先のない文節をラベル $\mathrm{N}$ により表現する.

以下の例では「中学校を」が ROOT に係る。文末の「いたんですね」も係り先がなくROOT に係る。 BCCWJにおいて, 文末以外の係り先がないノードはラベル $\mathrm{F}$, 文末はラベル Z と して区別する。
$\overline{\mathrm{BCCWJ}}$

$\overline{\mathrm{CSJ}}$

中学校を 山が 好きな 友達が いたんですね ROOT

## 5.1.5 文節境界修正

文節境界を修正する記述を係り受け関係ラベル BCCWJにおいてラベル B，CSJにおいて ラベル B+を用いて表現する。係り受けアノテーションにそぐわない文節単位のみを，上のよ うな係り受け関係を用いて表現する。このような例は, BCCWJにおいては複合動詞に, CSJ においては発話時にポーズが入った場合に出現する.

## BCCWJ

## 5.2 並列構造・同格構造とアノテーションを放棄する範囲

本小節では BCCWJにおける並列構造・同格構造とアノテーションを放棄する範囲について

れているものである.

## 5.2.1 セグメントとグループの導入

BCCWJにおいて, 係り受け関係とは別に, 文に含まれる並列構造・同格構造をアノテーショ ンする。並列構造もしくは同格構造の構成要素に対しては, 国語研短単位形態素境界に基づいて セグメントと呼ばれる範囲を付与し, 複数のセグメントをグループ化することによりアノテー ションを行う。

## 5.2 .2 並列構造の表現法

並列構造のセグメントとグループを Parallel と呼ぶ. 並列構造を以下のように表現する．並列構造の構成要素は文節単位ではなく形態素単位でセグメントにより範囲指定する。図中, 実線の角丸四角を用いて Parallel を示す.

BCCWJ 00079_D_PB46_00066

Parallel

並列構造は形態素単位・文節単位・複数文節単位・節単位など様々な単位に規定できる．基本的には入れ子を許して全ての単位に対して付与する。

Parallel

名詞句については，対応する名詞句をセグメント Parallel で切り出し，グループ化する．係 り受け関係は通常の係り受けと同じラベル D を付与する。

尚, $\overline{\mathrm{CSJ}} \overline{\mathrm{KC}}$ においては, ラベル $\mathrm{P}$ を付与する.

$\mathrm{CSJ} \mathrm{KC}$

BCCWJにおいては，形態素単位・文節単位・複数文節単位・節単位など様々な単位に規定 できる並列構造を，基本的には入れ子を許して全てのレベルに対してアノテーションする。し かしながら述語並列については並列かどうかの判定が困難なため，全て並列とみなさず，通常 の係り受けとして定義する。

CSJ $\mathrm{KC}$ では一部の述語並列について, 並列構造を認定しラベル $\mathrm{P}$ を付与しているが， BCCWJでは通常の係り受けとしてラベル D を付与する。

次に部分並列 (non-constituent coordination) について示す. CSJKC゙は以下ような構造 について，非交差制約を順守するためにラベル I 付与し，真の係り先でないものにかける。 BCCWJにおいては, 範囲を規定したうえで, 通常の係り受け関係として真の係り先にかける。

## BCCWJ

$\overline{\mathrm{KC}} \mathrm{CS}$

BCCWJにおいて，並列句の間に接続詞が出現する場合には，右隣接する並列句の最右文節 にかける。

次に，並列構造の複数の要素に左から係る場合について示す。以下のように「赤い」が「シャ ツと」と「ジャケットを」の両方に係り受け関係がある。 その場合には, 最左要素である「シャ ツと」にかける，並列構造の外側から，並列構造の要素にかける場合には両方が係り先である ことを意味する。これは, 項を共有するなど，部分文字列を共有するような係り受け関係を対象とする。

以下のように「赤い」が「パプリカと」に係り,「黒オリーブが」に係らない場合, 並列構造 の範囲を「赤いパプリカ」と「黒オリーブ」に定義して，「赤い」の係り先を限定する.

## BCCWJ

BCCWJにおいて，3つ以上の並列構造の場合, 隣接する並列句にかける．3つのセグメント によって並列句のグループ化を行うことによりこれを表現する. 並列句の間に接続詞が出現す る場合には，右隣接する並列句の最右文節にかける，以下の事例では，「風合い」「風格」「高級感あふれる質感」が並列構造をなす。

## 5.2.3 狭義の同格構造

BCCWJにおいては, 同格構造についても形態素単位のセグメントとグループで表現する.

造を文節単位の係り受け関係としてラベル A を用いて表現する。

## BCCWJ

Apposition

$\overline{\mathrm{KC}} \overline{\mathrm{CSJ}}$

## 5.2.4 具体例と総称の同格関係・具体例と数詞の同格関係

BCCWJにおいては, Parallel と Apposition の他に Generic という「セグメント」と「グルー プ」を規定する. Generic は具体例と総称の同格関係や具体例と数詞の同格関係に対して規定 する。

## $\overline{\mathrm{BCCWJ}$}

$\overline{\mathrm{CSJ}}$

$\overline{\mathrm{KC}}$

## 5.2.5 アノテーションの放棄

BCCWJにおいては， Foreign, Disfluency などのセグメントを規定する．Foreign は外国語・ ローマ字・漢文・古典などを表し，Disfluency は言い直し・言いよどみを表す．基本的にはセグ メント内の係り受けアノテーションを放棄し, 範囲内のすべての要素は右隣接要素にかける.

BCCWJ 00004_A_PB22_00002

言い直した後の要素が存在する場合, 言い直しのセグメント外の係り先をその要素に認定する. (BCCWJ 00329_A_OC03_00651

Disfluency

## 5.3 節境界を越える係り受け関係

BCCWJでは節境界を越える係り受け関係について，次に示す基準を明確にして修正を行っ た. 従属節が埋め込まれている場合, 埋め込まれている節境界より前の要素について係り受け 関係が判定しにくい場合が多い。具体的には，述語項関係が認められるが，節のスコープに入る 要素の制限により係り受け関係が認められない場合である。項の省略により主節と従属節（も しくは複数の従属節）で一つの項を共有する場合に，作業者が述語項関係と係り受け関係を混同し，誤った節間の係り受け関係を認定してしまう。そこで，表 2 に示す南の節分類に基づい て節間の係り受け関係の再認定を行った。南の $\mathrm{A}$ 類・B 類・ $\mathrm{C}$ 類を，その構成要素（表 2 上部分）と述語的部分の要素（表 2 左下部分）により判別し, 述語的部分以外の節内要素が当該節 のスコープに入る $(+)$ か入らない $(-)$ かを決める，具体的には，提示の「は」は, $\mathrm{A}$ 類・B 類 のスコープに入らないが， $\mathrm{C}$ 類のスコープに入る。一方，主語の「が」は $\mathrm{A}$ 類のスコープに入 らないが， $\mathrm{B}$ 類・ $\mathrm{C}$ 類のスコープに入る.

次の「つつ」は付帯状況を表す節末表現でＡ類である。以下の二例において，「彼女が」およ び「彼女は」は「飲みつつ」と「食べた」の双方の主語になるという述語項構造を持つ. 南の 分類においては，目的語の「を」は A 類のスコープに入るが，主語の「が」や提示の「は」は A 類のスコープに入らない。ゆえに，「彼女が」および「彼女は」の係り先は「食べた」になる。

「が」とツツ節（付帯状況：A 類）

「は」とツツ節（付帯状況：A 類）

次の「ないで」は逆接を表す節末表現で B類である，以下の二例において，「彼女が」および 「彼女は」は，「飲まないで」と「食べた」の双方の主語になるという述語項構造を持つ. 南の 分類においては，主語の「が」や目的語の「を」は B 類のスコープに入るが，提示の「は」は B類のスコープに入らない，ゆえに，「彼女が」の係り先は「飲まないで」になるが，「彼女は」 の係り先は「食べた」になる。

「が」とナイデ節（逆接：B 類）

「は」とナイデ節（逆接：B 類）

次の「から」は理由を表す節末表現で C 類である。以下の二例において，「彼女が」および 「彼女は」は，「飲まないから」と「食べた」の双方の主語になるという述語項構造を持つ. 南

の分類においては, 提示の「は」・主語の「が」・目的語の「を」全てが $\mathrm{C}$ 類のスコープに入る. ゆえに，「彼女が」および「彼女は」の係り先は「飲まないから」になる.

「が」とカラ節（理由：C 類）

「は」とカラ節（理由：C 類）

この判定は一人の作業者により，BCCWJ-DepPara version 2 から version 3 への変更の際に 全数見直しを行った.

## 6 BCCWJ-DepPara の基礎統計

本節では， BCCWJ-DepParaの基礎統計量を示す.

表 3 は, 各レジスタの短単位数 (SUW), 長単位数 (LUW), 文節数, 係り受けラベル数 'D' $\cdot$

表 3 BCCWJ-DepPara の基礎統計（形態素数とラベル数）

 & 340 & 308,504 & 224,140 & 116,955 &  &  &  &  & 16,042 \\

割合 $(\%)$ は, ラベル数 $\left.\{{ }^{\prime} \mathrm{D}\right.$ ', 'B', 'F', and 'Z' $\}$ / 総文節数.
表 4 BCCWJ-DepPara の基礎統計（並列構造と同格構造）

'B' $\cdot$ 'F' $\cdot$ 'Z'， 文末数 ('EOS') である。ラベル 'F' は白書 $(\mathrm{OW})$ と Yahoo! ブログ (OY) とで 他のレジスタよりも，割合が大きい傾向にある。白書は箇条書きの行頭記号が多く出現する一方，ブログは顔文字などが多く出現し，ラベル 'F'が多い傾向にある． BCCWJ-DepPara では， BCCWJ の元データとは異なる文境界を認定しており (小西他 2013), 文の入れ子を許してい るため，入れ子のすべての文末を表すラベル 'Z' が，アノテーション単位としての文末 'EOS' よりも多い傾向にある.

表 4 は，並列構造・同格構造の統計である。seg はセグメントの数（並列構造の部分構成要素数), grp はグループの数 (並列構造全体の数), seg/grp は 1 グループあたりのセグメントの数 （並列構造を構成する平均部分構成要素数）を表す. 白書 (OW) は並列構造が多い傾向にある.並列構造 (Parallel) は 2 つ以上の構成要素を許し, 平均部分構成要素数 (seg/grp) は 2.19-2.35 であった。同格構造 (Apposition, General) は，基本的に構成要素対に基づく構造である。しか しながら, 新聞 $(\mathrm{PN})$ と書籍 $(\mathrm{PB})$ に， 2 回以上言い換える例外的な表現があった.

## 7 おわりに

本稿では『現代日本語書き言葉均衡コーパス』に対する係り受け・並列構造アノテーション について, その基準とともに概説した。基準においては, 係り受け構造と並列構造を分けてア ノテーションを行うことを提案し, 並列構造は, 構成要素範囲（セグメント）と構成要素集合 （グループ）により表現する方法を提案した.

節間の関係については，南の節分類 (南 1974) に基づき，係り先を決めることを提案した． 3 次 チェック時に節を超える係り先を再確認することで，整合性を保たせた，節間のラベルについて は, 現在『鳥バンク』(池原 2007)の節間の関係 (池原 2009) を付与しつつある (松本, 浅原, 有田 2017; 松本 2017, 2018; Matsumoto, Asahara, and Arita 2018). BCCWJ-DepPara データは, 『現
代日本語書き言葉均衡コーパス』 DVD 版を購入した方に http://bccwj-data.ninjal.ac.jp/mdl/ より公開している.

本提案手法に適合する係り受け解析モデルとして, (岩立 2012) は並列構造と係り受け構造を 双対分解 (dual decomposition) して，推定する手法を提案している.

## 謝 辞

本研究の一部は, 国立国語研究所基幹型共同研究プロジェクト「コーパスアノテーションの 基礎研究」,および国立国語研究所コーパス開発センター共同研究プロジェクト「コーパスア ノテーションの拡張・統合・自動化に関する基礎研究」によるものです. 本研究は JSPS 科研費 特定領域研究 18061005, 基盤研究 (A) 23240020, 基盤研究 (B) 25284083, 挑戦的萌芽研究 15K12888，基盤研究 (A) 17 H00917 の助成を受けたものです.

## 参考文献

橋本力, 黒橋禎夫, 河原大輔, 新里圭司, 永田昌明 (2011). 構文・照応・評価情報つきブログ

コーパスの構築. 自然言語処理, $18(2)$, pp. 175-201.

池原悟 (2007). 鳥バンク (Tori-Bank). http://unicorn.ike.tottori-u.ac.jp/toribank.池原悟 (2009). 非線形言語モデルによる自然言語処理. 岩波書店.

岩立将和 (2012). Development of Pairwise Comparison-based Japanese Dependency Parsers and

Application to Corpus Annotation. Ph.D. thesis, Nara Institute of Science and Technology, Japan.

Iwatate, M., Asahara, M., and Matsumoto, Y. (2008). "Japanese Dependency Parsing Using a

Tournament Model." In Proceedings of the 22nd International Conference on Computational Linguistics, pp. 361-368.

国立国語研究所コーパス開発センター (2015). 『現代日本語書き言葉均衡コーパス』利用の手

引き第 1.1 版. 大学共同利用機関法人人間文化研究機構.

小西光, 中村壮範, 田中弥生, 間淵洋子, 浅原正幸, 立花幸子, 加藤祥, 今田水穂, 山口昌也,

前川喜久雄, 小木曽智信, 山崎誠, 丸山岳彦 (2015). 『現代日本語書き言葉均衡コーパス』

の文境界修正. 国立国語研究所論集, 9, pp. 81-100.

小西光, 小山田由紀, 浅原正幸, 柏野和佳子, 前川喜久雄 (2013). BCCWJ 係り受け関係アノ

テーション付与のための文境界再認定. 第 3 回コーパス日本語学ワークショップ発表論文集, pp. 135-142.

Kudo, T. and Matsumoto, Y. (2002). "Japanese Dependency Analysis using Cascaded Chunking."

In Proceedings of the 6th Conference on Natural language learning, pp. 63-69.

黒橋禎夫, 居倉由衣子, 坂口昌子 (2000). 形態素・構文タグ付きコーパス作成の作業基準 (Version

1.8). テクニカル・レポート, 京都大学.

松本理美, 浅原正幸, 有田節子 (2017). 『現代日本語書き言葉均衡コーパス』に対する節の意

味分類情報アノテーション一基準の策定、仕様書の作成の必要性について一. 言語資源活

用ワークショップ 2016 , pp. 336-346.

松本理美 (2017). 従属節の意味分類基準策定について一鳥バンク基準互換再構築の検討一. 言語

資源活用ワークショップ 2017, pp. 39-50.

松本理美 (2018). 日本語研究のための日本語従属節意味分類基準の試案一「鳥バンク」節間意

味分類体系の再構築一. 言語処理学会第 24 回年次大会, pp. 769-772.

Matsumoto, S., Asahara, M., and Arita, S. (2018). "Japanese Clause Classification Annotation on

the 'Balanced Corpus of Contemporary Written Japanese'." In Shirai, K. (Ed.), Proceedings

of the 11th International Conference on Language Resources and Evaluation (LREC 2018),

Paris, France. European Language Resources Association (ELRA).

南不二男 (1974). 現代日本語の構造. 大修館書店.

中俣尚己 (2015). 日本語並列表現の体系. ひつじ書房.

野田尚史 (1985). はとが. 日本語文法セルフ・マスターシリーズ (1). くろしお出版.

小椋秀樹, 小磯花絵, 冨士池優美, 宮内佐夜香, 小西光, 原裕 (2011a). 『現代日本語書き言葉

均衡コーパス』形態論情報規定集第 4 版（下）. 特定領域研究「日本語コーパス」平成 22

年度研究成果報告書, 国立国語研究所.

小椋秀樹, 小磯花絵, 冨士池優美, 宮内佐夜香, 小西光, 原裕 (2011b). 『現代日本語書き言葉

均衡コーパス』形態論情報規定集第 4 版（上）. 特定領域研究「日本語コーパス」平成 22

年度研究成果報告書, 国立国語研究所.

小澤俊介, 内元清貴, 伝康晴 (2014). 長単位解析器の異なる品詞体系への適用. 自然言語処理,

21 (2), pp. 279-401.

Sassano, M. (2004). "Linear-Time Dependency Analysis for Japanese." In Proceedings of the

20th International Conference on Computational Linguistics, pp. 8-14.

田野村忠温 (2014). BCCWJ の資料特性. 田野村忠温（編）,コーパスと日本語学, 講座日本語

コーパス 6. 朝倉書店, 東京.

内元清貴, 丸山岳彦, 高梨克也, 井佐原均 (2003). 『日本語話し言葉コーパス』における係り受

け構造付与 (Version 1.0). テクニカル・レポート, 『日本語話し言葉コーパス』の解説文書.

Uchimoto, K., Sekine, S., and Isahara, H. (1999). "Japanese Dependency Structure Analysis

Based on Maximum Entropy Models." In EACL '99: Proceedings of the 9th Conference on

European Chapter of the Association for Computational Linguistics, pp. 196-203.

Yoshinaga, N. and Kitsuregawa, M. (2010). "Kernel Slicing: Scalable Online Training with Conjunctive Features." In Proceedings of the 23rd International Conference on Computational Linguistics (Coling 2010), pp. 1245-1253.

Yoshinaga, N. and Kitsuregawa, M. (2014). "A Self-adaptive Classifier for Efficient Text-stream Processing." In Proceedings of COLING 2014, the 25th International Conference on Computational Linguistics, pp. 1091-1102.

## 略歴

浅原正幸：2003 年奈良先端科学技術大学院大学情報科学研究科博士後期課程修了。2004 年より同大学助教. 2012 年より国立国語研究所コーパス開発セン ター准教授. 現在に至る. 博士 (工学). 自然言語処理・認知言語学の研究に 従事.

松本 裕治：1977 年京都大学工学部情報工学科卒. 1979 年同大学大学院工学研究科修士課程情報工学専攻修了. 同年電子技術総合研究所入所. 1984 85 年英国インペリアルカレッジ客員研究員. 1985～87 年（財）新世代コンピュー 夕技術開発機構に出向. 京都大学助教授を経て, 1993 年より奈良先端科学技術大学院大学教授, 現在に至る. 2016 年 9 月より理研 AIP 知識獲得チーム PI 兼務. 工学博士. 専門は自然言語処理. 情報処理学会, 人工知能学会, AAAI, ACL, ACM 各会員. 情報処理学会フェロー. ACL Fellow.

$(2017$ 年 12 月 26 日 $\quad$ 受付 $)$
$(2018$ 年 3 月 26 日 $\quad$ 再受付 $)$
$(2018$ 年 4 月 17 日 $\quad$ 採録)


# 論文
## 音声認識を用いた言語能力自動測定システム“言秤”の構築

\author{
宮部 真衣
}

言語に関する能力を，客観的かつ自動的に把握する需要が高まっている．例えば，近年, 日本において認知症は身近なものとなっているが, 認知症は, 言語能力に何らか の特徴が表出する可能性があることはよく知られている。言語能力を測り，それら の兆候を捉えることができれば，早期発見や療養に役立つ可能性がある．また，現在, 多くの留学生が日本語教育機関において日本語を学んでおり, 学習者の習熟度に 対し, 適切な評価を与えることが各教育機関に求められている。 しかし, 書く能力 や話す能力の評価は, 主に評価者の主観によって行われており, 評価者によって判断に摇れが生じうる。機械によって自動的かつ客観的に言語能力を測定することが できれば，評価者による摇れの生じない評価の一つとして活用できる可能性がある. これまでにも，言語能力の測定に関する取り組みはあるものの，いずれも人手を介 して測定を行うためコストが高く, 気軽に測定することは難しい。そこで本研究で は，手軽に言語能力を測定可能なシステム「言秤（コトバカリ）」を提案する．本提案システムでは, (1) 音声認識システムの組み込み, および (2) テキストデータから 定量的に言語能力を測定する指標の採用を行うことで, 従来人手で行っていたテキ スト化および言語能力スコアの算出を自動化し, コストの軽減と手軽な測定を実現 する。また，「被測定者自身による自己把握・状況改善（用途 1)」および「被測定者以外による能力の高低の判断（用途 2)」という観点から，言語能力スコア（Type $\cdot$ Token 比）算出における音声認識システムの利用可能性について検証を行った。書 き起こし結果および音声認識結果から得られる言語能力スコアは異なるため, 閥値 との比較のような, 単純な言語能力スコアの対比による能力の高低の判断 (用途 2) は難しいことがわかった。また, 同一時期に複数回測定し，書き起こし結果および 音声認識結果から得られる言語能力スコアの相関を調べたところ, 集団としては相関が見られなかった。一方，個人で分けると，相関が見られる発話者と見られない 発話者がいることがわかった. 相関が見られる発話者については, 被測定者の言語能力スコアを継続的に測定し，その変化を観察することによる能力の判断（用途 1） や言語能力の現状把握・維持・改善（用途 2）ができる可能性が示唆された.

キーワード：言語能力，音声認識，自動測定，認知症スクリーニング

†諏訪東京理科大学経営情報学部, Faculty of Business Administration and Information, Tokyo University of Science, Suwa

† 京都大学大学院人間 - 環境学研究科, Graduate School of Human and Environmental Studies, Kyoto University

†† 大阪大学日本語日本文化教育センター, Center for Japanese Language and Culture, Osaka University

††† 奈良先端科学技術大学院大学研究推進機構, Center for Frontier Science and Technolopgy, Nara Institute of Science and Technology

#
Development of Language Ability Measurement System (KOTOBAKARI) using Voice Recognition

\author{
Mai Miyabe ${ }^{\dagger}$, Shuko Shikata ${ }^{\dagger \dagger}, \mathrm{Kay} \mathrm{Kubo}^{\dagger \dagger \dagger}$ and Eiji Aramaki ${ }^{\dagger \dagger \dagger \dagger}$
}

There is a growing need for automatic measurements of language ability. With increase in the aging population, the number of older adults with dementia is expected to increase. Language disorder is considered one of the most fundamental symptom with which dementia can be detected. The identification of language defects particular to dementia symptoms may contribute to the early detection of dementia. Currently, many foreign students learn Japanese at educational institutions, which are required to provide appropriate evaluations to their students. However, differences occur because evaluators judge the language abilities of foreign students subjectively. The measured results from an automatic language ability measurement system could be used for objective evaluations. Although traditional studies manually measured language abilities, such methods are often costly. In this study, we propose the automatic language ability measurement system, "KOTOBAKARI," as an alternative to traditional manual measurement methods. This system is expected to reduce the cost and time of measuring the language ability using the following steps: (1) voice recognition to obtain text data and (2) quantitative indicators for automated language ability measurement. We verify the capacity of voice recognition to measure language ability by comparing language ability to a threshold value and by assessing language ability score changes. The experimental results show that it is difficult to judge language ability by threshold value comparison, using our system. On the contrary, the language ability score of some individuals, measured with our system, was correlated with the correct score. This result indicates that these individuals can use our system to assess language ability changes by continuous measurements.

Key Words: Language Ability, Voice Recognition, Auto Measurement, Screening of Dementia

## 1 はじめに

言語に関する能力を, 客観的かつ自動的に把握する需要が高まっている．言語能力把握の需要がある場面の一つに, 認知症スクリーニングがある。日本は世界に先駆けて超高齢社会に突入した. 2013 年の高齢化率は $25.1 \%$ のぼり ${ }^{1}$, 世界でも例を見ないスピードで高齢化が進行し ている。高齢化の進行に伴い，認知症高齢者の増加も見込まれる。2012 年 8 月の厚生労働省発

表によると, 2010 年における日常生活自立度 $\mathrm{II}^{2}$ 以上の認知高齢者数 3 は 280 万人にのぼり, 将来推計として 2025 年には 323 万人， 65 歳以上の人口比率にして $9.3 \%$ にまで昇するだろうと 予測されている 4 . また, 日本における人口 10 万人当たりの若年性認知症者数（18 64 歳）は, 47.6 人にものぼるとされている ${ }^{5}$. 今や，認知症は我々にとって非常に身近なものとなっている.

厚生労働省の調査によると ${ }^{6}$, 最初に認知症に気づくきっかけとなる症状の一つとして, 言語障害がある。言語能力は長期にわたる学習や経験によって発達するものであり，一定レべ ルまで発達した後は, 加齢によっても衰えにくいとされる (Hampshire, Highfield, Parkin, and Owen 2012). 一方で，構文をあやつる能力は， 70 代後半を境に低下しはじめるという報告もあ る (Kemper, Marquis, and Thompson 2001). Kemperによると, 英文における認知症の進行度 は語彙能力，構文能力ともに相関関係にあり, 症状が進行するにつれ，構文能力の顕著な低下 がみられるという。つまり，認知症は言語能力，とりわけ語彙能力に，加齢の影響ではない何 らかの特徴が表出する可能性をもつものである。もし言語能力を測り，その兆候を捉えること ができれば，早期発見や療養に役立つのではないかと考えた。

また, 留学生の日本語能力評価においても，言語能力の自動測定への期待が高まっている．現在, 多くの留学生が日本語教育機関において日本語を学んでいる。学習者の習熟度に対し, 適切な評価を与えることが各教育機関に求められているが，言語能力の評価は，一概に容易とは 言えない。具体的には, 作文課題やスピーチテストなどの,「書く能力」「話す能力」の評価は,評価者の主観によって行われることが一般的であるが (木村 2009; 鳥井 2013; 金久保 2016), こ のような評価は評価者の能力や判断に大きく依存してしまうという問題を孕む．機械による客観的かつ自動的な評価が実現できれば，評価者による判断の摇れという問題を排除した尺度と して活用できる可能性がある.

近年，大規模なコホート研究によって，数十年の言語能力の経過を観察する試みが行われて いる．その結果，老化や認知症などと加齢によるさまざまな能力との関係は徐々に明らかにな りつつある (Kubo, Kiyohara, Kato, Tanizaki, Arima, Tanaka, Nakamura, Okubo, and Iida 2003; Snowdon, Kemper, Mortimer, Greiner, Wekstein, and Markesbery 1996).しかし, これらの取 り組みには, 人手でのテキストデータの作成・収集, テキストの分類, 各評価スコアの算出な どが必要であり，時間・金銭的コストが高い，また，テキストの分類には訓練をつんだ専門家 が必要であるなど，言語能力測定のハードルが高い.
^{3} 65$ 歳以上を指す.

4 認知症高齢者数について, http://www.mhlw.go.jp/stf/houdou/2r9852000002iau1.html

5 若年性認知症の実態等に関する調査結果の概要および 厚生労働省の若年性認知症対策について. http://www.mhlw.go.jp/houdou/2009/03/h0319-2.html

6 厚生労働省の認知症施策等の概要について. http://www.mhlw.go.jp/file/05-Shingikai-12301000-Roukenkyoku-Soumuka/0000031337.pdf
}

そこで本研究では，言語能力測定システム「言科（コトバカリ）」を提案する．言語能力測定 における大きな課題の一つとして, 分析対象となるテキストデー夕の作成がある. 従来は, 音声デー夕の書き起こしなど，人手でのテキスト化が必要であり，多大な時間を要していた，提案システムでは, 音声認識システムにより, 言語能力の被測定者の発話データを自動的にテキ スト変換することで，コストの大幅な軽減を行う，ただし，音声認識システムの認識精度には 限界があり，常に正しい認識結果が得られるとは限らない.

我々はこれまでに，テキストデータに基づいて定量的に言語能力を測定する指標（以降，言語

能力指標と表記する) を提案してきた (荒牧, 久保, 四方 2014 ). また, 提案指標を用いたテキ スト分析の結果, 一部の指標 (TTR (Type・Token 割合) および JEL (日本語学習語彙レベル)) によって認知症者の特徴的な傾向などを観察できる可能性を示した (四方, 荒牧 2014; 荒牧他 2014). このうち, TTRは, Type（異なり語数）と Token（延べ語数）の比率 (Type/Token) で あるため, TTR スコアは語の内容ではなく, 出現回数のみに基づいて算出される指標であり,発話されたのがどのような語であるかという点については関与しない. そのため, TTRを用い た場合, たとえ語の内容の認識結果が誤っていたとしても, 算出されるスコアに問題は生じにく いと考えられる。よって, 提案システムでは, 先行研究における提案指標を採用し, 特に TTR スコアに着目することで, 音声認識による認識誤りの影響を受けにくく, さらに人手作業を排除した定量的なスコア算出を実現する.

本提案のポイントを以下に整理する.

分析テキスト作成コストの軽減音声認識システムを組み込むことにより，音声を録音／入力 するだけで，言語能力の測定を可能にする。

スコアリングコストの軽減 定量的に算出可能な言語能力指標を採用することにより，認識誤

りを許容し，さらにスコア算出のための人間の介在を省略可能にする。

本論文では, 採用する言語能力測定指標と提案システムについて概説した後, 低コストな言語能力測定の要となる音声認識システムの利用可能性について, 検証実験の結果から議論する.

## 2 関連研究

本研究で実現を目指す言語能力の自動測定は, 認知症のスクリーニングや留学生の言語能力評価などの様々な場面において応用が期待されるものである。本章では, 言語能力と老化／疾患に関する先行研究および音声認識の活用事例について述べる.

## 2.1 言語能力と老化／疾患

一般に，老化と言語能力とは相関しないといわれている。例えば，一部の言語能力は, 高齢者においても伸び続けるため, 老人が理解している語彙数は, 若者の約 1.3 倍だという報告も

ある (呉田, 伏見, 佐久間 2002). その一方で, 人間が構文をあやつる能力は, 70 代後半を境に 低下しはじめるという報告もある (Kemper et al. 2001).

失語症などの言語との関連が深い疾患を除けば，罹患中の言語能力の変化についての調査は 少ない. しかし, 85 歳以上の $40 \%$ が罹患している認知症 (厚生労働省研究班 2013 ) については 近年研究が進んでいる．Snowdon は，認知症者は認知症の症状が認められ始める 50 年前から 語彙能力が低いと報告した (Snowdon et al. 1996)。また, Kemperによると，英文における認知症の進行度は語彙能力, 構文能力ともに相関関係にあり, 症状が進行するにつれ, 構文能力の 顕著な低下がみられるという (Kemper et al. 2001).

ただし，ある人間が認知症か否かを判定するための項目に，言語能力に関するものがあるこ とを考慮すれば，認知症患者が言語能力の低下を示すことは，ある種のトートロジーであり，言語能力と認知症, さらに老化の関係は, 複雑な様相を呈しているといえる.

文章から認知症などの疾患を推定することが可能となれば，測定の侵襲度が低く，かつ，超早期からの検出が可能となる.

## 2.2 音声認識の活用事例

近年, 音声認識技術が進展し, 様々な場面で音声認識が利用されている。例えば, スマート フォンの普及に伴い，ブラウザ上での音声検索なども利用できるようになった．また，旅行対話を対象とした音声翻訳 (Ikeda, Ando, Satoh, Okumura, and Watanabe 2002; 笹島, 井本, 下森, 山中, 矢島, 福永, 正井 2005 ; 花沢, 荒川, 岡部, 辻川, 長田, 磯谷, 奥村 2009) や, コー ルセンターの自動案内のための電話音声認識 (加藤 2010), 英語字幕の生成 (下郡, 坪井 2010),議事録の作成 (別所，松永，大附，廣嶋，奥 2008) など，音声認識を利用した多様なシステムが これまでに提案されている。

旅行対話など，分野を限定した場合，音声認識によって高精度な認識を実現することは可能 であるが，分野を制限せずに精度のよい認識結果を得ることは未だ容易ではない．従来の音声認識を利用したシステムは， 限定的な分野を対象にするなどして精度改善の工夫を行い，正し い認識結果を取得し，その結果を利用することが前提となっている.

本研究では，言語能力の測定において，音声認識を利用する。精度の良い認識結果が得られ れば，より正確な言語能力測定が可能であるが，認識誤りが生じていても，その影響を受けに くいと考えられる言語能力指標を採用することで，頑健な言語能力測定の実現を目指している.

## 3 言語能力指標

我々はこれまでに，言語能力指標の提案および提案指標を用いたテキスト分析を行い，提案指標によって認知症者の特徴的な傾向などを観察できる可能性を示してきた (四方，荒牧 2014;
荒牧 他 2014). 本論文では, この先行研究で提案した言語能力指標を採用し, 提案システムを 実現する。

そこで本章では，まず，提案システムで採用する言語能力指標について概説する.

一般に，言語能力は「話す (speaking)・聞く (listening)・読む (reading)・書く (writing)」の 4 つに大別される. 本研究は, 人間からの出力に関わる,〈話す〉能力および〈書く〉能力に注目する。〈話す〉能力および〈書く〉能力は，大別すると語彙に関する能力（以降，語彙能力と よぶ）と文法に関する能力（以降，文法能力とよぶ）の 2 つになる (Kintsch and Keenan 1973; Turner and Greene 1977). 本研究で採用する言語能力指標は, 主に語彙能力に関わるものであ り，以下の 2 つの観点で分類できる.

単位： 語単位で算出され，それを全文で平均するタイプのもの（単語指標）, 文単位で算出さ れ，それを全文で平均するタイプのもの（単文指標），および使用語彙数など，全文から 導出されるタイプのもの（文章指標）

方法：辞書などで定義された基準に基づいてレべル付けされたもの（辞書定義尺度）および 大規模コーパスから統計的に算出されるもの（統計量）

これらの観点から指標を分類した結果を表 1 に示す. 以下，各指標の定義を述べる。

(1) Type $\cdot$ Token 割合 (Type Token Ratio; TTR):

Type（異なり語数）と Token（延べ語数）の比率 (Type/Token) を示す.この值が大き いほど，語彙量が多いことを意味する，文章全体で集計した値をTTR スコアとする。

(2) 頻度 ・使用者数比 (Frequency per User Popularity; FPU)：語の特殊性を示す指標である。語の特殊性は, 語の出現頻度を語のユーザ数で割った値 と定義する。この値が低いほど，その語は一般的であり，高いほど，その語のユーザ数 が少ない語（特殊な語）であることを示す。例えば，スラングや専門用語などは高い値 を持つ.ソーシャルメディア上の 10 万人の発言を 8 ヶ月間調査して得たデータをもと

表 1 本研究で用いる言語能力指標

 \\

に, 語のユーザ数および出現頻度を算出し, 各語の頻度・使用者数比コーパスを構築し た (Aramaki, Maskawa, Miyabe, Morita, and Yasuda 2013). このコーパスを参照して語 ごとに頻度・使用者数比を算出し，全単語の値を平均した値を FPU スコアとする.

(3) 日本語学習語彙レベル (Japanese Educational Lexicon Level; JEL)：

語彙の難易度を示す指標である。難易度は日本語学習辞書 7 に収載されている語彙レベル を用いた。語彙レベルは, 1 (初級前半), 2 (初級後半), 3 (中級前半), 4 (中級後半), 5 (上級前半), 6 (上級後半) に分けられる (砂川 2012). 語ごとに算出し, 全単語の平均を JEL スコアとする。

（4） 機能表現難度 (Difficulty of Functional Expression; FNC)：

機能表現 8 の難易度を示す. この値が大きいほど，文章内で用いられている機能表現の難易度が高いことを意味する。難易度の定義は「日本語機能表現辞書つつじ」(松吉, 佐藤,宇津呂 2007) で設定されている難易度による。難易度は A1, A2, B , C, F の 5 段階に分か れておりここれを $1(\mathrm{~A} 1)$ から $5(\mathrm{~F})$ に変換した。文ごとに算出し，平均した値を $\mathrm{FNC}$ スコアとする.

(5) ポライトネス (Politeness of Functional Expression; PLT) :

機能表現の丁寧さの度合いを示す.この値が大きいとき，機能表現が丁寧であることを 表す.ポライトネスは「日本語機能表現辞書つつじ」(松吉 他 2007 ; 松吉, 佐藤 2008)の 分類を採用した．分類では機能表現が常体 (normal), 敬体 (polite), 口語体 (colloquial),堅い文体 (stiff)の 4 種類に分けられており, 口語体 (colloquial) $=1$, 常体 (normal) $=$ 3 , 敬体 $($ polite $)=5$, 堅い文体 $($ stiff $)=5$ に変換した. 文ごとに算出し，平均した値を PLT スコアとする.

（6）具体性 (Named Entity Ratio; NER):

固有名詞の割合を示す。具体性は，固有名形態素数を全名詞形態素数で割った値と定義 する.この値が大きければ，文章の内容がより具体的であることを示す. 固有名詞の判定は，形態素解析器 $\mathrm{JUMAN}^{9}$ (Kawahara and Kurohashi 2006) を用いて行う。地名，数詞，固有名詞の割合を文ごとに算出し，平均した値を NER スコアとする.

以降,これらの言語能力指標をもとに算出される値を「言語能力スコア」と総称する.なお, これらの指標は, 人間の言語能力によって表出したテキストの特徴を表すものの一つであると 見なし, 本論文では「言語能力指標」と呼ぶこととしているが, これらの指標は人間の言語能力を直接的に表すものではない.

## 4 提案システム：言秤（コトバカリ）

本章では，まず，想定するシステムの用途を整理し，提案システムの構成について述べる.

## 4.1 想定するシステムの用途

前述したように, 本研究で提案する言語能力測定は, 様々な場面へと適用できる可能性があ るが，本論文では，適用対象の一つとして想定している認知症者を例として, システムの用途 を整理する。

認知症予防回復支援のアプローチの一つとして，認知的アプローチがある (大武 2010).これ は, 知的活動と社会的ネットワークの構築により, 認知症になると衰える認知機能を必要とす る認知活動を行い，認知機能の低下を遅らせるものである。本人が認知症であると自分の状態 を認識しており，その状態の維持や改善に取り組みたいと考えている場合，被測定者自身が前向きかつ積極的にシステムを利用する可能性がある.

一方で, 認知症の疑いのある人の言語能力を測定する場合などは, 上述したケースとは異な ると考えられる。日本イーライリリー株式会社が行った調查10によると，認知症を疑うきっか けとなる変化に気づいてから，最初に医療機関を受診するまでにかかった期間は平均 9.5 か月，変化に気づいてから確定診断までにかかった期間は平均 15.0 か月であるとの調査結果がある.認知症には様々な原因があり，早期診断で治療可能なものがあるが，上述の調査では，確定診断 までに時間がかかったことによる患者や家族の負担に関して，「適切な治療がなされなかった」 という回答が $36.7 \%$ を占めており, 早期診断の重要性が見て取れる。しかし，それにも関わら ず，認知症の疑いのある人自身が受診を嫌がる11ことなども多い。このような場合, 被測定者 の周囲の人々（家族など）は測定に対して前向きであっても，言語能力の被測定者がシステム の利用に後ろ向きである可能性がある.

そこで本提案システムでは，以下の 2 種類の用途を想定し，システムの検討を行う。

用途 1 ： 被測定者自身による自己把握・状況改善

被測定者が自発的にシステムを利用し，その結果を自分自身で確認することにより，言語能力の現状を把握し，改善などに役立てることを想定している。

用途 2：被測定者以外による能力の高低の判断

例えば，認知症の疑いのある人（被測定者）の家族などが，被測定者の発話を音声デー 夕として保存しておき，そのデータから言語能力を測定することにより，被測定者の言語能力傾向を把握するために用いることを想定している。

なお，用途の整理においては認知症者を例としたが，他の分野においてもこれらの用途はあ ると考えらえる，例えば，留学生の能力評価の場合, 留学生自身による自己の能力把握が用途 1 ，教師などの評価者による能力評価が用途 2 に該当する.

## 4.2 システム構成

本研究では， 3 章で述べた 6 指標に基づき，言語能力を測定するシステム「言秤」を提案す る。言秤のシステム構成を図 1 に示す.

4.1 節で述べたシステムの用途を考慮し, 音声データの入力は, 入力方式 (1) ユーザ端末に保存された音声データ（wavファイルなど），または入力方式 (2) マイクによるリアルタイム入力 を想定する。 入力方式 (1) は, 用途 2 のように, 被測定者以外がシステムを利用する場合に必須となり，また用途 1 でも利用可能である。 入力方式 (2)については, 用途 1 のように自発的 な測定を行う際, 音声データの作成の手間を減らし, その場で直接入力するために必要である と考えた。

音声データあるいはマイク入力に対し, 以下の 3 つのモジュールでの処理を行い, 言語能力 スコアを出力する.

(A) 音声認識モジュール 音声認識ソフトウェアにより, 入力音声をテキストデータに変換 する。

(B) 言語処理モジュール 音声認識モジュールにより変換したテキストデータに対し, 形態素

図 1 システム構成
解析を行う。

(C) スコアリングモジュール 言語処理モジュールによって得られた解析結果をもとに， 3 章 で述べた言語能力スコアを算出する。

方式 (1) 保存された音声データおよび方式 (2) マイクによるリアルタイム入力については, 全 てのモジュールでの処理が必要となる。 また, 本システムでは, 音声入力だけでなく, テキス トによる入力も可能であり, その場合は, 音声認識モジュールを除いた 2 つのモジュール（言語処理モジュールおよびスコアリングモジュール）によって処理される.

提案システムの画面例を図 2 および図 3 に示す. スコアリングモジュールにより算出された 6 つの言語能力スコアは, 図 2 のようにレーダーチャートとして画面上に表示される。なお, 方式 (2) マイクによるリアルタイム入力の場合, 入力結果を随時可視化し, ユーザへとフィード バックする（図 3）こともできる.

図 2 言語能力スコア表示画面

図 3 リアルタイムフィードバック画面

## 5 検証実験

音声認識システムによる言語能力の測定可能性を検証するために, 音声データを用いた言語能力スコアの比較実験を行う，本章では，検証仮説と評価に用いるデータについて説明する.

## 5.1 検証仮説

音声認識システムの認識精度が高い場合, 認識結果が発話内容と完全一致することも考えら れる。もし, 完全一致するならば, 算出される言語能力スコアには何の問題もない. しかし, 現在の音声認識システムでは, 常に高精度な認識ができるとは限らない. では, 認識結果と実際 の発話内容にずれがある場合, 正しい言語能力スコアの算出はできないのだろうか.

これまでに行った分析の結果, 我々が提案・採用する 6 つの言語能力指標のうち, 認知症の傾向把握に大きく寄与しうる ${ }^{12}$ 指標は, TTR (Type・Token 割合) およびJEL（日本語学習語彙レ ベル) の 2 つであることが判明した (荒牧他 2014). この 2 つの指標はまた, 日本語学習者の日本語習熟度の変遷を把握する際にも活用できる可能性がある指標でもある (久保, 宮部, 四方,荒牧, 李 2015). 特にTTR は, Type（異なり語数）と Token（延べ語数）の比率 (Type/Token) であり, TTR スコアの算出において, 発話されたのがどのような語であるかという点について は関与しない.

我々はこの点において, 音声認識システムによる認識結果が不完全であっても, TTR スコア を算出できる可能性があると考えた。具体的には, ある語の認識を誤った（例えば,「機械」と いう発話を「機会」と変換したり, 全く異なる語として認識するなど）としても，発話者によっ て語の発声の仕方が変わらないと仮定すれば, 音声認識システムは毎回同じ誤りとして出力し,総じて異なり語数, 述べ語数が大きく変わらない可能性があると考えている. 異なり語数, 述 べ語数が大よそ合っていれば，仮説上はTTR スコアも実際の発話内容から算出されるものと 類似するはずである.

そこで, 本実験では, 「音声認識システムの認識結果が正しくなくとも, Type 数, Token 数 は実際の発話データと相関する」という仮説を立て, 言語能力スコアの算出・比較を行う。本検証では，理論的に認識誤りに頑健な指標であると考えられるTTRスコアをもとに，音声認識 システムを介した言語能力の測定可能性を議論することとし，認識内容の影響を受けるその他 の指標については，参考値として掲載する。

なお, 今回は, 音声認識することを想定していない録音音声データを評価用音声データとし,検証を行う，マイクに向かい, 音声認識することを意図して入力するよりも認識精度が低くな ると考えられ，より劣悪な環境下を想定した検証結果になると考えている.

## 5.2 評価用音声データ

評価用音声データとして，模擬面接の設定で収録された音声デー夕 (保田, 田中, 荒牧 2013) を用いた，今回用いたデー夕は，模擬面接の設定において， 5 名の実験協力者（男性 2 名，女性 3 名であり，年齢は $20 \sim 40$ 代である）が各 10 回収録したデー夕（合計 50 回分）である.

就職活動を前提とした模擬面接の設定で, 実験協力者はあらかじめ考えてきた「学生生活で 力を入れてきたこと」についての発話（3分間程度）を行ってもらった. なお, 収録時, 偶数回 のみ聴衆（面接官役）を配置したが，聴衆には聴いていることを表すためにうなずくことのみ を許可し，話者への質問や意見など，発話は一切行わないようにしている.

発話内容は，ボイスレコーダーおよびビデオカメラにおいて収録した．収録環境のイメージ を図 4 に示す. ボイスレコーダーは机の上に置き, 被験者からは少し距離のある状態で録音し ている。評価用音声データとしては，ボイスレコーダーで収録したものを利用した。なお,こ のデータの収録においては，同じ内容を話してもらっているが，テキストを読み上げるのでは なく, 面接の設定でその場で話してもらっているため, 実験協力者の 10 回の発話内容はそれぞ れ異なっている 13.

発話者には，発話内容を録音していることを伝えているが，音声認識によるテキスト化を前提として収録したものではない. したがって，このデー夕は，録音を意識している可能性はあ るが，音声認識することを意識した発話データではないといえる.

図 4 音声データの収録環境

## 5.3 評価用テキストデータの作成

音声認識による言語能力測定の可能性を検証するためには, 5.2 節で述べた各評価用音声デー 夕に対して，テキストデータを作成する必要がある.

まず，音声認識結果と比較するための正解データを作成した，正解データについては，音声 を聞きながら，人手で書き起こし作業を行い作成した。なお，書き起こしの際は，「えー」や 「あー」などの言いよどみ (フィラー) もテキストとして書き起こしている.

次に, 音声認識システムによるテキストデータの生成を行った ${ }^{14}$. 現在, 様々な音声認識シ ステムが公開されているが，その精度はシステム毎に異なると考えられる。そこで，実験結果 に対する音声認識システムの精度の影響を考慮し, 異なる 2 種類の音声認識システムを用いて 実験を行うこととした．本実験においては，以下の 2 種類の音声認識システム 15 を用いて，音声認識結果を生成する.
- 大語彙連続音声認識エンジン Julius (Rev. 4.2)(河原, 李 2005)

・アドバンスト・メディア社の AmiVoice $\mathrm{SP}^{16}$

本検証実験で用いるテキストデータは以下の 3 種類である. 各テキストの一部を表 2 に示す.

（1）書き起こしデー夕（以下，「書き起こし」と表記する）

（2）Julius を用いた認識結果（以下，Julius と表記する）

(3) AmiVoice SP2 を用いた認識結果（以下，AmiVoiceと表記する）

表 2 各テキストデータの一部

 & & \\

Julius, AmiVoice のテキストについては, 音声認識システムから出力された結果をそのまま掲載している.

## 6 実験結果と考察

本章では，それぞれのテキストに対する，スコアリングモジュールによる言語能力スコアの 算出結果を比較する。なお，本論文では理論的に認識誤りに頑健な指標である TTR スコアを もとに, 音声認識システムを用いた言語能力測定の可能性を議論する. TTRスコア以外の言語能力スコアについては, 今回は参考値として提示することとし, 今後, 認識結果と併せた詳細 な分析を行うことにより，測定可能性を検証する。

## 6.1 平均スコアとデータ間の相関

Type（異なり語数), Token (延べ語数) および 3 章で述べた 6 指標, 音声認識率 ${ }^{17}$ の平均値を 表 3 に示す. 表 3 より, Type については書き起こしよりも, Julius, AmiVoiceの方が多い傾向 がみられる。一方, Tokenについては, 書き起こしょりも Julius, AmiVoiceの方が少ない傾向 がみられた. TTRについては, Julius, AmiVoiceが, 書き起こしょりも若干高い值となった. その他の言語能力スコアについては, 大きな違いはみられなかった.

各スコアに関する，テキストデータ間のピアソンの相関係数を表 4 にそれぞれ示す. 表 4 よ り, Type, Tokenについてはいずれの組み合わせでも 0.9 前後の強い正の相関 $(p<0.05)$ が確認できた。一方, TTRスコアについては，書き起こしと Julius, 書き起こしと AmiVoiceの相関係数はいずれも 0.2 未満であった.

表 4 における相関係数は, 50 回分の発話デー夕全体での相関を調べたものである. 発話者ご との各スコアの相関係数および音声認識率を表 5 および表 6 に示す. 表 5 , 表 6 の TTR スコア

表 3 各スコアの平均値

$ : 書き起こしデータの総単語数, $\mathrm{D}$ : 脱落誤りの数, $\mathrm{S}$ : 置換誤りの数, $\mathrm{I}$ ：挿入誤りの数
}

の相関係数より，正の相関がある発話者が一部見られるものの，全発話者に相関が見られるわ けではなく，相関の有無には個人差があることがわかった。

また, TTR スコアの相関係数と音声認識率とを比較すると, 相関係数が 0.4 以上だが音声認識率が低い場合（表 5 発話者 D）や，相関係数が 0.4 未満だが音声認識率が高い場合（表 6 発話者 C）などが見られ，書き起こしと音声認識とのTTR スコアの相関の高さには，音声認識精度による大きな影響は見られなかった。ただし，今回の検証は 5 名の発話者のみで行っている

表 4 テキストデータ間の相関係数

*: $p<0.05$

相関係数が 0.4 以上であったものを太字で示している.

表 5 話者別に見た言語能力指標に関する書き起こしデータ・音声認識結果 (Julius) 間の相関係数

* : $p<0.05$

相関係数が 0.4 以上または -0.4 以下であったものを太字で示している.

表 6 話者別に見た言語能力指標に関する書き起こしデータ・音声認識結果 (AmiVoice) 間の相関係数

*: $p<0.05$

相関係数が 0.4 以上であったものを太字で示している.

ため，今後より多数の話者データを確保した上で影響の有無を検証する必要がある.

## 6.2 発話音声データに基づく言語能力測定の可能性

## 6.2.1 TTR スコアの測定可能性

6.1 節で示したように，検証の結果，Type，Token については実際の発話内容（書き起こし） と音声認識システムの認識結果 (Julius, AmiVoice) との間に強い正の相関がみられたが, 50 回分の発話データ全体で検証すると，TTR スコアの相関は確認できなかった. 一方, 発話者ごと にTTR スコアの相関係数（表 5）をみると，5\%水準で有意なものは一部のみであるが，一部の 発話者については正の相関が見られており，相関の見られる発話者とそうでない発話者に分か れることが示された.

以上の結果から, 音声認識システムを用いた言語能力の測定可能性について議論する. 6.1 節 で示したように，単純に TTR スコアのみを比較した場合, 本来の TTR スコア（表 3 では「書 き起こし」が相当）よりも高くなる可能性がある。したがって，単純にある閾値を下回ったかど うか, といった観点から，TTR スコアを認知症の初期症状の発見など，能力の高低の判断 (4.1 節 用途 2）に用いることは難しい，ただし，本研究で，音声認識により各指標がどの程度バイ アスを受けるかが明らかになった，今後，これを補正することで，さらに精度の高い推定を実現できる可能があると思われる。

一方, 発話者ごとに分けて検証を行った結果, 音声認識によるTTR スコアと本来の TTR ス コアに相関が見られる発話者と，相関が見られない発話者がいることが分かった. 有意な相関 が見られた発話者 A (Julius 使用, AmiVoice使用), 発話者D (AmiVoice使用)に関して, 音声認識による TTR スコアと本来のTTR スコアとの比例定数を調査した結果, 発話者 A (Julius 使用）の比例定数は平均 0.66, 標準偏差 0.02 , 発話者 A（AmiVoice 使用）の比例定数は平均 0.59 ,標準偏差 0.02 , 発話者 D（AmiVoice 使用）の比例定数は平均 0.57 , 標準偏差 0.03 となり, ほぼ 一定の比例定数が確認された。また, TTR スコアに相関が見られなかった発話者の発話内容を 確認すると，Juliusを用いた場合（表 5）に相関が見られなかった発話者 B（相関係数 0.049）, $\mathrm{E}($ 相関係数 - 0.156）については, どちらの発話者も, 発話の中で「えーと」「えー」といった フィラーを頻繁に使用している傾向が見られた。また, AmiVoice を用いた場合（表6）に強い 相関が見られなかった発話者 C（相関係数 $0.379 ）$ は，5 名の発話者の中でも音声認識率が高く,発話者 Cの 10 回分のデータの中で, TTR スコアの大きな変化が生じていない傾向が見られた.音声認識率が高いにも関わらず，TTR スコアに相関が見られなかった原因としては，このTTR スコアの変化の小ささが関係すると考えられる。発話者 $\mathrm{C}$ と, 表 6 において有意な相関が見ら れた発話者AのTTRスコアの取りうる幅（最大値一最小値）を比較すると，発話者Aの幅が 0.054 （書き起こし）および 0.107 (AmiVoice) であったのに対し, 発話者 Cの幅は 0.019 （書き 起こし）および 0.066 (AmiVoice) であり, 発話者 A と比較すると, 発話者 C の TTR スコアは

ごく狭い範囲に密集する傾向が見られた. そのため, 発話者 $\mathrm{C}$ の 10 回の計測データでは TTR スコアの摇れがあまり見られず，その中でやや傾向の異なる TTR スコアの一つのぺアが外れ 值となり，相関係数が低くなった可能性がある。このような発話者については，より多くの発話データを収集することで，音声認識によるTTR スコアと本来の TTR スコアとの高い相関が 得られる可能性がある。な押，今回検証に用いた発話者デー夕は 5 名分であり，今後より多く の発話者デー夕を用いた比較を行うことで，TTR スコアに相関が見られない発話者らに，今回見られたこれらの傾向が現れるかどうか確認する必要がある.

これまでの調査では，長期的に認知症者の言語能力スコアの変化を見ていくと，徐々に減少 していく傾向が確認されている (四方，荒牧 2014)。このような傾向を鑑みると，スコアに相関 が見られる一部の発話者に関しては，継続的に被測定者のTTR スコアを測定・記録し，その変化を見るという利用法において，認知症の初期症状の発見（4.1 節 用途 2）に役立てることがで きる可能性がある，同様に，被測定者自身が現状把握・言語能力の維持・改善目的で継続的に 言語能力スコアを計測し比較するといった利用方法（4.1 節 用途 1）も可能であると考えられ る。なお，音声認識結果から算出された言語能力スコアに基づいて言語能力の変化を把握して いくためには，本来のスコアと音声認識によるスコアとの相関が見られた上で，比例定数が一定となる必要があると考えられる，そのため，完璧でない音声認識システムを用いる場合，提案システムによって能力の測定が可能な発話者かどうかは, 複数回の測定を行い, スコアの相関と比例定数を確認した上で判断する必要がある。

## 6.2.2 その他のスコアの測定可能性

5.1 節でも述べたが，今回，理論的に認識誤りに頑健な指標であると考えられる TTR スコア に基づいて，音声認識システムを介した言語能力の測定可能性を議論することとし，TTRにつ いては前述のような測定可能性があることを明らかにした。一方, TTR 以外の指標は，各語に 紐づいた特有の値（例えば，FPU の場合は頻度・使用者数の比）や, 品詞（NER の場合, 固有名詞の数）に基づいてスコアが算出される。つまり, 発話内容が正しく認識されなければ，正し いスコア算出が難しい指標であるといえる，表 4，表 5 ，表 6 においては，参考値として TTR スコア以外の指標についても相関係数を示した。表 4 , 表 5 , 表 6 より, FPU と FNC について は，全体および一部の発話者において， 0.4 以上の正の相関が見られた.

FPU スコアに相関が見られた発話者と見られなかった発話者に関して, 特徴があるのかどう かを確認したところ，相関の高さに影響を与えるような特徴は見られなかった．ただし，相関 の見られなかった発話者 B の書き起こしデータには，FPUの算出に用いたコーパスに含まれな い専門用語が含まれていたのに対し，その音声認識結果では，それらの専門用語が，コーパス に含まれる（FPUの算出対象となる）単語として誤って認識されている，という場合が見られ た.また, FNC スコアの相関が高かった発話者 C (Julius：0.479, AmiVoice：0.602) の特徴を
確認したところ, 音声認識率が高く, 機能表現も比較的正確に認識できていたのに対し, その 他の発話者については，機能表現を認識できていなかったり，誤った機能表現として認識され ていたりする場合が見られた。たたし，これらの傾向は，今回用いたデータから見られた少数 の事例であるため，その他のデータにおいても同様の傾向が見られるのかどうか，専門用語の 有無や，使用する機能表現のパターンなどが十分な検証用データを収集した上で，今後，検証 する必要があると考えられる.

また, 今後音声認識の精度が向上し, 正確な認識結果が得られるようになれば, TTR 以外の 5 指標についても自動測定が可能になると考えられる.

## 6.3 高齢者施設におけるシステムの試用

5 章で述べた実験において用いた音声デー夕には, 高齢者の音声デー夕は含まれていない. 本提案システムの適用対象の一つである認知症患者は高齢者に多いため, 高齢者の音声データに よる検証についても今後行う必要があると考えている.

これまでに我々は, 高齢者施設が主催した認知症相談会において, システムの試用を行った。図 5 に試用時の様子を示す. なお, 認知症相談会における試用時には, システムの説明などを 行うため, 説明者が試用者の側に同席する形で行った. 相談会での試用においては，マイクを 用いたリアルタイム入力による測定を行った。ただし，言語能力スコアの算出にはある程度の 発話量が必要となる. 自由な発話を測定対象とした場合, 発話内容を思いつかないなど, 測定 のための十分な発話量が確保できない可能性があると考え, 3 つの設問を用意し, 被測定者に

図 5 試用時の様子

図 6 試用時のインタフェース

はその設問に沿って発話してもらう形式を取った。また, システムのインタフェースについて は，測定環境に合わせて変更している。具体的には，発話中には設問が表示され（図 6), 全て の設問に答えた後, 言語能力スコアがレーダーチャートとして表示される形式に変更した.

相談会においては, 51 歳 92 歳（平均 78 歳）の高齢者 19 名にシステムを試用してもらった. システムによる測定結果（音声認識ソフトウェア Julius を使用 ${ }^{18}$ ）と，録音した音声データの 書き起こし結果との比較を行った結果, TTR スコアの相関係数は 0.379 であり, 相関は見られ なかった。

小沼らの研究では，一般的な音響モデルは成人の音声を用いていること，また，高齢者話者 の音声には口をあまり開けないことによる不明膫な音声などがあることから，高齢者の音声の 音響特性と音響モデルとの間にミスマッチを生じ，認識率が低下することが報告されている (小沼, 桑野, 木村, 渡辺 1997). 高齢者を測定対象とした際に, 一般的な音響モデルを用いた音声認識システムを使うことで認識率が低下し，それが言語能力スコアの検証結果に影響を及ぼ す可能性もある．ただし， 5 章で述べた検証実験と異なり，同一発話者による複数回の測定は 行っていない. そのため, 今後, 高齢者に本システムを継続的に利用してもらい, 同一発話者 （高齢者）による測定の可能性について，検証していく必要がある。また，高齢者音声の高精度 な認識を目指した研究も進められており (馬場, 芳澤, 山田, 李, 鹿野 2002), 今後このような 研究が発展したとき，ユーザに応じて音響モデルの変更などができるようになれば，より正確 な測定が可能になると考えられる。

は，個々人によって相関の高い音声認識システムが異なっていた。そのため，この試用においては，フリーのソフ トウェアである Julius を使用することとした.
}

## 7 おわりに

本研究では，発話者の音声から言語能力を測定するシステム「言秤」を提案した．提案シス テムは, 認知症における初期症状の発見や自己把握・状況改善, 留学生の日本語能力の客観的 な評価などにおいて利用されることを想定したシステムである。(1) 音声認識システムの組み込 み，および (2) テキストデータから定量的に言語能力を測定する指標の採用を行うことで，従来人手で行っていたテキスト化および言語能力指標の算出を自動化し，コストの軽減と手軽な 測定を実現した。ただし，テキスト化に音声認識システムを用いることで，正確な言語能力ス コアの算出が困難となる可能性がある.

そこで, 言語能力測定の適用先の一つである認知症の初期発見を想定して用途を整理し, 「被測定者自身による自己把握・状況改善（用途 1)」および「被測定者以外による能力の高低の判断（用途 2)」という観点から，言語能力スコア算出における音声認識システムの利用可能性に ついて検証を行った. 検証実験の結果, 以下の点を明らかにした.

(1) Type（異なり語数), Token（延べ語数）は, 発話内容と音声認識結果で強い正の相関が ある。また, TTRスコア（Type・Tokenの比率）は, 複数発話者の混在するデー夕にお いて相関はみられなかったが，同じ発話者の発話デー夕においては，相関が見られる発話者と，相関が見られない発話者とに分かれる傾向がみられた.

（2） Type, Token, TTRスコアのいずれも，相関関係はみられるものの, 実際の値には発話 データとの差異がみられた。

(3) 上記の (1), (2)より, 閥値との比較のような, 単純な言語能力スコアの対比による能力の 高低の判断（用途 2）は難しい。一方, TTR スコアに相関が見られる発話者については,被測定者の言語能力スコアを継続的に測定し，その変化を観察することによる初期症状 の発見（用途 1）や言語能力の現状把握・維持・改善（用途 2）ができる可能性がある.

今回の検証においては, 評価用音声データとして, 音声認識することを想定していない録音音声データを用いた，ただし，発話者に対し，録音していることを伝えているため，録音され ることを意識している可能性はある，今後，録音を全く意識していない発話データでの検証を 行い, 同様の傾向が得られるかを確認する。また, 今回用いた音声データには, 高齢者の音声 データは含まれていないため，それを用いた検証も行う必要があると考えている．今回の検証 においては, TTRスコア以外の言語能力スコアを参考値として提示したが, 今後, 認識結果と 併せた詳細な分析により，それらの測定可能性を検証する。

また, 今回得られた結果は, 音声認識エンジン Julius (Rev. 4.2) および音声認識システム AmiVoice SP2 を用いて検証した結果であり，より高精度な認識結果の得られるソフトウェアを 用いた場合には，結果が変わる可能性がある。完璧な認識結果が得られるようになれば，正確 な言語能力スコアを測定することが可能になるため, 今後は音声認識の認識率向上に併せて, 本
論文と同様の検証を行い，スコアの相関について検証していく必要がある.

## 謝 辞

評価に用いた音声データの収録・書き起こしにあたり，国立国語研究所の加藤祥氏に多大な るご協力をいただいた。音声認識システム AmiVoice SP2 は，アドバンスト・メディア社にご 提供いただいた。ここに深く感謝の意を表する。本研究の一部は，JST 戦略的創造研究推進事業, 日本学術振興会補助金番号 JP16H06395 および 16H06399, 16K12489 の助成による.

## 参考文献

荒牧英治, 久保圭, 四方朱子 (2014). 老いと〈ことば〉：ブログ・テキストから測る老化. 電子情報通信学会技術研究報告 $=$ IEICE technical report: 信学技報, 114 (173), pp. 131-136.

Aramaki, E., Maskawa, S., Miyabe, M., Morita, M., and Yasuda, S. (2013). "A Word in a

Dictionary is used by Numerous Users." In Proceedings of International Joint Conference on Natural Language Processing (IJCNLP2013), pp. 874-877.

馬場朗, 芳澤伸一, 山田実一, 李晃伸, 鹿野清宏 (2002). 高齢者音響モデルによる大語彙連続音声認識. 電子情報通信学会論文誌. D-II, 情報・システム, II-パターン処理 $=$ The transactions of the Institute of Electronics, Information and Communication Engineers. D-II, 85 (3), pp. 390-397.

別所克人, 松永昭一, 大附克年, 廣嶋伸章, 奥雅博 (2008). 話題構造抽出に基づく会議音声イン デクシングシステム。電子情報通信学会論文誌. D, 情報・システム, 91 (9), pp. 2256-2267.

Hampshire, A., Highfield, R. R., Parkin, B. L., and Owen, A. M. (2012). "Fractionating Human Intelligence." Neuron, 76 (6), pp. 1225-1237.

花沢健, 荒川隆行, 岡部浩司, 辻川剛範, 長田誠也, 磯谷亮輔, 奥村明俊 (2009). 携帯電話試作機上で動作する旅行会話向け音声認識システム. 情報処理学会第 71 回全国大会講演論文集 (人工知能と認知科学), pp. 39-40.

Ikeda, T., Ando, S., Satoh, K., Okumura, A., and Watanabe, T. (2002). "Automatic Interpretation System Integrating Free-style Sentence Translation and Parallel Text Based Translation." In Proceedings of the ACL-02 Workshop on Speech-to-speech Translation: Algorithms and Systems, Vol. 7, pp. 85-92.

金久保紀子 (2016). 日本語スピーチコンテスト実態と課題. 筑波学院大学紀要, 11, pp. 13-23.

加藤恒夫 (2010). 携帯電話における分散型音声認識システムの実用化. 情報処理学会誌, 51 (11), pp. 1394-1400.

Kawahara, D. and Kurohashi, S. (2006). "A Fully-Lexicalized Probabilistic Model for Japanese Syntactic and Case Structure Analysis." In Proceedings of the Human Language Technology Conference of the North American Chapter of the Association for Computational Linguistics (HLT-NAACL2006), pp. 176-183.

河原達也, 李晃伸 (2005). 連続音声認識ソフトウェア Julius. 人工知能学会誌, 20 (1), pp. 41-49.

Kemper, S., Marquis, J., and Thompson, M. (2001). "Longitudinal Change in Language Production: Effects of Aging and Dementia on Grammatical Complexity and Propositional Content." Psychology and Aging, 16 (4), pp. 600-614.

木村かおり (2009).「書く」能力を評価する一評価プロセスの見える評価を目指して一. 2009 年度日本語教育実践研究フォーラム, pp. 1-9.

Kintsch, W. and Keenan, J. (1973). "Reading Rate and Retention as a Function of the Number of the Propositions in the Base Structure of Sentences." Cognitive Psychology, 5 (3), pp. 257-274.

小沼知浩, 桑野裕康, 木村達也, 渡辺泰助 (1997). 高齢者音声の解析と認識評価. 日本音響学会研究発表会講演論文集, 1997 (2), pp. 117-118.

厚生労働省研究班. 都市部における認知症有病率と認知症の生活機能障害への対応.

http://www.tsukuba-psychiatry.com/wp-content/uploads/2013/06/H24Report_Part1. pdf.

Kubo, M., Kiyohara, Y., Kato, I., Tanizaki, Y., Arima, H., Tanaka, K., Nakamura, H., Okubo, K., and Iida, M. (2003). "Trends in the Incidence, Mortality, and Survival Rate of Cardiovascular Disease in a Japanese Community: The Hisayama Study." Stroke, 34 (10), pp. 2349-2354.久保圭, 宮部真衣, 四方朱子, 荒牧英治, 李在鎬 (2015).『言秤』による日本語運用能力の自動測定 : 日本語学習者の書き言葉と話し言葉との差異を定量的に示す試み. 2015 年度日本語教育学会春季大会予稿集, pp. 267-268.

呉田陽一, 伏見貴夫, 佐久間尚子 (2002). 言語能力の加齢変化. 第 9 回東京都老年学会誌, pp. 200-205.

松吉俊, 佐藤理史, 宇津呂武仁 (2007). 日本語機能表現辞書の編纂. 自然言語処理, $14(5)$, pp. 123-146.

松吉俊, 佐藤理史 (2008). 文体と難易度を制御可能な日本語機能表現の言い換え. 自然言語処理, $15(2)$, pp. 75-99.

大武美保子 (2010). 認知症予防回復支援サービスの開発と忘却の科学一会話における思考の状態遷移モデルと会話相互作用量計測法の開発一. 人工知能学会論文誌, 25 (5), pp. 662-669.笹島宗彦, 井本和範, 下森大志, 山中紀子, 矢島真人, 福永幸弘, 正井康之 (2005). 発話意図理解と回答誘導による異言語間会話支援ツール「グローバルコミュニケーター」。インタラ

クション 2005 予稿集, pp. 119-126.

四方朱子, 荒牧英治 (2014). 言語能力検査としての言語処理：長期間のブログ執筆を継続した 認知症の 1 例. 言語処理学会第 20 回年次大会, pp. 1126-1129.

下郡信宏, 坪井創吾 (2010). 音声認識で生成した英語字幕による英語理解向上の測定実験. 情報処理学会論文誌, 51 (9), pp. 1951-1959.

Snowdon, D. A., Kemper, S. J., Mortimer, J. A., Greiner, L. H., Wekstein, D. R., and Markesbery,

W. R. (1996). "Linguistic ability in early life and cognitive function and Alzheimer's disease

in late life." Findings from the Nun Study, JAMA, 275 (7), pp. 528-532.

砂川有里子 (2012). 学習辞書編集支援データベース作成について一『学習辞書科研』プロジェ

クトの紹介. 日本語教育連絡会議論文集, 24, pp. 164-169.

鳥井俊祐 (2013). 日本語スピーチ授業におけるピア・フィードバック活動の試み：中国の大学生

を対象として. Polyglossia: The Asia-Pacific's Voice in Language and Language Teaching,

25, pp. 141-148.

Turner, A. and Greene, E. (1977). "The Construction and Use of a Propositional Text Base."

Technical Report 63, Institute for the Study of Intellectual Behavior, pp. 1-87.

保田祥, 田中弥生, 荒牧英治 (2013). 繰り返しにおける独話の変化. 社会言語科学会第 31 回大

会発表論文集, pp. 190-193.

## 略歴

宮部真衣：2006 年和歌山大学システム工学部デザイン情報学科中退. 2008 年同大学大学院システム工学研究科システム工学専攻博士前期課程修了. 2011 年同大学院システム工学研究科システム工学専攻博士後期課程修了. 博士 (工学)。同年, 東京大学知の構造化センター特任研究員。2013 年京都大学学際融合教育研究推進センター特定研究員. 2015 年和歌山大学システム工学部講師. 現在, 諏訪東京理科大学経営情報学部講師. コミュニケーション支援, ソーシャルメディア分析に関する研究に従事.

四方 朱子：2000 年北海道大学大学院文学研究科日本文化論修士課程修了（文学修士). 2006 年北海道大学大学院文学研究科歴史地域文化学博士後期課程単位取得満期修了. 2017 年京都大学大学院人間 - 環境学研究科博士後期課程.現在, 長浜バイオ大学バイオサイエンス学部非常勤講師・学習支援センター 講師 (現代文/英語). 主に, 比較文化論, 日本および英米文学研究に従事.

久保圭：2007 年神戸市外国語大学外国語学部卒業. 2010 年京都大学大学院人間 - 環境学研究科修士課程修了. 2017 年京都大学大学院人間 - 環境学研究科博士後期課程修了. 人間 - 環境学博士. 現在, 大阪大学日本語日本文化教
育センター非常勤講師. 主に日本語学, 日本語教育学の研究に従事.

荒牧 英治：2000 年京都大学総合人間学部卒業. 2002 年京都大学大学院情報学研究科修士課程修了. 2005 年東京大学大学院情報理工系研究科博士課程修了.博士 (情報理工学)。2005 年東京大学医学部附属病院特任助教, 2008 年東京大学知の構造化センター特任講師，2013 年京都大学デザイン学ユニット特定准教授を経て, 奈良先端科学技術大学院大学特任准教授. 医療情報学, 自然言語処理の研究に従事.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 論文
## スポーツ要約生成におけるテンプレート型手法と ニューラル型手法の提案と比較

## 田川 裕輝 ${ ^{\dagger}$ 嶋田 和孝 ${ }^{\dagger}$}

本研究では, 日本で人気のある野球に着目し, Play-by-playデータからイニングの 要約文の生成に取り組む．Web 上では多くの野球に関する速報が配信されている.戦評は試合終了後にのみ更新され, “待望の先制点を挙げる”のような試合の状況を ユーザに伝えるフレーズ（本論文では Game-changing Phrase; GP と呼ぶ）が含まれ ているのが特徴であり, 読み手は試合の状況を簡単に知ることができる。このような 特徴を踏まえ, 任意の打席に対して, GPを含む要約文を生成することは, 試合終了後だけでなく,リアルタイムで試合の状況を知りたい場合などに非常に有益である といえる。 そこで, 本研究では Play-by-play データから GP を含む要約文の生成に 取り組む. また, 要約生成手法としてテンプレート型文生成手法と Encoder-Decoder モデルを利用した手法の 2 つを提案する.

キーワード: スポーツ要約生成, テンプレート型要約, エンコーダーデコーダー, 転移学習

## Comparison of Template- and Neural-based Methods for Sports Summary Generation

\author{
Yuki Tagawa $^{\dagger}$ and Kazutaka Shimada ${ }^{\dagger \dagger}$
}

In this study, we propose inning summarization methods to generate a simple and sophisticated summary of baseball games using play-by-play data. We focus on the two information sources of inning reports and game summaries. First, we generate a basic sentence using an inning report; further, the basic sentence is integrated with an explanatory phrase to generate inning summaries that contain expressions such as "the long-awaited first score" in game summaries. We refer to these phrases as the game-changing phrases (GPs). Readers can easily understand the situation of a game using GPs. In this study, we investigate the template- and neural-based methods of summary generation. Additionally, we evaluate the two methods and discuss their advantages and disadvantage.

Key Words: Sports Summary Generation, Template-based Summarization, Encoder-Decoder, Transfer Learning

## 1 はじめに

スポーツの分野で特に人気の高い野球やサッカーなどでは，試合の速報が Webなどで配信さ れている。特に，日本で人気のある野球では，試合中にリアルタイムで更新される Play-by-play データやイニング速報, 試合終了直後に更新される戦評など様々な速報がある. Play-by-play データ，イニング速報, 戦評の例をそれぞれ表 1 , 表 2 , 表 3 に示す. Play-by-playデー夕（表 1）

表 12016 年 3 月 27 日ソフトバンク対楽天戦 10 回表の Play-by-play データ

表 22016 年 3 月 27 日ソフトバンク対楽天戦 10 回表のイニング速報

表 32016 年 3 月 27 日ソフトバンク対楽天戦の戦評

は打席ごとにアウト数や出畕状況の変化, 打撃内容などの情報を表形式でまとめたデータであ る.イニング速報（表 2 ）はイニング終了時に更新されるテキストであり，イニングの情報を網羅的に説明したテキストである。戦評（表 3）は試合が動いたシーンにのみ着目したテキストで あり，試合終了後に更新される。特に，戦評には“0-0のまま迎えた”や“試合の均衡を破る” のような試合の状況をユーザに伝えるフレーズ（本論文では Game-changing Phrase; GP と呼 ぶ）が含まれているのが特徴である。戦評では，“先制”という単語のみでイニングの結果を説明するだけでなく，“試合の均衡を破る”といったフレーズを利用することで，先制となった得点の重要度をユーザは知ることができる。また，“0-0のまま迎えた”というフレーズが利用さ れていると, ユーザは試合が膠着し, 緊迫しているという状況を知ることができる. 本研究で はこのような試合の状況をユーザに伝えるフレーズを GP と定義する.

これらの速報は，インターネットを介して配信されているため，スマートフォンやタブレッ 卜端末など様々な表示領域のデバイスで閲覧されている。また，ユーザはカーナビなどに搭載 されている音声対話システムを通じてリアルタイムで速報にアクセスすることも考えられる。 このような需要に対して，イニング速報はイニングの情報を網羅的に説明したテキストであり，比較的長い文であるため, 表示領域に制限のあるデバイスでは読みづらい。音声対話システム の出力だと考えると，より短く，端的に情報を伝えられる文の方が望ましい．また戦評は GP が含まれており試合の状況を簡単に知ることができるが，試合が動いた数打席にのみ言及した ものであり, 試合終了後にしか更新されない.このようなそれぞれの速報の特徴を考慮すると,任意の打席に対して GP を含むイニングの要約文を生成することは, 試合終了後だけでな, リ アルタイムで試合の状況を知りたい場合などに非常に有益であると考えられる。そこで, 任意 の打席に対して GPを含むイニングの要約文を自動生成する.

本研究では Play-by-play データからイニングの要約文の生成に取り組む. また, 要約文を生成する際に，GPを制御することで，GPを含まないシンプルな要約文と GPを含む要約文の 2 つ を生成する. 文を生成する手法としては, 古くから用いられてきた手法にテンプレート型文生成手法 (McKeown and Radev 1995) がある。また，近年では Encoder-Decoder モデル (Sutskever， Vinyals, and Le 2014)を利用した手法 (Rush, Chopra, and Weston 2015) も盛んに研究されてい る. 本研究では, テンプレート型生成手法, Encoder-Decoder モデルを利用した手法の 2 つを 提案する。

テンプレート型文生成手法 (McKeown and Radev 1995; McRoy, Channarukul, and Ali 2000) とは，生成する文の雛形となるテンプレートを事前に用意し，テンプレートに必要な情報を補完することで文を生成する手法である。岩永ら (岩永, 西川, 徳永 2016) は, 野球の試合を対象とし，テンプレート型文生成手法により，戦評の自動生成に取り組んでいる。彼らは，事前 に人手でテンプレートとそのテンプレートを利用する条件を用意し, 戦評を自動生成する手法 を提案している。テンプレート型文生成手法では，文法的に正確な文が生成できるといった利
点があるが，テンプレートを事前に用意することはコストが大きいといった欠点がある。そこ で，本研究ではこの欠点を補うためにテンプレートを自動で生成する文生成手法を提案する.

また, 近年では深層学習の発展により, 機械翻訳 (Cho, van Merrienboer, Gulcehre, Bahdanau, Bougares, Schwenk, and Bengio 2014; Luong, Pham, and Manning 2015) やヘッドライン生成 (Rush et al. 2015) など文生成分野における様々なタスクで Encoder-Decoder モデルを利用した多 くの研究成果が報告されている. 本研究では, テンプレート型生成手法に加え, Encoder-Decoder モデルを利用した要約文生成手法も提案する。本研究の目的は, 読み手が試合の状況を理解し やすい要約文を生成するため, 要約文に GP を組み込むことである。そこで，入力データが与 えられたときに，GPを含む戦評を出力するように大量の入出力の組を用いて Encoder-Decoder を学習させることが考えられる。しかし, 戦評は試合終了後にしか更新されないため, 1 試合に 1つの戦評しか手に入れることができず，大量の学習デー夕を用意することが困難である．こ の問題を緩和するため, Encoder-Decoder モデルと転移学習を組み合わせたモデルを提案する.

本研究では, テンプレート型生成手法 (3 章), Encoder-Decoder モデルを利用した手法（以降, ニューラル型生成手法)（4 章）の2つを提案し, 生成された要約文を比較, 考察する. 本論文の主な貢献は以下の 4 つである.

・ 野球のイニング要約タスクについて, テンプレート型生成手法とニューラル型生成手法 を提案する。

・ テンプレート型手法では, テンプレートを自動獲得する手法を導入する.
- ニューラル型手法では, 転移学習を利用し, 戦評のデー夕数が十分ではないという問題点を緩和する。
- GPを含まないシンプルな文と GPを含む文の 2 種類の要約文の生成を提案し，その有効性を検証する。

## 2 関連研究

スポーツを題材とし, 要約文を自動で生成する研究は試合のスタッツや選手の成績などのデー 夕を入力とした研究 (村上, 笹野, 高村, 奥村 2016; Robin 1994) やマイクロブログ, テキストコメ ンタリーに投稿されるテキストを入力とした研究 (Nichols, Mahmud, and Drews 2012; Takamura, Yokono, and Okumura 2011; Sharifi, Hutton, and Kalita 2010; Kubo, Sasano, Takamura, and Okumura 2013; Tagawa and Shimada 2016; Jianmin, Jinge, and Xiaojun 2016), テキスト速報な どのニュース記事を入力とした研究 (Allen, Templon, McNally, Birnbaum, and Hammond 2010; Oh and Shrobe 2008; 岩永他 2016) など盛んに行われている.

特に, マイクロブログの普及とともに Twitter を対象としたサッカーの要約生成の研究 (Takamura et al. 2011; Nichols et al. 2012; Kubo et al. 2013)が盛んに取り組まれている. Twitter

を対象とした要約生成の研究の多くは抽出型要約手法を用いている. 抽出型要約手法では文や tweet を抽出単位とするため, ある程度の文法性が担保されるといった利点があり, 口語表現,表記ゆれ，誤字脱字といった言語現象が多く見られるマイクロブログにおいて有効である。そ のため, マイクロブログを対象とした要約生成の研究では抽出型要約手法が主流となっている. しかし, 抽出した文や tweet の一部のみが重要な情報を含み, 他の部分が冗長な要素である場合 が考えられる. この場合, 要約文中に要約に必要な要素と冗長な要素が混在するといった問題 がある。このような問題点に対して, Tagawa and Shimada (Tagawa and Shimada 2016) は, 生成型要約手法で Twitter を対象としたサッカーの要約生成に取り組んでいる. Sharifi ら (Sharifi et al. 2010)は，Twitter を対象としたスポーツの試合や政治，事件などのイベントに対する要約を生成型要約手法により生成している。より柔軟に要約を生成するためには, 生成型の要約手法の実現が不可欠である。また，生成型の要約手法などに代表される文生成の研究において，生成する動詞の選択に着目した研究に Smiley ら (Smiley, Plachouras, Schilder, Bretz, Leidner, and Song 2016)の研究がある. Smiley らはニュース記事において, "rocketed up 19 percent" や“moved up 2 percent”のように“percent”の直前の数値によって“上昇する”や“下降す る”という同じ意味を持つ単語であっても単語の表層が変化していることに着目している。ま た, “increase" や “decrease”のような一般的な動詞を利用するだけでなく, パーセントの直前 の数値などに代表されるような度合いの強さを動詞を選択する際に組み込むことができれば， より自然に聞こえるテキストを生成することができると報告している. Smileyらは, Reuters News Agency のニュース記事 1400 万記事を分析し, “percent”の直前の数値が大きい場合には “skyrocket” や “rocket” という表現が利用され，\%の直前の数值が小さい場合には “edge up” や “nudge up”という表現が利用されることを報告している. また, “Net profits dropped 2\%"と “Net profits plummeted $2 \%$ ののよな動詞のみが異なる 2 つの文に対して, どちらがもう片方 より自然に聞こえるかを被験者が選択する実験を行っている。この例では, “dropped” は $2 \%$ の 直前に出現しやすい動詞であり, “plummeted" $2 \%$ 前に出現しにくい動詞となっている．実験の結果，2000問の質問のうち，1372 問が直前に出現しやすい動詞を含む文が自然に聞こえる テキストとして選択される結果となり，チャンスレートである $50 \%$ を有意に上回る結果となっ たことを示している. Smiley らの研究を加味すると，本研究においても先制したイニングでは “先制”という一般的な単語のみを利用するだけでなく, “試合の均衡を破る”や“幸先良く先制する”のようなフレーズを利用することで，先制となった得点の重要度をユーザに伝えるこ とができると考えられる。また，“0-0のまま迎えた”というフレーズが要約文に組み込まれて いると, ユーザは試合が膠着し, 緊迫しているという状況をユーザは知ることができる。一方, “タイムリーヒット”という単語は得点が入ったという事実以上の意味は含まれておらず，GP には含まれない. 本研究ではこのような試合の状況を伝えることのできるフレーズを GP と定義し, 要約文に組み込む。
本研究と同じく, 野球を対象とした研究 (村上 他 2016; Oh and Shrobe 2008; Allen et al. 2010) も盛んに取り組まれている。Oh and Shrobe (Oh and Shrobe 2008)は，野球に関するニュース 記事からホームチーム視点の記事とアウェイチーム視点の試合の記事の生成に取り組んでいる.同様に, Allen ら (Allen et al. 2010)は, 野球に関する様々なデータから新聞記者が書いたよう な試合の記事の生成に取り組んでいる. Allen らやOh and Shrobe らの研究は, 試合全体に関 する記事を作成することを目的としており, 生成される文は比較的長く, 本研究とは目的が異 なる. 村上ら（村上他 2016）は，表 2 のようなイニング速報を自動で生成している. 村上らは,速報中のそれ以上細かく分割できない一連の事象のことをイベントと定義し，イニング速報の 自動生成を打者成績の系列からイベントの系列を予測する系列ラベリング問題として扱ってい る. 具体的には，イベント文中の打者名やアウト数をスロット化し，イベントテンプレートを 作成する。そして, 打者成績系列とイベントテンプレート系列を学習することで, 未知の打者成績系列に対してイベントテンプレートを予測し，イニング速報を自動生成している。村上ら の目的はイニング速報を再現することが目的であり，本研究と目的が異なる．また，GP を要約文に組み込むことが野球を対象としたこれらの研究と本研究との違いである.

スポーツ以外を対象とした文生成の研究に McRoy ら (McRoy et al. 2000)の研究がある. McRoy らは, has-property(John,age,20)のような形式から, “John's age is 20.”のような文を生成するシステムを開発している。具体的には, 事前に定義された文をそのまま返すルール (The String rule) や事前に定義されたテンプレートのスロットを埋めた文を返すルール (The Template rule) などの 10 のルールを用意している. しかし, 人手でテンプレートを用意するのはコスト のかかる作業であり，現実的であるとはいい難い. そこで，本研究では，既に Web 上に大量に 存在するイニング速報からテンプレートを自動生成する手法を提案する.

また, 近年では機械翻訳 (Cho et al. 2014; Luong et al. 2015), ヘッドライン生成 (Rush et al. 2015), キャプション生成 (Vinyals, Toshev, Bengio, and Erhan 2015; Xu, Ba, Kiros, Cho, Courville, Salakhudinov, Zemel, and Bengio 2015), 対話応答生成 (Li, Galley, Brockett, Spithourakis, Gao, and Dolan 2016; Sato, Yoshinaga, Toyoda, and Kitsuregawa 2017), 要約生成 (Chopra, Auli, and Rush 2016) など多くの系列変換タスクで Encoder-Decoder モデルを利用し た研究成果が報告されている. 特に, 系列変換タスクの近年の傾向として, 出力系列を所望す る出力に制御, 変化させる研究が盛んに取り組まれている.

出力系列を所望する出力に制御する手法として, Decode 時の各タイムステップに追加的な情報 を付与する方法が多くの研究 (Li et al. 2016; Kikuchi, Neubig, Sasano, Takamura, and Okumura 2016; Murakami, Watanabe, Miyazawa, Goshima, Yanase, Takamura, and Miyao 2017; 村上, 笹野, 高村, 奥村 2017) に応用されている. Li ら (Li et al. 2016) は, 不特定多数の対話データか ら学習された応答生成モデルが，たとえば，“出身はどこですか?”という発話に対しては，“東京です.” と応答し, “どこの出身ですか?”という発話に対しては“福岡です.” と応答すると

いったように応答に一貫性がないことを問題とした。この問題に対して, 個人の属性を表すべ クトルを Decoder に追加的に入力することで，個人の背景などの特徴を捉えた一貫性のある応答生成に成功している. Kikuchi ら (Kikuchi et al. 2016) は, Encoder-Decoder モデルを用いた 要約生成において, 出力系列の長さを制御するための探索べースの手法や学習べースの手法の 4 つの手法を提案している，学習べースの手法のうちの 1 つは, 出力すべき長さを表す長さ埋 め込みべクトルを Decoder へ追加的に入力する手法であり，要約精度を落とすことなく，出力系列の長さを制御する機能を獲得できたと報告している． Murakami ら (Murakami et al. 2017) は, 日経平均株価の 1 日分のデータと 7 営業日分の終值のデータから概況テキストの自動生成 に取り組んでいる，特に，時間带に関する “前引け” ゃ “大引け” などの表現を正しく出力す るため，概況テキストが配信される時間带を表すべクトルを Decoder に追加的に入力している. その結果，入力しないモデルに比べ，時間帯に関する表現を正しく出力することに成功したと 報告している。村上ら (村上 他 2017) は, 気圧や気温, 風向きなどの予測值が格納された数値予報マップから天気予報コメントの自動生成に取り組んでいる。村上らも同じく, Decode 時に 天気予報コメント配信時の日時や季節などのメ夕情報を追加的に入力することで，“今日”，“明日”などの時間帯に関する表現や，“春の陽気”のような季節特有の表現を正しく出力できるよ うになり, 単語の一致率を基にした評価指標である BLEU 值が向上したと報告している. 本研究においても，表 1 の打席に関するデータ以外の時間情報などのイニング情報を考慮すること で，GPの制御を試みる。

Decode 時の各タイムステップに追加的な情報を入力する手法以外には, 入力系列に特定のトー クンを付与することで出力を制御を試みる研究 (Sennrich, Haddow, and Birch 2016; Yamagishi, Kanouchi, Sato, and Komachi 2016) がある. Sennrich ら (Sennrich et al. 2016)は，英独機械翻訳において，出力であるドイツ語側の敬意表現の制御に取り組んでいる，入力である英文に出力であるドイツ文の敬意表現の有無を単語として組み込んだコーパスで学習し，テスト時にも 敬意表現を入力文に付与することで付与した情報を考慮した翻訳文を出力することができ，参照訳と同じ敬意表現を入力文に付与した場合，BLEU 值が向上することを報告している。同じ く, Yamagishi ら (Yamagishi et al. 2016) は, Sennrich らの手法を基に, 日英翻訳での出力文の 態制御に取り組んでいる，出力である英文の態情報を入力である日本語文に態情報として組み 込んだコーパスで学習し，テスト時にも態情報を入力である日本語文に付与することで，付与 した情報を考慮した態表現を持つ翻訳文を出力することができ, 参照訳と同じ態表現を入力文 に付与した場合, BLEU 值が向上することを報告している。本研究では, 提案手法と入力系列 に特定のトークンを付与する手法 (SideConstraints) を比較し, 出力結果の考察を行う.

また，上述した研究は大規模な学習データを用いてモデルを学習している。一方，十分なデー 夕量とデータの質が確保できない場合において，本来の解きたい問題と関連する別のデータで 事前に学習を行い，事前の学習で得られた学習結果を本来の解きたい問題に再利用することで

モデルの精度向上を図る手法に転移学習がある。転移学習は, 固有表現抽出 (Arnold, Nallapati, and Cohen 2007) やレビューの極性分類 (Blitzer, Dredze, Pereira, et al. 2007), 機械翻訳 (Koehn and Schroeder 2007; Zoph, Yuret, May, and Knight 2016) など様々なタスクで有効性が報告され ている. 赤間ら (赤間, 稲田, 小林, 乾 2017) は, 対話応答生成において, 発話者のキャラクタ を印象付ける応答生成に取り組んでいる。Twitter から抽出した大規模な対話データで事前学習 した後, 特定の話者による応答からなる小規模な対話データで転移学習することで, 人手による ルールなどを必要とせずに, 入力された発話に対する応答の適切さを保ちつつ, 特定の話者の 発話スタイルを応答に付与することに成功している。本研究では，入力データが与えられたと きに，GP を含む戦評を出力するように大量の入出力の組を用いて Encoder-Decoder を学習させ ることが考えられる。しかし, GPを含む戦評は試合終了後にしか更新されないため, 1 試合に 1つの戦評しか手に入れることができず，大量の学習デー夕を用意することが困難である.こ の問題を解決するため, Encoder-Decoder モデルと転移学習を組み合わせたモデルを提案する.

これまで述べてきたように, Encoder-Decoder モデルを利用した手法では, メ夕情報や転移学習などによって, 出力系列を所望する出力に制御, 変化させる研究が盛んに取り組まれてい る. 一方で, 本研究で扱うスポーツ要約生成において, 出力を制御, 変化させるといった研究 は明示的に取り組まれていない.

## 3 テンプレート型生成手法

テンプレート型生成手法では，イニング中の全打席ではなく，注目すべき打席に焦点をあて た要約文を生成する。まず，要約文として生成すべき注目打席を選択する．今回は 2 打席を注目打席として選択する。次に，テンプレートを自動で生成し，要約文を生成する。また, 生成 されたテンプレートに GP を融合することで，ユーザが試合の状況を理解しやすい要約文を生成する。

## 3.1 打席の選択

各打席ごとにスコアリングし，スコア上位 2 打席を要約文として生成する．スコアリングに は以下の式を用いる.

$
\text { Score }_{\text {atbat }}=S+R
$

(1) 式は打席ごとに算出されるスコアであり， $S$ と $R$ の和である． $S$ はその打席で得点した得点数である．Rはホームランやタイムリーヒットなどの重要なイベントに対しては高く，フラ イや三振などのイベントに対しては低くなるように設計されたスコアである．Rスコアを表 4 に示す。たとえば，表５のイニングでは，陽と杉谷の打席が要約すべき打席として選択される。
表 $4 \mathrm{R}$ スコア

## 3.2 テンプレートの自動生成

本研究では類似したデータを持つ打席同士は，その打席を説明する文の構造も類似している と考える。表 6 は表 5 とは別の試合のイニングで 3.1 節の (1) 式のスコアリングにより選択され た 2 打席のデータである. 表 5 の陽と杉谷のデータと表 6 の茂木と銀二のデー夕を比較すると 類似していることがわかる。ここで表 6 に対応するイニング速報（表 7）に着目する．提案手法では，この表 7 のイニング速報中の類似打席（茂木選手と銀次選手）に関するデー夕を注目
表 62016 年 8 月 7 日 西武対楽天 7 回裏の Play-by-play デー夕

表 72016 年 8 月 7 日 西武対楽天 7 回裏のイニング速報
(1) 先頭聖澤の二畕打、藤田の犠打で 1 死三畦とすると、嶋のスクイズで 1 点。
(2) その際にピッチャー高橋光の野選で二畕とすると、ここで 2 人目野田が登板。
(3) 島内の安打で一三畕とすると、茂木のタイムリーで 1 点。
(4) ペゲーロの四球で満塁とすると、ここで 3 人目牧田が登板。
(5) ウィーラーの押し出し死球で 1 点。
(6) 銀次のタイムリーで 1 点。
(7)この回計 4 点で攻撃終了。

打席のデータに置き換え，類似打席以外の打席に関する部分は文圧縮処理により削除すること で，文法的に正確な注目打席を説明する文を生成することができると考える。また，イニング 速報は人手で書かれているため，文法的に正確なテンプレートを生成することができる。この ような考え方に基づき，注目打席と類似したデータを持つ類似イニングを検出し，テンプレー トを自動生成する。

## 3.2.1 類似イニング検出

類似イニングを検出する際には，注目打席とその他のイニングの注目打席の間でデー夕の類似度を計算し, 最も類似度の高いものを類似イニングとする。一致率は表 5 に示す打者名以外 の 5 つの項目を用いて計算する。ただし，打席結果の一致は絶対条件とし，打席結果の異なる 打席の一致率は 0 とする。また, 打席結果は実際の Play-by-play デー夕には含まれていないが,試合開始時から該当するイニングまでの得点数から求めることができるため，その情報を利用 する。打席間の類似度は以下の式で計算される。

$
\operatorname{sim}(T, A)=\frac{\sum_{n=1}^{2} \sum_{i=1}^{5} \operatorname{co}\left(T_{n}^{i}, A_{n}^{i}\right)}{5}
$

$A$ は入力である要約したいイニング中の注目打席群であり， $A_{n}$ は $n$ 番目の注目打席を指す。 $T$ は入力のイニング以外のイニングの注目打席群であり, $T_{n}$ は $n$ 番目の注目打席である. $A_{n}^{1} \sim A_{n}^{5}$,
$T_{n}^{1} \sim T_{n}^{5}$ はそれぞれの打席のイベント前のアウト数，イベント前の出畕状況，イベント後の出塁状況, イベント, 打席結果の 5 つの項目を表し, $c o\left(T_{n}^{i}, A_{n}^{i}\right)$ は項目が一致しているときは 1 ,一致しないときは 0 となる.

たとえば，表 5 の陽の打席と表 6 の茂木の打席は全ての項目が一致している。よって類似度 は $\frac{5}{5}=1.0$ となる. 同様に, 表 5 の杉谷の打席と表 6 の銀次の打席は類似度が $\frac{2}{5}=0.4$ （イベン 卜と打席結果が一致）となり，最終的に表 5 と表 6 のイニング間の類似度は 1.0 と 0.4 の和で ある 1.4 となる.

## 3.2.2 文圧縮処理

次に，類似イニングのイニング速報中の類似打席に関する部分はスロット化，それ以外は文圧縮処理により削除することでテンプレートを生成する.

まず，文圧縮処理の前処理として文分割を行う。類似イニングのイニング速報を動詞の連用形, 句読点, 並立助詞, 接続助詞で分割する，ただし，分割点の直前が野球専門語の場合は分割しない．野球専門語はイニング速報から人手で 97 語を用意した。野球専門語の例を表 8 に 示す.

次に文圧縮処理を行う．表 9 に文圧縮処理から文生成までの手順を示す。表 9 のイニング速報は既に直前の文分割処理により分割されており，斜線 (/) は分割点を表す. 表 9 の“先頭聖澤の二塁打” の直後に分割点である読点が出現しているが, 読点の直前の “二畕打” という単語 が野球専門語であるため，分割しない，分割された文のうち，選手名を含む分割文が文圧縮の 対象となり，類似打席以外の打席に関するイベントを文圧縮処理により削除する．表 9 の“こ の回計 4 点で攻撃終了。”という分割文は選手名を含んでいないため, 文圧縮処理の対象となら

表 8 野球専門用語の例

表 9 文圧縮から文生成までの手順

 \\

ず，その他の分割文は文圧縮の対象となる。文圧縮では以下の 2 つの処理を順に行う。

文圧縮 1 類似打席以外の選手名からその選手の野球専門語までを削除する。またアウ卜数や 投手の情報，試合に依存する“\#Num 号”や選手名の直前の“先頭”や“代打”などの 表現も削除する。

文圧縮 2 選手名を含んでいない分割文は文ごと削除する.

たとえば，文圧縮 1 の処理では表 9 に示すように, “先頭聖澤の二畦打”や“野田が登板”と いった下線が引かれている部分を削除する。文圧縮 2 の処理においても同様に下線が引かれてい る部分を削除する。文圧縮処理の後，選手名や野球専門語などをスロットとし，テンプレートを 生成する. 選手名は入力である Play-by-playデータ中の選手名とのマッチングによりスロット 化を行う. 同じく野球専門語は野球専門語リストとのマッチングによりスロットとする。また,得点数などの数值表現のスロット化を行う際は, 事前に数值表現は全て “\#Num’7 に置き換えた 上でスロット化を行う。まず，“回\#Num 点”, “計\#Num 点”, “\#Num 点で攻撃終了”, “\#Num 点で試合終了”のいずれかに当てはまる場合に“\#Num”の部分を“[ALLSCORE]”に置き換え る. “[ALLSCORE]” で置き換えた後に，“[NAME1]”に最も近く, “[NAME1]”より後に出現す る“\#Num”を“[SCORE1]” へ置き換える。同様に，“[NAME2]”に最も近く，“[NAME2]”よ り後に出現する“\#Num”を“[SCORE2]” 置き換える。このように，テンプレートを生成す る際のスロット化の処理において人手による処理は介入していない. 最後に，スロットに注目打席のデータを補完することで，文を生成する。

## 3.2.3 Game-changing Phrase (GP) の融合

生成されたテンプレートに Game-changing Phrase (GP) を融合することでユーザが試合の状況を理解しやすい要約文を生成する．GPは戦評から自動で獲得する。表 3 の戦評の例では,

“0-0 のまま迎えた”のようにイニングを修飾する GP (Inning Phrase; GP $\mathrm{GPP}_{\mathrm{IP}}$ ) と“待望の先制点 を挙げる”のようにイニング結果を表現する GP (Result Phrase; GP RP) が含まれている。他に は，“走者一掃の”のように打撃内容を修飾する GP (Action Phrase; GP ${ }_{\text {AP }}$ ) が戦評では使用され ている。本研究では， $\mathrm{GP}_{\mathrm{IP}}, \mathrm{GP}_{\mathrm{RP}}, \mathrm{GP}_{\mathrm{AP}}$ の 3 種類の $\mathrm{GP}$ を定義し，これらを戦評からパター ンマッチにより獲得する.

$\mathrm{GP}_{\mathrm{IP}}$ はチーム名を含む文節とイニング数の間に出現するものを獲得する． GP $\mathrm{AP}_{\mathrm{AP}}$ は打者名を 含む文節と打撃内容の間に出現するものを獲得する。 $\mathrm{GP}_{\mathrm{RP}}$ は戦評に言及されている最後の選手の野球専門語を含む文節以降から文末の間に出現するものを獲得する.

次に，獲得された GP に対して，ルールを作成する。たとえば，“試合を振り出しに戻す”と いう $\mathrm{GP}_{\mathrm{RP}}$ が使われている得点シーンは，全て “同点に追いついた 6 回以降”であることが確認 できた。このように, 各 GPに対して, イニング数やイニング結果などからルールを作成する.獲得された $\mathrm{GP}$ とそのルールの例を表 10 に示す。パターンマッチにより， $\mathrm{GP}_{\mathrm{IP}}, \mathrm{GP}_{\mathrm{AP}}, \mathrm{GP}_{\mathrm{RP}}$ はそれぞれ $8 ， 3 ， 11$ 種類を獲得した。また，それらに対するルールは表 10 に示している得点数, イニング数, 出畕状況, イニング結果, イベント, 打者数, 得点差の 7 つの項目から構成 されている。同時に複数の項目を満たす場合は項目が多いGPを優先的に選択する。たとえば，

表 10 獲得された GPとルールの例

 & 1 点以上 & 6 回以降 & $*$ & 先制 & $*$ \\

 & $*$ & 攻撃側の得点数 - 守備側の得点数 $<0$ \\

}} \\

図 1 テンプレートと $\mathrm{GP}_{\mathrm{RP}}$ の融合手順

「3 点以上, 9 回, 満畕, 同点, ホームランまたは適時打」の場合, “值千金の”と“走者一掃の” の 2 つの GPのルールを満たす。この場合, “値千金の” という GP は得点数, イニング数, イ ニング結果，イベントの 4 つの項目を満たす必要があり，“走者一掃の”という GP は得点数,出塁状況，イベントの 3 つの項目を満たす必要があるため，項目が多い“値千金の”を選択す る。また，同じルールの GP はランダムに選択する，たとえば，“試合の均衡を破る”と“待望 の先制点を挙げる”は同じルールであるため，どちらかをランダムで選択する.

そして，3.1 節で選択された注目打席のデータが作成したルールにマッチする場合，テンプ レートに対して，該当する GPを融合する。GP $\mathrm{GP}_{\mathrm{IP}}$ と $\mathrm{GP}_{\mathrm{AP}}$ は，獲得した際に用いたルールを逆 に適用し，融合する。要するに， $\mathrm{GP}_{\mathrm{IP}}$ はチーム名と回数の間に， $\mathrm{GP}_{\mathrm{AP}}$ は打者名と打撃内容の 間に挿入する。 $\mathrm{GP}_{\mathrm{RP}}$ は図 1 に示す手順で融合する。最後にテンプレート中のスロットにデー 夕を補完することで，最終的な文を生成する。

## 4 ニューラル型生成手法

本研究では, 時系列順の打席データから単語系列を生成する系列変換タスクとして考え, Encoder-Decoder モデルの一つである Sequence-to-Sequence モデル (Sutskever et al. 2014)を 用いてイニング要約文を生成する。このモデルは Encoder, Decoder ともに Reccurent Neural Network (RNN) の枠組みを用いている.

Encoder の RNN は入力系列 $\left(x_{1}, \ldots, x_{N}\right)$ が与えられると時刻 $t$ において, 以下の式で隠れ層 $h_{t}$ の状態を更新する.

$
h_{t}=g\left(h_{t-1}, x_{t}\right)
$

ここで， $g$ は任意の活性化関数を表しており，従来の RNNでは学習が困難であった長期系列を 扱えるようにするため, Long-Short Term Memory (LSTM) (Hochreiter and Schmidhuber 1997) が使われることが多く，本研究においても Encoder の RNN に LSTM を利用する.

Decoder は Encoder の RNN によって入力系列全てをエンコードすることで得られた内部状態 を利用し, Encoderの RNN とは別の RNN により系列を一つずつ出力していく．本研究では, Decoder の RNN においても LSTM を利用する。

Decoder は, 入力系列 $x=\left(x_{1}, \ldots, x_{N}\right)$ から出力系列 $y=\left(y_{1}, \ldots, y_{M}\right)$ を出力する条件付確率 $p(y \mid x)$ を以下の式で計算する.

$
p(y \mid x)=\prod_{t=1}^{M} p\left(y_{t} \mid v, y_{1}, \ldots, y_{t-1}\right)
$

$v$ は，全ての入力系列をエンコードすることで得られた内部状態であり， Encoder の LSTM の 最終的な隠れ層である。また, Decoder の LSTM が出力系列のうちの 1 つ目の要素 $y_{1}$ を出力す る時, $y_{0}$ にあたる要素は存在しないため, $<\mathrm{s}>$ という文頭を表すトークンの単語べクトルを入力する.

提案手法のモデルを図 2 に示す. 本研究の目的の一つは, 読み手が試合の状況を理解しやす い要約文を生成するため，要約文に GP を組み込むことである，そこで，入力データが与えら れたときに，GP を含む戦評を出力するように Encoder-Decoder を学習させることが考えられ

## 事前学習

図 2 提案手法のモデル図

る. 一般に, Encoder-Decoder モデルの学習には大量の学習データが必要とされている. しか し, 戦評は試合終了後にしか更新されないため, 1 試合に 1 つの戦評しか手に入れることがで きず，大量の学習データを用意することが困難である。この問題を解決するため，本研究では， Encoder-Decoder モデルと転移学習を組み合わせたモデルを提案する.

## 4.1 Play-by-play データから打席ベクトルへの変換

表 1 に示すような表形式の Play-by-play データから打席べクトルを作成する，具体的には，ア ウ卜数, 出塁状況, 打撃内容, 打順, 代打か否か, 先頭か否か, その打席での得点数毎に One-hot ベクトルを作成し，全てを結合したべクトルを打席ベクトルとする。

## 4.2 イニング情報の考慮

Li ら (Li et al. 2016)の研究では Decoder の隠れ状態に個人の人格情報を, Murakami ら (Murakami et al. 2017)の研究では, Decoderの隠れ状態に時間帯などのメ夕情報を付与することで,出力単語系列が変化することを報告している。 また, Kikuchi ら (Kikuchi et al. 2016) は, 要約生成タスクにおいて，出力すべき残りの長さを表す長さ埋め达みべクトルを Decoder の LSTM へ追加的に入力することで，出力系列の長さを制御する機能を獲得できたと報告している．

本研究ではこれらの知見に基づき, Play-by-playデータ以外のイニングの情報を表すイニン グ情報ベクトルを作成し，そのべクトルを Decoder の LSTMへ追加的に入力することでGPを 制御する。“待望の先制点を挙げる”という GPには “待望の”という時間帯に言及した表現や, “\#Num 点を追う”という GPには“追う”という得点差に言及した表現が含まれている。こ のような GP を制御するためには, 1 回や 2 回などの時間帯を表す情報やリードやビハインド などの得点差を表す情報が必要であると考えられる。 そこで, 時間帯の情報 Time (e.g., 1 回, 2 回,...), 得点差の情報 CurrentScore (e.g., リード, ビハインド, 同点), イニング結果の情報 Event（e.g., 先制, 同点, 勝ち越し）, イニングでの総得点の情報 TotalScore, 打者が一巡 したか否かの情報 Batter Around ごとに One-hot ベクトルを作成し, 全てを結合したべクトル をイニング情報ベクトルとする，イニングでの総得点を表すべクトルの次元数は学習データ中 のイニングでの最大得点数と同じ数とする，イニング情報ベクトルは図 2 に示すように，毎ス テップ Decoder の LSTM へ追加的に入力する.

## 4.3 事前学習

事前学習として打席ベクトルと GP が含まれていないイニング速報を用いて打席説明文生成 モデルを学習する。事前学習に用いるデータとしてイニング速報中の打席に言及している文の みを利用し，投手に関する“先発”や“登板”といった単語を含む文，“三者凡退”のような選手名を含んでいない文は利用しない。また，“盗畦”や“捕逸”など打席以外に言及している文

も利用しない，具体的には，表 2 のイニング速報では $1 ， 4 ， 8 ， 9$ 文目は打席に言及していない 文であり，3文目は “盗畕”に言及しているため，2，5，6，7文目を学習デー夕に用いる．たと えば， 2 文目は，中村，今宮，長谷川，本多の 4 打席に言及しているため, この 4 打席の打席べ クトル系列を入力したとき，2 文目を生成するように Encoder，Decoder の LSTM 学習する。 このように学習することで, 可変長の入力系列に対して, 入力された情報を網羅した打席説明文を出力するモデルを学習することができる.

## 4.4 転移学習

事前学習では可変長の打席系列の入力に対して, 打席を説明する文を生成するように Encoder, DecoderのLSTMを学習した. 転移学習では, 事前学習で学習したモデルパラメータを転移学習のモデルパラメータの初期値として用いる。転移学習では, 可変長の打席系列の入力に対し て，GP を含む打席説明文を生成するように Encoder，Decoderの LSTM を学習する。

一般的に, Encoder-Decoder モデルが出力する系列の長さは学習デー夕の統計值に依存するこ とが知られている (Kikuchi et al. 2016). 転移学習で学習に用いる戦評は, 表 3 の例のように, 1 打席にのみ言及したものが多く，比較的短い文であり，実際に我々が収集した戦評のうち，約 8 割が 1 打席にのみ言及したものであった。一方, 事前学習で学習に用いるイニング速報は, 1 打席に言及したものは約 $36 \%, 2$ 打席に言及したものは約 $33 \%, 3$ 打席に言及したものは約 $23 \%$ と 一文に言及されている打席数は戦評に比べて均一な分布となっている。そのため, 事前学習で 可変長の打席系列の入力に対して，打席を説明する文を生成するように Encoder, Decoder の LSTM を学習したにも関わらず，戦評を生成するように転移学習すると，入力打席系列の情報 を網羅的に説明する文を生成することが困難となる。

そこで，転移学習用の新たな学習データを作成する。新たな学習デー夕を作成する際のルー ルを以下に示す.

・ 戦評に言及されている打席が 1 打席のみ
- イニング速報中の各文において, 最後に言及されている打席と戦評に言及されている打席が同じ打席である文が存在する

-上の 2 つのルールを満たす場合に，イニング速報中の該当文の最後の打席の選手名以前 のテキストを抽出する

・ 抽出したテキストを戦評に言及されている選手名の直前に挿入する

たとえば, 戦評（表 3）に言及されている打席は本多選手の 1 打席のみであり，イニング速報 （表 2）の 2 文目の最後に言及されている打席と戦評の最後に言及されている打席は本多選手の 打席であり共通している。このような場合, 戦評の“本多”という選手名の直前にイニング速報中の 2 文目の “本多” という選手名以前の“先頭中村晃の安打、今宮の犠打、代打長谷川の 四球などで 2 死二三畦とすると、”というテキストを挿入する。この操作によって, “ソフトバ

ンクは 0-0のまま迎えた延長 10 回表、先頭中村晃の安打、今宮の犠打、代打長谷川の四球など で 2 死二三畦とすると、本多の 2 点適時打で待望の先制点を挙げる。”といった複数の打席に言及し，かつＧPを含む学習デー夕を作成することができる。

また, 戦評には $\mathrm{GP}_{R P}$ が必ず含まれているとは限らず，たとえば，“1 回に先制”したイニン グの戦評では“幸先良く先制する”を含むものは 61 件，“幸先良く先制する”を含まず，“先制” という単語のみを含むものは 245 件であった. このような分布のデータでモデルを学習すると, “1 回に先制”したデータに対して“幸先良く先制” という $\mathrm{GP}_{R P}$ を生成しにくいモデルが学習 されると考えられる．そこで，各イニング結果 1 の各イニング数 2 ごとに $\mathrm{GP}_{R P}$ を含むものから 最大 20 件 $^{3}$ を選択するように転移学習用データをサンプリングする。 サンプリングする際は上述したイニング速報と戦評から作成したデータと元の 2 打席以上に言及している戦評からサン プリングする.

## 5 実験

提案したテンプレート型生成手法とニューラル型生成手法の 2 つを用いて要約文を生成し,比較, 考察を行う. 提案手法の入力である Play-by-playデータは 2016 年 3 月 25 日から 2017 年 6 月 2 日までの期間に行われた NPB の試合のデー夕を週間ベースボール ONLINE 4 から収集した。イニング速報も同様の期間に行われた NPB の試合に関するものをエキサイトベース ボール5から収集した。戦評は 2016 年 3 月 25 日から 2017 年 5 月 14 日までの期間に行われた NPB の試合の戦評を Yahoo！SportsNaviか収集した。また,テストデータとして MLB の Play-by-playデータを収集した7 ${ }^{7}$ MLBの Play-by-playデータは BASEBALL REFERENCE8 ら 2016 年度のデータを収集した. 収集したデータの統計を表 11 に示す. イニング速報と戦評 は, 出眰状況, アウト数, 選手名, 得点数を事前にスロット化したものを利用した. 形態素解析器には $\mathrm{MeCab}^{9}$ を利用した。

生成された要約文が入力されたデータを正確に表現できているかを確かめるため, 事実性と いう観点から評価する。また，提案した 2 の手法は生成型文生成手法であり, 文法性は担保さ れない。そこで，提案手法によって生成された要約文を可読性という観点からも評価する。可読性の評価指標を表 12 に示す.

## 5.1 テンプレート型生成手法の評価

提案したテンプレート型生成手法を用いて，イニングの要約文を生成した. 要約文を生成す る際には. 収集した MLB の Play-by-play データからランダムに 100 イニング選択し, 生成さ れた 100 文に対して，入力データと生成したデー夕に矛盾がないかを確かめ, 事実性を評価し た. また, 本研究には関わっていない 4 人の被験者 ${ }^{10} に よ り$, 生成された 100 の要約を 3 段階 で可読性を評価した。事実性と可読性の評価結果を表 13 に示す。事実性の各行は，テストデー 夕 100 件から生成された文のうち, 入力されたイベントが正しく説明されていた文の数を記し ている。また, 可読性の値は 3 段階評価の平均値を記している.

評価結果からテンプレート型生成手法によって生成された要約文は事実性, 可読性ともに高 い評価を得ていることが確認できた。 テンプレート型生成手法により生成された文の例を表 14 に示す。これらは事実性, 可読性ともに最も良い評価を受けた生成文である。テンプレート型生成手法は, 人手で書かれたイニング速報からテンプレートを自動生成しているため, 文法的 にも正確であり，読みやすい要約文を生成することができた。また，GP 融合前と GP 融合後の 要約文の事実性, 可読性の評価結果を比較すると, 大きな変化はなく, 図 1 に示した手順で適切に GPを融合することができたといえる。

生成された文の評価結果は高い評価であったが, 実際には事実でない文も 100 件中 3 件生成

表 11 収集したデー夕の統計量

表 12 可読性の評価基準

表 13 テンプレート型生成手法の評価結果

表 14 テンプレート型生成手法によって生成された要約文の例

Castilloの値千金のホームランで試合の均衡を破る。

生成文 (GP 無し)

Xander Bogaerts のタイムリーヒットで 2 点。David Ortiz のタイムリーヒットでさらに 1 点。この 回計 4 点を取り、逆転に成功。

$
\text { 生成文（GP 有り） }
$

Boston Red Sox は 2 点ビハインドで迎えた 3 回裏、Xander Bogaerts のタイムリーヒットで 2 点。 David Ortizのタイムリーヒットでさらに 1 点。この回計 4 点を取り、逆転に成功。

されており，その主な原因は文圧縮処理でのエラーであった。 エラーを含む生成文の例を表 15 に示す.この例では, Kris Bryant 選手と Willson Contreras 選手の 2 打席が注目打席として選択され，その 2 打席に対する類似打席として田中選手と丸選手の 2 打席が検出されている. そ の後, 3.2.2 節で説明した文圧縮 1 の処理により, 田中選手と丸選手以外に言及している“続く 菊池が三振”が削除され, テンプレートが生成されている。しかし, “一畦走者田中が二畦を狙 うもタッチアウト”という部分は田中選手に言及しているが, 打席とは関係なく出畕した後に 起きたイベントであるため, 削除する必要があるが残ったままテンプレートが生成され, 事実 とは異なる文が生成されるエラーがあった。

## 5.2 ニューラル型生成手法の評価

実験データの詳細を表 16 に示す.また, テンプレート型生成手法の評価と同様に MLB の Play-by-playデータをテストデータとして利用した。語彙は事前学習用データ, 転移学習用デー 夕を MeCabで形態素解析し, 各形態素を 1 つの語彙とした. 語彙埋め込みべクトルの次元数 は 128, 打席ベクトルの次元数は 48 , イニング情報ベクトルの次元数は 32 とした. Encoder,
表 15 テンプレート型生成手法によって生成されたエラーを含む要約文の例

注目打席 2016/10/28 Cleveland Indians 対 BChicago Cubs 4 回裏

類似打席 2016/10/14 横浜 DeNA ベイスターズ対広島カープ 6 回裏

注目打席 2016/10/28 Cleveland Indians 対 BChicago Cubs 4 回裏

類似イニング速報

先頭田中が四球で出塁し、続く菊池が三振の際に一畕走者田中が二塁を狙うもタッチアウト。丸も倒 れ、この回結局 3 人で攻撃終了。

## 文圧縮処理

先頭 田中が四球で出壘し、続く菊池が三振 の際に一塁走者田中が二畕を狙うもタッチアウト。丸も 倒れ、この回結局 3 人で攻撃終了。

$
\text { " テンプレート化 }
$

[NAME1] が [ACTION1] で出畦し、の際に一眰走者 [NAME1]が二畕を狙うもタッチアウト。[NAME2] も倒れ、この回結局 [ALLBATTER] 人で攻撃終了。

生成文 (GP 無し)

Kris Bryant が四球で出畕し、の際に一畦走者 Kris Bryant が二畦を狙うもタッチアウト。Willson Contreras も倒れ、この回結局 4 人で攻撃終了。

表 16 実験データの詳細

Decoderの隠れ層の次元数は 256 とした. モデルパラメータの最適化手法には Adam (Kingma and Ba 2015) $\left(\alpha=0.001, \beta_{1}=0.9, \beta_{2}=0.999, \epsilon=10^{-8}\right)$ を利用した. また, 事前学習ではミニ バッチを適用し, サイズは 40 とした。転移学習ではバッチサイズを 1 とした。事前学習, 転移学習の epoch数はそれぞれ 30,5 とした。また, 出力系列を生成する際には貪欲法 (ビーム幅 1) を用いた。これらのパラメータは 1,400 件の開発データから生成された要約文において，文の 事実性や GP の制御性などの観点から主観的に判断し決定した. モデルの実装には Chainer ${ }^{12}$ を 利用した。

テンプレート型生成手法の入力打席系列は 2 打席であったが，ニューラル型生成手法は任意 の入力打席系列に関して, 要約文を生成するように学習した。そこで, 入力打席系列が 1 打席, 2 打席， 3 打席の場合のデータをランダムに 100 件ずつ選択し，転移学習したモデルで生成され た要約文を事実性, 可読性の観点からテンプレート型生成手法と同じ方法で評価した. 評価結果を表 17 に示す. ニューラル型生成手法により生成された文の例を表 18 に示す. これらは事実性，可読性ともに最も良い評価を受けた生成文である.

可読性の評価結果は，テンプレート型生成手法には劣るものの，概ね事前学習モデル，転移学習モデルともに高い評価を得ることができた。しかし，転移学習モデルにおける事実性の評

表 17 ニューラル型生成手法の評価結果

表 18 ニューラル型生成手法によって生成された要約文の例

生成文 (事前学習モデル)

先頭 Yasmany Tomas がヒットで出塁すると、Welington Castillo の\#Num 号 2 ランで 2 点を先制。

生成文（転移学習モデル）

Arizona Diamondbacks は 0-0 のまま迎えた 7 回表、無死から Yasmany Tomas がヒットで出畦する と、続くWelington Castilloの 2 ランで試合の均衡を破る。

2016/05/03 Detroit Tigers 対 Cleveland Indians 5 回裏

生成文 (事前学習モデル)

先頭 Carlos Santana の四球、Jason Kipnis のヒットで 12 壘とすると、Francisco Lindor の\#Num 号 3 ランで 3 点。

生成文（転移学習モデル）

Cleveland Indians は 2 点リードの 5 回裏、無死から Carlos Santana の四球、Jason Kipnis のヒット で 12 塁とすると、Francisco Lindor の 3 ランで加点する。
洒結果は事前学習モデルと比べて低い評価結果となった。事実でない文が生成されたエラーの 分析を行ったところ，先頭13でない選手名の直前に “先頭”という単語が生成されるエラーが 起きていた． Encoderへの入力である打席べクトルは，先頭か否かを表す情報を含んでいるに も関わらず, このような現象が観測された. 表 17 に示した 3 つの打席系列を入力した場合の事前学習モデルにより生成された非事実文 11 文のうち 3 件，転移学習モデルが生成した非事実文 27 文のうち 14 件がこのエラーであった。このエラーを含む生成された文の例を表 19 に示す.表 19 の Jacoby Ellsbury 選手は先頭の選手でないが, 転移学習モデルは “先頭 Jacoby Ellsbury” と生成している。転移学習モデルの学習データ中に“先頭”という単語が含まれているのは 58 件存在し, この 58 件のうち, 入力打席系列が 3 打席のデータは 51 件であった. つまり, 転移学習では，事前学習の知識を転用し，GP を生成するようにモデルを学習させたが，同時に，入力打席系列が 3 打席の場合, 入力ベクトルに関係なく, “先頭”という単語を生成しやすいモデル が学習されたと考えられる。また，“連続タイムリー”のような言い回しで使われる “連続”と いう単語についても，実際には連続タイムリーではない場面で誤生成が見られた。実際に，“連続”という単語は転移学習に用いた学習データ中に 65 件含まれており，この 65 件のうち， 50 件が “player1 と player2 の連続タイムリー”のようなパターンで出現していた。そのため, 上述した “先頭”を間違えて生成するエラーと同じように，“player2”という単語の後には，“連続”という単語を生成しやすい言語モデルを転移学習時に学習してしまい，連続でないにもか かわらず “連続”という単語を生成するエラーが見られた。このエラーは, 転移学習モデルに おける入力打席系列が 2 打席の場合の非事実文 32 文のうち， 24 件を占めていた。

テンプレート型生成手法では, GPごとに生成する基準を作成し, その基準にマッチしたイニ

表 19 ニューラル型生成手法によって生成されたエラーを含む要約文の例

1 死から Jacoby Ellsbury のヒット、Mark Teixeira の二穌打で 23 畦とすると、Brian McCann の内野ゴロ間に 1 点先制。

生成文（転移学習モデル）

New York Yankees は 1 回裏、先頭Jacoby Ellsbury のヒット、Mark Teixeira の二塁打で 1 死 23 塁 とすると、Brian McCann の内野ゴロで幸先良く先制する。

ングの要約文に GP を融合した。一方，ニューラル型生成手法では，イニング情報ベクトルを Decode 時に追加的に入力することでモデルに GP を制御する機能を学習させた。そのため，表 10 に示したルールに該当するイニングで正確に該当する GP を生成できているかを各 GP 毎に 正例と負例をそれぞれ 100 件ずつ用意し，F 值で評価した。ここでいう正例, 負例とは，GP毎 に作成した基準にマッチするデータ，マッチしないデータのことである。たとえば，“幸先良く 先制する”という GP の基準は “初回に先制”であり，正例は“初回に先制”したデータを指 し，負例は “2 回以降に先制”したデータを指す. $\mathrm{F}$ 值の計算式を以下に示す.

$
\begin{gathered}
\text { F-measure }=\frac{2 \times \text { Precision } \times \text { Recall }}{\text { Precision }+ \text { Recall }} \\
\text { Precision }=\frac{T P}{T P+F P} \\
\text { Recall }=\frac{T P}{T P+F N}
\end{gathered}
$

$T P$ は正例データに対して, 該当の GP を生成したデータ数, $F P$ は負例データに対して該当 の GP を生成したデータ数, $F N$ は正例データに対して該当の GP を生成しなかったデータ数 を指す。また, 同じ基準の GPに対しては, どちらかの GP を生成しているか否かで評価した. たとえば，“試合の均衡を破る”と“待望の先制点を挙げる”というGP は同じ基準であるため,正例データに対してどちらかを生成できていれば， $T P$ をカウント，負例データに対して，どち らかを生成していれば，FPをカウントした，加えて，GP の基準にマッチしないデータが入力 として与えられたときに，GPを生成しないこともGPの制御においては重要である。そのた め, $\mathrm{F}$ 値に加えて, Accuracyを計算した. Accuracyの計算式を以下に示す. $T N$ は負例データ に対して該当の GPを生成しなかったデー夕数である.

$
\text { Accuracy }=\frac{(T P+T N)}{200}
$

また，評価する際は，以下の 3 つの手法と比較した.

## - Mix

このモデルは転移学習は行わず, 事前学習と転移学習で利用したデー夕を混ぜて学習し たモデルである。イニング情報ベクトルは Decode 時に追加的に入力している。転移学習の有効性を検証するため，提案手法とこのモデルを比較する.

## - NoInning

このモデルは転移学習は行うが, イニング情報ベクトルは Decode 時に追加的に入力し ないモデルである，イニング情報を考慮することの有効性を検証するため，提案手法と このモデルを比較する.

## - SideConstraints

2 章で説明したように, Sennrich ら (Sennrich et al. 2016) は, 英独機械翻訳において, 出力 であるドイツ語側の敬意表現の制御に取り組んでいる。入力である英文の最後に “<T>” （敬意表現無し）や“くV>”（敬意表現有り）といった敬意表現の有無を表すトークンを 付与したコーパスで学習し，テスト時にはユーザの所望する敬意表現トークンを入力文 に付与することで付与した情報を考慮した翻訳文を出力することができたと報告してい る.また, Yamagishi ら (Yamagishi et al. 2016)は, Sennrich らの手法を基に “<Active>” （能動態）と “<Passive>”（受動態）といったトークンを利用することで，出力文の態制御に取り組んでいる。このように，入力系列の最後に特定の出力を制御するためのトー クンを付与する SideConstraints は，本研究の GP の制御に対しても有効に働くと考え られる. Sennrich らの手法は, Bahdanau らによる Attention 機構 (Bahdanau, Cho, and Bengio 2014) と Encoder には入力系列を順方向に読み込む LSTM と逆方向に読み込む LSTM の 2 つの LSTM (Bi-Directional LSTM) を利用している. 本モデルでは Sennrich らの手法を基に，入力打席系列の最後に“<GP>”（GP を付与する）と“<NoGP>”（GP を付与しない）の２つのトークンを利用し，GPの制御を試みる。学習データは出力文に GP が含まれている場合，つまり 4.4 節で新たに作成したデータを生成するように学習す る場合，入力系列の最後に“<GP>”を付与した. 出力文に GP が含まれていない場合, つまりイニング速報を生成するように学習する場合は，“<NoGP>”を付与した。この学習データを利用して, 転移学習は行わず, 事前学習と転移学習で利用したデー夕を混ぜ てモデルを学習した。ただし，イニング情報べクトルは Decode 時に追加的に入力する. Sennrich らはトークンベクトルを単語ベクトルと同時学習しているが，今回は簡単化の ため，“<GP>”を表すトークンベクトルは 1 で埋めた 48 次元のべクトル，“<NoGP>”を 表すトークンベクトルは 0 で埋めた 48 次元のべクトルを使用した14.

$\mathrm{F}$ 值による評洒結果を表 20 に示す. 表 20 中の Nan はゼロ除算による定義不可能を示してい る。提案手法と Mix, NoInning を比較すると，“試合を振り出しに戻す”という GPを除き，有意な差を確認することができた．また， $\mathrm{F}$ 値の平均値を比較すると, 提案手法の平均値が最 も高く，転移学習，イニング情報の考慮ともに，GPの制御において有効に働いたと考えられ る。一方で, SideConstraintsは, “\#Num 点リードで迎えた”や“\#Num 点ビハインドで迎 えた”などのイニングを修飾する $\mathrm{GP}_{\mathrm{IP}}$ （3.2.3 節参照）において高い $\mathrm{F}$ 値を記録しているが， “幸先良く先制する”などのイニング結果を表現する $\mathrm{GP}_{\mathrm{RP}}$ においては低い $\mathrm{F}$ 值となっている.

SideConstraints は，GPを制御するトークンを打席系列の最後に入力するモデルであるため, Decoder の内部で行列演算が繰り返し行われるにつれて，トークンの影響が小さくなったと考え

表 20 各手法による $\mathrm{F}$ 値と Accuracy 値

} & P 0.906 & P 0.566 & P Nan & P 1.000 \\

*は各行について太字で示した最高値と比較して, 両側符号検定により, 有意な差が確認できた値を示し ている. 同様に, †は各行について提案手法の $\mathrm{F}$ 值と比較して, 有意な差が確認できた値を示している. また， Bonferroni の補正により，検定総数 $N$ により補正された有意水準 $\alpha=0.05 / N$ で検定を行った.

られる。実際に, 各 GP の学習データ中での出現位置 Position を表 20 に示している. この值 は単語数で正規化されており，文頭に近いほど 0 ，文末に近いほど 1 に近い値となる。表 20 か ら $\mathrm{GP}_{\mathrm{RP}}$ は文末の近くで出現していることが確認でき, Decoder 内部で行列演算が繰り返し行わ れた後，トークンの影響が小さくなった状態で生成されるため，制御することができずに低い
$\mathrm{F}$ 値となったと考えられる。一方， $\mathrm{GP}_{\mathrm{IP}}$ は文頭の近くで出現していることが確認でき，トーク ンの影響が大きい状態で生成されるため，高い $\mathrm{F}$ 値となったと考えられる．また，今回はトー クンベクトルに 0 埋め，1 埋めベクトルを使用したが，Sennrich らと同様に学習ベースで獲得し たトークンベクトルを利用する方法での実験は今後の調査すべき課題といえる.

同様の Play-by-play データを入力として与え，擬似的にイニング情報の一部を変化させた際 の転移学習モデルによる生成文の例を表 21 に示す.イニング数が 1 回の生成文には“幸先良く 先制する”という GP が適切に生成できていることが確認できる．イニング数を 6 回に変更し た際の生成文においては“0-0のまま迎えた”と“試合の均衡を破る”という GPが適切に生成 できていることが確認できる.

それぞれのモデルで生成された文の例を表 22 に示す。転移学習モデルによって生成された文 には“0-0のまま迎えた”や“試合の均衡を破る”といった GP が正確に生成されていることが 確認できる。一方，Mix と SideConstraintsには“試合の均衡を破る”といった GP は生成さ れていない．Mixは転移学習をせず，事前学習と転移学習に用いたデータを全て混ぜて学習す るモデルであり，GPを含むデー夕数（557 件）と含まないデー夕数 $(8,937$ 件) に大きな差があ ることから, 正確に生成されなかったと考えられる。また, SideConstraints は, 上述したよ うに Decoder の内部で行列演算が繰り返し行われるにつれて，トークンの影響が小さくなった と考えられ，実際の生成文からも同様の現象が起きているのが見て取れる，加えて，NoInning は，イニング情報べクトルを追加的に入力しないモデルであり，GP を制御するための情報を 何も入力していない，そのため，“同点で迎えた”や“勝ち越し”といった事実とは異なる文を 生成している。他にも“0点リードで迎えた”といった事実と異なる文も生成していた．表 20 の $\mathrm{F}$ 值の評価結果や実際の生成例を定性的に考慮すると，GPを制御するといったタスクにお いて，転移学習とイニング情報の考慮は有効に働いているといえる。

表 21 イニング情報中のイニング数を変化させた際の転移学習モデルによる生成文の違い

## 5.3 テンプレート型生成手法とニューラル型生成手法の比較

表 13 と表 17 の可読性の評価結果を比較すると, テンプレート型生成手法の方が高い評価を 受けていた。実際に被験者による可読性評価で，ニューラル型生成手法が低い評価を受けた例 を表 23 に示す。転移学習モデルが生成した文は“ 2 死から”という表現が 2 度出現しており，

表 22 各手法によって生成された要約文の例

生成文 (事前学習モデル)

先頭 Mitch Moreland の二壘打などで 1 死 3 塁とすると、Elvis Andrus のタイムリーヒットで 1 点を 先制。

生成文（転移学習モデル）

Texas Rangers は 0-0 のまま迎えた 7 回表、無死から Mitch Moreland の二塁打などで 1 死 3 畦とす ると、Elvis Andrusのタイムリーヒットで試合の均衡を破る。

$
\text { 生成文 (Mix) }
$

Texas Rangers は 7 回表、先頭 Mitch Moreland の二塁打などで 1 死 3 畦とすると、Elvis Andrus の タイムリーヒットで先制する。

## 生成文 (NoInning)

Texas Rangers は同点で迎えた 7 回表、先頭 Mitch Moreland の二魼打などで 1 死 3 魼とすると、Elvis Andrus のタイムリーヒットで勝ち越しに成功する。

## 生成文 (SideConstraints)

Texas Rangers は 7 回表、無死から Mitch Moreland が二塁打で出畕すると、Elvis Andrus のタイム リーヒットで先制に成功する。

表 23 可読性評価において転移学習モデルがテンプレート型生成手法と比べ，低い評価を受けた例

} \\

壳長な文であるため，低い評価を受けたと考えられる ${ }^{15}$.

事実性の評価結果を比較すると, 可読性の評価結果と同様にテンプレート型生成手法の方が 高い評価を受けていた。これらの評価結果を考慮すると，テンプレート型生成手法の方が優れ たイニング要約生成手法だと考えられる。一方で，テンプレート型生成手法も事実でない文を 生成しており，主な原因は 3.2.2 節で説明した文圧縮 1 の処理であった. 文圧縮 1 の処理は，選手名からその選手の野球専門語までを削除するといった最もシンプルなアプローチであったた め，まれに複雑な表現を含むイニング速報では関係のない情報を圧縮処理しきれずに，事実で ない情報を含んだテンプレートが生成された。このエラーを解決するためには文圧縮処理手法 の改善が必要であるが，関係のない情報を全て圧縮処理するように人手でルールを網羅するの は限界がある。したがって，文圧縮処理には統計的なアプローチを取り入れる必要があると考 えられる。また, テンプレート型生成手法は 3.2 .3 節で説明したテンプレートと GP の融合手順 （図 1）によって，GP を融合する前後で事実性，可読性に大きな変化はないこと（表 13）や, ニューラル型生成手法の事前学習モデルは事実性の観点から転移学習モデルと比較すると優れ ていること（表 17）を考えると，ニューラル型生成手法の事前学習モデルでテンプレートを生成し, そのテンプレートに対して, 表 10 と図 1 に示した人手で作成したルールと融合手順によ り，GPを含む要約文を生成するのが，事実性，可読性の観点から質の高い要約文を生成するこ とができると考えられる。

加えて，テンプレートと GP の融合手順（図 1）は，本質的には野球に特化したルールではな いため，野球以外のスポーツにも適応することができる，実際に，我々はサッカーの要約生成 タスクにおいて，同様のルール（例えば，開始 $n$ 分以内の場合は“幸先良く先制する”を生成 など）を用いて，以下のような要約文の生成に成功している (Tagawa and Shimada 2018).

・ ネイマールのスルーパスからイニエスタのアシストをラキテイッチがゴール、バルセロ ナが 幸先良く先制する.
- 両軍無得点のまま迎えた後半 42 分、岩㴊の値千金のゴール、日本が試合の均衡を破る.

このように，GPは野球以外のスポーツにおいても汎用的なフレーズであると考えられ，サッ カーにおいてのGPの融合手順は簡単な手順で設定可能であった。今後の課題として, サッカー 以外のスポーツへの適用が挙げられる。

## 6 おわりに

本研究では, 日本で人気のある野球に着目し, Play-by-playデータからイニングの要約文の 生成に取り組んだ．Web上で配信されている速報にはイニング速報と戦評があり，それぞれの 以下のような特徴がある.
- イニング速報中の各文はシンプルな読みやすい文で構成されているが, イニング速報そ のものはそれらの文の集合であり，全体としては長く，読みづらい.
- 戦評には“0-0のまま迎えた”や“待望の先制点を挙げる”のような試合の流れを考慮し たフレーズ (Game-changing Phrase; GP) が含まれているのが特徴であり, 読み手は試合 の状況を簡単に知ることができる。

・ 戦評は試合が動いたシーンにのみ着目したテキストであり, 試合終了後にしか更新され ない.

このような特徴を踏まえ，任意の打席に対して，GP を含む要約文を生成することは，試合終了後だけでなく, リアルタイムで試合の状況を知りたい場合などに非常に有益であると考え た.また，イニング速報や戦評は現在人手で作成されているが，自動で生成することで人手で 作成する際にかかるコストを削減することができる。そこで, Play-by-play データから GPを 含む要約文の生成に取り組んた。

実際に，テンプレート型生成手法と Encoder-Decoder モデルを利用した手法の 2 つを提案し， それぞれの手法から生成された要約文に対して，事実性や可読性について人手評価をした。ま た Encoder-Decoder モデルについては，GP の生成に関していくつかの手法と比較し, 転移学習を用いる提案手法が最も良いことを $\mathrm{F}$ 値, Accuracyによって評価した. テンプレート型およ び Encoder-Decoder モデルの実験結果からそれぞれのメリット・デメリットを考察した. その 考察に基づき，今後の課題としては Encoder-Decoder モデルにより入力打席系列を説明する文 の雛形となるテンプレートを自動で生成した後, 各 GP 毎に人手で作成したルールを利用して テンプレートと融合することで最終的な要約文を生成するという手法の有効性の検証が挙げら れる。加えて, 今回は攻撃側の視点たけに着目した手法を提案したが, 守備側の視点も加味し た要約文生成にも取り組みたいと考えている.

## 謝 辞

本論文の查読にあたり，著者の曖昧な記述などに対して丁寧なご意見・ご指摘をくださいま した査読者の方々へ感謝します。本論文の内容の一部は, The 21st International Conference on Asian Language Processing (IALP2017) で発表したものです. 本研究の一部は, 科研費 17 H01840 の助成を受けています.

## 参考文献

赤間怜奈, 稲田和明, 小林颯介, 乾健太郎 (2017). 転移学習を用いた対話応答のスタイル制御.言語処理学会第 23 回年次大会発表論文集, pp. 338-341.

Allen, N. D., Templon, J. R., McNally, P. S., Birnbaum, L., and Hammond, K. (2010). "StatsMonkey: A Data-Driven Sports Narrative Writer." In AAAI Fall Symposium Series, pp. 2-3.

Arnold, A., Nallapati, R., and Cohen, W. W. (2007). "A Comparative Study of Methods for Transductive Transfer Learning." In Data Mining Workshops, 2007. ICDM Workshops 2007. Seventh IEEE International Conference on, pp. 77-82. IEEE.

Bahdanau, D., Cho, K., and Bengio, Y. (2014). "Neural Machine Translation by Jointly Learning to Align and Translate." arXiv preprint arXiv:1409.0473.

Blitzer, J., Dredze, M., Pereira, F., et al. (2007). "Biographies, Bollywood, Boom-boxes and Blenders: Domain Adaptation for Sentiment Classification." In Proceedings of the 45th Annual Meeting of the Association for Computational Linguistics, Vol. 7, pp. 440-447.

Cho, K., van Merrienboer, B., Gulcehre, C., Bahdanau, D., Bougares, F., Schwenk, H., and Bengio, Y. (2014). "Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation." In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing, pp. 1724-1734, Doha, Qatar. Association for Computational Linguistics.

Chopra, S., Auli, M., and Rush, A. M. (2016). "Abstractive Sentence Summarization with Attentive Recurrent Neural Networks." In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 93-98, San Diego, California. Association for Computational Linguistics.

Hochreiter, S. and Schmidhuber, J. (1997). "Long Short-term Memory." Neural Computation, 9 (8), pp. 1735-1780.

岩永朋樹, 西川仁, 徳永健伸 (2016). テキスト速報を用いた野球ダイジェストの自動生成. 言語処理学会第 22 回年次大会発表論文集, pp. 238-241.

Jianmin, Z., Jinge, Y., and Xiaojun, W. (2016). "Toward Constructing Sports News from Live Text Commentary." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics, pp. 1361-1371.

Kikuchi, Y., Neubig, G., Sasano, R., Takamura, H., and Okumura, M. (2016). "Controlling Output Length in Neural Encoder-Decoders." In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 1328-1338, Austin, Texas. Associa-
tion for Computational Linguistics.

Kingma, D. and Ba, J. (2015). "Adam: A Method for Stochastic Optimization." In The International Conference on Learning Representations.

Koehn, P. and Schroeder, J. (2007). "Experiments in Domain Adaptation for Statistical Machine Translation." In Proceedings of the 2nd Workshop on Statistical Machine Translation, pp. 224-227. Association for Computational Linguistics.

Kubo, M., Sasano, R., Takamura, H., and Okumura, M. (2013). "Generating Live Sports Updates from Twitter by Finding Good Reporters." In Proceedings of the 2013 IEEE/WIC/ACM International Joint Conferences on Web Intelligence and Intelligent Agent Technologies, pp. 527-534.

Li, J., Galley, M., Brockett, C., Spithourakis, G., Gao, J., and Dolan, B. (2016). "A PersonaBased Neural Conversation Model." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics, pp. 994-1003.

Lin, C.-Y. and Hovy, E. (2003). "Automatic Evaluation of Summaries using N-gram Cooccurrence Statistics." In Proceedings of the 2003 Conference of the North American Chapter of the Association for Computational Linguistics on Human Language Technology-Volume 1, pp. 71-78. Association for Computational Linguistics.

Luong, M. T., Pham, H., and Manning, C. D. (2015). "Effective Approaches to Attention-based Neural Machine Translation." In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 1412-1421.

McKeown, K. and Radev, D. R. (1995). "Generating Summaries of Multiple News Articles." In Proceedings of the 18th Annual International ACM SIGIR Conference on Research and Development in Information Retrieval, pp. 74-82. ACM.

McRoy, S. W., Channarukul, S., and Ali, S. S. (2000). "YAG: A Template-based Generator for Real-time Systems." In Proceedings of the 1st International Conference on Natural Language Generation-Volume 14, pp. 264-267. Association for Computational Linguistics.

村上総一郎, 笹野遼平, 高村大也, 奥村学 (2016). 打者成績からのイニング速報の自動生成. 言語処理学会第 22 回年次大会発表論文集, pp. 338-341.

村上総一郎, 笹野遼平, 高村大也, 奥村学 (2017). 数値予報マップからの天気予報コメントの 自動生成. 言語処理学会第 23 回年次大会発表論文集, pp. 1121-1124.

Murakami, S., Watanabe, A., Miyazawa, A., Goshima, K., Yanase, T., Takamura, H., and Miyao, Y. (2017). "Learning to Generate Market Comments from Stock Prices." In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics, pp. 1374-1384.

Nichols, J., Mahmud, J., and Drews, C. (2012). "Summarizing Sporting Events Using Twitter."

In Proceedings of the 2012 ACM International Conference on Intelligent User Interfaces, pp. 189-198.

Oh, A. and Shrobe, H. (2008). "Generating Baseball Summaries from Multiple Perspectives by Reordering Content." In Proceedings of the 5th International Natural Language Generation Conference, pp. 173-176.

Robin, J. (1994). "Revision-based Generation of Natural Language Summaries Providing Historical Background." Master's thesis, Ph.D. thesis New York University.

Rush, A. M., Chopra, S., and Weston, J. (2015). "A Neural Attention Model for Abstractive Sentence Summarization." In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 379-389.

Sato, S., Yoshinaga, N., Toyoda, M., and Kitsuregawa, M. (2017). "Modeling Situations in Neural Chat Bots." In Proceedings of ACL 2017, Student Research Workshop, pp. 120-127. Association for Computational Linguistics.

Sennrich, R., Haddow, B., and Birch, A. (2016). "Controlling Politeness in Neural Machine Translation via Side Constraints." In Proceedings of the 15th Annual Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 35-40.

Sharifi, B., Hutton, M.-A., and Kalita, J. (2010). "Summarizing Microblogs Automatically." In Proceedings of HLT '10 Human Language Technologies: The 2010 Annual Conference of the North American Chapter of the Association for Computational Linguistics, pp. 685-688.

Smiley, C., Plachouras, V., Schilder, F., Bretz, H., Leidner, J. L., and Song, D. (2016). "When to Plummet and When to Soar: Corpus Based Verb Selection for Natural Language Generation." In Proceedings of The 9th International Natural Language Generation Conference, pp. 36-39.

Sutskever, I., Vinyals, O., and Le, Q. V. (2014). "Sequence to Sequence Learning with Neural Networks." In Advances in Neural Information Processing Systems, pp. 3104-3112.

Tagawa, Y. and Shimada, K. (2016). "Generating Abstractive Summaries of Sports Games from Japanese Tweets." In Proceedings of the 7th International Conference on E-Service and Knowledge Management, pp. 82-87.

Tagawa, Y. and Shimada, K. (2018). "Sports Game Summarization Based on Sub-events and Game-changing Phrases." In New Trends in E-Service and Smart Computing, Springer, 2018, pp. 65-80.

Takamura, H., Yokono, H., and Okumura, M. (2011). "Summarizing a Document Stream." In Proceedings of the 33rd European conference on Advances in Information Retrieval,
pp. 177-188.

Vinyals, O., Toshev, A., Bengio, S., and Erhan, D. (2015). "Show and Tell: A Neural Image Caption Generator." In Proceedings of Computer Vision and Pattern Recognition, pp. 3156-3164.

Xu, K., Ba, J., Kiros, R., Cho, K., Courville, A., Salakhudinov, R., Zemel, R., and Bengio, Y. (2015). "Show, Attend and Tell: Neural Image Caption Generation with Visual Attention." In Proceedings of the 32nd International Conference on Machine Learning, pp. 2048-2057.

Yamagishi, H., Kanouchi, S., Sato, T., and Komachi, M. (2016). "Controlling the Voice of a Sentence in Japanese-to-English Neural Machine Translation." In Proceedings of the 3rd Workshop on Asian Translation (WAT), pp. 203-210.

Zoph, B., Yuret, D., May, J., and Knight, K. (2016). "Transfer Learning for Low-resource Neural Machine Translation." In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 1568-1575.

## 付録

## A ROUGEによる評価

5 節ではテンプレート型生成手法, ニューラル型生成手法により生成された要約文を被験者に より可読性, 事実性の観点から評価した。加えて, 自動評価指標である ROUGE (Lin and Hovy 2003)による評価も行った. 本研究の目的は任意の打席に対して GP を含むイニングの要約文を 生成することであり，任意の打席に対して GP を含むイニングの要約文の正解デー夕は存在しな い. そこで，テンプレート型生成手法の GP を含まない要約文とニューラル型生成手法の事前学習モデルによって生成された要約文に対して ROUGE 値を計算した（計算の際には品詞のフィ ルタリングなどは行っていない)，実際に， 100 件の NPB の Play-by-playデータを入力として与 え, 生成された要約文と入力データに対応するイニング速報中の文を正解データとし, ROUGE 值を計算した。評価結果を表 24 に示す。評価結果からテンプレート型生成手法はニューラル型

表 24 ROUGE 値

生成手法と比べ低い ROUGE 值となった。これはテンプレート型生成手法では, 文圧縮処理の 際に，アウト数や “先頭”, “代打” といった表現を削除しているため, 単語の一致率を基にし たROUGEではニューラル型生成手法と比べ低い ROUGE 值となったと考えられる。

## 略歴

田川裕輝：2016 年九州工業大学情報工学部知能情報工学科卒. 2018 年九州工業大学大学院情報工学府先端情報専攻修了. 現在, 富士ゼロックス株式会社.在学中は，スポーツデータを対象とした文章生成や要約に関する研究に従事.

嶋田和孝：1997 年大分大学工学部知能情報システム工学科卒. 1999 年同大大学院博士前期課程修了. 2002 年同大大学院博士後期課程単位取得退学. 同年より九州工業大学情報工学部知能情報工学科助手. 2007 年, 同助教. 2012 年, 九州工業大学大学院情報工学研究院 知能情報工学研究系准教授. 博士 (工学). 自然言語処理, 特に評判分析や情報要約の研究に従事. 言語処理学会,電子情報通信学会, 情報処理学会, 人工知能学会, 観光情報学会各会員.

(2017 年 11 月 15 日 受付)

(2018 年 3 月 2 日 再受付)

(2018 年 4 月 23 日 採録)