# アイヌ民話アーカイブに対する音声認識

松浦 孝平 $\dagger \cdot$ 三村 正人 $\dagger \cdot$ 河原 達也 $\dagger$
}

本稿では, アイヌ民話（ウウェペケレ）の音声認識に関する我々の取り組みについて 述べる。まず，2つの博物館から提供されたアイヌ語アーカイブのデータを元に，沙流方言を対象としたアイヌ語音声コーパスを構築した。次に，このコーパスを用い て注意機構モデルに基づく音声認識システムを構成し, 音素・音節・ワードピース・単語の 4 つの認識単位について検討した。その結果, 音節単位での音声認識精度が 最も高くなることがわかり, 話者クローズド条件と話者オープン条件のそれぞれに ついて, 音素認識精度で $93.7 \%$ と $86.2 \%$, 単語認識精度で $78.3 \%$ と $61.4 \%$ を実現した 音声認識精度が話者オープン条件において大幅に低下する問題に対して, CycleGAN を用いた教師なし話者適応を提案した。これは，学習デー夕内の話者の音声から認識対象話者の音声への写像を CycleGAN に学習させ, 学習データ内の音声を全て認識対象話者風の音声に変換するものである。本手法によって最大で相対 $60.6 \%$ の音素誤り率の改善を得た。さらに，日本語とアイヌ語が混合した音声における言語識別についても検討を行い, 音素認識と単語認識を用いた構成で一定の識別性能を達成できることを示した。

キーワード : 音声認識, 言語識別, アイヌ語
## Automatic Speech Recognition for the Archive of Ainu Folklores

\author{
Kohei Matsuura ${ }^{\dagger}$, Masato Mimura $^{\dagger}$ and Tatsuya Kawahara ${ }^{\dagger}$
}

In this article, our work on the speech recognition of Ainu folklores (Uwepeker) is described. First, we constructed an Ainu speech corpus for the Saru dialect based on the data provided by two museums that had constructed the Ainu archive. Next, we built an automatic speech recognition (ASR) system based on an attention-based encoder-decoder model, and compared four recognition units of phones, syllables, word pieces, and words. With the syllable unit, we achieved a phone recognition accuracy of $93.7 \%$ and $86.2 \%$, and word recognition accuracy of $78.3 \%$ and $61.4 \%$ for the speaker-closed and speaker-open conditions, respectively. To address the problem of significant degradation in the speaker-open condition, an unsupervised speaker adaptation method using a CycleGAN is proposed. In this method, mapping of the speaker's voice in the training data to the target speaker's voice is learned by a CycleGAN, that converts all speech in the training data into the target speaker's

speech. This method reduced the phone error rate by up to $60.6 \%$. In addition, we investigated language identification in Japanese and Ainu mixed speech and realized reasonable performance by cascading phone and word recognition modules.

Key Words: Automatic Speech Recognition, Language Identification, Ainu

## 1 はじめに

アイヌとは北海道・樺太・千島列島に住む民族であり，独自の文化と言語を持っているが，こ れらは 19 世紀後半から行われた同化政策の影響で急速に失われていった. これに対して, 20 世紀後半からアイヌ文化保護活動が活発に行われており，その過程で多くの口頭伝承の音声が収録されてきた. このような録音資料はアイヌ文化を理解するうえで重要な役割を果たすもので あるが，アイ又語に関する専門知識を持った人材の不足からその大半は未だ書き起こされてお らず，十分に活用されていないというのが現状である。そこで，アイヌ語に対する音声認識シ ステムを構築することが強く求められているが，これまで本格的な研究は行われていない.

近年, 音声認識技術は大規模コーパスと深層学習の導入によって劇的な進歩を遂げ，実用的 な水準に達している (Anmol et al. 2020; Lüscher et al. 2019). その代表的なもので, 現在最も用 いられている DNN-HMM ハイブリッドモデル (Hinton et al. 2012)は，音響モデル，言語モデ ル, 発音辞書からなる階層構造を持っている。一方で, 音響特徴量列から直接ラベル列へと変換する End-to-End モデル (Chorowski et al. 2015) がその単純な構造と応用の容易さから活発に 研究されており，ハイブリッドモデルと同等以上の性能を達成しつつある.

しかしながら, これらの深層学習を適用するためにはかなり大規模な学習データが必要となる ため, 低資源言語において実現することは難しい，本研究で構成するアイ又語音声コーパスは 40 時間の音声データからなるが, これは『日本語話し言葉コーパス (CSJ)』(Maekawa et al. 2000) や英語の LibriSpeech コーパス (Panayotov et al. 2015) などと比較して 10 分の 1 以下であり，ア イヌ語もまた低資源言語に分類される。低資源言語の音声認識のために，表現学習 (Hermansky et al. 2000; Tóth et al. 2008) やマルチリンガル学習 (Cui et al. 2015; Thomas et al. 2013; Grézl and Karafiát 2014) が検討されている。表現学習では，主要言語の大規模コーパスで学習された 多層パーセプトロンを特徴抽出器として使用する。マルチリンガル学習では, 認識対象でない 言語のデータで学習データの量を補完して音声認識モデルを学習させる。これらの手法はアイ 又語音声認識においても有用であることが予想されるが，アイヌ語音声コーパスは話者数の少 なさと話者毎のデータ量の偏りという特徴を持っており，上記の手法を単純に適用できない.

また, アイ又に関する一次資料は日本語とアイヌ語が混合した音声であるが，高い音声認識性能を得るためにはアイ又語の発話区間をあらかじめ抽出しておく必要がある．音声データにお ける言語識別の従来手法として, フォルマントに基づくもの (Leonard and Doddinggton 1974),
音素認識モデルと言語モデルを組み合わせたもの (Kirchhoff and Parandekar 2001)，音響特徴量列から直接言語ラベルを出力するもの (Cai et al. 2019) などが存在するが，日本語アイヌ語混合音声には一人の話者が複数の言語を流暢に話すという点で上記の研究対象より難度が高い.

本稿の構成を以下に記す。まず，我々は白老町アイヌ民族博物館と平取町アイヌ文化博物館 から提供されたアイヌ語アーカイブのデータを元にアイ又語音声コーパスを構成する。次に,本コーパスを用いたアイ又語音声認識において，音素・音節・ワードピース・単語の 4 つの認識単位を比較する，実験は，学習セットと評価セットで話者が同一である話者クローズド条件 と，話者が異なる話者オープン条件で行う，話者オープン条件での認識性能の低下を緩和する ために，CycleGANを用いた声質変換技術による教師なし話者適応を提案する。最後に，日本語とアイヌ語が混合した音声における言語識別について検討を行う。

## 2 アイヌ語と従来研究

## 2.1 アイヌ語について

アイヌとは，主に北海道・樺太。千島列島に住み，狩猟採集を生業としてきた日本の民族の 一つであり，19 世紀中ごろには約 2 万人存在していたとされる (Hardacre 1997). しかし, 19 世紀後半における明治政府の同化政策を経てその母語話者の数は急速に減少し，2009 年には国際連合教育科学文化機関（ユネスコ）によって北海道アイヌ語は「極めて深刻」な状況にあると 分類されるに至っている (Alexandre 2010). このような状況に対して, 20 世紀後半以降アイヌ の民話や歌謡が積極的に収集されている。例えば，国立アイヌ民族博物館（旧：アイヌ民族博物館）は約 700 時間のアイヌに関する録音音声を保持している。このような音声データはアイ 又文化の理解をより一層深めるための手がかりとなり得るが，その大部分は書き起こされてお らず，十分に研究されていないのが現状である.

## 2.1.1 アイヌ語の概説

アイヌ語は膠着的, 複統合的, 抱合的な特徴を示し (ブガエワ 2014), 日本語とはいくつかの 類似点や語彙の借用はあるものの, 系統不明の孤立言語である。アイ又語は大まかに北海道ア イヌ語，千島アイヌ語，樺太アイヌ語の三つに分類され(田村 1988)，それぞれがさらに細かい 方言の分類を内包する。本節では，北海道アイヌ語に属する沙流方言について解説を行う.

音声認識の観点からアイヌ語に関して重要な特徴を述べる。アイヌ語の音節には開音節 (CV など）と閉音節（CVC など）の双方があるが，いずれにおいても音節頭と音節末に許容され る子音の数は最大で 1 であり, 英単語の strike における 'str'のような子音群は存在しない (田村 2013). 例えば， apkas (「歩く」）は 'ap’と 'kas’の 2 つの閉音節から構成される。また， ア イヌ語には複合語が多く存在する。例えば，atuykorkamuy（「ウミガメ」）という単語は atuy

(「海」), kor (「所有する」), kamuy (「神」) という 3 つの要素（形態素）に分解でき，なおか つ各々に対応する単語が存在する (田村 1996).

## 2.1.2 アイヌロ頭伝承の分類

るのに対し, ウウェぺケレは単調に語られる。アイヌ語音声資料の大部分はこのウウェペケレ が占めるとされている.

ユカラ（英雄叙事詩）: 節をつけて語られる英雄の物語

カムイユカラ (神謡)：ユカラを神の視点から歌ったもの

ウウェペケレ（民話, 散文説話）：会話調で語られる物語

## 2.1.3 表記体系

アイヌ語にはもともと固有の筆記体系が存在しないが, 現在は『アコロイタッ』 (北海道ウ タリ協会 1994）に範示される表記法に基づいて記述されるのが一般的である。この表記法では, $\{a, c, e, h, i, k, m, n, o, p, r, s, t, u, w, y\}$ の 16 種類のローマ字が用いられる. これらのロー マ字をここでは便宜上「音素」と呼ぶ，アイ又語話者が日本語を発した場合，上記に加えて $\{b$, $d, g, z\}$ が使用されることがある. さらに, 人称接続を表す $\{=\}$ が用いられる他, 発音の脱落 を表す \{-, -_\} などが表記されることもあるが, これらは明示的に発音されない. 本稿では, ア イヌ語の文から空白記号と $\{=\}$ 記号によって分割される単位を「単語」と定義する．以下にア イヌ語の文とその構文解析の例を一つ挙げる.

 & \multicolumn{4}{|c}{\begin{aligned} mos=an _-hine inkar'=an \\
目が覚めて見ると \end{aligned}} \\

& 起きる & $4 \mathrm{sg}$. & そして & 見る & $4 \mathrm{sg}$.

ここで $4 \mathrm{sg}$. は不定人称単数を表すが，特に引用文中の自称として使用されており，単なる一人称（物語の語り手自身）とは区別される。

## 2.2 アイヌ語における言語処理と音声認識

言語処理の分野において, アイヌ語を扱った研究はこれまでに数件存在している。瀬沼と 相澤 (Senuma and Aizawa 2018) は，『アイヌ神謡集』(Yukie 1923)に含まれるアイヌ語のテキ ストにおいて，単語間の関係を表現する依存関係木のアノテーションを行った. Nowakowski (Nowakowski et al. 2019) らは, 『アイ又語会話字典』から抜粋された 2500 程度のアイヌ語のフ

レーズや文章にアノテーションを付与した学習データを作成し, サポートベクトルマシンによ る品詞タグ付けツールを開発した。アイヌ語の音声認識は, 低資源言語音声認識の研究の一環 として, Anastasopoulos ら (Anastasopoulos and Chiang 2018)によって試みられている。約 2.5 時間のアイヌ語の民話が使用されているが, アイヌ語の音声認識は主な目的ではなく, また音素誤り率は $40 \%$ 程度と実用的なレべルには至っていない.

## 3 アイヌ語音声コーパス

## 3.1 コーパスの概要

本研究で使用する音声コーパスは, 白老町アイヌ民族博物館 ${ }^{1}$ (以下, 「白老」と表記）と平取町アイヌ文化博物館 ${ }^{2}$ （以下，「平取」と表記）から提供されたデータに含まれる民話（ウウェ ペケレ）から構成される。提供されたデータのうち英雄叙事詩（ユカラ）や神謡（カムイユカ ラ）は数が少なく，なおかつ 2.1.2 節で述べたように民話とは大きく異なる性質を持つため, 本研究の対象にはせずコーパスにも含めないことにした. 表 1 に，提供されたデー夕に含まれる 民話の一部とその日本語訳を具体例として例示する。

提供された民話は合計 114 個で，約 40 時間の音声データとその書き起こしからなっており，書き起こしは 2.1.3 節で述べた表記方法に従っている. 単語を区切るスペースと $\{=\}$ が入れら れており，アーカイブ閲覧の利便性の点から 5 から 15 語程度の意味的なまとまりで改行されて いる．話者数が 8 名ときわめて少数であり, かつデー夕量が話者ごとに大きく偏っているが, この特徴は収録当時の各話者の知識量や体調などに収集できるデー夕量が依存したためである. また, 白老の音声デー夕は 1980 年代に収録されている一方, 平取のデータは 1969 年に収録さ れている点で，話者ごとに収録時期に大きな時間的隔たりが存在し，録音環境も統一されてい

表 1 話者 $\mathrm{KM}$ による説話『ポロシルンカムイになった少年』より一部抜粋
^{1} \mathrm{http}$ ///ainugo.ainu-museum.or.jp/

2 http://www.town.biratori.hokkaido.jp/biratori/nibutani/
}

ない．収録は自宅などでカセットデッキを用いて行われており，周囲の騒音が多いわけではな いが, SN 比は高くない.

## 3.2 データの調整

音声認識の学習を容易にするために，提供されたデータを加工した。まず，テキストから 2.1 .3 節で述べた文字セットの内，\{-, --, '\} の補助記号を以下の例のように除去する.

$
\begin{array}{c|l}
\text { 原文 } & \text { uymam'=an wa isam=an__hi okake ta } \\
\text { 調整後 } & \text { uymam=an wa isam=an hi okake ta }
\end{array}
$

人称接続を表す記号 $\{$ “=”\} も補助記号であるが，アイヌ語のテキストに幅広くみられ，なお かつ文法的に重要な情報を保持しているため，除去しないことにした.

音声認識モデルを学習するにあたり, 音声デー夕は適切な長さに分割されている必要がある.提供された時点で音声データは意味のまとまりに従って分割されていたが，発声の途中に分割点があるなど音声認識に不向きな分割がなされていたため, 無音区間で区切られた単位 (IPU) で再分割を行った，以下，このIPUを便宜上「発話」と呼ぶ.

## 3.3 コーパスの分析

表 2 に，アイヌ語音声コーパスおける 8 名の話者ごとのデー夕量, 民話の数，発話 (IPU)の 数, 単語数を示す. 各話者には便宜上 ID を与えている. このうち, 話者 KM と UT の元デー 夕は白老から，その他 6 名のデー夕は平取から提供されたものである.

提供された元データにおける話者ごとのデー夕量の偏りはコーパスにも引き継がれており，例 えば話者 $\mathrm{KM}$ の発話量はコーパス全体の半分以上を占めている. さらに，話者 $\mathrm{KM}$ は 1 発話当 たりの平均単語数が 15.8 語であるのに対し話者 $\mathrm{NN}$ は平均 6.0 語であるなど，話者ごとにデー 夕の性質も大きく異なっている。

一方で，各話者の発話時間は最低でも一時間半と，いずれの話者に関してもある程度多くの 音声データが存在している.

表 2 話者ごとのデー夕量

## 4 アイヌ語音声認識システム

本節では, アイヌ語音声コーパスを用いた音声認識システムを構成するに際して, 音素, 音節, ワードピース, 単語の 4 つの認識単位の比較と, マルチリンガル学習の検討を行う. 音声認識 モデルには注意機構モデルのエンコーダに CTC 損失関数を付加した End-to-End モデル (Hori et al. 2017)を用いる.

## 4.1 認識単位の比較

End-to-End 音声認識モデルは認識単位をある程度自由に設定することが可能である．単語単位で認識を行った場合, 推論時に長期的な文脈を考慮することができるが，語彙サイズが大き くなるため学習が難しい，逆に，音素や文字単位の場合は語彙サイズが小さくなるが，ラベル 長が長くなり長期的な文脈を掴むことが難しくなってしまう．以上のトレードオフの関係を考慮し, アイヌ語音声認識に最適な単位を検討する。認識単位の候補は, 音素, 音節, ワードピー ス, 単語の 4 通りであり, 表 3 に各単位で表記した文の例を示す，また，各認識単位に関する 説明を以下に述べる。

音素単位 2.1.3 節で述べた通り，ここではアイヌ語を表記するときに使用されるローマ字を便宜上音素とする。また，人称接続を表す記号 ‘=’と単語境界を表す特殊記号 ‘ $\langle w b\rangle ’$ を出力候補 に加え，認識結果を単語単位へと復元できるようにする。

音節単位 アイヌ語における音節は，V，CV, VC, そしてCVCの 4 通りを取りうる。ここで, 'C' と 'V'はそれぞれ子音と母音を表す。2.1.3 節に示される文字セットの内，音素 $\{a, e, i, o, u\}$ が 母音であり，その他が子音に分類される，以下に，単語から音節へと分割するための手続きを 示す. 音節の項と同様に，人称接続を表す ‘=’と単語境界を表す ‘ $\langle\mathrm{wb}\rangle$ ’を含める.

(1) 1 文字の単語はそのまま音節とする.

（2）連続するＣとVが存在する場合，そこに音節境界を挿入する.

$
\begin{gathered}
R^{*}\{C C, V V\} R^{*} \rightarrow R^{*}\{C-C, V-V\} R^{*} \\
R:=\{C, V\}
\end{gathered}
$

表 3 各認識単位の例

(3) 3 つ以上の音素からなる部分列について，語頭の $\vee$ の直後に音節境界を插入する.

$
\mathrm{VCR}^{+} \rightarrow \mathrm{V}-\mathrm{CR}^{+}
$

（4） CV かCVC が残るまで，左から右へ CV の直後に音節境界を挿入する。

$
(\mathrm{CV})^{*}\{\mathrm{CV}, \mathrm{CVC}\} \rightarrow(\mathrm{CV}-)^{*}\{\mathrm{CV}, \mathrm{CVC}\}
$

ワードピース単位 単語を部分列へと分割する別の方法として, Byte Pair Encoding (BPE) (Sennrich et al. 2016) と 1-gram 言語モデル (Kudo and Richardson 2018) がある．前者は，頻出 の記号ぺアを新しい一つの記号に繰り返し置き換えていくことで語彙サイズを調整する。後者 はテキストの生成確率が最大になる分割方法を探索する。本稿では後者の 1-gram 言語モデルに よるワードピースへの分割を採用し，オープンソースのソフトウェアである SentencePiece トー クナイザ3を利用する．表 3 におけるワードピース単位の分割例では単語境界 〈 $\langle\mathrm{wb}\rangle$ ’が後続の部分列に接続している場合もあるが, これは本ソフトフェアの仕様である. ワードピースの構成方法は音節の構成方法とは独立であり，ワードピースが音節の連結であるとは限らない．

単語単位 コーパスの書き起こしは既に '=' 記号と空白記号で単語単位に分割されている. 本研究では, '=' 記号も 1 つのラベルとして扱うため, 例えば表 3 に見られるように, ' $a=s a h a$ 'と いうフレーズは $\left.\{{ }^{\prime} a,{ }^{\prime}=\right.$ ', 'saha'\}の 3 つのラベルとして扱われる. また, 語彙サイズを減らす ために，低頻出語は未知語を表す特殊記号 ‘〈unk〉’で置換する.

## 4.2 マルチリンガル学習

マルチリンガル学習は, 目的言語以外の言語の音声コーパスを転用し, 学習デー夕量を補完 して音声認識モデルを学習させる手法である. 英語などの主要言語の大規模コーパスを用いる 場合 (Cetin et al. 2008) だけでなく, 低資源言語コーパスのみであってもマルチリンガル学習に よってデータを増強することは有効であり, これは DNN-HMM ハイブリッドモデル (Cui et al. 2015; Thomas et al. 2013; Grézl and Karafiát 2014) と End-to-End モデル (Toshniwal et al. 2018; Cho et al. 2018)の両方で示されている. 例えば, Toshniwal ら (Toshniwal et al. 2018) はベンガ ル語などの 10 の低資源言語を単一の注意機構モデルで学習したところ, 別個に学習した場合と 比較して相対約 $20 \%$ の単語誤り率の改善を達成している.

本稿でもマルチリンガル学習について検討を行うことにし, アイ又語以外の言語として日本語を採用する。これは, 日本語とアイ又語では, 音素セットが同じであることや, 子音群（例 えば英語の'strike'における'str'）が存在しないことなど共通点が多くみられるためである.こ のため, 日本語はアイヌ語とのマルチリンガル学習に適していると考えられる。比較のために 英語コーパスを用いたマルチリンガル学習についても実験を行う.
^{3}$ https://github.com/google/sentencepiece
}

## アイヌ語日本語 / 英語

## 音響特徵量

図 1 マルチリンガル学習における音声認識モデルの概略図. C. E. は交差エントロピ損失関数を表す.

マルチリンガル学習における音声認識モデルは図 1 のように構成する。エンコーダと注意機構は言語間で共有されるが，デコーダは言語ごとに別途用意する。例えば，アイ又語音声コー パス由来の学習データが入力された場合は図の左側の部分を用いて認識と学習を行う.

## 4.3 実験条件

実験は，話者クローズド条件と話者オープン条件の 2 通りについて行う．話者クローズド条件では，学習セットと評価セットに含まれる話者が同じである，具体的には，各話者から民話 を二つずつ選び，開発セットと評価セットとし，それ以外のデータを学習セットとする。これ によって，開発セットは 2 時間 23 分の 1585 発話となり。評価セットは 2 時間 48 分の 1841 発話となった．話者オープン条件では，評価用話者のデータを除く全てのデータを学習セットと して使用する。ハイパーパラメータなどの調整は話者クローズド条件における開発セットを用 いるため, 話者オープン条件において開発セットは存在しない. また, 話者 $\mathrm{KM}$ や UT のデー 夕を除くと学習データが大幅に小さくなってしまうため, この 2 話者については話者オープン 条件の実験を行わない.

実験条件によって各認識単位のクラスサイズは多少異なるが，音素単位は 25 クラス前後, 音節単位は約 500 クラスとなった。単語単位認識の際，開発セットを用いた予備実験に従い出現

イズは 4710 であったが，学習セットに限ると話者クローズ条件下で語彙サイズは 3911 となっ た. 評価セットに出現する語彙のうちこれでカバーされない異なり語の数は 654 で，未知語率 （未知語の出現割合）は $4.3 \%$ であった．話者オープン条件の場合，未知語率は話者によって異 なり，話者 $\mathrm{KM}, \mathrm{UT}, \mathrm{KT}, \mathrm{HS}, \mathrm{NN}, \mathrm{KS}, \mathrm{HY}, \mathrm{KK}$ の順にそれぞれ $6.7 \%, 3,3 \%, 4.9 \%, 5.9 \%$, $5.7 \%, 5.9 \%, 5.1 \%, 3.5 \%$ であった。ワードピース単位認識における語彙サイズは事前実験によっ て 500 に決定した。このとき，語彙には音素が全て含まれたため，評価セットにおいて未知語 となる単語は発生しなかった。

実験条件の詳細を以下に述べる，入力音響特徴量は，連続する 3 つのフレームの 40 次元対数 メルフィルタバンク特徴量をスタッキング (Wöllmer et al. 2011)して 120 次元としたものであ る.ここで，各フレームの密幅は 25 ミリ秒であり，シフト幅は 10 ミリ秒である。音声認識モ デルのエンコーダは 5 層の双方向 LSTM (Schuster and Paliwal 1997) (BiLSTM) からなってお り, 注意機構付きデコーダは 1 層の単方向 LSTM である. 各層は 320 個のノードをもつ.

音声認識の注意機構モデルの学習は, 単調性が保証される CTC とマルチタスク学習を行う ことにより安定することが知られている (Hori et al. 2017) ため, モデルの損失関数は, 下式 (1) のように, 注意機構モデルのデコーダにおける交差エントロピ関数 $\left(\mathcal{L}_{\mathrm{AED}}\right)$ と $\mathrm{CTC}$ 損失関数 $\left(\mathcal{L}_{\mathrm{CTC}}\right)$ の重み付き線形和とした。

$
\mathcal{L}_{\mathrm{all}}=\lambda \mathcal{L}_{\mathrm{AED}}+(1-\lambda) \mathcal{L}_{\mathrm{CTC}}
$

性能の違いは見られなかったため，本節では双方が同じ重みとなる 0.5 とした，全ての実験に おいて, CTC 損失関数の計算には音素ラベルを使用した.

マルチリンガル学習において, 日本語には JNAS コーパス (Itou et al. 1999)（話者 320 名,約 80 時間）を，英語には WSJコーパス (Paul and Baker 1992)（280名，約 70 時間）を使用し た。これらの正解ラベルにはいずれも音素単位を採用した。

## 4.4 実験結果

表 4 に, 話者クローズド条件と話者オープン条件における単語誤り率 (WER) と音素誤り率 (PER)を示す。話者クローズド条件において WER が $21 \%$, PER が $6 \%$ 程度，話者オープン条件においては WER が $39 \%$, PER が $14 \%$ 程度が達成できている. 両条件において, 最も認識精度が高かったのは音節単位で認識を行った場合であり，音節が音響的なマッチングを保ちなが らアイヌ語としての言語的な制約をある程度モデル化できていることが示唆される。

単語単位認識における PER は他の認識単位よりも高くなっているが，これは下記のように 単語単位モデルの出力にしばしば‘〈unk〉’が現れるためである。この例での単語単位モデルの PER は $30 \%$ にる。一方で，音節単位モデルは未知語に対して誤りを含みつつも類似のラベル

表 4 各認識単位における，話者クローズド条件と話者オープン条件における単語誤り率 (WER; \%) と 音素誤り率 (PER; \%)の一覧.

列を出力でき，PERを $5 \%$ に留めている.

WER は音素誤り率よりも大幅に高くなっている。これは, 2.1.1 節でも述べたようにアイヌ 語には複合語が多く含まれるため, 一つの単語が長くなることと, 単語境界の位置をしばしば 誤ることの二つに起因する，例えば下記の例では，PER は $0 \%$

$
\begin{array}{c|l}
\text { 正解 } & \text { nen poka apkas an mak an kusu } \\
\text { 認識結果 } & \text { nenpoka apkas an makan kusu }
\end{array}
$

音節単位認識におけるマルチリンガル学習の実験結果を表 5 に示す. これから, マルチリン

表 5 マルチリンガル学習を行ったときの PER(\%) と WER(\%)

ガル学習は話者オープン条件で効果的であることがわかる。 日本語コーパス (JNAS) を加えた 場合の改善幅の方が英語の場合よりも大きく, これは 4.2 節で述べた日本語とアイヌ語の類似性によるものと考えられるが，最も改善幅が大きかったのは両言語を使用した場合であり，こ の時 WER は相対的に約 $10 \%$ 改善した.

## 5 CycleGAN を利用した教師なし話者適応

3.3 節で述べた通り，アイヌ語音声コーパスにはわずか 8 名の話者しか含まれておらず，しか も話者ごとのデータ量の分布の偏りが大きい。この結果, 4.4 節に示した通り, 話者オープン条件における認識性能の大幅な低下が生じた。この問題を「話者スパース問題」と呼ぶことにし,本節ではこの問題について取り組む.

多くの話者のデータを収集することが困難なのは，低資源言語音声認識において一般に当ては まる。例えば, Grikoコーパス (Boito et al. 2018)は話者 9 名, Mboshi コーパス (Rialland et al. 2018)は 3 名, Basaaコーパス (Hamlaoui et al. 2018) は明記されていないものの数名とされてい る.このため, 話者スパース問題はアイヌ語を含む低資源言語の音声認識において重要である.

## 5.1 関連研究と提案手法

話者スパース問題を緩和する手法はこれまでにいくつか提案されている。その一つが，評価 データの音声認識結果を疑似的に正解ラベルとみなし, 学習済みの音声認識モデルのファイン チューニングを行う自己適応学習である。落合らは, 音声強調と音声認識を同時に行うモデル において，ファインチューニングを行う際にどの部分のパラメータを固定するべきかについて 検討している (Ochiai et al. 2018). Meng らは, カルバック・ライブラー距離による正則化と話者敵対学習を提案し, ファインチューニング時の過学習を緩和しようと試みている (Meng et al. 2019). しかしながら, 音声認識結果には誤りが多く含まれており, ファインチューニングの際

にその影響を受けるため大幅な認識性能の改善には至っていない.

自己適応学習の他には, i-vector を音響特徴量に付加する手法がある (Audhkhasi et al. 2018).各話者の特徵を表現する i-vector は話者適応に有用であるが，その計算には不特定話者の平均的な音声を表現する Universal Background Model (UBM) が必要であり，話者数の少ないコー パスでは実現が難しい.

4.2 節で述べたマルチリンガル学習も低資源言語の音声認識で広く用いられているが, 認識対象の言語でないデータを使用して音声認識モデルを学習させるためミスマッチがある.

本節では, 他の言語コーパスにも誤りを含む学習データにも依らない教師なし話者適応の手法 を提案する。提案手法の手続きは以下の通りである。まず，学習デー夕に含まれる音声と評価 データに含まれる音声の間の写像を声質変換モデルで学習する．次に，この声質変換モデルを用 いて学習データに含まれる音声を全て認識対象話者風の音声に変換する，最後に，元の音声と 変換された音声の両方を使用して音声認識モデルを学習する．以上の手続きによって，認識対象話者にマッチした音声データを正しいラベルとともに音声認識モデルに与えることができる.本提案手法は, 声質変換モデルの性能が十分に高くなければ実現できないが, 近年 CycleGAN (Radford et al. 2015; Zhu et al. 2017) に基づく高品質かつ学習時にパラレルデータを必要とし ない声質変換モデルが提案されており (Kaneko and Kameoka 2018; Kaneko et al. 2019), 本研究ではこれを採用する.

## 5.2 実験条件

本節の実験では話者 $\mathrm{KS}$ かN のいずれかを認識対象の未知話者と仮定し，その他の 7 名を既知の話者とする．これに加えて，話者 $\mathrm{KM} の 1$ 名のみが既知であると仮定する極端な例につい ても実験を行う，以上に挙げた 4 通りの実験条件の詳細な情報を表 6 に示す。たたし，ALL/XX は話者 XX を除く7 名全員を表し, 便宜上各実験条件の ID として KM-KS, KM-NN, ALL-KS, ALL-NN を付与する。提案手法には認識したい話者の音声がどの程度必要かを調査するため, CycleGAN は学習セットに含まれる音声の全てと認識対象話者の音声の一部 $(1,5,10,20,30$分. ただし，音声認識の評価セットは含めない.）を用いて学習する.

CycleGAN 入力する音響特徴量は，密幅 25 ミリ秒，シフト幅 10 ミリ秒で抽出した 40 次元 の対数メルフィルタバンク (LMFB) である. CycleGAN-VC2 の元論文 (Kaneko et al. 2019) で

表 6 アイヌ語音声コーパスにおける 4 通りの実験条件
使用される Mel-cepstral 係数 (MCEPs) 特徵量とは異なっていることに注意されたい.

音声認識モデルには 3 章と同じものを採用し, 実験条件は 4.3 節で述べたものと同じである. アイヌ語における認識単位は 4.4 節の結果に基づき音節単位とする。式 (1)における $\lambda$ は本実験条件であらためて開発セットを用いてチューニングを行い, 0.8 とした. 比較のために, 自己適応学習とマルチリンガル学習についても実験を行う. 自己適応学習による話者適応において，使用する評洒話者の音声の量を $1,5,10,20,30$ 分の場合について音声認識モデルのファイン チューニングを行う，マルチリンガル学習に関するモデルと実験条件は 3 章で述べたものと同 じであり，JNAS と WSJ の両方を使用する。

## 5.3 実験結果

表 7 に各手法の PER を示す. 表のうち, 自己適応学習と提案手法 における数値は学習時に 使用する認識対象話者の音声量を $1 ， 5 ， 10 ， 20,30$ 分と変化させた時の最良の値である．全実験条件において提案手法が自己適応学習とマルチリンガル学習よりも PER が改善している．実験条件 KM-KS と KM-NN では，認識対象話者の音声を 30 分使用した時に，PER がそれぞれ $45.4 \%$ から $17.8 \%$ （60.6\% の相対改善率）, そして $42.6 \%$ から $18.3 \% \quad(57.0 \%$ の相対改善率） へと改善している。実験条件 ALL-KS と ALL-NNにおけるベースラインの PER は, 実験条件 KM-KS と KM-NNのものよりも大幅に改善しており,これから学習データに含まれる話者数 の重要性が再確認できる。実験条件 ALL-KS と ALL-NN では既にベースラインモデルの認識性能が高いものの, 提案法によって性能はさらに改善している，具体的には, 認識対象話者の 音声を 20 分使用した時に，実験条件 ALL-KS では $33.7 \%$ の相対改善率，実験条件 ALL-NN で は $35.9 \%$ の相対改善率を達成している，本実験において，評価デー夕を CycleGAN の学習に使用していないため, 認識対象話者の異なる音声についても同様の改善が得られることが期待さ れる。なお，ALL-KS 及び ALL-NN においてデータを 30 分まで増やすと提案手法と自己適応学習において PER が上昇する傾向がみられるが, これはオーバーフィッティングによるものと 考えられる。

図 2 に, 提案手法と自己適応学習の二つの手法について, モデルの学習時に使用する認識対

表 7 話者適応の効果 $(\mathrm{PER} \%)$ ).ただし, 自己適応学習と提案手法における数値は学習時に使用する認識対象話者の音声量を $1 ， 5 ， 10,20,30$ 分と変化させたときの最良の値である.

図 2 認識対象話者の発話の使用量を $1 ， 5 ， 10,20,30$ 分と変化させたときの PER(\%)の変化. ただし, マルチリンガル学習は認識対象話者の音声を使用しないため一定値となる.

象話者の音声量を変化させたときの PER の推移を示す。全実験条件において，認識対象話者の 音声が 1 分であっても一定の認識性能の向上を得られることがわかる。これは, 提案手法が認識対象話者のデータ量に対して効率的に機能することを示している。自己適応学習は本アイヌ 語音声コーパスにおいてあまり認識性能の向上に寄与しなかったが, 最初の音声認識結果に含 まれる誤りが多すぎるためであると考えられ，アイヌ語以外の低資源言語においても同様の問題が生じることが予想される。また, 認識対象話者の音声が 5 分あれば, マルチリンガル学習 による改善幅を提案法が上回る。

以下に，実験 KM-KS における認識結果の実際の改善例を挙げる。提案手法を適用した場合， ある程度誤りは残っているものの, ベースラインの結果と比較して大幅に削除誤りが減少して いることがわかる.

## 6 日本語アイヌ語混合音声における言語識別

アイヌ語アーカイブの元データである一次音声資料は日本語の発話とアイヌ語の発話が混合 したもの（以下，「言語混合データ」）である。図 3 に一つの収録音声の中で言語が切り替わる 例を示す.この音源には一人のアイヌ語話者（語り手）と日本語話者（聞き手）の発話が含ま れており，語り手の民話を中心に雑談や質疑応答が行われている。ここで, 語り手はアイヌ語 と同様に日本語も流暢に話す.

今回二つの博物館から提供されたデータは既にアイヌ語部分のみが抽出されていたが, 未調查の大規模なアイ又録音資料を処理・分類するにあたって，この抽出作業も自動化できること が望ましい. ここで，言語混合デー夕を多人数かつ大量に整備することは困難であるため，学習には単言語コーパスのみを使用する。また, 図 3 に例示したように, アイ又語と日本語の発話は各々連続する傾向にあり，大局的な構造が把握できれば十分であるため. 本研究では発話 ごとに言語識別を行う.

## 6.1 関連研究と提案手法

音声データの言語識別はもともと (House and Neuburg 1977) に示される音素列の重要性に 基づいて，音素認識モデルに言語モデルを組み合わせる手法が模索されてきた (Kirchhoff and Parandekar 2001; Tong et al. 2009). しかし, DNN の登場以降, i-vector (Lopez-Moreno et al. 2016) や対数メルフィルタバンク特徴量を自己注意プーリング (Cai et al. 2018) によって固定長 のベクトルに変換したものを DNNへの入力とする (Cai et al. 2019) など，音響特徴量から直接言語識別を行う手法が活発に研究されている.

本稿で扱う言語混合データは一人の話者が複数の言語を流暢に話すという点で従来の言語識別タスクよりも難易度が高い。そこで，音素認識と単語認識を段階的に適用し，言語識別を行 う，以下に，処理の手順を示す。まず，音響特徴量列を音素認識器にかけ，音素列に変換する (A2P)，音素列に変換することで，単言語コーパスごとの音響的な差異を緩和する。次に，音

図 3 日本語とアイヌ語が混合した収録音声の例。薄色の箇所がアイヌ語の発話であることを表す.
素列から単語列を復元する $(\mathrm{P} 2 \mathrm{~W})$. これにより, 語彙的知識を利用できることが期待される.最後に, 単語列の中の各言語における単語数によって多数決をとって, その発話の属する言語 とする。 A2P モデルはアイヌ語音声コーパスのみで学習し, P2W モデルは両単言語コーパスを 用いて学習する。

## 6.2 実験条件

本稿では，単言語コーパスとして，アイヌ語音声コーパスから話者 KM の発話を除いたもの （20 時間）と『日本語話し言葉コーパス (CSJ)』の模擬講演（260 時間）を使用する．参考のた めに言語混合データには白老から提供された話者 KM の民話を含む日本語アイヌ語混合音声 54 セッション（30 時間）を使用する。このうち 5 セッション（4 時間）が評価セット， 1 セッショ ン（0.7 時間）を開発セットとし，残りを参考実験における学習セットとする.

提案法における $\mathrm{P} 2 \mathrm{~W}$ モデルは， 4 層の CNN と 5 層の双方向 LSTM からなるネットワークを $\mathrm{CTC}$ 損失関数を用いて学習したものである. P2W モデルは注意機構を含むエンコーダ・デコー ダモデルであり, エンコーダは 4 層の CNN と 5 層の双方向 LSTM から，デコーダは 1 層の単方向 LSTM からなる。日本語の単語列は MeCabを用いて得た. 音素数は 22 , 単語数は 50756 となった.

比較手法として，6.1節で紹介した Cai らによる言語識別モデル（Cai モデル）についても実験を行う．Cai モデルは ResNET と双方向 LSTM によって音響特徴量を識別に適した潜在表現列に変換し，これを自己注意プーリングによって固定長の 1 つのベクトルに埋め込んた表現を 用いて言語を識別するものである。本実験では，モデルの次元数（ResNet の出力）は 128 , 双方向 LSTM の層数は 3 とした.

先述の通り言語識別は発話単位で行うが, 評価はフレーム単位での Macro-F1値 (アイヌ語と日本語それぞれに対する $\mathrm{F}$ 值の単純平均) とした. フレーム単位の正解言語ラベルは GMM-HMM モデルを用いて, 強制アライメントを行って得た。

## 6.3 実験結果

表 8 に各手法における言語識別結果のフレーム単位での Macro-F1 值とアイヌ語に関する適合率 (precision), 再現率 (recall), F 值 (\%)を示す。また, 図 4 は推定結果を可視化したもので あり，薄色の箇所がアイヌ語，濃色の箇所が日本語を表す。単言語コーパスで学習したCai モ デルでは，図 4 の下から 2 番目の結果のように，ほとんど全ての発話をアイ又語と識別してい る.これは，モデルが音響条件や話者性の影響を大きく受けているためである。一方で，言語混合音声を学習デー夕に含めると, 最も下の図のように有意な識別結果が得られる. ただ, このモデル学習は特定話者 $(\mathrm{KM})$ で行われており, 他の話者に適用することは困難であると考 えられる。以上から，Cai モデルは同一話者の言語識別を行う能力は十分に保持しているもの

 & 提案手法 &  \\

表 8 言語識別の結果。値はフレーム単位での Macro-F1 値とアイヌ語に関する適合率・再現率・F 値 (\%)

## 正解ラベル

Caiモデル＋混合音声

図 4 言語識別結果を可視化したもの，薄色がアイヌ語を表し，評価セットに含まれる 5 セッションを結合して表示している.

の, その性能はコーパスの音響特性や話者に大きく依存し, 単言語コーパスのみでの学習は不可能であることがわかる.

提案手法による言語識別結果は, 学習時に言語混合音声を使用していないにもかかわらず高 い性能を示しており，コーパス間の音響特性に頑健であることがわかる．表 8 を見ると，アイ 又語に関する適合率は高いが再現率が低く, 図4のようにアイ又語と識別される箇所が疎らに なっている。図 3 に例示したように，本言語混合音声においてアイ又語の発話は連続する傾向 にあり，かつ提案手法の適合率が高いため，結果をスムージングすることによって表 8 に示す ようにさらに Macro-F1 値を高めることができる。具体的には，各フレームについて前後 4000 フレームの結果を元にスムージングを行った.

## 7 結論

本稿ではアイヌ語アーカイブを対象とした音声認識の取り組みについて述べた。まず，アイ ヌ語音声コーパスを整備し, 注意機構モデルを用いて音声認識システムを実現した。その中で,音節単位での認識が最良の結果となることがわかり, 話者クローズド条件と話者オープン条件 において，それぞれ $6.3 \%$ と $13.8 \%$ の PER， $21.7 \%$ と $38.6 \%$ の WER を達成した.

次に，話者オープン条件において音声認識性能が大幅に低下する話者スパース問題に対して， CycleGAN に基づく声質変換を用いた教師なし話者適応を提案した. 提案手法によって, 話者 オープン条件における PER は相対 $35 \%$ から $60 \%$ 改善し, 従来手法の自己適応学習やマルチリ

ンガル学習による改善幅を大きく上回った.

最後に, 日本語アイヌ語混合音声における言語識別を検討した. 学習データに単言語コーパ スのみを用いるという制約の下で，音素認識と単語認識を経由する提案手法により一定の識別性能が得られることを示した.

## 謝 辞

本研究において大変有用なアドバイスをくださった札幌学院大学の奥田統己教授に深く感謝 の意を表す。また，アイヌ語の音声データを提供してくださった国立アイヌ民族博物館（旧白老町立アイヌ民族博物館）と，平取町立二風谷アイヌ文化博物館に深い感謝の意を表す.

## 参考文献

Alexandre, M. C. N. (2010). Atlas of the World's Languages in Danger, 3rd edn. Paris, UNESCO Publishing.

Anastasopoulos, A. and Chiang, D. (2018). "Tied Multitask Learning for Neural Speech Translation." In Proceedings of NAACL, Vol. 1, pp. 82-91.

Anmol, G., James, Q., Chung-Cheng, C., Niki, P., Yu, Z., Jiahui, Y., Wei, H., Shibo, W., Zhengdong, Z., Yonghui, W., and Ruoming, P. (2020). "Conformer: Convolution-augmented Transformer for Speech Recognition." In Proceedings of INTERSPEECH, pp. 5036-5040.

Audhkhasi, K., Kingsbury, B., Ramabhadran, B., Saon, G., and Picheny, M. (2018). "Building Competitive Direct Acoustics-to-Word Models for English Conversational Speech Recognition." In Proceedings of ICASSP, pp. 4759-4763.

Boito, M. Z., Anastasopoulos, A., Lekakou, M., Villavicencio, A., and Besacier, L. (2018). "A small Griko-Italian speech translation corpus." In Proceedings of SLTU, pp. 36-41.

ブガエワ・アンナ (2014). 北海道南部のアイヌ語. 早稲田大学高等研究紀要, $6, p p .33-76$. 児島康宏, 長崎郁 訳. [A. Bugaeva (2014). Southern Hokkaido Ainu. Waseda Daigaku Koto Kenkyu Kiyo, 6, pp. 33-76. Y. Kojima and I. Nagasaki (Trans.)]

Cai, W., Chen, J., and Li, M. (2018). "Exploring the Encoding Layer and Loss Function in Endto-End Speaker and Language Recognition System." In Proceedings of Odyssey, pp. 74-81.

Cai, W., Danwei, C., Huang, S., and Li, M. (2019). "Utterance-level End-to-end Language Identification Using Attention-based CNN-BLSTM." In Proceedings of ICASSP, pp. 5991-5995.

Çetin, O., Plauché, M., and Nallasamy, U. (2008). "Unsupervised Adaptive Speech Technology for Limited Resource Languages: A Case Study for Tamil." In Proceedings of SLTU, pp. 98-101.

Cho, J., Baskar, M. K., Li, R., Wiesner, M., Mallidi, S. H., Yalta, N., Karafiát, M., Watanabe, S., and Hori, T. (2018). "Multilingual Sequence-to-Sequence Speech Recognition: Architecture, Transfer Learning, and Language Modeling." In Proceedings of SLT, pp. 521-527.

Chorowski, J., Bahdanau, D., Serdyuk, D., Cho, K., and Bengio, Y. (2015). "Attention-Based Models for Speech Recognition." In Proceedings of NIPS, pp. 577-585.

Cui, J., Kingsbury, B., Ramabhadran, B., Sethy, A., Audhkhasi, K., Cui, X., Kislal, E., Mangu, L., Markus Nussbaum-Thom, Picheny, M., Tüske, Z., Golik, P., Schluter, R., Ney, H., Gales, M. J. F., Knill, K. M., Ragni, A., Wang, H., and Woodland, P. (2015). "Multilingual Representations for Low Resource Speech Recognition and Keyword Search." In Proceedings of $A S R U$, pp. 259-266.

Grézl, F. and Karafiát, M. (2014). "Combination of Multilingual and Semi-supervised Training for Under-resourced Languages." In Proceedings of INTERSPEECH, pp. 820-824.

Hamlaoui, F., Makasso, E.-M., Müller, M., Engelmann, J., Adda, G., Waibel, A., and Stüker, S. (2018). "BULBasaa: A Bilingual Basaa-French Speech Corpus for the Evaluation of Language Documentation Tools." In Proceedings of LREC, Miyazaki, Japan.

Hardacre, H. (1997). New Directions in the Study of Meiji Japan. Brill, Leiden New York.

Hermansky, H., Ellis, D. P. W., and Sharma, S. (2000). "Tandem Connectionist Feature Extraction for Conventional HMM Systems." In Proceedings of ICASSP, Vol. 3, pp. 1635-1638.

Hinton, G., Deng, L., Yu, D., Dahl, G. E., Mohamed, A., Jaitly, N., Senior, A., Vanhoucke, V., Nguyen, P., Sainath, T. N., and Kingsbury, B. (2012). "Deep Neural Networks for Acoustic Modeling in Speech Recognition: The Shared Views of Four Research Groups." IEEE Signal Processing Magazine, 29 (6), pp. 82-97.

北海道ウタリ協会 (1994). アコロイタク.クルーズ. [Hokkaido Utari Kyokai (1994). Akor Itak. CREWS.]

Hori, T., Watanabe, S., Zhang, Y., and Chan, W. (2017). "Advances in Joint CTC-attention
based End-to-end Speech Recognition with a Deep CNN Encoder and RNN-LM." In Proceedings of INTERSPEECH, pp. 949-953.

House, A. S. and Neuburg, E. P. (1977). "Toward Automatic Identification of the Language of an Utterance. I. Preliminary Methodological Considerations." The Journal of the Acoustical Society of America, 62 (3), pp. 708-713.

Itou, K., Yamamoto, M., Takeda, K., Takezawa, T., Matsuoka, T., Kobayashi, T., Shikano, K., and Itahashi, S. (1999). "JNAS: Japanese Speech Corpus for Large Vocabulary Continuous Speech Recognition Research." Journal of the Acoustical Society of Japan (E), 20 (3), pp. 199-206.

Kaneko, T. and Kameoka, H. (2018). "CycleGAN-VC: Non-parallel Voice Conversion Using Cycle-Consistent Adversarial Networks." In Proceedings of EUSIPCO, pp. 2100-2104.

Kaneko, T., Kameoka, H., Tanaka, K., and Hojo, N. (2019). "CycleGAN-VC2: Improved CycleGAN-based Non-parallel Voice Conversion." In Proceedings of ICASSP, pp. 6820-6824.

Kirchhoff, K. and Parandekar, S. (2001). "Multi-Stream Statistical N-Gram Modeling With Application To Automatic Language Identification." In Proceedings of EUROSPEECH, pp. 803-806.

Kudo, T. and Richardson, J. (2018). "SentencePiece: A Simple and Language Independent Subword Tokenizer and Detokenizer for Neural Text Processing." In Proceedings of $A C L$, pp. 66-71.

Leonard, R. and Doddinggton, G. (1974). "Automatic Language Identification." Techinical Report RADC-TR-74-200 (Air Force Rome Air Development Center, Technical Report).

Lopez-Moreno, I., Gonzalez-Dominguez, J., Martinez, D., Plchot, O., Gonzalez-Rodriguez, J., and Moreno, P. J. (2016). "On the Use of Deep Feedforward Neural Networks for Automatic Language Identification." Computer Speech 83 Language, 40, pp. 46-59.

Lüscher, C., Beck, E., Irie, K., Kitza, M., Michel, W., Zeyer, A., Schlüter, R., and Ney, H. (2019). "RWTH ASR Systems for LibriSpeech: Hybrid vs Attention - w/o Data Augmentation." In Proceedings of INTERSPEECH, pp. 231-235.

Maekawa, K., Koiso, H., Furui, S., and Isahara, H. (2000). "Spontaneous Speech Corpus of Japanese." In Proceedings of LREC, Athens, Greece.

Meng, Z., Gaur, Y., Li, J., and Gong, Y. (2019). "Speaker Adaptation for Attention-Based End-to-End Speech Recognition." In Proceedings of INTERSPEECH, pp. 241-245.

Nowakowski, K., Ptaszynski, M., Masui, F., and Momouci, Y. (2019). "Applying Support Vector Machines to POS tagging of the Ainu Language." In Proceedings of Computational Methods for Endangered Languages, 2 (4), pp. 17-23.

Ochiai, T., Watanabe, S., Katagiri, S., Hori, T., and Hershey, J. (2018). "Speaker Adaptation for Multichannel End-to-End Speech Recognition." In Proceedings of ICASSP, pp. 6707-6711.

Panayotov, V., Chen, G., Povey, D., and Khudanpur, S. (2015). "Librispeech: An ASR Corpus Based on Public Domain Audio Books." In Proceedings of ICASSP, pp. 5206-5210.

Paul, D. B. and Baker, J. M. (1992). "The Design for the Wall Street Journal-based CSR Corpus." In Speech and Natural Language: Proceedings of a Workshop, pp. 357-362.

Radford, A., Metz, L., and Chintala, S. (2015). "Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks." arxiv:1511.06434.

Rialland, A., Adda-Decker, M., Kouarata, G.-N., Adda, G., Besacier, L., Lamel, L., Gauthier, E., Godard, P., and Cooper-Leavitt, J. (2018). "Parallel Corpora in Mboshi (Bantu C25, Congo-Brazzaville)." In Proceedings of LREC, pp. 4272-4276, Miyazaki, Japan.

Schuster, M. and Paliwal, K. K. (1997). "Bidirectional Recurrent Neural Networks." IEEE Transactions on Signal Processing, 45 (11), pp. 2673-2681.

Sennrich, R., Haddow, B., and Birch, A. (2016). "Neural Machine Translation of Rare Words with Subword Units." In Proceedings of ACL, pp. 1715-1725. Association for Computational Linguistics.

Senuma, H. and Aizawa, A. (2018). "Universal Dependencies for Ainu." In Proceedings of LREC, pp. 2354-2358.

田村すず子 (1988). アイヌ語. 亀井孝, 河野六郎, 千野栄一（編）, 言語学大辞典, 1, pp. 6-94.三省堂. [S. Tamura (1988). Ainu-go. T. Kamei et al. (Eds.), The Sanseido Encyclopedia of Linguistics, 1, pp. 6-94. Sanseido.]

田村すず子 (1996). アイヌ語沙流方言辞典. 草風館. [S. Tamura (1996). The Ainu-Japanese Dictionaly, Saru Dialect. Sofukan.]

田村すず子 (2013). アイヌ語の世界. 吉川弘文館. [S. Tamura (2013). Ainu Go No Sekai. Yoshikawa Kobunkan.]

Thomas, S., Seltzer, M. L., Church, K., and Hermansky, H. (2013). "Deep Neural Network Features and Semi-supervised Training for Low Resource Speech Recognition.” In Proceedings of ICASSP, pp. 6704-6708.

Tong, R., Ma, B., Li, H., and Chng, E. S. (2009). "A Target-Oriented Phonotactic Front-End for Spoken Language Recognition." IEEE Transactions on Audio, Speech, and Language Processing, 17 (7), pp. 1335-1347.

Toshniwal, S., Sainath, T. N., Weiss, R. J., Li, B., Moreno, P. J., Weinstein, E., and Rao, K. (2018). "Multilingual Speech Recognition with a Single End-to-End Model." In Proceedings of ICASSP, pp. 4904-4908.

Tóth, L., Frankel, J., Gosztolya, G., and King, S. (2008). "Cross-lingual Portability of MLPbased Tandem Features - a Case Study for English and Hungarian." In Proceedings of INTERSPEECH, pp. 2695-2698.

Wöllmer, M., Schuller, B., and Rigoll, G. (2011). "Feature Frame Stacking in RNN-Based Tandem ASR Systems - Learned vs. Predefined Context." In Proceedings of INTERSPEECH, pp. 1233-1236.

Yukie, C. (1923). Ainu Shin'yoshu. Kyodo Kenkyusha.

Zhu, J.-Y., Park, T., Isola, P., and Efros, A. A. (2017). "Unpaired Image-to-Image Translation Using Cycle-Consistent Adversarial Networks." In Proceedings of ICCV, pp. 2242-2251.

## 略歴

松浦孝平：2021 年京都大学大学院情報学研究科修士課程修了. 同年, 日本電信電話株式会社入社. ISCA, 日本音響学会各会員.

三村 正人：2000 年京都大学大学院情報学研究科修士課程修了. 京都大学情報学研究科研究員等を経て, 現在, 同博士後期課程在学中. IEEE, 日本音響学会各会員。

河原 達也：1987 年京都大学工学部情報工学科卒業. 1989 年同大学院修士課程修了. 京都大学工学部助手, 同助教授, 学術情報メディアセンター教授を経 て, 現在, 情報学研究科教授. 音声情報処理, 特に音声認識及び対話システム に関する研究に従事. 博士 (工学). IEEE Fellow. ISCA, APSIPA 各理事.情報処理学会, 日本音響学会, 電子情報通信学会, 人工知能学会, 言語処理学会 各会員. 日本学術会議連携会員.


# 将棋解説文への固有表現・モダリティ情報アノテーション

亀甲 博貴 $\dagger$ - 松吉 俊 $\dagger \dagger \cdot$ John Richardson ${ }^{\dagger \dagger+}$ - 牛久 敦 ${ }^{\dagger \dagger \dagger}$.
笹田 鉄郎 ・村脇 有吾 ${ }^{\dagger \dagger} \cdot$ 鶴岡 慶雅 ${ }^{+\dagger \dagger} \cdot$ 森 信介 $\dagger$
}

近年, シンボルグラウンディングや言語生成, 自然言語による非言語データの検索な ど，実世界に紐づいた自然言語処理への注目が高まっている。我々は，将棋のゲー ム局面に付随する解説文がこれらの課題の興味深いテストベッドになると考えてい る。解説者は現在の局面だけでなく過去や未来の指し手に言及しており, これらは ゲーム木にグラウンディングされることから，ゲーム木探索アルゴリズムを活用し た実世界対応の研究が期待できる。本論文では, 我々が構築した, 人手による単語分割・固有表現・モダリティ表現・事象の事実性のアノテーションを行った将棋解説文コーパスを説明する。

キーワード：コーパス, ゲーム解説, 固有表現, モダリティ, 事実性, シンボルグラウンディ ング
## Japanese Chess Commentary Corpus with Named Entity and Modality Annotation

\author{
Hirotaka Kameko $^{\dagger}$, Suguru Matsuyoshi ${ }^{\dagger \dagger}$, John Richardson ${ }^{\dagger \dagger \dagger}$, \\ Atsushi Ushiku ${ }^{\dagger \dagger}$, Tetsuro Sasada , Yugo MurawakI ${ }^{\dagger \dagger}$, \\ Yoshimasa Tsuruoka ${ }^{\dagger \dagger \dagger}$ and Shinsuke Mori ${ }^{\dagger}$
}

In recent years, there has been a surge of interest in the natural language processing related to the real world, such as symbol grounding, language generation, and nonlinguistic data search using natural language queries. We argue that shogi (Japanese chess) commentaries, which are accompanied by game states, are an interesting testbed for these tasks. A commentator refers not only to the current board state but also to the past and future moves, and yet such references can be grounded in the game tree, possibly with the help of modern game-tree search algorithms. In this paper, we build a shogi commentary corpus and augment it with a manual annotation of word segmentation, named entities, modality expressions, and event factuality. This corpus can be used to train a computer to identify words and phrases that signal factuality and to determine events with the said factuality, paving the way

for grounding possible and counterfactual states.

Key Words: Corpus, Game Commentary, Named Entity, Modality, Factuality, Symbol Grounding

## 1 はじめに

自然言語処理分野では, シンボルグラウンディング課題 (Harnad 1990) が注目を集めている.自然言語と画像や動画といった実世界を表すものを紐づけたコーパスが数多く公開され, 利用可能となっている (Hashimoto et al. 2014; Mori et al. 2014; Ferraro et al. 2015). このようなデー タセットを活用したシステムの例として，画像や動画からの文生成 (Ushiku et al. 2011; Yang et al. 2011) などがある.

我々は，チェスのような展開型ゲームへの解説文は真に知的なシステムを開発するためのテ ストベッドとなると考えており，特に将棋に着目している。典型的な画像キャプショニングと 異なり，将棋解説文は過去や未来への言及を含む。一方で，ゲームの世界は明確に定義されて おり, 解説文中の過去や未来への言及の多くはゲーム木の中に対応づけることができる。また,自然言語の曖昧性の一部は，その事象が実現するか否かをゲームの世界におけるゲーム木探索 (Tsuruoka et al. 2002)を活用して評価することで解消が期待できる。この性質を活用し, 我々 はゲーム解説生成システムを機械学習ベースの手法により構築した (Kameko et al. 2015).

本論文では，我々が構築したゲーム解説コーパスの説明を行う。我々は人間によるゲーム状態（将棋などのゲームにおいては“局面”と呼ばれる）に紐づいた解説文を収集し，その一部に 人手で以下の複数の層からなるアノテーションを行った.
- 日本語テキストに対する単語分割アノテーション
- 将棋ドメイン特有の固有表現 (Named Entity; NE) タグの定義とアノテーション
- 過去・未来や非事実の事象への言及を認識する上での事象の事実性とそれを伝えるモダ リティ表現を表すための 3 層のアノテーション

本コーパスに期待される活用ケースは以下の通りである.
- ゲーム世界は明確に定義されており，またこれらのゲームを解くAIプレイヤの中には人間トッププレイヤを上回る性能のものがある。これらの AI プレイヤは局面を理解した り解析するのに役立てられている。本コーパスはこれらの AI を活用したシンボルグラ ウンディング研究への活用が期待できる.
- 解説文は現在の局面だけでなく過去や未来, あるいは仮定の局面への言及を含む．モダ リティ情報を解析することは，これらの解説文を理解する上で重要である．本コーパス は，実世界を参照するモダリティ情報解析研究への活用が期待できる。
- 本コーパスは $\mathrm{NE}$ とダリティ表現のアノテーションの両方を含む, 局面に対応する解
説文からなる。これらの要素の間には強い相関がある。例として，モダリティ表現は時 として局面と解説文中の $\mathrm{NE}$ と関連性を表している．実世界の状態・NE・モダリティ 情報の関連性を解析することは，自然言語を理解する上で非常に重要である。本コーパ スは，このような解析課題におけるテストベッドとしての活用が期待できる.

## 2 関連研究

## 2.1 ゲーム解説コーパス

Jhamtani et al. (2018)はチェスの自動解説システムの学習のため, チェスの解説文コーパス を構築した。このコーパスはゲームの履歴とその履歴中のそれぞれの局面に対応するコメント からなる. ゲーム履歴とそのコメントはオンラインフォーラムへ投稿されたものであり，その ゲームのプレイヤやコメントを付与した人は専門のプレイヤや解説者とは限らない。そのため, このコーパスのゲームの実力の上での質を保証することはできない.

本研究では，プロ棋士同士の対局棋譜と，専門家によって付与された解説文に着目する。こ れにより，コーパス中の棋譜や解説文の品質が担保されていると期待できる.

Pasunuru and Bansal (2018) はビデオゲームのライブストリーミング動画とその動画にライブ ストリーミング中に付けられた視聴者のコメントからなる対話コーパスを構築した。このコー パスはサッカーゲームのプレイ動画を放送しているライブストリーマーの動画に着目して動画 とコメントを収集している。これらのコメントは，他の視聴者のコメントへの返信が含まれて おり，ゲーム動画に紐づいた対話コーパスとなっている。このコーパスはビデオゲームを対象 としており，チェスや将棋における局面に対応する，本ビデオゲームにおけるゲーム状態は動画 である。そのため，チェスや将棋のように記号化されておらず，またビデオゲームの内部状態 にアクセスすることができないことから，これを世界モデルとして用いることは難しく，チェ スや将棋のように探索によって過去や未来の局面にアクセスすることは容易ではない.

本研究で対象としているのは将棋の棋譜と解説文である．将棋はゲーム世界が記号化されて おり，かつその遷移のルールがよく定義されている。また，ゲームプログラミング分野におい てコンピュータ将棋プログラムの研究は長年に渡って行われており，十分な性能を持ったコン ピュータ将棋プログラムを局面の解析器として活用することができる。これらは, 実世界の代替としてのゲーム世界と，それに言及している自然言語との対応関係を獲得する上で大きな助 けになると期待できる。

## 2.2 モダリティコーパス

## 2.2.1 モダリティ表現

一般に，文章には命題だけでなく，その命題に対する情報発信者の主観的な態度も記述され る (Palmer 2001; 益岡 1991)，そのような態度をモダリティと呼び，それを示唆する文章中の表現をモダリティ表現と呼ぶ.

英語において, TimeML (Pustejovsky 2017; Saurí et al. 2006) と呼ばれる時間表現と事象を 表現するマークアップ言語によってモダリティ表現と事象のモダリティを表現することができ る. 主なモダリティ表現は “must”や “may”といった助動詞で, これらは〈MAKEINSTANCE> タグの @modality 属性として表現される。事象のモダリティはテキスト中のその事象の周辺に 現れるモダリティ表現によって決定され, 事象に関連する助動詞や否定がラベル付けされて事象のモダリティを表現する.

日本語においては, 多数の文末表現を収録した辞書が編纂されており (首藤, 田辺 2010; 松吉他 2007), 必要に応じてこれらの辞書を利用してモダリティ表現を自動検出していることが多い (Izumi et al. 2013; Suzuki et al. 2012). Matsuyoshi et al. (2010)と Kamioka et al. (2015) は現代日本語書き言葉均衡コーパス (Balanced Corpus of Contemporary Written Japanese; BCCWJ) ${ }^{1}$ (Maekawa 2008)に対してモダリティ表現・事象のモダリティ・事実性ラベルを付与した. Matsuyoshi et al. (2010) はモダリティクラスを定義し, それらをそれぞれの事象にラベル付けした. Kamioka et al. (2015) は機能表現集合を定義して BCCWJに人手アノテーションを行った.ま た, これらは事実性ラベルを FactBankのガイドラインに従ってアノテーションを行った.

日本語における先行研究が対象としている主なモダリティ表現は, 助動詞や助動詞型機能表現, および叙実動詞である。本研究では, 品詞にかかわらず, 広くモダリティ表現をラベル付 けする。

## 2.2.2 事象のモダリティ

テキストにおいて述語項構造によって表現される命題のことを事象と呼ぶ. TimeML (Pustejovsky 2017; Saurí et al. 2006) に従い, 行動や出来事のみでなく, 述語項構造によっ て表現される状態や状況のことも事象という用語で指すこととする.

事象に対する情報発信者の主観的な態度は, テキストにおいて事象の周辺に存在する複数の モダリティ表現により決定される，英語においては，TimeMLに見られるように，関連する助動詞や否定辞を直接ラベル付けする。 日本語において, 松吉他 (2010) はいくつかのモダリティ クラスを定義し，事象にそのクラスの一つを付与した。これは，日本語は膠着言語であり，英語での方法を直接適用することは難しく，また日本語には同じような意味を表す複合辞が豊富
^{1}$ https://ccd.ninjal.ac.jp/bccwj/
}

に存在するためである。

本研究では, この分類を再整理し, 事象のモダリティに含意関係認識や情報検索などの応用 タスクも考慮したクラスを追加する。

## 2.2.3事実性

英語において, Saurí and Pustejovsky (2009)は, 事象のモダリティクラスのうち, 推測と否定に関する項目を切り出し，事実性ラベルの体系を提案した。彼らはこの体系に従って人手で アノテーションを行い，事象の事実性をアノテーションしたコーパスである FactBank (Saurí 2008) を構築した。日本語においてもこの体系が取り入れられ，事実性アノテーションが実施 されている (Kamioka et al. 2015; 松吉 他 2010).

本研究でも, FactBankの事実性アノテーション体系を取り入れて事実性のラベルを付与する.

## 3 将棋とその解説文

## 3.1 将棋

将棋はチェスに似た 2 人ゲームである。初期局面を図 1 に示す. ゲームの目的は相手の玉 ${ }^{2}$ を 捕まえることであり，お互いのプレイヤは交互に駒を 1 個動かす。将棋において各プレイヤが 選択する 1 手を指し手と呼ぶ. チェスとの最大の違いは，将棋では駒を動かす代わりに捕まえ た相手の駒を自分の持ち駒として盤上に打つことができる点である.

図 1 将棋（初期局面）.

## 3.2 将棋の解説文

プロ棋士と呼ばれる職業プレイヤ同士の対局の多くに対して, 第三者のプロ棋士や観戦記者 と呼ばれる将棋の観戦記事の執筆を専門とする新聞記者が解説文を付けている。それぞれの解説文は, 指し手の理由や現在局面の評価, 次の手の予測などを含む。これらの解説文は, 棋譜 と呼ばれるゲームの履歴と共に 図 2 のような形式で配信されている ${ }^{3}$. 我々は, これらを収集 することで大量の局面と解説文の組を入手することができる.

これらの解説文の多くは，指し手符号と呼ばれる記法を用いて局面への言及を行っている.指し手符号の例として，“ $\triangle 1$ 四香とすれば決戦”などがある. なお, 解説文の一部はプレイヤ のプロフィールなど局面と無関係な情報への言及である.

将棋の解説文は, 過去への想起や未来の想像を多く含んでいる.これらの過去や未来への言及は，多くの場合指し手符号によってその言及されている局面を示している．例として，過去 への言及は “その前の $\triangle 8$ 七歩に対しても（以下解説）”といったように，対象の手を指した過

図 2 インターネット上で配信されている棋譜とその解説. 専門家による解説文が画面下部に表示されて いる。（図は著者による擬似的な棋譜と解説文）
^{3} 2021$ 年 7 月時点では Kifu for JavaScript (http://kakinoki.o.oo7.jp/js/kifujs.html) が用いられている.
}
去の局面を示す. また，未来の想像への言及は “恐らく西2 四歩 $\triangle$ 同歩 $\boldsymbol{\Delta}$ 同角を狙う”といった ように，想像した未来の局面への手順を示す。このように，それぞれの解説文は紐づいている 局面そのものではなく, 過去や未来の局面に言及していることがあるというのが, 本研究で着目している将棋解説文の大きな特徴の一つである.

## 3.3 解説文とゲーム木

将棋解説者は, 次の手や将来起こり得る局面といった未来の予測について言及することがあ る。この未来の予測の表現方法は，主として 2 通りある。一つは， 3.2 節で示したように指し手符号の列を提示する方法である。もう一つは, “矢倉囲いになりそう”といったように戦形名や 井いの名前などの将棋特有の表現を用いて未来の局面を表現する方法である。これらのドメイ ン特有の表現を認識するため, 我々は将棋ドメイン特有の固有表現を定義する.

解説者が予想を説明するとき，“になりそう”といったモダリテイ表現を用いることがある.例として, 図 3 の場合は, “振り飛車になりそう”という解説文で, 解説者は振り飛車という戦型になる可能性が高いと考えていることを表現している。この文を理解するためには，(a) モダ リティ表現と (b) そのモダリティ表現が言及している事象を正しく認識する必要がある.

図 3 における未来の局面は以下の条件を満たす。(1)その未来の局面は現在の局面から到達

図 3 ゲーム木探索とその局面への解説文の関係. 解説者は現在局面だけではなく, 過去や未来の局面, あるいは仮定の局面について，ときには予測を行いながら言及する。
可能である. (2) その未来の局面は振り飛車が選ばれた局面である. (3) その未来の局面は解説者が実現する確率が高いと評価している局面である．ゲームのルールが明確に定義されている ことから，局面からゲーム木を生成することは容易であり，特に (1) は展開された木を走査する ことで確認ができる。また (2) は判定のルールを用意するなどで確認ができる。(3)の条件は,十分に強い $\mathrm{AI}$ プレイヤを解説者の代わりとして用いることで，それぞれの局面の評価を求める ことで確認することができる.

## 4 固有表現

この節では, 将棋固有表現 (shogi named entities; sNE) の定義について説明する．解説文は 多くのドメイン特有の表現を含み，これらの表現は一般ドメインや生物医学ドメインにおける $\mathrm{NE}$ と同じようにいくつかのグループに分けることができる. 将棋プレイヤはこれらの $\mathrm{sNE}$ や そのカテゴリ名に慣れ親しんでいることが多い.

図 4 にアノテーション例を示す.これは後述するモダリティアノテーションの例も含む.

## 4.1 指し手符号

将棋には，棋譜の記録のために定義された指し手符号と呼ばれる記法がある．指し手符号は 以下に示す部分に分解することができる.

Tu: 手番 (turn). このカテゴリは “先手”, “後手”, “ム” (先手), “ $\triangle ”$ (後手) のみを含む.

Po: 場所 (position). “7 六”など, 一つのアラビア数字と一つの漢数字からなる. アラビア数字が列を，漢数字が行を示す.

図 4 固有表現・モダリティ表現・事象クラス・事実性ラベルのアノテーション例。（例文は第 72 期順位戦 $\mathrm{C}$ 級 2 組 4 回戦矢倉規広六段対神埼健二七段の対局への解説文)

Pi: 駒の種類 (piece). “歩” “金”などがある. 駒の種類は成駒を含む 14 種類である.

Ps: 駒の詳述 (piece specification). 指し手符号は原則として手番・動く先の場所・駒の種類の 3 要素からなるが，同じ場所に動ける同じ種類の駒が複数あってこれを満たす指し手に 曖昧性がある場合に，この曖昧性を解消するために付与される。例として，“右”は右の 駒を動かす場合に付与される。

Mc：指し手の明確化 (move complement). このカテゴリは “成”と “不成”のみを含む。将棋に は “成り”と呼ばれる駒の動きを変化させる指し手があるが，この成りを選択できる場合 に選択するかしないかを示すものである。

全ての指し手符号は以下のパターンに含まれる。

$
\text { Tu } \mathrm{Po} \mathrm{Pi} \text { (Ps) (Mc). }
$

なお括弧は含むかどうかが選択的であることを示す.

## 4.2 指し手に関する表現

いくつかの指し手について, 解説者は指し手符号ではなく以下のような表現を用いて言及する.

Mn：指し手の名前 (move name). 例として次の 1 手で相手の玉を取れる局面に移行する手で あることを意味する“王手”などがある.

Me：指し手の評価 (move evaluation). 例として良い手であることを意味する“好手”などが ある.

## 4.3 定跡に関する表現

将棋における序盤の決まった指し手の順を定跡と呼ぶ。それぞれの定跡は以下のような名前 を持つ。

St: 戦型名 (strategy name)，定跡のうち，主に攻撃の形を表現する。基本的に戦型名の集合は 閉じているが，新たな戦型が編み出され，それに新しい名前がつけられることもある．例 として, “ゴキゲン中飛車”などがある.

Ca：囲いの名前 (castle name)，囲いとは玉の周りの駒の特定の配置を示し，主に防御の形を表現する．戦型名と同様囲いの名前の集合は基本的に閉じているが，新しい囲いが開発さ れ命名されることもある。例として “ミレニアム”があるが，これは 2000 年に新しく開発された囲いの名前である.

これらはシンボルグラウンディング研究において最初の対象となりうる.

## 4.4 局面の評価に関する表現

解説文のもっとも重要な要素は, 現在の局面の評価である. 例として“先手が勝ちそう”のよ うな表現で局面の評価に言及される.

Ev：盤面全体の評価 (evaluation)，例として，評価が高いことを表す“自信あり”や，逆に低い ことを表す “大変”などがある。このカテゴリは以下のカテゴリが示すような特定の視点 からの評価に関する表現を含まない.

Ee: 特定の視点からの評価 (evaluation element). 例として, 駒を相手より多く獲得しているこ とを意味する“駒得”や，それぞれの駒の場所を評する“配置が良い”などがある。

## 4.5 場所に関する表現

解説者はそれぞれのマスを直接指す以外に，以下のような表現で盤上の場所を示すことがある.

Re: 盤上の一部 (region). 例として, “中央”, “ 4 筋”, “ 3 段目”などがある.

Pa: 駒の属性 (piece attribute). 駒にはそれぞれ動ける方向があり, これについて言及したも の. 例として，斜めに複数マス動ける角の動けるマスを意味する “道”などがある。ま た, これに関連して駒との相対的な位置関係を示す表現もある，例として，駒の隣のマ スを意味する“腹”などがある。

## 4.6 局面に関する表現

上記以外にも局面に関する表現がある。

Ph： ゲームの進行具合 (phase)，代表例として“序盤”, “中盤”, “終盤”があるが, これ以外に も“終盤の入り口”のような表現もある.

Pq：駒の数 (piece quantity). 基本的には基数詞と助数詞の組からなるが，駒が無いことを示 す“切れ”や，駒が多くあることを示す“豊富”なども存在する。

## 4.7 盤面外の事象に関する表現

解説者は，盤面とは関係ないが対局に関係することに言及することがある.

$\mathrm{Hu}$ ：プレイヤや解説者などの人名 (human). “名人”などの称号も含まれる. また, 複数人のグ ループを意味する表現も含み，例としてゲームの内容を議論する第三者が集まる部屋で ある“検討室”も含まれる。なお，他のカテゴリに人名を含む場合があり，例として“石田流”は石田検校が生み出したとされる戦型であることからこう名付けられているが, こ れに含まれる“石田”には $\mathrm{Hu}$ ラベルは付与しない.

Ti: 時間 (Time). 消費した時間や残り時間などに関する言及において用いられる。例として, “残り時間は 10 分Ti。”といった表現がある.

## 4.8 行動に関する表現

一般的な $\mathrm{NE}$ と異なり, 我々は動詞的な $\mathrm{NE}$ も定義する.

Ac：プレイヤが主語である動詞 (action)，このカテゴリに含まれる表現は，盤面に関連するも のである．例として，駒を相手に取らせることを意味する“捨てる”などがある．一方 で，ゲームに関係しない行動である“目を瞑る”などは含まない.

Ap： 主語が駒である動詞 (action by piece). 将棋解説文においては, 駒を手前に動かすことを “駒が下がった”というように駒が主体であるかのような表現をすることがある.

Ao：上記以外の動詞 (action by other). 例として“戦いが始まる”などの表現がある. なお，活用語尾には夕グを付与しない。

## 4.9 その他の表現

上記以外の関連する表現にも以下のカテゴリとしてラベルを付与する.

Ot: その他の重要な表現 (other). 典型例として, “戦型” な゙上記のカテゴリそのものを指す 表現がある。これは Stには含まない.

## 5 モダリティ情報

この節では，本コーパスにおけるモダリティ情報アノテーションについて説明する。本コー パスを構築するにあたり, 我々は 3 層のモダリティ情報アノテーション体系を設計した。例を 図 4 に示す.

日本語においてモダリティ表現を認識する先行研究はいくつか存在する (Suzuki et al. 2012; Izumi et al. 2013; Kamioka et al. 2015) が, これらは助動詞と機能語からなる表現に着目してお り，モダリティ副詞や接続助詞を対象としていない，対して，我々は品詞の限定をせず全ての モダリティ表現にアノテーションを行う.

## 5.1 第 1 層：モダリティ表現

モダリティ表現は命題や事象のモダリテイを文中の命題に付与する単語あるいや複数単語か らなる表現である。以下にモダリティ表現の例を示す。（MEがモダリティ表現を示し， EVは そのモダリティ表現に対応する事象を示す. ）

EX 1 後手は歩を成り捨て $E V$ た

EX 2 この試合では居飛車を採用 $\mathrm{EV}$ するかもしれな $\mathrm{ME} い$

EX 3 おそらく ${ }_{M E} \triangle 1$ 四香が良好 $E V$

EX 5 ここで $\triangle 1$ 四歩と受け $E V$ れば $M E$ 先手はつらい

EX 1 の “た”は過去時制の助動詞であり，その事象が事実であることを示す．EX 2 の “かも しれな”は複数単語で助動詞としての機能を果たし, 低い確率でその事象が生じることを示す.

EX 3 の“おそらく”はその事象が確実ではないが生じそうであることを示す副詞である．EX 4 の“防”は本動詞であると同時に対象となる事象が生じる可能性を否定するモダリティ表現とし ても用いられている。この反実仮想的な動詞は“跳ね”が表す事象が起こらないことを明示して いる．EX 5の“ば”は条件を示す助詞である。対象の事象は仮定の下に言及されており，その 事実性はこの文からは不明である。

モダリティ情報アノテーション体系の第 1 層として, これらのモダリティ表現へのアノテー ションを行う。モダリティ表現として，以下の通り事実性関連のものと時間関連のものの 2 群 を定義する。

## 5.1.1 事実性関連

以下の 5 種類は確信度や極性に関連するものである.

MEy 確実な肯定を示唆.

銀の捕獲EV に成功 $M E y$

MEa 肯定の可能性を示唆.

先手はこのあと居飛車に組EV む可能性が高MEa

ME0 可能性を保留.

後手陣に迫EVる攻めがあるかどうかME0

MEm 否定の可能性を示唆.

MEn 確実な否定を示唆.

$\triangle 9$ 四歩とはしEVなMEn かった

## 5.1.2 時間関連

以下の 3 種類は, 極性にかかわらず時系列に関連するものである.

MEp 過去を示唆.

銀交換EVに応じたMEp

MEf 未来を示唆.

先手は将来MEf 的に飛車を振EVることになる

MEh 仮定の話であることを示唆.

ここで $\triangle 1$ 四歩と受け EV れば $_{\text {MEh }}$ 先手はつらい

## 5.2 第 2 層：事象クラス

テキストにおいて述語項構造によって表現される命題のことを事象と呼ぶ. TimeML (Saurí et al. 2006) に従い, 行動や出来事のみでなく, 述語項構造によって表現される状態や状況のこ とも事象という用語で指すこととする.

本研究では，以下に示す事象クラスを導入し，それぞれの事象に対して事象クラスのラベル を付与する。

事象クラスとして，以下の通り事象らしさ関連と態度関連の 2 群を定義する。

## 5.2.1事象らしさ関連

形式上は述語句の形をしている表現が，実質的な命題を指さず，機能語相当であるというこ とがある．以下の5クラスは，一般の事象および事象でない述語句に関する分類である.

EVe 断定や推量の事象. 事実性ラベルの付与が必須である.

後手は歩を成り捨て EVe

$E V c$ 対象述語が複合名詞の一部になっているもの, または対象述語が別の述語句の修飾要素に なっているもの. 本動詞としても解釈できる機能動詞や複合辞内の述語.

遊びEVc 駒をぶつけた

残りEVc 時間は 10 分

$\mathrm{EVf}$ 機能語, もしくは複合辞の一部.

封じ手につEVf いて検討が進んでいる

$\mathrm{EVi}$ 時間軸上に接地できない概念. 主として仮定された事象と事象タイプを指すものがある. ここで $\triangle 1$ 四歩と受け $\mathrm{EVi}$ れば先手はつら $\mathrm{EVi} い$

EVs 明喻や暗喻.

先手陣をあざ笑EVs うかのような進行

## 5.2.2 態度関連

以下の 3 クラスは, 断定と推量を除く書き手の態度に関連するものである.

EVa 希望, 依頼, 命令, 勧誘など.

多くのファンに楽しEVa んでもらいたい

$\mathrm{EVq}$ 疑問や問い掛け.

先手は桂を取 $\underline{E V q}$ るか

$\mathrm{EVp}$ 許可.

サイン会だけの参加 $\mathrm{EVp}_{\mathrm{p}}$ も可能です

事象クラスを導入する主な理由は, 5.3 節に示す事実性のラベルの付与が必須である事象 (EVe) とそうでない事象を区別するためである.

## 5.3 第 3 層：事実性

アノテーション体系の第 3 層として, EVeが振られた事象について, その事実性のラベルを付与する。なお，事実性は事象クラスのサブタイプであるが，FactBank (Saurí 2008)のアノテー ション体系を採用し国際的な統一規格に従うため, 事実性解析のみに着目する研究における利便性のための 2 点の理由から，事実性を独立の層とするアノテーション体系を設計した.

事実性ラベルとして, FactBank (Saurí 2008) で提案されているアノテーション体系を利用す る。ただし，Uuはこれが付与されうる事象クラスは EVqまたは EViであって EVeではないため,本コーパスへのアノテーションには利用しない．以下の 6 種類を事実性ラベルのアノテーショ ンに用いる。また FactBankにおける値をく>で示す.

FPc 事象の成立を断定する。 $<\mathrm{CT}+>$

後手は歩を成り捨て $\mathrm{FPc}$ た

FPr 事象の成立を高い確信度で推測する。＜PR+>

おそらく $\triangle 1$ 四香が良好 $F P$

FPs 確信度は低いが, 事象の成立を推測する。 <PS+>

この試合では居飛車を採用 $F_{P s}$ するかもしれない

FNc 事象の不成立を断定する。 <CT->

$
\text { 角交換FNc には応じなかった }
$

$\mathrm{FNr}$ 事象の不成立を高い確信度で推測する。 <PR->

$
\text { 穴熊に組FNr むつもりはないだろう }
$

FNs 確信度は低いが, 事象の不成立を推測する。＜PS->

なお，事象クラスと事実性は共にモダリティ表現の性質であるが，本アノテーション体系で は, これらのラベルを事象に対して付与している。これは, 第一に事象の統計調査やフィルタ リングを実施する際に事象にラベルがついていた方が都合がよいという応用的理由である。第二に，モダリティ表現そのものの性質は例文によらず，曖昧性の解消など一部の例外を除いて コーパスへのタグ付与ではなくつつじ (松吉他 2007) などのモダリティ表現の辞書による整理 の方が適切であると考えているためである.

## 6 アノテーションコーパス

この節では，本コーパス作成におけるアノテーションの手順を説明する。 またアノテーショ ンされた本コーパスの諸元を示す. 加えて，本コーパスを用いた予備的な分類実験について説明する。

## 6.1 アノテーション手順

## 6.1.1 将棋解説文データの収集

はじめに，人間の専門家による解説文が付与されたプロ棋士同士の対局棋譜を収集した。我々 は名人戦と順位戦と呼ばれる棋戦の棋譜を生配信している Web サイドから収集した. 名人戦 は最高位のタイトル戦の一つであり，順位戦は名人戦の予選大会である。ほとんどのプロ棋士 が順位戦に参加しており，また最近の全ての対局がこの Web サイトを通じて配信されている. そのため, 特定のプレイヤの棋譜を多く収集することによる棋譜の偏りが生じる可能性は低く，様々な戦型の棋譜が含まれている.

本コーパスは 6,523 棋譜を含んでいる。本コーパスを構築するにあたり, 我々はこのうち 9 棋譜（表 1 における manu.）の解説文に人手でのアノテーションを行った。それ以外の 6,514 棋譜（表 1 におけるauto.）は自動ラベリング対象の生テキストとして用いた。

これらの解説文は日本語で書かれており, 単語分割はされていない。そのため, 我々は最初 に単語分割アノテーションを行った。最初に形態素解析器の KyTea $^{5}$ (Neubig and Mori 2010; Neubig et al. 2011)を用いて単語分割を行った. これに用いたKyTea モデルは一般ドメインの コーパスである現代日本語書き言葉均衡コーパス (Balanced Corpus of Contemporary Written Japanese; BCCWJ) (Maekawa et al. 2010) と UniDic 辞書 (Den et al. 2008) を用いて学習された ものである。次に，将棋に詳しい日本語母語話者によって 9 棋譜に含まれる解説文の単語分割境界の修正を行った。

## 6.1.2 将棋 NE のアノテーション

NEアノテーションを行うにあたり，我々はIOB2夕グ (Tjong Kim Sang and Meulder 2003) を用いた。以下は解説文へのアノテーション例である.

広瀬/Hu-B は/O 対/O ゴ/St-B キゲン/St-I 中/St-I 飛車/St-I の/O 超速/St-B $\boldsymbol{\Delta} /$ St-I 3 七/St-I 銀/St-I 戦法/St-I を/O 採用/Ac-B し/O た/O 。/O

(例文は第 71 期順位戦 $\mathrm{B}$ 級 1 組 8 回戦広瀬章人七段対久保利明九段の対局への解説文) このアノテーションは，将棋に詳しい日本語母語話者が行った.

## 6.1.3 モダリティ表現・事象クラスラベル・事実性ラベル

モダリティ情報アノテーションにおいて，モダリティ表現のアノテーションには IOB2 タグ (Tjong Kim Sang and Meulder 2003) を用いた. これは, モダリティ表現は複数の単語からなる 可能性があるためである。一方で事象クラスラベルと事実性ラベルのアノテーションはそれぞ
^{5} \mathrm{http}: / /$ www.phontron.com/kytea/
}

れ 1 単語へのアノテーションであるため，各夕グを直接それぞれ対応する単語に付与した. ア ノテーターはモダリティ表現・事象クラスラベル・事実性ラベルの順番でアノテーションを行っ た. このアノテーションは, モダリティに詳しい日本語母語話者が行った.

## 6.2 コーパス諸元

表 1 に本コーパスの諸元を示す. また表 2 にアノテーションされた $\mathrm{sNE}$ の数とその全体にお ける割合を示す。表中の局面数は，解説文が付与されたもののみを数えた．1 対局あたりの（解説文の有無を考えない）平均局面数は 111 であった. つまり $37.8 \%(=273,303 /(6,514 \times 111))$ の局面に解説文が付与されていたことになる.

表 3 にモダリティ情報アノテーションの 3 層においてアノテーションされた各夕グの数とそ

表 1 本コーパスの諸元. 局面数は解説文が付与された局面のみを数えている。“*”は自動解析の結果で あることを示す.

表 $2 \mathrm{sNE}$ の各タグの出現頻度と全体に占める割合.

表 33 層のモダリティ情報層の各ラベルの出現回数 と全体に占める割合.

の全体における割合を示す. 本コーパスは 1,622 個のモダリティ表現と 3,092 個の EVe 夕グを含 む.このうち 2,646 個は FPcが，140 個は FNc が付与されており，これらはそれぞれ肯定または 否定の断定を示すタグである。これら以外の夕グは, その事象の事実性について推量を示すも のである.

## 6.3 自動解析器の学習実験

## 6.3.1 単語分割

本コーパスは単語分割境界の情報を含む。そのため，第一に本コーパスを用いて単語分割器の 精度評価を行った。一般に，対象ドメインの単語分割済みコーパスを用いて単語分割器を学習 することで，その性能を有意に向上させることができることが知られている (Mori and Neubig 2014). 我々は, 一般ドメインのコーパスで学習された単語分割器による精度評価とともに, 本 コーパスによって追加学習を行った単語分割器による精度も調査した. 単語分割器として KyTea (Neubig and Mori 2010; Neubig et al. 2011)を用いた. 表 4 に実験に用いたコーパスの諸元を 示す.

表 5 に結果を示す。一般ドメインのコーパスで学習されたベースラインの単語分割器の精度 は不十分なものである一方, 本コーパスによる追加学習によってその精度は大きく向上した. この結果から，我々は将棋解説文に対して正確な単語分割器を獲得することに成功したことが 分かる.

## 6.3.2 固有表現認識

第二に，将棋 $\mathrm{NE}$ の認識器の学習を行った．表 4 に実験に用いたコーパスの諸元を示す。本

 & 7 & 386 & 1,550 & 27,025 & 36,589 \\
BCCWJ & NA & NA & 57,281 & $1,339,500$ & $1,931,751$ \\

表 4 各実験において用いたコーパスの諸元.

表 5 テストデー夕における単語分割精度.
実験を行うにあたり，固有表現認識器の PWNER 6 を用いた。これは IOB2 タグベースの固有表現認識器であり，二つのモジュールから構成される。一つ目のモジュールは各 IOB2 タグの確率を単語ごとに，他の単語の夕グとは独立に予測する予測器である。確率の予測には対象単語 の周囲の文字列と文字種（漢字・ひらがな・算用数字など）を素性として用いている。二つ目 のモジュールは予測された IOB2 タグの確率から条件付確率場に基づいて最適な夕グ系列を求 める探索器である.

表 6 に sNE の予測精度を示す。適合率と再現率はそれぞれ $0.9116,0.7894$ で，F 値は 0.8461 であった。これは一般ドメインにおける精度（約 0.9） (Tjong Kim Sang and Meulder 2003; McCallum and Li 2003) に近い値であり，この結果は本コーパスを用いて学習した固有表現抽出器が $\mathrm{sNE}$ の認識に成功していることを示している.

タグのカテゴリごとに精度を比較するとばらつきが見られる。このうち，TuやPoなどが高 い理由として，そのカテゴリが含む表現が限定的であることが挙げられる．例えば Tuは， 4.1 節に示したように, “先手”, “後手”, “ム” (先手), “ $\triangle ”$ (後手) の 4 表現のみから構成され, か つそれぞれの表現が頻出であることから，機械学習ベースの手法による認識は容易である。一方で, 出現頻度の低いカテゴリについては, 単純な機械学習ベースの手法による解決は難しい. Distant supervison (Mintz et al. 2009)のような半教師あり学習手法などによって, 学習データ 量の不足と偏りを解決する必要がある。出現頻度が高いにも関わらず精度の低いカテゴリとし て, Huがある。これは対局者や観戦している第三者の名前を主な表現としているが，これらは 基本的に同じ対局において大きな入れ替わりはない. 本研究においてアノテーションは 9 棋譜 を対象に棋譜中の全ての解説文に対して行っており，対局の多様性は担保できていない．棋譜中の解説文の前後関係に着目する目的があり，また棋譜を参照しながらアノテーションするた め一連の棋譜の方がアノテーションにかかるコストが低いことが想定されたことから本研究で は同一棋譜の全ての解説文にアノテーションを行ったが, 表現の多様性に着目した場合はより 適したアノテーション対象の選定方法が存在する可能性があり，対象の選定基準の改善は今後 のアノテーションにおける課題である.

## 6.3.3 モダリティ表現の認識と事実性ラベルの予測

モダリティ表現の認識と事象の事実性解析は非常に難しい課題である。これを示すため, 簡単なモデルと素性を用いて分類器の学習を試みた. 表 4 に実験に用いたコーパスの諸元を示す.本実験では, sNEの認識と同様にPWNER を用い, 各モダリティ情報層に対して独立にモデル の学習を行った。事象クラスラベルと事実性ラベルは IOB2 タグのフォーマットは用いられて いないが，O夕グ以外の全ての夕グを TAG-B に変換して IOB2 タグとして扱い, 同様のモデル
^{6}$ http://www.lsta.media.kyoto-u.ac.jp/resource/tool/PWNER/home.html
}

表 $6 \mathrm{sNE}$ の認識結果。頻度はテストデータ中の対象ラベルの数を示す。

表 7 モダリティ表現・事象クラスラベル・事実性ラ ベルの認識結果. 頻度はテストデータ中の対象ラベルの数を示す.NA はその値を計算で きないことを表す.

で予測を行った。

表 7 にそれぞれの認識結果を示す。各層の $\mathrm{F}$ 値は，それぞれ $\mathrm{sNE}$ の $\mathrm{F}$ 值に比べて低いこと が分かる。これはモダリティ情報の認識が NEの認識に比べて難しい課題であることを示して いる。

モダリティ情報の認識のうち，モダリティ表現は出現頻度がある程度高いものはそれなりに 高い性能を示しているが，事象クラスと事実性の認識の精度が非常に低く，難しい課題である

ことが分かる．難しい理由の一つに，これらのタグはモダリティを表す表現そのものへのタグ ではなく，そのモダリテイ表現が係る事象への夕グであることが挙げられる．例として “ここ

とは “ば”から分かるが, 5.3 節で述べた応用的理由によるアノテーションの設計により，アノ テーション対象は“ば”ではなく事象の“受け”や“つら”である．今回自動認識器として用いた PWNER は周辺単語のみからタグを推定するものであり, これらの表現が遠い場合はそもそも タグ推定に本来必要な情報が得られない可能性がある。それぞれの表現が近い場合でも，述語項構造を正しく解析する必要があると考えられる。

その上で，事象の認識には局面の参照が有効である可能性がある。我々は本コーパスを用い て，モンテカルロシミュレーションによる探索空間と認識的モダリティ表現との関係性を考察 した (亀甲 他 2019). 実験においては有用性を検証するのに十分な結果は得られていないが, 探索空間中の事象の出現頻度とモダリティ情報との間に相関があることが示唆された。本研究で 構築した局面と対応づけられたモダリティ表現コーパスはモダリティ表現の自動認識手法の研究への活用が期待できる.

## 6.4 コーパスの公開

本コーパスのうち, 棋譜とそれに付与されている解説文は, 棋譜速報サイトhttp://www. meijinsen.jpにおいて有料で配信されている. 我々はこれの収集スクリプトをhttps://github. com/hkmk/shogi-comment-tools において配布している. 本コーパスのうち, 我々が付与した ラベル情報をhttp://www.lsta.media.kyoto-u.ac.jp/resource/data/game/home.htmlにお いて配布している。これは上記の収集スクリプトを用いて収集した解説文付き棋譜に対して，ラ ベル情報を復元するスクリプトを含む．スクリプトの詳細は上記の Webページに記している。

## 7 コーパスの応用

本コーパスに含まれる全ての解説文は，実世界の代替とみなせる局面に紐づいている，その ため, 本コーパスはシンボルグラウンディング研究への活用が期待できる. 以下に本コーパス の応用として考えられる研究課題を挙げる. この中でも特に我々はモダリティ情報の状態空間 へのグラウンディング手法の確立（7.2 節）が本コーパスの活用の次の課題であり，その情報が モダリティ情報認識など他の課題解決に寄与すると考えている.

## 7.1 固有表現認識とモダリティ情報認識

本コーパスは局面と, SNE とモダリティ情報がアノテーションされた解説文のぺアからなる.本コーパスを活用することで, 固有表現認識やモダリティ表現認識にシンボルグラウンディング
手法を応用することができる．特にモダリティ表現認識は現状の精度が低い難しい課題である。

我々は，モダリティ表現は実世界に強く関係していると考えており，実世界を参照してモダリ ティ表現認識の精度を向上させることは非常に興味深い研究の方向性だと考えている。本コー パスを用いることで，局面を実世界情報とみなし，これを用いることによるモダリティ表現認識の精度向上への寄与を評価できる。また，別の方向性として，本コーパスにおける 3 層のモ ダリティ情報層の認識をマルチタスク学習手法を用いて解決することも考えられる.

## 7.2 モダリティ情報グラウンディング

本コーパスはゲームを対象ドメインとしているため, 7.1 節に示した情報認識課題に探索手法 を導入する手法の研究への応用が考えられる.

モダリティ情報の認識に関連して，モダリティ情報の局面へのグラウンディングも興味深い 研究課題である．ゲームを実世界の代替として用いていることで，ゲーム木を現在局面から到達可能な世界（アクセス可能世界）の集合であると見なすことができる。もし解説文が未来の 局面に言及していた場合，その解説文は未来のアクセス可能世界と紐ついていると言える。モ ダリティ表現は現在の局面と言及された局面との関係性を示している。モダリティ表現の解析 は自然言語の理解の上で非常に重要な要素であり，モダリティ情報のグラウンディングはモダ リティ表現の認識を助けることが期待できる.

本コーパス中の全ての解説文は局面に紐づいており，また sNE のラベルが付与されている. これらの情報は事象の事実性の解析に用いることができる. SNE は事象を表現していることが 多いことから， sNE と事象の事実性ラベルの同時解析も興味深い手法である.

本コーパスは非テキストデータに紐づいたテキストデータに対してモダリティ情報を含むア ノテーションが行われたコーパスという点で特徴的である。特に非テキストデータである局面 の情報は，将棋というよく定義されたゲームに基づくものであり，遷移のルールが厳密に定義 されている点とその遷移の確率を推測する高性能な手法が既に知られているという点の，モダ リティ情報の自動認識への活用が期待できる 2 点の特徵を持っている。この点において本コー パスはモダリティ乗法の状態空間へのグラウンディング手法の研究に寄与すると考えている.

## 7.3 モダリティ解析の転移学習

7.2 節に示した応用手法によってモダリティ解析の精度向上が実現できれば，これをドメイン 外のテキストに対するモダリティ情報認識器の構築に応用することも考えられる.

NE はドメイン特有のものである一方，モダリティ情報や事実性に関する知見はドメインを 横断するものであると考えている。例として, “○○になる可能性が高MEa い”という表現はそ の事象について肯定の可能性の示唆（MEa）を示す表現であるが，これはゲームドメイン特有 の表現ではなく，他の様々なドメインでも同様の表現が用いられる，我々は，本コーパスを用

いて構築したモダリティ情報解析器を基に, 転移学習などの手法を用いることで他のドメイン でのモダリティ情報解析や事実性解析の精度を向上させることができると期待している。

## 7.4 モダリティ表現に基づく情報検索

本コーパスを，モダリテイ表現を含む曖昧な自然言語クエリによる情報検索システムの構築 へ応用することもできる．既存研究での局面の検索システムは，駒の場所をクエリとしたもの (Ganguly et al. 2014)や NE をクエリとしたもの (Ushiku et al. 2017)がある. 駒の場所をクエ リとする場合にはその対象についての知識を既に持っていることが求められ，ゲームへの理解 が十分でないプレイヤには利用が難しい。また， NEをクエリとする場合，その $\mathrm{NE}$ は過去や未来の局面への言及であることがあるため，検索された局面が常にクエリとなった $\mathrm{NE}$ と関連し ているわけではないという問題がある。事実性解析の結果を活用した検索システムを構築する ことで，例えば解説者がそのクエリとなった戦型が良いと判断した局面や，その戦型が選択肢 として挙げられたが実際には選ばれなかった局面といったような, より細かい検索の実現が期待できる.

## 7.5 ゲーム解説文の自動生成

本コーパスを用いることで，ゲームの解説文の自動生成システム (Kaneko 2012; Kameko et al. 2015; Jhamtani et al. 2018)の性能向上が期待できる。事象の事実性を考慮することで，適切な モダリティ表現を含んだ文生成を行うことができる.

## 8 おわりに

本論文では，将棋とその解説文を対象として我々の構築したゲーム解説文コーパスについて 説明した，本コーパスを構築するにあたり，我々は固有表現とモダリティ情報のアノテーショ ン体系を定義し, 一部の解説文に人手で単語分割境界・将棋固有表現・モダリティ表現・事象ク ラスラベル・事実性ラベルのアノテーションを行った。 人手アノテーションによって，本コー パスは 10,287 個の sNE，1,622 個のモダリティ表現，5,014 個の事象クラスラベル，3,092 個の事実性ラベルを含むコーパスを構築した． 3.2 節に示す通り，将棋の解説文は過去や未来の局面へ の言及を多く含んでいる。これは将棋やゲームの解説文に限った現象ではなく, 人が操る言語 は過去への想起や未来の想像を多く含んでおり，これの理解のためにモダリティ表現に着目す ることは非常に重要である。本コーパスは，事象を表現する sNE とそれを修飾するモダリティ 表現の両方に着目したものであり，シンボルグラウンディング技術を用いたモダリティ表現と それに付随する事象の事実性の自動認識課題を推進する。これらは人間によって記述された解説文を自動解析したり，解説文の自動生成を行ったりする上で重要な課題である.
本コーパスの最大の特徴は, 全ての解説文が実世界の代替としての局面と紐づていること である。本コーパスを活用することにより，自然言語処理研究やその他の人工知能研究におい て，多くの新しい課題に挑戦することが期待できる.

## 謝 辞

本コーパスを構築するにあたり，公益社団法人日本将棋連盟より同連盟が公開している将棋 の棋譜およびその解説文を学術的目的のため利用することに問題がないことを確認いただきま した。ここに謝意を表します.

本研究は情報処理学会第 233 回自然言語処理研究会（NL-233）(松吉 他 2017), 10th edition of the Language Resources and Evaluation Conference (LREC 2016) (Mori et al. 2016) および11th edition of the Language Resources and Evaluation Conference (LREC 2018) (Matsuyoshi et al. 2018) で発表したものです。本研究は JSPS 科研費 26540190，26280084，18K11427，19K20341 の助成を受けたものです。

## 参考文献

Den, Y., Nakamura, J., Ogiso, T., and Ogura, H. (2008). "A Proper Approach to Japanese Morphological Analysis: Dictionary, Model, and Evaluation." In Proceedings of the 6th International Conference on Language Resources and Evaluation, pp. 1019-1024.

Ferraro, F., Mostafazadeh, N., Huang, T.-H., Vanderwende, L., Devlin, J., Galley, M., and Mitchell, M. (2015). "A Survey of Current Datasets for Vision and Language Research." In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 207-213.

Ganguly, D., Leveling, J., and Jones, G. J. (2014). "Retrieval of Similar Chess Positions." In Proceedings of the 37th Annual International ACM SIGIR Conference, pp. 687-696. ACM.

Harnad, S. (1990). "The Symbol Grounding Problem." Physica D, 42, pp. 335-346.

Hashimoto, A., Sasada, T., Yamakata, Y., Mori, S., and Minoh, M. (2014). "KUSK Dataset: Toward a Direct Understanding of Recipe Text and Human Cooking Activity." In Proceedings of the 6th International Workshop on Cooking and Eating Activities, pp. 583-588.

Izumi, T., Imamura, K., Asami, T., Saito, K., Kikui, G., and Sato, S. (2013). "Normalizing Complex Functional Expressions in Japanese Predicates: Linguistically-Directed Rule-Based Paraphrasing and Its Application." ACM Transactions on Asian Language Information Processing, 12 (3), pp. 1-20.

Jhamtani, H., Gangal, V., Hovy, E., Neubig, G., and Berg-Kirkpatrick, T. (2018). "Learning to Generate Move-by-Move Commentary for Chess Games from Large-Scale Social Forum Data." In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics, pp. 1661-1671.

亀甲博貴，松吉俊，村脇有吾，森信介 (2019). モンテカルロシミュレーションによる認識的モ ダリティ表現のグラウンディング手法の検討. 言語処理学会第 26 回年次大会, pp. 731-734. [H. Kameko et al. (2019). montekaruro simyureshon niyoru ninshikiteki modaritei hyogen no guraundeingu shuho no kento. 25th Annual Meeting of the Association for Natural Language Processing. pp. 731-734.].

Kameko, H., Mori, S., and Tsuruoka, Y. (2015). "Learning a Game Commentary Generator with Grounded Move Expressions." In Proceedings of the 2015 IEEE Conference on Computational Intelligence and Games, pp. 177-184.

Kamioka, Y., Narita, K., Mizuno, J., Kanno, M., and Inui, K. (2015). "Semantic Annotation of Japanese Functional Expressions and its Impact on Factuality Analysis." In Proceedings of The 9th Linguistic Annotation Workshop, pp. 52-61.

Kaneko, T. (2012). "Real Time Commentary System for Shogi." In 1st Workshop on Games and $N L P$.

Maekawa, K. (2008). "Balanced Corpus of Contemporary Written Japanese." In Proceedings of the 6th Workshop on Asian Language Resources, pp. 101-102.

Maekawa, K., Yamazaki, M., Maruyama, T., Yamaguchi, M., Ogura, H., Kashino, W., Ogiso, T., Koiso, H., and Den, Y. (2010). "Design, Compilation, and Preliminary Analyses of Balanced Corpus of Contemporary Written Japanese." In Proceedings of the 7th International Conference on Language Resources and Evaluation, pp. 1483-1486.

益岡隆志 (1991). モダリティの文法. くろしお出版. [T. Masuoka (1991). Grammar of Modality. Kuroshio Shuppan.].

松吉俊, 村脇有吾, 亀甲博貴, 森信介 (2017). 将棋解説文へのモダリティ情報アノテーション. 情報処理学会自然言語処理研究会, pp. 1-9. [S. Matsuyoshi et al. (2017). SGC-MEF: A Shogi Commentary Corpus Annotated with Modality Information. IPSJ SIG Technical Reports (IPSJ SIG NL-233), pp. 1-9.].

Matsuyoshi, S., Eguchi, M., Sao, C., Murakami, K., Inui, K., and Matsumoto, Y. (2010). "Factuality Annotation for Textual Information Analysis." The IEICE Transactions on Information and Systems (Japanese edition), 93 (6), pp. 705-713.

松吉俊, 江口萌, 佐尾ちとせ, 村上浩司, 乾健太郎, 松本裕治 (2010). テキスト情報分析のための 判断情報アノテーション. 電子情報通信学会論文誌. D, 情報・システム, 93 (6), pp. 705-713.

[S. Matsuyoshi et al. (2010). Factuality Annotation for Textual Information Analysis. The IEICE Transactions on Information and Systems. 93 (6). pp. 705-713.].

Matsuyoshi, S., Kameko, H., Murawaki, Y., and Mori, S. (2018). "Annotating Modality Expressions and Event Factuality for a Japanese Chess Commentary Corpus." In Proceedings of the 11th International Conference on Language Resources and Evaluation, pp. 2475-2481.

松吉俊, 佐藤理史, 宇津呂武仁 (2007). 日本語機能表現辞書の編纂. 自然言語処理, 14 (5), pp. 123-146. [S. Matsuyoshi et al. (2007). A Dictionary of Japanese Functional Expressions with Hierarchical Organization. Journal of Natural Language Processing, 14 (5), pp. 123146.].

McCallum, A. and Li, W. (2003). "Early Results for Named Entity Recognition with Conditional Random Fields, Feature Induction and Web-Enhanced Lexicons." In Proceedings of the 7th Conference on Computational Natural Language Learning, pp. 188-191.

Mintz, M., Bills, S., Snow, R., and Jurafsky, D. (2009). "Distant Supervision for Relation Extraction without Labeled Data." In Proceedings of the Joint Conference of the 47th Annual Meeting of the ACL and the 4th International Joint Conference on Natural Language Processing of the AFNLP, pp. 1003-1011, Suntec, Singapore. Association for Computational Linguistics.

Mori, S., Maeta, H., Yamakata, Y., and Sasada, T. (2014). "Flow Graph Corpus from Recipe Texts." In Proceedings of the 9th International Conference on Language Resources and Evaluation, pp. 2370-2377.

Mori, S. and Neubig, G. (2014). "Language Resource Addition: Dictionary or Corpus?" In Proceedings of the 9th International Conference on Language Resources and Evaluation, pp. 1631-1636.

Mori, S., Richardson, J., Ushiku, A., Sasada, T., Kameko, H., and Tsuruoka, Y. (2016). "A Japanese Chess Commentary Corpus." In Proceedings of the 10th International Conference on Language Resources and Evaluation, pp. 1415-1420.

Neubig, G. and Mori, S. (2010). "Word-based Partial Annotation for Efficient Corpus Construction." In Proceedings of the 7th International Conference on Language Resources and Evaluation, pp. 2723-2727.

Neubig, G., Nakata, Y., and Mori, S. (2011). "Pointwise Prediction for Robust, Adaptable Japanese Morphological Analysis." In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics, pp. 529-533.

Palmer, F. (2001). Mood and Modality Second edition. Cambridge University Press.

Pasunuru, R. and Bansal, M. (2018). "Game-Based Video-Context Dialogue." In Proceedings
of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 125-136, Brussels, Belgium. Association for Computational Linguistics.

Pustejovsky, J. (2017). "ISO-TimeML and the Annotation of Temporal Information." In Ide, N. and Pustejovsky, J. (Eds.), Handbook of Linguistic Annotation, pp. 941-968. Springer.

Saurí, R. (2008). FactBank 1.0 Annotation Guidelines. https://catalog.ldc.upenn.edu/docs/ LDC2009T23/annotationGuidelines .pdf.

Saurí, R., Littman, J., Knippen, B., Gaizauskas, R., Setzer, A., and Pustejovsky, J. (2006). TimeML Annotation Guidelines Version 1.2.1. https://catalog.ldc.upenn.edu/docs/ LDC2006T08/timeml_annguide_1.2.1.pdf.

Saurí, R. and Pustejovsky, J. (2009). "FactBank: A Corpus Annotated with Event Factuality." Language Resources and Evaluation.

Saurí, R., Verhagen, M., and Pustejovsky, J. (2006). "Annotating and Recognizing Event Modality in Text." In Proceedings of the 19th International Florida Artificial Intelligence Research Society Conference, pp. 333-339.

首藤公昭, 田辺利文 (2010). 日本語の複単語表現辞書: JDMWE. 自然言語処理, 17 (5), pp. 51-74. [K. Shudo and T. Tanabe (2010). JDMWE: A Japanese Dictionary of Multi-Word Expressions. Journal of Natural Language Processing, 17 (5), pp. 51-74.].

Suzuki, T., Abe, Y., Toyota, I., Utsuro, T., Matsuyoshi, S., and Tsuchiya, M. (2012). "Detecting Japanese Compound Functional Expressions using Canonical/Derivational Relation." In International Conference on Language Resources and Evaluation, pp. 680-684.

Tjong Kim Sang, E. F. and Meulder, F. D. (2003). "Introduction to the CoNLL-2003 Shared Task: Language-Independent Named Entity Recognition." In Proceedings of the 7th Conference on Computational Natural Language Learning, pp. 142-147.

Tsuruoka, Y., Yokoyama, D., and Chikayama, T. (2002). "Game-Tree Search Algorithm Based On Realization Probability." ICGA Journal, 25 (3), pp. 145-152.

Ushiku, A., Mori, S., Kameko, H., and Tsuruoka, Y. (2017). "Game State Retrieval with Keyword Queries." In Annual International ACM SIGIR Conference, pp. 877-880.

Ushiku, Y., Harada, T., and Kuniyoshi, Y. (2011). "Automatic Sentence Generation from Images." In Proceedings of the 19th Annual ACM International Conference on Multimedia, pp. 1533-1536.

Yang, Y., Teo, C. L., III, H. D., and Aloimonos, Y. (2011). "Corpus-Guided Sentence Generation of Natural Images." In Proceedings of the 2011 Conference on Empirical Methods in Natural Language Processing, pp. 444-454.

## 略歴

亀甲 博貴 : 2018 年東京大学大学院工学系研究科博士課程修了. 博士 (工学).

同年より京都大学学術情報メディアセンター助教. 自然言語処理, ゲーム AI 等に関する研究に従事. 言語処理学会, 情報処理学会各会員.

松吉 俊：2003 年京都大学理学部卒業. 2008 年同大学院情報学研究科博士後期課程修了. 奈良先端科学技術大学院大学情報科学研究科特任助教, 山梨大学大学院医学工学総合研究部助教, 電気通信大学情報理工学研究科助教を経 て, 現在, 東京工科大学メディア学部講師. 京都大学博士 (情報学). 計算言語学, 自然言語処理の研究に従事. 情報処理学会, 言語処理学会, 各会員.

John Richardson: 2016 年京都大学大学院情報学研究科博士後期課程修了. 博士 (情報学).

牛久 敦：2017 年京都大学大学院情報学研究科修士課程修了. 修士 (情報学).

笹田 鉄郎：2007 年京都大学工学部電気電子工学科卒業. 2009 年同大学大学院情報学研究科修士課程修了. 2012 年同大学院情報学研究科博士後期課程単位取得認定退学.

村脇 有吾: 2011 年京都大学大学院情報学研究科博士後期課程修了, 博士（情報学). 同年京都大学学術情報メディアセンター特定助教, 2013 年九州大学大学院システム情報科学研究院助教, 2016 年京都大学大学院情報学研究科助教, 2020 年同講師, 現在にいたる。テキスト解析および計算言語学に関する 研究に従事. 言語処理学会, 情報処理学会各会員.

鶴岡 慶雅：2002 年東京大学大学院工学系研究科電子工学専攻博士課程修了.博士 (工学). 科学技術振興事業団研究員, マンチェスター大学 Research Associate, 北陸先端科学技術大学院大学准教授, 東京大学大学院工学系研究科准教授を経て, 2018 年より東京大学大学院情報理工学系研究科教授, 現在に 至る. 自然言語処理およびゲーム AI の研究に従事.

森信介：1998 年京都大学大学院工学研究科電子通信工学専攻博士後期課程修了. 同年日本アイ・ビー・エム (株) 入社. 2007 年京都大学学術情報メディ アセンター准教授. 2016 年同教授. 京都大学博士（工学）. 1997 年情報処理学会山下記念研究賞受賞. 2010 年, 2013 年情報処理学会論文賞受賞. 2010 年第 58 回電気科学技術奨励賞受賞. 言語処理学会, データベース学会, ACL 各会員.

$(2021$ 年 1 月 31 日 受付 $)$
$(2021$ 年 5 月 1 日 再受付)
$(2021$ 年 7 月 16 日 採録)

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 学会記事
## 言語で説明できる AI システムへの道のり

## はじめに

深層学習の爆発的な発展によって $\mathrm{AI}$ は長足の進歩を遂げた。しかし, 深層学習の成功はこれ までのところ，画像／音声認識，機械翻訳など，大量の訓練データが入手可能であり end-to-end の学習が可能な領域に限られている。また，よく指摘されるように， end-to-end の学習で得ら れる深層ニューラルネット (DNN) はいわゆるブラックボックスであり，判断の解釈や説明が 難しい。こうした背景のなか，我々は幸運にも，JST/CREST の新領域「信頼できるAI システ ム」に提案が採択され，「説明できる $\mathrm{AI}(\mathrm{XAI}) 」$ に関する研究プロジェクトを進めることになつ た。まずは，領域総括の相澤彰子先生をはじめ，アドバイザーの先生方，関係者各位に感謝申 し上げたい，我々のねらいは，現在の end-to-end の学習では解決が難しい問題のうち，「言語」 の問題，とくに，人間であれば判断の過程や理由を言語で説明できる種類の問題に焦点を当て，人が説明するのと同様の仕方で判断を説明できる新しい計算パラダイムを探究することである. プロジェクトは 2020 年 12 月から約 5 年半続く. その間にも様々な技術革新が起こり, 我々も 舵の調整を迫られるかもしれない． 5 年後には今とは違った世界観で違ったことを言っている かもしれないが，プロジェクトの開始に当たって現在の我々の思いとねらいを論じたい.

## 「言語で説明できる」問題をねらう

「言語で説明できる」問題をねらう理由は 3 つある。

第 1 に，判断の過程や理由を言語で説明できる問題は社会の至るところに存在する。情報の 真偽の判断や法律的な判断, 経営の意思決定など, 社会の多くの重要問題が, 言語で語られた 情報や知識を組み合わせて推論し，判断し，その過程を言語で説明できる問題である。一つの 例題として, 本プロジェクトでは情報の信憑性を判断する問題を考える。図 1 のように，「(新型コロナ感染で） 1 万人近くの感染者がいるが，日本人は．..半分もいない」のような SNS の情報の信憑性を判断したいとしょう。もし機械が人に代わって「厚労省発表」のような情報源を

見つけ出したり，「感染者の約半数は国籍未確認」のような関連情報との間の意味的な関係を推論して人に説明するといったことができれば, 合理的で納得感のある判断に貢献できるだろう.

第 2 に，図 1 の例に含まれるような言語理解は, 深層学習による音声認識や翻訳がこれほど 成功を収めた今も実現できていない．問題の複雑さに対して十分な訓練データを用意すること が困難であり，少量のデータからでは適切な一般化が難しいためである。しかし，人が言語で 説明できる問題の領域では，問題を規定するための知識や判断の説明に使う知識が形式知とし てどこかに言語で記述されている可能性が高い。そうした言語で書かれた知識はその領域の問題をどのように一般化すればよいかの良い事前知識を与えてくれる可能性もある。たとえば,図 1 の推論は,〈「日本国籍」と「外国籍」の排他相補的関係〉や〈「割合」の意味・計算方法〉 のような知識を使って説明できるが, こうした概念や意味の知識を学習や推論の中でうまく利用する仕組みを生み出せれば，現在の深層学習の限界を超えられる可能性も出てくる.

第 3 に, 判断の過程を言語で説明できる問題では, 人が AIに説明の手本を示すことができる. XAIに関する既存の研究の多くは, データからの統計的予測や画像認識のような, end-to-end の学習で成功している領域の問題を主たる対象としてきたが (原 2019), そうした領域では人間自身もどう説明すればよいかわからない問題も少なくない。一方, 情報の信憑性判断のような 問題では, 人が自らの判断の理由を説明する営みが社会の中にすでに存在し, 説明のあり方, 受 けとめ側の態度のあり方等に関する知恵の蓄積がある。こうした判断の説明が社会に根付いて いる問題に焦点を当てながら, 心理学, 社会科学等の研究者らとも連携することによって, 人間をきちんと系に入れた「コミュニケーションとしての説明」の研究を進めたい.

以上を踏まえ，文書集合に対する質問応答の説明や情報推薦の対話，さらに上述のような情報信憑性判断の対話的支援といった課題を例題として，判断を言語で説明する問題を考える.図 2 のように計算機科学の研究者と人間社会科学の研究者が密に協力する研究体制を組織し,

図 1 判断の過程を言語で説明できる AI システムの実現を目指したい.

図 2 研究項目と研究体制

図 $3 \mathrm{~KB}-$ Text 混合グラフ上の推論

推論層と説明共有層の 2 つの相互作用系からなる人と $\mathrm{AI}$ の協働システムの設計論を研究する.推論層では，記号推論と DNN 推論の相互作用によって説明能力と学習性能を両立する，新し い説明可能 $\mathrm{AI}$ のアーキテクチャを研究する（図 2 の研究項目 1 ）。説明共有層では, 説明を介 した人と AI の相互作用を考え， AI の説明が納得感のある説明となるために，相手を含めた説明のコミユニケーションの設計論を研究する (研究項目 2).

## 記号推論と深層学習の融合に向けて

自然言語にせよ形式言語にせよ，人類が知識を記録し共有してきた道具は言語，すなわち記号であり，説明の道具も記号である。したがって，説明能力を深層学習に組み込む自然な方法 の一つは，記号表現された知識や記号による推論をDNNに組み込むことである。たたし，過去の AI 研究が経験したように, 記号推論は知識ベースの構築（知識獲得）と離散構造の組合せ 最適化（探索）の 2 つのボトルネックのために実問題に対して脆弱であり，そこが解決しなけ れば実応用は難しい。これに対して本研究では次の 2 つの攻め口を考える．1つはやはり言語 データからの知識獲得である。たたし， 知識獲得と推論をカスケードする従来の方式には知識獲得の誤りの伝播など本質的な限界があり，これをいかに克服するかが鍵となる。もう1つは，記号推論と DNN 推論の融合を探索のボトルネックの解消手段として捉えることである。これ らの攻め口に対し, 工学的な自然言語処理（乾グループ (G)）と数理的な形式意味論（戸次 $\mathrm{G}$ ） の 2 つの異なる角度から相補的に連携してアプローチする。

記号推論と深層学習の融合に基づく説明可能 AI（乾 G）出発点として, 図 3 のような, 知識べースとテキストの混合グラフ上での多段推論を考える。こうした混合グラフの上で推論が できるなら，それはすなわち自然言語で書かれた知識を推論に利用できているということであ

り, 知識獲得のボトルネックに繋がる。また, こうした混合グラフをDNN に完全に埋め込み,記号を捨象し高速に推論できるモデル（図の「システム 1 」）と，混合グラフを記号知識として 検索・参照しながら推論するモデル（「システム 2$\rfloor$ ）を考え，それらの相互作用によって推論 が進むような系を考える。システム 1 がシステム 2 に「注意（探索のガイド）」を与え，シス テム 2 は精緻な推論の結果をシステム 1 に「教示信号」として与えるといった相互作用をうま く実現することができれば，探索のボトルネックが解消できる可能性も出てくる．乾 Gでは，図 2 のような事物間の静的関係の混合グラフについては，これをDNN に接続する研究でいく つか興味深い結果を生み出しており (Dai et al. 2021; Heinzerling and Inui 2021), 本研究ではこ うした予備的な結果を発展させ，事実性，論理関係，状況依存性等の表現力の高い記号推論に 拡張し説明に繋げる課題に注力する。

高階論理と深層学習の融合（戸次 G）事実性, 論理関係, 状況依存性などが複雑にかかわる 自然言語文の意味計算は，長年，理論言語学の一分野である形式統語論，形式意味論において 研究されてきた．理論言語学の目的の一つは「言語現象を説明すること」であるから，そこか ら説明にアプローチするのは自然な戦略である。焦点は, これが深層学習に対抗しうるほどの 頑健さ，速さを備えうるかという点にある．戸次 $\mathrm{G} て ゙ は ，$ 形式意味論に基づく意味解析と定理自動照明器を接続した ccg2lambdaを 2015 年に開発し, この分野の先駆けであった Nutcracker (Bos 2008)を越えて当時世界最高の精度と速度を実現しており, さらには一部の含意関係認識 タスクにおいて深層学習を上回る精度を達成している (Mineshima et al. 2015; Martinez-Gomez et al. 2016)（図 4). 本研究ではこれを出発点として, 依存型理論に基づく証明論的意味論, お よび理論言語学と深層学習のハイブリッドなアプローチを推し進める。また，上記研究を発展 させながら，DNN と相互作用する自然言語の証明論的意味論がどのような形で与えられうるか を研究し，「説明可能 AIの正しさ」に理論的基盤を提供することをねらう。

## 説明のコミュニケーション

説明が相手に理解され，納得に繋がるためには，単に関連する事実を提示するだけでは十分 でない (シャーロット 2019). 相手に伝わる説明を行うためには, 相手が何を知っていて, 説明 によってどのように理解が進み，またどのような感情でその説明や説明者を捉えているかを推定・把握しなければならない。そして，適宜それを確認・更新し，相手の質問を受けながら説明を進める必要がある。すなわち本質的に「対話」が必要となる。例えば図 1 の例で, 厚労省 の公的情報に対してユーザが「えっと...」のような返答をしたとすれば，ユーザが十分に理解 できていないことを察し，ポイントは「未確認が多い」点にあることを割合の計算などととも に説明できるとよいだろう。こうした対話的な説明を実現するには，推論のレイヤで説明内容 をうまく構造化しておくことに加え, 対話相手の内部状態を知識レベルや理解レベルでモデル

図 $4 \mathrm{ccg}$ 2lambda による推論.

図 5 対話による説明.

化し，これをダイナミックに更新しながら対話を進める仕組みが必要であろう（図 5）。さらに は，どのような情報をどのような粒度で説明するのが効果的か, 人はどのような状態のときに どのような説明を受け入れやすいか, といった人間側の特性が機械との対話の場合にどう変わ るかの研究も必要である。こうした「コミュニケーションとしての説明」の課題に自然言語処理（黒橋 G）と人間社会科学（久木田 G）から相補的にアプローチする.

対話相手の内部状態モデルに基づく対話システム（黒橋 G）対話研究の現状は，限定された タスク指向対話の制御を機械学習で行うものや, Wikipediaなどを知識源とした大規模な対話 コーパスをもとに深層学習によって対話を行うものが主流である。後者はやはり end-to-end の 枠組みであり, 知識（テキスト）の構造化が十分でないことに加えて, 対話相手の内部状態を 推定して対話を制御し相互理解を目指す研究もほとんど行われていない.これに対し, 黒橋 G では，相手の内部状態や対話文脈に基づいて自然な対話を行うための計算機構を明らかにし， これによって信頼されるにたる説明機能を備えた AI システムの実現をめざす。中間的な例題 としてまずは映画推薦対話を対象に研究を進める。すでに，このドメインでの説明対話コーパ スの設計・構築, さらに対話者の内部状態のモデル化, 説明対話システムの構築を進めており, ニューラルモデルによる内部状態推定とそれに基づく対話制御の有効性について有望な結果が 得られている (児玉 他 2021). こうした課題で「説明の対話」の研究を進めながら, 情報信憑性判断の課題への発展的応用をはかる.

意思決定支援の人間社会科学（久木田 G） 納得・信頼については, 心理学・社会学などにおい て豊富な研究があるが, AIによる説明にフォーカスした研究は極めて少ない. 本研究ではそこ をねらう，本グループ代表の久木田はこれまで $\mathrm{AI}$ と人間, AI と社会の望ましい関係, 望まし い相互作用の在り方や AI に倫理性を実装する可能性について探求と提言を行ってきた (久木田他 2017 ; 久木田 2020). 久木田 Gでは, これを人間社会科学と計算機科学の融合的方法によっ

て発展させ，実際に動作する説明対話システムも用いながら，AIが行った判断について，説明 の整合性や倫理性などの特性，ユーザの背景知識，認知的なバイアスなどがユーザの反応にど う影響するかを心理学・社会学的方法で研究する。 また, そうした記述的研究と並行して, AI に対する適切な「信頼」がどうあるべきかを考えるという規範的な研究を進めることも重要で ある。既存の概念を分析・整理する哲学的手法のほか，社会的価値との整合性を検証する応用倫理学的手法も用いながら AIに対する信頼のあるべき姿を様々なステークホルダーとともに 議論し, AIに関する倫理的原則や制度の中に反映させる活動を進めたい.

## おわりに

本プロジェクトには，本稿の著者の他，各グループから多数の若手研究者に参画いただいて いる.プロジェクトの活動を通じて参加者間の交流が進むことを期待するとともに，彼ら彼女 らを通してさらに広い領域の研究者・専門家らと繋がる機会が生まれることを我々自身楽しみ にしている.

## 参考文献

Bos, J. (2008). "Wide-coverage Semantic Analysis with Boxer." Conference on Semantics in Text Processing, pp. 277-286.

Dai, Q., Inoue, N., Takahashi, R., and Inui, K. (2021). "Two Training Strategies for Improving Relation Extraction over Universal Graph." EACL, pp. 3673-3684.

原聡 (2019). 説明可能 AI（Explainable AI）. 私のブックマーク, 人工知能学会誌, 34 (4), p. 577. [S. Hara (2019). Explainable AI. My Bookmark, Artificial Intelligence, 34 (4), p. 577.].

Heinzerling, B. and Inui, K. (2021). "Language Models as Knowledge Bases: On Entity Representations." EACL, pp. 1772-1791.

北玉貴志, 田中リベカ, 黒橋禎夫 (2021). 映画推薦対話を具体例とした話者内部状態の推定による対話管理. 自然言語処理, 28 (1), pp. 104-135. [T. Kodama et al. (2021). Dialogue Management by Estimating User's Internal State Using the Movie Recommendation Dialogue. Journal of Natural Language Processing, 28 (1), pp. 104-135.].

久木田水生, 神崎宣次, 佐々木拓 (2017). ロボットからの倫理学入門. 名古屋大学出版会. [M. Kukita et al. (2017). Introduction to Ethics through Robots. The University of Nagoya Press.].

久木田水生. 人工知能と人間のよりよい共生のために（RAD-IT21 WEB マガジン）. https:// rad-it21.com/ai/kukita-minao_20200317. [M. Kukita. Jinko Chino to Ningen no Yoriyoi

Kyosei no tameni (RAD-IT21 Web Magazine).].

Martinez-Gomez, P., Mineshima, K., Miyao, Y., and Bekki, D. (2016). "ccg2lambda: A Compositional Semantics System." $A C L$, pp. 7-12.

Mineshima, K., Martinez-Gomez, P., Miyao, Y., and Bekki, D. (2015). "Higher-order Logical Inference with Compositional Semantics." EMNLP, pp. 2055-2061.

ターリ・シャーロット (2019). 事実はなぜ人の意見を変えられないのか. 白揚社. [Tali Sharot. The

Influential Mind: What the Brain Reveals about Our Power to Change Others. Hakuyosha Publishing.].

## 略歴

乾 健太郎：東北大学大学院情報科学研究科教授. 1995 年東京工業大学大学院情報理工学研究科博士課程修了. 同大学助手, 九州工業大学助教授, 奈良先端科学技術大学院大学助教授を経て, 2010 年より現職. 2016 年より理化学研究所 AIP センター自然言語理解チームリーダー兼任.

戸次 大介：お茶の水女子大学基幹研究院自然科学系准教授. 2000 年東京大学大学院理学系研究科情報科学専攻博士課程修了. 科学技術振興機構戦略的創造研究推進事業さきがけプログラム「情報と知」領域専任研究員, 東京大学 21 世紀 COE「心とことば一進化認知科学的展開一」研究拠点形成特任研究員 を経て，2008 年より現職.

黒橋 禎夫: 京都大学大学院情報学研究科教授. 1994 年京都大学大学院工学研究科電気工学第二専攻博士課程修了. 同大学助手, 講師, 東京大学大学院情報理工学系研究科助教授を経て, 2006 年より現職.

久木田水生 : 名古屋大学大学院情報学研究科准教授. 2005 年に京都大学大学院文学研究科より博士学位 (文学) を取得. 2017 年より現職. 専門は哲学・倫理学.


# 学会記事
## ライブコンペティション：「AI王〜クイズ AI日本一決定戦〜」

鈴木 潤 ${ }^{\dagger, \dagger \dagger} \cdot$ 松田 耕史 ${ }^{\dagger+, \dagger} \cdot$ 鈴木 $\quad$ 正敏 ${ }^{\dagger,+\dagger \dagger} \cdot$ 加藤 $\quad$ 拓真 $\dagger \cdot$

宮脇 峻平 $\dagger \cdot$ 西田 京介 $+\dagger \dagger \dagger$

## 1 はじめに

本稿では, 言語処理学会第 27 回年次大会に併設されたワークショップの一つ「AI王〜クイ ズ $\mathrm{AI}$ 日本一決定戦〜」内で実施したクイズ $\mathrm{AI}$ のライブコンペティションについて, その概要 と運営実態について紹介する。

## 2 コンペティション概要

## 2.1 ねらい

質問応答は，自然言語処理研究における主要な研究テーマの一つである。どのような質問に も的確に答えられるシステムの実現は, 多くの自然言語処理研究者の夢であり，究極的なゴール の一つと言える. 現在, ニューラルネット／深層学習による方法論の流行とともに, 質問応答研究も世界的に大きな盛り上がりを見せている，事実，人工知能関連の難関国際会議では，毎年多くの質問応答に関する研究成果が報告されている. しかし, 最先端技術にキャッチアップ しながら継続的に質問応答の最先端研究に従事している日本の研究者・研究機関は非常に少な く，世界的な流行との乘離が見られる。深層学習時代以降の日本での質問応答研究の促進のた め,「日本語によるクイズ」を題材とし，最新の質問応答技術に触れながら技術や知識を習得す る場を提供することを目的として本コンペティションを開催することを計画した．特に日本で は, 昨今世間的にクイズ番組が一定の流行をみせており, 若手研究者が興味を持ちやすい題材 と考えられる点を勘案してこの題材を選んた。また，日本語の質問応答データを提供すること で，日本語に対する研究を促進するという側面も考慮している。

## 2.2 ルール

本コンペティションの基本的な理念は, これまでに開催された機械学習系の共有タスク (shared

task) でしばしば採用されていた,「配布データのみでシステムを構築」という設定ではなく,「あ らゆるデータを使ってクイズの正解率を向上させること」とした，ただ，誰でも取得可能な 無償公開されているデータのみを対象とするという制限を設けた。これは，本コンペティショ ンの目的が主に若手研究者を対象とした研究促進であり，一部の参加者（特にデー夕を大量に 保持している組織）しか使えないデー夕を許すと，公平感や再現性の担保が難しく，本コンペ ティションの主旨に反するという考えに基づいた措置である ${ }^{1}$. 計算機リソースに関しても同様 に，基本的に単一の計算機内のリソースで動作するシステムとした2.

## 2.3 評価

質問応答のコンペティションをする上で避けて通れない課題の一つとして，答えの表記摇れ や別解への対応がある。つまり，システムが出力する解答の正誤を判定する際に，正解文字列 との完全一致度で判断すると, 本来は正解だが異表記となるものを誤答と判定してしまう可能性がある。この課題に正面から対応するためには，人間による人手チェックが必要となる。し かし，正誤判定にかかる時間的・金銭的コストは無視できないほど大きく，特に，今回実施し たライブコンペティションの場合は，解答提出から表彰までの時間は短く, その間に参加シス テムの全解答を人手チェックすることは難しい，そこで，本コンペティションでは，解答の選択肢を設け，その選択肢から正解を選択する問題設定とした。このような選択肢付きの択一問題とすることで，正解を唯一に決めることが可能となり，正誤判定における曖昧性や判定誤り の発生をなくすことができる ${ }^{3}$. また，単純な選択肢の一致度だけで正解率が計算できるため,時間的・金銭的コストなく評価でき，ライブコンペティションに適した設定と言える。

## 2.4 評価用データセット

表 1 に，評価用データセットに含まれるクイズ問題の例を示す。1つのクイズ問題は，質問・選択肢・正解の 3 つ組からなる。質問および正解は, 本コンペティション用にクイズ作家に新

質問: 北海道の中心に位置することから「北海道のへそ」を名乗る、ラベンダーで有名な都市 はどこ?

選択肢: 1. 名寄市, 2. 紋別市, 3. 富良野市, 4. 当別町, ..., 18. 南富良野町, 19. 赤平市, 20. 士別市正解: 3. 富良野市

表 1 クイズ問題の例

たに発注し作成した．基本的には，クイズ番組やクイズイベントで作成する方法と同じ手順で の問題作成を依頼した。ただし，前述の通り解答の表記摇れなどを防ぐために，クイズ問題の 正解は必ず日本語 Wikipedia の記事名になること，という条件を設けて作問を依頼した.

評価データ作成手順まず，日本語 Wikipedia の記事名一覧を取得し，その中からリダイレク ト元のページなどを取り除いた約 92 万の記事名のリストを取得した。次に，取得した記事名リ ストをクイズ作家に渡し，前述の通りリスト中の記事名が正解になるクイズ問題の作成を依頼 した. クイズ作家からクイズ問題が納入された後, それぞれの質問・正解ぺアに対して, 正解 を含む 20 個の選択肢を最初に取得した約 92 万の記事名リストから選出し付与した。したがっ て，全ての選択肢は必ず日本語 Wikipedia の記事名であることが保証されている.

選択肢付与手順初めに「日本語 Wikipedia エンティティベクトル」(Suzuki et al. 2018)4 を用 いて，正解との類似度の高い 5 件の Wikipedia 記事べクトルのランダムな重み付き和であるべ クトルを求める，次に，求めたべクトルとの類似度が上位である記事のうち，「拡張固有表現 ver.8」(関根 他 2020)のクラスが同じものを優先して 19 個選び，正解と合わせて 20 個の選択肢とした。このようなランダム性を導入した 2 段階の類似度検索によって，解答時に選択肢の ベクトルの重心を計算することで正解を導くような短絡的な解法を防ぐ工夫をしている。また，正解と固有表現クラスが同じ選択肢をなるべく多くすることで，質問で問われている固有表現 クラスの解析だけでは質問に解答できないようにした5．なお，本アルゴリズムは，コンペティ ションが終了した後に参加者に開示した。

## 3 幅広い参加者を集めるために実施した施策・エ夫

訓練・開発用データなどの配布筆者らが以前に公開した日本語による質問応答のデータセッ ト JAQKET (鈴木 他 2020) の訓練用データと開発用データを参加者に配布し，モデルの訓練 と性能検証に利用できるようにした6。 また，上記約 92 万の記事名のリストとその各記事名に 対応する Wikipedia 記事から本文を抽出したものも合わせて公開した。これらを用いることで，参加者はデータを独自に集めなくても最低限のクイズ AI の学習を行うことができる. ベースラインシステムの提供 東北大乾研究室が公開した日本語用 BERT モデル7をべースに したベースラインシステムを用意し，GitHub上に公開した8. これは GitHubから clone して シェルスクリプトを動作させるだけで, 必要なデータのダウンロード, モデルの学習,（後述す
^{4}$ https://github.com/singletongue/WikiEntVec

5 ただし, 正解と同じ固有表現クラスのエンティティが必ずしも多数存在するとは限らないため, 表 1 の選択肢にあ る「当別町」などのように，正解との意味的類似度は高いが固有表現クラスが異なるような選択肢も一部存在する.

6 JAQKET の訓練データは, 既存のクイズ問題に対して 2.4 節に記載の方法で選択肢の付与を行ったものである.

7 https://github.com/cl-tohoku/bert-japanese

8 https://github.com/cl-tohoku/JAQKET_baseline
}

図 1 リーダーボードへの投稿推移.

図 2 ライブコンペティションにおける各チームの正解数.

るリーダーボードに投稿可能な）評価データの質問に対する解答の予測が自動的に行われ，全 くコードを書かなくてもベースラインの再現が可能となっている.

リーダーボードの運用 参加者に継続的に取り組んでいただけるよう，コンペティション初期 の段階からリーダーボードを運用した。このリーダーボードには 22 チームから 400 回を超える 投稿があり，参加者のモチベーション維持に貢献したと思われる。また，リーダーボード自体 の活性化のために，ライブコンペティション当日は評価データに対する表彰とは別に，リーダー ボードの上位チームも顕彰した。図 1 はリーダーボードに投稿された結果の正解率を表してい る. 個別の投稿をマーカーで表し, その時点での最高到達正解率を実線で表している. 継続的 に投稿され，ライブコンペティション直前まで最高性能が向上し続けていることが見て取れる.

Slack/Twitter の活用Slackワークスペースをアナウンスや参加者同士の情報交換の場として 活用し, 合計 68 名が利用した. Twitterでは, 「AI王〜クイズ AI 日本一決定戦〜」(@AioJaqket) というアカウントを開設して広報活動を行った。開催案内や結果報告のツイートが 30,000 イン プレッションを超えるなど一定の効果を得た。

参加費補助制度本コンペティションは年次大会併設ワークショップとして実施したため，参加者は年次大会本会議への参加登録および参加費の支払いが必須である．学生においては，研究室などからの補助が受けられず，参加費を理由に参加を断念してしまう可能性が想定された. そこで，ライブコンペティションと参加システム報告の双方に発表参加することを条件に，年次大会の事前登録参加費分相当を補助する制度を設けた ${ }^{9}$. 実際に，3 名の学生参加者から申請 があり，参加費補助を行った。

## 4 ワークショップ（ライブコンペティション）当日の運営

概要 最終的に，ライブコンペティションには 11 チームから参加申し込みを受けた。そのう

ち，9チームからワークショップ内で参加システム概要の口頭発表があった. また, 当日は 3 件 の招待講演を企画した。有益な招待講演の効果もあり，また，年次大会のワークショップとし て開催することでライブコンペティションに参加しない聴衆も数多く参加していただくこが でき，ピーク時で 140 名ほど，ワークショップ全体を通しても常時 100 名以上の参加者を確認 することができた，図 2 に，ライブコンペティションの最終結果を示す。位 4 チームは正解率が 9 割を超えるなど，非常に接戦であった，上位チームは，共通して BERT をべースとした 上で，主な工夫として (1) 情報検索に基づく解答に必要な情報の正確な絞り达み，(2)データ拡張による問題の網羅率向上，(3) クイズの特徴を踏まえた質問文の修正，などを適用して正解率 の向上を図っていた.

運営状況 COVID-19 感染拡大の影響で年次大会自体が, 参加者にとってはオンライン開催と なり, 当然, 本コンペティションもオンラインでのリモート開催・運営となった。 さらに, 運営 の本拠地となった東北大学のある仙台でも緊急事態宣言が発令され, 運営委員も各自別々の場所でリモート運営をすることとなった。そのため，運営委員それぞれがワークショップの Zoom ミーティングとは別に，運営用の Zoom ミーティングを繋ぎ（ハウリングがひどく同時にやり とりをするのは難しかったので， ベストプラクティスとは言い難い), Slack も駆使して情報を やり取りしながら運営を行った。

評価手順 まずワークショップの冒頭に評価用のクイズ問題 1,000 問を参加者に配布した。次 に，ワークショップのプログラムとしては，招待講演 2 件および昼休みの時間（合計 3 時間）の 裏で，各参加者に提出する解答を準備していただき，準備ができたところで，Slackを経由して 解答の提出を頂いた．その後，招待講演および参加者による参加システム報告の時間（合計 3 時間）に各参加者の解答評価および表彰式の準備を行った.

所感 急遽決まったリモート運営に対する不安はあったが，運営委員の努力と参加者の好意的 な協力のもと，大きな問題はなく無事にライブコンペティションを終えることができた．第一回目の開催なので, 企画当初はコンペティション参加チーム数 6 チーム, ワークショップ参加者数 50 名を目標としていたが，結果的には上記の通り予想を大幅に上回る参加チーム／参加者 にお集まりいただことができた。コンペティション終了後は運営と参加者の一部による簡単 なオンライン意見交換会／打ち上げが自発的に実施されるなど，研究ネットワークの形成にも 貢献できた。当初掲げた質問応答研究の促進という観点は十分に満たせたと考えている.

## 5 おわりに

日本における質問応答研究の促進と活性化を目的として, 言語処理学会第 27 回年次大会に併設のワークショップ内で試行的に開催したライブコンペティションの報告を行った. 本コンペ ティションは今年度以降も引き続き行っていきたいと考えている. 次回はより現実的なクイズ
問題の設定として，選択肢を与えない，真の意味でのオープンドメイン質問応答での設定を検討中である．本ワークショップの想定ターゲット層としていた，自然言語処理研究を初学者の 学生や若手研究者へどれほどリーチできたかは未知数ではあるが，データとべースラインを公開していることで，今後も継続的に質問応答研究の導入として利用可能である。また，引き続 き参加者も聴衆も楽しめるコンペティションを企画していきたいと考えている.

## 謝 辞

$\mathrm{AI}$ 王プロジェクトは, 理化学研究所 革新知能統合研究センター  の支援 を受けて実施しています。また, 本コンペティションの評価用データのクイズ問題は, 株式会社 キュービックおよびクイズ法人カプリティオへ依頼して作成しました。記して感謝いたします。

## 参考文献

関根聡, 安藤まや, 小林暁雄, 隅田飛鳥 (2020). 拡張固有表現定義の更新と日本語 Wikipedia 分類 データ 2019. 言語処理学会第 26 回年次大会, pp. 1221-1224. [S. Sekine et al. (2020). Update of Extended Named Entity Definition and Categorization Data on Japanese Wikipedia 2019 version. Proceedings of the 26th Annual Meeting for the Association for Natural Language Processing, pp. 1221-1224.].

鈴木正敏，鈴木潤，松田耕史，西田京介，井之上直也 (2020). JAQKET: クイズを題材にした 日本語 QA データセットの構築. 言語処理学会第 26 回年次大会, pp. 237-240. [M. Suzuki et al. (2020). JAQKET: Constructing a Japanese Question Answering Dataset from Trivia Questions. Proceedings of the 26th Annual Meeting for the Association for Natural Language Processing, pp. 237-240.].

Suzuki, M., Matsuda, K., Sekine, S., Okazaki, N., and Inui, K. (2018). "A Joint Neural Model for Fine-Grained Named Entity Classification of Wikipedia Articles." IEICE Transactions on Information and Systems, E101.D (1), pp. 73-81.

## 略歴

鈴木 潤 : 東北大学データ駆動科学・AI 教育研究センター教授. 理化学研究所革新知能統合研究センター自然言語理解チーム客員研究員.

松田 耕史：理化学研究所革新知能統合研究センター自然言語理解チームテク ニカルスタッフ. 東北大学大学院情報科学研究科博士後期課程在学中.

鈴木正敏：株式会社 Studio Ousia システムエンジニア。2021 年 3 月東北大学
大学院情報科学研究科博士後期課程修了.

加藤 拓真: 東北大学大学院情報科学研究科博士前期課程 2 年.

宮脇 峻平: 東北大学大学院情報科学研究科博士前期課程 2 年.

西田 京介：日本電信電話株式会社 NTT メディアインテリジェンス研究所 特別研究員.


# 学会記事
## NLP2021ワークショップ：文章の評価と品質推定〜人間・機械の「作文」の巧拙をどう見極めるか？～

須藤 克仁 ${ }^{\dagger, \dagger \dagger}$ ・小町 守 ${ }^{+\dagger} \cdot$ 梶原 智之 ${ }^{+\dagger \dagger \dagger}$

## 1 はじめに

ニューラル機械翻訳を端緒として，文書要約，データからの言語生成等の性能がこの数年で 大きく改善したと言われている。特にこの 2-3 年の大規模事前学習モデルに基づいて自動生成 される文は一見して自動生成と気づかないほどの品質に達することもある。一方で実際の様々 な自動生成の事例においては文脈の整合性の問題や事実関係の誤り等重大な問題があることも 指摘されており，計算機が望ましい「作文」をできているかどうかの見極めがこれまで以上に 重要になってきていると言える.

この問題に対する自然言語処理分野での従来の取り組みとしては, 人手による絶対評価・相対評価に加え，機械翻訳や要約における参照テキストを用いた自動評価が挙げられる。さらに，機械翻訳では後編集やチェックの要否判断を目的とし参照テキストによらない方法である品質推定の方法について検討が進められている。自動評価や品質推定の技術は計算機による言語生成技術の高度化にあわせて進化を続けており，長く用いられてきた表層に基づく単純な手法か ら，大規模事前学習モデルの活用を中心としてより高いダイナミックレンジでの評価・品質推定を目指す手法に移行しつつある。また，人手評価についてもより精緻な評価に向けて誤りを 詳細に分類・採点する評価方法が模索されている。人手評価は自動評価や品質推定の基準でも あるため, 人手評価のデザインは言語生成技術の方向性を決める重要な問題である.

このように計算機が生成するテキストに対する巧出の問題について考えたとき，計算機が生成する文章が人間並みになったということであるのならば，人間の書く文章の巧拙と同じよう に考えるべきなのではないのか，そして人間の書く文章の評価では今何が問題となっているの か，何か共有できる知見がないのか，という疑問が生じる。人間の書く文章の評価という観点 では，ことばの教育という観点で作文添削は非常に重要な問題である。さらに幅を広げると，記述式テストの自動採点が自然言語処理の応用技術として発展してきている.このように計算機が生成したテキストも人間が書いたものと同様に評価される時代，評価されるべき時代が今

後訪れるとして，我々は何をすべきであろうか？

そこで，様々な研究者が集う言語処理学会年次大会の場で関係する議論と情報交換をするこ とを目的として「文章の評価と品質推定〜人間・機械の「作文」の巧拙をどう見極めるか？」と 題したワークショップを提案・開催した．本稿ではワークショップの内容についての簡単な振 り返りと今後の展望について述べる。

## 2 ワークショップの概要

本ワークショップは言語処理学会第 27 回年次大会 (NLP2021) のワークショップとして 2021 年 3 月 19 日（金）に実施された. 招待講演 3 件, 一般発表 7 件に加え, グループディスカッ ション・全体ディスカッションを行った. 参加者数は最大で 120 名程度であり, 盛況であった.

## 2.1 招待講演

言語生成研究とその評価様々な言語生成の研究に取り組まれている高村大也氏（産総研／東工大）に言語生成研究の概観と，言語生成における評価の現状と直面している課題についてご 講演いただた。言語生成の評価を「人手評価と自動評価」「内的評価と外的評価」の二つの観点で分類し, 最近の研究における評価の実例が紹介されるとともに, 内的評価におけるBLEU, ROUGE 等の表層的な尺度や言語生成で用いられる RG, CS, CO の限界, 人手評価設計の困難 さ，外的評価の重要さと現状の取り組みの不足について議論された。最後に評価は研究の主張 を支えるものであり，研究課題や論旨に合わせた評価をデザインすべきである，として評価の 重要性がメッセージとして示された.

NLP 言語教育応用と言語評価タスク 文法誤り訂正や記述式答案の自動採点の研究に取り組 まれてきた水本智也氏（フューチャー／理研 AIP）に，文法誤り訂正における評価方法，およ び短答式記述問題の自動採点方法についてご講演いただいた。文法誤り訂正の評価は参照テキ ストの網羅性の問題から参照なし評価が注目されており，最小限の文法誤りの訂正というだ でなく流暢性や文意の保存を考慮するような評価の拡張が試みられ，昨今の深層学習技術によ る訂正傾向の変化や誤り訂正の高度化への対応が進みつつあることが紹介された. 記述問題の 採点については単純な回帰問題としてではなく, 採点項目とその根拠に基づいた詳細な採点を 行う手法が考案されていること, 日本語でも理研を中心にデータセットの蓄積と研究が進んで いることが紹介された。

翻訳品質と JTF ガイドラインの概要 英語翻訳者として活動され, JTF（日本翻訳連盟）の理事も務めている西野竜太郎氏（グローバリゼーションデザイン研究所）に, 翻訳の品質に対す る考え方と，西野氏が主導して制定された JTF 翻訳品質評価ガイドラインについてご講演いた だいた。一口に翻訳の品質と言っても実際には様々な観点があることから共通認識として共有

することは難しく, 比較的最近になって, 翻訳の専門家の観点, 読者となるユーザの観点, 成果物としての客観的観点, 費用対価値の観点, 仕様適合性の観点の五分類が提唱されたことが 紹介された。それを踏まえて，JTF 翻訳品質評価ガイドラインでは成果物としてのエラー評価 を行うために，国際的なエラー分類体系との互換性も図りつつそれぞれのエラーの重大性に基 づいて評価指標が設計されていること，また，正確さや流暢さのような機械翻訳評価でもよく 利用される観点のみならず，スタイルガイドへの適合度や日付等地域特有の表記形式やテキス トの見た目等の観点も考慮されていることが紹介された.

## 2.2 一般発表

一般発表についてはワークショップの Web サイト1で募集を行い， 7 件の発表が行われた。予稿の提出は任意とし， 2 件については Web サイトで予稿を公開している。また 2 件については 年次大会本会議での発表と同内容で行われ，議論をさらに深める場としてご活用いただいた。一般発表は Zoom のブレイクアウトルームを用いた仮想ポスター形式で行われ，参加者間の活発な議論が行われた。

一般発表では人間が書いたテキストを自動採点・添削する課題に関するものが 3 件と多く, そ の他は作文能力評価のための分析に関するもの 1 件, 文法誤り訂正の品質推定・機械翻訳の自動評価に関するもの各 1 件，疑似小論文試験データセットに関するもの 1 件，であり，テキス トの評価や品質推定の問題に対して広く話題をカバーする内容であったと考えている.

## 2.3 ディスカッション

本ワークショップではテキストの評価や品質推定について, 人間が書くもの, 計算機が生成す るもの，という枠に必ずしもとらわれず包括的に議論することを狙っていたことから，講演・発表の他にディスカッションの時間を設けた。ディスカッションは話題ごとにグループ分けを行 いそれぞれで深い議論を行っていただくためのグループディスカッションと，それを受けて全体として共有できるものや異なる点等も踏まえて行う全体ディスカッションに分ける形とした.

## 2.3.1 グループディスカッション

グループディスカッションの話題については事前に参加予定者に対するアンケートを行い,以下の 3 つのグループに分かれて Zoom のブレイクアウトルームでそれぞれ議論を行った. ま た, グループディスカッションではそれぞれの内容に関する研究経験の豊富な方々にディスカッ ションリーダーを事前に依頼し，議論の牽引と整理を行っていたたいた。

対話 ディスカッションリーダーを東中竜一郎氏（名大），杉山弘晃氏 (NTT) に務めていたた いた．対話システムが自然なことばを返せるようになってきたことを受けて，各発話のことば としての良さよりも，対話によって何がなされるのか，なされるべきなのか，対話でなければな らない理由は何か, というような根源的な議論が提起された. これは対話というコミュニケー ションの善し悪しを測るという意味での外的評価の重要性を示すものとも言える.

教育 ディスカッションリーダーを三田雅人氏（理研／東北大）に務めていたたいた．教育の 研究と自然言語処理の教育への応用の連携に向けての議論から, 両者の注目する箇所の違いが 示唆された．例えば自然言語処理では誤り訂正や自動採点において誤りを同定することが重視 されているが, 教育においては様々な語彙を活用できるかどうか, 文章が構成できるかどうか, というようなことばの運用能力の評価に軸足が置かれているという違いがある。より高度な作文評価に向けたタスク設計の重要性を示唆する議論と言える.

翻訳ディスカッションリーダーを中澤敏明氏（東大）に務めていたたいた。人手による翻訳 のプロセスは単に内容が一致する翻訳をすることに留まらず，仕様との合致やデザインまで含 めて考える必要がある，機械翻訳の世界ではそこまで考えられていないという指摘があった。唯一絶対の評価基準ではなく，対象に合わせた基準があるべきという提言は翻訳結果がもたら す価値という外的評価の重要性を示唆するものと言える。例として挙げられたのは，時代・文化・背景のようなテキストの外にある情報の考慮が翻訳では不可欠であるという点で, 非常に 重要な問題である.

## 2.3.2 全体ディスカッション

各グループの議論を経た全体ディスカッションでは， すべてのグループで話題となった外的評価の重要性を中心に, 現状の課題と今後の展望についての議論が行われた。

現在の自然言語処理研究では参照テキストとの比較に代表されるような内的評価が中心になっ ているが，実際には評価対象テキストがどういう役割を果たす／影響を及ぼすのかということ が重要であり，それぞれのタスクで適切な外的評価のデザインが必要であるという共通認識が 得られた。また, 自然言語処理で現在利用されている自動評価の指標には実用に即した評価と は言いがたいものもあり（例えば機械翻訳の BLEU や文法誤り訂正の $\mathrm{F}_{0.5}$ ），翻訳や教育の専門家の視点も活かして適切な内的評価を設計すべきではないかという提言があった.

もう一つ話題となったのはタスクによる評価観点の違いである。一口に作文の評価といって も, 人間の言語教育の観点と計算機の言語生成評価の観点は大きく異なるし, 言語生成でも対話・要約・翻訳のそれぞれで重視すべきものには違いがある。こうした違いを踏まえつつ，何 か共有できる基盤があるかどうか，自然言語処理として何か役に立てることがあるか，という 点については今後も議論が必要であろう.

## 2.4 Slack によるワークショップ後の情報交換

年次大会会期中は大会で用意された Slack を用いて情報交換を行っていたが，会期後の大会 Slackの閉鎖を受けて，「文章の評価と品質推定」と題したSlack ワークスペースを開設して議論と情報交換を継続的に実施できるようにしている²，自然言語処理研究者に関わらず，教育，翻訳等ことばを用いる様々な業務に関わる方との開かれた場にしたいと考えている.

## 3 おわりに

本稿では NLP2021 ワークショップ「文章の評価と品質推定〜人間・機械の「作文」の巧拙を どう見極めるか？」について簡単に報告した。提案時の想定よりも多くの方々に, それも様々 な立場の方々にご参加いただけたこと, 関連する幅広い話題を集められ活発な議論が行われた こと, から, 非常に意義のあるワークショップであったと考えている. 文章の評価・品質推定は 計算機による言語生成と切り離せないものであるだけでなく, 人間も含めた言語の運用に関わ る非常に重要な問題である. 今回話題の中心となった適切な外的評価を行えることを大きな目標と捉え, その基盤となる内的評価も含めて今後も研究・議論を続けていければと考えている.

## 謝 辞

本ワークショップの開催にあたりご協力いただいた招待講演者, 発表者, ディスカッション リーダー, そして参加者の皆様に感謝したい。また本寄稿の機会をくださった編集委員会の皆様にも感謝する。本ワークショップの開催については一部 JST さきがけ (JPMJPR1856) の支援を受けた。

## 略歴

須藤 克仁 : 2000 年京都大学工学部卒業, 2002 年京都大学大学院情報学研究科修士課程修了, 同年 NTT 入社. 2015 年京都大学博士 (情報学)。2017 年より 奈良先端科学技術大学院大学准教授, 現在に至る. 機械翻訳を中心とした自然言語処理, 音声言語処理の研究に従事. 2018 年より科学技術振興機構さき がけ研究者, 理化学研究所革新知能統合研究センター客員研究員を兼務. 言語処理学会, 情報処理学会, 日本音響学会, 人工知能学会, ACL 各会員.

小町 守：2005 年東京大学教養学部基礎科学科科学史・科学哲学分科卒. 2008 年より日本学術振興会特別研究員 (DC2) を経て, 2010 年奈良先端科学技術大

学院大学情報科学研究科修了. 博士 (工学). 同年より同研究科助教を経て, 2013 年より首都大学東京 (現東京都立大学) システムデザイン学部准教授.大規模なコーパスを用いた意味解析および統計的自然言語処理に関心がある.情報処理学会, 人工知能学会, 言語処理学会, ACL 各会員.

梶原 智之：愛媛大学大学院理工学研究科助教. 2013 年長岡技術科学大学工学部電気電子情報工学課程卒業. 2015 年同大学大学院工学研究科修士課程修了. 2018 年首都大学東京大学院システムデザイン研究科博士後期課程修了. 博士 (工学)。大阪大学データビリティフロンティア機構の特任助教を経て, 2021 年より現職. 情報処理学会, 人工知能学会, 言語処理学会, ACL 各会員.


# 学会記事
## 言語処理学会第 27 回年次大会ワークショップ 「若手研究者交流のニューノーマルを考える」開催報告井之上直也 ${ ^{\dagger+\dagger}$}

## まえがき

本稿では, 2021 年 3 月にオンライン開催された標記のワークショップについて, オーガナイ ザの一人である著者が，企画の動機と内容，当日の様子を振り返ります。また，そこから得ら れた学びを著者の独断と偏見でまとめます。本稿が，研究メ夕知識の共有について考えるきっ かけになることを祈っております.

## 1 企画の動機

研究を円滑に進めるためには，少なくとも二種類の知識が重要だと著者は考えている。一つ 目は，研究領域における重要課題や，それに対する技術的な解決策といった知識である。二つ 目は, 研究をどのようにデザインし, どのように進めるか, 実験のファイル管理をどうするか,勉強会, 学会, 日々の研究室をどのように設計するかといった知識で, いわば研究の Tipsのよ うなものである。便宜的に，本稿では前者を研究領域に関する知識，後者を研究メ夕知識と呼 ぶことにする。

一般的に, 研究領域に関する知識は研究発表（主に論文）において明文化されるものであり,学会発表等を通して定期的に研究コミュニティ全体で共有され, 自然に広がっていく基盤がで きていると思われる。しかしながら，研究メ夕知識についてはどうだ万うか. 研究の進め方に 関して, 個人単位, 研究室単位, 組織単位で様々な工夫がなされているが, こうした情報は学会の懇親会などで特定のコミュニティの中では共有・洗練されてはいるものの, 研究コミュニ ティ全体で定期的に共有される機会は相対的に少ないのではないかというのが著者の認識であ る.しかし, 研究コミュニテイ全体を強くすることを考えた場合, こうした研究メ夕知識を共有し合いさらにそれを洗練させる場—いわば, 「研究の進め方」を研究する場が, 学会のプログ ラムの一部として存在しても良いのではないたろうか.

こうした状況を打開するために, 学会ワークショップや交流企画が不定期ではあるが過去に

実施されてきた. 例えば, 研究指導や研究室運営に関わる工夫 (言語処理学会第 22 回年次大会 2016), 勉強会・学会運営の工夫 (言語処理学会第 24 回年次大会 2018a) に関するワークショッ プが実施されている．また，企業，研究機関，大学といった様々な立場からみた言語処理研究観の意見交換 (言語処理学会第 17 回年次大会 2011), それぞれの立場の特徴を共有するキャリ アプラン系企画 (言語処理学会第 24 回年次大会 2018b; 若手の会第 14 回シンポジウム 2019) が 実施されている，その結果，勉強会・研究会等を通じた所属横断的な交流が増え，こうした交流の中で普段明文化されにくい研究メ夕知識が共有される機会が増えたように思われる.

本ワークショップは，基本的にはこうした流れを汲んで，研究メ夕知識に関する情報交換の 機会を提供することを目的として企画した．特に今回は，2020 年 3 月の新型コロナウイルス COVID-19 の流行により研究室活動, 勉強会, 学会などによるコミュニケーションの形が大幅 に変わってしまったことを受け, オンラインによる学会・勉強会運営から得た知見を共有し, 今後の運営に活かすための施策についても議論することを目指した。また，以下で述べるように 話題提供者と想定聴衆，トピックを絞ることにより，なるべく聴衆に“刺さる”ワークショップ を目指した。

## 2 ワークショップの構成と当日の様子

下記のような 3 セッションからなる 1 日開催のワークショップを構成した.

（1）コロナ禍における学会・勉強会運営：コロナ禍にあった 2020-2021 年, 勉強会や学会が 急遽オンライン開催に移行してしまったことを受け，オンライン開催による影響を議論 した。人脈形成や交流にどのような影響があったか，逆に，オンライン開催になったこ とによる利点はあったかなどの話題で議論した。オンライン学会・勉強会の運営経験を 持つ 4 名に講演いただき, 今後の勉強会・学会運営に活かせる知見を共有するためのパ ネルディスカッションを行った.

(2) 企業における研究・開発から，学生が研究をする利点についてと研究生活について：主 に学部・修士の学生向けに，大学での研究経験がいかに企業における研究・開発に活き てくるか, 企業の研究・開発で幸せになるために何を意識して学生生活を送るとよいか, などをテーマとして，7 名の企業研究者経験者に講演いただた.

(3) 研究テーマの設計や持続可能な研究生活について：主に若手研究者, すなわち博士課程 の学生, 助教, ポスドク向けに, 研究テーマの見つけ方, それを諦めることなく続ける ための方法といったテーマで，3名の研究者に講演いただいた.

なお，新型コロナウイルス COVID-19 の影響を受け，年次大会本体がオンライン・オフラ インのハイブリッド開催であったため, 本ワークショップは Zoom によるオンライン開催とい う形式をとった。また，講演中にも質問・コメントを受け付けるために，年次大会の Slackに

もワークショップの専用チャンネルを用意していただいた。 より詳細なプログラムについては https://sites.google.com/view/nlp2021ws を参照されたい.

当日の様子について, どの講演も，講演者の貴重な経験と教訓を交えた非常に示唆に富むも のであり，鳥肌モノであった．著者自身，つい座長の仕事を忘れて聞き惚れてしまった場面も あった，参加者については，正確な記録が残っていないので著者の記憶べースになってしまう が，会議への最大参加者数は約 200 名に達しており, シニアから若手まで, 企業からアカデミ ア，学生といった幅広い立場の自然言語処理研究者が参加していた．Slackチャンネルには，講演中にも「いい話」「参考になった」などのメッセージが絶え間なく流れており，参加者同士が 研究メ夕知識について意見交換するような場面も見られた. オーガナイザの一人として，こう した素晴らしい研究メ夕知識を 200 人もの研究者と共有・議論することができ, 感無量である.

## 3 教訓

各セッションについて, 著者なりに読み取った講演の重要ポイントと雑感をまとめてみたい. とはいえ, やはりこうして文字に起こしてみると, 当日の興奮が全く伝わらないし, 抽象的で, まるで説得力のない自己啓発書を執筆している気分になる．やはりこうした話は，実際の体験者が体験談を持って話すところを，その人の人柄を肌で感じながらリアルタイムに聞くのが一番よいと思う。一部の講演者の皆様は発表資料をオンラインで公開されており, そこには経験談を交えた具体的なお話が満載である。本節はあくまで（著者のバイアスがかかった）エグゼ クティブサマリーと考えていただき，これを読んで本ワークショップに興味を持たれた読者の 皆様は，「若手研究者交流のニューノーマルを考える」というキーワードでウェブ検索してみて， ぜひ当日の雾囲気も少しだけ感じ取っていただきたい.

## 3.1 コロナ禍における学会・勉強会運営

著者が一番クリティカルに感じた知見は，オンライン開催では新たな知り合いを作るのが難 しいという点である。オフラインでは，偶然の出会いから新たな知り合いが増えていくことが 多々ある，例えば，会場を一緒に歩いていた同僚が知人の研究者と遭遇し，皆で一緒に話をし ているうちに自分の知り合いにもなるといったパタンがある。また，懇親会では，たまたま隣 に居合わせた知らない人と話し, 意気投合することもある。こうした状況を打破するために,仮想空間指向のオンラインツールである cluster や gather.town を用いるなど，最近のオンライ ン学会・懇親会は進化してきているが，やはりオンラインではなかなかこうした状況になりに くいと思う.

逆に, オンライン開催の良い点として, 非同期的に勉強会に参加できる仕組みの構築, 例えば Slack によるチャットコミュニケーションや後から閲覧可能な発表資料・プレゼン動画のアップ

ロードなどは，オンラインに関わらず続けたい，大変有益な知見だと思った．著者も，論文の 内容を手っ取り早く把握するために発表資料をかなり活用させていたたいている.

今後について，個人的には，オフラインを主軸としつつ，オンライン開催のメリット（チャッ ト，発表資料のアップロードなど）をうまく取り入れた形式がニューノーマルになるとよいの ではないかと感じた。

## 3.2 企業における研究・開発から, 学生が研究をする利点についてと研究生活 について

どの講演にも共通する重要なポイントは, 二点だったように思う。一点目は, 何かをやり遂げ るためには，失敗してもよいからとにかく挑戦してみる，ということである．講演者の方々も，「今」を見ると偉業を成し遂げたスーパーヒューマンに見えるが，成功の数の倍以上もの試行錯誤があっての偉業なのだということを改めて痛感した。試行錯誤はしばしば「失敗」と呼ばれ ることもあるが，著者はこの呼び名はあまり好きではない．むしろ，「この方向ではうまくいか ないことがわかった」という立派な知見という見方が好きだ。なるべく多くの知見が得られる 方向に試行を重ねるために適度に考え，どんどん行動に移していくことが重要なのだと思う.

二点目は, 研究から得られるスキルは一生モノのスキルになるから安心して研究に打ち込も う, ということである. 研究活動を通して, 問題発見・問題解決力, 批判的思考力, プレゼン 能力といった様々な能力が鍛えられる.こうした能力は研究でのみならず, 企業でも（研究職 でなくても), 日常生活の中でさえも活かせるものである. 自分が成長すること一こうした能力 を鍛えることを目標とし, 研究はその恰好の材料と考え, どんどん能力を磨いていきたい. こ うした目標は,「成功すること」を目標とするよりも精神衛生上良いし, それで全く問題ないと 著者は思う，成長できた暁には，どこでも楽しくやっていける人材になっているはずだ.

## 3.3 研究テーマの設計や持続可能な研究生活について

本セッションの講演の一番のメッセージは, 自分が面白いと思えることを研究にしようとい うことであったと思う．こうすることで，自然と研究活動が楽しいものとなり, 研究活動がう まくいかないときでも，好きなことなら諦めずに続けられる，というわけである．また，研究の 途中で道に迷わないようにするために，常に研究の大目標・野望を失わないようにすることも 重要だというお話もいただいた．何をしたら良いか分からなくなったら，「究極的には何をした かったのか」を思い出し，そこに近づくための一歩を考える．目標が指針を与えてくれるのだ．

研究活動の中で，思い通りにいかないことがあったらどうするかということについて，客観的に自分を見つめ直して次につなげよう，ということも重要なメッセージであった．客観的に 自分を見つめ直すためには，人と話をする，自分も他人も環境も責めない，状況を冷静に分析 する，といったことが有効ということた．講演者の谷中瞳氏は，「自分を制するものは研究を
制す」という言葉を使って，これをうまく表現している．著者も全く同感である．今の状況を どう感じるか，どう変えるかについて決めているのは自分自身である．例えば，精度が上がる と思っていた手法の実験結果が出て, 精度が期待通り上がらなかったとしよう。この状況を失敗と見て落ち込む三日間を過ごすか，新たな知見が得られたとポジティブに考え次の一手を練 る三日間を過ごすか. それを決めるのは自分である.

## 4 おわりに

研究メ夕知識のような話は抽象的であり，常に意識していないと容易に忘れてしまうもので ある。最適な頻度は分からないが, 定期的にこうした研究メ夕知識を共有できる機会を持ち,皆で研究メ夕知識を再認識・洗練させ，蓄積していければよいと思う。メ夕な知識であるとい う性質上, 当然その内容は飽和してくるので，定期的に共有する意味はどれほどあるのかとい う疑問もあるかもしれない. 実際に, こうした研究メ夕知識をまとめた書籍はいくつか出版さ れており，そこから読み取れる知見は概ね同じだと思う。しかし，知見という抽象的なものに 対して, 講演者の方々の独自の視点や経験談が加わることによって, 新たな発見が生まれ, 自分と結びつき，磨かれていくものでもあると思う，今後も，こうした研究メ夕知識の共有・発展の場を作っていきたい.

## 謝 辞

本ワークショップの円滑な運営にご尽力くださったオーガナイザの高瀬翔氏, 西川仁氏, 荒瀬由紀氏に深く感謝いたします。特に，発起人である高瀬翔氏には，このような素晴らしいワー クショップをオーガナイズする機会をいただき，敬意を表し，深く感謝いたします．また，ワー クショップにて講演をいただいた 13 名の講演者の皆様，およびワークショップへの参加者の皆様にも改めて感謝申し上げます。本ワークショップの開催の場を提供してくださった年次大会実行委員・プログラム委員の皆様にもお礼を申し上げます.

## 参考文献

言語処理学会第 17 回年次大会. ワークショップ「自然言語処理における企業と大学と学生の関係」.

https://nlp.cs.nyu.edu/gengo2011ws/. [The 17th Annual Meeting of the Association for

Natural Language Processing. Workshop "Shizen Gengo Syori niokeru Kigyo to Daigaku to

Gakusei no Kankei".].

言語処理学会第 22 回年次大会. ワークショップ「論文に書かない（書けない）自然言語処
理」.https://sites.google.com/site/nlp2016ws/. [The 22nd Annual Meeting of the Association for Natural Language Processing. Workshop "Ronbun ni Kakenai (Kakanai) Shizen Gengo Syori".].

言語処理学会第 24 回年次大会. ワークショップ「言語処理研究者・技術者の育成と未来への

連携」.https://sites.google.com/view/nlp2018-ws-grow-together/. [The 24th Annual Meeting of the Association for Natural Language Processing. Workshop "Gengo Syori Kenkyusya-Gijutsusya no Ikusei to Mirai eno Renkei".].

言語処理学会第 24 回年次大会. 若手チュートリアル企画「学生向けキャリアビジョン講座」.

https://www.anlp.jp/nlp2018/\#junior_tutorial. [The 24th Annual Meeting of the Association for Natural Language Processing. Workshop "Gakusei muke Kyaria Bijon Koza".].若手の会第 14 回シンポジウム。交流企画「NLP 若手の悩めるキャリア」.

https://yans.anlp.jp/entry/yans2019. [Young Researcher Association for NLP

Studies. The 14th Symposium. Koryu Kikaku "NLP Wakate no Nayameru Kyaria".].

## 略歴

井之上直也：2008 年武蔵大学経済学部経済学科卒業. 2010 年奈良先端科学技術大学院大学情報科学研究科博士前期課程修了. 2013 年東北大学大学院情報科学研究科博士後期課程修了. 株式会社デンソー基礎研究所研究員, 東北大学大学院情報科学研究科助教, 理化学研究所客員研究員を経験後, 2020 年 4 月 より個人事業主 Modus Ponens Research として独立. 2020 年 9 月より Stony Brook University Postdoctoral Associate, 2020 年 12 月より理化学研究所客員研究員に着任, 現在に至る. 博士 (情報科学). 自然言語処理の研究に従事.言語処理学会, 情報処理学会, 人工知能学会, ACL 各会員.