# 文法誤り訂正モデルの横断評価

文法誤り訂正の既存研究の多くはこれまで主に CoNLL-2014 評価データセットを用 いた単一コーパス上で文法誤り訂正モデルを評価してきた。しかし，書き手の習熟度 やエッセイのトピックなど様々なバリエーションのある入力文が想定される文法誤 り訂正タスクにおいて, タスクの難易度は各条件下によって異なるため, 単一コーパ スによる評価では不十分であると考えられる。 そこで本研究では, 文法誤り訂正の 評価の方法論として, 単一コーパス評価は不十分であるという仮説に基づきコーパ ス横断評価の必要性について調査を行う。具体的には， 4 種類の手法 (LSTM, CNN, Transformer, SMT) を 6 種類のコーパス (CoNLL-2014, CoNLL-2013, FCE, JFLEG, KJ, BEA-2019) で評価し, 各コーパス間でモデル順位にばらつきが生じるかについ て検証を行った．評価実験の結果，モデル順位は各コーパスによって大きく変動し たため, 既存の単一コーパス評価では不十分であることがわかった。 また, 横断評価はメ夕評価方法としてだけではなく, 実応用を見据えた場合においても有用であ ると考えられる。 そこで, 横断評価の有用性のケーススタディとして, 文法誤り訂正の入力に想定される代表的な条件の一つである，書き手の習熟度を評価セグメン トとした場合の横断評価について調査を行った. その結果, 書き手の習熟度が初中級レベルと上級レベル間ではモデルの性能評価に関して大きな乘離があることがわ かった。

キーワード：文法誤り訂正，評価尺度，学習支援，深層学習
## Cross-Sectional Evaluation of Grammatical Error Correction Models

\author{
Masato Mita $^{\dagger, \dagger \dagger}$, Tomoya Mizumoto ${ }^{\dagger \dagger, \dagger}$, Masahiro Kaneko ${ }^{\dagger \dagger \dagger, \dagger}$, \\ Ryo Nagata ${ }^{\dagger \dagger \dagger \dagger \dagger, \dagger}$ and Kentaro Inui ${ }^{\dagger \dagger, \dagger}$
}

Grammatical error correction (GEC) systems have been typically evaluated on the single corpus: the CoNLL-2014 benchmark. However, evaluation remains incomplete because the task difficulty should vary depending on test corpus properties including
^{1}$ や Ginger ${ }^{2}$ など文法誤り訂正技術の実サービスでは，特定の条件ではなく任意の条件を入力として想定する場合が多い．仮に，難易度に依存して異なるコー パス間でモデルの評価にばらつきが生じた場合，単一コーパスによる評価ではある特定の条件でのみ成立する限定的な議論しか行うことができないため，評価の方法論として不十分である.
^{1}$ https://www.grammarly.com/

2 http://www.getginger.jp/
}

そこで本研究では, 文法誤り訂正の評価の方法論として, 既存の単一コーパスによる評価は不十分であるという仮説に基づき，コーパス横断評価の必要性について調査する。ここでコーパス横断評価とは, 単一の評価尺度と複数のコーパスを用いて, モデルを多角的に評価することと本研究では定義する。上記仮説を検証するにあたり， 4 種類の手法 (LSTM, CNN, Transformer， SMT)を 6 種類のコーパス (CoNLL-2014, CoNLL-2013, FCE, JFLEG, KJ, BEA-2019)を用いて評価実験を行った結果，コーパス毎にモデル順位が大幅に変動した。そのため，タスクの性質上, 文法誤り訂正モデルは複数のコーパスを用いて横断的に評価を行うことが重要である. また，横断評価は実応用を見据えた場合においても有用であると考えられる。そこで，横断評価の有用性を検証するために，文法誤り訂正の入力に想定される代表的な条件の一つである書き手の習熟度を評価セグメントとした場合の横断評価を行った。その結果，書き手の習熟度が初中級レベルと上級レベル間ではモデルの性能評価に関して大きな乘離があることがわかった.本研究の貢献は次の 3 点である.

・ 初めて文法誤り訂正モデルのコーパス横断評価の必要性について調査した.
- 既存の単一コーパス評価では文法誤り訂正モデルの評価として信頼性に欠ける可能性があることを示した.

・書き手の習熟度が初中級レベルと上級レベル間ではモデルの性能評価に関して大きな乘離があることを示した。

## 2 関連研究

表 1 に，既存研究が使用した評価データセットおよび評価尺度の概要を示す. 1 節でも述べた通り，既存手法の多くは単一コーパスのみを用いて評価を行っている (Susanto et al. 2014; Felice and Briscoe 2015; Junczys-Dowmunt and Grundkiewicz 2016; Ji et al. 2017). 最近では, 文法誤り訂正モデルの文法性および流暢性を評価するために提案された JFLEGデータセット（以下， JFLEG） (Napoles et al. 2017) や BEA-2019 Shared Task で提供された BEA-2019データセット (以下，BEA-2019)33の登場により，CoNLL-2014に加えて，JFLEG や BEA-2019を評価デー夕セットとして併用する研究も増えてきている (Junczys-Dowmunt et al. 2018; Grundkiewicz and Junczys-Dowmunt 2018; Lichtarge et al. 2019; Zhao et al. 2019; Kiyono et al. 2019; Kaneko et al. 2020).しかし, 表 1 から, それらの多くは評価デー夕毎に異なる評価尺度を独立的に用いて評価を行っているため, コーパス横断的にモデルの評価は行えていないことがわかる。具体的には, CoNLL-2014では $\mathrm{M}^{2}$ (Dahlmeier and $\mathrm{Ng} 2012$ )を用いて算出した $\mathrm{F}_{0.5}$ で評価を行い, JFLEG では GLEU (Napoles et al. 2015, 2016a) を用いて評価を行う傾向にある (Junczys-Dowmunt et al.

表 1 既存研究が使用した評価データセットおよび評価尺度. ER. は ERRANT を示している.

2018; Kiyono et al. 2019; Kaneko et al. 2020). 限定的ではあるが横断評価を行っている数少ない既存研究として, (Yannakoudakis et al. 2017) が存在する. しかし, そこでは横断評価の必要性および評価の方法論に関する議論はされていないため，その後から現在に至るまで未だに単一評価が主流の傾向にある。コーパス横断評価の目的は，入力の条件を変えた場合における各モデルの挙動を評価することであるが，評価セット毎に独立した評価尺度を用いると，モデルの挙動差が入力に起因するものか，評価尺度に起因するものかの判別が困難になる。このように，文法誤り訂正の研究コミュニティ全体として，利用可能なデータが増えるにしたがって複数のコーパスを使ってモデルの性能評価を行う試みは増えてはいるが，その一方で，実質的には単一的な評価に留まっている傾向にある。また，入力に様々なバリエーションのある文を想定するタスクの性質自体がモデルの性能評価にどのくらい影響を与えるかについても明らかにされていない.

他分野をみると, 例えば構文解析分野では以前は Penn Treebank (Marcus et al. 1993) 上における解析精度を向上させることに重点を置いていた. その後, Penn Treebankに加えて, Ontonotes (Hovy et al. 2009) や Google Web Treebank (Petrov and McDonald 2012)を含む複数のコーパスを用いて評価を行うようになり，評価手法の頑健性が大幅に改善されている，我々は文法誤り訂正分野においても構文解析分野と同様の状況が起きていると考える。すなわち, 現在の文法誤り訂正の評価は CoNLL-2014に依存しているため，他のコーパスを用いて横断的な評価を行うことで，評価手法の信頼性が向上することが期待される.

## 3 調査方針

本研究の目的は, 文法誤り訂正の評価の方法論として, 単一コーパス評価は不十分であるという仮説に基づき，コーパス横断評価の必要性について調查することである。調查方針として,各コーパス間でモデルの性能順位にばらつきが起こるかを検証する。なぜなら，各コーパスによってモデル順位が大きく変動した場合, 単一コーパス上での評価はある特定の条件下でのみ成立することとなり, 多様なバリエーションのある文が入力に想定されるタスクの性質上, 評価の方法論として不十分であるからである。ここで，理想的には入力に想定されるあらゆる条件を網羅することが好ましいが，リソースの制限があるため全ての条件を網羅するのは困難である。 そこで本研究では, 可能な限り多くのコーパスを用意することで，代表的な条件である 「書き手の習熟度」「エエッセイトピック」，「書き手の母語」について多様性の担保を図る。

## 3.1 評価用コーパス

コーパス横断評価の必要性を検証するにあたり，本研究では既存研究の多くで使用されている CoNLL-2014 に加えて, CoNLL-2013, FCE, JFLEG, KJ, BEA-2019の合計 6 つのコーパスを用いる，以下に，評価実験に用いた各評価用コーパスの詳細を説明する。

CoNLL-2014 (Ng et al. 2014): CoNLL-2014 Shared Taskの公式データセットであり, 既存研究で最も一般的に使用されている評価用データセットである. シンガポール国立大学の学生が書いたエッセイを基に作られている。シンガポールは英語が公用語のため，書き手の習熟度は比較的高いとされている，なお，シンガポールは多民族国家であるため，母語は一概に定義できない. また，エッセイのトピック数は 2 つのみである.

CoNLL-2013 (Ng et al. 2013): CoNLL-2013 Shared Taskの公式データセットである. CoNLL2014 と同様に書き手の習熟度は比較的高い. また, エッセイトピック数は 2 つのみである.

Cambridge ESOL First Certificate in English (FCE) (Yannakoudakis et al. 2011): ケンブリッジ英検の試験答案を基に作られた学習者コーパスである。様々な国籍の英語学習者が書いたエッセイであるため，学習者の習熟度や母語は多様性がある。また，ケンブリッジ英検の FCE 試験は中級から上級レベルと比較的幅広い受験者を対象としていることから，書き手の習熟度も中・上級レベルであると考えられる。なお，エッセイのトピック数は 10 である。

JHU FLuency-Extended GUG corpus (JFLEG) (Napoles et al. 2017): 様々な国籍の非母語話者が書いた英語答案を基に作られた学習者コーパスである。書き手の習熟度，母語，エッセイトピックともに多様性を担保するよう設計されている，また，文法的になるだけでなく流暢な文になるように訂正されていることも本コーパスの特徴の一つである。 そのため, 最近の研究では，モデルがどれだけ流暢性のある訂正ができているかを評価するためのべンチマークデータセットとして使用されることが多い.

Konan-JIEM learner corpus (KJ) (Nagata et al. 2011): 甲南大学と教育測定研究所 (JIEM) が共同で収集，アノテーションを行ったコーパスであり，日本人英語学習者の 233 エッセイから成る。書き手の習熟度に関しては，公開情報がないため定義することは難しい．エッセイのトピック数は 10 である。なお，他のコーパスと異なり，綴り誤りの情報と文法誤りの情報が別でアノテーションされていることも特徴の一つである.

BEA-2019 Shared Task Official Development Set (BEA-2019): BEA-2019 Shared Task で公式に提供されたデータセットである。訓練・開発・評価用のデータセットが提供されており ${ }^{4}$, 開発・評価用データセットは W\&I+LOCNESS (Yannakoudakis et al. 2018; Granger 1998) のサブセットが使用されている．W\&I+LOCNESSコーパスには，メ夕情報として，言語能力を評価する国際指標である CEFR に対応する書き手の習熟度の情報が付与されているのが特徴の一つである。なお，BEA-2019 Shared Taskでは CodaLab5 上にて評価が行われていたため,公式評価用データセットの参照訂正文は公開されていない。そのため, 本評価実験では公式開発用データセットを評価データセットとして使用する.

各評価用コーパスの特徴を整理したものを表 2 に示す.

なお，単語編集率は以下の式により算出した.

$
\text { 単語編集率 }=\frac{\sum_{i=1}^{N} d\left(\boldsymbol{X}_{i}, \boldsymbol{Y}_{i}\right)}{\sum_{i=1}^{N} \boldsymbol{T}_{i}}
$

ここで, $\boldsymbol{T}_{i}$ は各入力文における総単語数, $d\left(\boldsymbol{X}_{i}, \boldsymbol{Y}_{i}\right)$ は入力文 $\boldsymbol{X}_{i}$ と出力文 $\boldsymbol{Y}_{i}$ 間の単語に基づくレーベンシュタイン距離をそれぞれ示している。各コーパスを概観すると， (1) 現在主流である CoNLL-2014 は他のコーパスと比較して書き手の習熟度・母語・トピックに偏りがあること, (2) 一方, 本評価実験で選定した 6 つのコーパスを用いることで習熟度・母語・トピックの 3 つの条件において一定の多様性を確保できていることがわかる.

なお，綴り誤りは厳密には文法誤りには含まないが,

表 2 各評価コーパスの概要. 公開情報がなく判断が難しいものは N/A としている.
^{4}$ https://www.cl.cam.ac.uk/research/nl/bea2019st/

5 https://competitions.codalab.org/competitions/20228
}

・ 既存データセットの多くはそれらを区別せずにまとめてアノテーションしている

・ また，そのようなデータを用いて訓練した機械翻訳モデルに基づく手法も，それらを区別して訂正できない

という理由から，本評価実験においても従来の慣習に従い綴り誤りを含めて評価を行う。そのため，綴り誤りと文法誤りが別でアノテーションされているKJに関しては，統合処理したものを評価実験に使用する.

## 3.2 訓練用コーパス

NAIST Lang-8 Learner Corpora (Lang-8) (Mizumoto et al. 2011; Tajiri et al. 2012): 奈良先端科学技術大学院大学の研究チームが開発した, 語学学習のための SNS Lang-8 の添削ログからクローリングして作られたデータである。データサイズはおよそ 200 万文対で，一般利用可能な文法誤り訂正用のデータとしては最大規模のものである. 書き手である学習者の母語としては日本語が多いが，他の言語を母語とする学習者の英文も数多く含まれている.

NUS Corpus of Learner English (NUCLE) (Dahlmeier et al. 2013): シンガポール国立大学の研究チームが開発したデータセットであり, シンガポール国立大学の学生が書いたエッセイを基に作られている。データサイズはおよそ 6 万文対で，Lang-8 には劣るが，専門家によってアノテーションされているため, 訂正の品質はよいとされている. エラータグも人手で付与されており，CoNLL-2013，CoNLL-2014の両 Shared Taskの公式訓練データセットとして採用された。

各訓練用コーパスの特徴を整理したものを表 3 に示す. NUCLE は， CoNLL-2014 および CoNLL-2013 と書き手の属性が同じことから, 習熟度および母語の観点で非常にドメインが似ているといえる。また，Lang-8 は日本語を母語とする学習者の書いた英文を多く含んでいるため，書き手の母語という観点で KJとドメインが似ているといえる。

## 3.3 訂正モデル

文法誤り訂正モデルの選定については, (1) 現在主流であり，かつ複数の誤りを訂正可能な機械翻訳モデルに基づくモデルであること，(2) CoNLL-2014 上において各モデルの性能は同程度であること，の2つの要件を設けた，1つ目の要件に関しては，本研究は，現在の文法性誤り訂

表 3 各訓練用コーパスの概要. 公開情報がなく判断が難しいものは N/A としている.
正の評価の方法論に対する問題提起を行うことを目的としているため，古典的なモデルではなく, 現在主流，かつ一般的な設定のモデルを用意することが望ましいからである。2つ目の要件に関しては，コーパス横断評価の必要性に関する着想として，入力に様々なバリェーションのある文を想定するタスクの性質がモデルの評価に対して無視できない影響を与えるのではないか，という考えがあるからである．基準となる現在主流の CoNLL-2014 上において各モデルの性能差に大差がある場合，実験結果に対する解釈を行う上でタスクの性質に起因した影響なのかどうかの判断が困難になるため，2つ目の要件を設けた。

以下に，評価実験に用いた各モデルの詳細について説明する。

LSTM： エンコーダは双方向 LSTM で構成され，デコーダと注意機構は (Luong et al. 2015) の seq2seq モデルに準拠している。なお，単語埋め込みの事前学習には English Wikipediaを用いており，ハイパーパラメータは (Chollampatt and $\mathrm{Ng}$ 2018) と同じものを使用した.

CNN: (Chollampatt and Ng 2018)の実装6を用いた。なお，単語埋め込みの事前学習には English Wikipediaを用いており，ハイパーパラメータは (Chollampatt and Ng 2018)と同じものを使用した。

Transformer: Transformer は (Vaswani et al. 2017) によって提案された自己注意型モデルである。本研究では, seq2seq モデルのツール fairseqの実装7を用いた。なお，単語埋め达みの事前学習には English Wikipediaを用いており，ハイパーパラメータは(Vaswani et al. 2017) と同じものを使用した。

SMT: (Junczys-Dowmunt and Grundkiewicz 2016) によって提案されたモデルを採用した。 モデル訓練時に評価尺度である $\mathrm{F}_{0.5}$ が高くなるようにパラメータのチューニングを行うことで大幅な性能向上が報告されている (Junczys-Dowmunt and Grundkiewicz 2016). 具体的には，(Junczys-Dowmunt and Grundkiewicz 2016)の実装8を用いた。なお， (Junczys-Dowmunt and Grundkiewicz 2016)は, 言語モデルの訓練に Common Crawl (Buck et al. 2014) と English Wikipediaを用いていたが，本評価実験では NMT に基づく各モデルと使用するデー夕の設定を可能な限り等しくするため，言語モデルの訓練に English Wikipediaのみを，翻訳モデルの訓練に NUCLE および Lang-8を使用した.

各モデル共通の実験設定は次の通りである。訓練データとして，Lang-8 およびNUCLE の 2 つのパブリックなデータセットを統合したものを用いた。訓練データセットの前処理および分割は (Chollampatt and Ng 2018) に従い, 最終的に開発データセットとして NUCLEのサブセット 5,448 文対, 訓練データとして NUCLE の残り 15,974 文対および Lang-8 1,283,529 文対の合計 $1,299,503$ 文対を使用した。

## 3.4 評価尺度

評価尺度には，これまで文法誤り訂正タスクで最もよく利用されている $\mathrm{M}^{2}$ および GLEU を用いる。

$\mathbf{M}^{2}$ (Dahlmeier and Ng 2012): $\mathrm{M}^{2}$ によって算出された $\mathrm{F}_{0.5}$ 值が CoNLL-2013, 2014 Shared Taskの公式採用されて以降, 文法誤り訂正タスクの評価尺度として最も一般的に用いられている (表 1 参照)。 $\mathrm{M}^{2}$ が登場する以前の文法誤り訂正の評価では, 訂正モデルが行った編集操作がどのくらい参照訂正文の編集と一致しているかを $\mathrm{F}$ 值で評価していた (Dale and Kilgarriff 2011; Dale et al. 2012). しかし, 長いフレーズの編集が必要な場合などに訂正モデルを過小評価してしまうという問題があった． $\mathrm{M}^{2}$ は “edit lattice”を用いることにより，モデルが行った編集操作を正解と最大一致するように同定することでこの問題を解決する.

ここで, $\mathrm{M}^{2}$ を計算するツールとして, $\mathrm{M}^{2}$ Scorer (Dahlmeier and Ng 2012)9 と ERRANT (Bryant et al. 2017; Felice et al. 2016) ${ }^{10}$ の 2 つが存在する. $\mathrm{M}^{2}$ Scorer では, 誤りタイプ別の評価においては recall しか算出できず，エラー分析が難しいという問題があった。一方で，ERRANTでは入力文とモデル出力のパラレルデータから，モデル出力に対して誤りのタイプを約 $96 \%$ という高い精度で自動付与することでこの問題を解決する。これにより, 誤りタイプ別の訂正性能を評価することができ, モデルがどの誤りタイプに強い・弱いかについてエラー分析可能となる. また，どこからどこまで1つの編集と見なすかという“edit extraction”の方法が $\mathrm{M}^{2}$ Scorer と ERRANT とでは異なるため, 算出される $\mathrm{F}_{0.5}$ 值も異なる，本研究では，評価ツールの違いが横断評価にどのように影響するかについて分析するために， $\mathrm{M}^{2}$ Scorer を用いて算出した $\mathrm{F}_{0.5}$值（以降， $\mathrm{M}^{2}$ と表記する）と ERRANT を用いて算出した $\mathrm{F}_{0.5}$ 値（以降，ERRANT と表記する）の両方を用いる.

GLEU (Napoles et al. 2015, 2016a): 機械翻訳タスクで最も一般的な評価尺度である BLEU (Papineni et al. 2002)を文法誤り訂正用に改良した評価尺度である.

GLEU は， モデル出力文 $(H)$ と参照訂正文 $(R)$ で一致する n-gram 数から, 入力文 $(S)$ に現れるが参照文に現れない n-gram 数を減算することによって計算される。形式的には次式で表される。

$
\begin{array}{r}
\mathrm{GLEU}+=\mathrm{BP} \cdot \exp \left(\sum_{n=1}^{4} \frac{1}{n} \log \left(p_{n} \prime\right)\right) \\
p_{n}^{\prime}=\frac{N(H, R)-[N(H, S)-N(H, S, R)]}{N(H)}
\end{array}
$

ただし， $N(A, B, C, \ldots)$ は集合間での n-gram 重なり数を表し，BP は BLEUと同様の brave
^{9}$ https://github.com/nusnlp/m2scorer

10 https://github.com/chrisjbryant/errant
}
penalty ${ }^{11}$ 表す。 $\mathrm{M}^{2}$ を含む，これまでに提案された文法誤り訂正の評価尺度の中では最も人手評価との相関が高いことが知られている (Napoles et al. 2016b).

実験結果として報告するのは 4 つのランダムシードを用いて訓練したモデル性能の平均値である

## 4 コーパス横断評価

図 1 に $\mathrm{M}^{2}$ を用いて算出した $\mathrm{F}_{0.5}$ に基づき順位付けされた各モデルの性能を示す.この図から，モデルの性能順位が各コーパスによって大きく変動していることが確認できる。これまで多くの研究が評価に用いていた CoNLL-2014では, Transformerが 48.62 ポイントと最も高い性能を出している。一方で, FCEやKJでは順位が全体的に大きく変動しており, Transformer は 3 位に転じている。順位が逆転した根本原因については, 書き手の習熟度や母語, エッセイトピックなど様々な要因が複合的に関係していると予想されるため一概に言えない. しかし本評価実験の結果から，CoNLL-2014 上の性能値に基づく議論は特定の条件下でしか成立しない可能性があり，CoNLL-2014での結果を不用意に一般化してしまうと誤った結論を導く危険性があることが示唆される. さらに, 図 1 から, モデルの性能はコーパスによって大きく異なることが確認できる. 例えば, Transformerの性能は, JFLEG では 60.06 ポイントであるのに対し, CoNLL-2013 では 36.20 ポイントと大きく下回っている. このように, コーパスによって性能は大きく変動するため，見た目の性能値の解釈には十分に注意する必要がある．実際のモデル出力を表 4 および表 5 に示す. Transformer を用いることで正しい訂正ができる場合（表 4）もあれば，逆に Transformer では正しい訂正に失敗し，LSTM や CNN を用いることで正しい訂正ができている場合（表 5）があることがわかる.

次に，図 2 に GLEU に基づき順位付けされた各モデルの性能を示す. GLEU に基づく評価においても $\mathrm{M}^{2}$ を用いたときと同様にコーパスによってモデル順位が変動することが確認できる.一方で， $\mathrm{M}^{2}$ を用いたときよりも Transformer が安定的に性能が高い傾向になっていることがわ

図 $1 M^{2}$ を用いて算出した $\mathrm{F}_{0.5}$ に基づき順位付けされたモデル性能.

表 4 CoNLL-2014におけるモデル出力例。括弧の中の数値は CoNLL-2014におけるモデル順位を示している。また, [DEL] は削除操作を示している.

表 $5 \mathrm{KJ}$ におけるモデル出力例。括弧の中の数値は $\mathrm{KJ}$ におけるモデル順位を示している．また，[DEL] は削除操作を示している。

図 2 GLEU に基づき順位付けされたモデル性能.

かる．GLEUは, 基本的に入力文・モデル出力・参照訂正文の 3 つにおける n-gram 一致率を基に計算されるが，入力文において変更すべき箇所が変更できていなかった n-gram に対してぺナルティを与えている (Napoles et al. 2016a). そのため, Recall が高いモデルを高く評価する傾向にあると解釈ができる.

最後に，図 3 に ERRANT を用いて算出した $\mathrm{F}_{0.5}$ に基づき順位付けされた各モデルの性能を示す. ERRANT に基づき順位付けされたモデル性能をみると，どのコーパスにおいてもLSTM が最も性能が高くなっていることが確認できる。同じ $F_{0.5}$ に基づいた評価にも関わらず，評

図 3 ERRANT による $\mathrm{F}_{0.5}$ に基づき順位付けされたモデル性能.

表 $6 \mathrm{M}^{2}$ Scorer と ERRANT の評価方法の違い. 表中の $\mathrm{TP} / \mathrm{FP} / \mathrm{FN}$ はそれぞれ, True positive/False positive/False negative を示している.

価尺度が異なるだけで傾向が大きく異なるのは着目に値する ${ }^{12}$.これらの傾向の違いは両評価尺度の計算方法の違いに起因すると考えられる。表 6 は CoNLL-2014におけるモデル出力に対する $\mathrm{M}^{2}$ および ERRANT で評価したときの実例である，ERRANT では，連続するスパンで訂正が発生した場合, 一単語区切りで評価を行っていることがわかる ([your $\rightarrow$ the], [chance $\rightarrow$ possibility]). 一方, $\mathrm{M}^{2}$ では, 連続するスパンで訂正が発生した場合, 一定のスパン区切りで評価を行っていることがわかる ([your chance $\rightarrow$ the possibility]). 以上のことから, ERRANT は $M^{2}$ と比較して FPが増えやすい傾向にあるといえる。実際，CoNLL-2014における Transformer を評洒した場合， $\mathrm{M}^{2}$ による評価では FP は合計 713 個カウントされていたが，ERRANT による評価では合計 900 個カウントされていることを確認した.

このように，全く同じデータセットおよびモデルを用いたにも関わらず，評価尺度によってモデルの性能順位の傾向が大幅に異なることがわかる。言い換えると，どういうモデルを得たいか，あるいは，モデルの何を評価したいかといった目的意識によって適切な評価尺度を設計することが重要であると言える。

## 5 分析

## 5.1 多様性が確保された単ーコーパス評価では十分か？

4 節の評価実験により, 既存の単一コーパス評価は不十分であることを示したが，多様性が確保されたコーパスを用いた場合においても同様のことがいえるか, という疑問が残る。表 2 に示す通り，FCE・JFLEG・BEA-2019は多様性が確保されたコーパスであるといえる。ここで，もし多様性が確保された単一コーパス評価で十分であれば，モデルの順位変動は起きないことが期待される。しかし，結果をみると，これらの多様性が確保されたコーパス間で，大幅に順位変動が起きていることがわかる（表 1）。このことは，多様性の確保されたコーパスの設計自体が困難であることを示唆している。

## 5.2 順位変動はなぜ起きたか？

分析 1. 誤りタイプ別性能評価 (CoNLL-2014)：図 4 に, ERRANT を用いて CoNNLL-2014 における主要な誤りタイプ別のモデル性能 $\mathrm{F}_{0.5}$ を示す ${ }^{13}$. コーパス横断評価の結果（図 1）では，CoNLL-2014 は他と比べて Transformer が最も高い性能を達成していた. しかし, 図 4 から，モデルによって誤りタイプ別性能が異なることが確認でき，モデル毎に訂正傾向が異なることがわかった.

分析 2. 誤りタイプ別性能評価（コーパス横断）：次に，CoNLL-2014だけでなく, 他の全てのコーパスにおける誤りタイプ別性能について分析する。表 7 は，各コーパスにおいて誤りタイプ別に最も性能が高かったモデルを示している。この表から，各コーパスによって誤りタイプ別性能にばらつきが起きていることがわかる. 図 4 に示した CoNLL-2014 上での分析では,例えば動詞の時制誤りに関しては Transformer が他と比べたときに群を抜いて性能が高かった.一方で，コーパス横断的にみてみると，JFLEG と KJではそれぞれLSTM，CNN のほうが性能が高いことが確認できる。これは，コーパス毎に書き手の習熟度や母語などの影響によって誤り傾向が異なるからだと考えられる.

4 節で述べた通り，コーパス毎にモデル順位が変動した根本原因については，書き手の習熟度や母語, エッセイトピックなど様々な要因が複合的に関係していると予想されるため一概に言えない. しかし，分析 1 および分析 2 の結果から，モデル順位変動は，訂正傾向が異なるモデルと誤り傾向の異なるコーパスの組み合わせで生じるということがわかった.

(a) 限定詞 [this $\rightarrow$ these]

(c) 句読点 $[$. Because $\rightarrow$, because $]$

(e) 名詞の単複 $[\mathrm{cat} \rightarrow \mathrm{cats}]$

(b) 前置詞 $[$ for $\rightarrow$ with]

(d) 動詞 $[$ grow $\rightarrow$ bring]

(f) 動詞の時制 [eat $\rightarrow$ has eaten]

図 4 CoNLL-2014 における各モデルの誤りタイプ別性能 $\left(F_{0.5}\right)$.

表 7 各コーパスにおける誤りタイプ別に最も性能が高かったモデル.

## 6 横断評価の有用性

本研究では，メ夕評価方法論として，文法誤り訂正モデルをコーパス横断的に評価することの重要性を示してきた．本節では，より実応用を考えた場合の横断評価の有用性について議論する，実応用では，対象とするユーザーや，着目したいモデルの評価観点がある程度絞られることが考えられる．例えば，文法誤り訂正システムを学習者のライティング支援として学校などの教育現場で用いることを考えた場合，書き手の母語や習熟度はある程度絞られており，また，それらの情報をあらかじめ知っているという設定が多いといえる，その際，評価セグメントは多様な観点が混ざり合ったコーパスというセグメントである必然性はなく, 着目したい観点に絞った評価セグメントを用いた横断評価を行うことで，より精緻にモデルの挙動を調査することが可能となる，そこで本節では，横断評価の有用性のケーススタディとして, 文法誤り訂正モデルの入力として想定される代表的なバリエーションの一つである，書き手の習熟度を評価セグメントに横断評価を行うことで，書き手の習熟度を変えた場合モデルはどのような挙動をするかについて調査する。

## 6.1 習熟度別データセット

習熟度別に横断評価を行うために BEA-2019を使用する３.1 節で述べた通り，BEA-2019にはメ夕情報として, CEFRに対応した書き手の習熟度情報が付与されている。具体的には, BEA2019 に含まれる各文には CEFR で定められている 3 段階のレベル（習熟度が低い順に A・B・ C レベル）および母語話者 $(\mathrm{N})$ の合計 4 レベルの習熟度情報が付与されており, 習熟度別の評価が可能となる ${ }^{14}$. BEA-2019の習熟度別デー夕の特徵を整理したものを表 8 に示す。書き手の習熟度が上がるにつれて, 文が長くなり（平均文長の増加）、コーパス中に含まれる誤りの個数が減少し（単語編集率の低下), 使用する語彙サイズが大きくなる（異なり語数の増加）, といった傾向があることがわかる.

表 8 BEA-2019における習熟度別評価データセットの概要.

## 6.2 習熟度横断評価

表 9 に， $\mathrm{M}^{2}$ を用いて算出した Precision, Recall, $\mathrm{F}_{0.5}$ をそれぞれ示す. コーパス横断評価と同様に，モデルの性能順位が各習熟度によって大きく変動していることが確認できる．具体的には，書き手の習熟度が初中級レベル (A, B) に対しては Transformer が他と比べて高い性能を達成している。一方で, 習熟度が上級レベル $(\mathrm{C}, \mathrm{N})$ に対しては SMT が最も高い性能となり,習熟度間で評価に大きな乘離があることがわかった。また，GLEUを用いて評価した場合も同じような傾向があることが確認できる（表 10）。最近では NMT に基づく手法が主流となっているため (Chollampatt and Ng 2018; Lichtarge et al. 2019; Zhao et al. 2019; Kiyono et al. 2019; Kaneko et al. 2020), SMT に基づくモデルの性能が他の全ての NMT に基づくモデルの性能よりも高い結果となったのは驚くべき結果と言える.

習熟度の高い $\mathrm{C}$ および $\mathrm{N}$ レベルで SMT の性能が高い結果となった要因は, 単語編集率と誤りの質という観点から説明できる。書き手の習熟度が高い文の特徵として, 単語編集率が低い, すなわち修正すべき誤りの割合が少ない点がある（表 8 参照）。た， $\mathrm{C}$ や Nレベルにおいて， SMT は他と比べて Precision が高くRecall が低い傾向にあると言える（表 9 参照）したがって，修正すべき誤りの割合が低い $\mathrm{C}$ や N レべルの書き手の文においては，Precision の高いモデルのほうが高く評価されている。一方で，書き手の習熟度が低い $\mathrm{A}$ および B レべルの文においては, Recall の高いモデルのほうが高く評価される傾向にある.

表 9 BEA-2019 習熟度別データセットにおいて， $M^{2}$ を用いて算出した Precision (P), Recall $(\mathrm{R}), \mathrm{F}_{0.5}$ :太字の値は各評価データセットにおける最高精度を示している。

表 10 BEA-2019 習熟度別データセットにおける GLEU スコア: 太字の値は各評価データセットにおける最高精度を示している.

表 11 BEA-2019 習熟度別データセットにおいて, ERRANT を用いて算出した Precision (P), Recall (R), $\mathrm{F}_{0.5}$ : 太字の値は各評価データセットにおける最高精度を示している。

次に，表 11 に ERRANT を用いて算出した Precision, Recall, $F_{0.5}$ を示す。表 11 から，(1) モデルの性能順位が各習熟度によって大きく変動し，（2）書き手の習熟度が高い文においては SMT が高く評価される，といった $\mathrm{M}^{2}$ を用いたときと一貫性のある結果となった。また，コー パス横断評価（図 3）とは異なり，習熟度横断評価では順位が大きく変動した。そのため，少なくとも ERRANT を用いれば単一コーパス評価でも十分というわけでないことがわかる.

これまで文法誤り訂正分野で用いられてきた CoNLL-2014 やJFLEG をはじめ，全ての既存評価コーパスでは，概ね書き手の習熟度が初中級レベルのうえでモデルの良し悪しを議論してきた。しかし，上級レベルの書き手を対象に文法誤り訂正モデルを用いて作文支援などを行う場合は，これまで本分野が蓄積してきた知見をそのまま適用するには注意が必要であることが習熟度横断評価を通して明らかになった。

## 7 おわりに

本研究では，多様なバリエーションのある入力文を想定した文法誤り訂正の評価の方法論として，既存の単一コーパス評価では不十分であるという仮説を基に，横断コーパス評価の必要性について調査した，具体的には， 4 種類の訂正モデルを 6 種類のコーパス上で横断評価を行い，各コーパス間でモデルの性能順位にばらつきが生じるかについて調査を行った。その結果, コーパス毎にモデル順位が大幅に変動したため，既存の単一コーパス評価では不十分であるということがわかった．さらに，文法誤り訂正の応用を見据えて，入力に想定される代表的な条件の一つとして書き手の習熟度を評価セグメントとした横断評価をケーススタデイ的に行った。 その結果，書き手の習熟度が初中級レベルと上級レベル間でモデルの性能評価に大きな乘離があることがわかった.

文法誤り訂正の方向性として, 目的指向な方向性と汎用指向な方向性の二通り考えられる.目的指向な方向性は, 特定の習熟度レベルのユーザーのみ対象など，ある特定の条件下で誤りを
徹底的に訂正できればよいという立場である。一方で，汎用指向な方向性とは，多様な文が入力文として入ってきた場合でも頑健に訂正したいといった立場である. 目的指向な方向性においては，本研究で提案するような，モデルの入力に想定される条件に応じた評価セグメントにて横断評価を行うことで，より精緻な評価が実現可能となる。しかし, 汎用指向な方向性の立場に立った場合，訂正モデルを開発するユーザー視点において，可能であれば単一コーパス上でモデルの頑健性を評価できる方が好ましいと考えられる。 そのため, 今後の研究として, 頑健性のある新しい評価尺度も同時に検討していく必要がある.

## 謝 辞

本論文の査読にあたり，著者の不十分な記述などに対してご意見・ご指摘をくださった査読者の方々へ感謝します. 本論文の内容の一部は, 言語処理学会第 25 回年次大会 (三田他 2019) および The 17th Annual Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (Mita et al. 2019) で発表したものです.

## 参考文献

Bryant, C., Felice, M., and Briscoe, T. (2017). "Automatic Annotation and Evaluation of Error Types for Grammatical Error Correction." In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (ACL 2017), pp. 793-805.

Bryant, C. and Ng, H. T. (2015). "How Far are We from Fully Automatic High Quality Grammatical Error Correction?" In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (ACL-IJCNLP 2015), pp. 697-707.

Buck, C., Heafield, K., and van Ooyen, B. (2014). "N-gram Counts and Language Models from the Common Crawl." In Proceedings of the 9th International Conference on Language Resources and Evaluation (LREC'14), pp. 3579-3584.

Chollampatt, S. and Ng, H. T. (2018). "A Multilayer Convolutional Encoder-Decoder Neural Network for Grammatical Error Correction." In Proceedings of the 32nd AAAI Conference on Artificial Intelligence (AAAI 2018), pp. 5755-5762.

Dahlmeier, D. and Ng, H. T. (2012). "Better Evaluation for Grammatical Error Correction." In Proceedings of the 2012 Conference of the North American Chapter of the Association for Computational Linguistics (NAACL 2012), pp. 568-572.

Dahlmeier, D., Ng, H. T., and Wu, S. M. (2013). "Building a Large Annotated Corpus of Learner English: The NUS Corpus of Learner English." In Proceedings of the 8th Workshop on Building Educational Applications Using NLP (BEA 2013), pp. 22-31.

Dale, R., Anisimoff, I., and Narroway, G. (2012). "HOO 2012: A Report on the Preposition and Determiner Error Correction Shared Task." In Proceedings of the 7th Workshop on Building Educational Applications Using NLP, pp. 54-62. Association for Computational Linguistics.

Dale, R. and Kilgarriff, A. (2011). "Helping Our Own: The HOO 2011 Pilot Shared Task." In Proceedings of the Generation Challenges Session at the 13th European Workshop on Natural Language Generation, pp. 242-249. Association for Computational Linguistics.

Felice, M. and Briscoe, T. (2015). "Towards a Standard Evaluation Method for Grammatical Error Detection and Correction." In Proceedings of the 2015 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NACL-HLT 2015), pp. 578-587.

Felice, M., Bryant, C., and Briscoe, T. (2016). "Automatic Extraction of Learner Errors in ESL Sentences Using Linguistically Enhanced Alignments." In Proceedings of the 26th International Conference on Computational Linguistics (COLING 2016): Technical Papers, pp. 825-835.

Granger, S. (1998). "The Computer Learner Corpus: A Versatile New Source of Data for SLA Research." In Granger, S. (Ed.), Learner English on Computer (LEC 1998), pp. 3-18.

Grundkiewicz, R. and Junczys-Dowmunt, M. (2018). "Near Human-Level Performance in Grammatical Error Correction with Hybrid Machine Translation." In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics (NAACL 2018), pp. 284-290.

Hovy, E., Marcus, M., Palmer, M., Ramshaw, L., and Weischedel, R. (2009). "OntoNotes: The 90\% Solution." In Proceedings of Human Language Technologies: The 2009 Annual Conference of the North American Chapter of the Association for Computational Linguistics (NAACL-HLT 2009), Companion Volume: Tutorial Abstracts, pp. 57-60.

Ji, J., Wang, Q., Toutanova, K., Gong, Y., Truong, S., and Gao, J. (2017). "A Nested Attention Neural Hybrid Model for Grammatical Error Correction." In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (ACL 2017), pp. 753-762.

Junczys-Dowmunt, M. and Grundkiewicz, R. (2016). "Phrase-based Machine Translation is Stateof-the-Art for Automatic Grammatical Error Correction." In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing (EMNLP 2016), pp. 1546-1556.

Junczys-Dowmunt, M., Grundkiewicz, R., Guha, S., and Heafield, K. (2018). "Approaching

Neural Grammatical Error Correction as a Low-Resource Machine Translation Task." In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics (NAACL 2018), pp. 595-606.

Kaneko, M., Mita, M., Kiyono, S., Suzuki, J., and Inui, K. (2020). "Encoder-Decoder Models Can Benefit from Pre-trained Masked Language Models in Grammatical Error Correction." In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (ACL 2020), pp. 4248-4254.

Kiyono, S., Suzuki, J., Mita, M., Mizumoto, T., and Inui, K. (2019). "An Empirical Study of Incorporating Pseudo Data into Grammatical Error Correction." In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP 2019), pp. 1236-1242.

Lichtarge, J., Alberti, C., Kumar, S., Shazeer, N., Parmar, N., and Tong, S. (2019). "Corpora Generation for Grammatical Error Correction." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (NAACL 2019), pp. 3291-3301.

Luong, T., Pham, H., and Manning, C. D. (2015). "Effective Approaches to Attention-based Neural Machine Translation." In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing (EMNLP 2015), pp. 1412-1421.

Marcus, M. P., Marcinkiewicz, M. A., and Santorini, B. (1993). "Building a Large Annotated Corpus of English: The Penn Treebank." Computational Linguistics, 19 (2), pp. 313-330.

三田雅人, 水本智也, 金子正弘, 永田亮, 乾健太郎 (2019). 文法誤り訂正のコーパス横断評価：単一コーパス評価で十分か? 言語処理学会第 25 回年次大会発表論文集. [M. Mita et al. (2019). Bunpo Ayamari Teisei no Kopasu Odan Hyoka: Tannitsu Kopasu Hyoka de Jubun ka? Proceedings of the 25th Annual Meeting of the Association for Natural Language Processing.].

Mita, M., Mizumoto, T., Kaneko, M., Nagata, R., and Inui, K. (2019). "Cross-Corpora Evaluation and Analysis of Grammatical Error Correction Models - Is Single-Corpus Evaluation Enough?" In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 1309-1314, Minneapolis, Minnesota. Association for Computational Linguistics.

Mizumoto, T., Komachi, M., Nagata, M., and Matsumoto, Y. (2011). "Mining Revision Log of Language Learning SNS for Automated Japanese Error Correction of Second Language Learners." In Proceedings of the 5th International Joint Conference on Natural Language

Processing (IJCNLP 2011), pp. 147-155.

Mizumoto, T. and Matsumoto, Y. (2016). "Discriminative Reranking for Grammatical Error Correction with Statistical Machine Translation." In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL-HLT 2016), pp. 1133-1138.

Nagata, R., Whittaker, E., and Sheinman, V. (2011). "Creating a Manually Error-tagged and Shallow-parsed Corpus." In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies (ACL-HLT 2011), pp. 1210-1219.

Napoles, C., Sakaguchi, K., Post, M., and Tetreault, J. (2015). "Ground Truth for Grammatical Error Correction Metrics." In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (ACL-IJCNLP 2015), pp. 588-593.

Napoles, C., Sakaguchi, K., Post, M., and Tetreault, J. (2016a). "GLEU Without Tuning." arXiv preprint arXiv:1605.02592.

Napoles, C., Sakaguchi, K., and Tetreault, J. (2016b). "There's No Comparison: Reference-less Evaluation Metrics in Grammatical Error Correction." In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 2109-2115. Association for Computational Linguistics.

Napoles, C., Sakaguchi, K., and Tetreault, J. (2017). "JFLEG: A Fluency Corpus and Benchmark for Grammatical Error Correction." In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics (EACL 2017), pp. 229-234.

Ng, H. T., Wu, S. M., Briscoe, T., Hadiwinoto, C., Susanto, R. H., and Bryant, C. (2014). "The CoNLL-2014 Shared Task on Grammatical Error Correction." In Proceedings of the 18th Conference on Computational Natural Language Learning (CoNLL 2014): Shared Task, pp. 1-14.

Ng, H. T., Wu, S. M., Wu, Y., Hadiwinoto, C., and Tetreault, J. (2013). "The CoNLL-2013 Shared Task on Grammatical Error Correction." In Proceedings of the 17th Conference on Computational Natural Language Learning (CoNLL 2013): Shared Task, pp. 1-12.

Papineni, K., Roukos, S., Ward, T., and Zhu, W.-J. (2002). "BLEU: A Method for Automatic Evaluation of Machine Translation." In Proceedings of 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318.

Petrov, S. and McDonald, R. (2012). "Overview of the 2012 Shared Task on Parsing the Web." In Proceedings of the 1st Workshop on Syntactic Analysis of Non-Canonical Language (SANCL

2012).

Rozovskaya, A. and Roth, D. (2016). "Grammatical Error Correction: Machine Translation and Classifiers." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (ACL 2016), pp. 2205-2215.

Susanto, R. H., Phandi, P., and Ng, H. T. (2014). "System Combination for Grammatical Error Correction." In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 951-962.

Tajiri, T., Komachi, M., and Matsumoto, Y. (2012). "Tense and Aspect Error Correction for ESL Learners Using Global Context." In Proceedings of the 50th Annual Meeting of the Association for Computational Linguistics (ACL 2012), pp. 198-202.

Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., and Polosukhin, I. (2017). "Attention Is All You Need." In Advances in Neural Information Processing Systems 31 (NIPS 2017), pp. 5998-6008.

Yannakoudakis, H., Andersen, Ø. E., Geranpayeh, A., Briscoe, T., and Nicholls, D. (2018). "Developing an Automated Writing Placement System for ESL Learners." Applied Measurement in Education, pp. 251-267.

Yannakoudakis, H., Briscoe, T., and Medlock, B. (2011). "A New Dataset and Method for Automatically Grading ESOL Texts." In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics (ACL 2011), pp. 180-189.

Yannakoudakis, H., Rei, M., Andersen, Ø. E., and Yuan, Z. (2017). "Neural Sequence-Labelling Models for Grammatical Error Correction." In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing (EMNLP 2017), pp. 2795-2806.

Zhao, W., Wang, L., Shen, K., Jia, R., and Liu, J. (2019). "Improving Grammatical Error Correction via Pre-Training a Copy-Augmented Architecture with Unlabeled Data." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (NAACL 2019), pp. 156-165.

## 付録

## A The BEA-2019 公式データセット

BEA-2019 Shared Taskでは, 参加者に以下のデータセットを公式データセットとして提供した： Lang-8 (Mizumoto et al. 2011; Tajiri et al. 2012), the National University of Singapore Corpus
of Learner English (NUCLE) (Dahlmeier et al. 2013), the First Certificate in English corpus (Yannakoudakis et al. 2011), W\&I+LOCNESS (Yannakoudakis et al. 2018; Granger 1998). 公式データセットはhttps://www.cl.cam.ac.uk/research/nl/bea2019st/にて一般利用可能である.

## 略歴

三田雅人：理化学研究所革新知能統合研究センター 自然言語理解チームテ

クニカルスタッフ. 2016 年奈良先端科学技術大学院大学情報科学研究科博士前期課程修了。日本マイクロソフト株式会社のエンジニアを経て, 2018 年より現職. 同年, 東北大学情報科学研究科博士後期課程に進学. 文法誤り訂正を中心とした自然言語処理による言語学習/教育支援に関心がある。言語処理学会, ACL 各会員.

水本智也：2015 年奈良先端科学技術大学院大学情報科学研究科博士後期課程修了. 博士 (工学). 東北大学情報科学研究科特任助教, 理化学研究所 AIP センター特別研究員を経て 2019 年よりフューチャー株式会社シニアコンサルタ

ント, 理化学研究所 AIP センター客員研究員.

金子正弘：2016 年北見工業大学工学部システム工学科卒業. 同年, 東京都立大学システムデザイン研究科博士前期課程に進学. 2018 年博士前期課程修了.同年，東京都立大学システムデザイン研究科博士後期課程に進学.

永田亮：甲南大学知能情報学部准教授. 2005 年三重大学大学院博士後期課程修了. 兵庫教育大学助手, 甲南大学知能情報学部講師を経て, 2012 年より現職. 言語のモデル化, 文書の自動添削, 解説文の自動生成などの研究に従事. 電子情報通信学会, 言語処理学会, ACL 各会員.

乾健太郎：東北大学大学院情報科学研究科教授. 1995 年東京工業大学大学院情報理工学研究科博士課程修了. 同大学助手, 九州工業大学助教授, 奈良先端科学技術大学院大学助教授を経て, 2010 年より現職. 2016 年より理化学研究所 AIP センター自然言語理解チームリーダー兼任．情報処理学会論文誌編集委員長, 同会自然言語処理研究会主查, 言語処理学会論文誌編集委員長等を歴任, 2020 年より言語処理学会副会長.


# 大域的な類似度に基づく単語分散表現の圧縮
## 大橋 空 $\dagger \cdot$ 五十川真生 $\dagger$ ・梶原 智之职 - 荒瀬 由紀 $\dagger$

本研究では，学習済み単語分散表現の品質を保持しつつモデルサイズを削減する。先行研究では, 部分文字列の分散表現から単語の分散表現を構成し, 学習済み単語分散表現を模倣してきた。これにより語彙サイズを削減できるが，品質を保持したまま著しくモデルサイズを削減することは困難であった．本研究では，似た意味を持つ単語同士が似たべクトルを持つという単語分散表現の特性を考慮して, 対象単語の学習済み単語分散表現を模倣する通常の訓練に加えて, 対象単語と他の単語たちとの類似度分布を模倣する訓練も行うマルチタスク学習を提案する。単語類似度推定の実験では, 提案手法は部分文字列から単語分散表現を構成する既存手法の性能を改善し, 同等の品質を保持してモデルサイズを 30 分の 1 に削減できた. テキスト分類の実験では， $90 \%$ の品質を保持してモデルサイズを 200 分の 1 に削減できた. キーワード：単語分散表現, 単語類似度推定, テキスト分類

## Compact Word Embeddings Based on Global Similarity

\author{
Sora Ohashi ${ }^{\dagger}$, Mao Isogawa ${ }^{\dagger}$, Tomoyuki Kajiwara $^{\dagger \dagger}$ and Yuki Arase ${ }^{\dagger}$
}

\begin{abstract}
We reduce the model size of word embeddings while preserving its quality. Previous studies composed word embeddings from those of subwords and mimicked the pretrained word embeddings. Although these methods can reduce the vocabulary size, it is difficult to extremely reduce the model size while preserving its quality. Inspired by the observation of words with similar meanings having similar embeddings, we propose a multitask learning that mimicks not only the pre-trained word embeddings but also the similarity distribution between words. Experimental results on word similarity estimation tasks show that the proposed method improves the performance of existing methods and reduces the model size by a factor of 30 while preserving the quality of the original word embeddings. In addition, experimental results on text classification tasks show that we reduce the model size by a factor of 200 while preserving $90 \%$ of the quality of the original word embeddings.
\end{abstract}

Key Words: Word Embeddings, Word Similarity Estimation, Text Classification

## 1 はじめに

テキスト分類 (Shen et al. 2018) や機械翻訳 (Qi et al. 2018) など, 多くの自然言語処理夕スクにおいて単語分散表現は基盤となる言語資源である。しかし，広く利用されている GloVe (Pennington et al. 2014)や fastText (Bojanowski et al. 2017) などの単語分散表現はモデルサイズが非常に大きく，モバイル機器などメモリ容量が制限された環境での自然言語処理アプリケー ションの開発において，大きな問題となっている。例えば, 200 万単語にそれぞれ 300 次元のべクトルを割り当てる fastText ${ }^{1}$ は，約 $2 \mathrm{~GB}$ の記憶領域を必要とする。語彙サイズを限定することで単語分散表現のモデルサイズを削減できるが, これはシステムが処理できない未知語を増大させるため, アプリケーションの性能を著しく悪化させてしまう.

未知語の発生を避けつつ単語分散表現のモデルサイズを削減するために, 文字 (Pinter et al. 2017; Kim et al. 2018) や文字 N-gram (Zhao et al. 2018; Sasaki et al. 2019) の情報から単語分散表現を推定する研究が行われてきた．単語のタイプ数に比べて文字や文字 N-gram のタイプ数は著しく少ないため, これらの部分文字列 $2{ }^{2}$ から単語分散表現を高精度に推定できれば，アプリケーションの性能を保持したままモデルサイズを削減できる。これらの先行研究では, 図 1 に示すように，部分文字列の分散表現から単語の分散表現を構成し，学習済みの単語分散表現を模倣する。これらの手法では，学習済み単語分散表現および部分文字列という対象単語から得られる局所的な情報のみを扱ってきた。

本研究では, 図 2 に示すように, 対象単語以外の単語も手がかりとして利用する大域的な訓練によって, 単語分散表現の模倣性能を改善する，似た意味を持つ単語同士が似たべクトルを持つという単語分散表現の特性を考慮して, 対象単語の学習済み単語分散表現を模倣する通常の訓練に加えて，対象単語と他の単語との類似度分布を模倣する訓練も行うマルチタスク学習

図 1 部分文字列に基づく単語分散表現の模倣

1 https://fasttext.cc/docs/en/english-vectors.html

2 本研究では, 文字や文字 $N$-gram のことを部分文字列と呼ぶ.

図 2 提案手法における損失計算

を実施する，我々の提案手法は，部分文字列の単位や模倣モデルの構造に依存せず，部分文字列から単語分散表現を模倣する全ての既存手法に容易に適用できる。

単語間の意味的類似度推定タスク (Faruqui and Dyer 2014) における評価実験の結果, 本手法の適用によって全ての先行研究における単語分散表現の模倣性能が改善した. 特に，文字 $\mathrm{N}-\mathrm{gram}$ から単語分散表現を模倣する自己注意機構 (Sasaki et al. 2019) に本手法を適用することによって, fastTextの 97\%の品質を保持しつつモデルサイズを $74 \mathrm{MB}(30$ 分の 1）に削減できた。また，モデルサイズを $12 \mathrm{MB}(200$ 分の 1）に削減した状態でも，元の fastText の 87\%の品質を保つことができた．さらに，テキスト分類タスク (Conneau and Kiela 2018)の評価においても， 12MB の設定で元の fastText の 90\%程度の品質を保持できることを確認した.

## 2 関連研究

## 2.1 単語分散表現に関する研究

単語の分散表現を獲得するために, 対象単語とその周辺単語を用いる教師なし学習によってニューラルネットワークを訓練する研究が盛んに行われている。周辺単語から対象単語を推定する Continuous Bag-of-Words (Mikolov et al. 2013a) や対象単語から周辺単語を推定する Skip-gram (Mikolov et al. 2013b) をはじめとして，単語間の共起を考慮する GloVe (Pennington et al. 2014) や係り受け関係を考慮する手法 (Levy and Goldberg 2014)， 部分文字列を考慮する fastText (Bojanowski et al. 2017) などが代表的な手法として知られている.

単語分散表現は，テキスト分類 (Shen et al. 2018) や機械翻訳 (Qi et al. 2018) など，機械学習に基づく多くの自然言語処理タスクにおいて有用である。しかし，数GBのメモリ容量を必要とする単語分散表現は, 組み込みシステムやモバイル機器などのメモリ容量が制限された環境への実装が困難である。例えば，組み込みシステム開発においてよく用いられる Rasberry Pi 3 のメモリ容量は $4 \mathrm{~GB}$ であり, fastText（約 $2.2 \mathrm{~GB}$ ）の単語分散表現を読み込むと半分以上のメモリ容量を消費してしまう，OSなど，その他のプログラムでもメモリを利用することを考えると，これは深刻な問題である。そこで本研究では，品質を保持したまま単語分散表現のモデルサイズを削減する方法について検討する。

## 2.2 単語分散表現の模倣に関する研究

図 1 に示すように, 単語を構成する部分文字列から単語の分散表現を推定する研究が近年活発に行われている。これらの研究では, 部分文字列の分散表現から単語の分散表現を構成し,学習済み単語分散表現を模倣する。単語のタイプ数に比べて文字や文字 $\mathrm{N}$-gram などの部分文字列のタイプ数は著しく少ないため，このアプローチでモデルサイズを削減できる.

部分文字列としては，文字を用いる手法 (Pinter et al. 2017; Kim et al. 2018) と文字 N-gram

を用いる手法 (Zhao et al. 2018; Sasaki et al. 2019) が提案されている. 模倣モデル（図 1 の Reconstruction Network）としては，文字べースの手法においてはニューラルネットワークに基づく手法 (Pinter et al. 2017; Kim et al. 2018) が，文字 N-gram ベースの手法においては各部分文字列の分散表現を（重み付きで）平均する手法 (Zhao et al. 2018; Sasaki et al. 2019) が採用されている.

これらの先行研究においては，対象単語を構成する部分文字列と対象単語の学習済み単語分散表現のみを用いて模倣モデルを訓練する，本研究では，対象単語以外の単語の情報も利用して単語間の関係を学習することによって，より高品質な模倣モデルを得ることを目指す。これにより, 最終的には, 高い品質を保持しつつモデルサイズの更なる小規模化を実現する.

## 2.3 単語分散表現の圧縮に関する研究

単語分散表現を圧縮するために，2.2 節の模倣アプローチの他にも，多くの研究が行われている。例えば，各単語の分散表現を任意の基底べクトルの組み合わせとして学習する手法 (Suzuki and Nagata 2016) や，コードと呼ばれる整数の組み合わせとして単語を表現する手法 (Shu and Nakayama 2018; Chen et al. 2018)，低次元の分散表現を用いて高次元の分散表現を生成する手法 (Mehta et al. 2020) などが存在する。また，単語分散表現の他にも，行列分解を用いてモデルのパラメータを削減する手法 (Lan et al. 2020) も提案されている.

これらの先行研究においても高い圧縮性能が報告されているが, これらは訓練時に使用した既知語の分散表現しか扱えないという副次的な問題を持つ。一方で, 2.2 節の模倣アプローチでは, 未知語の分散表現についても部分文字列の分散表現から構成できる。そこで本研究では,模倣アプローチを用いて単語分散表現の圧縮を行う.

## 3 提案手法

単語 $w \in W$ の学習済み分散表現を $\boldsymbol{e}_{w}$, 部分文字列 $s \in S$ の無作為に初期化された分散表現を $\boldsymbol{v}_{s}$ と表す. 本研究では, 先行研究 (Pinter et al. 2017; Kim et al. 2018; Zhao et al. 2018; Sasaki et al. 2019) と同じく, ある単語 $w$ に関する部分文字列の集合 $\phi(w)$ から単語分散表現 $\hat{\boldsymbol{e}}_{w}=f(\phi(w))$ を構成する問題を次の損失関数の最小化問題として定式化する.

$
L_{\text {local }}=\frac{1}{d_{w}}\left.\|\hat{\boldsymbol{e}}_{w}-\boldsymbol{e}_{w}\right.\|_{2}^{2}
$

ここで， $d_{w}$ は単語分散表現の次元数である。また, $f(\cdot)$ は部分文字列の集合から単語分散表現 $\hat{e}_{w}$ を構成する関数であり, 図 1 の Reconstruction Network に対応する.この構成関数として, 先行研究では再帰型ニューラルネットワーク (RNN: recurrent neural network) (Pinter et al. 2017) や，畳み込みニューラルネットワーク (CNN: convolutional neural network) (Kim et al.

2018), 自己注意機構 (SAM: self-attention mechanism) (Sasaki et al. 2019) が利用されている.

本研究では, 対象単語 $w$ の局所的な情報のみに依存する式 (1) の損失関数に加えて, 対象単語以外の大域的な情報に基づく損失関数を用いることで，単語分散表現の模倣性能を改善する. つまり，図 2 に示すように，対象単語についての模倣した分散表現と学習済み分散表現の間の関係だけでなく，対象単語の模倣した分散表現と他の単語の学習済み分散表現の間の関係も考慮する。大域的な損失関数は，単語間の余弦類似度 3 を用いて次のように定義する。

$
L_{\text {global }}=\frac{1}{n} \sum_{g \in W}\left(\cos \left(\hat{\boldsymbol{e}}_{w}, \boldsymbol{e}_{g}\right)-\cos \left(\boldsymbol{e}_{w}, \boldsymbol{e}_{g}\right)\right)^{2}
$

ただし, 計算量の削減のために, 訓練バッチごとに $n$ 個の単語 $g \in W$ をサンプリングして使用する. ここで, これらの単語 $g$ を無作為に選択すると, 対象単語 $w$ と無関係な単語ばかりが選ばれる可能性があり, 効率が悪い. そこで, $n / 2$ 語は対象単語 $w$ との余弦類似度が高い順に選択し, 残りは無作為に選択する。最終的に, 式 (1) および式 (2)を足し合わせ, 以下の損失関数を最小化する。

$
L=L_{\text {local }}+L_{\text {global }}
$

## 4 評価実験

単語分散表現の代表的なベンチマークである単語類似度タスク 4 (Faruqui and Dyer 2014)を用いて提案手法の有効性を検証する。本研究では, Rubenstein-Goodenough (RG) (Rubenstein and Goodenough 1965), Miller-Charles (MC) (Miller and Chales 1991), WordSim-353 (WS) (Finkelstein et al. 2002), MEN test collection (MEN) (Bruni et al. 2012), Stanford Rare Word Similarity (RW) (Luong et al. 2013), Stanford's Contextual Word Similarities (SCWS) (Huang et al. 2012), SimLex-999 (SL) (Hill et al. 2015), MTurk-771 (MTurk) (Radinsky et al. 2011) の 8 つのデータセットを用いて実験する．データセットの統計情報を表 1 に示す. 各手法の性能は，単語分散表現間の余弦類似度と人手で付与された単語間の意味的類似度とのスピアマンの順位相関係数で評価する。

表 1 データセットの統計情報
^{4}$ https://github.com/mfaruqui/eval-word-vectors/
}

## 4.1 実験設定

模倣元の単語分散表現には 300 次元の学習済み fastText (crawl-300d-2M-subword) (Bojanowski et al. 2017)を用いた.このうち高頻度な 10 万単語を用いて模倣モデルを訓練した。なお，単語の出現頻度は fastText の訓練コーパスを用いて計算した。ただ，記号や数字を含む単語は除外し，小文字ラテンアルファベットの 26 種類の文字のみで構成される単語を対象にした.

大域的な損失計算のために， $n=10$ 単語をサンプリングした. 式 (3)の最適化には, Adam (Kingma and Ba 2015)を $\alpha=0.001, \beta_{1}=0.9, \beta_{2}=0.999, \epsilon=10^{-8}$ の設定で使用した. バッチサイズは 50 単語とし, 5 エポックの early stopping で訓練を終了した.

## 4.2 ベースラインモデル

部分文字列から単語分散表現を模倣する以下の 4 手法に対して，大域的な損失に基づくマルチタスク学習を適用する。

Character RNN (Pinter et al. 2017)：部分文字列として文字を用いる．模倣モデルは， 32 次元の埋め込み層および 512 次元の隠れ層を持つ双方向 LSTM である.

Character CNN (Kim et al. 2018)：部分文字列として文字を用いる。模倣モデルは，フィルタサイズ $[1,2, \ldots, 7]$, スライド幅 3 , フィルタ数 $\max (200,50 \times$ フィルタサイズ $)$ の CNNである.

Bag of N-gram (Zhao et al. 2018)：部分文字列として文字 N-gram を用いる。模倣モデルは，各文字 N-gram の 300 次元の分散表現を要素ごとに平均する.

N-gram SAM (Sasaki et al. 2019)：部分文字列として文字 N-gram を用いる。模倣モデルは， 300 次元の分散表現を重み付きで平均する自己注意機構である.

文字 N-gram に基づく手法は，扱う N-gram の長さ5を変更しつつ 3 つの設定で実験する.
- Small: $N=3$ のみ
- Medium: $N=3$ および $N=4$
- Large: $N=3$ から $N=5$ まで

また，他の単語分散表現の圧縮手法との比較のために，以下の手法との比較を行う.

Quantization (Shu and Nakayama 2018)：コードの組み合わせとして単語を表現する単語分散表現の圧縮手法．最も高い性能が報告されているパラメータに従い，圧縮後の単語分散表現の次元数を 64 , コード数を 64 とする.

flow $^{8}$ (1.14.0) を用いて再実装した．全ての実験は 1 枚の GeForce RTX2080 Tiを用いて行なった.
^{5}$ Zhao et al. (2018) および Sasaki et al. (2019) に従い, 語の先頭と末尾を示す特殊記号を加えて N-gram を数える.

6 https://github.com/losyer/compact_reconstruction

7 https://github.com/zomux/neuralcompressor

8 https://www.tensorflow.org/
}

## 4.3 実験結果

実験結果を表 2 に示す。全ての設定において, 提案手法が単語類似度の推定性能を改善した。特に, N-gram SAM (Sasaki et al. 2019)における Small の設定では，提案手法によって 0.467 から 0.592 に向上した。これらの結果から，単語間の大域的な関係を考慮する提案手法の有効性を確認できた．N-gram SAM における Mediumの設定では，元の fastText の性能を $98 \%$ 保持しつつ，モデルサイズを約 30 分の 1 である $74 \mathrm{MB}$ に削減できた. 同様に，Small の設定では，元の fastText の性能を $87 \%$ 保持しつつ，モデルサイズを約 200 分の 1 である $12 \mathrm{MB}$ に削減できた.

文字に基づく手法 (Pinter et al. 2017; Kim et al. 2018)に対しても提案手法は有効であったが，文字 N-gram に基づく手法 (Zhao et al. 2018; Sasaki et al. 2019)ほどの改善は見られなかった. 文字よりも文字 N-gram の方が豊富な情報を持てるため, 提案手法によって訓練の手がかりが増えたときに, 文字 N-gram に基づく手法の方がより大きく性能を改善できたと考えられる。

データセットごとの性能の内訳 9 を表 3 に示す. RNN や CNN を用いて複雑な構成を行うべー スラインに対しては, 提案手法は常に有効なわけではない. 一方で, Bag of N-gram や N-gram

 &  & 12 &  & 74 &  & 223 \\

表 2 スピアマン相関係数のマイクロ平均およびモデルサイズ (MB) fastText: $\rho=0.684(2,230 \mathrm{MB})$

表 3 データセットごとのスピアマン相関係数

SAM といった文字 N-gram の分散表現の（重み付き）和で構成を行うシンプルなベースラインに対しては，提案手法が一貫して有効である。これらの結果から，本手法はシンプルな構成手法に対して，より有効であると言える。

また，低頻度語に焦点を当てて構築された RW データセットにおいては，提案手法が常に性能改善に貢献している。単語類似度の推定が特に難しい SL データセットにおいても， N-gram SAM における提案手法が元の fastText の性能を $87 \%$ 保持している. これは Small の設定におけるマイクロ平均の性能の維持率と同等である。これらの結果から，提案手法によってモデルサイズを圧縮しつつ高品質な単語分散表現を得られることがわかる.

他の圧縮アプローチである Quantization (Shu and Nakayama 2018) は 6.4MB と高い圧縮性能を持つが，単語類似度の推定性能では N-gram SAM + Global Loss が常に上回る。また，低頻度語に焦点を当てて構築された RW データセットにおいて，Quantization では 2,034 単語対のうち 389 単語対が未知語を含むために評価できなかった. これらの結果から, メモリ容量を抑えつつ高品質な単語分散表現が求められる状況や, 未知語に対処したい状況では, 模倣アプローチによる単語分散表現の圧縮が適していると言える.

## 5 分析

## 5.1 サンプル数に関する分析

表 2 および表 3 の実験では，大域的な損失計算のために $n=10$ 単語をサンプリングした.本節では, 単語のサンプル数が単語類似度推定の性能に与える影響を調査する. サンプル数を $n=10, n=20, n=50$, と変化させた場合の単語類似度推定の性能（スピアマン相関係数のマイクロ平均）を表 4 に示す. なお， $n=0$ は大域的な損失計算を行わないべースラインであり，文字 $\mathrm{N}$-gram に基づくモデルは Small の設定で実験した.

表 4 より，大域的な損失計算のための単語のサンプル数は多いほど良いわけではないことがわかる. 全体に， $n=10$ よりも $n=20$ の方が高い性能を発揮するが， $n=20$ 以上に増やしても大きな改善は見られない。たたし，提案手法は $n$ のサンプル数に関係なく，一貫して $n=0$ のベースラインよりも高い性能を発揮することがわかる.

## 5.2 単語のサンプリング方法に関する分析

本節では，大域的な損失関数の計算に用いる単語のサンプリング方法において，単語の選択条件が性能に与える影響について調査する． 3 節では， $n / 2$ 単語を対象単語との余弦類似度が高い順に選択し，残りは無作為に選択すると説明した。本節の分析では，前者を近傍単語と呼ぶことにし, 近傍単語の割合を $0 \%, 20 \%, 40 \%, 60 \%, 80 \%, 100 \%$ と変化させ, 単語類似度の推定性能 （スピアマン相関係数のマイクロ平均）への影響を調査する。サンプル数は $n=100$ で固定し,

モデルには Small 設定の N-gram SAM を用いた.

結果を図 3 に示す。近傍単語の割合が $20 \%$ の時に提案手法の効果は最大となり, その後近傍単語の数が増加するにつれ性能が悪化している。近傍単語の割合が多い場合, 大域的な損失関数は模倣対象の単語に近い単語のみを考慮し，局所的な情報のみを考慮してしまうためだと考えられる。近傍単語の割合が $100 \%$ のとの性能が，近傍単語の数が 0 のとき（全て無作為に選択）と比べて低いのも同様の理由であると考えられる。近傍単語の割合が $20 \%$ から $80 \%$ の範囲で， $0 \%$ 100\%の場合よりも高い性能を持つことから，対象単語に類似したサンプルと類似していないサンプルの両方を考慮することが有効であると言える.

## 5.3 大域的な損失関数の重みに関する分析

本節では，式 (3) に重み $\beta$ を導入した場合の性能を評価し，大域的な損失関数の影響を調査する， $\beta$ を導入したとき，損失関数は次のようになる.

$
L=(1-\beta) L_{\text {local }}+\beta L_{\text {global }}
$

つまり， $\beta$ が大きいほど大域的な損失関数の影響が増す。なお， $\beta$ は $0.01,0.1,0.2,0.4,0.6,0.8,1.0$ の間で変化させた。

結果を図 4 に示す. $\beta$ が大きいほど単語類似度の推定性能が向上しており, 大域的な損失関数の重要性を確認できた. なお, $\beta=0.1$ の周辺で性能は収束し始めており， $\beta$ を 0.2 以上に増

表 4 損失計算におけるサンプルサイズ $n$ の影響

近傍単語の割合(\%)

図 3 近傍単語のサンプル数を変化させた時の性能

表 5 類似単語検索における Precision@5

図 4 損失関数の重みを変化させた時の性能

表 6 単語 “london”（上段）および単語“flu”（下段）に関する類似単語検索の例

加しても大きな性能の変化は見られない．以上より，大域的な損失関数を小さすぎない重みで考慮することにより, 単語類似度の推定性能を改善できる。

## 5.4 類似単語に関する分析

模倣した分散表現を分析するために，fastTextにおける高頻度な 10 万単語を用いて，類似単語を調查する，表 5 は，類似単語検索の適合率を評価した結果である。正解の類似単語には,模倣元の fastText を用いて各単語との余弦類似度の上位 5 単語を収集した. なお，提案手法のサンプルサイズは $n=10$ であり，文字 N-gram に基づくモデルは Small の設定で実験した。

表 5 より, 提案手法によって類似単語検索の性能が常に改善されることがわかる. 表 6 に, 単語 “london”および “flu”に関する類似単語検索の結果を示す。上段の“london”の例において,模倣元の fastText では "glasgow” や “birmingham” など, “london” と同じくイギリスの大都市が並んでいる。一方で Small 設定の N-gram SAM $(n=0)$ では, “lon”や “lond”など，表層的には類似するものの意味的には無関係な単語を上位に集めてしまっている。単語間の関係を考慮して訓練する提案手法を適用することで, N-gram SAM $(n=10)$ では, “glasgow” や “edinburgh” などの意味的に近い単語が “london”と似た分散表現の獲得に成功している. 下段の “flu"の例では, ベースラインは全く無関係な単語を集めているが, 提案手法では “influenza” "pneumonia” などの意味的に近い単語を得ることができた。

## 6 応用タスクにおける検証

模倣した単語分散表現の応用タスクにおける有効性を検証するために，表 7 および表 8 に示す 12 種類のテキスト分類タスク (Conneau and Kiela 2018) に取り組む. 本実験では，多くの夕スクにおいて有効性が示されている SWEM-aver (Shen et al. 2018) に基づき，単語分散表現から文の分散表現を構成する。 SWEM-aver（以降, 単にSWEM と表記）は, 単語分散表現を要素ごとに平均して文の分散表現を得る手法であり，単語分散表現の品質が文の分散表現の品質を直接左右するという点でも本実験に適した手法である.

表 7 文分類タスクのデータセット

表 8 文対モデリングタスクのデータセット

他のテキスト分類モデルとして, RNN (Yang et al. 2016) や CNN(Zhang et al. 2015), 自己注意機構を用いたモデル (Raheja and Tetreault 2019) も考えられるが, これらのモデルでは単語分散表現の品質以外の要件も分類性能に大きく影響するため，本実験では SWEM に基づいて文の分散表現を構成する，SWEM についても，SWEM-averの他に，要素ごとの最大值をとる SWEM-maxや，両者の演算結果を連結する SWEM-concat が提案されている．SWEM-maxでは最大値以外の情報を無視するため, 個々の単語分散表現の品質がより大きく分類性能に影響する SWEM-averを用いて実験を行う。

## 6.1 実験設定

文の分散表現の代表的なべンチマークのひとつである SentEval (Conneau and Kiela 2018)を用いて提案手法の有効性を検証する。文分類タスクには, MR (Pang and Lee 2005), CR (Hu and Liu 2004), SUBJ (Pang and Lee 2004), MPQA (Wiebe et al. 2005), SST (Socher et al. 2013), TREC (Voorhees and Tice 2000)の 6 つのデータセットを用いて実験する．ただし， SST の感情分類については， 2 値分類と 5 值分類の両方の設定で実験する。文対モデリングタスクには, MRPC (Dolan et al. 2004), SNLI (Bowman et al. 2015), SICK (Marelli et al. 2014), STS-B (Cer et al. 2017)の 4 つのデータセットを用いて実験する．ただし，SICKについては分類タスク (SICK-E) と回帰タスク (SICK-R) の両方の設定で実験する。各手法の性能は, SICK-R およびSTS-B の回帰タスクはピアソンの相関係数，その他の分類タスクは正解率によって評価する.

SWEM のベースとなる単語分散表現には，4 節と同じく, fastText (Bojanowski et al. 2017) を模倣した N-gram SAM (Sasaki et al. 2019)を用いた。提案手法は， $n=10$ で適用した.

分類および回帰のために，SWEMによって構成した特徴べクトルを入力とするロジスティック回帰モデルを訓練した，文分類タスクでは 5 分割交差検証を実施し，検証用データを用いて最適な $C \in\left.\{10^{-5}, 10^{-4}, 10^{-3}, 10^{-2}\right.\}$ を選択した。最適化には, Adam (Kingma and Ba 2015) を $\alpha=0.01, \beta_{1}=0.9, \beta_{2}=0.999, \epsilon=10^{-8}$ の設定で使用した. バッチサイズは 64 文とし, 5 エ

ポックの early stopping で訓練を終了した.

実験には 1 枚の GeForce RTX $2080 \mathrm{Ti}$ 使用し，SentEval10の公式実装を用いた．ライブラリとそのバージョンは, PyTorch ${ }^{11}(1.2 .0)$, scikit-learn ${ }^{12}(0.22 .1)$ を用いた.

## 6.2 実験結果

表 9 に文分類タスクにおける実験結果を，表 10 に文対モデリングタスクにおける実験結果を，それぞれ示す。多くの設定（MRPC の言い換え認識における Medium の設定以外）において，提案手法がテキスト分類の性能を改善した。また，4節の単語類似度推定とは異なり，文分類タスクにおいて Large は元の fastText の $90.2 \%$ の性能を保持しているのに対し， Small では $90.0 \%$ 保持しており Large と同等の性能を保持できた。

特に，SST-2 などの 2 値分類タスクでは，Small の設定においても元の fastText の 9 割以上の

} & N-gram SAM & 67.02 & 63.76 & 83.48 & 82.86 & 77.22 & 33.83 & 58.57 \\

表 9 文分類タスクにおける評価（正解率）

表 10 文対モデリングタスクにおける評価

性能を保持できた。この結果から, 応用タスクであるテキスト分類においても, 提案手法は単語分散表現の品質を保持しつつモデルサイズを約 200 分の 1 に削減できることを確認できた.

## 7 おわりに

本研究では，単語分散表現のモデルサイズの削減に取り組んだ。部分文字列の分散表現から単語の分散表現を構成して学習済み単語分散表現を模倣するアプローチにおいて, 単語間の関係を学習するための大域的な損失を提案した。単語類似度推定による評価の結果, 従来の局所的な損失計算と提案手法である大域的な損失計算のマルチタスク学習によって, 部分文字列に基づく全ての既存手法の性能が改善することを示した. また，テキスト分類による評価の結果,特に 2 値分類タスクにおいては，モデルサイズを 200 分の 1 に削減する設定でも 9 割の性能を保持できることを確認した。これにより，2GBのfastTextの場合, 提案手法によって性能を保ちつつ $12 \mathrm{MB}$ までモデルサイズを削減できる．本研究の成果は，モバイル機器などメモリ容量が制限された環境での自然言語処理アプリケーションの開発を助けると期待できる.

## 謝 辞

本研究の一部は JSPS 科研費 $20 \mathrm{H} 04484$ の助成を受けたものです.

## 参考文献

Bojanowski, P., Grave, E., Joulin, A., and Mikolov, T. (2017). "Enriching Word Vectors with Subword Information." Transactions of the Association for Computational Linguistics, 5, pp. 135-146.

Bowman, S. R., Angeli, G., Potts, C., and Manning, C. D. (2015). "A Large Annotated Corpus for Learning Natural Language Inference." In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 632-642.

Bruni, E., Boleda, G., Baroni, M., and Tran, N.-K. (2012). "Distributional Semantics in Technicolor." In Proceedings of the 50th Annual Meeting of the Association for Computational Linguistics, pp. 136-145.

Cer, D., Diab, M., Agirre, E., Lopez-Gazpio, I., and Specia, L. (2017). "SemEval-2017 Task 1: Semantic Textual Similarity Multilingual and Crosslingual Focused Evaluation." In Proceedings of the 11th International Workshop on Semantic Evaluation, pp. 1-14.

Chen, T., Min, M. R., and Sun, Y. (2018). "Learning K-way D-dimensional Discrete Codes for

Compact Embedding Representations." In Proceedings of the 35th International Conference on Machine Learning, Vol. 80, pp. 854-863.

Conneau, A. and Kiela, D. (2018). "SentEval: An Evaluation Toolkit for Universal Sentence Representations." In Proceedings of the 11th International Conference on Language Resources and Evaluation, pp. 1699-1704.

Dolan, B., Quirk, C., and Brockett, C. (2004). "Unsupervised Construction of Large Paraphrase Corpora: Exploiting Massively Parallel News Sources." In Proceedings of the 20th International Conference on Computational Linguistics, pp. 350-356.

Faruqui, M. and Dyer, C. (2014). "Community Evaluation and Exchange of Word Vectors at wordvectors.org." In Proceedings of 52nd Annual Meeting of the Association for Computational Linguistics: System Demonstrations, pp. 19-24.

Finkelstein, L., Gabrilovich, E., Matias, Y., Rivlin, E., Solan, Z., Wolfman, G., and Ruppin, E. (2002). "Placing Search in Context: The Concept Revisited." ACM Transactions on Information Systems, 20 (1), pp. 116-131.

Hill, F., Reichart, R., and Korhonen, A. (2015). "SimLex-999: Evaluating Semantic Models With (Genuine) Similarity Estimation." Computational Linguistics, 41 (4), pp. 665-695.

Hu, M. and Liu, B. (2004). "Mining and Summarizing Customer Reviews." In Proceedings of the 10th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, pp. 168-177.

Huang, E., Socher, R., Manning, C., and Ng, A. (2012). "Improving Word Representations via Global Context and Multiple Word Prototypes." In Proceedings of the 50th Annual Meeting of the Association for Computational Linguistics, pp. 873-882.

五十川真生，梶原智之，荒瀬由紀 (2019). 大域的な類似度と部分文字列を用いた未知語分散表現の生成手法. 言語処理学会第 25 回年次大会発表論文集, pp. 1049-1052. [M. Isogawa et al. (2019). Taiikiteki na Ruijido to Bubun Mojiretsu wo Mochiita Michigo Bunsan Hyogen no Seisei Shuho. Proceedings of the 25th Annual Meeting of the Association for Natural Language Processing.].

Kim, Y., Kim, K.-M., Lee, J.-M., and Lee, S. (2018). "Learning to Generate Word Representations using Subword Information." In Proceedings of the 27th International Conference on Computational Linguistics, pp. 2551-2561.

Kingma, D. P. and Ba, J. (2015). "Adam: A Method for Stochastic Optimization." In Proceedings of the 3rd International Conference on Learning Representations.

Lan, Z., Chen, M., Goodman, S., Gimpel, K., Sharma, P., and Soricut, R. (2020). "ALBERT: A Lite BERT for Self-supervised Learning of Language Representations." In International

Conference on Learning Representations.

Levy, O. and Goldberg, Y. (2014). "Dependency-Based Word Embeddings." In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics, pp. 302-308.

Luong, T., Socher, R., and Manning, C. (2013). "Better Word Representations with Recursive Neural Networks for Morphology." In Proceedings of the 17th Conference on Computational Natural Language Learning, pp. 104-113.

Marelli, M., Menini, S., Baroni, M., Bentivogli, L., Bernardi, R., and Zamparelli, R. (2014). "A SICK Cure for the Evaluation of Compositional Distributional Semantic Models." In Proceedings of the 9th International Conference on Language Resources and Evaluation, pp. 216-223.

Mehta, S., Koncel-Kedziorski, R., Rastegari, M., and Hajishirzi, H. (2020). "DeFINE: Deep Factorized Input Token Embeddings for Neural Sequence Modeling." In International Conference on Learning Representations.

Mikolov, T., Chen, K., Corrado, G., and Dean, J. (2013a). "Efficient Estimation of Word Representations in Vector Space." In Proceedings of the 1st International Conference on Learning Representations.

Mikolov, T., Sutskever, I., Chen, K., Corrado, G. S., and Dean, J. (2013b). "Distributed Representations of Words and Phrases and their Compositionality." In Proceedings of the 27th Conference on Neural Information Processing Systems.

Miller, G. A. and Chales, W. G. (1991). "Contextual Correlates of Semantic Similarity." Language and Cognitive Processes, 6 (1), pp. 1-28.

Ohashi, S., Isogawa, M., Kajiwara, T., and Arase, Y. (2020). "Tiny Word Embeddings Using Globally Informed Reconstruction." In Proceedings of the 28th International Conference on Computational Linguistics, pp. 1199-1203.

Pang, B. and Lee, L. (2004). "A Sentimental Education: Sentiment Analysis Using Subjectivity Summarization Based on Minimum Cuts." In Proceedings of the 42nd Annual Meeting of the Association for Computational Linguistics, pp. 271-278.

Pang, B. and Lee, L. (2005). "Seeing Stars: Exploiting Class Relationships for Sentiment Categorization with Respect to Rating Scales." In Proceedings of the 43rd Annual Meeting of the Association for Computational Linguistics, pp. 115-124.

Pennington, J., Socher, R., and Manning, C. (2014). "GloVe: Global Vectors for Word Representation." In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing, pp. 1532-1543.

Pinter, Y., Guthrie, R., and Eisenstein, J. (2017). "Mimicking Word Embeddings using Subword

RNNs." In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 102-112.

Qi, Y., Sachan, D., Felix, M., Padmanabhan, S., and Neubig, G. (2018). "When and Why Are Pre-Trained Word Embeddings Useful for Neural Machine Translation?" In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 529-535.

Radinsky, K., Agichtein, E., Gabrilovich, E., and Markovitch, S. (2011). "A Word at a Time: Computing Word Relatedness Using Temporal Semantic Analysis." In Proceedings of the 20th International Conference on World Wide Web, pp. 337-346.

Raheja, V. and Tetreault, J. (2019). "Dialogue Act Classification with Context-Aware SelfAttention." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 3727-3733.

Rubenstein, H. and Goodenough, J. B. (1965). "Contextual Correlates of Synonymy." Communications of the ACM, 8 (10), pp. 627-633.

Sasaki, S., Suzuki, J., and Inui, K. (2019). "Subword-based Compact Reconstruction of Word Embeddings." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 3498-3508.

Shen, D., Wang, G., Wang, W., Min, M. R., Su, Q., Zhang, Y., Li, C., Henao, R., and Carin, L. (2018). "Baseline Needs More Love: On Simple Word-Embedding-Based Models and Associated Pooling Mechanisms." In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics, pp. 440-450.

Shu, R. and Nakayama, H. (2018). "Compressing Word Embeddings via Deep Compositional Code Learning." In Proceedings of the 6th International Conference on Learning Representations.

Socher, R., Perelygin, A., Wu, J., Chuang, J., Manning, C. D., Ng, A., and Potts, C. (2013). "Recursive Deep Models for Semantic Compositionality Over a Sentiment Treebank." In Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing, pp. 1631-1642.

Suzuki, J. and Nagata, M. (2016). "Learning Compact Neural Word Embeddings by Parameter Space Sharing." In Proceedings of the 25th International Joint Conference on Artificial Intelligence, pp. 2046-2052.

Voorhees, E. M. and Tice, D. M. (2000). "Building a Question Answering Test Collection." In Proceedings of the 23rd Annual International ACM SIGIR Conference on Research and

Development in Information Retrieval, pp. 200-207.

Wiebe, J., Wilson, T., and Cardie, C. (2005). "Annotating Expressions of Opinions and Emotions in Language." Language Resources and Evaluation, 39 (2-3), pp. 165-210.

Yang, Z., Yang, D., Dyer, C., He, X., Smola, A., and Hovy, E. (2016). "Hierarchical Attention Networks for Document Classification." In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 1480-1489.

Zhang, X., Zhao, J., and LeCun, Y. (2015). "Character-level Convolutional Networks for Text Classification." In Cortes, C., Lawrence, N., Lee, D., Sugiyama, M., and Garnett, R. (Eds.), Advances in Neural Information Processing Systems, Vol. 28, pp. 649-657.

Zhao, J., Mudgal, S., and Liang, Y. (2018). "Generalizing Word Embeddings using Bag of Subwords." In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 601-606.

## 略歴

大橋空：2019 年大阪大学工学部電子情報工学科卒業, 同年同大学大学院情報科学研究科マルチメディア工学専攻に進学, 現在に至る. 自然言語処理の研究に従事.

五十川真生 : 2017 年大阪大学工学部電子情報工学科卒業, 2019 年同大学大学院情報科学研究科マルチメディア工学専攻修了. 修士 (情報科学). 同年ヤフー 株式会社に入社, 現在に至る.

梶原智之：愛媛大学大学院理工学研究科助教. 2013 年長岡技術科学大学工学部電気電子情報工学課程卒業. 2015 年同大学大学院工学研究科修士課程修了. 2018 年首都大学東京大学院システムデザイン研究科博士後期課程修了. 博士 (工学)，大阪大学データビリティフロンティア機構の特任助教を経て, 2021 年より現職. 情報処理学会, 人工知能学会, 言語処理学会, ACL 各会員.

荒瀬由紀：2006 年大阪大学工学部電子情報エネルギー工学科卒業. 2007 年同大学院情報科学研究科博士前期課程, 2010 年同博士後期課程修了. 博士（情報科学)，同年, 北京の Microsoft Research Asia に入社, 自然言語処理に関する研究開発に従事. 2014 年より大阪大学大学院情報科学研究科マルチメディア工学専攻准教授, 現在に至る。言い換え表現認識と生成, 機械翻訳技術, 対話システムに興味を持つ.

(2020 年 8 月 29 日受付)

(2020 年 12 月 16 日再受付)

(2020 年 12 月 29 日採録)

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 学会記事
## NLP 若手の会 (YANS) シンポジウム

高瀬翔†

## まえがき

本稿では 2020 年 9 月 23 日に開催されました, NLP 若手の会（以下 YANS 1 と表記）第 15 回シンポジウムの運営について，委員長を務めました，高瀬が記します。また，YANSの成り立ち, シンポジウムの開催形式や運営方式の変遷, これまでの施策についてもあわせて概観したいと思います，過去の歩みと現状をまとめた，備忘録のようなものを目指しますが，著者の個人的な見解も多分に含まれる点はご寛恕いただけますと幸いです.

## 1 YANS とは

YANS は自然言語処理および関連分野の若手研究者の交流を促進し，自然言語処理およびその関連分野の進歩・発展・普及を図ることを目標に運営しています (海野他 2017)，2006 年に最初のシンポジウムを開催して以降, 毎年 1 回シンポジウムを開催しています。また, 言語処理学会年次大会期間中に, 若手研究者を中心とした懇親会である, YANS 懇を開催しています 2 .

## 2 シンポジウムの変遷

YANS シンポジウムは第 1 回は口頭発表でしたが，以降は，多様な議論を生むことを期待して，ポスター発表のみとしています (海野他 2017)。ポスター発表以外には, 招待講演を第 4 回シンポジウムから実施しており，国際会議参加報告を第 4 回から第 13 回まで行っていました. また，第 10 回より，デモを提示する，デモ発表の募集も行っています.

開催形式としては, 第 1 回は 1 日, 第 2 回は 2 日, そして第 3 回は 1 泊 2 日の合宿形式となっています。しかし，第 4 回からは再び，宿を共にしない， 2 日間の開催となっており，第 8 回までこの形式が続きます。第 9 回シンポジウムでは 2 泊 3 日の合宿形式が取り入れられ，以降は

図 1 YANS シンポジウムにおける，参加者数・発表数の第 1 回（2006 年）からの推移.

この形式が続いています。第 15 回シンポジウムは新型コロナウイルス感染症のためにオンライン開催となりましたが，何事もなければ合宿形式で開催の予定でした。

参加者は第 1 回と第 7 回を除いて 80 名以上であり, おおよそ 80 名から 100 名で推移してきましたが，合宿形式となって 2 年目の第 10 回シンポジウムで 100 名を超え，以降は増加傾向にあります (図 1 参照 $)^{3}$. 参加者の内訳に関しては，少なくとも過去 5 年（第 10 回から 15 回）については，学生と社会人の人数比がおおむね 1:1 となっています.

## 3 YANS 運営委員について

YANS 運営委員会は 2020 年 11 月現在, 1 人の顧問, 2 人の委員長, 15 人の委員の計 18 人からなります。運営委員は自然言語処理および関連の深い分野に携わる博士後期課程の学生と, 企業で研究開発に取り組んでいる, あるいは大学や国立研究所に勤務している若手研究者で構成されており，任期は 2 年となっています 4.

委員長は 2012 年の第 7 回シンポジウムで設立されており，当初は 3 人かつ任期 3 年でした. しかしながら，3 年で一度に全員が入れ替わると引き継ぎ等に難があるだろうということで，第 12 回から 14 回までは，副委員長，委員長，顧問という肩書を設け，副委員長から顧問を務める 3 年までを任期とし，副委員長を毎年新たに任命する，いわば心太式にすることで，急激な変化による負荷を軽減する施策を取りました，紆余曲折の末 ${ }^{5}$ ，現在は委員長 2 人，顧問 1 人とい

う形式になっていますが, これも一時的なものである可能性は大いにあります.

## 4 交流のための施策

先述の YANS 懇のように, YANS では若手研究者の交流を促進するため, シンポジウムにおいても様々な施策を講じています。ここではその例を紹介します.

他研究会との協調多くの研究者同士が交流できるよう，他研究会との連続開催や合同開催を行っています。これまでに, 情報処理学会自然言語処理研究会（NL 研）との合同開催や連続開催, 高度言語情報融合フォーラム (ALAGIN) シンポジウムとの合同開催を行いました。また,過去には, 2016 年の International Conference on Computational Linguistics (COLING) 大阪開催にあわせて, Young Researchers Symposium on Natural Language Processing (YRSNLP) という，若手研究者のための国際ワークショップの開催も行っています.

ハッカソン自然言語処理の研究・開発を効率的に進める上でのコッを共有する機会として, また，合宿期間中に密なコミユニケーションを行うきっかけとして，合宿形式を再開した第 9 回シンポジウムから，ハッカソンを行っています。本ハッカソンでは, 特定の課題に取り組むケースと, 自然言語処理の関わる課題を自由に設定し, これに取り組むケースの 2 種類があり,各ケースへの参加希望に基づき, 初日にグループ分けを行います.この際, 各グループの所属を散らすよう意識するとともに, 研究・開発に経験の厚い方をメンターとして配置し, 初学者でも円滑に開始できるような調整を心がけています.

スポンサー募集合宿形式を採用した 2014 年から，スポンサーを募集し，経費や参加費の補助に当てています 6 . スポンサーの方にも合宿に参加していたたいており, 学生と密にコミュニケーションを取れると好評です。また，企業の内情のざっくばらんな話を聞くことができるため, 参加者の学生からも好まれています.

キャリアプランについて上述のスポンサー制度に加え, 参加者, 特に学生のキャリアデザインの一助になるような企画を行っています。第 8 回シンポジウムでは, 企業のインターンシップに参加経験のある学生に, 経緯や魅力を紹介してもらう「インターンのススメ」というポスターセッションを設けました。第 14 回シンポジウムでは, 社会人博士への進学, アカデミアから企業への転職など, 多様化するキャリアについて, 各人が何故その選択を行ったのか, 互いに意見を交換する，NLP 若手の悩めるキャリアというセッションを開催しました.

レクリエーション合宿形式となって以降, 参加者同士の交流のきっかけとなるよう, フットサルや観光などレクリエーションの時間を設けています。また，合宿における部屋割りや懇親会の座席については，所属が重ならず，年齢にも幅が出るように調整しています。

## 5 第 15 回シンポジウム

2 節に記したように，本年の第 15 回シンポジウムは新型コロナウイルス感染症の広がりを受け，オンライン開催としました。本節ではその経緯等について述べたいと思います.

第 15 回シンポジウムは当初, 例年通りに合宿形式で行う予定であり, 3 月には開催場所の選定を終え，後は契約を行うのみという状況でした。しかしながら，年始からの新型コロナウイルス感染症の感染者数の増加について, 収束の見通しが立たないことから, ローカルでの開催は難しいと判断しました。代替としてオンライン開催を行うべきかについては, 現状の YANS シンポジウムは合宿を通した交流がメインであり，オンライン開催の場合には交流が難しく，利点がかなり少ないのではないかという意見が委員内でもありました。一方で，最初の研究発表を行う場として YANS シンポジウムが必要であるという意見もあり, 最終的には, 研究発表に主眼を置いたシンポジウムを目標とし，オンラインでの開催を決定しました.

オンライン開催で難しいのがツールの選定です。貢献が明確であり，すぐにでも論文を書けるような内容の発表ばかりであれば，既にオンラインで開催されていた，言語処理学会年次大会を踏襲できたのですが，YANS シンポジウムでは始まったばかりの研究の発表を奨励しており，発表時間よりも議論の時間を多く取る必要があると考えました．学会のオンライン開催におけるツールとしてはZoom が主に利用されていましたが，当時のZoomではセッション間の往来が簡単には行えず7, 例えば言語処理学会年次大会におけるポスター発表では各発表ごとに Zoom のミーティングルームを立ち上げ，参加者が各ミーティングルームにアクセスするという形式を採用していました。この形式は聴講者の積極性に期待するところが大きく，発表者の肩書によって聴講者数に格差が生じてしまうのではないかという懸念があり, 今回のシンポジウムでは別の形式を模索しました。

最終的に，各セッションの一覧性が高く，また，セッション間の移動が簡便であるとして， Discord 上で行うことを決定しました88.このとき，聴講者の移動の手間を少なくするため， 口頭発表セッションのように, 複数の発表をまとめてセッションを構築し, 加えて, 活発な質疑が促されるよう，各セッションに座長を設けました.

オンライン開催での結果として, 参加者からは, 発表に対して有益なコメントが得られたという意見が多く，この点は狙い通りでした。一方で，新規の知り合いが増えた，交流ができたという声は少なく，ここ数年の YANS シンポジウムを望んでいた方にはやや期待はずれだった

可能性もあると感じています.

## 6 これからの YANS

本稿では，YANS シンポジウムの変遷やこれまでの施策を第 15 回シンポジウムの運営とあわせて紹介しました，参加者アンケートでは，交流に重きを置いた施策が好評であり，特に合宿形式を望む声は強く, 新型コロナウイルス感染症が収束すれば，再び合宿形式でのシンポジウ么開催を行った方が参加者全体での満足度は高いと考えられます。一方で，個人的には現状の YANS シンポジウムは参加者間の交流の側面が強すぎるきらいがあると感じており, 研究議論をより充実させるような施策を講じられればと思っています.

また，新型コロナウイルス感染症が数年間収束しない可能性もあり，同じ会場に物理的に集まってシンポジウムを開催するということがしばらくの間できない可能性もあります. 先述のように，第 15 回シンポジウムは急場の処置としてオンラインでの開催としました. 2020 年 11 月現在の状況を鑑みるに, 次回のシンポジウムもオンラインでの開催となるのではと思います. この数ヶ月で，だんだんとオンライン開催を行うためのツールも充実し, 知見も溜まってきたように感じていますが，参加者同士の交流という点ではローカルでの開催にまだまだ及びません. 若手の会と銘打つ以上, 大規模な会議では取り入れることの難しい企画や施策を設け, より良いシンポジウムを模索していければと考えています.

## 謝 辞

本稿の執筆にあたり，2020 年度に高瀬と共に YANS 委員長を務められた，井之上直也さんに有益な助言をいただきました。

## 参考文献

Cohn, T., He, Y., and Liu, Y. "Virtual Infrastructure Overview for EMNLP 2020." https: //2020 . emnlp.org/blog/2020-11-07-main-conference-infrastructure.

Lin, H.-T., Balcan, M. F., Hadsell, R., Ranzato, M., Boureau, Y.-L., Strobelt, H., and Larochelle, H. "Introducing the NeurIPS 2020 Main Program." https://neuripsconf.medium.com/ introducing-the-neurips-2020-main-program-1c3a3de85226.

NLP 若手の会. 第 12 回 YANS 懇のお知らせ. http://yans-previous.anlp.jp/modules/ journal/journal_detail.php?block_id=28\&news_id=47\&op=comment\#28. [Young Researcher Association for NLP Studies. Information of the 12th YANS-Meeting.].
海野裕也, 岡崎直観, 西川仁, 中澤敏明 (2017). NLP 若手の会. 人工知能, 32 (2), pp. 266-267. [Y. Unno et al. (2017). Young Researcher Association for NLP Studies. Journal of the Japanese Society for Artificial Intelligence, 32 (2), pp. 266-267.].

## 略歴

高瀬翔：2012 年東北大学工学部卒業. 2014 年東北大学大学院情報科学研究科博士前期課程修了. 2017 年東北大学大学院情報科学研究科博士後期課程修了. 2020 年 4 月より東京工業大学助教. 博士 (情報科学). 言語処理学会, ACL 各会員。


# 学会記事
## 言語返答と非言語返答を有する一人称視覚対話データセット

\author{
亀澤尚志†
}

## 1 はじめに

本稿では, EMNLP 2020 に採択された論文 “A Visually-grounded First-person Dialogue Dataset with Verbal and Non-verbal Responses"について解説を行う. 採択論文では, 言語返答と非言語返答を有する一人称視覚対話データセットを提案した．私たちのデータセットの大きな特徴は，視線を含む一人称の視覚情報と言語的かつ非言語的な返答がアノテーションされている点である。実世界の対話では, 相手の意図を理解するために, 相手がどこにいるのかや何に注意を払っているのかという一人称の視覚情報が重要である。また, 微笑むといった非言語的な返答も人とのコミュニケーションにおいて重要な役割を果たす。本解説記事では, どのように論文公開・採択まで至ったかについて採択論文の内容の説明を加えながら，時系列で紹介する。

## 2 テーマ決め

多くの新入生がテーマ決めに難航するように, 私も最初に取り組む研究テーマを決めるのに苦しんでいた．特に私は修士で専攻を変えており，学部時代も卒業論文を書かずに卒業したのでほぼゼロからのスタートであった. 研究室配属から約 2 ヶ月経ったころ, 研究テーマを決めあぐねている私に対して研究室の先輩が，「共同研究でテーマをもらって研究の1サイクルを回してみるのもいいんじゃない」と声をかけてくれた。幸いにも所属する研究室ではいくつかの共同研究があったのでその中から興味があるテーマを選ぶことができた。そのテーマがマルチモー ダル対話である．対話というとチャットボットのようにテキストのみが使われるケースが多いが, 音声や画像・映像などの複数のモダリティを組み合わせた入出力を扱うのがマルチモーダル対話システムである。共同研究先のヤフー株式会社が作成していたデータセット（VFDデータセット）では, 対話文のテキストのみではなくロボットなどの視覚を持つ対話エージェントを想定した一人称視点の画像と対話相手の視線の位置を有している。また, 対話文の返答は言語返答だけでなく非言語返答もアノテーションされている点がユニークである. VFDデータセットは, (1) エージェントの一人称画像, (2) 画像中の話者の発話, (3) 話者の視線の位置, (4) エー ジェントの言語返答と非言語返答を有する. 既存の GazeFollow データセット (Recasens et al.

## U : これのしはないのかしら \\ V : 同じ服がたくさんあるからどれかはしじゃないかな \\ $N$ ：同じ服のサイズをチェックする

図 1 提案した VFD データセットの例. U, V, N はそれぞれ Utterance, Verbal response, Non-verbal response を示す.

2015) の視線位置を含む一人称画像に対して, クラウドソーシングを用いて, 画像内の話者の発話とエージェントの言語および非言語返答をアノテーションした. 数としては約 3 万 4 千枚の一人称画像に対して, 約 30 万個の言語返答と 8 万個の非言語返答がアノテーションされている. VFD データセットの一例を図 1 に示す.この例を見ても分かるように, 対話エージェントは一人称画像が無いと, 話者の発話の代名詞「これ」が, 他の商品（例えば茶色の服）ではなく, 黄色の服の商品を指していることを認識するのが難しい.このデータセットを共有していただいた 2019 年 12 月に私は新しいマルチモーダル対話データセットの提案を行う研究を開始した.

## 3 大枠の作成

まず返答生成のタスクで, テキストのみを使った場合に比べて画像や視線の情報を加えるとより自然な返答が出力されるのか簡単に予備実験を行ってみた。シンプルな Seq2Seq モデルで実験した結果, 比較的短く無難な返答が生成される問題が発生した。生成結果は良好ではなかったが, 現段階の定量的なスコアを数値で出す必要があると感じ, 当時評価指標にあまり詳しくなかった私は BLEU スコアを出してみた。ここまでの進渉結果を研究室内ミーティングで共有したところ, 雑談対話タスクの評価で BLEU は適していないので他の自動評価尺度を探した方が良いとの指摘を受けた．評価指標について先行研究を調べてみると雑談対話のタスクを自動で評価するのは難しいことが分かってきた，機械翻訳であれば BLEU, 要約であれば ROUGE といった自動評価尺度が一般に使用されるが, 非タスク志向型の雑談対話では事実上標準の自動評価尺度は存在しない。予備実験の段階だったので別のタスク，返答選択タスクを次に試すことにした。選択タスクでは一つの正解を含む返答候補の中から正解文を正しく選ぶことができるかを測る。自動評価尺度としては, Ubuntu 対話コーパス (Lowe et al. 2015) で用いられていたRecall@kという指標を使用できた。予備実験において画像, そして視線のモダリティを加えることで精度が向上したので, 返答選択タスクの実験を論文に載せることに決定した.

最終的に論文に掲載した定量的な評価を表 1 に, 定性的な評価を図 2 に示す.数値結果を見

表 1 ベースラインモデルの言語・非言語返答選択問題での比較結果. U, I, G は, それぞれ入力に Utterance, Image, Gaze を使用していることを示す.

U:これを見て!

$\mathrm{V}(\mathrm{U})$ ：それは望遠鏡だよ $X$

$\mathrm{V}(\mathrm{U}+\mathrm{I})$ : 面白い顔だね $X$

$\mathrm{V}(\mathrm{U}+\mathrm{I}+\mathrm{G})$ : まだ青いけど旨そうだね

マ*：まだ青いけど旨そうだね

図 2 ベースラインモデルにより選択された言語返答と非言語返答の例。U, V はそれぞれ Utterance, Verbal response を, U, I, G は, それぞれ入力に発話, 画像, 視線位置を使用していることを示す.

ると,一人称画像は言語および非言語返答の選択性能を最大 5.6 ポイント向上させる（U vs U+I を参照). 視線の位置は最大 1.4 ポイントまで性能をさらに向上させる ( $U+I v s ~ U+I+G$ 参照). これらの結果は,エージェントの視線付き一人称視点の視覚情報が人間の意図を理解する上で有効であることを示している，図 2 に示す個別の例では, 発話のみを使用した場合, 代名詞「これ」 が何を指しているのか理解できていない．画像情報 $(\mathrm{U}+\mathrm{I})$ を使うと，モデルは画像の中の人間の顔に誤って焦点を合わせてしまい，「面白い顔だね」と反応してしまう．視線の位置 $(\mathrm{U}+\mathrm{I}+\mathrm{G})$ を使うことで，モデルは発話者がリンゴに注目していることを理解し，正しい返答を選択することに成功する。ベースラインモデルで予備実験を完成させ，上記の様な実験結果を一通り出したのが 2020 年 2 月中頃であった. 論文執筆経験が無いとはいえ春休みで十分に時間が取れることから 4 月上旬締切の COLING 2020への投稿を目指して論文執筆を開始した.

## 4 締切延期からの詰め

4 月上旬締切に向けて着々と進めていき,締切 2 週間前には論文を約 8 割方埋めることに成功していたが，かなり荒削りで完成にはまだまだ時間が必要だった。締切が近くなったとき, COLING の約 2 ヶ月の締切延長が通知された。COVID-19の影響で現地開催が危ぶまれる中, 本会議の日程を後ろにずらことで現地開催に望みを繋いだ結果であった．EMNLP の締切の方が早く来る

$
\begin{aligned}
& \text { U: 大きいね } \\
& \text { V: 一つ買っていこうか? } \\
& \text { N: 女の子が持っているかぼちゃを一つ買う }
\end{aligned}
$

\begin{abstract}
U1: Place near my house is getting ready for Halloween a little early.
V1 : Don't you think Halloween should be year-round, though?

U2 : That'd be fun since it's my favorite holiday!

V2 : It's my favorite holiday as well!

U3 : I never got around to carving a pumpkin last year even though I bought one.

V3 : Well, it's a good thing that they are starting to sell them early this year!
\end{abstract}

図 3 VFD データセット（上）とIGC データセット（下）の比較. U, V, N はそれぞれ Utterance, Verbal response, Non-verbal response を示す.

ので共著の方々と相談の上, 6 月初旬の EMNLP の投稿を目指すことに方針を変更した. 改めて注意深く論文全体を見直したところ, 関連研究の調査が甘いことが発覚した。それまで我々の VFD データセットはマルチモーダル対話という分野で先行研究が無いため新規性があると思い込んでいたのだが，よくよく調べてみると先行研究は存在した。例えば, 画像中の視覚的感情や表情, シーン特徴を用いた対話エージェントを開発した研究 (Huber et al. 2018)や, 公開データセットとして画像に基づいた対話をアノテーションした研究 (Mostafazadeh et al. 2017) がすでに提案されていた。今一度, 共著の方々と VFDデータセットの売り出し方について議論した結果, 一人称視点を強調することに決まった．既存のマルチモーダル対話の研究では画像は対話のトピックとして与えられており，対話エージェントが画像中の人物と話す状況を想定したものではなかった. VFDデータセットに最も近いIGCデータセット (Mostafazadeh et al. 2017) と比較する。図 3 は VFD データセット（上）と IGC データセット（下）を比較したものである. IGC データセットでは, 対話の話題として画像を用いており, 話者はエージェントの視界には現れない，一方，我々のVFD データセットでは，画像はエージェントの一人称視点であり, 画像内の話者と対話する状況を想定している。当初投稿を予定していた会議の締切延長の通知を受けてからの約 2 ヶ月で中身を充実させ何度も推敲したことで論文の完成度を高めることができた。

#
5 おわりに

はじめにの章で話したように, 私は研究や論文執筆の経験が全くなかったため, 共同研究のテーマで修士の研究をスタートした，共著の皆さんの大きな支えがあり, 着手してから約半年で論文を投稿し研究の 1 サイクルを早めに回すことができた。私は現在, 対話とは異なる別の
自然言語処理のタスクの研究を行っているが, EMNLPへの論文投稿・採択の経験がとても役に立っていると感じる．EMNLP で発表した論文では, データセットの紹介に重きを置いているため, ベースラインモデルはシンプルなものになっている. 視線の位置情報の扱い方や複数モダリティの結合の仕方など工夫できる点は多くある。また，返答選択タスクだけではなく生成夕スクにおいても複数モダリティが役に立つのか確かめる意義はある．VFDデータセットに少しでも興味をお持ちいただけたら公開 URL¹らぜひチェックしてみてほしい.

## 参考文献

Huber, B., McDuff, D., Brockett, C., Galley, M., and Dolan, B. (2018). "Emotional Dialogue Generation using Image-grounded Language Models." In Proceedings of the CHI Conference on Human Factors in Computing Systems, pp. 1-12.

Lowe, R., Pow, N., Serban, I. V., and Pineau, J. (2015). "The Ubuntu Dialogue Corpus: A Large Dataset for Research in Unstructured Multi-Turn Dialogue Systems." In Proceedings of the 16th Annual Meeting of the Special Interest Group on Discourse and Dialogue, pp. 285-294.

Mostafazadeh, N., Brockett, C., Dolan, B., Galley, M., Gao, J., Spithourakis, G., and Vanderwende, L. (2017). "Image-Grounded Conversations: Multimodal Context for Natural Question and Response Generation." In Proceedings of the 8th International Joint Conference on Natural Language Processing, pp. 462-472.

Recasens, A., Khosla, A., Vondrick, C., and Torralba, A. (2015). "Where are They Looking?" In Proceedings of the Advances in Neural Information Processing Systems, pp. 199-207.

## 略歴

亀澤尚志：2017 年慶應義塾大学経済学部卒業. 東京大学大学院情報理工学系研究科修士課程在籍中.