# レシピ分野における動作対象の状態変化を考慮した データセットの構築と検索モデルの提案

白井 圭佑 ${ }^{1}$, 橋本 敦史 ${ }^{2}$, 牛久祥孝 ${ }^{2}$, 栗田修平 ${ }^{3}$, 亀甲 博貴 ${ }^{4}$, 森 信介 4
1 京都大学大学院情報学研究科, ${ }^{2}$ オムロンサイニックエックス株式会社,
${ }^{3}$ 理化学研究所 AIP, ${ }^{4}$ 京都大学学術情報メディアセンター
shirai.keisuke.64x@st.kyoto-u.ac.jp,
\{atsushi . hashimoto, yoshitaka.ushiku\}@sinicx.com,
shuhei.kurita@riken.jp, \{kameko, forest\}@i.kyoto-u.ac.jp

## 概要

実世界で言語的な指示を理解し行動するエージェ ントは,その行動によって環境が現在の状態からど のような状態に変化するかを理解出来る必要があ る. 本研究では,料理ドメインにおいてこの問題を調查する為に, goal state identification by retrieval (GSIR) タスクを提案する。このタスクでは, 視覚的な現在 の状態と言語的な対象物と動作の情報を入力とし，動作後の視覚的な状態の検索を行う. 実験の為に, ウェブから日本語の 200 レシピを収集し，これを基 に Recipe-GSIR データセットを作成した. 本論文で は, 本タスクにおけるべースラインモデルとその発展モデルも提案し, それらの実駼結果を報告する。

## 1 はじめに

言語的な指示を理解し，それに基づいた行動を取 る自律エージェントの構築は自然言語処理における 一つの目標である [1]. 手順書に記述された一連の指示を遂行する場合には, 各指示文を理解し，それ対応した行動を実行する必要がある.しかし,これには 各動作によってその対象物の状態がどのように変化 するかを理解する能力が求められる。1)

本研究では,この問題に対処し, goal state identification by retrieval (GSIR) タスクを提案する.ここでは,動作後の状態が視覚的な情報として存在すると仮定 し，それを検索によって候補の中から特定すること を目指す. 入力としては, 視覚的な現在の状態の情報 と言語的な動作とその対象物の情報が利用可能であ るとする. 本タスクは, 動作による対象物の状態の変

1）例えば, "じゃがいも"を"切る"ことによって," じゃがいも” は切られた状態に遷移することをモデルが理解する必要があ る.

図 1 GSIR タスクの概要図。

化を考慮しなければならないという点で困難である といえる. 本研究では料理ドメインに限定し, ウェブ から収集した 200 レシピを基に, Recipe-GSIR データ セットを作成した.このデータセットでは,レシピ から抽出した動作とその対象物の単語列に対し, 付属の調理動画からサンプルした画像を用いること で, 動作前後の視覚的な状態の情報の付与を行った, また, 言語側のアノテーションはレシピ固有表現と レシピフローグラフ [2]を基に行った. さらに, 本研究では, 対象とする料理をサラダに限定してデータ セットを構築した. 本論文では, 図 1 亿示すように,共有埋め込み空間の学習によって GSIR タスクを解 く. 同時に,ベースラインモデルとレシピフローを利用した発展的なモデルも提案し,最後にそれらの定量的な評価を行う。

## 2 データセット

Recipe-GSIR データセットの構築の為に, まずクラ シル2)からサラダ 200 レシピの収集を行った.ここ で, 収集した各レシピは, それぞれ材料リスト, 調理手順書, 調理動画から成る. 表 1 亿収集した材料リス

2) https://www.kurashiru.com (2021/12/14).
表 1 材料リストと調理手順書の統計情報.

トと調理手順書の統計情報を示す3). 収集したデー タに対して, (i) レシピ固有表現 (r-NE) の付与, (ii)レ シピフローグラフ (r-FG) の付与, (iii) r-FG から抽出 した調理動作と対象物への動作前後の画像の付与を 行うことでデータセットの構築を行った. 以降では,各アノテーション手順について説明する.

## 2.1 レシピ固有表現 (r-NE)

まず,材料リストと調理手順書上の単語に r-NEの 付与を行った. r-NE タグには, 森ら [2] の提案した 8 タグを用いた. この中で, Ac, F, T の 3 タグは本研究 において重要であるため, 簡潔に説明する. Ac は調理者による動作のことを指し, 食材による動作 (Af) と区別する．F は食材を指し, 材料, 中間生成物, 最終生成物はこれに含まれる。Tは調理に用いられる道具を指し, 包丁や電子レンジ等がこれに該当する.

## 2.2 レシピフローグラフ (r-FG)

次に, r-NEに対して r-FGの付与を行った.ここで， r-FG [2,4] とは, r-NE を頂点とし, それらの関係を辺 とする有向非循環グラフである. r-FG ラベルには, 森 ら [2] の提案した 13 ラベルを用いた. この中で, Targ と Dest の 2 ラベルは本研究において重要であるた め, 簡潔に説明する. Targ は基本的に $\mathrm{F}$ を始点とし, $A c$ を終点とすることで, 食材 $(F)$ に対する動作 (Ac) を表現する. Targ は Acを始点に取ることも可能であ り,この場合は始点側の Ac はその動作によって生成 された中間生成物を表す. 一方で, Dest は F や Tを 始点とし, Acを終点とすることで, 動作 (Ac) が行わ れる方向又は場所としての食材 $(F)$ や道具 $(T)$ を表現する. Targ と同様に, Dest も Ac を始点に取ること が可能であり,この場合も Ac は中間生成物を表す.

ここまでに付与した $\mathrm{r}-\mathrm{NE} と \mathrm{r}-\mathrm{FG} を$ 基に, 調理動作とそれに紐づく対象物 (食材) と場所の情報を抽出 する.これは, Targ の終点の単語列を調理動作, 始点 の単語列を食材として抽出することで実現出来る.同様に, Acを終点に持つ Dest の始点の単語列を場所 として抽出を行う. 以降では,これによって得られた 調理動作, 食材, 場所からなる 3 項組を GSIR タスク

表 2 画像のアノテーション数.、は付与された要素を,同行の数はそれに対応する 3 項組の総数を, それぞれ示す.

における言語的な情報として用いる。

本研究では, さらにこの 3 項組を細粒度なものに 変換することを考える. ここで, 細粒度とは 3 項組内 の 1 動作が同時に 1 食材のみを取る場合を指すもの とする. 例えば, "レタスときゅうりを切る"という指示文では, 1 つの動作"切る"の対象として 2 つの食材"レタス"と"きゅうり"があるが, これは(切る,レタ ス), (切る,きゅうり)のように食材毎に動作を分割す ることで細粒度な組が得られる. しかし, 文書全体を 通して r-FG からの細粒度な 3 項組の自動抽出を行 うには, 各動作が生成する中間生成物の個数を把握 する必要がある. 例えば, 動作"切る"は $n$ 個の食材に 対して $n$ 個の切られた食材を生成するが, 動作"盛り 付ける"は対象とする食材の数に関わらず 1 つの盛 り付けられた食材を生成する筈である. 従って, 本研究では前者と後者の動作を区別し, 収集したレシピ から手動で作成したそれぞれのリストを用いること で, 細粒度な 3 項組の自動抽出を行った. これによっ て, 合計 3,705 組の細粒度な 3 項組が得られた。

## 2.3 細粒度な画像アノテーション

最後に, これらの 3 項組に対して動作前後の画像 の付与を行った. アノテーション候補の画像として は, 同一のレシピの調理動画から 3FPS でサンプルし た画像のみを用いた. アノテーションの際は, より対象の状態の変化がわかるように画像を選択した４）ま た, 対象の食材が $75 \%$ 以上見えない場合, 又は対象の 動作が動画内に存在しない場合には, 画像を付与す

4）例えば,"レタスを切る"という動作に対しては, 動作前の画像としては切られる前のレタスの画像が, 動作後の画像として は切られた後の状態のレタスのものが, それぞれ付与される.

図 2 共有埋め込みモデルの概要図.

る代わりに欠損値を記録した. 表 2 に本ステップに よって得られたアノテーション数を示す.

## 3 実験

## 3.1 GSIR タスク

GSIR タスクでは, 言語的な情報として調理動作 $a$ と $K$ 個の属性 $\left.\{t_{1}, \cdots, t_{K}\right.\}$ が与えられた時, 動作後の 視覚的な状態 $s_{\text {after }}$ を候補となる $N$ 個の画像の集合 $\left.\{s_{1}, \cdots, s_{N}\right.\}$ から特定することが目的である.ここ で, 候補の $N$ 個の画像の中には重複がないものとす る. また, $a$ と $\left.\{t_{1}, \cdots, t_{K}\right.\}$ に加え, 動作前の視覚的な 情報 $s_{\text {before }}$ も入力として用いることが可能であると する. 本研究では, 2.2 節の細粒度な 3 項組に含まれ る調理動作を $a$ とし, 対象物 $o$ と場所 $d$ をそれぞれ $\left(t_{1}, t_{2}\right)=(o, d)$ とする. また, 2.3 節で付与した動作前後の画像をそれぞれ $s_{\text {before }}, s_{\text {after }}$ として用いる.

## 3.2 共有埋め込みモデル

本研究では, 図 2 のように, 共有埋め込みモデル [5] を学習することで GSIR タスクを解く. まず, $a, o, d$ と $s_{\text {before }}$ を基に動作後の対象物 $o$ の状態を表す $\hat{h}_{o}$ を計算し，それを共有埋め込み空間上へ埋め込む. 同時に, 検索候補 $\left.\{s_{1}, \cdots, s_{N}\right.\}$ も同空間へ埋め込み, 対応する動作後の画像 $s_{\text {after }}$ の検索を行う. 以下では, これらの具体的な計算について説明する.

$s_{\text {after }}$ はまず, 畳み込みニューラルネットワーク $(\mathrm{CNN})$ を用いて特徵量 $h_{i}^{\text {after }} \in \mathbb{R}^{d_{i}}$ の抽出を行い, $\hat{h}_{i}$ を以下のように計算する。

$
\hat{h}_{i}=W_{2}^{I}\left(\operatorname{ReLU}\left(W_{1}^{I} h_{i}^{\text {after }}+b_{1}^{I}\right)\right)+b_{2}^{I},
$

ここで, $W_{1}^{I}, W_{2}^{I} \in \mathbb{R}^{d_{i} \times d_{i}}, b_{1}^{I}, b_{2}^{I} \in \mathbb{R}^{d_{i}}$ は学習可能な重 みである. 次に, Miech ら [6] に従い, 共有埋め込み空間上の表現 $\hat{h}_{i}$ を以下のように計算する.

$
\begin{aligned}
h_{v} & =\left(W_{3}^{I} \hat{h}_{i}+b_{3}^{I}\right) \circ \sigma\left(W_{4}^{I}\left(W_{3}^{I} \hat{h}_{i}+b_{3}^{I}\right)+b_{4}^{I}\right) \\
\tilde{h}_{v} & =\frac{h_{v}}{\left.\|h_{v}\right.\|_{2}}
\end{aligned}
$

ここで, $\sigma$ はシグモイド関数, 。は要素ごとの積であ $り, W_{3}^{I} \in \mathbb{R}^{d_{e} \times d_{i}}, W_{4}^{I} \in \mathbb{R}^{d_{e} \times d_{e}}, b_{3}^{I}, b_{4}^{I} \in \mathbb{R}^{d_{e}}$ は学習可能な重みである.

3 項組 $a, o, d$ は埋め込み行列を用いて $d_{v}$ 次元 のベクトルに変換し, それらを双方向長短期記憶 (BiLSTM) ネットワーク [7] を用いることで $d_{t}$ 次元 のべクトル $h_{a}, h_{o}, h_{d}$ にそれぞれ変換する. 動作前の視覚的な状態 s before は CNN を用いて特徴量 $h_{i}^{\text {before }} \in \mathbb{R}^{d_{i}}$ を抽出し, 以下のように $\hat{h}_{i}^{\text {before }} \in \mathbb{R}^{d_{t}}$ へ変換する。

$
\hat{h}_{i}^{\text {before }}=W_{1}^{T} h_{i}^{\text {before }}+b_{1}^{T} \text {, }
$

ここで, $W_{1}^{T} \in \mathbb{R}^{d_{t} \times d_{i}}$ と $b_{1}^{T} \in \mathbb{R}^{d_{t}}$ は学習可能な重み である.これらから, 動作後の対象物の状態 $\hat{h}_{o}$ を以下のように計算する。

$
\hat{h}_{o}=W_{3}^{T}\left(\operatorname{ReLU}\left(W_{2}^{T}\left[h_{a} ; h_{o} ; h_{d} ; h_{i}^{\text {before }}\right]+b_{2}^{T}\right)\right)+b_{3}^{T} \text {, }
$

ここで, ; は結合であり, $W_{2}^{T} \in \mathbb{R}^{4 d_{t} \times 4 d_{t}}, W_{3}^{T} \in \mathbb{R}^{d_{t} \times 4 d_{t}}$, $b_{2}^{T} \in \mathbb{R}^{4 d_{t}}, b_{3}^{T} \in \mathbb{R}^{d_{t}}$ は学習可能である. 最後に, 共有埋め込み空間上の表現 $\hat{h}_{o}$ を以下のように計算する.

$
\begin{aligned}
h_{t} & =\left(W_{4}^{T} \hat{h}_{o}+b_{4}^{T}\right) \circ \sigma\left(W_{5}^{T}\left(W_{4}^{T} \hat{h}_{o}+b_{4}^{T}\right)+b_{5}^{T}\right) \\
\tilde{h}_{t} & =\frac{h_{t}}{\left.\|h_{t}\right.\|_{2}}
\end{aligned}
$

ここで, $W_{4}^{T} \in \mathbb{R}^{d_{e} \times d_{t}}, W_{5}^{T} \in \mathbb{R}^{d_{e} \times d_{e}}, b_{4}^{T}, b_{5}^{T} \in \mathbb{R}^{d_{e}}$ は学習可能なパラメータである.

共有埋め込み空間上における $\tilde{h}_{t}$ と $\tilde{h}_{v}$ の距離は以下のように計算する.

$
D\left(\tilde{h}_{t}, \tilde{h}_{v}\right)=\left.\|\tilde{h}_{t}-\tilde{h}_{v}\right.\|_{2}
$

これを基に, $n$ 個の組 $\left(\left(\tilde{h}_{t, 1}, \tilde{h}_{v, 1}\right), \cdots,\left(\tilde{h}_{t, n}, \tilde{h}_{v, n}\right)\right)$ に 対して以下の Triplet Loss [8] を最小化するように重 みの調整を行う。

$
\begin{aligned}
\mathscr{L}=\sum_{i=1}^{n} \quad & \left.\{\max \left(D_{i, i}-D_{i, j}+\delta, 0\right)\right. \\
+ & \left.\max \left(D_{i, i}-D_{k, i}+\delta, 0\right)\right.\} .
\end{aligned}
$
表 3 Recipe-GSIR データセットにおける実験結果. 、は入力に用いた要素を意味する. また, 1 行目はランダムサーチに おける結果である。

ここで, $D_{i, j}=D\left(\tilde{h}_{t, i}, \tilde{h}_{v, j}\right)$ であり, $\delta$ はマージンを指 す. 式 (9) において, $D_{i, i}$ は正例の組における距離で あり $, D_{i, j}, D_{k, i}$ はそれぞれ負例の 3 項組と動作後の 画像に対する距離である. 本研究では, 負例はミニ バッチ内からのサンプリングで獲得する.

レシピフローを考慮したモデル. 2.2 節で説明し た通り,r-FG から抽出した対象物 $o$ や場所 $d$ は調理動作 (Ac) を表す単語列となる場合がある.この場合 には具体的な対象物や場所の情報が与えられなくな るため, 検索がより困難になるという問題がある.こ れに対処するために, r-FG のフローを利用し, 過去に その Ac タグを動作 $a$ として用いた際に得られた動作後の状態 $\hat{h}_{o}$ を, 中間生成物として $h_{o}$ や $h_{d}$ に用い ることが考えられる.このレシピフローを利用した モデルの精度も 3.4 節で報告する。

## 3.3 実験設定

モデルパラメータ. BiLSTM の隠れ層の次元は 256 とし, 1 層のものを用いた. 他の次元サイズはそ れぞれ $\left(d_{v}, d_{t}, d_{i}, d_{e}\right)=(496,512,2048,128)$ とした. CNN には事前学習済みの ResNet-152 [9] を, 重みを 固定して用いた. 学習可能な重みは AdamW [10] を,初期学習率 $1.0 \times 10^{-5}$ として用いた. また, エポッ ク数は 100 に設定した他, 無作為に抽出した 4 レシ ピに含まれるサンプルからミニバッチを構成した.式 (9)の $\delta$ は実験的に 0.1 に設定した.

評価. 学習と評価には, 動作後の画像が付与され ている 3,036 例を用いた. ここで, 3,036 例の内 484 例は動作前の画像が付与されていないが, それらに は $h_{i}^{\text {before }}$ の代わりに零べクトルを用いることで欠損値を表現した. モデルの評価は 10-分割交差検定 により行った. この際, データセット全体の $90 \%$ を 学習データに, 残りの $10 \%$ をテストデータとして 分割した. 評価指標には Recall@k(R@k) と Median $\operatorname{rank(MedR)}$ を用いた.

## 3.4 実験結果

表 3 に実験結果を示す. まず, 動作前の画像のみ $(2$行目) からでも, ある程度の検索が可能であることが わかる. しかし, 3 行目の結果との比較から, これよ りは調理動作の 3 項組を用いた方がより高い精度を 実現するとわかる。これは, 動作前の画像のみを用い る場合には, 同様の背景を持つ画像を対象に絞るこ とが可能であるが, どれが動作後のものとして適当 かまでは判別出来ないことが原因だと考えられる.次に, 3,4 行目の比較から, r-FG のフローを用いるこ とでさらなる精度向上の実現が可能だとわかる.こ れは, 過去に推定した $\hat{h}_{o}$ を $h_{o}$ や $h_{d}$ として扱うこ とが効果的であることを示唆している.これに加え て, 5 行目の結果から,フローを用いるか動作前の画像を用いるかでは後者の方が精度が高いことがわか る.これは, 前者ではフローから推定した現在の対象物の状態の情報を用いているのに対し, 後者では直 に現在の視覚的な状態を利用出来るためだと思われ る. 最後に, 6 行目の結果から, 入力として利用可能 な全ての情報を用いた場合に最も高い検索精度が実現出来ることがわかる.これに関しては,動作前の画像が付与されていない例に関しては,フローから推定した情報がより効果的に働く為だと考えられる。

## 4 おわりに

本研究では, GSIR タスクを提案し, 料理ドメイン において Recipe-GSIR データセットの構築を行った. また, ベースラインモデルの提案に加え, レシピフ ローを用いた発展的なモデルも提案し, それらの検索精度を定量的に評価した. 今後の方向としては, フ ローグラフから抽出した 3 項組だけでなく, BERT 等を用いて文書上のコンテキストを考慮した表現も 利用した精度向上が考えられる. また, 別の方向とし て,候補からの検索ではなく動作後の状態を表す画像を直接生成する方向も考えられる.
本研究は JSPS 科研費 21 H04910 および JST さきが

け JPMJPR20C2 の支援を受けたものである.

## 参考文献

[1] Terry Winograd. Understanding natural language. Cognitive psychology, Vol. 3, No. 1, pp. 1-191, 1972.

[2] Shinsuke Mori, Hirokuni Maeta, Yoko Yamakata, and Tetsuro Sasada. Flow graph corpus from recipe texts. In Proceedings of the Ninth International Conference on Language Resources and Evaluation, pp. 2370-2377, 2014.

[3] Graham Neubig, Yosuke Nakata, and Shinsuke Mori. Pointwise prediction for robust, adaptable japanese morphological analysis. In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, pp. 529-533, 2011.

[4] Hirokuni Maeta, Tetsuro Sasada, and Shinsuke Mori. A framework for procedural text understanding. In Proceedings of the 14th International Conference on Parsing Technologies, pp. 50-60, 2015.

[5] Antoine Miech, Dimitri Zhukov, Jean-Baptiste Alayrac, Makarand Tapaswi, Ivan Laptev, and Josef Sivic. Howto100m: Learning a text-video embedding by watching hundred million narrated video clips. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pp. 2630-2640, 2019.

[6] Antoine Miech, Ivan Laptev, and Josef Sivic. Learning a text-video embedding from incomplete and heterogeneous data. arXiv preprint arXiv:1804.02516, 2018.

[7] Alex Graves and Jürgen Schmidhuber. Framewise phoneme classification with bidirectional lstm and other neural network architectures. Neural networks, Vol. 18, No. 5-6, pp. 602-610, 2005.

[8] Vassileios Balntas, Edgar Riba, Daniel Ponsa, and Krystian Mikolajczyk. Learning local feature descriptors with triplets and shallow convolutional neural networks. In Proceedings of the British Machine Vision Conference, pp. 119.1-119.11. BMVA Press, September 2016.

[9] Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deep residual learning for image recognition. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 770-778, 2016.

[10] Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization. In Proceedings of the 7th International Conference on Learning Representations, 2019.

[11] Guillaume Lample, Miguel Ballesteros, Sandeep Subramanian, Kazuya Kawakami, and Chris Dyer. Neural architectures for named entity recognition. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 260-270, 2016.

[12] Yoko Yamakata, Shinsuke Mori, and John A Carroll. English recipe flow graph corpus. In Proceedings of the 12th Language Resources and Evaluation Conference,
表 4 r-NE タグと各タグのアノテーション数.

表 5 r-NE タグの推定結果.

## A r-NE/r-FG アノテーション

表 4 に r-NE タグの一覧と各タグのアノテーショ ン数を示す. 表において, 食材や分量のアノテーショ ン数が特に多い理由としては, それらが材料リスト に常に含まれれている為である. r-NE のアノテー ション結果がどの程度自動的に推定出来るかを調査 するために, r-NE の推定を固有表現認識 (NER) タス クとして捉え, BiLSTM-CRF モデル [11]を用いて学習と評価を行った.この際, 評価指標には精度, 再現率, $\mathrm{F}$ 値を用いた. 表 5 に 10-分割交差検定による結果を示す. 結果から, 学習後の NER モデルは非常に 高い精度で r-NE タグを推定出来ていることがわか る.これは, 対象のデータが料理ドメインの中でも特 にサラダに限定している為, 複数のレシピに出現す る特定の動作 $(A c)$ や食材 (F) の推定が比較的容易で あったからだと考えられる。

表 6 に r-FG ラベルの一覧と各ラベルのアノテー ション数を示す. 表において, Targ ラベルのアノテー ション数が最も多い結果となったがこれは先行研究 [4] と同じ傾向である. r-FG ラベルのアノテー ション結果がどの程度自動的に推定出来るかを調査 するために, r-FG の推定を最大全域木の推定問題と して捉元, 先行研究 [4] と同様に Chu-Liu/Edmonds $ア$ ルゴリズムを用いて推定した. この際, 前田ら [4] と 同様の特徴量を用いて学習と評価を行った.この際，評価指標には精度, 再現率, $\mathrm{F}$ 値を用いた. 表 7 に 10分割交差検定による結果を示す. この結果は, 先行研究 $[4,12]$ と比較して高い精度であるといえる. 考 えられる理由としては, 調理手順書のみを対象とし ている先行研究 $[4,12]$ と異なり,材料リスト上の表現から調理手順書上の表現にも r-FG ラベルのアノ テーションを行っている為, それらの一部のラベル の推定が比較的容易であったからだと思われる.表 $6 \mathrm{r}-\mathrm{FG}$ ラベルと各ラベルのアノテーション数.

表 7 r-FG ラベルの推定結果.

表 8 アノテーション一致率

## B アノテーション一致率

本研究では, 1 人のアノテーターによって 2 節の全 アノテーションが行われた. アノテーションの一貫性を調査するために, 別のアノテーターに無作為に 選択した 10 レシピのアノテーションを依頼し, 既に アノテーション済みのものを正解ラベルとして捉え ることで, 精度, 再現率, $\mathrm{F}$ 值を用いて一致率を計算 した. 表 8 にその結果を示す. 表から, r-NE のアノ テーションは非常に高い割合で一致していること がわかる.これは, r-NEに関しては,アノテーション 時にまずNER モデルによる推定結果を提示し, 誤り を訂正するようにアノテーターに依頼していたた め, 元々の NER モデルによる推定が高精度であった ことが理由だと考えられる. 次に, r-FGのアノテー ションでは少し一致率が低下しているが, これはア ノテーション時に頂点としての材料リストと調理手順書に含まれる全ての NE と辺としてのラベルが候補となることを考慮すると,一致率として高いとい える. 最後に, 画像のアノテーション結果では, r-FG の時からさらに一致率が低下していることがわか る.しかし,これも同様に, 調理動画からサンプリン グした全ての画像が候補となること, 動作前後の画像として適当なものが一つとは限らない5)ことを考慮すると,この一致率は十分に高いといえる。

5）複数の画像が同時に基準を満たす場合がある。


# 実体験を考慮した性格特性推定システムの構築

安積佑和 ${ }^{1}$ 奥村紀之 ${ }^{2}$
1 大手前大学 2 大阪市立大学

## 概要

本研究では，ソーシャルメディアからの性格特性推定のために，被験者実験により収集した実体験と 性格特性検査のための質問紙項目への回答（数値） を活用する手法について検討している．被験者実験 においては，Big Five（主要 5 因子検査）への回答 （数値）の他に，質問項目に該当する過去の実体験， または実体験がない場合は想定される状況について 回答させた. 収集した実体験例を基に Twitter の口 グから実体験例の拡張を行い，Word2Vec，Doc2Vec， Sentence BERT による性格特性の推定手法を構築し ている.

## 1 はじめに

2019 年末以降，世界的に新型コロナウイルス感染症が流行している。コロナ禍における自宅学習や在宅勤務などのライフスタイルの変化に伴い, うつや 不安に関する報告も増加傾向にある $[1,2,3]$. これ らの調査ではコロナ禍以前のうつや不安を訴える 人の傾向と比較し, パンデミックにおけるその傾向 はより強いものであると述べられている。そこで， ソーシャルメディアなどの発言履歴などから, 在宅 を余儀なくされている人々のうつや不安の兆候を抽出することができれば，メンタルヘルスの改善の一助となる可能性があると考えられる。

本研究では，ソーシャルメディアの記述を定量的 に扱い，発言者のうつや不安の傾向を捉えるため，性格検査に基づく手法を検討している. 本研究で対象とする性格特性の検査手法には, 主要 5 因子検査 （Big Five）の一つである NEO-FFI を採用している.

藤倉ら [4] は音声対話やツイートの特徵が Big Five の各要素の分類に結びつくことを示している. 那須川ら [5,6] は内容語だけでなく, 助詞やひらがなの 使用状況も性格と関係し，何を表現するかだけでな く，どう表現するかにより性格が反映することを示 している. 我々は，より人間らしい性格推定を行う
ため，実際の被験者が質問紙項目へ回答する際の基準となった実体験に基づく手法を提案する.

## 2 関連研究

本研究では，性格特性の推定に Big Five を使用す る. 2.1 節では Big Five について述べ，2.2 節では本研究のベースラインとなる性格特性の抽出手法につ いて解説する。

## 2.1 Big Five

性格特性を測る際の指標である Big Five は特性論 [7] の考え方であり，開放性 (Openness), 誠実性 (Conscientiousness), 外向性 (Extraversion), 調和性 (Agreeableness), 情緒不安定性 (Neuroticism) からな る 5 つの大きなパーソナリティ特性で人間を捉えよ うとする。

Big Five を測定するための尺度は Costa と McCrea による NEO-PI-R をはじめとして多数開発されてい る. 日本語においては下仲ら [8] による NEO-PI-R 日本語版，村上ら [9] による主要 5 因子性格検査,和田 [10] による Big Five 尺度などがある。 さらに，下仲ら [11] は 240 項目からなる NEO-PI-R の質問項目を 60 項目に短縮した日本版 NEO-FFI を開発して いる.これは各因子 12 項目合計 60 個の質問項目か らなっている. 各質問で最も当てはまらない 0 点か ら最も当てはまる 4 点の 5 段階で回答し, 最終的に は各因子最低 0 点から最高 48 点が算出される. 本研究では，下仲らの日本版 NEO-FFIを使用して性格特性の検査，アンケート，および性格特性の推定を 行う.

## 2.2 既存の性格推定手法

山下ら [12] の研究では, 性格情報を反映した発話文生成を行っており, 発話文生成に利用された性格推定手法をべースラインとして採用している.

この手法では本校で対象とする下仲らの日本版 NEO-FFIを用いており，各質問項目にキーワードを
設けている。性格推定をするテキスト中にそのキー ワードが入っているか，またはキーワードが否定形 に係っているかを見て得点の上下を行う. 各因子が 0 点から 48 点で表されることから, 中心の 24 点を 基準とし, そこから点数の増減を行い, 各因子の推定値を算出している。

## 3 実体験を考慮した性格特性推定手法

本研究では，統計的な情報による性格特性の抽出 ではなく，人間の実体験に基づく推定手法を提案 する. 以下，性格推定の実体験の収集，実体験の拡張，性格特性推定の手法について述べる.

## 3.1 実体験の収集アンケート

NEO-FFI の各質問項目に，人間であればどのよう に回答するかと考えた場合，被験者の実体験に基づ いた判断が必要となる. ソーシャルメディアへの書 き込みを投稿者の実体験とみなすことができれば，投稿者の判断基準に沿う性格特性の推定が可能とな ると考えられる。そこで，NEO-FFI の各質問項目に 対し， $0 \sim 4$ 点の得点を判断するに至った具体的な 実体験をアンケートにより収集する。

被験者 17 名に対し, 日本版 NEO-FFI の各質問項目への回答 (数値) に加え, 以下の 3 項目につい て回答させるアンケートを実施した。図 1 の例を 示す.

1. 各質問項目に対し $0 \sim 4$ 点の 5 段階の得点 (NEO-FFI で要求される各質問項目に対する $0 \sim 4$ 点の 5 段階の得点)

2. 実体験の有無 (実体験があるかをはい，いいえ の 2 択で回答)

3. 実体験の記入 (自由記述で回答. 複数の実体験 がある場合は，体験毎に改行し文を区切る．実体験がない場合は，改行の数値を選んだ根拠を 記入. 根拠は可能な限り実生活に基づくものと する)

図 1 「私は心配性ではない」という質問項目に関する実体験の回答例.
アンケートを実施した結果，不適切な回答や，記入した点数と実体験の内容の不一致などの問題が確認された．以下に不適切な回答の例を示す.

1. 自由記述で実体験とは言えない回答が含まれ る.

「特になし」や「あまり考えたことがなかった」 など.

2. 得点（回答の数値）と自由記述の実体験の内容 の不一致がある.

例えば，「私は心配性ではない」という質問項目に対し，「面接やテストなど練習、復習して いないと心配症になる」という回答に 3 点が付与されたり，「数は少ないが将来を見据えた決断時は心配面は比較的薄い。」という回答に 1 点が付与されるなど，実体験と数値の関係が反転しているものがある。(質問紙の逆転項目 ${ }^{1)}$ に 多い.)

3. 実体験の自由記述の一文中に性格検査の得点 （数値）と合う内容，合わない内容の両方が含 まれる。

例えば「よく緊張したり，神経過敏になったり する.」という質問項目に対し，「部活動の試合前は緊張しないが，就職活動の面接前は緊張し た.」ような回答がある.

4. 自由記述で実体験らしい回答が少なくなる質問項目がある.

「私のことを自分勝手で，自分のことしか考え ていない人間だと思っている人がいる」や「私 を冷たく計算高いと見ている人がいる」といっ た回答者が人にどのように思われているかを問 われる質問項目では実体験では判断しづらく,回答が少ない傾向がある.

これらの問題点に対し，2名での判定を行い，除外, 修正の判断を行った. 得点と実体験が一致して いないものについては 2 名で協議を行い，点数をそ のまま採用するか反転させるかを判断した. 収集さ れた実体験の文数, 不適切として除外した数, 点数 を反転させた数，文章を修正した数を表 1 に示す.

表 1 收集した実体験を補正した内訳

## 3.2 ソーシャルメディアからの実体験の自動拡張

実体験は千差万別であり，種々のソーシャルメ ディアから文章を取得したとしても，必ずしも適切に実体験リストとの関連が計算できるとは限 らない.そこで，NEO-FFI に回答したことがある ソーシャルメディアユーザの書き込みを利用し, NEO-FFI の各質問項目との類似性から実体験の自動拡張を考える. 奥村ら [13] が収集した 483 名分の性格検査の結果, および Twitter から収集したツイート を使用し，実例を自動で拡張する.ツイートから抽出した実体験には，そのユーザが回答した NEO-FFI の得点（数値）が付与されているため，NEO-FFI の 質問項目に対する実体験として数値を取得すること が可能となる.

実体験の自動拡張の前処理として，本稿で収集 した実体験と拡張に利用するツイートは形態素解析により分割する必要がある. 形態素解析器は $\mathrm{MeCab}^{2}$ [14]を使用し, 辞書には ipadic-Neologd[15], [16]，[17]を使用している.

実体験とツイートの類 似度の算出には, Word2Vec[18], Doc2Vec[19], Sentence BERT[20] の 3 種類のモデルを使用し，モデルの適切さを評価 する. Word2vec のモデルは, SNS データ, 日本語 Wikipedia，自動収集ウェブページから作成された 「日本語大規模 SNS+Webコーパスによる単語分散表現モデル [21]」, Doc2Vec でのモデルは日本語 Wikipedia から作成された「日本語 Wikipedia で学習した Doc2Vec モデル $\left.\left.{ }^{3}\right)\right.\lrcorner$, Sentence BERT のモデル は日本語 Wikipedia から作成された「cl-tohoku/bertbase-japanese-whole-word-masking $\left.{ }^{4)}\right.\lrcorner$ を利用した.な お，Doc2 Vec と Sentence BERT で利用したものは Wikipedia のモデルであるが，本稿の実験において は，ツイートによるファインチューニングは実施し ていない.

図 2 実体験拧張の手順.

図 2 に示した手法により，実体験の拡張を行う。

2) https://taku910.github.io/mecab/

3) https://yag-ays.github.io/project/pretrained_doc2vec_wikipedia/

4) https://github.com/cl-tohoku/bert-japanese/tree/v 1.0次節以降，実体験の拡張数と，性格傾向の性能の関係を検証する。なお，図 2 における各モデルの類似度については, 予備実験により最適と判定した数值 を使用している。

## 4 性格特性の推定手法

前節までの検証実験において，Word2Vec のモデ ルでは類似度の値が高くなり文間の類似度の差が抽出しづらいという問題があり, Sentence BERT のモ デルでは，筆者らの実験環境において計算時間がか かりすぎてしまうという問題があった. そのため,以降の性格特性の推定実験においては，Doc2Vec のモデルを採用している。検証には，Word2Vec， Doc2Vec，Sentence BERT の 3 種のモデルで拡張した 実体験例を使用する. 性格特性の推定が可能な類似度の閾値は，本稿の著者自身のテキストを利用し，最も著者の性格傾向に合う閾値として 0.5 を設定し ている.

図 3 性格推定の手順.

Doc $2 \mathrm{Vec}$ を利用し，入力文と全ての実体験例との 類似度を測定する.このとき，類似度が 0.5 未満と なった大力文については性格特性の推定にしょうし ないものとしている. この得点の算出方法により,性格推定で得られる得点に変動を持たせることがで きる.

## 4.1 実体験の拡張個数と性格傾向推定の正確性

この節では実体験の拡張個数を変化させて性格推定を行い，性格推定に必要な実例の拡張個数を検討 する．性格特性の推定モデルとして，使用する実体験例は少ない方が計算量の面で優位となるため，拡張に必要な最小限の文数のみを使用できるよう検証 を行う。

実体験例を拡張する個数による変化を調査するた め，NEO-FFI の各質問項目に対し， 10 文 50 文まで 10 文刻みで調査した.この際，改行を 1 文として性
格特性の推定を実施している. 実体験例の拡張に使用する文例はランダムに抽出している。 そのため,拡張に使用した各モデルに対し，各文数で 10 回ず つ性格推定を行った. 10 回試行後, 各因子での最高得点から最低得点の差は個数ごとに算出した平均值 を表 2 である。なお，拡張に使用する文数の検証に は計算時間の問題から Sentence BERT は使用してい ない.

表 2 最低得点と最低得点の差の平均值

さらに，上記の結果から拡張文数を 100 文 500 文の 100 文刻みで再調査した. 各手法, 各個数で 10 回ずつ性格推定を行った. 10 回試行した結果，各因子での最高得点から最低得点の差を個数ごとに算出 した平均値を表 3 に示す.

表 3 最低得点と最低得点の差の平均値

この結果から，100 文から 300 文にかけて差が小 さくなり，300 文から 500 文にかけて差が大きくな ることがわかる。そのため，1つの質問項目につき 300 文程度の実体験例の拡張が妥当だとわかった.

表 4 全ての手法の比較

表 4 に筆者のテキストを用いた性格特性の推定結果と山下らの手法，および実体験に基づく推定手法 の結果を示している.

## 4.25 名分の性格特性の推定

実体験例を使用した性格特性の推定モデルの検証 として，奥村らの使用していた NEO-FFI の解答結果 と各回答者の Twitter のログを利用し，性格特性の抽出を行った. 実際の性格検査の得点から推定した得点の差を集計し，絶対値に変換. 各手法で平均をし た値を表 5 に示す.

表 55 名分の性格特性推定結果の比較. A から E でそれ ぞれの被験者を表す. 各数值は，Big Five の OCEAN の各因子の推定値と実際の回答結果との差の絶対値を算出し, 5 因子の平均として表示している.

この結果から，Word2Vecを利用して実体験例を 拡張したモデルが良好であることが分かる。これ は，Word2Vecのモデルのみ SNS を利用したモデル を利用しているため, Wikipedia で構築した Doc2Vec および Sentence BERT のモデルよりも類似度を算出 しやすかった可能性がある。そのため，ファイン チューニングを施したモデルを利用した実験を行う 必要があると考えられる。

## 5 おわりに

本研究ではソーシャルメディアの記述を定量的に 扱い，発言者のうつや不安の傾向を捉えるため，実体験に基づく性格特性の推定手法を検討した. ソー シャルメディアをべースとしたユーザ自身の実体験 に基づく性格特性の抽出を行うため，従来手法に比 べ良好な結果が得られている。一方で，計算資源に よる制約のため，類似度算出の際に十分な検証がで きていない. 今後の課題として, Doc2Vec, Sentence BERT のファインチューニングを実施したモデルに よる性格特性の推定モデルの検証や，ソーシャルメ ディアを利用して構築されたモデルの検証があげら れる。

## 謝辞

本研究の実施に際して，性格特性検査のためのア ンケートにご協力いただいた皆様にこの場を借りて 感謝の意を表します。

## 参考文献

[1] Edmond Pui Hang Choi, Bryant Pui Hung Hui, and Eric Yuk Fai Wan. Depression and anxiety in hong kong during covid-19. Environmental Research and Public Health, 2020.

[2] Selçuk Özdin and Şükriye Bayrak Özdin. Levels and predictors of anxiety, depression and health anxiety during covid-19 pandemic in turkish society: The importance of gender. Social Psychiatry, 2020.

[3] Mark Shevlin, Orla McBride, Jamie Murphy, Jilly Gibson Miller, Todd K. Hartman, Liat Levita, Liam Mason, Anton P. Martinez, Ryan McKay, Thomas V. A. Stocks, Kate M. Bennett, Philip Hyland, Thanos Karatzias, and Richard P. Bentall. Anxiety, depression, traumatic stress and covid-19-related anxiety in the uk general population during the covid-19 pandemic. BJPsych Open, 2020.

[4] 藤倉将平, 小川義人, 菊池英明. 音声対話および twitter におけるユーザのパーソナリティ自動推定.言語処理学会第 19 回年次大会発表論文集, 2013.

[5] 那須川哲哉, 上條浩一, 山本眞大, 北村英哉. 日本語に おける筆者の性格推定のための言語的特徴の調査.言語処理学会第 22 回年次大会発表論文集, 2016.

[6] 那須川哲哉, 上條浩一. 日本語における筆者の性格推定の取組み. 言語処理学会第 23 回年次大会発表論文集, 2017

[7] 小塩真司. はじめて学ぶパーソナリティ心理学. ミ ネルヴァ書房, 2010 .

[8] 下仲順子, 中里克治, 権藤恭之, 高山緑. 日本版 neo-pi-r の作成とその因子的妥当性の検討. 性格心理学研究, 1998 .

[9] 村上宣寛, 村上千恵子. 主要 5 因子性格検査の世代別標準化. 性格心理学研究, 1999.

[10] 和田さゆり. 性格特性を用いた bigfive 尺度の作成.心理学研究, 1996.

[11] 下仲順子, 中里克治, 権藤恭之, 高山緑. 日本版 neo-pi-r, neo-ffi 使用マニュアル. 東京心理株式会社, 1999.

[12] 山下紗苗, 奥村紀之. 性格情報を反映した発話文生成. 人工知能学会全国大会論文集, 2021 .

[13] 奥村紀之, 金丸裕亮, 奥村学. 感情判断と bigfive を用 いたブログ著者の性格推定に関する調査. 人工知能学会全国大会論文集, 2015 .

[14] 工藤拓, 山本薫, 松本裕治. Conditional random fields を 用いた日本語形態素解析. 情報処理学会, 2004.

[15] Sato Toshinori. Neologism dictionary based on the language resources on the web for mecab, 2015.

[16] 佐藤敏紀, 橋本泰一, 奥村学. 単語分かち書き用辞書生成システム neologd の運用—文書分類を例にし て一. 自然言語処理研究会研究報告, pp. NL-229-15.情報処理学会, 2016 .

[17] 佐藤敏紀, 橋本泰一, 奥村学. 単語分かち書き辞書 mecab-ipadic-neologd の実装と情報検索における効果的な使用方法の検討. 言語処理学会第 23 回年次大会 (NLP2017), pp. NLP2017-B6-1. 言語処理学会, 2017.

[18] Tomas Mikolov, Kai Chen, Greg Corrado, and Jeffrey Dean. Efficient estimation of word representations in vec- tor space. In ICLR Workshop Papers, 2013.

[19] Quoc Le and Tomas Mikolov. Distributed representations of sentences and docuents. In International Conference on Machine Learning, 2014.

[20] Nils Reimers and Iryna Gurevych. Sentence-bert:sentence embeddings using siamese bert-networks. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing, 2019.

[21] 松野省吾, 水木栄, 榊剛史. 日本語大規模 sns+web コーパスによる単語分散表現のモデル構築.人工知能学会全国大会論文集, Vol. JSAI2019, pp. 4Rin113-4Rin113, 2019.


# 言語と動作の統合表現獲得による双方向変換

豊田みのり ${ }^{1}$ 林良彦 1 鈴木彼方 1,2 尾形哲也 3,4
1 早稲田大学 理工学術院 2 富士通株式会社
3 早稲田大学 理工学術院/理工総研 4 産業技術総合研究所
minori-toyoda@fuji.waseda.jp yshk.hayashi@aoni.waseda.jp
suzuki.kanata@fujitsu.com ogata@waseda.jp

## 概要

ロボットにとって，言語指示から動作を生成する 能力，逆に動作を適切に言語化する能力は，日常生活の場で人間と協働する上で不可欠である. 本研究 では言語と動作の Autoencoderを組み合わせ，さら に単語の事前学習済み分散表現を動作に即して変換 することで，言語と動作の双方向変換を実現した.大規模モーションキャプチャデータセットを用いた 相互変換の実験結果からは，提案するモデルが，既存手法に比べて一連の動作をより詳細に表す説明文 を生成する傾向にあること，言語コーパスのみから 学習された分散表現に比べ，より動作に基づいた表現を獲得できることが確認できた。

## 1 はじめに

ロボットにとって，言語指示から動作を生成する 能力，自身の行動を伝える能力は人間と日常生活の 場で協働する上で不可欠となる. ロボットによる言語理解では, 実世界の事物と言語表現を結びつける 必要があり, 機械学習を用いて実現する場合にはそ れらのペアデータセットが求められる. しかし，動作情報等を含めたデータセットは文章のみのデータ セットに比べ構築のコストが高い. さらに, 実生活 において言語も動作も一対一には対応しておらず，使用される可能性のある言語と動作の組み合わせを 全て学習させることは現実的でない.したがって， ロボットは未学習の単語を含む指示にも適切に対処 しながら，それらを双方向に生成する必要がある.言語と動作の双方向変換を単一のモデルで行なっ た研究として，言語と動作のそれぞれの Autoencoder (AE) の中間表現を近づけることで実現した研究 [1] が挙げられるが，データセット内の単語にのみ対応可能であった. 未学習の単語に関する研究として は，事前学習済みの分散表現の使用により学習済み

someone moves forward in a jog a human starts jogging, moving up its hands and stopping the jogging movement a person jogs for some meters a person jogs a few steps.

図 1 動作と参照キャプション例

単語の類義語の動作を生成した研究 [2] や，言語と 動作の相互変換において，動作の内容を反映するよ うに分散表現を変換する学習を行う研究 [3] がある.

後者の研究は，使用文脈が類似している単語には 類似した分散表現が与えられてしまうという分布仮説 [4] に起因する課題の解決を試みたものであり,例えば，対義語である"fast"と"slowly"を同一視する ことによるロボットの想定外の挙動を抑制するなど の実際的な効果が期待できる. しかし，これらの研究で用いられた指示や動作は非常に短く単純であ り，実世界に比べ非常に簡易的な設定 ${ }^{1)}$ であった.

本研究では，より実生活に即した環境での双方向変換を実現することを目的とし，そのためにモー ションキャプチャと自然言語の参照キャプションの 大規模なぺアデータセット [5]を使用する. 先述の 1 つのモデルで双方向変換を実現したモデル [1] と，分散表現を変換することで未学習の単語も受容可能 としたモデル [3] の2つの双方向変換モデルを用い，様々な系列長のより多様な言語や動作へにおける挙動を比較する．後者のモデルでは，動作の情報を含 むように変換された単語の分散表現が獲得されるた め，その結果についても考察する。

1）前者の研究 [1] では 1 単語の指示から 3 種類の動作のいず れかを生成した. 後者の研究 [3] では BOS と EOS 含めた 5 単語の指示から 12 種類の動作を生成した. 後述するモーション キャプチャのデータセットと比べて，言語も動作もバリエー ションに乏しく小規模なものであった.

図 2 使用モデル：retrofitted Paired Recurrent Autoencoder

## 2 言語と動作の双方向変換モデル

本研究では，言語と動作の双方向変換を実現する モデルとして，単一のモデルで言語と動作の双方向変換を実現したモデル Paired Recurrent Autoencoder (PRAE) [1] と, 図 2 に示す未学習の単語も受容可能な統合表現獲得モデル retrofitted Paired Recurrent Autoencoder (rPRAE) [3] を用いる. PRAE は言語用 と動作用の 2 つの Recurrent AE (RAE) で構成され,両 RAE は入出力の恒等写像を行うが，言語と動作 を結びつけるために両中間表現を近づける制約を与 えている. rPRAE は，PRAE に単語の分散表現を動作の情報を含むべクトル表現に変換する非線形層 retrofit layer を加えることで拡張したモデルである.

## 2.1 基本モデル

基本モデルとなる PRAE は動作用 RAE (図 2 上部) と言語用 RAE (図 2 中部) で構成され，共にエンコー ダ RNN とデコーダ RNN から成る. 本研究におい て，動作用 RAE ではエンコーダ・デコーダそれぞ れにモーションキャプチャによって得られた全身の 関節角度と身体の位置，向きを動作情報として入出力する. 言語用 RAEでも等しく単語の分散表現を 入力し，各単語を出力する.

PRAE は両 RAE の再構成誤差に加え，言語と動作 を対応づけるための各中間表現を近づける制約を 課している. 理想的には 2 つ表現が等しくなり， この表現でそれぞれのデコーダを初期化すること で 1 つのモデルで双方向変換が可能となる. バッ チサイズを $N$ ，言語・動作の中間表現をそれぞれ $\left.\{z_{i}^{d} \mid 1 \leq i \leq N\right.\},\left.\{z_{i}^{a} \mid 1 \leq i \leq N\right.\}$ とした時, 各内部表現 を結びつける損失関数は以下である。

$
\begin{aligned}
L_{b i} & =\sum_{i}^{N} \psi\left(z_{i}^{a}, z_{i}^{d}\right) \\
& +\sum_{i}^{N} \sum_{j \neq i} \max \left.\{0, \Delta+\psi\left(z_{i}^{a}, z_{i}^{d}\right)-\psi\left(z_{i}^{a}, z_{j}^{d}\right)\right.\}
\end{aligned}
$

ここで $\psi$ はユークリッド距離を表し，初項は対応す る内部表現を近づけ，第二項は対応しないものを遠 ざける. また $\Delta$ は閾值を示すパラメタである.

## 2.2 分散表現を動作に対応づける変換

事前学習済みの単語の分散表現を，ロボットに とって理解しやすい動作の情報も含む表現に変換す るため，rPRAE では言語用 RAEへの入力前に非線形層 (retrofit layer, 図 2 下部) を組み込む.この非線形層では分布仮説によって学習された分散表現を動作や状況に合わせたべクトルに変換し，より実世界 の事象に即した表現を言語用 RAE に入力する。

本研究では活性化関数に $\tanh$ を用いた 3 層の非線形層を用いている。また， パラメタ数の増加に伴う モデルの表現力を制限し過学習を防ぐため，2 つの RAE と retrofit layerを交互に学習する。

## 3 実験

## 3.1 実験設定

より実世界に近いデータでの双方向変換を実現するため，モーションキャプチャと参照キャプ ションの大規模データセット KIT Motion-Language Dataset [5]を用いて実験を行なった.

実験は動作情報からの説明文生成，参照キャ プションからの全身の動作生成という 2 種類 のタスクから成る. 文生成の評価は BLEU [6],
表 1 言語生成および動作生成結果

SimCSE [7] によって得られた文べクトルの $\cos$ 類似度, BERTScore [8] の定量的評価に加え定性的評価を 行なった. 動作生成の評価は，各動作を評価する一定の尺度がなく動作レベルでの定量的評価が困難な ため，生成した動作を共通の学習済みのモデルを用 いて逆翻訳した文に同上の定量的評価を行なった。上記の指標を用い，PRAE と rPRAE を比較した。

## 3.1.1 KIT Motion-Language Dataset

KIT Motion-Language Dataset は 3,911 個 (約 11.23 時間) の動作情報と，それらを説明する 6,278 文の英語の参照キャプションで構成される.

動作情報とは 44DoF (Degrees of Freedom) の全身 の関節角度と各 $3 \mathrm{DoF}$ の身体の位置と向きを合わせ た計 $50 \mathrm{DoF}$ のデータである. 本研究では双方向変換の先行研究 [1] に則り 1 秒未満および 30 秒より長 いデータを削除し，各動作を $100 \mathrm{~Hz}$ から $10 \mathrm{~Hz}$ にダ ウンサンプリングしている.

参照キャプションの文長は 5～44 単語である. 本研究では各単語の分散表現として 300 次元の事前学習済みの Word2Vec [9] のベクトル2)を用いる。この 使用により, PRAEでも未学習の単語に対応可能と なる. また適切に分散表現が変換されたことを確か めるために, 事前学習済みの Word2Vec モデルにな い単語を含むキャプションも除いた.

したがって, 本研究では少なくとも1つキャプ ションを持つ 100～3000 ステップの動作と，全ての 単語に事前学習された分散表現を持つキャプション のペアデータを用いて学習および評価を行なった.使用した動作は 2721 データ，キャプションは 5〜38 語からなる 5538 文 (1331 語彙) であり，80\%を学習 に，バリデーションと評価に $10 \%$ ずつを用いた.

## 3.2 実験結果

## 3.2.1 実験 1 ：動作による言語生成

動作用 RAE のエンコーダと言語用 RAE のデコー ダを用い，入力動作の説明文を生成した. 表 1 に 生成文の定量的評価の結果を, AppendixA の図 5 に

具体的な生成例を示す. $P_{B E R T}, R_{B E R T}, F_{B E R T}$ は BERTScore の Precision, Recall, F1 值を表し, 文長と 種類は生成文に含まれる平均単語数と出力文の異な り文数を表す。ここで，評価用参照キャプションの 平均文長は 9.573 単語，異なり文数は 520 であった.定量的評価においては，PRAE の方が良い結果を 示した. 用いた評価指標は，いずれもキャプション との一致度に基づくものであり，PRAE の方がより 学習データに忠実な生成を行う傾向にあることが分 かる。一方で rPRAE は, 文法的にも複雑な表現を 用いて詳細な記述を生成する傾向がみられた。これ らの多くは意味的には適切であると定性的には評価 できるが，現在用いている定量的指標だけでは評価 が困難であると考えられる。

rPRAE がより詳細な文章を生成する理由として以下が推察される。.rPRAE は分散表現を動作に即した 表現に変換するため，近い動作を表す複数の単語が 類似した分散表現を持つ. このため，似ている分散表現を持つ多くの単語に対して学習される出力単語の例が増加し, より詳細な説明文が出力されたと 推測できる. 本研究の文生成においては，greedy に 次の単語を選択するため, 類似した表現を持つ複数 の入力単語に対して, 確率の高い単一の単語を出力 する。これにより，異なり文種が少なくなったと考 えられる. PRAEが rPRAE に比べてやや文長が短く なった理由は，似ている分散表現に対する出力単語 が rPRAE に比べて少ないことから, 各動作を形容 する歩数や方向などの補足情報のうち多く共通して いる表現を出力したものと考えられる。

## 3.2.2 実験 2 : 言語による動作生成

言語用 RAE のエンコーダと動作用 RAE のデコー ダを用い，キャプションから動作を生成した。表 1 に，rPRAEを用いて生成動作を逆翻訳した文の定量的評価の結果を示す. 実験 1 と同じく PRAE の方が やや高い結果となった。これは，今回の評価データ には使用文脈の類似により動作生成に悪影響を及ぼ す可能性のある単語が含まれておらず, rPRAEがそ の特性を発揮できなかったことが影響したと考えら れる. rPRAE 自体の有効性を示すためにはそのよう

図 3 変換前の Word2Vec による各単語の $\cos$ 類似度

図 4 変換された各単語の $\cos$ 類似度

なデータを用いて再度検証を行う必要がある.

## 3.3 非線形変換後の分散表現

rPRAE の retrofit layer により動作の情報を含むよ う変換した各単語の表現の $\cos$ 類似度の例を図 4 に 示す. 図 3 は変換前の Word2Vec の分散表現である.

これらの図から, 特に"forward"と"backward", "fast" と"slowly"などの文章中での使われ方が似ている対義語が，実際の動作に即し類義語間では高い類似度 を，対義語間では低い類似度を示すようになった。一方で，大小に関する形容詞では期待した結果は 得られなかった.まず，"small"と"little"が中程度の 類似度を示したのは，キャプション内での使われ方 に起因すると考えられる。"small"は circle などの物理的な形を形容する際に多く使われたが，"little"は 程度を表す場合が多かった。これらの指す対象の 差から類似度がやや低くなったと推察できる。ま た"small"と"big"，"large"が高い類似度を示した理由 としては，元来の類似した表現に加え，アノテータ によって尺度が異なるためと推測する。大人と子供 が何かを見たときに感じる大きさが異なるように，自身の身体性により大小の感覚は様々である. 本研究では文脈非依存の単語の分散表現を用いている が，文脈としてロボットの身体情報やアノテータの 尺度の傾向を与えた言語と動作の統合表現を獲得す ることで，よりロボットの言語理解に適した表現と なると考えられる。

## 4 おわりに

本研究ではより現実に即した設定で言語と動作 の双方向変換を実現し，2つのモデルの比較を行っ た. 1 つは基本となる双方向変換モデル (PRAE)で， もう 1 つは単語の分散表現を動作の情報と対応づけ る変換を行う統合表現獲得モデル (rPRAE) である. モーションキャプチャと参照キャプションで構成さ れる大規模データセットを用いて様々な系列長の多様な言語や動作への挙動を実験的に比較したとこ ろ，今回の実験設定では言語と動作の両方の生成に おいて, 前者の双方向変換モデルの方が定量的評価 が良いことが分かった. 一方で統合表現獲得モデル は，より詳細な文章を生成する傾向があることも確 かめられた. 提案の rPRAE モデルは, 分布仮説に 基づく分散表現の課題を解決し, 動作との対応付け により対義語の表現を分離することを狙ったモデル であるため，この目的に適合したデータセットを作成する必要がある。

今回利用したデータセットには視覚情報は含ま れなかった．より現実世界に近い状況での双方向変換実現においては，視覚などの他モダリティの統合 も研究課題である. また言語生成の評価に関して は，動作情報を含むべクトル表現を活用した評価を 行う.

## 謝辞

本研究は，JST ムーンショット型研究開発事業 グ ラント番号 JPMJMS2031，JSPS 科研費 17H01831 の 支援を受けた。

## 参考文献

[1] Tatsuro Yamada, Hiroyuki Matsunaga, and Tetsuya Ogata. Paired recurrent autoencoders for bidirectional translation between robot actions and linguistic descriptions. In IEEE Robotics and Automation Letters, pp. 3441-3448, 2018.

[2] David Matthews, Sam Kriegman, Collin Cappelle, and Josh Bongard. Word2vec to behavior: morphology facilitates the grounding of language in machines. 2019 IEEE/RSJ International Conference on Intelligent Robots and Systems, 2019.

[3] Minori Toyoda, Kanata Suzuki, Hiroki Mori, Yoshihiko Hayashi, and Tetsuya Ogata. Embodying pre-trained word embeddings through robot actions. IEEE Robotics and Automation Letters, Vol. 6, No. 2, pp. 4225-4232, 2021.

[4] Zellig S Harris. Distributional structure. Word, Vol. 10, No. 2-3, pp. 146-162, 1954.

[5] Matthias Plappert, Christian Mandery, and Tamim Asfour. The KIT motion-language dataset. Big Data, Vol. 4, No. 4, pp. 236-252, 2016.

[6] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th annual meeting of the Association for Computational Linguistics, pp. 311318, 2002.

[7] Tianyu Gao, Xingcheng Yao, and Danqi Chen. SimCSE: Simple contrastive learning of sentence embeddings. In Empirical Methods in Natural Language Processing, 2021.

[8] Tianyi Zhang*, Varsha Kishore*, Felix Wu*, Kilian Q. Weinberger, and Yoav Artzi. Bertscore: Evaluating text generation with bert. In International Conference on Learning Representations, 2020.

[9] Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg S Corrado, and Jeff Dean. Distributed representations of words and phrases and their compositionality. In Advances in neural information processing systems, pp. 3111-3119, 2013.

## A 動作による言語生成例

3.2.1 節で議論した言語生成結果を図 5 に示す. 特に注目すべき表現を赤字で，誤った表現を青字で表記し ている。表 1 から分かるように，言語生成において rPRAE は定量的評価では PRAE に比べ悪い結果を示した が，図 5 のように詳細な表現を記述を生成する傾向が確かめられた.

(a) は左手で身体の前に円を描いている動作であるが，左右の手を正しく記述しているだけでなく，possibly 以下に補足情報をつけている。使用データセットでは手や指の開閉に関する情報はないため，実際の参照 キャプションよりも詳細な例として提示する. (b), (c) も同じくrPRAEがキャプションに比べ，より細かく 時系列に沿った文を生成した例である。それぞれの例の上部に提示した一連の動作から分かるように，接続詞や前置詞を正しく用いた適切な順序の記述が確かめられた。(d)，(e) はキャプションよりも適切と思われ る生成が確認できた。(d) は実際の動作からキャプションが誤りであることが確かめられており，PRAE と rPRAE の方が正しい生成ができた。 (e) は一見した限りでは不明な動作であるが，rPRAE は抽象的なレベル の表現での生成を的確に行っている. (f) は補足情報の付加による失敗例である. 具体的には，動作の向きの 情報が誤っている.

これらの例の多くは意味的には適切であると定性的に評価できるものの，現在用いている定量的指標だけ では評価が困難である。また，補足情報を必要以上に加えることで (f) の例のように不適切な文となってし まう場合がある．ここから，歩くや走るなどの動作の種類のみを出力し，確証度の低い補足情報は出力しな い，といった出力される情報の粒度などを制御できることで，より実用的な場面での使用が期待できる.

caption someone moves his left arm. a man wipes something with his left hand

rPRAE a person performs a circular motion with his left hand possibly gripping an object

PRAE a person wipes something with its left hand

(a) wipe (left hand)

caption a human who looks sad to the left.

rPRAE a person practices a golf swing

PRAE a person doing a golf swing.

(d) play minigolf

caption someone sprints forwards a human runs 4 steps forward in a fast speed. a person is running forward. a person runs forwards a person walks fast.

rPRAE a person performs a few running steps from still stand and comes to rest again.

PRAE a person jogs forward

(b) run forward

caption a human impersonates a chicken flapping its wings. someone imitates a chicken a human is wagging its arms like a "chicken" a person moves his hands to his chest and moves his elbows up and down several times a person does the chicken moves

human performs a chicken dance a person squats while doing a chicken wing motion with his arms.

rPRAE a person interacts with something uses a complex sequence of interactions.

PRAE a person dances with another person

(e) imitate chicken (uncertain action)

図 5 説明文の生成例

caption a person is pushed to the right. somebody is pushed to the right.

rPRAE a person gets shoved from the left while standing and performs a recovery step to the right. PRAE a person gets pushed from the right

(c) pushed to right

caption a person walking forwards, turning on the righ food and walking back a person is walking forward than rotates 180 degree on it's right foot and walks back to it's starting position.

rPRAE a person walks little bit and then makes a sharp turn to the left.

PRAE human goes forward and turns around partway (f) walk forward and u-turn (turn right)


# 強化学習における画像キャプションの低識別性問題と Long-Tail 分類手法を用いた対処

本多右京 ${ }^{1,2}$ 渡辺太郎 ${ }^{1}$ 松本 裕治 ${ }^{2}$
1 奈良先端科学技術大学院大学 2 理化学研究所
\{honda.ukyo.hn6, taro\}@is.naist.jp yuji.matsumoto@riken.jp

## 概要

画像キャプションは，他の画像から入力画像を識別できるような，各画像に特徴的な情報を述べてい ることが望ましい，しかし，強化学習を用いたキャ プション生成モデルは，高性能でありながら過度に 一般的な内容のキャプションを生成してしまう，興味深いことに，強化学習はキャプション中の語彙を 減少させる. 本研究ではこの語彙の減少が低識別性 の原因であると仮説を立て，long-tail 分類の手法を 痛して既存モデルの語彙の増加を図る．実験の結果，提案手法が既存モデルの語彙を増加させるとと もに，識別性も顕著に向上させることを確認した。 また，低計算コストながら，識別性向上を図った先行研究に対しても識別性で上回ることを確認した.

## 1 はじめに

画像キャプション生成 ${ }^{1}$ は画像の説明文を生成す るタスクである．生成されたキャプションは，視覚障害者の補助 [1], 画像や動画の内容に基づく質問応答 $[2,3]$ ，画像に関する対話生成 [4]，画像を用いた ニュース生成 [5] など，様々な用途で活用されうる。

これらの用途で言及される情報は，各画像の特徴的な情報である. しかし，キャプション生成モデル は過度に一般的な内容のキャプションを生成して しまう (図 1 参照). 識別性のあるキャプション生成は，各画像の特徴的な情報を他の画像から大力画像を識別できる情報と捉え，この識別性を高めるこ とを目標とする [6]. 先行研究では, 識別性向上に特化した新たな報酬やモデルが提案されてきた2) かし，これらの手法は計算コストの増加を伴い，さ らにモデルを一から学習するコストを生じさせる.

本研究では，これらの計算コストを避け，学習済 みの既存モデルの識別性を高める方法を検討する.

2）関連研究の詳細は付録 Aを参照.

図 1 MS COCO 開発セットでの出力例. Transformer RL は強化学習を用いた Transfromer モデル，+wFT はそれに提案手法の fine-tuning を加えたモデルを指す. 前者は同一 の出力. 後者はその他に特徴的な情報（下線部）を含む.

特に，識別性改善の余地が大きい，強化学習を用い たモデル [7] に着目する. キャプション生成での強化学習は，様々な評価指標での顕著な性能向上にも かかわらず，識別性に関しては改善がないか，ある いは低下させることが報告されている $[8,9]$. 興味深いことに, 強化学習はキャプション中の語彙を減少させる [10]. モデルは実際に扱える語彙を超えた 詳細を記述することが難しいため，語彙と識別性に は強い関連がある。そこで，本研究ではこの語彙の 減少が低識別性の原因であると仮説を立て，識別性 のあるキャプション生成を，既存モデルの語彙増加 のタスクとして捉え直す. 語彙増加の目的関数は簡明であり，提案手法である， long-tail 分類手法を応用した少量の fine-tuning で達成可能となる. 実験の 結果，提案手法が既存モデルの語彙を増加させると ともに，識別性も顕著に向上させることを確認し た。また，低計算コストながら，識別性のあるキャ プション生成モデルに対しても識別性で上回った.

## 2 強化学習とその副作用

キャプション生成における強化学習 キャプショ ン生成における強化学習は，微分不可能な評価指標スコアを直接最大化することを目的とする。 REINFORCE [11]を適用することによって，評価指

図 2 MS COCO の学習用の各画像に 5 文ずつサンプリン グされた単語系列中の，単語の相対頻度. OOVを示す特殊トークン 〈unk〉を除く9,486 語を対象とした. 単語は頻度順にソートされ，200の binに分割されている．最初の 10 個の bin と, 残りの合計の相対頻度を表示. GT は正解 キャプション. CE は最尤推定法, RL は強化学習で学習 されたモデルの出力を示す. モデルは Transformer.

標スコアの微分を回避しながら，勾配を以下のよう に求めることができる $[12,7]$.

$
\nabla_{\theta} L_{\mathrm{RL}}(\theta) \approx-\left(r\left(w^{s}\right)-b\right) \nabla_{\theta} \log p_{\theta}\left(w^{s} \mid I\right) .
$

ここで, $w^{s}=\left(w_{1}^{s}, \ldots, w_{T}^{s}\right) \sim p_{\theta}\left(w^{s} \mid I\right)$ は方策 $p_{\theta}$ か らサンプリングされた単語系列, $I$ は大力画像, $r(\cdot)$ は報酬関数， $b$ は勾配の分散を安定させるための baseline 報酬である. 特に Rennie ら [7] の強化学習手法は高性能で, キャプション生成モデルの学習に おけるデファクト・スタンダードとなっている [13]. しかし, 出力キャプションの語彙と識別性について はむしろ減少させてしまうことがある $[10,8,9]$.

強化学習による語彙の減少 Choshen ら [14] の研究は，強化学習と語彙の減少の関係を明らかにす る. 彼らは，強化学習がモデルの予測分布を peaky にすることを示した. 強化学習では, 方策 $p_{\theta}$ にも とづいて系列のサンプリングを行う. $p_{\theta}$ は, 正解 キャプションを生成する事前学習によって初期化 される．ところが，テキスト生成モデル一般におい て, 予測分布は高頻度語に偏ることが知られてい る $[15,16,17,18]$. このため, 強化学習では高頻度語 のサンプリングと報酬の付与はできても，低頻度語 についてはこれができない。この不均衡な報酬が，予測分布を高頻度語に向けてさらに peaky にし, 出力する語彙をそれら高頻度語に限定させる. 図 2 か ら，キャプション生成においても強化学習で高頻度語に peaky な分布が形成されることがわかる.

語彙の減少に伴う低識別性このように，モデル
が実際に生成できる語彙は高頻度語に偏る。もし画像中にモデルが実際に扱える語彙ではカバーできな い詳細があった場合，モデルはその詳細を避け，高頻度語で記述できる情報だけを出力せざるをえな い. そこで，本研究では，語彙の減少が強化学習モ デルの低識別性の原因であると仮説を立てる.

## 3 提案手法

強化学習による語彙の減少は，予測分布が低頻度語から高頻度語に向けて偏ることによって引き起こ される。そこで, 本研究では低頻度語の生成を促進 することでこの語彙減少の問題に対処する．低頻度語の生成には, long-tail な不均衡データでの低頻度事例の分類手法が活用できる．以下では，これを応用した 2 つの fine-tuning 手法を提案する。

## 3.1 Simple Fine-Tuning

Simple fine-tuning (sFT) は, 正解キャプション上 での単純な fine-tuning である.これは，画像分類問題における long-tail 分類手法で強力なベースライン となっている, Kang ら [19] の手法にもとづいてい る. 彼らは分類器 $f_{\theta}(\cdot)$ を特徴抽出部分 $g_{\theta_{e}}(\cdot)$ と分類部分 $\boldsymbol{W}, \boldsymbol{b}$ に分解 ${ }^{3}$, さらに学習も 2 段階に分解 する. 1 段階目の学習では, 特徴抽出部分の学習を 主な目的として，全データを用いて分類器の全パラ メータを学習する. 2 段階目の学習では, 特徴抽出部分のパラメータは固定し, 分類部分のパラメータ のみを調整する。この調整の際，全データを使うの ではなく，ラベルごとの事例数が均等になるように サンプリングを行う.

これを，強化学習を用いたキャプション生成に応用する. 1 段階目の特徵抽出部分の学習は, 強化学習を用いた通常のキャプション生成学習に相当す る. 2 段階目で用いる, ラベルごとの事例数が均等 なデータは，キャプションでは単語ごとの頻度の均衡がとれたデータに相当する。しかし，テキスト生成モデルからサンプリングされた系列は低頻度語を 含まず，これを満たさない（2 節参照）。そこで，人手で作成された正解キャプションを，相対的に単語頻度の均衡がとれたデータとし, このデータの上で 分類部分のパラメータの調整を行う.

学習データの語彙を $\mathscr{W}$ とし, ベクトル $z \in \mathbb{R}^{|W|}$ の単語 $w_{i}$ に対応する要素を $z_{w_{i}}$ と表記する. また, ベクトル $z$ に対して単語 $w_{i}$ に対応する要素を返す
3) $f_{\theta}(x)=\boldsymbol{W}^{\top} g_{\theta_{e}}(x)+\boldsymbol{b}$
softmax 関数を, $\Phi_{\beta, w_{i}}(z)=\frac{\exp \left(\beta z_{w_{i}}\right)}{\sum_{w_{j} \in \mathcal{W}} \exp \left(\beta z_{w_{j}}\right)}$ とする. $\beta$ は温度パラメータの逆数. これを用いて, 入力画像 $I$ の正解キャプション $w^{g}=\left(w_{1}^{g}, \ldots, w_{T}^{g}\right)$ の $\mathrm{t}$ 番目の 単語 $w_{t}^{g}$ の尤度は，以下のように計算される.

$
\begin{aligned}
p_{\theta}\left(w_{t}^{g} \mid w_{<t}^{g}, I\right) & =\Phi_{\beta, w_{t}^{g}}\left(s_{\theta}^{t}\left(w^{g}, I\right)\right), \\
s_{\theta}^{t}\left(w^{g}, I\right) & =\boldsymbol{W}^{\top} g_{\theta_{e}}\left(w_{<t}^{g}, I\right)+\boldsymbol{b} .
\end{aligned}
$

特徴抽出部分 $g_{\theta_{e}}(\cdot)$ の出力の次元数を $d$ とすると, $\boldsymbol{W} \in \mathbb{R}^{d \times|\mathscr{W}|}, \boldsymbol{b} \in \mathbb{R}^{|\mathscr{W}|} . g_{\theta_{e}}(\cdot)$ には Transformer [20] を用いた。分類部分の調整は, 以下の Cross-Entropy (CE) 誤差を最小化する fine-tuning によって行う.

$
L_{\mathrm{CE}}(\hat{\theta})=-\frac{1}{T} \sum_{t=1}^{T} \log p_{\hat{\theta}}\left(w_{t}^{g} \mid w_{<t}^{g}, I\right)
$

パラメータ $\hat{\theta}$ は強化学習を用いて事前学習されて いる。 パラメータの更新は，分類部分のパラメータ $\{\boldsymbol{W}, \boldsymbol{b}\} \in \hat{\theta}$ のみに対して，それぞれ勾配 $\nabla_{\boldsymbol{W}} L_{\mathrm{CE}}(\hat{\theta})$, $\nabla_{\boldsymbol{b}} L_{\mathrm{CE}}(\hat{\theta})$ を用いて行う.

## 3.2 Weighted Fine-Tuning

人手で作成された正解キャプションは，テキスト 生成モデルからサンプリングされたキャプション に比べて低頻度語を含む割合が大きい．しかし，低頻度語は依然としてその頻度が低いことによって，高頻度語との間で学習の不均衡が残る. そこで, weighted fine-tuning (wFT) では, 頻度への操作では なく各単語の $\mathrm{CE}$ 誤差への重み付けを行うことに よって, この不均衡をさらに是正する. 強化学習モ デルは，高頻度語に対しては高い確率を割り当て，低頻度語に対しては低い確率を割り当てるバイアス を学習している. Bias Product (BP) $[21,22]$ は，この ようにバイアスを強く学習したモデルの確信度を利用することで，そのバイアスを取り除くように $\mathrm{CE}$誤差に重み付けを行うことができる．BPでの $w_{t}^{g}$ の 尤度 $p_{\theta, \theta^{\prime}}$ は以下のように計算される。

$
\begin{aligned}
& p_{\theta, \theta^{\prime}}\left(w_{t}^{g} \mid w_{<t}^{g}, I\right)= \\
& \Phi_{w_{t}^{g}}\left[\log \Phi_{\beta}\left(s_{\theta}^{t}\left(w^{g}, I\right)\right)+\log \Phi_{\beta^{\prime}}\left(s_{\theta^{\prime}}^{t}\left(w^{g}, I\right)\right)\right] . \\
& p_{\theta}\left(\cdot \mid w_{<t}^{g}, I\right) \quad p_{\theta^{\prime}}\left(\cdot \mid w_{<t}^{g}, I\right)
\end{aligned}
$

ただし, $\Phi_{\beta}(z) \in \mathbb{R}^{|W|}$. パラメータ $\theta$ と $\theta^{\prime}$ は同じ事前学習モデルで初期化されるが， $\theta$ は学習で更新さ れるのに対して $\boldsymbol{\theta}^{\prime}$ は固定される. 対数をとった上 で $p_{\theta}$ と $p_{\theta^{\prime}}$ を足し合わせ，再度正規化することで， $p_{\theta}$ は，事前学習モデルのバイアスを反映した $p_{\theta^{\prime}}$ に対して相補的な値をとるよう学習される。 付録 Bに $\mathrm{CE}$ 誤差と BP 誤差を可視化した結果を示す. $\mathrm{wFT}$ の目的関数は， $L_{\mathrm{CE}}$ の $p_{\theta}$ を $p_{\theta, \theta^{\prime}}$ に置き換えて，以下のように定義する。

$
L_{\mathrm{BP}}(\hat{\theta})=-\frac{1}{T} \sum_{t=1}^{T} \log p_{\hat{\theta}, \hat{\theta}^{\prime}}\left(w_{t}^{g} \mid w_{<t}^{g}, I\right)
$

$\mathrm{sFT}$ と同様に, パラメータ $\hat{\theta}$ と $\hat{\theta}^{\prime}$ は強化学習によっ て初期化され，パラメータの更新は，分類部分のパ ラメータ $\{\boldsymbol{W}, \boldsymbol{b}\} \in \hat{\theta}$ のみに対して，それぞれ勾配 $\nabla_{\boldsymbol{W}} L_{\mathrm{BP}}(\hat{\theta}), \nabla_{\boldsymbol{b}} L_{\mathrm{BP}}(\hat{\theta})$ を用いて行う.

BP の先行研究に従い，予測時は $\boldsymbol{p}_{\boldsymbol{\theta}, \boldsymbol{\theta}^{\prime}}$ ではなく $\boldsymbol{p}_{\boldsymbol{\theta}}$ だけを用いる $[21,22]$. これは， $p_{\theta^{\prime}}$ の高頻度語への バイアスを予測に取り込むことを防ぐためである.

## 4 実験

## 4.1 実験設定

データセットと評価指標 データセットには MS COCO [23, 24] の Karpathy 分割 ${ }^{4)}[25]$, 評価指標には, BLEU-4 (BL-4) [26], METEOR (MET) [27], ROUGE-L (RG-L) [28], CIDEr [29], SPICE [30], RefCLIP (RCLIP) [31] を使用した. 先行研究 [8, 9, 32] に

比較モデル ベースライン (Transformer RL ${ }^{6}$ ) は， CIDErスコアを報酬とした強化学習 [7]で訓練さ れた, 事前学習済みの配布モデルとした7). 識別性 のあるキャプション生成モデルとの比較には， $\mathrm{R} @ \mathrm{~K}$ で最高性能を報告している CIDErBtw [9] と NLI [32] を用いた8). 強化学習モデルの語彙を増やす手法と して, Joint CE [10] との比較も行った9). また, CE 誤差最小化だけを強化学習モデルと同エポック数学習したモデル Only CE との比較も行った.

ハイパーパラメータの詳細は付録 $\mathrm{C}$ を参照. 提案手法の各 fine-tuning は 1 エポックのみ行い，メモリ 16 GB の GPU1 枚を用いて約 10 分で完了した.

4）頻度 5 以下の単語を〈unk〉に変換. 語彙は 9,487 語.

5） $\mathrm{R} @ \mathrm{~K}$ は, 出力キャプションを事前学習済みの画像-テキス 卜検索モデル [33] に入力した際に，他の画像の中から入力画像を上位 $\mathrm{K}$ 位以内で検索できたキャプションの割合. $\mathrm{R} @ \mathrm{~K}$ が高いほど，出力キャプションの識別性が高いと判断される.

6）LSTM [34] モデルでも実験したが，同様の結果のため割愛.

7) https://github.com/ruotianluo/self-critical. pytorch Transformer+self_critical モデルを用いた.

8）これらは，CIDEr 報酬に加えて識別性に関する報酬を強化学習で最大化する手法である。

9）この手法では， $L_{\mathrm{RL}}$ と $L_{\mathrm{CE}}$ を同時に最適化することで，正解キャプション中の低頻度語のサンプリングを促す. しかし,依然として偏った分布からのサンプリングに依存することと， モデルを一から学習するコストが生じるという問題がある.

表 1 ベースライン・先行研究との比較. Uniq-1・Uniq-S は, 出力のうちの異なり語・異なり文の数. Len は出力の平均文長. 提案手法の結果は灰色の背景色. モデルは全て Transformer. 列の分割は左から，語彙，標準的評価，識別性に対応.

表 2 人手評価の比較. ベースライン（Transformer RL） の識別性スコアは，相対評価の基準として 3.00 に固定さ れている。*/**，ベースラインに対して， $\mathrm{t}$ 検定（識別性では 1 群 $\mathrm{t}$ 検定，それ以外では独立な 2 群の $\mathrm{t}$ 検定）で $p<0.05 / 0.01$ での統計的有意差があることを示す.

## 4.2 実験結果

表 1 に，MS COCO テストセットでのベースライ ン・先行研究との比較結果を示す.

語彙 まず，sFT とwFT で Uniq-1 が顕著に増加し ていることから，提案手法が語彙の増加に成功して いることがわかる.それにともなって Uniq-S も増加しており，各画像に対して個別のキャプションを 生成できるようになっている。 また，Len が増加し ていないことから，単に文長を長くしてこれらの効果を得ているわけではないことがわかる. SFTに比 べて wFT の方が語彙の増加が大きいことから，BP による重み付けに効果があることがわかる. 語彙増加を目的とした Joint CE や，強化学習を用いない Only CE もべースラインと比べて語彙の増加が顕著 だが，提案手法が最も語彙の増加に成功している.

識別性 仮説のとおり，語彙の増加を直接の目的関数とした提案手法によって，識別性（R@K）が顕著に向上していることがわかる. さらに，識別性向上を図った先行研究である CIDErBtw と NLI と比較 しても，非常に高い $\mathrm{R} @ \mathrm{~K}$ スコアとなっている.こ れらの結果から, 語彙の減少が強化学習モデルの識別性を低くする大きな要因であったことがわかる。

標準的評価 提案手法ではテキストベース指標 （BL-4, MET, RG-L, CIDEr, SPICE）でベースラインか らスコアが減少しているが，人間の評価との相関 がより高いとされるテキスト・画像ベース指標の
RCLIP [31,35] では同等かそれ以上のスコアとなっ ている。このことから，提案手法の出力が質的に劣 るわけではないことが示唆される. 提案手法の出力 には，正解キャプションには含まれないが正しい低頻度語が多く見られた. これが，正解キャプション にある情報しか評価できないテキストベース指標の スコアを実際より大きく下げていると考えられる。

## 4.3 人手評価

キャプションの識別性，正確性，流暢性について， Amazon Mechanical Turk を使って人手評価を行った.表 1 で高い性能を示したモデルを対象に，テスト セットでの出力から 50 文をランダムに取り出し, 1 文に対して 5 人の作業者に，5 段階で各基準のス コアを付与してもらった ${ }^{10)}$ ．表 2 に結果を示す. 識別性については提案手法が最も高いスコアを示し， ベースラインからも有意に高いスコアとなってい る. 正確性と流暢性についてはベースラインと同等であり，ベースラインと比較して質的に劣るわ けではないことを示している. これは， 4.2 節での RCLIP の結果と整合的である.

## 5 おわりに

本研究では，強化学習を用いたキャプション生成 モデルの低識別性の原因が語彙の減少によるものと 仮説を立て, long-tail 分類手法を応用して語彙を増加させる手法を提案した. 実験の結果，仮説のとお り，提案手法が語彙の増加によって既存モデルの識別性を顕著に向上させることを確認した．強化学習 モデルの低識別性の原因を明らかにし，低コストで 実用的な識別性向上手法を提案する貢献と考える.

10）ただし，識別性についてはスコアの絶対基準を設定するこ とが難しいため, 先行研究 [9] に従って相対評価とした。この 相対評価では, ベースライン（Transformer RL）の出力と比較 して特徴的な情報が述べられていれば最大 5 , 同じ情報なら 3，それ以下の情報なら最小 1 という基準を提示した。 それ以外は，誤りの程度に応じて 5 から減点する絶対評価とした。

## 参考文献

[1] Danna Gurari, Yinan Zhao, Meng Zhang, and Nilavra Bhattacharya. Captioning images taken by people who are blind. In ECCV, 2020.

[2] Adam Fisch, Kenton Lee, Ming-Wei Chang, Jonathan H Clark, and Regina Barzilay. Capwap: Captioning with a purpose. In EMNLP, 2020.

[3] Hyounghun Kim, Zineng Tang, and Mohit Bansal. Dense-caption matching and frame-selection gating for temporal localization in videoqa. In ACL, 2020.

[4] Julia White, Gabriel Poesia, Robert Hawkins, Dorsa Sadigh, and Noah Goodman. Open-domain clarification question generation without question examples. In EMNLP, 2021.

[5] Zhongping Zhang, Yiwen Gu, and Bryan A Plummer. Show and write: Entity-aware news generation with image information. arXiv preprint arXiv:2112.05917, 2021

[6] Amir Sadovnik, Yi-I Chiu, Noah Snavely, Shimon Edelman, and Tsuhan Chen. Image description with a goal: Building efficient discriminating expressions for images. In CVPR, 2012.

[7] Steven J Rennie, Etienne Marcheret, Youssef Mroueh, Jerret Ross, and Vaibhava Goel. Self-critical sequence training for image captioning. In CVPR, 2017.

[8] Lixin Liu, Jiajun Tang, Xiaojun Wan, and Zongming Guo. Generating diverse and descriptive image captions using visual paraphrases. In ICCV, 2019.

[9] Jiuniu Wang, Wenjia Xu, Qingzhong Wang, and Antoni B Chan. Compare and reweight: Distinctive image captioning using similar images sets. In ECCV, 2020.

[10] Qingzhong Wang and Antoni B Chan. Describing like humans: on diversity in image captioning. In CVPR, 2019.

[11] Ronald J Williams. Simple statistical gradient-following algorithms for connectionist reinforcement learning. Machine learning, 1992.

[12] Marc'Aurelio Ranzato, Sumit Chopra, Michael Auli, and Wojciech Zaremba. Sequence level training with recurrent neural networks. In ICLR, 2015.

[13] Matteo Stefanini, Marcella Cornia, Lorenzo Baraldi, Silvia Cascianelli, Giuseppe Fiameni, and Rita Cucchiara. From show to tell: A survey on image captioning. arXiv preprint arXiv:2107.06912, 2021.

[14] Leshem Choshen, Lior Fox, Zohar Aizenbud, and Omri Abend. On the weaknesses of reinforcement learning for neural machine translation. In ICLR, 2020.

[15] Toan Q Nguyen and David Chiang. Improving lexical choice in neural machine translation. In NAACL-HLT, 2018

[16] Vikas Raunak, Siddharth Dalmia, Vivek Gupta, and Florian Metze. On long-tailed phenomena in neural machine translation. In Findings of ACL: EMNLP 2020, 2020.

[17] David Demeter, Gregory Kimmel, and Doug Downey. Stolen probability: A structural weakness of neural language models. In ACL, 2020 .

[18] Ari Holtzman, Jan Buys, Li Du, Maxwell Forbes, and Yejin Choi. The curious case of neural text degeneration. In ICLR, 2020.

[19] Bingyi Kang, Saining Xie, Marcus Rohrbach, Zhicheng Yan, Albert Gordo, Jiashi Feng, and Yannis Kalantidis. Decoupling representation and classifier for long-tailed recognition. In ICLR, 2020.

[20] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In NeurIPS, 2017.

[21] Christopher Clark, Mark Yatskar, and Luke Zettlemoyer. Don' $t$ take the easy way out: Ensemble based methods for avoiding known dataset biases. In EMNLP-IJCNLP, 2019.

[22] He He, Sheng Zha, and Haohan Wang. Unlearn dataset bias in natural language inference by fitting the residual. In EMNLPJJCNLP, 2019
[23] Tsung-Yi Lin, Michael Maire, Serge Belongie, James Hays, Pietro Perona, Deva Ramanan, Piotr Dollár, and C Lawrence Zitnick. Microsoft coco: Common objects in context. In ECCV, 2014.

[24] Xinlei Chen, Hao Fang, Tsung-Yi Lin, Ramakrishna Vedantam, Saurabh Gupta, Piotr Dollár, and C Lawrence Zitnick. Microsoft coco captions: Data collection and evaluation server. arXiv preprint arXiv:1504.00325, 2015.

[25] Andrej Karpathy and Li Fei-Fei. Deep visual-semantic alignments for generating image descriptions. In CVPR, 2015.

[26] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In ACL, 2002.

[27] Michael Denkowski and Alon Lavie. Meteor universal: Language specific translation evaluation for any target language. In The Ninth Workshop on Statistical Machine Translation, 2014.

[28] Chin-Yew Lin. Rouge: A package for automatic evaluation of summaries. In Text Summarization Branches Out, 2004.

[29] Ramakrishna Vedantam, C Lawrence Zitnick, and Devi Parikh. Cider: Consensus-based image description evaluation. In CVPR, 2015.

[30] Peter Anderson, Basura Fernando, Mark Johnson, and Stephen Gould. Spice: Semantic propositional image caption evaluation. In ECCV, 2016.

[31] Jack Hessel, Ari Holtzman, Maxwell Forbes, Ronan Le Bras, and Yejin Choi. Clipscore: A reference-free evaluation metric for image captioning. In EMNLP, 2021.

[32] Zhan Shi, Hui Liu, and Xiaodan Zhu. Enhancing descriptive image captioning with natural language inference. In ACL, 2021.

[33] Fartash Faghri, David J Fleet, Jamie Ryan Kiros, and Sanja Fidler. Vse++: Improving visual-semantic embeddings with hard negatives. In BMVC, 2018.

[34] Sepp Hochreiter and Jürgen Schmidhuber. Long short-term memory. Neural computation, 1997

[35] Jungo Kasai, Keisuke Sakaguchi, Lavinia Dunagan, Jacob Morrison, Ronan Le Bras, Yejin Choi, and Noah A Smith. Transparent human evaluation for image captioning. arXiv preprint arXiv:2111.08940, 2021

[36] Will Monroe, Robert XD Hawkins, Noah D Goodman, and Christopher Potts. Colors in context: A pragmatic neural model for grounded language understanding. TACL, 2017.

[37] Ramakrishna Vedantam, Samy Bengio, Kevin Murphy, Devi Parikh, and Gal Chechik. Context-aware captions from contextagnostic supervision. In CVPR, 2017.

[38] Reuben Cohn-Gordon, Noah Goodman, and Christopher Potts. Pragmatically informative image captioning with character-level inference. In NAACL-HLT, 2018

[39] Jiuniu Wang, Wenjia Xu, Qingzhong Wang, and Antoni B Chan. Group-based distinctive image captioning with memory attention. In ACM MM, 2021

[40] Ruotian Luo, Brian Price, Scott Cohen, and Gregory Shakhnarovich. Discriminability objective for training descriptive captions. In CVPR, 2018.

[41] Xihui Liu, Hongsheng Li, Jing Shao, Dapeng Chen, and Xiaogang Wang. Show, tell and discriminate: Image captioning by selfretrieval with partially labeled data. In ECCV, 2018.

[42] Gilad Vered, Gal Oren, Yuval Atzmon, and Gal Chechik. Joint optimization for cooperative image captioning. In ICCV, 2019.

[43] Jie Wu, Tianshui Chen, Hefeng Wu, Zhi Yang, Guangchun Luo, and Liang Lin. Fine-grained image captioning with global-local discriminative objective. IEEE Transactions on Multimedia, 2021.

[44] Bo Dai and Dahua Lin. Contrastive learning for image captioning. In NeurIPS, 2017.

[45] Bo Dai, Sanja Fidler, Raquel Urtasun, and Dahua Lin. Towards diverse and natural image descriptions via a conditional gan. In ICCV, 2017

図 $3 \mathrm{CE}$ 誤差 $-\log p_{\theta}\left(w_{i}\right)$ と $\mathrm{BP}$ 誤差 $-\log p_{\theta, \theta^{\prime}}\left(w_{i}\right)$ の可視化結果. BP 誤差の計算には $\left.\{p_{\theta}\left(w_{j}\right)\right.\}_{w_{j} \in \mathscr{W}}$ と $\left.\{p_{\theta^{\prime}}\left(w_{j}\right)\right.\}_{w_{j} \in \mathscr{W}}$ の全単語の値を定める必要がある. ここで は, $i=1$ として,$\frac{1}{5}\left(1-p_{\theta}\left(w_{1}\right)\right)$ を次の 5 つの要素 $w_{2}, \ldots, w_{6}$ に割り振った. これは，強化学習の予測分布では，最も 確率の高い 5 つ単語が全体の $99 \%$ の確率を占めていると いう観測にもとづく. $p_{\theta}$ と $p_{\theta}$ は同じパラメータで初期化されるため, 上位 5 つの単語は両者の出力で同一と仮定し, $\frac{1}{5}\left(1-p_{\theta^{\prime}}\left(w_{1}\right)\right)$ も次の 5 つの要素 $w_{2}, \ldots, w_{6}$ に割り 振った. ここでは, $\beta=\beta^{\prime}=1$ とした.

## A 関連研究詳細

識別性のあるキャプション生成の初期に主流であった 手法は, 入力画像に類似した画像を与えて, それらとは 異なる情報を記述させる手法であった [30, 36, 37, 38, 39]. しかし, これらの手法では予測時にも類似画像を収集す るコストがかかる.

そこで，予測時に類似画像を必要としない手法が提案 されるようになった ${ }^{11}$. これらの手法は主に，識別性に 関する報酬を新たに設計し，これを追加報酬として強化学習等で最大化するものである $[40,41,42,43,9,32]$. そ の他には，負例のキャプションを用いて対照学習 [44] や 敵対的学習 [45]を行うもの，正解キャプション12)を単純 なものと複雑なものに分割し，前者から後者への言い換 えを行うモデルを提案したもの [8]がある.

上記のいずれの手法も，識別性を直接的に向上させる 目的で，新たな報酬やモデルの設計を行っている．しか し，これらは計算コストの増加を伴い，さらにモデルを 一から学習するコストを生じさせる. これに対して，提案手法は, 既存モデルの語彙増加タスクとして捉え直さ れたタスクを扱う。これによって目的関数が簡明になり，既存モデルに対して少量の fine-tuning を適用するだけで 識別性が向上する利点がある.

## B CE 誤差と BP 誤差の可視化

図 3 に CE 誤差と $\mathrm{BP}$ 誤差の可視化結果を示す.こ の図から，バイアスを反映したモデルの出力 $p_{\theta^{\prime}}$ が 単語 $w_{i}$ について確信度が高いとき $\left(p_{\theta^{\prime}}\left(w_{i}\right)=0.9\right)$ は BP 誤差は非常に小さくなり, 逆に確信度が低いとき $\left(p_{\theta^{\prime}}\left(w_{i}\right) \in\{0.1,0.01\}\right)$ には BP 誤差は CE 誤差と比較して

11）本研究もこの設定に従っている.

12）人手でアノテーションされたキャプションで， 1 枚の画像 に対して5つ付与されている [23, 24].

Transformer RL: a tower with a clock on top of it

+wFT: a clock tower with a weather vane on top

NLI: a tower with a clock on the top of it Human: a weather vane atop a cathedral clock tower

Transformer RL: a group of birds standing in the water

+wFT: a large group of flamingos stand in shallow water

NLI: a group of pink umbrellas are standing in the water

Human: a flock of pink flamingos standing in shallow water

Transformer RL: a black cat wearing a hat on top of a table

+wFT: a cat wears a funny hat while staring straight ahead

NLI: a black cat wearing a hat sitting on a table Human: the cute black cat is wearing a bee's hat

Transformer RL: a dog next to a cup of coffee

+wFT: a dog is sniffing a cup of coffee

NLI: a dog standing next to a coffee cup on a table

Human: a squinting dog on a brick patio sniffs a cup of coffee

図 4 MS COCO 開発セットでの出力例. 青字はベース ライン（Transformer RL）の開発セット中の出力に一度 も現れなかった単語を示す。ただし，正解キャプション （Human）は青字表記の対象外.

大きくなることがわかる.

## C ハイパーパラメータ

ハイパーパラメータは，エポック数，学習率，式 $(2,5)$ の $\beta$, 式 (5) の $\beta^{\prime}$ 以外は全てベースラインモデルと同 じものを用いた ${ }^{13)}$. ただし， $\beta=1$ としたので， $\beta$ につ いてはベースラインモデルと同じである. 提案手法の fine-tuning のエポック数はいずれにおいても 1 とし, 学習率は $\{1 \mathrm{e}-3,1 \mathrm{e}-4,1 \mathrm{e}-5,1 \mathrm{e}-6\} ， \beta^{\prime}$ は $\{0.1,1\}$ のち，開発セッ トでの R@1 スコアが最も高くなるものを選択した. ベス トハイパーパラメータは，学習率は 1e-5, $\beta^{\prime}$ は 0.1 であっ た. モデルのパラメータサイズは，比較モデルも含めて すべて同一である．ただし， wFT での固定パラメータ $\theta^{\prime}$ は，学習されず予測時にも使用されないので，このパラ メータ数には含めていない。

## D 出力例の分析

図 4 にキャプションの出力例を示す. 提案手法出力 （+wFT）では青字表記が多く，強化学習モデルの語彙に含 まれない低頻度語が生成されていることがわかる。また， これらは各画像の特徴的な情報にもなっており，低頻度語の生成が識別性の向上に貢献していることがわかる.

13) https://github.com/ruotianluo/self-critical. pytorch/blob/master/configs/transformer/transformer_ scl.yml


# Comparing Syntactic Complexity Measures Counted by Tregrexbased Tagging and UD-based Tagging for Evaluating L1 Japanese EFL Paragraph Writing

SPRING Ryan ${ }^{1}$ JOHNSON Matthew ${ }^{2}$
${ }^{1}$ Tohoku University ${ }^{2}$ Unaffiliated
\{spring.ryan.edward.c4\}@tohoku.ac.jp \{mjokimoto\}@gmail.com
}

\begin{abstract}
Automatically calculated measures of syntactic complexity can provide useful insight in L2 learners' writing ability and general proficiency. Many tools have been developed for this purpose, but so far many of them depend on Tregrex tagging. However, recent NLP tools provide universal dependency tags which can also be used to calculate some similar measures of syntactic complexity. This paper compares the ability of a tool on parsing provided by $\mathrm{SpaCy}[1]$ for this purpose, the SSCC, to another popular tool that provides measures based on Tregrex tagging, the L2SCA. We found that the SSCC and L2SCA calculated many measures similarly, but that for congruent measures (i.e., MLS, MLC, DC_C), the SSCC measures were more associated with L2 writing ability and general proficiency. Furthermore, some measures only provided by the L2SCA correlated with TOEFL ${ }^{\circledR}$ ITP scores, but not writing scores (i.e., C_T, VP_T, CT_T, CN_T, CN_C), whereas some measures that only the SSCC could provide were correlated with both (i.e., DC_S, and CSTR_S). We conclude that both the SSCC and L2SCA have advantages and disadvantages and that more study is required to see under what conditions certain measures from the two tools are most associated with L2 writing and general proficiency.
\end{abstract
## 1 Introduction

Many objective measures of syntactic complexity have been found to be correlated to writing ability, albeit in differing ways and amounts $[2,3,4]$. Due to the large and steadily increasing number of syntactic complexity measures that exist, automatic calculation of such measures through reliable tools can be helpful to researchers and educators. One such tool is the L2 Syntactic Complexity Analyzer (L2SCA) [5] which automatically provides a number of measures based on the results of Tregrex tagging provided by the Stanford Parser [6]. Recently one NLP tool of interest is SpaCy, which has been shown to be both quicker and, in some cases, more effective than many other similar NLP tools at tagging noun types [7], and providing measures of lexical complexity [8]. However, SpaCy uses universal dependency (UD) tagging [9] as opposed to Tregrex, and therefore the measures of syntactic complexity that can be provided by $\mathrm{SpaCy}$ may differ both theoretically and in usefulness as compared to previous systems such as the L2SCA. Therefore, this paper aims to determine what sorts of meaningful syntactic complexity measures can be calculated with $\mathrm{SpaCy}$, how comparable they are to Tregex-based measures, and how well they correlate to human-based writing assessments and general L2 proficiency.

## 2 Previous Studies

## 2.1 Syntactic Complexity and L2 Writing

Syntactic complexity has been linked to L2 writing ability and proficiency in a wealth of studies $[5,10,11]$. However, the measures that correlate the most can vary depending on factors such as task [4] and learner L1 [12]. Furthermore, the syntactic features that assist L2 students in academic writing are not always congruent with those that will result in them receiving higher human rating [2]. Researchers have been continuing to invent, refine, and compare various measures of syntactic complexity in a variety of contexts in order to determine which are most
universal and practical in certain situations.

## 2.2 Automatically Calculated Measures based on Tregex

One popular tool that has been created to automatically calculate several measures of syntactic complexity is the L2SCA [5]. It takes a folder of text files and runs them through the Stanford Parser and then analyzes the resulting Tregex tree sentence by sentence to provide nine different counts of syntactic elements and 14 transformed measures based on average length of syntactic units, ratios or counts of subordinate clauses, t-units, verb phrases, noun phrases, complex nominals, and subordination. The measures that this tool calculates have been shown to be rather reliable as evidenced by several studies which found them to be associated with L2 proficiency and writing ability, although there is variance regarding which measures are associated and to what degree $[4,5,10,12$, 13].

## 2.3 Syntactic Complexity Measures Based on UD

It is not yet known how well automatically calculated measures of syntactic complexity based on UD syntax will correlate with L2 proficiency. Though various UD tags have been used for a more "fine-grained" analysis of syntactic complexity and demonstrated correlation with L2 writing proficiency, there are still many UD tags that have not been explored for L2 writing evaluation purposes, and the tags in initial works were human augmented, rather than purely automated calculations [10]. Here, the NLP tool SpaCy [1] could be potentially useful, as it has been shown to have superior parsing ability to similar tools such as NLTK [7, 8] and provides UD tagging, which could then be counted and used for calculating transformed measures similar to those of the L2SCA. However, simply counting UD tags does not allow for certain syntactic relationships to be observed as with Tregex parsing, and thus it is impossible to accurately measure the number of verb phrases or $t$-units with $\mathrm{SpaCy}$ in the same way that the L2SCA does. Thus, it is unclear exactly which measures of syntactic complexity $\mathrm{SpaCy}$ can be used to reliably calculate and how much these measures would be associated with L2 writing ability and general proficiency.

## 2.4 Research Questions

Based on the body of work introduced above, $\mathrm{SpaCy}$ should be able to calculate some measures of syntactic complexity similarly to the L2SCA, but it is unclear exactly which measures can be calculated based on UD tagging or how associated the measures produced with these tags will be with L2 ability. This paper thus seeks to offer new insights by answering the following research questions:

1. What measures of syntactic complexity can be calculated with SpaCy UD tagging, and how do these measures compare to the measures calculated from a Tregrex-based tool?

2. To what degree are the measures of syntactic complexity calculated by $\mathrm{SpaCy}$ associated with the L2 writing ability and general proficiency of L1 Japanese EFL learners?

## 3 Methods

## 3.1 Creating a UD Tag-based Tool

We created a SpaCy based Syntactic Complexity Calculator (SSCC) tool for automatically calculating syntactic measures using Python 3.9 that can run on both UNIX-based and windows-based machines. The user provides the SSCC with a set of text files, and the tool then parses each file using SpaCy, calculates measures based on the UD tags ${ }^{\mathrm{i}}$, and then exports the results into a csv file. However, since there is no Tregex pattern to follow, the SSCC can calculate only some of the same syntactic elements that the L2SCA does, while some must be counted in a different fashion, and others (i.e., T-units and verb phrases) become problematic or impossible to count. Based on SpaCy's outlined UD tagging, we designed the SSCC to calculate the following measures of syntactic complexity, as given in Table 1 and explained below.

Some measures that are theoretically the same or highly similar between the SSCC and the L2SCA include: $\mathrm{W}, \mathrm{S}, \mathrm{C}, \mathrm{CO}, \mathrm{DC}$ and $\mathrm{CP}$. The SSCC calculates the number of words and sentences in almost an identical fashion to the L2SCA: the words are tokenized and then counted minus punctuation, and the number of sentences is calculated by counting the number of ROOT tags. The

number of clauses in the SSCC is obtained by counting the number of subject tags, since every clause requires a subject. The SSCC determines the number of dependent clauses by counting UD tags for dependent clauses: ACL, RELCL, and ADVCL. The number of coordinates, which is similar, but not identical to coordinate phrases counted by the L2SCA, is counted as the number of coordinate tags: $\mathrm{CC}$ and CONJ.

Major differences between the SSCC and L2SCA are the former tools' inability to count $\mathrm{T}$-units and verb phrases. Navigating Tregrex parsing allows the L2SCA to define and reliably count $\mathrm{T}$-units, verb phrases and complex nominals by comparing their relationship to other syntactic elements within each sentence. However, the SSCC creates a string of UD tags, and thus counting certain syntax units only when they appear in relation to other units is not possible. Nevertheless, the UD tags do allow the counting of other syntactic units, such as modifications and compliments. Therefore, though the SSCC cannot count "complex" units in the same way as the L2SCA, it can provide a count of complex structures by summing the tags of all coordinates, compliments, modifications, etc. We programmed the SSCC to also give a count of all theoretically complex structures in a count called CSTR.

The SSCC then calculates transformations based on the UD tag counts. Following the L2SCA [5], the mean number of the various counts were divided by the syntactic units that the SSCC can count (e.g. sentences and clauses).

Table 1 SSCC Transformed Measures

## 3.2 Participants and Writing Task

The used the same data set from a previous study [8]: 135 paragraphs written by 2nd year L1 Japanese university students on the topic of whether or not they thought tobacco should be made illegal in Japan. The participants performed the task under a 15 -minute time constraint and the 135 paragraphs were obtained after excluding any responses that were under 50 words or written off-topic from a wider participant set. According to the results of students' TOEFL® ITP scores (383-677, $\mathrm{M}=519.5, \mathrm{SD}=43.3$ ), 12 should be considered CEFR A2 level, 84 should be considered B1, 38 should be considered B2 level, and one should potentially be considered $\mathrm{C} 1$ level $[8,14]$. Five humans rated the paragraphs from 1 to 3 based on the fact that the students mostly belonged to one of three CEFR levels, and highly substantial agreement amongst raters was achieved; $\kappa$ $=.74, p<.001[8]$.

## 3.3 Data Analysis

To compare the measures produced by the tools, we made pairwise Pearson's correlation analyses between those calculated by the L2SCA and the SSCC. The summed rater score was used as an ordinal measure of writing ability, and thus Spearman's correlation analyses were used to check for association between writing ability and individual measures of syntactic complexity given by the two tools. Pearson's correlation analyses were also used to check for association between the measures and TOEFL ${ }^{\circledR}$ ITP scores.

## 4 Results

## 4.1 Tool Comparison

The correlations between the measures produced by the SSCC and the L2SCA are shown in Table 2.

Table 2 SSCC Transformed Measures

${ }^{*} p<.05,{ }^{* *} p<.01$

## 4.2 Association with L2 Proficiency

The correlations between writing and TOEFL ${ }^{\circledR}$ ITP scores and various measures provided by the SSCC and L2SCA are given in Table 3.

Table 3 SSCC Transformed Measures

## 5 Discussion and Conclusion

The results of this study suggest that some measures of syntactic complexity provided by the SSCC and L2SCA are quite comparable. The pure counts of words, sentences, and clauses are similar between the two tools, as expected, as are the levels of correlation between their respective calculated measures and both writing and TOEFL $\circledR^{\circledR}$ ITP scores. The transformations of these variables, i.e., MLS, MLC and C_S, are also quite similar, although they show slightly less correlation than the pure counts, and the SSCC calculated measures show slightly higher correlation to human rating and TOEFL $\mathbb{R}$ ITP scores than those of the L2SCA. While both tools count dependent clauses and coordination, these counts and their transformations (i.e., $\mathrm{DC}_{-} \mathrm{T} / \mathrm{S}, \mathrm{DC}_{-} \mathrm{C}$ and $\mathrm{CP}_{-} \mathrm{T} / \mathrm{S}$ or $\left.\mathrm{CP}_{-} \mathrm{C}\right)$ show more variation than other measurements. These differences resulted in the SSCC's measures being generally more associated with L2 writing ability and proficiency than those of the L2SCA.

One of the largest drawbacks to the SSCC, as compared to the L2SCA, is that it is unable to count VPs and T-units. However, despite the theoretical importance of these measures and transformations based on them [5, 13, 15], calculating them seems only somewhat important for the data set in this study. Specifically, the number of T-units, VPs and CTs showed significant correlation to human rating, and VPs and CTs showed correlation to TOEFL $\mathbb{B}$ ITP scores, but most of the transformations based on them did not. For example, MLT, C_T, VP_T, and CT_T were correlated with TOEFL® ITP scores, but not human rating. Furthermore, though $\mathrm{CN}_{-} \mathrm{T}$ was correlated with TOEFL ${ }^{\circledR}$ ITP scores, so was the similar transformation CSTR_S given by the SSCC, which correlated to writing scores as well. Finally, the correlation between $\mathrm{T}$ and $\mathrm{S}$, given by the L2SCA was $r=.859, p<.001$, and there was significant correlation between measures given by the SSCC divided by $\mathrm{S}$ as similar measures given by L2SCA divided by T (i.e., CP_T and CO_S, DC_T and DC_S). Therefore, it is questionable how important calculating Tunits is for L2 syntactic complexity analysis, when transformations based on sentences seem to be just as, if not more, associated with greater L2 writing ability and general L2 English proficiency.

The results of this study vary from those of $\mathrm{Lu}$ [5], who found all of the transformations provided by the L2SCA showed significant differences in the average scores of three different level groups of L1 Chinese learners' essays. The discrepancies could be partially due to the fact that $\mathrm{Lu}[5]$ used ANOVA analyses to find average differences, whereas this study used Spearman's correlation tests to determine how closely each variable correlated with summed rater scores. Another possibility for the differences could be due to the task type - this study utilized single paragraphs rather than full essays.

In summary, both the SSCC and L2SCA provide some very similar measurements of syntactic complexity, but those given by the UD-counting system of the SSCC seem to be more associated with the L2 paragraph writing ability of L1 Japanese EFL learners. However, the L2SCA provides some measures that the SSCC does not which seem to be correlated to general L2 proficiency, but not writing ability. Therefore, which tool and measurements to use will likely vary depending on user intent.

## References

[1] M. Honnibal and I. Montani, "spaCy 2: natural language understanding with Bloom embeddings, convolutional neural networks and incremental parsing," 2017. [Online]. Available: https://spacy.io/

[2] S. A. Crossley and D. S. McNamara, "Does writing development equal writing quality? A computational investigation of syntactic complexity in L2 learners," Journal of Second Language Writing, vol. 26, pp. 66-79, 2014.

[3] L. Ortega, "Syntactic complexity measures and their relationship to L2 proficiency: A research synthesis of college-level L2 writing," Applied Linguistics, vol. 24, no. 4, pp. 492-518, 2003.

[4] W. Yang, X. Lu, and S. C. Weigle, "Different topics, different discourse: Relationships among writing topic, measures of syntactic complexity, and judgments of writing quality," Journal of Second Language Writing, vol. 28, pp. 53-67, 2015.

[5] X. Lu, "Automatic analysis of syntactic complexity in second language writing," International Journal of Corpus Linguistics, vol. 15, no. 4, pp. 474-496, 2010.

[6] D. Klein and C. D. Manning, "Fast exact inference with a factored model for natural language parsing," In S. Becker, S. Thrun, and K. Obermayer, editors, Advances in Neural Information Processing Systems 15, pp. 3-10. MIT Press, 2003

[7] X. Schmitt, S. Kubler, S., J. Robert, M. Papadakis, and Y. LeTraon, "A Replicable Comparison Study of NER Software: StanfordNLP, NLTK, OpenNLP, SpaCy, Gate," Sixth International Conference on Social Networks Analysis, Management and Security, pp. 338-343, 2019.

[8] R. Spring and M. Johnson, "The possibility of improving automated calculation of measures of lexical richness for EFL writing: A comparison of the LCA, NLTK, and SpaCy tools," System, forthcoming, 2022.

[9] C. M. de Marnefe, C. D., Manning, J. Nivre, and D. Zeman, "Universal Dependencies," Computational Linguistics, vol. 47, no. 2, pp. 255-308, 2021.

[10] J. Jiang, P. Bi, and H. Liu, "Syntactic complexity development in the writings of EFL learners: Insights from a dependency syntactically-annotated corpus," Journal of Second Language Writing, vol. 46, pp. 1-13, 219.

[11] K. Wolfe-Quintero, S. Inagaki, and H. Y. Kim, Second Language Development in Writing: Measures of Fluency, Accuracy, and Complexity, University of Hawaii Press, 1998.

[12] X. Lu and H. Ai, "Syntactic complexity in collegelevel English writing: Differences among writers with diverse L1 backgrounds," Journal of Second Language Writing, vol. 29, pp. 16-27, 2015.

[13] X. Lu, "A corpus-based evaluation of syntactic complexity measures as indices of college-level ESL writers' language development," TESOL Quarterly, vol. 45, no. 1, pp. 36-62, 2011.

[14] Educational Testing Service, "Interpreting TOEFL® ITP scores," 17 December 2021. [Online]. Available: https://www.ets.org/toefl_itp/scoring/interpret/

[15] K. W. Hunt, "Do sentences in the second language grow like those in the first?," TESOL Quarterly, vol. 4, no. 3, pp. 195-202, 1970


# 機械学習を利用した日本語小論文採点手法の比較

堀江遼河
岡山大学大学院自然科学研究科
ptmn0udx@s.okayama-u.ac.jp

## 1 概要

本論文では日本語小論文採点システムの構築に ついて記述する。採点手法として BERTやBOWを 利用し小論文の文書ベクトルの獲得を行い，SVR やXGBoost などの分類器で学習することで人手に 近い採点を得ることを目標とする。精度を QWK (Quadratic Weighted Kappa)を用いて評価することで 作成したモデルを比較した. 実験の結果から BERT と BOW を組み合わせた方がより高性能であった。 また課題として書くべき内容が明確な設問に対して SVR の精度が高く, 自由記述の設問は XGBoost の 精度が高い傾向があることが実験で示された.

## 2 はじめに

近年，大学入試改革において，資質や能力の育成 が重点となっている. 初等中等教育を通じて論理的 な思考力や表現力の育成は重要視されており, 大学入学共通テストでは思考力, 判断力, 表現力を測る ことを目的として役割を果たしている. これらを評価する手段として，2021 年の大学入学共通テストで は当初国語と数学において記述式問題が採用される と発表されていた. しかしながら, 大学入学共通テ ストの記述式問題を導入することが見送られるこ とが発表された. 採点者間における基準の差異が発生したり，質の高い採点者の確保が可能かどうかと いった点が課題となっている。また，採点者間だけ でなく，同一採点者であっても大量の答案をミスな く採点することは難しく，採点者の心理状態や疲労 などにより公正，公平な採点の確保が課題となって いる. したがって，人手による大量の記述式問題の 採点は人員的かつ公平性の観点から実施難度が高 く, 導入が難しい. これらの問題点から, 記述式問題を一貫して採点することができるシステムの構築 が必要とされている.竹内孔一

岡山大学学術研究院自然科学学域 takeuc-k@okayama-u.ac.jp

## 3 関連研究

関連研究として, 竹谷ら [1] の小論文とキーフ レーズを比較して採点を行う手法や清野ら [2] によ る Neural Attentionを組み込んだモデルや竹内ら [3] の IDF で評価する手法がある.

本手法では BERT を用いたモデルを作成し，得ら れる分散表現を用いて評価を行う。

## 4 小論文採点システム

本提案システムは，採点結果として 1 点から 5 点 を出力する. 図 1 にシステムの全体像を示す.

図 1 小論文採点システムの全体図

## 4.1 文書ベクトル獲得モジュール

BERT (Bidirectional Encoder Representations from Transformers)[4] は 2018 年に Google が開発した 事前学習済み自然言語処理タスクを行うモデルで ある．前後の単語から該当単語の分散表現ベクトル を獲得するため，文脈を考慮したべクトルの得られ る. BERT は入力文の先頭に CLS があり，CLS は入
力文全体に対する分散表現ベクトルが埋め込まれて いる. 本研究では一つの小論文から得られる文書を CLS を使用することで分散表現ベクトルに変換し，実験を行う. また，追加実験として bag of words と BERT を組み合わせたべクトルを使用したモデルの 作成を行う. bag of words は文章に対して形態素解析を行い, 出現した形態素の頻度をべクトルとした ものである. bag of words の語彙数は 32,000 として 実験を行う. BERT と bag of words のベクトルは結合し，一つの大きなべクトルとして獲得させる. 本実験で利用する BERT は HuugingFce の BERT ${ }^{1)}$ を利用する.トークナイザーとして MeCab の Wordpiece 版を利用する。

## 4.2 分類器モジュール

本実験ではサポートベクターマシン (SVM) と XGBoostをそれぞれ分類器として利用し学習をさせ る. 本問題を回帰問題としてサポートベクターマシ ンは回帰モデルでの実装を行う．点数データはすべ て整数で表現されているため，サポートベクターマ シンでも整数値で出力する. 回帰モデルでの出力は 小数値のため少数第一位で四捨五入を行い，1 点か ら 5 点の整数値に丸め込みを行う. XGBoost はブー スティングで決定木の構築を繰り返して, 最適な結果を出力する手法である. 入力されたべクトルと正解データから最適な木構造を構築し, 学習を行う. その際に構築される木の深さは 6 とした.

## 5 評価実験

BERT および BOW を利用した場合のべクトルと 分類器による採点性能の評価を行うために評価実験 を行う．評価実験では，採点済み答案データを学習 データとしテストデータに分けて，学習データで分類器を学習し, テストデータで評価する. 以下では 各詳細について述べる.

## 5.1 小論文データ

本研究で使用する小論文データは講義に参加し たそれぞれ約 300 人の学生の答案である. 表 1 に実験で利用する小論文課題と答案数う，ならびにテス トデータ，学習データに利用する答案数について示 す. 講義は「グローバリゼーションの光と影」，「自然科学の構成と科学教育」,「東アジア経済の現状」,「批判的思考とエセ科学」の 4 講義であり, 設問は 3

つずつある. 表では「グローバリゼーションの光と 影」を「グローバル」,「自然科学の構成と科学教育」 を「自然科学」，「東アジア経済の現状」を「東アジ ア」,「批判的思考とエセ科学」を「批判的思考」と 省略している．記述が一定の文字数に満たないもの や空白であるものについては除外しているため，同講義内で回答者数は一致していない.

本研究で利用している小論文データは言語資源協会から公開されている2).

表 1 各講義の設問ごとの小論文データと実験に使用する

## 5.2 設問内容

本節では講義の設問内容を示す.

講義名 :「グローバリゼーションの光と影」

問 1 「グローバリゼーションは、世界、または 各国の所得格差をどのように変化させましたか。ま た、なぜ所得格差拡大、または縮小の現象が現れた と考えますか。 300 字以内で答えなさい。」

問 2 「多国籍企業は、グローバリゼーションの 進展の中でどのような役割を果たしましたか。多国籍企業の具体例をあげて、250 字以内で答えな さい。」

問 3 「文化のグローバリゼーションは、私たち の生活にどのような影響を与えましたか。また、あ なたはそれをどのように評価しますか。具体例をあ げて、300 字以内で答えなさい。」

講義名 :「自然科学の構成と科学教育」

問 1 「「科学的」とはどのような条件をみたす必要があるのか 100 字以内で答えよ。」

問 2 「講義で解説した自然科学の二つの側面を 参考に、自然科学が果たす役割について 400 字以内

2) https://www.gsk.or.jp/catalog/gsk2021-b

で論ぜよ。」

問 $3\lceil\lceil$ Scientific and Technological Literacy for All」 の狙いを考慮し、これからの科学教育はどうあるべ きか 500 字以上 800 字以内で論ぜよ。」

## 講義名：「東アジア経済の現状」

問 1 「日中韓の相互依存の強さを、データを示 して簡潔に述べなさい。また、相互依存を示す経済協力・協業の具体例をあげ、合わせて 300 字以内で 答えなさい。」

問 2 「「中所得国の罠」の概略を説明し、どうし たらそれを乗り越えることができるか 250 字以内で 説明しなさい。」

問 3 「日中韓には少子化や環境問題など 3 国に 共通する経済問題がある一方、それぞれの国に特有 の課題も多くあります。それぞれの国が抱えている 特徵的な経済問題をあげ、東アジアにおける協調と 対立の構造を 300 字以内で説明しなさい。」

講義名：「批判的思考とエセ科学」

問 1 「「批判的思考」の定義に関連して、「批判的思考」に関する研究で共通に見出される「批判的思考」の3つの観点を述べなさい。100 文字。」

問 2 「講義で紹介した右のグラフを根拠に「長生きするためにはカラーテレビを多く所有すれば良 い」と主張することが妥当ではない理由を 400 字以内で述べなさい。ただし、このようなグラフが形成 される理由の説明を加えること。」

問 3 「各自で「ニセ科学」の可能性があると思 う実例を挙げ、その実例が「二セ科学」であること を証明するためには、どのような方法で、どのよう な証拠を得て、どのように説明する必要があるのか を論じなさい。また、その実例がニセ科学でも信じ てしまいやすい要因は何かについても考察し、説明 しなさい。ただし、講義で扱った事例以外のものを 挙げること。500 字以上 800 字以内。」

## 5.3 評価尺度

本節では提案システムの精度を測る方法について 示す. システムの評価は人手で採点された点数を正解データとして, システムの出力した点数データと 比較を行う. 本研究では重み付きカッパ値 QWKを 元に評価を行う. QWK はシステムの採点結果と人手の採点結果との評価ズレの程度を測定する. 2 つ の評価のズレを 2 乗し重み付けしたものが計算され
る. 結果が 1 に近いほどシステムの評価は高いと言 える. num (a) はある採点者が $\mathrm{a}$ と採点した回数で あり, $o b(a, b)$ は 2 人の採点者が $a, b$ と採点した回数である.

$
\begin{gathered}
\operatorname{byChance}(a, b)=\frac{\operatorname{num}(a) \times \operatorname{num}(b)}{n} \\
Q W K=1-\frac{\sum_{a, b=1}^{5} \operatorname{ob}(a, b) \times|a-b|^{2}}{\sum_{a, b=1}^{5} \operatorname{byChance}(a, b) \times|a-b|^{2}}
\end{gathered}
$

作成したシステム間に有意差が認められるかの判定を $\mathrm{T}$ 検定にて行う. 対応する同一の標本である小論文データ $\mathrm{n}$ を用いて，システムで採点されたデー タを $x_{i}, y_{i}$ とし，その差を $d$ とする. $s_{d}$ はデータの 差 $d$ の標準偏差である. 検定統計量 $\mathrm{T}$ は以下で表さ れる。

$
\begin{gathered}
T=\frac{\bar{d}}{\frac{S_{d}}{\sqrt{n}}} \\
\bar{d}=\frac{\sum d}{n}=\frac{\sum\left(x_{i}-y_{i}\right)}{n}
\end{gathered}
$

本実験では有意水準を 0.05 として両実験に有意 に差があるかを観測する。

## 5.4 実験結果

小論文の各設問に対して出力された結果とその平

均を表 2 に示す。また， $\mathrm{T}$ 検定を適用した $\mathrm{P}$ 值につ いて表 3 に記載する。

表 2 BERT+分類器モデルの QWK

表 3 BERT+分類器モデルの P 値

表 3 では $\mathrm{P}$ 値が 0.05 より高いため両者に有意差は 認められていない。しかし，表 2 でSVR での実装

は，XGBoostでの実装に比べて各設問で平均値に近 い出力をしていることがわかる. そのため, 安定し た平均数值を出す SVR での実装が良いことが考え られる。

追加で行なった BERT と BOW の組み合わせにつ いての結果とその平均を表 4 に示す. また， $\mathrm{T}$ 検定 を適用した $\mathrm{P}$ 値について BERT+SVR の結果を含め て表 5 に記載する。

表 4 BERT+BOW+分類器モデルの QWK

 &  \\

表 5 BERT+BOW+分類器モデルの P 値

表 5 で は $B E R T+B O W+S V R$ と BERT+BOW+XGBoost の P 值が 0.05 より高い ため両者に有意差は認められていない. しかしなが ら，BERT だけでの実装に比べ BOWを組み込んだ モデルは有意差があり, 平均値から BOWを組み込 むことで精度が上がることがわかる. 表 4 において もいくつかの設問で差はあるが，全体的に大きな差 は出ていない. 設問に対する回答内容が絞られるよ うな自由記述の要素が少ない設問 (1 および 2(ただ しグローバルを除く)) の場合には SVR が高い傾向 が見られた. また，自由記述に近い設問 (グローバ ルの設問 2 や設問 3) ではおおむね XGBoostが高い 値を示している.

## 5.5 考察

BERT 単体では分散表現ベクトルから点数との関連性を見いだすことが難しいため, SVR やXGBoost では精度が低く, 両者に大きな差は出ていないと考 えられる。一方 BOWを埋め込むことで単語自体の出現頻度と分散表現ベクトルの両者の特徴量を利用 することが可能になるため，精度の向上が見られた と考えられる．BERT+BOWにおいてXGBoostが自由記述の設問において精度が高く見られたのは決定木で独自のルールが構築されたためだと考える。

## 6 おわりに

本論文では日本語小論文の採点システムを構築 し，BERT や BOW を使った際と SVR やXGBoost を 使った際でのそれぞれのシステムを QWK のを用い て評価した. BERT+分類器の実装では SVR が平均値に近い安定した値を出力することを示した。ま た，文書べクトルとして BERT だけでなく BOWを 取り込むことで QWK が向上することを実験的に示 した. モデルの比較として，SVR とXGBoostでは 設問の特性によって精度の差が観測された。概ね，小論文の記述すべき内容がはっきりしている場合は SVR が高く, 自由記述の幅が大き設問に対しては XGBoostが高い傾向を示した.

## 謝辞

本研究の遂行にあたって岡山大学運営費交付金機能強化経費「小論文、エッセイ等による入学試験で の学力の三要素を評価するための採点評価支援シス テムの開発導入」の支援を受けた.

## 参考文献

[1] 竹谷謙吾, 高井浩平, 森康久仁, 須鎗弘樹. 日本語記述式問題の自動採点システムの提案. In IEICE Conferences Archives. The Institute of Electronics, Information and Communication Engineers, 2018.

[2] 清野光雄, 竹内孔一. ニューラルネットワーク を利用した日本語小論文の自動採点の検討. In IEICE Conferences Archives. The Institute of Electronics, Information and Communication Engineers, 2019.

[3] 竹内孔一, 大野雅幸, 泉仁宏太, 田口雅弘, 稲田佳彦, 飯塚誠也, 阿保達彦, 上田均. 研究利用可能な小論文デー 夕に基づく参照文書を利用した小論文採点手法の開発. 情報処理学会論文誌, Vol. 62, pp. 1586-1604, 2021.

[4] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018.


# IMPARA: パラレルデータにおける修正の影響度に基づいた 文法誤り訂正の自動評価法

前田航希金子正弘 岡崎 直観
東京工業大学
\{koki.maeda@nlp., masahiro.kaneko@nlp., okazaki@\}c.titech. ac.jp

## 概要

文法誤り訂正 (Grammatical Error Correction; GEC) の自動評価は，低コストかつ定量的な評価に不可欠 である。しかし，既存の GEC 自動評価手法は評価時に複数の参照文を必要としたり, 評価モデルの学習に特化した訓練データが必要になるなど，自動評価の実現のためのデータ作成コストが高いという難点がある．本稿では，誤文と正文の組からなるパラ レルデータのみを用い，修正の影響度を考慮しなが ら GEC の評価尺度を学習する手法である IMPARA を提案する。提案手法は GEC の自動評価における データ作成コストを大幅に軽減しつつ，人手評価と の相関において既存手法と同等以上の性能を示し た．また，評価尺度を学習するパラレルデータを変更することで，異なるドメインや訂正スタイルに適合した評価を実現できることを実験的に示した.

## 1 はじめに

GEC は，文法的な誤りを含んだ文（誤文）が入力 されたとき，文法的に正しい文（正文）となるよう に訂正して出力するタスクである. GEC はウェブ テキスト [1] や言語学習者が書いたエッセイ [2] な ど，様々なドメインで活用される．GEC の精度は， システムが出力した文が文法的に正しいと人間に受 け入れられる度合いで測定できる。ただ，人手評価 はコストが高いため，人手評価と相関の高い自動評価手法の確立が望まれている。

GEC の自動評価手法は二つに大別される。一つ は，誤文を含むコーパスに対して人間が正文を付与 し， GEC システムの出力との近さを評価する参照文有りの手法 $[3,4,5]$ である。一般に，誤文の訂正の 仕方は複数あり得るため，参照文有りの手法で正し い評価を行うには，複数の参照文を用意する必要が ある．ところが，考えうるすべての訂正を網羅する
のは困難である．とはいえ，参照文の数を絞ってし まうと，GEC システムの訂正が正しいとしても，参照文と訂正結果に差異があれば過小評価される。

もう一つは，入力文とシステム出力のみを用いる 参照文なしの評価手法である．参照文なしの評価手法として，言語モデルに基づく手法 $[6,7,1]$ がある が，GEC に関するデータを全く用いないため，人間 による評価との相関が低いことが知られている [8]. これに対し，GEC システムの出力文を人手で評価し た結果を活用し，評価尺度を最適化する手法 SOME が提案されている [8]. しかし，SOME の訓練デー タを作成するには，GEC システムの出力文に対して 人手評価を付与する必要がある．そのため，異なる ドメインや訂正スタイルに対応するには，新たに人手評価データを作成しなければならない。

本研究では，評価時に参照文を用いず，誤文と正文から構成されるパラレルデータのみから GEC の 自動評価尺度を学習できる IMPARA (IMpact-based metric for GEC using PARAllel data）を提案する. 評価尺度の学習では，GEC システムの訓練データと同 じ形式のパラレルデータを利用できるため，データ 作成コストを大幅に削減できる。また，自動評価尺度の学習に用いるパラレルデータを変えることで，様々なドメインや訂正スタイルの特徴を考慮した自動評価モデルを構築できる。

メタ評価実験では，(i) IMPARA が人手評価データ を用いた既存の評価手法と比較して同等または上回 る評価性能を持つこと，(ii) 異なるドメインや訂正 スタイルのデータで評価尺度を学習することで，ド メインやスタイルの特性を考慮した自動評価手法を 構築できることを実証する。

## 2 提案手法 (IMPARA)

IMPARA は，図 1 のように出力文を評価する訂正評価モデルと，入力文と出力文の類似性を評価する
教師データ生成

ERRANT

学習

事前学習済モデル

評価

図 1 IMPARAによる評価スコアの自動算出（右側）と評価尺度の学習方法（中央）および訓練データの自動作成（左側）

類似性評価モデルから構成される.

訂正評価モデルは訂正後の文に対する相対的な評価を付与する．誤文に対する編集操作の適用数によ り文対を順位付けし，GEC 評価指標をメタ評価する 既存研究 [9] に着想を得て，誤文に対して編集操作 をランダムに適用した文対を比較し，優劣の順序関係を学習する．誤文から正文への書き換えでは，編集操作ごとに異なる深刻さの誤りを訂正していると 考え，編集操作の影響度を定義し，編集操作を適用 した文対に関する順序関係を決定する。

類似性評価モデルは入力文と出力文の内容が乘離することを防止する．既存の参照文なし評価手法 [10] では，入力文と出力文の表層的な一致率を計算していたが，IMPARA では文べクトルの類似度を 計算する。これにより，文意を変更しない表層的な 訂正に対しても，類似性を頑健に判定できる.

## 2.1 編集の影響度

編集操作に対して影響度を形式的に定義する。誤文 $S$ と正文 $T$ の組を $(S, T)$ とする. ををを $S$ から $T$ へ の順序によらない編集操作の集合とする．編集を適用する関数 $f$ とし， $S$ に対して $\mathscr{R}$ に含まれる全て の編集を適用して $T$ を得ることを， $T=f(S, \mathscr{E})$ と 書く. ある編集操作 $e \in \mathscr{E}$ が文の意味を大きく変化 させるならば，その編集操作の影響度は高いと考え る. そこで，編集 $e$ を除外した文 $T_{-e}=f(S, \mathscr{E} \backslash\{e\})$ と正文 $T$ との距離を考え, $e$ の影響度 $I_{e}$ を定義する。

$
I_{e}=1-\frac{\operatorname{BERT}(T) \cdot \operatorname{BERT}\left(T_{-e}\right)}{\|\operatorname{BERT}(T)\|\left.\|\operatorname{BERT}\left(T_{-e}\right)\right.\|}
$

ここで， $\operatorname{BERT}(T)$ は文 $T$ に対して事前学習済み BERT が計算する文べクトルであり，文 $T$ の全トー クンの最終層のベクトルの平均である。また編集の部分集合 $E \subseteq \mathscr{E}$ を適用した文 $f(S, E)$ の影響度を $E$ に含まれる各編集の影響度の総和 $\sum_{e \in E} I_{e}$ とする。

## 2.2 自動評価手法の構築

IMPARA は入力文 $S$ と出力文 $O$ に対して訂正評価モデルと類似性評価モデルの両方のスコアを考慮 し，評価スコア $\operatorname{score}(S, O) \in[0,1]$ を計算する.

$
\operatorname{score}(S, O)=\left.\{\begin{array}{l}
\operatorname{corr}(O)(\text { if } \operatorname{sim}(S, O)>\theta) \\
0 \text { (otherwise) }
\end{array}\right.
$

ただし， $\operatorname{sim}(S, O)$ は類似性スコア, $\operatorname{corr}(O)$ は訂正 スコア， $\theta$ は類似性スコアの閾值である．類似性ス コアが閾値 $\theta$ 以下である場合は，出力文が入力文に 対する適切な訂正ではないと判断し，評価スコアを 0 とする。一方，類似性スコアが閾値よりも大きけ れば，訂正スコアの值をそのまま採用する。

訂正スコア 訂正スコアは, 出力文 $O$ を訂正評価モデル $R$ に与え，シグモイド関数 $\sigma$ を用いて $\operatorname{corr}(O)=\sigma(R(O))$ で求める. 訂正評価モデル $R$ は BERT の先頭トークンに線形変換を適用し，実数値 を計算するもので，ファインチューニングにより構築する．ファインチューニングのための訓練データ は，誤文と正文のパラレルデータから自動的に作成 する． $n$ 個の誤文と正文の対からなるパラレルデー タを $\mathscr{C}=\left.\{\left(S_{i}, T_{i}\right)\right.\}_{i=1}^{n}$ と表現する. 誤文と正文の組 $(S, T) \in \mathscr{C}$ に対し，ERRANT [5] を用いてアライメン 卜を計算し，編集集合 $E$ を抽出する． $E$ から異なる 編集の部分集合 $E^{\prime}, E^{\prime \prime}$ を作成する。 $E^{\prime}, E^{\prime \prime}$ を $S$ に適用することで新たな文対を生成し，式 1 の影響度で その順序関係を決定し，Rの訓練データとする。

訓練データの作成手順を説明する．誤文と正文の組 $(S, T)$ に対して抽出された編集集合を
$E=\left.\{e_{1}, \ldots, e_{|E|}\right.\}$ とし, $k \in\{1,2, \ldots,|E|\}$ を離散一様分布から選ぶ. 編集操作 $e \in E$ を $k$ 回非復元抽出し, 抽出された編集操作の集合を $E^{\prime}$ とする. 続 いて， $E^{\prime}$ を微修正することで $E^{\prime \prime}$ を作成する。まず $E^{\prime \prime}=E^{\prime}$ と初期化する. その後, $E$ の各要素 $e \in E$ に ついて, 確率 $\frac{1}{|E|}$ で以下の操作を適用する.

$
E^{\prime \prime} \leftarrow\left.\{\begin{array}{l}
E^{\prime \prime} \cup\{e\} \text { if } e \notin E^{\prime} \\
E^{\prime \prime} \backslash\{e\} \text { if } e \in E^{\prime}
\end{array}\right.
$

$E^{\prime}, E^{\prime \prime}$ を誤文に適用して得た文 $f\left(S, E^{\prime}\right), f\left(S, E^{\prime \prime}\right)$ に 対して影響度を計算し，影響度の低い文を $S_{-}$，高い 文を $S_{+}$とする. このように $(S, T)$ から文対 $\left(S_{-}, S_{+}\right)$ を作成し, 訂正評価モデル $R$ の訓練データ $\mathscr{J}$ を得 る. ただし，一つの文対から作成する訓練事例は最大で $c$ 件とする. また, $E^{\prime}$ と $E^{\prime \prime}$ が等しくなった場合は訓練事例として採用しない。

得られた訓練データすを用いて訂正評価モデル $R$ を学習する. 訂正文の順序関係を学習するため, モデル $R$ の損失関数 $L$ を次式で定義する.

$
L=\frac{1}{|\mathscr{T}|} \sum_{\left(S_{-}, S_{+}\right) \in \mathscr{T}} \sigma\left(R\left(S_{-}\right)-R\left(S_{+}\right)\right)
$

損失関数にシグモイド関数 $\sigma$ を用いるのは一部の事例を極端に重要視することを防ぐためで，実験的に 評価性能の向上に寄与することを確認している.

類似性スコア 入力文 $S$ と出力文 $O$ をそれぞれ事前学習された BERT に与え，類似性スコア $\operatorname{sim}(S, O)$ を計算する。影響度と同様に，文中の全てのトーク ンの最終層のベクトルの平均として文べクトルを算出し, 両文ベクトルのコサイン類似度を $\operatorname{sim}(S, O)$ とする. これにより, 入力文 $S$ と出力文 $O$ の情報が どの程度類似しているかを計測できる。

## 3 実験

IMPARA の評価スコアと人間の評価結果との相関を調べるため，二つのメタ評価実験を行った。 まず，GEC システムに対する人手評価と，自動評価手法の評価スコアとのピアソンの積率相関係数 （Pea）およびスピアマンの順位相関係数（Spe）を計測する。また，文の優劣比較の正解率 (Acc) とケ ンドールの順位相関係数（Ken）を計測する. 人手評価として，CoNLL2014 [11] データセットに対し複数の GEC システムの訂正文を人間に順位付けさせ たデータセット1)を用いる.

1） 本実験では, Grundkiewicz ら [12] の論文の Table 3(b) に示さ れる Expected Wins を人手評価とした.次に，ドメインや訂正スタイルを考慮した評価 スコアを構築できたか検証する。この検証では， IMPARA の訂正評価モデルの学習に用いるコーパス と，評価尺度のメ夕評価に用いるコーパスの組合せ を変え，それぞれについて MAEGE [9]によるメタ評価を実施する．MAEGE は，評価データの誤文に加 えた編集数に基づく順序関係を構築する。この順序関係を用いて作成した評価スコアと自動評価手法の 評価スコアの相関係数を測定してメタ評価を行う。 この実験には公開されている実装2)利用した.

## 3.1 実験設定

人手評価との相関を測定する実験では，IMPARA の訂正評価モデルの学習に CoNLL2013 [13] を用 いた. ドメインや訂正スタイルを変更する実験で は，CoNLL2014 [11] に加え，ウェブテキストの文法誤りを訂正する CWEB [1]，流暢な訂正を含む JFLEG [14]，エッセイに訂正を加えた FCE [2]を用

に利用し，10\%をメタ評価のためのデータとした。

実験では，Hugging Face が公開する事前学習済モ デル3）（BERT-BASE-CASED）を BERT モデルとし て採用した。類似性評価モデルは事前学習済モデル をそのまま用い，訂正評価モデルは自動生成した訓練データでファインチューニングした.

ベースライン手法として参照文を用いない自動評価手法である SOME と Scribendi Score [10] を用い た. また，IMPARA の訂正評価モデルの訓練データ 構築法の有効性を検証するため，パラレルコーパ スの誤文と正文の文対のみを用いて BERTをファ インチューニングした評価モデル（パラレルのみ） と比較した. SOME の評価モデルとして用いられ る BERT のファインチューニングでは，公開された データセット4)を本研究と同じ学習・評価の分割で 利用し，吉村ら [8] のハイパーパラメータ設定を利用した。

## 3.2 実験結果

各自動評価と人手評価との相関を測定した結果を 表 1 に示す5).IIMPARA はコーパス単位の評価では

表 1 Grundkiewiczの人手評価との相関

人手評価データを用いるSOME より高い相関を示 した. さらに，パラレルコーパスに含まれる文対の みを訂正評価モデルの訓練データとした場合との比較から，提案手法で訓練データを自動構築すること の効果を確認できた。また， MAEGE によるメタ評価によると, IMPARA はコーパス単位の評価で既存手法と同等程度, 文単位の評価で既存手法に対して 0.1 ポイント以上高い性能を示した（Appendix の表 4). これらの実験結果は, IMPARA はパラレルデー タのみから自動構築した訓練データのみを用いる が，人手評価を付与した訓練データを用いる既存の 評価手法と同等程度の評価性能を達成することを示唆している.

4 種類の評価コーパスに対して，学習コーパスを 変化させたときの MAEGE によるメタ評価を行った 結果を表 2 に示す. 実験の結果, 評価に用いたコー パスと同じコーパスを用いて訂正評価モデルを学習させることで評価性能が向上した. 特に文単位の 相関が大きく向上していることが確認された. さら に，MAEGEを用いて既存手法と評価性能を比較し た (Appendix の表 5). SOME は CWEB, FCE におい て, Scribendi Score は CWEB, JFLEG において評価性能が極端に低下した．一方で，IMPARA はいずれの 評価コーパスにおいても高い評価性能を示した.こ のことから, IMPARAを用いることでコーパスの特性により適合した評価を行えることが確認できた。

## 3.3 誤りタイプごとの影響度

2.1 節で定義した影響度を用いたとき，BERT モデ ルがどのような誤りに対して高い影響度を算出する のか分析した. CoNLL2014に含まれる訂正文対に ついて，ERRANTを用いて編集と誤りタイプを抽出 し，編集ごとに影響度を求め，平均値を算出した。

平均影響度を算出した誤りタイプについて, OTHER を除き事例が 400 以上の誤りタイプを抜粋 して表 3 に示す（全ての結果は Appendix の表 6). DET (冠詞), PREP (前置詞) などの機能語と比較し $\tau$, NOUN (名詞), VERB (動詞) など内容語の訂表 2 学習・評価コーパスの組合せによる性能変化

表 3 CoNLL2014において, OTHER を除く事例数が 400 以上の誤りタイプ

正に高い影響度を付した。また同じ名詞に関する訂正でも，数量に関する訂正には低い影響度が算出さ れることが確認された. 以上から, 本研究で定義し た影響度は文法的な役割に関する訂正よりも内容語 による意味の変化を重要視していると考えられる。

## 4 おわりに

本稿では，パラレルコーパスを用いた GEC の自動評価手法の構築法である IMPARA を提案した。提案手法は, 編集に対して影響度を算出し, 訂正文 の良し悪しに関する順序関係を自動的にラベル付け した訓練データを生成し、BERTをファインチュー ニングすることで，訂正文に対する相対的な評価尺度を獲得する。提案手法は，人手評価との相関にお いて既存手法と同等以上の性能を示すこと，評価対象となるコーパスが持つ訂正の特性を考慮した自動評価を行えることを確認した。

今後の発展として, 文法誤り生成を用いた訓練 データ生成を取り入れることがある. データ生成コ ストの緩和が見込まれるほか, 自動評価尺度の品質向上に寄与すると考えられる.

## 参考文献

[1] Simon Flachs, Ophélie Lacroix, Helen Yannakoudakis, Marek Rei, and Anders Søgaard. Grammatical error correction in low error density domains: A new benchmark and analyses. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 8467-8478, Online, November 2020. Association for Computational Linguistics.

[2] Helen Yannakoudakis, Ted Briscoe, and Ben Medlock. A new dataset and method for automatically grading ESOL texts. In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, pp. 180-189, Portland, Oregon, USA, June 2011. Association for Computational Linguistics.

[3] Daniel Dahlmeier and Hwee Tou Ng. Better evaluation for grammatical error correction. In Proceedings of the 2012 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 568572, Montréal, Canada, June 2012. Association for Computational Linguistics.

[4] Courtney Napoles, Keisuke Sakaguchi, Matt Post, and Joel Tetreault. Ground truth for grammatical error correction metrics. In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 2: Short Papers), pp. 588-593, Beijing, China, July 2015. Association for Computational Linguistics.

[5] Christopher Bryant, Mariano Felice, and Ted Briscoe. Automatic annotation and evaluation of error types for grammatical error correction. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 793-805, Vancouver, Canada, July 2017. Association for Computational Linguistics.

[6] Courtney Napoles, Keisuke Sakaguchi, and Joel Tetreault. There's no comparison: Reference-less evaluation metrics in grammatical error correction. In Proceedings of the $\mathbf{2 0 1 6}$ Conference on Empirical Methods in Natural Language Processing, pp. 2109 2115, Austin, Texas, November 2016. Association for Computational Linguistics.

[7] Hiroki Asano, Tomoya Mizumoto, and Kentaro Inui. Referencebased metrics can be replaced with reference-less metrics in evaluating grammatical error correction systems. In Proceedings of the Eighth International Joint Conference on Natural Language Processing (Volume 2: Short Papers), pp. 343-348, Taipei, Taiwan, November 2017. Asian Federation of Natural Language Processing.

[8] Ryoma Yoshimura, Masahiro Kaneko, Tomoyuki Kajiwara, and Mamoru Komachi. SOME: Reference-less sub-metrics optimized for manual evaluations of grammatical error correction. In Proceedings of the 28th International Conference on Computational Linguistics, pp. 6516-6522, Barcelona, Spain (Online), December 2020. International Committee on Computational Linguistics.

[9] Leshem Choshen and Omri Abend. Automatic metric validation for grammatical error correction. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1372-1382, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[10] Md Asadul Islam and Enrico Magnani. Is this the end of the gold standard? a straightforward reference-less grammatical error correction metric. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 30093015, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[11] Hwee Tou Ng, Siew Mei Wu, Ted Briscoe, Christian Hadiwinoto, Raymond Hendy Susanto, and Christopher Bryant. The CoNLL-
2014 shared task on grammatical error correction. In Proceedings of the Eighteenth Conference on Computational Natural Language Learning: Shared Task, pp. 1-14, Baltimore, Maryland, June 2014. Association for Computational Linguistics.

[12] Roman Grundkiewicz, Marcin Junczys-Dowmunt, and Edward Gillian. Human evaluation of grammatical error correction systems. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 461-470, Lisbon, Portugal, September 2015. Association for Computational Linguistics.

[13] Hwee Tou Ng, Siew Mei Wu, Yuanbin Wu, Christian Hadiwinoto, and Joel Tetreault. The CoNLL-2013 shared task on grammatical error correction. In Proceedings of the Seventeenth Conference on Computational Natural Language Learning: Shared Task, pp. 1-12, Sofia, Bulgaria, August 2013. Association for Computational Linguistics.

[14] Courtney Napoles, Keisuke Sakaguchi, and Joel Tetreault. Jfleg: A fluency corpus and benchmark for grammatical error correction. In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics: Volume 2, Short Papers, pp. 229-234, Valencia, Spain, April 2017. Association for Computational Linguistics.
表 4 MAEGEによるメタ評価 コーパス 文 束 Pea Spe Pea Spe Ken

$\begin{array}{llllll}\text { Scribendi } & 0.884 & 0.981 & 0.374 & 0.421 & \mathbf{0 . 8 2 4}\end{array}$

表 5 評価データと同じドメインの訓練データで学習した IMPARA と既存手法の性能比較

表 6 誤りタイプ毎の影響度と事例数（CoNLL2014）

## A ハイパーパラメータの設定

訂正評価モデルの再学習では, 比較時にコーパス の量による影響を回避するために，コーパスによら ず $|\mathscr{T}|=4096$ となるように調整した. コーパスに含 まれる訂正文対 1 つから生成する文対の最大数 $c$ を
30，学習率を $10^{-5}$ とし，バッチサイズは 32 とした. エポック数は $1, \ldots, 10$ と変化させ，モデルを学習し た. 類似性スコアの閾値 $\theta$ は 0.9 とした.