# 画像描写問題における学習者作文の誤り訂正

田中健斗 ${ }^{1}$ 西村太一 ${ }^{1}$ 南條浩輝 ${ }^{2}$ 白井圭佑 ${ }^{1}$ 亀甲博貴 ${ }^{2}$

1 京都大学大学院情報学研究科 2 京都大学学術情報メディアセンター

${ }^{1}$ tanaka.kento.s07@kyoto-u.jp

${ }^{1}$ \{nishimura.taichi43x, shirai.keisuke. $64 x$ \}@st.kyoto-u.ac.jp

${ }^{2}$ nanjo@media.kyoto-u.ac.jp ${ }^{2}$ kameko@i.kyoto-u.ac.jp
## 概要

本研究では，画像描写問題における学習者作文の 誤りを訂正する新しいタスクを提案する。本タスク では，文法的な誤りだけでなく，画像描写問題特有 の意味論・語用論に関する誤りの訂正が求められ る. 画像と学習者作文を入力に取り，誤りを訂正し た文を生成するべースラインを構築した. 実験結果では，文法誤り訂正 (Grammatical Error Correction; GEC) で訂正が困難な意味論・語用論の誤りを訂正 できることを確認し，画像を参照する提案手法の有用性を確認した。

## 1 はじめに

外国語教育において，コミュニケーション能力を 重視した 4 技能の育成が重視されている. 4 技能の うちの「話す」「書く」という産出能力の評価は難し いタスクである。これは，学習者の多様な発言・作文に対応する必要があるためである. 本研究では,学習者に画像を見せて関連する文を産出させる「画像描写問題 $\perp^{1)}$ に着目し, 学習者作文の自動評価の研究を行う.

学習者は画像描写問題を通して，即時的に考えを 述べる能力を身につけることができる．また，画像 により作文の自由度が制限されるので，添削基準が 確立され，添削コストは削減される。しかし，画像描写問題は明確な利点が多くある一方で，自動評価 に取り組んだ研究例は少ない。

本稿では，画像描写問題における学習者作文の誤 りを訂正するシステム (図 1)を作成したので，それ について述べる.


図 1 画像描写問題の誤りを訂正するシステム.

## 2 関連研究

近年，学習者作文の誤り訂正のための Shared task である CoNLL-2014 [1] や BEA-2019 [2] が整備され,文法誤り訂正 (Grammatical Error Correction; GEC) が 盛んに研究されている. Zhao ら [3] は，誤りを含む 文を訂正文に翻訳する機械翻訳ベースの GEC 手法 において，訂正文は入力文の多くがコピーされる 傾向に着目し, Transformer にコピー機構を備えた 手法を提案している。一方で Omelianchuk ら [4] は， コーパス構築にコストを要する機械翻訳ベースの GEC 手法の精度向上が難しい点に着目し, 系列ラべ リングの手法を用いた GECToRを提案した。

GEC は文法上の誤りの訂正を目指すものであり，意味論または語用論に関する誤りは原理的に訂正 できない．例えば，“there is a bench on glass”には文法上の誤りはないため, GEC では訂正できない. “glass”を "grass” と訂正するには，世界に対する背景知識やコンテクストが必要である。コンテクスト には，この文の前にある文章だけではなく，書かれ た状況 (画像) も含まれる. 画像描写問題における 誤り訂正は，コンテクストとして画像の情報を利用 することで，このような誤りの訂正を目指すもので ある.
表 1 データセットの統計情報.

## 3 データセットの構築

画像描写問題における学習者作文訂正のために,学習者作文とその訂正文のペアを収集した。具体的 には，画像描写問題における英作文を収集し，英文添削の専門家による添削を実施した。

## 3.1 学習者作文の収集

本研究では, 主に日本の高校生に画像描写問題に 取り組んでもらい，学習者作文を収集した ${ }^{2)}$. 画像描写問題では，画像と画像内の枠部分 (赤枠で囲む) を提示し，その部分について 1 文の英語で描写する ことを求めた。

問題に使った画像は, RefCOCOg [5] から選出し た. RefCOCOg は, MSCOCO [6] の 26,711 枚の画像 の中の 54,822 個の物体に対する 85,474 個の参照表現 ${ }^{3}$ からなるデータセットである。問題に使用する 画像，及び特定の物体は画像のカテゴリ (e.g., 人，食 べ物，車) に偏りが生まれないように 120 枚を人手 で選出した. この 120 枚の画像に対し, 651 文の学習者作文を得た。

## 3.2 専門家による添削

次に，日本語を十分に理解する英文添削の専門家 に，収集した学習者作文の誤りの訂正を依頼した. その際，元の作文に限りなく近い構文での，文法上 の誤りの訂正（文法的な添削）および画像の内容に ふさわしくない表現誤りの訂正（写真との関連性に おける添削）を依頼した．誤りが著しく多く添削が 困難な文が 7 文あり，それらは訂正されなかった。表 1 に学習者作文と添削結果の統計情報を示す.図 2 に訂正例を示す。

## 4 画像描写の誤り訂正

本研究では，3節で述べたデータセットを用いて，学習者による画像描写の誤りを訂正するベースライ ンモデルを構築し，その評価を行う。具体的には，画像 $I$ と学習者作文 $L$ から，適切に訂正された文 $C$


図 2 専門家による添削例. (赤枠で囲まれた部分につい て描写した作文を学習者に求めた)

を出力する問題とし，エンコーダ・デコーダモデル でモデル化する．モデルの概要を図 3 に示す．詳細 は次に述べる。

## 4.1 エンコーダ

画像エンコーダ．画像エンコーダでは画像 $I$ の 特徵量を抽出する。学習者は複数の物体を描写す ることが多く，各物体を基にした特徴量を抽出 するために，注意機構 $[7,8]$ をモデルに取り入れ る。画像 I から Faster-RCNN [9] を用いて物体を抽出し, ResNet-101 [10]を用いて, 物体領域の特徴量 $\boldsymbol{O}=\left(\boldsymbol{o}_{1}, \ldots, \boldsymbol{o}_{k}, \ldots, \boldsymbol{o}_{K}\right) \in \mathbb{R}^{d_{v} \times K}$ を獲得する. また，物体の位置関係を考慮するために，4 次元の位置座標 (バウンディングボックス)を $d_{e}$ 次元の特徴量 $\boldsymbol{P}=\left(\boldsymbol{p}_{1}, \ldots, \boldsymbol{p}_{k}, \ldots, \boldsymbol{p}_{K}\right)$ に拡張した. 抽出した物体 $\boldsymbol{V}=\left(\boldsymbol{v}_{1}, \ldots, \boldsymbol{v}_{k}, \ldots, \boldsymbol{v}_{K}\right) \in \mathbb{R}^{d_{e} \times K}$ は, $\boldsymbol{O}$ と $\boldsymbol{P}$ の合計 を取って，次のように表現できる。

$
\begin{aligned}
\boldsymbol{V} & =\left(\boldsymbol{v}_{1}, \ldots, \boldsymbol{v}_{K}\right) \\
& =\left(\boldsymbol{W}_{o} \boldsymbol{o}_{1}+\boldsymbol{p}_{1}, \ldots, \boldsymbol{W}_{o} \boldsymbol{o}_{K}+\boldsymbol{p}_{K}\right)
\end{aligned}
$

$\boldsymbol{W}_{o} \in \mathbb{R}^{d_{e} \times d_{v}}$ は全結合層の重みを表す.ここで述べ た画像の特徴量抽出方法を本論文では，Bottom-up と呼ぶ。また，ResNet-152を用いて，画像全体から 特徵量 $\boldsymbol{v}^{\prime} \in \mathbb{R}^{d_{e}}$ を抽出する手法も Global として試 した.

学習者作文エンコーダ. 事前学習済みの BERT [11] を用いて，学習者作文 $L$ から特徴量 $\hat{\boldsymbol{e}} \in \mathbb{R}^{d_{e}}$ を抽出する．学習者作文 $L$ は WordPiece Tokenizer を用いてサブワードに分割し，BERT によ り特徴量 $\left(\boldsymbol{e}_{1}, \ldots, \boldsymbol{e}_{n}, \ldots, \boldsymbol{e}_{N}\right) \in \mathbb{R}^{d_{e} \times N}$ を獲得する.各特徴量を平均プーリングすることで文レベルの特徵量 $\hat{\boldsymbol{e}}$ とする.

$
\hat{\boldsymbol{e}}=\frac{1}{N} \sum_{i=1}^{N} \boldsymbol{e}_{i}
$

注意機構. エンコーダで獲得した物体の特徴量 $V$ と学習者作文の特徴量 $\hat{\boldsymbol{e}}$ を基に，注意機構は各物体

図 3 提案する誤り訂正モデルの概要図。(画像中の赤枠は画像エンコーダが特徴量を取り出す際に参照した領域)

の学習者作文に関する重み $\hat{v}$ 算出する。 [12] らの 手法に倣い，画像の特徴量 $\hat{\boldsymbol{v}}$ は，

$
\hat{\boldsymbol{v}}=\sum_{k=1}^{K} \alpha_{k} \boldsymbol{v}_{k}
$

のように算出する。また，重み $\alpha_{k}$ は，

$
\begin{aligned}
\alpha_{k} & =\frac{\exp \left(\tau_{k}\right)}{\sum_{j=1}^{K} \exp \left(\tau_{j}\right)} \\
\tau_{k} & =\boldsymbol{W}_{v e}\left(\operatorname{ReLU}\left(\boldsymbol{W}_{v} \boldsymbol{v}_{k}\right) \odot \operatorname{ReLU}\left(\boldsymbol{W}_{e} \hat{\boldsymbol{e}}\right)\right)
\end{aligned}
$

のように算出する．ただし，๑はアダマール積を 指し, $\boldsymbol{W}_{v} \in \mathbb{R}^{d_{e} \times d_{e}}, \boldsymbol{W}_{e} \in \mathbb{R}^{d_{e} \times d_{e}}, \boldsymbol{W}_{v e} \in \mathbb{R}^{1 \times d_{e}}$ は全結合層の重みを表す 4$)$ ．また，画像エンコーダに “Global”を用いた場合，注意機構は適用されず，画像の特徴量は $\hat{v}$ の代わりに $v^{\prime}$ となる。

## 4.2 デコーダ

学習者作文と画像の特徵量 $(\hat{\boldsymbol{e}}, \hat{\boldsymbol{v}})$ を基に，LSTM を用いて訂正文を生成する．LSTM の隠れ状態 $\boldsymbol{h}$ の 初期值は次のように算出する.

$
\boldsymbol{h}=\operatorname{ReLU}\left(\boldsymbol{W}_{f} \hat{\boldsymbol{v}}\right) \odot \operatorname{ReLU}\left(\boldsymbol{W}_{g} \hat{\boldsymbol{e}}\right),
$

$\boldsymbol{W}_{f}, \boldsymbol{W}_{g} \in \mathbb{R}^{d_{e} \times d_{e}}$ は全結合層の重みを指す。

## 4.3 損失関数

画像 $I$ と学習者作文 $L$ を大力に取り, 訂正文 $C$ を 出力するように，次の損失関数 $\mathscr{L}$ を最小化する。

$
\mathscr{L}=-\sum_{D_{\text {train }}} \log p(C \mid \boldsymbol{h} ; \boldsymbol{\theta})
$

$D_{\text {train }}$ は訓練データを指し， $\boldsymbol{\theta}$ はモデルのパラメー タを指す。

## 5 実験

画像描写作文の誤りを訂正する実験を実施する。


## 5.1 実験設定

擬似データによる事前学習. 誤り訂正の精度を 高めるために，大規模で容易に入手可能な画像キャ プションに擬似的な誤りを生成することで，訓練 データを拡張する。本研究では，GEC の擬似的誤 り生成手法 [13] を用いて, MS-COCO のキャプショ ンから誤り文を生成した。ここで構築した擬似デー タ5）を用いてモデルの事前学習を実施する． 3 節で 収集したデータセットは，事前学習されたモデルの fine-tuning に用いる. データは画像ごとに訓練デー タ/開発データ/テストデータに 6:2:2 の割合で分割 した.

ハイパーパラメータ. 最適化手法には Adam [14] を使用し，ミニバッチサイズは事前学習時に 64, fine-tuning 時に 8 とした. 次元 $d_{v}$ と $d_{e}$ は, ResNet と BERT の出力する特徴量の次元に合わせて，そ れぞれ 2,048 と 768 としている.また，学習率は $5.0 \times 10^{-5}$ とした.

評価尺度. GEC の標準的な評価尺度である ERRANT [15] と GLEU [16] を用いた評価を実施す る.これらの評価は，システムが画像を参照した訂正の評価については十分でないため，今後改善する 必要があると考えている.

モデル. 提案手法と比較するモデルとして，既存 の GEC モデルの GECToR を用いる。また，提案手法では，次のモデルを用いて実験を実施した。

・ $\mathbf{L - C}$ : 学習者作文 $L$ のみを用いて，訂正文 $C$ を 生成する ${ }^{6}$.
- LI-C: 学習者作文 $L$ と画像 $I$ を用いて, 訂正文 $C$ を生成する４.1で述べた通り，画像の特徴量抽出は，Global と Bottom-up をそれぞれ適用 する。

5）訓練用に 画像 40,186 枚,キャプション 201,059 文，開発用に 画像: 5,000 枚,キャプション 25,014 文を用いた。

6） L-C モデルの fine-tuning 時のみ学習率を $1.0 \times 10^{-3}$ とした.

図 4 提案手法による訂正文と既存の GEC モデル GECToR が出力する訂正文の比較. 学習者作文との差分を赤字で示す. （画像中の赤枠を中のものを参照した作文を学習者に求めた）

## 5.2 定量評価.

表 2 に，ERRANT で算出した適合率，再現率， $F_{0.5}$値と GLEU の値を示す.

GECToR との比較. GECToR と比較すると，LI-C モデルは ERRANT の再現率，GLEU において性能を 上回った一方で，ERRANT の適合率， $F_{0.5}$ 值では下回る結果となった。これは，GECToR が訂正箇所を 最小限に抑える一方で，LI-C モデルは学習者作文を 改変し, 画像を基にした文を生成する傾向にあるこ とが原因にあると考えられる。学習者作文の構文・語彙に近い訂正を実現するために，コピー機構 [3] を取り入れることが解決策の一つにある.

また, GECTOR と L-C モデルは, どちらも画像 を活用しないが，精度に差が生まれた。これは， GECToR が大規模なコーパスを用いて学習されてい ることから明らかである。

画像の特徵量. LI-C モデルは全ての評価値にお いて，L-C モデルの性能を上回った。これは，誤り 訂正における画像の情報の有用性を示す。また，画像の特徵量抽出では, “Bottom-up” が 全ての評価値 において “Global” の性能を上回った. 画像内の物体 を考慮した特徴量の抽出が，学習者作文を訂正する 上で有用であったことがわかる.

## 5.3 定性評価.

提案手法LI-C (Bottom-up) による訂正文と GECToR が出力する訂正文の比較を図 4 に示す. GECToR が表 2 GEC の評価尺度による評価. 最良の結果を太字で 示す.

画像の情報を活用できていない一方で，提案手法は 画像に関連する学習者の誤りを訂正できていること がわかる ((a)“air”を “fighter”院正). また，提案手法では位置関係の訂正もできた ((b)“under”を “by” に訂正). 一方で，学習者の描写内容を反映できて いない誤り訂正の失敗例も確認した ((c)“wine glass” を “conversation” に訂正). モデルにコピー機構を設 けることで，学習者作文の構文・語彙をより考慮し た訂正文生成を行うことが解決策の一つに考えら れる。

## 6 おわりに

外国語学習者による画像描写の自動評価に取り組 んだ. 具体的には，学習者作文の誤りを画像情報を 用いつつ訂正する方法を研究した. 画像と学習者に よる画像描写，そして，専門家による訂正文から構成されるデータセットを整備し，それを用いて画像描写問題における学習者作文の自動訂正ベースライ ンを構築した。画像描写の誤り訂正について画像が 有用であることを確認した．また，GECでは訂正で きない誤りを本手法が訂正できることを確認した。

## 謝辞

本研究は JSPS 科研費 $19 K 12119$ の助成を受けたも

のである.

## 参考文献

[1] Hwee Tou Ng, Siew Mei Wu, Ted Briscoe, Christian Hadiwinoto, Raymond Hendy Susanto, and Christopher Bryant. The CoNLL-2014 shared task on grammatical error correction. In Proc. of CoNLL, pp. 1-14, 2014.

[2] Christopher Bryant, Mariano Felice, Øistein E. Andersen, and Ted Briscoe. The BEA-2019 shared task on grammatical error correction. In Proc. of BEA, pp. 52-75, 2019.

[3] Wei Zhao, Liang Wang, Kewei Shen, Ruoyu Jia, and Jingming Liu. Improving grammatical error correction via pre-training a copy-augmented architecture with unlabeled data. In Proc. of NAACL, pp. 156-165, 2019.

[4] Kostiantyn Omelianchuk, Vitaliy Atrasevych, Artem Chernodub, and Oleksandr Skurzhanskyi. GECToR grammatical error correction: Tag, not rewrite. In Proc. of BEA, pp. 163-170, 2020.

[5] Junhua Mao, Jonathan Huang, Alexander Toshev, Oana Camburu, Alan Yuille, and Kevin Murphy. Generation and comprehension of unambiguous object descriptions. In Proc. of CVPR, pp. 11-20, 2016.

[6] Tsung-Yi Lin, Michael Maire, Serge Belongie, Lubomir Bourdev, Ross Girshick, James Hays, Pietro Perona, Deva Ramanan, C. Lawrence Zitnick, and Piotr Dollár. Microsoft coco: Common objects in context. In Proc. of ECCV, pp. 740-755, 2014.

[7] Peter Anderson, Qi Wu, Damien Teney, Jake Bruce, Mark Johnson, Niko Sünderhauf, Ian Reid, Stephen Gould, and Anton Van Den Hengel. Vision-and-language navigation: Interpreting visually-grounded navigation instructions in real environments. In Proc. of CVPR, pp. 3674-3683, 2018

[8] Kelvin Xu, Jimmy Ba, Ryan Kiros, Kyunghyun Cho, Aaron Courville, Ruslan Salakhudinov, Rich Zemel, and Yoshua Bengio. Show, attend and tell: Neural image caption generation with visual attention. In Proc. of ICML, pp. 20482057, 2015.

[9] Shaoqing Ren, Kaiming He, Ross Girshick, and Jian Sun. Faster r-cnn: Towards real-time object detection with region proposal networks. In Proc. of NeurIPS, pp. 91-99, 2015 .

[10] Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deep residual learning for image recognition. In Proc. of CVPR, pp. 770-778, 2016.

[11] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proc. of NAACL, pp. 4171-4186, 2019.

[12] Qing Li, Qingyi Tao, Shafiq Joty, Jianfei Cai, and Jiebo Luo. VQA-E: Explaining, elaborating, and enhancing your answers for visual questions. In Proc. of ECCV, pp. 552567, 2018.

[13] Abhijeet Awasthi, Sunita Sarawagi, Rasna Goyal,
Sabyasachi Ghosh, and Vihari Piratla. Parallel iterative edit models for local sequence transduction. In Proc. of EMNLP-IJCNLP, pp. 4259-4269, 2019.

[14] Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In Proc. of ICLR, 2015.

[15] Christopher Bryant, Mariano Felice, and Ted Briscoe. Automatic annotation and evaluation of error types for grammatical error correction. In Proc. of ACL, pp. 793-805, 2017.

[16] Courtney Napoles, Keisuke Sakaguchi, Matt Post, and Joel Tetreault. Ground truth for grammatical error correction metrics. In Proc. of ACL-ICJNLP, pp. 588-593, 2015.
 田中健斗 ${ }^{1}$ 西村太一 ${ }^{1}$ 南條浩輝 ${ }^{2}$ 白井圭佑 ${ }^{1}$ 亀甲博貴 ${ }^{2}$  1 京都大学大学院情報学研究科 2 京都大学学術情報メディアセンター  ${ }^{1}$ tanaka.kento.s07@kyoto-u.jp  ${ }^{1}$ \{nishimura.taichi43x, shirai.keisuke. $64 x$ \}@st.kyoto-u.ac.jp  ${ }^{2}$ nanjo@media.kyoto-u.ac.jp ${ }^{2}$ kameko@i.kyoto-u.ac.jp 