# 文法誤り訂正モデルのエラー分析に基づく 疑似データ生成の効果検証

土肥康輔 須藤克仁 中村哲
奈良先端科学技術大学院大学
\{doi.kosuke.de8, sudoh, s-nakamura\}@is.naist.jp

## 1 はじめに

文法誤り訂正 (Grammatical Error Correction; GEC) は，テキスト中の文法的誤りを自動的に訂正するタ スクである。近年では，訂正を誤りが含まれる文か ら誤りが含まれない文への翻訳とみなし，ニューラ ル機械翻訳に基づくアプローチで取り組むことが主流となっている.ニューラル機械翻訳に基づくアプ ローチでは，モデルの訓練に大規模なパラレルデー タが必要となるが，機械翻訳で利用可能なデータ量 と比べて，GECで利用可能なデータ量は少量であ る.そこで，GECではモデルの訓練に疑似データを 用いることで，モデルの性能を向上させるというこ とが行われている $[1,2,3]$.

本研究では, 現状の GEC モデルのエラー分析に 基づき，訂正性能が悪い誤りカテゴリに関する疑似誤りを訓練データに追加することで，モデルの 訂正性能が向上するかを検証する，具体的には， Omelianchuk ら [4] と Grundkiewiczy ら [3] のモデル1) のエラー分析から訂正性能が悪いと判明した接続詞誤りに着目し, 訓練に用いる学習者データにおける 誤りパターンを考慮した疑似誤りを生成する．GEC では，大規模な単言語コーパスに疑似誤りを生成し たデータで事前学習したモデルを，少量の学習者 データで fine-tune することが一般的であるが，本研究では fine-tune に用いる学習者データに疑似誤りを 生成する。

実験では，疑似誤りを追加する割合を適切に設定 すれば，疑似誤りを含む学習者データで fine-tune を 行った後，さらに疑似誤りを含まない学習者データ で fine-tune することで，接続詞誤りの $\mathrm{F}_{0.5}$ スコアが 上昇することを確認した。また， 1 回目の fine-tune のデータには疑似誤りを追加せず，2 回目のデータ

に疑似誤りを追加する場合でも，同様に生成する疑似誤りの割合を適切にコントロールすれば， $\mathrm{F}_{0.5}$ ス コアが上昇する可能性があることが示された.

## 2 関連研究

疑似データの生成方法としては，逆翻訳ベースの 手法や，誤りが含まれない文に疑似誤りを直接生成 する手法が提案されている。

逆翻訳を用いた疑似データ生成は，ニューラル機械翻訳の文脈で Sennrich ら [5] によって提案された. [5] は，原言語と目的言語の入出力を入れ替えたモ デルに目的言語の単言語コーパスを入力して疑似対訳コーパスを得る。これを GECに応用すると，誤 りが含まれない文から誤りが含まれる文を生成する ようなモデルを訓練し，そのモデルに誤りが含まれ ない文を入力することで，誤りが含まれる文を得る ことができる. Xie ら [6] はこの逆翻訳を拡張し，モ デルのデコード時にノイズを加えることによって， より多くの誤りを含む文を生成できるようにした.佐藤ら [7] は，学習済みの逆翻訳モデルを特定の母語の学習者によって書かれた文で fine-tune すること で，母語の影響を考慮した疑似誤りを生成する手法 を提案している。

疑似誤りを直接生成する手法は，Zhao ら [8] に よって提案された。この手法では，誤りが含まれな い文に「置換・挿入・削除・入れ替え」の操作を行 うことで誤りが含まれる文を生成する。 しかし， [8] の手法では，人が犯さないような誤りを生成してし まう可能性があることが指摘されている. そこで，学習者の誤り傾向を考慮して疑似誤りを生成すると いうことが行われている $[2,9]$.

また，fine-tune によって特定のドメインに頑健な GEC モデルを作成する研究も存在する. Nădejde ら [10] は，書き手の母語情報と習熟度情報が付与さ れた学習者コーパスを用い，一般的な GEC モデル

を 12 の母語，5つの習熟度レベルに適応させる研究を行った. [10]では, 非公開の Cambridge Learner Corpus が用いられたが，佐藤ら [7] は一般公開され ている母語情報付きの学習者コーパスでモデルを fine-tune することで，3つの母語に適応させる試み を行っている。

従来研究では全誤りカテゴリの疑似誤りを生成し たデータを事前学習で用いていたのに対して, 本研究では，特定の誤りカテゴリに関する疑似誤りを加 えたデータでモデルを fine-tune することで，その誤 りカテゴリの訂正性能を向上させることを目指す.

## 3 疑似データ生成手法

疑似データの生成には，特定の誤りカテゴリに関 する誤りを選択的に生成するために，疑似誤りを直接生成する手法を用いる. 対象の誤りカテゴリは， [3][4] のモデルのエラー分析で訂正性能が低かっ た接続詞である. 対象となる接続詞は, \{and, but, or, so\}の 4 種類とし，学習者が犯す接続詞の誤りパ ターンを考慮するために，ERRANT[11]によって分類される「不足 (Missing) ・置換 (Replacement) - 余剩 (Unnecessary)」の 3 種類の誤りタイプごとに疑似誤りの生成方法を設定する. 本研究では，学習者 データに疑似誤りを生成するため，疑似誤りの生成元の文にすでに誤りが含まれている場合がある。も ともと存在する誤りを改変することによる影響を最小限に抑えるために，接続詞誤りがもともと含まれ ている文は，疑似誤りの生成対象から除外する.

接続詞が用いられている文は, 確率 $P$ で疑似誤り の生成対象とする。その文に含まれている接続詞の 削除または別の接続詞への置換の操作を行うこと で，それぞれ不足と置換の疑似誤りを生成する。訓練データの誤り分布分析に基づき2)，70\%の確率で 不足誤り，30\%の確率で置換誤りを生成し，置換後 の接続詞を選択するパラメータ prepl|orig は以下の ように設定することとした.

$
\begin{aligned}
& \left(p_{\text {but } \mid \text { and }}, p_{\text {or } \mid \text { and }}, p_{\text {so } \mid \text { and }}\right)=(0.30,0.60,0.10) \\
& \left(p_{\text {and } \mid \text { but }}, p_{\text {or } \mid \text { but }}, p_{\text {so } \mid \text { but }}\right)=(0.94,0.01,0.05) \\
& \left(p_{\text {and } \mid \text { or }}, p_{\text {but } \mid \text { or }}, p_{\text {so } \mid \text { or }}\right)=(0.99,0.01,0.00) \\
& \left(p_{\text {and } \mid \text { so }}, p_{\text {but } \mid \text { so }}, p_{\text {or } \mid \text { so }}\right)=(0.99,0.01,0.00)
\end{aligned}
$

なお，1文に複数の接続詞が含まれている場合は， ランダムに選択されたひとつの接続詞が操作の対象 となる.

2）詳細は付録 A に掲載する.接続詞が用いられていない文に対しては， $0.38 P$ の確率でランダムな位置に接続詞を挿入すること で余剰の疑似誤りを生成する．挿入する接続詞の選択は，不足・置換誤りのときと同様に訓練データの 誤り分布を反映して ( $\left.p_{\text {and } \mid \phi}, p_{\text {but } \mid \phi}, p_{\text {or } \mid \phi}, p_{s o \mid \phi}\right)=$ $(0.65,0.25,0.03,0.07)$ とした.

## 4 実験

## 4.1 データセット

実験に用いるデータは，4.2 節で後述する [4] の モデル構築に用いられたものに合わせた. 事前訓練データには，PIEコーパスに疑似エラーを生成した 900 万文 [12]を用いた. 訓練には，BEA2019 Shared Task on Grammatical Error Correction で配布された Lang-8[13], NUCLE[14], Write \& Improve + LOCNESS (W\&I+L) train[15] と, CLC-FCE Dataset[16] を用いた. Lang-8 と NUCLE は, [4]でのサイズに合 わせるためにサンプリングして使用した. データの 98\%を訓練データ，2\%を開発データとした。

評価データには，W\&I+L dev，CoNLL-2013[17]， CoNLL-2014[18]，FCE test[19]を用いた.

## 4.2 モデル

GEC モデルには, Omelianchuk ら [4] のモデル3)を 用いた. [4] は，入力トークンをターゲットの訂正 に変換するトークンレベルの変換を新たにデザィ ンし，GECを系列ラベリング問題として扱ってい る. モデルには，BERT 系の事前学習済みモデルの エンコーダーが用いられているが，本実験では，[4] で best single model であった XLNet を用いた. ハイ パーパラメータは, [4] の設定に準じた.

訓練は，疑似データによる事前学習（Stage1）と，学習者データによる 2 回の fine-tune から成る. 1 回目の fine-tune (Stage2) では学習者データのうち誤り を含む文のみが用いられ，2 回目の fine-tune (Stage3) では誤りを含む文と含まない文の両方が用いられ る. 各データセットのサイズと，それらが訓練のど の段階で用いられたかを表 1 に示す.

## 4.3 実験設定

3 節で述べた疑似データ生成手法を用い，Stage2 および Stage3 で用いるデータに疑似誤りを生成し た. 実験は，Stage2 のみで疑似データを用いる設

3) https:/github.com/grammarly/gector
表 1 訓練に使用したデータセット

表 2 モデルの構築に用いたデータの疑似誤り生成確率

 &  \\

Stage2_10 & $10 \%$ & - \\
Stage2_30 & $30 \%$ & - \\
Stage2_50 & $50 \%$ & - \\
Stage3_05 & - & $5 \%$ \\
Stage3_10 & - & $10 \%$ \\
Stage3_30 & - & $30 \%$ \\
Stage3_50 & - & $50 \%$ \\

定と, Stage3 のみで疑似データを用いる設定の 2 種類を行った. Stage2 での疑似誤り生成確率は, $P=(0.5,0.3,0.1)$, Stage3 では $P=(0.5,0.3,0.1,0.05)$ とした. ベースラインには，疑似誤りを含まない データで 2 回の fine-tune を行ったモデルを用意し た.構築したモデルの一覧とその構築のために用 いたデータの関係を表 2 に示す. モデルの性能は， ERRANT により算出される $\mathrm{F}_{0.5}$ スコアにより評価 した. W\&I+L dev, CoNLL-2013, CoNLL-2014, FCE testのそれぞれに対し，訂正全体と接続詞訂正の $\mathrm{F}_{0.5}$ スコアを算出した.

## 4.4 実験結果

実験結果を表 3 に示す. Stage3 後の接続詞訂正の $\mathrm{F}_{0.5}$ スコアを比較すると，疑似データを導入するこ とで，接続詞訂正の性能が向上する場合と悪化する 場合の両方があることがわかる。 また, CoNLL-2013 における接続詞訂正で最も高いスコア（28.41）を達成した Stage2_50 が，W\&I+L dev ではベースライン よりスコアが悪化（26.79 19.23）しているように，接続詞訂正の性能がすべての評価セットでべースラ インより向上しているモデルは見られなかった. こ れらの結果から, 訂正対象のデータに応じて疑似誤 り生成確率を適切に設定すれば，fine-tune に用いる データに疑似誤りを導入する手法がモデルの訂正性能向上に効果的であることが示唆される. Stage3 で疑似誤りを導入する場合は，比較的小さい疑似誤り生成確率 ( W\&I+L と CoNLL-2013 : $P=0.05$, CoNLL-2014 と FCE test $: P=0.1 ＼mathrm{~ を 設 定 し た と き ~}$ に接続詞訂正の $\mathrm{F}_{0.5}$ スコアがベースラインから上昇
しているのに対し，Stage2 で疑似誤りを導入する場合は， $P=0.3$ または $P=0.5$ のように大きめの生成確率を設定したときにスコアの上昇幅が大きくなっ ている.

## 4.4.1 疑似データ導入タイミング

各評価セットにおいて，接続詞訂正の $\mathrm{F}_{0.5}$ スコ アが Stage3 後に最も高くなっているのは， W\&I+L devを除いて, Stage2 で疑似誤りを導入したモデ ルであった. CoNLL-2013 と CoNLL-2014において は, Stage2_50 のスコア $(28.41,54.69)$ が最も高く, FCE test では Stage2_30 のスコア（21.28）が最も高 い. Stage2_30は，W\&I+L dev の接続詞訂正におい ても，Stage3_05に次ぐ2 番目に高いスコアを達成し ている. Stage3 で疑似誤りを導入したモデルにも， ベースラインと比較して訂正性能が向上したものが 存在するが，スコアの上昇幅は Stage2 で疑似誤り を導入したモデルよりも小さくなっている. 各評価 セットにおけるスコアの上昇幅の最大値を，疑似誤 りの導入タイミングで比較した結果を表 4 に示す. これらの結果から，疑似誤りを含む学習者データで fine-tune を行った後, さらに疑似誤りを含まない学習者データで fine-tune するほうが，対象の誤りカテ ゴリに対する訂正性能が大きく改善する可能性があ ることが示唆される ${ }^{4)}$.

## 4.4.2 疑似データ導入の効果と影響

表 3 より, Stage2 で疑似データを導入すると， Stage 2 終了時点の接続詞訂正の $\mathrm{F}_{0.5}$ スコアはベース ラインより低下することがわかる. このスコア変化 は, Precisionが低下する一方で, Recallが上昇するこ とによって引き起こされている。疑似誤り導入後の 接続詞訂正の Precision と Recall の值を表 5 に示す.疑似データを含まない学習者データで fine-tune した ときは（S2_base）, Precision が Recall より高くなっ ているのに対して，疑似データを導入すると Recall のほうが Precision より高くなっている. Stage3 に疑似誤りを導入した場合でも，疑似誤りの生成確率が 高くなるにつれて Precision が低下する一方で Recall が上昇する傾向がみられる. fine-tune に用いるデー タへの疑似誤り導入は Recall 向上に効果があり, 2 回の fine-tune のうち 1 回目の段階で Recall を高めて おくことが，最終的な接続詞訂正性能の向上に寄与

4）訂正全体の～$F_{0.5}$ スコアへの影響を考慮していないことに注意が必要である. 疑似データ導入による影響は 4.4.2節で述べ з.
表 $3 \quad \mathrm{~F}_{0.5}$ スコアによる訂正性能の比較. Overall は訂正全体，CONJ は接続詞訂正を表す.

 & 46.84 & 28.06 & 43.19 & 19.74 & 55.87 & 28.57 & 52.20 & 21.93 \\
& & & & & & & & \\
Stage2_10 & 45.90 & 13.36 & 42.32 & 10.42 & 55.57 & 21.21 & 52.11 & 14.15 \\
Stage2_30 & 45.50 & 9.08 & 42.45 & 11.36 & 53.74 & 17.72 & 51.61 & 13.83 \\
Stage2_50 & 43.35 & 7.86 & 40.91 & 9.09 & 53.68 & 14.51 & 51.20 & 9.84 \\

Baseline & 50.73 & 26.79 & 43.17 & 20.83 & 56.59 & 35.71 & $\mathbf{5 3 . 3 5}$ & 0.00 \\
& & & & & & & & \\
Stage2_10 & 51.02 & 25.57 & 43.18 & 20.83 & $\mathbf{5 7 . 0 2}$ & 38.46 & 53.15 & 11.63 \\
Stage2_30 & $\mathbf{5 1 . 6 5}$ & 29.26 & 43.59 & 19.23 & 56.16 & 40.00 & 52.96 & $\mathbf{2 1 . 2 8}$ \\
Stage2_50 & 50.76 & 19.23 & $\mathbf{4 3 . 7 0}$ & $\mathbf{2 8 . 4 1}$ & 56.03 & $\mathbf{5 4 . 6 9}$ & $\mathbf{5 3 . 3 5}$ & 17.44 \\
& & & & & & & & \\
Stage3_05 & 50.86 & $\mathbf{3 0 . 4 9}$ & 43.27 & 27.17 & 56.55 & 31.25 & 52.92 & 15.31 \\
Stage3_10 & 50.89 & 25.74 & 43.09 & 20.16 & 56.47 & 44.64 & 52.81 & 16.23 \\
Stage3_30 & 50.19 & 17.01 & 43.19 & 12.93 & 55.94 & 23.39 & 52.83 & 14.00 \\
Stage3_50 & 49.47 & 9.62 & 42.24 & 7.89 & 55.53 & 16.98 & 51.82 & 10.56 \\

表 4 疑似誤り導入タイミングによる

表 5 接続詞訂正の Precision と Recall の值. Stage2_XX は Stage2 終了後, Stage3_XX は Stage3 終了後の値である. W\&I+L dev CoNLL-2013 CoNLL-2014 FCE test

している可能性が考えられる.

また，CoNLL-2014における Stage2_50 や FCE test における Stage2_30のように，接続詞訂正の性能が ベースラインより向上しているにも関わらず，訂正全体の性能が悪化している場合も存在する.これ は，ある誤りカテゴリの疑似誤りを生成すること が，別の誤りカテゴリに関するモデルの学習に影響 を与えていることを示唆している。本実験では，接続詞の余剰誤りを生成する手法が問題となった可能性がある. 余剰誤りを生成する対象の文は，接続詞誤りが含まれていないことは保証されているが，そ れ以外の誤りの有無は確認していなかった. その文
のランダムな位置に接続詞が挿入されることで，も ともと存在していた誤りが変質してしまったことが 考えられる。

## 5 おわりに

本研究では，現状の GEC モデルで訂正性能が低 い接続詞誤りに着目し, fine-tune に用いる学習者 データに疑似誤りを追加することで，モデルの接続詞誤りの訂正性能が向上するかを検証した．実験の 結果，生成する疑似誤りの割合を適切に設定すれ ば，fine-tune に用いる学習者データに疑似誤りを追加することで接続詞誤りの $\mathrm{F}_{0.5}$ スコアが向上するこ とがわかった.

本研究では接続詞誤りについてのみ実験を行った ので，別の誤りカテゴリにおいても本手法が効果的 であるかを今後検証する必要がある．また，学習者 データにもともと存在する誤りに影響を与えないよ うな疑似データ生成手法の検討も必要である。例え ば，誤りが存在する区間には疑似誤りを生成しない ように制御する方法や，gold reference の訂正を適用後の文法的に正しい文に対して疑似誤りを生成する 方法などが考えられる。疑似誤りを fine-tune データ に導入することでモデルの訂正性能が向上できるこ とが確認されれば，特定のドメインや学習者集団の 特徴への適応が容易になることが期待される。

## 謝辞

本研究の一部は JSPS 科研費 JP17H06101 の助成を 受けたものである.

## 参考文献

[1] Shun Kiyono, Jun Suzuki, Masato Mita, Tomoya Mizumoto, and Kentaro Inui. An empirical study of incorporating pseudo data into grammatical error correction. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 1236-1242, 2019.

[2] Yo Joong Choe, Jiyeon Ham, Kyubyong Park, and Yeoil Yoon. A neural grammatical error correction system built on better pre-training and sequential transfer learning. In Proceedings of the Fourteenth Workshop on Innovative Use of NLP for Building Educational Applications, pp. 213-227, 2019.

[3] Roman Grundkiewiczy, Marcin Junczys-Dowmuntz, and Kenneth Heafield. Neural grammatical error correction systems with unsupervised pre-training on synthetic data. In Proceedings of the Fourteenth Workshop on Innovative Use of NLP for Building Educational Applications, pp. 252-263, 2019.

[4] Kostiantyn Omelianchuk, Vitaliy Atrasevych, Artem Chernodub, and Oleksandr Skurzhanskyi. GECToR grammatical error correction: Tag, not rewrite. In Proceedings of the Fifteenth Workshop on Innovative Use of NLP for Building Educational Applications, pp. 163-170, 2020.

[5] Rico Sennrich, Barry Haddow, and Alexandra Birch. Improving neural machine translation models with monolingual data. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 86-96, 2016.

[6] Ziang Xie, Guillaume Genthial, Stanley Xie, Andrew Y. $\mathrm{Ng}$, and Dan Jurafsky. Noising and denoising natural language: Diverse backtranslation for grammar correction. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 619-628, 2018.

[7] 佐藤義貴, 和田崇史, 渡辺太郎, 松本裕治. 英語学習者 の母語を考慮した文法誤り訂正のための擬似データ 生成. 研究報告自然言語処理 (NL), Vol. 2020-NL-246, No. 5, pp. 1-5, 2020.

[8] Wei Zhao, Liang Wang, Kewei Shen, Ruoyu Jia, and Jingming Liu. Improving grammatical error correction via pre-training a copy-augmented architecture with unlabeled data. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 156-165, 2019.

[9] Yujin Takahashi, Satoru Katsumata, and Mamoru Komachi. Grammatical error correction using pseudo learner corpus considering learner's error tendency. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: Student Research Workshop, pp. 27-32, 2020.

[10] Maria Nădejde and Joel Tetreault. Personalizing grammatical error correction: Adaptation to proficiency level and L1. In Proceedings of the 5th Workshop on Noisy User-generated Text (W-NUT 2019), pp. 27-33, 2019.

[11] Christopher Bryant, Mariano Felice, and Ted Briscoe. Automatic annotation and evaluation of error types for grammatical error correction. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 793-805, 2017.

[12] Abhijeet Awasthi, Sunita Sarawagi, Rasna Goyal, Sabyasachi Ghosh, and Vihari Piratla. Parallel iterative edit models for local sequence transduction. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLPIJCNLP), pp. 4260-4270, 2019.

[13] Tomoya Mizumoto, Mamoru Komachi, Masaaki Nagata, and Yuji Matsumoto. Mining revision log of language learning SNS for automated Japanese error correction of second language learners. In Proceedings of 5th International Joint Conference on Natural Language Processing, pp. 147-155, 2011.

[14] Daniel Dahlmeier, Hwee Tou Ng, and Siew Mei Wu. Building a large annotated corpus of learner English: The NUS corpus of learner English. In Proceedings of the Eighth Workshop on Innovative Use of NLP for Building Educational Applications, pp. 22-31, 2013.

[15] Christopher Bryant, Mariano Felice, Øistein E. Andersen, and Ted Briscoe. The BEA-2019 shared task on grammatical error correction. In Proceedings of the Fourteenth Workshop on Innovative Use of NLP for Building Educational Applications, pp. 52-75, 2019.

[16] Diane Nicholls. The Cambridge learner corpus - error coding and analysis for lexicography and ELT. In Proceedings of the Corpus Linguistics 2003 conference, Vol. 16, pp. 572-581, 2003.

[17] Hwee Tou Ng, Siew Mei Wu, Yuanbin Wu, Christian Hadiwinoto, and Joel Tetreault. The CoNLL-2013 shared task on grammatical error correction. In Proceedings of the Seventeenth Conference on Computational Natural Language Learning: Shared Task, pp. 1-12, 2013.

[18] Hwee Tou Ng, Siew Mei Wu, Ted Briscoe, Christian Hadiwinoto, Raymond Hendy Susanto, and Christopher Bryant. The CoNLL-2014 shared task on grammatical error correction. In Proceedings of the Eighteenth Conference on Computational Natural Language Learning: Shared Task, pp. 1-14, 2014.

[19] Helen Yannakoudakis, Ted Briscoe, and Ben Medlock. A new dataset and method for automatically grading ESOL texts. In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, pp. 180-189, 2011.

## A 訓練データの接続詞誤り分布

訓練データ中で接続詞が用いられている文の数（470,068）に表 6 の余剰誤りの割合をかけた值と，訓練データ中で接続詞が用いられていない文の数（723,983）に不足・置換誤りの割合の和をかけた值の比から，接続詞が用いられていな い文に対する疑似誤り生成確率 0.38 を得た. また，不足誤りと置換誤りの比 $7: 3$ も表 6 から得た. 余剩誤り生成のため に挿入する接続詞の割合と，置換誤り生成のための置換後の接続詞の割合は，それぞれ表 7，表 8 から得た.

} \\

## B 事例分析

疑似データを用いたことによるモデル出力の変化を表 9 に示す. 不足誤りと置換誤りについては， and と or が関わる 誤りにおいて疑似誤りを用いたモデルで改善が見られた。しかし，余剩誤りについては，あまり改善が見られなかった.改善が見られた誤りは，疑似データ生成の確率パラメータが大きく設定されているものである．多数の疑似誤りが生成 された誤りの訂正性能が高まる傾向は，[2] で報告されている結果と一致する．また，ベースラインでは正しく訂正でき ていたが疑似データを用いたモデルでは訂正に失敗した例，不必要な訂正をしてしまった例を表 10 に示す.


# 画像と単語の不一致を考慮した疑似教師ありキャプション生成

本多右京 1,3 牛久祥孝 2 橋本 敦史 ${ }^{2}$ 渡辺太郎 ${ }^{1}$ 松本裕治 ${ }^{3}$
1 奈良先端科学技術大学院大学大学 2 オムロンサイニックエックス株式会社
3 理化学研究所
\{honda.ukyo.hn6, taro\}@is.naist.jp
\{yoshitaka.ushiku, atsushi. hashimoto\}@sinicx.com
yuji.matsumoto@riken.jp

## 1 はじめに

画像キャプション生成は，画像から自然言語で説明文を生成するタスクである。人手でアノテーショ ンされた膨大な画像とキャプションのペア [1,2]を 学習データとして, 目覚ましい進歩が報告されてき た $[3,4,5]$. しかし，大規模な学習データでもカバー する事物は限定的であり1)，記述できる事物を増や すためには更にアノテーションコストがかかる.

疑似教師ありキャプション生成 ${ }^{2}$ は，画像とキャ プションのペアがない事物に対して，アノテーショ ンなしでキャプション生成を行う試みである $[8,9]$.学習に画像とキャプションのペアを用いないことで この状況を作り，物体検出モデルの出力した物体名 と，アノテーションが不要で大量に利用可能な，ぺ アでない画像と文だけを入力として学習を行う.

先行研究 $[8,9]$ は，画像から検出された物体名を 含んだ文を擬似キャプションとし，画像の特徵量と この一文全体の特徵量とを近づける学習を行う。し かし，疑似キャプションには画像に対応しない記述が多く含まれるという問題がある. 例えば，cat と girl が検出された画像に対する疑似キャプショ ンには "a girl is holding a cat” や "a cat is sleeping with a girl", "a girl is running with a cat”などが考えられる が，最初の文が正しく画像を説明した記述だった場合，それ以外の文の “sleeping with” や “running with”

1）代表的なデータセットである MS COCO[2] では，物体検出 データに定義されている 500 の物体カテゴリのうち約 400 が キャプションに一度も出現しない [6]. また，学習に用いられ る語彙数が全体で 8791 と少なく [7], 物体以外についても力 バーしている事物が限定的である.

2）先行研究 $[8,9]$ では, 画像とキャプションのペアが要求さ れないという意味で，教師なしキャプション生成と呼ばれて いるタスクである。しかし，この名称では物体検出モデルを 要求する点に誤解が生じるおそれがあるため，本稿ではこの タスクを疑似教師ありキャプション生成と呼称する.
といった記述は画像に対して誤った教師信号を与え てしまうことになる（図 1 左）。

この部分的な記述の不一致に対処するため，本研究では，簡単なゲート機構と記述の一致・不一致に 対する疑似教師信号を用いて，画像と齯䶣のある単語については画像特徴量から生成しないよう抑制す る手法を提案する。実験の結果，提案手法が先行研究の性能を上回り，部分的な不一致を考慮すること の重要性が示された. また，提案手法は，モデルの 初期化手法として先行研究の手法と組み合わせるこ とで，さらに性能を向上させることが確認された。

## 2 関連研究

学習データにない事物を記述する試みとしては，学習データに現れない物体を物体検出の出力を利用 して記述する novel object captioning $[10,6,11]$ や，物体，属性，関係に関して学習データにない組み合わ せの事例でテストを行う試み $[12,13]$ などがある.

これらのタスクは，ペアになった画像とキャプ ションがテストデータの大部分の要素をカバーす る状況でペアを学習に用いる．疑似教師ありキャプ ション生成はこの状況が成り立たないテストを想定し，ペアになっていない画像と文だけを用いて 学習を行う [8]. ただし, novel object captioning と同様，事前学習した物体検出器で予測された物体名は 利用する。この準備段階的なタスクである unpaired image captioning $[8,9,14,15]$ では，扱う画像と文は 元々ペアになっていたものだけを使うのに対して，疑似教師ありキャプション生成では画像と文はそれ ぞれ別のリソースから取得したものを想定する。

先行研究 $[8,9]$ の問題点は，いずれも擬似キャプ ションの一文全体の特徴量を画像特徴量と対応付け るよう学習するため，1 節で指摘したように，疑似 キャプション中の部分的な不一致も学習に使ってし

cat girl $\$$ a girl is holding a cat $\mathbf{x}$ a cat is sleeping with a gir $\mathbf{x}$ a girl is running with a cat

図 1 提案手法概要. モデルへの入力は，画像，検出された物体名，疑似キャプション（図左）モデルは疑似キャプ ション中の各単語を，画像との対応度を考慮しながら生成するよう学習する（図右）. 基本モデルの出力 $h$ ，ゲートの值 $g$ ，ゲートへの疑似教師信号 $f$ の詳細はそれぞれ，3.1，3.2，3.3 節を参照. 破線は学習時のみ適用される処理を表す.

まうことである. [8] はまず，物体名を含む任意の 文に対して，その含まれる物体名のエンコードから 元の文を復元する疑似キャプション生成器を学習す る.この疑似キャプション生成器を画像から検出さ れた物体名に対して適用し，その出力をその画像に 対する疑似キャプションとする。 [9]では，画像か ら検出された物体名を含む文をそのまま疑似キャ プションとして用いる. 疑似キャプションを得た後 は，画像と擬似キャプションの特徵量に対して，双方向の特徵量再構成 $[8]$ や距離学習 [9] を適用して,画像と擬似キャプションとの対応付けを学習する。

## 3 手法

本研究では，画像と齯齬のある単語を画像に対す る教師信号として用いないよう抑制する手法を提案 する。手法の概要を図 1 に示す.

## 3.1 基本モデル

教師ありキャプション生成では画像 $\boldsymbol{I}$ に対して正解のキャプション $\boldsymbol{y}$ が与えられるが，疑似教師あり キャプション生成では, 画像から検出された物体名 を含む任意の文 $\hat{y} て ゙ ~ y$ を代替する。提案手法の基本

$\hat{\mathbf{y}}=\left[\hat{y}_{1}, \ldots, \hat{y}_{T}\right] \quad\left(\hat{y}_{T}\right.$ は<eos>トークン）の各ペアに対 して, 条件付き確率 $p(\hat{\boldsymbol{y}} \mid \boldsymbol{I})=\prod_{t=1}^{T} p\left(\hat{y}_{t} \mid \hat{y}_{<t}, \boldsymbol{I}\right)$ を 以下のようにモデル化する：

$
\begin{aligned}
p\left(\hat{y}_{t} \mid \hat{y}_{<t}, \boldsymbol{I}\right) & =\frac{\exp \left(\boldsymbol{h}_{t}^{\top} \boldsymbol{W}_{o} \Pi\left(\hat{y}_{t-1}\right)\right)}{\sum_{\hat{y}} \exp \left(\boldsymbol{h}_{t}^{\top} \boldsymbol{W}_{o} \Pi(\hat{y})\right)}, \\
\boldsymbol{h}_{t} & = \begin{cases}\operatorname{Dec}\left(\frac{\boldsymbol{v}}{\|\boldsymbol{v}\|_{2}}, \boldsymbol{h}_{0}\right) & \text { if } t=1 \\
\operatorname{Dec}\left(\boldsymbol{e}_{t}, \boldsymbol{h}_{t-1}\right) & \text { otherwise. }\end{cases}
\end{aligned}
$

入力は, $\boldsymbol{v}=\boldsymbol{W}_{a} \operatorname{Enc}(\boldsymbol{I}), \boldsymbol{e}_{t}=\boldsymbol{W}_{e} \Pi\left(\hat{y}_{t-1}\right)$, ゼロベクト ル $h_{0} \in \mathbb{R}^{d}$. ここで, $\Pi(x)$ は単語 $x$ に対応する onehot ベクトルを出力する関数，Dec($\cdot$) はRNN， Enc($\cdot$)
は画像分類を事前学習した CNN， $\boldsymbol{W}_{a} \in \mathbb{R}^{d \times d^{\prime}}$ は画像特徴量に対する線形変換行列， $\boldsymbol{W}_{e}, \boldsymbol{W}_{o} \in \mathbb{R}^{d \times N}$ は 語彙数 $N$ の単語埋め込み行列である.

## 3.2 ゲート機構の導入

疑似キャプションは，1 節で述べたように，画像 に対応しない記述を含む. この画像と擬似キャプ ションとの部分的な不一致を考慮するため，疑似 キャプション中の各単語の生成に画像の特徵量を どの程度使うかを制御するゲート機構を導入する。 ゲート機構は式 (1)を以下のように変更する：

$
\begin{aligned}
p\left(\hat{y}_{t} \mid \hat{y}_{<t}, \boldsymbol{I}\right) & =\frac{\exp \left(\boldsymbol{r}_{t}^{\top} \boldsymbol{W}_{o} \Pi\left(\hat{y}_{t-1}\right)\right)}{\sum_{\hat{y}} \exp \left(\boldsymbol{r}_{t}^{\top} \boldsymbol{W}_{o} \Pi(\hat{y})\right)}, \\
\boldsymbol{r}_{t} & =g_{t} \frac{\boldsymbol{W}_{v} \boldsymbol{v}}{\left.\|\boldsymbol{W}_{v} \boldsymbol{v}\right.\|_{2}}+\left(1-g_{t}\right) \boldsymbol{h}_{t}, \\
g_{t} & =\operatorname{sigmoid}\left(\tanh \left(\boldsymbol{W}_{k} \boldsymbol{v}\right)^{\top} \boldsymbol{h}_{t}\right) .
\end{aligned}
$

ここで, $g \in[0,1]$ はゲートの值, $\boldsymbol{W}_{k}, \boldsymbol{W}_{v} \in \mathbb{R}^{d \times d}$ は 画像特徴量に対する線形変換行列である。ゲートを 通すことで，各タイムステップでの出力で画像特徴量を $g$ の重み付きで用いることができる。これによ り，疑似キャプション中で画像に対応する部分につ いては $g$ を大きく，そうでない部分については $g$ を 小さくして，画像と疑似キャプションとの部分的な 一致・不一致を考慮することを可能にする。

画像と擬似キャプションの各ペアに対して，ゲー 卜機構付きモデルは以下の交差エントロピー誤差 $L_{g}$ を最小化するよう学習する：

$
L_{g}=-\frac{1}{T} \sum_{t=1}^{T} \log p\left(\hat{y}_{t} \mid \hat{y}_{<t}, \boldsymbol{I}\right)
$

## 3.3 ゲートへの疑似教師信号

3.2 節で導入したゲート機構は，疑似キャプショ ン中でどの単語が画像に対応しているのかについて 教師信号を与えられていない，タスクの設定上正し

表 1 先行研究との比較. 二重線の上下は，それぞれ先行研究 Prev. [8, 9] の実験設定に対応する. 提案手法のスコアは 5 回の試行の平均と標準偏差. Prev. [9] の BLEU-1 から 3 と SPICE のスコアについては, 論文での報告がないため空欄.

い教師信号を与えることはできないが，以下のよう

に擬似的に教師信号を与えることはできる.

疑似キャプションは，画像から検出された物体名 だけを頼りに取得される。そのため，物体名以外の 単語については画像と対応している可能性が低い.提案手法では，この対応関係を反映した擬似教師信号 $f$ を用いる. $f$ は, $\hat{y}_{t}$ が画像から検出された物体名である場合は $f_{t}=1$, それ以外の場合は $f_{t}=0$ と なる.この $f$ を $g$ に対する教師信号として，以下の 交差エントロピー誤差 $L_{f}$ を最小化する：

$
L_{f}=-\frac{1}{T} \sum_{t=1}^{T}\left.\{\alpha f_{t} \log g_{t}+\left(1-f_{t}\right) \log \left(1-g_{t}\right)\right.\}
$

ここで， $\alpha$ は $f_{t}=1$ での誤差を重み付けるハイパー パラメータである. 疑似キャプション中で検出物体名に対応する単語はそれ以外の単語に比べて数が少 ないため， $\alpha$ にはこの比率を考慮した値を設定する。

ゲートに上記の疑似教師信号を与えると，式 (4) から，基本的に，物体名については画像特徴量を 使って生成し, それ以外の単語については前タイム ステップまでの文脈特徴量を使って生成することに なる。これにより, 物体名以外については画像特徵量に対応した生成を学習できなくなる反面，画像に 一致しない可能性の高い記述を画像から生成するよ う強制してしまうことが避けられる。

提案手法の最終的な損失関数 $L$ は以下とする：

$
L=L_{g}+L_{f}
$

## 3.4 物体名デコードへの制約

式 (4) では, $g_{t}=1$ のとき, $t$ によらず同じ特徴量 $\boldsymbol{W}_{v} \boldsymbol{v} /\left.\|\boldsymbol{W}_{v} \boldsymbol{v}\right.\|_{2}$ から $\hat{y}_{t}$ が予測される. このため, こ のまま用いるとデコード時に同じ物体名を繰り返し 出力する問題が起きる. そこでデコード時には, 物体検出器に定義されている物体カテゴリのうち，一度生成した物体名についてはそれ以降のタイムス テップでの生成確率を 0 にする制約を加える.

表 2 出力キャプションとその参照キャプションから抽出 した, 物体名 / その他の単語の BoW の平均一致度.

## 4 実験

## 4.1 実験設定概要

先行研究に従って，学習に使う画像データには MS COCO [2] の学習データ [7], テキストデータには Web から取得された画像説明文 $[8,16]$ を使用した. ただし，これらのテキストデータには MS COCO の キャプションは含まれていない. 評価は, MS COCO の評価用データに対して BLEU [17], ROUGE [18], METEOR [19], CIDEr [20], SPICE [21] の自動評価指標を適用して行った。表の数值はすべて， MS COCO のテストデータで算出した.

実験設定の詳細部分では，先行研究 $[8,9]$ はそれ ぞれやや異なる設定をとっている。詳細については 付録 $\mathrm{A}$ を参照されたい.

## 4.2 先行研究との比較

表 1 に先行研究のスコアとの比較を示す. 先行研究のいずれの設定においても，すべての評価指標で 提案手法が先行研究を上回るスコアを示しており，提案手法の有効性が確認された

## 4.3 物体名以外の生成における比較

疑似キャプション中で画像との不一致がある可能性が高いのは物体名以外の単語である（3.3 節)，提案手法はこの不一致を学習に使わせないことに重点

表 3 提案手法と先行研究手法 Prev. [8] の併用の結果. Ours が含まれる手法のスコアは 5 回の試行の平均と標準偏差.

を置くので，特に物体名以外の単語の生成において 先行研究に対する改善があることが期待される.こ の改善を確かめるため, 出力キャプションとその参照キャプションから, 物体検出器に定義されている 物体カテゴリの単語とそれ以外の単語のそれぞれを 抽出した Bag of Words (BoW) を作成し, 出力-参照ぺ アで BoW の平均一致度を算出した. 比較は, 実装 が公開されている先行研究 [8] に対して行った.

表 2 から，提案手法が物体名以外の単語の生成 で先行研究 [8] を上回っていることがわかる. 特に Precision での差が大きいことから, 学習において特 に画像との不一致が多い部分については，これを画像に対して教師信号として与えると, 誤って画像に 対応付けられた余計な記述が生成されてしまうのだ と考えられる。これに対して提案手法は，物体名以外は基本的に前文脈に対して頻度の高い単語を生成 する学習を行う．これによる頻出系列の方が，画像 に一致した出力になりやすいことがわかった.

## 4.4 モデルの初期化手法としての活用

提案手法が画像に対してそれと䶞䶣のある単語を 対応付けない学習に重点を置いているのに対して，先行研究は多少の䶡䶣はあっても画像に一文全体を 対応付ける学習に重点を置いている. 両者が重視し ている互いに異なる要素を補うため，これらを組み 合わせた手法の実験を行った. 先行研究 [8] の実験設定で，学習データの画像に対して学習済みの提案 モデルでキャプションを出力し，画像とキャプショ ンのペアを作成する. このぺアを使って画像から上記のキャプションを生成する学習を行い, 先行研究 のキャプション生成モデルのパラメータを初期化, その後, 通常通り先行研究 [8] の手法を学習させた.

表 3 から，提案手法と先行研究を組み合わせた手法（Ours + Prev. [8]）は，元の手法からさらにスコア を向上させることがわかった. この結果から，提案手法はそれ単体としてだけでなく，モデルの初期化手法として汎用的に活用されうると考えられる. (a)

(b)

(c)

(a)

図 2 出力例. Objects は画像から検出された物体.

## 4.5 出力例

図 2 にモデル別のキャプション出力例を示す. 物体名以外の単語について, 提案手法が前置詞や冠詞 など物体との共起頻度の高い単語を出力する傾向が あるのに対して, 先行研究 [8] は, “portrait of", “in the savuti, kenya", "in the morning"など物体との共起頻度が比較的低い記述を生成する傾向が見られる。 このような共起頻度の低い記述は，いずれの例にお いても画像と一致していない. 反対に，物体名につ いては，(b) と (c)のように提案手法が余計な出力を する傾向がある。(c)では, 先行研究の手法を組み合 わせることでこの物体名の誤りが改善されている。

## 5 おわりに

本研究では，疑似教師ありキャプション生成にお いて擬似キャプションが画像に対して部分的に一致 しない問題に着目し，この齯䶣のある部分を画像に 対して教師信号として与えないよう抑制する手法を 提案した. 実験の結果, 提案手法が先行研究の性能 を上回り，疑似教師ありキャプション生成において 上記の問題を考慮することの重要性が示された. ま た, 提案手法は，モデルの初期化手法として先行研究の手法と組み合わせることで，さらに性能を向上 させることが確認された.

## 参考文献

[1] Peter Young, Alice Lai, Micah Hodosh, and Julia Hockenmaier. From image descriptions to visual denotations: New similarity metrics for semantic inference over event descriptions. TACL, 2014.

[2] Tsung-Yi Lin, Michael Maire, Serge Belongie, James Hays, Pietro Perona, Deva Ramanan, Piotr Dollár, and C Lawrence Zitnick. Microsoft coco: Common objects in context. In ECCV, 2014.

[3] Oriol Vinyals, Alexander Toshev, Samy Bengio, and Dumitru Erhan. Show and tell: A neural image caption generator. In CVPR, 2015.

[4] Kelvin Xu, Jimmy Ba, Ryan Kiros, Kyunghyun Cho, Aaron Courville, Ruslan Salakhudinov, Rich Zemel, and Yoshua Bengio. Show, attend and tell: Neural image caption generation with visual attention. In ICML, 2015.

[5] Peter Anderson, Xiaodong He, Chris Buehler, Damien Teney, Mark Johnson, Stephen Gould, and Lei Zhang. Bottom-up and top-down attention for image captioning and visual question answering. In CVPR, 2018.

[6] Harsh Agrawal, Karan Desai, Yufei Wang, Xinlei Chen, Rishabh Jain, Mark Johnson, Dhruv Batra, Devi Parikh, Stefan Lee, and Peter Anderson. nocaps: novel object captioning at scale. In ICCV, 2019.

[7] Andrej Karpathy and Li Fei-Fei. Deep visual-semantic alignments for generating image descriptions. In CVPR, 2015.

[8] Yang Feng, Lin Ma, Wei Liu, and Jiebo Luo. Unsupervised image captioning. In CVPR, 2019.

[9] Iro Laina, Christian Rupprecht, and Nassir Navab. Towards unsupervised image captioning with shared multimodal embeddings. In ICCV, 2019.

[10] Subhashini Venugopalan, Lisa Anne Hendricks, Marcus Rohrbach, Raymond Mooney, Trevor Darrell, and Kate Saenko. Captioning images with diverse objects. In CVPR, 2017.

[11] Peter Anderson, Stephen Gould, and Mark Johnson. Partially-supervised image captioning. In NeurIPS, 2018.

[12] Jiasen Lu, Jianwei Yang, Dhruv Batra, and Devi Parikh. Neural baby talk. In CVPR, 2018.

[13] Mitja Nikolaus, Mostafa Abdou, Matthew Lamm, Rahul Aralikatte, and Desmond Elliott. Compositional generalization in image captioning. In CoNLL, 2019.

[14] Jiuxiang Gu, Shafiq Joty, Jianfei Cai, Handong Zhao, $\mathrm{Xu}$ Yang, and Gang Wang. Unpaired image captioning via scene graph alignments. In ICCV, 2019.

[15] Fenglin Liu, Meng Gao, Tianhao Zhang, and Yuexian Zou. Exploring semantic relationships for image captioning without parallel data. In ICDM, 2019.

[16] Piyush Sharma, Nan Ding, Sebastian Goodman, and Radu Soricut. Conceptual captions: A cleaned, hypernymed, image alt-text dataset for automatic image captioning. In ACL, 2018.

[17] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In $A C L, 2002$.

[18] Chin-Yew Lin. Rouge: A package for automatic evaluation of summaries. In Text Summarization Branches Out, 2004.

[19] Michael Denkowski and Alon Lavie. Meteor universal: Language specific translation evaluation for any target language. In the ninth workshop on statistical machine translation, 2014.

[20] Ramakrishna Vedantam, C Lawrence Zitnick, and Devi Parikh. Cider: Consensus-based image description evaluation. In CVPR, 2015.

[21] Peter Anderson, Basura Fernando, Mark Johnson, and Stephen Gould. Spice: Semantic propositional image caption evaluation. In $E C C V, 2016$.

[22] Matthew Honnibal, Ines Montani, Sofie Van Landeghem, and Adriane Boyd. spaCy: Industrial-strength Natural Language Processing in Python, 2020.

[23] Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In ICLR, 2015.

## A 実験設定詳細

表 4 先行研究 $[8,9]$ それぞれの詳細な実験設定.

実験設定差分 4.1 節で述べたとおり，先行研究 $[8,9]$ ではそれぞれやや異なった実験設定をとっている. 表 4 にその差分をまとめた。各要素の詳細は先行研究 $[8,9]$ を参照されたい.

疑似キャプションの前処理 画像から検出された物体名のセットに対して，2つ以上検出された場合はそのうちのぺアの 組み合わせを用意し，各ペアが含まれている文を収集した。このとき，物体名の複数形の辞書（先行研究 [8]）を利用し て，目的の物体名が複数形で含まれている文も取得する. 収集した文から，目的の物体同士が関連した内容のものを選別するため，文中で目的の物体ペアの間に 4 つ以下の単語しか含まれない文を取り出した。また，目的の物体名ぺアが 複合語として出現している文を避けるため，物体名が隣り合っている文は取り除いた。同様に，各単体の物体について も文を収集した。ここで収集された文に対しては，目的の物体についてより詳細な記述のある文を選別するため，目的 の物体とそれを修飾する形容詞の間に 2 つ以下の単語しか含まれない文を取り出した. 統語解析器には spaCy [22] の en_core_web_lgを用いた.

学習イテレーション 頻出の物体に過適合することを防ぐため，各画像ではなく各物体ぺアでイテレーションを行った.各物体ぺアについて，これを含む画像と擬似キャプションをサンプリングして学習に用いる．また，物体ぺア中の各物体についても同様にサンプリングと学習を行った. バッチサイズは 8 とし, validation セットでの CIDErスコアが 20 エ ポック連続で更新されなくなった時点で学習を止めた。最適化には，Adam [23]を論文の推奨パラメータで用いた。

$\alpha$ の値 式 (7) について， $\alpha=16$ とした。上述のように，学習は物体ぺアとそのうちの各単体の物体を単位として行われ るため，サンプリングされた文の中で検出された物体に対応する単語は 2 つか 1 つしかない. これに対してテキスト データの平均文長は，先行研究 $[8,9]$ でそれぞれ 12.0 と 10.7 である. この検出物体数と文長の比率を考慮して 2 の累乗数から最も性能が高くなる $\alpha$ を探した結果，文長 / 検出物体数 $(=1)$, に近い， $\alpha=16$ が最も高い性能を示した.

先行研究モデル初期化のための疑似キャプションの前処理 4.4 節の手法では，学習データの画像に対する提案手法の出力を疑似キャプションとして扱う．このとき，画像に対して全く異なる内容の疑似キャプションを与えることを防ぐた め，次の前処理を行った. 画像から検出された物体が 2 つ以上ある場合は，2 つ以上それらの物体を含む疑似キャプショ ンのみ，検出された物体が 1 つの場合は，それを含む疑似キャプションのみを選別した. この基準を満たさない疑似 キャプションについては，画像とともに先行研究モデル初期化のための学習データから外した.

## B Ablation Study

表 5 Ablation study. 二重線の上下は，それぞれ先行研究 $[8,9]$ の実験設定に対応する. 提案手法のスコアは 5 回の試行の 平均，その他は一回の試行のスコア.

表 5 に ablation study の結果を示す. w/o filter は $L_{g}$ だけを最小化したモデル，w/o gate は式 (1)のモデル化で $L_{g}$ だけを 最小化したモデル，w/o unique は 3.4 節のデコード制約を用いないモデルである. なお， 3.3 節の疑似教師信号 $f$ はゲー ト機構に対して与えられるものなので，ゲート機構なしで疑似教師信号だけ与えるモデル（w/o gate w/ filter）は比較しな い. w/o image は，画像特徴量 $\boldsymbol{v}$ の代わりに，画像から検出された物体名の単語特徴量の平均を用いたモデルである.

いずれの実験設定においても w/o filter で特に数字が下がることから，3.3 節の疑似教師信号が性能の向上に大きく寄与 していること， 3.2 節のゲート機構はそれ単体ではうまく機能しないことがわかった. また, Ours (full) が突出してスコ アが高いことから，提案手法はすべて組み合わせた状態で最も効果を発揮することが確認できる．w/o image のスコアが 低いことについては，出力に物体検出器の誤りが伝播したものが多く見られており，これが原因だと考えられる.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# ソーシャルメディアのための 柔軟なビジュアルグラウンディング

Yongmin Kim $^{1}$ Chenhui Chu $^{1}$ 加藤 圭造 ${ }^{1,2}$ 黒橋 禎夫 ${ }^{1}$
1 京都大学
2 富士通研究所
\{kim, chu, kuro\}@nlp.ist.i.kyoto-u.ac.jp
kato.keizo@fujitsu.com

## 1 はじめに

ビジュアルグランディングとは画像の中にある クエリに対応する領域を探すタスクである [1]. 画像・言語のマルチモーダル学習の分野において，基礎的な研究分野の一つである。このタスクにはデー タセットによってクエリの形態が違う。例えば， Flickr30k entities データセット [2] は一枚の画像に複数キャプションがあり，そのキャプションの中にあ る名詞句と画像の中の領域の対応関係がアノテー ションされている.一方，RefCOCO+[3] データセッ トのクエリは画像の中に存在する物体を説明するも のであり，Visual7W[4] データセットのクエリは画像内のある領域に関する質問からなっている。

上記のような人為的に作られたデータセットには 当然ながら，クエリに対して必ず対応する領域が画像の中に存在する。しかし，実世界のデータはクエ リに対応する画像中の領域がない場合が多く存在 する. このようなデータの一つとしてソーシャルメ ディアデータが挙げられる. 画像とそれに関するテ キストからなるソーシャルメディアデータでは，テ キスト中の名詞句がグランウンディングできる場合もあるが（図 1 の左），できない場合もある（図 1 の右).

図 1 のようにクエリがグラウンディングできない ことを扱うためにはクエリがグラウンディングでき るかないかを判断し，できる場合はグラウンディン グし，できない場合はできないことを柔軟に答える ことが必要である．しかし，従来のビジュアルグラ ウンディング手法 $[1,2,5]$ では入力クエリに対して，必ずグラウンディングする領域を選択しなければな らないので，グラウンディング不可能な場合を取り 扱うことができない.

図 1 ソーシャルメディアデータにおけるビジュアルグラ ンディングの例. 左のクエリの一部はグラウンディング できるが，右のクエリはグランディングできない.

本研究では，グラウンディング不可能な場合に対 して，擬似的な領域を候補領域として追加すること で対応する手法を提案する．グラウンディング不可能な学習データを RefCOCO+から擬似的にグラウン ディングできない擬似データセットを作成して，モ デルを学習する．その結果，グラウンディングでき ないデータを高い精度で検出できることが確認さ れた。

また，Twitter からデータを収集し，ビジュアルグ ラウンディングのデータセットを構築する。提案手法をソーシャメディアで検証するためには用いたモ デルの学習データである RefCOCO+のような画像で ある必要がある。従って，画像認識モデル $[6,7,8]$ を用いて，収集した tweetをフィルタリングを行い， $\mathrm{RefCOCO}+$ のような検証用の小規模なデータセット を作成し，提案手法の有効性の検証を行った。

## 2 提案手法

従来のビジュアルグラウンディングモデルは図 2 に示されるように，まず画像から各候補領域に対し $\tau$ ，特徵べクトル $f_{v} \in \mathbb{R}^{d_{v}}$ と空間ベクトル $f_{s} \in \mathbb{R}^{5}$ を抽出する，各候補領域とそれの特徴べクトルは

図 2 提案手法の概要. グラウンディングできないクエリに対する擬似的な候補領域（pseudo region）を追加し，その領域を選択されるようにモデルを学習させ，グラウンディングできないクエリに対応する.

Mask R-CNN[9] のような物体検出モデルを用いて，抽出する．空間ベクトルは式 1 のように正規化され た各領域の 4 つの頂点の座標とその幅と縦の長さで 構成されている.

$
f_{s}=\left[\frac{w_{t l}}{W}, \frac{y_{t l}}{H}, \frac{x_{b r}}{W}, \frac{y_{b r}}{W}, \frac{w h}{W H}\right]
$

$\left(w_{t l}, y_{t l}\right)$ と $\left(y_{t l}, x_{b r}\right)$ はそれぞれ領域の左上と右下の 座標である。次に，このように抽出された候補領域 の画像のベクトルとクエリを比較し，類似スコアを 出力して，最終的にスコアが最も高い領域を選択す る. ViLBERT の場合，モデルが $i$ 番目の候補領域の 画像のベクトル $v_{i}$ とクエリ $Q$ から，最終的に出力 する表現べクトル $h_{v i}$ を $W_{r} \in \mathbb{R}^{d \times 1}$ 線形投影し，類似スコアを出す。

$
\operatorname{ViLbeRt}\left(v_{i}, Q\right)=W_{r} h_{v i}
$

学習する際にはこの各候補領域から生成される表現ベクトルが，類似スコアを予測するように学習さ れる。

本研究では候補領域に容易にグラウンディングで きないクエリに対する擬似的な領域を入れ込むこ とで，グラウンディングできないクエリに対し，こ の擬似領域を出力して，対応できるような手法を提案する. この擬似領域は特徴ベクトル $f_{v}$ の全ての 値を 1 にして，空間ベクトル $f_{s}$ の值を全部 0 に設定した。すなわち，擬似領域は画像の左上に位置し て, 広さが 0 であり, 特徴べクトルの全ての値が 1 となる.

## 3 ソーシャルメディアデータの構築

## 3.1 クローリング

ソーシャルメディアデータセットは Twitter から あるキーワードを検索し，クローリングした. キー ワードはクローリングしたデータが学習データであ る RefCOCO と類似性を持つために, RefCOCO のカ テゴリから取得した。

## 3.2 画像データのフィルタリング

上記のクローリングで多くの tweet が得られたが，提案手法を評価するには学習に用いた RefCOCO+ のような画像をもつデータが求められるため, RefCOCO+に存在しない特性のデータを除去する 必要がある. このような特性のデータの画像には RefCOCO カテゴリと違う画像の他に, 低画質画像,広告，テキストが多い画像，絵などが考えられる。従って，事前学習された画像分類モデル [6], 物体検出モデル [7]を用い，最後に画像内のテキストを検出して，その領域と文字を認識するテキスト検出モ デル [8]を用いて，フィルタリングを行う.

画像分類モデルは ImageNet[10] データセットから 事前学習されたモデル [6] を用いた. モデルから出力されたクラスを RefCOCO+のカテゴリとの Wu \& Palmer similarity（式3）を計算し，閾値以上のものを 収集ことで RefCOCO+と関連性が高い tweetが得ら れ，ウェブサイトや漫画など関連のないクラスが除
去された。閾値は ImageNetクラスと RefCOCO+カテ ゴリとの Wu \& Palmer similarityをみて， RefCOCO+ のカテゴリと関連性が低いものが含まらないように 0.95 の以上にした.

$
\begin{gathered}
\mathrm{Wu}-\text { Palmer : } 2 * \frac{\operatorname{depth}(\operatorname{lcs}(s 1, s 2))}{\operatorname{depth}(s 1)+\operatorname{depth}(\mathrm{s} 2)} \\
\text { lcs }: \text { Least Common Subsumer }
\end{gathered}
$

物体検出アルゴリズムは COCO データセット [11] から事前学習されたモデル [7] を用いた. COCO データセットは RefCOCO の基盤となるデータで あり，両データセットは同一のクラスを保有する. tweet データには背景がなく, 物体一個しか存在し ないグラウンディングの意味のないデータを存在す る. そのため，物体検出モデルを用いて，検出され る物体が 2 個以上存在するデータを収集した.

上記の二つのフィルタリングの結果, 残った tweet には画像の中でテキストが占める割合が多いデータ がまだ存在していた. このようなデータはテキスト 検出モデル [8] を用いて，その領域の全体画像の大 きさに対する割合を計算し，間値を基準にデータを 整理した. 閾値は背景に存在する文字と画像上に追加された文字を区分できるような值をデータの観察 より，0.05 以下に設定した.

## 3.3 アノテーション

このようなフィルタリング手法を通して，前よ り RefCOCO+に類似な tweet を得ることができた。 tweet のテキストには複数の記号, 絵文字, リンク などを含んでいるため，前処理を行い，そのテキス 卜から文を抽出した。また，それぞれの文の名詞句 をチャンキングし，クエリを抽出する．その後，ク エリに対する領域にアノテーションを行い（図 3)，最終的に提案手法を検証するための 75 個のクエリ のソーシャメディアデータセットを構築した. この デーアセットは画像と 15 個のグラウンディング可能なクエリと 60 個のグラウンディング不可能なク エリから構成されている.

## 4 実験設定

## 4.1 擬似データセット

公開されているデータには全てグラウンディン グできるデータだけあるため，既存のデータセット

I think my favorite picture, two wonderful horses, Angel and Rannoch and a beautiful sunrise on a frosty day

図 3 ソーシャルメディアデータのアノテーション."my favorite picture" はグランウンディングできないクエリであ り，“Angle”と “Rannoch” は固有名詞のため入力クエリと して使わない.

を変更して，擬似的にデータセットを構築し，提案手法の評価を行った. 本研究では RefCOCO+データ セットを基盤に擬似データセットを作成した。擬似 データは元のデータにおいてある画像と他の画像の クエリを組み合わせ，画像とクエリがお互いに関係 ないように設定して，構築する．表 1 に擬似データ セットの構成を示す。

表 1 擬似データセットの構成。擬似データセットは $67 \%$ の RefCOCO+と $33 \%$ の擬似データから構成されている.

データ数

## 4.2 モデル学習

提案手法の候補領域の画像とクエリとの類似 スコアを抽出するとき，ViLBERT[5]を用いた。 ViLBERT では言語と画像が同時に連結された並行的な transformer ブロックを通して，処理される。こ のモデルは 4 つの画像・言語のタスクを同時学習さ せたモデルに，各データセットに fine-tuning するこ とで，ビジュアルグラウンディング分野において 最も高い精度を出した. ViLBERT の transformer ブ ロックが言語・画像それぞれ 12 と 6 層を用い，4つ のタスクに同時に事前学習されたモデルを用いた.

図 4 提案手法を擬似データに適用した結果例.

binary cross entropy を用い，最大 20 エポック，バッ チサイズを 256 , 最初学習率を $4 e-5$ に設定してビ ジュアルグラウンディングの fine-tuning を行った.

提案手法を RefCOCO+と擬似データセットでそれ ぞれ fine-tuning し，各データセットでの結果を比較 した。また，擬似データセットで学習したモデルを 構築したソーシャルメディアデータに対して提案手法の有効性を検証した。

表 2 各データセットでの提案手法の評価. Pseudo は擬似データセットでグラウンディング不可能なテストデー タでの結果である. SNS-VG と SNT-UVG はそれぞれ構築 したソーシャルメディアデータでグラウンディング可能 と不可能なデータでの結果である.

## 5 結果

## 5.1RefCOCO+と擬似データでの評価

表 2 の左に RefCOCO+テストセットと擬似デー タテストセットにおける結果を示す. RefCOCO+で fine-tuning した ViLBERT モデルを提案手法を用いた とき，性能の変化を確認した結果，同じく $72.73 \%$ の 精度が出た. また, グラウンディング不可能なデー タに対する学習がされていないため，擬似データを 擬似領域として検出することはできなかった. 次に 構築した擬似データセットに対して fine-tuning し,性能確認を行った。擬似テストデータセットは $67 \%$ の RefCOCO+のデータと $33 \%$ の擬似データと構成さ れている。擬似データにで fine-tuning したとき，図 4 のように，グラウンディング不可能なデータに対 して，正しく擬似領域を推論していることが見られ た. また，その精度は RefCOCO+データセットに対 し，69.5\%であり，擬似データに対しては $91.21 \%$ で あった. 既存の RefCOCO+で fine-tuning したモデル

HappyHalloween weekend!! Are you decking your car out in spooky decorations?

図 5 提案手法をソーシャルメディアデータに適用した結果例.

よりはRefCOCO+テストセットにおいて，精度が下 がったが，擬似データでのグラウンディングできな いものに対しては高い精度を出していることが見ら れた。

## 5.2 ソーシャルメディアデータでの評価

擬似データセットから fine-tuning された ViLBERT を用いて，構築した 75 個のソーシャルメディア データに対し，提案手法の検証を行った。その結果 を表 2 の右に示す. グラインディング可能なデータ に対しては，精度が $68.8 \%$ ，不可能なデータに対し ては $76.8 \%$ の精度であった。また，結果例は図 5 に 示されたように，グラウンディング可能なクエリと グラウンディング不可能なデータに対して，正しく 動作していることがわかる。

## 6 終わりに

本研究ではグラウンディング不可能性を考慮した ビジュアルグラウンディングモデルの提案とソー シャルメディアデータセット構築を行った. 既存の ビジュアルグラウンディングモデルにグラウンディ ング不可能なモジュールを追加させることで，グラ ウンディング可能なデータにおける性能低下も少な く，グラウンディングできないデータを高い精度で 推論することができた. また，ソーシャルメディア から収集した画像データを複数の画像処理モデルに よりフィルタリングすることで、RefCOCO+データ セットと特性の近いデータセットを構築することが できた. 実際に構築したソーシャルメディアデータ に対しても，グラウンディングできないものを正し く検出し，柔軟なグランウンディングできることが 確認された。大規模なソーシャルメディアデータの 構築は今後課題である.

謝辞 本研究は，JST ACT-I の支援を受けたもの である。

## 参考文献

[1] Wenjian Dong, Mayu Otani, Noa Garcia, Yuta Nakashima, and Chenhui Chu. Cross-lingual visual grounding. IEEE Access, Vol. 9, pp. 349-358, 2021.

[2] Bryan A. Plummer, Liwei Wang, Chris M. Cervantes, Juan C. Caicedo, Julia Hockenmaier, and Svetlana Lazebnik. Flickr30k entities: Collecting region-to-phrase correspondences for richer imageto-sentence models. CoRR, Vol. abs/1505.04870, , 2015.

[3] Licheng Yu, Patrick Poirson, Shan Yang, Alexander C. Berg, and Tamara L. Berg. Modeling context in referring expressions. CoRR, Vol. abs/1608.00272, , 2016.

[4] Yuke Zhu, Oliver Groth, Michael S. Bernstein, and Li Fei-Fei. Visual7w: Grounded question answering in images. CoRR, Vol. abs/1511.03416, , 2015.

[5] Jiasen Lu, Dhruv Batra, Devi Parikh, and Stefan Lee. Vilbert: Pretraining task-agnostic visiolinguistic representations for vision-and-language tasks. CoRR, Vol. abs/1908.02265, , 2019.

[6] Mingxing Tan and Quoc V. Le. Efficientnet: Rethinking model scaling for convolutional neural networks. CoRR, Vol. abs/1905.11946, , 2019.

[7] Alexey Bochkovskiy, Chien-Yao Wang, and HongYuan Mark Liao. Yolov4: Optimal speed and accuracy of object detection, 2020.

[8] Youngmin Baek, Bado Lee, Dongyoon Han, Sangdoo Yun, and Hwalsuk Lee. Character region awareness for text detection, 2019.

[9] Kaiming He, Georgia Gkioxari, Piotr Dollár, and Ross B. Girshick. Mask R-CNN. CoRR, Vol. abs/1703.06870, , 2017.

[10] J. Deng, W. Dong, R. Socher, L. Li, Kai Li, and Li Fei-Fei. Imagenet: A large-scale hierarchical image database. In 2009 IEEE Conference on Computer Vision and Pattern Recognition, pp. 248-255, 2009.

[11] Tsung-Yi Lin, Michael Maire, Serge J. Belongie, Lubomir D. Bourdev, Ross B. Girshick, James Hays, Pietro Perona, Deva Ramanan, Piotr Dollár, and C. Lawrence Zitnick. Microsoft COCO: common objects in context. CoRR, Vol. abs/1405.0312, , 2014.


# Improve Japanese Input Method by Re-rank Candidate Words

Xinyang Jiang, Weitsung Lin, Gang Qiao, Xiaoliang Xu, Jianmin Wu, Cong Zhang
GBU, Baidu Inc, China, 518052
E-mail: \{jiangxinyang, v_liweicong, qiaogang01, xuxiaoliang, wujianmin01, zhangcong05\}@baidu.com
}

\begin{abstract}
We investigate a Two Stream Encoder model (TSE) for re-ranking candidate words in Japanese Input Method, which encodes Hiragana sequences and word sequences to represent the relationship between Hiragana sequences, context and candidate words. Compared with our current online model, the transformer-based model can capture more context information. Two auxiliary language model losses are introduced to help model learning, and the loss weights are dynamically adjusted by linear decay.
\end{abstract}

TSE is empirically effective and achieves a Top1 accuracy of $82.3 \%$, which is significantly higher than the $78.6 \%$ of the online model on the testing set. While there are only 2.43 million of parameters and 59.57 second inference time per 10000 reranks, the memory consumption when running on the mobile phone is only $12 \mathrm{MB}$, let the model run smoothly on the mobile devices.
## 1 Introduction

Typing is one of the core methods that users interact with smartphones. Unlike other devices with keyboard and large screen, typing on mobile devices have more restrictions like limited input buttons and small space for showing candidate words. An intelligent input method to provide better text suggestions is important to boost typing efficiency on such devices.

In languages like Japanese and Chinese, there is an essential text suggestion task: conversion task. Conversion task is not a common scenario for Latin based languages which could directly type on a keyboard, but there are thousands of characters in Japanese and Chinese language. For example, in Japanese users type Hiragana sequence, a type of phonography, and conversion task converts it to a list of target word sequences for users to select from.

An n-gram language model is used to solve this problem. However, due to the exponential increase in model size, the n-gram model can only support up to bi-gram or tri-gram on mobile de- vices. With this constraint, the n-gram model often suffers from loss of accuracy because of its limitation on considering length of context. On the other hand, recently deep-learning based language models are shown that they can solve such issues more efficiently.

Although deep-learning based language model has achieved enormous success, it is still not used mainly for input method tasks. The major reason is that input methods have to run smoothly and interactively on mobile devices with limited resources. Unlike speech recognition or machine translation services served from online servers, input method applications have to sacrifice accuracy for execution speed and model size.

In this work, we focus on ranking the target word list to provide the best fit for users' original intention candidates in top 3 to top 6 . We customized a natural language processing (NLP) model, Transformer [1], a self-attention mechanism model, to fit Japanese input method application. By introducing auxiliary training objectives we have benefit for learning better encoded representations. Also, we leverage byte pair encoding (BPE) [2] to segment and encode input context. BPE not only helps reduce the length of model input but also improves execution speed. Therefore, our model considers longer context distance and achieves a reasonable execution speed on mobile devices.

To sum up, our contributions are as follows:
- We customized a Two Stream Encoder model to improve re-rank candidate accuracy in input method.
- The model can run on mobile devices at a reasonable execution speed.

## 2 Input Method with Deep-learning Model

In the input activity, the user first types the Hiragana sequence. Then the possible candidates show up for the user to choose. Because we don't know when the user stops typing and chooses the candidates, we need to calculate every time a new

Hiragana character is typed. In this way, a simple sentence could easily involve multiple candidate prediction tasks, therefore the most crucial problem in using deep-learning technology on mobile devices is often the execution speed. With this restrick, we select our model task on re-ranking candidates after a translation from the Hiragana sequence. In the whole input activity, the user first types the Hiragana sequence. Then the possible candidates show up for the user to choose.

Although the language model would be a visible solution for scoring the candidates with given previous input words, it is difficult to train a stable deep-learning language model with shallow model size. Instead using a simple binary classification to model candidate scores and train a compact size model, but it is also hard to converge a useful model.

Recent NLP models like BERT [3] or GPT [4] are using pre-training from a larger corpus to learn well stated model parameters and then fine-tune on a task with smaller corpus. We leverage this training strategy on our training. But instead of two steps training, we join two training objectives to form a multi-task learning. The intuition behind this setting is that only the binary classification objective is hard to guide the model to learn, but with the language model objective as an auxiliary objective, helps the model to converge better.

We use GPT as our model encoder. GPT does not rely on recurrent mechanisms to follow language modeling objectives, instead it uses masks to achieve this manner. In this way, the calculation can run in parallel, which improves execution speed.

## 3 Method

## 3.1 BPE

To start the natural language processing, sentences need to be tokenized. For languages like Japanese or Chinese, there are no natural word boundaries, such as a space character. It is crucial to have a good tokenization methodology to start the whole process. Following GPT, it uses byte pair encoding (BPE) to process English corpus. We use BPE on Japanese texts as a tokenizer. BPE largely decreases out-of-vocabulary words and also reduces sequence length with only around $50 \mathrm{k}$ token size. This is important for running deep-learning models on mobile devices. Because in a normal tokenization setting, for a $95 \%$ vocabulary coverage, token size easily exceeds 100k. Embedding matrix size often contributes most parameters in the whole model. Hence, re- ducing embedding size can reduce model size significantly.

The other benefit of BPE is the encoded sequence length. Other than using lots of tokens, using character based tokenization methods is another choice in Japanese and Chinese. In this setting, the token size is often between $5 \mathrm{k}$ to $10 \mathrm{k}$ to achieve similar word coverage, but this causes the encoded sequence length to be longer and too sparse for the embedding. The BPE balances this between normal tokenizer and character-based tokenizer.

## 3.2 Two-Stream-Encoded Model

We customize Transformer models to fit the Japanese input method and the re-rank candidates task. In Japanese input scenarios, users type a Hiragana sequence and the sequence is converted into words. This is a one to many mapping. Different words have the same pronunciation and all can be the potential candidates. There are two useful data that helps rank candidates: one is words users have already typed, the other is the Hiragana sequence users currently typing.

We use two GPT models to encode word sequence and Hiragana sequence. The word sequence is composed of history words and one candidate. These two encoded output logits then concatenate into one vector and feed into a binary classifier. The classifier outputs a scalar ranging from zero to one to indicate how likely the candidate fits for current usage.

Our model consists of two blocks, word encoder and reading encoder. We call it the Two-streamencoded Model (TSE). The word encoder encodes word sequence and the reading encoder encodes Hiragana sequence respectively. Instead of using the identical structure on both encoders, the word encoder has more parameters than reading encoder due to the longer sequence and the larger unique token size. We append a self-attention layer to the final layer of word encoder and use reading encoder output as this self-attention layer's query input. We want the word encoder output to be conditioned on user typing input. The detail model architecture is in Figure 1.

## 3.3 Auxiliary Training Objectives

We use point-wise approaches to rank candidates, which means we give every candidate a score and use this score to rank. In this setting, a sigmoid function is a good fit for model output. We train models with cross-entropy loss between model output and real label, with user-select candidate label regarded as positive and non user-select candidate

Figure 1: Two-Stream-Encoded model architecture. The word sequence is the concatenation of history words and one candidate. The binary classifier output is a scalar which indicates the score of the candidate.

label as negative. We found that using only this training objective cannot generalize well on the test set. To tackle this problem, auxiliary training objectives, language modeling loss is introduced to two GPT models in training. This helps models encoding better output logits for the classifier. Both GPT encoders have their own language modeling loss and total loss is the sum of three losses as the following Eq. 1. Alpha and beta here are the weights for controlling the language model loss that contribute to total loss.

$
L_{t}=\alpha * L_{w-\text { encoder }}+\beta * L_{r-\text { encoder }}+L_{c l s}
$

## 4 Data and Experiment Setting

We train and evaluate the model using a dataset that was collected from volunteers . In this section, we first describe the dataset, and then show the experiment details.

## 4.1 Data

The dataset contains about 200 million training dataset and 0.3 million testing dataset. Data is collected from volunteers, each input data is associated with 2 to hundreds of candidate words. The words selected by the user are taken as positive samples, and negative samples are randomly selected from the candidate words not included in the words selected by the user.

## 4.2 Experiment Settings

## 4.2.1 Vocabulary

In order to get better representations from word encoder and reading encoder, We use BPE to learn subword vocabularies from Hiragana sequence and word sequence separately. There are $50 \mathrm{k}$ tokens for word encoder and 8k tokens for reading encoder. The Hiragana sequence has a smaller character space and uses less token size than word encoder.

## 4.2.2 Training Details

We set the batch size and the train steps to 256 and 2 million, warm-up steps set to 10000 . The learning rate is initially set $8 \mathrm{e}-4$ and will be reduced to $8 \mathrm{e}-6$ by learning rate linear decay, Adam is used for optimization and L2 weight decay is set to 5e-3. We also use linear decay to dynamically adjust the alpha and beta values in the Eq. 1, the details are shown in Table 2.

## 5 Result and Discussion

To evaluate the inference speed, we conduct an inference procedure on the testing dataset with batch size of 9 . Results are shown in Table 1 and the average running time of 10000 batches on a single NVIDIA K40 GPU.

We use Top-1 accuracy as the metric to evaluate model performance. Meanwhile, we also compare the model size and the speed of inference, which are the key factors that run smoothly on mobile devices. We investigate the effect of model size and loss weights on the TSE model, the detailed results and discussions are shown below.

## 5.1 Effect of model size

We take the online model (no rerank model), LSTM, and GPT as the baseline model, and compare them with our TSE model, we find that our TSE model has achieved better performance shown in the Table 1. LSTM and GPT models are trained with language model objectives on history words and user selected candidates. For comparison, we set the parameter size similar to the TSE model. Using language models to evaluate candidates is a straightforward method. But the restriction of model size and lack of user input information cause the accuracy far from our online model. The TSE model is designed to improve this problem. It introduces a reading encoder that can effectively encode the Hiragana sequence and provides the conversion information between $\mathrm{Hi}-$ ragana sequence and candidate words.

We also compare performance with different depths and widths on Top-1 accuracy and inference speed. The TSE-1 model with a wider and deeper model achieves the best performance, with a Top-1 accuracy of $82.5 \%$. Reducing the width of the word encoder by half (TSE-2), the Top-1 accuracy drops to $82.1 \%$, with equivalent model size and inference speed. Reducing the depth of the word encoder and reading encoder by half (TSE$3)$, the Top-1 accuracy drops to $82.3 \%$, but the model size and inference speed has also reduced by $0.45 \mathrm{M}$ and $33 \mathrm{~s}$ respectively, the memory consump-

 &  & \#Param &  &  \\

Table 1: The model sizes and inference time for baselines and TSE models. (n_layer means the number of the model layer; d_lstm means LSTM hidden size; d_embed means the embedding size; d_attn means the hidden size of the self-multi-attention block in Transformer; d_ffn means the hidden size of FFN sub-layer in Transformer; \#Param means the number of parameters.)

 &  & Decay Method &  \\

& 1.0 & 0.0 & Linear & $82.0 \%$ \\

& 1.0 & 0.0 & & $82.3 \%$ \\

Table 2: Ablation studies of loss weights in the TSE-3 Model learning. (No LML means without the auxiliary training objectives; No LWD means alpha and beta in the Eq. 1 remain constant; LWD means alpha and beta will decay from the initial value of the first 1.5 million to the last 0.5 million during the first 1.5 million.)

tion when running on the mobile phone is only $12 \mathrm{MB}$. We think that re-ranking candidate words does not require much semantic understanding, but more to capture the usage of words. Therefore, the shallow network can still achieve a good performance, and the speed is faster.

## 5.2 Effects of loss weights

We investigate the effects of the loss weights (alpha and beta in the Eq. 1) on the TSE-3 model learning. The training period is divided into the first 1.5 million steps and the last 0.5 million steps, the two stages using different language model loss weights respectively. During the training process,
the alpha and beta in the last 0.5 million will remain constant, but in the first 1.5 million may be dynamically decayed. Note that we set the alpha and beta to same value during the training period.

Several baselines are proposed including the TSE-3 model without the auxiliary training objectives (Abbreviated as No LML), the loss weights decay (Means alpha and beta in the first 1.5 million remain constant, abbreviated as No LWD) respectively. The results are illustrated in Table 2 and show the best performance using linear decay in the first 1.5 million steps and removing the language model losses in the last 0.5 million steps. The Top-1 accuracy is only $55.6 \%$ under the setting (No LML), which is much lower than the baseline. This result proves that auxiliary training objectives are the key for TSE model learning, they can effectively help the model converge.

Furthermore, we investigate the contributions of the auxiliary training objectives in the TSE3 model learning (No LWD), we set the alpha and beta to 1.0 , and the Top-1 accuracy is $80.9 \%$. However, if we remove it in the last 0.5 million training steps, the Top-1 accuracy will increase to $82.0 \%$. This results shows that the effects of the auxiliary training objectives to the model learning should be reduced in the last training period, enabling the classification task dominating the model learning.

Finally, we introduce linear decay in the first 1.5 million training steps to dynamically adjust the loss weights, and the Top-1 accuracy has been further improved slightly. And it is better to remove the language model loss in the last 0.5 million training steps than setting the loss weights to 0.1 , which the accuracy improves by 0.2 . This may be due to the fact that the model has converged well in the first 1.5 million steps, removing the language model loss in the last 0.5 million steps can ensure the classification tasks are better trained.

## 6 Conclusion

In this paper, We empirically investigate a Transformer-based model for the re-ranking of the candidate words in input method, finding that it outperforms the online model, Lstm-based model and GPT-based model. Transformer-based models can encode more context compared with the traditional model which is the N-gram model. While getting a better performance, we also reduce the size of the model to ensure that it can run smoothly on mobile devices. Finally, we introduce two auxiliary training objectives to help train the small Transformer-based model, and dynamically adjust the loss weights to obtain better performance.

## References

[1] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Åukasz Kaiser, and Illia Polosukhin. Attention is all you need, 2017.

[2] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units, 2015.

[3] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding, 2018.

[4] Alec Radford, Karthik Narasimhan, Tim Salimans, and Ilya Sutskever. Improving language understanding by generative pretraining, 2018.


# 視覚と言語によるナビゲーション課題への 言語に対応付けられた生成的な方策

栗田修平
理化学研究所, JST さきがけ
shuhei.kurita@riken.jp
}

Kyunghyun Cho
New York University, CIFAR
kyunghyun. cho@nyu. edu

## 1 はじめに

人間の持っている日常的な知覚を理解し，人間か ら与えられた指示に従って判断し行動するシステム の構築には，人間の知覚する環境に近い条件でモデ ル学習を行なっていくことが自然だろう。このよう なアイディアは古くから存在した ${ }^{11}$ が，近年，実世界を模した仮想の環境を利用し，仮想のモデルエー ジェントが環境内部の移動などのインタラクション を通してモデル学習を行うことが現実となりつつ ある。このような人工知能分野は, Embodied AI (身体化された $\mathrm{AI}$; 具体化された $\mathrm{AI}$ ) と呼ばれ, 急速な データセットや環境整備 $[2,3,4,5,6,7,8,9,10]$ と ともに活発なモデル提案 $[11,12,13,14,15,16]$ が行 われ，現実世界への応用 $[17,18]$ も試みられ始めて いる.この一つである視覚と言語によるナビゲー ション (vision-and-language navigation; VLN) 課題 [3] は，図1のように，内部を移動できる写実的な仮想 の $3 \mathrm{D}$ 屋内環境を利用し，与えられた自然言語によ る指示に従って仮想モデルエージェントに未知の屋内環境を探索させ，言語指示文章に示された通りに 目的の場所まで移動するものである。

視覚と言語によるナビゲーションが目指すところ は，かなり現実に近い環境で人間の指示を理解し従 うシステムの作成である.このようなシステムでは 言語指示に従って動作する課題と，言語と視覚や動作との対応付け課題の双方が求められる. この $2 \supset$ は異なる課題である [19]が，既存手法では，指示に 従って動作選択を行うことを目標としており，言語 と視覚や動作との対応付けについては，相互アテン ションなどで取り扱われるのみで明確ではなかっ た. 提案手法では，まず視覚や動作情報を，条件付言語モデル²)を用いて明示的に言語情報に写像し，

写像を利用して指示文章に従い次の動作を選択す る. 加えて，提案手法による言語モデルの予測スコ アを利用することで，視覚や動作情報を元にどのよ うな言語情報に着目してモデルが判断を行なったの か，可視化することが可能となった.

## 2 視覚と言語によるナビゲーション

視覚と言語によるナビゲーション (VLN) は，内部 を移動でき場所に応じた視覚情報が得られる仮想環境を利用して，与えられた言語指示に示された方法で仮想のモデルエージェントを目的の位置まで 移動する課題である [3]. 広く利用されているデー タセットとして，現実の家屋内の 3D スキャンであ る Matterport3D [20] による写実的な視覚情報を利用 した R2R [3] と R4R [8] が存在する．R2R は，3D ス キャン内部にモデルエージェントが移動できるグ ラフを作成し，エージェントの動作開始地点から課題の目的位置までの最短経路に対して，人手による エージェントへの経路指示文章がアノテーションさ れている．R2R はモデルが学習時に未知であった建物環境への汎化能力を測定することを目的としてお り, Matterport3D の 90 棟分の建物屋内スキャンを，学習データ, 未知 (unseen) 開発データ, 未知テスト データへと $61: 11: 18$ の割合で分割する。それぞれ に経路と言語指示アノテーションが作成され，例え ば学習データは 14,025 個の経路アノテーションを 含む．また，学習データと建物スキャンを共有する 既知 (seen) 開発データが用意されている.

VLN の問題定式 VLN は，反復的な意思決定問題である。まず課題試行の開始前に，仮想環境中の モデルエージェントに現在位置から目的位置まで の経路指示文章 $X$ を与える. ある時刻 $t \in \mathbb{N}$ に，モ デルにはその位置に応じて視覚情報 $s_{t}{ }^{3}$ が与えら れ，次の動作 $a_{t}$ を予測する。ただし，各時刻にお

い. 近年，この 2 つの用法に混乱が見られるため注記する。

3）VLNでは一般にパノラマ画像を用いる [11].

For each action, score the instruction

Walk between the the tub and bathroom counter. Go through the opening next to the bathroom counter and into the little hallway. Wait next to the family picture hanging on the left wall.

図 1 視覚と言語によるナビゲーション課題および言語に対応付けられた生成的な方策. 時系列的で写実的な視覚情報 と動作情報を，条件付き言語モデルを用いて，最初に与えられた動作指示へと対応付け，次の動作を予測をする。

いて過去の観測情報も用いることができるため，モ デルの入力として用いることができる観測情報を $h_{t}=\left.\{s_{: t}, a_{: t-1}\right.\}$ としたとき，次の動作 $a_{t} \in \mathscr{A}_{t}$ を，例 えば確率モデルを用いて $p\left(a_{t} \mid X, h_{t}\right)$ と選択する. な お，関連研究 $[11,12,21]$ にあるように，可能な動作 の集合 $\mathscr{A}_{t}$ を動作選択において用い，各動作の分散表現を視覚情報から計算し入力として使用できる。可能な動作集合 $\mathcal{A}_{t}$ には必ず試行終了動作 “STOP" が含まれており，これを選択した地点をモデルエー ジェントの予測した目的位置とし, VLN課題の成否判定に使用する.

VLN の評価手法と R4R R2R では必ず最短経路に 沿うように経路指示文章が作成されているが，これ に対し，エージェントは文章中に指示された経路指示に従っているのか？という指摘が存在した [22]. この問題に対処するために，エージェントが行動終了時の予測目的位置のみを評価する課題の成功率 SR [3] だけではなく, 最短経路を基準とし長い経路への罰則を含む SPL [22], アノテートされた経路 とモデルの経路との近さを測る CLS [8] やnDTW, SDTW [23] が考案された. SPL，CLS やSDTW は，課題の成功率 SR に加えて，エージェントがどのく らい言語指示に従って行動したか，を示す指標であ る.また，R2R より長く必ずしも最短ではない経路 への指示に従う R4R データセットが作られた [8].

VLNでは，自分の位置情報を視覚情報から読み 取る必要がある一方で，目的の場所や経路は言語指示に従う必要がある。しかし，VLNにおいても，既存モデルが言語もしくは視覚いずれかの情報に頼 りすぎているのではないか，という指摘が存在した [24, 25]. 本研究では，このような問題に対処するた め，まず視覚および動作を入力とする言語モデルを 利用して指示情報を予測し, 次に言語指示に従った 動作選択を行うモデルを提案する。

VLN の現実世界への応用 また，R2R データセッ トを利用して機械学習されたモデルを，現実世界の中を移動できるロボット上にデプロイし，ロボッ トを動かすことが可能である。関連研究 [18] では, R2R における SoTA モデルであった EnvDrop[21]を，家庭用掃除ロボットに類似する小型のロボットに 搭載させ，パノラマ画像に相当する $3 \mathrm{D}$ カメラを搭載することで，現実の建物内で動作実験を行ってい る. 機械学習による VLN モデルの構築と現実世界 でのロボット等の動作との関係性は，この論文の本旨から外れるため付録にて議論する。

## 2.1 言語に対応付けられた生成的な方策

言語および視覚情報によるナビゲーション課題で は，以下のように学習パラメータ $\theta$ を最適化する：

$
\max _{\theta} \sum_{t} \log p\left(a_{t} \mid h_{t}, X\right)
$

既存手法では, この式における $p\left(a_{t} \mid X, h_{t}\right)$ を直接モデリングし, 深層学習により学習していた [3,11,12, 14, 21, 26, 27].

提案手法では，まず動作情報および視覚情報から 言語情報へと条件付き言語モデルを利用する写像変換を行い，写像変換の結果を利用して動作選択を行 うモデルを提案した. 本研究では，まず $p\left(a_{t} \mid X, h_{t}\right)$ に対し以下の式変形を行った。

$
\begin{aligned}
p\left(a_{t} \mid h_{t}, X\right) & =\frac{p\left(X \mid a_{t}, h_{t}\right) p^{\prime}\left(a_{t} \mid h_{t}\right)}{\sum_{a_{t}^{\prime} \in A_{t}} p\left(X \mid a_{t}^{\prime}, h_{t}\right) p^{\prime}\left(a_{t}^{\prime} \mid h_{t}\right)} \\
& =\frac{p\left(X \mid a_{t}, h_{t}\right)}{\sum_{a_{t}^{\prime} \in \mathscr{A S}_{t}} p\left(X \mid a_{t}^{\prime}, h_{t}\right)}
\end{aligned}
$

ここで，ある時刻 $t$ で可能な動作集合 $\mathscr{A}_{t}$ に対し， $p^{\prime}\left(a_{t} \mid h_{t}\right)=1 /\left|\mathscr{A}_{t}\right|$ という近似を用いた.これは仮想 エージェントについて，言語指示がなければどのよ うな動作を取る確率も一定であるものと解釈でき る.そして，視覚および動作情報から指示文章を 予測する，ある種の条件付き言語モデル $p\left(X \mid a_{t}^{\prime}, h_{t}\right)$ を深層学習を用いてモデルし, 式 2 に従って動作予測する手法を提案した. 既存手法のアプローチ は，動作の条件付き確率を予測する点で識別的

表 1 生成的な方策 (Gen.) と識別的な方策 (Disc.) の R2R 開発データセットによる性能比較結果. +Aug. は関連研究 [11] にて提案された拡張データの使用を示す. (A) Disc.+Aug. と (B) Gen.+Aug. を識別的および生成的な手法をあわせて用い る実験に使用する (A+B)．＊は back-tracking[26] の使用を示す．太字は単一モデルとして最良の性能を表す.

(Discriminative) な方策であり，提案手法はべイズ的 な意味で生成的 (Generative) な方策である.

最適化は以下のように行われる.

$
\max _{\theta} \sum_{t}\left(\log p\left(X \mid a_{t}, h_{t}\right)-\log \sum_{a_{t}^{\prime} \in \mathcal{A}_{t}} p\left(X \mid a_{t}^{\prime}, h_{t}\right)\right)
$

この第一項 $\log p\left(X \mid a_{t}, h_{t}\right)$ は正解動作 $a_{t}$ が与えられ た際の通常の言語モデルの学習の式と同一である が，第二項は，正解動作 $a_{t}$ を含む可能なすべての動作に対する罰則項である. 本研究では, $p\left(X \mid a_{t}, h_{t}\right)$ について, 条件付言語モデルとして学習済みのモデ ルを使用し, 式 3 によりVLNのための学習を行う.

このような定式化を採用する利点は，視覚や動作情報を条件付言語モデルを利用して言語情報と明確 に対応付け，その情報を利用して指示に従う動作を 選択することである. 既存手法のように $p\left(a_{t} \mid X, h_{t}\right)$ を直接モデリングする場合，視覚情報と言語情報の 対応付けには広く相互アテンションが用いられてき た.しかし, 相互アテンションは視覚と言語をどの ように対応付けて課題を解いているか明確でなく,片方を無視して予測を行うことも起こりうる ${ }^{4)}$. 提案手法では，条件付き言語モデル $p\left(X \mid a_{t}, h_{t}\right)$ をモデ ルに取り入れることで，まずは視覚情報及び動作情報を指示文章へ明確に結びつける必要がある． 3.3 節では，このような条件付言語モデルによる指示文章の予測スコアが，VLNの探索のために学習済みの モデル内部でどのように振る舞うか検証する。

## 3 実験

## 3.1 実験設定・モデル

VLNにて広く使われる R2R データセットにて，生成的な方策と既存手法による識別的な方策のい ずれが優れているか，比較実験を行った. 実験に

は，関連研究 D. Fried らの Speaker-follower モデル [11] と同一構造を持つニューラルネットワークを 用いた. Speaker-follower モデルは，視覚情報と言語指示を入力としナビゲーション課題を解く Follower モデルと，動作情報および動作に従った際の視覚情報から言語指示文章を生成する Speaker モデルか らなる. 特に Speaker モデルには単独で R2R ナビ ゲーション課題を解く能力はないが，D. Fried らは， Speaker モデルを R2R データセットのデータ拡張 (data augmentaton) および，ビーム探索を利用したナ ビゲーション5)結果の再ランキングに Follower と合 わせて使用した。

本研究では，このD. Fried らの Speaker モデルを言語に対応付けられる生成的な方策に用いる。画像情報の符号化には ResNet-152 [29] を使用する。また， D. Fried らの Follower モデルを，既存手法にて典型的に用いられる識別的な方策として同様に学習に 用いる。学習には PRESS [27] と同様の学習を用い る6).また，FAST [26] にて提案された，モデルエー ジェントが以前に自分が訪れた場所まで行動罰則付 きで戻る事ができる back-tracking をモデルの評価時 に採用した場合の結果を示す. Fried らによって公開されているデータ拡張された学習データが広くモ デル学習に採用されていることを考慮し, 多くの関連研究 $[11,27,26]$ と同様にこの拡張データを学習に 使用する7)．実験では，先に紹介した主な評価尺度 である SR, SPL, CLS, nDTW, SDTW に加えて，エー ジェントの平均探索距離 PL，タスク終了時の目的地への平均距離 NE を補助的に示す.

5） R2R ナビゲーション課題でビーム探索を使用することは，現実世界では同時に複数台のロボットを使用して目的位置を 探索することに相当し，あまり意味のある実験設定とは言え ないため，本論文では考察しない。

6）なお，PRESS はBERT を使用しており，本研究と同じく事前学習済みモデルを使用するモデルである.

7） EnvDrop [21] ではさらに多くの拡張データを使用している.

表 2 R2R テストセットにおける比較.太字は SR と SPL が一番目，二番目に良いモデルを示す.

図 2 トークンごとの予測エントロピー $(1-T E N T)$. 縦軸は時刻 $t$ と $1-T E N T$ の振幅を表す. 横軸は指示文章中のトー クンであり，“Take a right and walk out of the kitchen. Take a left and wait by the dining table.”に対応する.

## 3.2 実験結果

まず，R2R における生成的な方策と既存手法にお いて典型的な識別的方策との比較を，R2R の開発 データセットで行った. 結果を表 1 に示す. データ 拡張済みの学習データでは生成的な方策は識別的 な方策を常に上回ることがわかる。また，生成的な 方策と識別的な方策をモデル評価時に結合したモ デル (Gen.+Disc) はそれらをさらに上回るとともに， back-tracking [26] の使用により改善が見られる.

次にテストセットで既存手法との比較を行った。結果を表 2 に示す. 提案手法は，R2R 評価において 広く使われる SR および SPL の両方の評価尺度に $\tau$ ，先行研究と同等以上の性能を達成している.

また，R2R よりも長距離の経路指示に従う R4R で も実験を行った．結果の詳細は付録に示すが，概略 を述べると，R4R の未知セットの性能にて生成的な 方策は識別的な方策を常に上回り，提案手法は CLS にて先行研究と同等以上の性能を達成した.

## 3.3 言語に対応付けられた説明性

最後に，提案手法による言語予測スコアが，各時刻でのエージェントの動作決定にどのような影響を 及ぼしているのか検証するため，トークンごとの予測エントロピー (TENT)を導入した. TENT は，あ
るトークンの予測スコアが動作の集合の中でどの くらい変化するかエントロピーを用いて導出して おり，1-TENT が大きいトークンほど，動作予測 に大きな影響を持つと考えられる．紙面の制約で $1-T E N T$ 導出の詳細は付録に記す. 図 2 は，既知評価セットのデータ例について，1-TENT を図示 したものである. 動作の開始時 $(t \sim 0)$ には，トーク ン予測が安定しない性質がある（グラフ振幅が大き い）ものの，各時刻において，予測の要となりやす いトークンが視覚化されており，例えば， $t=3$ で は, “take a left” の “left” という単語予測スコアが,動作選択の決め手になったことを示唆している.

## 4 結論

視覚と言語によるナビゲーションは，人間の知覚環境に近い仮想環境上で機械学習を行う革新的な課題であるが，しかし，言語と視覚やその他の情報が どのように対応付けられているか，既存手法では明 らかではない側面があった．提案手法のアプローチ が，このように視覚と言語，動作など複数のモダリ ティを結合するシステムを作成するための重要な示唆となることを願ってやまない。

謝辞 本研究は JST ACT-I，JPMJPR17U8 および JST さきがけ，JPMJPR20C2 の支援を受けた．NYU 訪問 につき関根聡先生および関係する皆様に感謝する。

## 参考文献

[1] Terry Winograd. Procedures as a representation for data in a computer program for understanding natural language. 1971.

[2] Yi Wu, Yuxin Wu, Georgia Gkioxari, and Yuandong Tian. Building generalizable agents with a realistic and rich $3 \mathrm{~d}$ environment. arXiv preprint arXiv:1801.02209, 2018.

[3] Peter Anderson, Qi Wu, Damien Teney, Jake Bruce, Mark Johnson, Niko Sünderhauf, Ian Reid, Stephen Gould, and Anton van den Hengel. Vision-and-Language Navigation: Interpreting visuallygrounded navigation instructions in real environments. In Proceedings of the IEEE CVPR, 2018.

[4] Abhishek Das, Samyak Datta, Georgia Gkioxari, Stefan Lee, Devi Parikh, and Dhruv Batra. Embodied Question Answering. In Proceedings of the IEEE CVPR, 2018.

[5] Erik Wijmans, Samyak Datta, Oleksandr Maksymets, Abhishek Das, Georgia Gkioxari, Stefan Lee, Irfan Essa, Devi Parikh, and Dhruv Batra. Embodied Question Answering in Photorealistic Environments with Point Cloud Perception. In Proceedings of the IEEE CVPR, 2019.

[6] Howard Chen, Alane Suhr, Dipendra Misra, Noah Snavely, and Yoav Artzi. Touchdown: Natural language navigation and spatial reasoning in visual street environments. In Proceedings of the IEEE/CVF CVPR, June 2019.

[7] Khanh Nguyen and Hal Daumé III. Help, anna! visual navigation with natural multimodal assistance via retrospective curiosityencouraging imitation learning. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 684-695, Hong Kong, China, November 2019.

[8] Vihan Jain, Gabriel Magalhaes, Alexander Ku, Ashish Vaswani, Eugene Ie, and Jason Baldridge. Stay on the path: Instruction fidelity in vision-and-language navigation. In Proceedings of the 57th Annual Meeting of the ACL, pp. 1862-1872, Florence, Italy, July 2019.

[9] Mohit Shridhar, Jesse Thomason, Daniel Gordon, Yonatan Bisk, Winson Han, Roozbeh Mottaghi, Luke Zettlemoyer, and Dieter Fox. ALFRED: A Benchmark for Interpreting Grounded Instructions for Everyday Tasks. In The IEEE CVPR, 2020

[10] Manolis Savva*, Abhishek Kadian*, Oleksandr Maksymets*, Yili Zhao, Erik Wijmans, Bhavana Jain, Julian Straub, Jia Liu, Vladlen Koltun, Jitendra Malik, Devi Parikh, and Dhruv Batra. Habitat: A Platform for Embodied AI Research. In Proceedings of the IEEE/CVF ICCV, 2019.

[11] Daniel Fried, Ronghang Hu, Volkan Cirik, Anna Rohrbach, Jacob Andreas, Louis-Philippe Morency, Taylor Berg-Kirkpatrick, Kate Saenko, Dan Klein, and Trevor Darrell. Speaker-follower models for vision-and-language navigation. In Advances in Neural Information Processing Systems 31, pp. 3314-3325. Curran Associates, Inc., 2018.

[12] Chih-Yao Ma, Jiasen Lu, Zuxuan Wu, Ghassan AlRegib, Zsolt Kira, Richard Socher, and Caiming Xiong. Self-monitoring navigation agent via auxiliary progress estimation. In 7th International Conference on Learning Representations, ICLR 2019, New Orleans, LA, USA, May 6-9, 2019. OpenReview.net, 2019.

[13] Xin Wang, Wenhan Xiong, Hongmin Wang, and William Yang Wang. Look before you leap: Bridging model-free and model-based reinforcement learning for planned-ahead vision-andlanguage navigation. In ECCV, September 2018.

[14] Xin Wang, Qiuyuan Huang, Asli Çelikyilmaz, Jianfeng Gao, Dinghan Shen, Yuan-Fang Wang, William Yang Wang, and Lei Zhang. Reinforced cross-modal matching and self-supervised imitation learning for vision-language navigation. In IEEE Conference on Computer Vision and Pattern Recognition, CVPR 2019, Long Beach, CA, USA, June 16-20, 2019, pp. 6629-6638. Computer
Vision Foundation / IEEE, 2019

[15] Weituo Hao, Chunyuan Li, Xiujun Li, Lawrence Carin, and Jianfeng Gao. Towards learning a generic agent for vision-andlanguage navigation via pre-training. Vol. abs/2002.10638, 2020.

[16] Wang Zhu, Hexiang Hu, Jiacheng Chen, Zhiwei Deng, Vihan Jain, Eugene Ie, and Fei Sha. Babywalk: Going farther in vision-and-language navigation by taking baby steps. CoRR, Vol. abs/2005.04625, , 2020.

[17] Jun Hatori, Yuta Kikuchi, Sosuke Kobayashi, Kuniyuki Takahashi, Yuta Tsuboi, Yuya Unno, Wilson Ko, and Jethro Tan. Interactively picking real-world objects with unconstrained spoken language instructions. In Proceedings of ICRA, 2018.

[18] Peter Anderson, Ayush Shrivastava, Joanne Truong, Arjun Majumdar, Devi Parikh, Dhruv Batra, and Stefan Lee. Sim-to-real transfer for vision-and-language navigation. In CoRL, 112020.

[19] Ludwig Wittgenstein. Philosophische untersuchungen. 1953.

[20] Angel Chang, Angela Dai, Thomas Funkhouser, Maciej Halber, Matthias Niessner, Manolis Savva, Shuran Song, Andy Zeng, and Yinda Zhang. Matterport3D: Learning from RGB-D data in indoor environments. International Conference on 3D Vision (3DV), 2017.

[21] Hao Tan, Licheng Yu, and Mohit Bansal. Learning to navigate unseen environments: Back translation with environmental dropout. In Proceedings of the 2019 Conference of the NAACL, Volume 1 (Long and Short Papers), pp. 2610-2621, Minneapolis, Minnesota, June 2019

[22] Peter Anderson, Angel X. Chang, Devendra Singh Chaplot, Alexey Dosovitskiy, Saurabh Gupta, Vladlen Koltun, Jana Kosecka, Jitendra Malik, Roozbeh Mottaghi, Manolis Savva, and Amir Roshan Zamir. On evaluation of embodied navigation agents. ArXiv, Vol. abs/1807.06757, , 2018.

[23] Gabriel Ilharco, Vihan Jain, Alexander Ku, Eugene Ie, and Jason Baldridge. General evaluation for instruction conditioned navigation using dynamic time warping. In Visually Grounded Interaction and Language (ViGIL), NeurIPS 2019 Workshop, Vancouver, Canada, December 13, 2019, 2019.

[24] Ronghang Hu, Daniel Fried, Anna Rohrbach, Dan Klein, Trevor Darrell, and Kate Saenko. Are you looking? grounding to multiple modalities in vision-and-language navigation. In Proceedings of the 57th Annual Meeting of the ACL, pp. 6551-6557, Florence, Italy, July 2019.

[25] Jesse Thomason, Daniel Gordon, and Yonatan Bisk. Shifting the baseline: Single modality performance on visual navigation \& QA. In Proceedings of the 2019 Conference of the NAACL, Volume 1 (Long and Short Papers), pp. 1977-1983, Minneapolis, Minnesota, June 2019.

[26] Liyiming Ke, Xiujun Li, Yonatan Bisk, Ari Holtzman, Zhe Gan, Jingjing Liu, Jianfeng Gao, Yejin Choi, and Siddhartha Srinivasa. Tactical rewind: Self-correction via backtracking in vision-andlanguage navigation. In The IEEE CVPR, June 2019.

[27] Xiujun Li, Chunyuan Li, Qiaolin Xia, Yonatan Bisk, Asli Celikyilmaz, Jianfeng Gao, Noah A. Smith, and Yejin Choi. Robust navigation with language pretraining and stochastic sampling. In Proceedings of the 2019 Conference on EMNLP-IJCNLP, pp. 1494-1499, Hong Kong, China, November 2019.

[28] Sarah Wiegreffe and Yuval Pinter. Attention is not not explanation. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 11-20, Hong Kong, China, November 2019. Association for Computational Linguistics.

[29] Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deep residual learning for image recognition. In 2016 IEEE Conference on Computer Vision and Pattern Recognition, CVPR 2016, Las Vegas, NV, USA, June 27-30, 2016, pp. 770-778. IEEE Computer Society, 2016.

表 3 生成的な方策 (Gen.) と識別的な方策 (Disc.) の R4R データセットにおける性能比較.太字は未知データセットにて CLS，nDTW，SDTW が一番目，二番目に良いモデルを示す.

## A 付録

## A. 1 機械学習による VLN モデルの構築と，現実世界でのロボット等の動作との関係性

VLNにより学習されたモデルは，現実世界のロボットにデプロイすることが可能である．関連研究 [18] は，R2R のように予め経路グラフが作成されアノテーションされた状態で，仮想環境上で $55.9 \%$ という SR に対し，現実世界で $46.8 \%$ という SRを達成している。 さらに驚くべきことに，事前に収集されたマップ情報 がない場合でも， $22.5 \%$ という SRを達成している. マップ情報が存在しない場合，関連研究 [18] では，自己 の近傍位置からエージェントの次の移動可能な方向を予測する subgoal モジュールおよび $\left.\mathrm{SLAM}^{8}\right)$ と同時に 機械学習モデルである VLN エージェントを使用することで，移動可能な方向を導出し，実際の移動を可能 にしている。また，Matterport3D 環境と，実際にロボットを動かすための ROS シミュレータ上での精度が， EnvDrop モデル [21] における実験で 1\%以内で一致したという.

## A. 2 R4Rによる実験結果

表 3 は R4R における実験結果を示す．R4R では，経路上での単純な教師あり学習 (supervised) と，言語指示された経路に沿う形での学習 (fidelity-oriented) の 2 つのモデル学習を，識別的 (Disc.) および生成的 (Gen.) な方策の双方に対し行った。なお，R4R データセットにはテストセットが存在しないため，既知 (seen) 開発 セットと未知 (unseen) 開発セットでの結果を示す. R4R の既存手法では SR が高いわりに CLS や SDTW が低 いものも存在し，これは指示文書にて示された経路に従わずに目的位置を探索している可能性を示唆する.提案手法は一般に未知データセットにおけるスコアが高く，学習環境に過適合しにくい可能性がある.

## A. 3 言語に対応付けられた説明性

本論文では，言語モデルに与えられる動作入力に応じて，言語モデルの予測がどのように変化するかを 可視化するため，トークンごとの予測エントロピー (TENT) を提案した. 指示文章 $X=\left[w_{1}, \cdot, w_{k}, \cdot\right]$ に対し， $T E N T=S\left(w_{k}\right)$ は以下のように定義され， $S\left(w_{k}\right) \in[0,1]$ を満たす.

$
\begin{gathered}
S\left(w_{k}\right)=-\sum_{a_{t} \in \mathcal{A}} q\left(a_{t}, w_{k}\right) \log _{|\mathscr{A}|} q\left(a_{t}, w_{k}\right), \\
q\left(a_{t}, w_{k}\right)=\frac{p\left(w_{k} \mid a_{t}, h_{t}, w_{: k-1}\right)}{\sum_{a_{t} \in \mathcal{A}_{t}} p\left(w_{k} \mid a_{t}, h_{t}, w_{: k-1}\right)} .
\end{gathered}
$

式 5 はトークン予測スコアの動作集合による正規化を行っている. ここで， $\sum_{a_{t} \in A_{t}}$ は，ある時刻 $t$ での可能 な動作集合 $A_{t}$ 要素全てに対する和であることを思い起こすと，このトークンごとの予測エントロピーは， そのトークン予測スコアが動作入力に応じてどのように変化するかを示す指標となる．さらに，可視化の都合上，1-TENTを考えると，1-TENT が大きいトークンほど，動作予測に大きな役割を持つと考えられる.


# 文脈を考慮した句の平易化

河原井 翼
北陸先端科学技術大学院大学
s1910074@jaist.ac.jp

## 1 はじめに

テキストの平易化は，文もしくは文章を同じ意味 を持つ易しい表現に言い換える技術である。難解な テキストを子供や日本語を母語としない人にも理解 しやすいようなテキストに直すなど，多くの応用場面がある。2 節で論じるように，日本語を対象とし た平易化の先行研究の多くは単語の言い換えを対象 としていた。すなわち, 文中に出現する難しい単語 を同じ意味を持つ易しい単語に置き換える。しかし ながら，人が文を易しく言い換える際には，句，節， あるいは文全体を言い換えることもあり，単語単位 の言い換えだけでは不十分である。本研究では，句 を単位にテキストを平易化する手法を探究する [1]. ただし, 平易化の対象とする句は，連続する「名詞助詞-動詞」という単語列に限定する。句を単位と した言い換えにより, 多様な平易化テキストを生成 することを狙う。さらに，文脈を考慮して難解な句 を平易な句に適切に言い換える手法を探究する。

## 2 関連研究

梶原と山本は, 国語辞典の語釈文から平易な単語 の言い換えルールを獲得することで, 小学生のため の文書読解支援に向けたテキストの平易化を実現し ている [2]. 言い換え後の平易な単語を選択するた めの様々な手法を比較し, シソーラスに基づく単語 の類似度を用いた平易化が最も良いと結論づけてい る. Kriz らは, 語彙的特徴と文脈的特徴を利用した 難解語抽出モデルによって難解語を検出し，文脈を 考慮した平易な単語への言い換えモデルを実現して いる [3]. 文脈を考慮することで従来手法よりも高 い精度で難解語を抽出でき，また文脈に応じた好ま しい言い換えが実現できることを示した，梶原と小町は，難解なテキストと平易なテキストからなるパ ラレルコーパスを自動構築し，これを訓練デー夕と して難解なテキストを平易なテキストに翻訳するモ デルを学習することで平易化を実現している [4].

\author{
白井 清昭 \\ 北陸先端科学技術大学院大学 \\ kshirai@jaist.ac.jp
}

先行研究 $[2,3]$ は, 単語単位の言い換えを実現す る手法であり、句を対象とした平易化ではない. 先行研究 [4] は文全体を言い換えるモデルであり，単語だけでなく句の言い換えも含まれるが，ユーザの 要求に応じて平易化する句としない句を分けると いった調整が難しい. これらに対し, 本研究では,単語や文ではなく難解な句を入力として，これを平易な句に言い換える手法を探究する。

## 3 提案手法

## 3.1 概要

ある文脈に「 $N-P-V\lrcorner と い う$ 句が出現するとき，こ れを平易かつ同じ意味を持つ別の句に言い換える. ここで $N$ は名詞， $P$ は助詞， $V$ は動詞である。平易化の際には文脈を考慮する。すなわち，句 $N-P-V$ を 言い換えたとき，それを含む元の文の意味が変わつ たり不自然にならないことに留意する。

言い換えは以下の 3 種類の手法で実現する。

-名詞のみの言い換え 名詞 $N$ をより平易な別の名詞に言い換える。 (例) 果敢-に-挑む $\rightarrow$ 積極的-に-挑む

$\cdot$動詞のみの言い換え 動詞 $V$ をより平易な別の動詞に言い換える。 (例) 果敢-に-挑む $\rightarrow$ 果敢-に-挑戦する
- 名詞，動詞の言い換え

$N, V$ ともに平易な別の単語に言い換える。

(例) 果敢-に-挑む $\rightarrow$ 積極的一に-挑戦する

これらの手法で生成した言い換え候補のそれぞれ について，その妥当性をスコア付けし，最終的に最適なものをひとつ選択する。

## 3.2 平易言い換え単語対の収集

名詞もしくは動詞を平易に言い換えるため，難解語と平易語の組から構成される平易言い換え単語対 のデータベースを用意する。データベースは以下の

2つの辞書を用いて構築する.
- SNOW D2: 内容語換言辞書 [5]

形態素解析ツール Juman の内容語辞書項目を 人手で言い換えた辞書.この辞書では, 言い換 え後の単語は必ずしも言い換え前よりも平易で はない。そこで, 日本語教育語彙表 [6] を参照 し, 言い換え前, 後の語が日本語教育語彙表に 揭載されていて，かつ言い換え後の単語のレべ ルが言い換え前の単語のレベルよりも低い組を 選別する。言い換え対の数は 1,734 である。
- Simple PPDB : Japanese [7]

日本語単語の平易な言い換え辞書. 難解語,平易語, 難解語・平易語の難易度, 言い換え確率の組から構成される。本研究では, 言い換え 確率が 0.1 以上のデータを選別して使用する. また，前述の SNOW D2 にあわせて，難易語，平易語がともに日本語教育語彙表に掲載されて いて，かつ言い換え後のレベルが低い組を選別 する。言い換え対の数は 10,351 である.

## 3.3 平易化する句の検出

与えられた文の形態素解析を行う。形態素解析 ツールとして MeCab[8], 辞書として mecab-ipadicNEologd[9]を用いる. 次に, 名詞, 助詞, 動詞の連続を句として抽出する. この際, 動詞は基本形に変換する，名詞，動詞がともに平易言い換え単語対 データベースの難解語として登録されているとき,平易化の対象句とする.

## 3.4 平易句のスコア付け

平易化の対象句 $P h=N-P-V$ に対し, 平易言い換 え単語対データベースを用いて, 名詞のみ, 動詞の み，名詞と動詞の両方を別の単語に言い換えて，言 い換え後の平易句の候補 $P h_{i}^{\prime}=N_{i}^{\prime}-P-V_{i}^{\prime}$ を得る. $P h_{i}^{\prime}$ のそれぞれのスコアを計算し，それが最大となる $P h_{i}^{\prime}$ を選択する，スコアは 2 の観点から算出する。 ひとつは, 正確性, すなわち言い換え前後で意味を 保持しているかどうかという観点, もうひとつは流暢性，すなわち言い換え後の句がどれだけ自然な句 であるかという観点である.

## 3.4.1正確性のスコア

$S$ を元の句 $P h$ を含む文, $S_{i}^{\prime}$ を $P h$ を $P h_{i}^{\prime}$ に言い 換えた後の文とする，正確性 (faithfulness) のスコア $F A\left(P h_{i}^{\prime}\right)$ を式 (1)のように定義する.

$
F A\left(P h_{i}^{\prime}\right)=\cos \left(\vec{S}, \vec{S}_{i}^{\prime}\right)
$

$\vec{S}, \vec{S}_{i}^{\prime}$ は文 $S, S_{i}^{\prime}$ の分散表現, $\cos$ はコサイン類似度 である。すなわち, 平易化前の文と後の文の分散表現が似ているほど，Phí正確性は高いとみなす.言い換え対象の句だけでなくそれを含む文全体の類似度を考慮することで，言い換え後の平易句が文脈 に沿って適しているかを評価する。

文の分散表現は Sentence BERT[10] を用いて得る.

Sentence BERT は, 事前学習した BERT(Bidirectional Encoder Representationsfrom Transformers)[11] を基に， Siamese Network を用いた fine-tuning によって文の 分散表現を学習するモデルである。本研究では Sentence BERT 日本語モデル [12]を利用する.

## 3.4.2 流暢性のスコア

言い換え後の句 $P h_{i}^{\prime}$ の流暢性 (fluency) のスコア $F L\left(P h^{\prime}\right)$ を式 (2)のように定義する.

$
F L\left(P h_{i}^{\prime}\right)=\frac{\operatorname{count}\left(P h_{i}^{\prime}\right)}{\sum_{j} \operatorname{count}\left(P h_{j}\right)}
$

式(2)の分子は句 $P h_{i}^{\prime}$ のコーパスにおける出現頻度,分母は全ての句の出現頻度の和である。すなわち,句 $P h_{i}^{\prime}$ がコーパスによく出現するほど，その句は自然な句であるとみなす。

句の出現頻度 $\operatorname{count}\left(P h_{j}\right)$ は京都大学格フレーム Ver 2.0 を用いて算出する. このデータはウェブから 収集した日本語 100 億文から自動構築した格フレー ムであり, 用言と格要素の頻度, すなわち $N-P-V$ と いう句の頻度の情報も付与されている. 本研究では $N-P-V$ の頻度をそのまま $\operatorname{count}\left(P h_{j}\right)$ として用いる.

## 3.4.3 平易句のスコアの定義

最終的に句のスコアは $F A\left(P h^{\prime}\right)$ と $F L\left(P h^{\prime}\right)$ の対数の重み付き和で算出する。この際, 式 (3) と (4)の 2 通りのスコアを提案する。

$
\operatorname{Score} 1\left(P h_{i}^{\prime}\right)=\alpha \log F A\left(P h_{i}^{\prime}\right)+\log F L\left(P h_{i}^{\prime}\right)
$

正確性のスコア $F A\left(P h_{i}^{\prime}\right)$ は言い換え前後の文の分散表現のコサイン類似度なので，多くは 1 に近い値を 取るのに対し, 流暢性のスコア $F L\left(P h_{i}^{\prime}\right)$ は句の相対出現頻度であるため, $1.0 \times 10^{-8}$ 付近の小さい値を 取る. Score 1 では, パラメ夕 $\alpha$ は両者のスケールを 合わせるために用いる．正確性と流暢性のスコアを 同程度に評価することに注意していただきたい.
$\alpha$ は次のように決める. 4.1 項で後述する開発 データ (元の句とそれを平易化した句の集合) におけ る全ての事例について $F A\left(P h^{\prime}\right), F L\left(P h^{\prime}\right)$ を算出し， それぞれの中央値 $M e_{f a}$ と $M e_{f l}$ を求め, $\alpha=\frac{M e_{f l}}{M e_{f a}}$ とする.

$\operatorname{Score} 2\left(P h_{i}^{\prime}\right)=\beta \alpha \log F A\left(P h_{i}^{\prime}\right)+(1-\beta) \log F L\left(P h_{i}^{\prime}\right)$

Score 2 におけるパラメ夕 $\alpha$ は, Score 1 と同様に，2 つのスコアのスケールを合わせるためのものであ り，前述のように開発デー夕を用いて決める。一方，パラメ夕 $\beta$ は, 正確性と流暢性のスコアに対す る重み付けである。

## 3.5 句の選択

予備実験では, 式 (3) または (4) が最大となる句を 選択したところ, 名詞と動詞の両方を言い換える句 よりも，名詞もしくは動詞のいずれかを言い換えた 句が多く選ばれる傾向が見られた。これは，正確性 のスコアFA は言い換え前後の文の類似度なので，単語を 2 つ置換した場合よりも 1 つだけ置換した 場合の方が高くなる傾向があるためと考えられる。一方, 本研究の目的は句を対象とした言い換えであ り，名詞と動詞の両方を言い換えた句をできるだけ 生成したい。そこで，以下の方式により言い換え候補の中から句を選択する。

1. 名詞と動詞の両方を言い換えた平易句のスコア の値が間値 $T$ よりも大きいとき，つまり平易化 された句として妥当である可能性が高いとき， それを選択する。

2. そのような句がないとき，全ての候補の中から スコアが最大のものを選択する。

閾値 $T$ は Score 1 と Score 2 とで個別に設定する. 設定方法については 4.2 項で述べる.

## 4 評価実験

## 4.1 データセット

まず，開発デー夕を作成した。毎日新聞の 2013 年の記事から， 3.3 項で述べた手法を用いて平易化 の対象とする句，およびそれを含む文を 500 件抽出 した。これらの句を提案手法によって平易な句に言 い換えた。さらに，正確性を満たすか否か，自然さ を満たすか否か，(両者を考慮して) 平易句として妥当であるか否か，を人手で判定した。この開発デー夕は，パラメータ $\alpha や T$ の最適化に用いた。

次に，評価デー夕を作成した。毎日新聞の 2013 年の記事から平易化の対象とする句を 100 件抽出 した。これらは開発データとは異なる句を選んだ。評価デー夕に対し, 著者 2 名が独立して以下のアノ テーションを行った。

・元の句 $P h$ を含む文，およびそれを平易句の候補 $P h_{i}^{\prime}$ に置き換えた文を全て提示し，その中か ら平易な言い換えとして最も適切なものを選ん だ。ここで最も適切な平易句とは，子供や日本語を非母語話者とする人に最もわかりやすい表現とした。
- 提案手法によって生成された平易句 ${ }^{11}$ に対し,平易さ (元の句と比べて易しくなっているか),意味の保持 (元の句と比べて意味が変わってい ないか), 自然さ (言い換え後の文が自然か) とい う 3 つの観点から，1５までの評点をつけた。

## 4.2 パラメータの決定

3.4.3で述べたパラメータ $\alpha$ の決定について述べ る。開発デー夕に対して生成された全ての平易句の 候補についての $\log F A\left(p h_{i}^{\prime}\right)$ と $\log F L\left(p h_{i}^{\prime}\right)$ の中央値 は, $M e_{f a}=-0.0111, M e_{f a}=-16.9$ となった. これ に従い, $\alpha=\frac{M e_{f l}}{M e_{f a}}=\frac{-16.9}{-0.0111}=1.54 \times 10^{3}$ と決めた.

3.5 項で述べた，名詞，動詞の両方を言い換えた 平易句を優先して選択するための閾値 $T$ の決定に ついて述べる，基本的に，閾値 $T$ は，生成した平易句が適切である可能性が高いスコアの値を設定 する．Score1を用いるとき，開発デー夕において，正確性のスコアが閾値 $t$ のときに平易句が正確性 を満たすと判定したとき， $t$ を X 軸，判定精度を $\mathrm{Y}$軸としたグラフを得る (図 1(a)). 同様に，流暢性に ついて閾値 $t$ を変化させたときの判定精度の変化 も調べる (図 1(b))。これらの精度は, 開発デー夕の うち名詞，動詞を両方言い換えた句が選択された データのみを使用して算出する。こ机 2 つのグラ フでは，閾値 $t$ をきくすると精度が高くなる傾向が見られる，精度が十分に大きいとき，具体的 には図 1(a) で精度が 0.7 になるときの閾値 $T_{f a}$ は 0.994, 図 1(b) で精度が 0.8 になるときの閾値 $T_{f l}$ は $2.33 \times 10^{-7}$ であった.これらを式 (3) に当てはめ, $T=\alpha \times \log T_{f a}+\log T_{f l}=-24.5$ と設定した.

同様に，Score2を用いて句を選択する際の閾値

(a) 正確性

(b) 流暢性

図 1 開発データにおける平易句判定の精度 (Score 1)

図 2 開発デー夕における平易句判定の精度 (Score 2)

$T$ を決定する. 開発データにおいて, 式 (4) に示す Score 2 の値が閾値 $t$ を越えたときに平易句が妥当 であると判定したとき， $t$ を X 軸，判定精度を $\mathrm{Y}$ 軸 としたグラフを図 2 に示す. $\beta=0.25,0.5,0.75$ のそ れぞれについて，精度が 0.65 に達したときの閾値 $-15.5,-16.0,-14.0$ を $T$ と設定した。

## 4.3 実験結果と考察

提案手法では，複数の平易句の候補の中からスコ ア付けに基づいて平易句をひとつ選択するが，この 性能を評価する。具体的には, システムが選択した 平易句が人手でよって選択された正解とどれだけ一致しているかを正解率と定義し，これを測る。表 1 は, スコア付けとして正確性のスコア $F A\left(P h_{i}^{\prime}\right)$ の み, 流暢性のスコア $F L\left(P h_{i}^{\prime}\right)$ のみ, 両方 (Score 1 ま たはScore2)を用いたシステムについて，2 名の評価者を正解としたときの正解率を示している.

表 1 平易句の選択手法の評価 (正解率)

正確性あるいは流暢性のスコアのみを使用したと きよりも，両方を考慮したスコア (Score 1 や Score2) の方が正解率が高い傾向が見られる. 特に評価者 2 についてその傾向が顕著である. Score 1 と Score 2 を比較すると，Score 2 の正解率は Score 1 よりも同等もしくはそれ以上であることから，Score2 の方が 適切な平易句を選択するのに適していると言える. Score2における異なる $\beta$ の比較については, 評価者 1 と評価者 2 で優劣の傾向が異なるため, どれが最適を決めることはできない. $\beta$ の最適化は今後の課題である.

この実験では複数の平易句の中から最良のものを 選択しているが，スコアが最大の平易句ではなくて も易しい言い換えとして妥当な句が生成されている ことも多く, 何が最良の平易句なのかは判断が難し い. 評価者 1 と評価者 2 で同じ平易句を選択した割合は 0.61 であり, 決して高くはない. 提案システム の最高の正解率は 0.51 であり，二者の判定の一致率 の $84 \%$ に達している.

提案手法によって生成された平易句を「平易さ」「意味の保持」「自然さ」の観点から評価した結果を 表 2 に示す。どの観点についても，おおむね評点は 4 点以上であり, ある程度品質の高い平易句が生成 されていることを確認した。また，表 1 の正解率が 全般的に低いのに対し, 表 2 の評点が比較的高いの は，既に述べたように，システムが選択した平易句 が人手で選ばれた平易句と一致していなくても妥当 であるとみなせる場合が多かったためである.

表 2 平易句の品質評価

## 5 おわりに

本論文は，名詞-助詞-動詞という句を平易に言い 換える手法を提案し，その有効性を実験により示し た. 今後は，正確性や流暢性を測る指標を洗練し， より適切に平易句を生成する手法を探究したい. 特 に，現時点での流暢性は句の出現頻度だけを指標と しており，平易化した句に置き換えた文全体がどれ だけ自然かを評価するように改善するべきである。

2）閾値 $T$ の決め方が異なるため, Score 1 と $\operatorname{Score} 2(\beta=0.5)$ は同じシステムではない.

## 参考文献

[1]河原井翼. 句の言い換えによるテキストの平易化. 修士論文, 北陸先端科学技術大学院大学, 3 2021.

[2]梶原智之, 山本和英. 語釈文を用いた小学生のた めの語彙平易化. 情報処理学会論文誌, Vol. 56, No. 3, pp. 983-992, 2015.

[3]Reno Kriz, Eleni Miltsakaki, Marianna Apidianaki, and Chris Callison-Burch. Simplification using paraphrases and context-based lexical substitution. In Proceedings of the Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 207-217, 2018.

[4]梶原智之, 小町守. 平易なコーパスを用いないテ キスト平易化. 自然言語処理, Vol. 25, No. 2, pp. 223-249, 2018.

[5]山本和英, 吉倉孝太郎. 用言等換言辞書を人手で 作りました. 言語処理学会第 19 回年次大会, pp. 276-279, 2013.

[6]日本語教育表 ver 1.0. http://jhlee.sakura.ne.jp/ JEV.html. (2020 年 12 月閲覧).

[7]梶原智之, 小町守. Simple PPDB: Japanese. 言語処理学会第 23 回年次大会, pp. 529-532, 2017.

[8]MeCab: Yet another part-of-speech and morphological analyzer. http://taku910.github.io/mecab/.

[9]佐藤敏紀, 橋本泰一, 奥村学. 単語分かち書き辞書 mecab-ipadic-NEologd の実装と情報検索にお ける効果的な使用方法の検討. 言語処理学会第 23 回年次大会, pp. 875-878, 2017.

[10]Nils Reimers and Iryna Gurevych. Sentence-BERT: Sentence embeddings using Siamese BERT-networks. In Proceedings of the Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3973-3983, 2019.

[11]Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 4171-4186, 2019.

[12]園部勲. Sentence BERT 日本語モデル. https:// qiita.com/sonoisa/items/1df94d0a98cd4f209051. (2020 年 12 月閲覧).