# Masked Image Modeling を利用した情景画像中のテキスト認識

三ツ井悠翔 宮崎智 大町真一郎
東北大学大学院
yuto.mitsui.s1@dc.tohoku.ac.jp tomo@tohoku.ac.jp
shinichiro.omachi.b5@tohoku.ac.jp

## 概要

既存のテキスト認識手法は実世界におけるデータ セットのサンプル数が少ないため，合成データセッ トを用いて学習がされているが、実世界で発生する 問題に対応できない。そこで，ラベルがない実画像 の利用によってテキスト認識モデルの可能性を引 き出すことが考えられており，テキスト認識に対す る自己教師あり学習手法が検討されている。本研究 では、Masked Image Modeling を利用し、文脈情報を 考慮した新たなマスキング戦略を提案した。実験の 結果，提案するマスキング戦略の有効性が実証さ れた。

## 1 はじめに

情景画像中のテキスト認識は自然なシーンにおけ るテキストの読み取りを目標としており，幅広い応用が存在するため重要なタスクとなっている. 光学式文字認識 (OCR) の分野は大きく発展したが，実世界で発生するフォントや文字の形，撮影環境による 問題によって，情景画像中のテキスト認識は現在も 難しいタスクとなっている．既存のテキスト認識手法の多くは実世界におけるデータセットのサンプル 数が少ないため，大規模な合成データセットを用い て学習がされている。しかし，実データと合成デー タのドメインギャップにより，実世界で発生する問題に対応できない．そこで，アノテーションされて いない実画像の利用によってテキスト認識モデルの 可能性を引き出すことが考えられており，テキスト 認識に対する自己教師あり学習手法が検討されて いる.

これまでの研究では, Contrastive Learning (対照学習）の導入が試みられている. SeqCLR[1]は，テキ スト認識のための sequence-to-sequence 対照学習手法 を提案した. PerSec[2] はテキスト認識のための階層的な対照学習手法を提案した。自然言語処理では，BERT[3] が Masked Language Modeling (MLM) による大きな成功を収めている.画像分野では BERT に触発され，データの一部を削除し，削除した部分を復元する考え方を画像に適用 した Masked Image Modeling (MIM) が提案されてい る. 2 つの手法は類似しており，PIXEL[4] は文をテ キスト画像に変換し，MIM を用いることで BERT と 同程度の結果を出している。

本研究では，MIM をテキスト認識に適用し，単語 の文脈情報を反映した自己教師あり事前学習を行 うことを目的としている. 特に，MIM 手法として Masked AutoEncoder (MAE)[5] を利用し，マスキング 戦略に対して変更を行った。具体的には，横方向に は，ランダムなスパンに対してマスキングを行い，縦方向には一様なマスキングを行う．ランダムマス キングよりも，意味のある単位（文字や複数文字） をマスクすることで，抽象度の高いモデルを作るよ うな効果があると考えられる．提案するスパンマス キングで事前学習を行うとランダムマスキングより も $0.8 \%$ 以上高い正解率が得られた。本論文の貢献 は以下の 3 点である.

1. テキスト認識に対して初めて MAEを利用した 事前学習を行った。

2. 文脈情報を考慮した新たなマスキング戦略を提案した。

3. 提案手法によって事前学習し，テキスト認識で のファインチューニングを行ったところ，事前学習無しの場合よりも $2.7 \%$, 他のマスキング戦略よりも $0.8 \%$ 高い正解率を達成した。

## 2 関連研究

## 2.1 Masked Image Modeling(MIM)

MIM は自然言語処理における MLM の発展とと もに，近年発展している．MIM 手法の一つである

MAE はマスクされていない画像パッチに対しての み動作するエンコーダと潜在表現とマスクトークン から元の画像を構成する軽量なデコーダを用いて，入力画像の $75 \%$ という高い割合でマスクを行うこ とで有効な事前学習ができることを可能にした.

本研究では，自己教師あり学習手法である MIM に着目し, 計算効率と有効性の観点から MAEを事前学習に用いる.

## 2.2 自己教師ありテキスト認識

提案されている自己教師ありテキスト認識手法は, Sequence-to-Sequence モデルに基づいている. SeqCLR[1] は, テキスト認識のための対照学習手法 を提案した。この手法では，順序に関する情報を維持したまま，シーケンスの個々の要素に対照学習を 適用することができる. PerSec[2] もテキスト認識の ための対照学習を提案している. 提案された手法 は, 特徴量の各要素を高レベルと低レベルで比較す る階層的な対照学習を行っている.

このようなテキスト認識における対照学習手法の 成功に対して、本研究では MIM 手法を活用し, そ の有効性について検討している。

## 3 方法

## 3.1 Masked Autoencoder

本研究では，自己教師あり事前学習として MIM 手法である Masked Autoencoder(MAE)[5]を利用して おり, 以下の 4 つの主要な要素から構成されている.

スパンマスキング 画像を非重複パッチに分割 し，一部のパッチをマスクする (除去). マスキン グの方法として本研究で提案するスパンマスキン グと MAE で用いられているランダムマスキングを 用いた. ランダムマスキングは一様分布に従ってラ ンダムなマスクを生成する。一方，スパンマスキン グはテキスト画像が水平方向に対してのみ文脈情報を保持していると仮定し, 文脈情報を考慮して垂直方向と水平方向で異なるマスキングを行う. 垂直方向に関しては文脈情報を持たないため，一様なマ スクを生成する. 水平方向は文脈情報を持つため, PIXEL[4] のマスキング戦略を利用し, 意味のある単位でマスクを生成する，具体的には，スパン間にい くつかのマスクされていないパッチを残しながら，最大 $S=6$ パッチの連続画像スパンに対してマスキ ングを行う，マスクの割合に関しては，それぞれの戦略について 25,50,75\%の值を適用して実験を行っ た. マスク画像の例を図 1 に示す.

(a)Random Masking

(b)Span Masking図 1 マスク画像の例

エンコーダ ViT[6] を利用し，マスクされていな いパッチのみを処理する。これによって必要メモリ を削減して学習速度を上げることに加え, 事前学習 とファインチューニング間のミスマッチを減少させ ている.

デコーダ デコーダには，エンコーダの出力とマ スクトークンが入力され，画像の再構成タスクが実行される. デコーダは，6層のトランスフォーマー ブロックと全結合層によって構成され, 計算量は エンコーダに対して小さくなるように設計されて いる.

再構成ターゲット デコーダの出力は再構成され た画像に再形成され, 再構成画像と元画像の平均二乗誤差（MSE）が損失関数として利用される. 再構成の対象としてマスクされたパッチの画素値を正規化したものを用いることで性能が向上すること がわかっているため [5], この方法を利用する. ま た，テキスト認識時には RGB 画像ではなく白黒画像を利用するため，再構成の対象として白黒画像を 用いる.

## 3.2 テキスト認識

テキスト認識モデルとして Transformer Encoder と予測ヘッドで構成されるViTSTR[7]を用いる. Transformer Encoder 部分で, MAE によって事前学習 されたパラメータを継承し，ファインチューニング を行う。その際，予測へッドは初期化する。

## 4 実験

## 4.1 データセット

合成データセット 代表的な合成データセットで ある MJSynth(MJ)[8] と SynthText(ST)[9]を組み合わ せて使用した. MJは9M 個のテキスト画像で構成 されている. ST は 800k の画像から $8 \mathrm{M}$ のテキスト
表 1 学習設定

画像を切り出したものである.

情景画像中のテキスト認識ベンチマーク 情景画像中テキスト認識ベンチマークで評価した. ベンチ マークはテキストの難易度やテキストのレイアウト によって regular データセットと irregular データセッ 卜に区別することができる.

まず，regular データセットは，文字の感覚が均等 で，水平にレイアウトされた比較的容易なテキスト 画像が含まれる. IIIT5K-Words(IIIT)[10], Street View Text(SVT)[11], ICDAR2013(IC13)[12] が該当する.

次に, irregular データセットには曲がったテ キストや回転, 歪んだテキストなど難しい ケースが含まれている. ICDAR2015(IC15)[13], SVT Perspective(SP)[14], CUTE80(CT)[15] が該当する.

## 4.2 実験詳細

自己教師あり事前学習 MAE のエンコーダとし て ViT-Tinyを用いた. ViT-Tiny は Patch Size が 16, Embedding Size が 192, Head の数が 3 の ViT であ り, 基本的な ViT と比較してパラメータ数が小さ いモデルである. 事前学習には合成データセット （MJSynth と SynthText）の両方を用いた. 計算資源 の都合上，データ量は $50 \%$ とした. MAE の論文と 同様に学習を行い，ハイパーパラメータについても 論文に従った。

テキスト認識でのファインチューニング ViTSTR で用いられていた学習設定をそのまま使用した. (表 1) 学習データとして合成データセッ ト（MJSynthと SynthText）の両方を用いた. テスト データには， 4.1 節で紹介した情景画像中テキスト 認識ベンチマークを用いた。

## 4.3 事前学習におけるマスク画像の再構成

事前学習において一枚のマスク画像を再構成し た際の結果を図 2 に示す. ランダムマスキングの場合，マスクの割合が $75 \%$ という不鮮明な場合でも， ほとんどの場合で文字列を再構成できていた.ここ から，モデルが優れた特徴表現を学習していると考 えられる。一方で，スパンマスキングでは，マスク

(a)Random Mask (75\%)

(b)Span Mask (25\%)

(c)Span Mask (50\%)

(d)Span Mask (75\%)

図 2 マスク画像の再構成結果（左から原画像，マスク画像，出力画像，マスク+出力画像）

の割合が高くなるにつれて成功率が低くなってい た. マスクの割合が $25 \%$ の時はマスク部分の文字を 予測できていることが多かった.ここから，見えな くなっている文字を予測しており，文脈情報を事前学習で獲得していることがわかる. $75 \%$ になると，例のようにマスク部分の文字が不鮮明になってし まっている例が多かった. 隠される文字が多すぎる と，正しい文脈情報を獲得することはできていない と考えられる。

## 4.4 テキスト認識

事前学習したモデルをテキスト認識タスクでファ インチューニングし, 評価を行った. 表 2 に学習 データのすべて（100\%）を使用した結果，表 3 に学習データの $1 \%$ 使用した結果を示す. 評価指標に は Top1 Accuracyを用いた。

学習データ全てによる学習では，スパンマスキン グで 75\%の割合をマスクした時，他の場合よりも $0.8 \%$ 以上高い正解率が得られた. ランダムマスキン グに着目すると，50\%の時に最も良い正解率が得ら れており，MAE による ImageNet での結果 $(75 \%)$ と は異なっていた。通常の画像とテキスト画像では情報の密度が異なっていることが原因と考えられる。 スパンマスキングでは，マスクの割合が高くなるに
表 2 テキスト認識の結果（学習データ $100 \%$ ）

表 3 テキスト認識の結果（学習データ $1 \%$ ）

つれて正解率が上がっている. マスク部分のスパン の長さが長くなり，より意味のある単位でマスクさ れたことによりこの結果になったと考えられる. し かし, 事前学習で復元された画像の品質とは結果 が異なっており，2つの結果に相関がないと考えら れる。

学習データの $1 \%$ で学習では，スパンマスキン グで 50\%の割合をマスクした時にスクラッチやラン ダムマスキングよりも 10\%以上高い正解率が得られ た. スパンマスキングが，MAE で利用されている ランダムマスキングよりも平均 $10 \%$ 以上正解率が高 くなっており，提案手法の有効性が実証された。学習データ全てを用いた時とは傾向が異なっており， マスクの割合が $50 \%$ の時に正解率が最も高くなっ た. 事前学習時に，75\%では文字をはっきりと予測 できていないことが関係していると考えられる.

## 5 結論

本論文ではテキスト認識のための自己教師あり学習として Masked Image Modeling に着目し, 新たな マスキング戦略を提案した. 提案したマスキング戦略は，MAEに用いられているマスキング戦略より も有効であるということが分かった.

今後は事前学習での実世界データセットの利用や モデルサイズの変更，既存手法との比較実験を行い たいと考えている.

## 参考文献

[1] Aviad Aberdam, Ron Litman, Shahar Tsiper, Oron Anschel, Ron Slossberg, Shai Mazor, R Manmatha, and Pietro Perona. Sequenceto-sequence contrastive learning for text recognition. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 15302-15312, 2021.

[2] Hao Liu, Bin Wang, Zhimin Bao, Mobai Xue, Sheng Kang, Deqiang Jiang, Yinsong Liu, and Bo Ren. Perceiving stroke-semantic context: Hierarchical contrastive learning for robust scene text recognition. AAAI, 2022.

[3] Zhimin Bao Mobai Xue Sheng Kang Deqiang Jiang Yinsong Liu Hao Liu, Bin Wang and Bo Ren. Bert: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the $\mathbf{2 0 1 9}$ Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, NAACL-HLT 2019, Minneapolis, MN, USA, June 2-7, 2019, p. 4171-4186.

[4] Phillip Rust, Jonas F Lotz, Emanuele Bugliarello, Elizabeth Salesky, Miryam de Lhoneux, and Desmond Elliott. Language modelling with pixels. arXiv preprint arXiv:2207.06991, 2022.

[5] Kaiming He, Xinlei Chen, Saining Xie, Yanghao Li, Piotr Dollár, and Ross Girshick. Masked autoencoders are scalable vision learners. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 16000-16009, 2022.

[6] Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner, Mostafa Dehghani, Matthias Minderer, Georg Heigold, Sylvain Gelly, et al. An image is worth $16 \times 16$ words: Transformers for image recognition at scale. arXiv preprint arXiv:2010.11929, 2020.

[7] Rowel Atienza. Vision transformer for fast and efficient scene text recognition. In International Conference on Document Analysis and Recognition, pp. 319-334. Springer, 2021.

[8] Max Jaderberg, Karen Simonyan, Andrea Vedaldi, and Andrew Zisserman. Synthetic data and artificial neural networks for natural scene text recognition. arXiv preprint arXiv:1406.2227, 2014.

[9] Ankush Gupta, Andrea Vedaldi, and Andrew Zisserman. Synthetic data for text localisation in natural images. In Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 2315-2324, 2016.

[10] Anand Mishra, Karteek Alahari, and CV Jawahar. Scene text recognition using higher order language priors. In BMVC-British machine vision conference. BMVA, 2012.

[11] Kai Wang, Boris Babenko, and Serge Belongie. End-to-end scene text recognition. In 2011 International conference on computer vision, pp. 1457-1464. IEEE, 2011.

[12] Dimosthenis Karatzas, Faisal Shafait, Seiichi Uchida, Masakazu Iwamura, Lluis Gomez i Bigorda, Sergi Robles Mestre, Joan Mas, David Fernandez Mota, Jon Almazan Almazan, and Lluis Pere De Las Heras. Icdar 2013 robust reading competition. In 2013 12th international conference on document analysis and recognition, pp. 1484-1493. IEEE, 2013.

[13] Dimosthenis Karatzas, Lluis Gomez-Bigorda, Anguelos Nicolaou, Suman Ghosh, Andrew Bagdanov, Masakazu Iwamura, Jiri Matas, Lukas Neumann, Vijay Ramaseshan Chandrasekhar, Shijian Lu, et al. Icdar 2015 competition on robust reading. In 2015 13th international conference on document analysis and recognition (ICDAR), pp. 1156-1160. IEEE, 2015.

[14] Trung Quy Phan, Palaiahnakote Shivakumara, Shangxuan Tian, and Chew Lim Tan. Recognizing text with perspective distortion in natural scenes. In Proceedings of the IEEE International Conference on Computer Vision, pp. 569-576, 2013.

[15] Anhar Risnumawan, Palaiahankote Shivakumara, Chee Seng Chan, and Chew Lim Tan. A robust arbitrary text detection system for natural scene images. Expert Systems with Applications, Vol. 41, No. 18, pp. 8027-8048, 2014.
 三ツ井悠翔 宮崎智 大町真一郎 東北大学大学院 yuto.mitsui.s1@dc.tohoku.ac.jp tomo@tohoku.ac.jp shinichiro.omachi.b5@tohoku.ac.jp  