# スマートスピーカー用日本語学習機能の開発

加藤大輔 宍戸真
東京電機大学大学院 情報環境学研究科
$\{20 \mathrm{jkm} 08\} @ m$ ms.dendai.ac.jp, \{shishido\}@mail.dendai.ac.jp

## 1 はじめに

令和 2 年度から新学習指導要領を踏まえた授業改善や学習補助を目的として,これまでの紙面の教科書を主たる教材として使用しながら必要に応じて学習者用のデジタル教材を併用することができる法令 が実施され,デジタル教材の需要が拡大されている. しかしその中で,スマートスピーカーを使用した学習教材の実例はまだ少ない状況にある.現在スマー トスピーカーの普及は急速に進んでおり,今後より 生活に身近なものになると考えられている.[1]

図 1 : ディバイス種別出荷台数予測

そのようなスマートスピーカーの特徴である,話 しかけるだけで操作ができる点や AI アシスタント 機能が搭載されている点から紙での学習方法に比べ て,日常生活で何かをしながら,必要以上にがんばら なくても，学習を面白いと魅力を感じながら,できる ことを増やせるような学習方法の可能性を検証した いと考えた.そこで本研究では,スマートスピーカー の現状についての調査,スマートスピーカー用の学習機能の開発,スマートスピーカーでの学習の可能性について調査をする。

## 2 先行研究 - 類似教材

スマートスピーカーを利用した日本語学習機能に 関する研究としては,熊本大学の甲斐晶子(2018.9)[2] があげられる.また,スマートスピーカーを利用した 学習教材の例としては,「ベストティーチャーから生
まれた英語リスニングドリル 100 選」（株式会社べ ストティーチャー)（2017.10）[3]や「九九ゼミ」（株式会社八雲ソフトウェア）（2018.12）[4]などがある.

## 3 Amazon Echo と Alexa

スマートスピーカーとは音声で操作をすることが できる対話型の AI 機能を持つスピーカーであり,ユ ーザが話しかけることで,天気,ニュース,時間,音楽，家電を操作することができる.日本で主に流通して いるものは Amazon Echo (Amazon), Google Home (Google), Line Clove (LINE)などがある.

本研究で使用するスマートスピーカーは,世界で 一番普及している点,ディバイスに画面があり画面 の必要性を比較できる点,そして個人の開発者によ って AI アシスタントの機能を拡張できる開発環境 が日本語にも対応している点から Amazon の Alexa という AI アシスタント（クラウドベースの音声サ ービス）を搭載した Amazon Echo を選択した。

図 2 : Amazon Echo Show5 と Alexa Skill

Amazon Echo ではパソコンやスマートフォンで用 いるアプリケーションの代わりとなる Alexa Skill を 使用する.ユーザは多くの Alexa Skill の中から自分 に合う Alexa Skill を有効にすることによって Alexa の機能を拡張することができる.

## 4 Alexa Skill の仕組み

Amazon Echo には普段周りの音を聞いている状態 であるマイクが内蔵されており,ユーザが発話した 「アレクサ」というウェイクワードに反応して要求 を録音し, 音声データとしてインターネットを通じ て Alexa に転送する.その転送されたデータを Alexa の自動音声認識（ASR）と自然言語理解（NLU）で
処理し,プログラムを実行するサーバーにリクエス トデータとして転送する.サーバーが処理後転送し たレスポンスを Alexa の音声合成（TTS）を通じて ユーザの耳に届ける.[5]

図 3 : Alexa Ski11 のしくみ

## 5 学習機能の作成

Amazon Echo に搭載されている Alexa を用いて日本語学習者を対象とした日本語を学習することがで きる Alexa Skill を作成する.Alexa Skill を作成する方法は多く存在するため, 本研究では Amazon から提供 されている Alexa Skills Kit と Alexa Skill をノンコー ディングで作成することができるサービスである Voiceflowを使用した。

## 5.1 Alexa Skills Kit とは

はじめに Alexa Skill を作成することができる拡張機能開発キットの Alexa Skills Kit を使用する.Alexa と対話するには「Alexa,O○を開いて」のようなフレ ーズを発話する必要がある.この○○に入る名称を ここでは呼び出し名と言い,最初に設定する.Alexa の音声ユーザーインターフェースでは,基本的にユ ーザがまず発話し,それにスキルが応答する.このユ 一ザの発話による指示をインテントと呼び,このイ ンテントに今回の日本語の問題に対する答えとなる 言葉を設定する.[6]

図 4:Alexa Skills Kit での開発画面

## 5.2 AWS Lambda とは

次にプログラムコードを実行するサーバーに AWS Lambda を使用し,Node.JS のサンプルコードか ら日本語の単語の一問一答形式の問題のプログラム を作成する.[7]

図 5 : AWS Lambda での開発画面

## 5.3 Alexa skills Kit で作成した Alexa Skill

教材はユーザが「アレクサ,反対の言葉を開いて」 と発話すると起動する.起動すると学習が始まり,60 問からランダムで 10 問出題される. 問題が出題され るとディバイスの画面には三択で答えが表示され る. 10 問終了すると最後に得点が画面に表示される.

作成したAlexa Skill

「反対の言葉」(60問からランダムで10問出題) 2 アレクサ 反対の言葉を開いて

反対の言葉の練習をしましょう。

次の単語を、反対の意味の言葉で答えてください。

第 1 問 大人

2 子供

正解！大人の反対は子供です。

あなたのスコアは 1 点中 1 点です。

図 6 : 作成した Alexa Skill “反対の言葉”

図 7 : Alexa Skills Kit でのシミュレート

図 8 : "反対の言葉”ディバイス画面推移

## 5.4 Voiceflow とは

Voiceflow は Alexa が発話する Speakブロックとユ ーザの発話の内容を判別し分岐させる Choice ブロ ックを使用することで，会話をフローチャートのよ うに作成することができ, 実際の会話の動きを視覚化することができる.[8]

図 9 : Voiceflow での開発画面

## 5.5 Voiceflow で作成した Alexa Skil

Voiceflow で作成した Alexa Skill は画面表示の有無の使用度を比較するために, 画面表示がなく, 音声 のみを聞いて回答する問題である”反対の言葉”,画面表示を見て回答をする問題”漢字の読み方”,画面表示はあるが見なくても回答ができる問題”言葉の 言い換え”の 3 種類の問題である. 問題の内容は,日本語を母語としない人の日本語能力を測定し認定する 日本語能力試験の問題を引用した.[9]

## 5.6 反対の言葉

“反対の言葉”は Alexa Skills Kit で作成したものと 内容は同様であるが, 画面表示をなくして音声だけ で回答ができるように変更した.

## 5.7 漢字の読み方

“漢字の読み方”は画面に表示されている問題文の 中の下線部の漢字の正しい読み方を 4 つの選択肢か ら選ぶものである.問題文は読まれないため画面を 見て回答する必要がある.

図 10 : "漢字の読み方”ディバイス画面推移

## 5.8 言葉の言い換え

“言葉の言い換え”は画面に表示されている問題文 の中の下線部の言葉に意味が最も近いものを 4 つの 選択肢から選ぶものである.問題文と選択肢が読ま れるため画面表示を見なくても回答できる.

図 11 : "言葉の言い換え"ディバイス画面推移

## 6 実験

## 6.1 実験被験者

東京電機大学在学の留学生 5 名と東京電機大学日本語教師 1 名を対象として実験を行った.留学生の 日本語学習歴は 3 年以上であった.

## 6.2 実験内容

Zoom のビデオ通話を通して Amazon Echo の画面 を見ながら 3 種類の問題を操作し,教材の評価をす るという手順で行った.

## 6.3 実験結果

スマートスピーカーを使用したことがあった被験者は半数であったが, 問題操作の容易さには全員か ら肯定的な意見があり, スマートスピーカーを操作 し学習する方法は学習者に受け入れられそうである ことが確認できた. 画面表示の有無に関しては意見 が分かれたが, 画面表示有りでは問題の説明や問題文, 解説が全てで日本語での表示だけであったため 英語での表示があると日本語に不慣れな学習者にと ってより分かりやすいという意見が得られた. 画面表示無しでは, 普段の生活で料理が退屈であるため,音声だけで操作することができれば料理をしながら 学習することができて良いという意見を得ることが できた. 問題の内容については,” 反対の言葉” で文脈がないと意味が取れないものがあり, 単語ではな く文レベルで発話させることによって文法の変形練習もできるため良いという意見を得ることができた.

งคำ青定

- ก้ง

図 12 : アンケート結果

## 7 今後の展望

今回の結果からスマートスピーカーでの学習は受 け入れられそうだが,対象となる学習者の日本語能力にあった問題の難易度や構成を改めて検討する必要があることが判った.そのため今後の研究活動で は,対象を在学している東京電機大学の留学生の入学条件となっている日本語能力試験 N2 レベルの受験生に絞り, 日本語能力試験の模擬試験の代わりと なるような Alexa Skill を作成し,紙で学習を行う場合とをアンケートによる主観評価に加えて, 3 点式眼電位センサーから集中・活力・落ち着きを測定す ることができるスマートグラスである JINS MEME や皮膚電気活動センサーから精神性発汗を測定しス トレス度を可視化できる Fitbit での比較を検討して いる.

## 参考文献

[1] Canalys: Global smart speaker installed base to top 200 million by end of 2019 " https://www.c analys.com/newsroom/canalys-global-smart-speake r-installed-base-to-top-200-million-by-end-of-201 9 ",2019.5.15

[2] 甲斐晶子ほか 3 名,” 受身系転換練習のための スマートスピーカー (Alexa) 用機能の開発”日本教育工学会 第 34 回全国大会発表論文集, 2018.9, pp.669-670.

[3]「ベストティーチャーから生まれた英語リス ニングドリル 100 選を Google Homeに提供」” https://www.best-teacher-inc.com/news/google-ho me" ,2017.10.15

[4] 株式会社八雲ソフトウェアホームページ"https: //8clouds.co.jp/smart/”，2020.4.1参照

[5] Alexa スキル開発トレーニング“https://develope r.amazon.com/ja-JP/alexa/alexa-skills-kit/training/b uild-a-skill” , 2020.4.1 参照

[6] Alexa Skills Kit“https://developer.amazon.com/jaJP/alexa/alexa-skills-kit"

[7] AWS デベロッパーセンター"https://aws.amazo n.com/jp/developer/"

[8] Voiceflow"https://www.voiceflow.com/"

[9] 日本語能力試験公式ウェブサイト“https://www.j lj1.jp/index.html”, 2012


# Unity を用いた電子教材の開発と評価

佐藤 志月宍戸 真
東京電機大学大学院情報環境学研究科
\{20jkm14\}@ms.dendai.ac.jp, \{shishido\}@mail.dendai.ac.jp

## 1 はじめに

国内の E-Learning 教材市場において, B to B はス マートフォンの普及によるニーズの増加, $\mathrm{B}$ to $\mathrm{C}$ は 学習塾の映像授業サービスの増加等により,この売上は年々増加傾向にある. 電子教材の需要が高まる ことが予想される中,ゲームの要素を含んだ学習教材も多く存在し,これに関わる研究も増えつつある.

本研究では,TOEIC の英単語学習に焦点を絞り,教材を作成する.この理由として,我が国の TOEIC テス トの受験者数が 2019 年度に約 241 万人と増加して いること [1],大学入試の特定の試験形態や企業の推薦資格を獲得する基準として用いられていることか ら [2],教材の中でも特に需要が見込まれると考えた からである.

## 2 関連研究

英語学習教材にゲームの要素を含ませているアプ リケーションは多く,Google Play ストアで”英語学習” と検索すると,200 以上の学習アプリが公開されてい ることがわかる [3]. 久保田らは,TOEIC テストで高得点を取ることを目的とした大学生及び社会人を対象に,アクアリウム型育成ゲーム"FishyFishy"を試作 しているほか [4], 矢澤らは,視線計測を用いた英文読解支援アプリケーションの中で,ゲーミフィケー ションの要素を用いてユーザーのモチベーション向上を目指した [5].教材の有効性を検証する方法とし ては,アンケートを実施する手法が多く取られてい るが,魚住らは,小学校の生活科における教材開発の 中で,フロー理論を軸にした教材設計を行い,アンケ ートではその評価項目を満たしているかを検証する 方式を採用している [6].

## 2.1 ゲーミフィケーション理論

ゲーミフィケーションとは,ゲームの考え方やデ ザインをゲーム以外のものに転用することである.構成要素としては,タスク,ポイント,バッジといった 点が挙げられている [7].学習意欲の向上ができる他,
モチベーションを保たせやすい,興味を引かせやす いといった長所から,教材設計の手法の 1 つとして 認知されている.

## 2.2 フロー理論

チクセントミハイが提唱する理論であり,内発的 に動機づけられた自己の没入感覚を伴う楽しい経験 を指す.この状態にあるとき,人は高いレベルの集中力を示し,楽しさ, 満足感,状況のコントロール感,自尊感情の高まり等を経験する [8].すなわち,集中力 の度合いを測る要素であり,授業や教材の評価の指針として用いられる。

## 3 提案

英語学習とゲームを組み合わせること,或いはゲ ーミフィケーション要素を加える取り組みは多く実践されているが,どのようなゲームジャンルと組み 合わせるかは製作者の考えに寄るところが大きく，新しいジャンルのゲームと掛け合わせることで,こ れまでにない学習効果が確認できる可能性がある。 そこで,既存の研究では採用されていないゲームジ ヤンルで教材を作成し,特異な反応が得られるかを 検証する。

英語学習教材とゲームを組み合わせるにあたり， どのジャンルのゲームを採用するかを決定する必要 がある.今回は,”脱出ゲーム”の要素を教材に組み込 む手法を提案する.選定理由としては,目標が明確で あること,ユーザーは与えられたヒントから自分で 考えて脱出を試みることで,主体的に学習活動を行 えるのではと考えたこと,ゲームに不慣れな学習者 でも直感的に操作を行えると考えたことを挙げる。

また,デジタルゲームを教育に導入するうえでの 欠点となる要素が,脱出ゲームというジャンルでは 回避できうるという点も選定理由の 1 つである.藤本によると,デジタルゲームを導入する短所として， (1)学んでほしい内容と直接関係しないゲームのスト ーリーやアクションに夢中になり,学習が疎かにな りやすい,(2)活動全般の意欲が高まっていたとして

も,学習活動の改善がみられているとは限らない,(3) ゲームルールや操作の習得に時間がかかるなどして，必要以上に時間がかかりやすい,(4)教師による統制 が困難になりやすい,という点が挙げられている [9]. これらの点について,脱出ゲームは"脱出する”以上 のストーリーを必要とせず,画面をクリックするだ けで直感的に操作を行うことができるため,操作で 躓く学習者は少ないと考えられる.そのため,シンプ ルなゲーム性を維持したまま,学習活動の改善に寄与しうる要素を追加で提案・検討する。

## 3.1 追加の要素

今回の教材で,脱出ゲームと組み合わせる形で採用する要素を記載する。

## 3.1.1 テスト要素

脱出ゲームパートで学んだ英単語の知識がどの程度身についているのかを測るパートを用意する。

## 3.1.2 メダル要素

プレイ回数やテスト要素でのテストの出来栄えに よって付与を行い, モチベーションの低下を避ける。

## 3.1.3 音声認識要素

脱出ステージの一部に, ギミックとして搭載する.教材の新たな指標としての調査と, 学習中盤でのモ チベーション低下を避ける狙いがある.

## 4 実装

本教材の作成には,ゲーム制作エンジンである Unity を用いた.タイトルシーンから遷移が可能な各 パートについて,本項で示す.

また,この教材は TOEIC のスコアアップを目標と しており,対象は大学生としている.本教材で学習す る単語は全 700 単語であり,これは, 本学の英語科目 で指定されている TOEIC の頻出単語 1000 語を,アル クの単語難易度によりレベル分けを行い [10],1000 単語をレベルが高いものから 700 単語抽出,この 700 単語のレベルが低い順に 14 分割し,各ステージでは 50 単語を学習する.

## 4.1 脱出パート

脱出パートはステージで細分化され,今回は実験期間に併せ,全 14 ステージを用意した.プレイヤーは 部屋や車,無人島といったステージから,複数のアイ テムを獲得し,このアイテムを正しい場所に使用す ることなどで,脱出を試みる.例えば,部屋のステージ では,鍵のアイテムを見つけ出し,ドアに使用するこ
とで脱出を行うことができる.脱出に必要なアイテ ムや脱出のヒントは秘匿されており,英単語のクイ ズを解くことで,ヒントを獲得することができる.英単語のクイズは 50 問の中から 10 問を重複がないよ う出題し, 5 回挑戦するごとにリセットされ,一度出 た単語がもう一度出題される仕様となっているが， その選出順はランダムである.クイズは 4 択とスペ ル記述の 2 パターンを作成した 8 割以上の正答でヒ ントを獲得でき, 4 択と記述で獲得できるヒントはそ れぞれ異なるものを用意している.また,ステージ 6

と 14 では,音声認識を利用した仕掛けを用意した。

図 1 脱出パート

## 4.2 テストパート

テストパートは,脱出パートとは別に,学習者がど の程度単語を理解できているかを可視化するために 用意した. 1 単語が欠けた英語の問題文と,その日本語訳,記述欄を用意し,訳の意味となるように例文の 久けている単語をタイプして回答する.各ステージ に対応した全 14 パートで構成され,全 50 問が記述形式で出題される.クロスワード形式を採用しており，正答したスペルが順次更新され,次の問題の解答の ヒントとなる.このテストパートで間違えた単語は， その誤答回数がテキストファイルに記録される.

図 2 テストパート

## 4.3 レコードパート

テストパートで学習した英単語とその訳,及び誤
答回数をステージごとに確認できるパートである.

図 3 レコードパート

## 4.4 メダルパート

ゲーミフィケーション要素の報酬に該当するパー トである.例えば,ステージ 1 を 1 回クリアする,ステ ージ 4 のテストで一度も間違えずにクリアする,と いった特定の条件を達成することで, メダルを獲得 でき,学習の動機づけを与える。

図 4 メダルパート

## 5 評価

## 5.1 実験方法

本学の英語講義の受講者 52 人を対象に教材を配布し, 毎週の講義終了後に 1 ステージずつプレイし てもらい, その都度アンケートの提出を求めた.この アンケートと教材の利用履歴, 講義受講前後での TOEIC スコアと最終時に実施するテストによる順位比較, 最終回に実施するアンケート結果から学習効果を観察する。

また, 学生には脱出パートのみプレイを指示し, テ ストパートの実施については学生の判断に任せてい る. 教材とその利用方法を示した資料の配布、及び実験はいずれもオンラインで行い, 学習方法は被験者 の判断に委ねることとした.

## 5.1.1 アンケート項目

アンケートは毎週提出する各ステージのアンケー トと, 最終時に提出するアンケートに二分される.

各回のアンケート項目は, フロー項目, そのステー ジで学んだ英単語の難易度, ステージの意見を問う 3 項目で構成される.フロー項目は, 下記 10 項目から なる質問に細分化し, それぞれについて当てはまる 数值を, 全く当てはまらないを 0 , 確実に当てはまる を 6 とした 7 段階評価で選んでもらった.

表 1 フロー状態を測る項目

 \\

最終アンケートでは, 電子教材全般に対する質問 や, 総合的な教材評価といった質問項目を用意した。

## 5.1.2 ボキャブラリーテスト

最終講義時に行うテストで, 本教材で学習する 700 単語の中から問題が出題される. 出題形式は 4 択,記述, 穴埋め問題で構成され, 各ステージから満遍な く, 全 50 問出題される.

## 5.2 実験結果

アンケートとゲームの取り組み状況, 及びテスト の順位比較による学習意欲・効果の比較を行った。

## 5.2.1 被験者の意識調査

最終回に実施したアンケートから, 今回の被験者 の教材に対する意識を調査した.その中から，下記の 項目を抜粋して,今回の実験対象者の傾向を示す.

表 2 最終回アンケート項目例

Q1 の結果, 利用したいと回答した被験者は $46.7 \%$ に留まった.しかし, 利用したくないと回答した理由 の多くは, 音声認識の精度に対する不満と, 教材の一部のUIによるものが多く,これらの意見から利用し たくないと回答した被験者を除くと,利用したくな いと回答した被験者の割合は $27 \%$ であった. Q2 の調查では, $86 \%$ の被験者はないと回答した.残りの被験者は, 洋画や海外のニュース, 広告を見るといった回
答がみられた. 最後に, Q3, Q4 を尋ねたところ,いず れも 9 割の被験者は抵抗を感じないと回答した.こ のことから, 本教材のような語学学習コンテンツは,若年層には受け入れられやすいと考えられる.一方，抵抗を感じると回答した被験者にとっては, 最後ま で受け入れられず,フロー状態も伸び悩んだ。

## 5.2.2 学習効果の比較

実験前に実施された TOEIC のスコアと, 実験終了後のテストのそれぞれについての順位を比較し, そ の結果を上昇, 横ばい, 下降の3 タイプに分類を行っ た.ここでは、事前の TOEIC とボキャブラリーテス トの両方を実施した 43 名を集計対象としている.

## 表 3 TOEIC と事後テストの順位比較

結果としては, TOEIC の順位が 11～20 位程度の被験者の結果が振るわなかった一方, TOEIC スコアで は下位に位置付けた被験者が高得点をマークするケ 一スも多々見られた.ここで, 上昇と判断した 23 人 と下降と判断した 13 人のうち, 最終回実施時の教材 アンケートに回答した 11 人, 7 人の比較結果を示す.

表 4 順位変動者の意識調査

この結果から, 教材を今後も利用したいと回答し た被験者のらち, $88 \%$ が順位があがる結果となった. また,この教材を利用して英語学習のモチベーショ ンがあがり, 追加で TOEIC の単語学習帳を購入した と回答した被験者もおり, 学習意識の改善の一助に なったと考えられる。一方, 教材を利用したくないと 回答した被験者の順位が下降した割合は $66 \%$ であり，本教材以外で学習を行った人数も非常に限られた.

## 5.2.3 フロー項目の推移

毎週実施したアンケートから, フロー状態の評価 を行った. 図 5 では, フロー状態の各項目とプレイ時間の両方について, 被験者全体での平均をステージ毎に算出した結果を示している.この図から,ステー ジごとに項目値は乱高下し, 適切な推移を保ってい るとは言い難い結果となったことがわかる.

図 5 フロー項目とプレイ時間の推移

## 5.2.4 形態素解析

毎週実施したアンケートの感想を, KH Corder3 を 用いて共起ネットワークを作成した.この結果から, ”記述問題は良いと思う” , ”ゲーム要素は面白い” といった文が生成される.一方, 音声認識の項目はゲ 一ムや学習パートとは別に, 独立して捉えられた.

図 6 アンケートの形態素解析

## 6 まとめ

今回の結果から, 元々あるゲームに語学学習要素 を組み込むことにより，学習意欲と学習効果が高ま る例は見られたが, ゲームの操作性により学習意識 や学習時間の乱高下がみられたり, 音声認識を導入 したことによるモチベーションの低下など, 評価値 に大きく波が出る結果となった. そのため, 学習者が 学習外の部分で躓かないような設計・配慮を適切に 行うことが, 本教材のようなコンテンツには特に重要である.今後は, UI やゲーム性の改善に尽力し, フ ロー状態を適切に満たす教材へと昇華させたい.

## 参考文献

1. 一般財団法人 国際ビジネスコミュニケーショ ン協会. 2019 年度 TOEICProgram 総受験者数は約 241 万人. (オンライン) (引用日: 2020 年 12 月 22 日.) https://www.iibc-global.org/iibc/press/2020/p149.html. 2. -. TOEIC Program 大学の入学試験における活用状況 -2020 年度-. TOEIC Program. (オンライン) (引用日: 2020 年 12 月 22 日.) https://www.iibcglobal.org/toeic/official_data/univ_research.html.

3. Google. Google Play. (オンライン) (引用日: 2020 年 12 月 22 日.) https://play.google.com/store.

4. 久保田大輝, ほか. 英語の語彙能力向上を目的と したシリアスゲーム FishyFishy の開発. 出版地不明：情報処理学会, 2017 .
5. 矢澤崇史, ほか. 視線入力を用いて英文読解を支援するゲーミフィケーションの研究. 出版地不明：情報処理学会, 2015.

6. 魚住明生 , 山口裕加. フロー理論を基にした小学校生活科におけるものづくりと教材に関する研究. 出版地不明: 三重大学教育学部研究紀要, 2019.

7. GabrielaKiryakova, NadezhdaAngelova, LinaYordanova. GAMIFICATION IN EDUCATION. 2014.

8. ミハイ・チクセントミハイ著 今村浩明訳. フ ロー体験喜びの現象学. 京都府：世界思想社, 1996.

9. 藤本徹. 効果的なデジタルゲーム利用教育のた めの考え方. 出版地不明 : コンピュータ\&エデュ ケーション, 2011.

10. アルク. レベル別語彙リスト SVL12000. (オンラ イン) (引用日: 2020 年 12 月 23 日.)

https://www.alc.co.jp/vocgram/article/svl/.


# Blockly を利用したタグ付きコーパス検索パタン構築ツール

岡田魁人
岡山大学大学院自然科学研究科
pdrj11bt@s.okayama-u.ac.jp

## 1 はじめに

本研究はブラウザ上でプログラムを組み立てる ことができる Blocklyを利用してタグ付きコーパス から目的とする表現を取り出すための言語パタン の構築を補助するツールについて記述する. 基本的 な言語パタン抽出の応用としてコンコーダンサや 質問応答などでの内部処理が挙げられる。まず，コ ンコーダンサについて説明する。 コンコーダンサと は，コーパスを分析するソフトのことである．自然言語処理の分野において，語の特徴や傾向性を明ら かにするためにコーパスが利用される.コーパスを 利用するには，大量の電子資料や専用マニュアルを 読む必要があり，直接読むことは学習コストが高く なるなどの問題がある。 そこで，語の出現状況をわ かりやすく示すコンコーダンサを使うことが一般的である. テキストコーパス内の文字列や単語を検索し, 検索単語を中心として, 前後の文脈とともに 示される KWIC 形式のように表示するコンコーダ ンサは既に数多く存在する [1][2]. しかし既存のコ ンコーダンサでは，表層上の文字列や単語検索以外 に, 例えば同義語や類義語, 同じ意味を示す文など の柔軟な検索に対応していない. コンコーダンサ以外に，日本語のタグ付きコーパスを柔軟に検索でき るツールはほとんど存在しない [3][4]. 図 1 に「走 る」を検索した場合の KWIC の例を示す。

図1「走る」を検索した場合の KWIC の例

一方，テキストに対して，意味役割付与システム から得られる解析結果を用いれば，述語の概念など

\author{
竹内孔一 \\ 岡山大学大学院自然科学研究科 \\ takeuc-k@okayama-u.ac.jp
}

意味タグをもとにした検索が実現できる. 例えば，竹内研では意味役割付与解析システム $\left(\mathrm{ASA}^{1)}\right)$ が構築されている. ASA の結果を用いて，「表情の出現」 という概念を持った動詞を検索をすると，図 2 のよ うに述語の概念分類に沿った例文を取り出すことが 可能である.

図 2 「表情の出現」という概念を検索した場合の提案シ ステムの表示例

次に，質問応答システムにおいて言語パタンを利用する研究事例が挙げられる. IBM が開発した質問応答システム Watson では，あらかじめ質問に対す る答えを構文のパタンとして構築している [5]. 意味役割が付与されたコーパスに対し，KWIC のみで はなく，柔軟に検索できるツールがあれば，パタン 構築を素早く仕上げることができる。

よって本研究では前節の背景を踏まえて，意味役割付与されたタグ付きコーパスに対し，柔軟な検索 に対応し，コンコーダンサの機能を持ち，さらに質問応答システムに見られる前処理をも行えるよう な多機能ツールを構築する。本システムは 2 つモ ジュールから構成されており，1つがユーザインタ フェースの部分，もう1つはパタンマッチの部分で ある。本論文では，前者のユーザインタフェースの 構築について記述する。

## 2 関連研究

関連研究として,「茶器」[3] がある。「茶器」は,品詞，文節，係り受けといった統語情報などタグ付 けされたコーパスを柔軟に検索することができ，関

1) http://www.cl.cs.okayama-u.ac.jp/study/project/asa/asa-scala/
係データベースを用いて検索システムとして実装し たものがあり [6]，ドイツ語の Treebank を対象にし た同様のものがある [7]. また，木構造のタグ付与 データに対して検索するツールが提案されている [8]. 最終的には品詞，文節等のチャンク，係り受け 等の統語情報を含むタグ付けコーパスに対して，柔軟な検索機能を備えるだけでなく, 各種統計解析機能や辞書とコーパスの連携，タグ付けエラーの修正 などの機能を持ったタグ付きコーパスの検索/管理 システムを目指しているものである [9].

## 3 言語パタンマッチシステム

本提案システムは，ユーザインタフェース部分に Blockly2)を採用して，言語パタン構築モジュールを 実装する. Blocklyを採用することで，言語パタン をより直感的に組むことができる.

## 3.1 項構造ベースの言語パタンマッチ

$
\begin{aligned}
& \text { ・X は Y の「著者」だ } \\
& \text { =>X は Y を「書いた」 } \\
& \text { ・Xの「親」は Y } \\
& \text { =>X は Y の「子供」だ } \\
& \text { ・Y はXの「店員」だ } \\
& \text { =>Y はXで「働いて」いる }
\end{aligned}
$

図 3 項構造と動詞への言い換え例

本提案システムにおける言語パタンマッチについ て説明する. 前提として, ASAにより意味役割付与 されたコーパスを検索の対象とする．語には，語そ のものに関係性を表すようなものがある [10]. 例え ば図 3 のような構文パタンがある.

この例からわかるように，ある一文から作者と作品名を抜き出すことや，係り受けの関連を取り出す こと，また，単純に文字列や単語そのものも含めて ユーザが構築した言語パタンをもとに対応したパタ ンマッチ処理を実行することを本論文では言語パタ ンマッチと定義する.

## 3.2 言語パタンマッチシステムの機能

本提案システムには様々な機能が必要となる.様々な視点からコーパスの検索が可能であること，

および検索結果の表示や再加工を行えるよう適切な データやプログラムに変換する処理を行う必要が生 じる．検索要求は，単語の経りそのもの，単語の一部，単語の原形，品詞などの文法情報，意味タグが 付与された構文構造 (prolog の木に分解) [11], 係り 受けの関係，およびそれらを組み合わせたものであ り，以下言語パタンと述べる際にはこれらを含めた ものとする。下記に，システムに求める機能につい て記述して整理する。

## 検索

ユーザが構築した言語パタンに応じた適切な検索が行える。

## 言語パタンの構築

視覚的に言語パタンを組むことができる。ユー ザが必要とする言語パタンを組み合わせて実現 できるような多種の検索要素を提供でき，単語 や品詞だけでなく，ASAにより付与される概念 フレームなど意味的なタグについても検索でき る検索要素も提供できることが好ましい.

## 言語パタンの保存

上記の機能で構築した言語パタンを保存でき る. 保存した言語パタンは txt ファイルとして ダウンロードができるため，ユーザ間で共有す ることができる.

## 言語パタンの読み込み

ユーザが組み立てた言語パタンを読み込む。こ れにより他の人が作成した言語パタンも利用で きる.

## 検索結果の出力

検索結果を表示するだけでなく，検索結果を例 えば二次加工がしやすい json 形式や csv 形式の ファイルに書き込み，ダウンロードができる。

## 3.3 言語パタンマッチの全体像

提案システムの実装には，npm (Node Package Manager）を用いる3)．ここで，システムの処理の流 れを視覚化するためフローチャートを図 4 に示す.以下ではフロントエンドとバックエンドの各処理に ついて説明する。

## 3.3.1 フロントエンド: ユーザによる操作の処理

ユーザの操作項目についての説明をする．最初 に解析対象とするテキストデータを読み込ませる。

3) https://www.npmjs.com/

図 4 提案システムのフローチャート

解析対象は複数のファイルを登録することができ， チェックボックスで切り替えることができる. 次 に，クエリ作成を行う．クエリとは，検索要求を組 み合わせて構築する言語パタンのことである. クエ リはデータ読み込みから作成することもできる．実行ボタンを押すことで言語パタンマッチから表示に 必要なデータ加工までの処理が実行される.

## 3.3.2 バックエンド: タグ付与と検索処理

本論文ではテキストを解析するシステムとして意味役割付与システム ASAを利用する。ユーザがま ず最初に検索したいテキストをシステムに入力した 場合，ASAによる解析を行った後，係り受け，形態素，述語の概念フレーム，意味役割をすべて Prolog 形式の探索木に変更する [11]. 次にフロントエンド 側で言語パタンが構築され, 検索要求がだされたと きに，検索言語を受け取り prolog の機能を利用し て，マッチしたテキスト部分をフロント側に送る.検索の際，文，係り受けのチャンク，形態素の単位 で探索木を構成しているが，今のところ，検索結果 の単位は文の集合を返している。

## 3.4 言語パタンマッチシステムの拡張性

今回実装するシステムの言語パタン構築部分は, バックエンドで処理する言語処理ツール用にカスタ マイズしている.よって，他の言語処理ツールを適用する場合にはそれに合わせたタグ体系に合わせる ことで，複雑な解析も Blocly を利用することで手軽 に行えるようになる。

## 4 動作確認実験

本提案システムについて，以下で示すデータセッ 卜を用いて動作実験を行う. 動作実験の目標とし て, 図 3 の例として述べた著者と作品の組み合わせ を抜き出すこととする。

## 4.1 検索対象例文

検索対象例分として図 5 に示すように，著者と作品名を文で表した例文を 10 文用意した。例にもあ るように「図書館戦争を書いた有川浩」など連体修飾の例も入れている。また，パタンにマッチしない 文も入れている.

泥棒に財布を盗まれる。有川浩が図書館戦争を書いた。昨日、友達と喧嘩した。今日、新しいコンピュータを買うつもりだ。羅生門は芥川龍之介の小説だ。親に好きな靴を捨てられた。明日、学校で誕生日パーティーが開かれる。大学の隣に、新しいスーパーが建つ。初めて先生に褒められた。図書館戦争を書いた有川浩

図 5 検索対象例文

## 4.2 言語パタン

Blocklyを用いて実現した Prolog で構築した言語パタンを図 6 に示す. author ブロックとして author(_author,_work) という述語を宣言し，緑の ブロックで囲われているエリアに述語の定義を記述する。_author と_work は項であり，検索結果が入 る. author ブロック内では author を取り出す具体的な構造が各ブロックで記述されている。例えば 「type (X0, verb)」は品詞のタイプとして verb のもの を探索木から取り出し，その要素を変数 X0 にセッ トする。また， semantic は概念フレーム， main は主辞，role は意味役割を表す.ここで定義した author ブロックを利用して，さらに他の言語パターンを取 り出す際に利用することができる.

図 6 著者作品を抽出するための Prolog 言語パタン

## 4.3 動作結果

上記のデータセットに対してパタンマッチした結果の例を図 6 に示す. 図 6 では，検索にマッチした 文を表示していて「書く」や「〜の小説だ」といっ たパタンにマッチした文が取り出されている。単に 文が取り出されているわけでなく内部が項構造とし て構築されているため，変数である_author には「有川浩」「芥川龍之介」，_work には「図書館戦争」「羅生門」が取り出されており，必要であれば，その部分だけをとりだすこともできる.

く/>結果
有川浩が図書館戦争を書いた。
羅生門は芥川龍之介の小説だ。
図書館戦争を書いた有川浩

図 7 動作実験のスナップショット

## 5 おわりに

本論文では意味役割や概念フレームなどがテキス 卜に探索木として付与されている場合にユーザが構築した言語パタンをブロックベースのプログラムと して組むことが出来るシステムについて記述した。実装として Blockly のライブラリを用いてブラウザ ベースの Web アプリケーションとしてシステムを 構成した. 実装に際して，言語処理の分野でよく利用される次の 2 つの機能の実現を目標とした. 1 つ
はコンコーダンサの機能，そしてもう 1 つは質問応答システムに見られるような構文パタンを検索，処理を行うツールとしての機能である。実際に活用さ れるツールにするために，上記機能を満たすだけで なく，アプリケーションとして改善していく必要が あるだろう．今後は，機能追加に加え，既存機能の 改良，英語版対応および UI/UX の最適化を検討して いる。

## 謝辞

本研究の遂行にあたって JSPS 科研費 19K00552 の 支援を受けた。

## 参考文献

[1] 小木曽智信, 中村壮範. 通時コーパス用『中納言』:Webベースの古典語コンコーダンサー.

[2] 中條清美, 西垣知佳子アントニ・ローレンス. フ リーウェア WebParaNews オンライン・コンコーダ ンサーの英語授業における活用. 日本大学生産工学部研究報告 B (文系), Vol. 47, pp. 49-63, 2014.

[3] 松本裕治, 高岡一馬, 浅原正幸, 乾健太郎, 橋本喜代太, 投野由紀夫, 大谷朗, 森田敏生ほか. タグ付きコー パスの格納/検索ツール「茶器」. 言語処理学会第 10 回年次大会発表論文集, pp. 405-408, 2004.

[4] 田中良. 多言語対応コンコーダンサー『HASHI』:日本語と日本語教育と社会言語学の研究を中心に. 2015.

[5] Adam Lally, John M Prager, Michael C McCord, Branimir K Boguraev, Siddharth Patwardhan, James Fan, Paul Fodor, and Jennifer Chu-Carroll. Question analysis: How Watson reads a clue. IBM Journal of Research and Development, Vol. 56, No. 3.4, pp. 2-1, 2012.

[6] 工藤拓, 松本裕治. Rdb を利用したタグ付きコーパス 検索支援環境の構築. 情報処理学会自然言語処理研究会 2001-NL-144, pp. 135-142, 2001.

[7] Laura Kallmeyer. A query tool for syntactically annotated corpora. In Proceedings of the 2000 Joint SIGDAT conference on Empirical methods in natural language processing and very large corpora: held in conjunction with the 38th Annual Meeting of the Association for Coтputational Linguistics-Volume 13, pp. 190-198. Association for Computational Linguistics, 2000.

[8] Kohsuke Yanai, Misa Sato, Toshihiko Yanase, Kenzo Kurotsuchi, Yuta Koreeda, and Yoshiki Niwa. Struap: A tool for bundling linguistic trees through structure-based abstract pattern. In Proceedings of the 2017 EMNLP System Demonstrations, pp. 31-36, 2017.

[9] 浅原正幸, 米田隆一, 山下亜希子, 伝康晴, 松本裕治.語長変換を考慮したコーパス管理システム. 情報処理学会論文誌 Vol.43,No.7, pp. 2091-2097, 2002.

[10] 西山佑司. ひつじ書房, 2003.

[11] 小笠原崇, 竹内孔一. 意味役割付与テキストに対する prolog ベースの探索木による言語パタンマッチシス テム構築. 言語処理学会第 27 回年次大会, 2021.


# 英語学習者のための解説文生成手法の調査

塙一晃 ${ }^{\dagger, \ldots, 1}$ 永田亮 $8,+, \pi, 2$ 乾健太郎 ${ }^{+, \dagger, 3}$
†東北大学 理化学研究所 $\S$ 甲南大学 $\mathbb{I} J S T$ さきがけ
${ }^{1}$ kazuaki.hanawa@riken.jp $\quad{ }^{2}$ nagata-nlp2021@ml.hyogo-u.ac.jp $\quad{ }^{3}$ inui@tohoku.ac.jp

## 1 はじめに

解説文生成とは，与えられた文章に対してライ ティングに関するヒントや説明を生成するタスクの ことである。例えば，*We reached to the station.の下線部に対して，

(1)reach は他動詞ですので、目的語の前には前置詞は必要ありません。

のような解説を生成するタスクである。文献 [1]で，英語学習者が書いた文章に対して，前置詞に関する 解説とより一般的な解説の二種類を付与したコーパ スが構築，公開されている。このデータセットによ り，様々な機械学習による解説文生成が可能となっ ている。例えば，本タスクは，解説対象文章と解説箇所を入力とする言語生成問題であるので，各種の ニューラル言語生成モデルが適用可能である.

このような状況にもかかららず，解説文生成手法 について分かっていることはとても少ない. 存在す る知見は，前置詞解説文では検索に基づいた手法が 有効である [2] ぐらいである. ニューラル言語生成 モデルには，幅広い選択肢があるが，研究例は非常に少ない. 文献 [3] では, 検索結果に基づいて, ニューラル言語生成モデルで生成を行うが，他のモ デルとの比較は行われていない。また，これらの研究は前置詞解説文をのみを対象にしており，一般解説文に対する知見は皆無である．後者のほうが解説 の種類が多くより難しい問題であるため，手法の振 る舞いが大きく変わる可能性がある.

そこで，本稿では，解説文生成の研究が今後進む べき方向性を模索することを目的として，各種手法 の性能比較と生成結果の詳細な分析を行う. 具体的には，検索に基づく手法，単純な Encoder-decoder 言語生成モデル，両者を組み合わせた検索編集手法 (以下，それぞれ， Retrieval， Simple Generation, Retrieve \& Edit と表記）について比較を行う. 前置詞解説文に加えて，今まで研究例がない一般解説文
も対象とする。

各手法の性能は次のように予想される．Retrieval は，検索した解説文をそのまま出力するため柔軟性 に久け，最も性能が低い. Simple generation は，言語生成モデルであるので柔軟性が高く，より性能が 高い Retrieve \& Edit は, Retrieval と Simple Generation を組み合わせたような手法であるので，最も性能 が高い，以上をまとめると，性能順は， Retrieval < Simple Generation < Retrieve \& Edit と予想される.

興味深いことに，実際に性能を評価したところ上 の予想とは全く異なる結果が得られた. 更に，前置詞解説文と一般解説文では，異なる性能順位となる ことも明らかになった。具体的には，前置詞解説文 では， Retrieve \& Edit < Retrieval < Simple Generation，一方，一般解説文では Simple Generation < Retrieve \& Edit < Retrieval となった.

生成結果を詳細に分析したところ，いくつかの 要因が明らかになった. 結果は次のように要約さ れる. 第一に, Retrieve \& Edit では, “不要な生成” (over-editing と呼ぶ) が頻繁に発生する. Over-editing は，言語生成モデルの柔軟性を上回り，性能低下を 招く。その結果, Retrieval よりも低い性能となる.第二に，Simple Generation では，複数の解説内容を 混ぜて生成するような現象（mutant と呼ぶ）が起こ る. 複数の解説内容を混ぜたものは，当然，適切な 解説文とはならない. 相対的に解説の種類が少ない 前置詞解説文では mutant は発生しにくく, Simple generation の性能が最も良くなる。また，Retrieve \& Editでは，検索結果を利用するため mutant は起こり にくい，以上のことに基づき，性能向上のためのア イデアも議論する。

## 2 関連研究

解説文生成研究のためのデータセットが少しずつ 増えてきている。文献 [2] で，前置詞の用法を対象 にした解説文データセットが公開された. その後,文献 [1]で，その他の文法誤り，構成，語彙選択を含
表 1 各生成手法の全体の正解率.

む一般解説文のデータが公開された. 本稿では，こ の前置詞解説文と一般解説文のデータを利用する. そのほか，文献 [4] では， linking word の用法に着目 した解説文を含む学習者コーパスが公開された.

データの公開と共に，解説文生成手法の数も増え つつある. 人手で作成した規則に基づいて解説文を 生成する手法 $[5,6,7]$, テンプレートに基づいて解説文を作成する手法 [8], 検索に基づいた手法 [2] な どが知られている.これらの手法は広い範囲の誤り に柔軟に対応することが困難である。

より一般的には，解説文生成は，解説対象文と解説箇所を入力とした言語生成問題と捉えることがで きる. したがって，各種のニューラル言語生成モデ ルが本タスクに効果的であると予想される. そのよ うな研究に文献 [3] がある. しかしながら，解説文生成において，各種ニューラル言語生成モデルの性能比較を行った研究は我々が知る限り存在しない.

## 3 解説文生成手法

## 3.1 タスク定義と表記

文献 [2] に基づきタスクを定義する。 入力は，解説対象文と解説文の対象となるトークン位置 (以下，解説位置と表記）である。一方，出力は解説位置に対する解説文である.

形式的にタスクを定義するため，次の記号を導入 する. 解説対象文，その長さ (トークン数), $i$ 番目 のトークンをそれぞれ $S, N, w_{i}$ と表記する. すな わち， $S=w_{1}, \cdots, w_{i}, \cdots, w_{N}$ である. また，解説位置を $o$ と表記する. 更に,$S$ とoを組にしたものを $x$ と表記する. すなわち, $x$ は入力である.これに 対応させ，出力となる解説文を $\boldsymbol{y}$ と表記する。一方，生成（予測）された解説文は $\hat{y}$ のように^をつ けて表す.トークン $w_{i}$ に対応する隠れべクトルは $\boldsymbol{h}_{i}$ と表記する. また, $\boldsymbol{x}=(S, o)$ をエンコードした ベクトルを $\boldsymbol{c}$ と表記する.

Retrieval と Retrieve \& Edit では次の記号も使用す る. 入力 $\boldsymbol{x}$ に対する検索事例を $\boldsymbol{x}^{\prime}$ と表記する。ま た， $x^{\prime}$ に紐づいた解説文を $y^{\prime}$ と表記する。

## 3.2 Simple Generation

例 (1) のように $S$ 中の単語は $\boldsymbol{y}$ 中にもしばし ば出現する. したがって生成手法は $S$ 中の単語 をコピーできる機構をもっていることが望まし い.そのため，我々は pointer-generator network [9] を Encoder-Decoder として採用する.このネットワー クは大力文中の単語のコピーと語彙からの単語の生成を $p_{\text {gen }}$ の値に応じて制御する.

文献 [9] と違う点として, 本タスクでは解説位置 $o$ の情報を $\boldsymbol{c}$ に含める必要がある．具体的には，ま ず Bi-LSTM によって $S$ 中の各トークン $w_{i}$ を隠れべ クトル $\boldsymbol{h}_{i}$ に変換する. 次に $o$ 番目の隠れべクトル $\boldsymbol{h}_{o}$ を文脈ベクトル $\boldsymbol{c}$ として使用する. $\boldsymbol{c}$ はデコーダ への初期入力として用いられる.

## 3.3 Retrieval

この手法はニューラルネットワークを用いた検索 に基づく．具体的には，まず入力 $x$ と最も類似した $x^{\prime}$ をそれに対応する $y^{\prime}$ とともに訓練データから検索する. そして，検索した $y^{\prime} を \hat{y}$ として出力する. $x$ と $x^{\prime}$ の類似度はそれぞれに対応する文脈ベクトル $\boldsymbol{c}, \boldsymbol{c}^{\prime}$ の余弦類似度によって計算される.

$\boldsymbol{x}$ を にエンコードするためのネットワークとし て Simple Generation と同様なアーキテクチャを用い る. ただし， $\boldsymbol{x}$ の情報を全て $\boldsymbol{c}$ に含めるために，ア テンション機構は用いない.

## 3.4 Retrieve \& Edit

本手法は文献 [10] で提案された手法に基づく. 1 節で述べたように Retrieve \& Edit は Retrieval と Simple Generation を組み合わせたような手法である.本手法は Retriever と Editor と呼ばれる二つの独立し たネットワークからなる. Retrieval と全く同じネッ トワークを Retrieverとして使用する. ただし，訓練時には， $x$ 自身を除いて最も類似した事例を検索結果とする。また Simple Generation と概ね同じネット ワークを Editorとして使用する. Simple Generation との違いは検索した事例を考慮する必要がある点で ある. すなわち, Editor は Simple Generation の入力 $x$ に加えて, Retrieverにより検索された $x^{\prime} ， y^{\prime}$ を入力として生成を行う. これは，(1) $x, x^{\prime} ， y^{\prime}$ をれ ぞれ別のネットワークで文脈ベクトルに変換し，(2) これらの三つのべクトルを結合し，(3)それをデコー ダへの入力として用いる，という工程によって行

図 1 Retrieve \& Editにおける生成とコピーの確率の可視化.

われる。より詳細には， $\boldsymbol{x}$ と $\boldsymbol{x}^{\prime}$ は Simple Generation と同じ方法でエンコードし， $y^{\prime}$ のエンコードには Bi-LSTM の最終状態を用いる.

また Editor は一つのアテンション機構を持ち， $\boldsymbol{x}$, $\boldsymbol{x}^{\prime}, \boldsymbol{y}^{\prime}$ の全体に対して同時にアテンションを計算す る.これにより, Editor は $x, x^{\prime}, y^{\prime}$ のいずれからも コピーを行うことができる.

## 4 実験

本実験では，前置詞解説文および一般解説文を収録したデータセット [1]を用いる.このデータセッ トは学習者が書いたエッセイからなる。各エッセイ は，トピック“アルバイト”（PTJ）と“喫煙”（SMK） のいずれかである．本実験では，トピック別に各手法の性能評価を行う．データセットの統計值を付録 A に示す。また，訓練時の設定は付録 B に示す。

評価尺度は生成正解率 (解説箇所数に対する適切な生成結果の割合）とした. 適切, 不適切の判断 は，英語指導（2 年間）と英語統語アノテーション （10 年以上），両方に経験がある作業者に依頼した。

表 1 に，PTJと SMKをまとめた生成正解率を示す (個別の結果は付録 C に示す). 表 1 の生成性能は,前置詞解説文でも一般解説文でも，当初の予想とこ となる。具体的には，Retrieve \& Edit は，その名の 通り，手法の中に，Retrievalを含むにもかかわらず， Retrieval の性能を超えられていない。また，前置詞解説文では最も性能がよい Simple Generation が，一般解説文では最も性能が悪い.このような結果が得 られた理由を 5.2 で考察する。

## 5 考察

## 5.1 なぜ Retrieve \& Edit の性能は低いのか

Retrieve \& Edit の出力結果を分析すると，不必要 な編集をしてしまう現象（以下，over-editing と呼 ぶ）が確認できた。ここで， over-editing とは，解説文の適切さには影響しない単語の編集（生成）のこ とをさす。訓練時に，検索された解説文と目的の解説文が同一内容であっても，表層が異なると，その ような不必要な編集が学習される。言い換えれば， over-editing は，解説文における表層バリエーション の多さに起因するといえる。次の例を考える：

(2)動詞 agree は that 節を目的語にとりうる動詞な ので、目的語の前に前置詞 with は不要です。

(3)動詞 agree が同意する内容が節で書かれている 場合は前置詞 with は不要です。

この二つの解説文は，同じ文法規則についての解説 であるが表層は大きく異なる。解説文は自然言語で 記述されるため，このような表層的なバリエーショ ンは避けられない。例 (2) に対して例 (3) が検索さ れた場合には，そのまま出力すれば十分であるにも 関わらず，例 (2) のように書き換えるように訓練が 行われる。以上の例では二つの解説文のみを考えて いるが，実際の訓練データでは，表層は異なるが同種の誤りに対する解説文が多数存在しうる [2]. そ のような場合， over-editing はより顕著となる。

実際に over-editing を観察するために，Retrieve \& Edit における生成とコピーを制御する確率值 $p_{\text {gen }}$ を 用いて生成結果の可視化を行った（図 1)，図 1 では $p_{\text {gen }}$ の値が大きいほど，すなわち生成の確率が高い 単語ほど濃い赤となっている. 全体的に $p_{\text {gen }}$ の値 が大きく，検索してきた事例からコピーを行わず，語彙からの生成を行っている様子が観察できる。例 えば，図 1(1) は，検索された解説文の conclusion を reasons 書き換えるだけで適切な解説文となる例で ある。それにもかかわらず，Retrieve \& Editでは，単語のコピーはほとんど行わず，多くの単語を生成し ている。その結果，誤生成となっている。また，図 1(2) では，生成された解説文は正しいが，多くの単語を生成してしまっている．理想的には，検索結果 の少数の単語だけを置き換えることが好ましいが， over-editing により妨げられている.

どのような方法で，over-editing を抑制できるだろ うか. Over-editingを抑制し，少数の単語だけを生成 するモデルにするためには，少数の単語だけが置き 換わる訓練事例を Editor に与えるべきである。その 実現方法の一つに，解説文間の表層類似度を用いる 方法がある。訓練時に Retrieve \& Edit で用いている 隠れ状態の類似度（余弦類似度）に加えて，解説文

(a) 前置詞/Simple Generation

(c) 前置詞/Retrieval

(b) 一般/Simple Generation

(d) 一般/Retrieval図 2 各手法が出力した解説文と同一の解説文の訓練デー タ中の数. 横軸: 同一の解説文の訓練データの数. 縦軸: テストデータにおける頻度.

間の表層類似度を考慮して検索を行えば，表層の差異が少ない事例が Editor の訓練に用いられる．そう することで，検索結果を生かしつつ，少数の書き換 え規則のみが学習されやすくなると期待できる.

## 5.2 Simple Generation の順位の入れ替わり

Simple Generation の生成結果を分析すると，前置詞解説文と一般解説文では異なる振る舞いが見られ た. 前者では訓練データと表層的に非常に類似した 解説文を生成することが多い。一方，後者では，複数の解説内容を融合したような生成結果が頻繁に観測された（以下，この現象を mutant と呼ぶ）。例え ば, “* ... this activity is will not disturb their ...”に対 して，次のような mutant が生成された：

(4)主語に合わせて動詞を適切な形で用いましょ う。be 動詞は必要か確認しましょう。

一文目は主語と動詞の一致についての解説, 二文目 は be 動詞と一般動詞の併記に関する解説である. $\mathrm{Be}$ 動詞が解説位置である場合，この二種類の解説が なされることが多いことに起因すると分析できる.

この現象は, Encoder-Decoderによる生成を次のよ うなプロセスだと捉えると説明できる：(1) 入力 $\boldsymbol{x}$ により，ベクトル空間のある点が指定される，(2) その点に近い訓練事例があれば，それに対応した $\boldsymbol{y}$ が生成される，(3) ただし，その点に近い（解説内容が異なる）訓練事例が複数あると，混合され て $\hat{y}$ に映される. 解説内容の種類が相対的に少 ない前置詞解説文では，（3）の状況が起こりにく い. 相対的に種類数が多い一般解説文では例 (4) の ような別種の事例が $\boldsymbol{x}$ 周辺に配置されるため mutant ができやすい， mutant は基本的に全て誤生成とな る. 一方, Retrieval では複数事例の何れかを出力す
るため，一定の確率で生成に成功する. この点で， Simple generation は, Retrieve より性能が低くなる. では，なぜ前置詞解説文において Simple generation は最も高い性能を示すのだろうか. 一つの理由とし ては，Simple generation の柔軟性を挙げることがで きる. Retrieval で生成に失敗した事例のうち，数単語を書き換えたら正しくなるものは，それなりの数存在する（解説位置の $6 \%$ が該当する）。これらの失敗は，完全に一致する事例が訓練データに存在しな いことに起因する。一方，Simple generation ではそ のような事例にも対応可能である.

別の理由として，Simple Generation は解説文の条件付き生成確率を学習するため，頻度の高い解説文 を好むことを挙げることができる．正解率をあげ るという観点では，解説の種類が認識できていな い場合には，より頻度の高い解説文を出力するこ とが良い戦略である。このことに起因して Simple Generation の性能が高くなったと予想できる.

このことを確認するために，生成した解説文と同一の解説文が訓練データ中にどれだけ存在するかを 調べた。ただし，同一の解説文かどうかを人手で判定することは容易ではないので，正規化した編集距離が 0.1 未満の場合に同一の解説文だと疑似的にみ なした. その結果を図 2 に示す. 図 $2 \mathrm{a}, 2 \mathrm{c}$ を見ると， Retrieval は訓練データ中で頻度 1 の解説文を出力す ることが多いが，Simple Generation では頻度 2 以上 の解説文を出力することが多くなるのがわかる.こ のことから Simple Generation は頻度の低い解説文を 生成しにくく，それが正解率の向上に寄与したと考 えられる。一方で，図 $2 \mathrm{~b} ， 2 \mathrm{~d}$ を見ると一般解説文で は同様の傾向は見られない。逆に，一般誤解説文で は，Simple Generation は，訓練データに一度も出現 しない解説文を生成することが多いこともわかる. この中に，上で述べた mutant も含まれるであろう。

## 6 おわりに

本稿では英語学習のための解説文生成タスクに おける生成手法について比較を行った. 直感に反 し Retrieve \& Edit の性能が低いことや，タスクに よって生成手法の良し悪しに変化があることを示 し，その原因について考察を行った. 以上のことか ら，(1) 特定の項目に対する解説文生成では，Simple generation の拡張が有効である；(2)一般解説文生成 では, Retrieve \& Edit で over-editing を低減させるこ とが，性能向上につながると予想される.

## 参考文献

[1] Ryo Nagata, Kentaro Inui, and Shin' ichiro Ishikawa. Creating Corpora for Research in Feedback Comment Generation. In Proceedings of the 12th Language Resources and Evaluation Conference, pp. 340-345, 2020.

[2] Ryo Nagata. Toward a Task of Feedback Comment Generation for Writing Learning. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, pp. 3206-3215, 2019.

[3] 一晃塙, 亮永田, 健太郎乾. 高信頼度な文法誤り解説生成のための生成制御手法. 2020 年度人工知能学会全国大会（第 34 回）, 2020.

[4] Ildiko Pilan, John Lee, Chak Yan Yeung, and Jonathan Webster. A Dataset for Investigating the Impact of Feedback on Student Revision Outcome. In Proceedings of the 12th Language Resources and Evaluation Conference, pp. 332-339, 2020.

[5] Kathleen F Mccoy and Christopher A Pennington. English error correction: A syntactic user model based on principled mal-rule scoring. In In Proceedings of the Fifth International Conference on User Modeling, pp. 59-66, 1996.

[6] Jun'ichi Kakegawa, Hisayuki Kanda, Eitaro Fujioka, Makoto Itami, and Kohji Itoh. Diagnostic Processing of Japanese for Computer-Assisted Second Language Learning. In Proceedings of the 38th Annual Meeting of the Association for Computational Linguistics, pp. 537-546, 2000.

[7] Ryo Nagata, Mikko Vilenius, and Edward Whittaker. Correcting Preposition Errors in Learner English Using Error Case Frames and Feedback Messages. In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics, pp. 754-764, 2014.

[8] Yi-Huei Lai and Jason Chang. TellMeWhy: Learning to Explain Corrective Feedback for Second Language Learners. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing: System Demonstrations, pp. 235-240, 2019.

[9] Abigail See, Peter J Liu, and Christopher D Manning. Get To The Point: Summarization with Pointer-Generator Networks. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics, pp. 10731083, 2017.

[10] Tatsunori B Hashimoto, Kelvin Guu, Yonatan Oren, and Percy S Liang. A Retrieve-and-Edit Framework for Predicting Structured Outputs. In $S$ Bengio, $H$ Wallach, H Larochelle, K Grauman, N Cesa-Bianchi, and R Garnett, editors, Advances in Neural Information Processing Systems 31, pp. 10052-10062, 2018.

[11] Shinichiro Ishikawa. The ICNALE and sophisticated contrastive interlanguage analysis of Asian learners of English. Learner corpus studies in Asia and the world, Vol. 1, pp. 91-118, 2013.
表 2 使用したデータセットの統計量.

表 3 PTJと SMKにおける生成手法の正解率.

## A データセットの統計

実験に使用したデータセットの統計は表 2 の通り である.

## B 使用したハイパーパラメータ

実験に使用したハイパーパラメータは以下の通 りである. 全ての解説文生成手法中の LSTM は一層で中間層の次元は 300 である. 単語の分散表現の 次元数は 200 で, ICNALE[11] で事前学習したもの を用いる。訓練は学習率 0.001 の Adam を用いて 50 epoch 行う. 別のランダムシードを用いて五回ずつ 訓練を行い開発セット上で BLEU が最大になったも のを採用する。

## C 全ての評価結果

PTJとSMK それぞれの評価結果は表 3 の通りで ある.


# 文法誤り訂正モデルのエラー分析に基づく 疑似データ生成の効果検証

土肥康輔 須藤克仁 中村哲
奈良先端科学技術大学院大学
\{doi.kosuke.de8, sudoh, s-nakamura\}@is.naist.jp

## 1 はじめに

文法誤り訂正 (Grammatical Error Correction; GEC) は，テキスト中の文法的誤りを自動的に訂正するタ スクである。近年では，訂正を誤りが含まれる文か ら誤りが含まれない文への翻訳とみなし，ニューラ ル機械翻訳に基づくアプローチで取り組むことが主流となっている.ニューラル機械翻訳に基づくアプ ローチでは，モデルの訓練に大規模なパラレルデー タが必要となるが，機械翻訳で利用可能なデータ量 と比べて，GECで利用可能なデータ量は少量であ る.そこで，GECではモデルの訓練に疑似データを 用いることで，モデルの性能を向上させるというこ とが行われている $[1,2,3]$.

本研究では, 現状の GEC モデルのエラー分析に 基づき，訂正性能が悪い誤りカテゴリに関する疑似誤りを訓練データに追加することで，モデルの 訂正性能が向上するかを検証する，具体的には， Omelianchuk ら [4] と Grundkiewiczy ら [3] のモデル1) のエラー分析から訂正性能が悪いと判明した接続詞誤りに着目し, 訓練に用いる学習者データにおける 誤りパターンを考慮した疑似誤りを生成する．GEC では，大規模な単言語コーパスに疑似誤りを生成し たデータで事前学習したモデルを，少量の学習者 データで fine-tune することが一般的であるが，本研究では fine-tune に用いる学習者データに疑似誤りを 生成する。

実験では，疑似誤りを追加する割合を適切に設定 すれば，疑似誤りを含む学習者データで fine-tune を 行った後，さらに疑似誤りを含まない学習者データ で fine-tune することで，接続詞誤りの $\mathrm{F}_{0.5}$ スコアが 上昇することを確認した。また， 1 回目の fine-tune のデータには疑似誤りを追加せず，2 回目のデータ

に疑似誤りを追加する場合でも，同様に生成する疑似誤りの割合を適切にコントロールすれば， $\mathrm{F}_{0.5}$ ス コアが上昇する可能性があることが示された.

## 2 関連研究

疑似データの生成方法としては，逆翻訳ベースの 手法や，誤りが含まれない文に疑似誤りを直接生成 する手法が提案されている。

逆翻訳を用いた疑似データ生成は，ニューラル機械翻訳の文脈で Sennrich ら [5] によって提案された. [5] は，原言語と目的言語の入出力を入れ替えたモ デルに目的言語の単言語コーパスを入力して疑似対訳コーパスを得る。これを GECに応用すると，誤 りが含まれない文から誤りが含まれる文を生成する ようなモデルを訓練し，そのモデルに誤りが含まれ ない文を入力することで，誤りが含まれる文を得る ことができる. Xie ら [6] はこの逆翻訳を拡張し，モ デルのデコード時にノイズを加えることによって， より多くの誤りを含む文を生成できるようにした.佐藤ら [7] は，学習済みの逆翻訳モデルを特定の母語の学習者によって書かれた文で fine-tune すること で，母語の影響を考慮した疑似誤りを生成する手法 を提案している。

疑似誤りを直接生成する手法は，Zhao ら [8] に よって提案された。この手法では，誤りが含まれな い文に「置換・挿入・削除・入れ替え」の操作を行 うことで誤りが含まれる文を生成する。 しかし， [8] の手法では，人が犯さないような誤りを生成してし まう可能性があることが指摘されている. そこで，学習者の誤り傾向を考慮して疑似誤りを生成すると いうことが行われている $[2,9]$.

また，fine-tune によって特定のドメインに頑健な GEC モデルを作成する研究も存在する. Nădejde ら [10] は，書き手の母語情報と習熟度情報が付与さ れた学習者コーパスを用い，一般的な GEC モデル

を 12 の母語，5つの習熟度レベルに適応させる研究を行った. [10]では, 非公開の Cambridge Learner Corpus が用いられたが，佐藤ら [7] は一般公開され ている母語情報付きの学習者コーパスでモデルを fine-tune することで，3つの母語に適応させる試み を行っている。

従来研究では全誤りカテゴリの疑似誤りを生成し たデータを事前学習で用いていたのに対して, 本研究では，特定の誤りカテゴリに関する疑似誤りを加 えたデータでモデルを fine-tune することで，その誤 りカテゴリの訂正性能を向上させることを目指す.

## 3 疑似データ生成手法

疑似データの生成には，特定の誤りカテゴリに関 する誤りを選択的に生成するために，疑似誤りを直接生成する手法を用いる. 対象の誤りカテゴリは， [3][4] のモデルのエラー分析で訂正性能が低かっ た接続詞である. 対象となる接続詞は, \{and, but, or, so\}の 4 種類とし，学習者が犯す接続詞の誤りパ ターンを考慮するために，ERRANT[11]によって分類される「不足 (Missing) ・置換 (Replacement) - 余剩 (Unnecessary)」の 3 種類の誤りタイプごとに疑似誤りの生成方法を設定する. 本研究では，学習者 データに疑似誤りを生成するため，疑似誤りの生成元の文にすでに誤りが含まれている場合がある。も ともと存在する誤りを改変することによる影響を最小限に抑えるために，接続詞誤りがもともと含まれ ている文は，疑似誤りの生成対象から除外する.

接続詞が用いられている文は, 確率 $P$ で疑似誤り の生成対象とする。その文に含まれている接続詞の 削除または別の接続詞への置換の操作を行うこと で，それぞれ不足と置換の疑似誤りを生成する。訓練データの誤り分布分析に基づき2)，70\%の確率で 不足誤り，30\%の確率で置換誤りを生成し，置換後 の接続詞を選択するパラメータ prepl|orig は以下の ように設定することとした.

$
\begin{aligned}
& \left(p_{\text {but } \mid \text { and }}, p_{\text {or } \mid \text { and }}, p_{\text {so } \mid \text { and }}\right)=(0.30,0.60,0.10) \\
& \left(p_{\text {and } \mid \text { but }}, p_{\text {or } \mid \text { but }}, p_{\text {so } \mid \text { but }}\right)=(0.94,0.01,0.05) \\
& \left(p_{\text {and } \mid \text { or }}, p_{\text {but } \mid \text { or }}, p_{\text {so } \mid \text { or }}\right)=(0.99,0.01,0.00) \\
& \left(p_{\text {and } \mid \text { so }}, p_{\text {but } \mid \text { so }}, p_{\text {or } \mid \text { so }}\right)=(0.99,0.01,0.00)
\end{aligned}
$

なお，1文に複数の接続詞が含まれている場合は， ランダムに選択されたひとつの接続詞が操作の対象 となる.

2）詳細は付録 A に掲載する.接続詞が用いられていない文に対しては， $0.38 P$ の確率でランダムな位置に接続詞を挿入すること で余剰の疑似誤りを生成する．挿入する接続詞の選択は，不足・置換誤りのときと同様に訓練データの 誤り分布を反映して ( $\left.p_{\text {and } \mid \phi}, p_{\text {but } \mid \phi}, p_{\text {or } \mid \phi}, p_{s o \mid \phi}\right)=$ $(0.65,0.25,0.03,0.07)$ とした.

## 4 実験

## 4.1 データセット

実験に用いるデータは，4.2 節で後述する [4] の モデル構築に用いられたものに合わせた. 事前訓練データには，PIEコーパスに疑似エラーを生成した 900 万文 [12]を用いた. 訓練には，BEA2019 Shared Task on Grammatical Error Correction で配布された Lang-8[13], NUCLE[14], Write \& Improve + LOCNESS (W\&I+L) train[15] と, CLC-FCE Dataset[16] を用いた. Lang-8 と NUCLE は, [4]でのサイズに合 わせるためにサンプリングして使用した. データの 98\%を訓練データ，2\%を開発データとした。

評価データには，W\&I+L dev，CoNLL-2013[17]， CoNLL-2014[18]，FCE test[19]を用いた.

## 4.2 モデル

GEC モデルには, Omelianchuk ら [4] のモデル3)を 用いた. [4] は，入力トークンをターゲットの訂正 に変換するトークンレベルの変換を新たにデザィ ンし，GECを系列ラベリング問題として扱ってい る. モデルには，BERT 系の事前学習済みモデルの エンコーダーが用いられているが，本実験では，[4] で best single model であった XLNet を用いた. ハイ パーパラメータは, [4] の設定に準じた.

訓練は，疑似データによる事前学習（Stage1）と，学習者データによる 2 回の fine-tune から成る. 1 回目の fine-tune (Stage2) では学習者データのうち誤り を含む文のみが用いられ，2 回目の fine-tune (Stage3) では誤りを含む文と含まない文の両方が用いられ る. 各データセットのサイズと，それらが訓練のど の段階で用いられたかを表 1 に示す.

## 4.3 実験設定

3 節で述べた疑似データ生成手法を用い，Stage2 および Stage3 で用いるデータに疑似誤りを生成し た. 実験は，Stage2 のみで疑似データを用いる設

3) https:/github.com/grammarly/gector
表 1 訓練に使用したデータセット

表 2 モデルの構築に用いたデータの疑似誤り生成確率

 &  \\

Stage2_10 & $10 \%$ & - \\
Stage2_30 & $30 \%$ & - \\
Stage2_50 & $50 \%$ & - \\
Stage3_05 & - & $5 \%$ \\
Stage3_10 & - & $10 \%$ \\
Stage3_30 & - & $30 \%$ \\
Stage3_50 & - & $50 \%$ \\

定と, Stage3 のみで疑似データを用いる設定の 2 種類を行った. Stage2 での疑似誤り生成確率は, $P=(0.5,0.3,0.1)$, Stage3 では $P=(0.5,0.3,0.1,0.05)$ とした. ベースラインには，疑似誤りを含まない データで 2 回の fine-tune を行ったモデルを用意し た.構築したモデルの一覧とその構築のために用 いたデータの関係を表 2 に示す. モデルの性能は， ERRANT により算出される $\mathrm{F}_{0.5}$ スコアにより評価 した. W\&I+L dev, CoNLL-2013, CoNLL-2014, FCE testのそれぞれに対し，訂正全体と接続詞訂正の $\mathrm{F}_{0.5}$ スコアを算出した.

## 4.4 実験結果

実験結果を表 3 に示す. Stage3 後の接続詞訂正の $\mathrm{F}_{0.5}$ スコアを比較すると，疑似データを導入するこ とで，接続詞訂正の性能が向上する場合と悪化する 場合の両方があることがわかる。 また, CoNLL-2013 における接続詞訂正で最も高いスコア（28.41）を達成した Stage2_50 が，W\&I+L dev ではベースライン よりスコアが悪化（26.79 19.23）しているように，接続詞訂正の性能がすべての評価セットでべースラ インより向上しているモデルは見られなかった. こ れらの結果から, 訂正対象のデータに応じて疑似誤 り生成確率を適切に設定すれば，fine-tune に用いる データに疑似誤りを導入する手法がモデルの訂正性能向上に効果的であることが示唆される. Stage3 で疑似誤りを導入する場合は，比較的小さい疑似誤り生成確率 ( W\&I+L と CoNLL-2013 : $P=0.05$, CoNLL-2014 と FCE test $: P=0.1 ＼mathrm{~ を 設 定 し た と き ~}$ に接続詞訂正の $\mathrm{F}_{0.5}$ スコアがベースラインから上昇
しているのに対し，Stage2 で疑似誤りを導入する場合は， $P=0.3$ または $P=0.5$ のように大きめの生成確率を設定したときにスコアの上昇幅が大きくなっ ている.

## 4.4.1 疑似データ導入タイミング

各評価セットにおいて，接続詞訂正の $\mathrm{F}_{0.5}$ スコ アが Stage3 後に最も高くなっているのは， W\&I+L devを除いて, Stage2 で疑似誤りを導入したモデ ルであった. CoNLL-2013 と CoNLL-2014において は, Stage2_50 のスコア $(28.41,54.69)$ が最も高く, FCE test では Stage2_30 のスコア（21.28）が最も高 い. Stage2_30は，W\&I+L dev の接続詞訂正におい ても，Stage3_05に次ぐ2 番目に高いスコアを達成し ている. Stage3 で疑似誤りを導入したモデルにも， ベースラインと比較して訂正性能が向上したものが 存在するが，スコアの上昇幅は Stage2 で疑似誤り を導入したモデルよりも小さくなっている. 各評価 セットにおけるスコアの上昇幅の最大値を，疑似誤 りの導入タイミングで比較した結果を表 4 に示す. これらの結果から，疑似誤りを含む学習者データで fine-tune を行った後, さらに疑似誤りを含まない学習者データで fine-tune するほうが，対象の誤りカテ ゴリに対する訂正性能が大きく改善する可能性があ ることが示唆される ${ }^{4)}$.

## 4.4.2 疑似データ導入の効果と影響

表 3 より, Stage2 で疑似データを導入すると， Stage 2 終了時点の接続詞訂正の $\mathrm{F}_{0.5}$ スコアはベース ラインより低下することがわかる. このスコア変化 は, Precisionが低下する一方で, Recallが上昇するこ とによって引き起こされている。疑似誤り導入後の 接続詞訂正の Precision と Recall の值を表 5 に示す.疑似データを含まない学習者データで fine-tune した ときは（S2_base）, Precision が Recall より高くなっ ているのに対して，疑似データを導入すると Recall のほうが Precision より高くなっている. Stage3 に疑似誤りを導入した場合でも，疑似誤りの生成確率が 高くなるにつれて Precision が低下する一方で Recall が上昇する傾向がみられる. fine-tune に用いるデー タへの疑似誤り導入は Recall 向上に効果があり, 2 回の fine-tune のうち 1 回目の段階で Recall を高めて おくことが，最終的な接続詞訂正性能の向上に寄与

4）訂正全体の～$F_{0.5}$ スコアへの影響を考慮していないことに注意が必要である. 疑似データ導入による影響は 4.4.2節で述べ з.
表 $3 \quad \mathrm{~F}_{0.5}$ スコアによる訂正性能の比較. Overall は訂正全体，CONJ は接続詞訂正を表す.

 & 46.84 & 28.06 & 43.19 & 19.74 & 55.87 & 28.57 & 52.20 & 21.93 \\
& & & & & & & & \\
Stage2_10 & 45.90 & 13.36 & 42.32 & 10.42 & 55.57 & 21.21 & 52.11 & 14.15 \\
Stage2_30 & 45.50 & 9.08 & 42.45 & 11.36 & 53.74 & 17.72 & 51.61 & 13.83 \\
Stage2_50 & 43.35 & 7.86 & 40.91 & 9.09 & 53.68 & 14.51 & 51.20 & 9.84 \\

Baseline & 50.73 & 26.79 & 43.17 & 20.83 & 56.59 & 35.71 & $\mathbf{5 3 . 3 5}$ & 0.00 \\
& & & & & & & & \\
Stage2_10 & 51.02 & 25.57 & 43.18 & 20.83 & $\mathbf{5 7 . 0 2}$ & 38.46 & 53.15 & 11.63 \\
Stage2_30 & $\mathbf{5 1 . 6 5}$ & 29.26 & 43.59 & 19.23 & 56.16 & 40.00 & 52.96 & $\mathbf{2 1 . 2 8}$ \\
Stage2_50 & 50.76 & 19.23 & $\mathbf{4 3 . 7 0}$ & $\mathbf{2 8 . 4 1}$ & 56.03 & $\mathbf{5 4 . 6 9}$ & $\mathbf{5 3 . 3 5}$ & 17.44 \\
& & & & & & & & \\
Stage3_05 & 50.86 & $\mathbf{3 0 . 4 9}$ & 43.27 & 27.17 & 56.55 & 31.25 & 52.92 & 15.31 \\
Stage3_10 & 50.89 & 25.74 & 43.09 & 20.16 & 56.47 & 44.64 & 52.81 & 16.23 \\
Stage3_30 & 50.19 & 17.01 & 43.19 & 12.93 & 55.94 & 23.39 & 52.83 & 14.00 \\
Stage3_50 & 49.47 & 9.62 & 42.24 & 7.89 & 55.53 & 16.98 & 51.82 & 10.56 \\

表 4 疑似誤り導入タイミングによる

表 5 接続詞訂正の Precision と Recall の值. Stage2_XX は Stage2 終了後, Stage3_XX は Stage3 終了後の値である. W\&I+L dev CoNLL-2013 CoNLL-2014 FCE test

している可能性が考えられる.

また，CoNLL-2014における Stage2_50 や FCE test における Stage2_30のように，接続詞訂正の性能が ベースラインより向上しているにも関わらず，訂正全体の性能が悪化している場合も存在する.これ は，ある誤りカテゴリの疑似誤りを生成すること が，別の誤りカテゴリに関するモデルの学習に影響 を与えていることを示唆している。本実験では，接続詞の余剰誤りを生成する手法が問題となった可能性がある. 余剰誤りを生成する対象の文は，接続詞誤りが含まれていないことは保証されているが，そ れ以外の誤りの有無は確認していなかった. その文
のランダムな位置に接続詞が挿入されることで，も ともと存在していた誤りが変質してしまったことが 考えられる。

## 5 おわりに

本研究では，現状の GEC モデルで訂正性能が低 い接続詞誤りに着目し, fine-tune に用いる学習者 データに疑似誤りを追加することで，モデルの接続詞誤りの訂正性能が向上するかを検証した．実験の 結果，生成する疑似誤りの割合を適切に設定すれ ば，fine-tune に用いる学習者データに疑似誤りを追加することで接続詞誤りの $\mathrm{F}_{0.5}$ スコアが向上するこ とがわかった.

本研究では接続詞誤りについてのみ実験を行った ので，別の誤りカテゴリにおいても本手法が効果的 であるかを今後検証する必要がある．また，学習者 データにもともと存在する誤りに影響を与えないよ うな疑似データ生成手法の検討も必要である。例え ば，誤りが存在する区間には疑似誤りを生成しない ように制御する方法や，gold reference の訂正を適用後の文法的に正しい文に対して疑似誤りを生成する 方法などが考えられる。疑似誤りを fine-tune データ に導入することでモデルの訂正性能が向上できるこ とが確認されれば，特定のドメインや学習者集団の 特徴への適応が容易になることが期待される。

## 謝辞

本研究の一部は JSPS 科研費 JP17H06101 の助成を 受けたものである.

## 参考文献

[1] Shun Kiyono, Jun Suzuki, Masato Mita, Tomoya Mizumoto, and Kentaro Inui. An empirical study of incorporating pseudo data into grammatical error correction. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 1236-1242, 2019.

[2] Yo Joong Choe, Jiyeon Ham, Kyubyong Park, and Yeoil Yoon. A neural grammatical error correction system built on better pre-training and sequential transfer learning. In Proceedings of the Fourteenth Workshop on Innovative Use of NLP for Building Educational Applications, pp. 213-227, 2019.

[3] Roman Grundkiewiczy, Marcin Junczys-Dowmuntz, and Kenneth Heafield. Neural grammatical error correction systems with unsupervised pre-training on synthetic data. In Proceedings of the Fourteenth Workshop on Innovative Use of NLP for Building Educational Applications, pp. 252-263, 2019.

[4] Kostiantyn Omelianchuk, Vitaliy Atrasevych, Artem Chernodub, and Oleksandr Skurzhanskyi. GECToR grammatical error correction: Tag, not rewrite. In Proceedings of the Fifteenth Workshop on Innovative Use of NLP for Building Educational Applications, pp. 163-170, 2020.

[5] Rico Sennrich, Barry Haddow, and Alexandra Birch. Improving neural machine translation models with monolingual data. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 86-96, 2016.

[6] Ziang Xie, Guillaume Genthial, Stanley Xie, Andrew Y. $\mathrm{Ng}$, and Dan Jurafsky. Noising and denoising natural language: Diverse backtranslation for grammar correction. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 619-628, 2018.

[7] 佐藤義貴, 和田崇史, 渡辺太郎, 松本裕治. 英語学習者 の母語を考慮した文法誤り訂正のための擬似データ 生成. 研究報告自然言語処理 (NL), Vol. 2020-NL-246, No. 5, pp. 1-5, 2020.

[8] Wei Zhao, Liang Wang, Kewei Shen, Ruoyu Jia, and Jingming Liu. Improving grammatical error correction via pre-training a copy-augmented architecture with unlabeled data. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 156-165, 2019.

[9] Yujin Takahashi, Satoru Katsumata, and Mamoru Komachi. Grammatical error correction using pseudo learner corpus considering learner's error tendency. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: Student Research Workshop, pp. 27-32, 2020.

[10] Maria Nădejde and Joel Tetreault. Personalizing grammatical error correction: Adaptation to proficiency level and L1. In Proceedings of the 5th Workshop on Noisy User-generated Text (W-NUT 2019), pp. 27-33, 2019.

[11] Christopher Bryant, Mariano Felice, and Ted Briscoe. Automatic annotation and evaluation of error types for grammatical error correction. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 793-805, 2017.

[12] Abhijeet Awasthi, Sunita Sarawagi, Rasna Goyal, Sabyasachi Ghosh, and Vihari Piratla. Parallel iterative edit models for local sequence transduction. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLPIJCNLP), pp. 4260-4270, 2019.

[13] Tomoya Mizumoto, Mamoru Komachi, Masaaki Nagata, and Yuji Matsumoto. Mining revision log of language learning SNS for automated Japanese error correction of second language learners. In Proceedings of 5th International Joint Conference on Natural Language Processing, pp. 147-155, 2011.

[14] Daniel Dahlmeier, Hwee Tou Ng, and Siew Mei Wu. Building a large annotated corpus of learner English: The NUS corpus of learner English. In Proceedings of the Eighth Workshop on Innovative Use of NLP for Building Educational Applications, pp. 22-31, 2013.

[15] Christopher Bryant, Mariano Felice, Øistein E. Andersen, and Ted Briscoe. The BEA-2019 shared task on grammatical error correction. In Proceedings of the Fourteenth Workshop on Innovative Use of NLP for Building Educational Applications, pp. 52-75, 2019.

[16] Diane Nicholls. The Cambridge learner corpus - error coding and analysis for lexicography and ELT. In Proceedings of the Corpus Linguistics 2003 conference, Vol. 16, pp. 572-581, 2003.

[17] Hwee Tou Ng, Siew Mei Wu, Yuanbin Wu, Christian Hadiwinoto, and Joel Tetreault. The CoNLL-2013 shared task on grammatical error correction. In Proceedings of the Seventeenth Conference on Computational Natural Language Learning: Shared Task, pp. 1-12, 2013.

[18] Hwee Tou Ng, Siew Mei Wu, Ted Briscoe, Christian Hadiwinoto, Raymond Hendy Susanto, and Christopher Bryant. The CoNLL-2014 shared task on grammatical error correction. In Proceedings of the Eighteenth Conference on Computational Natural Language Learning: Shared Task, pp. 1-14, 2014.

[19] Helen Yannakoudakis, Ted Briscoe, and Ben Medlock. A new dataset and method for automatically grading ESOL texts. In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, pp. 180-189, 2011.

## A 訓練データの接続詞誤り分布

訓練データ中で接続詞が用いられている文の数（470,068）に表 6 の余剰誤りの割合をかけた值と，訓練データ中で接続詞が用いられていない文の数（723,983）に不足・置換誤りの割合の和をかけた值の比から，接続詞が用いられていな い文に対する疑似誤り生成確率 0.38 を得た. また，不足誤りと置換誤りの比 $7: 3$ も表 6 から得た. 余剩誤り生成のため に挿入する接続詞の割合と，置換誤り生成のための置換後の接続詞の割合は，それぞれ表 7，表 8 から得た.

} \\

## B 事例分析

疑似データを用いたことによるモデル出力の変化を表 9 に示す. 不足誤りと置換誤りについては， and と or が関わる 誤りにおいて疑似誤りを用いたモデルで改善が見られた。しかし，余剩誤りについては，あまり改善が見られなかった.改善が見られた誤りは，疑似データ生成の確率パラメータが大きく設定されているものである．多数の疑似誤りが生成 された誤りの訂正性能が高まる傾向は，[2] で報告されている結果と一致する．また，ベースラインでは正しく訂正でき ていたが疑似データを用いたモデルでは訂正に失敗した例，不必要な訂正をしてしまった例を表 10 に示す.


# 画像と単語の不一致を考慮した疑似教師ありキャプション生成

本多右京 1,3 牛久祥孝 2 橋本 敦史 ${ }^{2}$ 渡辺太郎 ${ }^{1}$ 松本裕治 ${ }^{3}$
1 奈良先端科学技術大学院大学大学 2 オムロンサイニックエックス株式会社
3 理化学研究所
\{honda.ukyo.hn6, taro\}@is.naist.jp
\{yoshitaka.ushiku, atsushi. hashimoto\}@sinicx.com
yuji.matsumoto@riken.jp

## 1 はじめに

画像キャプション生成は，画像から自然言語で説明文を生成するタスクである。人手でアノテーショ ンされた膨大な画像とキャプションのペア [1,2]を 学習データとして, 目覚ましい進歩が報告されてき た $[3,4,5]$. しかし，大規模な学習データでもカバー する事物は限定的であり1)，記述できる事物を増や すためには更にアノテーションコストがかかる.

疑似教師ありキャプション生成 ${ }^{2}$ は，画像とキャ プションのペアがない事物に対して，アノテーショ ンなしでキャプション生成を行う試みである $[8,9]$.学習に画像とキャプションのペアを用いないことで この状況を作り，物体検出モデルの出力した物体名 と，アノテーションが不要で大量に利用可能な，ぺ アでない画像と文だけを入力として学習を行う.

先行研究 $[8,9]$ は，画像から検出された物体名を 含んだ文を擬似キャプションとし，画像の特徵量と この一文全体の特徵量とを近づける学習を行う。し かし，疑似キャプションには画像に対応しない記述が多く含まれるという問題がある. 例えば，cat と girl が検出された画像に対する疑似キャプショ ンには "a girl is holding a cat” や "a cat is sleeping with a girl", "a girl is running with a cat”などが考えられる が，最初の文が正しく画像を説明した記述だった場合，それ以外の文の “sleeping with” や “running with”

1）代表的なデータセットである MS COCO[2] では，物体検出 データに定義されている 500 の物体カテゴリのうち約 400 が キャプションに一度も出現しない [6]. また，学習に用いられ る語彙数が全体で 8791 と少なく [7], 物体以外についても力 バーしている事物が限定的である.

2）先行研究 $[8,9]$ では, 画像とキャプションのペアが要求さ れないという意味で，教師なしキャプション生成と呼ばれて いるタスクである。しかし，この名称では物体検出モデルを 要求する点に誤解が生じるおそれがあるため，本稿ではこの タスクを疑似教師ありキャプション生成と呼称する.
といった記述は画像に対して誤った教師信号を与え てしまうことになる（図 1 左）。

この部分的な記述の不一致に対処するため，本研究では，簡単なゲート機構と記述の一致・不一致に 対する疑似教師信号を用いて，画像と齯䶣のある単語については画像特徴量から生成しないよう抑制す る手法を提案する。実験の結果，提案手法が先行研究の性能を上回り，部分的な不一致を考慮すること の重要性が示された. また，提案手法は，モデルの 初期化手法として先行研究の手法と組み合わせるこ とで，さらに性能を向上させることが確認された。

## 2 関連研究

学習データにない事物を記述する試みとしては，学習データに現れない物体を物体検出の出力を利用 して記述する novel object captioning $[10,6,11]$ や，物体，属性，関係に関して学習データにない組み合わ せの事例でテストを行う試み $[12,13]$ などがある.

これらのタスクは，ペアになった画像とキャプ ションがテストデータの大部分の要素をカバーす る状況でペアを学習に用いる．疑似教師ありキャプ ション生成はこの状況が成り立たないテストを想定し，ペアになっていない画像と文だけを用いて 学習を行う [8]. ただし, novel object captioning と同様，事前学習した物体検出器で予測された物体名は 利用する。この準備段階的なタスクである unpaired image captioning $[8,9,14,15]$ では，扱う画像と文は 元々ペアになっていたものだけを使うのに対して，疑似教師ありキャプション生成では画像と文はそれ ぞれ別のリソースから取得したものを想定する。

先行研究 $[8,9]$ の問題点は，いずれも擬似キャプ ションの一文全体の特徴量を画像特徴量と対応付け るよう学習するため，1 節で指摘したように，疑似 キャプション中の部分的な不一致も学習に使ってし

cat girl $\$$ a girl is holding a cat $\mathbf{x}$ a cat is sleeping with a gir $\mathbf{x}$ a girl is running with a cat

図 1 提案手法概要. モデルへの入力は，画像，検出された物体名，疑似キャプション（図左）モデルは疑似キャプ ション中の各単語を，画像との対応度を考慮しながら生成するよう学習する（図右）. 基本モデルの出力 $h$ ，ゲートの值 $g$ ，ゲートへの疑似教師信号 $f$ の詳細はそれぞれ，3.1，3.2，3.3 節を参照. 破線は学習時のみ適用される処理を表す.

まうことである. [8] はまず，物体名を含む任意の 文に対して，その含まれる物体名のエンコードから 元の文を復元する疑似キャプション生成器を学習す る.この疑似キャプション生成器を画像から検出さ れた物体名に対して適用し，その出力をその画像に 対する疑似キャプションとする。 [9]では，画像か ら検出された物体名を含む文をそのまま疑似キャ プションとして用いる. 疑似キャプションを得た後 は，画像と擬似キャプションの特徵量に対して，双方向の特徵量再構成 $[8]$ や距離学習 [9] を適用して,画像と擬似キャプションとの対応付けを学習する。

## 3 手法

本研究では，画像と齯齬のある単語を画像に対す る教師信号として用いないよう抑制する手法を提案 する。手法の概要を図 1 に示す.

## 3.1 基本モデル

教師ありキャプション生成では画像 $\boldsymbol{I}$ に対して正解のキャプション $\boldsymbol{y}$ が与えられるが，疑似教師あり キャプション生成では, 画像から検出された物体名 を含む任意の文 $\hat{y} て ゙ ~ y$ を代替する。提案手法の基本

$\hat{\mathbf{y}}=\left[\hat{y}_{1}, \ldots, \hat{y}_{T}\right] \quad\left(\hat{y}_{T}\right.$ は<eos>トークン）の各ペアに対 して, 条件付き確率 $p(\hat{\boldsymbol{y}} \mid \boldsymbol{I})=\prod_{t=1}^{T} p\left(\hat{y}_{t} \mid \hat{y}_{<t}, \boldsymbol{I}\right)$ を 以下のようにモデル化する：

$
\begin{aligned}
p\left(\hat{y}_{t} \mid \hat{y}_{<t}, \boldsymbol{I}\right) & =\frac{\exp \left(\boldsymbol{h}_{t}^{\top} \boldsymbol{W}_{o} \Pi\left(\hat{y}_{t-1}\right)\right)}{\sum_{\hat{y}} \exp \left(\boldsymbol{h}_{t}^{\top} \boldsymbol{W}_{o} \Pi(\hat{y})\right)}, \\
\boldsymbol{h}_{t} & = \begin{cases}\operatorname{Dec}\left(\frac{\boldsymbol{v}}{\|\boldsymbol{v}\|_{2}}, \boldsymbol{h}_{0}\right) & \text { if } t=1 \\
\operatorname{Dec}\left(\boldsymbol{e}_{t}, \boldsymbol{h}_{t-1}\right) & \text { otherwise. }\end{cases}
\end{aligned}
$

入力は, $\boldsymbol{v}=\boldsymbol{W}_{a} \operatorname{Enc}(\boldsymbol{I}), \boldsymbol{e}_{t}=\boldsymbol{W}_{e} \Pi\left(\hat{y}_{t-1}\right)$, ゼロベクト ル $h_{0} \in \mathbb{R}^{d}$. ここで, $\Pi(x)$ は単語 $x$ に対応する onehot ベクトルを出力する関数，Dec($\cdot$) はRNN， Enc($\cdot$)
は画像分類を事前学習した CNN， $\boldsymbol{W}_{a} \in \mathbb{R}^{d \times d^{\prime}}$ は画像特徴量に対する線形変換行列， $\boldsymbol{W}_{e}, \boldsymbol{W}_{o} \in \mathbb{R}^{d \times N}$ は 語彙数 $N$ の単語埋め込み行列である.

## 3.2 ゲート機構の導入

疑似キャプションは，1 節で述べたように，画像 に対応しない記述を含む. この画像と擬似キャプ ションとの部分的な不一致を考慮するため，疑似 キャプション中の各単語の生成に画像の特徵量を どの程度使うかを制御するゲート機構を導入する。 ゲート機構は式 (1)を以下のように変更する：

$
\begin{aligned}
p\left(\hat{y}_{t} \mid \hat{y}_{<t}, \boldsymbol{I}\right) & =\frac{\exp \left(\boldsymbol{r}_{t}^{\top} \boldsymbol{W}_{o} \Pi\left(\hat{y}_{t-1}\right)\right)}{\sum_{\hat{y}} \exp \left(\boldsymbol{r}_{t}^{\top} \boldsymbol{W}_{o} \Pi(\hat{y})\right)}, \\
\boldsymbol{r}_{t} & =g_{t} \frac{\boldsymbol{W}_{v} \boldsymbol{v}}{\left.\|\boldsymbol{W}_{v} \boldsymbol{v}\right.\|_{2}}+\left(1-g_{t}\right) \boldsymbol{h}_{t}, \\
g_{t} & =\operatorname{sigmoid}\left(\tanh \left(\boldsymbol{W}_{k} \boldsymbol{v}\right)^{\top} \boldsymbol{h}_{t}\right) .
\end{aligned}
$

ここで, $g \in[0,1]$ はゲートの值, $\boldsymbol{W}_{k}, \boldsymbol{W}_{v} \in \mathbb{R}^{d \times d}$ は 画像特徴量に対する線形変換行列である。ゲートを 通すことで，各タイムステップでの出力で画像特徴量を $g$ の重み付きで用いることができる。これによ り，疑似キャプション中で画像に対応する部分につ いては $g$ を大きく，そうでない部分については $g$ を 小さくして，画像と疑似キャプションとの部分的な 一致・不一致を考慮することを可能にする。

画像と擬似キャプションの各ペアに対して，ゲー 卜機構付きモデルは以下の交差エントロピー誤差 $L_{g}$ を最小化するよう学習する：

$
L_{g}=-\frac{1}{T} \sum_{t=1}^{T} \log p\left(\hat{y}_{t} \mid \hat{y}_{<t}, \boldsymbol{I}\right)
$

## 3.3 ゲートへの疑似教師信号

3.2 節で導入したゲート機構は，疑似キャプショ ン中でどの単語が画像に対応しているのかについて 教師信号を与えられていない，タスクの設定上正し

表 1 先行研究との比較. 二重線の上下は，それぞれ先行研究 Prev. [8, 9] の実験設定に対応する. 提案手法のスコアは 5 回の試行の平均と標準偏差. Prev. [9] の BLEU-1 から 3 と SPICE のスコアについては, 論文での報告がないため空欄.

い教師信号を与えることはできないが，以下のよう

に擬似的に教師信号を与えることはできる.

疑似キャプションは，画像から検出された物体名 だけを頼りに取得される。そのため，物体名以外の 単語については画像と対応している可能性が低い.提案手法では，この対応関係を反映した擬似教師信号 $f$ を用いる. $f$ は, $\hat{y}_{t}$ が画像から検出された物体名である場合は $f_{t}=1$, それ以外の場合は $f_{t}=0$ と なる.この $f$ を $g$ に対する教師信号として，以下の 交差エントロピー誤差 $L_{f}$ を最小化する：

$
L_{f}=-\frac{1}{T} \sum_{t=1}^{T}\left.\{\alpha f_{t} \log g_{t}+\left(1-f_{t}\right) \log \left(1-g_{t}\right)\right.\}
$

ここで， $\alpha$ は $f_{t}=1$ での誤差を重み付けるハイパー パラメータである. 疑似キャプション中で検出物体名に対応する単語はそれ以外の単語に比べて数が少 ないため， $\alpha$ にはこの比率を考慮した値を設定する。

ゲートに上記の疑似教師信号を与えると，式 (4) から，基本的に，物体名については画像特徴量を 使って生成し, それ以外の単語については前タイム ステップまでの文脈特徴量を使って生成することに なる。これにより, 物体名以外については画像特徵量に対応した生成を学習できなくなる反面，画像に 一致しない可能性の高い記述を画像から生成するよ う強制してしまうことが避けられる。

提案手法の最終的な損失関数 $L$ は以下とする：

$
L=L_{g}+L_{f}
$

## 3.4 物体名デコードへの制約

式 (4) では, $g_{t}=1$ のとき, $t$ によらず同じ特徴量 $\boldsymbol{W}_{v} \boldsymbol{v} /\left.\|\boldsymbol{W}_{v} \boldsymbol{v}\right.\|_{2}$ から $\hat{y}_{t}$ が予測される. このため, こ のまま用いるとデコード時に同じ物体名を繰り返し 出力する問題が起きる. そこでデコード時には, 物体検出器に定義されている物体カテゴリのうち，一度生成した物体名についてはそれ以降のタイムス テップでの生成確率を 0 にする制約を加える.

表 2 出力キャプションとその参照キャプションから抽出 した, 物体名 / その他の単語の BoW の平均一致度.

## 4 実験

## 4.1 実験設定概要

先行研究に従って，学習に使う画像データには MS COCO [2] の学習データ [7], テキストデータには Web から取得された画像説明文 $[8,16]$ を使用した. ただし，これらのテキストデータには MS COCO の キャプションは含まれていない. 評価は, MS COCO の評価用データに対して BLEU [17], ROUGE [18], METEOR [19], CIDEr [20], SPICE [21] の自動評価指標を適用して行った。表の数值はすべて， MS COCO のテストデータで算出した.

実験設定の詳細部分では，先行研究 $[8,9]$ はそれ ぞれやや異なる設定をとっている。詳細については 付録 $\mathrm{A}$ を参照されたい.

## 4.2 先行研究との比較

表 1 に先行研究のスコアとの比較を示す. 先行研究のいずれの設定においても，すべての評価指標で 提案手法が先行研究を上回るスコアを示しており，提案手法の有効性が確認された

## 4.3 物体名以外の生成における比較

疑似キャプション中で画像との不一致がある可能性が高いのは物体名以外の単語である（3.3 節)，提案手法はこの不一致を学習に使わせないことに重点

表 3 提案手法と先行研究手法 Prev. [8] の併用の結果. Ours が含まれる手法のスコアは 5 回の試行の平均と標準偏差.

を置くので，特に物体名以外の単語の生成において 先行研究に対する改善があることが期待される.こ の改善を確かめるため, 出力キャプションとその参照キャプションから, 物体検出器に定義されている 物体カテゴリの単語とそれ以外の単語のそれぞれを 抽出した Bag of Words (BoW) を作成し, 出力-参照ぺ アで BoW の平均一致度を算出した. 比較は, 実装 が公開されている先行研究 [8] に対して行った.

表 2 から，提案手法が物体名以外の単語の生成 で先行研究 [8] を上回っていることがわかる. 特に Precision での差が大きいことから, 学習において特 に画像との不一致が多い部分については，これを画像に対して教師信号として与えると, 誤って画像に 対応付けられた余計な記述が生成されてしまうのだ と考えられる。これに対して提案手法は，物体名以外は基本的に前文脈に対して頻度の高い単語を生成 する学習を行う．これによる頻出系列の方が，画像 に一致した出力になりやすいことがわかった.

## 4.4 モデルの初期化手法としての活用

提案手法が画像に対してそれと䶞䶣のある単語を 対応付けない学習に重点を置いているのに対して，先行研究は多少の䶡䶣はあっても画像に一文全体を 対応付ける学習に重点を置いている. 両者が重視し ている互いに異なる要素を補うため，これらを組み 合わせた手法の実験を行った. 先行研究 [8] の実験設定で，学習データの画像に対して学習済みの提案 モデルでキャプションを出力し，画像とキャプショ ンのペアを作成する. このぺアを使って画像から上記のキャプションを生成する学習を行い, 先行研究 のキャプション生成モデルのパラメータを初期化, その後, 通常通り先行研究 [8] の手法を学習させた.

表 3 から，提案手法と先行研究を組み合わせた手法（Ours + Prev. [8]）は，元の手法からさらにスコア を向上させることがわかった. この結果から，提案手法はそれ単体としてだけでなく，モデルの初期化手法として汎用的に活用されうると考えられる. (a)

(b)

(c)

(a)

図 2 出力例. Objects は画像から検出された物体.

## 4.5 出力例

図 2 にモデル別のキャプション出力例を示す. 物体名以外の単語について, 提案手法が前置詞や冠詞 など物体との共起頻度の高い単語を出力する傾向が あるのに対して, 先行研究 [8] は, “portrait of", “in the savuti, kenya", "in the morning"など物体との共起頻度が比較的低い記述を生成する傾向が見られる。 このような共起頻度の低い記述は，いずれの例にお いても画像と一致していない. 反対に，物体名につ いては，(b) と (c)のように提案手法が余計な出力を する傾向がある。(c)では, 先行研究の手法を組み合 わせることでこの物体名の誤りが改善されている。

## 5 おわりに

本研究では，疑似教師ありキャプション生成にお いて擬似キャプションが画像に対して部分的に一致 しない問題に着目し，この齯䶣のある部分を画像に 対して教師信号として与えないよう抑制する手法を 提案した. 実験の結果, 提案手法が先行研究の性能 を上回り，疑似教師ありキャプション生成において 上記の問題を考慮することの重要性が示された. ま た, 提案手法は，モデルの初期化手法として先行研究の手法と組み合わせることで，さらに性能を向上 させることが確認された.

## 参考文献

[1] Peter Young, Alice Lai, Micah Hodosh, and Julia Hockenmaier. From image descriptions to visual denotations: New similarity metrics for semantic inference over event descriptions. TACL, 2014.

[2] Tsung-Yi Lin, Michael Maire, Serge Belongie, James Hays, Pietro Perona, Deva Ramanan, Piotr Dollár, and C Lawrence Zitnick. Microsoft coco: Common objects in context. In ECCV, 2014.

[3] Oriol Vinyals, Alexander Toshev, Samy Bengio, and Dumitru Erhan. Show and tell: A neural image caption generator. In CVPR, 2015.

[4] Kelvin Xu, Jimmy Ba, Ryan Kiros, Kyunghyun Cho, Aaron Courville, Ruslan Salakhudinov, Rich Zemel, and Yoshua Bengio. Show, attend and tell: Neural image caption generation with visual attention. In ICML, 2015.

[5] Peter Anderson, Xiaodong He, Chris Buehler, Damien Teney, Mark Johnson, Stephen Gould, and Lei Zhang. Bottom-up and top-down attention for image captioning and visual question answering. In CVPR, 2018.

[6] Harsh Agrawal, Karan Desai, Yufei Wang, Xinlei Chen, Rishabh Jain, Mark Johnson, Dhruv Batra, Devi Parikh, Stefan Lee, and Peter Anderson. nocaps: novel object captioning at scale. In ICCV, 2019.

[7] Andrej Karpathy and Li Fei-Fei. Deep visual-semantic alignments for generating image descriptions. In CVPR, 2015.

[8] Yang Feng, Lin Ma, Wei Liu, and Jiebo Luo. Unsupervised image captioning. In CVPR, 2019.

[9] Iro Laina, Christian Rupprecht, and Nassir Navab. Towards unsupervised image captioning with shared multimodal embeddings. In ICCV, 2019.

[10] Subhashini Venugopalan, Lisa Anne Hendricks, Marcus Rohrbach, Raymond Mooney, Trevor Darrell, and Kate Saenko. Captioning images with diverse objects. In CVPR, 2017.

[11] Peter Anderson, Stephen Gould, and Mark Johnson. Partially-supervised image captioning. In NeurIPS, 2018.

[12] Jiasen Lu, Jianwei Yang, Dhruv Batra, and Devi Parikh. Neural baby talk. In CVPR, 2018.

[13] Mitja Nikolaus, Mostafa Abdou, Matthew Lamm, Rahul Aralikatte, and Desmond Elliott. Compositional generalization in image captioning. In CoNLL, 2019.

[14] Jiuxiang Gu, Shafiq Joty, Jianfei Cai, Handong Zhao, $\mathrm{Xu}$ Yang, and Gang Wang. Unpaired image captioning via scene graph alignments. In ICCV, 2019.

[15] Fenglin Liu, Meng Gao, Tianhao Zhang, and Yuexian Zou. Exploring semantic relationships for image captioning without parallel data. In ICDM, 2019.

[16] Piyush Sharma, Nan Ding, Sebastian Goodman, and Radu Soricut. Conceptual captions: A cleaned, hypernymed, image alt-text dataset for automatic image captioning. In ACL, 2018.

[17] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In $A C L, 2002$.

[18] Chin-Yew Lin. Rouge: A package for automatic evaluation of summaries. In Text Summarization Branches Out, 2004.

[19] Michael Denkowski and Alon Lavie. Meteor universal: Language specific translation evaluation for any target language. In the ninth workshop on statistical machine translation, 2014.

[20] Ramakrishna Vedantam, C Lawrence Zitnick, and Devi Parikh. Cider: Consensus-based image description evaluation. In CVPR, 2015.

[21] Peter Anderson, Basura Fernando, Mark Johnson, and Stephen Gould. Spice: Semantic propositional image caption evaluation. In $E C C V, 2016$.

[22] Matthew Honnibal, Ines Montani, Sofie Van Landeghem, and Adriane Boyd. spaCy: Industrial-strength Natural Language Processing in Python, 2020.

[23] Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In ICLR, 2015.

## A 実験設定詳細

表 4 先行研究 $[8,9]$ それぞれの詳細な実験設定.

実験設定差分 4.1 節で述べたとおり，先行研究 $[8,9]$ ではそれぞれやや異なった実験設定をとっている. 表 4 にその差分をまとめた。各要素の詳細は先行研究 $[8,9]$ を参照されたい.

疑似キャプションの前処理 画像から検出された物体名のセットに対して，2つ以上検出された場合はそのうちのぺアの 組み合わせを用意し，各ペアが含まれている文を収集した。このとき，物体名の複数形の辞書（先行研究 [8]）を利用し て，目的の物体名が複数形で含まれている文も取得する. 収集した文から，目的の物体同士が関連した内容のものを選別するため，文中で目的の物体ペアの間に 4 つ以下の単語しか含まれない文を取り出した。また，目的の物体名ぺアが 複合語として出現している文を避けるため，物体名が隣り合っている文は取り除いた。同様に，各単体の物体について も文を収集した。ここで収集された文に対しては，目的の物体についてより詳細な記述のある文を選別するため，目的 の物体とそれを修飾する形容詞の間に 2 つ以下の単語しか含まれない文を取り出した. 統語解析器には spaCy [22] の en_core_web_lgを用いた.

学習イテレーション 頻出の物体に過適合することを防ぐため，各画像ではなく各物体ぺアでイテレーションを行った.各物体ぺアについて，これを含む画像と擬似キャプションをサンプリングして学習に用いる．また，物体ぺア中の各物体についても同様にサンプリングと学習を行った. バッチサイズは 8 とし, validation セットでの CIDErスコアが 20 エ ポック連続で更新されなくなった時点で学習を止めた。最適化には，Adam [23]を論文の推奨パラメータで用いた。

$\alpha$ の値 式 (7) について， $\alpha=16$ とした。上述のように，学習は物体ぺアとそのうちの各単体の物体を単位として行われ るため，サンプリングされた文の中で検出された物体に対応する単語は 2 つか 1 つしかない. これに対してテキスト データの平均文長は，先行研究 $[8,9]$ でそれぞれ 12.0 と 10.7 である. この検出物体数と文長の比率を考慮して 2 の累乗数から最も性能が高くなる $\alpha$ を探した結果，文長 / 検出物体数 $(=1)$, に近い， $\alpha=16$ が最も高い性能を示した.

先行研究モデル初期化のための疑似キャプションの前処理 4.4 節の手法では，学習データの画像に対する提案手法の出力を疑似キャプションとして扱う．このとき，画像に対して全く異なる内容の疑似キャプションを与えることを防ぐた め，次の前処理を行った. 画像から検出された物体が 2 つ以上ある場合は，2 つ以上それらの物体を含む疑似キャプショ ンのみ，検出された物体が 1 つの場合は，それを含む疑似キャプションのみを選別した. この基準を満たさない疑似 キャプションについては，画像とともに先行研究モデル初期化のための学習データから外した.

## B Ablation Study

表 5 Ablation study. 二重線の上下は，それぞれ先行研究 $[8,9]$ の実験設定に対応する. 提案手法のスコアは 5 回の試行の 平均，その他は一回の試行のスコア.

表 5 に ablation study の結果を示す. w/o filter は $L_{g}$ だけを最小化したモデル，w/o gate は式 (1)のモデル化で $L_{g}$ だけを 最小化したモデル，w/o unique は 3.4 節のデコード制約を用いないモデルである. なお， 3.3 節の疑似教師信号 $f$ はゲー ト機構に対して与えられるものなので，ゲート機構なしで疑似教師信号だけ与えるモデル（w/o gate w/ filter）は比較しな い. w/o image は，画像特徴量 $\boldsymbol{v}$ の代わりに，画像から検出された物体名の単語特徴量の平均を用いたモデルである.

いずれの実験設定においても w/o filter で特に数字が下がることから，3.3 節の疑似教師信号が性能の向上に大きく寄与 していること， 3.2 節のゲート機構はそれ単体ではうまく機能しないことがわかった. また, Ours (full) が突出してスコ アが高いことから，提案手法はすべて組み合わせた状態で最も効果を発揮することが確認できる．w/o image のスコアが 低いことについては，出力に物体検出器の誤りが伝播したものが多く見られており，これが原因だと考えられる.


# ソーシャルメディアのための 柔軟なビジュアルグラウンディング

Yongmin Kim $^{1}$ Chenhui Chu $^{1}$ 加藤 圭造 ${ }^{1,2}$ 黒橋 禎夫 ${ }^{1}$
1 京都大学
2 富士通研究所
\{kim, chu, kuro\}@nlp.ist.i.kyoto-u.ac.jp
kato.keizo@fujitsu.com

## 1 はじめに

ビジュアルグランディングとは画像の中にある クエリに対応する領域を探すタスクである [1]. 画像・言語のマルチモーダル学習の分野において，基礎的な研究分野の一つである。このタスクにはデー タセットによってクエリの形態が違う。例えば， Flickr30k entities データセット [2] は一枚の画像に複数キャプションがあり，そのキャプションの中にあ る名詞句と画像の中の領域の対応関係がアノテー ションされている.一方，RefCOCO+[3] データセッ トのクエリは画像の中に存在する物体を説明するも のであり，Visual7W[4] データセットのクエリは画像内のある領域に関する質問からなっている。

上記のような人為的に作られたデータセットには 当然ながら，クエリに対して必ず対応する領域が画像の中に存在する。しかし，実世界のデータはクエ リに対応する画像中の領域がない場合が多く存在 する. このようなデータの一つとしてソーシャルメ ディアデータが挙げられる. 画像とそれに関するテ キストからなるソーシャルメディアデータでは，テ キスト中の名詞句がグランウンディングできる場合もあるが（図 1 の左），できない場合もある（図 1 の右).

図 1 のようにクエリがグラウンディングできない ことを扱うためにはクエリがグラウンディングでき るかないかを判断し，できる場合はグラウンディン グし，できない場合はできないことを柔軟に答える ことが必要である．しかし，従来のビジュアルグラ ウンディング手法 $[1,2,5]$ では入力クエリに対して，必ずグラウンディングする領域を選択しなければな らないので，グラウンディング不可能な場合を取り 扱うことができない.

図 1 ソーシャルメディアデータにおけるビジュアルグラ ンディングの例. 左のクエリの一部はグラウンディング できるが，右のクエリはグランディングできない.

本研究では，グラウンディング不可能な場合に対 して，擬似的な領域を候補領域として追加すること で対応する手法を提案する．グラウンディング不可能な学習データを RefCOCO+から擬似的にグラウン ディングできない擬似データセットを作成して，モ デルを学習する．その結果，グラウンディングでき ないデータを高い精度で検出できることが確認さ れた。

また，Twitter からデータを収集し，ビジュアルグ ラウンディングのデータセットを構築する。提案手法をソーシャメディアで検証するためには用いたモ デルの学習データである RefCOCO+のような画像で ある必要がある。従って，画像認識モデル $[6,7,8]$ を用いて，収集した tweetをフィルタリングを行い， $\mathrm{RefCOCO}+$ のような検証用の小規模なデータセット を作成し，提案手法の有効性の検証を行った。

## 2 提案手法

従来のビジュアルグラウンディングモデルは図 2 に示されるように，まず画像から各候補領域に対し $\tau$ ，特徵べクトル $f_{v} \in \mathbb{R}^{d_{v}}$ と空間ベクトル $f_{s} \in \mathbb{R}^{5}$ を抽出する，各候補領域とそれの特徴べクトルは

図 2 提案手法の概要. グラウンディングできないクエリに対する擬似的な候補領域（pseudo region）を追加し，その領域を選択されるようにモデルを学習させ，グラウンディングできないクエリに対応する.

Mask R-CNN[9] のような物体検出モデルを用いて，抽出する．空間ベクトルは式 1 のように正規化され た各領域の 4 つの頂点の座標とその幅と縦の長さで 構成されている.

$
f_{s}=\left[\frac{w_{t l}}{W}, \frac{y_{t l}}{H}, \frac{x_{b r}}{W}, \frac{y_{b r}}{W}, \frac{w h}{W H}\right]
$

$\left(w_{t l}, y_{t l}\right)$ と $\left(y_{t l}, x_{b r}\right)$ はそれぞれ領域の左上と右下の 座標である。次に，このように抽出された候補領域 の画像のベクトルとクエリを比較し，類似スコアを 出力して，最終的にスコアが最も高い領域を選択す る. ViLBERT の場合，モデルが $i$ 番目の候補領域の 画像のベクトル $v_{i}$ とクエリ $Q$ から，最終的に出力 する表現べクトル $h_{v i}$ を $W_{r} \in \mathbb{R}^{d \times 1}$ 線形投影し，類似スコアを出す。

$
\operatorname{ViLbeRt}\left(v_{i}, Q\right)=W_{r} h_{v i}
$

学習する際にはこの各候補領域から生成される表現ベクトルが，類似スコアを予測するように学習さ れる。

本研究では候補領域に容易にグラウンディングで きないクエリに対する擬似的な領域を入れ込むこ とで，グラウンディングできないクエリに対し，こ の擬似領域を出力して，対応できるような手法を提案する. この擬似領域は特徴ベクトル $f_{v}$ の全ての 値を 1 にして，空間ベクトル $f_{s}$ の值を全部 0 に設定した。すなわち，擬似領域は画像の左上に位置し て, 広さが 0 であり, 特徴べクトルの全ての値が 1 となる.

## 3 ソーシャルメディアデータの構築

## 3.1 クローリング

ソーシャルメディアデータセットは Twitter から あるキーワードを検索し，クローリングした. キー ワードはクローリングしたデータが学習データであ る RefCOCO と類似性を持つために, RefCOCO のカ テゴリから取得した。

## 3.2 画像データのフィルタリング

上記のクローリングで多くの tweet が得られたが，提案手法を評価するには学習に用いた RefCOCO+ のような画像をもつデータが求められるため, RefCOCO+に存在しない特性のデータを除去する 必要がある. このような特性のデータの画像には RefCOCO カテゴリと違う画像の他に, 低画質画像,広告，テキストが多い画像，絵などが考えられる。従って，事前学習された画像分類モデル [6], 物体検出モデル [7]を用い，最後に画像内のテキストを検出して，その領域と文字を認識するテキスト検出モ デル [8]を用いて，フィルタリングを行う.

画像分類モデルは ImageNet[10] データセットから 事前学習されたモデル [6] を用いた. モデルから出力されたクラスを RefCOCO+のカテゴリとの Wu \& Palmer similarity（式3）を計算し，閾値以上のものを 収集ことで RefCOCO+と関連性が高い tweetが得ら れ，ウェブサイトや漫画など関連のないクラスが除
去された。閾値は ImageNetクラスと RefCOCO+カテ ゴリとの Wu \& Palmer similarityをみて， RefCOCO+ のカテゴリと関連性が低いものが含まらないように 0.95 の以上にした.

$
\begin{gathered}
\mathrm{Wu}-\text { Palmer : } 2 * \frac{\operatorname{depth}(\operatorname{lcs}(s 1, s 2))}{\operatorname{depth}(s 1)+\operatorname{depth}(\mathrm{s} 2)} \\
\text { lcs }: \text { Least Common Subsumer }
\end{gathered}
$

物体検出アルゴリズムは COCO データセット [11] から事前学習されたモデル [7] を用いた. COCO データセットは RefCOCO の基盤となるデータで あり，両データセットは同一のクラスを保有する. tweet データには背景がなく, 物体一個しか存在し ないグラウンディングの意味のないデータを存在す る. そのため，物体検出モデルを用いて，検出され る物体が 2 個以上存在するデータを収集した.

上記の二つのフィルタリングの結果, 残った tweet には画像の中でテキストが占める割合が多いデータ がまだ存在していた. このようなデータはテキスト 検出モデル [8] を用いて，その領域の全体画像の大 きさに対する割合を計算し，間値を基準にデータを 整理した. 閾値は背景に存在する文字と画像上に追加された文字を区分できるような值をデータの観察 より，0.05 以下に設定した.

## 3.3 アノテーション

このようなフィルタリング手法を通して，前よ り RefCOCO+に類似な tweet を得ることができた。 tweet のテキストには複数の記号, 絵文字, リンク などを含んでいるため，前処理を行い，そのテキス 卜から文を抽出した。また，それぞれの文の名詞句 をチャンキングし，クエリを抽出する．その後，ク エリに対する領域にアノテーションを行い（図 3)，最終的に提案手法を検証するための 75 個のクエリ のソーシャメディアデータセットを構築した. この デーアセットは画像と 15 個のグラウンディング可能なクエリと 60 個のグラウンディング不可能なク エリから構成されている.

## 4 実験設定

## 4.1 擬似データセット

公開されているデータには全てグラウンディン グできるデータだけあるため，既存のデータセット

I think my favorite picture, two wonderful horses, Angel and Rannoch and a beautiful sunrise on a frosty day

図 3 ソーシャルメディアデータのアノテーション."my favorite picture" はグランウンディングできないクエリであ り，“Angle”と “Rannoch” は固有名詞のため入力クエリと して使わない.

を変更して，擬似的にデータセットを構築し，提案手法の評価を行った. 本研究では RefCOCO+データ セットを基盤に擬似データセットを作成した。擬似 データは元のデータにおいてある画像と他の画像の クエリを組み合わせ，画像とクエリがお互いに関係 ないように設定して，構築する．表 1 に擬似データ セットの構成を示す。

表 1 擬似データセットの構成。擬似データセットは $67 \%$ の RefCOCO+と $33 \%$ の擬似データから構成されている.

データ数

## 4.2 モデル学習

提案手法の候補領域の画像とクエリとの類似 スコアを抽出するとき，ViLBERT[5]を用いた。 ViLBERT では言語と画像が同時に連結された並行的な transformer ブロックを通して，処理される。こ のモデルは 4 つの画像・言語のタスクを同時学習さ せたモデルに，各データセットに fine-tuning するこ とで，ビジュアルグラウンディング分野において 最も高い精度を出した. ViLBERT の transformer ブ ロックが言語・画像それぞれ 12 と 6 層を用い，4つ のタスクに同時に事前学習されたモデルを用いた.

図 4 提案手法を擬似データに適用した結果例.

binary cross entropy を用い，最大 20 エポック，バッ チサイズを 256 , 最初学習率を $4 e-5$ に設定してビ ジュアルグラウンディングの fine-tuning を行った.

提案手法を RefCOCO+と擬似データセットでそれ ぞれ fine-tuning し，各データセットでの結果を比較 した。また，擬似データセットで学習したモデルを 構築したソーシャルメディアデータに対して提案手法の有効性を検証した。

表 2 各データセットでの提案手法の評価. Pseudo は擬似データセットでグラウンディング不可能なテストデー タでの結果である. SNS-VG と SNT-UVG はそれぞれ構築 したソーシャルメディアデータでグラウンディング可能 と不可能なデータでの結果である.

## 5 結果

## 5.1RefCOCO+と擬似データでの評価

表 2 の左に RefCOCO+テストセットと擬似デー タテストセットにおける結果を示す. RefCOCO+で fine-tuning した ViLBERT モデルを提案手法を用いた とき，性能の変化を確認した結果，同じく $72.73 \%$ の 精度が出た. また, グラウンディング不可能なデー タに対する学習がされていないため，擬似データを 擬似領域として検出することはできなかった. 次に 構築した擬似データセットに対して fine-tuning し,性能確認を行った。擬似テストデータセットは $67 \%$ の RefCOCO+のデータと $33 \%$ の擬似データと構成さ れている。擬似データにで fine-tuning したとき，図 4 のように，グラウンディング不可能なデータに対 して，正しく擬似領域を推論していることが見られ た. また，その精度は RefCOCO+データセットに対 し，69.5\%であり，擬似データに対しては $91.21 \%$ で あった. 既存の RefCOCO+で fine-tuning したモデル

HappyHalloween weekend!! Are you decking your car out in spooky decorations?

図 5 提案手法をソーシャルメディアデータに適用した結果例.

よりはRefCOCO+テストセットにおいて，精度が下 がったが，擬似データでのグラウンディングできな いものに対しては高い精度を出していることが見ら れた。

## 5.2 ソーシャルメディアデータでの評価

擬似データセットから fine-tuning された ViLBERT を用いて，構築した 75 個のソーシャルメディア データに対し，提案手法の検証を行った。その結果 を表 2 の右に示す. グラインディング可能なデータ に対しては，精度が $68.8 \%$ ，不可能なデータに対し ては $76.8 \%$ の精度であった。また，結果例は図 5 に 示されたように，グラウンディング可能なクエリと グラウンディング不可能なデータに対して，正しく 動作していることがわかる。

## 6 終わりに

本研究ではグラウンディング不可能性を考慮した ビジュアルグラウンディングモデルの提案とソー シャルメディアデータセット構築を行った. 既存の ビジュアルグラウンディングモデルにグラウンディ ング不可能なモジュールを追加させることで，グラ ウンディング可能なデータにおける性能低下も少な く，グラウンディングできないデータを高い精度で 推論することができた. また，ソーシャルメディア から収集した画像データを複数の画像処理モデルに よりフィルタリングすることで、RefCOCO+データ セットと特性の近いデータセットを構築することが できた. 実際に構築したソーシャルメディアデータ に対しても，グラウンディングできないものを正し く検出し，柔軟なグランウンディングできることが 確認された。大規模なソーシャルメディアデータの 構築は今後課題である.

謝辞 本研究は，JST ACT-I の支援を受けたもの である。

## 参考文献

[1] Wenjian Dong, Mayu Otani, Noa Garcia, Yuta Nakashima, and Chenhui Chu. Cross-lingual visual grounding. IEEE Access, Vol. 9, pp. 349-358, 2021.

[2] Bryan A. Plummer, Liwei Wang, Chris M. Cervantes, Juan C. Caicedo, Julia Hockenmaier, and Svetlana Lazebnik. Flickr30k entities: Collecting region-to-phrase correspondences for richer imageto-sentence models. CoRR, Vol. abs/1505.04870, , 2015.

[3] Licheng Yu, Patrick Poirson, Shan Yang, Alexander C. Berg, and Tamara L. Berg. Modeling context in referring expressions. CoRR, Vol. abs/1608.00272, , 2016.

[4] Yuke Zhu, Oliver Groth, Michael S. Bernstein, and Li Fei-Fei. Visual7w: Grounded question answering in images. CoRR, Vol. abs/1511.03416, , 2015.

[5] Jiasen Lu, Dhruv Batra, Devi Parikh, and Stefan Lee. Vilbert: Pretraining task-agnostic visiolinguistic representations for vision-and-language tasks. CoRR, Vol. abs/1908.02265, , 2019.

[6] Mingxing Tan and Quoc V. Le. Efficientnet: Rethinking model scaling for convolutional neural networks. CoRR, Vol. abs/1905.11946, , 2019.

[7] Alexey Bochkovskiy, Chien-Yao Wang, and HongYuan Mark Liao. Yolov4: Optimal speed and accuracy of object detection, 2020.

[8] Youngmin Baek, Bado Lee, Dongyoon Han, Sangdoo Yun, and Hwalsuk Lee. Character region awareness for text detection, 2019.

[9] Kaiming He, Georgia Gkioxari, Piotr Dollár, and Ross B. Girshick. Mask R-CNN. CoRR, Vol. abs/1703.06870, , 2017.

[10] J. Deng, W. Dong, R. Socher, L. Li, Kai Li, and Li Fei-Fei. Imagenet: A large-scale hierarchical image database. In 2009 IEEE Conference on Computer Vision and Pattern Recognition, pp. 248-255, 2009.

[11] Tsung-Yi Lin, Michael Maire, Serge J. Belongie, Lubomir D. Bourdev, Ross B. Girshick, James Hays, Pietro Perona, Deva Ramanan, Piotr Dollár, and C. Lawrence Zitnick. Microsoft COCO: common objects in context. CoRR, Vol. abs/1405.0312, , 2014.


# Improve Japanese Input Method by Re-rank Candidate Words

Xinyang Jiang, Weitsung Lin, Gang Qiao, Xiaoliang Xu, Jianmin Wu, Cong Zhang
GBU, Baidu Inc, China, 518052
E-mail: \{jiangxinyang, v_liweicong, qiaogang01, xuxiaoliang, wujianmin01, zhangcong05\}@baidu.com
}

\begin{abstract}
We investigate a Two Stream Encoder model (TSE) for re-ranking candidate words in Japanese Input Method, which encodes Hiragana sequences and word sequences to represent the relationship between Hiragana sequences, context and candidate words. Compared with our current online model, the transformer-based model can capture more context information. Two auxiliary language model losses are introduced to help model learning, and the loss weights are dynamically adjusted by linear decay.
\end{abstract}

TSE is empirically effective and achieves a Top1 accuracy of $82.3 \%$, which is significantly higher than the $78.6 \%$ of the online model on the testing set. While there are only 2.43 million of parameters and 59.57 second inference time per 10000 reranks, the memory consumption when running on the mobile phone is only $12 \mathrm{MB}$, let the model run smoothly on the mobile devices.
## 1 Introduction

Typing is one of the core methods that users interact with smartphones. Unlike other devices with keyboard and large screen, typing on mobile devices have more restrictions like limited input buttons and small space for showing candidate words. An intelligent input method to provide better text suggestions is important to boost typing efficiency on such devices.

In languages like Japanese and Chinese, there is an essential text suggestion task: conversion task. Conversion task is not a common scenario for Latin based languages which could directly type on a keyboard, but there are thousands of characters in Japanese and Chinese language. For example, in Japanese users type Hiragana sequence, a type of phonography, and conversion task converts it to a list of target word sequences for users to select from.

An n-gram language model is used to solve this problem. However, due to the exponential increase in model size, the n-gram model can only support up to bi-gram or tri-gram on mobile de- vices. With this constraint, the n-gram model often suffers from loss of accuracy because of its limitation on considering length of context. On the other hand, recently deep-learning based language models are shown that they can solve such issues more efficiently.

Although deep-learning based language model has achieved enormous success, it is still not used mainly for input method tasks. The major reason is that input methods have to run smoothly and interactively on mobile devices with limited resources. Unlike speech recognition or machine translation services served from online servers, input method applications have to sacrifice accuracy for execution speed and model size.

In this work, we focus on ranking the target word list to provide the best fit for users' original intention candidates in top 3 to top 6 . We customized a natural language processing (NLP) model, Transformer [1], a self-attention mechanism model, to fit Japanese input method application. By introducing auxiliary training objectives we have benefit for learning better encoded representations. Also, we leverage byte pair encoding (BPE) [2] to segment and encode input context. BPE not only helps reduce the length of model input but also improves execution speed. Therefore, our model considers longer context distance and achieves a reasonable execution speed on mobile devices.

To sum up, our contributions are as follows:
- We customized a Two Stream Encoder model to improve re-rank candidate accuracy in input method.
- The model can run on mobile devices at a reasonable execution speed.

## 2 Input Method with Deep-learning Model

In the input activity, the user first types the Hiragana sequence. Then the possible candidates show up for the user to choose. Because we don't know when the user stops typing and chooses the candidates, we need to calculate every time a new

Hiragana character is typed. In this way, a simple sentence could easily involve multiple candidate prediction tasks, therefore the most crucial problem in using deep-learning technology on mobile devices is often the execution speed. With this restrick, we select our model task on re-ranking candidates after a translation from the Hiragana sequence. In the whole input activity, the user first types the Hiragana sequence. Then the possible candidates show up for the user to choose.

Although the language model would be a visible solution for scoring the candidates with given previous input words, it is difficult to train a stable deep-learning language model with shallow model size. Instead using a simple binary classification to model candidate scores and train a compact size model, but it is also hard to converge a useful model.

Recent NLP models like BERT [3] or GPT [4] are using pre-training from a larger corpus to learn well stated model parameters and then fine-tune on a task with smaller corpus. We leverage this training strategy on our training. But instead of two steps training, we join two training objectives to form a multi-task learning. The intuition behind this setting is that only the binary classification objective is hard to guide the model to learn, but with the language model objective as an auxiliary objective, helps the model to converge better.

We use GPT as our model encoder. GPT does not rely on recurrent mechanisms to follow language modeling objectives, instead it uses masks to achieve this manner. In this way, the calculation can run in parallel, which improves execution speed.

## 3 Method

## 3.1 BPE

To start the natural language processing, sentences need to be tokenized. For languages like Japanese or Chinese, there are no natural word boundaries, such as a space character. It is crucial to have a good tokenization methodology to start the whole process. Following GPT, it uses byte pair encoding (BPE) to process English corpus. We use BPE on Japanese texts as a tokenizer. BPE largely decreases out-of-vocabulary words and also reduces sequence length with only around $50 \mathrm{k}$ token size. This is important for running deep-learning models on mobile devices. Because in a normal tokenization setting, for a $95 \%$ vocabulary coverage, token size easily exceeds 100k. Embedding matrix size often contributes most parameters in the whole model. Hence, re- ducing embedding size can reduce model size significantly.

The other benefit of BPE is the encoded sequence length. Other than using lots of tokens, using character based tokenization methods is another choice in Japanese and Chinese. In this setting, the token size is often between $5 \mathrm{k}$ to $10 \mathrm{k}$ to achieve similar word coverage, but this causes the encoded sequence length to be longer and too sparse for the embedding. The BPE balances this between normal tokenizer and character-based tokenizer.

## 3.2 Two-Stream-Encoded Model

We customize Transformer models to fit the Japanese input method and the re-rank candidates task. In Japanese input scenarios, users type a Hiragana sequence and the sequence is converted into words. This is a one to many mapping. Different words have the same pronunciation and all can be the potential candidates. There are two useful data that helps rank candidates: one is words users have already typed, the other is the Hiragana sequence users currently typing.

We use two GPT models to encode word sequence and Hiragana sequence. The word sequence is composed of history words and one candidate. These two encoded output logits then concatenate into one vector and feed into a binary classifier. The classifier outputs a scalar ranging from zero to one to indicate how likely the candidate fits for current usage.

Our model consists of two blocks, word encoder and reading encoder. We call it the Two-streamencoded Model (TSE). The word encoder encodes word sequence and the reading encoder encodes Hiragana sequence respectively. Instead of using the identical structure on both encoders, the word encoder has more parameters than reading encoder due to the longer sequence and the larger unique token size. We append a self-attention layer to the final layer of word encoder and use reading encoder output as this self-attention layer's query input. We want the word encoder output to be conditioned on user typing input. The detail model architecture is in Figure 1.

## 3.3 Auxiliary Training Objectives

We use point-wise approaches to rank candidates, which means we give every candidate a score and use this score to rank. In this setting, a sigmoid function is a good fit for model output. We train models with cross-entropy loss between model output and real label, with user-select candidate label regarded as positive and non user-select candidate

Figure 1: Two-Stream-Encoded model architecture. The word sequence is the concatenation of history words and one candidate. The binary classifier output is a scalar which indicates the score of the candidate.

label as negative. We found that using only this training objective cannot generalize well on the test set. To tackle this problem, auxiliary training objectives, language modeling loss is introduced to two GPT models in training. This helps models encoding better output logits for the classifier. Both GPT encoders have their own language modeling loss and total loss is the sum of three losses as the following Eq. 1. Alpha and beta here are the weights for controlling the language model loss that contribute to total loss.

$
L_{t}=\alpha * L_{w-\text { encoder }}+\beta * L_{r-\text { encoder }}+L_{c l s}
$

## 4 Data and Experiment Setting

We train and evaluate the model using a dataset that was collected from volunteers . In this section, we first describe the dataset, and then show the experiment details.

## 4.1 Data

The dataset contains about 200 million training dataset and 0.3 million testing dataset. Data is collected from volunteers, each input data is associated with 2 to hundreds of candidate words. The words selected by the user are taken as positive samples, and negative samples are randomly selected from the candidate words not included in the words selected by the user.

## 4.2 Experiment Settings

## 4.2.1 Vocabulary

In order to get better representations from word encoder and reading encoder, We use BPE to learn subword vocabularies from Hiragana sequence and word sequence separately. There are $50 \mathrm{k}$ tokens for word encoder and 8k tokens for reading encoder. The Hiragana sequence has a smaller character space and uses less token size than word encoder.

## 4.2.2 Training Details

We set the batch size and the train steps to 256 and 2 million, warm-up steps set to 10000 . The learning rate is initially set $8 \mathrm{e}-4$ and will be reduced to $8 \mathrm{e}-6$ by learning rate linear decay, Adam is used for optimization and L2 weight decay is set to 5e-3. We also use linear decay to dynamically adjust the alpha and beta values in the Eq. 1, the details are shown in Table 2.

## 5 Result and Discussion

To evaluate the inference speed, we conduct an inference procedure on the testing dataset with batch size of 9 . Results are shown in Table 1 and the average running time of 10000 batches on a single NVIDIA K40 GPU.

We use Top-1 accuracy as the metric to evaluate model performance. Meanwhile, we also compare the model size and the speed of inference, which are the key factors that run smoothly on mobile devices. We investigate the effect of model size and loss weights on the TSE model, the detailed results and discussions are shown below.

## 5.1 Effect of model size

We take the online model (no rerank model), LSTM, and GPT as the baseline model, and compare them with our TSE model, we find that our TSE model has achieved better performance shown in the Table 1. LSTM and GPT models are trained with language model objectives on history words and user selected candidates. For comparison, we set the parameter size similar to the TSE model. Using language models to evaluate candidates is a straightforward method. But the restriction of model size and lack of user input information cause the accuracy far from our online model. The TSE model is designed to improve this problem. It introduces a reading encoder that can effectively encode the Hiragana sequence and provides the conversion information between $\mathrm{Hi}-$ ragana sequence and candidate words.

We also compare performance with different depths and widths on Top-1 accuracy and inference speed. The TSE-1 model with a wider and deeper model achieves the best performance, with a Top-1 accuracy of $82.5 \%$. Reducing the width of the word encoder by half (TSE-2), the Top-1 accuracy drops to $82.1 \%$, with equivalent model size and inference speed. Reducing the depth of the word encoder and reading encoder by half (TSE$3)$, the Top-1 accuracy drops to $82.3 \%$, but the model size and inference speed has also reduced by $0.45 \mathrm{M}$ and $33 \mathrm{~s}$ respectively, the memory consump-

 &  & \#Param &  &  \\

Table 1: The model sizes and inference time for baselines and TSE models. (n_layer means the number of the model layer; d_lstm means LSTM hidden size; d_embed means the embedding size; d_attn means the hidden size of the self-multi-attention block in Transformer; d_ffn means the hidden size of FFN sub-layer in Transformer; \#Param means the number of parameters.)

 &  & Decay Method &  \\

& 1.0 & 0.0 & Linear & $82.0 \%$ \\

& 1.0 & 0.0 & & $82.3 \%$ \\

Table 2: Ablation studies of loss weights in the TSE-3 Model learning. (No LML means without the auxiliary training objectives; No LWD means alpha and beta in the Eq. 1 remain constant; LWD means alpha and beta will decay from the initial value of the first 1.5 million to the last 0.5 million during the first 1.5 million.)

tion when running on the mobile phone is only $12 \mathrm{MB}$. We think that re-ranking candidate words does not require much semantic understanding, but more to capture the usage of words. Therefore, the shallow network can still achieve a good performance, and the speed is faster.

## 5.2 Effects of loss weights

We investigate the effects of the loss weights (alpha and beta in the Eq. 1) on the TSE-3 model learning. The training period is divided into the first 1.5 million steps and the last 0.5 million steps, the two stages using different language model loss weights respectively. During the training process,
the alpha and beta in the last 0.5 million will remain constant, but in the first 1.5 million may be dynamically decayed. Note that we set the alpha and beta to same value during the training period.

Several baselines are proposed including the TSE-3 model without the auxiliary training objectives (Abbreviated as No LML), the loss weights decay (Means alpha and beta in the first 1.5 million remain constant, abbreviated as No LWD) respectively. The results are illustrated in Table 2 and show the best performance using linear decay in the first 1.5 million steps and removing the language model losses in the last 0.5 million steps. The Top-1 accuracy is only $55.6 \%$ under the setting (No LML), which is much lower than the baseline. This result proves that auxiliary training objectives are the key for TSE model learning, they can effectively help the model converge.

Furthermore, we investigate the contributions of the auxiliary training objectives in the TSE3 model learning (No LWD), we set the alpha and beta to 1.0 , and the Top-1 accuracy is $80.9 \%$. However, if we remove it in the last 0.5 million training steps, the Top-1 accuracy will increase to $82.0 \%$. This results shows that the effects of the auxiliary training objectives to the model learning should be reduced in the last training period, enabling the classification task dominating the model learning.

Finally, we introduce linear decay in the first 1.5 million training steps to dynamically adjust the loss weights, and the Top-1 accuracy has been further improved slightly. And it is better to remove the language model loss in the last 0.5 million training steps than setting the loss weights to 0.1 , which the accuracy improves by 0.2 . This may be due to the fact that the model has converged well in the first 1.5 million steps, removing the language model loss in the last 0.5 million steps can ensure the classification tasks are better trained.

## 6 Conclusion

In this paper, We empirically investigate a Transformer-based model for the re-ranking of the candidate words in input method, finding that it outperforms the online model, Lstm-based model and GPT-based model. Transformer-based models can encode more context compared with the traditional model which is the N-gram model. While getting a better performance, we also reduce the size of the model to ensure that it can run smoothly on mobile devices. Finally, we introduce two auxiliary training objectives to help train the small Transformer-based model, and dynamically adjust the loss weights to obtain better performance.

## References

[1] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Åukasz Kaiser, and Illia Polosukhin. Attention is all you need, 2017.

[2] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units, 2015.

[3] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding, 2018.

[4] Alec Radford, Karthik Narasimhan, Tim Salimans, and Ilya Sutskever. Improving language understanding by generative pretraining, 2018.