# 自動車免許試験自動解答における単語類似度の影響

的場 成紀 ${ }^{1}$ 田邊 豊 ${ }^{1}$ 小林 一郎 ${ }^{2}$ 平 博順 ${ }^{1}$
1 大阪工業大学大学院 情報科学研究科 2 お茶の水女子大学 基幹研究院 自然科学系
\{m1m19a31, m1m20a21\}@st.oit.ac.jp
koba@is.ocha.ac.jp
hirotoshi.taira@oit.ac.jp

## 1 はじめに

これまで我々は，与えられた文があらかじめ与え られた規則に適合するか否かを自動的に判定する規則適合判定技術の 1 つの例として，普通自動車免許試験問題の自動解答技術について研究を行ってき た [1][2]. 機械読解の研究においては，BERT [3] を はじめとする大規模汎用言語モデルを用いた手法 が高い正解率が得られ，広く用いられている. 免許試験問題は，他の多くの機械読解タスクと比べて，与えられる文章が 1 文程度と短いのが大きな特徴 である．BERT などの手法が適さない可能性もあっ たが，模擬問題を利用した BERTによる学習手法で は，免許試験問題においても一定の正解率が得られ ることを実験的に示されていた [1]. しかし，大規模汎用言語モデルを用いた手法では, 出現単語の並 びだけで正誤判定がされてしまっている可能性も考 えられ，実用的な規則適合判定に BERT 等の手法を そのまま使用できるのか疑問があった.

そこで，本研究では，単語の類似度だけでは正誤判定がしにくい評価用データを作成し，自動解答手法の評価を行って，文を構成する単語が類似してい ても規則を正しく判定できるのか評価を行った. 自動解答手法には, BERT [3], self-attention + BiLSTM [4], word2vec [5] の 3 つの手法を選び，性能の比較 を行った。

## 2 普通自動車免許学科試験問題

普通自動車免許の学科試験は，自動車を運転する ときに必要となる運転技術や交通規則に関する知識 や運転者のマナーなどが問われる試験である．学科試験で問われる内容として文章問題とイラスト問題 が出題され，文章問題は 90 問，イラスト問題は 5 問である. 文章問題は，正誤の二択問題である。
ラスト問題は，運転者から見た車外の様子が描かれ たイラストが与えられ，危険予測などに関する問題 に解答する問題である．各大問に対して二択問題 3 問が出題される. なお配点は，文章問題は各問 1 点， イラスト問題は各大問に対して完答で 2 点である.合計 100 点満点で，90 点以上が合格となる.

本研究では，学科試験の大部分を占める文章問題 を実験の対象とした．また，実際の文章問題には標識や説明のイラストが付与された問題も含まれてい るが，本研究では主に文章のみで表された規則につ いて扱い，イラストが付与された問題は今回は対象外とした。

## 3 評価用データセットの作成

単語の類似度だけでは規則適合判定が難しくなる ように，1）オリジナルの問題文，2）オリジナルの 問題文と単語類似度が高く，かつほぼ同じ内容で，正解もオリジナルと一致する問題 3) オリジナルの 問題文と単語類似度が高く，ほとんど同じだが，正解がオリジナルと異なる問題の 3 種類のデータが含 まれる評価用データセットを作成した。

具体的には, 以下の手順で作成を行った。まず，市販の問題集「試験によく出る普通免許 1000 題」 [6] や「大事なとこだけ総まとめ ポケット版 普通免許試験問題集」[7] を参考にし、問題セット A (7,992 問)，問題セット B（103 問，解説文を含む)，問題セット C（1,000 問）を作成した。

問題セット A，B，C は参考にした問題が異なるっ ている。また，問題セット A は，文末の言い回し のバリエーションを多くなるように作成され，問題セット B は，解説文を含んでいるという特徴が ある.

つぎに、問題セット $\mathrm{C}$ の先頭 300 問から，図が含 まれる問題を除いた 260 問を選び，テスト用問題
表 1 評価用データセットのサイズ

の候補とした. テスト用問題の候補 260 問それぞ れについて，問題セット A から文類似度が高い上位 20 問を抽出し，その中から人手で，テストセッ トの候補の問題と，a) 文意が同じ問題，b) 文意が極 めて近いが正解 $(\bigcirc \times)$ が異なる問題，の 2 種類が 存在するかどうかを確認した。 その結果，問題セッ ト Bにa),b) の 2 種類とも存在する問題は，260 問中，97 問であった. この97問を最終的なテスト用問題とした。なお，確認に用いた文類似度は，日本語 wikipedia に基づく word2vec ${ }^{1)}$ を用いた単語類似度の平均で求めた。

表 2 に作成されたテスト用問題の問題例を示す。

表 2 テスト用問題の問題例

 & 0 \\

訓練用データには，問題セット A と B を合わせた 8,095 問，開発用データには，問題セット $\mathrm{C}$ からテ スト用データを除き，図を含む問題も除いた 746 問 を用いた。

## 4 評価実験

3 章で作成したデータセットを使用して，免許試験の正誤判定問題について自動解答手法の性能評価を行った. 自動解答手法には大きく，word2vec， selfattention+BiLSTM，BERT の 3 つの手法を比較し た. word2vec について日本語モデル2)を利用した.形態素解析器には MeCabを使い, 辞書には NEologd を使った. word2vec を使った正誤問題の解き方とし て，先に訓練用データと評価用のデータのそれぞれ を word2vec で文べクトルに変換した. 文べクトル の変換方法は 1 文を MeCab で単語分割を行ったあ とに，word2vec に流して単語べクトルに変換し，文書に出現する全ての単語べクトルの加算平均をと


る.このときの加算平均を文ベクトルとして扱う. その後，評価用データを 1 文ずつ，訓練用データの 各文書と $\cos$ 類似度で類似度を測定して，一番類似度の高い問題文を検索する．最後に一番高い問題文 の正誤をモデルの出力として扱い，評価用データの ラベルと合致するか確認をする。

BERT は日本語 Wikipedia コーパスで事前学習モデルを転移学習した. 形態素解析器には MeCab+WordPiece [8] を使用した。

self-attention + BiLSTM では埋め込み層に BERT の 特徴量を取得する方法をとった. BERT の特徴量を 得るモデルは転移学習しておいたモデルと事前学習 のみのモデルを用意した．比較実験として BERT の 特徴量を使わずに学習データから得られる単語の特徴量で学習させた。

図 1 self-attention + BiLSTM（文献 [4] より引用）

## 4.1 実験結果

表 3 は評価用データ全体の正解率と小問 3 問で完答した正解率を表している。表 3 より最も正解率が 高かったのは，self-attention + BiLSTM であり，次い で word2vec で正解数が多かった。

## 5 手法による正解した問題の違い

ここでは，手法の違いによってを正解した問題の 違いを調べた。

## 5.1 word2vec の手法で正解が多かった 問題

表 4 は word2vec で有意な問題の例である. 問題 の例では，数字が「800」か「750」の違いによって 正誤が反転している. 問題例のように数字の違いに よって問題が正誤が反転している問題では完答がで きていなかった。
表 3 評価用データの正解率

表 4 word2vec の手法で正解が多かった問題の例

 & $x$ \\

## 5.2 言語モデルの手法で正解が多かった 問題

表 5 は言語モデルで解けて，word2vec で解けな かった問題の例である.この問題の例の「車に乗る 前には、車の前後に人がいないかどうかを確かめ ればよく、車体の下まで確かめる必要はない。」で， word2vec で最も類似度の高い問題では，類義語まで 見ることができずに答えることができなかった. 表 6 は類似度の高い順から検索された問題である。こ のように言語モデルは学習させる際に問題の類義語 などが読み取れていることが分かる.

表 5 言語モデルの手法で正解が多かった問題の例

 & 0 \\

## 5.3 BERT の単語を埋め込む手法で正解が 多かった問題

表 7 は BERT の単語埋め込みをした selfattention+BiLSTM で有意な問題である。この問題の例では「交差点の手前」と「交差点の直前にさ しかかったところ」でといった意味は同じである が，表現が違う問題も正解していることが分かる。

## 5.4 どの手法でも解けなかった問題

表 8 は，どの手法でも解けなかった問題である. この問題では，「中央」と「右端」のみの違いだけ で，問題の正誤が反転している。このように単語の みの変化で細かいところまでは読み解くことができ なかった.

## 5.5 言語モデルにおける出力による違い

評価用データで文意と正誤が同じ問題と正誤が違 う問題で，言語モデルによって出力結果が正解か不正解に関わらず意図していない問題を調べた。

## 5.5.1言語モデルの出力が反転していた問題

表 9 は，文意と正誤が同じ問題でありながら言語 モデルの出力結果が異なっている問題の例である. この問題の特徴として文章の構成が違うことがあげ られる。この問題を解く点として「交通整理が行わ れていない交差点」、「道の幅」、「優先道路」が鍵と なるが出現する順番が入れ替わっている。このよう な問題は言語モデルの出力結果が反転していた.

## 5.5.2言語モデルの出力が同じになった問題

表 10 は，文意が同じで正誤が反転しており，言語モデルの出力結果が同じである問題である. 上の 問題の解説を確認してみると「安全地帯がないとき は、1人もいなくなるまで、後方で停止します。」と なっており，安全地帯の有無によって徐行してよい かどうかが判断基準となっている. このように問題 の単語のみの違いで，問題の構成が類似している問題はモデルの出力結果が反転していなかった.

## 6 おわりに

本研究では，普通自動車免許試験の自動解答技術 について，規則適合性判定技術の観点から性能評価 を行うため，単語の類似度だけでは正誤判定がしに くい評価用データを作成し，自動解答手法の評価を
「車に乗る前には、車の前後に人がいないかどうかを確かめればよく、車体の下まで確かめる必要はない。」

のときの word2vec の上からの検索結果

 & 0.990 & 0 \\

表 7 BERT の単語を埋め込む手法で正解が多かった問題 の例

表 8 どの手法でも解けなかった問題

 & $x$ \\

行った. 自動解答手法として，BERT, self-attention + BiLSTM，word2vec などの手法を選び性能評価を 行ったところ，BERT や word2vec による手法は，単語類似度に依存して規則適合性判定を行っている傾向がみられ，self-attention を使った BiLSTM を用い た場合が，最も正解率が高くなった。

## 謝辞

本研究は JSPS 科研費 $18 K 11452$ の助成を受けたも のである.

## 参考文献

[1] 的場成紀, 古賀雅樹, 大塚基広, 小林一郎, 平博順. 運転免許試験で使用される語彙と省略語句の分析. 人表 9 言語モデルの出力が反転していた問題

 & 0 \\

## 表 10 言語モデルの出力が同じ問題

 & $x$ \\

工知能学会全国大会論文集 一般社団法人 人工知能学会, pp. 1N4J904-1N4J904. 一般社団法人 人工知能学会, 2019 .

[2] 的場成紀, 古賀雅樹, 吉村優志, 田邊豊, 小林一郎, 平博順. 運転免許試験自動解答における問題解説文の利用. 言語処理学会第 26 回年次大会 (NLP2020) 発表論文集, pp. 121-124, 2020.

[3] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018.

[4] Zhouhan Lin, Minwei Feng, Cicero Nogueira dos Santos, Mo Yu, Bing Xiang, Bowen Zhou, and Yoshua Bengio. A structured self-attentive sentence embedding. arXiv preprint arXiv:1703.03130, 2017

[5] Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg S Corrado, and Jeff Dean. Distributed representations of words and phrases and their compositionality. pp. 3111-3119, 2013.

[6] 倉宣昭. 試験によく出る普通免許 1000 題. 高橋書店, 2007.

[7] 学科試験問題研究所. ポケット版 普通免許試験問題集. 永岡書店, 2015 .

[8] Yonghui Wu, Mike Schuster, Zhifeng Chen, Quoc V. Le, Mohammad Norouzi, Wolfgang Macherey, Maxim Krikun, Yuan Cao, Qin Gao, Klaus Macherey, Jeff Klingner,

Apurva Shah, Melvin Johnson, Xiaobing Liu, Łukasz Kaiser, Stephan Gouws, Yoshikiyo Kato, Taku Kudo, Hideto Kazawa, Keith Stevens, George Kurian, Nishant Patil, Wei Wang, Cliff Young, Jason Smith, Jason Riesa, Alex Rudnick, Oriol Vinyals, Greg Corrado, Macduff Hughes, and Jeffrey Dean. Google's neural machine translation system: Bridging the gap between human and machine translation, 2016.
 的場 成紀 ${ }^{1}$ 田邊 豊 ${ }^{1}$ 小林 一郎 ${ }^{2}$ 平 博順 ${ }^{1}$ 1 大阪工業大学大学院 情報科学研究科 2 お茶の水女子大学 基幹研究院 自然科学系 \{m1m19a31, m1m20a21\}@st.oit.ac.jp koba@is.ocha.ac.jp hirotoshi.taira@oit.ac.jp  