# 交通に関する知識グラフを用いた運転免許試験問題の解法

相川渉 三輪誠 佐々木裕
豊田工業大学
\{sd18001, makoto-miwa,yutaka.sasaki\}@toyota-ti.ac.jp

## 概要

運転知識に基づいて運転免許試験問題を解くアプ ローチでは，運転に関する知識ベースを作成して， それに基づいて解答の判定を行う必要がある. 既存 の手法では解答の判定が表記に依存したり，知識間 の関係を考慮できていないという問題があった。そ こで本研究では，交通教則文から抽出した運転知識 を知識グラフに変換し，知識グラフの埋め込みモデ ルをベースとして，問題文から作成したトリプルに ついてのリンク予測問題を解くことで運転免許試験問題を解く方法を試みる。

## 1 はじめに

完全自動運転であるレベル 6 自動運転において は，自動運転システムが交通法規や交通マナーと いった知識を持ち，それに基づいて，判断・推論を 行う必要がある. 人間の運転に関する知識や判断・推論能力を評価するひとつの指標として，運転免許筆記試験があり，レベル 6 自動運転システムについ ても，運転免許試験問題を解かせることができれば この能力を同様に評価することができる.

運転に必要な知識は交通教則 [1] に記載されてい る. Savong らは交通教則から知識を構造化して取り 出すための手法としてオントロジー形式のアノテー ションを提案し，交通教則にアノテーション [2]を 行った.この形式でタグ付けされた情報は簡単に Resource Definition Framework (RDF) トリプルに変換 することができ，この変換したトリプルは交通教則 の知識の集合を表した知識べースとして利用できる と期待される。

また，構造化された知識を用いて質問応答を行う 手法も提案されている。鈴木ら [3] は質問文を問い 合わせ言語に変換して知識べースに問い合わせる ことで解答を予測する。この手法では，同じ内容 の質問でも表記が異なるとマッチングしないとい う問題点がある．鈴木ら [4] は Bidirectional Encoder

図 1 提案手法の概要

Representations from Transformers (BERT) モデルを基 にオントロジー形式のアノテーションデータセット の知識を用いて解答を取得する。この手法は入力さ れた質問文と学習文について用語単位のべクトルの 平均を取り，それらの類似度から解答を予測する。 この手法は用語単位のベクトルを使って予測を行う ため用語間の関係性を直接考慮できていないと考 えられる。これを解決するために，取り出した知識 ベースから知識グラフを作成して，知識グラフの埋 め込みモデルを用いて質問応答を行うことが有効だ と考えた

そこで本研究では，Savong ら [2] の交通関係アノ テーションから取り出した交通教則の知識を表す RDFトリプルを対象に，知識グラフの埋め込みモデ ルを用いた質問応答システムへの利用可能性を調査 する。

## 2 関連研究

交通教則に関するオントロジー形式関係 (OSRRoR) データセット [2] とは，交通教則 [1] に行っ たオントロジー形式のアノテーションデータであ る.アノテーションの例を図 2 に示す.このアノ テーションの特徴として，用語の一種として RDF スキーマに定義されている rdf:Property に対応する 関係に関する用語（関係用語）を用意し，それぞれ rdfs:domain, rdfs:range に対応する domain と range の 関係を関係用語と用語のタイプの間に結ぶことで用

(2)

(2) シートベルトは、正しく着用しましよう。

図 2 オントロジー形式のアノテーション

語間の関係を表現する. 図 2 では「は」に関係用語「Tool(T1)」を付与し, 「シートベルト」に付与されて いる用語のタイプ「SeatBelt」と「Tool」の間に range の関係を「Tool」と「着用」に付与されている用語 のタイプ「Utilization」の間に domain の関係を繋げ ている.

## 3 提案手法

本研究では，交通教則へのオントロジー形式のア ノテーションを知識ベースとして，知識グラフの埋 め込みモデルを学習・利用することで，運転免許試験の解答を行う手法を提案する．手法の概要を図 1 に示す. まず，オントロジー形式のアノテーション を行った交通教則からトリプルを作成し，これを知識グラフの埋め込みモデルで学習する。次に学習し たモデルに運転免許質問文に現れるトリプルを入力 し, それぞれのトリプルの確率値を出す. 最後にそ れらの確率值を統合して解答を出力する。

本研究で用いるオントロジー形式のアノテーショ ンからトリプルを作成する方法を 3.1 節で, 作成し たトリプルを用いたモデルの学習については 3.2 節 で，学習したモデルを用いた解答の出力については 3.3 節で説明する.

## 3.1 トリプルの作成

オントロジー形式のアノテーションを行った交通教則からトリプルを作成する. トリプルは全てのア ノテーションに対して以下のように作成して， 3 種類のトリプルのデータセットを作成する.

1. コーパス中の用語それぞれに対して，IDがそ れぞれ一意になるように，個別の用語 IDを付与する. ここで言う用語は，関係用語も含んで おり，同じ用語でも言及箇所が異なれば異なる IDを付与する。

2. 用語 ID と用語の表層について「label」とい う関係を，用語 ID と用語のタイプに対して 「type」という関係を付けてトリプルを作成 する. 図3では用語の ID「Vehicle11_1_T62」 と表層「自動車」に「label」という関係

図 3 「rel_id」での関係のつけ方

を付与して, (Vehicle11_1_T62,label, 自動車)というトリプルを作成する。ま た, 用語の ID「Vehicle11_1_T62」と用語の タイプ「Vehicle」に「type」という関係を 付与して(Vehicle,type,Vehicle11_1_T62) と いうトリプルを作成する。「Keeping」や 「Keeping11_1_T102」，「管理」の方でも同様 に行ってトリプルを作成する。

3. 関係とその関係に繋がる用語について 3 種類の 方法でトリプルを作成する.

・図 3 で示すように用語 ID 間に関係を繋げてトリプル (Keeping11_1_T102,range,Vehicle11_1_T62) を作成する. 2 で作成したトリプルとこの 方法によって作成したトリプルを合わせた データセットを「rel_id」とする.

・用語のタイプと関係を繋げてトリプル (Keeping, range,Vehicle)を作成する。2で 作成したトリプルとこの方法によって作成 したトリプルを合わせたデータセットを 「rel_type」とする.

・用語 IDと関係タグ，用語のタイプと関係 を繋げてそれぞれトリプルを作成する. 2 で作成したトリプルとこの方法によって作成したトリプルを合わせたデータセットを 「rel_both」とする.

運転免許質問文に関しても同様にトリプルを作成 する。

## 3.2 モデルの学習

作成したトリプルを入力して，モデルが学習する までの流れを以下に示す.

図 4 「rel_type」での関係のつけ方

図 5 「rel_both」での関係のつけ方

1. コーパスから作成したトリプルのデータセット と関係用語と用語間のつながりを除いた運転免許質問文から作成したトリプルを学習用データ セットとして用意する。関係用語と用語間のつ ながりを除いた運転免許質問文から作成した トリプルも学習用データセットに加えるのは, コーパス中に存在しない用語が質問文に含まれ ると解答の推論が行えなくなるからである。

2. 使用する知識グラフの表現学習モデル（本研究では AmpliGraph の TransE [5], DistMult [6], HolE [7] を使用・比較する）とモデルのハイ パーパラメタを決め，学習用データセットを入力として損失関数を最小化する.

3. トリプルを入力として確率値を出力するように モデルを較正する．較正は Tabacof ら [8] の手法を用いて行った.

4. 学習に用いた全てのトリプルの確率値を求め,教則の知識をモデルが表現できるかを確認す る. 具体的には，確率値が 0.9 を超えるトリプ ルがデータセット全体の 9 割を占めていれば交通教則の知識を表現できているとみなして 3.3表 1 データセットの統計

節で説明する解答の推論を行う。そうでなけれ ば解答の推論は行わずに別のパラメタで学習を 行う.

## 3.3 学習済みモデルを用いた推論

学習したモデルを用いて，質問の解答を以下のよ うに行う。
1. 3.1 節で作成したトリプルから，それぞれの運転免許質問文に対応するトリプルの集合 $Q$ を 取り出す。

2. 学習したモデルに $Q$ のトリプルを入力として,次のように解答を選択する。解答が○である確率 $P_{\text {True }} ， \mathrm{X}$ である確率 $P_{\text {False }}$ について，ある トリプル $(\mathrm{h}, \mathrm{r}, \mathrm{t})$ の確率を $p(h, r, t)(0 \leq p \leq 1)$ を 用いて，式 (1) と式 (2) のように計算する. 求め られた $P_{\text {True }}$ と $P_{\text {False }}$ を比較して， $P_{\text {True }}$ の方 が大きければ○を， $P_{\text {False }}$ の方が大きければ× を解答する。

$
\begin{gathered}
P_{\text {True }}=\prod_{(h, r, t) \in Q} p(h, r, t) \\
P_{\text {False }}=\prod_{(h, r, t) \in Q}(1-p(h, r, t))
\end{gathered}
$

## 4 実験と考察

## 4.1 使用したデータセット

・オントロジー形式のアノテーションを行った交通教則

交通教則 [1] にオントロジー形式のアノテー ションを行ったデータから 3.1 節の方法で 3 種類のトリプルのデータセットを作成した。それ ぞれのデータセットの統計を表 1 に示す.

・運転免許試験の質問文

オントロジー形式のアノテーションを行った運転免許試験問題（正誤問題）100 問文のトリプ ルを作成した. ID 間の関係を結んでトリプル を作成した．質問毎のトリプル数の統計を表 2 に示す. 3.2 節で説明したように，質問文の表
表 2 質問毎のトリプル数の統計

層と ID 間・IDと type 間での関係（label, type） のトリプルのデータは訓練に用いた。このトリ プルの数は 1,620 個であった.

## 4.2 結果と考察

自動車の運転に関する 100 問の問題（正解が正・誤となる問題それぞれ 50 問）をランダムに 5 分割 し，グラフ埋め込みのパラメータチューニングを 5 分割交差検証で行って，それぞれの正解率を平均を スコアとした. 表 3 に結果を示す. 実験の結果か ら，エンティティタイプに関係を付ける知識グラ フに対して，HolEを使用して「rel_type」のデータ セットを使用したときの正解率が最も高くなった.関係のつけ方による正解率を比較してみると TransE と HolE は「rel_type」で，DistMult は「rel_id」で最 も高い正解率を出しており，同じデータセットでも 正解率はモデルに依存することがわかった. 1 番卜 リプル数が多い「rel_both」の正解率がどのモデル においても正解率が最も高くならなかったことか ら正解率はトリプル数に依存しないことがわかっ た.「rel_id」のデータセットに用語のタイプ間の関係を繋いで作成したトリプルを加えたデータセッ トが「rel_both」になる. DistMultでは「rel_id」の方 が「rel_both」よりも正解率が高くなったことから， DistMult においては用語のタイプ間の関係を繋いだ ことによって作成したトリプルが正解率を低下さ せることに影響していたと考えられる. TransE と HolE の場合では「rel_type」の方が「rel_both」より も正解率が高かったため, 用語の ID 間で関係を繋 いだことによって作成したトリプルが正解率を低下 させることに影響しているのではないかと考えら れる.表 3 モデルと関係の付け方による正解率

## 5 おわりに

本研究では，オントロジー形式でアノテーション された交通教則から抽出した運転知識を知識グラフ に変換し，知識グラフの埋め込みモデル構築し，問題文から作成したトリプルについてのリンク予測問題を解くことで運転免許試験問題を解く方法を提案 した. 運転免許試験問題 100 問に対する 5 分割交差検証の結果， $62 \%$ の正解率を得ることができること が明らかになった. 正誤問題であるため，ベースラ インは $50 \%$ であり， ベースラインからの改善は不十分であるが，知識ベースに対して SPARQL で照合す るアプローチではほとんど照合に成功しないこと から考えると，ソフトな知識のマッチングができて いる。また，各質問文から作られた各トリプルの確率も計算できているため，どの部分がどの程度正し いと判断されたのかを根拠として確認できる．今後 は，本課題に合った新しい知識グラフの埋め込みモ デルを考案し，運転免許問題の正解率を向上させて いきたい.

## 謝辞

本研究の一部は JSPS 科研費 $20 K 11942$ の助成を受 けた。

## 参考文献

[1] 国家公安委員会. 交通の方法に関する教則. 2019.

[2] Savong Bou, Naoki Suzuki, Makoto Miwa, and Yutaka Sasaki. Ontology-style relation annotation: A case study. In Proceedings of the 12th Language Resources and Evaluation Conference, pp.4867-4876, Marseille, France, May 2020. European Language Resources Association.

[3] 鈴木遼司, 三輪誠, 佐々木裕. 交通オントロジーを対象 とした質問文の sparql クエリ変換. 言語処理学会 第 21 回年次大会 発表論文集, 2015.

[4] 鈴木直樹, Bou Savong, 三輪誠, 佐々木裕. オントロ ジー形式アノテーションを対象とした交通用語・関係抽出と正誤問題の回答. 言語処理学会 第 26 回年次大会 発表論文集, 2020.

[5] Antoine Bordes, Nicolas Usunier, Alberto Garcia-Duran, Jason Weston, and Oksana Yakhnenko. Translating embeddings for modeling multi-relational data. Advances in neural information processing systems, Vol. 26, , 2013.

[6] Bishan Yang, Wen-tau Yih, Xiaodong He, Jianfeng Gao, and Li Deng. Embedding entities and relations for learning and inference in knowledge bases. arXiv preprint arXiv:1412.6575, 2014.

[7] Maximilian Nickel, Lorenzo Rosasco, and Tomaso Poggio. Holographic embeddings of knowledge graphs. In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 30, 2016.

[8] Pedro Tabacof and Luca Costabello. Probability calibration for knowledge graph embedding models. In International Conference on Learning Representations, 2020.
 相川渉 三輪誠 佐々木裕 豊田工業大学 \{sd18001, makoto-miwa,yutaka.sasaki\}@toyota-ti.ac.jp  