# BERT を利用したチャットボットの Q\&A データ自動作成

小原孝介 ${ }^{1}$, 美尾樹 ${ }^{1}$, 多村新平 ${ }^{1}$, 今上博司 ${ }^{1}$, 佐藤功一 ${ }^{1}$, 滝澤一樹 ${ }^{1}$, 竹内孔 ${ }^{2}$
}

1 株式会社三井 E\&S マシナリー 2 岡山大学大学院 自然科学研究科

 }^{1}\left.\{}.$ oharak, tatsuru-mio, tamura_s, hiro4, kochan, kazuki_takizawa\}@mes.co.jp, ${ }^{2}$ takeuc-k@okayama-u.ac.jp
## 概要

本稿では，メールの文章を利用してチャットボッ 卜に搭載する $\mathrm{Q} \& \mathrm{~A}$ データを半自動的に作成するた めの手法を提案する. BERT を利用して Q\&A データ 作成に必要な語句の推論モデルを作成し, Q\&Aデー 夕作成に必要な語句を推論した. また, 語句の推論結果から Q\&A データの Answer となる文章を作成 した場合，過去の応対記録を含む文章が作成されて いることを確認した。

## 1 はじめに

舶用ディーゼル機関は船上で昼夜問わず稼働して おり，技術者に対して日々舶用ディーゼル機関の部品・システムに関する様々な問い合わせが行われて いる. 現在, 技術者が舶用ディーゼル機関に関する 問い合わせに対して主にメールで回答しているため，技術者が不在になると回答を受けるまでに大幅に時間がかかることがある.この不便性を解消するため に，チャットボットを利用した問い合わせ内容を自動回答するシステムを導入している。

チャットボットは質問文を入力するもしくは質問 リストから質問を選択していくと, 対応する回答が 自動的に出力されるプログラムであり，カスタマー サポートや社内問い合わせ等, 様々な場面で使用さ れている[1]. 過去のメールでの問い合わせ事例から 市販のチャットボット向けに Q\&A データを作成で きれば, 顧客は 24 時間いつでもトラブルシュート等 に対応することが可能となり, 当社の舶用ディーゼ ル機関のアフターサービスに対する顧客満足度を向上させることができる.
しかし, 舶用ディーゼル機関を構成する部品・シ ステムは多種多様であるため，自動で回答するチ中 ットボットを実現するためには過去の問い合わせメ 一ルから大量の $\mathrm{Q} \& \mathrm{~A}$ データ作成に必要な文章を抽出する必要があり, 人力で全てを行うには膨大な時間が必要となる。

先行研究では蓄積された文書の再利用に関する手法について様々なアプローチが展開されている．例 えば書内の固有表現を同義語とともに考慮する方法[2川村]や機械学習と人手による整備方法が提案 されている[3 加藤]. また社内でチャットボットを利用した枠組も提案されている[4木下],

本研究では先行研究を参考に $\mathrm{Q} \& \mathrm{~A}$ データ作成に 必要な固有表現に対して深層学習モデルである BERT[5]を利用し，製品に関する問い合わせメール から大量の $\mathrm{Q} \& \mathrm{~A}$ データを半自動的に作成する方法 を提案する。

## 2 メールデータ

弊社ではアフターサービス向上のために, 舶用デ ィーゼル機関に関する当社から送信したメールは全 て自社のサーバーに保管している。メールは質問，回答，再質問，再回答，など複数の内容で構成され ていることが多い. また, 顧客と技師とが直接やり 取り寸るパターンの他に顧客，営業，技師とがやり 取りするパターン存在する。

Q\&A データ作成に利用するメールの例を図 1 に 示す.メールの種類は主に 3 種類存在する.

## ・メール例 1：全て日本語のメール

全て日本語で記載されたメールの例を図 1 に示す.日本人同士で問い合わせ・トラブルに関する議論を

 \\

図 1 Q\&Aデータ作成に使用するメールの種類

行うと,メールは全て日本語で記載される。

・メール例 2: 全て英語のメール

全て英語で記載されたメールの例を図 1 に示す.外国人と問い合わせ・トラブルに関する議論を行う

と,メールは全て英語で記載される.

・メール例 3: 一部の内容が英語のメール

営業, 代理店等が外国人から技術的な問い合わせ もしくはトラブルに関するメールを受け取った時，技術者に受け取ったメールを転送する．転送された メールを基に日本人同士が議論を行うと，メールに は日本語と英語が混在する。

## 3 Q\&A データ作成プロセス

Q\&A データの作成プロセスは下記の通りである.

1. メールの語句に対するラベル付け

メールの語句に対して下記のラベルを付ける.

対象：機器の部品名

事態: 対象の状態

- 処置：事態に対する対応内容

2. 事前学習済み BERT を FineTuning する。

3. FineTuning したモデルを利用して語句の推論を 行う.

4. 推論結果を利用して $\mathrm{Q} \& \mathrm{~A}$ データを作成する.「対象」もしくは「事態」と推論した語句を Question とし，「処置」と推論した語句を含む文章をつなぎ合
わせて Answer の文章とする.

## 4 検証結果

ラベル (対象，事態，処置) の推論結果と推論結果を利用して Q\&A データの Answer となる文章を 作成した例をこの節で示す.

## 4.1 ラベルの推論結果

表 1 に推論結果が ground truth と同じになった語句の一例を示す. 表 1 に示す語句は短い語句もしく はメールで数多く記載されている語句である。これ らの語句は学習データに数多く含まれるため, 推論結果が ground truth と同じになったと考えられる。

表 2 に推論結果が ground truth と異なる語句の一例を示す. 推論結果が ground truth と異なるパターン は下記の通りである。

(1) ground truth としている語句が全く推論されて いない.

(2)「○○の $\times \times$ が $\triangle \triangle$ である」等，助詞や修飾語 を含むことで語句が長くなることがあり，推論し た際に語句の間違い・不足が発生する.

(3) ground truth では 2 語にラベル付けしているが，推論結果は 1 語になる場合 (例 ground truth:「舶用」-対象「ディーゼル」-対象，推論結果：「舶用 ディーゼル」-対象) となる.

 \\

— : Answer文を作成する際に使用した文章 $\square$ : 処置と推論

図 2 ラベルの推論結果から作成した Answer の例

(4) 語句の一部が推論されていない (例 ground truth：部品上部の面，推論結果：部品)，もしくは 推論結果に余分な語句が含まれている(例 ground truth: 表示システム, 推論結果: 画面表示システ 厶)

表 1 推論結果が ground truth と同じになった語句

表 2 推論結果が ground truth と異なる例

 \\

## 4.2 ラベルの推論結果を使用した回答文の作成例

「処置」と推論した語句を含む文章を抽出し，抽出 した文章をつなげることで Q\&A の Answer の文章 を作成した. ラベルの推論から Answer の文章を作成した例を図 2 に示す.メールに記載されている文章を結合して Answer を作成したので，作成した Answer の文章は過去の応対記録を含む文章となっ ている.

## 5 まとめ

BERT を利用してチャットボットへ搭載する Q\&A データの半自動的に生成する手法を提案した. Q\&A データ作成に必要な語句を推論した結果, 短い語句 やメール内に頻繁に出現している語句は正確に推論 されていることを確認した。一方，助詞を含む長い 語句や語句の一部が正しく推論されていない例が存在するため, 助詞や修飾語を含まない語句を推論モ デルに学習させることで正確に語句を推論できる様 にする予定である。

## 参考文献

[1] 独立行政法人情報処理推進機構 AI 白書編集委員会「AI 白書 2019」(2019)

[2] 川村. 共起情報を利用した不具合事象の同義表現獲得. 情報処理学会 Vol.2019-NL-241 (2019)

[3] 加藤, 田中. ユーザフィードバックによる固有表現抽出の精度改善. FIT2020.

[4] 木下, 藨田, 藤原. チャットボットを用いた社内情報サービス管理方式. FIT2020.

[5] Devlin, et. al. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding, Proceedings of NAACL-HLT, pp. 4171-4186 (2019)
 小原孝介 ${ }^{1}$, 美尾樹 ${ }^{1}$, 多村新平 ${ }^{1}$, 今上博司 ${ }^{1}$, 佐藤功一 ${ }^{1}$, 滝澤一樹 ${ }^{1}$, 竹内孔 ${ }^{2}$ }  1 株式会社三井 E\&S マシナリー 2 岡山大学大学院 自然科学研究科   }^{1}\left.\{}.$ oharak, tatsuru-mio, tamura_s, hiro4, kochan, kazuki_takizawa\}@mes.co.jp, ${ }^{2}$ takeuc-k@okayama-u.ac.jp 