# メタ学習を用いた少量データからの 中国古代思想家のパーソナライズド対話システムの構築

杜 彬 荻野 正樹
関西大学大学院 総合情報学研究科
\{k661612, ogino\}@kansai-u. ac. jp

## 概要

近年，対話的なアプリケーションにおいて， パー ソナライズドチャットボットの普及が進んでいる. パーソナライズドチャットボットを学習させる場合,質問への回答方法を学習させるためには，大量のチ ヤットデータが必要となる. しかし, このデータの 入手は困難な場合が多い. 特に, 特定人物に対して,歴史上に残ったデータが不足している。 また, パー ソナライズド対話データへの獲得は，手作業による アノテーションが必要な場合が多くて，時間とコス トをかかる. 本研究では, これらの問題点を探り,歴史上に残る僅かな少量の対話データから BERT を 基礎として事前学習 UNILM モデルを実装し，ディー プランニングのメタ学習技術により, ロボットが他 の対話タスクを解く際に過去に学習した知識を利用 することで, 中国古代思想家チャットボットのシス テムを構築する手法を提案する. 実験結果によって， チャットボットの中国古代思想家にパソナライド度,語彙の正確性, 応答の多様性, において提案手法の 有効性が示された。

## 1 はじめに

近年，ソーシャルメディアやインスタントメッセ 一ジのアプリケーションにおいて，チャットボット の普及が進んでいる (図 1).チャットボットは人々 がより簡単にコミュニケーションをとるのを助け，情報やサービスを提供する。言語学習モデルによっ てチャットボットを構成する場合, 学習する人間の 会話データの量と質がチャットボットの会話能力の 決め手となる.

特に，パーソナライズドチャットボットを設計す る場合, その傾向が顕著である. パーソナライズド チャットボットは, そのキャラクターの会話履歴や 嗜好に基づいて学習し, 言葉遣いを改善する必要が ある.しかし, 十分なデータがないと, ボットに十

図 1 パーソナライズドチヤットボット対話システム 分な学習機会が与えられず，結果として個人の言葉 や考え方をうまくモデル化することができない.

この問題に対処するため, 本研究では, メタラー ニングの手法を用いて， パーソナライズドチャット ボットの学習を行う.メタ学習とは, 機械が新しい 課題をより速く学習できるようにすることを目的と した機械学習の手法である[1]. 過去のタスクの大量のデータから新しいタスクの解法を学習するメタ 学習アルゴリズムを用いることで，十分なデータが ないにもかかわらず，よりパーソナライズドされた シミュレーションの学習結果を得ることができると 期待される。

中国古代の思想家の思想は, 中国文化の発展に重要な役割を果たしてきた。古代中国語が複雑な文字体系であることも相まって，言語研究には多くの課題がある。そのひとつが, データの不足である。 中国の古文書は保存状態が様々で，多くの古代思想家 の著作があまり残されていない，また，古代中国の 思想家の著作には, 当時は特定の意味を持っていた ものの，現代ではあまり当てはまらない用語や概念 が多く含まれている. 古代思想家にパーソナライズ ドチャットボットと会話することで, ユーザーが古代言葉の意味をより正確に理解することが期待され る.

本研究では, 残された少ない会話データをもとに, メタラーニングの手法により中国古代思想家として

パーソナライズドされたチャットボットを実現する ことを目指す。このようなチャットボットは古代中国語と思想家の研究問題の解決案の一つの手法とし て活用が期待できる.

## 2 関連研究

メタ学習 (Meta Learning) [2]は, 新しい課題をよ り速く学習することを目的とした機械学習の手法で ある. メタ学習アルゴリズムは, 通常, 過去の多数 のタスクから得たデータを用いて，新しいタスクの 解法を学習する. この手法により, 学習効率を向上 させ，新しい環境でも機械がより良いパフォーマン スを発揮できるようになる。一般的なメタ学習アル ゴリズムには, モデル共有, 学習ストラテジー, マ ルチタスク学習などがある.

(1)モデル共有は, 複数の課題を解決するために共通のモデルを用いるメタ学習アプローチである. モ デル共有は, 通常, モデルのパラメータを調整する ことで新しいタスクに適応させるパラメトリックモ デルを使用する.

(2)学習ストラテジーも，学習アルゴリズムを用い て複数の課題を解決するメタ学習手法として一般的 なものである. MAML (Model-Agnostic Meta-Learning) [3], Reptile[4]など, 学習ストラテジーの具体的な実装方法は存在する。

(3)マルチタスク学習も, 複数の課題を同時に解決 するメタ学習手法の一つである. マルチタスク学習法は, 一般的にニューラルネットワークを用い, 複数のタスク間で情報を共有することで学習効率を向上させる.

最近, MAML を自然言語処理の文章生成に適用し，低リソース環境において, 少ない学習例で新しい夕 スクでの文章を生成する手法が提案されている[5]. MAML は, モデルが新しいタスクに素早く適応でき るように，勾配降下アルゴリズムを用いてモデルの パラメータを調整する. 通常, 少量のサンプルデー 夕を使用してモデルを学習するため, 大量のデータ がない場合でも良い結果を得ることが可能である.

MAML $の$ 利点は, 新しいタスクに素早く適応できる ことと，必要なデータが少ないことである.

本研究では, MAML を使って少量学習データから の対話システムを構築した。

## 3 提案手法

現代中国語の対話データをソース会話データとし
て，初期の会話タスクのモデルを作成. 少量の中国古代対話データを用いて，対話システムの作成の方法をモデルに学習させために，パーソナライズドチ ヤットボットの応答スタイルに素早く適応できる対話モデルの初期パラメータを学習することを MAML の目標タスクとして設定する。

言語モデルは BERT[6]を基礎として発展した UNILM (Unified Language Model Pre-training) [7]とい うモデル事前学習方法を用いている. UNILM は，は 多層 Transformer ネットワーク, 事前学習によって自然言語処理タスクのパフォーマンスを向上させるよ うに設計された。言語モデルの事前学習では，大量 のテキストデータを使って言語モデルを事前学習し， そのモデルを他の自然言語処理タスクに使用する。

図 2 UNILM $の$ Seq2seqLM 概要図

UNILM モデルは, マルチタスク学習の概念に基づ き，複数の自然言語処理タスクに同時に対応するも のである. UNILM の事前学習は言語モデリングの単方向 LM, 双方向 LM, Seq2seqLM（図 2）に共有 Transformer ネットワークが最適化された. 予測され る単語の文脈情報を異なるものにするために，異な

る Attention マスクを使用した。このアプローチによ り，UNILM は言語の文脈情報をよりよく捉え，複数 のタスクを解く際によりよいパフォーマンスを発揮 することができる. UNIML モデルを基本的な対話シ ステムとして, パラメータ学習に MAML を用いる.

MAML では現代中国語の対話データをソースデー タとして, 初期の個別タスクの基本モデルを作成. モデル初期化パラメータをゆとし, $\mathrm{n}$ 番目のテスト文字で学習した後のモデルパラメータを $\hat{\theta}^{n}$ と定義し,全損失関数を以下のように定義する.

$
L(\varnothing)=\sum_{n=1}^{N} l^{n}\left(\hat{\theta}^{n}\right)
$

初期化パラメータの更新は：

$
\varnothing \leftarrow \varnothing-\eta \nabla_{\varnothing} L(\varnothing)
$

図 3 システムパラメータの更新初期化時のソース会話データを用いて, タスクご とに対話モデル全体の微調整を行い，目標モジュー ルのパラメータに L-1 正則化を追加します.ここで の L-1 正則化の目的は，パラメータを疎にし，タス ク固有の文の生成に有益なパラメータのみをアクテ イブにすることである. 初期化されたパラメータが 更新された後, メタ学習時のパラメータは, 学習タ スクの各ステップを通じてより強い汎化能力を持つ ようになる。 MAML を利用してパラメータの更新 は図 3 に示す。

## 4 実験

## 4.1 データ

メタ学習のソースデータとして, 既存のオープン ソースの中国語対話データセットを使用した. KdConv[8], 知識領域の会話が含まれる. CrossWOZ[9], 会話の種類や, ユーザーの会話状態の 注記も含まれる. DoubanCorpus[10], 複数ラウンドの 日常会話を含まれる.

目標のデータセットは低リソースの古代中国の年代順に分類された古代中国思想家の中短編文章集,例えば論語, 老子, 戦国策, 孫子兵法などを使用す る, その中でおよそ半分は対話データ, 半分は独白 データとみられる. 古代中国語データを Classical と 表記する.

データの会話文数は表 1 に示す. 現代中国語と古代中国語の両方に, Jiayan というパッケージを使っ て漢字の文をトークン化した. メタ学習のトレーニ ングセットとテストセットの比率は $9: 1$ である.

## 4.2 実験設定

モデルは UNILM をベースに実装し，対話ロボッ トの表現を使用するように改良した。一般化するこ とを確認するために，さまざまなメタ学習のパラメ ータで学習を行なった. 本研究で学習率 $2 \mathrm{e}-5$, バ ッチサイズ 32, ドロップアウトが 0.1 , 重み減衰が 0.0001 , 最大 seq 長さ 128 に固定し, 事前に学習し た中国語モデルを用いて学習を行った。事前学習モ デルは epoch（学習回数）を 10 になった，結果を記録する。ソースタスクの選択の効果を調査するため に, 様々な会話データセットを用いてメタ学習する.各エピソードでは, デフォルトでは, Adamの単一勾配ステップを用いて，メタ勾配を計算するための計算を行っている.

## 4.3 評価手法

本実験で生成応答に対し, 自動評価および人手評価を行う。モデルについて，すべての訓練タスクの データを用いて統一的な対話生成モデルを事前学習 し, その後, テストタスクで直接テストする。 ベー スとなる生成モデル Seq2seq を試した. 各テストタ スクで事前学習を微調整 Finetune して, モデル Seq2seq-F と表記する.コンプリートモデルに対して MAML アルゴリズムを適用し, MAML と表記する.

自動評価指標としては，応答の流暢度を測定する PPL，参照応答との類似度を測定する BLEU[11], 応答の多様性を測定する dist-1[12].

人手評価では古文を読むことができる大学卒業生 3 名を招きた. 各モデルで作成された応答が混ぜ合 わられて採点された. 各応答を正確さ, 流暢さとパ ーソナライズド度 3 つの尺度で独立して採点する。評価範囲は $0 \sim 2$ で, 回答の適切さを測り, 2 を合格 とする，0 は無関係な内容である

正確さ：ロボットが質問に答える際に使用する言葉に，よく使う古代中国語を参照語彙と比較し， 口 ボットが使った語彙のうち，いくつが正しいかを評
価する.

流暢さ : ボットがいかにうまく会話に入り込むか を測定するために，流暢さを評価する。

パーソナ度 : ロボットが質問に答える際に, ど の程度パーソナライズされているかを測定するため に，ボットが応答する際に使用した中国古代思想家 の言葉っぽいかと評価する。

## 5 実験結果

## 5.1 自動評価

モデルの性能は表 2 に自動評価による結果を示す.表 2 自動評価の結果

自動評価の結果によって Finetune の Seq2seq-F は Seq2seq 法より優れている. MAML 法は BLEU ス コアでは Finetune 法に及ばないが，Dist-1 スコアは 比較的高い值を示した. このことから, MAML は 応答の多様性を向上させるのに役立つことが表現さ れた. BLEU の類似度指標は, 生成された応答と参照応答の類似度を比較することを指す。これは， Finetune 法に生成された応答が参照応答との類似度 が高ければ，より朵長性が高いと考えられる。

## 5.2 人手評価

モデルの性能は表 3 に人手評価による結果を示す.表 3 人手評価の結果

異なる学習方法を用いたチャットロボットを比較 した結果, MAML 技術を用いたロボットの方が, 質問に答える際の語彙の正確さが高いことがわかた. これは, メタ学習技術により, ロボットが他のタス クを解く際に過去に学習した知識を利用することで， タスクを解く際に適切な語彙をよりよく選択できる ようになるためと考えられる。また， パーソナライ ズ度を比べて，MAML の性能が高いことがわかる。
この結果から，現在の対話に関連したパーソナライ ズ情報が，応答生成に有用な情報を与えていると考 えられる。

## 5.3 考察

対話システムで現代中国語の対話内容に対して，生成された回答は古代中国語で, 応答の多様性が高 くて, 対話内容との関連で文字通り理解できる程度 であった. しかし, 期待されたレベルに達していな い会話要素も多く見受けられた。たとえば，「毎年七月三十九日」といって時間を答えるという常識の 誤りがあった. また, 経営, 会計, 博士など古今で 意味が変化した漢字の知識も正確さに欠ける. 最後 に, 古代中国語は少ない単語で意味を伝える傾向が あるため, 生成される対話コンテンツは長さが短く なりがちで, 判断文形式の頻度が高い。例えば，そ れはできない，これはいい，それは聞いていない， などである（表 4）。

表 4 古代思想家対話システムの対話案例の一つ

結果を改善するため, いくつかの課題があること を認識した。まず，より性能がいいパーソナライズ ドチャットボットを学習させるためには，高品質な データを使用する必要がある。 さらに, 適切な夕ス クを制定して，学習処理の有効性を上がる必要があ る.また，モデルの汎化能力にも注目する必要があ る. メタ学習技術を用いてパーソナライズドチャッ トボットを訓練する場合，モデルが新しいタスクで より良いパフォーマンスを達成できるようにする必要がある。

## 6 おわりに

本稿では，メタ学習を使用して，少量の対話デー タでパーソナライズド中国古代思想家チャットボッ トの対話システムを提案した. 今後は, 続けて研究 を通じて，機械学習に不可欠なデータ問題に向けた 新しいアイデアや方法を提供したいと考えている.

## 参考文献

[1] Po-Sen Huang, Chenglong Wang, Rishabh Singh, Wen-tau Yih, and Xiaodong He.2018.Natural language to structured query generation via metalearning.In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers), pages 732-738.Association for Computational Linguistics.

[2] Tom Schaul and Juergen Schmidhuber.2010. Metalearning.Scholarpedia, 5(6):4650.

[3] Chelsea Finn, Pieter Abbeel, and Sergey Levine. 2017.Model-agnostic meta-learning for fast adaptation of deep networks.In ICML, pages 11261135

[4] Alex Nichol, Joshua Achiam, John Schulman.2018. On First-Order Meta-Learning Algorithms.arXiv preprint arXiv: 1803.02999

[5] Fei Mi, Minlie Huang, Jiyong Zhang, and Boi Faltings. 2019.Meta-learning for low-resource natural language generation in task-oriented dialogue systems . In IJCAI, pages 3151-3157

[6] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. 2018. Bert: Pre-training of deep bidirectional transformers for language understanding . arXiv preprint arXiv:1810.04805

[7] Li Dong, Nan Yang, Wenhui Wang, Furu Wei, Xiaodong Liu,Yu Wang, Jianfeng Gao, Ming Zhou, and Hsiao-Wuen Hon.2019.Unified language model pre-training for natural language understanding and generation.InH.Wallach,H.Larochelle,A.Beygelzim er, F.d'Alché-Buc, E.Fox, and R.Garnett, editors,
Proc.of NeurIPS, Vol.32, pp.13063-13075.Curran Associates, Inc

[8] Hao Zhou, Chujie Zheng, Kaili Huang, Minlie Huang, Xiaoyan Zhu.2020. KdConv: A Chinese Multi-domain Dialogue Dataset Towards Multi-turn Knowledge-driven Conversation.arXiv preprint arXiv: 2004.04100

[9] Qi Zhu, Kaili Huang, Zheng Zhang, Xiaoyan Zhu, Minlie Huang.2020.CrossWOZ: A Large-Scale Chinese Cross-Domain Task-Oriented Dialogue Dataset.arXiv preprint arXiv: 2002.11893

[10] Yu Wu, Wei Wu, Chen Xing, Ming Zhou, Zhoujun Li.2016.Sequential Matching Network: A New Architecture for Multi-turn Response Selection in Retrieval-based Chatbots.arXiv preprint arXiv: 1612.01627

[11] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. July 2002.Bleu: a method for automatic evaluation of machine translation.In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp.311318, Philadelphia, Pennsylvania, USA, Association for Computational Linguistics

[12] Jiwei Li, Michel Galley, Chris Brockett, Jianfeng Gao,and Bill Dolan. June 2016.A diversitypromoting objective function for neural conversation models.In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp.110-119, San Diego, California, Association for Computational Linguistics
 杜 彬 荻野 正樹 関西大学大学院 総合情報学研究科 \{k661612, ogino\}@kansai-u. ac. jp  