# 低リソースの意見要約のための教師なしドメイン適応

小杉宥斗 ${ }^{1}$ 李吉屹 ${ }^{2}$ 福本文代 ${ }^{2}$
${ }^{1}$ 山梨大学工学部コンピュータ理工学科 2 山梨大学大学院総合研究部工学域
\{t18cs021, jyli, fukumoto\}@yamanashi.ac.jp

## 概要

近年，意見要約の分野では，Few-Shot 学習を利用 した研究が盛んに行われている [1][2][3]. しかし，既存の Few-Shot 学習モデルでは特定のドメインの 教師データが存在しない場合，そのドメインにおけ る要約の精度が低下する。この問題の解決を図るた め, 本研究では MoE (Mixture of Experts) による教師 なしドメイン適応に基づく新たな手法を提案する。作成したモデルに対する評価実験とその結果から得 られた課題について報告する。

## 1 はじめに

意見要約 (Opinion Summarization) とは主観的な意見を含む複数のテキストを対象とし，それらの意見 を端的にまとめたテキストを生成するタスクであ る. 本研究では，製品に対するユーザレビューを対象とし，深層学習を用いた意見要約を行う．教師あ り学習により意見要約モデルを訓練する場合, 大量 の教師データを用意する必要があり, 多大なコスト や労力を要する. そのため, 意見要約分野では教師データが不足しており, 従来より教師なし学習 や半教師あり学習を用いた手法が数多く提案され ている [4][5][6][7][8][9]. 特に近年では, Few-Shot 学習を用いた手法が盛んに研究されている [1][2][3]. Few-Shot 学習とは, ごく少数の教師データのみを利用してモデルを訓練する学習手法である.

深層学習では，しばしば特定のドメインにおける 教師データが存在しない場合が生じる。これを解決するための一手法として, 教師なしドメイン適応 (Unsupervised Domain Adaptation) がある. 教師な しドメイン適応は, 教師データが利用できる「ソー スドメイン」によりモデルを訓練し, 教師データが 存在しない「ターゲットドメイン」における汎化性能を獲得する技術である. 特に，ユーザレビュー の対象となる製品は様々なドメインに属してい る.これらの知識を有効に活用するため, 本研究
では複数のソースドメインを利用したドメイン適応 (Multi-Source Domain Adaptation) に焦点をあてる.近年では，このようなドメイン適応に対し MoEを 利用した手法が提案され，その有効性が示されてい る [10][11][12].

本研究では, Few-Shot 学習を利用した意見要約 モデルである FewSum[1] に対し, MoE (Mixture of Experts) による教師なしドメイン適応を行うモデル として，FewMoESumを提案する。加えて，モデル に対する評価実験とその結果から得られた課題につ いて報告する。

## 2 FewSum

FewSum[1] は Few-Shot 学習による意見要約の代表的な手法であり，入力レビュー集合に出現しない表現も用いて要約を作成する Abstractive Summarization を行う。モデルは Transformer[13] を採用しており， Encoder と Generator (Decoder) から構成される.

FewSum の学習は, 事前学習と Fine-tuning からな る. 事前学習は, 複数のレビューをもとにレビュー を生成することにより行う，学習時は，同じ製品 に対するレビューの集合から1つを抜き出したレ ビュー $r_{i}$ を教師信号とし，残りのレビュー $r_{-i}$ を入 カサンプルとする. モデルのうち, Encoder は入力 された $r_{-i}$ の特徵量を抽出し, Generator は抽出され た $r_{-i}$ の特徴量と propertyをもとにレビュー $r_{i}$ を推測する. property とは $r_{i}$ と $r_{-i}$ の関係や, $r_{i}$ の性質 であり, 事前学習時点では $r_{i}$ と $r_{-i}$ に応じて一意に 計算される。事前学習により, Generator は property と生成すべきテキストの対応関係を学習する。

Fine-tuning では，人手で作成したごく少数の要約 を教師信号として利用し, 要約生成モデルを学習す る.ここでは，Plug-in Network，すなわち，入力レ ビュー集合から抽出した情報をもとに，理想的な要約の生成を促す property を予測するよう学習する ネットワークをモデルに追加する.

property の例には「代名詞の分布」がある. 要約

は，一人称代名詞を含まない客観的文体であること が望ましい。 そのため, Plug-in Network は「一人称代名詞の割合が小さい」ことを示す propertyを生成 する. Generator は事前学習時に property に対応した テキストを生成するよう学習しているため，当該の property が与えられることにより，一人称代名詞の 使用を避けつつ要約の生成を行うことができる.

Few-Shot 学習では教師データがごく少数に限られ ており，大量のパラメータを調整するには不十分で あるため，モデル全体に対する Fine-tuning を行うと 過学習が発生する。そのため Fine-tuning 時には, 調整するパラメータを Plug-in Network と Generator の 一部に限定することにより過学習を抑制している.

## 3 Mixture of Experts (MoE)

Guo らは，感情分類や品詞タグ付けといった分類 タスクを対象とし，MoE (Mixture of Experts)を用い た教師なしドメイン適応を行う手法を提案している [11]. MoE は，特定のデータの処理に特化したネッ トワークを複数作成し, 各ネットワークの出力を加重平均する手法である。特に，MoEではこれらネッ トワークを「エキスパート」と呼んでいる. Guo ら の手法 (以降, GuoMoE と記述する) では, 複数の分類器をそれぞれ各ソースドメインに特化し，エキス パートとしている. 図 1 にその概略図を示す. 分類 を行う際は，入力サンプルとソースドメインの類似度が高いほど，そのソースドメインに特化したエキ スパートに対して大きい重みを割り当てる.この重 みに基づき各エキスパートの出力を加重平均し, 最終的な分類結果を求める. この処理により, 入力サ ンプルに類似するソースドメインから得た知識を重視して分類を行うため, 未知のドメインのデータに 対しても優れた分類結果を得ることができる.

GuoMoE と FewSum との差異を以下に示す:

(a) GuoMoE では，大量の教師データを用い教師あ り学習を行っている。一方，FewSum ではごく少数の教師データを用いる Few-Shot 学習を行う.

(b) GuoMoE では, 実験に使用したモデルは小規模 である。一方，FewSum では比較的大規模なモデ ルを扱う．したがって Generatorをエキスパート として単純に複製すると，モデルのパラメータ 数が大幅に増加する。

大量のパラメータを調整する場合，それに応じて 大量の教師データを利用しなければ過学習が発生す

る.そのため, GuoMoE のようにネットワークを単純に複製する方法は，FewSumのような条件のもと では適さない. したがって本研究では, FewSumの Generatorのうち一部のみをエキスパートとするこ とにより，この問題の解決を図る.

## 4 提案手法

本手法では，事前学習と FewMoESum の学習によ りモデルを訓練する。事前学習の際は, FewSum と 共通のモデル，及び学習方法を用いる. FewMoESum の学習は, FewSum の Fine-tuning に代わる処理で ある。

## 4.1 FewMoESum

FewMoESum では MoE を利用して教師なしドメ イン適応を行う，図 2 に FewMoESum の概略図を示 す. モデルは, 事前学習で得たレビュー生成モデル (Encoder, Generator) と Plug-in Network を組み合わせ,新たに Gating モジュールを追加したものである.こ の際，Generator 内の Source-Target Attention モジュー ルをソースドメインの数と一致するよう複製し，各 ソースドメインに対応したエキスパートとする.

図 2 FewMoESum のモデル概略図

## 4.1.1 Gating モジュール

Gating モジュールは, 各エキスパートの出力を加重平均する際の重みを生成する. GuoMoE と同様 に，重みは入力サンプルとソースドメインとのマハ

ラノビス距離をもとに予測する. Few-Shot 学習では 利用できる教師データがごく少数に限られており，大量のパラメータを調整することができない. マハ ラノビス距離による重み付けは大量のパラメータを 必要としない (実験ではパラメータ数がモデル全体 の $0.1 \%$ 以下) ため, Few-Shot 学習に適する.

式 (1)はマハラノビス距離を示し, 大力サンプル とソースドメインとの意味的な距離を予測するため に用いる。次に式 (2)により, 求めた距離の符号を 反転させ，入力サンプルとソースドメインの類似度 を求める. 以上の処理を各ソースドメインに対して 行い, 最後に，式 (3)で示される Softmax 関数により 各ソースドメインに対する類似度を確率で求め, 各 エキスパートに対する重みとする.これにより，入 カサンプルとソースドメインが類似するほど，その ドメインに対応するエキスパートの出力が重視さ れる.

$
\begin{aligned}
d(x, S) & =\left(\left(E(x)-\mu^{S}\right)^{T} M^{S}\left(E(x)-\mu^{S}\right)\right)^{\frac{1}{2}} \\
e(x, S) & =-d(x, S) \\
\alpha\left(x, S_{i}\right) & =\frac{\exp \left(e\left(x, S_{i}\right)\right)}{\sum_{j=1}^{K} \exp \left(e\left(x, S_{j}\right)\right)}
\end{aligned}
$

$
\begin{array}{ll}
x: & \text { 入力サンプル } \\
S: & \text { ソースドメイン } \\
E(x): & \text { 入力サンプル } x \text { の特徴量 } \\
\mu^{S}: & \text { ソースドメイン } S \text { の平均特徴量 } \\
M^{S}: & \text { ソースドメイン } S \text { 固有のパラメータ行列 } \\
& \text { 学習により } S \text { の逆共分散行列に近似する } \\
\left.\{S_{i}\right.\}_{i=1}^{K}: & \text { ソースドメインの集合 }
\end{array}
$

ただし， $\mathrm{E}(\mathrm{x})$ は入力レビュー集合に含まれる各単語 の特徴量を Encoder により抽出し, 平均することに より求める.

GuoMoEでは，各ソースドメインに対してそれぞ れ 32 個のサンプルを含むミニバッチを利用し，学習および推論を行う．この際，ミニバッチに含ま れるデータを Encoder に入力することで各データの 特徵量を獲得し, それらの平均を求め, 各ソース ドメインに対する $\mu^{S}$ としている. しかし, 本研究 では利用するモデルや入力サンプルが比較的大き く，多くのGPUメモリを消費する．そのため，ミ ニバッチに含められるサンプル数が少なくなり, 従来の手法を利用すると求めた $\mu^{S}$ の信頼性が低くな るという問題がある. したがって, FewMoESum の 学習を行う直前にソースドメインの教師なしデー
タから $\mu^{S}$ を求め, 全学習ステップおよび推論に利用する. 通常，学習時に Encoder が更新されること により，特徴空間が変化してしまうため，学習前に 計算した $\mu^{S}$ を利用することはできない.しかし， FewMoESum の学習では, FewSum の Fine-tuning と 同様に Encoder のパラメータを固定して学習するた め，この手法が利用できる.

## 4.2 FewMoESum の学習

FewMoESum の学習では，モデルに対して要約生成への適応と, ターゲットドメインへのドメイン適応を同時に行う。この際，教師ありデータを用いて 学習を行う. しかし, 本手法では教師なしドメイン 適応を行うため, 訓練，検証にはソースドメインの データのみを用いる. 図3 に示すように, Encoder の入力はレビュー集合であり, Generator の入力はレ ビュー集合に対応する正解要約と, Plug-in Network により生成された property, Gating モジュールから 生成された各エキスパートに対する重みである.

FewSum では, 教師データの少なさに起因する過学習を抑えるため, 調整するパラメータを一部に限定する手法が提案された. したがって本手法におい ても，調整するパラメータを Plug-in Network と各エ キスパート，Gating モジュールに限定する。

図 3 FewMoESum のモデル概略図 (学習時)

## 4.2.1 損失関数

学習時は GuoMoEにおいて提案されたメタ学習手法を用いる.この手法では，エキスパートを対応す るソースドメインに特化させるための Loss $s_{m t l}$ と，各エキスパートに対する重み付けの学習を行うため の Loss $s_{m o e}$ から構成される損失関数に従う. 以下に 損失関数を定義する。

$
\operatorname{Loss}=\lambda \cdot \operatorname{Loss}_{m o e}+(1-\lambda) \cdot \operatorname{Loss}_{m t l}
$
図 3 は，エキスパート 3 に対応するソースドメ インのサンプルが入力された場合の処理である. Loss $_{m t l}$ は，全エキスパートのうち，入力サンプル のドメインに対応するエキスパートのみの出力を利用して計算する. この時, Gating モジュールや他の エキスパートは使用しない，Loss Loe $^{\text {エ } ， 入 力 サ ン ~}$ プルのドメインに対応するエキスパート以外の出力 を利用して計算する。この時，各エキスパートの出力は Gating モジュールにより生成された重みを用い て加重平均される. また， $\lambda$ はハイパーパラメータ

## 4.2.2 テスト

モデルのテスト時には, 図 2 のように全てのエキ スパートの出力を加重平均を求め，1つの要約を生成する. 入力サンプルと類似するソースドメインに 対応したエキスパートの出力を重視するため，未知 であるターゲットドメインのデータに対しても頑強 な要約生成が可能となる。

## 5 実験

## 5.1 実験データ, 評価方法

実験に使用したデータセットを表 1 に示す.デー タセットは FewSum の実験で利用されたものと同一 であり，Amazon の製品に対するレビューと要約で 構成される。なお，教師なしデータは 1 データあ たり 9 個のレビュー，教師ありデータは 1 データ あたり 8 個のレビューと 3 個の要約を含む. これ らのデータは Clothing, Shoes and Jewelry; Electronics; Health and Personal Care; Home and Kitchen $の 4$ 分野に 分類されている.

実験時には，4つの分野のすべての組み合わせに ついて， 1 分野をターゲットドメイン，他 3 分野を ソースドメインとしモデルの評価を行った. 教師な しドメイン適応の効力を確認するため，訓練，検証時に利用する教師ありデータはソースドメインのも のに限定する。テスト時は，ターゲットドメインの 教師ありデータのみを用いる。また，事前学習時に 用いる教師なしデータはターゲットドメインに関わ らず，すべての分野のデータを利用する。

評価指標には，要約タスクにおいて一般的な自動評価である ROUGE F1 スコア [14]を使用する. ROUGE F1 スコアはテキスト間の単語の一致度を数値化する指標である。表 1 実験に使用したデータセット

## 5.2 結果

ROUGE F1 スコアを表 2 に示す. 各ターゲットド メインの実験で，より優れたスコアを太字で示す.提案手法は FewSum と比較し"Health"ドメインでは 精度の向上が見られたものの，ほとんどのスコアに おいて大幅な向上はなく，ドメイン適応が十分に機能していない．この原因として，教師ありデータの みを用いてドメイン適応を行ったことが考えられ る. 利用できる教師ありデータは少数であり，実際 のソースドメインと学習に利用する教師ありデータ では分布が異なる。 そのため, Gating Moduleがソー スドメインの分布を正確に捉えられず，エキスパー トに対し正しく重み付けができていないことが考え られる。同様に，エキスパートが学習に利用する教師ありデータの分布にのみ特化しており，汎化性能 が低下したことが原因として考えられる。

表 2 実験結果 (ROUGE F1 スコア)

## 6 まとめ

本研究では, Few-Shot 学習による意見要約モデル に対し，MoE を利用した教師なしドメイン適応を 行う手法を提案した. 評価実験では，提案手法は FewSum と比較し一部精度が向上したものの，大幅 な向上には至らなかった. 今後は，ドメイン分類の 学習により Gating Module を初期化する，各ソース ドメインで独立した追加の事前学習によりエキス パートを訓練するなど，教師なしデータを活用した ドメイン適応手法について検討する予定である.

## 謝辞

本研究の一部は, JKA 補助事業の助成を受けたも のである.

## 参考文献

[1] Arther Bražinskas, et al. 2020. Few-Shot Learning for Opinion Summarization. In Proceedings of the Conference on Empirical Methods in Natural Language Processing (EMNLP), pages 4119-4135

[2] Nadav Oved, Ran Levy. 2021. PASS: Perturb-and-Select Summarizer for Product Reviews. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics (ACL), pages 351-365.

[3] Hayate Iso, et al. 2021. Comparative Opinion Summarization via Collaborative Decoding. arXiv:2110.07520.

[4] Qiaozhu Mei, et al. 2007. Topic sentiment mixture: modeling facets and opinions in weblogs. In Proceedings of the 16th international conference on World Wide Web in Association for Computing Machinery (ACM), pages 171-180.

[5] Ivan Titov, Ryan McDonald. 2008. Modeling online reviews with multi-grain topic models. In Proceedings of the 17th international conference on World Wide Web in Association for Computing Machinery (ACM), pages 111-120.

[6] Stefanos Angelidis and Mirella Lapata. 2018. Summarizing opinions: Aspect extraction meets sentiment prediction and they are both weakly supervised. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing (EMNLP), pages 3675-3686.

[7] Eric Chu and Peter Liu. 2019. Meansum: a neural model for unsupervised multi-document abstractive summarization. In Proceedings of International Conference on Machine Learning (ICML), pages 1223-1232.

[8] Arthur Bražinskas, et al. 2020b. Unsupervised opinion summarization as copycat-review generation. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (ACL), pages 5151-5169.

[9] Ke Wang, Xiaojun Wan. 2021. TransSum: Translating Aspect and Sentiment Embeddings for Self-Supervised Opinion Summarization. In Findings of the Association for Computational Linguistics (ACL-IJCNLP), pages 729-742.

[10] Dustin Wright, Isabelle Augenstein. 2020. Transformer Based Multi-Source Domain Adaptation. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pages 7963-7974.

[11] Jiang Guo, et al. 2018. Multi-Source Domain Adaptation with Mixture of Experts. In Proceedings of the Conference on Empirical Methods in Natural Language Processing (EMNLP), pages 4694-4703.

[12] Young-Bum Kim, et al. 2017. Domain Attention With an Ensemble of Experts. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (ACL), pages 643-653.

[13] Ashish Vaswani, et al. 2017. Attention is all you need. In Advances in neural information processing systems (NIPS), pages 5998-6008.

[14] Chin-Yew Lin. 2004. Rouge: A package for automatic eval- uation of summaries. In Proceedings of Workshop on Text Summarization Branches Out Post Conference Workshop of the Association for Computational Linguistics (ACL), pages 74-81.
 小杉宥斗 ${ }^{1}$ 李吉屹 ${ }^{2}$ 福本文代 ${ }^{2}$ ${ }^{1}$ 山梨大学工学部コンピュータ理工学科 2 山梨大学大学院総合研究部工学域 \{t18cs021, jyli, fukumoto\}@yamanashi.ac.jp  