# Convex Aggregation for Opinion Summarization

磯竬 $\dagger$

## はじめに

Yelp や Glassdoor などのオンラインレビュープラットフォームの急速な普及に伴い，人々は食事や就職活動などあらゆることを決める際にレビューを参考するようになっている．しかし， これらのプラットフォームには，毎日大量のレビューが投稿されているため， ユーザが求めている有益な意見を見つけるためには大量のレビュー文書をユーザ自身が時間をかけて読む必要がある。

意見要約システムは，レビューから代表的な意見を抽出し，その意見を簡潔でわかりやすい形で要約するシステムである。これにより, 生成された要約を読むことで，ユーザはレビュー をもとにした意思決定を容易に行うことができる。通常，文書要約システムは，人間が参照要約と入力文書のぺアを大量に用いてニューラルネットワークモデルを学習させることで構築するが，カスタマーレビューに対して十分な量の参照要約を収集することは，コストの観点から現実的ではない，そのため，人間が書いた参照要約を必要としない，教師なしのアプローチによる意見要約システムの開発が主流となっている.

これまで Megagon Labsでは, 出力を制御可能な意見要約システム OpinionDigest (Suhara et al. 2020), レビュー要約を調整可能な対話型エクスプローラ ExtremeReader (Wang et al. 2020), 両システムで用いるアスペクトベースの意見抽出器 Snippext (Miao et al. 2020), 異なるエンティティのレビューから対照的な意見と共通した意見を生成する CoCoSum (Iso et al. 2021a) などを開発してきた。本稿では，EMNLP 2021 Findings に採択された論文 “Convex Aggregation for Opinion Summarization” (Iso et al. 2021b)1をもとに，教師なし意見要約システムから，より高品質な意見要約の生成を行うフレームワーク Coop について解説する.

## 1 教師なし意見要約

教師なし意見要約システムを構築する最も一般的な手法の一つとして, オートエンコーダモデルを用いるものがある (Chu and Liu 2019). この手法は，要約対象となる複数のレビューを
^{1}$ https://aclanthology.org/2021.findings-emnlp.328/
}

Latent space

Text space

図 1 潜在空間 $\mathcal{Z}$ とテキスト空間 $\mathcal{X}$ の図示. 各エンティティの単純平均による要約ベクトル $\boldsymbol{z}_{\mathrm{avg}}$ は， いずれも空間の中心付近に位置しているのに対し，Coopにより選択された要約べクトル $\boldsymbol{z}_{\text {coop }}$ は，それぞれ異なる位置にあり，意見要約システムはより具体的な要約を生成している。

潜在空間上に埋め込み, それらの埋め込みベクトルを単純平均したべクトル（以後, 要約ベクトル）から要約を生成するものである。ここで用いるオートエンコーダモデルは，各レビューを潜在空間上に埋め込み, その埋め込みベクトルから元のレビューを再構成するようにエンコー ダとデコーダを学習する。この方法では人間が書いた参照要約を必要としないため，レビュー テキストのみから意見要約システムを構築することができる.

このような単純な方法で，流暢かつ高品質な意見要約を生成することができることが知られているが，一方で過度に汎用的な要約を生成してしまうことが，我々の調査で明らかとなった。図 1 に示すように，異なるエンティティのレビューから単純平均を取った要約べクトル $\boldsymbol{z}_{\mathrm{avg}}$ は, いずれも潜在空間の中心に近づき，類似したべクトルになっていることがわかる．それらの要約ベクトルからは，いずれのエンティティにも適用できるような一般的な要約が生成されてしまうことがわかった。より詳細な分析は元論文 $\S 3$ を参照されたい.

## 2 Coop による要約ベクトルの探索

この問題の解決方法のひとつとして，単純平均により得られた要約べクトルをスケーリングすることで， ベクトルを中心付近から離す方法が考えられる，実際，この方法を用いることで， より具体的な要約の生成を確認出来たが，同時に入力レビューと矛盾するような要約を生成してしまうことがわかった.

本研究で提案する Coop は，要約を生成する要約ベクトルの探索を最適化問題として定式化することで，より具体的かつ矛盾のない要約の生成を可能とする手法である。Coop は， 入力レビューの集合 $\mathcal{R}_{e}$ と出力された要約 $G(\boldsymbol{z})$ 間の入出力の単語の重複 Overlap を最大化するよう

な要約べクトル $z$ を探索するように定式化する：

$
\begin{array}{ll}
\underset{\boldsymbol{z}}{\operatorname{maximize}} & \text { Overlap }\left(\mathcal{R}_{e}, G(\boldsymbol{z})\right) \\
\text { subject to } & \boldsymbol{z}=\sum_{i=1}^{\left|\mathcal{R}_{e}\right|} w_{i} \boldsymbol{z}_{i} \\
& \sum_{i=1}^{\left|\mathcal{R}_{e}\right|} w_{i}=1, \forall w_{i} \in \mathbb{R}^{+}
\end{array}
$

ここで，入出力の単語の重複の計算に ROUGE-1 F1 スコアを用い，入力セットの各レビュー は無視されるか反映されるかのどちらかであるという仮定に基づき，入力レビューの埋め込みベクトルからなる凸包上で要約べクトルの探索を行う，本研究ではさらに，探索空間を入力レビューの幕集合 $2^{\mathcal{R}_{e}} \backslash\{\emptyset\}$, すなわち入力レビューを含むか否かに限定し，選択されたべクトルの平均を取ることで要約べクトル $z$ を得る，実験では，入力レビューの幕集合から全探索した結果を用いているが，貪欲法やビームサーチを用いて探索することで，効率的かつ効果的に要約生成ができることを確認している。詳細は元論文 $\$ 6.2$ を参照されたい.

## 3 実験結果

## 3.1 自動要約評価

Coop の有効性を検証するため, Yelp (Chu and Liu 2019) と Amazon (Bražinskas et al. 2020) データセットを用いた自動要約評価を行った。本研究では，オートエンコーダモデルとして 2 種類の変分オートエンコーダモデルを用いた．1つ目は，双方向 LSTM と平均プーリングをエンコーダ, 単方向 LSTM をデコーダとして用いた BiMeanVAE, 2 つ目は BERT をエンコーダ, GPT-2 をデコーダとして組み合せた Optimus (Li et al. 2020)である.

表 1 に，ROUGE-1/2/L F1 スコアを用いた要約品質の自動評価結果を示す. 実験の結果, BiMeanVAE, Optimus ともに要約ベクトルの計算に Coopを用いることで, 単純平均 (SimpleAvg) を用いた場合に比べて一貫して ROUGE スコアの向上が見られた。また，単純平均により得られたべクトルから生成した要約が, ベースラインである既存手法と同等の ROUGE スコアを示している。これにより，Coopを用いることで既に高性能な意見要約システムの要約品質をさらに向上できることがわかった.

## 3.2 Coopにより生成された要約

表 2 に, ある中華料理店とアメリカ料理店のレビューから単純平均, Coop それぞれの方法を用いて生成された要約を示す。まず，単純平均により得られた要約べクトル $\boldsymbol{z}_{\mathrm{avg}}$ からは，それ

表 1 ベンチマークデータセットにおける ROUGE F1 スコア

 &  &  \\

表 2 SimpleAvg, Coopによる生成要約の比較

ぞれ類似した要約が生成されてしまっている。一方, Coopを使用した場合, 要約にはより多くのエンティティ固有の情報が含まれている。例えば, 中華料理店の要約には, 料理の種類や料理の量に関する意見が含まれ，アメリカ料理店の要約には，この店で提供されている料理の種類について言及されている.

図 2 Coop ライブラリを使用して要約を生成するためのサンプルコード

## 4 おわりに

本稿では，教師なし意見要約システムにおいて，より良い要約ベクトルを探索する最適化フレームワークである Coop について紹介した．Coop は，任意のオートエンコーダを用いた意見要約システム上に実装できる手法であり，実験の結果，BiMeanVAE，Optimusいずれのモデルにおいても ROUGE スコアの向上が確認できた，本研究で開発した意見要約システムは，容易に使用できる Python ライブラリとしてリリースしている². 図 2 に示すように，数行のコードを書くだけで，最先端の教師なし意見要約システムを実行することができる．本ライブラリが教師なし意見要約のさらなる研究の助けとなれば幸いである.

## 参考文献

Bražinskas, A., Lapata, M., and Titov, I. (2020). "Unsupervised Opinion Summarization as Copycat-Review Generation." In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 5151-5169, Online. Association for Computational Linguistics.


Chu, E. and Liu, P. (2019). "MeanSum: A Neural Model for Unsupervised Multi-Document Abstractive Summarization." In Chaudhuri, K. and Salakhutdinov, R. (Eds.), Proceedings of the 36th International Conference on Machine Learning, Vol. 97 of Proceedings of Machine Learning Research, pp. 1223-1232, Long Beach, California, USA. PMLR.

Iso, H., Wang, X., and Suhara, Y. (2021a). "Comparative Opinion Summarization via Collaborative Decoding." arXiv preprint arXiv:2110.07520.

Iso, H., Wang, X., Suhara, Y., Angelidis, S., and Tan, W.-C. (2021b). "Convex Aggregation for Opinion Summarization." In Findings of the Association for Computational Linguistics: EMNLP 2021, pp. 3885-3903, Punta Cana, Dominican Republic. Association for Computational Linguistics.

Li, C., Gao, X., Li, Y., Peng, B., Li, X., Zhang, Y., and Gao, J. (2020). "Optimus: Organizing Sentences via Pre-trained Modeling of a Latent Space." In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 4678-4699, Online. Association for Computational Linguistics.

Miao, Z., Li, Y., Wang, X., and Tan, W.-C. (2020). "Snippext: Semi-Supervised Opinion Mining with Augmented Data." In Proceedings of The Web Conference 2020, WWW '20, pp. 617-628, New York, NY, USA. Association for Computing Machinery.

Suhara, Y., Wang, X., Angelidis, S., and Tan, W.-C. (2020). "OpinionDigest: A Simple Framework for Opinion Summarization." In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 5789-5798, Online. Association for Computational Linguistics.

Wang, X., Suhara, Y., Nuno, N., Li, Y., Li, J., Carmeli, N., Angelidis, S., Kandogann, E., and Tan, W.-C. (2020). "ExtremeReader: An Interactive Explorer for Customizable and Explainable Review Summarization." In Companion Proceedings of the Web Conference 2020, WWW '20, pp. 176-180, New York, NY, USA. Association for Computing Machinery.

## 略歴

磯颯：2021 年奈良先端科学技術大学院大学博士後期課程修了. 博士 (工

学). 現在, Megagon Labs Research Associate.