# リフレーミングに基づいた言い換え生成のための 単言語パラレルコーパスの構築とその分析

河野誠也湯口彰重吉野幸一郎
理化学研究所ガーディアンロボットプロジェクト
\{seiya.kawano, akishige.yuguchi, koichiro.yoshino\}@riken.jp

## 概要

リフレーミングとは，ある枠組みで捉えられてい る物事の枠組みを外して違う枠組みで見ることを指 す. 言い換えもその結果の一つである。例えば，ネ ガティブな内容を異なった側面から捉えてポジティ ブにリフレーミングし言及することで，対話におい て話し手と聞き手の良好な関係の維持や自己肯定感の向上を期待することができる．このようなネガ ティブな発言をポジティブにリフレーミングするよ うな言語的配慮能力は，社会性を備えた対話システ ムを実現する上で重要である。そこで本研究では， ネガティブな表現をポジティブに言い換えるリフ レーミングの事例を，ウェブや書籍など複数の情報源から人手で収集し，単言語パラレルコーパスとし て整備，分析した。

## 1 はじめに

リフレーミングとは，短期療法や家族療法，ナラ ティブセラピー等で用いられる技法であり，ある枠組みで捉えられている物事の枠組みを外して，違う 枠組みで見ることを指す $[1,2,3]$. 発話によるネガ ティブな感情の発露は, 話し手と聞き手の双方にス トレスを与える可能性がある. このため，ネガティ ブな発話をポジティブにリフレーミングすることは 対話継続性向上の観点から重要で，リフレーミング により話し手の自己肯定感の向上や話し手と聞き手 の良好な関係の維持を期待することができる。この ような，ネガティブな発言をポジティブにリフレー ミングするような言語的配慮能力は，社会性を備え た対話システムを実現する上で重要である $[4,5]$.

そこで，本研究では，対話システムへの応用を志向してネガティブな表現をポジティブな表現にリフ レーミングする言い換え生成モデルを検討する。一般に，こうした言い換え生成の研究では，言い換え元と言い換え先のペアからなる大規模なパラレル データを言い換え生成モデルの学習データして必要 とする [6]. しかしながら，リフレーミングに着目 した言い換えを扱う利用可能なパラレルコーパスは 限られているのが現状である [5,3].

本研究ではネガティブな表現をポジティブな表現 にリフレーミングする言い換え生成モデルを構築す るための最初のステップとして，ウェブや書籍など 複数の情報源からネガティブな表現をポジティブな 表現にリフレーミングした事例を人手で収集し，リ フレーミングに基づいた言い換え生成モデルを学習 するための単言語パラレルコーパスを構築した。次 に，構築したコーパスに含まれるリフレーミング事例の分析と，構築したコーパスを学習データとして 用いた場合，既存の言い換え生成モデルがどの程度 の性能でリフレーミングに基づいた言い換えを生成 できるかについての検証を実施した。

## 2 関連研究

これまでに，発話文の感情極性やスタイルの変換 に着目した研究は数多く行われてきた $[7,3,8]$. 感情極性の変換では，単純には入力文（ないし発話，単語）と意味が真逆な文を生成する [9]. また，対話応答生成のタスクでは，目標応答の感情ラベルを陽 にモデルに生成条件として与えることで，与えた感情ラベルを反映しつつ対話履歴に対しても適切な応答を生成しようとする制御可能なニューラル会話モ デルが提案されている $[10,11]$. このような変換夕 スクでは元々の入力文の構造や属性に依存しないト ピックは変換後の文に保持されるが，変換前の文と 変換後の文の真理条件的意味が必ずしも等しくなる 保障はない.

一方で，スタイル変換のタスクでは，入力文の意味的内容を保持しつつ意味以外の情報を制御する 言い換えを生成することに焦点を当てる. 例えば，
元々の文の難解な表現を平易に言い換えたり，文の 丁寧さのレベルを制御したりする研究が行われてい る [6,12]. 本研究が対象とする，ネガティブな表現 をポジティブな表現にリフレーミングする言い換 えタスクは，スタイル変換のタスクと類似する。例 えば，「私は自己中心的です」という文をリフレー ミングすることを考える場合「私は自分を持ってい る」等と言い換えることができる.このような言い 換えは，言い換え後の文の真理条件的意味は完全に は等価ではないにせよ，フレーム（見方）を変えて 見た場合，一面では等価であるともみなすことがで きる.こうした変換を婉曲表現という観点で行うの が「皮肉」の生成である $[13,14]$. しかしながら，皮肉が他者に対する悪意に紐づいたものである一方 で，リフレーミングでは，より広範な概念を扱う。

リフレーミングに基づいた言い換えを生成する研究も近年行われている [3]. この研究 [3] では，ネガ ティブな発話をポジティブに言い換えるリフレー ミングの事例をクラウドソーシングで収集し，言い 換え生成モデルの学習データとして用いている。し かしながら，基本的には発話レベルでのリフレーミ ングや会話の含意に着目しており単語レベルやフ レーズレベルでの言い換えや，発話中に含まれる表現が持つ意味や含意を分析するには十分ではない. しかしながら, 日本語に着目したリフレーミング事例を収録したコーパスには制限があるのが現状であ る [5]. これに対して, 本研究では, リフレーミング に基づいた言い換え生成モデルを実現するために，様々な言い換えの粒度に基づいたリフレーミング事例を含んだ日本語言い換えコーパスを構築し，その 分析を実施する。

## 3 リフレーミング事例の収集と分析

スタイル変換を含む言い換え生成のタスクは，同一言語内の機械翻訳の問題と考えることができるた め系列変換モデルと相性が良い. 通常，系列変換モ デルは，数十万文対を超える大規模なパラレルコー パスを用いて学習されるが，リフレーミングタスク に着目した日本語のスタイル変換コーパスには限り がある [5]. そこで，本研究では最初のステップと して，ネガティブな表現をポジティブにリフレーミ ングして言い換えた事例を，ウェブや書籍など複数 の情報源から人手で収集し，リフレーミング表現生成モデルを学習するための小規模の単言語パラレル コーパスを構築する。

## 3.1 リフレーミング事例の収集

本研究では，リフレーミングの中でも，「社会的幸福や認知能力の向上を意図し」て行われるネガティ ブな表現をポジティブに言い換えるリフレーミング に着目し，そのようなリフレーミングの事例を Web や書籍から人手で収集した。より具体的には，「リ フレーミング」,「ネガポジ辞典」,「ネガティブポジ ティブ 言い換え」などの検索ワードを手掛かりと した調査を実施し，主に教育心理学，カウンセリン グ，自己啓発等を扱う複数の媒体を選定した。次 に，それらの媒体からネガティブな表現をポジティ ブに言い換えるリフレーミング事例を抽出し，単言語パラレルコーパスとして整備した。構築したコー パスの統計情報は表 1 のとおりである（より詳細な 分析は次節で述べる)。ここで，重複するレコード はマージし, 単一のネガティブ表現に対して複数の ポジティブな表現が可能な言い換え（正解）として 割り当てた。

構築したコーパスは先行研究 [3] とは異なり, 単語単位，フレーズ単位，文単位といった様々な言い 換えの粒度に基づいたリフレーミング事例を収録 している。例えば，「あきらめが早い」というネガ ティブなフレーズについては，「潔い」，「決断が早 い」,「気持ちの切り替えが早い，上手」などの他の ネガティブな表現（単語，フレーズを含む）が正解 として割り当てられている1)。

## 3.2 リフレーミング事例の分析

表 1 に示した通り，構築したコーパスに含まれ るユニークな言い換えぺア数は 2,664 件であり，そ の語彙サイズは 3,697であった（語彙サイズ > ユ ニークな言い換えペア数)。このことから，構築し


たコーパスは比較的小規模なコーパスでありなが らも，多様な語彙をサポートしていることが推察で きる. さらに，コーパスに収録されているポジティ ブ/ネガティブ表現の平均文字数, 平均単語数, 平均文節数を比較したところ，リフレーミング前である ネガティブ表現と比較してリフレーミング後の言い 換えであるポジティブ表現が比較的長いことが確認 できた. また，コーパスに含まれる各ネガティブ表現に対して, 平均して 2.4 件のポジティブ表現が可能な言い換えとして割り当てれられていることが確認できた.このことから，リフレーミングに基づい た言い換えは自由度が高いため，一対一の言い換え だけでなく一対多の言い換えを考慮する必要があ る.また，コーパスに含まれるユニークなネガティ ブ表現の数は 1,817 件であり, このうち 325 件のネ ガティブ表現がコーパス中で複数回出現することが 確認できた．具体的には，「素直」，「慎重」，「行動力がある」といった個人の性格や特性に関連した表現がコーパス中に複数回出現していることが確認で きた.

図 1: ネガティブ/ポジティブ表現を構成する 単語数をクラスとした場合の度数分布

図 1 にコーパス中のネガティブ/ポ゙ティブ表現 を構成する単語数をクラスとした場合の度数分布 を示す. 図 1 は，最もコーパスで出現しやすいネガ ティブぱジティブ表現のパターンとして， 1 単語と 4 単語で構成される単語がコーパス中に特に頻出す ることが確認できた．また，これらをピークとした 右側に裾野が広い分布が確認できる.このことか ら，構築したコーパスは多様な言い換えの粒度（単語，フレーズ，文等）に基づいたリフレーミングの 事例を収録している2)。

2）文字/文節数を基準とした場合の度数分布は付録 $\mathbf{B}$ を参照.

## 4 言い換え生成モデルの検証

本研究で構築したコーパスを学習データとして用 いて，リフレーミングに基づいた言い換え生成モデ ルの構築を検討する．具体的には，利用可能な既存 の言い換え生成モデルがどの程度の性能でネガティ ブな表現をポジティブな表現にリフレーミングして 言い換えることができるかについての評価とその限界について議論する。

## 4.1 言い換え生成モデルの学習と評価

ネガティブな表現をポジティブな表現にリフレー ミングして言い換えるような言い換え生成タスクを 検証する。しかしながら，本研究が構築したコーパ スのサイズは，このようなリフレーミングのための 言い換えを生成するモデルをゼロから学習するには 不十分である．そこで，本研究ではリフレーミング に基づいた言い換え生成モデルのベースラインとし て，他の大量の言語資源で事前学習された大規模言語モデルを，今回構築したコーパスに含まれるリフ レーミング事例でファインチューニングし，その言 い換え性能を評価する．比較に用いたモデルは以下 の通りである。

BERT 分散表現ベクトルのコサイン類似度に基 づいて，入力として与えられたネガティブ表現と最 も類似するポジティブ表現をコーパス中から検索 し，言い換えとする場合. 分散表現ベクトルには，事前学習済み日本語 BERT モデル³) の [CLS]トーク ンに対応する出力ベクトルを用いる。

GPT-2 Transformer decoder block に基づいた事前学習済み日本語 GPT-2 モデル4)をリフレーミング事例でファインチューニングする場合 [15].

T5 Transformer encoder-decoder モデルに基づいた 事前学習済み日本語 $\mathrm{T} 5$ モデル5)をリフレーミング 事例でファインチューニングする場合 $[16,17]$.

Japanese-dialog-transformer 日本語雑談対話 データ (Twitterデータ)で事前学習された Transformer encoder-decoder モデル [18] をリフレーミング事例で ファインチューニングする場合.

リフレーミングに基づいた言い換え生成モデルの 学習と評価には 5 分割交差検証を用いた ${ }^{6}$ ). 言い換
$ を参照
}

え生成の評価指標としては，言い換え生成モデルの 言い換え候補上位 100 件に正解の言い換えが完全一致で含まれている割合 Acc., 言い換え候補上位 100 件を用いたランキング評価値 MRR[19], 生成さ れた言い換えと正解の言い換えの bigram までの一致を考慮した BLEU[20], 生成された言い換えと正解の言い換えの分散表現ベクトルのコサイン類似度の平均 Sim. を用いた. 言い換え候補の順位付け については，BERTでは類似度を基準とし，GPT2， T5, Japanese-dialog-transformer ではランダムサン プリングで生成された言い換え候補の尤度を基準と した.

## 4.2 評価結果

表 2 に，学習した言い換え生成モデルの性能につ いて示す.ここで，括弧は各スコアが最大となるよ うな言い換えを言い換え候補集合から選択した場合の結果である。表 2 より, BERT が他のモデルと 比較して最も高い性能が示された。しかしながら， BERT は本研究で構築したコーパス全体に含まれる ネガティブ表現のセットを検索対象としていること から， GPT2，T5, Japanese-dialog-transformer のよ うに言い換え生成モデルの学習データには必ずしも 含まれないような未知のポジティブ表現を生成する ようなモデルと単純に比較するのは適切ではない. BERT は単純な類似度による検索に基づいており，検索対象のネガティブ表現の集合のサイズが極端に 大きくなるような場合や評価データに存在しないよ うな表現が存在するような場合，その性能は大きく 低下する。

したがって，完全な生成べースのモデルである GPT2, T5, Japanese-dialog-transformer が言い換え 生成モデルの実利用という観点からは重要である. これらのモデルにおいては，言い換えの正解との完全一致に基づいた厳密な指標である Acc. について， Japanese-dialog-transformer が特に高い性能を示し た. ここで，このモデルは今回用いたモデルの中で 最も巨大であり, 事前学習モデルのパラメータサイ ズが性能に影響した可能性がある。また，このモデ ルが他のモデルと異なり, 対話応答生成というタス クに特化した事前学習を行っていることにも留意す る必要がある.

Japanese-dialog-transformerを用いて実際にリフ レーミングのための言い換えをランダムサンプリン グを用いて生成し，その傾向を確認した（付録 $\mathbf{D}$ ).表 2: リフレーミングによる言い換え生成モデルの性能

 & $\mathbf{3 2 . 2}$ & $\mathbf{0 . 0 6}$ & $\mathbf{6 . 9}(\mathbf{4 1 . 9})$ & $0.75(\mathbf{0 . 9 0})$ \\

結果として，例えば，「頑固」といったような短い単語で構成されるようなネガティブ表現については，「協調性がある」といった元のネガティブな表現と は明らかに矛盾するような表現も一部生成されてい るものの，「意志が強い」，「信念がある」といった妥当な言い換えを生成できていることが確認できた.一方で，「受験に失敗して浪人してしまった」といっ た比較的長い文字数で構成されるネガティブ表現が 与えられる場合，「人生に絶望して自殺することに 決めた」といった不適切なリフレーミング事例を生成していることが散見された。これは，長い文字数 で構成されるリフレーミングの事例が学習データに 比較的少数しか出現していないことに起因する.

## 5 おわりに

本研究では，ネガティブな表現をポジティブな表現にリフレーミングする言い換え生成モデルのため の単言語パラレルコーパスの構築とその分析を行っ た. 構築したコーパスは単語，フレーズ，文単位と いった様々な変換粒度に基づいた多様なリフレーミ ング事例を含むことが確認できた。また，構築した コーパスを用いて大規模言語モデルを活用したリフ レーミングに基づいた言い換え生成モデルを評価 した.

今後の課題としては，構築したコーパスのさらな る拡張と言い換え生成モデルの改善に取り組む. ま た，リフレーミングによって生成された言い換えの 質についてより厳密に評価するために, 自動評価指標による評価だけではなく，人手による評価を実施 する. さらに，リフレーミングという行為は，その 動機や目的に応じて, 複数のタイプに分類すること ができるが，本研究ではそれらを明示的に区別して いない $[3,21]$. したがって，対話システムを始めと した各種アプリケーションでの応用を考えると，リ フレーミングに基づいた言い換え生成モデルが与え られた入力表現に対してどのようなタイプのリフ レーミングをするかを，モデルが明示的に制御でき るような枠組みが必要である.

## 謝辞

本研究は, JSPS 科研費 $\lceil 22 K 17958 」$ 及び JST ACT-X

「JPMJAX22A4」の助成を受けた。

## 参考文献

[1] James P Robson Jr and Meredith Troutman-Jordan. A concept analysis of cognitive reframing. Journal of Theory Construction \& Testing, Vol. 18, No. 2, 2014.

[2] 竹田葉留美. コラム: 出来事の視点を変えてポジ ティブに考える リフレーミングを活用したストレ スマネジメント〜. 情報の科学と技術, Vol. 67, No. 3, pp. 121-122, 2017.

[3] Caleb Ziems, Minzhi Li, Anthony Zhang, and Diyi Yang. Inducing positive perspectives with text reframing. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 3682-3700, 2022.

[4] Seiya Kawano, Akishige Yuguchi, and Koichiro Yoshino. Analysis of face act in multimodal japanese persuasion dialogue corpus. In Proceedings of International Workshop on Spoken Dialogue Systems Technology, 2023.

[5] 河野誠也, 湯口彰重, 吉野幸一郎ほか. 大規模言語モ デルを用いたリフレーミング表現の自動生成とその 評価. 研究報告自然言語処理 (NL), Vol. 2022, No. 9 , pp. 1-6, 2022.

[6] Tomoyuki Kajiwara and Mamoru Komachi. Building a monolingual parallel corpus for text simplification using sentence similarity based on alignment between word embeddings. In Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics: Technical Papers, pp. 1147-1158, 2016.

[7] Di Jin, Zhijing Jin, Zhiting Hu, Olga Vechtomova, and Rada Mihalcea. Deep learning for text style transfer: A survey. Computational Linguistics, Vol. 48, No. 1, pp. 155-205, 2022.

[8] Quan Hung Tran, Ingrid Zukerman, and Gholamreza Haffari. A hierarchical neural model for learning sequences of dialogue acts. In Proc. of ACL, Vol. 1, pp. 428-437, 2017.

[9] Bidisha Samanta, Mohit Agarwal, and Niloy Ganguly. Fine-grained sentiment controlled text generation. arXiv preprint arXiv:2006.09891, 2020.

[10] Hao Zhou, Minlie Huang, Tianyang Zhang, Xiaoyan Zhu, and Bing Liu. Emotional chatting machine: Emotional conversation generation with internal and external memory. In Proc. of AAAI, 2018.

[11] Chenyang Huang, Osmar Zaiane, Amine Trabelsi, and Nouha Dziri. Automatic dialogue generation with expressed emotions. In Proc. of NAACL-HLT, Vol. 2, pp. 49-54, 2018.

[12] Liye Fu, Susan Fussell, and Cristian Danescu-NiculescuMizil. Facilitating the communication of politeness through fine-grained paraphrasing. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 5127-5140,
2020.

[13] Mengdi Zhu, Zhiwei Yu, and Xiaojun Wan. A neural approach to irony generation. arXiv preprint arXiv:1909.06200, 2019.

[14] Aditya Joshi, Pushpak Bhattacharyya, and Mark J Carman. Sarcasm generation. In Investigations in Computational Sarcasm, pp. 119-127. Springer, 2018.

[15] Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, Ilya Sutskever, et al. Language models are unsupervised multitask learners. OpenAl blog, Vol. 1, No. 8, p. 9, 2019.

[16] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Ves Stoyanov, and Luke Zettlemoyer. Bart: Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. arXiv preprint arXiv:1910.13461, 2019.

[17] 田中佑, 村脇有吾, 河原大輔, 黒橋禎夫. 日本語 wikipedia の編集履歴に基づく入力誤りデータセッ トと訂正システムの構築. 自然言語処理, Vol. 28, No. 4, pp. 995-1033, 2021.

[18] Hiroaki Sugiyama, Masahiro Mizukami, Tsunehiro Arimoto, Hiromi Narimatsu, Yuya Chiba, Hideharu Nakajima, and Toyomi Meguro. Empirical analysis of training strategies of transformer-based japanese chit-chat systems. arXiv preprint arXiv:2109.05217, 2021.

[19] Ellen M Voorhees, et al. The trec-8 question answering track report. In Trec, Vol. 99, pp. 77-82, 1999.

[20] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[21]兼折友美子, 畦地博子. 困難事例に対応する看護師の リフレーミングを促す技術. 高知女子大学看護学会誌, Vol. 39, No. 1, pp. 43-50, 2013.

[22] ネガポ辞典. 主婦の友社, 2012.

## 付録

## A 収集したリフレーミングの事例

表 A.1: 収集したリフレーミングの事例（文献 [22] より抜粋)

 \\

## B 文字/文節数に基づいた度数分布

図 B.3: ネガティブ/ポジティブ表現を構成する 文字/文節数をクラスとした場合の度数分布

## C言い換えモデルの学習の詳細

本研究が扱う，リフレーミングに基づいた言 い換え生成タスクは，ネガティブな表現 $N=\left[x_{1}\right.$ $\left., \cdots, x_{T}\right]$ が与えられたとき，それをポジティブに 言い換えたリフレーミング表現 $P=\left[y_{1}, \cdots, y_{T}^{\prime}\right]$ を 生成することである。ここで， $x_{*}, y_{*}$ は単語，T, $T^{\prime}$ はそれぞれ $N$ と $P$ の単語数である. 本研究では，こ のような言い換えを実現するために事前学習済み大規模言語モデルを以下の目的関数を最大化するよう にファインチューニングする。

$
J(\theta)=\frac{1}{\left|D_{N \rightarrow P}\right|} \sum_{\left(P_{i}, N_{i}\right) \in D_{N \rightarrow P}}^{M_{N \rightarrow P}} \log \left[p\left(P_{i} \mid N_{i}, \theta\right)\right]
$

ここで， $D_{N \rightarrow P}$ は，ネガティブな表現とポジティ ブな表現の言い換えぺアの集合（学習データ）， $\theta$ は 大規模言語モデルのパラメータ，p は目標言い換え 表現の生成確率である. より具体的には，言い換え 表現の予測結果と正解表現の間の交差エントロピー 誤差を最小にするようにモデルを学習する。ここ で，(1) 式はネガティブ表現を条件として与えたと きのポジティブ表現の生成確率に着目しているが実際のモデルに対する入力としては，GPT2では「ポ

ティブな表現に言い換えると:***」といったテ ンプレートに基づいた言い換えパターン生成するよ うにモデルを学習した．また，T5では，エンコーダ の入力に対するプレフィックスとして「ネガティブ な表現をポジティブな表現にリフレーミングして言 い換え: 」を与えてモデルの学習を行った。

## D 実際の言い換え生成の例

表 D.2: Japanese-dialog-transformerによる実際の言い換 え生成の例（ランダムサンプリング結果）

 \\


 河野誠也湯口彰重吉野幸一郎 理化学研究所ガーディアンロボットプロジェクト \{seiya.kawano, akishige.yuguchi, koichiro.yoshino\}@riken.jp  