# 語彙制約を間接的に用いた平易な要約の生成

森田 - $^{1}$ 飯塚 洸二郎 ${ }^{1}$ 久保光証 ${ }^{1}$
1 株式会社 Gunosy
\{hajime.morita, kojiro.iizuka, mitsumasa.kubo\}@gunosy.com

## 概要

ニュース配信はより多くの人に必要とする情報を 届けることを目的としているが，必要な情報が過不足なく行き渡るまでには多くの課題が残されてい る. 例えば，読解力や語彙力には個人により開きが あり，必要な情報であったとしても記事の難しさが 読者に合っていなければ読むことが難しくなってし まう. 必要な情報が届かない要因の一つが記事の文章が難しすぎることであるとすれば，記事の平易な 要約を提供することがより多くの人へニュースを届 けるために重要となる。

ここでは，ニュース記事を対象に平易な要約の生成を目的として，大規模言語モデルを利用した文章 の平易化と要約生成の複合タスクを学習する方法を 提案する。本稿では，要約に用いる語彙を制限する ことが，平易な言葉への言い換えを言語モデルから 引き出せる一方で，幻覚とよばれる原文と異なる内容の要約生成が生成されやすくなることを示し, 語彙を制限した要約候補をランキング学習に用いるこ とで平易な要約生成を学習する方法を提案する.

## 1 はじめに

ニュース配信は最新の出来事や情報をすばやく, より多くのニュースを必要とする人々へ届けるこ とを使命としており, 推薦・パーソナライズに代表 される多くの研究が行われている $[1,2]$. しかし, ニュースが必要とする人すべてに行き渡る理想的な 状態までには大きな隔たりが残っている。例えば，年金のような社会制度の変更はすべての人に関わる ニュースであるが，令和 4 年の年金制度変更につい て知っていると回答した割合は $33 \%$ とどまるとさ れている [3].

ニュースが必要な人に届かない要因は，大きく分 けて記事自体，配信プラットフォーム，ユーザのそ れぞれに存在していると考えられる。ニュース記事自体が要因となるケースとしては長過ぎる記事や難解な記事などユーザの求める形とは記事が異なる場合，配信プラットフォームが要因となるケースとし ては興味のあるユーザへ記事を届けられていない場合，ユーザが要因となるケースとしては可処分時間 の減少など，様々な要因がありうる．本稿では記事自体が要因となるケースの中でも特に, 必要として いるにも関わらず読解の困難さからニュースを読む ことができない，またはニュースを読むこと自体を 避けてしまう場合について注目する。

ニュース記事の難しさがニュースを敬遠する要因となる場合，もちろん難解な語彙や複雑な文法は ニュースの理解を妨げる要因となるが，記事の長さ も同様にニュースを読解を妨げる要因となりうる. この両方の要因を取り除くためには，難解な語彙や 文法で書かれた文を分かりやすいものに変えるだけ でなく，要点を絞り記事の長さ自体を短くする必要 がある.つまり，記事に対して難しい語彙や文法を 一定の意味を保ちつつ平易な文章に置き換える平易化と，文章の重要な情報を残したまま文章を短く書 き換える要約の両方を行う必要がある.

本稿では，平易な要約の生成を目的として，大規模言語モデルを利用した文章の平易化と要約生成の 複合タスクを学習する方法を提案する. 生成型のモ デルを用いて平易な要約生成を行う単純な方法とし ては，難しい語彙を生成しないように要約生成時に 利用可能な語彙を制限し，平易な語彙のみで要約を 生成することが考えられる. しかし語彙の制限は,言語モデルが言い換え表現として適切なものを知ら なかったとしても原文通りに出力することができな くなるため，幻覚 [4] とよばれる，原文とは内容の 異なる誤った要約文の生成を増加させる懸念があ る. 提案手法では，語彙の制限による幻覚の増加を 回避するため, 通常の要約候補に加えて語彙を制限 して生成した要約候補を候補のランキング学習 [5] に用いる。

## 2 関連研究

## 2.1 平易な要約生成

これまでにも平易な要約を生成するいくつかの 取り組みが行われている. 菅井ら [6] は平易化と 要約の処理をそれぞれ適用し，短く平易なテキス トの生成を行っている. 平易化には統計的機械翻訳の手法を用いて，要約に用いる学習データとは 別に「やさしい日本語コーパス」[7],「やさしい日本語拡張コーパス」[8], NNWE (NHK NEWS WEB EASY) [9] の一部を用いて学習している. 本稿も同 じくNNWE のデータで評価を行っているが，平易化の学習のための外部リソースは利用していない。

Zaman らは Pointer-generator network の損失関数を 拡張し, 平易な要約の生成を行っている [10]. この 手法では平易な文生成を学習するため, 平易な語か 否かをアノテーションした辞書を持っており, 生成 した文の難しさを損失関数として表現している. 本稿の提案手法では辞書のような外部リソースは用い ておらず，事前学習済み言語モデルを用いることに より少量の学習データで平易化を学習している点が 異なる.

## 2.2 BRIO

BRIO (Bringing order to Abstractive Summarization) はLiu らによって提案された生成型自動要約の学習手法である [5]. BRIO では訓練時の目的関数を拡張乙, 通常のクロスエントロピー損失関数に加えて複数候補のリランキングによるコントラスティブ損失関数を用いる。ここで，リランキングに用いる候補 は事前学習済みの要約モデルによって予め生成され たものを利用する. コントラスティブ損失関数 $\mathscr{L}$ は $S_{i}$ と $S_{j}$ をそれぞれ $i, j$ 番目の候補， $S^{*}$ を参照要約として, $\operatorname{ROUGE}\left(S_{i}, S^{*}\right)>\operatorname{ROUGE}\left(S_{j}, S^{*}\right)$ とする とき，次の式で表される.

$
\mathscr{L}_{c t r}=\sum_{i} \sum_{j>i} \max \left(0, f\left(S_{j}\right)-f\left(S_{i}\right)+\lambda_{i j}\right)
$

ここで, $f\left(S_{i}\right), f\left(S_{j}\right)$ は長さについて正規化された 要約文の生成確率， $\lambda_{i j}$ は候補間の順位差に基づい て計算されたマージンを表す。

本稿では BRIO の枠組みを平易な要約文のランキ ング学習のために利用するが，候補を並び替えるス コアとして ROUGE [11] の代わりに文の平易化を考慮した指標を用いるほか，平易化の学習をより効率的にするために候補生成時に語彙制約を利用する.

## 3 コーパス

## 3.1 NHK NEWS WEB EASY

NNWE (NHK NEWS WEB EASY) [9] は小中学生 や日本語を母語としない人に向けて, NNW (NHK NEWS WEB)[12] の記事をやさしい日本語に書き 直したニュースサイトである. 各記事は元となっ た NNW の記事に対応付けられており，本稿では NNW-NNWE の記事対を原文と参照要約のペアとし て利用する. 平日ごとに 4-5 記事が配信されてお り，過去 1 年分の記事を参照することができる.

## 3.2 Livedoor 3 行要約データセット

livedoor ニュース [13] は Webニュースサイトであ り，一部の記事には編集者によって人手で作成され た 3 行要約が追加されている. 小平ら [14] はここか ら，2014 年から 2016 年までの 3 年分を収集し，記事 ID のリストを訓練，開発，テストに分けたデー タセットとして公開している。本稿ではべースとな る日本語要約モデルを学習するため, このデータ セットをもとにクロールしなおしたものを訓練デー タとして利用する.

## 4 提案手法

語彙の制限による幻覚の増加を回避するため, 利用可能な語彙を制限した候補を通常の候補と合わせ て候補のランキング学習 [5] に用いる。まず，候補生成に用いる事前学習モデルについて説明し, その 後そのモデルを元にランキング学習を行う提案手法 について説明する。

## 4.1 平易な要約生成のベースモデル

本稿で用いる手法は，ランキング学習に用い る候補を生成するために平易な要約を生成する ベースモデルが必要となる. このベースモデルを 構築するため, Livedoor 3 行要約のデータセット で学習した後, さらに平易な要約のデータセッ トで追加の学習を行った. 以降，このモデルを ベースモデルと呼ぶ. 本稿では, 要約のモデルと して T5 [15] を用いている. 本稿で扱うデータに 合わせ，日本語の事前学習済み言語モデルとし $\tau$, megagonlabs/t5-base-japanese-web[16] を利用 した.

## 4.2 語彙制約モデル

平易な要約を生成しょうとした時に，単純かつ外部データの必要のない方法として，言語モデルが生成する語彙を制限し，要約の生成時に難解な語彙の 利用を禁止する方法がある. 文生成時に語彙を制限 する手法は，Hu ら [17] により提案された手法を元 にしたものが Transformers ライブラリ [18] に実装さ れている。この実装を用い，難解な語彙を制限した 要約生成モデルを候補生成に用いる.

この語彙制約モデルでは，語彙の難易度は語彙に 含まれる漢字の難易度で近似することができると 仮定する。これは荒い近似ではあるものの，Sato ら [19] によりテキスト中に用いられている文字 1-gram によりテキストの難易度を判定するモデルが提案さ れているなど，近い仮定はテキスト難易度の判定で も利用されている. この仮定を元に，常用漢字のう ち，より難しいと考えられる中学校で習う 1,110 字 を含んでいる語彙を言語モデルが出力する語彙から 制限する。

常用漢字に含まれない，より難しい漢字は語彙制約として用いない.これは，ニューステキストで使 われる漢字は基本的には常用漢字, 小中学校義務教育で習う 2,136 字からなっており, ニュース記事で は常用漢字外の漢字は固有名詞など特別な場合に 限られ，人名や地名など要約上重要かつ平易に言い 換える意義の薄い場合が多いと考えられるためで ある。

## 4.3BRIO を用いた平易な要約の生成

語彙制約モデルでは，言語モデルが難解な語彙を 平易な語彙で置き換えて表現することを期待してい るが，これには 2 つ問題がある．1つ目は，置き 換えた表現が元の表現より平易な表現になってい る保証はないことである．例えば，「蛍」を「光る ことで有名な $15 \mathrm{~mm}$ ぐらいの虫」と言い換えても，読者が蛍を知らなければ理解することは難しく, か えって理解を困難にしてしまう. 語彙としては平易 になっていたとしても，表現としては難しくなる可能性を語彙を制限するだけでは取り除くことができ ない. 2 つ目の問題は，誤った表現への言い換えに より，幻覚と呼ばれるような原文に書かれていない 内容の要約 [4] を生成してしまうことである. 語彙制約モデルでは，言語モデルが言い換え表現として 適切なものを知らなかったとしても原文通りに出力
することができなくなるため，モデルには不可能な 言い換えを強制してしまう可能性がある。

提案手法では，このような弊害を避けつつ平易な 表現への言い換えを学習するため，ランキングの学習に利用する要約候補に語彙制約モデルの生成した 要約を含めることにより，語彙を制限した要約を間接的に学習に利用する. 具体的には, 語彙制約モデ ルの生成した要約と, ベースモデルの生成した要約 を同じ件数ずつ要約候補として利用し，BRIO の枠組みを用いて学習を行う。

Liu らは式 1 で要約候補の並び順を決めるスコア として ROUGE を用いているが，提案手法ではスコ アとして SARI [20]を組み合わせて用いる. SARI と は文章平易化の自動評価指標であり，原文と参照文，生成文の 3 つを入力として受け取り，原文から 参照文に残された語，原文から削除された語，原文 から追加された語のそれぞれを 1-4 gram で評価し たスコアを $\mathrm{SARI}_{\text {keep }}, \mathrm{SARI}_{\mathrm{del}}, \mathrm{SARI}_{\mathrm{add}}$ とし, 最終的 なスコアはこの 3 つを平均したものとなる. 原文と の差分を積極的にスコアへ反映することにより，平易な表現への言い換えをより鋭敏に捉えるように設計されている。しかし，要約候補を並べ替えるため のスコアとして見た場合には事情が異なり，要約で はほとんどの語が削除されるため SARI $\mathrm{Sel}_{\text {d }}$ は言い換 えを捉える上で有用ではなく，SARI keep $^{\text {は ROUGE }}$ との重複が大きい。そこで提案手法では，平易な言葉への言い換えを評価するスコアとして SARI $\mathrm{add}$ の みを選び，これを元々 BRIO で用いられる ROUGE のスコアと平均して学習に用いた.

## 5 実験

## 5.1 実験設定

モデルの学習には日本語要約の学習データとし て Livedoor 3 行要約データ，平易な要約の学習デー タとして NNWEを用いた。NNWE は 2021 年 10 月 4 日から 2022 年 12 月 20 日までの 1,201 記事を収集し，961 件を訓練データ，各 120 件を開発，評価 データとして利用した。

要約長は最大で 200 トークンとし, 学習時のパラ メータは訓練エポック数を除き， Liu ら [5] のパラ メータを利用した。学習で利用できる事例が少ない ことから，訓練エポック数は最大 300 として実験を 行っている.
表 1 実験結果

表 2 生成例と対応する原文の一部: 太字は語彙制約で利用できない文字を表す

原文（対応箇所 $\cdots 4$ 回目の接種を行う方針で、対象は当面、 $\boldsymbol{\nabla} 60$ 歳以上の人のほか、 $\boldsymbol{\nabla} 18$ 歳以

のみ）上の基礎疾患のある人か医師が重症化リスクが高いと判断した人としています。

語彙制約モデル 4 回目の注射は、18 以上の病気がある人か医師が病気になるリスクが高いと考え ています。

提案手法 4 回目の注射は、 60 歳以上の人や、18 歳以上の病気がある人か、医師が重症にな る危険が高いと判断した人だけです。

## 5.2 実験結果

表 1 に実験の結果を示す．BRIO の枠組みを利用してベースモデルに加えて学習を行うことで, ROUGE，SARIを用いた場合のどちらも，ベースモ デルと比べ大きく性能が向上している. BRIO と ROUGE，SARI を組み合わせた場合を比較すると，学習に用いた指標についてより性能が向上してお り, 最適化したい指標で学習することが有効と分か る. また，語彙制約モデルでは ROUGE と SARI の どちらも性能が悪化してしまっており，単純な手法で語彙を制限することの弊害が明らかになった.一方, 提案手法では BRIO (ROUGE) とくらべると ROUGE ではやや劣るものの, BRIO (SARI) と比べ て SARI，ROUGE ともにやや性能が向上しており，要約としての質を保ちつつ平易化の質を高めること ができている.

## 5.3 議論

語彙制約モデルでは, ROUGE, SARI ともに語彙 の制限を行わないモデルに比べて性能の低下が見ら れた. 性能低下の具体例を検討するため, 語彙制約 モデルと提案手法の出力の一部を表 2 に示す. 語彙制約モデルの出力では「歳」や「疾患」などの文字 の出力が制限されているため，省略あるいは「病気」 などの言葉へ置き換えられている。提案手法や原文 と比較すると，「重症化リスク」を「病気になるリス ク」に置き換えた直後で語彙制約モデルでは原文と の対応を見失い，「注射は․リリクが高いと考えて います。」と幻覚が生じてしまっていることがわか
る.この例に限らず，語彙制約モデルでは妥当な言 い換えであっても直後に幻覚を生成してしまう現象 が多く見られた. 可能性として，言語モデルにとっ て確度の低い言い換えが強制されることにより，原文との対応を見失いやすくなることが考えられる。

語彙制約によりどの程度幻覚が生じるかを検証 するために，手法ごとに 10 例を抜き出して生成さ れた要約の各文に幻覚が含まれているかどうかを 検証した. 結果を表 3 に示す. 表 1 と比較すると， ROUGE などの指標の変化以上に, 語彙制約モデル では幻覚が大きく増えている事がわかる。

表 3 幻覚の出現数

\begin{aligned} & \hline 手法 誤りを含む文の割合 \\ & \hline BRIO (SARI) $29.8 \% \\ &$ +語彙制約 $39.2 \% \\ &$ 提案手法 $22.8 \% \\ &$\hline\end{aligned}

## 6 おわりに

本稿では, 平易な要約の生成のため, BRIO の枠組みを用いて平易化評価指標の SARI について学習 を最適化するとともに，語彙を制限した要約を候補 に含めて平易化の性能向上を試みた。提案手法では SARI と BRIO を組み合わせた場合と比べ，SARI で 0.3 ポイントの向上が見られた. また，語彙を直接制限する場合と比べ，幻覚の出現が抑えられている ことを確認した. 今後の課題として, 日本語平易化 で用いられるコーパスや辞書などのリソースを活用 した要約生成を行い，さらなる平易化の質の向上・安定化をはかることが必要と考えている.

## 参考文献

[1] Shiwen Wu, Fei Sun, Wentao Zhang, Xu Xie, and Bin Cui. Graph neural networks in recommender systems: A survey. ACM Comput. Surv., Vol. 55, No. 5, dec 2022.

[2] Mohammad Mehdi Afsar, Trafford Crump, and Behrouz Far. Reinforcement learning based recommender systems: A survey. ACM Comput. Surv., Vol. 55, No. 7, dec 2022.

[3] 2022 年 4 月から年金制度が改正。 $66.27 \%$ が 知らなかったという結果に。| 株式会社日本マーケティングリサーチ機構のプレス リリース. https://prtimes.jp/main/html/rd/p/000001194. 000033417.html.

[4] Joshua Maynez, Shashi Narayan, Bernd Bohnet, and Ryan McDonald. On faithfulness and factuality in abstractive summarization. In Proceedings of ACL 2020, pp. 19061919, July 2020.

[5] Yixin Liu, Pengfei Liu, Dragomir Radev, and Graham Neubig. BRIO: Bringing order to abstractive summarization. In Proceedings of ACL 2022, pp. 2890-2903, May 2022.

[6] 菅井内音, 西川仁, 徳永健伸. ニューステキストの要約及び平易化. NLP 2020 発表論文集, 2020.

[7] Takumi Maruyama and Kazuhide Yamamoto. Simplified corpus with core vocabulary. In Proceedings of LREC 2018, May 2018.

[8] Akihiro Katsuta and Kazuhide Yamamoto. Crowdsourced corpus of sentence simplification with core vocabulary. In Proceedings of LREC 2018, May 2018.

[9] NHK NEWS WEB

https://www3.nhk.or.jp/news/easy/.

[10] Farooq Zaman, Matthew Shardlow, Saeed-Ul Hassan, Naif Radi Aljohani, and Raheel Nawaz. HTSS: A novel hybrid text summarisation and simplification architecture. Information Processing \& Management, Vol. 57, No. 6 , p. 102351, 2020.

[11] Chin-Yew Lin. ROUGE: A package for automatic evaluation of summaries. In Text Summarization Branches Out, pp. 74-81, July 2004.

[12] NHK NEWS WEB. https://www3.nhk.or.jp/news/.

[13] ライブドアニュース（livedoor ニュース）. https://news.livedoor.com/.

[14] 知範小平, 守小町. TL;DR 3 行要約に着目したニュー ラル文書要約. 電子情報通信学会技術研究報告, Vol. 117, No. 212, pp. 193-198, 092017.

[15] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei $\mathrm{Li}$, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. Journal of Machine Learning Research, Vol. 21, No. 140, pp. 1-67, 2020.

[16] megagonlabs/t5-base-japanese-web . Hugging Face. https://huggingface.co/megagonlabs/t5-base-japaneseweb.

[17] J. Edward Hu, Huda Khayrallah, Ryan Culkin, Patrick Xia, Tongfei Chen, Matt Post, and Benjamin Van Durme. Improved lexically constrained decoding for translation and monolingual rewriting. In Proceedings of NAACL 2019, pp. 839-850, June 2019.

[18] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Remi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander Rush. Transformers: State-of-the-art natural language processing. In Proceedings of EMNLP 2020, pp. 38-45, October 2020 .

[19] Satoshi Sato, Suguru Matsuyoshi, and Yohsuke Kondoh. Automatic assessment of Japanese text readability based on a textbook corpus. In Proceedings of LREC 2008, May 2008 .

[20] Optimizing statistical machine translation for text simplification. Transactions of the Association for Computational Linguistics, Vol. 4, pp. 401-415, 2016.
 森田 - $^{1}$ 飯塚 洸二郎 ${ }^{1}$ 久保光証 ${ }^{1}$ 1 株式会社 Gunosy \{hajime.morita, kojiro.iizuka, mitsumasa.kubo\}@gunosy.com  