# 情報付加型生成による表現の推敲支援システム

鈴木勘太 ${ }^{1}$ 杉本徹 ${ }^{2}$
1 芝浦工業大学大学院理工学研究科 2 芝浦工業大学工学部
\{ma21071, sugimoto\}@shibaura-it.ac.jp

## 概要

本研究は，Encoder-Decoder モデルによる系列変換 を応用し, 執筆者のつづった文から形容や比喻と いったさまざまな表現を付加した複数の候補文を生成，提案することで，執筆者の表現の幅を広げ，膨 らませることを支援する実用的な推敲支援システム の構築を目指す。その中で，幅広く表現を捉えたパ ラレルコーパスの構築を行い, デコーディングや学習モデルの側面から表現の提案の多様性を促進する 生成モデルを提案する.

## 1 はじめに

近年，深層学習を用いた執筆支援に関する研究が 行われている $[1,2,3]$. 大規模なデータから学習を 行った深層学習モデルを用いた支援は, 執筆者の負担や学習コストの軽減を可能にしている.

一方，筆者は先行研究 [4] において，EncoderDecoder モデルによる系列変換を応用し，執筆者の つづった文から修辞表現を付加した複数の文を生成, 提案することで, 執筆経験の浅い文学作品の執筆者をターゲットとした表現の推敲支援を行う執筆支援システムを提案した. 表現の推敲は執筆にお ける重要な過程の一つであるが，その手助けとなる 表現辞典の多くは網羅的な側面を持ち，数多の見出 しの中から納得のいく表現を自ら選び出す必要が ある。そのため実際は執筆者にある程度の経験や センスが要求されることとなり，負担となりうる。 Encoder-Decoder モデルの応用は，執筆者のつづる文 の文脈にふさわしい言い換えや形容などの表現の提案を可能にし, 評価害験では支援システムとして総合的に良い評価を得ることができた.

本研究では，先行研究で取り組んだ文生成のう ち，形容などの修飾フレーズの付加を行う文生成を 情報付加型生成という問題として提起し, 執筆者の 表現の幅を広げ，膨らませることを支援する実用的 な推敲支援システムの構築を目指す。そのなかで特

図 1 推敲支援システムの構築手法の概要

に以下の 2 点を目標として定める。

「表現」の一般化気軽に個人でブログなどを執筆 し共有することが可能となった昨今の状況を鑑 み，より広く表現を捉える手法を提案し支援の 幅の拡大を試みる。

提案の多様性の促進 執筆者の表現に関する想起の 支援も視野に入れ，多様な候補の提案を行う手法を提案し実用性の向上を試みる。

## 2 関連研究

伊藤らの研究 [5] では，不完全な文から目的に 合った完全な文を生成する情報補完型生成を新しい 言語生成課題として提案している. 情報を付加して 生成を行うというアプローチは本研究との類似点 があり，完全な文から不完全な文を作成することに よって大規模な教師データを構築する手法を本研究 も採用している.

## 3 提案手法

本研究における推敲支援システムの構築手法の概要を図 1 に示す. システム構築のアプローチは筆者 の先行研究 [4] を踏襲する。まず，実在する書籍の 文から一部の修飾フレーズを削除した文を作成し， これと元の文とを対にしたパラレルコーパスを構築する。次に，これらを教師データとして，修飾フ レーズの欠落した文から実在する書籍の文を生成す る系列変換の学習を行い，生成モデルを構築する。 この生成モデルを用いて，執筆者のつづる文の入力

に対しその文脈にふさわしい修飾フレーズ，すなわ ち表現を付加した複数の候補文を提案することで，推敲の支援を行うシステムを構築する。

## 3.1 パラレルコーパスの構築

実在する書籍の文からある条件のもと機械的に一部の修飾フレーズを削除した文を作成し，これと元 の文との対からなるパラレルコーパスを構築する。本研究では，実在する書籍の文として青空文庫の作品および現代日本語書き言葉均衡コーパスから抽出 した約 787 万文を書籍コーパスとして使用する.

筆者の先行研究では支援の対象とする表現を限定 し，特定の品詞やキーワードに注目した単語単位の 処理によってパラレルコーパスを構築したためア ドホックな支援に限られた。本研究ではこれを踏ま え，より広く表現を捉えるため文構造の依存関係に 注目した処理の手法を提案する。

依存関係による削除対象の決定 連体・連用修飾 に関する依存関係 (Universal Dependencies[6, 7] にお ける acl，amod，advcl， advmodの 4 種）の係り元を 概括的に削除対象として決定する．削除対象の中に は目的の表現とは言いがたい具体化の性質が強い修飾フレーズも含まれるが，文脈への関連が低いと考 えられるこれらを付加する学習は抑えられると考え られる。しかし，これらは学習のノイズとなりうる ため，後述の条件によってその抑制を行う。

係り先による条件 係り先が形式名詞である場合 は削除対象から除外する．実質的な意味が薄い形式名詞に係る修飾フレーズは具体化の性質が強い場合 が多いと考えられる．ただし，形式名詞の定義は曖昧であるため, 本研究では書籍コーパス内の各名詞 について出現頻度および被修飾率を算出し，それぞ れ 3 万以上， 0.8 以上の「もの」,「こと」等の 15 語 を形式名詞として定量的に決定した。

係り元による条件 係り元に指示詞，代名詞，人名の固有名詞を含む場合は削除対象から除外する。 これらを含む修飾フレーズは上記の性質に加え，実質的な意味が薄い場合が多いと考えられる。

以上の手法を用いた文の作成によって約 1027 万対のデータを含むパラレルコーパスを構築した.

## 3.2 生成モデルの構築手法

3.1 節で構築したパラレルコーパスを教師データ とし，修飾フレーズの欠落した文をソース，実在す る元の書籍の文をターゲットとすることによって欠落した修飾フレーズを補完するような系列変換の学習を行う。これにより，任意の入力文に対しその文脈にふさわしい修飾フレーズを付加した文を生成す る生成モデルを構築する。

筆者の先行研究では，尤度による単純なスコアリ ングによった候補文の決定では意外性のある魅力的 な表現といった有用な候補を提案することが難し かった. 本研究ではこれを踏まえ，提案する候補の 多様性の促進として，デコーディングおよび学習モ デルの側面から複数の生成モデルを考える。

ベースラインの手法 Transformer[8] による学習 およびビームサーチによるデコーディングを行う先行研究と同様の生成モデルをべースラインとする. ビームサーチを用いたデコーディングではビームサ イズ分の複数の生成文が得られるため，本研究の支援システムの前提である複数の候補文の提案に用い ることが容易である.

Nucleus サンプリング Holtzman らはビームサー チなどの最大化ベースのデコーディング手法に見ら れる当たり障りのないテキストを生成する問題に対 し，新たなデコーディング手法として Nucleus サン プリングを提案しており，高品質かつ人間のつづっ たものに近い多様性を持った長文テキストの生成が 可能となったと報告している [9]. Nucleus サンプリ ングは，デコーディングの各ステップにおいて次の トークンの確率分布 $P\left(x \mid x_{1: i-1}\right)$ が与えられたとき, その上位 $p$ の語彙 $V^{(p)} \subset V$ を以下の式が成り立つ ような最小の集合と定義する.

$
\sum_{x \in V^{(p)}} P\left(x \mid x_{1: i-1}\right) \geq p
$

そして,$p^{\prime}=\sum_{x \in V^{(p)}} P\left(x \mid x_{1: i-1}\right)$ として式

$
P^{\prime}\left(x \mid x_{1: i-1}\right)= \begin{cases}P\left(x \mid x_{1: i-1}\right) / p^{\prime} & \text { if } x \in V^{(p)} \\ 0 & \text { otherwise }\end{cases}
$

によって再スケーリングした新たな確率分布を用い た次のトークンのサンプリングを行う。

サンプリング剪定ビームサーチ (SPBS) Nucleus サンプリングは，本研究のような入力文などの制約付きの生成とは異なる物語生成などのオープンエン ドな生成における課題に対する提案手法であり，一度の生成で得られる文は 1 つのみである。一方，本 システムが複数の候補文の提案を前提としているこ と，ビームサーチを用いた筆者の先行研究で一定の 評価が得られていることを踏まえ，本研究ではビー ムサーチと Nucleus サンプリングを組み合わせた新

図 2 SPBS の概要

たなデコーディング手法，サンプリング剪定ビーム サーチ（Sampling Pruning Beam Search; SPBS）を提案する。 その手法の概要を図 2 に示す.

SPBS は，ビームサーチをベースとしたアルゴリ ズムの中で，各ステップで保持している候補（ブ ロック）について Nucleus サンプリングを用いた系列の出力を行う. 各ブロックの集合を $N_{i}$, 確率分布 $P$ について $m$ 回サンプリングを行ったときに得られ る系列を $\operatorname{sampling}(P, m)$ としたとき，ビームサーチ に考慮される新たな系列を以下の式によって決定 する。

$
\text { hypotheses }_{i}=\left.\{\operatorname{sampling}\left(P_{n}^{\prime}\left(x \mid x_{1: i-1}\right), m\right)_{n \in N_{i}}\right.\}
$

サンプリングによって多様な候補をピックアップし つつ，ビームサーチによって尤度の低い候補を除外 することで有用な候補の生成を行う。

逆トークン頻度損失（ITF 損失） Nakamura らは 対話システムにおいてありきたりな応答生成を行う 問題に対し, 多様性の促進として新たな損失関数,逆トークン頻度損失（Inverse Token Frequency Loss） を提案している [10]. ITF 損失は $\lambda$ をイパーパラ メータとして，ソフトマックス・クロスエントロ ピー損失 $L_{\mathrm{SCE}}$ をトークンの出現頻度の逆数で重み づけした以下の式によって算出される.

$
L_{\mathrm{ITF}}=\frac{1}{\text { freq }\left(\text { token }_{c}\right)^{\lambda}} L_{\mathrm{SCE}}
$

本研究ではこの損失関数を Transformer へ適用した ものを考える。

## 4 実験と評価

3.2 節で述べた生成モデルを用いた実験を行う.学習モデルのベースに用いる Transformerについて, ハイパーパラメータは論文 [8] に従い, 未知語処理 [4] および文長正規化 [11] を導入した. トークナイ ザには SentencePiece[12] を用い，ITF 損失について は先行研究 [10] に従い $\lambda=0.4$ とした.

図 3 Nucleus サンプリングにおける $p$ の評価結果

表 1 生成モデルの事前評価の結果

## 4.1 生成モデルの事前評価

本研究における目的に対し，基本となる生成モデ ルを用いた事前評価を行う。品質の評価指標として BLEU，多様性の評価指標として Self-BLEU[13] お よび distinct-N[14] を用い，各スコアトップの生成文 10,000 に対して評価を行った．なお，Self-BLEU は 值が低い方が多様性があると評価する指標である。

まず，Nucleus サンプリングにおけるパラメータ $p$ について評価を行った結果を図 3 に示す. BLEU は $p=0.95$ でピークを取り，Self-BLEU はおおむね $p$ の値が大きくなるにつれ下がっていく傾向が見ら れた.この結果より以降 Nucleus サンプリングでは $p=0.95$ を用いた生成モデルで評価を行う.

次に，ビームサーチと Nucleus サンプリング，お よびそれぞれ学習に ITF 損失を適用した生成モデル に対し評価を行った結果を表 1 に示す. なお，ビー ムサーチのビームサイズは 5 とした. 品質はビーム サーチの方が高い一方で，多様性は Nucleus サンプ リングの方が高く平均文長も参照文に近づいた. 特 に Nucleus サンプリングにおいては ITF 損失を用い たモデルの方が多様性に富む傾向が見られた.

## 4.2 システムの評価

各生成モデルで生成した複数の候補文に対し分析 を行い，これらを実際に被験者に提示することで推敲支援システムを想定した評価実験を行う。なお，候補文の最大出力数を 10, SPBS については $m=10$ とし，Nucleus サンプリングは生成を複数回行うこ とによって異なる候補文を最大出力数分得る.
表 2 候補文の多様性の評価結果

## 4.2.1候補文の主観分析

例として，入力「コーヒーの香りがあの日の記憶 を呼び起こす。」に対して生成された候補文につい て述べる.ビームサーチでは「ほのかなコーヒーの 香り」や「ふとあの日の記憶を呼び起こす」など一般的に有用な表現が見られた. また, 本研究の提案手法である SPBS では，ビームサーチに見られる表現をいくつか提案しつつ，「かすかに甘いコーヒー の香り」といった 2 文節以上の修飾句や「夢のよう な記憶」といった比喻表現など多様な表現の提案が 可能であることがわかった。一方，Nucleus サンプ リングではより多様でかつ「ピンと流れるコーヒー の香り」といった意外性のある表現が見られたもの の，支離滅裂なフレーズを付加した例も散見され た．学習に ITF 損失を適用した生成モデルでは，先 に述べた特徴を示しつつ語彙の傾向に違いが見ら れた。なお，各候補文の詳細を付録の表 A に記載 した.

## 4.2.2 候補文の多様性の自動評価

本研究では，ある入力文に対し生成される複数 の候補文についてどれだけ多様な提案ができて いるかを測る評価指標として Local Self-BERTScore （LSBScore）を提案する. この評価指標は，入力文 に対して生成された複数の候補文内で Self-BLEU と 同様の評価手法を分散表現ベースの評価指標である BERTScore[15] を用いて行い, 生成例全体で平均す ることで算出するものである. 多様性の評価指標を 各生成例における候補文内で用いることで各々の提案の多様さを評価し，単語レベルでほとんど同じ候補文を生成する本システムにおいて類似度をより詳細に評価するため BERTScoreを用いている.

各生成モデルについて評価を行った結果を表 2 に 示す. 評価は 1,000 の生成例を用いて行った. 多様性はビームサーチ，SPBS，Nucleus サンプリングの 順に高くなり, 平均文長も長くなる傾向が見られた ほか，LSBScore については明確にITF 損失を用いた モデルの方が多様性に富む傾向が見られた。

図 4 主観評価実験の結果

## 4.2.3 システムの主観評価実験

各生成モデルで生成した候補文を用い，推敲支援 システムを想定した調査表による主観評価実験を 行った. 実験にはビームサーチ, SPBS, SPBS + ITF 損失, Nucleus サンプリングの 4 種の生成モデルを 用い，スコア上位 6 つを候補文として提示する.こ れを 30 例用意し， 13 人の被験者に対し以下の 4 段階のレベルで各候補文を評価してもらった。

レベル 4 表現の推敲支援として妥当な候補文であ り，実際に使ってみたいと思う。

レベル 3 表現の推敲支援としては妥当な候補文だ が，特に使ってみたいとは思わない。

レベル 2 内容が矛盾していたり意味が理解しがた かったりして妥当な候補文だとは思わない.

レベル 1 誤字脱字がある，文法的に正しくない等， そもそも文の形として誤りがある.

その結果として，各例において各レベルで評価さ れた候補文の数の平均を図 4 に示す. レベル 3 以上の候補の数はビームサーチが最も多く, SPBS, SPBS + ITF 損失，Nucleus サンプリングの順で少な くなる結果となった。

## 5 おわりに

本研究では情報付加型生成による実用的な表現 の推敲支援システムの構築を目指し，幅広く表現を 捉えた独自のパラレルコーパスを構築，多様な表現を提案する生成モデル SPBS を提案した. ビーム サーチは有用な複数の候補を一度に提案可能だが，入力文が同じであれば同じ候補しか提案できない.一方，Nucleus サンプリングは複数候補の提案には 向かないが，生成を行うごとに異なる候補を提案で き，多様性を確保できる．本研究で提案したSPBS は評価実験では最も高い評価を得ることはできな かったものの，双方の長所を取り入れた手法であ り，実際の推敲支援で有効性を検証する必要がある と考える。今後はこれらを用いたアプリケーション の実装を行い，さらなる研究を進めていきたい。

## 参考文献

[1] Ann Yuan, Andy Coenen, Emily Reif, and Daphne Ippolito. Wordcraft: Story writing with large language models. In 27th International Conference on Intelligent User Interfaces, IUI '22, p. 841-852, New York, NY, USA, 2022. Association for Computing Machinery.

[2] Takumi Ito, Tatsuki Kuribayashi, Masatoshi Hidaka, Jun Suzuki, and Kentaro Inui. Langsmith: An interactive academic text revision system. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 216-226, Online, October 2020. Association for Computational Linguistics.

[3] Chung-Ting Tsai, Jhih-Jie Chen, Ching-Yu Yang, and Jason $\mathrm{S}$. Chang. LinggleWrite: a coaching system for essay writing. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: System Demonstrations, pp. 127-133, Online, July 2020. Association for Computational Linguistics.

[4] 鈴木勘太, 杉本徹. Encoder-decoder モデルを用いた文章表現を豊かにする執筆支援システム. 日本感性工学会論文誌, Vol. 21, No. 2, pp. 257-265, 2022.

[5] 伊藤拓海, 栗林樹生, 小林隼人, 鈴木潤, 乾健太郎. ラ イティング支援を想定した情報補完型生成. 言語処理学会第 25 回年次大会, pp. 970-973, 2019.

[6] Ryan McDonald, Joakim Nivre, Yvonne QuirmbachBrundage, Yoav Goldberg, Dipanjan Das, Kuzman Ganchev, Keith Hall, Slav Petrov, Hao Zhang, Oscar Täckström, Claudia Bedini, Núria Bertomeu Castelló, and Jungmee Lee. Universal Dependency annotation for multilingual parsing. In Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 92-97, Sofia, Bulgaria, August 2013. Association for Computational Linguistics.

[7] 浅原正幸, 金山博, 宮尾祐介, 田中貴秋, 大村舞, 村脇有吾, 松本裕治. Universal dependencies 日本語コーパ ス. 自然言語処理, Vol. 26, No. 1, pp. 3-36, 2019.

[8] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in neural information processing systems, pp. 5998-6008, 2017.

[9] Ari Holtzman, Jan Buys, Li Du, Maxwell Forbes, and Yejin Choi. The curious case of neural text degeneration. In ICLR. OpenReview.net, 2020.

[10] Ryo Nakamura, Katsuhito Sudoh, Koichiro Yoshino, and Satoshi Nakamura. Another diversity-promoting objective function for neural dialogue generation. CoRR, Vol. abs/1811.08100, , 2018.

[11] Yonghui Wu, Mike Schuster, Zhifeng Chen, Quoc V. Le, Mohammad Norouzi, Wolfgang Macherey, Maxim Krikun, Yuan Cao, Qin Gao, Klaus Macherey, Jeff Klingner, Apurva Shah, Melvin Johnson, Xiaobing Liu, Lukasz Kaiser, Stephan Gouws, Yoshikiyo Kato, Taku Kudo, Hideto Kazawa, Keith Stevens, George Kurian, Nishant Patil, Wei Wang, Cliff Young, Jason Smith, Jason Riesa, Alex Rudnick, Oriol Vinyals, Greg Corrado, Mac- duff Hughes, and Jeffrey Dean. Google's neural machine translation system: Bridging the gap between human and machine translation. CoRR, Vol. abs/1609.08144, , 2016.

[12] Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[13] Yaoming Zhu, Sidi Lu, Lei Zheng, Jiaxian Guo, Weinan Zhang, Jun Wang, and Yong Yu. Texygen: A benchmarking platform for text generation models. In The 41st International ACM SIGIR Conference on Research \& Development in Information Retrieval, SIGIR '18, p. 1097-1100, New York, NY, USA, 2018. Association for Computing Machinery.

[14] Jiwei Li, Michel Galley, Chris Brockett, Jianfeng Gao, and Bill Dolan. A diversity-promoting objective function for neural conversation models. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 110-119, San Diego, California, June 2016. Association for Computational Linguistics.

[15] Tianyi Zhang, Varsha Kishore, Felix Wu, Kilian Q. Weinberger, and Yoav Artzi. Bertscore: Evaluating text generation with bert. In International Conference on Learning Representations, 2020.

## A 各生成モデルが生成した候補文の例

表 A 入力「コーヒーの香りがあの日の記憶を呼び起こす。」に対して生成された候補文の例（スコア降順） ビームサーチ SPBS

熱いコーヒーの香りがあの日の記憶を呼び起こす。甘いコーヒーの香りがあの日の記憶を呼び起こす。 コーヒーの香りが再びあの日の記憶を呼び起こす。強いコーヒーの香りがあの日の記憶を呼び起こす。温かいコーヒーの香りがあの日の記憶を呼び起こす。 コーヒーの香りがまたあの日の記憶を呼び起こす。 コーヒーの香りがあの日の甘い記憶を呼び起こす。 ほのかなコーヒーの香りがあの日の記憶を呼び起こす。 コーヒーの香りがあの日の記憶を再び呼び起こす。甘いコーヒーの香りがあの日の記憶を呼び起こす。 コーヒーの香りが再びあの日の記憶を呼び起こす。 コーヒーの香りがまたあの日の記憶を呼び起こす。 コーヒーの香りがふとあの日の記憶を呼び起こす。 かすかにコーヒーの香りがあの日の記憶を呼び起こす。 かすかに甘いコーヒーの香りがあの日の記憶を呼び起こす。 コーヒーの香りがあの日の夢のような記憶を呼び起こす。 コーヒーの香りがあの日の記憶をふたたび呼び起こす。 コーヒーの香りがあの日の深い記憶を呼び起こす。 コーヒーの香りがふとあの日の記憶を呼び起こす。 コーヒーの香りがようやくあの日の記憶を呼び起こす。

Nucleus サンプリング

コーヒーの香りがあの日の甘い記憶を呼び起こす。

のようにコーヒーの香りがあの日の記憶を呼び起こす。

コーヒーの香りが不吉なあの日の記憶を呼び起こす。

コーヒーの香りがあの日の印象深い記憶を呼び起こす。

待つコーヒーの香りがあの日の記憶を呼び起こす。

ヒーローの甘いコーヒーの香りがあの日の記憶を呼び起こす。

りんりんるようなコーヒーの香りがあの日の記憶を呼び起こす。

ピンと流れるコーヒーの香りがあの日の記憶を呼び起こす。

じゅ長いコーヒーの香りがあの日の記憶を呼び起こす。

コーヒーの香りが彼女を、会社に声すばらしいあの日の記憶を呼び起こす。

ビームサーチ+ITF 損失 SPBS + ITF 損失

熱いコーヒーの香りがあの日の記憶を呼び起こす。 やがてコーヒーの香りがあの日の記憶を呼び起こす。甘いコーヒーの香りがあの日の記憶を呼び起こす。 コーヒーの香りがあの日の強烈な記憶を呼び起こす。 たとえばコーヒーの香りがあの日の記憶を呼び起こす。強烈なコーヒーの香りがあの日の記憶を呼び起こす。 コーヒーの香りが突然あの日の記憶を呼び起こす。

同じコーヒーの香りがあの日の記憶を呼び起こす。 コーヒーの香りがふとあの日の記憶を呼び起こす。 コーヒーの香りがあの日の記憶をかすかに呼び起こす。熱いコーヒーの香りがあの日の記憶を呼び起こす。

やがてコーヒーの香りがあの日の記憶を呼び起こす。

コーヒーの香りがまたあの日の記憶を呼び起こす。

コーヒーの香りがあの日の懐かしい記憶を呼び起こす。

コーヒーの香りがあの日の記憶を強く呼び起こす。

むしろコーヒーの香りがあの日の記憶を呼び起こす。

コーヒーの香りがあの日の甘い記憶を呼び起こす。

朝になるとコーヒーの香りがあの日の記憶を呼び起こす。

コーヒーの香りがすぐにあの日の記憶を呼び起こす。

コーヒーの香りがあの日の記憶をすべて呼び起こす。

Nucleus サンプリング + ITF 損失

たとえばコーヒーの香りがあの日の記憶を呼び起こす。

新しいコーヒーの香りがあの日の記憶を呼び起こす。

コーヒーの香りがあの日の不快な記憶を呼び起こす。

重いコーヒーの香りがあの日の記憶を呼び起こす。

不思議なコーヒーの香りがあの日の記憶を呼び起こす。

神妙なコーヒーの香りがあの日の記憶を呼び起こす。

香水のようなコーヒーの香りがあの日の記憶を呼び起こす。

しようとしていたコーヒーの香りがあの日の記憶を呼び起こす。

香わかるコーヒーの香りがあの日の記憶を呼び起こす。

純粋にクール全員が興十五三日前にしなかったコーヒーの香りがあの日の記憶を呼び起こす。


# 指定要約長に応じたソフトな内容選択による要約長操作可能な End-to-End 要約

楢木悠士 ${ }^{1}$ 小林 哲則 ${ }^{1}$ 林 良彦 ${ }^{1}$
1* 早稲田大学理工学術院 yuji.1277@akane.waseda.jp

## 概要

指定した長さに応じて適切な要約を生成する技術 への要請が高まっている. 本研究では，任意の指定要約長 $k$ が与えられたとき，原文書中のトークンの 重要度を評価し，それに応じてソフトマスクをかけ ることで埋め込み表現を調整する機構 SumTop- $k$ を 提案する. SumTop- $k$ は, 要約長操作のための制約 なしで，要約タスクによる End-to-End 学習によって 要約長の制御を可能にした. 評価実験の結果，提案手法は既存手法と同等以上の要約性能を達成した。本稿ではさらに, SumTop- $k$ 内で計算されるトーク ンごとのスコアが生成される要約に与える影響を分析し，これらを意図的に変化させることで生成要約 の内容を操作できる可能性を示す.

## 1 はじめに

自動要約に関する研究は多く, 要約技術の応用例 も増えてきている．我々は，要約技術の実用化に向 けて必要となる要約長の操作に注目する. 長さ制御可能な要約は, 所望の長さの簡潔で流暢な要約を生成することを目的としている．その技術は，各デバ イス，デザイン，ユーザに応じた適切な長さの要約 を提供するために，ユーザエクスペリエンスの観点 から求められている. 要約に含めるべき情報量や粒度は，指定要約長によって異なるため，このタスク は単に長さを制御するだけでは機能しない。した がって, 要約長操作可能な要約システムでは, 生成 されるテキストの長さを制御するだけでなく, 要約 に含めるべき情報を適切に選択する必要がある.本論文では，指定される任意の要約長 $k$ に対し て原文書中のトークンの重要度を評価し，それに 応じて埋め込み表現を調整するソフトマスク機構 SumTop- $k$ を提案する. ソフトマスク生成には微分可能な top-k 演算 [1] を用いることで, End-to-End 学習を可能にする。これは，内容選択機能を独立した抽出型要約モデルによって実現する既存研究 [2] に おける End-to-End 学習ができないという問題を解決 する。

BART の Encoderに提案手法の SumTop- $k$ を組 み込み，生成要約の品質と長さの操作性を CNN DailyMail とXSum データセットを用いた実験によ り評価した. その結果，提案手法は既存手法と同等以上の要約性能を達成しつつ，要約長の制御が可能であることを確認した。特に CNN DailyMail デー タセットにおいては BART や要約長操作可能な既存研究と比べて最も高い ROUGE スコアを達成し, XSum データセットでは，BART と同程度の ROUGE スコアを示した. さらに，SumTop- $k$ 内で計算され るトークンごとのスコアが生成される要約に与える 影響を分析し, SumTop- $k$ 内のトークンスコアは生成要約に含まれるトークンと相関があることを示 した.この結果を受け，SumTop- $k$ のスコアの順位換えによって，要約の内容を操作する可能性を検討 した.

## 2 関連研究

要約長操作に関連する既存研究では, 要約生成時 に制御を行う手法が提案されてきた。菊池ら [3] は 指定要約長までの残りの長さの埋め込みをモデル に入力することで，高瀬と岡崎 [4] は残りの長さを Transformer の位置埋め込み表現に追加で埋め込むこ とで要約長を操作した. Yu らは推論時に指定要約長の埋め込み表現を単語予測層の前に連結すること で，要約長の制御を実現している [5]. しかし，指定要約長の情報をモデルに与えるだけでは，指定要約長に応じて適切に要約の内容を変化させることは困難である。すなわち，指定要約長に応じた内容選択 が必要となる.

斉藤らは，抽出型要約モデルを用いて原文書から 情報を選択し，原文と抽出されたトークンを抽象型要約モデルに入力する方式を提案した [2]. このア

プローチは，要約長の操作性と高い ROUGE スコア を達成したが，情報選択のための抽出型モデルが End-to-End に学習ができないため, 性能上のボトル ネックになっていると考えられる。一方，Liu らは 内容選択に注力した手法を提案した [6]. このモデ ルでは，まず合成データによる事前学習によって内容選択機能を実現し, 元のデータセット上で全体の 要約タスクでの学習を行う. さらに, 指定要約長付近で EOS トークンを高確率で生成するために， decoder における Attention スコアを指定要約長まで の残りの長さに応じて調整している. この Attention スコアの調整方法は, 生成要約長の操作に有効であ るが, 生成要約の品質の観点からは多分に強引であ ると考えられる。

我々は，原文書に対して，指定要約長 $k$ に応じた ソフトマスクをかける機構 SumTop- $k$ を提案する.

SumTop- $k$ は，内容選択に関する機能を End-to-End 学習が可能なモデルとしながら, Liu らのように直接的な確率調整を行わずに要約長制御を可能とする 方法である.

## 3 提案手法: SumTop- $k$

本節では，指定要約長 $k$ に応じたソフトマスク を原文書にかける機構 SumTop- $k$ の構成について 述べる. 我々は, 文書要約モデルとして EncoderDecoder 型モデルの代表格である BARTを採用する. SumTop- $k$ モジュールは, BART の Encoder の最終層 を置き換えるものであり，SumTop- $k$ の入力にソフ トマスクをかけた埋め込み表現を出力する. 埋め込 み表現の shape は, [batch_size, src_len,embed_dim] である.

Encoder 最終層における適用方法については複数 の可能性があるが，本研究では図 1 に示す 2 つの 適用方法について実験を行った. Query (図 1 の (a)) は, Self-Attention の Query の入力に SumTop- $k$ を適用 したもので，原文書とマスクした表現の間の SourceTarget Attention のような処理になる. After_Attn (図 1 の (b)) は, SumTop- $k$ を Self-Attention の後の埋め込 み表現に適用することを意味し, Encoder の出力に より直接的な影響を与える。

SumTop- $k$ モジュールのアーキテクチャを図 2 に示す. SumTop- $k$ は 3 段階の処理を持つ. 初 めに, Self-Attention と 1 層の線形層を用いて, [batch_size,src_len, 1] の shape をしたトークンごと のスコアを計算する，次に，トークンごとのスコア

(a)

(b)図1SumTop- $k$ の適用方法.（a）と（b）はそれぞれQuery とAfter_Attnを表す。

を要約生成のための重要度だと捉え，それに応じた ソフトマスクを微分可能な top-k 演算 [1] を用いて 生成する. 最後に SumTop- $k$ は元の入力表現にソフ トマスクをかけた表現を出力する. SumTop- $k$ は完全に微分可能であり，モデルの学習時にどのような トークンのスコアを高くすべきかなどの追加の制約 は与えられることはない，よって，SumTop- $k$ がど のように原文書の表現を調整するかは，モデル全体 の End-to-End の学習に依存する。

## 4 評価実験の設定

CNN DailyMail, XSum という要約研究における 標準データセットを用い, 要約品質と要約長制御 に関する評価を行う。また，図 1 (a)，(b) に示した SumTop- $k$ の 2 つの配置について比較を行う.

CNN DailyMail データセットとXSum データセッ トでは，ビームサイズをそれぞれ 4 と 6 に設定し た.また，ビームサーチ時の n-gram の繰り返し回数の最大値は 2 とした. 手法自体の要約長の操作性 を検証するため，提案手法で検証する際には，要約長の最大・最小の制約は与えない.

比較手法には，文書要約手法である BART および BART+attention head masking (AHM) [7], 要約長操作可能な要約手法である LPAS[2] および PtLAAM[6] を用いる。

要約の品質を測るために ROUGE スコアを，要約

図 2 SumTop- $k$ の構造.

長の操作性を測るために生成要約の平均長と式 1 で 定義される Variance を使用する。なお， $y_{i}$ は参照要約， $y_{i}^{\prime}$ は生成要約， $n$ はテストデータ数, len (.) は 入力に含まれるトークンの数を返す。

$
\mathrm{Var}=0.001 * \frac{1}{n} \sum_{i=1}^{n}\left|\operatorname{len}\left(y_{i}\right)-\operatorname{len}\left(y_{i}^{\prime}\right)\right|^{2}
$

前述したように, SumTop- $k$ の処理で高いスコアを 持つトークンには制約がないため，どのようなトー クンが高いスコアを持つかを確認する必要がある.我々は，ソフトマスクの値が高いトークンは生成要約に現れやすいと仮説立てた。そこで，SumTop-k の操作とモデルの最終出力の関係を分析するため に，トークンの生成要約に対する貢献の度合いを 表す，式 2 に示す指標 Con を提案する. SumTop- $k$ のトークンスコアで上位指定要約長個のトークン $\left(T_{t o p-k}\right)$ を SumTop- $k$ で重要だと判断されたトーク ンと考え, 生成要約に含まれるトークン $\left(T_{g e n}\right)$ に対 するトークンの精度を貢献の度合いとする。

$
\text { Con }=\frac{\operatorname{count}\left(\operatorname{set}\left(T_{\text {top-k }}\right) \cap \operatorname{set}\left(T_{\text {gen }}\right)\right)}{\operatorname{count}\left(\operatorname{set}\left(T_{\text {gen }}\right)\right)} \times 100
$

ここで， $\operatorname{count}(\cdot)$ は入力集合の要素数を返し， $\operatorname{set}(\cdot)$ は大力配列の要素の集合を返す.

## 5 評価実験の結果

## 5.1 要約の品質と要約長の操作性

CNN DailyMail とXSum のデータセットに対して，提案手法と既存手法を評価した結果を表 1 に示す.本実験にける指定要約長は参照要約の長さとした. BART+AHM [7], LPAS [2] と PtLAAM [6] の ROUGE スコアはそれぞれの論文から，LPAS と PtLAAM の Variance は Liu らが示した図 [6] を参照している。

まず，生成要約の品質について考察する. CNN
DailyMail データセットにおいて，提案手法は既存手法と比較して高いROUGE スコアを示した.特に，提案手法はAfter_Attnにおいて，最も高い ROUGE スコアを示した. XSum データセットでは，提案手法はベースラインである BART と同程度の ROUGE スコアを示し，LPASを上回った. XSum で は CNN DailyMail と比較して ROUGE スコアが向上 しなかったが，これは XSum データセットでは CNN DailyMail と比較して正解要約の抽象度が高いから だと考えられる。

次に，要約長の操作性について考察する。両デー タセットにおいて，提案手法はベースラインの BART よりも低い Variance を達成し，より良い操作性を持つことが確認できた，なお，Liu らの報告した BART の Variance と我々の測定した BART の Variance は大きく異なるため，本論文で比較す るには公平でないと考え，提案手法と既存手法の Variance は比較しないこととした.

モデル内部の各トークンのスコアと生成要約の 相関を測る貢献度では，提案手法のトークンスコア は BART の Attention スコアより高い. 特に, CNN DailyMail の SumTop- $k$ After_Attn では，生成要約に 含まれるトークンの $40 \%$ 以上が SumTop- $k$ の上位 $\mathrm{k}$個のトークンスコアに含まれる。これらの結果か ら，提案手法は，要約に含めたいトークンにより他界スコアを与えていることが示唆される。

## 5.2 要約の内容操作の可能性

SumTop- $k$ を用いたモデルにおける要約の内容操作の可能性を検討する. 提案手法による貢献度スコ アが高いことは表 1 に示した通りである.これは， SumTop- $k$ におけるスコアの順位を意図的に変更す ることで，生成要約に現れるトークンが変化する可能性があることを示唆する。 そこで，SumTop- $k$ は 要約の内容を操作することができると仮説立てた。

この仮説を検証するため，ROUGE スコアが低い (我々の分析では ROUGE- 1 で 0.2 以下) テストデー タに対して，意図的に順位を変更した場合の生成要約の変化を観察した。順位換えするトークンは，元 の文書に出現したトークンのうち，正しい要約には 出現するが生成要約には出現しないトークンとし た. さらに，機能語ではなく内容語のみに変更を加 えたいので，原文書に 3 回以上現れるトークンは順位換えの対象から除外した. CNN DailyMail データ セットで SumTop-k の After_Attn を適用した結果に ついて分析を行った. SumTop-k のスコアにおける 順位を調整した後に，再度推論したときの生成要約 がどのように変化するかを ROUGE スコアで比較し た結果を表 2 に示す. 具体的には指定要約長 $k$ が 10 のとき，順位の上げ幅は 10 倍の 100 とした.また， 2 つの事例を表 3 に示す.

表 2 順位換えの前と後の ROUGE スコアの結果.

表 3 SumTop- $k$ のトークンスコアの順位換えによる要約 の変化の事例.

 \\

表 2 から，意図的な順位換えが ROUGE スコアを 向上させたことが確認できる. つまり，この操作に より生成要約の内容が参照要約の内容に近づいた.表 3 の例では，順位換えにより，生成要約に”launch window”に関する説明が含まれるようになった。

## 6 おわりに

我々は，原文書に対して，任意の指定要約長 $k$ に 応じたトークンスコアの算出とそれに伴うソフトマ スクをかける機構 SumTop- $k$ を提案した。提案手法 は End-to-End での学習が可能であり，追加の制約な しに要約の長さを操作することが可能である。

評価実験の結果，提案手法は既存手法と同等以上 の要約性能を達成しつつ，要約長の制御が可能であ ることを確認した．特に CNN DailyMail データセッ 卜においては BART や要約長操作可能な既存研究 と比べて最も高い ROUGE スコアを達成し，XSum データセットでは，BART と同程度の ROUGE スコ アを示した．また，SmTop-k のトークンスコアで上位 $\mathrm{k}$ 個のトークンが，生成要約に含まれるトークン と相関を持つことを確認し，SumTop- $k$ を用いるこ とが生成要約の内容に寄与していることを確認し た. さらに，トークンスコアを意図的に順位換えす ることで，低品質の要約を改善し，生成要約の内容 を操作できることを示した。

このような要約制御の機能は，自動要約技術を実応用する上で重要と考えられる. 今後は，原文書に 現れないトークンが含まれるような抽象的な要約を 生成できる長さ制御可能な要約手法を検討する.

## 参考文献

[1] Yujia Xie, Hanjun Dai, Minshuo Chen, Bo Dai, Tuo Zhao, Hongyuan Zha, Wei Wei, and Tomas Pfister. Differentiable top-k with optimal transport. In H. Larochelle, M. Ranzato, R. Hadsell, M.F. Balcan, and H. Lin, editors, Advances in Neural Information Processing Systems, Vol. 33, pp. 20520-20531. Curran Associates, Inc., 2020.

[2] 斉藤いつみ, 西田京介, 西田光甫, 大塚淳史, 浅野久子,富田準二, 進藤裕之, 松本裕治. 出力長制御と重要箇所 の特定を同時に行う生成型要約. 人工知能学会全国大会論文集, Vol. JSAI2020, pp. 3Rin481-3Rin481, 2020.

[3] Yuta Kikuchi, Graham Neubig, Ryohei Sasano, Hiroya Takamura, and Manabu Okumura. Controlling output length in neural encoder-decoders. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 1328-1338, Austin, Texas, November 2016. Association for Computational Linguistics.

[4] Sho Takase and Naoaki Okazaki. Positional encoding to control output sequence length. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 3999-4004, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[5] Zhongyi Yu, Zhenghao Wu, Hao Zheng, Zhe XuanYuan, Jefferson Fong, and Weifeng Su. LenAtten: An effective length controlling unit for text summarization. In Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021, pp. 363-370, Online, August 2021. Association for Computational Linguistics.

[6] Yizhu Liu, Qi Jia, and Kenny Zhu. Length control in abstractive summarization by pretraining information selection. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 6885-6895, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[7] Shuyang Cao and Lu Wang. Attention head masking for inference time content selection in abstractive summarization. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 5008-5016, Online, June 2021. Association for Computational Linguistics.

## A Case Study

成要約に含まれる。

図 3 原文書と参照要約の例と，BART と 5 種類の異なる 指定要約長での提案手法による生成要約.

図 3 には，CNN DailyMail データセットの原文書 とその参照要約と，BART と我々の提案手法である BART + SumTop- $k$ After_Attnにより， 5 種類の異な る指定要約長の生成要約を示した. 原文書の太字の トークンは SumTop- $k$ のトークンスコアが上位 $\mathrm{k}$ 個 のトークンである.

BART と比較して，提案手法 SumTop- $k$ で指定要約長を参照要約の長さとすると, 要約が短くなり参照要約の長さに近づくことがわかった. 指定要約長が 10 と 30 の生成要約では，ポール・ウォーカー の事故について記述されているが，指定要約長が 50 の要約では, シリーズの新作について，指定要約長が 70 の要約では，製作者の発言について記述 されている.このように，希望する長さによって，要約に含めるべき内容が異なることが確認された. SumTop- $k$ のスコアが上位 $\mathrm{k}$ 個のトークン（太字部分）について前述の貢献度の結果からわかるよう に, SumTop- $k$ のスコアが上位 $\mathrm{k}$ 個のトークンも生

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 言語モデルを用いた漢文の返り点付与と書き下し文生成

王昊 清水博文 河原大輔
早稲田大学理工学術院
\{conan1024hao@akane. , bowen1205@toki . , dkw@\}waseda.jp

## 概要

漢文は約 2000 年前の弥生時代に中国から日本に 伝えられ，それ以降日本文学に多大な影響を与え た. 今でも大学入学共通テストの国語において漢文 は 200 点の内 50 点を占めている.そんな中，中国 にある豊富な言語資源に比べ，日本にある漢文の書 き下し文資源が非常に少ない.この問題を解決する ために, 本研究は世界初の漢文訓読データセットを 構築する。そして，漢文理解において重要視される 返り点付与, 書き下し文生成の二つのタスクに対 し，言語モデルを用いて精度向上を試みる。また，人間の評価結果と比較することで，最適な自動評価指標について議論する。

## 1 はじめに

漢文は弥生時代 [1] に中国から日本に伝えられた。 そして奈良時代 [2] から日本語の文章として読める よう, 漢文の語順構成を維持しながら訓点を付ける 漢文訓読と, 日本語の文体として書き直した漢文訓読文 (または書き下し文) が発明された。漢文は『万葉集』[3] や『源氏物語』 $[4,5]$ など，多くの日本文学作品に影響を与えた. 今でも漢文は大学入学共通 テストの国語において 200 点の内 50 点を占めてお り，漢文が日本文化に及ぼしている影響の大きさを 示している.

中国語と日本語は共通の漢字を多く持つが，日本人にとって漢文を読むことは容易ではない，中国語，そして漢文の語順は，英語と同じ SVO (主語-動詞-目的語) である一方, 日本語の語順は SOV (主語目的語-動詞)である。そして，中国語は孤立語であ り，時制や格などによって語の形は変化しない。一方，日本語は膠着語であり，接頭辞や接尾辞のよう な形態素がその語の文法関係を示している. 漢文を SVO から SOV に，孤立語から膠着語に変換するた めに，日本人は句読点，返り点，送り仮名などから なる漢文訓読システム [6] を開発した。表 1 漢文訓読データセットの例. データは白文，日本語読み順 (数字は白文中の順位を表している)，書き下し文 の3つ組から構成される。

中国には豊富な漢文の言語資源があるが，日本に おけるそれらの書き下し文データは極めて少ない.例えば，『全唐詩』には 48,900 首以上の唐詩が収録 されており，その全てにオンラインでアクセス可能 である。しかし，我々の知る限りでは，日本では約 500 首の唐詩の書き下し文データしかインターネッ 卜上に存在しない.この大きなギャップは，日本に おける漢文研究及び漢文教育の阻害要因となって いる.『漢文大系』などの書籍の中に書き下し文の データは多く存在するが，それらに OCR を適用し， データを整形するには膨大なコストがかかる．その ため，高性能な書き下し文生成器を構築することが 書き下し文資源の不足を解消する最も効率的な方法 と考えられる。

従来の研究 $[7,8,9,10,11]$ では, 返り点付与と書 き下し文生成を含む一連の漢文に関する言語処理の 手法が提案された. しかし, ルールベースであり性能が不十分である上，これらの研究ではデータセッ 卜を作っておらず，定量的評価を行っていない．本研究では，世界初の白文 ${ }^{11}$-書き下し文ぺアからなる 漢文訓読データセットを構築する (表 1).これを基 に，言語モデルを用い，返り点付与器と書き下し文生成器を構築し, 両タスクにおいて定量評価を行 う. そして，書き下し文の生成結果に対し，人手評価の結果と比較することで，最も適切な自動評価指標について議論する。 さらに，パイプラインを構築 し, 白文の事前ソート (返り点付与) が書き下し文生成に貢献するかどうかを検証する。

表 2 データセットの統計量情報 (白文パート).

## 2 関連研究

UD-Kundoku [9, 10] は Universal Dependencies [12] に基づく漢文を書き下し文に変換する encodereorder-decode モデルである. まず encode では白文 に対し形態素解析を行い, 依存構造解析を行う [7]. reorder ではルールベースによる返り点付与を行い，白文を日本語語順にソートする. 最後の decode で はルールベースによる送り仮名の付与を行う. こ れらの研究では書き下し文の生成結果に対して BLEU [13] と RIBES [14]を用いて評価を行っている が，数サンプルの評価に留まっており，定量的評価 を行っていない。

## 3 データセット構築とタスク設計

本研究は白文，日本語読み順，書き下し文の 3 つ 組から構成される漢文訓読データセットを構築す る. 漢文で使われる語彙や文法は時代によって変化 するため，多くの時代をカバーするテキストを収集 することが望ましいが，現時点ではそのような包括的なデータセットを作ることは困難である. 本研究 では，書き下し文が付与されているデータソースと して最も大きいと考えられる『唐詩選』』を基にデー タセットを作成する。前処理として，ルールベース で書き下し文から白文の日本語語順を抽出し, 置き 字や再読文字など特殊な文字に対し人手でアノテー ションを行う。また，辞書を用いて旧字体を可能な 限り新字体に変換し，言語モデルの OOV 問題を軽減する。一つの詩の中の文が分割されないように，本研究では GroupShuffleSplit を使ってデータセット をTrain，Validaiton，Testに分割した。表 1 にデータ の例，表 2 にデータセットの統計量情報を示す.

構築したデータセットに基づき，返り点付与と書 き下し文生成の二つのタスクを設定する. 返り点付与3)では，白文を日本語の読み順 (SVO から SOV) に 変換する. 書き下し文生成は，白文を書き下し文に 変換する seq2seq タスクである.

## 4 実験設定

本研究は事前学習モデルをファインチューニング することで，返り点付与と書き下し文の二つのタス クを解く．実験で使用する事前学習モデル及びハイ パーパラメータを付録 A と B に示す.

## 4.1 タスクの実装

本節では，返り点付与と書き下し文のそれぞれの 実装を説明する。本研究ではパイプラインも構築 し, 白文の事前ソート (返り点付与) が書き下し文生成に貢献するかどうかについて実験を行う. 図 1 に パイプラインの概要を示す.

返り点付与に対して，本研究では BERT-like モデ ル $[15,16,17,18]$ を用いた rank-based のソート手法 を採用する，入力としては，白文を文字単位に分割 し，それぞれの文字を $\{$ 文字 $\}\{$ 白文中の文字の順位 $\}[\mathrm{SEP}]\{$ 白文 $\}$ の形に変換する. 白文中の文字の 順位は同じ文字が二つ以上出現する場合に対応する ために追加している。それぞれの文字の日本語語順中の順位を白文の長さで正規化し (長さ 5 の文に対 し，順位は $1,2, \ldots, 5$ から $0.2,0.4, \ldots, 1$ に正規化され る)，学習における正解の値として設定する. モデ ルが出力した順位を昇順にソートし，元の文字に戻 せば，日本語語順の白文を得ることができる。 図 1 の (A) に我々のソート手法の様子を示している.

書き下し文生成に対しては， T5 [19] と GPT [20] を用いて，白文から書き下し文を生成する．各モデ ルの真の性能を見るため, 生成結果に対しては一切 フィルタリングを行わない.

パイプラインについては，返り点付与モデルに よって日本語語順にソートされた白文を $\mathrm{T} 5$ または GPT に入力し, 事前の返り点付与が書き下し文生成 に貢献するかどうかを検証する。

## 4.2 自動評価指標

語句の並べ替えの研究 $[21,22,23]$ に従い, 本研究 では以下の指標を用いて自動評価を行う。

Kendall's Tau $(\tau)$ この指標は，二つの文の順位相関を測るものである．予測された文字順を真の文字順に並べ替えるために必要な交換回数が少ないほ ど，相関が強く，性能が良いことを意味する。

$
\tau=1-\frac{4(\# i n v e r s i o n s)}{\# \operatorname{char}(\# \operatorname{char}-1)}
$

2) https://kanbun.info/syubu/toushisen $000 . \mathrm{html}$

3）実質上は文字の並べ替えとなっている.
図 1 パイプラインの概要図. (A) は返り点付与器，(B) は書き下し文生成器である。

Perfect Match Ratio (PMR) 予測された文字順と 真の文字順が完全に一致する割合を示す指標.

書き下し文の評価について系統的な研究がないた め，先行研究で用いられた BLEU [13] と RIBES [14] に加え，ROUGE-L [24] と BERTScore [25] を用いて 自動評価を行う。単語ベースの評価は形態素解析へ の依存度が高く，また，漢文の関連パッケージが成熟していないことから，本研究では文字べースで上記の指標を計算する．BERTScore については，文字 ベースの東北大 $\mathrm{BERT}^{4)}$ を用いて計算する。

## 4.3 人手によるアノテーション

本研究は中国語と日本語のバイリンガル三名にア ノテーションを依頼する. アノテータの選考基準と しては以下のものを設ける: (1) 中国語の白文を読め ること. (2) 大学入学共通テストの漢文パートで満点が取れること.

返り点付与に対しては，返り点付与器と人間の性能を比較するために，同じソート作業を参考文献や インターネットアクセスなしで行ってもらう．結果 を集計し，Kendall's Tau と PMR スコアを計算する。

書き下し文生成に対しては，以下の三つの指標で 1 から 5 の 5 段階で評価してもらう．書き下し文の 正しさを評価したいため，この評価では参考文献の 参照を可能としている. また, データセットの品質 を測るために，正解の書き下し文も人手評価する。

Relevance 白文を不足なく，乘離なく書き下し ているかどうか.

Accuracy 日本語としての語彙的, 文法的正し さ. 読み順の正しさ.

Fluency 文の流暢さ，自然さ．漢詩のリズム感 が残っているかどうか.

表 3 返り点付与における Kendall's Tau $(\tau)$ と PMR の評価結果. UD-Kundoku はベースラインで, Human スコアは三人のアノテータの結果の平均である.

## 5 結果と考察

## 5.1 返り点付与

返り点付与の評価結果を表 3 に示す. 全ての BERT-like モデルはベースラインより高い精度を達成した. 中国語のモデルは，日本語のモデルよりも 若干良い精度を示し, 漢文コーパスで事前学習し た RoBERTa-classical-chinese-char は最も良い精度を 示した。これは，事前学習で使われているコーパス における漢文の割合によるものだと考えられる。

人間と RoBERTa-japanese-char-wwm の PMR スコ アはほぼ同じであるが，Kendall's Tau はモデルの方 が $5.9 \%$ 高い。これは，細かい部分の予測では人間よ りも BERT の方が精度が高いことを示している。

## 5.2 書き下し文生成

書き下し文生成に対する評価結果を表 4 に示す.

自動評価では，全モデルが全ての評価指標でベー スラインを上回った. $\mathrm{mT5}$ の性能はモデルサイズの 増大につれて上昇し，mT5-large が最も良い性能を 示した. mGPTと mT5-small の性能はお互いに近い.
表 4 書き下し文生成の評価結果. UD-Kundoku はベースラインである.

表 5 自動 - 人手評価指標の Pearson $(r)$, Spearman $(\rho)$ 相関係数. 人手評価指標間の相関も示している.

人手評価では，mT5-small，mT5-large，mGPT の 生成結果のみをアノテータに評価させた。自動評価と同様，mT5-large が最も良い性能を示した. 一方, mGPT は mT5-small の 8 倍以上のパラメータ数 を持つが (詳細なモデルサイズを付録 A に示す), mT5-small のスコアは大きくmGPT を上回った. mT5，mGPT は共に主に mC4 [19] で事前学習してい るため，コーパスの影響はほぼ排除できる。推測の 一つとしては，mT5 のエンコーダが漢文の理解に 大きな役割を果たしていると考えられる。しかし， これは仮説であり，追加の実験が必要である. 正解書き下し文は非常に高いスコアを獲得し，本データ セットの書き下し文データが高品質であることが証明された。

表 5 に自動評価指標と人手評価指標間の相関係数を示す. BERTScore は三つの人手評価指標全てと 最も高い相関を示した. ランクに基づくRIBES は 最も低い相関を示した. BLEU と ROUGE-L に比べ， BERTScore は Relevance でわずかにリードしている が，Accuracy と Fluenceでは大幅に優れていた.こ れは，BERTScore が潜在的な文単位の意味を捉える ことができる [25] ため, 文の正しさと流暢さを判断 することができたと推測する.

人手評価指標間の相関も表 5 に示している. Accuracy と Fluency の相関が最も大きく, 語彙的,文法的に正しい日本語は流暢であることがわかる。表 6 パイプラインの評価結果. 一行目は素の生成結果,二行目は RoBERTa で事前ソートしてから生成させたも の, 三行目は正解でソートしてから生成させたもの.

## 5.3 パイプライン

パイプラインの評価結果を表 6 に示す.

返り点付与モデル (RoBERTa) で事前ソートした結果, mT5-small のスコアが改善されたが, mT5-base と mT5-large はほとんどの評価指標で性能の低下を 示した. 生成モデルの性能が上がれば，徐々に語順 を考慮しながら書き下し文を生成できるようにな ると推測する. 返り点付与モデルの誤った予測によ り生成モデルが混乱し, 正しい語順を予測できなく なったと考えられる。

一方，正解を用いた事前ソートは，ほぼ全てのモ デルにおいて一定の性能向上を示した. これは，正 しい返り点付与は書き下し文の生成に貢献すること を示している。

## 6 まとめと今後の展望

本研究は，書き下し文資源の不足を解消するため に，漢文訓読データセットを構築し，言語モデルを 用いた返り点付与と書き下し文生成を試みた. 今後 は，データセットを継続的に更新し，より包括的な 漢文テキストを含むよう改良したいと考える。ま た，漢文の専門家と協力し，書き下し文生成結果の 評価についてより適切な指標を探求していきたい。

## 謝辞

本研究は JSPS 科研費 JP21H04901 の助成を受けて 実施した.

## 参考文献

[1] 沖森卓也. 日本語全史. 筑摩書房, 2017.

[2] 金文京. 漢文と東アジア一訓読の文化圏. 岩波書店, 2010.

[3] 小林芳規. 万葉集における漢文訓読語の影響. 国語学, No. 58, pp. 23-47, 1964.

[4] 段笑曄. 『源氏物語』における『白氏文集』引用の 特色-登場人物の口ずさんだ詩句をめぐって. 北陸大学紀要 $=$ Bulletin of Hokuriku University, No. 32, pp. 181-192, 2008.

[5] 長瀬由美. 源氏物語と平安朝漢文学. 勉誠出版, 2019.

[6] Sydney Crawcour. An introduction to Kambun. University of Michigan, 1965.

[7] 安岡孝一. 漢文の依存文法解析と返り点の関係に ついて. 日本漢字学会第 1 回研究大会予稿集, pp. 33-48, 2018.

[8] 安岡孝一. Universal dependencies treebank of the four books in classical chinese. DADH2019: 10th International Conference of Digital Archives and Digital Humanities, pp. 20-28, 2019.

[9] 安岡孝一. 漢文の依存文法解析にもとづく自動訓読 システム. 日本漢字学会第 3 回研究大会予稿集, pp. 60-73, 2020.

[10] 安岡孝一. 漢文自動訓読ツール ud-kundoku の開発.東洋学へのコンピュータ利用第 32 回研究セミナー, pp. 3-25, 032020.

[11] 安岡孝一, ウィッテルンクリスティアン, 守岡知彦,池田巧, 山崎直樹, 二階堂善弘, 鈴木慎吾, 師茂樹, 藤田一乘. 古典中国語（漢文） universal dependencies と その応用. 情報処理学会論文誌, Vol. 63, No. 2, pp. 355-363, 2022.

[12] Marie-Catherine de Marneffe, Christopher D. Manning, Joakim Nivre, and Daniel Zeman. Universal Dependencies. Computational Linguistics, Vol. 47, No. 2, pp. 255-308, June 2021.

[13] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[14] 平尾努, 磯崎秀樹, Kevin Duh, 須藤克仁, 塚田元, 永田昌明. Ribes: 順位相関に基づく翻訳の自動評価法て.言語処理学会年次大会発表論文集, Vol. 17, pp. D5-2, 2011.

[15] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapo- lis, Minnesota, June 2019. Association for Computational Linguistics.

[16] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach. arXiv, 2019. abs/1907.11692.

[17] Zhenzhong Lan, Mingda Chen, Sebastian Goodman, Kevin Gimpel, Piyush Sharma, and Radu Soricut. Albert: A lite bert for self-supervised learning of language representations. arXiv, 2019. abs/1909.11942.

[18] Pengcheng He, Xiaodong Liu, Jianfeng Gao, and Weizhu Chen. Deberta: Decoding-enhanced bert with disentangled attention. arXiv, 2020. abs/2006.03654.

[19] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei $\mathrm{Li}$, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. Journal of Machine Learning Research, Vol. 21, No. 140, pp. 1-67, 2020.

[20] Alec Radford, Jeff Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. Language models are unsupervised multitask learners. 2019.

[21] Baiyun Cui, Yingming Li, and Zhongfei Zhang. BERTenhanced relational sentence ordering network. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 6310-6320, Online, November 2020. Association for Computational Linguistics.

[22] Pawan Kumar, Dhanajit Brahma, Harish Karnick, and Piyush Rai. Deep attentive ranking networks for learning to order sentences. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 34, No. 05, pp. 8115-8122, Apr. 2020.

[23] Yutao Zhu, Jian-Yun Nie, Kun Zhou, Shengchao Liu, Yabo Ling, and Pan Du. Bert4so: Neural sentence ordering by fine-tuning bert. arXiv, 2021. abs/2103.13584.

[24] Chin-Yew Lin. ROUGE: A package for automatic evaluation of summaries. In Text Summarization Branches Out, pp. 74-81, Barcelona, Spain, July 2004. Association for Computational Linguistics.

[25] Tianyi Zhang*, Varsha Kishore*, Felix Wu*, Kilian Q. Weinberger, and Yoav Artzi. Bertscore: Evaluating text generation with bert. In International Conference on Learning Representations, 2020.

## A 事前学習モデル

以下に実験に用いた事前学習モデルの詳細を示す. BERT-like モデルは表 7，生成モデルは表 8 に示す.

表 7 事前学習モデルの詳細(返り点付与).

 & Wikipedia(ja) & 768 & 12 & 12 & 6,144 \\
 & Wikipedia(ja) + CC-100(ja) & 768 & 12 & 12 & 18,377 \\
 & Wikipedia(zh) & 768 & 12 & 12 & 21,128 \\
 & Wikipedia(zh) + ext & 768 & 12 & 12 & 21,128 \\
 & Wikipedia(zh) + Daizhige + ext & 768 & 12 & 12 & 26,318 \\

表 8 事前学習モデルの詳細 (書き下し文生成).

 & mC4 (101 languages) & $172 \mathrm{M}$ & 512 & 8 & 6 & 250,112 \\
 & mC4 (101 languages) & $390 \mathrm{M}$ & 768 & 12 & 12 & 250,112 \\
 & mC4 (101 languages) & $973 \mathrm{M}$ & 1024 & 24 & 16 & 250,112 \\
 & Wikipedia + mC4 & $1,417 \mathrm{M}$ & 2048 & 24 & 16 & 100,000 \\

## B ハイパーパラメータ

表 9 亿実験に用いたハイパーパラメータを示す. 中括弧内の数字でグリッドサーチをして最適なものを選んでいる.

表 9 実験に用いたハイパーパラメータ.

## C 書き下し文の生成例

表 10 亿書き下し文の生成例を示す. mT5-large は最も性能がよく, 正解と同じ生成結果を得ている. mT5-base と mT5-small も正解に近い結果を生成しているが，若干の誤りがある。mGPT は白文にある文字を繰り返すことがあり，人手評価のスコアが低い原因となっている. 三列目の “未” は再読文字であり，“未だ... ず” と二回読む必要がある. これに 対し， mT5-base と mT5-large は正しく書き下し文を生成しているが， mT5-small と mGPT は失敗している.

表 10 書き下し文の生成例.


# 球体表面を利用した位置符号化

岡佑依 田中貴秋 平尾努 永田昌明
NTTコミュニケーション科学基礎研究所
yui.oka.vf@hco.ntt.co.jp

## 概要

系列変換モデルを使った文生成では，原文の構文構造を活用することで性能が向上することが報告さ れている. Transformer 内部で各単語の位置を表現す る位置符号化において, 単語の絶対位置と構造位置 (単語の依存構造木での深さ)を同時に符号化するこ との有効性が示されている。一方, 既存法では, 符号化された値の衝突が起きたり, 単語の順序が保存 されなくなるという問題がある. 本研究では，この 問題を解決するため, 単語の絶対位置と構造位置を 球体表面で表現する位置符号化を提案する。翻訳夕 スクでの実験を行った結果, 既存手法と比べ提案手法は BLEU 值の改善傾向が見られた. また, 文の長 さ, 依存構造木の深さ別での評価を行った結果, 構造位置が長文において有効であることがわかった.

## 1 はじめに

系列変換モデル Transformer [1] の登場によって文生成の性能は大きく向上した. しかし, 非常に流暢 な文を生成できるものの，原文にはない情報や原文 とは異なる内容の文をしばしば生成することがあ る. 固有表現のような簡単な語の誤りに関しては大規模な事前学習済み言語モデルを導入することで改善が期待できるが，原文と同じ単語を使いながら違 う意味を生成する場合には不十分である. こうした 問題を解決するため，原文の構文構造を活用する手法が提案されている $[2,3,4]$. その中でも, Wang ら [2] は Transformer 内部で単語の位置情報を取り扱う 位置符号化において，各単語の依存構造木中におけ る深さと文中の絶対位置 (文の先頭から何単語目か) とを加算する構造化位置符号化を提案した。このよ うに位置情報を扱う埋め込みで系列文以外の情報 を表現し単語分散表現に足し合わせる手法は,さま ざまなタスクで使われており $[5,6]$ ，効果的である。一方で，この符号化を用いると同じ値をとる単語が 複数でてきてしまう, または. 通常の絶対位置の順

図 1 提案手法の概要図

序が変わる可能性がある，絶対位置は生成性能に大 きく影響を与える [2]ことから，言語生成タスクに とって重要な性質であり，保持すべき情報である。

本稿では，Wang らの方法 [2] の問題を解決する ため，単語の絶対位置と依存構造上での深さを球体表面で表現する位置符号化を提案する. 図 1 に提案手法の直感的な例を示す. Transformer の位置符号化 は，単語の位置を円周上の赤い点として表現する. つまり，角 $\theta$ を用いて単語の位置を表す。一方，提案法では，単語を球体表面上の青い点として表現す る.つまり，単語の絶対位置は Tranformer の位置符号化と同様, 円周上の点として角 $\theta$ を用いて表し,依存構造木における深さを仰角 $\phi$ を用いて表す。こ のように $\theta$ と $\phi$ を用いて単語の位置を符号化する ことで值が重複することを回避する. 文生成タスク として機械翻訳を採用し，中英，英日，英独翻訳に おける評価実験を行った結果，通常の Transformer, Wang らの手法と比較して提案法は BLEU 值の改善傾向がみられた. また, 原文の構文の複雑さを文の 長さと構文木の深さで分類し, 評価した結果から， より複雑な文において提案法が有効であることが明 らかとなった.

## 2 関連研究

## 2.1 正弦波位置符号化

Transformer では，正弦波位置符号化 (Sinusoidal Positional Encoding, SPE) を用いて文中の単語の絶対位置を符号化し，その値を単語の分散表現に足し 合わせる. SPEでは，単語の先頭からの絶対位置を $p o s$, 埋め込み表現の次元数を $d$ としたとき, 単語分散表現の $i$ 番目の要素に足し合わせる値 $E_{\mathrm{SPE}}(p o s, i)$ は以下の式で定義される。

$
\begin{gathered}
E_{\mathrm{SPE}}(p o s, 2 i)=\sin \left(\frac{p o s}{\theta}\right) \\
E_{\mathrm{SPE}}(p o s, 2 i+1)=\cos \left(\frac{p o s}{\theta}\right)
\end{gathered}
$

このとき, $\theta=10000^{2 i / d}$ であり，偶数次元は正弦関数，奇数次元は余弦関数で定義される.

さらに，SPE 絶対位置のみだけでなく，文中の 単語間の相対的位置も表現している. 文中の位置 pos から任意の距離 $k$ 離れた位置 $p o s+k$ における $\mathrm{SPE}$ の値 $E_{\mathrm{SPE}}(p o s+k, 2 i)$ は $E_{\mathrm{SPE}}($ pos, $2 i)$ と回転角 が $-k / \theta$ の回転行列の線形関数として以下の式で表現できる.

$
\left[\begin{array}{cc}
\cos \left(\frac{k}{\theta}\right) & \sin \left(\frac{k}{\theta}\right) \\
-\sin \left(\frac{k}{\theta}\right) & \cos \left(\frac{k}{\theta}\right)
\end{array}\right]\left[\begin{array}{c}
\sin \left(\frac{p o s}{\theta}\right) \\
\cos \left(\frac{p o s}{\theta}\right)
\end{array}\right]=\left[\begin{array}{c}
\sin \left(\frac{p o s+k}{\theta}\right) \\
\cos \left(\frac{p o s+k}{\theta}\right)
\end{array}\right]
$

よって, SPE は $k$ と pos の位置関係を, 回転角が $-k / \theta$ の回転行列を使ってアフィン変換によって表現していると捉えることができる [6]. このように 単語間の相対位置を符号化することは機械翻訳の 性能向上に寄与することが報告されており [7], 言語生成タスクにとって重要な性質の一つと考えら れる。

## 2.2 構造的位置符号化

前節で説明した Transformer の位置符号化 SPE は 文を単語列として扱うための機構であり，そのまま では構文木から得られる情報を符号化することが できない。そこで，Wang ら [2] は，位置符号化内部 で依存構造木における単語の深さを符号化するた めの構造的位置符号化 (Structural Positional Encoding, StrcPE) を提案した. depを依存構造木の根となる単語の深さを 0 とした場合の各単語の依存木におけ る深さとして，通常の絶対位置を符号化したものと $d e p$ を符号化したものを加算することで構文を考慮 した符号化を行う (式 (4)).
The boy wants for the girl to believe him.

図 2 通常の絶対位置表現 pos と構造的位置表現 depthに よる表現例

$
E_{\mathrm{StrcPE}}(p o s, d e p, i)=E_{\mathrm{SPE}}(p o s, i)+E_{\mathrm{SPE}}(d e p, i)
$

しかし、単語の絶対位置の符号化した值と依存木に おける深さを符号化した値を加算するだけでは, 図 2 にあるように The と boy の値が同一になる，つま り異なる位置に存在する単語の StrcPE 値が重複す る. さらにこの符号化は, 全次元で絶対位置と構造的位置を足し合わせているため, 本来の SPE が持 つ絶対位置表現や相対性 (式 (3)) が保存されないと いう問題点もある.

## 3 提案手法

単語の符号化された値が重複しない，かつ SPE の 持つ相対性を限定的に保持したまま Transformer 内 で原文の構文構造を考慮した符号化を実現するた め，球体表面を利用した位置符号化 (Hyperspherical Positional Encoding, HPE) を提案する. 正弦波位置符号化では単語を $2 \pi / 10000^{2 i / d}$ の等間隔で円周上に配置していると捉えることができる。構造的位置符号化も同様，同じ円周上で絶対位置と依存構造木にお ける深さという 2 つの情報をあわせて表現するが，前節で説明したとおり，符号化された值が重複する ことがあり得る。提案手法は，これの重複を防ぐた め球体表面で依存構造木に位置を表現する。つま り，単語の絶対位置を円周上の点として表すための パラメタ $\theta$ に対して単語の依存構造木中での深さ を球面上の点として表すためのパラメタ $\phi$ を導入 する。

球体表面を用いて単語の絶対位置と依存構造木に おける深さを表現するため，三次元極座標を元に式

(1)

$
\begin{gathered}
E_{\mathrm{HPE}}(p o s, d e p, 2 i, 2 j)=\sin \left(\frac{p o s}{\theta}\right) \cos \left(\frac{d e p}{\varphi}\right) \\
E_{\mathrm{HPE}}(p o s, d e p, 2 i, 2 j+1)=\sin \left(\frac{p o s}{\theta}\right) \sin \left(\frac{d e p}{\varphi}\right) \\
E_{\mathrm{HPE}}(p o s, d e p, 2 i+1)=\cos \left(\frac{p o s}{\theta}\right) \\
\theta=256^{2 i / d}, \varphi=64^{2 j / 2 d}, j=2 i
\end{gathered}
$

$\phi$ を導入するため，SPE の偶数次元 (式 (1)) を式 (5) と式 (6) へと分割し, 奇数次元 (式 (7)) は式 (2) と同様とした. この時，通常の絶対位置が生成性能に大 きな影響を与える [2]ことから，半分の次元で絶対位置のみを保持し, 残り半分の次元で絶対位置と 依存構造木中での深さを表現するようにした. さ らに，值の増減が極端に小さくなるのを避けるた め，パラメータ $\theta$ とパラメータ $\phi$ の分母をそれぞれ $256^{2 i / d}$ と $64^{2 j / d}$ とする. pos または dep を固定した 時，SPE が持つような相対性 (式 (3)) を HPE が持つ ことは自明である.

## 4 実験

設定 英独，中英，英日の翻訳タスクにおいて， SPE,StrcPE,HPE を採用した Transformer の比較評価 を行なった. 英独は, WMT14 データセットを用 いた. 440 万文対の学習データ，3,000 文対の開発 データ，2,737 文対のテストデータからなる. 実際 のデータは Stanford NLP group ${ }^{1)}$ が公開しているも のを利用した. 中英は, NIST データセットを用い た. 125 万文対の学習データ, 878 文対の開発デー タ，5,262 文対のテストデータからなる. ${ }^{2)}$ 英日は ASPEC [9] データセットを用いた. 178 万文対の学習データ， 1,790 文対の開発データ， 1,812 文対のテ ストデータからなる。学習には [10]に倣って 100 万文対の学習データである train-1.txt のみを使用した.入出力はサブワードとし, Sentencepiece [11]を使い トークナイズを行った. このとき，語彙サイズは英独，中英で 32,000 ，英日で 16,000 とし，言語間で共有した．実装には fairseq [12]を用い，ハイパーパラ メータは全てにおいて文献 [1] と同じに設定した.原文の依存構造の解析には $\mathrm{spaCy}^{3}$ )を用いた. 英語

1) https://nlp.stanford.edu/projects/nmt/

2） $[2,8]$ によい，学習には LDC2002E18, LDC2003E07, LDC2003E14, そ し て, LDC2004T07, LDC2004T08, LDC2005T06 の Hansards 箇所を用いた. 開発には NIST2002 テストセット，テストには NIST2003,2004,2005,2006 のテス トセットを用いた.

3) https://spacy.io/

表 1

英独，中英，英日翻訳実験における BLEU

表 2 HPE と, 全次元で depthを考慮するよう pos/ $/$ と $\operatorname{depth} / \varphi$ を入れ替えた場合の英日，中英翻訳実験における BLEU

の解析には, en_core_web_sm-3.2.0 モデル, 中国語の 解析には zh_core_web_sm-3.2.0 モデルを用いた. 評価指標には BLEU[13] を用いた. 実験は異なるシー ドを用いて各 3 回行い，その平均を報告する.

結果 表 1 に実験結果を示す. 全てのデータセッ トに対し, 改善幅は小さいものの HPE の BLEU 值 は SPE に対して勝っている。一方，StrcPE は HPE よりもさらに BLEU 值の改善幅が小さく，英独では SPE よりも低下した.これらの結果より，HPE は StrcPE よりも依存構造における単語の深さを効果的 に符号化できたと考える。

## 5 分析

## 5.1 構造的位置の影響

絶対位置 $p o s$ を利用しない場合，翻訳性能が大き く低下することが Wang らによって報告されている [2], HPE では, 絶対位置 pos はべクトルの全ての次元で，構造的位置 $d e p$ はべクトルの半分の次元での みで表現される. そこで，構造的位置 $\operatorname{dep}$ が符号化 にどの程度影響を与えるかを調べた。

HPE において， ベクトルの全ての次元で dep を表現するように式 (5)-(7) の pos $/ \theta$ と depth $/ \varphi$ を入れ替 え，英日，英中のデータセットを用いて実験を行っ た. ${ }^{4)}$ なお， $\theta$ と $\varphi$ の分母は式 (8) と同様である. こ の入れ替えにより, pos はべクトルの半分の次元で のみ表現されることに注意されたい，表 2 に実験結果を示す. どちらの実験でも，ベクトルの全次元で dep を考慮すると，BLEU 值は大きく低下した. こ のことから，位置符号化において絶対位置が深さよ りも明らかに支配的な役割を持つことがわかる.

表 3 中英翻訳実験におけるサブワード長別の BLEU

表 4 中英翻訳実験における構文木の最大の深さ別の BLEU

## 5.2 構文の複雑さにおける評価

深さを符号化する有効性を詳細に調べるため，文 のサブワード数と依存構造木の最大の深さごとに BLEU 值を計算した。

表 3,4 に中英データセットにおける結果を示す.表 3 から，11 サブワード以上の場合，HPE の BLEU が全体的にやや高いことから，短い文以外には若干 の効果があると考えられる．SPEと HPE を比較す ると， 61 サブワード以上の場合には BLEU 改善幅が 顕著である。このことから，構造位置は短い文では あまり影響を与えることはないが，長文だと効果が あることがわかる. 一方，10サブワード以下の非常 に短い文の場合ではSPEが最も良いことから，単純 な絶対位置のみで十分であることがわかる.

表 4 より, 表 3 と同じく, ほとんど場合で HPE は SPE，StrcPE よりも BLEU 値が良い，1文あたり の依存構造木の最大の深さごとにみると, 木の最大の染さが 1 といった単純な構造木の時, HPE は SPE よりも悪い. 一方, 最大の深さが 6 までのと き，StrcPE や HPE の BLEU 值はやや向上している.最大の深さが 7 以上といった複雑な構造を持つ文の 場合, BLEU は 0.6 ポイントほど向上した. これら より, 単純な構造を持つ文では, 構造位置の効果が 小さく，長い文または複雑な文の時にそれが有効で あることがわかった。

## 6 まとめ

本稿では Transformer において，単語の絶対位置 と構造位置 (依存構造を用いた深さ)を球体表面で 表現し符号化する，球体表面を利用した位置符号化
(Hyperspherical Positional Encoding, HPE) を提案した.英日，中英，英独の機械翻訳データセットを用いて 提案法を従来からの位置符号化法と比較評価した結果，顕著ではないものの BLEU 值の改善傾向がみら れた. 文長，依存構造木の深さごと評価結果から，長い文，依存構造が深い文においては依存構造を用 いた深さは有効であることがわかった. さらに，同 じ深さを表現する既存研究と比較した場合，提案手法は BLEU 值の改善傾向が見られた.

## 参考文献

[1] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. CoRR, Vol. abs/1706.03762, , 2017.

[2] Xing Wang, Zhaopeng Tu, Longyue Wang, and Shuming Shi. Self-attention with structural position representations. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 14031409, Hong Kong, China, November 2019. Association for Computational Linguistics.

[3] Chuan Wang, Nianwen Xue, and Sameer Pradhan. A transition-based algorithm for AMR parsing. In Proceedings of the 2015 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 366375, Denver, Colorado, May-June 2015. Association for Computational Linguistics.

[4] Yudai Kishimoto, Yugo Murawaki, and Sadao Kurohashi. Adapting BERT to implicit discourse relation classification with a focus on discourse connectives. In Proceedings of the Twelfth Language Resources and Evaluation Conference, pp. 1152-1158, Marseille, France, May 2020. European Language Resources Association.

[5] Angela Fan, Claire Gardent, Chloé Braud, and Antoine

Bordes. Using local knowledge graph construction to scale Seq2Seq models to multi-document inputs. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 4186-4196, Hong Kong, China, November 2019. Association for Computational Linguistics.

[6] Vighnesh Leonardo Shiv and Chris Quirk. Novel positional encodings to enable tree-structured transformers, 2019.

[7] Peter Shaw, Jakob Uszkoreit, and Ashish Vaswani. Selfattention with relative position representations. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers), pp. 464-468, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[8] Xing Wang, Zhaopeng Tu, Deyi Xiong, and Min Zhang. Translating phrases in neural machine translation. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 1421-1431, Copenhagen, Denmark, September 2017. Association for Computational Linguistics.

[9] Toshiaki Nakazawa, Manabu Yaguchi, Kiyotaka Uchimoto, Masao Utiyama, Eiichiro Sumita, Sadao Kurohashi, and Hitoshi Isahara. Aspec: Asian scientific paper excerpt corpus. In Nicoletta Calzolari (Conference Chair), Khalid Choukri, Thierry Declerck, Marko Grobelnik, Bente Maegaard, Joseph Mariani, Asuncion Moreno, Jan Odijk, and Stelios Piperidis, editors, Proceedings of the Ninth International Conference on Language Resources and Evaluation (LREC 2016), pp. 2204-2208, Portorož, Slovenia, may 2016. European Language Resources Association (ELRA).

[10] Yui Oka, Katsuhito Sudoh, and Satoshi Nakamura. Length-constrained neural machine translation using length prediction and perturbation into length-aware positional encoding. 自然言語処理, Vol. 28, No. 3, pp. 778-801, 2021.

[11] Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for Neural Text Processing. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[12] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A fast, extensible toolkit for sequence modeling. In Proceedings of NAACL-HLT 2019: Demonstrations, 2019.

[13] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

SPE

StrcPE, depth $=0$

HPE, depth $=0$

StrcPE, depth $=4$

HPE, depth $=4$

図 $3 \mathrm{SPE}$ (上段), Wang らの $\operatorname{StrcPE}$ (中段), 提案手法の $\mathrm{HPE}$ (上段)をそれぞれ視覚化したもの. 縦軸が単語の絶対位置 $p o s$ を表す. 横軸は次元数 $d$ であり，式 (8)，式 (6)，式 (7) の次元別に合わせて表している.

## A 視覚化

先行研究との比較のため, 図 3 に各位置符号化の ヒートマップを示す。明晰化のため，横軸を式 (8),式 (6), 式 (7) のベクトルの次元別に対応して表して いる. StrcPE ではべクトルの全次元において絶対位置 $p o s$ と構造的位置 $d e p$ を考慮しているため, $d e p$ の值に関わらず全次元でヒートマップの変域が SPE と比べ小さくなっており，位置符号化の表現の幅を 狭める可能性がある。一方で，HPE ではベクトルの 偶数次元でのみ, 絶対位置 $p o s$ と構造的位置 $d e p$ を考慮し, 奇数次元では絶対位置 $p o s$ のみ考慮す る. そのため, 奇数次元は SPE と全く同じであり, depth $=0$ の時, $3 / 4$ の次元で SPE と同じ值を取る. さらに, $\operatorname{dep}=0$ 以外の時でも，変域は SPE と似た ような分布になっており，位置符号化の表現の幅を 最大限使っていると考えられる。

## B パラメータ

HPE では，同じような式変形を式 (6) に施すこと で，さらにパラメータ tmp,גを追加していくことも 可能である.

$E_{\mathrm{HPE}}(p o s, \operatorname{dep}, t m p, 2 i, 2 j+1,2 k)=\sin \left(\frac{p o s}{\theta}\right) \sin \left(\frac{d e p}{\varphi}\right) \cos \left(\frac{t m p}{\lambda}\right)$

$E_{\mathrm{HPE}}(p o s, d e p, t m p, 2 i, 2 j+1,2 k+1)=\sin \left(\frac{p o s}{\theta}\right) \sin \left(\frac{d e p}{\varphi}\right) \sin \left(\frac{t m p}{\lambda}\right)$


# 語彙制約を間接的に用いた平易な要約の生成

森田 - $^{1}$ 飯塚 洸二郎 ${ }^{1}$ 久保光証 ${ }^{1}$
1 株式会社 Gunosy
\{hajime.morita, kojiro.iizuka, mitsumasa.kubo\}@gunosy.com

## 概要

ニュース配信はより多くの人に必要とする情報を 届けることを目的としているが，必要な情報が過不足なく行き渡るまでには多くの課題が残されてい る. 例えば，読解力や語彙力には個人により開きが あり，必要な情報であったとしても記事の難しさが 読者に合っていなければ読むことが難しくなってし まう. 必要な情報が届かない要因の一つが記事の文章が難しすぎることであるとすれば，記事の平易な 要約を提供することがより多くの人へニュースを届 けるために重要となる。

ここでは，ニュース記事を対象に平易な要約の生成を目的として，大規模言語モデルを利用した文章 の平易化と要約生成の複合タスクを学習する方法を 提案する。本稿では，要約に用いる語彙を制限する ことが，平易な言葉への言い換えを言語モデルから 引き出せる一方で，幻覚とよばれる原文と異なる内容の要約生成が生成されやすくなることを示し, 語彙を制限した要約候補をランキング学習に用いるこ とで平易な要約生成を学習する方法を提案する.

## 1 はじめに

ニュース配信は最新の出来事や情報をすばやく, より多くのニュースを必要とする人々へ届けるこ とを使命としており, 推薦・パーソナライズに代表 される多くの研究が行われている $[1,2]$. しかし, ニュースが必要とする人すべてに行き渡る理想的な 状態までには大きな隔たりが残っている。例えば，年金のような社会制度の変更はすべての人に関わる ニュースであるが，令和 4 年の年金制度変更につい て知っていると回答した割合は $33 \%$ とどまるとさ れている [3].

ニュースが必要な人に届かない要因は，大きく分 けて記事自体，配信プラットフォーム，ユーザのそ れぞれに存在していると考えられる。ニュース記事自体が要因となるケースとしては長過ぎる記事や難解な記事などユーザの求める形とは記事が異なる場合，配信プラットフォームが要因となるケースとし ては興味のあるユーザへ記事を届けられていない場合，ユーザが要因となるケースとしては可処分時間 の減少など，様々な要因がありうる．本稿では記事自体が要因となるケースの中でも特に, 必要として いるにも関わらず読解の困難さからニュースを読む ことができない，またはニュースを読むこと自体を 避けてしまう場合について注目する。

ニュース記事の難しさがニュースを敬遠する要因となる場合，もちろん難解な語彙や複雑な文法は ニュースの理解を妨げる要因となるが，記事の長さ も同様にニュースを読解を妨げる要因となりうる. この両方の要因を取り除くためには，難解な語彙や 文法で書かれた文を分かりやすいものに変えるだけ でなく，要点を絞り記事の長さ自体を短くする必要 がある.つまり，記事に対して難しい語彙や文法を 一定の意味を保ちつつ平易な文章に置き換える平易化と，文章の重要な情報を残したまま文章を短く書 き換える要約の両方を行う必要がある.

本稿では，平易な要約の生成を目的として，大規模言語モデルを利用した文章の平易化と要約生成の 複合タスクを学習する方法を提案する. 生成型のモ デルを用いて平易な要約生成を行う単純な方法とし ては，難しい語彙を生成しないように要約生成時に 利用可能な語彙を制限し，平易な語彙のみで要約を 生成することが考えられる. しかし語彙の制限は,言語モデルが言い換え表現として適切なものを知ら なかったとしても原文通りに出力することができな くなるため，幻覚 [4] とよばれる，原文とは内容の 異なる誤った要約文の生成を増加させる懸念があ る. 提案手法では，語彙の制限による幻覚の増加を 回避するため, 通常の要約候補に加えて語彙を制限 して生成した要約候補を候補のランキング学習 [5] に用いる。

## 2 関連研究

## 2.1 平易な要約生成

これまでにも平易な要約を生成するいくつかの 取り組みが行われている. 菅井ら [6] は平易化と 要約の処理をそれぞれ適用し，短く平易なテキス トの生成を行っている. 平易化には統計的機械翻訳の手法を用いて，要約に用いる学習データとは 別に「やさしい日本語コーパス」[7],「やさしい日本語拡張コーパス」[8], NNWE (NHK NEWS WEB EASY) [9] の一部を用いて学習している. 本稿も同 じくNNWE のデータで評価を行っているが，平易化の学習のための外部リソースは利用していない。

Zaman らは Pointer-generator network の損失関数を 拡張し, 平易な要約の生成を行っている [10]. この 手法では平易な文生成を学習するため, 平易な語か 否かをアノテーションした辞書を持っており, 生成 した文の難しさを損失関数として表現している. 本稿の提案手法では辞書のような外部リソースは用い ておらず，事前学習済み言語モデルを用いることに より少量の学習データで平易化を学習している点が 異なる.

## 2.2 BRIO

BRIO (Bringing order to Abstractive Summarization) はLiu らによって提案された生成型自動要約の学習手法である [5]. BRIO では訓練時の目的関数を拡張乙, 通常のクロスエントロピー損失関数に加えて複数候補のリランキングによるコントラスティブ損失関数を用いる。ここで，リランキングに用いる候補 は事前学習済みの要約モデルによって予め生成され たものを利用する. コントラスティブ損失関数 $\mathscr{L}$ は $S_{i}$ と $S_{j}$ をそれぞれ $i, j$ 番目の候補， $S^{*}$ を参照要約として, $\operatorname{ROUGE}\left(S_{i}, S^{*}\right)>\operatorname{ROUGE}\left(S_{j}, S^{*}\right)$ とする とき，次の式で表される.

$
\mathscr{L}_{c t r}=\sum_{i} \sum_{j>i} \max \left(0, f\left(S_{j}\right)-f\left(S_{i}\right)+\lambda_{i j}\right)
$

ここで, $f\left(S_{i}\right), f\left(S_{j}\right)$ は長さについて正規化された 要約文の生成確率， $\lambda_{i j}$ は候補間の順位差に基づい て計算されたマージンを表す。

本稿では BRIO の枠組みを平易な要約文のランキ ング学習のために利用するが，候補を並び替えるス コアとして ROUGE [11] の代わりに文の平易化を考慮した指標を用いるほか，平易化の学習をより効率的にするために候補生成時に語彙制約を利用する.

## 3 コーパス

## 3.1 NHK NEWS WEB EASY

NNWE (NHK NEWS WEB EASY) [9] は小中学生 や日本語を母語としない人に向けて, NNW (NHK NEWS WEB)[12] の記事をやさしい日本語に書き 直したニュースサイトである. 各記事は元となっ た NNW の記事に対応付けられており，本稿では NNW-NNWE の記事対を原文と参照要約のペアとし て利用する. 平日ごとに 4-5 記事が配信されてお り，過去 1 年分の記事を参照することができる.

## 3.2 Livedoor 3 行要約データセット

livedoor ニュース [13] は Webニュースサイトであ り，一部の記事には編集者によって人手で作成され た 3 行要約が追加されている. 小平ら [14] はここか ら，2014 年から 2016 年までの 3 年分を収集し，記事 ID のリストを訓練，開発，テストに分けたデー タセットとして公開している。本稿ではべースとな る日本語要約モデルを学習するため, このデータ セットをもとにクロールしなおしたものを訓練デー タとして利用する.

## 4 提案手法

語彙の制限による幻覚の増加を回避するため, 利用可能な語彙を制限した候補を通常の候補と合わせ て候補のランキング学習 [5] に用いる。まず，候補生成に用いる事前学習モデルについて説明し, その 後そのモデルを元にランキング学習を行う提案手法 について説明する。

## 4.1 平易な要約生成のベースモデル

本稿で用いる手法は，ランキング学習に用い る候補を生成するために平易な要約を生成する ベースモデルが必要となる. このベースモデルを 構築するため, Livedoor 3 行要約のデータセット で学習した後, さらに平易な要約のデータセッ トで追加の学習を行った. 以降，このモデルを ベースモデルと呼ぶ. 本稿では, 要約のモデルと して T5 [15] を用いている. 本稿で扱うデータに 合わせ，日本語の事前学習済み言語モデルとし $\tau$, megagonlabs/t5-base-japanese-web[16] を利用 した.

## 4.2 語彙制約モデル

平易な要約を生成しょうとした時に，単純かつ外部データの必要のない方法として，言語モデルが生成する語彙を制限し，要約の生成時に難解な語彙の 利用を禁止する方法がある. 文生成時に語彙を制限 する手法は，Hu ら [17] により提案された手法を元 にしたものが Transformers ライブラリ [18] に実装さ れている。この実装を用い，難解な語彙を制限した 要約生成モデルを候補生成に用いる.

この語彙制約モデルでは，語彙の難易度は語彙に 含まれる漢字の難易度で近似することができると 仮定する。これは荒い近似ではあるものの，Sato ら [19] によりテキスト中に用いられている文字 1-gram によりテキストの難易度を判定するモデルが提案さ れているなど，近い仮定はテキスト難易度の判定で も利用されている. この仮定を元に，常用漢字のう ち，より難しいと考えられる中学校で習う 1,110 字 を含んでいる語彙を言語モデルが出力する語彙から 制限する。

常用漢字に含まれない，より難しい漢字は語彙制約として用いない.これは，ニューステキストで使 われる漢字は基本的には常用漢字, 小中学校義務教育で習う 2,136 字からなっており, ニュース記事で は常用漢字外の漢字は固有名詞など特別な場合に 限られ，人名や地名など要約上重要かつ平易に言い 換える意義の薄い場合が多いと考えられるためで ある。

## 4.3BRIO を用いた平易な要約の生成

語彙制約モデルでは，言語モデルが難解な語彙を 平易な語彙で置き換えて表現することを期待してい るが，これには 2 つ問題がある．1つ目は，置き 換えた表現が元の表現より平易な表現になってい る保証はないことである．例えば，「蛍」を「光る ことで有名な $15 \mathrm{~mm}$ ぐらいの虫」と言い換えても，読者が蛍を知らなければ理解することは難しく, か えって理解を困難にしてしまう. 語彙としては平易 になっていたとしても，表現としては難しくなる可能性を語彙を制限するだけでは取り除くことができ ない. 2 つ目の問題は，誤った表現への言い換えに より，幻覚と呼ばれるような原文に書かれていない 内容の要約 [4] を生成してしまうことである. 語彙制約モデルでは，言語モデルが言い換え表現として 適切なものを知らなかったとしても原文通りに出力
することができなくなるため，モデルには不可能な 言い換えを強制してしまう可能性がある。

提案手法では，このような弊害を避けつつ平易な 表現への言い換えを学習するため，ランキングの学習に利用する要約候補に語彙制約モデルの生成した 要約を含めることにより，語彙を制限した要約を間接的に学習に利用する. 具体的には, 語彙制約モデ ルの生成した要約と, ベースモデルの生成した要約 を同じ件数ずつ要約候補として利用し，BRIO の枠組みを用いて学習を行う。

Liu らは式 1 で要約候補の並び順を決めるスコア として ROUGE を用いているが，提案手法ではスコ アとして SARI [20]を組み合わせて用いる. SARI と は文章平易化の自動評価指標であり，原文と参照文，生成文の 3 つを入力として受け取り，原文から 参照文に残された語，原文から削除された語，原文 から追加された語のそれぞれを 1-4 gram で評価し たスコアを $\mathrm{SARI}_{\text {keep }}, \mathrm{SARI}_{\mathrm{del}}, \mathrm{SARI}_{\mathrm{add}}$ とし, 最終的 なスコアはこの 3 つを平均したものとなる. 原文と の差分を積極的にスコアへ反映することにより，平易な表現への言い換えをより鋭敏に捉えるように設計されている。しかし，要約候補を並べ替えるため のスコアとして見た場合には事情が異なり，要約で はほとんどの語が削除されるため SARI $\mathrm{Sel}_{\text {d }}$ は言い換 えを捉える上で有用ではなく，SARI keep $^{\text {は ROUGE }}$ との重複が大きい。そこで提案手法では，平易な言葉への言い換えを評価するスコアとして SARI $\mathrm{add}$ の みを選び，これを元々 BRIO で用いられる ROUGE のスコアと平均して学習に用いた.

## 5 実験

## 5.1 実験設定

モデルの学習には日本語要約の学習データとし て Livedoor 3 行要約データ，平易な要約の学習デー タとして NNWEを用いた。NNWE は 2021 年 10 月 4 日から 2022 年 12 月 20 日までの 1,201 記事を収集し，961 件を訓練データ，各 120 件を開発，評価 データとして利用した。

要約長は最大で 200 トークンとし, 学習時のパラ メータは訓練エポック数を除き， Liu ら [5] のパラ メータを利用した。学習で利用できる事例が少ない ことから，訓練エポック数は最大 300 として実験を 行っている.
表 1 実験結果

表 2 生成例と対応する原文の一部: 太字は語彙制約で利用できない文字を表す

原文（対応箇所 $\cdots 4$ 回目の接種を行う方針で、対象は当面、 $\boldsymbol{\nabla} 60$ 歳以上の人のほか、 $\boldsymbol{\nabla} 18$ 歳以

のみ）上の基礎疾患のある人か医師が重症化リスクが高いと判断した人としています。

語彙制約モデル 4 回目の注射は、18 以上の病気がある人か医師が病気になるリスクが高いと考え ています。

提案手法 4 回目の注射は、 60 歳以上の人や、18 歳以上の病気がある人か、医師が重症にな る危険が高いと判断した人だけです。

## 5.2 実験結果

表 1 に実験の結果を示す．BRIO の枠組みを利用してベースモデルに加えて学習を行うことで, ROUGE，SARIを用いた場合のどちらも，ベースモ デルと比べ大きく性能が向上している. BRIO と ROUGE，SARI を組み合わせた場合を比較すると，学習に用いた指標についてより性能が向上してお り, 最適化したい指標で学習することが有効と分か る. また，語彙制約モデルでは ROUGE と SARI の どちらも性能が悪化してしまっており，単純な手法で語彙を制限することの弊害が明らかになった.一方, 提案手法では BRIO (ROUGE) とくらべると ROUGE ではやや劣るものの, BRIO (SARI) と比べ て SARI，ROUGE ともにやや性能が向上しており，要約としての質を保ちつつ平易化の質を高めること ができている.

## 5.3 議論

語彙制約モデルでは, ROUGE, SARI ともに語彙 の制限を行わないモデルに比べて性能の低下が見ら れた. 性能低下の具体例を検討するため, 語彙制約 モデルと提案手法の出力の一部を表 2 に示す. 語彙制約モデルの出力では「歳」や「疾患」などの文字 の出力が制限されているため，省略あるいは「病気」 などの言葉へ置き換えられている。提案手法や原文 と比較すると，「重症化リスク」を「病気になるリス ク」に置き換えた直後で語彙制約モデルでは原文と の対応を見失い，「注射は․リリクが高いと考えて います。」と幻覚が生じてしまっていることがわか
る.この例に限らず，語彙制約モデルでは妥当な言 い換えであっても直後に幻覚を生成してしまう現象 が多く見られた. 可能性として，言語モデルにとっ て確度の低い言い換えが強制されることにより，原文との対応を見失いやすくなることが考えられる。

語彙制約によりどの程度幻覚が生じるかを検証 するために，手法ごとに 10 例を抜き出して生成さ れた要約の各文に幻覚が含まれているかどうかを 検証した. 結果を表 3 に示す. 表 1 と比較すると， ROUGE などの指標の変化以上に, 語彙制約モデル では幻覚が大きく増えている事がわかる。

表 3 幻覚の出現数

\begin{aligned} & \hline 手法 誤りを含む文の割合 \\ & \hline BRIO (SARI) $29.8 \% \\ &$ +語彙制約 $39.2 \% \\ &$ 提案手法 $22.8 \% \\ &$\hline\end{aligned}

## 6 おわりに

本稿では, 平易な要約の生成のため, BRIO の枠組みを用いて平易化評価指標の SARI について学習 を最適化するとともに，語彙を制限した要約を候補 に含めて平易化の性能向上を試みた。提案手法では SARI と BRIO を組み合わせた場合と比べ，SARI で 0.3 ポイントの向上が見られた. また，語彙を直接制限する場合と比べ，幻覚の出現が抑えられている ことを確認した. 今後の課題として, 日本語平易化 で用いられるコーパスや辞書などのリソースを活用 した要約生成を行い，さらなる平易化の質の向上・安定化をはかることが必要と考えている.

## 参考文献

[1] Shiwen Wu, Fei Sun, Wentao Zhang, Xu Xie, and Bin Cui. Graph neural networks in recommender systems: A survey. ACM Comput. Surv., Vol. 55, No. 5, dec 2022.

[2] Mohammad Mehdi Afsar, Trafford Crump, and Behrouz Far. Reinforcement learning based recommender systems: A survey. ACM Comput. Surv., Vol. 55, No. 7, dec 2022.

[3] 2022 年 4 月から年金制度が改正。 $66.27 \%$ が 知らなかったという結果に。| 株式会社日本マーケティングリサーチ機構のプレス リリース. https://prtimes.jp/main/html/rd/p/000001194. 000033417.html.

[4] Joshua Maynez, Shashi Narayan, Bernd Bohnet, and Ryan McDonald. On faithfulness and factuality in abstractive summarization. In Proceedings of ACL 2020, pp. 19061919, July 2020.

[5] Yixin Liu, Pengfei Liu, Dragomir Radev, and Graham Neubig. BRIO: Bringing order to abstractive summarization. In Proceedings of ACL 2022, pp. 2890-2903, May 2022.

[6] 菅井内音, 西川仁, 徳永健伸. ニューステキストの要約及び平易化. NLP 2020 発表論文集, 2020.

[7] Takumi Maruyama and Kazuhide Yamamoto. Simplified corpus with core vocabulary. In Proceedings of LREC 2018, May 2018.

[8] Akihiro Katsuta and Kazuhide Yamamoto. Crowdsourced corpus of sentence simplification with core vocabulary. In Proceedings of LREC 2018, May 2018.

[9] NHK NEWS WEB

https://www3.nhk.or.jp/news/easy/.

[10] Farooq Zaman, Matthew Shardlow, Saeed-Ul Hassan, Naif Radi Aljohani, and Raheel Nawaz. HTSS: A novel hybrid text summarisation and simplification architecture. Information Processing \& Management, Vol. 57, No. 6 , p. 102351, 2020.

[11] Chin-Yew Lin. ROUGE: A package for automatic evaluation of summaries. In Text Summarization Branches Out, pp. 74-81, July 2004.

[12] NHK NEWS WEB. https://www3.nhk.or.jp/news/.

[13] ライブドアニュース（livedoor ニュース）. https://news.livedoor.com/.

[14] 知範小平, 守小町. TL;DR 3 行要約に着目したニュー ラル文書要約. 電子情報通信学会技術研究報告, Vol. 117, No. 212, pp. 193-198, 092017.

[15] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei $\mathrm{Li}$, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. Journal of Machine Learning Research, Vol. 21, No. 140, pp. 1-67, 2020.

[16] megagonlabs/t5-base-japanese-web . Hugging Face. https://huggingface.co/megagonlabs/t5-base-japaneseweb.

[17] J. Edward Hu, Huda Khayrallah, Ryan Culkin, Patrick Xia, Tongfei Chen, Matt Post, and Benjamin Van Durme. Improved lexically constrained decoding for translation and monolingual rewriting. In Proceedings of NAACL 2019, pp. 839-850, June 2019.

[18] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Remi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander Rush. Transformers: State-of-the-art natural language processing. In Proceedings of EMNLP 2020, pp. 38-45, October 2020 .

[19] Satoshi Sato, Suguru Matsuyoshi, and Yohsuke Kondoh. Automatic assessment of Japanese text readability based on a textbook corpus. In Proceedings of LREC 2008, May 2008 .

[20] Optimizing statistical machine translation for text simplification. Transactions of the Association for Computational Linguistics, Vol. 4, pp. 401-415, 2016.


# 事前学習済みモデル T5 における近傍分布の有効性の調査

丹羽彩奈 ${ }^{1}$ 岡崎直観 1
1 東京工業大学情報理工学院
\{ayana.niwa[at]nlp, naoaki.okazaki[at]\}c.titech.ac.jp

## 概要

大規模なデータストアから近傍事例を検索し，テ キスト生成モデルを補強するメモリ拡張手法が有望視されている。特に最近では、時間ステップごとの モデルの予測分布を近傍事例に基づく分布で補間す ることで追加の学習なしに機械翻訳性能を向上させ るシンプルかつ効果的なアプローチ（kNN-MT）が 提案された [1]。本研究は、そのアプローチを学習 コストの観点から捉え、事前学習済みモデルに $k$ 近傍モデルを組み込むことで少ない学習コストで性能 を向上させることを目的とする。本稿ではそのため の一歩として、kNN-MT の枠組みを事前学習済みの エンコーダ・デコーダモデル $\mathrm{T} 5$ に導入し、様々な 入出力設定をもつ自然言語生成タスクや、zero-shot などの複数の学習設定における近傍事例の有効性を 調査した。その結果、事前学習で得た生成能力と近傍分布を組み合わせることで、少ない学習コストで タスク特化の生成を行える可能性が示唆された。

## 1 はじめに

メモリ拡張モデルは、ベースとなるモデルと大規模なデータストアから検索した近傍事例（kNN）を 組み合わせて最終出力を決定する。このアプローチ ではモデルパラメータの学習による暗黙的な記憶と データストアによる明示的な記憶の両方が性能向上 に寄与するため [2]、品詞タグ付け [3] や構文的曖昧性解消 [4]、用例べース機械翻訳 [5] など、幅広い夕 スクで活用されてきた。

特に最近では、デコーダのみからなる言語モデル GPT-2 [6] の時間ステップごとの予測分布を $k$ 近傍 モデルで補間する $k \mathrm{NN}-\mathrm{LM}$ が追加の学習なしに性能を向上させることに成功し、後続の研究に大きな インパクトを与えた [2]。kNN-LM のアプローチは エンコーダ・デコーダモデルに拡張され、言語モデ リングだけではなく機械翻訳（kNN-MT）[1,7] や自然言語推論 [8]、文法誤り訂正 [9] など個別のタスク
に適用されている。

これらのアプローチは、特に低頻度語などの学習時に覚えきれなかった知識に有効であり、モデルが もつ知識を補間できることが性能向上のひとつの要因であると指摘されている [2]。この知識の補間は、近年自然言語処理タスクで主流になりつつある、事前学習時とは異なるタスク特化の知識を fine-tuning で獲得するアプローチと共通する考え方である。そ こで、本研究では fine-tuning で得るタスクの知識を 近傍分布で補間することで学習コストを削減するこ とを目的とし、事前学習済みのエンコーダ・デコー ダモデルに kNN-MT のアプローチを組み込む。

本稿は、機械翻訳や自動要約などあらゆる自然言語処理タスクを系列から系列への変換としてみなし て統一的な枠組みで扱う T5 モデル [10]をべースの モデルとして採用する。そして、この $\mathrm{T} 5$ モデルを さまざまな自然言語生成タスクに適応させる際に、近傍分布を活用してタスク特化の知識を補間する。既存研究では同一タスク内でのドメイン適応に対す る有効性が示されてきた。本研究は事前学習済み工 ンコーダ・デコーダモデルを別タスクに適応するた めに近傍分布を活用するはじめての研究である。

本項では、そのための一歩として、まず kNN-MT の枠組みを組み込んだ T5を機械翻訳だけではなく 自動要約、対話生成、Data-to-text など様々な入出力 をもつタスクに適用し、その近傍分布の有効性を調 べた。また、学習コスト削減に関する有効性につい て調査するため、全学習事例を用いた fine-tuning だ けではなく、zero-shot や few-shot 設定において近傍分布を組み込み、少ない学習でより良い性能を達成 するアプローチが有望か調査した。実験結果より、現状では近傍分布が有効なタスクは限定的であるも のの、翻訳タスクでは $\mathrm{T} 5$ においても比較的小規模 なデータストアで性能を改善できることを確認し た。また、特定のタスクにおいて近傍分布を活用す ることで、少量の学習事例を用いた few-shot の性能 を全学習事例で fine-tuning した場合の性能に近づけ

図1 生成済みの系列“Obama’s birthplace is”に続くトーク ンを予測する際の手法の概要図

られることを確認した。

## 2 近傍分布を用いたテキスト生成

本研究では、Khandelwal ら [1] が提案した近傍事例を用いたモデル kNN-MT を T5 に適用し、任意の テキスト生成タスクに用いる（図 1）。ベースとな る自己回帰モデルは、入力系列 $x$ と既に生成済みの 系列 $\hat{y}_{1: i-1}$ に基づき、 $i$ 番目のトークンの確率分布 $p\left(y_{i} \mid x, \hat{y}_{1: i-1}\right)$ を予測する。

## $2.1 \mathrm{kNN-\mathrm{MT}$}

$k$ NN-MT は、 $k$ 近傍モデルをエンコーダ・デコー ダアーキテクチャに統合した機械翻訳のための Transformer モデルである [1]。学習済みの翻訳モデ ルの出力分布 $p_{\mathrm{MT}}(y \mid x)$ をノンパラメトリックな $k$近傍モデルによって求めた近傍分布 $p_{\mathrm{kNN}}(y \mid x)$ で線形補間することで最終的な分布 $p\left(y_{i} \mid x, \hat{y}_{1: i-1}\right)$ を求 める。ここで、 $\hat{y}$ は既に生成されたトークンを表す。

$
\begin{aligned}
\left.p_{(} y_{i} \mid x, \hat{y}_{1: i-1}\right)= & \lambda p_{\mathrm{kNN}}\left(y_{i} \mid x, \hat{y}_{1: i-1}\right) \\
& +(1-\lambda) p_{\mathrm{MT}}\left(y_{i} \mid x, \hat{y}_{1: i-1}\right)
\end{aligned}
$

ここでハイパーパラメータ $0 \leq \lambda \leq 1$ は補完係数で あり、値が大きいほど近傍分布が最終的な分布に大 きな影響を及ぼす。

データストアの構築 データストア $(\mathscr{K}, \mathscr{V})$ は、全ての学習事例 $(X, \mathcal{Y})$ のトークンごとの隠れべク トル $\boldsymbol{h}\left(x, \hat{y}_{1: i-1}\right)$ をキー、その隠れべクトルに対応す る正解トークン $y_{i}$ を值とするぺアの集合である。

$
(\mathscr{K}, \mathscr{V})=\left.\{\left(\boldsymbol{h}\left(x, y_{1: i-1}\right), y_{i}\right) \mid \forall y_{i} \in y, y \in \mathcal{Y}\right.\}
$

近傍分布 $p_{\mathrm{kNN}}$ の計算 まず、モデルは入力系列 $x$ と生成済みの系列 $\hat{y}_{1: i-1}$ を受け取り、隠れべクト ル $\boldsymbol{h}\left(x, \hat{y}_{1: i-1}\right)$ を語彙数次元のベクトルに線形変換す ることで次の単語に対する出力分布 $p_{\mathrm{MT}}\left(y_{i} \mid x, \hat{y}_{1: i-1}\right)$ を得る。次に、 $k$ 近傍モデルが $\boldsymbol{h}\left(x, \hat{y}_{1: i-1}\right)$ をクエリ としてデータストアから距離関数 $d(\cdot, \cdot)$ に従って近さ Top- $k$ の近傍事例 $\mathcal{N}=\left.\{\left(\boldsymbol{k}_{j}, v_{j}\right) \in(\mathscr{K}, \mathscr{V})\right.\}_{j=1}^{k}$ を 検索する。この距離関数 $d(\cdot, \cdot)$ には $L^{2}$ 距離を用い る。最後に、その負の距離に温度 $T$ のソフトマック ス関数を適用することで、語彙数次元の近傍分布 $p_{\mathrm{kNN}}\left(y_{i} \mid x, \hat{y}_{1: i-1}\right)$ を得る。

$
\begin{aligned}
& p_{\mathrm{k} N N}\left(y_{i} \mid x, \hat{y}_{1: i-1}\right) \propto \\
& \sum_{\left(\boldsymbol{k}_{j}, v_{j}\right) \in \mathcal{N}} \mathbb{\square}_{v_{j}=y_{i}} \exp \left(\frac{-d\left(\boldsymbol{k}_{j}, \boldsymbol{h}\left(x, \hat{y}_{1: i-1}\right)\right)}{T}\right)
\end{aligned}
$

## $2.2 \mathrm{kNN-\mathrm{T} 5$}

本研究では、事前学習済みモデルに $k$ 近傍モデ ルを統合して低コストで良い性能を達成すること を目的とする。ベースとなる事前学習済みのエン コーダ・デコーダモデルには、Text-to-Text Transfer Transformer (T5) [10]を採用する。T5 は、教師なしタ スクと教師ありタスクで事前学習された Transformer ベース [11]のモデルであり、あらゆる自然言語タス クを text-to-text タスクとして見なし、プレフィック スを用いることで生成タスクを切り替える。

kNN-MT のベースである Transformer モデルを T5 モデルに置き換え、各ステップのモデルの出力分布 $p_{\mathrm{T} 5}\left(y_{i} \mid x, \hat{y}_{1: i-1}\right)$ を近傍分布で補間することで最終的な分布を求める。推論時およびデータストア 構築に用いる隠れべクトル $\boldsymbol{h}\left(x, \hat{y}_{1: i-1}\right)$ の計算時に は、入力系列の先頭にタスクごとのプレフィック ス (例: 英独翻訳では“translate English to German：”）を連結してモデルに入力する 1)。隠 れべクトルにはデコーダ側のフィードフォワード層 の最終層への入力を用いる。データストアの構築方法や近傍分布の計算方法は kNN-MT に従う。

## 3 実験

実験では、事前学習された T5 モデルに対する近傍分布の有効性について、幅広い自然言語生成タス クと学習設定で調査する。

## 3.1 実験設定

データセット 自然言語生成タスクのベンチ マークである $\mathrm{GEM}^{2}$ )から自動要約（XSum データ セット、以下XSum [12])、対話生成 (Schema-Guided Dialog データセット、以下 Dialog [13])、Data-to-Text （DART データセット、以下 DART [14]）のタスクを

表 1 実験で用いるデータセットの統計値

選定した。XSum は短い単文への自動要約、Dialog は直前の発話とエージェントの対話行為から応答を生成するタスク志向型の対話生成、DART は Wikipedia に含まれるテーブルからのテキスト生成である。表 1 に示した各データセットの統計情報の通り、これらは比較的小規模なデータセット である。さらに、当ベンチマークセットには含ま れない生成タスクとして機械翻訳（WMT'16 英独） も採用する ${ }^{3)}$ 。これらのデータは全て Huggingface Datasets ${ }^{4)}$ からダウンロードした。

モデル 二種類のサイズの $\mathrm{T} 5$ モデルである t5-small と t5-base を用いる5)。パラメータサイズは それぞれ 60M、220M である。入出力設定が特殊な Dialog、DART、XSum はそれぞれ fine-tuning を行っ た。学習や推論の詳細については付録 B に示した。実装は全て Huggingface Transformers ${ }^{6)}$ で行った。

近傍分布の統合近傍探索ライブラリ faiss [15]を 用いてデータストアから近傍事例を検索した。な お、統合方法に関するハイパーパラメータ $(k, T, \lambda)$ は、 $k \in\{32,128,256,512\} 、 T \in\{10,50,100,200\} 、$ $\lambda \in\{0.2,0.4,0.6,0.8\}$ の組み合わせから開発データ での性能に基づき決定した。

評価 XSum、Dialog、DART は GEM-metrics ${ }^{7}$ で求 めた BLEU [16]、ChrF [17] と ROUGE [18] で評価し た。WMT'16 英独は、既存研究と同様に BLEU で評価する。BLEU の算出では SacreBLEU [19] を用い、大文字小文字を区別した。

## 3.2 実験結果

まず、全ての学習事例で fine-tuning した場合 ${ }^{8)}$ の 近傍分布の統合なしとあり (+kNN) の場合の性能 と近傍分布の統合方法に関するハイパーパラメー

3）機械翻訳は WMT の Shared task でのベンチマークとして確立しているため GEM から除外されている。

4) https://github.com/huggingface/datasets

5) https://huggingface.co/t5-small, https: //huggingface.co/t5-base

6) https://github.com/huggingface/transformers

7) https://github.com/GEM-benchmark/

GEM-metrics

8）事前学習に含まれる翻訳タスクは除く

図 2 用いるデータストアの事例の割合 (横軸) を変化さ せた時の WMT'16 英独の評価データでの BLEU 值（縦軸）

タ、またデータストアのサイズ $D$ を表 2 に示した。結果として、事前学習済みエンコーダ・デコーダモ デルにおける近傍分布の有効性は、タスクによって 大きく異なる傾向を示した。まず、自動要約・対話生成・Data-to-text タスクでは近傍分布が性能向上に ほとんど寄与しない。逆に既存研究でも有効性が示 されている機械翻訳タスクでは 2.6 ポイント以上 BLEU 值が向上した。機械翻訳タスクとその他の夕 スクの最も明示的な違いは、機械翻訳タスクの 1/50 以下しかないデータストアの小ささである。既存研究 [1] で用いられている WMT'19独英のデータスト アのサイズが $770 \mathrm{M}$ であることを踏まえても、今回近傍分布が有効でなかった 3 つのタスクのデータス トアは相対的に著しく小さい。そこで、データスト アのサイズが WMT'16 英独の性能に与える影響を 調べるため、データストアのサイズを小さくした時 の BLEU 值の推移を調べた（図 2)。これによると、 データストアの大きさと性能の間に相関関係がある ことが確認できる。よって、事前学習モデルに近傍分布を統合する際にもデータストアの大きさは重要 であることが示唆される。しかしながら、任意の夕 スクでデータストアのサイズを大きくすることは容易ではない。

そこで、次はデータストアのサイズを大きくする ことなく事前学習済みモデルで近傍分布を有効に活用する方法について調査する。具体的には、事前学習時の知識のみを使ってベースモデルの出力分布 $p_{\mathrm{T} 5}$ を計算させ、タスクの知識を近傍分布のみから 得る zero-shot 設定での性能を調べた（表 3)。その 結果、zero-shot 設定の性能もタスクによって大きな 違いが見られた。特に顕著なのは、Dialog と DART で近傍分布を統合した場合の性能が大きく向上した 点である。Dialog では自然言語文に加えてエージェ
表 2 自然言語生成タスクでの性能と近傍分布に関する最適なハイパーパラメータおよびデータストアのサイズ $D$

表 3 t5-small の実験。B は BLEU 值、R は ROUGE 值を 示す。 $\lambda=1$ は近傍分布のみを用いてテキストを生成した 場合の性能である。

ントの対話行為情報が、DART では自然言語文では なく構造化データが入力として与えられる。そのた め、両タスクとも T5 の事前学習時の入出力設定と は異なり生成の難易度が高く、zero-shot ではほとん ど解くことができない。しかし、近傍分布を統合す ることで事前学習時にはないタスク固有の知識を追加学習なしに活用できるようになる。一方で、これ らの性能は $\lambda=1$ 、つまり近傍分布のみで生成した 結果とほぼ変わらない性能であり、事前学習で獲得 したテキスト生成能力をほとんど使えていない。そ のため fine-tuning ありの場合に比べて性能は大きく 劣り、実用性に欠ける。

そこで、次は学習コストを抑えつつべースモデル の生成能力と近傍分布の両方を有効活用する設定を 探るべく、ランダムサンプリングした 32 件の学習事例を用いて few-shot 学習を行った。結果を表 3 の 下半分に示した。特筆すべきは、Dialog で少数の学習を追加することでベースのモデルの BLEU 値が近傍分布なし・ありともに 8.5 ポイント以上向上した 点である。これは、入力に自然言語文が含まれるこ とから比較的事前学習された知識を転移しやすい設定であるためだと考えられる。学習コストについて考えると、全ての学習データで学習する場合に比べ てステップ数を $1 / 250$ 、延べ学習事例数を $1 / 4000$ に まで削減しつつ、GEM のベースラインの報告値で ある 50.0 (ROUGE-L) ${ }^{9}$ に対して差を 5 ポイント以下にまで近づけられたことになる。つまり学習コス 卜を減らすという目的で近傍分布を組み込むこと が少なくとも特定の条件下では有望であることが わかった。近傍分布の有効性は顕著である一方で、 ベースモデルの性能は依然として低く、学習コスト を下げることで性能を必要以上に犠牲にしてしま う。また、XSum と DART では少量の学習事例だけ ではモデルの生成能力を引き出すことはできなかっ た。事前学習で獲得した生成能力と近傍分布を幅広 い入出力設定のタスクにおいて活用できる few-shot 手法の検討は今後の課題である。

## 4 結論

本研究では、メモリ拡張モデル kNN-MT の枠組み を事前学習済みのエンコーダ・デコーダモデル T5 に適用し、任意のテキスト生成に適用可能な手法と して一般化した上で、低学習コストで高い性能を達成するための近傍分布の活用法の検討に取り組ん だ。機械翻訳、自動要約、対話生成、Data-to-text と いう幅広い入出力の自然言語生成タスクを用いた実験により、近傍分布の統合は少なくとも特定のタス ク設定においては有効であり、学習コストを大幅に 抑えつつ事前学習済みモデルを各タスクにノンパラ メトリックに適応させられる可能性が示された。今後は、近傍分布が有効であるタスクの性質の更なる 分析や、学習コストと性能のトレードオフを改善す る近傍分布の統合方法について調査を進めたい。

## 謝辞

本研究成果は、国立研究開発法人情報通信研究機

構（NICT）の委託研究「自動翻訳の精度向上のため

のマルチモーダル情報の外部制御可能なモデリング

の研究開発」（課題 225）により得られたものです。

## 参考文献

[1] Urvashi Khandelwal, Angela Fan, Dan Jurafsky, Luke Zettlemoyer, and Mike Lewis. Nearest neighbor machine translation. In International Conference on Learning Representations, 2021.

[2] Urvashi Khandelwal, Omer Levy, Dan Jurafsky, Luke Zettlemoyer, and Mike Lewis. Generalization through memorization: Nearest neighbor language models. In International Conference on Learning Representations, 2020.

[3] Walter Daelemans, Jakub Zavrel, Peter Berck, and Steven Gillis. MBT: A memory-based part of speech taggergenerator. In Fourth Workshop on Very Large Corpora, Herstmonceux Castle, Sussex, UK, June 1996.

[4] Claire Cardie. Domain-specific knowledge acquisition for conceptual sentence analysis. Computer Science Department Faculty Publication Series, p. 60, 1994.

[5] Eiichiro Sumita and Hitoshi Iida. Experiments and prospects of example-based machine translation. In 29th Annual Meeting of the Association for Computational Linguistics, pp. 185-192, Berkeley, California, USA, June 1991.

[6] Alec Radford, Jeff Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. Language models are unsupervised multitask learners. 2019.

[7] Yuxian Meng, Xiaoya Li, Xiayu Zheng, Fei Wu, Xiaofei Sun, Tianwei Zhang, and Jiwei Li. Fast nearest neighbor machine translation. In Findings of the Association for Computational Linguistics: ACL 2022, pp. 555565, Dublin, Ireland, May 2022.

[8] Weijia Shi, Julian Michael, Suchin Gururangan, and Luke Zettlemoyer. knn-prompt: Nearest neighbor zero-shot inference. arXiv, 2022.

[9] Masahiro Kaneko, Sho Takase, Ayana Niwa, and Naoaki Okazaki. Interpretability for language learners using example-based grammatical error correction. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics, pp. 7176-7187, Dublin, Ireland, May 2022.

[10] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. J. Mach. Learn. Res., Vol. 21, No. 1, jun 2022.

[11] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in neural information processing systems, pp. 5998-6008, 2017.
[12] Shashi Narayan, Shay B. Cohen, and Mirella Lapata. Don't give me the details, just the summary! topicaware convolutional neural networks for extreme summarization. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 1797-1807, Brussels, Belgium, October-November 2018.

[13] Abhinav Rastogi, Xiaoxue Zang, Srinivas Sunkara, Raghav Gupta, and Pranav Khaitan. Towards scalable multi-domain conversational agents: The schemaguided dialogue dataset. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 34, No. 05, pp. 8689-8696, Apr. 2020.

[14] Linyong Nan, Dragomir Radev, Rui Zhang, Amrit Rau, Abhinand Sivaprasad, Chiachun Hsieh, Xiangru Tang, Aadit Vyas, Neha Verma, Pranav Krishna, Yangxiaokang Liu, Nadia Irwanto, Jessica Pan, Faiaz Rahman, Ahmad Zaidi, Mutethia Mutuma, Yasin Tarabar, Ankit Gupta, Tao Yu, Yi Chern Tan, Xi Victoria Lin, Caiming Xiong, Richard Socher, and Nazneen Fatema Rajani. DART: Open-domain structured data record to text generation. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 432-447, Online, June 2021.

[15] Jeff Johnson, Matthijs Douze, and Hervé Jégou. Billionscale similarity search with GPUs. IEEE Transactions on Big Data, Vol. 7, No. 3, pp. 535-547, 2019.

[16] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: A method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting on Association for Computational Linguistics, p. 311-318, USA, 2002.

[17] Maja Popović. chrF: character n-gram F-score for automatic MT evaluation. In Proceedings of the Tenth Workshop on Statistical Machine Translation, pp. 392-395, Lisbon, Portugal, September 2015.

[18] Chin-Yew Lin. ROUGE: A package for automatic evaluation of summaries. In Text Summarization Branches Out, pp. 74-81, Barcelona, Spain, July 2004.

[19] Matt Post. A call for clarity in reporting bleu scores. WMT 2018, p. 186, 2018.

[20] Leonardo F. R. Ribeiro, Martin Schmitt, Hinrich Schütze, and Iryna Gurevych. Investigating pretrained language models for graph-to-text generation. In Proceedings of the 3rd Workshop on Natural Language Processing for Conversational AI, pp. 211-227, Online, November 2021.

## A 実験設定の詳細

実験で用いる入力系列の設定 DART の入力系列 は、Wikipedia のテーブルに含まれる主語、述語、目的語の三つ組のセットを既存研究 [20] と同様に各要素の前に特殊トークン $<\mathrm{H}>，<\mathrm{R}>，<\mathrm{T}>$ を付けて系列化した。また、T5 モデルに用いたプロンプトは 以下の通りである。

自動要約 “summarize:”

対話生成 “Prompt：， Response

Type: $\longrightarrow$, Type of Slot:

Agent: "

Data-to-text "translate graph to English:"

機械翻訳 "translate English to German:"対話生成のプロンプトは、ベンチマーク GEM で推奨されているものを用いた。

## B 実験の詳細

## B. 1 学習と推論のパラメータ設定

XSum はバッチサイズ 16、学習率 2e-05 で 50 エ ポック、Dialog はバッチサイズ 256、学習率 0.001 で 5000 ステップ、DART はバッチサイズ 24、学習率 7e-05 で 40 エポック学習した。また、推論時のビー 么幅は全て 5 に設定した。

## B. 2 zero-shot 学習に近傍分布を組み込む 際の留意点

近傍分布のハイパーパラメータである $k, T, \lambda を そ$ れぞれ固定した時の全学習事例による fine-tuning あ り（full）の設定と zero-shot（zero）の設定の BLEU 値の分散値の比率 $\operatorname{Var}\left(\mathrm{BLEU}_{\text {zero }}\right) / \operatorname{Var}\left(\mathrm{BLEU}_{\text {full }}\right)$ をを 図 4 に示した。值が大きいほど zero-shot における性能がハイパーパラメータに敏感であることを示す。 これによると、データセット間で違いがあるが特に Dialog と DART の zero-shot における性能が両パラ メータに大変敏感であり、温度パラメータや近傍事例数によって大きく性能が異なることがわかる。そ のため、事前学習済みモデルの出力にそのまま近傍分布を統合する場合は入念なハイパーパラメータの 探索が大変重要である。

## B. 3 実験結果

t5-base で zero-shot と few-shot を行った時の性能を 表 5 に示した。t5-smallと同様に、Dialog では少量表 4 各ハイパーパラメータの值を固定した時の fine-tuning した時（full）と zero-shot の時（zero）の BLEU 値の分散の比率 $\operatorname{Var}\left(\mathrm{BLEU}_{\text {zero }}\right) / \operatorname{Var}\left(\mathrm{BLEU}_{\text {full }}\right)$

表 5 t5-base の実験。B は BLEU 值、R は ROUGE 值を 示す。

の事例を学習することで性能が大きく改善するが、 XSum と DART では近傍分布の有効性は見られな い。ただ、XSum の性能は few-shot 学習すると近傍分布によって性能が低下する。近傍分布の統合方法 に関する最適なハイパーパラメータも大きく変化 し、特に用いる近傍事例の数 $k$ が大幅に削減された ことから、少量の学習データで隠れべクトルの空間 が大きく変化し、生成に役立つ近傍事例以外の事例 が多く検索されるようになってしまったことが推測 される。この挙動の不安定さについては更なる調査 が必要である。


# ユーザーの操作性を考慮した論文要約スライドの半自動生成

久保谷 善記 $^{1}$ 森島 繁生 ${ }^{2}$
1 早稲田大学 2 早稲田大学理工学術院総合研究所
yoshikikubotani@akane.waseda.jp shigeo@waseda.jp

## 概要

スライドには，視覚的要素を用いた説明により認知負荷を下げ，聴衆の理解を促す効果がある．その ため，日頃から難解な内容を説明する必要のある研究者にとって，論文をスライドに要約し発表する機会は少なくない.しかし，研究者は研究作業や論文執筆などに時間が取られるため，スライド作成に割 く十分な時間を確保できない場合がある. 本研究で は，このような問題を解決するため，論文からスラ イドを半自動で生成するシステムを提案する。作成者の裁量で自動化の度合いが調節できるよう，任意 の作成段階からのスライド生成を実現する.

## 1 はじめに

コミュニケーションにおいては，視覚的な情報を 用いることで，相手に対して自身の考えや意見を正確かつ効果的に伝達することができる．実際に，意思伝達を行う際には文章，音声，図表など様々な媒体が使用されるが，伝える内容が複雑な場合には，記述情報と視覚的情報を組み合わせることで，より 円滑なコミュニケーションが期待できる. プレゼン テーションスライド（スライド）はこれら二つの情報を統合して扱うことのできる代表的な媒体として 知られているが，コンパクトなテキスト（記述的情報）とその配置（視覚的情報）を用いることで聴衆 の認知負荷を下げることができるため，教育現場で ある学校から職場まで幅広く使われている。

同様の理由で，学術的な場における意思伝達にも スライドは頻繁に使用されており，難解な内容を多 く扱う研究者にとって必要不可欠な媒体である. 特 に，学会や研究室，輪読会・勉強会といった場にお いては，研究者は自身の研究や技術的文書から得た 情報など，高度に専門的な内容の発表・共有を行う 必要があるため，記述のみでは理解困難な内容を他 の研究者に伝える手段として，スライドは重宝され ている.
このように，研究者にとってスライドは情報発信 に欠かせない媒体であるが，その作成には多くの時間と労力を要する．まず，研究者は日々の研究活動 や論文の調査・執筆などで忙しく，スライドの作成 に十分な時間をかけることは難しい。特に，近年は 広く学問領域全体で論文数が増加しており，最新の 手法に追随するために必要な論文調査の量は膨大で ある [1]. また，専門的な内容をわかりやすくスラ イドとしてまとめるには経験と技術を要する．具体的には，作成者がどのような目的で情報発信を行う のか，聴衆がどの程度の前提知識を持っているか，発表時間や全体のページ数に制約はないかなどの条件を考慮する必要があり，全ての条件を満たすよう にページごとの説明の粒度や構図の配置を決定する には，経験者であっても試行錯誤を要する。

近年は，スライド作成にかかる労力を低減させる ベく，論文要旨をとらえたスライドの自動生成に関 する手法が提案されてきた。しかしその多くは，ス ライドテキストの生成に主眼を置き要素の配置を適切に扱っていない [2-5], または逆にレイアウトの 生成のみを扱っている [6] などの制約があり，テキ ストとレイアウト両者の情報を同時に扱うことに は課題が残る. また，両者を同時に扱っている研究 も，論文からスライドを生成する過程に人間が関与 することは考慮しておらず，作成者の意図や好みを 反映した自由度の高い生成は実現できていない [7].

本研究では，多忙な研究者のスライド作成を補助 する目的で，論文からスライドを半自動で生成する システムを提案する．スライド作成者の熟練度やデ ザイン嗜好によって自動化の度合いが調節できる よう，タイトルのみが与えられた状態からだけでな く，追加で任意のスライド要素が与えられた状態か らのスライド生成を実現する。

## 2 関連研究

スライドの自動生成に関する議論は，主として自然言語処理分野において論文の要旨要約という視点

図 1 : 提案手法の概要図

から行われてきた. 2000 年代初頭の初期の研究に おいては，形態要素分析や決定的なルールによるス コアリングなどを用いて，スライドに載せるに相応 しい長さのテキストを作成する研究 $[3,8]$ が主流で あった. その後は，サポートベクター回帰 (SVR) な どの回帰モデルを訓練することで論文中の文章の重要度を学習し, 整数線形計画法 (ILP) によってスラ イドに割り当てるという手法が広く用いられるよう になった [4,5,9]. また近年では, Encoder-Decoder型 のニューラルネットワークを用いた抽象型要約によ る研究が提案されている $[2,7]$. しかし, 上記の先行研究には，取得したテキストをルールベースで配置 していたり, テキストと図以外の要素をレイアウト 生成の対象には含めていないといった問題がある。

## 3 提案手法

以降の議論のため，ここで本稿内で使用する記号について説明する. 論文 $P_{i}$ とそれと対を成すス ライド $D_{i}$ の集合を $\left.\{P_{i}, D_{i}\right.\}_{i=1}^{I}$ と置く.この時，ス ライド $D_{i}$ が $J$ 枚のスライドページからなるとする と, $D_{i}=\left.\{P_{j}\right.\}_{j=1}^{J}$ である. また，スライドページ $P_{j}$内に配置される $N$ 個の要素は, クラス $C_{n}$, サイズ $\left(W_{n}, H_{n}\right)$, 位置 $\left(X_{n}, Y_{n}\right)$ の 3 属性によって表現され るとする。ここでクラスとは，タイトルテキストや 箇条書き, 図や表というように, 配置される要素が スライド内でどのような役割を果たすかを簡潔に表 すものである．スライドの要素がテキストを含むク
ラスに属する場合，そのテキストは $T_{n}$ で表記する。論文の文章については，4 文を 1 つのスニペット $S$ として定義し, 文章単位でなくスニペット単位で論文のテキストデータを扱った。従って, 論文 $P_{i}$ が $K$ 組のスニペットからなるとすると, $P_{i}=\left.\{S_{k}\right.\}_{k=1}^{K}$ となる。なお，過度に複雑な表記を避けるため明示的に記載はしていないが，スニペット数 $K$ やスライ ドページ数 $J$ は論文やスライドごとに異なるため $i$ に依存し，スライドページ内の要素の数 $N$ はページ ごとに異なるため $i$ と $j$ に依存している.

ある論文からその要旨を捉えたスライドを生成す る際には，以下の 3 つの点に配慮して作成する必要 がある.

1. 現在のスライドページに論文のどの内容が載る べきか

2. 載るべき内容に沿って，スライドページをどの ようなレイアウトとするか

3. レイアウトをもとに，実際にどの程度の粒度の テキストを載せるか

これらの要件をもとに，我々は図 1 に示すような Attention 機構を用いたモデルを提案する. まず要件 1 を満たすための前処理として，スライドページに 関連するスニペットを論文から取得する。具体的に は，式 (1), (2)に示すように，事前学習済みの言語 モデルを使って論文のスニペット $S_{k}$ と各スライド ページのスライドタイトル $T_{n}$ s.t. $C_{n}=$ title のそれ

ぞれから埋め込み $\boldsymbol{E}_{s}^{(k)}, \boldsymbol{E}_{t}^{(n)}$ を取得する. その後,式 (3)のように埋め込み同士で内積を取り，各スラ イドページ $P_{j}$ ごとに内積スコア $R_{k j}$ の上位 20 個の スニペットを用意する．スライドページの内容を最 も端的に表すのはスライドタイトルであるため,こ の操作によって論文からスライドページに関わりの ある情報だけを抽出できる。なお，埋め込み表現獲得のための言語モデルには Sentence-BERT [10]を使用した.

$
\begin{aligned}
\boldsymbol{E}_{s}^{(k)} & =\operatorname{Sentence-\operatorname {BERT}(S_{k})} \\
\boldsymbol{E}_{t}^{(n)} & =\operatorname{Sentence-} \operatorname{BERT}\left(T_{n}\right) \quad \text { s.t. } C_{n}=\text { title } \\
R_{k j} & =\boldsymbol{E}_{s}^{(k)} \cdot \boldsymbol{E}_{t}^{(n)}
\end{aligned}
$

提案モデルは大まかに 2 つのモジュールに分か れており，それぞれレイアウト生成と論文要旨要約を担当する.レイアウト生成モジュールでは， Gupta らの研究 [11] に倣い，部分的にマスクされ た系列 $\left[C_{1}, W_{1}, H_{1}, X_{1}, Y_{1}, \cdots C_{N}, W_{N}, H_{N}, X_{N}, Y_{N}\right]$ の 回帰問題としてレイアウト生成を定義した. ネッ トワークには Xiang ら [12] の提案する双方向型の Transformer Encoderをベースとして用いており, 系列内での関係を Self-Attention 機構によって捉えてい る. また, 要件 2 で述べたように, 各スライドぺー ジのレイアウトはそのページに載る内容に依存す るべきである. 従って，論文要旨要約モジュールの Encoder の出力とレイアウト生成モジュールの隠れ 状態との間で Cross-Attention を取ることで，前処理 で取得した内積スコア上位 20 組のスニペットとレ イアウトとの関係を捉えている。一方, 論文要旨要約モジュールには，訓練済みの BART [13]をべース としたネットワークを用いている. 要件 3 を満た すために，レイアウト生成モジュールで推定され たレイアウトのクラス $\hat{C}_{n}$, サイズ $\left(\hat{W}_{n}, \hat{H}_{n}\right)$, 位置 $\left(\hat{X}_{n}, \hat{Y}_{n}\right)$ の埋め込みと BART の Decoder の隠れ状態 との間で Cross-Attentionを取っている.このように することで，Decoder は推定されたレイアウトの情報を参照しつつ文章要約を行うことが可能になる。

上記のアプローチでは，レイアウト系列のマスク の割合により，スライドの初期状態の調節が可能で ある. 従って，目的や好みに合わせてスライド内の 要素の数やクラス，サイズや位置を自由に編集する ことで，スライド作成者は生成過程に直接関与する ことができる.表 1 : 生成レイアウトの要素重複度比較

表 2: 生成-正解レイアウトの類似度比較

## 4 実験設定

提案手法の有効性を検証するためには，論文の テキストと，それに対応するスライドのテキスト とレイアウトのすべてを含むデータセットが必須 である。しかし，我々が調べた限りでは，そのよう なデータセットは公開されていなかった. 従って， ACL Anthology ${ }^{1)}$ で公開されている発表資料から，小規模なデータセットを作成して実験を行った. データセットは 24 報の OCR された論文と，それに 対応する同数のスライドからなる．総計 2885 個の スライドの要素はタイトル，箇条書き，見出し，そ の他テキスト，図，表，アイコンの 8 クラスのいず れかでアノテーションされており，これを訓練とテ ストでデータを $4: 1$ に分割して実験に用いた。

実験は，レイアウト生成モジュールと論文要旨要約モジュールの機能を確認するために，生成された レイアウトとテキストについて行った. レイアウト については，異なる作成段階から生成した結果を， 2 つの指標で評価した. 具体的には，(a) タイトルの み指定，(b) タイトルとその他の要素のクラスを指定，(c) タイトルとその他の要素のクラス・サイズ を指定，の3つの作成段階を初期状態としてレイア ウトを生成した. 生成されたレイアウトにおける要素同士の重複具合を確認するための指標として，式 (4) に示されるスライドページごとの IoUを算出し， その平均値をもって比較した。また，レイアウト類似度 [14] を用いることで，生成レイアウトと正解レ イアウトの間の類似度を評価した。これは，クラス やサイズ，位置をもとに 2 つのレイアウトの要素間 で関連度を算出し, 関連度が最大となるマッチング の結果から，レイアウト全体としての類似度を 0 か

target

title

図 2: レイアウト生成結果の描画

表 3: 生成-正解テキストの類似度比較

ら1 のスコアで表す指標である.

$
\mathrm{IoU}_{j}=\frac{P_{j} \text { 内の要素が重複した領域 }}{P_{j} \text { 内の要素が存在する領域 }}
$

テキストについては，生成されたテキストと正解 スライドテキストの類似度を ROUGE スコアで比較 した. なお，生成テキストと正解テキストとの対応 が取れなければ指標の計算ができないため, 論文要旨要約モジュールに渡すレイアウトの情報には，レ イアウト生成モジュールの生成結果ではなく正解レ イアウトを使用した。

## 5 結果

スライド要素のページ内重複度とレイアウトの 類似度のそれぞれについて，3つの作成段階を初期状態として比較した結果を表 1 ，表 2 に示す. 表 2 の結果から, 完成に近い状態から生成を始めること で，正解レイアウトに近いレイアウトを生成できて いることがわかる。一方で, 要素の重複度は条件を 与えて生成することで増加した. これは, ページ内 の領域を多く占める可能性のあるクラスの要素が強制的に配置され, 要素同士がより重なりやすくなっ たことが原因と考えられる。

また，生成されたスライドテキストが正解テキス トとどれくらい類似していたかの結果を表 3 に示 す. Precisionに比べて Recall が高いが，これは生成 されたスライドテキストが正解テキストに比べて長いためである。実際に，評価に使用したデータに ついて, 生成テキストと正解テキストの平均単語数 を計算したところ，前者は 50.63 words，後者は 7.52 words であった. また 2-gram についての ROUGE ス コアが低いことから，生成テキストは正解テキスト に含まれる 2 語以上のフレーズを再現することがで きていないことがわかる.

最後に，各条件のもと生成されたレイアウトと正解レイアウトを描画して比較した結果を図 2 に示し た. 条件が増えるごとに正解に近いレイアウトが生成できていることが見て取れる。ここではスペース の都合上載せていないが，要素の数が多い場合や複雑なレイアウトを持つ場合には，規則性のない配置 になってしまっていた。これは，データ数が 1500 程度の小規模なデータを使用していたため，スライ ドのデータ分布が持つ特徴を完全には学習できな かったことを示している.

## 6 おわりに

本研究では，研究者にとって不可欠なスライドの 作成コストを下げるため，論文からスライドを半自動で生成可能なシステムを提案した. レイアウトと テキストの両者を互いに考慮した生成を可能にする ため，Attention 機構を用いたモデルを採用し，評価 のため小規模なデータセットを作成して実験を行っ た. 実験では，小規模なデータセットを用いたこと から，全体として性能は高くはなかったものの，任意の編集段階からスライドを生成可能なモデルの 可能性を示した. 今後の課題として，より大規模な データセットを用いて実験を行うことや，より多様 な種類のモーダルを考慮した生成の仕組みを模索す ることが挙げられる.

## 参考文献

[1] Lutz Bornmann and Rüdiger Mutz. Growth rates of modern science: A bibliometric analysis based on the number of publications and cited references. Journal of the Association for Information Science and Technology, Vol. 66, No. 11, pp. 2215-2222, 2015.

[2] Edward Sun, Yufang Hou, Dakuo Wang, Yunfeng Zhang, and Nancy X.R. Wang. D2S: Document-to-Slide Generation Via Query-Based Text Summarization. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, 2021.

[3] Tomohide Shibata and Sadao Kurohashi. Automatic Slide Generation Based on Discourse Structure Analysis. In International Conference on Natural Language Processing, Vol. 3651, pp. 754-766, 2005.

[4] Yue Hu and Xiaojun Wan. PPSGen: Learning-Based Presentation Slides Generation for Academic Papers. Knowledge and Data Engineering, IEEE Transactions on, Vol. 27, pp. 1085-1097, 2015.

[5] Athar Sefid, Jian Wu, Prasenjit Mitra, and C. Lee Giles. Automatic Slide Generation for Scientific Papers. In SciKnow@K-CAP, 2019.

[6] Chuhao Jin, Hongteng Xu, Ruihua Song, and Zhiwu Lu. Text2Poster: Laying Out Stylized Texts on Retrieved Images. In IEEE International Conference on Acoustics, Speech and Signal Processing, pp. 4823-4827, 2022.

[7] Tsu-Jui Fu, William Yang Wang, Daniel McDuff, and Yale Song. Doc2ppt: Automatic presentation slides generation from scientific documents. Vol. 36, No. 1, pp. 634-642, 2022 .

[8] Mostafa Shaikh, Mitsuru Ishizuka, and Md Tawhidul Islam. 'Auto-Presentation': a multi-agent system for building automatic multi-modal presentation of a topic from World Wide Web information. In IEEE/WIC/ACM International Conference on Intelligent Agent Technology, pp. 246-249, 2005.

[9] A. Ashray Bhandare, Chetan J. Awati, and Sonam Kharade. Automatic era: Presentation slides from Academic paper. International Conference on Automatic Control and Dynamic Optimization Techniques, pp. 809$814,2016$.

[10] Nils Reimers and Iryna Gurevych. Making Monolingual Sentence Embeddings Multilingual using Knowledge Distillation. In Empirical Methods in Natural Language Processing. Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing, 2020.

[11] K. Gupta, J. Lazarow, A. Achille, L. Davis, V. Mahadevan, and A. Shrivastava. LayoutTransformer: Layout Generation and Completion with Self-attention. In Proceedings of the International Conference on Computer Vision, pp. 984-994, 2021.

[12] Xiang Kong, Lu Jiang, Huiwen Chang, Han Zhang, Yuan Hao, Haifeng Gong, and Irfan Essa. BLT: Bidirectional Layout Transformer for Controllable Layout Generation. In Proceedings of the 17th European Conference on Computer Vision, pp. 474-490, 2022.
[13] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7871-7880, 2020.

[14] Akshay Gadi Patil, Omri Ben-Eliezer, Or Perel, and Hadar Averbuch-Elor. READ: Recursive autoencoders for document layout generation. In CVPR 2020 Workshop on Text and Documents in the Deep Learning Era, 2020.


# BiomedCurator：医学・生物学文献からの構造化データ 抽出のためのデータキュレーションシステムの開発

Mohammad Golam Sohrab $^{1}$ Khoa N. A. Duong ${ }^{1}$ 池田修己 ${ }^{1}$ Goran Topić $^{1}$
夏目やよい ${ }^{2}$ 黒田 正孝 ${ }^{2}$ 伊藤 眞里 ${ }^{2}$ 高村 大也 ${ }^{1}$
1 産業技術総合研究所 人工知能研究センター
2 医薬基盤・健康・栄養研究所 $\mathrm{AI}$ 健康・医薬研究センター
}

\{sohrab.mohammad, goran.topic, ikeda-masami, takamura.hiroya\}@aist.go.jp

\{natsume, m-kuroda, mari\}@nibiohn.go.jp
## 概要

医学・生物学分野の論文から，事前に選択した属性（疾患，投与薬剤，投与量，投与期間，被験者の年齢，結果など）に関する情報を，構造化データとし て抽出するキュレーションシテム BiomedCurator の を開発を行なった。本システムは，関係抽出のため のテキスト生成モデル，エンティティ認識，テキス ト分類モデル，知識ベース上のエントリからの情報検索とエンティティ・リンキング，パターンに基づ く複数属性の情報抽出を行う自然言語処理アプロー チによって構成されている. BiomedCurator はウェ ブサイト (https://biomed-text.airc.aist.go.jp/ biomedcurator/）において公開している.

## 1 はじめに

医学・生物学分野の論文や臨床試験の報告書に は，適用された薬，対象疾患，投与量，投与期間，被験者の年齢，結果などの情報が提供されている. これらの情報は, 創薬や医薬品開発のためのデータ マイニングや統計分析に有用であり，通常は専門家 が論文を読んで抽出し, 図 1 に示すような属性と值 が対応づけられた 2 次元のスプレッドシート形式の 構造化データを手作業で作成している. 本稿では, このような構造化データを自動生成（以下，データ キュレーション）するシステムを提案する。

データキュレーションのタスクには，エンティ ティ認識，エンティティ・リンキング，関係抽出， テキスト分類など，さまざまな自然言語処理技術を 用いたアプローチが必要となる．また，このタスク の特徴は，訓練データとなる，人間の専門家によっ てキュレーションされたデータがスプレッドシー 卜形式で提供される一方，抽出すべき情報が論文中
のどこの位置に記述されているかが明示されない. したがって，通常のエンティティ認識の学習データ とは異なり，BIO タグは注釈されていない。また， キュレーションされたデータ中では，元の論文と異 なる用語や表現が使われている可能性がある.

本稿では，これらの技術的課題を 2.2 節で述べる 手法で解決する. さらに，特に肺疾患に関するドメ インについて手法を実装し，ユーザーが指定する PubMed ID あるいは ClinicalTrials.gov ID に該当する 文献から，61 個の属性を自動データキュレーション するシステム BiomedCurator について報告する。

## 2 関連研究

テキストマイニングを使用した医学・生物学情報 の検索をサポートする方法およびウェブツールが いくつか提案されている. 例えば, エンティティ情報の抽出を文書レベルで行う際に，生成的アプロー チを採用したものなどがある [1]. 文のエンコード から文書レベルのグラフを作成し，グラフのエッジ 表現から文書レベルの関係を抽出する方法 [2] や,文書レベルの $n$ 項関係を獲得する手法 [3] などが 提案されている. また, pubmedKB [4] は, バリアン 卜, 遺伝子, 疾患, および化学物質という 4 つの医学・生物学エンティティタイプ間のセマンティッ クな関係を抽出して視覚化するウェブサーバであ り, 多数の PubMed 抄録から意味関係の抽出が可能 である。構造化された関係タプルを抽出するため の文節抽出とメタパターン発見を組み込んだ CPIE (Clause+Pattern-guided Information Extraction) フレー ムワーク [5] や，BERT ベースの言語モデルを使用 した遺伝子-疾患の関係抽出手法 [6], 文献から遺伝子型-表現型の関係抽出のためのパイプライン [7] が 提案されている.

図1スプレッドシート形式の構造化データの例. 1 行目はカテゴリ，2 行目は属性を示す.

図 2 BiomedCurator のワークフロー，入力された PubMed あるいは ClinicalTrials.gov の IDをもとに，(a)から (d) の プロセスを通じて解析し, 各属性の值として出力する. プロセス (c) の結果の一部は再利用され，他の属性を予測 する入力機能として再結合されることを示す.

本稿で対象とするデータキュレーションでは，エ ンティティ抽出，関係抽出，エンティティリンキン グなどに基づくより幅広い情報の抽出を行う.

## 3 提案システム

データ（3.1 節)，キュレーションのための 5 つの 主要な手法 (3.2 節), そのウェブアプリケーション （3.3 節）の順で詳述する.

## 3.1 データセット

ここでは，肺がん，特発性肺線維症（IPF），間質性肺炎（IP）と線維症について過去 5 年間に発表 された無料でアブストラクトと本文が入手可能な PubMed の論文を選択した。抽出する情報を 11 個の カテゴリに分類し，さらにサブカテゴリに分割して 合計 61 個の属性を設けた. これらの属性は創薬の 経験を持つ薬理学者がキュレータの生物学者との 話し合いの中で決定した. 次に，手作業でキュレー ションを行なった. キュレーションには生物学者と 編集者が参加し, 品質保証と品質管理チェックを 行った. 構築した構造化データセットの概要を図 1 に示す 1). 各カテゴリ，サブカテゴリ，属性の詳細 な内容と使用するキュレーション手法は，付録およ びウェブサイト ${ }^{2)}$ に記載した.

1）データセットの公開は検討中.

2) https://github.com/aistairc/BiomedCurator

## 3.2 キュレーション手法

## 3.2.1 関係抽出のための生成的アプローチ

本稿の関係抽出は，抽出すべき情報の論文中の出現位置が訓練データ中で明示されていない，論文中 とは異なる用語や表現が構造化データで使われる 可能性がある，という技術的課題がある. そのた め, 生成問題として $n$ 項関係抽出タスクを定式化す る. 入力テキストに対し，予め定めた構造を表す単語系列を生成する。例えば, eligible patients received up to six cycles of pemetrexed, $500 \mathrm{mg} / \mathrm{m}$ (2) plus cisplatin, $75 \mathrm{mg} / \mathrm{m}(2)$ (day 1) or gemcitabine, $1000 \mathrm{mg} / \mathrm{m}$ (2) (days 1 and 8) plus cisplatin, $75 \mathrm{mg} / \mathrm{m}(2)$ (day 1). os and toxicity were assessed. という入力に対し，次のような系列を 生成する：

[start]

[drug] gemcitabine [/drug] [dose] $1000 \mathrm{mg} / \mathrm{m} 2$ [/dose] [and]

[drug] cisplatin [/drug] [dose] $75 \mathrm{mg} / \mathrm{m} 2$ [/dose] [or]

[drug] pemetrexed [/drug] [dose] $500 \mathrm{mg} / \mathrm{m} 2$ [/dose] [and]

[drug] cisplatin [/drug] [dose] $75 \mathrm{mg} / \mathrm{m} 2$ [/dose] [end]

これは，(gemcitabine, $1000 \mathrm{mg} / \mathrm{m} 2$ ) と (cisplatin, 75 $\mathrm{mg} / \mathrm{m} 2$ )，あるいは (pemetrexed, $500 \mathrm{mg} / \mathrm{m} 2$ ) と (cisplatin, $75 \mathrm{mg} / \mathrm{m} 2$ ) という薬品-投与量の関係を表す.

長い系列に対応できるエンコーダ・デコーダモデ ルとして, BigBirdPegasus [8]を採用し，上記の生成的 アプローチによる関係抽出を行う。このアプローチ を用いるのは, dose, drug, route of administration の 3 個の属性である.

## 3.2.2 エンティティ抽出

エンティティ抽出に帰着できる属性につい ては，SciBERT [9]を用いた. 特に, ethnicityに ついては，同じラベルを持つ OntoNotes 5 [10] を 訓練データとして SciBERT をファインチュー ニングした. Biomarker name については，同様に BioNLP13CG [11] でファインチューニングした. そ れ以外の属性については，擬似訓練データに基づ く distant supervisionを用いた。具体的には，構造化

データのエンティティと表層的に類似している文を 取得し，文字列マッチングにより擬似的にラベル付 けした。

## 3.2.3 テキスト分類

いくつかの属性については，SciBERT により入力テキストをエンコードし分類する方法を用い た.また，他の属性の値が手がかりになる属性に ついては，RandomForest ${ }^{3}$ に基づく分類器を用い た. 例えば, associationについては, marker_type, marker_nature, phenotype の属性値を分散表現で表 し連結したべクトルを入力とし RandomForestを用 いた.

## 3.2.4 正規表現

reference_id, grade, stage, total_sample_number などの属性については, 正規表現により值を抽出し た. 詳細はプロジェクトページに記述した。

## 3.2.5 外部知識ベースからの情報検索

CAS ID, ChEMBL ID, DrugBank ID, Entrez ID, Uniprot ID, HGVS Name, Rs ID, KEGG Pathway Name の 8 個の属性については，外部知識ベーズ ${ }^{4}$ から取得した.

## 3.3 ウェブアプリケーション

BiomedCurator のワークフローを図 2 に示す.ユー ザから入力された PubMed あるいは ClinicalTrials.gov の IDをもとに，（a）オンラインデータベースから 対応する論文を取得し，（b）前処理を経て，（c）さ まざまな種類の情報を抽出するように設計された 5 つの主要なアプローチに適用される. 最後に, 抽出 された情報が返され，（d）各属性の値を表示する.

## 4 実験

## 4.1 データ

PubMed（2,570 論文）と ClinicalTrials.gov (2,371 論文）から構築したキュレーションデータで実験を 行った.データセットの内訳と統計値を表 1 に 示す.

3) https://scikit-learn.org/stable/modules/generated/ sklearn. ensemble. RandomForestClassifier.html

4) https://commonchemistry.cas.org, https://go.drugbank. com, https://www.ncbi.nlm.nih.gov/gene/, https://www. genecards.org, https://www.uniprot.org/uniprot/, https: //www.ncbi.nlm.nih.gov/CBBresearch/Lu/Demo/LitVar/api . html, https://www.ncbi.nlm.nih.gov/CBBresearch/Lu/Demo/ LitVar/api.html, https://www.genome.jp/kegg/pathway.html
データの前処理は 4 つのステップから成る：(1) テキスト正規化，（2）文分割，（3）節分割および段落分割，（4）トークン化.

テキスト正規化 XML タグの削除や，連続する 空白を単一の空白にする作業，特殊記号を空白にす るする作業を行う。その後，ftfy [12]を用いて NFC 形式でユニコード正規化を行う。

文分割 テキスト正規化後に, GENIA 文分割器5) を用いて文分割を行う。

節分割および段落分割 drug と dose の関係な ど，薬品-投与量の関係など，単一文でなく複数文 に渡って記述されている属性があるため，入力テキ ストを節や段落の単位に分割する。まず，XML 形式で与えられている入力テキストのメタデータを 用いる. 分割に利用できるメタデータがない場合 は, Abstract, Introduction, Method, Approach, Results な どのキーワードに基づくルールにより分割を行う.

トークン化 最後に BigBirdPegasus $の$ PegasusTokenizer と SciBERT の BertTokenizer を用いてトークン 化を行う。

## 4.2 計算

すべてのモデルは AdamW [13] を用い学習率 3e-5 で最適化した。関係抽出のための生成モデルは，8 GPU 上で total batch size 32 で 50 エポック訓練した. また，詳細は割愛するが，カリキュラム学習を採用 している. エンティティ抽出モデルは，単一 GPU 上で batch size 32 で 5 エポック訓練した. 計算には, NVIDIA A100 for NVLink 40GiB を用いた。

## 5 結果と考察

表 2 に提案手法による PubMed データセットに含 まれる 17 個の属性へのデータ抽出性能を，適合率 (P)，再現率（R）および $\mathrm{F}$ スコア（F）で示した. $\mathrm{F}$ スコアに基づくほとんどの属性への抽出性能は良好に機能していることを示していた。一方，属性 duration, grade, disease_name, phenotype への性能は他に比べて低かった. disease_name のモデル は, distant supervision による擬似訓練データで学習 されているが，病名には同義語が多いことからこの 擬似訓練データにノイズが多く含まれていることが 再現率低下につながったと考えられる. 対照的に，単一回答のみで構成される PubMed データセットに 含まれる 6 個の属性については，十分に高い結果が 得られた（表 3).

ClinicalTrials.gov データセットへのデータ抽出の

5) http://www.nactem.ac.uk/y-matsu/geniass/
表 1 PubMed と ClinicalTrials.gov から選択収集した各キュレーションデータセットの内訳および統計

表 2 PubMed データセットに含まれる 17 個の属性（複数回答）へのデータ抽出の評価結果

表 3 PubMed データセットに含まれる 6 個の属性（単一回答）へのデータ抽出の評価結果

評価結果を，表 4 および 5 に示す. 属性 duration, disease_sub_category, BNAMIRを除くほとんどの属性に対する抽出性能は良好である。属性 duration への性能の低さは，このゴールドエンティティは 通常，1〜3桁の数字の後に時間の単位を表す単語 が続くことが原因である (例：24 hours，120 days, 2 weeks, 3 months など). 情報の正規化，言い換え，対象の論文以外からの情報の付加が専門家による手動 のキュレーションデータに含まれていた場合，モデ ルによる論文内容からの検索と抽出精度を低下さ せ，評価が困難であった。表 4 ClinicalTrials.gov データセットに含まれる 21 個の属性（複数回答）へのデータ抽出の評価結果. BNAMIR は "biomarker name as modified in reference" の省略表記

表 5 ClinicalTrials.gov データセットに含まれる 3 個の属性（単一回答）へのデータ抽出の評価結果

## 6 おわりに

医学・生物学文献からのデータキュレーションシ ステム BiomedCuration の開発を報告した. 本システ ムは，PubMed および ClinicalTrials.gov に由来する論文から自然言語処理アプローチによる解析を通じて 情報を抽出し，61 個の属性の値として出力する． 2 つのデータセットに対する $\mathrm{F}$ スコアと精度による性能評価から，システムが機能していることを示す結果が得られた。また，本システムはインタラクティ ブなウェブアプリケーションとして公開している.今後は，システムのさらなる改善のために，n 項関係抽出などの新しい機能の実装を計画している。

## 謝辞

本稿で紹介した研究は，官民研究開発投資拡大プ ログラム（PRISM）「新薬創出を加速する症例デー タベースの構築・拡充/創薬ターゲットの推定アル ゴリズムの開発」の助成を受けたものです.

## 参考文献

[1] Kung-Hsiang Huang, Sam Tang, and Nanyun Peng. Document-level entity-based extraction as template generation. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 5257-5269, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics. https://aclanthology.org/2021 . emnlp-main. 426.

[2] Fenia Christopoulou, Makoto Miwa, and Sophia Ananiadou. Connecting the dots: Document-level neural relation extraction with edge-oriented graphs. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 4925-4936, Hong Kong, China, November 2019. Association for Computational Linguistics. https://aclanthology .org/D19-1498.

[3] Robin Jia, Cliff Wong, and Hoifung Poon. Documentlevel n-ary relation extraction with multiscale representation learning. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 3693-3704, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics. https: //aclanthology .org/N19-1370.

[4] Peng-Hsuan Li, Ting-Fu Chen, Jheng-Ying Yu, ShangHung Shih, Chan-Hung Su, Yin-Hung Lin, Huai-Kuang Tsai, Hsueh-Fen Juan, Chien-Yu Chen, and Jia-Hsin Huang. pubmedKB: an interactive web server for exploring biomedical entity relations in the biomedical literature. Nucleic Acids Research, Vol. 50, No. W1, pp. W616-W622, 05 2022. https://doi .org/10.1093/ nar/gkac310.

[5] Xuan Wang, Yu Zhang, Qi Li, Yinyin Chen, and Jiawei Han. Open information extraction with meta-pattern discovery in biomedical literature. Proceedings of the 2018 ACM International Conference on Bioinformatics, Computational Biology, and Health Informatics, 2018.

[6] Chuan Deng, Jiahui Zou, Jingwen Deng, and Mingze Bai. Extraction of gene-disease association from literature using biobert. The 2nd International Conference on Computing and Data Science, 2021.

[7] Wenhui Xing, Junsheng Qi, Xiaohui Yuan, Lin Li, Xiaoyu Zhang, Yuhua Fu, Shengwu Xiong, Lun Hu, and Jing Peng. A gene-phenotype relationship extraction pipeline from the biomedical literature using a representation learning approach. Bioinformatics, Vol. 34, No. 13, pp. i386-i394, 062018. https://doi.org/10.1093/bioinformatics/ bty263.
[8] Manzil Zaheer, Guru Guruganesh, Avinava Dubey, Joshua Ainslie, Chris Alberti, Santiago Ontañón, Philip Pham, Anirudh Ravula, Qifan Wang, Li Yang, and Amr Ahmed. Big bird: Transformers for longer sequences. CoRR, Vol. abs/2007.14062, , 2020. https://arxiv.org/abs/ 2007.14062 .

[9] Iz Beltagy, Kyle Lo, and Arman Cohan. SciBERT: A pretrained language model for scientific text. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3615-3620, Hong Kong, China, November 2019. Association for Computational Linguistics. https://aclanthology .org/D19-1371.

[10] Sameer S. Pradhan, Eduard Hovy, Mitch Marcus, Martha Palmer, Lance Ramshaw, and Ralph Weischedel. Ontonotes: A unified relational semantic representation. In International Conference on Semantic Computing (ICSC 2007), pp. 517-526, 2007.

[11] Sampo Pyysalo, Tomoko Ohta, Rafal Rak, Andrew Rowley, Hong-Woo Chun, Sung-Jae Jung, Sung-Pil Choi, Jun'ichi Tsujii, and Sophia Ananiadou. Overview of the cancer genetics and pathway curation tasks of BioNLP shared task 2013. BMC bioinformatics, Vol. 16, No. 10, pp. $1-19,2015$.

[12] Robyn Speer. ftfy. Zenodo, 2019. Version 5.5.

[13] Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization. In International Conference on Learning Representations, ICLR 2019, New Orleans, USA, 2019. https://openreview.net/forum? id=Bkg6RiCqY7.

## A 付録

表 6 各カテゴリとそのサブカテゴリである属性（1 列目と 2 列目）の詳細な内容（4 列目）および使用するアプローチ の一覧（3列目．PE：パターンに基づく抽出， $\mathrm{RE}$ ：関係抽出， $\mathrm{EE}$ ：エンティティ抽出， EL：エンティティ・リンキング， TC：テキスト分類）．FV（Fixed Value）はキュレートデータの特定の値，NA は現時点で未対応であることを意味する.

 &  &  &  \\