# 異なる難易度の参照文を用いる多段階難易度制御翻訳

谷 和樹 ${ }^{1}$ 湯浅 亮也 ${ }^{1}$ 田村 晃裕 ${ }^{1}$ 梶原 智之 ${ }^{2}$ 二宮 崇 ${ }^{2}$ 加藤 恒夫 ${ }^{1}$
1 同志社大学 2 愛媛大学
\{ctwh0176@mail4,ctwh0190@mail4, aktamura@mail,tsukato@mail\}.doshisha.ac.jp
\{kajiwara,ninomiya\}@cs.ehime-u.ac.jp

## 概要

本研究では，目的言語文の難易度を多段階で制御 する機械翻訳（多段階難易度制御翻訳）のための学習方法として，異なる難易度の参照文を用いる手法 を提案する。従来手法では，原言語文と難易度付き 目的言語文の文対の単位でモデルの学習を行うた め，同一の原言語文に対応付く異なる難易度の目的言語文間を対比させた学習を行えない。そこで本研究では，学習対象の参照文と共に異なる難易度の参照文も使い, 出力が学習対象の難易度から離れるほ ど大きな損失を与えるぺナルティ項を導入した損失関数を用いる学習手法を提案する. 日英多段階難易度制御翻訳の実験を行い，提案手法により BLEU が 0.66 ポイント改善できることを確認した.

## 1 はじめに

近年，ニューラル機械翻訳（NMT）はますます発展・普及し, 利用者層が幅広くなっている. 従来の 一般的な NMT は, 利用者や状況に依らない一律な 翻訳を行う。一方で，近年では，出力される目的言語文の表現を制御するための研究が盛んになってい る $[1,2,3]$. そのひとつに，ユーザの読解レベルに あわせた翻訳を行うため，原言語文と共に難易度を 入力として受け付け，指定された難易度の目的言語文を生成する難易度制御翻訳がある。

初期の難易度制御翻訳では，難易度は 2 段階 [4] であったが，近年では，より柔軟に出力文の難易度を制御するため，3 段階以上の難易度（例えば，小学生, 高校生,一般, 専門家向けなど）を制御可能な多段階難易度制御翻訳 (Multi-Level Complexity Controlling Machine Translation: MLCCMT) [5, 6] の研究が行われている. 先行研究 [5] は英語-スペイン語間の MLCCMT に取り組み，マルチタスクモデルを 提案している. マルチタスクモデルは, MLCCMT をメインタスクとし，難易度を制御しない通常の機械翻訳と同一言語内での平易化（単言語平易化） の 2 つのサブタスクと共にマルチタスク学習で学習されるモデルである. また，先行研究 [6] は日英 MLCCMT に取り組み，先行研究 [5] の手法を日英の 言語対に適用している。

MLCCMT の学習では，表 1 のような，一つの原言語文が難易度の異なる複数の参照文に対応する教師データを使用できる. しかし, 従来の学習では,原言語文と難易度付き目的言語文の文対の単位で学習を行う。例えば，表 1 の教師データは従来手法で は 3 つの教師データ（日本語文-難易度 12 の英語文,日本語文-難易度 7 の英語文，日本語文-難易度 4 の 英語文）に分解される．そして，教師データの各文対は独立に扱われる．そのため，難易度 12 の英語文への翻訳を学習する際，難易度 4 や難易度 7 の英語文と対比させた学習を行うことはできない.

そこで本研究では，同一の原言語文と難易度の異 なる複数の参照文からなる組の単位で MLCCMT モ デルを学習する手法を提案する。提案手法では，学習対象の参照文と共に異なる難易度の参照文も使 い，出力が学習対象の難易度から離れるほど大きな 損失を与えるペナルティ項を導入した損失関数に基 づき MLCCMT モデルを学習する．これにより，例 えば表 1 の教師データを用いて難易度 12 の英語文 への翻訳を学習する際，出力を難易度 12 の英語文 に最も近づけ，かつ，難易度 4 の英語文より難易度 7 の英語文に近づけるように学習を行う。

提案手法の有効性を先行研究 [6] で作成された評価データセットを用いた日英多段階難易度制御翻訳 の実験で検証した. その結果，提案損失関数を利用 することで BLEUが 0.66 ポイント改善でき，提案手法の有効性を確認した.

## 2 従来研究

本節では，MLCCMT の従来研究を述べる. 先行研究 [5] では，MLCCMT の研究が初めて行われ，英
表 1 提案手法で用いる教師データの例

図 1 提案手法の概要図

語-スペイン語間の MLCCMT モデルとしてマルチタ スクモデルが提案された. マルチタスクモデルで は，以下の式 (1) の損失関数に基づき，通常の機械翻訳と単言語平易化の 2 つのサブタスクとメインタ スクのMLCCMTを1つのモデルで同時に学習する。

$
\begin{aligned}
& \text { loss }=L_{M T}+L_{\text {Simplify }}+L_{C M T} \\
& L_{M T}=\sum_{\left(s_{i}, s_{o}\right) \in D_{M T}} \operatorname{CrossEntropy}\left(\left(s_{i} ; \theta\right), s_{o}\right)
\end{aligned}
$

$
\begin{aligned}
& L_{C M T}=\sum_{\left(s_{i}, c_{o}, s_{o}\right) \in D_{C M T}} \text { CrossEntropy }\left(\left(s_{i}, c_{o} ; \theta\right), s_{o}\right)
\end{aligned}
$

ここで， $\theta$ はモデルパラメータ,$s_{i}$ は原言語文, $s_{o}$ は 目的言語文， $s_{o^{\prime}}$ は $s_{O}$ を平易化した文， $c_{o / o^{\prime}}$ は $s_{o / o^{\prime}}$ の難易度である. また， $D_{M T}, D_{S}, D_{C M T}$ は，それ ぞれ，通常の機械翻訳，単言語平易化，MLCCMT 用 の教師データである.

先行研究 [5] では， ベースラインの MLCCMT と して，難易度を制御しない通常の機械翻訳モデルと 単言語平易化モデルをパイプラインでつなげたパイ プラインモデルが実装され，実験でマルチタスクモ デルと比較された. その結果，マルチタスクモデル の方が性能が高いことが示されている。これらのモ デルの教師データや評価データは，様々な難易度で記述された英語とスペイン語のニュース記事からな る Newselaコーパス1）から自動作成されている.

先行研究 [6] は日英 MLCCMT に取り組んでいる.人手翻訳により日英 MLCCMT 用の評価データセッ トを作成し, 先行研究 [5] のモデルを日英 MLCCMT に適用し，その性能を報告している。

これらの先行研究で使われている従来の MLCCMT は，原言語文と難易度付き目的言語文の 文対の単位で学習されている。そのため，同一の原言語文に対応付く異なる難易度の目的言語文間を対比させた学習を行うことができない.

## 3 提案手法

本節では，学習対象の難易度の参照文と共に異な る難易度の参照文も用いて MLCCMT モデルを学習 する手法を提案する．具体的には，指定された難易度の参照文に対する従来の損失と共に，出力と指定以外の難易度の参照文との損失が指定難易度の参照文との損失よりも小さくなることに対して，難易度 が離れるほど大きなぺナルティを与える損失関数に 基づき MLCCMT モデルを学習する. 提案手法の概要を図 1 に示す.

提案手法では，同一の原言語文と難易度の異なる 複数の参照文からなる組の単位で MLCCMT モデル を学習する。表 1 に提案手法で用いる教師データの 例を示す. 実験では，英語の多段階難易度コーパス

Newsela-auto [7] の最高難易度の英語文を Google 翻訳で日本語文に翻訳することで日英 MLCCMT の教師データを作成した。作成した教師データは，一つ の日本語文に対して難易度がそれぞれ異なる 3 か ら 5 文の英語文が対応付けられている. 提案手法で は，そのまとまり（組）単位で学習を行う。

具体的には，以下の式 (5)の損失関数を最小化す ることでモデルを学習する。提案損失関数は, 同一 の原言語文に対応付けられた難易度の異なる複数の 参照文をまとめた組単位で定義される。

$
\begin{gathered}
\text { loss }=L_{\mathrm{tgt}}+\alpha \cdot \frac{1}{n-1} \sum_{k=1}^{n-1} d_{k}^{2} \cdot \max \left(L_{\mathrm{tgt}}-L_{\mathrm{sub}_{k}}, 0\right) \\
L_{\mathrm{tgt}}=\text { CrossEntropy }\left(\left(x, c_{\mathrm{tgt}} ; \theta\right), y_{\mathrm{tgt}}\right) \\
L_{\mathrm{sub}_{k}}=\operatorname{CrossEntropy}\left(\left(x, c_{\mathrm{tgt}} ; \theta\right), y_{\mathrm{sub}_{k}}\right)
\end{gathered}
$

ここで, $\operatorname{tgt} と \operatorname{sub}_{k}$ は, それぞれ, 学習対象の参照文と 同一組内の学習対象以外の参照文を表す. $n$ を組内 の参照文数とすると, $\operatorname{sub}_{k}$ の数は $n-1(k=1, \ldots, n-1)$ である. そして, $L_{\mathrm{tgt}}, L_{\mathrm{sub}_{k}}, x, y, c, \theta, \alpha, d_{k}$ は，それぞ れ, 学習対象の難易度の参照文との誤差, 学習対象以外の難易度の参照文との誤差，原言語文，目的言語文，難易度，モデルパラメータ，ハイパーパラ メータ，難易度の差 $\left(d_{k}=c_{\mathrm{tgt}}-c_{\mathrm{sub}_{k}}\right)$ である.

提案損失関数は, 第 1 項目の $L_{\mathrm{tgt}}$ により, 出力を 学習対象の参照文に近づける. この項は, 従来の学習で用いられている損失と同じである。これに加え て第 2 項目で, 出力が組中の参照文の中で学習対象 の参照文に最も近づくように， $L_{\mathrm{tgt}}-L_{\mathrm{sub}_{k}}>0$ の時 にペナルティを与える。この際，表 1 の例のよう に，難易度が離れるほど語彙や構文が変化して出力 が異なる傾向があるため, 難易度の差の二乗 $\left(d_{i}{ }^{2}\right)$ を掛けて，学習対象の難易度から離れた難易度の参照文ほど大きなぺナルティを与える．また，学習対象以外の参照文数 $(n-1)$ は組によって異なるた め, その数で割る.このペナルティ項の影響度は八 イパーパラメータ $\alpha$ で制御する. $\alpha=0$ のときは学習対象以外の参照文を用いない従来の学習手法と同等になる.

## 4 実験

## 4.1 実験設定

本実験では，日英多段階難易度制御翻訳の実験 により，提案手法の有効性を検証する。評価デー 夕は先行研究 [6] で作成された日英 MLCCMT 用評価データ（1,014 組）を用いた. 教師データは $D_{M T}, D_{C M T}, D_{S}$ の 3 種類のデータを用いた. $D_{M T}$ は，JParaCrawl [8] と News-Commentary $の$ 日英対訳文対からなる機械翻訳用データであり， $D_{S}$ は， Newsela-auto [7] 中の英語文集合毎に抽出した最高難易度の英語文とそれ以外の英語文の対からなる 単言語平易化用データである. そして， $D_{C M T}$ は, Newsela-auto [7] 中の各英語文集合に対して, 最高難易度の英語文を Google 英日翻訳で翻訳した日本語文を付与した MLCCMT 用データ（ただし，評価 データセット [6] に含まれるデータは除く) である.各教師データのデータ量は付録 A の表 4 に示す.

本実験では提案手法の有効性を検証するため, 3 節で説明した提案手法と，提案手法において八 イパーパラメータ $\alpha$ を 0 にしたべースライン手法の性能を比較する。また，2 節で述べた従来の マルチタスクモデルの性能とも比較する. 各モ デルは Transformer モデル [9]を採用した. 実装は Fairseq [10]を用いた.

マルチタスクモデルでは, 先行研究 [6] と同様に,日英 MLCCMTをメインタスク，通常の日英翻訳と 英語多段階平易化をサブタスクとしたマルチタス ク学習を行った. 日英 MLCCMT タスクの学習には $D_{C M T}$, 日英翻訳タスクと英語多段階平易化タスク の学習には，それぞれ， $D_{M T}$ と $D_{S}$ を使用した. そ の他の実験設定は付録 A の表 5 に示す.

提案手法では，まず， $D_{M T}$ を用いて日英 NMT モ デルの事前学習を行った.この事前学習の設定は, Kiyono ら [11]に倣った. その後， $D_{C M T}$ を用いて 3 節の提案損失関数により, 事前学習したモデルを ファインチューニングした。 ハイパーパラメータ $\alpha$ のチューニングは，検証データに対する BLEU [12] の値に基づいて行った. その結果，提案手法の $\alpha$ は 0.5 とした. チューニングの詳細は付録 A の表 6 に 示す. その他の実験設定は付録 A の表 5 に示す.

評価指標は, 先行研究 [6] 同様, 翻訳性能の指標 として BLEU [12], 平易化の指標として SARI [13]を 用いた. また, 目的難易度の出力文集合から算出 した fkgl [14] と目的難易度との平均絶対誤差であ る $\mathrm{MAE}_{f k g l}$ [15] も用いた. これらの指標の数值は, EASSE [16] を用いて算出した。

## 4.2 実験結果

実験結果を表 3 に示す. 提案手法及びマルチタス クモデルの性能は，ランダムシードを変更して学習
表 2 翻訳結果の比較（BS：ベースライン手法（ $\alpha=0.0)$ ，従来：マルチタスクモデル，提案：提案手法）

表 3 実験結果

した 3 回の実験結果の平均の値である. 表 3 より,提案手法の方がベースライン手法 $(\alpha=0.0)$ の性能 よりも高いことが分かる.これより，提案損失関数 に基づき，学習対象以外の参照文も用いて学習す ることで MLCCMT の性能を改善できることが分か り，提案手法の有効性を確認できた。

また表 3 より，提案手法は従来研究 [6] のパイプ ラインモデルやマルチタスクモデルよりも高い性能 を達成できたことが分かる. ただし, 従来研究のマ ルチタスクモデル [6] の教師データ量は本実験で使用した教師データ量よりも少ないことに注意された い (付録 A の表 4 参照). 提案手法と教師データ量 を揃えた本実験のマルチタスクモデルには，提案手法はわずかに及ばない結果となった.

## 5 考察

本節では，各モデルが出力した翻訳結果の例を比較する．例としてテストデータの中で最も難易度の 段階数が多い 5 段階の組から抽出した翻訳例を表 2 に示す. 表 2 において，BS がべースライン手法 $(\alpha=0)$ ，従来がマルチタスクモデル，提案が提案手法である、マルチタスクモデルと提案手法では, 異
なるランダムシードを用いて 3 回実験を行ったた め，3つの翻訳結果が得られる。表 2 では，BLEU の値が最も良かったシードを用いた場合の翻訳結果 を示している。

表 2 より，ベースライン手法は目的の難易度が異 なる場合にも同じ出力をする場合がある．その一方 で提案手法は，従来手法のうち最高性能であるマル チタスクモデルと同様に，目的の難易度ごとに適切 に異なる出力を行っていることが分かる.これよ り，提案損失関数によって異なる難易度の参照文を 対比させて学習させることで，難易度を制御しやす くなることが実例により確認できた。

## 6 まとめ

本研究では，多段階難易度制御翻訳のための学習手法として，学習対象の難易度の参照文と共に異な る難易度の参照文も用いて，出力が学習対象の難易度の参照文から離れるほど大きな損失を与えるぺナ ルティ項を導入した損失関数に基づき学習する手法を提案した。そして，日英多段階難易度制御翻訳 の実験を通じて提案手法の有効性を確認した. 今後 は，マルチタスクモデルと提案損失関数を組み合わ せることで更なる性能改善が実現できるかを検証す る予定である.

## 謝辞

本研究は JSPS 科研費 JP22K12177，JP21K12031 の 助成を受けたものである. また，本研究成果の一部

は, 国立研究開発法人情報通信研究機構の委託研究 (No. 225) により得られたものである.ここに謝意 を表する。

## 参考文献

[1] Rico Sennrich, Barry Haddow, and Alexandra Birch. Controlling politeness in neural machine translation via side constraints. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 35-40, 2016.

[2] James Kuczmarski and Melvin Johnson. Gender-aware natural language translation. In Technical Disclosure Commons, (October 08, 2018), 2018.

[3] Andrea Schioppa, David Vilar, Artem Sokolov, and Katja Filippova. Controlling machine translation for multiple attributes with additive interventions. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 6676-6696, 2021.

[4] Kelly Marchisio, Jialiang Guo, Cheng-I Lai, and Philipp Koehn. Controlling the reading level of machine translation output. In Proceedings of Machine Translation Summit XVII: Research Track, pp. 193-203, 2019.

[5] Sweta Agrawal and Marine Carpuat. Controlling text complexity in neural machine translation. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 1549-1564, 2019.

[6] Kazuki Tani, Ryoya Yuasa, Kazuki Takikawa, Akihiro Tamura, Tomoyuki Kajiwara, Takashi Ninomiya, and Tsuneo Kato. A benchmark dataset for multi-level complexitycontrollable machine translation. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 6744-6752, Marseille, France, June 2022. European Language Resources Association.

[7] Chao Jiang, Mounica Maddela, Wuwei Lan, Yang Zhong, and Wei Xu. Neural CRF model for sentence alignment in text simplification. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7943-7960, 2020.

[8] Makoto Morishita, Jun Suzuki, and Masaaki Nagata. JParaCrawl: A large scale web-based English-Japanese parallel corpus. In Proceedings of the 12th Language Resources and Evaluation Conference, pp. 36033609, Marseille, France, May 2020. European Language Resources Association.

[9] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, L ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in Neural Information Processing Systems, Vol. 30, 2017.

[10] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A fast, extensible toolkit for sequence modeling. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computa- tional Linguistics (Demonstrations), pp. 48-53, 2019.

[11] Shun Kiyono, Takumi Ito, Ryuto Konno, Makoto Morishita, and Jun Suzuki. Tohoku-AIP-NTT at WMT 2020 news translation task. In Proceedings of the Fifth Conference on Machine Translation, pp. 145-155, 2020.

[12] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, 2002.

[13] Wei Xu, Courtney Napoles, Ellie Pavlick, Quanze Chen, and Chris Callison-Burch. Optimizing statistical machine translation for text simplification. Transactions of the Association for Computational Linguistics, Vol. 4, pp. 401-415, 2016.

[14] J Peter Kincaid, Robert P Fishburne Jr, Richard L Rogers, and Brad S Chissom. Derivation of new readability formulas (automated readability index, fog count and flesch reading ease formula) for navy enlisted personnel. Technical report, Naval Technical Training Command Millington TN Research Branch, 1975.

[15] Daiki Nishihara, Tomoyuki Kajiwara, and Yuki Arase. Controllable text simplification with lexical constraint loss. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics: Student Research Workshop, pp. 260-266, 2019.

[16] Fernando Alva-Manchego, Louis Martin, Carolina Scarton, and Lucia Specia. EASSE: Easier automatic sentence simplification evaluation. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP): System Demonstrations, pp. 4954, Hong Kong, China, November 2019. Association for Computational Linguistics.

## A 付録

本付録では，教師データの統計量を表 4 に示し，実験で用いたモデルの詳細設定を表 5 に示す. そして，提案手法のハイパーパラメータ $\alpha$ のチューニング結果を表 6 に示し，提案手法とマルチタスクモデルのラン ダムシードごとの実験結果を，それぞれ，表 7 と表 8 に示す.

表 4 各モデルで使用する教師データ（文対数）

表 5 Fairseq を用いた実験設定

表 6 ハイパーパラメータ $\alpha$ のチューニング（検証データにおける性能）

表 7 提案手法 $(\alpha=0.5)$ のランダムシード毎の実験結果

表 8 マルチタスクモデルのランダムシード毎の実験結果


# トポロジカルソートと BERT を用いた日本語文の語順整序

孫鵬 1 大野誠宽 ${ }^{2}$ 松原 茂樹 1
1 名古屋大学大学院情報学研究科 2 東京電機大学未来科学部
sun.peng.z4@s.mail.nagoya-u.ac.jp ohno@mail.dendai.ac.jp
matsubara.shigeki.z8@f.mail.nagoya-u.ac.jp

## 概要

日本語では，文法的には間違っていないものの読 みにくい語順を持った文が作成される場合がある。本稿では，推敲支援のための要素技術として，読み にくい語順をもった日本語文を読みやすい語順に整 える手法を提案する。本手法では，BERTを用いて 1 文内のあらゆる 2 文節間の前後関係を推定し，そ の推定した前後関係をエッジ，各文節をノードとす るグラフに対して，トポロジカルソートを実行する ことにより，文節を並べ替える。

## 1 はじめに

日本語は語順が比較的自由であるとされている が，実際には語順に関して選好が存在している. そ のため，文法的には間違っていないものの読みにく い語順を持った文が作成されることがある.

そのような文の推敲支援を目的に，語順整序に関 する研究がいくつか行われている $[1,2,3,4]$. いず れも，既知の係り受け情報，あるいは，同時的に解析し得られる部分的な係り受け情報を用いている. しかし，読みにくい語順の入力文は係り受け解析の 精度は低下し，その結果，語順整序の精度も低下す るという問題がある.

そこで本稿では，係り受け解析を陽に施すことな く，読みにくい語順をもった日本語文を読みやすい 語順に整える手法を提案する. 本手法では，BERT を 用いて 1 文内のあらゆる 2 文節間の前後関係を推定 し，その推定した前後関係をエッジ，各文節をノー ドとするグラフに対して，トポロジカルソートを実行することにより，文節を並べ替える。係り受け情報を利用できなければ語順の候補を絞ることはでき ず，膨大な候補の中から最適な語順を探索する必要 があるが，本手法ではトポロジカルソートを用いる ことにより効率的に探索する。
(S1) 読みにくい語順を持つ文

(S2) 読みやすい語順を持つ文

図 1 読みにくい文と読みやすい文の例

## 2 日本語の語順と係り受け

本研究では，日本語母語話者の推敲支援を目的と するため, 文法的に間違っていないが読みにくい語順の文を入力として想定する．日本語母語話者であ れば，文法的に誤った語順の日本語文を作ることは 稀であるが，語順に関する選好を強く意識しなけれ ば，読みにくい語順の文を無意識に作り出すことが あるためである.

日本語の語順に関する選好としては，格要素は 基本的にガ格，二格， ヨ格の順に配置されること， また，その基本的な順序は長い従属関係など他の 要因の影響を受けてしばしば変更されることなど $[5,6,7]$ が知られている. 図 1 の 2 文は，共に文法的 に正しく，同じ意味を持っており，語順だけが異な る.ここで，四角と矢印はそれぞれ文節，係り受け 関係を表す．S1 の語順は，S2 の語順に比べ，読み にくい。これは，文節の「家を」とその係り先文節「出た」の距離が長いためである [8]. このことは，読みやすく文節を並び替える際に，係り受け情報が 有益であることを示唆している。

一方，文法的に正しい文は，日本語の構文的制約（後方修飾性，非交差性，係り先の唯一性） [9]を満たす。そのため，語順整序の前に 1 文 の係り受け構造を解析できれば，それに基づ いて最適な語順の候補を絞ることができる。例 えば図 1 の係り受け構造の場合，語順の候補 は 6 通り (" $b_{1} b_{2} b_{3} b_{4} b_{5}$ ", " $b_{1} b_{3} b_{4} b_{2} b_{5}$ ", " $b_{2} b_{1} b_{3} b_{4} b_{5}$ ", “ $b_{2} b_{3} b_{4} b_{1} b_{5}$ ", " $b_{3} b_{4} b_{1} b_{2} b_{5}$ ", " $b_{3} b_{4} b_{2} b_{1} b_{5}$ ") となる.
語順整序の従来手法 $[1,10,11,12,13,14,15]$ では,係り受け解析が予め行われていることを前提とし，語順と係り受けの間の選好を用いて，日本語の構文的制約を満たす語順の候補の中から最も適切な語順 を同定している. しかし，係り受け解析器は通常， S2 のような適切な語順を持つ文に係り受け情報を 付与したコーパスを用いて学習しているため，一般 に S1 に対する解析精度は S2 より低下する。

語順整序に係り受け解析を利用しないと，上記の 構文的制約に基づいて語順の候補を絞ることはでき ず，入力文中の全文節から考えられる膨大な数の順列の中から最適な順列を選択する必要がある。 入力文が $n$ 個の文節を持つ場合，考えられる順列の数は $n$ ! 個である（図 1 では, $5 !=120$ ). そのため, $n$ ! 個 の候補の中から最適な順列を効率的に探索するアル ゴリズムを採用する必要がある. 加えて，文節の並 び替えに有効な係り受け情報を利用できないため，係り受け情報を直接使用することなく適切な語順を 予測できるモデルを採用する必要がある.

## 3 トポロジカルソート

トポロジカルソート $[16,17]$ は，有向非巡回グラ フ内の全ノードを順序付けて一次元に並べるアルゴ リズムである．概説すると，全てのノードは，それ ぞれの出力エッジの先にある隣接ノードょりも先行 するように，線形に並べられる。例えば，あるノー ド $v$ からノード $u$ のエッジ $v \rightarrow u$ を持つとき,$v$ は $u$ よりも前に来るように順序付けられる.

トポロジカルソートは，何らかのソートを行う 自然言語処理タスクに応用されている. 例えば， Prabhumoye らは，トポロジカルソートを用いた文整序手法を提案している $[18,19]$. 文整序とは，テキ スト中の一貫性を最大化するように，その内部の文 を並び替えるタスクであり，複数文書要約 [20]，調理手順生成 [21] などに応用される. 彼らの研究で は，テキスト内の各 2 文間の相対順序を予測し，そ の予測結果を各 2 文間の前後関係の制約とみなして いる.この制約条件の集合を表現するために，有向非巡回グラフを作成し，それにトポロジカルソート を適用することで最適な文の順序を求める. 文内の 語順整序は，構成要素を並べ替えるという点で文整序と似ているため，トポロジカルソートを同様に利用できると考えられる。

トポロジカルソートの時間計算量は $O(|V|+|E|)$ である.ここで， $V$ と $E$ はそれぞれ，有向非巡回グ

図 2 本手法の概要

ラフの全ノードと全エッジの集合を意味する。トポ ロジカルソートを用いて日本語文を語順整序する場合，有向非巡回グラフは，文中の文節を表すノード と，文節間の前後関係を表すエッジを持つことにな る. 入力文が $n$ 個の文節を持つ場合， $|V|$ は $n,|E|$ は ${ }_{n} C_{2}=\left(\begin{array}{l}n \\ 2\end{array}\right)=n *(n-1) / 2$ となるため, トポロジカル ソートの時間計算量は $O\left(n^{2}\right)$ となる. したがって, トポロジカルソートは，2 節で述べた計算コストが 高くなるという問題を解決することが期待できる.

## 4 提案手法

本手法では，文法的に誤っていないものの読みに くい語順を持った文の入力を想定し，文内の文節を 読みやすく並べ替える。概要を図 2 に示す。

まず，読みにくい語順の文の文節列が入力され （図 2 では「私は/家を/都会に憧れ/出た.」），このう ち，文末文節を除いた文節集合（図 2 では，\{私は，家を,都会に，憧れ\}）から，あらゆる 2 文節の組み合 せを取り出し，その 2 文節間の前後関係を BERT を 用いて推定する1). 次に，推定した前後関係をエッ ジ，各文節をノードとする有向グラフを作成し，そ れが有向巡回グラフであった場合，トポロジカル ソートを適用可能な有向非巡回グラフに変換する.

1）なお，日本語の場合，文法的に誤っていない文が入力され たならば，その入力文の文末文節は，語順整序後の文でも必 ず文末となるため，並べ替える対象から外している。
変換手法は, Prabhumoye らの手法 [18] のソースコー ドを参照したものとなっており，トポロジカルソー 卜を行う中で，閉路が見つかるたびに，閉路を構成 する最後のエッジ（探索済みのノードに再び戻って くるエッジ）を削除するということを閉路が存在し なくなるまで繰り返す。最後に，上記で作成された 有向非巡回グラフに対してトポロジカルソート2)を 適用し，各ノード（各文節）を順に並べる。

## 4.12 文節間の前後関係の推定

2 文節間の前後関係の推定する BERT モデル の概要を図 3 に示す. 入力文の文節列を $B=$ $b_{1} b_{2} \cdots b_{n}$ とするとき, 文末文節 $b_{n}$ を除いた文節集合 $\left.\{b_{1}, b_{2}, \cdots, b_{n-1}\right.\}$ から取り出した 2 文節を $b_{i}, b_{j}(1 \leq i<j \leq n-1)$ とする.このとき, BERTへ の人力は, “[CLS] $b_{i}$ [SEP] $b_{j}$ [SEP] $b_{1} b_{2} \cdots b_{n}$ [SEP]" として，サブワード分割を施したものとする.

ここで入力文の語順は，文法的には誤っていない ため，部分的には適切な語順，すなわち，多くの文節の相対的な位置は, 語順整序後も入力時と変わら ず，その情報を入力文は保持していると考えられ る. また大力文には, 語順整序に有益な文節間の係 り受け情報が暗黙的に含まれていると考えられる。以上より，本手法では，BERT モデルへの入力に入力文全体 $b_{1} b_{2} \cdots b_{n}$ を加えた.

BERT の出力は, $b_{i}$ が $b_{j}$ よりも文頭側にある（大力文の語順の正順である）方が読みやすい確率と，文末側にある（入力文の語順とは逆順である）方が 読みやすい確率の 2 值である. 高い確率が与えられ た前後関係を推定結果とする。

## 4.2 学習データの作成

BERT モデルの学習データとして，どのような データを使用するかも重要となる。単純には，新聞記事文などの読みやすい文に含まれる文節間の前後関係を使用することが考えらえる．このアプローチ では， 1 文中から 2 文節 $b_{i}$ と $b_{j}(i<j)$ を取り出した ときに，その文の語順と同一の前後関係 “ $b_{i} \rightarrow b_{j}$ ” に「正順」，その逆の前後関係 “ $b_{i} \leftarrow b_{j}$ ” に「逆順」 のラベルを付与して学習データを作る. その結果,正例「正順」と負例「逆順」は同数となる.しかし，人間が実際に作文した読みにくい文に，このような 傾向があるとは考えにくい.

一方，人間が実際に作った読みにくい文の傾向を

図 32 文節間の前後関係の推定例

学習するためには，それらの文から 2 文節の組合せ を取り出し, 各々に人手でラベルを付与する必要が あり，そのコストは非常に高い.

そこで，新聞記事文は読みやすい語順で書かれて いるという前提で，その各文から読みにくい語順の 擬似文を機械的に作成することにした。具体的に は，新聞記事文から読点を取り除いた上で，2 節で 述べた構文的制約を保持させつつ, ランダムに語順 を変更して作成した. このようにして作成した擬似文は，構文的制約を満たすため，文法的な正しさが 維持され, 新聞記事文の語順とは異なるため, 読み にくい語順となっていることが想定できる.

## 5 評価実験

本手法の有効性を確認するため，語順整序実験を 実施した. 新聞記事中の文から人手で擬似的に作成 した読みにくい語順の文に対して本手法を適用し，元の文の語順をどの程度再現できるかを測定した.

## 5.1 実験概要

テストデータ及び開発データには，宮地ら [3] と 同じ手順で，京大テキストコーパス [22]をもとに人手を介して疑似的に作成された読みにくい語順の文 1,000 文をそれぞれ用いた。学習データには， 4.2 節 で作成した 34,199文を用いた3).

評価では， 2 文節単位一致率（文末文節を除く文節を 2 文節ずつ取り上げ，その順序関係が元の文と 一致する割合）[5] と文単位一致率（元の文の語順と 完全に一致する文の割合）[2]を測定した。

比較のため，以下の 4 つの手法を用意した. [random]: 文末以外の語順をランダムに変更する.

[no reordering]: 入力文をそのまま出力する.

[Dep+TS]: 係り受け解析結果をもとに，構文的制約 だけでは定まらない語順に対してのみトポロジカル

表 1 実験結果

入力：-つには どう 總理が 率いる 社会党が なるか。

本手法(正解)：一つには 總理が 率いる 社会党が どう なるか。

[Dep+TS]：一つには 總理が どう 率いる 社会党が なるか。

図 4 本手法が正解し, [Dep+TS] が不正解だった例

ソートを用いた語順整序を行う。まず入力文に係り 受け解析を施し，その結果をもとに，直接的に係り 受け関係にある 2 文節間の前後関係を構文的制約か ら決定する. 直接的に係り受け関係にない 2 文節間 の前後関係は，本手法の BERT モデルにより推定す る. 以上によって定めた全 2 文節間の前後関係から 構築した有向グラフに対して, 本手法と同じ手順で トポロジカルソートを適用し，語順整序を行う。な お，係り受け解析器には CaboCha[23] を用いた.

$[\mathbf{N L M}]$ : 係り受け解析を施すことなく，言語モデル を用いて語順整序を行う．具体的には，まず，入力文に対して，文末を除く2 文節のみを入れ替えたあ らゆる語順を考え，それらを候補文とする 4 ). 次に， これらの候補文と入力文の各文に対して言語モデル を適用しスコアを算出し，そのスコアが最大となる 文を読みやすい文として出力する．言語モデルのス コアは各トークンの予測確率の対数の和とする。な お，言語モデルには日本語 $\mathrm{GPT}^{5}$ )を用いた。

## 5.2 実験結果

語順整序結果を表 1 に示す. 2 文節単位と文単位 の両指標において本手法が最も高い一致率を達成し ており，その有効性を確認した. 図 4 に，本手法が 正解し, 次点の [Dep+TS] では不正解だった例を示 す. 本手法の出力語順は, 正解の語順と 1 文全体で 一致しているのに対し, [Dep+TS] では, 「どう」が 「率いる」に係ると誤って解析し, その誤りを引き ずり「どう」の語順の同定に失敗している.
$ とな る. 係り受け解析を施さないため，単純にあらゆる順列を考 えると， 2 節で述べた通り， $n$ ! の候補文ができ，計算量が膨大となる. これを避けるため, 比較手法では, 入力文も部分的には適切な語順を持っていると想定し（4.2 節参照），単純 に 1 組の 2 文節だけを入れ替えたものを候補文する.

5) https://github.com/tanreinama/gpt2-japanese
}

(a)

(b)

図 5 本手法の不正解例

表 2 巡回/非巡回に分けた再評価（各一致率）

## 5.3 エラー分析

図 5(a) に本手法の不正解例を示す.この例では、文節「裁判官増員を」と「中心に」の前後関係の推定に失敗し, 図 5(b) の有向巡回グラフが当初作られ ていた.このように前後関係の推定結果から当初は 巡回グラフとなったものに不正解が多く見られた.

そこで, 本手法の BERTによる推定結果から作成 した有向グラフが，巡回グラフとなった文（次の手順で非巡回グラフに変換された文）と，もともと非巡回グラフとなった文とに分けて再評価した.

結果を表 2 に示す. [no reordering] の数値は, 本手法により当初作成された有向グラフに基づいて各文を上述の 2 クラスに分類し，当該手法を適用した 結果である. 両クラスの間で一致率に大きな差はな い. 一方, 本手法は, 非巡回グラフとなった文に対 する両一致率が巡回グラフとなった文に対するもの よりも大きく上回っている. 巡回グラフとなった文 は，2 文節間の前後関係の推定結果に一部誤りが含 まれることにより巡回グラフとなるため，たとえ，非巡回グラフに変換したとしても，その誤りのエッ ジが含まれたままであれば，適切な語順を生成でき ないと考えられる. 2 文節間の前後関係の推定精度 の向上，あるいは，巡回グラフの中の誤ったエッジ の適切な除去に基づく非巡回グラフへの変換が求め られるが，これらは今後の課題である.

## 6 おわりに

本稿では，係り受け解析を陽に施すことなく，読 みにくい文を語順整序する手法を提案した. 本手法 では，BERT を用いて 2 文節間の前後関係を推定し， その結果に対してトポロジカルソートを適用する。評価実験の結果，本手法の有効性を確認した.

## 謝辞

本研究は, 一部, 科学研究費補助金基盤研究 (C) No. 19K12127 により実施した.

## 参考文献

[1] 横林博, 菅沼明, 谷口倫一郎ほか. 係り受けの複雑さ の指標に基づく文の書き換え候補の生成と推䇅支援への応用. 情報処理学会論文誌, Vol. 45, No. 5, pp. 1451-1459, 2004

[2] 大野誠寛, 吉田和史, 加藤芳秀, 松原茂樹. 係り受け 解析との同時実行に基づく日本語文の語順整序. 電子情報通信学会論文誌 D, Vol. 99, No. 2, pp. 201-213, 2016.

[3] 宮地航太, 大野誠寛, 松原茂樹. 読みにくい語順の文 への読点の自動插入. 言語処理学会第 25 回年次大会発表論文集, pp. 1308-1311, 2020.

[4] 宮地航太, 大野誠寛, 松原茂樹. 文末からのトップダ ウン係り受け解析との同時実行に基づく日本語文の 語順整序と読点挿入. 言語処理学会第 27 回年次大会発表論文集, pp. 1840-1845, 2021.

[5] 内元清貴, 村田真樹, 馬青, 関根聡, 井佐原均. コーパ スからの語順の学習. 自然言語処理, Vol. 7, No. 4, pp. 163-180, 2008.

[6] Tatsuki Kuribayashi, Takumi Ito, Jun Suzuki, and Kentaro Inui. Language models as an alternative evaluator of word order hypotheses: A case study in Japanese. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 488-504, 2020.

[7] Riki Fujihara, Tatsuki Kuribayashi, Kaori Abe, Ryoko Tokuhisa, and Kentaro Inui. Topicalization in language models: A case study on Japanese. In Proceedings of the 29th International Conference on Computational Linguistics, pp. 851-862, 2022.

[8] Kazushi Yoshida, Tomohiro Ohno, Yoshihide Kato, and Shigeki. Matsubara. Japanese word reordering integrated with dependency parsing. In Proceedings of the 25th International Conference on Computational Linguistics, pp. 1186-1196, 2014.

[9] 内元清貴, 関根聡, 井佐原均. 最大エントロピー法に 基づくモデルを用いた日本語係り受け解析. 情報処理学会論文誌, Vol. 40, No. 9, pp. 3397-3407, 1999.

[10] Anja Belz and Eric Kow. Discrete vs. continuous rating scales for language evaluation in nlp. In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, pp. 230-235, 2011.

[11] Katja Filippova and Michael Strube. Generating constituent order in german clauses. In Proceedings of the 45th Annual Meeting of the Association of Computational Linguistics, pp. 320-327, 2007.

[12] Karin Harbusch, Gerard Kempen, Camiel Van Breugel, and Ulrich Koch. A generation-oriented workbench for performance grammar: Capturing linear order variability in german and dutch. In Proceedings of the 4th International Natural Language Generation Conference, pp.
9-11, 2006 .

[13] Geert-Jan M. Kruijff, Ivana Kruijff-Korbayová, John Bateman, and Elke Teich. Linear order as higher-level decision: Information structure in strategic and tactical generation. In Proceedings of the 8th European Workshop on Natural Language Generation, pp. 74-83, 2001.

[14] Eric Ringger, Michael Gamon, Robert C. Moore, David M. Rojas, Martine Smets, and Simon Corston-Oliver. Linguistically informed statistical models of constituent structure for ordering in sentence realization. In Proceedings of the 20th International Conference on Computational Linguistics, pp. 673-679, 2004.

[15] James Shaw and Vasileios Hatzivassiloglou. Ordering among premodifiers. In Proceedings of the 37th Annual Meeting of the Association for Computational Linguistics, pp. 135-143, 1999.

[16] Arthur B. Kahn. Topological sorting of large networks. Communications of the ACM, Vol. 5, No. 11, pp. 558562, 1962.

[17] Robert Endre Tarjan. Edge-disjoint spanning trees and depth-first search. Acta Informatica, Vol. 6, No. 2, p. 171-185, 1976.

[18] Shrimai Prabhumoye, Ruslan Salakhutdinov, and Alan W. Black. Topological sort for sentence ordering. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 2783-2792, 2020.

[19] Vishal Keswani and Harsh Jhamtani. Formulating neural sentence ordering as the asymmetric traveling salesman problem. In Proceedings of the 14th International Conference on Natural Language Generation, pp. 128-139, 2021.

[20] Regina Barzilay and Noemie Elhadad. Inferring strategies for sentence ordering in multidocument news summarization. Journal of Artificial Intelligence Research, Vol. 17, No. 1, pp. 34-35, 2002.

[21] Ramesh Nallapati, Feifei Zhai, and Bowen Zhou. Summarunner: A recurrent neural network based sequence model for extractive summarization of documents. In Proceedings of the 31st AAAI Conference on Artificial Intelligence, pp. 3075-3081, 2017.

[22] Sadao Kuroashi and Makoto Nagao. Building a Japanese parsed corpus while improving the parsing system. In Proceedings of the 1st International Conference on Language Resources and Evaluation, pp. 719-724, 1998.

[23] 工藤拓, 松本裕治. チャンキングの段階適用による 日本語係り受け解析. Vol. 43, No. 6, pp. 1834-1842, 2002 .


# Generate it. A Trivial Method for End-to-End Relation Extraction

Shanshan Liu ${ }^{1}$ Tatsuya Ishigaki ${ }^{2} \quad$ Yui Uehara $^{2}$ Hiroya Takamura $^{2}$ Yuji Matsumoto ${ }^{1}$
${ }^{1}$ Center for Advanced Intelligence Project, RIKEN
${ }^{2}$ Artificial Intelligence Research Center, AIST
\{shanshan.liu yuji.matsumoto\}@riken.jp
\{ishigaki.tatsuya, yui.uehara, takamura.hiroya\}@aist.go.jp
}

\begin{abstract}
End-to-end Relation Extraction (RE) is a fundamental problem of information extraction, which includes two tasks: identifying named entities from text and classifying relations between entities. In this work, we propose a simple but effective method to extract entities and relations from text jointly by designing the target output of a BART-based generative model for Named Entity Recognition (NER) without changing its architecture. Compared to existing methods on ChEMU, our method performs better on RE and produces comparable results on NER. Our experimental results also demonstrate that the generative model designed for a single task is capable of joint learning.
\end{abstract
## 1 Introduction

To obtain necessary information from natural language text, it is common to perform Named Entity Recognition (NER) and Relation Extraction (RE) on the same text. This task of identifying both entities and the relations between entities is called End-to-End RE.

In recent times, joint models have gained popularity as a way to utilize the interaction between entities and relations. A joint model is often more complicated than a pipeline model. The joint approach can be implemented using higher-level data structures, such as transforming tasks into table-filling tasks [1] or graph-based methods [2]. Another option is to share parameters [3] and representations [4] or to add cross-task constraint [5].

The brilliance of the joint model does not mean that the traditional pipeline method is obsolete. A pipeline frame of end-to-end RE usually consists of two models for two different tasks. [6] proposed a pipeline method PURE, which outperforms most of joint models by adding special tokens to introduce entity position and type information. PL-Marker [7] is also a pipeline extractor that advanced in three datasets, provides a novel span representation approach to consider the dependencies between the spans.

Models built for end-to end RE task are often complex and difficult to be implemented for more practical tasks. Most well-performing models treat the task as a span-based problem, so that their computation complexity is high. Even though the length of input text does not exceed the limit of the pre-trained language model (PLM), if there are far more entities and relations in the input than those at the sentence-level, the model may have difficulty handling new datasets due to its complexity.

Inspired by a recent generative framework BARTNER [8] developed for the NER task, we convert the end-to-end RE task into a generation problem. Formulating a spanbased problem to a generation problem can effectively reduce the computational complexity - there is no need to enumerate all possible entity spans, and to pair entities one by one to extract the relation triple. BARTNER exploits BART-large as encoder-decoder and achieves state-of-theart (SOTA) performance on multiple NER benchmarks. Since BART-large is a PLM with a large set of trainable parameters, we make a wild guess that BARTNER can serve as a simple and efficient model for end-to-end RE if it is trained with appropriate target outputs, without any change in its architecture.

Our method achieves competitive results on ChEMU [9] compared to existing powerful methods. In summary, the main contributions of this work are listed as follows:
- We adopt a generative framework for NER to end-to-

The target output corresponding to each representation scheme:

REL:

Figure 1 Examples of target output under different representation schemes. With three entities and two relations in the input, the target output consists of two relation spans in REL scheme while five spans (three for entities and two for relations) in ENT+REL scheme. "[...]" indicates the content in one span. Relation spans in ENT+REL are highlighted by green. Details of all representations are in 2.2.

end RE by providing proper representations, without any change in model architecture. This proves that generative models can jointly learning for NER and RE given proper target outputs.
- Under the representations we designed, we achieve comparable or better performance than the SOTA methods for ChEMU.
- Our method is more efficient and flexible in prediction than others - It is no need to enumerate all possible entity spans and relation triples, or limit the length of the span.

## 2 Method

## 2.1 Task definition

A golden sample in the ChEMU dataset has the following components: All words in a chemical reaction snippet is concatenated as input. Each mention in the input is an entity. Each entity may or may not be related to other entities in the same snippet.

The target output of each sample is a sequence of spans according to our defined representation. Regardless of the kind of representation we use, the target output should contain the boundary and type information for each entity, as well as the information to indicate two entities and the type for each relation.

## 2.2 Representation

This section explains how the entities and relations are represented in our generative model. Please refer to the examples in Fig. 1.

## 2.2.1 Entity

We followed the three types of entity representations proposed in [8], namely WORD, BPE, BPE_SPAN, and added a new type of representation, WORD_SPAN.
- WORD The position indexes of each word in the entity are included in the entity span, concatenated with the entity type tag.
- BPE The position indexes of each subtoken in the entity are included in the entity span, concatenated with the entity type tag.

-WORD_SPAN The position indexes of the first subtokens of the first and last words in the entity are included in the entity span, concatenated with the entity type tag.
- BPE_SPAN The position indexes of the first and last subtokens in the entity are included in the entity span, concatenated with the entity type tag.

## 2.2.2 Relation (REL)

To make directly generation of relations possible, we tried a representation scheme as follows. The relation representation combines corresponding entity spans in [Head, Tail, Relation type] or [Tail, Head, Relation type] format. [Head, Tail, Relation type] are directly named after the entity representation type (e.g. BPE). When we used the latter format, we indicate it with (r) (e.g. $B P E(r)$ ).

## 2.2.3 Entity+Relation (ENT+REL)

In some end-to-end RE tasks, entities that do not appear in any relations may also need to be identified. To cope with this situation, we propose the representation scheme
of Entity+Relation. If we do the entity-first generation, the model will generate all entity spans (in WORD_SPAN or BPE_SPAN that are consistent with 2.2.1). After that, the model generates all relation spans in following way.
- Start The position indexes of the first subtokens in the head and tail entities are included, concatenated with the relation type.
- Start(r) The position indexes of the first subtokens in the tail and head entities are included, concatenated with the relation type.

Alternatively, when we do the relation-first generation, the model generates all relation spans and then all entity spans ((e.g. BPE_SPAN + Start(r) (Relation-first))).

## 2.3 Generative model

Following [8], we concatenate the representations of all spans in each text as the generated output. The order of spans is determined by the appearance order of entities in the text when generating entities or by the appearance order of the head entities when generating relations. We use the model developed by [8] but a rewritten version by us.

## 3 Experiment

## 3.1 Dataset

We experiment on the ChEMU dataset, which involves entity and event annotations of 1500 chemical reaction snippets. The event triggers are annotated as entities, and event arguments are treated as relations between an event trigger and an argument. Some entities may not be part of any events. The end-to-end RE on ChEMU is extracting 12 types of entities and 2 types of relations. We use the official data split that training:development:test $=7: 1: 2$.

Table 1 Statistics of the ChEMU dataset.

This dataset is chosen for two reasons: 1) Each sample contains rich entity and relation information, while most of entities are shown in annotated relations. So that the joint model requires equal effort to learn both entity and relation extraction information. 2) We hope to experiment on a practical data and help the development of automatic extraction of chemical domains, not only on sentence-level end-to-end task.

## 3.2 Baseline

We compare our method with the SOTA models on endto-end RE task. DyGIE++ [4] is a general framework for several information extraction tasks including NER, RE, and EE. It is a span-based method using the dynamic span graph for better span representation. We implemented DyGIE++ in the default setting, with the PLM: RoBERTa. Since many samples in ChEMU would exceed the maximum input length of RoBERTa, we limited the task to the sentence-level when we apply DyGIE++. 1) 2)

The SOTA of end-to-end RE on ChEMU is a pipeline model provided by Melaxtech [10]. Melaxtech adopts BioBERT and BiLSTM-CRF for sentence-level NER while adds a linear classification layer on top of the BioBERT to predict the label of a candidate entity pair. The cross-sentence relations are extracted by postprocessing not deep learning model. We directly report the values published on that paper.

## 3.3 Evaluation

The evaluation is similar to previous works. If the type and offsets of the entity match the gold entity, the prediction is correct; if the types and offsets of two entities and the relation type match the gold relation, the predicted relation is correct. All relations are directed. We report the precision $(\mathrm{P})$, recall $(\mathrm{R})$ and micro $\mathrm{F} 1$ score $(\mathrm{F})$.

## 4 Results

The result of end-to-end RE (Tab.2) shows several representations we provided exceed the baselines, whether generating relation spans containing all entity information (Ours-REL) or generating entity and relation spans together (Ours-ENT+REL). Ent-first $+B_{-} S+$ Start achieves the new SOTA RE F1 of $92.61 \%{ }^{3}$ ).

Table 2 Results for the ChEMU dataset. "W": WORD; "B": BPE; "W_S": WORD_SPAN; "B_S": BPE_SPAN. " $\mathrm{r}$ " indicates that when generating a relation span, the information of the tail entity is generated before the head entity. Ours-REL means that the target output follows the setup in 2.2.2, and "Ours-ENT+REL" generates the target output under the definition in 2.2.3.

## 4.1 Representation matters

We found performance differences among different combinations. There is a huge gap between span and nonspan representations. The F1 scores of RE between $B(r)$ and $B \_S(r)$ in Ours-REL differ by nearly 6 points. We speculate that representations in the form of spans are stronger because they are lesser affected by the length of the entities. There are many long chemical substance names that may be divided into dozens of subtokens in ChEMU, making the task faced by non-span representation more difficult. In the case of REL, losing a subtoken in the middle will cause a relation and an entity falsely predicted simultaneously. However, when entity generation is not that closely tied with relation generation (ENT+REL), both the performance on NER and RE get better. Another reason for the low NER recalls by Ours-REL is that not every entity is included in relations. In addition, reversing the generation order of head and tail entities, or reversing the generation order of entities and relations, also have clear effects.

## 4.2 Joint learning: DyGIE++ vs. Ours

All representations in ENT+REL outperform DyGIE++ with differences between 3 to 4 points of NER F1 scores. Under the default setting of DyGIE++, the loss weight of $R E$ is 1.0 and the weight of NER is 0.2 , which can guarantee the effect of RE, but the part of NER is far inferior to our method. Except for Rel-first $+W_{-} S+$ Start and Relfirst $+W_{-} S+\operatorname{Start}(r)$, other representations in ENT+REL outperform DyGIE++. The low recall of DyGIE++ is primarily responsible for this gap. The limitation on span length makes DyGIE++ incapable of predicting long entities in the ChEMU. Overall these results, demonstrate that our method is a stronger joint model than DyGIE++ on $\mathrm{ChEMU}^{4)}$.

## 5 Conclusions

By proposing representations suitable for end-to-end $\mathrm{RE}$, our approach allows the generative model designed for NER tasks to learn both entity- and relation-level information without increasing model complexity. This method provides SOTA results on the ChEMU dataset. Our work is still in progress - as we have only experimented on texts rich in entity and relation information. We will find out how well this method performs on more practical tasks, such as a task with higher proportion of cross-sentence relations, or event extraction. Also, we will keep exploring the potential of generative models in joint learning.

## Acknowledgements

This paper is partly based on results obtained from a project, JPNP16010, commissioned by the New Energy and Industrial Technology Development Organization (NEDO). Computational resource of AI Bridging Cloud Infrastructure $(\mathrm{ABCI})$ provided by National Institute of Advanced Industrial Science and Technology (AIST) was used.

## References

[1] Jue Wang and Wei Lu. Two are better than one: Joint entity and relation extraction with table-sequence encoders. arXiv preprint arXiv:2010.03851, 2020.

[2] Changzhi Sun, Yeyun Gong, Yuanbin Wu, Ming Gong, Daxin Jiang, Man Lan, Shiliang Sun, and Nan Duan. Joint type inference on entities and relations via graph convolutional networks. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 1361-1370, 2019.

[3] Makoto Miwa and Mohit Bansal. End-to-end relation extraction using lstms on sequences and tree structures. arXiv preprint arXiv:1601.00770, 2016.

[4] David Wadden, Ulme Wennberg, Yi Luan, and Hannaneh Hajishirzi. Entity, relation, and event extraction with contextualized span representations. arXiv preprint arXiv:1909.03546, 2019.

[5] Ying Lin, Heng Ji, Fei Huang, and Lingfei Wu. A joint neural model for information extraction with global features. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7999-8009, 2020

[6] Zexuan Zhong and Danqi Chen. A frustratingly easy approach for joint entity and relation extraction. CoRR, Vol. abs/2010.12812, , 2020

[7] Deming Ye, Yankai Lin, and Maosong Sun. Pack together: Entity and relation extraction with levitated marker. arXiv preprint arXiv:2109.06067, 2021.

[8] Hang Yan, Tao Gui, Junqi Dai, Qipeng Guo, Zheng Zhang, and Xipeng Qiu. A unified generative framework for various ner subtasks. arXiv preprint arXiv:2106.01223, 2021.

[9] Dat Quoc Nguyen, Zenan Zhai, Hiyori Yoshikawa, Biaoyan Fang, Christian Druckenbrodt, Camilo Thorne, Ralph Hoessel, Saber A Akhondi, Trevor Cohn, Timothy Baldwin, et al. Chemu: named entity recognition and event extraction of chemical reactions from patents. Advances in Information Retrieval, Vol. 12036, p. 572, 2020.

[10] JWYRZ Zhang and Yaoyun Zhang. Melaxtech: a report for clef 2020-chemu task of chemical reaction extraction from patent. Work Notes CLEF. Published online.[Google Scholar], 2020.

[11] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: De- noising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. pp. 7871-7880, Online, July 2020. Association for Computational Linguistics.

## A Implementation details

We rewrote the BARTNER [8] using NumPy, PyTorch and Hugging Face's Transformers referring to Yan's public code. https://github.com/yhcc/BARTNER The codes of pre-processing and evaluation are written with NumPy and PyTorch.

The generative model is trained with max sequence length 1024 and batch size 1 for 30 epochs, without limitation on the length of each span. Only a single run for each representation.

No hyperparameter search and early stopping in our experiments. The details of hyperparameters are in Tab.3. We do not apply beam search during decoding.

All the entity and relation tags are set as special tokens and be initiated by prompt initiation. The parameter size of the model we implemented is $1633.624064 \mathrm{M}$ when we use BART-large [11] as the encoder-decoder. All experiments are conducted on are trained on a 20-core(CPU) machine with 1 GPU (NVIDIA A100 for NVLink 40GiB HBM2). The wallclock time of training one representation is approximately 15000 s ( 30 epochs in total), maximum memory reaches $28.802 \mathrm{G}$ on the ChEMU dataset.

Table 3 Part of hyperparameters used in experiments.


# 指定要約長に応じたソフトな内容選択による要約長操作可能な End-to-End 要約

楢木悠士 ${ }^{1}$ 小林 哲則 ${ }^{1}$ 林 良彦 ${ }^{1}$
1* 早稲田大学理工学術院 yuji.1277@akane.waseda.jp

## 概要

指定した長さに応じて適切な要約を生成する技術 への要請が高まっている. 本研究では，任意の指定要約長 $k$ が与えられたとき，原文書中のトークンの 重要度を評価し，それに応じてソフトマスクをかけ ることで埋め込み表現を調整する機構 SumTop- $k$ を 提案する. SumTop- $k$ は, 要約長操作のための制約 なしで，要約タスクによる End-to-End 学習によって 要約長の制御を可能にした. 評価実験の結果，提案手法は既存手法と同等以上の要約性能を達成した。本稿ではさらに, SumTop- $k$ 内で計算されるトーク ンごとのスコアが生成される要約に与える影響を分析し，これらを意図的に変化させることで生成要約 の内容を操作できる可能性を示す.

## 1 はじめに

自動要約に関する研究は多く, 要約技術の応用例 も増えてきている．我々は，要約技術の実用化に向 けて必要となる要約長の操作に注目する. 長さ制御可能な要約は, 所望の長さの簡潔で流暢な要約を生成することを目的としている．その技術は，各デバ イス，デザイン，ユーザに応じた適切な長さの要約 を提供するために，ユーザエクスペリエンスの観点 から求められている. 要約に含めるべき情報量や粒度は，指定要約長によって異なるため，このタスク は単に長さを制御するだけでは機能しない。した がって, 要約長操作可能な要約システムでは, 生成 されるテキストの長さを制御するだけでなく, 要約 に含めるべき情報を適切に選択する必要がある.本論文では，指定される任意の要約長 $k$ に対し て原文書中のトークンの重要度を評価し，それに 応じて埋め込み表現を調整するソフトマスク機構 SumTop- $k$ を提案する. ソフトマスク生成には微分可能な top-k 演算 [1] を用いることで, End-to-End 学習を可能にする。これは，内容選択機能を独立した抽出型要約モデルによって実現する既存研究 [2] に おける End-to-End 学習ができないという問題を解決 する。

BART の Encoderに提案手法の SumTop- $k$ を組 み込み，生成要約の品質と長さの操作性を CNN DailyMail とXSum データセットを用いた実験によ り評価した. その結果，提案手法は既存手法と同等以上の要約性能を達成しつつ，要約長の制御が可能であることを確認した。特に CNN DailyMail デー タセットにおいては BART や要約長操作可能な既存研究と比べて最も高い ROUGE スコアを達成し, XSum データセットでは，BART と同程度の ROUGE スコアを示した. さらに，SumTop- $k$ 内で計算され るトークンごとのスコアが生成される要約に与える 影響を分析し, SumTop- $k$ 内のトークンスコアは生成要約に含まれるトークンと相関があることを示 した.この結果を受け，SumTop- $k$ のスコアの順位換えによって，要約の内容を操作する可能性を検討 した.

## 2 関連研究

要約長操作に関連する既存研究では, 要約生成時 に制御を行う手法が提案されてきた。菊池ら [3] は 指定要約長までの残りの長さの埋め込みをモデル に入力することで，高瀬と岡崎 [4] は残りの長さを Transformer の位置埋め込み表現に追加で埋め込むこ とで要約長を操作した. Yu らは推論時に指定要約長の埋め込み表現を単語予測層の前に連結すること で，要約長の制御を実現している [5]. しかし，指定要約長の情報をモデルに与えるだけでは，指定要約長に応じて適切に要約の内容を変化させることは困難である。すなわち，指定要約長に応じた内容選択 が必要となる.

斉藤らは，抽出型要約モデルを用いて原文書から 情報を選択し，原文と抽出されたトークンを抽象型要約モデルに入力する方式を提案した [2]. このア

プローチは，要約長の操作性と高い ROUGE スコア を達成したが，情報選択のための抽出型モデルが End-to-End に学習ができないため, 性能上のボトル ネックになっていると考えられる。一方，Liu らは 内容選択に注力した手法を提案した [6]. このモデ ルでは，まず合成データによる事前学習によって内容選択機能を実現し, 元のデータセット上で全体の 要約タスクでの学習を行う. さらに, 指定要約長付近で EOS トークンを高確率で生成するために， decoder における Attention スコアを指定要約長まで の残りの長さに応じて調整している. この Attention スコアの調整方法は, 生成要約長の操作に有効であ るが, 生成要約の品質の観点からは多分に強引であ ると考えられる。

我々は，原文書に対して，指定要約長 $k$ に応じた ソフトマスクをかける機構 SumTop- $k$ を提案する.

SumTop- $k$ は，内容選択に関する機能を End-to-End 学習が可能なモデルとしながら, Liu らのように直接的な確率調整を行わずに要約長制御を可能とする 方法である.

## 3 提案手法: SumTop- $k$

本節では，指定要約長 $k$ に応じたソフトマスク を原文書にかける機構 SumTop- $k$ の構成について 述べる. 我々は, 文書要約モデルとして EncoderDecoder 型モデルの代表格である BARTを採用する. SumTop- $k$ モジュールは, BART の Encoder の最終層 を置き換えるものであり，SumTop- $k$ の入力にソフ トマスクをかけた埋め込み表現を出力する. 埋め込 み表現の shape は, [batch_size, src_len,embed_dim] である.

Encoder 最終層における適用方法については複数 の可能性があるが，本研究では図 1 に示す 2 つの 適用方法について実験を行った. Query (図 1 の (a)) は, Self-Attention の Query の入力に SumTop- $k$ を適用 したもので，原文書とマスクした表現の間の SourceTarget Attention のような処理になる. After_Attn (図 1 の (b)) は, SumTop- $k$ を Self-Attention の後の埋め込 み表現に適用することを意味し, Encoder の出力に より直接的な影響を与える。

SumTop- $k$ モジュールのアーキテクチャを図 2 に示す. SumTop- $k$ は 3 段階の処理を持つ. 初 めに, Self-Attention と 1 層の線形層を用いて, [batch_size,src_len, 1] の shape をしたトークンごと のスコアを計算する，次に，トークンごとのスコア

(a)

(b)図1SumTop- $k$ の適用方法.（a）と（b）はそれぞれQuery とAfter_Attnを表す。

を要約生成のための重要度だと捉え，それに応じた ソフトマスクを微分可能な top-k 演算 [1] を用いて 生成する. 最後に SumTop- $k$ は元の入力表現にソフ トマスクをかけた表現を出力する. SumTop- $k$ は完全に微分可能であり，モデルの学習時にどのような トークンのスコアを高くすべきかなどの追加の制約 は与えられることはない，よって，SumTop- $k$ がど のように原文書の表現を調整するかは，モデル全体 の End-to-End の学習に依存する。

## 4 評価実験の設定

CNN DailyMail, XSum という要約研究における 標準データセットを用い, 要約品質と要約長制御 に関する評価を行う。また，図 1 (a)，(b) に示した SumTop- $k$ の 2 つの配置について比較を行う.

CNN DailyMail データセットとXSum データセッ トでは，ビームサイズをそれぞれ 4 と 6 に設定し た.また，ビームサーチ時の n-gram の繰り返し回数の最大値は 2 とした. 手法自体の要約長の操作性 を検証するため，提案手法で検証する際には，要約長の最大・最小の制約は与えない.

比較手法には，文書要約手法である BART および BART+attention head masking (AHM) [7], 要約長操作可能な要約手法である LPAS[2] および PtLAAM[6] を用いる。

要約の品質を測るために ROUGE スコアを，要約

図 2 SumTop- $k$ の構造.

長の操作性を測るために生成要約の平均長と式 1 で 定義される Variance を使用する。なお， $y_{i}$ は参照要約， $y_{i}^{\prime}$ は生成要約， $n$ はテストデータ数, len (.) は 入力に含まれるトークンの数を返す。

$
\mathrm{Var}=0.001 * \frac{1}{n} \sum_{i=1}^{n}\left|\operatorname{len}\left(y_{i}\right)-\operatorname{len}\left(y_{i}^{\prime}\right)\right|^{2}
$

前述したように, SumTop- $k$ の処理で高いスコアを 持つトークンには制約がないため，どのようなトー クンが高いスコアを持つかを確認する必要がある.我々は，ソフトマスクの値が高いトークンは生成要約に現れやすいと仮説立てた。そこで，SumTop-k の操作とモデルの最終出力の関係を分析するため に，トークンの生成要約に対する貢献の度合いを 表す，式 2 に示す指標 Con を提案する. SumTop- $k$ のトークンスコアで上位指定要約長個のトークン $\left(T_{t o p-k}\right)$ を SumTop- $k$ で重要だと判断されたトーク ンと考え, 生成要約に含まれるトークン $\left(T_{g e n}\right)$ に対 するトークンの精度を貢献の度合いとする。

$
\text { Con }=\frac{\operatorname{count}\left(\operatorname{set}\left(T_{\text {top-k }}\right) \cap \operatorname{set}\left(T_{\text {gen }}\right)\right)}{\operatorname{count}\left(\operatorname{set}\left(T_{\text {gen }}\right)\right)} \times 100
$

ここで， $\operatorname{count}(\cdot)$ は入力集合の要素数を返し， $\operatorname{set}(\cdot)$ は大力配列の要素の集合を返す.

## 5 評価実験の結果

## 5.1 要約の品質と要約長の操作性

CNN DailyMail とXSum のデータセットに対して，提案手法と既存手法を評価した結果を表 1 に示す.本実験にける指定要約長は参照要約の長さとした. BART+AHM [7], LPAS [2] と PtLAAM [6] の ROUGE スコアはそれぞれの論文から，LPAS と PtLAAM の Variance は Liu らが示した図 [6] を参照している。

まず，生成要約の品質について考察する. CNN
DailyMail データセットにおいて，提案手法は既存手法と比較して高いROUGE スコアを示した.特に，提案手法はAfter_Attnにおいて，最も高い ROUGE スコアを示した. XSum データセットでは，提案手法はベースラインである BART と同程度の ROUGE スコアを示し，LPASを上回った. XSum で は CNN DailyMail と比較して ROUGE スコアが向上 しなかったが，これは XSum データセットでは CNN DailyMail と比較して正解要約の抽象度が高いから だと考えられる。

次に，要約長の操作性について考察する。両デー タセットにおいて，提案手法はベースラインの BART よりも低い Variance を達成し，より良い操作性を持つことが確認できた，なお，Liu らの報告した BART の Variance と我々の測定した BART の Variance は大きく異なるため，本論文で比較す るには公平でないと考え，提案手法と既存手法の Variance は比較しないこととした.

モデル内部の各トークンのスコアと生成要約の 相関を測る貢献度では，提案手法のトークンスコア は BART の Attention スコアより高い. 特に, CNN DailyMail の SumTop- $k$ After_Attn では，生成要約に 含まれるトークンの $40 \%$ 以上が SumTop- $k$ の上位 $\mathrm{k}$個のトークンスコアに含まれる。これらの結果か ら，提案手法は，要約に含めたいトークンにより他界スコアを与えていることが示唆される。

## 5.2 要約の内容操作の可能性

SumTop- $k$ を用いたモデルにおける要約の内容操作の可能性を検討する. 提案手法による貢献度スコ アが高いことは表 1 に示した通りである.これは， SumTop- $k$ におけるスコアの順位を意図的に変更す ることで，生成要約に現れるトークンが変化する可能性があることを示唆する。 そこで，SumTop- $k$ は 要約の内容を操作することができると仮説立てた。

この仮説を検証するため，ROUGE スコアが低い (我々の分析では ROUGE- 1 で 0.2 以下) テストデー タに対して，意図的に順位を変更した場合の生成要約の変化を観察した。順位換えするトークンは，元 の文書に出現したトークンのうち，正しい要約には 出現するが生成要約には出現しないトークンとし た. さらに，機能語ではなく内容語のみに変更を加 えたいので，原文書に 3 回以上現れるトークンは順位換えの対象から除外した. CNN DailyMail データ セットで SumTop-k の After_Attn を適用した結果に ついて分析を行った. SumTop-k のスコアにおける 順位を調整した後に，再度推論したときの生成要約 がどのように変化するかを ROUGE スコアで比較し た結果を表 2 に示す. 具体的には指定要約長 $k$ が 10 のとき，順位の上げ幅は 10 倍の 100 とした.また， 2 つの事例を表 3 に示す.

表 2 順位換えの前と後の ROUGE スコアの結果.

表 3 SumTop- $k$ のトークンスコアの順位換えによる要約 の変化の事例.

 \\

表 2 から，意図的な順位換えが ROUGE スコアを 向上させたことが確認できる. つまり，この操作に より生成要約の内容が参照要約の内容に近づいた.表 3 の例では，順位換えにより，生成要約に”launch window”に関する説明が含まれるようになった。

## 6 おわりに

我々は，原文書に対して，任意の指定要約長 $k$ に 応じたトークンスコアの算出とそれに伴うソフトマ スクをかける機構 SumTop- $k$ を提案した。提案手法 は End-to-End での学習が可能であり，追加の制約な しに要約の長さを操作することが可能である。

評価実験の結果，提案手法は既存手法と同等以上 の要約性能を達成しつつ，要約長の制御が可能であ ることを確認した．特に CNN DailyMail データセッ 卜においては BART や要約長操作可能な既存研究 と比べて最も高い ROUGE スコアを達成し，XSum データセットでは，BART と同程度の ROUGE スコ アを示した．また，SmTop-k のトークンスコアで上位 $\mathrm{k}$ 個のトークンが，生成要約に含まれるトークン と相関を持つことを確認し，SumTop- $k$ を用いるこ とが生成要約の内容に寄与していることを確認し た. さらに，トークンスコアを意図的に順位換えす ることで，低品質の要約を改善し，生成要約の内容 を操作できることを示した。

このような要約制御の機能は，自動要約技術を実応用する上で重要と考えられる. 今後は，原文書に 現れないトークンが含まれるような抽象的な要約を 生成できる長さ制御可能な要約手法を検討する.

## 参考文献

[1] Yujia Xie, Hanjun Dai, Minshuo Chen, Bo Dai, Tuo Zhao, Hongyuan Zha, Wei Wei, and Tomas Pfister. Differentiable top-k with optimal transport. In H. Larochelle, M. Ranzato, R. Hadsell, M.F. Balcan, and H. Lin, editors, Advances in Neural Information Processing Systems, Vol. 33, pp. 20520-20531. Curran Associates, Inc., 2020.

[2] 斉藤いつみ, 西田京介, 西田光甫, 大塚淳史, 浅野久子,富田準二, 進藤裕之, 松本裕治. 出力長制御と重要箇所 の特定を同時に行う生成型要約. 人工知能学会全国大会論文集, Vol. JSAI2020, pp. 3Rin481-3Rin481, 2020.

[3] Yuta Kikuchi, Graham Neubig, Ryohei Sasano, Hiroya Takamura, and Manabu Okumura. Controlling output length in neural encoder-decoders. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 1328-1338, Austin, Texas, November 2016. Association for Computational Linguistics.

[4] Sho Takase and Naoaki Okazaki. Positional encoding to control output sequence length. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 3999-4004, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[5] Zhongyi Yu, Zhenghao Wu, Hao Zheng, Zhe XuanYuan, Jefferson Fong, and Weifeng Su. LenAtten: An effective length controlling unit for text summarization. In Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021, pp. 363-370, Online, August 2021. Association for Computational Linguistics.

[6] Yizhu Liu, Qi Jia, and Kenny Zhu. Length control in abstractive summarization by pretraining information selection. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 6885-6895, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[7] Shuyang Cao and Lu Wang. Attention head masking for inference time content selection in abstractive summarization. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 5008-5016, Online, June 2021. Association for Computational Linguistics.

## A Case Study

成要約に含まれる。

図 3 原文書と参照要約の例と，BART と 5 種類の異なる 指定要約長での提案手法による生成要約.

図 3 には，CNN DailyMail データセットの原文書 とその参照要約と，BART と我々の提案手法である BART + SumTop- $k$ After_Attnにより， 5 種類の異な る指定要約長の生成要約を示した. 原文書の太字の トークンは SumTop- $k$ のトークンスコアが上位 $\mathrm{k}$ 個 のトークンである.

BART と比較して，提案手法 SumTop- $k$ で指定要約長を参照要約の長さとすると, 要約が短くなり参照要約の長さに近づくことがわかった. 指定要約長が 10 と 30 の生成要約では，ポール・ウォーカー の事故について記述されているが，指定要約長が 50 の要約では, シリーズの新作について，指定要約長が 70 の要約では，製作者の発言について記述 されている.このように，希望する長さによって，要約に含めるべき内容が異なることが確認された. SumTop- $k$ のスコアが上位 $\mathrm{k}$ 個のトークン（太字部分）について前述の貢献度の結果からわかるよう に, SumTop- $k$ のスコアが上位 $\mathrm{k}$ 個のトークンも生


# 言語モデルを用いた漢文の返り点付与と書き下し文生成

王昊 清水博文 河原大輔
早稲田大学理工学術院
\{conan1024hao@akane. , bowen1205@toki . , dkw@\}waseda.jp

## 概要

漢文は約 2000 年前の弥生時代に中国から日本に 伝えられ，それ以降日本文学に多大な影響を与え た. 今でも大学入学共通テストの国語において漢文 は 200 点の内 50 点を占めている.そんな中，中国 にある豊富な言語資源に比べ，日本にある漢文の書 き下し文資源が非常に少ない.この問題を解決する ために, 本研究は世界初の漢文訓読データセットを 構築する。そして，漢文理解において重要視される 返り点付与, 書き下し文生成の二つのタスクに対 し，言語モデルを用いて精度向上を試みる。また，人間の評価結果と比較することで，最適な自動評価指標について議論する。

## 1 はじめに

漢文は弥生時代 [1] に中国から日本に伝えられた。 そして奈良時代 [2] から日本語の文章として読める よう, 漢文の語順構成を維持しながら訓点を付ける 漢文訓読と, 日本語の文体として書き直した漢文訓読文 (または書き下し文) が発明された。漢文は『万葉集』[3] や『源氏物語』 $[4,5]$ など，多くの日本文学作品に影響を与えた. 今でも漢文は大学入学共通 テストの国語において 200 点の内 50 点を占めてお り，漢文が日本文化に及ぼしている影響の大きさを 示している.

中国語と日本語は共通の漢字を多く持つが，日本人にとって漢文を読むことは容易ではない，中国語，そして漢文の語順は，英語と同じ SVO (主語-動詞-目的語) である一方, 日本語の語順は SOV (主語目的語-動詞)である。そして，中国語は孤立語であ り，時制や格などによって語の形は変化しない。一方，日本語は膠着語であり，接頭辞や接尾辞のよう な形態素がその語の文法関係を示している. 漢文を SVO から SOV に，孤立語から膠着語に変換するた めに，日本人は句読点，返り点，送り仮名などから なる漢文訓読システム [6] を開発した。表 1 漢文訓読データセットの例. データは白文，日本語読み順 (数字は白文中の順位を表している)，書き下し文 の3つ組から構成される。

中国には豊富な漢文の言語資源があるが，日本に おけるそれらの書き下し文データは極めて少ない.例えば，『全唐詩』には 48,900 首以上の唐詩が収録 されており，その全てにオンラインでアクセス可能 である。しかし，我々の知る限りでは，日本では約 500 首の唐詩の書き下し文データしかインターネッ 卜上に存在しない.この大きなギャップは，日本に おける漢文研究及び漢文教育の阻害要因となって いる.『漢文大系』などの書籍の中に書き下し文の データは多く存在するが，それらに OCR を適用し， データを整形するには膨大なコストがかかる．その ため，高性能な書き下し文生成器を構築することが 書き下し文資源の不足を解消する最も効率的な方法 と考えられる。

従来の研究 $[7,8,9,10,11]$ では, 返り点付与と書 き下し文生成を含む一連の漢文に関する言語処理の 手法が提案された. しかし, ルールベースであり性能が不十分である上，これらの研究ではデータセッ 卜を作っておらず，定量的評価を行っていない．本研究では，世界初の白文 ${ }^{11}$-書き下し文ぺアからなる 漢文訓読データセットを構築する (表 1).これを基 に，言語モデルを用い，返り点付与器と書き下し文生成器を構築し, 両タスクにおいて定量評価を行 う. そして，書き下し文の生成結果に対し，人手評価の結果と比較することで，最も適切な自動評価指標について議論する。 さらに，パイプラインを構築 し, 白文の事前ソート (返り点付与) が書き下し文生成に貢献するかどうかを検証する。

表 2 データセットの統計量情報 (白文パート).

## 2 関連研究

UD-Kundoku [9, 10] は Universal Dependencies [12] に基づく漢文を書き下し文に変換する encodereorder-decode モデルである. まず encode では白文 に対し形態素解析を行い, 依存構造解析を行う [7]. reorder ではルールベースによる返り点付与を行い，白文を日本語語順にソートする. 最後の decode で はルールベースによる送り仮名の付与を行う. こ れらの研究では書き下し文の生成結果に対して BLEU [13] と RIBES [14]を用いて評価を行っている が，数サンプルの評価に留まっており，定量的評価 を行っていない。

## 3 データセット構築とタスク設計

本研究は白文，日本語読み順，書き下し文の 3 つ 組から構成される漢文訓読データセットを構築す る. 漢文で使われる語彙や文法は時代によって変化 するため，多くの時代をカバーするテキストを収集 することが望ましいが，現時点ではそのような包括的なデータセットを作ることは困難である. 本研究 では，書き下し文が付与されているデータソースと して最も大きいと考えられる『唐詩選』』を基にデー タセットを作成する。前処理として，ルールベース で書き下し文から白文の日本語語順を抽出し, 置き 字や再読文字など特殊な文字に対し人手でアノテー ションを行う。また，辞書を用いて旧字体を可能な 限り新字体に変換し，言語モデルの OOV 問題を軽減する。一つの詩の中の文が分割されないように，本研究では GroupShuffleSplit を使ってデータセット をTrain，Validaiton，Testに分割した。表 1 にデータ の例，表 2 にデータセットの統計量情報を示す.

構築したデータセットに基づき，返り点付与と書 き下し文生成の二つのタスクを設定する. 返り点付与3)では，白文を日本語の読み順 (SVO から SOV) に 変換する. 書き下し文生成は，白文を書き下し文に 変換する seq2seq タスクである.

## 4 実験設定

本研究は事前学習モデルをファインチューニング することで，返り点付与と書き下し文の二つのタス クを解く．実験で使用する事前学習モデル及びハイ パーパラメータを付録 A と B に示す.

## 4.1 タスクの実装

本節では，返り点付与と書き下し文のそれぞれの 実装を説明する。本研究ではパイプラインも構築 し, 白文の事前ソート (返り点付与) が書き下し文生成に貢献するかどうかについて実験を行う. 図 1 に パイプラインの概要を示す.

返り点付与に対して，本研究では BERT-like モデ ル $[15,16,17,18]$ を用いた rank-based のソート手法 を採用する，入力としては，白文を文字単位に分割 し，それぞれの文字を $\{$ 文字 $\}\{$ 白文中の文字の順位 $\}[\mathrm{SEP}]\{$ 白文 $\}$ の形に変換する. 白文中の文字の 順位は同じ文字が二つ以上出現する場合に対応する ために追加している。それぞれの文字の日本語語順中の順位を白文の長さで正規化し (長さ 5 の文に対 し，順位は $1,2, \ldots, 5$ から $0.2,0.4, \ldots, 1$ に正規化され る)，学習における正解の値として設定する. モデ ルが出力した順位を昇順にソートし，元の文字に戻 せば，日本語語順の白文を得ることができる。 図 1 の (A) に我々のソート手法の様子を示している.

書き下し文生成に対しては， T5 [19] と GPT [20] を用いて，白文から書き下し文を生成する．各モデ ルの真の性能を見るため, 生成結果に対しては一切 フィルタリングを行わない.

パイプラインについては，返り点付与モデルに よって日本語語順にソートされた白文を $\mathrm{T} 5$ または GPT に入力し, 事前の返り点付与が書き下し文生成 に貢献するかどうかを検証する。

## 4.2 自動評価指標

語句の並べ替えの研究 $[21,22,23]$ に従い, 本研究 では以下の指標を用いて自動評価を行う。

Kendall's Tau $(\tau)$ この指標は，二つの文の順位相関を測るものである．予測された文字順を真の文字順に並べ替えるために必要な交換回数が少ないほ ど，相関が強く，性能が良いことを意味する。

$
\tau=1-\frac{4(\# i n v e r s i o n s)}{\# \operatorname{char}(\# \operatorname{char}-1)}
$

2) https://kanbun.info/syubu/toushisen $000 . \mathrm{html}$

3）実質上は文字の並べ替えとなっている.
図 1 パイプラインの概要図. (A) は返り点付与器，(B) は書き下し文生成器である。

Perfect Match Ratio (PMR) 予測された文字順と 真の文字順が完全に一致する割合を示す指標.

書き下し文の評価について系統的な研究がないた め，先行研究で用いられた BLEU [13] と RIBES [14] に加え，ROUGE-L [24] と BERTScore [25] を用いて 自動評価を行う。単語ベースの評価は形態素解析へ の依存度が高く，また，漢文の関連パッケージが成熟していないことから，本研究では文字べースで上記の指標を計算する．BERTScore については，文字 ベースの東北大 $\mathrm{BERT}^{4)}$ を用いて計算する。

## 4.3 人手によるアノテーション

本研究は中国語と日本語のバイリンガル三名にア ノテーションを依頼する. アノテータの選考基準と しては以下のものを設ける: (1) 中国語の白文を読め ること. (2) 大学入学共通テストの漢文パートで満点が取れること.

返り点付与に対しては，返り点付与器と人間の性能を比較するために，同じソート作業を参考文献や インターネットアクセスなしで行ってもらう．結果 を集計し，Kendall's Tau と PMR スコアを計算する。

書き下し文生成に対しては，以下の三つの指標で 1 から 5 の 5 段階で評価してもらう．書き下し文の 正しさを評価したいため，この評価では参考文献の 参照を可能としている. また, データセットの品質 を測るために，正解の書き下し文も人手評価する。

Relevance 白文を不足なく，乘離なく書き下し ているかどうか.

Accuracy 日本語としての語彙的, 文法的正し さ. 読み順の正しさ.

Fluency 文の流暢さ，自然さ．漢詩のリズム感 が残っているかどうか.

表 3 返り点付与における Kendall's Tau $(\tau)$ と PMR の評価結果. UD-Kundoku はベースラインで, Human スコアは三人のアノテータの結果の平均である.

## 5 結果と考察

## 5.1 返り点付与

返り点付与の評価結果を表 3 に示す. 全ての BERT-like モデルはベースラインより高い精度を達成した. 中国語のモデルは，日本語のモデルよりも 若干良い精度を示し, 漢文コーパスで事前学習し た RoBERTa-classical-chinese-char は最も良い精度を 示した。これは，事前学習で使われているコーパス における漢文の割合によるものだと考えられる。

人間と RoBERTa-japanese-char-wwm の PMR スコ アはほぼ同じであるが，Kendall's Tau はモデルの方 が $5.9 \%$ 高い。これは，細かい部分の予測では人間よ りも BERT の方が精度が高いことを示している。

## 5.2 書き下し文生成

書き下し文生成に対する評価結果を表 4 に示す.

自動評価では，全モデルが全ての評価指標でベー スラインを上回った. $\mathrm{mT5}$ の性能はモデルサイズの 増大につれて上昇し，mT5-large が最も良い性能を 示した. mGPTと mT5-small の性能はお互いに近い.
表 4 書き下し文生成の評価結果. UD-Kundoku はベースラインである.

表 5 自動 - 人手評価指標の Pearson $(r)$, Spearman $(\rho)$ 相関係数. 人手評価指標間の相関も示している.

人手評価では，mT5-small，mT5-large，mGPT の 生成結果のみをアノテータに評価させた。自動評価と同様，mT5-large が最も良い性能を示した. 一方, mGPT は mT5-small の 8 倍以上のパラメータ数 を持つが (詳細なモデルサイズを付録 A に示す), mT5-small のスコアは大きくmGPT を上回った. mT5，mGPT は共に主に mC4 [19] で事前学習してい るため，コーパスの影響はほぼ排除できる。推測の 一つとしては，mT5 のエンコーダが漢文の理解に 大きな役割を果たしていると考えられる。しかし， これは仮説であり，追加の実験が必要である. 正解書き下し文は非常に高いスコアを獲得し，本データ セットの書き下し文データが高品質であることが証明された。

表 5 に自動評価指標と人手評価指標間の相関係数を示す. BERTScore は三つの人手評価指標全てと 最も高い相関を示した. ランクに基づくRIBES は 最も低い相関を示した. BLEU と ROUGE-L に比べ， BERTScore は Relevance でわずかにリードしている が，Accuracy と Fluenceでは大幅に優れていた.こ れは，BERTScore が潜在的な文単位の意味を捉える ことができる [25] ため, 文の正しさと流暢さを判断 することができたと推測する.

人手評価指標間の相関も表 5 に示している. Accuracy と Fluency の相関が最も大きく, 語彙的,文法的に正しい日本語は流暢であることがわかる。表 6 パイプラインの評価結果. 一行目は素の生成結果,二行目は RoBERTa で事前ソートしてから生成させたも の, 三行目は正解でソートしてから生成させたもの.

## 5.3 パイプライン

パイプラインの評価結果を表 6 に示す.

返り点付与モデル (RoBERTa) で事前ソートした結果, mT5-small のスコアが改善されたが, mT5-base と mT5-large はほとんどの評価指標で性能の低下を 示した. 生成モデルの性能が上がれば，徐々に語順 を考慮しながら書き下し文を生成できるようにな ると推測する. 返り点付与モデルの誤った予測によ り生成モデルが混乱し, 正しい語順を予測できなく なったと考えられる。

一方，正解を用いた事前ソートは，ほぼ全てのモ デルにおいて一定の性能向上を示した. これは，正 しい返り点付与は書き下し文の生成に貢献すること を示している。

## 6 まとめと今後の展望

本研究は，書き下し文資源の不足を解消するため に，漢文訓読データセットを構築し，言語モデルを 用いた返り点付与と書き下し文生成を試みた. 今後 は，データセットを継続的に更新し，より包括的な 漢文テキストを含むよう改良したいと考える。ま た，漢文の専門家と協力し，書き下し文生成結果の 評価についてより適切な指標を探求していきたい。

## 謝辞

本研究は JSPS 科研費 JP21H04901 の助成を受けて 実施した.

## 参考文献

[1] 沖森卓也. 日本語全史. 筑摩書房, 2017.

[2] 金文京. 漢文と東アジア一訓読の文化圏. 岩波書店, 2010.

[3] 小林芳規. 万葉集における漢文訓読語の影響. 国語学, No. 58, pp. 23-47, 1964.

[4] 段笑曄. 『源氏物語』における『白氏文集』引用の 特色-登場人物の口ずさんだ詩句をめぐって. 北陸大学紀要 $=$ Bulletin of Hokuriku University, No. 32, pp. 181-192, 2008.

[5] 長瀬由美. 源氏物語と平安朝漢文学. 勉誠出版, 2019.

[6] Sydney Crawcour. An introduction to Kambun. University of Michigan, 1965.

[7] 安岡孝一. 漢文の依存文法解析と返り点の関係に ついて. 日本漢字学会第 1 回研究大会予稿集, pp. 33-48, 2018.

[8] 安岡孝一. Universal dependencies treebank of the four books in classical chinese. DADH2019: 10th International Conference of Digital Archives and Digital Humanities, pp. 20-28, 2019.

[9] 安岡孝一. 漢文の依存文法解析にもとづく自動訓読 システム. 日本漢字学会第 3 回研究大会予稿集, pp. 60-73, 2020.

[10] 安岡孝一. 漢文自動訓読ツール ud-kundoku の開発.東洋学へのコンピュータ利用第 32 回研究セミナー, pp. 3-25, 032020.

[11] 安岡孝一, ウィッテルンクリスティアン, 守岡知彦,池田巧, 山崎直樹, 二階堂善弘, 鈴木慎吾, 師茂樹, 藤田一乘. 古典中国語（漢文） universal dependencies と その応用. 情報処理学会論文誌, Vol. 63, No. 2, pp. 355-363, 2022.

[12] Marie-Catherine de Marneffe, Christopher D. Manning, Joakim Nivre, and Daniel Zeman. Universal Dependencies. Computational Linguistics, Vol. 47, No. 2, pp. 255-308, June 2021.

[13] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[14] 平尾努, 磯崎秀樹, Kevin Duh, 須藤克仁, 塚田元, 永田昌明. Ribes: 順位相関に基づく翻訳の自動評価法て.言語処理学会年次大会発表論文集, Vol. 17, pp. D5-2, 2011.

[15] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapo- lis, Minnesota, June 2019. Association for Computational Linguistics.

[16] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach. arXiv, 2019. abs/1907.11692.

[17] Zhenzhong Lan, Mingda Chen, Sebastian Goodman, Kevin Gimpel, Piyush Sharma, and Radu Soricut. Albert: A lite bert for self-supervised learning of language representations. arXiv, 2019. abs/1909.11942.

[18] Pengcheng He, Xiaodong Liu, Jianfeng Gao, and Weizhu Chen. Deberta: Decoding-enhanced bert with disentangled attention. arXiv, 2020. abs/2006.03654.

[19] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei $\mathrm{Li}$, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. Journal of Machine Learning Research, Vol. 21, No. 140, pp. 1-67, 2020.

[20] Alec Radford, Jeff Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. Language models are unsupervised multitask learners. 2019.

[21] Baiyun Cui, Yingming Li, and Zhongfei Zhang. BERTenhanced relational sentence ordering network. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 6310-6320, Online, November 2020. Association for Computational Linguistics.

[22] Pawan Kumar, Dhanajit Brahma, Harish Karnick, and Piyush Rai. Deep attentive ranking networks for learning to order sentences. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 34, No. 05, pp. 8115-8122, Apr. 2020.

[23] Yutao Zhu, Jian-Yun Nie, Kun Zhou, Shengchao Liu, Yabo Ling, and Pan Du. Bert4so: Neural sentence ordering by fine-tuning bert. arXiv, 2021. abs/2103.13584.

[24] Chin-Yew Lin. ROUGE: A package for automatic evaluation of summaries. In Text Summarization Branches Out, pp. 74-81, Barcelona, Spain, July 2004. Association for Computational Linguistics.

[25] Tianyi Zhang*, Varsha Kishore*, Felix Wu*, Kilian Q. Weinberger, and Yoav Artzi. Bertscore: Evaluating text generation with bert. In International Conference on Learning Representations, 2020.

## A 事前学習モデル

以下に実験に用いた事前学習モデルの詳細を示す. BERT-like モデルは表 7，生成モデルは表 8 に示す.

表 7 事前学習モデルの詳細(返り点付与).

 & Wikipedia(ja) & 768 & 12 & 12 & 6,144 \\
 & Wikipedia(ja) + CC-100(ja) & 768 & 12 & 12 & 18,377 \\
 & Wikipedia(zh) & 768 & 12 & 12 & 21,128 \\
 & Wikipedia(zh) + ext & 768 & 12 & 12 & 21,128 \\
 & Wikipedia(zh) + Daizhige + ext & 768 & 12 & 12 & 26,318 \\

表 8 事前学習モデルの詳細 (書き下し文生成).

 & mC4 (101 languages) & $172 \mathrm{M}$ & 512 & 8 & 6 & 250,112 \\
 & mC4 (101 languages) & $390 \mathrm{M}$ & 768 & 12 & 12 & 250,112 \\
 & mC4 (101 languages) & $973 \mathrm{M}$ & 1024 & 24 & 16 & 250,112 \\
 & Wikipedia + mC4 & $1,417 \mathrm{M}$ & 2048 & 24 & 16 & 100,000 \\

## B ハイパーパラメータ

表 9 亿実験に用いたハイパーパラメータを示す. 中括弧内の数字でグリッドサーチをして最適なものを選んでいる.

表 9 実験に用いたハイパーパラメータ.

## C 書き下し文の生成例

表 10 亿書き下し文の生成例を示す. mT5-large は最も性能がよく, 正解と同じ生成結果を得ている. mT5-base と mT5-small も正解に近い結果を生成しているが，若干の誤りがある。mGPT は白文にある文字を繰り返すことがあり，人手評価のスコアが低い原因となっている. 三列目の “未” は再読文字であり，“未だ... ず” と二回読む必要がある. これに 対し， mT5-base と mT5-large は正しく書き下し文を生成しているが， mT5-small と mGPT は失敗している.

表 10 書き下し文の生成例.


# 球体表面を利用した位置符号化

岡佑依 田中貴秋 平尾努 永田昌明
NTTコミュニケーション科学基礎研究所
yui.oka.vf@hco.ntt.co.jp

## 概要

系列変換モデルを使った文生成では，原文の構文構造を活用することで性能が向上することが報告さ れている. Transformer 内部で各単語の位置を表現す る位置符号化において, 単語の絶対位置と構造位置 (単語の依存構造木での深さ)を同時に符号化するこ との有効性が示されている。一方, 既存法では, 符号化された値の衝突が起きたり, 単語の順序が保存 されなくなるという問題がある. 本研究では，この 問題を解決するため, 単語の絶対位置と構造位置を 球体表面で表現する位置符号化を提案する。翻訳夕 スクでの実験を行った結果, 既存手法と比べ提案手法は BLEU 值の改善傾向が見られた. また, 文の長 さ, 依存構造木の深さ別での評価を行った結果, 構造位置が長文において有効であることがわかった.

## 1 はじめに

系列変換モデル Transformer [1] の登場によって文生成の性能は大きく向上した. しかし, 非常に流暢 な文を生成できるものの，原文にはない情報や原文 とは異なる内容の文をしばしば生成することがあ る. 固有表現のような簡単な語の誤りに関しては大規模な事前学習済み言語モデルを導入することで改善が期待できるが，原文と同じ単語を使いながら違 う意味を生成する場合には不十分である. こうした 問題を解決するため，原文の構文構造を活用する手法が提案されている $[2,3,4]$. その中でも, Wang ら [2] は Transformer 内部で単語の位置情報を取り扱う 位置符号化において，各単語の依存構造木中におけ る深さと文中の絶対位置 (文の先頭から何単語目か) とを加算する構造化位置符号化を提案した。このよ うに位置情報を扱う埋め込みで系列文以外の情報 を表現し単語分散表現に足し合わせる手法は,さま ざまなタスクで使われており $[5,6]$ ，効果的である。一方で，この符号化を用いると同じ値をとる単語が 複数でてきてしまう, または. 通常の絶対位置の順

図 1 提案手法の概要図

序が変わる可能性がある，絶対位置は生成性能に大 きく影響を与える [2]ことから，言語生成タスクに とって重要な性質であり，保持すべき情報である。

本稿では，Wang らの方法 [2] の問題を解決する ため，単語の絶対位置と依存構造上での深さを球体表面で表現する位置符号化を提案する. 図 1 に提案手法の直感的な例を示す. Transformer の位置符号化 は，単語の位置を円周上の赤い点として表現する. つまり，角 $\theta$ を用いて単語の位置を表す。一方，提案法では，単語を球体表面上の青い点として表現す る.つまり，単語の絶対位置は Tranformer の位置符号化と同様, 円周上の点として角 $\theta$ を用いて表し,依存構造木における深さを仰角 $\phi$ を用いて表す。こ のように $\theta$ と $\phi$ を用いて単語の位置を符号化する ことで值が重複することを回避する. 文生成タスク として機械翻訳を採用し，中英，英日，英独翻訳に おける評価実験を行った結果，通常の Transformer, Wang らの手法と比較して提案法は BLEU 值の改善傾向がみられた. また, 原文の構文の複雑さを文の 長さと構文木の深さで分類し, 評価した結果から， より複雑な文において提案法が有効であることが明 らかとなった.

## 2 関連研究

## 2.1 正弦波位置符号化

Transformer では，正弦波位置符号化 (Sinusoidal Positional Encoding, SPE) を用いて文中の単語の絶対位置を符号化し，その値を単語の分散表現に足し 合わせる. SPEでは，単語の先頭からの絶対位置を $p o s$, 埋め込み表現の次元数を $d$ としたとき, 単語分散表現の $i$ 番目の要素に足し合わせる値 $E_{\mathrm{SPE}}(p o s, i)$ は以下の式で定義される。

$
\begin{gathered}
E_{\mathrm{SPE}}(p o s, 2 i)=\sin \left(\frac{p o s}{\theta}\right) \\
E_{\mathrm{SPE}}(p o s, 2 i+1)=\cos \left(\frac{p o s}{\theta}\right)
\end{gathered}
$

このとき, $\theta=10000^{2 i / d}$ であり，偶数次元は正弦関数，奇数次元は余弦関数で定義される.

さらに，SPE 絶対位置のみだけでなく，文中の 単語間の相対的位置も表現している. 文中の位置 pos から任意の距離 $k$ 離れた位置 $p o s+k$ における $\mathrm{SPE}$ の値 $E_{\mathrm{SPE}}(p o s+k, 2 i)$ は $E_{\mathrm{SPE}}($ pos, $2 i)$ と回転角 が $-k / \theta$ の回転行列の線形関数として以下の式で表現できる.

$
\left[\begin{array}{cc}
\cos \left(\frac{k}{\theta}\right) & \sin \left(\frac{k}{\theta}\right) \\
-\sin \left(\frac{k}{\theta}\right) & \cos \left(\frac{k}{\theta}\right)
\end{array}\right]\left[\begin{array}{c}
\sin \left(\frac{p o s}{\theta}\right) \\
\cos \left(\frac{p o s}{\theta}\right)
\end{array}\right]=\left[\begin{array}{c}
\sin \left(\frac{p o s+k}{\theta}\right) \\
\cos \left(\frac{p o s+k}{\theta}\right)
\end{array}\right]
$

よって, SPE は $k$ と pos の位置関係を, 回転角が $-k / \theta$ の回転行列を使ってアフィン変換によって表現していると捉えることができる [6]. このように 単語間の相対位置を符号化することは機械翻訳の 性能向上に寄与することが報告されており [7], 言語生成タスクにとって重要な性質の一つと考えら れる。

## 2.2 構造的位置符号化

前節で説明した Transformer の位置符号化 SPE は 文を単語列として扱うための機構であり，そのまま では構文木から得られる情報を符号化することが できない。そこで，Wang ら [2] は，位置符号化内部 で依存構造木における単語の深さを符号化するた めの構造的位置符号化 (Structural Positional Encoding, StrcPE) を提案した. depを依存構造木の根となる単語の深さを 0 とした場合の各単語の依存木におけ る深さとして，通常の絶対位置を符号化したものと $d e p$ を符号化したものを加算することで構文を考慮 した符号化を行う (式 (4)).
The boy wants for the girl to believe him.

図 2 通常の絶対位置表現 pos と構造的位置表現 depthに よる表現例

$
E_{\mathrm{StrcPE}}(p o s, d e p, i)=E_{\mathrm{SPE}}(p o s, i)+E_{\mathrm{SPE}}(d e p, i)
$

しかし、単語の絶対位置の符号化した值と依存木に おける深さを符号化した値を加算するだけでは, 図 2 にあるように The と boy の値が同一になる，つま り異なる位置に存在する単語の StrcPE 値が重複す る. さらにこの符号化は, 全次元で絶対位置と構造的位置を足し合わせているため, 本来の SPE が持 つ絶対位置表現や相対性 (式 (3)) が保存されないと いう問題点もある.

## 3 提案手法

単語の符号化された値が重複しない，かつ SPE の 持つ相対性を限定的に保持したまま Transformer 内 で原文の構文構造を考慮した符号化を実現するた め，球体表面を利用した位置符号化 (Hyperspherical Positional Encoding, HPE) を提案する. 正弦波位置符号化では単語を $2 \pi / 10000^{2 i / d}$ の等間隔で円周上に配置していると捉えることができる。構造的位置符号化も同様，同じ円周上で絶対位置と依存構造木にお ける深さという 2 つの情報をあわせて表現するが，前節で説明したとおり，符号化された值が重複する ことがあり得る。提案手法は，これの重複を防ぐた め球体表面で依存構造木に位置を表現する。つま り，単語の絶対位置を円周上の点として表すための パラメタ $\theta$ に対して単語の依存構造木中での深さ を球面上の点として表すためのパラメタ $\phi$ を導入 する。

球体表面を用いて単語の絶対位置と依存構造木に おける深さを表現するため，三次元極座標を元に式

(1)

$
\begin{gathered}
E_{\mathrm{HPE}}(p o s, d e p, 2 i, 2 j)=\sin \left(\frac{p o s}{\theta}\right) \cos \left(\frac{d e p}{\varphi}\right) \\
E_{\mathrm{HPE}}(p o s, d e p, 2 i, 2 j+1)=\sin \left(\frac{p o s}{\theta}\right) \sin \left(\frac{d e p}{\varphi}\right) \\
E_{\mathrm{HPE}}(p o s, d e p, 2 i+1)=\cos \left(\frac{p o s}{\theta}\right) \\
\theta=256^{2 i / d}, \varphi=64^{2 j / 2 d}, j=2 i
\end{gathered}
$

$\phi$ を導入するため，SPE の偶数次元 (式 (1)) を式 (5) と式 (6) へと分割し, 奇数次元 (式 (7)) は式 (2) と同様とした. この時，通常の絶対位置が生成性能に大 きな影響を与える [2]ことから，半分の次元で絶対位置のみを保持し, 残り半分の次元で絶対位置と 依存構造木中での深さを表現するようにした. さ らに，值の増減が極端に小さくなるのを避けるた め，パラメータ $\theta$ とパラメータ $\phi$ の分母をそれぞれ $256^{2 i / d}$ と $64^{2 j / d}$ とする. pos または dep を固定した 時，SPE が持つような相対性 (式 (3)) を HPE が持つ ことは自明である.

## 4 実験

設定 英独，中英，英日の翻訳タスクにおいて， SPE,StrcPE,HPE を採用した Transformer の比較評価 を行なった. 英独は, WMT14 データセットを用 いた. 440 万文対の学習データ，3,000 文対の開発 データ，2,737 文対のテストデータからなる. 実際 のデータは Stanford NLP group ${ }^{1)}$ が公開しているも のを利用した. 中英は, NIST データセットを用い た. 125 万文対の学習データ, 878 文対の開発デー タ，5,262 文対のテストデータからなる. ${ }^{2)}$ 英日は ASPEC [9] データセットを用いた. 178 万文対の学習データ， 1,790 文対の開発データ， 1,812 文対のテ ストデータからなる。学習には [10]に倣って 100 万文対の学習データである train-1.txt のみを使用した.入出力はサブワードとし, Sentencepiece [11]を使い トークナイズを行った. このとき，語彙サイズは英独，中英で 32,000 ，英日で 16,000 とし，言語間で共有した．実装には fairseq [12]を用い，ハイパーパラ メータは全てにおいて文献 [1] と同じに設定した.原文の依存構造の解析には $\mathrm{spaCy}^{3}$ )を用いた. 英語

1) https://nlp.stanford.edu/projects/nmt/

2） $[2,8]$ によい，学習には LDC2002E18, LDC2003E07, LDC2003E14, そ し て, LDC2004T07, LDC2004T08, LDC2005T06 の Hansards 箇所を用いた. 開発には NIST2002 テストセット，テストには NIST2003,2004,2005,2006 のテス トセットを用いた.

3) https://spacy.io/

表 1

英独，中英，英日翻訳実験における BLEU

表 2 HPE と, 全次元で depthを考慮するよう pos/ $/$ と $\operatorname{depth} / \varphi$ を入れ替えた場合の英日，中英翻訳実験における BLEU

の解析には, en_core_web_sm-3.2.0 モデル, 中国語の 解析には zh_core_web_sm-3.2.0 モデルを用いた. 評価指標には BLEU[13] を用いた. 実験は異なるシー ドを用いて各 3 回行い，その平均を報告する.

結果 表 1 に実験結果を示す. 全てのデータセッ トに対し, 改善幅は小さいものの HPE の BLEU 值 は SPE に対して勝っている。一方，StrcPE は HPE よりもさらに BLEU 值の改善幅が小さく，英独では SPE よりも低下した.これらの結果より，HPE は StrcPE よりも依存構造における単語の深さを効果的 に符号化できたと考える。

## 5 分析

## 5.1 構造的位置の影響

絶対位置 $p o s$ を利用しない場合，翻訳性能が大き く低下することが Wang らによって報告されている [2], HPE では, 絶対位置 pos はべクトルの全ての次元で，構造的位置 $d e p$ はべクトルの半分の次元での みで表現される. そこで，構造的位置 $\operatorname{dep}$ が符号化 にどの程度影響を与えるかを調べた。

HPE において， ベクトルの全ての次元で dep を表現するように式 (5)-(7) の pos $/ \theta$ と depth $/ \varphi$ を入れ替 え，英日，英中のデータセットを用いて実験を行っ た. ${ }^{4)}$ なお， $\theta$ と $\varphi$ の分母は式 (8) と同様である. こ の入れ替えにより, pos はべクトルの半分の次元で のみ表現されることに注意されたい，表 2 に実験結果を示す. どちらの実験でも，ベクトルの全次元で dep を考慮すると，BLEU 值は大きく低下した. こ のことから，位置符号化において絶対位置が深さよ りも明らかに支配的な役割を持つことがわかる.

表 3 中英翻訳実験におけるサブワード長別の BLEU

表 4 中英翻訳実験における構文木の最大の深さ別の BLEU

## 5.2 構文の複雑さにおける評価

深さを符号化する有効性を詳細に調べるため，文 のサブワード数と依存構造木の最大の深さごとに BLEU 值を計算した。

表 3,4 に中英データセットにおける結果を示す.表 3 から，11 サブワード以上の場合，HPE の BLEU が全体的にやや高いことから，短い文以外には若干 の効果があると考えられる．SPEと HPE を比較す ると， 61 サブワード以上の場合には BLEU 改善幅が 顕著である。このことから，構造位置は短い文では あまり影響を与えることはないが，長文だと効果が あることがわかる. 一方，10サブワード以下の非常 に短い文の場合ではSPEが最も良いことから，単純 な絶対位置のみで十分であることがわかる.

表 4 より, 表 3 と同じく, ほとんど場合で HPE は SPE，StrcPE よりも BLEU 値が良い，1文あたり の依存構造木の最大の深さごとにみると, 木の最大の染さが 1 といった単純な構造木の時, HPE は SPE よりも悪い. 一方, 最大の深さが 6 までのと き，StrcPE や HPE の BLEU 值はやや向上している.最大の深さが 7 以上といった複雑な構造を持つ文の 場合, BLEU は 0.6 ポイントほど向上した. これら より, 単純な構造を持つ文では, 構造位置の効果が 小さく，長い文または複雑な文の時にそれが有効で あることがわかった。

## 6 まとめ

本稿では Transformer において，単語の絶対位置 と構造位置 (依存構造を用いた深さ)を球体表面で 表現し符号化する，球体表面を利用した位置符号化
(Hyperspherical Positional Encoding, HPE) を提案した.英日，中英，英独の機械翻訳データセットを用いて 提案法を従来からの位置符号化法と比較評価した結果，顕著ではないものの BLEU 值の改善傾向がみら れた. 文長，依存構造木の深さごと評価結果から，長い文，依存構造が深い文においては依存構造を用 いた深さは有効であることがわかった. さらに，同 じ深さを表現する既存研究と比較した場合，提案手法は BLEU 值の改善傾向が見られた.

## 参考文献

[1] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. CoRR, Vol. abs/1706.03762, , 2017.

[2] Xing Wang, Zhaopeng Tu, Longyue Wang, and Shuming Shi. Self-attention with structural position representations. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 14031409, Hong Kong, China, November 2019. Association for Computational Linguistics.

[3] Chuan Wang, Nianwen Xue, and Sameer Pradhan. A transition-based algorithm for AMR parsing. In Proceedings of the 2015 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 366375, Denver, Colorado, May-June 2015. Association for Computational Linguistics.

[4] Yudai Kishimoto, Yugo Murawaki, and Sadao Kurohashi. Adapting BERT to implicit discourse relation classification with a focus on discourse connectives. In Proceedings of the Twelfth Language Resources and Evaluation Conference, pp. 1152-1158, Marseille, France, May 2020. European Language Resources Association.

[5] Angela Fan, Claire Gardent, Chloé Braud, and Antoine

Bordes. Using local knowledge graph construction to scale Seq2Seq models to multi-document inputs. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 4186-4196, Hong Kong, China, November 2019. Association for Computational Linguistics.

[6] Vighnesh Leonardo Shiv and Chris Quirk. Novel positional encodings to enable tree-structured transformers, 2019.

[7] Peter Shaw, Jakob Uszkoreit, and Ashish Vaswani. Selfattention with relative position representations. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers), pp. 464-468, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[8] Xing Wang, Zhaopeng Tu, Deyi Xiong, and Min Zhang. Translating phrases in neural machine translation. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 1421-1431, Copenhagen, Denmark, September 2017. Association for Computational Linguistics.

[9] Toshiaki Nakazawa, Manabu Yaguchi, Kiyotaka Uchimoto, Masao Utiyama, Eiichiro Sumita, Sadao Kurohashi, and Hitoshi Isahara. Aspec: Asian scientific paper excerpt corpus. In Nicoletta Calzolari (Conference Chair), Khalid Choukri, Thierry Declerck, Marko Grobelnik, Bente Maegaard, Joseph Mariani, Asuncion Moreno, Jan Odijk, and Stelios Piperidis, editors, Proceedings of the Ninth International Conference on Language Resources and Evaluation (LREC 2016), pp. 2204-2208, Portorož, Slovenia, may 2016. European Language Resources Association (ELRA).

[10] Yui Oka, Katsuhito Sudoh, and Satoshi Nakamura. Length-constrained neural machine translation using length prediction and perturbation into length-aware positional encoding. 自然言語処理, Vol. 28, No. 3, pp. 778-801, 2021.

[11] Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for Neural Text Processing. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[12] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A fast, extensible toolkit for sequence modeling. In Proceedings of NAACL-HLT 2019: Demonstrations, 2019.

[13] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

SPE

StrcPE, depth $=0$

HPE, depth $=0$

StrcPE, depth $=4$

HPE, depth $=4$

図 $3 \mathrm{SPE}$ (上段), Wang らの $\operatorname{StrcPE}$ (中段), 提案手法の $\mathrm{HPE}$ (上段)をそれぞれ視覚化したもの. 縦軸が単語の絶対位置 $p o s$ を表す. 横軸は次元数 $d$ であり，式 (8)，式 (6)，式 (7) の次元別に合わせて表している.

## A 視覚化

先行研究との比較のため, 図 3 に各位置符号化の ヒートマップを示す。明晰化のため，横軸を式 (8),式 (6), 式 (7) のベクトルの次元別に対応して表して いる. StrcPE ではべクトルの全次元において絶対位置 $p o s$ と構造的位置 $d e p$ を考慮しているため, $d e p$ の值に関わらず全次元でヒートマップの変域が SPE と比べ小さくなっており，位置符号化の表現の幅を 狭める可能性がある。一方で，HPE ではベクトルの 偶数次元でのみ, 絶対位置 $p o s$ と構造的位置 $d e p$ を考慮し, 奇数次元では絶対位置 $p o s$ のみ考慮す る. そのため, 奇数次元は SPE と全く同じであり, depth $=0$ の時, $3 / 4$ の次元で SPE と同じ值を取る. さらに, $\operatorname{dep}=0$ 以外の時でも，変域は SPE と似た ような分布になっており，位置符号化の表現の幅を 最大限使っていると考えられる。

## B パラメータ

HPE では，同じような式変形を式 (6) に施すこと で，さらにパラメータ tmp,גを追加していくことも 可能である.

$E_{\mathrm{HPE}}(p o s, \operatorname{dep}, t m p, 2 i, 2 j+1,2 k)=\sin \left(\frac{p o s}{\theta}\right) \sin \left(\frac{d e p}{\varphi}\right) \cos \left(\frac{t m p}{\lambda}\right)$

$E_{\mathrm{HPE}}(p o s, d e p, t m p, 2 i, 2 j+1,2 k+1)=\sin \left(\frac{p o s}{\theta}\right) \sin \left(\frac{d e p}{\varphi}\right) \sin \left(\frac{t m p}{\lambda}\right)$


# 事前学習済みモデル T5 における近傍分布の有効性の調査

丹羽彩奈 ${ }^{1}$ 岡崎直観 1
1 東京工業大学情報理工学院
\{ayana.niwa[at]nlp, naoaki.okazaki[at]\}c.titech.ac.jp

## 概要

大規模なデータストアから近傍事例を検索し，テ キスト生成モデルを補強するメモリ拡張手法が有望視されている。特に最近では、時間ステップごとの モデルの予測分布を近傍事例に基づく分布で補間す ることで追加の学習なしに機械翻訳性能を向上させ るシンプルかつ効果的なアプローチ（kNN-MT）が 提案された [1]。本研究は、そのアプローチを学習 コストの観点から捉え、事前学習済みモデルに $k$ 近傍モデルを組み込むことで少ない学習コストで性能 を向上させることを目的とする。本稿ではそのため の一歩として、kNN-MT の枠組みを事前学習済みの エンコーダ・デコーダモデル $\mathrm{T} 5$ に導入し、様々な 入出力設定をもつ自然言語生成タスクや、zero-shot などの複数の学習設定における近傍事例の有効性を 調査した。その結果、事前学習で得た生成能力と近傍分布を組み合わせることで、少ない学習コストで タスク特化の生成を行える可能性が示唆された。

## 1 はじめに

メモリ拡張モデルは、ベースとなるモデルと大規模なデータストアから検索した近傍事例（kNN）を 組み合わせて最終出力を決定する。このアプローチ ではモデルパラメータの学習による暗黙的な記憶と データストアによる明示的な記憶の両方が性能向上 に寄与するため [2]、品詞タグ付け [3] や構文的曖昧性解消 [4]、用例べース機械翻訳 [5] など、幅広い夕 スクで活用されてきた。

特に最近では、デコーダのみからなる言語モデル GPT-2 [6] の時間ステップごとの予測分布を $k$ 近傍 モデルで補間する $k \mathrm{NN}-\mathrm{LM}$ が追加の学習なしに性能を向上させることに成功し、後続の研究に大きな インパクトを与えた [2]。kNN-LM のアプローチは エンコーダ・デコーダモデルに拡張され、言語モデ リングだけではなく機械翻訳（kNN-MT）[1,7] や自然言語推論 [8]、文法誤り訂正 [9] など個別のタスク
に適用されている。

これらのアプローチは、特に低頻度語などの学習時に覚えきれなかった知識に有効であり、モデルが もつ知識を補間できることが性能向上のひとつの要因であると指摘されている [2]。この知識の補間は、近年自然言語処理タスクで主流になりつつある、事前学習時とは異なるタスク特化の知識を fine-tuning で獲得するアプローチと共通する考え方である。そ こで、本研究では fine-tuning で得るタスクの知識を 近傍分布で補間することで学習コストを削減するこ とを目的とし、事前学習済みのエンコーダ・デコー ダモデルに kNN-MT のアプローチを組み込む。

本稿は、機械翻訳や自動要約などあらゆる自然言語処理タスクを系列から系列への変換としてみなし て統一的な枠組みで扱う T5 モデル [10]をべースの モデルとして採用する。そして、この $\mathrm{T} 5$ モデルを さまざまな自然言語生成タスクに適応させる際に、近傍分布を活用してタスク特化の知識を補間する。既存研究では同一タスク内でのドメイン適応に対す る有効性が示されてきた。本研究は事前学習済み工 ンコーダ・デコーダモデルを別タスクに適応するた めに近傍分布を活用するはじめての研究である。

本項では、そのための一歩として、まず kNN-MT の枠組みを組み込んだ T5を機械翻訳だけではなく 自動要約、対話生成、Data-to-text など様々な入出力 をもつタスクに適用し、その近傍分布の有効性を調 べた。また、学習コスト削減に関する有効性につい て調査するため、全学習事例を用いた fine-tuning だ けではなく、zero-shot や few-shot 設定において近傍分布を組み込み、少ない学習でより良い性能を達成 するアプローチが有望か調査した。実験結果より、現状では近傍分布が有効なタスクは限定的であるも のの、翻訳タスクでは $\mathrm{T} 5$ においても比較的小規模 なデータストアで性能を改善できることを確認し た。また、特定のタスクにおいて近傍分布を活用す ることで、少量の学習事例を用いた few-shot の性能 を全学習事例で fine-tuning した場合の性能に近づけ

図1 生成済みの系列“Obama’s birthplace is”に続くトーク ンを予測する際の手法の概要図

られることを確認した。

## 2 近傍分布を用いたテキスト生成

本研究では、Khandelwal ら [1] が提案した近傍事例を用いたモデル kNN-MT を T5 に適用し、任意の テキスト生成タスクに用いる（図 1）。ベースとな る自己回帰モデルは、入力系列 $x$ と既に生成済みの 系列 $\hat{y}_{1: i-1}$ に基づき、 $i$ 番目のトークンの確率分布 $p\left(y_{i} \mid x, \hat{y}_{1: i-1}\right)$ を予測する。

## $2.1 \mathrm{kNN-\mathrm{MT}$}

$k$ NN-MT は、 $k$ 近傍モデルをエンコーダ・デコー ダアーキテクチャに統合した機械翻訳のための Transformer モデルである [1]。学習済みの翻訳モデ ルの出力分布 $p_{\mathrm{MT}}(y \mid x)$ をノンパラメトリックな $k$近傍モデルによって求めた近傍分布 $p_{\mathrm{kNN}}(y \mid x)$ で線形補間することで最終的な分布 $p\left(y_{i} \mid x, \hat{y}_{1: i-1}\right)$ を求 める。ここで、 $\hat{y}$ は既に生成されたトークンを表す。

$
\begin{aligned}
\left.p_{(} y_{i} \mid x, \hat{y}_{1: i-1}\right)= & \lambda p_{\mathrm{kNN}}\left(y_{i} \mid x, \hat{y}_{1: i-1}\right) \\
& +(1-\lambda) p_{\mathrm{MT}}\left(y_{i} \mid x, \hat{y}_{1: i-1}\right)
\end{aligned}
$

ここでハイパーパラメータ $0 \leq \lambda \leq 1$ は補完係数で あり、値が大きいほど近傍分布が最終的な分布に大 きな影響を及ぼす。

データストアの構築 データストア $(\mathscr{K}, \mathscr{V})$ は、全ての学習事例 $(X, \mathcal{Y})$ のトークンごとの隠れべク トル $\boldsymbol{h}\left(x, \hat{y}_{1: i-1}\right)$ をキー、その隠れべクトルに対応す る正解トークン $y_{i}$ を值とするぺアの集合である。

$
(\mathscr{K}, \mathscr{V})=\left.\{\left(\boldsymbol{h}\left(x, y_{1: i-1}\right), y_{i}\right) \mid \forall y_{i} \in y, y \in \mathcal{Y}\right.\}
$

近傍分布 $p_{\mathrm{kNN}}$ の計算 まず、モデルは入力系列 $x$ と生成済みの系列 $\hat{y}_{1: i-1}$ を受け取り、隠れべクト ル $\boldsymbol{h}\left(x, \hat{y}_{1: i-1}\right)$ を語彙数次元のベクトルに線形変換す ることで次の単語に対する出力分布 $p_{\mathrm{MT}}\left(y_{i} \mid x, \hat{y}_{1: i-1}\right)$ を得る。次に、 $k$ 近傍モデルが $\boldsymbol{h}\left(x, \hat{y}_{1: i-1}\right)$ をクエリ としてデータストアから距離関数 $d(\cdot, \cdot)$ に従って近さ Top- $k$ の近傍事例 $\mathcal{N}=\left.\{\left(\boldsymbol{k}_{j}, v_{j}\right) \in(\mathscr{K}, \mathscr{V})\right.\}_{j=1}^{k}$ を 検索する。この距離関数 $d(\cdot, \cdot)$ には $L^{2}$ 距離を用い る。最後に、その負の距離に温度 $T$ のソフトマック ス関数を適用することで、語彙数次元の近傍分布 $p_{\mathrm{kNN}}\left(y_{i} \mid x, \hat{y}_{1: i-1}\right)$ を得る。

$
\begin{aligned}
& p_{\mathrm{k} N N}\left(y_{i} \mid x, \hat{y}_{1: i-1}\right) \propto \\
& \sum_{\left(\boldsymbol{k}_{j}, v_{j}\right) \in \mathcal{N}} \mathbb{\square}_{v_{j}=y_{i}} \exp \left(\frac{-d\left(\boldsymbol{k}_{j}, \boldsymbol{h}\left(x, \hat{y}_{1: i-1}\right)\right)}{T}\right)
\end{aligned}
$

## $2.2 \mathrm{kNN-\mathrm{T} 5$}

本研究では、事前学習済みモデルに $k$ 近傍モデ ルを統合して低コストで良い性能を達成すること を目的とする。ベースとなる事前学習済みのエン コーダ・デコーダモデルには、Text-to-Text Transfer Transformer (T5) [10]を採用する。T5 は、教師なしタ スクと教師ありタスクで事前学習された Transformer ベース [11]のモデルであり、あらゆる自然言語タス クを text-to-text タスクとして見なし、プレフィック スを用いることで生成タスクを切り替える。

kNN-MT のベースである Transformer モデルを T5 モデルに置き換え、各ステップのモデルの出力分布 $p_{\mathrm{T} 5}\left(y_{i} \mid x, \hat{y}_{1: i-1}\right)$ を近傍分布で補間することで最終的な分布を求める。推論時およびデータストア 構築に用いる隠れべクトル $\boldsymbol{h}\left(x, \hat{y}_{1: i-1}\right)$ の計算時に は、入力系列の先頭にタスクごとのプレフィック ス (例: 英独翻訳では“translate English to German：”）を連結してモデルに入力する 1)。隠 れべクトルにはデコーダ側のフィードフォワード層 の最終層への入力を用いる。データストアの構築方法や近傍分布の計算方法は kNN-MT に従う。

## 3 実験

実験では、事前学習された T5 モデルに対する近傍分布の有効性について、幅広い自然言語生成タス クと学習設定で調査する。

## 3.1 実験設定

データセット 自然言語生成タスクのベンチ マークである $\mathrm{GEM}^{2}$ )から自動要約（XSum データ セット、以下XSum [12])、対話生成 (Schema-Guided Dialog データセット、以下 Dialog [13])、Data-to-Text （DART データセット、以下 DART [14]）のタスクを

表 1 実験で用いるデータセットの統計値

選定した。XSum は短い単文への自動要約、Dialog は直前の発話とエージェントの対話行為から応答を生成するタスク志向型の対話生成、DART は Wikipedia に含まれるテーブルからのテキスト生成である。表 1 に示した各データセットの統計情報の通り、これらは比較的小規模なデータセット である。さらに、当ベンチマークセットには含ま れない生成タスクとして機械翻訳（WMT'16 英独） も採用する ${ }^{3)}$ 。これらのデータは全て Huggingface Datasets ${ }^{4)}$ からダウンロードした。

モデル 二種類のサイズの $\mathrm{T} 5$ モデルである t5-small と t5-base を用いる5)。パラメータサイズは それぞれ 60M、220M である。入出力設定が特殊な Dialog、DART、XSum はそれぞれ fine-tuning を行っ た。学習や推論の詳細については付録 B に示した。実装は全て Huggingface Transformers ${ }^{6)}$ で行った。

近傍分布の統合近傍探索ライブラリ faiss [15]を 用いてデータストアから近傍事例を検索した。な お、統合方法に関するハイパーパラメータ $(k, T, \lambda)$ は、 $k \in\{32,128,256,512\} 、 T \in\{10,50,100,200\} 、$ $\lambda \in\{0.2,0.4,0.6,0.8\}$ の組み合わせから開発データ での性能に基づき決定した。

評価 XSum、Dialog、DART は GEM-metrics ${ }^{7}$ で求 めた BLEU [16]、ChrF [17] と ROUGE [18] で評価し た。WMT'16 英独は、既存研究と同様に BLEU で評価する。BLEU の算出では SacreBLEU [19] を用い、大文字小文字を区別した。

## 3.2 実験結果

まず、全ての学習事例で fine-tuning した場合 ${ }^{8)}$ の 近傍分布の統合なしとあり (+kNN) の場合の性能 と近傍分布の統合方法に関するハイパーパラメー

3）機械翻訳は WMT の Shared task でのベンチマークとして確立しているため GEM から除外されている。

4) https://github.com/huggingface/datasets

5) https://huggingface.co/t5-small, https: //huggingface.co/t5-base

6) https://github.com/huggingface/transformers

7) https://github.com/GEM-benchmark/

GEM-metrics

8）事前学習に含まれる翻訳タスクは除く

図 2 用いるデータストアの事例の割合 (横軸) を変化さ せた時の WMT'16 英独の評価データでの BLEU 值（縦軸）

タ、またデータストアのサイズ $D$ を表 2 に示した。結果として、事前学習済みエンコーダ・デコーダモ デルにおける近傍分布の有効性は、タスクによって 大きく異なる傾向を示した。まず、自動要約・対話生成・Data-to-text タスクでは近傍分布が性能向上に ほとんど寄与しない。逆に既存研究でも有効性が示 されている機械翻訳タスクでは 2.6 ポイント以上 BLEU 值が向上した。機械翻訳タスクとその他の夕 スクの最も明示的な違いは、機械翻訳タスクの 1/50 以下しかないデータストアの小ささである。既存研究 [1] で用いられている WMT'19独英のデータスト アのサイズが $770 \mathrm{M}$ であることを踏まえても、今回近傍分布が有効でなかった 3 つのタスクのデータス トアは相対的に著しく小さい。そこで、データスト アのサイズが WMT'16 英独の性能に与える影響を 調べるため、データストアのサイズを小さくした時 の BLEU 值の推移を調べた（図 2)。これによると、 データストアの大きさと性能の間に相関関係がある ことが確認できる。よって、事前学習モデルに近傍分布を統合する際にもデータストアの大きさは重要 であることが示唆される。しかしながら、任意の夕 スクでデータストアのサイズを大きくすることは容易ではない。

そこで、次はデータストアのサイズを大きくする ことなく事前学習済みモデルで近傍分布を有効に活用する方法について調査する。具体的には、事前学習時の知識のみを使ってベースモデルの出力分布 $p_{\mathrm{T} 5}$ を計算させ、タスクの知識を近傍分布のみから 得る zero-shot 設定での性能を調べた（表 3)。その 結果、zero-shot 設定の性能もタスクによって大きな 違いが見られた。特に顕著なのは、Dialog と DART で近傍分布を統合した場合の性能が大きく向上した 点である。Dialog では自然言語文に加えてエージェ
表 2 自然言語生成タスクでの性能と近傍分布に関する最適なハイパーパラメータおよびデータストアのサイズ $D$

表 3 t5-small の実験。B は BLEU 值、R は ROUGE 值を 示す。 $\lambda=1$ は近傍分布のみを用いてテキストを生成した 場合の性能である。

ントの対話行為情報が、DART では自然言語文では なく構造化データが入力として与えられる。そのた め、両タスクとも T5 の事前学習時の入出力設定と は異なり生成の難易度が高く、zero-shot ではほとん ど解くことができない。しかし、近傍分布を統合す ることで事前学習時にはないタスク固有の知識を追加学習なしに活用できるようになる。一方で、これ らの性能は $\lambda=1$ 、つまり近傍分布のみで生成した 結果とほぼ変わらない性能であり、事前学習で獲得 したテキスト生成能力をほとんど使えていない。そ のため fine-tuning ありの場合に比べて性能は大きく 劣り、実用性に欠ける。

そこで、次は学習コストを抑えつつべースモデル の生成能力と近傍分布の両方を有効活用する設定を 探るべく、ランダムサンプリングした 32 件の学習事例を用いて few-shot 学習を行った。結果を表 3 の 下半分に示した。特筆すべきは、Dialog で少数の学習を追加することでベースのモデルの BLEU 値が近傍分布なし・ありともに 8.5 ポイント以上向上した 点である。これは、入力に自然言語文が含まれるこ とから比較的事前学習された知識を転移しやすい設定であるためだと考えられる。学習コストについて考えると、全ての学習データで学習する場合に比べ てステップ数を $1 / 250$ 、延べ学習事例数を $1 / 4000$ に まで削減しつつ、GEM のベースラインの報告値で ある 50.0 (ROUGE-L) ${ }^{9}$ に対して差を 5 ポイント以下にまで近づけられたことになる。つまり学習コス 卜を減らすという目的で近傍分布を組み込むこと が少なくとも特定の条件下では有望であることが わかった。近傍分布の有効性は顕著である一方で、 ベースモデルの性能は依然として低く、学習コスト を下げることで性能を必要以上に犠牲にしてしま う。また、XSum と DART では少量の学習事例だけ ではモデルの生成能力を引き出すことはできなかっ た。事前学習で獲得した生成能力と近傍分布を幅広 い入出力設定のタスクにおいて活用できる few-shot 手法の検討は今後の課題である。

## 4 結論

本研究では、メモリ拡張モデル kNN-MT の枠組み を事前学習済みのエンコーダ・デコーダモデル T5 に適用し、任意のテキスト生成に適用可能な手法と して一般化した上で、低学習コストで高い性能を達成するための近傍分布の活用法の検討に取り組ん だ。機械翻訳、自動要約、対話生成、Data-to-text と いう幅広い入出力の自然言語生成タスクを用いた実験により、近傍分布の統合は少なくとも特定のタス ク設定においては有効であり、学習コストを大幅に 抑えつつ事前学習済みモデルを各タスクにノンパラ メトリックに適応させられる可能性が示された。今後は、近傍分布が有効であるタスクの性質の更なる 分析や、学習コストと性能のトレードオフを改善す る近傍分布の統合方法について調査を進めたい。

## 謝辞

本研究成果は、国立研究開発法人情報通信研究機

構（NICT）の委託研究「自動翻訳の精度向上のため

のマルチモーダル情報の外部制御可能なモデリング

の研究開発」（課題 225）により得られたものです。

## 参考文献

[1] Urvashi Khandelwal, Angela Fan, Dan Jurafsky, Luke Zettlemoyer, and Mike Lewis. Nearest neighbor machine translation. In International Conference on Learning Representations, 2021.

[2] Urvashi Khandelwal, Omer Levy, Dan Jurafsky, Luke Zettlemoyer, and Mike Lewis. Generalization through memorization: Nearest neighbor language models. In International Conference on Learning Representations, 2020.

[3] Walter Daelemans, Jakub Zavrel, Peter Berck, and Steven Gillis. MBT: A memory-based part of speech taggergenerator. In Fourth Workshop on Very Large Corpora, Herstmonceux Castle, Sussex, UK, June 1996.

[4] Claire Cardie. Domain-specific knowledge acquisition for conceptual sentence analysis. Computer Science Department Faculty Publication Series, p. 60, 1994.

[5] Eiichiro Sumita and Hitoshi Iida. Experiments and prospects of example-based machine translation. In 29th Annual Meeting of the Association for Computational Linguistics, pp. 185-192, Berkeley, California, USA, June 1991.

[6] Alec Radford, Jeff Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. Language models are unsupervised multitask learners. 2019.

[7] Yuxian Meng, Xiaoya Li, Xiayu Zheng, Fei Wu, Xiaofei Sun, Tianwei Zhang, and Jiwei Li. Fast nearest neighbor machine translation. In Findings of the Association for Computational Linguistics: ACL 2022, pp. 555565, Dublin, Ireland, May 2022.

[8] Weijia Shi, Julian Michael, Suchin Gururangan, and Luke Zettlemoyer. knn-prompt: Nearest neighbor zero-shot inference. arXiv, 2022.

[9] Masahiro Kaneko, Sho Takase, Ayana Niwa, and Naoaki Okazaki. Interpretability for language learners using example-based grammatical error correction. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics, pp. 7176-7187, Dublin, Ireland, May 2022.

[10] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. J. Mach. Learn. Res., Vol. 21, No. 1, jun 2022.

[11] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in neural information processing systems, pp. 5998-6008, 2017.
[12] Shashi Narayan, Shay B. Cohen, and Mirella Lapata. Don't give me the details, just the summary! topicaware convolutional neural networks for extreme summarization. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 1797-1807, Brussels, Belgium, October-November 2018.

[13] Abhinav Rastogi, Xiaoxue Zang, Srinivas Sunkara, Raghav Gupta, and Pranav Khaitan. Towards scalable multi-domain conversational agents: The schemaguided dialogue dataset. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 34, No. 05, pp. 8689-8696, Apr. 2020.

[14] Linyong Nan, Dragomir Radev, Rui Zhang, Amrit Rau, Abhinand Sivaprasad, Chiachun Hsieh, Xiangru Tang, Aadit Vyas, Neha Verma, Pranav Krishna, Yangxiaokang Liu, Nadia Irwanto, Jessica Pan, Faiaz Rahman, Ahmad Zaidi, Mutethia Mutuma, Yasin Tarabar, Ankit Gupta, Tao Yu, Yi Chern Tan, Xi Victoria Lin, Caiming Xiong, Richard Socher, and Nazneen Fatema Rajani. DART: Open-domain structured data record to text generation. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 432-447, Online, June 2021.

[15] Jeff Johnson, Matthijs Douze, and Hervé Jégou. Billionscale similarity search with GPUs. IEEE Transactions on Big Data, Vol. 7, No. 3, pp. 535-547, 2019.

[16] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: A method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting on Association for Computational Linguistics, p. 311-318, USA, 2002.

[17] Maja Popović. chrF: character n-gram F-score for automatic MT evaluation. In Proceedings of the Tenth Workshop on Statistical Machine Translation, pp. 392-395, Lisbon, Portugal, September 2015.

[18] Chin-Yew Lin. ROUGE: A package for automatic evaluation of summaries. In Text Summarization Branches Out, pp. 74-81, Barcelona, Spain, July 2004.

[19] Matt Post. A call for clarity in reporting bleu scores. WMT 2018, p. 186, 2018.

[20] Leonardo F. R. Ribeiro, Martin Schmitt, Hinrich Schütze, and Iryna Gurevych. Investigating pretrained language models for graph-to-text generation. In Proceedings of the 3rd Workshop on Natural Language Processing for Conversational AI, pp. 211-227, Online, November 2021.

## A 実験設定の詳細

実験で用いる入力系列の設定 DART の入力系列 は、Wikipedia のテーブルに含まれる主語、述語、目的語の三つ組のセットを既存研究 [20] と同様に各要素の前に特殊トークン $<\mathrm{H}>，<\mathrm{R}>，<\mathrm{T}>$ を付けて系列化した。また、T5 モデルに用いたプロンプトは 以下の通りである。

自動要約 “summarize:”

対話生成 “Prompt：， Response

Type: $\longrightarrow$, Type of Slot:

Agent: "

Data-to-text "translate graph to English:"

機械翻訳 "translate English to German:"対話生成のプロンプトは、ベンチマーク GEM で推奨されているものを用いた。

## B 実験の詳細

## B. 1 学習と推論のパラメータ設定

XSum はバッチサイズ 16、学習率 2e-05 で 50 エ ポック、Dialog はバッチサイズ 256、学習率 0.001 で 5000 ステップ、DART はバッチサイズ 24、学習率 7e-05 で 40 エポック学習した。また、推論時のビー 么幅は全て 5 に設定した。

## B. 2 zero-shot 学習に近傍分布を組み込む 際の留意点

近傍分布のハイパーパラメータである $k, T, \lambda を そ$ れぞれ固定した時の全学習事例による fine-tuning あ り（full）の設定と zero-shot（zero）の設定の BLEU 値の分散値の比率 $\operatorname{Var}\left(\mathrm{BLEU}_{\text {zero }}\right) / \operatorname{Var}\left(\mathrm{BLEU}_{\text {full }}\right)$ をを 図 4 に示した。值が大きいほど zero-shot における性能がハイパーパラメータに敏感であることを示す。 これによると、データセット間で違いがあるが特に Dialog と DART の zero-shot における性能が両パラ メータに大変敏感であり、温度パラメータや近傍事例数によって大きく性能が異なることがわかる。そ のため、事前学習済みモデルの出力にそのまま近傍分布を統合する場合は入念なハイパーパラメータの 探索が大変重要である。

## B. 3 実験結果

t5-base で zero-shot と few-shot を行った時の性能を 表 5 に示した。t5-smallと同様に、Dialog では少量表 4 各ハイパーパラメータの值を固定した時の fine-tuning した時（full）と zero-shot の時（zero）の BLEU 値の分散の比率 $\operatorname{Var}\left(\mathrm{BLEU}_{\text {zero }}\right) / \operatorname{Var}\left(\mathrm{BLEU}_{\text {full }}\right)$

表 5 t5-base の実験。B は BLEU 值、R は ROUGE 值を 示す。

の事例を学習することで性能が大きく改善するが、 XSum と DART では近傍分布の有効性は見られな い。ただ、XSum の性能は few-shot 学習すると近傍分布によって性能が低下する。近傍分布の統合方法 に関する最適なハイパーパラメータも大きく変化 し、特に用いる近傍事例の数 $k$ が大幅に削減された ことから、少量の学習データで隠れべクトルの空間 が大きく変化し、生成に役立つ近傍事例以外の事例 が多く検索されるようになってしまったことが推測 される。この挙動の不安定さについては更なる調査 が必要である。