# Retrieval, Masking, and Generation : マスクされた解説文を活用した文法誤り解説文生成

庵愛佐藤宏田中智大増村亮
日本電信電話株式会社 NTTコンピュータ\&データサイエンス研究所
mana.ihori.kx@hco.ntt.co.jp

## 概要

本稿では，文法誤り解説文生成タスクのための新たな手法を提案する，本タスクは，文法誤りを含む入力文と修正位置が与えられると, 修正位置がなぜ誤っているかを解説する文章を生成するため，言語学習者にとって有益なタスクである。従来，本タスクにはデータプールから検索した解説文を入力文に応じて編集する手法が有効だと考えられたが，過剩な編集が起こるために性能が低いという課題があった.そこで本稿では，過剰な編集を防ぐために，検索した解説文の編集すべきトークンをマスクし，そのトークンを予測する retrieval, masking, and generation を提案する. 文法誤り解説文生成タスクを用いた評価実験により，自動評価と人手評価で従来手法よりも高い性能を達成することを示す.

## 1 はじめに

文法誤り解説文生成は，文法誤り訂正タスク [1-4] のように誤りを直接修正するのではなく，入力文の修正位置がなぜ誤っているかを解説するタスクである [5]. 具体的には，文法誤りを含む入力文（例えば, “He agrees the opinion.”) と文字単位の範囲として与えられる修正位置（3:13）が与えられた場合に，修正位置に対する解説文 ("The verb agree is an intransitive verb and cannot take direct objects. Add the appropriate preposition.”)を生成する。本タスクは自身の文法誤りの原因を知ることができるため，言語学習者にとってより有益なタスクだと考えられる.

従来，本タスクに対して retrieval [5], simple generation [6], retrieve-and-edit [7] の 3 つの手法が提案されている。まず，retrieval はデータプールから入力文に対して適切な解説文を検索する手法である。この手法では，モデル化は比較的容易に行えるが，検索された解説文の編集ができないという課題がある.次に, simple generation は入力文から直接解説文を生成する手法である. そのため，入力文に応じて柔軟な解説文の生成が期待できるが，スクラッチで解説文を生成する必要があるため, retrieval よりもモデル化が難しい。最後に，retrieve-and-edit は，これら手法の利点を組み合わせた手法である。具体的には，retrieval によって検索された解説文を simple generation の入力に用いることで，入力文に応じて検索された解説文を書き換える手法であり, simple generation よりも高い性能を達成することが期待されている。しかし, retrieve-and-edit は検索された解説文のうち，編集する必要のないトークンを過剩に書き換えてしまうため，従来手法の中で最も性能が低いことが報告されている [8].

本稿では, retrieve-and-edit の課題を解決するために，この手法を拡張した retrieval, masking, and generation を提案する. 提案手法は，検索，マスク，生成の 3 つのモジュールから構成され, retrieve-andedit にマスクモジュールを導入したものである. マスクモジュールは，検索された解説文のうち，正解の解説文に含まれないトークンをマスクするように，各トークンに対してマスクトークンに置換するか，しないかの二值分類を行う．ここで作成されるマスクされた解説文を生成モジュールの入力に用いることで，マスクトークンを予測するように新たな解説文を生成できるため，検索された解説文の過剩な書き換えを防ぐことを期待している。ここで，提案手法は各モジュールの出力をカスケード接続するため，直前のモジュールの性能が後続のモジュールの性能に影響する。この影響を軽減するため，推論時に検索モジュールの上位 1 個のみではなく,$k$ 個の結果を用いる multi-decoding を提案する. 文法誤り解説文生成タスクを用いた評価実験により，自動評価で提案手法が従来手法よりも高い性能を達成することを示す。また，提案手法を用いてシェアード

タスクである Generation Challenge 20221) に参加したため，その結果についても報告する。

## 2 提案手法

図 1 に検索，マスク，生成モジュールから構成される提案手法の概要を示す. 本稿では，解説文生成タスクの入力文を $\boldsymbol{X}=\left.\{x_{1}, \cdots, x_{M}\right.\}$ ，解説文を $\boldsymbol{Y}=\left.\{y_{1}, \cdots, y_{N}\right.\}$ と定義する. このとき, $x_{m}$ と $y_{n}$ は入力, 解説文に含まれるトークンを， $M$ と $N$ はそれぞれのトークン数を表す。また，修正位置を位置ラベル $\boldsymbol{P}=\left.\{p_{1}, \cdots, p_{M}\right.\}$ (このとき, $\left.p_{m} \in\{0,1\}\right)$ に変換する. 例えば，入力文が $\{\mathrm{He}$, agrees, the, opinion, $.$\} , 修正位置が 3:13 の場合, \boldsymbol{P}=\{0,1,1,0,0\}$ となる.

## 2.1 検索モジュール

本モジュールでは, $\boldsymbol{X}$ と $\boldsymbol{P}$, 解説文の集合から選択された $\boldsymbol{Y}$ をれぞれべクトルに変換し，ベクトル間の最も高いコサイン類似度を示す $\boldsymbol{Y}$ を出力する。 コサイン類似度 $s$ は, 式 (1)によって導出される。

$
s=\text { retreival }\left(\boldsymbol{X}, \boldsymbol{P}, \boldsymbol{Y} ; \boldsymbol{\Theta}_{\text {ret }}\right)
$

ここで, retreival() は検索モジュールの関数, $\boldsymbol{\Theta}_{\text {ret }}$ は学習可能なパラメータを表す。

retreival() で行われる処理を以下に示す.まず，式 (2-3) に従って， $\boldsymbol{X}$ と $\boldsymbol{Y}$ を隠れ表現 $\boldsymbol{Q}=$ $\left.\{\boldsymbol{q}_{1}, \cdots, \boldsymbol{q}_{M}\right.\}$ と $\boldsymbol{R}=\left.\{\boldsymbol{r}_{1}, \cdots, \boldsymbol{r}_{N}\right.\}$ に変換する.

$
\begin{aligned}
& \boldsymbol{Q}=\text { TransformerEncoder }\left(\boldsymbol{X} ; \boldsymbol{\Theta}_{\text {ret }}\right) \\
& \boldsymbol{R}=\text { TransformerEncoder }\left(\boldsymbol{Y} ; \boldsymbol{\Theta}_{\text {ret }}\right)
\end{aligned}
$

ここで, TransformerEncoder()は [9] と同様の構造である Transformer ベースのエンコーダを表す. 本稿では，このエンコーダに事前学習済みの BERT [10] を用いる。次に，式 (4) に従って， $\boldsymbol{Q}$ と $\boldsymbol{P}$ 用いて入力文を単一のべクトルに変換する.

$
\boldsymbol{u}=\sum_{m=1}^{M} \boldsymbol{q}_{\boldsymbol{m}} \cdot p_{m}
$

また，データプールから選択された解説文は，文頭の [CLS]トークンの隠れ表現 $\left(\boldsymbol{r}_{1}\right)$ を用いることで，単一のベクトルに変換する. 最後に， $\boldsymbol{u}$ と $\boldsymbol{r}_{1}$ のコサイン類似度を式 (5) から導出する。

$
\text { retreival }\left(\boldsymbol{X}, \boldsymbol{P}, \boldsymbol{Y} ; \boldsymbol{\Theta}_{\text {ret }}\right)=\frac{\boldsymbol{u} \cdot \boldsymbol{r}_{1}}{\|\boldsymbol{u}\|\left.\|\boldsymbol{r}_{1}\right.\|}
$

学習: 本モジュールは, $\mathscr{D}_{\text {ret }}=\left.\{\left(\boldsymbol{X}^{1}, \boldsymbol{P}^{1}, \boldsymbol{Y}\right.\right.$, $\left.\left.\delta^{1}\right), \cdots,\left(\boldsymbol{X}^{C}, \boldsymbol{P}^{C}, \boldsymbol{Y}, \delta^{C}\right)\right.\}$ を用いて学習される.

ここで, $C$ は入力文と位置ラベルの総数を, $\mathcal{Y}=\left.\{\boldsymbol{Y}^{1}, \cdots, \boldsymbol{Y}^{D}\right.\}$ は総数 $D$ の解説文の集合を表す. また, $\delta^{c}=\left.\{s^{c, 1}, \cdots, s^{c, D}\right.\}$ は $\boldsymbol{X}^{c}$ に対する正解の解説文 $\boldsymbol{Y}^{c}$ と， $y$ から選択した $\boldsymbol{Y}^{d}$ の Levenshtein 類似度 [11]の集合を表す.このモジュールは, $\boldsymbol{X}^{c}$ と $\boldsymbol{P}^{c}$, $\boldsymbol{Y}^{d}$ から作成されるべクトル間の類似度が $s^{c, d}$ に近づくように式 (6)より学習される.

$
\begin{aligned}
\mathscr{L}_{\text {ret }}= & \frac{1}{C \cdot D} \sum_{c=1}^{C} \sum_{d=1}^{D} \\
& \left(s^{c, d}-\operatorname{retreival}\left(\boldsymbol{X}^{c}, \boldsymbol{P}^{c}, \boldsymbol{Y}^{d} ; \boldsymbol{\Theta}_{\text {ret }}\right)\right)^{2}
\end{aligned}
$

検索： 式 (7) に従って，y から最大のコサイン類似度を示す $\tilde{\boldsymbol{Y}}$ を抽出する。

$
\tilde{\boldsymbol{Y}}=\underset{\boldsymbol{Y} \in \mathcal{Y}}{\arg \max } \operatorname{retreieval}\left(\boldsymbol{X}, \boldsymbol{P}, \boldsymbol{Y} ; \boldsymbol{\Theta}_{\text {ret }}\right)
$

## 2.2 マスクモジュール

本モジュールでは， $\boldsymbol{X}$ と $\boldsymbol{P}, \tilde{\boldsymbol{Y}}$ が与えられた場合に， $\tilde{\boldsymbol{Y}}$ の各トークンに対してマスクするか，しないかの二值分類を行う. 具体的には，マスクラベル $\boldsymbol{L}=\left.\{l_{1}, \cdots, l_{N}\right.\}$ （このとき， $l_{n} \in\{0,1\} ）$ を式 (8)に従って出力する.

$
P\left(\boldsymbol{L} \mid \boldsymbol{X}, \boldsymbol{P}, \tilde{\boldsymbol{Y}} ; \boldsymbol{\Theta}_{\text {mask }}\right)=\prod_{n=1}^{N} P\left(l_{n} \mid \boldsymbol{X}, \boldsymbol{P}, \tilde{\boldsymbol{Y}} ; \boldsymbol{\Theta}_{\text {mask }}\right)
$

ここで， $\boldsymbol{\Theta}_{\text {mask }}$ は学習可能なパラメータを表す。

本モジュールは検索モジュールと同様のモデルアーキテクチャで用いることが可能である. そのため，式 (2-4)より，Xと $\boldsymbol{P}$ を $\boldsymbol{u} ， \tilde{\boldsymbol{Y}}$ を $\boldsymbol{R}=\left.\{\boldsymbol{r}_{1}, \cdots, \boldsymbol{r}_{N}\right.\}$ に変換する. 次に， $\tilde{\boldsymbol{Y}}$ の各トークンに対する二値分類を式 (9-10) によって算出する.

$
\begin{gathered}
P\left(l_{n} \mid \boldsymbol{X}, \boldsymbol{P}, \tilde{\boldsymbol{Y}} ; \boldsymbol{\Theta}_{\text {mask }}\right)=\operatorname{softmax}\left(\boldsymbol{v}_{n} ; \boldsymbol{\Theta}_{\text {mask }}\right) \\
\boldsymbol{v}_{n}=\left[\boldsymbol{u}^{\mathrm{T}}, \boldsymbol{r}_{n}^{\mathrm{T}}\right]^{\mathrm{T}}
\end{gathered}
$

ここで，softmax() は活性化関数 softmax を用いた線形変換を表す.

学習: 本モジュールは, $\mathscr{D}_{\text {mask }}=\left.\{\left(\boldsymbol{X}^{1}, \boldsymbol{P}^{1}, \boldsymbol{Y}\right.\right.$, $\left.\left.\mathscr{L}^{1}\right), \ldots,\left(\boldsymbol{X}^{C}, \boldsymbol{P}^{C}, \mathscr{Y}, \mathscr{L}^{C}\right)\right.\}$ を用いて学習される.ここで, $\mathscr{L}^{c}=\left.\{\boldsymbol{L}^{c, 1}, \cdots, \boldsymbol{L}^{c, D}\right.\}$ は, $\mathscr{y}$ から選択した $\boldsymbol{Y}^{d}$ のトークンのうち， $\boldsymbol{Y}^{c}$ に含まれないトークンを 1 ， それ以外を 0 としたラベル集合を表す. 本モジュー ルは，式 (11)に示すクロスエントロピー損失を用いて学習される。

$
\mathscr{L}_{\text {mask }}=-\sum_{c=1}^{C} \sum_{d=1}^{D} \log P\left(\boldsymbol{L}^{c, d} \mid \boldsymbol{X}^{c}, \boldsymbol{P}^{c}, \boldsymbol{Y}^{d} ; \boldsymbol{\Theta}_{\text {mask }}\right)
$

図 1 提案手法の概要

マスク処理： 本モジュールの推論は，式 (12)によって実行される.

$
\hat{\boldsymbol{L}}=\underset{\boldsymbol{L}}{\arg \max } P\left(\boldsymbol{L} \mid \boldsymbol{X}, \boldsymbol{P}, \tilde{\boldsymbol{Y}} ; \boldsymbol{\Theta}_{\text {mask }}\right)
$

をマスクした $\bar{Y}$ を出力する.

$
\overline{\boldsymbol{Y}}=\operatorname{MASK}(\tilde{\boldsymbol{Y}}, \hat{\boldsymbol{L}})
$

MASK() は $\hat{\boldsymbol{L}}$ のラベルが 1 のとき，そのラベルに対応する $\tilde{Y}$ のトークンをマスクトークンに置換する処理を表す。このとき，生成モジュールではマスクトー クンの数だけトークンを予測する必要があるが，ここで置換したマスクトークンの数と生成すべきトー クンの数は必ずしも一致するわけではない. そこで本稿では，1つのマスクトークンから複数のトークンを予測できる，span masking [12]を用い，連続するマスクトークンは 1 つのマスクトークンに置換する. そのため， $\tilde{\boldsymbol{Y}}$ と $\overline{\boldsymbol{Y}}$ のトークン数は同じであるとは限らない，また，すべてのラベルが 0 の場合，生成モジュールを介さず，直接 $\tilde{\boldsymbol{Y}}$ 出力する.

## 2.3 生成モジュール

本モジュールでは,$\overline{\boldsymbol{X}}=\left.\{\bar{x}_{1}, \cdots, \bar{x}_{M}\right.\}$ と $\overline{\boldsymbol{Y}}$ が与えられた場合に，Yを生成する。ここで， $\bar{X}$ は修正位置の範囲に含まれるトークンを括弧で囲むことにより，あらかじめ修正位置の情報を付与した入力文である。具体的には， $\overline{\boldsymbol{X}}$ と $\overline{\boldsymbol{Y}}$ 特殊トークン [SEP] で連結した, $\boldsymbol{Z}=\left.\{\bar{x}_{1}, \cdots, \bar{x}_{M},[\mathrm{SEP}], \bar{y}_{1}, \cdots, \bar{y}_{N}\right.\}$ を入力として，式 (14) に従って $\boldsymbol{Y}$ を生成する.

$
P\left(\boldsymbol{Y} \mid \boldsymbol{Z} ; \boldsymbol{\Theta}_{\mathrm{gen}}\right)=\prod_{n=1}^{N} P\left(y_{n} \mid y_{1}, \cdots, y_{n-1}, \boldsymbol{Z} ; \boldsymbol{\Theta}_{\mathrm{gen}}\right)
$

ここで， $\boldsymbol{\Theta}_{\text {gen }}$ は学習可能なパラメータを表す.

本モジュールは, Transformer ベースの encoderdecoder モデルで構成される。まず， $\boldsymbol{Z}$ を式 (15) によって隠れ表現 $\boldsymbol{H}$ に変換する.

$
\boldsymbol{H}=\operatorname{TransformerEncoder}\left(\boldsymbol{Z} ; \boldsymbol{\Theta}_{\text {gen }}\right)
$

次に， $y_{1}, \cdots, y_{n-1}$ と $\boldsymbol{H}$ を用いて， $y_{n}$ の事後確率を式 (16-17) に基づいて算出する.

$
\begin{gathered}
P\left(y_{n} \mid y_{1}, \cdots, y_{n-1}, \boldsymbol{Z} ; \boldsymbol{\Theta}_{\text {gen }}\right)=\operatorname{softmax}\left(w_{n} ; \boldsymbol{\Theta}_{\text {gen }}\right) \\
w_{n}=\operatorname{TransformerDecoder}\left(y_{1}, \cdots, y_{n-1}, \boldsymbol{H} ; \boldsymbol{\Theta}_{\text {gen }}\right)
\end{gathered}
$

ここで，TransformerDecoder() は [9] と同様の構造である Transformer ベースのデコーダを表す. 本稿では，この encoder-decoder モデルに事前学習済みの T5 [12]を用いる.

学習： 本モジュールは, $\mathscr{D}_{\mathrm{gen}}=\left.\{\left(\boldsymbol{Z}^{1}, \boldsymbol{Y}^{1}\right), \cdots\right.$, $\left.\left(\boldsymbol{Z}^{\left|D_{\mathrm{gen}}\right|}, \boldsymbol{Y}^{\left|\Phi_{\mathrm{gen}}\right|}\right)\right.\}$ を用い，式 (18) に示すクロスエントロピー損失によって学習される。

$
\mathscr{L}_{\text {gen }}=-\sum_{(\boldsymbol{Z}, \boldsymbol{Y}) \in \mathscr{D}_{\text {gen }}} \log P\left(\boldsymbol{Y} \mid \boldsymbol{Z} ; \boldsymbol{\Theta}_{\text {gen }}\right)
$

デコード： デコードは式 (19) によって算出される.

$
\hat{\boldsymbol{Y}}=\underset{\boldsymbol{Y}}{\arg \max } P\left(\boldsymbol{Y} \mid \boldsymbol{Z} ; \boldsymbol{\Theta}_{\text {gen }}\right)
$

## 2.4 multi-decoding

提案手法では，3つのモジュールの出力をカスケード接続するため，各モジュールの性能は直前のモジュールの性能に依存する。そこで，最終的に出力される解説文の信頼度を高める方法として, multi-decoding を提案する. multi-decoding は検索モジュールで上位 1 個ではなく， $k$ 個の解説文を検索する. ここで検索された $k$ 個の解説文を用い，1つの入力文に対して $k$ 個の解説文を生成する. これら $k$ 個の解説文から，1つの解説文を選択することで最終的な出力を決定する。選択方法として，同じ入力文に対して重複している解説文の数を算出し,最も多い解説文を選択する。しかし，重複している数が同じであったり，すべての解説文が重複していない可能性もある. そのような場合，ある解説文とそれ以外の $k-1$ 個の解説文，および入力文との Levenshtein 類似度を算出し，その平均値が最も高いものを選択することで 1 つの解説文を出力する.

## 3 評価実験

## 3.1 実験条件

データ： Generation Challenge 2022 で提供された, 入力文, 修正位置, 解説文がセットになったデータセットを用い，2 章の各データセットを作成する. まず， D ret では，y は上記データセットの学習セットを用いる. ここで, 学習セットのすべての $\boldsymbol{Y}^{d}$ を用いて $s^{c, d}$ を算出すると，類似度が低いものが多い不均衡なデータセットになる．そこで，類似度の小数点第一位が同じものが 5 個以下になるように $Y^{d}$ をランダムに削除した. 次に， $D_{\text {mask }}$ では， $y$ は $D_{\text {ret }}$ と同じものを用い, $\boldsymbol{Y}^{d}$ のうち, $\boldsymbol{Y}^{c}$ に含まれないトークンを 1 , それ以外を 0 として $\boldsymbol{L}^{c, d}$ を作成した. 最後に, $D_{\text {gen }}$ では, $D_{\text {ret }}$ 作成時に算出した類似度を用い, 各 $\boldsymbol{X}^{c}$ に対して 10 件の $\boldsymbol{Y}^{d}$ を抽出し, $\mathscr{D}_{\text {mask }}$ の $\boldsymbol{L}^{c, d}$ から $\overline{\boldsymbol{Y}}^{d}=\operatorname{MASK}\left(\boldsymbol{Y}^{d}, \boldsymbol{L}^{c, d}\right)$ を得ることで $Z$ を作成した. 表 1 にそれぞれの詳細を示す.

設定： 本稿では, 提案手法, 検索と生成モジュー ルを用いた retrieve-and-edit, 検索モジュールのみの retrieval, 生成モジュールのみの simple generation を実装した。これらの手法は，事前学習済みモデルを fine-tuning することで学習され，BERTには HaggingFace 社 [13] の bert-based-cased を，T5には t5-baseを用いた. retrieve-and-edit の生成モジュールは検索された解説文をマスクしない $\mathscr{D g e n}_{\mathrm{gen}}$, simple generation は提供データセットを用いて fine-tuning した. また, fine-tuning 時は RAdam [14]による最適化を行い, multi-decoding では, $k=7$ とした.

## 3.2 結果

表 2 に文法誤り解説文生成の評価結果を示す. 表中の値は, BLEU [15] による自動評価と, Generation Challenge 2022 による 1 名のラベラーの人手評価を表す. 表より，自動評価，人手評価の両方で multi-decoding を用いた提案手法が最高性能を達成した. 提案手法では, multi-decoding によって一つの入力文に対して複数の解説文が生成され，より正解に近い解説文を選択できたために性能が向上したと考えられる．実際に，同じ入力に対して異なるマスクされた解説文を用いることで，異なる解説文が生成されていた。一方, retrieve-and-editでは multi-decoding による性能向上は起こらず，同じ入力文に対して異なる検索された解説文を用いても，表 1 各データセットのデータ数

表 2 文法誤り解説文生成における評価結果

全く同じ解説文を生成することがほとんどであった. そのため, retrieve-and-edit は検索された解説文を活用して新たな解説文を生成するのではなく，入力文に対してスクラッチで解説文を生成していると考えられる. また, simple generation よりも性能が高いのは，単純に学習データ量が多かったためだと考えられる，以上より，提案手法では入力のマスクを予測するように解説文を生成でき，検索した解説文を従来手法よりも有効に活用できると考えられる。

また，提案手法の推論時にマスクモジュールの予測結果ではなく，オラクルを用いた場合の性能も表に示す。表より，検索された解説文に対してオラクルのマスクを用いると，性能が大幅に向上することが示された. これは，各モジュールを個別に最適化しているために，誤りを含む予測結果の入力が生成の性能を劣化させたためだと考えられる。この性能の劣化は multi-decoding によって低減できるが，より性能を向上させるためには，学習時に予測結果を入力するなど，学習方法を再検討する必要がある. ここでの実際の出力結果の例は付録に示す.

## 4 おわりに

本稿では, 文法誤り解説文生成のための, retrieval, masking, and generation を提案した. 提案手法は，マスクされた解説文を大力に用いることで，マスクトークンを予測するように解説文を生成する．また，提案手法は各モジュールの出力をカスケード接続するため, 推論時に上位 1 個だけではなく, $k$ 個の検索された解説文を用いる multi-decoding を提案した. 文法誤り解説文生成を用いた評価実験の結果，提案手法は従来手法より高い性能を達成したが，学習方法に改善の余地があることが示された。

## 参考文献

[1] Zheng Yuan and Ted Briscoe. Grammatical error correction using neural machine translation. In Proc. Conference of the North American Chapter of the Association for Computational Linguistics (NAACL), pp. 380-386, 2016.

[2] Courtney Napoles and Chris Callison-Burch. Systematically adapting machine translation for grammatical error correction. In Proc. Workshop on Innovative Use of NLP for Building Educational Applications (BEA), pp. 345-356, 2017.

[3] Marcin Junczys-Dowmunt, Roman Grundkiewicz, Shubha Guha, and Kenneth Heafield. Approaching neural grammatical error correction as a low-resource machine translation task. In Proc. Conference of the North American Chapter of the Association for Computational Linguistics (NAACL), pp. 595-606, 2018.

[4] Shun Kiyono, Jun Suzuki, Masato Mita, Tomoya Mizumoto, and Kentaro Inui. An empirical study of incorporating pseudo data into grammatical error correction. In Proc. Conference on Empirical Methods in Natural Language Processing and International Joint Conference on Natural Language Processing (EMNLPIJCNLP), pp. 1236-1242, 2019.

[5] Ryo Nagata. Toward a task of feedback comment generation for writing learning. In Proc. Conference on Empirical Methods in Natural Language Processing and International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3206-3215, 2019 .

[6] Abigail See, Peter J Liu, and Christopher D Manning. Get to the point: Summarization with pointer-generator networks. In Proc. Annual Meeting of the Association for Computational Linguistics (ACL), pp. 1073-1083, 2017.

[7] Tatsunori B Hashimoto, Kelvin Guu, Yonatan Oren, and Percy S Liang. A retrieve-and-edit framework for predicting structured outputs. In Proc. Advances in Neural Information Processing Systems (NeurIPS), p. 10052-10062, 2018.

[8] Kazuaki Hanawa, Ryo Nagata, and Kentaro Inui. Exploring methods for generating feedback comments for writing learning. In Proc. Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 97199730, 2021.

[9] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Proc. Advances in neural information processing systems (NIPS), pp. 5998-6008, 2017.

[10] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018.

[11] Vladimir I Levenshtein, et al. Binary codes capable of correcting deletions, insertions, and reversals. In Soviet physics doklady, pp. 707-710, 1966.
[12] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei $\mathrm{Li}$, and Peter J Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. Journal of Machine Learning Research, Vol. 21, pp. 1-67, 2020.

[13] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Rémi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander M. Rush. Transformers: State-of-the-art natural language processing. In Proc. Conference on Empirical Methods in Natural Language Processing: System Demonstrations (EMNLP), pp. 38-45, 2020.

[14] Liyuan Liu, Haoming Jiang, Pengcheng He, Weizhu Chen, Xiaodong Liu, Jianfeng Gao, and Jiawei Han. On the variance of the adaptive learning rate and beyond. In Proc. International Conference on Learning Representations (ICLR), 2019.

[15] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proc. the Association for Computational Linguistics (ACL), pp. 311-318, 2002.

## A 付録

3 章の文法誤り解説文生成の評価実験における生成例を表 A.1，A. $2 ，$ A. 3 に示す.ここで，表 A. 1 は提案手法を，表 A. 2 は retrieve-and-editを用いて生成した解説文を示す。また，表 A. 3 は，提案手法において生成モジュールの入力にマスクモジュールの出力を用いた場合とオラクルを用いた場合の比較を示す.

## 表 A. 1 提案手法の出力結果の例

} \\

表 A. 3 提案手法におけるマスクの予測とオラクルの比較の例

 &  \\

マスクされた解説文のうち，太字の文字はマスクトークンではないのに変更された文字を表す. 生成された解説文のうち，赤色の文字はマスクされた解説文に含まれない文字を表す.


# 原文の書き換えによる広告文生成

村上 聡一朗 1 菊田 洸 ${ }^{1}$ 張 培楠 1 上垣外 英剛 2,4 高村大也 3,4 奥村 学 4
1 株式会社サイバーエージェント 2 奈良先端科学技術大学院大学
3 産業技術総合研究所 4 東京工業大学
\{murakami_soichiro,kikuta_ko,zhang_peinan\}@cyberagent.co.jp
kamigaito.h@is.naist.jp takamura.hiroya@aist.go.jp oku@pi.titech.ac.jp

## 概要

本研究では商品ぺージ等から抽出した文 (原文) を広告文として用いることを狙い，原文の体裁を整える書き換えモデルを提案する。同モデルでは，原文の長所である忠実性をいかに損なわず啇切な広告文へ書き換えられるかが重要な課題となる。これに対し本研究では，書き換えモデルの学習データの忠実性を高めることで同モデルの忠実性を保証する方法を試みる．自動評価および人手評価の結果，書き換えモデルにより原文の忠実性を保ちつつ広告として適切な文へ書き換えられることを確認した。

## 1 はじめに

広告文は，消費者の興味を惹きつけ，商品・サー ビスの申込みや購入といった購買行動を促す重要な役割を担っている. その一方で，急拡大するオンライン広告の需要に伴い人手による広告制作は限界を迎えつつあり，広告制作の自動化が期待されている。近年ではニューラルベースの生成型手法が盛んに研究されている $[1,2,3]$. しかし, 生成型手法には入力の商品説明ページ (Landing Page; LP）と一貫しない出力，すなわち忠実性の低い文を生成してしまう致命的な問題が指摘されており, 自動生成技術を広告制作現場で運用する上で大きな障壁となっている [4]. そのため, 正確な広告文の制作が求められる実運用では，誤りの可能性がほとんど無いテンプレート [5] や抽出型手法 [6] が重宝されている.

本研究では，LP から広告見出し文（以下，広告文）を生成する問題 $[2,3,7]$ を例として，抽出型手法に焦点を当てる. 図1のように，LPには購買行動を促すような有益な文が多く含まれる。しかし，抽出型手法により有益な抽出文（以下，原文）が得られたとしても広告文の文長制約1) や不要な記号を含

1） Google 広告では全角 15 文字の文字数制限を設けている.

図 1 書き換えモデルの適用例

む等の理由から広告として使用できないことが多々ある [8]. 例えば，図 1 の原文 (22 文字) は不要な記号「四を含み，文長制約も超過するため広告文として利用できない. したがって原文を適切に加工する必要がある. Fujita [8] らは依存木の刈り込みによる広告文生成手法を提案したが，刈り込みパターンを人手で構築する必要があるという課題があった.

本研究では，原文の文長や文体等の体裁を整える処理を系列変換問題として考え，原文から広告文を生成する書き換えモデルを提案する. 本研究では，後述する方法 (§2.1) によって構築した原文と広告文のペアデータを用いてモデルを学習する。ここで最も配慮すべきことは，原文の忠実性を損なわずに広告として適切な文へ書き換えることができるかであり，忠実性の保証は最重要課題である．そこで本研究では, 忠実性の高い学習データが生成型要約の忠実性改善に寄与したという報告 [9] に基づき，書き換えモデルの学習データの忠実性を高めることで忠実性を保証できないかと考えた。具体的には原文と広告文の入出力ペアを構築する際に忠実性の低いぺアを除去することで学習データの改善を狙う，加えて，フィルタリングによって学習事例数が減少し生成品質が劣化する問題に対して，本来除外される全ての事例を活用する学習方法を導入し, 生成品質の改善に寄与するかを検証する. 自動評価と人手評価の結果，提案モデルにより忠実性を保ちつつ広告として適切な文へ書き換えできることを確認した。

## 2 提案手法

本研究では，LP から抽出された原文から適切な文長かつ文体を満たす広告文を生成する書き換えモデルを提案する. 広告データは各 LP に対して複数の広告文が対応するデータである. $N$ 文の原文を含む LPを $X=\left[x_{1}, x_{2}, \ldots, x_{N}\right] ， M$ 文の広告文集合を $Y=\left.\{y_{1}, y_{2}, \ldots, y_{M}\right.\}$ と表記する. なお，原文 $x_{i}$, 広告文 $y_{j}$ は単語系列である. 本研究では, モデルに事前学習済み Transformer [10] を用い，原文 $x_{i}$ から広告文 $y_{j}$ を生成する系列変換問題を後述の学習デー タにより追加学習する. 以降では，書き換えモデルのデータセット構築および学習方法を説明する.

## 2.1 データセット構築

書き換えモデルの学習データとして，原文 $x_{i}$ と広告文 $y_{j}$ のペアを作成する. 本研究では文書要約の先行研究 $[11,12]$ に倣い，各原文と広告文の ROUGE-1 (再現率) スコア [13] に基づいて文ペア $\left(x_{i}, y_{j}\right)$ を作成する. 以降では，文ペア $\left(x_{i}, y_{j}\right)$ の同スコアを $\operatorname{Score}\left(x_{i}, y_{j}\right) \in[0,1]$ と表記する. 本研究では，原文 $x_{i}$ の単語を多く含む広告文 $y_{j}$ からなる文ペア，すなわちスコアが高い文ぺアは忠実性が高いと仮定する。したがって，まず全ての原文 $x_{i}$ と各広告文 $y_{j}$ のスコアを算出し，スコアが高いぺアを優先してデータセットへ加える. 本研究では, より多くの文ペアを作成するために各広告文 $y_{j}$ と全ての原文 $X$ のスコアを算出したのち，スコアが上位 10 件の文ペアをデータセット $D へ$ 追加する．しかし，Yの中には原文 $x_{i}$ と対応付けが難しい広告文 $y_{j}$ も多く存在しており, 結果的に忠実性の低いぺアが Dに混入する恐れがある。 そのため本研究では, $\operatorname{Score}\left(x_{i}, y_{j}\right)$ が閾値 $\alpha$ 未満の文ペアを DD から除去することで，より忠実性の高い学習データを構築する．本稿では，フィルタリング後の閾値 $\alpha$ 以上のペアからなる学習データを $D_{\geq \alpha}$ と表記する.

## 2.2 学習方法

フィルタリングにより学習データの忠実性は期待できる一方で，学習事例数が減少することで生成文の品質が劣化することが懸念される. そこで本研究では，以下の各手法により学習事例数を減らすことなく生成文の忠実性を保証できるか検証する。

2 段階追加学習 (Two-stage Training) Dには間值 $\alpha$ 未満の忠実性が低い文ペア（以下，ノイズ）も含まれるが，出力側は人手で書かれた品質の高い広告文であるため，全ぺアデータ Dを学習に活用したい。そこで，全学習事例 Dとフィルタリング後の $D_{\geq \alpha}$ に対する 2 段階追加学習を実施する. 具体的には，まず事前学習済み Transformerに対して Dを用いた 1 回目の追加学習を行い，その後，より忠実性の高い $D_{\geq \alpha}$ を用いた 2 回目の追加学習を実施する。これにより， 1 回目で広告文の生成方法を獲得し， 2 回目で忠実性を改善することを期待する.

タグによる制御 (Control Codes) Dの各文ぺア $\left(x_{i}, y_{j}\right)$ の忠実性をスタイルと見なし, タグにより生成文の忠実性を制御する。具体的には先行研究 [14] に倣い，入力の先頭に各文ぺアの忠実性を表すタグを連結する．各文ぺアの忠実性を表す指標として $\operatorname{Score}\left(x_{i}, y_{j}\right)$ を用い，同スコアを 5 つの区間に等分割することで各区間に対応するタグ (<S0>, <S8> 等) を作成する.ここで， $\left.\langle\operatorname{SO}>\right.$ は $\operatorname{Score}\left(x_{i}, y_{j}\right) \in[0,0.2]$ の文ペア, <S8> は $\operatorname{Score}\left(x_{i}, y_{j}\right) \in(0.8,1]$ の文ペアに付与するタグを表す。これにより，学習時に全ての事例を活用できる．推論時には<S8>を用いることで忠実性が高い文が生成されることを期待する.

## 3 実験

書き換えモデルの効果検証のために，原文が事前に与えられる設定で同モデルの有用性を検証する。

## 3.1 実験設定

データセット (1) 広告データの収集，(2) 原文-広告文ペア構築の工程により書き換えモデルのデータセットを構築した。(1) まず Web 上の広告配信デー タから全 31 社分の広告データ (以下，元データ)を 24,525 件用意し，15,000 件，4,919 件，4,606 件の学習, 開発, 評価データへ分割した. ここでLP と広告文集合のセット $(X, Y)$ が 1 件であり， $X$ と $Y$ に含まれる平均文数はそれぞれ 212.2 文，12.5 文である. (2) 次に，元データから $\$ 2.1$ の手法により原文-広告文のペア $\left(x_{i}, y_{j}\right)$ を作成した. 元データには同じ広告文も含まれるため重複削除を行った。その結果,書き換えモデルの学習, 開発，評価データとして 39,430 件， 534 件，1,824 件のペアが得られた.ここで，学習データはフィルタリング前のデータあり，開発，評価データには間值 $\alpha$ が 0.7 以上のぺアを採用した。構築したペアデータの例を付録 $\mathrm{A}$ に示す.

実装書き換えモデルには事前学習済み mT5 [15] を用いる。その他の詳細は付録 B に記載する。
表 1 「日本語が不適切」と人手でラベル付けされた例。 なお，[NE] は社名・サービス名等の秘匿化処理を表す。 アニカ車\&カーシェア,【1】個人事業主キャッシングリボ払いまとめ $[N E]$ 銀行，[NE][NE] 伊東市の宅配

自動評価生成文の品質を測るために参照文との単語一致に基づくROUGEを使用する. 生成文の忠実性を測る指標として生成文中の単語のうち原文に含まれる割合，すなわち単語被覆率 (以下，被覆率) を用いる。しかし, 被覆率では原文と生成文で言い回しが異なる表現 (“50\%OFF”, “半額”) の忠実性を考慮できないため人手評価も実施する。 また, 生成文が広告文における文長制約を満たすかを評価する。本研究では，広告見出し文の入稿規定 ${ }^{2}$ に従い，文長が全角 15 文字以内の生成事例の割合を報告する. さらに，生成文の自然さを測る指標として，パープレキシティ (PPL)を使用する. PPL の算出には評価データとは異なる 128,920 件の広告文で追加学習したGPT-2 [16] を用いた. また生成文が広告として適切な文であるかを評価するために，株式会社サイバーエージェント社内で過去に生成された広告文に対して広告品質チェックの専門家が「広告として日本語は適切か」を 2 值 (適切, 不適切) でラベル付けしたデータセットを用い，広告文としての適切さを評価するモデルを構築した. 表 1 に人手で「不適切」とラベル付けられた事例を示す。これらの文は 「不要な文字」「単語の繰り返し」「単語のつながりの不自然さ」等の理由により「日本語が不適切」とラベル付けされている. なお, 本研究では適切さを評価するモデルを容認度判定モデルと呼称し, 「適切」 と予測された生成事例の割合を報告する. 同モデルの評価データにおける $\mathrm{F}$ 值（マクロ平均）は 0.812 であった. その他の同モデルの詳細は付録 $\mathrm{C}$ に示す.

人手評価忠実性（原文が生成広告文を含意するか), 流暢性（内容が理解でき自然な文であるか）について 3 人の評価者による 2 段階評価（はい，いいえ）を実施した. 評価データから無作為抽出した 200 件を評価対象とし, 各事例について 2 人以上が 「はい」と答えた割合を報告する。

## 3.2 実験結果

表 2 に評価対象のモデルおよび実験結果を示す.実験では，学習データの忠実度が生成品質に与える影響と $\$ 2.2$ の学習方法を検証するために複数モデル

を用意した. ここで，学習データゆで訓練したモデルを BASELINE D, 閾値 $\alpha$ のフィルタリングを適用したデータ ( $\mathscr{D}_{\geq 0.5}$ 等) で訓練したモデルを FILTER $\mathscr{D}_{\geq 0.5}$ と表記する.なお，フィルタリング後の各データ $\left(D_{\geq 0.5}, \mathscr{D}_{\geq 0.7}, \mathscr{D}_{\geq 0.9}\right)$ の事例数は, 11,022 件, 3,291 件，1,688 件である。また, BASELINE $D$ に対してフィルタリング後のデータ (D $\geq 0.9$ 等) で 2 回目の追加学習を実施したモデルを Two-STAGE $\mathscr{D}_{20.9}$, タグで忠実性を制御するモデルを CONTROL 8 と表記する.

## 3.2.1フィルタリングによる劣化を低減できるか

ROUGE スコアにより各モデルの生成品質を考察する. FILTER $D_{\geq 0.9}$ 以外は高いスコアを得ることができた. FILTER $D_{\geq 0.9}$ ではフィルタリングにより学習事例数が 1,688 件に削減されたことで十分な学習が出来ず生成品質が劣化したことが示唆される.これは PPL からも同モデルの生成品質が低いことが推察できる。また，BASELINE $力$ に対して 2 回目の追加学習をするモデル (Two-STAGE $\mathscr{D}_{\geq 0.5}$ 等) では, フィルタリング済みのデータだけを訓練に用いるモデル (FILTER $D_{20.5}$ 等) と比べてスコア改善が見られた.この結果から 2 段階追加学習はフィルタリングによる生成品質の劣化を低減できていることが推察できる. 同様に，タグで忠実性を制御する CONTROL $。$ は BASELINE وから改善が確認できた.これはタグ制御により生成文の忠実性が改善したことで，参照文と類似した文が生成できたためと考えられる。

## 3.2.2 学習データの忠実度が生成品質に与える影響

生成文中の単語のうち原文に含まれる単語の割合を表す被覆率と人手評価に基づく各モデルの忠実性とを比較する．表 2 の結果から，より忠実度の高いデータ $\left(D_{\geq 0.7}, \mathscr{D}_{\geq 0.9}\right)$ で学習した Two-STAGE $D_{\geq 0.7}$, TwO-STAGE $\mathscr{D}_{\geq 0.9}$ は被覆率が高く, 人手評価においても原文に対して忠実な文と判定される割合が高いことを確認した. 表 4 に各モデルの生成例および忠実性の人手評価で「はい」と答えた人数を示す.表 4 に示すように，被覆率が高い Two-STAGE $\mathscr{D}_{20.7}$, Two-STAGE $\mathscr{D}_{\geq 0.9}$ は原文 (表題中の下線) から抽出的に生成することで忠実性を高めていることが分かった.しかし被覆率を高めるだけでは流暢性が損なわれる恐れがある。そこで流暢性を人手評価したところ，各モデルの流暢性はいずれも高いことを確

情報を含む不自然な生成文が多く, 評価者にとっ

モデルの評価結果. ROUGE-1，ROUGE-2，ROUGE-L (R-1，R-2，R-L) は F 值を表す. 各列の最高値を太字で表す.

表 3

表 4 原文「保証料 0 円! 一部繰上返済手数料 0 円! 返済シミュレーションはこちら」の書き換え結果

て内容の理解が難しいことから流暢性が比較的低い結果となった. 以上の結果より Two-STAGE $D_{\geq 0.7}$, Two-STAGE $\mathscr{D}_{\geq 0.9}$ は忠実性と流暢性が優れていることが分かった.

## 3.2.3 原文を適切な広告文へ書き換えられるか

書き換えモデルによって原文から広告として日本語が適切な文を生成できるかを評価するために，原文と生成文が容認度判定モデルで「適切」と判定された割合を比較する．表 2 の結果から FILTER $D_{\geq 0.9}$以外は，原文（0.595）よりも「適切」と判定された割合が高い $(0.648 \sim 0.834)$ ことが確認できた。すなわち，書き換えモデルは広告として使用できない原文を適切な広告文へ書き換える手段として有用であることが示唆される. 表 3 に Two-STAGE $D_{\geq 0.9}$ により原文を書き換えた結果を示す.これらの結果から Two-STAGE $D_{\geq 0.9}$ は，原文に含まれる単語を抽出しつつ，不要な文字を除去することで，原文から広告として適切な文を生成していることを確認できる。 また，参照広告文を容認度判定モデルで評価し
たところ，「適切」と判定された割合が比較的低い (0.656) ことが分かった. これは評価データ中に単語が列挙された広告文（例えば，「マンション松本市」）が多く含まれており，こうした文が「不適切」 と判定されたためと考えられる。

## 3.2.4文長制約を満たすか

原文と生成文について文長制約を満たす割合を比較する。原文の中で文長制約を満たす割合は 0.595 ,生成文は 0.717 0.884 であり，書き換えモデルにより原文の多くを適切な文長へ圧縮できることを確認できた。一方，文長制約を超過する文も残存しており，文長制御 [17] の導入など改善の余地もある.

## 4 おわりに

本研究では，LP から抽出した文を広告として適切な文へ書き換える書き換えモデルを提案した. 評価結果から書き換えモデルが原文を適切な広告文へ書き換える有用な手段であることを確認した。

一方で本研究には数多くの課題が残る. 例えば, データ構築 (§2.1) における忠実性判定では原文と広告文の ROUGE を用いたが，同手法は表層に基づくため同義語に脆弱である．その対策として，表層ではなく 2 文の含意関係 (原文は広告文を含意するか) による判定が考えられる [18]. また，広告では忠実性に加えて魅力度 (消費者を惹きつける内容か) も重視される [2]. 書き換えによる魅力度劣化を防ぐために，魅力度も考慮した手法などが求められる。

## 謝辞

本研究は，株式会社サイバーエージェントと東京工業大学の共同研究の成果をまとめたものです.

## 参考文献

[1] 村上聡一朗, 星野翔, 張培楠. 広告文自動生成に関する最近の研究動向. 2022 年度人工知能学会全国大会, 2022

[2] J. Weston Hughes, Keng-hao Chang, and Ruofei Zhang. Generating better search engine text advertisements with deep reinforcement learning. In Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, pp. 2269-2277, 2019.

[3] Hidetaka Kamigaito, Peinan Zhang, Hiroya Takamura, and Manabu Okumura. An empirical study of generating texts for search engine advertising. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies: Industry Papers, pp. 255-262, 2021.

[4] Konstantin Golobokov, Junyi Chai, Victor Ye Dong, Mandy Gu, Bingyu Chi, Jie Cao, Yulan Yan, and Yi Liu. DeepGen: Diverse search ad generation and real-time customization. preprint, arXiv:2208.03438, 2022.

[5] Kevin Bartz, Cory Barr, and Adil Aijaz. Natural language generation for sponsored-search advertisements. In Proceedings of the 9th ACM Conference on Electronic Commerce, pp. 1-9, 2008 .

[6] Stamatina Thomaidou, Konstantinos Leymonis, and Michalis Vazirgiannis. GrammAds: Keyword and ad creative generator for online advertising campaigns. In Proceedings of the 1st International Conference on Digital Enterprise Design and Management, pp. 33-44, 2013.

[7] 村上聡一朗, 星野翔, 張培楠, 上垣外英剛, 高村大也,奥村学. Lp-to-text: マルチモーダル広告文生成. 言語処理学会第 28 回年次大会, 2022.

[8] Atsushi Fujita, Katsuhiro Ikushima, Satoshi Sato, Ryo Kamite, Ko Ishiyama, and Osamu Tamachi. Automatic generation of listing ads by reusing promotional texts. In Proceedings of the 12th International Conference on Electronic Commerce, pp. 179-188, 2010.

[9] Kazuki Matsumaru, Sho Takase, and Naoaki Okazaki. Improving truthfulness of headline generation. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 1335-1346, 2020.

[10] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. Advances in Neural Information Processing Systems 30, 2017.

[11] Ramesh Nallapati, Feifei Zhai, and Bowen Zhou. Summarunner: A recurrent neural network based sequence model for extractive summarization of documents. In Proceedings of the Thirty-First AAAI Conference on Artificial Intelligence, p. 3075-3081, 2017.
[12] Yen-Chun Chen and Mohit Bansal. Fast abstractive summarization with reinforce-selected sentence rewriting. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics, pp. 675-686, 2018.

[13] Chin-Yew Lin. ROUGE: A package for automatic evaluation of summaries. In Proceedings of the ACL Workshop: Text Summarization Branches Out, pp. 74-81, 2004.

[14] Katja Filippova. Controlled hallucinations: Learning to generate faithfully from noisy data. In Findings of the Association for Computational Linguistics: EMNLP 2020, pp. 864-870, 2020.

[15] Linting Xue, Noah Constant, Adam Roberts, Mihir Kale, Rami Al-Rfou, Aditya Siddhant, Aditya Barua, and Colin Raffel. mT5: A massively multilingual pre-trained textto-text transformer. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 483-498, 2021.

[16] Alec Radford, Jeff Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. Language models are unsupervised multitask learners. 2019.

[17] Yuta Kikuchi, Graham Neubig, Ryohei Sasano, Hiroya Takamura, and Manabu Okumura. Controlling output length in neural encoder-decoders. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 1328-1338. Association for Computational Linguistics, 2016.

[18] Philippe Laban, Tobias Schnabel, Paul N. Bennett, and Marti A. Hearst. SummaC: Re-visiting NLI-based models for inconsistency detection in summarization. Transactions of the Association for Computational Linguistics, Vol. 10, pp. 163-177, 2022.

[19] Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In Proceedings of 3rd International Conference on Learning Representations, 2015.

[20] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Remi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander Rush. Transformers: State-of-the-art natural language processing. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 38-45, 2020.

[21] Taku Kudo, Kaoru Yamamoto, and Yuji Matsumoto. Applying conditional random fields to Japanese morphological analysis. In Proceedings of the $\mathbf{2 0 0 4}$ Conference on Empirical Methods in Natural Language Processing, pp. 230-237, 2004.

[22] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized BERT pretraining approach. preprint, arXiv:1907.11692, 2019.
表 5 原文-広告文ペアの例.なお，[NE] は社名・サービス名等の秘匿化処理を表す.

 & 【伊豆】今こそしずおか元気旅 \\

表 6

$

$

表 7 容認度判定モデルの評価結果

## A ペアデータの例

表 5 に作成した原文-広告文ペアデータの例を示す. 表中のスコアは，\$2.1 のデータセット構築における原文と広告文の ROUGE-1（再現率）を表す。

本研究では，原文中の単語を多く含む広告文は忠実性が高いと仮定する．例えば表 5 の原文-広告文ペア $(\mathrm{a}, \mathrm{b})$ では，広告文が原文中の単語を全て含むためスコアは 1.000 であり, 広告文の内容も原文と一貫していることから忠実性が高いといえる。また，スコアが低い文ぺア $(\mathrm{h}, \mathrm{i})$ の広告文では，「ブライダル」や「お見積り」と等の原文に含まれない内容が言及されており，忠実性が低いことが分かる.

一方，同スコアが高い文ペアであっても忠実性が高いとはいえない事例も存在する. 例えば文ぺア (c, e) はそれぞれ高いスコアではあるものの, 広告文中の「伊豆」「2,100」といった固有名詞や数字が原文には含まれておらず，原文に対して広告文の内容が一貫しているとはいえない，広告文において固有名詞や数字等は消費者の購買行動に繋がる重要な情報であり，特に正確性に注意を払う必要がある. したがって，今後の課題として固有名詞や数字等の情報が原文と一貫しない事例をデータセットから除去するためのルールや手法の整備などが考えられる。

## B 実装

モデルパラメータの最適化手法には Adam [19] を使用し，学習エポック数は 5 ，ミニバッチサイズは 10 とした.なお，10 ステップごとの累積勾配に基づいてパラメータを更新している。 入力系列および出力系列の最大文長はそれぞれ 512,256 とした.生成時にはビーム探索を用い，ビーム幅は 5 とした。なお，実装には Transformers [20]を用いており，書き換えモデルとして用いた $\mathrm{mT5}^{3}$ ， PPL の算出に用いた $\mathrm{GPT}-2^{4}$ のモデルは脚注に示す通りである.

データセットに対する前処理として, Unicode 正規化，アルファベットの小文字化を実施した。また，ROUGE や被覆率などの算出時には MeCab (IPA 辞書) [21]を用いて単語分割した。

## C 容認度判定モデル

容認度判定モデルは，「入力として与えられた生成文は広告として日本語が適切な文であるか」を判定する二値分類モデルである. モデルには事前学習済み RoBERTa ${ }^{5)}$ [22]を使用し，株式会社サイバー エージェント社内で過去に生成された 56,854 件の広告文に対して広告品質チェックの専門家が「広告として日本語は適切か」を二値（適切，不適切）でラベル付けしたデータセットを用いて追加学習した. 表 6 に学習，開発，評価データおよび各ラベルの事例数の内訳を示す. 表 7 に容認度判定モデルの評価データに対する評価結果を示す.評価データに対する $\mathrm{F}$ 値（マクロ平均）は 0.812 であった.

3) https://huggingface.co/google/mt5-base

4) https://huggingface.co/rinna/japanese-gpt2-small

5) https://huggingface.co/rinna/japanese-roberta-base

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# トポロジカルソートと BERT を用いた日本語文の語順整序

孫鵬 1 大野誠宽 ${ }^{2}$ 松原 茂樹 1
1 名古屋大学大学院情報学研究科 2 東京電機大学未来科学部
sun.peng.z4@s.mail.nagoya-u.ac.jp ohno@mail.dendai.ac.jp
matsubara.shigeki.z8@f.mail.nagoya-u.ac.jp

## 概要

日本語では，文法的には間違っていないものの読みにくい語順を持った文が作成される場合がある。本稿では，推敲支援のための要素技術として，読みにくい語順をもった日本語文を読みやすい語順に整える手法を提案する。本手法では，BERTを用いて 1 文内のあらゆる 2 文節間の前後関係を推定し，その推定した前後関係をエッジ，各文節をノードとするグラフに対して，トポロジカルソートを実行することにより，文節を並べ替える。

## 1 はじめに

日本語は語順が比較的自由であるとされているが，実際には語順に関して選好が存在している. そのため，文法的には間違っていないものの読みにくい語順を持った文が作成されることがある.

そのような文の推敲支援を目的に，語順整序に関する研究がいくつか行われている $[1,2,3,4]$. いずれも，既知の係り受け情報，あるいは，同時的に解析し得られる部分的な係り受け情報を用いている. しかし，読みにくい語順の入力文は係り受け解析の精度は低下し，その結果，語順整序の精度も低下するという問題がある.

そこで本稿では，係り受け解析を陽に施すことなく，読みにくい語順をもった日本語文を読みやすい語順に整える手法を提案する. 本手法では，BERT を用いて 1 文内のあらゆる 2 文節間の前後関係を推定し，その推定した前後関係をエッジ，各文節をノー ドとするグラフに対して，トポロジカルソートを実行することにより，文節を並べ替える。係り受け情報を利用できなければ語順の候補を絞ることはできず，膨大な候補の中から最適な語順を探索する必要があるが，本手法ではトポロジカルソートを用いることにより効率的に探索する。
(S1) 読みにくい語順を持つ文

(S2) 読みやすい語順を持つ文

図 1 読みにくい文と読みやすい文の例

## 2 日本語の語順と係り受け

本研究では，日本語母語話者の推敲支援を目的とするため, 文法的に間違っていないが読みにくい語順の文を入力として想定する．日本語母語話者であれば，文法的に誤った語順の日本語文を作ることは稀であるが，語順に関する選好を強く意識しなければ，読みにくい語順の文を無意識に作り出すことがあるためである.

日本語の語順に関する選好としては，格要素は基本的にガ格，二格， ヨ格の順に配置されること， また，その基本的な順序は長い従属関係など他の要因の影響を受けてしばしば変更されることなど $[5,6,7]$ が知られている. 図 1 の 2 文は，共に文法的に正しく，同じ意味を持っており，語順だけが異なる.ここで，四角と矢印はそれぞれ文節，係り受け関係を表す．S1 の語順は，S2 の語順に比べ，読みにくい。これは，文節の「家を」とその係り先文節「出た」の距離が長いためである [8]. このことは，読みやすく文節を並び替える際に，係り受け情報が有益であることを示唆している。

一方，文法的に正しい文は，日本語の構文的制約（後方修飾性，非交差性，係り先の唯一性） [9]を満たす。そのため，語順整序の前に 1 文の係り受け構造を解析できれば，それに基づいて最適な語順の候補を絞ることができる。例えば図 1 の係り受け構造の場合，語順の候補は 6 通り (" $b_{1} b_{2} b_{3} b_{4} b_{5}$ ", " $b_{1} b_{3} b_{4} b_{2} b_{5}$ ", " $b_{2} b_{1} b_{3} b_{4} b_{5}$ ", “ $b_{2} b_{3} b_{4} b_{1} b_{5}$ ", " $b_{3} b_{4} b_{1} b_{2} b_{5}$ ", " $b_{3} b_{4} b_{2} b_{1} b_{5}$ ") となる.
語順整序の従来手法 $[1,10,11,12,13,14,15]$ では,係り受け解析が予め行われていることを前提とし，語順と係り受けの間の選好を用いて，日本語の構文的制約を満たす語順の候補の中から最も適切な語順を同定している. しかし，係り受け解析器は通常， S2 のような適切な語順を持つ文に係り受け情報を付与したコーパスを用いて学習しているため，一般に S1 に対する解析精度は S2 より低下する。

語順整序に係り受け解析を利用しないと，上記の構文的制約に基づいて語順の候補を絞ることはできず，入力文中の全文節から考えられる膨大な数の順列の中から最適な順列を選択する必要がある。 入力文が $n$ 個の文節を持つ場合，考えられる順列の数は $n$ ! 個である（図 1 では, $5 !=120$ ). そのため, $n$ ! 個の候補の中から最適な順列を効率的に探索するアルゴリズムを採用する必要がある. 加えて，文節の並び替えに有効な係り受け情報を利用できないため，係り受け情報を直接使用することなく適切な語順を予測できるモデルを採用する必要がある.

## 3 トポロジカルソート

トポロジカルソート $[16,17]$ は，有向非巡回グラフ内の全ノードを順序付けて一次元に並べるアルゴリズムである．概説すると，全てのノードは，それぞれの出力エッジの先にある隣接ノードょりも先行するように，線形に並べられる。例えば，あるノー ド $v$ からノード $u$ のエッジ $v \rightarrow u$ を持つとき,$v$ は $u$ よりも前に来るように順序付けられる.

トポロジカルソートは，何らかのソートを行う自然言語処理タスクに応用されている. 例えば， Prabhumoye らは，トポロジカルソートを用いた文整序手法を提案している $[18,19]$. 文整序とは，テキスト中の一貫性を最大化するように，その内部の文を並び替えるタスクであり，複数文書要約 [20]，調理手順生成 [21] などに応用される. 彼らの研究では，テキスト内の各 2 文間の相対順序を予測し，その予測結果を各 2 文間の前後関係の制約とみなしている.この制約条件の集合を表現するために，有向非巡回グラフを作成し，それにトポロジカルソートを適用することで最適な文の順序を求める. 文内の語順整序は，構成要素を並べ替えるという点で文整序と似ているため，トポロジカルソートを同様に利用できると考えられる。

トポロジカルソートの時間計算量は $O(|V|+|E|)$ である.ここで， $V$ と $E$ はそれぞれ，有向非巡回グ

図 2 本手法の概要

ラフの全ノードと全エッジの集合を意味する。トポロジカルソートを用いて日本語文を語順整序する場合，有向非巡回グラフは，文中の文節を表すノードと，文節間の前後関係を表すエッジを持つことになる. 入力文が $n$ 個の文節を持つ場合， $|V|$ は $n,|E|$ は ${ }_{n} C_{2}=\left(\begin{array}{l}n \\ 2\end{array}\right)=n *(n-1) / 2$ となるため, トポロジカルソートの時間計算量は $O\left(n^{2}\right)$ となる. したがって, トポロジカルソートは，2 節で述べた計算コストが高くなるという問題を解決することが期待できる.

## 4 提案手法

本手法では，文法的に誤っていないものの読みにくい語順を持った文の入力を想定し，文内の文節を読みやすく並べ替える。概要を図 2 に示す。

まず，読みにくい語順の文の文節列が入力され （図 2 では「私は/家を/都会に憧れ/出た.」），このうち，文末文節を除いた文節集合（図 2 では，\{私は，家を,都会に，憧れ\}）から，あらゆる 2 文節の組み合せを取り出し，その 2 文節間の前後関係を BERT を用いて推定する1). 次に，推定した前後関係をエッジ，各文節をノードとする有向グラフを作成し，それが有向巡回グラフであった場合，トポロジカルソートを適用可能な有向非巡回グラフに変換する.

1）なお，日本語の場合，文法的に誤っていない文が入力されたならば，その入力文の文末文節は，語順整序後の文でも必ず文末となるため，並べ替える対象から外している。
変換手法は, Prabhumoye らの手法 [18] のソースコー ドを参照したものとなっており，トポロジカルソー 卜を行う中で，閉路が見つかるたびに，閉路を構成する最後のエッジ（探索済みのノードに再び戻ってくるエッジ）を削除するということを閉路が存在しなくなるまで繰り返す。最後に，上記で作成された有向非巡回グラフに対してトポロジカルソート2)を適用し，各ノード（各文節）を順に並べる。

## 4.12 文節間の前後関係の推定

2 文節間の前後関係の推定する BERT モデルの概要を図 3 に示す. 入力文の文節列を $B=$ $b_{1} b_{2} \cdots b_{n}$ とするとき, 文末文節 $b_{n}$ を除いた文節集合 $\left.\{b_{1}, b_{2}, \cdots, b_{n-1}\right.\}$ から取り出した 2 文節を $b_{i}, b_{j}(1 \leq i<j \leq n-1)$ とする.このとき, BERTへの人力は, “[CLS] $b_{i}$ [SEP] $b_{j}$ [SEP] $b_{1} b_{2} \cdots b_{n}$ [SEP]" として，サブワード分割を施したものとする.

ここで入力文の語順は，文法的には誤っていないため，部分的には適切な語順，すなわち，多くの文節の相対的な位置は, 語順整序後も入力時と変わらず，その情報を入力文は保持していると考えられる. また大力文には, 語順整序に有益な文節間の係り受け情報が暗黙的に含まれていると考えられる。以上より，本手法では，BERT モデルへの入力に入力文全体 $b_{1} b_{2} \cdots b_{n}$ を加えた.

BERT の出力は, $b_{i}$ が $b_{j}$ よりも文頭側にある（大力文の語順の正順である）方が読みやすい確率と，文末側にある（入力文の語順とは逆順である）方が読みやすい確率の 2 值である. 高い確率が与えられた前後関係を推定結果とする。

## 4.2 学習データの作成

BERT モデルの学習データとして，どのようなデータを使用するかも重要となる。単純には，新聞記事文などの読みやすい文に含まれる文節間の前後関係を使用することが考えらえる．このアプローチでは， 1 文中から 2 文節 $b_{i}$ と $b_{j}(i<j)$ を取り出したときに，その文の語順と同一の前後関係 “ $b_{i} \rightarrow b_{j}$ ” に「正順」，その逆の前後関係 “ $b_{i} \leftarrow b_{j}$ ” に「逆順」 のラベルを付与して学習データを作る. その結果,正例「正順」と負例「逆順」は同数となる.しかし，人間が実際に作文した読みにくい文に，このような傾向があるとは考えにくい.

一方，人間が実際に作った読みにくい文の傾向を

図 32 文節間の前後関係の推定例

学習するためには，それらの文から 2 文節の組合せを取り出し, 各々に人手でラベルを付与する必要があり，そのコストは非常に高い.

そこで，新聞記事文は読みやすい語順で書かれているという前提で，その各文から読みにくい語順の擬似文を機械的に作成することにした。具体的には，新聞記事文から読点を取り除いた上で，2 節で述べた構文的制約を保持させつつ, ランダムに語順を変更して作成した. このようにして作成した擬似文は，構文的制約を満たすため，文法的な正しさが維持され, 新聞記事文の語順とは異なるため, 読みにくい語順となっていることが想定できる.

## 5 評価実験

本手法の有効性を確認するため，語順整序実験を実施した. 新聞記事中の文から人手で擬似的に作成した読みにくい語順の文に対して本手法を適用し，元の文の語順をどの程度再現できるかを測定した.

## 5.1 実験概要

テストデータ及び開発データには，宮地ら [3] と同じ手順で，京大テキストコーパス [22]をもとに人手を介して疑似的に作成された読みにくい語順の文 1,000 文をそれぞれ用いた。学習データには， 4.2 節で作成した 34,199文を用いた3).

評価では， 2 文節単位一致率（文末文節を除く文節を 2 文節ずつ取り上げ，その順序関係が元の文と一致する割合）[5] と文単位一致率（元の文の語順と完全に一致する文の割合）[2]を測定した。

比較のため，以下の 4 つの手法を用意した. [random]: 文末以外の語順をランダムに変更する.

[no reordering]: 入力文をそのまま出力する.

[Dep+TS]: 係り受け解析結果をもとに，構文的制約だけでは定まらない語順に対してのみトポロジカル

表 1 実験結果

入力：-つにはどう總理が率いる社会党がなるか。

本手法(正解)：一つには總理が率いる社会党がどうなるか。

[Dep+TS]：一つには總理がどう率いる社会党がなるか。

図 4 本手法が正解し, [Dep+TS] が不正解だった例

ソートを用いた語順整序を行う。まず入力文に係り受け解析を施し，その結果をもとに，直接的に係り受け関係にある 2 文節間の前後関係を構文的制約から決定する. 直接的に係り受け関係にない 2 文節間の前後関係は，本手法の BERT モデルにより推定する. 以上によって定めた全 2 文節間の前後関係から構築した有向グラフに対して, 本手法と同じ手順でトポロジカルソートを適用し，語順整序を行う。なお，係り受け解析器には CaboCha[23] を用いた.

$[\mathbf{N L M}]$ : 係り受け解析を施すことなく，言語モデルを用いて語順整序を行う．具体的には，まず，入力文に対して，文末を除く2 文節のみを入れ替えたあらゆる語順を考え，それらを候補文とする 4 ). 次に， これらの候補文と入力文の各文に対して言語モデルを適用しスコアを算出し，そのスコアが最大となる文を読みやすい文として出力する．言語モデルのスコアは各トークンの予測確率の対数の和とする。なお，言語モデルには日本語 $\mathrm{GPT}^{5}$ )を用いた。

## 5.2 実験結果

語順整序結果を表 1 に示す. 2 文節単位と文単位の両指標において本手法が最も高い一致率を達成しており，その有効性を確認した. 図 4 に，本手法が正解し, 次点の [Dep+TS] では不正解だった例を示す. 本手法の出力語順は, 正解の語順と 1 文全体で一致しているのに対し, [Dep+TS] では, 「どう」が 「率いる」に係ると誤って解析し, その誤りを引きずり「どう」の語順の同定に失敗している.
$ となる. 係り受け解析を施さないため，単純にあらゆる順列を考えると， 2 節で述べた通り， $n$ ! の候補文ができ，計算量が膨大となる. これを避けるため, 比較手法では, 入力文も部分的には適切な語順を持っていると想定し（4.2 節参照），単純に 1 組の 2 文節だけを入れ替えたものを候補文する.

5) https://github.com/tanreinama/gpt2-japanese
}

(a)

(b)

図 5 本手法の不正解例

表 2 巡回/非巡回に分けた再評価（各一致率）

## 5.3 エラー分析

図 5(a) に本手法の不正解例を示す.この例では、文節「裁判官増員を」と「中心に」の前後関係の推定に失敗し, 図 5(b) の有向巡回グラフが当初作られていた.このように前後関係の推定結果から当初は巡回グラフとなったものに不正解が多く見られた.

そこで, 本手法の BERTによる推定結果から作成した有向グラフが，巡回グラフとなった文（次の手順で非巡回グラフに変換された文）と，もともと非巡回グラフとなった文とに分けて再評価した.

結果を表 2 に示す. [no reordering] の数値は, 本手法により当初作成された有向グラフに基づいて各文を上述の 2 クラスに分類し，当該手法を適用した結果である. 両クラスの間で一致率に大きな差はない. 一方, 本手法は, 非巡回グラフとなった文に対する両一致率が巡回グラフとなった文に対するものよりも大きく上回っている. 巡回グラフとなった文は，2 文節間の前後関係の推定結果に一部誤りが含まれることにより巡回グラフとなるため，たとえ，非巡回グラフに変換したとしても，その誤りのエッジが含まれたままであれば，適切な語順を生成できないと考えられる. 2 文節間の前後関係の推定精度の向上，あるいは，巡回グラフの中の誤ったエッジの適切な除去に基づく非巡回グラフへの変換が求められるが，これらは今後の課題である.

## 6 おわりに

本稿では，係り受け解析を陽に施すことなく，読みにくい文を語順整序する手法を提案した. 本手法では，BERT を用いて 2 文節間の前後関係を推定し， その結果に対してトポロジカルソートを適用する。評価実験の結果，本手法の有効性を確認した.

## 謝辞

本研究は, 一部, 科学研究費補助金基盤研究 (C) No. 19K12127 により実施した.

## 参考文献

[1] 横林博, 菅沼明, 谷口倫一郎ほか. 係り受けの複雑さの指標に基づく文の書き換え候補の生成と推䇅支援への応用. 情報処理学会論文誌, Vol. 45, No. 5, pp. 1451-1459, 2004

[2] 大野誠寛, 吉田和史, 加藤芳秀, 松原茂樹. 係り受け解析との同時実行に基づく日本語文の語順整序. 電子情報通信学会論文誌 D, Vol. 99, No. 2, pp. 201-213, 2016.

[3] 宮地航太, 大野誠寛, 松原茂樹. 読みにくい語順の文への読点の自動插入. 言語処理学会第 25 回年次大会発表論文集, pp. 1308-1311, 2020.

[4] 宮地航太, 大野誠寛, 松原茂樹. 文末からのトップダウン係り受け解析との同時実行に基づく日本語文の語順整序と読点挿入. 言語処理学会第 27 回年次大会発表論文集, pp. 1840-1845, 2021.

[5] 内元清貴, 村田真樹, 馬青, 関根聡, 井佐原均. コーパスからの語順の学習. 自然言語処理, Vol. 7, No. 4, pp. 163-180, 2008.

[6] Tatsuki Kuribayashi, Takumi Ito, Jun Suzuki, and Kentaro Inui. Language models as an alternative evaluator of word order hypotheses: A case study in Japanese. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 488-504, 2020.

[7] Riki Fujihara, Tatsuki Kuribayashi, Kaori Abe, Ryoko Tokuhisa, and Kentaro Inui. Topicalization in language models: A case study on Japanese. In Proceedings of the 29th International Conference on Computational Linguistics, pp. 851-862, 2022.

[8] Kazushi Yoshida, Tomohiro Ohno, Yoshihide Kato, and Shigeki. Matsubara. Japanese word reordering integrated with dependency parsing. In Proceedings of the 25th International Conference on Computational Linguistics, pp. 1186-1196, 2014.

[9] 内元清貴, 関根聡, 井佐原均. 最大エントロピー法に基づくモデルを用いた日本語係り受け解析. 情報処理学会論文誌, Vol. 40, No. 9, pp. 3397-3407, 1999.

[10] Anja Belz and Eric Kow. Discrete vs. continuous rating scales for language evaluation in nlp. In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, pp. 230-235, 2011.

[11] Katja Filippova and Michael Strube. Generating constituent order in german clauses. In Proceedings of the 45th Annual Meeting of the Association of Computational Linguistics, pp. 320-327, 2007.

[12] Karin Harbusch, Gerard Kempen, Camiel Van Breugel, and Ulrich Koch. A generation-oriented workbench for performance grammar: Capturing linear order variability in german and dutch. In Proceedings of the 4th International Natural Language Generation Conference, pp.
9-11, 2006 .

[13] Geert-Jan M. Kruijff, Ivana Kruijff-Korbayová, John Bateman, and Elke Teich. Linear order as higher-level decision: Information structure in strategic and tactical generation. In Proceedings of the 8th European Workshop on Natural Language Generation, pp. 74-83, 2001.

[14] Eric Ringger, Michael Gamon, Robert C. Moore, David M. Rojas, Martine Smets, and Simon Corston-Oliver. Linguistically informed statistical models of constituent structure for ordering in sentence realization. In Proceedings of the 20th International Conference on Computational Linguistics, pp. 673-679, 2004.

[15] James Shaw and Vasileios Hatzivassiloglou. Ordering among premodifiers. In Proceedings of the 37th Annual Meeting of the Association for Computational Linguistics, pp. 135-143, 1999.

[16] Arthur B. Kahn. Topological sorting of large networks. Communications of the ACM, Vol. 5, No. 11, pp. 558562, 1962.

[17] Robert Endre Tarjan. Edge-disjoint spanning trees and depth-first search. Acta Informatica, Vol. 6, No. 2, p. 171-185, 1976.

[18] Shrimai Prabhumoye, Ruslan Salakhutdinov, and Alan W. Black. Topological sort for sentence ordering. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 2783-2792, 2020.

[19] Vishal Keswani and Harsh Jhamtani. Formulating neural sentence ordering as the asymmetric traveling salesman problem. In Proceedings of the 14th International Conference on Natural Language Generation, pp. 128-139, 2021.

[20] Regina Barzilay and Noemie Elhadad. Inferring strategies for sentence ordering in multidocument news summarization. Journal of Artificial Intelligence Research, Vol. 17, No. 1, pp. 34-35, 2002.

[21] Ramesh Nallapati, Feifei Zhai, and Bowen Zhou. Summarunner: A recurrent neural network based sequence model for extractive summarization of documents. In Proceedings of the 31st AAAI Conference on Artificial Intelligence, pp. 3075-3081, 2017.

[22] Sadao Kuroashi and Makoto Nagao. Building a Japanese parsed corpus while improving the parsing system. In Proceedings of the 1st International Conference on Language Resources and Evaluation, pp. 719-724, 1998.

[23] 工藤拓, 松本裕治. チャンキングの段階適用による日本語係り受け解析. Vol. 43, No. 6, pp. 1834-1842, 2002 .


# 部分木の類似性に基づく言語生成技術の自動評価

帖佐 克己, 平尾努
NTTコミュニケーション科学基礎研究所
\{katsuki.chousa.bg, tsutomu.hirao.kp\}@hco.ntt.co.jp

## 概要

系列変換モデルの発展により，言語生成技術の性能は飛躍的に向上し, 多様な表現で流暢な文を生成できるようになってきた。言語生成技術をさらに発展させるには自動評価法が必要となるが，単語の一致に基づく従来の自動評価法は参照テキストと同じ意味を持つテキストであっても表現が異なれば低いスコアしか与えられない。一方，単語埋め込みべクトルを活用した自動評価法は，単語の類似性を重視するため, 似たような単語列であれば意味が違っても高いスコアを与える.こうした問題を解決するため，本稿では，2つの文の間の類似性を構文木の類似性に基づき決定する手法を提案する．WMT Metric Shared Task のデータセットを用いて人手評価との間の相関を調べた結果，提案法は教師データを必要にしないにもかかわらず，既存手法と同等以上の高い相関を達成した。

## 1 はじめに

言語生成技術の性能は系列変換モデル，特に Transformer モデル [1] の発展とともに大きく向上した.ニューラルネットワークを用いることで語の類似性をよく捉えることができ，多様な表現のテキストを生成できる. 言語生成技術の自動評価指標には，生成されたテキストとあらかじめ用意された参照テキストとの間の単語列の一致に基づく類似度が広く用いられている。機械翻訳の場合は，BLEU [2], 自動要約の場合は ROUGE [3] という $\mathrm{N}$ グラムの一致率を利用した手法がデファクトスタンダードであるが，N グラムの一致率という表層的な情報に基づく手法には，参照テキストと同じ意味のテキストであっても，表現が異なれば不当に低いスコアを与えるという問題がある. この問題に対して, 近年提案された BERTScore [4] や BLEURT [5] では, 単なる表層上の一致に頼らず，BERT [6] などの事前学習済みモデルから得られる単語や文の文脈埋め込みべ

I saw a girl with a telescope

図1表層情報がほとんど同じなのに構造および意味が異なるテキスト対の例

クトルを活用し，参照テキストと生成されたテキストとの間の類似度を計算する。

しかし, これらの研究ではテキストがその背後に持つ句構造や依存構造などの構文構造, 修辞構造のような談話構造を利用していない. たとえば図 1 に示したテキスト対では，表層情報のみに着目すると telescope と dog という名詞 1 つが異なるだけの意味の似た文に見えるが，その構造にも着目すると左のテキストでは前置詞句 ( $\mathrm{PP}$ ) が動詞句 (VP) の直接的な子であるのに対して，右のテキストでは前置詞句は名詞句（NP）の子となっていることから，その意味も異なることがわかる. このようなテキストを構成する単語がほぼ同じなのに意味が異なるようなテキスト対などに対して，BLEU などの表層情報の一致に基づく手法では曖昧性を解消できないことから不当に高いスコアを与えてしまう。また， BERTScore などでも単語の類似性を重視するため,同様に不当に高いスコアを与えてしまう.この問題に対して，テキストの構造は曖昧性を解消し，テキスト間の差異を捉える有用なヒントとなり得るが， その有用性は明らかにはなっていない.

本稿では，構文木の間のアラインメントとその埋め込みべクトルの類似度に基づいた言語生成技術の自動評価法を提案する. 2 つのテキストの部分木を列挙した後，いくつかの制約の下での部分木間のアラインメントを決定し，最後にアラインメントに基づいた部分木間のべクトル類似度を元にテキスト間の類似度を計算する. WMT20 および WMT21 の Metrics Shared Task のデータセットに対して，提案
手法と人手による評価との間の相関を調べたところ，提案手法は教師データを必要としないにも関わらず，タスクに参加した既存手法と比べて同程度もしくは高い相関を達成した。

## 2 関連研究

BLEU [2] や ROUGE [3] に代表される N グラムの一致率に基づく自動評価法では言い換えを正しく同定できないことから，近年は大規模事前学習済みモデルによる単語や文の文脈埋め込みべクトルに利用した手法が提案されている. BERTScore [4] は，テキストのトークンの埋め込みベクトルのコサイン類似度に基づいてテキスト間のトークンのアラインメントを決定し，そのアラインメントに基づいてテキスト間の類似度を計算する。この際，埋め込みべクトルの計算に用いられる事前学習済みモデルはファインチューニングを行わないため，教師データを必要としない. WMT18 metrics shared task ではシステム単位での自動評価において人間の評価結果と高い相関があることが報告されている。

一方で, BLEURT [5] では, BERT [6] の最終層の [CLS] ベクトルの上に線形層を追加して類似度を計算する. 機械翻訳の自動評価に利用するため, BERT および線形層のパラメータは，人手でアノテートされた翻訳評価データを用いて追加学習される. よって, 人手で作成された教師データが必要となる.

また，系列変換モデルによる言い換え生成を利用した手法も提案されている. Prism [7] は, Seq2Seq モデルとして作成した言い換え生成器を用いて, 参照訳から翻訳文，もしくはその逆の方向で言い換えを生成した際のスコアを評価値とする手法を提案している.このとき, 言い換え生成器は多言語翻訳モデルを学習することで実現され，それによりゼロショット翻訳タスクと同様の枠組みで同一言語間の言い換えの生成を行う。また，Prism は 39 言語に対応しており, WMT19 metrics shared task のセグメント単位での自動評価において他のすべての手法と同程度もしくは高い相関を達成している.

事前学習済みモデルには潜在表現として構文情報が保持されているという分析 [8] が行われているものの, 先行研究の評価はサブワードや文という単位に基づいて計算されることから，得られるスコアもその計算の単位により制限されてしまい，表層情報が似ているが意味が異なる文対に対して不当に高
いスコアを与えてしまう恐れがある. こうした問題の解決のため，構文情報は有用であると考えられるが，文対の間の構文の違いを明示的に利用した自動評価法は提案されていない. もちろん，構文解析分野において，2つの構文木の違いを評価する指標は提案されている $[9,10,11]$. ただし, これらは, 同じ文に対する異なる構文木を評価するものである。つまり，文が一致している場合にしか利用できないので言語生成技術の自動評価には利用できない.

## 3 提案手法

本稿では，構文木の部分木の間のアラインメントとその埋め込みべクトルの類似度に基づく自動評価法を提案する. 提案法は（1）2つの構文木の部分木を列挙した後，（2）部分木間のアラインメントを求め，最後に（3）アラインメントに基づいた部分木間のべクトル類似度を用いて 2 つの文の間の評価スコアを計算する。

(1) テキストの部分木の列挙 2 つのテキスト $x=\left.\langle x_{1}, \cdots, x_{i}\right.\rangle$ と $y=\left.\langle y_{1}, \cdots, y_{j}\right.\rangle$, およびその埋め込みべクトルである $\left.\langle\boldsymbol{x}_{1}, \cdots, \boldsymbol{x}_{i}\right.\rangle$ と $\left.\langle\boldsymbol{y}_{1}, \cdots, \boldsymbol{y}_{j}\right.\rangle$ が与えられたとする。

まず，与えられた 2 文の構文を解析する。次に， アラインメントを取る対象とする部分木を列挙する. 構文木として依存構造木を採用し, 部分木として単一のノード，葉から各ノードへのパス，任意のノードとその子孫を列挙する。このとき，テキスト $x$ の部分木を $s_{m}$, 部分木 $s_{m}$ に含まれる単語の添字列を $\operatorname{idx}\left(s_{m}\right)$ と定義し, 部分木 $s_{m}$ に対応するべクトルを

$
\boldsymbol{s}_{m}=\frac{\sum_{k \in \operatorname{idx}\left(s_{m}\right)} \boldsymbol{x}_{k}}{\left.\| \operatorname{idx}\left(s_{m}\right)\right) \|}
$

のように計算する. また，テキスト $y$ の部分木 $t_{n}$ に対しても同様に定義，計算を行う.

(2) 部分木間のアラインメント次に，列挙した部分木 $s_{m}, t_{n}$ の間のアラインメントを求める. このとき，列挙されたすべての部分木の間で対応付けを行うと，木構造の上での親子関係が逆転するような対応や否定の関係にある対応が得られてしまうという問題が考えられる。この問題の影響を低減するため, 本手法では対応付けられるのは同じ単語長 $l$ を持つ部分木間のみに限るという制約を課す。

本手法では，BERTScore [4]を参考にして，個々の部分木に対してもう一方のテキストの部分木から最もスコアの高いものを選択することでアライ

ンメントを求める. すなわち，単語長 $l$ の $s_{m}^{l}, t_{n}^{l}$ のそれぞれに対応するもう一方のテキストの部分木 $a\left(s_{m}^{l}\right), a^{\prime}\left(t_{n}^{l}\right)$ は以下の通り求める.

$
\begin{aligned}
& a\left(s_{m}^{l}\right)=\max _{t_{n}^{l}} \operatorname{sim}\left(\boldsymbol{s}_{m}^{l}, \boldsymbol{t}_{n}^{l}\right) \\
& a^{\prime}\left(t_{n}^{l}\right)=\max _{s_{m}^{l}} \operatorname{sim}\left(\boldsymbol{t}_{n}^{l}, \boldsymbol{s}_{m}^{l}\right)
\end{aligned}
$

ここで, $\operatorname{sim}(s, t)$ は部分木 $s, t$ 間のスコアを表し，部分木 $s$ の主辞 $\operatorname{head}(s)$ を用いて以下のように表す.

$
\operatorname{sim}(s, t)= \begin{cases}\frac{s t}{\|s\|\|t\|} & (\text { head }(s)=\operatorname{head}(t)) \\ 0 & \text { (otherwise) }\end{cases}
$

上記で定義した部分木間のスコアでは，部分木の主辞の一致による対応付けのフィルタリングを行っている。事前に対応付けられる候補をフィルタリングすることにより，対応関係を求める際の計算量を少なく抑えることができる。また，フィルタリングを行わない場合には，対応しない部分木同士の対応に対しても 0 より大きいスコアを割り当ててしまい，類似度尺度に対してノイズとなってしまうことが考えられる。事前にフィルタリングを行って，明確に対応しない部分木間のスコアに 0 を割り当てることで，この問題を軽減されることが期待できる。 このことより, 本手法では主辞に基づく対応付けのフィルタリングを導入している.

(3) アラインメントに基づくテキスト間類似度最後に, 各単語長 $l$ の部分木間のアラインメントに基づいたスコアを計算し, それらのスコアから最終的なテキスト間類似度を計算する。

まず，テキスト $x, y$ の間の単語長 $l$ のアラインメントに対するスコア $F_{l}$ を，アラインメントの $x$ に対する平均スコア $P_{l}$ と $y$ に対する平均スコア $R_{l}$ から，以下のように定義する。

$
\begin{aligned}
F_{l} & =\frac{2 P_{l} R_{l}}{P_{l}+R_{l}} \\
P_{l} & =\frac{\sum_{s_{m}^{l}} \operatorname{sim}\left(s_{m}^{l}, a\left(s_{m}^{l}\right)\right)}{\text { the number of } s_{m}^{l}} \\
R_{l} & =\frac{\sum_{t_{m}^{l}} \operatorname{sim}\left(a^{\prime}\left(t_{m}^{l}\right), t_{m}^{l}\right)}{\text { the number of } t_{m}^{l}}
\end{aligned}
$

次に，上記で得られた複数の単語長のスコアに基づいて，最終的なテキスト間類似度 $F$ を以下の通り求める.

$
F=\frac{2 P R}{P+R}, P=\frac{\sum_{l \in I} F_{l}}{\left.\|I_{x}\right.\|}, R=\frac{\sum_{l \in I} F_{l}}{\left.\|I_{y}\right.\|}
$

ここで, $I_{x}, I_{y}$ はそれぞれ $x, y$ の部分木のもつ単語長の種類の集合であり, $I=I_{x} \cup I_{y}$ である.

## 4 実験

言語生成タスクの1つである機械翻訳を対象として人間の評価結果との間の相関で提案法のメタ評価を行った。

## 4.1 設定

データセットには WMT20 および WMT21 の Metrics Shared Task $[12,13]$ のシステムレベルの評価タスクのデータセットを用いた。言語対は目的言語が英語であるもののみ，すなわち WMT20 では $\{\mathrm{cs}, \mathrm{de}, \mathrm{iu}, \mathrm{ja}, \mathrm{km}, \mathrm{pl}, \mathrm{ps}, \mathrm{ru}\}$-en, WMT21 では $\{\mathrm{cs}, \mathrm{de}, \mathrm{is}, \mathrm{ja}, \mathrm{ru}, \mathrm{zh}\}$-en の ref-A と呼ばれる参照訳を用いた1)。ベースラインはそれぞれの年度でタスクに参加していた尺度の中から, WMT20 では Prism [7] と BLEURT [5], WMT21 では Prism と BERTScore [4]を採用した. 評価尺度には, WMT20 に従って, ピアソンの積率相関係数を用いた2).

提案手法における部分木の間の類似度を計算するための事前学習済み言語モデルには, SpanBERT [14] を使用した. WMT20 の ja-en を開発用データセットとし，そのデータセットで最も良い結果を示したことから，構造情報には依存構造を用いた。依存構造解析器には $\mathrm{spaCy}$ の RoBERTa ベースのパイプライン3)を使用した。

## 4.2 結果

結果を表 1 に示す. WMT20 では pl-enおよび ps-en 以外，WMT21 では zh-en 以外の言語対において，ベースラインと少なくとも同等以上の性能を達成していることがわかる. ベースラインである Prism や BLEURT は大規模な多言語対訳コーパスや人手による評価データを学習データとして必要とするのに対して，提案手法は比較的入手が用意な単言語データで事前学習された言語モデルしか必要としない。こうした教師なし手法にもかかわらず高い性能を達成したことは，言語生成タスクの自動評価において構文構造を考慮することの有効性を示している。一方，提案手法と同様に単言語データによる事前学習済み言語モデルに基づく BERTScore と比べると，一部のデータにおいて相関が大きく低下して

表 1 WMT20/WMT21での各言語対における相関係数. 太字は 3 つの尺度の中で最も良いスコアであることを示す。また，†は開発用データセットであることを示す.

表 2 提案手法を構成する個々の要素のみを変化させた際の相関係数の変化

いる．BERTScore がトークンレベルのアラインメントに基づくのに対して，提案手法はそのアラインメントを構造レベルに拡張したものだとみなすと，部分木という単語よりも大きな系列を対象とするとアラインメントがうまくいかないことがあるのではないかと考える。

## 4.3 分析

提案手法を構成する個々の要素の貢献を確認するために，構文情報として句構造を用いた際やフィルタリングを行わない際の WMT20 の日英でのデー タに対する相関係数を調べた。句構造解析器には Berkeley Neural Parser [15] ${ }^{4)}$ を使用し, 主辞は Collins のルール [16] に従って決定した. また, 句構造木に対しては，任意のノードとその子孫を部分木として列挙した. 結果を表 2 に示す.

まず，使用する構文情報の違いに着目すると，句構造より依存構造を用いたほうが相関が高い.これは，直接的に主辞をモデリングしている依存構造のほうが誤った主辞を用いることが少なくなり，より正確に主辞によるフィルタリングを行えているから

4) https://github.com/nikitakit/self-attentive-parser
だ考える。また，主辞フィルタリングを行わない場合に着目すると，大きく相関係数が劣化している. このことより，事前に対応候補をフィルタリングしておくことが自動評価の性能に大きく寄与することがわかる.

## 5 まとめ

本稿では，構文木の間のアラインメントとその埋め込みべクトルの類似度に基づく言語生成技術の自動評価法を提案した. WMT Metrics Shared Task のデータセットを用いたメタ評価の結果，提案手法は大規模な追加データを必要としないにも関わらず既存手法と同程度に人手評価と相関することがわかった.このことより，言語生成タスクの自動評価において構文構造を考慮することが有効であることが示唆された。

## 参考文献

[1] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Proceedings of the NIPS 2017, pp. 5998-6008, 2017.

[2] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[3] Chin-Yew Lin. ROUGE: A package for automatic evaluation of summaries. In Text Summarization Branches Out, pp. 74-81, Barcelona, Spain, July 2004. Association for Computational Linguistics.

[4] Tianyi Zhang*, Varsha Kishore*, Felix Wu*, Kilian Q.

Weinberger, and Yoav Artzi. Bertscore: Evaluating text generation with bert. In International Conference on Learning Representations, 2020.

[5] Thibault Sellam, Dipanjan Das, and Ankur Parikh. BLEURT: Learning robust metrics for text generation. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7881-7892, Online, July 2020. Association for Computational Linguistics.

[6] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the NAACL-2019, pp. 4171-4186, 2019.

[7] Brian Thompson and Matt Post. Automatic machine translation evaluation in many languages via zero-shot paraphrasing. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), Online, November 2020. Association for Computational Linguistics.

[8] John Hewitt and Christopher D. Manning. A structural probe for finding syntax in word representations. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4129-4138, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics

[9] Satoshi Sekine and Michael Collins. Evalb, 1997.

[10] Joakim Nivre, Johan Hall, and Jens Nilsson. Memorybased dependency parsing. In Proceedings of the Eighth Conference on Computational Natural Language Learning (CoNLL-2004) at HLT-NAACL 2004, pp. 49-56, Boston, Massachusetts, USA, May 6 - May 7 2004. Association for Computational Linguistics.

[11] Jason M. Eisner. Three new probabilistic models for dependency parsing: An exploration. In COLING 1996 Volume 1: The 16th International Conference on Computational Linguistics, 1996.

[12] Nitika Mathur, Johnny Wei, Markus Freitag, Qingsong $\mathrm{Ma}$, and Ondřej Bojar. Results of the WMT20 metrics shared task. In Proceedings of the Fifth Conference on Machine Translation, pp. 688-725, Online, November 2020. Association for Computational Linguistics.

[13] Markus Freitag, Ricardo Rei, Nitika Mathur, Chi-kiu Lo, Craig Stewart, George Foster, Alon Lavie, and Ondřej Bojar. Results of the WMT21 metrics shared task: Evaluating metrics with expert-based human evaluations on TED and news domain. In Proceedings of the Sixth Conference on Machine Translation, pp. 733-774, Online, November 2021. Association for Computational Linguistics.

[14] Mandar Joshi, Danqi Chen, Yinhan Liu, Daniel S. Weld, Luke Zettlemoyer, and Omer Levy. SpanBERT: Improving pre-training by representing and predicting spans. Transactions of the Association for Computational Linguistics, Vol. 8, pp. 64-77, 2020.

[15] Nikita Kitaev and Dan Klein. Constituency parsing with a self-attentive encoder. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2676-2686,
Melbourne, Australia, July 2018. Association for Computational Linguistics.

[16] Michael Collins. Head-driven statistical models for natural language parsing. Computational Linguistics, Vol. 29, No. 4, pp. 589-637, 2003.


# 異なる難易度の参照文を用いる多段階難易度制御翻訳

谷 和樹 ${ }^{1}$ 湯浅 亮也 ${ }^{1}$ 田村 晃裕 ${ }^{1}$ 梶原 智之 ${ }^{2}$ 二宮 崇 ${ }^{2}$ 加藤 恒夫 ${ }^{1}$
1 同志社大学 2 愛媛大学
\{ctwh0176@mail4,ctwh0190@mail4, aktamura@mail,tsukato@mail\}.doshisha.ac.jp
\{kajiwara,ninomiya\}@cs.ehime-u.ac.jp

## 概要

本研究では，目的言語文の難易度を多段階で制御する機械翻訳（多段階難易度制御翻訳）のための学習方法として，異なる難易度の参照文を用いる手法を提案する。従来手法では，原言語文と難易度付き目的言語文の文対の単位でモデルの学習を行うため，同一の原言語文に対応付く異なる難易度の目的言語文間を対比させた学習を行えない。そこで本研究では，学習対象の参照文と共に異なる難易度の参照文も使い, 出力が学習対象の難易度から離れるほど大きな損失を与えるぺナルティ項を導入した損失関数を用いる学習手法を提案する. 日英多段階難易度制御翻訳の実験を行い，提案手法により BLEU が 0.66 ポイント改善できることを確認した.

## 1 はじめに

近年，ニューラル機械翻訳（NMT）はますます発展・普及し, 利用者層が幅広くなっている. 従来の一般的な NMT は, 利用者や状況に依らない一律な翻訳を行う。一方で，近年では，出力される目的言語文の表現を制御するための研究が盛んになっている $[1,2,3]$. そのひとつに，ユーザの読解レベルにあわせた翻訳を行うため，原言語文と共に難易度を入力として受け付け，指定された難易度の目的言語文を生成する難易度制御翻訳がある。

初期の難易度制御翻訳では，難易度は 2 段階 [4] であったが，近年では，より柔軟に出力文の難易度を制御するため，3 段階以上の難易度（例えば，小学生, 高校生,一般, 専門家向けなど）を制御可能な多段階難易度制御翻訳 (Multi-Level Complexity Controlling Machine Translation: MLCCMT) [5, 6] の研究が行われている. 先行研究 [5] は英語-スペイン語間の MLCCMT に取り組み，マルチタスクモデルを提案している. マルチタスクモデルは, MLCCMT をメインタスクとし，難易度を制御しない通常の機械翻訳と同一言語内での平易化（単言語平易化） の 2 つのサブタスクと共にマルチタスク学習で学習されるモデルである. また，先行研究 [6] は日英 MLCCMT に取り組み，先行研究 [5] の手法を日英の言語対に適用している。

MLCCMT の学習では，表 1 のような，一つの原言語文が難易度の異なる複数の参照文に対応する教師データを使用できる. しかし, 従来の学習では,原言語文と難易度付き目的言語文の文対の単位で学習を行う。例えば，表 1 の教師データは従来手法では 3 つの教師データ（日本語文-難易度 12 の英語文,日本語文-難易度 7 の英語文，日本語文-難易度 4 の英語文）に分解される．そして，教師データの各文対は独立に扱われる．そのため，難易度 12 の英語文への翻訳を学習する際，難易度 4 や難易度 7 の英語文と対比させた学習を行うことはできない.

そこで本研究では，同一の原言語文と難易度の異なる複数の参照文からなる組の単位で MLCCMT モデルを学習する手法を提案する。提案手法では，学習対象の参照文と共に異なる難易度の参照文も使い，出力が学習対象の難易度から離れるほど大きな損失を与えるペナルティ項を導入した損失関数に基づき MLCCMT モデルを学習する．これにより，例えば表 1 の教師データを用いて難易度 12 の英語文への翻訳を学習する際，出力を難易度 12 の英語文に最も近づけ，かつ，難易度 4 の英語文より難易度 7 の英語文に近づけるように学習を行う。

提案手法の有効性を先行研究 [6] で作成された評価データセットを用いた日英多段階難易度制御翻訳の実験で検証した. その結果，提案損失関数を利用することで BLEUが 0.66 ポイント改善でき，提案手法の有効性を確認した.

## 2 従来研究

本節では，MLCCMT の従来研究を述べる. 先行研究 [5] では，MLCCMT の研究が初めて行われ，英
表 1 提案手法で用いる教師データの例

図 1 提案手法の概要図

語-スペイン語間の MLCCMT モデルとしてマルチタスクモデルが提案された. マルチタスクモデルでは，以下の式 (1) の損失関数に基づき，通常の機械翻訳と単言語平易化の 2 つのサブタスクとメインタスクのMLCCMTを1つのモデルで同時に学習する。

$
\begin{aligned}
& \text { loss }=L_{M T}+L_{\text {Simplify }}+L_{C M T} \\
& L_{M T}=\sum_{\left(s_{i}, s_{o}\right) \in D_{M T}} \operatorname{CrossEntropy}\left(\left(s_{i} ; \theta\right), s_{o}\right)
\end{aligned}
$

$
\begin{aligned}
& L_{C M T}=\sum_{\left(s_{i}, c_{o}, s_{o}\right) \in D_{C M T}} \text { CrossEntropy }\left(\left(s_{i}, c_{o} ; \theta\right), s_{o}\right)
\end{aligned}
$

ここで， $\theta$ はモデルパラメータ,$s_{i}$ は原言語文, $s_{o}$ は目的言語文， $s_{o^{\prime}}$ は $s_{O}$ を平易化した文， $c_{o / o^{\prime}}$ は $s_{o / o^{\prime}}$ の難易度である. また， $D_{M T}, D_{S}, D_{C M T}$ は，それぞれ，通常の機械翻訳，単言語平易化，MLCCMT 用の教師データである.

先行研究 [5] では， ベースラインの MLCCMT として，難易度を制御しない通常の機械翻訳モデルと単言語平易化モデルをパイプラインでつなげたパイプラインモデルが実装され，実験でマルチタスクモデルと比較された. その結果，マルチタスクモデルの方が性能が高いことが示されている。これらのモデルの教師データや評価データは，様々な難易度で記述された英語とスペイン語のニュース記事からなる Newselaコーパス1）から自動作成されている.

先行研究 [6] は日英 MLCCMT に取り組んでいる.人手翻訳により日英 MLCCMT 用の評価データセットを作成し, 先行研究 [5] のモデルを日英 MLCCMT に適用し，その性能を報告している。

これらの先行研究で使われている従来の MLCCMT は，原言語文と難易度付き目的言語文の文対の単位で学習されている。そのため，同一の原言語文に対応付く異なる難易度の目的言語文間を対比させた学習を行うことができない.

## 3 提案手法

本節では，学習対象の難易度の参照文と共に異なる難易度の参照文も用いて MLCCMT モデルを学習する手法を提案する．具体的には，指定された難易度の参照文に対する従来の損失と共に，出力と指定以外の難易度の参照文との損失が指定難易度の参照文との損失よりも小さくなることに対して，難易度が離れるほど大きなぺナルティを与える損失関数に基づき MLCCMT モデルを学習する. 提案手法の概要を図 1 に示す.

提案手法では，同一の原言語文と難易度の異なる複数の参照文からなる組の単位で MLCCMT モデルを学習する。表 1 に提案手法で用いる教師データの例を示す. 実験では，英語の多段階難易度コーパス

Newsela-auto [7] の最高難易度の英語文を Google 翻訳で日本語文に翻訳することで日英 MLCCMT の教師データを作成した。作成した教師データは，一つの日本語文に対して難易度がそれぞれ異なる 3 から 5 文の英語文が対応付けられている. 提案手法では，そのまとまり（組）単位で学習を行う。

具体的には，以下の式 (5)の損失関数を最小化することでモデルを学習する。提案損失関数は, 同一の原言語文に対応付けられた難易度の異なる複数の参照文をまとめた組単位で定義される。

$
\begin{gathered}
\text { loss }=L_{\mathrm{tgt}}+\alpha \cdot \frac{1}{n-1} \sum_{k=1}^{n-1} d_{k}^{2} \cdot \max \left(L_{\mathrm{tgt}}-L_{\mathrm{sub}_{k}}, 0\right) \\
L_{\mathrm{tgt}}=\text { CrossEntropy }\left(\left(x, c_{\mathrm{tgt}} ; \theta\right), y_{\mathrm{tgt}}\right) \\
L_{\mathrm{sub}_{k}}=\operatorname{CrossEntropy}\left(\left(x, c_{\mathrm{tgt}} ; \theta\right), y_{\mathrm{sub}_{k}}\right)
\end{gathered}
$

ここで, $\operatorname{tgt} と \operatorname{sub}_{k}$ は, それぞれ, 学習対象の参照文と同一組内の学習対象以外の参照文を表す. $n$ を組内の参照文数とすると, $\operatorname{sub}_{k}$ の数は $n-1(k=1, \ldots, n-1)$ である. そして, $L_{\mathrm{tgt}}, L_{\mathrm{sub}_{k}}, x, y, c, \theta, \alpha, d_{k}$ は，それぞれ, 学習対象の難易度の参照文との誤差, 学習対象以外の難易度の参照文との誤差，原言語文，目的言語文，難易度，モデルパラメータ，ハイパーパラメータ，難易度の差 $\left(d_{k}=c_{\mathrm{tgt}}-c_{\mathrm{sub}_{k}}\right)$ である.

提案損失関数は, 第 1 項目の $L_{\mathrm{tgt}}$ により, 出力を学習対象の参照文に近づける. この項は, 従来の学習で用いられている損失と同じである。これに加えて第 2 項目で, 出力が組中の参照文の中で学習対象の参照文に最も近づくように， $L_{\mathrm{tgt}}-L_{\mathrm{sub}_{k}}>0$ の時にペナルティを与える。この際，表 1 の例のように，難易度が離れるほど語彙や構文が変化して出力が異なる傾向があるため, 難易度の差の二乗 $\left(d_{i}{ }^{2}\right)$ を掛けて，学習対象の難易度から離れた難易度の参照文ほど大きなぺナルティを与える．また，学習対象以外の参照文数 $(n-1)$ は組によって異なるため, その数で割る.このペナルティ項の影響度は八イパーパラメータ $\alpha$ で制御する. $\alpha=0$ のときは学習対象以外の参照文を用いない従来の学習手法と同等になる.

## 4 実験

## 4.1 実験設定

本実験では，日英多段階難易度制御翻訳の実験により，提案手法の有効性を検証する。評価デー 夕は先行研究 [6] で作成された日英 MLCCMT 用評価データ（1,014 組）を用いた. 教師データは $D_{M T}, D_{C M T}, D_{S}$ の 3 種類のデータを用いた. $D_{M T}$ は，JParaCrawl [8] と News-Commentary $の$ 日英対訳文対からなる機械翻訳用データであり， $D_{S}$ は， Newsela-auto [7] 中の英語文集合毎に抽出した最高難易度の英語文とそれ以外の英語文の対からなる単言語平易化用データである. そして， $D_{C M T}$ は, Newsela-auto [7] 中の各英語文集合に対して, 最高難易度の英語文を Google 英日翻訳で翻訳した日本語文を付与した MLCCMT 用データ（ただし，評価データセット [6] に含まれるデータは除く) である.各教師データのデータ量は付録 A の表 4 に示す.

本実験では提案手法の有効性を検証するため, 3 節で説明した提案手法と，提案手法において八イパーパラメータ $\alpha$ を 0 にしたべースライン手法の性能を比較する。また，2 節で述べた従来のマルチタスクモデルの性能とも比較する. 各モデルは Transformer モデル [9]を採用した. 実装は Fairseq [10]を用いた.

マルチタスクモデルでは, 先行研究 [6] と同様に,日英 MLCCMTをメインタスク，通常の日英翻訳と英語多段階平易化をサブタスクとしたマルチタスク学習を行った. 日英 MLCCMT タスクの学習には $D_{C M T}$, 日英翻訳タスクと英語多段階平易化タスクの学習には，それぞれ， $D_{M T}$ と $D_{S}$ を使用した. その他の実験設定は付録 A の表 5 に示す.

提案手法では，まず， $D_{M T}$ を用いて日英 NMT モデルの事前学習を行った.この事前学習の設定は, Kiyono ら [11]に倣った. その後， $D_{C M T}$ を用いて 3 節の提案損失関数により, 事前学習したモデルをファインチューニングした。 ハイパーパラメータ $\alpha$ のチューニングは，検証データに対する BLEU [12] の値に基づいて行った. その結果，提案手法の $\alpha$ は 0.5 とした. チューニングの詳細は付録 A の表 6 に示す. その他の実験設定は付録 A の表 5 に示す.

評価指標は, 先行研究 [6] 同様, 翻訳性能の指標として BLEU [12], 平易化の指標として SARI [13]を用いた. また, 目的難易度の出力文集合から算出した fkgl [14] と目的難易度との平均絶対誤差である $\mathrm{MAE}_{f k g l}$ [15] も用いた. これらの指標の数值は, EASSE [16] を用いて算出した。

## 4.2 実験結果

実験結果を表 3 に示す. 提案手法及びマルチタスクモデルの性能は，ランダムシードを変更して学習
表 2 翻訳結果の比較（BS：ベースライン手法（ $\alpha=0.0)$ ，従来：マルチタスクモデル，提案：提案手法）

表 3 実験結果

した 3 回の実験結果の平均の値である. 表 3 より,提案手法の方がベースライン手法 $(\alpha=0.0)$ の性能よりも高いことが分かる.これより，提案損失関数に基づき，学習対象以外の参照文も用いて学習することで MLCCMT の性能を改善できることが分かり，提案手法の有効性を確認できた。

また表 3 より，提案手法は従来研究 [6] のパイプラインモデルやマルチタスクモデルよりも高い性能を達成できたことが分かる. ただし, 従来研究のマルチタスクモデル [6] の教師データ量は本実験で使用した教師データ量よりも少ないことに注意されたい (付録 A の表 4 参照). 提案手法と教師データ量を揃えた本実験のマルチタスクモデルには，提案手法はわずかに及ばない結果となった.

## 5 考察

本節では，各モデルが出力した翻訳結果の例を比較する．例としてテストデータの中で最も難易度の段階数が多い 5 段階の組から抽出した翻訳例を表 2 に示す. 表 2 において，BS がべースライン手法 $(\alpha=0)$ ，従来がマルチタスクモデル，提案が提案手法である、マルチタスクモデルと提案手法では, 異
なるランダムシードを用いて 3 回実験を行ったため，3つの翻訳結果が得られる。表 2 では，BLEU の値が最も良かったシードを用いた場合の翻訳結果を示している。

表 2 より，ベースライン手法は目的の難易度が異なる場合にも同じ出力をする場合がある．その一方で提案手法は，従来手法のうち最高性能であるマルチタスクモデルと同様に，目的の難易度ごとに適切に異なる出力を行っていることが分かる.これより，提案損失関数によって異なる難易度の参照文を対比させて学習させることで，難易度を制御しやすくなることが実例により確認できた。

## 6 まとめ

本研究では，多段階難易度制御翻訳のための学習手法として，学習対象の難易度の参照文と共に異なる難易度の参照文も用いて，出力が学習対象の難易度の参照文から離れるほど大きな損失を与えるぺナルティ項を導入した損失関数に基づき学習する手法を提案した。そして，日英多段階難易度制御翻訳の実験を通じて提案手法の有効性を確認した. 今後は，マルチタスクモデルと提案損失関数を組み合わせることで更なる性能改善が実現できるかを検証する予定である.

## 謝辞

本研究は JSPS 科研費 JP22K12177，JP21K12031 の助成を受けたものである. また，本研究成果の一部

は, 国立研究開発法人情報通信研究機構の委託研究 (No. 225) により得られたものである.ここに謝意を表する。

## 参考文献

[1] Rico Sennrich, Barry Haddow, and Alexandra Birch. Controlling politeness in neural machine translation via side constraints. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 35-40, 2016.

[2] James Kuczmarski and Melvin Johnson. Gender-aware natural language translation. In Technical Disclosure Commons, (October 08, 2018), 2018.

[3] Andrea Schioppa, David Vilar, Artem Sokolov, and Katja Filippova. Controlling machine translation for multiple attributes with additive interventions. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 6676-6696, 2021.

[4] Kelly Marchisio, Jialiang Guo, Cheng-I Lai, and Philipp Koehn. Controlling the reading level of machine translation output. In Proceedings of Machine Translation Summit XVII: Research Track, pp. 193-203, 2019.

[5] Sweta Agrawal and Marine Carpuat. Controlling text complexity in neural machine translation. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 1549-1564, 2019.

[6] Kazuki Tani, Ryoya Yuasa, Kazuki Takikawa, Akihiro Tamura, Tomoyuki Kajiwara, Takashi Ninomiya, and Tsuneo Kato. A benchmark dataset for multi-level complexitycontrollable machine translation. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 6744-6752, Marseille, France, June 2022. European Language Resources Association.

[7] Chao Jiang, Mounica Maddela, Wuwei Lan, Yang Zhong, and Wei Xu. Neural CRF model for sentence alignment in text simplification. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7943-7960, 2020.

[8] Makoto Morishita, Jun Suzuki, and Masaaki Nagata. JParaCrawl: A large scale web-based English-Japanese parallel corpus. In Proceedings of the 12th Language Resources and Evaluation Conference, pp. 36033609, Marseille, France, May 2020. European Language Resources Association.

[9] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, L ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in Neural Information Processing Systems, Vol. 30, 2017.

[10] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A fast, extensible toolkit for sequence modeling. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computa- tional Linguistics (Demonstrations), pp. 48-53, 2019.

[11] Shun Kiyono, Takumi Ito, Ryuto Konno, Makoto Morishita, and Jun Suzuki. Tohoku-AIP-NTT at WMT 2020 news translation task. In Proceedings of the Fifth Conference on Machine Translation, pp. 145-155, 2020.

[12] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, 2002.

[13] Wei Xu, Courtney Napoles, Ellie Pavlick, Quanze Chen, and Chris Callison-Burch. Optimizing statistical machine translation for text simplification. Transactions of the Association for Computational Linguistics, Vol. 4, pp. 401-415, 2016.

[14] J Peter Kincaid, Robert P Fishburne Jr, Richard L Rogers, and Brad S Chissom. Derivation of new readability formulas (automated readability index, fog count and flesch reading ease formula) for navy enlisted personnel. Technical report, Naval Technical Training Command Millington TN Research Branch, 1975.

[15] Daiki Nishihara, Tomoyuki Kajiwara, and Yuki Arase. Controllable text simplification with lexical constraint loss. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics: Student Research Workshop, pp. 260-266, 2019.

[16] Fernando Alva-Manchego, Louis Martin, Carolina Scarton, and Lucia Specia. EASSE: Easier automatic sentence simplification evaluation. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP): System Demonstrations, pp. 4954, Hong Kong, China, November 2019. Association for Computational Linguistics.

## A 付録

本付録では，教師データの統計量を表 4 に示し，実験で用いたモデルの詳細設定を表 5 に示す. そして，提案手法のハイパーパラメータ $\alpha$ のチューニング結果を表 6 に示し，提案手法とマルチタスクモデルのランダムシードごとの実験結果を，それぞれ，表 7 と表 8 に示す.

表 4 各モデルで使用する教師データ（文対数）

表 5 Fairseq を用いた実験設定

表 6 ハイパーパラメータ $\alpha$ のチューニング（検証データにおける性能）

表 7 提案手法 $(\alpha=0.5)$ のランダムシード毎の実験結果

表 8 マルチタスクモデルのランダムシード毎の実験結果


# Generate it. A Trivial Method for End-to-End Relation Extraction

Shanshan Liu ${ }^{1}$ Tatsuya Ishigaki ${ }^{2} \quad$ Yui Uehara $^{2}$ Hiroya Takamura $^{2}$ Yuji Matsumoto ${ }^{1}$
${ }^{1}$ Center for Advanced Intelligence Project, RIKEN
${ }^{2}$ Artificial Intelligence Research Center, AIST
\{shanshan.liu yuji.matsumoto\}@riken.jp
\{ishigaki.tatsuya, yui.uehara, takamura.hiroya\}@aist.go.jp
}

\begin{abstract}
End-to-end Relation Extraction (RE) is a fundamental problem of information extraction, which includes two tasks: identifying named entities from text and classifying relations between entities. In this work, we propose a simple but effective method to extract entities and relations from text jointly by designing the target output of a BART-based generative model for Named Entity Recognition (NER) without changing its architecture. Compared to existing methods on ChEMU, our method performs better on RE and produces comparable results on NER. Our experimental results also demonstrate that the generative model designed for a single task is capable of joint learning.
\end{abstract
## 1 Introduction

To obtain necessary information from natural language text, it is common to perform Named Entity Recognition (NER) and Relation Extraction (RE) on the same text. This task of identifying both entities and the relations between entities is called End-to-End RE.

In recent times, joint models have gained popularity as a way to utilize the interaction between entities and relations. A joint model is often more complicated than a pipeline model. The joint approach can be implemented using higher-level data structures, such as transforming tasks into table-filling tasks [1] or graph-based methods [2]. Another option is to share parameters [3] and representations [4] or to add cross-task constraint [5].

The brilliance of the joint model does not mean that the traditional pipeline method is obsolete. A pipeline frame of end-to-end RE usually consists of two models for two different tasks. [6] proposed a pipeline method PURE, which outperforms most of joint models by adding special tokens to introduce entity position and type information. PL-Marker [7] is also a pipeline extractor that advanced in three datasets, provides a novel span representation approach to consider the dependencies between the spans.

Models built for end-to end RE task are often complex and difficult to be implemented for more practical tasks. Most well-performing models treat the task as a span-based problem, so that their computation complexity is high. Even though the length of input text does not exceed the limit of the pre-trained language model (PLM), if there are far more entities and relations in the input than those at the sentence-level, the model may have difficulty handling new datasets due to its complexity.

Inspired by a recent generative framework BARTNER [8] developed for the NER task, we convert the end-to-end RE task into a generation problem. Formulating a spanbased problem to a generation problem can effectively reduce the computational complexity - there is no need to enumerate all possible entity spans, and to pair entities one by one to extract the relation triple. BARTNER exploits BART-large as encoder-decoder and achieves state-of-theart (SOTA) performance on multiple NER benchmarks. Since BART-large is a PLM with a large set of trainable parameters, we make a wild guess that BARTNER can serve as a simple and efficient model for end-to-end RE if it is trained with appropriate target outputs, without any change in its architecture.

Our method achieves competitive results on ChEMU [9] compared to existing powerful methods. In summary, the main contributions of this work are listed as follows:
- We adopt a generative framework for NER to end-to-

The target output corresponding to each representation scheme:

REL:

Figure 1 Examples of target output under different representation schemes. With three entities and two relations in the input, the target output consists of two relation spans in REL scheme while five spans (three for entities and two for relations) in ENT+REL scheme. "[...]" indicates the content in one span. Relation spans in ENT+REL are highlighted by green. Details of all representations are in 2.2.

end RE by providing proper representations, without any change in model architecture. This proves that generative models can jointly learning for NER and RE given proper target outputs.
- Under the representations we designed, we achieve comparable or better performance than the SOTA methods for ChEMU.
- Our method is more efficient and flexible in prediction than others - It is no need to enumerate all possible entity spans and relation triples, or limit the length of the span.

## 2 Method

## 2.1 Task definition

A golden sample in the ChEMU dataset has the following components: All words in a chemical reaction snippet is concatenated as input. Each mention in the input is an entity. Each entity may or may not be related to other entities in the same snippet.

The target output of each sample is a sequence of spans according to our defined representation. Regardless of the kind of representation we use, the target output should contain the boundary and type information for each entity, as well as the information to indicate two entities and the type for each relation.

## 2.2 Representation

This section explains how the entities and relations are represented in our generative model. Please refer to the examples in Fig. 1.

## 2.2.1 Entity

We followed the three types of entity representations proposed in [8], namely WORD, BPE, BPE_SPAN, and added a new type of representation, WORD_SPAN.
- WORD The position indexes of each word in the entity are included in the entity span, concatenated with the entity type tag.
- BPE The position indexes of each subtoken in the entity are included in the entity span, concatenated with the entity type tag.

-WORD_SPAN The position indexes of the first subtokens of the first and last words in the entity are included in the entity span, concatenated with the entity type tag.
- BPE_SPAN The position indexes of the first and last subtokens in the entity are included in the entity span, concatenated with the entity type tag.

## 2.2.2 Relation (REL)

To make directly generation of relations possible, we tried a representation scheme as follows. The relation representation combines corresponding entity spans in [Head, Tail, Relation type] or [Tail, Head, Relation type] format. [Head, Tail, Relation type] are directly named after the entity representation type (e.g. BPE). When we used the latter format, we indicate it with (r) (e.g. $B P E(r)$ ).

## 2.2.3 Entity+Relation (ENT+REL)

In some end-to-end RE tasks, entities that do not appear in any relations may also need to be identified. To cope with this situation, we propose the representation scheme
of Entity+Relation. If we do the entity-first generation, the model will generate all entity spans (in WORD_SPAN or BPE_SPAN that are consistent with 2.2.1). After that, the model generates all relation spans in following way.
- Start The position indexes of the first subtokens in the head and tail entities are included, concatenated with the relation type.
- Start(r) The position indexes of the first subtokens in the tail and head entities are included, concatenated with the relation type.

Alternatively, when we do the relation-first generation, the model generates all relation spans and then all entity spans ((e.g. BPE_SPAN + Start(r) (Relation-first))).

## 2.3 Generative model

Following [8], we concatenate the representations of all spans in each text as the generated output. The order of spans is determined by the appearance order of entities in the text when generating entities or by the appearance order of the head entities when generating relations. We use the model developed by [8] but a rewritten version by us.

## 3 Experiment

## 3.1 Dataset

We experiment on the ChEMU dataset, which involves entity and event annotations of 1500 chemical reaction snippets. The event triggers are annotated as entities, and event arguments are treated as relations between an event trigger and an argument. Some entities may not be part of any events. The end-to-end RE on ChEMU is extracting 12 types of entities and 2 types of relations. We use the official data split that training:development:test $=7: 1: 2$.

Table 1 Statistics of the ChEMU dataset.

This dataset is chosen for two reasons: 1) Each sample contains rich entity and relation information, while most of entities are shown in annotated relations. So that the joint model requires equal effort to learn both entity and relation extraction information. 2) We hope to experiment on a practical data and help the development of automatic extraction of chemical domains, not only on sentence-level end-to-end task.

## 3.2 Baseline

We compare our method with the SOTA models on endto-end RE task. DyGIE++ [4] is a general framework for several information extraction tasks including NER, RE, and EE. It is a span-based method using the dynamic span graph for better span representation. We implemented DyGIE++ in the default setting, with the PLM: RoBERTa. Since many samples in ChEMU would exceed the maximum input length of RoBERTa, we limited the task to the sentence-level when we apply DyGIE++. 1) 2)

The SOTA of end-to-end RE on ChEMU is a pipeline model provided by Melaxtech [10]. Melaxtech adopts BioBERT and BiLSTM-CRF for sentence-level NER while adds a linear classification layer on top of the BioBERT to predict the label of a candidate entity pair. The cross-sentence relations are extracted by postprocessing not deep learning model. We directly report the values published on that paper.

## 3.3 Evaluation

The evaluation is similar to previous works. If the type and offsets of the entity match the gold entity, the prediction is correct; if the types and offsets of two entities and the relation type match the gold relation, the predicted relation is correct. All relations are directed. We report the precision $(\mathrm{P})$, recall $(\mathrm{R})$ and micro $\mathrm{F} 1$ score $(\mathrm{F})$.

## 4 Results

The result of end-to-end RE (Tab.2) shows several representations we provided exceed the baselines, whether generating relation spans containing all entity information (Ours-REL) or generating entity and relation spans together (Ours-ENT+REL). Ent-first $+B_{-} S+$ Start achieves the new SOTA RE F1 of $92.61 \%{ }^{3}$ ).

Table 2 Results for the ChEMU dataset. "W": WORD; "B": BPE; "W_S": WORD_SPAN; "B_S": BPE_SPAN. " $\mathrm{r}$ " indicates that when generating a relation span, the information of the tail entity is generated before the head entity. Ours-REL means that the target output follows the setup in 2.2.2, and "Ours-ENT+REL" generates the target output under the definition in 2.2.3.

## 4.1 Representation matters

We found performance differences among different combinations. There is a huge gap between span and nonspan representations. The F1 scores of RE between $B(r)$ and $B \_S(r)$ in Ours-REL differ by nearly 6 points. We speculate that representations in the form of spans are stronger because they are lesser affected by the length of the entities. There are many long chemical substance names that may be divided into dozens of subtokens in ChEMU, making the task faced by non-span representation more difficult. In the case of REL, losing a subtoken in the middle will cause a relation and an entity falsely predicted simultaneously. However, when entity generation is not that closely tied with relation generation (ENT+REL), both the performance on NER and RE get better. Another reason for the low NER recalls by Ours-REL is that not every entity is included in relations. In addition, reversing the generation order of head and tail entities, or reversing the generation order of entities and relations, also have clear effects.

## 4.2 Joint learning: DyGIE++ vs. Ours

All representations in ENT+REL outperform DyGIE++ with differences between 3 to 4 points of NER F1 scores. Under the default setting of DyGIE++, the loss weight of $R E$ is 1.0 and the weight of NER is 0.2 , which can guarantee the effect of RE, but the part of NER is far inferior to our method. Except for Rel-first $+W_{-} S+$ Start and Relfirst $+W_{-} S+\operatorname{Start}(r)$, other representations in ENT+REL outperform DyGIE++. The low recall of DyGIE++ is primarily responsible for this gap. The limitation on span length makes DyGIE++ incapable of predicting long entities in the ChEMU. Overall these results, demonstrate that our method is a stronger joint model than DyGIE++ on $\mathrm{ChEMU}^{4)}$.

## 5 Conclusions

By proposing representations suitable for end-to-end $\mathrm{RE}$, our approach allows the generative model designed for NER tasks to learn both entity- and relation-level information without increasing model complexity. This method provides SOTA results on the ChEMU dataset. Our work is still in progress - as we have only experimented on texts rich in entity and relation information. We will find out how well this method performs on more practical tasks, such as a task with higher proportion of cross-sentence relations, or event extraction. Also, we will keep exploring the potential of generative models in joint learning.

## Acknowledgements

This paper is partly based on results obtained from a project, JPNP16010, commissioned by the New Energy and Industrial Technology Development Organization (NEDO). Computational resource of AI Bridging Cloud Infrastructure $(\mathrm{ABCI})$ provided by National Institute of Advanced Industrial Science and Technology (AIST) was used.

## References

[1] Jue Wang and Wei Lu. Two are better than one: Joint entity and relation extraction with table-sequence encoders. arXiv preprint arXiv:2010.03851, 2020.

[2] Changzhi Sun, Yeyun Gong, Yuanbin Wu, Ming Gong, Daxin Jiang, Man Lan, Shiliang Sun, and Nan Duan. Joint type inference on entities and relations via graph convolutional networks. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 1361-1370, 2019.

[3] Makoto Miwa and Mohit Bansal. End-to-end relation extraction using lstms on sequences and tree structures. arXiv preprint arXiv:1601.00770, 2016.

[4] David Wadden, Ulme Wennberg, Yi Luan, and Hannaneh Hajishirzi. Entity, relation, and event extraction with contextualized span representations. arXiv preprint arXiv:1909.03546, 2019.

[5] Ying Lin, Heng Ji, Fei Huang, and Lingfei Wu. A joint neural model for information extraction with global features. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7999-8009, 2020

[6] Zexuan Zhong and Danqi Chen. A frustratingly easy approach for joint entity and relation extraction. CoRR, Vol. abs/2010.12812, , 2020

[7] Deming Ye, Yankai Lin, and Maosong Sun. Pack together: Entity and relation extraction with levitated marker. arXiv preprint arXiv:2109.06067, 2021.

[8] Hang Yan, Tao Gui, Junqi Dai, Qipeng Guo, Zheng Zhang, and Xipeng Qiu. A unified generative framework for various ner subtasks. arXiv preprint arXiv:2106.01223, 2021.

[9] Dat Quoc Nguyen, Zenan Zhai, Hiyori Yoshikawa, Biaoyan Fang, Christian Druckenbrodt, Camilo Thorne, Ralph Hoessel, Saber A Akhondi, Trevor Cohn, Timothy Baldwin, et al. Chemu: named entity recognition and event extraction of chemical reactions from patents. Advances in Information Retrieval, Vol. 12036, p. 572, 2020.

[10] JWYRZ Zhang and Yaoyun Zhang. Melaxtech: a report for clef 2020-chemu task of chemical reaction extraction from patent. Work Notes CLEF. Published online.[Google Scholar], 2020.

[11] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: De- noising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. pp. 7871-7880, Online, July 2020. Association for Computational Linguistics.

## A Implementation details

We rewrote the BARTNER [8] using NumPy, PyTorch and Hugging Face's Transformers referring to Yan's public code. https://github.com/yhcc/BARTNER The codes of pre-processing and evaluation are written with NumPy and PyTorch.

The generative model is trained with max sequence length 1024 and batch size 1 for 30 epochs, without limitation on the length of each span. Only a single run for each representation.

No hyperparameter search and early stopping in our experiments. The details of hyperparameters are in Tab.3. We do not apply beam search during decoding.

All the entity and relation tags are set as special tokens and be initiated by prompt initiation. The parameter size of the model we implemented is $1633.624064 \mathrm{M}$ when we use BART-large [11] as the encoder-decoder. All experiments are conducted on are trained on a 20-core(CPU) machine with 1 GPU (NVIDIA A100 for NVLink 40GiB HBM2). The wallclock time of training one representation is approximately 15000 s ( 30 epochs in total), maximum memory reaches $28.802 \mathrm{G}$ on the ChEMU dataset.

Table 3 Part of hyperparameters used in experiments.


# 情報付加型生成による表現の推敲支援システム

鈴木勘太 ${ }^{1}$ 杉本徹 ${ }^{2}$
1 芝浦工業大学大学院理工学研究科 2 芝浦工業大学工学部
\{ma21071, sugimoto\}@shibaura-it.ac.jp

## 概要

本研究は，Encoder-Decoder モデルによる系列変換を応用し, 執筆者のつづった文から形容や比喻といったさまざまな表現を付加した複数の候補文を生成，提案することで，執筆者の表現の幅を広げ，膨らませることを支援する実用的な推敲支援システムの構築を目指す。その中で，幅広く表現を捉えたパラレルコーパスの構築を行い, デコーディングや学習モデルの側面から表現の提案の多様性を促進する生成モデルを提案する.

## 1 はじめに

近年，深層学習を用いた執筆支援に関する研究が行われている $[1,2,3]$. 大規模なデータから学習を行った深層学習モデルを用いた支援は, 執筆者の負担や学習コストの軽減を可能にしている.

一方，筆者は先行研究 [4] において，EncoderDecoder モデルによる系列変換を応用し，執筆者のつづった文から修辞表現を付加した複数の文を生成, 提案することで, 執筆経験の浅い文学作品の執筆者をターゲットとした表現の推敲支援を行う執筆支援システムを提案した. 表現の推敲は執筆における重要な過程の一つであるが，その手助けとなる表現辞典の多くは網羅的な側面を持ち，数多の見出しの中から納得のいく表現を自ら選び出す必要がある。そのため実際は執筆者にある程度の経験やセンスが要求されることとなり，負担となりうる。 Encoder-Decoder モデルの応用は，執筆者のつづる文の文脈にふさわしい言い換えや形容などの表現の提案を可能にし, 評価害験では支援システムとして総合的に良い評価を得ることができた.

本研究では，先行研究で取り組んだ文生成のうち，形容などの修飾フレーズの付加を行う文生成を情報付加型生成という問題として提起し, 執筆者の表現の幅を広げ，膨らませることを支援する実用的な推敲支援システムの構築を目指す。そのなかで特

図 1 推敲支援システムの構築手法の概要

に以下の 2 点を目標として定める。

「表現」の一般化気軽に個人でブログなどを執筆し共有することが可能となった昨今の状況を鑑み，より広く表現を捉える手法を提案し支援の幅の拡大を試みる。

提案の多様性の促進執筆者の表現に関する想起の支援も視野に入れ，多様な候補の提案を行う手法を提案し実用性の向上を試みる。

## 2 関連研究

伊藤らの研究 [5] では，不完全な文から目的に合った完全な文を生成する情報補完型生成を新しい言語生成課題として提案している. 情報を付加して生成を行うというアプローチは本研究との類似点があり，完全な文から不完全な文を作成することによって大規模な教師データを構築する手法を本研究も採用している.

## 3 提案手法

本研究における推敲支援システムの構築手法の概要を図 1 に示す. システム構築のアプローチは筆者の先行研究 [4] を踏襲する。まず，実在する書籍の文から一部の修飾フレーズを削除した文を作成し， これと元の文とを対にしたパラレルコーパスを構築する。次に，これらを教師データとして，修飾フレーズの欠落した文から実在する書籍の文を生成する系列変換の学習を行い，生成モデルを構築する。 この生成モデルを用いて，執筆者のつづる文の入力

に対しその文脈にふさわしい修飾フレーズ，すなわち表現を付加した複数の候補文を提案することで，推敲の支援を行うシステムを構築する。

## 3.1 パラレルコーパスの構築

実在する書籍の文からある条件のもと機械的に一部の修飾フレーズを削除した文を作成し，これと元の文との対からなるパラレルコーパスを構築する。本研究では，実在する書籍の文として青空文庫の作品および現代日本語書き言葉均衡コーパスから抽出した約 787 万文を書籍コーパスとして使用する.

筆者の先行研究では支援の対象とする表現を限定し，特定の品詞やキーワードに注目した単語単位の処理によってパラレルコーパスを構築したためアドホックな支援に限られた。本研究ではこれを踏まえ，より広く表現を捉えるため文構造の依存関係に注目した処理の手法を提案する。

依存関係による削除対象の決定連体・連用修飾に関する依存関係 (Universal Dependencies[6, 7] における acl，amod，advcl， advmodの 4 種）の係り元を概括的に削除対象として決定する．削除対象の中には目的の表現とは言いがたい具体化の性質が強い修飾フレーズも含まれるが，文脈への関連が低いと考えられるこれらを付加する学習は抑えられると考えられる。しかし，これらは学習のノイズとなりうるため，後述の条件によってその抑制を行う。

係り先による条件係り先が形式名詞である場合は削除対象から除外する．実質的な意味が薄い形式名詞に係る修飾フレーズは具体化の性質が強い場合が多いと考えられる．ただし，形式名詞の定義は曖昧であるため, 本研究では書籍コーパス内の各名詞について出現頻度および被修飾率を算出し，それぞれ 3 万以上， 0.8 以上の「もの」,「こと」等の 15 語を形式名詞として定量的に決定した。

係り元による条件係り元に指示詞，代名詞，人名の固有名詞を含む場合は削除対象から除外する。 これらを含む修飾フレーズは上記の性質に加え，実質的な意味が薄い場合が多いと考えられる。

以上の手法を用いた文の作成によって約 1027 万対のデータを含むパラレルコーパスを構築した.

## 3.2 生成モデルの構築手法

3.1 節で構築したパラレルコーパスを教師データとし，修飾フレーズの欠落した文をソース，実在する元の書籍の文をターゲットとすることによって欠落した修飾フレーズを補完するような系列変換の学習を行う。これにより，任意の入力文に対しその文脈にふさわしい修飾フレーズを付加した文を生成する生成モデルを構築する。

筆者の先行研究では，尤度による単純なスコアリングによった候補文の決定では意外性のある魅力的な表現といった有用な候補を提案することが難しかった. 本研究ではこれを踏まえ，提案する候補の多様性の促進として，デコーディングおよび学習モデルの側面から複数の生成モデルを考える。

ベースラインの手法 Transformer[8] による学習およびビームサーチによるデコーディングを行う先行研究と同様の生成モデルをべースラインとする. ビームサーチを用いたデコーディングではビームサイズ分の複数の生成文が得られるため，本研究の支援システムの前提である複数の候補文の提案に用いることが容易である.

Nucleus サンプリング Holtzman らはビームサー チなどの最大化ベースのデコーディング手法に見られる当たり障りのないテキストを生成する問題に対し，新たなデコーディング手法として Nucleus サンプリングを提案しており，高品質かつ人間のつづったものに近い多様性を持った長文テキストの生成が可能となったと報告している [9]. Nucleus サンプリングは，デコーディングの各ステップにおいて次のトークンの確率分布 $P\left(x \mid x_{1: i-1}\right)$ が与えられたとき, その上位 $p$ の語彙 $V^{(p)} \subset V$ を以下の式が成り立つような最小の集合と定義する.

$
\sum_{x \in V^{(p)}} P\left(x \mid x_{1: i-1}\right) \geq p
$

そして,$p^{\prime}=\sum_{x \in V^{(p)}} P\left(x \mid x_{1: i-1}\right)$ として式

$
P^{\prime}\left(x \mid x_{1: i-1}\right)= \begin{cases}P\left(x \mid x_{1: i-1}\right) / p^{\prime} & \text { if } x \in V^{(p)} \\ 0 & \text { otherwise }\end{cases}
$

によって再スケーリングした新たな確率分布を用いた次のトークンのサンプリングを行う。

サンプリング剪定ビームサーチ (SPBS) Nucleus サンプリングは，本研究のような入力文などの制約付きの生成とは異なる物語生成などのオープンエンドな生成における課題に対する提案手法であり，一度の生成で得られる文は 1 つのみである。一方，本システムが複数の候補文の提案を前提としていること，ビームサーチを用いた筆者の先行研究で一定の評価が得られていることを踏まえ，本研究ではビー ムサーチと Nucleus サンプリングを組み合わせた新

図 2 SPBS の概要

たなデコーディング手法，サンプリング剪定ビームサーチ（Sampling Pruning Beam Search; SPBS）を提案する。 その手法の概要を図 2 に示す.

SPBS は，ビームサーチをベースとしたアルゴリズムの中で，各ステップで保持している候補（ブロック）について Nucleus サンプリングを用いた系列の出力を行う. 各ブロックの集合を $N_{i}$, 確率分布 $P$ について $m$ 回サンプリングを行ったときに得られる系列を $\operatorname{sampling}(P, m)$ としたとき，ビームサーチに考慮される新たな系列を以下の式によって決定する。

$
\text { hypotheses }_{i}=\left.\{\operatorname{sampling}\left(P_{n}^{\prime}\left(x \mid x_{1: i-1}\right), m\right)_{n \in N_{i}}\right.\}
$

サンプリングによって多様な候補をピックアップしつつ，ビームサーチによって尤度の低い候補を除外することで有用な候補の生成を行う。

逆トークン頻度損失（ITF 損失） Nakamura らは対話システムにおいてありきたりな応答生成を行う問題に対し, 多様性の促進として新たな損失関数,逆トークン頻度損失（Inverse Token Frequency Loss） を提案している [10]. ITF 損失は $\lambda$ をイパーパラメータとして，ソフトマックス・クロスエントロピー損失 $L_{\mathrm{SCE}}$ をトークンの出現頻度の逆数で重みづけした以下の式によって算出される.

$
L_{\mathrm{ITF}}=\frac{1}{\text { freq }\left(\text { token }_{c}\right)^{\lambda}} L_{\mathrm{SCE}}
$

本研究ではこの損失関数を Transformer へ適用したものを考える。

## 4 実験と評価

3.2 節で述べた生成モデルを用いた実験を行う.学習モデルのベースに用いる Transformerについて, ハイパーパラメータは論文 [8] に従い, 未知語処理 [4] および文長正規化 [11] を導入した. トークナイザには SentencePiece[12] を用い，ITF 損失については先行研究 [10] に従い $\lambda=0.4$ とした.

図 3 Nucleus サンプリングにおける $p$ の評価結果

表 1 生成モデルの事前評価の結果

## 4.1 生成モデルの事前評価

本研究における目的に対し，基本となる生成モデルを用いた事前評価を行う。品質の評価指標として BLEU，多様性の評価指標として Self-BLEU[13] および distinct-N[14] を用い，各スコアトップの生成文 10,000 に対して評価を行った．なお，Self-BLEU は值が低い方が多様性があると評価する指標である。

まず，Nucleus サンプリングにおけるパラメータ $p$ について評価を行った結果を図 3 に示す. BLEU は $p=0.95$ でピークを取り，Self-BLEU はおおむね $p$ の値が大きくなるにつれ下がっていく傾向が見られた.この結果より以降 Nucleus サンプリングでは $p=0.95$ を用いた生成モデルで評価を行う.

次に，ビームサーチと Nucleus サンプリング，およびそれぞれ学習に ITF 損失を適用した生成モデルに対し評価を行った結果を表 1 に示す. なお，ビー ムサーチのビームサイズは 5 とした. 品質はビームサーチの方が高い一方で，多様性は Nucleus サンプリングの方が高く平均文長も参照文に近づいた. 特に Nucleus サンプリングにおいては ITF 損失を用いたモデルの方が多様性に富む傾向が見られた.

## 4.2 システムの評価

各生成モデルで生成した複数の候補文に対し分析を行い，これらを実際に被験者に提示することで推敲支援システムを想定した評価実験を行う。なお，候補文の最大出力数を 10, SPBS については $m=10$ とし，Nucleus サンプリングは生成を複数回行うことによって異なる候補文を最大出力数分得る.
表 2 候補文の多様性の評価結果

## 4.2.1候補文の主観分析

例として，入力「コーヒーの香りがあの日の記憶を呼び起こす。」に対して生成された候補文について述べる.ビームサーチでは「ほのかなコーヒーの香り」や「ふとあの日の記憶を呼び起こす」など一般的に有用な表現が見られた. また, 本研究の提案手法である SPBS では，ビームサーチに見られる表現をいくつか提案しつつ，「かすかに甘いコーヒー の香り」といった 2 文節以上の修飾句や「夢のような記憶」といった比喻表現など多様な表現の提案が可能であることがわかった。一方，Nucleus サンプリングではより多様でかつ「ピンと流れるコーヒー の香り」といった意外性のある表現が見られたものの，支離滅裂なフレーズを付加した例も散見された．学習に ITF 損失を適用した生成モデルでは，先に述べた特徴を示しつつ語彙の傾向に違いが見られた。なお，各候補文の詳細を付録の表 A に記載した.

## 4.2.2 候補文の多様性の自動評価

本研究では，ある入力文に対し生成される複数の候補文についてどれだけ多様な提案ができているかを測る評価指標として Local Self-BERTScore （LSBScore）を提案する. この評価指標は，入力文に対して生成された複数の候補文内で Self-BLEU と同様の評価手法を分散表現ベースの評価指標である BERTScore[15] を用いて行い, 生成例全体で平均することで算出するものである. 多様性の評価指標を各生成例における候補文内で用いることで各々の提案の多様さを評価し，単語レベルでほとんど同じ候補文を生成する本システムにおいて類似度をより詳細に評価するため BERTScoreを用いている.

各生成モデルについて評価を行った結果を表 2 に示す. 評価は 1,000 の生成例を用いて行った. 多様性はビームサーチ，SPBS，Nucleus サンプリングの順に高くなり, 平均文長も長くなる傾向が見られたほか，LSBScore については明確にITF 損失を用いたモデルの方が多様性に富む傾向が見られた。

図 4 主観評価実験の結果

## 4.2.3 システムの主観評価実験

各生成モデルで生成した候補文を用い，推敲支援システムを想定した調査表による主観評価実験を行った. 実験にはビームサーチ, SPBS, SPBS + ITF 損失, Nucleus サンプリングの 4 種の生成モデルを用い，スコア上位 6 つを候補文として提示する.これを 30 例用意し， 13 人の被験者に対し以下の 4 段階のレベルで各候補文を評価してもらった。

レベル 4 表現の推敲支援として妥当な候補文であり，実際に使ってみたいと思う。

レベル 3 表現の推敲支援としては妥当な候補文だが，特に使ってみたいとは思わない。

レベル 2 内容が矛盾していたり意味が理解しがたかったりして妥当な候補文だとは思わない.

レベル 1 誤字脱字がある，文法的に正しくない等， そもそも文の形として誤りがある.

その結果として，各例において各レベルで評価された候補文の数の平均を図 4 に示す. レベル 3 以上の候補の数はビームサーチが最も多く, SPBS, SPBS + ITF 損失，Nucleus サンプリングの順で少なくなる結果となった。

## 5 おわりに

本研究では情報付加型生成による実用的な表現の推敲支援システムの構築を目指し，幅広く表現を捉えた独自のパラレルコーパスを構築，多様な表現を提案する生成モデル SPBS を提案した. ビームサーチは有用な複数の候補を一度に提案可能だが，入力文が同じであれば同じ候補しか提案できない.一方，Nucleus サンプリングは複数候補の提案には向かないが，生成を行うごとに異なる候補を提案でき，多様性を確保できる．本研究で提案したSPBS は評価実験では最も高い評価を得ることはできなかったものの，双方の長所を取り入れた手法であり，実際の推敲支援で有効性を検証する必要があると考える。今後はこれらを用いたアプリケーションの実装を行い，さらなる研究を進めていきたい。

## 参考文献

[1] Ann Yuan, Andy Coenen, Emily Reif, and Daphne Ippolito. Wordcraft: Story writing with large language models. In 27th International Conference on Intelligent User Interfaces, IUI '22, p. 841-852, New York, NY, USA, 2022. Association for Computing Machinery.

[2] Takumi Ito, Tatsuki Kuribayashi, Masatoshi Hidaka, Jun Suzuki, and Kentaro Inui. Langsmith: An interactive academic text revision system. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 216-226, Online, October 2020. Association for Computational Linguistics.

[3] Chung-Ting Tsai, Jhih-Jie Chen, Ching-Yu Yang, and Jason $\mathrm{S}$. Chang. LinggleWrite: a coaching system for essay writing. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: System Demonstrations, pp. 127-133, Online, July 2020. Association for Computational Linguistics.

[4] 鈴木勘太, 杉本徹. Encoder-decoder モデルを用いた文章表現を豊かにする執筆支援システム. 日本感性工学会論文誌, Vol. 21, No. 2, pp. 257-265, 2022.

[5] 伊藤拓海, 栗林樹生, 小林隼人, 鈴木潤, 乾健太郎. ライティング支援を想定した情報補完型生成. 言語処理学会第 25 回年次大会, pp. 970-973, 2019.

[6] Ryan McDonald, Joakim Nivre, Yvonne QuirmbachBrundage, Yoav Goldberg, Dipanjan Das, Kuzman Ganchev, Keith Hall, Slav Petrov, Hao Zhang, Oscar Täckström, Claudia Bedini, Núria Bertomeu Castelló, and Jungmee Lee. Universal Dependency annotation for multilingual parsing. In Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 92-97, Sofia, Bulgaria, August 2013. Association for Computational Linguistics.

[7] 浅原正幸, 金山博, 宮尾祐介, 田中貴秋, 大村舞, 村脇有吾, 松本裕治. Universal dependencies 日本語コーパス. 自然言語処理, Vol. 26, No. 1, pp. 3-36, 2019.

[8] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in neural information processing systems, pp. 5998-6008, 2017.

[9] Ari Holtzman, Jan Buys, Li Du, Maxwell Forbes, and Yejin Choi. The curious case of neural text degeneration. In ICLR. OpenReview.net, 2020.

[10] Ryo Nakamura, Katsuhito Sudoh, Koichiro Yoshino, and Satoshi Nakamura. Another diversity-promoting objective function for neural dialogue generation. CoRR, Vol. abs/1811.08100, , 2018.

[11] Yonghui Wu, Mike Schuster, Zhifeng Chen, Quoc V. Le, Mohammad Norouzi, Wolfgang Macherey, Maxim Krikun, Yuan Cao, Qin Gao, Klaus Macherey, Jeff Klingner, Apurva Shah, Melvin Johnson, Xiaobing Liu, Lukasz Kaiser, Stephan Gouws, Yoshikiyo Kato, Taku Kudo, Hideto Kazawa, Keith Stevens, George Kurian, Nishant Patil, Wei Wang, Cliff Young, Jason Smith, Jason Riesa, Alex Rudnick, Oriol Vinyals, Greg Corrado, Mac- duff Hughes, and Jeffrey Dean. Google's neural machine translation system: Bridging the gap between human and machine translation. CoRR, Vol. abs/1609.08144, , 2016.

[12] Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[13] Yaoming Zhu, Sidi Lu, Lei Zheng, Jiaxian Guo, Weinan Zhang, Jun Wang, and Yong Yu. Texygen: A benchmarking platform for text generation models. In The 41st International ACM SIGIR Conference on Research \& Development in Information Retrieval, SIGIR '18, p. 1097-1100, New York, NY, USA, 2018. Association for Computing Machinery.

[14] Jiwei Li, Michel Galley, Chris Brockett, Jianfeng Gao, and Bill Dolan. A diversity-promoting objective function for neural conversation models. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 110-119, San Diego, California, June 2016. Association for Computational Linguistics.

[15] Tianyi Zhang, Varsha Kishore, Felix Wu, Kilian Q. Weinberger, and Yoav Artzi. Bertscore: Evaluating text generation with bert. In International Conference on Learning Representations, 2020.

## A 各生成モデルが生成した候補文の例

表 A 入力「コーヒーの香りがあの日の記憶を呼び起こす。」に対して生成された候補文の例（スコア降順） ビームサーチ SPBS

熱いコーヒーの香りがあの日の記憶を呼び起こす。甘いコーヒーの香りがあの日の記憶を呼び起こす。 コーヒーの香りが再びあの日の記憶を呼び起こす。強いコーヒーの香りがあの日の記憶を呼び起こす。温かいコーヒーの香りがあの日の記憶を呼び起こす。 コーヒーの香りがまたあの日の記憶を呼び起こす。 コーヒーの香りがあの日の甘い記憶を呼び起こす。 ほのかなコーヒーの香りがあの日の記憶を呼び起こす。 コーヒーの香りがあの日の記憶を再び呼び起こす。甘いコーヒーの香りがあの日の記憶を呼び起こす。 コーヒーの香りが再びあの日の記憶を呼び起こす。 コーヒーの香りがまたあの日の記憶を呼び起こす。 コーヒーの香りがふとあの日の記憶を呼び起こす。 かすかにコーヒーの香りがあの日の記憶を呼び起こす。 かすかに甘いコーヒーの香りがあの日の記憶を呼び起こす。 コーヒーの香りがあの日の夢のような記憶を呼び起こす。 コーヒーの香りがあの日の記憶をふたたび呼び起こす。 コーヒーの香りがあの日の深い記憶を呼び起こす。 コーヒーの香りがふとあの日の記憶を呼び起こす。 コーヒーの香りがようやくあの日の記憶を呼び起こす。

Nucleus サンプリング

コーヒーの香りがあの日の甘い記憶を呼び起こす。

のようにコーヒーの香りがあの日の記憶を呼び起こす。

コーヒーの香りが不吉なあの日の記憶を呼び起こす。

コーヒーの香りがあの日の印象深い記憶を呼び起こす。

待つコーヒーの香りがあの日の記憶を呼び起こす。

ヒーローの甘いコーヒーの香りがあの日の記憶を呼び起こす。

りんりんるようなコーヒーの香りがあの日の記憶を呼び起こす。

ピンと流れるコーヒーの香りがあの日の記憶を呼び起こす。

じゅ長いコーヒーの香りがあの日の記憶を呼び起こす。

コーヒーの香りが彼女を、会社に声すばらしいあの日の記憶を呼び起こす。

ビームサーチ+ITF 損失 SPBS + ITF 損失

熱いコーヒーの香りがあの日の記憶を呼び起こす。 やがてコーヒーの香りがあの日の記憶を呼び起こす。甘いコーヒーの香りがあの日の記憶を呼び起こす。 コーヒーの香りがあの日の強烈な記憶を呼び起こす。 たとえばコーヒーの香りがあの日の記憶を呼び起こす。強烈なコーヒーの香りがあの日の記憶を呼び起こす。 コーヒーの香りが突然あの日の記憶を呼び起こす。

同じコーヒーの香りがあの日の記憶を呼び起こす。 コーヒーの香りがふとあの日の記憶を呼び起こす。 コーヒーの香りがあの日の記憶をかすかに呼び起こす。熱いコーヒーの香りがあの日の記憶を呼び起こす。

やがてコーヒーの香りがあの日の記憶を呼び起こす。

コーヒーの香りがまたあの日の記憶を呼び起こす。

コーヒーの香りがあの日の懐かしい記憶を呼び起こす。

コーヒーの香りがあの日の記憶を強く呼び起こす。

むしろコーヒーの香りがあの日の記憶を呼び起こす。

コーヒーの香りがあの日の甘い記憶を呼び起こす。

朝になるとコーヒーの香りがあの日の記憶を呼び起こす。

コーヒーの香りがすぐにあの日の記憶を呼び起こす。

コーヒーの香りがあの日の記憶をすべて呼び起こす。

Nucleus サンプリング + ITF 損失

たとえばコーヒーの香りがあの日の記憶を呼び起こす。

新しいコーヒーの香りがあの日の記憶を呼び起こす。

コーヒーの香りがあの日の不快な記憶を呼び起こす。

重いコーヒーの香りがあの日の記憶を呼び起こす。

不思議なコーヒーの香りがあの日の記憶を呼び起こす。

神妙なコーヒーの香りがあの日の記憶を呼び起こす。

香水のようなコーヒーの香りがあの日の記憶を呼び起こす。

しようとしていたコーヒーの香りがあの日の記憶を呼び起こす。

香わかるコーヒーの香りがあの日の記憶を呼び起こす。

純粋にクール全員が興十五三日前にしなかったコーヒーの香りがあの日の記憶を呼び起こす。