# Encoder-Decoder モデルを用いた 文章表現を豊かにする執筆支援システム

鈴木勘太
芝浦工業大学工学部
al17055@shibaura-it.ac.jp
}

杉本徹
芝浦工業大学工学部
sugimoto@shibaura-it.ac.jp

## 1 はじめに

小説や随筆といった文学作品の執筆において，豊かで趣のある文章表現を推敲することは，良い作品を作り上げるうえで重要な過程の一つである。その中で，コロケーションや比喻表現，類語の辞典を参考にすることは，執筆者の表現の幅を広げる手助けとなる.しかし, これらの辞典は多くの場合網羅的であり，執筆者は多くの選択肢の中から最適なものを選び出す必要がある. 執筆の手助けという点では，実際に執筆者のつづった文の文脈に沿った文章表現を提案することが重要である.

そこで，ある系列データから別の系列データを生成するタスクに使われる Encoder-Decoder モデルの応用を考える. 執筆者のつづった文から文章表現を付加した文を生成することによって，文脈を考慮した文章表現の提案が可能となる。

Encoder-Decoder モデルは，機械翻訳や文書要約，対話応答の生成といったタスクにおける研究が盛んである。これらの主要なタスクは，基本的に 1 つの答えを導き出すことが目的である．例えば，機械翻訳や文書要約は情報や意味内容を保持した生成を行うため, 入力と出力は一対一または多対一の関係にある．また，対話応答の生成は，目的によって多様性が重視される場合があるものの，ユーザへは最終的に 1 つの応答を返す.

一方，本システムのタスクでは，例えば「踊る」 という言葉を表現する場合，「軽やかに踊る」といった形容表現や「ウサギが跳ねるように踊る」といった比喻表現が考えられ，「踊る」という言葉自体も 「舞い踊る」や「音楽に摇られる」といったパラフレーズが考えられるため, 答えが 1 つではない問題を扱うこととなる。したがって, 提案の際には複数の候補を提示し，ユーザに選択の自由を与える必要がある.

図 1 システムの概要図

本研究では，執筆者のつづった文の文脈を考慮して，豊かで趣のある文章表現を付加した複数の候補文を提案する執筆支援システムを構築し，答えが 1 つではない問題への Encoder-Decoder モデルの応用について可能性の検討を行う.

## 2 関連研究

伊藤らの研究 [1] では，不完全な文から目的に合った完全な文の候補を自動生成する情報補完型生成モデルを新しい言語生成課題として提案しており，英語論文の執筆支援を想定したタスクにおいて，複数の評価指標でモデルのスコアが入力文のスコアより参照文のスコアに近づく傾向にあったと報告している。情報を付加して生成を行うという目標は本研究と類似しているが，最適な 1 つの候補を求めているという点で異なっている。また，完全な文から不完全な文を疑似生成することによって大規模な教師データを構築する手法を提案しており, 本研究でもその手法をべースにデータセットを構築している.

## 3 システムの概要

システムの概要を図 1 に示す. まず，実在する文学作品から文章表現の欠如した文を作成し, 元の文と対にしたデータセットを構築する。次に，そのデータセットを教師データとして学習を行った生成

モデルを構築する. システムは，ユーザの作成した文を入力としてモデルが生成した豊かで趣のある文章表現を付加した複数の候補文をユーザに提案することによって，執筆活動の支援を行う。

## 4 データセットの自動構築

実在する文学作品の文をターゲット，それらから作成される文章表現の欠如した文をソースとしたパラレルコーパスを構築し，これをデータセットとする. 文学作品の文書集合として新字体および現代仮名遣いで書かれた青空文庫 ${ }^{1)}$ の作品約 469 万文のテキストデータを使用し，各文に対して機械的に文章表現を除去する変換を行うことによって，経験の少ない執筆者を想定した文書集合を疑似的に作成する. 青空文庫の作品をターゲットとすることによって，どのような文脈でどのような表現がふさわしいかを実際に存在する例から学習することが可能となる。

まず，豊かで趣のある文章表現を，ストーリーを端的に述べる文と比較して付け足されていたり，言い換えられているフレーズと定義する。この定義から文章表現を，ものの性質や状態を形容する形容表現，事物を巧みに表現する修辞技法，日常的には用いられない技巧的な言い回し（パラフレーズ）の 3 つに分類した.これらの文章表現をもとに，ター ゲット文に対して以下の 4 つの変換処理を行ってソース文の作成を行う. 各変換処理では予めター ゲット文の形態素解析および係り受け解析を行っておく。

形容語の除去形容表現を担う単語の除去を行った文を作成する. 形容詞, 形容動詞, 副詞の 3 つの品詞の単語を検出し, それを根とする係り受け木に含まれる単語を削除する。また，修辞技法のひとつである擬態法は副詞的用法が多いため, ここで除去を行う。

直喻法の除去修辞技法のひとつである直喻法の除去を行った文を作成する。「〜ような」といった直喻法のキーフレーズを検出し，それを根とする係り受け木に含まれる単語を削除する。

反復法の除去修辞技法のひとつである反復法 （畳語法）の除去を行った文を作成する，自立語から始まる繰り返しのフレーズを検出し，片方を削除する.ただし複合語である場合は削除を行わない.

技巧的な言葉の平易化文学作品で使われるよう


な技巧的な言葉を一般的によく使われる類義語へと言い換えた文を作成する，ターゲット文の各形態素に対し，体言を除く自立語を言い換えの対象単語とし，以下の手順でソース文を作成する.

1. 対象単語について日本語単語ベクトルデータ2) からコサイン類似度の高い単語を類義語として取得し，これを言い換えの候補単語とする。

2. 類似度上位の候補単語から対象単語と品詞および活用が一致するものを探索する。

3. 候補単語が, $\mathrm{BCCWJ}^{3)}$ から作成した単語の出現頻度データ4)において対象単語より出現頻度の高い単語であった場合，その単語をリストへ追加する．そうでなかった場合は 2. の探索を再開する。

4. 全ての対象単語に対し 1. から 3.を繰り返してリストを作成し，これをもとにターゲット文から対象単語の置換を行った文を作成する。

以上の変換処理を経て，合計約 333 万対のデータセットを構築した. その内訳を表 1 に示す.

## 5 生成モデルの構築

構築したデータセットから訓練データ，検証デー タおよびテストデータを作成し, 生成モデルの構築を行った. モデルには Transformer[3] を用いた. 語彙数は 50,000 語とし, それ以外のトークンは未知語トークンとして処理をした。

## 6 候補提案システムの構築

構築した生成モデルを用いて，ユーザの入力から生成された出力をもとに候補文を提案するシステムを構築する. 出力の未知語処理として Jean らのコピーベースの手法 [4] を用いた.ソースとター ゲットの言語が同じであるため，コピーベースの未知語処理は有効であると考えられる。出力に含まれる未知語トークンを, Transformer モデルから抽出し

表 2 形容語や擬態法が付加された出力例と文脈による出力の変化

表 3 直喻法や反復法が付加された出力例

表 5 自動評価によるスコア

た Attention スコアをもとに最も関連度の高い入力のトークンへ置換することによって，未知語処理を行う.

また，本システムでは複数の候補を提案することが目的であるため，推論に 10 窓のビームサーチを用い，スコア上位 6 つの出力を候補文としてユーザに提案する．ただし，出力文が入力文と同じであるか, 出力文に含まれる未知語トークンの数が入力文より多い場合は候補に含めない。

## 7 実験と評価

## 7.1 モデルの自動評価

未知語処理を行っていないモデル (Transformer) と, 未知語処理を行った提案モデル（Transformer +copy）に対して自動評価を行った. その結果を表 5 に示す. 評価指標には ROUGE-1，2，L（R-1，2，L） を用いた。文長は文の平均トークン数である.

まず，全ての評価指標において未知語処理を行った提案モデルの方が行わなかったモデルよりもスコアが参照文に近づいた。これは，Attention スコアを用いたコピーベースの未知語処理の手法が有効であったことを示している。また，R-1 のスコアは提案モデルが最も高かった. これは, 文章表現の付加によって単語単位で出力文が参照文に近づいたこと表 4 言い換えが行われた出力例入力文彼は海の幸を賛沢に使った料理を作った。出力文 1 彼は海の幸をふんだんに使った料理を作った。出力文 2 彼は海の幸を贅沢に使った料理をこしらえた。出力文 3 彼は海の幸をふんだんに使った料理をこしらえた。出力文 4 彼は海の幸をふんだんに使った料理をこさえた。出力文 5 彼は海の幸をリッチに使った料理を作った。出力文 6 彼は海の幸を贅沢に使った料理をこさえた。
を示している．それに伴って文長も提案モデルが参照文に最も近づいた。一方，R-2，R-L のスコアは入力文が最も高かった。これは，推論において参照文と異なる部分に文章表現の付加が行われた場合，基本的に参照文の部分集合である入力文の方が出力文よりもスコアが高くなるためだと考えられる。本システムのタスクが答えの 1 つでない問題を扱っていることを考えると，これらの指標は適切ではない可能性がある.

## 7.2 出力の例

提案モデルを用いた出力の結果として，形容語や擬態法が付加された例を表 2 に，直喻法や反復法が付加された例を表 3 に，言い換えが行われた例を表 4 に示す.

また，表 2では，「摇れる」という単語に着目した文脈の違いによる出力の変化の例を示した. 表左の入力文における「摇れる」は「草木」を主語として上下左右に動く動作を意味しており，出力では「ゆらゆら」や「ざわざわ」といった文章表現が付加された一方，表右の入力文における「摇れる」は「気持ち」を主語として不安定な状態になることを意味しており，出力では「ひどく」や「少し」といった文章表現が付加された.この結果は, Encoder-Decoder モデルを用いることによって文脈を考慮した文章表現の提案が可能であることを示している.

## 7.3 システムの人手評価

調査票によって提案モデルを用いたシステムの人手評価を行った. 15 個の文を入力とし，それぞれに対するスコア上位 6 つの出力を候補文として用意し
表 6 総合評価を目的変数とした回帰分析の結果

た. 被験者には, 入力文と各候補文を比較し, 候補文に対して豊かさ（付加された文章表現が豊かであるか，乏しいか），流暢さ（文として自然か，不自然か), 意味の保持（意味内容が保たれているか，ずれているか)，総合評価（小説や随筆の執筆支援システムとして，入力文からその文へ変更したいと思うか）の 4 つの評価尺度で 5 段階評価をしてもらった。

各評価尺度を 1 から 5 へと数値化し分析を行った結果，第 1 候補文の総合評価の平均は 3.39 だった一方，これを含めた 6 つの候補文のうち，総合評価が最も高かったものの平均は 4.51 であった. これは, 1 つの候補を提案するより複数の候補を提案する方がより良い支援になることを示している.

また，提案された 6 つの候補文のうち，総合評価が 3 （どちらともいえない）より高かった候補文の数は平均で 3.6 個, 4 (やや選びたい) 以上だった候補文の数は平均で 2.4 個で，いずれにおいても総合的に見て選びたい候補文が複数あったことを示しており，執筆支援としてユーザに選択の自由を与えることができたと考えられる。

以上の結果は，本システムのタスクが，推論上最も適している第 1 候補が実際に求められている候補であるとは限らない問題であることを示しており，同時に，答えが 1 つではない問題への Encoder-Decoder モデルの応用が可能であることを示している.

次に，調査票の結果における総合評価を目的変数とした回帰分析を行った結果を表 6 に示す.

豊かさ，流暢さ，意味の保持それぞれの評価尺度は総合評価に強く関係し, ある候補を選ぶ基準としては流暢さ，豊かさ，意味の保持の順で影響があることが確認できる. 意味内容の保持の程度より文章表現の豊かさの方が最終的な評価に影響していることは，文章表現の執筆支援である本システムの特徴といえる.

## 8 インタフェースの提案

複数の候補の提案そのものは機械翻訳などでも書き方の摇れへの対処として実装例があるが，本システムはさらに多くの候補を提案することを想定しており，それによって，例えば「それは黒い猫だっ

図 2 Attention スコアのヒートマップの例

図 3 提案するインタフェースの例

た。」という入力に対し，第 6 候補を超える第 11 候補として「それは影のような黒い猫だった。」という文を提案可能である等，よりユーザの表現の幅を広げる手助けが可能となる。しかし，候補文の数とユーザへの負担はトレードオフの関係にあると考えられるため，実用性を考慮すると入力文から変化した部分のみを提案する必要がある.

そこで，Attention スコアを利用したインタフェー スを提案する. 図 2 に示すように，入力から変化のあった出力のトークンは特定の入力のトークンとの Attention スコアが高くなる傾向があった。この例からは，出力の「水」が入力の「冷たい」と強い関係を持っていることを確認できる. そこで，入力文と出力文のアライメント処理を行って変化した部分を検出し， Attention スコアを用いてそれがどの単語に対して付加された文章表現であるかを解析したのち, 図 3 のように特定の単語にフォーカスした文章表現の提案を行う.

## 9 おわりに

Encoder-Decoder モデルを応用し，周辺文脈を考慮して豊かで趣のある文章表現を付加した複数の候補文を提案する執筆支援システムを提案した。調査票による人手評価では執筆支援として総合的に良い評価が得られた。また，以上の結果を踏まえ， Attention スコアを利用したインタフェースを提案した. 将来的には，これを導入したより実用性のある執筆支援システムの開発を目指す.

## 参考文献

[1] 伊藤拓海, 栗林樹生, 小林隼人, 鈴木潤, 乾健太郎. ライティング支援を想定した情報補完型生成. 言語処理学会第 25 回年次大会, pp. 970-973, 2019.

[2] 真鍋陽俊, 岡照晃, 海川祥毅, 高岡一馬, 内田佳孝, 浅原正幸. 複数粒度の分割結果に基づく日本語単語分散表現. 言語処理学会第 25 回年次大会, pp. 1407-1410, 2019.

[3] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. CoRR, Vol. abs/1706.03762, , 2017.

[4] Sébastien Jean, Kyunghyun Cho, Roland Memisevic, and Yoshua Bengio. On using very large target vocabulary for neural machine translation. CoRR, Vol. abs/1412.2007, , 2014.