# Encoder-Decoder モデルを用いた 文章表現を豊かにする執筆支援システム

鈴木勘太
芝浦工業大学工学部
al17055@shibaura-it.ac.jp
}

杉本徹
芝浦工業大学工学部
sugimoto@shibaura-it.ac.jp

## 1 はじめに

小説や随筆といった文学作品の執筆において，豊 かで趣のある文章表現を推敲することは，良い作品 を作り上げるうえで重要な過程の一つである。その 中で，コロケーションや比喻表現，類語の辞典を参考にすることは，執筆者の表現の幅を広げる手助け となる.しかし, これらの辞典は多くの場合網羅的 であり，執筆者は多くの選択肢の中から最適なもの を選び出す必要がある. 執筆の手助けという点で は，実際に執筆者のつづった文の文脈に沿った文章表現を提案することが重要である.

そこで，ある系列データから別の系列データを生成するタスクに使われる Encoder-Decoder モデルの 応用を考える. 執筆者のつづった文から文章表現を 付加した文を生成することによって，文脈を考慮し た文章表現の提案が可能となる。

Encoder-Decoder モデルは，機械翻訳や文書要約，対話応答の生成といったタスクにおける研究が盛ん である。これらの主要なタスクは，基本的に 1 つの 答えを導き出すことが目的である．例えば，機械翻訳や文書要約は情報や意味内容を保持した生成を行 うため, 入力と出力は一対一または多対一の関係に ある．また，対話応答の生成は，目的によって多様性が重視される場合があるものの，ユーザへは最終的に 1 つの応答を返す.

一方，本システムのタスクでは，例えば「踊る」 という言葉を表現する場合，「軽やかに踊る」といっ た形容表現や「ウサギが跳ねるように踊る」といっ た比喻表現が考えられ，「踊る」という言葉自体も 「舞い踊る」や「音楽に摇られる」といったパラフ レーズが考えられるため, 答えが 1 つではない問題 を扱うこととなる。したがって, 提案の際には複数 の候補を提示し，ユーザに選択の自由を与える必要 がある.

図 1 システムの概要図

本研究では，執筆者のつづった文の文脈を考慮し て，豊かで趣のある文章表現を付加した複数の候補文を提案する執筆支援システムを構築し，答えが 1 つではない問題への Encoder-Decoder モデルの応用 について可能性の検討を行う.

## 2 関連研究

伊藤らの研究 [1] では，不完全な文から目的に 合った完全な文の候補を自動生成する情報補完型生成モデルを新しい言語生成課題として提案して おり，英語論文の執筆支援を想定したタスクにおい て，複数の評価指標でモデルのスコアが入力文のス コアより参照文のスコアに近づく傾向にあったと報告している。情報を付加して生成を行うという目標 は本研究と類似しているが，最適な 1 つの候補を求 めているという点で異なっている。また，完全な文 から不完全な文を疑似生成することによって大規模 な教師データを構築する手法を提案しており, 本研究でもその手法をべースにデータセットを構築して いる.

## 3 システムの概要

システムの概要を図 1 に示す. まず，実在する文学作品から文章表現の欠如した文を作成し, 元の文 と対にしたデータセットを構築する。次に，その データセットを教師データとして学習を行った生成

モデルを構築する. システムは，ユーザの作成した 文を入力としてモデルが生成した豊かで趣のある文章表現を付加した複数の候補文をユーザに提案する ことによって，執筆活動の支援を行う。

## 4 データセットの自動構築

実在する文学作品の文をターゲット，それらから 作成される文章表現の欠如した文をソースとしたパ ラレルコーパスを構築し，これをデータセットとす る. 文学作品の文書集合として新字体および現代仮名遣いで書かれた青空文庫 ${ }^{1)}$ の作品約 469 万文のテ キストデータを使用し，各文に対して機械的に文章表現を除去する変換を行うことによって，経験の少 ない執筆者を想定した文書集合を疑似的に作成す る. 青空文庫の作品をターゲットとすることによっ て，どのような文脈でどのような表現がふさわしい かを実際に存在する例から学習することが可能と なる。

まず，豊かで趣のある文章表現を，ストーリーを 端的に述べる文と比較して付け足されていたり，言 い換えられているフレーズと定義する。この定義か ら文章表現を，ものの性質や状態を形容する形容表現，事物を巧みに表現する修辞技法，日常的には用 いられない技巧的な言い回し（パラフレーズ）の 3 つに分類した.これらの文章表現をもとに，ター ゲット文に対して以下の 4 つの変換処理を行って ソース文の作成を行う. 各変換処理では予めター ゲット文の形態素解析および係り受け解析を行って おく。

形容語の除去 形容表現を担う単語の除去を行っ た文を作成する. 形容詞, 形容動詞, 副詞の 3 つの 品詞の単語を検出し, それを根とする係り受け木に 含まれる単語を削除する。また，修辞技法のひとつ である擬態法は副詞的用法が多いため, ここで除去 を行う。

直喻法の除去 修辞技法のひとつである直喻法の 除去を行った文を作成する。「〜ような」といった 直喻法のキーフレーズを検出し，それを根とする係 り受け木に含まれる単語を削除する。

反復法の除去 修辞技法のひとつである反復法 （畳語法）の除去を行った文を作成する，自立語か ら始まる繰り返しのフレーズを検出し，片方を削除 する.ただし複合語である場合は削除を行わない.

技巧的な言葉の平易化 文学作品で使われるよう


な技巧的な言葉を一般的によく使われる類義語へと 言い換えた文を作成する，ターゲット文の各形態素 に対し，体言を除く自立語を言い換えの対象単語と し，以下の手順でソース文を作成する.

1. 対象単語について日本語単語ベクトルデータ2) からコサイン類似度の高い単語を類義語として 取得し，これを言い換えの候補単語とする。

2. 類似度上位の候補単語から対象単語と品詞およ び活用が一致するものを探索する。

3. 候補単語が, $\mathrm{BCCWJ}^{3)}$ から作成した単語の出現頻度データ4)において対象単語より出現頻度の 高い単語であった場合，その単語をリストへ追加する．そうでなかった場合は 2. の探索を再開する。

4. 全ての対象単語に対し 1. から 3.を繰り返して リストを作成し，これをもとにターゲット文か ら対象単語の置換を行った文を作成する。

以上の変換処理を経て，合計約 333 万対のデータ セットを構築した. その内訳を表 1 に示す.

## 5 生成モデルの構築

構築したデータセットから訓練データ，検証デー タおよびテストデータを作成し, 生成モデルの構築 を行った. モデルには Transformer[3] を用いた. 語彙数は 50,000 語とし, それ以外のトークンは未知語 トークンとして処理をした。

## 6 候補提案システムの構築

構築した生成モデルを用いて，ユーザの入力か ら生成された出力をもとに候補文を提案するシス テムを構築する. 出力の未知語処理として Jean ら のコピーベースの手法 [4] を用いた.ソースとター ゲットの言語が同じであるため，コピーベースの未知語処理は有効であると考えられる。出力に含まれ る未知語トークンを, Transformer モデルから抽出し

表 2 形容語や擬態法が付加された出力例と文脈による出力の変化

表 3 直喻法や反復法が付加された出力例

表 5 自動評価によるスコア

た Attention スコアをもとに最も関連度の高い入力 のトークンへ置換することによって，未知語処理を 行う.

また，本システムでは複数の候補を提案すること が目的であるため，推論に 10 窓のビームサーチを 用い，スコア上位 6 つの出力を候補文としてユーザ に提案する．ただし，出力文が入力文と同じである か, 出力文に含まれる未知語トークンの数が入力文 より多い場合は候補に含めない。

## 7 実験と評価

## 7.1 モデルの自動評価

未知語処理を行っていないモデル (Transformer) と, 未知語処理を行った提案モデル（Transformer +copy）に対して自動評価を行った. その結果を表 5 に示す. 評価指標には ROUGE-1，2，L（R-1，2，L） を用いた。文長は文の平均トークン数である.

まず，全ての評価指標において未知語処理を行っ た提案モデルの方が行わなかったモデルよりもスコ アが参照文に近づいた。これは，Attention スコアを 用いたコピーベースの未知語処理の手法が有効で あったことを示している。また，R-1 のスコアは提案モデルが最も高かった. これは, 文章表現の付加 によって単語単位で出力文が参照文に近づいたこと表 4 言い換えが行われた出力例入力文 彼は海の幸を賛沢に使った料理を作った。出力文 1 彼は海の幸をふんだんに使った料理を作った。出力文 2 彼は海の幸を贅沢に使った料理をこしらえた。出力文 3 彼は海の幸をふんだんに使った料理をこしらえた。出力文 4 彼は海の幸をふんだんに使った料理をこさえた。出力文 5 彼は海の幸をリッチに使った料理を作った。出力文 6 彼は海の幸を贅沢に使った料理をこさえた。
を示している．それに伴って文長も提案モデルが参照文に最も近づいた。一方，R-2，R-L のスコアは入力文が最も高かった。これは，推論において参照文 と異なる部分に文章表現の付加が行われた場合，基本的に参照文の部分集合である入力文の方が出力文 よりもスコアが高くなるためだと考えられる。本シ ステムのタスクが答えの 1 つでない問題を扱ってい ることを考えると，これらの指標は適切ではない可能性がある.

## 7.2 出力の例

提案モデルを用いた出力の結果として，形容語や 擬態法が付加された例を表 2 に，直喻法や反復法が 付加された例を表 3 に，言い換えが行われた例を表 4 に示す.

また，表 2では，「摇れる」という単語に着目した 文脈の違いによる出力の変化の例を示した. 表左の 入力文における「摇れる」は「草木」を主語として 上下左右に動く動作を意味しており，出力では「ゆ らゆら」や「ざわざわ」といった文章表現が付加さ れた一方，表右の入力文における「摇れる」は「気持ち」を主語として不安定な状態になることを意味 しており，出力では「ひどく」や「少し」といった文章表現が付加された.この結果は, Encoder-Decoder モデルを用いることによって文脈を考慮した文章表現の提案が可能であることを示している.

## 7.3 システムの人手評価

調査票によって提案モデルを用いたシステムの人手評価を行った. 15 個の文を入力とし，それぞれに 対するスコア上位 6 つの出力を候補文として用意し
表 6 総合評価を目的変数とした回帰分析の結果

た. 被験者には, 入力文と各候補文を比較し, 候補文に対して豊かさ（付加された文章表現が豊かであ るか，乏しいか），流暢さ（文として自然か，不自然 か), 意味の保持（意味内容が保たれているか，ずれ ているか)，総合評価（小説や随筆の執筆支援シス テムとして，入力文からその文へ変更したいと思う か）の 4 つの評価尺度で 5 段階評価をしてもらった。

各評価尺度を 1 から 5 へと数値化し分析を行った 結果，第 1 候補文の総合評価の平均は 3.39 だった一方，これを含めた 6 つの候補文のうち，総合評価が 最も高かったものの平均は 4.51 であった. これは, 1 つの候補を提案するより複数の候補を提案する方 がより良い支援になることを示している.

また，提案された 6 つの候補文のうち，総合評価 が 3 （どちらともいえない）より高かった候補文の 数は平均で 3.6 個, 4 (やや選びたい) 以上だった候補文の数は平均で 2.4 個で，いずれにおいても総合的に見て選びたい候補文が複数あったことを示して おり，執筆支援としてユーザに選択の自由を与える ことができたと考えられる。

以上の結果は，本システムのタスクが，推論上最も適している第 1 候補が実際に求められてい る候補であるとは限らない問題であることを示 しており，同時に，答えが 1 つではない問題への Encoder-Decoder モデルの応用が可能であることを 示している.

次に，調査票の結果における総合評価を目的変数 とした回帰分析を行った結果を表 6 に示す.

豊かさ，流暢さ，意味の保持それぞれの評価尺度 は総合評価に強く関係し, ある候補を選ぶ基準とし ては流暢さ，豊かさ，意味の保持の順で影響がある ことが確認できる. 意味内容の保持の程度より文章表現の豊かさの方が最終的な評価に影響しているこ とは，文章表現の執筆支援である本システムの特徴 といえる.

## 8 インタフェースの提案

複数の候補の提案そのものは機械翻訳などでも書 き方の摇れへの対処として実装例があるが，本シス テムはさらに多くの候補を提案することを想定し ており，それによって，例えば「それは黒い猫だっ

図 2 Attention スコアのヒートマップの例

図 3 提案するインタフェースの例

た。」という入力に対し，第 6 候補を超える第 11 候補として「それは影のような黒い猫だった。」とい う文を提案可能である等，よりユーザの表現の幅を 広げる手助けが可能となる。しかし，候補文の数と ユーザへの負担はトレードオフの関係にあると考え られるため，実用性を考慮すると入力文から変化し た部分のみを提案する必要がある.

そこで，Attention スコアを利用したインタフェー スを提案する. 図 2 に示すように，入力から変化の あった出力のトークンは特定の入力のトークンとの Attention スコアが高くなる傾向があった。この例か らは，出力の「水」が入力の「冷たい」と強い関係 を持っていることを確認できる. そこで，入力文と 出力文のアライメント処理を行って変化した部分を 検出し， Attention スコアを用いてそれがどの単語に 対して付加された文章表現であるかを解析したの ち, 図 3 のように特定の単語にフォーカスした文章表現の提案を行う.

## 9 おわりに

Encoder-Decoder モデルを応用し，周辺文脈を考慮 して豊かで趣のある文章表現を付加した複数の候補文を提案する執筆支援システムを提案した。調査票による人手評価では執筆支援として総合的に 良い評価が得られた。また，以上の結果を踏まえ， Attention スコアを利用したインタフェースを提案し た. 将来的には，これを導入したより実用性のある 執筆支援システムの開発を目指す.

## 参考文献

[1] 伊藤拓海, 栗林樹生, 小林隼人, 鈴木潤, 乾健太郎. ライ ティング支援を想定した情報補完型生成. 言語処理学会第 25 回年次大会, pp. 970-973, 2019.

[2] 真鍋陽俊, 岡照晃, 海川祥毅, 高岡一馬, 内田佳孝, 浅原正幸. 複数粒度の分割結果に基づく日本語単語分散表現. 言語処理学会第 25 回年次大会, pp. 1407-1410, 2019.

[3] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. CoRR, Vol. abs/1706.03762, , 2017.

[4] Sébastien Jean, Kyunghyun Cho, Roland Memisevic, and Yoshua Bengio. On using very large target vocabulary for neural machine translation. CoRR, Vol. abs/1412.2007, , 2014.
 鈴木勘太 芝浦工業大学工学部 al17055@shibaura-it.ac.jp }  杉本徹 芝浦工業大学工学部 sugimoto@shibaura-it.ac.jp  