# 複数の指定語句を必ず含むリスティング広告の 広告文自動生成

黒木 開 1 石塚湖太 ${ }^{1,2}$ 川上 孝介 1 中田 和秀 2
${ }^{1}$ negocia 株式会社 2 東京工業大学
kai_kurogi@negocia.jp

## 概要

Google などの検索結果に表示されるリスティング広告の制作現場では、ブランド名や検索キーワー ドなどの効果が高かった指定語句を広告文に含めることで、広告効果を高めたいニーズがある。しかし、従来の広告文自動生成モデルでは、指定語句を必ず含む保証ができない課題や、複数の指定語句に対応できない課題があった。我々は機械翻訳タスクで提案された指定語句を含む翻訳文生成技術を応用して、複数の指定語句を必ず含む広告文自動生成技術、及び、実運用に向けた高速化手法を提案した。結果として、実用時間内に複数の指定語句を含む広告文が生成可能となった。

## 1 はじめに

リスティング広告とは、ユーザーが検索エンジンで検索すると、その検索キーワードに関連した広告文が表示される広告である。リスティング広告の広告文は、商品の特徴やアピールポイントなどの訴求点を含み、かつ、検索キーワードと連動した顧客にクリックされやすい魅力的な広告文であることが求められる。そのため、制作現場では広告文を魅力的に作り込む必要があるが、広告文は多様なキーワー ドに合わせて大量に作成する必要があり、制作現場の限られた人材で、それを行うことは非常に難しい。さらに、リスティング広告の広告取引量は急速なスピードで増加していることもあり、広告文の作成を支援する技術が求められている。

この課題解決に向け、自然言語処理技術を活用した広告文自動生成技術が数多く提案されている。大曽根ら [大曽根 21] は広告文から抽出したキーワー ドとカテゴリ情報を入力として、GPT-2を用いた生成技術を提案している。Ishizuka ら [Ishizuka 21] はランディングページ (LP) から抽出した HTML のタ
グ情報と検索キーワードを入力に、BERT2BERTを用いた広告文生成モデルにより、人と同等品質な広告文が生成されることを示している。

ところで、これら広告文自動生成タスクには、ブランド名や検索キーワードなどの効果が高かった指定語句を広告文に含めることで、広告効果を高めたいニーズがある。黒木ら [黒木 21] は、Decode 時に指定されたキーワードの挿入確率を上げることで、 キーワードが含まれた広告文を生成する手法を提案している。山田らは [Yamada 21]、キーワードを中心に双方向に文章を生成することで、 $100 \%$ 指定語句を含む文章生成手法を提案している。

しかし、前者は指定語句が必ず含まれる保証がなく、後者は指定語句を複数含めることができない問題があった。そこで、本研究では、広告文自動生成タスクにおいて、指定語句が複数指定されていた場合であっても、全ての指定語句を必ず含む広告文を生成する手法である Phrase-based Grid Beam Search(Phrase-based GBS) を提案する。

加えて、指定語句の評価を先頭トークンのみに限定することで、Phrase-based GBS における探索時の評価速度に改善を加えた Phrase-based Approximate Grid Beam Search(Phrase-based AGBS) も併せて提案する。Phrase-based AGBS を用いることで、生成品質をほとんど落とすことなく、生成速度を向上させることに成功した。

なお、本研究は Chousa ら [Chousa 21] が提案した翻訳文生成に対する指定語句を含ませる手法を参考としている。Chousa ら [Chousa 21] は Grid Beam Search(GBS) に LeCA モデル [Chen 20] と呼ばれる手法を組み合わせることで、翻訳精度を落とすことなく指定語句を必ず含む翻訳文生成手法を提案している。我々は、Chousa ら [Chousa 21] が提案したアルゴリズムを広告文生成タスクへ適用し、かつ、実運用に向けた高速化手法を開発した。

図 1 本モデルの埋め込み層の図。指定語句、キーワード、LPのタグ情報の順に文字列を連結した上で、それぞれに対応するタグを割り当てている。Encoderへの入力は 2 つの埋め込みの和である。

## 2 提案手法

## 2.1 モデル構造と入力形式

本研究における広告文自動生成モデルは、様々な自然言語処理タスクを"Text to Text"で解くモデルである T5[Raffel 20] をべースとして用いた。また、より高品質な広告文を生成するために、Ishizuka らの手法 [Ishizuka 21] と LeCA モデルを組み合わた入力方式を採用する。自動生成モデルの概要を図 1 に示す。埋め込み層に HTML のタグ情報による Tag Embeddings を追加した他、入力は指定語句、キー ワード、および LP の HTML からタグ抽出しして得られたタグ情報を連結した文字列を用いる。

入力文字列先頭の指定語句は LeCA モデルによるものである。LeCA モデルは入力に指定語句を含めることで、モデルが指定語句を考慮しながら生成を行えるようにする手法であるが、広告文生成の学習時には指定語句の情報がない。そこで本論文では、広告文からランダムに抽出した複数の単語を指定語句として学習時の入力に使用した。これにより、モデルは指定語句を考慮しながら生成する方法を学ぶため、推論時に実際に広告文内に含めたいフレーズを指定語句としたときに、指定語句を含んだ自然な広告文を生成することが可能となる。

## 2.2 生成手法

リスティング広告の制作現場では、指定語句を広告文に含めたいニーズの他に、サービス名やテンプレート文など、任意のフレーズを一言一句間違えずに生成したいニーズがある。そこで特定の表現をフレーズ単位で扱いながら、複数の指定語句を必ず含む広告文を生成するために、Phrase-based Decoding と Grid Beam Search(GBS) を組み合わせた Phrase-based GBS を提案する。また、Phrase-based GBS の評価回数を減らすことで高速化させた Phrase-based AGBS を併せて提案する。

## 2.2.1 Phrase-based Decoding

任意の表現をフレーズ単位で扱うために、Zhang ら [Zhang 17] が提案した Phrase-based Decoding を採用する。Phrase-based Decoding は、生成時に各トー クンを生成するのではなく、事前に登録された、複数トークンからなるフレーズ単位で文章を生成する手法である。フレーズ単位で生成することで、事前に登録したブランド名やテンプレート文などのフレーズをそのまま出力することが可能となる。

## 2.2.2 Phrase-based Grid Beam Search

Phrase-based GBS は、Phrase-based Decoding と GBS を組み合わせた手法である。その疑似コードはアルゴリズム 1 の通りである。GBS は、Start(指定語句の最初のトークンを生成する)、Continue(生成中の指定語句の次のトークンを生成する)、Generate(制約なく次のトークンを生成する）の3つの状態を考慮しながら文章生成を行う。それに対して Phrase-based GBS では、Start と Continue を一体化させることで、指定語句を生成する際にフレーズ単位で生成する。このとき、 $k$ をビームの幅、 $C$ を指定語句の数とすると、タイムステップあたりの計算量オーダーは $O\left(k C^{2}\right)$ となる。

## 2.2.3 Phrase-based Approximate Grid Beam Search

前述の Phrase-based GBS を用いることで、複数の指定語句を必ず含む広告文を生成できるようになったが、Phrase-based GBS は、各タイムステップごとに全ての指定語句の生成確率を評価しているため、指定語句の数の二乗に比例して計算時間が増える。 そこで，指定語句の生成時に、各指定語句の 2 トー クン目以降の生成確率を計算せず、その評価を先頭トークンの生成確率のみで行うことにより評価回数を減らす Phrase-based AGBS 法を提案する。本手法により、全ての指定語句の評価を 1 回で行えるため、計算量オーダーを $O(k C)$ まで減らすことができる。
表 1 実験結果の表

## 3 実験

## 3.1 実験設定

本実験では、Phrase-based GBS と Phrase-based AGBS のそれぞれで実際に広告文を生成し、広告文の生成品質および、生成速度を比較する。具体的なデータセットは検索キーワードと LP と広告文の関係を学習するために、独自にスクレイピングすることで得られたデータを用いた。各データは検索キーワー ド、リスティング広告で表示された広告文、LP の HTML から構成されており、学習データ 741,506 件とテスト用データ 82,320 件に分割して使用した。

## 3.2 評価方法

生成品質は文章の流暢性や類似度を評価する手法である BLEU[Papineni 02] と ROUGE[Lin 04]
で評価する。ROUGE は 1-gram(ROUGE-1) および 2-gram(ROUGE-2) の 2 通りで評価した。ただし今回用いたテストデータはスクレイピングによって得られたデータで指定語句の情報がない。そこで本実験では、広告文からランダムに抜き出した複数のフレーズを指定語句に指定して広告文を生成した。指定語句の数は $C=2$ or 5 とし、生成時のビーム幅は $k=8$ とした。

## 4 結果と考察

## 4.1 結果

自動評価の結果を表 1 に，指定語句数ごとの生成速度の比較を図 2 に示す。同じ指定語句数で比較した場合、BLUE、ROUGE-1, ROUGE-2 の全ての生成品質指標で、Phrase-based GBS が優位であった。逆に、生成速度は Phrase-based AGBS が常に速かった。 また、表 2、表 3 に実際の生成例を示す。表 2 は Phrase-based GBS による生成文、表 3 は Phrase-based AGBS による生成文である。それぞれの生成文はリスティング広告のフォーマットに則り「タイトル 1 - タイトル 2 - 説明文 $1 」$ の 3 要素から構成されている。

図 2 指定語句数と生成時間のグラフ。指定語句が増えれば増えるほど、2つのアルゴリズムの生成速度差は開く。

## 4.2 考察

表 1 の結果から、Phrase-based AGBS は生成品質を 3\% 5\%下げる代わりに、生成速度を $24 \% \sim 43 \%$ 上げ

 & - &  \\

るアルゴリズムであると言える。品質をほとんど劣化させないまま生成速度を上げることができるため、その実用性は高い。また、図 2 からも分かるように、指定語句の数が多いほど Phrase-based AGBS の有効性は高くなると言える。

次に、実際の生成例に注目する。表 2、表 3 はいずれも Commerce Flow と呼ばれる Amazon の広告運用ツールの LP に対して生成された広告文である。表 2 の phrased-based GBS を用いた場合には、いずれの場合にも自然な広告文が生成された。指定語句が複数設定された場合や、複合語が設定された場合にも適切に生成できていることが確認できる。

次に表 3 の Phrase-Based AGBS を用いた場合を確認する。こちらも全体的に自然な広告文を生成できることが確認できた。しかし指定語句に複合語、つまり「最適な広告運用」を指定した場合には、「広告運用」というフレーズが多様され、生成品質の明らかな低下が確認された。

この原因は Phrase-based AGBS の近似の仕様によるものだと推測できる。Phrase-based AGBS は指定語句を先頭トークンで近似するため、「最適な広告運用」は「最適」に近似される。つまり後半の「広告運用」部分が見落とされることになるため、同フレーズの多用に繋がったと考えられる。 Phrase-based AGBS を利用する場合には指定語句に複合語を設定しないなど、やや工夫が必要であると言える。

## 5 まとめ

本研究では、複数の指定語句を必ず生成文内に含める Phrase-based GBS を提案した。加えて、Phrasebased GBS を高速化する手法である Phrase-based AGBS 提案した。実験の結果、Phrase-based GBS を用いることで指定語句が全て含まれた高品質な広告文を生成出来た他、Phrase-based AGBS によって生成品質をほとんど落とすことなく高速化出来たことが確認できた。今後は、生成品質を維持しながら、 より多様に、より高速に広告文を生成するような手法を考えていきたい。

## 参考文献

[大曽根 21] 大曽根宏幸, 張培楠. GPT-2 の転移学習によるキーワードを考慮した広告文生成, 2021 年度人工知能学会全国大会（第 35 回）, 2021 .

[Ishizuka 21] Ishizuka, K., Kurogi, K., Kawakami, K., Iwai, D., Nakata, K. Generating Search Text Ads from Keywords and Landing Pages via BERT2BERT, 2021 年度人工知能学会全国大会（第 35 回）, 2021.

[Zhang 17] Zhang, J., Utiyama, M., Sumita, E., Neubig, G., Nakamura, S. Improving Neural Machine Translation through Phrase-based Forced Decoding, In Proceedings of the 8th International Joint Conference on Natural Language Processing (IJCNLP 2017), pages 11-20, November 28-30, 2017

[黒木 21] 黒木開, 岩井大志, 川上孝介, 石塚湖太, 中田和秀.キーワードを考慮した BERT2BERTによる広告文生成, 2021 年度人工知能学会全国大会（第 35 回）, 2021.

[Yamada 21] 山田康輔, 人見雄太, 田森秀明, 岡崎直観,

## 乾 健太郎: 指定語句を確実に含む見出し生成, 言語

処理学会第 27 回年次大会, 2021.

[Hokamp 17] Hokamp, C., Liu, Q. Lexically constrained decoding for sequence generation using grid beam search. ,In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 1535-1546,Vancouver, Canada. Association for Computational Linguistics., 2017.

[Chen 20] Chen, G., Chen, Y., Wang Y., Victor O.K.Li. Lexicalconstraint-aware neural machine translation via data augmentation. In Proceedings of the Twenty-Ninth International Joint Conference on Artificial Intelligence, International Joint Conferences on Artificial Intelligence Organization. Main track.(IJCAI-20), pages 3587-3593, 2020.

[Chousa 21] Chousa, K., Morishita, M. Input Augmentation Improves Constrained Beam Search for Neural Machine Translation: NTT at WAT 2021, The 8th Workshop on Asian Translation(WAT), 2021.

[Raffel 20] Raffel, C., Shazeer, N., Roberts, A., Lee, K., Narang, S., Matena, M., Zhou Y., Li, W., J. Liu. P. Exploring the limits of transfer learning with a unified texttotext transformer. Journal of Machine Learning Research, 21(140):1-67., 2020.

[Papineni 02] Papineni, K., Roukos, S., Ward, T., and Zhu, W.J. BLEU: a method for auto- matic evaluation of machine translation. In Proceedings of the 40th annual meeting of the Association for Computational Linguistics, pages 311-318., 2002.

[Lin 04] Lin, C.-Y. Rouge: A package for auto- matic evaluation of summaries. In Text summarization branches out, pages 74-81., 2004.


# 大規模汎用言語モデルによるペルソナを考慮した応答生成

川本稔己 ${ }^{1,2}$ 山崎 天 ${ }^{1}$ 佐藤 敏紀 ${ }^{1}$ 奥村 学 ${ }^{2}$
${ }^{1}$ LINE 株式会社 2 東京工業大学
toshiki.kawamoto@linecorp.com

## 概要

対話における応答生成では, 自分のこれまでの発話内容や話者のペルソナとの一貫性を保つことが重要である. 本稿では長期間行われる対話を想定し, 従来のペルソナ対話システムでは十分考慮されなかった対話中のペルソナの変動性に着目する. 変動するペルソナを追跡する過程を「抽出」・「選択」・「更新」 の3つのタスクに分割し，それぞれを解くことで応答を生成する対話システムを提案する。提案手法は大規模汎用言語モデルである HyperCLOVA を用いて複数タスクを解く. 評価実験の結果から, 提案手法は従来のペルソナ対話システムより高い一貫性スコアを得られ, 長期間行われる対話の一貫性を保つために有効であることを確認した。

## 1 はじめに

従来の対話システムは, 対話履歴や話者のペルソナと矛盾した発話を生成してしまうことがある. ペルソナとは好みやプロフィールなど個性を表す短文のことであり, 従来の研究においては対話履歴やペルソナと一貫性のある応答を生成することが課題であった. 本稿では, 大規模汎用言語モデル HyperCLOVA [1] を用いてその課題に取り組む.

関連研究として, Zhang ら [2] は Persona Chat デー タセットを提供した. Persona Chat データセットには, 複数話者のペルソナとそのペルソナに沿った対話が含まれている.そのデータを利用することでぺルソナに沿った応答生成を学習, 評価することが可能となり,対話と自分のペルソナを用いて応答を生成する手法が提案されている [3,4]. しかし, 長期間行われる対話では対話履歴が増加し続けるため, 全てをシステムへの入力として扱うことが難しい. そのため, 対話履歴から自分のペルソナを抽出する取り組みが行われている $[5,6]$. しかし, これらの取り組みには, (I) 相手のペルソナには注目できていない, (II) ペルソナの数が多くなるとペルソナを選択

図 1 提案手法. 対話履歴からペルソナを抽出する. 抽出したペルソナに既存のペルソナからの変化が見られた場合更新する. ペルソナ集合から応答生成に必要なペルソナを選択し, 選択されたペルソナと対話履歴を用いて応答を生成する。

する必要がある, (III) ペルソナの変化には対応していない, といった欠点がある. そこで, 本稿では従来のペルソナ対話システムで十分考慮できていない対話中のペルソナの変動性に着目し, 変動するペルソナを追跡する過程を「抽出」・「選択」・「更新」の 3 つのタスクに分割する. そして,これらのタスクから得られたペルソナを使用して応答を生成するシステムを提案する. 本システムは複数のタスクを同時に解く必要があるが, それぞれにモデルを用意するのは多くの時間とコストがかかる。 そのため,これらのタスクを大規模汎用言語モデルである HyperCLOVA を用いて解く. HyperCLOVA とは, GPT-3 [7] と同様な性能・性質をもつ日本語に特化した言語モデルである. HyperCLOVA はショットと呼ばれる特定の言語タスクのサンプルを複数個埋め込んだプロンプトを作成し，その形式を学習することで特定の言語夕スク処理能力の獲得が期待できる.

対話システムの一貫性を評価するため, JPersona Chat データセット1)を用いた実験を行った. 自動評価の結果から大規模汎用言語モデルはベースラインモデルより一貫性がある応答生成を行うこと, 提案手法はペルソナをより考慮した応答を行うことを確認した. また, 長期間行われる対話を想定した人手評
^{1)}$ https://github.com/nttcslab/ japanese-dialog-transformers
}

図 2 ペルソナの抽出を行うためのプロンプトのテンプレート. \#以降はコメントである.

価の結果, 提案手法は従来のペルソナ対話システムより高い一貫性スコアを得られ, ペルソナの変動性を考慮した提案手法の有効性を確認した。

## 2 提案手法

従来の対話システムでは, 対話と初めに与えられた自分のペルソナを用いて応答を生成する. しかし，一貫した応答生成のためには対話中に新たに自分のペルソナが発生することや, 相手のペルソナを考慮する必要がある. よって, 本稿では対話から自分と相手のペルソナを抽出することを試みる (ペルソナの抽出). しかし, ペルソナの抽出を行えばペルソナの数が増加する. その結果, 対話の話題と関連性が低いペルソナが応答生成時のノイズになる可能性や, 言語モデルの入力長に収まらない可能性がある. そのため, 最適なペルソナを選択する必要がある (ペルソナの選択). また, 対話が長くなるとペルソナに変化が起こることも想定される. よって, ペルソナの変化を検知し, 必要に応じて更新を行う (ペルソナの更新). まとめると, 本システムはペルソナの「抽出」・「選択」・「更新」を行った上で応答を生成する. 概要を図 1 に示す。

## 2.1 ペルソナの抽出

対話から話者のペルソナを抽出するのには HyperCLOVA を用いる. HyperCLOVA に与えるプロンプトのテンプレートを図 2 に示す. 1 つのショットには対話の最終発話からペルソナを抜き出し,"[ユー ザの属性情報]" 以降に記述する. ショットには, 対話の最終発話にペルソナが含まれていないパターンも記述し, その場合"[ユーザの属性情報]"以降には何も記述しない.このプロンプトを用いて, 対話履歴の発話それぞれが抽出の対象となるように HyperCLOVA

図 3 ペルソナの更新を行うためのプロンプトのテンプレート. \#以降はコメントである.

を実行し，自分と相手のペルソナを抽出する.

## 2.2 ペルソナの選択

ペルソナの抽出を行ったことで保持するペルソナの数が増加する. そのため, 応答生成の際には適切なペルソナを選択する必要がある. ペルソナの選択には直前の対話を用いる. 具体的には, 直前に行われた自分と相手の発話を時系列順に繋ぎ合わせ，それを検索文字列とする. その検索文字列の埋め込み表現と, 保持しているペルソナの埋め込み表現とのコサイン類似度を計算し, 自分と相手のペルソナからそれぞれコサイン類似度の上位 5 つを使用する。

## 2.3 ペルソナの更新

本節では, 既存のペルソナを抽出したペルソナに置き換えるかどうか決定する手法について述べる。 まず, 抽出したペルソナと関連のあるペルソナが既存のペルソナの中に存在するか調べる. 抽出したぺルソナの埋め込み表現と既存のペルソナそれぞれの埋め込み表現の中からコサイン類似度が最も高いぺルソナを選択し, コサイン類似度が閾值 (0.7) 以上ならその選択されたペルソナを関連のあるペルソナとする。一方,コサイン類似度が閾値以下の場合抽出したペルソナは既存のペルソナと中立な関係であるとし, ペルソナの更新は行わず新しいペルソナとして追加する. 次に, 関連のあるペルソナを抽出したペルソナに置き換えるか HyperCLOVA を用いて決定する. プロンプトのテンプレートを図 3 に示す. ここで, 関連のあるペルソナと抽出したペルソナには以下の 3 つの関係が考えられる: (a) 等しい, (b) 変更が起きている, (c) 中立. (a), (b) の場合は関連のあるぺルソナを抽出したペルソナに置き換える必要があるので, 抽出したペルソナを出力する. (c) の場合は関連のあるペルソナを置き換える必要がないので, ど

図 4 ペルソナを考慮した応答生成のためのプロンプトのテンプレート. \#以降はコメントである.

ちらのペルソナも出力する. (a), (b), (c) 全てのパター ンをショットに記載し, 得られた出力を新しいペルソナとして追加する。

## 2.4 ペルソナを利用した応答生成

ペルソナの抽出 (\$2.1) ・更新 (\$2.3) を行い, ペルソナの選択 (\$2.2) で選択されたペルソナを用いて応答を生成する. 応答の生成には HyperCLOVA を用いる. プロンプトのテンプレートを図 4 に示す. ショットの前半がペルソナ, 後半が対話である. ショットに与えるペルソナと対話は JPersona Chat の訓練データから5つ使用した. また, 情報量が少なくつまらない応答となることを避けるため, 生成した応答の長さが短い場合にはその応答の続きとなる文を生成する.具体的には, 生成した応答が 12 文字 (事前の観察に基づく) 以下の場合, 図 4 のショットを図 5 のように変更し, 追加の文を生成する. そして, その文を元の応答に繋げて最終的な応答とする。

## 3 実験

## 3.1 実験設定

本稿で使用した HyperCLOVA のパラメータ数は 39B で, 1.8TB の日本語データで学習を行っている.埋め込み表現を入手するためには Universal Sentence Encoder [8]を用い,コサイン類似度を計るためには FAISS [9] を用いた. データセットは JPersona Chat を用いる. このデータは Persona Chat を日本語に変換
クローバのペルソナ : 私は早起きが苦手です。私は高校生です。私はピーマンが嫌いです。私はおばあちゃん子です。私は陸上部に入って
います。

ユーザのペルソナ: 私は以前、沖縄に住んでいたことがあります。私は海のそぞに售んでいます。私はダンスが得意です。私は怒りっぽいです。私が尊敬する人は、母親です。

ユーザ：そうなんだ！近いね！わたし、沖縄に住んでたことがあるんだけど、この辺も似てるね。

クローバ: そうなんだね。

[続き] じゃあここでは沖縄気分が味わえるわけだ。

ユーザ：うん。ちょっとだけだけど、そんな感じがするよ！ところで、

わたし、ダンスが得意なんだけど、あなたは何が得意？

クローバ: 私は陸上部だから、走るのが得意かな。

[続き]短距離走よりも長距離走が自信ある。

図 5 複数文を生成するプロンプトに与えるショット例.

したデータセットで, 話者同士のペルソナと最大 6 ターンの対話が含まれている. データの分割は元の分割方法 ${ }^{1)}$ に従い, テストデータを用いて応答を生成し実験を行った. 実験は以下のモデルで比較を行う.

BlenderBot ベースラインの Transformer ベースのペルソナ対話システム [3]. 事前学習に加えて JPersona Chat の訓練データで fine-tuning を行っている [10].

w/o Persona 対話履歴のみを利用して HyperCLOVA で応答を生成するモデル。

w/ Persona 対話履歴と初めに与えられたペルソナを利用して HyperCLOVA で応答を生成するモデル.

以下のモデルが提案手法を利用したモデルである.

Extract w/ Persona に加えて, 2.1 節のペルソナの抽出を行ったモデル.

Extract+Select Extract に加えて, 2.2 節のペルソナの選択を行ったモデル。

Extract+Select+Update Extract+Select に加えて, 2.3 節のペルソナの更新を行ったモデル.

応答生成時には, 自分のペルソナとそれまでの対話履歴を用い, 相手のペルソナは使用していない. 対話履歴はベースライン手法の BlenderBot と合わせるために直前の 3 発話を入力に加えた.

## 3.2 自動評価

評価指標は応答と正解文との一致度を測るために BLEU [11], 応答の多様性を測るために Dist-1, Dist-2 [12] を使用する。一貫性を測るための指標としては, 生成した応答とペルソナの間で自然言語推論 （NLI）を行うことによって導出される Consistency Score (C.Score) [13] がある. しかし, 手法によって推論の対象となるペルソナの数が大きく異なることから, 従来の方法で比較することはできない. よって本
表 1 自動評価結果

表 2 人手評価結果

稿では,生成した応答が生成のために用いた自分のペルソナを含意/中立/矛盾している割合を NLI 分類器で評価する. NLI 分類器には, 日本語で学習された BERT $^{2)}$ [14] を NLI データセットで fine-tuning したモデルを用いた. NLI データセットとしては発話とペルソナのペアで構成される DNLI [15] を用いるのが本稿の設定には適しているが, 日本語ではないため, 本稿では日本語で記述された SNLI [16] である JSNLI [17]を用いた. JSNLI はテストデータを提供していないため, 元の訓練データを訓練データと検証データに分割し, 元の検証データをテストデータとした. 正解率は $92.31 \%$ であった.

結果を表 1 に示す. 従来のペルソナ対話システムの手法を大規模汎用言語モデルに適応させた w/ Persona はべースラインである BlenderBot より含意の割合が高く, 矛盾の割合が低いことから一貫性がある応答生成を行うことを確認した. 抽出などの提案手法を利用したモデルは $\mathrm{w} /$ Persona と比較して Dist-1, Dist-2 の値が高いことから, Dull Response と呼ばれるつまらない応答ではなく, ペルソナを考慮した応答を生成している割合が高いと考えられる. それにより, 含意の割合が増加している一方で矛盾の割合も増加している。

## 3.3 人手評価

長期間行われる対話の一貫性は自動評価だけでは十分に測ることができないため, データセットの続きとなる対話を行い, その応答に対して人手評価を行った. 具体的には, テストデータからランダムに 10 対話を選び, その対話から 1 週間後の対話を想定して 10 ターンの対話を行った. 3 つのモデル
^{2)}$ https://huggingface.co/cl-tohoku/ bert-base-japanese-v2
}

(BlenderBot, w/ Persona, Extract+Select+Update) で対話のそれぞれの応答を評価した. 評価指標は関連性と一貫性の 2 つで, 関連性は前の発話またはペルソナと関連性のある応答ができているかを示す.一貫性は生成した応答が対話履歴とペルソナに矛盾していないかを示す. それぞれ 3 段階で 1 点 (悪い) から 3 点(良い)を付与した. その平均点を最終的な結果とし表 2 に示す.

評価結果から, 提案手法は関連性,一貫性ともに最も高いスコアを得られ, 提案手法が有効であることを確認した. 今回の実験では, 提案手法以外のモデルは新しいペルソナの発生や, 初めに与えられたペルソナからの変化を考慮できなかった可能性がある.

## 3.4 ペルソナの抽出の評価

表 1 の結果から, ペルソナの抽出を利用したモデルは $\mathrm{w} /$ Persona と比較して矛盾の割合が増加したので, ペルソナの抽出の性能を人手で評価した. テストデータからランダムに 100 件の発話を選び, 抽出したペルソナが正しいかを二値で判定した. その結果,正しく抽出されたのが 71 件, 誤って抽出されたのが 29 件となった. ペルソナの抽出は対話履歴の全発話に対して行うので, 対話の長さが長くなれば全抽出結果が正しい確率が低くなることから, 抽出性能が十分であるとは言えない. 抽出の性能を改善することで提案手法の性能も向上することが予測される.

## 4 おわりに

本稿では，一貫性がある対話を行うにはペルソナを動的に「抽出」・「選択」・「更新」する必要があるという仮説の元, 大規模汎用言語モデルを利用してシステムを設計した. 評価実験の結果, 提案手法は初めに与えられたペルソナのみを利用したモデルより高い一貫性スコアを得られ, 提案手法の有効性を確認できた. しかし, 提案手法は大規模汎用言語モデルに依存した実装やタスク設計になっており,特に精度面で不十分な部分があったので, 今後はその改善に取り組んでいきたい。

## 参考文献

[1] Boseop Kim, HyoungSeok Kim, Sang-Woo Lee, Gichang Lee, Donghyun Kwak, Jeon Dong Hyeon, Sunghyun Park, Sungju Kim, Seonhoon Kim, Dongpil Seo, Heungsub Lee, Minyoung Jeong, Sungjae Lee, Minsub Kim, Suk Hyun Ko, Seokhun Kim, Taeyong Park, Jinuk Kim, Soyoung Kang, Na-Hyeon Ryu, Kang Min Yoo, Minsuk Chang, Soobin Suh, Sookyo In, Jinseong Park, Kyungduk Kim, Hiun Kim, Jisu Jeong, Yong Goo Yeo, Donghoon Ham, Dongju Park, Min Young Lee, Jaewook Kang, Inho Kang, Jung-Woo Ha, Woomyoung Park, and Nako Sung. What changes can large-scale language models bring? intensive study on HyperCLOVA: Billions-scale Korean generative pretrained transformers. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 3405-3424, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[2] Saizheng Zhang, Emily Dinan, Jack Urbanek, Arthur Szlam, Douwe Kiela, and Jason Weston. Personalizing dialogue agents: I have a dog, do you have pets too? In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2204-2213, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[3] Stephen Roller, Emily Dinan, Naman Goyal, Da Ju, Mary Williamson, Yinhan Liu, Jing Xu, Myle Ott, Eric Michael Smith, Y-Lan Boureau, and Jason Weston. Recipes for building an open-domain chatbot. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, pp. 300-325, Online, April 2021. Association for Computational Linguistics.

[4] Haoyu Song, Yan Wang, Kaiyan Zhang, Wei-Nan Zhang, and Ting Liu. BoB: BERT over BERT for training personabased dialogue models from limited personalized data. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 167-177, Online, August 2021. Association for Computational Linguistics.

[5] Jing Xu, Arthur Szlam, and Jason Weston. Beyond goldfish memory: Long-term open-domain conversation. arXiv preprint arXiv:2107.07567, 2021.

[6] 吉田快, 品川政太朗, 須藤克仁, 中村哲. 応答履歴に応じたペルソナの更新が対話システムの応答生成へ与える影響の分析. 人工知能学会研究会資料言語・音声理解と対話処理研究会, Vol. 93, pp. 32-37, 2021.

[7] Tom B Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, et al. Language models are few-shot learners. arXiv preprint arXiv:2005.14165, 2020.

[8] Daniel Cer, Yinfei Yang, Sheng-yi Kong, Nan Hua, Nicole Limtiaco, Rhomni St John, Noah Constant, Mario Guajardo-Céspedes, Steve Yuan, Chris Tar, et al. Universal sentence encoder. arXiv preprint arXiv:1803.11175,
2018.

[9] Jeff Johnson, Matthijs Douze, and Hervé Jégou. Billionscale similarity search with gpus. arXiv preprint arXiv:1702.08734, 2017.

[10] Hiroaki Sugiyama, Masahiro Mizukami, Tsunehiro Arimoto, Hiromi Narimatsu, Yuya Chiba, Hideharu Nakajima, and Toyomi Meguro. Empirical analysis of training strategies of transformer-based japanese chit-chat systems, 2021.

[11] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[12] Jiwei Li, Michel Galley, Chris Brockett, Jianfeng Gao, and Bill Dolan. A diversity-promoting objective function for neural conversation models. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 110-119, San Diego, California, June 2016. Association for Computational Linguistics.

[13] Andrea Madotto, Zhaojiang Lin, Chien-Sheng Wu, and Pascale Fung. Personalizing dialogue agents via metalearning. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 5454-5459, Florence, Italy, July 2019. Association for Computational Linguistics

[14] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[15] Sean Welleck, Jason Weston, Arthur Szlam, and Kyunghyun Cho. Dialogue natural language inference. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 3731-3741, Florence, Italy, July 2019. Association for Computational Linguistics.

[16] Samuel R. Bowman, Gabor Angeli, Christopher Potts, and Christopher D. Manning. A large annotated corpus for learning natural language inference. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 632-642, Lisbon, Portugal, September 2015. Association for Computational Linguistics.

[17] 卓見吉越, 大輔河原, 禎夫黒橋. 機械翻訳を用いた自然言語推論データセットの多言語化. Technical Report 6, 京都大学, 京都大学/現在, 早稲田大学, 京都大学, jun 2020

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 文章ジャンルに基づくテキストマイニング結果の比較考察

落合由治 ${ }^{1}$ 曾秋桂 ${ }^{1}$ 王嘉臨 ${ }^{1}$ 葉夌
${ }^{1}$ 台湾・淡江大学日本語文学科 \{098194, ochiai, 137176, 152790\}@mail. tku. edu. tw

## 概要

2018 年から AI 情報処理の進歩に合せ, 台湾での人文社会系日本語関係学科および日本語教育での, 研究と教育内容への接続を目指す試みを種々,行っている. その中で, 研究面ではテキストマイニング技術を人文社会系資料の読解また要点や論点抽出に応用する取り組みを各種のテキストを用いて試行してきた. その結果, テキストの文章ジャンルの相違によって抽出できる特徴に大きな違いがあることが分かってきた. また, その文章ジャンルによる特徴は言語の相違を超えて共通性があり, 言語類型論などによる文レベルの言語の差異とは異なっていることが分かった. しかし,これらは対象とする言語資料に関する質的理解と相即的な結果で, 対象資料の質的特徴が分からないままテキストマイニングの結果のみを見ても, 有意義な特徵抽出は得られない. なぜ,こういう結果のかについて, 新しい言語表現の特徴を捉える必要があると考えられる。

## 1 はじめに

テキストマイニングは, 言語資料の特徴抽出手法のひとつで, 計量言語学や言語をデータとして扱う各種の分野では, 言語の特徴量を見出す手法として応用されてきた [1]. 一方, 社会科学分野では, 資料から有意義な表現特徴を数理的に取り出す手法として広く応用され, 現在では, BI ツールとしてビジネスでも広く活用されるようになっている［2].しかし, 質的方法を中心にしている人文社会系での応用は限定的であり, 人文社会系の質的言語資料読解との接続は難しかった. 論者たちは, 2018 年から AI 情報処理の進歩に合せ, 台湾での人文社会系日本語関係学科および日本語教育での研究と教育内容への接続を目指す試みを実施する中で, 研究面でテキストマイニング技術を人文社会系資料の読解また要点や論点抽出に応用する取り組みを各種のテキストを用いて試行してきた. 本発表では, その結果明らかになったテキストの文章ジャンルの相違によって抽出で
きる特徴に大きな違いがあること, その文章ジャンルによる特徴は言語の相違を超えて共通性があること, 対象とする言語資料に関する質的理解と相即的な結果であることの三点について述べ,テキストマイニングによる言語資料の特徴抽出の課題について考察していきたい.

## 2 日本語の文章ジャンルによる結果

まず,テキストマイニングはテキストの文章ジャンルの相違によって抽出できる特徴に大きな違いがある点について述べる. 現代社会で一般に広く読まれている日本語の文章ジャンル例として, 小説, 論説,韻文を選び, 現代小説は村上春樹「ドライブマイカ一」, 論説は読売新聞社説「データ流通世界の成長加速するルールに 2021/12/26」，詩にはアニメソング「planetarian一ちいさなほしのゆめ」を取り上げた.テキストマイングには樋口耕一 (2020)の KH Coder を使用し, 分析方法は共起ネットワークを用いた [3].以下,結果の要点を紹介する.

図 1 日本語現代小説の結果

まず, 現代小説では語の出現頻度に左右されて人物名とその物語中での動きに関する語が作品の部分ごとに多数出て, 読解で重要な出現頻度の低い語彙は質的読解を事前にしない限り十分取り出せない.

図 2 日本語論説の結果

図 3 日本語歌詞の結果

一方, 論説である社説の場合は, 図 2 のように内容の要点を示す語彙群を関連性のあるクラスターとして容易に抽出でき, 各クラスターを見るだけで, 内容をほぼ推測できる. 最後に, 歌詞の場合では, 韻文中で反復される,いわゆるリフレーン部分にあたるような語彙群が主に抽出され, 歌詞の重要なモチーフを理解する手掛かりになるが, それ以外の部分は読解しない限り抽出しにくい. 分析結果の理解容易性で見ると (易) 論説 $>$ 韻文 $>$ 小説（難）の順になり，言語表現のジャンルという文章構成的差異に応じて,抽出結果に質的差異が存在すると考えられる。

## 3 外国語文章との分析結果比較

次に, 日本語文章の分析結果と, 外国語文章の分析結果を比較して考察する. 外国語文章の例は, 華語の例に, 現代小説は金庸「書剣恩仇録」, 論説は自由時報社説「不要見不得台灣好 2021/12/27」,詩には五月天「温柔」, 英語の例に, 現代小説は Philip K. Dick 「Second Variety」,論説は朝日新聞「Draft budget shows lack of focus, no fiscal discipline 2021/12／25」,詩には『アナと雪の女王』「Let it go」を取り上げた. 以下, 順に結果を見ていく.

## 3.1 華語と英語の小説の場合

図 4 華語現代小説の結果

図 5 英語現代小説の結果

華語の結果でも日本語の場合と同じく, 現代小説では語の出現頻度により人物名とその物語中での動きに関する語が作品の部分ごとに多数出て, 読解で重要な出現頻度の低い語彙は質的読解を事前にしない限り十分取り出せない. テキストマイニングだけでは, ストーリーや背景を理解する手掛かりは得られない. 英語の場合も同じで, 主な登場者とその動きを描く語彙が中心になり, 部分で出ている小さなク

ラスターのとの関係は明確にはならず,ストーリー を把握し, 作品読解の重要なキーワードを決めるには, 事前の十分な読解が必要である. 小説のような文章構成は, 特定の時の持続の中で登場者の動きを描写する部分が中心になり, その前後や内部に, さまざまな説明を行う要素が入った枠構造をなしている場合が多く [4], 質的に異なる表現で構成された文章はテキストマイニングの方法では十分に要点を抽出できないと考えられる.

## 3.2 華語と英語の論説の場合

図 6 華語論説の場合

図 7 英語論説の結果

次に, 華語と英語の論説の結果を比較してみると,日本語の論説の場合と同じく,論説中の要点を示す語群がそれぞれクラスターとして大きなまとまりで抽出されて, 各部分の内容を容易に理解できる. 論説は, 語の階層化構造による各概念のネットワークがあり,こうした構造を用いて各部分で複数の話題の焦点を作ることにより論点が生まれる文章構成と考えられるので，[5]テキストマイニングによって，各部分の要点を容易に取り出すことができると言える.論説ジャンルの文章は, 最もテキストマイニングに向いている資料となる. 論説ジャンルは、作者の意見を書いたもので、インターネットの消費者の意見、各種のエッセイ、論文、解説、説明など、作者の意見を述べた類の、このジャンルに含まれる文章はテキストマイニングなど数理的手法で容易に特徴を抽出できると言える。

## 3.3 華語と英語の詩の場合

図 8 華語歌詞の結果

図 9 英語歌詞の結果

最後に, 華語と英語の歌詞の結果を比較してみると,これも日本語の場合と同じく, 詩の中で反復して用いられている語彙がクラスターのまとまりになって抽出された。いわゆるリフレーンに当たる部分に出てくる語彙が多く, その部分を詩の中心モチーフ

と理解する手掛かりになる.

しかし, それ以外の部分の語彙は断片的で, そのままでは内容理解の手掛かりにはならない. 韻文は,現代詩の場合, 各部分の各連がリフレーンに当たる反復される部分に收斂し, どの部分も基本的に同じ收斂部分を持つことで構成されている文章構成と考えられるので [5], 反復される收敛部分はテキストマイニングの手法には適している. しかし, その收斂部分に到る各部分の内容は, 抽出しがたい.

## 3. 4 各言語を超えた文章ジャンルの共通性

以上の結果を分析結果の理解容易性で見ると，日本語と同じく華語, 英語でも (易) 論説＞韻文>小説

(難) の順になる.このことから, 文章表現のジャンルという文章構成の差異に応じて, 抽出結果に質的差異が各言語の形式的文法的差異を超えて, 存在すると考えられる.つまり, 各言語の形式的文法的差異を超えて, 文章構成の質的差異による文章ジャンルがそれぞれあり, それは今回取り上げた三言語では共通した構成であると推測できる.テキストマイニングの有効性の相違は, 各言語の差異には拠らず, 文章構成の差異によって決まっている可能性があると考えられる。

今回は, 特に人文社会系でテキストマイニングを応用して質的量的研究を行うことを念頭に [6], 文章ジャンルごとで結果の比較をおこなった. 人文社会系でテキストマイニングを応用する場合は, 元々の基本的研究方法である質的研究を前提に応用をおこなえば, 質的量的研究に寄与できる可能性が十分にあることが分かった.

一方, 広汎な言語資料を対象にした自然言語処理においては, 言語一般という前提が成り立つのは, 文章ジャンルが関係しないレベルでの言語の規則性についてではないかという問題提起ができるかもしれない. そして, 意味的処理やさらに高度の多義的処理を扱う場合には, 語レベルでの問題を超えた文章レベルの文章ジャンルごとの問題が存在していることを視野に入れて, 処理をデザインしていくことで, 今まで解決できなかった問題を乗り越えられる可能性があると考えられる。［7]

また, 言語の問題として, 各言語の形式的文法的差異を超えて, 文章ジャンルが具体的な言語運用を規定している可能性があることを考えられる. はたして文章レベルの言語規則とは何であるのか, 今まで意識されてこなかった言語表現の問題が存在してい
るのではないか,こうした課題も新たに浮上してくると思われる。

どのように新しい問題の圈域を扱っていくか, 今後の探究をおこなっていきたい.

## 4 おわりに

人文社会系分野で AI 技術に接続できる部分を探りながら, 手掛かりとしてテキストマイニングの有効性と限界という視点を得たことで, 文章ジャンルによる言語表現の規定という, 今までの研究では, 主題化しにくかったテーマが見えてきた. 文章ジャンルの問題は、1950-70 年代までは関心を集めた分野であったが、現在は自明視されて扱われることはほとんどない。こうした問題をどう考えるか、言語研究などの分野で新しい視点を提出していかなくてはならない。同時に、こうした言語の特徴を自然言語処理の特徵抽出の問題として考えるなど, 自然言語処理の面からもアプローチできるか探求しながら，新しい問題の探索を続けて行きたい.

## 謝辞

本研究は台湾科技部研究案 109-2410-H-032 -061 MY3 の助成を受けたものです.

## 参考文献

1. 計量言語学会篇. データで学ぶ日本語学入門. 東京 : 朝倉書店, 2017.

2. IT トレンド.【図解】BI ツールとは? 機能や目的、種類などわかりやすく徹底解説！ IT トレンド. (オンライン) 2021 年 9 月 22 日. (引用日: 2021 年 12 月 27 日.) https://it-trend.jp/bi/article/explain.

3. 樋口耕一. 社会調査のための計量テキスト分析第 2 版. 京都：ナカニシヤ出版, 2020 .

4. ジェラルド・プリンス. 物語論辞典. 東京 : 松柏社, 1997 .

5. 永尾章曹. 国語表現法研究. 東京：三弥井書店, 1975.

6. ウド・クカーツ. 質的テキスト分析法. 東京：新曜社, 2018.

7. 北原保雄（監修）佐久間まゆみ（編）。朝倉日本語講座新装版 7 文章・談話. 東京 : 朝倉書店, 2018 .


# 接辞「〜ング（-ing）」が外来語サ変動詞に与える意味役割 ${ ^{\dagger}$
}

南 亜希子

金沢大学大学院 人間社会環境研究科
}

akim373.1608@gmail.com
## 概要

本研究では接辞「〜ング (-ing) 」を取り上げ,外来語接辞が日本語の語彙に与える意味役割について検討を行う．分析では『国語研ウェブコーパス （NWJC）梵天版』のコーパスデータを用い， \{ポスト／ポスティング $\}$ する，\{タップ／タッピング $\}$ する，\{ブロック／ブロッキング $\}$ するの 3 組における共起語を比較した．その結果，いずれの例においても「〜ング」の有無によって共起語のジャンルが異なり, 特に「〜ング」付加形の方が専門用語としての使用が多い傾向にあると分かった. したがって「〜ング (-ing) 」には, 非付加形よりも語の使用範囲を区別・狭くする役割があると考える。

## 1 はじめに

日本語における外来語（カタカナ語）が難解であると叫ばれることは今に始まったことではないが， その原因の 1 つに外来語の意味理解が挙げられる. それらの問題の中には語の形態, 具体的には外来語接辞との関連もあると考える。例えば本稿で取り上げる「〜ング（-ing）」は，「現に〜している（すること）」というイメージ[1]が想起され外来語でも多用されているが，原語と借用後のカタカナ表記とで形態のずれが起こっている問題や，「〜ング (-ing)」付加の有無による意味の使い分けが明確になっていないという問題もある.

本稿では，外来語接辞「〜ング (-ing) 」が有する意味役割を，日本語コーパスにおける量的分析から検討する。

## 2 先行研究

「〜ング（-ing）」が付加する外来語サ変動詞について言及された研究は澤田やビタン, 国立国語研

澤田[2]では，原語において動名詞形を有するものが日本語に借用されても「〜ング（-ing）する」が付加しやすく，「\{*ブラシノブラッシング $\}$ する」 のように「〜ング」が付くことで具体物から何らかの行為を指す語へと変化される旨が示唆されている。加えてビタン[3]では，日本語に借用されている「〜 ング」が付加する外来語のうち, 原語（英語）において動詞としての意味が優先されている語の方が 「〜ング」が付加してサ変動詞化しやすいことを明らかにし, 日本語母語話者にとって「〜ング (-ing)」 が動作性を強めるために有用な接辞であると考えられている旨を示唆している。また国立国語研究所[4] では,「メジャーカップ (measuring cup// ${ }^{*}$ measure cup)」 や「ドライビングスクール (driving school// drive school）」などの語を例に挙げ，借用時に「〜ング」 が付加する語とそうでない語が混在しているにも関わらず，どのような語に「〜ング」が付加するかについては言及されていない点を指摘している.

以上のように，「〜ング (-ing) 」が付加する外来語（動詞形も含む）について言及された研究は散見されるものの，そもそも何故外来語に「〜ング」 の付加形と非付加形の両方が見られる場合があるか,「〜ング」が語に与える意味役割はどのようなものであるかは明らかになっていない。本稿では，「〜 ング」の付加形と非付加形の語双方を比較し，「〜 ング (-ing)」が有する意味役割について検討する.

## 3 分析方法

本研究では, 『国語研ウェブコーパス（NWJC）梵天版』のの「〜ングする」の検索結果を使用し， KH Coder による対応分析から対象語がどのような文脈や場面で使用される傾向にあるかを分析する。

『国語研日本語ウェブコーパス (NWJC)』とは, ウェブを母集団としてテキストの採取・構築が行わ

れた 100 億語規模のテキストコーパスである[5]. 本コーパスの母集団がウェブ資料であるゆえ，特定の語におけるレジスターや話者属性等が見えにくいという短所もあるが，NWJC の規模の大きさから他コ一パスでもヒット件数が少なかった（または 0 件であった）語のデータ収集も容易となる。また，『梵天』にて公開されていたデータの収集時期が 2014 年 10 月から 12 月と比較的新しいことから，より現在に近い言語使用状況が明らかになると考えた。なお, 検索には検索系『梵天』の品詞列検索を用い,検索画面から「『対象語〈表層形〉』+『動詞〈品詞 1 〉、サ行変格〈活用型 1 〉』」と検索した。 NWJC によるテキストデータの収集後は，KH Coderを用いた内容語iiのみの対応分析を行った. 対応分析を行うことによって, 複数群との間における抽出語の特徴語の相関を, 2 次元の散布図で視覚的に見ることが可能となっている[6]. 本研究では「〜 ング(-ing)」が付加する外来語とその非付加形を比較し, それぞれの語にどのような語が共起するか, その相違により「〜ング」にどのような意味役割を有するか，という観点から分析を実施した.

また対応分析に加えて，対象語のコロケーション統計も行なった. テキストデータを目視で確認したところ，対応分析の散布図では出現していないが

「〜ング」付加形と非付加形それぞれの語を特徴づけるために重要となり得る共起語が複数見られた.具体的な手順としては, 同ソフトウェアの KWICコンコーダンス機能から対象語の検索を以下の表 1 の通り行い, ダイス（Dice）係数が高い順にコロケー ション統計の集計 (集計範囲: 左 5 右 5)を行った.

表 1 KWIC コンコーダンスによるコロケー ションの抽出方法

} & & \multicolumn{3}{|c|}{ 追加条件 } \\

ii 本稿では KH Coder の分析機能で選択可能な品詞のうち，「名詞」「サ変名詞」「形容動詞」「数詞」「固有名詞」「未知語」「タグ」「動詞」「形容詞」「副詞」「名詞 B」「動詞 B」「形容詞 B」「名詞 C」が内容語に相当するとみなし, 分析対象とする.
なお，本研究で取り上げる「〜ング (-ing) する」及び「〜ング (-ing)」非付加形の動詞は，以下の 3 例である.

$\cdot$ $\quad\{$ ポスト $/$ ポスティング\} $\} る$

・\{タップ/タッピング $\}$ する

・ $\{$ ブロック/ブロッキング $\}$ する

## 4 分析結果

## 4.1 \{ポストノポスティング\ する}

NWJC の検索結果では，「ポストする」は 3679 件，「ポスティングする」は 2750 件出現した. 以下の図 1 に分析結果の散布図 (語の最小出現数 : 100) を示す.

図 1 \{ポスト/ポスティング\} するの対応分析結果

「ポストする」の共起語では，「コメント」「ブログ」「サイト」「エントリー」「投稿」「Twitter」「メール」など，インターネットに関する語が多く見られた。その一方「ポスティングする」では，「チラシ」「広告」「近所」「マンション」「地域」「ビラ」「作る」などの語が特徴的だと示された。以下の(1)(2)は，NWJC で出現した\{ポスト／ポスティング＼$するの例文である。 }$

(1) 尚、このエントリは FC2 ブログ, Seesaa ブログの両方にポストしています（『Sheep Track 2.2』，下線・波線は発表者による）

（2）DM 配布会社によっては指定した地域全てに， チラシや案内をポスティングする「全域配布」という配布方法もありますので，お近くの住宅地をターゲットに全域配布をかける

という手もあります

(『がんこおやじのブログ』)

## 4. 2 \{タップ/タッピング\ する}

NWJC の検索結果より,「タップする」 1000 件iii,「タッピングする」 812 件を分析した結果，以下の図2（語の最小出現数 : 40）のようになった.

図 2 \{タップ/タッピング $\}$ するの対応分析結果上図より,「タップする」は「選択」「画面」「アプリ」「ボタン」「アイコン」「入力」など，スマ ートフォンなどのタッチパネルを有する電子機器やその操作に関する共起語が見られた. また, 散布図における「タッピングする」では，「肌」「軽い」「ツボ」「顔」「指」など、マッサージの動作や美容に関する語が出現した。

加えて「タッピングする」では， ダイス係数も観察した結果，「ギター」「フレット」「ネジ」などの語も共起していた.これらはギター等の演奏技術「タッピング奏法」や，工具を使ってネジを締める

ック/ブロッキング\}するの NWJC データについては, 「〜ング」非付加形と付加形とのの語の件数に大きな差が生じていた. (「タップする」27022 件，「ブロックする」43029 件，「〜ング」付加形は本文で報告した件数と同じ）そのため，「夕ップする」「ブロックする」は『梵天』でデータを取得したのち, 1000 件のランダムサンプリングを行った上で分析を行なった. ランダムサンプリングでは，発表者自身で Excel を用いて取得デー 夕全文に RAND 関数で乱数を与え, 上位 1000 件 （降順）を抽出するという手法をとった。
}

こと[7]を指す「タッピング」を表すと考えられる。

「タッピングする」に特徴的な共起語一覧は, 以下の表 2 の通りである.

表 2 「タッピングする」に特徴的な共起語一覧

本節の内容を踏まえ，以下の(3)(4)に「\{タップ／ タッピング\} する」の例文を示す.

（3）スマートフォンサイトから地図を検索し，トイレアイコンをタップす扎地図上にアイコンが表示される仕組み

(ITmedia Mobile『スマホ版マピオンで「多機能トイレ検索サービス」がスタート』)

(4) 3回トントンとつけて後は肌にタッピングしていきます

(『ここあんの綺麗になる法則』)

## 4.3 \{ブロックノブロッキング\ する}

NWJC のテキストより「ブロックする」1000 件 iii,「ブロッキングする」996 件のデータで対応分析を行った。その結果の散布図（語の最小出現数 : 40) を以下の図 3 に示す.

図 3 \{ブロック/ブロッキング\} するの対応分析結果

上図の結果より，「ブロックする」では，スポー ツ（特にサッカー）やIT・インターネットにおける 「シュート」「メール」「機能」「アクセス」「攻
撃」などが共起した. また, ダイス係数を算出したところ，「花粉」「紫外線」「メラニン」なども特徵的な語として出現していた. 以下の表 3 に,「ブロックする」に特徴的な共起語を示す.

一方, 図 3 の散布図に出現した「ブロッキングする」の共起語は，「髮」「毛」「巻く」「抗体」「血清」「結合」「部分」「細胞」「サイト」などであった。以下の(5)（7)は「\{ブロック/ブロッキング $\}$ する」の例文である.

(5) SPF20・PA++あるので日常の柴外線はきちんとブロックしてくれるので安心できます (『キレイナビ』)

（6）髮を細かくブロッキングして、毛先が染まらないようにラップでくるんでゴムで留めてから染色したんだけど、かなり面倒くさかったです(汗)（『Happy little Vegemite』)

(7) 細胞は、60 時間 $70 \%$ エタノールで染色し、 PBS で三回洗浄し、そして 15 分間 5\%血清アルブミンでブロッキングした (ekouhou.net 『前立腺癌治療組成物及び前立腺癌治療組成物の有効成分のスクリーニング方法』)

## 5 考察

本研究の分析では, 接辞「〜ング (-ing) 」が有する意味役割を探るため，日本語コーパスにおける接辞付加の有無による共起語の相違を対応分析等で調查した. その結果, 3 例共通して「〜ング」付加の有無で共起語が異なっており，とりわけ「〜ング」付加形では, 特定分野における専門用語としての使用も散見された。

以上の結果を踏まえ, 日本語における外来語接辞「〜ング（-ing）」には，以下の役割を有すると考える。

## - 外来語接辞「〜ング (-ing)」が持つ意味役割の仮説 :

先行研究で指摘されてきた「動作性を強める」役割に加え, 非付加形の語と大まかな動作のイメージを共有しつつも，「〜ング (-ing)」の非付加形よりも語の使用範囲を区別・狭くする（特定の場面でしか使わ
れない語や専門用語として使われる傾向にある）。

今回取り上げた語では, 原語における動詞の意味が外来語にも借用されており，「〜ング」が付加していない状態でも「動作」の意味を既に有していると考えられる. それでも「〜ング」が付加する形が見られるのは, 先行研究でも示唆されていたように, 動名詞・動詞の意味を有する語と「〜 ング」との親和性が高いためであり. 今回の分析結果でも「〜ング」の役割の一つとして「動作性を強める」点を有することは否定出来ない。

そして, 「4 分析結果」の章にて 3 例の分析を行った結果, いずれの例も「〜ング」付加の有無によって文や共起語のジャンルが異なることが明らかとなった。本稿の事例を見ると，「\{ポストノポスティング\} する」では「投函・投稿する動作」，「\{タップ/タッピング\}する」では「（軽く) 卬く動作」，そして「\{ブロック/ブロッキング\}する」では「事物の阻害・遮断を行う動作」 を共有している。このような大まかな「動作」自体は「〜ング」付加の有無で大きく変化しないものの，使用される場面がそれぞれ異なることによって，「〜ング」には非付加形と語の使用範囲を区別させる役割があると考えられる。

## 6 おわりに

本稿では，外来語接辞が有する意味役割が明らかになっていないという課題から，「〜ング (-ing)」 を例にその検討を行なった。＼{ポスト／ポスティン } グ $\}$ する，\{タップ/タッピング $\}$ する，\{ブロックノブロッキング\}するの 3 例の共起語をそれぞれ検討した結果, 3 例全てに共通して「〜ング」付加の有無によって共起語のジャンルがそれぞれ乘離していた.この結果を踏まえて, 日本語の外来語における接辞「〜ング（-ing）」には，「動作性を強める」役割に加え、非付加形の語と大まかな動作のイメージを共有しつつも、「〜ング（-ing）」の非付加形よりも語の使用範囲を狭くする役割があることが示唆された。

最後に, 今後の課題として以下の 3 点を挙げたい.

・他ジャンルのコーパスにおける「〜ング

(-ing) 」の使用状況の調査
- 他の外来語接辞の事例検討
- 通時的観点からの調查

## 参考文献

1. コア理論で文法指導を(11) 文法の意味から状況の意味の構成へ! 一実践指導例(3) : 動詞の〜ing 形一. 佐藤芳明, 河原清志 ，田中茂範. 12 , 文京区：大修館書店, 2008 年, 英語教育, 第 56 巻, ページ: 52-54.

2. 日本語教育のための基本外来語について. 澤田田津子. 1, 奈良市 : 奈良教育大学, 1993 年, 奈良教育大学紀要 (人文・社会科学), 第 42 巻, ページ: 225-239.

3. 機能形態素-ing を含んだ外来語の形態・用法の特徵一「〜する」動詞化の可否をめぐって一. ビタンマダリナ. つくば市：筑波大学大学院博士課程人文社会系, 2016 年, 筑波日本語研究, 第 20 巻, ペー ジ: 50-74.

4. 国立国語研究所. 日本語教育指導参考書 16 外来語の形成とその教育. 東京都北区：国立国語研究所, 1990. http://doi.org/10.15084/00001840.

5.『国語研日本語ウェブコーパス』とその検索系『梵天』. 浅原正幸, ほか. 2 , 千代田区 : 情報処理学会, 2018 年, 情報処理学会論文誌, 第 59 巻, ページ: 209-305

6. 樋口耕一. 社会調査のための計量テキスト分析一内容分析の継承と発展を目指して一. 第 2 版. 京都市 : ナカニシヤ出版, 2020.

7. 三省堂編修所(編).コンサイスカタカナ語辞典.

第 5 版.千代田区：三省堂書店, 2020.


# 分散表現を用いたロマンス語同源語動詞の意味変化の分析

川崎 義史 ${ }^{1}$ Maëlys Salingre ${ }^{1}$ Marzena Karpinska ${ }^{2}$ 高村 大也 ${ }^{3}$ 永田 亮 $^{4}$
${ }^{1}$ 東京大学 ${ }^{2}$ University of Massachusetts Amherst ${ }^{3}$ 産業技術総合研究所 ${ }^{4}$ 甲南大学
ykawasaki@g.ecc.u-tokyo.ac.jp m_salingre@phiz.c.u-tokyo.ac.jp mkarpinska@cs.umass.edu
takamura.hiroya@aist.go.jp nagata-nlp2022@ml.hyogo-u.ac.jp.

## 概要

ロマンス語とは，ラテン語から派生した姉妹言語の総称である。ロマンス諸語には，語源を共有する同源語が数多く存在するが，意味や用法が異なるものもある。本稿では，ロマンス語のうち仏伊西の動詞に焦点を絞り, 意味変化の大きさと, 言語内要因の関係を統計的に分析した。意味変化の大きさは単語の分散表現で測定した。分析の結果, 意味変化の大きさには, ロマンス語の頻度, ラテン語の多義性, ロマンス語の単語長が影響することが判明した。

## 1. はじめに

ロマンス語とは，イタリア語, スペイン語, フランス語, ポルトガル語など, ラテン語から派生した姉妹言語の総称である[1]。ロマンス諸語には, 語源を共有する同源語が数多く存在する。例えば, Lat. habere 'to have' は, Fr. avoir, It. avere, Sp. haber に対応する。しかし, イタリア語・フランス語では元々の「持つ」という意味を保持している一方，スペイン語ではこの意味は失われ, 専ら完了時制を形成する助動詞として使用される。このように, 語源的関係はあるものの，意味や用法が異なる場合がある。

本稿の目的は, ロマンス語のうち仏伊西の動詞に焦点を絞り, 意味変化の大きさと, 頻度や多義性などの言語内要因の関係を統計的に分析することである。計算的手法による通時的意味変化の検知は近年大きな注目を集めている[2], [3]。意味変化には，社会文化，政治状況，技術革新など言語外的要因も働くが[4]-[6], 本稿では扱わない。意味変化の大きさの測定には, その検出能力が知られている単語の分散表現を利用した[2], [3], [7], [8]。分析対象を動詞に限定したのは, 名詞や形容詞よりも動詞の方が意味変化を受けやすく[8]，検知しやすいと考えたためである。

本研究の寄与は，次の 3 点である。まず，意味変化の大きさには，ロマンス語の頻度，ラテン語の多義性，ロマンス語の単語長が影響することを示した点である。2 点目は，ラテン語の語源の頻度と多義性など，先行研究では考慮されていない変数を導入した点である。 3 点目は，ロマンス語同源語ペアの平均頻度の算出には, 算術平均よりも調和平均の方が適していること示した点である。ここで，ロマンス語同源語ペアとは，仏・西ぺアの avoir-haber のように，共通のラテン語の語源を持つロマンス語の単語ペアのことを指す。

本稿の構成は次の通りである。2 節でデータの説明，3 節で実験結果の報告，4 節で考察を行い，5 節で結論と今後の課題を述べる。

## 2. 分析方法

分散表現学習用のデータとして, 各言語, 2018 年 12 月時点の Wikipedia ダンプを使用した。まず， TreeTagger でレンマ化し，イタリア語・スペイン語は Wikiextractor で，フランス語は Wiki-cirrus でクリ一ニングを行った。単純のため, 同綴異義語の区別はしていない。

分散表現の学習は, gensim [9]の word2vec で行った ${ }^{i i}$ 。vector_size $=600$, min_count $=50$ とし, それ以外のハイパーパラメータはデフォルトの設定にした。 ロマンス語同源語ペアの類似度を測るためには， いずれかの言語のベクトル空間に，他の 2 言語の分散表現を写像する必要がある。写像は，シード語ぺアの二乗誤差の和が最小になるように線形変換により行った [10]。シード語ぺアはバイリンガル辞書 MUSE の supervised バージョンから抽出した ${ }^{\mathrm{iii}}$ 。動詞はシード語から除外した。いずれの言語ペアの組み合わせでも，シード語の数は約 1 万語となった。後述の分析に，写像先の言語による大きな影響は見られなかった。以下の説明では，イタリア語・スペイ

iii https://ai.facebook.com/tools/muse/

ン語がフランス語の空間に写像されたものとする。分析対象は，仏伊西いずれかの言語のデータにおいて最頻動詞上位 300 に含まれるものとし，合計で 493 組となった。これらのうち, 3 言語全てに同源語が存在し, 後述のラテン語の頻度と多義性の数を取得できたのは, 270 組だった。同源語の同定は, 各

語の頻度と多義性は, それぞれ, PhiloLogic4v と Oxford Latin Dictionary[11]から取得した。

## 3. 実験

ロマンス語同源語ペアの類似度は,コサイン類似度で測った。類似度が低い（高い）ほど，意味変化の度合いは高い（低い）とみなした。表 1 は，類似度が最大・最小となる仏・西ぺア各 5 組を示している。

表 1 類似度が最大（上段）・最小（下段）となる仏・西ペア各 5 組

 & constuir 'id. vi' & 0.87 \\

本稿では，ロマンス語同源語ペアの類似度を目的変数, 下記の 6 つの言語学的変数を説明変数として線形回帰分析を行い, 意味変化に影響する変数を特定した。意味変化前の変数は, ラテン語の頻度と多
^{v} \mathrm{http} / /$ artflsrv02.uchicago.edu/cgi-

$\mathrm{bin} /$ perseus/LatinFrequency.pl?author $=\&$ title $=\&$ genre $=\&$ editor $=\&$ language $=$ NOT + English\&displaymorethan $=10 \&$ displayless
}

義性である。この 2 変数の導入は，本稿の新規性の一つである。意味変化後の変数は，ロマンス語同源語ペアの頻度，単語長，ノルムである。ペアの片方 [12]ではなく両者の頻度の勘案, 単語長とノルムの導入も新規性である。もら一つの新規性は，編集距離の導入である。この変数は，ラテン語の語源とロマンス語との表記上のずれを表す。本来は，音声の比較が望ましいが, 簡単のため, 表記の比較とした。

- ラテン語の頻度 (FREQ_LAT）：PhiloLogic4 から取得した, ラテン語の語源の 1 万語あたりの頻度を対数変換したもの。

- ラテン語の多義性 (POLY_LAT)：[11]に掲載されているラテン語の語源の意味の見出し数。

- ロマンス語同源語ペアの頻度（FREQ_ROM）：ロマンス語同源語ペアの各言語データ内での相対頻度（例えば，Fr. avoir と Sp. haber の各言語での相対頻度）の調和平均を対数変換したもの。

- ロマンス語同源語ペアの単語長 (LEN_ROM)：ロマンス語同源語ペアの各々に含まれる文字数の算術平均。

- ロマンス語同源語ペアのノルム（NORM_ROM）： ロマンス語同源語ペアの各々の分散表現のノルムの算術平均。

- ラテン語の語源とロマンス語同源語ペアとの編集距離 (EDIT）: ラテン語の語源 $l$ とロマンス語同源語ペア $\left(r, r^{\prime}\right)$ の各々の編集距離 $e \operatorname{dit}(\cdot)$ を単語長|||で正規化したものの平均 (3.1)。

$
\frac{1}{2}\left(\frac{e \operatorname{dit}(r, l)}{\frac{(|r|+|l|)}{2}}+\frac{e \operatorname{dit}\left(r^{\prime}, l\right)}{\frac{\left(\left|r^{\prime}\right|+|l|\right)}{2}}\right)
$

比較対象は不定詞とした。ロマンス語の母音のアクセント記号等は削除した (例えば, á やàは a に統一した）。子音に関しては，スペイン語の ñやフランス語の ç などラテン語には存在しないものや, ロマンス語とラテン語で音価の異なるものがあるが (Lat. citare [k] 'to set in motion', Sp. citar [ $\theta$ ] 'to cite'），単純のためにそのまま扱った。ラテン語の形式受動相動詞[13]の不定詞は，対応する活用の能動相で想定される形とし

than $=10000000 \&$ sortby $=$ decreasingFreq \&searchby $=$ searchbyle $\mathrm{mma}$ （2021 年 1 月 28 日アクセス）。現在, サーバ更新のため，頻度リストの取得ができないようである。 vi Id. (idem) は, 意味がフランス語のそれと同じことを表す。

た (Lat. jocari 'to joke' > jocare）。不定詞の語尾が特殊な esse 'to be', ferre 'to carry', velle 'to want'等は，そのままの形を使用した。

変数は全て平均 0 , 分散 1 になるように標準化した。付録の図 1 に, 仏・西同源語ペアの類似度

（SIM_FR_SP）と説明変数の散布図と相関係数を示す。FREQ_LAT と POLY_LAT には大きな相関 (0.72) があるが，Variance Inflation Factor が 3 以下なので， そのまま使用した。AIC による变数選択の結果, NORM_ROM を除く, FREQ_LAT, POLY_LAT, FREQ_ROM, LEN_ROM, EDIT $の 5$ 変数を説明変数とするモデルが最良と判断された。表 2 に回帰分析の結果を示す。FREQ_LAT と EDIT 以外の 3 変数が有意水準 0.01 で統計的に有意となった。標準偏回帰係数は, FREQ_ROM (0.66) と LEN_ROM (0.20) が正, POLY_LAT (-0.24) が負となった。回帰係数の絶対値が大きい FREQ_ROM は, ペア類似度の予測に大きく寄与する。自由度調整済決定係数は 0.49 となり，全分散の約半分を説明していることになる。

表 2 仏・西ペアの類似度を目的変数とした回帰分析の結果 $(\mathrm{N}=270$, 自由度調整済決定係数 $=0.49 ）$ 。 AIC により変数選択を行った。*は有意水準 0.01 での統計的有意を表している。

## 4. 考察

回帰分析の結果に基づき, 意味変化と各変数との関係について, 関連研究と対照しながら考察を行う。

## 4. 1. 頻度

他の条件が一定ならば，ロマンス語における頻度 （FREQ_ROM）が大きいほど，ロマンス語ペアの類似度が高い, つまり, 意味変化が生じにくい傾向が確認された。要因として, 頻度が高いほど, 語と意味の結びつきが弱化しにくいことが考えられる[14]。 この結果は，ロマンス語の同源語に関する先行研究 [12]とは反対の結果となった。これは, 本稿が動詞のみに注目しているのに対し， [12]は品詞の区別をしていないことに起因している可能性がある。品詞ごとに異なる振る舞いを見せる可能性もあるため，今後, 動詞以外の品詞の分析が必要である。一方で,本稿の結果は，英語の通時的意味変化の分析結果と一致する[15]。しかしながら，ロマンス語の頻度は意味変化後のものなので，観察された頻度の大小が意味変化の結果なのか原因なのかは判然としない。

調和平均の代わりに算術平均を用いると, 自由度調整済決定係数が 0.49 から 0.14 へ大幅に低下した。調和平均は，ペアの頻度がどちらも大きい場合にのみ大きくなり，ぺアのいずれかが低頻度の場合は小さくなる。この性質が， ぺアの片方のみで意味変化が生じた結果，類似度が低下し，且つ，その頻度が増加（減少）した現象を上手く捉えている可能性がある。例えば, 仏・西ぺアの pondre-poner (< Lat. ponere 'to put') では, Fr. pondre 'for a bird to lay egg' は意味が特殊化[16] し低頻度語になった一方, Sp. poner 'to put’ は, ラテン語の語源と同様, 高頻度語のままである。実際に，このぺアの類似度は 0.08 と著しく小さい。このような場合, 調和平均の方が算術平均よりも小さくなるため，類似度と頻度の関係を捉えるのにより適していると考えられる。

## 4. 2. 多義性

他の条件が一定ならば，ラテン語の多義性 （POLY_LAT）が大きいほど, ロマンス語ぺアの類似度が低い，つまり，意味変化が生じやすい傾向が確認された。これは，多義性と意味変化に正の相関を見出した[12], [15]の知見と一致する。本稿の新規性は, 意味変化前のラテン語の多義性を考慮した点である。[12], [15]では, 意味変化後の現代語の多義性を使用している。この変数は, 分散表現と同じべクトル空間上の最近隣語のクラスタ係数として定義されている。しかし, この係数はデータ内の頻度と大きな相関があるという問題点がある[5]。本稿では，分散表現と独立に，しかも変化前の多義性を使用しており, より健全な分析となっている。

なぜ多義性が意味変化につながるのだろうか? 複数の意味を持つ語の場合, 仮に意味変化の割合が一定だとしても, 言語 1 では意味 A が, 言語 2 では別の意味 B が優勢になる可能性が高いことが考えられ

る。例えば, Lat. trahere 'to drag' には 22 の意味があるが, 各言語で固有の意味変化が起きた結果（It. trarre 'to draw', Fr. traire 'to milk', Sp. traer 'to bring'), ペア間類似度は低くなる：Fr. traire - Sp. traer (0.13), Fr. traire - It. trarre (0.16), It. trarre - Sp. traer (0.21)。

## 4. 3. 単語長

他の条件が一定ならば，単語長が大きいほど，ロマンス語ペアの類似度が高い，つまり意味変化が生じにくい傾向が確認された。単語長が大きい語は,接辞付加や派生により元となる動詞よりも形態的複雑性が増す一方, 意味が限定され, 多義性が小さくなる傾向にある。そのため，意味変化が生じにくいと考えられる。この現象は既にラテン語の段階で見られ, 単語長と多義性の相関係数は-0.36である。例えば, Lat. praevidere 'to foresee' は, videre 'to see' に接頭辞 prae- 'ahead' が付いた形で, 意味が限定されている。実際に, 仏・西ぺアの voir-ver (<Lat. videre) の類似度が 0.35 に対し, prévoir-prever (< Lat. praevidere) の類似度は 0.72 と高い値を示す。

## 4. 4. 編集距離

編集距離が大きいロマンス語ペアは，ラテン語から直に継承された民衆語である[6]。大きな音声変化を受けたため, 語源形との表記上の違いも大きい。一方, 編集距離が小さいものは, 比較的新しくラテン語から借入された教養語である[6]。最小限の音声変化しか受けていないため, 語源形に類似している。編集距離の回帰係数（-0.11） は負なので，民衆語ほど意味変化しやすい傾向にあるが，統計的に有意ではない。そのため, ロマンス語での使用期間が長い民衆語ほど意味変化を受けやすいとは言えない。

## 4.5. ノルム

ロマンス語の分散表現のノルムの大きさ (NORM_ROM) は, 変数選択により不要と判断された。頻度が高く, 特定の文脈で使用される（多義性が低い）ほどノルムは大きくなるが，これらの影響はそれぞれの変数で捉えられていると考えられる。

## 4.6. ラテン語に関する変数

意味変化前のラテン語の頻度（FREQ_LAT）と多義性（POLY_LAT）のみを説明変数として回帰すると, FREQ_LAT の係数は正 (0.26), POLY_LAT は負（-0.28）になり, ともに有意水準 0.01 で統計的に有意となった。自由度調整済決定係数は微小 $(0.03)$ なものの, ラテン語の語源が高頻度で多義性が小さいロマンス語同源語ぺアほど類似度が高い,つまり，意味変化を受けにくいことを示唆している。

## 4. 7. ロマンス語への流入時期の違い

辞書[11] に非掲載の動詞は, 上述の分析からは除外した。これらの動詞は，俗ラテン語，後期・中世ラテン語, ロマンス語の段階で形成されたもの（Fr. travailler 'to work', It. travagliare 'to suffer', Sp. trabajar 'to work' < Vulgar Lat. tripaliare 'to torture') [6], 他言語からの借入語 (Fr. assassiner, It. assassinare, Sp. asesinar < Arabic ḥaššǎšīn 'hashish'; Fr. garder 'to keep', It. guardare 'to look', Sp. guardar 'to guard' $<$ Germanic wardôn 'to pay attention') [6], 古典ラテン語では使用が稀なものなどである。つまり，ロマンス語への流入時期が遅い動詞である。

流入時期の違いがロマンス語同源語ぺア類似度に影響するか検証するため，語源が[11]に非掲載の動詞も含めて回帰分析を行なった。説明変数は,

FREQ_ROM，LEN_ROM，NORM_ROM に加え, 辞書掲載の有無を表すダミ一変数とした。掲載を 1 (デ一夕数 270）, 非掲載を0（同 105）とした。流入時期の違いの係数は正 (0.07) だったが, 絶対值は極めて小さく, 統計的に有意でもなかった。よって，流入時期が古いほど意味変化を起こしやすいとは言えない。

## 5. おわりに

本稿では, ロマンス語のうち仏伊西の動詞に焦点を絞り, 意味変化の大きさと, 言語内要因の関係を統計的に分析した。意味変化の大きさは単語の分散表現で測定した。分析の結果, 意味変化の大きさには, ロマンス語の頻度, ラテン語の多義性, ロマンス語の単語長が影響することが判明した。

今後の課題は, 以下の 3 点である。まず, 名詞や形容詞など他の品詞の分析が必要である。動詞以外の品詞では，異なる傾向が見られる可能性がある[8]。第二に，意味変化の種類（特殊化・一般化・良化 $\cdot$悪化など[16]）を特定することである[3]。第三に，本稿では多義性を辞書掲載の意味の見出し数と定義したが，典型性や上位・下位関係など質的違いを考慮する必要がある。WordNet やポアンカレ埋め込みなどを利用することで，これらの違いを捉えられる可能性がある。

## 謝辞

本研究は JSPS 科研費 $18 K 11456$ の助成を受けたものです。

## 参考文献

[1] T. Alkire and C. Rosen, Romance Languages: A Historical Introduction. New York: Cambridge University Press, 2010.

[2] D. Schlechtweg, B. McGillivray, S. Hengchen, H. Dubossarsky, and N. Tahmasebi, "SemEval-2020 Task 1: Unsupervised Lexical Semantic Change Detection," in Proceedings of the 14th International Workshop on Semantic Evaluation, 2021, pp. 1-23.

[3] A. Kutuzov, L. Øvrelid, T. Szymanski, and E. Velldal, "Diachronic Word Embeddings and Semantic Shifts: A Survey," in Proceedings of the 27th International Conference on Computational Linguistics, 2018, pp. 1384-1397.

[4] W. L. Hamilton, J. Leskovec, and D. Jurafsky, "Cultural Shift or Linguistic Drift? Comparing Two Computational Measures of Semantic Change," in Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, 2016, pp. 2116-2121.

[5] H. Dubossarsky, E. Grossman, and D. Weinshall, "Outta Control: Laws of Semantic Change and Inherent Biases in Word Representation Models," in Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, 2017, pp. 1136-1145.

[6] R. Penny, A History of the Spanish Language. Cambridge: Cambridge University Press, 2002.

[7] H. Takamura, R. Nagata, and Y. Kawasaki, "Analyzing Semantic Changes in Japanese Loanwords," in Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics, 2017, vol. 1, pp. 1195-1204.

[8] H. Dubossarsky, D. Weinshall, and E. Grossman, "Verbs Change More Than Nouns: A Bottom-up Computational Approach to Semantic Change," Lingue e Linguaggio, vol. 15, no. 1, pp. 5-25, 2016.
R. Řehůřek and P. Sojka, "Software Framework for Topic Modelling with Large Corpora," in Proceedings of the LREC 2010 Workshop on New Challenges for NLP Frameworks, 2010, pp. 4550.

[10] T. Mikolov, Q. V Le, and I. Sutskever, "Exploiting Similarities among Languages for Machine Translation," CoRR abs/1309.4, 2013.

[11] P. G. W. Glare, Ed., Oxford Latin Dictionary, 2nd ed. Oxford: Oxford University Press, 2012.

[12] A. S. Uban, A. M. Ciobanu, and L. P. Dinu, "Studying Laws of Semantic Divergence across Languages using Cognate Sets," in Proceedings of the 1st International Workshop on Computational Approaches to Historical Language Change, 2019, pp. 161-166.

[13] R. Oniga, Latin: A Linguistic Introduction. New York: Oxford University Press, 2014.

[14] J. Bybee, Language Change. Cambridge: Cambridge University Press, 2015.

[15] W. L. Hamilton, J. Leskovec, and D. Jurafsky, "Diachronic Word Embeddings Reveal Statistical Laws of Semantic Change," in Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics, 2016, pp. 1489-1501.

[16] E. C. Traugott and R. B. Dasher, Regularity in Semantic Change. Cambridge: Cambridge University Press, 2005.

## 付録

図 1 仏・西同源語ぺアの類似度（SIM_FR_SP）と説明変数の散布図と相関係数


# 創発言語でも Harris の分節原理は成り立つのか？

上田亮 ${ }^{1}$ 石井太河 ${ }^{1}$ 宮尾祐介 ${ }^{1}$
1 東京大学
\{ryoryoueda, taigarana, yusuke\}@is.s.u-tokyo.ac.jp

## 概要

本論文の目的は創発言語において Harris の分節原理が成り立つかを検証するというものである．創発言語とは，シミュレーションにおいてエージェント間で生じる人工的な言語のことを指し，近年注目を集めつつある研究対象である。 一方 Harris の分節原理とは，自然言語の系列データにおいて，データの意味を知らずとも統計的情報のみから分節境界が得られるという性質である。創発言語においても自然言語の性質が観察されるかどうかを検証した研究はいくつか存在するが，Harris の分節原理に着目した研究は今のところない. 実験の結果，創発言語は Harris の分節原理が成立するためのいくつかの前提条件を満たすが，統計的な情報から得られる分節境界が必ずしも意味的に妥当なものであるとは限らない可能性が示唆された。

## 1 はじめに

ニューラルネットワークで表されたエージェントにコミュニケーションをさせることにより，言語の創発をシミュレーションする創発コミュニケーション (Emergent Communication) という分野が注目されつつある. 創発コミュニケーションによって生じたプロトコルは創発言語（Emergent Language）と呼ばれる。この分野は人間と交流できる AI の開発を目的として生まれたが $[1,2,3]$, そこから派生して創発言語そのものの性質を調べる研究も現れた. 特に，自然言語に見られる普遍性質が創発言語においても観察され得るかを調べたものが多く，例えば，構成性 $[4,5,6]$, Zipf 短縮 $[7,8,9]$, エントロピー最小化 [10] に関する研究などがある.

本論文の目標は，創発言語において Harris の分節原理 $[11,12,13,14]$ が成り立つかを検証することである. Harris の分節原理とは，自然言語の系列デー タにおいて，データのもつ意味を参照せずとも統計的な情報のみから分節境界が得られるという普遍的
な性質のことである.ここでいう分節とは，音素の系列に対する単語 (形態素)，単語の系列に対する節等を指す。単語や意味が事前に与えられるわけではない創発言語において，統計的性質から分節境界を得る可能性を模索することは重要である.

本論文では，創発コミュニケーションで頻繁に用いられる Lewis シグナリングゲーム [15] の実験パラダイムを採用する。このゲームにはスピーカ $S$ とリスナ $L$ という 2 人のエージェントのみが登場し, スピーカ $S$ からリスナ $L$ への単方向通信のみが許される. 各試行において，スピーカ $S$ は入力集合 $I$ から情報 $i \in I$ を得て，それをメッセージ $m=S(i)$ に変換する.メッセージ $m$ を受け取ったリスナ $L$ が $i$ を復元することができればゲームは成功である。ここで，メッセージのデータ $\{S(i)\}_{i \in I}$ が創発言語とみなされる. 実験の結果，創発言語は Harris の分節原理を成立させるための前提条件を満たすものの，統計的性質から得た境界が必ずしも意味のある境界とは限らないという示唆が得られた。他方, 人間が予め与えた意味に関係なく境界のようなものが生じたという興味深い結果の意味するところは, 今後の課題として残されている。

## 2 背景: 創発言語

言語を創発させるには，エージェントを取り巻く環境やエージェントのアーキテクチャ, 最適化の手法などを決める必要がある。本論文では $[5]$ による設定「属性值組集合を用いたシグナリングゲーム」 を導入する。

## 2.1 属性値組集合

$a, v \in \mathbb{N}(a, v>0)$ とする. $a, v$ をそれぞれ属性数, 值数と呼ぶことにする. 属性値組集合 (attributevalue set) $D_{v}^{a}$ とは以下のように定義される順序組の集合である:

$
D_{v}^{a}=\left.\{\left(d_{0}, \ldots, d_{a-1}\right) \mid d_{i} \in\{0, \ldots, v-1\}\right.\}
$

## 2.2 シグナリングゲーム

言語を創発させる環境は，Lewis シグナリングゲーム [15] に基づいて定式化される. シグナリングゲーム $G$ は四つ組 $(I, M, S, L)$ から成る. ここで， $I$ は入力集合， $M$ はメッセージ集合であり，関数 $S: I \rightarrow M$ はスピーカエージェント，関数 $L: M \rightarrow I$ はリスナエージェントと呼ばれる. ゲーム $G$ の目標は各入力 $i \in I$ について $i=L(S(i))$ を成り立たせることである．スピーカ $S$ とリスナ $L$ は学習対象であり, 目標に近づくよう最適化される. [5] と同様,本論文では属性值組集合を入力集合とする: $I=D_{v}^{a}$. さらに，メッセージ集合 $M$ は固定長離散記号列の集合とする. 即ち, 有限のアルファベット $A$ 及びメッセージ長 len $\in \mathbb{N}($ len $>0)$ を用いて

$
M=A^{\text {len }}=\left.\{a_{1} \ldots a_{\text {len }} \mid a_{i} \in A \text { for } i=1, \ldots, \text { len }\right.\}
$

と定義する。また，以降の議論では，創発言語とはシグナリングゲーム $G=(I, M, S, L)$ から得られるデータ $\{S(i)\}_{i \in I}$ のことを指すものとする. 創発言語データ $\{S(i)\}_{i \in I}$ は，自然言語でいえば $|I|$ 個の独立した発話のデータと捉えることができる.

## 3 背景: Harris の分節原理

Harris の仮説によれば，自然言語の音素系列における単語境界は, 後続し得る音素の種類数が増大する点に現れるという。本節では $[12,13]$ による Harris の仮説の情報理論的な定式化, 及びそれに基づいた境界検出アルゴリズムを導入する.

## 3.1 定式化

$X$ をアルファベット， $X^{*}$ を $X$ 上の系列の集合, $X^{n}$ を $X$ 上の $n$-gram の集合とする. このとき，系列 $s=x_{0} \cdots x_{|s|-1} \in X^{*}$ に対する分岐エントロピーを以下のように定義する:

$
\begin{array}{rl}
h(s) \equiv & \mathscr{H}\left(X_{|s|} \mid X_{0} \cdots X_{|s|-1}=s\right) \\
=-\sum_{x \in \mathcal{X}} & P\left(X_{|s|}=x \mid X_{0} \cdots X_{|s|-1}=s\right) \\
& \quad \times \log _{2} P\left(X_{|s|}=x \mid X_{0} \cdots X_{|s|-1}=s\right) .
\end{array}
$

ここで， $|s|$ は系列 $s$ の長さ，各 $X_{i}$ は $X$ 上の確率変数, $P\left(X_{|s|}=x \mid X_{0} \cdots X_{|s|-1}=s\right)$ は系列 $s \in X^{*}$ が出現した直後に記号 $x \in X$ が出現する確率を表す. 分岐エントロピー $h(s)$ は，特定の記号列 $s$ が出現したときに，次に来る記号の不確かさの度合いを表している．また，長さ $n$ の系列に対する条件付きエント
ロピーを以下のように定義する:

$
\begin{aligned}
H(n) & \equiv \mathscr{H}\left(X_{n} \mid X_{0} \cdots X_{n-1}\right) \\
& =\sum_{s \in \mathscr{X}^{n}} P\left(X_{0} \cdots X_{n-1}=s\right) h(s) .
\end{aligned}
$

ここで, $P\left(X_{0} \cdots X_{n-1}=s\right)$ は $n$-gram $s \in X^{n}$ が出現する確率である。 $H$ は分岐エントロピー $h$ の $n$-gram に関する平均と捉えることもできる。

自然言語のデータにおいては， $H(n)$ は $n$ に関して単調に減少することが知られている．つまり，自然言語データの部分系列 $x_{0} \cdots x_{n} \in X^{n+1}$ が与えられたときに，平均的には $h\left(x_{0} \cdots x_{n-1}\right)>h\left(x_{0} \cdots x_{n}\right)$ となる。一方で，その大域的な傾向に反して $h$ が増大する点もある. この自然言語データにおける分岐エントロピー $h$ の増減に関する，以下の普遍性質のことを Harris の分節原理と呼ぶ1)：

X の要素を単位とする自然言語データにおい

て，ある部分系列 $x_{0} \cdots x_{n} \in X^{n+1}$ が存在して

$
h\left(x_{0} \cdots x_{n-1}\right)<h\left(x_{0} \cdots x_{n}\right)
$

となるとき， $x_{n}$ はより大きな単位の系列における分節境界である。

## 3.2 境界検出アルゴリズム

系列データを $s=x_{0} \cdots x_{|s|-1}$ とし，その部分系列を $s_{i, j}=x_{i} \cdots x_{j-1}$ と表すことにする. 境界判定アルゴリズムはパラメータ max_len $\in \mathbb{N}$, threshold $\in \mathbb{R}$ を伴って以下のような手順で実行される:

$1 . i:=0 ; w:=1$; とする.
2. $i \geq|s|$ ならばプログラムを終了する.
3. $h\left(s_{i, i+w}\right)$ を計算する.
4. $w>1$ かつ $h\left(s_{i, i+w}\right)-h\left(s_{i, i+w-1}\right)>$ threshold ならば， $i+w$ を境界点と判定する。
5. $w<$ max_lenかつ $i+w<|s|-1$ ならば $w:=w+1$; として 2 に戻る. さもなくば $i:=i+1 ; w:=1$ として 2 に戻る.

また，創発言語においては自然言語に見られるような分節境界が存在するとは限らないため，以降では境界検出アルゴリズムによって得られた仮の分節境界のことを仮説境界と呼ぶことにする。

## 4 実験設定

1） [12,13] では，このことを Harris's hypothesis と呼んでいたが，同著者の近年の出版物 [14] に倣い Harris の分節原理と呼び改めた。

## 4.1 問題設定

創発言語において Harris の分節原理が成立するかどうかを調べるにあたり, 我々は以下の 3 つの問いに答えなければならない。

問 1. $H$ （式 4）は単調減少するか？

問 2. $h$ （式 3）は増大点（式 5）をもつか?

問 3. 仮説境界は分節境界を意味するか？

問 3 は，創発言語において Harris の分節原理が成立するかという問いに他ならない. しかし， $H$ が単調に減少し $h$ が所々増加するという性質が満たされなければ問 3 はそもそも意味をなさない. 創発言語においてはこのような性質が成り立つかどうかさえも自明ではないため，まず問 1 , 問 2 に答えなければならない.また，問 1 , 問 2 に答えるには単に $H$ と $h$ を計算すればよいが，問 3 に答える方法は自明でない. 創発言語に分節境界があるとしても，それがどんなものであるのか事前に知る術がないからである.そこで以下の仮定を置く:

ゲーム $G=\left(D_{v}^{a}, A^{\text {len }}, S, L\right)$ の創発言語 $\{S(i)\}_{i}$ において，仮説境界が分節境界を意味するならば，属性数 $a$ が大きくなるほど仮説境界の数も多くなるはずである。

属性値組集合 $D_{v}^{a}$ は，元々創発言語の構成性を測るために導入された設定 [4]を，さらに一般化したものである [5]. 例えば color, shape という 2 属性をもつ入力を用いたときに，創発言語が十分に構成的であるならば，color の值を指す記号と shape の值を指す記号が別々に出現し, それらが複合して 1 つのメッセージを成すだろうと [4] は考えた. これは創発言語の構成性を測るうえで基本的な考え方となっている．今回の設定でいえば，分節が複合的なメッセージを構成するための単位であると想定したときに，指し示すべき属性が増えれば分節もそれに合わせて多くなるだろうと考えられる. 仮定 (A) はそのような考えに基づいている. 問 3 を仮定 (A) に従って以下のように言い換える:

問 3．属性数 $a$ が大きくなるほど仮説境界も多くなるか？

## 4.2 パラメータの設定

属性値組集合問 3 , に答えるため属性数 $a$ にはいくつかの値を取らせたい一方，ゲームの複雑さを揃えるために属性値組集合のサイズ $\left|D_{v}^{a}\right|=v^{a}$ は
できるだけ等しくしたい. そこで $v^{a}=4096$ として $a, v$ を以下のように設定する:

$
(a, v) \in\left.\{\begin{array}{l}
(1,4096),(2,64) \\
(3,6),(4,8),(6,4),(12,2)
\end{array}\right.\} .
$

メッセージ集合メッセージ集合 $M=A^{\text {len }}$ 定義するには，メッセージ長 len とアルファベットのサイズ $|A|$ を決めてやればよい.今回の実験では len $=32,|A|=8$ とした.

アーキテクチャと最適化エージェントのアーキテクチャ及び最適化手法についても [5]に従う. ここではアーキテクチャについて簡単に触れる．各エージェントはエンコーダ・デコーダモデルで表される。スピーカのデコーダとリスナのエンコーダは GRU[16] とし，スピーカのエンコーダとリスナのデコーダは順伝播型ニューラルネットワークとする. GRU の隠れ状態のサイズは [5] に倣い 500 とした。

境界判定アルゴリズム境界判定アルゴリズム （節 3.2）にはパラメータ max_len, threshold が伴う.各メッセージが固定長 len = 32 であることに合わせて max_len $=$ len $-1=31$ とする. threshold の設定は自明ではないため，いくつかのパターンを試す:

$
\text { threshold } \in\{0,1 / 4,1 / 2,3 / 4,1,5 / 4,3 / 2,7 / 4,2\} \text {. }
$

## 4.3 試行回数とデータの妥当性

式 6で設定した各 $(a, v)$ に関して，異なるランダムシードで 4 回エージェントを学習させることとする. 学習の結果, 入力集合 $I$ のうち $99 \%$ 以上の入力 $i \in I$ に対して $i=L(S(i))$ となるに至ったエージェントから得られる創発言語を妥当な創発言語と呼ぶことにする。

## 5 実験結果

$(a, v)=(12,2)$ について 3 つ妥当な創発言語が得られ，その他の $(a, v)$ についてはそれぞれ 4 つの妥当な創発言語が得られた.

## 5.1 条件付きエントロピーは単調減少する

問 1 に答えるため，H（式 4）が単調減少するかどうかを調べた。図1にその結果を示す. 妥当な創発言語における $H(n)$ （赤実線）は， $n$ に関して単調減少していることが見て取れる. 従って妥当な創発言語において問 1 は成立する. なお， $H(n)$ の単調減少性はエージェントの学習前から成り立つわけではない. 図 1に青破線で示したグラフを見ると，学習

図 $1 H(n)$ （式 4）のプロット，妥当な創発言語に関する結果 (赤実線) と学習前のスピーカから得た創発言語に関する結果（青破線）を示してある.

前の創発言語においては $H(n)$ が単調に減少するとは限らないことが見て取れる. つまり学習の過程で $H(n)$ の単調減少性が生じる.

## 5.2 分岐エントロピーは所々増大する

図 2 設定 $(a, v)=(2,64)$ の下での創発言語における，あるメッセージ上での $h$ の推移の様子. threshold $=5 / 4$ として仮説境界 $1, \ldots, 4$ が得られた（黒破線）.

次に，問 2 に答えるため，妥当な創発言語における $h$ の推移を調べた. 例として実際の $h$ の推移の様子を図 2 に示す. 縦軸には $h$ の值，横軸には $(a, v)=(2,64)$ として得られた妥当な創発言語からサンプルしたメッセージ “ $1,8,6,2, \ldots$ ”を取った. さらに， threshold $=5 / 4$ として得られた 4 つの仮説境界の位置を黒破線で示してある. 各折れ線グラフが，対応する仮説境界点で thresholdを超える増大を示した $h$ の推移を表している. なお，hの増大点（式 5）の根拠となる部分系列は，メッセージの

図 3 メッセージあたりの仮説境界の平均数. いくつかの threshold を試してある.

先頭や一つ前の仮説境界から始まるとは限らないことに注意されたい. 図 1で見たような大域的な傾向がある一方で，図 2では $h$ が増減を繰り返していることが見て取れる。また，メッセージあたりの仮説境界の数を調べた結果を図 3に示す. 図 3は，各 threshold（式 7）を用いたときに，1メッセージあたりにいくつ仮説境界が含まれているかを示している. threshold < 2 においては，どの $(a, v)$ にも仮説境界が存在していることが見て取れる。以上より，妥当な創発言語において問 2 は成立する.

## 5.3 仮説境界は分節境界ではないかもしれ ない

再び図 3に着目すると，やや見づらいがどの threshold においても属性数 $a$ に対して単調に仮説境界が増えるわけではないことが分かる2). 故に問 3, は成立しない. $a=1$ のときに最も仮説境界が多くなる傾向があるようにさえ見える.

## 6 考察と今後の展望

実験の結果から，創発言語は Harris の分節原理が成立するためのいくつかの前提（問 1, 問 2）を満たすものの，仮説境界が分節境界を意味しない可能性が示唆された. 創発言語に意味のある仮説境界をもたせるにはどうしたらよいか. 創発言語の構成性を向上させる手法 [6] の適用が 1 つの方法として考えられる。一方，人間が与えた入力の意味に関わらず創発言語に仮説境界が生じた事実はそれはそれで興味深いことでもある. この仮説境界は何を意味するのか.これも今後解決していくべき課題である.

## 参考文献

[1] Serhii Havrylov and Ivan Titov. Emergence of language with multi-agent games: Learning to communicate with sequences of symbols. In Isabelle Guyon, Ulrike von Luxburg, Samy Bengio, Hanna M. Wallach, Rob Fergus, S. V. N. Vishwanathan, and Roman Garnett, editors, Advances in Neural Information Processing Systems 30: Annual Conference on Neural Information Processing Systems 2017, December 4-9, 2017, Long Beach, CA, USA, pp. 2149-2159, 2017.

[2] Angeliki Lazaridou, Alexander Peysakhovich, and Marco Baroni. Multi-agent cooperation and the emergence of (natural) language. In 5th International Conference on Learning Representations, ICLR 2017, Toulon, France, April 24-26, 2017, Conference Track Proceedings. OpenReview.net, 2017.

[3] Angeliki Lazaridou, Anna Potapenko, and Olivier Tieleman. Multi-agent communication meets natural language: Synergies between functional and structural language learning. In Dan Jurafsky, Joyce Chai, Natalie Schluter, and Joel R. Tetreault, editors, Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, ACL 2020, Online, July 5-10, $\mathbf{2 0 2 0}$, pp. 7663-7674. Association for Computational Linguistics, 2020.

[4] Satwik Kottur, José M. F. Moura, Stefan Lee, and Dhruv Batra. Natural language does not emerge 'naturally' in multi-agent dialog. In Martha Palmer, Rebecca Hwa, and Sebastian Riedel, editors, Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, EMNLP 2017, Copenhagen, Denmark, September 9-11, 2017, pp. 2962-2967. Association for Computational Linguistics, 2017.

[5] Rahma Chaabouni, Eugene Kharitonov, Diane Bouchacourt, Emmanuel Dupoux, and Marco Baroni. Compositionality and generalization in emergent languages. In Dan Jurafsky, Joyce Chai, Natalie Schluter, and Joel R. Tetreault, editors, Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, ACL 2020, Online, July 5-10, 2020, pp. 4427-4442. Association for Computational Linguistics, 2020.

[6] Yi Ren, Shangmin Guo, Matthieu Labeau, Shay B. Cohen, and Simon Kirby. Compositional languages emerge in a neural iterated learning model. In 8th International Conference on Learning Representations, ICLR 2020, Addis Ababa, Ethiopia, April 26-30, 2020. OpenReview.net, 2020.

[7] Rahma Chaabouni, Eugene Kharitonov, Emmanuel Dupoux, and Marco Baroni. Anti-efficient encoding in emergent communication. In Hanna M. Wallach, Hugo Larochelle, Alina Beygelzimer, Florence d'AlchéBuc, Emily B. Fox, and Roman Garnett, editors, Advances in Neural Information Processing Systems 32: Annual Conference on Neural Information Processing Systems 2019, NeurIPS 2019, December 8-14, 2019, Vancouver, BC, Canada, pp. 6290-6300, 2019.

[8] Mathieu Rita, Rahma Chaabouni, and Emmanuel Dupoux. "lazimpa": Lazy and impatient neural agents learn to communicate efficiently. In Raquel Fernández and Tal Linzen, editors, Proceedings of the 24th Conference on Computational Natural Language Learning, CoNLL 2020, Online, November 19-20, 2020, pp. 335-343. Association for Computational Linguistics, 2020.

[9] Ryo Ueda and Koki Washio. On the relationship between zipf's law of abbreviation and interfering noise in emergent languages. In Jad Kabbara, Haitao Lin, Amandalynne Paullada, and Jannis Vamvas, editors, Proceedings of the ACL-IJCNLP 2021 Student Research Workshop, ACL 2021, Online, JUli 5-10, 2021, pp. 60-70. Association for Computational Linguistics, 2021.

[10] Eugene Kharitonov, Rahma Chaabouni, Diane Bouchacourt, and Marco Baroni. Entropy minimization in emergent languages. In Proceedings of the 37th International Conference on Machine Learning, ICML 2020, 1318 July 2020, Virtual Event, Vol. 119 of Proceedings of Machine Learning Research, pp. 5220-5230. PMLR, 2020.

[11] Zellig S. Harris. From phoneme to morpheme. Language, Vol. 31, No. 2, pp. 190-222, 1955

[12] Kumiko Tanaka-Ishii. Entropy as an indicator of context boundaries: An experiment using a web search engine. In Robert Dale, Kam-Fai Wong, Jian Su, and Oi Yee Kwong, editors, Natural Language Processing - IJCNLP 2005, Second International Joint Conference, Jeju Island, Korea, October 11-13, 2005, Proceedings, Vol. 3651 of Lecture Notes in Computer Science, pp. 93105. Springer, 2005.

[13] Kumiko Tanaka-Ishii and Zhihui Jin. From phoneme to morpheme: Another verification using a corpus. In Yuji Matsumoto, Richard Sproat, Kam-Fai Wong, and Min Zhang, editors, Computer Processing of Oriental Languages. Beyond the Orient: The Research Challenges Ahead, 21st International Conference, ICCPOL 2006, Singapore, December 17-19, 2006, Proceedings, Vol. 4285 of Lecture Notes in Computer Science, pp. 234244. Springer, 2006

[14] 田中久美子. 言語とフラクタル. 東京大学出版会, 2021.

[15] David K. Lewis. Convention: A Philosophical Study. Wiley-Blackwell, 1969

[16] Kyunghyun Cho, Bart van Merrienboer, Çaglar Gülçehre, Dzmitry Bahdanau, Fethi Bougares, Holger Schwenk, and Yoshua Bengio. Learning phrase representations using RNN encoder-decoder for statistical machine translation. In Alessandro Moschitti, Bo Pang, and Walter Daelemans, editors, Proceedings of the $\mathbf{2 0 1 4}$ Conference on Empirical Methods in Natural Language Processing, EMNLP 2014, October 25-29, 2014, Doha, Qatar, A meeting of SIGDAT, a Special Interest Group of the ACL, pp. 17241734. ACL, 2014.


# 低リソースの意見要約のための教師なしドメイン適応

小杉宥斗 ${ }^{1}$ 李吉屹 ${ }^{2}$ 福本文代 ${ }^{2}$
${ }^{1}$ 山梨大学工学部コンピュータ理工学科 2 山梨大学大学院総合研究部工学域
\{t18cs021, jyli, fukumoto\}@yamanashi.ac.jp

## 概要

近年，意見要約の分野では，Few-Shot 学習を利用した研究が盛んに行われている [1][2][3]. しかし，既存の Few-Shot 学習モデルでは特定のドメインの教師データが存在しない場合，そのドメインにおける要約の精度が低下する。この問題の解決を図るため, 本研究では MoE (Mixture of Experts) による教師なしドメイン適応に基づく新たな手法を提案する。作成したモデルに対する評価実験とその結果から得られた課題について報告する。

## 1 はじめに

意見要約 (Opinion Summarization) とは主観的な意見を含む複数のテキストを対象とし，それらの意見を端的にまとめたテキストを生成するタスクである. 本研究では，製品に対するユーザレビューを対象とし，深層学習を用いた意見要約を行う．教師あり学習により意見要約モデルを訓練する場合, 大量の教師データを用意する必要があり, 多大なコストや労力を要する. そのため, 意見要約分野では教師データが不足しており, 従来より教師なし学習や半教師あり学習を用いた手法が数多く提案されている [4][5][6][7][8][9]. 特に近年では, Few-Shot 学習を用いた手法が盛んに研究されている [1][2][3]. Few-Shot 学習とは, ごく少数の教師データのみを利用してモデルを訓練する学習手法である.

深層学習では，しばしば特定のドメインにおける教師データが存在しない場合が生じる。これを解決するための一手法として, 教師なしドメイン適応 (Unsupervised Domain Adaptation) がある. 教師なしドメイン適応は, 教師データが利用できる「ソー スドメイン」によりモデルを訓練し, 教師データが存在しない「ターゲットドメイン」における汎化性能を獲得する技術である. 特に，ユーザレビュー の対象となる製品は様々なドメインに属している.これらの知識を有効に活用するため, 本研究
では複数のソースドメインを利用したドメイン適応 (Multi-Source Domain Adaptation) に焦点をあてる.近年では，このようなドメイン適応に対し MoEを利用した手法が提案され，その有効性が示されている [10][11][12].

本研究では, Few-Shot 学習を利用した意見要約モデルである FewSum[1] に対し, MoE (Mixture of Experts) による教師なしドメイン適応を行うモデルとして，FewMoESumを提案する。加えて，モデルに対する評価実験とその結果から得られた課題について報告する。

## 2 FewSum

FewSum[1] は Few-Shot 学習による意見要約の代表的な手法であり，入力レビュー集合に出現しない表現も用いて要約を作成する Abstractive Summarization を行う。モデルは Transformer[13] を採用しており， Encoder と Generator (Decoder) から構成される.

FewSum の学習は, 事前学習と Fine-tuning からなる. 事前学習は, 複数のレビューをもとにレビュー を生成することにより行う，学習時は，同じ製品に対するレビューの集合から1つを抜き出したレビュー $r_{i}$ を教師信号とし，残りのレビュー $r_{-i}$ を入カサンプルとする. モデルのうち, Encoder は入力された $r_{-i}$ の特徵量を抽出し, Generator は抽出された $r_{-i}$ の特徴量と propertyをもとにレビュー $r_{i}$ を推測する. property とは $r_{i}$ と $r_{-i}$ の関係や, $r_{i}$ の性質であり, 事前学習時点では $r_{i}$ と $r_{-i}$ に応じて一意に計算される。事前学習により, Generator は property と生成すべきテキストの対応関係を学習する。

Fine-tuning では，人手で作成したごく少数の要約を教師信号として利用し, 要約生成モデルを学習する.ここでは，Plug-in Network，すなわち，入力レビュー集合から抽出した情報をもとに，理想的な要約の生成を促す property を予測するよう学習するネットワークをモデルに追加する.

property の例には「代名詞の分布」がある. 要約

は，一人称代名詞を含まない客観的文体であることが望ましい。 そのため, Plug-in Network は「一人称代名詞の割合が小さい」ことを示す propertyを生成する. Generator は事前学習時に property に対応したテキストを生成するよう学習しているため，当該の property が与えられることにより，一人称代名詞の使用を避けつつ要約の生成を行うことができる.

Few-Shot 学習では教師データがごく少数に限られており，大量のパラメータを調整するには不十分であるため，モデル全体に対する Fine-tuning を行うと過学習が発生する。そのため Fine-tuning 時には, 調整するパラメータを Plug-in Network と Generator の一部に限定することにより過学習を抑制している.

## 3 Mixture of Experts (MoE)

Guo らは，感情分類や品詞タグ付けといった分類タスクを対象とし，MoE (Mixture of Experts)を用いた教師なしドメイン適応を行う手法を提案している [11]. MoE は，特定のデータの処理に特化したネットワークを複数作成し, 各ネットワークの出力を加重平均する手法である。特に，MoEではこれらネットワークを「エキスパート」と呼んでいる. Guo らの手法 (以降, GuoMoE と記述する) では, 複数の分類器をそれぞれ各ソースドメインに特化し，エキスパートとしている. 図 1 にその概略図を示す. 分類を行う際は，入力サンプルとソースドメインの類似度が高いほど，そのソースドメインに特化したエキスパートに対して大きい重みを割り当てる.この重みに基づき各エキスパートの出力を加重平均し, 最終的な分類結果を求める. この処理により, 入力サンプルに類似するソースドメインから得た知識を重視して分類を行うため, 未知のドメインのデータに対しても優れた分類結果を得ることができる.

GuoMoE と FewSum との差異を以下に示す:

(a) GuoMoE では，大量の教師データを用い教師あり学習を行っている。一方，FewSum ではごく少数の教師データを用いる Few-Shot 学習を行う.

(b) GuoMoE では, 実験に使用したモデルは小規模である。一方，FewSum では比較的大規模なモデルを扱う．したがって Generatorをエキスパートとして単純に複製すると，モデルのパラメータ数が大幅に増加する。

大量のパラメータを調整する場合，それに応じて大量の教師データを利用しなければ過学習が発生す

る.そのため, GuoMoE のようにネットワークを単純に複製する方法は，FewSumのような条件のもとでは適さない. したがって本研究では, FewSumの Generatorのうち一部のみをエキスパートとすることにより，この問題の解決を図る.

## 4 提案手法

本手法では，事前学習と FewMoESum の学習によりモデルを訓練する。事前学習の際は, FewSum と共通のモデル，及び学習方法を用いる. FewMoESum の学習は, FewSum の Fine-tuning に代わる処理である。

## 4.1 FewMoESum

FewMoESum では MoE を利用して教師なしドメイン適応を行う，図 2 に FewMoESum の概略図を示す. モデルは, 事前学習で得たレビュー生成モデル (Encoder, Generator) と Plug-in Network を組み合わせ,新たに Gating モジュールを追加したものである.この際，Generator 内の Source-Target Attention モジュー ルをソースドメインの数と一致するよう複製し，各ソースドメインに対応したエキスパートとする.

図 2 FewMoESum のモデル概略図

## 4.1.1 Gating モジュール

Gating モジュールは, 各エキスパートの出力を加重平均する際の重みを生成する. GuoMoE と同様に，重みは入力サンプルとソースドメインとのマハ

ラノビス距離をもとに予測する. Few-Shot 学習では利用できる教師データがごく少数に限られており，大量のパラメータを調整することができない. マハラノビス距離による重み付けは大量のパラメータを必要としない (実験ではパラメータ数がモデル全体の $0.1 \%$ 以下) ため, Few-Shot 学習に適する.

式 (1)はマハラノビス距離を示し, 大力サンプルとソースドメインとの意味的な距離を予測するために用いる。次に式 (2)により, 求めた距離の符号を反転させ，入力サンプルとソースドメインの類似度を求める. 以上の処理を各ソースドメインに対して行い, 最後に，式 (3)で示される Softmax 関数により各ソースドメインに対する類似度を確率で求め, 各エキスパートに対する重みとする.これにより，入カサンプルとソースドメインが類似するほど，そのドメインに対応するエキスパートの出力が重視される.

$
\begin{aligned}
d(x, S) & =\left(\left(E(x)-\mu^{S}\right)^{T} M^{S}\left(E(x)-\mu^{S}\right)\right)^{\frac{1}{2}} \\
e(x, S) & =-d(x, S) \\
\alpha\left(x, S_{i}\right) & =\frac{\exp \left(e\left(x, S_{i}\right)\right)}{\sum_{j=1}^{K} \exp \left(e\left(x, S_{j}\right)\right)}
\end{aligned}
$

$
\begin{array}{ll}
x: & \text { 入力サンプル } \\
S: & \text { ソースドメイン } \\
E(x): & \text { 入力サンプル } x \text { の特徴量 } \\
\mu^{S}: & \text { ソースドメイン } S \text { の平均特徴量 } \\
M^{S}: & \text { ソースドメイン } S \text { 固有のパラメータ行列 } \\
& \text { 学習により } S \text { の逆共分散行列に近似する } \\
\left.\{S_{i}\right.\}_{i=1}^{K}: & \text { ソースドメインの集合 }
\end{array}
$

ただし， $\mathrm{E}(\mathrm{x})$ は入力レビュー集合に含まれる各単語の特徴量を Encoder により抽出し, 平均することにより求める.

GuoMoEでは，各ソースドメインに対してそれぞれ 32 個のサンプルを含むミニバッチを利用し，学習および推論を行う．この際，ミニバッチに含まれるデータを Encoder に入力することで各データの特徵量を獲得し, それらの平均を求め, 各ソースドメインに対する $\mu^{S}$ としている. しかし, 本研究では利用するモデルや入力サンプルが比較的大きく，多くのGPUメモリを消費する．そのため，ミニバッチに含められるサンプル数が少なくなり, 従来の手法を利用すると求めた $\mu^{S}$ の信頼性が低くなるという問題がある. したがって, FewMoESum の学習を行う直前にソースドメインの教師なしデー
タから $\mu^{S}$ を求め, 全学習ステップおよび推論に利用する. 通常，学習時に Encoder が更新されることにより，特徴空間が変化してしまうため，学習前に計算した $\mu^{S}$ を利用することはできない.しかし， FewMoESum の学習では, FewSum の Fine-tuning と同様に Encoder のパラメータを固定して学習するため，この手法が利用できる.

## 4.2 FewMoESum の学習

FewMoESum の学習では，モデルに対して要約生成への適応と, ターゲットドメインへのドメイン適応を同時に行う。この際，教師ありデータを用いて学習を行う. しかし, 本手法では教師なしドメイン適応を行うため, 訓練，検証にはソースドメインのデータのみを用いる. 図3 に示すように, Encoder の入力はレビュー集合であり, Generator の入力はレビュー集合に対応する正解要約と, Plug-in Network により生成された property, Gating モジュールから生成された各エキスパートに対する重みである.

FewSum では, 教師データの少なさに起因する過学習を抑えるため, 調整するパラメータを一部に限定する手法が提案された. したがって本手法においても，調整するパラメータを Plug-in Network と各エキスパート，Gating モジュールに限定する。

図 3 FewMoESum のモデル概略図 (学習時)

## 4.2.1 損失関数

学習時は GuoMoEにおいて提案されたメタ学習手法を用いる.この手法では，エキスパートを対応するソースドメインに特化させるための Loss $s_{m t l}$ と，各エキスパートに対する重み付けの学習を行うための Loss $s_{m o e}$ から構成される損失関数に従う. 以下に損失関数を定義する。

$
\operatorname{Loss}=\lambda \cdot \operatorname{Loss}_{m o e}+(1-\lambda) \cdot \operatorname{Loss}_{m t l}
$
図 3 は，エキスパート 3 に対応するソースドメインのサンプルが入力された場合の処理である. Loss $_{m t l}$ は，全エキスパートのうち，入力サンプルのドメインに対応するエキスパートのみの出力を利用して計算する. この時, Gating モジュールや他のエキスパートは使用しない，Loss Loe $^{\text {エ } ， 入力サン ~}$ プルのドメインに対応するエキスパート以外の出力を利用して計算する。この時，各エキスパートの出力は Gating モジュールにより生成された重みを用いて加重平均される. また， $\lambda$ はハイパーパラメータ

## 4.2.2 テスト

モデルのテスト時には, 図 2 のように全てのエキスパートの出力を加重平均を求め，1つの要約を生成する. 入力サンプルと類似するソースドメインに対応したエキスパートの出力を重視するため，未知であるターゲットドメインのデータに対しても頑強な要約生成が可能となる。

## 5 実験

## 5.1 実験データ, 評価方法

実験に使用したデータセットを表 1 に示す.デー タセットは FewSum の実験で利用されたものと同一であり，Amazon の製品に対するレビューと要約で構成される。なお，教師なしデータは 1 データあたり 9 個のレビュー，教師ありデータは 1 データあたり 8 個のレビューと 3 個の要約を含む. これらのデータは Clothing, Shoes and Jewelry; Electronics; Health and Personal Care; Home and Kitchen $の 4$ 分野に分類されている.

実験時には，4つの分野のすべての組み合わせについて， 1 分野をターゲットドメイン，他 3 分野をソースドメインとしモデルの評価を行った. 教師なしドメイン適応の効力を確認するため，訓練，検証時に利用する教師ありデータはソースドメインのものに限定する。テスト時は，ターゲットドメインの教師ありデータのみを用いる。また，事前学習時に用いる教師なしデータはターゲットドメインに関わらず，すべての分野のデータを利用する。

評価指標には，要約タスクにおいて一般的な自動評価である ROUGE F1 スコア [14]を使用する. ROUGE F1 スコアはテキスト間の単語の一致度を数値化する指標である。表 1 実験に使用したデータセット

## 5.2 結果

ROUGE F1 スコアを表 2 に示す. 各ターゲットドメインの実験で，より優れたスコアを太字で示す.提案手法は FewSum と比較し"Health"ドメインでは精度の向上が見られたものの，ほとんどのスコアにおいて大幅な向上はなく，ドメイン適応が十分に機能していない．この原因として，教師ありデータのみを用いてドメイン適応を行ったことが考えられる. 利用できる教師ありデータは少数であり，実際のソースドメインと学習に利用する教師ありデータでは分布が異なる。 そのため, Gating Moduleがソー スドメインの分布を正確に捉えられず，エキスパー トに対し正しく重み付けができていないことが考えられる。同様に，エキスパートが学習に利用する教師ありデータの分布にのみ特化しており，汎化性能が低下したことが原因として考えられる。

表 2 実験結果 (ROUGE F1 スコア)

## 6 まとめ

本研究では, Few-Shot 学習による意見要約モデルに対し，MoE を利用した教師なしドメイン適応を行う手法を提案した. 評価実験では，提案手法は FewSum と比較し一部精度が向上したものの，大幅な向上には至らなかった. 今後は，ドメイン分類の学習により Gating Module を初期化する，各ソースドメインで独立した追加の事前学習によりエキスパートを訓練するなど，教師なしデータを活用したドメイン適応手法について検討する予定である.

## 謝辞

本研究の一部は, JKA 補助事業の助成を受けたものである.

## 参考文献

[1] Arther Bražinskas, et al. 2020. Few-Shot Learning for Opinion Summarization. In Proceedings of the Conference on Empirical Methods in Natural Language Processing (EMNLP), pages 4119-4135

[2] Nadav Oved, Ran Levy. 2021. PASS: Perturb-and-Select Summarizer for Product Reviews. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics (ACL), pages 351-365.

[3] Hayate Iso, et al. 2021. Comparative Opinion Summarization via Collaborative Decoding. arXiv:2110.07520.

[4] Qiaozhu Mei, et al. 2007. Topic sentiment mixture: modeling facets and opinions in weblogs. In Proceedings of the 16th international conference on World Wide Web in Association for Computing Machinery (ACM), pages 171-180.

[5] Ivan Titov, Ryan McDonald. 2008. Modeling online reviews with multi-grain topic models. In Proceedings of the 17th international conference on World Wide Web in Association for Computing Machinery (ACM), pages 111-120.

[6] Stefanos Angelidis and Mirella Lapata. 2018. Summarizing opinions: Aspect extraction meets sentiment prediction and they are both weakly supervised. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing (EMNLP), pages 3675-3686.

[7] Eric Chu and Peter Liu. 2019. Meansum: a neural model for unsupervised multi-document abstractive summarization. In Proceedings of International Conference on Machine Learning (ICML), pages 1223-1232.

[8] Arthur Bražinskas, et al. 2020b. Unsupervised opinion summarization as copycat-review generation. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (ACL), pages 5151-5169.

[9] Ke Wang, Xiaojun Wan. 2021. TransSum: Translating Aspect and Sentiment Embeddings for Self-Supervised Opinion Summarization. In Findings of the Association for Computational Linguistics (ACL-IJCNLP), pages 729-742.

[10] Dustin Wright, Isabelle Augenstein. 2020. Transformer Based Multi-Source Domain Adaptation. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pages 7963-7974.

[11] Jiang Guo, et al. 2018. Multi-Source Domain Adaptation with Mixture of Experts. In Proceedings of the Conference on Empirical Methods in Natural Language Processing (EMNLP), pages 4694-4703.

[12] Young-Bum Kim, et al. 2017. Domain Attention With an Ensemble of Experts. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (ACL), pages 643-653.

[13] Ashish Vaswani, et al. 2017. Attention is all you need. In Advances in neural information processing systems (NIPS), pages 5998-6008.

[14] Chin-Yew Lin. 2004. Rouge: A package for automatic eval- uation of summaries. In Proceedings of Workshop on Text Summarization Branches Out Post Conference Workshop of the Association for Computational Linguistics (ACL), pages 74-81.


# T5を用いた感情要約文の生成

福田芳樹 1 伊東嗣功 2 石井雅樹 2 堂坂浩二 2
1 秋田県立大学 大学院システム科学技術研究科電子情報システム学専攻
2 秋田県立大学 システム科学技術学部 情報工学科
\{m22b009, dohsaka,ishii,hidekatsu_ito\}@akita-pu.ac.jp

## 概要

人間同士のコミュニケーションの活性化を狙いとして，会話ロボットが文章の書き手の感情を推定するとともに，推定結果の判断理由を生成する手法に関する研究を行っている. 本研究では，判断理由として書き手の感情が生起した要因に着目し, 感情的な出来事について書かれた文章から書き手の感情の生起要因を含む要約文（感情要約文）を生成する手法を提案する．T5を用いた提案手法の方が，ベー スラインにおけるSBERTを用いた抽出型要約と比較して高いROUGE スコアを示し, 人間の作成した要約文とほぼ変わらない文を生成した。さらに， $\mathrm{T} 5$ は感情推定を同時に行う場合においても同様の結果を示し, 入力文章に感情タグを入れることで生成文の感情表現を制御できることを示した.

## 1 はじめに

人間同士のコミュニケーションを活性化する会話ロボットの研究が行われており $[1,2]$, 我々は人間同士の感情コミュニケーションでは感情のやり取りが重要な役割を担う点 $[3,4,5]$ に着目し, 文章と絵を用いて人間同士の感情コミュニケーションを活性化する会話ロボットの研究を進めている $[6,7,8]$.会話ロボットが共感や発話によって人間同士の感情コミュニケーションを促進できれば，心理セラピー 効果が得られる [3] だけでなく，良好な対人関係の構築に役立ち [4], 社会交流の活性化につながることが期待される. また, 社会交流の活性化は認知症の予防にも効果的である [5].

会話ロボットが絵から感情を推定し応答する研究では, 感情推定の結果だけでなく, ロボットがその感情であると判断した理由も一緒に応答することで，人間同士のコミュニケーションがさらに活性化することが示唆された [7]. 一方で，人間は，書き手の感情を推定する根拠として文章の内容を用いるこ
とが自然である。このため，会話ロボットが絵だけでなく文章も判断理由に用いることができれば，応答の幅が広がり，妥当性や信頼性の向上によって，人間同士のコミュニケーションをより活性化することができると考えられる。

そこで，我々は会話ロボットの感情判断理由として書き手の感情が生起する要因に着目し, 感情的な出来事について書かれた文章から書き手の感情生起要因を含む要約文（以後, 感情要約文) を生成する手法を提案する．具体的には，「昨日、とても嬉しいことがありました。当選確率の低いライブに当選しました！！最高にうれしい！！速攻で有給の申請を入れました。ののように感情的に書かれた文章から，「当選確率の低いライブに当選したから嬉しい」のような要約文を生成する。

会話ロボットと感情生起要因に関連する研究に,感情生起要因を利用した感情推定 $[9,10]$ がある. 本研究は基本的に入力文章の感情は推定済みとして,入力感情の生起要因に着目した要約文を生成する点に特徴がある。

以下において，2 節で提案手法とデータセットの構築方法を述べ，3節で評価の方法と結果について示す. 最後に，4 節で結果についてまとめる.

## 2 提案手法

## 2.1 諸定義

本研究における感情, 感情表現, 感情要約文を関連研究 $[9,10,8]$ を参考に次のように定義する.

感情 Plutchik の基本 8 感情 [11] の\{喜び，悲しみ，怒り，恐れ，嫌悪，信頼，予期，驚き\}とする。

感情表現中村の感情表現辞書 [12]をもとに作成された感情強度辞書 [13] のうち，幸村の定義 [14] を満たす述語とする。

感情要約文感情生起要因は「当選確率の低いライ

図1喜びのアノテーション済み文章例

ブに当選したので／嬉しい」のように感情表現に原因・理由の副詞節を作る接続表現を伴って従属接続できるものとする．この文型を感情生起要因文型と呼び，この文型を満たす要約文を感情要約文と呼ぶ.

## 2.2 提案手法の概要

近年，様々な自然言語処理タスクをText-To-Text で解くトランスフォーマーモデル T5 が発表され，当時の GLUE や SuperGLUE などの様々なタスクで SoTAを達成した [15]. 本研究では T5を用いて文章の感情要約文を生成する。

## 2.3 データセットの作成

学習・評価に用いるためのデータセットを構築する. 事前に書き手の感情が推定済みの文章を収集した. まず，複数人のクラウドワーカーがあるテーマと感情をもとに 4，5 文からなる文章を作成し，次に，1つの文章につき 5 人の独立したクラウドワー カーが書き手の感情を推定した. 本研究では，これらのうち 3 人以上の感情が一致した文章を使用し，多数派感情を文章の書き手の感情とする。このように作成した 1212 件の各文章に対して，下記に示す作業を行う. また， 1 つの文章に 3 人分の作業デー タを付けるものとし， 1 人分の作業例を図 1 に示す.

作業 1 書き手の感情が生起した要因となる出来事を感情生起要因文型に沿って簡潔に要約する。

作業 2 作業 1 に用いた出来事（感情生起要因）の含む文をすべて選択する。

作業 3 作業 2 で選択した文のうち，最も主な出来事（感情生起要因）を含む文を 1 つ選択する。

このデータセットを train $: \operatorname{dev}:$ test $=8: 1: 1$ に分割して学習・評価データとする。表 $1 \mathrm{~T} 5$ の学習データ例 input<喜び>体重が減ってる！結婚式まであと 1 か月!!!この調子で目標体重まで瘦せるぞ!! !もも体も何だか調子が良くて最高!!

target 体重が減ったから嬉しい。

## 2.4 T5 のファインチューニング

事前学習済み $\mathrm{T} 5$ はウェブ上に公開されているモデル1)を利用し，HuggingFace 社の Transformers[16] を用いてファインチューニングする。 T5 は Text-ToText のモデルであるため，学習に用いる input と target はテキストである. 本研究では表 1 に示すように，input を接頭辞に感情タグ (例:<喜び〉)を付けた感情的な出来事について書かれた文章とし， targetを作業 1 で作成された文とする。これらを用いて，約 3 千件のデータを max_input_length $=128$, max_target_length $=32$, batch $=32$, epochs $=10$ の設定で学習する。

## 3 評価

## 3.1 評価方法

T5を利用した提案手法における生成文を，次節で述べるべースラインにおける生成文と 2.3 節で作成した作業者の要約文を基準に評価する．評価指標には ROUGE-N-F[17] を利用し, 評価データには学習に未使用の 126 文章を用いる。

## 3.2 ベースライン

我々はこれまでに感情と文章を入力することで 2.3 節の作業 3 を推定する手法を提案してきた [8].具体的には，文章 $S$ とその書き手の感情 $e$ が与えられたときに，感情 $e$ が生起する原因となった主な出来事を含む文番号 $i d x$ を推定する手法を提案した。 このとき，式 (1) に示すように，文番号 $i d x$ は入力各文 $\mathbf{S}^{i}$ と事前に自動収集された感情生起要因文型を満たす事例全件 $\mathbf{E P}_{e}^{i}$ の文ベクトルによって計算されるコサイン類似度行列の最大値によって決まる。

$
i d x=\underset{i}{\arg \max }\left(\max _{j}\left(\operatorname{CosSim}\left(\mathbf{S}^{i}, \mathbf{E P}_{e}^{j}\right)\right)\right)
$

しかし，正解率は低く，推定される文は感情生起要因文型を満たすとは限らないという 2 つ大きな問題点がある。これらの問題点を解決した手法をベースラインとする.

1) https://huggingface.co/sonoisa/t5-base-japanese
正解率の向上正解率が低い原因は，自動収集した感情生起要因事例のノイズや別の意味の事例と高い類似度を持つことに起因する。ノイズに関しては，事例の自動収集時の形態素解析器を KNP[18] に変更してタグく節-機能: 原因・理由〉と係り受け情報を用いて感情生起要因文型を検知することで大幅に削減した.また，文の特徵量を改善するために SBERT[19]を利用する. SBERT は良質な文べクトルを生成するために，BERT 族を効率的にファインチューニングするモデルである. 本研究では事前学習済みモデルに東北大学の公開している BERT ${ }^{2)}$ を，損失関数に TripletLoss(anchor 文に作業 1 の文, positive 文に作業 3 の文, negative 文に作業 2 以外の文)を用いて T5 と同様の学習データで学習した (batch=32, epochs=10).

要約生成ヒューリスティクス 2つ目の問題点を解決するために, 文を感情生起要因文型を満たす形に変形する手法を提案する. 式 (1) で推定された文 (以後, 選択文) に対して，次のヒューリスティクスを適用し感情要約文を作成する。

1. 選択文中に感情生起要因文型がある場合は 「【文中の感情生起要因】【文中の接続表現】【文中の感情表現】」を出力.

2. 上記以外で入力文章中に感情表現が含まれる場合は「【選択文の文末過去形】【基本接続表現】【文章中の感情表現】」を出力.

3. 上記以外の場合「【選択文の文末過去形】【基本接続表現】【基本感情表現】」を出力.

ここで，基本表現は 2.3 節で構築したデータセッ卜で最も使用された接続表現「ので」と感情表現「(喜び) 嬉しい，(悲しみ) 悲しい，(怒り) 腹が立つ， (恐れ) 不安だ， (信頼) 信頼している，(嫌悪) 嫌だ， (驚き) 驚いた，(予期) 興味がある」を利用する。

## 3.3 結果と考察

## 3.3.1 ベースラインの事前実験

表 2 に先行研究を改良したベースラインの作業 3 の推定結果を示す.ここで， $E[X]$ は作業 3 を正解する期待値, normal はノイズ除去済みの事例データベース約 3.5 万件 3 )を用いたシステムの結果, ideal は作業 1 の結果を normal で用いた事例データベー

表 2 主な感情生起要因を含む文の推定正解率

表 3 生成要約文と参照文の ROUGE スコアの比較 ROUGE-N-f

スに追加した結果である. normal の結果を見ると， SBERTを用いたシステムは先行研究と同じ状況である BERT を用いたシステムよりほんの少し向上しているが，依然として期待値とほぼ同じ値である。一方で ideal の結果を見ると，SBERT を用いたシステムの正解率は非常に高いことが分かる. このことから，コサイン類似度と感情生起要因事例データベースを用いた主な感情生起要因の含む文の推定では，事例データベース内に類似する事例がある場合に文の特徴量化手法として SBERTを用いることは有效であると言える. 今後, 特に記載のない限り SBERT-normal の結果を用いるものとする。

## 3.3.2 要約文の生成結果と考察

表 3 に各手法における生成文の ROUGE スコアを示す. なお，users は作業者間のスコア平均である。具体的には，ある 1 人の作業者の要約文を生成文,他の 2 人の要約文を参照文として，すべての組み合わせにおいて ROUGE スコアを計算したときのスコアの平均值である。このスコアは作業者間の要約文の単語一致度を示し, システムのスコアがこの値に近ければ近いほどシステムは作業者の作成した要約文と同じ単語を生成していると言える.

ベースラインの結果の考察 baseline-predicted task3 は先行研究を改善した手法の結果 (表 2 の SBERT-normal の結果に対応) であり，-correct task3 は主な感情生起要因の推定は行わずに作業者の作業 3 の結果をそのまま 3.2 節で定義した要約生成ヒューリスティクスに入力した場合である.

表 3 を見ると，主な感情生起要因の推定の正解率が低い状態ではスコアが低く, 仮に主な感情生起要因の推定で完全に正答した場合 (-correct task3 の結
表 4 入力文章と各システムの生成例

} \\

果)でも T5 や作業者間のスコアには届かないことが示された.

具体的な結果を考察したところ，作業者たちが作業 3で選択した文をそのまま要約文に使用している場合にスコアが高くなり，作業 2 で選択した文に含まれる単語を利用した場合や，同義語や類義語で置換する場合にスコアが低くなる傾向があった. 表 4 の baseline に生成結果の一例を示す. 表 4 に示すように式 (1)によって選択された文の文末に感情表現が入っている場合, 生成文の感情表現が重複することがあった.

T5 の結果の考察 T5-add emotion tag は表 1 のように感情タグを文頭に付けた場合であり，-no emotion $\operatorname{tag}$ はそれがない場合である.

表 3 を見ると，どちらの場合においても，作業者間のスコアとほぼ変わらない。このことから T5 は作業者間の作成した要約文とほぼ同じ単語を用いて要約文を生成していると言える。

具体的な結果を考察したところ, -add emotion tag では意味の通らない文はほとんどなかった. 表 3 の T5 の ROUGE スコアが作業者間のスコアよりも高くなるのは，表 4 に示すように，T5 の生成文がある作業者の参照文とほぼ同じ文を生成していることに起因する。また，表 3 の-no emotion tag が-add emotion tag よりも若干低い結果になっているのは，入力文章の感情とは異なる感情表現を生成しているためであった. このため, T5-no emotion tag の生成文には，文法的には正しいが意味は通らない文が稀にあった.表 $5 \mathrm{~T} 5$ の生成文を用いた感情推定の正解率

そこで，不適切な感情表現を生成する現象に着目し， T5 の生成文に対して感情表現辞書を用いた単純な感情推定を行った. このとき，表 5 に感情推定の正解率を文章の多数派感情の一致人数別にまとめたものを示す．表を見ると，感情タグがない場合は一致人数が少なくなるにつれて正解率が下がっていることが分かる。一方で，感情タグがある場合は一致人数にかかわらず正解率は高い.このことから，人間が見ても書き手の感情が分かりずらい場合は $\mathrm{T} 5$ も感情を当てにくいことが分かった. また，感情夕グを入れることで出力文の感情を制御することが可能であることも示唆された.

## 4 おわりに

会話ロボットの感情の判断理由として文章中の感情生起要因に着目し, 文章の感情生起要因を含む要約文（感情要約文）を生成する手法を提案した. 具体的には，感情的な出来事について書かれた文章を用いて感情要約文を生成するように $\mathrm{T} 5$ をファインチューニングする方法とそのためのデータセットの構築方法を提案した. ベースラインとして, SBERT を用いて入力文章の中から主な感情生起要因の含む文を選択し，ヒューリスティクスによって感情要約文を作成する手法を定義した。提案手法と比較したところ，ベースラインは主な感情生起要因の含む文の選択精度が ROUGE スコアに大きく関わるを示した.また，ヒューリスティクスに正解文を入力した場合でも T5 の ROUGE スコアには届かないことを示した. T5 では学習データが少ないにもかかわらず，ROUGE スコアが高い自然な文を生成した。一方で，入力文章に感情タグを入れない場合，書き手の感情が人間でも理解しにくい文章は $\mathrm{T} 5$ でも適切な感情表現を生成できない傾向があった. しかし，感情タグを入れれば適切な感情表現を生成できることが分かった.

今後の課題として，提案手法に基づいて判断理由を応答する会話ロボットを構築し，実際に人間同士のコミュニケーションを促進できるか実証実験を行う必要があると考えられる。

## 謝辞

本研究は科研費（16K00355）の助成を受けたものである。また，株式会社 Insight Tech が国立情報学研究所の協力により研究目的で提供している「不満調查データセット」を利用した.

## 参考文献

[1] Kohji Dohsaka, Ryota Asai, Ryuichiro Higashinaka, Yasuhiro Minami, and Eisaku Maeda. Effects of conversational agents on activation of communication in thoughtevoking multi-party dialogues. IEICE Transactions on Information and Systems, Vol. E97.D, No. 8, pp. 21472156, 2014.

[2] Shinya Fujie, Yoichi Matsuyama, Hikaru Taniyama, and Tetsunori Kobayashi. Conversation robot participating in and activating a group communication. In INTERSPEECH, pp. 264-267, 2009.

[3] Jonathan R Carryer and Leslie S Greenberg. Optimal levels of emotional arousal in experiential therapy of depression. Journal of consulting and clinical psychology, Vol. 78, No. 2, pp. 190-199, 2010.

[4] Ronald E Riggio. Assessment of basic social skills. Journal of Personality and social Psychology, Vol. 51, No. 3, pp. 649-660, 1986.

[5] Laura Fratiglioni, Stephanie Paillard-Borg, and Bengt Winblad. An active and socially integrated lifestyle in late life might protect against dementia. The Lancet Neurology, Vol. 3, No. 6, pp. 343-353, 2004.

[6] 木下圭, 堂坂浩二, 石井雅樹, 伊東嗣功. 文書と絵からの感情認識手法の開発. 言語処理学会第 25 回年次大会, pp. 117-120, 2019.

[7] 鈴木哲司, 堂坂浩二. コミュニケーション活性化を目的とした絵からの感情判断理由の生成. 秋田県立大学ウェブジャーナル B(研究成果部門), No. 5, pp. 24-31, 2018

[8] 福田芳樹, 堂坂浩二, 石井雅樹, 伊東嗣功. BERT を利用した感情生起要因推定手法の検討. 人工知能学会第 34 回全国大会論文集 (4Rin182), 2020.

[9] 松本和幸, 三品賢一, 任福継, 黒岩眞吾. 感情生起事象文型パターンに基づいた会話文からの感情推定手法. 自然言語処理, Vol. 14, No. 3, pp. 239-271, 2007.

[10] 徳久良子, 乾健太郎, 松本裕治. Web から獲得した感情生起要因コーパスに基づく感情推定. 情報処理学会論文誌, Vol. 50, No. 4, pp. 1365-1374, apr 2009.

[11] Robert Plutchik. The nature of emotions: Human emotions have deep evolutionary roots, a fact that may explain their complexity and provide tools for clinical practice. American scientist, Vol. 89, No. 4, pp. 344-350, 2001.

[12] 中村明. 感情表現辞典. 東京出版, 1993.

[13] 赤堀立樹, 堂坂浩二, 伊東嗣功, 石井雅樹. 感情強度辞書を利用した日本語ツイートの感情強度の推定. 人工知能学会第 33 回全国大会論文集 (3Rin214), 2019.

[14] 幸村幸夫. 日本語のシンタクスと意味. くろしお出版, 1982 .

[15] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine
Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. Journal of Machine Learning Research, Vol. 21, No. 140, pp. 1-67, 2020.

[16] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Rémi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander M. Rush. Transformers: State-of-the-art natural language processing. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 38-45, Online, October 2020. Association for Computational Linguistics.

[17] Chin-Yew Lin. ROUGE: A package for automatic evaluation of summaries. In Text Summarization Branches Out, pp. 74-81, Barcelona, Spain, July 2004. Association for Computational Linguistics.

[18] 笹野遼平, 黒橋禎夫. 大規模格フレームを用いた識別モデルに基づく日本語ゼロ照応解析. 情報処理学会論文誌, Vol. 52, No. 12, pp. 3328-3337, 2011.

[19] Nils Reimers and Iryna Gurevych. Making monolingual sentence embeddings multilingual using knowledge distillation. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing. Association for Computational Linguistics, 112020.

[20] 三澤賢佑, 成田和弥, 田内真惟人, 中島正成, 黒橋禎夫. 定量調査のための意見調査コーパス構築への取り組み. 言語処理学会第 23 回年次大会発表論文集, pp. 1014-1017, 2017.


# 抽出型要約と言い換えによる生成型要約の訓練データ拡張

Loem Mengsay 高瀬翔 金子正弘 岡崎直観
東京工業大学情報理工学院
\{mengsay. loem, sho. takase, masahiro.kaneko\}@nlp.c.titech.ac.jp
okazaki@c.titech.ac.jp

## 概要

大量の訓練データを用いたニューラルモデルは生成型要約タスクにおいて高い性能を達成している. しかしながら，大規模な並列コーパスの構築はコストの観点から容易ではない.これを解決するため,本研究では生成型要約タスクの疑似訓練データを低コストで効果的に構築する手法を提案し, 訓練デー タを拡張する。提案手法は抽出型要約と言い換えの 2 つのステップで疑似訓練データを構築する. 抽出型要約では入力テキストの主要部分を抽出し，言い換えではその多様な表現を得る．実験を通して，提案手法は生成型要約タスクの性能を向上させ，逆翻訳や自己学習などの既存の訓練データ拡張手法を上回ることを確認する。

## 1 はじめに

ニューラルエンコーダ・デコーダは，機械翻訳や自動要約などの様々な系列変換タスクにおいて顕著な性能を達成している $[1,2]$. 近年の研究においてニューラル手法の性能は訓練データ量に対数比例することが指摘されており [3], 系列変換タスクにおいて高い性能を達成するためには，大規模な並列コーパスが必要である [4]. 本稿では，生成型要約タスクにおけるニューラルエンコーダ・デコーダの性能を向上させるために，訓練データを拡張することに取り組む。

人手による並列コーパスの構築はコストが高いため, 既存研究では疑似訓練データを自動的に構築する方法が検討されている. 疑似訓練データを構築する方法としては，逆翻訳 [5] が広く用いられている。翻訳タスクにおける逆翻訳では，翻訳先の言語の文から翻訳元の言語の文を生成するモデルを学習し，得られたモデルを翻訳先の言語のコーパスに適用し，翻訳元の言語の疑似コーパスを生成する。この逆翻訳手法を要約に適用した場合，モデルは要約か
ら原文書を生成する必要があるため，要約タスクにおける逆翻訳は本質的に非現実的である（付録 A）.

He ら [6] は，自己学習が機械翻訳や要約タスクの性能を向上させることを示した. 自己学習では教師モデルを学習し，そのモデルを入力側のコーパスに適応し, 出力側の疑似コーパスを生成する。逆翻訳が非現実的な処理であったのに対し, 自己学習による疑似要約の生成は合理的である. しかしながら，自己学習を適用した場合，多様な要約の生成が困難であると指摘されている [7]. これらの問題に加え，自己学習や逆翻訳において高品質な疑似データを得るためには，大量の訓練データで教師モデルや逆翻訳モデルを学習しておく必要があるため，データ構築のコストが高い.

そこで，本研究では生成型要約の疑似訓練データを構築する新たなアプローチとして，抽出型要約と言い換えの組み合わせによる手法を提案する．提案手法は原文の統語構造を基に，ヒューリスティックな手法で重要な部分を要約として抽出する.このため, 逆翻訳や自己学習と異なり, 疑似訓練データ作成のためだけにニューラルモデルを構築する必要がない。抽出された要約に対し，既存のモデルを活用した言い換え手法を適用し，多様な疑似要約を得る.

本研究では見出し生成タスクと文書要約タスクで実験を行う．実験を通して，提案手法による疑似訓練データは両タスクにおいて性能を向上させることを確認した．具体的には，疑似データを用いることにより両タスクの ROUGE F1 スコアが 0.50 以上向上した。また，生成された疑似データの性質を分析し，提案手法による疑似データの生成が従来手法より効率的であることを示した．提案手法は真の訓練データが少ない低リソースの設定においても頑健であることが確認された（付録 B）.

図 1 提案手法による疑似データの生成過程の例.

## 2 提案手法

1 節で述べたように，提案手法は抽出型要約と言い換えから構成される. 図 1 に提案手法の概要を示す. 提案手法は文を入力とし，その文に対応する疑似要約文を生成する。このため, 文書から疑似要約を構築する場合には，文書内に含まれる複数の文に対して独立に提案手法を適用し, 各文の要約文の集合を文書の要約とする.

## 2.1 ステップ 1 ：抽出型要約

抽出型要約のステップでは，原文の中から重要な部分を抽出する，すなわち，入力文の文圧縮を行う. 先行研究ではルールベースの手法 [8], 構文木から重要部分を検出するアプローチ [9]，ニューラルベースの手法 $[10,11]$ などの圧縮方法が提案されている。本研究では，コストの少ない手法，すなわち，新たにモデルを構築する必要のない手法として，与えられた文の構文木を基に文圧縮を行う.

本研究では，文の重要な部分は与えられた文の構文木の根付き部分木であると定義する. まず，与えられた文を係り受け解析し，その係り受け木を得る. 次に，係り受け木の深いノード，すなわち，末端に近いノードを刈り，元の構文木よりも深さの小さい根付き部分木を得る. 本手法では部分木の深さによって, 出力要約の長さ (単語数)を調整することができる. 本研究では，係り受け木の染さの半分より深いノードを刈る. 図 1 の下段（左）に本ステップの例を示す.

## 2.2 ステップ 2 : 言い換え

ステップ 1 により抽出された要約は原文に含まれる単語のみで構成されている．要約の多様性を高めるために要約に言い換えの手法を適用する．高品質なニューラル機械翻訳モデルが公開されているため，言い換えには機械翻訳モデルを用いたアプロー チ [12]を採用する．具体的には，文を別の言語に翻訳し，翻訳された文を元の言語に翻訳する折り返し翻訳を行い，言い換えを得る。図 1 の下段（右）に本ステップの例を示す.

## 3 実験

提案手法の効果を調べるため, 見出し生成と文書要約の 2 つの要約タスクで実験を行った. 見出し生成タスクでは Gigaword データセット [2]を用いた. このデータセットには，英語 Gigaword コーパスから抽出された約 380 万の文書の 1 文目と見出し文の対が訓練データとして含まれる。文書要約タスクでは，単一の文書要約タスクに広く利用されている CNN/DailyMail データセット [13]を用いた。このデータセットには，CNN と DailyMail のウェブサイトから抽出されたニュース記事と要約の 28 万対が訓練データとして含まれている。ニューラルエンコーダ・デコーダモデルとして fairseq ${ }^{1)}$ に実装されている Transformer[14]を用いた。

## 3.1 比較手法

既存研究で提案されてきた代表的な訓練データ拡張手法との比較を行う. 疑似データの構築は各デー タセットの訓練データをもとに行う．なお，Caswell

1) https://github.com/pytorch/fairseq
表 1 見出し生成タスクと文書要約タスクにおける ROUGE F1 スコア. 丸括弧の中は疑似訓練データ数を示す。

ら [15] に従い，全ての疑似訓練データについての入力の先頭に<Pseudo>の特殊トークンを付加する.

オーバーサンプリング訓練データから原文書と要約の対をサンプリングし，訓練データに追加する.すなわち，この手法で構築される訓練データには，真の訓練データのみが含まれる。

逆翻訳訓練データを用いて，要約から原文を生成するニューラルエンコーダ・デコーダの学習を行う. 次に，このモデルを訓練データ内の要約に適用し，対応する原文書を生成する. 生成された原文書と真の要約の対を疑似訓練データとして使用する。

自己学習各訓練データを用いて, 原文書から要約を生成するニューラルエンコーダ・デコーダを学習する. 次に，訓練データの原文をニューラルエンコーダ・デコーダに入力し，対応する要約を生成する. 真の原文書と生成された要約の対を疑似訓練データとして使用する.

提案手法各訓練データに対して提案手法を適用する．2 節で説明したように，提案手法は文単位で疑似要約を生成する。ニューラルエンコーダ・デコーダでは先頭の数文を入力とすることが多いことにならい，文書要約タスクでは，原文書に含まれる冒頭の 3 文を提案手法への入力とし, 各文の要約を元の順序で連結して原文書の要約とする. 抽出型要約ステップの係り受け解析には， $\mathrm{spaCy}^{2}$ を使用する. 言い換えステップでは, $\mathrm{Ng}$ ら [16] が構築した英独・独英翻訳モデル ${ }^{3}$ を使用する。

## 3.2 結果

表 1 に真の訓練データのみを用いた場合と，各データ拡張手法を用いた手法の ROUGE スコアを示す.オーバーサンプリングは拡張を行わない場合と比較して高いスコアを達成している。この結果は，重複した学習事例であっても訓練データ量が増え

表 2 生成された疑似要約の真の要約に対する BLEU と F1 BERTScores.

るほど，ニューラルエンコーダ・デコーダの性能が向上することを示唆している。逆翻訳と自己学習は拡張を行わない場合よりも性能は高いが，オーバー サンプリングと同程度のスコアである。これらの結果は，性能改善は両者が生成する疑似データの品質ではなく，学習データの増加によってもたらされたことを示唆している。逆翻訳と自己学習は疑似デー タの生成に別のモデルを学習する必要があるため, そのコストを考慮するとオーバーサンプリングが優れている。これらに対し，提案手法は他のデー 夕拡張手法よりも高い性能を達成した。特に，提案手法による疑似訓練データは見出し生成における ROUGE-2 スコアを大幅に向上させた。文書要約では，拡張を行わない場合と比較して提案手法によるデータ拡張は全ての ROUGE スコアを有意に向上させた4)．これらの結果から，提案手法はオーバー サンプリング，逆翻訳，自己学習を含む既存のデー タ拡張手法よりも，生成型要約タスクのための疑似データを構築するのに有効であると言える.

## 4 分析

## 4.1 疑似データの多様性

1 節で述べたように，提案手法は自己学習より多様な要約を生成するために言い換えを行なっている.この効果を検証するために，自己学習と提案手法により生成された疑似要約を比較する。表 2 は各訓練データにおける真の要約と生成された疑似

4） スチューデントの $\mathrm{t}$ 検定で $p<0.05$.
表 3 疑似データ生成するのに要する時間と費用.

要約の BLEU スコアを示している．また，意味的類似性の指標として F1 ベースの BERTScore[17] も示している. この表から, 自己学習と提案手法の BERTScore は高いことがわかる. この結果は生成された要約が真の要約と意味的に類似していることを意味する.このことから，いずれの方法で生成された要約も疑似データとして意味的に適していると言える。

一方，提案手法の BLEU スコアは自己学習のスコアよりも低い.この結果は, 自己学習と比較して提案手法が真の要約と異なるフレーズを多く含んだ疑似要約を生成していることを示している。 すなわち, 提案手法で構築した訓練データは自己学習よりも多様な要約を含むことが分かる。

## 4.2 疑似データ生成の効率

提案手法は公開されている翻訳モデルをそのまま用いることができるため，逆翻訳や自己学習のように翻訳・生成モデルを学習する必要はない. そのため, 既存手法と比較すると低コストで疑似データを構築できる. 表 3 は各疑似データの構築手法の所要時間5)を示す. また，クラウドコンピューティングサービスである Amazon EC2を用いて疑似データを構築した場合に必要な費用も示している. 表 3 から，逆翻訳と自己学習はモデルの学習に多くの時間を要することがわかる。一方, 提案手法では学習を必要としないため, 他の手法と比較して $1 / 10$ 以下の金額で疑似データを構築できる。

## 5 関連研究

逆翻訳と自己学習は，系列変換タスクのデータ拡張手法として広く使われている $[5,18,6]$. 逆翻訳は機械翻訳において有効なアプローチであるが，1 節で述べたように，要約タスクに適用するのは非現実的である。また，自己学習は機械翻訳や要約タスク

において有効な手法と報告されている $[19,6]$ が，多様な疑似データを生成することは困難である [7] ため，性能の向上に限界がある.

訓練データとの差異が小さい摂動を用いて性能改善を行う手法は，データ拡張とみなすことができる [20]. Takase ら [21] は, 単語ドロップアウトや単語置換のような単純な手法は敵対的摂動よりも効率的に性能を向上させられることを示した.これらの摂動は本研究の提案手法と独立しているため, 組み合わせることでさらに性能向上が期待できる.

提案手法の抽出型要約のステップでは文圧縮の手法を用いている. Dorr ら [8] は言語学的に動機づけられたヒューリスティックを用いたルールベースの文圧縮手法を提案した. Filippova ら [9] は訓練デー タから重要な部分木を学習する教師あり文圧縮法を提案した。また，近年ではニューラルネットを用いた文圧縮の研究も行われている $[10,11]$. 本研究では教師ありモデルや学習コーパスを必要としない,文の構文木に基づくルールベースの手法を採用し文の圧縮を行った。

提案手法は抽出された要約に対して言い換えを行い，疑似データの多様性を高めている. Bolshakov ら [22] は辞書に基づき単語を同義語に置き換えることで，言い換えを行う手法を提案した。最近の研究は，言い換えタスクを系列変換タスクとして定式化することにより，ニューラルベースの言い換え生成を行っている [23]. 機械翻訳モデルを用いた折り返し翻訳による言い換え文生成も提案されている [12]. 近年は高性能な機械翻訳モデルは公開されているため，本研究では言い換え生成の手法として折り返し翻訳を採用した。

## 6 おわりに

本研究では, 生成型要約タスクのための疑似デー タを生成する新しい手法を提案した. 提案手法は抽出型要約と言い換えの 2 つのステップから構成される。抽出型要約により入力の重要な部分を見つけ，言い換えにより多様な表現を獲得する．実験の結果，提案手法は逆翻訳や自己学習の疑似データ生成手法と比較して，より効果的であることが示された. また，提案手法は疑似データ生成において追加でモデルを学習する必要がないため, 他の手法に対して，コストの面でも優れていることを示した.

謝辞本研究は JSPS 科研費 $19 \mathrm{H} 01118$ および JP21K17800 の助成を受けたものです.

## 参考文献

[1] Dzmitry Bahdanau, Kyunghyun Cho, and Yoshua Bengio. Neural machine translation by jointly learning to align and translate. In 3rd International Conference on Learning Representations, 2015.

[2] Alexander M. Rush, Sumit Chopra, and Jason Weston. A neural attention model for abstractive sentence summarization. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 379-389, 2015.

[3] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners. In Advances in Neural Information Processing Systems 33, pp. 1877-1901, 2020.

[4] Philipp Koehn and Rebecca Knowles. Six challenges for neural machine translation. In Proceedings of the First Workshop on Neural Machine Translation, pp. 28-39, 2017.

[5] Rico Sennrich, Barry Haddow, and Alexandra Birch. Improving neural machine translation models with monolingual data. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics, pp. 86-96, 2016.

[6] Junxian He, Jiatao Gu, Jiajun Shen, and Marc'Aurelio Ranzato. Revisiting self-training for neural sequence generation. In International Conference on Learning Representations, 2020 .

[7] Jiatao Gu, James Bradbury, Caiming Xiong, Victor OK Li, and Richard Socher. Non-autoregressive neural machine translation. In International Conference on Learning Representations, 2018.

[8] Bonnie Dorr, David Zajic, and Richard Schwartz. Hedge trimmer: A parse-and-trim approach to headline generation. In Proceedings of the HLT-NAACL 03 Text Summarization Workshop, pp. 1-8, 2003.

[9] Katja Filippova and Yasemin Altun. Overcoming the lack of parallel data in sentence compression. In Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing, pp. 1481-1491, 2013.

[10] Katja Filippova, Enrique Alfonseca, Carlos A. Colmenares, Lukasz Kaiser, and Oriol Vinyals. Sentence compression by deletion with LSTMs. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 360-368, 2015.

[11] Hidetaka Kamigaito, Katsuhiko Hayashi, Tsutomu Hirao, and Masaaki Nagata. Higher-order syntactic attention network for longer sentence compression. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human
Language Technologies, pp. 1716-1726, 2018.

[12] Jonathan Mallinson, Rico Sennrich, and Mirella Lapata. Paraphrasing revisited with neural machine translation. In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics, pp. 881-893, 2017.

[13] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics, pp. 1715-1725, August 2016.

[14] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in Neural Information Processing Systems 30, pp. 5998-6008, 2017.

[15] Isaac Caswell, Ciprian Chelba, and David Grangier. Tagged back-translation. In Proceedings of the Fourth Conference on Machine Translation, pp. 53-63, 2019.

[16] Nathan Ng, Kyra Yee, Alexei Baevski, Myle Ott, Michael Auli, and Sergey Edunov. Facebook FAIR's WMT19 news translation task submission. In Proceedings of the Fourth Conference on Machine Translation, pp. 314-319, 2019.

[17] Tianyi Zhang, Varsha Kishore, Felix Wu, Kilian Q. Weinberger, and Yoav Artzi. Bertscore: Evaluating text generation with BERT. CoRR, Vol. abs/1904.09675, , 2019.

[18] Shun Kiyono, Jun Suzuki, Masato Mita, Tomoya Mizumoto, and Kentaro Inui. An empirical study of incorporating pseudo data into grammatical error correction. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, pp. 1236-1242, 2019.

[19] Jiajun Zhang and Chengqing Zong. Exploiting source-side monolingual data in neural machine translation. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 1535-1545, 2016.

[20] Sosuke Kobayashi. Contextual augmentation: Data augmentation by words with paradigmatic relations. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 452-457, 2018.

[21] Sho Takase and Shun Kiyono. Rethinking perturbations in encoder-decoders for fast training. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 5767-5780, 2021.

[22] Igor A. Bolshakov and Alexander Gelbukh. Synonymous paraphrasing using wordnet and internet. In Natural Language Processing and Information Systems, pp. 312323, 2004

[23] Aaditya Prakash, Sadid A. Hasan, Kathy Lee, Vivek Datla, Ashequl Qadir, Joey Liu, and Oladimeji Farri. Neural paraphrase generation with stacked residual LSTM networks. In Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics: Technical Papers, pp. 2923-2934, 2016.
表 4 逆翻訳により生成された原文と真の原文との ROUGE F1 スコア. 比率と差は, 生成された原文と真の原文に含まれるトークン数の比較である.

## A 逆翻訳による疑似データ

1 節で述べたように，生成型要約タスクにおける逆翻訳アプローチは，要約から原文を復元する必要があるため，本質的に不可能である．そこで，逆翻訳により生成された原文の性質を調べた。

表 4 は，逆翻訳により生成された原文の長さ （トークン数）の比率と差とを示す. 生成された原文は元の原文より短いことが分かる.この結果は,逆翻訳が真の原文の情報を完全に復元できていないことを示している。つまり，要約から原文を生成することが難しいことを意味している。

また，逆翻訳により生成された原文が真のデータに対応しているかを調べるために，真の原文を正解と見なした場合の ROUGE スコアを表 4 に示す. 文書要約の場合, ROUGE スコアは極めて低くなっている。この結果からも，逆翻訳は原文の生成に失敗していることがわかる.

一方，見出し生成の ROUGE スコアは文書要約の ROUGE スコアと比較して高い. この結果は, 逆翻訳は要約から原文の核となる部分を復元できる可能性を示している。見出し生成タスクは，与えられた文章から見出しを生成するタスクであるため，要約 （見出し）には原文の主要な部分が含まれていることが多い. このような性質が高いROUGE スコアの要因になっていると考えられる。

## B 低リソース設定

2 節で述べたように，提案手法は訓練データの量が少ない場合でも，頑健であると予想される。この仮説を調べるために，低リソースな訓練データの設定で実験を行なった。

見出し生成タスクと文書要約タスクの各訓練セットから，1千件の事例を抽出する. 抽出された事例は，真の訓練データとし，残りの事例を疑似データの生成に利用する. 比較手法と実験設定は 3 と同様である.

表 5 と 6 に，見出し生成タスクと文書要約タスクにおける，各手法の ROUGE F1 スコアを示す. 両夕表 5 低リソース設定における見出し生成タスクの結果.

表 6 低リソース設定における文書要約タスクの結果.

スクにおいて，オーバーサンプリングは拡張なしを上回る性能を得ることがわかる. このように，重複した学習データはニューラルエンコードデコーダモデルの性能を向上させる. この結果は, 3.2 の結果と整合性がある。

表 5 により, 見出し生成では，逆翻訳がオーバー サンプリングより高いスコアを達成している。また，表 6 により，文書要約では自己学習がオーバー サンプリングより優れていることが分かる.この結果は，適切なタスクに適用すれば，既存のアプロー チがオーバーサンプリングよりも効果的である可能性を示している。

一方，提案手法は両タスクにおいて他の手法より有意に高い性能を達成している. よって，提案手法は真の訓練データの量が少ない場合にも有効であることがわかる.