# 分散表現を用いたロマンス語同源語動詞の意味変化の分析

川崎 義史 ${ }^{1}$ Maëlys Salingre ${ }^{1}$ Marzena Karpinska ${ }^{2}$ 高村 大也 ${ }^{3}$ 永田 亮 $^{4}$
${ }^{1}$ 東京大学 ${ }^{2}$ University of Massachusetts Amherst ${ }^{3}$ 産業技術総合研究所 ${ }^{4}$ 甲南大学
ykawasaki@g.ecc.u-tokyo.ac.jp m_salingre@phiz.c.u-tokyo.ac.jp mkarpinska@cs.umass.edu
takamura.hiroya@aist.go.jp nagata-nlp2022@ml.hyogo-u.ac.jp.

## 概要

ロマンス語とは，ラテン語から派生した姉妹言語 の総称である。ロマンス諸語には，語源を共有する 同源語が数多く存在するが，意味や用法が異なるも のもある。本稿では，ロマンス語のうち仏伊西の動詞に焦点を絞り, 意味変化の大きさと, 言語内要因 の関係を統計的に分析した。意味変化の大きさは単語の分散表現で測定した。分析の結果, 意味変化の 大きさには, ロマンス語の頻度, ラテン語の多義性, ロマンス語の単語長が影響することが判明した。

## 1. はじめに

ロマンス語とは，イタリア語, スペイン語, フラ ンス語, ポルトガル語など, ラテン語から派生した 姉妹言語の総称である[1]。ロマンス諸語には, 語源 を共有する同源語が数多く存在する。例えば, Lat. habere 'to have' は, Fr. avoir, It. avere, Sp. haber に対応する。しかし, イタリア語・フランス語では元々 の「持つ」という意味を保持している一方，スペイ ン語ではこの意味は失われ, 専ら完了時制を形成す る助動詞として使用される。このように, 語源的関係はあるものの，意味や用法が異なる場合がある。

本稿の目的は, ロマンス語のうち仏伊西の動詞に 焦点を絞り, 意味変化の大きさと, 頻度や多義性な どの言語内要因の関係を統計的に分析することであ る。計算的手法による通時的意味変化の検知は近年大きな注目を集めている[2], [3]。意味変化には，社会文化，政治状況，技術革新など言語外的要因も働 くが[4]-[6], 本稿では扱わない。意味変化の大きさ の測定には, その検出能力が知られている単語の分散表現を利用した[2], [3], [7], [8]。分析対象を動詞に 限定したのは, 名詞や形容詞よりも動詞の方が意味変化を受けやすく[8]，検知しやすいと考えたためで ある。

本研究の寄与は，次の 3 点である。まず，意味変化の大きさには，ロマンス語の頻度，ラテン語の多義性，ロマンス語の単語長が影響することを示した 点である。2 点目は，ラテン語の語源の頻度と多義性など，先行研究では考慮されていない変数を導入 した点である。 3 点目は，ロマンス語同源語ペアの 平均頻度の算出には, 算術平均よりも調和平均の方 が適していること示した点である。ここで，ロマン ス語同源語ペアとは，仏・西ぺアの avoir-haber のよ うに，共通のラテン語の語源を持つロマンス語の単語ペアのことを指す。

本稿の構成は次の通りである。2 節でデータの説明，3 節で実験結果の報告，4 節で考察を行い，5 節 で結論と今後の課題を述べる。

## 2. 分析方法

分散表現学習用のデータとして, 各言語, 2018 年 12 月時点の Wikipedia ダンプを使用した。まず， TreeTagger でレンマ化し，イタリア語・スペイン語 は Wikiextractor で，フランス語は Wiki-cirrus でクリ 一ニングを行った。単純のため, 同綴異義語の区別 はしていない。

分散表現の学習は, gensim [9]の word2vec で行っ た ${ }^{i i}$ 。vector_size $=600$, min_count $=50$ とし, それ以外の ハイパーパラメータはデフォルトの設定にした。 ロマンス語同源語ペアの類似度を測るためには， いずれかの言語のベクトル空間に，他の 2 言語の分散表現を写像する必要がある。写像は，シード語ぺ アの二乗誤差の和が最小になるように線形変換によ り行った [10]。シード語ぺアはバイリンガル辞書 MUSE の supervised バージョンから抽出した ${ }^{\mathrm{iii}}$ 。動詞 はシード語から除外した。いずれの言語ペアの組み 合わせでも，シード語の数は約 1 万語となった。後述の分析に，写像先の言語による大きな影響は見ら れなかった。以下の説明では，イタリア語・スペイ

iii https://ai.facebook.com/tools/muse/

ン語がフランス語の空間に写像されたものとする。分析対象は，仏伊西いずれかの言語のデータにお いて最頻動詞上位 300 に含まれるものとし，合計で 493 組となった。これらのうち, 3 言語全てに同源語 が存在し, 後述のラテン語の頻度と多義性の数を取得できたのは, 270 組だった。同源語の同定は, 各

語の頻度と多義性は, それぞれ, PhiloLogic4v と Oxford Latin Dictionary[11]から取得した。

## 3. 実験

ロマンス語同源語ペアの類似度は,コサイン類似度 で測った。類似度が低い（高い）ほど，意味変化の 度合いは高い（低い）とみなした。表 1 は，類似度 が最大・最小となる仏・西ぺア各 5 組を示している。

表 1 類似度が最大（上段）・最小（下段）となる 仏・西ペア各 5 組

 & constuir 'id. vi' & 0.87 \\

本稿では，ロマンス語同源語ペアの類似度を目的変数, 下記の 6 つの言語学的変数を説明変数として 線形回帰分析を行い, 意味変化に影響する変数を特定した。意味変化前の変数は, ラテン語の頻度と多
^{v} \mathrm{http} / /$ artflsrv02.uchicago.edu/cgi-

$\mathrm{bin} /$ perseus/LatinFrequency.pl?author $=\&$ title $=\&$ genre $=\&$ editor $=\&$ language $=$ NOT + English\&displaymorethan $=10 \&$ displayless
}

義性である。この 2 変数の導入は，本稿の新規性の 一つである。意味変化後の変数は，ロマンス語同源語ペアの頻度，単語長，ノルムである。ペアの片方 [12]ではなく両者の頻度の勘案, 単語長とノルムの 導入も新規性である。もら一つの新規性は，編集距離の導入である。この変数は，ラテン語の語源とロ マンス語との表記上のずれを表す。本来は，音声の 比較が望ましいが, 簡単のため, 表記の比較とした。

- ラテン語の頻度 (FREQ_LAT）：PhiloLogic4 から 取得した, ラテン語の語源の 1 万語あたりの頻度を対数変換したもの。

- ラテン語の多義性 (POLY_LAT)：[11]に掲載され ているラテン語の語源の意味の見出し数。

- ロマンス語同源語ペアの頻度（FREQ_ROM）：ロ マンス語同源語ペアの各言語データ内での相対頻度（例えば，Fr. avoir と Sp. haber の各言語 での相対頻度）の調和平均を対数変換したもの。

- ロマンス語同源語ペアの単語長 (LEN_ROM)：ロ マンス語同源語ペアの各々に含まれる文字数 の算術平均。

- ロマンス語同源語ペアのノルム（NORM_ROM）： ロマンス語同源語ペアの各々の分散表現のノ ルムの算術平均。

- ラテン語の語源とロマンス語同源語ペアとの 編集距離 (EDIT）: ラテン語の語源 $l$ とロマンス 語同源語ペア $\left(r, r^{\prime}\right)$ の各々の編集距離 $e \operatorname{dit}(\cdot)$ を 単語長|||で正規化したものの平均 (3.1)。

$
\frac{1}{2}\left(\frac{e \operatorname{dit}(r, l)}{\frac{(|r|+|l|)}{2}}+\frac{e \operatorname{dit}\left(r^{\prime}, l\right)}{\frac{\left(\left|r^{\prime}\right|+|l|\right)}{2}}\right)
$

比較対象は不定詞とした。ロマンス語の母音の アクセント記号等は削除した (例えば, á やàは a に統一した）。子音に関しては，スペイン語 の ñやフランス語の ç などラテン語には存在し ないものや, ロマンス語とラテン語で音価の異 なるものがあるが (Lat. citare [k] 'to set in motion', Sp. citar [ $\theta$ ] 'to cite'），単純のためにそのまま扱 った。ラテン語の形式受動相動詞[13]の不定詞 は，対応する活用の能動相で想定される形とし

than $=10000000 \&$ sortby $=$ decreasingFreq \&searchby $=$ searchbyle $\mathrm{mma}$ （2021 年 1 月 28 日アクセス）。現在, サーバ更新 のため，頻度リストの取得ができないようである。 vi Id. (idem) は, 意味がフランス語のそれと同じことを表 す。

た (Lat. jocari 'to joke' > jocare）。不定詞の語尾 が特殊な esse 'to be', ferre 'to carry', velle 'to want'等は，そのままの形を使用した。

変数は全て平均 0 , 分散 1 になるように標準化し た。付録の図 1 に, 仏・西同源語ペアの類似度

（SIM_FR_SP）と説明変数の散布図と相関係数を示 す。FREQ_LAT と POLY_LAT には大きな相関 (0.72) があるが，Variance Inflation Factor が 3 以下なので， そのまま使用した。AIC による变数選択の結果, NORM_ROM を除く, FREQ_LAT, POLY_LAT, FREQ_ROM, LEN_ROM, EDIT $の 5$ 変数を説明変数 とするモデルが最良と判断された。表 2 に回帰分析 の結果を示す。FREQ_LAT と EDIT 以外の 3 変数が 有意水準 0.01 で統計的に有意となった。標準偏回帰係数は, FREQ_ROM (0.66) と LEN_ROM (0.20) が 正, POLY_LAT (-0.24) が負となった。回帰係数の 絶対値が大きい FREQ_ROM は, ペア類似度の予測 に大きく寄与する。自由度調整済決定係数は 0.49 と なり，全分散の約半分を説明していることになる。

表 2 仏・西ペアの類似度を目的変数とした回帰分析の結果 $(\mathrm{N}=270$, 自由度調整済決定係数 $=0.49 ）$ 。 AIC により変数選択を行った。*は有意水準 0.01 で の統計的有意を表している。

## 4. 考察

回帰分析の結果に基づき, 意味変化と各変数との 関係について, 関連研究と対照しながら考察を行う。

## 4. 1. 頻度

他の条件が一定ならば，ロマンス語における頻度 （FREQ_ROM）が大きいほど，ロマンス語ペアの類似度が高い, つまり, 意味変化が生じにくい傾向が 確認された。要因として, 頻度が高いほど, 語と意味の結びつきが弱化しにくいことが考えられる[14]。 この結果は，ロマンス語の同源語に関する先行研究 [12]とは反対の結果となった。これは, 本稿が動詞の みに注目しているのに対し， [12]は品詞の区別をし ていないことに起因している可能性がある。品詞ご とに異なる振る舞いを見せる可能性もあるため，今後, 動詞以外の品詞の分析が必要である。一方で,本稿の結果は，英語の通時的意味変化の分析結果と 一致する[15]。しかしながら，ロマンス語の頻度は意味変化後のものなので，観察された頻度の大小が意味変化の結果なのか原因なのかは判然としない。

調和平均の代わりに算術平均を用いると, 自由度調整済決定係数が 0.49 から 0.14 へ大幅に低下した。調和平均は，ペアの頻度がどちらも大きい場合にの み大きくなり，ぺアのいずれかが低頻度の場合は小 さくなる。この性質が， ぺアの片方のみで意味変化 が生じた結果，類似度が低下し，且つ，その頻度が 増加（減少）した現象を上手く捉えている可能性が ある。例えば, 仏・西ぺアの pondre-poner (< Lat. ponere 'to put') では, Fr. pondre 'for a bird to lay egg' は意味 が特殊化[16] し低頻度語になった一方, Sp. poner 'to put’ は, ラテン語の語源と同様, 高頻度語のままで ある。実際に，このぺアの類似度は 0.08 と著しく小 さい。このような場合, 調和平均の方が算術平均よ りも小さくなるため，類似度と頻度の関係を捉える のにより適していると考えられる。

## 4. 2. 多義性

他の条件が一定ならば，ラテン語の多義性 （POLY_LAT）が大きいほど, ロマンス語ぺアの類似度が低い，つまり，意味変化が生じやすい傾向が 確認された。これは，多義性と意味変化に正の相関 を見出した[12], [15]の知見と一致する。本稿の新規性は, 意味変化前のラテン語の多義性を考慮した点 である。[12], [15]では, 意味変化後の現代語の多義性を使用している。この変数は, 分散表現と同じべ クトル空間上の最近隣語のクラスタ係数として定義 されている。しかし, この係数はデータ内の頻度と 大きな相関があるという問題点がある[5]。本稿では，分散表現と独立に，しかも変化前の多義性を使用し ており, より健全な分析となっている。

なぜ多義性が意味変化につながるのだろうか? 複数の意味を持つ語の場合, 仮に意味変化の割合が一定だとしても, 言語 1 では意味 A が, 言語 2 では別 の意味 B が優勢になる可能性が高いことが考えられ

る。例えば, Lat. trahere 'to drag' には 22 の意味があ るが, 各言語で固有の意味変化が起きた結果（It. trarre 'to draw', Fr. traire 'to milk', Sp. traer 'to bring'), ペア間類似度は低くなる：Fr. traire - Sp. traer (0.13), Fr. traire - It. trarre (0.16), It. trarre - Sp. traer (0.21)。

## 4. 3. 単語長

他の条件が一定ならば，単語長が大きいほど，ロ マンス語ペアの類似度が高い，つまり意味変化が生 じにくい傾向が確認された。単語長が大きい語は,接辞付加や派生により元となる動詞よりも形態的複雑性が増す一方, 意味が限定され, 多義性が小さく なる傾向にある。そのため，意味変化が生じにくい と考えられる。この現象は既にラテン語の段階で見 られ, 単語長と多義性の相関係数は-0.36である。例 えば, Lat. praevidere 'to foresee' は, videre 'to see' に接頭辞 prae- 'ahead' が付いた形で, 意味が限定さ れている。実際に, 仏・西ぺアの voir-ver (<Lat. videre) の類似度が 0.35 に対し, prévoir-prever (< Lat. praevidere) の類似度は 0.72 と高い値を示す。

## 4. 4. 編集距離

編集距離が大きいロマンス語ペアは，ラテン語か ら直に継承された民衆語である[6]。大きな音声変化 を受けたため, 語源形との表記上の違いも大きい。一方, 編集距離が小さいものは, 比較的新しくラテ ン語から借入された教養語である[6]。最小限の音声変化しか受けていないため, 語源形に類似している。編集距離の回帰係数（-0.11） は負なので，民衆語ほ ど意味変化しやすい傾向にあるが，統計的に有意で はない。そのため, ロマンス語での使用期間が長い 民衆語ほど意味変化を受けやすいとは言えない。

## 4.5. ノルム

ロマンス語の分散表現のノルムの大きさ (NORM_ROM) は, 変数選択により不要と判断され た。頻度が高く, 特定の文脈で使用される（多義性 が低い）ほどノルムは大きくなるが，これらの影響 はそれぞれの変数で捉えられていると考えられる。

## 4.6. ラテン語に関する変数

意味変化前のラテン語の頻度（FREQ_LAT）と多義性（POLY_LAT）のみを説明変数として回帰する と, FREQ_LAT の係数は正 (0.26), POLY_LAT は 負（-0.28）になり, ともに有意水準 0.01 で統計的に有意となった。自由度調整済決定係数は微小 $(0.03)$ なものの, ラテン語の語源が高頻度で多義性が小さ いロマンス語同源語ぺアほど類似度が高い,つまり，意味変化を受けにくいことを示唆している。

## 4. 7. ロマンス語への流入時期の違い

辞書[11] に非掲載の動詞は, 上述の分析からは除外した。これらの動詞は，俗ラテン語，後期・中世 ラテン語, ロマンス語の段階で形成されたもの（Fr. travailler 'to work', It. travagliare 'to suffer', Sp. trabajar 'to work' < Vulgar Lat. tripaliare 'to torture') [6], 他言語からの借入語 (Fr. assassiner, It. assassinare, Sp. asesinar < Arabic ḥaššǎšīn 'hashish'; Fr. garder 'to keep', It. guardare 'to look', Sp. guardar 'to guard' $<$ Germanic wardôn 'to pay attention') [6], 古典ラテン語では使用 が稀なものなどである。つまり，ロマンス語への流入時期が遅い動詞である。

流入時期の違いがロマンス語同源語ぺア類似度に 影響するか検証するため，語源が[11]に非掲載の動詞も含めて回帰分析を行なった。説明変数は,

FREQ_ROM，LEN_ROM，NORM_ROM に加え, 辞書掲載の有無を表すダミ一変数とした。掲載を 1 (デ 一夕数 270）, 非掲載を0（同 105）とした。流入時期の違いの係数は正 (0.07) だったが, 絶対值は極め て小さく, 統計的に有意でもなかった。よって，流入時期が古いほど意味変化を起こしやすいとは言え ない。

## 5. おわりに

本稿では, ロマンス語のうち仏伊西の動詞に焦点 を絞り, 意味変化の大きさと, 言語内要因の関係を 統計的に分析した。意味変化の大きさは単語の分散表現で測定した。分析の結果, 意味変化の大きさに は, ロマンス語の頻度, ラテン語の多義性, ロマン ス語の単語長が影響することが判明した。

今後の課題は, 以下の 3 点である。まず, 名詞や 形容詞など他の品詞の分析が必要である。動詞以外 の品詞では，異なる傾向が見られる可能性がある[8]。第二に，意味変化の種類（特殊化・一般化・良化 $\cdot$悪化など[16]）を特定することである[3]。第三に，本稿では多義性を辞書掲載の意味の見出し数と定義 したが，典型性や上位・下位関係など質的違いを考慮する必要がある。WordNet やポアンカレ埋め込み などを利用することで，これらの違いを捉えられる 可能性がある。

## 謝辞

本研究は JSPS 科研費 $18 K 11456$ の助成を受けたもの です。

## 参考文献

[1] T. Alkire and C. Rosen, Romance Languages: A Historical Introduction. New York: Cambridge University Press, 2010.

[2] D. Schlechtweg, B. McGillivray, S. Hengchen, H. Dubossarsky, and N. Tahmasebi, "SemEval-2020 Task 1: Unsupervised Lexical Semantic Change Detection," in Proceedings of the 14th International Workshop on Semantic Evaluation, 2021, pp. 1-23.

[3] A. Kutuzov, L. Øvrelid, T. Szymanski, and E. Velldal, "Diachronic Word Embeddings and Semantic Shifts: A Survey," in Proceedings of the 27th International Conference on Computational Linguistics, 2018, pp. 1384-1397.

[4] W. L. Hamilton, J. Leskovec, and D. Jurafsky, "Cultural Shift or Linguistic Drift? Comparing Two Computational Measures of Semantic Change," in Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, 2016, pp. 2116-2121.

[5] H. Dubossarsky, E. Grossman, and D. Weinshall, "Outta Control: Laws of Semantic Change and Inherent Biases in Word Representation Models," in Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, 2017, pp. 1136-1145.

[6] R. Penny, A History of the Spanish Language. Cambridge: Cambridge University Press, 2002.

[7] H. Takamura, R. Nagata, and Y. Kawasaki, "Analyzing Semantic Changes in Japanese Loanwords," in Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics, 2017, vol. 1, pp. 1195-1204.

[8] H. Dubossarsky, D. Weinshall, and E. Grossman, "Verbs Change More Than Nouns: A Bottom-up Computational Approach to Semantic Change," Lingue e Linguaggio, vol. 15, no. 1, pp. 5-25, 2016.
R. Řehůřek and P. Sojka, "Software Framework for Topic Modelling with Large Corpora," in Proceedings of the LREC 2010 Workshop on New Challenges for NLP Frameworks, 2010, pp. 4550.

[10] T. Mikolov, Q. V Le, and I. Sutskever, "Exploiting Similarities among Languages for Machine Translation," CoRR abs/1309.4, 2013.

[11] P. G. W. Glare, Ed., Oxford Latin Dictionary, 2nd ed. Oxford: Oxford University Press, 2012.

[12] A. S. Uban, A. M. Ciobanu, and L. P. Dinu, "Studying Laws of Semantic Divergence across Languages using Cognate Sets," in Proceedings of the 1st International Workshop on Computational Approaches to Historical Language Change, 2019, pp. 161-166.

[13] R. Oniga, Latin: A Linguistic Introduction. New York: Oxford University Press, 2014.

[14] J. Bybee, Language Change. Cambridge: Cambridge University Press, 2015.

[15] W. L. Hamilton, J. Leskovec, and D. Jurafsky, "Diachronic Word Embeddings Reveal Statistical Laws of Semantic Change," in Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics, 2016, pp. 1489-1501.

[16] E. C. Traugott and R. B. Dasher, Regularity in Semantic Change. Cambridge: Cambridge University Press, 2005.

## 付録

図 1 仏・西同源語ぺアの類似度（SIM_FR_SP）と説明変数の散布図と相関係数


# 創発言語でも Harris の分節原理は成り立つのか？

上田亮 ${ }^{1}$ 石井太河 ${ }^{1}$ 宮尾祐介 ${ }^{1}$
1 東京大学
\{ryoryoueda, taigarana, yusuke\}@is.s.u-tokyo.ac.jp

## 概要

本論文の目的は創発言語において Harris の分節原理が成り立つかを検証するというものである．創発言語とは，シミュレーションにおいてエージェント 間で生じる人工的な言語のことを指し，近年注目を 集めつつある研究対象である。 一方 Harris の分節原理とは，自然言語の系列データにおいて，データの 意味を知らずとも統計的情報のみから分節境界が得 られるという性質である。創発言語においても自然言語の性質が観察されるかどうかを検証した研究 はいくつか存在するが，Harris の分節原理に着目し た研究は今のところない. 実験の結果，創発言語は Harris の分節原理が成立するためのいくつかの前提条件を満たすが，統計的な情報から得られる分節境界が必ずしも意味的に妥当なものであるとは限らな い可能性が示唆された。

## 1 はじめに

ニューラルネットワークで表されたエージェント にコミュニケーションをさせることにより，言語の 創発をシミュレーションする創発コミュニケーショ ン (Emergent Communication) という分野が注目さ れつつある. 創発コミュニケーションによって生じ たプロトコルは創発言語（Emergent Language）と呼 ばれる。この分野は人間と交流できる AI の開発を 目的として生まれたが $[1,2,3]$, そこから派生して 創発言語そのものの性質を調べる研究も現れた. 特 に，自然言語に見られる普遍性質が創発言語におい ても観察され得るかを調べたものが多く，例えば，構成性 $[4,5,6]$, Zipf 短縮 $[7,8,9]$, エントロピー最小化 [10] に関する研究などがある.

本論文の目標は，創発言語において Harris の分節原理 $[11,12,13,14]$ が成り立つかを検証することで ある. Harris の分節原理とは，自然言語の系列デー タにおいて，データのもつ意味を参照せずとも統計的な情報のみから分節境界が得られるという普遍的
な性質のことである.ここでいう分節とは，音素の 系列に対する単語 (形態素)，単語の系列に対する節等を指す。単語や意味が事前に与えられるわけでは ない創発言語において，統計的性質から分節境界を 得る可能性を模索することは重要である.

本論文では，創発コミュニケーションで頻繁に用 いられる Lewis シグナリングゲーム [15] の実験パラ ダイムを採用する。このゲームにはスピーカ $S$ とリ スナ $L$ という 2 人のエージェントのみが登場し, ス ピーカ $S$ からリスナ $L$ への単方向通信のみが許され る. 各試行において，スピーカ $S$ は入力集合 $I$ から 情報 $i \in I$ を得て，それをメッセージ $m=S(i)$ に変換する.メッセージ $m$ を受け取ったリスナ $L$ が $i$ を 復元することができればゲームは成功である。ここ で，メッセージのデータ $\{S(i)\}_{i \in I}$ が創発言語とみな される. 実験の結果，創発言語は Harris の分節原理 を成立させるための前提条件を満たすものの，統計的性質から得た境界が必ずしも意味のある境界とは 限らないという示唆が得られた。他方, 人間が予め 与えた意味に関係なく境界のようなものが生じたと いう興味深い結果の意味するところは, 今後の課題 として残されている。

## 2 背景: 創発言語

言語を創発させるには，エージェントを取り巻く 環境やエージェントのアーキテクチャ, 最適化の手法などを決める必要がある。本論文では $[5]$ による 設定「属性值組集合を用いたシグナリングゲーム」 を導入する。

## 2.1 属性値組集合

$a, v \in \mathbb{N}(a, v>0)$ とする. $a, v$ をそれぞれ属性数, 值数と呼ぶことにする. 属性値組集合 (attributevalue set) $D_{v}^{a}$ とは以下のように定義される順序組の 集合である:

$
D_{v}^{a}=\left.\{\left(d_{0}, \ldots, d_{a-1}\right) \mid d_{i} \in\{0, \ldots, v-1\}\right.\}
$

## 2.2 シグナリングゲーム

言語を創発させる環境は，Lewis シグナリング ゲーム [15] に基づいて定式化される. シグナリン グゲーム $G$ は四つ組 $(I, M, S, L)$ から成る. ここで， $I$ は入力集合， $M$ はメッセージ集合であり，関数 $S: I \rightarrow M$ はスピーカエージェント，関数 $L: M \rightarrow I$ はリスナエージェントと呼ばれる. ゲーム $G$ の目標は各入力 $i \in I$ について $i=L(S(i))$ を成り立たせ ることである．スピーカ $S$ とリスナ $L$ は学習対象で あり, 目標に近づくよう最適化される. [5] と同様,本論文では属性值組集合を入力集合とする: $I=D_{v}^{a}$. さらに，メッセージ集合 $M$ は固定長離散記号列の 集合とする. 即ち, 有限のアルファベット $A$ 及び メッセージ長 len $\in \mathbb{N}($ len $>0)$ を用いて

$
M=A^{\text {len }}=\left.\{a_{1} \ldots a_{\text {len }} \mid a_{i} \in A \text { for } i=1, \ldots, \text { len }\right.\}
$

と定義する。また，以降の議論では，創発言語とは シグナリングゲーム $G=(I, M, S, L)$ から得られる データ $\{S(i)\}_{i \in I}$ のことを指すものとする. 創発言語 データ $\{S(i)\}_{i \in I}$ は，自然言語でいえば $|I|$ 個の独立 した発話のデータと捉えることができる.

## 3 背景: Harris の分節原理

Harris の仮説によれば，自然言語の音素系列に おける単語境界は, 後続し得る音素の種類数が増大する点に現れるという。本節では $[12,13]$ による Harris の仮説の情報理論的な定式化, 及びそれに基 づいた境界検出アルゴリズムを導入する.

## 3.1 定式化

$X$ をアルファベット， $X^{*}$ を $X$ 上の系列の集合, $X^{n}$ を $X$ 上の $n$-gram の集合とする. このとき，系列 $s=x_{0} \cdots x_{|s|-1} \in X^{*}$ に対する分岐エントロピーを以下のように定義する:

$
\begin{array}{rl}
h(s) \equiv & \mathscr{H}\left(X_{|s|} \mid X_{0} \cdots X_{|s|-1}=s\right) \\
=-\sum_{x \in \mathcal{X}} & P\left(X_{|s|}=x \mid X_{0} \cdots X_{|s|-1}=s\right) \\
& \quad \times \log _{2} P\left(X_{|s|}=x \mid X_{0} \cdots X_{|s|-1}=s\right) .
\end{array}
$

ここで， $|s|$ は系列 $s$ の長さ，各 $X_{i}$ は $X$ 上の確率変数, $P\left(X_{|s|}=x \mid X_{0} \cdots X_{|s|-1}=s\right)$ は系列 $s \in X^{*}$ が出現した直後に記号 $x \in X$ が出現する確率を表す. 分岐エントロピー $h(s)$ は，特定の記号列 $s$ が出現した ときに，次に来る記号の不確かさの度合いを表して いる．また，長さ $n$ の系列に対する条件付きエント
ロピーを以下のように定義する:

$
\begin{aligned}
H(n) & \equiv \mathscr{H}\left(X_{n} \mid X_{0} \cdots X_{n-1}\right) \\
& =\sum_{s \in \mathscr{X}^{n}} P\left(X_{0} \cdots X_{n-1}=s\right) h(s) .
\end{aligned}
$

ここで, $P\left(X_{0} \cdots X_{n-1}=s\right)$ は $n$-gram $s \in X^{n}$ が出現す る確率である。 $H$ は分岐エントロピー $h$ の $n$-gram に関する平均と捉えることもできる。

自然言語のデータにおいては， $H(n)$ は $n$ に関して 単調に減少することが知られている．つまり，自然言語データの部分系列 $x_{0} \cdots x_{n} \in X^{n+1}$ が与えられた ときに，平均的には $h\left(x_{0} \cdots x_{n-1}\right)>h\left(x_{0} \cdots x_{n}\right)$ とな る。一方で，その大域的な傾向に反して $h$ が増大す る点もある. この自然言語データにおける分岐エン トロピー $h$ の増減に関する，以下の普遍性質のこと を Harris の分節原理と呼ぶ1)：

X の要素を単位とする自然言語データにおい

て，ある部分系列 $x_{0} \cdots x_{n} \in X^{n+1}$ が存在して

$
h\left(x_{0} \cdots x_{n-1}\right)<h\left(x_{0} \cdots x_{n}\right)
$

となるとき， $x_{n}$ はより大きな単位の系列にお ける分節境界である。

## 3.2 境界検出アルゴリズム

系列データを $s=x_{0} \cdots x_{|s|-1}$ とし，その部分系列 を $s_{i, j}=x_{i} \cdots x_{j-1}$ と表すことにする. 境界判定アル ゴリズムはパラメータ max_len $\in \mathbb{N}$, threshold $\in \mathbb{R}$ を 伴って以下のような手順で実行される:

$1 . i:=0 ; w:=1$; とする.
2. $i \geq|s|$ ならばプログラムを終了する.
3. $h\left(s_{i, i+w}\right)$ を計算する.
4. $w>1$ かつ $h\left(s_{i, i+w}\right)-h\left(s_{i, i+w-1}\right)>$ threshold なら ば， $i+w$ を境界点と判定する。
5. $w<$ max_lenかつ $i+w<|s|-1$ ならば $w:=w+1$; として 2 に戻る. さもなくば $i:=i+1 ; w:=1$ と して 2 に戻る.

また，創発言語においては自然言語に見られるよう な分節境界が存在するとは限らないため，以降では 境界検出アルゴリズムによって得られた仮の分節境界のことを仮説境界と呼ぶことにする。

## 4 実験設定

1） [12,13] では，このことを Harris's hypothesis と呼んでいた が，同著者の近年の出版物 [14] に倣い Harris の分節原理と呼 び改めた。

## 4.1 問題設定

創発言語において Harris の分節原理が成立するか どうかを調べるにあたり, 我々は以下の 3 つの問い に答えなければならない。

問 1. $H$ （式 4）は単調減少するか？

問 2. $h$ （式 3）は増大点（式 5）をもつか?

問 3. 仮説境界は分節境界を意味するか？

問 3 は，創発言語において Harris の分節原理が成立 するかという問いに他ならない. しかし， $H$ が単調 に減少し $h$ が所々増加するという性質が満たされな ければ問 3 はそもそも意味をなさない. 創発言語に おいてはこのような性質が成り立つかどうかさえも 自明ではないため，まず問 1 , 問 2 に答えなければ ならない.また，問 1 , 問 2 に答えるには単に $H$ と $h$ を計算すればよいが，問 3 に答える方法は自明で ない. 創発言語に分節境界があるとしても，それが どんなものであるのか事前に知る術がないからであ る.そこで以下の仮定を置く:

ゲーム $G=\left(D_{v}^{a}, A^{\text {len }}, S, L\right)$ の創発言語 $\{S(i)\}_{i}$ において，仮説境界が分節境界を意味するならば，属性数 $a$ が大きくなるほど 仮説境界の数も多くなるはずである。

属性値組集合 $D_{v}^{a}$ は，元々創発言語の構成性を測る ために導入された設定 [4]を，さらに一般化したも のである [5]. 例えば color, shape という 2 属性を もつ入力を用いたときに，創発言語が十分に構成的 であるならば，color の值を指す記号と shape の值を 指す記号が別々に出現し, それらが複合して 1 つの メッセージを成すだろうと [4] は考えた. これは創発言語の構成性を測るうえで基本的な考え方となっ ている．今回の設定でいえば，分節が複合的なメッ セージを構成するための単位であると想定したとき に，指し示すべき属性が増えれば分節もそれに合わ せて多くなるだろうと考えられる. 仮定 (A) はその ような考えに基づいている. 問 3 を仮定 (A) に従っ て以下のように言い換える:

問 3．属性数 $a$ が大きくなるほど仮説境界も多くな るか？

## 4.2 パラメータの設定

属性値組集合 問 3 , に答えるため属性数 $a$ には いくつかの値を取らせたい一方，ゲームの複雑さ を揃えるために属性値組集合のサイズ $\left|D_{v}^{a}\right|=v^{a}$ は
できるだけ等しくしたい. そこで $v^{a}=4096$ として $a, v$ を以下のように設定する:

$
(a, v) \in\left.\{\begin{array}{l}
(1,4096),(2,64) \\
(3,6),(4,8),(6,4),(12,2)
\end{array}\right.\} .
$

メッセージ集合 メッセージ集合 $M=A^{\text {len }}$ 定義するには，メッセージ長 len とアルファベットの サイズ $|A|$ を決めてやればよい.今回の実験では len $=32,|A|=8$ とした.

アーキテクチャと最適化 エージェントのアーキ テクチャ及び最適化手法についても [5]に従う. こ こではアーキテクチャについて簡単に触れる．各 エージェントはエンコーダ・デコーダモデルで表さ れる。スピーカのデコーダとリスナのエンコーダは GRU[16] とし，スピーカのエンコーダとリスナのデ コーダは順伝播型ニューラルネットワークとする. GRU の隠れ状態のサイズは [5] に倣い 500 とした。

境界判定アルゴリズム 境界判定アルゴリズム （節 3.2）にはパラメータ max_len, threshold が伴う.各メッセージが固定長 len = 32 であることに合わせ て max_len $=$ len $-1=31$ とする. threshold の設定は 自明ではないため，いくつかのパターンを試す:

$
\text { threshold } \in\{0,1 / 4,1 / 2,3 / 4,1,5 / 4,3 / 2,7 / 4,2\} \text {. }
$

## 4.3 試行回数とデータの妥当性

式 6で設定した各 $(a, v)$ に関して，異なるランダ ムシードで 4 回エージェントを学習させることとす る. 学習の結果, 入力集合 $I$ のうち $99 \%$ 以上の入力 $i \in I$ に対して $i=L(S(i))$ となるに至ったエージェン トから得られる創発言語を妥当な創発言語と呼ぶこ とにする。

## 5 実験結果

$(a, v)=(12,2)$ について 3 つ妥当な創発言語が 得られ，その他の $(a, v)$ についてはそれぞれ 4 つの 妥当な創発言語が得られた.

## 5.1 条件付きエントロピーは単調減少する

問 1 に答えるため，H（式 4）が単調減少するか どうかを調べた。図1にその結果を示す. 妥当な創発言語における $H(n)$ （赤実線）は， $n$ に関して単調減少していることが見て取れる. 従って妥当な創発言語において問 1 は成立する. なお， $H(n)$ の単調減少性はエージェントの学習前から成り立つわけでは ない. 図 1に青破線で示したグラフを見ると，学習

図 $1 H(n)$ （式 4）のプロット，妥当な創発言語に関する 結果 (赤実線) と学習前のスピーカから得た創発言語に 関する結果（青破線）を示してある.

前の創発言語においては $H(n)$ が単調に減少すると は限らないことが見て取れる. つまり学習の過程で $H(n)$ の単調減少性が生じる.

## 5.2 分岐エントロピーは所々増大する

図 2 設定 $(a, v)=(2,64)$ の下での創発言語における，あ るメッセージ上での $h$ の推移の様子. threshold $=5 / 4$ とし て仮説境界 $1, \ldots, 4$ が得られた（黒破線）.

次に，問 2 に答えるため，妥当な創発言語にお ける $h$ の推移を調べた. 例として実際の $h$ の推移 の様子を図 2 に示す. 縦軸には $h$ の值，横軸には $(a, v)=(2,64)$ として得られた妥当な創発言語から サンプルしたメッセージ “ $1,8,6,2, \ldots$ ”を取った. さらに， threshold $=5 / 4$ として得られた 4 つの仮説境界の位置を黒破線で示してある. 各折れ線グラ フが，対応する仮説境界点で thresholdを超える増大を示した $h$ の推移を表している. なお，hの増大点（式 5）の根拠となる部分系列は，メッセージの

図 3 メッセージあたりの仮説境界の平均数. いくつか の threshold を試してある.

先頭や一つ前の仮説境界から始まるとは限らない ことに注意されたい. 図 1で見たような大域的な傾向がある一方で，図 2では $h$ が増減を繰り返してい ることが見て取れる。また，メッセージあたりの仮説境界の数を調べた結果を図 3に示す. 図 3は，各 threshold（式 7）を用いたときに，1メッセージあた りにいくつ仮説境界が含まれているかを示してい る. threshold < 2 においては，どの $(a, v)$ にも仮説境界が存在していることが見て取れる。以上より，妥当な創発言語において問 2 は成立する.

## 5.3 仮説境界は分節境界ではないかもしれ ない

再び図 3に着目すると，やや見づらいがどの threshold においても属性数 $a$ に対して単調に仮説境界が増えるわけではないことが分かる2). 故に問 3, は成立しない. $a=1$ のときに最も仮説境界が多く なる傾向があるようにさえ見える.

## 6 考察と今後の展望

実験の結果から，創発言語は Harris の分節原理が 成立するためのいくつかの前提（問 1, 問 2）を満た すものの，仮説境界が分節境界を意味しない可能性 が示唆された. 創発言語に意味のある仮説境界をも たせるにはどうしたらよいか. 創発言語の構成性を 向上させる手法 [6] の適用が 1 つの方法として考え られる。一方，人間が与えた入力の意味に関わらず 創発言語に仮説境界が生じた事実はそれはそれで興味深いことでもある. この仮説境界は何を意味する のか.これも今後解決していくべき課題である.

## 参考文献

[1] Serhii Havrylov and Ivan Titov. Emergence of language with multi-agent games: Learning to communicate with sequences of symbols. In Isabelle Guyon, Ulrike von Luxburg, Samy Bengio, Hanna M. Wallach, Rob Fergus, S. V. N. Vishwanathan, and Roman Garnett, editors, Advances in Neural Information Processing Systems 30: Annual Conference on Neural Information Processing Systems 2017, December 4-9, 2017, Long Beach, CA, USA, pp. 2149-2159, 2017.

[2] Angeliki Lazaridou, Alexander Peysakhovich, and Marco Baroni. Multi-agent cooperation and the emergence of (natural) language. In 5th International Conference on Learning Representations, ICLR 2017, Toulon, France, April 24-26, 2017, Conference Track Proceedings. OpenReview.net, 2017.

[3] Angeliki Lazaridou, Anna Potapenko, and Olivier Tieleman. Multi-agent communication meets natural language: Synergies between functional and structural language learning. In Dan Jurafsky, Joyce Chai, Natalie Schluter, and Joel R. Tetreault, editors, Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, ACL 2020, Online, July 5-10, $\mathbf{2 0 2 0}$, pp. 7663-7674. Association for Computational Linguistics, 2020.

[4] Satwik Kottur, José M. F. Moura, Stefan Lee, and Dhruv Batra. Natural language does not emerge 'naturally' in multi-agent dialog. In Martha Palmer, Rebecca Hwa, and Sebastian Riedel, editors, Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, EMNLP 2017, Copenhagen, Denmark, September 9-11, 2017, pp. 2962-2967. Association for Computational Linguistics, 2017.

[5] Rahma Chaabouni, Eugene Kharitonov, Diane Bouchacourt, Emmanuel Dupoux, and Marco Baroni. Compositionality and generalization in emergent languages. In Dan Jurafsky, Joyce Chai, Natalie Schluter, and Joel R. Tetreault, editors, Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, ACL 2020, Online, July 5-10, 2020, pp. 4427-4442. Association for Computational Linguistics, 2020.

[6] Yi Ren, Shangmin Guo, Matthieu Labeau, Shay B. Cohen, and Simon Kirby. Compositional languages emerge in a neural iterated learning model. In 8th International Conference on Learning Representations, ICLR 2020, Addis Ababa, Ethiopia, April 26-30, 2020. OpenReview.net, 2020.

[7] Rahma Chaabouni, Eugene Kharitonov, Emmanuel Dupoux, and Marco Baroni. Anti-efficient encoding in emergent communication. In Hanna M. Wallach, Hugo Larochelle, Alina Beygelzimer, Florence d'AlchéBuc, Emily B. Fox, and Roman Garnett, editors, Advances in Neural Information Processing Systems 32: Annual Conference on Neural Information Processing Systems 2019, NeurIPS 2019, December 8-14, 2019, Vancouver, BC, Canada, pp. 6290-6300, 2019.

[8] Mathieu Rita, Rahma Chaabouni, and Emmanuel Dupoux. "lazimpa": Lazy and impatient neural agents learn to communicate efficiently. In Raquel Fernández and Tal Linzen, editors, Proceedings of the 24th Conference on Computational Natural Language Learning, CoNLL 2020, Online, November 19-20, 2020, pp. 335-343. Association for Computational Linguistics, 2020.

[9] Ryo Ueda and Koki Washio. On the relationship between zipf's law of abbreviation and interfering noise in emergent languages. In Jad Kabbara, Haitao Lin, Amandalynne Paullada, and Jannis Vamvas, editors, Proceedings of the ACL-IJCNLP 2021 Student Research Workshop, ACL 2021, Online, JUli 5-10, 2021, pp. 60-70. Association for Computational Linguistics, 2021.

[10] Eugene Kharitonov, Rahma Chaabouni, Diane Bouchacourt, and Marco Baroni. Entropy minimization in emergent languages. In Proceedings of the 37th International Conference on Machine Learning, ICML 2020, 1318 July 2020, Virtual Event, Vol. 119 of Proceedings of Machine Learning Research, pp. 5220-5230. PMLR, 2020.

[11] Zellig S. Harris. From phoneme to morpheme. Language, Vol. 31, No. 2, pp. 190-222, 1955

[12] Kumiko Tanaka-Ishii. Entropy as an indicator of context boundaries: An experiment using a web search engine. In Robert Dale, Kam-Fai Wong, Jian Su, and Oi Yee Kwong, editors, Natural Language Processing - IJCNLP 2005, Second International Joint Conference, Jeju Island, Korea, October 11-13, 2005, Proceedings, Vol. 3651 of Lecture Notes in Computer Science, pp. 93105. Springer, 2005.

[13] Kumiko Tanaka-Ishii and Zhihui Jin. From phoneme to morpheme: Another verification using a corpus. In Yuji Matsumoto, Richard Sproat, Kam-Fai Wong, and Min Zhang, editors, Computer Processing of Oriental Languages. Beyond the Orient: The Research Challenges Ahead, 21st International Conference, ICCPOL 2006, Singapore, December 17-19, 2006, Proceedings, Vol. 4285 of Lecture Notes in Computer Science, pp. 234244. Springer, 2006

[14] 田中久美子. 言語とフラクタル. 東京大学出版会, 2021.

[15] David K. Lewis. Convention: A Philosophical Study. Wiley-Blackwell, 1969

[16] Kyunghyun Cho, Bart van Merrienboer, Çaglar Gülçehre, Dzmitry Bahdanau, Fethi Bougares, Holger Schwenk, and Yoshua Bengio. Learning phrase representations using RNN encoder-decoder for statistical machine translation. In Alessandro Moschitti, Bo Pang, and Walter Daelemans, editors, Proceedings of the $\mathbf{2 0 1 4}$ Conference on Empirical Methods in Natural Language Processing, EMNLP 2014, October 25-29, 2014, Doha, Qatar, A meeting of SIGDAT, a Special Interest Group of the ACL, pp. 17241734. ACL, 2014.


# 低リソースの意見要約のための教師なしドメイン適応

小杉宥斗 ${ }^{1}$ 李吉屹 ${ }^{2}$ 福本文代 ${ }^{2}$
${ }^{1}$ 山梨大学工学部コンピュータ理工学科 2 山梨大学大学院総合研究部工学域
\{t18cs021, jyli, fukumoto\}@yamanashi.ac.jp

## 概要

近年，意見要約の分野では，Few-Shot 学習を利用 した研究が盛んに行われている [1][2][3]. しかし，既存の Few-Shot 学習モデルでは特定のドメインの 教師データが存在しない場合，そのドメインにおけ る要約の精度が低下する。この問題の解決を図るた め, 本研究では MoE (Mixture of Experts) による教師 なしドメイン適応に基づく新たな手法を提案する。作成したモデルに対する評価実験とその結果から得 られた課題について報告する。

## 1 はじめに

意見要約 (Opinion Summarization) とは主観的な意見を含む複数のテキストを対象とし，それらの意見 を端的にまとめたテキストを生成するタスクであ る. 本研究では，製品に対するユーザレビューを対象とし，深層学習を用いた意見要約を行う．教師あ り学習により意見要約モデルを訓練する場合, 大量 の教師データを用意する必要があり, 多大なコスト や労力を要する. そのため, 意見要約分野では教師データが不足しており, 従来より教師なし学習 や半教師あり学習を用いた手法が数多く提案され ている [4][5][6][7][8][9]. 特に近年では, Few-Shot 学習を用いた手法が盛んに研究されている [1][2][3]. Few-Shot 学習とは, ごく少数の教師データのみを利用してモデルを訓練する学習手法である.

深層学習では，しばしば特定のドメインにおける 教師データが存在しない場合が生じる。これを解決するための一手法として, 教師なしドメイン適応 (Unsupervised Domain Adaptation) がある. 教師な しドメイン適応は, 教師データが利用できる「ソー スドメイン」によりモデルを訓練し, 教師データが 存在しない「ターゲットドメイン」における汎化性能を獲得する技術である. 特に，ユーザレビュー の対象となる製品は様々なドメインに属してい る.これらの知識を有効に活用するため, 本研究
では複数のソースドメインを利用したドメイン適応 (Multi-Source Domain Adaptation) に焦点をあてる.近年では，このようなドメイン適応に対し MoEを 利用した手法が提案され，その有効性が示されてい る [10][11][12].

本研究では, Few-Shot 学習を利用した意見要約 モデルである FewSum[1] に対し, MoE (Mixture of Experts) による教師なしドメイン適応を行うモデル として，FewMoESumを提案する。加えて，モデル に対する評価実験とその結果から得られた課題につ いて報告する。

## 2 FewSum

FewSum[1] は Few-Shot 学習による意見要約の代表的な手法であり，入力レビュー集合に出現しない表現も用いて要約を作成する Abstractive Summarization を行う。モデルは Transformer[13] を採用しており， Encoder と Generator (Decoder) から構成される.

FewSum の学習は, 事前学習と Fine-tuning からな る. 事前学習は, 複数のレビューをもとにレビュー を生成することにより行う，学習時は，同じ製品 に対するレビューの集合から1つを抜き出したレ ビュー $r_{i}$ を教師信号とし，残りのレビュー $r_{-i}$ を入 カサンプルとする. モデルのうち, Encoder は入力 された $r_{-i}$ の特徵量を抽出し, Generator は抽出され た $r_{-i}$ の特徴量と propertyをもとにレビュー $r_{i}$ を推測する. property とは $r_{i}$ と $r_{-i}$ の関係や, $r_{i}$ の性質 であり, 事前学習時点では $r_{i}$ と $r_{-i}$ に応じて一意に 計算される。事前学習により, Generator は property と生成すべきテキストの対応関係を学習する。

Fine-tuning では，人手で作成したごく少数の要約 を教師信号として利用し, 要約生成モデルを学習す る.ここでは，Plug-in Network，すなわち，入力レ ビュー集合から抽出した情報をもとに，理想的な要約の生成を促す property を予測するよう学習する ネットワークをモデルに追加する.

property の例には「代名詞の分布」がある. 要約

は，一人称代名詞を含まない客観的文体であること が望ましい。 そのため, Plug-in Network は「一人称代名詞の割合が小さい」ことを示す propertyを生成 する. Generator は事前学習時に property に対応した テキストを生成するよう学習しているため，当該の property が与えられることにより，一人称代名詞の 使用を避けつつ要約の生成を行うことができる.

Few-Shot 学習では教師データがごく少数に限られ ており，大量のパラメータを調整するには不十分で あるため，モデル全体に対する Fine-tuning を行うと 過学習が発生する。そのため Fine-tuning 時には, 調整するパラメータを Plug-in Network と Generator の 一部に限定することにより過学習を抑制している.

## 3 Mixture of Experts (MoE)

Guo らは，感情分類や品詞タグ付けといった分類 タスクを対象とし，MoE (Mixture of Experts)を用い た教師なしドメイン適応を行う手法を提案している [11]. MoE は，特定のデータの処理に特化したネッ トワークを複数作成し, 各ネットワークの出力を加重平均する手法である。特に，MoEではこれらネッ トワークを「エキスパート」と呼んでいる. Guo ら の手法 (以降, GuoMoE と記述する) では, 複数の分類器をそれぞれ各ソースドメインに特化し，エキス パートとしている. 図 1 にその概略図を示す. 分類 を行う際は，入力サンプルとソースドメインの類似度が高いほど，そのソースドメインに特化したエキ スパートに対して大きい重みを割り当てる.この重 みに基づき各エキスパートの出力を加重平均し, 最終的な分類結果を求める. この処理により, 入力サ ンプルに類似するソースドメインから得た知識を重視して分類を行うため, 未知のドメインのデータに 対しても優れた分類結果を得ることができる.

GuoMoE と FewSum との差異を以下に示す:

(a) GuoMoE では，大量の教師データを用い教師あ り学習を行っている。一方，FewSum ではごく少数の教師データを用いる Few-Shot 学習を行う.

(b) GuoMoE では, 実験に使用したモデルは小規模 である。一方，FewSum では比較的大規模なモデ ルを扱う．したがって Generatorをエキスパート として単純に複製すると，モデルのパラメータ 数が大幅に増加する。

大量のパラメータを調整する場合，それに応じて 大量の教師データを利用しなければ過学習が発生す

る.そのため, GuoMoE のようにネットワークを単純に複製する方法は，FewSumのような条件のもと では適さない. したがって本研究では, FewSumの Generatorのうち一部のみをエキスパートとするこ とにより，この問題の解決を図る.

## 4 提案手法

本手法では，事前学習と FewMoESum の学習によ りモデルを訓練する。事前学習の際は, FewSum と 共通のモデル，及び学習方法を用いる. FewMoESum の学習は, FewSum の Fine-tuning に代わる処理で ある。

## 4.1 FewMoESum

FewMoESum では MoE を利用して教師なしドメ イン適応を行う，図 2 に FewMoESum の概略図を示 す. モデルは, 事前学習で得たレビュー生成モデル (Encoder, Generator) と Plug-in Network を組み合わせ,新たに Gating モジュールを追加したものである.こ の際，Generator 内の Source-Target Attention モジュー ルをソースドメインの数と一致するよう複製し，各 ソースドメインに対応したエキスパートとする.

図 2 FewMoESum のモデル概略図

## 4.1.1 Gating モジュール

Gating モジュールは, 各エキスパートの出力を加重平均する際の重みを生成する. GuoMoE と同様 に，重みは入力サンプルとソースドメインとのマハ

ラノビス距離をもとに予測する. Few-Shot 学習では 利用できる教師データがごく少数に限られており，大量のパラメータを調整することができない. マハ ラノビス距離による重み付けは大量のパラメータを 必要としない (実験ではパラメータ数がモデル全体 の $0.1 \%$ 以下) ため, Few-Shot 学習に適する.

式 (1)はマハラノビス距離を示し, 大力サンプル とソースドメインとの意味的な距離を予測するため に用いる。次に式 (2)により, 求めた距離の符号を 反転させ，入力サンプルとソースドメインの類似度 を求める. 以上の処理を各ソースドメインに対して 行い, 最後に，式 (3)で示される Softmax 関数により 各ソースドメインに対する類似度を確率で求め, 各 エキスパートに対する重みとする.これにより，入 カサンプルとソースドメインが類似するほど，その ドメインに対応するエキスパートの出力が重視さ れる.

$
\begin{aligned}
d(x, S) & =\left(\left(E(x)-\mu^{S}\right)^{T} M^{S}\left(E(x)-\mu^{S}\right)\right)^{\frac{1}{2}} \\
e(x, S) & =-d(x, S) \\
\alpha\left(x, S_{i}\right) & =\frac{\exp \left(e\left(x, S_{i}\right)\right)}{\sum_{j=1}^{K} \exp \left(e\left(x, S_{j}\right)\right)}
\end{aligned}
$

$
\begin{array}{ll}
x: & \text { 入力サンプル } \\
S: & \text { ソースドメイン } \\
E(x): & \text { 入力サンプル } x \text { の特徴量 } \\
\mu^{S}: & \text { ソースドメイン } S \text { の平均特徴量 } \\
M^{S}: & \text { ソースドメイン } S \text { 固有のパラメータ行列 } \\
& \text { 学習により } S \text { の逆共分散行列に近似する } \\
\left.\{S_{i}\right.\}_{i=1}^{K}: & \text { ソースドメインの集合 }
\end{array}
$

ただし， $\mathrm{E}(\mathrm{x})$ は入力レビュー集合に含まれる各単語 の特徴量を Encoder により抽出し, 平均することに より求める.

GuoMoEでは，各ソースドメインに対してそれぞ れ 32 個のサンプルを含むミニバッチを利用し，学習および推論を行う．この際，ミニバッチに含ま れるデータを Encoder に入力することで各データの 特徵量を獲得し, それらの平均を求め, 各ソース ドメインに対する $\mu^{S}$ としている. しかし, 本研究 では利用するモデルや入力サンプルが比較的大き く，多くのGPUメモリを消費する．そのため，ミ ニバッチに含められるサンプル数が少なくなり, 従来の手法を利用すると求めた $\mu^{S}$ の信頼性が低くな るという問題がある. したがって, FewMoESum の 学習を行う直前にソースドメインの教師なしデー
タから $\mu^{S}$ を求め, 全学習ステップおよび推論に利用する. 通常，学習時に Encoder が更新されること により，特徴空間が変化してしまうため，学習前に 計算した $\mu^{S}$ を利用することはできない.しかし， FewMoESum の学習では, FewSum の Fine-tuning と 同様に Encoder のパラメータを固定して学習するた め，この手法が利用できる.

## 4.2 FewMoESum の学習

FewMoESum の学習では，モデルに対して要約生成への適応と, ターゲットドメインへのドメイン適応を同時に行う。この際，教師ありデータを用いて 学習を行う. しかし, 本手法では教師なしドメイン 適応を行うため, 訓練，検証にはソースドメインの データのみを用いる. 図3 に示すように, Encoder の入力はレビュー集合であり, Generator の入力はレ ビュー集合に対応する正解要約と, Plug-in Network により生成された property, Gating モジュールから 生成された各エキスパートに対する重みである.

FewSum では, 教師データの少なさに起因する過学習を抑えるため, 調整するパラメータを一部に限定する手法が提案された. したがって本手法におい ても，調整するパラメータを Plug-in Network と各エ キスパート，Gating モジュールに限定する。

図 3 FewMoESum のモデル概略図 (学習時)

## 4.2.1 損失関数

学習時は GuoMoEにおいて提案されたメタ学習手法を用いる.この手法では，エキスパートを対応す るソースドメインに特化させるための Loss $s_{m t l}$ と，各エキスパートに対する重み付けの学習を行うため の Loss $s_{m o e}$ から構成される損失関数に従う. 以下に 損失関数を定義する。

$
\operatorname{Loss}=\lambda \cdot \operatorname{Loss}_{m o e}+(1-\lambda) \cdot \operatorname{Loss}_{m t l}
$
図 3 は，エキスパート 3 に対応するソースドメ インのサンプルが入力された場合の処理である. Loss $_{m t l}$ は，全エキスパートのうち，入力サンプル のドメインに対応するエキスパートのみの出力を利用して計算する. この時, Gating モジュールや他の エキスパートは使用しない，Loss Loe $^{\text {エ } ， 入 力 サ ン ~}$ プルのドメインに対応するエキスパート以外の出力 を利用して計算する。この時，各エキスパートの出力は Gating モジュールにより生成された重みを用い て加重平均される. また， $\lambda$ はハイパーパラメータ

## 4.2.2 テスト

モデルのテスト時には, 図 2 のように全てのエキ スパートの出力を加重平均を求め，1つの要約を生成する. 入力サンプルと類似するソースドメインに 対応したエキスパートの出力を重視するため，未知 であるターゲットドメインのデータに対しても頑強 な要約生成が可能となる。

## 5 実験

## 5.1 実験データ, 評価方法

実験に使用したデータセットを表 1 に示す.デー タセットは FewSum の実験で利用されたものと同一 であり，Amazon の製品に対するレビューと要約で 構成される。なお，教師なしデータは 1 データあ たり 9 個のレビュー，教師ありデータは 1 データ あたり 8 個のレビューと 3 個の要約を含む. これ らのデータは Clothing, Shoes and Jewelry; Electronics; Health and Personal Care; Home and Kitchen $の 4$ 分野に 分類されている.

実験時には，4つの分野のすべての組み合わせに ついて， 1 分野をターゲットドメイン，他 3 分野を ソースドメインとしモデルの評価を行った. 教師な しドメイン適応の効力を確認するため，訓練，検証時に利用する教師ありデータはソースドメインのも のに限定する。テスト時は，ターゲットドメインの 教師ありデータのみを用いる。また，事前学習時に 用いる教師なしデータはターゲットドメインに関わ らず，すべての分野のデータを利用する。

評価指標には，要約タスクにおいて一般的な自動評価である ROUGE F1 スコア [14]を使用する. ROUGE F1 スコアはテキスト間の単語の一致度を数値化する指標である。表 1 実験に使用したデータセット

## 5.2 結果

ROUGE F1 スコアを表 2 に示す. 各ターゲットド メインの実験で，より優れたスコアを太字で示す.提案手法は FewSum と比較し"Health"ドメインでは 精度の向上が見られたものの，ほとんどのスコアに おいて大幅な向上はなく，ドメイン適応が十分に機能していない．この原因として，教師ありデータの みを用いてドメイン適応を行ったことが考えられ る. 利用できる教師ありデータは少数であり，実際 のソースドメインと学習に利用する教師ありデータ では分布が異なる。 そのため, Gating Moduleがソー スドメインの分布を正確に捉えられず，エキスパー トに対し正しく重み付けができていないことが考え られる。同様に，エキスパートが学習に利用する教師ありデータの分布にのみ特化しており，汎化性能 が低下したことが原因として考えられる。

表 2 実験結果 (ROUGE F1 スコア)

## 6 まとめ

本研究では, Few-Shot 学習による意見要約モデル に対し，MoE を利用した教師なしドメイン適応を 行う手法を提案した. 評価実験では，提案手法は FewSum と比較し一部精度が向上したものの，大幅 な向上には至らなかった. 今後は，ドメイン分類の 学習により Gating Module を初期化する，各ソース ドメインで独立した追加の事前学習によりエキス パートを訓練するなど，教師なしデータを活用した ドメイン適応手法について検討する予定である.

## 謝辞

本研究の一部は, JKA 補助事業の助成を受けたも のである.

## 参考文献

[1] Arther Bražinskas, et al. 2020. Few-Shot Learning for Opinion Summarization. In Proceedings of the Conference on Empirical Methods in Natural Language Processing (EMNLP), pages 4119-4135

[2] Nadav Oved, Ran Levy. 2021. PASS: Perturb-and-Select Summarizer for Product Reviews. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics (ACL), pages 351-365.

[3] Hayate Iso, et al. 2021. Comparative Opinion Summarization via Collaborative Decoding. arXiv:2110.07520.

[4] Qiaozhu Mei, et al. 2007. Topic sentiment mixture: modeling facets and opinions in weblogs. In Proceedings of the 16th international conference on World Wide Web in Association for Computing Machinery (ACM), pages 171-180.

[5] Ivan Titov, Ryan McDonald. 2008. Modeling online reviews with multi-grain topic models. In Proceedings of the 17th international conference on World Wide Web in Association for Computing Machinery (ACM), pages 111-120.

[6] Stefanos Angelidis and Mirella Lapata. 2018. Summarizing opinions: Aspect extraction meets sentiment prediction and they are both weakly supervised. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing (EMNLP), pages 3675-3686.

[7] Eric Chu and Peter Liu. 2019. Meansum: a neural model for unsupervised multi-document abstractive summarization. In Proceedings of International Conference on Machine Learning (ICML), pages 1223-1232.

[8] Arthur Bražinskas, et al. 2020b. Unsupervised opinion summarization as copycat-review generation. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (ACL), pages 5151-5169.

[9] Ke Wang, Xiaojun Wan. 2021. TransSum: Translating Aspect and Sentiment Embeddings for Self-Supervised Opinion Summarization. In Findings of the Association for Computational Linguistics (ACL-IJCNLP), pages 729-742.

[10] Dustin Wright, Isabelle Augenstein. 2020. Transformer Based Multi-Source Domain Adaptation. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pages 7963-7974.

[11] Jiang Guo, et al. 2018. Multi-Source Domain Adaptation with Mixture of Experts. In Proceedings of the Conference on Empirical Methods in Natural Language Processing (EMNLP), pages 4694-4703.

[12] Young-Bum Kim, et al. 2017. Domain Attention With an Ensemble of Experts. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (ACL), pages 643-653.

[13] Ashish Vaswani, et al. 2017. Attention is all you need. In Advances in neural information processing systems (NIPS), pages 5998-6008.

[14] Chin-Yew Lin. 2004. Rouge: A package for automatic eval- uation of summaries. In Proceedings of Workshop on Text Summarization Branches Out Post Conference Workshop of the Association for Computational Linguistics (ACL), pages 74-81.


# T5を用いた感情要約文の生成

福田芳樹 1 伊東嗣功 2 石井雅樹 2 堂坂浩二 2
1 秋田県立大学 大学院システム科学技術研究科電子情報システム学専攻
2 秋田県立大学 システム科学技術学部 情報工学科
\{m22b009, dohsaka,ishii,hidekatsu_ito\}@akita-pu.ac.jp

## 概要

人間同士のコミュニケーションの活性化を狙いと して，会話ロボットが文章の書き手の感情を推定す るとともに，推定結果の判断理由を生成する手法に 関する研究を行っている. 本研究では，判断理由と して書き手の感情が生起した要因に着目し, 感情的 な出来事について書かれた文章から書き手の感情の 生起要因を含む要約文（感情要約文）を生成する手法を提案する．T5を用いた提案手法の方が，ベー スラインにおけるSBERTを用いた抽出型要約と比較して高いROUGE スコアを示し, 人間の作成した 要約文とほぼ変わらない文を生成した。さらに， $\mathrm{T} 5$ は感情推定を同時に行う場合においても同様の結果 を示し, 入力文章に感情タグを入れることで生成文 の感情表現を制御できることを示した.

## 1 はじめに

人間同士のコミュニケーションを活性化する会話 ロボットの研究が行われており $[1,2]$, 我々は人間同士の感情コミュニケーションでは感情のやり取り が重要な役割を担う点 $[3,4,5]$ に着目し, 文章と絵 を用いて人間同士の感情コミュニケーションを活性化する会話ロボットの研究を進めている $[6,7,8]$.会話ロボットが共感や発話によって人間同士の感情 コミュニケーションを促進できれば，心理セラピー 効果が得られる [3] だけでなく，良好な対人関係の 構築に役立ち [4], 社会交流の活性化につながるこ とが期待される. また, 社会交流の活性化は認知症 の予防にも効果的である [5].

会話ロボットが絵から感情を推定し応答する研究 では, 感情推定の結果だけでなく, ロボットがその 感情であると判断した理由も一緒に応答すること で，人間同士のコミュニケーションがさらに活性化 することが示唆された [7]. 一方で，人間は，書き手 の感情を推定する根拠として文章の内容を用いるこ
とが自然である。このため，会話ロボットが絵だけ でなく文章も判断理由に用いることができれば，応答の幅が広がり，妥当性や信頼性の向上によって，人間同士のコミュニケーションをより活性化するこ とができると考えられる。

そこで，我々は会話ロボットの感情判断理由とし て書き手の感情が生起する要因に着目し, 感情的な 出来事について書かれた文章から書き手の感情生起要因を含む要約文（以後, 感情要約文) を生成す る手法を提案する．具体的には，「昨日、とても嬉 しいことがありました。当選確率の低いライブに当選しました！！最高にうれしい！！速攻で有給の申請を入れました。ののように感情的に書かれた文章 から，「当選確率の低いライブに当選したから嬉し い」のような要約文を生成する。

会話ロボットと感情生起要因に関連する研究に,感情生起要因を利用した感情推定 $[9,10]$ がある. 本研究は基本的に入力文章の感情は推定済みとして,入力感情の生起要因に着目した要約文を生成する点 に特徴がある。

以下において，2 節で提案手法とデータセットの 構築方法を述べ，3節で評価の方法と結果について 示す. 最後に，4 節で結果についてまとめる.

## 2 提案手法

## 2.1 諸定義

本研究における感情, 感情表現, 感情要約文を関連研究 $[9,10,8]$ を参考に次のように定義する.

感情 Plutchik の基本 8 感情 [11] の\{喜び，悲しみ，怒り，恐れ，嫌悪，信頼，予期，驚き\}とする。

感情表現 中村の感情表現辞書 [12]をもとに作成さ れた感情強度辞書 [13] のうち，幸村の定義 [14] を満たす述語とする。

感情要約文 感情生起要因は「当選確率の低いライ

図1喜びのアノテーション済み文章例

ブに当選したので／嬉しい」のように感情表現 に原因・理由の副詞節を作る接続表現を伴って 従属接続できるものとする．この文型を感情生起要因文型と呼び，この文型を満たす要約文を 感情要約文と呼ぶ.

## 2.2 提案手法の概要

近年，様々な自然言語処理タスクをText-To-Text で解くトランスフォーマーモデル T5 が発表され，当時の GLUE や SuperGLUE などの様々なタスクで SoTAを達成した [15]. 本研究では T5を用いて文章 の感情要約文を生成する。

## 2.3 データセットの作成

学習・評価に用いるためのデータセットを構築す る. 事前に書き手の感情が推定済みの文章を収集し た. まず，複数人のクラウドワーカーがあるテーマ と感情をもとに 4，5 文からなる文章を作成し，次 に，1つの文章につき 5 人の独立したクラウドワー カーが書き手の感情を推定した. 本研究では，これ らのうち 3 人以上の感情が一致した文章を使用し，多数派感情を文章の書き手の感情とする。このよう に作成した 1212 件の各文章に対して，下記に示す 作業を行う. また， 1 つの文章に 3 人分の作業デー タを付けるものとし， 1 人分の作業例を図 1 に示す.

作業 1 書き手の感情が生起した要因となる出来事 を感情生起要因文型に沿って簡潔に要約する。

作業 2 作業 1 に用いた出来事（感情生起要因）の 含む文をすべて選択する。

作業 3 作業 2 で選択した文のうち，最も主な出来事（感情生起要因）を含む文を 1 つ選択する。

このデータセットを train $: \operatorname{dev}:$ test $=8: 1: 1$ に分割して学習・評価データとする。表 $1 \mathrm{~T} 5$ の学習データ例 input<喜び>体重が減ってる！結婚式まであと 1 か月!!!この調子で目標体重まで瘦せ るぞ!! !もも体も何だか調子が良くて最高!!

target 体重が減ったから嬉しい。

## 2.4 T5 のファインチューニング

事前学習済み $\mathrm{T} 5$ はウェブ上に公開されているモ デル1)を利用し，HuggingFace 社の Transformers[16] を用いてファインチューニングする。 T5 は Text-ToText のモデルであるため，学習に用いる input と target はテキストである. 本研究では表 1 に示す ように，input を接頭辞に感情タグ (例:<喜び〉)を 付けた感情的な出来事について書かれた文章とし， targetを作業 1 で作成された文とする。これらを用 いて，約 3 千件のデータを max_input_length $=128$, max_target_length $=32$, batch $=32$, epochs $=10$ の設定 で学習する。

## 3 評価

## 3.1 評価方法

T5を利用した提案手法における生成文を，次節 で述べるべースラインにおける生成文と 2.3 節で作成した作業者の要約文を基準に評価する．評価指標 には ROUGE-N-F[17] を利用し, 評価データには学習に未使用の 126 文章を用いる。

## 3.2 ベースライン

我々はこれまでに感情と文章を入力することで 2.3 節の作業 3 を推定する手法を提案してきた [8].具体的には，文章 $S$ とその書き手の感情 $e$ が与えら れたときに，感情 $e$ が生起する原因となった主な出来事を含む文番号 $i d x$ を推定する手法を提案した。 このとき，式 (1) に示すように，文番号 $i d x$ は入力各文 $\mathbf{S}^{i}$ と事前に自動収集された感情生起要因文型を 満たす事例全件 $\mathbf{E P}_{e}^{i}$ の文ベクトルによって計算され るコサイン類似度行列の最大値によって決まる。

$
i d x=\underset{i}{\arg \max }\left(\max _{j}\left(\operatorname{CosSim}\left(\mathbf{S}^{i}, \mathbf{E P}_{e}^{j}\right)\right)\right)
$

しかし，正解率は低く，推定される文は感情生起要因文型を満たすとは限らないという 2 つ大き な問題点がある。これらの問題点を解決した手法を ベースラインとする.

1) https://huggingface.co/sonoisa/t5-base-japanese
正解率の向上 正解率が低い原因は，自動収集し た感情生起要因事例のノイズや別の意味の事例と 高い類似度を持つことに起因する。ノイズに関し ては，事例の自動収集時の形態素解析器を KNP[18] に変更してタグく節-機能: 原因・理由〉と係り受け情報を用いて感情生起要因文型を検知することで大幅に削減した.また，文の特徵量を改善するため に SBERT[19]を利用する. SBERT は良質な文べク トルを生成するために，BERT 族を効率的にファイ ンチューニングするモデルである. 本研究では事前学習済みモデルに東北大学の公開している BERT ${ }^{2)}$ を，損失関数に TripletLoss(anchor 文に作業 1 の 文, positive 文に作業 3 の文, negative 文に作業 2 以外の文)を用いて T5 と同様の学習データで学習し た (batch=32, epochs=10).

要約生成ヒューリスティクス 2つ目の問題点を 解決するために, 文を感情生起要因文型を満たす形 に変形する手法を提案する. 式 (1) で推定された文 (以後, 選択文) に対して，次のヒューリスティクス を適用し感情要約文を作成する。

1. 選択文中に感情生起要因文型がある場合は 「【文中の感情生起要因】【文中の接続表現】【文中の感情表現】」を出力.

2. 上記以外で入力文章中に感情表現が含まれる場合は「【選択文の文末過去形】【基本接続表現】【文章中の感情表現】」を出力.

3. 上記以外の場合「【選択文の文末過去形】【基本接続表現】【基本感情表現】」を出力.

ここで，基本表現は 2.3 節で構築したデータセッ 卜で最も使用された接続表現「ので」と感情表現「(喜び) 嬉しい，(悲しみ) 悲しい，(怒り) 腹が立つ， (恐れ) 不安だ， (信頼) 信頼している，(嫌悪) 嫌だ， (驚き) 驚いた，(予期) 興味がある」を利用する。

## 3.3 結果と考察

## 3.3.1 ベースラインの事前実験

表 2 に先行研究を改良したベースラインの作業 3 の推定結果を示す.ここで， $E[X]$ は作業 3 を正解 する期待値, normal はノイズ除去済みの事例データ ベース約 3.5 万件 3 )を用いたシステムの結果, ideal は作業 1 の結果を normal で用いた事例データベー

表 2 主な感情生起要因を含む文の推定正解率

表 3 生成要約文と参照文の ROUGE スコアの比較 ROUGE-N-f

スに追加した結果である. normal の結果を見ると， SBERTを用いたシステムは先行研究と同じ状況で ある BERT を用いたシステムよりほんの少し向上し ているが，依然として期待値とほぼ同じ値である。一方で ideal の結果を見ると，SBERT を用いたシス テムの正解率は非常に高いことが分かる. このこと から，コサイン類似度と感情生起要因事例データ ベースを用いた主な感情生起要因の含む文の推定 では，事例データベース内に類似する事例がある場合に文の特徴量化手法として SBERTを用いること は有效であると言える. 今後, 特に記載のない限り SBERT-normal の結果を用いるものとする。

## 3.3.2 要約文の生成結果と考察

表 3 に各手法における生成文の ROUGE スコアを 示す. なお，users は作業者間のスコア平均である。具体的には，ある 1 人の作業者の要約文を生成文,他の 2 人の要約文を参照文として，すべての組み合 わせにおいて ROUGE スコアを計算したときのスコ アの平均值である。このスコアは作業者間の要約文 の単語一致度を示し, システムのスコアがこの値に 近ければ近いほどシステムは作業者の作成した要約文と同じ単語を生成していると言える.

ベースラインの結果の考察 baseline-predicted task3 は先行研究を改善した手法の結果 (表 2 の SBERT-normal の結果に対応) であり，-correct task3 は主な感情生起要因の推定は行わずに作業者の作業 3 の結果をそのまま 3.2 節で定義した要約生成 ヒューリスティクスに入力した場合である.

表 3 を見ると，主な感情生起要因の推定の正解率 が低い状態ではスコアが低く, 仮に主な感情生起要因の推定で完全に正答した場合 (-correct task3 の結
表 4 入力文章と各システムの生成例

} \\

果)でも T5 や作業者間のスコアには届かないことが 示された.

具体的な結果を考察したところ，作業者たちが作業 3で選択した文をそのまま要約文に使用している 場合にスコアが高くなり，作業 2 で選択した文に含 まれる単語を利用した場合や，同義語や類義語で置換する場合にスコアが低くなる傾向があった. 表 4 の baseline に生成結果の一例を示す. 表 4 に示すよ うに式 (1)によって選択された文の文末に感情表現 が入っている場合, 生成文の感情表現が重複するこ とがあった.

T5 の結果の考察 T5-add emotion tag は表 1 のよう に感情タグを文頭に付けた場合であり，-no emotion $\operatorname{tag}$ はそれがない場合である.

表 3 を見ると，どちらの場合においても，作業者間のスコアとほぼ変わらない。このことから T5 は 作業者間の作成した要約文とほぼ同じ単語を用いて 要約文を生成していると言える。

具体的な結果を考察したところ, -add emotion tag では意味の通らない文はほとんどなかった. 表 3 の T5 の ROUGE スコアが作業者間のスコアよりも高く なるのは，表 4 に示すように，T5 の生成文がある作業者の参照文とほぼ同じ文を生成していることに起因する。また，表 3 の-no emotion tag が-add emotion tag よりも若干低い結果になっているのは，入力文章の感情とは異なる感情表現を生成しているため であった. このため, T5-no emotion tag の生成文に は，文法的には正しいが意味は通らない文が稀に あった.表 $5 \mathrm{~T} 5$ の生成文を用いた感情推定の正解率

そこで，不適切な感情表現を生成する現象に着目 し， T5 の生成文に対して感情表現辞書を用いた単純 な感情推定を行った. このとき，表 5 に感情推定の 正解率を文章の多数派感情の一致人数別にまとめた ものを示す．表を見ると，感情タグがない場合は一致人数が少なくなるにつれて正解率が下がっている ことが分かる。一方で，感情タグがある場合は一致人数にかかわらず正解率は高い.このことから，人間が見ても書き手の感情が分かりずらい場合は $\mathrm{T} 5$ も感情を当てにくいことが分かった. また，感情夕 グを入れることで出力文の感情を制御することが可能であることも示唆された.

## 4 おわりに

会話ロボットの感情の判断理由として文章中の感情生起要因に着目し, 文章の感情生起要因を含む要約文（感情要約文）を生成する手法を提案した. 具体的には，感情的な出来事について書かれた文章を 用いて感情要約文を生成するように $\mathrm{T} 5$ をファイン チューニングする方法とそのためのデータセットの 構築方法を提案した. ベースラインとして, SBERT を用いて入力文章の中から主な感情生起要因の含む 文を選択し，ヒューリスティクスによって感情要約文を作成する手法を定義した。提案手法と比較した ところ，ベースラインは主な感情生起要因の含む文 の選択精度が ROUGE スコアに大きく関わるを示し た.また，ヒューリスティクスに正解文を入力した 場合でも T5 の ROUGE スコアには届かないことを 示した. T5 では学習データが少ないにもかかわら ず，ROUGE スコアが高い自然な文を生成した。一方で，入力文章に感情タグを入れない場合，書き手 の感情が人間でも理解しにくい文章は $\mathrm{T} 5$ でも適切 な感情表現を生成できない傾向があった. しかし，感情タグを入れれば適切な感情表現を生成できるこ とが分かった.

今後の課題として，提案手法に基づいて判断理由 を応答する会話ロボットを構築し，実際に人間同士 のコミュニケーションを促進できるか実証実験を行 う必要があると考えられる。

## 謝辞

本研究は科研費（16K00355）の助成を受けたもの である。また，株式会社 Insight Tech が国立情報学研究所の協力により研究目的で提供している「不満調查データセット」を利用した.

## 参考文献

[1] Kohji Dohsaka, Ryota Asai, Ryuichiro Higashinaka, Yasuhiro Minami, and Eisaku Maeda. Effects of conversational agents on activation of communication in thoughtevoking multi-party dialogues. IEICE Transactions on Information and Systems, Vol. E97.D, No. 8, pp. 21472156, 2014.

[2] Shinya Fujie, Yoichi Matsuyama, Hikaru Taniyama, and Tetsunori Kobayashi. Conversation robot participating in and activating a group communication. In INTERSPEECH, pp. 264-267, 2009.

[3] Jonathan R Carryer and Leslie S Greenberg. Optimal levels of emotional arousal in experiential therapy of depression. Journal of consulting and clinical psychology, Vol. 78, No. 2, pp. 190-199, 2010.

[4] Ronald E Riggio. Assessment of basic social skills. Journal of Personality and social Psychology, Vol. 51, No. 3, pp. 649-660, 1986.

[5] Laura Fratiglioni, Stephanie Paillard-Borg, and Bengt Winblad. An active and socially integrated lifestyle in late life might protect against dementia. The Lancet Neurology, Vol. 3, No. 6, pp. 343-353, 2004.

[6] 木下圭, 堂坂浩二, 石井雅樹, 伊東嗣功. 文書と絵から の感情認識手法の開発. 言語処理学会 第 25 回年次大会, pp. 117-120, 2019.

[7] 鈴木哲司, 堂坂浩二. コミュニケーション活性化を 目的とした絵からの感情判断理由の生成. 秋田県立大学ウェブジャーナル B(研究成果部門), No. 5, pp. 24-31, 2018

[8] 福田芳樹, 堂坂浩二, 石井雅樹, 伊東嗣功. BERT を利用した感情生起要因推定手法の検討. 人工知能学会第 34 回全国大会論文集 (4Rin182), 2020.

[9] 松本和幸, 三品賢一, 任福継, 黒岩眞吾. 感情生起事象文型パターンに基づいた会話文からの感情推定手法. 自然言語処理, Vol. 14, No. 3, pp. 239-271, 2007.

[10] 徳久良子, 乾健太郎, 松本裕治. Web から獲得した感情生起要因コーパスに基づく感情推定. 情報処理学会論文誌, Vol. 50, No. 4, pp. 1365-1374, apr 2009.

[11] Robert Plutchik. The nature of emotions: Human emotions have deep evolutionary roots, a fact that may explain their complexity and provide tools for clinical practice. American scientist, Vol. 89, No. 4, pp. 344-350, 2001.

[12] 中村明. 感情表現辞典. 東京出版, 1993.

[13] 赤堀立樹, 堂坂浩二, 伊東嗣功, 石井雅樹. 感情強度辞書を利用した日本語ツイートの感情強度の推定. 人工知能学会 第 33 回全国大会論文集 (3Rin214), 2019.

[14] 幸村幸夫. 日本語のシンタクスと意味. くろしお出版, 1982 .

[15] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine
Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. Journal of Machine Learning Research, Vol. 21, No. 140, pp. 1-67, 2020.

[16] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Rémi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander M. Rush. Transformers: State-of-the-art natural language processing. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 38-45, Online, October 2020. Association for Computational Linguistics.

[17] Chin-Yew Lin. ROUGE: A package for automatic evaluation of summaries. In Text Summarization Branches Out, pp. 74-81, Barcelona, Spain, July 2004. Association for Computational Linguistics.

[18] 笹野遼平, 黒橋禎夫. 大規模格フレームを用いた識別 モデルに基づく日本語ゼロ照応解析. 情報処理学会論文誌, Vol. 52, No. 12, pp. 3328-3337, 2011.

[19] Nils Reimers and Iryna Gurevych. Making monolingual sentence embeddings multilingual using knowledge distillation. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing. Association for Computational Linguistics, 112020.

[20] 三澤賢佑, 成田和弥, 田内真惟人, 中島正成, 黒橋禎夫. 定量調査のための意見調査コーパス構築への取 り組み. 言語処理学会第 23 回年次大会 発表論文集, pp. 1014-1017, 2017.


# 抽出型要約と言い換えによる生成型要約の訓練データ拡張

Loem Mengsay 高瀬翔 金子正弘 岡崎直観
東京工業大学情報理工学院
\{mengsay. loem, sho. takase, masahiro.kaneko\}@nlp.c.titech.ac.jp
okazaki@c.titech.ac.jp

## 概要

大量の訓練データを用いたニューラルモデルは生成型要約タスクにおいて高い性能を達成している. しかしながら，大規模な並列コーパスの構築はコス トの観点から容易ではない.これを解決するため,本研究では生成型要約タスクの疑似訓練データを低 コストで効果的に構築する手法を提案し, 訓練デー タを拡張する。提案手法は抽出型要約と言い換えの 2 つのステップで疑似訓練データを構築する. 抽出型要約では入力テキストの主要部分を抽出し，言い 換えではその多様な表現を得る．実験を通して，提案手法は生成型要約タスクの性能を向上させ，逆翻訳や自己学習などの既存の訓練データ拡張手法を上回ることを確認する。

## 1 はじめに

ニューラルエンコーダ・デコーダは，機械翻訳や 自動要約などの様々な系列変換タスクにおいて顕著 な性能を達成している $[1,2]$. 近年の研究において ニューラル手法の性能は訓練データ量に対数比例 することが指摘されており [3], 系列変換タスクに おいて高い性能を達成するためには，大規模な並列 コーパスが必要である [4]. 本稿では，生成型要約 タスクにおけるニューラルエンコーダ・デコーダの 性能を向上させるために，訓練データを拡張するこ とに取り組む。

人手による並列コーパスの構築はコストが高いた め, 既存研究では疑似訓練データを自動的に構築す る方法が検討されている. 疑似訓練データを構築す る方法としては，逆翻訳 [5] が広く用いられている。翻訳タスクにおける逆翻訳では，翻訳先の言語の文 から翻訳元の言語の文を生成するモデルを学習し，得られたモデルを翻訳先の言語のコーパスに適用 し，翻訳元の言語の疑似コーパスを生成する。この 逆翻訳手法を要約に適用した場合，モデルは要約か
ら原文書を生成する必要があるため，要約タスクに おける逆翻訳は本質的に非現実的である（付録 A）.

He ら [6] は，自己学習が機械翻訳や要約タスクの 性能を向上させることを示した. 自己学習では教師 モデルを学習し，そのモデルを入力側のコーパスに 適応し, 出力側の疑似コーパスを生成する。逆翻訳 が非現実的な処理であったのに対し, 自己学習によ る疑似要約の生成は合理的である. しかしながら，自己学習を適用した場合，多様な要約の生成が困難 であると指摘されている [7]. これらの問題に加え，自己学習や逆翻訳において高品質な疑似データを得 るためには，大量の訓練データで教師モデルや逆翻訳モデルを学習しておく必要があるため，データ構築のコストが高い.

そこで，本研究では生成型要約の疑似訓練データ を構築する新たなアプローチとして，抽出型要約と 言い換えの組み合わせによる手法を提案する．提案手法は原文の統語構造を基に，ヒューリスティック な手法で重要な部分を要約として抽出する.このた め, 逆翻訳や自己学習と異なり, 疑似訓練データ作成のためだけにニューラルモデルを構築する必要 がない。抽出された要約に対し，既存のモデルを活用した言い換え手法を適用し，多様な疑似要約を 得る.

本研究では見出し生成タスクと文書要約タスクで 実験を行う．実験を通して，提案手法による疑似訓練データは両タスクにおいて性能を向上させること を確認した．具体的には，疑似データを用いること により両タスクの ROUGE F1 スコアが 0.50 以上向上した。また，生成された疑似データの性質を分析 し，提案手法による疑似データの生成が従来手法よ り効率的であることを示した．提案手法は真の訓練 データが少ない低リソースの設定においても頑健で あることが確認された（付録 B）.

図 1 提案手法による疑似データの生成過程の例.

## 2 提案手法

1 節で述べたように，提案手法は抽出型要約と言 い換えから構成される. 図 1 に提案手法の概要を示 す. 提案手法は文を入力とし，その文に対応する疑似要約文を生成する。このため, 文書から疑似要約 を構築する場合には，文書内に含まれる複数の文に 対して独立に提案手法を適用し, 各文の要約文の集合を文書の要約とする.

## 2.1 ステップ 1 ：抽出型要約

抽出型要約のステップでは，原文の中から重要な 部分を抽出する，すなわち，入力文の文圧縮を行 う. 先行研究ではルールベースの手法 [8], 構文木 から重要部分を検出するアプローチ [9]，ニューラ ルベースの手法 $[10,11]$ などの圧縮方法が提案され ている。本研究では，コストの少ない手法，すなわ ち，新たにモデルを構築する必要のない手法とし て，与えられた文の構文木を基に文圧縮を行う.

本研究では，文の重要な部分は与えられた文の構文木の根付き部分木であると定義する. まず，与え られた文を係り受け解析し，その係り受け木を得 る. 次に，係り受け木の深いノード，すなわち，末端に近いノードを刈り，元の構文木よりも深さの小 さい根付き部分木を得る. 本手法では部分木の深さ によって, 出力要約の長さ (単語数)を調整するこ とができる. 本研究では，係り受け木の染さの半分より深いノードを刈る. 図 1 の下段（左）に本ス テップの例を示す.

## 2.2 ステップ 2 : 言い換え

ステップ 1 により抽出された要約は原文に含まれ る単語のみで構成されている．要約の多様性を高め るために要約に言い換えの手法を適用する．高品質 なニューラル機械翻訳モデルが公開されているた め，言い換えには機械翻訳モデルを用いたアプロー チ [12]を採用する．具体的には，文を別の言語に翻訳し，翻訳された文を元の言語に翻訳する折り返し 翻訳を行い，言い換えを得る。図 1 の下段（右）に 本ステップの例を示す.

## 3 実験

提案手法の効果を調べるため, 見出し生成と文書要約の 2 つの要約タスクで実験を行った. 見出し生成タスクでは Gigaword データセット [2]を用いた. このデータセットには，英語 Gigaword コーパスか ら抽出された約 380 万の文書の 1 文目と見出し文 の対が訓練データとして含まれる。文書要約タスク では，単一の文書要約タスクに広く利用されてい る CNN/DailyMail データセット [13]を用いた。この データセットには，CNN と DailyMail のウェブサイ トから抽出されたニュース記事と要約の 28 万対が 訓練データとして含まれている。ニューラルエン コーダ・デコーダモデルとして fairseq ${ }^{1)}$ に実装され ている Transformer[14]を用いた。

## 3.1 比較手法

既存研究で提案されてきた代表的な訓練データ拡張手法との比較を行う. 疑似データの構築は各デー タセットの訓練データをもとに行う．なお，Caswell

1) https://github.com/pytorch/fairseq
表 1 見出し生成タスクと文書要約タスクにおける ROUGE F1 スコア. 丸括弧の中は疑似訓練データ数を示す。

ら [15] に従い，全ての疑似訓練データについての入力の先頭に<Pseudo>の特殊トークンを付加する.

オーバーサンプリング 訓練データから原文書と 要約の対をサンプリングし，訓練データに追加す る.すなわち，この手法で構築される訓練データに は，真の訓練データのみが含まれる。

逆翻訳訓練データを用いて，要約から原文を生成するニューラルエンコーダ・デコーダの学習を行 う. 次に，このモデルを訓練データ内の要約に適用 し，対応する原文書を生成する. 生成された原文書 と真の要約の対を疑似訓練データとして使用する。

自己学習 各訓練データを用いて, 原文書から要約を生成するニューラルエンコーダ・デコーダを学習する. 次に，訓練データの原文をニューラルエン コーダ・デコーダに入力し，対応する要約を生成す る. 真の原文書と生成された要約の対を疑似訓練 データとして使用する.

提案手法 各訓練データに対して提案手法を適用 する．2 節で説明したように，提案手法は文単位で 疑似要約を生成する。ニューラルエンコーダ・デ コーダでは先頭の数文を入力とすることが多いこと にならい，文書要約タスクでは，原文書に含まれる 冒頭の 3 文を提案手法への入力とし, 各文の要約を 元の順序で連結して原文書の要約とする. 抽出型要約ステップの係り受け解析には， $\mathrm{spaCy}^{2}$ を使用す る. 言い換えステップでは, $\mathrm{Ng}$ ら [16] が構築した 英独・独英翻訳モデル ${ }^{3}$ を使用する。

## 3.2 結果

表 1 に真の訓練データのみを用いた場合と，各 データ拡張手法を用いた手法の ROUGE スコアを示 す.オーバーサンプリングは拡張を行わない場合と 比較して高いスコアを達成している。この結果は，重複した学習事例であっても訓練データ量が増え

表 2 生成された疑似要約の真の要約に対する BLEU と F1 BERTScores.

るほど，ニューラルエンコーダ・デコーダの性能が 向上することを示唆している。逆翻訳と自己学習は 拡張を行わない場合よりも性能は高いが，オーバー サンプリングと同程度のスコアである。これらの結果は，性能改善は両者が生成する疑似データの品質 ではなく，学習データの増加によってもたらされた ことを示唆している。逆翻訳と自己学習は疑似デー タの生成に別のモデルを学習する必要があるため, そのコストを考慮するとオーバーサンプリングが 優れている。これらに対し，提案手法は他のデー 夕拡張手法よりも高い性能を達成した。特に，提案手法による疑似訓練データは見出し生成におけ る ROUGE-2 スコアを大幅に向上させた。文書要約 では，拡張を行わない場合と比較して提案手法によ るデータ拡張は全ての ROUGE スコアを有意に向上 させた4)．これらの結果から，提案手法はオーバー サンプリング，逆翻訳，自己学習を含む既存のデー タ拡張手法よりも，生成型要約タスクのための疑似 データを構築するのに有効であると言える.

## 4 分析

## 4.1 疑似データの多様性

1 節で述べたように，提案手法は自己学習より多様な要約を生成するために言い換えを行なってい る.この効果を検証するために，自己学習と提案手法により生成された疑似要約を比較する。表 2 は 各訓練データにおける真の要約と生成された疑似

4） スチューデントの $\mathrm{t}$ 検定で $p<0.05$.
表 3 疑似データ生成するのに要する時間と費用.

要約の BLEU スコアを示している．また，意味的類似性の指標として F1 ベースの BERTScore[17] も 示している. この表から, 自己学習と提案手法の BERTScore は高いことがわかる. この結果は生成さ れた要約が真の要約と意味的に類似していることを 意味する.このことから，いずれの方法で生成され た要約も疑似データとして意味的に適していると言 える。

一方，提案手法の BLEU スコアは自己学習のスコ アよりも低い.この結果は, 自己学習と比較して提案手法が真の要約と異なるフレーズを多く含んだ 疑似要約を生成していることを示している。 すなわ ち, 提案手法で構築した訓練データは自己学習より も多様な要約を含むことが分かる。

## 4.2 疑似データ生成の効率

提案手法は公開されている翻訳モデルをそのま ま用いることができるため，逆翻訳や自己学習のよ うに翻訳・生成モデルを学習する必要はない. その ため, 既存手法と比較すると低コストで疑似データ を構築できる. 表 3 は各疑似データの構築手法の所要時間5)を示す. また，クラウドコンピューティン グサービスである Amazon EC2を用いて疑似データ を構築した場合に必要な費用も示している. 表 3 か ら，逆翻訳と自己学習はモデルの学習に多くの時間 を要することがわかる。一方, 提案手法では学習を 必要としないため, 他の手法と比較して $1 / 10$ 以下の 金額で疑似データを構築できる。

## 5 関連研究

逆翻訳と自己学習は，系列変換タスクのデータ拡張手法として広く使われている $[5,18,6]$. 逆翻訳は 機械翻訳において有効なアプローチであるが，1 節 で述べたように，要約タスクに適用するのは非現実的である。また，自己学習は機械翻訳や要約タスク

において有効な手法と報告されている $[19,6]$ が，多様な疑似データを生成することは困難である [7] た め，性能の向上に限界がある.

訓練データとの差異が小さい摂動を用いて性能改善を行う手法は，データ拡張とみなすことができる [20]. Takase ら [21] は, 単語ドロップアウトや単語置換のような単純な手法は敵対的摂動よりも効率的 に性能を向上させられることを示した.これらの摂動は本研究の提案手法と独立しているため, 組み合 わせることでさらに性能向上が期待できる.

提案手法の抽出型要約のステップでは文圧縮の手法を用いている. Dorr ら [8] は言語学的に動機づけ られたヒューリスティックを用いたルールベースの 文圧縮手法を提案した. Filippova ら [9] は訓練デー タから重要な部分木を学習する教師あり文圧縮法を 提案した。また，近年ではニューラルネットを用い た文圧縮の研究も行われている $[10,11]$. 本研究で は教師ありモデルや学習コーパスを必要としない,文の構文木に基づくルールベースの手法を採用し文 の圧縮を行った。

提案手法は抽出された要約に対して言い換えを 行い，疑似データの多様性を高めている. Bolshakov ら [22] は辞書に基づき単語を同義語に置き換える ことで，言い換えを行う手法を提案した。最近の研究は，言い換えタスクを系列変換タスクとして定式化することにより，ニューラルベースの言い換え生成を行っている [23]. 機械翻訳モデルを用いた折り 返し翻訳による言い換え文生成も提案されている [12]. 近年は高性能な機械翻訳モデルは公開されて いるため，本研究では言い換え生成の手法として折 り返し翻訳を採用した。

## 6 おわりに

本研究では, 生成型要約タスクのための疑似デー タを生成する新しい手法を提案した. 提案手法は抽出型要約と言い換えの 2 つのステップから構成さ れる。抽出型要約により入力の重要な部分を見つ け，言い換えにより多様な表現を獲得する．実験の 結果，提案手法は逆翻訳や自己学習の疑似データ生成手法と比較して，より効果的であることが示され た. また，提案手法は疑似データ生成において追加 でモデルを学習する必要がないため, 他の手法に対 して，コストの面でも優れていることを示した.

謝辞 本研究は JSPS 科研費 $19 \mathrm{H} 01118$ および JP21K17800 の助成を受けたものです.

## 参考文献

[1] Dzmitry Bahdanau, Kyunghyun Cho, and Yoshua Bengio. Neural machine translation by jointly learning to align and translate. In 3rd International Conference on Learning Representations, 2015.

[2] Alexander M. Rush, Sumit Chopra, and Jason Weston. A neural attention model for abstractive sentence summarization. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 379-389, 2015.

[3] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners. In Advances in Neural Information Processing Systems 33, pp. 1877-1901, 2020.

[4] Philipp Koehn and Rebecca Knowles. Six challenges for neural machine translation. In Proceedings of the First Workshop on Neural Machine Translation, pp. 28-39, 2017.

[5] Rico Sennrich, Barry Haddow, and Alexandra Birch. Improving neural machine translation models with monolingual data. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics, pp. 86-96, 2016.

[6] Junxian He, Jiatao Gu, Jiajun Shen, and Marc'Aurelio Ranzato. Revisiting self-training for neural sequence generation. In International Conference on Learning Representations, 2020 .

[7] Jiatao Gu, James Bradbury, Caiming Xiong, Victor OK Li, and Richard Socher. Non-autoregressive neural machine translation. In International Conference on Learning Representations, 2018.

[8] Bonnie Dorr, David Zajic, and Richard Schwartz. Hedge trimmer: A parse-and-trim approach to headline generation. In Proceedings of the HLT-NAACL 03 Text Summarization Workshop, pp. 1-8, 2003.

[9] Katja Filippova and Yasemin Altun. Overcoming the lack of parallel data in sentence compression. In Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing, pp. 1481-1491, 2013.

[10] Katja Filippova, Enrique Alfonseca, Carlos A. Colmenares, Lukasz Kaiser, and Oriol Vinyals. Sentence compression by deletion with LSTMs. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 360-368, 2015.

[11] Hidetaka Kamigaito, Katsuhiko Hayashi, Tsutomu Hirao, and Masaaki Nagata. Higher-order syntactic attention network for longer sentence compression. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human
Language Technologies, pp. 1716-1726, 2018.

[12] Jonathan Mallinson, Rico Sennrich, and Mirella Lapata. Paraphrasing revisited with neural machine translation. In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics, pp. 881-893, 2017.

[13] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics, pp. 1715-1725, August 2016.

[14] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in Neural Information Processing Systems 30, pp. 5998-6008, 2017.

[15] Isaac Caswell, Ciprian Chelba, and David Grangier. Tagged back-translation. In Proceedings of the Fourth Conference on Machine Translation, pp. 53-63, 2019.

[16] Nathan Ng, Kyra Yee, Alexei Baevski, Myle Ott, Michael Auli, and Sergey Edunov. Facebook FAIR's WMT19 news translation task submission. In Proceedings of the Fourth Conference on Machine Translation, pp. 314-319, 2019.

[17] Tianyi Zhang, Varsha Kishore, Felix Wu, Kilian Q. Weinberger, and Yoav Artzi. Bertscore: Evaluating text generation with BERT. CoRR, Vol. abs/1904.09675, , 2019.

[18] Shun Kiyono, Jun Suzuki, Masato Mita, Tomoya Mizumoto, and Kentaro Inui. An empirical study of incorporating pseudo data into grammatical error correction. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, pp. 1236-1242, 2019.

[19] Jiajun Zhang and Chengqing Zong. Exploiting source-side monolingual data in neural machine translation. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 1535-1545, 2016.

[20] Sosuke Kobayashi. Contextual augmentation: Data augmentation by words with paradigmatic relations. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 452-457, 2018.

[21] Sho Takase and Shun Kiyono. Rethinking perturbations in encoder-decoders for fast training. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 5767-5780, 2021.

[22] Igor A. Bolshakov and Alexander Gelbukh. Synonymous paraphrasing using wordnet and internet. In Natural Language Processing and Information Systems, pp. 312323, 2004

[23] Aaditya Prakash, Sadid A. Hasan, Kathy Lee, Vivek Datla, Ashequl Qadir, Joey Liu, and Oladimeji Farri. Neural paraphrase generation with stacked residual LSTM networks. In Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics: Technical Papers, pp. 2923-2934, 2016.
表 4 逆翻訳により生成された原文と真の原文との ROUGE F1 スコア. 比率と差は, 生成された原文と真の 原文に含まれるトークン数の比較である.

## A 逆翻訳による疑似データ

1 節で述べたように，生成型要約タスクにおける 逆翻訳アプローチは，要約から原文を復元する必要 があるため，本質的に不可能である．そこで，逆翻訳により生成された原文の性質を調べた。

表 4 は，逆翻訳により生成された原文の長さ （トークン数）の比率と差とを示す. 生成された原文は元の原文より短いことが分かる.この結果は,逆翻訳が真の原文の情報を完全に復元できていない ことを示している。つまり，要約から原文を生成す ることが難しいことを意味している。

また，逆翻訳により生成された原文が真のデータ に対応しているかを調べるために，真の原文を正解 と見なした場合の ROUGE スコアを表 4 に示す. 文書要約の場合, ROUGE スコアは極めて低くなって いる。この結果からも，逆翻訳は原文の生成に失敗 していることがわかる.

一方，見出し生成の ROUGE スコアは文書要約の ROUGE スコアと比較して高い. この結果は, 逆翻訳は要約から原文の核となる部分を復元できる可能性を示している。見出し生成タスクは，与えられた 文章から見出しを生成するタスクであるため，要約 （見出し）には原文の主要な部分が含まれているこ とが多い. このような性質が高いROUGE スコアの 要因になっていると考えられる。

## B 低リソース設定

2 節で述べたように，提案手法は訓練データの量 が少ない場合でも，頑健であると予想される。この 仮説を調べるために，低リソースな訓練データの設定で実験を行なった。

見出し生成タスクと文書要約タスクの各訓練セッ トから，1千件の事例を抽出する. 抽出された事例 は，真の訓練データとし，残りの事例を疑似データ の生成に利用する. 比較手法と実験設定は 3 と同様 である.

表 5 と 6 に，見出し生成タスクと文書要約タスク における，各手法の ROUGE F1 スコアを示す. 両夕表 5 低リソース設定における見出し生成タスクの結果.

表 6 低リソース設定における文書要約タスクの結果.

スクにおいて，オーバーサンプリングは拡張なしを 上回る性能を得ることがわかる. このように，重複 した学習データはニューラルエンコードデコーダモ デルの性能を向上させる. この結果は, 3.2 の結果 と整合性がある。

表 5 により, 見出し生成では，逆翻訳がオーバー サンプリングより高いスコアを達成している。ま た，表 6 により，文書要約では自己学習がオーバー サンプリングより優れていることが分かる.この結果は，適切なタスクに適用すれば，既存のアプロー チがオーバーサンプリングよりも効果的である可能性を示している。

一方，提案手法は両タスクにおいて他の手法より 有意に高い性能を達成している. よって，提案手法 は真の訓練データの量が少ない場合にも有効である ことがわかる.


# 記事に忠実ではない訓練事例も活用した 見出し生成モデルの忠実性の改善法

植木滉一郎 平岡達也 岡崎直観
東京工業大学
\{koichiro.ueki@nlp., tatsuya.hiraoka@nlp., okazaki@\}c.titech.ac.jp

## 概要

見出し生成において忠実性の改善は重要な課題で ある．従来研究 [1] では，訓練データ中で忠実性が 低い見出しを取り除くアプローチが提案されたが，見出し生成モデルの学習に用いる訓練事例数が減 るため，生成される見出しの品質が低下するという 問題があった. 本稿では，マスク付き言語モデルを 用いて忠実性の低い訓練事例を忠実性の高い事例 に書き換える手法，タグにより見出しの忠実性を制御する手法を提案する. 自動評価と人手評価の結果 から，提案手法は既存手法と同程度の忠実性を保ち ながら品質の高い見出しを生成できることを報告 する.

## 1 はじめに

近年の言語生成モデルの発展により，見出し生成 （記事に対して見出しを作文する）タスクの性能が 向上し，人間が作成した見出しに近い品質の見出し を自動で生成できるようになった。しかし，自動見出し生成は記事内容から逸脱した見出しを生成す ることがある，という問題が報告されている $[2,3]$. そのため, 見出し生成モデルの忠実性の改善を目指 した研究が進められている $[4,5,6,7]$.

松丸ら [1] は，記事に忠実ではない見出しが訓練 データの約 4 割に含まれていると指摘し，それが生成モデルの忠実性を低下させる要因になっている と報告した. 忠実でない見出しを訓練データから取 り除くことで，モデルの忠実性を向上させた. さら に，訓練事例の不足を補うため，自己学習を用いて 擬似訓練データを作成した。

ところが，日本語データの実験において，自己学習で獲得した擬似訓練データはモデルの忠実性を改善するものの，参照見出し文との ROUGE スコアを 低下させた. これは，訓練事例の見出しの中で，記事から逸脱している箇所は単語や句などの限られた 範囲であるにもかかわらず，ゼロから擬似見出しを 生成したことに起因する．そこで，記事から逸脱し た見出しを破棄するのではなく，積極的に活用しな がら見出しの忠実性と ROUGE スコアの両方を改善 する手法を検討したい.

本稿では，マスク付き言語モデルを用いた訓練 データの書き換え手法（図 1 中央）と，タグを用い てモデルの忠実性を制御する手法（図1右）を提案 する．前者は，見出しの中で記事から逸脱している 箇所の単語や句をマスク付き言語モデルで書き換 え，擬似訓練データとする．後者は，訓練データに は一切変更を加えず，モデルへの入力の先頭に忠実性の度合いを示すタグを付与し，見出し生成モデル を学習する。自動評価と人手評価の結果から，提案手法は既存手法と同程度の忠実性を維持しつつ，品質の高い見出しを生成できることが分かった.

## 2 提案手法

本研究の目標は, 見出し生成モデルの ROUGE 值 と忠実性を改善することである，具体的には，松丸 ら [1] の手法をべースとし，より多くの訓練データ を見出し生成モデルの学習に活用する手法を提案す る. 本稿では，部分編集による擬似見出し生成と， タグによる制御の二つの手法を提案する。

## 2.1 含意関係認識器

本研究では，記事に対する見出しの忠害性の判定 を，記事と見出しの含意関係認識として扱う [1].含意関係認識器を用いて，訓練データ Dを忠実な 見出し $\mathscr{D}^{\text {fai }}$ と，忠実ではない見出し $D^{\text {hal }}$ のグルー プに分ける。含意関係認識器 $E$ は, $N$ 単語から構成 される記事 $X=\left(x_{1}, x_{2}, \cdots, x_{N}\right)$ と， $M$ 単語から構成 される見出し $Y=\left(y_{1}, y_{2}, \cdots, y_{M}\right)$ の組を大力とし,記事 $X$ が見出し $Y$ を含意する確率 $E(X, Y)$ を予測す

$(X, Y) \in \mathscr{D}^{\text {hal }}$

2.見出し生成モデルを学習

$\left.\langle\mathrm{HAL}>+\right.$ 記事 $X \rightarrow \longrightarrow \begin{array}{c}\text { モデル }\end{array} \rightarrow$ 見出し $Y$

図 1 (左) 含意関係認識による訓練事例の忠実性判定 (中央) マスク付き言語モデルを用いた訓練データの書き換え (右) タグ制御による見出し生成

図 2 マスク付き言語モデルを用いた擬似見出し生成

る. $E(X, Y)$ が閾值 $\alpha$ 以上の事例を $\mathscr{D}^{\text {fai } に ， ~} \alpha$ 未満 の事例を $\mathscr{D}^{\text {hal }}$ に入る（図 1 左).

## 2.2 部分修正による擬似見出し生成

マスク付き言語モデルで忠実ではない見出しを 書き換え，忠実な擬似見出しを生成する（図 2）。ま ず，見出しの中で記事に忠実ではない部分の検出を 行う．式 1 のように，記事と忠実ではない見出しの 組 $(X, Y) \in \mathscr{D}^{\text {hal }}$ に対し，見出し $Y$ に含まれるトーク ンのうち，記事 $X$ に出現しないものを，忠実ではな い部分と見なし，<MASK>トークンに置き換える.

$
\tilde{y}_{i}= \begin{cases}y_{i} & \left(\text { if } y_{i} \in X\right) \\ <\text { MASK> } & \text { (otherwise) }\end{cases}
$

続いて，忠実ではなかった部分の穴埋めを行う.式 2 のように，マスク付き言語モデル BERT [8] を 用いて，マスクされた見出しから疑似見出しを生成 する．具体的には，記事とマスクされた見出しを BERT に入力し，<MASK>トークンを予測することで，擬似見出し $Y^{\prime}$ を生成する。

$
Y^{\prime}=\operatorname{BERT}\left(X,\left[\tilde{y}_{1}, \tilde{y}_{2}, \cdots, \tilde{y}_{M}\right]\right)
$

このようにして，全ての $(X, Y) \in \mathscr{D}^{\text {hal }}$ 対して，見出しの書き換え $Y \longrightarrow Y^{\prime}$ を行い，擬似訓練データ $\left(X, Y^{\prime}\right) \in \mathscr{D}^{\mathrm{pse}}$ を構築する. 最終的に，忠実な訓練 データ $\mathscr{D}^{\mathrm{fai}}$ と擬似訓練データ $\mathscr{D}^{\mathrm{pse}}$ を用い，見出し 生成モデルを学習する。
BERT モデルは，忠実な事例 $(X, Y) \in \mathscr{D}^{\text {fai }}$ の記事 と見出しを連結して入力し，見出し部分のトークン の一部をマスクトークンに置換し，元のトークンを 予測するタスクでファインチューニングする.

## 2.3 タグ制御モデル

訓練データの見出しには忠実性の高いスタイル と低いスタイルがあることを明示し，タグ制御に より見出し生成の忠実性を制御するモデルを提案する（図 1 右)。生成を制御する既存手法 $[9,10]$ と同様に，訓練データの入力に忠実性を表す特殊トークンを連結する．具体的には，忠実な訓練事例 $(X, Y) \in \mathscr{D}^{\text {fai }}$ の記事 $X$ の冒頭に特殊トーク ン<FAI>を，忠実ではない訓練事例 $(X, Y) \in \mathscr{D}^{\text {hal }}$ の 記事 $X$ の冒頭に特殊トークン<HAL>を追加する.

$\mathscr{D}^{\text {fai }}$ と $\mathscr{D}^{\text {hal }}$ は人手で作成された事例であるため,忠実度には差があるものの見出しの品質は高い. そ こで，見出しの忠実度に応じた特殊トークンを訓練事例に付与し，見出し生成モデルを学習すること で，訓練データの量を落とすことなく，忠実な見出 しと忠実ではない見出しを書き分けられるようにな ることが期待される。このようにして学習した見出 し生成モデルで忠実な見出しを生成するには，見出 しを生成したい記事の冒頭に特殊トークン<FAI>を 追加し，見出しを生成させればよい。

## 3 実験

## 3.1 実験設定

日本語の見出し生成タスクで実験する. 訓練 データとして，Japanese News Corpus (JNC) ${ }^{1)}$ を用い る. JNC は，朝日新聞の記事冒頭 3 文と紙面見出 しの組から構成される約 180 万事例を収録して いる. また，評価用データセットとして，JApanese MUlti-Length Headline Corpus (JAMUL) を利用する。

1) https://cl.asahi.com/api_data/jnc-jamul.html
表 1 JAMULデータセットでの評価 (手法左のマークは図 3 に対応)

JAMUL は朝日新聞デジタルで配信された 1,524 件の 記事全文と紙面見出し，10，13，26 文字以内の各種媒体向け見出しが付与されたデータセットである.本研究では紙面見出しを評価に用いる. トークン化 には SentencePiece [11]を使用した。

日本語の事前学習済み BERT モデル2)を用いて，含意関係認識器を構築した．具体的には，松丸らが JNC のデータから作成した含意関係認識データセッ トから，5,033 件の訓練事例でファインチューニン グを行った。1,678 件の評価データにおける正解率 は $83.9 \%$ であった.この含意関係認識器を用いて，見出し生成の訓練事例を分類したところ，844,526 件 (全体の $48.9 \%$ ) が忠実な事例と判定された.

提案手法の比較対象として，訓練データ全体で学習したモデル（全事例），松丸ら [1] の既存手法に 従って忠実な事例のみで見出し生成モデルを学習し たもの（忠実のみ），自己学習で擬似見出しを追加 してモデルを学習したもの（忠実十自己学習）を用 いる. 見出し生成モデルとして Transformer[12]を採用し, fairseq ${ }^{3}$ で実装した.

自動評価手法として, full-length F1 ROUGE 値を 用いる. また，ROUGE では生成された見出しの忠実性を評価できないため $[13,14]$, モデルが生成し た見出しに対して，含意関係認識器（2.1 節）が含意 と予測する割合（含意率）[1]を報告する。

人手評価では，忠実性（記事が見出しを含意する か), 重要度 (見出しは記事の重要な内容を含んでい るか)，理解しやすさ（見出しは理解しやすいか）と いう 3 つの観点を用いた。「忠実性」は「はい」「い いえ」「判定不能」の 3 段階評価を行い，「はい」の 割合いを報告する。「重要度」，「理解しやすさ」は， “5”を最も良いとする 5 段階評価を行い，その平均值を報告する. JAMUL のデータからランダムにサ ンプルした 100 事例に対し，各モデルで見出しを生表 2 生成した擬似見出しの評価

成し，一人の被験者に評価を依頼した。

## 3.2 実験結果

表 1 に実験結果を示す. 表中の R-1, R-2, R-L はそ れぞれ，ROUGE-1, ROUGE-2, ROUGE-Lを表す.両方の提案手法とも，忠実十自己学習と同程度の含意率を達成しつつ，より高い ROUGE スコアが得られ た. また，タグ制御モデルはシンプルな手法である にもかかわらず，ROUGE スコアと含意率で安定し た性能を示し，ROUGE-L 値では全事例を学習事例 に用いた場合と同程度の性能を達成した。これは，提案手法が忠実性の問題に対処しつつ，より多くの 訓練事例を有効に活用できたためと考えられる.

表 1 の人手評価によると，忠実性に関してはタグ 制御モデル，重要度に関しては全事例を学習に用い るモデル，理解しやすさではタグ制御モデルが最も 良い評価を得た。このように，タグ制御モデルは自動評価と人手評価の両方において良好な評価を得 た. 一方，部分修正モデルは人手評価による評価が 芳しくなかった．部分修正モデルが生成する擬似見出しを確認してみると，壳長な繰り返し表現を含む ことが多いことが判明した.これは，見出し中の複数のマスクトークンを予測するときに，重複した単語が予測されてしまうことがあり，結果的に重複を 含む不自然な見出しがモデルの訓練データに用いら れ，その性質を引き継いだ見出し生成モデルが学習 されてしまったことが原因と考えられる。

2) https://github.com/yoheikikuta/bert-japanese

3) https://github.com/pytorch/fairseq

図 3 見出しの被覆度と忠実性に関する分析

## 4 分析

## 4.1 生成された擬似見出しの分析

マスク付き言語モデルによって生成された擬似見出しの忠実性と，書き換え前の見出しとの一致度，生成された見出しの冗長さを評価することで，擬似見出しの品質を分析する. 同様に, 既存手法 [1] で ある忠実十自己学習によって生成された擬似見出 しも分析する. 擬似見出しの忠実性の評価には含意率を用いる. また，元の見出しと擬似見出しの一致度を測定するため，元の見出しと擬似見出しの間の ROUGE-1 F1 值を算出する. さらに，式 3 で擬似見出しの壳長さを求め，その平均値を報告する.

$
\text { 冗長さ }:=\frac{\text { 見出し内に複数回出現する単語の数 }}{\text { 見出しの長さ (単語数) }}
$

表 2 より，忠実十自己学習による擬似見出しが高 い忠実性を示すことが分かる．部分修正による擬似見出し生成は，元の見出しの一部を書き換えるだけ の手法であるが，忠害ではなかった見出しの 7 割を 忠実なものへ書き換えることに成功した.

また，書き換え前の見出しと書き換え後の見出し の間で ROUGE-1 スコアを測定した結果から，部分修正により生成された疑似見出しは，元の見出しか らの変更が少ないことが分かる．これは，忠実では ない訓練データのうち，利用できる箇所はできるだ け利用するという本研究の狙いが達成できているこ とを示している．㔯長さに関しては，部分編集によ る擬似見出しが最も冗長であった.

## 4.2 提案手法による忠実性の向上

見出し生成では被覆度（見出しを構成する単語の うち，記事に含まれるものの割合）[15] の高い見出
し，つまり記事からの抽出に近い見出しを生成する という手法でも，忠実な見出しを生成できると言わ れている。ところが，被覆度を単に高めるだけの手法は，言い換えや流暢さといった抽象型見出し生成 の長所を打ち消してしまう．そのため，被覆度を高 めることを狙わずに，忠実性を向上させることが望 ましい。

Ladhak ら [16] は，忠実性を向上させる手法の有効性を評価する際に，被覆度の影響を取り除くべきと 主張した。そこで，被覆度の影響を排除するため， モデル間で生成する見出しの被覆度を揃え，忠実性 を比較する. 生成する見出しの被覆度を制御できる 見出し生成モデル（被覆度制御モデル）を学習し，被覆度と忠実性の関係を図 3 に曲線で描画した (モ デルの詳細は付録 A に記載した)。この分析におい て，見出しの忠害性は含意率で測定している.

図3 に各手法の見出しの被覆度と含意率をプロッ トすることで，手法の忠実性を有効に向上させたか を評価できる。 図 3 の曲線は，見出しの被覆度の制御のみで達成できる忠実性を示しており，この曲線 よりも上に位置する手法は，被覆度を高める以外の 面で，忠実性を向上させていると評価できる．この 分析によると, 本研究で提案した両方の手法は, 曲線よりも上側に位置し, 全事例で学習したモデルと 同程度の被覆度で，より高い忠実性を達成している ことが分かる．従って，提案手法は見出し生成の忠実性を安易に向上させているのではなく，有効な手法であることが示された.

## 5 おわりに

本稿では，日本語の見出し生成において，忠実性 と ROUGE スコアの両方を改善させる手法を提案し た. 本研究では, 既存研究で破棄されていた忠実で はない見出しを活用することで，見出し生成モデル の性能向上を目指した。具体的には，見出しの部分的な修正による擬似見出し生成手法と，タグ制御に よる見出し生成の制御手法を提案した.

日本語の見出し生成タスクでの実験から，両方の 提案手法は既存手法と同程度の含意率で，より参照見出しに近い見出しを生成できることが分かった. また，人手評価から，タグ制御による見出し生成モ デルが忠実性，重要度，理解しやすさにおいてバラ ンスの取れた手法であることが示された。さらに，提案手法は見出しの被覆度を単に高めるのではな く, 見出しの忠実性を向上させることを確認した.

## 6 謝辞

本研究成果は, 国立研究開発法人情報通信研究機

構（NICT）の委託研究「自動翻訳の精度向上のため のマルチモーダル情報の外部制御可能なモデリング の研究開発」により得られたものです.

## 参考文献

[1] Kazuki Matsumaru, Sho Takase, and Naoaki Okazaki. Improving truthfulness of headline generation. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 1335-1346, Online, July 2020. Association for Computational Linguistics.

[2] Ziqiang Cao, Furu Wei, Wenjie Li, and Sujian Li. Faithful to the original: Fact aware neural abstractive summarization. In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 32, 2018.

[3] Joshua Maynez, Shashi Narayan, Bernd Bohnet, and Ryan McDonald. On faithfulness and factuality in abstractive summarization. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 1906-1919, Online, July 2020. Association for Computational Linguistics.

[4] Tanya Goyal and Greg Durrett. Annotating and modeling fine-grained factuality in summarization. arXiv preprint arXiv:2104.04302, 2021.

[5] Zheng Zhao, Shay B. Cohen, and Bonnie Webber. Reducing quantity hallucinations in abstractive summarization. In Findings of the Association for Computational Linguistics: EMNLP 2020, pp. 2237-2249, Online, November 2020. Association for Computational Linguistics.

[6] Sihao Chen, Fan Zhang, Kazoo Sone, and Dan Roth. Improving faithfulness in abstractive summarization with contrast candidate generation and selection. arXiv preprint arXiv:2104.09061, 2021.

[7] Yuning Mao, Xiang Ren, Heng Ji, and Jiawei Han. Constrained abstractive summarization: Preserving factual consistency with constrained generation. arXiv preprint arXiv:2010.12723, 2020.

[8] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[9] Jessica Ficler and Yoav Goldberg. Controlling linguistic style aspects in neural language generation. In Proceedings of the Workshop on Stylistic Variation, pp. 94-104, Copenhagen, Denmark, September 2017. Association for Computational Linguistics.

[10] Katja Filippova. Controlled hallucinations: Learning to generate faithfully from noisy data. In Findings of the Association for Computational Linguistics: EMNLP 2020, pp. 864-870, Online, November 2020. Association for
Computational Linguistics.

[11] Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[12] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. V. Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc., 2017.

[13] Wojciech Kryscinski, Nitish Shirish Keskar, Bryan McCann, Caiming Xiong, and Richard Socher. Neural text summarization: A critical evaluation. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLPIJCNLP), pp. 540-551, Hong Kong, China, November 2019. Association for Computational Linguistics.

[14] Alexander R Fabbri, Wojciech Kryściński, Bryan McCann, Caiming Xiong, Richard Socher, and Dragomir Radev. Summeval: Re-evaluating summarization evaluation. Transactions of the Association for Computational Linguistics, Vol. 9, pp. 391-409, 2021.

[15] Max Grusky, Mor Naaman, and Yoav Artzi. Newsroom: A dataset of 1.3 million summaries with diverse extractive strategies. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 708-719, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[16] Faisal Ladhak, Esin Durmus, He He, Claire Cardie, and Kathleen McKeown. Faithful or extractive? on mitigating the faithfulness-abstractiveness trade-off in abstractive summarization. arXiv preprint arXiv:2108.13684, 2021.

## A＼cjkstart被覆度制御モデル

ここでは， 4.2 節で使用した被覆度制御モデルに ついて説明する。

Ladhak ら [16] にならい, 生成する見出しの被覆度を制御できるモデル (被覆度制御モデル) を学習す る.この被覆度制御モデルを使用し, 被覆度と忠実性の関係を曲線で描く，具体的には，2.3 節と同様 に，制御タグによって異なる被覆度の見出しを生成 し，そこから被覆度と忠実性の関係を推定する。

訓練事例を 4 つのグループに分割する (Q1～Q4 とする). 表 3 は，分割したグループ内での被覆度の 平均を示す. Q1 が最も高く, Q2,Q3,Q4 となるにつ れて平均の被覆度が低くなる。

それぞれのグループに属する事例の記事の冒頭 に，対応する制御タグ (<Q1> <Q4>) を付与する. タ グを付与したデータで見出し生成モデルを学習す る. 生成時には，生成したい見出しの被覆度を，入力の記事に付与するタグで制御できると期待する.

各制御タグを用いて見出しを生成した結果を表 3 に示す. <Q4>タグで生成した見出しは被覆度が最も 低く，<Q1>タグで生成した見出しは最も高い。これ より，タグによる被覆度の制御ができているとわか る. また，<Q1>タグで被覆度の高い見出しを生成す ることで，高い忠実性を達成できることもわかる。 ROUGE 值に関しては，被覆度の制御だけでは，全事例を学習に用いるモデルやタグ制御モデルほどの 高い值は達成できていない。

<Q1> <Q4>の生成結果から，忠実性と被覆度の関係を推定したものが 4.2 節の図 3 となる.


# 拡張固有表現に分類された 31 言語の Wikipedia 知識ベース

関根聡 ${ }^{1}$ 中山功太 ${ }^{1}$ 野本昌子 ${ }^{1}$ 安藤まや $^{2}$
隅田飛鳥 ${ }^{1}$ 松田耕史 ${ }^{1}$
${ }^{1}$ 理化学研究所 革新知能統合研究センター ${ }^{2}$ フリー
\{satoshi. sekine, kouta. nakayama, masako. nomoto, asuka. sumida, koji. matsuda\}@riken.jp
maya@cis. twcu. ac. jp

## 概要

説明可能な AI 構築を目指し、Wikipediaを構造化 することを目標とした「森羅プロジェクト」を推進 している。2020、2021 年には 30 言語の Wikipedia を拡張固有表現に分類するタスクを実施し、2 年間 で 14 チームから 24 の参加システムを得た。その出 カデータを用いてアンサンブル学習を行い、大規模 な固有表現の分類リソースを構築した。日本語と合 わせて 31 言語で約 3340 万ぺージが分類されており、人手チェックも行った日本語の精度は $98.5 \%$ 、人手 チェックのないその他の 30 言語の平均 $\mathrm{F}$ 値は 86.9 である。知識リソースは森羅ホームページで公開し ている。「協働による知識構築 (Resource by Collaborative Contribution - RbCC)」と呼ぶ枠組 みで、構造化知識を構築している「森羅プロジェク ト」では、2022 年も新たなタスクを実施する。

## 1 はじめに

Wikipedia は常時更新されている巨大な知識源で あり、様々な言語処理技術への応用が期待されてい るが、構造化されていないため自然言語処理での利用が難しい。Wikipediaを分類し、構造化して知識グ ラフにすることで、幅広い活用が期待される。同様 の目的で構造化された知識としては、DBpedia、

YAGO、Wikidata などがあるが、分類カテゴリーや 構造フレームは主にクラウドによるボトムアップ方式で構築され、統一されたルールに基づいておらず、非常に多くのノイズが入っている。筆者らは、分類 や構造フレームの設計はトップダウンに画一した形 で行い、内容（コンテンツ）の構築をクラウドで行 うことにより、言語処理にも利用しやすい知識が構築できると考えている。そこで、分類基準と構造フ レームに幅広い固有表現カテゴリーを対象に定義さ
れている「拡張固有表現」を利用し、そこに Wikipedia に記載されている知識をはめ込むことにより、整理 された構造化知識を構築することを目指している。 これが「森羅プロジェクト」の目標である。プロジ エクトでは、共有タスクを実施し、その複数の参加 システムの出力に対してアンサンブル学習などを通 じ精度の高い知識を自動的に構築する枠組みとして 提唱している「協働による知識構築 (Resource by Collaborative Contribution - RbCC)」を用いて知識構築を行っている。本論文では、そのプロジェク トのうち、2020、2021 年に実施した、30 言語の Wikipedia 分類タスクを通して構築したものに、日本語の分類データも含めた 31 言語の Wikipediaを拡張固有表現に分類した知識リソースを紹介する。

## 2 拡張固有表現

拡張固有表現は、幅広い固有表現を対象とした固有表現オントロジーであり、今回利用した Version 8.1 では最大 4 階層で、末端カテゴリー数は 219 ある

(Sekine et al. 2002, ENE-HP）。一般的な固有表現力 テゴリー(Nadeau 2007)とされる組織名や地名の下位概念である企業名、政党名、市区町村名、湖沼名だ けではなく、イベント名、製品名、自然物名などの 新規のカテゴリーもあり、Wikipedia の項目を対象に 拡充している。拡張固有表現のホームページに詳細 の定義があるが、付録に記載した図 2 亿全体像を示 す。また、Wikipedia を対象にしているため、2つの 特異なカテゴリーを設定している。一つは主に一般名詞などを対象にした"CONCEPT”というカテゴリ 一であり、もう一つは「転送ぺージ」「リストペー ジ」「メタ情報ぺージ」など Wikipedia 特有のぺー ジを対象とした”IGNORED”である。拡張固有表現の 多くのカテゴリーには構造化のために属性も定義さ れ、構造化の際に利用する。

## 3 日本語分類データ

日本語 Wikipedia 分類データは 2019 年 1 月の Wikipedia ダンプを対象に作成した。被リンク数が 5 以下の 15 万ページ、シンプルな方法で除外した固有表現ではない 5 万ページを除いた 92 万ページから構成されている。 3 万ページ程度の学習データを元に 機械学習を用いた分類結果を人手ですべてチェック した（Suzuki et al. 2018）。サンプルデータを用いて 分析した結果、精度は 98.5\%程度であると推定され ている。残りの $1.5 \%$ は、人が見ても曖昧なぺージな どであった。表 1 に頻度の高い上位 10 個のカテゴリ 一の情報を載せる。映画化された小説のぺージに両方の記載がある場合などには、1つのページが複数 のカテゴリーに属することとしており、その割合は $3 \%$ 程度である。

表 1. 頻度の高いカテゴリ

## 4 共有タスク

30 言語の2019年 1 月の Wikipedia ダンプを対象に、拡張固有表現に分類するタスクを実施した（関根ら 2021）。30 言語は、言語ごとの “active user” の数 が多いものから選んだ。本タスクの教師データは、 3 節で紹介した日本語の分類データと Wikipedia の言語間リンクから自動的に各言語に対して作成したも のを利用した。したがって、完全なデータではなく、 いわゆる“silver data”である。例えば、226 万ページ あるドイツ語の場合には、日本語からの言語間リン クがあるページは 27 万ページあり、それを教師デー タとして、残りの 199 万ページの分類を行うことが 本タスクとなる。（ただし、参加者にはアンサンブ ル学習での利用を考慮し、教師データ部分の分類も 学習システムを使って実施することを求めている)参加チームは、2021 年は 10 チーム、2022 年は 3 チ 一ムであった。それぞれのシステムに関する論文は、森羅ホームページより閲覧できる（SHINRA-HP）。全ページのデータの提出を促すこと、将来のシステ ム評価との比較が公平にできることを目的として、評価の対象ページがどのページであるかは参加者に は公表していない。評価結果を表 2 に示す。それぞ れの言語での最高のシステムの $\mathrm{F}$ 值、アンサンブル 学習システム $\mathrm{F}$ 値、最低 1 つのシステムに正解が含 まれる割合を示している。

表 2. タスクの評価結果

 &  &  \\

アンサンブル学習はシンプルな Voting により行 なっている。ただし、 1 参加者が 3 システムまで提出することができ、多くの場合にはそれらの出力は 非常に似ているため、参加者ごとの票が 1 になるよ うに Voting を補正している。表 2 の赤字は、アンサ ンブル学習システムが、最高性能のシステムを上回 っていることを示す。多くの言語で上回っているこ とがわかる。また、上限はほとんどの言語で $90 \%$ \%超え、平均は $97 \%$ と非常に高いことがわかる。上限 に近いシステムを開発することは今後の課題である。

## 5 リソースのサンプルと統計情報

図 1 にサンプルデータを載せる。"pageid”と“title” で Wikipedia の該当ページを示し、ENEs でそのペー ジの拡張固有表現カテゴリーを ID と名前で示して いる。言語ごとに 1 ファイルで構成され、 31 言語分 の 31 ファイルがある。

図 1.サンプルデータ（英語）

表 3 に、言語毎の分類結果の頻度を示す。名前(1) の下位カテゴリーは、その次の階層のカテゴリーで まとめている。例えば 1.4 の組織名には、国際組織名(1.4.1)、企業名(1.4.6.2)、政党名(1.4.7.2)などの組織名の下位にあるカテゴリーの頻度の総和が示され ている。頻度の高いカテゴリーは言語共通であり、

名” $(13.52 \%)$, “製品名” $(13.65 \%)$, “施設名” $(6.14 \%)$, “組織名”(5.58\%)が頻度の高いカテゴリーである。

表 2 で示した通り、日本語を除いた 30 言語のリソ 一スの $\mathrm{F}$ 值は 86.76 であり、完璧ではない。どの力 テゴリーがどのカテゴリーに間違っているかを分析 した。付録の表 4 に混同行列の形で、正解とアンサ ンブル学習システムの出力の頻度を示す (30 言語の合計を示している）。この階層レベルで見た時の全体の誤りの $85 \%$ は“CONCEPT”か“IGNORED”に関連 している。特に、正解が“IGNORED”である時に、様々 なカテゴリーが付いている場合と、正解が様々な力 テゴリーである場合に“CONCEPT”のカテゴリーと なっている場合が目立つ。これらの誤り以外では、例えば、“組織名”と“地名”と“施設名”の 3 つのカテ ゴリ一の混同がある。施設名は、公園、学校、空港、道路など、組織名や地名に関係するものが対象とな っており、このような混同はある程度理解できる。 システムは“CONCEPT”と“IGNORED”以外は理解で きる範囲の結果を出力し、信頼できる知識になって いると考えている。“CONCEPT”と“IGNORED”の問題については今後の課題として取り組む考えである。

## 6 関連研究

知識オントロジーは自然言語処理にとって重要な リソースであると考えられてきた。例えば、1980代 の人工知能ブームでは日本では $\operatorname{EDR}$ (日本電子化辞書 1995)、米国では Cyc(Lenat 1995)という大きな国家プロジェクトで知識構築が行われたが、構築コス ト、メンテナンス、カバレージなどの問題 (Knowledge Acquisition Bottleneck) に直面し、当初 の目的を達成したとは言い難い。

不特定多数の協働によって百科事典知識を構築す る Wikipedia プロジェクトによって上記の問題に対 するパラダイムは大きく変化した。ただし、この知識は人間が読むために作られたものであり、計算機利用が容易にできるものではない。そこで、計算機利用な知識構築を目指した取り組みが行われている。 DBpedia は Wikipedia 内の infobox な゙構造化されて いる部分を利用し、構造化知識を構築している (Lehmann et al. 2015)。YAGO は Wikipedia と WordNet を結びつけることにより利用しやすいオントロジー を作ろうというプロジェクトである(Mahdisoltani et al. 2015)。Wikidata は Freebase などの経験を生かし、既に存在する構造化知識とクラウドを活用し、構造化知識を構築していこうというプロジェクトである (Vrande cic and Krotzsch 2014)。ただ、上記のどの知識も、カテゴリーや構造的な知識部分にノイズが多 くある Wikipedia に頼っていたり、カテゴリーや構造フレームの部分もクラウドによるボトムアップな 方法で構築しているため、多くのノイズが存在し、計算機による利用が難しいのが現状である。

## 7 協働による知識構築

本リソースを構築した森羅プロジェクトの大きな 特徵の一つは「協働による知識構築 (Resource by Collaborative Contribution - RbCC)」である (関根 ら 2018)。共有タスクによる言語処理技術の向上が 幅広く行われている。そのおかげで様々な技術が開発され精度向上が達成されてきた。しかし、多くの 場合には、システムの最適化 (Optimization) の競争 に過ぎない形でのプロジェクトとなり、タスクが終了すると開発したシステムも放置され、その結果が 何らかの貢献につながらないことが多い。この状況 は次に挙げる 3 つの改良によって改善すると考えて いる。

1. タスクを知識やリソースの構築などにつな がる形で設計する

2. システムの出力結果は広く公開し、アンサン ブル学習をはじめとした研究につなげる

3. タスクの出力結果をある種の学習データと して用いたシステムを開発できるように、再度タスクに参加できるような枠組みとする「森羅プロジェクト」のタスクは、多言語の分類 タスクに限らず 2018 年から日本語の属性値抽出夕 スク、リンク同定タスクを含め 6 回実施した。2022 年には、日本語で分類、属性値抽出、リンク同定の 3つのタスクを同時に行い、構造化知識を構築する タスクを実施する予定である。これまで作成した全 ての教師データと、構造化した 2019 年の Wikipedia 知識を教師データとして利用し、2021 年の Wikipedia を対象にする予定であり、これまで大き な課題であった知識メンテナンスの問題解決も目指 している。興味ある方の参加を期待している。

## 7 まとめ

協働による知識構築（RbCC）の枠組みで構築した 31 言語のWikipediaを拡張固有表現で分類した知識リ ソースについて報告した。日本語は 92 万ぺージを 98. $5 \%$ の精度で、他の 30 言語は約 3250 万ページを 87 の F 值で分類されている。データは森羅ホームぺ ージで公開している。

表 3. 各言語のカテゴリーごとの頻度

 & Person & God &  &  \\
 & Location & Facility & Product &  & Event &  & Disease & Color & Timex & Numex & IGNORED \\

## 謝辞

本研究は JSPS 科研費 JP20269633 の助成を受けたも のです。

## 参考文献

SHINRA-HP. Shinra project homepage:

https://shinra-project.info.

SHINRA2020-ML-HP. Shinra 2020-ml homepage: http://shinra-project.info/shinra2020ml/.

ENE-HP. Extended named entity homepage: https://ene-project.info.

関根聡, 野本昌子, 中山功太, 隅田飛鳥, 松田耕史,安藤まや (2021). SHINRA2020-ML:30 言語の Wikipedia ページの分類, 言語処理学会第27回年次大会発表論文集

関根聡, 小林暁雄, 安藤まや (2019). Wikipedia構造化プロジェクト「森羅2018」,言語処理学会第25回年次大会発表論文集, pp.69-72, 2019.

日本電子化辞書研究所 (1995). EDR電子化辞書シン ポジウム

Tushar Abhishek, Ayush Agarwal, Anubhav Sharma, Vasudeva Varma, and Manish Gupta (2020).

Rehoboam at the ntcir- 15 shinra2020-ml task. In The 15th NTCIR Conference Evaluation of Information Access Technologies (NTCIR-15).
Jens Lehmann, Robert Isele, Max Jakob, Anja Jentzsch, Dimitris Kontokostas, Pablo N. Mendes, Sebastian Hellmann, Mohamed Morsey, Patrick van Kleef, Soren Auer, and Christian Bizer (2015). Dbpedia - a large-scale, multilingual knowledge base extracted from wikipedia. Semantic Web, 6(2):167-195.

Douglas Lenat (1995). Cyc: A large-scale investment in knowledge infrastructure. Communications of the ACM, 38(11):33-38.

pages 94-100. AAAI Press.

Farzaneh Mahdisoltani, Joanna Biega, and Fabian M Suchanek (2015). Yago3: A knowledge base from multilingual wikipedias. CIDR.

David Nadeau, Satoshi Sekine (2007). A survey of Named Entity Recognition and Classification”. Lingvisticae Investigationes 30 (1), 3-26.

Satoshi Sekine, Kiyoshi Sudo, and Chikashi Nobata (2002). Extended named entity hierarchy. In the Third International Conference on Language Resources and Evaluation (LREC'02).

Masatoshi Suzuki, Koji Matsuda, Satoshi Sekine, Naoki Okazaki, and Kentaro Inui. (2018) A joint neural model for fine-grained named entity classification of Wikipedia articles. IEICE Transactions on Information and Systems, E101.D(1):73-81.

Denny Vrande cic and Markus Krotzsch (2014).

Wikidata: A free collaborative knowledgebase.

Commun. ACM, 57(10):78-85.

## A 付録

乗り物名 乗り物名_その他車名 / 列車名 / 飛行機名食べ物名 食へ物名_その他

芸術作品名、芸桡作品名_Zの他絵画名 / 番組名 / 映画名 /
公演名 / 音樂名

出版物名 出此物名 Zの 新聞名 / 雑読名

規則名 规則名_その他

条約名 / 法令名

称号名 称号名_Zの他

地位膱業名

言語名 言語名_その他

国語名

単位急 戦位名_その他

バーチャルアドレス名

バーチャルアドレス名_その他 チャンネル名 / 電話番号電子メイル/ URL

 \\

時間表現 時間表現_その他

時間 時間_その他時刻表現 / 日付表現 / 曜日表現時代表現

## 期間 期間_その他時刻期間 / 日数期間 / 週数期間月数時間 / 年数期間

IGNORED

図 2. 拡張固有表現階層

表 4. 正解とアンサンブルシステム出力の混同行列

(縌軸が正解カテゴリー、横軸がアンサンブルシステムの出力カテゴリー)

 &  & Location & Facility & Product &  & Event &  & Disease & Timex & Numex &  \\


# 述語の概念フレームと PropBank 形式の 意味役割を付与した NPCMJ-PT の構築

竹内孔一 ${ }^{1}$ バトラーアラステア ${ }^{2}$ 長崎郁 3 パルデシプラシャント 4
} 1 岡山大学 ${ }^{2}$ 弘前大学 ${ }^{3}$ 名古屋大学 4 国立国語研究所 takeuc-k@okayama-u.ac.jp
## 概要

日本語のコーパスに対して構文木を付与して Web 上で公開している NPCMJ (NINJAL Parsed Corpus of Modern Japanese) に対して，述語と項 の意味的な関係を整理して公開している述語項構造シソーラス (PT) の概念フレームと意味役割を付与した NPCMJ-PT を構築している.現段階で約 7.4 万述語に対して概念フレームを付与し, 約 14.9 万件の項に対して意味役割関係 を付与している. 本稿では現段階で付与した データについての特徵と今後の展望について記述する.

## 1 はじめに

文の述語を中心とした係り関係の構造に対 して, 意味的な関係を付与する意味役割付与 データの構築が英語を中心に行われている (例 えば PropBank[1] や FrameNet[2]) .さらに , 意味役割と概念フレームを元にした文の抽象的な 意味構造をグラフで表す AMR(Abstract Meaning Representation)が提案されており1), AMR parser の開発 $[3]^{2}$ や AMR によるバイオ文献における 情報抽出が研究されている [4].

近年では, 意味役割ではなく, 係り関係の夕 イプを付与する UD (Universal Dependency) が提案されており, 主語と目的語ならば nsubjやobj とした関係で取り出すことが出来る.一方で，意味役割と異なるため下記のようなopen に対 して開けた動作主なのか開けられた対象なのか の違いは処理されない3).

(1) [nsubj $\mathrm{He}$ ] open the [obj door] .

(2) The [nsubj door] opened .

一方 , PropBank 形式の意味役割と概念フレー ムでは下記のように動作主と対象を分ける。

(4) [The ${ }_{A r g} 1$ door] [open. 01 opened] .

よって, 単に意味的な関係だけでなく, 辞書 (概念フレーム (この場合 open.01)) と同時に開発するのが意味役割付与の特徵である。

本研究では PropBank 形式の意味役割と名前の意味役割を日本語の述語 (動詞, サ変名詞 , 形容詞 , 形容動詞の約 1.2 万語) に対して 2.4 万例文を付与した述語項構造シソーラス PT (Predicate-argument Thesaurus) を辞書として NPCMJ に意味役割を付与して公開している 4$).$概念フレームは現段階で 1097 件定義しており， NPCMJ の付与とともに拡張している。

一方, NPCMJ は言語学研究者および日本語学習者を意識した Web 上で検索可能な大規模 ツリーバンクである (約 6.7 万ッリーを公開)，本研究では意味役割と概念フレームを付与する ことで，事例検索に役立てるとともに自然言語処理における日本語意味役割付与の学習データ としての利用を目標としている。

2 現在付与している NPCMJ-PT の全体像

NPCMJ-PT は NPCMJ の構文木に従って述語 に対して述語項構造シソーラスの概念フレーム を付与して，項に対して意味役割を付与した データである. 図 1 に事例を示す. 述語と光れ に対応する項についてはあらかじめ NPCMJ の 構文木から計算によって導出されている [5].構文木データを基にしているためゼロ代名詞5)

図 1 NPCMJ-PT の付与例 (aozora_Akutagawa-1921 コーパス)

を含めて項が設定されているところが特徴的 である.こうした点は Penn Treebank に付与を 行っている PropBank と同様の形式である .

現段階6)の付与データの量を表 1 に示す. 現

表 1 NPCMJ-PT 全体の現段階の付与件数

段階で NPCMJ-PT は内部的に 9.5 万件の構文木 (=文)を有している7) . 図 1 で示したとおり, 1 文に複数の述語が登録されているため, 1 文で 複数の概念フレームを付与する場合が多い. ま た，NPCMJ-PT には PT の例文も構文木ととも に記録されている．PT の事例は 2.2 万件程度 であるため，PT の付与例を抜いた場合，概念 フレーム数は 51,480 件, 項の数は 103,033 件で ある . 現在も付与を継続している.

以下の節では具体的にどのような述語に対し て，どのような概念フレームや意味役割が付与 されているのか具体例を挙げて記述する。

## 3 述語と概念フレームの付与

表 2 に付与した述語の種類数, 概念フレーム の種類数を示す. NPCMJ-PT では述語は活用し た語のみの記録であるため，基本形は形態素解析 MeCabを利用して推定した基本形を利用す る. 表 2 に示すように述語の概念フレームに は PT だけでなく一部日本語 WordNet の概念フ レームを付与している.これは図 1 にもあるよ うに述語として名詞も含まれており，一部の名
6) 2022 年 1 月 12 日現在.
7) 2022 年 1 月 12 日時点では 6.7 万木 (文) が公開され ている  .表 2 付与した述語の上位 10 件の頻度 (基本形に

整形)

詞に対して実験的に日本語の WordNet を利用 して概念を付与している8)

概念フレームの付与の仕方であるが図 1 に もあるように，PT の概念フレームに述語の登録がない場合，近い概念フレームを指定して，光の概念フレームの中で最も似ている述語を 指定して付与している. 例えば図 1 の 2 例目 の「御礼」は PTには登録がないが，Frame ID 80 番 (提供) の概念フレームにおける「謝礼す る」に近いことを示している.このようにアノ テーション作業で概念フレームを利用しつつ辞書の拡張を行って概念を付与している。

PT の概念フレームは現段階で 1097 種類定義 している．PT のデータが入っているにもかか わらず全概念フレームの種類が入っていない. これは PT の概念フレームが更新されているこ とや, 付与の形式ミスなどで今回のデータに は入れなかった事例が存在することが考えら れる。

また表 2 には現れないが，図 1 に示すように 複合動詞についても付与している.NPCMJ-PT では最後の述語に概念フレームを付与すること から，最初の要素には ArgM-PRX を付与し「多 くなる」の意味に近い概念フレーム Frame ID 308(程度の変化/多い)を付与する。

次に，表 3 に付与した述語のうち頻度の高い ものを順に上位から並べたものを示す . 述語は 上記のように形態素解析 MeCab を利用して推定した基本形を利用してまとめている。

8) サ変名詞は PTに登録されているため，ほとんど PT の概念フレームが付与されている.
表 3 で最も多い述語の「だ」と「の」の例を 下記 (5)(6) に示す ．どちらもコピュラであるこ とがわかる.

(5) [Arg1 私は] [ $\mathrm{Arg}_{2}$ 遠藤という書生] [895:です だ] (aozora_Akutagawa-1921)

(aozora_Akutagawa-1921)

NPCMJ では「の」が「である」に言い換えら れる場合は述語としており，連体修飾の場合 などによく出現する. (6) ではこれを「婆さん は/Arg1 インド人/Arg2です/895」という平叙文 を基に付与している.また「*」は MeCabに登録がなかった述語であり，例えば下記の (7)の ような動詞があげられる。

(7) $\left[\mathrm{Arg0}\right.$ 亜米利加人は] [ $\mathrm{Arg}_{2}$ 煙草を] [47 啣え] たなり , (aozora_Akutagawa-1921)

「と」という述語は下記の (8) に示すような場合 であり，「である」という述語があるとして概念フレームを付与している。

と] し, (book_excerpt-30)

NPCMJ の構文木に基づくと，コピュラが「で す」「だ」「の」「と」といった異なる形をとっ て多く出現していることがわかる．

ここで，付録の表 7 に概念フレームの多いも のから順に 10 件の例を取り上げる. 上述のよ うにコピュラが最も多く全体の 1 割ほど出現 している。続いて, 移動 (17), 生成 (124), 伝達 (95) , 変更 (407) といった状態変化動詞が続い ている9)．また9番目には，「思う」「認識する」 など人の判断にかかわる認識 (101) の動詞が出現している.

## 4 意味役割の付与

NPCMJ-PT における意味役割について記述す る. まず付与している意味役割の枠組を記述し た後，付与した結果について記述する。

## 4.1 意味役割の基本的な枠組

基本的に PT の枠組に従った形式である．PT では意味役割として PropBank 形式の意味役割 を採用し, 必須項が $\operatorname{Arg} 0,1,2$ といった数字を利

用する．ただし，PropBankでは各述語の語義に ついて光れ光れ別々に $\operatorname{Arg} 0,1,2$ の意味的な割り 当てを決める (例えば Open. 01 など) が，PTで は FrameNet[2] と同樣に概念フレーム [6] を想定して，概念フレームにおける必須の意味的な 関係を $\operatorname{Arg} 0,1,2$ で表現する.つまり FrameNet との対応で記述すると Element を数字で表現し ていることに対応する . 概念フレームにおける 必須項はイメージとして光の概念で出てくる必須の登場要素を決めて分類したものである.こ れにより態の異なりなどで表現が変わっても述語に対する項の意味的な関係を指定することが できる。

一方でPTでは名前の意味役割も同時に付与 している. 名前の意味役割は文献 [7] の事例に もあるように「〜で」で場所なのか手段なのか といった表現をべースにした解釈で付与する。 これにより，例えば，下記の壁塗り構文の場合 , PropBank 形式の意味役割ではどちらも違 いがないが，名前の意味役割によって，「ペン キで」が手段として捉えている表現である場合 で , 違いを検索することが可能になる．

る]

Frame ID 25(覆う) の必須項は「Arg0:動作主」, $\ulcorner\operatorname{Arg} 1$ :覆うもの」,「Arg2:覆われるもの」の3つ である.よって PropBank 形式の意味役割と名前の意味役割は文の表現に応じて樣々な対応関係をとる。

## 4.2 意味役割の付与内容

表 4 に NPCMJ-PT で付与した意味役割 (PropBank 形式) の上位 10 件の頻度分布を示 す$^{10)}$. 表 4 から最も多いのは対象を示す $\operatorname{Arg} 1$ であり次いで動作主を表す $\operatorname{Arg} 0$, さらに必須項の $\operatorname{Arg} 2$ が続く. 付加詞 (つまり)各概念特有 の項ではなく，どんな述語にも付与する係り 元) では ArgM-ADV(副詞)や ArgM-TMP(時間)， ArgM-LOC(場所) が多いことがわかる．また， NPCMJ では ArgM-PRX(連語:述語の一部の要素) が多く出現している．下記に ArgM-PRX の 事例を示す.

10) PropBank 形式の意味役割の一覧は付録の表 6 に示 す.

(11) [ArgM-ADV もう] [ArgM-PRX どうでも] [927:無関心だいい] (aozora_Dazai-2-1940)

(12) [ArgM-PRX 気ガ] [210:気絶する遠クナッ] テ シマウ (aozora_Akutagawa-1921)

事例 (12) に示すように複合動詞だけではなく，共起語や慣用表現の要素も ArgM-PRX タグを 付与する。

表 5 に名前の意味役割の上位 10 件の頻度分布を示す . PropBank 形式の意味役割と同樣に，最も頻度が多い要素が「対象」で次に「動作主」 となっている. 以降の意味的な関係として, 経験者や補語相当（は）といった必須項に関する ものが出現している. 表 4 と比較すると, $\operatorname{Arg} 1$

表 5 上位 10 件の意味役割 (名前の意味役割)

よりも「対象」の頻度が少ない.つまり $\mathrm{Arg} 1$ は名前の意味役割では他のラベルが付与されて いることがわかる. 名前の意味役割は全部で 73 種類設定している.よって PropBank 形式で は Arg0であっても，「動作主」や「原因」，「経験者」など細分化されている事例が付与され
ている.また $\operatorname{Arg} 1$ も単なる対象だけではなく，「経験者」や「補語相当」,「着点」などに付与 されている11).

下記に「対象」および「補語相当（は）」の例 を示す.

天上に燃える炎の声] [895:ですだ] (aozora_Akutagawa-1921)

男] (aozora_Doyle-1905)

基本的には「A B B だ」のコピュラの場合がよ く見受けられる. 例 (14)のように連体修飾の 形で「の」を述語と考えた場合にも付与されて いることが多い.

## 5 今後の予定

現在も概念フレームと意味役割付与作業を続 けているため，本稿で記述した統計量は変わる 予定である．また意味役割を付与した結果をど のようなデータ構造にするか現在議論中であ る. 先の文献 [9] で記述したように FrameNet 準拠のXML 形式の出力は可能であるが一方で，構文木の情報は同時に盛り込まれない．また，本原稿を書くにあたってプログラムを作成して NPCMJ-PT データをxlsx 形式にまとめたもの を利用した . 表計算ソフトの形式を利用すると 集約した情報を得る場合に有利である．どのよ うな形式で NPCMJ-PT を出力するか引き続き 検討する．

## 謝辞

本研究は国立国語研究所機関拠点型基幹研究 プロジェクト「統語・意味解析コーパスの開発と言語研究」および JSPS 科研費 (課題番号 15H03210) と (課題番号 19K00552) の助成を受 けたものである .
 0$ の場合も $\operatorname{Arg} 1$ の場合の付与も ある. 基本的には意図せずになにか行為を行う主体で ある . PropBank1.7 の辞書では here. 01 や see. 01 の Arg0 に Experiencer という注釈が入っている. 動作主体で ありながら，「経験者」の意味で付与しているように見受けられる.「経験者」は $\operatorname{Arg} 1$ にも対応する. 例えば 「[Arg1:経倹者赤ちゃんが] [Arg0:原因物音に] [398 驚く]」 のように心理的な影響を受ける主体に「経験者」を付与している [8] .
}

## 参考文献

[1] Olga Babko-Malaya. PropBank Annotation Guidelines, 2005.

[2] Collin F. Baker, Charles J. Fillmore, and John B. Lowe. The Berkeley FrameNet project. In Proceedings of the 36th Annual Meeting of the Association for Computational Linguistics, pp. 86-90, 1998.

[3] Sheng Zhang, Xutai Ma, Kevin Duh, and Benjamin Van Durme. Amr parsing as sequence-to-graph transduction. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, 2019.

[4] Zixuan Zhang, Nikolaus Parulian, Heng Ji, Ahmed S. Elsayed, Skatje Myers, and Martha Palmer. Finegrained information extraction from biomedical literature based on knowledge-enriched abstract meaning representation. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics, pp. 6261-6270, 2019.

[5] Alastair Butler. Treebank Semantics. Technical report, Hirosaki University, 2021. .

[6] Adele E. Goldberg. Constructions. The University of Chicago Press, 1995.

[7] 日本語記述文法研究会. 現代日本語文法 2 第 3 部格と構文第 4 部ヴォイス. くろしお出版, 2009.

[8] 竹内孔一, バトラーアラステア, 長崎郁, パル デシプラシャント. PropBank 形式を考慮した NPCMJ に対する意味役割付与〜態の違いと経験者の付与〜. 言語処理学会 第 26 回年次大会発表論文集, pp. 633-636,, 2020.

[9] 竹内孔一, アラステアバトラー, 長崎郁, プラ シャントパルデシ. Npcmjへの propbank 形式の 意味役割と概念フレームの付与の進捗報告. 言語処理学会第 27 回年次大会発表論文集,E8-4, 2021.

## A 意味役割ラベルの一覧

NPCMJ-PT を構築するにあたり利用している 意味役割を示す. 表 6 に示すように PropBank 形式の意味役割は 28 種類である .

## B 上位 10 件の概念フレーム

付与した概念フレームについて上位 10 件の 頻度分布を表 7 に示す

概念フレームは最大 5 階層のシソーラス構造になっている. 記号の'_, が階層の境界を表 している . 概念フレーム内の括弧内の数字は Frame ID を表している. 詳細な事例は Web 上 で確認できる (http://pth.cl.cs.okayama-u.ac.jp/) .表 7 上位 10 件の概念フレーム

 & 7748 \\

表 7 内の頻度を見ると特徵的であることがわ かる．本文でも述べたようにコピュラが他の述語の概念と比較して突出して大きいことがわか る.一方で，「着点への移動」から「伝達」ま で大きく頻度に差が見られない.これは資料 をみると人やものの移動 (「行く」「来る」「帰 る」)という表現が青空文庫だけでなくニュー スにも見られており，記述する内容として取り 上げられることがわかる．また「生成」もどう ようになにか発生したり，作るといった表現が どのジャンルにも表現している.こうした表現 が単なる存在 (529) よりも文書で表現されるこ とが多いことがわかる。