# 自然言語推論と再現器を用いた Split and Rephrase における生成文の品質向上

塚越駿 1 平尾努 2 森下睦 2 帖佐 克己 ${ }^{2}$
笹野遼平 ${ }^{1}$ 武田浩一 1
1 名古屋大学大学院情報学研究科 ${ }^{2} \mathrm{NTT}$ コミュニケーション科学基礎研究所
tsukagoshi.hayato.r2@s.mail.nagoya-u.ac.jp
\{tsutomu.hirao.kp, makoto.morishita.gr, katsuki.chousa.bg\}@hco.ntt.co.jp
\{sasano, takedasu\}@i.nagoya-u.ac.jp

## 概要

複雑な文を同じ意味の単純な複数の文に分割する Split and Rephrase タスクは，可読性の向上や機械的 なテキスト処理の性能向上に有用である. 本研究で は，Split and Rephraseの性能向上のため，訓練デー タセットに含まれている文分割前後の文意が一致し ない事例を含意関係分類を用いて除去するフィルタ リングと，モデルが入力文に対し忠実な文生成を行 うよう出力から入力を再構成する再現器を用いた 訓練手法を提案する。標準的なベンチマークデータ セットを用いた実験の結果，提案手法が世界最高性能を達成したことを確認した。

## 1 はじめに

長く複雑な文を短く簡単な文に変換できると，可読性の向上や機械的なテキスト処理の性能向上が 期待できる $[1,2,3]$ ことから，テキスト平易化（text simplification）は人間とテキスト処理システムの双方にとって有用である，最近になり，テキスト平易化タスクの一種として，長く複雑な文を意味内容 を保ったままより短く単純な複数の文に変換する Split and Rephrase[4] タスクが提案された. Split and Rephrase は他のテキスト平易化タスクと異なり，複雑な文の語彙や文意を可能な限り変更せず，単純な 文に分割することに焦点を当てた文分割タスクであ る. Split and Rephrase では深層学習モデルを用いた 手法 $[4,5,6,7]$ が高い性能を達成している. 同タス クの学習や評価に利用される既存のデータセット は（1）自動構築された低品質だが大規模なデータ セット $[4,5,6,8,7]$ （2）人手で作成された高品質だ が小規模なデータセット $[9,10]$ の二つに分類するこ
とができる。自動構築されたデータセットには複雑 な文と機械的に生成された単純な文のぺアが数十万事例含まれ，深層学習モデルの訓練には十分な量 のデータが存在する一方，人間によって作成された データセットの事例数はいずれも 500 に満たない. したがって，多くの先行研究が自動構築されたデー タセットを用いてモデルを訓練し，人手で作成され たデータセットで評価を行なっている。しかし，自動構築されたデータセットには文分割前後の文意が 一致しない等の不適当な事例が多数含まれており,加えて，深層学習モデルには入力と整合しない出力 をすることがあるという一般的な問題が知られてい る [11]. そのため，既存の Split and Rephrase モデル は入力に対して意味的に異なる文を出力してしまう ことがあり，Split and Rephrase タスクの性能に悪影響を与えている。

この問題に対処するため，本研究では，Split and Rephrase タスクの性質に着目し，自然言語推論 （NLI）モデルによるデータセットのフィルタリング と，出力から入力を再構成するモジュールである再現器 (Reconstructor)[12] を導入した訓練手法を提案 する。まず，文分割前後の文意が一致しない事例を 除くため，事前訓練済み NLI 分類モデルを用いて複雑な文と単純な文のペアを分類し，含意関係にある 文ペアのみを残す. さらに，入力に対して意味的に 異なる文をモデルが出力することを防ぐため，モデ ルの出力ベクトルから入力文を再構成する再現器を モデルに導入して訓練を行う。

標準的ベンチマークデータセットに対して，NLI 分類によるフィルタリングと再現器を用いた訓練の 効果を調べたところ，それぞれ単独でも性能向上が 得られたが，同時に利用することでさらなる性能向

図 1 NLI 分類によるフィルタリングの概要図. 図中の例文は WikiSplit の実際の事例。

上が得られ，世界最高性能を達成した。

## 2 関連研究

Split and Rephrase は Narayan ら [4] によって提案さ れたテキスト平易化タスクの一種である. Narayan ら [4] は既存のテキスト平易化データセットで文分割モデルを訓練することは困難であることを示し， Split and Rephrase 用データセットである WebSplit の 提案とベースラインの設定を行った. Aharoni ら [13] は WebSplit のデータ分割の不備を指摘し，適切 に分割したデータセットとコピー機構 [14]を用いた モデルを提案して新たなべースラインを設定した. また，Botha ら [5] は WebSplit の語彙や統語構造が 多様性に乏しいことを指摘し, Wikipedia の編集履歴を用いたデータセットである WikiSplitを提案し た. Niklaus ら [6] はルールベース文分割システムの DisSim[15] W WikiSplit に適用したデータセットであ る MinWikiSplit を提案した. Kim ら [7] は対訳コー パス中の翻訳前後の文数が 1 文と 2 文になっている 事例を抽出して翻訳することで， 1 文と 2 文が対応 づいたデータセットである BiSECT を提案した。

自動構築された大規模なデータセットが整備され る一方で，人手で作成された高品質な評価用データ セットも整備されている. Sulem ら [9] は, Wikipedia の文を用いて，人手により作成された高品質な分割後の文を含むデータセットである HSplit を構築し た. Zhang ら [10] らは人手により Wikipedia や契約書などの文をもとに，より多様な語彙と統語構造を 含み，HSplit よりも難しい評価用データセットであ る Wiki-BM と Cont-BM を構築した. それらを用い た評価を通して既存手法では十分な性能を達成する ことは難しいことを示した。

図 2 再現器を用いた訓練時の概要図.

## 3 提案手法

提案法の概要図を図 1 と図 2 に示す. 既存データ セットの各文に対して NLI 分類を行い，分割前後の 文が含意関係にない，すなわち分割前後で文意が変化してしまっていると分類された文ぺアを除去す る. さらに，深層学習モデルで問題となる入力と整合しない出力を防ぐため, 出力のベクトル表現から 入力文を再構成する再現器をモデルに導入する.

## $3.1 \mathrm{NLI$ 分類によるフィルタリング}

自然言語推論（Natural Language Inference: NLI） タスクは，前提文と仮説文が与えられた時に，前提文と仮説文の関係が含意 (entailment)，矛盾 (contradiction), 中立（neutral）のいずれであるかを 分類するタスクである．NLI データセットとして 代表的なものに Stanford NLI（SNLI）データセット [16] や Multi-Genre NLI（MNLI）データセットがあ り，BERT[17] やRoBERTa[18] 等の事前訓練済み言語モデルが高い性能を達成している。

本研究で提案する NLI 分類によるフィルタリング では，図 1 に示すように，複雑な文 $c$ とそれに対応 する単純な文の系列 $s_{1}, \ldots, s_{n}$ が与えられた時に，複雑な文 $c$ と各単純な文 $s_{i}(1 \leq i \leq n)$ を NLI 分類モデ ルに入力する. この時得られる複雑な文 $c$ と単純な 文 $s_{i}$ が含意関係にある確率 $P_{\mathrm{ent}}$ が，矛盾や中立と分類される確率よりも高かった場合に $c$ と $s_{i}$ を含意と 分類する。そして，複雑な文 $c$ とすべての $s_{i}$ とが含意関係にあると分類された事例のみを残す.

松丸ら [19] が提案した見出し生成のデータフィル タ法では，記事と見出しの含意関係分類のために事前訓練済み NLI 分類モデルをさらに fine-tuning した

が，本研究では，入力となる複雑な文とそれに対応 する各単純な文がそれぞれ単一の文であることか ら, 既存の NLI データセットで学習したモデルで十分適切に含意関係を分類できると考えられるため，事前訓練済み NLI 分類モデルをそのまま用いる.

## 3.2 再現器を用いた訓練

Tu ら [12] によって提案された再現器は, エンコー ダ・デコーダモデルによる機械翻訳システムにおい て，デコーダの出力ベクトルから翻訳元の入力文を 再構成する再現器を追加することで, 出力ベクトル が入力文の情報をできるだけ含むようモデルに強制 し，翻訳の妥当性を向上させた. Split and Rephrase は単言語の翻訳タスクとして考えることができるこ とから，再現器を用いることで分割文の妥当性を向上させることが可能であると考えた.

モデルの訓練時は，複雑な文を入力した時のエ ンコーダとデコーダの出力ベクトルをそれぞれ $\mathbf{h}_{\mathrm{enc}}, \mathbf{h}_{\mathrm{dec}}$ とすると，まず $\mathbf{h}_{\mathrm{dec}}$ から単語の出現確率を 計算し，正解の単純な文に対する交差エントロピー 誤差を計算する．再現器を用いる場合はこれに加え て, デコーダの出力ベクトル $\mathbf{h}_{\mathrm{dec}}$ を再現器に入力 して得られた出力ベクトル $\mathbf{h}_{\mathrm{rec}}$ から単語の出現確率を計算し，エンコーダへの入力である複雑な文に 対する交差エントロピー誤差を計算し，これらを同時に用いることでパラメータの更新を行う. 本研究 では, $\mathrm{Tu}$ ら [12] と同様, 二つの損失の重み付き和 をとることで，マルチタスク学習として全体を訓練 する. 具体的には, 学習に用いるデータの事例数を $N, n(\leq N)$ 番目の入力, 出力, 対応するデコーダの 出力をそれぞれ $\mathbf{x}^{n}, \mathbf{y}^{n}, \mathbf{h}_{\mathrm{dec}}^{n}$, エンコーダ・デコーダ と再現器のパラメータを $\theta, \gamma$, 再現器の損失の重み を $\alpha$ としたとき，目的関数は以下のようになる.

$
J(\theta, \gamma)=\sum_{n=1}^{N}\left.\{\log P\left(\mathbf{y}^{n} \mid \mathbf{x}^{n} ; \theta\right)+\alpha \log P\left(\mathbf{x}^{n} \mid \mathbf{h}_{\mathrm{dec}}^{n} ; \gamma\right)\right.\}
$

## 4 評価実験

提案手法の有用性を検証するため，標準的なべン チマークデータセットを用いて実験を行った.

## 4.1 実験設定

モデルの訓練には，人間の編集履歴をもとに作成 されているWikiSplit[5]を利用した。これは，単純 な文が機械的に作成されている MinWikiSplit[6] や表 1 実験に用いたデータセットの事例数

BiSECT[7] よりも，流暢な文が多いと考えたためで ある.フィルタリングに用いる事前訓練済み NLI 分類モデルとして，MNLI で訓練されたRoBERTaを用 いた1). WikiSplit に対して提案法によるフィルタリ ングを行ったところ，全体の事例数が 999,944 から 652,548 となり，データセット全体の約 $34.7 \%$ に たる 347,396 事例が除去された. 参考までに，実際 に除去された事例を付録 $\mathrm{A}$ に示す。 その後，データ セットを 8:1:1 の割合で訓練/開発/テストセットに分割した. フィルタリング前後のデータセットの事例数を表 1 に示す.

評価用データセットとして HSplit とWiki-BM を 用いた. HSplit と Wiki-BM は同様に Wikipedia の文 を用いて人手評価により構築されたデータセットで あるが，Wiki-BM の方が多様な文を含んでおり比較的難しいベンチマークであるといえる. 提案手法の 有用性を検証するため，NLI 分類によるデータセッ トのフィルタリングの実施の是非，及び訓練時の再現器の有無によって，4 通りの設定で実験と評価を 行った. モデルにはエンコーダ・デコーダアーキテ クチャの事前訓練済み言語モデルである T5[20]を 用い，これを Split and Rephrase タスクで fine-tuning した. 比較対象として，原文をそのまま出力するシ ステム，ルールベースシステムである DisSim[15], および，Kim ら [7] の事前訓練済みモデルを用いた。実験の詳細は付録 Bを参照されたい。

従来研究に従い, 評価指標として BLEU[21], BERTScore[22], Flesch-Kincaid Grade Level (FKGL) [23] を用いた. また，生成文の品質評価におい て, BERTScore よりも人間評価との相関が高いと報告されている BLEURT[24] も用いた. 評価実験に用 いた評価指標のうち，BLEU，BERTScore，BLEURT は正解の文に対する生成文の表層的あるいは意味的 な品質を測る指標であり，高い方が良い。一方で， FKGL はシステムの生成文のみを用いて可読性を測 る指標であり，小さい方が良い. 既存の評価指標に 加えて, 本研究でフィルタリングに用いた NLI 分類 は，システムの出力文の意味的妥当性を評価するた

1) https://huggingface.co/roberta-large-mnli
表 2 評価実験の結果. “WikiSplit-NLI” は NLI 分類によりフィルタリングした後の WikiSplitを表す.

めにも有用であると考えられることから，入力文に 対してシステムが出力した各文がすべて含意と分類 される割合も評価指標として用いた。この含意と分類される割合を含意割合と呼称する。さらに，シス テムが出力した単純な文の数（分割数）も計算した.

## 4.2 実験結果

実験の結果を表 2 に示す. HSplitではフィルタリ ングによって，BLEU，BERTScore，BLEURT，含意割合のすべてが向上した．また，再現器を導入する ことでも BLEU，BERTScore，BLEURT，含意割合の すべてが向上した. さらに，双方を用いた場合に は，BLEU，BERTScore，BLEURT，含意割合におい て最も良い性能を達成し, 現在の世界最高性能を 達成したシステムである Kim らの手法を上回った。一方，FKGL および文の分割数について注目すると，再現器を用いることでスコアが劣化している。これ は再現器がモデルの出力に対して入力の情報を保持 するように強制するため，分割数の少ない文が生成 される割合が増加してしまったためだと考えられ る. FKGLの評価値は文の分割数に大きく影響を受 けるため, FKGL の値が悪化した要因も分割数が減少したことによるものと考えられる。

Wiki-BM でもフィルタリングによって BLEU と含意割合が向上することを確認でき，再現器を用いる ことで BLEU 值の改善も確認できた。一方，フィ ルタリングと再現器の双方を用いた場合の改善は HSplit ほど顕著ではなかった．ただし，HSplit の場合と同様に Kim らの手法を上回った。各モデルの出力の分割数を見ると，正解の平均分割数が 3.09 で あるのに対し，提案手法はすべて 2.01 程度になって おり，これは訓練に WikiSplitを用いている Kim ら の手法も同様である. WikiSplit 中に含まれる一つの 複雑な文あたりの単純な文の数の平均は 2.03 程度 であることから，訓練に用いたデータセット中の分割数にモデルが影響を受けていると考えられる。

HSplit での実験結果から，NLI 分類によるフィル タリングと再現器を共に用いることでシステムの性能が向上し, 既存のシステムよりも性能が上回るこ とを確認した。一方で，Wiki-BMのように訓練デー タとは傾向が異なるデータで評価を行う場合には，既存システムからの改善幅が小さいので，改善の余地が残されていると考えられる。

## 5 おわりに

本研究では，Split and Rephrase タスクにおいて， モデルが入力に対して意味的に異なる文を出力して しまう問題に対して，NLI 分類モデルを用いたフィ ルタリング手法と, 再現器を用いて入力に対し意味的に異なる文をモデルが出力することを防ぐ手法を 提案した。評価実験の結果，訓練データと似た傾向 の HSplitにおいて，提案法は一貫してシステムの性能を向上させ，既存手法を上回る性能を達成した.特にデータセットのフィルタリングと再現器を共 に用いた場合に最も高い性能を達成し, その有効性 が示された。一方で，訓練データと傾向が異なるは Wkiki-BM では性能の改善幅が小さくシステムに改善の余地が残されていることが示唆された.

## 参考文献

[1] Jean Pouget-Abadie, Dzmitry Bahdanau, Bart van Merriënboer, Kyunghyun Cho, and Yoshua Bengio. Overcoming the Curse of Sentence Length for Neural Machine Translation using Automatic Segmentation. In Proceedings of SSST-8, Eighth Workshop on Syntax, Semantics and Structure in Statistical Translation, pp. 78-85, 2014.

[2] Philipp Koehn and Rebecca Knowles. Six Challenges for Neural Machine Translation. In Proceedings of the First Workshop on Neural Machine Translation (WMT), pp. 28-39. Association for Computational Linguistics, 2017.

[3] R. Chandrasekar, Christine Doran, and B. Srinivas. Motivations and Methods for Text Simplification. In The 16th International Conference on Computational Linguistics (COLING), 1996.

[4] Shashi Narayan, Claire Gardent, Shay B. Cohen, and Anastasia Shimorina. Split and Rephrase. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 606-616, 2017.

[5] Jan A. Botha, Manaal Faruqui, John Alex, Jason Baldridge, and Dipanjan Das. Learning To Split and Rephrase From Wikipedia Edit History. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 732-737, 2018.

[6] Christina Niklaus, André Freitas, and Siegfried Handschuh. MinWikiSplit: A Sentence Splitting Corpus with Minimal Propositions. In Proceedings of the 12th International Conference on Natural Language Generation (INLG), pp. 118-123, 2019.

[7] Joongwon Kim, Mounica Maddela, Reno Kriz, Wei Xu, and Chris Callison-Burch. BiSECT: Learning to Split and Rephrase Sentences with Bitexts. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 6193-6209, 2021.

[8] Yinuo Guo, Tao Ge, and Furu Wei. Fact-aware Sentence Split and Rephrase with Permutation Invariant Training. 2020.

[9] Elior Sulem, Omri Abend, and Ari Rappoport. BLEU is Not Suitable for the Evaluation of Text Simplification. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 738-744, 2018.

[10] Li Zhang, Huaiyu Zhu, Siddhartha Brahma, and Yunyao Li. Small but Mighty: New Benchmarks for Split and Rephrase. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 1198-1205, 2020.

[11] Katherine Lee, Orhan Firat, Ashish Agarwal, Clara Fannjiang, and David Sussillo. Hallucinations in Neural Machine Translation. 2018.

[12] Zhaopeng Tu, Yang P. Liu, Lifeng Shang, Xiaohua Liu, and Hang Li. Neural Machine Translation with Reconstruction. In Proceedings of the 31th AAAI Conference on Artificial Intelligence, 2017.

[13] Roee Aharoni and Yoav Goldberg. Split and Rephrase: Better Evaluation and Stronger Baselines. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 719-724, 2018.

[14] Jiatao Gu, Zhengdong Lu, Hang Li, and Victor O.K. Li. Incorporating Copying Mechanism in Sequence-to-Sequence Learning. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 1631-1640, 2016.

[15] Christina Niklaus, Matthias Cetto, André Freitas, and Siegfried Handschuh. Transforming Complex Sentences into a Semantic Hierarchy. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 3415-3427, 2019.

[16] Samuel R. Bowman, Gabor Angeli, Christopher Potts, and Christopher D. Manning. A large annotated corpus for learning natural language inference. In Proceedings of the 2015 Conference on
Empirical Methods in Natural Language Processing (EMNLP), pp. 632-642, 2015

[17] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL), pp. 4171-4186, 2019

[18] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, M. Lewis, Luke Zettlemoyer, and Veselin Stoyanov. RoBERTa: A Robustly Optimized BERT Pretraining Approach. arXiv:1907.11692, 2019.

[19] Kazuki Matsumaru, Sho Takase, and Naoaki Okazaki. Improving Truthfulness of Headline Generation. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 1335-1346, 2020.

[20] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the Limits of Transfer Learning with a Unified Textto-Text Transformer. Journal of Machine Learning Research (JMLR), Vol. 21, No. 140, pp. 1-67, 2020.

[21] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a Method for Automatic Evaluation of Machine Translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 311-318, July 2002.

[22] Tianyi Zhang, Varsha Kishore, Felix Wu, Kilian Q. Weinberger, and Yoav Artzi. BERTScore: Evaluating Text Generation with BERT. In International Conference on Learning Representations (ICLR), 2020.

[23] J. Peter Kincaid, Robert P. Fishburne, R L Rogers, and Brad S. Chissom. Derivation of New Readability Formulas (Automated Readability Index, Fog Count and Flesch Reading Ease Formula) for Navy Enlisted Personnel. 1975.

[24] Thibault Sellam, Dipanjan Das, and Ankur Parikh. BLEURT: Learning Robust Metrics for Text Generation. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 7881-7892, 2020.

[25] Adam Paszke, Sam Gross, Francisco Massa, Adam Lerer, James Bradbury, Gregory Chanan, Trevor Killeen, Zeming Lin, Natalia Gimelshein, Luca Antiga, Alban Desmaison, Andreas Kopf, Edward Yang, Zachary DeVito, Martin Raison, Alykhan Tejani, Sasank Chilamkurthy, Benoit Steiner, Lu Fang, Junjie Bai, and Soumith Chintala. PyTorch: An Imperative Style, HighPerformance Deep Learning Library. In Advances in Neural Information Processing Systems (NeurIPS), pp. 8024-8035. 2019.

[26] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Rémi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander M. Rush. Transformers: State-of-the-Art Natural Language Processing. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing (EMNLP): System Demonstrations, pp. 38-45, 2020.

[27] Ilya Loshchilov and Frank Hutter. Decoupled Weight Decay Regularization. In International Conference on Learning Representations (ICLR), 2019.

[28] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A Fast, Extensible Toolkit for Sequence Modeling. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (NAACL-HLT) Demonstrations, pp. 48-53, 2019.
表 3 NLI 分類によるフィルタリングにより除去された WikiSplit[5] 中の実際の事例.

 &  &  \\

表 4 HSplit[9] の実際の事例と，各システムごとの生成文. “+NLI”はフィルタリングを行ったデータセットで訓練した モデル，“+再現器”は再現器を用いたモデル，“+NLI+再現器”はその両方を用いて訓練したモデルを表す.

## Aフィルタされた実際の事例

NLI 分類によるフィルタリングによって実際に除去された WikiSplit[5] 中の事例を表 3 に示す.

## B 評価実験の詳細

実験のためのエンコーダ・デコーダモデルと して，T5[20] の small サイズ（T5-small）を用いた. T5-small のパラメータ数は 6000 万である. 実験に は PyTorch[25] を用い，T5 の事前訓練済みモデル として Transformers[26] で公開されている事前訓練済み重み2)を用いた，T5 は事前訓練時に task prefix と呼ばれる入力文に対する接頭辞を付加してマ ルチタスク学習を行っているが，単一のタスクで fine-tuning する際は prefix を用いないのが一般的で あるため3)4)，prefix を入力文に付加せずに訓練を 行った. fine-tuning の設定として，バッチサイズを 16，最適化手法に AdamW[27] を用い，訓練ステッ プ数を Kim ら [7] の設定と同様の 10 万とした.ま た，学習率を $10^{-5}$ として，訓練開始時点での学習率 を 0 とし，全訓練ステップのうち $10 \%$ で設定した值 まで線形に学習率を増加させる学習率スケジューリ
ング手法の warm-up を用いた. 再現器の損失にかけ る重みである $\alpha$ は 1 に設定した. 1 万ステップごと に開発セットでの評価を行い，最も開発セットでの 損失が小さいチェックポイントを最終的な評価に用 いた. 評価時の文生成には，最も基本的な文生成の 性能を評価するため，頜欲法を用いて行った．Tu ら [12] は再現器を文生成時のビームサーチにおける各候補文のスコアリングのためにも用いたが，今回は 貪欲法で文生成を行うため，再現器は訓練にしか使用せず，評価時にはエンコーダ・デコーダのみを用 いて文生成を行った。

比較対象である Kim ら [7] のモデルとして，著者 らが公開する実装5)から，fairseq[28] で実装された 事前訓練済みモデルを用いた。評価時の文生成は, Kim ら [7] の設定と同様，トライグラムが連続しな いように制約を加えた上で，窓幅 10 のビームサー チをすることで行った.

## C システムごとの実際の生成文

表 2 で用いた各システムごとの，複雑な文が入力 された時の実際の生成文を表 4 に示す.


# イベントの社会的影響度を用いた 伝記生成のための内容選択

川添正太郎徳永 健伸
東京工業大学 情報理工学院
\{kawazoe.s.aa@m, take@c\}.titech.ac.jp

## 概要

本研究では，人物に関するイベント集合を入力と し，イベントの社会的影響度によって伝記生成のた めの内容選択を行う．実験では，人物に言及する ニュース速報ツイートをイベントとし，その「いい ね数」を社会的影響度として，重要なイベントの選択を行った. Wikipedia の記事の出典の集合に対し て評価を行い，社会的影響度によって重要なイベン トを選択できることを示す.

## 1 はじめに

自然言語生成（Natural Language Generation; 以下 NLG と略す）は，自然言語で書かれたテキストを 生成するコンピュータシステムを扱う，計算言語学 の一分野である [1]. 内容選択 (content selection) は, NLG の部分問題であり, 入力から言及するべき重要 な情報を選択する過程である．たとえば，株価の概況生成において株価のチャートが暴騰している部分 を選択したり，ニュース記事の要約において重要な 出来事が記述されている部分を選択する。

しかし，NLGの入力が何なのかは曖昧であ り $[2,3]$, また重要度とは何を意味するのかも曖昧 である $[4,5]$. 本研究では，NLGの一種である伝記生成 (biography generation) において，これらの問い に部分的に答えることを目指す。伝記は人物を紹介 するテキストである．たとえば，Wikipediaの「バラ ク・オバマ」の記事 [6] には，経歴，大統領時代の 仕事，家族のことなどが記述されている．以下に記事に含まれている文を示す。

2009 年 10 月 9 日にノルウェー・ノーベル委員会はオバマの「核無き世界」に向けた国際社会 への働きかけを評価して 2009 年度のノーベル 平和賞を彼に受賞させることを決定したと発表 した。
この文は，人間によって，どのような入力から，ど のような重要度にもとづいて，選択されたのだろう か. ノーベル平和賞を受賞することは，オバマに とって重要なイベントであることは明らかだろう。 このように，人間が情報の内容を理解してそれを重要だと判断したとき，そのような重要度のことを内在的重要度 $[5,7]$ と定義する.

## 2 問題

伝記生成の既存研究の問題は，内在的重要度によ る内容選択を行っていないことである。これは，裏 を返せば，内在的重要度を用いなくても内容選択が できてしまうような入力を用いているということで もある。一方，オバマの例からわかるように，人間 は内在的重要度による内容選択を行っている. 本研究では，内在的重要度によって内容選択を行うこと により，人間の内容選択を再現することを目的とす る. 既存研究におけるこの問題は，以下で示すよう に，二つの場合に分けられる。

第一に，入力において情報の絞り込みがほとん ど終わっている場合である．たとえば，WIKIBIO [8] は，Wikipedia の人物に関するインフォボックス（属性と値の組から構成された表）を入力としている. しかし，インフォボックスの時点でその人物に関す る重要な情報がまとまっており，人物に関するある 種の要約となっている. WikiSum [9] は，Wikipedia の記事（ただし，人物に限らない）における出典の 集合が入力として与えられ，その記事の最初のセク ションを出力する. いずれの場合も，入力の時点で 内容選択はほとんど終わっている.

第二に，表層的重要度によって内容選択を行って いる場合である．表層的重要度とは，内容を見な くても計算できるような重要度のことである。た とえば，事前に指定された型にあてはまるような 情報を重要とみなすトップダウンな手法は，内容

を見なくても重要度を計算できる. Zhou ら [10] は， DUC2004 [11]のタスク 5 において，ニュース記事の 文に対し, 10 クラス (fame, education, nationality, work など）への分類を行っている。これは，伝記に ある種の型を想定し，伝記的かどうかを判断してい る.しかし, トップダウンな手法は人物個人の背景 を考慮せず，人物一般にあてはまる形で重要度を計算している。 たとえば，オバマがノーベル平和賞を 受賞することの内在的重要度は，オバマ個人の背景 （核廃絶に対する働きかけへの評価，あまり成果を 出していない中での早すぎる受賞，そのことへの批判など）に依存するだろう.

また，入力における情報の位置や頻度を用いるボ トムアップな手法も，内容を見なくても重要度を計算できる。つまり，内在的重要度と相関する表層的 な情報を用いることによって内容選択を行ってい る。これは，入力を作成した人間が重要だと考えた 情報は，何かしらの表層的な特徴をもって入力に現 れるからである. たとえば， WIKIBıO では，位置と 内在的重要度が相関している [12]. つまり，大力で あるインフォボックスはその作成者が重要な情報を 上に配置する傾向にあるため，上の方にある情報ほ ど，正解テキストで言及されやすい．DUC2004の夕 スク 5 を解いている代表的な手法 $[10,13]$ は，単語頻度を利用して重要度を計算する。つまり，ニュー ス記事に対して単語頻度ベースのスコアを計算し, スコアが高い単語が含まれる文を抽出している。し かし, 入力に重要な情報が頻出するのはコーパスが そのような性質を偶然持っていただけであり，また 重要な単語が含まれている文が重要とは限らないた め，内在的重要度を扱っているとはいえない。

## 3 仮説

以上の問題が生じた原因は，伝記生成の内容選択 を，計算機で解くことができる簡単なタスクへと落 とし込んだことによって，実際に人間によって行わ れている内容選択から乘離してしまったことだと 思われる. したがって, 人間によって書かれた伝記 が，どのような入力から，どのような重要度にもと づいて，生成されているかを考察する必要がある。

伝記生成の内容選択では, 社会的影響度のあるイ ベントが発生するたびに，そのイベントの内容が伝記に追記される．たとえば，オバマがノーベル平和賞を受賞したというイベントが起こると，それが重要だと判断した Wikipedia 編集者が，その内容を伝記に追記したと考えられる. 社会的影響度が高いイ ベントほど，記事に追記される確率が高くなる。こ のことから，入力を人物に関するイベントの集合と し，重要度をイベントの社会的影響度と考えるのが 妥当だろう，イベント集合は，既存研究に比べ，情報の絞り込みがあまり終わっていない。また，イべ ントの社会的影響度は内在的重要度と直接関係する と考えらえる．実験によって検証するべき仮説は以下の通りである。

イベント集合から伝記を生成する際の内容選択 において，社会的影響度は，他の表層的重要度 よりも，重要な情報を選択する能力が高い.

## 4 実装

本研究で実装した内容選択システムは，ある人物 iの URI (たとえば, http://dbpedia.org/resource/ Barack_Obama）がクエリとして与えられたとき，入力すなわち人物 $i$ に関するイベント集合 $X$ を収集 し，そこから人物 $i$ の伝記で言及されるべきイベン トの集合 $\tilde{Y}(\subseteq X)$ を選択する.

ツイッターによるイベントの収集入力すなわち 人物 $i$ に関するイベント集合 $X$ には，ニュース速報 をツイートするツイッターアカウント CNN Breaking News (@cnnbrk)のうち，人物 $i$ に言及しているすべ てのツイート（リツイートを除く）を用いる。ただ し，DBpedia Spotlight [14]を用いてツイートのテキ ストに対してエンティティリンキングを行うこと で，ツイートが人物へ言及しているかどうかを判定 している. ツイート $t$ が持つ情報のうち, 本研究で 利用するものは，(1) テキスト $s_{t}$, (2) 日付 $d_{t}$ ，(3)い いね数 $n_{t}$ の三つである．社会的影響度にはいいね 数を用いる。ここで，イベントの社会的影響度を計算するのは難しいため，いいね数が与えられている としている.

スコアリング 各ツイート $t \in X$ に対してスコア を割り当て，スコアが大きい順に並べた上位 $p(\%)$ のツイートを取得して内容選択を行う，スコアリン グの方法として以下の 7 種類を検討した。

・Random は，ランダムにスコアを割り当てる。

・Newest は，新しいツイートほど良いスコアを割 り当てる。一般に，新しいツイートほどいいね 数が多くなるため，時間の影響を差し引くため にこれをべースラインに加える。

・Oldest は，古いツイートほど良いスコアを割り
当てる.

-TF-IDF は，ツイートのテキストに含まれる各単語の TF-IDF 值の平均をスコアとする．TF-IDF 値の計算における文書は，各人物に対し，その 人物が言及されているすべてのツイートのテキ ストを結合したものである. このとき，一文書 が一人物に対応する．ある人物に対して， TF が高い単語は，ツイート中で人物名と頻繁に共起し，IDF が高い単語は，他の人物名とはあま り共起しない. したがって, TF-IDF 值が高い単語は，その人物に関するキーワードであると解釈できる（付録 $\mathrm{A}$ ）。

・ LexRank では, LexRank [15] で計算されたスコ アを用いる. ツイートのテキストを文とみな し，ツイートのテキストを結合したものを文書 とみなして， continuous LexRankを適用する。

・Like は，いいね数をスコアとする.

・ LikeRatio は，いいね数を正規化したスコアを 用いる. 分母は，当該ツイートの月における CNN Breaking News のすべてのツイートの平均 いいね数である。

## 5 評価

30 個以上のツイートで言及されている 72 人の人物を評価の対象とする（付録 B）.

人物 $i$ に対し，正解のイベント集合 $Y$ には，人物 $i$ に関する Wikipedia の記事の出典の集合を用 いる. 出典には, 出典となった記事のタイトルや URL，記事が書かれた日付などが含まれている（付録 C). 出典 $c$ が持つ情報のうち, 本研究で利用 するものは，(1) 記事タイトルのテキスト $s_{c}$ ，(2)記事が書かれた日付 $d_{c}$ の二つである. ただし， $d_{\text {oldest }} \leq d_{c} \leq d_{\text {newest }}$ となる出典のみを用いる.こ こで， $d_{\text {oldest }}$ および $d_{\text {newest }}$ はそれぞれ人物 $i$ に関 するツイートのうち最も古い日付および最も新しい 日付である。

評価指標には，精度 (precision) と再現率 (recall)を 用いる. ランキング上位 $p(\%)$ のイベントを選択す るとき，人物 $i$ に対し，精度 $P^{i}$ および再現率 $R^{i}$ を 計算する。 そして，すべての人物にわたって精度お よび再現率の平均 $\frac{1}{N} \sum_{i=1}^{N} P^{i}$ および $\frac{1}{N} \sum_{i=1}^{N} R^{i}$ をと る. ただし， $N(=72)$ は人物の数である. 上記の手続きを， $p$ を 10 から 100 まで 10 刻みで変化させて 行い，平均の PR 曲線 (precision-recall curve) を描く.精度と再現率の計算の際，ツイートと出典がイベ

図 1 PR曲線

ントとして一致しているかどうかの判定を実装す る必要がある，イベントは「いつ・どこで・誰が・誰に・何をした」と表現できる $[16,17]$.「誰が」あ るいは「誰に」は，人物 $i$ になる可能性が高い。「い つ」はツイートおよび出典の日付であると考えられ る.「どこで」と「何をした」は，テキストに記載さ れている可能性がある。これらを踏まえ，一致判定方法 DateEventTermMatch を説明する。

DateEventTermMatch では，日付（年月日）が一致し，かつイベント用語が一致したら，イベントも 一致したと考える，イベント用語は，動作や事件の 発生を特徴付ける単語である [16]. Li ら [16] にな らい，イベント用語は動詞および動作名詞 (action noun)とする.この一致判定では，「いつ（日付）」「誰が (人物)」「何をした (イベント用語)」の一致 に着目している. 人物 $i$ に関する精度 $P^{i}$ は以下の式 で計算する。

$
P^{i}=\frac{\sum_{t \in \tilde{Y}} \mathbb{1}\left(\exists_{c \in Y}\left(d_{t}=d_{c} \wedge E T_{t} \cap E T_{c} \neq \phi\right)\right)}{|\tilde{Y}|}
$

ただし,$E T_{t}$ はツイート $t$ のテキストに含まれるイ ベント用語の集合 $\left(E T_{c}\right.$ も同様 $) ， \phi$ は空集合，11 指示関数（引数の条件が真ならば 1 ，偽ならば 0 を 返す関数）である. 再現率も同様に計算する.

## 6 結果

PR 曲線を図 1 に示す. 図から，いいね数を用い た手法（Like と LikeRatio）が，他の手法を上回っ ていることがわかる.これは，イベント集合からの 内容選択において，社会的影響度のほうが，他の表層的重要度よりも重要な情報を選択する能力が高い ことを示している.

表 1 に Like と TF-IDF の比較を示す. 上のツイー トは， $p=20(\%)$ において Like で真陽性となるが
表 1 Likeで取得できたツイート（上）と TF-IDF で取得 できたツイート (下).

ツイート (いいね数)/ /出典

An independent autopsy into the death of George Floyd found that he died from "asphyxiation from sustained pressure," which contradicts the county medical examiner's preliminary report (17415) / Independent autopsy reveals George Floyd died from 'asphyxiation' as lawyers call for first-degree murder charges

Serena Williams wins 5th Wimbledon title. (73) / Wimbledon 2012 - Serena Williams stretched to three sets, wins 5th title

表 2 Likeで偽陽性となったツイート.

ツイート (いいね数)

Trump appears to be skipping a side-event at the G20 virtual summit focused on pandemic preparedness. The President has just arrived at his golf course in Virginia. (45540)

TF-IDF で偽陰性となったものである．太字は人物 に関して TF-IDF 值が上位 30 位以内の単語であり, これは人物に関するキーワードとみなせる。キー ワードとなっているのは人物名を除くと“death” の みである。これは，Geroge_Floyd は白人警官に殺害 されて死亡したことがたびたび注目されているた めである。それ以外の単語は専門用語などが多く, キーワードにはならないため, TF-IDF で偽陰性と なったと考えられる。 しかし，Likeで真陽性となっ たのは，このイベントの社会的影響度が高いからだ と考えられる。

一方，下のツイートは，TF-IDF で真陽性と なるが Likeで偽陰性となったものである. Serena_Williams はテニス選手であり, “Wimbledon”はテニス大会の名前である．この大会は定期的 に行われており，Serena_Williams は何度も優勝争 いをしているため, “wins”, “Wimbledon”, “itlle”は, Serena_Williams に関するツイートに何度も出現す る. よって，これらの単語の TF-IDF 値が高くなり， このツイートが TF-IDF で真陽性となったと考えら れる。一方，これはLikeで（そして LikeRatioでも）偽陰性となった．原因としては，このツイートの日付は 2012 年 7 月 7 日と古く，いいね数と時間には 相関があるため，いいね数が小さくなったのだと考 えられる。これは，いいね数による内容選択は，ツ イッターの性質上，古いツイートを取得しにくいこ とを示している。

$p=20(\%)$ において Like で偽陽性になったツイー トのうち，スコア（いいね数）が大きいものを表 2 に示す.このツイートは, Donald_Trump がコロナ対表 3 社会的影響度が高いイベント用語の例.

ツイート/出典

Israeli Prime Minister Benjamin Netanyahu will be indicted on corruption charges, pending a final hearing / Israeli Prime Minister Benjamin Netanyahu to be indicted on corruption charges

Former Minneapolis Police Officer Derek Chauvin is found guilty of murder and manslaughter in the death of George Floyd / Derek Chauvin found guilty of George Floyd's murder

British Prime Minister Boris Johnson has tested positive for coronavirus. He says on Twitter that he is isolating with "mild symptoms." / PM Boris Johnson tests positive for coronavirus

応を放棄してゴルフに行って遊んでいるという印象 を与えるため，「炎上」していると考えられる。し かし，このツイートは偽陽性となった。これは，炎上しているツイートはいいね数が大きくなるが，そ れが必ずしも伝記にとって重要であることを意味し ない，ということを示唆している.

$p=20(\%)$ において真陽性となったツイートの うち， Newest より Like に多く出現するイベント用語として, “charge", “find", “test”が挙げられる（付録 D).これらのイベント用語に対応する例を表 3 に示す. “charge”は「起訴」, “find” は "found guilty” つまり「有罪になる」, “test” は “has tested positive for coronavirus”つまり「コロナ陽性と出る」という意味 で，それぞれ用いられる。いずれも，炎上しやすい イベントを表しているため，いいね数が大きくなり やすい，そして，表に示したツイートはすべて真陽性である。これは，社会的影響度によって伝記生成 の内容選択ができることを示している.

## 7 おわりに

本研究では人物に言及する CNN Breaking News の ツイートをイベントとし，そのいいね数を社会的影響度として，伝記の内容選択を行った. 実験によ り，社会的影響度は，他の表層的重要度よりも，重要なイベントを選択する能力が高いことを示した.

今後の課題として，(1) ツイッターによるイベン ト収集の網羅性を向上させること，（2）トップダウ ンな内容選択と社会的影響度によるボトムアップな 内容選択を組み合わせること，(3) 伝記生成にとっ て適切なイベントの単位 (atomic event) [17, 18] を明確にすること，(4) ツイートのテキストが与えられ たとき，そのいいね数を予測すること，(5) 多数決 による重要度の計算 [19] を回避することが挙げら れる。

## 参考文献

[1] Ehud Reiter and Robert Dale. Building natural language generation systems. Cambridge university press, 2000.

[2] David D. McDonald. Issues in the choice of a source for natural language generation. Computational Linguistics, Vol. 19, No. 1, pp. 191-197, 1993.

[3] Roger Evans, Paul Piwek, and Lynne Cahill. What is NLG? In Proceedings of the International Natural Language Generation Conference, pp. 144-151, Harriman, New York, USA, July 2002. Association for Computational Linguistics.

[4] Maxime Peyrard. A simple theoretical model of importance for summarization. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 1059-1073, Florence, Italy, July 2019. Association for Computational Linguistics.

[5] Markus Zopf. Towards Context-free Information Importance Estimation. PhD thesis, Technische Universität, Darmstadt, August 2019.

[6] バ ラク・オ バ マ - wikipedia. https: //ja.wikipedia.org/w/index.php?title=\%E3\% 83\% $90 \%$ Е 3\% 83\%A9\%E3\%82\%AF\%E3\%83\%BB\%E3\%82\%AA\%E3\% $83 \% 90 \% E 3 \% 83 \%$ 9E\&oldid=87303693.

[7] Kai Hong and Ani Nenkova. Improving the estimation of word importance for news multi-document summarization. In Proceedings of the 14th Conference of the European Chapter of the Association for Computational Linguistics, pp. 712-721, Gothenburg, Sweden, April 2014. Association for Computational Linguistics.

[8] Rémi Lebret, David Grangier, and Michael Auli. Neural text generation from structured data with application to the biography domain. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 1203-1213, Austin, Texas, November 2016. Association for Computational Linguistics.

[9] Peter J. Liu, Mohammad Saleh, Etienne Pot, Ben Goodrich, Ryan Sepassi, Lukasz Kaiser, and Noam Shazeer. Generating wikipedia by summarizing long sequences. In 6th International Conference on Learning Representations, ICLR 2018, Vancouver, BC, Canada, April 30 - May 3, 2018, Conference Track Proceedings. OpenReview.net, 2018.

[10] Liang Zhou, Miruna Ticrea, and Eduard Hovy. Multidocument biography summarization. In Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing, pp. 434-441, Barcelona, Spain, July 2004. Association for Computational Linguistics.

[11] Paul Over and James Yen. An introduction to duc-2004. National Institute of Standards and Technology, 2004.

[12] Tianyu Liu, Kexiang Wang, Lei Sha, Baobao Chang, and Zhifang Sui. Table-to-text generation by structure-aware seq2seq learning. In Sheila A. McIlraith and Kilian Q. Weinberger, editors, Proceedings of the Thirty-Second AAAI Conference on Artificial Intelligence, pp. 48814888, New Orleans, Louisiana, USA, 2018. AAAI Press.

[13] Fadi Biadsy, Julia Hirschberg, and Elena Filatova. An unsupervised approach to biography production using
Wikipedia. In Proceedings of ACL-08: HLT, pp. 807815, Columbus, Ohio, June 2008. Association for Computational Linguistics.

[14] Joachim Daiber, Max Jakob, Chris Hokamp, and Pablo N. Mendes. Improving efficiency and accuracy in multilingual entity extraction. In Proceedings of the 9th International Conference on Semantic Systems (I-Semantics), 2013.

[15] Günes Erkan and Dragomir R. Radev. Lexrank: Graphbased lexical centrality as salience in text summarization. J. Artif. Intell. Res., Vol. 22, pp. 457-479, 2004.

[16] Wenjie Li, Mingli Wu, Qin Lu, Wei Xu, and Chunfa Yuan. Extractive summarization using inter- and intra- event relevance. In Proceedings of the 21st International Conference on Computational Linguistics and 44th Annual Meeting of the Association for Computational Linguistics, pp. 369-376, Sydney, Australia, July 2006. Association for Computational Linguistics.

[17] Vasileios Hatzivassiloglou and Elena Filatova. Domainindependent detection, extraction, and labeling of atomic events. 2003.

[18] Elena Filatova and John Prager. Tell me what you do and I'll tell you what you are: Learning occupation-related activities for biographies. In Proceedings of Human Language Technology Conference and Conference on Empirical Methods in Natural Language Processing, pp. 113-120, Vancouver, British Columbia, Canada, October 2005. Association for Computational Linguistics.

[19] Ani Nenkova and Rebecca Passonneau. Evaluating content selection in summarization: The pyramid method. In Proceedings of the Human Language Technology Conference of the North American Chapter of the Association for Computational Linguistics: HLT-NAACL 2004, pp. 145-152, Boston, Massachusetts, USA, May 2 - May 7 2004. Association for Computational Linguistics.

[20] Barack obama - wikipedia. https://en.wikipedia. org/w/index.php?title=Barack_Obama\&oldid= 1064944028.

## A キーワードの例

表 4 TF-IDF 值が上位 20 位となる単語. $i$ は人物の URI（http://dbpedia.org/resource/を省略）である.

$i \quad$ キーワード

Donald_Trump trump, president, says, donald, house, white, campaign, follow live, russia, updates, north, cnn, michael, korea, impeachment mueller, cohen, new, order

Barack_Obama obama, president, says, barack, watch, cnn, isis, iraq house, live, white, military, romney, make, ukraine, address jobs, syria, iran, signs

Mitt_Romney romney, mitt, santorum, gingrich, paul, projects, primary, votes cnn, win, obama, electoral, gop, caucuses, counted, says delegates, poll, jobs, 11

## B 人物の例

100 個以上のツイートで言及されている人物を表 5 に示す. $i$ は人物の URI（http://dbpedia.org/resource/を省略）， $|X|$ はツイート数， $|Y|$ は出典数， $\bar{n}_{t}$ は平均いいね数， $d_{\text {oldest }}$ は最古の日付， $d_{\text {newest }}$ は最新の日付である.

## C 出典の例

On August 23, 2008, Obama announced his selection of Delaware Senator Joe Biden as his vice presidential running mate.

上の文 [20] の出典は以下のようになる.

$\{$ \{cite news $\mid$ access-date $=$ September 20,2008

|url=https://www.nytimes.com/2008/08/24/us/politics/24biden.html

$\mid$ last1 $=$ Nagourney $\mid$ first1 $=$ Adam $\mid$ first2 $=$ Jeff $\mid$ last2 $=$ Zeleny $\mid$ work $=$ The New York Times

|date $=$ August 23, $2008 \mid$ title $=$ Obama Chooses Biden as Running Mate

|archive-url= https://web.archive.org/web/20090401222653/http://

www.nytimes.com/2008/08/24/us/politics/24biden.html|archive-date=April 1, 2009 |url-status=live \}\}

D イベント用語の例

表 $6 p=20(\%)$ において真陽性となったツイートのイベント用語. 括弧内は頻度.


# Homophily に基づくサイレントマジョリティの意見推定

向井 穂乃花 ${ }^{1}$ 磯沼 大 $^{1}$ 森 純一郎 ${ }^{1,2}$ 坂田 一郎 ${ }^{1}$
1 東京大学 2 理研 AIP
mukai-honoka377@g.ecc.u-tokyo.ac.jp isonuma@ipr-ctr.t.u-tokyo.ac.jp
mori@mi.u-tokyo.ac.jp isakata@ipr-ctr.t.u-tokyo.ac.jp

## 概要

本研究はソーシャルメディア上のサイレントユー ザの意見を推定するための意見生成モデルを提案 する。提案モデルでは、同じ意見を持つユーザはコ ミュニティを形成しやすいという “Homophily”に基 づき、ユーザの意見をネットワーク埋め込みとト ピックでモデル化する。これにより、サイレント ユーザのネットワーク埋め込みをモデルに入力する ことで、様々なトピックに関する意見の推定を試み る。米国大統領選挙期間中のツイート文を対象に推定精度を検証した結果、既存の文生成モデルと同程度の性能が得られ、ネットワーク埋め込みがユーザ の意見のモデル化に十分な情報を持つことが示唆 された。更に潜在空間上のユーザの位置によって、 ユーザの意見が変化していく様子が確認された。

## 1 はじめに

近年、ソーシャルメディア上の人々の意見は、個人の情報収集源として影響力を増しており、マスメ ディアを代替する情報源として活用されることも多 い。一方、ソーシャルメディアは社会の分断に加担 する負の側面もあり、自分と同様の価値観を持つ意見ばかりに囲まれるフィルターバブル現象などを通 じて、ユーザを時に過激な言動に走らせる $[1,2,3]$ 。 しかし、実際には過激なユーザは少数で、多数は穏健な考えを持つが意見表明を積極的に行わないサ イレントマジョリティであり、Twitter 上では約 $40 \%$ のユーザがサイレントユーザだという報告もある $[4,5]$ 。サイレントマジョリティの意見推定は、ソー シャルメディアを情報収集源として活用すると共 に、人々の視野を広げ過激な行動を防ぐための重要 なタスクである。

サイレントマジョリティの意見推定の文脈におい て、既存研究 [6] では同じ意見や態度を持つユーザは コミュニティを形成しやすいという “Homophily”[7]

図 1: Bowman らの文生成モデル (a) と

提案する意見生成モデル (b) の対比

という性質を活用し、サイレントユーザの感情極性推定を試みている。しかし同じ感情極性を示してい ても、その根拠が異なる場合は多い。例えば米国で 反共和党を掲げる人々も、その理由は白人至上主義的な考えへの反発や、COVID-19への対応策への批判など多岐にわたる。こうした思考プロセスを含め た意見を把握するには、挑戦的であるものの極性分類に留まらず文生成による意見推定が望ましい。

そこで、本研究は Bowman らによる文生成モデ ル [8] を応用することで、サイレントユーザの意見推定を試みる。図 1 にその概念図を示す。Bowman らは、文の潜在表現がガウス分布に従うと仮定し、 Variational Autoencoder (VAE[9,10]) の枠組みで文と その潜在表現間の写像を学習している。これによ り、例えば図 1 （a）のような 2 次元の潜在空間が 与えられた時、 $x_{1}, x_{2}$ 間の等間隔上に位置する潜在表現からは、 $\boldsymbol{x}_{1}, \boldsymbol{x}_{2}$ から復号された文に対し意味が 少しずつ変化した文が復号されることを明らかに した。一方、本研究はソーシャルメディア上のユー ザの潜在表現をネットワーク埋め込みで獲得し、 ユーザの潜在空間上における意見分布をモデル化す る。Homophily を仮定すると、潜在空間上で近接す

図 2: 提案モデルの概要図

るユーザ（ネットワーク上で近接するユーザ）は類似する意見を持つため、ユーザの潜在表現と意見間 の写像を学習することで、サイレントユーザの意見 を推定できると考えた。例えば図 1（b）における $x_{3}, x_{4}$ のように顕在化しているユーザの意見を学習 することで、その中間に位置するサイレントユーザ の意見推定を図る。

評価実験では、米国大統領選挙期間中のツイート 文をユーザの意見とみなし、ユーザのネットワーク 埋め込み表現をもとにツイート文を推定する実験を 行った。評価データセット中のツイート文について Bowman らの文生成モデルと同程度の尤度が得られ ることを確認し、サイレントユーザの意見推定に提案法が有効であることが示唆された。

## 2 事前準備

まず、本研究の基礎となる Bowman らによる文生成モデル（VAE-LM）について解説する。Bowman らは文 $\boldsymbol{w}_{s}$ の生成過程を以下でモデル化している。

1. 文の潜在表現 $\boldsymbol{x}_{s} \in \mathbb{R}^{d}$ をサンプル:

$
\boldsymbol{x}_{s} \sim \mathcal{N}\left(\boldsymbol{x}_{s} \mid \boldsymbol{\mu}_{0}, \boldsymbol{\Sigma}_{0}\right)
$
2. $\boldsymbol{x}_{s}$ を復号し、文 $\boldsymbol{w}_{s}$ をサンプル：

$
\boldsymbol{w}_{s} \mid \boldsymbol{x}_{s} \sim p\left(\boldsymbol{w}_{s} \mid \boldsymbol{x}_{s}\right)=\operatorname{Decoder}\left(\boldsymbol{x}_{s}\right)
$

ただし、 $\boldsymbol{\mu}_{0}=\mathbf{0}, \boldsymbol{\Sigma}_{0}=\boldsymbol{I}$ はガウス分布のパラメータで ある。この生成モデルを VAE の枠組みで学習する ことによって、図 1 （a）に示すように、2つの文の 潜在表現の中間点から、2 文と意味が似た文を復号 できることを明らかにした。

これを発展させ、Tang らは文の潜在表現をト ピック $z_{s}$ と文構造などその他の特徵 $\boldsymbol{x}_{s}$ に分解できると仮定し、文の生成過程を以下でモデ ル化した (TATGM; Topic Augmented Text Generation Model[11])。
1. 文の潜在表現 $\boldsymbol{x}_{s} \in \mathbb{R}^{d}$ をサンプル:

$
\boldsymbol{x}_{s} \sim \mathcal{N}\left(\boldsymbol{x}_{s} \mid \boldsymbol{\mu}_{0}, \boldsymbol{\Sigma}_{0}\right)
$

2. 文のトピック $z_{s} \in\{1, \ldots, K\}$ をサンプル:

$
z_{s} \sim \operatorname{Cat}\left(\boldsymbol{\theta}_{\boldsymbol{s}}\right)
$
3. $\boldsymbol{x}_{s}, z_{s}$ を復号し、文 $\boldsymbol{w}_{s}$ をサンプル：

$
\boldsymbol{w}_{s} \mid \boldsymbol{x}_{s}, z_{s} \sim p\left(\boldsymbol{w}_{s} \mid \boldsymbol{x}_{s}, z_{s}\right)=\operatorname{Decoder}\left(\left[\boldsymbol{x}_{s} ; \boldsymbol{z}_{s}\right]\right)
$

ただし、 $\boldsymbol{\theta}_{s} \in \Delta^{K-1}$ は文 $s$ のトピック分布で、Neural Topic Model $[12,13]$ により推定する。また、 $\left[\boldsymbol{x}_{s} ; \boldsymbol{z}_{s}\right]$ は $\boldsymbol{x}_{s}$ と $z_{s}$ の one-hot 表現 $z_{s}$ を結合したべクトルで ある。トピックを陽にモデル化することで、 $\boldsymbol{x}_{s}$ を固定して $z_{s}$ を変化させると、文構造などは変化させず に、トピックのみを変化させることを可能にした。

一方、本研究は TATGM をべースに、文の潜在表現 $\boldsymbol{x}_{s}$ をユーザの潜在表現（ネットワーク埋め込み 表現） $\boldsymbol{x}_{u}$ に置き換える。これにより、ソーシャル ネットワーク上の位置によって特徴づけられたある ユーザが、任意のトピックを与えられたときに、ど のような意見を発するかについてモデル化する。

## 3 提案モデル

提案モデル概要を図 2 に示す。本研究では、ユー ザ $u$ の意見 $\boldsymbol{w}_{s}$ を以下の生成過程でモデル化する。

$\cdot$各ユーザ $u \in\{1, \ldots, U\}$ について:

1. ユーザの潜在表現 $x_{u} \in \mathbb{R}^{d}$ をサンプル:

$
\boldsymbol{x}_{u} \sim \mathcal{N}\left(\boldsymbol{x}_{u} \mid \boldsymbol{\mu}_{0}, \boldsymbol{\Sigma}_{0}\right)
$

・ユーザ $u$ の各意見 $s \in\left.\{1, \ldots, S_{u}\right.\}$ について:

2. 意見のトピック $z_{s} \in\{1, \ldots, K\}$ をサンプル:

$
z_{s} \sim \operatorname{Cat}\left(\boldsymbol{\theta}_{\boldsymbol{s}}\right)
$
3. $\boldsymbol{x}_{u}, z_{s}$ を復号し、意見 $\boldsymbol{w}_{s}$ をサンプル：

$
\boldsymbol{w}_{s} \mid \boldsymbol{x}_{u}, z_{s} \sim p\left(\boldsymbol{w}_{s} \mid \boldsymbol{x}_{u}, z_{s}\right)=\operatorname{Decoder}\left(\left[\boldsymbol{x}_{u} ; z_{s}\right]\right)
$

このとき、ユーザ $u$ の意見の尤度と、その対数の変分下限 $\mathscr{L}$ はそれぞれ以下で表される。

$
\begin{aligned}
& p\left(\boldsymbol{W}_{1: S_{u}}\right)=\int p\left(\boldsymbol{x}_{u}\right) \prod_{s=1}^{S_{u}}\left.\{\sum_{z_{s}} p\left(\boldsymbol{w}_{s} \mid \boldsymbol{x}_{u}, z_{s}\right) p\left(z_{s}\right)\right.\} d \boldsymbol{x}_{u} \\
& \mathscr{L}_{u} \geq \mathbb{E}_{q\left(\boldsymbol{x}_{u} \mid \boldsymbol{e}_{u}\right)}\left.\{\sum_{s=1}^{S_{u}} \log p\left(\boldsymbol{w}_{s} \mid \boldsymbol{x}_{u}, \boldsymbol{\theta}_{s}\right)\right.\} \\
& -\mathrm{D}_{\mathrm{KL}}\left[q\left(\boldsymbol{x}_{u} \mid \boldsymbol{e}_{u}\right) \| p\left(\boldsymbol{x}_{u}\right)\right]
\end{aligned}
$

ただし、 $q\left(\boldsymbol{x}_{u} \mid \boldsymbol{e}_{u}\right)=N\left(\boldsymbol{x}_{u} \mid f_{\mu}\left(\boldsymbol{e}_{u}\right), f_{\sigma}\left(\boldsymbol{e}_{u}\right)\right)$ はユーザ $u$ の潜在表現の変分事後分布で、ユーザのネットワー ク埋め込み表現 $\boldsymbol{e}_{u} \in \mathbb{R}^{h}$ を $\operatorname{MLP} f_{\mu}, f_{\sigma}$ により変換す ることで推定する。また、 $\boldsymbol{\theta}_{s} \in \Delta^{K-1}$ は文 $s$ のトピッ ク分布であり、本研究では Neural Topic Model の一種である NQTM[14] により獲得する。以下、それぞ れを用いた理由とその方法について概説する。

## 3.1 ユーザのネットワーク埋め込み

本研究はサイレントユーザの意見推定を試みるこ とから、ユーザの意見 (テキスト) に頼らずにユーザ の潜在表現を得る必要がある。そこで、Homophily の概念に着想を得て、ユーザのネットワーク埋め込 み表現を用いることで潜在表現を獲得する。

本研究ではユーザをノード、ユーザ同士のコミュ ニケーション (リツイート/リプライ) 数をエッジと した重み付き無向グラフを対象に、ネットワーク埋 め込み手法として LINE[15] を用いた。LINE では同一コミュニティに属するユーザが近接するように埋 め込み表現を学習する。従って、ネットワーク埋め 込みが近接するユーザ群からは、類似する意見が生成され、Homophilyをモデル化できると期待される。

## 3.2 NQTM による意見のトピック推定

TATGM ではトピック分布の推定に Neural Topic Model[12]を用いているが、本研究が対象とする ソーシャルメディア上の投稿など、短文のテキスト にはトピック推定がうまく機能しない。そこで、本研究では短文テキストを対象に開発された NQTM (Negative sampling and Quantization Topic Model[14]) を利用する。短文のテキストでは、トピック分布が 一様分布に近くなるとともに、各トピックの単語分布が似た分布になりやすい。そこでNQTM では、 トピック分布の量子化により鋭いピークを持つ分布 に誘導すると共に、他トピックに頻出する単語を負例として用いるネガティブサンプリングによって、各トピックの単語分布の差が際立つよう学習する。表 1: データセット中のツイート数とユーザ数

表 2: 評価データの意見推定精度（低いほうがよい）

## 4 実験

本実験では、ソーシャルメディアとして Twitterを 採用し、Twitter 上の投稿（ツイート文）を意見とみ なすことで、提案モデルが各ユーザの意見をどの程度モデル化できるか、即ちサイレントユーザの意見 をどの程度推定可能か検証する。

## 4.1 実験設定

本実験では、政治的意見が多く含まれると考え られる 2020 年アメリカ大統領選挙の前後期間に 特定のクエリで抽出されたツイート文 [16] を対象 に、意見生成の精度評価を行った。データセット 中のツイート数/ユーザ数を表 1 に示す。ベースラ インとして、Bowman らの VAE-LM[8] と、Tang ら の TATGM[11] を採用した。トピック数は 10 で固定 し、ベースライン・提案モデル共に Transformer[17] をデコーダとして用いた。

## 4.2 意見推定の精度比較

まず、提案モデルが各ユーザの意見をどの程度 モデル化できるか検証するため、評価データセッ ト中のツイート文の尤度を確認した。学習に利用 していない評価データ中のユーザはいわばサイレ ントユーザとみなすことができるため、尤度はサ イレントユーザの意見推定精度とみなせる。各モ デルから算出されたツイート文の負の対数尤度を 表 2 に示す。提案モデルは Bowman より高い推定精度を確認できた他、TATGMにも匹敵する性能を 示した。VAE-LM や TATGM は推定対象の文 $\boldsymbol{w}_{s}$ を 用いて、文の潜在表現の事後分布を推定している： $q\left(\boldsymbol{x}_{s} \mid \boldsymbol{w}_{s}\right)=N\left(\boldsymbol{x}_{u} \mid f_{\mu}\left(\boldsymbol{w}_{s}\right), f_{\sigma}\left(\boldsymbol{w}_{s}\right)\right)$ (ただし、 $f_{\mu}, f_{\sigma}$ は Transformer エンコーダ)。一方、提案モデルは事後分布の推定に文 $\boldsymbol{w}_{s}$ を用いず、ネットワーク埋め込 みを用いているため、ベースラインの方が文 $\boldsymbol{w}_{s}$ の

図 3: ユーザの潜在空間

図 4: ユーザの潜在変数を移動した時のトピック 1 に関する生成文変化表 3: 各トピックにおける頻出度上位 10 単語

 \\

推定は容易であると考えられる。それにも関わらず 提案モデルがベースラインと競合する性能を得られ たことは、ネットワーク埋め込みがユーザの意見の モデル化に十分な情報を持つことを示唆している。

## 4.3 トピックの分析

表 3 に各トピックに最も頻出する上位 10 単語を 示す。総じて、選挙戦を中心とした政治的なトピッ クに関する単語が取得できていることがわかる。特 にトピック 1,3,5,6,8,9 は政局や選挙関連について激 しい論戦が行われた話題である。トピック 1 は不正投票、トピック 2 は COVID-19、トピック 4 は死刑判決が議論を呼んだ Brandon Bernard 氏、トピック 10 は 2020 年に米国で盛んだった Black Lives Matter 運動について、それぞれ示していると考えられる。

## 4.4 ユーザの潜在空間の分析

評価データセット中のユーザの潜在表現 $x_{u}$ につ いて、t-SNE[18] による 2 次元空間上への射影を図 3 に示す。各点はユーザを表し、共和党/民主党支持に 関連するハッシュタグ（付録 A 表 4）どちらかを使用したユーザをそれぞれ赤/青で表している。両者 は互いに固まって位置していることが確認できる。

また潜在空間内の共和党支持ユーザ（赤）と民主党支持ユーザ（青）の重心ベクトル $\bar{x}_{\text {red }}, \bar{x}_{\text {blue }}$ の中間地点のユーザベクトルをモデルに入力した時の出力文の変化例を図 4 に示す。ここでは $z_{s}=1$ を入力 し、不正選挙に関するトピック 1 について、その意見の変化を観察した。米大統領選では、選挙不正に 関して郵便投票と選挙人団入替えの是非が主な争点 であった。 $\bar{x}_{\text {blue }}$ に近づくほど、郵便投票に対し肯定的な意見が生成されている一方 $\left(\boldsymbol{x}_{1}\right) 、 \overline{\boldsymbol{x}}_{\text {red }}$ に近 づくと選挙人団投票 (electoral vote) に対する否定的 な意見が生成される $\left(\boldsymbol{x}_{7}\right)$ 傾向を確認できる。この ように潜在空間上の位置によって、ユーザの意見が 変化していく様子が確認された。

## 5 おわりに

本研究はユーザの意見をネットワーク埋め込みと トピックに基づきモデル化することによって、様々 なトピックに関するサイレントユーザの意見を推定できるモデルを提案した。米国大統領選挙期間中 の Twitter データで意見（ツイート文）の推定精度を 検証した結果、既存の文生成モデルと同程度の性能 が得られた他、ユーザの潜在変数が各党の支持ユー ザに近づくと、各党の支持ユーザらしい意見が生成 される様子が定性的にも確認された。以上のことか ら、ネットワーク埋め込みとトピックに基づくユー ザの意見のモデル化の妥当性が確認された。

## 謝辞

本研究は、JST ACT-X JPMJAX1904 及び JST CREST JPMJCR21D1 の支援を受けたものである。

## 参考文献

[1] Eli Pariser. The filter bubble: How the new personalized web is changing what we read and how we think. Penguin, 2011.

[2] Lada A Adamic and Natalie Glance. The political blogosphere and the 2004 us election: divided they blog. In Proceedings of the 3rd International Workshop on Link discovery, pp. 36-43, 2005.

[3] Elanor Colleoni, Alessandro Rozza, and Adam Arvidsson. Echo chamber or public sphere? predicting political orientation and measuring political homophily in twitter using big data. Journal of Communication, Vol. 64, No. 2, pp. 317-332, 2014.

[4] Yoree Koh. Report: $44 \%$ of twitter accounts have never sent a tweet. Wall Street Journal. News Corporation, Vol. 11, , 2014.

[5] Wei Gong, Ee-Peng Lim, and Feida Zhu. Characterizing silent users in social media communities. In Proceedings of the International AAAI Conference on Web and Social Media, Vol. 9, 2015

[6] Lei Wang, Jianwei Niu, Xuefeng Liu, and Kaili Mao. The silent majority speaks: Inferring silent users' opinions in online social networks. In The World Wide Web Conference, pp. 3321-3327, 2019.

[7] Miller McPherson, Lynn Smith-Lovin, and James M Cook. Birds of a feather: Homophily in social networks. Annual Review of Sociology, Vol. 27, No. 1, pp. 415-444, 2001.

[8] Samuel Bowman, Luke Vilnis, Oriol Vinyals, Andrew Dai, Rafal Jozefowicz, and Samy Bengio. Generating sentences from a continuous space. In Proceedings of the 20th SIGNLL Conference on Computational Natural Language Learning, pp. 10-21, 2016.

[9] Diederik P Kingma and Max Welling. Auto-encoding variational bayes. In Proceedings of the 2nd International Conference on Learning Representations, 2014.

[10] Danilo Jimenez Rezende, Shakir Mohamed, and Daan Wierstra. Stochastic backpropagation and approximate inference in deep generative models. In Proceedings of the 31st International Conference on Machine Learning, pp. 1278-1286, 2014.

[11] Hongyin Tang, Miao Li, and Beihong Jin. A topic augmented text generation model: Joint learning of semantics and structural features. In Proceedings of the $\mathbf{2 0 1 9}$ Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, pp. 5090-5099, 2019.

[12] Yishu Miao, Edward Grefenstette, and Phil Blunsom. Discovering discrete latent topics with neural variational inference. In Proceedings of the 34th International Conference on Machine Learning, pp. 2410-2419, 2017.

[13] Akash Srivastava and Charles Sutton. Autoencoding variational inference for topic models. In Proceedings of the 5th International Conference on Learning Representations, 2017.

[14] Xiaobao Wu, Chunping Li, Yan Zhu, and Yishu Miao. Short text topic modeling with topic distribution quantization and negative sampling decoder. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing, pp. 1772-1782, 2020.

[15] Jian Tang, Meng Qu, Mingzhe Wang, Ming Zhang, Jun Yan, and Qiaozhu Mei. Line: Large-scale information network embedding. In Proceedings of the 24th International Conference on World Wide Web, pp. 1067-1077, 2015.

[16] Emily Chen, Ashok Deb, and Emilio Ferrara. \# election2020: the first public twitter dataset on the 2020 us presidential election. Journal of Computational Social Science, pp. 1-18, 2021.

[17] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in Neural Information Processing Systems, pp. 5998-6008, 2017.

[18] Laurens Van der Maaten and Geoffrey Hinton. Visualizing data using t-sne. Journal of Machine Learning Research, Vol. 9, No. 11, 2008.

[19] Zhiting Hu, Zichao Yang, Xiaodan Liang, Ruslan Salakhutdinov, and Eric P Xing. Toward controlled generation of text. In Proceedings of the 34th International Conference on Machine Learning, pp. 1587-1596, 2017.

[20] Chris J Maddison, Andriy Mnih, and Yee Whye Teh. The concrete distribution: A continuous relaxation of discrete random variables. In Proceedings of the 5th International Conference on Learning Representations, 2017.

[21] Eric Jang, Shixiang Gu, and Ben Poole. Categorical reparameterization with gumbel-softmax. In Proceedings of the 5th International Conference on Learning Representations, 2017.

[22] Victor Prokhorov, Ehsan Shareghi, Yingzhen Li, Mohammad Taher Pilehvar, and Nigel Collier. On the importance of the kullback-leibler divergence term in variational autoencoders for text generation. In Proceedings of the 3rd Workshop on Neural Generation and Translation, pp. 118-127, 2019.

[23] Bohan Li, Junxian He, Graham Neubig, Taylor BergKirkpatrick, and Yiming Yang. A surprisingly effective fix for deep latent variable modeling of text. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, pp. 3603-3614, 2019.

## A 付録

## A. 1 モデル詳細

本研究では、生成意見の対数尤度の変分下限 $\mathscr{L}_{u}(10)$ に、下記の節で定義する $\mathscr{L}_{t}$ 及び $\mathscr{L}_{d}$ を加えた 目的関数 $\mathscr{L}$ を最大化するようにモデルを学習する。

$
\mathscr{L}=\mathscr{L}_{u}+\mathscr{L}_{t}+\lambda \mathscr{L}_{d}
$

## A.1.1 Neural Topic Model 及び NQTM

本節では TATGM にて用いられている Neural Topic Model $[12,13]$ と、それを短文のテキストに適用で きるよう改良された NQTM[14] について概説する。 Neural Topic Model では一般的なトピックモデルと 同様に以下の生成過程を仮定する。

・ユーザ $u$ の各意見 $s \in\left.\{1, \ldots, S_{u}\right.\}$ について:

1. 意見 $s$ のトピック分布 $\boldsymbol{\theta}_{s} \in \Delta^{K-1}$ をサンプル:

$
\begin{aligned}
& \boldsymbol{y}_{s} \sim \mathcal{N}\left(\boldsymbol{y}_{s} \mid \boldsymbol{\mu}_{0}, \boldsymbol{\Sigma}_{0}\right) \\
& \boldsymbol{\theta}_{s}=\operatorname{softmax}\left(\boldsymbol{y}_{s}\right)
\end{aligned}
$
- 意見 $s$ の各単語 $n \in\left.\{1, \ldots, N_{s}\right.\}$ について:

2. 単語のトピック $z_{n} \in\{1, \ldots, K\}$ をサンプル:

$
z_{n} \sim \operatorname{Cat}\left(\boldsymbol{\theta}_{\boldsymbol{s}}\right)
$

3. 単語 $w_{n} \in\{1, \ldots, V\}$ をサンプル：

$
w_{n} \sim \operatorname{Cat}\left(\boldsymbol{\beta}_{z_{n}}\right)
$

このとき、トピックモデルにおけるユーザ $u$ の対数尤度の変分下限は以下で与えられる。

$
\mathscr{L}_{t}=\sum_{s=1}^{S_{u}} \sum_{n=1}^{N_{s}} \log (\boldsymbol{\beta} \cdot \hat{\boldsymbol{\theta}})_{w_{n}}-\mathrm{D}_{\mathrm{KL}}\left[q\left(\boldsymbol{y}_{s} \mid \boldsymbol{w}_{s}\right) \| p\left(\boldsymbol{y}_{s}\right)\right]
$

ただし、 $q\left(\boldsymbol{y}_{s} \mid \boldsymbol{w}_{s}\right)=q\left(\boldsymbol{y}_{s} \mid f_{\mu}\left(\boldsymbol{w}_{s}\right), f_{\Sigma}\left(\boldsymbol{w}_{s}\right)\right)$ は変分事後分布であり、文 $\boldsymbol{w}_{s}$ の bag-of-words 表現を $\operatorname{MLP} f_{\mu}$ 及 び $f_{\sigma}$ で変換することで得られる。NQTM では、変分下限 $\mathscr{L}_{t}$ に加え、負例の尤度及び量子化前後の卜 ピック分布の誤差項を $\mathscr{L}_{t}$ に加えている。

## A.1.2 Discriminator

TATGM[11] と同様に、生成された文 $\hat{w}_{s}$ が指定さ れたトピック $z_{s}$ に関する内容を含むように誘導す るため、本研究では提案モデルに discriminator[19] を加えた。Discriminator は、生成文のサンプルをト ピックモデルに入力して得られるトピック分布 $q\left(z_{s} \mid \hat{\boldsymbol{w}}_{s}\right)$ が、元の文のトピック分布 $p\left(z_{s}\right)$ に近づく ように、以下の目的関数を最大化する。表 4: ハッシュタグの分類

$
\begin{aligned}
\mathscr{L}_{d} & =\sum_{s=1}^{S_{u}} \mathbb{E}_{p\left(\hat{\boldsymbol{w}}_{s}, z_{s}\right)}\left[\log q\left(z_{s} \mid \hat{\boldsymbol{w}}_{s}\right)\right] \\
& \approx \sum_{s=1}^{S_{u}} \sum_{k=1}^{K} \log q\left(z_{s}=k \mid \hat{\boldsymbol{w}}_{s}^{\prime}\right)
\end{aligned}
$

ただし、 $\hat{\boldsymbol{w}}_{s}^{\prime}$ は Gumbel-softmax trick[20, 21] によって 推定した生成文のサンプルである。

## A. 2 実験詳細

## A.2.1 各党支持に関連するハッシュタグ

各党の支持ユーザを同定するために、本研究では 表 4 に示すハッシュタグを用いた。民主党の方が ハッシュタグが多いものの、共和党/民主党支持と判断されたユーザ数はそれぞれ $15,961 / 9,274$ である。 なお、\#trump や\#bidenなど、肯定的/否定的な文脈双方で頻用されるものについては使用していない。

## A.2.2 実装詳細

図 2 の $f_{\mu}, f_{\sigma}$ は 4 つの全結合層とバッチ正規化か ら成り、以下の式のように $\mu_{u}, \sigma_{u}$ を得る。

$
\begin{aligned}
\boldsymbol{c}_{0} & =\boldsymbol{W}_{0} \boldsymbol{x}+\boldsymbol{b}_{0} \\
\boldsymbol{c}_{1} & =f_{\boldsymbol{b}}\left(\boldsymbol{W}_{1} \boldsymbol{c}_{0}+\boldsymbol{b}_{1}\right) \\
\boldsymbol{\mu} & =\boldsymbol{W}_{2} \boldsymbol{c}+\boldsymbol{b}_{2} \\
\boldsymbol{\sigma}^{2} & =\operatorname{softplus}\left(\boldsymbol{W}_{3} \boldsymbol{c}+\boldsymbol{b}_{3}\right)
\end{aligned}
$

ただし $\left(\boldsymbol{W}_{0}, \boldsymbol{b}_{0}\right)$ は 128 次元べクトルに、 $\left(\boldsymbol{W}_{1}, \boldsymbol{b}_{1}\right),\left(\boldsymbol{W}_{2}, \boldsymbol{b}_{2}\right),\left(\boldsymbol{W}_{3}, \boldsymbol{b}_{3}\right)$ は 64 次元ベクトルに変換 する全結合層のパラメータを表し、 $f_{b}$ はバッチ正規化関数を表す。デコーダの Transformer の隠れ層は 256、ブロック数は 6 に設定した。また単語ベクトル の次元数は256、学習時のバッチサイズは 64、学習率 は 0.0001、勾配降下法は $\operatorname{Adam}\left(\left(\beta_{1}, \beta_{2}\right)=(0.9,0.999)\right.$, weight_decay $=0$ )、Discriminator の係数は $\lambda=0.1$ を採用した。また、VAEの事後分布崩壊を防ぐために、 KL-annealing 及び KL-threshold[22, 23]を適用した。


# モーラを考慮した Fine-tuning によるロ語短歌生成

浦川通 1 新妻巧朗 1 田口雄哉 ${ }^{1}$ 田森秀明 1 岡崎直観 ${ }^{2}$ 乾健太郎 3,4
1 株式会社朝日新聞社 2 東京工業大学 3 東北大学 4 理化学研究所
\{urakawa-t,niitsuma-t,taguchi-y2, tamori-h\}@asahi.com,
okazaki@c.titech.ac.jp, inui@tohoku.ac.jp

## 概要

短歌は日本語における詩の形態の一つで，短い文字列をモーラの定型に従わせることで，日本語話者 の間に広く伝えられる性質を持つ. 短歌の自動生成，特に現代語で表現された口語短歌に焦点を当て た場合，データセットの数が少なく, 従来手法を適用することが難しい. そこで本研究では教師データ の少ない口語短歌の自動生成を行うため，モーラ情報を考慮した事前学習済み言語モデルの Fine-tuning 手法を提案する. 具体的には，GPT-2 にモーラ情報 を埋め込み表現として与え，残りモーラ数を考慮し ながら生成することで，指定モーラ数を満たす系列生成が可能なことを実験により確認した.

## 1 はじめに

短歌は日本語における定型詩の一つで, $5 \cdot 7 \cdot 5 \cdot$ $7 \cdot 7$ の計 31 モーラをもつ 5 句から構成される短詩 である。短い文字列の中で自然から社会生活，また 個人的な日常まで幅広く表現することができ，かつ 定型によって読み方が共有されていることから，他者と創造的にコミュニケーションする手段となりう る. 本研究では，広告や見出しなどの他分野に短歌 の特徴を応用をすることを目的として，自動生成の タスクに取り組む. 利用者の性質から，読み手に文語への理解を要求しない口語短歌に対象を絞った上 で，日本語として破綻のない 31 モーラの定型に従 う系列生成問題として扱う.

モーラは，それぞれの言語における時間的な長さ をもった音の分節単位で, 日本語では音節と区別さ れる（表 1). 日本語話者が音を数える際にはこの モーラを単位として数えることが多く, 和歌 [1] や 俳句 [2], また歌唱旋律 [3] や歌詞 [4] の自動生成に おいて，このモーラをモデル訓練時の素性に取り入 れ生成を行う手法の提案が行われてきた。一方で，現代語により表現される口語短歌は和歌と同じ 31表 1 日本語における音節とモーラ

モーラの定型をもちながらも整備されたデータセッ トが存在せず，これまでに提案されている手法をそ のまま適用するのは難しいと考える。

近年では事前学習済み言語モデルに対して，タス クに合わせた少量の教師データによる Fine-tuning を 行う方法が多く見られる [5]. そこで本研究では,学習データとして現代語の文書から抽出された少量 の疑似短歌データを，実際の口語短歌データの代替 として用い，GPT-2 [6] に対するモーラ数制約を考慮した口語短歌生成タスクの Fine-tuning 手法を提案 する.

実験の結果，提案手法により短歌のもつモーラ数制約を満たす系列が生成できることを，ビーム探索 とサンプリング生成におけるモーラの正答率により 確認した. また，短歌のモーラ数制約を満たす生成系列の流暢度を人手評価により評価した。

## 2 提案手法

## 2.1 口語短歌生成タスク

本研究で取り組む口語短歌生成タスクを以下で 定義する。「口語」とは話し言葉・書き言葉に依ら ず，現代で一般的に扱われる言葉を指す。「口語短歌」とは，この口語によって書かれた全 31 モーラ をもった系列とする．このモーラ数を超える，また 未満となる，短歌において「破調」と呼ばれる系列 については，今回のモーラ数制御の評価対象には含 めない. 口語短歌には一般的に知られたデータセッ トが存在しないため, 本研究では既存の文書から疑似短歌を抽出するという形で教師データを作成し, また少量の教師データでも訓練が可能なモーラ数制

図 1 提案手法の概要

約を考慮した Fine-tuning 手法を検討する。

## 2.2 モデル

モデルの概要を図 1 に示す. GPT-2 にモーラ情報 を取り入れるモーラ埋め込み層を用意し，入力系列 の各トークンに対応する残りモーラ数を埋め込み として計算する.この埋め込みは, GPT-2を生成夕 スクで Fine-tuning するための層（本稿では LMHead と呼ぶ）と，新たに追加した MoraHead に直接与え られ, LMHead ではデコーダーの出力と結合した 形でこれを受け，次トークンの尤度を計算する。 MoraHead ではモーラ埋め込みから，入力で与えら れているモーラ残数を推測する。これにより，モデ ルが残りモーラ数を考慮しながら生成を行うことが 期待される.

訓練時の損失関数 $\mathscr{L}$ は以下のように定式化 する。なお，入力系列 $\mathrm{S}$ に属するトークン集合 を $W=\left.\{w_{1}, w_{2}, \cdots . w_{n} \mid w \in S\right.\}$ とし, 入力系列中の 各トークン位置に対する残りモーラ数集合を $M=\left.\{m_{1}, m_{2}, \cdots . m_{n}\right.\}$ とする.

$
\mathscr{L}=(1-\lambda) \mathrm{CE}_{\text {token }}(W)+\lambda \mathrm{CE}_{\text {mora }}(M)
$

ここで, $\mathrm{CE}_{\text {token }}, \mathrm{CE}_{\text {mora }}$ はそれぞれ LMHead と MoraHeadのクロスエントロピー誤差を表し，

たものをモデル全体の損失とする。 モデルに与えら れる各トークンのモーラは，入力系列をモデルの トークナイザーによって分解した上で，各トークン の読みがなを $\mathrm{MeCab}^{1)} \mathrm{IPA}$ 辞書により取得して計算

表 2 疑似短歌データ 粘液の [SEP] 入った管が [SEP] あったりと [SEP] その状態は [SEP] さまざまである 偏光を [SEP]かけて重ねて [SEP] 投影し- [SEP] これを偏光 [SEP] フィルタの付いた

する.なお，アルファベットおよび特殊トークンと いった読み方の一意に定まらないトークンに関して は，すべてモーラ数を 0 とする.

## 2.3 疑似短歌データによる学習

口語短歌に関して，広く一般に知られた公開デー タは存在しない。そこで本研究では，短歌の定型を 満たす文字列を既存の文書から抽出し，これを疑似短歌データとしてモデルの訓練に利用する．疑似短歌データは， 口語短歌と同様に現代語によって書か れた，全 31 モーラからなる文字列集合とする。ま た実世界における応用を見据え，オープンデータか らの作成を行う. 今回は文字列から偶然に短歌の定型を満たす系列を抽出する偶然短歌プロジェクト2) の公開するスクリプト3を用いて，Wikipedia の日本語ダンプデータから 11,344 件の教師データを作成 した。なお，教師データでは各句の間に特殊トーク ンを挿入することで，句切れを明示した（表 2).

## 3 実験

2) http://inaniwa3.github.io/guuzen-tanka/

3) https://github.com/inaniwa3/guuzen-tanka
表 3 モーラ正答率 (\%)

表 4 生成結果に対する人手評価（\%）

## 3.1 実験設定

データセット 上記の Wikipedia から作成した疑似短歌コーパスを，10,000 件の学習データ，672 件 の開発データ, 672 件の評価データとして分割し データセットを作成した。

モデル設定 GPT-2の事前学習済みモデルには， HuggingFace $^{4)}$ 上で公開されているモデルを使用し た $^{5)}$. トークナイザーは日本語 Wikipedia を学習し た Sentencepiece[7] で, 語彙数は 32,000 である. ベー スラインとして，GPT-2を提案手法と同じ学習デー タでそのまま Fine-tuning したものを用意した.

評価 本実験では，評価データから短歌の第一句 に相当する 5 モーラ分のトークンを入力し，得られ る生成結果に対して評価を行う. モーラ数制約に対 する性能評価として，評価データ全体のうちで 31 モーラの系列が出力候補中に含まれる割合 (モーラ 正答率）を計算する. ビーム幅を 10 としたビーム 探索の出力から top-1,3,5,10 の正答率を得るほか, サ ンプリングによる生成でも出力数 $\mathrm{n}=1,3,5,10$ で評価 する. サンプリング手法としては, top-p サンプリン グ [8] $(p=0.6)$ を採用し, 3 回生成した上での平均値 を取る。加えて，モーラ数制約によって結果の流暢 さが損なわれないかを確認するため，生成結果が意味の通る内容となっているか否かを 3 人のアノテー ターで人手評価する. アノテーション対象となる系列は，ビーム幅を 10 としたビーム探索の出力から モーラ数制約を満たすものを 50 文サンプリングし，各件で 2 人以上が選択した結果を採用として，その 割合を計算する.

## 3.2 実験結果

表 3 にモーラ制御の正答率を示す. ベースライン ではビーム探索にて最大でも $30 \%$ 程度，サンプリン グでは $60 \%$ 程度にとどまる一方で，提案手法ではす べてのモデルで最大 $90 \%$ を超える正答率となり，提案するモーラ情報の埋め込みが実際にモーラ数制約 へ寄与していることが確かめられた，

表 4 に生成結果に対する人手評価の結果を示す.提案手法とべースラインとで大きな開きはなく, モーラ数制約を与える Fine-tuning が生成系列の流暢度を著しく下げるような影響は与えないことが確か められた，一方で，教師データの中にはすべて名詞 だけで構成される例なども存在し（「芝離宮 [SEP]恩賜庭園 [SEP] 浜離宮 [SEP] 恩賜庭園 [SEP] 世界貿易」など)，これらをノイズとして取り除くことで より良い結果が得られることが期待できる.

また，より少量データでの提案手法の効果をみる ために，学習データを $1,000 \sim 5,000$ 件と絞った上で モデルを訓練し $(\lambda=0.6)$, モーラの正答率を計算し た (表 5). 結果から, 少量データでの訓練において もモーラ数制約を満たすモデルを学習できることが 確認できた. これは，例えばある特定の歌人の歌な ど，ごく少量の教師データからモデルを訓練できる ことを示唆する結果であると考える。

最後に，実際の生成例を表 6 に示す. 人手により 第一句のみ入力し，モーラ数制約を満たすものを正例として記載した. 正例では， 31 モーラという制約を満たしつつ, 句切れも学習データにあるような $5 \cdot 7 \cdot 5 \cdot 7 \cdot 7$ となる系列がある程度出力できてい
表 6 提案手法による生成例. $\lambda=0.6$, top_p $=0.6$

摇れだした [SEP] 雲の間から [SEP] 太陽が昇るのを見た [SEP] 群衆はただ

さっきまで [SEP] 人間だった [SEP] 人形が [SEP] 喋ってみせる [SEP] 世界であった

正例 画面では [SEP] 表示されない [SEP] バーコード [SEP] セグメントを非 [SEP] 表示にできる

まぶしくて [SEP] 見ていてつらい [SEP] 夕焼けの [SEP] 空にまにまに [SEP] オレンジの花

光ってる [SEP] 森の中を [SEP] 移動して [SEP] 見えるのは今 [SEP] ここだというの

摇れだした [SEP] 人々の間で [SEP] 共有の [SEP] 感情が生まれ [SEP] 伝播していく

さっきまで [SEP] 平和だったのに [SEP] 今度会ったら [SEP] 違う人になってるかも

負例 画面では [SEP] 表示されない [SEP] メッセージ [SEP] ウィンドウが出る [SEP] 場合や [SEP] 何らかの まぶしくて [SEP] 見ていて気分が [SEP] わるいや [SEP] うれしくないや [SEP] わかってるや [SEP] でも 光ってる [SEP] 波か? 光ってる [SEP] 波か? 光ってる [SEP] 波か? 光って

ることがわかる。また同様に学習データ中に存在す る句またがり（「セグメントを非 [SEP] 表示にでき る」というように，句切れと語の区切りが一致しな いもの）が確認され，句切れを表すトークンにより 教師データ中の短歌の句構造を捉えながら生成し ていることがうかがえる。これは，モーラ数制約を 句ごとに行うことでより改善されると考える。一方負例では，指定モーラ数を超えるものが多く見られ た.これは文脈によりもっともらしい系列を生成す る中で，指定モーラに収まらないトークンを選択し てしまう結果によるものと考えられる。また正例中 にある「光ってる...」の例では，モデルの計算上で は系列全体のモーラ数が 31 となっているが，実際 の読みからモーラを数えると 30 とる。これは，初句に与えた「光ってる（5 モーラ）」が，トークナイ ザーにより「光 (ひかり・3),って (2), る (1)」と分解 される中で計 6 モーラとして数えられてしまってい ることが原因である。この，トークンにおけるモー ラ数と実際の系列中のモーラ数の蓞齬を埋める形で の生成が，より精度の高いモーラ数制御には必要で あることがわかった。これは例えば，サブワードを 用いない事前学習済み言語モデルを利用することな どで解消されるだろうと考える。

## 4 関連研究

和歌や俳句，また歌詞といった詩の自動生成にお いて，モーラ数制約の考慮や実世界での応用を視野 に入れた研究として以下が挙げられる。

土佐ら [9] は，ユーザーの入力に応じたフレーズ をデータベースから抽出し，ルールに基づき俳句を 生成するモデルを提案している。ニューラルネッ トワークモデルを用いた生成では，小西 [10] らが GANを用いて俳人による現代俳句と一般の投稿俳句を分けて学習する，幅広い層へむけた俳句生成手法を提案している。 太田ら [2] は LSTM ベースの seq2seq モデルを用いて，拍数また季節の素性をモ デルに与えることで，俳句の制約を満たす系列生成 と内容の制御を行なっている。

和歌の生成では，RNNを用いた自動生成として Masada ら [11] がある. Masada らは，LDAを用い て同一トピックを扱う語の多い歌にスコアを付与 し，歌全体での内容の一貫性を保ちながらの生成 を試みている。また Yang ら [12] は，入力されるテ キストから感情情報を抽出し, 遺伝的アルゴリズ ムを用いた和歌生成を提案している. 近年の例と しては，Takeishi ら [1]が挙げられる. Takeishi らは Transformer+VAE を用い，尤度に対するマスクやア テンション機構を用いて，モーラ数制約や和歌の構造を考慮したモデルを構築している。

歌詞の生成では, Watanabe ら [13] は旋律によって 条件付けられた歌詞の生成を，音節をモデル内部に 取り入れることで実現する手法を提案している.

## 5 おわりに

本研究では，口語短歌の自動生成を行うために事前学習済み言語モデルに対するモーラ情報を考慮し た Fine-tuning 手法を提案した. GPT-2 にモーラ情報 を埋め込み，残りモーラ数を考慮しながら次にくる トークンを予測させることで，指定モーラ数を満た す系列生成が可能であることを確認した。

今回，疑似短歌を教師データとして生成を試みた が，今後より実際の短歌に近い生成モデルを学習す るためのデータセットや評価手法の検討を行うとと もに，指定語を含む短歌生成など，より創造性の高 いアプリケーションとして扱うためのモデルの拡張 に取り組みたい。

## 参考文献

[1] Yuka Takeishi, Mingxuan Niu, Jing Luo, Zhong Jin, and Xinyu Yang. Wakavt: A sequential variational transformer for waka generation. Neural Processing Letters, 2021.

[2] 太田瑶子, 進藤裕之, 松本裕治ほか. 深層学習を用い た俳句の自動生成. 研究報告自然言語処理 (NL), Vol. 2018, No. 1, pp. 1-8, 2018.

[3] 深山覚, 中妻啓, 酒向慎司, 西本卓也, 小野順貴, 嵯峨山茂樹ほか. 音楽要素の分解再構成に基づく日本語歌詞からの旋律自動作曲. 情報処理学会論文誌, Vol. 54, No. 5, pp. 1709-1720, 2013.

[4] 渡邊研斗, 松林優一郎, 乾健太郎, 後藤真孝. 大局的な 構造を考慮した歌詞自動生成システムの提案. 言語処理学会第 20 回年次大会発表論文集, pp. 694-697, 2014.

[5] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[6] Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, Ilya Sutskever, et al. Language models are unsupervised multitask learners. Technical Report, 2019.

[7] Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[8] Ari Holtzman, Jan Buys, Li Du, Maxwell Forbes, and Yejin Choi. The curious case of neural text degeneration. In 8th International Conference on Learning Representations, ICLR 2020, Addis Ababa, Ethiopia, April 26-30, 2020. OpenReview.net, 2020.

[9] 土佐尚子, 尾原秀登, 美濃導彦, 松岡正剛. Hitch haiku コンピュータによる俳句創作支援システム． 映像情報メディア学会誌, Vol. 62, No. 2, pp. 247-255, 2008.

[10] 小西文昂, 廣田敦士, 松尾星吾, 家原瞭, 小原宗一郎,加賀ゆうた, 鶴田穣士, 脇上幸洋, 金尻良介, 深田智ほ か. Seqgan を用いた一般人に好まれやすい俳句の生成. 2017 年度情報処理学会関西支部 支部大会 講演論文集, Vol. 2017, , 2017.

[11] Tomonari Masada and Atsuhiro Takasu. Lda-based scoring of sequences generated by rnn for automatic tanka composition. In International Conference on Computational Science, pp. 395-402. Springer, 2018.

[12] Ming Yang and Masafumi Hagiwara. A text-based automatic waka generation system using kansei. International Journal of Affective Engineering, Vol. 15, No. 2, pp. 125-134, 2016.

[13] Kento Watanabe, Yuichiroh Matsubayashi, Satoru Fukayama, Masataka Goto, Kentaro Inui, and Tomoyasu
Nakano. A melody-conditioned lyrics language model. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 163-172, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.


# CGDL を用いたトリックテイキングゲーム 自動生成手法の提案と評価

牧野 貴斗 ${ }^{1}$ 濱川礼 ${ }^{2}$
1 中京大学大学院 工学研究科 情報工学専攻 2 中京大学 工学部

## 概要

本研究では CGDL(A Card Game Description Language) を用いてトリックテイキングゲームのルール を記述し深層学習で生成を行いトリックテイキング ゲームを自動生成する手法を提案する。ゲームの自動生成分野では遺伝的アルゴリズムを用いてチェッ カーや Go などのバランスの取れたボードゲームを 設計する試み [1] などがあるがこれらの研究では，例えば場のサイズは 3 種類の中から選ぶなど限ら れたバリエーションでしかルールを表現できず，単純なゲームしか生成できない。より複雑なゲームを 生成するために, 本研究では深層学習に着目し, 卜 リックテイキングゲームの学習を行い、ルールをよ り複雑に生成することを試み，生成したゲームの評価を行った。

## 1 背景と目的

カードゲームは沢山の人に親しまれており，だれ もが一度は遊んだことがあるものである。人の顔を 見ながらできるカードゲームは，コミュニケーショ ン能力を養い，ゲームに勝つために考える過程で思考力を養うことができると考えられている [2][3]. しかし, 同じゲームを遊んでいるとゲームに飽きて しまったり，つまらなくなることでゲームに集中で きなくなる。しかし，新しいゲームをやるとしても カードゲームは値段が高くかさばるものであり，簡単に買えるものではない. [4] ではボードゲームの 発展を阻害している要因をアンケート調査している が，值段の高さは 7 位に入っている．以上の理由か ら常に新しいゲームを気軽に始めることが難しい. そこで常に新しいゲームを提供することで新鮮な体験を利用者に提供できればこの問題を解決できる のではないかと考え，トリックテイキングゲームの ルールを学習させ，ルールをより複雑に生成するこ とを試み，生成したゲームの評価を行った。

## 2 関連研究・関連システム

ボードゲーム自動生成の研究として，GDL(Game Description Language) 言語を利用して，チェッカー や Go などのバランスの取れたボードゲームの自動設計を試みている。 [1]. この研究では，遺伝的アル ゴリズムを用いて盤面のパターンや，駒の種類，勝利条件などあらかじめ用意されたパターンの中から ゲームのバランスを考慮したゲームの生成を遺伝的 アルゴリズムを用いて生成を行っている。

また，カードゲームの自動生成を目指す試みとし て, 'A Card Game Description Language' [5] がある. この研究は，GDLをカードゲームに改良を加えた 言語 CGDL を開発，カードゲームの自動生成を GA で試みた研究である. カードゲーム用の言語の為, ボードゲームのようにどのような場や場のサイズ などの細かい設定を必要とせず，行う処理に関して も，より限定的な命令を採用している言語について 述べている。

## 3 提案手法

[1][5] では，ゲームの自動生成を遺伝的アルゴリ ズムで行っているが，例えば，場のサイズは 3 種類 の中からどれかを選ぶなど，限られたバリエーショ ンでしかルールを表現できず，単純なゲームしか生成できない。より複雑なゲームを生成するために，文章生成などの分野で使われている深層学習に注目 した. 日本語などの文章と比較して，CGDL の記述 は厳格に単語の順番が決められており，深層学習を 使用すればルール文の記述を行えるのではないかと 考えた。本研究の提案手法を図 1 に示す.トリック テイキングゲームのルールを CGDLを用いて記述し たデータセットを用いて LSTM モデルで学習を行 う．学習後は，学習を終えたLSTM モデルに最初の 単語を入れそのあとに続く単語の予測を行う。この 作業を繰り返しトリックテイキングゲームのルール

の生成を行う。なお，CGDL の文法とトリックテイ キングゲームのルールの説明は [7] で述べている.

図 1 提案手法

## 3.1 データセット

今回使用するトリックテイキングゲームはトラン プゲーム大全 [8] に記載されているゲームの内 85 個 を使用している。

## 3.2 CGDL の命令の追加

トリックテイキングゲームを表記する際に既存の 命令だけでは表現しきれない以下のような状況があ る為，表 1 のコマンドを追加する.

・同じマークのカードを出す
- 既定回数処理を繰り返す

・トリック数を数える

・得点を失う

行動の種類 'else' は最初に出されたカードのマー クと同じマークのカードを出さなくてはならないよ うな状況でマークのカードが出せない時に他のカー ドを出すという命令を表現するために追加した。ア クション 'loop’ はトリックテイキングゲームでは 決められた回数ループを繰り返す必要があるが，そ の回数を既存の言語使用では表現できないため追加 した. アクション 'trick' は各プレイヤーが取得し たトリック数を数えるために追加した. アクション loss は得点を失うという状況を表現するために追加 した.

## 4 システム構成

本手法の構成図を図 2 に示す. LSTM 学習部で は，CGDLを用いてルールを記述し，記述したルー ルを一定のルールに従ってデータセット化し, 生成したデータセットをDataAugmentation を行い, LSTM モデルで学習を行う. LSTM 出力部では学習表 1 追加する命令

 \\

したモデルを使用して，STAGE0 の内容を入力（以下，初期シードと呼ぶ）として，トリックテイキン グゲームの文章生成を行う.

図 2 システム構成図

## 4.1 訓練データ作成部

## 4.1.1 データセットの変換

ここでは，CGDL で記述したトリックテイキング ゲームのルールを，どのような形で学習させたかを 述べる. 本手法では以下の条件でルールを記述して いる. 以下のルールでゲームの記述を行い，20 単語 で 1 つのデータ（以下，バッチと呼ぶ）としてまと める.

・各ルールの文頭と文末に始まりと終わりを意味 する りを 20 個付ける
- stage の区切りには＜ST > をつける

・データ中のカンマはスペースに置き換える.

・それぞれの単語には対応する番号があり，すべ ての単語を対応する数字に変換してデータと する。

## 4.1.2 Data Augmentation

本論文ではデータ数を増やすために Easy Data Augmentation(EDA)[9]を使用して，データの拡張を 行った. 本手法では，パラメータを以下の通りに設定している.

$
a=0.05
$

$
n_{\text {aug }}=16
$

編集確率を $a$ ，ワード移動を行う回数を $n$ の值で設定している。 パラメータは EDA の論文内で使われ ているものを採用した.

## 4.2 LSTM 学習部

LSTM 学習部では訓練データ作成部で受け取った データセットを入力として LSTM モデルを使用した 深層学習を行う. 計算設定を表 2 に示す. 大力層を Input 層，出力層を Dence 層，中間層を Embedding 層 と LSTM 層からなるニューラルネットワークを構築 した. 入力層では， $[32,20]$ のサイズの系列データ からなるテンソルを出力する. 32 と 20 はそれぞれ， バッチサイズと seq_length の值である. Embedding 層では，[32，20，100］のサイズのテンソルを出力 し，単語を変換した整数トークンを連続するべク トルに埋め込みそれぞれの単語の表現を学習する。 100 の值は embedding_size の値である. LSTM 層で は，[32，256］のサイズのテンソルを出力し，再帰的な学習を行う. Dence 層では, [32, 63] のサイズ のテンソルを出力し, 各単語が出力される確率を求 める.

## 4.3 LSTM 出力部

LSTM 出力部では学習をした LSTM モデルを使 い，初期シードを入力としたルールの出力を行う.出力の構造について図 3 に示し, 計算設定を表に示 す. 大力した文の次に来る単語を予測し, 予測した 単語を大力に加えて繰り返す。これをデータの始ま りと終わりを示す‘り’が出るまで続ける.

## 4.3.1 文法矯正部

CGDL では特定の先行詞やアクションの後には， その対象となる値が必ず来るような厳格なルール がある．そこで生成の精度を上げるため，各単語の 確率が出力された後に文法としてそぐわない単語 を排除し，100\%になるように確率の再計算を行う。例えば，指定した場所からカードを引くアクション

図 3 LSTM による文章生成

'pifr' の後には必ずどこから引くのかを表す単語が 入るので，場所を表す単語以外の要素を出力から排除する

## 4.4 生成されたゲーム

以下に生成した CGDL のゲームの一例を記す.

## - STAGE0

各プレイヤーにカード 7 枚と賭け金 99 を配る。
- STAGE1

役の宣言を行い最も高い役を宣言したプレイ ヤーを決める。

## - STAGE2

各プレイヤーがカードを出す。その際に，最初 のプレイヤーが出したカードと同じマークの カードがあるならば出さなければならず，ない なら好きなカードを出してよい，そして最も強 いカードを出したプレイヤーの取得トリック数 を追加する。
- STAGE3

STAGE2 の内容を 5 回行う
- STAGE4

STAGE1 で一番多くトリック数を宣言したプレ イヤーの取得したトリック数が宣言した役より 多い場合，宣言した役の得点を得て，少ない場合に得点を失う。

13 STAGE3

4 unconditional_loop, STAGE2, 5

5 STAGE4

6 mandatory_tokens, k12, >, p1_gain, ka1

else_loss, p1, k12

## 5 評価・考察

大学生 11 人を対象に，4.4 節で生成したルール （以下，ゲームＡとする）とトリックテイキングゲー ムの一つであるミニブリッジをプレイしてもらい アンケートに回答してもらった. ただし，CGDL は RANKING，STAGES，WINNINGCONDITIONS で構成されており，4.4 節で出力したのは STAGES のみ であるため，ゲーム A R STAGES 以外を追加した. ミニブリッジのルールは日本コントラクトブリッジ 連盟が公開しているルール [10] に従って行った。

## 5.1 ゲームA

追加したルールは以下の通りである。追加した ルールは生成されたゲームと類似しているカード ゲーム"ナップ"から取っている.

・使用するカードは 7 A までの 32 枚

・Aが最も強く， 7 が最も弱い

・最もスコアが高いプレイヤーが勝利する.

・役を宣言し，宣言した役を達成できた場合に点数を得る. 失敗した場合点数を失う．役と得点 の表を表 3 に示す.

7 枚のカードを使って 5 回数字を比較するトリッ クを行い何回勝つかを予想するゲームである. じゃ んけんで決めたプレイヤーから順番にすでに宣言 されている役より得点が高い役を宣言し，最も高い 役を宣言したプレイヤーは親になり 5 回トリック を行う. 親の処理した回数が最初に宣言した役以上 ならば親は点数を獲得し，少なければ失点するゲー ムである. 最初の 1 回は親からカードを出し, 残り のゲームはトリックを勝利したプレイヤーが最初 にカードを出す. また，最初のプレイヤーが出した マークと同じマークがあれば必ず出さなければなら ず，ないならばどのカードを出してもよいがそのト
リックは敗北する。

## 5.2 評価手法

11 人を 3 グループに分けミニブリッジ，ゲーム $\mathrm{A}$ を遊んでもらった。回答してもらったアンケートの 結果を表 4 に. アンケートは 5 段階評価で 1 が最も 悪く 5 が最も良い. $3 ， 4$ つ目の質問はゲーム A に のみ行った。

 & 4.36 & 3.91 \\

## 5.3 考察

ゲームＡは面白かったかという質問に対しては ミニブリッジと遜色のない結果が出せており，ルー ルの整合性などの部分でも高い評価であることか ら，トリックテイキングゲームの手順は生成できて いると考えられる。一方で，駆け引きはあったかと いう点に関しては差がでてしまった。理由として STAGES のみの学習では，駆け引きの部分まで完全 に学習しきれていないのではないかと考えられる。

## 6 今後の課題

本手法では CGDLを用いたカードゲームの自動生成を試みた。結果，問題のないルールの生成という 点では高い評価を得たがゲームの駆け引きでは芳し くない評価だった. 以下に精度を上げるための今後 の課題を示す.

・データ数の増加

今のデータ数では様々なルールを表現するのが 難しいため，トランプゲーム大全全てのゲーム をデータセットにしたい.

-CGDL の見直し

ルールの表現方法，駆け引きといった要素をど う表現するかを見直す。
- WINNING，RANKING の追加 データセットにラベルのような形で，どのよう な要素があるのか表現したい.

## 参考文献

[1] Vincent Hom, Joe Marks . "Automatic design of balanced board games."

Proceedings of the Third AAAI Conference on Artificial Intelligence and Interactive Digital EntertainmentJune 2007 Pages 25-30

[2] 有田隆也 (2011)「ドイツボードゲームの教育利用の試み一考える喜びを知り生きる力に結びつけ る一」,コンピュータ\&エデュケーション 31(0), 34-39, 2011

[3] 松本太一 (2018) アナログゲーム療育ーコミュニケーション力を育てるー (幼児期から学齢期まで) ぶど う社

[4] 日本にボードゲームが広まらない理由 "https://tgiw.info/2011/08/post_1064.html"

[5] Jose M. Font , Tobias Mahlmann, Daniel Manrique1, Julian Togelius(2013) "A Card Game Description Language"

[6] Hochreiter, Sepp, and Jürgen Schmidhuber. "Long short-term memory."

Neural computation 9.8 (1997): 1735-1780.

16th European conference on Applications of Evolutionary Computation

[7] 牧野貴斗 濱川礼 (2021) CGDL を用いたトリックテイキングゲーム自動生成手法の提案研究報告ゲーム情報学（GI）2021-GI-46 巻 7 号

[8] 赤桐 裕二 (2014) トランプゲーム大全 スモール出版

[9] Jason Wei, Kai Zou(2019) "EDA: Easy Data Augmentation Techniques for Boosting Performance on Text Classification Tasks"

EMNLP-IJCNLP 2019 short paper

[10] 日本コントラクトブリッジ連盟 公式ホームページ "LET’S PLAY BRIDGE"

"https://www.jcbl.or.jp/Portals/0/pdf/fukyu/tools/letsplay1912.pdf"

## 7 付録

付録として STAGES の命令集を記載する. CGDL は，ゲームのルールを RANKING と STAGES, WINNINGCONDITIONS の三つで要素で記述した言語である. 本論文では, CGDL の STAGES の生成を行っ ている. STAGES はゲーム中に行う行動を命令で表現している. 命令は，行動の種類，先行詞，アクション の三種類の命令を組み合わせて構成されている. 以下の表でそれぞれの命令の効果を記載する.

 & tokens, K01, >, K11 \\

 & pifr, $\mathrm{D} * 2$, down \\


# 複数の指定語句を必ず含むリスティング広告の 広告文自動生成

黒木 開 1 石塚湖太 ${ }^{1,2}$ 川上 孝介 1 中田 和秀 2
${ }^{1}$ negocia 株式会社 2 東京工業大学
kai_kurogi@negocia.jp

## 概要

Google などの検索結果に表示されるリスティン グ広告の制作現場では、ブランド名や検索キーワー ドなどの効果が高かった指定語句を広告文に含め ることで、広告効果を高めたいニーズがある。しか し、従来の広告文自動生成モデルでは、指定語句を 必ず含む保証ができない課題や、複数の指定語句に 対応できない課題があった。我々は機械翻訳タスク で提案された指定語句を含む翻訳文生成技術を応用 して、複数の指定語句を必ず含む広告文自動生成技術、及び、実運用に向けた高速化手法を提案した。結果として、実用時間内に複数の指定語句を含む広告文が生成可能となった。

## 1 はじめに

リスティング広告とは、ユーザーが検索エンジン で検索すると、その検索キーワードに関連した広告文が表示される広告である。リスティング広告の広告文は、商品の特徴やアピールポイントなどの訴求点を含み、かつ、検索キーワードと連動した顧客に クリックされやすい魅力的な広告文であることが求 められる。そのため、制作現場では広告文を魅力的 に作り込む必要があるが、広告文は多様なキーワー ドに合わせて大量に作成する必要があり、制作現場 の限られた人材で、それを行うことは非常に難し い。さらに、リスティング広告の広告取引量は急速 なスピードで増加していることもあり、広告文の作成を支援する技術が求められている。

この課題解決に向け、自然言語処理技術を活用し た広告文自動生成技術が数多く提案されている。大曽根ら [大曽根 21] は広告文から抽出したキーワー ドとカテゴリ情報を入力として、GPT-2を用いた生成技術を提案している。Ishizuka ら [Ishizuka 21] は ランディングページ (LP) から抽出した HTML のタ
グ情報と検索キーワードを入力に、BERT2BERTを 用いた広告文生成モデルにより、人と同等品質な広告文が生成されることを示している。

ところで、これら広告文自動生成タスクには、ブ ランド名や検索キーワードなどの効果が高かった指定語句を広告文に含めることで、広告効果を高めた いニーズがある。黒木ら [黒木 21] は、Decode 時に 指定されたキーワードの挿入確率を上げることで、 キーワードが含まれた広告文を生成する手法を提案 している。山田らは [Yamada 21]、キーワードを中心に双方向に文章を生成することで、 $100 \%$ 指定語句を含む文章生成手法を提案している。

しかし、前者は指定語句が必ず含まれる保証がな く、後者は指定語句を複数含めることができない 問題があった。そこで、本研究では、広告文自動生成タスクにおいて、指定語句が複数指定されてい た場合であっても、全ての指定語句を必ず含む広告文を生成する手法である Phrase-based Grid Beam Search(Phrase-based GBS) を提案する。

加えて、指定語句の評価を先頭トークンのみに 限定することで、Phrase-based GBS における探索時 の評価速度に改善を加えた Phrase-based Approximate Grid Beam Search(Phrase-based AGBS) も併せて提案 する。Phrase-based AGBS を用いることで、生成品質 をほとんど落とすことなく、生成速度を向上させる ことに成功した。

なお、本研究は Chousa ら [Chousa 21] が提案した 翻訳文生成に対する指定語句を含ませる手法を参考としている。Chousa ら [Chousa 21] は Grid Beam Search(GBS) に LeCA モデル [Chen 20] と呼ばれる手法を組み合わせることで、翻訳精度を落とすことな く指定語句を必ず含む翻訳文生成手法を提案してい る。我々は、Chousa ら [Chousa 21] が提案したアル ゴリズムを広告文生成タスクへ適用し、かつ、実運用に向けた高速化手法を開発した。

図 1 本モデルの埋め込み層の図。指定語句、キーワード、LPのタグ情報の順に文字列を連結した上で、それぞれに対応するタグを割り当てている。Encoderへの入力は 2 つの埋め込みの和である。

## 2 提案手法

## 2.1 モデル構造と入力形式

本研究における広告文自動生成モデルは、様々な 自然言語処理タスクを"Text to Text"で解くモデルで ある T5[Raffel 20] をべースとして用いた。また、よ り高品質な広告文を生成するために、Ishizuka らの 手法 [Ishizuka 21] と LeCA モデルを組み合わた入力方式を採用する。自動生成モデルの概要を図 1 に 示す。埋め込み層に HTML のタグ情報による Tag Embeddings を追加した他、入力は指定語句、キー ワード、および LP の HTML からタグ抽出しして得 られたタグ情報を連結した文字列を用いる。

入力文字列先頭の指定語句は LeCA モデルによる ものである。LeCA モデルは入力に指定語句を含め ることで、モデルが指定語句を考慮しながら生成を 行えるようにする手法であるが、広告文生成の学習時には指定語句の情報がない。そこで本論文では、広告文からランダムに抽出した複数の単語を指定語句として学習時の入力に使用した。これにより、モ デルは指定語句を考慮しながら生成する方法を学ぶ ため、推論時に実際に広告文内に含めたいフレーズ を指定語句としたときに、指定語句を含んだ自然な 広告文を生成することが可能となる。

## 2.2 生成手法

リスティング広告の制作現場では、指定語句を広告文に含めたいニーズの他に、サービス名やテンプ レート文など、任意のフレーズを一言一句間違えず に生成したいニーズがある。そこで特定の表現をフ レーズ単位で扱いながら、複数の指定語句を必ず含 む広告文を生成するために、Phrase-based Decoding と Grid Beam Search(GBS) を組み合わせた Phrase-based GBS を提案する。また、Phrase-based GBS の評価回数を減らすことで高速化させた Phrase-based AGBS を併せて提案する。

## 2.2.1 Phrase-based Decoding

任意の表現をフレーズ単位で扱うために、Zhang ら [Zhang 17] が提案した Phrase-based Decoding を採用する。Phrase-based Decoding は、生成時に各トー クンを生成するのではなく、事前に登録された、複数トークンからなるフレーズ単位で文章を生成する 手法である。フレーズ単位で生成することで、事前 に登録したブランド名やテンプレート文などのフ レーズをそのまま出力することが可能となる。

## 2.2.2 Phrase-based Grid Beam Search

Phrase-based GBS は、Phrase-based Decoding と GBS を組み合わせた手法である。その疑似コードはアル ゴリズム 1 の通りである。GBS は、Start(指定語句 の最初のトークンを生成する)、Continue(生成中の 指定語句の次のトークンを生成する)、Generate(制約なく次のトークンを生成する）の3つの状態 を考慮しながら文章生成を行う。それに対して Phrase-based GBS では、Start と Continue を一体化 させることで、指定語句を生成する際にフレーズ単位で生成する。このとき、 $k$ をビームの幅、 $C$ を指定語句の数とすると、タイムステップあたりの計算量オーダーは $O\left(k C^{2}\right)$ となる。

## 2.2.3 Phrase-based Approximate Grid Beam Search

前述の Phrase-based GBS を用いることで、複数の 指定語句を必ず含む広告文を生成できるようになっ たが、Phrase-based GBS は、各タイムステップごと に全ての指定語句の生成確率を評価しているため、指定語句の数の二乗に比例して計算時間が増える。 そこで，指定語句の生成時に、各指定語句の 2 トー クン目以降の生成確率を計算せず、その評価を先頭 トークンの生成確率のみで行うことにより評価回数を減らす Phrase-based AGBS 法を提案する。本手法により、全ての指定語句の評価を 1 回で行えるた め、計算量オーダーを $O(k C)$ まで減らすことができ る。
表 1 実験結果の表

## 3 実験

## 3.1 実験設定

本実験では、Phrase-based GBS と Phrase-based AGBS のそれぞれで実際に広告文を生成し、広告文の生成品質および、生成速度を比較する。具体的なデータ セットは検索キーワードと LP と広告文の関係を学習するために、独自にスクレイピングすることで得 られたデータを用いた。各データは検索キーワー ド、リスティング広告で表示された広告文、LP の HTML から構成されており、学習データ 741,506 件 とテスト用データ 82,320 件に分割して使用した。

## 3.2 評価方法

生成品質は文章の流暢性や類似度を評価す る手法である BLEU[Papineni 02] と ROUGE[Lin 04]
で評価する。ROUGE は 1-gram(ROUGE-1) および 2-gram(ROUGE-2) の 2 通りで評価した。ただし今回用いたテストデータはスクレイピングによって得 られたデータで指定語句の情報がない。そこで本実験では、広告文からランダムに抜き出した複数のフ レーズを指定語句に指定して広告文を生成した。指定語句の数は $C=2$ or 5 とし、生成時のビーム幅は $k=8$ とした。

## 4 結果と考察

## 4.1 結果

自動評価の結果を表 1 に，指定語句数ごとの生成速度の比較を図 2 に示す。同じ指定語句数で比較し た場合、BLUE、ROUGE-1, ROUGE-2 の全ての生成品質指標で、Phrase-based GBS が優位であった。逆 に、生成速度は Phrase-based AGBS が常に速かった。 また、表 2、表 3 に実際の生成例を示す。表 2 は Phrase-based GBS による生成文、表 3 は Phrase-based AGBS による生成文である。それぞれの生成文はリ スティング広告のフォーマットに則り「タイトル 1 - タイトル 2 - 説明文 $1 」$ の 3 要素から構成されて いる。

図 2 指定語句数と生成時間のグラフ。指定語句が増えれ ば増えるほど、2つのアルゴリズムの生成速度差は開く。

## 4.2 考察

表 1 の結果から、Phrase-based AGBS は生成品質を 3\% 5\%下げる代わりに、生成速度を $24 \% \sim 43 \%$ 上げ

 & - &  \\

るアルゴリズムであると言える。品質をほとんど劣化させないまま生成速度を上げることができるた め、その実用性は高い。また、図 2 からも分かるよ うに、指定語句の数が多いほど Phrase-based AGBS の有効性は高くなると言える。

次に、実際の生成例に注目する。表 2、表 3 はい ずれも Commerce Flow と呼ばれる Amazon の広告運用ツールの LP に対して生成された広告文である。表 2 の phrased-based GBS を用いた場合には、いずれ の場合にも自然な広告文が生成された。指定語句が 複数設定された場合や、複合語が設定された場合に も適切に生成できていることが確認できる。

次に表 3 の Phrase-Based AGBS を用いた場合を確認する。こちらも全体的に自然な広告文を生成でき ることが確認できた。しかし指定語句に複合語、つ まり「最適な広告運用」を指定した場合には、「広告運用」というフレーズが多様され、生成品質の明ら かな低下が確認された。

この原因は Phrase-based AGBS の近似の仕様に よるものだと推測できる。Phrase-based AGBS は指定語句を先頭トークンで近似するため、「最適な 広告運用」は「最適」に近似される。つまり後半 の「広告運用」部分が見落とされることになるた め、同フレーズの多用に繋がったと考えられる。 Phrase-based AGBS を利用する場合には指定語句に 複合語を設定しないなど、やや工夫が必要であると 言える。

## 5 まとめ

本研究では、複数の指定語句を必ず生成文内に含 める Phrase-based GBS を提案した。加えて、Phrasebased GBS を高速化する手法である Phrase-based AGBS 提案した。実験の結果、Phrase-based GBS を 用いることで指定語句が全て含まれた高品質な広告文を生成出来た他、Phrase-based AGBS によって生成品質をほとんど落とすことなく高速化出来たこと が確認できた。今後は、生成品質を維持しながら、 より多様に、より高速に広告文を生成するような手法を考えていきたい。

## 参考文献

[大曽根 21] 大曽根宏幸, 張培楠. GPT-2 の転移学習によ るキーワードを考慮した広告文生成, 2021 年度人工知能学会全国大会（第 35 回）, 2021 .

[Ishizuka 21] Ishizuka, K., Kurogi, K., Kawakami, K., Iwai, D., Nakata, K. Generating Search Text Ads from Keywords and Landing Pages via BERT2BERT, 2021 年度人工知能学会全国大会（第 35 回）, 2021.

[Zhang 17] Zhang, J., Utiyama, M., Sumita, E., Neubig, G., Nakamura, S. Improving Neural Machine Translation through Phrase-based Forced Decoding, In Proceedings of the 8th International Joint Conference on Natural Language Processing (IJCNLP 2017), pages 11-20, November 28-30, 2017

[黒木 21] 黒木 開, 岩井大志, 川上孝介, 石塚湖太, 中田和秀.キーワードを考慮した BERT2BERTによる広告文生成, 2021 年度人工知能学会全国大会（第 35 回）, 2021.

[Yamada 21] 山田康輔, 人見雄太, 田森秀明, 岡崎 直観,

## 乾 健太郎: 指定語句を確実に含む見出し生成, 言語

処理学会第 27 回年次大会, 2021.

[Hokamp 17] Hokamp, C., Liu, Q. Lexically constrained decoding for sequence generation using grid beam search. ,In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 1535-1546,Vancouver, Canada. Association for Computational Linguistics., 2017.

[Chen 20] Chen, G., Chen, Y., Wang Y., Victor O.K.Li. Lexicalconstraint-aware neural machine translation via data augmentation. In Proceedings of the Twenty-Ninth International Joint Conference on Artificial Intelligence, International Joint Conferences on Artificial Intelligence Organization. Main track.(IJCAI-20), pages 3587-3593, 2020.

[Chousa 21] Chousa, K., Morishita, M. Input Augmentation Improves Constrained Beam Search for Neural Machine Translation: NTT at WAT 2021, The 8th Workshop on Asian Translation(WAT), 2021.

[Raffel 20] Raffel, C., Shazeer, N., Roberts, A., Lee, K., Narang, S., Matena, M., Zhou Y., Li, W., J. Liu. P. Exploring the limits of transfer learning with a unified texttotext transformer. Journal of Machine Learning Research, 21(140):1-67., 2020.

[Papineni 02] Papineni, K., Roukos, S., Ward, T., and Zhu, W.J. BLEU: a method for auto- matic evaluation of machine translation. In Proceedings of the 40th annual meeting of the Association for Computational Linguistics, pages 311-318., 2002.

[Lin 04] Lin, C.-Y. Rouge: A package for auto- matic evaluation of summaries. In Text summarization branches out, pages 74-81., 2004.


# 大規模汎用言語モデルによるペルソナを考慮した応答生成

川本稔己 ${ }^{1,2}$ 山崎 天 ${ }^{1}$ 佐藤 敏紀 ${ }^{1}$ 奥村 学 ${ }^{2}$
${ }^{1}$ LINE 株式会社 2 東京工業大学
toshiki.kawamoto@linecorp.com

## 概要

対話における応答生成では, 自分のこれまでの発話内容や話者のペルソナとの一貫性を保つことが重要である. 本稿では長期間行われる対話を想定し, 従来のペルソナ対話システムでは十分考慮されなかっ た対話中のペルソナの変動性に着目する. 変動する ペルソナを追跡する過程を「抽出」・「選択」・「更新」 の3つのタスクに分割し，それぞれを解くことで応答を生成する対話システムを提案する。提案手法は 大規模汎用言語モデルである HyperCLOVA を用い て複数タスクを解く. 評価実験の結果から, 提案手法 は従来のペルソナ対話システムより高い一貫性スコ アを得られ, 長期間行われる対話の一貫性を保つた めに有効であることを確認した。

## 1 はじめに

従来の対話システムは, 対話履歴や話者のペル ソナと矛盾した発話を生成してしまうことがある. ペルソナとは好みやプロフィールなど個性を表す 短文のことであり, 従来の研究においては対話履歴やペルソナと一貫性のある応答を生成すること が課題であった. 本稿では, 大規模汎用言語モデル HyperCLOVA [1] を用いてその課題に取り組む.

関連研究として, Zhang ら [2] は Persona Chat デー タセットを提供した. Persona Chat データセットに は, 複数話者のペルソナとそのペルソナに沿った対話が含まれている.そのデータを利用することでぺ ルソナに沿った応答生成を学習, 評価することが可能となり,対話と自分のペルソナを用いて応答を生成する手法が提案されている [3,4]. しかし, 長期間行われる対話では対話履歴が増加し続けるため, 全 てをシステムへの入力として扱うことが難しい. そ のため, 対話履歴から自分のペルソナを抽出する取 り組みが行われている $[5,6]$. しかし, これらの取り 組みには, (I) 相手のペルソナには注目できていな い, (II) ペルソナの数が多くなるとペルソナを選択

図 1 提案手法. 対話履歴からペルソナを抽出する. 抽出 したペルソナに既存のペルソナからの変化が見られた場合更新する. ペルソナ集合から応答生成に必要なペルソナ を選択し, 選択されたペルソナと対話履歴を用いて応答を 生成する。

する必要がある, (III) ペルソナの変化には対応して いない, といった欠点がある. そこで, 本稿では従来 のペルソナ対話システムで十分考慮できていない対話中のペルソナの変動性に着目し, 変動するペルソ ナを追跡する過程を「抽出」・「選択」・「更新」の 3 つのタスクに分割する. そして,これらのタスクから 得られたペルソナを使用して応答を生成するシステ ムを提案する. 本システムは複数のタスクを同時に 解く必要があるが, それぞれにモデルを用意するの は多くの時間とコストがかかる。 そのため,これらの タスクを大規模汎用言語モデルである HyperCLOVA を用いて解く. HyperCLOVA とは, GPT-3 [7] と同様 な性能・性質をもつ日本語に特化した言語モデルで ある. HyperCLOVA はショットと呼ばれる特定の言語タスクのサンプルを複数個埋め込んだプロンプト を作成し，その形式を学習することで特定の言語夕 スク処理能力の獲得が期待できる.

対話システムの一貫性を評価するため, JPersona Chat データセット1)を用いた実験を行った. 自動評価の結果から大規模汎用言語モデルはベースライン モデルより一貫性がある応答生成を行うこと, 提案手法はペルソナをより考慮した応答を行うことを確認した. また, 長期間行われる対話を想定した人手評
^{1)}$ https://github.com/nttcslab/ japanese-dialog-transformers
}

図 2 ペルソナの抽出を行うためのプロンプトのテンプ レート. \#以降はコメントである.

価の結果, 提案手法は従来のペルソナ対話システム より高い一貫性スコアを得られ, ペルソナの変動性 を考慮した提案手法の有効性を確認した。

## 2 提案手法

従来の対話システムでは, 対話と初めに与えられ た自分のペルソナを用いて応答を生成する. しかし，一貫した応答生成のためには対話中に新たに自分の ペルソナが発生することや, 相手のペルソナを考慮 する必要がある. よって, 本稿では対話から自分と相手のペルソナを抽出することを試みる (ペルソナの 抽出). しかし, ペルソナの抽出を行えばペルソナの 数が増加する. その結果, 対話の話題と関連性が低い ペルソナが応答生成時のノイズになる可能性や, 言語モデルの入力長に収まらない可能性がある. その ため, 最適なペルソナを選択する必要がある (ペルソ ナの選択). また, 対話が長くなるとペルソナに変化 が起こることも想定される. よって, ペルソナの変化 を検知し, 必要に応じて更新を行う (ペルソナの更新). まとめると, 本システムはペルソナの「抽出」・「選択」・「更新」を行った上で応答を生成する. 概要 を図 1 に示す。

## 2.1 ペルソナの抽出

対話から話者のペルソナを抽出するのには HyperCLOVA を用いる. HyperCLOVA に与えるプロ ンプトのテンプレートを図 2 に示す. 1 つのショット には対話の最終発話からペルソナを抜き出し,"[ユー ザの属性情報]" 以降に記述する. ショットには, 対話 の最終発話にペルソナが含まれていないパターンも 記述し, その場合"[ユーザの属性情報]"以降には何も 記述しない.このプロンプトを用いて, 対話履歴の発話それぞれが抽出の対象となるように HyperCLOVA

図 3 ペルソナの更新を行うためのプロンプトのテンプ レート. \#以降はコメントである.

を実行し，自分と相手のペルソナを抽出する.

## 2.2 ペルソナの選択

ペルソナの抽出を行ったことで保持するペルソナ の数が増加する. そのため, 応答生成の際には適切な ペルソナを選択する必要がある. ペルソナの選択に は直前の対話を用いる. 具体的には, 直前に行われた 自分と相手の発話を時系列順に繋ぎ合わせ，それを 検索文字列とする. その検索文字列の埋め込み表現 と, 保持しているペルソナの埋め込み表現とのコサ イン類似度を計算し, 自分と相手のペルソナからそ れぞれコサイン類似度の上位 5 つを使用する。

## 2.3 ペルソナの更新

本節では, 既存のペルソナを抽出したペルソナに 置き換えるかどうか決定する手法について述べる。 まず, 抽出したペルソナと関連のあるペルソナが既存のペルソナの中に存在するか調べる. 抽出したぺ ルソナの埋め込み表現と既存のペルソナそれぞれの 埋め込み表現の中からコサイン類似度が最も高いぺ ルソナを選択し, コサイン類似度が閾值 (0.7) 以上な らその選択されたペルソナを関連のあるペルソナと する。一方,コサイン類似度が閾値以下の場合抽出し たペルソナは既存のペルソナと中立な関係であると し, ペルソナの更新は行わず新しいペルソナとして 追加する. 次に, 関連のあるペルソナを抽出したペル ソナに置き換えるか HyperCLOVA を用いて決定す る. プロンプトのテンプレートを図 3 に示す. ここ で, 関連のあるペルソナと抽出したペルソナには以下の 3 つの関係が考えられる: (a) 等しい, (b) 変更が 起きている, (c) 中立. (a), (b) の場合は関連のあるぺ ルソナを抽出したペルソナに置き換える必要がある ので, 抽出したペルソナを出力する. (c) の場合は関連のあるペルソナを置き換える必要がないので, ど

図 4 ペルソナを考慮した応答生成のためのプロンプトの テンプレート. \#以降はコメントである.

ちらのペルソナも出力する. (a), (b), (c) 全てのパター ンをショットに記載し, 得られた出力を新しいペル ソナとして追加する。

## 2.4 ペルソナを利用した応答生成

ペルソナの抽出 (\$2.1) ・更新 (\$2.3) を行い, ペルソ ナの選択 (\$2.2) で選択されたペルソナを用いて応答 を生成する. 応答の生成には HyperCLOVA を用いる. プロンプトのテンプレートを図 4 に示す. ショット の前半がペルソナ, 後半が対話である. ショットに与 えるペルソナと対話は JPersona Chat の訓練データか ら5つ使用した. また, 情報量が少なくつまらない応答となることを避けるため, 生成した応答の長さが 短い場合にはその応答の続きとなる文を生成する.具体的には, 生成した応答が 12 文字 (事前の観察に 基づく) 以下の場合, 図 4 のショットを図 5 のように 変更し, 追加の文を生成する. そして, その文を元の 応答に繋げて最終的な応答とする。

## 3 実験

## 3.1 実験設定

本稿で使用した HyperCLOVA のパラメータ数は 39B で, 1.8TB の日本語データで学習を行っている.埋め込み表現を入手するためには Universal Sentence Encoder [8]を用い,コサイン類似度を計るためには FAISS [9] を用いた. データセットは JPersona Chat を 用いる. このデータは Persona Chat を日本語に変換
クローバのペルソナ : 私は早起きが苦手です。私は高校生です。私は ピーマンが嫌いです。私はおばあちゃん子です。私は陸上部に入って
います。

ユーザのペルソナ: 私は以前、沖縄に住んでいたことがあります。私は 海のそぞに售んでいます。私はダンスが得意です。私は怒りっぽいで す。私が尊敬する人は、母親です。

ユーザ：そうなんだ！近いね！わたし、沖縄に住んでたことがあるんだ けど、この辺も似てるね。

クローバ: そうなんだね。

[続き] じゃあここでは沖縄気分が味わえるわけだ。

ユーザ：うん。ちょっとだけだけど、そんな感じがするよ！ところで、

わたし、ダンスが得意なんだけど、あなたは何が得意？

クローバ: 私は陸上部だから、走るのが得意かな。

[続き]短距離走よりも長距離走が自信ある。

図 5 複数文を生成するプロンプトに与えるショット例.

したデータセットで, 話者同士のペルソナと最大 6 ターンの対話が含まれている. データの分割は元 の分割方法 ${ }^{1)}$ に従い, テストデータを用いて応答を 生成し実験を行った. 実験は以下のモデルで比較を 行う.

BlenderBot ベースラインの Transformer ベースのペ ルソナ対話システム [3]. 事前学習に加えて JPersona Chat の訓練データで fine-tuning を行っている [10].

w/o Persona 対話履歴のみを利用して HyperCLOVA で応答を生成するモデル。

w/ Persona 対話履歴と初めに与えられたペルソナを 利用して HyperCLOVA で応答を生成するモデル.

以下のモデルが提案手法を利用したモデルで ある.

Extract w/ Persona に加えて, 2.1 節のペルソナの抽出 を行ったモデル.

Extract+Select Extract に加えて, 2.2 節のペルソナの 選択を行ったモデル。

Extract+Select+Update Extract+Select に加えて, 2.3 節 のペルソナの更新を行ったモデル.

応答生成時には, 自分のペルソナとそれまでの対話履歴を用い, 相手のペルソナは使用していない. 対話履歴はベースライン手法の BlenderBot と合わせる ために直前の 3 発話を入力に加えた.

## 3.2 自動評価

評価指標は応答と正解文との一致度を測るために BLEU [11], 応答の多様性を測るために Dist-1, Dist-2 [12] を使用する。一貫性を測るための指標として は, 生成した応答とペルソナの間で自然言語推論 （NLI）を行うことによって導出される Consistency Score (C.Score) [13] がある. しかし, 手法によって推論の対象となるペルソナの数が大きく異なることか ら, 従来の方法で比較することはできない. よって本
表 1 自動評価結果

表 2 人手評価結果

稿では,生成した応答が生成のために用いた自分の ペルソナを含意/中立/矛盾している割合を NLI 分類器で評価する. NLI 分類器には, 日本語で学習された BERT $^{2)}$ [14] を NLI データセットで fine-tuning した モデルを用いた. NLI データセットとしては発話と ペルソナのペアで構成される DNLI [15] を用いるの が本稿の設定には適しているが, 日本語ではないた め, 本稿では日本語で記述された SNLI [16] である JSNLI [17]を用いた. JSNLI はテストデータを提供し ていないため, 元の訓練データを訓練データと検証 データに分割し, 元の検証データをテストデータと した. 正解率は $92.31 \%$ であった.

結果を表 1 に示す. 従来のペルソナ対話システ ムの手法を大規模汎用言語モデルに適応させた w/ Persona はべースラインである BlenderBot より含意 の割合が高く, 矛盾の割合が低いことから一貫性が ある応答生成を行うことを確認した. 抽出などの提案手法を利用したモデルは $\mathrm{w} /$ Persona と比較して Dist-1, Dist-2 の値が高いことから, Dull Response と呼 ばれるつまらない応答ではなく, ペルソナを考慮し た応答を生成している割合が高いと考えられる. そ れにより, 含意の割合が増加している一方で矛盾の 割合も増加している。

## 3.3 人手評価

長期間行われる対話の一貫性は自動評価だけで は十分に測ることができないため, データセットの 続きとなる対話を行い, その応答に対して人手評価 を行った. 具体的には, テストデータからランダム に 10 対話を選び, その対話から 1 週間後の対話を 想定して 10 ターンの対話を行った. 3 つのモデル
^{2)}$ https://huggingface.co/cl-tohoku/ bert-base-japanese-v2
}

(BlenderBot, w/ Persona, Extract+Select+Update) で対話 のそれぞれの応答を評価した. 評価指標は関連性と 一貫性の 2 つで, 関連性は前の発話またはペルソナ と関連性のある応答ができているかを示す.一貫性 は生成した応答が対話履歴とペルソナに矛盾してい ないかを示す. それぞれ 3 段階で 1 点 (悪い) から 3 点(良い)を付与した. その平均点を最終的な結果と し表 2 に示す.

評価結果から, 提案手法は関連性,一貫性ともに最 も高いスコアを得られ, 提案手法が有効であること を確認した. 今回の実験では, 提案手法以外のモデル は新しいペルソナの発生や, 初めに与えられたペル ソナからの変化を考慮できなかった可能性がある.

## 3.4 ペルソナの抽出の評価

表 1 の結果から, ペルソナの抽出を利用したモデ ルは $\mathrm{w} /$ Persona と比較して矛盾の割合が増加したの で, ペルソナの抽出の性能を人手で評価した. テスト データからランダムに 100 件の発話を選び, 抽出し たペルソナが正しいかを二値で判定した. その結果,正しく抽出されたのが 71 件, 誤って抽出されたのが 29 件となった. ペルソナの抽出は対話履歴の全発話 に対して行うので, 対話の長さが長くなれば全抽出結果が正しい確率が低くなることから, 抽出性能が 十分であるとは言えない. 抽出の性能を改善するこ とで提案手法の性能も向上することが予測される.

## 4 おわりに

本稿では，一貫性がある対話を行うにはペルソナ を動的に「抽出」・「選択」・「更新」する必要がある という仮説の元, 大規模汎用言語モデルを利用して システムを設計した. 評価実験の結果, 提案手法は初 めに与えられたペルソナのみを利用したモデルより 高い一貫性スコアを得られ, 提案手法の有効性を確認できた. しかし, 提案手法は大規模汎用言語モデル に依存した実装やタスク設計になっており,特に精度面で不十分な部分があったので, 今後はその改善 に取り組んでいきたい。

## 参考文献

[1] Boseop Kim, HyoungSeok Kim, Sang-Woo Lee, Gichang Lee, Donghyun Kwak, Jeon Dong Hyeon, Sunghyun Park, Sungju Kim, Seonhoon Kim, Dongpil Seo, Heungsub Lee, Minyoung Jeong, Sungjae Lee, Minsub Kim, Suk Hyun Ko, Seokhun Kim, Taeyong Park, Jinuk Kim, Soyoung Kang, Na-Hyeon Ryu, Kang Min Yoo, Minsuk Chang, Soobin Suh, Sookyo In, Jinseong Park, Kyungduk Kim, Hiun Kim, Jisu Jeong, Yong Goo Yeo, Donghoon Ham, Dongju Park, Min Young Lee, Jaewook Kang, Inho Kang, Jung-Woo Ha, Woomyoung Park, and Nako Sung. What changes can large-scale language models bring? intensive study on HyperCLOVA: Billions-scale Korean generative pretrained transformers. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 3405-3424, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[2] Saizheng Zhang, Emily Dinan, Jack Urbanek, Arthur Szlam, Douwe Kiela, and Jason Weston. Personalizing dialogue agents: I have a dog, do you have pets too? In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2204-2213, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[3] Stephen Roller, Emily Dinan, Naman Goyal, Da Ju, Mary Williamson, Yinhan Liu, Jing Xu, Myle Ott, Eric Michael Smith, Y-Lan Boureau, and Jason Weston. Recipes for building an open-domain chatbot. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, pp. 300-325, Online, April 2021. Association for Computational Linguistics.

[4] Haoyu Song, Yan Wang, Kaiyan Zhang, Wei-Nan Zhang, and Ting Liu. BoB: BERT over BERT for training personabased dialogue models from limited personalized data. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 167-177, Online, August 2021. Association for Computational Linguistics.

[5] Jing Xu, Arthur Szlam, and Jason Weston. Beyond goldfish memory: Long-term open-domain conversation. arXiv preprint arXiv:2107.07567, 2021.

[6] 吉田快, 品川政太朗, 須藤克仁, 中村哲. 応答履歴に応 じたペルソナの更新が対話システムの応答生成へ与 える影響の分析. 人工知能学会研究会資料言語・音声理解と対話処理研究会, Vol. 93, pp. 32-37, 2021.

[7] Tom B Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, et al. Language models are few-shot learners. arXiv preprint arXiv:2005.14165, 2020.

[8] Daniel Cer, Yinfei Yang, Sheng-yi Kong, Nan Hua, Nicole Limtiaco, Rhomni St John, Noah Constant, Mario Guajardo-Céspedes, Steve Yuan, Chris Tar, et al. Universal sentence encoder. arXiv preprint arXiv:1803.11175,
2018.

[9] Jeff Johnson, Matthijs Douze, and Hervé Jégou. Billionscale similarity search with gpus. arXiv preprint arXiv:1702.08734, 2017.

[10] Hiroaki Sugiyama, Masahiro Mizukami, Tsunehiro Arimoto, Hiromi Narimatsu, Yuya Chiba, Hideharu Nakajima, and Toyomi Meguro. Empirical analysis of training strategies of transformer-based japanese chit-chat systems, 2021.

[11] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[12] Jiwei Li, Michel Galley, Chris Brockett, Jianfeng Gao, and Bill Dolan. A diversity-promoting objective function for neural conversation models. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 110-119, San Diego, California, June 2016. Association for Computational Linguistics.

[13] Andrea Madotto, Zhaojiang Lin, Chien-Sheng Wu, and Pascale Fung. Personalizing dialogue agents via metalearning. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 5454-5459, Florence, Italy, July 2019. Association for Computational Linguistics

[14] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[15] Sean Welleck, Jason Weston, Arthur Szlam, and Kyunghyun Cho. Dialogue natural language inference. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 3731-3741, Florence, Italy, July 2019. Association for Computational Linguistics.

[16] Samuel R. Bowman, Gabor Angeli, Christopher Potts, and Christopher D. Manning. A large annotated corpus for learning natural language inference. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 632-642, Lisbon, Portugal, September 2015. Association for Computational Linguistics.

[17] 卓見吉越, 大輔河原, 禎夫黒橋. 機械翻訳を用いた 自然言語推論データセットの多言語化. Technical Report 6, 京都大学, 京都大学/現在, 早稲田大学, 京都大学, jun 2020


# 文章ジャンルに基づくテキストマイニング結果の比較考察

落合由治 ${ }^{1}$ 曾秋桂 ${ }^{1}$ 王嘉臨 ${ }^{1}$ 葉夌
${ }^{1}$ 台湾・淡江大学日本語文学科 \{098194, ochiai, 137176, 152790\}@mail. tku. edu. tw

## 概要

2018 年から AI 情報処理の進歩に合せ, 台湾での人文社会系日本語関係学科および日本語教育での, 研究と教育内容への接続を目指す試みを種々,行って いる. その中で, 研究面ではテキストマイニング技術 を人文社会系資料の読解また要点や論点抽出に応用 する取り組みを各種のテキストを用いて試行してき た. その結果, テキストの文章ジャンルの相違によっ て抽出できる特徴に大きな違いがあることが分かっ てきた. また, その文章ジャンルによる特徴は言語の 相違を超えて共通性があり, 言語類型論などによる 文レベルの言語の差異とは異なっていることが分か った. しかし,これらは対象とする言語資料に関する 質的理解と相即的な結果で, 対象資料の質的特徴が 分からないままテキストマイニングの結果のみを見 ても, 有意義な特徵抽出は得られない. なぜ,こうい う結果のかについて, 新しい言語表現の特徴を捉え る必要があると考えられる。

## 1 はじめに

テキストマイニングは, 言語資料の特徴抽出手法 のひとつで, 計量言語学や言語をデータとして扱う 各種の分野では, 言語の特徴量を見出す手法として 応用されてきた [1]. 一方, 社会科学分野では, 資料 から有意義な表現特徴を数理的に取り出す手法とし て広く応用され, 現在では, BI ツールとしてビジネ スでも広く活用されるようになっている［2].しか し, 質的方法を中心にしている人文社会系での応用 は限定的であり, 人文社会系の質的言語資料読解と の接続は難しかった. 論者たちは, 2018 年から AI 情報処理の進歩に合せ, 台湾での人文社会系日本語関係学科および日本語教育での研究と教育内容への接続を目指す試みを実施する中で, 研究面でテキスト マイニング技術を人文社会系資料の読解また要点や 論点抽出に応用する取り組みを各種のテキストを用 いて試行してきた. 本発表では, その結果明らかにな ったテキストの文章ジャンルの相違によって抽出で
きる特徴に大きな違いがあること, その文章ジャン ルによる特徴は言語の相違を超えて共通性があるこ と, 対象とする言語資料に関する質的理解と相即的 な結果であることの三点について述べ,テキストマ イニングによる言語資料の特徴抽出の課題について 考察していきたい.

## 2 日本語の文章ジャンルによる結果

まず,テキストマイニングはテキストの文章ジャ ンルの相違によって抽出できる特徴に大きな違いが ある点について述べる. 現代社会で一般に広く読ま れている日本語の文章ジャンル例として, 小説, 論説,韻文を選び, 現代小説は村上春樹「ドライブマイカ 一」, 論説は読売新聞社説「データ流通世界の成長加速するルールに 2021/12/26」，詩にはアニメソン グ「planetarian一ちいさなほしのゆめ」を取り上げ た.テキストマイングには樋口耕一 (2020)の KH Coder を使用し, 分析方法は共起ネットワークを用 いた [3].以下,結果の要点を紹介する.

図 1 日本語現代小説の結果

まず, 現代小説では語の出現頻度に左右されて人物名とその物語中での動きに関する語が作品の部分 ごとに多数出て, 読解で重要な出現頻度の低い語彙 は質的読解を事前にしない限り十分取り出せない.

図 2 日本語論説の結果

図 3 日本語歌詞の結果

一方, 論説である社説の場合は, 図 2 のように内容 の要点を示す語彙群を関連性のあるクラスターとし て容易に抽出でき, 各クラスターを見るだけで, 内容 をほぼ推測できる. 最後に, 歌詞の場合では, 韻文中 で反復される,いわゆるリフレーン部分にあたるよ うな語彙群が主に抽出され, 歌詞の重要なモチーフ を理解する手掛かりになるが, それ以外の部分は読解しない限り抽出しにくい. 分析結果の理解容易性 で見ると (易) 論説 $>$ 韻文 $>$ 小説（難）の順になり，言語表現のジャンルという文章構成的差異に応じて,抽出結果に質的差異が存在すると考えられる。

## 3 外国語文章との分析結果比較

次に, 日本語文章の分析結果と, 外国語文章の分析結果を比較して考察する. 外国語文章の例は, 華語の例に, 現代小説は金庸「書剣恩仇録」, 論説は自由時報社説「不要見不得台灣好 2021/12/27」,詩には五月天「温柔」, 英語の例に, 現代小説は Philip K. Dick 「Second Variety」,論説は朝日新聞「Draft budget shows lack of focus, no fiscal discipline 2021/12／25」,詩には『アナと雪の女王』「Let it go」を取り上げた. 以下, 順に結果を見ていく.

## 3.1 華語と英語の小説の場合

図 4 華語現代小説の結果

図 5 英語現代小説の結果

華語の結果でも日本語の場合と同じく, 現代小説 では語の出現頻度により人物名とその物語中での動 きに関する語が作品の部分ごとに多数出て, 読解で 重要な出現頻度の低い語彙は質的読解を事前にしな い限り十分取り出せない. テキストマイニングだけ では, ストーリーや背景を理解する手掛かりは得ら れない. 英語の場合も同じで, 主な登場者とその動き を描く語彙が中心になり, 部分で出ている小さなク

ラスターのとの関係は明確にはならず,ストーリー を把握し, 作品読解の重要なキーワードを決めるに は, 事前の十分な読解が必要である. 小説のような文章構成は, 特定の時の持続の中で登場者の動きを描写する部分が中心になり, その前後や内部に, さまざ まな説明を行う要素が入った枠構造をなしている場合が多く [4], 質的に異なる表現で構成された文章 はテキストマイニングの方法では十分に要点を抽出 できないと考えられる.

## 3.2 華語と英語の論説の場合

図 6 華語論説の場合

図 7 英語論説の結果

次に, 華語と英語の論説の結果を比較してみると,日本語の論説の場合と同じく,論説中の要点を示す 語群がそれぞれクラスターとして大きなまとまりで 抽出されて, 各部分の内容を容易に理解できる. 論説 は, 語の階層化構造による各概念のネットワークが あり,こうした構造を用いて各部分で複数の話題の焦点を作ることにより論点が生まれる文章構成と考 えられるので，[5]テキストマイニングによって，各部分の要点を容易に取り出すことができると言える.論説ジャンルの文章は, 最もテキストマイニングに 向いている資料となる. 論説ジャンルは、作者の意見 を書いたもので、インターネットの消費者の意見、各種のエッセイ、論文、解説、説明など、作者の意見を述べた類の、このジャンルに含まれる文章はテ キストマイニングなど数理的手法で容易に特徴を抽出できると言える。

## 3.3 華語と英語の詩の場合

図 8 華語歌詞の結果

図 9 英語歌詞の結果

最後に, 華語と英語の歌詞の結果を比較してみる と,これも日本語の場合と同じく, 詩の中で反復して 用いられている語彙がクラスターのまとまりになっ て抽出された。いわゆるリフレーンに当たる部分に 出てくる語彙が多く, その部分を詩の中心モチーフ

と理解する手掛かりになる.

しかし, それ以外の部分の語彙は断片的で, その ままでは内容理解の手掛かりにはならない. 韻文は,現代詩の場合, 各部分の各連がリフレーンに当たる 反復される部分に收斂し, どの部分も基本的に同じ 收斂部分を持つことで構成されている文章構成と考 えられるので [5], 反復される收敛部分はテキスト マイニングの手法には適している. しかし, その收斂部分に到る各部分の内容は, 抽出しがたい.

## 3. 4 各言語を超えた文章ジャンルの共通性

以上の結果を分析結果の理解容易性で見ると，日本語と同じく華語, 英語でも (易) 論説＞韻文>小説

(難) の順になる.このことから, 文章表現のジャン ルという文章構成の差異に応じて, 抽出結果に質的差異が各言語の形式的文法的差異を超えて, 存在す ると考えられる.つまり, 各言語の形式的文法的差異 を超えて, 文章構成の質的差異による文章ジャンル がそれぞれあり, それは今回取り上げた三言語では 共通した構成であると推測できる.テキストマイニ ングの有効性の相違は, 各言語の差異には拠らず, 文章構成の差異によって決まっている可能性があると 考えられる。

今回は, 特に人文社会系でテキストマイニングを 応用して質的量的研究を行うことを念頭に [6], 文章ジャンルごとで結果の比較をおこなった. 人文社会系でテキストマイニングを応用する場合は, 元々 の基本的研究方法である質的研究を前提に応用をお こなえば, 質的量的研究に寄与できる可能性が十分 にあることが分かった.

一方, 広汎な言語資料を対象にした自然言語処理 においては, 言語一般という前提が成り立つのは, 文章ジャンルが関係しないレベルでの言語の規則性に ついてではないかという問題提起ができるかもしれ ない. そして, 意味的処理やさらに高度の多義的処理 を扱う場合には, 語レベルでの問題を超えた文章レ ベルの文章ジャンルごとの問題が存在していること を視野に入れて, 処理をデザインしていくことで, 今 まで解決できなかった問題を乗り越えられる可能性 があると考えられる。［7]

また, 言語の問題として, 各言語の形式的文法的差異を超えて, 文章ジャンルが具体的な言語運用を規定している可能性があることを考えられる. はたし て文章レベルの言語規則とは何であるのか, 今まで 意識されてこなかった言語表現の問題が存在してい
るのではないか,こうした課題も新たに浮上してく ると思われる。

どのように新しい問題の圈域を扱っていくか, 今後の探究をおこなっていきたい.

## 4 おわりに

人文社会系分野で AI 技術に接続できる部分を探 りながら, 手掛かりとしてテキストマイニングの有効性と限界という視点を得たことで, 文章ジャンル による言語表現の規定という, 今までの研究では, 主題化しにくかったテーマが見えてきた. 文章ジャン ルの問題は、1950-70 年代までは関心を集めた分野 であったが、現在は自明視されて扱われることはほ とんどない。こうした問題をどう考えるか、言語研究などの分野で新しい視点を提出していかなくては ならない。同時に、こうした言語の特徴を自然言語処理の特徵抽出の問題として考えるなど, 自然言語処理の面からもアプローチできるか探求しながら，新しい問題の探索を続けて行きたい.

## 謝辞

本研究は台湾科技部研究案 109-2410-H-032 -061 MY3 の助成を受けたものです.

## 参考文献

1. 計量言語学会篇. データで学ぶ日本語学入門. 東京 : 朝倉書店, 2017.

2. IT トレンド.【図解】BI ツールとは? 機能や目的、種類などわかりやすく徹底解説！ IT トレンド. (オンライン) 2021 年 9 月 22 日. (引用日: 2021 年 12 月 27 日.) https://it-trend.jp/bi/article/explain.

3. 樋口耕一. 社会調査のための計量テキスト分析第 2 版. 京都：ナカニシヤ出版, 2020 .

4. ジェラルド・プリンス. 物語論辞典. 東京 : 松柏社, 1997 .

5. 永尾章曹. 国語表現法研究. 東京：三弥井書店, 1975.

6. ウド・クカーツ. 質的テキスト分析法. 東京：新曜社, 2018.

7. 北原保雄（監修）佐久間まゆみ（編）。朝倉日本語講座 新装版 7 文章・談話. 東京 : 朝倉書店, 2018 .


# 接辞「〜ング（-ing）」が外来語サ変動詞に与える意味役割 ${ ^{\dagger}$
}

南 亜希子

金沢大学大学院 人間社会環境研究科
}

akim373.1608@gmail.com
## 概要

本研究では接辞「〜ング (-ing) 」を取り上げ,外来語接辞が日本語の語彙に与える意味役割につい て検討を行う．分析では『国語研ウェブコーパス （NWJC）梵天版』のコーパスデータを用い， \{ポ スト／ポスティング $\}$ する，\{タップ／タッピング $\}$ する，\{ブロック／ブロッキング $\}$ するの 3 組にお ける共起語を比較した．その結果，いずれの例にお いても「〜ング」の有無によって共起語のジャンル が異なり, 特に「〜ング」付加形の方が専門用語と しての使用が多い傾向にあると分かった. したがっ て「〜ング (-ing) 」には, 非付加形よりも語の使用範囲を区別・狭くする役割があると考える。

## 1 はじめに

日本語における外来語（カタカナ語）が難解であ ると叫ばれることは今に始まったことではないが， その原因の 1 つに外来語の意味理解が挙げられる. それらの問題の中には語の形態, 具体的には外来語接辞との関連もあると考える。例えば本稿で取り上 げる「〜ング（-ing）」は，「現に〜している（す ること）」というイメージ[1]が想起され外来語でも 多用されているが，原語と借用後のカタカナ表記と で形態のずれが起こっている問題や，「〜ング (-ing)」付加の有無による意味の使い分けが明確 になっていないという問題もある.

本稿では，外来語接辞「〜ング (-ing) 」が有す る意味役割を，日本語コーパスにおける量的分析か ら検討する。

## 2 先行研究

「〜ング（-ing）」が付加する外来語サ変動詞に ついて言及された研究は澤田やビタン, 国立国語研

澤田[2]では，原語において動名詞形を有するもの が日本語に借用されても「〜ング（-ing）する」が付加しやすく，「\{*ブラシノブラッシング $\}$ する」 のように「〜ング」が付くことで具体物から何らか の行為を指す語へと変化される旨が示唆されている。加えてビタン[3]では，日本語に借用されている「〜 ング」が付加する外来語のうち, 原語（英語）にお いて動詞としての意味が優先されている語の方が 「〜ング」が付加してサ変動詞化しやすいことを明 らかにし, 日本語母語話者にとって「〜ング (-ing)」 が動作性を強めるために有用な接辞であると考えら れている旨を示唆している。また国立国語研究所[4] では,「メジャーカップ (measuring cup// ${ }^{*}$ measure cup)」 や「ドライビングスクール (driving school// drive school）」などの語を例に挙げ，借用時に「〜ング」 が付加する語とそうでない語が混在しているにも関 わらず，どのような語に「〜ング」が付加するかに ついては言及されていない点を指摘している.

以上のように，「〜ング (-ing) 」が付加する外来語（動詞形も含む）について言及された研究は散見されるものの，そもそも何故外来語に「〜ング」 の付加形と非付加形の両方が見られる場合があるか,「〜ング」が語に与える意味役割はどのようなもの であるかは明らかになっていない。本稿では，「〜 ング」の付加形と非付加形の語双方を比較し，「〜 ング (-ing)」が有する意味役割について検討する.

## 3 分析方法

本研究では, 『国語研ウェブコーパス（NWJC）梵天版』のの「〜ングする」の検索結果を使用し， KH Coder による対応分析から対象語がどのような 文脈や場面で使用される傾向にあるかを分析する。

『国語研日本語ウェブコーパス (NWJC)』とは, ウェブを母集団としてテキストの採取・構築が行わ

れた 100 億語規模のテキストコーパスである[5]. 本 コーパスの母集団がウェブ資料であるゆえ，特定の 語におけるレジスターや話者属性等が見えにくいと いう短所もあるが，NWJC の規模の大きさから他コ 一パスでもヒット件数が少なかった（または 0 件で あった）語のデータ収集も容易となる。また，『梵天』にて公開されていたデータの収集時期が 2014 年 10 月から 12 月と比較的新しいことから，より現在に近い言語使用状況が明らかになると考えた。な お, 検索には検索系『梵天』の品詞列検索を用い,検索画面から「『対象語〈表層形〉』+『動詞〈品詞 1 〉、サ行変格〈活用型 1 〉』」と検索した。 NWJC によるテキストデータの収集後は，KH Coderを用いた内容語iiのみの対応分析を行った. 対応分析を行うことによって, 複数群との間における 抽出語の特徴語の相関を, 2 次元の散布図で視覚的 に見ることが可能となっている[6]. 本研究では「〜 ング(-ing)」が付加する外来語とその非付加形を比較 し, それぞれの語にどのような語が共起するか, そ の相違により「〜ング」にどのような意味役割を有 するか，という観点から分析を実施した.

また対応分析に加えて，対象語のコロケーション 統計も行なった. テキストデータを目視で確認した ところ，対応分析の散布図では出現していないが

「〜ング」付加形と非付加形それぞれの語を特徴づ けるために重要となり得る共起語が複数見られた.具体的な手順としては, 同ソフトウェアの KWICコ ンコーダンス機能から対象語の検索を以下の表 1 の 通り行い, ダイス（Dice）係数が高い順にコロケー ション統計の集計 (集計範囲: 左 5 右 5)を行った.

表 1 KWIC コンコーダンスによるコロケー ションの抽出方法

} & & \multicolumn{3}{|c|}{ 追加条件 } \\

ii 本稿では KH Coder の分析機能で選択可能な品詞 のうち，「名詞」「サ変名詞」「形容動詞」「数詞」「固有名詞」「未知語」「タグ」「動詞」「形容詞」「副詞」「名詞 B」「動詞 B」「形容詞 B」「名詞 C」が内容語に相当するとみなし, 分析対象とする.
なお，本研究で取り上げる「〜ング (-ing) する」及び「〜ング (-ing)」非付加形の動詞は，以下の 3 例である.

$\cdot$ $\quad\{$ ポスト $/$ ポスティング\} $\} る$

・\{タップ/タッピング $\}$ する

・ $\{$ ブロック/ブロッキング $\}$ する

## 4 分析結果

## 4.1 \{ポストノポスティング\ する}

NWJC の検索結果では，「ポストする」は 3679 件，「ポスティングする」は 2750 件出現した. 以下 の図 1 に分析結果の散布図 (語の最小出現数 : 100) を示す.

図 1 \{ポスト/ポスティング\} する の 対応分析結果

「ポストする」の共起語では，「コメント」「ブ ログ」「サイト」「エントリー」「投稿」「Twitter」「メール」など，インターネットに関する語が多く 見られた。その一方「ポスティングする」では，「チ ラシ」「広告」「近所」「マンション」「地域」「ビ ラ」「作る」などの語が特徴的だと示された。以下 の(1)(2)は，NWJC で出現した\{ポスト／ポスティン グ＼$するの例文である。 }$

(1) 尚、このエントリは FC2 ブログ, Seesaa ブロ グの両方にポストしています（『Sheep Track 2.2』，下線・波線は発表者による）

（2）DM 配布会社によっては指定した地域全てに， チラシや案内をポスティングする「全域配布」という配布方法もありますので，お近く の住宅地をターゲットに全域配布をかける

という手もあります

(『がんこおやじのブログ』)

## 4. 2 \{タップ/タッピング\ する}

NWJC の検索結果より,「タップする」 1000 件iii,「タッピングする」 812 件を分析した結果，以下の 図2（語の最小出現数 : 40）のようになった.

図 2 \{タップ/タッピング $\}$ する の対応分析結果上図より,「タップする」は「選択」「画面」「ア プリ」「ボタン」「アイコン」「入力」など，スマ ートフォンなどのタッチパネルを有する電子機器や その操作に関する共起語が見られた. また, 散布図 における「タッピングする」では，「肌」「軽い」「ツボ」「顔」「指」など、マッサージの動作や美容に関する語が出現した。

加えて「タッピングする」では， ダイス係数も観察した結果，「ギター」「フレット」「ネジ」など の語も共起していた.これらはギター等の演奏技術「タッピング奏法」や，工具を使ってネジを締める

ック/ブロッキング\}するの NWJC データについ ては, 「〜ング」非付加形と付加形とのの語の件数に大きな差が生じていた. (「タップする」27022 件，「ブロックする」43029 件，「〜ング」付加形は本文で報告した件数と同じ）そのため，「夕 ップする」「ブロックする」は『梵天』でデータ を取得したのち, 1000 件のランダムサンプリング を行った上で分析を行なった. ランダムサンプリ ングでは，発表者自身で Excel を用いて取得デー 夕全文に RAND 関数で乱数を与え, 上位 1000 件 （降順）を抽出するという手法をとった。
}

こと[7]を指す「タッピング」を表すと考えられる。

「タッピングする」に特徴的な共起語一覧は, 以下 の表 2 の通りである.

表 2 「タッピングする」に特徴的な共起語一覧

本節の内容を踏まえ，以下の(3)(4)に「\{タップ／ タッピング\} する」の例文を示す.

（3）スマートフォンサイトから地図を検索し，ト イレアイコンをタップす扎地図上にアイ コンが表示される仕組み

(ITmedia Mobile『スマホ版マピオンで「多機能トイレ検索サービス」がスタート』)

(4) 3回トントンとつけて後は肌にタッピングし ていきます

(『ここあんの綺麗になる法則』)

## 4.3 \{ブロックノブロッキング\ する}

NWJC のテキストより「ブロックする」1000 件 iii,「ブロッキングする」996 件のデータで対応分析を 行った。その結果の散布図（語の最小出現数 : 40) を以下の図 3 に示す.

図 3 \{ブロック/ブロッキング\} する の 対応分析結果

上図の結果より，「ブロックする」では，スポー ツ（特にサッカー）やIT・インターネットにおける 「シュート」「メール」「機能」「アクセス」「攻
撃」などが共起した. また, ダイス係数を算出した ところ，「花粉」「紫外線」「メラニン」なども特徵的な語として出現していた. 以下の表 3 に,「ブ ロックする」に特徴的な共起語を示す.

一方, 図 3 の散布図に出現した「ブロッキングす る」の共起語は，「髮」「毛」「巻く」「抗体」「血清」「結合」「部分」「細胞」「サイト」などであ った。以下の(5)（7)は「\{ブロック/ブロッキング $\}$ する」の例文である.

(5) SPF20・PA++あるので日常の柴外線はきちん とブロックしてくれるので安心できます (『キレイナビ』)

（6）髮を細かくブロッキングして、毛先が染ま らないようにラップでくるんでゴムで留め てから染色したんだけど、かなり面倒くさ かったです(汗)（『Happy little Vegemite』)

(7) 細胞は、60 時間 $70 \%$ エタノールで染色し、 PBS で三回洗浄し、そして 15 分間 5\%血清ア ルブミンでブロッキングした (ekouhou.net 『前立腺癌治療組成物及び前立腺癌治療組成物の有効成分のスクリーニング方法』)

## 5 考察

本研究の分析では, 接辞「〜ング (-ing) 」が有 する意味役割を探るため，日本語コーパスにおける 接辞付加の有無による共起語の相違を対応分析等で 調查した. その結果, 3 例共通して「〜ング」付加 の有無で共起語が異なっており，とりわけ「〜ング」付加形では, 特定分野における専門用語としての使用も散見された。

以上の結果を踏まえ, 日本語における外来語接辞「〜ング（-ing）」には，以下の役割を有すると考 える。

## - 外来語接辞「〜ング (-ing)」が持つ意味役割の仮説 :

先行研究で指摘されてきた「動作性を強め る」役割に加え, 非付加形の語と大まかな 動作のイメージを共有しつつも，「〜ング (-ing)」の非付加形よりも語の使用範囲 を区別・狭くする（特定の場面でしか使わ
れない語や専門用語として使われる傾向 にある）。

今回取り上げた語では, 原語における動詞の意味が外来語にも借用されており，「〜ング」が付加していない状態でも「動作」の意味を既に有し ていると考えられる. それでも「〜ング」が付加 する形が見られるのは, 先行研究でも示唆されて いたように, 動名詞・動詞の意味を有する語と「〜 ング」との親和性が高いためであり. 今回の分析結果でも「〜ング」の役割の一つとして「動作性 を強める」点を有することは否定出来ない。

そして, 「4 分析結果」の章にて 3 例の分析を 行った結果, いずれの例も「〜ング」付加の有無 によって文や共起語のジャンルが異なることが 明らかとなった。本稿の事例を見ると，「\{ポス トノポスティング\} する」では「投函・投稿する 動作」，「\{タップ/タッピング\}する」では「（軽 く) 卬く動作」，そして「\{ブロック/ブロッキ ング\}する」では「事物の阻害・遮断を行う動作」 を共有している。このような大まかな「動作」自体は「〜ング」付加の有無で大きく変化しないも のの，使用される場面がそれぞれ異なることによ って，「〜ング」には非付加形と語の使用範囲を 区別させる役割があると考えられる。

## 6 おわりに

本稿では，外来語接辞が有する意味役割が明らか になっていないという課題から，「〜ング (-ing)」 を例にその検討を行なった。＼{ポスト／ポスティン } グ $\}$ する，\{タップ/タッピング $\}$ する，\{ブロッ クノブロッキング\}するの 3 例の共起語をそれぞれ 検討した結果, 3 例全てに共通して「〜ング」付加 の有無によって共起語のジャンルがそれぞれ乘離し ていた.この結果を踏まえて, 日本語の外来語にお ける接辞「〜ング（-ing）」には，「動作性を強め る」役割に加え、非付加形の語と大まかな動作のイ メージを共有しつつも、「〜ング（-ing）」の非付加形よりも語の使用範囲を狭くする役割があること が示唆された。

最後に, 今後の課題として以下の 3 点を挙げたい.

・他ジャンルのコーパスにおける「〜ング

(-ing) 」の使用状況の調査
- 他の外来語接辞の事例検討
- 通時的観点からの調查

## 参考文献

1. コア理論で文法指導を(11) 文法の意味から状況 の意味の構成へ! 一実践指導例(3) : 動詞の〜ing 形一. 佐藤芳明, 河原清志 ，田中茂範. 12 , 文京区：大修館書店, 2008 年, 英語教育, 第 56 巻, ページ: 52-54.

2. 日本語教育のための基本外来語について. 澤田田津子. 1, 奈良市 : 奈良教育大学, 1993 年, 奈良教育大学紀要 (人文・社会科学), 第 42 巻, ページ: 225-239.

3. 機能形態素-ing を含んだ外来語の形態・用法の特徵 一「〜する」動詞化の可否をめぐって一. ビタン マダリナ. つくば市：筑波大学大学院博士課程人文社会系, 2016 年, 筑波日本語研究, 第 20 巻, ペー ジ: 50-74.

4. 国立国語研究所. 日本語教育指導参考書 16 外来語の形成とその教育. 東京都北区：国立国語研究所, 1990. http://doi.org/10.15084/00001840.

5.『国語研日本語ウェブコーパス』とその検索系『梵天』. 浅原正幸, ほか. 2 , 千代田区 : 情報処理学会, 2018 年, 情報処理学会論文誌, 第 59 巻, ページ: 209-305

6. 樋口耕一. 社会調査のための計量テキスト分析一内容分析の継承と発展を目指して一. 第 2 版. 京都市 : ナカニシヤ出版, 2020.

7. 三省堂編修所(編).コンサイスカタカナ語辞典.

第 5 版.千代田区：三省堂書店, 2020.