# Researcher2Vec: ニューラル線形モデルによる 自然言語処理研究者の可視化と推薦

持橋 大地
統計数理研究所数理・推論研究系 $/$
日本学術振興会 学術情報分析センター
daichi@ism.ac.jp

## 1 はじめに

科学技術の高度化に伴い, 論文数や研究者の数は増える一方であり, その全貌を直感的に把握することはますます難しくなっている.この傾向は自然言語処理を含む計算機科学分野では特に顕著であり,言語処理学会 2020 年大会の論文数は 338 本, ACL 2020 の採択論文数は 779 本, NeurIPS 2020 では 1,900 本を超えている.これらをタイトルだけであっても， すべて読んで関連研究を見つけたり, 興味の近い教員や研究者を探すことは, 今やほぼ不可能であると言ってよい.

この問題は論文の査読に際しても重要であり,近年では国際会議を含む論文の査読割り当ては LDA [1] を内部的に用いた Toronto Paper Matching System (TPMS)[2] による適切な候補者の自動スコア付けなしでは成り立たなくなっている。しかし， TPMS はあくまで個々の論文に査読者をマッチさせるものであり, 各研究者が全体としてどのような専門性を持っているかはわからないため, 最終的な割り当てには個人の発表文献などの情報を人手で確認する必要がある. 特に, 査読者やエリアチェアのリクルート,ワークショップの発表者などで「人を探す」必要がある場合は TPMS は使えず, 人的ネットワー クに頼らざるを得ないという現状がある.このため, たとえ興味や実力がマッチしていても, 地方にいたり, 無名研究室の場合に研究者のネットワークに入れないという重大な問題があった。

また, 大学の学生や企業の担当者が, 興味を持ったテーマに詳しい教員や研究者を見つけたい，という場合も, 多様な専門性を客観的にデータベース化したシステムがないため, 学外も含めた適切な先生が見つけられないという問題点がある.

こうした研究者情報の把握のために, researchmap ${ }^{1)}$ の

図 1: Researcher2Vec による日本の自然言語処理研究者の専門性の埋め込み. (t-SNEによる可視化,一部). 全体像は付録の図 6 を参照されたい. 論文の内容に基づいているため, 共著関係がなくとも, 専門性が近け枦ば近い位置に研究者が配置されている. 参考のため, 筆者を緑色で示した.

ような公式情報の載ったデータベースに加えて, 日本の研究. $\mathrm{com}^{2}$, , JDream Expert Finder ${ }^{3)}$ といったサー ビスが提供されている.しかし，これらはほとんど,研究者の実際の専門性を示す論文の内容を用いていない.4）代わりに論文に付与されたキーワードなどのメ夕情報や論文の引用情報が用いられているが， これらは本来は補助的な情報であり, 人手で付与されたキーワードには漏れが非常に大きい。たとえば筆者が (自然言語処理の分野では珍しく) 逐次モンテカルロ法やガウス過程に詳しいことや, ベイジアンであることは, 人手による大雑把なキーワードや引用情報から推測するのは不可能である。

そこで本論文では, Word2vec が自己相互情報量 (PMI) 行列の行列分解と等価であることを示した Levy らの考察 [3] を応用し, 各論文のニューラル文書ベクトルを SVDによって効率的に計算し,これから「研究者ベクトル」を求める Researcher2Vec を提案する.これにより, 各研究者の専門性を低次元空間で客観的に把握して可視化することが可能になる. また, 単語をいくつか入力することで, 専門性の近い

研究者を線形モデルにより高速に検索することができるシステムを構築し，一般公開した。

## 2 研究者の専門性の把握

研究者の専門性を把握するためには, 先に述べた (1)引用情報やキーワードなどのメ夕情報を用いるほかに, (2) LDAを代表とするトピックモデルによるアプローチがこれまでに提案されている.

(1) の方法は 1 節で述べた欠点のほかに, 最終的な可視化が多くの場合グラフに基づいており, 距離に客観的な意味がないことや,グラフに枝を張る基準や枝の重みの定義によって結果が変わってしまい,客観性に欠けるという大きな問題点がある.

(2) のアプローチは実際に TPMS の内部で基準の一つとして用いられており, また桂井ら [4] は CiNII に登録された約 10 万件, 約 300 万語の論文概要に対してトピック数 $K=500$ の LDA を実行し, 同姓同名の共著者の曖昧性解消夕スクで評価することで,次元圧縮を行わないべクトル空間モデルょり精度が高いことを示している. 筆者も日本学術振興会において, 約 11 万件, 約 3 億語の科研費文書について $K=2000$ の巨大な LDA を計算し ${ }^{5)}$, 特定の大型種目の各申請について, 審査員候補者のリストを参考情報として出力するシステムを構築して実運用を行つている [6].

ただし, LDA には計算量が大きいという以外に，

・トピック分布 $\theta$ の総和が 1 になるという制約があるため, 複数のトピックを同様に強く持つ論文や研究者をうまく扱うことができない

$\cdot$ $\theta$ の要素は常に正であるため, 負の相関も含めた細かい制御ができない

という問題点がある [7]. 端的にいえば,トピックモデルは文書や論文の「大雑把なジャンル」は表現できるが, その中での細かい差異を表現できないことが欠点となっている.

## 3 ニューラル線形モデルによる 文書・研究者ベクトル

そこで本論文では,より柔軟な実数べクトル空間への埋め込みによって, 文書 (論文) およびそれを書いた研究者を表現することを試みる. Doc2Vec[8] のようなニューラルネットと異なり, 提案法はニュー

5）この計算をナイーブに行うと数ヶ月を要するため, $K$ に関わらず $O(1)$ で単語のトピックをサンプリングできる LightLDA[5] を用いて計算を行っている. この計算には数日を要する.

図 2: PPMI 行列の SVD による単語ベクトルの計算.

ラル手法と等価でありながら, 線形代数によって高速かつ効率的に学習・推薦を行うことが可能である.

Levy ら [3] は, 単語埋め込み word2vec の計算が, 自己相互情報量を要素とする行列の行列分解と等価であることを示した. $n(w, c)$ を単語 $w$ と周辺の文脈語 $c$ が一定の窓内で共起した回数とし, $w$ と $c$ の頻度を $n(w), n(c)$ とすると, 次の Shifted Positive PMI (PPMI)

$
\operatorname{PPMI}(w, c)=\max \left(\log \frac{n(w, c) \cdot N}{n(w) n(c)}-\log k, 0\right)
$

を要素とする行列 $\mathbf{Y}$ を図 2 のように $\mathbf{Y} \simeq \mathbf{W C}^{T}$ と特異値分解したときの $\mathbf{W}$ の各行は, word2vec で得られる単語べクトルと等価となる.またこのとき， $\mathbf{C}$ の各行は文脈語の単語ベクトルとなる.ここで $N=\sum_{w} \sum_{c} n(w, c)$ とおいた. なお, $k$ は word2vec における負例数に相当するが, [9] によって SVDを使う場合は $k=1$ (シフトを行わない) が最適であることが実験的に示されており, 以下では $k=1$ を用いた。

同様にして, 論文 $d$ に単語 $w$ が現れた頻度を $n(d, w)$ とし, $n(d)$ を $d$ の単語数とするとき， $\operatorname{PPMI}(d, w)$ を要素とする行列を図 3 のように

$
\mathbf{Y} \simeq \mathbf{D} \mathbf{W}^{T}
$

と特異値分解することで, $\mathbf{D}$ および $\mathbf{W}$ の各行として 「文書ベクトル」 $\vec{d}$ と単語ベクトル」 $\vec{w}$ を同時に得ることができる。これは Doc2Vec と異なり, 理論的に構成されるため学習率やミニバッチ等のハイパー パラメータの調整を必要とせず, 検索に以下で述べるような解析解が存在する. 大量のデータに対しても,必要があれば redsvd [10] のような高速な疎行列分解を用いることで, 非常に効率的かつ一意に埋め込みベクトルを得ることができる.

## 3.1 研究者の専門性の可視化

こうして各論文の文書ベクトル $\vec{d}$ が得られると， それらを書いた研究者の埋め込みベクトルを計算することができる. 著者に研究者 $r$ が含まれている論文の集合を $\Omega_{r}$ とすると, 研究者べクトル $\vec{r}$ は, $\Omega_{r}$ に含まれる論文の文書ベクトルの平均として

$
\vec{r}=\frac{1}{\left|\Omega_{r}\right|} \sum_{d \in \Omega_{r}} \vec{d}
$

図 3: 文書-単語行列のSVDによる文書べクトルと単語ベクトルの同時計算.このとき検索クエリは仮想的な文書 $\mathbf{y}^{*}$ とみなせ, 対応する潜在的な文書ベクトル $\mathbf{d}^{*}$ が存在する。

と計算できる.これは, 埋め込み空間において各研究者を高次元がウス分布で表現し，その平均を求めたことに相当している. ${ }^{6)}$

図 1 に, 言語処理学会年次大会の 20 年分の論文コーパスから計算した $K=100$ 次元の研究者ベクトル $\vec{r}$ t-SNEによって 2 次元に可視化した例の一部を示した. 全体像は, 付録の図 6 を参照されたい. 英語の論文は含まれていないため,これはあくまで言語処理学会の論文の内容から計算された埋め込みとなっている. 処理の詳細については, 4 節で説明する.

## 3.2 言葉による研究者の検索

こうして研究者の埋め込みベクトルが得られると, 関連の深い研究者を言葉によって検索することが可能になる. 提案手法は従来と異なり,キーワードではなく書いた論文の内容を潜在空間で直接モデル化しているため, たとえ専門性の高い言葉でも, それに関連した研究者を検索することができる。

いま，「談話強化学習」のようなクエリを $q$ とおくと,これは図3のように仮想的な「文書」 $\mathbf{y}^{*}$ とみなすことができ, 対応する埋め込みべクトル $\mathbf{d}^{*}$ があると考えられる. 文書べクトルと研究者ベクトルは式 (3) によって同じ埋め込み空間に存在しているから, $\mathbf{d}^{*}$ がわかればそれに近い研究者ベクトルを求めることで, 研究者の検索が可能になる.

$\mathbf{y}^{*}$ の要素は PPMI すなわち $\max \left(\log \frac{p(w \mid q)}{p(w)}, 0\right)$ であるから, $\mathbf{y}^{*}$ は $q$ に含まれる単語に 1 が立ち7), 他はすべて 0 の疎べクトルである.このとき図 3 の下段のように, 最小二乗誤差の意味で $\mathbf{y}^{*} \simeq \mathbf{d}^{*} \mathbf{W}^{T}$ が成り立つ $\mathbf{d}^{*}$ を求めたい.この式の両辺を転置して $\mathbf{y}^{*}, \mathbf{d}^{*}$

6）分散も同様に計算することができるが, 次節で説明する推薦に分散も考慮することは今後の課題としたい.

7）この值は「仮想的な文書 $q$ において, 各単語が平均より何倍多く出現したか」の対数であり, 1 とすることは $\exp (1)=2.72$倍多く出現したと指定することを意味する. 後の実装では, クエリに「音声*」「構文解析**」のように*を付けることで, $\exp (2)$ 倍, $\exp (3)$ 倍, 一が指定できるようにした.

(a) 論文内容からの研究者の検索

(b) 類似研究者の表示図 4: 研究者ベクトルに基づく Web 検索インターフェー ス. 研究者情報は名前の文字列で絞り込むことができる. の転置をそれ自身で再定義すると $\mathbf{y}^{*} \simeq \mathbf{W} \mathbf{d}^{*}$ であり， これは通常の線形回帰モデル (OLS) であることがわかる. よって, $\mathbf{d}^{*}$ の最適解は

$
\mathbf{d}^{*}=\left(\mathbf{W}^{T} \mathbf{W}\right)^{-1} \mathbf{W}^{T} \mathbf{y}^{*}
$

であり [11] ${ }^{8)}$, 事前に回帰行列 $\mathbf{R}=\left(\mathbf{W}^{T} \mathbf{W}\right)^{-1} \mathbf{W}^{T}$ を計算しておけば,クエリ $q$ に対して最適な $\mathbf{d}^{*}$ は

$
\mathbf{d}^{*}=\mathbf{R} \mathbf{y}^{*}
$

として,一瞬で求めることができる。なお, $\mathbf{R} の$計算は明示的に逆行列を使わず, Python では $\mathrm{R}=$ numpy. linalg.solve(numpy. dot(W.T,W),W.T) とすればよい. 語彙数を $V$ とすると $W$ は $V \times K$ の行列であり，よって $\mathbf{R}$ は $K \times V$ の行列となる. $V$ や $K$ が大きい場合にはメモリ使用量が大きくなるが9), 式 (5) より, $\mathbf{d}^{*}$ は $\mathbf{y}^{*}$ のうちごく少数の非零の要素に対応する $\mathbf{R}$ の列ベクトルの和であるから, $\mathbf{R}$ は事前に計算してディスクに mmap()しておけば, 空間計算量も最小に抑えることができる.

クエリに対応する $\mathbf{d}^{*}$ が得られれば, 研究者べクトルとのコサイン距離が近い順に研究者を表示することで検索を行うことができる.

## 4 実装と実験

言語処理学会年次大会の 1995-2013 年の約 20 年分の発表論文デー夕 [12]を使って実装および実験を行った. 今回は直感が働く言語処理分野で実験を行ったが, 提案法は自然言語処理に限らず, あらゆる分野の論文・言語に適用することができる.

## 4.1 データ

論文のタイトルおよび全文を MeCab で形態素解析し,句読点や括弧を除いた単語の原形を使用した。
$ は要素数 7 億 2000 万個, 4GB の行列になる.
}
表 1: 著者予測夕スクにおける平均適合率 (MAP) の平均.提案法は Doc $2 \mathrm{Vec}$ の性能を上回り, 圧倒的に高速かつ省メモリである. 計算時間は $K=1000$ の場合を表している.

語彙は頻度 10 以上の 18,135 語, 論文数は 4,082 本である. 全文を用いているため, 総単語数は $13,654,061$ となった. 著者の総数 3,660 人のうち, 5 本以上の論文があった著者 499 人を実験の対象とした. 疎行列の SVD による文書ベクトル・単語ベクトルの計算は高速であり, $K=1,000$ のとき 1 分程度で終了した。

## 4.2 実装

Python の Flask モジュールを用いて図 4 のように検索サーバを実装し, 公開した. サーバは http:// clml.ism.ac.jp/nlp2vec/でアクセスすることができる.検索結果の著者をクリックすることで, 研究者べクトルの類似する研究者も同時に表示できる.

## 4.3 評価実験

論文の内容から著者を予測する実験で評価を行つた. ランダムな 500 文書をテストデー夕,残りの 3,582 文書を学習データとし, 学習デー夕の中で 5 本以上の論文を持つ研究者がテストデータの著者に含まれる場合 (410/500 文書) の各文書について, 研究者をスコア順に並べた中での真の著者集合の平均適合率 (MAP) を計算した. スコアは文書の Bag of words 表現から 3.2 節の方法で求めた文書べクトルと, 研究者ベクトルの余弦類似度で計算する ${ }^{10)}$. MAP は高いほど良い指標であり, $\mathrm{MAP}=1$ とは, スコア順に並び換えた研究者リストの最上位がすべて真の著者で占められていることを意味する. 比較として, Doc2Vec [8] およびLDAを用いた実験も行った.

Doc2Vec 標準的に使われている gensim の Doc2Vec 実装を使用した. 条件を揃えるため分散 BoW のモデルを使用し, 学習時のパラメータは epochs $=100, \mathrm{hs}=1$, alpha= 0.025 ,sample=1e-5 である. 学習したモデルを使用し, テストデータの各文書について Doc $2 \mathrm{Vec}$ の

10）このとき, 文書 $d$ に対する観測値 $\mathbf{y}$ の要素である $\operatorname{PPMI}(d, w)$ は $\max \left(\log \frac{p(d, w)}{p(d) p(w)}, 0\right)=\max \left(\log \frac{p(w \mid d)}{p(w)}, 0\right)$ と書けるから, 訓練デー夕の各単語の確率 $p(w)$ を保存しておけば, $p(w \mid d)$ は文書 $d$ 内での最尤推定で得られるため, $\mathbf{y}$ は容易に計算できる.

(a) LDA KLdiv

(b) Researcher $2 \mathrm{Vec}$ (提案手法)図 5: テストデー夕の各論文の著者予測の平均適合率(MAP) のプロット. 提案手法は多くの場合に $\mathrm{MAP}=1$ を達成しており,それ以外は英語論文などのノイズとなっている.

infer_vector() で繰り返し計算により文書べクトルを求める他は, 提案手法と同様に計算する. ${ }^{11)}$

LDA 公開している Cython 版の LDA 実装 ${ }^{12)}$ を使用し, モデルが充分収束するまで 1,000 回の $\mathrm{MCMC}$ を行った. 学習したモデルを用い, テストデー夕の各文書に対して変分べイズ EM 法でトピック分布の事後期待値 $\theta$ を求め, 式 (3) で計算した著者のトピック分布 $\vec{r}$ と比較してスコアを計算する. ${ }^{13)}$ [4]では単純に $\theta$ と $\vec{r}$ の余弦距離を計算しているが (LDA cosine), 確率分布に対してコサイン距離を適用するのは適切ではない. そこで同時に, $\theta$ と $\vec{r} の$ Kullback-Leibler ダイバージェンス

$
\mathrm{KL}(\theta \| \vec{r})=\sum_{k=1}^{K} \theta_{k} \log \frac{\theta_{k}}{r_{k}} \propto-\sum_{k=1}^{K} \theta_{k} \log r_{k}
$

をスコアとする実験 (LDA KLdiv) も行って比較した.結果表 1 に, 各モデルの平均適合率の結果とモデルの計算時間を示した. 提案手法は Doc $2 \mathrm{Vec}$ や LDA を超えて最高性能を達成し, モデルの計算もきわめて高速である. また図 5 のように, 平均適合率は多くの論文で 1 に集中し, それ以外は英語論文や, 教員の専門と異なる学生の論文の場合となっていた. 提案手法での $K$ の最大値は SVD の性質から $D(=3582)$ 以下であり $K=3000$ での精度は $71.6 \%$ であった.

## 5 まとめ

本研究では,ニューラル手法と等価な文書べクトルを効率的な SVDによって計算し, 研究者を論文の内容で可視化・検索できるシステムを構築し, 評価した. 実験により, 提案手法はきわめて効率的かつ Doc2 Vec およびトピックモデルより高い著者予測性能を見せることがわかった. 今後は $\operatorname{arXiv}$ や ACL anthology など, 英語論文への抎張を検討したい.
$ に含まれる論文の $\theta$ を生成するディリクレ事前分布を著者每に Newton 法によって計算し, 式 (6)の KL 距離の期待値を求めるべイズ的な方法も検討したが, あまり高い性能が得られなかった。
}

## 参考文献

[1] David M. Blei, Andrew Y. Ng, and Michael I. Jordan. Latent Dirichlet Allocation. Journal of Machine Learning Research, Vol. 3, pp. 993-1022, 2003.

[2] Laurent Charlin and Richard S. Zemel. The Toronto Paper Matching System: An automated paper-reviewer assignment system. In ICML 2013, 2013.

[3] Omer Levy and Yoav Goldberg. Neural Word Embedding as Implicit Matrix Factorization. In Advances in Neural Information Processing Systems 27, pp. 2177-2185, 2014.

[4] Marie Katsurai, Ikki Ohmukai, and Hideaki Takeda. Topic Representation of Researchers' Interests in a Large-Scale Academic Database and Its Application to Author Disambiguation. IEICE Trans. Inf. Syst., Vol. E99-D, No. 4, pp. 1010-1018, 2016.

[5] Jinhui Yuan et al. LightLDA: Big Topic Models on Modest Computer Clusters. In WWW 2015, pp. 1351-1361, 2015.

[6] 日本学術振興会. 学術情報分析センター平成 30 年度活動報告, 2019. https://www.jsps.go.jp/j-csia/data/h30/ JSPS-CSIA_REPORT_2018_4.pdf.

[7] 持橋大地, 吉井和佳, 後藤真孝. ガウス過程に基づく連続空間トピックモデル. 情報処理学会研究報告 2013NL-213, Vol. 11, pp. 1-8, 2013.

[8] Quoc Le and Tomas Mikolov. Distributed Representations of Sentences and Documents. In ICML 2014, pp. 1188-1196, 2014.

[9] Omer Levy, Yoav Goldberg, and Ido Dagan. Improving Distributional Similarity with Lessons Learned from Word Embeddings. Transactions of the Association for Computational Linguistics, Vol. 3, pp. 211-225, 2015.

[10] Daisuke Okanohara. redsvd: RandomizED Singular Value Decomposition, 2010. https://code.google.com/archive/p/ redsvd/.

[11] 持橋大地, 大羽成征. ガウス過程と機械学習. 機械学習プロフェッショナルシリーズ. 講談社, 2019.

[12] 言語処理学会 20 周年記念年次大会コーパス, 2014. https://www.anlp.jp/anniversary/20th_anniversary.html.

## 付録

研究者ベクトルの t-SNE による 2 次元への可視化. 高次元の研究者ベクトルは精度が高すぎて「それ自身 (あるいは強い共著者) としか似ていない」状態になり, 全体的な構造を反映しないため, あえて $K=100$ 次元のべクトルを可視化している. 可視化には Scikit-learn の t-SNE 実装を用いた. ${ }^{14)}$ 紫は明らかなグループについて筆者が付けた注釈であり,他にも様々な構造を見て取ることができる.

図 6: 研究者ベクトルの 2 次元への可視化.

14） t-SNE は実行の度に確率的に結果が変わるため,これが唯一の可視化というわけではない.


# 文表現の摂動正規化: 事前学習済みモデルの Debias 手法

新妻巧朗渡辺太郎
奈良先端科学技術大学院大学 先端科学技術研究科
\{niitsuma.takuro.nm3, taro\}@is.naist.jp

## 1 はじめに

近年の自然言語処理の応用研究において、 Elmo[13] や BERT[3] が, 自然言語理解タスクや質問応答タスクにおいてめざましい成果を残したことを受け、事前学習済み言語モデルが一般的に使われるようになってきている.これらの言語モデルは, 共参照解析 [6] といったタスクにおいても高い成績を残している一方で, 大規模なコーパスを用いて学習されているために, Kurita ら [8] や Nangia ら [11] がコーパスに明示的あるいは暗黙的に含まれている Social Bias をも学習していることを報告している. こうした問題は, 学習済みの単語埋め込みにおいても存在していることが Caliskan ら [2] によって明らかにされている.これらの単語埋め込みや言語モデルは, 自然言語処理の様々なタスクの基礎を成す構成要素として組み込まれるため, 下流のタスクに対しても Social Bias の影響を与えてしまう可能性があることが危惧される.

Bolukbasi ら [1] の研究をはじめとして, 近年にはその Biasを取り除く研究が進められてきた. 単語埋め込みの Debias やトレーニングデータの拡張によって, Social Bias を取り除く手法 $[7,17,4]$ が提案されたきた。しかし, 事前学習済み言語モデルから直接 Bias を取り除くことを試みる研究はまだ少ない。

本研究では, BERT をはじめとするマスク言語モデルのトークンの予測スコアがトークンの出現確率の分布として表現され, またトークンの有無が周辺のトークンの分布を摂動させることに着目し, その摂動を最小化することで事前学習済み言語モデルの Social Biasを取り除くことを目指した. 特定の社会集団を表現する語を構成するトークンを除いた全てのトークンの出現確率の分布が近づくように学習することで, 社会集団に関わる語彙の周辺のトークンの出現確率への影響を小さくする. 本稿では, Nangia ら [11] が提案したマスク言語モデルの Bias を計測
する手法によって提案手法の有効性を示し，さらに GLUE[15] の評価セットを用いて自然言語理解の性能が Debiasによって落ちていないことを確認した.

## 2 関連研究

近年の自然言語処理において, 単語埋め込みや言語モデルの Bias の存在を可視化および除去する研究が増えてきている。Caliskan ら [2] は, 認知心理学において人間の潜在的態度を計測する手法である Implicit Association Test (IAT)[5] をもとに, コサイン距離を用いて単語埋め込みが持つ潜在的な Bias を計測する Word Embedding Association Test (WEAT) を考案した. さらに, WEATを用いて事前学習された Glove[12] の性別や人種のような社会集団を表す単語の表現と, 印象を表す単語の表現との間の距離を計測し, その表現に社会集団間で印象の偏りが生じていることを示した.この WEAT は, 単語埋め込みだけを対象にしたものであるが, Sentence Encoder に拡張した研究 [10] やマスク言語モデルに拡張した研究 [8] が存在している.

Nangia ら [11] は, Bias を数量化するために stereotype と anti-stereotype な二組の文から構成されるデータセットである CrowS-Pairs を提案し, 擬似対数尤度マスク言語モデルスコア [14]を用いて擬似的に文の尤度を評価し, stereotype と anti-stereotypeな文のスコアを比較することでマスク言語モデルの Bias の計測し, BERT などの言語モデルが Bias を持つことを示した. Bolukbasi ら [1] は, 単語埋め込みが $\overrightarrow{\text { man }}-\overrightarrow{\text { woman }} \approx \overrightarrow{\text { computer programmer }}-\overrightarrow{\text { homemaker }}$ のようなコーパスに潜む暗黙的な Biasを表現しているアナロジーが存在することを示し, それらを除去する手法を提案した. また, Liang ら [9] は, Bolukbasi らの研究を元に主成分分析を用いて Elmo や BERT などの言語モデルの表現から Bias の部分空間を特定し, それを元の表現から取り除くことでDebiasを実現する手法を提案している。

## 2.1 文表現の摂動正規化損失

## 2.2 擬似対数尤度マスク言語モデルスコア

Nangia ら [11] は, マスク言語モデルの Bias を計測するために擬似対数尤度マスク言語モデルスコア [14]を用いて, 言語モデルに含まれる Bias を計測する手法を提案した. 本指標は, 一部のトークンのみが異なる文のペアが与えられることを前提とし, 二つの文それぞれが Unmodified トークンと Modified トー クンという部分に分けられる. Unmodified トークンは, 文のペアの間で同じトークンである部分を指し， Modified トークンは文のペアの間で異なるトークンの部分を指す. 以降では, それぞれのトークンの集合を $U=\left.\{u_{1}, \ldots, u_{k}\right.\}$ と $M=\left.\{m_{1}, \ldots, m_{l}\right.\}$ とおく.

同実験で提案されたデータセットである CrowS-Pairs から具体的な例を示す. 'Native Americans are lazy and get handouts.' $\succ$ 'Whites are lazy and get handouts.‘のペアが与えられると, 'are lazy and get handouts.‘が両方のペアで $U$ に属し, 'Native Americans‘と'Whites“はそれぞれの文で $M$ に属する. $T$ をコーパスより与えられる文に属するトークンの集合とし, $T=(U \cup M)$ とする. そして, $u_{h}$ を $U$ におる $h$ 番のトークンとすると, 本指標は $M$ とある $u_{h}$ を除く全ての $U$ が与えられた時の $u_{h}$ の条件付き対数尤度の合計として算出され, 次の式のように表される。

$
\operatorname{score}(T)=\sum_{h=1}^{|U|} \log P\left(u_{h} \in U \mid U \backslash\left.\{u_{h}\right.\}, M, \theta\right)
$

このスコアは, 擬似的な負の対数尤度の合計であることから, 与えられたぺアのスコアを比較することで，より高いスコアを持つ文の $M$ の方が言語モデル内で尤もらしい文章であると扱われていると判断できる.

## 2.3 累積 Bias

上記のスコアが擬似的に文の尤もらしさを表現していると考えると, 文のペアのスコア差を $M$ に属するトークンの差によって発生している Bias であるとみなせる. そのため, この差を Bias スコアとし, コーパスの全ペアから計算されるスコアの差の合計を累積バイアスと名付けた. $T^{S}, T^{A}$ をそれぞれ stereotype, anti-stereotype な文のトークンとしたとき， そのペアの集合を $C=\left.\{\left(T_{1}^{S}, T_{1}^{A}\right), \ldots,\left(T_{n}^{S}, T_{n}^{A}\right)\right.\}$ とおくと,累積バイアスは次の式で表される。 $\operatorname{Accumulate} \operatorname{Bias}(C)=\sum_{i=1}^{|C|}\left|\operatorname{score}\left(T_{i}^{S}\right)-\operatorname{score}\left(T_{i}^{A}\right)\right|$

本研究では,この累積 Bias を用いて言語モデルの Bias の数量化をし, 評価をおこなった.

## 2.4 損失関数

言語モデルが学習に使われたコーパスの語彙の共起頻度による Bias を反映していると考えると, 社会集団間で語彙の共起頻度の差を減らすことで Bias を軽減することができるのではないかと考えた。

そこで, マスク言語モデルの事前学習タスクであるマスク予測に使われる Head の出力が, 入力トー クンの予測スコアとなっていることに着目し, 文のペアのスコアのうち Unmodified トークンのスコアが近づくように Fine-tuning をすることで Bias を軽減することを試みた. Unmodified トークンを $U$ とし, $u_{j}$ を $j$ 番目の $U$ のトークンとする. また, マスク予測タスクの Head の予測スコアを確率分布とみなし, その集合を $P$ する.二つの文のトークン $T^{X}$, $T^{Y}$ をモデルに入力した結果は $P^{X}=\left.\{p_{1}, \ldots, p_{\left|T^{X}\right|}\right.\}$, $P^{Y}=\left.\{p_{1}, \ldots, p_{\left|T^{Y}\right|}\right.\}$ となる. $f(P, u)$ を $P$ からトークン $u$ の確率分布を取り出す関数, $K L$ はカルバック・ ライブラー・情報量とすると, 本手法を以下のような損失関数で実現する.

$
L\left(P^{X}, P^{Y}\right)=\frac{1}{|U|} \sum_{j=1}^{|U|} K L\left(f\left(P^{Y}, u_{j}\right)|| f\left(P^{X}, u_{j}\right)\right)
$

式 3 のうち, $f\left(P^{X}, u_{j}\right)$ の項の計算結果を正解デー タとみなし, $f\left(P^{Y}, u_{j}\right)$ の項との誤差を損失とする.

## 3 実験

## 3.1 Bias Fine-tuning

Fine-tuning およびBias の計測には, CrowS-Pairs[11] と WinoBias[17] の 2 つのデータセットを用いた.

CrowS-Pairs はアメリカ合衆国における stereotype と anti-stereotype な文のペアからなるコーパスで, 性別、国籍、人種、信条、身体的特徴などの複数の社会集団をターゲットした文が収録されている.

WinoBias は性別を表す語と職業を表す語の組み合わせを文のテンプレートに当てはめて生成された共参照解析における Bias を計量するためのデータセットである. Nangia ら [11] は, WinoBias を

 \\

表 1 学習・評価に利用したデータセット

CrowS-Pairs と同じフォーマットに変換することで， Gender Bias の計測に利用した. 本研究もこの方法を採用し Bias の計測に利用する. WinoBias は問われる共参照の性質の違いに従って type-1 と type-2 の文から構成されるが, それぞれの命名も Nangia らを踏襲し WinoBias-Knowledge, WinoBias-Ground とする.また, データセットの詳細や例文などは, 表 1 に示した.

Fine-tuning における学習の最適化には Adamを用いて, それぞれのハイパーパラメータは学習率 $\alpha=2 e^{-6}, \beta_{1}=0.9, \beta_{2}=0.999$ とした. また, エポック数は 30 , バッチサイズは 16 とした.

CrowS-Pairs のデータ数が少量であるため, ホー ルドアウトデータなどに分割せずに Fine-tuning の学習と評価に用いて Closed な評価をしている. しかし, この Fine-tuning の結果が汎化していることを示すために, WinoBias-ground と WinoBias-knowledge でさらに評価をおこなった. ベースラインとして Fine-tuning 前の BERTを用いる.

表 2 に, モデルごとの累積 Bias の計算結果を示す. Bias Fine-tuning をとおして, BERT から計算される累積 Bias が減少していることが確認でき, 文表現の摄動正規化損失による Fine-tuning によって Bias の軽減が達成できたと考えられる。

表 2 Fine-tuning 前後の累積 Bias スコア

## 3.2 言語理解タスクによる性能確認

GLUE データセットのトレーニングセットと評価セットを用いて, Bias Fine-tuning の影響で言語理解タスクの性能が劣化していないかを確認をした. 評価セットを用いたため, トレーニングセットおよび評価セットが公開されていない「Diagnostics Main」は評価をしていない. Fine-tuning 前後で BERT
は同じモデル (base, uncased) を使い, また学習に利用するハイパーパラメータも揄えることで性能を比較した. また, 実装と事前学習済みのモデルには transformers[16] を利用した.

GLUE における Fine-tuning の学習の最適化には Adam を用いており,ハイパーパラメータは Devlin ら [3] の実験をもとに学習率 $\alpha=4 e^{-5}, \beta_{1}=0.9$, $\beta_{2}=0.999$ とした. また, エポック数は 3 で, バッチサイズは 32 としている.

表 3 に, モデルごとの GLUE タスクのスコアを示す.このスコアの結果をタスクごとに, Welch の $\mathrm{t}$ 検定を用いて有意水準を 0.01 として検定したところ， RTE を除いて有意差が確認されなかった. そのため, Bias Fine-tuning の前後で GLUE タスクのスコアが大きく変化しておらず, 性能の劣化が見られないことを確認できた。

表 3 GLUE タスクの評価セットにおける結果

## 4 議論

表 2 の結果をより詳細に分析するため, CrowSPairs における Bias スコアを合計せずにヒストグラムに表したものを図 1 に示す. bin は 5 ずつ刻まれており, 0 に近づくほど Bias が少ないと考えられる. Fine-tuning 前後のヒストグラムを比べると，より Bias が小さい方に頻度が増えていることが確認できる.つまり, stereotype と anti-stereotype な文の

図 1 Bias スコアの分布

図 2 擬似対数尤度スコアの分布

トークンの対数尤度が近づいており, 尤度を基準とした Bias 軽減できてると考えられる. また, 個々の stereotype および anti-stereotype の文それぞれの擬似対数尤度マスク言語モデルスコアをヒストグラムにしたものが図 2 である。このヒストグラムの形が対数正規分布に近かったことから, 負の対数尤度から絶対值を取ることでスコアを正の数に変えて対数変換をしたところ、正規分布のような形となった.そこで,それぞれのモデルごとに前述の変換後の stereotype と anti-stereotype のスコアが同じ分布であるという仮説のもと, 対応のある $\mathrm{t}$ 検定で確認した. その結果が表 4 である. 有意水準を 0.1 として,この結果を読み取ると Fine-tuning をする前の BERT では, stereotype と anti-stereotype のスコアが有意に異なる分布をしていると考えられ，一方で Bias Fine-tuning 後では有意差がないため, それぞれの文のスコアが似た分布に近づいていると考えられる。

## 5 おわりに

本研究では, stereotype と anti-stereotype な文のペア間のトークンの予測スコアを近づけるように学習する損失関数と, 事前学習に使われるコーパスの頻度によって引き起こされている Bias を計量するのに効果的な指標を提案した. 実験により文表現の摄動正規化損失は言語モデル内の文の尤度の視点でバイアスを軽減させることに成功していることが確認された.

しかし,この損失関数によって Fine-tuning された表現が後続のタスクの Bias に対してどのような影響を及ぼしているかの評価や本研究で用いた尤度ベースのスコアとは異なる視点から Bias を計測する指標による評価はまだ完了していない. そのため,引き続き議論を深めて言語モデルの Bias を軽減する手法の検証をしていく必要がある.

表 4 擬似対数尤度スコアの検定結果

## 参考文献

[1] Tolga Bolukbasi, Kai-Wei Chang, James Zou, Venkatesh Saligrama, and Adam Tauman Kalai. Man is to computer programmer as woman is to homemaker? debiasing word embeddings. In NIPS, June 2016.

[2] Aylin Caliskan, Joanna J. Bryson, and Arvind Narayanan. Semantics derived automatically from language corpora contain human-like biases. American Association for the Advancement of Science, 2017.

[3] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. In NAACL-HLT (1), pages 4171-4186, 2019.

[4] Lucas Dixon, John Li, Jeffrey Sorensen, Nithum Thain, and Lucy Vasserman. Measuring and mitigating unintended bias in text classification. 2018.

[5] Anthony G. Greenwald, Debbie E. McGhee, and et al. Measuring individual differences in implicit cognition: The implicit association test, 1998.

[6] Mandar Joshi, Danqi Chen, Yinhan Liu, Daniel S. Weld, Luke Zettlemoyer, and Omer Levy. SpanBERT: Improving pre-training by representing and predicting spans. Transactions of the Association for Computational Linguistics, 8:64-77, 2020.

[7] Masahiro Kaneko and Danushka Bollegala. Genderpreserving debiasing for pre-trained word embeddings. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pages 1641-1650, Florence, Italy, July 2019. Association for Computational Linguistics.

[8] Keita Kurita, Nidhi Vyas, Ayush Pareek, Alan W Black, and Yulia Tsvetkov. Measuring bias in contextualized word representations. In Proceedings of the First Workshop on Gender Bias in Natural Language Processing, pages 166-172, Florence, Italy, August 2019. Association for Computational Linguistics.

[9] Paul Pu Liang, Irene Mengze Li, Emily Zheng, Yao Chong Lim, Ruslan Salakhutdinov, and Louis-Philippe Morency. Towards debiasing sentence representations. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pages 5502-5515, Online, July 2020. Association for Computational Linguistics.

[10] Chandler May, Alex Wang, Shikha Bordia, Samuel R. Bowman, and Rachel Rudinger. On measuring social biases in sentence encoders. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pages 622-628, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[11] Nikita Nangia, Clara Vania, Rasika Bhalerao, and Samuel R. Bowman. CrowS-Pairs: A Challenge Dataset for Measuring Social Biases in Masked Language Models. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing, Online, November 2020. Association for Computational Linguistics.

[12] Jeffrey Pennington, Richard Socher, and Christopher D.
Manning. Glove: Global vectors for word representation. In Empirical Methods in Natural Language Processing (EMNLP), pages 1532-1543, 2014.

[13] Matthew E. Peters, Mark Neumann, Mohit Iyyer, Matt Gardner, Christopher Clark, Kenton Lee, and Luke Zettlemoyer. Deep contextualized word representations. In Proc. of NAACL, 2018.

[14] Julian Salazar, Davis Liang, Toan Q. Nguyen, and Katrin Kirchhoff. Masked language model scoring. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pages 2699-2712, Online, July 2020. Association for Computational Linguistics.

[15] Alex Wang, Amanpreet Singh, Julian Michael, Felix Hill, Omer Levy, and Samuel R. Bowman. GLUE: A multitask benchmark and analysis platform for natural language understanding. In International Conference on Learning Representations, 2019.

[16] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Rémi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander M. Rush. Transformers: State-of-the-art natural language processing. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pages 38-45, Online, October 2020. Association for Computational Linguistics.

[17] Jieyu Zhao, Tianlu Wang, Mark Yatskar, Vicente Ordonez, and Kai-Wei Chang. Gender bias in coreference resolution: Evaluation and debiasing methods. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers), pages 15-20, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# XLNet を用いたセンター試験英語不要文除去問題の解答とその分析

坂本美帆 松崎拓也
東京理科大学 理学部第一部 応用数学科
1417055@ed.tus.ac.jp

## 1. はじめに

「ロボットは東大に入れるか」(以下、東ロボ)は、国立情報学研究所を中心とする研究プロジェクトで、人工知能がセンター試験や東京大学の 2 次試験をどこまで解けるのかを明らかにすることを目的とする。 2020 年に東ロボ英語チームは BERT や XLNet の利用によってセンター試験英語に対する得点を大幅に向上させた $[1]$ 。特に不要文除去問題については 2017 年から 2019 年に出題された問題 15 問にすべて正解したと報告されている。不要文除去問題とは、与えられた 8 文程度の文章から、取り除くことで全体のまとまりが良くなる文を一つ選ぶという問題である。図 1 にセンター試験 2019 年本試験第 3 問 A 問 1 を例として示す。

本論文では、XLNetがどのような手がかりを用いて不要文除去問題を解いているのかを探るために、単語を削除する、あるいは未知語を表す特殊トークンに置き換える等の方法で入力を変更した際のモデルの挙動の変化を調べた。結果として、例えば、人が重要と判断したキーワードを削除しても、正解率が低下しないという結果を得たが、一方で、正解の尤度を最も低下させる単語を選んで特殊トークンに置き換えた場合、問題文のトピックに沿ったごく少数の語の置き換えによって正解の尤度が急激に減少するケースが観察された。

## 2. 背景 : 不要文除去問題の解法

この節では杉山ら [1]による不要文除去問題の解法の流れを説明する。まず 10～20 文からなる文章を

When flying across the United States, you may see giant arrows made of concrete on the ground. Although nowadays these arrows are basically places of curiosity, in the past, pilots absolutely needed them when flying from one side of the country to the other. (1) The arrows were seen as being so successful that some people even suggested floating arrows on the Atlantic Ocean. (2) Pilots used the arrows as guides on the flights between New York and San Francisco. (3) Every 16 kilometers, pilots would pass a 21meter-long arrow that was painted bright yellow.

(4) A rotating light in the middle and one light at each end made the arrow visible at night. Since the 1940s, other navigation methods have been introduced and the arrows are generally not used today.Pilots flying through mountainous areas in Montana, however, do still rely on some of them.

## 図 1 不要文除去問題の例 （正解は(1)

用いて、擬似問題を作成する。具体的には、文章から連続する 7 文を抜き出し、抜き出した 7 文以外の範囲からランダムに 1 文を選択し、不要文として 7 文中のランダムな位置に挿入する。そして、これら計 8 文から、挿入した不要文を含むように選択肢とする文を 4 つ選ぶ。

擬似問題の元となる文章には、RACE データセット [2]の本文を用いている。RACE は中高生向けの英語の読解問題を WEB から収集して作成されたデー タセットである。本文の長さが 10 文以上からなる文書を対象として、各文書から少なくとも 1 つ以上の擬似問題を作成し、XLNet $の$ Fine-tune に用いる。

XLNetへの入力には、選択肢を除いた計 7 文全てを用いる。入力形式として、最初に $[\mathrm{CLS}]$ 、選んだ選択肢の位置に $[\mathrm{SEP}]$ 、最後に $[\mathrm{SEP}]$ の特殊トークンを
置く。この形式の入力に対する XLNet の [CLS $]$ トー クンに対する出力ベクトルと、パラメータベクトルの内積をスコアとする。実際に試験問題を解く際も同様の入力形式によりスコアを算出し、4 つの選択肢のうち、スコアが最大となるものを解答とする。

## 3. Fine-tuning $の$ 方法

杉山らはモデルの Fine-tuning において以下述べる二值分類による訓練を行っているが、本研究では下記の多值分類による訓練も行い結果を比較した。

## 3. 1 二値分類による訓練

まず、訓練データ中の各問題について、正解の選択肢の文（真の不要文）を抜いたテキスト（正例）と残りの 3 つの選択肢のうちランダムに一つを選んで抜いたテキスト（負例）の計 2 つを作り、これらを合わせたものを fine-tuning の訓練データとする。訓練時は正例・負例いずれかを入力し、スコアのロジスティック損失をロス関数として分類用のパラメー タベクトルおよび XLNet 本体をチューニングする。

## 3.2 多値分類による訓練

訓練データの 4 つの選択肢の文をそれぞれ抜いた 4 通りのテキストを作る。XLNet に 4 通りのテキス卜を（別々に）入力し、それぞれのスコアを算出する。 4 つのスコアに softmax を適用し、クロスエントロピーをロス関数として分類用のパラメータベクトルおよび XLNet 本体をチューニングする。

## 4. 実験設定及び正解率

事前訓練済みモデルとして XLNet 及び BERT の base モデルと large モデルを使用した。いずれも大文字と小文字を区別する cased モデルを用いた。

入力文の最大トークン数は 170 とし、これ以上は切り捨てた。この最大トークン数で、訓練データと開発データの 9 割及びテストデータの全てがカバー できている。XLNet 及び BERT の実装は transformers ライブラリ [3]のものを使用した。勾配法アルゴリズ表 1 二値分類による訓練の結果

 &  & 参考書 \\

BERT,large & 0.79 & 0.69 & 0.52 \\
XLNet,base & 0.79 & 0.59 & 0.52 \\
XLNet,large & 0.84 & 0.78 & 0.53 \\

表 2 多値分類による訓練の結果

 &  & \\

BERT,large & 0.82 & 0.78 & 0.64 \\
XLNet,base & 0.85 & 0.69 & 0.66 \\
XLNet,large & 0.89 & 0.80 & 0.68 \\

ムは AdamW [4] を用い、学習率は $10^{-5}$ とした。 1 エポックごとに開発データに対するロスとスコアを計算し、ロスあるいはスコアがそれまでで最良ならばモデルを保存するという手続きを 8 エポック分行い、最後に保存されたモデルをテストに用いた。

擬似問題のうち訓練データとして 638,940 問を使用し、開発データとして 34,662 問を使用した。テストデータとして、センター試験の 2014 年〜2020 年本試験・追試験から集めた 42 問及び参考書 2 冊 [5,6] から集めた 75 問を使用した。センター試験の問題の総単語数は 6043 語、参考書の問題の総単語数は 7274 語である。

表 1 に二值分類による訓練の結果を、表 2 に多值分類による訓練の結果を示す。最も正解率が高かつたのは XLNet の large モデルを用い、多値分類の形で訓練したときのものだった。以降の分析ではこのモデルを使用する。
表 3 キーワードを削除した結果

## 5. 分析

## 5. 1 特定の単語を削除した場合の変化

人が問題を解く上で重要な単語が、モデルでも重要な働きをしているか調べたい。そのために、センター試験の問題を解く上で手がかりとなりそうな単語を人手で（主観的に）決め、その単語を問題文から消去したときの正解率の変動を調べた。

以下、正解の選択肢を選ぶために必要と判断した単語を主キーワード、文章を理解する上で重要と判断した単語を副キーワードと呼ぶ。主キーワードは合計 365 個、副キーワードは合計 312 個あった。例を図 2 に示す。図 2 では正解の選択肢を下線で、主キーワードを赤文字、副キーワードは青文字で示す。

表 3 に結果を示す。元の正解率である 0.80 と比べると主キーワードだけを削除したときは正解率が向上している。不要文に主キーワードが含まれる場合、それを削除することで不要文が不自然あるいは非文法的になることが多い。その結果、不要文以外を取り除いたときの入力のスコアが低くなることで、正解しやすくなっている可能性がある。これは主キ ーワードがモデルが問題を解く手がかりになっているかどうかと無関係な変化である。しかし、不要文以外のみに主キーワードが含まれる問題 17 問に対する正答率も、主キーワード削除の前後で（向上することもないが）低下しなかった。そのため、不要
In Japan, there are several ways of transporting goods. Each method has its own advantages and disadvantages. (1) Transportation by air, though it can be expensive, is suitable for carrying goods which require speedy delivery. (2) Buses can carry many passengers, and they are convenient for daily life.

(3) Ships, on the other hand, can carry large quantities at low cost, but it takes much time for them to reach their destinations. Trains can stop only at stations, but their arrival times can easily be estimated. (4) Although trucks cannot carry much compared with trains, they are useful for carrying things from door to door. Such merits and demerits of each method of transportation should be taken into consideration, so the best way can be chosen, depending on the needs.

図 2 主キーワードを削除することで正解した例

文を除いた時の文章のまとまりの良さを評価する手がかりとして、モデルは人間が重要と考えるキーワ ードと異なる部分を使っている可能性がある。

## 5. 2 特定の品詞を削除した場合の変化

問題を解く際にどの品詞が重要になっているかを知るために、問題文から特定の品詞の単語を全て削除したときに正解率がどのように変動するかを調心゙ た。形態素解析には TreeTagger[7] を使用し、品詞セットは Penn Treebank のものを用いた。また、削除する品詞のグループとして、等位接続詞 $(\mathrm{CC})$ ・副詞 (RB) $\cdot$ 名詞 (NN、NNS、NP、NPS 等) $\cdot$ 動詞 (VB、 $\mathrm{VBD} 、 \mathrm{VBG}$ 等) ・形容詞 (JJ、JJR 等)を比較した。 これらの品詞の単語を単に消去した場合をDEL、未知語を表す特殊トークンに置き換えた場合をUNK と呼ぶ。表 4 にセンター試験の問題に対する結果を、表 5 に参考書の問題に対する結果を示す。センター 試験の問題と参考書の問題のどちらも名詞が最も多く、DEL、UNK いずれの方法で削除した場合も正解率が最も低下した。次に数が多い動詞に関しては、 UNK の場合、参考書の問題に対しては正解率が 10 ポイントほど低下したものの、センター試験に対する正解率は逆に向上した。
表 4 特定の品詞を削除した場合（センター試験）

表 5 特定の品詞を削除した場合（参考書）

## 6. 正解の尤度変化に基づく置き換え

モデルが手がかりとしている単語をさらに特定するために、未知語を表す特殊トークン $[\mathrm{UNK}]$ に置き換えたとき、正解の尤度が最も低くなる単語を選び、実際にその単語を[UNK] に置き換えるという操作を、尤度が 0.25 を下回るまで繰り返した。各ステップで選ばれる単語は、モデルが主要な手がかりとしている単語だと考えられる。

センター試験の問題の 1 つに対しこれを行った例を図 3 に示す。太字の単語が [UNK] に置き換えられた単語である。この例では、salting、pepper、ham、 Many の順に置換された。このうち最初の 3 語は問題のテーマである八ムないし保存食に直接関係する単語と言える。図 1 に示した問題に対して同じことを行った場合、Pilots (不要文の次の文の最初の単語) 、 floating (不要文中の単語) の 2 語のみを [UNK]に置き換えた時点で正解の尤度が 0.25 を下回った。この例では、モデルの挙動は極めて少数の単語に依存しているといえる。
One of the most important features in the development of civilization was the preservation of food. Preserving pork legs as ham is one such example.Today, many countries in the world produce ham, but when and where did it begin? (1) Many credit the Chinese with being the first people to record salting raw pork, while others have cited the Gauls, ancient people who lived in western parts of Europe.(2) Another common seasoning is pepper, which works just as well in the preservation of food. (3) It seems almost certain that it was a wellestablished practice by the Roman period. (4) A famous politician in ancient Rome wrote extensively about the "salting of hams" as early as 160B.C.

Regardless of the origin, preserved foods like ham helped human culture to evolve and are deeply rooted in history.

図3 正解の尤度変化に基づく未知語への置き換え例 (センター試験英語 2020 年本試験第 3 問 A 問 3)

## 7. おわりに

不要文除去問題においてXLNetが何を手がかりとしているのかを知るために、入力を変更した場合のモデルの挙動を調べた。人が重要と判断したキーワ ードを問題文から削除する実験では、正解率の低下がほぼ見られなかった。一方で、正解の尤度が最も低下寸るようにいくつかの単語を選び、未知語を表す特殊トークンに置き換える実験では、問題文のトピックに沿った少数の語の置き換えによって正解の尤度が急激に減少するケースが観察された。その他、品詞ごとに単語を削除する実験の結果から、名詞が手がかりとなっている度合いが大きいという知見を得たが、XLNetが何を手がかりにしているのか、完全に理解したといえるまでにはさらに研究が必要である。今後は、Saliency に基づく方法 [10]など、別のアプローチからも手がかりを探していきたい。

## 謝辞

XLNet による不要文除去問題の解答手法の詳細を教えて頂いた NTT コミュニケーション科学基礎研究所の成松宏美氏に感謝いたします。

## 参考文献

［1］杉山弘晃, 成松宏美, 菊井玄一郎, 東中竜一郎,堂坂浩二, 平博順, 南泰浩, 大和淳司. センター試験を対象とした高性能な英語ソルバーの実現. 言語処理学会第 26 回年次発表論文集, 2020.

[2] Guokun Lai, Qizhe Xie, Hanxiao Liu, Yiming Yang, and Eduard Hovy. RACE: Large-scale ReAding Comprehension Dataset From Examinations. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 785-794, 2017.

[3] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Remi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander Rush. Transformers: State-of-the-Art Natural Language Processing. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 38-45, 2020.

[4] Ilya Loshchilov and Frank Hutter. Decoupled Weight Decay Regularization. In Proceedings of the 7th International Conference on Learning Representations, 2019.

［5］ 小林功. マーク式基礎問題集英語［不要文選択・発言の主旨]. 河合出版, 2017 .

[6] 佐藤一行. センター試験英語不要文削除問題集.デザインエッグ社, 2016.

[7] Helmut Schmid. Probabilistic Part-of-Speech Tagging Using Decision Trees. In Proceedings of International Conference on New Methods in Language Processing, 1994.

[8] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional trans- formers for language understanding.
In Proceedings of the 2019 Conference of the North American Chapter of the As- sociation for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), 2019.

[9] Zhilin Yang, Zihang Dai, Yiming Yang, Jaime Carbonell, Russ R. Salakhutdinov, and Quoc V. Le. XLNet: Generalized Autoregressive Pretraining for Language Understanding. In Advances in Neural Information Processing Systems 32, pp. 5753-5763, 2019.

[10] Shuoyang Ding, Hainan Xu, and Philipp Koehn. Saliency-driven word alignment interpretation for neural machine translation. In Proceedings of the Fourth Conference on Machine Translation (Volume 1: Research Papers), pp. 1-12, 2019.


# ニューラル系列変換のための Transformerの注意機構を活用した外部記憶融合

庵 愛，増村 亮，牧島 直輝，田中 智大，高島 瑛彦，折橋 翔太
日本電信電話株式会社, NTTメディアインテリジェンス研究所
mana.ihori.kx@hco.ntt.co.jp

## 1 はじめに

機械翻訳やキャプション生成, 音声認識などの言語生成タスクでは，性能の高い Transformer [1] を用いることが主流となっている [2-9]. Transformer などのニューラル系列変換モデルを学習するためには，大量のパラレルデータが必要となる. そのため, テキストのみのデータを大量に保持していても，その対となるデータがなければ，学習に用いることはできない。また，パラレルデータの作成はコストが大きく，学習に十分な量のパラレルデータを用意することは難しい.

テキストのみのデータを活用するために，大量のテキストのみのデータから学習された外部言語モデルを参照すべき外部記憶として利用する方法が提案されている [10-12]. この方法は, 外部言語モデルをニューラル系列変換モデルに統合することで実現され，ニューラル系列変換モデルの性能の改善に役立つことが確認されている。しかし, 従来の外部言語モデルの統合方法は, recurrent neural network (RNN) に基づくニューラル系列変換モデルを対象としており，Transformer を対象としているわけではない。

Transformer と RNN に基づくニューラル系列変換モデルの異なる点として, multi-hop 注意機構 [13] を採用している点がある. multi-hop 注意機構では, デコーダの層数分, ソースターゲット注意を繰り返す.このように，Transformer ではソースターゲット注意を複数回繰り返すことによって，ソースが持つ系列変換に必要な情報をより柔軟に抽出していると考えられる。

以上より，本論文では Transformer の構造を活用した外部言語モデルの統合方法について提案する。 Transformer が multi-hop 注意機構を採用する特徴的な構造であることを考慮し，外部言語モデルに対
しても multi-hop 注意機構を適用する.ここでは， Transformer のデコーダの内部情報をキーとし，言語モデルに対するソースターゲット注意を多段に行うことで，言語モデルから系列変換に必要な情報を取捨選択することを期待している．評価実験には，話し言葉・書き言葉変換と方言変換の 2 種類のテキストスタイル変換タスクを採用する．各タスクにおいて，提案手法を用いた Transformer に対する外部言語モデルの統合が性能を向上させることを示す.

## 2 関連研究

ニューラル系列変換モデルに対する最も単純な外部言語モデルの統合方法として, 系列変換モデルと言語モデルを対数線形補完する方法がある $[10,14,15]$. この方法は, shallow fusion と呼ばれる.しかし, shallow fusion は系列変換モデルと言語モデルを別々に学習しているため, 系列変換モデルの学習中に外部言語モデルの情報を取り入れることができない，そこで，系列変換モデルの学習中に言語モデルの出力を統合する, deep fusion [11] や cold fusion [12] などの方法が提案されている. これらの方法では, 系列変換モデルの学習にパラレルデータの情報だけでなく，テキストのみの情報も用いることが可能となった。図 1 に，テキストスタイル変換をタスクとし，Transformerに cold fusion を適用した場合のモデル構造を示す.しかし，これらの方法は，RNN に基づくニューラル系列変換モデルに適用することを前提として提案されたものであり， Transformer の構造を明示的に活かせていない.

## 3 提案手法

本論文では， Transformer の構造を明示的に活用した外部言語モデルの統合方法を提案する。ここで，提案手法は，cold fusion を拡張した方法となる.し

図 1 cold fusion を用いた Transformer

かし, cold fusion が外部言語モデルの持つ知識を一度のみ使うのに対して, 提案手法では, multi-hop 注意機構を用いることで外部言語モデルの持つ知識を繰り返し使用する。そのため, 提案手法は, cold fusion よりも Transformer のデコーダが持つ multi-hop な構造を明示的に活かし, 言語モデルの持つ知識を柔軟に抽出することが期待される.

本論文では，テキストスタイル変換をタスクとして, 入力のトークン系列を $\boldsymbol{X}=\left.\{x_{1}, \cdots, x_{M}\right.\}$, 出力のトークン系列を $\boldsymbol{Y}=\left.\{y_{1}, \cdots, y_{N}\right.\}$ と表す.ここで， $M$ は入力の, $N$ は出力のトークン数を表す. テキストスタイル変換では, 変換前のトークン系列 $\boldsymbol{X}$ が与えられた時, 変換後のトークン系列 $\boldsymbol{Y}$ の事後確率を式 (1)によって導出する.

$
P(\boldsymbol{Y} \mid \boldsymbol{X} ; \boldsymbol{\Theta})=\prod_{n=1}^{N} P\left(y_{n} \mid y_{1: n-1}, \boldsymbol{X} ; \boldsymbol{\Theta}\right)
$

ここで, $y_{1: n-1}=\left.\{y_{1}, \cdots, y_{n-1}\right.\}$ であり, $\boldsymbol{\Theta}=$ $\left.\{\theta_{\mathrm{enc}}, \theta_{\mathrm{dec}}, \theta_{\mathrm{lm}}\right.\}$ はモデルパラメータを表す. $\theta_{\mathrm{enc}}, \theta_{\mathrm{dec}}$ は Transformer のエンコーダとデコーダ, $\theta_{\operatorname{lm}}$ は外部言語モデルにおけるパラメータを表す。 $P\left(y_{n} \mid y_{1: n-1}, \boldsymbol{X} ; \boldsymbol{\Theta}\right)$ は Transformer のエンコーダ, 提案手法を用いて外部言語モデルを統合したデコーダによって算出される. 図 2 に，テキストスタイル変換をタスクとし，Transformerに提案手法を適用した場合のモデル構造を示す.

## 3.1 エンコーダ

エンコーダでは, $K$ 層の Transformer エンコーダブロックを用いて，入力系列 $\boldsymbol{X}$ を隠れ状態ベクトル $\boldsymbol{S}^{(K)}$ に変換する. まず，最初の Transformer エン

図 2 提案手法を用いた Transformer

コーダブロックの入力 $\boldsymbol{S}^{(0)}=\left.\{s_{1}^{(0)}, \cdots, s_{M}^{(0)}\right.\}$ は, 式 (2) によって算出される。

$
\begin{gathered}
\boldsymbol{s}_{m}^{(0)}=\operatorname{AddPositionalEncoding}\left(\boldsymbol{x}_{m}\right) \\
\boldsymbol{x}_{m}=\operatorname{Embedding}\left(x_{m} ; \theta_{\mathrm{enc}}\right)
\end{gathered}
$

ここで, AddPositionalEncoding($\cdot$) は, 位置エンコー ディングの関数を, Embedding(.) は，トークンを連続ベクトルに変換する関数を表す。次に， $k$ 層目の隠れ状態べクトルである $S^{(k)}$ は，下層の出力 $\boldsymbol{S}^{(k-1)}$ を入力として式 (4)によって算出される.

$
\boldsymbol{S}^{(k)}=\operatorname{TransformerEncBlock}\left(\boldsymbol{S}^{(k-1)} ; \theta_{\mathrm{enc}}\right)
$

ここで，TransformerEncBlock($\cdot$) は，Transformer エンコーダブロックを表しており，複数ヘッドの自己注意層と位置単位の順伝播ネットワーク [1] によって構成される。

## 3.2 提案手法を用いたデコーダ

提案手法を用いたデコーダでは， $J$ 層の Transformer デコーダブロックを用いて算出された隠れ状態ベクトル $\boldsymbol{u}_{n-1}^{(J)}$ から，トークン $y_{n}$ の事後確率を式 (5)を用いて算出する.

$
P\left(y_{n} \mid y_{1: n-1}, \boldsymbol{X} ; \boldsymbol{\Theta}\right)=\operatorname{softmax}\left(\boldsymbol{u}_{n-1}^{(J)} ; \theta_{\mathrm{dec}}\right)
$

ここで， softmax($\cdot$) は，活性化関数 softmax を用いた線形変換を表す。

Transformer デコーダブロックの入力の隠机状態ベクトルである $\boldsymbol{u}_{n-1}^{(0)}$ は式 (6)によって算出される.

$
\begin{gathered}
\boldsymbol{u}_{n-1}^{(0)}=\operatorname{AddPositionalEncoding}\left(\boldsymbol{y}_{n-1}\right) \\
\boldsymbol{y}_{n-1}=\operatorname{Embedding}\left(y_{n-1} ; \theta_{\mathrm{dec}}\right)
\end{gathered}
$
$j$ 番目の隠れ状態べクトルである $\boldsymbol{u}_{n-1}^{(j)}$ は，入力系列の情報を持つ隠扎状態ベクトル $\boldsymbol{c}_{n-1}^{(j)}$ と，外部言語モデルの情報を持つ隠れ状態ベクトル $\boldsymbol{b}_{n-1}^{(j)}$ から算出される. まず, $\boldsymbol{c}_{n-1}^{(j)}$ は, 下層の出力 $\boldsymbol{u}_{1}^{(j-1)}, \cdots, \boldsymbol{u}_{n-1}^{(j-1)}$ と, エンコーダの出力 $\boldsymbol{S}^{(k)}$ を入力として以下のように算出される.

$
\begin{gathered}
\overline{\boldsymbol{v}}_{n-1}^{(j)}=\operatorname{SourceTarget}\left(\boldsymbol{u}_{1: n-1}^{(j-1)}, \boldsymbol{u}_{n-1}^{(j-1)} ; \theta_{\mathrm{dec}}\right) \\
\boldsymbol{v}_{n-1}^{(j)}=\operatorname{LayerNorm}\left(\boldsymbol{u}_{n-1}^{(j-1)}+\overline{\boldsymbol{v}}_{n-1}^{(j)}\right) \\
\overline{\boldsymbol{c}}_{n-1}^{(j)}=\operatorname{SourceTarget}\left(\boldsymbol{S}^{(K)}, \boldsymbol{v}_{n-1}^{(j)} ; \theta_{\mathrm{dec}}\right) \\
\boldsymbol{c}_{n-1}^{(j)}=\text { LayerNorm }\left(\boldsymbol{u}_{n-1}^{(j)}+\overline{\boldsymbol{c}}_{n-1}^{(j)}\right)
\end{gathered}
$

ここで, SourceTarget $(\cdot)$ は, 複数ヘッドのソースター ゲット注意層を，LayerNorm($\cdot$)は, layer normalization を表す. 次に， $\boldsymbol{b}_{n-1}^{(j)}$ は，隠れ状態ベクトル $\boldsymbol{v}_{n-1}^{(j)}$ と，外部言語モデルの出力を入力として以下のように算出される.

$
\begin{gathered}
\boldsymbol{l}_{n-1}^{\mathrm{LM}}=\text { LanguageModel }\left(y_{1: n-1} ; \theta_{\mathrm{dec}}\right) \\
\boldsymbol{h}_{n-1}^{\mathrm{LM}}=\operatorname{linear}\left(\boldsymbol{l}_{n-1}^{\mathrm{LM}} ; \theta_{\mathrm{dec}}\right) \\
\overline{\boldsymbol{b}}_{n-1}^{(j)}=\operatorname{SourceTarget}\left(\boldsymbol{h}_{1: n-1}^{\mathrm{LM}}, \boldsymbol{v}_{n-1}^{(j)} ; \theta_{\mathrm{dec}}\right) \\
\boldsymbol{b}_{n-1}^{(j)}=\operatorname{LayerNorm}\left(\boldsymbol{v}_{n-1}^{(j)}+\overline{\boldsymbol{b}}_{n-1}^{(j)}\right)
\end{gathered}
$

ここで，LanguageModel($\cdot$) は，外部言語モデルを表す. さらに，隠れ状態べクトル $\boldsymbol{c}_{n-1}^{(j)}$ と $\boldsymbol{b}_{n-1}^{(j)}$ をゲー ティング機構 [16] を用いて式 (16) によって連結させる.

$
\begin{gathered}
\boldsymbol{q}_{n-1}^{(j)}=\left[\boldsymbol{c}_{n-1}^{(j)}{ }^{\mathrm{T}}, \boldsymbol{g}_{n-1}^{(j)} \odot \boldsymbol{b}_{n-1}^{(j)}{ }^{\mathrm{T}}\right]^{\mathrm{T}} \\
\boldsymbol{g}_{n-1}^{(j)}=\operatorname{sigmoid}\left(\left[\boldsymbol{c}_{n-1}^{(j)}, \boldsymbol{b}_{n-1}^{(j)}{ }^{\mathrm{T}}\right]^{\mathrm{T}} ; \theta_{\mathrm{dec}}\right)
\end{gathered}
$

ここで， sigomid($\cdot$)は，活性化関数 sigmoid を用いた線形変換を表す. 最終的に， $\boldsymbol{u}_{n-1}^{(j)}$ は $\boldsymbol{q}_{n-1}^{(j)}$ を入力として以下のように算出される.

$
\begin{aligned}
& \overline{\boldsymbol{u}}_{n-1}^{(j)}=\text { FeedForward }\left(\boldsymbol{q}_{n-1}^{(j)} ; \theta_{\mathrm{dec}}\right) \\
& \boldsymbol{u}_{n-1}^{(j)}=\text { LayerNorm }\left(\boldsymbol{q}_{n-1}^{(j)}+\overline{\boldsymbol{u}}_{n-1}^{(j)}\right)
\end{aligned}
$

ここで，FeedForward($\cdot$) は，位置単位の順伝播ネットワークを表す.

## 3.3 学習

Transformer のモデルパラメータは, 学習データ $\mathscr{D}=\left.\{\left(\boldsymbol{X}^{1}, \boldsymbol{Y}^{1}\right), \cdots,\left(\boldsymbol{X}^{|D|}, \boldsymbol{Y}^{|D|}\right)\right.\}$ を用い, 以下の損失関数で最適化される.

$
\mathscr{L}=-\frac{1}{|\mathscr{D}|} \sum_{d=1}^{|\mathscr{D}|} \log P\left(\boldsymbol{Y}^{d} \mid \boldsymbol{X}^{d} ; \boldsymbol{\Theta}\right)
$

ここで, 外部言語モデルのパラメータ $\theta_{\operatorname{lm}}$ は, freezing したものを使用する.

## 4 評価実験

評価実験では，話し言葉・書き言葉変換と方言変換の 2 種類のテキストスタイル変換タスクを用いた. 話し言葉・書き言葉変換は，音声認識結果である話し言葉テキストを，フィラーや言い淀みなどを削除した書き言葉テキストに変換するタスクである [17]. 方言変換は，日本各地の方言で話されているテキストを標準語のテキストへ変換するタスクである.

## 4.1 データ

話し言葉・書き言葉変換： 話し言葉・書き言葉変換では, 日本語話し言葉コーパス (CSJ）[18] と日本語文章のための話し言葉・書き言葉変換コーパス（CJSW） [17]を使用した。ここで，CSJを 46,847 文の学習セット, 13,510 文の開発セット, 3,949 文のテストセットに分割した。また，CJSWを 36,749 文の学習セット，2,627 文の開発セット，6,415 文のテストセットに分割した. すべてのデータは, 音声認識の書き起こしである話し言葉テキストと, クラウドソーシングによって作成された書き言葉テキストのパラレルデータから成る。

方言変換： 東北弁，大阪弁，九州弁で話されたテキストを標準語のテキストに変換したパラレルデータをクラウドソーシングによって作成した。それらのデータを，15,506 文の学習セット，3,924 文の開発セット，2,160 文のテストセットに分割した。 これらのデータは， 3 種類の方言を混合したものであり，テストセットは，東北弁が 700 文，大阪弁が 862 文，九州弁が 598 文で構成した。

テキストのみのデータ： 様々なトピックのウェブページから我々が実装したクローラで収集した 100 万文の書き言葉テキストを用いた.

## 4.2 実験条件

テキストスタイル変換モデルには Transformer を採用し, shallow fusion [10] と cold fusion [12], 提案手法を用いて外部言語モデルの統合を行った。ここで，外部言語モデルの統合を用いない Transformer をべースラインとして用いた。また，外部言語モデルには任意の言語モデルを用いることができるが，本論文では Open AI GPT [19]を採用した.

Transformer のエンコーダには 256 ユニットを持つ 4 層の Transformer エンコーダブロックを，デコーダには 256 ユニットを持つ 2 層の Transformer デコー ダブロックを採用した。また，GPTには256ユニットを持つ 4 層の Transformer ブロックを採用した。 このとき，すべての Transformer ブロックにおける複数ヘッドの注意機構はヘッド数を 8 に設定した.出力層のユニットサイズは, 外部言語モデルの学習データに含まれる文字数である 5,640 に設定した。 shallow fusion の $\gamma$ は 0.1 に設定した。学習には adam を用い，学習率の warmup を 100,000 に設定した。また, ミニバッチサイズは 64 に設定し, 各発話は 200 で truncate した. さらに，トークンの分割には文字区切りを採用した。

## 4.3 実験結果

表 1 に話し言葉・書き言葉変換の結果を, 表 2 に方言変換の結果を示す.ここで，自動評価指標には， 3-gram の BLEU [20] と ROUGE-L [21], METEOR [22] を採用した. 表 1,2 より, 2 つのスタイル変換タスクにおいて提案手法が最も高い性能を示した。また，各手法におけるテキストスタイル変換の例を図 3 に示す. まず，CSJ の変換結果に着目すると，提案手法では"新鮮"という単語を正しく生成できているが，他の手法では生成に失敗していることがわかる.ここで, "新鮮"という単語は, Transformer の学習データには含まれていなかったが，外部言語モデルの学習データには含まれていた. 次に, 東北弁の変換結果に着目する. shallow fusion や cold fusion では, ベースラインの生成文の流暢性を改善することはできているものの, 文頭の誤変換は修正できていなかった。一方, 提案手法では, 他手法の"皆"という誤変換を"何"と正しく修正できていることが確認された. 以上より, 提案手法では, Transformerの持つ多段な構造を明示的に活かすことにより，外部言語モデルの情報をより柔軟に抽出できるようになったと考えられる。また, 表 1 と表 2 の結果を比べると, 方言変換タスクの方が提案手法による効果が大きいことが確認できる.これは, Transformer の学習データ量に依存したものだと考えられる. 実際に，学習データ量は, CSJ が最も多く, 次に CSJW, 方言変換データとなっていた。 以上より，外部言語モデルの統合は, ニューラル系列変換モデルの学習デー 久量が少ない時ほど, より有効に働くことが示唆された。表 1 話し言葉・書き言葉変換タスクにおける結果

a). ベースライン b). Shallow fusion

c). Cold fusion d). 提案手法

表 2 方言変換タスクにおける結果

a). ベースライン b). Shallow fusion

c). Cold fusion d). 提案手法

## 5 おわりに

本論文では, Transformer の構造を明示的に活用した外部言語モデルの統合方法について提案した. 従来のニューラル系列変換モデルに対する外部言語モデルの統合方法は, 最終層の直前に言語モデルの情報を統合するのみであった。それに対して，提案手法では外部言語モデルの出力に対して, 多段に注意機構を設けることにより, 系列変換に有効な情報を柔軟に取捨選択できるようにした。評価実験の結果, 既存手法と比べて提案手法では, 2 種類のテキストスタイル変換タスクにおいて従来手法よりも性能が改善され，有効性が示唆された。

図 3 各手法におけるスタイル変換の例

## 参考文献

[1] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Proc. Advances in neural information processing systems (NIPS), pp. 5998-6008, 2017.

[2] Qiang Wang, Bei Li, Tong Xiao, Jingbo Zhu, Changliang Li, Derek F. Wong, and Lidia S. Chao. Learning deep transformer models for machine translation. In Proc. Association for Computational Linguistics(ACL), pp. 18101822, 2019.

[3] Loïc Barrault, Ondřej Bojar, Marta R. Costa-jussà, Christian Federmann, Mark Fishel, Yvette Graham, Barry Haddow, Matthias Huck, Philipp Koehn, Shervin Malmasi, Christof Monz, Mathias Müller, Santanu Pal, Matt Post, and Marcos Zampieri. Findings of the 2019 conference on machine translation (WMT19). In Proc. Conference on Machine Translation (WMT), pp. 1-61, 2019.

[4] Jie Li, Xiaorui Wang, Yan Li, et al. The speechtransformer for large-scale Mandarin Chinese speech recognition. In Proc. International Conference on Acoustics, Speech and Signal Processing (ICASSP), pp. 7095-7099, 2019.

[5] Jun Yu, Jing Li, Zhou Yu, and Qingming Huang. Multimodal transformer with multi-view visual representation for image captioning. IEEE Transactions on Circuits and Systems for Video Technology, pp. 1-1, 2019.

[6] Guang Li, Linchao Zhu, Ping Liu, and Yi Yang. Entangled transformer for image captioning. In Proc. International Conference on Computer Vision (ICCV), pp. 8928-8937, 2019.

[7] Linhao Dong, Shuang Xu, and Bo Xu. Speech-transformer: a no-recurrence sequence-to-sequence model for speech recognition. In Proc. International Conference on Acoustics, Speech and Signal Processing (ICASSP), pp. 58845888, 2018.

[8] Shigeki Karita, Nanxin Chen, Tomoki Hayashi, Takaaki Hori, Hirofumi Inaguma, Ziyan Jiang, Masao Someki, Nelson Enrique Yalta Soplin, Ryuichi Yamamoto, Xiaofei Wang, et al. A comparative study on transformer vs RNN in speech applications. In Proc. Automatic Speech Recognition and Understanding Workshop (ASRU), pp. 449-456, 2019.

[9] Julian Salazar, Katrin Kirchhoff, and Zhiheng Huang. Self-attention networks for connectionist temporal classification in speech recognition. In Proc. International Conference on Acoustics, Speech and Signal Processing (ICASSP), pp. 7115-7119, 2019.

[10] Anjuli Kannan, Yonghui Wu, Patrick Nguyen, Tara N Sainath, Zhijeng Chen, and Rohit Prabhavalkar. An analysis of incorporating an external language model into a sequence-to-sequence model. In Proc. International Conference on Acoustics, Speech and Signal Processing (ICASSP), pp. 5824-5828, 2018.

[11] Caglar Gulcehre, Orhan Firat, Kelvin Xu, Kyunghyun Cho, Loic Barrault, Huei-Chi Lin, Fethi Bougares, Holger Schwenk, and Yoshua Bengio. On using monolingual corpora in neural machine translation. arXiv preprint
arXiv:1503.03535, 2015.

[12] Anuroop Sriram, Heewoo Jun, Sanjeev Satheesh, and Adam Coates. Cold fusion: Training seq2seq models together with language models. In Proc. International Speech Communication Association (INTERSPEECH), pp. 387-391, 2018.

[13] Sainbayar Sukhbaatar, Jason Weston, Rob Fergus, et al. End-to-end memory networks. In Proc. Advances in neural information processing systems (NIPS), pp. 2440-2448, 2015.

[14] Jan Chorowski and Navdeep Jaitly. Towards better decoding and language model integration in sequence to sequence models. In Proc. International Speech Communication Association (INTERSPEECH), pp. 523-527, 2017.

[15] Ilya Sutskever, Oriol Vinyals, and Quoc V Le. Sequence to sequence learning with neural networks. In Proc. Advances in neural information processing systems(NIPS), pp. 31043112, 2014.

[16] Zhilin Yang, Bhuwan Dhingra, Ye Yuan, Junjie Hu, William W Cohen, and Ruslan Salakhutdinov. Words or characters? fine-grained gating for reading comprehension. arXiv preprint arXiv:1611.01724, 2016.

[17] Mana Ihori, Akihiko Takashima, and Ryo Masumura. Parallel corpus for Japanese spoken-to-written style conversion. In Proc. Language Resources and Evaluation Conference (LREC), pp. 6346-6353, 2020.

[18] Kikuo Maekawa, Hanae Koiso, Sadaoki Furui, and Hitoshi Isahara. Spontaneous speech corpus of Japanese. In Proc. International Conference on Language Resources and Evaluation (LREC), pp. 947-952, 2000.

[19] Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. Language models are unsupervised multitask learners. OpenAI blog, p. 9, 2019.

[20] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proc. Annual Meeting on Association for Computational Linguistics (ACL), pp. 311-318, 2002.

[21] Chin-Yew Lin and Franz Josef Och. Automatic evaluation of machine translation quality using longest common subsequence and skip-bigram statistics. In Proc. Annual Meeting on Association for Computational Linguistics (ACL), pp. 605-612, 2004.

[22] Satanjeev Banerjee and Alon Lavie. METEOR: An automatic metric for MT evaluation with improved correlation with human judgments. In Proc. the ACL Workshop on Intrinsic and Extrinsic Evaluation Measures for Machine Translation and/or Summarization, pp. 65-72, 2005.


# 無関連パラレルコーパスを用いた平易文生成

野本忠司
国文学研究資料館
nomoto@acm.org

## 1 はじめに

本稿では，二つの互いに意味的関連性のないコー パスを用いて，平易文を生成することを考える。文の平易化について大きな問題となるのが大量の教師データの確保である. 人手によるアノテーションを避けるため, これまで字幕, ウィキペディアなどの既存オンラインデータを駆使して学習データを 「鋳造」する動きが主流であったが，近年ターゲットコーパスを用いることなく平易化を目指すアプローチに徐々にも注目が集まるようになってきた.本研究もこの流れに沿うものであるが特に本稿に直接関連するものとしては [1] がある. この研究では平易化学習に用いるパラレルコーパスのうちター ゲットコーパスをソースコーパスから機械的な手続き（類似度判定）により「合成」しても十分な有効性があることを示した. 当時平易化用ターゲットコーパスはとれと明示的に意図して作成されたものなくてはならないという暗黙のコンセンサスがあったため, この結果は研究者に驚きをもって迎えられた. しかし [1]のアプローチが成立するには, 原文とターゲットの間に十分な類似性が確保されていることが条件となる.この条件が崩れると同手法は有効性を失う. さらに関連した問題として計算コストの問題ある. $N$ 文から成るソースコーパスから仮想ターゲットを作るためには $\left(N^{2}-N\right) / 2$ 回の比較計算が必要となる. 多くのコーパスのサイズは数十万〜数百万文に達しておりターゲットコーパス合成の労力は非常に大きいものとなる.このような背景のもと本稿ではこのような類似性に関する条件を導入せず，平易文生成が可能かどうか検討する.

## 2 双対ネットワーク

本稿では二つの同型のエンコーダ・デコーダー ネットワークを重ね合わせた双対モデルを導入する. エンコーダー，デコーダーはいずれも LSTM とする. 本モデルの目標は平易文の属性を抽出して複

(a) ベースモデル $(\beta$ モデル $)$

(b) GAN 型モデル ( $\gamma$ モデル)

(c) 類似度参照型モデル ( $\sigma$ モデル)

図 1: 双対ネットワーク

雑な文に転写し後者を平易化することにある．特に本稿では図 1 に示す三つのアプローチを検討する. $x_{k}$ は平易文， $x_{a}$ は複雑文とする． $y_{k}$ はターゲットを表す. ただし $x_{k}=y_{k}$ とする。また $x_{a}, y_{k}$ の類似度（後述）はゼロ近くに保つ. 双対ネットワークの上位部分はオートエンコーダー（図 1a の 'UPPER')下位部分 (図中 'LOWER'で示した箇所) は翻訳モデルとして機能する。位，下位ネットワークはパラメーターをすべて共有する．モデルはすべて Fairseq ライブラリーを用いて構築した. ${ }^{1)}$

さらに平易文から複雑文への属性の転写を促すために二つの手法を導入する。ひとつは GANを用いた方法もうひとつは類似度ロスを用いた方法である. 特に GANについては Jensen-Shannon 法と Wasserstein 法について検討する。まず GANについて説明する. GANは一般に弁別器を用いて目標か

1) https://github.com/pytorch/fairseq.git
表 1: JS-GAN と W-GAN. $\quad E_{1}(x)$ はエンコーダー $E_{1}$ の出力. $E_{2}(x)$ も同様. $G_{p}$ は Gradient Penalty[2]. $\lambda$ はハイパーパラメーター.

$
\begin{array}{ccc}
& \text { 弁別ロス } & \text { 生成ロス } \\
\text { JS-GAN } & \mathbb{E}\left[\log D\left(E_{1}(x)\right)\right]+\mathbb{E}\left[\log \left(1-D\left(E_{2}(x)\right)\right]\right. & \mathbb{E}\left[\log D\left(E_{2}(x)\right)\right] \\
\text { W-GAN } & \mathbb{E}\left[f\left(E_{1}(x)\right)\right]-\mathbb{E}\left[f\left(E_{2}(x)\right)\right]+\lambda G_{p} & \mathbb{E}\left[f\left(E_{2}(x)\right)\right]
\end{array}
$

らのズレの情報を獲得し生成器に流すことで出力を目標に近づける. Jensen-Shannon 法 (JS-GAN) と Wasserstein 法 (W-GAN) の大きな違いは目標とのズレを測る方法の違いに由来する. JS-GANではシグモイド関数を用い W-GAN は Earth Mover’s Distance と呼ばれる距離を用いる. GANでは通常二種類のロス関数を用いる。ひとつは弁別ロスであり，もうひとつは生成ロスである。 それぞれ弁別器, 生成器の訓練に用いられる。表 1 に JS-GAN と W-GAN の弁別ロス，生成ロスをまとめる。本稿では $f, D$ は以下で定義されるものとする。

$
\begin{aligned}
D(H(x)) & =\operatorname{sigmoid}(f(H(x))), \\
f(H(x)) & \left.=w^{\top} \operatorname{relu}\left(f_{c}(H(x))\right)\right)
\end{aligned}
$

$f$ は全結合層， $f_{c}$ は畳み込み層を表す. $H(x)$ は $x$ を入力とする任意のネットワーク. 本稿では特に GANをエンコーダーの出力に適用する。これは複雑文の出力表現を平易文のそれに近づけることで，後者の属性が前者に転写されるのを狙っているためである. JS-GAN は W-GAN に比べて逆伝播される情報の粒度が荒くなる. 本件ではこの違いが平易化に影響するのか否か注目する。

類似度参照型モデルは図 1 のベースモデルに原文とターゲットの意味を近づけるよう下位ネットワー クに類似度ロスを備える。これは以下のように与える. $E_{2}(x), D_{2}(x)$ は $E_{2}, D_{2}$ の出力 (図 1 参照).

$
\mathcal{S}=1-\cos \left(E_{2}\left(x_{a}\right), D_{2}\left(E_{2}\left(x_{a}\right)\right)\right) .
$

最後に, 図 1 のすべてのモデルについて以下のロスを付加する。

$
\begin{aligned}
\mathscr{L}_{r e c}= & \mathbb{E}_{x \sim P_{k}}\left[-\log P_{D_{1}}\left(y \mid E_{1}(x)\right)\right] \\
& +\mathbb{E}_{x \sim P_{a}}\left[-\log P_{D_{2}}\left(y \mid E_{2}(x)\right)\right] .
\end{aligned}
$

なお，表 2 に各モデルで用いるロス関数をまとめた。

## 3 入出力交替型オートエンコーダー

一般に平易文とその原文は意味的，構文的にかなり類似している。本稿ではこの性質をさらに強くモデルに反映させるため，下位ネットワーク (LOWER)表 2: 双対ネットワークにおけるロス関数

$
\begin{array}{l|l}
\beta \text { モデル } & \mathscr{L}_{r e c} \\
\gamma \text { モデル (JS-GAN) } & \mathscr{L}_{r e c}+\mathbb{E}\left[\log D\left(E_{2}(x)\right)\right] \\
\gamma \text { モデル (W-GAN) } & \mathscr{L}_{r e c}+\mathbb{E}\left[f\left(E_{2}(x)\right)\right] \\
\sigma \text { モデル } & \mathscr{L}_{r e c}+\mathbb{E}\left[1-\cos \left(E_{2}(x), D_{2}\left(E_{2}(x)\right)\right]\right.
\end{array}
$

において，ターゲットを入力とランダムに入れ替えることを考える。具体的には下位ネットワークの $y_{k}$ と $x_{a}$ をある確率で交換する．ターゲットが $x_{a}$ に置き換わったモデルは通常のオートエンコーダーと同じ振る舞いをする.このようなモデルを「入出力交替型オートエンコーダー」ないしは FFA (Flip-Flop Auto-Encoder) と呼ぶことにする.

## 4 実験

実験では [3]が公開している原文・ターゲット無対応のコーパス (TSDATA)をべースにする（Wikipedia 由来). ${ }^{2)}$ TSDATA は Flesch-Kincaid や Flesch Reading Ease 等一般的な平易化指標において原文がター ゲットに対して難度が高くなるよう設計されている. 今回このデータの前半 100 万対を取り出し学習用データとする。これを OOA-TRAIN と呼ぶ. テストデータとしては平易化研究でスタンダードでなりつつある，[4] がクラウドソースして構成したテストデータを用いる（以降 TURK-TEST）。ベー スは Simple Wikipedia で 359 の原文・ターゲット対でそれぞれ人手による別解が 8 つ付随する。また参考のため [4] と [1] が用いた有対応学習データ (WikiLarge, SSCORPUS) のプロファイルを表 4 に載せる. SSCORPUS ${ }^{3)}$ と WikiLarge ${ }^{4}$ ) は前者が類似度指標（MAS）を用いて Wikipedia から学習データを自動構築しているのに対して後者は Wikipedia と Simple Wikipediaを対応づけ人手でデータ構築を行っている点で大きく異なる.

表 4 から以下のような指摘が可能である.まず TSDATA, OOA-TRAIN は類似性がゼロに近く FGL, FRE も大差なくほぼ同じと見なせる。一方

2) https://github.com/subramanyamdvss/UnsupNTS.git

3) https://github.com/tmu-nlp/sscorpus.git

4) https://github.com/XingxingZhang/dress.git
表 3: 本稿で用いる無対応の学習データの例

 &  \\
 &  \\

表 4: 実験で用いるデータセット. TOK: 一文あたり平均語数. FRE: Flesch Reading Ease. FGL: Flesch-Kincaid Grade Level. SIM: 原文・ターゲットのコサイン類似度. SIZE: 原文・ターゲット対の総数. ALG は対応の有無を示す.

SSCORPUS は WikiLarge に極めて近い. 原文・ター ゲットのコサイン値は WikiLarge のそれを超える. また FGL/FRE もほぼ同じと言ってよい。このことから SSCORPUS と WikiLarge は作り方の違いはあるもののトークン数, FGL/FRE, 原文とターゲットの意味的近さ (SIM) において同一と見なせる. TURK-TEST は WikiLarge をべースにしているためプロファイルは後者のものを引き継いでいる。なおコサイン值 (SIM) はストップワードを排しSciPyを用いて計算した. ${ }^{5)}$ また本稿では開発データとして WikiLarge パッケージに同包されている Dev データを利用した (992ペア)。つまり本稿の $\beta, \gamma, \sigma$ 各モデルは学習データとして OOA-TRAIN, 開発データとして WikiLarge，テストデータとして TURK-TEST を用いていることになる.

結果を表 6 に示す. FFA による入出力交替確率は 0.2 とした. ここで DIFF とは入力と出力の単語数の差の平均を示す. 例えば $\mathrm{DIFF}=2$ は出力が入力に比べて文の長さが 2 単語分短いことを意味する. SARI は [5] が発案した出力の多様性（大力といかに違うか）を示す指標. 上向き矢印个は当該指標の値が高いと良く，下向きはは小さいと良いことを示す. $\gamma$

モデル (J) はJS-GANを， $\gamma$ モデル (W) は W-GAN を導入した $\gamma$ 型モデルを表す。比較のため現在 SOTA として知られているモデル (UNTS) [3] の（現実験環境下で再現した）結果を併記した. UNTS は RNN 型の多言語同時翻訳モデルをベースにしている. 本稿アプローチ，特に $\gamma$ モデル $(\mathrm{J})$ が主要指標である BLEU，SARIにおいてUNTS を凌いでいることが確認できる.

さらに本稿とは異なったアプローチで教師なし平易文生成を実現している 2 つモデルとの比較を行った（表 7 ）、いずれもテストはTURK-TESTを用いた.ひとつは MAS と呼ばれる類似度指標を用いて原文・ターゲットのアライメントを行いフレーズ統計翻訳システム $(\text { MOSES })^{6}$ ) で学習させるアプロー チ [1]（表では PBSMT），もうひとつは LIGHTLS と呼ばれる GloVe で学習済みの単語埋め込みから近い単語を見つけ原文の単語と置き換え平易化する一種の辞書引き法である [6]（表中では LLS）.7）いずれも $\gamma$ モデル (J) を SARIにおいて凌いでいるものの BLEU，DIFFにおいて劣っている。

これが具体的どのような出力の違いとして現れる

表 5: 生成例

 \\

## 表 6: 実験結果

表 7: コーパスに厳密な意味的対応を必要としない既存モデル

のか，いくつかの生成例を用いて説明する（表 5). なお今回紙面の都合上 LLS は割愛する. 表 5 が示すように PBSMT の出力は基本的に単語レベルの置き換えが中心になっている（(2)（3）の 'movies', 'raids'など)。一方 $\gamma$ モデル $(\mathrm{J})$ では構文上の大きな切り詰めが起きている. このように評価上の数字で
は見えないが，両者の出力スタイルに大きな違いが存在する. 理由としては $\gamma$ モデル $(\mathrm{J})$ は学習データにおいて原文・ターゲットに意味的対応関係が存在せず，単語置き換えのパターンの発見には至らなかったのではないかと想像される。

## 5 おわりに

以上，本件では二つの意味的関連性がないコーパスを用いた平易文生成について検討した。結果，本件が提案する JS GANを導入した双対ネットワークが既知手法と比し優れていることを確認した. 教師を用いない平易化はモデルを工夫するか，データを工夫するかのいずれかになるが，本件では前者のアプローチを提案した. データを工夫するやり方は [1] が代表的であるが実現には大規模な文同士の比較を要しコストが大きい．本稿ではこのような手続きを経ず平易化ができるのかという問題を設定し，一応の見通しを得た。本件では紙面の都合上 FFA の重要性について触れなかったが単に GAN を使えば済むというものではないことを実験的に確認していることを付記しておく。

## 参考文献

[1]Tomoyuki Kajiwara. Text Simplification without Simplified Corpora. PhD thesis, Tokyo Metropolitan University, March 2018.

[2]Ishaan Gulrajani, Faruk Ahmed, Martín Arjovsky, Vincent Dumoulin, and Aaron C. Courville. Improved training of wasserstein gans. CoRR, Vol. abs/1704.00028, , 2017.

[3]Sai Surya, Abhijit Mishra, Anirban Laha, Parag Jain, and Karthik Sankaranarayanan. Unsupervised neural text simplification. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 2058-2068, Florence, Italy, July 2019. Association for Computational Linguistics.

[4]Xingxing Zhang and Mirella Lapata. Sentence simplification with deep reinforcement learning. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 584-594, Copenhagen, Denmark, September 2017. Association for Computational Linguistics.

[5]Wei Xu, Courtney Napoles, Ellie Pavlick, Quanze Chen, and Chris Callison-Burch. Optimizing statistical machine translation for text simplification. Transactions of the Association for Computational Linguistics, Vol. 4, pp. 401-415, 2016.

[6]Goran Glavaš and Sanja Štajner. Simplifying lexical simplification: Do we need simplified corpora? In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 2: Short Papers), pp. 63-68, Beijing, China, July 2015. Association for Computational Linguistics.


# 企業情報を考慮したキャッチコピーの自動生成

昇夏海 $\dagger$, 平岡達也 $\dagger$, 丹羽彩奈 $\dagger$, 西口佳佑 $๋$, 岡崎直観 $\dagger$
†東京工業大学†株式会社サイバーエージェント
\{natsumi.nobori, tatsuya.hiraoka, ayana.niwa\}at nlp.c.titech.ac.jp
okazaki at c.titech.ac.jp
nishiguchi_keisuke at cyberagent.co.jp

## 1 はじめに

キャッチコピーは企業や商品のイメージを消費者に端的に伝えることを目的とした文章であり，インターネット上で大量の広告が発信されるようになった現在では，その自動生成に注目が集まっている $[1,2,3,4]$. キャッチコピーの自動生成に関する研究の一例として，山根らはキャッチコピーの特徴の分析を行い [5]，SNS 上のデータを活用して消費者の嗜好を反映させたキャッチコピーの生成に取り組んだ [6]. また, Alnajjar ら [7] は韻や比喻を含むキャッチコピーの自動生成に取り組んだ。このように，これまでの研究は単語や文構造を制御し，修辞技法などの特定の特徵を持つようなキャッチコピー の生成を目指すことが多かった。

これに対し，本研究では特定の企業を想起させる特徴的な単語（企業関連語）を含むキャッチコピー の自動生成に取り組む。例えば，住友林業の「木と生きる幸福」の「木」のように広告対象を直接的に示すものや，ニチレイの「おいしい瞬間を届けたい」の「おいしい」のようなものが企業関連語として挙げられる。このような企業関連語を含めることで，キャッチコピーと広告対象の結びつきが強くなり，広告の効果を引き出すことができる [8]. 実際に，丹羽ら [9] は，収集したキャッチコピーのうち $57 \%$ に広告対象を想起させるような単語が含まれていることを報告している．そのため，企業関連語を組み込んだキャッチコピーの自動生成を行うことは，低コストで効果的な広告の作成に役立つ。

従来のキャッチコピー生成では，既存のキャッチコピーの単語を置換することで，新たなキャッチコピーを生成していた。このとき，置換を行う単語のリストは事前に作成し，モデルに与える必要があった. 例えば，ユーザからの入力情報や，Wikipedia
や SNS，商品情報を含む Web ページなどの外部文書をもとに単語リストを自動で抽出し，これを広告対象名やその関連語としてモデルに与えていた $[3,2,6,10]$. しかしながら，このように事前に作成した企業関連語で置換を行うキャッチコピー生成では，生成範囲が単語リストで限定されてしまうため，多様性に欠けるという問題がある。さらに，事前に作成した単語リストに含まれる単語が置換対象となる文脈にそぐわず，非文法的なキャッチコピー を生成してしまう恐れもある。

本研究では，事前学習済み言語モデルを用い，既存広告の一部を異なる企業の関連語で置き換えることにより，既存広告を指定した企業の広告に転移させることを試みる。具体的には，BERT [11]によるマスク言語モデルを用いて，キャッチコピー内の指定した単語を企業関連語に置き換える。ところが，ある企業のキャッチコピーを別の企業に書き換えた並列コーパスは存在しないため，このタスクで BERT を再学習するための訓練データは存在しない。そこで，BERT のマスク言語モデルが指定した企業の関連語を出力できるように制御するために， Plug and Play Language Model (PPLM) [12] の枠組みを応用した新たなキャッチコピー生成の手法を提案する. 実際のキャッチコピーを用いた実験を通して，提案手法が指定された企業を考慮し，適切なキャッチコピーが生成できることを確認した。

## 2 提案手法

## 2.1 単語予測のためのマスク言語モデル

本研究の目的は, 既存のキャッチコピーの 1 単語を書き換えることにより，別の企業のキャッチコピーへ転移させることである．例えば，図 1 に示すように，佐川急便のキャッチコピーである「想

(1) 文書分類器とマスク言語モデルの学習

(2) 全単語探索による単語の予測

(3) 推論時のパラメータ更新による単語の予測

図 1: 手法概要:企業ラベルを用いたキャッチコピーの生成

いは一番重い。」について，「重い」という単語を置き換えることで，「想いは一番甘い。」のような新たなキャッチコピーを作成する．具体的には単語の系列 $s=w_{1}, \ldots, w_{N}$ について, 系列に含まれる単語 $w_{n}(1 \leq n \leq N)$ を単語 $w^{\prime}$ に置き換えることによって，新たなキャッチコピー $s^{\prime}$ の生成を行う.

単語 $w^{\prime}$ の予測には，事前学習済みのマスク言語モデルである BERT [11]を利用する．マスク言語モデルの学習では, 入力文 $\mathrm{s}$ に含まれる単語をランダムに一つ選択し，特殊なマスクトークン [MASK] に置き換えた新たな入力文 $s_{\backslash w_{m}}$ を作成する.ここで $\backslash w_{m}$ は $m$ 番目の単語を [MASK] でマスクしたことを表す. マスク済みの文 $s_{\backslash w_{m}}$ の [MASK] に対応する BERT の出力 $\boldsymbol{h}_{\hat{m}}$ を用いて, マスク前の単語の確率を以下のように計算する。

$
p\left(w_{m} \mid s_{\backslash w_{m}}\right)=\operatorname{softmax}\left(\operatorname{MLP}^{(\mathrm{MASK})}\left(\boldsymbol{h}_{\hat{m}}\right)\right)_{w_{m}} \text {. }
$

ここで $\mathrm{MLP}^{(\mathrm{MASK})}(\cdot)$ は多層の全結合層であり， $\boldsymbol{h}_{\hat{m}}$ を語彙の規模と同じ次元数のベクトルへと変換する. また, $(\cdot)_{w_{m}}$ は単語 $w_{m}$ に対応する要素を抜き出す操作である.すなわち [MASK] に対応する入力から，語彙に含まれる各単語に対応する確率をソフトマックス関数で計算し，置き換え前の単語に対応する確率を出力する。このマスク言語モデルの学習は図1の(1)の MLP $^{\text {(MASK) }}$ の学習に対応する.

## 2.2 PPLM による予測の制御

本研究ではさらに，企業ラベルを用いたキャッチコピー生成の制御を行う．上述の例のように「想いは一番重い。」というキャッチコピーを，ある特定の企業（例えば「明治製菓」）のイメージを盛り込んだ内容に書き換えるとする。この時，「明治製菓」 という企業ラベルをモデルに導入することで，「想いは一番甘い。のように指定された企業を考慮し
た書き換えを実現したい。

企業ラベルを用いたキャッチコピー生成の制御のために，PPLM [12] の枠組みを応用する．PPLM では，事前にテキスト $s$ からラベル $l$ を予測する文書分類器を学習し, これを用いてラベル $l$ を考慮した新たな単語 $w^{\prime}$ の予測を行う. 具体的には, 学習済みの文書分類器がラベル $l$ を予測する確率 $p\left(l \mid s^{\prime}\right)$ を用い，文書分類器がラベル $l$ を予測するような新たなテキスト $s^{\prime}$ を求める.

文書分類の確率 $p(l \mid s)$ は以下のように計算する.

$
\begin{aligned}
\boldsymbol{h}^{(\mathrm{CLS})} & =f(\operatorname{BERT}(s)) \\
p(l \mid s) & =\operatorname{softmax}\left(\operatorname{MLP}^{(\mathrm{CLS})}\left(\boldsymbol{h}^{(\mathrm{CLS})}\right)\right)_{l}
\end{aligned}
$

ここで， $\operatorname{BERT}(\cdot)$ は単語の系列 $s=w_{1}, \ldots, w_{N}$ を入力とし, 各時刻の単語 $w_{n}$ に対応する文脈を考慮した分散表現 $\boldsymbol{h}_{1}, \ldots, \boldsymbol{h}_{N}$ を出力する事前学習済みの BERTを用いたエンコーダーである. ただし，入力となる単語の系列の先頭 $w_{1}$ と末尾 $w_{N}$ は, それぞれ文書分類に使用するための特殊トークン [CLS] と，文末を意味する特殊トークン [SEP] である。また $f(\cdot)$ は BERT の出力から文書分類に使用するべ

では特殊トークンの入力に対応する $\boldsymbol{h}_{0}$ を抜き出す操作を採用する. $\mathrm{MLP}^{(\mathrm{CLS})}(\cdot)$ は式 (1) で用いた $\mathrm{MLP}^{(\mathrm{MASK})}(\cdot)$ とは異なる多層の全結合層であり，抜き出した $h_{0}$ を文書ラベルの規模と同じ次元数のべクトルへと変換する. この文章分類器の学習は図 1 の (1)の MLP $^{\text {(CLS) }}$ の学習に対応する.

## 2.3 置換後単語の予測戦略

キャッチコピー $s$ について, 単語 $w_{n}$ を $w^{\prime}$ に置換して得られた $s^{\prime}$ が学習済みの文書分類器によって企業ラベル $l$ に分類される確率を $p\left(l \mid s^{\prime}: w_{n}=w^{\prime}\right)$
表 1: 広告データのマスク処理の例

企業ラベル：牛乳石战共進社

[MASK] は、あなたのカドをまるくします。石けんは、あなたの [MASK]をまるくします。石けんは、あなたのカドを [MASK] します。

表 2: 実験に使用したデータの諸元

と表記する。本研究では，この確率が大きくなるような $w^{*}$ を求めるために 3 つの手法を提案する。

全探索による単語の予測: 語彙 $V$ に含まれる全ての単語候補を用いて $w^{*}=\operatorname{argmax}_{w^{\prime} \in V} p\left(l \mid s^{\prime}: w_{n}=w^{\prime}\right)$ となる $w^{*}$ を求める. これは図 1 の (2) に対応する.追加学習による単語予測: PPLM での予測と同様に,推論時に指定した企業ラベルを用いて文書分類器を追加で学習することで， $p\left(l \mid s^{\prime}, w_{n}=w^{\prime}\right)$ が高くなるように BERT のパラメータのみを更新し，その副産物としてマスクされた単語の予測結果が企業に特徴的な単語になるように誘導する。また，文書分類の追加学習によるマスク言語モデルの忘却 [13] を防ぐために，マスクした $w_{n}$ 以外の単語はそのまま予測できるように追加学習を行う. 追加学習を行なった BERT とマスク言語モデルを用いて，式 (1)による単語の予測を行う.この学習と単語の予測の概要は図1の(3)に対応する.

組み合わせによる単語の予測: 全探索と追加学習を組み合わせた単語の予測を行う. 単語 $w_{n}$ を $w^{\prime}$ で置き換えたときのスコアを以下によって計算する。

$
\operatorname{score}\left(w_{n}, w^{\prime}\right)=p\left(l \mid s^{\prime}: w_{n}=w^{\prime}\right) p\left(w_{n} \mid s_{\backslash w_{n}}\right)
$

ここで $p\left(l \mid s^{\prime}: w_{n}=w^{\prime}\right)$ は全探索による単語の予測で求められたラベル $l$ のの分類確率, $p\left(w_{n} \mid s_{\backslash w_{n}}\right)$ は追加学習を行なった BERT とマスク言語モデルを用いて計算した単語の出現確率である。このスコアが高くなる単語を最終的な予測単語として採用する.

## 3 実験

提案手法によるキャッチコピー生成の有効性を確かめるために，実際のキャッチコピーを用いた実験を行う. 本実験では，既存のキャッチコピーから単語をランダムに [MASK] に置き換え，さらに企業ラベルを用いることで置き換え前の単語の予測性能が向上するかを確認する. 提案手法が企業ラベルを用いて企業に特徴的な単語を予測できるのであれば，表 3: マスク予測の実験結果.

表 4: 「あのオトコ、どうやって [MASK] してやろうか。」への各手法の予測上位 3 単語. 企業ラベルは 「キッコーマン」で，正解の単語は「料理」である.

この実験の評価値は高くなるはずである。

## 3.1 実験設定

本研究では，多数のキャッチコピーを収録したデータセット [14]を用いた実験を行う。データセットに収録されているキャッチコピーの一部を [MASK] に置き換えることで，置換前の単語を予測するマスク言語モデルのタスクを作成した。ただし，[MASK]への置き換えは名詞，形容詞，動詞のみを対象とした。品詞の解析には $\mathrm{MeCab}$ [15] を用いた。また，予測の制御を行うための企業ラベルには，キャッチコピーのテーマとなる企業・団体名を用いた。マスク済みのデータの例を表 1 に示した。 また，データセットに含まれる企業ラベルは 443 種類であり，このうちキャッチコピー数の多い 50 企業を選択して開発データと評価データを作成した。実験に用いたデータセットの諸元を表 2 に示した。

2 節で導入した各手法の性能を比較する。全ての手法に共通する設定として，文書分類とマスク言語モデルに用いる事前学習モデルは Hugging Face ${ }^{1)}$ の日本語の事前学習済み BERT モデル “bert-basejapanese-whole-word-masking,"2)を用いた。また，文書分類器とマスク言語モデルの学習では Adam[16] による最適化を行う。

提案手法が企業ラベルを用いて予測を制御できることを確かめるために，マスク言語モデルのみを学習して置換後単語の予測を行うモデル (MASK) との比較を行う．また， 2.3 節で説明した全探索による単語の予測を行うモデル (全探索), 追加学習による単語の予測を行うモデル (追加学習), これらの組み

表 5: 「想いは一番 $[\mathrm{MASK}]_{0} 」$ 対して，異なる企業ラベルを与えた時の各手法による Top9 の予測単語. 本来の企業ラベルは「佐川急便」で，単語は「重い」である。

 & 美しい & 重い & 強い & 長い & 短い & 多い & 早い & 甘い & 近い \\

合わせによって単語の予測を行うモデル (組み合わせ) をそれぞれ比較し，正解単語に対する top- $k$ 正解率 (Acc@k) による評価を行う。

## 3.2 実験結果

表 3 の実験結果より，全探索と追加学習を組み合わせて単語の予測を行う手法が，もっとも高い精度で正しい単語を予測できることがわかった. また,追加学習を行うモデルが MASK モデルよりも性能が高いことから, 企業ラベルを用いて追加学習を行う提案手法によって, 企業に特徴的な単語を正しく選択できていることがわかった. 一方で，提案手法のうち全探索による単語の予測を行うモデルは, 他のモデルと比べて性能が大きく劣る. これは, 文書分類器の分類確率が最も高くなる単語を全探索で選択するだけでは，企業に特徴的な単語を予測できても，前後の文脈を考慮できないためである.

実際に，各手法によって予測された単語の例を表 4 に示す. 全探索によって単語を予測する手法は,企業関連語（キッコーマンと結びつきやすい「奨油」 など）を予測の上位に挙げているが，前後の文脈を考慮していないことが分かる。一方で MASK モデルは前後の文脈のみを考慮した単語（「出世」など） を上位に挙げている. 追加学習や全探索との組み合わせによる提案手法は, 企業関連語を考慮した単語を上位に予測している。

## 3.3 異なる企業ラベルによる予測

本研究の目的である新しいキャッチコピーの生成のために，キャッチコピーの本来のターゲットとは異なる企業ラベルを用いて単語の予測を行う．実験で比較した各手法に対して，同一のマスク済みキャッチコピーを入力し，異なる企業ラベルを与え
た時の予測単語の Top 9 の予測結果を表 5 に示した.

表より, 全探索と追加学習を組み合わせた提案手法は，「佐川急便」に対して「重い」，「明治製菓」に対して「甘い」のように，企業ごとに異なる関連語を Top 1 として予測できていることが分かった. マスク言語モデルのみを用いた手法は，企業ラベルを推論時に使用しないため, 全ての企業に対して同じ単語を予測する。追加学習のみを行う手法は，マスク言語モデルのみを用いた手法と上位の予測結果が変わらず，Top 1 の単語に関しては全ての企業に対して「美しい」を出力している. 表 3 において， MASK モデルと追加学習モデルの性能差が小さいことからも示唆される通り, 追加学習を用いた単語の予測はほとんどマスク言語モデルの性能と変わらないことがわかった。また，全探索による手法は「佐川」「石賖」「チョコレート」のように，明らかな企業関連語を予測できているが，言語モデルとしての働きはないため, 文脈にそぐわない単語の予測を行なっている.

## 4 おわりに

本稿では，マスク言語モデルで単語の置換を行い，既存のキャッチコピーを異なる企業へ転移させる手法を提案した。 提案手法は，企業ラベルを用いた文書分類器とマスク言語モデルをを事前に学習することで，指定した企業ラベルに関連し，かつ前後の文脈を考慮した単語の予測を行う. 単語の予測では，語彙を用いた全探索手法と，PPLMをべースとした追加学習による手法，そしてこの二つを組み合わせた手法を提案した. 実験結果より, 二つの手法を組み合わせることで適切な単語の置き換えによるキャッチコピー生成ができることを確認した. 今後は，複数の単語を書き換える手法に拡張したい。

## 参考文献

[1]Carlo Strapparava, Alessandro Valitutti, and Oliviero Stock. Automatizing two creative functions for advertising. In Proceedings of the 4th International Joint Workshop on Computational Creativity, pp. 99-108, 2007.

[2]Gözde Özbal, Daniele Pighin, and Carlo Strapparava. BRAINSUP: Brainstorming support for creative sentence generation. In Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1446-1455, 2013.

[3]Polona Tomašič, Gregor Papa, and Martin Žnidaršič. Using a genetic algorithm to produce slogans. Informatica, Vol. 39, No. 2, 2015.

[4]Yongzhen Wang, Heng Huang, Yuliang Yan, and Xiaozhong Liu. Quality-sensitive training! social advertisement generation by leveraging user click behavior. In Proceedings of the 2019 World Wide Web Conference, pp. 2045-2055, 2019.

[5]山根宏彰, 萩原将文. 複数コーパスを利用したキャッチフレーズの特徴分析. 日本感性工学会論文誌, Vol. 11, No. 2, pp. 233-239, 2012.

[6]山根宏彰, 萩原将文. ウェブにおけるユーザの嗜好を反映させたキャッチコピー自動生成システム. 日本感性工学会論文誌, Vol. 13, No. 4, pp. 493-500, 2014.

[7]Khalid Alnajjar and Hannu Toivonen. Computational generation of slogans. Natural Language Engineering, p. 1-33, 2020.

[8]Chiranjeev Kohli, Lance Leuthesser, and Rajneesh Suri. Got slogan? guidelines for creating effective slogans. Business horizons, Vol. 50, No. 5, pp. 415-422, 2007.

[9]丹羽彩奈, 岡崎直観, 西口佳佑, 亀山千尋, 毛利真崇. 修辞技法を考慮したキャッチコピー自動生成に向けた研究. p. 63. YANS, 2019.

[10]脇本宏平, 川本峻頌, 張培楠. インターネット広告におけるキーワードに基づく広告文の自動生成. 人工知能学会全国大会論文集, Vol. JSAI2020, pp. 4Rin170-4Rin170, 2020.

[11]Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 41714186, 2019.

[12]Sumanth Dathathri, Andrea Madotto, Janice Lan, Jane Hung, Eric Frank, Piero Molino, Jason Yosinski, and Rosanne Liu. Plug and play language models: A simple approach to controlled text generation. In International Conference on Learning Representations, 2020.

[13]Sang-Woo Lee, Jin-Hwa Kim, JungWoo Ha, and Byoung-Tak Zhang. Overcoming catastrophic forgetting by incremental moment matching. CoRR, Vol. abs/1703.08475, , 2017.

[14]丹羽彩奈, 岡崎直観, 西口佳佑, 亀山千尋, 毛利真崇. キャッチコピーの自動生成に向けた分析. pp. 558-561.言語処理学会第 25 回年次大会, 2019.

[15]Taku Kudo. Mecab: Yet another part-of-speech and morphological analyzer. http://taku910.github.io/mecab/, 2006.

[16]Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In International Conference on Learning Representations, 2015.


# Transformer を用いた日本語併置型駄酒落の自動生成

畠山 和久
東京工業大学情報理工学院
hatakeyama.k.aa@m.titech.ac.jp
}

徳永 健伸
東京工業大学情報理工学院
take@c.titech.ac.jp

## 1 はじめに

雑談対話システムにおいて機械がユーモアを理解できるようになることで対話の継続性を高め，システムの性能向上が見込まれている [1]. 駄酒落は音韻的ユーモアを含む短文ユーモアとされており，広義では比喻の一種である [2]. たとえば「布団が吹っ飛んだ」において「布団」に音韻的に類似している「吹っ飛ん (だ)」という句が続いており, 文の意味と文が含む音の観点での言葉遊びからこの文は駄酒落として成立していると考えられる．駄酒落を自動生成できれば，機械がユーモアを理解するという点において有用である. 本研究では入力として与えた単語をお題とする日本語の駄酒落を自動生成することを目的とする。

## 2 関連研究

駄酒落は「かけられている部分 (種表現)」とそれに音韻的に類似する「かかっている部分 (変形表現)」の関係として捉えることができる. 種表現と変形表現が一文中に併置されているものを併置型,全体もしくは一部分を共有しているものを重畳型と呼ぶ. 重胃型では種表現は背景知識や文脈からくるものとされており，文中に明示されないことが多い. さらに併置型は, 種表現と変形表現が音韻的に完全に一致する Perfect 型とそうでない Imperfect 型に細分化されている [3]. 表 1 に駄酒落の例を示す.

表 1 駄酒落の例

荒木らはユーザー投稿型の 9 つの駅酒落サイトから収集した 68,000 件のデータに駄酒落の種別と種表現/変形表現区間をアノテーションし，駄酒落データベースを構築している [4]. 駄酒落を生成する試みとしてキムらはテンプレートとそれを埋める
スキーマを定義し，辞書と類音語リストを基に日本語の駄酒落なぞなぞの生成を行った [5]. 荒木はお題からクエリを生成し，駄酒落データベース内を検索する駄酒落生成システムを提案した [6]. Yu らは LSTM による Seq2Seq を用いて, 初めて駅酒落を機械学習の枠組みで自動生成する手法を提案した [7].英語の重胃型駄酒落において，表層が一致する単語を 2 つ語義として解釈できるように並列に復号化することで駄酒落を行っている。また，駄酒落を認識するタスクについて，谷津らは語彙素性や子音列の音韻類似性を基にしたSVM を用いる手法を提案した [8]. 本研究では機械学習の手法を用いて日本語を対象とした駄酒落の自動生成を行う.

## 3 提案手法

本研究では，Transformer [9]を用いた言語モデルを使って駄酒落を生成する．言語モデルとして名大会話コーパス [10]から作成した Base Language Model (BLM) と荒木らの駄酒落データベース [4] から作成した Repetition Language Model (RLM) を考え，さらに，両者をマルチタスク学習して得られたモデル (MLM) によって駄酒落を生成する。

## 3.1 BLM

BLM は Encoder-Decoder モデルを用いて，お題とお題を含む一文を対応させて学習する．BLM を導入することによって，既存の䭾酒落にない言い回しを生成することと駄酒落の流暢さを担保すること狙っている.

## 3.2 RLM

RLM は駄酒落における種表現と変形表現に見られる音の反復を学習することを狙っている. 文中の 2 箇所の区間が一定以上の類似度を持てば駄酒落だと考えられるが，駄酒落では種表現と変形表現の位置が自明ではなく，一般的な (駄酒落でない)文であっても短い区間が偶然類似する可能性もあ

る.そこで本研究では編集距離 (レーベンシュタイン距離) [11] 参考にして設計した，2つの文字列の類似度を計算する関数 $\mathrm{S}_{\mathrm{pun}}$ を用いて, 文字配列 $\mathrm{Sq}$ について音の反復を定量化するスコア PRS (Pun Repetition Score) を以下のように定義する.

$\mathrm{PRS}=\max _{2 \leq i \leq|\mathrm{Sq}|-2} \mathrm{~S}_{\mathrm{pun}}(\mathrm{Sq}[0: i], \mathrm{Sq}[i:|\mathrm{Sq}|])$

$\mathrm{S}_{\text {pun }}(\mathrm{X}, \mathrm{Y})=\max _{0 \leq i \leq|\mathrm{X}|, 0 \leq j \leq|\mathrm{Y}|} \frac{\mathrm{DP}[i, j]}{\min (i, j)}$

ただし,

$\mathrm{DP}[i, 0]=\mathrm{DP}[0, j]=0$

$\mathrm{DP}[i, j]=\max \left(\begin{array}{l}\mathrm{DP}[i-1, j]+\operatorname{Skip}[i-1, j](1), \\ \mathrm{DP}[i-1, j-1]+\operatorname{sim}(\mathrm{X}[i], \mathrm{Y}[j])(2), \\ \mathrm{DP}[i, j-1]+\operatorname{Skip}[i, j-1](3)\end{array}\right)$

Skip $[i, j]= \begin{cases}0 & (\mathrm{DP}[i, j] \text { が }(2) \text { 式より得られた }) \\ -0.8 & \text { (otherwise) }\end{cases}$

$\operatorname{sim}(x, y)=\operatorname{match}\left(x_{v}, y_{v}\right)+\operatorname{match}\left(x_{c}, y_{c}\right)$

$\operatorname{match}(x, y)= \begin{cases}1 & (x=y) \\ -0.2 & (x \neq y)\end{cases}$

DP, Skip は $\mathrm{S}_{\mathrm{pun}}$ を計算する際に使う二次元配列, $x_{v} ， x_{c}$ はそれぞれ文字 $x$ の母音，子音を表す. $\mathrm{S}_{\mathrm{pun}}$ は編集距離に以下の変更を加えている.

・入力となる文字列 $\mathrm{Sq}$ には読み仮名列を考える。各文字の母音と子音も考慮する。
- 編集距離が不一致部分での插入/削除/置換に対して減点されるのに対して $S_{\text {pun }}$ は類似部分について加点する
- $\mathrm{S}_{\mathrm{pun}}$ の挿入/削除は配列 Skip を用い，2 文字以上マッチしない場合に減点する.

・一致もしくは置換のコストは母音と子音それぞれについて match $(x, y)$ で計算する.

PRS によって音の重複の観点から文字列が駄酒落らしいかどうかを評価できる。

音の反復を明示的に生成する手法として，通常の言語モデル学習で用いられる Cross Entropy 損失 $\left(L_{\mathrm{CE}}\right)$ のみのモデルに加え，お題の読み仮名を入力に加えた上で以下の KL Divergence 損失 $\left(L_{\mathrm{KL}}\right)$ を加えるモデルも考慮する. ${ }^{1)}$

Loss $=L_{\mathrm{CE}}(y, t)+\min _{i} L_{\mathrm{KL}}\left(y\left[i: i+\left|x^{\prime}\right|\right], \mathrm{D}\left.\langle x^{\prime}\right.\rangle\right)$

ここで $x^{\prime}$ は入力の単語のひらがな表記， $y$ はニューラルネットワークにおける出力の確率分布,

1）入力として与えられる単語は種表現として解釈する $t$ は教師信号，D は文字を要素とする語彙 $\mathrm{V}$ に対し $\tau|\mathrm{V}| \times|\mathrm{V}|$ の 2 次元配列で， $\mathrm{D}\langle\cdot\rangle$ は引数に含まれる文字に対応する列を切り出し結合した $|\mathrm{V}| \times\left|x^{\prime}\right|$ の部分配列を表わす. $i$ はモデルの出力を読み仮名の長さ分切り出す際の開始位置を表している。 $L_{\mathrm{KL}}$ では出力の系列に対して一部分を切り出しながら入力単語の読み仮名との類似度を計算し, 尤もらしい部分に対して類似度 $\mathrm{S}_{\mathrm{pun}}$ による損失を与える. この損失を加えることにより出力の一部分に入力の読み仮名と似た部分を生成しようとしている。

$L_{\mathrm{KL}}$ を計算するには教師分布が必要であるが,式 (4) 中の $L_{\mathrm{KL}}$ の第 2 引数 D として V 中の各文字に対し，自分自身のみを 1 ，それ以外を 0 とする 2 次元配列 $\mathrm{U}$ と，各文字に対して $\mathrm{V}$ 中のすべての文字との類似度を $\mathrm{S}_{\text {pun }}$ によって計算した 2 次元配列 $\mathrm{W}$ の 2 種類を設定した. 以降この配列 $\mathrm{U} ， \mathrm{~W}$ 教師分布と呼ぶ. U，W は以下のように定義する。

$\mathrm{U}_{i j}= \begin{cases}1 & (i=j) \\ 0 & (\text { otherwise) }\end{cases}$

$\mathrm{W}_{i j}=\mathrm{S}_{\mathrm{pun}}\left(v_{i}, v_{j}\right)\left(v_{i}, v_{j} \in V\right)$

## 3.3 MLM

BLM とRLMを基にマルチタスク学習を行う. 駄酒落データベース [4] と名大会話コーパス [10] 両方を使用し，それぞれタスクで用いた損失関数の重み付け和で学習を行う。

## 4 PRS の評価

駄酒落生成に先立って，駄酒落識別タスクを用いて PRS の妥当性を確認する。

## 4.1 データ

正例として駄酒落データベース [4]を，負例として名大会話コーパス [10]を用いる. 駄酒落データベースの前処理として各種アノテーションを削除し，生データを再現した形態にした. 名大会話コー パスの前処理として句点や「!」,「?」で終わっているものを一文として扱う分割を行った。また，「ぬるいような、冷たいような...」は駄酒落ではないが 「ような」の区間で反復が起こっている。このような駄酒落を意図していない反復表現に対処するため，既に一致している区間を削除する。

## 4.2 実験

ベースラインとして谷津ら [8] の手法を用いる.谷津らは学習セットの語彙を用いた bag of words と読み仮名列の一致素性, 子音の音韻類似度素性等を基に SVM で分類器を作成している. PRS では得られたスコアの閾値を学習セットを用いて 0.75 とした. 正例，負例それぞれ 250 件，計 500 件のデー 夕を 5 分割交差検証して得られた Precision，Recall, F1 値の平均を表 2 に示す. PRS による方法は F1 值ではわずかにベースラインに及ばないものの， Precision に関してはSVM に比べ高い性能を得ていることから，PRS を䭾酒落の音韻的な観点での評価に用いる。

表 2 PRS 実験結果

## 5 駄酒落生成の評価

## 5.1 データと前処理

BLM の学習には名大会話コーパス [10]を，RLM の学習に駄酒落データベース [4]を用いる. それぞれお題となる入力 1 単語から 1 文を生成するタスクを学習する. 名大会話コーパスでは以下の前処理を行った.

1. 会話文を句点で分割し，基本的に一文を 1 単位として扱う。
2. 30 文字以上の文を読点で分割しそれぞれを 1 単位に変更する．4 文字以下の文章は削除する.
3. $\mathrm{MeCab}^{2)}$ で形態素解析を行い、名詞を抽出しお題と定義する. 出力文のお題部分は [MSK] トークンに置き換える。

駄酒落データベースでは，併置型駄酒落のみを対象として，種表現をお題とし，䭾酒落のお題部分を [MSK]トークンで置換する前処理を行った. それぞれのデータについてお題を基にグループ化し，お題によって学習/テストデータの分割を行った。これらの処理により, 名大会話コーパスから 157,132 文,駄酒落データベースから 52,246 文の学習データが得られた。

## 5.2 モデル

BLM，RLM，MLM 全てにおいて，エンコーダー， デコーダーそれぞれ 12 層の Transformerを用いて実験を行った [12]. また，お題の単語を確実に出力するため，コピー機構 [13] を参考に [MSK] タグを入力単語に置き換える. 実験設定として, epoch 数 $=40$, optimizer=AdamW, 学習率 $=2 \times 10^{-} 5$, drop out $=0.1$, MLM における重みは $\alpha=\beta=0.5$ で実験を行った. tokenizer は形態素でなく文字単位の分割を行っている.

## 5.3 自動評価

自動評価では BLM， $L_{C E}$ のみを用いた RLM(以下 RLM-CE), 教師分布 Uを用いた $L_{\mathrm{KL}}$ を損失関数に追加した RLM(以下 $\mathrm{RLM}-\mathrm{KL}_{\mathrm{U}}$ )，分布 $\mathrm{W}$ を用いた $L_{\mathrm{KL}}$ を追加した RLM(以下 RLM-KLW)，Cross Entropy 損失のみを用いた MLM(以下 MLM-CE)，分布 Uを用いた $L_{\mathrm{KL}}$ を追加した MLM(以下 MLM-KL $\mathrm{C}_{\mathrm{U}}$ ), 分布 $\mathrm{W}$ を用いた $L_{\mathrm{KL}}$ を追加した MLM(以下 MLM-KL $\mathrm{L}_{\mathrm{W}}$ )の 7 つのモデルを比較する。評価項目はパープレキシティ (PPL)，異なり 1-gram，異なり 2-gram，PRS を用いる。結果を表 3 に示す。

表 3 自動評価の結果

パープレキシティは言語モデルの学習における確信度を表し, 文章の形態が独特である䭾酒落のデー タを用いることで值が大きくなったと考えられる。異なり 1-gram，異なり 2-gram では全てのモデルについて文字単位の分割を考えていることから低い数字になっている. PRS の評価では 4 節で採用した 0.75 を閾値としている．BLM 以外のモデルは平均的に見ると音韻的には駅酒落を生成しているといえる。

## 5.4 人手評価

RLM-CE，MLM-CE，MLM-KL $L_{U}$ ，MLM-KL ${ }_{W}$ ，荒木の生成手法 [6] の 5 つのモデルの出力に対して人
表 4 可読性，流暢性，面白さの評価 (平均)

表 5 妥当性，作者の評価

手評価を行った. 入力となるお題は分類語彙表 [14] の見出し語から 100 語を選択した.

なお，荒木の手法において一部のお題に対しては生成ができないので，この評価では荒木の手法で生成が可能な見出し語 100 語を用いている.

評価項目は可読性 (理解できるか)，流暢性 (文法的か), 面白さ，駄酒落としての妥当性，作者 (人間が機械か)の 5 項目である. 可読性，流暢性，面白さに関しては 1～5 までの 5 段階で，妥当性については二值 (妥当/不適)，作者については三値 (人間/機械/不明) で評価する。ラテン方格法を用いて 100 のお題に対し各モデルの出力が 20 個ずつ含まれるように 5 種類の評価シートを作成し，クラウドソーシングを用いて各評価シートにつき 10 名に評価を依頼した．可読性，流暢性，面白さの平均値を表 4 に，妥当性，作者の結果を表 5 に示す. 妥当性と作者については各出力の 10 名の判定の多数決をとって数えた数字を左に，個々の判定を単純に総和した数を右にスラッシュで区切って示した.

すべての評価項目において荒木らのモデルが一番数字は良いが，荒木らの方法は人間が作った駄酒落を検索していることと，そもそも必ず検索できるお題しか入力して与えていないことから荒木らの結果はこの評価における上限と考えられる. 今回と同じように分類語彙表からランダムに選択した見出し語をお題として与えた場合，荒木らの方法では $70.8 \%$ に対してしか駄酒落を出力できないことが報告されている [6]. これに対して本研究では任意の入力に対し出力を生成することはできる．そのうち２割から 3 割程度は駄酒落として評価されることがわかっ
た. その中には人間が作ったと思わせる駄酒落も生成できている.

## 5.5 事例分析

お題「果報」に対する各モデルの出力例を表 6 に示す.

表 6 お題「果報」に対する出力

「果報」というお題に対して，RLMに比べて MLM では文長が長くなっており，より一文の文章らしい言い回しになっている。RLMのように「ほど!」という文末は一般的な文章で見られない駄酒落らしい言い回しであり，MLMには名大会話コーパスによる会話文のスタイルが反映されていると考えられる。 MLM-KL $\mathrm{K}_{\mathrm{U}}$ には果報の読み仮名「かほう」が文内にあり，導入した損失と分布を反映した結果になっている．MLM-KL $W_{W}$ では変形表現として「火葬」が含まれ，読み仮名を元にお題の変形表現を生成できている。

## 6 おわりに

本研究では日本語駄酒落を機械的に自動生成することを目標とし，Transformer を用いた言語モデルの設計を提案した. 名大会話コーパスによる一般的な文章生成タスクを併用するマルチタスク学習と変形表現を生成する損失関数により，文章スタイルの異なる駄酒落生成を行った。

今後の課題として, 生成モデルとしての性能向上が上げられる．短文生成のタスクとして入力の情報量を増やしたり，制約を加えることなどにより文章生成を制御する必要があると考えられる。また，駄酒落はユーモアであるが本研究では面白さについては考慮をしていない. 生成する変形表現や文のスタイル等に面白さの観点を導入することで，面白く，目新しい駄酒落の生成ができると考えられる.

## 参考文献

[1] P. Dybala and K. Araki. Multiagent system for joke generation: Humor and emotions combined in human-agent conversation. Journal of Ambient Intelligence and Smart Environments, Vol. 2, No. 1, pp. 31-48, 2010.

[2] 滝澤修. 記述された「併置型駄酒落」の音素上の性質. 自然言語処理, Vol. 2, No. 2, pp. 3-22, 1995.

[3] 佐山公一谷津元樹荒木健治. 駄酒落データベースの構築及び分析. 人工知能学会第 2 種研究会ことば工学研究会資料, Vol. 2, No. 3, pp. 13-24, 2017.

[4] 荒木健治, 佐山公一, 内田ゆず, 谷津元樹. 駄酒落デー タベースの拡張及び分析. 人工知能学会第 2 種研究会ことば工学研究会資料, Vol. 3, No. 1, pp. 1-15, 2018.

[5] キム・ビンステッド, 滝澤修. 日本語駄酒落なぞなぞ生成システム「boke」. 人工知能学会誌, Vol. 13, No. 6, pp. 920-927, 1998.

[6] 荒木健治. 駄酒落データベースを用いた駄酒落生成システムの性能評価. 人工知能学会第 2 種研究会ことば工学研究会資料, Vol. 3, No. 8, pp. 39-48, 2018.

[7] J. Tan Yu and X. Wan. A neural approach to pun generation. In Association for Computational Linguistics (ACL), Vol. 1, pp. 1650-1660, 2018.

[8] 谷津元樹, 荒木健治. 子音の音韻類似性及び svm を用いた駄酒落検出手法. 知能と情報 (日本知能情報ファジィ学会誌), Vol. 28, No. 5, pp. 833-844, 2016.

[9] Niki Parmar Jakob Uszkoreit Llion Jones Aidan N Gomez Lukasz Kaiser Ashish Vaswani, Noam Shazeer and Illia Polosukhin. Attention is all you need. In Advances in Neural Information Processing Systems, pp. 6000-6010, 2017.

[10] 藤村逸子・大曽美恵子・大島ディヴィッド義和. 会話コーパスの構築によるコミュニケーション研究.藤村逸子、滝沢直宏編『言語研究の技法：データの収集と分析』ひつじ書房,pp. 43-72, 2011.

[11] 編集距離 - 東京工芸大学, アクセス：2021/1/11. http://www.cs.t-kougei.ac.jp/SSys/LevenS.htm.

[12] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Rémi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander M. Rush. Transformers: State-of-the-art natural language processing. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 38-45, Online, October 2020. Association for Computational Linguistics.

[13] Hang Li Jiatao Gu, Zhengdong Lu and Victor OK Li. Incorporating copying mechanism in sequence-to-sequence learning. In Association for Computational Linguistics., 2016.

[14] 国立国語研究所 (2004) 『分類語彙表増補改訂版デー タベース』(ver.1.0).

## 付録：RLM-KLu で生成された駄酒落の例

先攻のせいで先公センコーかいじゃない!

新譜はシンプルなドレスを着ている!

ハッチの件はちょっとやいたよと、はっち来なさい

酒屋がさかやっかいになった!

ノベルについて述べる!

触手を扱うくしゅくれる人は、ショックです!

すなわち、すなはちだけて食べない!

襟については、ええエリしたことだ!

むかつく婿だから、むう、勝つく!

総括があるそうだよ。そつことを言ってる!

もちろん、もちろんと食べよう!

家のふきんに、フキンはないか?

市民のしみんもんだ!

いえという言葉は、いい絵いている

彼らのカレーは辛かれらない!

地方のちほうがいいんだって?そうはい、チホントですね。景色をけしき声が高いとは、意気をつけます!

資源がしげーんない!

おかしい形のかしはおおかしいかいしい

マジシャンでまじ、ゃん。

書棚をしょうだな

一周にいてもいいっしゅー

コントロールで、コントロール!

不完全のフカんぜん

潮騒をしおおいしつけろ!

装甲車をそう、うしゃゃん持ってるの?

和書、わし、よく食べるよ!

落としぶた夫おとしぶった。

つてについては、うつて立たないこと!

不屈で拭くっつ一の

親権、しんけんはいつも、シンケンゲンをする!

マグマを食べてから、顔がまぐまった!

右折がうせつくのは、う一、初めて!

リズムがいるのは、リーズム!

のどののどが悪くてもわかります!

塗りを作ったのは、ハリー・ガール

速い、はあ、やい、どこにやって来て!

占拠のせんきょうだ?

軍手のぐんって、おならいだろう!

新月なんてげつやがうまくないのは、シンゲっつーのこと言ってな

スーパーマンの排ガスを吸うパーマン!

副産物の服さん、ぶつかってるね!

乳児がにゅうじようになってる

取り立てが取り立てた

アルバムの上にあるバンド・アルバイト!

激高の下で、かけっこーりした人がいる

隔離の絵を描くリア

執念深い、しゅうねえぶかい?

暇人にひまじんないさいには、ひぃー、マジンをたれま

んじゃよ

信徒が使う空港は、新東京国際空機!

とわはとわかった

背もたれのせいで、セモタレの下に埋めました

お湯になったのは、おっゆーもんだ

発行したのはうちに、 8 個はっこうしてられない雲海を見に行いたのは、うん、かいーん

雨季がうきるしじゃないから、よう気づいてる!

応諾してうだくならオーダクリダック

逆転ギャゃくてんの?

そこはかとなく、そこはかとなくくない。

知るの下に、何しる?

新刊を震新刊かんに見つけた!

圏外にはんけんがいらない

長椅子の長いいっす!

アバンギャルドをあばんぎゃゃるど

閉館と言われて、へい、感じさせてました

抗菌にこう気をつける!

隅が無くても済みました!

マイコン買うなら、まあ、いい子の下に!

うみのうみを使うのはウミングアップ

湿田についての失点!

ユーザー、ゆーざーない!

長身は超ょうしんがない!

おいとまもらったのはおとまだ来いにおけません。

ブランク、ぶらんくく?

真紅がしんくじゃいけない!

深雪に行くのは、おみゆきだあー

こだまがこだまなにある!

賞金にはショウキングしょうきん持ちではありません

聖者がせいじゃったのは、そんなに成人や!

「いよいよ」という言葉は、「いいよいヨープレット」

来聴はらいちょうぶ?

とっくに、とっくにいー!

果報をかほう?

なぎになぎって見つからない

弱音のようはねを食べている

略称をりや、しょうがない

うそぶく、うそぶくなってきたよ!

法曹できるようになるのは、ほう、そうだね!

支障ししょうがないなんて、うそうですか?

ハロゲンでは、げんな所にハローゲン!

無地になったら、身を蒸じっとしていた

脱腸は、っちょうぶーがないねえー!

船倉があるぐらいで、フナグラフグら食べる

着替えなきがえーないなんて、気が絵にしてる!

協力のきょうりょくに教えてくれると言われて今日ショックエス

進歩でしんぽを書いたらしい事が言いました!

商家を紹介してくれたのは、師匠か!

今日のおかしいしおらしい、誰でも知らんしらい。

ANA ホールで、穴掘っる。

スタイリストのすたいリスト!


# Wikipedia のリンク情報に基づく話題遷移シナリオの自動生成

坂田亘 1,2 吉越 卓見 2 田中リブカ 2 黒橋 禎夫 2
${ }^{1}$ LINE 株式会社 2 京都大学
wataru.sakata@linecorp.com, \{takumiyoshiko, tanaka, kuro $\}$ nlp.ist.i.kyoto-u.ac.jp

## 1 はじめに

我々の日常会話において自分の興味ある話題に会話を誘導する振る舞いはよく見られる重要な対話行為である。本研究ではターゲット指向対話を導入し、そのような対話を実現するために話題遷移のシナリオを生成するシステムを構築する。ターゲッ卜指向対話では対話相手の関心のある話題（開始話題）から雑談を開始し、全く別のある話題（ター ゲット話題）に向けて能動的に話題の誘導を行う。 こうした対話はセールストークを行うときなどに不可欠である。

提案システムでは情報源として Wikipediaを利用し各エントリを 1 つ話題とみなすことで、開始話題からターゲット話題への話題遷移経路の検出を行う。Wikipedia の文書内のハイパーリンクとそれを含む自然文には、エントリとエントリがどのように関係しているかの情報が含まれている。これをある話題から、リンク先エントリの話題への遷移として利用する。開始話題とターゲット話題には直接の繋がりがない場合が多いため、中継点となる話題を経て話題遷移を行うことが必要となる。Wikipedia のような webgraph 構造においては、多くのノードは他の全てのノードから小さい遷移数で到達できるという small-world 性が見られるため、数回の話題遷移で開始話題からターゲット話題へと遷移できる。

図 1 は複数の映画タイトルをターゲット話題として登録した際のシステムの概要図である。提案システムは開始話題が与えられると、そこから予め登録した複数のターゲット話題のうちいずれかに到達する最短の話題遷移経路を検出する。図 1 左には “吹田市”を開始話題として与えられた場合の話題遷移経路の候補が示されている。経路内の各リンクは Wikipedia 内のハイパーリンクと対応しており、話題間の関係を表す文が付随している。図 1 右は “吹田市”の話をしている対話相手に対して、システムが図 1 左の話題遷移経路を用いて映画を勧めようと
している対話の一部である。“日本沈没”へ話を近づけるためにシステムは『吹田市の万博会場跡地は万博記念公園として整備され、太陽の塔などがあるらしいですね。』と発話し、まず“太陽の塔” の話題へ話を転換しようとしている。このように適切に話題遷移経路が計算できれば、ユーザーの幅広い関心に対応しながらターゲット話題へ話を誘導する対話シナリオとして、これを用いることができる。

遷移における経路の選び方は複数存在するため、 その中でより良い道筋を選択する必要がある。例えば図 1 では“降水”への話題の遷移は自然ではないと思われる。本研究では Wikipedia 上のリンク情報および文情報を利用して訓練データの自動構築を行い、話題遷移をスコア付けする方法を提案する。

実験では映画推薦のための話題遷移経路を見つけるシステムの構築を行い、獲得できた経路の分析を行う。さらに提案手法により適切な話題選択をすることで、比較対象の手法よりも自然な話題遷移が可能であることを確認する。

## 2 提案手法

## 2.1 最短話題遷移経路の探索

本項目では開始話題を入力としたときにターゲッ卜話題のいずれかに到達する最短経路を求める方法について述べる。開始トピックが与えられてから実用的な時間で最短の経路を計算するためには幅優先探索を利用する。ターゲット話題それぞれを始点にとり、それぞれのリンクを逆向きに辿る幅優先探索を行うことで、各エントリから各ターゲット話題までの距離を計算できる。計算量は Wikipedia のエントリ数を $D$ 、ターゲット話題の数 $T$ とすると $O(D T)$ となる。さらに各エントリに対して全ターゲット話題の中でエントリからの距離が最小となるようなものを計算し、その距離を保存しておく。これにより、あるエントリから最短でいずれかのターゲット話題の到達するために次に遷移するべき話題を定数

図 1 システム概要

時間で見つけられる。これを繰り返すことで開始話題からターゲット話題に到達するための経路を高速に求めることができる。

## 2.2 話題選択モデル

前節の方法では開始話題からターゲット話題までの複数の経路を得ることができるが、その中から良い経路を見つけることができれば便利である。ある話題と話題の関係を示す文が話題遷移に使う情報として自然であるかを識別できれば、そのような関係を示すリンクを優先的に辿ることで、良い話題遷移の経路を発見できると考えられる。本節では Wikipedia の文とリンク情報から教師データを自動構築し、それを用いることで話題の遷移先を適切に選択するモデルを構築する。

まず、実際の遷移の事例について観察する。 Wikipedia の “手羽先唐揚げ” の記事には“バッファローウィング” および “白ごま”へのリンクとともに次のような記述が存在する。

(1) 手羽先唐揚げに類似するアメリカ料理として、バッファローの名物料理、バッファロー ウィングがある。

（2）鶏の手羽先をから揚げにしてタレを塗り、塩・胡椒・白ごまなどを振りかけて仕上げる。

これらの情報を話題遷移として利用することを考えると、バッファローウィングへの遷移と比べて、白ごまへの遷移は不自然に感じられる。

我々はこのようなリンク情報の観察を通して話題遷移の自然さに関する次のような性質に着目した。 ある文が話題 Aへのリンクを含んでおり、後に続く文で A が主語となる場合、その文の情報は Aへの話題遷移に活用しやすい。例えば、先ほどの“バッ
ファローウィング”への遷移の例において、次の文で「バッファローウイングは〜」とバッファロー ウィングの詳しい説明が続くことは自然に感じられる。一方、“白ごま”の例において、次の文で白ごまが主語として現れる可能性は“バッファロー”の例と比べると低いと思われる。そこでリンク文字列とそれを含む文を入力として、次の文でそのリンク文字列が主語として現れるかどうか推論を行う判別器の訓練を行い、リンクのスコアの計算に用いることを考える。

疑似訓練データは Wikipedia 内の連続する 2 文を収集し、次のように自動的に生成できる。まず連続する 2 文のうち 1 文目に存在するリンクが示す語 $l$ が 2 文目においては主語となっているような 2 文を収集する。主語の判定はリンク文字列が 2 文目において助詞 “は” の直前に存在しているか形態素解析器を用いることで判定を行う。リンクを示す語 $l$ と 1 文目の文全体 $s$ のペアを正例として用いる。また負例として、 1 文目内から無作為に選択した名詞節 $n$ と 1 文目の文全体 $s$ のペアを利用する。こうして収集した疑似訓練データを利用し、正例ならば 1、負例に対しては 0 を出力するように判別器の訓練を行う。以上で述べた方法によって日本語 Wikipedia から訓練データを収集することで正例データ 73,197 件と負例データ 71,653 件が得られ、これらを全て用いて訓練を行った。

推論時にはリンク文字列とそれを含む文をモデルの入力として得られた出力の値をリンクのスコアとして利用する。複数のリンク候補から 1 つ選択する際には、このスコアの最も大きいリンクを選択する。候補のうち、最上位に同程度のスコアが並ぶ場合（最大スコアとの差が 0.01 未満）には、それらの中で IDF 值が高いリンク文字列に紐づくリンクを選
択する。モデルとしては日本語大規模コーパスで事前訓練済み1)の BERT[1] を利用する。

## 3 実験

## 3.1 Wikipedia データの前処理

Wikipedia 内に存在するリンク情報の中には話題遷移のために用いるには相応しくないものが多く見られる。特に “情報”、“平成”などのように多くのものと関連している一般的な話題への遷移は通常の対話ではあまり見られない。そこで次に示すような Wikipedia 内の一般的なエントリへのリンク情報は用いないよう除去を行った。

文書頻度の大きいエントリ Wikipedia の各エントリに対して文書頻度を計算し、文書頻度の大きいものから上位 1,000 件のエントリへのリンクを除去対象とした。この対象となったエントリの例として“情報”、“スポーツ”などがある。

被リンク数の多いエントリ多くの Wikipedia 文書からリンクされているエントリもまた過度に一般的なエントリが多い。被リンク数が 10,000 以上のエントリへのリンクを除外の対象とした。この対象となったエントリの例として“アメリカ合衆国”、“英語”などがある。

年月日や年号についてのエントリ 「アメリカンフットボールは 1921 年には...」などの文のように、年月日または年号などのリンクが Wikipedia 内には多く見られたが後続の文の主語として用いたとしても話題遷移の自然さが低いと思われる。これらはパターンマッチングによって除去を行った。

また、丸括弧内のリンク、箇条書きとなっている文内のリンクは利用しないこととした。最終的にシステムが用いる Wikipedia のエントリは約 100 万件、 リンクは約 1,700 万件となった。

## 3.2 話題遷移経路の分析

ユーザの関心ある話題を開始話題として収集を行いそこからターゲット話題までの経路を計算するとどのような経路が得られるか調査を行った。映画推薦のための話題遷移経路を生成するシステムを想定し、ターゲット話題として複数の映画タイトルのエントリを利用した。具体的には Wikipedia のエントリ「映画の一覧 $\lrcorner^{2)}$ から収集を行い、結果として 409

表 1 取得した経路長・経路数・1 エントリあたりのリンク数（リンク数/E）の平均値、中央値、最小値、最大値

件の映画リストを取得した。

開始話題は次のようにクラウドソーシングで収集した。まず、会話の導入となるような簡単な質問を作業者に投げかけユーザ発話を収集を行なった。「あなたの趣味は何ですか」「好きなアーティストは誰ですか」などユーザ発話の収集のための対話導入用の発話を 10 個用意し、各質問につき 100 件のユーザー発話を収集することにより 500 件のユーザ発話を収集した。次にそれぞれのユーザ発話をクエリとして Wikipedia のエントリを対象に検索を行い、検索結果の各エントリを開始話題の候補とした。情報検索には Elasticsearch ${ }^{3}$ を利用した。収集した開始話題候補のうち、ユーザクエリに対して適当な開始話題でないと想定されるものを除去し、結果として 432 件の開始話題が得られた。

収集した開始トピックをもとに得られた経路の統計情報について表 1 に示す。話題経路の長さは平均で 3 リンク未満であり、多くの開始話題に対して数回の話題遷移でターゲット話題に到達できている。

## 3.3 遷移先話題の選択モデルの評価

次に話題選択モデルの評価を行った。評価のためにベースラインとしてRANDOM、IDFを採用した。 RANDOM は遷移候補の中から無作為に 1 つ選択する。IDF は各遷移候補に対しリンク文字列の IDF を計算し、IDFが最も大きい遷移を選択する。

評価にはクラウドソーシングを用い、RANDOM、 IDF、提案手法のうち 2 つずつを対象に、どちらの手法による話題選択が自然か比較した。最初に、 IDF と RANDOM を比較した。まず、Wikipedia からリンクを複数含む文を収集し、各文について、IDF と RANDOM で 1つずつリンクを選択した。選択したリンクが同一だった場合はその文を除外し、異なるリンクを選択した文のみをクラウドソーシングに用いた。図 2 のように、リンクを含む文をもとに簡単なルールで生成した疑似対話文と各手法が選択した 2 つのリンクを提示し、どちらのリンクへ話題遷

3) https://www.elastic.co/jp/elasticsearch/

図 2 クラウドソーシング画面

表 2 話題選択モデルの評価結果

移するのが自然かを作業者に尋ねた。作業者は「どちらともいえない (どちらも自然)」「どちらともいえない（どちらも不自然）」を選択することもできる。このとき、提示する順序によってバイアスが生じないようにはじめの 2 つの選択肢の順序は無作為になるようにした。 1 件につき 3 人の作業者が評価し、一方のリンクのみが 2 票以上獲得した場合に、そのリンクを選択した手法に 1 加点した。それ以外の場合は引き分けとしてカウントした。これを 400 件評価し、提案手法と RANDOM、提案手法と IDF についても同様に比較した。

結果を表 2 に示す。提案手法は IDF、RANDOM に対して遷移先としてより自然なリンクを選択できていることがわかる。次に事例を表 3 に示す。 1 つ目は提案手法の選んだリンクが IDF の選んだリンクよりも自然である事例である。文内でより重要な役割を示す語を選択できている。2つ目はIDFの方が自然であるとされた事例である。“輸血”と“血液製剤” は文内での重要度は同様であると思われるが “血液製剤” の方が話題としての面白さがあることから、話題遷移先としてより自然であると判断されたと考えられる。話題としての面白さを考慮したリンクの選択については今後の課題とする。表 3 提案手法と IDF の選択事例 : 下線は提案手法の選択

 &  & 提案手法 \\

## 4 関連研究

対話システムの研究において Wikipedia などの外部知識を活用し知識を持った対話を行うシステムへの研究は盛んに行われている $[2,3,4]$ 。しかし、これらのシステムではユーザーの発話に対して受動的に応答するのみで、システムが能動的に話題を選択するような機構は準備されていない。システムが話題の遷移を行う対話システム構築への取り組みも存在し [5, 6]、例えば Zhou らは ConceptNet [7] 上の話題の経路をもとに、推薦対話のデータセットを構築した。これらの研究においては遷移元と遷移先がどのような関係を持つかといった情報の利用は行われていない。我々の研究は Wikipedia に存在する多様な話題の関係性の知識を用いて話題遷移のシナリオの生成を行なっており、これと異なる。また、 Wikipedia の small-world 性を用いて 2 つの遠い概念の関係性を明らかにする取り組み $[8,9,10]$ も存在するが、この知識を対話遷移に利用する研究は我々の知る限り存在しない。

## 5 まとめと今後の課題

本研究では Wikipedia のリンク情報に基づき話題遷移シナリオを生成する新たなタスクに取り組んだ。実験では多くの開始話題から数回の遷移でター ゲット話題へ到達できることを確認した。また、提案手法はベースラインよりも自然な話題を選択できることを示した。獲得したシナリオを基に流暢な会話を行うシステムを作ることが今後の課題である。

## 謝辞

この研究は国立情報学研究所 (NII) CRIS と LINE 株式会社とが推進する NII CRIS 共同研究の助成を受けています。

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In NAACL2019, pp. 4171-4186, Minneapolis, Minnesota.

[2] Emily Dinan, Stephen Roller, Kurt Shuster, Angela Fan, Michael Auli, and Jason Weston. Wizard of Wikipedia: Knowledge-powered conversational agents. In ICLR2019, Ernest N. Morial Convention Center, New Orleans.

[3] Karthik Gopalakrishnan, Behnam Hedayatnia, Qinlang Chen, Anna Gottardi, Sanjeev Kwatra, Anu Venkatesh, Raefer Gabriel, and Dilek Hakkani-Tür. Topical-Chat: Towards Knowledge-Grounded Open-Domain Conversations. In Interspeech2019, pp. 1891-1895, Graz, Austria.

[4] Jaehun Jung, Bokyung Son, and Sungwon Lyu. AttnIO: Knowledge Graph Exploration with In-and-Out Attention Flow for Knowledge-Grounded Dialogue. In EMNLP2020, pp. 3484-3497, Online. Association for Computational Linguistics.

[5] 平岡拓也, Graham Neubig, Sakriani Sakti, 戸田智基, 中村哲. 説得対話システムにおける話題誘導に基づく対話制御. 情報処理学会第 94 回音声言語情報処理研究会, 東京, 2012.

[6] Kun Zhou, Yuanhang Zhou, Wayne Xin Zhao, Xiaoke Wang, and Ji-Rong Wen. Towards topic-guided conversational recommender system. In COLING2020, pp. 41284139 , Online.

[7] Robyn Speer, Joshua Chin, and Catherine Havasi. Conceptnet 5.5: An open multilingual graph of general knowledge. In AAAI2017, pp. 4444-4451, San Francisco, California, USA.

[8] Robert West, Pineau Joelle, and Precup Doina. Wikispeedia: An online game for inferring semantic distances between concepts. In IJCAI2009, pp. 1598-1603, California, USA.

[9] Robert West and Jure Leskovec. Human wayfinding in information networks. In WWW2012, pp. 619-628, New York, USA.

[10] Robert West and Jure Leskovec. Automatic versus human navigation in information networks. In ICWSM2012, pp. 143-144, Dublin, Ireland.