# 線型部分空間に基づく学習済み単語埋込空間上の集合演算

石橋 陽一 1 横井祥 2,3 須藤克仁 $1,3,4$ 中村哲 1,3
1 奈良先端科学技術大学院大学 2 東北大学 ${ }^{3}$ 理研 AIP 4 科学技術振興機構さきがけ
\{ishibashi.yoichi.ir3, sudoh, s-nakamura\}@is.naist.jp yokoi@tohoku.ac.jp

## 概要

単語埋込は自然言語処理の基盤的な道具であり単語単位の表現学習は進んでいる。一方で加法構成に 代表される意味計算は、単語を集合として扱ってい ながら集合の演算までは定義できていない。これを 現代の単語埋込空間の枠組みで表現できれば集合と 埋込表現の両方の特性を反映した優れた表現を作る ことができる。そこで本研究では事前学習済み単語埋込空間で集合・集合演算を教師なしで表現するこ とを目指した。我々は線型部分空間に基づく集合演算である量子論理に着目し、埋込空間で線型部分空間が言語的な集合演算として機能することを実証 し、文の意味的類似性タスクへ応用した。

## 1 はじめに

単語埋込は現代の自然言語処理の基盤技術であり GloVe [1] や word2vec [2] 等の静的表現や、BERT [3]等の動的表現が、あらゆる種類の言語処理タスクの 性能を大きく押し上げた [4]。

単語埋込は単語に対して与えられる表現だが、実際の処理対象は単語の集合であることが多い。例え ば、単語間の意味の階層構造を見出すことができる [5]。例えば red, blue, green, ... からなる集合は Color というクラスを表していると捉えられる。こうした 概念集合に対する計算は自然言語処理のために重要 である [6]。また、句、文、文書など単語より大きな 単位の計算において最も基本的で強力なアプローチ は、これらを単語集合とみなすことである。例えば 文の類似性を計算するタスク（STS）[7] における 基本的な指針では、文の類似性を単語集合の重複度 (意味の重複度) に帰着させる [8]。

このように単語集合の計算には強いニーズがあ る。単語をシンボルで表現していた時代には単語集合を形式的な集合として扱っていたが [9]、単語を ベクトルで表現する場合の単語 “集合” の扱いは近似的なものに留まっている。例えば句や文の表現と
して単語ベクトルの和を用いる加法構成 [10] は強力 であるが、単語 “集合”としての性質がどのように 入っているかは不明である。また、単語集合の重複率を計算するためにこれを適合率・再現率 [11] や最適輸送コスト $[12,13]$ 帰着させる向きもあるが、“集合” の計算としては近似的なアプローチに過ぎない。 そこで本研究では、現代の単語埋込の枠組みで集合演算を再度定式化することを試み、事前学習済み 単語埋込空間上で集合および集合演算が線型部分空間で表現できることを実証した。

## 2 集合を扱うために必要な演算

本研究では和集合や共通部分など集合を扱う各種演算を、単語埋込空間で近似的にかつ単語埋込の リッチな情報を活用しつつ教師なしで計算すること を目指す。具体的には、単語埋込空間上で帰属関係

$
\begin{gathered}
\text { Color }=\{\text { red, blue }, \ldots\}, \text { Fruit }=\{\text { apple, peach }, \ldots\} \\
\text { orange } \in \text { Color } \cap \text { Fruit }
\end{gathered}
$

や集合間類似度（Jaccard 係数）

$
\begin{aligned}
\mathrm{A}=\{\mathrm{A}, \text { boy }, \text { walk, } \ldots\}, \mathrm{B} & =\{\text { The, child, run, } \ldots\} \\
\operatorname{Jaccard}(\mathrm{A}, \mathrm{B}) & =\frac{|\mathrm{A} \cap \mathrm{B}|}{|\mathrm{A} \cup \mathrm{B}|}
\end{aligned}
$

を計算可能にすることを目指す。これらの計算を実現するために必要な演算は以下の通り（表 1 左)。

・元と集合の表現：元となる単語とそれをまとめ た対象である集合を埋込空間で表現する。
- 集合に対する演算：ひとつまたは複数の集合に 対して、補集合・和集合・共通部分を計算する。

・帰属関係の計算 : 元が集合に属しているかどう かを判定する。
- 集合の濃度の計算 : 集合に含まれる元の数（濃度）を計算する（式 (4)）。

次のセクションでこれらの表現や計算を単語埋込空間で近似的に実現する方法を提案する。
表 1 集合と埋込空間での表現の対応

 & &  \\

## 3 線型部分空間による集合表現

2 節で示した集合演算を埋込空間で実現する方法 を述べる。集合演算として必要な性質を保証しつつ 単語埋込空間の幾何的な特性を活用するため、本研究では量子論理を単語埋込空間へ適用する。

## 3.1 量子論理

量子論理とは量子力学的現象を表現する理論の 1 つである [14]。粒子などの状態を元とした集合の処理という要請に対して、量子論理は集合を線型部分空間の言葉で記述し、さらにド・モルガンの法則、二重否定などの成立を理論的に保証している。

## 3.2 単語埋込空間での集合演算

量子論理はヒルベルト空間の上で記述されるが、単語埋込空間（ユークリッド空間）もヒルベルト空間でありほとんどの演算はそのままユークリッド空間での表現に翻訳することができる。不足している 演算（帰属の度合い、濃度）に関しては量子論理と 一貫した方法を提案する。提案法のまとめは表 1 の 通り。このあと詳細について述べる。

元と集合の表現 単語集合 $A$ を $\left.\{\mathrm{w}_{1}, \mathrm{w}_{2}, \ldots\right.\}$ 、単語 $\mathrm{w}$ に対応する単語ベクトルを $\boldsymbol{v}_{w}$ で表す。ここで、我々がまず表現したい対象は元と集合であった。本研究では、元である単語 $\mathrm{w}$ を単語ベクトル $\boldsymbol{v}_{w}$ で、単語集合 $\mathrm{A}=\left.\{\mathrm{w}_{1}, \mathrm{w}_{2}, \ldots\right.\}$ を単語ベクトルが張る線型部分空間で表現する。

$
\mathbb{S}_{\mathrm{A}}=\mathbb{S}_{\left.\{\mathrm{W}_{1}, \mathrm{w}_{2}, \ldots\right.\}}:=\operatorname{span}\left.\{\boldsymbol{v}_{w_{l}}, \boldsymbol{v}_{w_{2}}, \ldots\right.\}
$

以降、線型部分空間を単に「部分空間」と呼ぶ。

集合に対する演算 ある集合 A の補集合 $\bar{A}$ は、部分空間 $\mathbb{S}_{\mathrm{A}}$ の直交補空間 $\left(\mathbb{S}_{\mathrm{A}}\right)^{\perp}$ で表現する。

$
\mathbb{S}_{\overline{\mathrm{A}}}=\left(\mathbb{S}_{\mathrm{A}}\right)^{\perp}:=\left.\{\boldsymbol{u} \mid \exists \boldsymbol{v} \in \mathbb{S}_{\mathrm{A}}, \boldsymbol{u} \cdot \boldsymbol{v}=0\right.\}
$

ある集合 $A$ と の和集合 $A \cup B$ は、部分空間 $\mathbb{S}_{A}$ $と \mathbb{S}_{\mathrm{B}}$ の和空間 $\mathbb{S}_{\mathrm{A}}+\mathbb{S}_{\mathrm{B}}$ で表現する。

$
\mathbb{S}_{\mathrm{A} \cup \mathrm{B}}=\mathbb{S}_{\mathrm{A}}+\mathbb{S}_{\mathrm{B}}:=\left.\{\boldsymbol{u}+\boldsymbol{v} \mid \boldsymbol{u} \in \mathbb{S}_{\mathrm{A}}, \boldsymbol{v} \in \mathbb{S}_{\mathrm{B}}\right.\}
$

ある集合 $A$ と $B$ 共通部分 $A \cap B$ は、部分空間 $\mathbb{S}_{\mathrm{A}}$ と $\mathbb{S}_{\mathrm{B}}$ の共通部分 (交空間) $\mathbb{S}_{\mathrm{A}} \cap \mathbb{S}_{\mathrm{B}}$ で表現する。

$
\mathbb{S}_{\mathrm{A} \cap \mathrm{B}}=\mathbb{S}_{\mathrm{A}} \cap \mathbb{S}_{\mathrm{B}}=\left.\{\boldsymbol{v} \mid \boldsymbol{v} \in \mathbb{S}_{\mathrm{A}}, \boldsymbol{v} \in \mathbb{S}_{\mathrm{B}}\right.\}
$

帰属関係の計算 最も簡単な方法として、単語の 集合に対する帰属関係（例: boy $\in$ Male）は、ベクト ルの部分空間に対する帰属関係 (例: $\boldsymbol{v}_{\text {boy }} \in \mathbb{S}_{\text {Male }}$ ) で表現できる。ただし一見自然なこの方法はべクト ル空間の持つ「近さ」の概念を活用しきれない。例 えば Male 集合に含まれていない単語 nephew に関 して、v $\boldsymbol{v}_{\text {nephew }}$ が $\mathbb{S}_{\text {Male }}$ と非常に近い位置に存在して いたとしても「帰属関係はない」と 2 值で判断され てしまう。そこで本研究では、ベクトル $v_{w}$ と部分空間 $\mathbb{S}_{\mathrm{A}}$ の近さに応じて連続値を返す帰属度の関数 $\operatorname{Member}\left(\mathbb{S}_{\mathrm{A}}, \boldsymbol{v}_{w}\right)$ を定義する。

$
\begin{gathered}
\theta_{\mathbb{S}_{\mathrm{A}}, \boldsymbol{v}_{w}}=\min \left.\{\left.\arccos \left(\frac{\left|\boldsymbol{u} \cdot \boldsymbol{v}_{w}\right|}{\|\boldsymbol{u}\|\left.\|\boldsymbol{v}_{w}\right.\|}\right) \right.\rvert\, \boldsymbol{u} \in \mathbb{S}\right.\} \\
\operatorname{Member}\left(\mathbb{S}_{\mathrm{A}}, \boldsymbol{v}_{w}\right)=\cos \theta_{\mathbb{S}_{\mathrm{A}}, \boldsymbol{v}_{w}} \in[0,1]
\end{gathered}
$

$\theta_{\mathbb{S}_{\mathrm{A}}, \boldsymbol{v}_{w}}$ は $\boldsymbol{v}_{w}$ と $\mathbb{S}_{\mathrm{A}}$ の「なす角」（第一正準角）で、単語埋込空間で単語ベクトル同士のなす角が意味的類似度を表現することを間接的に利用することがで きる。 $\boldsymbol{v}_{w} \in \mathbb{S}_{\mathrm{A}}$ の場合帰属度は 1 で、 $\boldsymbol{v}_{w}$ が $\mathbb{S}_{\mathrm{A}}$ と直交する場合は 0 である。

集合の濃度の計算 ある単語集合 A の濃度（単語数）を部分空間 $\mathbb{S}_{\mathrm{A}}$ の次元 $\operatorname{dim} \mathbb{S}_{\mathrm{A}}$ で表現する。

## 3.3 Subspace Jacccard

和集合・共通部分・濃度に関する部分空間での計算方法を用いれば、Jaccard 係数（式 (4)）を部分空間で計算できる。すなわち、単語ベクトル集合に対 する重複度を自然に計算することができる。この新 しい尺度を SubspaceJacccard と呼ぶ。

$\operatorname{SubspaceJacccard}\left(\mathbb{S}_{\mathrm{A}}, \mathbb{S}_{\mathrm{B}}\right)=\frac{\operatorname{dim} \mathbb{S}_{\mathrm{A}} \cap \mathbb{S}_{\mathrm{B}}}{\operatorname{dim} \mathbb{S}_{\mathrm{A}}+\mathbb{S}_{\mathrm{B}}} \in[0,1]$
表 2 単語集合データセットの統計情報。「集合」は Male $=\{$ king, man, $\ldots\}$ のような集合演算を適用していな い集合を表す。\#正例、\#負例は集合あたりの平均要素数。

## 4 埋込空間上の集合演算の実証

提案法で作った部分空間 $\mathbb{S}_{\text {Male }}$ は、単語集合 Male $=\{$ king, man,$\ldots\}$ 全体が表す「男性的」という 意味を良く表現できているだろうか？これを検証す るため定量的・定性的両面から実験を行った。

## 4.1 実験設定

この実験で共通する設定について述べる。

単語埋込 Common Crawl (840B tokens) で事前学習済みの 300 次元 GloVe ${ }^{1)}$ と Google News で事前学習済みの 300 次元 word2vec ${ }^{2}$ を用いた。

データセット 検証のため、本研究ではある単語集合に対して帰属関係が成立する単語（正例） $\mathscr{P}$ と、成立しない単語（負例）N のデータを作成した （表 2）。正例 $\mathscr{P}$ のデータ $(S, w)$ は集合 $S$ 、集合の元 である単語 $\mathrm{w} \in \mathrm{S}$ からなり (例 (Male, boy) $\in \mathscr{P}$ )、負例 $\mathcal{N}$ のデータ ( $\left.\mathrm{S}, \mathrm{w}^{\prime}\right)$ は集合と集合の元でない単語 $\mathrm{w}^{\prime} \notin \mathrm{S}$ からなる（例 (Male, apple) $\in \mathcal{N}$ )。作成方法の 詳細は付録 A に記載する。

## 4.2 部分空間外のベクトルの評価

提案法が単語集合を良く表現するなら、帰属関係 boy $\in$ Male や apple $\notin$ Male が提案法でも成立するは ずである。これ検証するため次の実験を行った。

検証方法 Male 集合を例に説明する。まず Male 集合から単語 boyを取り除いた空間 $\mathbb{S}_{\text {Male } \backslash\{\text { boy }\}}$ を作 る。次にこの空間が、取り除いた boyを意味的に 含んでいるかを帰属度 Member $\left(\mathbb{S}_{\text {Male } \backslash\{\text { boy }\}}, \boldsymbol{v}_{\text {boy }}\right)$ で確認する。この値が Male に含まれていない単語、例 えば apple に対する帰属度 Member $\left(\mathbb{S}_{\text {Male } \backslash \text { bboy }\}}, \boldsymbol{v}_{\text {apple }}\right.$ ) よりも高ければ、提案法の Male 集合の表現 $\mathbb{S}_{\text {Male }}$ は Male の意味を良く捉えていると言える。同様の実験を補集合・和集合・共通部分でも行う。

表 3 帰属度の平均。括弧内は標本標準偏差。

例えば $\operatorname{Member}\left(\mathbb{S}_{\text {Color } \backslash \text { forange }\}} \cap \mathbb{S}_{\text {Fruit } \mid\{\text { orange }\}}, \boldsymbol{v}_{\text {orange }}\right)$ が $\operatorname{Member}\left(\mathbb{S}_{\text {Color } \backslash\{\text { orange }\}} \cap \mathbb{S}_{\text {Fruit } \mid\{\text { orange }\}}, \boldsymbol{v}_{\text {rice }}\right)$ より高いこ とを確かめる。

評価尺度 正例 $(S, w) \in \mathscr{P}$ の集合 $S$ の部分空間 $\mathbb{S}$ に $\boldsymbol{v}_{w}$ が帰属し、負例 $\left(\mathrm{S}, \mathrm{w}^{\prime}\right) \in \mathcal{N}$ では $\mathbb{S}$ に $\boldsymbol{v}_{w^{\prime}}$ が帰属しないことを、平均帰属度の差 $\Delta$ で評価する。

$\frac{1}{|\mathscr{P}|} \sum_{(\mathrm{S}, \mathrm{W}) \in \mathscr{P}} \operatorname{Member}\left(\mathbb{S}, \boldsymbol{v}_{w}\right)-\frac{1}{|\mathcal{N}|} \sum_{\left(\mathbb{S}, \mathrm{w}^{\prime}\right) \in \mathcal{N}} \operatorname{Member}\left(\mathbb{S}, \boldsymbol{v}_{w^{\prime}}\right)$

これが正の值であれば部分空間で boy $\in$ Male や apple $\notin$ Male が表現できていることが示唆される。

実験結果 結果（表 3）から、「正例との帰属度」「負例との帰属度」に差があり、量子論理が単語集合・集合演算を表現できていることがわかった。

## 4.3 部分空間内のベクトルの評価

提案法が単語集合を良く表現できているなら「男性的」集合表現 $\mathbb{S}_{\text {Male }}$ の中には「男性的」なべクト ル $v_{b o y}$ が含まれているはずである。そこで、提案法 で作った部分空間内に含まれているべクトル（単語 ベクトルとは限らない）の最近傍単語を確認する。

検証方法 この実験では正例の単語集合のみ使用 する（表 2)。ある単語集合の単語の $50 \%$ を使用し て部分空間を張り、それ以外の単語を検証用とし た。ここでは、Color $\cap$ Fruit 集合を例にとり説明す る。まず部分空間 $\mathbb{S}_{\text {Color }} \cap \mathbb{S}_{\text {Fruit }}$ に含まれるべクトル $v$ を無作為にサンプリングする。単語埋込の語彙全体の単語ベクトル集合に対して $\boldsymbol{v}$ の最近傍単語べク トル $\boldsymbol{v}_{w}$ を取得し、最近傍単語 $\mathrm{w}$ が Color $\cap$ Fruit $の$元らしいかを確認する。例えば最近傍単語が orange で部分空間を張る単語でないならば、色と果物の集合の共通部分が良く表現できていると言える。この 検証をいくつかの集合におこなった。

実験結果 結果は表 4 の通り。word2vec の結果に ついては付録 Bを参照されたい。表中の「部分空間表現の近傍単語」は部分空間を張る際に使用してい ない単語のみ列挙している。この結果は単語集合の 言語的特徴が部分空間に良く反映できていることを
表 4 単語集合の部分空間内のベクトルと $\cos$ 類似度上位 3 件の単語。使用した単語集合は Male $=\{$ his, male, ... $\}$ 、 Female $=\{$ queen, heroine,$\ldots\} 、$ Color $=\{$ purple, white,$\ldots\} 、$ Fruit $=\{$ lime, grape,$\ldots\} \circ$

表 5 各 STS タスクの相関係数

示している。例えば、 $\mathbb{S}_{\text {Male }}{ }^{\perp}$ 内のベクトルは Male 以外の単語、 $\mathbb{S}_{\text {Color }} \cap \mathbb{S}_{\text {Fruit }}$ 内のベクトルは色と果物 に共通する orange と類似しており、 $\mathbb{S}_{\text {Male }}+\mathbb{S}_{\text {Female }}$ 内 のベクトルは男女両方の特徴を持っている。

## 5 実験: 教師なし文類似度タスク

単語埋込空間上の集合演算を用いた集合間類似度 を教師なし文類似度タスク (STS) に応用し、埋込空間の集合間類似度として機能するかを確かめる。

検証方法 STS では 2 の文（単語集合）の類似度を算出し人手評価との相関係数で評価する。

実験設定 データセットは SemEval shared task の 2012-2016 [7, 15, 16, 17, 18] のものを使用した。ベー スラインは平均ベクトルの cosine 類似度 (Avg-cos) と [8] の DynaMaxJaccard 3) 、Skip-Thought Vector [19] を使用した。評価尺度にはピアソンの相関係数を 使用した。単語埋込は 4 節と同じ GloVe、word2vec、 そして BERT-base [3] の最終層のトークンに対応す る動的埋込を使用した。なお教師なしSTS のため ファインチューニングはおこなっていない。

実験結果 結果は表 5 の通り。埋込空間での傾向 は BERT よりも GloVe で提案法の効果が高かった word2vec での結果も GloVe と同様な傾向ため付録 B に記載する。GloVeでは提案法が全てのタスクで加法構成に基づく手法（Avg-cos）を上回った。量子論理によって集合と集合演算を部分空間で表現したこ

とで、静的埋込において集合間類似度を単語埋込空間上の演算へ拡張できたことを示している。

## 6 関連研究

ここでは埋込空間で集合の表現・演算を試みてい る先行研究を概観し、提案法との違いを述べる。

教師なし集合表現 [8] は Fuzzy 集合の考えに 基づき単語埋込空間上で集合および集合演算を Fuzzy Bag of Words という方法で表現している。 BERTScore [11] は集合間の適合率と再現率を内積行列を使って近似的にモデル化している。Word Rotator's Distance [12] は単語ベクトル集合間の最適輸送に基づき類似度をモデル化した。これらの研究 は擬似的な集合表現、もしくは一部の集合演算の実現のみに留まっている。それに対し提案法は線型部分空間に基づく各集合演算の表現と集合に関する法則の成立が理論的に保証されている強みがある。

教師あり集合表現 DeepSet [6] は集合データに対 する教師あり表現学習の代表的な手法である。本研究では事前学習済み埋込空間上で教師なしで単語集合・集合演算を表現した。

## 7 結論

本研究では、単語埋込の枠組みによる集合演算を 線型部分空間を用いて定式化した手法を提案し、単語埋込空間において集合・集合演算を実現した。

## 謝辞

本研究は JST さきがけ (JPMJPR1856)、JST ACT-X (JPMJAX200S)、奈良先端科学技術大学院大学支援財団支援事業の支援を受けたものです。

## 参考文献

[1] Jeffrey Pennington, Richard Socher, and Christopher D. Manning. Glove: Global Vectors for Word Representation. In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing, EMNLP 2014, October 25-29, 2014, Doha, Qatar, A meeting of SIGDAT, a Special Interest Group of the ACL, pp. 1532-1543, 2014.

[2] Tomas Mikolov, Ilya Sutskever, Kai Chen, Gregory S. Corrado, and Jeffrey Dean. Distributed Representations of Words and Phrases and their Compositionality. In Advances in Neural Information Processing Systems 26: 27th Annual Conference on Neural Information Processing Systems 2013. Proceedings of a meeting held December 5-8, 2013, Lake Tahoe, Nevada, United States. pp. 3111-3119, 2013 .

[3] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Jill Burstein, Christy Doran, and Thamar Solorio, editors, Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, NAACL-HLT 2019, Minneapolis, MN, USA, June 2-7, 2019, Volume 1 (Long and Short Papers), pp. 4171-4186. Association for Computational Linguistics, 2019.

[4] Alex Wang, Amanpreet Singh, Julian Michael, Felix Hill, Omer Levy, and Samuel R. Bowman. GLUE: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding. In 7th International Conference on Learning Representations, ICLR 2019, New Orleans, LA, USA, May 6-9, 2019. OpenReview.net, 2019.

[5] George A. Miller. WordNet: A Lexical Database for English. Commun. ACM, Vol. 38, No. 11, pp. 39-41, 1995.

[6] Manzil Zaheer, Satwik Kottur, Siamak Ravanbakhsh, Barnabás Póczos, Ruslan Salakhutdinov, and Alexander J. Smola. Deep Sets. In Isabelle Guyon, Ulrike von Luxburg, Samy Bengio, Hanna M. Wallach, Rob Fergus, S. V. N. Vishwanathan, and Roman Garnett, editors, Advances in Neural Information Processing Systems 30: Annual Conference on Neural Information Processing Systems 2017, December 4-9, 2017, Long Beach, CA, USA, pp. 3391-3401, 2017.

[7] Eneko Agirre, Daniel M. Cer, Mona T. Diab, and Aitor GonzalezAgirre. SemEval-2012 Task 6: A Pilot on Semantic Textual Similarity. In Eneko Agirre, Johan Bos, and Mona T. Diab, editors, Proceedings of the 6th International Workshop on Semantic Evaluation, SemEval@NAACL-HLT 2012, Montréal, Canada, June 7-8, 2012, pp. 385-393. The Association for Computer Linguistics, 2012.

[8] Vitalii Zhelezniak, Aleksandar Savkov, April Shen, Francesco Moramarco, Jack Flann, and Nils Y. Hammerla. Don't Settle for Average, Go for the Max: Fuzzy Sets and Max-Pooled Word Vectors. In 7th International Conference on Learning Representations, ICLR 2019, New Orleans, LA, USA, May 6-9, 2019. OpenReview.net, 2019.

[9] Christopher D. Manning and Hinrich Schütze. Foundations of statistical natural language processing. MIT Press, 2001.

[10] Nils Reimers and Iryna Gurevych. Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks. In Kentaro Inui, Jing Jiang, Vincent Ng, and Xiaojun Wan, editors, Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, EMNLP-IJCNLP 2019, Hong Kong, China, November 3-7, 2019, pp. 3980-3990. Association for Computational Linguistics, 2019.

[11] Tianyi Zhang, Varsha Kishore, Felix Wu, Kilian Q. Weinberger, and Yoav Artzi. BERTScore: Evaluating Text Generation with BERT. In 8th International Conference on Learning Representations, ICLR 2020, Addis Ababa, Ethiopia, April 26-30, 2020. OpenReview.net, 2020.

[12] Sho Yokoi, Ryo Takahashi, Reina Akama, Jun Suzuki, and Kentaro Inui. Word Rotator's Distance. In Bonnie Webber, Trevor Cohn, Yulan He, and Yang Liu, editors, Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing, EMNLP 2020, Online, November 16-20, 2020, pp. 2944-2960. Association for Computational Linguistics, 2020.
[13] Matt J. Kusner, Yu Sun, Nicholas I. Kolkin, and Kilian Q. Weinberger. From Word Embeddings To Document Distances. In Francis R. Bach and David M. Blei, editors, Proceedings of the 32nd International Conference on Machine Learning, ICML 2015, Lille, France, 6-11 July 2015, Vol. 37 of JMLR Workshop and Conference Proceedings, pp. 957-966. JMLR.org, 2015.

[14] Garrett Birkhoff and John Von Neumann. The logic of quantum mechanics. Annals of mathematics, pp. 823-843, 1936.

[15] Eneko Agirre, Daniel M. Cer, Mona T. Diab, Aitor GonzalezAgirre, and Weiwei Guo. *SEM 2013 shared task: Semantic Textual Similarity. In Mona T. Diab, Timothy Baldwin, and Marco Baroni, editors, Proceedings of the Second Joint Conference on Lexical and Computational Semantics, ${ }^{*}$ SEM 2013, June 13-14, 2013, Atlanta, Georgia, USA, pp. 32-43. Association for Computational Linguistics, 2013.

[16] Eneko Agirre, Carmen Banea, Claire Cardie, Daniel M. Cer, Mona T. Diab, Aitor Gonzalez-Agirre, Weiwei Guo, Rada Mihalcea, German Rigau, and Janyce Wiebe. SemEval-2014 Task 10: Multilingual Semantic Textual Similarity. In Preslav Nakov and Torsten Zesch, editors, Proceedings of the 8th International Workshop on Semantic Evaluation, SemEval@COLING 2014, Dublin, Ireland, August 23-24, 2014, pp. 81-91. The Association for Computer Linguistics, 2014.

[17] Eneko Agirre, Carmen Banea, Claire Cardie, Daniel M. Cer, Mona T. Diab, Aitor Gonzalez-Agirre, Weiwei Guo, Iñigo LopezGazpio, Montse Maritxalar, Rada Mihalcea, German Rigau, Larraitz Uria, and Janyce Wiebe. SemEval-2015 Task 2: Semantic Textual Similarity, English, Spanish and Pilot on Interpretability. In Daniel M. Cer, David Jurgens, Preslav Nakov, and Torsten Zesch, editors, Proceedings of the 9th International Workshop on Semantic Evaluation, SemEval@NAACL-HLT 2015, Denver, Colorado, USA, June 4-5, 2015, pp. 252-263. The Association for Computer Linguistics, 2015

[18] Eneko Agirre, Carmen Banea, Daniel M. Cer, Mona T. Diab, Aitor Gonzalez-Agirre, Rada Mihalcea, German Rigau, and Janyce Wiebe. Semeval-2016 task 1: Semantic textual similarity, monolingual and cross-lingual evaluation. In Steven Bethard, Daniel M. Cer, Marine Carpuat, David Jurgens, Preslav Nakov, and Torsten Zesch, editors, Proceedings of the 10th International Workshop on Semantic Evaluation, SemEval@NAACL-HLT 2016, San Diego, CA, USA, June 16-17, 2016, pp. 497-511. The Association for Computer Linguistics, 2016.

[19] Ryan Kiros, Yukun Zhu, Ruslan Salakhutdinov, Richard S. Zemel, Raquel Urtasun, Antonio Torralba, and Sanja Fidler. Skip-Thought Vectors. In Corinna Cortes, Neil D. Lawrence, Daniel D. Lee, Masashi Sugiyama, and Roman Garnett, editors, Advances in Neural Information Processing Systems 28: Annual Conference on Neural Information Processing Systems 2015, December 7-12, 2015, Montreal, Quebec, Canada, pp. 3294-3302, 2015.

## A 単語集合データの構築方法

単語集合データ 2 の構築方法について説明す る。正例セットは WordNet [5] の名詞の上位語（例： “Animal")を単語集合のクラス、下位語 (例: “dog") を集合の元として収集し、下位語の数が 20 以上の ものを使用した。これらの単語集合をランダムに組 み合わせ補集合・和集合・共通部分を作成した。次 に、負例を作成した。英単語の頻度データ4)を使用 し頻度上位 3000 件からランダムに 1000 件をサンプ リングし、正例の単語を除去して負例セットを構築 した。

## B word2vec での実験結果

表 6 帰属度の平均。括弧内は標本標準偏差。

表 7 各 STS タスクの相関係数

## STS12 STS13 STS14 STS15 STS16


# スタイルの違いに注目した脚本から小説への変換に関する一考察

内田 美友 ${ }^{1}$ 望月 源 $^{2}$
${ }^{1}$ 東京外国語大学 言語文化学部 ${ }^{2}$ 東京外国語大学 大学院総合国際学研究院
\{uchida. miyu. s0, motizuki\}@tufs. ac. jp

## 概要

本論文では，脚本を小説化するシステムの構築を 検討するため，実際に人手により演劇脚本 38 本を 元にした小説化の作業を行い「両者の構造的・形式的な相違点, および含まれる情報の違いはなにか」

「機械的に変換できるところはどこか」「機械的に 変換できないところはどこか」について考察する.脚本から小説への書き換えは，情報が少ない側から 多い側への変換となり, 脚本特有の表現形式からど のように情報を補完しつつ変換するかが問題となる。

## 1 はじめに

小説の作成方法の一つに，演劇やドラマ，映画な どの原作脚本からのノベライズがある. 同じ作品を 異なるメディアで楽しめることから人気があるが，脚本から小説への書き換えには特有の難しさがある。小説の書き方に触れた文献 $[4,5,6,7]$ 比べても書き 方に明確な決まりがあるわけではなく, 比較的自由 であるが，脚本との間には，その形式や構造に大き な違いが見られる. 図 1 に同じ内容を表した脚本と 小説の例を示す.

図 1 同じ内容を表す脚本と小説の例

図 1 で，脚本と小説には次の違いがみられる.
- 台詞の発話者の明示方法 :

脚本では発話者を台詞の前に書いているの
に対し，小説では発話者を台詞の前に書く 形式は用いられていない.
- 鉤括弧使用の有無 :

脚本では，台詞に対し「」を用いないが，小説では，「」が使用されている.
- 助詞「が」「は」の使用の有無 :

脚本では主語を提示するための助詞「が」

「は」が使用されておらず，主語のあとに

「，」を入れている. それに対し，小説で は使用されている。

このように，同じ内容であっても，脚本と小説に は異なる構造や使用する単語などの相違があり，表現方法が異なっている.

また, 脚本では，感情やアクション，気持ちは通常書かれず，舞台で演じる役者や演出家によって考 えられることを前提にしている。一方，小説は文字情報だけですべてを完結させるという前提で書かれ ている。一般に，記述される表現の量に「脚本<小説」という関係が成り立つ.

そのため，脚本を小説化するには，内容を保持す るだけでなく，両者の違いを踏まえた上で，脚本に は記述されない情報を小説では補完する必要も生じ る.しかしながら, 脚本の小説化という観点から,両者の形式的，構造的な類似点や相違点を調査し，変換に必要な知識について研究を行うことは，これ まであまり試みられてこなかった。

そこで，本研究では，実際に演劇で用いられてい る脚本を用いて，小説への変換を人手によって行う. この小説化の作業を記録し，調査することで，「両者の構造的・形式的な相違点，および含まれる情報 の違いはなにか」「機械的に変換できるところはど こか」「機械的に変換できないところはどこか」に ついて，考察する[1].

## 2 関連研究

本研究の逆, 物語小説から演劇台本への自動書き 換えのシステム構築を念頭に置いた研究として，金子らの研究がある[2]. 金子らは，台詞とその話者

を特定するタスク，台本のト書きに採用すべき動詞句を抽出しその動作主を特定するタスク，小説内の 場面の区切りを認識するタスク，実際に台本に採用 する場面を選択するタスク，と段階的に分けて自動書き換えシステムのためのアノテーション方法を提案している．金子らが取り組んでいる小説から台本 への変換では，小説に情報として多く含まれる場面 の中から台本にとってより重要な場面を選択する，情報の絞り込みにひとつの重点がある。一方, 我々 の研究では, 情報の少ない脚本から小説一の変換に おいて, 適切な表現を補うための情報の補完に重点 がある. また, 金らの研究では, 日本の昔話を原本 として，台詞とト書きを抽出し，台詞の話者を特定 する方法を提案している[3].

## 3 書き換えの実施と分析

## 3.1 書き換えの条件

本研究では, 調查対象として筆者のうち 1 名が所属している演劇サークル「劇団ダダン」のメンバ 一が書いた脚本を使用する。本研究のために執筆者 9名による 38 本の脚本の提供を受けた。一覧を付録 A に示す. 9 名のうち 1 名は脚本家として仕事を行 つており, 残りの 8 名は大学のサークル活動の一環 として脚本を執筆している. 8 名はいわゆる「アマ チュア」であるが, 本研究の調查では脚本内の「台詞」「卜書き」「場面転換」の違いがはっきりと分 かれば十分であると考えられる。この点において， プロとアマチュアの間に大きな書き方の違いはない.

書き換えは普段から演劇に関わり脚本に関する知識を有する大学生 1 名が次の方針で行なった.

(1)変換対象は脚本に書かれていることのみに限定し, 想像し補わなければならない感情やアクショ ン, 人物の気持ちなどは対象外とする。(2)小説化 で用いる表現を多彩にすることはせず，もっとも一般的な言葉を用いる. 結果として小説としては表現 が「薄味」なものになる可能性があるが，この点に ついて，今回の調查では考慮の対象外とする。

## 3.2 自動的・機械的な変換が可能なもの

今回の小説化作業において, 比較的容易に, 自動的・機械的な変換が可能と考えられる変換パターン として次の 11 点が確認された。
1. 台詞の表現
「人物が「」と言った」

脚本では「登場人物名十スペース」の次を台詞と 認識し，「登場人物名が「（台詞）」と言った。」 という形を基本として変換できる.

2. 卜書きの「現在形を過去形に変更」と「動作主の後ろに助詞の追加」

卜書き内で「登場人物名十読点 ～動詞現在形」 であれば，動詞の動作主は登場人物であると判断し，小説では, 動詞を過去形にし, 「登場人物名（が| は）した」という形を基本に変換できる.また，登場人物が複数の場合は人物名を「と」でつなぐ.

3. 動作主の提示がないト書き

ト書き内の動作について, 動作主となる登場人物名が明記されていない場合, 必ず直前の台詞の発言者が動作主となる．そのため，書き換えでは，前の 台詞の発言者を動作主として補えば良い.

4. 卜書きの体言止めの変換

脚本ではなるべく簡潔に表現するため, 体言止め が多用される。小説では体言止めは作者が何らかの 効果を狙うための表現技法として使用される場合を 除き，基本的には使用されない，体言止めの違いに 応じて次のような変換パターンがある.

4-1「電話中」など「〜中」で終わる場合，「を している」に変換する.

4-2「動詞(連体形) +人物名」は, 「人物名+が +動詞（現在進行形）」に変換する.

4-3「形容詞 (連体形) +人物名」は, 「人物名 +は十形容詞（終止形）」に変換する.

4-4 「サ変名詞」の場合，「サ変名詞十した」に 変換する．例：登場 $\rightarrow$ 登場した

4-5「動作の対象格となる名詞」は, 呼応する述語（過去形）を補完する．例：ため息一ため息をつ いた

4-6「形容詞 (連体形) +名詞」は, 「形容詞 +名詞十で」に変換する．例：悲しい顔一悲しい顔で

5. 登場人物名と台詞の間の指示書き

脚本中の台詞には，（）で指示書きがなされる場合がある。この指示は，「該当する台詞を次の動作 を交えながら発言せよ」という意味合いを持つ。こ の場合，指示の動作主は台詞の発言者であるが，（） の中の文言は台詞ではないため，地の文として扱え るように変換し, 人物名十助詞と台詞の間に挿入す る。細かく次のパターンに分かれる。

5-1「人物名（〜ながら）」、「人物名は〜なが ら」

5-3 「人物名（～連用形）」 $\rightarrow$ 「人物名は～」

5-4「人物名（～動詞（連用形以外））」「人物名は〜動詞（連用形）」例：人物名（笑う） $\rightarrow$ 人物名は笑って

5-5「人物名（サ変名詞）」「「人物名はサ変名詞 + して」

5-6「人物名（動作の対象格となる名詞）」 $\rightarrow$「人物名は十名詞を十呼応する述語（連用形）」例 : 人物名（ため息）～人物名はため息をついて

+ 名詞で」例 : 人物名 (小声) $\rightarrow$ 人物名は小声で

6. 台詞の後に（）で指示書きがある場合

この場合は，「台詞を言った後に（）内の動作を せよ」との指示であると考えられる.

6-1 動詞の終止形で（）内の指示が終了している 場合, 前の台詞に続けて「と言う＋と, + 動詞（過去形）で終わる指示書き」

6-2（）内が漢字 1 文字であれば漢字を使用して 作られる動詞を連用形に書き換え，「ながら」とい う2つの動作・状態が並行して行われる意を示す接続助詞を挿入する．例 そんなあ（涙） $\rightarrow$ 「そんな あ」と泣きながら言った。

7. 台詞の途中に（）で指示書きがある場合

この場合指示を実行するタイミングは（）前の台詞を言い終わつた直後という明確な決まりがみられ る.

7-1（）内の指示に動作主が提示されていない場合

動作主は台詞の発言者であるとして（）内の指示 の前にある台詞で一度台詞のかぎかっこを閉じ，指示内の動詞及び形容詞, 形容動詞を連用形に直して 接続する. その後, 再びかぎかっこを提示して台詞 を再開させる，という形で変換する。

7-2（）内の指示で動作主が提示されている場合.

「と言うと」を挿入したのち, 各パターンの変換方式に合わせて変換を行う. 発言者とは違う動作主 に対する指示が終了した時点で句点を打ち, 発言者 を改めて提示したのち残りの台詞を続けるという形 をとる。

8. 下書き内で動作が連続する場合

脚本では, 1 行のト書きに書かれる動作が 2 つ以上 になる場合もある。

8-1 同一人物が 2 回連続で指示を受ける場合, 1 つ 目の指示にある動詞を連用形にして文を繋げる。例 : 人物 $\mathrm{A}$ ，テレビをつける，嬉しそうな顔一人物
A はテレビをつけ，嬉しそうな顔をした

8-2 異なる登場人物への指示が 1 行内で繰り返さ れている場合，主語を示す動詞は双方に対比の「は」 を使用し，指示 1 つ目の動詞を連用形にして繋げる。例 : 人物 $\mathrm{A}$ ，立ち去る，人物 $\mathrm{X}$ ，安堵する $\rightarrow$ 人物 $\mathrm{A}$ は立ち去り，人物 Xは安堵した。

9. 卜書き内で場所の指示がある場合場面がどこで展開されているか，という場所情報を 提示する際は，単語のみで表される場合と，「にて」「で」など場所を表す助動詞を伴う場合の 2 パター ンに別れることが多い.

9-1 単語のみの場合, 場所を表す助動詞を加えた うえで，その後に続くト書きに接続する形で変換す る. 例 : 研究講義棟 $\rightarrow$ 研究講義棟で

9-2 場所を表す助動詞を使用している場合は，そ のままその後に続くト書きに接続して変換する.

10. 沈黙に関する表現

沈黙に関する表現は，台詞で表現するパターンとト 書きで表現するパターンの 2 パターンがみられた.

10-1 台詞での表現の場合, 三点リーダーのみで 表現される。この場合, 多くは特定の人物が他の登場人物からの呼びかけに意図的に答えない状況であ る.そのため, 対比の助詞「は」を使用し，「沈黙 している」を付加する。例：「人物名………」

$\rightarrow$ 「人物名は沈黙している」

10-2 ト書きでの表現では「沈黙」とだけ書かれ ていることが多い.この場合, 特定の人物が他の登場人物からの呼びかけに意図的に答えない状況であ るのに加え，場にいる他の全員も発言しないことを 提示したい状況であることが多い．そのため，「沈黙ののち」と動作主（=誰が沈黙しているか）を提示しない形に変換する.

11. 場面転換の合図

脚本も小説も場面を立てながら物語を展開してい くため, 場面転換を示す文言が存在する. 脚本は

$「 1$ 場， 2 場…」もしくは「1 幕, 2 幕…․と,小説は「 1 章, 2 章…․と区切られることが多い.幕，また場という文言が出てきたら「章」に変更す る.

## 3.3 自動的・機械的な変換が難しいもの

今回の小説化作業において自動的・機械的な変換 が難しいパターンとして次の 3 点が確認できた.

1. 音の表現
脚本には，音の表現として，言語表現ではなく,舞台効果として音響指示, つまりどんな種類の音を 出すかの指示が書いてあることが多い. 小説への書 き換えにあたっては， 書きの指示する音を具体的 にどのように言語で表現すればよいかを別途考える 必要がある.

2. 登場人物名でないが，人物を表す表現

「2 人」「全員」「〜たち」のように, 登場人物名と完全一致しないが登場人物の誰かを指す言葉が 用いられることもある。書き換えシステムを実装す る場合には，この点について照応解析が必要になる。

3. 舞台用語の排除

脚本では舞台上の演出を示すために特殊な用語 （舞台用語）を使うことがある．舞台用語の中には そのまま小説向けに変換しても, 小説としては自然 ではないものがある．脚本を小説に変換するらえで 舞台用語を適切な語に置き換えるなど処理が必要に なる。例えば，照明に関する「明転」「暗転」，動作に関する「ハケる」「入り（いり）」，位置に関寸る「上手」「下手」などの舞台用語は脚本におい ては意味があるが，そのまま小説に含めるのは適切 でない.

## 3.4 その他, 表記のゆれ

脚本は構造的に「台詞」「ト書き」「場面転換」 がきちんと区別できれば成立し, どう区別するかに は比較的自由度がある. そのため, 同じことを表現 していたとしても著者によって書き方が違う, いわ ゆる表記ゆれが見られる. さらに, 個人の間でも書 き方が確立しておらず表記ゆれが存在していること も確認された. 今回調查した9名の著者に見られた 主な表記ゆれは以下のものだった.

1.「台詞」の表記ゆれ

本論文では「登場人物名十スペース」で台詞と認識することを標準としているが，台詞の書き方には ゆれがある. 今回の 9名の執筆パターンに見られた のは以下の 3 パターンだった.

登場人物名 + スペース + 台詞 $\cdots \cdots . . .4$ 名

登場人物名 $+\lceil$ 台詞」…..4 名

登場人物名 + : + 台詞 $\cdots \cdots \cdots 1$ 名

2.「卜書き」の表記ゆれ

本論文では「登場人物名十読点」でその行を卜書 きだと認識することを標準としているが，今回の 9 名の執筆パターンにみられたのは以下の 4 パターン
だった.

登場人物名 + 読点 + 指示……7 名

登場人物名十助詞「が」「は」+指示……1名

登場人物名 $+：+$ 指示 $\cdots \cdots \cdots 1$ 名

また， ト書きのみ 1 段字下げするか否かも異なっ ていた，字下げするのが 3 名, しないのが 6 名であ った. 字下げをしない 6 名のうち, ト書き全体を（） で井い台詞との区別を行っていたのが 2 名であった.

3. 指示書きの曖昧性

3.2 節で「台詞の後に（）で指示書きがある場合」 は「台詞を言い終わったあとにこの動作を実行せよ」 となるとしたが，指示の解釈が「該当する台詞を次 の動作を交えながら発言せよ」を意図している事例 も存在した。

これまで脚本の人による解釈ではこうした表記ゆ れは問題視されておらず，上演する人間・団体が実際に脚本を読み前後の文脈を類推してきた。しかし ながら，書き換えシステムを実装する場合には表記 ゆれを解消する仕組みが必要になる。

## 4 おわりに

本論文では，これまであまり試みられてこなかっ た, 脚本の小説化という観点から, 脚本と小説の形式的, 構造的な類似点や相違点を調査し, 変換に必要な知識についての報告を行った.

特に, 脚本において頻出する台詞やト書きの表現 を区分し，小説への自動的・機械的な変換がやりや すい表現とその変換パターンの分析を行なった. ま た, 逆に, 変換の難しい表現とその理由の分析を行 なった. さらに, 脚本の著者たちに見られる表記の ゆれにも言及した。

本来, 情報量の少ない脚本から情報量の多い小説 への変換では, 台詞から感情やアクション, 気持ち を推測しなければならない. より魅力的で良質な小説への書き換えでは，脚本に書かれていない事柄を 推測したり，「解釈」を加えることも必要になる. この点について文学的, 芸術的な要素が分析者の主観のみによって加わわることを避けるため，今回は 一般的な表現に限定したが，豊かな表現として，言 い換える際の最適な言葉の選択や，より深いレベル での脚本における表現技法を小説化に取り入れるた めの分析にも踏み込む必要がある.

## 参考文献

[1] 内田美友, スタイルの違いに注目した脚本から小説への変換に関する一考察, 卒業論文, 東京外国語大学, 3.2022 .

[2] 金子遥渚, 松吉俊, 内海彰, 小説から演劇台本への 書き換え過程のアノテーション, 言語処理学会第 26 回年次大会発表論文集, F5-1, pp.1141-1144, 3.2020.

[3] 今誠一, 吉田文彦, 菊池浩明, 中西祥八郎, 昔話の自動シナリオ化システムの構築, 言語処理学会第 11 回年次大会発表論文集, P3-9, pp.317-320, 3.2005

[4] 小森陽一, 富山太佳夫, 沼野充義, 兵藤裕己,松浦寿輝, 『物語から小説へ』「岩波講座 文学 3 」,岩波書店，2002。

[5] 中村真一郎, 小説入門人生を楽しくする本,光文社, 1962.

[6] 大岡昇平, 現代小説作法, 第三文明社, 1972.

[7] 永江朗，「なるには Books 33」『作家になるに は』，ぺりかん社, 2004.

## A 付録

## 使用脚本一覧

公演時間は文字数をもとにして計算されたものである.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 多段階難易度制御ニューラル機械翻訳のための ベンチマーク評価データセットの開発

谷和樹 1 湯浅亮也 ${ }^{1}$ 滝川一毅 ${ }^{2}$ 田村晃裕 ${ }^{1}$ 梶原智之 ${ }^{2}$ 二宮崇 ${ }^{2}$ 加藤恒夫 ${ }^{1}$
1 同志社大学 2 愛媛大学
}

\{cguc1070@mail4, cguc0095@mail4, aktamura@mail,tsukato@mail\}.doshisha.ac.jp

\{takikawa@ai. , kajiwara@, ninomiya@\}cs.ehime-u.ac.jp
## 概要

本研究では，目的言語文の難易度を多段階で制御 するニューラル機械翻訳（多段階難易度制御 NMT） のためのベンチマーク評価データセットを構築す る. 従来の多段階難易度制御 NMT の評価データは 文単位での対応付けや難易度付与がされていない コーパスから自動構築されており，ノイズを含む ため評価データとして不適切である。本研究では,人手による翻訳，不適切なデータの自動フィルタ リングと最終的な人手確認を行うことで，Newsela コーパスから日英多段階難易度制御 NMT のための ベンチマーク評価データセットを構築する. さら に，従来研究で提案された多段階難易度制御 NMT (パイプラインモデルとマルチタスクモデル)を Transformer モデルで実装し，構築した評価データに おける性能を報告する。

## 1 はじめに

近年，ニューラル機械翻訳（NMT）はますます発展・普及してきており，利用者層が幅広くなってい る. 従来の一般的な NMT は利用者や状況に依らな い一律な翻訳を行うが，近年では，目的言語文の表現を制御するための研究が盛んになっている $[1,2]$. そのひとつに，ユーザの読解レベルにあわせた翻訳を行うため，難易度を入力として受け付け，指定された難易度の目的言語文を生成する難易度制御 NMT がある。これまでは，「平易」と「難解」の ような 2 段階で難易度を制御するモデル [3] が中心 だったが，近年では，3 段階以上の難易度を制御可能な多段階難易度制御 NMT モデルが提案され [4], より柔軟に（例えば小学生，高校生，一般，専門家向けなどのように）難易度を制御することを目指す 研究がされている.従来の多段階難易度制御 NMT の研究で用いられ ている評価データ [4] は, Newsela コーパス1) から自動構築されている. そのため, 従来の評価データに は次の問題がある。 (1) 不適切な対訳文対を含む.

（2）難易度が変わると情報が保たれない場合がある。

(3) 目的言語文の難易度が適切でない場合がある。

そこで本研究では，人手による翻訳，不適切な データの自動フィルタリングと最終的な人手確認を 行うことで，Newsela コーパスから，日英多段階難易度制御 NMT を適切に評価するための評価データ セットを構築する。提案手法により，日本語文と複数の難易度による英語文の組，1,014 組からなる評価データセットを構築した ${ }^{2}$ ). さらに，先行研究 [4] で提案されている，パイプラインモデルとマルチタ スクモデルを Transformer モデル [5] で実装し，構築 した我々の評価データでの性能を報告する。

## 2 従来の評価データ

多段階難易度制御 NMT の唯一の先行研究は Agrawal and Carpuat の研究 [4] である. 先行研究で は， Newsela コーパスから自動作成したデータを用 いて，英語（英）とスペイン語（西）の間の多段階難易度制御 NMT モデルの学習と評価を行っている。

Newsela コーパスは，複数の難易度の英語記事と， その一部に対応するスペイン語記事で構成されて いる. 西英間は記事単位で対応付けられているが，文単位の対応付けは行われていない。各記事には 記事単位で grade level という難易度が付与されてい る. grade level の值は 2 から 12 であり，值が高いほ ど記事が難しいことを示す．評価データは，この Newselaコーパスから次の通り作成されている.

表 1 日英多段階難易度制御 NMT 用評価データの実例

Step 1 西英の Google 翻訳3）を用いて，スペイン語記事の各文を英語に翻訳する。

Step 2 同一言語で書かれた同一内容の文を対応付 ける MASSAlign [6] により，英語記事内の文と，英語に翻訳されたスペイン語文を対応付ける。

Step 3 対応付いた文の組を 1 事例とする. その際，翻訳された文は元のスペイン語文に戻す。また 文の難易度は，属する記事の grade level にする. この自動作成の評価データには次の問題がある.

問題点 1 西英文対は自動で対応付けているため,正しい翻訳文対になっているとは限らない。

問題点 2 同一言語の文間の対応付けを自動で行っ ているため，対応付いている文の情報の抽象度 が同一になるとは限らない．特に，固有名詞な ど，より具体的な情報が新たに湧き出す場合，難易度制御で情報を増やすことは難しいため問題となる.

問題点 3 記事の難易度を文の難易度に転用してい るため，付与されている文の難易度が正しいと は限らない。例えば，記事単位の grade level が 異なっていたとしても，完全に同じ文となる場合や記号のみが異なる場合がある。

このような問題がある従来の評価データでは，モデ ルの正確な性能評価ができなくなりうるため, 評価 データとして不適切である.

## 3 評価データセットの作成

本節では，本研究で提案する多段階難易度制御 NMT 用の評価データセットの作成手順と, 作成し た評価データセットの詳細を示す. 本研究では, Newsela コーパス中の英語文に日本語訳を付与する ことで，日本語文（原言語文） 1 文と複数（3 段階以上）の難易度による英語文（目的言語文）の組で構成される日英多段階難易度制御 NMT 用の評価デー タセットを作成する. Newselaコーパスは，他の単言語平易化コーパス（[7] や [8] など）とは異なり，

ニュース記事を作成するプロにより平易化されて いること，規模が大きいこと，また，多段階の難易度が付与されていることから，本研究の評価データ セットの作成元にした.

## 3.1 提案の作成手順

評価データセットは次の 2 ステップで構築する。

Step 1 複数段階の難易度で記述される英語文集合 の作成

1-1: Newsela-auto から自動抽出

1-2: 自動フィルタリングでの不適切データ除去 1-3: 人手による最終確認

Step 2 人手翻訳による日本語訳の付与

Step1 では，Newselaコーパスの英語記事集合から 複数段階の難易度で記述される同一内容の英語文集合を抽出する。具体的には， Newsela-auto [9] ${ }^{4}$ 内で 自動で対応付いている文対に基づき，3つ以上の文 が同一内容となる英語文集合を抽出する (Step 1-1). その結果，98,500 組の英語文集合が得られた.

ただし, 本研究でも先行研究と同様, 文の難易度 として属する記事の難易度を設定する。したがっ て，2 節の問題点 3「文の難易度が正しいとは限ら ない」が生じる. そこで本研究では, 自動フィルタ リング（Step 1-2）と人手チェック（Step 1-3）によ り，確実に難易度が異なる 3 文以上から成る同一内容の英語文集合を作成する。自動フィルタリング では，記号を除いた状態で全く同じになる文対と grade level の差が 1 以下になる文対を除いた.

また，Newsela-auto は同一内容の文を自動で対応付けているため，2 節の問題点 2 「難易度が異なる と情報が保たれない場合がある」が生じる。そこで 本研究では, Step 1 の最終確認として，固有名詞な どの情報が湧き出している事例を人手で除いた。

Step2 では，Step1 で作成した各英語文集合に対し て，最も grade level が大きい文（最も難しい文）を 人手で日本語に翻訳し，日本語訳を付与する．翻訳

4） Newsela コーパス中の難易度が異なる英語記事を対象に，同一内容の文を自動で対応付けした結果のコーパスである.

表 2 評価データセット中の英語文の段階数

図 1 評価データセット中の英語文の grade level の内訳

は翻訳会社に依頼した。この人手翻訳により，2 節 の問題点 1 「不適切な対訳文対を含む」を解決する.

以上の作成手順により，1,014 組の評価データか らなる, 日英多段階難易度制御 NMT 用の評価デー タセットを作成した。表 1 に作成した評価データ の実例を示す.また，表 2 と図 1 に，作成した評価 データセット中の英語文の難易度の段階数の内訳と 英語文の grade level の内訳をそれぞれ示す.

## 自動フィルタリングの必要性の考察

本研究では，Step 1 において，記事単位の難易度 から転用された文の難易度が不適切なデータを除く 目的で自動フィルタリングを導入した.ここでは， その必要性を考察する。

Step 1-1 の結果からランダムに抽出した 100 組の 文集合に対して，文に付与された難易度が異なるに もかかわらず，実際には難易度が変わらないデータ がどの程度含まれるかを人手で調査した. その結果，実際に難易度が変わっている文で構成されてい る組は 37 組しか存在せず，残りの 63 組は, grade level が異なるにもかかわらず，全く同じ文対や，記号のみが変化するなどの難易度が変わらない文対を 含んでいた.このような事例は評価データとして不適切であるため, 評価データから除く必要がある. しかし全体の $60 \%$ 以上あり人手で除くのは現実的で はない. したがって, 本研究で導入した自動フィル タリングが有用であると考えられる.

図 2 パイプラインモデルの概要図

## 4 ベンチマーク実験

本節では，今後の多段階難易度制御 NMT に関す る研究のベンチマークとして, 先行研究 [4] で提案されている 2 つの多段階難易度制御 NMT の手法（パイプラインモデルとマルチタスクモデル）を Transofrmer モデルで実装し5)，構築したテストデー タに対する性能を報告する. 先行研究では系列変換 モデルとしてRNN（LSTM）ベースのモデル [11]を 用いているが，本研究では，近年様々な NLP タスク でデファクトスタンダードになっている Transformer モデルを用いた。また，先行研究では西英間の翻訳 を対象としており，教師データとして Newsela コー パスのスペイン語記事を用いることができるが，本研究では Newsela コーパスに含まれない日本語と英語間の翻訳が対象であることにも注意されたい。

## 4.1 パイプラインモデル

パイプラインモデルは，機械翻訳と多段階平易化 [12]の2つの独立したモデルをつなげたモデルであ る.「機械翻訳 $\rightarrow$ 多段階平易化」と「多段階平易化 $\rightarrow$ 機械翻訳」の 2 通りが考えられるが, 先行研究 [4] では「機械翻訳 $\rightarrow$ 多段階平易化」の方が性能が良 かったこと，また, Newselaコーパスからは日本語 の多段階平易化のための教師データを作成できない ことから，本研究では，「機械翻訳 $\rightarrow$ 多段階平易化」 の性能のみを評価，報告する。図 2 に評価するパイ プラインモデルの概要図を示す.

日英 NMT モデルおよび英語の多段階平易化モ デルは共に Transformer モデルを用いる. 日英 NMT モデルは, Kiyono ら [13]の日英翻訳モデルに倣っ て作成した. 教師データは JParaCrawl [14] と News Commentary を用いた。ただし， langid ${ }^{6}$ により原言語文が日本語かつ目的言語文が英語となった， $9.7 \mathrm{M}$文対を教師データとして用いた. 英語文にのみ trucasing を行い, Sentencepiece [15]によりサブワー ドサイズ 32,000 でサブワード化を行った.

英語の多段階平易化モデルは，先行研究 [12] に 倣い，入力の英語文の先頭に目的の難易度を表す

特殊トークンを追加した系列を，目的の難易度 の英語文に変換する系列変換モデルで実現した. Newsela-auto からランダムに抽出した $150 \mathrm{~K}$ を教師 データとした. ただし，構築した評価データセット に含まれるデータは除いている．教師データからは 100 単語以上の文と入出力文長比が 2 以上の文対は 除いた. その後， fastBPE ${ }^{7)}$ によりサブワードサイズ 8,000 でサブワード化を行った. その他の実験設定 は付録に示す.

## 4.2 マルチタスクモデル

マルチタスクモデルは，翻訳のみの損失，平易化 のみの損失，難易度を指定した翻訳の損失の 3 つの 損失に基づいた，次の損失関数 loss により，1つの Transformer モデルを学習する.

$
\begin{gathered}
\text { loss }=L_{M T}+L_{\text {Simplify }}+L_{C M T} \\
L_{M T}=\sum_{\left(s_{i}, s_{o}\right) \in D_{M T}} \log P\left(s_{o} \mid s_{i} ; \theta\right) \\
L_{\text {Simplify }}=\sum_{\left(s_{o}, c_{o^{\prime}}, s_{o^{\prime}}\right) \in D_{S}} \log P\left(s_{o^{\prime}} \mid s_{o}, c_{o^{\prime}} ; \theta\right) \\
L_{C M T}=\sum_{\left(s_{i}, c_{o}, s_{o}\right) \in D_{C M T}} \log P\left(s_{o} \mid s_{i}, c_{o} ; \theta\right)
\end{gathered}
$

ただし $D_{M T}$ は，JparaCrawl からランダムに抽出した 3,000K の日英対訳文対， $D_{C M T}$ は，Newsela-auto に 含まれる各英語文集合に対して，最高難易度の英語文を Google 英日翻訳で日本語に翻訳し，翻訳した日本語（原言語）と最高難易度以外の英語文（目的言語）とその難易度の三つ組 (評価データセットに含 まれるデータは除く)をランダムに抽出した $200 \mathrm{~K}$, $D_{S}$ は， $D_{C M T}$ の 200K の三つ組に対して，日本語文 を元の英語文に置き換えたデータである。また， $\theta$ はモデルパラメータ， $s_{i}$ は原言語文， $s_{o}$ は目的言語文， $s_{o^{\prime}}$ は $s_{o}$ を平易化した文， $c_{o / o^{\prime}}$ は $s_{o / o^{\prime}}$ の難易度 である。その他の実験設定は付録に示す。

## 4.3 評価指標

評価指標は, 先行研究 [4] に倣って BLEU [16] と

の文長の絶対平均誤差 MAELEN [17] も算出する. こ こで，SARI [7]を算出するためには，同一言語の，平易化前の文，平易化後の文，参照文の三つ組が必

表 3 実験結果

要になるが，従来の評価データでは原言語文と同じ 難易度の目的言語文が必ずしも与えられていない. そこで先行研究 [4] では，原言語文を機械翻訳で翻訳した文を，平易化前の文として用いている。しか し，機械翻訳の翻訳文には誤りが多く含まれるた め，先行研究の SARI は，本来評価すべき多段階難易度制御 NMT の純粋な平易化性能を評価できてい ない。一方で，本研究で作成した評価データセット には，原言語文に対応する最高難易度の英語文が付与されているため，SARIを計算する際に最高難易度の英語文を平易化前の文として与えることで適切 な SARI を算出できる。

## 4.4 実験結果

4.1 節のパイプラインモデルおよび 4.2 節のマルチ タスクモデルの性能を表 3 に示す. 表 3 より，先行研究同様，マルチタスクモデルの方がパイプライン モデルよりも BLEU が高くなった。一方で，SARI はパイプラインモデルの方が高くなった.

パイプラインモデルについては，機械翻訳部分と 多段階平易化部分それぞれ単独の評価データセッ 卜における性能を評価した．多段階平易化部分の性能評価では，各英語文集合の中の最高難易度の英語文を入力として，その他の難易度の英語文に対する 平易化性能を測った. その結果，機械翻訳部分の BLEU は $14.31 \%$ となった ${ }^{9)}$. また，多段階平易化部分の BLEU，SARI，MAELENは，それぞれ，68.40\%， $18.99 \% ， 3.98$ となった.

## 5 まとめ

本研究では，従来の評価データより適切にモデル 性能を評価可能な，多段階難易度制御 NMT のため のベンチマーク評価データセットを構築した。人手 による翻訳，不適切なデータの自動フィルタリング と最終的な人手確認を行うことで，評価データの品質を確保した.また，今後の研究のためのベンチ マーク結果として，2つの多段階難易度制御 NMT モデルを実装し，その性能を構築した我々のテスト データで評価した.

9）参考のため，Google 日英翻訳の我々の評価データセットに おける翻訳性能を測った結果，BLEU は $10.12 \%$ となった。

## 参考文献

[1] Rico Sennrich, Barry Haddow, and Alexandra Birch. Controlling politeness in neural machine translation via side constraints. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 35-40, 2016.

[2] James Kuczmarski and Melvin Johnson. Gender-aware natural language translation. In Technical Disclosure Commons, (October 08, 2018), 2018.

[3] Kelly Marchisio, Jialiang Guo, Cheng-I Lai, and Philipp Koehn. Controlling the reading level of machine translation output. In Proceedings of Machine Translation Summit XVII: Research Track, pp. 193-203, 2019.

[4] Sweta Agrawal and Marine Carpuat. Controlling text complexity in neural machine translation. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLPIJCNLP), pp. 1549-1564, 2019.

[5] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in Neural Information Processing Systems, Vol. 30, 2017.

[6] Gustavo Paetzold, Fernando Alva-Manchego, and Lucia Specia. MASSAlign: Alignment and annotation of comparable documents. In Proceedings of the IJCNLP 2017, System Demonstrations, pp. 1-4, 2017.

[7] Wei Xu, Courtney Napoles, Ellie Pavlick, Quanze Chen, and Chris Callison-Burch. Optimizing statistical machine translation for text simplification. Transactions of the Association for Computational Linguistics, Vol. 4, pp. 401-415, 2016.

[8] Fernando Alva-Manchego, Louis Martin, Antoine Bordes, Carolina Scarton, Benoît Sagot, and Lucia Specia. ASSET: A dataset for tuning and evaluation of sentence simplification models with multiple rewriting transformations. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 4668-4679, 2020.

[9] Chao Jiang, Mounica Maddela, Wuwei Lan, Yang Zhong, and Wei Xu. Neural CRF model for sentence alignment in text simplification. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7943-7960, 2020.

[10] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A fast, extensible toolkit for sequence modeling. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (Demonstrations), pp. 48-53, 2019.

[11] Dzmitry Bahdanau, Kyunghyun Cho, and Yoshua Bengio. Neural machine translation by jointly learning to align and translate. In Proceedings International Conference on Learning Representations (ICLR 2015), San Diego, CA, USA, May 7-9, 2015, Conference Track Pro- ceedings, 2015.

[12] Carolina Scarton and Lucia Specia. Learning simplifications for specific target audiences. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 712-718, 2018.

[13] Shun Kiyono, Takumi Ito, Ryuto Konno, Makoto Morishita, and Jun Suzuki. Tohoku-AIP-NTT at WMT 2020 news translation task. In Proceedings of the Fifth Conference on Machine Translation, pp. 145-155, 2020.

[14] Makoto Morishita, Jun Suzuki, and Masaaki Nagata. JParaCrawl: A large scale web-based English-Japanese parallel corpus. In Proceedings of the 12th Language Resources and Evaluation Conference, pp. 3603-3609, Marseille, France, May 2020. European Language Resources Association.

[15] Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, 2018.

[16] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, 2002.

[17] Daiki Nishihara, Tomoyuki Kajiwara, and Yuki Arase. Controllable text simplification with lexical constraint loss. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics: Student Research Workshop, pp. 260-266, 2019.

## A 付録

表 4 に 2 節で記述した問題点 2 「難易度が異なると情報が保たれない場合がある」の具体例を示す。また，表 5 に 2 節で記述した問題点 3 「文の難易度が正しいとは限らない」の具体例を示す。そして，表 6 に本研究 で評価したパイプラインモデルとマルチタスクモデルの実験設定を示す.

表 4 固有名詞の湧き出しを含むデータ例

 \\

表 5 grade level は異なるが難易度が変わらない文対を含むデータ例

 & True & True & True \\

表 6 fairseqを用いた実験設定


# 人エデータでの事前学習によるニューラル機械翻訳の性能向上

田村弘人平澤寅庄 金輝槡 岡照晃 小町守
東京都立大学
\{tamura-hiroto, hirasawa-tosho, kim-hwichan\}@ed.tmu.ac.jp
\{teruaki-oka, komachi\}@tmu.ac.jp

## 概要

転移学習において非言語データで事前学習するこ とで，言語情報以外のどのような特性が転移される かの研究が行われている $[1,2,3,4]$. ニューラル機械翻訳 (NMT) においては Aji ら [5] が人エデータで 事前学習した場合，事前学習なしのモデルよりも高 い性能を示したと報告している。しかし彼らはそれ ぞれ 1 種類の人工データ，事前学習法でしか実験し ていない. 本研究では様々な特性を持つ人工データ を用意し，2つの目的関数を用いて事前学習した場合の NMT での性能を比較調査する。また転移学習 に対する ablation studyを行い，各事前学習データ，事前学習法でモデルの各コンポーネントへの影響を 調査した. 結果として, トークンの頻度情報を持た せた人工データで事前学習したモデルは，実データ で事前学習したものよりも高い性能を示した.

## 1 はじめに

転移学習は NMT の性能向上に効果的な手法であ り，特に少資源状況において顕著な性能改善が見ら れる $[6,7,8,9,10]$. 言語情報の知識転移が性能向上 の主な貢献とされる一方，様々なタスクにおいて人 エデータで事前学習することで，言語情報以外のど のような特性が転移されるかが調査されている。

Chiang と Lee [3] は Transformer [11] ベースの言語 モデルで，事前学習データ内の意味以外のどのよう な特性が下流タスクの性能に影響するかを調査し た. 人工データで事前学習し GLUE [12] タスクでの 性能を評価した結果，事前学習なしの場合よりも高 い性能を示した. Transformer ベースの系列変換モデ ルでは Krishna ら [4] が要約タスクにおいて，人工 データで事前学習したモデルが実データで事前学習 した場合に匹敵する性能を示したと報告している。

Aji ら [5] は NMT において，人工データを用い た自己符号化で事前学習することで事前学習なしの
モデルよりも高い翻訳性能を示し，特に少資源言語対において顕著な性能向上が見られた. しかし彼ら の実験はランダムな数字列で構成された人工データ でのみ実験しており，他の特性を備えた人工データ での実験は未調査である。また事前学習法として自己符号化を採用しているが，他の学習法での翻訳性能に対する影響も未知である.

そこで本研究では，下流タスクをNMT として 様々な種類の人工データを用いて事前学習するこ とで，NMT でどのような特性を持った人工データ が翻訳性能に効果的かを調査する。 また事前学習法 として，自己符号化と MAsked Sequence to Sequence pre-training (MASS) ${ }^{1)}$ [9] を選択し，事前学習法ごと の人工データの特性の影響も調査する。さらに転移学習に対して ablation studyを行い，事前学習時の データセットや学習法ごとにモデルのどのコンポー ネントの転移が性能に貢献しているか，反対にどれ をファインチューニングした方が良いかを調査す る. 本研究での主な貢献は以下の通りである：

1. 対訳データが少資源の場合，人工データでの事前学習により，事前学習なしのモデルよりも高 い性能を示した2).

2. 事前学習法が自己符号化の場合，トークンの頻度情報を含めた人工データで事前学習すると，実データの場合よりも高い性能を示した。

3. 事前学習法が MASS の場合，人工データでの学習は不十分であり実データで訓練する必要があ ることを示した。

4. Ablation study により事前学習法が自己符号化 の場合，頻度情報を学習した encoders が下流夕 スクの主な性能の要因であることを明らかに した.

1） MASS は Song ら [9] によって提案された系列変換の masked language model であり，多量の単言語データで事前学習するこ とで特に少資源 NMT で顕著な性能向上が確認されている。

2）多資源状況では性能向上が見られなかったため，対訳デー タを 3 万文対， 10 万文対として実験を行った.

## 2 事前学習データ

## 2.1 実データ

本研究では英語からドイツ語への翻訳タスクに おける人工データを用いた事前学習の影響を分析 する. ファインチューニング時に使用する対訳デー タは WMT14 [13] の英独翻訳タスクから獲得して いる.そのため事前学習に用いる英語, ドイツ語 データもドメインの観点から同じくWMT14 の対訳 データから抽出し, 各言語の単言語データとして 扱った。

English (En) 全対訳データの英語側から，ファイ ンチューニング時に使用する訓練データと重複しな い文をランダムに抽出する。

German (De) “English” と同様にドイツ語データ を抽出する。

English + German (En + De) "English", "German"で のデータサイズが約 5,000 万トークンになるように， それぞれの言語データから文を抽出し，混合する。

## 2.2 人エデータ

本研究で使用する人工データは全て数字列で構成 される. 具体的には，0から（ファインチューニン グに使用する対訳データの語彙サイズ - 1）の範囲 の整数が人工データの語彙に含まれる ${ }^{3}$. 系列長は 全て 128 である.

Random 各数字は語彙の一様分布から独立に抽出され，系列が作成される.

Unigramファインチューニングで使用する対訳 データから unigram 分布を作成し, その分布に沿っ て数字を独立に抽出し系列を作成する。

Zipf Zipf 分布（式 1）から独立に各数字が抽出さ れ，系列が作成される。

$
f(k ; s, N)=\frac{1 / k^{s}}{\sum_{n=1}^{N}\left(1 / n^{s}\right)}
$

ここで $N$ はトークンの要素数, $k$ はトークンの頻度順位， $s$ は分布を特徴付ける指数であり, $s$ が小さい ほど滑らかな分布になる. 本実験では $s=1.0$ とし た. “Unigram”では対訳データから分布を求めてい るが，この手法では一切実データを用いていない.

表 1 異なる対訳データサイズにおける, 事前学習法,事前学習データごとのテストセットでの BLEU スコア. “N/A” は事前学習なしのモデルを表す。“AE” は自己符号化を表す。

## 3 実験設定

事前学習データのデータサイズは約 1 億トーク ンである.ファインチューニングに使用する対訳 データは全対訳データ約 450 万文対からランダムに 3 万文対と 10 万文対を抽出し，それぞれのデータサ イズでNMT モデルの訓練を行った。開発セットは newstest2013，テストセットは newstest2014を使用し た. 全ての実データは $\mathrm{Moses}^{4}$ [14] で正規化，トー クン化し，その後 BPE [15] でサブワード化を行っ た. BPE の語彙サイズは対訳データが 3 万文対, 10 万文対の場合それぞれ 8,000，16,000である。また 事前学習時に使用する実データは上で学習した語彙 を用いてサブワード化する。

全ての実験は Song ら [9] のコード5)を用いて行っ た. モデルは Transformer (base)を使用し，事前学習済モデルの重みで初期化後, ファインチューニング を行った。初期化の際，語彙の割り当ては frequency assignment [5]を採用している。主なハイパーパラ メータは付録 A に示す. 事前学習の更新回数は 10 万ステップである. ファインチューニング時は early stopping を採用しており，開発セットでのロスが 10 エポック間減少しなかった場合，訓練を終了する。事前学習は各データセットで 1 回だけ行い，ファイ ンチューニングと事前学習なしのモデルの訓練は 異なるシードで 3 回行った. 評価は SacreBLEU6) 7) [16] を用いて, case-sensitive BLEUを計算した. 報告する全てのスコアは 3 つのシードでの平均値で ある.
+tok.13a+version.1.5.1
}

## 4 結果

表 1 にファインチューニング時の各対訳データサ イズにおける，事前学習法，事前学習データごとの テストセットでの BLEU スコアを示す.

対訳データサイズ：3万事前学習法が自己符号化の場合は, 全ての事前学習データで，事前学習な しの場合よりも性能向上が見られる（貢献 1). 実 データで事前学習したモデルは “Random”よりは良 い性能であるが，下から 2 つの人工データでのモデ ルより低い性能を示している。 “Unigram” と “Zipf" は頻度情報のみを考慮したデータセットであること から，頻度情報のみを学習することで十分な性能が 発揮できることを示している (貢献 2). 事前学習法 が MASS の場合は，人工データで事前学習したモデ ルは事前学習なしのものよりも高い性能ではある が，実データで事前学習したモデルが人工データで の事前学習よりも明らかに高い性能を示している。実データは共起性や構造性など頻度以外の情報も含 んでいる。よって MASS では頻度情報は性能に貢献 するが，頻度以外の情報も学習することで更なる性能向上が達成されることを示している（貢献 3).

対訳データサイズ：10万 自己符号化の場合，全 ての事前学習データで，事前学習なしの場合よりも 性能が悪化しており, どのデータでも同程度のスコ アが得られる. MASS の場合も全事前学習データ で，事前学習なしの場合よりも低いスコアしか達成 できないが，人工データよりも実データで事前学習 した方が良いという傾向はデータサイズが 3 万の時 と同じである.これらから対訳データサイズが 10 万の場合は, 各事前学習法, 事前学習データで性能向上が見られなかった.

以上の結果から 5 節では対訳データサイズを 3 万 とし, 各事前学習法, 事前学習データによるモデル の各コンポーネントへの影響を分析する。

## 5 分析

4 節では各事前学習法により，実データで訓練 した場合と, 人工データでの場合とで異なる結果 を確認した．これを受け，事前学習データが “En” と “Zipf” の場合の各事前学習法での挙動を確認す る. 具体的にはモデルを embeddings (emb), encoders (enc), cross-attentions (x-attn), decoders ( $\mathrm{dec})^{8}$ の の大きく

8） emb は encoder 側と decoder 側, 両方の embeddings を対象と している. enc, dec は self-attentions と layer-norms, feed-forwardnetworksを含む．x-attn は layer-norms を含む.表 2 各コンポーネントを転移した時の，事前学習法，事前学習データごとのテストセットにおける BLEU スコア. “ $\checkmark$ は該当するコンポーネントを転移していることを意味する。

4 つのコンポーネントに分けて転移学習に対する ablation studyを行う.

表 2 に選択的に各コンポーネントを転移し，ファ インチューニングした時の BLEU スコアを示す。ま た，表 3 に全てのコンポーネントを転移した後，あ る部分のみをフリーズしてファインチューニングし た場合の BLEU スコアを示す.

emb の転移の影響 表 2 から事前学習法が自己符号化の場合，embのみを転移した場合を除いて emb の影響はわずかである。emb 以外を全て転移した場合では，全てのコンポーネントを転移した場合より も高い性能を出している (8 行目)。一方で事前学習 データが “En”の時，“Zipf”の場合に比べて emb は 性能に貢献している (1,9行目). 表 3 から，embを フリーズすると両事前学習データとも性能が悪化し ているが，“Zipf”よりも “En”の方が悪影響を受け ている。これは embの重みを enc 側と dec 側とで共有しており，“En”の場合 emb は英語に最適化され ているが，ドイツ語の emb としても使用されている ためである。これに対し “Zipf”では言語横断的な頻度情報のみを $\mathrm{emb}$ は学習しているため性能悪化が小 さいと考えられる．以上から，自己符号化では $\mathrm{emb}$ の情報を少しは転移しているが，ファインチューニ ングで重みが再学習されると考えられる。 そして，主な性能貢献は emb 以外のコンポーネントの影響に よるものであり, それはトークンの頻度の学習で達
成されると推測できる.

MASS の場合，表 2 より明らかに embを転移する と性能向上している。特に事前学習データが “En” だと “Zipf”よりも emb の性能に対する貢献が強い と確認できる。表 3 から embをフリーズした時，両事前学習データとも性能が悪化しているが, “En” よりも “Zipf” の方が悪影響を受けている。これは “En”では文脈的な emb が得られたが, “Zipf” では無理に文脈的な embを獲得しようとして低品質なもの が生成されてしまったからだと考えられる。

enc の転移の影響 自己符号化の場合，表 2 から 事前学習データに依らず enc の転移が性能に貢献し ていることが確認できる（5 8 行目). 表 3 から両事前学習データともに encをフリーズしても何も フリーズしない場合と同程度の性能を出している. よって enc の学習は頻度情報のみで十分であり, 主 な翻訳性能の貢献に繋がると考えられる（貢献 4).

MASS の場合，表 2 より事前学習データが “En” では enc が性能に貢献しているが，“Zipf”では他 のコンポーネントの場合と同程度のスコアである （10 12 行目). 表 3 からは encをフリーズした場合,他のコンポーネントをフリーズした場合よりも低い スコアが見られる. これは MASS で enc が学習した 表現は NMT で必要とされる表現とは異なり，NMT での再学習が必要であることを示している. また事前学習データが “Zipf” の時は大幅な性能低下が見ら れるため, 頻度情報のみでは enc の学習は上手く行 われない。よって MASS では, enc は共起性や構造性を持つ実データでの事前学習が必要であり, 下流 タスクで enc を再学習する必要がある。

x-attn の転移の影響 自己符号化の場合，表 2 か ら事前学習データによらず x-attn のみを転移すると 大幅に性能が下がるため，他のコンポーネント（特 に enc）と組み合わせる必要がある，これはトークン の対応がそのトークン自身とで取られており，NMT で求められるトークンの対応とかけ離れた表現が 学習されているためと考えられる. また, 表 3 でフ リーズしても比較的性能が下がらないのは, 事前学習済み enc と組み合わせているためと考えられる。

MASS の場合，表 2 から “En”ではかなり低いス コアが見られる (3行目).これは英語からドイツ語 へのトークンの対応が学習されていないためと考 えられる。一方で “Zipf”だと大きなスコアの変動は 見れられない。“Zipf”データはトークンが独立に抽出されるため, MASS での学習であまり偏りのない表 3 全てのコンポーネントを転移した後，各部分をフ リーズした時の, 事前学習法, 事前学習データごとのテ ストセットにおける BLEU スコア. “ $x ”$ は該当するコン ポーネントをフリーズしていることを意味する。

トークン同士の対応分布が獲得できたためと考えら れる. 表3でのフリーズの結果は自己符号化と同様 に，事前学習済み enc と組み合わせているため比較的性能が下がらないと考えられる.

$\operatorname{dec}$ の転移の影響 自己符号化の場合，表 2 より 両事前学習データともに同程度のスコアを出してい る（4,12 行目）。表 3 より decをフリーズした場合， enc, x-attn に比べ性能が下がるが，両事前学習デー タで同程度のスコアである. よって decでも頻度の 学習が行われているが，下流タスクで再学習する必要がある.

MASS の場合は表 2 からは両事前学習データとも に同程度のスコアである (4, 12 行目). 表 3 より enc の場合と同様に, “Zipf" で訓練したものは “En”より も性能が低いため実データで学習する必要がある.

## 6 おわりに

本研究では実データ，人工データを自己符号化と MASS の 2 つの事前学習法で訓練し NMT での性能 を調査した。自己符号化の場合は，トークンの頻度 を考慮したデータセットで学習したモデルが実デー タでのものよりも高い性能であったが，MASS では 実データで学習する必要があることを示した.

また転移学習に対する ablation study を行い，モデ ルの各コンポーネントが各事前学習データ, 事前学習法により受ける翻訳性能への影響を調査した。自己符号化の場合, 事前学習データの種類に関わらず embeddings 以外のコンポーネントが主な性能に貢献 しており, encoders がトークンの頻度情報を学習す るだけで高い性能が発揮されることを示した. 一方 MASS では実データで学習することで embeddings が性能に大きく貢献することを示した。

今後の展望として, MASSでも人工データでの事前学習で高い性能を出せるような, 共起性, 構造性 を考慮した人工データの作成を目指している。

## 参考文献

[1] Isabel Papadimitriou and Dan Jurafsky. Learning Music Helps You Read: Using transfer to study linguistic structure in language models. In EMNLP, 2020.

[2] Cheng-Han Chiang and Hung yi Lee. Pre-training a language model without human language. arXiv preprint arXiv:2012.11995, 2020.

[3] Cheng-Han Chiang and Hung yi Lee. On the transferability of pre-trained language models: A study from artificial datasets. arXiv preprint arXiv:2109.03537, 2021.

[4] Kundan Krishna, Jeffrey Bigham, and Zachary C. Lipton. Does pretraining for summarization require knowledge transfer? In Findings of EMNLP, 2021.

[5] Alham Fikri Aji, Nikolay Bogoychev, Kenneth Heafield, and Rico Sennrich. In neural machine translation, what does transfer learning transfer? In ACL, 2020.

[6] Barret Zoph, Deniz Yuret, Jonathan May, and Kevin Knight. Transfer learning for low-resource neural machine translation. In EMNLP, 2016.

[7] Raj Dabre, Tetsuji Nakagawa, and Hideto Kazawa. An empirical study of language relatedness for transfer learning in neural machine translation. In PACLIC, 2017.

[8] Ye Qi, Devendra Sachan, Matthieu Felix, Sarguna Padmanabhan, and Graham Neubig. When and why are pre-trained word embeddings useful for neural machine translation? In NAACL, 2018.

[9] Kaitao Song, Xu Tan, Tao Qin, Jianfeng Lu, and Tie-Yan Liu. MASS: Masked sequence to sequence pre-training for language generation. In ICML, 2019.

[10] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. In ACL, 2020.

[11] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, and Illia Polosukhin. Attention is all you need. In NeurIPS, 2017.

[12] Alex Wang, Amanpreet Singh, Julian Michael, Felix
Hill, Omer Levy, and Samuel R. Bowman. GLUE: A multi-task benchmark and analysis platform for natural language understanding. In ICLR, 2019.

[13] Ondrej Bojar, Christian Buck, Christian Federmann, Barry Haddow, Philipp Koehn, Johannes Leveling, Christof Monz, Pavel Pecina, Matt Post, Herve Saint-Amand, Radu Soricut, Lucia Specia, and Aleš Tamchyna. Findings of the 2014 workshop on statistical machine translation. In WMT, 2014.

[14] Philipp Koehn, Hieu Hoang, Alexandra Birch, Chris Callison-Burch, Marcello Federico, Nicola Bertoldi, Brooke Cowan, Wade Shen, Christine Moran, Richard Zens, Chris Dyer, Ondřej Bojar, Alexandra Constantin, and Evan Herbst. Moses: Open Source Toolkit for Statistical Machine Translation. In ACL, 2007.

[15] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In ACL, 2016.

[16] Matt Post. A call for clarity in reporting BLEU scores. In WMT, 2018.

## A ハイパーパラメータ

表 4 に本実験で設定した主なハイパーパラメータを示す. word-mask 率は MASS で事前学習を行う際，入力系列をどれだけマスクするかの割合である.

表 4 各事前学習法ごとの事前学習時 (PT) とファインチューニング時 (FT) のハイパーパラメータ.

 & & 4,096 &  & クン & \\


# 複数意図のエンティティクエリに対する 絞り込み検索のためのクエリ生成法の提案

豊田 樹生 齋藤 純 小松 広弥 熊谷 賢 菅原 晃平
ヤフー株式会社
\{itoyota, junsait, hkomatsu, kenkumag, ksugawar\}@yahoo-corp.jp

## 概要

本論文では複数意図を持つエンティティクエリに 対する絞り込み検索のためのクエリ生成に取り組 む. 複数の正例生成器とラベル未付与事例生成器を 組み合わせることで訓練事例を自動生成することを 提案する.クエリの組の CRR(Cumulative Reciprocal Rank) の差を含めた複数の素性を用いて Random Forest[4] による PU(Positive Unlabeled) 学習を行う.提案手法により CRR の差を単独で用いる場合より も $\mathrm{F}$ 值が 4.4 ポイント向上することを示す.

## 1 はじめに

ウェブ検索においては，しばしば複数意図を持つ エンティティクエリ [11]が発行される. 例えば，メ ディア作品名のクエリ “ゆるキャン $\triangle$ ”では, 漫画・ ドラマ・アニメなどの複数の意図がある. 人物名の クエリ “森麻季” では, アナウンサーや歌手などの 複数の意図がある.このようなクエリに対して，そ れぞれの意図に対応した絞り込み検索をできるよう することは検索体験を向上させるうえで重要であ る. 先行研究の複数意図クエリのブレンド検索 [12] や関連クエリの自動補完 [10] はエンティティクエリ を考慮したモデリング・評価が十分であるとは言い 難い。そこで，本論文では次のような貢献を行う：

(i)複数意図のエンティティクエリに対して絞り込 み検索を行えるようにするための再検索クエリ の生成方法として, 検索ログに蓄積された元ク エリ・再検索クエリの組を順位付けして利用す ることを提案する。

(ii)複数のラベル生成器を用いた訓練事例の自動生成法を提案し, PU(Positive Unlabeled) 学習を行 えることを示す.

(iii)Random Forest[4] により学習を行い，単独のラ ベル生成器を用いた場合と比較して $\mathrm{F}$ 值が 4.4 ポイント向上したことを報告する.

## 2 問題設定

元クエリ $q_{a}$ に対して, 再検索クエリ $q_{b}$ の順位付 けされたリストを生成する。

このとき, 次のクエリの要件を全て満たす候補の みを選択する：1) $q_{a} ， q_{b}$ はいずれもエンティティ クエリである 2) $q_{a}$ は複数のエンティティを指して いる 3) $q_{b}$ は特定のエンティティを指す意図の絞り 込みのクエリである

## 3 挑戦的課題

本タスクの挑戦的課題を次に示す：

意図の絞り込みではない再検索の除外 1) 力点の変化 を判定できなければならない。例えば“アガサクリ スティ” $\rightarrow$ “アガサクリスティねじれた家”の場合は 付加された“ねじれた家” に力点が変化している. こういった組は除外するべきである．2) 周辺語を含 まない部分一致はクエリの表層だけでは判定が難し い，例えば“東京” “東京タワー”の場合は意図を 絞り込んでいるわけではないため除外するべきであ る。一方, 同じ部分一致でも取り違える可能性の高 い組は絞り込みのための再検索として残す必要が

などが挙げられる.

知識外の再検索候補の順位付け 所与の知識ベースに 格納されているエンティティが再検索先の候補とし て最もふさわしくなるとは限らない。例えば“RHP” というクエリでは “バイトル RHP”(ホームページ作成サービス) などが再検索クエリの候補として挙げ られる。しかし, これと対応するエンティティは Wikipedia などの知識べースには格納されていない.

## 4 フレームワーク

図 1 に提案手法のフローチャートを示す.手順は 次のとおりである。まず，検索ログを二種類取得す る。一つ目は素性抽出用のログである。あらかじめ
学習時に参照するための素性を保存しておく. 二つ 目は順位付け対象となる元クエリおよび再検索クエ リの組を取得するためのログである (4.1 節)。この ログから取得された順位付け対象のクエリの組に対 し, 複数のラベル生成器を用いて正例とラベル未付与の事例とに分割する (4.2 節, 4.3 節). さいごに, $\mathrm{PU}$ 学習 [4] を行い, 順位付けのための回帰器の学習 およびそれを用いた予測確率の付与を行う (4.4 節).

図 1: フローチャート

## 4.1 検索ログの取得

ウェブ検索のセッションログ1)を取得する。この ログから再検索クエリ $q_{b}$ の発行された時刻 $t\left(q_{b}\right)$ と 元クエリ $q_{a}$ の発行された時刻 $t\left(q_{a}\right)$ の差が 30 秒以内のもののみを抽出する.

## 4.2 正例生成器

次の 3 つの正例生成器を提案する：

4.2.1 元クエリに対するエンティティリンカー 元クエリを内製のエンティティリンカー $[14,15,16]$ の入力とし, エンティティ ID を出力す る. 知識ベースからエンティティ ID と紐づく正式名称を取得する. 元クエリが正式名称に対する部分一致文字列になっている場合は元クエリ, 正式名称 の組を正例とする.

## 4.2.2クエリの組に対するエンティティリンカー元クエリと再検索クエリの組を内製のエンティ ティリンカー $[14,15,16]$ の入力とし, それぞれのエ ンティティ ID を取得する. 元クエリと再検索クエ リでそれぞれ異なるエンティティ IDを出力してい る組を残す2).さいごに，次の条件をすべて満たす 組を正例とする：1) 人物エンティティ間，または， メディア作品間の遷移である 2) 元クエリに周辺語

1） セッションとは, ある特定のユーザーが一定時間内に発行 した一連のクエリとそれに伴うユーザ行動のことを指す。

2）同一 ID を指す再検索クエリが複数ある場合は生起確率の最 も高い候補を選択する
は含まれない3)3) 遷移前後で主要語と周辺語の入れ 替わりが起きていない

## 4.2.3クェリの組に対する CRR の差

クエリの組に対する CRR(Cumulative Reciprocal Rank)[5] の差 $\triangle C R R$ はクエリ自動補完の分野におい てしばしば用いられる指標である $[10,12]^{4)}$. 本論文 では $\triangle C R R$ を次のように表現する：

$
\Delta C R R=\sum_{d \in D_{b}}\left(\frac{1}{r\left(q_{b}, d\right)}-\frac{1}{r\left(q_{a}, d\right)}\right)
$

ここで $D_{b}$ は再検索クエリ $q_{b}$ によってクリック されうる文書の集合, $r\left(q_{b}, d\right)$ は再検索クエリ $q_{b}$ に 対する文書 $d$ の順位, $r\left(q_{a}, d\right)$ は元クエリ $q_{a}$ に対す る文書 $d$ の順位である.

元クエリ $q_{a}$ では上位に順位付けできなかった文書を再検索クエリ $q_{b}$ が上位にできれば $\triangle C R R$ は正 の值をとる.このとき再検索クエリ $q_{b}$ はユーザー にとって役に立ったとみなすことができる [12].

本論文では, $r\left(q_{b}, d\right)$ および $r\left(q_{a}, d\right)$ の順位は所与のクエリに対するクリック先文書の CTR(Click Through Rate) の順位によって算出する5). CTR の算出に用いられた文書の延べ数が各 10 以上，かつ,再検索クエリ側の文書の延べ数が元クエリ側の延 べ数の $10 \%$ 以上, かつ, $\triangle C R R$ が 0 より大きく 1.5 以下の場合に元クエリ・再検索クエリの組を正例と する。 $\triangle C R R$ に対するしきい值の決定方法の詳細は 5.5 節で述べる.

## 4.3 ラベル未付与事例生成器

次のラベル未付与事例生成器を提案する：

生成器 1 元クエリがあいまいさ回避ぺージ6) と対応 するエンティティの名称と一致する事例をラベル未付与とする

生成器 2 クエリの組に対する正例の生成時 (4.2.2 節) に正例と判定されなかった事例のうち周辺語を含ま ず ID が異なるクエリの組をラベル未付与とする

生成器 $3 \quad \Delta C R R$ による正例の生成時 (4.2.3 節) に正例 と判定されなかった事例をラベル未付与とする

3）元クエリの主要語が空白で区切られている場合, 空白の後 の文字列は周辺語とはしない

4）順位に対数を適用した重みづけ [10]，セッション後半のク リック先を利用したスコア補正 [12] などいずれも派生的な $\triangle C R R$ の定義をしている

5）本論文では滞在時間による足切りは行わない

6) https://w.wiki/4dcg

ここで，すでに正例と判定されていた事例につい てはラベル未付与とはせず正例とした.

## 4.4 PU 学習

本論文では次のように PU 学習 [7] を行う. まず ラベル未付与の事例に対してラベルを付与する：

1) 正例およびラベル未付与の事例を訓練用とテス ト用の 2 つに分割する．2）訓練用の正例およびラべ ル未付与の事例を入力とし, ラベル付与確率の回帰器を生成する.3) テスト用の正例に対してこの回帰器を適用し, ラベル付与確率 $g(x)$ の平均 $c$ を求め る. 4) テスト用のラベル未付与の事例に対して回帰器を適用し $w(x)=p(y=1 \mid x, s=0)$ の重みによりラ ベリングを行う. ここで $w(x)$ は定数 $c$ への依存を 持つ.5) テスト用の事例と訓練用の事例を入れ替 え，2 4 のステップを行う.

全ての事例にラベルが付与されたら二分割交差検定を行い，各テスト用事例に対して付与された予測確率を順位付けに用いる。

## 4.4.1 素性

PU 学習の際に用いる素性を表 1 に示す.

表 1: 素性

 \\

$\mathrm{i}$ 取得期間のログでの生起回数が合計 10 未満である場合は除外

以下，詳細が必要な素性について説明する：

クェリの分散表現クエリログからトークン数 が 2 以上のレコードを抽出し, トークンの生起回数に基づくShifted Positive PMI の行列 $X$ を生成 する.この行列に Randomized SVD[6,8] を適用し $X=U \Sigma V^{*}$ を得る. ここで， $U, V$ は直交行列， $\Sigma$ は特異値の対角行列である。トークンの分散表現に行列 $W^{S V D_{\alpha}}=U(\Sigma)^{\alpha}$ を用いる [9] ${ }^{7) 8)}$ 。クエリの分散表現はトークンの分散表現の加算により生成する9).

## 5 評価

## 5.1 データセット

各データセットの詳細を次に示す：

参照用素性 2021 年 11 月 01 日 11 月 30 日までの期間のセッションログを用いて素性を抽出した。

内製のエンティティリンカー 2021 年 12 月 01 日付け のモデル (モデルの訓練には 12 月 01 日付けの内製知識ベース [13] および 12 月 01 日以前の直近 1 年間 のヤフー検索のクリックログを利用)

順位付け対象事例 2021 年 12 月 17 日 12月 23 日ま での期間に発行された元クエリと再検索クエリの 組. 4 章で示した操作により順位付け対象事例に対 して確率を付与した ${ }^{10)}$.このときの素性は前述の参照用素性を利用した. ${ }^{11)}$

開発・評価事例 順位付け対象事例のうち元クエリに 対するエンティティリンカーの推定結果の一位が あいまいさ回避エンティティと対応し, かつ, 元 クエリあたりの再検索クエリの異なり数が 50 以上 の事例のみを残した。まず元クエリ 100 事例を非復元抽出し,この元クエリを含む組を評価用とし た。評価用として使用されなかった組から $\triangle C R R$ が $[0.5,2.0]$ の範囲の 0.25 刻みで各 10 事例ずつ非復元抽出した.この計 70 事例を開発用事例とした.

## 5.2 比較手法

比較手法を次に示す ${ }^{12)}:$

RF Random Forest[4]によりPU 学習を行った. Spark MLlib 2.4.6を使用. Randomized SVD には Criteo Spark-RSVD ${ }^{13)}$ を使用.

DCRR 素性抽出用ログの期間に計算した $\triangle C R R$ の値 を適用した。このときしきい値を 1.5 に設定した。

7） パラメータは $\alpha=1.0$, negative-sampling の值 $k=5.0$ に設定

8）クエリ発行時間間隔の制約を一旦解除してトークンの生起回数を計算した。制約下で生起しないトークンの分散表現は 除外した。

9）クエリが 1 トークンで構成される場合は，クエリの分散表現はトークンの分散表現と等しくなる.

10） 正例は $1,225,010$ 事例, ラベル未付与事例は 9,036,884 事例 であった。PU 学習前にランダムオーバーサンプリング [1] に より両方の数を均等にした。

11）紙面の都合により本論文では交差検定の結果について取り 扱わないが，時系列データなどに対する交差検定の手法はい くつか提案されている。予測対象の直近の区間の素性は利用 しないという点で noDepCV[3] に近い手法といえる.

12）評価事例に対する DCRR 以外の正例生成器 (4.2.1 節, 4.2.2

節) の正例生成数はゼロであったため比較手法から除外した

13) https://github.com/criteo/Spark-RSVD

## 5.3 評価方法

2022 年 1 月 5 日にヤフー検索 ${ }^{14)}$ に対してクエリ を発行した。これらの事例に対して次の 3 段階のス コアを付与した : 1.0：クエリの要件 (2 章)を満た し, かつ, 検索結果 1 2 ページ目のいずれかの文書 に対応している. 0.5 ：クエリの要件を満たさない が，検索結果 1 ページ目の上位 5 件以内の文書と対応している. 0.0 ：上記以外

表 2 にクエリの要件の具体例を示す.

表 2: クエリ要件の具体例。下線部は元クエリ。

## 5.4 正例生成器 $(\Delta C R R)$ のしきい值の設定

開発事例に対して 3 段階のスコアを付与した $(5.3$節). このとき $\mathrm{F}$ 值が最大となったしきい值 1.5 を設定した15).

## 5.5 評価結果

評価事例に対して 3 段階のスコアを付与した $(5.3$節). 付与結果をもとにして適合率, 再現率, $\mathrm{F}$ 値を 計測した. 表 3 に結果を示す. 適合率@3 について DCRR がRF 12.4 ポイント上回った. 再現率@3 および F 值について，RF が DCRR をそれぞれ 12.3 ポイント, 4.4 ポイント上回った.

表 3: 適合率, 再現率, $\mathrm{F}$ 值. Bootstrap 検定 [2] ではいずれ の差分も統計的に有意 $(p<0.05)$ であった.

表 4 に順位付け結果の例を示す．RF はクエリ“花鳥風月”に対して知識外の花鳥風月 (ビール) も含め て順位付けできた。また，クエリ“山頭火”に対し て周辺語を含まない部分一致の再検索クエリである “種田山頭火”も含めて順位付けできた。

表 4: 順位付け結果. 下線かつ太字はスコア 1.0 , 下線のみ はスコア 0.5 , 下線無しはスコア 0 . 左から順に $1,2,3$ 位

 \\

14) https://search.yahoo.co.jp

15）このときの $\mathrm{F}$ 值は 0.735

## 5.6 素性の重要度の分析

Random Forest[4] の出力した分散に基づく素性の 重要度の上位 25 件を図 2 に示す。上位を独占した のは $\triangle C R R$ 関連の素性であった。 $\triangle C R R$ 自身の值 DeltaCRR $\left(q_{a}, q_{b}\right)$ よりもその算出に関わったクリッ ク先の文書数の比率 DeltaCRRRatio $\left(q_{a}, q_{b}\right)$ の方が 重要という結果となった。この素性は暗黙的に候補間での相対的な再検索クエリの人気度を包含してい るため, これが重要だったのではないかということ が考えられる。次点は検索補助関連の素性という結果となった。上位の $\operatorname{Assist}\left(q_{a}\right)_{16}, A \operatorname{sist}\left(q_{b}\right)_{14}$ は同一素性でもベクトルの位置が異なっている．元クエリ と再検索クエリでは注目するべき検索行動が異なる ということが示唆される。クエリの分散表現関連の 素性は上位 25 件内に確認できなかった。この理由 としては, 正例生成器において $\Delta C R R$ とエンティ ティリンカーの判定の論理和を利用したため, 本来 クエリの意味の観点からは正例に算入するべきでは ない事例 (e.g., “XXX 店舗” の構成の再検索クエリを 含む組) が一律に正例として混じってしまい，回帰器の学習時にこの素性が利用される場面が限定的に なってしまったのではないかと考えられる。

図 2: 素性の重要度. 添え字はベクトルでの位置 (0-base).

## 6 おわりに

本論文では複数の正例生成器とラベル未付与事例生成器を組み合わせることで訓練事例を生成す ることを提案した。 $\triangle C R R$ を単独で用いる場合より も，複数の素性を用いた Random Forest[4] による順位付けのほうが $\mathrm{F}$ 值が 4.4 ポイント向上することを 示した。

## 参考文献

[1]Gustavo EAPA Batista, Ronaldo $\mathrm{C}$ Prati, and Maria Carolina Monard. A study of the behavior of several methods for balancing machine learning training data. ACM SIGKDD explorations newsletter, Vol. 6, No. 1, pp. 20-29, 2004

[2]Taylor Berg-Kirkpatrick, David Burkett, and Dan Klein. An empirical investigation of statistical significance in NLP. In Proceedings of the 2012 Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning, pp. 995-1005. Association for Computational Linguistics, 2012.

[3]Christoph Bergmeir and José M Benítez. On the use of cross-validation for time series predictor evaluation. Information Sciences, Vol. 191, pp. 192-213, 2012.

[4]Leo Breiman. Random forests. Machine learning, Vol. 45, No. 1, pp. 5-32, 2001.

[5]Allison JB Chaney, David M Blei, and Tina EliassiRad. A probabilistic model for using social networks in personalized item recommendation. In Proceedings of the 9th ACM Conference on Recommender Systems, pp. 43-50, 2015.

[6]Paul G Constantine and David F Gleich. Tall and skinny qr factorizations in mapreduce architectures. In Proceedings of the second international workshop on MapReduce and its applications, pp. 43-50, 2011.

[7]Charles Elkan and Keith Noto. Learning classifiers from only positive and unlabeled data. In Proceedings of the 14th ACM SIGKDD international conference on Knowledge discovery and data mining, pp. 213-220, 2008.

[8]Nathan Halko, Per-Gunnar Martinsson, and Joel A Tropp. Finding structure with randomness: Probabilistic algorithms for constructing approximate matrix decompositions. SIAM review, Vol. 53, No. 2, pp. 217-288, 2011.

[9]Omer Levy and Yoav Goldberg. Neural word embedding as implicit matrix factorization. Advances in neural information processing systems, Vol. 27, pp. 2177-2185, 2014.

[10]Umut Ozertem, Olivier Chapelle, Pinar Donmez, and Emre Velipasaoglu. Learning to suggest: a machine learning framework for ranking query suggestions. In
Proceedings of the 35th international ACM SIGIR conference on Research and development in information retrieval, pp. 25-34, 2012.

[11]Jeffrey Pound, Peter Mika, and Hugo Zaragoza. Adhoc object retrieval in the web of data. In Proceedings of the 19th international conference on World wide web, pp. 771-780. ACM, 2010.

[12]Milad Shokouhi, Marc Sloan, Paul N Bennett, Kevyn Collins-Thompson, and Siranush Sarkizova. Query suggestion and data fusion in contextual disambiguation. In proceedings of the 24th international conference on world wide web, pp. 971-980, 2015.

[13]Tomoya Yamazaki, Kentaro Nishi, Takuya Makabe, Mei Sasaki, Chihiro Nishimoto, Hiroki Iwasawa, Masaki Noguchi, and Yukihiro Tagami. A scalable and plug-in based system to construct a production-level knowledge base. In Proceedings of the 1st International Workshop on Challenges and Experiences from Data Integration to Knowledge Graphs co-located with the 25th ACM SIGKDD International Conference on Knowledge Discovery \&Data Mining, 2019.

[14]豊田樹生, 小松広弥, 熊谷賢, 菅原晃平. ウェブ検索クエリのための部分一致文字列に対するエン ティティ名称予測モデルの提案. 言語処理学会第 27 回年次大会発表論文集, pp. 590-594, 2021.

[15]豊田樹生, 土沢誉太, 築地毅, 菅原晃平, 野口正樹. dishpam: A distributable seeded hierarchical pachinko allocation model. 言語処理学会第 26 回年次大会発表論文集, pp. 217-220, 2020.

[16]豊田樹生, 夜久真也, 石川葉子, 土沢誉太, Kulkarni Kaustubh, Bhattacharjee Anupam, 宰川潤二. ウェブ 検索クエリに対する周辺語を考慮した教師なし エンティティリンキング. 言語処理学会第 25 回年次大会発表論文集, pp. 81-84, 2019.


# 主観と客観の感情極性分類のための日本語データセット

宮内 裕人 1 鈴木 陽也 ${ }^{1}$ 秋山 和輝 ${ }^{1}$ 梶原 智之 ${ }^{1}$ 二宮 崇 ${ }^{1}$
武村 紀子 ${ }^{2}$ 中島悠太 ${ }^{2}$ 長原一 2
1 愛媛大学 2 大阪大学
\{miyauchi,suzuki,k_akiyama\}@ai.cs.ehime-u.ac.jp
\{kajiwara,ninomiya\}@cs.ehime-u.acjp
\{takemura,n-yuta, nagahara\}@ids.osaka-u.ac.jp

## 概要

本研究では、Plutchik の基本 8 感情の強度および 感情極性を注釈付けした日本語の感情分析のための データセットを構築し、公開した。60 人のアノテー タから収集した合計 35,000 件の SNS 上の投稿につ いて、書き手自身の主観的な感情と読み手による客観的な感情の両方をラベル付けした。本稿では、喜 びや悲しみなどの基本感情とポジティブまたはネガ ティブの感情極性の間の関係を明らかにし、感情極性分類のベンチマークの結果を報告する。

## 1 はじめに

感情分析は、対話システム [1] やソーシャルメ ディアマイニング [2] など多くの応用を持つ主要 な自然言語処理タスクのひとつである。感情分析 の先行研究では、テキストからの感情極性の推定 （Sentiment Analysis）および基本感情の分類（Emotion Detection）の2つのサブタスクが扱われてきた。前者はポジティブまたはネガティブの感情極性を対象 とするものであり、後者は喜びや悲しみなどの 4 種類から 8 種類ほどの基本感情 $[3,4]$ を対象とする。

表 2 に示すように、感情分析の先行研究は、感情極性（Sentiment）を扱うか基本感情（Emotion）を扱 うか、また、テキストの書き手の感情（主観感情） を扱うかテキストの読み手の感情（客観感情）を扱 うかという点で、多様な研究が行われてきた。しか し、これらを包括的に扱った先行研究は存在しない ため、感情極性と基本感情の間の関係や、書き手の 感情と読み手の感情の間の関係は明らかではない。

本研究では、日本語のSNS テキストに対して主観 と客観の両方の立場から基本感情の強度を付与した WRIME [5] を拡張し、表 1 のように同じテキストに 対して主観と客観の両方の立場から感情極性のラべ表 1 本研究で構築したデータセットの例

傘盗まれたんだけど！！

悲

 &  &  &  &  &  &  & &  \\

ルを追加した。本研究で構築した日本語の感情分析

## 2 感情分析データセットの構築

## 2.1 主観的アノテーション

クラウドソーシングのランサーズ2)を用いて、60 人の主観注釈者を雇用した。注釈者の性別の内訳 は、男性が 21 人、女性が 39 人である。また、年齢 の内訳は、 20 代が 28 人、 30 代が 22 人、 40 歳以上が 10 人である。主観注釈者は、SNS 上での自身の過去 の投稿に対して、Plutchik の 8 感情 [3] の強度をそれ ぞれ 4 段階（無・弱・中・強）で付与するとともに、感情極性を 5 段階（強いポジティブ・ポジティブ・ ニュートラル・ネガティブ・強いネガティブ）で付与した。ただし、テキストからの感情分析という目的のために、画像付きの投稿や URL 付きの投稿は 対象外とした。各注釈者は 100 件から 1,000 件まで の投稿にラベルを付与しており、合計で 35,000 件の 投稿を収集した。全ての主観注釈者は、自身が提供 する全ての投稿に対して、感情強度と感情極性の両方のラベルを付与した。投稿時期については特に制

表 2 感情分析データセットの一覧

表 3 Quadratic Weighted Kappaによる注釈者間のアノテーションの一致率

限を設けなかったが、結果として 2010 年 8 月から 2020 年 11 月までの 10 年間の範囲の投稿が集まっ た。なお、投稿 1 件あたり 10 円の報酬を支払った。

収集した感情極性ラベルの品質を評価するため に、注釈者ごとに 30 件の投稿を無作為抽出した。評価者（大学生 1 人）は、投稿内容と感情極性ラべ ルを見て、以下の基準で各投稿を 4 段階評価した。

・3: 付与されたラベルに完全に同意できる

・2 : 付与されたラベルに概ね同意できる

・1: 付与されたラベルに同意しにくい

・0：付与されたラベルに全く同意できない

評価結果を注釈者ごとに平均すると、最低 1.9 点、最高 2.8 点で平均 2.4 点であった。なお、 0 点の投稿 は存在しなかった。平均 2 点を下回る注釈者は 4 人 いたが、著しく低品質な注釈者は見られなかった。

## 2.2 客観的アノテーション

同じくランサーズを用いて、3人の客観注釈者を 雇用した。注釈者の内訳は、 30 代の女性が 2 人と 40 代の女性が 1 人である。客観注釈者は、2.1 節で収集した 35,000 件の全投稿に対して、主観注釈者と同様に感情強度と感情極性の両方をラベル付けした。
ただし、主観注釈者がテキストの書き手である自身 の感情を付与した一方で、客観注釈者は読み手であ る自身がテキストから想像する書き手の感情を付与 した。なお、投稿 1 件あたり 3 円の報酬を支払った。収集したラベルの品質を評価するために、 Quadratic Weighted Kappa ${ }^{3)}$ [12]を用いて注釈者間の 一致率を計算した。表 3 の上段に、客観注釈者の アノテーションの一致率を示す。怒りの感情は $\kappa>0.6$ の substantial agreement、信頼の感情は $\kappa<0.4$ の fair agreement であるが、 8 感情の全体としては $0.5<\kappa<0.6$ の moderate agreement を確認できた。感情極性についても、 moderate から substantial な一致を確認できた。

## 3 データセットの分析

表 3 の下段に、主観注釈者と客観注釈者の間のア ノテーションの一致率を示す。先行研究 [5] と同様 に、 8 感情において、主観注釈者と客観注釈者の間 の感情強度の一致率は客観注釈者間の一致率よりも 全体的に低い。本研究で新たに付与した感情極性に

表 4 注釈者ごとの感情極性ラベルの分布

表 5 主観と客観の感情極性ラベルの混同行列（\%）

表 6 感情強度と感情極性のピアソン相関係数

おいても、同様の傾向が見られた。以降では、本研究で新たに付与した感情極性について調査する。

## 3.1 主観と客観の感情極性ラベルの分布

表 4 に、注釈者ごとの感情極性ラベルの分布を示 す。主観注釈者の感情極性ラベルは、ニュートラル が最も多く、強いポジティブおよび強いネガティブ の極端なラベルは比較的少ない。 3 人の客観注釈者 にはそれぞれ異なる特徵が見られたが、平均すると 主観注釈者と似た傾向が見られた。ただし、強いポ ジティブおよび強いネガティブの極端なラベルは少 なく、ネガティブのラベルが多い。

表 5 に、主観注釈者の感情極性ラベルと客観注釈者の感情極性ラベルの平均値の混同行列を示す。主観注釈者が強いポジティブと回答した投稿におい て、客観注釈者はその $70.5 \%$ をポジティブと回答し た。また、主観注釈者が強いネガティブと回答した 投稿において、客観注釈者はその $80.2 \%$ をネガティ ブと回答した。なお、主観注釈者と客観注釈者の感情極性の正負が異なる割合は $3.9 \%$ から $8.8 \%$ と充分 に少ない。以上から、客観注釈者は主観注釈者の感情極性の正負を適切に推定できるが、感情極性の強度は弱めに見積もる傾向があることがわかった。

## 3.2 感情強度と感情極性の関係

表 6 に、感情強度と感情極性のピアソン相関を示 す。この表から、各感情がポジティブな感情なのか ネガティブな感情なのかがわかる。この分析から、 Plutchik の 8 感情のうち、喜び・期待・信頼の 3 つは ポジティブな感情、悲しみ・怒り・恐れ・嫌悪の 4 つはネガティブな感情であると言える。表 7 主観と客観の感情極性の一致率

また、複数の感情が共起する投稿においては、主観注釈者による感情極性のラベルと客観注釈者に よる感情極性のラベルの一致率が高まることがわ かった。本分析では、主観の感情強度に従ってデー タセットを以下のように 3 分割した。

・無感情 : 全ての感情強度が無または弱

・単一感情： 1 つの感情強度のみが中または強

・複数感情 : 2 つ以上の感情強度が中または強

表 7 に、感情の共起と主観客観の感情極性の一致率 の関係を示す。無感情の投稿よりも単一感情の投稿 の方が主観の感情極性と客観の感情極性の一致率が 高く、単一感情の投稿よりも複数感情が共起する投稿の方がさらに高い一致率を持つことがわかる。

## 4 感情極性分類の実験

2 節のデータセットを用いて、感情極性 $(-2 \cdot-1 \cdot$ $0 ・ 1 ・ 2 ） を$ 推定する 5 値分類の評価実験を行う。

## 4.1 実験設定

データセットは、 40 人 30,000 件の訓練用データ、 10 人 2,500 件の検証用データ、 10 人 2,500 件の評価用データに重複なく分割して実験する。感情極性分析モデルの性能は、正解率 (Accuracy)、平均絶対誤差 (MAE)、Quadratic Weighted Kappa (QWK) の 3 つ の指標によって自動評価する。主観注釈者が付与し
表 8 感情極性分類の実験結果

た感情極性ラベル（主観データ）を用いる評価と、 3 人の客観注釈者が付与した感情極性ラベルの平均值（客観データ）を用いる評価の両方を実施する。本実験では、以下の 3 種類の分類器を用いる。

$\cdot$BoW+LogReg：Bag-of-Words による素性抽出と ロジスティック回帰による分類を行う。単語分割には MeCab（IPADIC-2.7.0)4) [13]を用いる。
- BERT (Wikipedia) ${ }^{5}$ ：Wikipedia を用いて事前訓練された日本語 BERTを感情極性分類タスクの ために再訓練し、 $\boldsymbol{y}=\operatorname{softmax}(\boldsymbol{h} \boldsymbol{W})$ として感情極性を推定する。ただし、 $\boldsymbol{h}$ は BERT の [CLS] トークンから得られる素性べクトルである。
- BERT (SNS) ${ }^{6}$ ：SNS テキスト上で事前訓練され た日本語 BERTを本タスク用に再訓練する。

BoW+LogReg の実装には、scikit-learn ${ }^{7)}$ [14]を使用 する。ハイパーパラメータCは、 $\{0.01,0.1,1,10,100\}$ の中から検証用データにおける最適値を選択する。 BERT の実装には、Transformers ${ }^{8}$ [15] を使用する。 バッチサイズは $32 、$ ドロップアウト率は 0.1 、学習率は 2e-5、最適化は Adam [16] として、3 エポック の early-stopping を適用する。

## 4.2 実験結果

実験結果を表 8 に示す。BoW+LogReg よりも BERT の性能が高く、訓練データと評価データのド メインが一致する BERT (SNS) が最高性能を達成し た。また、客観データにおける評価よりも主観デー タにおける評価の方が全体的に性能が低く、主観的 な感情極性の推定がより難しいことがわかる。

表 8 の上段では、主観データを用いて訓練したモ

デルで主観データにおける評価を実施し、客観デー タを用いて訓練したモデルで客観データにおける 評価を実施した。下段には、主観データを用いて訓練した主観 BERT (SNS) による客観データにおける 評価および客観データを用いて訓練した客観 BERT (SNS) による主観データにおける評価の結果を示 す。この結果から、評価対象に関わらず、客観デー タを用いて訓練したモデルの性能が一貫して高いこ とがわかる。先述のように、書き手の感情極性（主観データ）の推定は難しいため、単純な訓練では十分な性能が得られなかったものと考えられる。

## 5 おわりに

本研究では、日本語の感情分析のためのデータ セット ${ }^{1}$ ） [5] を拡張し、約 2 倍の規模（35,000 件）へ の拡大と感情極性ラベルのアノテーションを行っ た。基本 8 感情と感情極性の両方を付与した感情分析コーパスは日本語としては初であり、これらの感情ラベルをテキストの書き手による主観的な立場と 読み手による客観的な立場の両方からアノテーショ ンしたのは英語など他の言語を含めても初の取り組 みである。本コーパスを用いることで、テキストと 感情に関する包括的な分析が可能になった。

調査の結果、喜び・期待・信頼の 3 感情はポジ ティブな感情、悲しみ・怒り・恐れ・嫌悪の 4 感情 はネガティブな感情であることが明らかになった。 また、複数の感情が共起するテキストは、単一の感情のみが含まれるテキストよりも、読み手にとって 書き手の感情を読み取りやすいこともわかった。感情極性分類の実験結果からは、書き手による主観的な感情極性の推定が、読み手による客観的な感情極性の推定よりも難しいことがわかった。今後の 課題として、基本感情の強度推定とのマルチタスク 学習や、投稿履歴などを考慮した個人特化によっ て、主観的な感情極性分類の性能を改善したい。

## 謝辞

本研究は、文部科学省による Society 5.0 実現化研

究拠点支援事業（JPMXP0518071489）の助成を受け たものです。

## 参考文献

[1] Ryoko Tokuhisa, Kentaro Inui, and Yuji Matsumoto. Emotion Classification Using Massive Examples Extracted from the Web. In Proceedings of the 22nd International Conference on Computational Linguistics, pp. 881-888, 2008.

[2] Stefan Stieglitz and Linh Dang-Xuan. Emotions and Information Diffusion in Social Media - Sentiment of Microblogs and Sharing Behavior. Journal of Management Information Systems, Vol. 29, No. 4, pp. 217-248, 2013.

[3] Robert Plutchik. A General Psychoevolutionary Theory of Emotion. Theories of Emotion, Vol. 1, pp. 3-31, 1980.

[4] Paul Ekman. An Argument for Basic Emotions. Cognition and Emotion, Vol. 6, No. 3-4, pp. 169-200, 1992.

[5] Tomoyuki Kajiwara, Chenhui Chu, Noriko Takemura, Yuta Nakashima, and Hajime Nagahara. WRIME: A New Dataset for Emotional Intensity Estimation with Subjective and Objective Annotations. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 2095-2104, 2021.

[6] Andrew L. Maas, Raymond E. Daly, Peter T. Pham, Dan Huang, Andrew Y. Ng, and Christopher Potts. Learning Word Vectors for Sentiment Analysis. In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, pp. 142-150, 2011.

[7] Richard Socher, Alex Perelygin, Jean Y. Wu, Jason Chuang, Christopher D. Manning, Andrew Y. Ng, and Christopher Potts. Recursive Deep Models for Semantic Compositionality Over a Sentiment Treebank. In Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing, pp. 1631-1642, 2013.

[8] Klaus R. Scherer and Harald G. Wallbott. Evidence for Universality and Cultural Variation of Differential Emotion Response Patterning. Journal of Personality and Social Psychology, Vol. 66, No. 2, pp. 310-328, 1994.

[9] Saif Mohammad, Felipe Bravo-Marquez, Mohammad Salameh, and Svetlana Kiritchenko. SemEval-2018 Task 1: Affect in Tweets. In Proceedings of The 12th International Workshop on Semantic Evaluation, pp. 1-17, 2018.

[10] Carlo Strapparava and Rada Mihalcea. SemEval-2007 Task 14: Affective Text. In Proceedings of the Fourth International Workshop on Semantic Evaluations, pp. 70-74, 2007.

[11] Yu Suzuki. Filtering Method for Twitter Streaming Data Using Human-in-the-Loop Machine Learning. Journal of Information Processing, Vol. 27, pp. 404-410, 2019.

[12] Jacob Cohen. Weighted Kappa: Nominal Scale Agreement Provision for Scaled Disagreement or Partial Credit. Psy- chological Bulletin, Vol. 70, No. 4, pp. 213-220, 1968.

[13] Taku Kudo, Kaoru Yamamoto, and Yuji Matsumoto. Applying Conditional Random Fields to Japanese Morphological Analysis. In Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing, pp. 230-237, 2004.

[14] Fabian Pedregosa, Gaël Varoquaux, Alexandre Gramfort, Vincent Michel, Bertrand Thirion, Olivier Grisel, Mathieu Blondel, Peter Prettenhofer, Ron Weiss, Vincent Dubourg, Jake Vanderplas, Alexandre Passos, David Cournapeau, Matthieu Brucher, Matthieu Perrot, and Édouard Duchesnay. Scikit-learn: Machine Learning in Python. Journal of Machine Learning Research, Vol. 12, No. 85, pp. 28252830, 2011.

[15] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Remi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander Rush. Transformers: State-of-the-Art Natural Language Processing. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 38-45, 2020.

[16] Diederik P. Kingma and Jimmy Lei Ba. Adam: A Method for Stochastic Optimization. In Proceedings of the 3rd International Conference on Learning Representations, 2015.


# 固有名詞に注目した Transformer による雑談対話モデルの構築

郭 恩孚 ${ }^{1}$ 南泰浩 ${ }^{1}$
1 電気通信大学大学院
enfu.guo@uec.ac.jp minami.yasuhiro@is.uec.ac.jp

## 概要

ユーザーの提示する固有名詞にうまく注目するた め、本研究では、対話モデルの事前学習において、固有名詞をマスクし、マスクされた部分を予測する 固有名詞マスク学習を用いる対話モデルを提案す る。モデルを用いて、発話の自然性と応答性を評価 する実験を行った結果、固有名詞マスク学習を用い る提案手法のモデルがベースラインモデルと比べ、自然性スコアで 0.45 ポイント、固有名詞応答スコア で 0.54 ポイントの向上を示し、提案手法の有用性を 確認した。

## 1 はじめに

日常会話において、人は相手が提示した固有名詞 について応答することで、対話がより円滑に行え る。近年、雑談対話モデルの研究が進み、生成され る発話を一文としてみると、自然な発話を生成でき つつある。しかし、対話の接続性に関して「固有名詞について応答する」という観点からみると、無関係の固有名詞での応答や、固有名詞を無視する応答 など、ユーザーの発話に含まれる固有名詞にうまく 注目できていないことが問題点として挙げられて いる。

本研究の関連研究としては、ランダムマスク学習 [1] とシングル応答生成学習 [2] を事前学習として用 いる雑談対話モデルを構築することが挙げられる。 ランダムマスク学習とは、トークンレベルでの学習 を行うため、トークンをランダムに置き換え、元の 文を復元する学習である。シングル応答生成学習と は、句レベルでの学習を行うため、入力された発話文に対する応答文を生成する学習である。

ランダムマスクでの学習では、トークン分割方法 によって、一つの固有名詞が複数のトークンに分割 され、固有名詞の復元の学習がうまくいかない場合 がある。そこで、本研究では、固有名詞により注目 するため、事前学習において、固有名詞をマスクし、元の文を復元する学習を提案する。実験により、そ の有用性を検証した。ここでの事前学習時の概念図 を図 1 に示す。図に示すように、事前学習では、固有名詞マスクだけではなく、ランダムマスク、シン グル応答生成も実施する。

図 1 事前学習時の概念図

## 2 対話学習データ

本研究では Wikipedia[3]、CC-100[4]、ツイートの 3つのソースを用いて、学習コーパスを構築した。

各データソースに対して、以下の条件に該当する データを除外するクリーニング処理を行った。ま た、単語の分割には MeCab[5] を用いた。

・URL・絵文字などを含む文

・日本語・英語以外の言語のシンボルを含む文

・日本語が含まれない文

・同じ表現が連続で出現する文

・不適切表現が出現する文

クリーニング処理後の各データに基づいて、下記 の学習コーパスを構築した。

・Wiki コーパス：Wikipedia データ

・CC-100コーパス：CC-100データ

・ツイートリプライコーパス：ツイートとそのリ プライのペアデータ

・ツイート疑似対話コーパス：ツイートとそのリ プライからなるリプライチェーン

構築したコーパスのうち、Wikiコーパス、CC-100 コーパス、ツイートリプライコーパスを用いて事前学習を行う。また、ツイート疑似対話コーパスを用

いて Fine-tune を行う。各コーパスのデータ数を表 1 に示す。

## 3 学習および評価設定の詳細

本研究は 3 つ事前学習: ランダムマスク学習、 シングル応答生成学習、固有名詞マスク学習、で 事前学習を行った。事前学習後、ツイート疑似対話コーパスを用いて Fine-tune を行った。事前学習 と Fine-tune の学習時、入力文脈からトークンへの 分割はSentencePiece[6] を用いた。この時、クリー ニング処理後の 2,000 万のツイートから、語彙数が 32,000、文字カバー率が $99.995 \%$ となるように学習 を行った。

## 3.1 ランダムマスク

トークンレベルで学習するため、ランダムマスク 学習を設定した。ランダムマスク学習では、入力 トークンの 15\%を [MASK] トークンに置き換え、元 の文を復元する。

## 3.2 シングル応答生成

Suchin ら [7] の研究により、Fine-tune 時のデータ と同じドメインのデータを用いて事前学習するこ とで、モデルの性能が向上することが報告されてい る。本研究では、その結果を踏まえて、ツイートと リプライツイートのペアで、ツイートを入力とし、 リプライツイートをターゲット発話とするシングル 応答生成学習を設定した。シングル応答生成学習で は、入力からターゲット発話を生成する。

## 3.3 提案手法：固有名詞マスク

SentencePiece は Byte Pair Encoding (BPE)を用い て、トークン分割を行っている。この分割では、辞書サイズが圧縮される一方、一つの固有名詞が複数 のトークンに分割され、ランダムマスク学習だけで は、固有名詞を生成する学習がうまくいかない場合 がある。この問題に対処するため、本研究では、対話モデルが文脈の中にある固有名詞を陽に捉えられ るよう、固有名詞マスク学習を提案する。固有名詞 のマスク学習は、入力文を事前に Mecab で形態素解析を行い、入力文にあるすべての固有名詞を事前に [MASK] トークンに置き換えた上で、トークン分割 し、元の文を復元する。

## 3.4 Fine-tune

一般に、生成型雑談対話モデルでは、過去の発話履歴を考慮する、応答を生成する必要がある。連続する対話を含む対話コーパスで事前学習済み モデルを Fine-tune することで、発話履歴を考慮し て応答生成できると考えられる。そこで、本研究 では、収集したツイートデータから、一連のリプ ライ関係にあるツイートを抽出した。ツイートと その一連のリプライに該当するツイートをリプ ライがなくなるまで抽出し、リプライチェーンを 作成し、ツイート疑似対話コーパスを作成した。例えば、一つのリプライチェーンに $n$ 個のツイー トである場合、入力とターゲット発話のペアは $\left[\left(t_{1}, t_{2}\right),\left(t_{1}-t_{2}, t_{3}\right),\left(t_{1}-t_{2}-t_{3}, t_{4}\right), \ldots,\left(t_{1}-\ldots-t_{n-1}, t_{n}\right)\right]$ となる。

## 3.5 評価時の応答生成設定

モデルが生成する発話は自然性と多様性の両方を 満たすことが望ましい。本研究では Beam Search に より提案モデルから発話を生成した、そのパラメー タを表 2 に示す。繰り返し同じ表現が出現する発話 の生成を防ぐため、生成された系列中にすでに出現 した N-gram を出現させないようにした。さらに、「そうですね」といった無難な発話を繰り返し応答 しないように、difflib の SequenceMatcher を用いて、現在の生成候補と過去のモデル発話と比べ、類似度 が 0.7 以上の発話は候補から除外した。

以上の設定により、多様性を満たすことができ る。加えて、候補中、perplexity が比較的小さな発話 を選択することで、自然性を満たすこともできる。

## 4 実験

## 4.1 実験設定

モデルアーキテクチャについて、先行研究 [8] で は、シンプルな Transformer Encoder-Decoder モデル

が Transformer Encoder のみのモデルよりよい性能を 示すことが報告されている。その結果を踏まえて、本研究でもシンプルな Transformer Encoder-Decoder モデルを使用した。モデル設定の詳細を表 3 に 示す。

表 3 モデル設定

## 4.1.1 事前学習

事前学習では、2. で構築した Wiki コーパス、 CC100 コーパス、ツイートリプライコーパスを利用 した。学習毎の Encoderへの入力形式、Decoder から の出力の形式の例を表 4 に示す。学習の Optimizer には Adafactor[9] を用い、学習率を 1e-4、warmup stepを 1000 にそれぞれ設定し、目的関数には label smoothed cross entropy を使用した。

## 4.1.2 Fine-tune

Fine-tune では、2. で構築したツイート疑似対話 コーパスを利用した。Encoderへの入力は、話者情報を表す $[\mathrm{SPK}]$ トークンを導入し、過去の全発話 を入力する。ユーザーの発話に該当する部分の先頭に [SPK1] トークン、モデルの発話に該当する部分の先頭に [SPK2] トークンを用いた。入力のテン プレートを表 5 に、入力の例を表 6 に示す。また、 Feed-Forward Network および Attention の dropout 率を 0.1 に設定し、学習の Optimizer には事前学習時と同様に Adafactor を使用した。学習率を 1e-4、warmup step を 2000 にそれぞれ設定し、目的関数には label smoothed cross entropy を用いた。

## 4.2 実験結果および分析

固有名詞マスク学習を実施していないモデルを ベースラインモデルとし、固有名詞マスク学習を実施した提案モデルと比較するため、実験参加者 7 名 でそれぞれ 5 会話について評価した。評価者と異な る実験参加者とモデルを使った対話システムの会話では、実験参加者に 2 つの固有名詞を提示し、 10 ターン以上継続した対話となるよう指示した。ま
た、評価では、下記の軸について 5 段階（1：とても そう思わない〜 5: とてもそう思う）評価とした。

-自然性：対話全体が自然か
- 固有名詞応答 (1)：実験参加者が提示した 1 つ 目の固有名詞について応答できているか
- 固有名詞応答 (2)：実験参加者が提示した $2 \supset$目の固有名詞について応答できているか

自然性の評価結果を図 2 に、応答の評価結果を図 3 と図 4 に示す。また、各軸のスコアの平均を表 7 に示す。さらに、各軸の平均スコアに有意な差があ るかどうかを検定した。有意水準を 0.05 、帰無仮説 を「各軸の平均スコアに差がない」とした。その検定結果を表 8 に示す。

図 2 自然性の評価結果

図 3 固有名詞応答 (1) の評価結果

図 4 固有名詞応答 (2) の評価結果

表 8 により、各軸の $\mathrm{P}$ 値は有意水準の 0.05 より小 さいため、結果は有意であり、「各軸の平均スコア
表 4 各事前学習学習の入出力形式の例 (トークナイズ後)

表 5 Fine-tune 時の入力形式のテンプレート 雑談:[SPK1] ユーザーの発話: $U_{1}[\mathrm{SEP}]$ [SPK2] モデ ルの発話 $S_{1}$ [SEP][SPK1]...[SEP][SPK2]

表 6 Fine-tune 時の入力例 (トークナイズ後)雑談: [SPK1] みんなで 浅草 に行くの だよ [SEP] [SPK2] めちゃくちゃ楽しそう やん [SEP] [SPK1]食べ 歩きする [SEP] [SPK2]

に差がない」という帰無仮説は棄却された。

表 7 により、事前学習時に固有名詞マスク学習を 設定した提案モデルがベースラインモデルより自然性、固有名詞応答 (1) と (2) のスコアがともに向上す ることが確認できた。ユーザーが提示した固有名詞 により注目し、応答することで、対話全体の自然性 も上がったと考えられる。

提案モデルとベースラインモデルによる生成例を 図 5 に示す。ユーザーが提示した「鬼怒川温泉」と いう固有名詞について、ベースラインモデルでは、「そうですね。」といった無難な応答を生成している ことに対して、提案モデルでは「鬼怒川温泉」とい う固有名詞を含んだ、「鬼怒川温泉、有名ですね」と いう応答を生成している。

今回の評価では実験参加者に 1 対話で提示した 2 つの固有名詞に対する発話の分析を行った。

図 3 と表 7 みると、ユーザーが提示した 1 つ目の 固有名詞について、応答スコアが 0.45 ポイント向上 している。図 4 と表 7 みると、ユーザーが提示した 2 つ目の固有名詞について、応答スコアが 0.63 ポイ ント向上している。

過去の対話履歴をモデルの入力としているため、過去の発話が直前の発話のノイズになる場合もある ことを考えると、上記の結果により、固有名詞マス ク学習を事前学習時に設定することで、実験参加者 が 2 つ目の固有名詞を提示する時、提案モデルは 1

表 7 モデルの評価結果

 &  \\

提案モデル & $\mathbf{3 . 6 5}$ & $\mathbf{3 . 8 2}$ & $\mathbf{3 . 4 0}$ \\

表 8 モデルの評価の検定結果

図 5 モデルによる生成例

つ目の固有名詞から 2 つ目の固有名詞に注目を切り 替えることができ、固有名詞マスク学習の有用性を 確認できた。

## 5 おわりに

ユーザーが提示した固有名詞に注目する対話モデ ルを構築した。固有名詞に注目するため、事前学習時に、入力文脈に含む固有名詞を [MASK] トークン に置き換え、元のトークンを予測する固有名詞マス ク学習を提案した。実験により、提案手法の人手評価を行い、固有名詞マスク学習を設定したモデルの 自然性、固有名詞応答スコアを評価した結果、提案手法の有用性を確認できた。

事前学習時固有名詞マスク学習を実施することに より、対話モデルがより会話文脈中に含まれた固有名詞に注目できることがわかった。一方で固有名詞 マスク学習において、学習データに含まれなかった 固有名詞については、会話中に注目しておらず、そ れらに注目するようモデルの構築は今後の課題で ある。

## 参考文献

[1] Yu Sun, Shuohuan Wang, Shikun Feng, Siyu Ding, Chao Pang, Junyuan Shang, Jiaxiang Liu, Xuyi Chen, Yanbin Zhao, Yuxiang Lu, Weixin Liu, Zhihua Wu, Weibao Gong, Jianzhong Liang, Zhizhou Shang, Peng Sun, Wei Liu, Xuan Ouyang, Dianhai Yu, Hao Tian, Hua Wu, and Haifeng Wang. Ernie 3.0: Large-scale knowledge enhanced pretraining for language understanding and generation, 2021.

[2] 杉山弘晃, 成松宏美, 水上雅博, 有本庸浩, 千葉祐弥, 目黒豊美, 中嶋秀治. Transformer encoder-decoder モデル による趣味雑談システムの構築. 人工知能学会研究会資料言語・音声理解と対話処理研究会, Vol. 90 , p. 24, 2020.

[3] Wikimedia Foundation. Wikimedia downloads. 2021.

[4] Alexis Conneau, Kartikay Khandelwal, Naman Goyal, Vishrav Chaudhary, Guillaume Wenzek, Francisco Guzmán, Edouard Grave, Myle Ott, Luke Zettlemoyer, and Veselin Stoyanov. Unsupervised cross-lingual representation learning at scale. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, Online, July 2020.

[5] Taku Kudo, Kaoru Yamamoto, and Yuji Matsumoto. Applying conditional random fields to Japanese morphological analysis. In Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing, pp. 230-237, Barcelona, Spain, July 2004. Association for Computational Linguistics.

[6] Taku Kudo and John Richardson. Sentencepiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. Vol. abs/1808.06226, 2018.

[7] Suchin Gururangan, Ana Marasović, Swabha Swayamdipta, Kyle Lo, Iz Beltagy, Doug Downey, and Noah A. Smith. Don't stop pretraining: Adapt language models to domains and tasks. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, Online, July 2020.

[8] Stephen Roller, Emily Dinan, Naman Goyal, Da Ju, Mary Williamson, Yinhan Liu, Jing Xu, Myle Ott, Kurt Shuster, Eric Michael Smith, Y-Lan Boureau, and Jason Weston. Recipes for building an open-domain chatbot. Vol. abs/2004.13637, 2020

[9] Noam Shazeer and Mitchell Stern. Adafactor: Adaptive learning rates with sublinear memory cost. Vol. abs/1804.04235, 2018 .


# 明示的及び暗默的データを活用した Twitter における 体験的ストレスの特定

飯田静空 原一夫
山形大学 理学部
s180572@st.yamagata-u. ac.jp kazuo. hara@gmail.com

## 概要

ストレスは社会問題となっており, Twitter 上で は多くの人の愚痴や悩みが日々呟かれる。しかし, ストレスの表現方法は人によって異なるため，どれ ほどの人がストレスを抱えているのかを把握するこ とは困難である。そこで本研究では，ツイートをし た人自身が経験したストレス(体験的ストレス)を示 すツイートを検出する分類器を構築した。具体的に は，「ストレス」という言葉を明示的に含むデータ と，ストレスの内容を暗黙的に含むデータの 2 種類 を利用することでBERT を訓練した．実験の結果，我々の手法は単体データのみの学習よりも高い精度 で体験的ストレスを検知でき，モデルが両データの 特徴を学習できていることを分析により示した。

## 1 はじめに

ストレス社会という言葉があるように，現代でス トレスは深刻な社会問題となっている. Twitter をは じめとするマイクロブログ上でも多くの人々の不平不満や心配事が日々散見され，最近では COVID-19 の影響によるストレスの増加が確認されている[1].

その一方で, Twitter 上において何人のユーザーが ストレスに苦しんでいるのかを我々が把握すること は困難である。なぜなら，ツイート(以下「発言」と 呼ぶ)におけるストレスの表現方法は人によって異 なるからである．多くのユーザーは，「ストレス」 という言葉を使わずに自身のストレス状態を報告す る(図 1 発言例 1 ). そのため「ストレス」という言葉 が明示的に書かれた発言のみを数えたとしても，ユ ーザーが経験している全ストレスを考慮することは できない. さらに「ストレス」という言葉が明示的 に書かれていたとしても，発言をしたユーザー自身 が経験したストレス(以下「体験的ストレス」と呼ぶ) を必ずしも表すとは限らない(図 1 発言例 2).発言例1. ) 上司に怒られてイライラする怒

「ストレス」という言葉を含んでいないが,上司に対しての怒りを表しているため, ストレスを感じている可能性がある.

発言例2. ) 猫ちゃんが心配. . . 昨日からストレス のせいか体調が悪いみたいで早く帰る

図 1 発言のストレス表現が異なる例

本研究では, Twitterに現れる体験的ストレスの量 を総合的に把握するために，発言中に体験的ストレ スが含まれるかどうかを判断する分類器を構築する。 そのために我々は，「ストレス」と「\#ストレス」の 言葉を含む発言から作成した 2 種類のデータを利用 した。一つは「ストレス」という言葉を明示的に含 むデータで，「今日も仕事か. ..とてもストレスなん だが…」のような発言である。これを明示的データ と呼ぶ。もう一つはストレスの内容を暗黙的に含む データで，「隣マジでうるさいからキレそう」のよ うな発言である。これを暗黙的データと呼ぶ。我々 は全ての発言から体験的ストレスを検出するために，

「ストレス」の言葉を含まない暗黙的データから体験的ストレスを分類する実験を行った。しかし，暗黙的データはその性質上，データ数を増やすことが 難しい，そこで我々は，収集が容易な明示的データ も使い, 2 つのデータの特徴を BERT[2]に fine-tuning で学習させる方法を提案した. 実験と分析の結果,我々の提案手法は暗黙的データのみを使用した場合 よりも高い精度で体験的ストレスを分類でき，両デ 一タの特徴をモデルが学習できていることを示した。

## 2 関連研究

ストレスは，人や環境との相互作用によって引き 起こされる苦痛の認識と定義される［3]。ストレス

には主観的な側面があるため, 物理的信号である脳波[4]や音声データ[5]などの特徵でストレスを調査寸る研究がある. しかし, 物理的な測定には莫大な コストや時間がかかる。加えて，ストレスを感じる 期間は人によって異なるため[6], この方法では生活 で時々刻々と変化する精神状態の把握は難しい.

このような理由から, 最近ではマイクロブログ上 に現れるストレスを分析する研究が行われている。

Doan ら[7]は Twitter 上の明示的データで訓練した SVM を使うことで, 米国の地理ごとにストレス分析 を行った. 他方で, Turcan ら [8, 9]は Reddit という米国で人気のあるマイクロブログから暗黙的データを 作成した. そして BERT[2]を使い, 感情分類とのマ ルチタスク学習を行うことで体験的ストレスの分類精度を向上させた. しかし, これらの研究では明示的データか, 暗黙的データかのどちらか一方のデー タしか使用してはいない, それらとは対照的に, 我々 は両方のデータを活用することでその有効性を示す.

## 3 データ

## 3.1 体験的ストレスの定義

分類器を構築するために，我々はデータを作成す る必要がある. そのために, 本研究の分類基準であ る体験的ストレスの定義を行う. 本研究では, 以下 の 2 点を満たす発言を体験的ストレスと判断した.

1. ストレスを受けた対象が発言の作者である こと

「ストレス」という言葉で，発言者自身のス トレスが明記されてあることとした。 ストレス を受けた対象が「発言者以外の人」，「人以外 の生物」，またはその発言内に「引用」された 形で他者がストレスを示す発言は除かれる.

2. 発言をした時点でストレスに感じているこ と/ストレスの体験性を損なわないこと

発言者が発言した時点でストレスに感じてい ることとした. 発言者が発言した時点の時制か ら考え，「過去」，「未来」，「習慣」を表す 発言を除く.また，ストレスの体駼性を損なう

「仮定」「疑問」, 「推論」, 「共感」,「願望」,「呼びかけ」,「応答」,「助言」,「否例)定」，「噂」，「主張」を表す発言も除く。

今はストレスで体調死んどる (体験的ストレス) みんなはストレスなのかな? (非体験的ストレス)

## 3. 2 明示的及び暗默的データの作成

始めに，明示的データを作成した手順を述べる。我々は Twitter API を使い，2021 年 7 月 29 日 02:21:00 から 09:42:56 の間で「ストレス」という 言葉を含む発言を収集した. その結果, 6535 の発言 を取得することが出来た. その後, 集めた発言に前処理を行った. 方法としてはリツイートと重複した 発言の削除, URL 部分の削除と, 半角, 全角スペー スの切り詰め, リプライを表す発言では「@リプライ 先のユーザー名」までの部分を削除するといった処理である. そして， 3.1 で述べた基準のもと体験的 ストレスを含む発言には 1 ，含まない発言には 0 の ラベル付けを一人のアノテータが行った. ラベル付 けには質問紙 $[10]$ を使って判断する方法などがある が，本研究では「ストレス」という言葉の明記を， ストレス反応の根拠として信頼した.

続いて，暗黙的データを作成した手順を述べる。我々は明示的データと同じ方法で, 2021 年 10 月 1 日 00:00:00 から 27 日の 23:59:59 の期間で「\#スト レス」を含む発言を収集した．その結果，5861の発言を取得することが出来た. その後集めた発言に前処理を行った. 前処理の方法は明示的データの場合 と共通しているが，今回は「ストレス」という言葉 を含んでいないデータを作成したいため，新たに次 の処理を追加した。まず，「\#」部分はストレスを直接示す情報となるため,「\#」以下の部分を削除した。次に, 収集したデータに「ストレス」の単語を含ん だ発言も存在したため,この単語の部分も削除した. これにより文脈が不自然になった発言は，不自然な 表現部分を削除することで文脈を自然な形に直した。

前処理前の例) 最近、コロナで旅行いけないの本当に

## ストレス!! \#ストレス\#旅行

前処理後の例) 最近、コロナで旅行いけない!!

前処理をした後, 明示的データの場合と同じ人物が ラベル付けを行った.アノテータは 3.1 の定義をも とにラベルを付けるが，今回はデータに「ストレス」 という言葉が含まれていない.そのため定義の 1 は，発言内容が作者の体験であるという基準に変更した。

作成したデータの内訳を表 1 に示す. 明示的デー 夕は, 短期間で比較的数の多いデータを作成できた. しかし, 暗黙的データでは発言内容の重複が原因で,収集した発言の $81 \%$ が削除される結果となった.
表 1 作成したデータの内訳

表 2 明示的データでの分類実験の結果

## 4 実験

## 4.1 明示的データによる分類実験

4.2 の提案手法で使用するモデルを選定するため に，我々はまず明示的データのみを使い，体験的ス トレスである発言を検知する実験を行った. モデル には， Transformer[11]に基づくニューラルネットワ ークモデルの BERT[2]を使用した。発言をサブワー ドと文字単位に分割し，BERT へ入力する場合をそ れぞれ比較した. 前者を $\mathrm{BERT}_{\text {subword }}$, 後者を $\mathrm{BERT}_{\text {char }}$ と名付ける. ベースラインには Naïve Bayes を選ん だ. データは 8:2 の割合で訓練用とテスト用に分け, 10 分割交差検証によってハイパーパラメータを調整した。ハイパーパラメータの調整は, BERT の最終層と全結合層の間の Dropout を\{0.3, 0.5\}, 学習率 を\{1e-5, 2e-5, 3e-5, 4e-5, 5e-5\}の中からグリッドサー チにより行った.Optimizerには AdamW[12]を使い， バッチサイズは GPU の制限上 64 とした. 10 エポッ クが終了した時点でのモデルをテスト用のデータを 使い, precision, recall, F1, accuracy の指標から評価し た. BERT のモデルには, 東北大学が公開している 事前学習済みモデルを使用した。

テストデータにおける各モデルの最良な結果を表 2 に示す。まず，BERT のモデルは Naïve Bayes より も全ての評価指標でより良い結果であることが分か る. BERT は文脈を考慮できるモデルとされており，独立な仮定に基づくモデルよりも複雑な分類が可能 であると考えられる. また $\mathrm{BERT}_{\text {subword }}$ は $\mathrm{BERT}_{\text {char }}$ と 比べ, recall 以外の全ての指標でより良い結果であっ た.この実験では, BERT へサブワードに分割した テキストを入力とする方が適していたと考えられる.

## 4.2 暗黙的データによる分類実験

図 2 提案手法

4.1 では, 明示的に「ストレス」と書かれてある発言を分類できるモデルを構築した。しかし，我々の 目標は Twitter 上の全発言に出現する体験的ストレ スを検知することである。そのため，次に暗黙的デ 一タを使った分類実験を行う。

暗黙的データは 3.2 で述べた発言内容の重複とい う理由から，データ数を増やすことが難しい，そこ で我々は, 明示的及び暗黙的データの両方を使う手法を提案する. 図 2 に我々の提案手法を示す. まず BERT を明示的データにより訓練することで, 訓練済みモデルを出力する．次にこのモデルを暗黙的デ 一タで fine-tuning を行い，BERT を再訓練する。こ こで出力されたモデルを $\mathrm{BERT}_{\text {proposed }}$ と名付ける.

ベースラインに暗黙的データのみを使って学習し

は, 4.1 で最良の結果であった $\mathrm{BERT}_{\text {subword }}$ を暗黙的 データにより fine-tuning することで構築した. デー タは 5:5 の比率で訓練用とテスト用に分け, 5 分割交差検証でハイパーパラメータを調整した。ハイパ ーパラメータ，Optimizer，及びバッチサイズは明示的データの場合と同じ設定である. 最大を 10 エポ ックとして, 最も高いaccuracy のエポック時点の各 モデルを評価した。

表 3 は各モデルの最良の結果を示している.

い結果であることが分かる. 次に $\mathrm{BERT}_{\text {proposed }}$ が学習 によりどのような特徴をとらえたのかを分析する。

## 4.3 分析

が学習後に着目した部分の変化に関する分析を行っ た. LIME とは，あるモデルへの入力ベクトルの空間に摂動を与え, 出力に対しての局所的な線形近似 を行うことで，入力語の影響度を測定できるモデル である. J-LIWC は心理学者による信頼性や妥当性検
表 4 学習前後で BERT が判断根拠とする項目 (上から LIME の出力語を多く含む順に並んでいる)

表 3 暗黙的データでの分類実験の結果

証がされている言語, 心理的項目を含んだ日本語の 辞書である. 4 で学習後の $\mathrm{BERT}_{\text {subword }}$ と $\mathrm{BERT}_{\text {proposed }}$ で，ラベル 1 と 0 の判断根拠となる LIME の出力ス コアの高い 5 語を各データから抽出し, J-LIWC の 各項目ごとに含まれる語を数え, 多い順に項目を算出した. データには, 4.1 と 4.2 で分割したテスト用 をそれぞれ使用した. 表 4 はその結果を示している.

まず，ラベル 1 を判断する際のトップ 10 に入っ

間」,「助動詞」,「動因」の項目に違いが生じた. BERT $_{\text {subword }}$ でのこれらの項目順位が高い理由は，い ずれも「ストレス」という単語を項目内の語として 含んでいることが挙げられる. 明示的データではど の発言にも「ストレス」という言葉が出現するため,我々はこの単語が判断根拠にはなりづらいと予想し ていた。しかし, 実際にこれらの項目の詳細な内訳 を見ると「ストレス」の出現数が項目中の半分以上 を占めていた. これは, 同じ単語でも BERT が文脈 に応じて判断根拠とするか否かを使い分けているた めであると我々は考えている. $\mathrm{BERT}_{\text {proposed }}$ で「時間」 の項目の詳細な内訳を見ると，「今日」「た」「最

においても同様であった。しかし, $\mathrm{BERT}_{\text {proposed }}$ では

ほど上昇しており, 学習前後での細かな違いが確認 された.このように変化した理由の詳細な分析は今後の課題であるが，「時間」の項目語にラベル 1 の 判断根拠としてより重みがついたことが分かる. $\mathrm{BERT}_{\text {proposed }}$ では「助動詞」の項目がラベル 1 で 8 番目，ラベル 0 で 7 番目に高かった。一方で BERT $_{\text {subword }}$ ではラベル 0 の判断根拠にしかなってお らず，暗黙的データでは助動詞をラベル 1 の判断根拠にする割合が強まった. ラベル 1 の「動因」で は，共通して「仕事」という言葉が一番多かった. これは，仕事に関連した語がストレスを示す傾向が あるという先行研究と一致する[15]. また，「悪 い」「怖い」といったネガティブな動因が占めるこ とも共通していた。しかし， BERT $_{\text {proposed }}$ で二番目 に多い単語が「旦那」であり，妻が夫の愚痴を言う 発言の特徴を新たに学習したことが分かった. ラべ ル 0 でトップ 10 の項目は全て一致しており，順位 が若干変動する結果となった. ラベル 0 の基準は両 データで同じであったため，これは妥当な結果であ る。以上のように，モデルが両データの共通，非共通な特徴を学習したことが確認された。

## 5 おわりに

本研究では, 明示的に「ストレス」と書かれてあ る発言と暗黙的にストレスの内容を含む発言の両デ 一タを使い，発言者がストレスに感じている発言を 検出する分類器を構築した．実験と分析の結果，

我々の手法は単体データのみの場合よりも高い精度 で発言者のストレスを分類可能であり，両データの 特徴を学習することが有効であることを示した。

今後の研究として，「ストレス」，「\#ストレ ス」の言葉を含まず，ストレスの自覚なしに発せ られた発言に対しても, この手法で構築した分類器 が適用可能かどうかを調査していきたい.

## 参考文献

1. Sachin Thukral, Suyash Sangwan, Arnab Chatterjee, and Lipika Dey. Identifying pandemic-related stress factors from social-media posts--effects on students and young-adults. arXiv preprint arXiv:2012.00333. 2020

2. Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proc. of NAACL, pp.4171-4186. 2019.

3. Sheldon Cohen, Gregory E. Miller, and Bruce Rabin. Psychological Stress and Antibody Response to Immunization: A Critical Review of the Human Literature. Psychosomatic Medicine, Vol. 63 - Issue 1 - pp.7-18. 2001.

4. Fares Al-Shargie, Masashi Kiguchi, Nasreen Badruddin, Sarat C. Dass, and Ahmad Fadzil Mohammad Hani. Mental stress assessment using simultaneous measurement of eeg and fnirs.

Biomedical Optics Express, Vol. 7 - Issue 10 pp.3882-3898. 2016.

5. Xin Zuo, Tian Li, and Pascale Fung. A multilingual natural stress emotion database. In Proc. of LREC, pp.1174-1178. 2012.

6. American Psychological Association. What's the difference between stress and anxiety?

(引用日: 2022 年 1 月 8 日.)

https://www.apa.org/topics/stress/anxiety-difference.

7. Son Doan, Amanda Ritchart, Nicholas S Perry, Juan

D Chaparro, and Mike Conway. How Do You \#relax

When You're \#stressed? A Content Analysis and

Infodemiology Study of Stress-Related Tweets.

JMIR Public Health Surveill, Vol. 3 - Issue 2 - e35.

2017.

8. Elsbeth Turcan, and Kathleen McKeown. Dreaddit:

A Reddit Dataset for Stress Analysis in Social

Media. In Proc. of EMNLP, pp.97-107. 2019.

9. Elsbeth Turcan, Smaranda Muresan, and Kathleen McKeown. Emotion-Infused Models for Explainable Psychological Stress Detection. In Proc. of NAACL, pp.2895-2909, 2021.

10. Sharath Chandra Guntuku, Anneke Buffone, Kokil Jaidka, Johannes C. Eichstaedt, and Lyle H. Ungar.
Understanding and measuring psychological stress using social media. CoRR, abs/1811.07430, 2018.

11. Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in Neural Information Processing Systems, pp.6000-6010. 2017.

12. llya Loshchilov, and Frank Hutter. Decoupled Weight Decay Regularization. arXiv preprint arXiv:1711.05101. 2017

13. Marco Túlio Ribeiro, Sameer Singh, and Carlos Guestrin. "Why should I trust you?": Explaining the predictions of any classifier. In Proc. of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, pp.11351144. 2016.

14. Tasuku Igarashi, Shimpei Okuda, and Kazutoshi Sasahara. Development of the Japanese Version of the Linguistic Inquiry and Word Count Dictionary 2015 (J-LIWC2015). PsyArXiv Preprints: 10.31234/osf.io/5hq7d. 2021

15. Huijie Lin, Jia Heinie, Quan Guo, Yuanyuan Xue, Qi Li, Jie Huang, Lianhong Cai, and Ling Feng. UserLevel Psychological Stress Detection from Social Media Using Deep Neural Network. In Proc. of ACM MM, pp.507-516. 2014.

## A 付録

## A. 1 予備調查

我々は，「ストレス」と「\#ストレス」という言葉を含んだ各発言の一日あたり収集可能な発言量を 調査をした。まず, Twitter API を使用して 2021 年 10月 1日 00:00:00 から 27 日 23:59:59までの期間で「ストレス」と「\#ストレス」という言葉を含 んだ各発言を収集した。その後，日ごとに発言量の 集計を行った. 図 3 と図 4 はその結果の棒グラフを 表している.

縦軸の目盛りが 100 倍異なることから分かる通 り，「ストレス」と「\#ストレス」の発言では，一日あたりの発言量が大きく異なる.「ストレス」と いう言葉を含んだ発言は一日に平均して 37,738の 発言を収集できたが，「\#ストレス」の場合は一日 に平均して 217 の発言しか収集することができなか った. このことから，「ストレス」の言葉を含んだ 発言の方が，短期間で大規模な量のデータを収集出来ることが分かる.

## A. 2 ハイパーパラメータ

4,1と 4.2 の実験におけるハイパーパラメータの チューニング結果を表 5 と表 6 に示す.

表 $5 \quad 4.1$ におけるハイパーパラメータ

$
\text { チューニングの結果 }
$

表 64.2 におけるハイパーパラメータ

図 3 「ストレス」の言葉を含む発言に おける一日あたりの発言量

図 4 「\#ストレス」の言葉を含む発言に おける一日あたりの発言量


# 旭川市における方言の消失

野村綾応 ${ }^{1}$ 西口純代 ${ }^{2}$
1 小樽商科大学 商学部経済学科 ${ }^{2}$ 小樽商科大学 言語センター
ao1008mukku1231@icloud.com nishiguchi@res. otaru-uc. ac. jp

## 概要

近年、インターネットやソーシャルネットワーク サービスの普及により日本語の標準化が進んでいる。 そして、この時代の変化は新語の導入などによる日本語の変化と共に、方言の多くを死語に変化させて いる。そこで、本稿は実際のアンケートをもとに、旭川市における死語へ変化する規則性と今後死語に なりうる可能性の高い語句を検討した。アンケート の結果、(1) 死語になるには祖父母が使わなくなった 方言は使うことがない (2) 今後死語になりうる可能性のある方言は、「おばんです」「じょっぴんかる」

「なまら」「こわい」であることを提唱する。

## 1 方言と北海道

## 1.1 方言の定義

オンライン『意味解説辞典』によれば、教科書な どに記載してある文字や新聞、ニュースなどで話さ れている言語は「標準語」であり、その国の標準と して認められた公的な場面で使われている言語のこ とを指し、日本は現在東京の言葉が「標準語」の基 となっている。それに対し、「方言」とはある地方 だけに使われている言語のことを指す。例えば、「さ びお」、「うるかす」などがある。また、標準語と 違う訛りのある言葉も方言と呼び、方言はその地域 だけの言葉で、いくつかの地域によって区分され、 それぞれの方言の特徵が異なっている。

## 1.2 北海道の歴史

北海道はかつて蝦夷地とよばれており、13 世紀頃から本州の江戸時代にかけてはアイヌ民族独自の

文明があった。しかし、箱館戦争が終わると新政府 は蝦夷地を北海道と任命し、開拓史を設置した。明治 7 年に屯田兵制度を設け、本州より多くの人が押 し寄せたため、北海道には本州の文化や言語が持ち 込まれた。その中でも東北地方の方が多く、他にも 北陸、関西地方がありかなりの影響を受けた。その 証として、広島県の人々が北海道に移り渡り北広島 を作り、奈良県の十津川村の人々が新十津川村を作 るなど北海道には多くの人が移り住んだことから、多くの言語や方言が持ち込まれたことが分かる。 ii

## 1.3 北海道における標準語化

九州の 2 倍の敷地面積を誇る北海道は地域ごとに 方言が違う。例えば、内陸の部の旭川や札幌では標準語に近い言葉が話されており、函館などの沿岸部 などでは津軽弁や東北の方言が話されている。これ は、札幌や旭川などの内陸部では沿岸部から多くの 人が集まってきたため、独自の方言ではコミュニケ ーションが取れず、必然的に共通語になったと考え られる。

## 1.3 旭川市を研究対象地域にした理由

前記の通り旭川市は北海道の中でも標準語化が進 んだ都市であるため、方言がどのように世代間で推移したか考察できると判断したためある。筆者の野村が旭川市生まれであるため、研究しやすくアンケ ートも取りやすいと考えたためでもある。

北広島市 - Wikipedia（最終閲覧日 2022 年 1 月 12 日）新十津川町 | 札幌開発建設部（mlit. go.jp）（最終閲覧日 1 月 12 日）

## 2 検証と考察

## 2. 1 家族間（旭川市在住）における方言の

## 消失

言語の習得は両親や祖父母に影響されることが

表 1 アンケート結果 方言の推移

これは渡瀬昌彦『方言の地図帳』をもとに作成した ものであり、選んだ方言は無作為である。一番左の 列が標準語であり、左から 2 列目が旭川に住む明治生まれ話者が使っていた言葉、3列目は野村の祖父、 4 列目は野村の父、 5 列目は野村自身が用いる言葉 である。まずは上から 3 行目の「しあさって」と 10 行目の「じゃがいも」に注目してもらいたい。明治生まれ話者は「しあさって」を「やなあさって」と 話すが、野村の祖父は「しあさって」と話しており、明治から昭和初期にかけて変化している。また、「じ やがいも」も同様に変化している。そして、一度標準語に変化したものは平成生まれの野村まで続いて いる。そもそも野村はこの研究をするまで「じゃが いも」と「しあさって」に方言があったことすら知 らなかった。このことから方言が祖父母などの 2 世多い。そこで世代間でどういった言葉の変遷がある のか確かめることにした。表 1 がアンケートの結果 である。
表 2 旭川出身者 8 名のアンケート結果表 2.1 インフォーマント 1

表 2.2 インフォーマント 2

表 3.3 インフォーマント 3

表 4.4 インフォーマント 4

表 5.5 インフォーマント 5

表 6.6 インフォーマント 6

表 2.7 インフォーマント 7

表 2.8 インフォーマント 8

アンケートを行っていくうえで、死語になる可能性 があるものをあるルールをもとにまとめた。上記よ り 2 世代前が方言を話さないと今後死語になる可能性が高いとして、対象者とその両親、2世代にわた って使われない方言は次世代において死語になる可能性が高いとして青く記し、対象者のみが使わなく

なった方言は 2 世代後に死語になる可能性があると して橙色に記し、どの世代も使っていないものは死語と記した。このアンケートより「疲れた」を意味 する「こわい」、「とても」を意味する「なま ら」、「こんばんは」を意味する「おばんです」、鍵をかけることを意味する「じょっぴんかる」はみ な青色、橙色もしくはすでに使っておらず死語にな っていることが分かった。

## 3 今後の展望

今回、旭川市において「なまら」、「こわい」、「おばんです」、「じょっぴんかる」の４つの言葉 が死語になる可能性が高いと考えたが、「なまら」 は全国的に周知されているし、近年方言を守ろうと するすばらしい活動が多く進められており、また SNS の普及により珍しい言葉を使えばすぐに世に出回るので簡単に死語になると断定はできない。その ため今後はより長期的なスパンでの調查が必要であ る。

## 参考文献

1. 渡瀬昌彦（2019）『方言の地図帳』、講談社、東京.

2. 高知大学教育学部方言学研究室「日本語方言に ついて解説一方言楽の館」（最終閲覧日 2021 年 11 月 22 日）

http://ww4. tiki.ne. jp/ rrockcat/kougi01.htm1