# 階層コード表現を用いた上位下位関係の識別

水木栄
東京工業大学情報理工学院
sakae.mizuki@nlp.c.titech.ac.jp
}

岡崎直観
東京工業大学情報理工学院
okazaki@c.titech.ac.jp

## 1 はじめに

単語間の上位下位関係を表す語彙知識は，含意関係認識 [1] やテキスト生成 [2] など幅広いタスクで用 いられる。また, 多数の上位下位関係を階層構造に 集約すると，タクソノミを構築できる [3]. こうし た中で上位下位関係識別は, タクソノミの自動構築 を実現する基礎技術として位置付けられている [4].

タクソノミ構築を志向して上位下位識別タスクを 解くうえでは, 識別精度だけでなく, 推論結果が推移性や反対称性を満たすことが重要である [4]. 前者は単語分散表現と語彙知識を併用できる Semantic Specialization が, 後者は順序関係を定義可能な Order Embeddings が有望であるが, 両者を兼ね備えた手法 は提案されていない。

本研究では学習ずみ単語分散表現を階層性のある コード表現に変換して, 単語ぺアの上位下位関係ら しさを計量する方法を提案する. 提案手法により得 られた階層コードの例を, 付録 $\mathrm{A}$ の表 4 に示す.こ れにより, Semantic Specialization の長所である単語分散表現の活用と, Order Embeddings の長所である 推移性 ・ 反対称性の両立を志向する. また WordNet から得られる語彙知識を用いて学習することによ り，上位下位関係識別タスクにおいて既存手法を上回る性能が実現できることを報告する. 本研究の貢献は次の 3 点である. 分散表現を，階層性を備えた コード表現に変換する手法の提案. コード表現を用 いて, 単語ぺアの上位下位関係の程度を計量する手法の提案. 提案手法の上位下位関係識別タスクへの 有効性を，実験的に示したこと。

## 2 既存研究

上位下位関係識別とは, 与えられた単語ぺア, た とえば (animal,dog) が上位下位関係か否かを識別す るタスクである. 本研究の設定は, WordNet のよう な汎用的かつ大規模な語彙資源から得られる知識 を訓練データとする表現学習である. 獲得した表現
を直接用いて上位下位関係を推論する，同様の設定に従う既存研究は, Semantic Specialization, Order Embeddings の 2 つである. また, 本研究の提案手法 と関連性が深いのはコード学習の手法である.

Semantic Specialization とは, 語彙資源から得られ る単語間の意味関係を単語分散表現に反映する手法 の総称である. その長所は, 文脈類似性に基づく意味的類似度と, 語彙資源に基づく詳細な意味関係の 両方を獲得できることである．特に上位下位関係の 場合は, 分散表現のノルム長さにより意味階層を, コサイン類似度により関係の強さを表現する方法が 提案されている [5]. Vulic ら [6] はこの表現方法に 則 り, 上位下位 - 同義 - 対義関係の語彙知識を反映 した単語分散表現を得る手法を提案し，上位下位関係識別タスクで最高精度を報告している。

Order Embeddings[7] とは, 順序関係を定義可能な 表現形式または空間による埋め込み表現の総称であ る. その長所は, 順序集合の定義により推移性 ${ }^{1)}$ お よび反対称性 ${ }^{2}$ という，タクソノミが一般に有する 性質がおのずと満たされることである．既存研究で は確率分布 [8] や超直方体 [9] などを用いる手法が 提案されている.

コード学習とは, 連続空間上のベクトルを $\mathrm{M}$ 進 $\mathrm{N}$桁の離散ベクトルに変換する手法である.この手法 の長所は，連続空間上の類似性を維持したまま離散空間上でコンパクトな表現を得ることである．既存研究では, モデル圧縮 [10] やクラスタリング [11] に 応用されている。一方で, 本研究が目指す階層性を 備えたコードを学習する手法は提案されていない。

## 3 提案手法

## 3.1 階層コードおよび上位下位関係の定義

本論文の階層コードの定義は $\mathrm{M}$ 進 $\mathrm{N}$ 桁, ただし ひとたび 0 が出現したら後続桁はすべて 0 となる離


図 1 変換器のアーキテクチャ. 角丸は変数, 直角は関数, 点線は誤差逆伝搬なしを表す. 記号は数式に準拠

散ベクトルである.たとえば $[3,1,0,0]$ は階層コー ドである. 深さ $\mathrm{N} \cdot$ 最大幅 $\mathrm{M}$ の木構造は, 幅優先符号化により階層コードに変換できる. ここから直感的にわかるように，階層コードを用いて上位下位関係を定義できる. すなわちa) 上位より下位のほう が非ゼロ桁数が多く, かつ b) 非ゼロ桁の值がすべて 一致する関係であると定義すればよい. たとえば $([3,1,0,0],[3,1,7,0])$ は上位下位関係である.

## 3.2 変換器（エンコーダ）

変換器 (エンコーダ) は, 単語分散表現 $\boldsymbol{v}$ を 進 $\mathrm{N}$ 桁の階層コード $\boldsymbol{C}$ の確率分布 $P(\boldsymbol{C})$ に変換 する関数である. LSTM による再帰的計算および Gumbel-Softmax Trick [12] による擬似サンプリング を用いて, 下位桁が上位桁の值に依存するような関数をモデリングする. アーキテクチャの模式図を図 1 に掲載する。

$d$ 桁目の階層コードを表す確率変数を $C_{d}$ とする.階層コードの定義 3.1 より $C_{d}$ の条件付分布は

$
\begin{aligned}
& P\left(C_{d}=a \mid C_{<d}\right) \\
& =1\{a=0\} P\left(C_{d-1}=0 \mid C_{<d-1}\right) \\
& +P\left(C_{d}=a \mid C_{d-1} \neq 0, C_{<d}\right) P\left(C_{d-1} \neq 0 \mid C_{<d-1}\right)
\end{aligned}
$

と表される.つまりゼロを出力する確率は桁が 進むにつれて単調増加する. そこでLSTMを用 いて, $d-1$ 桁目がゼロでない場合の条件付確率 $P\left(C_{d} \mid C_{d-1} \neq 0, C_{<d}\right)$ のカテゴリカル分布パラメータ $\pi_{d}^{\prime}$ をモデリングする.

$
\begin{aligned}
\boldsymbol{\pi}_{d}^{\prime} & =\operatorname{Softmax}\left(\operatorname{Linear}\left(\boldsymbol{h}_{d}\right)\right) \\
\boldsymbol{h}_{d} & =\operatorname{LSTM}\left(\left[\boldsymbol{v} ; \operatorname{Linear}\left(\hat{\boldsymbol{c}}_{d-1}\right)\right], \boldsymbol{h}_{d-1}\right)
\end{aligned}
$

ここで $\boldsymbol{v}$ は単語分散表現, ; はベクトルの連結, Linear は線形変換層を表す.

$\hat{\boldsymbol{c}}_{d-1}$ は, $d-1$ 栓目の值の one-hot vectorを連続近似したものである. 訓練時は Gumbel-Softmax Trick

（式中 GS）による擬似サンプリング（ただし誤差逆伝搬はしない：式中 detach), 推論時はカテゴリカル 分布パラメータをパススルーで与える.

$
\hat{\boldsymbol{c}}_{d-1}= \begin{cases}\operatorname{detach}\left(\mathrm{GS}\left(\boldsymbol{\pi}_{d-1}\right)\right) & \text { 訓練時 } \\ \boldsymbol{\pi}_{d-1} & \text { 推論時 }\end{cases}
$

最後に, 式 1 に従って $\pi_{d}^{\prime}$ を補正し, 条件付確率 $P\left(C_{d} \mid C_{<d}\right)=\pi_{d}$ を求める.

$
\begin{aligned}
\pi_{d, 0} & =\pi_{d-1,0}+\left(1-\pi_{d-1,0}\right) \pi_{d, 0}^{\prime} \\
\pi_{d,>0} & =\frac{\left(1-\pi_{d, 0}\right)}{\left(1-\pi_{d, 0}^{\prime}\right)} \pi_{d,>0}^{\prime}
\end{aligned}
$

## 3.3 上位下位関係の計量

上位下位関係の計量は, 単語分散表現ぺア $\left(v^{s}, v^{t}\right)$ を変換した階層コード $\left(\boldsymbol{C}^{s}, \boldsymbol{C}^{t}\right)$ を用いる。ふたつの 階層コードを比較すると, その結果はかならず, 包含・一致・その他のいずれかになる．上位下位関係 の定義 3.1 より, 判定関数 RELATION は Algortithm 1 として実装できる. したがって上位下位関係にあ る確率 $P(s \prec t)$ は, 判定関数が包含 $(=1)$ を返す期待值となる。同様に，非上位下位関係の確率 $P(s \nprec t)$ は，判定関数がその他 $(=-1)$ を返す期待值となる.

$
\begin{aligned}
& P(s \prec t)=\underset{P\left(\boldsymbol{C}^{s}\right), P\left(\boldsymbol{C}^{t}\right)}{\mathbb{E}}\left[\operatorname{RELATION}\left(\boldsymbol{C}^{s}, \boldsymbol{C}^{t}\right)=1\right] \\
& P(s \nprec t)=\underset{P\left(\boldsymbol{C}^{s}\right), P\left(\boldsymbol{C}^{t}\right)}{\mathbb{E}}\left[\operatorname{RELATION}\left(\boldsymbol{C}^{s}, \boldsymbol{C}^{t}\right)=-1\right]
\end{aligned}
$

ただし実際には全桁の同時分布の期待值は扱えない ため，式 4 の擬似サンプルで近似的に計算する.

## 3.4 目的関数

変換器（エンコーダ）を最適化する際の目的関数 は, 上位下位関係の識別, 再構築損失, 非ゼロ桁数

と分散表現の相互情報量の重み付き和とする. 原理的には上位下位関係の識別のみを最適化すればよい が，再構築損失および相互情報量を補助的に併用す ることで，コードの分散を促す $[10,11]$.

$
L=L_{h}+\alpha L_{\text {reconst }}+\beta L_{\mathrm{mi}}
$

上位下位関係の識別に対する目的関数 $L_{h}$ は，ク ロスエントロピー誤差として定義する。

$
L_{h}=\sum_{s_{i}, t_{i}, y_{i} \in \mathbb{H}^{+} \cup H_{-}^{-}} y_{i} P(s \prec t)+\left(1-y_{i}\right) P(s \nprec t)
$

ただし $\mathbb{H}^{+}=\left(s_{i}, t_{i}, y_{i}=1\right)$ は, 語彙知識に含まれる 上位下位語ぺアである. また $\mathbb{H}^{-}=\left(s_{i}, t_{i}, y_{i}=0\right)$ は, $\mathbb{H}^{+}$から機械的に生成した非上位下位語ペアである (3.5 節で述べる).

再構築損失に対する目的関数 $L_{\text {reconst }}$ は, 階層コー ドから再構築した分散表現と, オリジナルの分散表現との L2 誤差として定義する。

$
\begin{gathered}
L_{\text {reconst }}=\sum_{i \in \mathbb{V}}\left.\|\hat{\boldsymbol{v}}_{i}-\boldsymbol{v}_{i}\right.\| \\
\hat{\boldsymbol{v}}=\frac{\|\boldsymbol{v}\|}{\left.\|\hat{\boldsymbol{v}}^{\prime}\right.\|} \hat{\boldsymbol{v}}^{\prime}, \hat{\boldsymbol{v}}^{\prime}=\sum_{d=0}^{N-1} \sum_{a=0}^{M-1} \hat{c}_{d, a} \boldsymbol{e}_{d, a}
\end{gathered}
$

ただし $\mathbb{V}$ は，単語分散表現の語彙である. また $\boldsymbol{e}_{d, a}$ は, $d$ 桁目の值 $a$ に割り当てた基底ベクトルである.基底ベクトルは他のモデルパラメータと同様に, 訓練時に最適化する.

非ゼロ行数と分散表現の相互情報量に対する目的関数 $L_{\mathrm{mi}}$ は, 階層コードから求まる非ゼロ桁数と,単語分散表現との相互情報量として定義する。

$
L_{\mathrm{mi}}=-\mathrm{I}(S ; V), S=\text { length }(\hat{\boldsymbol{C}})
$

ただし length(.) は, 非ゼロ桁数を返す関数である.

## 3.5 非上位下位語ペア（負例）の生成

語彙知識から得られるのは上位下位語ぺアのみで ある、そこで順序反転および乱択を用いて，個別の 上位下位語ペアから 5 つの非上位下位語ペアを生成 する. 順序反転は単語順序の交換, 乱択は片方の単語をランダムサンプリングした単語と交換する操作である. 乱択は, $30 \%$ の確率で分散表現の最近傍 100 語から, $70 \%$ の確率で全語彙からサンプリング する. 非上位下位語ペアの生成例を表 1 に示す.

## 4 実験

先行研究 $[5,6]$ に倣い, 分類タスク 3 種類: BLESS-hyponymy, WBLESS, BIBLESS および, ラン表 1 非上位下位語ペアの生成

キングタスク 1 種類: HyperLex を用いて提案手法を 評価する。これらの 4 つのタスク詳細および評価方法を付録 $\mathrm{B}$ に掲載した。また，提案手法のモデルの 学習における詳細な実験設定を付録 $\mathrm{C}$ に掲載した。

表 2 に，提案手法の性能および先行研究との比較 を示す. 提案手法は, 分類タスクにおいて高い性能 を示し, 特に BLESS-hyponymy および BIBLESS で は先行研究の最高精度をそれぞれ 1.4 ポイントおよ び 0.6 ポイント上回った. Nguyen ら [5] は本研究と よく似た語彙知識（WordNet から抽出した上位下位関係）を実験に用いているが，彼らの手法をべース ラインとすると，提案手法は 5 から 7 ポイントの性能改善を示している.また Vulic ら [6] の実験は上位下位に加えて同義・対義関係も利用しているが,提案手法は彼らと同程度あるいは 1 から 2 ポイント の性能改善を示している. これらの結果は, 語彙知識の量が同等ならば，提案手法は語彙知識を活用す る効率が高いことを示唆している.

一方，ランキングタスク（HyperLex）では提案手法は先行研究の最高精度を 10 ポイント以上下回っ た. この要因としては, 最適化に用いる目的関数 の影響が考えられる。提案手法は上位下位関係識別のクロスエントロピー誤差を最小化するため,正例は 1 , 負例は 0 に近づけようとする。一方で Athiwaratkun ら [8] やVulic らの手法ではヒンジ損失 を最小化するため, マージン以下の誤差は許容され る.また Vulic らの実験は, 前述のとおり同義・対義関係も用いることに留意が必要である.

## 5 考察

## 5.1 分類タスクの誤り分析

WBLESS およびBIBLESS の負例は，同位・全体—部分など様々な意味関係の単語ぺアから構成され ている。意味関係ごとに評価した性能を，表 3 に示 す. 提案手法は, 全体一部分関係および部分一全体関係の正解率が相対的に低いことがわかる. すなわ ち提案手法は (fox,mouth) や (radio,wire) のような単
表 2 提案手法の性能および先行研究との比較. 提案手法は 5 回の試行による平均および標準偏差（カッコ内の数値）を 報告.太字は先行研究の精度を上回る事例.

 & 0.86 & - & 0.512 \\

図 2 ランキングタスクの意味関係ごとの順位分布. 順位は全サンプル数で正規化. 意味関係のカッコ内の数值は上位語・下位語間のホップ数を表す

表 3 分類タスクの意味関係ごとの性能（正解率）

語ペアを，上位下位関係と誤認しやすいのである. なお WBLESS の部分一全体関係は精度が高いこと から，全体語を部分語よりも意味階層の上位だと捉 える（=非ゼロ桁数を少なくする）ことはできてい るが, 誤って同一のコードを割り当ててていること が示唆される. この要因としては, 非上位下位語ぺ アの生成で全体一部分関係が出現しにくいことが考 えられる. 乱択により生成される単語ぺアは無関係 または意味的類似性が高いかのいずれかだが，全体—部分関係は必ずしもこれらに当てはまらない.

## 5.2 ランキングタスクの誤り分析

HyperLex の単語ペアは（xBLESS と同様に）様々 な意味関係の単語ぺアから構成されている. 意味関係ごとにランキング順位の分布を可視化した結果 を，図 2 に示す. 提案手法は，上位一下位・同義 $\cdot$下位一上位については, 平均的には正しい順序付け
ができているが，しばしば正解よりもばらつきが大 きいことがわかる. また対義関係については，上位下位らしさを過大評価していることがわかる.この 要因としては, 分類タスクの誤り分析と同様に, 非上位下位語ペアの生成で対義関係が出現しにくいこ とが考えられる. Vulic らの実験のように，対義関係を明示的な負例に用いることで，性能改善の余地 があるかもしれない.

## 6 まとめ

本研究では，単語分散表現を階層コード表現に変換して，コードを比較して単語ぺアの上位下位関係 らしさを計量する手法を提案した。また提案手法は 上位下位関係の分類タスクで既存手法を上回る性能 であることを報告した。また誤り分析からは全体—部分関係および対義関係の誤差が大きいことがわ かった。これらは手法そのものよりも, 非上位下位語ペアの与え方が要因になっている可能性がある. したがって, 提案手法をさらに多様なデータセット および語彙知識を用いて評価していきたい.

謝辞 本研究は JSPS 科研費 $19 \mathrm{H} 01118$ の助成を受 けた。

## 参考文献

[1] Ido Dagan, Dan Roth, Mark Sammons, and Fabio Massimo Zanzotto. Recognizing Textual Entailment: Models and

Applications. Synthesis Lectures on Human Language Technologies. Morgan \& Claypool Publishers, 2013.

[2] Or Biran and Kathleen R. McKeown. Classifying taxonomic relations between pairs of wikipedia articles. In Proceedings of the 6th International Joint Conference on Natural Language Processing, pp. 788-794, 2013.

[3] Georgeta Bordea, Els Lefever, and Paul Buitelaar. Semeval-2016 task 13: Taxonomy extraction evaluation (TExEval-2). In Proceedings of the 10th International Workshop on Semantic Evaluation, pp. 1081-1091, 2016.

[4] José Camacho-Collados. Why we have switched from building full-fledged taxonomies to simply detecting hypernymy relations. CoRR, Vol. abs/1703.04178, , 2017.

[5] Kim Anh Nguyen, Maximilian Köper, Sabine Schulte im Walde, and Ngoc Thang Vu. Hierarchical embeddings for hypernymy detection and directionality. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 233-243, 2017.

[6] Ivan Vulic and Nikola Mrksic. Specialising word vectors for lexical entailment. In Marilyn A. Walker, Heng Ji, and Amanda Stent, editors, Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 1134-1145, 2018.

[7] Ivan Vendrov, Ryan Kiros, Sanja Fidler, and Raquel Urtasun. Order-embeddings of images and language. In Yoshua Bengio and Yann LeCun, editors, 4th International Conference on Learning Representations, ICLR 2016, San Juan, Puerto Rico, May 2-4, 2016, Conference Track Proceedings, 2016.

[8] Ben Athiwaratkun and Andrew Gordon Wilson. Hierarchical density order embeddings. In Proceedings of the 6th International Conference on Learning Representations, 2018.

[9] Xiang Li, Luke Vilnis, Dongxu Zhang, Michael Boratko, and Andrew McCallum. Smoothing the geometry of probabilistic box embeddings. In 7th International Conference on Learning Representations, ICLR 2019, New Orleans, LA, USA, May 6-9, 2019. OpenReview.net, 2019.

[10] Raphael Shu and Hideki Nakayama. Compressing word embeddings via deep compositional code learning. In Proceedings of the 6th International Conference on Learning Representations, 2018.

[11] Weihua Hu, Takeru Miyato, Seiya Tokui, Eiichi Matsumoto, and Masashi Sugiyama. Learning discrete representations via information maximizing self-augmented training. In Proceedings of the 34th International Conference on Machine Learning, pp. 1558-1567, 2017.

[12] Chris J. Maddison, Andriy Mnih, and Yee Whye Teh. The concrete distribution: A continuous relaxation of discrete random variables. In Proceedings of the 5th International Conference on Learning Representations, 2017.

[13] Maximilian Nickel and Douwe Kiela. Poincaré embeddings for learning hierarchical representations. In $A d$ vances in Neural Information Processing Systems 30, pp. 6338-6347, 2017.

[14] Sarthak Dash, Md. Faisal Mahbub Chowdhury, Alfio Gliozzo, Nandana Mihindukulasooriya, and Nicolas Rodolfo Fauceglia. Hypernym detection using strict partial order networks. In Proceedings of the 34th AAAI Conference on Artificial Intelligence, pp. 7626-7633.

[15] Douwe Kiela, Laura Rimell, Ivan Vulic, and Stephen Clark. Exploiting image generality for lexical entailment detection. In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing of the Asian Federation of Natural Language Processing, pp. 119-124, 2015.

[16] Julie Weeds, Daoud Clarke, Jeremy Reffin, David J. Weir, and Bill Keller. Learning to distinguish hypernyms and co-hyponyms. In COLING 2014, 25th International Conference on Computational Linguistics, Proceedings of the Conference: Technical Papers, pp. 2249-2259, 2014.

[17] Ivan Vulic, Daniela Gerz, Douwe Kiela, Felix Hill, and Anna Korhonen. Hyperlex: A large-scale evaluation of graded lexical entailment. Computational Linguistics, Vol. 43, No. 4, 2017.

[18] Tomas Mikolov, Edouard Grave, Piotr Bojanowski, Christian Puhrsch, and Armand Joulin. Advances in pre-training distributed word representations. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation, 2018.

[19] Pierre Foret, Ariel Kleiner, Hossein Mobahi, and Behnam Neyshabur. Sharpness-aware minimization for efficiently improving generalization. CoRR, Vol. abs/2010.01412, , 2020 .
表 4 提案手法により得られた階層コード 単語階層コード

## A 階層コードの実例

提案手法により得られた階層コードの一部を，表 4 に示す. 提案手法を用いると，任意の単語分散表現を階層コードに変換して，上位下位関係を推論で きるようになる。実際に単語ぺアの上位下位関係を 推論する際には各枌の条件付確率 $P\left(C_{d} \mid C_{<d}\right)$ を用い る（3.3 節を参照）のだが，ここではわかりやすさ のために $\operatorname{argmax}$ を取って離散化したものを示して いる.

## B 分類タスクおよび評価方法

分類タスクは, BLESS-hyponymy [15], WBLESS [16], BIBLESS の 3 種類を用いる. BLESShyponymy は上位下位語ぺアのうちどちらが上位語 かの 2 值分類, WBLESS は上位下位関係・その他の 2 值分類, BIBLESS は上位下位関係・下位上位関係・ その他の 3 值分類の精度を評価する. 推論は, 式 6 で定義した上位下位関係にある確率 $P(s \prec t)$ を用い て行う. BLESS-hyponymy は $P(s \prec t)$ と $P(t<s)$ の 大きい方を採択, WBLESS は $P(s<t)$ をしきい値と 比較, BIBLESS は最初に $\max \{P(s \prec t), P(t<s)\}$ を しきい值と比較してから, $P(s<t)$ と $P(t<s)$ の大 きい方を採択する。しきい值は validation data に最適化する。また validation/test split は, [5] と同様に, データセットからそれぞれ $2 \%, 98 \%$ を乱択する. 評価指標は test data の accuracy である. validation/test split を 1,000 回実施して平均値を報告する.

ランキングタスクは, HyperLex [17] を用いる. 与 えられた単語ぺアを上位下位関係らしさの高い順に 順序付けして, アノテータが付与した順序との一致度を評価するタスクである. 推論は $P(s<t)$ の値が 大きい順に順序付けする．評価指標はスピアマンの 順位相関である。

## C 提案手法の学習

階層コードへの変換器（エンコーダ）を訓練す るための語彙知識および単語分散表現は, 先行研究 [5] に倣って, WordNet から抽出した上位下位関係および，事前学習ずみ fastText モデルを用いる.

上位下位関係は, WordNet 上で直接・間接の"is-a"関係にあるすべてのレンマのぺアを抽出する。その うえで，評価タスクのデータセット（xBLESS およ び HyperLex）と重複するぺアを削除する.サンプル 数は，名詞ペアが $2,158,824$ 件，動詞ペアが 162,706 件となった。

事前学習ずみ fastText モデルは, Mikolov ら [18] が 配布するサブワード情報付きモデル3)を用いる．次元数は 300 , 語彙数は 100 万である.レンマから単語分散表現への変換は，大文字・小文字を区別す る.また"dog_food"のようにレンマが複数の単語か らなる場合は，全単語の算術平均を取る。

目的関数の最適化は，ミニバッチによる確率勾配法を用いる． $L_{h}$ のミニバッチサンプル数は, 正例 200 件・負例 1,000 件である. $L_{\text {reconst }} L_{\mathrm{mi}}$ のミニバッ チサンプル数は, 1,000 件である. 最適化アルゴ リズムは Sharpness-aware Minimization Optimizer [19] を用いる. 式 7 で示した目的関数の重み付き和は $\alpha=5.0, \beta=0.05$ とする. 階層コードの容量は, 8 進 16 桁とする.

 水木栄 東京工業大学情報理工学院 sakae.mizuki@nlp.c.titech.ac.jp }  岡崎直観 東京工業大学情報理工学院 okazaki@c.titech.ac.jp  