# 逆翻訳を利用したデータ拡張による文間の修辞構造解析の改善

前川在 1 小林 尚輝 1 平尾 努 2 上垣外 英剛 1 奥村 学 1
1 東京工業大学 ${ }^{2} \mathrm{NTT}$ コミュニケーション科学基礎研究所
\{maekawa, kobayasi, kamigaito, oku\}@lr.pi.titech.ac.jp
tsutomu.hirao.kp@hco.ntt.co.jp

## 概要

十分な量の学習データを確保できないことによ

り，文間の修辞構造解析の性能は文内と比較して大幅に低く，下流タスクにとって大きな問題となって いる。これを解決するため，本稿では，学習データ を逆翻訳することで得た擬似正解データを用いて 解析器を事前学習し, 正解データを用いて追加学習 する手法を提案する. シフト還元法による上向き解析器, スパン分割による下向き解析器に提案法を 適用し，標準的ベンチマークデータセットである RST-DT，Instr-DT を用いて評価した結果，疑似正解 データを用いることで Standard-ParsEval のスコアが 約 1-2 ポイント向上することを確認した.

## 1 はじめに

修辞構造理論 [1] では, Elementary Discourse Unit (EDU) と呼ばれる，節に相当する単位を葉ノードと する構成素木として文書の構造を表す. 木は完全 2 分木として表され，中間ノードには 1 つ以上の EDU からなるテキストスパンの役割である核 (Nucleus: N) あるいは衛星 (Satellite: S) と，S から $\mathrm{N} へ の$ 修飾関係を表す修辞関係ラベルが与えられる. 基本的に 核と衛星は対 (S-N，N-S のどちらか) となるが，並列構造を表す場合に例外的に核と核が対 (N-N) とな る. 図 1 の左の木は 3 文，6つの EDU からなる文書 の構造を表した修辞構造木である. 通常, 修辞構造解析は与えられた文書を，EDUを葉とした修辞構造木へ変換するが，修辞構造木を要約や翻訳などの 下流タスクで利用する場合には, 図 1 の右の木のよ うに文を葉とした木が用いられることが多く $[2,3]$,文を葉とした解析の性能向上が望まれる.

一般的に修辞構造解析は隣接するテキストスパ ンを結合するか否か，あるいはどこで分割するかと いう一種の分類問題を解くことで実現される. よっ て，学習データの個々の事例は，テキストスパンと

図 1 RST-DT [4] における修辞構造木の例 (WSJ_1100): $s_{1}$ :[ $e_{1}$ :(Westinghouse Electric Corp. said), $e_{2}$ :(it will buy Shaw-Walker Co.)], $s_{2}$ :[ $e_{3}$ :(Terms weren't disclosed.)], $s_{3}$ :[ $e_{4}$ :(Shaw-Walker,), $e_{5}$ :(based in Muskegon, Mich.,), $e_{6}$ :(makes metal files and desks, and seating and office systems furniture.)]図中 $e$ は EDU, $s$ は文を表す.

その正解/不正解の分割位置，結合される/されない テキストスパンの対のように，テキストスパンを基本単位とする。文を葉とした修辞構造木を構築する 解析器を学習するには，EDUを葉とした木を，文を 葉とした木へと変換する必要がある。すると，図 1 の右の木からも明らかなように 1 つの修辞構造木か ら得られるテキストスパンの数が大きく減るため学習データも大きく減ることとなる。修辞構造解析器 の学習, 評価に標準的に利用される最大規模のデー タセットである RST Discourse Treebank (RST-DT) [4] ですら 385 文書しかなく, 文間の修辞構造解析のた めの学習データ不足はより深刻な問題となる.

この問題を解決するため，本稿では，正解データ の文書に対し逆翻訳を適用することで得た文書を擬似正解データとして活用する手法を提案する。逆翻訳で大量の擬似正解データを作成し, 解析器の事前学習に用いることで汎化性能の向上を図る. 現在の 最高性能の解析器である Kobayashi ら [5] の上向き,下向き解析器に基づき，RST-DT，Instr-DT [6] の二 つの異なる領域のデータセットを用いて提案法を 評価したところ，擬似正解データを用いることで， RST-DT の場合には Standard-ParsEval で約 1 ポイン ト，Instr-DT の場合には約 2 ポイント性能が向上す ることを確認した。

図 2 提案手法の概要

## 2 関連研究

本来の修辞構造解析は EDU を葉とした木を構築 する．EDU は文よりも小さな単位であるため文書内の EDU の数は文の数よりも多く，RST-DT では 1 文書あたりの平均 EDU 数は約 57 である. いわ ゆる構文解析と比較すると木のサイズが非常に大 きい。よって，解析中のエラーの伝搬が問題とな る.これを抑制するため, 文内の修辞構造と文間 の修辞構造を独立に解析する手法が提案されてい る [7, 8, 9, 10]. Feng ら [7] は, CRFに基づく上向き 解析法を提案し, Joty ら $[8,9]$ は Dynamic CRF に基 づく上向き解析法を提案している. Lin ら [10] は， Feng らの手法に対しLSTM を導入することで人手 の規則による特徴抽出を廃した。また，Kobayashi ら [11] は，EDU，文，段落という 3 つの粒度の単位 を葉とする修辞構造を解析する手法を提案した。

修辞構造解析の最大規模のデータセットである RST-DT ですら文書数は 385 しかなく，十分な量が あるとは言えない。よって，学習データとテスト データとの間で語彙が違う場合には解析器の性能が 劣化する. これを解決するため擬似正解データを利用する手法が盛んに研究されている. Braud ら [12] はスペイン語，ドイツ語の修辞構造アノテーション 済みデータセットを英語へと翻訳することで擬似正解データを作成した. しかし，英語以外のデータ セットも十分な量があるとは言えず，大量の擬似正解データを用意することはできない。一方, Huber ら [13] は， distant supervision を用いてラベルなし データから大規模な擬似正解データ MEGA-DT を作成した。そして，Guz ら [14] は，MEGA-DTを用い て解析器を事前学習, 正解データを用いて追加学習 することで修辞構造解析の性能が向上することを 示した．ただし， Huber らの方法は，大規模な擬似正解データを作成可能であるが，修辞関係ラベルを 与えることができない. 一方, Kobayashi ら [15]は，複数の解析器の間で結果が一致する合意部分木を擬似正解データとする手法を提案した. MEGA-DT と同様，大量の擬似正解データを作成可能であるが，擬似正解データの信頼性を担保するためには解析器 の性能がある程度高くなければならない。しかし，後述するように現在のトップレベルの解析器でも文間の修辞構造解析の性能は非常に低く解析結果の信頼性が低い.よって，複数の解析器の間で合意がと りにくく，それがとれたとしても非常に小さな部分木となってしまい擬似正解データとして役に立た ない可能性がある。また，ラベルなしデータを用い る手法は全般に，正解データと同じ領域のラベルな しデータを利用できるとは限らないという限界も ある。

## 3 提案手法

文間の修辞構造解析を改善するには，当然文間の 修辞構造のアノテーション済みデータセットが必要 となる。人手作成データをこれ以上集めることが困難であることを勘案すれば従来研究と同様に擬似正解データに頼ることが妥当であろう。ここで，我々 が欲するデータが文を単位としていることに注目す ると，逆翻訳を用いることにより，文書の領域にと らわれることなく語彙や構文の多様性を高めた擬似正解データを作成できる。そして，これを用いて 解析器を事前学習することで頑健性の向上を図る (図 2 参照).

## 3.1 逆翻訳を用いた擬似正解データ作成

逆翻訳を単純に適用すると元のデータセットと 同じサイズの擬似正解データしか得ることができ ない。これを解決するため，本稿では，以下のよう に，原文書から逆翻訳対象とする文をサンプリング し, 逆翻訳時に累積確率を基にした top- $p$ サンプリ ング [16]を利用して原文に対して複数の逆翻訳結果 を用意する。

1. 文書 $d$ から， $n \%$ の文を選択する。具体的に は， $s_{d}$ を文書 $d$ に含まれる文の数として， $\operatorname{int}\left(s_{d} \times n / 100\right)$ 文をランダムに選択する.
2. 1 で選択した文を逆翻訳する。逆翻訳時には top- $p$ サンプリングを用いて $k$ 個の翻訳を獲得 し，その中から 1 つの翻訳をランダムに選択 する.

1,2 を $M$ 回繰り返すことで正解データの $M$ 倍の 擬似正解データを獲得する。なお，1 で選択されな かった文には逆翻訳を適用せずそのまま擬似正解 データとして用いることに注意されたい.

## 3.2 修辞構造解析器

修辞構造解析器としては，現時点で世界最高性能 の, Kobayashi ら [5] で用いられた, 上向き, 下向き のものを利用する. 両方の手法ともテキストスパン (文の系列) に対するべクトル表現は事前学習済み言語モデルを経て得たスパンの左端の単語ベクトル と右端の単語ベクトルの平均ベクトルで表す. 本稿 では文献 [5] に従い事前学習済み言語モデルとして DeBERTa [17] を採用する。

## 上向き解析

Guz ら [18] のシフト還元法による上向き解析法を 単純化した手法である. スタック $S$ に解析済み部分木を格納し，キュー $Q$ に未解析の文を格納し，以下 のシフトと還元操作を繰り返すことで下から修辞構造木を構築する。

シフト $Q$ の先頭の文を取り出し， $S$ に積む，

還元 $S$ の上 2 つの部分木をとりだし併合した後,再度 $S$ に積む。

なお，還元操作の後，左右の部分木の核性 (N-S,S$\mathrm{N}, \mathrm{N}-\mathrm{N})$ と修辞関係ラベルの推定を独立に行う. そ れぞれの推定は以下の順伝播型ニューラルネット ワーク $\mathrm{FFN}_{\mathrm{act}}, \mathrm{FFN}_{\mathrm{nuc}} ， \mathrm{FFN}_{\mathrm{rel}}$ を用いて行う.

$
S *=\operatorname{FFN} *\left(\operatorname{Concat}\left(\mathbf{u}_{\mathrm{s}_{0}}, \mathbf{u}_{\mathrm{s}_{1}}, \mathbf{u}_{\mathrm{q}_{0}}\right)\right)
$

ここで， $\mathbf{u}_{\mathrm{s}_{0}}, \mathbf{u}_{\mathrm{s}_{1}}$ はそれぞれ $S$ の上 2 つの部分木が 支配するスパンのベクトル表現， $\mathbf{u}_{\mathrm{q}_{0}}$ は $Q$ の先頭の 文のベクトル表現である.

## 下向き解析

Kobayashi ら [11] の再帰的スパン分割による下向 き解析法を単純化した手法である. 文書全体を表す スパンを貪欲に 2 分割することで下向きに修辞構造木を構築する。 $i$ 番目から $j$ 番目の文からなるスパ ンを $k$ 番目の文で分割するスコアは以下の式で定義

表 12 つのデータセットの統計データ

される.

$
s_{\text {split }}(i, j, k)=\mathbf{h}_{i: k} \mathbf{W} \mathbf{h}_{k+1: j}+\mathbf{v}_{\text {left }} \mathbf{h}_{i: k}+\mathbf{v}_{\text {right }} \mathbf{h}_{k+1: j}
$

ここで， $\mathbf{W}$ は重み行列， $\mathbf{v}_{\text {left }}, \mathbf{v}_{\text {right }}$ は重みべクトル， $\mathbf{h}_{i: k}, \mathbf{h}_{k+1: j}$ は以下の式で定義される.

$
\begin{aligned}
\mathbf{h}_{i: k} & =\mathrm{FFN}_{\text {left }}\left(\mathbf{u}_{i: k}\right), \\
\mathbf{h}_{k+1: j} & =\mathrm{FFN}_{\text {right }}\left(\mathbf{u}_{k+1: j}\right)
\end{aligned}
$

なお， $\mathbf{u}$ はスパンのベクトル表現である。そして，以下の式でスパンの分割を決定する。

$
\hat{k}=\underset{i \leq k<j}{\operatorname{argmax}} s_{\text {split }}(i, j, k)
$

上向き解析と同様，核性と修辞ラベル推定は独立 に，上のスパン分割と同様に行う.

## 4 実験

## 4.1 実験設定

評価実験には，標準的ベンチマークデータセット である RST-DT [4] と Instr-DT [6] を用いた. RST-DT は新聞記事 (Wall Street Journal) に対して修辞構造の アノテーションを与えたものであり，学習データ 347 文書，テストデータ 38 文書からなる. 開発デー タは与えられていないので Heilman ら [19] に従い，学習データから 40 文書を選択した. Instr-DT は家 の修理に関するマニュアルに対してアノテーション を与えたものであり，176文書ある．RST-DT とは異 なり，テストデータ，開発データの分割は与えられ ていない. 本稿では Kobayashi ら [5] の設定に従っ た. それぞれのデータセットの統計データを表 1 に 示す.

文区切りについては文献 [5] に従った。評価には 文献 [20] に従い Standard-ParsEval を用いた。木構造 のみを評価する Span，核性，修辞関係ラベルを含め て評価する Nuc., Rel., すべてのラベルを含めて評価する Full の計 4 通りの指標を用いた。

なお，各文書に対して $n=25,50,75,100$ とし て文をランダムに選択し，各文に対し $p=0.95$ の top- $p$ サンプリングで 4 件の逆翻訳を作成した. そ

表 2 Standard-ParsEval を用いた評価結果. Baseline は正解データのみを用いた解析器.

して, $M=10$ として原文書の文数の 10 倍の擬似正解データを得た.

翻訳器としては，Marian-NMT [21]を用いて 1.5 億文のパラレルコーパス1)で学習された OPUS-MT [22] を用いた。また，逆翻訳を行うためには，原言語を 一旦任意の目標言語へと翻訳しなければならない.目標言語として，スペイン語，イタリア語，ドイツ 語，フランス語，ベトナム語を用い，RST-DT の学習データを逆翻訳した文と逆翻訳前の文との間の BLEU 値 [23] を計算したところ，スペイン語が 42.7 と最も高かったため, 以降の実験の逆翻訳にはス ペイン語を利用した. なお, Instr-DT の学習データ に対して同様に BLEU 值を計算したところ 40.3 で あった。

## 4.2 結果と考察

表 2 に評価結果を示す. スコアは異なるシードを 用いた 5 回の試行の平均值であり，カッコ内はその 標準偏差を表す。表より，RST-DT のスコアは全般 に Instr-DT よりも低い. RST-DT は，1 文書あたりの 文の数が多く, 正解の修辞構造木の多様性も高い. よって，学習がより困難であったと考える。

逆翻訳による擬似正解データを用いることで， RST-DT において Span で 0.3, Nuc., Rel. で 0.9, Full で 1.3 ポイントの性能向上が得られている. 上向き と下向きを比較するとやや下向きが良く, 逆翻訳対象として選択する文のパラメタ $n$ については，上向 きでは $n=50$, 下向きでは $n=100$ が良い.

一方，Instr-DT においては，すべての指標におい て RST-DT よりも大きく性能向上しており, その値 は約 2 ポイントである. 特に上向き解析ではすべて の性能向上が 2 ポイントを上回っている. これは， Instr-DT が RST-DT よりもデータサイズが小さいこ

とから，疑似正解データがより効果を発揮したもの と考える。垧きと下向きを比較すると明らかに上向きが良い。逆翻訳のパラメタ $n$ については $n=50$ が良い. 両方のデータセットで最適な $n$ は異なる ものの擬似正解データを利用する効果は明らかで ある.

解析器の性能を左右するスパンのベクトル表現 が単語のベクトル表現に依存することに注意する と，学習データの語彙とテストデータの語彙に乘離 がないことが望ましい，そこで，テストデータに対 する学習データ, 擬似正解データの語彙の被覆率 を調べたところ，RST-DTでは，学習データのみで $76.2 \%$ ，擬似正解データを加えると $80.9 \%$ ，Instr-DT では，学習データのみで $83.2 \%$ ，擬似正解データを 加えると $89.6 \%$ であった. 両方ともに語彙の被覆率 が向上しており，これが解析性能の向上に寄与した と考える。また，逆翻訳の BLEU にほぼ差がないに もかかわらず，Instr-DT の方が被覆率のゲインが大 きいことから，逆翻訳の効果は Instr-DT の方がより 顕著であったと考える。

## 5 おわりに

本稿では，文間の修辞構造解析の性能を改善する ため，学習データに対して逆翻訳を適用することで 大量の擬似正解データを作成し，これを用いて解析器を事前学習，正解データを用いて追加学習する手法を提案した. Kobayashi ら [5] の世界最高性能の 上向き，下向き解析器に基づき， ベンチマークデー タセット RST-DT，Instr-DT を用い，擬似正解データ を用いないべースラインと提案法を比較したとこ ろ，RST-DT では最大で 1.3 ポイント，Instr-DT では 最大で 2.8 ポイント, Standard-ParsEval スコアが向上 し，逆翻訳による擬似正解データの有効性を確認で きた。

## 謝辞

本研究の一部は JSPS 科研費 JP21H03505 の助成を 受けている。

## 参考文献

[1] W.C. Mann and S.A Thompson. Rhetorical structure theory: A theory of text organization. Technical Report ISI/RS-87-190, USC/ISI, 1987.

[2] Yuta Kikuchi, Tsutomu Hirao, Hiroya Takamura, Manabu Okumura, and Masaaki Nagata. Single document summarization based on nested tree structure. In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 315-320, Baltimore, Maryland, June 2014. Association for Computational Linguistics.

[3] Jingun Kwon, Naoki Kobayashi, Hidetaka Kamigaito, and Manabu Okumura. Considering nested tree structure in sentence extractive summarization with pre-trained transformer. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 4039-4044, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[4] Mary Ellen Okurowski Lynn Carlson, Daniel Marcu. RST Discourse Treebank. Philadelphia: Linguistic Data Consortium, 2002.

[5] Naoki Kobayashi, Tsutomu Hirao, Hidetaka Kamigaito, Manabu Okumura, and Masaaki Nagata. A simple and strong baseline for end-to-end neural rst-style discourse parsing. In Findings of the Association for Computational Linguistics: EMNLP 2022, pp. 6754-6766, 2022.

[6] Rajen Subba and Barbara Di Eugenio. An effective discourse parser that uses rich linguistic information. In Proceedings of Human Language Technologies: The 2009 Annual Conference of the North American Chapter of the Association for Computational Linguistics, pp. 566-574, Boulder, Colorado, June 2009. Association for Computational Linguistics.

[7] Vanessa Wei Feng and Graeme Hirst. Text-level discourse parsing with rich linguistic features. In Proceedings of the 50th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 60-68, Jeju Island, Korea, July 2012. Association for Computational Linguistics.

[8] Shafiq Joty, Giuseppe Carenini, Raymond Ng, and Yashar Mehdad. Combining intra- and multi-sentential rhetorical parsing for document-level discourse analysis. In Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 486-496, Sofia, Bulgaria, August 2013. Association for Computational Linguistics.

[9] Shafiq Joty, Giuseppe Carenini, and Raymond T. Ng. CODRA: A Novel Discriminative Framework for Rhetorical Analysis. Computational Linguistics, Vol. 41, No. 3, pp. 385-435, 092015.

[10] Xiang Lin, Shafiq Joty, Prathyusha Jwalapuram, and M Saiful Bari. A unified linear-time framework for sentence-level discourse parsing. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 4190-4200, Florence, Italy, July 2019. Association for Computational Linguistics.

[11] Naoki Kobayashi, Tsutomu Hirao, Hidetaka Kamigaito, Manabu Okumura, and Masaaki Nagata. Top-down rst parsing utilizing granularity levels in documents. In Proceedings of the AAAI Conference on Artificial Intelligence, pp. 8099-8106, Apr. 2020.

[12] Chloé Braud, Barbara Plank, and Anders Søgaard. Multi-view and multi-task training of RST discourse parsers. In Proceedings of COLING 2016, the 26th International Conference on Compu- tational Linguistics: Technical Papers, pp. 1903-1913, Osaka, Japan, December 2016. The COLING 2016 Organizing Committee.

[13] Patrick Huber and Giuseppe Carenini. MEGA RST discourse treebanks with structure and nuclearity from scalable distant sentiment supervision. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 7442-7457, Online, November 2020. Association for Computational Linguistics.

[14] Grigorii Guz, Patrick Huber, and Giuseppe Carenini. Unleashing the power of neural discourse parsers - a context and structure aware approach using large scale pretraining. In Proceedings of the 28th International Conference on Computational Linguistics, pp. 3794-3805, Barcelona, Spain (Online), December 2020. International Committee on Computational Linguistics.

[15] Naoki Kobayashi, Tsutomu Hirao, Hidetaka Kamigaito, Manabu Okumura, and Masaaki Nagata. Improving neural RST parsing model with silver agreement subtrees. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 1600-1612, Online, June 2021. Association for Computational Linguistics.

[16] Ari Holtzman, Jan Buys, Li Du, Maxwell Forbes, and Yejin Choi. The curious case of neural text degeneration. In 8th International Conference on Learning Representations, ICLR 2020, Addis Ababa, Ethiopia, April 26-30, 2020. OpenReview.net, 2020.

[17] Pengcheng He, Jianfeng Gao, and Weizhu Chen. Debertav3: Improving deberta using electra-style pre-training with gradientdisentangled embedding sharing. CoRR, Vol. abs/2111.09543, , 2021.

[18] Grigorii Guz and Giuseppe Carenini. Coreference for discourse parsing: A neural approach. In Proceedings of the First Workshop on Computational Approaches to Discourse, pp. 160167, Online, November 2020. Association for Computational Linguistics.

[19] Michael Heilman and Kenji Sagae. Fast rhetorical structure theory discourse parsing. CoRR, Vol. abs/1505.02425, , 2015.

[20] Mathieu Morey, Philippe Muller, and Nicholas Asher. How much progress have we made on RST discourse parsing? a replication study of recent results on the RST-DT. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 1319-1324, Copenhagen, Denmark, September 2017. Association for Computational Linguistics.

[21] Marcin Junczys-Dowmunt, Roman Grundkiewicz, Tomasz Dwojak, Hieu Hoang, Kenneth Heafield, Tom Neckermann, Frank Seide, Ulrich Germann, Alham Fikri Aji, Nikolay Bogoychev, André F. T. Martins, and Alexandra Birch. Marian: Fast neural machine translation in C++. In Proceedings of ACL 2018, System Demonstrations, pp. 116-121, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[22] Jörg Tiedemann and Santhosh Thottingal. OPUS-MT - building open translation services for the world. In Proceedings of the 22nd Annual Conference of the European Association for Machine Translation, pp. 479-480, Lisboa, Portugal, November 2020. European Association for Machine Translation.

[23] Matt Post. A call for clarity in reporting BLEU scores. In Proceedings of the Third Conference on Machine Translation: Research Papers, pp. 186-191, Brussels, Belgium, October 2018. Association for Computational Linguistics.


# 含意関係と感情極性は対立的談話関係を捉えられるか

佐藤 拓真 ${ }^{1}$ 窪田 愛 1 峯島 宏次 ${ }^{1}$
1 慶應義塾大学
takuma.sato.keio@gmail.com
ai .kubota.m@gmail.com
minesima@abelard.flet.keio.ac.jp

## 概要

本稿では、含意関係と感情極性が対立的談話関係 をどれだけ捉えられるかについて、解析と考察を 行った。具体的には、節ぺアに対して判定器を用い て含意関係ラベルと感情極性のスコアをそれぞれ算出し、それらの結果と談話関係コーパスにおける談話関係ラベルを変換して対応付けたうえで、一致率 を求めることで各要素の関連を分析した。

解析の結果、含意関係は逆接の談話関係を検出す る上で、十分ではないものの一定程度注目に値する 要素であることが示唆された。また、感情極性につ いては、極性の判定と逆接の談話関係が同時に発生 するという仮説に反して、逆接の談話関係の検出に おいて必須の要素ではないことが分析された。

## 1 はじめに

談話関係 (discourse relation) は人間がどのようにし て文を理解・構成しているかを分析するために重要 な言語要素である。しかしながら、この談話関係が 他の言語要素との間にもつ関係、すなわち、どのよ うな言語要素が談話関係を決定するかについての日本語の研究は、言語処理や言語学の領域において必 ずしも十分になされているとはいえない。

本稿においては、上述の談話関係のなかで、とり わけ対立的談話関係について、これが含意関係およ び感情極性との間にもつ関係について、実験・解析 を行った。具体的には、対立的談話関係の代表例と して、逆接の談話関係を対象とした。逆接の談話関係がもつ特質として、それが推論 (inference)を含む点がある。たとえば、

(1) 小学生でありながら、哲学書を読む。

という逆接の文においては、「小学生であるなら ば、哲学書（のような難しい本）は読まない」と
いう非明示的な推論が隠れて存在している。その ほかにも、文中に明示的に現れない対立や不一致 (disagreement)、矛盾の関係を内包するなど、逆接の 談話関係は言語的な情報に富んだものである。

窪田ら [1] は、文中に潜む推論の存在に着目して、 とりわけ「ながら」「つつ」という接続詞によって 結ばれる文に対して、逆接の談話関係アノテーショ ンを行った。本稿においては、このコーパス（以下単に「談話関係コーパス」と呼ぶ）を用いて、逆接 の談話関係を付与された節ぺアを抽出し、多様な対立的関係を含むデータセットを構築した。このデー タセットを用いて、含意関係および感情極性がどの 程度逆接の対立的談話関係を捉えているかを解析 した。

逆接の談話関係にある文においては、接続詞以前 と以降の間になんらかの対立があることが多い。た とえば、

（2）心中悲しみに打ちのめされながら、表情では 平然を装っていた。

という文においては、前述したような推論的対立の みならず、「悲しい」と「平然な表情」という感情極性の対立など、さまざまな観点からの対立が発見 される。このように、逆接はさまざまな対立関係を 含む。

ここで、この逆接の談話関係と含意関係および感情極性について、以下のような仮説を立てる。

仮説 1 「P ながら（つつ） $\mathrm{Q} 」$ が逆接を表すのは、 $P$ と $Q$ が矛盾するとき、つまり、 $P \Rightarrow \neg Q$ とい う含意関係における矛盾が成立するときで ある。

仮説 $2 「 \mathrm{P}$ ながら（つつ） $\mathrm{Q} 」$ が逆接を表すのは、 $P$ の感情極性と $Q$ の感情極性が反転している ときである。

これらの仮説を立てられるのは、矛盾 (contradiction）の含意関係や感情極性の反転が、implicit であ りながらも定量的に観察される言語的な対立といえ るためである。

このような言語学的仮説をコーパスと言語処理の ツール（解析器）を用いて検証することで、言語学 と言語処理の双方に新たな知見がもたらされること が期待される。理論言語学の領域では、逆接の談話関係と感情極性との関係は十分に注目されていない が、本研究は両者の関係に光を当てるものである。自然言語処理の領域では依然として困難な課題とし て存在している論理や矛盾の問題における進展に寄与することができる。これらの領域における進展に よって、たとえば、テキスト生成等における生成文中の論理的な矛盾や hallucination [2] といった課題へ の貢献が期待できる。

## 2 関連研究

言語学では、英語の “A but B” が表すいわゆる逆接・譲歩の関係の分析として、条件文 (“If A, B”) や 連言文 (“A and B")、選言文 (“A or B”) との比較のも と、多くの研究が蓄積されている $[3,4,5,6]$ 。日本語の「A、しかし、B」を典型とする逆接・譲歩の関係についても、条件文や理由文と比較して様々な分析が提案されている $[7,8,9]$ 。これら日本語・英語 の逆接関係の分析に共通するのは、“A but B” や「A、 しかし、B」の典型的用法では、Aと B の間にある 種の論理的な矛盾があり、「Aならば（通常は）B で はない」といった対立的推論が前提されている、と いう観点である ${ }^{1)}$ 。 1 節の仮説 1 はこの分析に基づ くものである。

同時に次の例が示すように、A と B の間には必ず しも「Aならば（通常は）Bではない」という推論 が前提されず、単に意味的な対比 $[3,5,4,6]$ を表す ケースもある。

(3) John is rich but Bill is poor. (ジョンは金持ちだ が、ビルは貧乏だ）

感情極性に着目した仮説 2 はこの種の用法に適合し ていると予想される。計算言語学・自然言語処理で

1）「Aならば（通常は）Bではない」といった対立的推論を 前提するのは「直接型 (Direct consessive)」と呼ばれるタイプ の逆接で、それに対して、「Aならば（通常は）C、かつ、B ならば（通常は）Cではない」といった対立的推論を前提す る「間接型 (Indirect consessive)」と呼ばれるものも存在する ([1] 参照)。「直接型」「間接型」の下位分類の詳細について は今後の課題とする。
は、Socher et al. [10] は、仮説 2 を英語で検証した試 みとみなせる。

英語では、談話関係コーパス [11]から含意関係ぺ アを抽出するという試み [12]があるが、逆接・譲歩 の矛盾関係は扱われていない。他方で、既存の含意関係認識データセット $[13,14,15]$ は、含意関係に加 えて矛盾関係を含むが、“not”や「ない」のような否定語を伴うケースなど、比較的単純なパターンに限 られる傾向がある [16]。コーパス上で逆接・譲歩が 付与された談話関係に着目することで、より多様で 複雑な対立的推論関係を取り出すことが可能になる と考えられる。

## 3 実験設定

## 3.1 データセットの構築手法

使用した文はすべて Kainoki Treebank [17] から抽出した。抽出対象としては、「ながら」「つつ」のそ れぞれ（以下、「対象接続詞」と呼ぶ）が前後の節を 結ぶ接続詞として機能している文を対象とした。

対象接続詞によって接続される文として、「文前半・文後半」と「 $\operatorname{Arg} 1 \cdot \operatorname{Arg} 2 」 の$ 二種類を抽出した。「文前半・文後半」については、該当する文の文頭か ら対象接続詞以前を「文前半」、対象接続詞以降か ら文末までを「文後半」とした。「Arg1・Arg2」につ いては、Kainoki Treebankにおいてそれぞれ「つつ」直上の IPノード、「つつ」節を直接支配する IP ノー ドに支配される部分が該当する。

こうして抽出された「文前半・文後半」「Arg1・ $\operatorname{Arg} 2 」$ 対して、文頭および文末の処理を行った。文頭の処理としては、「話しつつ、私は」「思いなが らも、やはり」といった接続部から適切に後半部分 を文として抽出するために、「も」「、」を取り除く処理を行った。文末の処理としては、対象となる文の 末尾が動詞・助動詞となる場合に、末尾を終止形に 変換する処理を行った。処理には MeCab [18] を使用した。

構築されたデータセットの具体例を表 1 に示す。 また、対象接続詞の談話関係コーパスにおける各 ラベルの件数を表 2 に示す 2$)$ 。本コーパスにおいて は、陽性に相当する逆接ラベルが少ない不均衡なラ ベル分布がみられる点が特徴的である。

表 1 構築されたデータセットの例

 & 逆接 \\

表 2 談話関係コーパスの各ラベル件数

## 3.2 含意関係と談話関係

含意関係と談話関係の関連を明らかにするため、既存の含意関係データセットを用いて構築した含意関係判定器の出力と、談話関係コーパスから機械的 に変換した含意関係ラベルの一致率を、各種評価指標を用いて算出した。

含意関係判定器構築のための学習データには、 JSICK [19]、JNLI(JGLUE [20]に含まれる)、JSNLI [21] を使用した。これらはそれぞれ、文ぺアに対する 含意関係ラベルが 3 值 (entailment, contradiction, neutral）で付与された含意関係データセットであ る。これらの含意関係データセットに対して処理を 行い、学習に使用した。各含意関係データセットの サイズを表 3 に示す。

判定器の構築にあたっては、事前学習済み言語モ デル BERT [22]をベースラインモデルとした。実装 においては、python フレームワーク transformers $^{3}$ に おける cl-tohoku/bert-base-japanese モデルを使用し た $^{4)}$ 。epoch 数は 5 に設定し、最適化アルゴリズムに は AdamW を使用した。学習率は 2e-5 に設定した。

上記含意関係データセットのうち JSICK を用いて 構築した判定器については、ほとんど全ての入力に 対して neutral ラベルを出力する挙動が見られ、有意味な実験結果が獲得されなかったため、以下では JNLI と JSNLI によって構築された判定器を用いた 実験結果のみを記載する。

含意関係ラベルへの変換は、談話関係コーパスに おいて、アノテーターが一人でも逆接ラベルと判

3) https://huggingface.co/docs/transformers/index

4) https://huggingface.co/cl-tohoku/bert-base-japanese表 3 各含意関係データセットのサイズ

定した文を contradiction、それ以外を neutral と変換 した。

## 3.3 感情極性と談話関係

感情極性 (sentiment polarity) と談話関係の関係を 明らかにするために、節ペアのそれぞれに対する感情極性の一致・不一致を用いて、ルールベースで談話関係ラベルに変換した。感情極性の算出モデルに は、 huggingface において公開されている事前学習済 みモデルである daigo/bert-base-japanese-sentiment ${ }^{5}$ を 使用した。

節ペアに対する上記モデルの出力において、label （極性を指す）が異なる場合、談話関係ラベルを逆接ラベルとする変換を行った。この変換手法は、逆接の談話関係においては節ぺア間でのなんらかの対立が発生しているという予想から、感情極性の反転 がおこる場合には逆接ラベルの談話関係が発生しや すいという仮説を立てたことによる。

## 4 実験結果

## 4.1 含意関係

含意関係と談話関係の関係についての、「つつ」「ながら」のデータセットに対する実験結果を表 4 に示す。評価においては、逆接ラベルに対応する contradiction ラベルに対する各種スコアを観察した。

## 4.2 感情極性

感情極性と談話関係の関係についての、「つつ」「ながら」のデータセットに対する実験結果を表 4

5) https://huggingface.co/daigo/bert-base-japanese-sentiment
表 4 含意関係に関する実験結果

表 5 感情極性に関する実験結果

に示す。評価においては、逆接ラベルに対する各種 スコアを観察した。

## 5 考察

## 5.1 含意関係

多くの実験設定において、Recall が高く Precision が低い傾向がみられた。このことから、「つつ」「な がら」で接続される節ペアにおいては、含意関係と して contradiction と予測されるものであっても、逆接の談話関係を示さない場合が多いことが読み取れ る。一方で、逆接ラベルの出現は contradiction の判定によってある程度網羅的に予測される。

以上のことから、含意関係において contradiction のラベルが付与されることは、逆接の談話関係の出現を予期させるものの、含意関係ラベルのみで逆接 の談話関係の予測に十分とはいえないことが示唆さ れる。

F1-score に注目すると、「文前半・文後半」を用い た実験よりも「Arg1・Arg2」を用いた実験のほうが 高いスコアが観察された。このことから、複雑な推論や論理的関係を内包する節ぺアにおいては、使用 する文を長くして情報量を増大するよりもむしろ、統語構造的に文のトリミングを行って情報量を絞る ほうが含意関係の認識がしやすくなることが示唆さ れた。

## 5.2 感情極性

多くの実験設定において、Recall よりも Precision が高い傾向がみられた。このことから、感情極性に おいて反転のある節ぺアは談話関係としても逆接 ラベルを示しやすいが、極性の反転がない節ぺアで あっても逆接の談話関係をもつ場合は多いことが読 み取れる。つまり、逆接の談話関係を検出するにあ たって、感情極性の反転は必ずしもクリティカルな判断要素ではないことが示唆される。

## 6 おわりに

本稿においては、含意関係と感情極性が対立的談話関係、とりわけ逆接の談話関係を検出するうえで どの程度有効かについて、実験と解析を行った。そ の結果、まず、contradiction の含意関係の出現は逆接の談話関係の出現を予期することに一定程度有効 であるが、それだけで逆接の談話関係の出現を断定 するには十分でないことが示された。また、感情極性の反転は、逆接の談話関係を捉えるにあたって必 ずしも決定的な要素でないことが示された。

今後の課題としては、モーダルや直接・間接性 に着目した逆接の談話関係における下位分類に解析の対象を広げることや、Penn Discourse Treebank (PDTB) [23] を使用した英語データでの実験の実施、「ながら」「つつ」以外の接続詞における同様な実験・解析を行うことが存在する。

## 謝辞

本研究は、JST CREST、JP-MJCR2114 の支援を受 けたものである。

## 参考文献

[1] 窪田愛, 佐藤拓真, 天本貴之, 秋吉亮太, 峯島宏次. 逆接の推論関係に着目した日本語談話関係アノテー ション. 言語処理学会第 29 回年次大会発表論文集, 2023.

[2] Kurt Shuster, Spencer Poff, Moya Chen, Douwe Kiela, and Jason Weston. Retrieval augmentation reduces hallucination in conversation. In Findings of the Association for Computational Linguistics: EMNLP 2021, pp. 37843803, Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[3] Robin Lakoff. If's, and's and but's about conjunction. In Charles J. Fillmore and D. Terence Langèndoen, editors, Studies in Linguistic Semantics, pp. 3-114. Irvington, 1971.

[4] Eve Sweetser. From Etymology to Pragmatics: Metaphorical and Cultural Aspects of Semantic Structure. Cambridge University Press, 1990.

[5] Mitsuko Narita Izutsu. Contrast, concessive, and corrective: Toward a comprehensive study of opposition relations. Journal of Pragmatics, Vol. 40, pp. 646-675, 2008.

[6] Grégoire Winterstein. What but-sentences argue for: An argumentative analysis of but. Lingua, Vol. 122, No. 15, pp. 1864-1885, 2012

[7] 小泉保. 譲歩文について. 言語研究, Vol. 91, pp. 1-14, 1987.

[8] 坂原茂. 日常言語の推論. 東京大学出版会, 1985.

[9] 衣畑智秀. 日本語の「逆接」の接続助詞について: 情報の質 と処理単位を軸に. 日本語科学, Vol. 17, pp. 47-64, 2005 .

[10] Richard Socher, Alex Perelygin, Jean Wu, Jason Chuang, Christopher D. Manning, Andrew Ng, and Christopher Potts. Recursive deep models for semantic compositionality over a sentiment treebank. In Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing, pp. 1631-1642, Seattle, Washington, USA, October 2013. Association for Computational Linguistics.

[11] Rashmi Prasad, Bonnie Webber, and Aravind Joshi. Reflections on the Penn Discourse Treebank, comparable corpora, and complementary annotation. Computational Linguistics, Vol. 40, No. 4, pp. 921-950, 2014.

[12] Sara Tonelli and Elena Cabrio. Hunting for entailing pairs in the penn discourse treebank. In Proceedings of COLING 2012, pp. 2653-2668, 2012.

[13] Samuel R. Bowman, Gabor Angeli, Christopher Potts, and Christopher D. Manning. A large annotated corpus for learning natural language inference. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing (EMNLP). Association for Computational Linguistics, 2015.

[14] Adina Williams, Nikita Nangia, and Samuel Bowman. A broad-coverage challenge corpus for sentence understanding through inference. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 1112-1122, New Orleans, Louisiana, 2018. Association for Computational Linguistics.

[15] Hitomi Yanaka and Koji Mineshima. Compositional Evaluation on Japanese Textual Entailment and Similarity. Transactions of the Association for Computational Linguistics, Vol. 10, pp. 1266-1284, 112022.

[16] Suchin Gururangan, Swabha Swayamdipta, Omer Levy, Roy Schwartz, Samuel Bowman, and Noah A. Smith. Annotation artifacts in natural language inference data. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers), pp. 107-112, New Orleans, Louisiana, 2018. Association for Computational Linguistics.

[17] Ed Kainoki. The Kainoki Treebank - a parsed corpus of contemporary Japanese, 2022. https://kainoki. github. io (accessed September 2022).

[18] Taiichi Hashimoto Toshinori Sato and Manabu Okumura. Implementation of a word segmentation dictionary called mecab-ipadic-neologd and study on how to use it effectively for information retrieval (in japanese). In Proceedings of the Twenty-three Annual Meeting of the Association for Natural Language Processing, pp. NLP2017-B6-1. The Association for Natural Language Processing, 2017.

[19] Hitomi Yanaka and Koji Mineshima. Compositional evaluation on Japanese textual entailment and similarity. Transactions of the Association for Computational Lin- guistics, Vol. 10, pp. 1266-1284, 2022.

[20] Kentaro Kurihara, Daisuke Kawahara, and Tomohide Shibata. JGLUE: Japanese general language understanding evaluation. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 2957-2966, Marseille, France, June 2022. European Language Resources Association.

[21] 吉越卓見, 河原大輔, 黒橋禎夫. 機械翻訳を用いた自然言語推論データセットの多言語化. 情報処理学会第 244 回自然言語処理研究会, 72020.

[22] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[23] Rashmi Prasad, Nikhil Dinesh, Alan Lee, Eleni Miltsakaki, Livio Robaldo, Aravind Joshi, and Bonnie Webber. The Penn Discourse TreeBank 2.0. In Proceedings of the Sixth International Conference on Language Resources and Evaluation (LREC'08), Marrakech, Morocco, May 2008. European Language Resources Association (ELRA).


# Building a Name Masking System: From Dataset to Model

Tianqi Wang ${ }^{1}$ Yoichiro Ogawa $^{1} \quad$ Kazumasa Saito $^{1}$
${ }^{1}$ Classi Corp.
\{tianqi.wang, youichiro.ogawa\}@classi.jp
kazumasa.saitoh@gmail.com
}

\begin{abstract}
Data is becoming a more and more crucial resource nowadays. Machine learning techniques are rapidly developed based on the analysis and leverage of Big Data. Data is collected, stored, and processed in research and product environments. However, there is a downside that the data may contain privacy information, making it a risk to process the raw data. In this paper, we are trying to extract and mask persons' names from a dataset before any further processing. We create our dataset based on KWDLC dataset and propose a simple but efficient model to match names in texts. The model trained with Japanese name dataset is able to match names in the forms of Kanji, Katakana, Hiragana and Romaji from sentences and phrases.
\end{abstract
## 1 Introduction

Data is becoming a more and more important resource, especially for machine learning techniques and artificial intelligence. However, the privacy information potentially contained by the dataset is becoming a challenging risk $[1,2]$. For Classi, we provide assistance systems to schools to help supervisors with daily work, including online education and student management. Analysis of data produced by users such as answers submitted by students is essential to monitor the quality of our services. However, the privacy information(such as addresses, names, student numbers, etc.) potentially contained by the data make it a risky task. Thus, a system to mask privacy information is necessary. There are generally two challenges making this task difficult. Firstly, the dataset for privacy information, especially in Japanese, is scarce. Thus it is difficult to train or fine-tune a model. Secondly, the existing model does not meet the request, especially for name masking.

In this paper, we create a dataset containing Japanese names based on an existing dataset. We then build a model

Table 1 Some examples of collected names. The katakana is omitted for the limited space.

to detect names from natural language text and train the model with the proposal dataset. The experimental results indicate that our proposed model outperforms the existing NER model, and is able to process names in various forms.

## 2 Related Work

The research on privacy-preserving has been widely studied by the community. Generally speaking, there are two approaches, naming anonymization and randomization. Anonymization is a practical solution for preserving users' privacy in data publishing[3]. Data owners such as hospitals, banks, social network (SN) service providers, and insurance companies anonymize their user' $s$ data before publishing it to protect the privacy of users whereas anonymous data remains useful for legitimate information consumers. Randomization refers to methods that perturb data by multiplicative and addive noise or other randomized processes[4].

In our case, the most important privacy information is names, which is possible to be detected by NER models. Named entity recognition (NER) is the task to identify mentions of rigid designators from text belonging to predefined semantic types such as person, location, organization etc[5]. In this paper, we take the pre-trained GiNZA v5[6] as the baseline. GiNZA is a Japanese NLP library based on Universal Dependencies[7], pre-trained with several datasets for different tasks. The named entity recognition model of GiNZA is trained on a part of GSK2014-A (2019) BCCWJ edition[8].

Figure 1 The architecture of proposal model.

## 3 Proposal

## 3.1 Dataset

There is not a dataset for name-masking task according to our knowledge, thus we build the dataset by inserting names into an existing public dataset.

Collect names We collect Japanese names from a website ${ }^{1)}$ providing dummy data of privacy information. There are other types of privacy information such as addresses, credit card numbers, etc. available, but we only use the data of names in this research. The data is provided as full names. Consider the different diversity of family names and given names, the difficulty may also change. Thus we split the names to family names and given names, and organize the data in forms of Kanji, $\mathrm{Hi}-$ ragana, Katakana and Romaji respectively. Some examples of collected names are shown in Table 1 As a result, we have three dataset for full names, family names and given names respectively, and 300 data for each of them.

Insert names We build the dataset by inserting names into the KWDLC corpus[9]. The KWDLC corpus contains documents with various genres and styles, such as news articles, encyclopedic articles, blogs and commercial pages. The linguistic annotations consist of annotations of mor-

phology, named entities, dependencies, etc. We make use of the named entities' annotation in our research.

We extract only the data with names from KWDLS corpus, and remove data where the names do not refer to persons such as 薄竹善道事務所 (Office of Usutake Yoshimiti). Besides, there are texts that are the same after removing name tokens. We remove these data as well to avoid repeated data. As a result, we extracted 798 texts containing names in total. We then insert the names we obtained earlier to the corresponding position of the texts based on the annotations of named entities provided by the KWDLC corpus. All of the names are inserted into the text equally.

We assign binary labels to each character and token as the ground truth. Labels to characters and tokens contained by names are set to 1 while labels to others are set to 0 . The labels are used for training and evaluating models in the following experiments.

## 3.2 Proposed Model

We name our proposed model as NameTagger(NT) in this paper. As illustrated in Figure 1, the model consists of four layers. First, the embedding layer converts tokens to word embeddings $\mathbf{e}_{i} \in \mathbb{R}^{d}$. Then we feed the word embeddings to a Bi-LSTM layer to produce contextualized hidden states $\mathbf{h}_{i}=\left[\overrightarrow{\mathbf{h}_{i}} ; \overleftarrow{\mathbf{h}_{i}}\right]$ for each words. Note that the forward $\left(\overrightarrow{\mathbf{h}_{i}}\right)$ and backward $\left(\overleftarrow{\mathbf{h}_{i}}\right)$ hidden states are concatenated as the output of Bi-LSTM layer. We set the dropout rate of Bi-LSTM layer to 0.5 . The attention layer assign attention values to tokens as probability that the token belongs to a name. The attention values $\alpha_{i}$ to the $i^{t h}$ token are calculated as follows:

$
\alpha_{i}=\frac{1}{1+e^{\mathbf{h}_{i} \mathbf{M}+\beta}}, 0 \leq \alpha_{i} \leq 1
$

where $\mathbf{h} \in \mathbb{R}^{r}$ is the hidden state of the $i^{t h}$ token, $\mathbf{M} \in \mathbb{R}^{r \times 1}$ and $\beta \in \mathbb{R}$ are parameters to learn. Finally, we filter out tokens that are clearly non-names, such as numbers and punctuation.

## 4 Experiments and Discussion

We divide the dataset to training data $(80 \%)$, dev data $(10 \%)$ and test data $(10 \%)$, and make sure that both the text and names are different between each subset of the dataset, so that all of the input data is new to the model in the test phase. We tokenize the input data to tokens
by MeCab[10] with IPA dictionary. We use the word2vec model pre-trained with Japanese Wikipedia, distributed by the Inui Lab at Tohoku University ${ }^{2}$, to initialize the embedding layer. The word embedding dimension is $d=100$. Considering the limited size of training data, we freeze the embedding layer during training phase. The dimension of Bi-LSTM is set to 250 , so the dimension of hidden states is $r=500$ after concatenation.

The performance is evaluated on character level. To evaluate the performance, We first binarize the predicts of our model based on a threshold value:

$
p_{i}= \begin{cases}1, & \alpha_{i}>T \\ 0, & \text { otherwise }\end{cases}
$

where $p_{i}$ is the predicted label to the $i^{t h}$ token, and $T=0.7$ is a hyper-parameter. We then calculate recall, precision and F1 scores between the predicted labels and correct labels.

We train the model for 20 epochs with a learning rate of 0.001, and take Cross-Entropy as the objective function. We save the learned parameters when the model achieves the best performance on dev data, and the final performance is evaluated with the test data.

We explore the following topics in our experiments. We first test the performance of the pre-trained GiNZA model on our dataset, and discuss the possible reason limiting the performance. We then test the performance of our proposed model. Furthermore, We explore various settings to train our model, and discuss the effect on processing different name forms.

## 4.1 Performance of GiNZA

We evaluate the performance of GiNZA in detecting names from our dataset in forms of Kanji, Katakana, Hiragana and RomaJi respectively. Table 2 shows the results.

It is easy to tell that the performance of GiNZA is highly related to the names forms. GiNZA performs pretty well on names in Kanji, but almost does not work for names in Katakana and RomaJi. It is reasonable because Japanese names are in the forms of Kanji and Hiragana in most cases, and is more possible contained in the training data used by GiNZA. Considering the performance irrelevant

Table 2 The performance of GiNZA on full names (FLN), family names (FN) and given names (GN) respectively.

to the frequency of name forms, we assume that the pretrained model relies on vocabulary of names.

## 4.2 Performance of Proposed Model

We train our model with the dataset introduced in Section 3.1. The model is trained for different name forms independently. The comparison between F1 scores produced by GiNZA and our proposed model(NT) is shown in Table 4. Note that because the pre-trained GiNZA model is not finetuned with the dataset, the comparison is only for reference. Our model outperforms the pre-trained GiNZA model on all name forms, especially on non-Kanji forms. The performance on names in Romaji is even better than names in Hiragana and Katakana. It indicates that the model can be overfitted. Because names in Romaji are unknown tokens to the pre-trained word embeddings, the model may prefer to detect all of the unknown tokens as names. To inspect the hypothesis, we train the model with names in Kanji, and apply it to names in other forms. The results are shown as NT(Kanji) at Table 4. The performance on different name forms supports our hypothesis. Because the non-Kanji name tokens are unseen by the model during the training phase, the model barely matches the names correctly. Especially when the names in Romaji are unknown to the model, namely no semantic information is available, the model can not detect the names totally. In order to train one model and apply it to various name forms, we explore two approaches to solve this issue.

## 4.3 Training with Mixed Name Forms

To obtain a model capable of matching various name forms, it is natural to train the model with multiple name forms instead of single ones. To achieve this goal, we build the data set with mixed name forms.

When inserting names into texts, we insert all four forms

Table 3 Example of names extracted by NT and NT(Mix) settings.

Table 4 Performance of proposed model trained with various settings. NT is trained on and applied to datasets of each name forms independently. NT(Kanji) is trained with names in Kanji and applied to each name forms. NT(Mix) is trained with mixed name forms and applied to each name forms. NT(Random) is trained with randomly selected name tokens and applied to each name forms..

to generate the dataset. Namely we created four data for each text. The performance of the model trained with mixed name forms is shown as NT(Mix) in Table 4. The F1 score is close to models trained for each name forms independently, and much better than the setting of NT(Kanji). That indicates that training with mixed name forms clearly improves the performance. We noticed that the NT(Mix) performs even better than NT on Katakana and Romaji, which is out of our expectations, because for the NT setting the name forms are the same in training and test data, while the name forms are different for the NT(Mix) setting. Some further analysis shows that the improvement is from precision, meaning the NT(Mix) produces fewer false-positive results. Table 3 shows some examples of names extracted by the model. The first two examples show that compared to NT(Mix), NT is easier to incorrectly detect full-width numbers as names. As we mentioned above, the model may be overfitted when trained with names in Romaji, tending to predict unknown tokens as names. However, trained with mixed name forms, the model process unknown tokens better. At the same time, the 3rd and 4th examples in Table 3 show that the mixed name forms do not contribute to the processing on known tokens.

## 4.4 Training with Random Name Tokens

As we discussed in Section 4.1, one of the reason limiting the performance of GiNZA may be the dependence on name vocabulary. To train a model independent to name vocabulary, we insert random tokens instead of collected names to the texts to build the dataset. Given a text containing names, we randomly select a token from the text, and replace the name token with the random token. In this way, the selected token appears at least twice in one sentence, one as name, and the another one as non-name. By training the model with this dataset, we expect the model to learn the difference between name tokens and non-name tokens depending on the context instead of the token itself.

NT(Random) in Table 4 shows that the performance is limited overall. Considering the name tokens are randomly selected from the text, there are almost no name data in Katakana and Romaji, but the model works well on names in these two forms, especially compared to the performance of NT(Kanji) and GiNZA. We notice that the performance is limited by precision $(0.343-0.709)$, while the recall scores are still high enough (0.718 - 0.905). It may caused by the semantic features of the pre-trained word embeddings. We consider to fine-tune the word embedding layer with larger dataset in the future.

## 5 Conclusion

With the popular technique based on Big Data, masking privacy information is becoming a crucial challenge task. In this paper, we build a system to detect names in Japanese from texts. We first build a dataset for the name masking task by inserting Japanese names into an existing dataset. The dataset covers names in various forms. We train a simple but efficient model with the dataset to detect Japanese names. The model outperforms the pre-trained NER model on the name-masking task. We also discuss various settings to train and apply the model. However, because of the scarcity of data, we could not evaluate the model with data in the real product context. After applying the model to the product environment, masked data in the real world will be available. Then the model can be better trained and evaluated in the future. We shall also train the model to mask privacy information other than names such as addresses etc. in the future.

## References

[1] W Nicholson Price and I Glenn Cohen. Privacy in the age of medical big data. Nature medicine, Vol. 25, No. 1, pp. 37-43, 2019 .

[2] Sangchul Park, Gina Jeehyun Choi, and Haksoo Ko. Information technology-based tracing strategy in response to covid-19 in south korea - privacy controversies. Jama, Vol. 323, No. 21, pp. 2129-2130, 2020.

[3] Abdul Majeed and Sungchang Lee. Anonymization techniques for privacy preserving data publishing: A comprehensive survey. IEEE access, Vol. 9, pp. 8512-8545, 2020.

[4] Rasim M Alguliyev, Ramiz M Aliguliyev, and Fargana J Abdullayeva. Privacy-preserving deep learning algorithm for big personal data analysis. Journal of Industrial Information Integration, Vol. 15, pp. 1-14, 2019.

[5] Jing Li, Aixin Sun, Jianglei Han, and Chenliang Li. A survey on deep learning for named entity recognition. IEEE Transactions on Knowledge and Data Engineering, Vol. 34, No. 1, pp. 50-70, 2020.

[6] 松田寛. Ginza-universal dependencies による実用的日本語解析. 自然言語処理, Vol. 27, No. 3, pp. 695-701, 2020

[7] Marie-Catherine De Marneffe, Christopher D Manning, Joakim Nivre, and Daniel Zeman. Universal dependencies. Computational linguistics, Vol. 47, No. 2, pp. 255-308, 2021.

[8] 橋本泰一, 乾孝司, 村上浩司ほか. 拡張固有表現タグ 付きコーパスの構築. 情報処理学会研究報告自然言語処理 (NL), Vol. 2008, No. 113 (2008-NL-188), pp. 113-120, 2008.

[9] Masatsugu Hangyo, Daisuke Kawahara, and Sadao Kurohashi. Building a diverse document leads corpus annotated with semantic relations. In Proceedings of the 26th Pacific Asia Conference on Language, Information, and Computation, pp. 535-544, 2012.

[10] Taku Kudo. Mecab: Yet another part-of-speech and morphological analyzer. http://mecab. sourceforge. net/, 2005 .


# 日本語 Tokenizer の違いは下流タスク性能に影響を与えるか？

藤井 巧朗 1* 柴田 幸輝 2* 山口 篤季 3 十河 泰弘 ${ }^{3}$
1 横浜国立大学 2 筑波大学 3 株式会社日立製作所研究開発グループ
${ }^{1}$ tkr.fujii.ynuegmail.com ${ }^{2}$ s1811496@klis.tsukuba.ac.jp
${ }^{3}$ \{atsuki.yamaguchi.xn, yasuhiro.sogawa.tp\}@hitachi.com

## 概要

本研究では、形態素解析器やサブワード分割手法 の違いが大規模言語モデルに与える影響を調査し た。種々の形態素解析器とサブワード分割手法を考慮した全 18 種のトークナイザについて、トークナ イザの学習と BERT モデルの事前学習、 7 個の下流 タスクでのファインチューニングを行い、下流タス クの性能を比較した。また、形態素解析器の有無や その違い、サブワード分割手法の違い、単語分かち 書き辞書の違い、トークナイザ辞書の類似性の観点 から各種トークナイザの与える影響を評価した。

## 1 はじめに

近年、BERT [1]をはじめとした大規模言語モデル の登場により、自然言語処理における様々なタスク の性能が飛躍的に向上した。現在に至るまで、様々 な日本語事前学習済み言語モデルが公開されてい る。例えば、東北大学の乾研究室は事前学習済み BERT モデル1)を公開しているほか、早稲田大学の 河原研究室は事前学習済み RoBERTa モデル2)を公開している。

こうした日本語の事前学習済み言語モデルが用い るトークナイザは、モデルにより異なる。前述の東北大 BERT モデルは、形態素解析器に MeCab [2]、サ ブワード分割手法に WordPiece [3] を用いたトークナ イザを活用している。一方で、早稲田大学 RoBERTa モデルは、形態素解析器に Juman++ [4]、サブワード 分割手法に Unigram [5] を用いたトークナイザを活用している。

トークナイザが異なると、大力文の分割粒度が異 なるため、言語モデルの学習する潜在表現に何らか の影響を与えると考えられる。このため、トークナ

イザの違いは下流タスクの性能に影響する可能性が ある。実際にトークナイザの下流タスクに与える影響については、築地ら [6] や井上ら [7]が調査してい る。しかし、前者は事前学習時とファインチューニ ング時で異なるトークナイザを用いている点、後者 はサブワード分割手法に BPE のみ考慮している点 や 1 個の下流タスクでのみ分析を行っている点か ら、先行研究はトークナイザの下流タスクの性能に 与える影響について十分な検討を行えていない。

そこで本研究では、形態素解析器を使わない場合 も考慮した 6 種の形態素解析器と 3 種のサブワー ド分割手法の組合せに対して、同一のデータにより トークナイザの学習および BERT の事前学習を行 い、JGLUE [8] や固有表現抽出 [9]、構文解析 [10] 夕 スクにおけるファインチューニング時の性能を測定 することで、形態素解析器やサブワード分割手法の 違いが与える影響を網羅的に分析した。

本論文の貢献は次の 2 点である。(1) 複数の日本語形態素解析器とサブワード分割手法の組合せにつ いて、統一的な実験設定で事前学習、およびファイ ンチューニングを実施し、様々な下流タスクにおけ る性能評価を行った。(2) 各種形態素解析器、およ びサブワード分割手法が下流タスク性能に与える影響を 5 つの観点から解析した。

## 2 日本語トークナイザ

日本語の事前学習済み言語モデルが用いるトーク ナイザは、形態素解析器とサブワード分割手法によ り構成される。トークナイズ手順は、まず形態素解析器により入力文を単語単位に分割する。次に、分割された各単語に対して、サブワード分割手法を用 いてサブワード単位に分割する。言語モデルへの入力は、サブワード単位に分割された文を用いる。

以下、本章では本稿において考慮する形態素解析器とサブワード分割手法について解説する。

## 2.1 形態素解析器

MeCab MeCab [2] は辞書をもとにラティスを構築し、ビタビアルゴリズムにより累積コストが最小 となる組合せを選択することでトークナイズを行 う。コストの計算は、CRFによる系列ラベリングの 際に素性関数を用いて行われる。また、辞書には IPAdic や NEologd $[11]^{3)}$ な゙があり、NEologd は新語・固有表現が追加され、語彙数が多い辞書である。

Juman++ Juman++ [4] は人手で調整された基本語彙辞書と Wikipedia や Webコーパスから自動作成 した辞書をもとにラティスを構築し、ビームサーチ によりシーケンススコアが最大となる組合せを選択 することでトークナイズを行う。シーケンススコア の計算は、RNN 言語モデルを用いて行われる。

Sudachi Sudachi [12] は、UniDic [13] と NEologd をべースに人手で調整された辞書に基づいてトーク ナイズを行う。また、Sudachi は分割粒度の異なる 3 つのトークナイズが可能であり、目的に応じて使い 分けられる。使用できる辞書としては Small、Core (Sudachi のデフォルト辞書)、Full の 3 種類の辞書が 存在する。本研究では、基本的な語彙を収録した Core を辞書に用いた。

Vaporetto Vaporetto [14] は一定幅の窓を設定し、窓内の文字列から素性を取り出し、各文字間の単語境界の有無を線形分類モデルにより判別することで トークナイズを行う。辞書には UniDic を用いる。

## 2.2 サブワード分割手法

Byte-Pair-Encoding BPE (Byte-Pair-Encoding) [15] は、文字ぺアの出現頻度が高いものから結合リスト に追加し、結合した文字列を辞書に追加することで 学習される。トークナイズは、文字分割後に結合リ ストを参照し、出現頻度の高い文字ペアから順に結合することで行われる。

WordPiece WordPiece $[3]^{4}$ は、文字ぺアの頻度が 高く、個々のパーツの出現頻度が低いものから結合した文字列を辞書に追加することで学習される。 トークナイズは、先頭の文字から順に、辞書にある 最長のサブワードにより分割することで行われる。

Unigram Unigram [5] は、出現した全文字パター ンを辞書に追加し、Unigram 言語モデルによりその 語彙を失ったときの損失を計算し、損失の小さい語

4）本研究での WordPiece は BERT の最長一致の実装に基づく。彙を削除することで学習される。トークナイズは、全文字パターンを列挙し、トークンの出現確率が高 い語彙の組み合わせを選択することで行われる。

## 3 実験設定

比較対象 形態素解析器には 2.1 で示した MeCab、MeCab+NEologd、Juman++、Sudachi、Vaporetto の 5 種、サブワード分割手法には $\$ 2.2$ で示した BPE、WordPiece、Unigram の 3 種を用いた計 15 種、 および、形態素解析器を用いずサブワード分割手法 のみを用いた 3 種の計 18 種のトークナイザを比較 する。また、参考値として、bert-base-japanese ${ }^{1)}$ の性能も測定する。

評価観点 本稿では、トークナイザが言語モデル に与える影響を以下の 5 観点から調査する。

・形態素解析器を用いるべきか

・形態素解析器の違いが与える影響

・どのサブワード分割手法を用いるべきか

・形態素解析器の辞書の違いが与える影響

・トークナイザ辞書の類似性が与える影響

実験データ トークナイザの学習は、Wikipedia ${ }^{5)}$ からランダムに 1000 万文を抽出し、実行した。 ただし、"Category"および表が入っている文と 30 文字未満の文を除いた。事前学習は Wikipedia と CC-1006) を用い、それぞれ 512 トークンに近づくよ うに文を結合してから、220万、110万個のデータ を抽出し、マスク言語モデリング [1] により実行し た。ファインチューニングには、JGLUE、ストック マーク株式会社による日本語 NER データセット、 UD-Japanese-GSD を用いた。”7) ただし、JGLUE は test セットが公開されていないため、train セットにより 5 分割交差検証を行い、dev セットで評価を行った。

が存在しないため、train セットを 9:1 に分割し、前者で 5 分割交差検証を行い、後者で評価を行った。

ハイパーパラメータ $\quad$ トークナイザは語彙数を 3 万として学習した。モデルには、BERT-base ( $\mathrm{L}=12$ 、 $\mathrm{H}=768 、 \mathrm{~A}=12)$ を採用した。事前学習では、オプティ マイザに AdamWを用い、学習率を 1e-4、バッチサ イズを 128、ステップ数を 50 万ステップとした。 ファインチューニングでは、学習率を3e-5、バッ

 &  &  &  &  &  &  & Avg. \\

表 1 JGLUE、NER、UD データセット上での評価結果。各数値は、JGLUE と NER では 5 分割交差検証の平均值 (標準偏差) を、UD では 5 シードの平均值 (標準偏差) を示している。JCQA は JCommonsenseQA データセットの略である。

} & \multirow{2}{*}{} & \multirow{2}{*}{} & \multirow{2}{*}{} & \multirow{2}{*}{} & \multirow{2}{*}{} & \multirow{2}{*}{} & \multicolumn{3}{|c|}{$\mathbf{A v}$} \\

表 2 形態素解析器ありの場合となしの場合の性能比較。数値は各サブワード分割手法における各タスクでの性能の平均值であり、\{形態素解析器ありの性能平均\}/\{形態素解析器なしの性能\}を示している。また、全タスク、Token-level タ スク、Sequence-level タスクの平均値も示している。ただし Avg*は形態素解析器なしの WordPiece を計算から除外した。

大シーケンス長に関しては、MARC-ja と UDでは 512、JSTS、JNLI と NER では 128、JSQuAD では 348、 JCommonsenseQA では 64 とした。8)

## 4 実験結果

各トークナイザの下流タスク性能を表 1 に示す。

形態素解析器を用いるべきか まず、形態素解析器の有無が与える影響について分析する。具体的に は、形態素解析器ありの場合となしの場合で、サブ ワード分割手法ごとに下流タスクの性能を比較す る。また、形態素解析器の有無による影響は、タス クの粒度やサブワード分割手法によって異なる可能性があるため、これらの観点からも性能を比較す る。表 2 は、形態素解析器ありの場合となしの場合において、サブワード分割手法ごとのタスク別平均值および、全タスク (Avg. / Overall)、Token-level タスク、Sequence-level タスクの平均値を示してい

8） ハイパーパラメータの詳細は付録 $\S$ A. 2 に記載。
る。ただし、形態素解析器なしの場合の WordPiece は明らかに性能が低いため、平均值 (Avg.*)の計算 から除外した。Token-level タスクとは各トークンに 対応する出力を用いて解くタスクであり、JSQuAD、 NER、UD が該当する。Sequence-level タスクとは [CLS] や [SEP]トークンを用いて解くタスクであり、 MARC-ja、JSTS、JNLI、JCQA が該当する。

表 2 より、全タスク平均 (Avg. / Overall, Avg.*)に おいて、形態素解析器ありの方がなしよりも 2.0 ポイント上回り、各タスクでの平均 (Avg.*)におい ても、7 タスク中 5 タスクで形態素解析器ありの 方が性能が高い結果となった。さらに、サブワー ド分割手法別で比較した場合、どのサブワード分割手法においても形態素解析器ありの方が性能が 高く(Avg. / Overall)、タスク粒度単位で比較した場合、Token-level タスクでは形態素解析器ありの方 が平均で 4.9 ポイント上回っており (Avg. / Token)、 Sequence-level タスクでは形態素解析器ありの方が
平均で 0.2 ポイント上回った (Avg. / Sequence)。以上 から、サブワード分割手法によらず形態素解析器を 用いた方が良く、特に Token-level タスクで形態素解析器を用いた方が良いと考えられる。

形態素解析器の違いが与える影響 表 1 の形態素解析器ありの手法について比較する。形態素解析器 の違いが与える影響を調査するため、単語辞書だ けが MeCab と異なる、MeCab+NEologd を除いて比較を行った。比較の結果、MARC-ja、JSTS、JNLI、 JSQuAD および JCQA の計 5 タスクの性能に有意差 はなかった ( $p \geq .05$, Kruskal-Wallis test) が、NER と UD の 2 タスクでは有意差が確認された $(p<.05$, Kruskal-Wallis test)。これらの結果から、少なくとも Sequence-level タスクでは形態素解析器の違いが与 える影響は小さいと考えられる。

どのサブワード分割手法を用いるべきか 表 2 の 各サブワード分割手法における全タスク平均 (Avg. / Overall)より、形態素解析器ありの場合に関して、 Unigram と BPE の性能は 87.3 で等しく、WordPiece の性能は 86.3 と 1.0 ポイント悪化している。特に、 Sequence-level タスク (Avg. / Sequence) においては、 WordPiece の性能が低くなる傾向がある。9)この結果 は、英語データセット上でのサブワード分割手法の 比較 [16] における結果と同様の傾向である。した がって、サブワード分割手法には BPE かUnigram を 用いるべきと考える。

単語分かち書き辞書の違いが与える影響 佐藤ら [17] は、形態素解析器に豊富な語句を含む単語分か ち書き辞書を活用することで、文書分類タスクの一部の性能が向上することを示している。そこで、よ り豊富な語を含んだ単語分かち書き辞書（NEologd） を考慮することで、下流タスク性能に差異が生じる かを分析した。表 1 の MeCabと MeCab+NEologd を 比較すると、タスクごとの性能に有意差があるとは 言えず ( $p \geq .05$, Mann-Whitney U test)、NEologd によ る明確な性能向上は見られなかった。NEologd は新語・固有表現に強いとされており、本研究では特に NER や JSQuAD タスクの性能に影響を与えると想定されたが、性能差は見られなかった。

## トークナイザ辞書の類似性が与える影響 トーク ナイズ結果はサブワード分割手法のトークナイザ辞書に大きく影響するため、辞書の類似度が高いもの はそのアルゴリズムによらずトークナイズ結果も類似し、下流タスクの性能も類似するのではないかと

9）考察を A. 3 に記す。

図 1 トークナイザ辞書の類似度と性能の関係。横軸は トークナイザ辞書の類似度、縦軸は各トークナイザの性能の差を表している。

考えた。そこで、トークナイザ辞書の類似度と下流 タスクの関係について調査する。トークナイザ辞書 の類似度と下流タスクの関係を図 1 に示す。横軸は トークナイザ辞書の類似度を示しており、トークナ イザ辞書に出現する単語の重複率により算出した。 また、縦軸は各トークナイザの性能の差を示してお り、表 1 の各トークナイザの全タスク平均 (Avg.) の 差により算出した。つまり、ある 1 点は 2 つのトー クナイザの (辞書の類似度, 性能の差) を示している。図 1 より、下流タスクの性能の差とトークナイザ辞書の類似度の間には強い負の相関（-0.821）があり、 トークナイザ辞書の類似度が高ければ高いほど下流 タスクの性能差は小さくなる傾向がある。したがっ て、トークナイザ辞書の類似度が高いと下流タスク の性能も類似すると考えられる。

## 5 結論

本稿では、全 18 種のトークナイザについて BERT モデルを事前学習し、様々な下流タスクでファイン チューニングを行うことで、日本語トークナイザの 違いが下流タスクの性能に与える影響について調査した。実験の結果、形態素解析器ありの方がなし よりも、全タスクの性能の平均值において 2.0 ポイ ント向上することが確認されたが、形態素解析器の 違いや単語分かち書き辞書の違いによる性能の向上は見られなかった。また、サブワード分割手法に WordPiece を用いた場合、BPE および Unigram と比較して、性能が 1.0 ポイント低下することが確認さ れた。最後に、トークナイザ辞書の類似性が下流夕 スクの性能の差と相関があることを示した。今後 は、エンコーダ・デコーダモデルやデコーダモデル におけるトークナイザが与える影響を調査したい。

## 謝辞

株式会社日立製作所の清水正明氏には、本研究で の実験に活用した大規模計算機資源の維持管理をし ていただきました。ここに御礼申し上げます。

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[2] T. KUDO. Mecab : Yet another part-of-speech and morphological analyzer. http://mecab.sourceforge.jp, 2006.

[3] Yonghui Wu, Mike Schuster, Zhifeng Chen, Quoc V Le, Mohammad Norouzi, Wolfgang Macherey, Maxim Krikun, Yuan Cao, Qin Gao, Klaus Macherey, et al. Google's neural machine translation system: Bridging the gap between human and machine translation. arXiv preprint arXiv:1609.08144, 2016.

[4] Arseny Tolmachev, Daisuke Kawahara, and Sadao Kurohashi. Juman++: A morphological analysis toolkit for scriptio continua. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 54-59, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[5] Taku Kudo. Subword regularization: Improving neural network translation models with multiple subword candidates. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 66-75, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[6] 築地俊平, 新納浩幸. Tokenizer の違いによる日本語 bert モデルの性能評価. 言語処理学会第 27 回年次大会, 2021.

[7] 井上誠一, Nguyen Tung, 中町礼文, 李聖哲, 佐藤敏紀.日本語 gpt を用いたトークナイザの影響の調査. 言語処理学会第 28 回年次大会, 2022.

[8] 栗原健太郎, 河原大輔, 柴田知秀. Jglue: 日本語言語理解ベンチマーク. 言語処理学会第 28 回年次大会, 2022.

[9] 近崇宏江. Wikipediaを用いた日本語の固有表現抽出 のデータセットの構築. 言語処理学会第 27 回年次大会, 2021.

[10] Takaaki Tanaka, Yusuke Miyao, Masayuki Asahara, Sumire Uematsu, Hiroshi Kanayama, Shinsuke Mori, and Yuji Matsumoto. Universal dependencies for japanese. In Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC'16), pp. 1651-1658. European Language Resources Association (ELRA), May 2016.

[11] 佐藤敏紀, 橋本泰一, 奥村学. 単語分かち書き辞書 mecab-ipadic-neologd の実装と情報検索における効果的な使用方法の検討. 言語処理学会第 23 回年次大会, 2017.

[12] Sakamoto Miho, Kawahara Noriko, Hisamoto Sorami, Takaoka Kazuma, and Uchida Yoshitaka. Large scale dictionary development for sudachi. 言語資源活用ワーク ショップ発表論文集.

[13] コーパス日本語学のための言語資源 : 形態素解析用電子化辞書の開発とその応用. 伝康晴 and 小木曽智信 and 小椋秀樹 and 山田篤 and 峯松信明 and 内元清貴 and 小磯花絵. 日本語科学, 第 22 巻, pp. 101-123.

[14] 赤部晃一, 神田峻介, 小田悠介, 森信介. Vaporetto: 点予測法に基づく高速な日本語トークナイザ. 言語処理学会第 28 回年次大会, 2022.

[15] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1715-1725, Berlin, Germany, August 2016. Association for Computational Linguistics.

[16] Rastislav Hronsky and Emmanuel Keuleers. Does the Choice of a Segmentation Algorithm Affect the Performance of Text Classifiers? Masterpieces of Swiss Entrepreneurship, Swiss SMEs Competing in Global Markets.

[17] 佐藤敏紀, 橋本泰一, 奥村学ほか. 単語分かち書き用辞書生成システム neologd の運用-文書分類を例にし 乙. 研究報告自然言語処理 (NL), Vol. 2016, No. 15, pp. $1-14,2016$.

[18] Timothy Dozat and Christopher D. Manning. Deep biaffine attention for neural dependency parsing. In International Conference on Learning Representations, 2017.

[19] Chengyue Gong, Di He, Xu Tan, Tao Qin, Liwei Wang, and Tie-Yan Liu. Frage: Frequency-agnostic word representation. In S. Bengio, H. Wallach, H. Larochelle, K. Grauman, N. Cesa-Bianchi, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 31. Curran Associates, Inc., 2018.

[20] Kaj Bostrom and Greg Durrett. Byte pair encoding is suboptimal for language model pretraining. In Findings of the Association for Computational Linguistics: EMNLP 2020, pp. 4617-4624, Online, November 2020. Association for Computational Linguistics.

## A 付録

## A. 1 下流タスク

下記に、下流タスクに用いた 7 種類のタスクの説明をする。MARC-ja、JSTS、JNLI、JSQuAD、 JCommonsenseQA は JGLUE ${ }^{10)}$ に含まれており、NER は日本語の固有表現抽出データセット ${ }^{11)} 、$ UD は UD-Japanese-GSD ${ }^{12}$ を用いた。また、各データセットの統計情報を付録の表 3 に示す。

MARC-ja商品レビューを入力としてポジティブ/ネガティブをを推定する 2 值分類タスク。

JSTS 2 文を入力として 5 から 0 の範囲で類似度を推定するタスク。

JNLI 2 文を入力として含意関係を推定する 3 値分類タスク。

JSQuAD コンテキストの中から質問文の回答となる部分を抽出する質問応答タスク。

JCommonsenseQA 質問文に対して 5つの選択肢の中かから 1つを選択する質問応答タスク。

NER (Named Entity Recognition) 1 文の各トークンに対して固有表現タグを割り当てるタスク。

UD (Universal Dependencies) 各トークンに対して主辞となるトークンを当てる構文解析タスク。

表 3 データセット統計情報

## A. 2 実装

トークナイザの実装には、tokenizers ${ }^{13)}$ を用いた。モデルの実装には、PyTorch ${ }^{14)}$ と transformers ${ }^{15)}$ を用 いた。UDは、Deep Biaffine Attention Parser (BAP) [18]を事前学習済みモデルの出力層上に構築し、学習を行っ た。BAP の実装には、SuPar ${ }^{16)}$ を用いた。実験は NVIDIA Tesla V100 GPU (SXM2 - 32GB)を用い、事前学習で は 4 個、ファインチューニングでは 1 個で行った。また、すべての学習を $\mathrm{fp} 16$ でおこなった。AdamW のパ ラメータは事前学習、ファインチューニング共に Adam $\beta 1$ を 0.9、Adam $\beta 2$ を 0.999、Adam $\epsilon$ を 1e-08 とした。

## A. 3 サブワード分割手法に WordPiece を用いると性能が低下する原因

サブワード分割手法に WordPiece を用いた場合に性能が低下する理由を考察する。まず、"\#\#"による区別 の影響が考えられる。例えば、MeCab・WordPiece の辞書に「田」と「\#\#田」が存在するように、同じ文字で も"\#\#"の有無により 2 回出現する場合があり、辞書に採録できるトークン数が実質的に減るため、[UNK] が 増加してしまう。次に、出現頻度による影響が考えられる。「田」と「\#\#田」は出現頻度に差がある。出現頻度の異なるトークンは、言語的意味が類似していても、埋め込み表現の類似度は低くなる [19]。最後に、 デッドゾーンが影響すると考えられる。デッドゾーンとは、辞書内の他の語彙より出現頻度の低いトークン である。これは中国語や日本語の漢字を含む出現頻度の稀な文字 (鰕、魼など) が多数含まれることで生じ る [20]。デッドゾーンが多いと、[UNK] が増加してしまう。実際に、MeCabを用いた場合、WordPiece、BPE、 Unigram の順でデッドゾーンが多いことが観測された。上記の統計的解析については、今後の課題としたい。

10) https://github.com/yahoojapan/JGLUE

11) https://github.com/stockmarkteam/ner-wikipedia-dataset

12) https://github.com/UniversalDependencies/UD_Japanese-GSD

13) https://github.com/huggingface/tokenizers

14) https://pytorch.org/

15) https://github.com/huggingface/transformers

16) https://github.com/yzhangcs/parser


# 空所化情報を考慮した句構造から依存構造への変換

小林 幹輝 1 加藤 芳秀 2 松原茂樹 1,2
1 名古屋大学大学院 情報学研究科
2 名古屋大学情報連携推進本部
kobayashi.mikiteru.i1@s.mail.nagoya-u.ac.jp

## 概要

構文構造の変換は，異なる表現形式に基づく構文解析器間の性能比較に有用である。しかし，その多 くは空所化構文を考慮していない，本論文では，空所化構文を考慮した句構造から依存構造への変換手法を提案する。提案手法では, 相関要素を残余要素 で置き換えることにより, 空所化構文において省略 された要素の同定, 及び省略された要素と残余要素 の間の依存関係を生成する．提案手法を用いて，空所化構文を解析する句構造解析器と依存構造解析器 の性能比較実験を行い，本変換手法の有効性を確認 した.

## 1 はじめに

構文構造を表現する文法，あるいはアノテーショ ン体系は句構造や依存構造, Combinatory Categorial Grammar（CCG）[1]など様々存在しており，構文解析器の出力結果もそれが基づく文法やアノテーショ ンに応じて異なる. 異なる表現形式を採用する構文解析器間の性能を比較する一つの方法として, 構文構造を変換するアプローチが考えられる．また，あ る文法に基づきアノテーションされたコーパスに対 して，変換を施すことにより別のアノテーションの コーパスが容易に得られるという観点からも構文構造の変換は有用である. これまでに様々な構文構造変換手法が提案されている $[2,3,4,5,6,7]$.

代表的な句構造コーパスの一つとして Penn Treebank（PTB）[8]が挙げられる. PTB のアノテー ションには句の情報だけでなく, 空所化 (gapping) [9] の情報も含まれている. 空所化とは, 等位構造の 等位項において，共通する要素が省略される現象で ある。例えば, “Stock prices closed higher in Stockholm and lower in Zurich." は, "closed higher in Stockholm" と “lower in Zurich”を等位項とする等位構造であり，後者の等位項は “closed lower in Zurich” から “closed”
が省略されたものである．PTBにおいて空所化は，文中における句の対応関係の情報を用いて表現さ れるが，現在の構文構造変換手法の多くは，この情報を考慮していない. その一因として，PTBに基づ く句構造解析器の多くは，空所化の情報を含まない 句構造しか出力しないことが挙げられる. しかし近年，空所化の情報を含んだ解析結果を生成する句構造解析器も開発されており, その解析精度も高く なっている [10].

本論文では，句構造から依存構造への変換におい て，空所化の情報を考慮した変換手法を提案する.提案手法では，空所化の情報が付与されている PTB の句構造を依存構造へと変換する. 変換後の依存構造は，空所化の情報を反映したものとなっている.提案手法の応用例として, 句構造解析器と依存構造解析器の性能比較実験を行った。

## 2 PTB から Enhanced UD への変換

本節では，Penn Treebank（PTB）[8] に基づく句構造を, Enhanced Universal Dependencies (EUD) [11] に 基づく依存構造へと変換する従来の手法について概説する。まず，PTB 及び EUD において空所化構文 がどのように表現されるかについて説明し，次に変換手法について説明する。

## 2.1 空所化構文

空所化とは，等位接続された句（等位項）に共通 する要素が片方の句から省略される現象である．空所化を含む文を空所化構文と呼ぶ. 空所化構文に おいて, 省略の起きている等位項に残された要素 を残余要素（remnant）と呼び，もう片方の等位項 において残余要素に対応している要素を相関要素 （correlate）と呼ぶ. 空所化構文の例として下記のよ うな文が挙げられる

(1) Stock prices closed higher in Stockholm and

図 1 PTBにおける空所化構文の例

図 2 EUDにおける空所化構文の例

$\varnothing$ lower in Zurich.

ここで “Ø”は，要素が省略された位置を示してい る. "closed higher in Stockholm” と "Ø lower in Zurich" が等位項である．右の等位項は，もともと“closed lower in Zurich” であったものが，動詞 “closed” が等位構造内で共通していることから，それが省略さ れたものとみなすことができる。文（1）において， “lower”と “in Zurich” が残余要素であり，“higher”と “in Stockholm”がそれぞれに対応する相関要素であ る.

## 2.2 PTB における空所化構文

Penn Treebank（PTB）は句構造に関する代表的な コーパスの一つである. PTB に基づく句構造解析器 は多数開発されている. PTBのアノテーション規則に従ったコーパスとして GENIA コーパス [12] や English Web Treebank[13] などがある．以下では，本論文において焦点となる空所化構文について例を用 いて説明する。

PTB における句構造の例を図 1 に挙げる。PTB の アノテーションでは，空所化の情報も付与されてい る. “=”で番号付けられたラベルが残余要素を表す。図 1 の構文木では，“ADVP=1”，及び “PP=2” とラべ ル付けされているノードをルートとする部分木が 残余要素である。対応する相関要素は，“-”で番号 づけられている. 図 1 では，“ADVP-1”，及び “PP-2” とラベル付けされているノードをルートとする部分木が相関要素である。“ADVP=1”と “ADVP-1”が，
“PP=2”と“PP-2”がそれぞれ対応関係にある。相関要素を残余要素で置き換えることで，“closed lower in Zurich” に対する構文木が得られる。これは，2 番目の等位項 “lower in Zurich” では “closed” が省略さ れていることを示している.

## 2.3 EUD における空所化構文

Enhanced Universal Dependencies（EUD）[11]は，現在広く用いられている依存構造のアノテーションで ある Universal Dependencies（UD）[14]を拡張したも のである．EUD の依存構造は UD の依存構造への新 たな依存関係の追加，及び依存関係の詳細化によっ て得られ，UD に比べてより詳細に構文構造を表現 できる.

文（1）に対する EUD の依存構造を図 2 に示す. EUDでは，残余要素や相関要素をアノテーションす るのではなく，空所化により省略された要素を補っ て依存構造を構成する。例えば文（1）の場合は， “lower in Zurich”に対して省略された“closed”を補 う。これにより，等位項 “lower in Zurich” を “closed lower in Zurich”という省略のない句のように扱う ことができるため，“prices”を“closed””の主語， “lower”を“closed”” の修飾語といった依存構造とし て捉えられる。

## 2.4 PTB から EUD への変換

PTB の句構造から EUD の依存構造への変換手法 としては，Schuster らの手法 [11] が存在する。この 手法では，PTB から EUDへの変換をパターンマッ

Stock prices VBD ADVP-1 PP-2 and $A D V P=1 \quad \mathrm{PP}=2$

Stock prices closed higher in Stockholm and lower in Zurich 残余要素の依存関係の 削除（手順2）

conj:and

Stock prices closed higher in Stockholm and lower in Zurich

## 省略された単語のコピーの作成（手順4）残余要素との依存関係の同定（手順5）

Stock prices closed lower in Zurich and lower in Zurich

## 等位構造を表現する

依存関係の削除（手順6

Stock prices closed higher in Stockholm and lower in Zurich

図 3 PTB からEUDへの変換例

チングに基づき実行する．この変換では，空所化の 情報については考慮されておらず，空所化構文につ いて正しい EUD の依存構造を得ることはできない.

## 3 提案手法

本節では，空所化情報を考慮した PTB から EUD への変換手法を提案する. 本手法では, 各相関要素 をそれに対応する残余要素で置き換えることによ り，空所化構文の等位項における省略された単語を 同定し，依存構造を構成する.

提案手法では，句構造 $P$ を以下の手順により EUD の依存構造 $E$ へと変換する. 以下では，従来手法 [11]による PTB の句構造から EUD の依存構造への 変換を，PTB2EUDと表記する.

1. 句構造 $P$ を PTB2EUDにより依存構造 $E_{\text {-gapping }}$ に変換する。

2. E-gapping から残余要素に関連する依存関係を取り除く。

3. 各相関要素を対応する残余要素で置き換え，結果として得られた句構造を PTB2EUD により依存構造 $E^{\prime}$ に変換する

4. $E^{\prime}$ 及び残余要素の情報に基づき省略された 単語を同定し，それらの単語のコピーを作成 する。

5. $E^{\prime}$ の情報に基づき，コピーした単語と残余要素間の依存関係を同定する．その結果を $E_{\text {gapping }}$ とする。

6. $E_{\text {-gapping }}$ から空所化構文の等位構造を表現す る依存関係を削除する。E Eapping の依存構造か ら等位項の head を決定し直し，その情報に基 づき，削除した等位構造を表現する依存関係を

7. コピー元にのみ nsubj が存在する場合，それ をコピー元の nsubj とする. nsubj 以外の core
表 1 実験結果

argument についても同様の処理を行う.
8. $E=E_{\text {gapping }} \cup E_{\text {-gapping }}$

図 3 に変換の例を示す. 手順 1 では, 句構造 $P$ か ら EUD の依存構造を従来の手法により求める。こ れにより，残余要素に関連しない依存関係について は，従来手法に従うことになる. 従来手法は空所化 の情報を考慮していないので，手順 2 で残余要素に 関連する依存関係を取り除く。手順 3 で得られる依存構造 $E^{\prime}$ は元の文の依存構造ではないが，これを 元に，省略された単語や残余要素に関連する依存関係が同定される，手順 4 は，空所化構文における省略された単語を，PTB の空所化の情報に従って求め る処理である. 手順 5 によって，相関要素を含む等位項の head が変わる場合があるので，手順 6 におい て，変更された head に基づき等位構造の依存関係 を付け直す. 手順 7 は項が共有されている場合のた めの処理である.

以上の手順によって，PTB から EUDへ変換する 際，PTB の空所化の情報に従って変換することがで きる.

## 4 評価実験

提案手法の応用例として，空所化構文を解析でき る PTB に基づく句構造解析器と, 依存構造解析器の 性能比較実験を行った. PTB に基づく句構造解析器 の解析結果を提案手法によって依存構造へ変換し，解析精度を依存構造ベースの評価尺度で評価した。依存構造解析器についても同じ評価尺度で評価し, それらを比較した. 本実験は Schuster ら [15] の空所化構文の解析実験を参考とした. データセットに は，Schuster らと同様のものを用いた。これは，(1） UD English Web Treebank v2.1 の 16,622 文と, (2) PTB や GENIA コーパス, Wikipedia の Gapping のページ から集めた空所化を含むデータ 322 文に人手でア ノテーション1)を付与したデータ2) からなる. 実験 における句構造解析には Kato らの手法 [10] を，依存構造解析には Schuster らの手法 [15] を用いる。句

構造解析器の学習には, Schuster らの論文に対応す る EWT のデータを用いた。提案手法における PTB から EUDへの変換には，Stanford CoreNLP4.4.03)を 使用した。解析性能の評価では，コピーした単語を head とする依存関係を評価する. テストデータを 用いて，依存関係の head 及び dependent の位置を組 としたときの適合率・再現率（UP，UR），それに加 えて，その依存関係の種類が正しいかどうか（LP， LR）を評価する。

表 1 に実験結果を示す. Kato らの手法は全ての 指標において Schuster らの手法を上回る結果となっ た.このことから，Kato らの手法の方が空所化構文 に対する解析性能が高いことがわかる.

このように提案手法を用いて変換を行うことで，句構造解析結果と依存構造解析結果を比較し, 性能比較を行うことが可能となることが確認できた。

## 5 おわりに

本論文では，句構造から依存構造への変換におい て，空所化の情報を考慮した変換手法を提案した。空所化の情報を用いることで，PTB から EUDへの 変換において，省略された要素の同定，及び省略さ れた要素と残余要素の間の依存関係を生成した。ま た，提案手法を用いて，空所化構文を解析する句構造解析器と依存構造解析器の性能比較実験を行い,空所化情報を考慮した性能比較が可能であることを 確認した。

## 謝辞

本研究は，一部，科学研究費補助金基盤研究（C）

（No. 22K12148）により実施したものである.

## 参考文献

[1] Mark Steedman. The Syntactic Process. The MIT press, 2001.

[2] Marie-Catherine de Marneffe, Bill MacCartney, and Christopher D. Manning. Generating typed dependency parses from phrase structure parses. In Proceedings of the 5th International Conference on Language Resources and Evaluation (LREC 2006), 2006.

[3] Jinho Choi and Martha Palmer. Guidelines for the clear style constituent to dependency conversion. Technical report, Technical report 01-12: Institute of Cognitive Science, University of Colorado Boulder, 2012.

[4] Xiaotian Zhang, Hai Zhao, and Cong Hui. A machine learning approach to convert CCGbank to Penn Treebank. In Proceedings of the 24th International Conference on Computational Linguistics: Demonstration Papers (COLING 2012), pp. 535-542, 2012.

[5] Jonathan K. Kummerfeld, Dan Klein, and James R. Curran. Robust conversion of CCG derivations to phrase structure trees. In Proceedings of the 50th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers) (ACL 2012), pp. 105-109, 2012.

[6] Lingpeng Kong, Alexander M. Rush, and Noah A. Smith. Transforming dependencies into phrase structures. In Proceedings of the 2015 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL-HLT 2015), pp. 788-798, 2015.

[7] Young-Suk Lee and Zhiguo Wang. Language independent dependency to constituent tree conversion. In Proceedings of the 26th International Conference on Computational Linguistics: Technical Papers (COLING 2016), pp. 421-428, 2016.

[8] Mitchell P. Marcus, Beatrice Santorini, and Mary Ann Marcinkiewicz. Building a large annotated corpus of English: The Penn Treebank. Computational Linguistics, Vol. 19, No. 2, pp. 313-330, 1993.

[9] John Robert Ross. GAPPING AND THE ORDER OF CONSTITUENTS, pp. 249-259. De Gruyter Mouton, 1970.

[10] Yoshihide Kato and Shigeki Matsubara. Parsing gapping constructions based on grammatical and semantic roles. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing (EMNLP 2020), pp. 2747-2752. Association for Computational Linguistics, 2020.

[11] Sebastian Schuster and Christopher D. Manning. Enhanced English Universal Dependencies: An improved representation for natural language understanding tasks. In Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC 2016), pp. 2371-2378, 2016.

[12] Jin-Dong Kim, Tomoko Ohta, Yuka Tateisi, and Jun'ichi
Tsujii. Genia corpus-a semantically annotated corpus for bio-textmining. Bioinformatics, Vol. 19 Suppl 1, pp. i180-182, 2003 .

[13] Ann Bies, Justin Mott, Colin Warner, and Seth Kulick. English web treebank. Technical report, LDC2012T13, Linguistic Data Consortium, 2012.

[14] Joakim Nivre, Marie-Catherine de Marneffe, Filip Ginter, Jan Hajič, Christopher D. Manning, Sampo Pyysalo, Sebastian Schuster, Francis Tyers, and Daniel Zeman. Universal Dependencies v2: An evergrowing multilingual treebank collection. In Proceedings of the 12th Language Resources and Evaluation Conference (LREC 2020), pp. 4034-4043, 2020.

[15] Sebastian Schuster, Joakim Nivre, and Christopher D. Manning. Sentences with gapping: Parsing and reconstructing elided predicates. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL-HLT 2018), pp. 11561168, 2018.


# 対称的な系列集合を用いた教師なし構文解析モデルの 分岐バイアスの検証

石井太河 1 宮尾祐介 ${ }^{1}$
1 東京大学
\{taigarana,yusuke\}@is.s.u-tokyo.ac.jp

## 概要

本研究は，教師なし構文解析モデルの潜在的な分岐バイアスを分析することを目的とする．分岐バイ アスとは，構文解析モデルが学習・出力しやすい木構造の偏りであり，分析する上では，まず学習デー タの分岐情報の偏りを明確にすることが重要であ る.しかしながら，教師なし学習の設定では，学習 データは系列の集合のみであり，木構造は直接与え られないため，分岐情報の制御が困難である. そこ で，本研究では，分岐情報の偏りの無い対称的な系列集合を用いて学習を行い，モデルの出力木構造の 偏りを分析する。人工データを用いた実験の結果， モデルによって異なる分岐バイアスが確認された。

## 1 はじめに

本研究は，教師なし構文解析モデルが「潜在的な 分岐バイアスを持たない」ための必要条件を検証す ることを目的とする。

教師なし構文解析とは，テキスト（系列の集合） のみから，その背後にある木構造を出力するという タスクであり，低資源言語への対応や認知的・言語学的な視点から研究されてきた $[1,2,3,4,5]$.

分岐バイアスとは，構文解析モデルが学習・出力 しやすい木構造に偏りがあることを指す．特に，木構造が右に深いときを右分岐，左に深いときを左分岐と言う (図1下部)。ときに，構文解析モデルが分岐バイアスを持つことは望ましくない。というの も，モデルがある種の構造のみを学習しやすいとい うことは，他の構造を持つ言語への適用性が下がる ことを意味するからである．例えば，英語は右分岐 な言語として知られるが，日本語は左分岐とされ る. 右分岐バイアスを持つモデルは英語に対する精度が高くなりやすい一方で，日本語に関しては精度 が低くなりやすい。実際に，Li ら [6] は，言語によ

## 対称的な系列集合

"a b c" "b c d"

教師なし構文解析モデルを学習

## 導出する木構造

左右の分岐の偏りは生じるか ?

図 1 本研究の概要図

り高精度となるモデルが異なることを報告してお り，モデルが分岐バイアスを持つことが示唆されて いる．以上のように，潜在的な分岐バイアスはモデ ルのある種の「アドホックさ」として考えられ，モ デルの分岐バイアスを分析することは重要である.

そこで，本研究では，分岐の偏りの無い対称的な 系列集合を学習データに用いる分析手法を提案する (図1)。これにより，学習の結果，モデルの導出す る構造に偏りが生じる場合は，モデルそのものに分岐バイアスが内在することを示すことが可能とな る。また，データセット中の系列の頻度を調整する ことで，対称性がくずれた場合のモデルの挙動につ いても分析を行う.

## 2 既存の分岐バイアス分析の問題点

教師なし構文解析において，モデルの潜在的な分岐バイアスを分析することは簡単ではない．という のも，分析を行う上では，「モデルそのもののバイ アス」と「モデルがデータから学習したバイアス」

の2つを分離する必要があり，このためには学習 データに含まれる情報を制御することが重要であ る. しかし, 教師なし構文解析において学習データ は系列の集合のみであり，木構造を明示的に制御す ることができない.

既存のバイアス分析は 3 つのアプローチに大別さ れるが，それぞれに問題点がある。

## 2.1 アーキテクチャ固有の分析

例えば，Dyer ら [7]により，PRPN [8] というモデ ルが右分岐バイアスを持つことが数学的に証明され ている.しかしながら, Dyer ら [7] の手法は PRPN モデルに特化したものであり，任意のモデルに対し て理論的分析を行うことは困難である.

## 2.2 自然言語を用いた分析

構文解析においては，モデルを評価する際に複数 の異なる言語のコーパス $[9,10]$ を用いることが一般的であるが，言語間の差異は木構造の分岐の偏りに 限らないため，分岐バイアスのみを評価することは 難しい.そこで， $\mathrm{Li}$ ら [11] は，自然言語コーパス $D$ と $D$ 中の各系列を反転させたコーパス $D^{-1}$ のそれ ぞれでモデルを学習させ，その精度の差を見ること で分岐バイアスの分析を行った. これにより, 語順 のみが異なり木構造の分岐が逆であるデータセット による評価が可能となる。しかし, 依然として, 自然言語データは意味的にも複雑であり, 語順の異な る元の系列と反転した系列の差が厳密に木構造の差 だけであるかは明らかではない.

## 2.3 形式言語を用いた分析

Jin 5 [12] は，左・右分岐な文脈自由文法で生成 された言語を用いて分岐バイアスを分析している. しかし，左分岐な文法で生成される言語を右分岐の 異なる文法で生成することも可能であるため, 文法 そのものの分岐によって系列の集合の分岐情報を制御することが可能かどうかは自明ではない. ${ }^{1)}$

## 3 対称的な系列集合を用いた分析

上述の問題点に対応するため, 本研究では，分岐情報の偏りのない対称的な系列集合を人工的に構成し, それを学習データとすることを提案する.こ れにより，「モデルがデータから学習するバイアス」 を制御し，「モデルそのものの分岐バイアス」のみ
$ に具体例を付す。
}

を分析できることが期待される.

データセットを構成するにあたり，本研究では， コーパスレベルと系列レベルの 2 つのレベルの対称性について着目する。 $V$ を有限な語彙として，これ らは以下のように定義される。

定義 1 系列集合 $D \subseteq V^{*}$ がコーパスレベル対称で あるとは, 語彙上の全単射 $\phi: V \rightarrow V$ が存在して, $\phi\left(D^{-1}\right)=D$ を満たすことを言う. ここで， $D^{-1}$ は 系列集合 $D$ 中の系列を全て反転させたものであり， $\phi\left(D^{-1}\right)$ は系列集合中の語彙を全て $\phi$ によって置換 したものを表す。

定義 2 系列集合 $D \subseteq V^{*}$ が系列レベル対称である とは， $\forall s \in D . s=s^{-1}$ を満たすことである.ここで， $s^{-1}$ は系列 $s$ の反転である.

系列レベル対称性は文字通りコーパス中の各系列が逆から読んでも同一であることを意味する.一方で，コーパスレベル対称性はコーパス中の語彙が反転に対して対称的であることを意味する. また，系列レベル対称性よりも条件が緩く，コー パス中の各系列が対称である必要はない. ${ }^{2}$ 例え ば，以下の 3 つの系列集合 $x_{0} \equiv\{“ a b b a ", " b c c b "\}$, $x_{1} \equiv\{" a b c ", " b c d "\}, x_{2} \equiv\{“ a b ", " a c "\}$ に関して, $x_{0}$ は系列レベル対称である， $x_{1}$ は系列レベル対称では ないが， $\phi: a \mapsto d, b \mapsto c, c \mapsto b, d \mapsto a$ の対応によ りコーパスレベル対称である。一方， $x_{2}$ はコーパス レベル対称でもない.

## 4 実験設定

## 4.1 データセットの構成

本研究では，実験にあたり 2 種の対称的な系列集合を構成する. さらに，系列の出現頻度による影響 も分析するため，頻度分布の異なるデータセットも 生成する.

## 4.1.1コーパスレベル対称なデータセット

まず，系列レベルでは対称でないがコーパスレべ ルで対称なデータセット $D_{\text {corpus }}$ を構成する. でき るだけシンプルな構成にするために，テストデータ は $L$ 個の異なる要素からなる 1 つの系列 $s^{\text {test }}$ とし，

2）例えば， $D^{-1}=D や \phi\left(s^{-1}\right)=s$ のように，今回扱った 2 つのレベルの対称性の間に中間的な強さの対称性を考えるこ ともできるが，今回は簡単のため扱わないこととする.
学習データはテストデータの $M$-gram 系列の集合と する．具体的には，以下のように定式化される：

$
\begin{aligned}
s^{\text {test }} & \equiv “ v_{0} v_{1} \ldots v_{L-1} "\left(\forall i, j \cdot v_{i} \neq v_{j}\right) \\
S_{M} & \equiv\left.\{s_{i: i+M}^{\text {test }} \mid i=0, \ldots, L-M\right.\} \\
D_{\text {corpus }} & \equiv \operatorname{upsample}\left(S_{M}, N, w\right)
\end{aligned}
$

ここで， $S_{M}$ は置換 $\phi\left(v_{i}\right)=v_{L-1-i}$ により対称であ り, upsample は全体が $N$ 個のデータになるように重 み $w$ を元にアップサンプルする処理である.

学習データセット中の系列の頻度制御のため, アップサンプルの際に各 $M$-gram 系列 $s_{i: i+M}^{\text {test }}$ に対し，以下のように $i$ に関して線型な重み付けを行う :3)

$
w_{i} \equiv 1+\alpha \cdot\left(i-\frac{L-M}{2}\right)
$

例えば， $\alpha=0$ のときは頻度分布は一様であるが， $\alpha$ が大きくなると, 右側の $M$-gram 系列は増加し, 左側のものは減少する。

実験においては, $N=3000$ とし, $L \in\{10,20\}$, $M \in\{2,5,8\}$, 右端の $M$-gram の重みが $w_{L-M} \in$ $\{0.2,0.6,1.0,1.4,1.8\}$ となるような $\alpha$ の全ての組み 合わせについて実験を行った。

## 4.1.2 系列レベル対称なデータセット

次に系列対称なデータセット $D_{\mathrm{seq}}$ を構成す る. 具体的には，上で定義した $D_{\text {corpus }}$ の各系列 $s$ に反転 $s^{-1}$ を結合することによって生成する： $D_{\text {seq }} \equiv\left.\{s \cdot s^{-1} \mid s \in D_{\text {corpus }}\right.\} \cdot{ }^{4)}$

なお， $D_{\text {seq }}$ は元となる $D_{\text {corpus }}$ に対して系列長 が 2 倍になるため, 実験においては $L \in\{5,10\}$, $M \in\{1,2,4\}$ として元の $D_{\text {corpus }}$ を生成することで系列長を同程度にした。

## 4.2 分析対象のモデル

本研究では，教師なし構文解析において代表的で ある，DIORA [13]，PRPN [8], URNNG [14]の 3 つの モデルを分析対象とする. DIORA はチャートベー スの再帰的なオートエンコーダであり，PRPN は ゲート機構を用いることで言語モデリングの際に構造を明示的に学習するモデルである. URNNG は遷移型のモデルであり，言語モデリングの際に明示的 に再帰的な木構造をモデル化する RNNG [15] の教師 なし版である。なお，これら 3 つのモデルの出力は 二分木となっている.

3）頻度分布が一様でない場合， $D_{\text {corpus }}$ の対称性は崩れる.

4） $D_{\text {corpus }}$ と異なり， $D_{\mathrm{seq}}$ は頻度分布に偏りがあっても対称性は崩れない.本研究で使用するデータセットの語彙が小さいこ とと計算量の問題から，学習にあたりモデルのハイ パーパラメータはデフォルトのものより次元数を小 さいものを使用した. ${ }^{5}$ 実験においては，各モデルを 30 個の異なるランダムシードで最大 30 エポックず つ学習を行い，平均的な振る舞いを分析する.

## 4.3 評価指標

本研究では，モデルの精度ではなく分岐バイアス の分析を目的とするため，系列の正解構造を仮定せ ずにモデルの導出する木構造の形を直接評価する.木構造の評価指標は様々あるが [16], 既存の指標で ある Corrected Colles index に加え，本研究で提案す る Left leaf proportion の 2 つの指標を用いる.

Colles index Corrected Colles index [17] は, 左右 の部分木の葉数の差で二分木の均衡さを表す指標で あり，以下のように定義される：

$
\operatorname{Colles}(T) \equiv \frac{2}{(n-1)(n-2)} \sum_{v \in T}\left|n_{v_{\mathrm{L}}}-n_{v_{\mathrm{R}}}\right|
$

ここで， $v \in T$ は $T$ のノードであり $, n_{v_{\mathrm{L}}}, n_{v_{\mathrm{R}}}$ はそれ ぞれ $v$ の左右の部分木の葉数である. Colles $(T)$ は木 が不均衡であるほど 0 から 1 に近づく.

Left leaf proportion $\operatorname{Colles}(T)$ では，木が具体的 に左右のどちらに分岐しているのかは明らかでな い. そこで，本研究では，「左の子となる葉が多い ほど，木は右に分岐が深い」という直感の元，以下 のような指標 Left leaf proportion（LLP）を用いる：

$
\operatorname{LLP}(T) \equiv \frac{l_{T}-1}{n_{T}-2} .
$

ここで, $n_{T}$ は $T$ 葉数, $l_{T}$ は葉のうち左の子になっ ているものの数であり，LLP $(T)$ は右分岐であるほ ど 0 から 1 に近づく.また，系列の両端はかならず 左・右の子になるためカウントから除外している.

## 5 結果と議論

データセットによってやや異なる結果が観察 されたが，ここでは代表的な傾向の分かる $D_{\text {corpus }}$ ( $L=20, M=8)$ と $D_{\text {seq }}(L=5, M=2)$ の結果をそ れぞれ図 2と図 3に示す. ${ }^{6}$

## 5.1 分岐バイアスの検出

まず， $w_{L-M}=1$ の頻度分布の偏りの無い設定で の結果を分析する。

5）詳細は付録 B に記載した。

6）その他の結果の抜粋を付録 C に記載する.

図 2 コーパスレベル対象なデータセット $D_{\text {corpus }}$ （ $L=20, M=8 ）$ での結果. エラーバーは標準誤差を示す.

LLPPRPN はどの設定でもLLP $>0.5$ となり，右分岐バイアスが確認される. DIORAに関しては，ど の設定でも LLP $\approx 0.5$ であり，分岐バイアスを持た ない必要条件を概ね満たしていると言える。一方， URNNG はデータセットによって異なる傾向が観察 された。例えば，図 2上部にあるように， $D_{\text {corpus }}$ で はどの設定でも右分岐な傾向が見られるが，一部の $D_{\mathrm{seq}}$ ではバイアス無し，あるいは左分岐（図 3下部） な傾向も見られ, URNNG が分岐バイアスを持つも のの，左右の偏りはデータセットによって変化しう るということが明らかになった。

Colles index Colles index 関しては, URNNG は 他のモデルに比べ，どのデータセットでも相対的に 高く木構造の偏りが強いことが確認される。一方 で，DIORA と PRPNに関しては，相対的な差がデー タセットによって異なることが観察された. LLP での相対的な差と異なっているのは，LLP と違い Colles index は木の根に近い部分の分岐ほど強い影響を受ける [18] ことが関係していると考えられる。

## 5.2 頻度分布の影響

PRPN と DIORA は頻度分布の偏りによって対称性が崩れる $D_{\text {corpus }}$ においても，結果に大きな影響 が見られない（図 2)。一方で，URNNG は系列の頻度に強く影響されることがわかる．例えば，図 2で は LLP，Colles index ともに右肩下がりになってい る. ただし，同じ $D_{\text {corpus }}$ であっても，設定によって は，右肩上がりな傾向も見られ，変化の方向性に関 しては統一的な結論を下せない。また，頻度分布に 偏りがあっても対称性が保持される $D_{\mathrm{seq}}$ であって も，URNNG の挙動が大きく変わること（図 3）は，

図 3 系列レベル対象なデータセット $D_{\mathrm{seq}}(L=5, M=2)$ での結果. エラーバーは標準誤差を示す.

URNNG がデータセットの分岐情報の偏りではない 要素に対して不安定なのではないかと推測される.

## 5.3 先行研究の結果との比較

PRPN の右分岐バイアスは Dyer ら [7] によって数学的に証明されており，今回の実験ではこれと無矛盾な結果が得られたため，本研究の分析法の妥当性 が支持される。また，Li ら [6] は，URNNG，PRPN は英語データセットで高精度である一方，日本語 データセットでは DIORA が高精度であることが報告している．多くの設定で右分岐バイアスを持つ URNNG や PRPN と比較して, DIORA は分岐バイア スを持たない傾向があることが精度の差の要因では ないかと推測される。

## 6 結論と今後の展望

本研究では，分岐情報の偏りの無い対称的な系列集合を構成することで，PRPN や URNNG といった モデルが分岐バイアスを持つことを検証できた。そ して，いずれのデータセットでも目立った分岐バイ アスを示さなかった DIORA は「分岐バイアスを持 たない」ことの必要条件を満たしていると言える。 より詳細に分岐バイアスを分析するには，性質の異 なる系列集合を網羅的に構成したり，分析をモデル 固有のものへまで拡張することが必要になる。

また，本研究では，頻度分布の偏りによって対称性を崩した場合の実験も行ったが，この操作により 分岐情報にどの程度偏りが生じたのかは明らかで はない，今後，教師なし構文解析モデルを分析する 上では，系列集合そのものに対して分岐の偏りを定義・測定することが重要な課題になる.

## 謝辞

本研究は，JST，CREST，JPMJCR2114 の支援を受

けたものです.

## 参考文献

[1] Menno van Zaanen. ABL: Alignment-Based Learning. In COLING 2000 Volume 2: The 18th International Conference on Computational Linguistics, 2000.

[2] Yoav Seginer. Fast Unsupervised Incremental Parsing. In Proceedings of the 45th Annual Meeting of the Association of Computational Linguistics, pp. 384-391, Prague, Czech Republic, June 2007. Association for Computational Linguistics.

[3] Dan Klein and Christopher D. Manning. A Generative Constituent-Context Model for Improved Grammar Induction. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 128-135, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[4] Steven Cao, Nikita Kitaev, and Dan Klein. Unsupervised Parsing via Constituency Tests. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 4798-4808, Online, November 2020. Association for Computational Linguistics.

[5] Kewei Tu, Yong Jiang, Wenjuan Han, and Yanpeng Zhao. Unsupervised Natural Language Parsing (Introductory Tutorial). In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Tutorial Abstracts, pp. 1-5, online, April 2021. Association for Computational Linguistics.

[6] Jun Li, Yifan Cao, Jiong Cai, Yong Jiang, and Kewei Tu. An Empirical Comparison of Unsupervised Constituency Parsing Methods. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 3278-3283, Online, July 2020. Association for Computational Linguistics.

[7] Chris Dyer, Gábor Melis, and Phil Blunsom. A Critical Analysis of Biased Parsers in Unsupervised Parsing. arXiv:1909.09428 [cs], September 2019.

[8] Yikang Shen, Zhouhan Lin, Chin-wei Huang, and Aaron Courville. Neural Language Modeling by Jointly Learning Syntax and Lexicon. In International Conference on Learning Representations, February 2018.

[9] Mitchell P. Marcus, Beatrice Santorini, and Mary Ann Marcinkiewicz. Building a Large Annotated Corpus of English: The Penn Treebank. Computational Linguistics, Vol. 19, No. 2, pp. 313-330, 1993.

[10] Alastair Butler, Zhu Hong, Tomoko Hotta, Ruriko Otomo, Kei Yoshimoto, and Zhen Zhou. Keyaki treebank: phrase structure with functional information for japanese. In Proceedings of Text Annotation Workshop, p. 41, 2012.

[11] Huayang Li, Lemao Liu, Guoping Huang, and Shuming Shi. On the Branching Bias of Syntax Extracted from Pre-trained Language Models. In Findings of the Association for Computational Linguistics: EMNLP 2020, pp. 4473-4478, Online, November 2020. Association for Computational Linguistics.

[12] Lifeng Jin, Finale Doshi-Velez, Timothy Miller, William Schuler, and Lane Schwartz. Unsupervised Grammar Induction with Depth-bounded PCFG. Transactions of the Association for Computational Linguistics, Vol. 6, pp. 211-224, 2018.

[13] Andrew Drozdov, Patrick Verga, Mohit Yadav, Mohit Iyyer, and Andrew McCallum. Unsupervised Latent Tree Induction with Deep Inside-Outside Recursive AutoEncoders. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 1129-1141, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[14] Yoon Kim, Alexander Rush, Lei Yu, Adhiguna Kuncoro, Chris Dyer, and Gábor Melis. Unsupervised Recurrent Neural Network Grammars. In Proceedings of the $\mathbf{2 0 1 9}$ Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 1105-1117, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[15] Chris Dyer, Adhiguna Kuncoro, Miguel Ballesteros, and Noah A. Smith. Recurrent Neural Network Grammars. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 199-209, San Diego, California, June 2016. Association for Computational Linguistics.

[16] Mareike Fischer, Lina Herbst, Sophie Kersting, Luise Kühn, and Kristina Wicke. Tree balance indices: A comprehensive survey, September 2021.

[17] Stephen B. Heard. Patterns in Tree Balance Among Cladistic, Phenetic, and Randomly Generated Phylogenetic Trees. Evolution, Vol. 46, No. 6, pp. 1818-1826, 1992.

[18] Mark Kirxpatrick and Montgomery Slatkin. Searching for Evolutionary Patterns in the Shape of a Phylogenetic Tree. Evolution, Vol. 47, No. 4, pp. 1171-1181, 1993.

## A 文脈自由文法による系列の構造 の特徵づけの難しさ

ここでは，Jin ら [12] が分岐バイアスを分析する のに使用した左分岐な文脈自由文法で定まる言語が 右分岐な文脈自由文法で表現できることを示す. Jin ら [12] の例は以下のような左分岐の確率文脈自由文法で記述される：

$
S \xrightarrow{1} X, X \xrightarrow{p} X Y, X \xrightarrow{1-p} a, Y \xrightarrow{1} b .
$

これに対し，以下のような右分岐の確率文脈自由文法を考える：

$
S \xrightarrow{1} X, X \xrightarrow{q} a Y, X \xrightarrow{1-q} a, Y \xrightarrow{r} b Y, Y \xrightarrow{1-r} b .
$

これらは両者とも言語 $\left.\{a \cdot b^{n} \mid n \in \mathbb{N}\right.\}$ を表現する. さらに， $q=r=p$ とすると，系列 $a \cdot b^{n}$ を生成する 確率は両者とも $(1-p) \cdot p^{n}$ となる.

## B モデルの学習設定

ここでは，本研究の分析対象となるモデルのハイ パーパラメータや学習設定について述べる.

DIORA max_epoch $=30$, hidden_dim $=50$ とし，そ れ以外は著者実装7)のデフォルト値のままである。 また, DIORAはデフォルトで事前学習済み単語埋め 込みを使用する設定であるので，本研究で人工デー タで実験する際には one-hot 埋め込みを使用した.

PRPN epochs $=30$, emsize $=25$, nhid $=50$ とし，そ れ以外は著者実装8) の教師なし構文解析用のデフォ ルト值のままである.

URNNG num_epochs $=30$, w_dim $=50$, h_dim $=$ 50, q_dim $=50$ とし, それ以外は著者実装9) の教師なし構文解析用のデフォルト値のままである. ま た，著者実装において URNNG は validation データ セットを使用しているが，本研究では学習データの 情報をコントロールするため，validation データセッ トを使用しないように修正を加えた.

さらに，上記のモデルのいずれにも， backpropagationを行う際の損失のエポック間の差が $1.0 \times 10^{-5}$以下になった時点で収束したと判定し，学習を停止 した.

## C その他の実験結果

ここでは，本文に記載していない他の設定での結果を抜粋して掲載する。

7) https://github.com/iesl/diora

8) https://github.com/yikangshen/PRPN

9) https://github.com/harvardnlp/urnng

図4コーパスレベル対象なデータセット $D_{\text {corpus }}$ $(L=10, M=8)$ での結果. エラーバーは標準誤差を示す.

図 5 コーパスレベル対象なデータセット $D_{\text {corpus }}$ $(L=20, M=2)$ での結果. エラーバーは標準誤差を示す.

図6 系列レベル対象なデータセット $D_{\mathrm{seq}}(L=10, M=4)$ での結果. エラーバーは標準誤差を示す.


# 転移学習における強化学習を用いた 効率的なトークナイザとモデルの同時学習

平子潤 1 柴田知秀 2
1 名古屋大学大学院 2 ヤフー株式会社
hirako.jun@g.mbox.nagoya-u.ac.jp tomshiba@yahoo-corp.jp

## 概要

文をトークンの系列に分割するトークナイズは、言語処理の最初で行われる重要なステップである。本研究では、転移学習において、より計算コストの 増加が小さい、効率的なトークナイザとモデルの同時学習手法を提案する。提案手法は、トークナイズ 確率を方策、負のモデルロスを報酬とした強化学習 によりトークナイザを学習する。実験の結果、提案手法は既存手法よりも高い性能を達成し、また、計算時間を削減できたことを確認した。

## 1 はじめに

文をトークンの系列に分割するトークナイズは、言語処理の最初で行われる重要なステップである。特に日本語のような単語が空白で区切られていない 言語では、適切な単位にトークナイズすることが重要となっている。一般に、トークナイザはモデルと は独立に事前に定義して、モデルの学習・推論時は 固定することが一般的であり、タスクに最適なトー クナイザである保証はない。

この問題に対して、平岡らはモデルの学習と同時にトークナイザの学習も行う手法を提案してい る [1]。この手法の基本的な考えは、いくつかのトー クナイズ結果を出力し、タスクがうまく解けるよう なトークナイズ結果の確率が高くなるように、トー クナイザを学習することである。モデルを学習する ための入力に加えて、トークナイザを学習するため に $N$ 回 ${ }^{1)}$ モデルにトークナイズ結果を通す必要があ り、比較的計算コストが大きい手法となっている。 この手法は転移学習以前の手法において有効性が検証されており、BERT [2]などの転移学習モデルに適用する、というのは自然な考えであるが、事前学習時からトークナイザを同時学習することは計算コス
トの観点から難しい。

この問題を解決するため、本研究では、転移学習 にも適用できるように、より計算コストの増加が小 さい、効率的なトークナイザとモデルの同時学習手法を提案する。提案手法は、強化学習における方策勾配法を用い、トークナイズ確率を方策、負の モデルロスを報酬とし、報酬を最大化、つまりモ デルのロスを最小化するようにトークナイザの学習を行う。具体的には、1-best tokenize した結果と、 sampling tokenize した結果を比較し、前者をモデル に入力した時のモデルのロスに比べ、後者をモデル に入力した時のモデルのロスが小さければ、後者の トークナイズ確率が大きくなるようにトークナイザ を学習する。先に述べた平岡ら手法と提案手法の概要を図 1 に示す。どちらの手法もモデルの学習には sampling tokenize の結果を用いる点では同一である (それぞれの手法の図における右側) が、トークナイ ザの学習に用いるトークナイズが、平岡ら手法では N-best であるのに対し、提案手法では 1-best一つの みであるため、平岡ら手法に比べて計算量を大きく 削減することができる。

日本語言語理解ベンチマークで評価を行い、提案手法が比較手法よりも精度が高いことを示し、ま た、平岡ら手法を事前学習にも適用した手法よりも 計算時間を 50\%以下に改善できることを確認した。

## 2 提案手法

提案手法では、事前学習を行ってからファイン チューニングを行う転移学習において、モデルと トークナイザを同時に学習する。計算コストが大き い事前学習に対して適用するために、強化学習を用 いた定式化を行う。

1） 実験では $\mathrm{N}=3$ などの值が用いられている。

平岡ら (2021)

提案手法

図 1 提案手法 (右) と平岡ら手法 (左) の概要 (実線は計算グラフを構築し、誤差逆伝播を行うパスであることを示す)

## 2.1 トークナイザ

学習可能なトークナイザとして、平岡らと同様に ニューラルユニグラム言語モデルを用いたトークナ イザを利用する。このトークナイザでは、まず、語彙中の各トークンにスコア score $_{t}$ を割り当てにの 値を学習する)、単語横断的に softmax をとることで ユニグラム確率 $p(t)$ を計算する。

文 $S$ が $s=\left(t_{1}, \ldots, t_{k}, \ldots, t_{K}\right)(K$ はトークン数) に 分割されるとき、このように分割される確率 $p(s)$ は トークン列 $s$ に含まれるトークン $t_{k}$ のユニグラム確率の積で計算する。

本研究では、このユニグラム言語モデルを用いた トークナイザで、1-best tokenize と sampling tokenize の 2 つのトークナイズ結果を使用し、これらの 2 つのトークナイズ結果それぞれをモデルに入力し た時のロスを比較しながらトークナイザを学習 する。1-best tokenize と sampling tokenize を行うため の、n-best tokenize は文 $S$ に含まれる、あらゆるユニ グラム確率 $p(t)$ に対して Forward-DP Backward-A*ア ルゴリズム [3] を適用することで計算する。

## 2.2 モデルとトークナイザの同時学習

モデルの学習では、直接的な教師が存在する一方 で、トークナイザには直接的な教師が存在せず、適切に教師を設定する必要がある。そこで、タスクに おけるモデルのロスをトークナイザの間接的な教師 とし、モデルのロスが小さくなるような単語分割を
おこなうようにトークナイザを学習する。トークナ イザからモデルへのパスは微分不可能であるため、強化学習を用いてトークナイザを学習する。

## 2.2.1 強化学習の枠組み

強化学習の枠組みとして、文生成タスクに使わ れている強化学習アルゴリズム Self-critical Sequence Training for Image Captioning (SCST) [4] をべースとす る。SCST は REINFORCE アルゴリズム [5]をベース とし、単語生成確率を方策、生成された文に対する スコアを報酬とする。greedy に生成した文の報酬と sampling して生成した文の報酬を比べ、後者の方が 高ければ sampling した単語の生成確率を高めるよう に学習される。

提案手法では SCST における greedy に生成した文 の代わりに 1-best tokenize した文 $s_{*}$ s sampling で生成した文の代わりに sampling tokenize した文 $s_{s}$ を 利用し、報酬としては負のモデルのロスを利用す る2)。 $s_{*}$ ならびに $s_{s}$ をモデルに入力した時のロスの 大きさを比較し、 $s_{*}$ のモデルロスに比べて $s_{s}$ のモ デルロスが小さければ、sampling tokenize で得られ たトークナイズ結果の方がモデルがタスクを解き やすいということになるので、サンプリング系列の トークナイズ確率を上げるように、トークナイザを 学習する。ここでモデルとは事前学習時はマスク言

2) 提案手法では SCST のように時系列にそって行動 (単語の 生成)を選択するわけではなく、一度行動(トークナイズ)を 選択するのみである。

図 2 マスク言語モデルによって事前学習を行う際のマス クするトークンの候補の選択方法

語モデル、ファインチューニング時は下流タスクの モデル (文分類タスクの場合のモデルなど) を指す。

トークナイザのロス関数 $L^{t}$ は以下のように与え られる。

$
L^{t}=-\left(r\left(s_{S}\right)-r\left(s_{*}\right)\right) \log p_{\theta}\left(s_{S}\right)
$

ここで、 $\theta$ はトークナイザのパラメータ、報酬 $r$ は 負のモデルロス $-L^{m}$ を表わす。モデルのパラメー タの更新は、 $s_{s}$ をモデルに入力した時のロスを用い て行い、このモデルロスをトークナイザの更新 (式 (1) の $r\left(s_{s}\right)$ が負のモデルロスに相当) にも利用する。 $s_{s}$ でモデルのパラメータを更新することによって、 サブワード正則化 [6] を行うことができ、性能向上 が期待される。

## 2.2.2 事前学習とファインチューニング

事前学習 マスク言語モデルによって事前学習 を行う場合、通常、入力トークン列からマスクす るトークンをランダムに選択するが、提案手法の 場合、1-best tokenize と sampling tokenize ではトーク ナイズ結果が異なり得ることから、注意が必要と なる。これらの 2 つのトークナイズ結果において、 マスク言語モデルのロスを平等に比較できるよう に、マスクするトークンの候補は、1-best tokenize と sampling tokenize で同様に分割されたトークンに限定する。図 2 の例ではマスクするトークンの候補は 「楽しい」「を」「送る」となり、この例では「送る」 がマスクするトークンとして選ばれている。

ファインチューニング ファインチューニングで も同様に、1-best tokenize と sampling tokenize でのモ デルロスを比較し、sampling tokenizeを用いた場合 のモデルロスが小さければ、そのサンプリングの トークナイズ確率を上げるようにトークナイズを学習する。推論時は 1-best tokenize の結果を用いる。

## 2.3 既存手法との計算コストの比較

図 1 に示すように、提案手法と平岡ら手法では、 トークナイザを学習するためにモデルに入力する
トークナイズ結果の数が異なっており、計算コスト に差が生まれている。まず、図の左に示す平岡ら手法では、トークナイザを学習するために、モデルの 学習に用いるトークナイズ結果とは別に $\mathrm{N}$ 個のトー クナイズ結果をモデルに入力する必要がある3）。

一方で、図の右に示す提案手法ではトークナイザ を学習するために追加でモデルに入力するのは、 $s_{*}$ のみである。さらに、トークナイズの段階で $s_{s}$ と $S_{*}$ が一致した場合は、トークナイザの学習を行なわ ず、 $s_{*}$ をモデルに入力する必要がないため、さらに 計算コストを減らすことができる。以上より、提案手法を用いることで、既存の平岡ら手法よりも、小 さい計算コストでモデルとトークナイザの同時学習 を行うことが可能となる。

## 3 実験

複数の分類タスクを用いて提案手法の有効性を検証した。

## 3.1 設定

## 3.1.1 データセット

日本語言語理解ベンチマークである JGLUE [7] を 用いて評価を行った。JGLUE のうち、文章分類、文 ペア分類のタスクである MARC-ja、JSTS、JNLIを 利用した ${ }^{4)}$ 。各種データセットの詳細は付録 Bに 示す。

## 3.1.2 比較手法

以下の 4 つのモデルと提案手法を比較した。

UniLM ユニグラム言語モデルを用いたトーク ナイザを利用して、BERT の事前学習とファイン チューニングを行う手法。ソフトウェアとしては SentencePiece [8] を用いた。このモデルは、事前学習、ファインチューニングともにトークナイザは学習されない。

平岡ら手法 1 節で述べたとおり、平岡ら手法は 転移学習以前のモデルで評価されているが、提案手法との比較のために、BERT のファインチューニン グにおいて、N-best トークナイズを用いてモデルと トークナイザを同時に最適化する手法をここでは平

3） N-best の入力間でロスの大きさを比較するため、 $\mathrm{N}$ は 2 以上である必要がある。

4）JGLUE に含まれるタスクのうち、JSQuAD は形態素区切と Sentencepiece での区切が一致しないため、また、 JCommonsenseQA は質問ならびに選択肢の文長が非常に短く トークナイズの影響が小さいため、これらのタスクは提案手法での評価からは除いた。
表 1 JGLUE の文章分類・文ペア分類タスクを用いた評価実験の結果

岡ら手法と呼ぶ。この手法は再現実装した。

提案手法 (N-best tokenize) 平岡ら手法で採用さ れている N-best トークナイズを用いて、事前学習時 にもトークナイザを学習する手法5）。

提案手法 (強化学習; FT のみ) BERT の事前学習時はトークナイザを固定し、ファインチューニング 時のみ、強化学習を利用する提案手法でモデルと トークナイザを同時に学習する手法。

提案手法 BERT の事前学習時とファインチュー ニング時のどちらも、強化学習でモデルとトークナ イザを同時に学習する手法。

## 3.1.3 モデル学習の設定

提案手法を含む全ての比較モデルで、日本語 Wikipediaを用いて、BERT の事前学習を行った ${ }^{6)}$ 。 トークナイザのハイパーパラメータについては付録 Cに示す。ファインチューニングでは、損失関数 として、分類タスクである MARC-ja と JNLI では交差エントロピー損失、回帰タスクである JSTS では 平均二乗誤差を利用した。ファインチューニングは シードを変えて 3 回実行し、各評価尺度の平均と標準偏差を報告する。また全体的な性能を比較するた めに、3つのタスクの性能の平均も算出した ${ }^{7)}$ 。

## 3.2 実験結果と考察

実験結果を表 1 に示す。全体的な性能は比較手法 と比べ、提案手法が最も高いことを確認した。(2) もしくは (4)と (5)を比べることによって、事前学習 もトークナイズ学習を行った方がよいことがわか り、(3)と (5) を比べることによって、平岡らが採用 している N-best tokenize よりも提案手法の強化学習 を用いた方がよいことがわかる。

次に、提案手法を用いることで、平岡ら手法を用 いて事前学習を行った場合に比べて、どれくらい事

5）事前学習でトークナイズ学習を行っているという意味で、提案手法の亜種とみなしている。

6）ただし、next sentence prediction は文献 [9] で有効でないと されていることから行っていない。

7） JSTS の Peason と Sperman の値を平均してから、MARC-ja、 JSTS、JNLI の性能の平均をとっている。表 2 MARC-ja における改善例 (正解ラベルは P)

 & トークナイズ結果 \\

平岡ら手法 & $\mathrm{P}$ & 今はこれがないとものたりないですね。 \\
提案手法 & $\mathrm{P}$ & 今はこれがないとものたりないですね。 \\

前学習の時間を軽減することができるかについて 述べる。提案手法 (N-best tokenize) にかかる時間を 100\%とすると、提案手法が $48.8 \%$ 、UniLM が $22.8 \%$ となった。この結果から、提案手法 (N-best tokenize)、すなわち、平岡ら手法をそのまま事前学習に適用 した場合と比べ、提案手法は 2 倍以上計算時間が改善できることを確認できた。

MARC-ja における改善例を表 2 に示す。MARC-ja の例に含まれる「これがないとものたりない」は 「これがあると満足ができる」というポジティブな フレーズであるが、そのことを理解するためには、「これが」、「ないと」「ものたりない」をそれぞれ 理解する必要がある。しかしながら、UniLM では、「これ」、「がない」、「とも」、「の」、「たり」、「ない」 のように、意味を汲むためのトークンの境界と一致 しておらず、適切に意味を捉えることができていな い。一方で、提案手法では、「これが」、「ないと」、「もの」、「たり」、「ない」のように、トークンの境界 が一致しており、モデルが適切に意味を捉えること ができるようになっていると考えられる。

## 4 おわりに

本論文では転移学習において、トークナイザとモ デルの同時学習する手法を提案した。強化学習を用 いて定式化することにより、計算量を抑えられ、か つ、精度が高いことを示した。今後の課題として は、本研究で採用したトークナイザは各サブワード の生成確率のみを学習するものであり、提案手法が 比較手法に比べて大幅な精度向上を達成できなかっ たのは、このトークナイザの表現力がそれほど高く ないことが考えられ、より表現力の高いトークナイ ザを検討する予定である。

## 参考文献

[1] Tatsuya Hiraoka, Sho Takase, Kei Uchiumi, Atsushi Keyaki, and Naoaki Okazaki. Joint optimization of tokenization and downstream model. In Findings of the Association for Computational Linguistics: ACLIJCNLP 2021, pp. 244-255, Online, August 2021. Association for Computational Linguistics.

[2] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[3] Masaaki Nagata. A stochastic Japanese morphological analyzer using a forward-DP backward-A* n-best search algorithm. In COLING 1994 Volume 1: The 15th International Conference on Computational Linguistics, Kyoto, Japan, August 1994.

[4] Steven J. Rennie, Etienne Marcheret, Youssef Mroueh, Jerret Ross, and Vaibhava Goel. Self-critical sequence training for image captioning. In The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), July 2017.

[5] R. J. Williams. Simple statistical gradient-following algorithms for connectionist reinforcement learning. Machine Learning, Vol. 8, pp. 229-256, 1992.

[6] Taku Kudo. Subword regularization: Improving neural network translation models with multiple subword candidates. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 66-75, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[7] Kentaro Kurihara, Daisuke Kawahara, and Tomohide Shibata. JGLUE: Japanese general language understanding evaluation. In Proceedings of the 13th Language Resources and Evaluation Conference, Marseille, France, 2022. European Language Resources Association.

[8] Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[9] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. RoBERTa: A robustly optimized BERT pretraining approach, 2019.

[10] Phillip Keung, Yichao Lu, György Szarvas, and Noah A. Smith. The multilingual Amazon reviews corpus. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 4563-4568, Online, November 2020. Association for
Computational Linguistics

[11] Takashi Miyazaki and Nobuyuki Shimizu. Cross-lingual image caption generation. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 17801790, Berlin, Germany, August 2016. Association for Computational Linguistics.
表 3 JSTS・JNLIにおける改善例

## A JSTS・JNLIにおける改善例

JSTS と JNLI における改善例を表 3 に示す。 UniLM ではタスクを解くために重要なトークンが助詞とくっついてしまっている。JSTS の例では「子供が」のように「子供」と助詞「が」がくっついて おり、前提文の「子供」と仮説文の「女の子」の関係を捉えるのが難しい。一方、提案手法ではそれら のトークンが、助詞と離れており、より意味を適切 に捉えることができるようになっていると考えら れる。

## B JGLUE のデータセットの詳細

MARC-ja は、Multilingual Amazon Reviews Corpus [10] の、日本語レビューで構築したデータ セットであり、各レビューをポジティブとネガティ ブの 2 値で分類するタスクを解く。JSTS は、YJ Captions Dataset [11] を基に構築された、意味的類似度計算データセットであり、文ぺア間の意味的な類似度を 0 (意味が完全に異なる) から 5 (意味が等価) で回帰予測するタスクを解く。JNLI は、JSTS で同 じテキストで構築された自然言語推論データセッ トであり、文ペアに対して、前提文が仮説文に対し て持つ推論関係を含意、矛盾、中立の 3 值で分類 するタスクを解く。評価指標としては、MARC-ja、 JNLI では accuracy を用い、JSTS では Pearson および Spearman の相関係数を用いる。また、各データセッ トのデータ数を表 4 に示す。

## Cメトークナイザのハイパーパラ

提案手法で用いているトークナイザには、N-best の N と、sampling tokenize の確率分布を制御するた
めの $\alpha$ の 2 つのハイパーパラメータがある。この 2 つのパラメータを変化することで、提案手法の性能 がどのように変化するかを調査した。 $\mathrm{N} ~\{4,16\} 、$ $\alpha$ を $\{0.2,1.0\}$ でそれぞれ変化させた。計算コスト の観点から、広範囲に探索することはできなかっ た。結果を表 5 に示す。 $\mathrm{N}=4, \alpha=1.0$ のときが最も性能が高いという結果となった。このハイパーパラ メータは、sampling tokenize するときに、確率がよ り上位のトークナイズ結果をサンプリングするとい う設定である。この結果から、提案手法において、確率が上位であるトークナイズ結果同士でロスの比較を行うことがより良いトークナイザの構築に重要 であり、確率が下位のトークナイズ結果をサンプリ ングして比較することの有用性は低いことが示唆さ れる。

表 5 ハイパーパラメータ探索の結果

 &  &  \\

4 & 1.0 & $95.79_{ \pm 0.06}$ & $\mathbf{8 9 . 2 8}_{ \pm 0.38} / \mathbf{8 4 . 8 0}_{ \pm 0.47}$ & $\mathbf{8 9 . 0 9}_{ \pm 0.19}$ \\
16 & 0.2 & $95.55_{ \pm 0.07}$ & $88.64_{ \pm 0.24} / 84.38_{ \pm 0.30}$ & $87.63_{ \pm 0.21}$ \\
16 & 1.0 & $\mathbf{9 5 . 8 4}_{ \pm 0.04}$ & $88.27_{ \pm 0.17} / 83.94_{ \pm 0.12}$ & $87.85_{ \pm 0.35}$ \\