# 転移学習における強化学習を用いた 効率的なトークナイザとモデルの同時学習

平子潤 1 柴田知秀 2
1 名古屋大学大学院 2 ヤフー株式会社
hirako.jun@g.mbox.nagoya-u.ac.jp tomshiba@yahoo-corp.jp

## 概要

文をトークンの系列に分割するトークナイズは、言語処理の最初で行われる重要なステップである。本研究では、転移学習において、より計算コストの 増加が小さい、効率的なトークナイザとモデルの同時学習手法を提案する。提案手法は、トークナイズ 確率を方策、負のモデルロスを報酬とした強化学習 によりトークナイザを学習する。実験の結果、提案手法は既存手法よりも高い性能を達成し、また、計算時間を削減できたことを確認した。

## 1 はじめに

文をトークンの系列に分割するトークナイズは、言語処理の最初で行われる重要なステップである。特に日本語のような単語が空白で区切られていない 言語では、適切な単位にトークナイズすることが重要となっている。一般に、トークナイザはモデルと は独立に事前に定義して、モデルの学習・推論時は 固定することが一般的であり、タスクに最適なトー クナイザである保証はない。

この問題に対して、平岡らはモデルの学習と同時にトークナイザの学習も行う手法を提案してい る [1]。この手法の基本的な考えは、いくつかのトー クナイズ結果を出力し、タスクがうまく解けるよう なトークナイズ結果の確率が高くなるように、トー クナイザを学習することである。モデルを学習する ための入力に加えて、トークナイザを学習するため に $N$ 回 ${ }^{1)}$ モデルにトークナイズ結果を通す必要があ り、比較的計算コストが大きい手法となっている。 この手法は転移学習以前の手法において有効性が検証されており、BERT [2]などの転移学習モデルに適用する、というのは自然な考えであるが、事前学習時からトークナイザを同時学習することは計算コス
トの観点から難しい。

この問題を解決するため、本研究では、転移学習 にも適用できるように、より計算コストの増加が小 さい、効率的なトークナイザとモデルの同時学習手法を提案する。提案手法は、強化学習における方策勾配法を用い、トークナイズ確率を方策、負の モデルロスを報酬とし、報酬を最大化、つまりモ デルのロスを最小化するようにトークナイザの学習を行う。具体的には、1-best tokenize した結果と、 sampling tokenize した結果を比較し、前者をモデル に入力した時のモデルのロスに比べ、後者をモデル に入力した時のモデルのロスが小さければ、後者の トークナイズ確率が大きくなるようにトークナイザ を学習する。先に述べた平岡ら手法と提案手法の概要を図 1 に示す。どちらの手法もモデルの学習には sampling tokenize の結果を用いる点では同一である (それぞれの手法の図における右側) が、トークナイ ザの学習に用いるトークナイズが、平岡ら手法では N-best であるのに対し、提案手法では 1-best一つの みであるため、平岡ら手法に比べて計算量を大きく 削減することができる。

日本語言語理解ベンチマークで評価を行い、提案手法が比較手法よりも精度が高いことを示し、ま た、平岡ら手法を事前学習にも適用した手法よりも 計算時間を 50\%以下に改善できることを確認した。

## 2 提案手法

提案手法では、事前学習を行ってからファイン チューニングを行う転移学習において、モデルと トークナイザを同時に学習する。計算コストが大き い事前学習に対して適用するために、強化学習を用 いた定式化を行う。

1） 実験では $\mathrm{N}=3$ などの值が用いられている。

平岡ら (2021)

提案手法

図 1 提案手法 (右) と平岡ら手法 (左) の概要 (実線は計算グラフを構築し、誤差逆伝播を行うパスであることを示す)

## 2.1 トークナイザ

学習可能なトークナイザとして、平岡らと同様に ニューラルユニグラム言語モデルを用いたトークナ イザを利用する。このトークナイザでは、まず、語彙中の各トークンにスコア score $_{t}$ を割り当てにの 値を学習する)、単語横断的に softmax をとることで ユニグラム確率 $p(t)$ を計算する。

文 $S$ が $s=\left(t_{1}, \ldots, t_{k}, \ldots, t_{K}\right)(K$ はトークン数) に 分割されるとき、このように分割される確率 $p(s)$ は トークン列 $s$ に含まれるトークン $t_{k}$ のユニグラム確率の積で計算する。

本研究では、このユニグラム言語モデルを用いた トークナイザで、1-best tokenize と sampling tokenize の 2 つのトークナイズ結果を使用し、これらの 2 つのトークナイズ結果それぞれをモデルに入力し た時のロスを比較しながらトークナイザを学習 する。1-best tokenize と sampling tokenize を行うため の、n-best tokenize は文 $S$ に含まれる、あらゆるユニ グラム確率 $p(t)$ に対して Forward-DP Backward-A*ア ルゴリズム [3] を適用することで計算する。

## 2.2 モデルとトークナイザの同時学習

モデルの学習では、直接的な教師が存在する一方 で、トークナイザには直接的な教師が存在せず、適切に教師を設定する必要がある。そこで、タスクに おけるモデルのロスをトークナイザの間接的な教師 とし、モデルのロスが小さくなるような単語分割を
おこなうようにトークナイザを学習する。トークナ イザからモデルへのパスは微分不可能であるため、強化学習を用いてトークナイザを学習する。

## 2.2.1 強化学習の枠組み

強化学習の枠組みとして、文生成タスクに使わ れている強化学習アルゴリズム Self-critical Sequence Training for Image Captioning (SCST) [4] をべースとす る。SCST は REINFORCE アルゴリズム [5]をベース とし、単語生成確率を方策、生成された文に対する スコアを報酬とする。greedy に生成した文の報酬と sampling して生成した文の報酬を比べ、後者の方が 高ければ sampling した単語の生成確率を高めるよう に学習される。

提案手法では SCST における greedy に生成した文 の代わりに 1-best tokenize した文 $s_{*}$ s sampling で生成した文の代わりに sampling tokenize した文 $s_{s}$ を 利用し、報酬としては負のモデルのロスを利用す る2)。 $s_{*}$ ならびに $s_{s}$ をモデルに入力した時のロスの 大きさを比較し、 $s_{*}$ のモデルロスに比べて $s_{s}$ のモ デルロスが小さければ、sampling tokenize で得られ たトークナイズ結果の方がモデルがタスクを解き やすいということになるので、サンプリング系列の トークナイズ確率を上げるように、トークナイザを 学習する。ここでモデルとは事前学習時はマスク言

2) 提案手法では SCST のように時系列にそって行動 (単語の 生成)を選択するわけではなく、一度行動(トークナイズ)を 選択するのみである。

図 2 マスク言語モデルによって事前学習を行う際のマス クするトークンの候補の選択方法

語モデル、ファインチューニング時は下流タスクの モデル (文分類タスクの場合のモデルなど) を指す。

トークナイザのロス関数 $L^{t}$ は以下のように与え られる。

$
L^{t}=-\left(r\left(s_{S}\right)-r\left(s_{*}\right)\right) \log p_{\theta}\left(s_{S}\right)
$

ここで、 $\theta$ はトークナイザのパラメータ、報酬 $r$ は 負のモデルロス $-L^{m}$ を表わす。モデルのパラメー タの更新は、 $s_{s}$ をモデルに入力した時のロスを用い て行い、このモデルロスをトークナイザの更新 (式 (1) の $r\left(s_{s}\right)$ が負のモデルロスに相当) にも利用する。 $s_{s}$ でモデルのパラメータを更新することによって、 サブワード正則化 [6] を行うことができ、性能向上 が期待される。

## 2.2.2 事前学習とファインチューニング

事前学習 マスク言語モデルによって事前学習 を行う場合、通常、入力トークン列からマスクす るトークンをランダムに選択するが、提案手法の 場合、1-best tokenize と sampling tokenize ではトーク ナイズ結果が異なり得ることから、注意が必要と なる。これらの 2 つのトークナイズ結果において、 マスク言語モデルのロスを平等に比較できるよう に、マスクするトークンの候補は、1-best tokenize と sampling tokenize で同様に分割されたトークンに限定する。図 2 の例ではマスクするトークンの候補は 「楽しい」「を」「送る」となり、この例では「送る」 がマスクするトークンとして選ばれている。

ファインチューニング ファインチューニングで も同様に、1-best tokenize と sampling tokenize でのモ デルロスを比較し、sampling tokenizeを用いた場合 のモデルロスが小さければ、そのサンプリングの トークナイズ確率を上げるようにトークナイズを学習する。推論時は 1-best tokenize の結果を用いる。

## 2.3 既存手法との計算コストの比較

図 1 に示すように、提案手法と平岡ら手法では、 トークナイザを学習するためにモデルに入力する
トークナイズ結果の数が異なっており、計算コスト に差が生まれている。まず、図の左に示す平岡ら手法では、トークナイザを学習するために、モデルの 学習に用いるトークナイズ結果とは別に $\mathrm{N}$ 個のトー クナイズ結果をモデルに入力する必要がある3）。

一方で、図の右に示す提案手法ではトークナイザ を学習するために追加でモデルに入力するのは、 $s_{*}$ のみである。さらに、トークナイズの段階で $s_{s}$ と $S_{*}$ が一致した場合は、トークナイザの学習を行なわ ず、 $s_{*}$ をモデルに入力する必要がないため、さらに 計算コストを減らすことができる。以上より、提案手法を用いることで、既存の平岡ら手法よりも、小 さい計算コストでモデルとトークナイザの同時学習 を行うことが可能となる。

## 3 実験

複数の分類タスクを用いて提案手法の有効性を検証した。

## 3.1 設定

## 3.1.1 データセット

日本語言語理解ベンチマークである JGLUE [7] を 用いて評価を行った。JGLUE のうち、文章分類、文 ペア分類のタスクである MARC-ja、JSTS、JNLIを 利用した ${ }^{4)}$ 。各種データセットの詳細は付録 Bに 示す。

## 3.1.2 比較手法

以下の 4 つのモデルと提案手法を比較した。

UniLM ユニグラム言語モデルを用いたトーク ナイザを利用して、BERT の事前学習とファイン チューニングを行う手法。ソフトウェアとしては SentencePiece [8] を用いた。このモデルは、事前学習、ファインチューニングともにトークナイザは学習されない。

平岡ら手法 1 節で述べたとおり、平岡ら手法は 転移学習以前のモデルで評価されているが、提案手法との比較のために、BERT のファインチューニン グにおいて、N-best トークナイズを用いてモデルと トークナイザを同時に最適化する手法をここでは平

3） N-best の入力間でロスの大きさを比較するため、 $\mathrm{N}$ は 2 以上である必要がある。

4）JGLUE に含まれるタスクのうち、JSQuAD は形態素区切と Sentencepiece での区切が一致しないため、また、 JCommonsenseQA は質問ならびに選択肢の文長が非常に短く トークナイズの影響が小さいため、これらのタスクは提案手法での評価からは除いた。
表 1 JGLUE の文章分類・文ペア分類タスクを用いた評価実験の結果

岡ら手法と呼ぶ。この手法は再現実装した。

提案手法 (N-best tokenize) 平岡ら手法で採用さ れている N-best トークナイズを用いて、事前学習時 にもトークナイザを学習する手法5）。

提案手法 (強化学習; FT のみ) BERT の事前学習時はトークナイザを固定し、ファインチューニング 時のみ、強化学習を利用する提案手法でモデルと トークナイザを同時に学習する手法。

提案手法 BERT の事前学習時とファインチュー ニング時のどちらも、強化学習でモデルとトークナ イザを同時に学習する手法。

## 3.1.3 モデル学習の設定

提案手法を含む全ての比較モデルで、日本語 Wikipediaを用いて、BERT の事前学習を行った ${ }^{6)}$ 。 トークナイザのハイパーパラメータについては付録 Cに示す。ファインチューニングでは、損失関数 として、分類タスクである MARC-ja と JNLI では交差エントロピー損失、回帰タスクである JSTS では 平均二乗誤差を利用した。ファインチューニングは シードを変えて 3 回実行し、各評価尺度の平均と標準偏差を報告する。また全体的な性能を比較するた めに、3つのタスクの性能の平均も算出した ${ }^{7)}$ 。

## 3.2 実験結果と考察

実験結果を表 1 に示す。全体的な性能は比較手法 と比べ、提案手法が最も高いことを確認した。(2) もしくは (4)と (5)を比べることによって、事前学習 もトークナイズ学習を行った方がよいことがわか り、(3)と (5) を比べることによって、平岡らが採用 している N-best tokenize よりも提案手法の強化学習 を用いた方がよいことがわかる。

次に、提案手法を用いることで、平岡ら手法を用 いて事前学習を行った場合に比べて、どれくらい事

5）事前学習でトークナイズ学習を行っているという意味で、提案手法の亜種とみなしている。

6）ただし、next sentence prediction は文献 [9] で有効でないと されていることから行っていない。

7） JSTS の Peason と Sperman の値を平均してから、MARC-ja、 JSTS、JNLI の性能の平均をとっている。表 2 MARC-ja における改善例 (正解ラベルは P)

 & トークナイズ結果 \\

平岡ら手法 & $\mathrm{P}$ & 今はこれがないとものたりないですね。 \\
提案手法 & $\mathrm{P}$ & 今はこれがないとものたりないですね。 \\

前学習の時間を軽減することができるかについて 述べる。提案手法 (N-best tokenize) にかかる時間を 100\%とすると、提案手法が $48.8 \%$ 、UniLM が $22.8 \%$ となった。この結果から、提案手法 (N-best tokenize)、すなわち、平岡ら手法をそのまま事前学習に適用 した場合と比べ、提案手法は 2 倍以上計算時間が改善できることを確認できた。

MARC-ja における改善例を表 2 に示す。MARC-ja の例に含まれる「これがないとものたりない」は 「これがあると満足ができる」というポジティブな フレーズであるが、そのことを理解するためには、「これが」、「ないと」「ものたりない」をそれぞれ 理解する必要がある。しかしながら、UniLM では、「これ」、「がない」、「とも」、「の」、「たり」、「ない」 のように、意味を汲むためのトークンの境界と一致 しておらず、適切に意味を捉えることができていな い。一方で、提案手法では、「これが」、「ないと」、「もの」、「たり」、「ない」のように、トークンの境界 が一致しており、モデルが適切に意味を捉えること ができるようになっていると考えられる。

## 4 おわりに

本論文では転移学習において、トークナイザとモ デルの同時学習する手法を提案した。強化学習を用 いて定式化することにより、計算量を抑えられ、か つ、精度が高いことを示した。今後の課題として は、本研究で採用したトークナイザは各サブワード の生成確率のみを学習するものであり、提案手法が 比較手法に比べて大幅な精度向上を達成できなかっ たのは、このトークナイザの表現力がそれほど高く ないことが考えられ、より表現力の高いトークナイ ザを検討する予定である。

## 参考文献

[1] Tatsuya Hiraoka, Sho Takase, Kei Uchiumi, Atsushi Keyaki, and Naoaki Okazaki. Joint optimization of tokenization and downstream model. In Findings of the Association for Computational Linguistics: ACLIJCNLP 2021, pp. 244-255, Online, August 2021. Association for Computational Linguistics.

[2] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[3] Masaaki Nagata. A stochastic Japanese morphological analyzer using a forward-DP backward-A* n-best search algorithm. In COLING 1994 Volume 1: The 15th International Conference on Computational Linguistics, Kyoto, Japan, August 1994.

[4] Steven J. Rennie, Etienne Marcheret, Youssef Mroueh, Jerret Ross, and Vaibhava Goel. Self-critical sequence training for image captioning. In The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), July 2017.

[5] R. J. Williams. Simple statistical gradient-following algorithms for connectionist reinforcement learning. Machine Learning, Vol. 8, pp. 229-256, 1992.

[6] Taku Kudo. Subword regularization: Improving neural network translation models with multiple subword candidates. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 66-75, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[7] Kentaro Kurihara, Daisuke Kawahara, and Tomohide Shibata. JGLUE: Japanese general language understanding evaluation. In Proceedings of the 13th Language Resources and Evaluation Conference, Marseille, France, 2022. European Language Resources Association.

[8] Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[9] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. RoBERTa: A robustly optimized BERT pretraining approach, 2019.

[10] Phillip Keung, Yichao Lu, György Szarvas, and Noah A. Smith. The multilingual Amazon reviews corpus. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 4563-4568, Online, November 2020. Association for
Computational Linguistics

[11] Takashi Miyazaki and Nobuyuki Shimizu. Cross-lingual image caption generation. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 17801790, Berlin, Germany, August 2016. Association for Computational Linguistics.
表 3 JSTS・JNLIにおける改善例

## A JSTS・JNLIにおける改善例

JSTS と JNLI における改善例を表 3 に示す。 UniLM ではタスクを解くために重要なトークンが助詞とくっついてしまっている。JSTS の例では「子供が」のように「子供」と助詞「が」がくっついて おり、前提文の「子供」と仮説文の「女の子」の関係を捉えるのが難しい。一方、提案手法ではそれら のトークンが、助詞と離れており、より意味を適切 に捉えることができるようになっていると考えら れる。

## B JGLUE のデータセットの詳細

MARC-ja は、Multilingual Amazon Reviews Corpus [10] の、日本語レビューで構築したデータ セットであり、各レビューをポジティブとネガティ ブの 2 値で分類するタスクを解く。JSTS は、YJ Captions Dataset [11] を基に構築された、意味的類似度計算データセットであり、文ぺア間の意味的な類似度を 0 (意味が完全に異なる) から 5 (意味が等価) で回帰予測するタスクを解く。JNLI は、JSTS で同 じテキストで構築された自然言語推論データセッ トであり、文ペアに対して、前提文が仮説文に対し て持つ推論関係を含意、矛盾、中立の 3 值で分類 するタスクを解く。評価指標としては、MARC-ja、 JNLI では accuracy を用い、JSTS では Pearson および Spearman の相関係数を用いる。また、各データセッ トのデータ数を表 4 に示す。

## Cメトークナイザのハイパーパラ

提案手法で用いているトークナイザには、N-best の N と、sampling tokenize の確率分布を制御するた
めの $\alpha$ の 2 つのハイパーパラメータがある。この 2 つのパラメータを変化することで、提案手法の性能 がどのように変化するかを調査した。 $\mathrm{N} ~\{4,16\} 、$ $\alpha$ を $\{0.2,1.0\}$ でそれぞれ変化させた。計算コスト の観点から、広範囲に探索することはできなかっ た。結果を表 5 に示す。 $\mathrm{N}=4, \alpha=1.0$ のときが最も性能が高いという結果となった。このハイパーパラ メータは、sampling tokenize するときに、確率がよ り上位のトークナイズ結果をサンプリングするとい う設定である。この結果から、提案手法において、確率が上位であるトークナイズ結果同士でロスの比較を行うことがより良いトークナイザの構築に重要 であり、確率が下位のトークナイズ結果をサンプリ ングして比較することの有用性は低いことが示唆さ れる。

表 5 ハイパーパラメータ探索の結果

 &  &  \\

4 & 1.0 & $95.79_{ \pm 0.06}$ & $\mathbf{8 9 . 2 8}_{ \pm 0.38} / \mathbf{8 4 . 8 0}_{ \pm 0.47}$ & $\mathbf{8 9 . 0 9}_{ \pm 0.19}$ \\
16 & 0.2 & $95.55_{ \pm 0.07}$ & $88.64_{ \pm 0.24} / 84.38_{ \pm 0.30}$ & $87.63_{ \pm 0.21}$ \\
16 & 1.0 & $\mathbf{9 5 . 8 4}_{ \pm 0.04}$ & $88.27_{ \pm 0.17} / 83.94_{ \pm 0.12}$ & $87.85_{ \pm 0.35}$ \\


# 語彙制約付きニューラル単語分割器を用いた 後処理としての単語分割の後段タスクへの最適化

平岡達也 岩倉友哉
富士通株式会社
\{hiraoka.tatsuya, iwakura.tomoya\}@fujitsu.com

## 概要

本稿では，後段タスクのモデルを改変することな く，単語分割器をモデルに最適化することで，精度改善を行う手法を提案する. 本手法は, 精度を改善 したいタスクのモデルが与えられた際に，モデルが 扱える単語に出力を制限しつつ，モデルにおける損失関数を最小化する単語列を生成するような単語分割器を学習する。また，文脈情報をよりよく捉える ために，LSTM 上で語彙制約付きの単語分割手法を 提案する. 本手法を, 日本語, 中国語, 英語の文書分類タスクで評価した結果，ユニグラム言語モデル による単語分割の最適化手法, 単語の限定を行わな いニューラル単語分割器と比較し，提案手法が性能 の向上に寄与することが示された.

## 1 はじめに

単語分割は，さまざまな自然言語処理に共通する 前処理の一つである. 文書分類や機械翻訳などの後段タスクでは，それぞれのタスクやドメイン、モデ ル構造に応じて適切な単語分割を用いることで性能 の向上が得られることが知られている $[1,2,3]$. 近年では後段タスクで学習済みのモデルに対して適切な単語分割を求める手法が提案されている $[4,5]$. これらの手法は，すでに学習されている後段モデル のパラメータを固定し，より性能が向上するような 単語分割を後処理として求めることができる。

従来の後処理としての単語分割の最適化手法に は，2つの課題が残されている. 1 つ目の課題は,従来手法 [5] では文脈に応じた単語分割がされにく いという点である。これは従来手法が単語分割器と してユニグラム言語モデル採用しているためであ る. タスクの性能が向上するような単語分割を探索 した時，ある文脈でタスクの性能向上に貢献する単語が，別の文脈でもタスク向上に繫がるとは限らな

図 1 本手法で用いる語彙の制約（式 (4)）をテーブルと して表現した図．網掛けセルは未知語を表す。

い.この問題は，例えば BI タグ付けによる文字レ ベルでのニューラル単語分割モデル $[6,7]$ を用いれ ば，解決されるように思われる。しかしながら，文字レベルのタグ付けによる単語分割では，実際に後段モデルで利用できる語彙には含まれていない未知語が出力されてしまう可能性がある [8].

2 つ目の課題は, 単語分割の最適化のために後段 モデルの構造を修正する必要があるという点であ る $[4,5]$. 広く利用されているモデルをそのまま使 うことが出来ないため，後処理としての単語分割の 最適化技術の利用の障壁となっている。

本研究では 1 つ目の課題への対処として, 出力可能な語彙を制限したニューラル単語分割器による,後処理としての単語分割の最適化手法を提案する. これにより，従来のユニグラム言語モデルを用いた 手法よりも高い表現力を持った単語分割器を用い て, 後処理としての単語分割の最適化を行うことが できる. さらに 2 つ目の課題への対処として，後段 モデルの処理と単語分割の最適化処理の独立性を高 めた学習方法を提案する，日本語，中国語，英語で の文書分類の実験より，提案手法が後処理としての 単語分割の最適化として妥当であることを示す。

## 2 後処理としての単語分割の最適化

本研究で対象とするタスクは, 後処理としての単語分割の最適化である. 本タスクでは文書分類など の後段タスクの学習データ $D$ と単語分割器 $T$, 単語分割済みのデータ $D^{\prime}$ で学習を行なった後段モデル $\theta$ 前提とする.また, $s \in D$ は学習データに含ま れる入力テキスト, $s^{\prime} \in D^{\prime}$ は単語分割器 $T$ で分割 を行ったテキストで， $s^{\prime}=T(s)$ である. 様々な単語分割器を $T$ として利用できるが、本研究ではユニグ ラム言語モデルによる単語分割器 [9] を使用する.

$s$ の可能な単語分割は $N$ 種類あり,$s_{1}^{\prime} \ldots s_{N}^{\prime}$ と表 す. ここで， $N$ の最大数は $s$ の文字数 $|s|$ について $N=2^{|s|-1}$ である. 実際には，後段モデルで使用で きる語彙 $V_{\theta}$ が限られているため, $N$ はある程度の 大きさに収まる. 後処理としての単語分割の最適化 の目的は，後段タスクで後段モデルの性能が高くな る単語分割を出力する $\hat{T}$ を求めることである.

## 3 提案手法

## 3.1 学習の概要

本手法では，後段モデルの構造を変更せずに後処理としての単語分割の最適化を行えるように，後段 モデルとは別に新しく単語分割器を学習する. 具体的には以下に説明する通り, 学習データでの性能が 高くなるような単語分割の収集と, 単語分割器の学習の 2 ステップに分けることで，後段モデルと単語分割器の独立性を高める.

## 学習データにおいて損失が小さい単語分割の収集 はじめに, $s \in D$ の可能な $N$ 種類の単語分割 $s_{1}^{\prime} \ldots s_{N}^{\prime}$ のうち，学習データでの損失が最も小さくなるよう な単語分割のみを収集した学習データ $\hat{s} \in \hat{D}$ を構築する. 各テキストの $N$ 種類の単語分割について は，例えば $N$-best の単語分割 [10] を用いたり，サブ ワード正則などで利用される単語分割のサンプリン グ $[11,12,13]$ によって収集する方法を用いたりする ことができる. 本研究では, $N=100$ とし, $N$-best 単語分割を用いた. $\hat{D}$ の構築には，学習済みの後段 モデル $\theta$ に $N$ 種類の単語分割を入力し, それぞれの 正解ラベルに対する損失を計算すれば良い. そのた め $\hat{D}$ から学習することで、後段モデルの構造を変え ずに後処理としての単語分割の最適化を行える.

$\hat{D}$ を再現する単語分割器 $\hat{T}$ の学習 次に, $\hat{D}$ の単語分割を再現するような新たな単語分割器 $\hat{T}$ を学習
する. 学習データにおいて後段モデルの損失が小さ くなるような単語分割を学習した単語分割器 $\hat{T}$ は,検証データやテストデータにおいても正解ラベルと の損失が低い単語分割を出力すると期待される.

## 3.2 語彙制約付きニューラル単語分割器

$\hat{D}$ の単語分割を学習するための単語分割器 $\hat{T} に$ は，様々な手法を用いることができる．この単語分割器の表現力が高いほど，損失が低くなるような単語分割の再現性能が高くなると考えられる。

表現力の高い単語分割器の例として，単語分割を BI タグで表現してニューラルネットワークを学習 する手法 $[6,7]$ がある. しかし，この方法では後段 モデル $\theta$ が使うことができる語彙，すなわちオリジ ナルの単語分割器 $T$ で用いている語彙 $V_{\theta}$ には含ま れない未知語を出力してしまう場合がある.このよ うな未知語は，後段モデルにおいて適切に単語埋め 込みへと変換できないため，後段タスクにおける性能低下につながると考えられる。

そこで本研究では出力可能な単語を考慮し [14],利用できる語彙を制限したニューラル単語分割器を 作成する. $K$ 文字のテキスト $s=c_{1} \ldots c_{K}$ について， $i$文字目で始まり $j$ 文字目で終わる単語 $w_{i, j}$ の出現確率 $p\left(w_{i, j} \mid s\right)$ を，次のように計算する。

$
\begin{aligned}
\mathbf{h}_{k} & =\operatorname{BiLSTM}\left(\mathbf{v}_{c_{1}} \ldots \mathbf{v}_{c_{K}}\right)_{k}, \\
\mathbf{h}_{k}^{(\text {begin })} & =\operatorname{MLP}_{\text {begin }}\left(\mathbf{h}_{k}\right), \\
\mathbf{h}_{k}^{(\text {end })} & =\operatorname{MLP}_{\text {end }}\left(\mathbf{h}_{k}\right), \\
p\left(w_{i, j} \mid s\right) & =\left.\{\begin{array}{ll}
\sigma\left(\mathbf{h}_{i}^{(\text {begin })^{\top}} \mathbf{h}_{j}^{(\text {end })}\right) & \text { if } w_{i, j} \in V_{\theta} \\
0 & \text { otherwise }
\end{array} .\right.
\end{aligned}
$

ここで $\operatorname{BiLSTM}(\cdot)_{\mathrm{k}}$ は， $k$ 番目の入力 $\mathbf{v}_{c_{k}}$ に対応す る BiLSTM [15, 16] の出力を得る操作である. ま た $\mathbf{v}_{c_{k}}$ は， $c_{k}$ に対応する文字埋め込み表現である. $\mathrm{MLP}_{\text {begin }}$ と $\mathrm{MLP}_{\text {end }}$ はそれぞれ異なる多層パーセプ トロン， $\sigma(\cdot)$ はシグモイド関数である.

$p\left(w_{i, j} \mid s\right)$ は $s$ ごとにまとめて計算することがで き，その処理は図 1 に示すような上三角行列として 表せる. 図と式 4 に示すように，後段モデルの語彙 $V_{\theta}$ に含まれない単語は確率が 0 になるようにマス クされる。これにより, 単語分割器が利用できる語彙にハードな制約を与え，未知語の出力を防ぐ.

単語分割器の学習時は, 各学習サンプル $\hat{s}$ につい

表 1 文書分類での性能（F1 值，テストデータ）.太字は単語分割の最適化を行う手法のうち，オリジナルの後段モデル （最適化なし）の値を超えるもの，下線は比較手法間での最大値を示す.

て以下の損失を最小化するように最適化する.

$
\mathscr{L}_{\hat{s}}=-\sum_{w \in \hat{s}} \log p(w \mid s) .
$

推論時は， $\sum_{w \in s^{\prime}} \log (p(w \mid s))$ が最も大きくなるよう な系列 $s^{\prime}$ を゙タビアルゴリズム [17]で求める.

## 4 実験

## 4.1 設定

データセット 実験では，後段タスクとして文書分類を用いた。単語分割の後段タスクへの影響が大きいと考えられる言語として, 日本語と 中国語のデータセットを利用した. Twitter [18] と WRIME [19] は, 日本語の SNSへの投稿から作成さ れた感情分類データセットである. Weibo は中国語のSNSへの投稿から作成された感情分類データ セット ${ }^{1)}$, Genre と Rate はEコマースサイトに投稿 された中国語のレビューから作成した商品のジャン ル予測とレート予測のためのデータセット [20] であ る. さらに，スペース区切りで単語境界を明示する 言語での実験のために，英語の Twitterへの投稿から 作成した感情分類データセット22)用いた.

後段モデル 後段モデル $\theta$ は, 各文書分類の学習 データで事前に学習を行う. 本研究では，BiLSTM で単語分散表現の系列をエンコードし，線形層でラ ベルのスコアを予測するモデルを採用した. 単語分散表現の次元数は 64 ，BiLSTM のレイヤ数は 1 ，隠 れ層の次元数は前向き・後ろ向きそれぞれ 256 とし た. 各データセットで 20 エポックの学習を行い,検証データでの性能が最大となるモデルを $\theta$ として 利用する. 後段モデルの学習のための単語分割器 $T$ には，SentencePieceの Unigram モードを用いた。語

1) https://github.com/wansho/senti-weibo

2) https://www.kaggle.com/c/twitter-sentiment-analysis2彙 $V_{\theta}$ の大きさは 16,000 とし, 後段モデルの学習に は $\alpha=0.2$ でサブワード正則化 [11]を用いた.

比較手法 本実験では， $\hat{D}$ を学習する単語分割器 として 2 種類の比較対象を用いる. ユニグラムは， $\hat{D}$ に含まれる単語の頻度を数え上げることでユニグ ラム言語モデルを作成し，単語分割に利用する最も 単純な手法である．BI タグ付けは，BiLSTM-CRFに よる系列ラベリング手法を用いて，単語分割を表す BI タグの系列を予測する手法 [7] である ${ }^{3}$. さらに，後段モデル $\theta$ を学習に組み込んで単語分割を最適化 する従来手法として OpTok [5]を用いた。

## 4.2 後段タスクでの性能

各データセットでの実験結果を表 1 にまとめた。「最適化なし」の列には，オリジナルの単語分割で 学習した後段モデル $\theta$ の性能を示した.「最適化あ り」の各列には，学習済みの後段モデルに対して後処理として単語分割を最適化した結果4)を示した。

実験結果より, OpTok と提案手法はすべてのデー タセットで，単語分割の最適化による性能の向上が 得られた. また，提案手法は複数のデータセットで OpTok の性能を上回ることが確認された. 一方で，最も単純なユニグラム言語モデルによる手法や，広 く使われるニューラル単語分割器である BI タグ付 による手法では，オリジナルのモデルよりも性能が 下がる場合が多いことが分かった.

「オラクル」の列には，テストデータの 100-best 分割を学習済みの後段モデルに入力し，損失が最も小 さくなるような単語分割だけを選択したときの性能 を示した．すなわちこの値は，単語分割のみを修正 して到達可能な性能の上限である. 実際にはテスト

3）https://github.com/jidasheng/bi-lstm-crf の実装を用 いた. 文字分散表現の次元数は 128 ，BiLSTM の隠れ層の次元数は 256 とし, 200 エポックの学習を行った.

4）BI タグ付け, OpTok，提案手法については 3 回試行の平均. 検証データでの性能が最大となる単語分割器で評価.

表 2 各手法による学習データの単語分割の再現性能 (正解率) と, 検証データでの未知語出現割合.

データの正解ラベルは未知であるため、この値への 到達は困難だが，後処理としての単語分割による性能向上の余地は大いに残されていると言える。

## 4.3 単語分割の再現性能と未知語割合

本手法では，学習データでの損失が低くなるよう な単語分割 $\hat{D}$ を再現するように，ニューラル単語分割器の学習を行った. 表現力の低い単語分割器で は， $\hat{D}$ を再現することも難しいと考えられる。そこ で各単語分割手法が，それぞれどの程度単語分割の 学習データを再現できているかを調べた。

表 2 の「学習データの正解率」として，ユニグラ ム言語モデル，BI タグ付け，提案手法のそれぞれ について，学習データでの単語分割の正解率を示し $た^{5)}$. ユニグラム言語モデルは単語の頻度数え上げ で作成したモデル，BI タグ付けと提案手法はそれぞ れ 200 エポックの学習を行ったモデルで評価した. また正解率は，単語分割を BI ラベルに変換した上 で，ラベルの一致率として計算した。

学習データの単語分割の正解率より, ユニグラム 言語モデルよりもニューラルネットワークを用いた BI タグ付けや，提案手法の再現性能が高いことが分 かる. 提案手法に比べて BI タグ付けの手法は, 文字 レベルで単語境界を予測できる点で表現力が高く,学習データの正解率も高くなっている. 提案手法の 表現力は，語彙をハードに制約する点で BI タグ付 けの手法に劣り，正解率もやや低くなっている. し かし, 単語分割最適化の従来手法 OpTok が採用して いるユニグラム言語モデルよりも，提案手法は学習 データの単語分割を再現できている。このため 4.2 節の実験においては，単語分割の最適化にニューラ ル単語分割器を用いる提案手法が，OpTok よりも高 い性能の向上幅を得られていると考えられる.

表 2 の「検証データでの未知語割合」では，ユニ グラム言語モデル，BI タグ付け，提案手法のそれぞ れが検証データで後段モデルの語彙 $V_{\theta}$ に含まれな い単語を出力した割合を示している。

ユニグラムと提案手法は，その性質として未知文字以外の未知語を出力することが出来ないため，検証データでの未知語割合はほぼゼロになっている.一方で BI タグ付けの手法は, 出力できる単語につ いての制約がないため，最大で $11.5 \%$ も未知語を 出力している。これらの未知語が，4.2 節の実験に おける後段モデルの性能低下につながったと考えら れる。実際に表 1 にまとめた BI タグ付けによる手法の性能は，多くのデータセットで「最適化なし」 のモデルよりも低い値になっている。

これらの結果より, 後処理としての単語分割の最適化においては，提案手法のように語彙の制約を設 けたニューラル単語分割器を用いることが妥当であ ると結論付けることができる。

## 5 おわりに

本稿では，後処理としての単語分割の最適化の手法にニューラル単語分割器を用いる方法を提案し た. 本手法では後段タスクの学習データのうち，学習済みモデルの損失が小さくなるような単語分割を 収集し，単語分割器の学習に用いる。また，後段モ デルが利用できる語彙は限られているため，出力で きる単語を制限するようなニューラル単語分割器を 作成した．文書分類タスクでの実験結果より，提案手法は従来手法による後処理としての単語分割の最適化よりも性能が高くなるような単語分割を獲得で きることが分かった。また，一般的に用いられる BI タグ付けによる単語分割器とは異なり，未知語の発生を防ぐことができることが示された．今後は機械翻訳などのタスクでの実験や，後段モデルと単語分割の同時最適化にも本手法を応用していく.

## 謝辞

本研究は，JST，ACT-X，JPMJAX21AM の支援を 受けたものです.

## 参考文献

[1] Tatsuya Hiraoka, Hiroyuki Shindo, and Yuji Matsumoto. Stochastic tokenization with a language model for neural text classification. In Proceedings of the 57th Annual Meeting of ACL, pp. 1620-1629, 2019.

[2] Kaj Bostrom and Greg Durrett. Byte pair encoding is suboptimal for language model pretraining. In Findings of ACL: EMNLP 2020, pp. 4617-4624, 2020.

[3] Hoo-Chang Shin, Yang Zhang, Evelina Bakhturina, Raul Puri, Mostofa Patwary, Mohammad Shoeybi, and Raghav Mani. BioMegatron: Larger biomedical domain language model. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on EMNLP, pp. 4700-4706, Online, November 2020. Association for Computational Linguistics.

[4] Tatsuya Hiraoka, Sho Takase, Kei Uchiumi, Atsushi Keyaki, and Naoaki Okazaki. Optimizing word segmentation for downstream task. In Findings of ACL: EMNLP 2020, pp. 1341-1351, Online, November 2020. Association for Computational Linguistics.

[5] Tatsuya Hiraoka, Sho Takase, Kei Uchiumi, Atsushi Keyaki, and Naoaki Okazaki. Joint optimization of tokenization and downstream model. In Findings of ACL: ACL-IJCNLP 2021, pp. 244-255, 2021.

[6] Xinchi Chen, Xipeng Qiu, Chenxi Zhu, Pengfei Liu, and Xuan-Jing Huang. Long short-term memory neural networks for chinese word segmentation. In Proceedings of the 2015 conference on EMNLP, pp. 1197-1206, 2015.

[7] Tom Young, Devamanyu Hazarika, Soujanya Poria, and Erik Cambria. Recent trends in deep learning based natural language processing. IEEE Computational intelligence magazine, Vol. 13, No. 3, pp. 55-75, 2018.

[8] Hiroyuki Deguchi, Masao Utiyama, Akihiro Tamura, Takashi Ninomiya, and Eiichiro Sumita. Bilingual subword segmentation for neural machine translation. In Proceedings of the 28th COLING, pp. 4287-4297, 2020.

[9] Taku Kudo and John Richardson. Sentencepiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Proceedings of the 2018 Conference on EMNLP: System Demonstrations, pp. 66-71, 2018.

[10] Masaaki Nagata. A stochastic japanese morphological analyzer using a forward-dp backward-a* n-best search algorithm. In Proceedings of the 15th conference on COLING, pp. 201-207. Association for Computational Linguistics, 1994.

[11] Taku Kudo. Subword regularization: Improving neural network translation models with multiple subword candidates. In Proceedings of the 56th Annual Meeting of ACL, pp. 66-75, 2018.

[12] Ivan Provilkov, Dmitrii Emelianenko, and Elena Voita. BPE-dropout: Simple and effective subword regularization. In Proceedings of the 58th Annual Meeting of
ACL, pp. 1882-1892, Online, July 2020. Association for Computational Linguistics.

[13] Tatsuya Hiraoka. Maxmatch-dropout: Subword regularization for wordpiece. In Proceedings of the 29th COLING, pp. 4864-4872, 2022.

[14] Shohei Higashiyama, Masao Utiyama, Eiichiro Sumita, Masao Ideuchi, Yoshiaki Oida, Yohei Sakamoto, and Isaac Okada. Incorporating word attention into character-based word segmentation. In Proceedings of the 2019 Conference of NAACL: HLT, pp. 2699-2709, 2019.

[15] Sepp Hochreiter and Jürgen Schmidhuber. Long shortterm memory. Neural computation, Vol. 9, No. 8, pp. 1735-1780, 1997.

[16] Alex Graves and Jürgen Schmidhuber. Framewise phoneme classification with bidirectional lstm networks. In Proceedings. 2005 IEEE International Joint Conference on Neural Networks, 2005., Vol. 4, pp. 20472052. IEEE, 2005.

[17] Andrew Viterbi. Error bounds for convolutional codes and an asymptotically optimum decoding algorithm. IEEE transactions on Information Theory, Vol. 13, No. 2, pp. 260-269, 1967.

[18] Yu Suzuki. Filtering method for twitter streaming data using human-in-the-loop machine learning. Journal of Information Processing, Vol. 27, pp. 404-410, 2019.

[19] Tomoyuki Kajiwara, Chenhui Chu, Noriko Takemura, Yuta Nakashima, and Hajime Nagahara. WRIME: A new dataset for emotional intensity estimation with subjective and objective annotations. In Proceedings of the 2021 Conference of NAACL: HLT, pp. 2095-2104, Online, June 2021. Association for Computational Linguistics.

[20] Yongfeng Zhang, Min Zhang, Yi Zhang, Guokun Lai, Yiqun Liu, Honghui Zhang, and Shaoping Ma. Dailyaware personalized recommendation based on feature-level time series analysis. In Proceedings of the 24th international conference on WWW, pp. 1373-1383, 2015.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 条件記述の解釈に基づく確率・期待値問題の自動解答

岩間 純輝佐藤理史 宮田玲 小川浩平
名古屋大学大学院工学研究科
iwama.junki.i0@s.mail.nagoya-u.ac.jp

## 概要

本稿では、高校数学レベルの確率・期待值問題に 自動解答するための方法を提示する。確率・期待値問題を解く上では、文章題の中で普遍的に現れる条件記述を解釈することが重要であり、それを実行可能なコード列に変換することが、中心的課題とな る。オンラインソースから広く集めた問題で作成し たデータセットを用いて、正答率を評価する実験を 行ったところ、約 $87 \%$ の問題を解くことができた。

## 1 はじめに

確率の文章題を自動解答する取り組みは、1971 年 の Gelb の研究 [1] まで遡る。この研究では、事前に 用意した木構造のパターンリストを使用して動詞や 試行回数などの解答に必要な情報を抽出し、自動解答を実現した。Dries ら [2] は、限量子によりモデル 化した問題文を、ベイジアンネットワークに変換し て条件付き確率問題として解く end-to-end の確率問題ソルバを開発した。

日本語で書かれた問題文に自動解答する取り組 みとしては「ロボットは東大に入れるか」プロジェ

クト [3]がある。この中で、数学の問題に対しては、論理式で記述した数式から、限量子を $\mathrm{QE}$ 法で取り 除くことによって解を求める手法が主に採用された が、この手法が通用しない確率・期待值問題の自動解答の研究 $[4,5]$ は、あまり進まなかった。

確率・期待値問題には、条件記述（事象を規定す る条件の記述）が広く登場する。条件記述は、次の ような特徵を持つ。

1. 試行結果である標本空間が得られて、初めて解釈できる。(それ単体では解釈できない。)

2. 記述の内容は、かなり複雑になり得る。

本稿では、条件記述の解釈に焦点を当て、高校数学 レベルの確率・期待値問題に自動解答するための方法を提示する。この方法の特徴は、条件記述の構文

 & $(s 41)$ \\

図 1 確率・期待値の文章題の典型例

解析を、組み立てるべきコード（関数）の型情報に 基づいて行う点にある。

## 2 確率・期待値問題の構造

図 1 に、確率・期待値の文章題の典型例を示す。

確率・期待値の文章題では、まず冒頭で、標本空間（起こりうる全ての結果を要素とする集合）の定義が示される。サイコロの問題では、次のような試行文と試行繰り返し文によって、標本空間が定義さ れる。

試行文 〈個数〉のサイコロを (同時に) 振る

試行文 サイコロを〈回数〉振る

試行繰り返し文 これを〈回数〉繰り返す

図 1 では、試行文 $(s 0)$ のみが示されているので、個数は 2 個、回数は 1 回となり、標本空間は $(1,1),(1$, 2), , (6, 6) の 36 個の結果から構成される集合と なる。

確率の計算は、次のような形式の確率計算指示文で指示される。

確率計算指示文 〈条件記述〉確率を求めよ

この文は、ある特定の事象（=標本空間の部分集合） が生起する確率の計算を要求する文で、その事象 は〈条件記述〉によって規定される。文 $(s 1)$ におけ る〈条件記述〉は「出た目の和が 10 以上となる」で ある。
求める確率 $P(A)$ は、以下の式により計算できる。

$
P(A)=\frac{|A|}{|\Omega|}
$

ここで、 $\Omega$ は標本空間、 $A$ は事象、|$\cdot$|は集合の要素数を表す。すなわち、標本空間の全要素に対して、〈条件記述〉の成否を判定できれば、確率を求めるこ とができる。

一方、期待値の計算は、次のような形式の期待値計算指示文で指示される。

期待値計算指示文 〈演算記述〉の期待値を求めよ

この文の〈演算記述〉は、標本空間を定義域とする関数の計算法に対応する。文 $(s 2)$ における〈演算記述〉 は「出た目の和」である。

求める期待値 $E$ は、以下の式により計算できる。

$
E=\frac{1}{|\Omega|} \sum_{r_{i} \in \Omega} s\left(r_{i}\right)
$

ここで、 $r$ は標本空間の要素 (結果)、 $s$ は数値を返す 関数を表す。すなわち、標本空間の全要素に対して 関数 $s$ の值が計算できれば、期待値を求めることが できる。〈演算記述〉は、この関数 $s$ の記述である。

確率・期待値問題は、上で述べたような文以外に、名付けを含む文 (s31) や場合分けの記述 $(s 41, s 42, s 43)$ を含む場合がある。これらの要素も、〈条件記述〉と〈演算記述〉から構成されるため、この 2 種類の記述を正しく解釈して計算可能とすること が、問題を解くための中心的課題となる。

## 3 確率・期待値問題ソルバ

作成した確率・期待値の文章題を解くソルバの入力は、確率・期待值の文章題（テキスト）であり、出力は、解答となる確率または期待值である。

文章題テキストの冒頭部の試行文に対しては、簡単なパターンマッチングを用いて、その問題の 標本空間を表すインスタンスを生成する。確率・期待値計算指示文に対しては、その文に含まれる 〈条件記述〉および〈演算記述〉を抽出し、それらを 実行可能なコード列に変換し、そのコードを標本空間インスタンスの各要素（結果インスタンス） に適用することによって答を得る。〈演算記述〉は 〈条件記述〉の一部として含まれるため、以下では、〈条件記述〉をコード列に変換する方法と、そのコー ド列を実行する方法を説明する。

図 2 条件記述をコード列に変換する手順

## 3.1 データ構造

標本空間の要素である結果や、条件記述を解釈す る過程で発生する演算結果を表現するために、次の ような計 8 種類のデータ構造を用意する。

1. 基本的（プリミティブ）なデータを保持する一 Int（整数）, Str（文字列）, Bool（真偽値）の3 種

2. 確率問題を解くためのドメイン固有なデータを 保持する—Object, List, Sequence の 3 種 [6]

3. 特殊なデータを保持する一Or, And の 2 種

これらのうち、次の 4 種類は、子要素として複数 のデータ構造を保持する。

・List一順序なしリスト
- Sequence 一順序ありリスト（列）

$\cdot$ Or 一複数の候補を OR として保持する
- And —複数の候補を AND として保持する

これらのデータ構造 X が、データ構造 $\mathrm{Y}$ を要素として持つとき、そのデータ構造を、単に ' $\mathrm{X}$ 'で はなく、'XOfY' と区別して表す。たとえば、試行文 $(s 0) 「 2$ つサイコロを同時に振る」から得られる結果のデータ構造は、ListOfInt である。

## 3.2 条件記述のコード列への変換

〈条件記述〉をコード列に変換する手順を、図 2 に 示す。この変換は、以下の 3 ステップで構成される。

## 3.2.1 セグメンテーション

まず、日本語で書かれた条件記述を、基本要素に 基づいて分解する。この基本要素の一覧を、付録に
示す。たとえば、文 $(s 1)$ の 〈条件記述〉は、次のよう なセグメントの列に分解される。

(1) [出た目の, 和が, 10 以上と,なる]

それぞれの基本要素（ただし、属性値と属性名を 除く）には、その内容に対応するコード列（組み込 み関数名）が定義されている。この組み込み関数に は、具体的な計算法以外に、入力のデータ構造と出力のデータ構造が定義されている。たとえば、コー ド「偶数」は、Int（整数）を受け取って、それが偶数であるかどうかを判定し、その結果を Bool（真偽値）として出力する。

基本要素は、 6 種類の大分類、 16 種類の中分類に 分類されている。この分類は、組み込み関数の、入力 (引数) のデータ構造の種類と数、出力のデータ 構造の種類の 3 つに基づいて区分されている。たと えば、大分類「数値演算」はIntを受け取って Int を 出力するコードを持つ基本要素の集まりであり、引数が 1 個であれば calc 1 、 2 個以上であれば calc $2 \mathrm{p}$ に 下位分類される。

## 3.2.2 構文解析 (1) - 辞書規則の適用

次に、分割された各セグメントを終端記号と見な し、それぞれに辞書規則を適用して前終端記号とそ れが保持するコード列を得る。この前終端記号は、 そのセグメントが含まれる基本要素の中分類名であ る。ただし、中分類が「属性名」である場合は、結果を表すデータ構造とする。保持するコード列は、終端記号のコードを要素とするコード列である。

たとえば、セグメントの列 (1) に辞書規則を適用 すると、次のような前終端記号の列が得られる。

(2) [ListOfInt, calc2p, pred1, predB]

「出た目」は中分類「属性名」に属するため、この セグメントに対する前終端記号は、結果のデータ構造である ListOfInt（複数の Intを要素に持つ List）と なる。この仕組みにより、標本空間の結果の型を考慮した解析を実現する1)。

## 3.2.3 構文解析 (2) - 構文規則の適用

その後、構文規則を順次適用して、開始記号ま で組み上げる。開始記号は、〈条件記述〉の場合は Bool、〈演算記述〉の場合は Int である。 たとえば、次の構文規則は、「ListOfInt（出た目）」

1）「2 個のサイコロを同時に振る」場合の「出た目」は複数 の目 (ListOfInt)を意味するが、「1 個のサイコロを振る」場合 の「出た目」は単一の目 (Int)を意味する。
と「 calc2p(和が)」をまとめて、「Int（出た目の和 が)」を構成する際に使われる。

Int $\rightarrow$ ListOfInt calc2p

この規則は、複数の整数 (ListOfInt) に対して 2 個以上の整数を引数とする関数 (calc2p) を適用する と、その結果として整数 (Int) が得られることを意味 している。構文規則は全部で 120 件ほど存在する。

同時に、構文規則は、コード列を組み上げる機能 を持つ。上記の規則の場合、右辺の第 1 要素のコー ド列 [RESULT] と第 2 要素のコード列 [和] を連結し たものが、左辺のコード列 [RESULT, 和] となる。

このような構文規則の適用により、入力が開始記号まで組み上がると、入力に対するコード列が得ら れる。「出た目の和が 10 以上となる」に対しては、最終的に次のようなコード列が得られる。

(3) [RESULT, 和, [以上, 10], 肯定]

## 3.3 コード列の実行

得られたコード列の各要素は、データ構造に対し て定義されている関数呼び出しに対応する。そのた め、このコード列を結果インスタンスに対して適用 すれば、求める値が得られる。

たとえば、上記のコード列では、まず、結果イン スタンス $r$ (ListOfInt)に対して RESULT が呼ばれ、 それ自身 $r$ が得られる。次に、 $r$ に対して関数「和」 が呼ばれ、Intインスタンス $i$ が得られる。さらに、 $i$ に対して関数「以上 (10)」が呼ばれ、Bool インスタ ンス $b_{1}$ が得られる。最後に、 $b_{1}$ に対して関数「肯定—true かどうかを調べる」が呼ばれ、Boolイン スタンス $b_{2}$ が得られる。こうして得られた最終的 な $b_{2}$ が trueであれば、その結果インスタンス $r$ は 条件を満たすと判定される。

## 3.4 特殊なデータ構造の使用

特殊なデータ構造である Or や And は、次のよう な問題を解く際に必要となる。

(4) a. サイコロを 3 個振る

b. いずれか 2 つ目の和が偶数となる（確率）

〈条件記述〉 (4b) には、以下の構文規則が順に適用 され、その結果、コード列 (5) が得られる。

OrOfListOfInt $\rightarrow$ anyN ListOfInt

OrOfInt $\rightarrow$ OrOfListOfInt calc $2 p$

Bool $\rightarrow$ OrOfInt pred1
表 1 実験結果（正答数）

Bool $\rightarrow$ Bool predB

(5) [RESULT, [いずれか, 2], 和, 偶数, 肯定]

考え方は、次の通りである一「いずれか $2 \supset の$

目」という表現は、 3 つ目 $a, b, c$ のうち、任意の $2 \supset(a, b),(b, c),(c, a)$ のいずれかを指し示す表現で あり、これを OrOfListOfInt というデータ構造で表現 する。これに「和が (calc2p)」を適用すると、 $a+b$, $b+c, c+a$ を計算し、それを OrOfInt というデータ 構造でまとめて出力する。これに「偶数と (pred1)」 を適用すると、Or の子要素それぞれが偶数であるか どうかを調べ、1つでも偶数であれば true、すべて 奇数であれば false（つまり Bool）を返す。

このような仕組みを導入することにより、複数の 候補を指し示す表現を解釈可能としている。

## 4 実験

3 節で述べたソルバを用いて、確率・期待値文章題の正答率を評価した。

## 4.1 実験設定

実験では、Q\&A サイトなどのオンラインソース から広く収集して構築した、確率・期待値文章題 820 問から構成されるデータセットを用いた。この データセットは、ソルバ開発で参照しなかった。

収集した問題は、次の条件を満たす問題である。

1. 題材が、サイコロもしくは玉であるもの。

2. 図表の絡まないもの。

3. 標本空間が有限であるもの。

なお、データセットの作成に当たっては、数字表記の統一、句読点の統一、明らかな誤りの修正を行 うとともに、枝問が存在する問題は、枝問毎に分割 して独立した問題とした。

## 4.2 実験結果と分析

実験結果を、表 1 に示す。用意したデータセット の約 $87 \%$ の問題を解くことができた。なお、玉を題材とした問題は、標本空間の定義をテキストから自動抽出せず、手入力で与えた。

## 4.2.1 正解できた問題

正解できた問題の具体例を示す。

（6） a. 少なくとも1つは素数の目が出る（確率）

b. 出た目の積または和が 3 の倍数となる (確率)
c. 1 回目に偶数の目が出て、2 回目に 6 の約数の目が出る（確率）

事前に用意した基本要素の範疇を超えない範囲で 記述されたものであれば、上で示したような複雑な 〈条件記述〉であっても、正しく解釈し、問題に正解 することができた。

## 4.2.2 正解できなかった問題とその原因

正解できなかった問題の原因は、そのすべてが、〈条件記述〉または〈演算記述〉を適切に解釈（コード 列に変換）できなかったことによるものであった。 その原因は、おおよそ、以下の 3 種類に大別できる。

a. 共参照を含む場合 作成したソルバは、共参照を解析する機能を持たないため、共参照を含む 〈条件記述〉を解釈できない。

(7) 1 または 2 の目が 4 回、それ以外の目が 2 回出 る (確率)

ただし、「それ（以外）」を「1または 2 (以外)」と 明記すれば解釈可能で、正解を出力する。

b. 複雑な状況を端的に表す表現を含む場合 問題文では、「交互に」や「この順に」のように、複雑な 状況を端的に表す表現が用いられることがある。

(8) 偶数の目と奇数の目が交互に出る（確率）

「交互に」は、「1 回目に偶数の目が出て、2 回目に 奇数の目が出て、3 回目に偶数の目が出て、4 回目 に奇数の…」という状況を表す。このような表現 を一般的に扱うのは難しく、個別に組み込み関数を 用意する必要がある。

c. 対象外の問題 現在のソルバが対象とする問題は、同一のサイコロを複数個振る（ひとつの袋か ら玉をいくつか取り出す）ことを繰り返す問題であ る。形状が異なる複数個のサイコロを振る（複数の 袋からそれぞれ玉を取り出す）問題は対象外である ため、次のような〈条件記述〉は解釈できない。

(9) 大きいサイコロの目が偶数で、小さいサイコ 口の目が 1 である（確率）

このような問題は、積事象の問題として扱う必要 がある。

## 謝辞

本研究は JSPS 科研費 JP22K19811 の助成を受けた ものです.

## 参考文献

[1] Jack P Gelb. Experiments with a natural language problemsolving system. 1971.

[2] Anton Dries, Angelika Kimmig, Jesse Davis, Vaishak Belle, and Luc De Raedt. Solving probability problems in natural language. 2017.

[3] 新井紀子, 東中竜一郎 (編). 人工知能プロジェクト 「ロボットは東大に入れるか」. 東京大学出版会, 2018.

[4] 神谷翼, 松崎拓也, 佐藤理史. 数学確率文章題の自動解答システムの開発. 言語処理学会 第 21 回年次大会 発表論文集, pp. 365-368, 2015.

[5] 神谷翼, 松崎拓也, 佐藤理史. 題材となるオブジェクト の抽象化による確率文章題の自動解答. 人工知能学会第 30 回全国大会 論文集, pp. 4B1-2, 2016.

[6] 岩間純輝, 佐藤理史, 小川浩平, 宮田玲. 数学・確率問題を対象とした条件記述の自動解釈. 言語処理学会第 27 回年次大会 発表論文集, pp. 947-951, 2021.

## 付録：基本要素の一覧

} & \multirow[t]{2}{*}{ 基本要素（主要な日本語表現例） } \\

表中において、 $R$ は試行により得られた結果を表すデータ構造、 $X$ は子要素を保持できる任意のデータ構造、 $D$ は任意のデータ構造を意味する。


# エンティティの階層的分類体系を用いた 遠距離教師あり固有表現抽出

芝原 隆善 1 山田 育矢 ${ }^{1,2}$ 西田 典起 ${ }^{1}$ 寺西 裕紀 ${ }^{1}$
}

大内 啓樹 1,3 古崎 晃司 1,4 渡辺 太郎 ${ }^{3}$ 松本 裕治 ${ }^{1}$

${ }^{1}$ 理化学研究所 ${ }^{2}$ Studio Ousia ${ }^{3}$ 奈良先端科学技術大学院大学 4 大阪電気通信大学

takayoshi.shibahara@a.riken.jp \{ikuya.yamada, noriki.nishida, hiroki.teranishi, hiroki.ouchi, kouji.kozaki, yuji.matsumoto\}@riken.jp \{hiroki.ouchi, taro\}@is.naist.jp ikuya@ousia.jp kozaki@osakac.ac.jp
## 概要

本論文では辞書を疑似データの作成に活用し た固有表現抽出（遠距離教師あり固有表現抽出： Distant Supervision Named Entity Recognition）に取り 組む. 本論文では取得したいカテゴリの辞書のみを 活用してきた従来研究とは異なり，分類体系全体を 考慮する手法を提案する．具体的には分類体系に含 まれる全てのカテゴリを含んだ疑似データを作成 し，モデルの学習に利用する. 実際に生物医学系の エンティティ・リンキング及び固有表現抽出のデー タセット：MedMentions とリンキング対象の知識 ベース：UMLS を活用して遠距離教師あり固有表現抽出を行ったところ, ベースラインに比べて F1 值 において $4.19 \mathrm{pt}$ の改善を達成し階層的な分類体系全体を考慮する重要性を明らかにすることができた。

## 1 導入

文章に記述されているエンティティの位置 とクラスを特定する固有表現抽出 (Named Entity Recognition：NER）は自然言語処理における基本的 なタスクである。，応用例として，情報抽出 [1] や情報検索 [2] などをあげることができる。一方で多様 な情報抽出・検索のニーズに応じた教師ありデータ を準備するには多大なアノテーションコストがか かってしまう。

このため本論文では教師データがない状況におけ る固有表現抽出に取り組む．その中でも特に遠距離教師あり学習（Distant Supervision）に基づく固有表現抽出 (Distant Supervision Named Entity Recognition： DS NER） $[3,4,5]$ に取り組む. 遠距離教師あり学習 では取得したいカテゴリに応じた辞書を用いて疑似

図 1 既存の Distant Supervision NER(DS NER) との比較.通常の DS NER では疑似データ作成時に対象となるカテ ゴリ（哺乳類・爬虫類）に含まれる語句のみを活用す る. 一方で提案手法では全てのエンティティと全てのカ テゴリを利用する．例えば「マグロ」や「ミカン」などの エンティティや魚類・植物などのカテゴリも疑似デー タに活用する.

データを作成することで学習データの不在に対処す る. 遠距離教師あり学習は DBpedia [6], UMLS [7] な どの大規模知識べースの発達により,これらの知識 ベースに含まれる様々なカテゴリに対して教師デー タの不在を補うことができる.

DS NER の先行研究 $[3,4,5]$ ではエンティティ 全体の属する分類体系を利用せず，関心のあるク ラス（以下対象カテゴリと呼ぶ）の情報しか利用 してこなかった. 例えば図 1 のように，哺乳類・爬虫類のみを検出する固有表現抽出器を作成する 場合を考えてみるとわかりやすい，疑似データ作成 の際に哺乳類・爬虫類という分類体系の一部の みを利用し生物全体の分類体系に含まれる他のカテ ゴリの情報を利用してこなかったのである．より具体的には哺乳類・爬虫類に所属する「人間」や 「スッポン」などの語句しか利用せず，知識ベース
内に存在しているが対象カテゴリでないクラス (e.g.動物・魚類) や語句 (e.g. 「マグロ」・「ミカン」) を活用してこなかったのである。

そこで本論文では「分類体系全体の情報を使う」 というアイデアを提案・実装する．具体的には分類体系の全クラスを含んだ疑似データを作成し，活用 する手法を提案する.

実際に生物医学系のエンティティ・リンキング及 び固有表現抽出のデータセット：MedMentions [8] と リンキング対象の知識ベース：UMLS [7]を活用し て検証を行った. ベースラインに比べて $\mathrm{F} 1$ 値にお いて $4.19 \mathrm{pt}$ の改善を達成し分類体系全体を考慮す る重要性を明らかにすることができた。

## 2 手法

提案手法では「分類体系の全カテゴリを認識する モデル」によって「対象カテゴリの抽出」を行う. ただし教師データのない状況を考えているので「分類体系の全カテゴリを抽出するモデル」は「分類体系の全カテゴリを含んだ疑似データ」で訓練するこ とによって実現する. そこで「分類体系の全カテゴ リを含んだ疑似データ」をどのように作成したか，「分類体系の全カテゴリを含んだ疑似データ」に よって「分類体系の全カテゴリを認識するモデル」 をどのように訓練し実現したか，「分類体系の全力 テゴリを認識するモデル」によってどのように「対象カテゴリの抽出」をしたかを述べていく．

## 2.1 分類体系の全カテゴリを含んだ疑似 データ作成

「分類体系の各カテゴリに所属する語句」に対し て辞書マッチを行うことで「分類体系の全カテゴリ を含んだ疑似データ」を作成する。「分類体系の各 カテゴリに所属する語句」は「各カテゴリに所属す る語句の情報」と「各カテゴリ間の階層構造」を用 いて取得する。

具体例として図 1 の「人間」という語句を考え る.「人間」という語句は哺乳類に直接所属してい る. さらに哺乳類は動物・生物の下位概念でも ある.このことから「人間」という語句は哺乳類・動物・生物の3つのカテゴリに所属しているこ とがわかる。この情報から，「人間はスッポン，マ グロ，ミカン，イチゴ，ワカメなど様々な生物を食 してきた」という文の「人間」の部分に哺乳類・動物・生物という 3 つのラベルを文字列マッチ
によって付与する1). 同文に出現する「スッポン」・「マグロ」・「ミカン」・「イチゴ」・「ワカメ」などの他 の語句についても同様に複数のラベルを付与する。

## 2.2 疑似データに基づく全カテゴリを認識 するモデルの学習

2.1 で作成された疑似データ上でモデルを学習さ せ，「分類体系の全カテゴリを認識するモデル」の取得を目指す. 本研究では先行研究 [9] と同じ BERT ベースのスパン分類モデルを学習させる. このスパ ン分類モデルは BERT により文を符号化し，スパン の始端・終端のべクトルを連結して線形分類を行う ものである（図 2).

まず前処理として 2.1 で作成された NER 疑似デー タをスパン分類のデータに変換した．具体的にはス パン最大長を決め文中のスパンを列挙する。その後 ラベルのあるスパンはそのままのラベルを利用し， ラベルの付与されていないスパンは “O”ラベルを 持つスパンとした. また, 複数の正解に対処できる ように負の対数尤度の正解クラスに対する平均を口 ス関数として学習を行った。

単純に学習を行うと，スパン分類モデルが既知 の（辞書に含まれている）語句は抽出できる一方で 未知の（辞書に含まれていない）語句を抽出しに くくなってしまう．例えば文：「新種の哺乳類オリ ンギートがアンデス山脈で人間に発見された.」の 「人間」は抽出できる一方で，分類体系に含まれな い新種の「オリンギート」は抽出しにくくなって しまう．そこで Li らの手法 [10] を使い，ラベル付与されていないスパンの影響を“O”スパンのアン ダーサンプリングによって割り引く。

## 2.3 対象カテゴリの抽出

2.1 の疑似データ上で学習した「分類体系の全力 テゴリを認識するモデル」を用いて「対象カテゴリ の抽出」を行う，具体的にはi) スパン最大長を決め 文中の候補スパンを列挙する。次に ii) 予測対象の カテゴリを絞って分類する。最後に iii)これらスパ ン分類の出力を固有表現抽出の出力に変換する．ii) において予測対象のカテゴリは対象カテゴリとそれ を補完し分類体系全体を被覆するような最小限のカ テゴリ（以下補完カテゴリと呼ぶ）及び“O”ラベ ルに限定した（図 2)。 iii) の際には，Yamada ら [11] と同様にスパンを予測確率の高いものから重複の

1）ただし修飾語も含んだ文字列も取得するために名詞句チャ ンカーを利用し，名詞句の末端に語句がある場合にラベルを 付与した。

図 2 訓練時と予測時のスパン分類モデルの挙動の違い.訓練時には分類体系の全カテゴリ+ “O”ラベルを対象 にスパン分類確率を計算するが，予測時には対象カテゴ リ十補完カテゴリ（対象カテゴリを補完し分類体系全体 を被覆するような最小限のカテゴリ）＋“O”ラベルの予測スコアからスパン分類確率を計算する。

ないように選んでいくという方法で変換する。（た だしこの際に“O”ラベルが予測されたスパンは除 いた.)

## 3 実験設定

本論文では UMLS(2021AA 版) [7] という知識べー スの分類体系の一部のカテゴリ2）を対象カテゴリ として，UMLS [7]を対象としたエンティティ・リ ンキング及び固有表現抽出データセットである MedMentions データセット [8] を用いて提案手法の 評価を行った. UMLS は生物医学分野の知識ベー スで, 127 のクラス (Semantic Types) と 16,132,274 の 用語を持つ. MedMentions は，4,392 の生物医学論文抄録に 352,496 のスパンが UMLS の概念に対応付けられるようにアノテーションされているデー タセットである. train/dev/test の文書数はそれぞれ 2,635/878/879 である. train 部分のデータセットは Distant Supervision の擬似アノテーションの対象とし て, dev/test の分割は正解アノテーションまま利用 する.

本論文では提案手法をいくつかのベースラインと 比較する. まず疑似データ作成手法と教師あり設定 との比較を行うことで，遠距離教師あり学習として の妥当性を確認する。つまり，提案手法が辞書マッ チよりも改善し, 教師あり学習と同等の精度を達成 するという理想にどこまで近づけているかを確認す る. 次に「分類体系の持つカテゴリの一部ではなく 全体を活用する」という本論文のアイデアの是非を

2）具体的には MedMentions[8] で固有表現抽出タスクの対象 として指定されている 21 個のカテゴリ確認するために（通常の DS NER と同様に）対象力 テゴリのみを疑似データ作成に活用した BERT ベー ススパン分類モデルとの比較を行う．最後に「分類体系の持つカテゴリの一部ではなく全体を活用す る」というアイデアが提案手法においてよりうまく 実現できているかを確かめるために，類似した目的意識を持つ先行研究 [9] の手法と比較する. この先行研究は対象カテゴリに追加して補完カテゴリを疑似アノテーションに活用する研究である.

また補足実験として，「分類体系の全カテゴリを 活用する」というアイデアが教師あり設定でも有用 であるかどうかを確かめた. ただし, 本論文の主題 から外れるため付録 A に結果を示す。

## 4 結果

実験結果は表 1 のようになった. 結果の評価尺度 としては通常固有表現抽出に利用されるスパン・ク ラス完全一致によって予測・正解スパンの一致を 測った Strict Precision/Recall/F1 スコアとスパン部分一致に条件を緩和した Lenient Precision/Recall/F1 ス コアを利用した。ここで部分一致を許容した尺度を 利用した理由は，辞書とマッチするエンティティに 修飾語が掛かってエンティティ全体のスパンの曖昧性が生じてしまうためである．例えば，辞書に 「水」が含まれる際に「純水」の「純」が正解スパン に含まれるかどうかはアノテーション基準に依存し 統一的な判断をすることが難しい.

## 4.1 遠距離教師あり学習としての妥当性

辞書マッチ手法の結果（表 1 行目）と提案手法の 結果（表 4 行目）を比較すると，Strict F./Lenient F.の の 両方において改善を達成していることがわかる。ま た，提案手法（表 4 行目）を教師あり学習（表 5 行目）と比較すると Strict F./Lenient F. スコアにおいて $31.8 \mathrm{pt} / 18.73 \mathrm{pt}$ も差があることがわかる. 以上か ら，辞書マッチと比べれば妥当なスコアである一方 で，まだまだ教師あり設定と同等の精度という理想 には大きく及ばないことがわかる.

## 4.2 論文のアイデアの成否

分類体系全体を利用する提案手法（表 4 行目）は 分類体系の一部にしか着目しないべースライン（表 2 行目）に比べて Strict F./Lenient F. スコアにおいて $4.19 \mathrm{pt} / 3.7 \mathrm{pt}$ の改善を示している.この結果は分類体系の一部しか評価対象でない場合であっても分類

表 1 実験結果：疑似データ作成に利用した辞書マッチ，遠距離教師あり設定，教師あり設定における固有表現抽出のス コアを表示している。遠距離教師あり設定ではスパン分類モデルを利用し，通常の DS NER と同様に対象カテゴリのみ を利用する方法・先行研究 [9] と同様に補完カテゴリを追加して利用する方法・分類体系の残りのカテゴリを追加して利用する提案手法の結果を示している. Strict P./R./F. はスパン・クラス完全一致によって予測・正解スパンの一致を測った Precision/Recall/F1 スコアである. Lenient P./R./F. はスパン部分一致を許容するようにしたスコアである. 太字は教師デー タを必要としない手法の中で最も高いスコアである.

体系全体を利用することが有用であると示している といえる。

この理由について次のような仮説で説明するこ とができる.まず対象カテゴリに対して子クラスは クラス内の多様性の理解につながり，精度の増大 につながる（例えば対象カテゴリが動物の際に， その下位カテゴリである魚類を利用することで，動物には泳ぐものがいることを理解できる)。ま た，対象カテゴリの親クラスは子クラスに対する制限として働き Precision を増加させていると考えられ る（例えば対象カテゴリが哺乳類の際に，動物で ないものは哺乳類と分類されにくくなる). 同様に 補完カテゴリに対しても Precision/Recall が増大する ことで，さらに対象カテゴリの Recall/Precision の増大に寄与していると考えることができる.

## 4.3 補完カテゴリの追加と階層構造

対象カテゴリに追加して補完カテゴリを利用 する先行研究 [9]（表 3 行目）では対象カテゴリ のみを利用するベースライン（表 2 行目）に比 べて Strict(Lenient) P. では改善が見られるものの Strict(Lenient) R. においては減少してしまっている. このことは補完カテゴリの追加により補完カテゴ リの予測を増やすことで，対象カテゴリの Recall を犠牲に Precision を増加せているのだと解釈でき る. 例えば，対象カテゴリ哺乳類に対する補完カ テゴリ魚類の追加によって, 泳ぐなら魚類であっ て哺乳類ではないとしてしまっているようなこと が起きてしまっていると考えられる.

一方で分類体系の全カテゴリを活用する提案手法（表 2 行目）ではこの Strict(Lenient) R. の減少を 補っている.このことは補完カテゴリに近い特徴
をもつ対象カテゴリの下位クラスによって，本来対象カテゴリであるエンティティを補完カテゴリ として予測する失敗が減っているためであると考 えられる. 例えば，対象カテゴリ哺乳類の下位カ テゴリクジラ目の追加によって，「哺乳類の中に も泳ぐものが存在することをモデルが理解し，本来哺乳類クラスである事例への魚類クラスの過剰な予測を防いでいるというようなことが起きてい ると考えることができる。，他にもラベル不均衡によ り対象カテゴリがうまく学習できていないのが原因 であると考えることもできる。なぜなら，補完カテ ゴリは対象カテゴリより階層の浅く学習事例の多い クラスになりやすい（例：哺乳類に対する植物） と考えられるからである.

## 5 結論

本研究では遠距離教師あり学習および教師あり学習（付録 A）においてたとえ分類体系の一部のカテ ゴリに興味がある場合であっても，分類体系全体に 含まれる全カテゴリを活用することは有用であるこ とを明らかにした。一方で今回の手法が一般ドメイ ンでも有用かどうか，同じく教師データがない状態 で利用可能な Few-Shot 設定と比べてどれほどの優位性があるかを検証しきれていない。

本研究の発展としてラベル定義などラベル階層構造以外の様々な情報の Distant Supervision NER へ の活用や Fine-Grained NER データセットの Distant Supervision NER 事前学習データとしての活用など が考えられる。

## 参考文献

[1] Tianyi Liu, Xinsong Zhang, Wanhao Zhou, and Weijia Jia. Neural relation extraction via Inner-Sentence noise reduction and transfer learning. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 2195-2204, Brussels, Belgium, 2018. Association for Computational Linguistics.

[2] Ahmed Aliwy, Ayad Abbas, and Ahmed Alkhayyat. NERWS: Towards improving information retrieval of digital library management system using named entity recognition and word sense. Big Data and Cognitive Computing, Vol. 5, No. 4, p. 59, October 2021.

[3] Zhanming Jie, Pengjun Xie, Wei Lu, Ruixue Ding, and Linlin Li. Better modeling of incomplete annotations for named entity recognition. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 729-734, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[4] Minlong Peng, Xiaoyu Xing, Qi Zhang, Jinlan Fu, and Xuanjing Huang. Distantly supervised named entity recognition using Positive-Unlabeled learning. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 2409-2419, Florence, Italy, July 2019. Association for Computational Linguistics.

[5] Chen Liang, Yue Yu, Haoming Jiang, Siawpeng Er, Ruijia Wang, Tuo Zhao, and Chao Zhang. BOND: BERT-Assisted Open-Domain named entity recognition with distant supervision. In Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery \& Data Mining, KDD '20, pp. 1054-1064, New York, NY, USA, August 2020. Association for Computing Machinery.

[6] Jens Lehmann, Robert Isele, Max Jakob, Anja Jentzsch, Dimitris Kontokostas, Pablo N Mendes, Sebastian Hellmann, Mohamed Morsey, Patrick Van Kleef, Sören Auer, and Others. Dbpedia-a large-scale, multilingual knowledge base extracted from wikipedia. Semantic web, Vol. 6, No. 2, pp. 167-195, 2015.

[7] Olivier Bodenreider. The unified medical language system (UMLS): integrating biomedical terminology. Nucleic Acids Res., Vol. 32, No. Database issue, pp. D267-270, January 2004.

[8] Sunil Mohan and Donghui Li. MedMentions: A large biomedical corpus annotated with UMLS concepts. p. 13, 2018.

[9] 芝原 隆善, 大内 啓樹, 山田育矢, 西田典起, 寺西裕紀, 古崎 晃司, 渡辺太郎, 松本裕治. ユーザの興味が あるカテゴリに応じた NER システム構築フレーム ワーク. 言語処理学会年次大会, 2022.

[10] Yangming Li, Lemao Liu, and Shuming Shi. Empirical analysis of unlabeled entity problem in named entity recognition. September 2020.

[11] Ikuya Yamada, Akari Asai, Hiroyuki Shindo, Hideaki Takeda, and Yuji Matsumoto. LUKE: Deep contextual- ized entity representations with entity-aware self-attention. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 6442-6454, Online, November 2020. Association for Computational Linguistics.

[12] Jiaxin Huang, Chunyuan Li, Krishan Subudhi, Damien Jose, Shobana Balakrishnan, Weizhu Chen, Baolin Peng, Jianfeng Gao, and Jiawei Han. Few-Shot named entity recognition: An empirical baseline study. pp. 1040810423, November 2021.

[13] Alexander Fritzler, Varvara Logacheva, and Maksim Kretov. Few-shot classification in named entity recognition task. In Proceedings of the 34th ACM/SIGAPP Symposium on Applied Computing, New York, NY, USA, April 2019. ACM.

[14] Xiao Ling and Daniel S Weld. Fine-Grained entity recognition. In AAAI, 2012.

[15] Satoshi Sekine and Chikashi Nobata. Definition, dictionaries and tagger for extended named entity hierarchy. In LREC, 2004.

## A 教師あり設定における提案手法 のアイデアの有効性

表 2 教師あり設定において利用するカテゴリを変更した 際の Strict P./R./F.

教師あり設定においても通常の固有表現抽出と同 じように対象カテゴリのみを活用する方法, 先行研究 [9] と同様に補完カテゴリを追加し活用する方法,提案手法のように分類体系に含まれる全カテゴリを 活用する方法の三種類を比較した. 表 2 では実験に よって得られた Strict P./R./F. が表示されている.

実験結果からは 4.3 と同様に, 補完カテゴリの追加によって Recall が減少するが Precision が上がるこ と，また分類体系の残りのカテゴリを追加するとこ の Recall の減少を補い, Precision/Recall の両方が対象カテゴリのみの活用より改善するという結果が得 られた. 以上のことから分類体系全体の階層構造を 活用することはたとえ教師あり設定であっても有用 であると言える.

## B 関連研究

本研究ではアノテーションデータが存在しない 状況において利用可能な固有表現抽出技術に取り 組む.このような状況に対応しうる実験設定とし て2つのものが挙げられる。一つは辞書（語句を カテゴリごとにまとめたもの）に基づいた文字列 マッチによって疑似データを作成し活用する方法 （Distant Supervision NER [3, 4, 5]）であり，もう一つ はごく少量のアノテーションデータを利用する方法 (Few-Shot NER [12,13]）である. 本研究は Distant Supervision NER に分類されるものである.

通常の Distant Supervision NER が疑似データ作成時に対象カテゴリのみを活用するのに対し て, 本研究は分類体系の持つカテゴリ全てを活用する (図 1). この点において今回の研究は分類体系に含まれるカテゴリ階層全体を考える Fine-Grained NER[14] や Extended Named Entity [15] の 観点を Distant Supervision NER に導入した研究であ ると言える. また，この研究は類似した問題意識を 持つ先行研究 [9] を発展させたものである.


# CrossWeigh の日本語 NER データセットへの適用と ラベルノイズの調査

西村柾人 1 新納浩幸 ${ }^{2}$
1 茨城大学工学部情報工学科 ${ }^{2}$ 茨城大学大学院理工学研究科情報科学領域
19t4054a@vc.ibaraki.ac.jp
hiroyuki.shinnou.0828@vc.ibaraki.ac.jp

## 概要

通常, 教師あり学習は訓練データに誤りがない という前提で学習が行われるが, 実際には誤りを 含む場合も多い. 特に NER のデータセットはラベ ルの定義に曖昧なものがあるため, タグ付けには 誤りが生じやすい. このような背景から Wang らは 誤ったラベルの付いたデータセットから NER のモ デルを学習する CrossWeigh を提案した. 本論文で は CrossWeigh を日本語 NER データセットに適用し， CrossWeigh の効果を確認する. 同時に, CrossWeigh によって生成される重み付きデータを調査すること でデータセット内にある誤りの発見を試みた.

## 1 はじめに

固有表現認識 (NER) とはテキストから固有表現 (NE; Named Entity) となる単語を特定し, 光の単語 に対する NE のラベルを推定するタスクである.

近年では, 学習データを大量に用意し, モデルを学習させる手法 [1] が多い. しかし, この学習データ内 のラベルにノイズが含まれている場合, 深層学習を 利用した手法では,これらのノイズに対して過学習 してしまい, 性能劣化につながる問題が指摘されて いる [2].

Wang らもこのラベルノイズの影響について指摘 している [3].Wang らによると NER ベンチマーク の 1 つである CoNLL03 データセットにおいて, 約 5.38\%のラベル付けミスが確認されている. さらに， これらのラベルノイズを修正したデータを用いる ことによって, 性能向上が確認されている. Wang ら は同論文内で, ラベルミスを処理するための汎用的 なフレームワークとして CrossWeigh を提案してい る. このフレームワークを利用することで, データ内 の光れ光れの文章に対して再重み付けが行われ, 生成された重み付けデータを利用することによって ラベルノイズの影響を軽減することができる.この ような,より正確なデータを使って学習することで モデルの性能向上を図るアプローチは Data-Centric $\mathrm{AI}(\mathrm{DCAI})$ と呼ばれ,注目を集めている [4][5].

本研究では, CrossWeigh をストックマーク株式会社が提供している, Wikipedia の日本語 NER デー タセット [6] に適用し, 重み付けデータの生成を行 う.さらに，この重み付きデータを用いて, NER モデ ルの Flair[7] を学習することによって, 日本語での CrossWeigh の効果を確認する.

また, 先行研究 [8] では, データセット内のラベル ノイズの調査を, CrossWeigh によって生成された重 み付きデータの中で最も低い重みが付けられたデー タから, 無作為に抽出した 100 件のデータのみ調査 を行った. 本研究では, 最も低い重みが付けられた データ全てに対して調査を行った. 加えて, 発見した ラベルノイズと NER モデルの予測スコアとの関連度に応じてタイプ分類を行い, 光れら 2 つの相関性 についても調査を行った。

## 2 関連研究

CrossWeigh のように, ラベルの誤りを自動的に検出する試みは以前から研究されている [9] が, この研究では品詞の間違いに対して修正を行うため, 今回 のようにNER に対して適用することができない. 他 にも [10][11][12] ではラベルノイズが含まれる学習 データを利用した NER の研究がされているが, これ らでは NE がO ラベルとなる誤りに対してのみを対象としている.

また, CrossWeigh はモデルを改良するのではな く, 使用する学習データに対して処理を行い, モ デルの性能向上を図る手法であるため DCAI の研究 [4] とも関連がある.ただし, 今回の実験では

図 1 ラベルノイズの推定

DeepLearning.AI が行う Data-Centric AI Competition ${ }^{1)}$ に取り組むのではなく, CrossWeigh が日本語 NER データセットにおいても有効であるかについて検証 を行う。

日本語データセットにおけるラベルの誤り問題 に取り組んだ研究として [13] が挙げられる. この研究では, アノテーション漏れを推定し觉のエンティ ティを学習データに追加することによって, 系列ラ ベリングを用いたエンティティ抽出の再現率の向上 を行っている. また, [14] では Teacher-Student 学習を 利用することでラベル誤りを含むデータにおける NER の性能向上について研究を行い, CrossWeigh と 同樣にラベルノイズの影響を緩和し性能向上が確認 されている.

## 3 CrossWeigh

CrossWeigh は 2 つのモジュールから構成されてい る. 1 つ目はラベルノイズの推定, 2 つ目は推定した ラベルノイズが含まれているデータに再重み付けを 行うモジュールである.

1 つ目のラベルノイズの推定は $\mathrm{k}$-分割交差検証を もとにした考えで実装されている. 実行手順を図 1 に示す. まず学習データを $\mathrm{k}$ 個に分割すること で $D_{1}, D_{2}, \ldots, D_{k}$ を作成する. 光して, NER モデル $M_{i}(1 \leq i \leq k)$ を学習データの中から $D_{i}$ を除いた データによって学習させる. 作成した各モデル $M_{i}$ を使って $D_{i}$ の文のラベルに対して予測させ, モデ

1) https://https-deeplearning-ai.github.io/data-centric-comp/
ルの出力と異なるラベルを持つ文は, ラベルノイズ である可能性が高いものとしてマークする. この図 1 の処理を，光れ光れ異なるランダムな分割で行い， $\mathrm{t}$ 回実行する. ここまでを実行することで, データ セットのラベルノイズの推定が行われる. 本実験で は $k=10, t=3$ と設定して行われた.

2 つ目の再重み付けは, ラベルノイズの推定でマー クされた文 $x_{i}$ に対して重み $w_{i}$ を調整することで実装されている. 最初に, 全ての文の重みを $w_{i}=1$ と して設定する. 次に, ラベルノイズとしてマークされ た文の重みを式 (1) で計算する.

$
w_{i}=\epsilon^{c_{i}}
$

式 (1) の $\epsilon$ はパラメータであり, ラベルノイズ推定 モジュールの精度に応じて設定する. 本実験では $\epsilon=0.7$ とした. $c_{i}$ は $\mathrm{t}$ 回実行されたラベルノイズの 推定で, 何回モデルの出力と異なるラベルが推定さ れたかによって決まる.つまり $c_{i}$ の取りうる値は $1 \leq c_{i} \leq t$ のいずれかの整数値である.

CrossWeigh はこれら 2 つのモジュールを使って， ラベルノイズの影響を緩和する重み付きデータを作成する.

## 4 実験

## 4.1 実験設定

本研究では, データセットとして, ストックマーク 株式会社が提供している, Wikipedia の日本語 NER

データセット [6] を用いた. このデータセットに対 して, CrossWeigh および固有表現認識のタスク適用 するために,トークンごとに分割し, ラベル付けを 行った. 固有表現認識のラベルのフォーマットとし てはIOB2フォーマットを利用した. また, 整形した データを学習データ, 検証用データ,テストデータの 比率が 8:1:1 になるように分割した.

NER モデルとしては, Flair を用いた. ここで用い る Flair とは Akbik らの Contextual String Embeddings for Sequence Labeling[7] で提案された NER モデルを，日本語データを用いて事前学習を行ったものであ る. さらに, CrossWeighによって付与された重みを考慮して学習できるようにモデルを調整した.

## 4.2 評価方法

評価指標として F1-score( $\mathrm{F}$ 値)を用いた. CrossWeigh を適用していないデータ (Original data) と CrossWeigh を適用したデータ (Weighed data) 光れぞ れに対して学習を行い, モデルがトークン列に対し て適切なラベルを付与できたか否かをもとに算出を 行った.

## 4.3 結果

Flair の結果を表 1 と付録の図 3 に示す. F1score に関しては micro, macro のどちらにおいても CrossWeigh を適用したものが良い性能を示してい る. 光れ光れのラベルに対する結果では, 最大で 0.1 ポイント程のスコア向上がみられた. これらのこと から日本語においても CrossWeigh の有効性がわか る. しかし, ラベルによってはポイントが減少してい るものもあるため, これらに対しては今後の課題と して分析が必要であると考えられる.

## 5 データセット内のラベルノイズの 検出

ここでは CrossWeigh によって作成された重み付 けデータを利用して,データセット内のラベルノイ ズを発見する手法を試みる.

## 5.1 ラベルノイズ

今回使用した Wikipedia の日本語 NER データセッ 卜におけるラベルノイズの例として図 2 が挙げられ る. (a)では文中の「旭川」と「小樽」に対して地名 のラベルが付与されるべきであるが, ラベルが付与 されていないためＯタグとして処理が行われてしま う.また, (b) では「水夏希は」に人名のラベルが付与されてしまっているが, スパンが正しくないため に「は」もI-人名タグとして処理が行われてしまう. これらのラベルノイズは CrossWeigh の再重み付け の際に,より小さい重みが付与されていると考えら れる.

(b) スパンがずれているデータ

図 2 ラベルノイズ例

## 5.2 手法

CrossWeigh を適用することで重み付きデータが作成される.この重み付きデータは各文ごとにラベル ミスに応じた重みがつけられているため,この重み が最小のものがラベルノイズが含まれている可能性 が高いデータであると考え，光れらの重みが最小の データを全て調査した. また同時に, ラベルノイズと なるトークンは, モデルがとのトークンのラベルを 予測する際に, ラベルごとの分類スコアも小さいも のになると考えたため, ラベルノイズと予測結果に 関係があるかどうかも調査する. ラベルノイズであ るか否かの判定は, Wikipedia の日本語 NER データ セットを構築する際に使われた関根の拡張固有表現階層 [15]を参考にした。

## 5.3 結果

CrossWeighによって生成された重み付きデータを 調査したところ, データセットの全 5343 個のデータ

の内, 1484 個のデータに重みが最小のものが付与さ れていることがわかった. これらの 1484 個のデータ を,トークンごとのラベルの分類スコアに着目して 調査した結果, 大きく分けてのような 4 つのタイプ に分類できた。

1. 分類スコアが最も低いトークンがラベルノイズ であるもの

2. モデルの予測結果が間違っており, 元のデータ があっているもの

3. 分類スコアが最も低いトークン以外のものがラ ベルノイズであるもの

4. 予測結果と元のデータどちらもあっているもの

以上 4 つのタイプは以下の表 2 にまとめたデータ 数であることがわかった.

このタイプ分類からラベルノイズとなるものは Type1, 3 となる. つまり, 最小の重みが付与された 1484 個のデータの内, 73 個のデータがラベル付けに 誤りがあるデータであることがわかった.

## 6 考察

## 6.1 CrossWeigh の日本語 NE データへの 適用

Flair の結果である表 1 から, Original data で学習し た Flairよりも, Weighed data で学習した Flair の方が $\mathrm{NE}$ の識別精度が向上していることがわかる. このこ とから CrossWeigh の手法は日本語 NE データにおい ても有効であることがわかった

しかし, 付録の図 3 に示したラベルごとの結果を 見ると, 全てのラベルに対して識別精度が向上して いるのではなく, 大きく精度が向上しているものか ら減少しているものもあるため, これらを分析, 改善 することによってより良い重み付きデータを生成で きると考えられる。

## 6.2 ラベルノイズの特定

5.3 節より, 使用した Wikipedia の日本語 NER デー タセット内のラベルノイズの探索範囲を狭めること に成功した. CrossWeigh の重み付きデータを利用す
ることで効率的にデータセット内のラベルノイズを 発見することができることがわかった.

ラベルノイズと予測の際の分類スコアの関係とし ては,あまり大きな相関は見られなかった.これに は, 予測に使うモデルがラベルノイズを含むデータ セットを学習に使用してしまっているため, ラベル ノイズとなるトークンに対して実際に正しいラベル を予測させるのが難しいためと考えられる.

今回の実験で発見したラベルノイズが, 元のデー タではどのラベルが付けられていて, 実際にはどの ラベルが付くべきであったかを付録の表 3 にまとめ た.ここから, 調査したWikipedia の日本語 NER デー タセット内のラベルノイズでは, 元のラベルが O ラ ベルであるものが最も多いことがわかった.ここか らラベルノイズの発生原因としては, 固有表現とな る単語を見落としてしまうというものが最も多いこ とがわかった. CrossWeigh の有効性から考えられる ように, ラベルノイズがモデルに与える影響は大き いため, どのようにしてデータセットのラベルノイ ズの発生を抑えることが今後の課題であることがわ かった.

## 7 おわりに

本研究では日本語 NER データセットにおけ る CrossWeigh の有効性について検証を行った. CrossWeigh によって生成された重み付きデータを利用することでNER モデルの性能向上を確認するこ とができた. 今後の課題は精度が下がったラベルに 対しての分析である.

また, データセット内のラベルノイズの調査に関 しては, CrossWeigh が生成する重み付きデータを利用することで, 実際にデータセット内のラベルノイ ズを発見することに成功した. ラベルノイズとなる トークンはモデルの予測結果がよい数値ではないと 考え, 2 つの関係について調べてみたが, 相関性は見 られなかった. ラベルノイズの内訳についても調査 したが, 最も多いラベルノイズの発生原因はラベル の付け忘れであることがわかり, データセットを構築する際に,このようなミスの発生を抑制すること が今後の課題である.

## 謝辞

本研究は 2022 年度国立情報学研究所公募型共同研究 (22FC04) の助成を受けています.

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. arXiv preprint arXiv:1810.04805, 2018 .

[2] Chiyuan Zhang, Samy Bengio, Moritz Hardt, Benjamin Recht, and Oriol Vinyals. Understanding deep learning requires rethinking generalization, 2016.

[3] Zihan Wang, Jingbo Shang, Liyuan Liu, Lihao Lu, Jiacheng Liu, and Jiawei Han. CrossWeigh: Training named entity tagger from imperfect annotations. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 5154-5163, Hong Kong, China, November 2019. Association for Computational Linguistics.

[4] Mark Mazumder, Colby Banbury, Xiaozhe Yao, Bojan Karlaš, William Gaviria Rojas, Sudnya Diamos, Greg Diamos, Lynn He, Douwe Kiela, David Jurado, David Kanter, Rafael Mosquera, Juan Ciro, Lora Aroyo, Bilge Acun, Sabri Eyuboglu, Amirata Ghorbani, Emmett Goodman, Tariq Kane, Christine R. Kirkpatrick, Tzu-Sheng Kuo, Jonas Mueller, Tristan Thrush, Joaquin Vanschoren, Margaret Warren, Adina Williams, Serena Yeung, Newsha Ardalani, Praveen Paritosh, Ce Zhang, James Zou, Carole-Jean Wu, Cody Coleman, Andrew Ng, Peter Mattson, and Vijay Janapa Reddi. Dataperf: Benchmarks for data-centric ai development, 2022.

[5] 古田拓毅. データ中心の視点から捉える深層強化学習. 人工知能, Vol. 37, No. 4, pp. 507-515, 2022.

[6] 近江崇宏. Wikipedia を用いた日本語の固有表現抽出 のデータセットの構築. 言語処理学会第 27 回年次大会発表論文集 (NLP2021), 2021.

[7] Alan Akbik, Duncan Blythe, and Roland Vollgraf. Contextual string embeddings for sequence labeling. In COLING 2018, 27th International Conference on Computational Linguistics, pp. 1638-1649, 2018.

[8] 西村柾人, 新納浩幸. Crossweigh の日本語 ner データ セットへの適用. Technical Report 21, 茨城大学工学部情報工学科, 茨城大学大学院理工学研究科情報科学領域, sep 2022.

[9] 中川哲司, 松本雄二. サポートベクターマシンを用 いた誤り検出. 言語処理学会年次大会発表論文集, Vol. 8, pp. 563-566, 2002.

[10] Kun Liu, Yao Fu, Chuanqi Tan, Mosha Chen, Ningyu Zhang, Songfang Huang, and Sheng Gao. Noisy-labeled ner with confidence estimation, 2021.

[11] Zhanming Jie, Pengjun Xie, Wei Lu, Ruixue Ding, and Linlin Li. Better modeling of incomplete annotations for named entity recognition. In Proceedings of the $\mathbf{2 0 1 9}$ Conference of the North American Chapter of the As- sociation for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 729-734, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[12] Stephen Mayhew, Snigdha Chaturvedi, Chen-Tse Tsai, and Dan Roth. Named entity recognition with partially annotated training data, 2019.

[13] 伊藤雅弘, 山崎智弘. アノテーション漏れ推定を用い たエンティティ抽出. 言語処理学会第 27 回年次大会発表論文集 (NLP2021), 2021.

[14]田川裕輝, 中野騰久, 尾崎良太, 谷口友紀, 大熊智子,鈴木裕紀, 木戶尚治, 富山憲幸. Teacher-student 学習を 利用したラベル誤りを含むデータにおける固有表現認識の性能向上. 言語処理学会第 28 回年次大会発表論文集 (NLP2022), 2022.

[15] Satoshi Sekine, Kiyoshi Sudo, and Chikashi Nobata. Extended named entity hierarchy. In Proceedings of the Third International Conference on Language Resources and Evaluation (LREC'02), Las Palmas, Canary Islands - Spain, May 2002. European Language Resources Association (ELRA).

## A 付録

## A. 1 ラベルごとの F 值の比較

図 3 ラベルごとの $\mathrm{F}$ 値

## A. 2 発見したラベルノイズの内訳

 & 光の他の組織名 & イベント名 & 人名 & 地名 & 政治的組織名 & 施設名 & 法人名 & 製品名 & $\mathrm{O}$ \\


# Majority or Minority: 固有表現抽出における データの不均衡性に着目した損失関数の提案

根本颯汰 ${ }^{1}$ 北田俊輔 ${ }^{2}$ 彌冨仁 ${ }^{1}$
1 法政大学理工学部 2 法政大学大学院 理工学研究科
\{sota.nemoto.5s, shunsuke.kitada.8y\}@stu.hosei.ac.jp iyatomi@hosei.ac.jp

## 概要

多くの自然言語処理タスクはデータの不均衡の問題に直面しており，実用的な応用がなされている固有表現抽出もその一つである. 固有表現抽出は抽出対象の固有表現以外のトークンすべてがのククラス となるため，クラスが大多数を占める不均衡な データとなっている. 本論文では，固有表現抽出に おける不均衡性に着目した新たな損失関数 majority or minority loss (MoM loss) を提案する. 提案手法の 核となるアイディアは多数派のクラスであるのクラ スのトークンのみを計算対象した loss を従来のモデ ルの損失関数に追加するものである. 実験を通じて MoM loss がマルチクラス，2クラス分類問わず，言語非依存で性能向上に寄与することを確認した.

## 1 はじめに

多くの自然言語処理 (natural language processing; NLP) タスクはデータの不均衡性の問題に直面して おり, 固有表現認識 (named entity recognition; NER) もその一つである. 具体的に，非固有表現である 0 クラスのサンプル数は CoNLL2003 データセット [1] においては, それ以外の固有表現クラスのサンプル 数の合計の 4.6 倍, OntoNotes 5.0 データセット [2] に おいては 7.6 倍である. そのため結果として一般的 な機械学習モデルを適用した場合，多数を占める 0 クラスへの適合が優先され，他の少数の固有表現ク ラスの予測性能が低下する恐れがある。したがって この不均衡な問題に対策することは NER の予測性能の向上において普遍的で重要な課題である.

NER は細かく flat-NER [3] と nested-NER [4] に分 けられる. flat-NER はテキスト内の各トークンに 1 つのラベルを割り当てるように訓練する系列ラベリ ングタスクとして定式化され，各トークンの固有表現ラベルを予測するマルチ分類問題に帰着され
る. 一方で nested-NER は固有表現の範囲が入れ子 になっているタスクで，各トークンに対する質問応答タスクとしてみなして学習する機械読解 (machine reading comprehension; MRC) タスクとして定式化さ れている. 例えば「[大谷翔平] はメジャーリーグ で二刀流として活躍している.」に人名を抽出する 場合は「本文中に含まれる人名は誰だ」という質問文に対して「大谷翔平」が抽出される。そのた め，MRC タスクは質問文に対応したテキスト中の 各トークンが抽出対象かどうかの 2 クラス分類問題 に帰着される。系列ラベリングタスクで○クララスが 多数派であったように，MRC タスクでも非固有表現のトークンが非常に多いため，こちらも不均衡な 問題である。

不均衡性に対する手段として深層学習技術の親和性や導入の手軽さから，機械学習モデルの損失関数を設計する cost sensitive learning が現在の主流の 一つである [5, 6, 7]. その中でも focal loss (FL) [5] や dice loss (DL) [7] は既存の有効的な手法として広く 知られている. FL はコンピュータビジョン分野で 効果が確認された損失関数で，物体検出タスクの背景と検出対象の前景との不均衡性に着目して設計さ れた. NLP タスクにも応用され一定の成果を上げて いる [8]. また DL は NLP 分野のいくつかのタスク で効果が確認され，評価指標である F1 スコアに近 いダイス係数を使用することで不均衡性に対処する 損失関数である [7]. しかし 2 クラス分類に基づい て設計された FLやDL は2クラス分類問題として 扱う MRC タスクには適用可能だがマルチクラス分類である系列ラベリングタスクに適用することは困難である．従って NER を系列ラベリングタスクと して解く際にも適用可能な不均衡性に対処できる損失関数が必要である.

本論文では, 圧倒的多数である○クラスおよび,少数の各固有表現クラスの識別精度の両立を実現

する majority or minority loss (MoM loss) を提案する. MoM loss は元の機械学習モデルの損失に追加する シンプルかつ汎用的な手法で，多数派のクラスデー タのみに対する任意の損失関数として定義される。本論文で扱う NER の系列ラベリングタスクにおい て MoM loss は正解ラベルが ○ クラスのトークンに 対する損失として定義される. 少数派クラスから 多数派クラスへの誤識別は，当該少数派クラスの precision の大幅な低下をもたらす。提案する MoM loss は各クラスのデータ数に応じて学習係数や損失関数を調整するような従来の手法と異なり, 多数派 クラスの誤識別に対して直接ペナルティを課してそ れを減らすように学習することで結果として少数派 クラスの予測性能を大きく向上させ，全体の識別率 の向上に繋げる。また提案する MoM loss は任意の 損失関数に適用可能であるため，MRC タスクにお いても適用可能である.

## 2 MoM Loss

我々は表記方法を紹介した後に一般的な cross entropy (CE) について説明し, 次にシンプルであり ながら非常に効果的な提案手法 MoM loss について 説明する。ここでの説明は我々の提案の主である系列ラベリングタスクとして解くことを想定する.

まず，入力テキスト $X$ は $W=\left[W_{1}, W_{2}, \cdots, W_{M}\right]$ の 長さ $M$ のトークンに分割される. トークン $W_{i}$ に 対してラベル $T_{i} \in \mathbb{R}^{|\mathscr{F}|}$ を持つ. これは学習時のラ ベル $T=\left[T_{1}, T_{2}, \cdots, T_{M}\right] \in \mathscr{R}^{M \times|\mathscr{F}|}$ の集合 $\mathcal{T}$ (e.g., B-LOC, I-LOC, B-ORG, ...) として与えられる. 各トーク ンのラベル付けには一般的によく使われる BIO 形式を採用する [9]. この形式を定義する文字はクラス の接頭辞である，先頭の固有表現を表す $(\mathscr{R})$ 、それ 以外の固有表現の $(\mathscr{J})$ 、非固有表現の (O) から成る. モデルは，各トークンについて 予測される確率 $P_{i} \in \mathbb{R}^{|\mathscr{T}|}$ を出力するように学習される.つまり系列 ラベリングタスクは，教師タグの系列 $T \in \mathbb{R}^{M \times|\mathcal{F}|}$ に近い確率の系列 $P \in \mathbb{R}^{M \times|\mathscr{I}|}$ を推定する.

## 2.1 Cross Entropy Loss $\mathscr{L_{\mathrm{CE}}$}

$\mathrm{CE} \ell_{\mathrm{CE}}\left(T_{i j}, P_{i j}\right)=T_{i j} \log \left(P_{i j}\right)$ はトークン $W_{i}$ の one-hot に表現のラベル $T_{i}$ と予測確率 $P_{i}$ 間の損失関数 $\mathscr{L}_{\mathrm{CE}}(\cdot, \cdot)$ であり，以下のように定義される:

$
\mathscr{L}_{\mathrm{CE}}(T, P)=-\frac{1}{M} \sum_{i=1}^{M} \sum_{j=1}^{|\mathscr{F}|} \ell\left(T_{i j}, P_{i j}\right)
$

$T_{i j}$ と $P_{i j}$ は $T_{i}, P_{i}$ ベクトルの $j$ 番目の要素である.

## 2.2 MoM Loss $\mathscr{L_{\text {MoM }}$}

NER では多数派の○クラスのサンプルが学習を 圧迫し, 他の固有表現クラスのサンプルの学習が十分にされず，固有表現クラスの識別精度の低下を招 く. 従来のデータ数に応じた損失関数の重み付けは 一定の成果を上げているが，重みの最適化を正確に 行わないと精度が低下する可能性があるため改善の 余地が残されていた $[5,7]$.

MoM loss の基本的な考え方は，○クラスの正解ラ ベル (i.e., $T_{i j}=0$ ) に対してのみ損失を計算するこ とである。そのため，非固有表現トークンを 0 ク ラスとみなすことで MRC タスクでも導入が可能と なる. 我々の MoM loss を以下のように定義する:

$
\mathscr{L}_{\mathrm{MoM}}(T, P)=-\frac{1}{M} \sum_{i=1}^{M} \sum_{j=1 ; T_{i j}=\mathscr{G}}^{|\mathcal{T}|} \ell\left(T_{i j}, P_{i j}\right)
$

の MoM loss を従来のモデルの損失関数 $\mathscr{L}(\cdot, \cdot)$ に追加する. これによって MoM lossが ○ クラスのみの loss を計算するため, 固有表現クラスとのクラスに 対する疑似的な 2 段階分類を実現させた.

モデルの訓練時には、従来の CE に加えて MoM loss を加えた以下の損失を最小化する:

$
\mathscr{L}_{\text {total }}(T, P)=\lambda \cdot \mathscr{L}(T, P)+(1-\lambda) \cdot \mathscr{L}_{\mathrm{MoM}}(T, P),
$

ここでパラメータ $\lambda$ は $\mathscr{L}(\cdot, \cdot)$ と $\mathscr{L}_{\mathrm{MoM}}(\cdot, \cdot)$ の間の トレードオフを制御するハイパーパラメータであ る. この $\mathscr{L}_{\text {total }}$ は様々な分野でデータの不均衡に対し て有効なマルチタスク学習 [10] の一種として考える ことができる $[11,12]$.

## 3 実験

本節では提案する損失関数である MoM Loss の効果を, flat-NER として系列ラベリングタスクと MRC タスクの 2 通りの方法でモデルを学習した. 系列ラ ベリングタスクでマルチクラス分類における提案手法の有効性を示し，MRC タスクで2 クラス分類に 親和性のある先行研究と比較した.

## 3.1 データセット

我々は日英含む以下の 4 つのデータセットを使用した: CoNLL2003 [1], OntoNotes5.0 [2], 京大ウェブ 文書リードコーパス [13], Stockmark-NER-wiki [14].
表 1 各損失関数の Sequence labeling タスクにおける実験結果

 & 87.62 & 89.15 &  & 71.88 & 74.27 &  & 77.79 & 81.53 &  \\

これらのデータセットの統計量をまとめたものを付録 Aにて議論する。

NER データセットの不均衡性を示すため，Oクラ スのサンプル数 $N_{\odot}$ と固有表現クラスのサンプル数 $N_{\text {nonO }}$ から不均衡率 $\rho$ を以下のように計算する:

$
\rho_{\odot}=N_{\odot} /\left(N_{\odot}+N_{\text {non๑ }}\right) .
$

すべてのデータセットで 0 クラスの占める割合が 8 割を超える非常に不均衡なデータセットであること が確認できる。また，英語のデータセットでは一般的な訓練/開発/評価データの分割を採用し，一方で 日本語のデータセットではランダムに 8:1:1 にデー タを分割した. さらに詳細なデータセットの内容に ついては付録 Aに記載した。

## 3.2 ベースラインモデル

我々は 系列ラベリングタスクには BERT [3] MRC タスクには BERT-MRC [15] を使用した.

BERT [3] は，大規模なテキストコーパスから事前学習された Transformer [16] ベースの言語モデル であり，現在 NLP タスクのベースラインモデルと して幅広く利用されている. テキストを入力するこ とで各トークンに対応したマルチクラスの固有表現 ラベルを出力する. 系列ラベリングタスクを解く際 にこのモデルを使用し, 日英 4 つのデータセットに て FL [5] を適用したモデルと比較した.

BERT-MRC [15] は BERT を元に NER を MRC タ スクとして解くモデルで，当時英語と中国語のベン チマークで当時最先端の記録を更新した. 入力テキ ストから 2 クラスの各固有表現に対応したトーク ンの場所を出力する．英語のデータセットを用いて FL [5] やDL [7] を適用したモデルと比較した.

## 3.3 比較対象の損失関数

Focal loss (FL) [5] は2クラス分類に有効な損失関数であり，物体検出における検出対象の前景と背表 2 各損失関数の MRC タスクにおける実験結果

 \\

景の不均衡性に着目した損失関数である. また，マ ルチクラス分類への拡張も可能であるが，適切なハ イパーパラメータの調整が必須となる.

Dice loss (DL) [7] は偽陽性と偽陰性を等しく重要視する損失関数で，重み付き $\mathrm{F}$ 值に近い損失関数である.しかし、2クラス分類タスクである MRC タスクでの使用を前提としており，系列ラベリング タスクでは使用できない。ここではDL の論文内で 予測性能の向上に最も貢献した dice coefficient (DSC) をDLとして使用した。

今回提案する損失関数をとその他の損失関数であ る CE や FL, DLを用いた場合の予測性能の比較結果 を報告する。

## 4 実験結果

系列ラベリングタスクにおいて 4 つのデータセッ トに対する各損失関数を適用した際の予測性能の結果を表 1 に示す. MoM loss は CoNLL2003, OntoNotes 5.0, KWDLC，そして Stockmark-NER-Wiki の 4 つの データセットに対して 既存の CE によって訓練した BERT より F1 スコアが $0.33 \%, 0.37 \%, 0.91 \% ， 0.70 \%$高い結果となった. 提案手法である ○クラスと固有

表現クラスを学習する MoM loss が CE や先行研究 のFLよりも優れていることを観測した。

上記の結果を受けて，提案手法と CEのF1 スコ アの有意差について，対応ありの $\mathrm{t}$ 検定を実施し た. 各データセットにおける $\mathrm{p}$ 值は CoNLL2003 が $6.36 e^{-6}$, OntoNotes 5.0 が $3.99 e^{-6}$, KWDLC が $1.36 e^{-3}$, Stockmark-NER-wiki が $1.06 e^{-3}$ となった. 有意水準 が 0.01 の時，対立仮説が支持されるため提案手法と CEのF1 スコアの有意差が確認された.

表 2 に，MRC タスクにおける CoNLL2003 デー タセットに対する各モデルの予測性能の結果を示 す. MoM loss は 既存の binary CE (BCE) によって訓練した BERT-MRC より F1 スコアが $0.50 \%$ 高い結果 となった.また， MoM loss は FL と DL より $0.34 \%$, $0.30 \%$ 高い結果となった. 有効性が示されている DL に更に我々のアイディアを追加することで，さ らなる予測性能向上を実現した. 我々は不均衡性に 対処する DL の性質を保ちながら MoM loss が更に 予測性能を向上させたことを観測した.

表 3 に，系列ラベリングタスクにおける CoNLL2003 データセットに対する各固有表現 ごとの予測性能の結果を示す. MoM loss は地名，そ の他の固有表現，組織名，Oクラスにおいて $0.04 \%$ ， $0.67 \%, 0.11 \%, 0.01 \%$ の予測性能の向上が観測され た. 一方，人名クラスにおいては $0.14 \%$ 低下した. この点について以下のセクションで説明する.

## 5 議論

CoNLL2003 データセットにおける全 3,453 件のテ ストケースのうち損失関数を CE から MoM loss に 変更して正解した例は 35 件確認された. そのうち 固有表現クラスと○クラス間の正例は 10 件で，固有表現間での正例は 25 件であった. またその 25 件中，サンプル数の少ない固有表現クラスからサンプ ル数の多い固有表現クラスに予測ラベルが変わった ことで正解となった例は 22 件であった. この 35 件中 22 件もサンプル数の少ない固有表現クラスから サンプル数の多い固有表現クラスに予測ラベルが変 わった理由として，MoM loss が クラスに対する 不均衡性を考慮することで，モデルがＯクラス以外 の固有表現クラスのみの分布に従ったためだと考え られる．従って，表 3 において人名クラスのみ精度 が下がったのはクラスを除いた固有表現クラスの 中で最もサンプル数の多い人名クラスに過学習した ためだと推測する。

## 6 おわりに

我々は固有表現抽出のデータセットの不均衡性に 着目した新しい損失関数 MoM loss を提案した. こ の提案手法は多数派のクラスのトークンのみを計算する loss を従来のモデルの損失関数に追加する 手法で，言語非依存なシンプルかつ系列ラベリング や MRC タスクなどの解き方に左右されない効果的 な損失関数である。評価結果から以下の 2 つが確認 できた. 1) BERT において日英 4 つのデータセット を使用して系列ラベリングタスクとして解いた際 に言語に依存しない予測性能の向上を確認した．2) BERT-MRC において英語のデータセットを使用し て MRC タスクとして解いた際，先行研究の損失関数である FL DLを上回る予測性能の向上を確認 した.

## 参考文献

[1] Erik Tjong Kim Sang and Fien De Meulder. Introduction to the conll-2003 shared task: Language-independent named entity recognition. In Proceedings of the Seventh Conference on Natural Language Learning at HLT-NAACL 2003, pp. 142-147, 2003.

[2] Sameer Pradhan, Alessandro Moschitti, Nianwen Xue, Hwee Tou Ng, Anders Björkelund, Olga Uryupina, Yuchen Zhang, and Zhi Zhong. Towards robust linguistic analysis using ontonotes. In Proceedings of the Seventeenth Conference on Computational Natural Language Learning, pp. 143-152, 2013.

[3] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, 2019.

[4] Xiaoya Li, Jingrong Feng, Yuxian Meng, Qinghong Han, Fei Wu, and Jiwei Li. A unified mrc framework for named entity recognition. arXiv preprint arXiv:1910.11476, 2019.

[5] Tsung-Yi Lin, Priya Goyal, Ross Girshick, Kaiming He, and Piotr Dollár. Focal loss for dense object detection. In Proceedings of the IEEE international conference on computer vision, pp. 2980-2988, 2017.

[6] Yin Cui, Menglin Jia, Tsung-Yi Lin, Yang Song, and Serge Belongie. Class-balanced loss based on effective number of samples. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, $\mathrm{pp}$. 9268-9277, 2019.

[7] Xiaoya Li, Xiaofei Sun, Yuxian Meng, Junjun Liang, Fei $\mathrm{Wu}$, and Jiwei Li. Dice loss for data-imbalanced NLP tasks. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 465-476, Online, July 2020. Association for Computational Linguistics.

[8] Tu Dinh Tran, Minh Nhat Ha, Long Hong Buu Nguyen, and Dien Dinh. Improving multi-grained named entity recognition with bert and focal loss. ICIC Express Letters, Part B: Applications, Vol. 12, No. 3, pp. 291-299, 2021.

[9] Lance A Ramshaw and Mitchell P Marcus. Text chunking using transformation-based learning. In Natural language processing using very large corpora, pp. 157176. Springer, 1999.

[10] Rich Caruana. Multitask learning. Machine learning, Vol. 28, No. 1, pp. 41-75, 1997.

[11] Yu Zhang, Ying Wei, and Qiang Yang. Learning to multitask. Advances in Neural Information Processing Systems, Vol. 31, , 2018.

[12] Alexander Spangher, Jonathan May, Sz-Rung Shiang, and Lingjia Deng. Multitask semi-supervised learning for class-imbalanced discourse classification. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 498-517, 2021.
[13] Masatsugu Hangyo, Daisuke Kawahara, and Sadao Kurohashi. Building a diverse document leads corpus annotated with semantic relations. In Proceedings of the 26 th $\mathrm{Pa}-$ cific Asia Conference on Language, Information, and Computation, pp. 535-544, 2012.

[14] Takahiro Omi. stockmarkteam/ner-wikipedia-dataset: Japanese named entity extraction dataset using wikipedia, 2021.

[15] Xiaoya Li, Jingrong Feng, Yuxian Meng, Qinghong Han, Fei Wu, and Jiwei Li. A unified MRC framework for named entity recognition. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 5849-5859, Online, July 2020. Association for Computational Linguistics.

[16] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. Advances in neural information processing systems, Vol. 30, 2017.

[17] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Rémi Louf, Morgan Funtowicz, et al. Transformers: State-of-the-art natural language processing. In Proceedings of the $\mathbf{2 0 2 0}$ conference on empirical methods in natural language processing: system demonstrations, pp. 38-45, 2020.

[18] Diederik P Kingma and Jimmy Ba. Adam: A method for stochastic optimization. arXiv preprint arXiv:1412.6980, 2014.
表 4 各データセットの統計量. 全てのデータセットを，文書ごとに分割し件数と Eq. 4 で実施した不均衡性を示す 0 ク ラスの割合である $\rho_{0}$ を示す.

## A データセット

English CoNLL2003[1] は1996年 8 月から 1997 年 8 月までのロイター通信のニュース記事からなる データセットである. また，学習データと評価デー タは,1996 年 8 月末のファイルから 10 日分のデータ で，テストデータは1996年 12 月のテキストである.固有表現は人名や地名の他に組織名などがある. さ らに，総トークン数が 302,811 に対し非固有表現の トークンが $82.17 \%$ である.

English OntoNotes5.0 [2]は 18 個の固有表現か らなる，ニュース，電話での会話，ウェブサイト，放送，トークショーなどの様々なソースから構成さ れている大規模コーパスである. 固有表現は人名や 地名の他に日時や金額，法律名などがある. さら に，総トークン数が 1631,995 に対し非固有表現の トークンが $88.34 \%$ である.

京大ウェブ文書リードコーパス [13] はニュー X記事，百科事典記事，ブログ，商用ページなどの ウェブ文書の冒頭 3 文に対してアノテーションし たテキストコーパスである.コーパスの規模は約 5,000 文書で 15,000 文に相当する. 固有表現は人名 や地名の他に組織名や日付，時間，金額などがあ る. さらに，総トークン数が 252,984 に対し非固有

Stockmark-NER-wiki [14] は日本語版 Wikipedia から抜き出した文に対して，アノテーションをし た，全体で約 4,000 件ほどのデータセットである.固有表現は人名や地名の他に施設名や製品名，法人名などがある. さらに，総トークン数が 98,496 に対乙非固有表現のトークンが $82.18 \%$ である.

## B 実装の詳細

BERT は Huggingface の Transformers [17]を使用 した. 事前学習済みモデルにおいて英語は bertbase，日本語は東北大 BERT を使用した. モデルは Adam [18] を用い, 学習率は $2 e^{-5}$, バッチサイズは 64
で各データセット 10 エポックの微調整をした. focal loss [5] と MoM loss の各パラメータは機械学習モデ ルにおけるべイズ最適化のパッケージである optuna により最適化をした. 最適なモデルのチェックポイ ントは評価データでの $\mathrm{F} 1$ スコアに基づく. 我々は、異なるランダムシードを用いた 10 回の実行の F1 ス コアの平均値を報告する.

BERT-MRC は論文 [15] 中で公開されている実装 を使用した. Adam [18]を用い，学習率は $3 e^{-5}$,バッ チサイズは 32 で各データセット 10 エポックの微調整をした. その他の focal loss [5] や dice loss [7] な どの各パラメータは dice loss [7] の実装に従った. 最適なモデルのチェックポイントは評価データでの F1 スコアに基づく. 我々は、異なるランダムシー ドを用いた 5 回の実行の F1 スコアの平均値を報告 する。


# 妊娠・出産・育児に関する情報サイトにおける 母親の検索行動の予備的分析

内田ゆず 1 高丸圭一 ${ }^{2}$ 乙武北斗 3 木村泰知 4
1 北海学園大学 2 宇都宮共和大学 3 福岡大学 4 小樽商科大学
yuzuehgu.jp takamarualkyowa-u.ac.jp
ototake@fukuoka-u.ac.jp kimura@res.otaru-uc.ac.jp

## 概要

妊娠中の女性や子育て中の女性はメンタルへル スに不調をきたしやすい。深刻な事態に発展する前 に不安やストレスの原因を発見し，対応することが 必要である. 近年，女性が奸娠・出産・育児に関す る情報収集をしたり，交流をするためのオンライン サービスが普及している。そのようなサービスを利用するユーザの検索行動を分析すると，母親が抱え る不安や疑問を明らかにできると考えられる。本稿 では，妊活・妊娠・出産・育児に関する情報サイト における実際の検索履歴データを分析し，検索キー ワードの時間変化や，感情表現の様相を概観する。

## 1 はじめに

出産を控えた母親や乳幼坚をもつ母親は，身体的変化に加え，家庭内での役割や人間関係の変化，心理社会的変化も大きく，精神的な不調をきたしやす い. 母親にとって相談相手がいるという情緒的サ ポートは育児不安の緩和において重要であるが [1],核家族化や地緑の希薄化，少子化にともない，気軽 に相談できる人が身近にいない場合も多い，母親の メンタルヘルスの不調は, 産後うつなどの母親自身 の問題のみならず，養育行動や子どもの発達，家族 にも影響を及ぼす。最悪の場合，子どもへの虐待， ネグレクト，母親の自死などの事態に発展する可能性もあり，母親の持つ不安やストレスを軽減する方略を見出すために，ストレスの原因を明らかにする ことが重要である.

近年，母親を対象としたオンラインサービスが発展しており，スマートフォンアプリを利用して情報 を取得したり，母親同士が育児について相談する場 になっている.ここでは, 周辺に相談できる相手が いないためオンライン上で相談したい，専門家の意見が知りたい，親族や知人には聞きにくいことを匿名で相談したいといった需要を満たすことができ る.また，不安が高く対人関係で消極的な母親につ いては，インターネット利用が育児不安の緩和と 関連していると報告されている [2]. 一方で，「イン ターネット」を相談相手として選ぶ母親は，育児不安が高いという報告もある [3].

このように，育児不安の緩和に対するインター ネット利用の効果については評価が定まっていない ものの，母親たちはインターネット上で質問や検索 をすることで情報を収集し，不安を解消しょうとし ていることは明らかである. そこで，本研究ではイ ンターネット上での母親の行動から妊娠・出産・育児の各時点で典型的に生じる不安や疑問を明らかに し，適切なタイミングで情報提供を行うことで母親 の不安を低減することを目指す. 本稿では研究の端緒として，妊娠・出産・育児に関する情報サイトに おける実際の検索履歴データを分析し，検索行動の 傾向を概観する。

## 2 使用するデータ

本研究では，「ママの一歩を支える，女性向け Q\&A アプリ」としてコネヒト株式会社 ${ }^{1}$ が運営す るサービス「ママリ」の検索データを分析する．利用可能なデータは 2019 年度〜2020 年度に検索され た履歴（99,271,031 件）である. 検索データから， ユーザ ID，検索クエリとその検索日がわかる2).ま た，各ユーザに紐づく子供の属性情報として，誕生日（出産日）や性別の情報も利用可能である.

検索データの一部を表 1 に示す。検索クエリは 1 つ以上の文字列で構成され，複数の文字列が含まれ る場合，文字列の境界はスペースで記される．以降 の分析では形態素解析器を用いた単語分割は行わ

1) https://connehito.com/

2）個人を識別する情報は一切含まれない

図 1 各期の検索件数（単位：100万回）

ず，スペースで分割した文字列を「検索キーワー ド」と呼ぶこととする ${ }^{3}$ ．検索キーワードには，母子の健康状態，育児全般，家族や日常生活，行政の 子育て支援などにかかわる表現が含まれる.

ユーザの検索行動を時系列で分析するために， ユーザの属性情報を利用して検索データの前処理 を行う。具体的には検索日と出産日の差を計算し，出産日を起点として何日後（前）に何を検索したか を解析できるように検索履歴を加工する。そのうえ で，出産回数が 1 回のユーザ4) が出産の 1 年前から 出産の 1 年後までの期間に検索した履歴 $(33,885,687$件）を分析対象として抽出する。対象となるユーザ は 887,055 人である。なお，本稿では 2 年間を 30 日単位に分割し, 図 2 のようにそれぞれ- 12 期 12 期 と呼ぶこととする.

図 2 データ期間の分割

検索件数を期ごとに集計した結果を図 1 に示 す. -8 期〜 4 期の間は検索件数に大きな変化はな く，出産日が近づくと急激に増加してピークの-1 期 （出産直前の 30 日間）には約 300 万件になる. 出産後は，徐々に減少するが，高い水準を維持する。

## 3 検索キーワードの出現傾向

検索クエリの内容を概括的に把握するために，検索キーワードの出現頻度を集計した（頻出する キーワードは付録 $\mathrm{A}$ 参照）その結果，妊娠期間中 は「妊娠（中）」「妊娠 $\mathrm{n}$ 週」「つわり」，出産直前の-1 期は「臨月」「陣痛」が高頻度であった. 出産後は 「生後 n ケ月」の出現頻度が圧倒的に高く, 出産直後の 1 期のみ「新生児」の頻度が高い. 2 期（産後 30 日～59 日）では「生後 1 か月」が最頻というよう に， 2 期以降は検索時期と子供の月齢が一致してい ることから，ユーザは今現在の状況についての情報 を求めていることがわかる.

「生後 $\mathrm{n}$ ケ月」は「生後 1 ヶ月授乳間隔」「生後 3 ヶ月 体重」「生後 7 ヶ月離乳食 量」のように，複数のキーワードと組み合わせて検索クエリを構成す ることが多い. したがって，「生後 $\mathrm{n}$ ケ月」と共起 する検索キーワードを分析することで，母親が育児 のどのタイミングでどのような疑問・不安をもつの かを明らかにできる可能性がある。そこで，検索ク エリ内で「生後 n ケ月」と共起するキーワードを集計し，その内容を分析する. なお，「生後 4 ヶ月ミ ルク 量」のように 3 つ以上のキーワードが共起する 場合，「ミルク量」で一つの意味を成していると解釈し，分割せずにカウントする。

まず，頻度の高い 100 例について，第一著者が内容によって分類を行ったところ，概ね「授乳」「ミル

図 3 「生後 $\mathrm{n}$ 力月」と共起するキーワードの出現頻度

ク」「離乳食」「生活リズム」「睡眠」「健康」「発育」「動作」「その他」の9 カテゴリに分類された（具体的なキーワードは付録 B 参照). 特に頻度が高い力 テゴリは，睡眠（17 例／172,220 回)，授乳（14 例 /166,926 回), 離乳食 (6 例/127,701 回)，ミルク （11 例／115,940 回）であった.「動作」や「発育」 のカテゴリには「寝返りしない」「ハイハイしない」「体重増えない」など，否定形を用いた表現がみら

きるようになる」などの平均的な発達段階と比較し て, 我が子の発育・発達状態に不安が生じたときの 検索行動だと推測される。

次に，抽出したキーワードの中で，「生後 $\mathrm{n} ヶ 月 」$ の $\mathrm{n}$ によって出現頻度が大きく異なる 5 例につい て, 図 3 に $\mathrm{n}$ と共起頻度の関係を示す. 生後 3 ヶ 月ごろまでは「授乳間隔」「ミルク量」との共起が 多いが，生後 4 5 ヶ月で「離乳食」に逆転される.一般的に，離乳食の開始時期は生後 6 ヶ月と言われ ているため，この傾向は妥当であろう.「予防接種」 は生後 2 ケ月との共起が突出している. これは主な 予防接種が生後 2 ヶ月頃から始まる 5 ) ことを反映し ていると考えられる。「夜泣き」は生後 6 ケ月から 増減を繰り返しながらも継続して検索されている。赤ちゃんの夜泣きは生後 3 ケ月から生後 1 年半前後 に起きやすいとされているが個人差も大きく, 夜泣 きが始まる時期が分散していることと関連している 可能性がある.

今回の分析では「生後 $\mathrm{n}$ ヶ月」と高頻度で共起す るキーワードのみを対象としたため，意外性のある

5）国立感染症研究所「日本の予防接種スケジュー ル」:https://www.niid.go.jp/niid/ja/component/content/article/320infectious-diseases/vaccine/2525-v-schedule.html

結果は得られなかったが, 育児にかかわる様々な事象と検索時期が密接に関連していることは明らかに なった. 今後，母親の隠れたニーズやこれまで意識 されてこなかった悩みを発見するために，対象を広 げて分析を行う予定である.

## 4 検索キーワード中の感情分析

検索クエリの中には，ユーザの感情を示すキー ワードが含まれているものもある. ネガティブな 感情やその原因を抽出できれば，ユーザの精神的 な不調の発見につながる可能性がある. そこで， ML-Ask[4]を用いて検索クエリから感情情報を抽出 する. ML-Ask は辞書 [5] とのパターンマッチング をべースに

喜,怒,哀, 怖, 恥, 好, 厭, 昂, 安, 驚

の 10 カテゴリの感情を推定するもので，本研究で 対象とする単語単位の感情分析に適している．産後 うつは, 出産後 2 週間以内に発症することが報告さ
表 3 ネガティブな感情を示すキーワード

れている [6] ため, 分析対象のデータは 1 期の検索 クエリとする.

ML-Ask によっていずれかの感情を含んでいると 推定された検索クエリは28,552 件存在した. 感情力 テゴリごとの頻度を表 2 に示す6). 哀，厭，昂の頻度が高く，ユーザがネガティブな感情を含むクエリ で検索を行う傾向が明らかになった. 今回は全ユー ザを一括して分析したが，個人に着目することで，短期間にネガティブな感情を含む検索を何度も行っ ているユーザや，時間の経過とともにネガティブな 検索が増加しているユーザなど, 高リスクなユーザ を抽出できる可能性がある.

表 3 には，ネガティブな感情カテゴリ（怒，哀，怖，厭，昂）と推定される要因となった語を頻度順にまとめた。表中の”*CVS”は”Contextual Valence Shifters”を意味し，否定表現を示す. 例えば，「落着 き*CVS」はデータ中では「落着きがない」などの形 で現れる. 最頻の語は「泣く」であるが，本研究の ドメインにおいては「赤ちゃんが泣く」文脈での使 われ方であると予想され，必ずしも哀の感情を意味 するものではない.「痛い」や「痛み」は母子の健康状態に直結するキーワードであり，共起するキー ワードと併せて分析することで適切な医療情報を提供する際に役立つ可能性がある.

その他の特徴として，「いらいら」「ぶるぶる」「び くびく」「がくがく」「ぶつぶつ」「もぞもぞ」「むず
むず」「ぴくぴく」といったオノマトペが散見され る点が挙げられる.オノマトペは感情を表す際にも 多用される上，もやもやした身体感覚や精神的症状 を簡便に説明できる表現方法でもある [7]. 多義性 をもつオノマトペであれば，その両方を表すことも ある.たとえば，「ぶつぶつ」は「不平・不満や小言 をいうさま」の意味で用いられている場合は厭の感情を表し，「表面にたくさん出た粒状の物」の意味 の場合は湿疹等の皮膚の状態を表す.このように， オノマトぺは感情や健康状態を抽出する際に有効な 手掛かりになり得る.

## 5 おわりに

妊娠・出産・育児に関して適切なタイミングで情報提供を行うことで母親の不安を低減することを目指し，情報サイトにおける検索履歴データを分析し た. 検索キーワードの時間変化から，母親は日々の 生活の中で生まれる疑問や不安を即時的に検索して いることが示唆された。また，ネガティブな感情を 含む検索キーワードも多く存在することが明らかに なった. 今後はさらに分析を進め，母親の困りごと を抽出したり, 医療ドメインの単語やオノマトペな どを糸口に母親の心身の健康状態を把握することを 目指す.また，データを行政の施策と結びつけるこ とも視野に入れている.

6）複数の感情カテゴリをもつ検索クエリも存在する

## 謝辞

本研究の遂行にあたり，貴重なデータを提供し ていただいたコネヒト株式会社様に感謝の意を表 する．また，本研究は JSPS 科研費 $21 \mathrm{~K} 12584$ および 17K12791 の助成を受けたものである.

## 参考文献

[1] 藤田大輔, 金岡緑. 乳幼児を持つ母親の精神的健康度 に及ぼすソーシャルサポートの影響. 日本公衆衛生雑誌, Vol. 49, No. 4, pp. 305-313, 2002.

[2] 小林真. インターネットの利用が母親の育児ストレ スに及ぼす緩和効果. 富山大学教育学部紀要, Vol. 58, pp. 85-92, 022004.

[3] 山﨑さやか, 篠原亮次, 秋山有佳, 市川香織, 尾島俊之,玉腰浩司, 松浦賢長, 山崎嘉久, 山縣然太朗. 乳幼児を 持つ母親の育児不安と日常の育児相談相手との関連：健やか親子 21 最終評価の全国調査より. 日本公衆衛生雑誌, Vol. 65, No. 7, pp. 334-346, 072018.

[4] Michal Ptaszynski, Pawel Dybala, Rafal Rzepka, Kenji Araki, and Fumito Masui. Ml-ask: Open source affect analysis software for textual input in japanese. Journal of Open Research Software, Vol. 5, No. 1, p. 16, 2017.

[5] 中村明. 感情表現辞典. 東京堂出版, 1993.

[6] H Yamashita, K Yoshida, H Nakano, and N Tashiro. Postnatal depression in japanese women: Detecting the early onset of postnatal depression by closely monitoring the postpartum mood. Journal of Affective Disorders, Vol. 58, No. 2 , pp. 145-154, 2000 .

[7] 植田栄子. 診療コミュニケーションにおける擬音語・擬態語の使用傾向と効果的運用について. 日本へル スコミュニケーション学会, Vol. 6, No. 1, pp. 53-67, 2015.

## A 各期における高頻度な検索キーワード

## B「生後 $\mathrm{n$ ヶ月」と共起する検索キーワード}

 \\


# ユーザ意図を考慮したE コマースにおける 商品検索クエリの調査と分析

浅野孝平 稲田和明 張信鵬
株式会社 MonotaRO
\{kohei.asano,kazuaki.inada,xinpeng_zhang\}@monotaro.com

## 概要

Eコマースの商品検索において，クエリに含まれ るユーザの意図を正しく解釈することは重要あり，検索結果にその意図を適切に反映することで，さら なるユーザ体験の向上につながると考えられる. 本研究では，Eコマースの商品検索におけるログデー タを用いて検索されたクエリをクラスタリングし， その結果に対して詳細な分析を行うことで，クエリ に含まれるユーザ意図についての理解を深める. さ らに，類似した意図を持つクエリのひとつのバリ エーションである表記ゆれの問題に着目し，ユー ザーの意図を正しく反映できるクエリ集合が作成で きたことを示す.

## 1 はじめに

近年 Eコマースが活発に利用されることに伴い，日々膨大なログデータが蓄積されている。蓄積され たログデータは，各 $\mathrm{E}$ コマースの商品検索や推薦と いったサービスにおけるユーザ体験の向上に活用さ れている. 商品検索では，ユーザが入力したクエリ にマッチする検索結果を提示することが重要である が，入力されるクエリにはユーザの意図が反映され ることで多くの曖昧性が含まれているため，クエリ からユーザの意図を正しく読み取って検索結果に反映することは難しい，さらに，クエリに含まれる意図の推定精度が十分に高くない商品検索サービス を提供すると，ユーザへ悪い印象を与える可能性が あり，コマースサービスの全体的な信頼度の低下や Custer Lifetime Value の低下を招くと恐れがある．そ のため，実際の商品検索のサービスとして提供する ためには，非常に高精度なクエリの意図推定が必要 となると考えられる。

商品検索におけるクエリの分析として，様々な研究が実施されている. Guo らは，クエリに適切な分割を与えたり，逆に結合したりすることで，検索精度を向上させるクエリ整形の手法を提案している

索のクエリに対して，商品の詳細を示す属性値の抽出・活用したクエリ整形を実施しているが，その調査規模は限定的である [2]. このように，特に日本語を対象とした Eコマースの商品検索におけるクエ リの理解に関する研究は少なく，クエリに生じる曖昧性に関する分析も十分であるとは言えない。また クエリの分析には，ユーザ意図の類似したクエリを クラスタリングするアプローチが有用であること が知られており [3]，Cao ら [4] のクラスタリングを ベース手法として採用した。

そこで本論文では，Eコマースの商品検索におけ るクエリと商品クリックなどのログデータの関係 に着目してクエリをクラスタリングすることで，意図が類似したクエリの集合を抽出し，その特徴を分析してクエリの理解を深める. 目視の観察によっ て，同じ商品を求めているクエリには，表記ゆれや 言い換えによる曖昧性によって異なる表現や，絞り 込みを目的とした属性値，意味的な含意が生じてい るクエリペアが存在することを確認した。さらに，分析によって発見した表記ゆれの問題に対して，高 い精度の同義関係の判定ルールを提案し，検証を 行った.

## 2 クエリのクラスタリング

## 2.1 クエリクラスタリングのベース手法

本研究では， Cao ら [4] のクエリクラスタリング 手法をべースとする. Algorithm 1 に Cao らのクエ リクラスタリング手法を示す. Cao らは，クエリと 結びつきのある商品ページの URLを重み付き 2 部 グラフとみなし， 2 部グラフが類似しているクエリ 間をクラスタ化している。

以下に，Algorithm 1 で用いる表記について記 す. クエリの集合を $Q=\left.\{q_{1}, \ldots, q_{n}\right.\}$, 商品の集合 を $P=\left.\{p_{1}, \ldots, p_{m}\right.\}$ とする. $n, m$ はそれぞれクエ リ数と商品数である. クエリ $q_{i}$ による商品検索 によってクリックされた商品 $p_{j}$ の間にはパス $e_{i, j}$ が発生し，そのパスのクリック数を $w_{i, j}$ とする. また，クエリの集合であるクラスタを $C_{k} \in \Theta$ を $C_{k}=\left.\{q_{1}, \ldots, q_{l}\right.\}$ とする. $k, l$ はそれぞれクラスタ ID とクラスタに含まれるクエリ数である.

各クエリ $q_{i}$ のベクトル表現 $\vec{q}_{i} \in \mathbb{R}^{m}$ の $j$ 番目の要素は，式 (1)で定義される.

$
\vec{q}_{i}[j]= \begin{cases}\frac{w_{i, j}}{\sqrt{\sum_{\forall j} w_{i, j}^{2}}} & \left(e_{i, j} \text { が存在する場合 }\right) \\ 0 & (\text { 上記以外 })\end{cases}
$

クラスタ $C_{k}$ のセントロイドベクトル $\overrightarrow{c_{k}} \in \mathbb{R}^{m}$ は, ク ラスタ $C_{k}$ に属するクエリベクトル $\left.\{\vec{q}_{1}, \ldots, \vec{q}_{l}\right.\}$ の $L_{2}$正規化された平均べクトルで求められる. $\operatorname{dist}(q, C)$ と diameter $(C)$ はそれぞれ式 (2), (3) で定義される.

$
\begin{aligned}
\operatorname{dist}(q, C) & =\sqrt{\sum_{p_{j} \in P}(\vec{q}[j]-\vec{c}[j])^{2}} \\
\operatorname{diameter}(C) & =\sqrt{\frac{\sum_{q \in C} \sum_{q^{\prime} \in C}\left.\|\vec{q}-\vec{q}^{\prime}\right.\|^{2}}{|C|(|C|-1)}}
\end{aligned}
$

また， $D_{\max }$ はクラスタサイズを調整するためのハ イパーパラメータである.表 1 クラスタリング結果

## 2.2 クラスタの拡張

Algorithm 1 によるクラスタリングでは，ひとつク ラスタに含まれるクエリがひとつのみあるシングル トンクラスタが多数生成される [4] が，シングルト ンクラスタに属するクエリは，比較対象のクエリが 存在しないため意図分析が困難である．そこで本研究では，類似したクラスタをさらにグループ化して シングルトンクラスタの数を減らすことで，解析対象のクラスタ数の拡大を行う.

各クラスタのセントロイドベクトル $\overrightarrow{c_{k}}$ において $\overrightarrow{c_{k}}[j] \neq 0$ を満たす次元を 1 ，それ以外の次元を 0 と するバイナリベクトル $b_{k}$ を作成する. ある二つのク ラスタ $C_{x}, C_{y}$ について, $\overrightarrow{b_{x}}=\vec{b}_{x} \odot \overrightarrow{b_{y}} \neq \overrightarrow{0}$ を満たす とき， $C_{x}$ と $C_{y}$ が関連しているとみなす. さらに $\vec{b}_{k}$ に対して $\vec{b}_{k} \odot \vec{b}_{k^{\prime}}=\vec{b}_{k}$ を満たす $C_{k^{\prime}}$ が $\Theta$ に存在し ない場合， $C_{k}$ を極大クラスタと定義する. ある極大クラスタ $C_{k}$ を基準として，式 (4)で得られるクラ スタの和集合を，類似したクラスタをグループ化し た拡張クラスタ $\mathscr{C}_{k}$ を獲得する。

$
\mathscr{C}_{k}=\bigcup_{i \in\left.\{i: \vec{b}_{k} \odot \vec{b}_{i}=\vec{b}_{i}\right.\}} C_{i}
$

同様に極小なクラスタを基準とした拡張クラスタも 獲得する。

## 2.3 クラスタリング結果

クラスタリング対象のクエリとして, monotaro.com¹)の 2022 年 1 月〜12 月における検索頻度の 高いクエリ約 17 万 5 千件を採用した. なお前処理 として，公序良俗に反する表現などを含むクエリ，信頼性の低いと考えられるクリック数の少ないクエ リ-商品間のパス，各クエリにおいて他の商品より も相対的に重みの小さいクエリ-商品間のパスを削除している.

表 1 に Algorithm 1 のクラスタリング結果と, 2.2 節のクラスタ拡張を適用した結果を示す.なお， $D_{\text {max }}=0.75$ とした.

導出された拡張クエリクラスタの例を表 2 に示

表 2 拡張クエリクラスタの例

す. 例 1 と例 2 から，ひとつの商品を指す言葉に 様々なクエリが存在していることがわかる。 また例 3 と例 4 では，俗称や固有商品名を用いて，ひとつ の商品を異なる表現で表現で検索されていること が確認できる。 さらに例 5 では，クエリに商品名の 「ボルト/六角ボルト」に加え材質である「sus」や寸法を指す「男8」などの属性值が使用されていること

る寸法を指す属性値であるが, monotaro.com では属性值のみが異なる同一商品を，まとめてひとつの商品ページで取り扱っていることが原因である．以上 の観察結果から，ユーザ意図が類似したクエリをグ ループ化できていることが確認できた.

なお以降の分析では， $\mid$ ஜ $\mid>1$ を満たす拡張クエ リクラスタに含まれるクエリのみを用いた。

## 3 クエリクラスタの分析

類似した意図を示すクエリにどのような事例があ るかを調査するために，拡張クラスタからランダム サンプルした 200 個のクラスタに対して目視チェッ クを実施した。本研究では，類似した意図を示すク エリに表れる事例を，表記ゆれ，言い換え，絞り込 み，含意，その他の 5 種類に分類し, 各事例の観察結果を表 3 に示す. ただし, ひとつのクラスタに複数の事例が混在しているため, 表 3 のクラスタ数の 合計は 200 を超える点に注意されたい.

表記ゆれ 表記ゆれとは，文字の変換の有無，誤字，長音や促音の有無，濁音・半濁音の差異によっ て，同じ単語を指す表現が異なる文字列となって いることを指す. テキストベースの TFIDF や BM25 を用いた一般的な全文検索では，表記ゆれの生じた クエリ間の検索結果がそれぞれ異なる $[5,6]$. また，表 3 類似した意図を持つクエリの観察結果

 \\

表記ゆれの差異による意図の差はほぼなく，基本的 にあるひとつの意図を示していると考えられる. そ のため表記ゆれにより，十分な検索件数が得られな い場合や，ユーザが意図しない検索結果を提示して しまうことは，ユーザ体験の大きな悪化に繋がると 考えられるため, 4 章で表記ゆれに焦点を当てた同一意図のクエリ抽出について詳しく分析する.

言い換え 言い換えとは，あるひとつの商品を指 す表現が複数存在することを指す. たとえば，商品 の一般的な名称と固有商品名による検索，業界固有 の商品呼称による検索，型番による検索などによっ て発生する. 特に業界固有の商品呼称に関しては,商品説明文などに明示的に記述されていたり, 言語資源が存在したりしないため，言い換えの中でも特 に困難な問題であるといえる。

絞り込み 絞り込みとは，商品の絞り込みを目的 としたブランドや大きさ・色などの属性値の有無に よって，クエリとしての表現が異なる物を指す. 2.3 節で説明したとおり, monotaro.com では属性値のみ が異なる商品をまとめてひとつの商品ぺージで取り 扱っていることで，類似した意図を持つクエリとし て複数の事例が観測された。

含意 含意とは, クエリ内のある表現がすでに他 の表現を含意していることで，異なるクエリでも 同じ意図を示す事例を指す．たとえば「雨傘/ジャ ンプ傘」では，ジャンプ傘は雨傘の一種であるた め, 雨傘がジャンプ傘を含意しているといえる.意味的含意の判断には, ドメイン知識を反映させ た WordNet [7]のような意味関係を持つ言語資源の 作成が必要であり，対応が困難な問題であると言 える。

その他 また上記以外にも，スペースの有無や単語の並び順が異なるだけの軽微な差異である事例が 18 件，分類自体が困難な事例が 13 件存在した. 分類が困難な事例は，2 部グラフでユーザの意図を適切に捉えられていないようなクリックログや商品検索結果を持つクエリであり，本手法で抽出した類似 していない意図を持つクエリ集合，すなわち負例と いえる.

## 4 同じ意図の表記ゆれクエリの獲得

## 4.1 表記ゆれの判定

まず，表記ゆれによって表層が異なるが同じ意図 を指すクエリ郡を獲得する基本的な対応方法とし て，クエリのカナ読みに着目する。しかし，「さら さ」という読みを持つ商品には以下の三つ異なる商品が存在するため, 同じ読みの意図が異なるクエリ を同じ意図として判定してしまう危険性がある.

・さらさ（P\&G 社の洗剤）

・サラサ (ゼブラ社のボールペン)
- SARASA（ファロス社の鍼）

そこで表記ゆれによる同じ意図のクエリ獲得では， 2.2 節で獲得した拡張クラスタ内 $\mathscr{C}$ で行う. 拡張ク ラスタ内のクエリはユーザーの意図が類似してるた め，上述の三つのクエリをひとつにまとめた不適切 なクエリ集合の抽出を防ぐことができると考えら れる.

本研究では，クエリをスペース区切りで分割 $q=\left[t_{1}, \ldots, t_{L}\right]$ した上で，拡張クラスタ内の全ての クエリの構成要素のペア $\left(t_{i}, t_{j}\right)$ に対して，カナ読 みの完全一致と編集操作 [8]（挿入・削除・置換） を用いた比較を適用する．編集操作として，「エア チューブ」と「エアーチュウブ」間のような表記ゆ れを吸収できるように，ふたつの文字列間における 長音の挿入・削除・置換，かな読みの大文字小文字 の置換，濁音・半濁音への置換といった特定の文字の操作を許容した. なお，カナ読みの付与には SudachiPy ${ }^{2}$ を用い， $t$ が英数字のみの文字列である 場合， $t$ の訓令式ローマ字とみなしてカナ読みを求 める.表 4 表記ゆれの解消

 \\

## 4.2 分析結果

2.3 節のクエリに対して，提案した「表記ゆれ」に よる類似した意図を示すクエリ集合の抽出手法を適用したところ，5,468 ペア，12,892クエリが抽出さ れた。表 4 に抽出された表記ゆれ表現のペアの例を 示す.

表 4 の例 1 では，「オイルフィルター」の意図を 持つ表記ゆれのクエリ郡をひとつのグループとして 集約できていることが確認できた。一方例 2 では，「タフレッド」はアトム社が販売するゴム手袋の商品名，「タフレット」は NACHI (不二越) 社が販売 するロールタップの商品名であるため，異なる意図 のクエリを集約してしまった. クエリ「タフレッ 卜」における商品検索結果で，ユーザーが「タフ レッド」の商品をクリックすることが多数あったこ とが，クラスタの誤判定の原因であるとわかった.

## 5 おわりに

本論文では，ユーザ行動に基づいたクラスタリン グ手法を用いて，Eコマースの商品検索におけるク エリの分析を行った. クエリクラスタリングによっ てユーザ意図が類似したクエリをグループ化するこ とができ，類似したクエリとして表記ゆれや商品名 の言い換えなどが含まれていることと，それぞれの 課題について確認した。さらに，表記ゆれが生じて いる単語の同義関係の判定方法を提案した.

今後の課題として，より多くのクエリの意味関係 を捉えるためには，本研究の分析で発見した言い換 えや含意についても考慮する必要がある。そのため にも，言い換えや含意，業界固有の商品呼称に関す る言語資源の作成が長期的な課題であると言える. また，クエリに含まれる絞り込みを目的とした属性値について正しく同定し，検索結果に反映すること で，より良い検索体験の提供につながることが期待 できる.

## 参考文献

[1] Jiafeng Guo, Gu Xu, Hang Li, and Xueqi Cheng. A unified and discriminative model for query refinement. In Proceedings of the 31st annual international ACM SIGIR conference on Research and development in information retrieval, pp. 379-386, 2008.

[2] 中山祐輝, Chen Zhao, Erick Mendieta, 村上浩司, 新里圭司. Eコマースにおける検索クエリの整形と属性值抽出への適用. 言語処理学会 第 28 回年次大会 発表論文集, pp. 1578-1582, 2022.

[3] Claudio Carpineto and Giovanni Romano. A survey of automatic query expansion in information retrieval. Acm Computing Surveys (CSUR), Vol. 44, No. 1, pp. 1-50, 2012.

[4] Huanhuan Cao, Daxin Jiang, Jian Pei, Qi He, Zhen Liao, Enhong Chen, and Hang Li. Context-aware query suggestion by mining click-through and session data. In Proceedings of the 14th ACM SIGKDD international conference on Knowledge discovery and data mining, pp. 875-883, 2008.

[5] Yuki Amemiya, Tomohiro Manabe, Sumio Fujita, and Tetsuya Sakai. How do users revise zero-hit product search queries? In Advances in Information Retrieval, pp. 185192. Springer International Publishing, 2021.

[6] Gyanit Singh, Nish Parikh, and Neel Sundaresan. Rewriting null e-commerce queries to recommend products. In Proceedings of the 21st International Conference on World Wide Web, pp. 73-82, 2012.

[7] George A Miller. Wordnet: a lexical database for english. Communications of the ACM, Vol. 38, No. 11, pp.39-41, 1995.

[8] Dan Gusfield. Algorithms on Strings, Trees, and Sequences - Computer Science and Computational Biology. Cambridge University Press, 1997.


# E コマースにおける商品用途表現の抽出とグルーピング

梶原奨井上翔太 岡林遥平 稲田和明 張信鵬
株式会社 MonotaRO
}

\{sho.kajihara, shota.inoue, yohei .okabayashi, kazuaki .inada,xinpeng_zhang\}@monotaro.com
## 概要

商品の利用用途などを説明した文は、商品検索な どの特定のサービスへの利用を前提として作成され た構造化データとは異なり、Eコマースのサービス での活用が難しい。しかし構造化されていないデー タ内にも、ユーザーが商品を探す際に有用な商品の 使い道を記した表現が多数含まれているため、その ような表現を抽出・利用することで商品検索の質を 向上させることができると考えられる。そこで本稿 では、ユーザの商品検索に有用な 8 種の商品用途表現ラベルを定義し、実際の商品情報に含まれる構造化されていない文にアノテーションした上で、系列 ラベリングモデルを作成することで、商品検索に有用な商品の用途表現を抽出する。さらに実際の Eコ マースのサービスで活用することを想定し、類似す る商品用途表現のグループ化を実施する。

## 1 はじめに

Eコマースに利用されるデータは、商品検索など の特定のサービスに応じて事前定義されたスキー マに沿って、意味の通じる最小単位に分割された構造化データで表現されることが多い。しかし、中に は商品の説明文のような構造化されていないデー タも存在する。たとえば「剪定ハサミ」の商品に は、(材質, ステンレス)、(大きさ, 20 インチ)のよう な key-value 形式の構造化された商品情報だけでな く、「庭木の剪定作業、ガーデニング・盆栽・植木の お手入れに。のような構造化されていない商品情報も存在する。

上述のような構造化されていない商品情報の中に は、「庭木の剪定作業」といった使い道、「ガーデニ ング」といった環境、「盆栽」「植木」といった商品 の使用対象などの、商品検索に有用な情報が記述さ れていることがある。これらの有用な情報を抽出す ることができれば、構造化されたデータと同様に検

表 1 商品用途表現ラベル

に活用でき、ユーザーの利便性を高められると考え られる。

Alicoco[1] では、ユーザーのニーズとして Time, Location, Object, Function, Incident, Cate/Brand, Style, Intellectual Property $の 8$ 種類の関係を定義・活用す ることで、商品間の知識グラフを作成した。この知識グラフは Alibaba グループの商品検索や推薦に応

層的なカテゴリによる商品分類よりも、ユーザーの ニーズをより深く汲み取ることに成功している。

そこで本稿では、商品に記述されている文から、意味の通じる最小粒度の表現 (以降、商品用途表現 と呼ぶ）を抽出し、商品と商品用途表現間の関係を 整理する。まず、商品用途表現の役割として 8 種の ラベルを定義し、実際の Eコマースの商品情報とし て記述される文に対してアノテーションする。次に ラベル付きデータを用いて教師ありの系列ラベリン グモデルを作成し、ラベル付けしていないデータか ら商品用途表現を抽出する。最後に、実際の商品検索サービスへの活用を想定し、類似する商品用途表現のグループ化を実施する。

## 2 商品用途表現のラベリング

Alicoco[1] におけるニーズを参考に、商品用途表現を分類するラベルを表 1 に定める。

表 1 で定めたラベルのアノテーションの例を図 1
に示す。アノテーション対象として、monotaro.com¹) の商品の中で「用途」として定義された属性に含ま れる約 10 万文の内、商品に付与されているカテゴ リを網羅できるように層化抽出した $10 \%$ 利用し た。アノテーションは 2 人の作業者によって実施 し、作業中のアノテーション対象の文だけでなく掲載元の web ページの閲覧や Google などの検索エン ジンの利用を可能とした。またアノテーションの精度を確保するため、 100 件のデータに対して正しく ラベル付けできるようトレーニングした。さらにア ノテータ 2 人で相互にレビューする体制を取ること で、ラベリング結果の一貫性とアノテーションの精度を高めた。

アノテーションしていない残りの $90 \%$ のデータに 対する商品用途表現ラベルの同定には、図 2 に示す BERT のネットワークの最終層に CRF 層を追加した BERT+CRF モデルを用いる [2]。まず、入力された 文を WordPiece トークナイザでトークンに分割した 後、各トークンに対して BERT モデルで表 1 に定め た各ラベルの予測確率を計算する。その後、CRF 層 で入力全体のラベル遷移を考慮して最終的なラベル を予測する。なお予測対象のラベルには、各商品用途表現ラベルに $B$ および $I$ を組み合わせたラベルと $O$ の 17 種類が存在し、 $B$ は各商品用途表現ラベル が付与された表現の先頭、 $I$ は各商品用途表現ラべ ルが付与された表現の先頭以外、 $O$ は商品用途表現 ラベルが付与されていないトークンを意味する。

また本稿ではモデルの精度改善のために、Least Confidence を用いた能動学習を導入する [3]。アノ テーションの半分が終わった時点で学習したモデ ルを用いて、アノテーション対象外のデータをラ ベル付けし、各トークンの予測確率に対して Least Confidence を計算する。そして、文内の最も小さな Least Confidence をその文のスコアとし、スコアの低 い 2000 文をアノテーション対象として追加する。

## 3 商品用途表現のグルーピング

商品用途表現には異なる表記で同じ意味を持つも のが多数存在する。商品検索における絞り込み条件 などの実際の Eコマースのサービスを想定すると、 たとえば、「穴や破損個所を修復」と「つなぎ合わ せ」のような表現が大きく異なる商品用途表現も、同じ意味として 1 つにグループ化しておく必要が ある。

単語やフレーズなどの意味的な類似度を計算する 手法の 1 つとして、計算対象の表現をそれぞれべク トル化しそれらの距離を比較する手法が近年よく利用されるが、その類似度は主に含まれる文字列や単語の種類が大きく影響することが報告されている $[4]$ 。

そこで本稿では、以下に示す 3 段階のルールベー スのグルーピングを適用する。1 段階目として、文字列の部分一致により商品用途表現をグループ化す る。次に 1 段階目で形成されたグループを、商品用途表現に紐づいている商品のカテゴリ情報によって 分割する。最後に日本語 WordNet[5] の概念と部分関係の情報を用いて細分化する。

## 3.1 部分一致と同義語によるグルーピング

1 段階目のグルーピングとして、文字列情報に着目した以下に示す手順を適用する。

1. 他の商品用途表現と文字列が部分一致しない商品用途表現を抽出する。

2. (1) で抽出した商品用途表現と文字列が部分一致する商品用途表現でグループを形成する。

3. 同義語辞書を用いて (1) で抽出された商品用途表現同士をマージする。

たとえば、(1)で「研磨」「研ぐ」のような商品用途表現が抽出され、(2)で「研磨」と部分一致する 「金属研磨」「プラスチック研磨」「研ぐ」と「彫刻刀を研ぐ, 整えて研ぐ」などを集約してグループを 形成し、(3)で「研磨」と「研ぐ」が同義語として判定されて、「研磨、研ぐ、金属研磨、プラスチック研磨、彫刻刀を研ぐ, 整えて研ぐ」というグループが 出力される。ただし (1)では、使用目的・機能・使用イベントの 3 つのラベルに属する商品用途表現が 述語によって構成されることを考慮し、用言の有無 を確認することでグルーピングの精度を高める。た とえば、「切断」と「切断を防ぐ」は部分一致してい るが、用言を比較すると「切断」と「防ぐ」と異な るため、グループ化させない。

## 3.2 商品カテゴリによるグルーピング

商品カテゴリは末端ほど細分化された意味を持つ 木構造で表現されており、たとえば「鋏」のカテゴ リでは、親に「農具」、子に「剪定鋏」「収穫鋏」「替 え刃」などを持つ。このとき商品カテゴリの根はす べてのカテゴリの祖先に相当するが、2 段階目のグ

図 1 brat によるアノテーションの様子

図 2 BERT+CRF モデルによるラベル付け

ルーピングとして、商品用途表現の抽出元である商品と商品カテゴリの根の子に相当するカテゴリ (以降、モールカテゴリと呼ぶ) の関係を用いる。

まず、各商品用途表現に対応するモールカテゴリ を決める。商品用途表現は複数の商品から同じ表現 が獲得されるため、 1 つの商品用途表現は複数の商品カテゴリとそれらのモールカテゴリを持つが、最多のモールカテゴリを各商品用途表現の代表とす る。その後、3.1 で形成された各グループの中の商品用途表現をモールカテゴリごとに分割する。たと えば、「金属研磨」「プラスチック研磨」が「切削工具・研磨材」、「電解研磨」が「スプレー・オイル・ グリス/塗料/接着・補修/溶接」のモールカテゴリに 属し、3.1 節で「金属研磨、プラスチック研磨、電解研磨」というグループが形成されていた場合、「金属研磨、プラスチック研磨」と「電解研磨」の 2 つ のグループに分割される。

## 3.3 日本語 WordNet によるグルーピング

3 段階目のグルーピングに使用するスコアとし て、日本語 WordNet 内の 2 つの単語 $w_{i}, w_{j}$ 間の意味 の距離を以下のように定義する。
1. $w_{i}$ と $w_{j}$ が同じ概念 $\Rightarrow 0$
2. $w_{i}$ と $w_{j}$ が部分関係 $\Rightarrow 0.5$
3. $w_{i}$ の 1 つ上の上位概念と $w_{j}$ の概念が同じ $\Rightarrow 1$
4. $w_{i}$ と $w_{j}$ それぞれ 1 つ上の上位概念が同じ $\Rightarrow$ 1.5

5. 上記以外 $\Rightarrow \infty$

しかしながら、商品用途表現は複数の単語で構成 されていることがあるため、構成単語の中から最も その意味を表す単語を抽出したい。一方で、日本語 WordNet に登録されている概念の中には「熱」と 「柔軟性」の 2 つの単語が 1 つ上の概念で紐づくよう な、グルーピングに活用しにくい抽象度の高い概念 が存在する。そこで、式 1 で概念 $i$ の抽象度 $\alpha$ を定義し、商品用途表現を構成する単語の中である抽象度以下かつ最も抽象度の高い単語を用いて、日本語 WordNet による商品用途表現間のスコアを求める。

$
\alpha=\frac{1}{|l(i)|} \sum_{j \in l(i)} d_{i, j}
$

なお、 $l(i)$ は概念 $i$ が持つ下位概念のうち末端にあ る概念を、 $d_{i, j}$ はツリー上で概念 $i$ から $j$ までに辿 る概念数である。2 段階目で作成した各グループ内 で上述の商品用途表現間のスコアを求め、最長距離法による階層的クラスタリングを適用し、閾值 $T$ 以下の商品用途表現間を最終的なグループとした。

## 4 評価

## 4.1 商品用途表現の抽出

表 2 に、表 1 のラベルを付与した商品用途表現数、図 2 のモデルによる各ラベルの $F_{1}$ 值、およびラ ベル付けしていないデータから取得できた商品用途表現数を示す。モデルの訓練および評価には層化グ ループ付き 5 分割交差検定を用い、各商品用途表現 に対して予測された $B$ と $I$ のラベルがアノテーショ ン結果と完全に一致しているかで正誤判定をした。 なお、 $O$ ラベルの $F_{1}$ 值は 0.91 であった。

表 2 より、すべてのラベルにおいて $F_{1}$ 値が 0.8 未
表 2 商品用途表現ラベルのアノテーション数と予測精度

表 3 商品用途表現のグルーピング結果 P1 チタニウム部品研磨, 金属面研磨, アルミ製品研磨 P2 攵テンレス鋼研磨, 工具鋼研磨, ステンレス研磨 P3 プラスチック面研磨, プラスチック研磨, 合成樹脂研磨 4 切刃研磨, 刃研磨, 刃物研磨 P5 難削材研磨, 硬い素材研磨, ステンレス材研磨 コンテナ運搬, 計測器運搬, 低温容器運搬

満であり $O$ ラベルの $F_{1}$ 值が 0.91 であることから、商品用途表現の位置は同定できているが、その種類 を特定できていないことがわかる。この問題点の 1 つとして、同じ単語でも文脈によって正解ラベルが 変わることが挙げられる。学習データとして使用し た約 13,000 種類の商品用途表現のうち、同じ文字列 かつ複数のラベルを持つものが約 36\%存在した。た とえば、「研磨」という商品用途表現では、サンド ペーパーのような商品の場合には「使用目的」のラ ベルが、研磨液のような商品であれば「使用イベン ト」のラベルが付与されていた。すなわち、1つの 同じ文字列の商品用途表現内に複数の意味が存在す る可能性を考慮しなければならないと言える。

## 4.2 同義語のグルーピング

表 3 に、3 章で提案した手法で商品用途表現をグ ルーピングした結果の例を示す。P1 から P5 は「研磨」に関するグループ、Tは「運搬」に関するグルー プである。なお、3.3 節における抽象度 $\alpha$ と階層的 クラスタリングの閾値 $T$ はそれぞれ 1.75、1.51と した。

表 3 より、「研磨」の文字列が含まれる商品用途表現が「金属」や「プラスチック」など使用対象の素材に応じて分割できていることが分かる。各グルー プの商品用途表現がどのタイミングでグループピン グされているかを詳しく分析すると、P1 から P3 は 3.2 節の商品カテゴリによるグルーピングが、P4 は 3.3 節の日本語 Wordnet の概念がそれぞれ貢献して いた。一方、P5 の「ステンレス材研磨」は P2 に所属す ることが望ましい。この原因は、 3.3 節の日本語 Wordnet によるスコア付与時に「材」という抽象度 の高い単語が選択されていたためであった。また T1 は、それぞれ異なる意味を持つ 3 つの商品用途表現が同じグループに割り当てられた例である。こ れは、日本語 Wordnetを参照する単語がそれぞれ 「コンテナ」、「器」、「容器」であり、これらが同じ概念に属していることが原因である。改善策として、「計測器」や「低温容器」のような句単位の情報を利用することで、 3 つの表現が同じグループになるこ とを防ぐことができると期待される。

## 5 おわりに

本稿では、商品の使い道などを説明した文などの 構造化されていないデータから有用な商品用途表現 を抽出して活用するための方法として、商品用途表現を分類する 8 種類のラベルを提案し、そのラベル を用いた商品用途表現の推定とグルーピングについ て示した。今後の課題として、提案したグルーピン グ手法の精度の改善や、今回作成したデータやモデ ルを実際の Eコマースサービスに適用しての検証が 求められる。

## 参考文献

[1] Xusheng Luo, Yonghua Yang, Kenny Qili Zhu, Yu Gong, and Keping Yang. Conceptualize and Infer User Needs in E-Commerce. In Proceedings of the 28th ACM International Conference on Information and Knowledge Management, 2019.

[2] Fábio Souza, Rodrigo Frassetto Nogueira, and Roberto de Alencar Lotufo. Portuguese Named Entity Recognition using BERT-CRF. CoRR, 2019.

[3] David D. Lewis and Jason Catlett. Heterogeneous uncertainty sampling for supervised learning. In Machine Learning Proceedings 1994, 1994.

[4] Shufan Wang, Laure Thompson, and Mohit Iyyer. PhraseBERT: Improved Phrase Embeddings from BERT with an Application to Corpus Exploration. CoRR, 2021.

[5] Hitoshi Isahara, Francis Bond, Kiyotaka Uchimoto, Masao Utiyama, and Kyoko Kanzaki. Development of the Japanese WordNet. In Proceedings of the Sixth International Conference on Language Resources and Evaluation, 2008.