# Contrastive Learning を利用した類似特許検索

星野雄毅 ${ }^{1}$ 内海祥雅 2 中田和秀 1
1 東京工業大学工学院 2 楽天グループ株式会社
hoshino.y.ad@m.titech.ac.jp nakata.k.ac@m.titech.ac.jp

## 概要

近年，知的財産の管理は社会にとって大きな役割 を担っている．特に，特許は毎年 30 万件を超える 出願があり，膨大な量の特許を処理する上で多く の課題が存在する。そこで，本研究では特許を扱 う上で非常に重要な類似特許検索タスクについて， Contrastive Learning の応用を考えた. この際重要な 教師データ並びに Hard Negative の取得方法につい て提案を行った. さらに，実際の特許データを用い た数値実験を行い，その効果を検証した。

## 1 はじめに

## 1.1 類似特許検索の必要性

特許とは知的財産の一つで，発明を保護するもの である. 特許は各企業の技術を守るうえで重要な役割を果たしている。また，特許の審査を厳密かつ素早く行うことは特許制度を機能させる上で非常に重要である. したがって, 特許処理技術は, 企業側と 特許庁側の両面で有用である.

特許に関わる様々なタスクの中でも，類似特許検索は企業と特許庁の双方にとって非常に需要の高い タスクである。まず，特許庁にとっては審査を行う 上で類似特許検索を必ず行わなければならない. 現在，類似特許検索は人手で行われており，特定の単語が含まれているかどうかや，国際特許分類などを 用いて絞り込みながら行っている. しかし, 適切な 類似特許を見つけるのは難しく，審査に膨大な時間 がかかる要因の一つとなっている.

また，類似特許検索は各技術を有する企業も頻繁 に実施することになる。なぜなら，各企業は自社特許が侵害されていないか監視したり，自社の新技術 が他企業の特許を侵害しないか確認する必要があ るからである. さらに, 新たに開発を行ったり, 特許を申請する際にも類似特許を調査することで，他社特許との比較した優位性を明らかにする必要が
ある.

## 1.2 IPC とは

特許には，国際特許分類 (以下 IPC) という，国際的に統一された分類が付与される. IPC は技術分野 を表す番号といえる。IPCには 2 つの特徵があり，階層構造を持っていることと, 一つの特許に複数与 えられることが挙げられる。

図 1 IPC の例

IPC は「セクション」,「クラス」,「サブクラス」，「メイングループ」，「サブグループ」の５つの要素 から構成されており, 階層構造を持っている. 例え ば図 1 の場合, セクションに当たる「B」は「処理操作」という大まかな分類を表している. 次にクラス の「43」はセクションの「B」と合わせてより細かい 「筆記用または製図用の器具」を表し, 最後の「サブ グループ」まで合わせると，「字消し用具，消しゴ ム，または字消し装置」という細かい分類にまで分 けられる。このように，階層構造を持っていること で，様々な粒度で分野の絞り込みを行える。IPC は 全部で約 7 万通り存在しており, 多種多様な分野を 表現可能である.

次に，IPC は一つの特許に複数与えられる。例え ば，消しゴム付き鉛筆を発明したとすると，鉛筆に 関係する IPC と消しゴムに関する IPC の両方が付与 されることとなる.

## 2 関連研究

## 2.1 Contrastive Learning

Contrastive Learning[1] とは, 画像処理から発展 してきた表現べクトルを学習する手法である. Contrastive Learning の最も特徴的な点としては, データ間の関連性から学習を進めることにある。具体的には，データ間について似ているものは近く，異なるものは遠くに学習を進めていく. Contrastive Learning を実行するうえで，通常負例としては，ミ ニバッチ内の他サンプルを用いることが多い. しか し，場合によっては自明な負例ばかりになってしま い，学習が不十分になることがある. そこで，予測 が難しいと想定される負例を Hard Negative として 明示的に入力して学習する場合もある.

図 2 SimCSE の学習方法. 原著 [2] より引用

SimCSE[2] は Contrastive Learning を自然言語に応用する方法である. 図 2 のように，意味的な従属関係のある文を近くに，そうでないものを遠くに学習 するものである．例えば，「2匹の犬が走っている」 (“Two dogs are running.”) という文に対して，意味的 な従属関係がある文とは「外に動物がいる」(“There are animals outdoors.”) といった文が対応する.ここ で, 教師あり SimCSE の特徴として, Hard Negative には意味的に排反なデータ [3] を使用しているこ とが挙げられる。排反な意味のデータとは，「ペッ トがソファに座っている」("The pets are siting on a couch.”) というように，同時に起こりえない 2 つの 事象のことである.

## 2.2 特許への機械学習の応用

特許に対して機械学習技術を応用する研究はいく つか行われている. まず，古典的な機械学習手法を 用いて IPC や自作ラベルの予測などが行われている [4][5]. また，深層学習を用いた研究では，BERTを 特許データでファインチューニングし, IPC のサブ クラスの予測が行われている [6]. さらに，IPC 予測
について，入力方法とデコーダに工夫を加えること で精度の改善も行われている [7].

機械学習手法を用いて類似特許検索するという 研究はいくつか行われている. まず，Word2Vec を 用いて，特許の類似度が比較された [8]. また，深層学習ベースだと，LSTM ベースのエンコーダを用 いた類似特許検索モデルも作成された [9]. さらに， LSTM ベースのエンコーダにグラフ情報などを加 え，精度の向上も行われた [10]. しかし，これらは いずれも自作でラベリングした類似特許データに 対して学習，評価を行っており，これらの手法は公開されている情報だけでは応用できない. したがっ て, 日本語の特許で公開された情報のみを用いて類似特許検索を行う研究はいまだされていない。

## 3 提案手法

## 3.1 引用情報の利用

類似特許検索を行う上では何をもって，類似特許 とみなすのかという問題が存在する。この，「類似 した特許」として適したデータとしては，無効審判請求及び，異議申し立てのデータが挙げられる. こ れらは，実際に厳密に時間をかけて審査されたもの であり，その際に参照された特許は確実に類似特許 とみなすことができる。一方で，これらのデータは 学習データとして用いるにはデータ数が十分でない という課題がある.

そこで，本研究では特許の引用情報に注目し，引用されている特許を類似特許とみなすこととした。 これは，類似した特許のすべてを網羅しているとは 言えないものの，引用された特許は類似した特許で あるとみなすことができる．さらに，引用特許はほ とんどの特許に対して存在しており, 日本語の特許情報からも取得可能である. したがって，引用情報 を類似特許の正解データと仮定し，学習及び評価を することを考える。

ここで，引用は各特許に対して複数存在している ことに注意が必要である. そこで，各特許に対して 1つの正例をランダムで取得するようにした. アル ゴリズムは Algorithm 1 のようになっており，4行目 で引用特許の集合からランダムに選択をしている. ただし，B はミニバッチで学習したい特許の ID 集合， $I_{b}$ は特許の ID $b$ に対応する特許， $P(i)$ は特許 $i$ に引用されている特許集合である.

## 4 数値実験

## 4.1 実験設定

Hard Negative のサンプリング方法を提案する. つま り，同じ IPC を持つものは分野が近いため，Hard Negative として学習を進める. ただし, IPC は一つ の特許に複数付与されいるため，各分野からバラン スよく Hard Negativeを作成することにする. その ため，分野をランダムに選択し，その中の特許から Hard Negative として使う特許を選択することを考 えた。

また，IPC は階層構造を持っているため，様々な 粒度の分野情報を包含している。 そのため，複数の 階層に従ってサンプリングを実行することで，より 良い Hard Negative を作成することができるのでは ないかと考えた。

以上の考えのもと，提案するアルゴリズムの疑似 コードは Algorithm 2 のようになっている. ただし， $N(i p c)$ は $i p c$ が付与されている特許集合, $H$ はクラ スやメイングループなどの対象としたい階層の集合 で，IPC $C_{h}(i)$ は階層 $h$ における特許 $i$ に付与されてい る IPC の集合である. 負例は 5 から 7 行目で取得し ており，それぞれ IPC の階層の選択，階層内の IPC の選択，特許の選択の 3 段階で実行している. この ように確率的に様々な分野からのサンプリングを実行することで，様々な粒度の分野において近いかど うか判別できるようなモデルを作成可能である.

## 4.1.1 データセット

今回データセットは有料の特許データ取得 サービスを通じて入手した。学習，検証データ は，2016/07/01～2016/12/31 に国内で出願された特許（104078 件）をすべて取得し，これらを検索元 のデータとした．学習検証の分割は検索元のデー タをランダムに 8:2 で分割した. テストデータは 2017/01/01～2017/01/15 までに国内で出願された特許（4348 件）を用い，それらが引用した特許（13123 件）を検索対象の特許とした。

## 4.1.2 事前学習

本モデルの入力として，特許の技術内容を記し た部分である「請求項」のテキストを用いる。一方 で，請求項は長文で，公開されている事前学習済み モデルで良く用いられている $\mathrm{MeCab}[11]$ などの分か ち書きをべースとしたトークナイザーでは多くの特許で入力トークンが膨大になってしまう．そこで， トークン数を減らすために特許で学習した Unigram Language Modeling[12] を用いたトークナイザーを作成した. これによって，入力できる最大のトークン 数である 1024 トークン以内に全文が収まらない特許の割合は， $32 \%$ 程度から $15 \%$ 程度まで減少した。
表 1 学習モデルによる比較

一方で，トークナイザーを自作したため，既存の 事前学習済みモデルを適応することはできないた め，BERT[13] の事前学習を実施した. モデルサイ ズは，学習環境と事前学習で長文に対して学習した い点も考え，512 次元 8head 94 層からなるモデル とした.

## 4.1.3 評価指標

本提案手法の目的は，類似度が高い特許を業務 を行う人に推薦することである。そこで評価方法 としては，各特許の埋め込みベクトルのコサイン 類似度が高かった順に検索対象の特許を並び替 えて，引用した特許が上位に存在するかを評価し た. 評価指標は，一般に推薦システムで用いられる Precision@k, Recall@k, NDCG @k の 3 つの評価指標 を用いた [14].

## 4.1.4 比較手法

比較手法として，モデルそのものの精度を検証 するベースラインをいくつか用意した. まず，単純な機械学習モデルとして tf-idf を用いた単語モデ ルのコサイン類似度を用いたものを用いた。また， SimCSE の学習の必要性を検証するために BERT の 埋め込みをそのまま用いたものと比較した。次に， ハードネガティブのサンプリング方法についていく つかの設定で行った．まず，ハードネガティブを全 く用いず，バッチ内の他サンプルのみを負例として 用いたものを作成した. 次に，引用された特許の中 で引用されていた特許のうち，引用されていなかっ たものをハードネガティブとして使用してモデルを 学習した. さらに, 単一階層での IPC を用いた Hard Negative との比較を行うため, クラスとサブクラス それぞれ単独の階層で同一 IPC を保有する特許を Hard Negative としたものを学習した. 最後に提案手法として，クラスとサブクラスの両方の階層を用い たものを作成した.

## 4.2 実験結果

結果は, 表1のようになった. ただし, NDCG@inf は全データに対してNDCG を算出したものである.

まず，tf-idf の類似度と比較して，事前学習済み BERT の埋め込みを用いた類似度はいずれの評価指標でもわずかに高くなっていることがわかる. 更 に，教師あり学習を実行することで，いずれの評価指標でも大きく改善していることがわかる. また， Hard Negative について，引用の引用を用いたものは 評価がむしろ落ちていることがわかる。これは，引用の引用では意味が近すぎるために Hard Negative としても難しすぎることが原因だと考えられる。一方，IPCを用いた Hard Negative は単一の階層を用い たものよりも，階層を増やすことで更に精度が改善 しており，本提案手法が最も良い結果となった。

## 5 今後の課題

今後の課題としては，大きく二つ存在する. ま ず，請求項全文の入力である. 本研究では，自作 トークナイザーの作成によって入力トークンを減ら すことを行ったが，15\%程度の特許は全文入力する ことができていない。近年ではメモリ効率の良いエ ンコーダについても研究が進んでいるため，これら の応用によって対応できる可能性がある. 次に，専門用語の入力である．実験によってうまく予測でき なかった文書の内容を確認すると，分野特有の専門用語が含まれる特許を選択できていない場合があっ た. したがって，専門用語をトークンに含めること でその特徴をとらえやすくなり，より精度の良い学習が行える可能性がある.

## 謝辞

本研究を実施するにあたり,データ及び研究環境を提供してくださいました楽天株式会社の皆様, とりわけ知的財産部の皆様に深く感謝を申し上げ ます。

## 参考文献

[1] Prannay Khosla, Piotr Teterwak, Chen Wang, Aaron Sarna, Yonglong Tian, Phillip Isola, Aaron Maschinot, Ce Liu, and Dilip Krishnan. Supervised contrastive learning. In H. Larochelle, M. Ranzato, R. Hadsell, M.F. Balcan, and H. Lin, editors, Advances in Neural Information Processing Systems, Vol. 33, pp. 18661-18673. Curran Associates, Inc., 2020.

[2] Tianyu Gao, Xingcheng Yao, and Danqi Chen. Simcse: Simple contrastive learning of sentence embeddings. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 68946910, 2021.

[3] Samuel R. Bowman, Gabor Angeli, Christopher Potts, and Christopher D. Manning. A large annotated corpus for learning natural language inference. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 632-642, Lisbon, Portugal, September 2015. Association for Computational Linguistics.

[4] C. J. Fall, A. Törcsvári, K. Benzineb, and G. Karetka. Automated categorization in the international patent classification. SIGIR Forum, Vol. 37, No. 1, p. 10-25, April 2003.

[5] Mattyws F. Grawe, Claudia A. Martins, and Andreia G. Bonfante. Automated patent classification using word embedding. In 2017 16th IEEE International Conference on Machine Learning and Applications (ICMLA), pp. 408-411, 2017.

[6] Jieh-Sheng Lee and Jieh Hsiang. Patent classification by fine-tuning bert language model. World Patent Information, Vol. 61, p. 101965, 2020

[7] Yuki Hoshino, Yoshimasa Utsumi, Yoshiro Matsuda, Yoshitoshi Tanaka, and Kazuhide Nakata. Ipc prediction of patent documents using neural network with attention for hierarchical structure. Research Square preprint DOI:10.21203/rs.3.rs-1164669/v1, 2022.

[8] Hidir Aras, Rima Türker, Dieter Geiss, Max Milbradt, and Harald Sack. Get your hands dirty: Evaluating word2vec models for patent data. In SEMANTiCS Posters\&Demos, 2018.

[9] Aaron Abood and Dave Feltenberger. Automated patent landscaping. Artificial Intelligence and Law, Vol. 26, No. 2, pp. 103-125, 2018.

[10] Seokkyu Choi, Hyeonju Lee, Eunjeong Park, and Sungchul Choi. Deep learning for patent landscaping using transformer and graph embedding. Technological Forecasting and Social Change, Vol. 175, p. 121413, 2022.

[11] Toshinori Sato, Taiichi Hashimoto, and Manabu Okumura.
Implementation of a word segmentation dictionary called mecab-ipadic-neologd and study on how to use it effectively for information retrieval (in japanese). In Proceedings of the Twenty-three Annual Meeting of the Association for Natural Language Processing, pp. NLP2017-B6-1. The Association for Natural Language Processing, 2017.

[12] Taku Kudo. Subword regularization: Improving neural network translation models with multiple subword candidates. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 66-75, 2018.

[13] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[14] Folasade Olubusola Isinkaye, Yetunde O Folajimi, and Bolande Adefowoke Ojokoh. Recommendation systems: Principles, methods and evaluation. Egyptian informatics journal, Vol. 16, No. 3, pp. 261-273, 2015.
 星野雄毅 ${ }^{1}$ 内海祥雅 2 中田和秀 1 1 東京工業大学工学院 2 楽天グループ株式会社 hoshino.y.ad@m.titech.ac.jp nakata.k.ac@m.titech.ac.jp  