# 自然言語処理技術による SDGs 関連特許技術の「見える化」

前原 義明久々宇 篤志喜部
一般財団法人 日本特許情報機構
\{yoshiaki_maehara, atsushi_kuku, yoshiyuki_osabe\}@ japio.or.jp

## 1 はじめに

SDGs とは「Sustainable Development Goals (持続可能な開発目標)」の略称であり，2015 年 9 月の国連 サミットで採択された,国連加盟 193 力国が 2016 年 から 2030 年の 15 年間で達成するために掲げた目標 である [1].SDGs は以下の通り，17 の大きな目標 と，光れらを達成するための具体的な 169 のターゲ ットで構成されている。

图 1 持続可能な開発目標

機械学習を用いたSDGs 関連の文章分類について はいくつかの先行研究があるものの ( [2], [3]), 特許文献をSDGs の観点から分類した先行研究は，今 まで存在しなかった.すなわち，SDGsの実現には技術イノベーションが不可欠であるものの, 現状では SDGs 関連技術がどこ (国や企業) にどの程度あるの か不明であった [4] .

本研究では，自然言語処理技術である BERT [5]，及び, 日本特許情報機構 (以下、「弊機構」という) が所有する日本国特許公報を用いて，我が国におけ るSDGs 技術の「見える化」について取り組んだ .

## 2 分析手法

## 2.1 解析モデル

本研究においては，機械学習モデルとして BERT を採用した．BERT とはマスク語予測 (Masked Language Model) と次文予測 (Next Sentence Prediction) という 2 つのタスクでトレーニングされた, 双方向性を持つ Transformer であり, 感情分析や文章分類等 の特定タスクに応用した場合に，少ないコーパスで 非常に高い精度が達成できるのが特徵である。

本研究においては, まず, 東北大学か開発・配布 している日本語 BERT [6]の最下層に 17 クラスの分類層を追加することによってモデルを作成した . な お，タスクはシングルラベルタスクとし，最終層の 出力は Softmax 関数で正規化されている.

## 2.2 訓練データ

本研究では，BERT を用いるため，訓練データと なるコーパスのサイズは光れほど大きくなくてもよ い.光のため，目視で収集した各 SDGs に関連する 約 150 個の文章を訓練データとして採用した .

## 2.3 分析データ

弊機構が所有する日本国特許公報に対して分析を 行った。なお，東北大学が配布する日本語 BERT モ デルの入力層は入力トークン列が 512 と固定されて いるため 特許の特徴が現出しやすい「発明の課題」 についての記載がある箇所を，部分選択的に BERT に読み込ませた。

## 2.4 訓練及び分析対象

交差エントロピーを損失関数とし，100 エポック 訓練を行ったモデルで分析を行った . Softmax で正規化された各ラベル (ゴール) の推定確率のうち，最も確率が高かったラベルを光の特許文献のラベル として採用した . 訓練後におけるモデルの精度検証 は，交差検証（クロスバリデーション）ではなく，訓練データ自身の精度をみたがラベル正解率 $100 \%$ であった。

## 3 結果及び考察

2010 年以降に出願された特許出願の特許公報の 全てにラベルを付与した結果, SDGs のラベルは図 2 に示す分布で付与された。

図 22010 年以降に出願された日本国特許公報 に付与された SDGs ラベル (縦軸) の分布 (件数)

この結果から，17 個ある SDGs ゴールのうち, 特許が貢献できるものは, 目標 2 (飢餓をゼロに), 目標 3 (すべての人に健康と福祉を), 目標 6 (安全な 水とトイレを世界中に), 目標7 (エネルギーをみん なに光してクリーンに), 目標9（産業と技術革新の 基盤をつくろう), 目標 11 (住み続けられるまちづ くりを),目標 13 (気候変動に具体的な対策を) で あることがわかった .これは, WIPO (世界知的所有権機関) によって，特許が寄与できる SDGs のゴー ルとして挙げていたもの [7]とおおむね整合するも
のである．

また, 各目標に対応する特許として抽出されたも のをサンプル的に抽出すると，表 1 の通りになる．

表 1 各SDGs に対応する特許文献の例

 \\

 \\

そして，モデルの推定精度を検証するために，各 ゴールにつき，Softmax で正規化された推定值が高 い順に 100 件, 目視で推定が正解かどうか確認を行 つた.

目標 $2 ， 3 ， 6 ， 7 ， 8 ， 9 ， 11$ については，推定値が高いものについては問題なく推定できてい た.しかし, 目標1 (貧困をなく光う), 等の科学技術が設定する課題として光ぐわないものについては，推定度が高いものであってもほとんどがノイズであ った.また,目標4（質の高い教育をみんなに）に ついては，「学習」という単語に引きずられて，機械学習に関する特許文献がノイズとして混入していた。 また,目標13についても,「温度」という単語に引 きずられたためか、空気調和機に関する特許文献が 多数混入していた。

今後はコーパスを増強するか，モデルに特許ドメ インに特化した BERT を用いるなどして, 分類精度 の向上を図っていきたい.

## 参考文献

1. United Nations. THE 17 GOALS. (オンライン) (引用日: 2020 年 12 月 24 日.) https://sdgs.un.org/goals. 2. 張金盖. SDGs 日本語データセット及び分類タスク ベースラインの作成. 出版地不明 : 一般社団法人人工知能学会, 2020.

3. MedinaRodríguezSamuel. Multi-Label Text Classification with Transfer Learning for Policy Documents. 出版地不明 : UPPSALA UNIVERSITET, 2019.
4. 日本経済新聞社. 国連の開発目標と知財 関連技術、特許で可視化を. 2018 年.

5. DevlinJacob. Pre-training of Deep Bidirectional Transformers for Language Understanding. 出版地不明 : arXiv, 2018.

6. 東北大学 乾・鈴木研究室. Pretrained Japanese BERT models released / 日本語 BERT モデル公開. (オンライン) 2019 年 12 月 13 日. (引用日: 2020 年 12 月 24 日.) https://www.nlp.ecei.tohoku.ac.jp/newsrelease/3284/

7. WIPO. The Impact of Innovation: WIPO and the Sustainable Development Goals. (オンライン) (引用日: 2020 年 12 月 24 日.)

https://www.wipo.int/sdgs/en/story.html.
 前原 義明久々宇 篤志喜部 一般財団法人 日本特許情報機構 \{yoshiaki_maehara, atsushi_kuku, yoshiyuki_osabe\}@ japio.or.jp  