# 共創支援を目的とした技術文書からの技術一価値表現の抽出

内田 貫太 $^{1}$ 田口 亮 $^{1}$
${ }^{1}$ 名古屋工業大学大学院 工学研究科 工学専攻 情報工学系プログラム
k. uchida.514@stn.nitech. ac.jp taguchi.ryo@nitech.ac.jp

## 概要

技術の構造化ツールとしてVBridge というものが ある.このツールは技術の理解や新しい価值の発想 などに役立つことができるが，作成コストが高いと いう問題がある. そこで, 技術文書などから VBridge を自動生成することが望まれる. 本研究では，マル チタスク学習を適用させた汎用自然言語処理モデル を用いることで，論文から VBridge の要素を抽出す ることを目指した。また，その結果について考察を 行い，検討すべき課題について整理する。

## 1 はじめに

近年，激しく変動する国際情勢において，企業に は大きな需要の変化に対応できる力が求められてい る.そこで，大きな変化に対応するためには企業内外での部門間の垣根を越えた連携が必要不可欠とな ってくる. しかしながら, 開発部門の人が社会的価值から着想を得るということや，マーケティング部門の人が技術に対して深い理解を得るということは 難しい.この課題に対し, 部門間の橋渡しとなる思考ツールとして VBridge (バリュー・ブリッジ) が提案されている[1]. VBridge は技術価値を視覚化した もので, 下層の専門的な技術から, 上層の社会的価值への道のりが順を追って表現される。これを用い ることで，技術とその価值を共有することができ，部門間連携の助けとなる. しかし, VBridge を作成 するためには, VBridge に対しての深い知識や，技術に対する理解が必要となり, 誰でも容易に作成で きるものではない.

本研究では, VBridge を作成するコストを削減す るため, 論文などの技術文書から VBridge を自動生成することを目指す. 本稿ではその第一歩として，汎用自然言語処理モデルよる深層学習を用いて, VBridge の構成要素を抽出することを試みる.

## $2 \mathrm{VBr$ idge}

## 2. $1 \mathrm{VBr$ idge の概要}

VBridge は技術が価値に結びつく過程を有向グラ フとして表現したものである。下層から，なりたち （部品・機構），ふるまい（自立機能），はたらき (他律機能), 達成事項（品質要素）, 個々のよろ こび（要求項目）, みちすじ（共創プロセス）, ね がい（共創テーマ）の 7 階層に分かれており，各要素の因果関係が矢印で示されている.

[1]では,エアコンや冷蔵庫で用いられる帯電微粒子水の技術をへアドライヤに応用した事例を用いて VBridge の利用方法を解説している. その VBridge を図 1 に示す. マーケティングや営業の担当者は， VBridge 上層にある社会的ニーズ（ねがい，みちす じ）や，「アレル物質から水素を抜き取る」や「ウ イルスから水素を抜き取る」という，技術によって 実現されている直接的な効果（達成事項）は知って いても，その効果が得られるメカニズムや技術の構成要素については知らない場合がある。そこで，技術開発の担当者が，技術の構成要素（なりたち）や その構成要素がどのように作用して現在の効果を生 み出しているのか（ふるまい）を記述することによ り，マーケティングや営業の担当者の理解を支援す る. 一方で, 技術開発の担当者は, 自社技術が具体

図1 VBridge の例（[1]より転載）
的にどのような社会的ニーズを満たしているのかを 知ることができるようになる．さらに，中間にある

「はたらき」の層で，技術がもたら寸効果を対象に 依存しない表現で記述することによって, 技術の可能性が広がり, 空気清浄機で使われていた技術を,冷蔵庫やへアドライヤに応用するという新たな発想 が生まれやすくなるのではないかと論じている.

## 2. $2 \mathrm{VBridge$ 自動生成手法の検討}

VBridge の作成を自動化するためには, VBridge を 構成する矢印や各階層をより具体的に定義する必要 がある. 本研究では, 構成要素間の因果関係に着目 し，あることがらを任意の層に当てはめるとすると， そのことがらを達成・解決したときに，達成できる ことをその 1 つ上層に位置付けるものとする. 図 1 を例とすると，「対象物質の水素分子を足し引きす る」ことが達成できれば，「アレル物質から水素を 抜き取る」ことができるようになると理解できる.

このように技術の構造を解釈していくと, 技術の 全体像は「課題がある」，「課題を解決する」，「新 しい課題が見える」のサイクルで論理が展開されて いることが分かる. そうすることで, 自ずと課題や 解決法は, 上段に行くほど広く一般的になっていき,下に行くほど狭く専門的になっていく.これは VBridge の本来の目的である「技術理解の橋渡し」 に相違ない.

ただし，技術文書から構成要素を抽出して VBridge を作成するというアプローチでは問題が発生する場合がある. 例えば，ある技術文書の中で「異常データの収集は困難である」と「異常パターンを 定義することは現実的ではない」という問題点が指摘され, その解決策として「正常データのみで学習 する万法」が提案されているとする。この場合,一見して論理に齯龆はないと思われるが，実際はこの 解決策でこれらの問題点が解決されるわけではなく，「異常データが必要不可欠である」というその技術文書では言及されていない別の問題点が解決されて いる.このように, 技術文書には論理の飛躍が含ま れる場合があるため, 抽出手法のみでは完全な論理 を表現するのは難しい。

従って, (1) 技術文書から VBridge 内に記述すべき 構成要素を抽出し, (2) 各構成要素間の因果関係を推定, (3) 論理の飛躍を検出し補完することができれば, VBridge の自動生成が可能になると考えられる. そ こで本稿ではまず(1)の構成要素抽出を目標とする.

## 3 VBridge 構成要素の自動抽出

## 3. 1 アプローチ

VBridge は容易に作成できるものではないため, データセットを大量に用意して学習させることでの 精度向上は難しい，そこで，汎用自然言語モデルの ファインチューニングというアプローチを採用する。 また, 本研究では最終的に 2.2 節で説明した (1) (3)のタスクを実行することを想定している. 深層学習では，各タスクを実行するモジュールを個別に最適化するよりも，マルチタスクとして同時最適化す る方が，効率よく学習できる場合がある.

そこで本稿では, 汎用言語モデルをマルチタスク 学習によりファインチューニングすることにより，

VBridge 構成要素の自動抽出を行う。

## 3.2 汎用自然言語処理モデル

汎用自然言語モデルとして有名なのは BERT[2]で ある. BERTは, Transformer というアーキテクチャ を採用しており，このアーキテクチヤは文章全体の 依存関係を学習できるが，文章全体のトークン数が 増加すると, 計算量が $O\left(n^{2}\right)$ で増加してしまうとい う問題がある。つまり，技術文書の上うな長文に対 して適用するのは難しい. そこで，長文の読解に適 した言語モデルを使用することを考える.

Dai らはこの問題を解決するため, Transformer-XL というアーキテクチャを提案している[3]. このアー キテクチヤは文章全体をセグメントに分割し, 前の セグメントの情報を次のセグメントに引き継ぐこと で長文の解析に対応している.

さらに, Yang らはこの Transformer-XL[3] のアー キテクチャを使用した XLNet と呼ばれる汎用自然言語モデルを提案している[4]. このモデルは BERT ではできなかった長文の解析ができることに加え，単語の順番をバラバラにして学習することで Masked LM における問題を解決している.

一方で，Liu らは単一タスクにおいて学習データ が十分に得られない問題に対し, MT-DNN (MultiTask Deep Neural Network）というモデルを提案して いる[5]. このモデルは, BERT に対して複数のデー タセットでのマルチタスク学習を適用させることに よって, BERT 単体のスコアを上回っている. 本研究では, ストックマーク株式会社が公開している日本語ビジネスニュース記事で事前学習を行った
表 1 構成要素のF1 スコア

XLNet[6]を使用する.また，[5]を参考に XLNet をマ ルチタスク学習によりファインチューニングする.

## 3.3 系列ラベリングによる構成要素抽出

本稿では, VBridge の構成要素抽出を, 系列ラべ リングタスクとして解く. 各要素の説明を次に列挙 する.

達成価値 : その研究によって得られた価値

将来価値: その研究が将来的に達成したい目標

解決課題: その研究によって直接解決される課題将来課題: 将来的に解決したい課題

要素技術: その研究で用いられている要素技術 これらの要素は技術を説明する上で重要であり, VBridge を作成する上で欠かせないものとなる。し かしながら，「地球温暖化を解決する手法」といっ たように価値（地球温暖化を解決）, 課題（地球温暖化), 要素技術（地球温暖化を解決する手法）が 重複する場合があるため, 各ラベルは重複可能とし た.このような, 重複した系列ラベリングを行う方法として, 各ラベル独立に汎用言語モデルをファイ ンチューニングする万法と, マルチタスク学習によ り汎用言語モデルをラベル間で共有する方法が考え られる．後述の実験では両者の性能を比較する。

## 4 実験

## 4. 1 実験条件

インターネット上で公開されている情報処理学会

深層学習に関する研究の概要 294 本を実験に用いる.前章で示した 5 つの要素をラベリングし, 学習デー 夕を 250 本, 評価データを 44 本としてデータセッ 卜を作成した. 各ラベル独立にファインチューニン グする場合と, マルチタスク学習によりファインチ ューニングする場合とを比較する.

## 4. 2 実験結果と考察

表 1 が実験による各タスクの単体学習とマルチタ
スク学習の F1 スコアである. 要素技術と達成価値 についてはマルチタスク学習の方が抽出精度が高く, そのほかのラベルについては, シングルタスク学習 の方が高精度となった。

今回の実験では, どのラベルにおいても良い結果 は得られなかったが, この要因の一つに, 予測結果 に対する評価の手法が厳密すぎると考えられる。今回のデータセットにはアノテーションの摇らぎが生 じている. 例えば, 「本研究では, 地球温暖化を解決する手法を提案する.」といった文章に達成価値 をラベリングすると考える.このとき，この研究の 価値は「地球温暖化を解決できる」ことであるが， そのことを文章でラベリングする際には「地球温暖化を解決」，「地球温暖化を解決主る」，「地球温暖化を解決する手法」などの複数の正解が存在して しまう. 予測にも同じパターンが生じ, 完全に一致 しなければ評価が下がってしまうことになる。よっ て，ラベリングの意図を汲み取り，柔軟に対応でき る評価手法が必要となる.

また，マルチタスク学習による精度の向上が見ら れなかった原因として, 解決課題と将来課題のよう な似た傾向のあるラベリングタスクに対して，予測 が難しくなったと考えている.

次に，実際の予測をもとにその傾向や課題につい て考える. 表 2 が実際の予測と正解ラベルを一部抜粋したものである. 各構成要素について以下のよう に考察する。

達成価値「高速化」や「軽減」，「向上」な ど，ポジティブな単語を予測する傾向が強く見られ た.これは価値を表す単語を予測できていると考え られるが，その主語となる単語までを予測すること ができていなかったため, 文単位での予測が必要と 考える。

将来価値「密集」や「生産」,「コンピュータ」 など，一般的な単語を予測する傾向が見られた。こ れは将来価値に含まれる単語の傾向とは一致するが，精度の向上のためには後の文脈から達成できていな いことであることの推論が必要になると考える.
表 2 各タスクの予測と正解ラベルの抜粋

要素技術

## predict

…少数なデータを扱えるサポートベクター回帰を顔面領域皮膚温に適用し、…

解決課題 他のラベルと比べてデータ数が少な

く, 出現しない文章も多く見られたため, 予測が難 しかったと考える。

将来課題「要する」や「増大」，「かかる」な ど，ネガティブな単語を予測する傾向が強く見られ た. これは達成価値と同様に, 課題を表す単語を予測できていると考えられるが, その主語となる単語 までを予測することができていなかったため, 文単位での予測が必要と考える.

要素技術「サポートベクター回帰」や「データ ベース」，「音声認識」など，専門的な単語を予測 する傾向が見られた. これは要素技術に含まれる単語の傾向と一致しており, 名詞のみでのラベリング が多かったため，他のラベルに比べてスコアが高か ったと考えられる。

以上から，実験結果としてスコアは低かったもの の, 多くのラベルにおいて正解の傾向は見られてお り, 評価手法やラベリング手法を改善することで精度が向上すると考えられる. 具体的には以下の 3 つ を今後の課題とする.

・ ラベリングタスクでアノテーションの摇らぎに 対応できる評価およびラベリング手法の改善
・より長い範囲で文を抽出する手法の検討
- 構成要素抽出以外の異なるタスクを用いたマル チタスク学習の実現

## 5 おわりに

本研究では, VBridge の自動生成を目的として, その要素となるものを論文から抽出する手法を提案 した. 提案手法では，少ない自作データセットを活用するため, マルチタスク学習を適用させた汎用自然言語処理モデルを用いた．実験では，高い精度の 結果は得られなかったものの, その予測の傾向から 改善の余地があることを示した。

## 参考文献

[1] 加藤雄一郎. 2016. 長期展望に立ったコ ア技術戦略, JTEKT ENGINEERING JOURNAL No. 1014.

[2] Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova. 2019. BERT: Pretraining of Deep Bidirectional Transformers for Language Understanding, Pro-ceedings of the

2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume1 (Long and Short Papers), pp. 4171-4186.

[3] Zihang Dai, Zhilin Yang, Yiming Yang, Jaime Carbone11, Quoc Le, and Ruslan Salakhutdinov. 2019. Transformer-XL: Attentive Language Models beyond a Fixed-Length Context. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pages 2978-2988, Florence, Italy. Association for Computational Linguistics.

[4] Zhilin Yang, Zihang Dai, Yiming Yang, Jaime Carbone11, Ruslan Salakhutdinov, and Quoc V. Le. 2019. XLNet: Generalized Autoregressive Pretraining for Language Understanding. In NeurIPS 2019, pages 5754-5764.

[5] Xiaodong Liu, Pengcheng He, Weizhu Chen, Jianfeng Gao. 2019. Multi-Task Deep Neural Networks for Natural Language Understanding, Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pages 4487-4496, Florence, Italy. Association for Computational Linguistics.

[6] mkt3, 大規模日本語ビジネスニュースコー パスを学習した XLNet （MeCab+Sentencepiece 利用）モデルの紹介

https://qiita. com/mkt3/items/4d0ae36f 3f212aee 8002

［7］情報処理学会第 84 回全国大会講演論文集, https://www. ipsj.or. jp/event/taikai/8 4/ipsj_web2022/index. html
 内田 貫太 $^{1}$ 田口 亮 $^{1}$ ${ }^{1}$ 名古屋工業大学大学院 工学研究科 工学専攻 情報工学系プログラム k. uchida.514@stn.nitech. ac.jp taguchi.ryo@nitech.ac.jp  