# Construction of English Resume Corpus and Test with Pre-trained Language Models

Chengguang Gan ${ }^{1}$ Tatsunori Mori ${ }^{1}$
${ }^{1}$ Graduate School of Environment and Information Sciences
Yokohama National University
gan-chengguang-pw@ynu.jptmori@ynu.ac.jp
}

\begin{abstract}
Information extraction (IE) is an essential NLP task, especially for extracting information from resumes. This study aims to transform the information extraction task of resumes into a simple sentence classification task, using an English resume dataset and improving the classification rules to create a larger and more fine-grained classification dataset. The new dataset is used to test the performance of mainstream pre-training language models, and experiments are also conducted to compare the impact of different training set sizes on the accuracy of the resume dataset. The results show that the improved annotation rules and increased sample size of the dataset improve the accuracy of the original resume dataset.
\end{abstract
## 1 Introduction

As artificial intelligence develops, using artificial intelligence instead of HR for resume screening has always been the focus of research. And the accuracy of resume screening depends on the precision of resume information extraction.Hence, it is crucial to improve the precision of resume extraction for the subsequent steps of various analyses performance of resumes. The previous study on resume information extraction tends to use the Bi-LSTM-CRF model for Name Entity Recognition(NER) of resume text[1].Although this method extracts the resume information (e.g. Personal information, Name, Address, Gender, Birth) with high accuracy, it also loses some original verbal expression information. For example, the description of one's future career goals, requires complete sentences that cannot be extracted by the NER method. As an AI system that scores the candidate's resume, the career object is also part of the score. In summary, sentences such as these should not be ignored. Hence, in the prior study, the task of resume information extraction is transformed into a sentence classification task. Firstly, the various resume formats were converted into a uniform txt document. Then the sentences were classified after dividing them by sentence units. The classified sentences are used in the subsequent AI scoring system for resumes. The pilot study segmented and annotated 500 of the 15,000 original CVs from Kaggle. ${ }^{1)}$ Five categories of tags were set: experience, knowledge, education, project and others ${ }^{2}$. The pilot study annotated resume dataset has problems, such as unclear classification label boundaries and fewer categories. Also, a dataset of 500 resumes with a total of 40,000 sentences in the tagging is sufficient for PLMs to fine-tune. If the dataset sample is increased, can the model's performance continue to improve.

To resolve all these problems, we improved the classification labels of resumes and used them to label a new resume classification dataset. To find out how many training samples can satisfy the fine-tune requirement of PLMs, we annotated 1000 resumes with a total of 78000 sentences. Furthermore, various experiments have been performed on the newly created resume dataset using the current mainstream PLMs.

## 2 Related Work

Since the last century, resume information extraction has been a critical applied research subfield in IE. In earlier studies, methods such as rule-based and dictionary matching were used to extract specific information from resumes[2]. HMM, and SVM methods extract information

Figure 1: Resume annotation rules diagram.

such as a person's name and phone number from resume information[3].Related Resume Corpus Construct study has an extensive resume corpus in Chinese[4].

## 3 Corpus Construction

## 3.1 Annotation Rule

We increased the number of categories from 5 to 7 in order to discriminate the various parts of the resume more carefully.As shown in Figure 1, the blue block on the left is the abbreviation of the seven classification labels, and on the right is the name of the resume section corresponding to the label.The full names of the seven labels are Experience, Personal Information, Summary, Education, Qualifications, Skill, and Object.The newly developed classification rules make it possible to have a clear attribution for each item in the resume. It will not cause the neglect of some sentences in the resume, as there are other labels in the prior study.

## 3.2 Annotation Tool

In order to label resume datasets faster and more accurately, we developed a simple annotation program based on Tkinter $^{3)}$.The operation interface of the resume annotation tool.This tool automatically recognizes original resumes in pdf, Docx, and txt formats. It can also segment all the sen-

Figure 2: The operation interface of the resume annotation tool.

tences in the original resume according to a simple rulebased approach.Figure 2 shows the sample interface of the resume annotation tool. On the left are the sentences split by rule-based, and on the right are seven buttons that can be selected individually. After the sentence annotation of a whole resume is completed, a separate txt file will be automatically exported after closing the window, and the sentence annotation window for the next resume will be started automatically.

## 4 Experiments Set

In this section, we will perform various test experiments on the new-constructed resume dataset. First, we compared the performance of the BERT[5] model on the original resume corpus and the newly constructed resume dataset. Furthermore, four mainstream PLMs models are selected to test the resume dataset performance: BERT,ALBERT[6],RoBERTa[7], and T5[8]. For the fairness of the experiment, the size with the most similar parameters was chosen for each of the four models(BERT ${ }_{\text {large }}, \mathrm{ALBERT}_{\text {xxlarge }}, \mathrm{RoBERTa}_{\text {large }}$, $\mathrm{T} 5_{\text {large }}$ ).The evaluation metrics for all experiments were F1-micro.The training set, validation set, and test set are randomly divided in the ratio of 7:1.5:1.5. And each experiment was performed three times to take the average of the results.

## 5 Result

## 5.1 Pre-train Models Test

As shown in Table 2, the new resume corpus ameliorated by $0.35 \%$ over the original dataset $\mathrm{F} 1$-score for the same BERT model. RoBERTa and T5 scores improved by $0.68 \%$

Table 1: The first row indicates the number of training sets. The following two rows indicate the F1-score of the validation set and test set corresponding to the number of training samples.

Table 2: The first column * show accuracy of resume dataset before improvement.

Figure 3: F1-score of different training samples.

and $0.97 \%$ over baseline, respectively. The above results are also consistent with the ranking of the four PLMs in terms of their performance in various benchmark tests of NLP.

## 5.2 Sample Size Affects Experiment

In order to find out how many samples can bring out the maximum performance of the model, we divide the data set into training set 58000: validation set 10000: test set 10000. As shown in Table 1, the scores of the validation and test sets for different sample sizes. The model scores are tested from the 58000 training set, starting from 5000 and increasing the number of training samples every 5000.The highest score in the validation set is 86.6 when the training sample equals 45000 . the highest score in the test set is 85.9 when the training sample equals 40000 and 45000.In order to visualize the relationship between the number of training samples and performance, we plotted the graphs (As Figure 3).It can be seen that as the number of training samples increases, the correctness of the

Figure 4: Fan chart of the percentage of each category of the resume corpus.

model rises. Finally, the model's performance reaches the highest point when the training samples are increased to 40,000. From the experimental results, for the PLMs, this resume corpus above 40,000 is sufficient for the model's maximum performance. The results also prove that the new resume corpus, which doubles the sample size, is significant compared to the original resum corpus.

## 6 Analysis

In the final section, we analyze the sample distribution of the constructed resume corpus. Figure 4 shows that the category with the most significant proportion in the resume corpus is experience, which accounts for half of the resume text. In addition, the three categories that account for the least in the resume corpus are skill, object, and qualification, which account for only 7\%, $3 \%$, and $1 \%$.Conclusively, resume text is a very easy sample imbalance for experimental subjects. Thus, the resume corpus also vigorously tests the model's learning capability for categories
with sparse samples in the training dataset. Hence, we plotted the conflation matrix of RoBERTa and T5 models. It is used to analyze the learning ability of the two models for sample-sparse categories in the dataset.

As shown in the figure 5, we can see the confusion matrix of RoBERTa and T5 models. First,the RoBE-RTa model is better for classifying qualification with the least number of samples. Secondly, the T5 model is slightly better than the RoBERTa model in terms of overall category classification results. The above results also demonstrate that our constructed resume corpus is highly unbalanced. However, if the model has strong performance, it can still learn the features of the corresponding category from very few samples.

Figure 5: Confuse Matrix of RoBERTa arge and $5_{\text {large }}$ model in test set.

## 7 Conclusion

In this paper, we improve the classification labels of the original English resume corpus. Furthermore, it doubled the number of samples size. The final tests and analyses also show the reliability of the newly constructed resume corpus. In future work, we will explore how to solve the sample imbalance problem of the resume corpus. Make the model learn effectively even for small sample categories.

## References

[1] S. Huang, L. I. Wei, and J. Zhang. Entity extraction method of resume information based on deep learning. Computer Engineering and Design, 2018.

[2] R Mooney. Relational learning of pattern-match rules for information extraction. In Proceedings of the sixteenth national conference on artificial intelligence, volume 328, page 334, 1999.

[3] Kun Yu, Gang Guan, and Ming Zhou. Resume information extraction with cascaded hybrid model. In Proceedings of the 43rd Annual Meeting of the Association for Computational Linguistics (ACL' 05), pages 499-506, 2005.

[4] Yanyuan Su, Jian Zhang, and Jianhao Lu. The resume corpus: A large dataset for research in information extraction systems. In 2019 15th International Conference on Computational Intelligence and Security (CIS), pages 375-378. IEEE, 2019.

[5] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018

[6] Zhenzhong Lan, Mingda Chen, Sebastian Goodman, Kevin Gimpel, Piyush Sharma, and Radu Soricut. Albert: A lite bert for self-supervised learning of language representations. arXiv preprint arXiv:1909.11942, 2019.

[7] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach. arXiv preprint arXiv:1907.11692, 2019.

[8] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, Peter J Liu, et al. Exploring the limits of transfer learning with a unified text-to-text transformer. J. Mach. Learn. Res., 21(140):1-67, 2020.


# 自然言語で書かれた複数の情報リソースの 時系列解析による市場探索手法の提案

上田 紗綾宮前 義範奥 良彰中原健
ローム株式会社 研究開発センター 融合技術研究開発部
\{saya. ueda, yoshinori.miyamae, yoshiaki.oku, ken. nakahara\}@dsn. rohm.co.jp

## 概要

本手法は、研究開発のテーマについてその市場性 を分析する手法を提案する。研究開発テーマの代表的な単語を対象として、技術ニュースや特許データ ベースなど性質の異なる複数の自然言語で書かれた 情報リソースを入力とし、Word2vec によるホットワ ード解析を実施する[1]。市場規模などまだ統計的な 数値データがはっきりとしない分野や、その市場に おいて独占的な分野があり他の分野が見えにくい状況においても、客観的かつ短時間に市場を俯瞰する ことを目指す。

解析テーマとして、酸素および湿度センサに関す る市場分析を行った。どちらのセンサも、その既存市場は自動車産業が大きなシェアを占め[2][3]、それ 以外のニッチな市場は見えにくくなっている。本手法により、技術ニュースサイトからは可能性のある 市場のホットワードを、特許データベースからは、 その市場と関連性の高い技術を取り出すことができ た。

## 1 背景

研究開発テーマおよび事業成功確率の向上は喫緊 の課題である。例えば、経済産業省が取りまとめた 製造業別研究開発の成功確率のうち、「基礎研究が 事業化に結び付くもの」は平均で $12.3 \%$ と、低い值 にとどまっている[4]。このため、どの研究機関が有望であるかについて、国は研究開発に係る無形資産価値の可視化についての議論を進めている状況であ る[5]。しかしながら、研究開発領域、「知」の価値 を評価する際の情報の妥当性について、該当する領域範囲での経験がなければ研究開発テーマや事業を 適切に評価することができないことが課題となって おり、またその評価手法については定式化すること が望まれている。

一方で市場がまだ形成されていないことが多い研究開発のテーマについては、定量的なデータが容易
に手に入らないため統計的な手法を使うことができ ずに、各種定性的な情報を使用する必要がある。定性的な情報を解析するためのソフトウェアやコンサ ルティングが増えてきており研究も進んでいるが、特許や論文といった単一の情報源を処理する例がほ とんどであり、例えば、ニュースなども含めた上で の、複数の情報を組み合わせた評価はほとんどない。 これは複数の媒体から得たニュースの評価を行おう とすると、質の異なるニュース自体を評価する必要 があり、尚且つ、その重要度の判断を人が行なわな ければならないためである。限られた時間の中でこ れらの判断を適切に行うことは難しいのが現状であ る。

## 2 関連研究

売り上げ規模など市場における客観的な情報を使 わない手法としては、大量のテキストデータの解析手法として、新規性の評価[6][7][8][9]、概要の要約 [10]がある。また、特許をターゲットとしたものでは、記載技術の価値判断および時系列解析を用いた価値判断手法として、特許の引用数を使用して対象とす る技術の価値を判断する手法[11] や、SCDV (Sparse Composite Document Vectors )による文書ベクトルと 財務諸表のデータを使用して評価する手法[12]、論文本数を用いて評価する手法[13]がある。しかしこ れらの手法は、あくまでも単一の情報リソースから 分析したものであって、複数の情報リソースからデ 一夕を得て多角的に評価したものではない。

## 3 提案手法

本研究は、複数の媒体からデータ収集を行い、か つ技術者 1 名に対して事前ヒアリングを実施した。技術者より、酸素センサと湿度センサの想定してい る市場は「1.車載(自動車産業)、2.医療、3.産業機器、 4.家電、5.モバイル、6.IoT(Internet of Things)」との回答を得た。また、3.1-3.3 でデータセットの収集方法及び解析手法を述べる。

## 3.1 解析対象とする媒体

本研究で対象としたニュースは「日経 TechFind[14]」「Anews[15]」「Share research[16]」の 3 つの媒体ごとに得たものである。異なる 3 つの媒体の検索結果を自然言語処理によって評価し、比較 する。まず、日経 TechFind は技術的記事に強みがあ り、独自に、これから伸びる技術領域についてユー ザーが簡単に理解できるような工夫がされている。次に Anews は技術サイトのニュースの中から、研究開発部門に所属するメンバーの好みが反映されたサ イトを選択できるため、その部門の嗜好を反映させ ることができる。最後に Shareresearch は特許に特化 されている媒体であり、ほかの 2 つの媒体と比べて 学術色が強い。

図 1 対象とする 3 つの媒体について

## 3.2 解析対象とするデータ

データ範囲は、「日経 TechFind」は 2017 年から 2022 年、「Anews」は 2019 年から 2022 年(のぞく 2020 年)、「Shareresearch」2017 年から 2021 年のも のである。

## 3.3 解析フロー

図 2 本手法のフローチャート

図 2 に本研究のフローチャートを示す。技術者に 対してヒアリングを実施し、どの分野について自然言語処理をしたいのか特定をする。次に、特定した 分野に対して 3 つの媒体から記事収集を行う。そし て、Word 2vec における「skip-gram」[17]によりベク トル空間を作成し、t-SNE[18]による次元圧縮後、 DBSCAN[19]によるクラスタリングを行った。特許 だけに使用した例としては[1]があるが、今回は 3つ の媒体に対しても同じ手法を適用する。最後に、結果の比較を行う。

## 4 結果

## 4. 1 「酸素センサ」の解析結果

酸素センサの解析結果を図 3 に示す、まず「日経 TechFind」は、2019 年度は「血中」「溶存」「無菌」、 2020 年度は「血中」「ウェルネス」「計測」「症状」、 2021 年度は「リハビリテーション」「感度」、2022 年度は「代謝」「精度」という単語の出現が確認で きた。これらの単語からは医療分野に関して酸素セ ンサの適性を示すものである。一方「Anews」では 「光線」「破断」といった各研究開発センターのメ ンバーが興味を持っている分野の単語が集まった。

「Shareresearch」に関しては「冷蔵庫」「NO $O_{x}$ (窒素酸化物)」といった酸素センサが活用されるであろう技術的な領域に関する単語が導出された。(ここで述べ た単語については図 3 で赤文字表記を行った。)

これらの結果から、車載や IoT といった研究開発 センターのメンバーの志向以外に、医療分野や環境系への市場への発展も期待できるという結果を得る ことができた。

## 4. 2 「湿度センサ」の解析結果

湿度センサの解析結果を図 4 に示す。「日経 TechFind」は、2017 年度は「環境」「照度」「気圧」 2018 年度は「温度」「照度」「濃度」、2019 年度は 「温度」「照度」「濃度」、2020 年度は「土壌」「日照」という単語の出現が確認できた。これらの単語 からは農業分野に関して湿度センサの適性があるの ではという事を示すものである。一方「Anews」は、「高機能」「コンセプト」「組み合わせ」「全体的」 といった、システム全体に対してメンバーが興味を 持っているということが判明した。「Shareresearch」 に関しては、「アウトドア」「スプリンクラー」な ど、湿度センサの使用用途として複数の関連単語を 得た。(ここで述べた単語については図 4 で赤文字表記を行った。)

これらの結果から、酸素センサと同様に、研究開発センターのメンバーの志向以外に環境やシステム、特定の市場に関する知見を得ることができた。

図 3 ホットワード「酸素」に関する結果

図 4 ホットワード「湿度」に関する結果

## 4. 2 考察

酸素センサと湿度センサに対して記事の収集を行 い、自然言語解析を実施したが、「日経 TechFind」

「Anews」「Shareresearch」で同じテーマを扱ってい るにもかかわらず、それぞれの出力結果は異なって おり、傾向も媒体ごとに異なっていた。また市場調査では自動車産業が大きなシェアを占めており、同様に、技術者の頭の中では「1. 車載(自動車産業)、2.医療、3. 産業機器、4.家電、5.モバイル、6.IoT」との 回答だったが、今回の解析結果では主に車載以外の 項目がピックアップされ、一般的な回答とは異なる 結果を得ることが出来た。

## 5 おわりに

本研究では、市場探索の 1 つの手法として、情報 リソースごとに年代ごとの自然言語処理を行い、重要単語をピックアップした。これを時系列に並べる ことでその変遷が分かるようになった。また「日経 TechFind」「Anews」「Shareresearch」の3つの媒体 を同一テーマ(「酸素センサ」「湿度センサ」)で自然言語処理解析することで比較をした。さらに出力結果と、市場調査及び(技術者に対する)事前ヒアリン グとの比較を行うことで自動車産業(車載)以外の市場についての見出しを行うことが出来た。これは、 (同じテーマであっても媒体ごとに出力結果が異な っており)解析者が多様な見方をすることにつなが っていると考えられる。人力調査や一般論では見落 としていた情報や市場が見えることになり、これか

## 参考文献

[1]上田紗綾.特許情報の時系列解析結果と売上デー タを利用した半導体に関する重要技術の抽出方法.(オンライン)(引用日: 2023 年 1 月 11 日.) https://www.anlp.jp/proceedings/annual_meeting/2022/p df_dir/G6-5.pdf

[2]株式会社グローバルインフォメーション.酸素ガ スセンサー市場-成長、動向、COVID-19 の影響、予測(2022 年-2027 年).(オンライン)(引用日: 2022 年 12 月 28 日.)

https://www.gii.co.jp/report/moi393345-global-oxygengas-sensors-market-growth-trends.html
らの技術開発の多様化を促し、開発の一助となるだ ろうと考えている。

今後は、技術者ヒアリングについて今回は 1 名の みであったので、特定テーマの複数人員に対して事前ヒアリングを行いかつ自然言語処理を組み合わせ る手法について検証を行いたい。また、今回は単語 による市場探索を行ったが、文脈理解、文章や文脈 の単位でクラスタリングできる手法が適切であると も考えられる。今後はトピックモデルや BERT の適用も検討していく。

[3]株式会社グローバルインフォメーション.湿度セ ンサーの世界市場(2022-2027 年).(オンライン)( 引用日: 2022 年 12 月 28 日.) https://www.gii.co.jp/report/imarc1071045-humiditysensor-market-global-industry-trends.html

[4]小沼良直.民間企業における研究開発テーマ評価 と研究開発者評価.(オンライン)(引用日: 2023 年 1 月 11 日.)

https://www.mext.go.jp/component/a_menu/science/deta il/_icsFiles/afieldfile/2010/06/25/1294227_8.pdf

[5]経済産業省.研究開発に係る無形資産価值の可視化研究会.(オンライン)(引用日: 2022 年 12 月 28 日.)

https://www.meti.go.jp/shingikai/economy/mukei_shisan /index.html

[6] 難波英嗣. 手順オントロジー構築のための特許請求項の)構造解析.(オンライン)(引用日:2023 年 1 月 12 日.)

https://www.japio.or.jp/00yearbook/files/2020book/20_3 _01.pdf

[7] 安藤俊幸.特許調査のためのプログラム事例紹

介.(オンライン)(引用日:2023 年 1 月 12 日.)

https://www.jstage.jst.go.jp/article/jkg/70/4/70_203/_pdf /-char/ja

[8] 安藤俊幸,桐山勉.分散表現学習を利用した効率的な特許調査.(オンライン)(引用日:2023 年 1 月 12 日.)

https://www.jstage.jst.go.jp/article/infopro/2019/0/2019_ 31/_pdf/-char/ja

[9] 安藤俊幸.機械学習による予備検索を考慮した効率的な特許調查.(オンライン)(引用日:2023 年 1 月 12 日.)

https://www.jstage.jst.go.jp/article/infopro/2020/0/2020_ 43/_pdf/-char/ja

[10]特許庁.特許出願技術動向調査.(オンライン)(引用日: 2023 年 1 月 12 日.) https://www.jpo.go.jp/resources/report/gidouhoukoku/tokkyo/index.html [11]山本雄太.技術コミュニティの成長性を加味した 特許価值評価手法の開発.(オンライン)(引用日: 2023 年 1 月 12 日.)

https://www.jstage.jst.go.jp/article/pjsai/JSAI2020/0/JSA I2020_4K2GS305/_pdf/-char/ja

[12]米村崇.特許分析を通じた製薬企業の研究開発と 企業価値との関連性の研究.(オンライン)(引用日: 2023 年 1 月 12 日.)

https://koara.lib.keio.ac.jp/xoonips/modules/xoonips/deta il.php?koara_id=KO40003001-00002020-3761
[13]柴田洋輔. 特許と論文の複合解析による有望応用分野の予測一印刷技術を例に一(オンライン)(引用日: 2023 年 1 月 12 日.)

https://www.jstage.jst.go.jp/article/jkg/69/3/69_128/_pdf /-char/ja

[14]日経 TechFind.トップページ.(オンライン)(引用日: 2022 年 12 月 28 日.)

https://xtech.nikkei.com/service/techfind/

[15]Anews.トップページ.(オンライン)(引用日: 2022 年 12 月 28 日.)

https://anews.stockmark.ai/\#/account/login

[16]Shareresearch.(オンライン)(引用日: 2022 年 12 月 28 日.)

http://demosc.shareresearch.net/sr-c/Login/Login.aspx [17] Tomas Mikolov, Kai Chen, Greg Corrado, Jeffrey Dean (2013) "Efficient Estimation of Word Representations in Vector Space” . (online) (引用日: 2023 年 1 月 12 日.)

https://arxiv.org/pdf/1301.3781.pdf

[18]Laurens van der Maaten, Geoffrey

Hinton.Visualizing Data using t-SNE(online) (引用日:

2022 年 1 月 12 日.)

https://www.jmlr.org/papers/volume9/vandermaaten08a/ vandermaaten08a.pdf

[19] a b Simoudis, Evangelos; Han, Jiawei; Fayyad, Usama M., eds (1996). "A density-based algorithm for discovering clusters in large spatial databases with noise". Proceedings of the Second International Conference on Knowledge Discovery and Data Mining (KDD-96). AAAI Press. pp. 226-231. ISBN 1-57735004-9 (引用日: 2022 年 1 月 12 日.)

https://www.aaai.org/Papers/KDD/1996/KDD96-037.pdf

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 数学的表現の構造的情報のトークン化手法による ProcessBERT の性能改善

張 純朴 加藤 祥太 加納 学
京都大学大学院情報学研究科
\{shota, manabu\}@human.sys.i.kyoto-u.ac.jp

## 概要

プロセス産業において重要な役割を果たす物理 モデルの構築には，文献調査を含めた多大な労力を 要する．その労力を削減するために，物理モデルを 自動で構築するシステム (AutoPMoB) の実現を目指 している. 本研究の目的は，AutoPMoB の実現に必要な要素技術として，複数文献間の変数定義の同義性判定手法を開発することである. 本研究では，ま ず，化学プロセス関連の論文約 80 万報からなるコー パスを作成した. そして，数学的表現の構造的情報 を扱う前処理およびトークン化手法を提案し，化学 プロセスに特化した言語モデル ProcessBERT 2022 $^{\text {を }}$構築した. ProcessBERT ${ }_{2022}$ は変数同義性判定にお いて，既存モデルを上回り，F1 值 0.872 を達成した。

## 1 はじめに

化学や鉄鋼などのプロセス産業では，プロセスの 設計や運転に物理モデルに基づくプロセスシミュ レータが用いられている．物理モデルの構築にはプ ロセスに関する深い理解と専門知識だけでなく, 精度向上のための試行錯誤的な取り組みが必要とさ れる.このため, 物理モデルの構築には多大な労力 がかかる. 本研究の最終目的は，複数の文献から 物理モデルを自動で構築するシステム (Automated physical model builder; AutoPMoB) を開発することで ある．AutoPMoB の実現には，物理モデル構築に必要な情報を文献から抽出し，抽出した情報の表記を 統一する必要がある。本研究の目的は，表記を統一 するために，異なる文献から抽出した変数の定義が 同じかどうか (同義性) を正確に判定する手法を開発 することである. 本研究では，1) 約 80 万報の化学工学関連論文を収集し，2) BERT モデルが数学的表現の構造的情報を学習できるような前処理手法を提案し，BERT モデルをゼロから学習する。 そして，提案手法と既存手法で構築した BERT モデルによる 変数定義の同義性判定性能を比較する.

## 2 関連研究

自然言語処理の分野において，単語の意味をべク トル (埋込ベクトル) で表現することの有効性が多く の研究で検証されてきた. Word2Vec [1]，GloVe [2]， FastText [3] は，文脈に依存しない埋込べクトルであ る.しかし，単語の意味は文脈によって変わる場合 がある。単語に対して一意に決まる埋込べクトルを 学習する手法はそのような状況に対応できない。文脈に依存した埋込べクトルを学習する言語モデル の一つが BERT (Bidirectional Encoder Representations from Transformers) [4] である. Peng ら [5] は，数式と その周辺の文脈から構成されるコーパスを用いて，数学分野の情報抽出，トピック分類および文生成 のタスクに特化したモデル MathBERT を構築した. Dadure ら [6] は，数学分野の情報抽出と質問応答の 研究を行う ARQMath [7] が作成したコーパスを用い て，数式の情報抽出タスクに特化した BERT モデル を作成した. これらの研究では，一般的な数学的情報を扱うコーパスを用いて追加で BERT モデルを訓練していた。しかし，化学プロセス分野における変数定義同義性判定のタスクに対応するために，その 分野に特化したコーパスでモデルを構築する必要が ある．金上ら [8] は，化学工学分野のコーパス (約 7 億語)を用いて BERT を追加で訓練し，ProcessBERT を構築した. 彼らの前処理では，数学的表現の構造的な情報を無視したテキストを使用していた. 図 1 に数式 $\frac{c_{k}}{c_{l}}$ の前処理およびトークン化後の文字列を 示す. この前処理後の文字列が元々数学的表現の一部なのか，単語の一部なのかを区別することはでき ないため，数学的表現の構造的情報は学習されな い。また，学習に使用したコーパスのサイズが小さ いという課題があった.

図 1 先行研究 [8] の前処理およびトークン化手法による 数式の変換例.

## 3 提案モデル (ProcessBERT 2022 )

## 3.1 コーパス

Elsevier 社が提供する Elsevier Research Product APIs [9] を用いて, 化学工学分野の 130 ジャーナル から XML (Extensible Markup Language) 形式の論文 ファイルを収集した. XML はタグを用いて文章の 見た目と構造を記述するマークアップ言語の一種 である. XML の数学的表現に対応するタグは 2004 年に $\langle$ formula $\rangle$ タグから $\langle\mathrm{mml}: \mathrm{math}\rangle$ タグに変更され た. 本研究では, 論文中の数学的表現を統一的に処理するために, 数学的表現の記述に $\langle\mathrm{mml}: \mathrm{math}\rangle$ が 用いられている 2005 年以降の論文約 80 万報を使用 する. 簡単のため, 以降の文では，数学的表現の記述に用いられるタグを “mml”が省略された形で表記する. 先行研究 [8] と同様に，論文の抄録と本文 を用い，タイトル・著者情報・キーワード・参考文献・付録は用いない.

## 3.2 前処理とトークン化

前処理では，まず数学的表現の置換を行う．数学的表現は変数と数式の二種類に分けられる. 本研究 では，以下の 2 つの条件を全て満たす XML 構文を 変数を表現するものとみなす.
1. $\langle\mathrm{mi}\rangle,\langle\mathrm{msub}\rangle,\langle\mathrm{msup}\rangle,\langle\mathrm{msubsup}\rangle,\langle\mathrm{mover}\rangle$, $\langle$ munder $\rangle$, 〈moverunder $\rangle$, $\langle$ math $\rangle,\langle\mathrm{mrow}\rangle$ の 9 種類のタグのみを使用する。

2. 一番外側の $\langle\mathrm{math}\rangle$ 要素の直下にある子要素の 数が 1 である.表 17 種類の XML タグごとの変数変換ルール

図 2 提案する前処理による変数と数式の変換例. XML タグと変換ルールに基づいてタグを含まない文字列に変換する。

XML で変数の表現に用いられる 7 種類のタグに 注目し，表 1 に示す変換ルールを定義した. この ルールに基づき，各変数を処理する。一つの変数に 複数のタグが用いられる場合，外側から順に処理を 行う．数式は変数と比較してタグの種類が多く，構造も多様である．また，数式より変数の方が変数定義の同義性判定を行う上で重要であると考えたた め，数式は一律に “[FOR]” トークンで置換すること とした. 図 2 に変数と数式の変換処理の例を示す.

次に，前処理後の文字列をトークン化する。トー クン化には BERT と同じ WordPiece [10] アルゴリズ ムで作成したトークナイザを用いた. トークナイ ザの作成時には 6 種類の特殊トークン (“[FOR]”, “[VAR]”, “[SUB]”, “[SUP]”, “[OVER]”, “[UNDER]”) を追加した。

## 3.3 事前学習

以下の 3 つのステップを経て，XML ファイルを 一文一行 (one sentence per line) のテキストファイル に変換する。

1. 数学的表現を提案した前処理で変換する.

2. 抄録と本文のテキスト部分を結合する。

3. 文分割のツール Spacy [11]を用いて，結合され たテキストを文に分割し，一行が一文のテキス トファイルに変換する。

以上の処理で事前学習データ (36 億語)を得た. こ れを用いて BERT モデルをゼロから訓練し, 化学 プロセスに特化した言語モデル ProcessBERT ${ }_{2022}$ を 構築した. ProcessBERT ${ }_{2022}$ の学習では, バッチサ イズとシーケンスの最大長をそれぞれ 256 と 128 とし，学習ステップを $1,000,000$ とした。それ以外のハイパーパラメータは $\mathrm{BERT}_{\mathrm{BASE}}$ [12] と同じ とした。事前学習タスクは Masked Language Model と Next Sentence Prediction とした. 計算には Google Cloud Platform [13] で 8 コアの TPU v3 を使用した.学習には約 32 時間要した. 事前学習の際に指定す る語彙ファイルはトークナイザの作成時と同じもの を使用した。

## 4 実験

## 4.1 データセット

先行研究 [8] で使用したデータセットに新たに 2 プロセスを追加した合計 5 つの化学プロセスに関す る論文 45 報からなるデータセットを用いる． 5 つの プロセスは，バイオディーゼルプロセス (Biodiesel; $\mathrm{BD})$ ，晶析プロセス (Crystallization; CRYST)，連続槽型反応器 (Continuous Stirred Tank Reactor; CSTR), チョクラルスキープロセス (Czochralski; CZ)，多管式熱交換器 (Shell and Tube Heat Exchanger; STHE) で ある. 同一プロセスの異なる 2 つの論文に含まれる すべての変数定義のぺアについて，同義 (1)もしく は非同義 (0) のラベルが付与されている. プロセス ごとの同義と非同義の変数定義ぺアの数を表 2 に示 す.このデータセットは，同義ぺアの数が非同義変数定義ぺアの数よりもかなり少ない不均衡データ セットであるため，以下のように各プロセスについ て，訓練用およびテスト用データを作成した。

訓練用 同義変数定義ぺアの半分をランダムにサ ンプリングし，どのプロセスでもデータの総数が 1,500 になるように非同義の変数定義ぺアをランダ ムにサンプリングした.

テスト用訓練用データ以外の同義変数定義ぺア をテスト用とした。また，テスト用データの数が全体のサンプル数の $10 \%$ になるうに非同義の変数定義ペアをランダムにサンプリングした.表 2 各プロセスの論文数と同義および非同義のペア数

## 4.2 同義性判定手法

先行研究 [8] と同様に，「変数定義の類似度に基づ く手法」と「ファインチューニング済モデルに基づ く手法」を用いる.

## 4.2.1 変数定義の類似度に基づく手法

2 つの変数定義をそれぞれ BERT モデルに入力 して変数定義べクトルを算出し，それらのコサイ ン類似度が閾値より大きければ同義と判定する。変数定義ベクトルとして, 先行研究 [8] では 12 層 の Transformer encoder の出力ベクトルの平均を使用していたが，本研究では，最終層の出力ベクト ルのみを使用する．変数定義べクトルの計算には Devlin らが Github 上で公開しているプログラム [12] (extract_features.py) を使用した。閾值には Youden's Index [14]を採用した.

## 4.2.2 ファインチューニング済モデルに基づく手法

各プロセスについて, ProcessBERT ${ }_{2022}$ の事前学習済モデルを訓練用データでファインチューニン グし，そのモデルで同義性を判定する. ファイン チューニングの際の下流タスクとして，2つの名詞句が言い換えであるかどうかを判定する Microsoft Research Paraphrase Corpus (MRPC) [15] を用いたタス クを使用し，訓練には Devlin らが Github 上で公開し ているプログラム [12] (run_classifier.py)を使用した.

## 5 結果と考察

## 5.1 結果

類似度による同義性判定の結果を表 3 に示 す. 本研究で構築した ProcessBERT 2022 に加えて, ProcessBERT [8], BERT ${ }_{B A S E}$ [4], SciBERT [16] の結果 も示した. ProcessBERT ${ }_{2022}$ は CRYST と CZ の 2 つ のプロセスにおいて最も高い $\mathrm{F} 1$ 値を達成したのに
表 3 類似度に基づく変数定義同義性判定結果 (F1 値)

対して，SciBERTはBD，STHEおよび全プロセスを まとめたデータセット (All), ProcessBERT は CSTR においてそれぞれ最高値を達成した。

ProcessBERT $_{2022}$ と ProcessBERT のファイチュー ニング済モデルによる同義性判定結果 (正解率,適合率，再現率， $\mathrm{F}$ 値)をそれぞれ表 4 と表 5 に示 す.いずれの場合も類似度を用いた手法と比較し て，BD と STHE を除いたデータセットで性能が向上した. BD と CSTR 以外のデータセットにおい て, ProcessBERT ${ }_{2022}$ の性能は ProcessBERT よりも高 かった.

## 5.2 考察

本研究で構築したコーパス (36 億語) は，他のド メイン特化 BERT モデルのそれと同等のサイズで ある (SciBERT [16]: 32 億語, BioBERT [17]: 45 億語, PubMedBERT [18]: 31 億語). そして, 先行研究 [8] では事前学習済の BERT $_{\text {BASE }}$ のモデルに追加で学習 を行ったのに対して, 本研究では, 構築したコーパ スのみを用いてゼロから学習を行った. このため,先行研究で報告された，コーパスのサイズが小さ く, モデルが十分に化学プロセス分野の専門的知識 を十分に学習できない問題は改善された。

ファインチューニング済モデルによる同義性判定の結果において，ProcessBERT ${ }_{2022}$ は BD のデータ セットに対する再現率と $\mathrm{F}$ 値が，他のプロセスの場合よりも低かった.これは, BD の同義変数定義ぺ アの数が少なく，モデルが十分に正例を学習できな かったことが原因として考えられる. 高い性能を達成するには，他のプロセスと同等の数の正例データ を確保する必要がある。

また, 本研究では変数定義の類似度に基づく手法 とファインチューニング済モデルに基づく手法の両方において，変数定義を大力とした. これは，変数定義を含む文を入力とし，類似度に基づく手法で同義性判定を行ったところ，モデルの性能が著しく低下したためである．単語は周辺の文脈から意味が決 まるという分布仮説や BERT モデルが事前学習時に表 4 ProcessBERT ${ }_{2022}$ のファインチューニング済モデル に基づく変数定義同義性判定結果

表 5 ProcessBERT のファインチューニング済モデルに基 づく変数定義同義性判定結果

文を入力とする事実を踏まえると，本来は文を入力 することで性能向上を期待できるはずである. さら に，定義を含む文を入力とする方法はファイチュー ニング済モデルに基づく手法に適用できるが，その 際に適切な下流タスクを考案する必要がある.この ような文を入力として用いる方法の開発は今後の課題である.

## 6 おわりに

本研究では先行研究 [8] に引き続き，物理モデ ル自動構築システム (AutoPMoB) の要素技術であ る複数文献間における変数の同義性判定手法の開発に取り組み，XML 形式のコーパスに含まれる 数学的表現の構造的情報を扱う前処理およびトー クン化手法を提案した. 提案手法で構築した言語 モデル ProcessBERT ${ }_{2022}$ は先行研究で構築された ProcessBERT [8] よりも高い同義性判定性能を達成 した. 今後は， 5.2 節で議論した課題に対応し，さ らなる性能向上を目指す.

## 謝辞

本研究は JSPS 科研費 JP21K18849 および Google Cloud Research Credits プログラムの助成 (GCP19980904)を受けたものです.

## 参考文献

[1] T. Mikolov, K. Chen, G. Corrado, and J. Dean. Efficient estimation of word representations in vector space. arXiv preprint arXiv:1301.3781, 2013.

[2] J. Pennington, R. Socher, and C. Manning. Glove: Global vectors for word representation. In Proceedings of the 2014 conference on empirical methods in natural language processing (EMNLP), pp. 1532-1543, 2014.

[3] P. Bojanowski, E. Grave, A. Joulin, and T. Mikolov. Enriching word vectors with subword information. Transactions of the Association for Computational Linguistics, Vol. 5, pp. 135-146, 2017.

[4] J. Devlin, M. Chang, K. Lee, and K. Toutanova. Bert: Pretraining of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018.

[5] S. Peng, K. Yuan, L. Gao, and Z. Tang. Mathbert: A pre-trained model for mathematical formula understanding. arXiv preprint arXiv:2105.00377, 2021.

[6] P. Dadure, P. Pakray, and S. Bandyopadhyay. Bert-based embedding model for formula retrieval. In CLEF (Working Notes), pp. 36-46, 2021.

[7] R. Zanibbi, D. W Oard, A. Agarwal, and B. Mansouri. Overview of arqmath 2020: Clef lab on answer retrieval for questions on math. In International Conference of the Cross-Language Evaluation Forum for European Languages, pp. 169-193. Springer, 2020.

[8] 金上和毅, 加藤祥太, 加納学. 複数文献間の変数の同義性判定に向けた ProcessBERT の構築. 言語処理学会 第 28 回年次大会 発表論文集, 2022.

[9] Elsevier developer protal. https://dev.elsevier.com/ ., Accessed on 2022/01/16.

[10] X. Song, A. Salcianu, Y. Song, D. Dopson, and D. Zhou. Fast wordpiece tokenization. arXiv preprint arXiv:2012.15524, 2020

[11] M. Neumann, D. King, I. Beltagy, and W. Ammar. Scispacy: fast and robust models for biomedical natural language processing. arXiv preprint arXiv:1902.07669, 2019.

[12] Original bert codes. https://github.com/ google-research/bert, Accessed on 2022/07/13

[13] Cloud computing services-google cloud. https:// cloud. google.com/., Accessed on 2022/12/29.

[14] W. J. Youden. Index for rating diagnostic tests. Cancer, pp. 32-35, 1950.

[15] B. Dolan and C. Brockett. Automatically constructing a corpus of sentential paraphrases. In Third International Workshop on Paraphrasing (IWP2005), 2005.

[16] I. Beltagy, K. Lo, and A. Cohan. Scibert: A pretrained language model for scientific text. arXiv preprint arXiv:1903.10676, 2019

[17] J. Lee, W. Yoon, S. Kim, D. Kim, S. Kim, C. So, and
J. Kang. Biobert: a pre-trained biomedical language representation model for biomedical text mining. Bioinformatics, Vol. 36, No. 4, pp. 1234-1240, 2020.

[18] Y. Gu, R. Tinn, H. Cheng, M. Lucas, N. Usuyama, X. Liu, T. Naumann, J. Gao, and H. Poon. Domain-specific language model pretraining for biomedical natural language processing. ACM Transactions on Computing for Healthcare (HEALTH), Vol. 3, No. 1, pp. 1-23, 2021.


# Wikipedia 協調フィルタリング法

竹内皓紀 ${ }^{1}$ 林克彦 ${ }^{2}$
1 群馬大学 2 北海道大学
${ }^{2}$ katsuhiko-h@ist.hokudai.ac.jp

## 概要

Wikipedia は様々な物事（ここでは「エンティ ティ」と呼ぶ）について質の高い記事が存在し, 多様な研究領域において利用されてきた。従来の研究 では，Wikipedia の概要文やハイパーリンクなどのコ ンテンツ情報を利用することが一般的であったが， Wikipedia のコンテンツ情報はユーザの主観を排し て編集されるため，評論やレビュー文とは異なり， エンティティに関する表層的な属性情報しか考慮す ることができない. この課題を解決するため, 本稿 では Wikipedia の編集者情報を利用した協調フィル タリング法を提案する。提案手法をエンティティ間 の類似度推定に利用し，推薦タスクで評価を行った 結果，その有効性を確認した。

## 1 はじめに

Wikipedia は誰でも編集できるオンライン百科事典であり，編集の容易さや編集人数の多さから様々 な物事（ここでは「エンティティ」と呼ぶ）につい て質の高い記事が存在する. そのため, Wikipedia から得た情報は様々な研究領域において利用され てきた。その中でも，エンティティ間の類似度推定 は，推薦，検索や自然言語処理など多くの応用先が あり，単語埋め込みなどの手法とも関係性がある研究課題である. エンティティ間の類似度を推定する 際には，まずエンティティの特徴量を抽出する必要 がある。その情報源として図 1 に示すような概要文 やハイパーリンクなどの Wikipedia のコンテンツ情報を活用することが一般的である $[1,2,3]$.

しかし, Wikipedia は百科事典であり，そのコン テンツに関しては「中立的な観点」を基本方針の 1 つとしている．「中立的な観点」とは，信頼できる 情報源を慎重に分析し，可能な限り編集上の偏向な く読者に伝えることを指す1)．そのため，Wikipedia

1) https://en.wikipedia.org/wiki/Wikipedia:

図 1: Wikipedia から取得できる各種情報. 画像は英語版 Wikipedia から引用.

のコンテンツ情報は，編集者の個人的な意見や嗜好 が反映されにくく, 表層的な属性情報に限られる。 よって，従来のコンテンツベースによるエンティ ティ類似度推定手法の欠点の 1 つとして，人間の埕好性などに内在するエンティティ間の複雑な類似性 を捉えることが本質的に難しい点が挙げられる。

一方，コンテンツベースとは異なる考え方とし て，協調フィルタリングと呼ばれる方法論があ る [4]. 協調フィルタリングはユーザの諾好情報で 推論を行う方法論であり，主に推薦に関する研究分野で発展してきた. 有名な応用例としては, Amazon の商品推薦，Netflix の動画推薦システムなどが知ら れている。このようなシステムを構築するにはユー ザの嗜好が含まれた購買履歴などのプロファイル情報を入手する必要があり，協調フィルタリングを適用できるドメインは一般に限られるが，商品や動画 などのエンティティ間に内在する複雑な類似性を捉 えることが可能となる.

このような背景から, 本研究では協調フィルタ

リングを参考にして，Wikipedia におけるエンティ ティ間の類似度を推定する新しい手法を提案する。図1で示すように, Wikipedia には各記事を誰が編集 したかという履歴が残されており，提案手法ではこ のような記事の編集者情報を利用する。編集者は一般に関心がある記事を編集するため，協調フィルタ リングの考え方から，同一編集者に編集された記事 に対応するエンティティ同士は類似すると仮定でき る.そのため，提案手法では，客観的な属性情報で は捉えることが難しかったエンティティ間の複雑な 類似性を推定できることが期待される.

本研究では推薦タスクを用いて提案手法の有効性 を検証した. 実験結果からは Wikipedia の概要文や ハイパーリンクに基づくコンテンツベースの手法に 対して, 編集者履歴を使った提案手法の有効性が確認されたのでこれを報告する.

## 2 関連研究

## 2.1 Wikipedia からの特徵量抽出

推薦・情報検索・自然言語処理分野において， Wikipedia から単語間や文書間の意味的な類似性 を捉えた特徴べクトルを学習することは重要な 課題である.このとき, Wikipedia のコンテンツ情報であるテキストやハイパーリンクに対して， Explicit semantic analysis (ESA) [2], Word2Vec [5], Wikipedia2Vec [1], BERT [6], 潜在的意味解析 [7] や Paragraph Vector [8] などのモデルやツールを利用し てベクトルを学習することが一般的となっている。

このような特徴べクトルの応用先の 1 つとして推薦タスクが考えられる。文献 [3] では, Wikipedia 記事のテキストを対象に文書べクトルを推定し，その 類似度を使って映画や書籍の推薦を実現している。 しかし，推薦のような応用先を考える場合，コンテ ンツ情報では人の嗜好性を捉えることが難しく，文献 [3] の手法では十分な推薦精度を達成できていな い. 本稿で提案する Wikipedia の編集者情報を利用 するアプローチは，このような従来手法の課題を解決できる可能性を秘めた新しい試みとなっている.

## 2.2 協調フィルタリングを用いた推薦

協調フィルタリングを用いた推薦手法として，行列分解による手法 [9] や，それを一般化させた深層学習による手法 [10] がある. しかし, 深層学習モデ ルの隠れ層を増加させても，推薦性能に大きな違い
が見られないという報告もある $[11,12,10,13,14]$.一方で，協調フィルタリングを用いた古典的な推薦法として，近傍探索に基づく手法 $[15,16]$ があり，現在でも商用のシステムで広く利用されている.

アイテムベースの近傍探索モデルではアイテム 間の類似度を推定する必要があり，近年では回帰に 基づく手法が主流である $[11,17]$. 特に EASE モデ ル [11]では，類似度行列の推定をリッジ回帰問題と して定式化する。これは閉形式で解を推定できるた め，最適化が容易であり，安定的に高い推薦性能を 実現できることが報告されている.

## 3 EASE による類似度推定

本稿ではエンティティ間の類似度を推定するため のモデルとして，EASE [11]を採用する。

$N$ 件の Wikipedia 記事 $\left(D_{1}, D_{2}, \cdots, D_{N}\right)$ が与えら れたとき， $D_{i}$ は $M$ 種類の素性 (特徴量)を基底 としたべクトル $\left[f_{i 1}, f_{i 2}, \cdots, f_{i M}\right]^{\mathrm{T}}$ として表せる (Wikipedia 記事はエンティティに対応する).こ れは Wikipedia 記事 $D_{i}$ に素性 $w_{j}$ が出現すれば， $f_{i j}=1$, 出現しなければ， $f_{i j}=0$ となるべクトルと する2).このような $N$ 個のべクトルを行に並べた Wikipedia 記事行列:

$
\mathbf{F}=\left(\begin{array}{cccc}
f_{11} & f_{12} & \cdots & f_{1 M} \\
f_{21} & f_{22} & \cdots & f_{2 M} \\
\vdots & \vdots & \ddots & \vdots \\
f_{N 1} & f_{N 2} & \cdots & f_{N M}
\end{array}\right) \in\{0,1\}^{N \times M}
$

を定義する. Wikipedia 記事の素性としては，概要文に含まれる 1-gram 2 -gram，ハイパーリンク，編集者履歴などを利用することができる.

EASEによって類似度行列を推定する場合， Wikipedia 記事 $D_{i}$ に素性 $w_{j}$ が出現することを回帰 で予測する問題として定式化する。回帰で用いる説明変数として，素性 $w_{j}$ を除いた残りの $M-1$ 個の 素性を用いることを考える。これを行列形式で定義 すると以下のようになる。

$
\begin{aligned}
& \widehat{\mathbf{B}}=\underset{\mathbf{B}}{\arg \min }\left.\{\|\mathbf{F}-\mathbf{F B}\|_{F}^{2}+\lambda\|\mathbf{B}\|_{F}^{2}\right.\} \\
& \text { s.t. } \operatorname{diag}(\mathbf{B})=\mathbf{0} .
\end{aligned}
$

これは L2 正則化付きの二乗誤差を最小化すること で，行列 $\mathbf{F}$ を自己復元する重み表現 $\mathbf{B}$ を獲得するこ とが目的となる．ただし， $\mathbf{B}=\mathbf{I}$ とすれ゙，自明な形
$ には Wikipedia 記事 $D_{i}$ 中に素性 $w_{j}$ が出現した回数を
}考えることもできる。
表 1: データセットの統計情報: 各特徵量の種類数.

で式 (1)の最小化が達成されてしまうため, 制約条件として $\operatorname{diag}(\mathbf{B})=\mathbf{0}$ を課している。これは $\mathbf{B}$ の対角成分を全て 0 とすることを意味する.

式 (1) はラグランジュの未定乗数法により,

$
\|\mathbf{F}-\mathbf{F B}\|_{F}^{2}+\lambda\|\mathbf{B}\|_{F}^{2}+2 \boldsymbol{\alpha}^{\mathrm{T}} \operatorname{diag}(\mathbf{B})
$

を最小化する問題に帰着される。ここで $\alpha$ はラグラ ンジュ乗数のべクトルを表す。そして，この解は下記のような閉形式を持ち，

$
\widehat{\mathbf{B}}=\mathbf{I}-\mathbf{P} \text { mat }(\mathbf{1} \oslash \operatorname{diag}(\mathbf{P}))
$

$\mathbf{P}=\left(\mathbf{F}^{\mathrm{T}} \mathbf{F}+\lambda \mathbf{I}\right)^{-1}$ であり，各要素は

$
\widehat{\mathbf{B}}_{j k}= \begin{cases}0 & (j=k) \\ -\frac{\mathbf{P}_{j k}}{\mathbf{P}_{k k}} & (j \neq k)\end{cases}
$

として推定できる。、 $\widehat{\mathbf{B}}$ は Wikipedia 記事間の類似度行列として用いることができる.

## 4 実験

## 4.1 評価用データセットの整備

実験ではデータセットとして MovieLens-20M $\left(\right.$ ML-20M) ${ }^{3)}$ ，Last.fm hetrec-2011 (Last.fm) [18] と LibraryThing $(\mathrm{LT})^{4)}$ を用いた. それぞれ，映画，音楽アーティストと書籍のドメインに関する推薦評価用データセットであり，ユーザの評価値を 2 値とし て扱っている.また，エンティティと Wikipedia 記事の対応付けについて，ML-20M は映画タイトルと 編集距離が近いタイトルの Wikipedia 記事を用いた. Last.fm と LT については，エンティティと Wikipedia 記事の対応付けデータ $[19,20]$ を参考にした。

各推薦データのエンティティ（映画，音楽アー ティストや書籍）に対応付けた Wikipedia 記事から，英語 Wikipedia の編集者，多言語 Wikipedia の編集者，概要文，ハイパーリンクとカテゴリに関する情

3) https://grouplens.org/datasets/movielens/20m/

4) https://github.com/sisinflab/LinkedDatasets

図 2: 多言語 Wikipedia の記事数 (上位 25 力国).

報を取得した。ユーザ数や編集者数，語彙数などの 統計情報は表 1 に示す.また，図 2 には ML-20M， Last.fm と LT に対して，記事数が多い上位 25 力国の 記事数を示した. 英語版 Wikipedia については全エ ンティティに対する記事が存在する。

## 4.2 推薦による評価

本実験では推薦データに内在するユーザの嗜好性 を Wikipedia 情報からどの程度捉えることができる のか調査する，具体的には，Wikipedia 情報から推定したエンティティの類似度行列を用いて推薦タス クの性能評価を行う．よって，以下ではまず，推薦 タスクの手順について説明する。

評価手順推薦による評価を行うには，まず以下 3 つのデータが必要となる.

・訓練用データ

・評価用履歴データ

・評価用解答データ

訓練用データはエンティティの類似度行列 $\widehat{\mathbf{B}} \in \mathbb{R}^{N \times N}$ を推定するのに利用するデータである.本実験では，Wikipedia から抽出した情報を訓練用 データとして扱う。

評価用履歴データは推薦データに含まれるユー ザの過去の埕好プロファイル情報である. 評価用解答データは, 評価用履歴データと同じユーザに 対する嗜好プロファイル情報であるが，それぞれ のデータにおいて，あるユーザ $u$ が関心を持った エンティティに重なりはないように分割されてい る. ML-20M，Last.fm と LT の各推薦データに対し て，ユーザをランダムに 5 分割し，各分割のユーザ に対して，評価用履歴データと評価用解答データを 大凡 $80 \%$ と $20 \%$ の割合で分割した.

評価用データについて，推薦タスクにおける具体的な役割を説明する。評価用履歴データに含まれる

図 3: ML-20，Last.fm と LT における 5 分割した各結果の推薦性能に対する平均と標準偏差.

ユーザ $u$ の履歴情報は $\mathbf{x} \in\{0,1\}^{N}$ というエンティ ティ数 $N$ 次元のベクトルで表され，このべクトルは $u$ が過去に関心を持ったエンティティに対応する次元の要素が 1 となり，それ以外は 0 となる. 推薦は このユーザ $u$ が関心を持つ可能性のあるエンティ ティを予測するタスクである。この予測は $\mathbf{x}^{\mathrm{T}} \widehat{\mathbf{B}}$ で計算され，その結果はユーザ $u$ の各エンティティに対 するスコア（関心）を表す。そして，このスコアの 高いエンティティが評価用解答データに含まれてい れば良い推薦として評価される。

評価指標 本実験では Recall@ $R$ とDCG@ $R$ と いう2つの評価指標を用いて，推薦性能を評価する。 $R$ とは推薦したエンティティの数を表す. また，本稿では $\omega(r)$ を $R$ 個中の上位 $r$ 番目のエンティティ，

として定義する。これらをふまえて，あるユーザ $u$ に対する Recall@Rは以下のように定義される.

$
\text { Recall@ } R:=\sum_{r=1}^{R} \frac{\square\left[\omega(r) \in \mathscr{I}_{u}\right]}{\min \left(R,\left|\mathscr{F}_{u}\right|\right)}
$

また，DCG@Rは以下のように定義される.

$
\mathrm{DCG} @ R:=\sum_{r=1}^{R} \frac{2^{\left[\left[\omega(r) \in \mathcal{F}_{u}\right]\right.}-1}{\log (r+1)} .
$

NDCG@R は，推定したDCG@RをDCG@R の理想值で割ることにより計算される. これらの詳細は文献 [10] などを参照されたい.

性能評価 結果を図 3 に示す。これらは 5 分割し た各結果の推薦性能に対する平均と標準偏差を示し ている. Wikipedia のコンテンツ情報と編集者情報 を比較すると ML-20M，Last.fm と LT の各データに おいて，すべての評価指標で編集者情報を用いたシ ステムの方が高い性能を示している。分析 Wikipedia 情報で推定した類似度行列に対 する事例分析を行うことで，提案手法がコンテンツ 情報を用いる従来法よりも優れた推薦性能を達成 できた要因を探る．ML-20M の Fight Club という映画に対して，各情報から推定した類似度が高い上位 10 映画を抽出し，定性的分析を行った. コンテン ツ情報から推定した類似度上位 10 映画について， ハイパーリンクは Fight Club と同監督の映画を多く 挙げていた。一方で，編集者情報から推定した類似度上位 10 映画においては，Pulp Fiction や Memento （film）など，Fight Club と人の嗜好性に基づく関係性のある映画が挙げられた。つまり，従来法では属性情報を捉えているのに対し，提案手法では嗜好情報を捉えており，こうした違いが推薦性能の差に現 れたのだと考えられる。詳細は付録 Aに付す。

## 5 まとめ

本稿では，Wikipedia の編集者情報を利用した協調フィルタリング法を提案し，エンティティの類似度推定に応用した. 従来の概要文やハイパーリンク などのコンテンツ情報を利用した推定手法とは異な り，提案法はユーザの嗜好性を反映した類似度の推定が可能になると期待され，実際に，映画，音楽と 書籍ドメインの推薦データを用いた評価実験から提案法の有効性を確認することができた.

今後は，推薦以外のタスクへの応用も検討し，提案法の有効性をさらに検証したい. その際，類似度 としての活用ではなく, Wikipedia 記事行列の行列分解などを用いて，エンティティの低次元ベクトル 表現を構築することで，より応用性の高い形式で結果を活用することも検討したい.

## 謝辞

本研究は JSPS 科研費 JP 21H03491 の助成を受 けた.

## 参考文献

[1] Ikuya Yamada, Akari Asai, Jin Sakuma, Hiroyuki Shindo, Hideaki Takeda, Yoshiyasu Takefuji, and Yuji Matsumoto. Wikipedia2vec: An efficient toolkit for learning and visualizing the embeddings of words and entities from wikipedia. arXiv preprint arXiv:1812.06280, 2018.

[2] Evgeniy Gabrilovich and Shaul Markovitch. Computing semantic relatedness using wikipedia-based explicit semantic analysis. In Proc. of IJCAI, pp. 1606-1611, 2007.

[3] Cataldo Musto, Giovanni Semeraro, Marco de Gemmis, and Pasquale Lops. Learning word embeddings from wikipedia for content-based recommender systems. In Proc. of ECIR, pp. 729-734, 2016.

[4] David Goldberg, David Nichols, Brian M Oki, and Douglas Terry. Using collaborative filtering to weave an information tapestry. Communications of the ACM, Vol. 35, No. 12, pp. 61-70, 1992.

[5] Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg S Corrado, and Jeff Dean. Distributed representations of words and phrases and their compositionality. In Proc. of NIPS Conference, 2013.

[6] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018.

[7] Scott Deerwester, Susan T Dumais, George W Furnas, Thomas K Landauer, and Richard Harshman. Indexing by latent semantic analysis. Journal of the American society for information science, Vol. 41, No. 6 , pp. 391-407, 1990.

[8] Quoc Le and Tomas Mikolov. Distributed representations of sentences and documents. In Proc. of ICML, pp. 11881196, 2014.

[9] Badrul Sarwar, George Karypis, Joseph Konstan, and John Riedl. Application of dimensionality reduction in recommender system-a case study. Technical report, 2000.

[10] Dawen Liang, Rahul G Krishnan, Matthew D Hoffman, and Tony Jebara. Variational autoencoders for collaborative filtering. In Proc. of WWW Conference, pp. 689698,2018 .

[11] Harald Steck. Embarrassingly shallow autoencoders for sparse data. In Proc. of WWW Conference, pp. 32513257, 2019.

[12] Xiangnan He, Lizi Liao, Hanwang Zhang, Liqiang Nie, $\mathrm{Xia} \mathrm{Hu}$, and Tat-Seng Chua. Neural collaborative filtering. In Proc. of WWW Conference, pp. 173-182, 2017.

[13] Suvash Sedhain, Aditya Krishna Menon, Scott Sanner, and Lexing Xie. Autorec: Autoencoders meet collaborative filtering. In Proc. of WWW Conference, pp. 111-112, 2015.

[14] Yin Zheng, Bangsheng Tang, Wenkui Ding, and Hanning Zhou. A neural autoregressive approach to collaborative filtering. In Proc. of ICML, pp. 764-773, 2016.

[15] Badrul Sarwar, George Karypis, Joseph Konstan, and John Riedl. Item-based collaborative filtering recommendation algorithms. In Proc. of WWW Conference, pp. 285-295, 2001.

[16] Katsuhiko Hayashi. Rethinking correlation-based itemitem similarities for recommender systems. In Proc. of SIGIR Conference, pp. 2287-2291, 2022.

[17] Xia Ning and George Karypis. Slim: Sparse linear methods for top-n recommender systems. In Proc. of ICDM, pp. 497-506, 2011.

[18] Iván Cantador, Peter Brusilovsky, and Tsvi Kuflik. Second workshop on information heterogeneity and fusion in recommender systems (hetrec2011). In Proc. of RecSys Conference, pp. 387-388, 2011.

[19] Ignacio Fernández-Tobías, Paolo Tomeo, Iván Cantador, Tommaso Di Noia, and Eugenio Di Sciascio. Accuracy and diversity in cross-domain recommendations for cold-start users with positive-only feedback. In Proc. of RecSys Conference, pp. 119-122, 2016.

[20] Tommaso Di Noia, Vito Claudio Ostuni, Paolo Tomeo, and Eugenio Di Sciascio. Sprank: Semantic path-based ranking for top-n recommendations using linked open data. ACM Transactions on Intelligent Systems and Technology (TIST), Vol. 8, No. 1, pp. 1-34, 2016.

## A 参考情報

表 2: ML-20M に登録されている映画 Fight Club と類似度 が高い上位 10 映画: 下線は Fight Clubと同監督の映画を，太字は Fight Club と嗜好性に基づく関係性が ある映画を表す。

## Fight Club

 \\

表 2 には, Wikipedia 情報で推定した類似度行列に対する事例分析の結果を記す。具体的には， ML-20M に登録されている Fight Club という映画に 対して，各情報から推定した類似度が高い上位 10 映画を示した。下線は Fight Clubと同監督の映画を，太字は Figth Club と嗜好性に基づく関係性があると 思われる映画を表す。この結果から，コンテンツ情報を用いる従来法は表層的な属性情報を，提案手法 は人の嗜好性を捉えていることがわかる.


# 複数の質問形式を利用した分類型の 質問応答による薬物タンパク質間関係抽出

山田晃士 三輪誠 佐々木裕
豊田工業大学
\{sd22439, makoto-miwa, yutaka.sasaki\}@toyota-ti.ac.jp

## 概要

近年，質問応答による関係抽出手法が提案され，高い性能を達成している。しかし，質問文は人手で 作った固定のものが使われており，質問文の表現が 抽出結果に与える影響は明らかでない。また，一般分野以外のタスクへの有効性は未知数である。加え て，質問応答モデルは関係抽出を考慮して設計され ていない. 本研究では，質問応答を用いた関係抽出手法の薬物タンパク質間関係抽出への適用を目指 し，有効な質問形式の調査と，関係抽出に合わせた 質問応答モデルの提案を行う. DrugProt データセッ トを用いて評価を行い，質問文の形式の関係抽出の 性能への影響と薬物タンパク質間関係抽出における 質問応答の有効性を確認した。

## 1 はじめに

近年，関係抽出に対して質問応答を用いる手法 $[1,2,3]$ が高い性能を示している. 質問応答を用い た関係抽出手法では，まず，候補となるすべての関係ラベルに対して質問文テンプレートを作成し，そ こに関係抽出の対象とする用語ぺアの片方を当ては めることで質問文を作成する。作成した質問文と用語ペアを含む元の文で質問応答を行い，回答がテン プレートに当てはめていない用語であった場合にテ ンプレートが持つ関係が存在するとして関係抽出を 行う. 質問応答を利用した関係抽出手法は，質問文 の表現を調整することで 1 つ関係を複数の視点か ら抽出することができるという利点がある.

一方で，従来手法は人手で作成した固定したテン プレートを利用しており，質問文の表現の違いが関係抽出の結果にどのような影響を与えるのかは明ら かにされていない．また，質問応答を用いた関係抽出手法は一般ドメインのデータセットを対象として おり，薬学分野などの専門性の高いドメインに対す
る有効性は検証されていない，加えて，質問応答モ デルが関係抽出のために設計されていないという問題点もある.

そこで，本研究では，質問応答による関係抽出手法の薬物タンパク質への適用を目的として，薬物タ ンパク質間関係抽出のデータセットである DrugProt データセット [4] に対して 2 種類の質問文テンプ レートのセットを作成し，質問文の形式の違いが関係抽出の結果に与える影響について調査を行う。ま た，質問応答を用いた関係抽出において，関係の有無を決定づけるテンプレートに含まれていない用語 が回答かどうかを直接二值分類により判定する，関係抽出に特化した分類型の質問応答モデルを提案す る. 本研究の貢献は以下の通りである.

・薬物タンパク質間関係抽出に対して質問応答を 用いた手法を適用し，有効性を確認した。

・質問文の形式が関係抽出の性能へ影響を与える ことを確認した。
- 関係抽出への利用に特化した分類型の質問応答 モデルを提案した.

## 2 関連研究

## 2.1 双方向の質問応答による関係抽出

Cohen らは，関係の始点と終点の用語をそれぞれ 含む 2 つの質問文を用いて，双方向の質問応答を行 うことで関係抽出を行う手法 [1] を提案している. まず，候補となるそれぞれの関係ラベルに対して，関係の始点の用語を当てはめて終点を回答する質問文のテンプレートと，終点の用語を当てはめて始点 を回答するテンプレートの 2 種類を作成する. テン プレートから作成した 2 つの質問文を用いてそれぞ れ質問応答を行い，片方でも回答が質問文に当ては めていない方の用語であった場合にテンプレートが 持つ関係があると判定する。これを全ての関係ラべ

図 12 值分類による質問応答モデル

ルに対して繰り返すことで関係抽出を行っている。

## 2.2 関係抽出に適した質問応答

著者らは，質問応答を用いた関係抽出を行う際 に，関係抽出タスクで与えられる情報を利用して質問応答を行う手法 [5] を提案した。 入力文と質問文 に含まれる用語の前後と，質問文の回答に対応する 疑問詞の前後にデータセットで与えられる用語の情報をマーカーとして挿大することで，関係抽出タス クで与えられる情報を利用した質問応答を行った。 マーカーを用いて挿入する情報として，データセッ トで与えられる関係の項のタイプを利用することで 関係抽出性能が向上することを報告した。

## 3 提案手法

本研究では，質問応答を用いた関係抽出を薬物夕 ンパク質間関係抽出に適用する際の有効な質問形式 の調査と, 関係抽出に適した質問応答モデルの提案 を目的とする． 3.1 節では質問応答を用いた関係抽出を薬物タンパク質間に適用し, 質問文の表現によ る関係抽出の性能への影響について調査する際に必要な質問テンプレートの作成について，3.2 節では 関係抽出に適した質問応答モデルについてそれぞれ 説明する。

## 3.1 質問文テンプレートの作成

質問応答を用いた関係抽出手法を薬物タンパク質間関係抽出に適用するため, 本研究で学習・評価に 用いる DrugProt データセット [4] に含まれるすべて の関係ラベルに対して質問文テンプレートを作成し た. 2.1 節で説明した双方向の質問応答による関係抽出を行うため，それぞれの関係ラベルに対して薬物を当てはめてタンパク質を答える質問とタンパク質を当てはめて薬物を答える質問の 2 種類を作成 した。また，質問文の形式が関係抽出の性能に影響 を与えるかどうかを調査するため，2つ目の質問文 テンプレートセットとして，質問文の形を統一した ものも作成した. 13 種類ある関係ラベルに対して 双方向の質問応答をするため，1つの質問文テンプ レートセットは 26 個の質問文テンプレートを持つ.質問文テンプレートはいずれもデータセットのアノ テーションガイドライン [6] を参考に作成した. 作成した 2 つ質問文テンプレートセットは付録 A に 示した.

## 3.2 分類型の質問応答モデル

従来の質問応答モデルをそのまま用いる関係抽出 では質問の回答と用語の一致を確認するが，関係抽出では質問の回答が関係抽出の対象の用語であるか どうかを判別できればよい，そこで，本研究では，図 1 に示すような質問文に含まれない用語のスパン 表現からその用語が質問の回答であるかどうかを判別する 2 值分類モデルを利用した，分類型の質問応答モデルを提案する。

まず，BERT (Bidirectional Encoder Representations from Transformers) [7] エンコーダを利用して質問文 と入力文の各トークンの表現ベクトルを得る.ここ で，質問文と入力文を入力する際は，2.2 節で説明 した手法を用いて，関係抽出を行う対象の薬物タン パク質の用語ペアの前後と回答に対応する疑問詞 の前後に用語のタイプをマーカーとして挿入する. BERT の SEP トークンを利用して連結した質問文と 入力文 $S=\left.\{w_{1}, w_{2}, \cdots\right.\}$ を BERT エンコーダに入力 し，各トークンの表現 $\mathbf{h}_{i}$ を得る。

$
\left.\{\mathbf{h}_{1}, \mathbf{h}_{2} \cdots\right.\}=\operatorname{BERT}\left(w_{1}, w_{2}, \cdots\right)
$

得られた表現ベクトルのうち，回答候補の用語のス
表 12 種類の質問文セットと比較手法の F 値 $(\%)$

パンに含まれるトークンの表現から，スパンの表現 ベクトルを作成する. ここで， $s$ と $e$ はそれぞれ用語のスパンの開始位置と終了位置を， $\mathbf{h}_{s p a n}$ は用語 のスパンの表現ベクトルを表す.

$
\begin{array}{r}
\mathbf{h}_{m}=\operatorname{mean}\left(\mathbf{h}_{s}, \cdots, \mathbf{h}_{e}\right) \\
\mathbf{h}_{\text {span }}=\operatorname{Concat}\left(\mathbf{h}_{s}, \mathbf{h}_{m}, \mathbf{h}_{e}\right)
\end{array}
$

作成したスパンの表現ベクトルに全結合層と Sigmoid 関数を適用することで，その用語が質問の 回答である確率を得る.

$
p_{\text {span }}=\operatorname{Sigmoid}\left(W_{\text {span }} \mathbf{h}_{\text {span }}+\mathbf{b}_{\text {span }}\right)
$

得られた確率が閾値より大きい時，その用語が回答であるとし, 双方向の質問応答に対して片方でも 回答が対象の用語であれば，テンプレートが持つ関係があると判定する。これをすべての関係に対して 繰り返すことで関係抽出を行う. また，複数の関係 に対して回答が用語である確率が閾値より大きい 時，その用語ペアに複数の関係ラベルがあるとし て，マルチラベルな予測を行う。

## 4 実験設定

## 4.1 データセット

薬物タンパク質間関係抽出のデータセットとし て, DrugProt データセット [4]を用いて学習および 開発データでの評価を行った。このデータセットは 薬物及びタンパク質を含む薬学文献のアブストラク
トで構成され，薬物・タンパク質間には 13 種類の 関係が設定されている。また，関係を持たない薬物 とタンパク質のペアも存在する。評価指標にはマイ クロ $\mathrm{F}$ 値を用いる.

## 4.2 実験環境

実装にはプログラミング言語 Python 3.7.11を用 いた. また, 深層学習ライブラリとして PyTorch 1.10.0 [8] を, 事前学習モデル利用のため Transformers 4.18 .0 [9] を使用した. 計算機には CPU に $\operatorname{Intel}(\mathrm{R})$ Xeon(R) W-3225 及び Intel(R) Xeon(R) CPU E5-2698 v4 を，GPU に NVIDIA RTX A6000 及び NVIDIA Tesla V100-DGXS-32GB を用いた。

## 4.3 比較手法

作成した 2 種類のテンプレートセット（テン プレートセット1（TS1）,テンプレートセット 2 （TS2）を用いて，それぞれモデルの学習を行い $\mathrm{F}$ 値の比較を行った.また，質問文の代わりに関係固有のマーカーと用語を利用した場合（マー カー）との比較を行った. これは，図 1 を例とする と, “What decreases the activity of MAO-A?" という質問文の代わりに，調べたい関係ラベル INHIBITOR 固有のマーカーを用いた “<INHIBTOR> MAO-A?" を使用して学習・評価を行ったものである. 加え て，質問応答を用いたモデルの有効性を調査す るため，BERT の CLS トークンを用いて文分類を 行ったモデル（文分類）をベースラインとして比
表 2 テンプレートセットによって関係抽出の予測結果が異なる事例（文中の太字が薬物，下線がタンパク質）

較を行ういいずれの手法も，事前学習モデルとし て大規模な生物医学文献を用いて事前学習された PubMedBERT-base-uncased-abstract-fulltext [10]を用い た.また，最適化手法として Adam [11]を用いてお り，学習率は 3e-6 に設定した. また, 3.2 節で説明 した質問応答モデルにおける閾値は 0.7 とした.

## 5 結果と考察

## 5.1 関係抽出性能の比較

作成した質問文テンプレートを用いた場合と比較手法それぞれについて， $\mathrm{F}$ 値を比較した結果を表 1 に示す. TS1 と 2 は作成した 2 種類のテンプレート セット 1 と 2 を用いた際の結果，マーカーは質問文 の代わりに関係固有のマーカーを用いた結果，文分類は BERT の CLS トークンを用いて文分類として 関係抽出を行った結果である。

ベースラインである文分類による関係抽出に対 して，質問応答形式で関係抽出を行ったテンプレー トセット 1，2，マーカーの 3 つと比較すると，訓練事例数の少ない関係クラスのうち, AGONISTACTIVATOR と AGONSIT-INHIBITOR において, 予測性能の向上が見られた。また，マイクロ平均につ いても最大で $1.0 \%$ ポイントの向上が見られた.こ のことから，質問応答を利用した関係抽出手法は，薬物タンパク質間関係抽出においても有効であるこ とがわかった。

次に，テンプレートセット $1 ， 2$ とマーカーの質問応答を用いた 3 つの手法で比較すると，各関係 クラスで $\mathrm{F}$ 値が変化していることがわかるため,質問文の表現が関係抽出性能に影響しているこ とがわかる. また, INDIRECT-UPREGULATOR と PRODUCT-OF の 2 つのクラスでは質問文の代わり にマーカーを用いた手法が，テンプレートセットを 用いた他 2 つの手法と比較して, 高い $\mathrm{F}$ 值が見ら れた.

## 5.2 解析

質問文の表現の違いが関係抽出の結果に影響を 与えることを抽出結果が変化した事例で確認する。表 2 は正解ラベルを予測するための 2 種類の質問文テンプレートセットに対して，片方のテンプレー トセットを使用した場合にのみが正しく関係ラべ ルを予測できている事例を示したものである. テン プレートセットはそれぞれ上が薬物を当てはめる 質問，下がタンパク質を当てはめる質問になってお り, DRUG と PROTEIN を文中の薬物とタンパク質 の用語に置き換えて質問文を作成する。

片方のテンプレートセットのみが正解した事例は どちらも，正解したテンプレートセットでは 2 つの 質問の両方で正しく答えられている一方で, 間違っ ている方のテンプレートセットの 2 つ質問の両方に 対して間違った予測をしている.このことから, 同 じ関係クラスを予測するための質問文であっても表現を変えることで大きく抽出結果が変わってしまう ことあることがわかる.

## 6 おわりに

本研究では, 質問応答を用いた関係抽出手法 の薬物タンパク質間関係抽出への適用を目的に, DrugProt データセットに対して 2 種類の質問文テン プレートのセットの作成による有効な質問形式の調査と，質問の回答が用語であるかを判定する 2 值分類モデルによる関係抽出に特化した分類型の質問応答の提案を行った. DrugProt データセットにおける 評価から，質問文の形式が関係抽出の性能に影響す ること，薬物タンパク質間関係抽出においても質問応答を用いた手法が有効であることを示した.

今後は質問応答を用いた関係抽出手法に対して有効な質問形式や組み合わせの調査を行い，1つの関係クラスを複数の視点から抽出可能な手法の実現を 目指す。

## 謝辞

本研究は JSPS 科研費 JP20K11962 の助成を受けた ものです.

## 参考文献

[1] Amir DN Cohen, Shachar Rosenman, and Yoav Goldberg. Relation classification as two-way span-prediction. arXiv preprint arXiv:2010.04829v2, 2021.

[2] Xiaoya Li, Fan Yin, Zijun Sun, Xiayu Li, Arianna Yuan, Duo Chai, Mingxin Zhou, and Jiwei Li. Entity-relation extraction as multi-turn question answering. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 1340-1350, Florence, Italy, July 2019. Association for Computational Linguistics.

[3] Omer Levy, Minjoon Seo, Eunsol Choi, and Luke Zettlemoyer. Zero-shot relation extraction via reading comprehension. In Proceedings of the 21st Conference on Computational Natural Language Learning (CoNLL 2017), pp. 333-342, Vancouver, Canada, August 2017. Association for Computational Linguistics.

[4] Martin Krallinger, Obdulia Rabal, Antonio MirandaEscalada, and Alfonso Valencia. DrugProt corpus: Biocreative VII Track 1 - Text mining drug and chemical-protein interactions, June 2021

[5] 山田晃士, 三輪誠, 佐々木裕. 項の表現に着目した質問応答による関係分類. 言語処理学会第 28 回年次大会, 2022 .

[6] Obdulia Rabal, Jose Antonio López, Astrid Lagreid, and Martin Krallinger. DrugProt corpus relation annotation guidelines [ChemProt - Biocreative VI], June 2021.

[7] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[8] Adam Paszke, Sam Gross, Francisco Massa, Adam Lerer, James Bradbury, Gregory Chanan, Trevor Killeen, Zeming Lin, Natalia Gimelshein, Luca Antiga, et al. Pytorch: An imperative style, high-performance deep learning library. Advances in neural information processing systems, Vol. 32, pp. 8026-8037, 2019.

[9] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Rémi Louf, Morgan Funtowicz, et al. Huggingface's transformers: State-of-the-art natural language processing. arXiv preprint arXiv:1910.03771, 2019.

[10] Yu Gu, Robert Tinn, Hao Cheng, Michael Lucas, Naoto Usuyama, Xiaodong Liu, Tristan Naumann, Jianfeng Gao, and Hoifung Poon. Domain-specific language model pretraining for biomedical natural language processing. ACM Transactions on Computing for Healthcare, Vol. 3,
No. 1, p. 1-23, Jan 2022.

[11] Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In Yoshua Bengio and Yann LeCun, editors, 3rd International Conference on Learning Representations, ICLR 2015, San Diego, CA, USA, May 7-9, 2015, Conference Track Proceedings, 2015.

## A 作成した質問文テンプレート

本研究で作成した 2 つの質問文テンプレートセットを表 3 と 4 にそれぞれ示す.

表 3 作成した質問文テンプレート 1（上が薬物を当てはめる質問，下がタンパク質を当てはめる質問）関係 $\quad$ 質問文

 \\

表 4 作成した質問文テンプレート2（上が薬物を当てはめる質問，下がタンパク質を当てはめる質問）


# 二段階のファインチューニングを行った BERT による 変数定義抽出

山本蒔志 加藤祥太 加納学
京都大学大学院情報学研究科
\{shota, manabu\}@human.sys.i.kyoto-u.ac.jp

## 概要

製造プロセスのデジタルツインを実現するために は，物理モデルが必要である．しかし，物理モデル の構築には多大な労力を要するため, 我々はこの作業の自動化に取り組んでいる. 本研究ではその要素技術として化学プロセス関連論文からの変数定義の 抽出手法を提案する。提案手法は対象とする変数を 特殊トークンに置換した文を BERT に入力するこ とで文中の定義の位置を予測する．他分野のデータ セットと化学プロセス関連論文データセットを順に 用いて二段階のファインチューニングを行い，変数定義抽出モデルを構築した. 提案手法を適用するこ とで，沼本ら [1] の特徴量を用いた手法よりも高い 性能を実現し，正解率 $85.6 \%$ 達成した。

## 1 はじめに

化学や鉄鋼などの製造プロセスにおいて，物理モ デルが活用されている. 物理モデルは数式に基づい て設計され，実プラントでは計測できない状態量や プラントの将来の挙動を予測し, 生産効率の改善や 装置設計，制御系設計，運転条件の最適化などを行 うのに活用される. 多くの場合, 物理モデル構築に は，専門知識に加えて膨大な量の文献調査とモデル 構築に必要な情報の抽出・統合が必要である. しか し，複数の文献の内容を精査しその関連性を把握す るには，非常に多くの時間と労力がかかる. この負担を軽減するために，我々は複数の文献から情報を 抽出し，組み合わせ，物理モデルを自動構築する人工知能 (Automated physical model builder; AutoPMoB) の開発に取り組んでいる [2]. AutoPMoBを実現する には，文献に含まれる変数の定義を正確に抽出する 手法が必要であり，本研究はこの手法の開発に取り 組む。

本研究では定義抽出対象の変数を特殊トー
クンで置換した文を BERT（Bidirectional Encoder Representations from Transformers) [3] に入力して定義抽出を行う手法を提案する. 提案手法はシンプル であり実装が容易であるだけでなく，すべての変数 を統一的に扱うことができる．化学プロセスに関す る論文より作成したデータセットを用いて，既存手法と提案手法の性能を比較する。

## 2 関連研究

変数の定義抽出にはいくつかの先行研究が存在 し，変数の定義抽出のために複数の特徴量が提案さ れている. Lin らは変数と定義の距離，意味的な正 しさ，品詞の文法的な妥当さの 3 つを特徴量として 用い，複数の分類器をアンサンブルして定義を抽出 する手法を提案した [4]. 沼本らは Stanford Parser [5] を用いて定義の候補を抽出し，位置関係や定義らし さなどの特徵量をもとに，最も定義らしいと判断し た候補を抽出する手法を提案し，F1-Score で $41.2 \%$ を達成した [1]. しかし，いずれの手法も AutoPMoB の要素技術として性能が不十分である.

近年，BERT に代表される事前学習モデルが多く の自然言語処理タスクで最高の性能を達成してい る. Kang らは SciBERT [6] によって文から専門用語及びその定義を抽出する手法を提案した [7]. 彼ら が定義抽出対象とした専門用語には変数も含まれる が，変数の定義抽出を行う場合，一般的な専門用語 に比べ性能が低下することを報告している。

自然言語処理ワークショップ SemEval2022にて，変数と定義の対応付けタスクである Symlink が提案 された [8]. Symlink は，文中から変数と定義を抜き 出す固有表現抽出タスクと，抜き出した名詞句の 関連性を判別する関係抽出タスクの 2 つからなる. Symlink では Lee らが最も高い性能を達成した [9].彼らの手法は文の先頭に疑問文を追加した単語列を SciBERT に入力して質疑応答を行うことで変数と定
義を抽出した. 彼らは固有表現抽出では $47.61 \%$, 関係抽出では $37.19 \%$ の F1-Score を達成した。

本研究は 2 つの点で Symlink とは問題設定が異な る. 1 つ目は変数の抽出の有無である. Symlink で は文中のどこに変数があるかは未知という状況を想定し，変数の抽出もタスクに含めていた. 本研究で 対象とする変数はすべて既知とするが，Lee [9] らは 変数抽出タスクにおいて $99 \%$ 以上の recall を達成し ていたため，同じ手法でほぼ完璧に変数を抽出でき ると考えられる．2つ目は抽出対象の種類である。 Symlink では変数によって数量を指示された名詞句 や，定義の内容を補足する名詞句などの定義以外の 変数に関連する名詞句も予測の対象としていた. 本研究は定義のみを対象とする。

## 3 データセット

## 3.1 化学プロセス関連論文データセット

化学プロセスに関連する論文計 45 報の変数に 対して定義を付与したデータセット $D_{\text {Process }}$ を作成 した. ここで変数とは論文中に単独で現れる数学的記号のことであり，数式のみに現れる変数は対象外とする。 $D_{\text {Process }}$ は晶析プロセス [crystallization process; CRYST], 連続層型反応器 [continuous stirred tank reactor; CSTR], バイオディーゼル生産プロセス [biodiesel production process; BD]，チョクラルスキー プロセス [Czochralski process; CZ], 多管式熱交換器 [shell and tube heat exchanger; STHE] の 5 つのプロセ スいずれかに関するものである．各プロセスの論文数と変数の総数を表 1 に示す.

## 3.2 Symlink データセット

定義抽出は固有表現抽出に近いタスクであるが， Devlin らが固有表現抽出を行ったデータセットには 抽出の対象として約 20,000 の固有表現が含まれてい

表 $1 D_{\text {Process }}$ に含まれる論文数と変数の数

たのに対して [3]， $D_{\text {Process }}$ の抽出対象となる定義は 約 1,000 であり，ファインチューニングに必要なサ ンプル数として十分でない. そこで， $D_{\text {Process }}$ に追加 で Symlink データセット $\left(D_{\text {Symlink }}\right)$ に含まれる変数と 定義の関係を用いる [8]. $D_{\text {Symlink }}$ は情報科学, 生物学, 物理学, 数学, 経済学の 5 つの分野の合計 101 報の論文からなり， $D_{\text {Process }}$ の約 10 倍の 16,642 個の 変数を含む。

## 4 提案手法

## 4.1 BERT を用いた変数定義抽出手法

提案手法の概略図を図 1 に示す.まず定義抽出対象の変数を特殊トークン [target] で置換する. 同じ 変数が複数回登場する場合，そのすべてを [target] に置換する。次に置換した文を BERT に入力し，各 トークンが定義の開始位置である確率と終了位置で ある確率を得る。開始位置が終了位置と同じか，よ り前にあるという条件のもと，開始位置と終了位置 の確率の合計が最大となる箇所を探す。得られた開始位置から終了位置までの単語を定義として抽出 する。

論文中の変数は必ずしも定義が明記されていると は限らない。例えば，慣習により使用法が決まって いる $\pi$ などの変数は大抵の場合定義が明記されてい ない. 文脈から推測できる変数の定義も明記されな いことがある。例えば， $A_{i}$ について定義が与えられ た後に， $A_{i}$ に似た定義を有する変数 $A_{i+1}$ が登場し た場合，その定義は省略される. 定義がない変数に ついては，入力文の先頭 [CLS] トークンを抜き出す こととする. [CLS]トークンは定義にはなり得ない ため，負例の正解として代用できる.

## 4.2 二段階ファインチューニング

定義抽出を行う場合に， $D_{\text {Symlink }}$ 単独でファイン チューニングを行っても, $D_{\text {Process }}$ に含まれる定義を 正確に抽出できるモデルを構築できないと予想さ れる。変数定義は各分野ごとに多く用いられるパ ターンが存在するが， $D_{\text {Symlink }}$ と $D_{\text {Process }}$ は分野が異 りそのパターンも異なるためである。また $D_{\text {Symlink }}$ と $D_{\text {Process }}$ でアノテータが異なるため，どこまで詳細な内容を定義に含めるかが一致しない. さらに $D_{\text {Process }}$ のサンプル数はファインチューニングを行 うのに十分でない. 以上の問題点を解決するため, $D_{\text {Process }}$ と $D_{\text {Symlink }}$ の両方のデータセットを用いて二

抽出する定義

the velocity of air

図 1 提案手法の概略図

段階のファインチューニングを行うこととした. ま ず第一段階のファインチューニングにて $D_{\text {Symlink }}$ を 用い，定義抽出タスクを行うモデルを作成する. 次 に第二段階のファインチューニングにて $D_{\text {Process }}$ を 用い, $D_{\text {Process }}$ 中の定義のパターンにモデルを適応さ せる.

## 5 実験

## 5.1 前処理

$D_{\text {Process }}$ と違い $D_{\text {Symlink }}$ に含まれる文は $\mathrm{TeX}$ 形式 であり，変数の表記に $\$ \mathrm{X} \$$, $\$$ mathcal $\{\mathrm{x}\}$ \$ など マンドを含む。このようなコマンドは，BERTが事前学習で用いた Wikipedia と BookCorpus の文に登場 しないため，BERT のファインチューニングにおい てノイズとなる。そこで, pylatexenc [10]を用いて, TeX 形式の文をコマンドの含まれない Unicode 形式 に変換した。

## 5.2 実験設定

$D_{\text {Symlink }}$ を訓練用，検証用，テスト用に 8:1:1 に分割し，訓練用，検証用データのみをファインチュー ニングに用いた. ただし分割は各分野の文が等し い割合で含まれるように文単位で行った。また， $D_{\text {Process }}$ を論文単位で訓練用，検証用，テスト用に分割した. 沼本ら [1] と同じく $D_{\mathrm{STHE}}$ で 2 報, それ以外のデータセットで 3 報をテスト用とした. さらに 各プロセスにおいて 1 報を検証用とし，残りを全て 訓練用とした。

プティマイザには Adam [12]を，GPU には Google Colaboratory の Tesla T4を用いた. バッチサイズは GPU のメモリで利用可能な範囲で最大の 8 , 学習係数は Symlink タスクにおいて最高の性能を達成した モデルと同じく1e-5を選択した. ファインチュー ニングは 5 エポック行い，各エポックにて検証用 データに対するモデルの性能を確かめ，損失が最小 となったモデルを性能評価に用いた。

二段階ファインチューニングが定義抽出の性能に 与える影響を調べるため, 提案手法に追加で以下に 示す 2 つ方法で BERT のファインチューニングを 行いそれぞれの性能を確認した。
1. $D_{\text {Symlink }}$
のみでファインチューニング
2. $D_{\text {Process }}$ のみでファインチューニング

## 5.3 評価方法

データセットのアノテーションされた定義に対し て，モデルの予測した定義が完全に一致した場合を 正解とする基準（full）と予測した定義が一部でも一致すれば正解とする基準（partial）の 2 つの評価方法にてモデルの評価を行った. また 1 つの変数に複数の定義が存在する場合は，アノテーションされた 定義のうちのどれか 1 つを抜き出すことができれば 正解とした. 性能評価には $D_{\text {Process }}$ のテスト用デー タを用いた. 評価指標には正解率 (Acc.), 定義が存在する変数のうち正しく定義を抽出した変数の割合 (Rec.)，定義を抽出した変数のうち正しく定義を抽出した割合 (Pre.), Pre. と Rec. の調和平均 (F1)の 4 つを用いた. 実験は分割方法をランダムに変更しな がら 10 回行い，その平均の性能を比較した。

## 6 結果と考察

## 6.1 結果

提案手法，比較用の 2 つの方法, 沼本らの手法に よる定義抽出結果を表 2 に示す. 全ての評価指標に ついて二段階ファインチューニングを行った場合 が最高の性能となった. 特に沼本らの従来手法に比 べ，提案手法は各指標が 30 ポイント以上向上した.

## 6.2 二段階ファインチューニングの有効性

表 2 のように $D_{\text {Symlink }}$ のみでファインチューニン グを行ったモデルの full の性能が，他 2 つのモデ ルに比べて低くなった. 主に 2 つの原因が考えら れる.

1 つ目に, $D_{\text {Symlink }}$ に含まれる論文と $D_{\text {Process }}$ に含ま れる論文は分野が異なるため，変数を定義する文の パターンが異なる。例えば， $D_{\text {Process }}$ では “ $w_{c}$ is the mass flow rate of cold fluid $(\mathrm{kg} / \mathrm{sec})$.”のように，括弧の 中に単位を記入するパターンが頻繁に登場する。一方で $D_{\text {Symlink }}$ では，括弧が定義に含まれる例は 1 つ もない，単位が定義に出現する頻度が $D_{\text {Symlink }}$ では $D_{\text {Process }}$ に比べて少ないなど，他にもいくつか定義に 用いられるパターンに違いが見られるが，特に括弧 の用法の違いは顕著であった。

2 つ目に $D_{\text {Symlink }}$ と $D_{\text {Process }}$ では定義の長さが異な る. 図 2 に $D_{\text {Process }}$ と $D_{\text {Symlink }}$ の定義に含まれる単語数を示す. $D_{\text {Process }}$ の定義は $D_{\text {Symlink }}$ よりも長い傾向 にある. $D_{\text {Symlink }}$ では 1 単語または 2 単語の定義が $58 \%$ 占め, 10 単語以上の定義は $3 \%$ に過ぎない. そ れに対して， $D_{\text {Process }}$ では 1 単語または 2 単語の定義 は $10 \%$ のみであり, 10 単語以上の定義が $20 \% を$ 占 める. 実際， $D_{\text {Symlink }}$ のみでファインチューニングを 行ったモデルは正解の定義よりも短い名詞句を抽出 する傾向にあった.

図 $2 D_{\text {Process }}$ と $D_{\text {Symlink }}$ の定義に含まれる単語数の比較

## 6.3 full と partial の性能差

$D_{\text {Symlink }}$ のみでファインチューニングを行ったモ デルについて, full の F1-Score は $14.5 \%$ であった一方で，partial の F1-Score で $80.8 \%$ となった. full と partial の性能差が大きいことから，一段階目のファ インチューニングを行ったモデルは $D_{\text {Process }}$ の定義の正確な位置は予測できないものの， $D_{\text {Symlink }}$ と $D_{\text {Process }}$ の定義に共通する大まかな位置を学習でき たと考えられる. また，一段階目の大まかな学習に より， $D_{\text {Process }}$ のみでファインチューニングを行った モデルよりも高い性能を達成できたと考えられる。

## 7 おわりに

本研究では対象とする変数を特殊トークンに置換 した文を BERT に入力することで変数定義抽出を 行う手法を提案した，さらに，化学プロセス関連の データセットのサンプル数が不足するという問題を 解決するため，二段階のファインチューニングによ りモデルを構築した. 従来手法と提案手法を比較し た結果，提案手法は各指標において 30 ポイント以上従来手法を上回った.

## 謝辞

本研究は JSPS 科研費 JP21K18849 の助成を受けた ものです.

## 参考文献

[1] 沼本真幸, 加藤祥太, 加納学. 変数の記号と定義に関 する情報を活用した変数定義抽出手法. 言語処理学会年次大会発表論文集 (Web), Vol. 28th, pp. 486-491, 2022.

[2] Shota Kato and Manabu Kano. Towards an automated physical model builder: Cstr case study. In Yoshiyuki Yamashita and Manabu Kano, editors, 14th International Symposium on Process Systems Engineering, Vol. 49 of Computer Aided Chemical Engineering, pp. 1669-1674. Elsevier, 2022.

[3] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[4] Jason Lin, Xing Wang, Zelun Wang, Donald Beyette, and Jyh-Charn Liu. Prediction of mathematical ex-pression declarations based on spatial, semantic, and syntactic analysis. In Proceedings of the ACM Symposium on Document Engineering, pp. 1-10.

[5] Peng Qi, Yuhao Zhang, Yuhui Zhang, Jason Bolton, and Christopher D. Manning. Stanza: A python natural language processing toolkit for many human languages. CoRR, Vol. abs/2003.07082, , 2020.

[6] Iz Beltagy, Kyle Lo, and Arman Cohan. SciBERT: A pretrained language model for scientific text. In Proceedings of the $\mathbf{2 0 1 9}$ Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3615-3620, Hong Kong, China, November 2019. Association for Computational Linguistics.

[7] Dongyeop Kang, Andrew Head, Risham Sidhu, Kyle Lo, Daniel S Weld, and Marti A Hearst. Document-level definition detection in scholarly documents: Existing models, error analyses, and future directions. arXiv preprint arXiv:2010.05129, 2020

[8] Viet Lai, Amir Pouran Ben Veyseh, Franck Dernoncourt, and Thien Nguyen. Symlink: A new dataset for scientific symbol-description linking. arXiv preprint arXiv:2204.12070., 2022.

[9] Sung-Min Lee and Seung-Hoon Na. JBNU-CCLab at SemEval-2022 task 12: Machine reading comprehension and span pair classification for linking mathematical symbols to their descriptions. In Proceedings of the 16th International Workshop on Semantic Evaluation (SemEval-2022), pp. 1679-1686, Seattle, United States,
July 2022. Association for Computational Linguistics.

[10] Philippe Faist. pylatexenc, 2021. https://github.com/ phfaist/pylatexenc, version2.10.

[11] Pengcheng He, Jianfeng Gao, and Weizhu Chen. Debertav3: Improving deberta using electra-style pre-training with gradient-disentangled embedding sharing, 2021.

[12] Diederik P Kingma and Jimmy Ba. Adam: A method for stochastic optimization. arXiv preprint arXiv:1412.6980, 2014 .


# CRF に基づく形態素解析器のスコア計算の分割による モデルサイズと解析速度の調整

赤部晃一 ${ }^{1}$ 神田峻介 1 小田悠介 ${ }^{2}$
${ }^{1}$ LegalOn Technologies Research ${ }^{2}$ 東北大学 データ駆動科学・AI 教育研究センター
\{koichi.akabe, shunsuke.kanda\}@legalontech.jp
yusuke.oda.c1@tohoku.ac.jp

## 概要

CRF に基づく形態素解析器において，2-gram ス コアの持ち方を変更し，用途に応じてモデルサイズ と解析速度の調整を行うことを提案する。代表的な CRF に基づく形態素解析器では, CRF の 2-gram ス コアを事前に計算して連接表に記憶しておくことで 予測を効率的に行うが，素性の設計によってはスコ アの事前計算は連接表を肥大化させる. 本稿では， 2-gram スコアの計算の一部を予測時に行うことで，連接表の肥大化を抑制する．また，2-gram スコアの 計算を効率的に行うことで，予測時に追加的に生じ る計算時間を抑制する。

## 1 はじめに

形態素解析は, 日本語の自然言語処理における基礎技術であり，情報検索や機械学習の前処理として 利用される. 日本語における代表的な形態素解析器 としては, MeCab [1] や KyTea [2] が挙げられる. こ のうち, MeCab は Conditional Random Fields (CRFs) [3] を利用してパラメータを学習し, 入力文から形態素ラティスを生成し，単一のノードから得られる 素性と, 隣合う 2 つのノードに対応した素性を用 い，各素性のパラメータを最尤推定する。

素性は解析精度等を考慮して設計されるが，設計 によってはモデルサイズが肥大化する．公開されて いる学習済みモデルを比較すると，IPAdic [4] では 連接表のサイズが $1,316 \times 1,316$ であるが，現代書 き言葉 UniDic [5] (Ver. 3.1.0) は 15,626×15,388であ り，各スコアを 16-bit で表現すると，連接表だけで $459 \mathrm{MiB}$ となる. UniDic では，素性テンプレートの 見直しによってモデルサイズを軽量化する試みが行 われているが，依然として組み込み機器や Web フロ ントエンド等の資源が限られた環境で利用するには
モデルサイズが大きく，可搬性が低い.

本稿では，まず $\mathrm{CRF}$ に基づく形態素解析について 説明し，一部のスコア計算を解析時に行うことで， モデルのパラメータに手を加えずにモデルサイズを 軽量化することを提案する。また，解析時のスコア 計算を効率的に行う方法についても示す.

## 2 CRF に基づく形態素解析

## 2.1 定式化

CRF [3] はラティス上に定義される線形識別モデ ルであり，入力単語列を $\boldsymbol{x}$ ，ラベル列（品詞，読み 等）を $\boldsymbol{y}$ とし，確率を式 (1)でモデル化する。

$
P(\boldsymbol{y} \mid \boldsymbol{x})=\frac{\exp \left(\boldsymbol{w}^{\top} \boldsymbol{\phi}(\boldsymbol{x}, \boldsymbol{y})\right)}{\sum_{\boldsymbol{y}} \exp \left(\boldsymbol{w}^{\top} \boldsymbol{\phi}(\boldsymbol{x}, \boldsymbol{y})\right)}
$

ここで,$w$ は重みべクトルであり,$\phi(x, y)$ はラティ ス上の各パスに対応した素性ベクトルである．素性 ベクトルを，各ノードに与えられる 1-gram 素性べ クトル $\left(\phi_{1}\right)$ と，各エッジに与えられる 2-gram 素性 ベクトル $\left(\phi_{2}\right)$ に分ければ，式 (2) のように表すこと が可能である.

$
\boldsymbol{\phi}(\boldsymbol{x}, \boldsymbol{y})=\sum_{i} \phi_{1}\left(\boldsymbol{x}, y_{i}\right)+\sum_{i, j} \phi_{2}\left(\boldsymbol{x}, y_{i}, y_{j}\right)
$

ここで， $y_{i}, y_{j}$ は隣り合う 2 つのノードを表す. 1-gram 素性は辞書中の各エントリ $e_{i}$ に付随した情報のみ利用しており，文脈に依存する情報を利用 しない. すなわち, $\boldsymbol{\phi}_{1}\left(\boldsymbol{x}, y_{i}\right):=\boldsymbol{\phi}_{1}\left(e_{i}\right)$.このため,各エントリ $e_{i}$ の 1-gram 素性のスコア $\boldsymbol{w}^{\top} \boldsymbol{\phi}_{1}\left(e_{i}\right)$ は エントリごとに事前に計算しておけば良い。一方， 2-gram 素性には隣り合う 2 つのエントリの情報を 用いる. すなわち, $\boldsymbol{\phi}_{2}\left(\boldsymbol{x}, y_{i}, y_{j}\right):=\boldsymbol{\phi}_{2}\left(e_{i}, e_{j}\right)$. 単純 に辞書内のすべてのエントリの組 $\left(e_{i}, e_{j}\right)$ に対して $\boldsymbol{w}^{\top} \boldsymbol{\phi}_{2}\left(e_{i}, e_{j}\right)$ を事前計算することは，モデルを肥大化させて現実的でないため，実際には各エントリを
素性情報に基づいてグループ化し, グループのイン デックスを用いて 2-gram 素性のスコアを参照する。

## 2.2 素性テンプレート

素性ベクトルの生成には複数の素性テンプレー ト関数が利用される。これは, 辞書のエントリを引数とした関数であり，主に人手で設計される．素性 テンプレート関数は 1-gram 素性と 2-gram 素性の両方に対して定義されるが，ここでは 2-gram 素性の み着目する， $K$ 個の素性テンプレートを用いると， 2-gram 素性のスコアは式 (3)で表される.

$
\boldsymbol{w}^{\top} \boldsymbol{\phi}_{2}\left(e_{i}, e_{j}\right)=\sum_{k=1}^{K} \boldsymbol{w}^{\top} \boldsymbol{t}_{k}\left(e_{i}, e_{j}\right)
$

ここで， $\boldsymbol{t}_{k}$ は $k$ 番目の 2-gram 素性テンプレート関数である. 次に, 式 (4)のように, 左右のエントリ $e_{i}, e_{j}$ から事前に素性テンプレートに対応した情報 を取り出し，その組み合わせによって素性べクトル を生成することを考える。

$
\boldsymbol{t}_{k}\left(e_{i}, e_{j}\right)=\boldsymbol{f}\left(l_{k}\left(e_{i}\right), r_{k}\left(e_{j}\right)\right)
$

ここで, $l_{k}, r_{k}$ は，それぞれ左右のエントリから $k$ 番目の素性テンプレートに対応した素性 IDを取得す る関数, $f$ は, 左右の素性 ID の組に応じて素性べ クトルを返す関数である。

次に，各エントリから全ての素性テンプレートに 対応した素性 ID を配列形式で取得する関数 $\boldsymbol{l}, \boldsymbol{r}$ を 式 (5), (6)のように定義する.

$
\begin{aligned}
\boldsymbol{l}\left(e_{i}\right) & :=\left(l_{1}\left(e_{i}\right), l_{2}\left(e_{i}\right), \ldots, l_{K}\left(e_{i}\right)\right) \\
\boldsymbol{r}\left(e_{j}\right) & :=\left(r_{1}\left(e_{j}\right), r_{2}\left(e_{j}\right), \ldots, r_{K}\left(e_{j}\right)\right)
\end{aligned}
$

さらに，左右の素性 ID の組 $(l, r)$ に対応したスコ ア $m$ を式 (7)のように事前に計算する.

$
m(l, r):=\boldsymbol{w}^{\top} \boldsymbol{f}(l, r)
$

これらを用い，各エントリの組に対応した 2-gram 素性のスコアを式 (8) で計算する.

$
\boldsymbol{w}^{\top} \boldsymbol{\phi}_{2}\left(e_{i}, e_{j}\right)=\sum_{k=1}^{K} m\left(l_{k}\left(e_{i}\right), r_{k}\left(e_{j}\right)\right)
$

## 3 2-gram スコアの部分的事前計算

## 3.1 連接表の大きさ

$\mathrm{MeCab}$ では, 全ての $\boldsymbol{l}\left(e_{i}\right), \boldsymbol{r}\left(e_{j}\right)$ の組に対してス コアを事前に計算しておき，それらを連接表に格納 する。重みの学習時に L1 正則化を行えばスパース
なモデルが学習されるため, $\boldsymbol{l}\left(e_{i}\right), \boldsymbol{r}\left(e_{j}\right)$ は辞書中 の複数のエントリで共通したものとなり，連接表の サイズをある程度抑えることが可能である．例えば 現代書き言葉 UniDic では，辞書に登録されている 語彙数は 1,879,222 語であるが，連接表のサイズは $15,626 \times 15,388$ であり，複数のエントリで共通した 素性情報が参照されていることが確認できる。それ でもなお, UniDic は素性テンプレートが詳細に設計 されていることもあり，1 節でも述べたようにモデ ルが大きく可搬性が低い.

## 3.2 部分的事前計算

この問題への解決策として，全ての 2-gram スコ アを事前に計算しておくのではなく，連接表肥大化 の原因となる素性テンプレートの集合 $S$ を予め定 め，事前計算と解析時の計算に分割する. 具体的に は式 (9) でスコアを計算する。

$
\begin{aligned}
\boldsymbol{w}^{\top} \boldsymbol{\phi}_{2}\left(e_{i}, e_{j}\right) & =\sum_{k \notin S} m\left(l_{k}\left(e_{i}\right), r_{k}\left(e_{j}\right)\right) \\
& +\sum_{k \in S} m\left(l_{k}\left(e_{i}\right), r_{k}\left(e_{j}\right)\right)
\end{aligned}
$

ここで，第 1 項は事前に計算する項，第 2 項は解析時に計算する項である.

$S$ が大きいほど解析時に必要な計算が多くなるた め，モデルサイズを効果的に軽量化できる小さい $S$ を定める必要がある. 本研究では $S$ の選び方として 以下の手法を比較する。

Various 生成される素性の種類が多い素性テンプ レートを優先的に選択する。これは，品詞など 種類数の少ない情報よりも，読みなど種類数の 多い情報を含むほうがモデルが複雑化して連接表が大きくなりやすいのではないかという仮説 に基づく.

Greedy 連接表のサイズに大きく影響を与える素性テンプレートを 1 つずつ調べ，貪欲的に選択 していく.

Greedy-2 Greedyでは，相関の強い素性テンプレー 卜など，同時に選択しなければ連接表が軽量化 しない素性テンプレートが選択されない。そこ で，2つの素性テンプレートを同時に選択した 際の連接表のサイズ変化も考慮する。

## 4 ダブル配列を用いたスコア辞書

2-gram スコアを解析時に計算すると，解析速度が 低下すると考えられる．そこで，式 (9) の計算を効

率的に行うために, 関数 $m$ の引数から值へのマッピ ングにダブル配列 [6] を用いることを提案する。

ダブル配列はトライ [7] の効率的な実装であり， 2 つの配列 BASE と CHECK，及び值配列 VALUE に よって構成される key-value マップである. 整数値 $k_{1}, k_{2}, t$ について式 (10) が満たされるとき，キー $\left(k_{1}, k_{2}\right)$ の值が VALUE $[t]$ であると見なす.

$
\operatorname{BASE}\left[k_{1}\right] \oplus k_{2}=t \wedge \operatorname{CHECK}[t]=k_{1}
$

ここで演算子 $\oplus$ は排他的論理和を表す1），ダブル配列を用いると，スコア計算は Algorithm 1 のとおり となる.

ダブル配列は，1) 配列の要素の取得，2) 排他的論理和の計算，3) 比較，という単純な処理によって構成されるため，Algorithm 1 内のループ処理は SIMD 命令 ${ }^{2}$ によって容易に並列化可能である.

## 5 実験

## 5.1 実験設定

モデル学習のためのデータセットとして，現代日本語書き言葉均衡コーパス (BCCWJ [8], Ver. 1.1) のうち，人手で短単位アノテーションされたコア データ $60 \mathrm{k}$ 文を利用した. 辞書には現代書き言葉 UniDic [5] (Ver. 3.1.0)を利用し，各パラメータを再学習した。

図 1 2-gram スコアの事前計算から除外する素性テンプ レートの数と連接表の要素数の関係

ベースラインとして CRF に基づく形態素解析器 である Vibrato ${ }^{3}$ を利用し，提案法は Vibrato を修正 する形で実装した. CRF の学習には rucrf $^{4)}$ を用い， OWL-QN 法 [9] による L1 正則化 [10] を行った.

計算を効率的に行うため，重み，及び統合後のス コアはすべて量子化した．スコアの事前計算では量子化前の值が用いられるが，解析時の計算では量子化後の值が用いられるため，手法によって算出され るスコアが僅かに異なる。しかし，その差は解析結果に大きな影響を与えるものではない.

実装にはプログラミング言語 Rust を用いた。コ ンパイラは rustc 1.65，コンパイルオプションは-C opt-level=3とした.

解析速度の測定には，BCCWJ のコアデータ以外 からランダムに抽出した $100 \mathrm{k}$ 文を利用し，100 回解析した平均值を用いた．測定の際は，分割対象の文 を先に RAM に読み込み，IO 処理にかかる時間は除外した。

実験は以下のスペックのマシンを用いてシングル スレッドで実施した。
- CPU: Intel Core i9-12900K CPU @ 3.2GHz
- Memory: 64GiB RAM (L1: 640KiB, L2: 14MiB)

## 5.2 スコアの部分的事前計算の効果

## 5.2.1 連接表のサイズの変化

解析時に統合する素性テンプレートのインデック ス集合 $S$ のサイズを変化させた際の連接表の要素数 の変化を図 1 に示す.

図を見ると，Greedy または Greedy-2 によって優先的に選択される素性テンプレートのうち，最初の

3) https://github.com/daac-tools/vibrato

4) https://github.com/daac-tools/rucrf
表 1 2-gram モデルサイズ [MiB] と解析時間 [s] の関係

5つの素性テンプレートをスコアの事前計算の対象 から除外するだけで，連接表のサイズが $10 \%$ 程度ま で軽量化することが確認された。一方で，Variousに よって優先的に選択される素性テンプレートを除外 しても，連接表の軽量化効果が殆どないことが確認 された.

この結果から, Greedy または Greedy-2 によって 貪欲的に選択される素性テンプレートを除外するこ とが，連接表の軽量化に有効であることが分かる.

Greedy-2 については，初期の軽量化効果は Greedy と比較して大きいものの，すぐに Greedy と大差が 無くなることが確認された。これは，2つの素性テ ンプレートのみが相関しているケースが少なかっ たためと考えられる。他の素性テンプレートを除外 した場合の影響を考慮する場合，計算量は考慮する 素性テンプレートの数 $n$ に対して指数関数的に増大するため,$n$ を増やすことは現実的ではない.こ のため，以降は単純に大きな軽量化効果を得られる Greedy を採用した。

## 5.2.2 モデルサイズと解析時間の比較

2-gram スコアの事前計算から除外する素性テンプ レートの数を変化させた際の，2-gram モデルサイズ と解析時間への影響を調査するため，以下の 3 つの 状況について測定した。ここにおける 2-gram モデ ルサイズとは，連接表のサイズと 2-gram スコアを 格納したダブル配列のサイズの総和である.

Matrix 全ての 2-gram スコアを事前に計算して連接表に格納する。(ベースライン)

Dual Greedyによって優先的に選択される 8 個の素性テンプレートについて連接表から除外し，解析時に計算を行う.

Raw 全ての 2-gramスコアを解析時に計算し，連接表は利用しない。 $(S=\{1,2, \ldots, K\})$

これらの結果を表 1 に示す. Dualでは，Matrix に 比べて 2-gram モデルサイズが 12\%以下になってい ることを確認できる．スコアの事前計算から除外す る素性テンプレートを増やすと，必然的にダブル配列のサイズは大きくなるが，その増加量は連接表の表 2 SIMDによる解析時間 [s] の変化

軽量化した分に比べれば十分に小さく，モデル全体の軽量化に効果的であることが分かる。一方で， Dual の解析時間は Matrix の 2.4 倍に増加しており,解析時に 2-gram スコアを計算することで解析が遅 くなることが伺える。

ここからモデルサイズと速度はトレードオフの関係であり，インデックス集合 $S$ のサイズは，許容さ れるモデルサイズと解析速度によって調整する必要 があることが分かる.

Raw は Dual と比較して傾向が顕著であり，2-gram モデルサイズは Matrix の $0.5 \%$ である一方，解析時間は Matrix の 23 倍であった.

## 5.3 スコア計算に SIMD を利用する効果

ここでは，解析時の 2-gram スコアの計算を SIMD 並列化することの効果を調査する．5.2.2 節の Dual および Raw の設定について，Algorithm 1 の処理を 8 並列化 ${ }^{5)}$ した場合の解析時間の変化を表 2 に示す.

この結果から，ダブル配列を用いたスコア計算が SIMD 命令によって実際に高速化されたことを確認 できる。ただし，全ての 2-gram スコアを事前計算 して参照する Matrix と比較すると，Dual は SIMD 命令を用いても 2 倍以上遅いことが確認できる。

## 6 まとめ

本稿では，CRF に基づく形態素解析器において， 2-gram スコアの計算を事前計算と解析時の計算に分割することで，モデルサイズを軽量化する手法を提案した. また，解析時の計算を SIMD 命令で高速化 できることを示した。提案法は，パラメータに手を 加えるなど，解析精度に影響を与えることは行わな い。このため，解析精度を維持したまま，組み込み 機器や Web フロントエンドなど，資源が限られた 環境でも利用可能なモデルを配布することが可能と なる。

今回の実験では，事前計算から除外する素性テン プレートを選択する際に，そのテンプレートの内容 までは考慮しなかったが，言語学的な知見を取り入 れることによる効果についても検討の余地がある。

5） AVX2 で 32-bit 演算を並列化できる最大の個数が 8 である.

## 参考文献

[1] Taku Kudo, Kaoru Yamamoto, and Yuji Matsumoto. Applying conditional random fields to Japanese morphological analysis. In Proceedings of the $\mathbf{2 0 0 4}$ Conference on Empirical Methods in Natural Language Processing, pp. 230-237, Barcelona, Spain, July 2004. Association for Computational Linguistics.

[2] Graham Neubig, Yosuke Nakata, and Shinsuke Mori. Pointwise prediction for robust, adaptable Japanese morphological analysis. In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, pp. 529533, Portland, Oregon, USA, June 2011. Association for Computational Linguistics.

[3] John D. Lafferty, Andrew McCallum, and Fernando C. N. Pereira. Conditional random fields: Probabilistic models for segmenting and labeling sequence data. In Proceedings of the Eighteenth International Conference on Machine Learning, ICML '01, p. 282-289, San Francisco, CA, USA, 2001. Morgan Kaufmann Publishers Inc.

[4] Masayuki Asahara and Yuji Matsumoto. ipadic version 2.7.0 User's Manual. https://ja.osdn. net/projects/ ipadic/docs/ipadic-2.7.0-manual-en.pdf, 2003.

[5] 岡照晃. CRF 素性テンプレートの見直しによるモ デルサイズを軽量化した解析用 UniDic — unidiccwj-2.2.0 と unidic-csj-2.2.0 一. 言語資源活用ワーク ショップ 2017 発表予稿集, 143-152.

[6] Jun'ichi Aoe. An efficient digital search algorithm by using a double-array structure. IEEE Transactions on Software Engineering, Vol. 15, No. 9, pp. 1066-1077, 1989.

[7] Edward Fredkin. Trie memory. Commun. ACM, Vol. 3, No. 9, p. 490-499, sep 1960.

[8] 前川喜久雄. 代表性を有する大規模日本語書き言葉 コーパスの構築 (〈特集〉日本語コーパス). 人工知能, Vol. 24, No. 5, pp. 616-622, 2009.

[9] Galen Andrew and Jianfeng Gao. Scalable training of 11regularized log-linear models. In Proceedings of the 24th International Conference on Machine Learning, ICML '07, p. 33-40, New York, NY, USA, 2007. Association for Computing Machinery.

[10] Robert Tibshirani. Regression shrinkage and selection via the lasso. Journal of the Royal Statistical Society: Series B (Methodological), Vol. 58, No. 1, pp. 267-288, 1996.


# 事前学習モデルに基づく日本語形態素解析器における 辞書の利用

田村稔行 河原大輔
早稲田大学理工学術院
tam.fse3982@ruri.waseda.jp dkw@waseda.jp

## 概要

事前学習モデルに基づく日本語形態素解析器で は, 従来の形態素解析器で用いられていた辞書を用 いないことが一般的である. しかし, 単語の区切りや 品詞が登録された辞書は形態素解析において重要な 知識源となる. 本論文では, 事前学習モデルに基づく 日本語形態素解析器の入力として, 辞書引きによる 単語区切り位置の情報を与える手法を提案する. 提案手法は, 複数のコーパスにおいて, 辞書を用いない 手法と比較して高い精度を示すことを確認した。

## 1 はじめに

日本語の文においては単語の間に区切りが明示さ れない. 計算機で日本語を解析する場合, まず単語の 区切りを認識する必要がある. 日本語の形態素解析 においては,品詞や活用の付与と同時に単語への分 かち書きを行う。

従来の形態素解析器である JUMAN ${ }^{1)}$, MeCab [1], Juman++ [2] などは辞書に登録されている単語の 情報に基づき, 最も尤度の高い単語列を採用する ことによって分かち書きを行う。一方で, 近年の KWJA [3] などの事前学習モデルベースの形態素解析においては, 事前学習モデルが日本語解析に関す る有用なパラメータを獲得していることから, 辞書 を分かち書きに用いていない. しかし, 単語の区切り や品詞が定義されている辞書の情報は分かち書きや 品詞付与において重要な知識源となる.

本研究では, 事前学習モデルを用いた形態素解析 において辞書の情報を利用する手法を提案する. 具体的には, モデルへ入力文に加えて辞書から得た単語の分割位置の情報を与える. 提案手法の有効性を 検証するため, 3 種類のコーパスと 2 種類の辞書にお いて分かち書きと品詞・活用付与の実験を行う.

1) https://nlp.ist.i.kyoto-u.ac.jp/?JUMAN

## 2 関連研究

辞書を使用する形態素解析の手法として,ラティ スを用いるものと点予測のものがある. ラティスは 辞書に存在する単語と, 辞書に存在しない単語 (未知語)を処理する規則に基づいて生成される. 生成され たラティスから最も尤度の高いパスを決定し,これ が単語の分割となる. ラティスの作成は辞書に基づ いて行い, 機械学習により調整された重みを用いて スコア算出し, そのスコアによりパスを決定するこ とが一般的である. JUMANでは人手で, MeCab では CRF [4] で重みを調整している. Juman++も同様に辞書に基づいたラティスを生成するが, 線形モデルと RNN の組み合わせによりスコアを算出する。

点予測は, 周囲の判定情報を用いずに各文字や単語について分かち書きや品詞推定などを個別に行う 手法である. KyTea [5] は点予測の形態素解析器であ る. 文字 n-gram や文字種 n-gram, 単語辞書に基づく 特徴量を用いて分かち書きと読み・品詞推定を行う.

事前学習を用いた形態素解析器として, 事前学習モデル RoBERTa [6] を用いた日本語統合解析器 KWJA がある. KWJA はパイプライン処理によって 形態素解析を行う。まず文字モデルにて誤り文字を 訂正し, 次の文字モデルにて分かち書きと単語正規化を行う. そして単語 (サブワード) モデルにより形態素解析を実行する. KWJA の形態素解析において は, 単語分割が決まった後に, 各単語の先頭トーク ンの隠れ状態から品詞と活用を予測し,辞書に基づ く意味情報を付与する. 辞書は分かち書きおよび品詞・活用付与には用いない. また, Tolmachev ら [7] は, 双方向 LSTM [8] と Transformer [9] のそれぞれを 用いた, 辞書を用いない形態素解析器を提案した.こ の解析器は事前学習を用いないが, 大量の自動解析 コーパスを学習に用いる. モデルは入力文中の各文字について, 分かち書き, 品詞・活用付与をマルチタ

スクで行う. 本研究ではこの出力の構造を用いる.

事前学習モデルに辞書などの知識を統合している 研究を紹介する. Sun ら [10] は, 事前学習モデルは大量の生コーパスを用いて学習を行っているものの, そのような生コーパスは言語知識や一般常識に関 する明示的な知識に欠けていると指摘している. モ デルに知識を与えるため, 多層の Transformer-XL [11] からなるモデルに知識グラフを埋め込み, 単語や知識に関するタスクによる事前学習を提案している。

他の研究例として, BERT [12] の構造を流用した モデルが存在する. 事前学習の際に Masked Language Modeling や Next Sentence Prediction と並行して語彙的な関係を分類するタスクを行うモデル [13] や知識 に関するタスクを行うモデル [14]がある. また, ファ インチューニングにおいて追加の層を用いて知識グ ラフの情報を統合するモデル [15] などが存在する.

本研究では, 既存の事前学習モデルに辞書情報を 統合することでの精度向上を目的とするため,ファ インチューニングを対象とする. また, 形態素解析と いうタスクに着目し, 辞書の情報を, 単語の区切り位置の情報としてモデルに与える。

## 3 事前学習モデルに基づく形態素解析における辞書の利用

本研究では, 文字単位のタスクである分かち書き を行うことから, 日本語コーパスで事前学習された 文字ベースのモデルを用い, 分かち書きと品詞・活用付与タスクでファインチューニングする.

モデルの入力としては, 入力文の各文字の埋め込 みに加え, 辞書から得た単語の区切り位置の情報を 与える. 具体的には, 文の各文字について, その文字 を単語の先頭, 中間, 末尾とする単語が辞書に収録さ れていればそれぞれ B, I, E のフラグを立てる． B は 単語の先頭の文字, $\mathrm{E}$ は単語の末尾の文字, $\mathrm{I}$ は 3 文字以上の単語の中間の文字を示す. 例えば, 図 1 に おいて,「じかん」という単語が辞書に存在すると する.この場合, 入力文中の「じ」に B, 「か」に $\mathrm{I}$,「ん」に Eのフラグを立てる. 入力文中の一つの文字 が、辞書中のある単語において B となることもあれ ば、他の単語において I やEとなることがある. 例 えば図中の「む」には $\mathrm{B}, \mathrm{E}$ の 2 種類のフラグが立っ ている.このため, 各文字に対して B, I, E の 3 種類の 2 値フラグを与える. 以下，これを辞書フラグと呼ぶ。 モデルは辞書フラグのそれぞれを埋め込みとして学習し, 各文字の埋め込みと足し合わせる。

図 1 提案手法. 入力文に対して事前に辞書引きをして辞書フラグを形成し, 事前学習モデルに入力する. 線形結合層が各タスクについて出力する。

モデルの出力としては, 事前学習モデルが出力す る隠れ状態を各タスク向けの線形結合層に入力し，入力文の各文字について分類を行う. 分かち書き (Seg) については BMES の体系を用いて分類する.S は 1 文字からなる単語, $\mathrm{B}$ は単語の先頭の文字, $\mathrm{E}$ は 単語の末尾の文字, $\mathrm{M}$ は 3 文字以上の単語の中間の 文字を示す. 品詞・活用付与については, 品詞 (P1),品詞細分類 (P2), 活用型 (CT), 活用形 (CF) をUMAN 体系にもとづいて分類する。

## 4 実験

辞書情報を与えた事前学習モデルベースの形態素解析器の有効性を検証するため, 複数のコーパスを 評価対象として形態素解析を行い, 精度を算出する。

## 4.1 実験設定

## 4.1.1 モデルと辞書

ファインチューニングする事前学習モデルと して, 文字単位の RoBERTa-BASE ${ }^{2}$ および RoBERTa$\left.\mathrm{LARGE}^{3}\right)$ を用いる. 学習は異なる 3 つの seed 值を設定して行い, 平均値を算出する. 実験を行う際のハイ パーパラメータを付録 Aにて示す.

2) https://huggingface.co/ku-nlp/roberta-base-japanese-char-wwm

3) https://huggingface.co/ku-nlp/roberta-large-japanese-char-wwm
辞書については, JUMAN 辞書4) と森羅5)を用い， Trie による辞書引きのライブラリである dartsclone ${ }^{6)}$ を使用して辞書引きを行い, 学習・評価デー タに辞書フラグを与える. 森羅は Wikipedia のタイト ルとその拡張固有表現 (ENE) における分類情報を持 つ辞書である. 辞書引きは, 文の最初の文字を開始位置とし, その文字から $\mathrm{n}(=2,3, \ldots)$ 文字の各範囲につ いて辞書引きした結果を集計する.この際, $\mathrm{n}$ は辞書引きの範囲が文末の文字に達する場合が最大値であ る.この作業を開始位置が文末になるまで繰り返す。 この際, 1 文字からなる単語は有効な情報ではない と判断し, 2 文字以上からなる単語の区切り位置に ついてのみから辞書フラグを形成する.

JUMAN 辞書については, 辞書引きの結果を品詞な どで区別せずに B, I, E の 3 種類の埋め込みを与え る. 森羅については, ENE [16] (Version: 7)の「1. 名前」中の 12 種類の大分類それぞれについて B, I, E の埋め込みを与える.つまり, 合計 36 種類の埋め込 みをモデルに入力する.

実験において, 辞書を与えないモデル (辞書なし と表記), JUMAN 辞書を与えるモデル (JUMAN と表記), 森羅を与えるモデル (ENE と表記), JUMAN 辞書 と森羅を与えるモデル (JUMAN+ENE と表記) の 4 つの条件を比較する. なお, JUMAN+ENE において は, JUMAN 辞書の B, I, E のフラグ 3 個と森羅のカテ ゴリごとの $\mathrm{B}, \mathrm{I}, \mathrm{E}$ フラグ 36 個を合わせた 39 個の埋 め込みをモデルに入力する。

## 4.1.2 学習・評価データセット

ファインチューニングには, 人手のデータセット と自動解析のデータセットの 2 種類を用いる. 人手 でアノテーションされたデータセットとして京都大学テキストコーパス [17] (以下 KC) と京都大学ウェ ブ文書リードコーパス [18] (以下 KWDLC)を用いる.自動解析したデータセットとして, CC-100 [19,20] の 日本語テキストから全角スペースとURLを含む文 を除いて Juman++で自動解析したものを用いる. 評価用データセットとして, KC と KWDLC, そして不満調査データセットタグ付きコーパス7) (以下 FKC) を用いる.なお, KC および KWDLC は GitHub 上の標準スプリットを用いて学習用と評価用に分割する。各データセットに収録されている文数を表 1 に示す.

4) https://github.com/ku-nlp/JumanDIC

5) http://shinra-project.info/

6) https://github.com/s-yata/darts-clone

7) https://github.com/ku-nlp/AnnotatedFKCCorpus

KC と KWDLC を学習に用いたモデル $(\mathrm{KC}+\mathrm{KW}$ と表記) と, KC と KWDLC と C-100を学習に用いたモデ ル $(\mathrm{KC}+\mathrm{KW}+\mathrm{CC} 100$ と表記) の両方で実験を行う.

## 4.1.3 評価

分かち書き及び品詞・活用付与の精度を評価する。分かち書きについては, 各単語の開始位置と終了位置の組が合致しているかにもとづいて F1を算出す る. 品詞 - 活用付与については, 品詞, 品詞細分類, 活用型, 活用形を評価し $\mathrm{F} 1$ を算出する.この際, 単語の 開始位置である文字について分かち書きと各タスク を両方正解した場合のみ正解したとして精度を算出 する.つまり, 品詞・活用付与の各精度は, 分かち書 きと各タスク両方を正解した精度 (F1)である.

また, JUMAN 辞書を用いた形態素解析器として Juman++ (Version: 2.0.0-rc3) を, 事前学習モデルを用 いた形態素解析器として KWJA (Version: 1.1.0) につ いても比較対象とする. なお, 公開版の Juman++は評価用データセットも学習に用いているため参考とし て掲載する. KWJA についても, 本実験で評価のみに 用いている FKC の一部を学習に用いている. さら に, KWJA については形態素解析の前段階で入力誤 り訂正を行うため, 入力文と出力文の文字数が異な る場合がある. 本実験の評価では, 文中で文字数が増減した箇所があると, その文の残りの部分について 評価を正しく行うことができない. そのため, KWJA の評価についてはこの問題に対する処理を行わない 場合の精度と, 入力誤り訂正により文字数が変化し た文を取り除いた場合の 2 つの精度を掲載する。

## 4.2 結果と考察

$\mathrm{KC}+\mathrm{KW}$ より $\mathrm{KC}+\mathrm{KW}+\mathrm{CC} 100$ を学習に用いた 場合に全体的に良い結果が得られたため, $\mathrm{KW}+\mathrm{KW}+\mathrm{CC} 100$ のみの結果を表 2 に示す. $\mathrm{KC}+\mathrm{KW}$ を学習に用いた結果は付録 Bに示す. Seg, P1, P2, CT, $\mathrm{CF}$ はそれぞれ分かち書き, 品詞, 品詞細分類, 活用型,活用形を指す. 以下では, 各辞書の情報を与えたモデ ルについて,他のモデルとの比較を考察する.
表 $2 \mathrm{KC}+\mathrm{KW}+\mathrm{CC} 100$ を用いた学習による分かち書きと品詞・活用付与の精度 (F1). KWJA の FKC での精度と Juman++の 精度以外について, 表中で最も高い精度を示したモデルの値を太字で示した. なお, 最高値と 2 番目に高い値の差が 0.01 以内の場合は 2 番目に高い値も太字で示した.

表 3 分かち書きの改善例. “p”は形態素の区切りを示す. モデルはいずれもLARGE.

 &  \\

JUMAN 辞書による影響 JUMAN辞書を与えたモ デルを, 辞書を用いないモデルと比較すると, すべて のデータセット・タスクにおいて提案手法の精度が 上回った. このことから, 辞書による単語の区切り位置情報が, 分かち書きのみならず品詞・活用付与の 精度向上にも貢献しているといえる. 提案手法では JUMAN 辞書を品詞の区別なく与えたが, 品詞ごとに 辞書フラグを与えることで, 品詞・活用付与の各タ スクにおいてさらに精度が向上する可能性がある.

各評価用データセットの分かち書きについて,辞書情報を与えないモデルでは間違えていたが JUMAN 辞書を与えたモデルで正解した文の例を表 3 に示す. 各例は, 区切り位置により文意が異なる表現について, 提案手法が正解した例である. 1 例目は KC, 2 例目は KWDLC, 3 例目は FKC の文である. 1 例目では「ヒゲもじゃ」, 2 例目では「わさび」, 3 例目では「むだ」が辞書引きされ改善した.

森羅の影響森羅を与えたモデルは辞書なしのモ デルと近いか若干低い精度を示し, JUMAN 辞書と森羅を与えたモデルは JUMAN 辞書を与えたモデルと 近いか若干低い精度を示した. 森羅のエントリの区切りが評価用データセットの JUMAN 体系と異なる
ため, 精度の向上に寄与しなかったと考えられる. 一方で, 森羅に収録されている長い複合名詞の始まり・終わりは分かち書きの精度向上に寄与する可能性が あるため, 辞書をフィルタリングすることで精度が 向上する可能性がある. また, 森羅による ENE の分類など, 詳細な分類や分野に特化した追加情報を形態素解析器が出力できれば下流タスクにとって有益 であると思われる。

既存の形態素解析器との比較 Juman++と比較す ると, 提案手法は $\mathrm{KC}$ の品詞分類と品詞細分類, そし て FKC の分かち書きにおいて同等か上回る精度を 示した. 一方で, KWDLC においては Juman++がすべ ての指標について提案手法の精度を上回った. ただ し, 本実験で用いた Juman++は公開版であり, 評価用 に用いたテストデータを学習している. KWJA と比較すると, KWDLC の P1, P2, FKC の Seg, P1, P2 にお いて KWJA の精度が上回り, その他では提案手法の 精度が上回った. ただし, KWJA は構文解析などの他 のタスクとマルチタスク学習を行っており, 形態素解析に最適化されていないため, 若干精度が低い. また, KWJA は本実験で評価に用いた FKC の一部を 学習に用いている。

## 5 おわりに

本研究では, 日本語の事前学習モデルに入力文に 加えて辞書の情報を与えて形態素解析を行い精度を 評価した. 結果として, 辞書情報を与えることで分か ち書きだけでなく品詞・活用付与の精度も向上する ことを確認した. 今後は, どのような辞書であれば形態素解析の精度向上につながるのかを明らかにし たい.

## 謝辞

本研究は JSPS 科研費 JP21H04901 の助成を受けて 実施した。

## 参考文献

[1] Taku Kudo, Kaoru Yamamoto, and Yuji Matsumoto. Applying conditional random fields to japanese morphological analysis. In Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing, 2004.

[2] Daisuke Kawahara Hajime Morita and Sadao Kurohashi. Morphological analysis for unsegmented languages using recurrent neural network language model. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, p. 2292-2297, 2015.

[3] 植田暢大, 大村和正, 肾玉貴志, 清丸寛一, 村脇有吾, 河原大輔, 黒橋禎夫. Kwja：汎用言語モデルに基づく日本語解析器. 第 253 回自然言語処理研究会, 京都, 2022.

[4] Andrew McCallum John Lafferty and Fernando Pereira. Conditional random fields: Probabilistic models for segmenting and labeling sequence data. In Proceedings of the Eighteenth International Conference on Machine Learning, Vol. 30, pp. 282289, 2001 .

[5] Graham Neubig, Yosuke Nakata, and Shinsuke Mori. Pointwise prediction for robust, adaptable Japanese morphological analysis. In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, pp. 529-533, Portland, Oregon, USA, June 2011. Association for Computational Linguistics.

[6] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach. arXiv, 2019. abs/1907.11692.

[7] Arseny Tolmachev, Daisuke Kawahara, and Sadao Kurohashi. Shrinking Japanese morphological analyzers with neural networks and semi-supervised learning. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 2744-2755, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[8] Sepp Hochreiter and Jürgen Schmidhuber. Long short-term memory. Neural Computation, Vol. 9, No. 8, pp. 1735-1780, 1997.

[9] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, L ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. Von Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc., 2017.

[10] Yu Sun, Shuohuan Wang, Shikun Feng, Siyu Ding, Chao Pang, Junyuan Shang, Jiaxiang Liu, Xuyi Chen, Yanbin Zhao, Yuxiang $\mathrm{Lu}$, et al. Ernie 3.0: Large-scale knowledge enhanced pretraining for language understanding and generation. arXiv, 2021. abs/2107.02137.

[11] Zihang Dai, Zhilin Yang, Yiming Yang, Jaime Carbonell, Quoc Le, and Ruslan Salakhutdinov. Transformer-XL: Attentive language models beyond a fixed-length context. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 2978-2988, Florence, Italy, July 2019. Association for Computational Linguistics.

[12] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Associa- tion for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[13] Anne Lauscher, Ivan Vulić, Edoardo Maria Ponti, Anna Korhonen, and Goran Glavaš. Specializing unsupervised pretraining models for word-level semantic similarity. In Proceedings of the 28th International Conference on Computational Linguistics, pp. 1371-1383, Barcelona, Spain (Online), December 2020. International Committee on Computational Linguistics.

[14] Yoav Levine, Barak Lenz, Or Dagan, Ori Ram, Dan Padnos, Or Sharir, Shai Shalev-Shwartz, Amnon Shashua, and Yoav Shoham. SenseBERT: Driving some sense into BERT. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 4656-4667, Online, July 2020. Association for Computational Linguistics.

[15] Zhe Zhao Zhiruo Wang Qi Ju Haotang Deng Ping Wang Weijie Liu, Peng Zhou. K-BERT: Enabling language representation with knowledge graph. In Proceedings of AAAI 2020, 2020.

[16] Satoshi Sekine. Extended named entity ontology with attribute information. LREC, 2008

[17] Sadao Kurohashi and Makoto Nagao. Building a japanese parsed corpus. In Treebanks: Building and Using Parsed Corpora, Text, Speech and Language Technology, p. 249-260. Springer Netherlands, Dordrecht, 2003.

[18] Masatsugu Hangyo, Daisuke Kawahara, and Sadao Kurohashi. Building a diverse document leads corpus annotated with semantic relations. In Proceedings of the 26th Pacific Asia Conference on Language, Information, and Computation, pp. 535-544, 2012.

[19] Alexis Conneau, Kartikay Khandelwal, Naman Goyal, Vishrav Chaudhary, Guillaume Wenzek, Francisco Guzmán, Edouard Grave, Myle Ott, Luke Zettlemoyer, and Veselin Stoyanov. Unsupervised cross-lingual representation learning at scale. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 8440-8451, Online, July 2020. Association for Computational Linguistics.

[20] Guillaume Wenzek, Marie-Anne Lachaux, Alexis Conneau, Vishrav Chaudhary, Francisco Guzmán, Armand Joulin, and Edouard Grave. CCNet: Extracting high quality monolingual datasets from web crawl data. In Proceedings of the Twelfth Language Resources and Evaluation Conference, pp. 40034012, Marseille, France, May 2020. European Language Resources Association.

## A 学習時のハイパーパラメータ

表 4 に, 学習を行った際のハイパーパラメータを掲載する.

## Ｂ異なる学習データセットを用いた場合の精度

表 5 に, 本文中に掲載していない $\mathrm{KC}+\mathrm{KW}$ で学習を行った際の精度を掲載する。

表 $5 \mathrm{KC}+\mathrm{KW}$ を用いた分かち書きと品詞・活用付与の精度 (F1). KWJA の FKC での精度と Juman++の精度以外について，表中で最も高い精度を示したモデルの値を太字で示した。


# テキスト生成モデルによる日本語形態素解析

児玉 貴志 ${ }^{1}$ 植田 暢大 ${ }^{1}$ 大村 和正 ${ }^{1}$
清丸 寛一 ${ }^{1}$ 村脇有吾 ${ }^{1}$ 河原 大輔 ${ }^{2}$ 黒橋禎夫 ${ }^{1}$
1 京都大学 2 早稲田大学
$\{$ kodama, ueda, omura, ki yomaru, murawaki , kuro\}@nlp. ist.i.kyoto-u.ac.jp
dkw@waseda.jp

## 概要

統合的日本語解析器 KWJA 1.0 は形態素解析を汎用言語モデルに基づくトークン分類問題として定式化した. しかし単語の読み，原形等はラベル集合 が開放的であり，分類問題としては扱いづらい。本研究ではそうしたタスクをテキスト生成モデルで 解く手法を提案する. 提案手法は実装とタスク設計 を単純化しつつ，特に読みと代表表記の推定で既存 の形態素解析器を上回る精度を示した. 提案手法は $\mathrm{KWJA}^{1)}$ の形態素解析モジュールとして実装する予定である。

## 1 はじめに

BERT [1] 等の汎用言語モデルは言語の基礎的な解析においても威力を発揮している [2,3]. 汎用言語 モデルの強力な文脈処理能力を利用すると，単語分割や品詞付与等の日本語形態素解析のサブタスクは 単純なトークン分類問題として定式化できる. 単語分割であれば各文字に B，I を，品詞付与であれば 各サブワードに品詞ラベルを付与すれば良い.この 手法は辞書引きに基づいてラティスを構築する従来手法と比べて単純だが，高い精度を達成している。

しかし，形態素解析のすべてのサブタスクがトー クン分類問題として定式化しやすいわけではない.読み，原形等はラベル集合が開放的だからである。図 1 に示すように，入力サブワード（「京都」）に対応する読みのサブワード（「きょうと」）が存在しな かった場合，複数のサブワード（「きょう」，「と」） で読みを表現する必要があり，入力と出力が一対一対応の分類モデルでは対処できない. 単語の原形や 代表表記2)でもこうした問題は存在する. 統合的日

1) https://github.com/ku-nlp/kwja

2）各単語に対して与えられた ID. 同一の語の表記摇れには 同一の代表表記が与えられる。代表的な表記とその読みのぺ アで「京都/きょうと」のように表記される.

図 1 サブワードによる読み推定の誤り例

本語解析器である KWJA $1.0[3]^{3)}$ ではこうした問題 に対して，タスクごとにルールや辞書引き等で個別 に対応しており，開発の負担や新語への対応等に課題が残る。

本研究では，トークン分類問題としては扱いづら い形態素解析の一部のサブタスクを，注釈付与コー パスから直接的に学習したテキスト生成モデルで解 く手法を提案する. 具体的には，入力文から見出し 語 (分かち書きされた単語)，読み，原形，代表表記 を所定のフォーマットに基づき end-to-end で生成す る. エンコーダ・デコーダモデルを用いたテキスト 生成は，サブワードの入出力が一対多（もしくは多対一）となっている場合でも対処できる。また，夕 スクごとに固有の処理を行う必要がなく，実装を単純化できる。

実験の結果，提案手法は実装とタスク設計の単純化に成功しつつ, 分類モデルを用いた従来の解析器 より，特に読みと代表表記を高い精度で推定できる ことが分かった．ただ，入力文に含まれない文字列 が見出し語として解析結果に出てきてしまう例が少数だが確認された。そこで，見出し語を生成する際 は入力文に含まれる文字列（サブワード）のみを生成するようにモデルの出力を補正する，見出し語強制デコーディングを提案する。この手法により提案手法のさらなる改善が見られた。

さらに，かな表記入力の曖昧性解消についても検

3） 執筆時点でのバージョンは 1.2.2であり，このバージョン の KWJAを KWJA 1.0 と表記する.

図 2 KWJA の形態素解析モジュールの概要

討する。例えば「こうえん」は文脈によって「公園」 と「講演」のどちらにもなりうる。コーパス中には こういったかな表記の単語が少ないため，漢字表記 の単語を曖昧性のあるかな表記に置き換えることで 疑似データを作成し，学習・評価に使用した. 実験 の結果, 置き換えた単語について曖昧性解消の精度 が大きく向上することを確認した.

## 2 関連研究

日本語形態素解析は辞書引きに基づいてラティス を構築する手法 $[4,5]$ が主流であったが，汎用言語 モデルの登場にともない，単語（サブワード）列の 各トークンにラベルを付与するトークン分類問題と して解く手法が実用的な精度を達成している [3].

汎用言語モデルに基づく統合的日本語解析器 KWJA [3] は入力誤り訂正から談話関係解析までを 統合的に扱うが，このうち形態素解析モジュールの 概要を図 2 に示す. 単語列を入力とし，その単語に 対する品詞・活用 (品詞, 品詞細分類, 活用型, 活用形の 4 つ)，読み，原形，意味情報4)を付与する。品詞・活用の付与はトークン分類問題を解くだけで 完結する．ただし，読みは単語ではなくサブワード ごとに推定している.この訓練データを作成するた めに，コーパスに単語単位で付与されている読みを サブワード単位に分割するアラインメント処理を 動的計画法を用いて事前に行っている. 原形は活用型，活用形をもとに活用変化表を参照し，正規化見出し語5)からルールで出力している。また，意味情報は読み，原形，品詞，品詞細分類，活用型をキー として，あらかじめ作成しておいた辞書を引いて， マッチした辞書項目の意味情報を出力している. 本研究では，トークン分類問題として定式化すると煩雑な処理が必要となるこうしたサブタスクを，テキ スト生成モデルを使用した単純な手法で解く。

トークン分類問題をテキスト生成モデルで解く研

4）人手によって整備された，単語に対する付加情報. 代表表記やカテゴリ, ドメイン等を含む.

5）非標準表記を正規化する処理（「びみょーー」 $\rightarrow$ 「びみょ う」）と，連濁により語頭のカナが濁音化した単語を戻す処

 \\

図 3 モデルの入出力フォーマット. EOS は文末を表す 特殊記号.

究はこれまでにも存在する。T5 [6] は要約や翻訳の ほかに，分類問題も text-to-text で解けるように設計 されたテキスト生成モデルである。また，GPT-3 [7] は 1,750 億パラメータを持つ巨大な汎用言語モデル であり，モデルに与えるプロンプトを適切に設計す ることで分類問題も解くことができる. 本研究では T5 の多言語対応版である $\mathrm{mT5}$ [8] を使用する.

テキスト生成モデルに決まった順番やフォー マットを遵守させるのは難しい。しかし，GitHub Copilot $^{6)}$ のようなコーディング規約に則ってコード を生成できるシステムの台頭を踏まえると，言語解析への利用も現実的な水準に達しているといえる.

## 3 提案手法

本節ではまず，テキスト生成モデルで形態素解析 を行う手法とモデルの入出力フォーマットについ て説明する (3.1 節)。そして提案手法の追加要素で ある，見出し語強制デコーディング（3.2 節）と疑似データによる曖昧性解消（3.3 節）について説明 する。

## 3.1 テキスト生成モデルによる形態素解析

提案手法では，解析対象の文をテキスト生成モデ ルに入力し, 所定のフォーマットに基づき形態素解析の結果を生成して出力する. モデルの入出力 フォーマットを図 3 に示す. 入力文の先頭に「解析：」をつけてからモデルへと入力する. 出力フォー マットは Juman++ [5] ${ }^{7}$ の出力を参考に設計した.各行は見出し語を先頭に読み，原形，代表表記の順 に並んでおり，単語ごとに改行することで分かち書 きを表現している8).

6) https://github.com/features/copilot

7) https://github.com/ku-nlp/jumanpp/

8）分かち書きを生成モデルで行う必要性は大きくないが，分 かち書きを行うモジュールを別途使用する際の計算コストを 考慮し, 本研究では分かち書きも生成モデルで行う。
見出し語は分かち書きされた単語で，読みはその 見出し語の読みを平仮名で記したものである. 原形 は見出し語が活用変化していない場合の形である.代表表記は表記摇れの問題を形態素解析のレベルで 吸収するための単語 ID であり，漢字表記やかな表記といった異なる表記でも同一の語であれば同一の 代表表記が与えられる9)．意味情報と代表表記は一対一で対応しているため，代表表記を正しく推定す ることで意味情報を一意に付与できる.

トークン分類問題で定式化した場合，これらのサ ブタスクを解くのには煩雑な処理が必要である．提案手法は入出力のフォーマットを定義するだけで， あとは注釈が付与されたコーパスからデータドリブ ンで学習することができる.

## 3.2 見出し語強制デコーディング

生成モデルは尤度の高い単語を選んで生成してい く. その結果「研究」と入力したにも関わらず，見出し語として「研修」が生成される等，入力文に含 まれない文字列を見出し語として生成してしまう場合がある.

そこで見出し語（＝各行の先頭）を生成する際は，入力文に含まれる文字列（サブワード）のみを生成 するようにモデルの単語生成確率を補正する. 具体的に図 3 の例で説明すると，「自然言語処理の」ま で解析し終えたら, 入力文のうち未解析の部分文字列（=「研究をしている」）の先頭と一致するサブ ワード（「研」「研究」）を語彙の中から探す.この一致したサブワード以外のサブワードの生成確率を 0 にすることで，入力文に含まれる文字列を強制的に 見出し語として生成できる.

## 3.3 疑似データによる曖昧性解消

「子どもとこうえんに行く」という入力中の，か な表記の「こうえん」が「公園」か「講演」かは曖昧性がある。しかしこの「こうえん」の代表表記を 「公園にうえん」と特定することができれば曖昧性 を解消でき，意味情報を一意に付与できる．複数サ ブワードからなる代表表記を分類モデルで推論する のは難しいため, KWJA 1.0 では曖昧性解消は行わ ず，該当する候補を全て列挙して出力している（上記の例では「公園にうえん」と「講演にうえん」).本研究では 1 つの見出し語に対し, 代表表記を 1

9) https://usermanual.wiki/Document/manual . 643701001 pdf表 1 各コーパスの文数

表 2 疑似データの統計. 各セルの左側が置き換えられた 単語を含む文数，右側が置き換えられた単語数である。

つだけ生成することでこの曖昧性解消を行う．しか しコーパスには曖昧性のある，かな表記の単語が少 ないため，かな表記の入力（「こうえん」）から代表表記（「公園にうえん」）を上手く生成できない，そ こで漢字表記の単語をかな表記に置き換えた疑似 データを作成し10), 元データに追加して学習・評価 を行う. 本研究では漢字表記の名詞を置き換え対象 とし，ランダムに選んで置き換える ${ }^{11)}$.

## 4 実験

## 4.1 コーパスと評価指標

本研究では京都大学テキストコーパス (KC) [9] ${ }^{12)}$, 京都大学ウェブ文書リードコーパ ス (KWDLC) [10] ${ }^{13)}$ ，注釈付き不満買取センター コーパス (Fuman) ${ }^{14)}$ の 3 種類のコーパスを用いる. モデルへの入力単位は文とし, 文の分割境界はコー パスの注釈にならう．表１に各コーパスの文数を示 す15). 学習は 3 つのコーパスを全て混ぜて行い，評価は各コーパスごとに行う。評価には単語単位の F1 スコア [5]を用いる.

## 4.2 モデル

以下の 2 つのモデルを比較する.

Proposed 汎用言語モデルである mT5 [8] の XL モデル ${ }^{16)}$ を cross entropy loss を損失関数として fine-tuning する ${ }^{17)}$.

10）付録 Aに疑似データの作成例を示す.

11）本研究では置き換える対象を名詞に限定したが，活用の ある動詞等への拡張は今後の課題である.

12) https://github.com/ku-nlp/KyotoCorpus

13) https://github.com/ku-nlp/KWDLC

14) https://github.com/ku-nlp/AnnotatedFKCCorpus/

15）最大系列長は大力が 128 トークン，出力が 512 トークン

とし，これらを超える文は学習と評価から除外している。

16) https://huggingface.co/google/mt5-xl

17）付録 B に実験設定の詳細を示す.
表 3 各コーパスごとの F1 スコア. 各セルには「分かち書き/読み/原形/代表表記」の形式でスコアを記載している.

行は疑似データで置き換えた単語のみに評価対象を限定した結果である.

表 4 出力の入力文復元率 (\%). 文単位で計算し, 入力文が出力の見出し語列と同一であれば「復元」と判定.

KWJA KWJA の Large モデル版を使用する18).汎用言語モデルとして RoBERTa [11] Large ${ }^{19)}$ 20) を採用しており, 現時点で公開されている KWJA のモデ ルの中で最も高精度である.

また Proposed に以下の 2 つの要素を追加した条件 でも比較を行う.

Forced Surface Decoding (FSD) 見出し語強制デ コーディング（3.2 節）を使用.

Disambiguation using Pseudo Data (DPD) 疑似 データ（3.3 節）を元の学習データに加えて学習し たモデルを使用. 疑似データの統計を表 2 に示す. 1 文あたり約 1 個の単語が置き換えられているが, それ以外の単語は元データと同一である。

## 4.3 結果

表 3 の上 4 行に実験結果を示す. Proposed はコー パスによっては分かち書きと原形で KWJA にやや 劣っているものの, 読みと代表表記ではどのコーパ スでも一貫した精度向上が見られる. 提案手法は煩雑な処理を行うことなく, 入出力のフォーマットを 定義するだけで高い精度を達成できている。

さらに見出し語強制デコーディングを加えた Proposed + FSD では 4 項目全てで精度が底上げされ ており，分かち書きと原形も KWJA とほぼ同等レべ ルまで達している. 表 4 に出力の入力文復元率を示

19) https://huggingface.co/ku-nlp/ roberta-large-japanese-char-wwm

20) https://huggingface.co/nlp-waseda/ roberta-large-japanese
す. Proposed でも十分高い精度だが，見出し語強制 デコーディングを導入することで KC，KWDLCで は $99 \%$ を上回っており，形態素解析器として実用に 耐える復元率になっている。

一方，疑似データを加えた Proposed + FSD + DPD では全体的な精度低下が見られる。疑似データは元 データの一部の単語を置き換えることで作成してお り，その他の単語は元データと同一である. そうし た疑似データを元データに加えて学習した結果，学習される単語に偏りが生じ，全体的に精度が低下し たと考えられる。

次に疑似データで置き換えた単語のみに限定し て評価した結果を表 3 の下 2 行に示す. 疑似データ によって全体的に精度が向上しており, 特にスコ アが低かった代表表記は大きな精度向上が見られ る. Proposed + FSD では「こうえん/こえん」のよ うに，漢字で生成すべき部分を平仮名で生成してし まうケースが多かったが，Proposed + FSD + DPD は 「公園にうえん」のように正しく生成できていた. このように置き換え箇所に対しては一定の精度向上 が見られたものの，置き換えていない箇所は精度が 低下してしまっている. 今後疑似データの作成方法 や追加する量等について検討を進める予定である.

## 5 おわりに

本研究では分類モデルが扱いづらいタスクを対象 に，テキスト生成モデルを用いた日本語形態素解析 に取り組んだ。実装とタスク設計を単純化したにも 関わらず，分かち書きと原形では分類モデルと同水準の精度を出しつつ，読みと代表表記では分類モデ ルを上回る精度を示した. 今後は曖昧性解消に向け た疑似データの活用法について検討を続ける。本研究で提案した手法は KWJA 2.0 として実装・公開予定である ${ }^{21)}$.

21）付録CにKWJA 1.0 から 2.0 における主な変更点を示す.

## 謝辞

本研究で用いた汎用言語モデルの一部は，学際大規模情報基盤共同利用・共同研究拠点 2022 年度公募型共同研究課題「大規模な日本語モデル構築・共有のためのプラットフォームの形成」 (jh221004) に おいて構築した。

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[2] 松田寛. GiNZA - Universal Dependencies による実用的日本語解析. 自然言語処理, Vol. 27, No. 3, pp. 695-701, 2020.

[3] 植田暢大, 大村和正, 児玉貴志, 清丸寛一, 村脇有吾,河原大輔, 黒橋禎夫. KWJA：汎用言語モデルに基づ <日本語解析器. 第 253 回自然言語処理研究会, 京都, 2022.

[4] Sadao Kurohashi, Toshihisa Nakamura, Yuji Matsumoto, and Makoto Nagao. Improvements of Japanese Morphological Analyzer JUMAN. In Proceedings of the International Workshop on Sharable Natural Language Resources, pp. 22-38, 1994.

[5] Arseny Tolmachev, Daisuke Kawahara, and Sadao Kurohashi. Juman++: A Morphological Analysis Toolkit for Scriptio Continua. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 54-59, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[6] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer. Journal of Machine Learning Research, Vol. 21, No. 140, pp. 1-67, 2020.

[7] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language Models are Few-Shot Learners. In H. Larochelle, M. Ranzato, R. Hadsell, M.F. Balcan, and H. Lin, editors, Advances in Neural Information Processing Systems, Vol. 33, pp. 1877-1901. Curran Associates,
Inc., 2020 .

[8] Linting Xue, Noah Constant, Adam Roberts, Mihir Kale, Rami Al-Rfou, Aditya Siddhant, Aditya Barua, and Colin Raffel. mT5: A massively multilingual pre-trained textto-text transformer. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 483-498, Online, June 2021. Association for Computational Linguistics.

[9] Sadao Kurohashi and Makoto Nagao. Building a Japanese Parsed Corpus while Improving the Parsing System. In Proceedings of the NLPRS, pp. 719-724, 1998.

[10] 萩行正嗣, 河原大輔, 黒橋禎夫. 多様な文書の書き始 めに対する意味関係タグ付きコーパスの構築とその 分析. 自然言語処理, Vol. 21, No. 2, pp. 213-247, 2014.

[11] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. RoBERTa: A Robustly Optimized BERT Pretraining Approach. arXiv:1907.11692, 2019

[12] Ilya Loshchilov and Frank Hutter. Decoupled Weight Decay Regularization. In International Conference on Learning Representations, 2019.

[13] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Remi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander Rush. Transformers: State-of-the-art natural language processing. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 38-45, Online, October 2020. Association for Computational Linguistics.

[14] Pengcheng He, Xiaodong Liu, Jianfeng Gao, and Weizhu Chen. DeBERTa: Decoding-enhanced BERT with Disentangled Attention. In International Conference on Learning Representations, 2021.

見出し語 $\square$ 読み $\square$ 原形 $\square$ 代表表記

図 4 疑似データの作成例

## A 疑似データの例

図 4 に疑似データの作成例を示す. 元データの漢字表記の「公園」を，疑似データの入力と出力では それぞれかな表記の「こうえん」に置き換えている。

## B 実験設定の詳細

バッチサイズは 64 に設定し，最大で 30 エポッ ク学習した. 各エポックの終了時に, 開発データ に対する各コーパスごとの損失を計算し，その平均值が最も低いモデルを採用した。また，3エポッ ク連続で損失の改善が見られなければ学習を打ち 切った. オプティマイザには AdamW [12] を使用 し, 学習率は $5 e-4$ とした. またウォームアップの ステップ数を 250 に設定した，逆平方根学習率スケ ジューリングを採用した. 実装には Hugging Face ${ }^{22)}$ が提供する transformers [13] 及び Microsoft が提供す る DeepSpeed ${ }^{23)}$ を使用した。学習には NVIDIA A100 80GB 4 枚を使用し約 13 時間かかった. 推論時には ビーム幅 3 のビームサーチを行った.

## C KWJA 2.0 に向けて

本論文で提案した手法は統合的日本語解析器 KWJA 2.0 の形態素解析モジュールとして実装する 予定である. KWJA 1.0 から 2.0 におけるその他の変更点は以下のとおりである.

学習ベースの文分割 KWJA 1.0 では文分割を規則に基づく文分割器で行っていた. KWJA 2.0 では これを学習ベースの文分割器で置き換える。これに

22) https://huggingface.co/

23) https://github.com/microsoft/DeepSpeed
より，ウェブ上のテキスト等，くだけた表現に対し て頑健な文分割を実現する。

読みアノテーションの修正 JUMAN 系の解析器 $[4,5]$ では読みの同定は重視されておらず，コー パスのアノテーションにおいても，自動付与され た読みの修正は基本的に行わないとされていた。 KWJA が文脈に応じた読み推定を行えるようになっ たことを受けて，読みアノテーションの修正を進め ている.

## 汎用言語モデルにおける DeBERTa の採用 DeBERTa [14] は RoBERTa [11] に対して相対位置埋 め込みを含む種々の改善を施したモデルである. KWJA 2.0 では，汎用言語モデルとして RoBERTa の 代わりに日本語テキストで事前学習した DeBERTa を採用する。これにより，タスク全体の精度向上が 見込まれる。