# Detection of Lexical Semantic Changes in Twitter Using Character and Word Embeddings

Yihong Liu
Graduate School of Comprehensive
Human Sciences,
University of Tsukuba
s2021716@s.tsukuba.ac.jp
}

Yohei Seki
Faculty of Library, Information
and Media Science,
University of Tsukuba
yohei@slis.tsukuba.ac.jp

## 1 Introduction

The prosperity of social media platforms on the Internet, such as Twitter, allow users from different countries, even different races and languages, to communicate with each other. Such huge diversity has given rise to the semantic changes of words on the Internet, namely, internet slang words. Numerous internet slang words which changed (New Semantic Word) or newly created (New Blend Word) by the users keep flooding into social media platforms which would quickly become popular and widely been used and affect our daily life than ever. However, semantic meaning Internet slang words could not be collected into the dictionary as well as a corpus in time, which is essential for people or machines to understand them.

Considerable progress has been made in English internet slang words. However, only few works focus on processing Japanese internet slang words [9], and word embeddings methods use only the word as the basic unit and learn embeddings according to the external context of the word, which only contains limited word-level contextual information.

Our proposed method is to combine the character and word embeddings using word2 vec and ELMo, respectively. Then we use combination of obtained token representations as the input of the Language Models to detect whether the word in the context is an internet slang word or not.

As there are no public Japanese slang words dataset available, we constructed an internet slang word dataset which contains 40 internet slang words and their meanings as an internet slang word. We separated them into two categories: New Semantic Words and New Blend Words with their characteristics manually. The conducted experiment using this dataset shows that our proposed embedding methods performed better than baseline methods significantly, in processing Japanese internet slang words.

The contributions in this paper are summarized as follows: (1) We proposed a dataset with a novel approach which classifies Japanese internet slang words into two categories, "New Semantic Word", and "New Blend Word"; (2) to obtain token representations for Japanese internet slang words effectively, we also proposed a novel embedding method which combines character and word embeddings utilizing word2vec and ELMo respectively; (3) our experimental results revealed that our proposed encoder which encoded richer syntactic and semantic information about words in-context performed better than baseline methods which used word2vec word embeddings.

This paper is organized as follows. In Section 2, we summarize related works to distinguish Japanese non-standard usages with contextual word embeddings and handling OOV (out-of-vocabulary) words in other Languages by character embeddings. Section 3 describes the Japanese internet slang words dataset we constructed from Twitter. In Section 4, we introduce our proposed model to address the aforementioned problems. In Section 5, the details of the conducted experiments are provided. Finally, the conclusion and our future works are given in Section 6

## 2 Related Work

## 2.1 Internet Slang Words

The emergence of Internet slang words is the result of language evolution. Linguistic variation is a core concept of sociolinguistics [1], a new type of language feature, and a manifestation of the popular culture of social networks. In the information transmitted on social media, some internet slang words have the kind of words with different meanings
from the dictionary, and there are also words that are not listed in the general dictionaries. Therefore, based on this feature, this study divided them into two categories, one is a new semantic word with different meanings from those recorded in dictionaries, and the other is a new blend word that is not recorded in general dictionaries.

Although internet slang words are different from standard words in meaning and usage, they have their own fixed collocations. Therefore, considering these between words in the context, we can extract the words used as internet slang due to the contextual difference. Aoki et al. [9] attempted to distinguish the non-standard usage of common words on social media that are the same as the new semantic words in our research by using contextual word embedding.

## 2.2 Character-based Word Embeddings

Character-based word representations are now a standard part of neural architectures for natural language processing. Lample et al. [4] illustrated that character representation can be used to handle OOV (out-of-vocabulary) words in a supervised tagging task. Chen et al. [2] proposed multipleprototype character embeddings to address the issues of character ambiguity and non-compositional words. With the character and word representation, language models will have a more powerful capability of encoding internal contextual information.

## 3 Internet Slang Corpus

In this section, we describe the construction of our dataset in Section 3.1, and our prepossessing on the dataset by separating extracted Japanese internet slang words into two proposed types are described in Section 3.2 and 3.3.

## 3.1 Corpus Construction

Dataset in our experiment is constructed using crawled tweets in Japanese via Twitter API. First, we defined 40 internet slang words, while 20 words belong to New Semantic Word and 20 words belong to New Blend Word. The details of New Semantic Word and New Blend Word are given in Section 3.2 and 3.3, respectively. Then we extracted 30 sentences that contain the internet slang words, while another 30 sentences also contain the same words but used as not internet slang for a comparison. Thirdly, the collected Japanese texts are segmented in two ways,
Table 1 Annotations of Japanese Internet Slang Words New Semantic Word

-Character-level

初/ O 鯖/B-sem の/O 初/O 心/O 者/O に/O

迷/O 惑/O か/O け/O る/Oな/O ! /O

-Word-level

初/ $\mathrm{O}$ 鯖/sem の/ $\mathrm{O}$ 初心者/O に/O

迷惑/Oかける/Oな/O！/O

New Blend Word

-Character-level

そ/B-bln マ/I-bln ? /O 行/O け/O る/O 時/O

言/O っ/O て/O バ/O イ/O ト/O 無/O け/O れ/O

ば/O ワ/Oイ/Oも/O行/Oく/O わ/O

-Word-level

そマ/bln?/O行ける/O 時/O 言っ/O て/O

バイト $/ \mathrm{O}$ 無けれ/O ば/O ワイ/Oも/O 行く/O わ/O

one is to separate the characters based on the characterlevel, and the other is based on the word unit to segment words by Mecab ${ }^{1)}$. Finally, we explain the annotation tags for tokens. For word-level, sem stand for New Semantic Word, bln means New Blend Word, and O(Others) stand for common words. While in character-level, we also add BIO(B-Begin I-Inside O-Others) tagging style to represent the position information of character-based tokens. Examples are given in Table 1.

## 3.2 New Semantic Word

New Semantic Words are often the vocabulary that is originally recorded in the dictionary and used daily. It, however, has new meanings which used widely because of its similarity in pronunciation to other terms, or some iconic popular events, etc. Although this type of vocabulary can be segmented directly, the meaning of the text will be very different because of the change in meaning and even part of speech. Examples are shown in the Table 2,

Table 2 Examples of New Semantic Word

## New Semantic Word

Internet Slang Word: Meaning/ English Translation

-草: 面白い/interesting

-丸い: 無難/safe

-炎上: 批判のコメントが殺到する状態/internet troll

Table 3 Examples of New Blend Word

## New Blend Word

Internet Slang Word: Meaning/ English Translation

-わかりみ: 分かること/understanding

-秃同: 激しく同意/strongly agree

-ふあぼ: お気に入り/favourite

## 3.3 New Blend Word

New Blend Words often borrow foreign words, dialects, numeric elements, and icons. They often combine definitions, homonyms, abbreviations, repetitions, and other word formation methods as well as unconventional grammars [3]. Internet language has achieved the effect of "novelty" through its unconventional nature and non-standard usage in its defining characteristic. An example is given in the Table 3.

## 4 Proposed Encoder Model

We propose an encoder model which combined the character and word embeddings for each token as the token representation. We take them as the input for two layers of biLSTM network, which will be accumulated to the sum according to their respective weights by referring to [5].

Considering the relationships between the word and its characters, the discriminative characters are crucial for distinguishing the slight semantic differences [7]. In terms of the joint embedding model, word embedding can store textual information among words. Adding character representation also provide the semantic information between characters.

The embedding obtained by word $2 \mathrm{vec}$ is fixed, while the ELMo [6] can change it flexibly according to the context. Therefore, using embeddings from word $2 \mathrm{vec}$ which obtain static standard contextual information and accumulating them into ELMo representation can make the semantic distinction based on the context from the dataset.

Following Rei et al. [8], we also uses CRF as the output layer to predict token's tag. In this architecture, the last hidden layer is used to predict confidence scores for the word with each of the possible labels.

## 4.1 Character and Word Embedding

The general structure of our model is given in Fig. 1.

The parameter $w_{j}$ is the word embedding of token $j, N_{j}$

Figure 1 Structure of Our Proposed Model

is the number of characters in this token, $c_{j}^{k}$ is the embedding of the $k$-th character. $x_{j}$ and $y_{j}^{k}$ are joint embeddings for the Word-level unit annotation and Character-level unit annotation, which equations are given as (1) and (2), respectively:

$
\begin{gathered}
x_{j}=w_{j} \oplus \frac{1}{N_{j}} \sum_{k=1}^{N j} c_{j}^{k} \\
y_{j}^{k}=c_{j}^{k} \oplus \frac{w_{j}}{N_{j}}
\end{gathered}
$

## 4.2 ELMo Representation

We also trained the ELMo model introduced by Peter et al. [6] with the same Japanese Wikipedia Dataset, whereby all of the layers are combined with a weighted average pooling operation.

$
\mathbf{E L M o}_{k}=\gamma \sum_{j=0}^{L} s_{j} \mathbf{h}_{k, j}
$

where $\mathbf{h}_{k, j}$ is the hidden state outputs for each biLSTM layer. The parameters $s$ are softmax-normalized weights and scalar parameter $\gamma$ allows the task model to scale the entire ELMo vector. $\gamma$ means practical importance to aid the optimization process.

## 5 Experiment

## 5.1 Dataset and Setting

We selected the Japanese Wikipedia Dataset ${ }^{2)}$ for character and word embedding learning where the number of words and characters wre about 312 thousands and 10 thousands respectively. We set vector dimension as 200 and context window size as 10 for character based and 5 for word based, and also set other setting as same as in the Japanese Wikipedia Entity Vector ${ }^{3)}$.

## 5.2 Baseline Methods

To verify the superiority of the joint embedding model of words and characters and the ability to distinguish semantics with ELMo embedding, we set two baseline models as follows.

(1) Baseline1 (w): word-only embeddings with LSTM networks (2) Baseline2 (w+c): character and word embeddings with LSTM networks

Meanwhile, we conduct two-sided t-Test for the average value of the precision, recall, and F1 score for 10 words in two annotation levels so as to investigate the statistical significance between our model and two baseline models.

## 5.3 Result

Experimental results on New Semantic Word and New Blend Word are shown in Table 4 and in Table 5.

Our results proved that the joint embedding model has a significant improvement in the results to extract internet slang words compared to the baselines using word embedding only, or using LSTM instead of ELMo. Of course, due to the complexity of the embedding model, in the experiment, the model using joint embedding converges to the same minimum loss, which requires more iterations. In particular, considering that the dimension of ELMo itself is much larger than the basic bidirectional LSTM (200 dimensions vs. 1024 dimensions), the iteration of the ELMo model requires more layers of iteration.

Regardless of whether it is a new semantic word or a new blend word, our model worked effectively, especially for the word level annotation corpus. This may be due to the fact that the semantic information between characters is too rich and complicated in the text annotated in character units, especially for new semantic words. It is obvious

2) https://dumps.wikimedia.org/jawiki/latest/, accessed on Oct 2020

3) http://www.cl.ecei.tohoku.ac.jp/ m-suzuki/jawiki_vector/
Table 4 Results of Detecting New Semantic Words

Table 5 Results of Detecting New Blend Words

${ }^{*}$ Compared to the baselines, our model cases improved at the significance level of $5 \%$.

** Compared to the baselines, our model improved at the significance level of $1 \%$.
- Compared to the baselines, our model improved but with no significance. The left symbol means the significant difference for Baseline1, while the right symbol for Baseline2.

that the results of the new blend words are better under the character unit level annotation.

In addition, because most of the new blend words are innovative words, there is less semantic change, and most of them are accompanied by fixed collocations, or have a fixed place in the sentence. Combining all the experiments and methods, the extraction methods of our model for such words performs better.

## 6 Conclusion

We have shown that the combination of character and word embeddings through the deep bidirectional Language Models can learn the rich information from the context, which not only contain the association between characters and words, but also utilize contextual semantic information of characters effectively. In future work, we will extract the meaning of the internet slang words by joint embedding models.

## Acknowledgement

This work was partially supported by a JSPS Grant-inAid for Scientific Research (B) (\#19H04420).

## References

[1]Jack K Chambers. Sociolinguistic Theory. Wiley-Blackwell, 2008.

[2]Xinxiong Chen, Lei Xu, Zhiyuan Liu, Maosong Sun, and Huanbo Luan. Joint learning of character and word embeddings. In Proceedings of the 24th International Conference on Artificial Intelligence, IJCAI'15, p. 1236-1242, 2015.

[3]Fazal Masud Kundi, Shakeel Ahmad, Aurangzeb Khan, and Muhammad Zubair Asghar. Detection and scoring of internet slangs for sentiment analysis using sentiwordnet. Life Science Journal, Vol. 11, No. 9, pp. 66-72, 2014.

[4]Guillaume Lample, Miguel Ballesteros, Sandeep Subramanian, Kazuya Kawakami, and Chris Dyer. Neural architectures for named entity recognition. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 260-270, San Diego, California, June 2016.

[5]Matthew Peters, Waleed Ammar, Chandra Bhagavatula, and Russell Power. Semi-supervised sequence tagging with bidirectional language models. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1756-1765, Vancouver, Canada, July 2017.

[6]Matthew Peters, Mark Neumann, Mohit Iyyer, Matt Gardner, Christopher Clark, Kenton Lee, and Luke Zettlemoyer. Deep contextualized word representations. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 2227-2237, New Orleans, Louisiana, June 2018.

[7]Xue Qiao, Chen Peng, Zhen Liu, and Yanfeng Hu. Wordcharacter attention model for chinese text classification. International Journal of Machine Learning and Cybernetics, Vol. 10, No. 12, pp. 3521-3537, 2019.

[8]Marek Rei, Gamal Crichton, and Sampo Pyysalo. Attending to characters in neural sequence labeling models. In Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics: Technical Papers, pp. 309-318, Osaka, Japan, December 2016.

[9]青木竜哉, 笹野遼平, 高村大也, 奥村学. ソーシャルメ ディアにおける単語の一般的ではない用法の検出. 自然言語処理, Vol. 26, No. 2, pp. 381-406, 2019.


# NTCIR15 QA Lab-Polilnfo-2 の報告およびデータセット公開

木村泰知

小樽商科大学

kimura@res.otaru-uc.ac.jp

内田ゆず

北海学園大学

yuzu@hgu.jp

三田村照子

カーネギーメロン大学

teruko@andrew.cmu.edu渋木英潔

国立情報学研究所

shib@nii.ac.jp

乙武北斗

福岡大学

ototake@fukuoka-u.ac.jp

吉岡真治

北海道大学

yoshioka@ist.hokudai.ac.jp高丸圭一

宇都宮共和大学

takamaru@kyowa-u.ac.jp

石下円香

国立情報学研究所

ishioroshi@nii.ac.jp

秋葉友良豊橋技術科学大学

akiba@cs.tut.ac.jp
## 小川泰弘

名古屋大学

yasuhiro@is.nagoya-u.ac.jp

横手健一

日立製作所

kenichi.yokote.fb@hitachi.com

荒木健治

北海道大学

araki@ist.hokudai.ac.jp佐々木稔

茨城大学

minoru.sasaki.01@vc.ibaraki.ac.jp

神門典子

国立情報学研究所

kando@nii.ac.jp森辰則

横浜国立大学

mori@forest.eis.ynu.ac.jp関根聡

理化学研究所

satoshi.sekine@riken.jp

## 1 はじめに

QA-Lab PoliInfo-2 は政治情報を対象とした Shared taskである. 我々は，国際評価型ワークショップ NTCIR-15 ${ }^{1)}$ において QA Lab-PoliInfo-2[1]を 2019 年 6 月から 2020 年 12 月にかけて実施した. QA LabPoliInfo-2 では，地方議会会議録コーパス [2] に加え て, 東京都議会会議録, 都議会だより, Wikipediaを 言語資源として，4つのタスクを設計した.

本稿では，NTCIR-15 QA Lab-PoliInfo-2 における下記の 4 つのタスクの報告をするとともに，データ セットの公開方法について述べる.

1. Stance Classification

2. Dialog Summarization

3. Entity Linking

4. Topic Detection

図 1 PoliInfo-2の4つのタスクの関係図

## 2 NTCIR15 QA Lab-Polilnfo-2

図 1 に QA Lab-PoliInfo-2 で目標とする課題の全体像と各タスクの位置づけを示す。NTCIR-15 QA Lab-PoliInfo-2 では，参加者に共通のデータセットを 配布するとともに，公式サイト ${ }^{2} に お い て ，$ 予め定 めた評価手法を用いてスコア順に表示する Leader Board を設置した.

2) https://poliinfo2.net/

## 2.1 参加チーム

NTCIR-15 QA Lab-PoliInfo-2 の Formarl run (本テス ト) に参加した 14 チームを下記に示す.
1. akbl $^{*}$ (Toyohashi University of Technology)

2. Forst* (Yokohama National University)

3. HUHKA* (Hokkaido University)

4. Ibrk* (Ibaraki University)

5. JRIRD (The Japan Research Institute, Limited)

6. knlab (Shizuoka University)

7. LIAT* (RIKEN AIP)

8. nukl* (Nagoya University)

9. selt (Waseda University)

10. SKRA (Hokkaido University)

11. TKLB (Osaka Electric-Communication University)

12. wer99 (Tokyo Institute of technology)

13. wfrnt* (HITACHI)

14. TO* (Task Organizers)

表 1 に Formal runの期間（2020 年 7 月 12 日から 2020 年 7 月 31 日まで）の投稿数を示す.

表 1 QA Lab-PoliInfo-2 の Formal run における投稿数

 &  &  &  \\

## 2.2 Polilnfo-2 データセット

QA Lab-PoliInfo2 の Formal run で，参加者に配布し た公式データセットを下記のウェブサイトで 2021年 3 月に公開する。

https://github.com/poliinfo2

公式データセット以外にも，参加者から，本タス クに関連のあるデータおよびプログラムが提供され た. Dialog summarization では，TO チームから発言 ごとに分割したデータと発言者の役職のデータを 公開した ${ }^{3)}$. Stance Classification では，akblチームか ら，議員名/所属会派辞書4）およびルールベース賛否予測プログラム5) が提供された。

## 3 Stance Classification task

Stance Classification task は「会派」を用いて，政治家の発言から，会派の立場を推定するタスクであ る。具体的には，東京都議会における議員の発言を 対象として，会派の各議案に対する賛成・反対の立場を推定する．下記に入力，出力，評価について記述する。

評価は，各会派の議案数ごとに，賛成・反対の立場があることから，それらの総数を分母として， Accuracy を計算する．都議会だより6)には，議会で 議論された議案ごの採決結果が, 賛成, 反対に分け て，記述されている．その都議会だよりは，議会事務局が作成していることから，議会だよりに記述さ れている「賛成」「反対」を正解としてデータセット を構築した. 東京都議会会議録のファイル数，およ び，ファイルサイズを下記に示す.

また，解答ファイルに含まれる議案数およびサイ ズを下記に示す.

3) https://github.com/yasuhiro-ogawa/ poliinfo2-resources

4) https://github.com/cat415/NTCIR15-Dictionary-python-script

5) https://github.com/cat415/NTCIR15-rulebase-python-script

6) https://www.gikai.metro.tokyo.jp/newsletter/

Listing 1 と Listing2 は Stance Classificationn の会議録，および，解答の Json ファイルの例である.

表 2 に Stance classification の結果 (Accuracy) を示 す.ここでは，各チームの最も高い Accuracy の結果 を示している．詳細は，各チームの論文（wer99[3] Ibrk[4], knlab[5], akbl[6], Forst[7]）に記載されている.

表 2 Stance classification の結果 (Accuracy)

## 4 Dialog Summarization task

Dialog Summarization は地方議会における「議員の 質問」と「知事側の答弁」という対話構造を考慮し
ながら要約するタスクである. 下記に入力, 出力,評価について記述する.

会議録ファイルのデータサイズは下記に示す.

解答ファイルの問題数，サイズを下記に示す.

Dialog Summarization の正解は，都議会だよりを利用している．都議会だよりは，議会で記載された内容が議会事務局の職員により作られていることか ら，人手により作成された「正解の要約」とみなす ことができる.

Listing 3 Dialog summarization の会議録の例 (Json)

"ID":"130001_230617_2",

"Line ":2,

"Prefecture ": 東京都,

"Volume "：平成年23第 2 回_,

"Number": 1

"Year":23,

"Month": 6 ,

"Day":17,

"Title "：平成年23第 2 回定例会_第7号 (),

"Speaker "：和田宗春,

"Utterance"：ただいまから平成二十三年第二回東京都議会定例会を開会いたします。

Listing 4 Dialog summarization の解答例 (Json)

\{

"AnswerEndingLine ": [ 532 ],

"AnswerLength": [ 50 ],

"AnswerSpeaker": [ 知事"" ]

"AnswerStartingLine": [ 528 ],

"AnswerSummary": [全国の先頭に立ち刻苦する被災地を支援す るのは当然。今後も強力に後押しする。

"Date": "2011-06-23",

"Date": "2011-06-23",

"MainTopic "：東京の総合防災力を更に高めよくbr環境に配慮した 都市づくりを〉

"Meeting "：平成年第回定例会232,

"Prefecture ": 東京都

"QuestionEndingLine": 276,

"QuestionLength": 50,

"QuestionSpeaker ": 山下太郎（民主党）

"QuestionStartingLine": 266

"QuestionSummary"：被災地が真に必要とする支援に継続して取 り組むべき。知事の見解は。，

表 3 に Dialog summarization の ROUGE-1-R scores の結果 (Formal run の一部) を示す. 詳細は，各 チームの論文 ( JRIRD[8], nukl[9], Forst[7], wfrnt[10], SKRA[11], LIAT[12]）に記載されている.また，人手評価の詳細については，Overview 論文に記載され ている.

表 3 Dialog summarization の結果 (ROUGE-1-R scores)

※各チームの最も高い Rouge-1-Recall の結果を示す

## 5 Entity Linking task

Entity Linking では，議会会議録に含まれる政治家 の発言を対象として，表記摇れ，曖昧性，根拠の有無を明らかにすることに焦点を絞り，発言内容の根拠をみつけるタスクである．具体的には，会議録に 含まれる法律名を抜き出し，表記摇れや曖昧性を解決しつつ，一次情報（異なる言語資源）と結びつけ る. 下記に入力，出力，評価について述べる.

出力 法律名のメンション抽出 メンションに対応する Wikipedia URLへの連結評価 End-to-End (メンション抽出、曖昧性解消) 評価

Entity linking のファイルサイズを下記に示す.

入力と出力の形式は AIDA CoNLL-YAGO Dataset format を用いる [13]. 表 4 に Entity Linking のデータ フォーマットを示す. Entity Linkig のデータフォー マットは，形態素，IOB2，メンション，正式名称， Wikipediaへの URLがタブで区切られている.

表 5 に Entity Linking の結果 (Formal run の一部)表 4 Entity Linking のデータフォーマット

を示す、詳細は，各チームの論文（HUHKA[14], Forst[7], selt[15], nukl[9]）に記載されている.

表 5 Entity Linking $の$ 結果 (F-measures)

※各チームの最も高い $\mathrm{F}$ 値の結果を示す

## 6 Topic Detection task

Topic Detection では，会議録の速報版から，「適切 な議題の一覧」を議員ごとにまとめて提示するタス クである。下記に入力，出力を示す。

大力 東京都議会の令和 2 年第 1-2 回定例会 (速報版)

出力 議員ごとにまとめられた議題の一覧

評価については参加チームで「適切な議題とは 何か」に関して議論した．詳細は，各チームの論文（TKLB[16], Ibrk[4], akbl[6], nukl[9]）に記載され ている.

## 7 おわりに

本稿では，NTCIR-15 QA Lab-PoliInfo-2 における 4 つのタスク (Stance Classification, Dialog Summarization, Entity Linking, Topic Detection) の報告をすると ともに，データセットの公開方法について述べた.

今後は, QA Lab-PoliInfo-2 のタスクを発展させ, Question Answering, QA Alignment, Fact Verification, Budget Argument Mining のタスクを検討している.

## 謝辞

本研究は JSPS 科研費 18K00632，20K00576, 20H00059,20K01736 およびセコム科学技術振興財団の助成を受けたものである.

## 参考文献

[1]Yasutomo Kimura, Hideyuki Shibuki, Hokuto Ototake, Yuzu Uchida, Keiichi Takamaru, Madoka Ishioroshi, Teruko Mitamura, Masaharu Yoshioka, Tomoyoshi Akiba, Yasuhiro Ogawa, Minoru Sasaki, Kenichi Yokote, Tatsunori Mori, Kenji Araki, Satoshi Sekine, and Noriko Kando. Overview of the ntcir-15 qa lab-poliinfo task. Proceedings of The 15th NTCIR Conference, 122020.

[2]Yasutomo Kimura, Keiichi Takamaru, Takuma Tanaka, Akio Kobayashi, Hiroki Sakaji, Yuzu Uchida, Hokuto Ototake, and Shigeru Masuyama. Creating Japanese political corpus from local assembly minutes of 47 prefectures. In Proceedings of the 12th Workshop on Asian Language Resources (ALR12), pages 78-85, Osaka, Japan, December 2016. The COLING 2016 Organizing Committee.

[3]Yuichi Sasazawa and Naoaki Okazaki. Wer99 at the ntcir-15 qa lab-poliinfo-2 classification task. Proceedings of The 15th NTCIR Conference, 122020.

[4]Ryo Kato and Minoru Sasaki. Ibrk at the ntcir-15 qa labpoliinfo-2. Proceedings of The 15th NTCIR Conference, 12 2020.

[5]Kazuhiro Atsumi and Yoshinobu Kano. knlab team: Ntcir-15 qa lab-poliinfo stance classification task. Proceedings of The 15th NTCIR Conference, 122020.

[6]Takanori Nekomoto, Ryoto Ohsugi, Tomoyosi Akiba, Shigeru Masuyama, and Daiki Shirato. akbl at the ntcir15 qa lab-poliinfo-2 tasks. Proceedings of The 15th NTCIR Conference, 122020.

[7]Hiromu Onogi, Kiichi Kondo, Younghun Lim, Xinnan Shen, Madoka Ishioroshi, Hideyuki Shibuki, Tatsunori Mori, and Noriko Kando. Forst: A challenge to the ntcir-15 qa labpoliinfo-2 task. Proceedings of The 15th NTCIR Conference, 122020.

[8]Kazuma Kadowaki. Jrird at the ntcir-15 qa lab-poliinfo2 task: An abstractive dialog summarization system for japanese assembly minutes. Proceedings of The 15th NTCIR Conference, 122020.

[9]Yasuhiro Ogawa, Yuta Ikari, Takahiro Komamizu, and Katsuhiko Toyama. Nukl at the ntcir-15 qa lab-poliinfo-2 task. Proceedings of The 15th NTCIR Conference, 122020.

[10]Ken-Ichi Yokote. wfrnt team at the ntcir-15 qa lab-poliinfo-2 task. Proceedings of The 15th NTCIR Conference, 122020.

[11]Daiki Shirafuji, Hiromichi Kameya, Rafal Rzepka, and Kenji Araki. Summarizing utterances from japanese assembly minutes using political sentence-bert-based method for qa labpoliinfo-2 task of ntcir-15. Proceedings of The 15th NTCIR Conference, 122020.

[12]Kouta Nakayama and Satoshi Sekine. Liat team' s extractive summarizer at ntcir-15 qalab poliinfo-2. Proceedings of The 15th NTCIR Conference, 122020.

[13]Erik F. Tjong Kim Sang and Fien De Meulder. Introduction to the conll-2003 shared task: Language-independent named entity recognition. In Proceedings of the Seventh Conference on Natural Language Learning at HLT-NAACL 2003 - Volume 4, CONLL '03, pages 142-147, Stroudsburg, PA, USA, 2003. Association for Computational Linguistics.

[14]Takuma Himori, Yasutomo Kimura, and Kenji Araki. Huhka at the ntcir-15 qa lab-poliinfo-2 entity linking task. Proceedings of The 15th NTCIR Conference, 122020.

[15]Yuji Naraki and Tetsuya Sakai. selt team' s entity linking system at the ntcir-15 qa lab-polinfo2. Proceedings of The 15th NTCIR Conference, 122020.

[16]Yuya Hirai, Yo Amano, and Kazuhiro Takeuchi. Ntcir-15 qa lab-poliinfo2 topic detection based on lda and argument structure graph. Proceedings of The 15th NTCIR Conference, 122020 .


# 定義文を用いた文埋め込み構成法

塚越駿笹野遼平武田浩一
名古屋大学情報学部名古屋大学大学院情報学研究科
tsukagoshi.hayato@e.mbox.nagoya-u.ac.jp \{sasano, takedasu\}@i.nagoya-u.ac.jp

## 1 はじめに

近年，自然言語推論 (Natural Language Inference: NLI) データセットを用いて文埋め込みを構成する 手法が成功を収めており，文類似度 (Semantic Textual Similarity: STS) タスクをはじめとする様々なタスク で活用されている [1,2].これらの手法では，NLI データセットの文ぺアに付与されている「含意」「矛盾」「その他」のラベルを正しく分類するというタス クを通して文埋め込みを構成する。しかし，このよ うな手法は，大規模な NLI データセットが整備され ている言語でしか利用できないという問題がある.

本研究ではこの問題を解決するため，辞書に含ま れる単語とその定義文が基本的に同一の意味内容を 表すという関係に着目し，辞書の定義文を用いた文埋め込み構成法を提案する。辞書は NLI データセッ トと比べ，はるかに多くの言語において整備が行わ れており，定義文を用いた文埋め込み構成法は多く の言語に適用可能であると考えられる.

## 2 定義文を用いた文埋め込み構成法

本研究で提案する定義文による文埋め込み構成法は，NLI データセットを用いて文埋め込みを構成するモデルとして代表的な Sentece-BERT [1] と同様，BERT [3] や RoBERTa [4] などの事前学習済み言語モデルをベースとし，これらのモデルの出力から 文埋め込みを構成する (図 1). 本節ではまず BERT と RoBERTa，および，Sentence-BERTを紹介し，続 いて提案する文埋め込み構成法の説明を行う。

## 2.1 BERT と RoBERTa

BERT は複数層の Transformer [5] エンコーダで構成される事前学習済み言語モデルである。 マスク穴埋め問題と次文予測によって，大規模なテキスト データで自己教師あり学習を行うことで言語知識 を獲得し, 文脈に従った単語埋め込みを出力する。 マスク穴埋め問題は，入力文の中のトークンを一定

図 1 Sentence-BERT (左) と提案手法 (右) の概要図

の割合で [MASK] という特殊トークンに置き換えて モデルへ入力し, [MASK] に対応する位置の最終層 の埋め込みを用いて，置き換え前のトークンを予測 するタスクである．次文予測は，文区切りトークン [SEP] で繋がれた 2 文を BERT に入力した際，文頭 に付与された特殊トークン [CLS] の出力をもとにそ れらが元のテキストデータで連続する 2 文であるか どうかを予測するタスクである。

一方，RoBERTa は BERT と同様の構造をしている が，BERT で事前学習時に行われていた次文予測を 排除し，データサイズ，バッチサイズを大きくする ことで BERT の改善を試みたモデルである．次項以降で説明する Sentence-BERT と提案手法はいずれも ベースモデルとして BERT と RoBERTa が利用可能 であるが，本稿におけるモデルの説明では基本的に BERTを用いた場合について説明する。

## 2.2 Sentence-BERT

NLI データセットを用いた文埋め込み構成法は Conneau ら [2]により提案された. Conneau らは, パ ラメータを共有した 2 のモデルの学習を行う Siamese network 構造を用いて，類似した文が意味べ クトル空間上で近い位置に分布するように文埋め込 みを構成する InferSentを提案した. Reimers ら [1] に よって提案された Sentence-BERT は, InferSent と類
似した構造を採用しているが，文ベクトルの構成に fine-tuning した BERTを用いている. Sentence-BERT の概要を図 1 左に示す. Sentence-BERT では，まず 文を BERT に入力し, その出力を pooling すること で文ベクトルを構成する. pooling 手法には以下の 3 種類が用いられる。

CLS BERT の事前学習時に次文予測で用いられる [CLS] トークンの埋め込みを用いる。RoBERTaを 用いる場合は $[\mathrm{CLS}]$ が存在しないため, 代替とし て文頭トークン $<\mathrm{s}>$ の埋め込みを用いる。

Mean 文を構成するすべての語の文脈化単語埋め込 みの平均を用いる。

Max 文を構成するすべての語の文脈化単語埋め込 みの次元ごとの最大値を用いる.

pooling により得られる文ぺアのそれぞれの文埋め 込みを $\boldsymbol{u}, \boldsymbol{v}$ とする. それらを組み合わせたべクト ル $[\boldsymbol{u} ; \boldsymbol{v} ;|\boldsymbol{u}-\boldsymbol{v}|]$ をクラス数と同じ数の出力次元を 持つラベル予測層に入力し, 文ぺアに付与されて いる「含意」などのラベルを正しく予測できるよ うに fine-tuning を行う． fine-tuning には，SNLI デー タセット [6]，および，Multi-Genre NLI データセッ ト [7]を合わせた約 100 万文を用いる。

## 2.3 定義文を用いた文埋め込み

本研究では，単語とその定義文が同一の意味内容 を表すことに着目し, 定義文から単語予測を行うこ とで文埋め込みを構成する。提案手法の概要を図 1 右に示す.ここで，ある定義文 $X_{k}$ に対応する単語 を $w_{k}$ と表し, BERT の事前学習時にマスク穴埋め 問題で用いられる [MASK] の埋め込みから元のトー クンを予測する層を単語予測層と呼ぶ.

まず， $X_{k}$ を BERT に入力し，出力を pooling する ことで $X_{k}$ の文埋め込み $\boldsymbol{u}_{k}$ を構成する. pooling 手法には Sentence-BERT と同様に CLS, Mean, Max の 3 種類を用いる. 次に，構成した文埋め込み $\boldsymbol{u}_{k}$ を単語予測層に入力し， $X_{k}$ を入力としたときの $w_{k}$ の出現確率 $P\left(w_{k} \mid X_{k}\right)$ を得る. 損失関数に交差エントロ ピー誤差を用いて, $P\left(w_{k} \mid X_{k}\right)$ を最大化するように fine-tuning を行う.

この際，単語予測層には事前学習時のパラメータ を固定して用いる. これにより, 追加の分類器など を新たに学習せず fine-tuning を行うことができる. また，事前学習時の単語予測層をそのまま使ってい るため，提案手法で得られる文埋め込みは，その文 が表す意味内容に近い意味で使用されている単語が表 1 データセットの統計値

存在した場合，その文脈化単語埋め込みと類似する という性質が期待できる。

## 3 単語予測実験

提案手法により構成した文の埋め込みが，どの程度，文の意味を埋め込めているか評価するため，定義文の埋め込みを用いた単語予測実験を行った.

## 3.1 使用するデータセット

提案手法は単語と定義文のペアを必要とする．本研究では, 石渡ら [8] が公開しているデータセット の中から, Oxford Dictionary の単語と定義文を利用 した. 各エントリは単語と定義文のペアからなり，一つの単語が複数の定義文を持ち得る. データは 単語ごとに訓練データ/開発データ/テストデータに 8:1:1 の割合で分割した. また，提案手法は単語予測層に BERT または RoBERTa の事前学習時の層を 用いるため, 各モデルの語彙に含まれない単語に関 する予測確率を単語予測層から得ることはできな い.したがって，本実験ではデータセットの中から BERT, RoBERTa それぞれの語彙に含まれる単語と その定義文のみを用いる。利用したデータセットの 統計値を表 1 に示す.

## 3.2 実験設定

事前学習済みモデルとして，Hugging Face ${ }^{1)}$ が公開しているライブラリである Transformers ${ }^{2}$ から， BERT-base (bert-base-uncased), BERT-large (bert-largeuncased), RoBERTa-base (roberta-base), RoBERTa-large (roberta-large) を利用した. fine-tuning の設定として, バッチサイズは 16 , エポック数は 1 , 最適化手法 に Adamを用いた.また, 学習の開始時点では学

表 2 単語予測の性能

習率を 0 とし，全学習ステップのうち $10 \%$ で，設定した値まで線形に学習率を増加させる warm-up を用いた. 学習率は各モデル, pooling 手法ごとに $2^{x} \times 10^{-6}, x \in\{0,0.5,1, \ldots, 7\}$ の範囲で探索し, 開発 データでの平均逆順位 (Mean Reciprocal Rank; MRR) が最も高くなった学習率を使用した. 異なるシード 値で 10 回実験を行い，その平均を評価スコアとし た. 定義文を入力した際に出力される単語の予測確率から MRR と， 1，3，10 位以内に正解が含まれる 割合 (Top- $k$ accuracy) を算出し，評価に用いた。ま た，比較対象として BERT-base モデルを fine-tuning せずに使った場合の性能も算出した。

## 3.3 実験結果

実験の結果を表 2 に示す. fine-tuning しなかった 場合の性能は pooling 手法として Maxを選んだ場合 が最も高かったものの, その Top-1 accuracy は 0.0157 と極めて低い値であり，高い性能を得るためには fine-tuning を行うことが必須であることが確認でき る. 提案手法では, baseを用いたモデルより largeを 用いたモデル，BERTを用いたモデルより RoBERTa を用いたモデルの方が性能が高く，RoBERTa-large と Mean の組み合わせが最も高い性能を示した.ま た, RoBERTa-large 以外のモデルは, pooling 手法に CLS を用いたモデルが最も高い性能を示した.

## 4 応用タスクにおける性能評価

生成された文埋め込みの一般的な有用性を評価 するため Semantic Textual Similarity (STS) タスク，お よび，文埋め込み評価のためのツールキットである SentEval を用いた評価を行った.

## 4.1 実験設定

本節では，Reimers [1] らにより報告されている各 タスクの性能と, 提案手法の性能との比較を行う.評価は，モデルごとに 3 節の実験で開発データの MRR が最も高かった pooling 手法を用いて行った3).既存手法の性能は Reimers ら [1] の結果を引用した.

## 4.2 Semantic Textual Similarity タスク

Semantic Textual Similarity (STS) タスクは，文ペア が与えられた時に，その文ぺアの意味的な類似度 を推定するタスクである. 教師なし設定の場合, STS データセットを用いた学習は行わず，事前に 学習したモデルを用いて文ぺアをそれぞれ文埋 め込みに変換し，それらを用いて算出された文ぺ アの類似度と, 人手評価との順位相関係数によ り評価する。本研究では，提案手法が一般の文に 対して妥当な文埋め込みを構成できているか評価するため, STS12-16 [11-15], STS benchmark [16], SICK-Relatedness [17] の各データセットを用いた教師なしSTS タスクにより評価を行った。これらの データセットには文ぺアとその類似度が含まれてお り，類似度は人手評価によって付与された 0 から 5 の実数である. 文埋め込みの類似度には余弦類似度 を用い，データセットに含まれる人手評価とのスピ アマンの順位相関係数を算出した. 異なるシード值 で 10 回実験を行い，その平均を評価スコアとした。

実験の結果を表 3 に示す. 提案手法で用いる 学習データは, Sentence-BERT の学習に使用され ているデータの $5 \%$ 程度の規模であるにも関わ らず，提案手法の BERT-base, RoBERTa-base モデ ルは Sentence-BERT-base, Sentence-RoBERTa-base と 遜色のない性能を示すことが確認できる. 特に， STS12-16 の集約版である STS benchmark において，提案手法の RoBERTa モデルは高い性能を示した.

## 4.3 SentEval

SentEval [18] は，感情分類などを含む様々なタス クを集約したツールキットである。文埋め込みを入力とする分類器の学習を行い, その性能から文埋め 込みがどのような情報を捉えているかを評価する.本研究では, Reimers ら [1] と同一のタスクについて 実験を行った。各タスクの概要を表 4 に示す. 評価 には，前節の設定で fine-tuning を行ったモデルを使

STS-B は STS benchmarkを，SICK-R は SICK-Relatednessを表す. 各タスクごとに最良の結果を太字で示す.

表 5 SentEval の各タスクにおける正解率 $(\%)$. 各タスクごとに最良の結果を太字で示す.

表 4 SentEval の各タスクの説明

用した. SentEval 内の各タスクについて，提案手法 により生成した文埋め込みを入力とする分類器を 学習し，性能を評価した。文埋め込みを入力とする 分類器の学習には Reimers ら [1] と同じ設定を用い, 10 分割交差検証を行った. 提案手法によるモデル の fine-tuning と性能評価は異なるシード値で 3 回行 い，その平均を評価スコアとした.

実験の結果を表 5 に示す4). 提案手法の中では RoBERTa-large が最も高い性能を示している。ま た， base から large へモデルサイズを増加させる と一貫して性能が向上した。提案手法の BERTlarge，RoBERTa-base，RoBERTa-large における性能

4） Reimers ら [1]により Sentence-RoBERTa の性能は SentenceBERT と同等と報告されているため記載を省略した.
は Sentence-BERT-large を上回っていることから，提案手法による文埋め込みが様々なタスクに応用でき る有用な情報を埋め込んでいることが確認できる.

## 5 おわりに

本研究では辞書の定義文を用いた文埋め込み構成法を提案した。また，単語予測実験，および，STS タスク，SentEvalを用いた実験を通して，提案手法 の有効性，および，大規模な NLI データセットを用 いる既存手法と同等の性能を発揮することを示し た. 提案手法は多くの言語において整備されている 辞書に基づく手法であり，他の言語に応用する場合 であっても新規の言語資源を作成する必要がないと いう特長がある。また，得られる文埋め込みは，そ の文が表す意味内容に近い意味で使用されている単語が存在した場合，その文脈化単語埋め込みと類似 するという性質を持つことが期待できる。

今後は，実際に英語以外の言語に応用した場合の 性能評価や，文書分類タスクなどより広範な下流夕 スクへの応用の評価を行いたい。さらに，提案手法 による定義文の埋め込みと文脈化単語埋め込みの意味ベクトル空間上での関係の解析を行いたい。

## 参考文献

[1] Nils Reimers and Iryna Gurevych. Sentence-BERT: Sentence embeddings using Siamese BERT-networks. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3982-3992, 2019.

[2] Alexis Conneau, Douwe Kiela, Holger Schwenk, Loïc Barrault, and Antoine Bordes. Supervised learning of universal sentence representations from natural language inference data. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 670-680, 2017.

[3] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL), pp. 4171-4186, 2019.

[4] Y. Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, M. Lewis, Luke Zettlemoyer, and Veselin Stoyanov. RoBERTa: A Robustly Optimized BERT Pretraining Approach. arXiv:1907.11692, 2019.

[5] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, and Illia Polosukhin. Attention is All you Need. In I. Guyon, U. V. Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems (NIPS), pp. 59986008, 2017.

[6] Samuel R. Bowman, Gabor Angeli, Christopher Potts, and Christopher D. Manning. A large annotated corpus for learning natural language inference. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 632-642, 2015.

[7] Adina Williams, Nikita Nangia, and Samuel Bowman. A broad-coverage challenge corpus for sentence understanding through inference. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL), pp. 1112-1122, 2018.

[8] Shonosuke Ishiwatari, Hiroaki Hayashi, Naoki Yoshinaga, Graham Neubig, Shoetsu Sato, Masashi Toyoda, and Masaru Kitsuregawa. Learning to describe unknown phrases with local and global contexts. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL), pp. 3467-3476, 2019.

[9] Jeffrey Pennington, Richard Socher, and Christopher Manning. GloVe: Global vectors for word representation. In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 15321543, 2014.

[10] Daniel Matthew Cer, Yinfei Yang, Sheng yi Kong, Nan Hua, Nicole Limtiaco, Rhomni St. John, Noah Constant, Mario Guajardo-Cespedes, Steve Yuan, C. Tar, Yun-Hsuan Sung, B. Strope, and R. Kurzweil. Universal Sentence
Encoder. arXiv:1803.11175, 2018.

[11] Eneko Agirre, Daniel Cer, Mona Diab, and Aitor Gonzalez-Agirre. SemEval-2012 task 6: A pilot on semantic textual similarity. In *SEM 2012: The First Joint Conference on Lexical and Computational Semantics Semantic Evaluation (SemEval), pp. 385-393, 2012.

[12] Eneko Agirre, Daniel Cer, Mona Diab, Aitor GonzalezAgirre, and Weiwei Guo. *SEM 2013 shared task: Semantic textual similarity. In Second Joint Conference on Lexical and Computational Semantics (*SEM), pp. 32-43, 2013.

[13] Eneko Agirre, Carmen Banea, Claire Cardie, Daniel Cer, Mona Diab, Aitor Gonzalez-Agirre, Weiwei Guo, Rada Mihalcea, German Rigau, and Janyce Wiebe. SemEval2014 task 10: Multilingual semantic textual similarity. In Proceedings of the 8th International Workshop on Semantic Evaluation (SemEval), pp. 81-91, 2014.

[14] Eneko Agirre, Carmen Banea, Claire Cardie, Daniel Cer, Mona Diab, Aitor Gonzalez-Agirre, Weiwei Guo, Iñigo Lopez-Gazpio, Montse Maritxalar, Rada Mihalcea, German Rigau, Larraitz Uria, and Janyce Wiebe. SemEval2015 task 2: Semantic textual similarity, English, Spanish and pilot on interpretability. In Proceedings of the 9th International Workshop on Semantic Evaluation (SemEval), pp. 252-263, 2015.

[15] Eneko Agirre, Carmen Banea, Daniel Cer, Mona Diab, Aitor Gonzalez-Agirre, Rada Mihalcea, German Rigau, and Janyce Wiebe. SemEval-2016 task 1: Semantic textual similarity, monolingual and cross-lingual evaluation. In Proceedings of the 10th International Workshop on Semantic Evaluation (SemEval), pp. 497-511, 2016.

[16] Daniel Cer, Mona Diab, Eneko Agirre, Iñigo LopezGazpio, and Lucia Specia. SemEval-2017 task 1: Semantic textual similarity multilingual and crosslingual focused evaluation. In Proceedings of the 11th International Workshop on Semantic Evaluation (SemEval), pp. 1-14, 2017.

[17] Marco Marelli, Stefano Menini, Marco Baroni, Luisa Bentivogli, Raffaella Bernardi, and Roberto Zamparelli. A SICK cure for the evaluation of compositional distributional semantic models. In Proceedings of the Ninth International Conference on Language Resources and Evaluation (LREC), pp. 216-223, 2014.

[18] Alexis Conneau and Douwe Kiela. SentEval: An evaluation toolkit for universal sentence representations. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC), pp. 16991704, 2018.

## A 付録

表 5 各モデル，pooling 手法ごとの文埋め込みの余弦類似度と人手評価とのスピアマンの順位相関係数. 表内の数值は，異なるシード値で 10 回評価を行った際の平均と標準偏差に 100 をかけたものである.

表 6 各モデル，pooling 手法ごとの SentEval の各タスクにおける正解率 (\%). 表内の数値は，異なるシード値で 3 回評価を行った際の平均と標準偏差に 100 をかけたものである.


# 議題への明示的な賛否表現を含まない議員発言を対象とした 議会議事録のスタンス分類

猫本隆哲
豊橋技術科学大学
nekomoto.takanori.pf@tut.jp
}

秋葉友良
豊橋技術科学大学
akiba@cs.tut.jp
}

増山繁
東京理科大学
masuyama@rs.tus.ac.jp

## 1 はじめに

NTCIR-15 の QA Lab-PoliInfo-2 タスク1)では, 地方議会議事録から議員の意見やその理由・条件を要約 して表示するといった複雑な実世界の質問応答技術 を目指している [1]. 近年,フェイクニュースが多大 な悪影響を及ぼしていることから, ファクトチェッ クの重要性を再認識されている. 情報獲得のために 幅広く利用されている一般的な Web 検索エンジン では, Eli Pariser が提唱した “filter bubble” [2] と呼ば れる概念によって, ユーザーが自分の視点に合わな い情報から遠ざかることから, ファクトチェックが 困難となっている. ファクトチェックのためには, 議事録などの一次情報源をしっかりと把握しておく必要がある.

QA Lab-PoliInfo-2 Stance Classification タスクでは,東京都議会における政治家の発言から, 政治家の立場 (スタンス) を推定することを目的としている2). より具体的には, 議会議事録から, 議会中に議論され る各議題について, 各会派の賛否を分類する問題に 取り組んだ. 日本の議会議事録の記述は, 議員ごとの 発言の書き起こしであり, ほとんどの議員は討論の 冒頭で複数の議案に対して簡単な賛否を述べること から,ここから一定数の議案に対してのスタンスが 判明する. よって, Stance Classification の評価結果で は,この冒頭部分のみを用いることで $90 \%$ 以上の正解率で賛否分類できることが示されている [3]. しか し,一部には冒頭部分で賛否表明を行わない, また は冒頭のみでは賛否表明されない議案が存在する といった場合があり, そのような場合に対応するに は, 冒頭以外の討論部分から賛否分類を行う必要が ある.

本研究では, ある議案に対して明示的な賛否の表現のない討論の発言から賛否分類を行う問題に焦点

1) https://poliinfo2.net/

2) https://poliinfo2.net/stance-classification-task/
を当てた. 賛成や反対といったターゲット単語のみ に着目する単純なルールベース分類ではなく,これ を除いた議員の発言全体から学習データを作成し， より多くの分野やタスクへの応用を可能とするため に BERT [4] ベースのスタンス分類器を構築した.

## 2 スタンス分類

本節では, QA Lab-PoliInfo-2 Stance Classification タ スクにおけるデータ構造, 分類対象とする議事録の 構造, 本研究の問題設定について詳細を述べる.

## 2.1 デー夕構造

分類器には, 会議録データと表 1 から構成される 出題ファイルを入力として与え, 空欄となる会派の 賛否を埋めた出題ファイルを出力とする.

 \\

議員らの発言は, 出題ファイルの MeetingDate を参照し, 期日が一致する会議録から抽出する. また,こ の他に収録されているフィールドは分類器への付加情報および, 議員の発言をより詳細に検索するため に用いる。

## 2.2 会議録データ

入力として利用可能な会議録データには, 定例会 や臨時会の他に委員会等の速記録があるが, 後者は 賛否が伴う議決を行うものではないため, スタンス 分類に直結するのは前者での議員の発言である. 定例会における議員の実際の発言を図 1 に示す.

"Speaker": "百四番 (村松みえ子君)",

"Utterance": "私は、日本共産党都議団を代表して、第二百二十八号議案、東京都養育院条例を廃止する 条例外六議案に反対の立場から討論を行います。

東京都養育院は、福祉と医療、研究が連携した総合的なサービス提供を最大の特徴としており、世界的にも高い評価を受けております。ところが今回の 提案は、これから迎える本格的な高齢社会に向け、養育院の、この福祉と医療と研究の一体的な運営を 一層強化する必要があるときに、逆にそれを後退さ せるものであり、反対です。...

図 1 討論例

議員は必ず議長から発言権が与えられた上で, 始 めにいくつか議案への簡単な賛否表明を行った上 で,それぞれの議案についての詳細な討論を行う.こ こでは, 前者の発言を賛否表明文, 後者を討論文と定義する. 賛否表明文を図 2 に示す.

"Utterance": "私は、日本共産党都議団を代表して、第二百二十八号議案、東京都養育院条例を廃止する 条例外六議案に反対の立場から討論を行います。

図 2 賛否表明文例

賛否表明文は, 議長から発言権が与えられた議員 が始めに述べる形式的な賛否表明である. 多くの場合, ここから特定議案 (議案番号) の賛否表明が得ら れ, Stance Classification タスクの評価結果では, 賛否表明文のみを参照することで $90 \%$ 以上の正解率が実現されることが分かっている [3].

次に討論文を図 3 に示す.

東京都養育院は、福祉と医療、研究が連携した総合的なサービス提供を最大の特徴としており、世界的にも高い評価を受けております。ところが今回の 提案は、これから迎える本格的な高齢社会に向け、養育院の、この福祉と医療と研究の一体的な運営を 一層強化する必要があるときに、逆にそれを後退さ せるものであり、反対です。...

図 3 討論文例討論文では, 賛否表明を行なった議案への詳細な 言及がなされる. 賛否表明文と比較すると, 同一議案 への言及でありながらも，それについての根拠が明確に述べられている. しかし, 討論文では賛成や反対 といった単語は必ずしも出現しない. また, 実際の発言は非常に長いものとなっている.

## 2.3 問題設定

賛否表明文を用いることで高い精度で賛否分類を 行うことが可能であるが, 陽に言及されない議題に は対応できない. そこで本研究では, 図 3 に示した討論文から, 議案に対する賛否を分類する問題に焦点 を当てる. そのために, 議事録の各議員の各議案に 対する討論文と，その議題への賛否を対応付けたぺ アデータを人手で構築した.このペアデータを学習 データとテストデータに分割し, 二值分類器の構築,評価を行なった。

## 3 手法

本節では, スタンス分類を行うための分類器の構築方法, 学習データへの前処理, および分類器の精度 を検証するための実験方法について述べる。

## 3.1 会派の特定

東京都議会におけるスタンス分類を行うための準備として, 討論を行う議員の所属会派を事前に特定 する必要がある. 表 1 に示したように, 会派と発言者 の対応は SpeakerList から分かるが, 代表質問者以外 の議員は自身で所属政党を名乗らなければ会派との 対応が取れない問題点がある. そこで, 都議会 HP の 検索エンジン3) と BeuatifulSoup4 [5] を用いて定例会等に出席したすべての議員の所属政党を収録した辞書を別途で作成した. また, 議員によっては政党移動 または政党名変更等があるため, それを考慮した都議会議員 322 名のネスト型辞書を構築した。一例を 図 4 に示す.

## 3.2 BERTを用いた分類

2.3 節で定義した討論文を対象に議員のスタンス を 2 值 (賛成 or 反対) に判定する分類器を構築し た. この分類器は, BERT の MRPC タスクに基づき 作成したものであり, 入力を単一の討論文としてい る. モデルには, 公開されている日本語事前学習済み モデルの BASE 通常版を用いた [6]. このモデルは,

図 4 議員/所属会派辞書

JUMAN [7] による単語分割に基づいて学習されてい るため, 同じ形態素解析器を使用している. 学習デー タの作成には, Poliinfo2 から提供されているデータ を参照し, 発言権が与えられた議員の討論文から議案名もしくは議案番号に完全に一致する発言のみを 抽出し, 使用した。

しかし, 東京都議会における討論文には議題に上 がった議案とは直接関連の無い内容が多く含まれて おり, BERT に入力できる単語数の最大値が 512 語で あるため, 何らかの前処理を適用する必要がある. 今回は簡単な前処理として, 討論文に特定の接続詞が 含まれていた場合, それ以降の文は議題案とは無関係であると判断し, 接続詞の後の文を全て削除して いる. 特定の接続詞には, 以下のパターンを想定して いる.

## 特定の接続詞

(次に、*㳊次いで、*|続いて、.*最後に、*、*て、.*) なお, 上記のパターンは, 討論の途中に出現する ものにはマッチせず, 句読点があるもののみを考慮 している. 作成された学習データの総数は 442 件で あり, データの各行には賛否ラベル ( “0”: 反対 or “1”: 賛成) と討論文が収録されている.

## 3.3 編集距離を用いたデータ拡張

3.2 節で述べたように, 学習データとして利用可能 な議員の討論文は, 議案名または議案番号との完全一致で取れるものに限定しているため, 抽出が不十分であると考えられる. そこで, 暫定的なデータ拡張 として編集距離を用いて, 議題に上がった議案名に 関連性のある単語を討論文から抽出し, 学習データ
を 442 件から 485 件へ増強した。

## 3.4 DPを用いたテキストセグメンテー ション

学習データとしての討論文は, 特定議案への言及文のみを収録し, その他の関連の無い議案への言及文は取り除くことが理想となる. 3.2 節では, 特定の 接続詞以降の文を削除しているが,これもまたテキ スト分割としては不十分であると考えられる. そこ で, 議員の発言から議題に関係のない発言を削除す る手法として、Dynamic Programming(DP) を用いて 討論文のセグメンテーションを行った. 前提として， セグメントを考える際の最小単位は文であり, シー ケンスデータでの 1 つのデータポイントは, 今回の 場合は 1 つの文となる [8]. 実装したテキストセグメ ンテーションの手順は以下の通りである.

Step 1. テキストデータクラスを定義し. セグメント 内のスコアを計算する $h(t 1, t 2)$, テキストの長さを返 す GetLength() を定義する.

Step 2. $T$ をテキストの文のリスト, $L$ をテキストの単語リスト (Mecab [9]を使用)とし, 文間の類似語を表 す $L \times T$ スケールの matrix $F$ を定義する.

Step 3. 行列 $F$ は疎行列であり, 各文から単語を抽出 し, $L$ に含まれる単語が $T$ にある場合, リスト $L$ から その単語のインデックスを取り, $F$ のインデックス の行に 1 を代入する.

Step 4. 文章 $i$ と $j$ の類似度を表す matrix $f$ とその転置行列の積を matrix $d$ と定義する. 同一文の類似度 は $0\left(d_{i i}=0\right)$ とし,この matrix $d$ を用いてセグメント 内のスコアを計算する.

Step 5. セグメントに含まれるすべての文の類似度を 足し合わせ, セグメントの長さで割ってスコアを得 る. 評価関数 $J$ は, セグメントの開始点を $t_{1}$, 終了点 を $t_{2}$ と定義する。

$
J=\frac{\sum_{i=t 1}^{t 2-1} \sum_{j=t 1}^{t 2-1} D_{i j}}{(t 2-t 1)}
$

Step 6. DP の再帰関数に討論文と任意の数のセグメ ント数をオブジェクトとして与え, $J$ が最大となる セグメントの分割点をインデックスとして返す.

なお, セグメントの数は DP へ任意に与えなければ ならないため,ここでは討論文の長さに応じて任意 の值でセグメンテーションを行っている.

## 3.5 分類器への付加情報

政治的なイデオロギーは都議会もまた例外ではな く, 保守派やリベラル派といったものがあり, このよ うな政党間では, 議案の種類や提案政党などによっ て賛否に大きなバイアスが生じている. 例として, 保守派とリベラル派は双方の提案に反対することが多 く, また知事が提案する議案には賛成することが多 い.このような政党間や議案の提出元で変化する賛否のバイアスの解消を見込み, 賛否ラベルと討論文 の意味的な等価性を評価する分類器への付加情報 として, 表 1 に示したフィールド名に基づき, 政党名 (party) と議案の提出元 (proponent) を与える実験 を行った. なお, 提出元は知事提出もしくは議員提出 の 2 值である.

## 4 結果$\cdot$考察

分類器の評価実験は, 出題データ全てを賛成と分類する majority ベースラインと, BERT を用いたもの の 2 種類に分けられる. 加えて, BERT については分類器を変えずにいくつかの学習データの構築方法を 提案し, 精度の比較を行った. ハイパーパラメータの 設定は, 入力の最大系列長を 128 , ミニバッチサイズ を 32, 学習係数を $2 \mathrm{e}-5$, エポック数を 5 とし, モデル の評価には $\mathrm{k}$ 交差検証を用いた. 各手法での分類結果を 3 に示す. DA は 4.2 節のデータ拡張手法であり, DP は 4.3 節のものである. 提出元での majority は, 知事提出議案を賛成, 議員提出議案を反対で統一とし,政党ごとの majority は統一化が困難であるため, 無 しとしている.

表 3 評価結果, $\mathrm{k}=5$ 交差検証 avg, train:442, $\operatorname{train}(\mathrm{DA}): 485$

 &  &  \\

BERT & $\mathbf{0 . 8 5 0 7}$ & 0.8509 & 0.8370 \\
BERT+DA & 0.8439 & 0.8419 & $\mathbf{0 . 8 6 8 8}$ \\
BERT+DP & 0.8484 & $\mathbf{0 . 8 6 6 6}$ & 0.8685 \\
BERT+DA+DP & 0.8212 & 0.8637 & 0.8460 \\

結果から, 討論文のみの入力ではデータ拡張等を施さない状態が最も精度が高く, 討論文+提出元では DP 手法, 討論文+政党名ではデータ拡張手法が最も 高い精度となった.これらの提案手法は全てにおい て, majority ベースラインを上回っているが, 付与情報による大幅な精度向上は見込めなかった.

フィールド名である政党名と提出元の付加によ り, 一定の精度向上が見られた要因としては, 3.5 節 で述べた政党間, 提案者によって生じる賛否のバイ アスの解消によるものと考えられる. しかしながら，正解ラベルに分類された討論文が, フィールド情報 を与えたことで誤分類されることがあるため, 精度向上へ寄与する手法としては一長一短であるといえ る. また, 実験データとしては非常にサンプル数が少 なく, BERT での日本語構文解析においてはより大規模なコーパスと,より高い pre-training 時の epoch 数によって, さらなる精度向上が実現することが示唆されていることから [10], さらなる大規模なデー タセットの構築が必要である.

## 5 おわりに

本研究では, 東京都議会における議員のスタンス 分類タスクにおいて, BERT を用いた議員の発言を スタンス分類するための学習データの作成方法, お よび所属政党や提出元などのフィールド情報を付加 し, モデルの評価を行なった. 評価結果から, 提案手法は単純な majority ベースラインを上回る性能が発揮され, また政治的なフィールド情報を付与するこ とで一定の精度向上に寄与することが分かった.

今回は東京都議会に限定して学習を行ったが, データ数が非常に少ないため, 今後は地方議会等に 範囲を広げ,より大規模なデータセットを構築し, 提案手法の有効性を検証する。

## 謝辞

本研究は JSPS 科研費 $19 K 11980$ の助成を受けた.

## 参考文献

[1]Yasutomo Kimura, Hideyuki Shibuki, Hokuto Ototake, Yuzu Uchida, Keiichi Takamaru, Madoka Ishioroshi, Teruko Mitamura, Masaharu Yoshioka, Tomoyoshi Akiba, Yasuhiro Ogawa, Minoru Sasaki, Kenichi Yokote, Tatsunori Mori, Kenji Araki, Satoshi Sekine, and Noriko Kando. Overview of the ntcir-15 qa lab-poliinfo-2 task. Proceedings of The 15th NTCIR Conference, 122020.

[2]Eli Pariser. The filter bubble: What the internet is hiding from you. 2011.

[3]Takanori Nekomoto, Ryoto Ohsugi, Tomoyosi Akiba, Shigeru Masuyama, and Daiki Shirato. akbl at the ntcir15 qa lab-poliinfo-2 tasks. The 15th NTCIR Conference, p. $155,2020$.

[4]Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018.

[5]Gábor László Hajba. Website Scraping with Python: Using BeautifulSoup and Scrapy. Apress, 2018.

[6]Tomohide Shibata, Daisuke Kawahara, and Sadao Kurohashi. Improving the accuracy of japanese parsing with bert. The Association for Natural Language Processing 25th Annual General Meeting, pp. 205-208, 2019.

[7]Daisuke Kawahara. Japanese morphological analysis system juman version 3.61. http://pine.kuee.kyoto-u.ac.jp/nlresource/juman.html, 1999.

[8]V. Petridis A. Kehagias, P. Fragkou. Linear text segmentation using a dynamic programming algorithm. In Proceedings of the EACL, pp. 171-178, 2003.

[9]工藤拓, 山本薫, 松本裕治. Conditional random fields を 用いた日本語形態素解析. 情報処理学会研究報告. NLP,自然言語処理研究会報告, Vol. 161, pp. 89-96, 52004.

[10]柴田知秀, 河原大輔, 黒橋禎夫. Bert による日本語構文解析の精度向上. 言語処理学会第 25 回年次大会, pp. 205-208, 2019.


# 熱化学計算問題の段階的解釈に基づく熱化学方程式の立式

経種直之佐藤理史小川浩平宮田玲
名古屋大学大学院工学研究科
idane.naoyuki@c.mbox.nagoya-u.ac.jp

## 1 はじめに

大学入試では、言語運用能力に加え、多岐に渡る 知識や能力が問われる。2011 年から 6 年間に渡って 実施された「ロボットは東大に入れるか」プロジェ クトでは、主要 5 教科 (国語、英語、数学、社会、理科）の大学入試問題の自動解法が研究された [1]。 これらのうち、社会 (歴史)、数学、英語の問題は比較的よく解けたが、理科の問題の自動解法は非常に 難しいことが判明した。

一般に、理科 (物理・化学) の計算問題を解くため には、問題文を専門知識に基づいて解釈し、解釈結果を用いてある種の計算 (推論)を行う必要がある。 それゆえ、歴史の正誤問題の自動解法で通用したよ うな、知識源 (教科書) に対する表層的なテキスト照合では歯が立たない。

我々は、専門知識に基づく解釈と推論が必要な問題の具体例として、化学の熱化学計算問題を取り上 げ、その自動解法に取り組んできた $[2,3]$ 。熱化学計算問題は、熱化学反応を表す方程式を立式して解 く計算問題である。必要な計算能力は、初等代数の 計算スキルであり、この機械的実現は容易である。 つまり、自動解法の中核は、いかにして問題文から 熱化学方程式を立式するかという、問題文の解釈の 機械的実現にある。前回の挑戦 [3] では、開発用の 問題の約半分しか解くことができなかった。今回 は、熱化学方程式の立式を最終ゴールとして、そこ に徐々に近づいていく複数のステップで問題文を解釈する方法を採用し、より多くの問題を解くことを 目指す。

## 2 人間は問題をどう解くか

ここでは、図 1 に示す問題例を用いて、熱化学計算問題を解く標準的な方法を示す。

この問題が要求しているのは「プロパンの生成

水素、炭素 (黒鉛)、プロパン $\mathrm{C}_{3} \mathrm{H}_{8}$ の燃焼熱は、それぞ
れ $286 \mathrm{~kJ} / \mathrm{mol} 394 \mathrm{~kJ} / \mathrm{mol} 、 2119 \mathrm{~kJ} / \mathrm{mol}$ である。
プロパンの生成熱を求めよ。
(出典 :「化学」数件出版, $\mathrm{p} 114$, 一部変更)

図 1 熱化学計算の問題例

熱」である。生成熱の一般式は、以下で与えられる。

$
\text { 構成元素のリスト }=\text { 対象物質 }+Q[\mathrm{~kJ}]
$

プロパンの分子式は $\mathrm{C}_{3} \mathrm{H}_{8}$ であるので、その構成元素である炭素 C と水素 $\mathrm{H}$ の単体の分子式を代入す ると、

$
a \mathrm{C}(\text { 黒鉛 })+b \mathrm{H}_{2}=\mathrm{C}_{3} \mathrm{H}_{8}+Q[\mathrm{~kJ}]
$

という式が得られる。ここで、 $a$ と $b$ は係数である。熱化学方程式では、両辺の元素の数が一致しなけれ ばならない。この制約より $a=3, b=4$ が得られ、最終的に

$
3 \mathrm{C}(\text { 黒鉛 })+4 \mathrm{H}_{2}=\mathrm{C}_{3} \mathrm{H}_{8}+Q[\mathrm{~kJ}]
$

というプロパンの生成熱を表す熱化学方程式が得ら れる。

この式の $Q$ の値を求めるために、問題文で示され ている燃焼熱の情報を使用する。燃焼熱を表す熱化学方程式の一般式は、以下で与えられる。

$
\text { 対象物質 }+a \mathrm{O}_{2}=b \mathrm{CO}_{2}+c \mathrm{H}_{2} \mathrm{O}+Q[\mathrm{~kJ}]
$

水素、炭素 (黒鉛)、プロパンのそれぞれに対して、単体の分子式を代入し、先と同じように係数を決定 すると、以下の 3 つの熱化学方程式が得られる。

$
\begin{gathered}
\mathrm{H}_{2}+\frac{1}{2} \mathrm{O}_{2}=\mathrm{H}_{2} \mathrm{O}+286[\mathrm{~kJ}] \\
\mathrm{C}(\text { 黒鉛 })+\mathrm{O}_{2}=\mathrm{CO}_{2}+394[\mathrm{~kJ}] \\
\mathrm{C}_{3} \mathrm{H}_{8}+5 \mathrm{O}_{2}=3 \mathrm{CO}_{2}+4 \mathrm{H}_{2} \mathrm{O}+2219[\mathrm{~kJ}]
\end{gathered}
$

式 (5)-(7)を用いて式 (3) の $Q$ を求めると、

$
Q=107[\mathrm{~kJ} / \mathrm{mol}]
$

図 2 自動解答システムの構成

という解が得られる。以上が、人間が熱化学計算問題を解く場合の標準的な方法である。

上記の方法を機械化することを前提に、問題を解 くためにどのような知識・スキルが必要かを整理し よう。

物質 (元素・化合物) に関する知識 「水素」、「炭素 (黒鉛)」「プロパン」が物質であるということに 加え、分子式が与えられていない物質に対しては、単体の分子式が必要である。さらに化合物に対して は構成元素の情報が必要であり、中和反応などで は、液性 (酸・アルカリ) の情報、イオン価の情報が 必要となる。

熱化学反応に関する知識「燃焼 (熱)」、「生成 (熱)」が熱化学反応であり、それらが一般に、どの ような熱化学方程式で表現されるかという知識が必要である。

初等代数の計算スキル 反応式の係数を決定した り、複数の式から変数の值を決定するために、連立方程式を解くスキルが必要である。

日本語の理解スキル 当然のことながら、問題文 を読み、どんな情報が与えられ、何を求めることが 要求されているかを理解する必要がある。問題文の 理解のためには、初等代数の計算スキルは不要であ るが、物質 (元素・化合物) に関する知識、および、化学反応に関する知識は必須である。なぜならば、 これらの知識がなければ、問題が何を要求している のか、理解不能である。

## 3 自動解答システム

作成した自動解答システムの構成を、図 2 に示 す。システムは、問題文解釈と連立方程式ソルバー表 1 文のタイプ判定

 \\

という 2 つのモジュールと、化学知識データベー スから構成される。化学知識データベース (リレー ショナルデータベース) は、元素、単体、分子、イ オン、の４つのテーブルから構成され、化学式 (分子式)、液性 (酸・アルカリ)、状態 (気体・液体・固体)、イオン価の情報などが記述されている。

システムの中核をなす問題文解析モジュールは、 5 段階のステップで問題文 (テキスト)から連立方程式 (熱化学方程式)を立式する。問題文は、句点であ らかじめ分割し、 1 文 1 行の形式とする。問題文中 に含まれる熱化学方程式は独立した行として扱い、先頭にタブを挿入して通常の文と区別するものとす る。なお、問題文中に含まれる熱化学方程式は、式 として解釈し、出力する。

## 3.1 文分割

後段の解析を容易にするために、ヒューリス ティックを用いて文を分割する。たとえば、文 (1) は文 (2a), (2b), (2c)のように 3 文に分割する。

(1) 二酸化炭素の生成熱を $394 \mathrm{~kJ} / \mathrm{mol}$ 、水 (液体) の 生成熱を $286 \mathrm{~kJ} / \mathrm{mol}$ とすると、メタノール (液体) の生成熱は何 $\mathrm{kJ} / \mathrm{mol}$ か。

（2） a. 二酸化炭素の生成熱を $394 \mathrm{~kJ} / \mathrm{mol}$ とする。 b. 水 (液体) の生成熱を $286 \mathrm{~kJ} / \mathrm{mol}$ とする。 c. メタノール (液体) の生成熱は何 $\mathrm{kJ} / \mathrm{mol}$ か。

## 3.2 文のタイプ判定

文型パターンを用いて、文を表 1 に示す 5 つのタ イプに分類する。背景記述以外の 4 タイプに対して は、その文の重要情報 (物質名、質量、反応など) が 書かれている範囲を同定する。

## 3.3 熱化学記述の解釈

同定された重要部分を解析し、熱化学問題の記述 として解釈する。具体的には、重要部分に含まれて

図 3 熱化学記述の解釈後の内部表現

いる用語が何 (化学反応、物質名、質量、濃度など) を表しているのかを正規表現パターンにより決定 し、必要な情報を抽出する。このステップにより、表 1 の反応記述と問い記述は、図 3 に示す内部表現 に変換される。

## 3.4 参照先の同定

以下のような参照表現の参照先を同定する。

(3) a. この混合気体を...

b.このとき発生する熱量を...

前者の場合は直前の混合気体を指すものと、後者の 場合は直前の化学反応を指すものと解釈し、内部表現を組み替える。

## 3.5 方程式の立式

以上のステップで文章解析は終了し、得られた内部表現に基づいて、熱化学方程式を立式する。熱化学方程式の一般式は、反応の種別によって定まる (表 2)。立式の過程で、必要に応じて化学知識デー タベースを参照し、以下のことを行う。

1. 物質の分子式、および、構成元素の決定表 2 各反応の一般式 (係数は省略した)

生成 構成元素のリスト $=$ 対象物質 $+\mathrm{Q}[\mathrm{kJ}]$

燃焼 対象物質 $+\mathrm{O}_{2}=\mathrm{CO}_{2}+\mathrm{H}_{2} \mathrm{O}+\mathrm{Q}[\mathrm{kJ}]$

蒸発 物質 $($ 液体 $)=$ 物質 $($ 気体 $)-Q[k J]$

溶解 物質 $($ 個体 $)=$ 物質 $\mathrm{aq}+\mathrm{Q}[\mathrm{kJ}]$

中和 酸性物質 + 塩基性物質

$=$ 中和生成物の水溶液 $+\mathrm{H}_{2} \mathrm{O}+\mathrm{Q}[\mathrm{kJ}]$結合エネルギー

物質の構成元素 1 つの気体リスト $=$ 物質 $($ 気体 $)+$ 結合数 $\times$ 結合エネルギー

図 4 方程式の立式の具体例

2. 物質の標準状態での三体 (液体、気体、固体) の 決定

3. 物質の分子量に基づく、質量の $\mathrm{mol}$ の標準化

4. 酸・塩基の決定

5. 価数の決定

熱化学方程式に物質の分子式等を代入した後、係数が不定の場合は、両辺の元素数比較により係数を 決定する。なお、このステップで立式される式に は、熱化学方程式以外の式 (たとえば、水の温度上昇を表す式)も含まれる。

以上の 5 ステップにより、問題文を連立方程式と 求めるべき変数に変換する。具体例を図 4 に示す。

## 4 解答システムの性能

実装したシステムが、センター試験レベルの熱化学計算問題をどの程度解けるかを調べた。以下に示 す出典から、熱化学計算問題を抜き出し、枝問はそ れぞれ独立した問題として扱った。

開発用セットーシステムの開発に使用

マーク式総合問題集 化学 I (河合塾) [2007, 2009, 2011, 2013, 2015, 2017, 2019]、大学入試センター試験実戦問題集 化学 I (大学入試模試センター) [2008, 2010, 2012, 2014, 2019]

評価用セットーシステムの開発に使用せず センター試験 (本・追試験) [1997, 1999-2002, 2004, 2006, 2008, 2009, 2011-2016]、大学入試センター試験
表 3 システムの性能

表 4 エラー分析

実戦問題集 化学 I (代々木ゼミナール) [2006, 2008, 2010, 2012, 2014, 2016, 2017, 2019]

本システムの解答状況を表 3 に示す。この表に示 すように、開発用セットは 47 問中 38 問 $(81 \%)$ を正 しく解くことができたが、評価用セットは 57 問中 14 問 $(25 \%)$ しか解くことができなかった。

この表で、「与式のみで解答可能 (1)」は、問題文中の熱化学方程式のみから解ける (問題文の解釈が ほぼ不要な) 問題であり、「定義上の反応熱 (2)」は、立式に質量が絡まない問題である。これらの問題 は、ほぼ解けるレベルに達している。

一方、「特定質量の反応 (3)」は立式に質量が絡む 問題、「結合エネルギー (4)」は結合エネルギーが関与する問題、「複数の反応 (5)」は反応熱で水を温 めるような複数の反応を内在する問題、「混合気体 (6)」は混合気体を対象とする問題である。これらの 問題は、開発用セットでは比較的解けていたが、評価用セットでは 1 問しか解けなかった。

表 4 に、解けなかった原因の分析結果を示す。質量や質量の比を求める問題は、開発用セットには 3 問しかなかったため、これらの解法を実装しなかっ たが、評価用セットには混合気体の問題が多く含ま れており、その結果、質量や比を求める問題が全体 で 12 問存在した。これらの問題は、原理的には、現在の連立方程式を立式して解くという枠組みで解く ことができるが、熱化学記述の解釈と方程式の立式 の両ステップを補強する必要がある。

評価用セットで「特定質量の反応 (3)」の問題が 解けなかった理由の大半は、「熱化学記述の解釈の失敗 (i)」である。質量が絡む問題では、問題記述の 表現のバリエーションが多くなるが、今回使用した 開発用セットでは、このバリエーションが十分にカ バーできなかった。未知の問題に対する頑健性を向上させるためには、より広いバリエーションをカ バーする必要がある。

表現のバリエーションには、分野固有のバリエー ションと、日本語一般のバリエーションの 2 種類が ある。開発に使用する問題例を増やせば、このバリ エーションをある程度カバーできるとは考えられる が、両方のバリエーションを実際の問題例のみに求 める方法論には限界がある。理想的には、後者のバ リエーションをカバーする日本語の汎用文解析に分野固有知識を追加すれば、それらが連携して動くよ うなアーキテクチャが望ましい。今後は、そのよう な方向を模索していく必要がある。

## 5 おわりに

本稿では、熱化学計算問題の自動解法を示した。 その中核は、日本語で書かれた問題文を熱化学方程式に変換する処理であり、そのためには、化学知識 の援用が必要となる。開発用セットに対しては、前回の挑戦より多くの問題を解くことができたが、評価用セットに対する正解率は、前回と同程度に留 まった。

本研究は、大学入試問題を対象とした自動解法の 研究であるが、その本質は、テキスト理解にある。我々は、「『テキストを読む』ことは、読み手が持っ ている知識とテキストとの相互作用である」と考え る。そのため、

(4) 水素、炭素 (黒鉛)、プロパン $\mathrm{C} 3 \mathrm{H} 8$ の燃焼熱 は、それぞれ $286 \mathrm{~kJ} / \mathrm{mol}, 394 \mathrm{~kJ} / \mathrm{mol}, 2219 \mathrm{~kJ} / \mathrm{mol}$ である。

というテキストに対して、書かれている情報を直接問う「プロパンの燃焼熱は？」のような問題ではな く、明示的に書かれていない「プロパンの生成熱 は？」のような問題を扱う。このような問題を解く 方法が十分に明らかになったならば、テキストの自動理解に近づいたことになろう。

## 参考文献

[1]新井紀子, 東中竜一郎 (編). 人工知能プロジェクト「ロ ボットは東大に入れるか」. 東京大学出版会, 2018.

[2]吉田達平, 松崎拓也, 佐藤理史. 大学入試化学の計算問題 の自動解答システム. 人工知能学会第 29 回全国大会論
文集, 1K2-1, 2015.

[3]加藤汰一, 松崎拓也, 宮田玲, 佐藤理史. センター試験「化学」計算問題の自動解答システムの作成. 言語処理学会第 25 回年次大会発表論文集, pp. 894-897, 2019.


# 意味役割付与テキストに対する Prolog ベースの探索木による 言語パタンマッチシステム構築

小笠原崇
岡山大学大学院自然科学研究科
p28m4h8q@s.okayama-u.ac.jp

## 1 はじめに

近年，言語教育や言語研究分野の支援ツール開発 と活用について多くの取り組みが為されている。そ れらの中でもコンコーダンスツール1)の開発と発展 によって，言語教育や言語研究分野は大きく進展し てきている [1][2] [3]. 現在では表層的な言語マッチ だけでなく品詞や活用形，係り受けタグなどを用い た検索機能を実現した「HASHI」や「茶器」といっ たコンコーダンサが提案されている [4][5]²). 加え て, FrameNet ${ }^{3}$ や PropBank ${ }^{4}$ といった意味タグ付き コーパスの構築も進んでいると共に, 機械学習の枠組みを利用した意味役割付与システムについての研究も進展が多く見られる [6] [7] [8].

これらのタグを利用した情報抽出システムの実装例として質問応答システム Watson が挙げられる [9][10]. Watson では例えば，「Author_of(X)」といっ たある作品の著者を取り出すための言語パタンを あらかじめ Prolog プログラムとして定義した解答候補抽出モジュールが構築されている。この言語パ タンは，文節が持つタグや形態素が持つタグを用い て著者と作品関係を表す文構造を事前に定義した もので，その文構造に一致する文からの解答抽出を 実現している。このようにコンコーダンサだけでは なく, 質問応答システムの構築にも文中のタグを用 いて言語パタンを定義する手法が提案されている [11]. しかしながら, これらのシステム構築を支援 する自然言語処理ツールとしての言語パタンマッチ システムはほとんど開発されていない.

そこで本研究では，形態素タグや構文タグ，意味

\author{
竹内孔一 \\ 岡山大学大学院自然科学研究科 \\ takeuc-k@okayama-u.ac.jp
}

役割タグを利用した言語パタンに対するパタンマッ チシステムの実装手法を提案する. システムでは,意味役割をタグ付けされたテキストを Prolog 述語の 木構造に変換する。これにより, Prologクエリとし て定義された言語パタン構造とテキスト間の言語パ タンマッチを可能にする.

## 2 システム設計

システムの簡易フローチャートを図 1 に示す. 提案するシステムでは検索対象となるテキストにタグ 付与を行い，タグに基づく検索条件とのマッチ文探索，マッチ結果出力を行う．ここでシステムの設計

図 1 システムの簡易フローチャート

に際して, 意味役割付与モジュールが必要である.実装したシステムでは，当研究室で開発を進めてい る意味役割付与システム ASAを用いてテキストに 対してのタグ付けを行う．ASA はテキストの形態素解析，係り受け解析及び述語項構造シソーラズ が分類する意味役割に基づいて意味役割付与を行う システムである [12]. (図 2) また前述の通り，条件

図 2 ASA の意味役割付与の例

マッチ文探索部では検索条件と検索対象テキストの

5) http://pth.cl.cs.okayama-u.ac.jp

Prolog を用いた解探索を行う．ここで，Prolog を用 いた探索部の概要を図 3 に示す. タグ付きテキスト

図 3 Prolog パタンマッチ部の概要

を Prolog のプログラムに変換し，Prolog のクエリ形式で定義された検索条件によって文構造の一致判定 と解の抽出を行う. Prolog のプログラムはある対象物の間に存在する事実や関係性を述語として定義す ることで論理式として解釈できる. 例えば，「花子 と太郎は兄弟である」という事実は Prolog の述語で

兄弟 (花子, 太郎).

と表すことができる. この論理式に対して変数 Xを 用いて Prolog クエリを「兄弟 (花子, x).」と定義し，論理式を成立させる xが存在するかを Prolog 処理系に質問することができる. これと同様に，文節に 付与される概念タグ，意味役割タグや形態素に付与 される品詞タグを Prolog の述語として定義するこ とで，検索クエリとテキスト間のマッチングを実現 する.

次に，提案するシステムの全体像を図 4 に示す.提案システム全体の実装言語は Pythonを用いた.

図 4 Prolog を用いた言語パタンマッチシステムの全体像各モジュールの処理内容は以下の通りである.

テキスト解析モジュール ASAによる検索対象テキス トの解析を行い，タグが付与されたテキストを生成 する

Prolog 述語生成モジュール タグが付与されたテキス 卜を Prolog の述語に変換し, ファイルとして出力 する.

Prolog パタンマッチモジュール Prolog ファイルと
Prolog クエリを処理する. Python から呼び出す Prolog 処理系がパタンにマッチする解を探索し, 解 を出力する.

マッチ解出カモジュール Prolog 処理系が出力する解 を Python で抽出し，データ整形，出力を行う．

以下の節では，これら各モジュールの具体的な実装手法を説明する。

## 2.1 テキスト解析モジュール

テキスト解析モジュールは検索対象となるテキス 卜を読点区切りの一文ずつ ASA により解析し, 意味役割タグを付与した状態を生成する. ASA は文の 文節単位，形態素単位で解析を行いタグを付与する ため，解析結果はそれらをノードとする木構造で解釈することができる (図 5). システムではこれらの

図 5 ASA による文解析の木構造

ノードの接続関係を維持し，ノード間の関係性を明確にした Prolog 述語を生成することで，タグを用い た言語パタンの定義を可能にする.

## 2.2 Prolog 述語生成モジュール

Prolog 述語生成モジュールではテキスト解析モ ジュールで生成された意味役割タグ付きテキストの 木構造を基に Prolog の述語集合を生成し，ファイ ルに出力する. 木構造のノード間の関係性を Prolog の述語名として，ノードの持つ值を述語引数として Prolog 述語を定義する. ASA の解析結果木構造から 生成される Prolog 述語の一覧を表 1 に示す.ここ

表 1 Prolog の述語一覧

phrase(文, 文から分割された文節). role(文節, 文節に付与された意味役割タグ). semantic(文節, 文節に付与された概念タグ). main(文節, 文節から分割された主形態素). $\operatorname{part}($ 文節, 文節から分割された副形態素). class(形態素, 形態素に付与された品詞タグ).

で，文「生徒が校庭を走った」の文節「生徒が」に 対して生成される Prolog の述語集合を図 6 亿示す.文「生徒が校庭を走った」は文節「生徒が」を持つ
phrase(生徒が校庭を走った, 生徒が)。

role(生徒が, 動作主).

main(生徒が, 生徒).

part(生徒が, が).

class(生徒, 名詞).

$\operatorname{class}$ (が, 格助詞).

図 6 生成される Prolog 述語集合の例

という関係性が述語名 phrase で表現される. 他も 同様に，文節や形態素，付与されたタグ間の関係性 が述語名で表現されることにより, Prolog 述語集合 で木構造が再現される (図 7). この Prolog 述語集合 をファイルに出力し, 検索クエリとともに Prolog 処理系で処理を行う。

図 7 再現される Prolog の木構造

## 2.3Prolog パタンマッチモジュール

Prolog パタンマッチモジュールでは，Prolog 述語生成モジュールで出力した Prolog 述語ファイルと Prolog クエリとして設定された言語パタンを用い て，Prolog によるパタンマッチを実行する．前述の 通り, システム全体は Python で構築しているため,外部の Prolog 処理系を子プロセスとして起動して Prolog 述語ファイルとクエリを渡すことで，パタン マッチ結果を獲得する. 本システムでは Prolog 処理系 SWI-Prolog の Python インターフェイス Pyswip モ ジュールを用いて構築した.

ここで, Prologのクエリ記法について説明する.前述の通り, Prologクエリの述語引数部分を変数で 表すことにより，述語を満たすように変数が単一化6)される. Prolog の変数は大文字のアルファベッ トもしくは「_」(半角アンダーバー) から始まる 文字列を用いて表す。例えば，図 6 に示した Prolog 述語集合から意味役割が【動作主】である文節を抽出するクエリは，

6）二つの項が同一になるような変数の代入を見つけ適用する こと role(_phrase, 動作主).

と表すことができる. 対象となる Prolog 述語集合は, role(生徒が, 動作主).

という述語を含むため，単一化により_phrase に生徒がが代入され，クエリを成立させる_phraseが述語集合内に存在しない場合は false が返される. ま た，変数を用いずにクエリを設定することも可能で ある。例えば，

## role(生徒が, 動作主).

というクエリを入力すると，Prolog 述語集合内にク エリと全く同じ述語が存在するかを問い合わせるこ とができる. 存在すれば true が，存在しなければ false が返される. これらの記法と, 論理和や論理積, 論理否定の記法を合わせることでクエリを設定 できる. クエリで用いることができる論理和，論理積，論理否定の記法を表 2 に示す.

Prolog 処理系により探索された解は処理系で出力 されるが，出力データ構造が特徴的であるためマッ チ解出力モジュールにてデータを整形してシステム の出力とする.

## 2.4 マッチ解出カモジュール

マッチ解出力モジュールでは Prolog 処理系が出力 する解のデータ構造を整形してシステムの出力を 行う. Pyswip モジュールは Prolog 処理系の出力を Python 順序付き辞書に変換して抽出する機能を持つ ため, Python から Prolog 処理系の解にアクセスする ことが可能になる.この解を Python プログラムか ら出力した結果の例は以下の通りである。

・クエリが成立し，変数が単一化される場合の例 [OrderedDict([ ('_phrase1', "生徒が"), ('_phrase2' , "校庭を")

])]

・単一化なしでクエリが成立する場合 [OrderedDict()]

・クエリが成立しない場合

[]
変数が単一化される場合，変数と代入される値の 組が格納された順序付き辞書形式で出力される．変数の単一化なしでクエリが成立する場合，空の順序付き辞書が出力される. クエリが成立しない場合,空のリストが出力される。単一化が起きる場合は, ユーザが定義したクエリへの解として，Pyswip モ ジュールからの出力をそのままシステムの出力と する。一方で後者二つの例は, 本来 Prolog 処理系が true もしくは false と出力するものであり，システ ムでは単にクエリがマッチする解があるか否かを出力としたい. よって, Pyswip モジュールによる出力 の [OrderedDict()]をtrue，[] falseとして変換 することでシステムの出力とする.

## 3 システム動作確認

構築したシステムを動作させる一例を以下に示 す。本確認では，検索対象とするテキストから「著者」と「作品名」のぺアを抽出することとする．検索対象とする例文に以下の 8 文からなるテキストを 用意した.

「有川浩が図書館戦争を書いた。学校で作文を書 く。私は漫画をノートに書いた。彼は半円を書い た。彼は半円を描いた。鳥山明がドラゴンボールを 描いた。母が僕を生んだ。エジソンが電球を発明 した。」

これらのテキストに対し，「著者」と「作品名」を 含む言語パタンを以下の Prolog クエリとして用意 した.

$
\text { author (AUTHOR, WORK) :- }
$

semantic(_phrase1, 生成),

role(Author_phrase, 動作主),

role(Work_phrase, 対象),

main(Author_phrase,_word1),

not(class(_word1, 代名詞)),

main(Work_phrase,_word2),

not(class(_word2, 代名詞)),

not(main(_phrase1, 発明する)),

main(Author_phrase, AUTHOR),

main(Work_phrase, WORK).

検索対象テキストと Prolog クエリをシステムに入力することにより，以下の結果が得られる.

[

[OrderedDict([

( 'AUTHOR' , "有川浩"),
('WORK' , "図書館戦争")

])],

[OrderedDict([

( 'AUTHOR' , "鳥山明"),

('WORK ' , "ドラゴンボール")

])]

]

## 4 今後の課題

今後の課題として，このシステムを日本語にのみ 対応するツールとしてではなく多言語にも対応でき るよう構築を進めたいと考える。また，システムの 出力に関して，言語パタンとテキストがマッチしな い場合に false を出力する仕様である. しかしなが ら，言語パタンが何故マッチしなかったのかを考え ながら言語パタンを調整したい場合，出力が false のみでは調整は容易くない．本システムが保持する Prolog 述語のテキスト木構造も出力可能にするなど の改善の余地が見られる。

## 5 おわりに

本研究では，意味役割付与テキストと Prologを用 いて言語パタンマッチシステムの構築を行った.今後は，多言語対応およびシステムの出力等，改善に 努めたい。

## 謝辞

本研究の遂行にあたって JSPS 科研費 19K00552 お よび国立国語研究所機関拠点型基幹研究プロジェク ト「統語・意味解析コーパスの開発と言語研究」の 支援を受けた。

## 参考文献

[1] 小木曽智信, 中村壮範. 通時コーパス用『中納言』： Web ベースの古典語コンコーダンサー.

[2] 中條清美, アントニ・ローレンス, 内山将夫, 西垣知佳子. フリーウェア WebParaNews オンライン・コン コーダンサーの英語授業における活用. 日本大学生産工学部研究報告 B (文系), Vol. 47, pp. 49-63, 2014.

[3] 藤原康弘. 小学校英語ウェブコンコーダンサーの 構築と利用: 教科化を見据えて (シンポジウム英語教育・研究のための教材コーパスの構築と利用: 実践例と課題). 英語コーパス研究, No. 22, pp. 65-76, 2015.

[4] 田中良ほか. 多言語対応コンコーダンサー『HASHI』:日本語と日本語教育と社会言語学の研究を中心に. 2015.

[5] 松本裕治, 浅原正幸, 岩立将和, 森田敏生ほか. 形態素・係り受け解析済みコーパス管理・検索ツー

ル「茶器」. 研究報告自然言語処理 (NL), Vol. 2010, No. 18, pp. 1-6, 2010.

[6] Richard Johansson and Pierre Nugues. A FrameNet-based semantic role labeler for Swedish. In Proceedings of the COLING/ACL 2006 main conference poster sessions, pp. 436-443, 2006.

[7] Richard Johansson and Pierre Nugues. Dependency-based semantic role labeling of Propbank. In Proceedings of the 2008 Conference on Empirical Methods in Natural Language Processing, pp. 69-78, 2008.

[8] 竹内孔一, 土山傑, 守屋将人, 森安祐樹. 類似した動作 や状況を検索するための意味役割及び動詞語義付与 システムの構築. 電子情報通信学会技術研究報告. NLC, 言語理解とコミュニケーション, Vol. 109, No. 390, pp. 1-6, 2010.

[9] Adam Lally and Paul Fodor. Natural language processing with Prolog in the IBM Watson system. The Association for Logic Programming (ALP) Newsletter, 2011.

[10] Adam Lally, John M Prager, Michael C McCord, Branimir K Boguraev, Siddharth Patwardhan, James Fan, Paul Fodor, and Jennifer Chu-Carroll. Question analysis: How Watson reads a clue. IBM Journal of Research and Development, Vol. 56, No. 3.4, pp. 2-1, 2012.

[11] Kohsuke Yanai, Misa Sato, Toshihiko Yanase, Kenzo Kurotsuchi, Yuta Koreeda, and Yoshiki Niwa. Struap: A tool for bundling linguistic trees through structure-based abstract pattern. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 31-36, 2017.

[12] 竹内孔一, 石原靖弘, 竹内奈央. 述語項構造のシソー ラス分類と意味役割の設計について. 人工知能学会全国大会論文集 第 27 回全国大会 (2013). 一般社団法人人工知能学会, 2013.


# 遺伝子二重欠失研究のための関連論文検索手法

平野竧野村航進藤裕之渡辺太郎
奈良先端科学技術大学院大学 先端科学技術研究科
}

hirano.hayate.hc2@is.naist.jp w-nomura@bs.naist.jp

\{shindo, taro\}@is.naist.jp
## 1 はじめに

生物学と情報科学の学際的分野であるバイオイン フォマティクスにおいて，実験から得られた情報か らの知識発見は課題の一つである. 例えば大腸菌に ついて , ゲノム (遺伝情報) の化学合成および最小化を目的とするゲノムデザインを目指し，遺伝子欠失株と呼ばれる特定遺伝子が機能しない細胞を用い て,「どの遺伝子が削れるのか」という観点から研究が進められている [1].しかし遺伝的相互作用の 組み合わせが非常に多く, 生物学的知見がもっとも 大きい生物である大腸菌でさえ，ゲノムデザインの 達成には程遠い現状がある [1] .

本研究では，2 種類の遺伝子を喪失させた遺伝子二重欠失株の生育実験をより効率的に行えるように することを目標とし，クエリとして与えられた 2 種類の遺伝子に対する相補的な関連性の検証に有用 な論文を検索する方法を提案する．具体的には，木構造トピックモデルで得られる文書および単語の トピック分布を応用する . Latent Dirichlet Allocation (LDA [2]) に代表される一般的なトピックモデルと 異なりトピック同士の類似性や粒度の違いを考える ことができるため, 別々のトピックに属する単語や 文書に対しても類似するかどうかを考えることがで きる. 実験により階層構造を持つトピック分布は光 うでないものと比べ, 遺伝子の相互作用をより適切 に捉えられる可能性を示した。

## 2 関連研究

情報検索タスクには文書群からのデータ検索だけ でなく，SQL をはじめとする構造化されたデータか らの知識発見などさまざまな設定が存在する.この うちテキスト検索は，ユーザの入力したクェリに対 してランク付けされたテキスト群を結果として返 すものであり，情報検索における主要な問題である

図 1 クエリ : “b0720 b0002”および“b0928 b0231” の設定 における取得された関連文献上位 3 件

[3] . 情報検索も他の自然言語処理タスク同様, 単語および文書のべクトル表現の学習に重点を置いて おり，BERT やPT-2などの事前学習済みの言語モ デルを文書検索に利用する研究がある $[4,5]$.

また , 情報検索において文書の表現には Latent Semantic Indexing (LSI) をはじめとするべクトル空間 モデルが広く用いられてきた . LDA [2] は LSI を生成モデルに拡張したものであり, 潜在的な意味「卜 ピック」からの単語の生成, および文書からのト ピックの生成を行う際, Dirichlet 分布を事前分布に 仮定する. 代表的なトピックモデルとして様々な久 スクへと応用されている。

ここで，LDA は大量文書に適応が可能な手法で ある一方，トピック同士の関連や粒度の違いを考慮 することができない．トピック同士に階層構造を持 たせる木構造トピックモデルは光れを可能にする が，大量文書への適用が困難であった . Isonuma ら [6] は木構造卜ピックモデルにおいて, 文書からト ピック分布への写像をニューラルネットワークで構成する手法を提案した．これにより大量文書へに対 して木構造トピックモデルの構築, 情報検索をはじ めとする下流タスクへの応用が可能となった .

## 3 提案手法

本研究では , 実験対象の 2 種類の遺伝子をクェリ として与えたときに互いの差異を含むような文献が

図 2 モデルの概略図

検索できるようにすることで，遺伝子欠失研究の仮説検証を補助することを目的とする．关こで生物医学分野の論文を対象に，木構造ニューラルトピック モデル [6] により獲得される文書のトピック分布お よびトピックに紐づく単語分布を文書検索に利用 する。

トピックモデル LDA [2] を情報検索に利用する場合, 例えば文書分類では文書 $d$ のトピック分布 $\theta_{d}$ およびトピック $z$ に紐づく単語分布 $\phi_{z}$ が光れ光れ パラメータ $\alpha, \beta$ である Dirichlet 分布から生成される とした上で, 文書（観測値である単語の集合 $\mathbf{w}$ で表現される) の生成確率

$
\begin{aligned}
p(\mathbf{w} \mid \alpha, \beta)=\int & \int \prod_{z=1}^{X} P\left(\phi_{z} \mid \beta\right) \prod_{d=1}^{N} P\left(\theta_{d} \mid \alpha\right) \\
& \left(\prod_{i=1}^{N_{d}} \sum_{z_{i}=1}^{K} P\left(z_{i} \mid \theta\right) P\left(w_{i} \mid z, \phi\right)\right) d \theta d \phi
\end{aligned}
$

により各文書についてもっとも確率値の高いトピッ クに割り当てることで行うことができる.ここで， トピック数 $K$ は開発データにおける perplexity と呼 ばれる指標により事前に決定する必要がある．

一方 , Isonuma ら [6] が提案するモデルでは事前分布から無限木上のトピック分布への写像をニューラ ルネットワークで構成することにより，トピック数 を動的に学習させることが可能である。

図 2 は提案手法の流れを示している.クェリとし

の対応の強さを推定する．具体的には，Wei ら [7] の手法に従いクェリ $q$ に対して $p(q \mid D)$ を以下の式 (2) で表わされる文書スムージングにより計算する .

$
\begin{aligned}
p(q \mid D)= & \lambda\left(\frac{N_{d}}{N_{d}+\mu} p_{M L}(q \mid D)+\right. \\
& \left.\left(1-\frac{N_{d}}{N_{d}+\mu}\right) p_{M L}(q \mid \text { coll })\right)+ \\
& (1-\lambda) p_{t m}(q \mid D)
\end{aligned}
$

ただし $p_{M L}(q \mid D)$ は文書 $D$ におけるクエリ $q$ の最尤推定量，すなわち文書を構成する単語数 $N_{d}$ に対す る出現語彙数 $c(q, D)$ の割合 $\frac{c(q, D)}{N_{d}}$ を, $p_{M L}(q \mid$ coll $)$ は全文書集合におけるクエリ $q$ の最尤推定量，すな わち $\Sigma_{D \in \text { coll }} \frac{c(q, D)}{N_{d}}$ を表す.また, $p_{t m}(q \mid D)$ は文書 モデルであり，各トピックに紐づく単語分布の推定値 $\hat{\phi}$ おび文書のトピック分布の推定値 $\hat{\theta}$ を用いて 以下のように書ける。

$
\begin{aligned}
p_{t m}(q \mid D) & =\sum_{n=1}^{N} p_{t m}\left(q \mid z_{n}\right) p_{t m}\left(z_{n} \mid D\right) \\
& =\sum_{n=1}^{N} p\left(q \mid z_{n}, \hat{\phi}\right) p\left(z_{n} \mid \hat{\theta}, D\right)
\end{aligned}
$

本研究では , クエリとして与える 2 種類の遺伝子に 相補的な関連を持つ文書集合を獲得したい.クエリ を各々 $q_{1}, q_{2} \in Q$ とした場合に，2つのクエリに対 する文書との関連の強さは

$
p(Q \mid D)=\prod_{i=1}^{2} p\left(q_{i} \mid D\right)
$

と書けることから，式 (2) はクエリを構成する各々 の単語について計算し，積を取ることで求められ る.クェリである遺伝子双方に関連する文書群と，各々の遺伝子について関連する文書群との関連の大 きさの差が大きかった文書を 2 種類の遺伝子に相補的な情報を持つ文書とする。

## 4 実験

## 4.1 データセット

生物医学系の研究論文が広く収集されているデー タベースの一つである PubMed ${ }^{11}$ から論文データを 取得した.ここで，PubMed に収集されている論文 には Medical Subject Headings $(\mathrm{MeSH})^{2)}$ と呼ばれる

1) https://pubmed.ncbi.nlm.nih.gov/

2) https://www.nlm.nih.gov/mesh/meshhome.html
生物医学語彙データベース中の語句がラベルとして 振られており，これにより的確な検索が可能となっ ている.本研究では, 大腸菌 (Escherichia coli) に関 する研究論文のみを対象とするため, MeSH データ ベース中の小分類, Escherichia coliを利用した.下位分類として生物学の研究に主に用いられる大腸菌株 Escherichia coli $\mathrm{K} 12$ が存在するが, ラベルの網羅性の低さからこれは用いないこととした．検索され た論文のうち，本文をプレーンテキストとして取得 できた 16,740 件を実験の対象とした .

前述の論文本文データに加え，大腸菌遺伝子と同義な用語や概念, 例えば遺伝子 gltA は, 各大腸菌遺伝子に一意に振られる b number である b0720 と同義とみなされる. 光れらを同一視するため, 各遺伝子の同義語を生物医学データベース群, EcoCyc ${ }^{3)}$, EcoGene $^{4)}$, KEGG $^{5)}$, RegulonDB ${ }^{6)}$ から収集した

さらに，検索された文書群がどの程度クェリとし て与えた遺伝子の相補的な情報を保持するかを検定 するために，遺伝子二重欠失株生育データを利用す る.これは大腸菌二重遺伝子欠失実験により得られ た 4,000 150 遺伝子対について，遺伝子欠失後の 大腸菌の生育状況を生, 死, 不変にて3 值化したも のである .

## 4.2 実験設定

4.1 節で得られた論文本文のデータには NLTK を 利用してストップワードの除去 , および見出し語へ の変換 (Lemmatization) を行った. 加えて, 遺伝子 を表す単語は収集した遺伝子の同義語群を用いて b number に統一した ${ }^{7)}$. 低頻度語も除去し，遺伝子以外の語は 1,741 種類，遺伝子は 552 種類を利用す る. これら文書群は評価用と光れ以外に 6,652 件， 10, 088 件に分割し，更に評価用でない文書群は訓練用と検証用に 9,031 件，1,057 件に分割した ${ }^{8)}$.

加えて遺伝子二重欠失株生育データに対して，遺伝子を欠失順序ごとに Head 遺伝子, Tail 遺伝子と呼 び，羊れらを入れ替えた場合に生育状況か湾化する もの，変化しないものの二值化を行った．入れ替え

3) https://ecocyc.org

4) http://ecogene.org

5) https://www.kegg.jp

6) http://regulondb.ccg.unam.mx

7) 同義な語であっても一意に b number に置換できない場合が ある. 本研究では収集した同義語群において, 当該の語から b numberへの変換が一意に定まるもののみを対象とした .

8) 分割は [8] が採用し, Isonuma ら [6] も同様にしている 20 News Corpus の分割比, 訓練データ: 検証データ +評価データ $=3: 2$, 検証データ $:$ 評価データ $=1: 9$ にしたがった .

図 3 木構造ニューラルトピックモデルにより学習された トピックの階層構造 : 各トピックの上位 3 語を表示

によって生育状況が変化した遺伝子対は 1,982 組，変化しない，もしくは実験が行われていないものは 214, 990 組得られた . このうち前述の 552 種類の遺伝子に含まれる各 8 組を検定に利用した ?9)

また文書モデルの計算のための木構造ニューラ ルトピックモデルのハイパーパラメータは Isonuma ら [6] の設定に従った．また文書検索については， Wei ら [7] のパラメータに従い $, \mu=1000, \lambda=0.7$ を 用いた。

## 4.3 文書検索の結果

本研究では，式 (2) で計算される文書モデルを利用し，各文書 $D$ に対して $\sum_{i} p\left(q_{i} \mid D\right)-p(Q \mid D)$ の降順に各 10 文献を取得した . 得られた結果に対して Mann-Whitney のU 検定を用いて，遺伝子二重欠失実験において生育状況の変化のあったもの，なかっ たものの各遺伝子組について検索順序の中央值の差 の検定を行った。

また, 大腸菌二重遺伝子欠失実験により得られた 欠失順序の違いにより生育状況に変化のあった遺伝子，および変化のなかった遺伝子，各 8 組について 文書検索を行つた . 5 組について帰無仮説は棄却さ れ，中央値に差があることが示された . 結果の一例 は表 1 に示した．ここから，生育状況に変化のあつ た遺伝子となかった遺伝子の 2 群間で異なる検索分布が提案手法により得られたと言える。

図 1 に取得された文献の一例を示す. 遺伝子 b0720，b0002 は遺伝子生育実験により，欠失順序に よって生育状況が変化すると判断された組，b0928， b0231 は変化しないと判断された組である. 検索さ れた文書順序は実験対象の 8 件での上位 20 文献に ついてはほとんど変化がなかった．これは，トピッ

9) ある Head の欠失遺伝子について，各 Tail 遺伝子すべてにつ いて上位 $5 \%$ を生，下位 $5 \%$ を死とした。生育状況 LB 培地培地上での大腸菌コロニーサイズの増減によって計算される。
表 1 文書検索結果 : b0720,b0002 ゚゚アおよび b0928,b0231 ゚゚ア同士の代表値についての両側検定結果

$
* p<0.05
$

クモデルと文書検索の学習を別々に行ったことが一因と考えられ，一体での学習は今後の課題である。

## 4.4 木構造卜ピックによる効果

フラットなトピックモデルを利用した場合と比較 して木構造トピックが文書検索性能に影響があるか を検証する．図３は木構造ニューラルトピックモデ ルにより獲得されたトピックの階層構造を図示した ものである.上位には “growth”などの概念的な語が 見られるが，下位には“enzyme”や“pcr”など具体的 な語が含まれることがわかる.フラットなトピック モデルの一例として LDA [2]を利用する. 提案手法 との比較のためトピック数は同一の 19 に,訓練に は訓練用文書 9,031 件を用いた。検証用文書 1,057 件での Perplexity が 10 反復連続で変化しなかったと ころでモデルの学習を打ち切った。

結果は表 1 に示した．LDAへと変更したことに より帰無仮説の棄却数は変わらず 5 件であった . し かしながら，実験の対象とした 8 件の遺伝子の組す べてにおいて中央值は木構造ニューラルトピックモ デルの方が大きくなった．このことから実験的にト ピックに階層構造を持たせることが，2 種類の遺伝子に相補的な関連をもつ論文を検索することを目的 とする本研究には役に立つ可能性が示唆される。

## 5 おわりに

本研究では，情報検索技術を背景にゲノムデザイ ン研究の支援を行うことを目的とした . 他の生物と 比較して研究の進んでいる大腸菌においても，いま だ知られていない遺伝子相互作用が人の手に余るほ ど存在することを鑑みると，実験結果に関連のある 情報を取得する技術は遺伝子欠失，ひいてはゲノム デザイン研究の効率化の一助となる。

そこで論文を効率よく検索することを目指し，木構造ニューラルトピックモデルで得られるトピック に紐づく単語分布および文書のトピック分布を後続
のモデルの推論に利用し，実験により階層構造をも たないトピックモデルよりもより効果的に論文を取得できる可能性を示した . 今後は木構造ニューラル トピックモデルの強みの一つである，下流タスクと の一体的な学習を進める。

## 参考文献

[1]浩禎 森. ゲノムデザインに向けて (創立 90 周年記念特別企画: バイオ技術 10 年の軌跡特集 大規模ゲノム改変技術と微生物育種工学: バイオモノづくり技術と合成生物学の発想). 生物工学会誌, 90(6):293-297, 2012.

[2]David M Blei, Andrew Y Ng, and Michael I Jordan. Latent dirichlet allocation. Journal of machine Learning research, 3(Jan):993-1022, 2003.

[3]Bhaskar Mitra, Nick Craswell, et al. An introduction to neural information retrieval. Foundations and Trends ${ }^{\circledR}$ in Information Retrieval, 13(1):1-126, 2018.

[4]Wei Yang, Haotian Zhang, and Jimmy Lin. Simple applications of bert for ad hoc document retrieval. arXiv preprint arXiv:1903.10972, 2019.

[5]Yosi Mass and Haggai Roitman. Ad-hoc document retrieval using weak-supervision with BERT and GPT2. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pages 4191-4197, Online, November 2020. Association for Computational Linguistics.

[6]Masaru Isonuma, Junichiro Mori, Danushka Bollegala, and Ichiro Sakata. Tree-Structured Neural Topic Model. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pages 800-806, Online, July 2020. Association for Computational Linguistics.

[7]Xing Wei and W Bruce Croft. Lda-based document models for ad-hoc retrieval. In Proceedings of the 29th annual international ACM SIGIR conference on Research and development in information retrieval, pages 178-185, 2006.

[8]Akash Srivastava and Charles Sutton. Autoencoding variational inference for topic models. arXiv preprint arXiv:1703.01488, 2017.


# 知識グラフエンベディングのためのリレーションパスルールに よるトランスダクティブデータ拡張

廣瀬雄士 ${ }^{1}$ 新保仁 ${ }^{2}$ 渡辺太郎 ${ }^{1}$
1 奈良先端科学技術大学院大学 先端科学技術研究科, 2 千葉工業大学人工知能・ソフト
ウェア技術研究センター
hirose.yushi.hx4@is.naist.jp, shimbo@stair. center, taro@is.naist.jp

## 1 はじめに

実世界の情報をデータ化する手法として知識グ ラフが知られている．知識グラフはエンティティを 頂点とし，リレーションを辺のラベルとする有向 グラフである．辺を表すへッドエンティティ，リ レーション, テールエンティティの三つ組 $\left(e_{h}, r, e_{t}\right)$ は，トリプレットと呼ばれ，知識グラフはトリプ レットの集合ともみなせる. 知識グラフの例とし て, YAGO [1], Freebase [2], WordNet [3]があり, Q \& $\mathrm{A}[4]$ ，エンティティリンキング [5] などの自然言語処理タスクで用いられている。

通常，知識グラフは実世界の全てのトリプレッ トが記述されているわけではない. 久損したトリ プレットを予測するタスクを，知識グラフ補完 と呼び，主要な手法として，エンベディングモデ ル [6], [7], [8] とリレーションパスルールモデル [9] が研究されてきた. エンベディングモデルは既知の 知識グラフからエンティティ, リレーションの特徵 ベクトルを学習し, それらの間の演算により得られ るスコアによって欠損したトリプレットの真理値を 予測する．リレーションパスルールモデルは，知識 グラフ上のエンティティ間のリレーション系列 (リ レーションパス)を一階述語論理的なルールと考え て，欠損トリプレットの真理值を予測するモデルで ある。

両者には長所と短所がある. エンベディングモデ ルは，知識グラフ全体から特徴を学習できるが，知識グラフの経路情報のモデル化が明示的に行われて いない.リレーションパスルールモデルは，ルール を用いているので偽陽性が少ないが，エンティティ 間にリレーション系列が存在しなければそのトリプ レットを予測することはできない.

本研究では両者の長所を活かすように，リレー
ションパスルールによって予測されたトリプレット を訓練データに追加し，その拡張データを用いてエ ンベディングモデルの学習を行う。データの拡張は トランスダクティブ学習 [10] の設定で行う．これに よりクエリの予測に有益なデータを拡張することで 精度の向上が期待できる.

データセットとしてWN18RR，FB15k-237を用い，通常のデータを用いてエンベディングモデルを学習 させた場合と比較すると，拡張データを用いた場合 の方が予測精度が良い結果が得られた。通常の知識 グラフ補完のためにトランスダクティブ学習の設定 を用い，予測精度への効果を調べたのは，私の知る 限り本研究が初めてである。

## 2 背景

知識グラフ補完は, テストクエリ $\left(e_{h}, r, ?\right),\left(?, r, e_{t}\right)$ が与えられた時，?に入る真のエンティティが，エ ンティティ集合 $E$ の中で何番目に真である可能性が 高いかを予測するタスクとしてょく定式化される.本研究も同様なタスクを考える。

## 2.1 エンベディングモデル

エンベディングモデルはエンティティとリレー ションの特徴べクトルを用いた演算によってトリ プレットのスコアが定義されるモデルであり，その 值が大きいトリプレットほど，真である可能性が 高いと考える. 各特徴べクトルは, 通常確率的勾配降下法によって学習される. 初期モデルとして RESCAL [6] が知られており, 近年精度が高いモデ ルとして TuckER [8] が知られている. 各モデルのス コア関数 $f_{\mathrm{RESCAL}}$ および $f_{\text {TuckER }}$ は以下のように表さ れる。

$
\begin{gathered}
f_{\mathrm{RESCAL}}\left(e_{h}, r, e_{t}\right)=\mathbf{e}_{h}^{\top} \mathbf{R} \mathbf{e}_{t} \\
f_{\text {TuckER }}\left(e_{h}, r, e_{t}\right)=\mathbf{W} \times{ }_{1} \mathbf{e}_{h} \times{ }_{2} \mathbf{r} \times{ }_{3} \mathbf{e}_{t}
\end{gathered}
$

ここで $\mathbf{e}_{h}, \mathbf{e}_{t}, \mathbf{r}, \mathbf{R}, \mathbf{W}$ はそれぞれ学習されるパラメー タを示し，順にへッド，テールエンティティ，リ レーションのエンベディングベクトル，リレーショ ン行列, 全トリプレット共通のコアテンソルを表 す. $\times_{n}$ はテンソルの n-mode 積を表す.

## 2.2 リレーションパスルール

リレーションの系列をリレーションパスと呼 ぶ. すなわち $r_{1}, \ldots, r_{n}$ が $n$ 個のリレーションで あるとき, path $h_{i}:=\left(r_{1}, \ldots, r_{n}\right)$ は長さ $n$ のリレー ションパスである. また, $\left(e_{1}, r_{1}, e_{2}\right),\left(e_{2}, r_{2}, e_{3}\right), \ldots$, $\left(e_{n}, r_{n}, e_{n+1}\right)$ が知識グラフ中のトリプレットである とき, $e_{1}$ と $e_{n+1}$ の間に $p a t h_{i}$ が存在する, といい, $\operatorname{path}_{i}\left(e_{1}, e_{n+1}\right)$ と書く.

リレーションパスを用いた予測の例としてクエ リ (Bob, nationality, ?) を考える. (Bob, bornIn, NYC), (NYC, isCityOf, USA) が知識グラフ上で既知なら， Bob,USA の間に (bornIn, isCityOf) というリレーショ ンパスが存在することを用いて，USA がクエリの 真のエンティティに含まれると予測することがで きる.

リレーションパス path $_{i}=\left(r_{1}, r_{2}, \ldots, r_{n}\right)$ を用いて リレーション $r$ を予測するとき，述語論理を用いて 次のようなルールとしてみることもできる.

$
\begin{aligned}
\exists e_{1}, e_{2}, \ldots e_{n+1} & :\left(e_{1}, r_{1}, e_{2}\right) \wedge\left(e_{2}, r_{2}, e_{3}\right) \wedge \ldots \\
& \wedge\left(e_{n}, r_{n}, e_{n+1}\right) \rightarrow\left(e_{1}, r, e_{n+1}\right)
\end{aligned}
$

ルールの尤もらしさは, 先行研究 [11] の Partial Completeness Assumption（PCA）という仮定に基づ くと，式のような確信度スコアで示される. 式はリ レーション $r$ の予測に用いる path $h_{i}$ の確信度スコア を表し,$e_{t}^{\prime}$ は知識グラフ上のいずれかのエンティ ティを表す.

$\operatorname{Conf}_{\mathrm{PCA}}\left(\right.$ path $\left._{i}\right)=\frac{\left|\left.\{\left(e_{h}, e_{t}\right) \mid \operatorname{path}_{i}\left(e_{h}, e_{t}\right) \wedge\left(e_{h}, r, e_{t}\right)\right.\}\right|}{\left|\left.\{\left(e_{h}, e_{t}\right) \mid \operatorname{path}_{i}\left(e_{h}, e_{t}\right) \wedge\left(e_{h}, r, e_{t}^{\prime}\right)\right.\}\right|}$

## 2.3 データ拡張による知識グラフ補完

リレーションパスルールを用いてデータ拡張を行 い，エンベディングモデルの学習に用いるモデルに は UniKER [12] が存在する. この手法により, エン ベディングモデルの精度は大きく向上するが，デー 夕拡張のために様々な手法が必要である. 例えば，拡張するトリプレットをうまく見つけるために， “forward chaining" やパスの補完などがある. またこ の手法ではエンベディングスコアもデータ拡張のた
めの情報として用いている. そしてエンベディング の学習 よるエンベディングの学習，というように繰り返し エンベディングモデルを学習する必要がある.

## 3 トランスダクティブ学習設定によ るデータ拡張

トランスダクティブ学習設定では，テストクエ リ $\left(e_{h}, r\right.$, ? )が学習時に既知であると考える. このた め、テスト時にあらゆるクエリを想定しないといけ ない通常の知識グラフ補完タスクよりは容易な問題設定になっている. しかし, 現実的には予測したい クエリがあらかじめ分かっていて，その予測精度を 向上することの方が求められることも考えられる.

本手法ではテストデータのクエリ $\left(e_{h}, r, ?\right)$ が与え られたとき，テールとして該当しそうなエンティ

トリプレット $\left(e_{h}, r, e_{t}^{\prime}\right)$ を訓練データに追加する. そうすることでクエリの答えであるテールエンティ ティか，それと似た特徴を持つテールエンティティ を訓練データに追加することが期待できる。その 後，拡張データを用いてエンベディングモデルを訓練し，テストの評価に用いる. 拡張データで学習さ れたエンベディングモデルを拡張データモデルと呼 ぶこととする.

## 3.1 リレーションパスルールのマイニング

リレーションパスルールは先行研究 [13] の手法 に倣って双方向ランダムウォークによって取得す る.トリプレット $\left(e_{h}, r, e_{t}\right)$ について考える.この マイニング手法では $, e_{h}, e_{t}$ それぞれを始点とした グラフ上のランダムウォークが行われ，ウォークし たお互いの終点が同じエンティティだった場合に， リレーション $\mathrm{r}$ の予測に用いられるパスが取得さ れる。

各リレーションに対して, マイニングされた パスのうち，確信度スコアがトップ $\mathrm{N}$ 個のパス path $_{i=1 \ldots N}^{r}$ を用いてデータ拡張を行う. テストデー タの各クエリ $\left(e_{h}, r\right.$, ? に対して, 全テールエンティ ティ $e_{t}^{\prime} \in E$ を用いて,$e_{h}$ と $e_{t}^{\prime}$ の間に各 path $_{i=1 \ldots N}^{r}$ が存在するかを調べる. 存在するパスの中で, 式 4 の確信度スコアが最も大きいものを $\left(e_{h}, r, e_{t}^{\prime}\right)$ のパ ススコアとし, 各クエリのパススコアが大きいトリ プレットを訓練データに追加する. このとき top $S$ と confThold という閾値を導入する. 各クエリに 対して，最初の訓練データを含めて多くとも top $S$
表 1 知識グラフの各データセット統計情報

$E, R$ はエンティティ，リレーションの集合を表す.

個までのトリプレットを訓練データに追加する。ま た scoreThold より小さいパススコアを持つトリプ レットは訓練データに追加しないようにする。

## 4 実験

## 4.1 実験設定

データセットには WN18RR [14] と FB15k-237 [15] を用いた。データセットの統計情報は表 1 に示す。

データ拡張には各リレーションで確信度スコア トップ 1000 までのパスを用いる.またハイパーパ ラメータを検証用データで調整するために，テスト データだけでなく検証用データもデータ拡張のた めのクエリとして用いた. エンベディングモデルに は RESCAL,TuckERを用い，そのハイパーパラメー タ等の值は付録に示す。ハイパーパラメータの探索範囲は，ベースモデルと拡張データモデルで等し く，検証用データの MRR が最大になるようグリッ ドサーチする.

また各データ $\left(e_{h}, r, e_{t}\right)$ に対して逆リレーション $r^{-1}$ を用いた $\left(e_{t}, r^{-1}, e_{h}\right)$ を追加する. そして学習と 評価は各トリプレットのテールエンティティを予測 する手法を用いる [16].

## 4.1.1 損失関数

損失関数には KvsAll [17] という負例の取り方と，二値交差エントロピー損失を用いる。このときミニ バッチ内の一つの訓練事例は $\left(e_{h}, r\right)$ となり，このぺ アに対する損失関数は以下のように表される.

$
\begin{aligned}
L= & -\frac{1}{|E|} \sum_{e^{\prime} \in E}^{|E|}\left(\mathbf{y}_{e^{\prime}} \log \sigma\left(f\left(e_{h}, r, e^{\prime}\right)\right)+\right. \\
& \left.\left(1-\mathbf{y}_{e^{\prime}}\right) \log \left(1-\sigma\left(f\left(e_{h}, r, e^{\prime}\right)\right)\right)\right)
\end{aligned}
$

ここで $\mathbf{y}_{e^{\prime}}$ は，トリプレット $\left(e_{h}, r, e^{\prime}\right)$ が訓練デー タに含まれるなら 1 ，それ以外は 0 となるラベルを 表し， $f$ は学習に用いるスコア関数， $\sigma$ は活性化関数であるシグモイド関数を表す。

## 4.2 実験結果

ベースモデルと拡張データモデルによるテスト クエリの予測結果を表 2 に示す. MRR は予測され表 2 拡張データモデルの実験結果

た真のエンティティのランクの逆数の平均を表し， Hits@ $K$ は真のエンティティのランクが $K$ 位内であ るテストクエリの割合を表す。

## 5 分析・考察

## 5.1 予測精度に関する考察

表 2 の実駼結果から，拡張データがエンベディン グモデルの精度を向上させることがわかる. また， FB15k-237 で拡張データモデルがベースモデルに対 してあまり精度の改善が見られなかった原因の一つ に，適切なハイパーパラメータを設定できなかった 可能性が考えられる。拡張データによって訓練デー タの数が変化するので，最適なエンベディングの次元やドロップアウトの值が変化したと思われる.

## 5.2 予測結果の違いに関する分析

一つのテストデータに対して，そのクエリによっ て生成される拡張データを，そのテストデータの拡張データと呼ぶことにする。

拡張データに真またはそれに類似したテールエン ティティを含んだ結果，予測が改善されたのか分析 する. ベースモデル・拡張データモデルによって予測される各検証用データのランクを調べ，それぞれ のモデルで 10 位以内かそれ未満で予測されたデー 夕数と，その内拡張データを持つもの，拡張データ に含まれるものを示したのが，表 3,4 である。 エン ベディングモデルには RESCALを用いた.

まず WN18RR について表 3 のデータをみる。拡張データに含まれる検証用データは全て，拡張デー タモデルで 10 位以内に予測できている。そのうち 93 個はベースモデルでは 10 位以内に予測できな かったもので，拡張データモデルの予測精度が向上 に寄与している。

FB15k-237 も WN18RR と同じような傾向が見られ るが，拡張データモデルによって新たに 10 位内に 予測できるようになったトリプレットの数が，予測 できなくなった数と同じくらい存在する.

両方のデータセットで拡張データを持つ検証用
表 3 各モデルによる検証用データの予測ランク比較（WN18RR）

表 4 各モデルによる検証用データの予測ランク比較（FB15k-237）

表中の “have 拡張データ” は拡張データを持つ検証用データ，“in 拡張データ” は拡張データに含まれる検証用データを 示す.

データのうち，そのデータ自身が拡張データに含ま れなくても精度が上昇したものが存在する. この原因が，拡張データにクエリの真のテールエンティ ティに類似したエンティティを含んだためかどうか 次の節で確かめる。

## 5.3 エンベディングコサイン類似度比較

以下のように検証用データと拡張データのテー ルエンティティのエンベディングコサイン類似度 を分析した．検証用データ $\left(e_{h}, r, e_{t}\right)$ の拡張データ のテールエンティティの集合を $D\left(e_{h}, r\right)$ とする. $D\left(e_{h}, r\right)$ の各テールエンティティ $e_{t}^{\prime}$ 対して,$E$ 中 の全エンティティとのエンベディングのコサイン類似度を求める. 各 $e_{t}^{\prime}$ について $e_{t}^{\prime}$ と $e_{t}$ のコサイン類似度が $E$ 中で何番目か求める. 各 $e_{t}^{\prime}$ と $e_{t}$ のコサイ ン類似度ランクの中で最も小さいものを，D $\left(e_{h}, r\right)$ と $e_{t}$ との最小コサイン類似度ランクとする.

検証用データで拡張データに含まれない，かつ拡張データ持ち検証用データのうち，以下 3 タイプの データを比較のために取り出す.

・タイプ 1：10 位以内の予測精度が向上したデー タ（予測ランクがベースモデルで 10 位未満か つ拡張データモデルで 10 位以内のデータ)

・タイプ 2：10 位以内の予測精度が悪化したデー タ（予測ランクがベースモデルで 10 位以内か つ拡張データモデルで 10 位未満のデータ)

・タイプ 3：10 位以内に変わらず予測できてい ないデータ（予測ランクがベースモデル，拡張 データモデル共に 10 位未満のデータ)

各タイプに含まれる検証用データそれぞれについ て，その拡張データのテールエンティティとの最小 コサイン類似度ランクを求める. その後各タイプご表 53 タイプの検証用データの最小コサイン類似度

とに，検証用データの最小コサイン類似度ランクの MRR を求める. このようにして求められた 3 タイ プの MRRを，各タイプに含まれる検証用データ数 と共に表 5 に示す.

両データセット共にタイプ 1 が最も最小コサイン 類似度 MRR が高く，類似したエンティティの拡張 データの学習が，拡張データモデルの精度向上に寄与したと考えられる。

## 6 おわりに

トランスダクティブ設定の下で，リレーションパ スによるデータ拡張を行い，エンベディングモデル の学習と予測を行った. 予測結果は拡張データなし の場合を上回り，分析の結果，多くの場合トランス ダクティブ学習の設定がより良いデータの拡張に つながることがわかった. また本手法は他のエンベ ディングモデルへの応用も期待できる。

トランスダクティブではなく，通常の設定でのリ レーションパスルールによるデータ拡張は今後の課題とする。

## 参考文献

[1] Fabian M Suchanek, Gjergji Kasneci, and Gerhard Weikum. Yago: a core of semantic knowledge. In Proceedings of the 16th international conference on World Wide Web, pp. 697-706, 2007.

[2] Kurt Bollacker, Colin Evans, Praveen Paritosh, Tim Sturge, and Jamie Taylor. Freebase: a collaboratively created
graph database for structuring human knowledge. In Proceedings of the 2008 ACM SIGMOD international conference on Management of data, pp. 1247-1250, 2008.

[3] George A. Miller. Wordnet: A lexical database for english. Coтmun. ACM, Vol.38, No. 11, p.39-41, November 1995.

[4] Xiao Huang, Jingyuan Zhang, Dingcheng Li, and Ping Li. Knowledge graph embedding based question answering. In Proceedings of the Twelfth ACM International Conference on Web Search and Data Mining, WSDM '19, p. 105-113, New York, NY, USA, 2019. Association for Computing Machinery.

[5] Deep semantic match model for entity linking using knowledge graph and text. Procedia Computer Science, Vol. 129, pp. 110 - 114, 2018.

[6] Maximilian Nickel, Volker Tresp, and Hans-Peter Kriegel. A three-way model for collective learning on multirelational data. In Icml, Vol. 11, pp. 809-816, 2011.

[7] Théo Trouillon, Johannes Welbl, Sebastian Riedel, Éric Gaussier, and Guillaume Bouchard. Complex embeddings for simple link prediction. International Conference on Machine Learning (ICML), 2016.

[8] Ivana Balažević, Carl Allen, and Timothy M Hospedales. Tucker: Tensor factorization for knowledge graph completion. In Empirical Methods in Natural Language Processing, 2019.

[9] Christian Meilicke, Manuel Fink, Yanjie Wang, Daniel Ruffinelli, Rainer Gemulla, and Heiner Stuckenschmidt. Fine-grained evaluation of rule-and embedding-based systems for knowledge graph completion. In International Semantic Web Conference, pp. 3-20. Springer, 2018.

[10] A. Gammerman, V. Vovk, and V. Vapnik. Learning by transduction. In Proceedings of the Fourteenth Conference on Uncertainty in Artificial Intelligence, UAI'98, p. 148-155, San Francisco, CA, USA, 1998. Morgan Kaufmann Publishers Inc.

[11] Luis Galárraga, Christina Teflioudi, Katja Hose, and Fabian M Suchanek. Fast rule mining in ontological knowledge bases with amie+. The VLDB Journal, Vol. 24, No. 6, pp. 707-730, 2015.

[12] Ke wei Cheng, Ziqing Yang, Ming Zhang, and Y. Sun. Uniker: A unified framework for combining embedding and horn rules for knowledge graph inference. In ICML Workshop on Graph Representation Learning and Beyond, 2020.

[13] Matt Gardner and Tom Mitchell. Efficient and expressive knowledge base completion using subgraph feature extraction. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 1488-1498, Lisbon, Portugal, September 2015. Association for Computational Linguistics.

[14] Tim Dettmers, Pasquale Minervini, Pontus Stenetorp, and Sebastian Riedel. Convolutional 2d knowledge graph embeddings, 2018.

[15] Kristina Toutanova and Danqi Chen. Observed versus latent features for knowledge base and text inference. In Proceedings of the 3rd Workshop on Continuous Vector Space Models and their Compositionality, pp. 57-66, Beijing, China, July 2015. Association for Computational Linguistics.
[16] Timothee Lacroix, Nicolas Usunier, and Guillaume Obozinski. Canonical tensor decomposition for knowledge base completion. In Jennifer Dy and Andreas Krause, editors, Proceedings of the 35th International Conference on Machine Learning, Vol. 80 of Proceedings of Machine Learning Research, pp. 2863-2872, Stockholmsmässan, Stockholm Sweden, 10-15 Jul 2018. PMLR.

[17] Daniel Ruffinelli, Samuel Broscheit, and Rainer Gemulla. You CAN teach an old dog new tricks! on training knowledge graph embeddings. In International Conference on Learning Representations, 2020.

[18] Diederik P Kingma and Jimmy Ba. Adam: A method for stochastic optimization. arXiv preprint arXiv:1412.6980, 2014.

[19] Xavier Glorot and Yoshua Bengio. Understanding the difficulty of training deep feedforward neural networks. In Proceedings of the thirteenth international conference on artificial intelligence and statistics, pp. 249-256, 2010.

## A 付録

## A. 1 マイニングされたパス数

本研究で用いたマイニングされたパスの各リレーションごとの平均数・標準偏差を表に示す.

表 6 マイニングされたパス数

## A. 2 エンベディングモデル実験設定とハイパーパラメータ

エンベディングモデル実験設定とハイパーパラメータの值を表 7 に示す。表中の \{\} 内の值は探索に用いた 值である.

表 7 エンベディングモデルのハイパーパラメータ

## A. 3 データ拡張の域値

データ拡張の域値 topS, scoreThold は, WN18RR で topS $=5$, scoreThold $=0.1, \mathrm{FB} 15 \mathrm{k}-237$ で top $S=$ 5, scoreThold $=0.6$ を用いた.


# 構文情報とラベルなしデータを用いた化学分野の関係抽出

新城大希
東京工業大学情報理工学院
shinjo.t.ab@m.titech.ac.jp
牧野拓哉
株式会社富士通研究所
makino.takuya@fujitsu.com
}

徳永健伸
東京工業大学 情報理工学院
take@c.titech.ac.jp
岩倉友哉
株式会社富士通研究所
iwakura.tomoya@fujitsu.com
}

る場合は実行時間が増加するため，大規模データを 効率的に処理することが難しくなる。

この二点をふまえ，本研究では，Open Information Extraction (Open IE) [6] を利用して補助タスクの学習 データを作成し，関係抽出を行う「主タスク」に加 え，主タスクが対象とするエンティティのペアが Open IE で抽出されるかどうかを判定する「補助タ スク」を導入したマルチタスク学習 [7]を行う。さ らに，ラベルなしデータである PubMed に対してラ ベルを付与し，学習に利用する手法を提案する。提案手法は，ラベルなしデータおよび各タスクの学習 データに対して Open IE が構文パタンに基づいて抽出した関係を学習時に利用する。そのため，目的の 関係抽出に有効な構文情報を暗黙的に学習するこ とが期待される。また，提案手法は構文情報は学習時のラベル作成のために利用し, 抽出時には利用し ないため, 明示的な構文解析結果の利用で生じる抽出速度の低下を避けることができる. CHEMPROT, GAD，EU-ADR で評価した結果，BioBERT より高い 精度が得られ，また，構文解析結果を用いる手法と の比較では，高い精度を維持しつつ，最大 29 倍高速に抽出が行えることが示された。
## 2 関連研究

BERT [3] を分野固有の文書で訓練することによっ て，その分野のタスクが高性能になることが知られ ている $[2,8]$. また，構文解析結果を考慮すること で，一般ドメインの関係抽出において，精度改善が 報告されている [4, 5]. Open IE [6] は，構文情報を 用いて主語・目的語となるエンティティのペアと， エンティティ間の関係を合わせた三つ組を抽出す る. そのため，クラスが定義された教師あり学習と は異なり，種々の関係を抽出できる。
 い。二つ目は，構文的な情報を利用していないとい う点である. 目的の関係抽出タスクでは構文的な情報が手掛かりになると期待できる $[4,5]$. しかしな がら，BERT は単語列からなる文を入力として文に 対する特徵量を抽出するため，構文的な情報を利用 していない。また，単純に構文解析の結果を利用す

図 1 マルチタスク学習の概念図

## 3 提案手法

## 3.1 ベースモデル

本研究では主タスクの関係抽出と後述する補助 タスクを同時に学習するマルチタスク学習をべー スラインモデルとする [7]. まず関係を判定したい 二つのエンティティをタグに変換する．変換後の文 に対して Open IE によって補助タスクのラベルを付与し, 両タスク共通のエンコーダの入力に用いる. エンコーダとして事前学習済みの BioBERTを用い る. BERTにおいて用いられる [CLS]トークンがエ ンコーダの出力から得られるので, 入力文の分散表現としてそれぞれの分類器の入力に用いる. 共通の エンコーダとそれぞれの分類器を学習させ，各タス クの損失の重み付き和を最終的な損失関数とする。以上の手順を図 1 に示す.

主タスクでは関係抽出を行うが，補助タスクでは 入力文に Open IE で抽出できる関係が含まれている かどうかを分類する. 補助タスクのラベルを生成 するため, 入力文に対して Open IE ツール Stanford CoreNLP [9] を用い，(主語，関係，目的語）の三つ 組を抽出する。このとき，主語，目的語にそれぞれ のエンティティを含む三つ組が抽出できた場合，入力文に対する補助タスクのラベルは正例ラベルと なる。 それ以外の場合は負例となる。表 1 に例を示 す.したがって，補助タスクではエンティティのぺ アを含む文を大力とし，入力文が正例か負例かの 2 クラスに分類するタスクを取り扱う．各タスクの損失関数は Cross Entropy Loss を用いる.

## 3.2 ラベルなしデータの活用

本研究では CHEMPROT などのラベル付きデータ に加え，ラベルなしデータである PubMed の活用 を提案する. PubMed は生物医学ドメインのデータ ベースであり，2020 年 9 月時点で約 3,000 万件の文献が収録されている.このうちアブストラクトが取得できる文献をクローリングし，学習に利用する。利用方法は以下の通りである。

1. ラベル付きデータを用いて固有表現抽出器と関係抽出器を学習. 抽出器はいずれも BioBERT で使用していたものを利用.

2. PubMed アブストラクトに対して 1 で学習した モデルで固有表現抽出を行い，関係抽出の判定対象のエンティティを含む文を取得.

3. 2で取得した文に対して関係抽出を行い主タス クのラベルを付与.
4. 2 で取得した文に対して Open IE によって補助 タスクのラベルを付与.

5. 主タスクと補助タスクのラベルが付与された PubMed を元のラベル付きデータと同時に学習.

PubMed の利用時は，関係ラベルの正例・負例の 比率が元のラベル付きデータと同程度になるよう文 を選ぶ。また，関係抽出ラベルを付与した際のスコ アが高いものから順に選択し学習に利用する。

## 4 評価実験

## 4.1 データセット

評価実験では CHEMPROT に加えて GAD [10], EU-ADR [11] をデータセットとして用いる. CHEMPROT は関係の種類が 6 クラス定義され
表 1 補助タスクのラベル付けの例

 & 正例 \\

ているのに対し， GAD と EU-ADR は 2 クラスが 定義されている.いずれのデータセットにおい ても BioBERT で使われていた前処理済みのもの を実験に用いる．実験ではこれらの CHEMPROT， GAD，EU-ADR に加え，CHEMPROT を関係あり・ なしの 2 クラスに変換したデータセットを用い る. 以降，本稿では元の 6 クラスの CHEMPROT を CHEMPROT-6，2 クラスに変換した CHEMPROT を CHEMPROT-2 と記す.

## 4.2 実験設定

CHEMPROT-6, CHEMPROT-2, GAD, EU-ADR $の$ 4 つのデータセットについて，主タスクのみを行 う場合とマルチタスク学習を行う場合のそれぞれ について学習時に PubMed を追加して実験を行う。 PubMed を利用する際には，元データとの関連性の 高い文を利用するために元データに出現するエン ティティを含む文のみを用いる手法でも実験を行 う．また，構文情報を与える方法として BioBERT の入力に構文木上の二つのエンティティを繋ぐ最短経路のトークンを追加した最短経路手法も比較と して実験する．本実験では，各最短経路を BioBERT で encode した結果を結合し，softmax 層にて分類を 行う，そのため，この方法では，その都度，構文解析が必要となる.

エンコーダは事前学習済みの BioBERT-Base v1.12) を用いてそれぞれの学習データで fine-tuning を行っ た. GAD，EU-ADRにおいては開発データが存在し なかったため，学習データの $10 \%$ 開発データとし て分割した. 各データセットにおいて開発データで ハイパーパラメータチューニングを行った. 開発 データで最も $\mathrm{F}$ 值が高くなったハイパーパラメータ を用い，学習データに開発データを含めて再度学習 したモデルによってテストデータの評価を行った。

CHEMPROT については乱数のシード値を変更 した上で 5 回ずつモデルの学習・評価を行い，そ れらの $\mathrm{F}$ 值の平均を評価値として用いる. GAD， EU-ADR については 10 分割交差検証によって F 值 を算出する。

## 4.3 結果と考察

評価実験の結果を表 2 に示す. BioBERT は Lee et al. [2] の論文中の数値を用いた.

表 2 実験結果（F 値）。+common は PubMed 利用時，教師データに出現したエンティティ間に制限.

手法 追加 PubMed データ量

ここでマルチタスク学習における主タスクと補助 タスクの正例・負例の相関を表 3 に示す. 主タスク と補助タスクの相関についてカイ二乗検定を用いて 有意水準 0.05 で検定したところ，CHEMPROT-2 で は有意差が認められたが，GAD，EU-ADR では有意
表 3 主タスクと補助タスクの相関

差は認められなかった. このことから，主タスクと 補助タスクの相関が示されている CHEMPROT-2に おいてはマルチタスク学習単体で，より大きく F 值 が向上したと考えられる.

また，PubMed 追加なしのシングルタスク (Single) とマルチタスク (Multi) の比較から, CHEMPROT-6, CHEMPROT-2，GAD では $\mathrm{F}$ 值が向上していること がわかる.

PubMed 追加の効果については, Single 行の比較で は，すべてのデータセットにおいてデータ追加なし の場合より高い F 值を示している. また，PubMed 利用時に，すべての文を使う場合 (Single, Multi) と 教師データに出現するエンティティ間の関係に制限する場合 (common) の比較では，CHEMPROT で は，制限を加えない場合に最高精度が得られ，GAD， EU-ADR では制限が有効であった. データを追加す ることで $\mathrm{F}$ 值は基本的に上がっているものの，一定量追加したあとは $\mathrm{F}$ 值が下がる傾向にある。これは 学習データを追加する際に関係抽出によってラベル を付与したときのスコアが高いものから順に追加し ていることに起因すると考えられる.

マルチタスク学習と PubMed の追加を組み合わ せた場合については，CHEMPROT-6, CHEMPROT-2 では最も高い $\mathrm{F}$ 值を達成しているが，GADでは シングルタスクでの PubMed 追加手法が，EU-ADR では最短経路手法がそれぞれ最高精度を達成して いる. PubMed に付与した主タスクと補助タスク のラベルについては，追加データ $100 \%$ で使用し た追加 PubMed データのラベルの相関を表 4 に示 す. 主タスクと補助タスクの相関についてカイ二乗検定を用いて有意水準 0.05 で検定したところ，表 4 PubMed における主タスクと補助タスクの相関

CHEMPROT-2，GAD，EU-ADR のいずれのデータ セットにおいても有意差が認められた.このことか ら，PubMed の学習では両タスクに共通する特徴を 学習し，ベースラインよりも高い $\mathrm{F}$ 值を達成してい るのだと考えられる。

EU-ADR では提案手法がいずれも最短経路手法よ り $\mathrm{F}$ 値が下回っているが，最短経路手法は関係抽出 ラベルを付与する際に構文解析の分だけ実行時間 がかかることになる。そこで，最短経路手法とその 他の手法について，学習データに関係ラベルを付与 する際に要する実行時間を計測した ${ }^{3}$ ．構文解析を 用いないべースラインや提案手法では CHEMPROT, GAD，EU-ADR の順に 74，31，15 秒だったのに対 し, 最短経路手法では $1,692,451$, 52 秒だった. こ れらの結果から，提案手法により，構文情報を学習 しつつ，大規模なラベルなしテキストを用いた学習 が行えることがわかる．最短経路を利用しない同じ 計算量となるモデル間での比較では，EU-ADR にお いてはマルチタスク学習と PubMed の追加を組み合 わせた提案手法が最も $\mathrm{F}$ 值が高くなっている.

## 5 おわりに

本研究では Open IE によるラベル拡張とラベルな し大規模コーパスの利用によって関係抽出タスクの 精度の向上を試みた. 実験結果から，マルチタスク 学習とデータ拡張を同時に行うことで，F 值の向上 を確認した. 今後の課題として化学ドメインでの文字情報の追加利用や，化学ドメイン以外への本手法 の適用などが挙げられる。

3）計測には Intel Xeon E5-2680 v4 2.4GHz CPU と NVIDIA TESLA P100 for NVlink-Optimized Servers を用いた.

## 参考文献

[1] Martin Krallinger, Obdulia Rabal, Saber A Akhondi, et al. Overview of the Biocreative VI chemical-protein interaction Track. In Proceedings of the sixth BioCreative challenge evaluation workshop, Vol. 1, pp. 141-146, 2017.

[2] Jinhyuk Lee, Wonjin Yoon, Sungdong Kim, Donghyeon Kim, Sunkyu Kim, Chan Ho So, and Jaewoo Kang. BioBERT: Pre-trained Biomedical Language Representation Model for Biomedical Text Mining. arXiv preprint arXiv:1901.08746, 2019.

[3] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. arXiv preprint arXiv:1810.04805, 2018.

[4] Yan Xu, Lili Mou, Ge Li, Yunchuan Chen, Hao Peng, and Zhi Jin. Classifying relations via long short term memory networks along shortest dependency paths. In $E M N L P^{\prime} 15$, pp. 1785-1794, 2015.

[5] Makoto Miwa and Mohit Bansal. End-to-End Relation Extraction using LSTMs on Sequences and Tree Structures. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics, ACL 2016, August 7-12, 2016, Berlin, Germany, Volume 1: Long Papers, 2016.

[6] Michele Banko, Michael J Cafarella, Stephen Soderland, Matthew Broadhead, and Oren Etzioni. Open Information Extraction from the Web. In Ijcai, Vol. 7, pp. 2670-2676, 2007.

[7] 新城大希, 西川仁, 徳永健伸, 牧野拓哉, 岩倉友哉. 自動生成した学習データを用いたマルチタスク学習に よるタンパク質と化学物質間の関係抽出. 言語処理学会第 26 回年次大会, pp. 1555-1558, 2020.

[8] Iz Beltagy, Kyle Lo, and Arman Cohan. SciBERT: A pretrained language model for scientific text. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLPIJCNLP), pp. 3615-3620, Hong Kong, China, November 2019. Association for Computational Linguistics.

[9] Christopher Manning, Mihai Surdeanu, John Bauer, Jenny Finkel, Steven Bethard, and David McClosky. The Stanford CoreNLP: Natural Language Processing Toolkit. In Proceedings of 52nd annual meeting of the association for computational linguistics: system demonstrations, $\mathrm{pp}$. $55-60,2014$.

[10] Àlex Bravo, Janet Piñero, Núria Queralt-Rosinach, Michael Rautschka, and Laura I Furlong. Extraction of Relations between Genes and Diseases from Text and Large-scale Data Analysis: Implications for Translational Research. BMC Bioinformatics, 012015.

[11] Erik M. van Mulligen, Annie Fourrier-Réglat, David Gurwitz, Mariam Molokhia, Ainhoa Nieto, Gianluca Trifiró, Jan Kors, and Laura I Furlong. The EU-ADR Corpus: Annotated Drugs, Diseases, Targets, and their Relationships. Journal of biomedical informatics, Vol. 45, pp. 879-84, 042012.


# 日本語の難易度に関する特徴分析

前川 絵吏村尾 元
神戸大学 国際文化学研究科
\{eri.maekawa, hajime.murao\}@ mulabo.org

## 1 はじめに

近年，日本で生活する外国人が増加し，やさしい 日本語が注目されている. やさしい日本語を自動生成するため機械翻訳の技術を利用した研究が活発で ある。機械翻訳では翻訳精度を BLEU [1]や SARI [2] で比較することが多い. BLUE や SARI は入力文,参照文との比較でスコアを計算するが，直接的にテ キストの難易度を測定しない。そこで，本研究では テキストの難易度を測るべく日本語の特徴量を分析 し，分類モデルを構築した．将来的には，テキスト 平易化の評価指標とすることを検討している.

キーワード : やさしい日本語, ランダムフォレス ト, Permutation Impmortance

## 2 先行研究

劉ら [3]は語彙レベルと構文の複雑さからテキス トの難易度を判定する手法を提案した。語彙レベル を表す尺度には，読解学習支援システムである「リ 一ディング・チュウ太・語彙チェッカー」 [4] 使用 している. リーディング・チュウ太・語彙チェッカ 一は旧日本語能力試験の出題基準に基づいて語彙レ ベルを判定する Web システムである. 構文の複雑さ を表す尺度には係り受け距離を採用し，これが長い 文は難易度が高いとしている。実験では，日本語能力試験の問題集をコーパスとして利用し，重回帰分析によって難易度算定公式を提案している。

張ら [5]は日本人が定義する難易度ではなく, 外国人の感覚に合った日本語の難易度を自動推定する 手法を提案した。テキストの特徴量を抽出し, 外国人が付与した難易度スコアを利用して, 特徴量が有効かどうかを調查した. 特徴量として, 単語数, 品詞の数, 品詞の割合, 分節数, 係り受けの距離, 係 り受けの回数を抽出した．難易度自動推定では，線形回帰モデルにより難易度スコアを算出する式パラ メータを推定している。これにより，任意の文から 難易度スコアを推定することを可能にした。

本研究では，外国人にとっての難易度に着目して
いる点では先行研究と同様であり特徴量の参考にし た.しかし, 現行の日本語能力試験では出題基準を 公開していないため, 本研究では語彙レベル等を特徴量とはしていない。それに相当する特徴量として 出現頻度を設定した。

## 3 難易度推定のための特徴量の抽出

## 3.1 特徴量の求め方

テキスト 1 文から特徴量を抽出し, 普通の日本語 とやさしい日本語の文で比較する。特徴量として以下の值を用いる。

単語数 テキストに含まれる形態素の数.

漢字率 テキストに含まれる漢字の個数を文字数で割った値.

外来語率 全ての文字がカタカナである形態素 の数.これを単語で割った値.

受身率 接尾語の「れる」もしくは「られる」の 形態素の数. これを単語数で割った値.

サ変接続名詞率品詞が「サ変接続名詞」である 形態素の数. これを単語数で割った値.

副詞率 品詞が副詞である形態素の数. これを単語数で割った値.

読点率 読点の個数. これを単語数で割った值.

否定率 品詞が助動詞の「ない」「ぬ」「ん」の数. これを単語数で割った值。

出現頻度最大値品詞が「名詞」「動詞」「形容動詞」「形容詞」である形態素の数のうちの最大値.

出現頻度平均値品詞が「名詞」「動詞」「形容動詞」「形容詞」である形態素の数のうちの平均値.

係り受け平均距離文節単位での修飾文節と被修飾文節間の分節数を係り受け距離としたとき，1 文内で修飾-被修飾関係にある全ての文節間の係り 受け距離の平均值.

係り受け最大距離 1 文内で修飾-被修飾関係に ある全ての文節間の係り受け距離の最大値.
表 1 特徵量の統計量

 & 38.471 & 285.000 & 3.000 & 17.096 \\

係り受け被修飾数 1 文内における全ての文節に ついての被修飾数の最大值.

## 3.2 実験データ

## 3.2.1 データの取得

実験では，通常の文として NHK NEWS WEB と， やさしい日本語の文として NEWS WEB EASYiiの記事からテキストを抽出した。 2020 年 7 月 9 日から 2020 年 12 月 8 日までに投稿された 329 件の記事を Web スクレイピングで収集した. 収集するテキスト は Web ページのニュース本文のみである. タイトル，記事の投稿日時，注目ワード，別の記事へのリンク テキストやバナーの文字などは含まない.

得られたテキストから, NEWS WEB EASY 2,600 文, NHK NEWS WEB 2,600 文をランダムに選び，合計 5,200 文を教師データとした。このうち学習デー 夕は 5,000 文で, NEWS WEB EASY の文が 2,501, NHK NEWS WEB の文が 2,499 , 検証データは 200 文 で, NEWS WEB EASY の文が 109 , NHK NEWS WEB の文が 91 とした。

## 3.2.2 特徵量の計算

NEWS WEB EASY のテキストから HTML タグと ルビを取り除き, 特徴量を計算した. 求めた特徴量 ベクトルにその文が通常文かやさしい日本語かを示 すラベルを付与し，ラベルを推定するようモデルを 学習した。

特徴量の基本統計量を表 1 に示す. なお, 特徴量 の標準化はしていない。特徴量のうち, 最小値・最

大値・平均値など基本統計量に差が見られるものは,「単語数」「漢字率」「サ変接続名詞」「副詞率」「係 り受け最大距離」「出現頻度最大值」が該当する.

反対に,「外来語率」や「否定率」はほとんど差が ないということがわかる.

## 4 特徴量に基づく分析

## 4.1 分析手法

## 4.1.1 ランダムフォレスト

ランダムフォレストは機械学習の手法のひとつで,分類や回帰問題に適用できる. ランダムフォレスト は複数の決定木で学習する。 その手順は次の通りで ある。まず，全ての学習データからそれぞれの決定木を学習するためのデータをランダムに選択する。 これを用いてそれぞれの決定木を学習する．学習後 のランダムフォレストを分類に利用する場合はそれ ぞれの決定木の出力からもっとも多い出力をランダ ムフォレストの出力とする.

決定木のアルゴリズムは特徴量と閾値を調整して 決める。例えば「単語数は 20 より大きいかどうか」 という条件で分岐した結果が，ラベル 0 と 1 のグル ープにクラス分けできていれば精度がよいと言える。今回の実験のように 2 値に分類する場合，条件によ って分割したデータ群にラベルが混ざり合っている 状態は不純度が高く, 一方のラベルが集まっている 状態を不純度が低いとする．親ノードより子ノード の不純度が低くなるよう学習していく。

ii https://www3.nhk.or.jp/news/easy/

## 4.1.2 Permutation Importance

Permutation Importance は特徴量の重要度を測る方法の一つで，それぞれの特徴量がどれくらいモデル の予測精度に貢献しているかを重要度とする. 重要 な特徴量の場合, その特徴量をランダムに並べ替え て学習すると正解率が低くなる.

計算の手順を示す.

正解率を $s$ とする.

2.特徴量 $j$ ごとに以下を計算する.

2.1 特徴量 $j$ ¡ンダムに並べ替えて, データセット $D_{j}$ を生成する.

2.2 データセット $D_{j}$ を, 学習済モデルで分類したとき の正解率を $\mathrm{s}_{j}$ とする.

3. 特徵量が $K$ 個あるとしたときの特徵量 $j$ の重要度 $P I_{j}$ を次の計算式で定義する.

$
P I_{j}=s-s_{j}(1 \leq j \leq K)
$

## 4.2 分析結果

## 4.2.1 ランダムフォレスト

ランダムフォレストでの学習には Python のパッ ケージである scikit-learniiを使用した. パラメータは,決定木の数を 100 とし, それ以外は scikit-learn のデ フォルトを使用した.

正解率は次の式で求める.

$
\text { Accuracy }=\frac{\mathrm{TP}+\mathrm{TN}}{\mathrm{TP}+\mathrm{FP}+\mathrm{FN}+\mathrm{TN}}
$

TP は真陽性, FP は偽陽性, FN は偽陰性, TN は 真陰性とする．5,000 件のデータを学習させた結果，正解率(Accuracy)の平均は 0.825 , 分散は $6.44 \times 10^{-5}$ であった.

## 4.2.2 PermutationImportance による特徴量の 重要度

次に，どの特徴量がモデルの正解率に影響を与え ているかを調べるために Permutation Importance を測定する. 全ての特徴量について計算した結果を図 1 に示す.

図 1 より, 「サ変接続名詞率」,「単語数」,「漢字率」, 「受身率」,「出現頻度最大値」の 5 つの特徴量 で特に誤差が大きくなった。これ以外の特徴量は, ランダムにシャッフルして学習しても精度は 0.01 以下しか変わらないことから, 学習済モデルの推定精度に大きな影響を与えないと言える。つまり，先に 挙げた 5 つの特徴量が重要であることが分かる.

図 1 Permutation Importance の結果

## 5 分類モデルの実験

## 5.1 実験の目的

本研究では, やさしい日本語と通常の日本語のテ キストデータから特徴量を抽出し, それぞれの特徴量が文の難易度にどれくらい影響を与えているかを 分析した. 分析では特徴量とラベルをランダムフォ レストで学習し, 分類モデルを生成した. 分類モデ ルはテキストの難易度を評価するための判断として 利用できることを期待している。 それを確認するた め, モデルの学習に使用していないコーパスでモデ ルを実験する。

## 5.2 実験に利用するコーパス

4.2.1 で生成したランダムフォレストの学習済モ デルを，他の４つのコーパスから収集したテキスト データに適用し，ラベルを推定した。それぞれのコ ーパスの特徴と文例を示す.

(a)こどもコーパス 甲南大学知能情報学部の研究 チームが集めたコーパス [6]である. 10 歳 11 歳の こどもが本を紹介するブログに書き込んだテキスト を収集したものである。

(b) 青空文庫 青空文庫で公開している作品である。宮沢賢治の「銀河鉄道の夜」を選んだ。

(c)ウェブ文書リードコーパス 京都大学の研究室 で公開しているコーパスの 1 つで, Web 文書の冒頭 3 文を収集したコーパスである.ニュース記事，ブ

ログ，商用ページなどさまざまな文書を含む.

(d) Wikipedia コーパス 共同作業で執筆されるイ ンターネット上の事典である。日本語 Wikipedia の ダンプデータからテキストを抽出した. Wikipedia の 記法であるタグを取り除くため, Wikipedia Extractor を使用し，テキストのみを抽出した．全てのダンプ データを利用すると計算コストが膨大になるため, ファイルの先頭から 10 万行を抽出して使用した.

## 5.3 結果と考察

それぞれのコーパスから 500 文のテキストをラン ダムに選択した。テキストから特徴量を計算し, NHK NEWS WEB と NEWS WEB EASY で学習済の モデルで推定した結果を表 2 に示す.

こどもコーパス, 青空文庫ではやさしい日本語と 分類された文が $80 \%$ を超えていた.こどもコーパス は文が短いことや漢字が少ないことが分類に影響し たと考えられる，青空文庫から選んだのは，宮沢賢治の「銀河鉄道の夜」だが，登場人物の会話で物語 が展開するため, 口語で短い文が連続する部分があ る. 特嘚量のうち, 単語数が少ないことが分類に影響したと考えられる。

ウェブ文書リードコーパスはやさしいと分類した 文が比較的多かったが，500 文中 160 文は通常の日本語であると分類されている. 複数の文書形態を含 むコーパスのため, 分析しにくいが, リード文は短 く明確に伝えるために， 1 文に多くの情報を入れな ければならない，そのため，ひらがなより漢字を使 って文の長さを短縮したことが，分類結果に影響し たと考えられる。

Wikipedia コーパスは, 通常の日本語と分類された 文が最も多かった. 文中の単語にリンクを設定でき，単語を補足する必要ないため文の難易度が高くなっ ていると考えられる。

表 2 コーパスを分類した結果

 &  \\

## 6 おわりに

本研究では, やさしい日本語ニュースである NEWS
WEB EASY と，そのニュースに対応する NHK NEWS WEB からテキストを抽出して，やさしい日本語の特徴量 を分析した. ランダムフォレストで分類器を生成し たところ，80\%を超える正解率で学習できた. またラ ンダムフォレストの木構造と Permutation Importance で特徴量の重要度を計り，「サ変接続名詞率」「単語数」「漢字率」「受身率」「出現頻度最大値」の 5 つが分類に影響を与えるということがわか った.

ランダムフォレストで生成した分類器で他のコー パスを評価したところ，こどもコーパスと青空文庫 はやさしい日本語が $80 \%$ 以上, ウェブ文書リードコ 一パスは約 $70 \%$ 0 やさしい日本語であると分類した。 Wikipedia コーパスは逆に 60\%以上が通常の日本語 であると分類した。得られた特徴量から難易度を判定できる可能性が示された.

謝辞 本研究は JSPS 科研費 19K12247 の助成を受 けて行われました。

## 参考文献

[1] K. Papineni, "BLEU: a Method for Automatic Evaluation of Machine Translation," In Proc. of ACL, pp. 311-318, 2002.

[2] W. Xu, "Optimizing Statistical Ma- chine Translation for Text Simplification.," TACL, Vol. 4, pp. 401-415, 2016.

[3] 劉志宇ほか，“日本語を学習する外国人を対象 とした日本語テキスト難易度推定手法,”研究報告自然言語処理（NL）, Vol. 2012-NL-205， No. 11, pp. 1-5,, January 2012.

[4] 北村達也, “日本語読解学習支援システム「リ ーディング・チュウ太」,” 甲南大学紀要.知能情報学編, Vol. 6,No. 2, pp. 243-253, November 2013.

[5] 張萌ほか，“「やさしい日本語」作成支援のた めの日本語の難易度自動推定の検討.," 研究報告自然言語処理（NL）, Vol. 2012-NL-206, No. 6, pp. 1-6, May 2012.

[6] 永田亮ら，“作 文履歴をトレース可能な子供 コーパスの構築,” 自然言 語処理, Vol. 17, No. 2, pp. 2_51-2_65, 2010.