# 遺伝子二重欠失研究のための関連論文検索手法

平野竧野村航進藤裕之渡辺太郎
奈良先端科学技術大学院大学 先端科学技術研究科
}

hirano.hayate.hc2@is.naist.jp w-nomura@bs.naist.jp

\{shindo, taro\}@is.naist.jp
## 1 はじめに

生物学と情報科学の学際的分野であるバイオイン フォマティクスにおいて，実験から得られた情報か らの知識発見は課題の一つである. 例えば大腸菌に ついて , ゲノム (遺伝情報) の化学合成および最小化を目的とするゲノムデザインを目指し，遺伝子欠失株と呼ばれる特定遺伝子が機能しない細胞を用い て,「どの遺伝子が削れるのか」という観点から研究が進められている [1].しかし遺伝的相互作用の 組み合わせが非常に多く, 生物学的知見がもっとも 大きい生物である大腸菌でさえ，ゲノムデザインの 達成には程遠い現状がある [1] .

本研究では，2 種類の遺伝子を喪失させた遺伝子二重欠失株の生育実験をより効率的に行えるように することを目標とし，クエリとして与えられた 2 種類の遺伝子に対する相補的な関連性の検証に有用 な論文を検索する方法を提案する．具体的には，木構造トピックモデルで得られる文書および単語の トピック分布を応用する . Latent Dirichlet Allocation (LDA [2]) に代表される一般的なトピックモデルと 異なりトピック同士の類似性や粒度の違いを考える ことができるため, 別々のトピックに属する単語や 文書に対しても類似するかどうかを考えることがで きる. 実験により階層構造を持つトピック分布は光 うでないものと比べ, 遺伝子の相互作用をより適切 に捉えられる可能性を示した。

## 2 関連研究

情報検索タスクには文書群からのデータ検索だけ でなく，SQL をはじめとする構造化されたデータか らの知識発見などさまざまな設定が存在する.この うちテキスト検索は，ユーザの入力したクェリに対 してランク付けされたテキスト群を結果として返 すものであり，情報検索における主要な問題である

図 1 クエリ : “b0720 b0002”および“b0928 b0231” の設定 における取得された関連文献上位 3 件

[3] . 情報検索も他の自然言語処理タスク同様, 単語および文書のべクトル表現の学習に重点を置いて おり，BERT やPT-2などの事前学習済みの言語モ デルを文書検索に利用する研究がある $[4,5]$.

また , 情報検索において文書の表現には Latent Semantic Indexing (LSI) をはじめとするべクトル空間 モデルが広く用いられてきた . LDA [2] は LSI を生成モデルに拡張したものであり, 潜在的な意味「卜 ピック」からの単語の生成, および文書からのト ピックの生成を行う際, Dirichlet 分布を事前分布に 仮定する. 代表的なトピックモデルとして様々な久 スクへと応用されている。

ここで，LDA は大量文書に適応が可能な手法で ある一方，トピック同士の関連や粒度の違いを考慮 することができない．トピック同士に階層構造を持 たせる木構造トピックモデルは光れを可能にする が，大量文書への適用が困難であった . Isonuma ら [6] は木構造卜ピックモデルにおいて, 文書からト ピック分布への写像をニューラルネットワークで構成する手法を提案した．これにより大量文書へに対 して木構造トピックモデルの構築, 情報検索をはじ めとする下流タスクへの応用が可能となった .

## 3 提案手法

本研究では , 実験対象の 2 種類の遺伝子をクェリ として与えたときに互いの差異を含むような文献が

図 2 モデルの概略図

検索できるようにすることで，遺伝子欠失研究の仮説検証を補助することを目的とする．关こで生物医学分野の論文を対象に，木構造ニューラルトピック モデル [6] により獲得される文書のトピック分布お よびトピックに紐づく単語分布を文書検索に利用 する。

トピックモデル LDA [2] を情報検索に利用する場合, 例えば文書分類では文書 $d$ のトピック分布 $\theta_{d}$ およびトピック $z$ に紐づく単語分布 $\phi_{z}$ が光れ光れ パラメータ $\alpha, \beta$ である Dirichlet 分布から生成される とした上で, 文書（観測値である単語の集合 $\mathbf{w}$ で表現される) の生成確率

$
\begin{aligned}
p(\mathbf{w} \mid \alpha, \beta)=\int & \int \prod_{z=1}^{X} P\left(\phi_{z} \mid \beta\right) \prod_{d=1}^{N} P\left(\theta_{d} \mid \alpha\right) \\
& \left(\prod_{i=1}^{N_{d}} \sum_{z_{i}=1}^{K} P\left(z_{i} \mid \theta\right) P\left(w_{i} \mid z, \phi\right)\right) d \theta d \phi
\end{aligned}
$

により各文書についてもっとも確率値の高いトピッ クに割り当てることで行うことができる.ここで， トピック数 $K$ は開発データにおける perplexity と呼 ばれる指標により事前に決定する必要がある．

一方 , Isonuma ら [6] が提案するモデルでは事前分布から無限木上のトピック分布への写像をニューラ ルネットワークで構成することにより，トピック数 を動的に学習させることが可能である。

図 2 は提案手法の流れを示している.クェリとし

の対応の強さを推定する．具体的には，Wei ら [7] の手法に従いクェリ $q$ に対して $p(q \mid D)$ を以下の式 (2) で表わされる文書スムージングにより計算する .

$
\begin{aligned}
p(q \mid D)= & \lambda\left(\frac{N_{d}}{N_{d}+\mu} p_{M L}(q \mid D)+\right. \\
& \left.\left(1-\frac{N_{d}}{N_{d}+\mu}\right) p_{M L}(q \mid \text { coll })\right)+ \\
& (1-\lambda) p_{t m}(q \mid D)
\end{aligned}
$

ただし $p_{M L}(q \mid D)$ は文書 $D$ におけるクエリ $q$ の最尤推定量，すなわち文書を構成する単語数 $N_{d}$ に対す る出現語彙数 $c(q, D)$ の割合 $\frac{c(q, D)}{N_{d}}$ を, $p_{M L}(q \mid$ coll $)$ は全文書集合におけるクエリ $q$ の最尤推定量，すな わち $\Sigma_{D \in \text { coll }} \frac{c(q, D)}{N_{d}}$ を表す.また, $p_{t m}(q \mid D)$ は文書 モデルであり，各トピックに紐づく単語分布の推定値 $\hat{\phi}$ おび文書のトピック分布の推定値 $\hat{\theta}$ を用いて 以下のように書ける。

$
\begin{aligned}
p_{t m}(q \mid D) & =\sum_{n=1}^{N} p_{t m}\left(q \mid z_{n}\right) p_{t m}\left(z_{n} \mid D\right) \\
& =\sum_{n=1}^{N} p\left(q \mid z_{n}, \hat{\phi}\right) p\left(z_{n} \mid \hat{\theta}, D\right)
\end{aligned}
$

本研究では , クエリとして与える 2 種類の遺伝子に 相補的な関連を持つ文書集合を獲得したい.クエリ を各々 $q_{1}, q_{2} \in Q$ とした場合に，2つのクエリに対 する文書との関連の強さは

$
p(Q \mid D)=\prod_{i=1}^{2} p\left(q_{i} \mid D\right)
$

と書けることから，式 (2) はクエリを構成する各々 の単語について計算し，積を取ることで求められ る.クェリである遺伝子双方に関連する文書群と，各々の遺伝子について関連する文書群との関連の大 きさの差が大きかった文書を 2 種類の遺伝子に相補的な情報を持つ文書とする。

## 4 実験

## 4.1 データセット

生物医学系の研究論文が広く収集されているデー タベースの一つである PubMed ${ }^{11}$ から論文データを 取得した.ここで，PubMed に収集されている論文 には Medical Subject Headings $(\mathrm{MeSH})^{2)}$ と呼ばれる

1) https://pubmed.ncbi.nlm.nih.gov/

2) https://www.nlm.nih.gov/mesh/meshhome.html
生物医学語彙データベース中の語句がラベルとして 振られており，これにより的確な検索が可能となっ ている.本研究では, 大腸菌 (Escherichia coli) に関 する研究論文のみを対象とするため, MeSH データ ベース中の小分類, Escherichia coliを利用した.下位分類として生物学の研究に主に用いられる大腸菌株 Escherichia coli $\mathrm{K} 12$ が存在するが, ラベルの網羅性の低さからこれは用いないこととした．検索され た論文のうち，本文をプレーンテキストとして取得 できた 16,740 件を実験の対象とした .

前述の論文本文データに加え，大腸菌遺伝子と同義な用語や概念, 例えば遺伝子 gltA は, 各大腸菌遺伝子に一意に振られる b number である b0720 と同義とみなされる. 光れらを同一視するため, 各遺伝子の同義語を生物医学データベース群, EcoCyc ${ }^{3)}$, EcoGene $^{4)}$, KEGG $^{5)}$, RegulonDB ${ }^{6)}$ から収集した

さらに，検索された文書群がどの程度クェリとし て与えた遺伝子の相補的な情報を保持するかを検定 するために，遺伝子二重欠失株生育データを利用す る.これは大腸菌二重遺伝子欠失実験により得られ た 4,000 150 遺伝子対について，遺伝子欠失後の 大腸菌の生育状況を生, 死, 不変にて3 值化したも のである .

## 4.2 実験設定

4.1 節で得られた論文本文のデータには NLTK を 利用してストップワードの除去 , および見出し語へ の変換 (Lemmatization) を行った. 加えて, 遺伝子 を表す単語は収集した遺伝子の同義語群を用いて b number に統一した ${ }^{7)}$. 低頻度語も除去し，遺伝子以外の語は 1,741 種類，遺伝子は 552 種類を利用す る. これら文書群は評価用と光れ以外に 6,652 件， 10, 088 件に分割し，更に評価用でない文書群は訓練用と検証用に 9,031 件，1,057 件に分割した ${ }^{8)}$.

加えて遺伝子二重欠失株生育データに対して，遺伝子を欠失順序ごとに Head 遺伝子, Tail 遺伝子と呼 び，羊れらを入れ替えた場合に生育状況か湾化する もの，変化しないものの二值化を行った．入れ替え

3) https://ecocyc.org

4) http://ecogene.org

5) https://www.kegg.jp

6) http://regulondb.ccg.unam.mx

7) 同義な語であっても一意に b number に置換できない場合が ある. 本研究では収集した同義語群において, 当該の語から b numberへの変換が一意に定まるもののみを対象とした .

8) 分割は [8] が採用し, Isonuma ら [6] も同様にしている 20 News Corpus の分割比, 訓練データ: 検証データ +評価データ $=3: 2$, 検証データ $:$ 評価データ $=1: 9$ にしたがった .

図 3 木構造ニューラルトピックモデルにより学習された トピックの階層構造 : 各トピックの上位 3 語を表示

によって生育状況が変化した遺伝子対は 1,982 組，変化しない，もしくは実験が行われていないものは 214, 990 組得られた . このうち前述の 552 種類の遺伝子に含まれる各 8 組を検定に利用した ?9)

また文書モデルの計算のための木構造ニューラ ルトピックモデルのハイパーパラメータは Isonuma ら [6] の設定に従った．また文書検索については， Wei ら [7] のパラメータに従い $, \mu=1000, \lambda=0.7$ を 用いた。

## 4.3 文書検索の結果

本研究では，式 (2) で計算される文書モデルを利用し，各文書 $D$ に対して $\sum_{i} p\left(q_{i} \mid D\right)-p(Q \mid D)$ の降順に各 10 文献を取得した . 得られた結果に対して Mann-Whitney のU 検定を用いて，遺伝子二重欠失実験において生育状況の変化のあったもの，なかっ たものの各遺伝子組について検索順序の中央值の差 の検定を行った。

また, 大腸菌二重遺伝子欠失実験により得られた 欠失順序の違いにより生育状況に変化のあった遺伝子，および変化のなかった遺伝子，各 8 組について 文書検索を行つた . 5 組について帰無仮説は棄却さ れ，中央値に差があることが示された . 結果の一例 は表 1 に示した．ここから，生育状況に変化のあつ た遺伝子となかった遺伝子の 2 群間で異なる検索分布が提案手法により得られたと言える。

図 1 に取得された文献の一例を示す. 遺伝子 b0720，b0002 は遺伝子生育実験により，欠失順序に よって生育状況が変化すると判断された組，b0928， b0231 は変化しないと判断された組である. 検索さ れた文書順序は実験対象の 8 件での上位 20 文献に ついてはほとんど変化がなかった．これは，トピッ

9) ある Head の欠失遺伝子について，各 Tail 遺伝子すべてにつ いて上位 $5 \%$ を生，下位 $5 \%$ を死とした。生育状況 LB 培地培地上での大腸菌コロニーサイズの増減によって計算される。
表 1 文書検索結果 : b0720,b0002 ゚゚アおよび b0928,b0231 ゚゚ア同士の代表値についての両側検定結果

$
* p<0.05
$

クモデルと文書検索の学習を別々に行ったことが一因と考えられ，一体での学習は今後の課題である。

## 4.4 木構造卜ピックによる効果

フラットなトピックモデルを利用した場合と比較 して木構造トピックが文書検索性能に影響があるか を検証する．図３は木構造ニューラルトピックモデ ルにより獲得されたトピックの階層構造を図示した ものである.上位には “growth”などの概念的な語が 見られるが，下位には“enzyme”や“pcr”など具体的 な語が含まれることがわかる.フラットなトピック モデルの一例として LDA [2]を利用する. 提案手法 との比較のためトピック数は同一の 19 に,訓練に は訓練用文書 9,031 件を用いた。検証用文書 1,057 件での Perplexity が 10 反復連続で変化しなかったと ころでモデルの学習を打ち切った。

結果は表 1 に示した．LDAへと変更したことに より帰無仮説の棄却数は変わらず 5 件であった . し かしながら，実験の対象とした 8 件の遺伝子の組す べてにおいて中央值は木構造ニューラルトピックモ デルの方が大きくなった．このことから実験的にト ピックに階層構造を持たせることが，2 種類の遺伝子に相補的な関連をもつ論文を検索することを目的 とする本研究には役に立つ可能性が示唆される。

## 5 おわりに

本研究では，情報検索技術を背景にゲノムデザイ ン研究の支援を行うことを目的とした . 他の生物と 比較して研究の進んでいる大腸菌においても，いま だ知られていない遺伝子相互作用が人の手に余るほ ど存在することを鑑みると，実験結果に関連のある 情報を取得する技術は遺伝子欠失，ひいてはゲノム デザイン研究の効率化の一助となる。

そこで論文を効率よく検索することを目指し，木構造ニューラルトピックモデルで得られるトピック に紐づく単語分布および文書のトピック分布を後続
のモデルの推論に利用し，実験により階層構造をも たないトピックモデルよりもより効果的に論文を取得できる可能性を示した . 今後は木構造ニューラル トピックモデルの強みの一つである，下流タスクと の一体的な学習を進める。

## 参考文献

[1]浩禎 森. ゲノムデザインに向けて (創立 90 周年記念特別企画: バイオ技術 10 年の軌跡特集 大規模ゲノム改変技術と微生物育種工学: バイオモノづくり技術と合成生物学の発想). 生物工学会誌, 90(6):293-297, 2012.

[2]David M Blei, Andrew Y Ng, and Michael I Jordan. Latent dirichlet allocation. Journal of machine Learning research, 3(Jan):993-1022, 2003.

[3]Bhaskar Mitra, Nick Craswell, et al. An introduction to neural information retrieval. Foundations and Trends ${ }^{\circledR}$ in Information Retrieval, 13(1):1-126, 2018.

[4]Wei Yang, Haotian Zhang, and Jimmy Lin. Simple applications of bert for ad hoc document retrieval. arXiv preprint arXiv:1903.10972, 2019.

[5]Yosi Mass and Haggai Roitman. Ad-hoc document retrieval using weak-supervision with BERT and GPT2. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pages 4191-4197, Online, November 2020. Association for Computational Linguistics.

[6]Masaru Isonuma, Junichiro Mori, Danushka Bollegala, and Ichiro Sakata. Tree-Structured Neural Topic Model. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pages 800-806, Online, July 2020. Association for Computational Linguistics.

[7]Xing Wei and W Bruce Croft. Lda-based document models for ad-hoc retrieval. In Proceedings of the 29th annual international ACM SIGIR conference on Research and development in information retrieval, pages 178-185, 2006.

[8]Akash Srivastava and Charles Sutton. Autoencoding variational inference for topic models. arXiv preprint arXiv:1703.01488, 2017.
 平野竧野村航進藤裕之渡辺太郎 奈良先端科学技術大学院大学 先端科学技術研究科 }  hirano.hayate.hc2@is.naist.jp w-nomura@bs.naist.jp  \{shindo, taro\}@is.naist.jp 