# ゼロ照応解析に基づく 項省略補完を取り入れた対話応答生成

上山彩夏 狩野芳伸
静岡大学大学院総合科学技術研究科
aueyama@kanolab.net kano@inf.shizuoka.ac.jp

## 概要

人間同士の対話では，言外の情報が重要である.昨今の対話システムには，対話履歴から応答を直接生成する手法が広く用いられているが，対話履歴内 の述語の項は頻繁に省略されるため，統計的なパ ターンを学習するのみでは，言葉には表れない発話意図を波み取ることが難しい，そこで，対話履歴内 の省略された情報を推測し，明示的に補完した対話履歴から応答を生成する Dialogue Completion using Zero Anaphora Resolution framework (DCZAR) を提案 する。自動評価及び人手評価の結果，DCZAR が応答の首尾一貫性と魅力度を大幅に向上させることを 確認した。

## 1 はじめに

人間同士の対話は，常識的知識や共有認識から なる共通基盤に依存している $[1,2]$. 表 1 の対話で は，多くの情報が省略されているが，2人の話者は 常識的知識や文脈をもとに相手の意図を汲み取るこ とができている．昨今の対話システムは深層学習技術の発展により，着実に性能が改善されているもの の $[3,4,5]$, 表 1 のような発話の意図を正確に捉える ことはできていない $[6,7]$. これは，人間とシステ 么の間に共通基盤が存在しないことに起因すると考 えられる. 既存の対話システムは，対話履歴から応答を直接生成する手法が広く用いられており, 共通基盤構築の過程を明示的に扱っていない。また，対話履歴には多くの省略があるため, 発話の意図を学習することが困難となっている。この問題に対し，外部知識を導入し，人間の常識的知識をモデルに与 えることで，人間とモデルのギャップを埋める知識 ベース $(\mathrm{KB})$ を用いる手法が数多く提案されている が $[8,9,10], \mathrm{KB}$ の構築にかかるコストは大きく，異 なるドメインやモデルへの転用も容易ではない.表 1 対話例. highlight は省略された情報.

話者 A: 最近、友人が学校に来ていません。私は 友人に連絡して良いですかね？

話者 B：友人が 1 人で悩んでいるかもしれない ので、あなたは 友人に 連絡すべきです。

本研究では，外部知識を利用せずに，発話の意図を捉える手法を検討する．対話相手の発話意図 を汲み取るためには，登場する人物や事物の役割 とその変遷を把握することが重要である。そのた め，それら人物や事物とその役割を推測し，明示的に取り入れることで，相手の意図に沿った応答 を生成できるようになり，首尾一貫した対話が実現できると期待される．そこで，省略された照応 を推測するゼロ照応解析の考えから着想を得て，対話履歴内の省略された情報を推測し，明示的に 補完した対話履歴から応答を生成するゼロ照応解析に基づく対話応答生成フレームワーク (Dialogue Completion using Zero Anaphora Resolution framework; DCZAR) を提案する。DCZAR は，述語項構造解析 (Predicate Argument Structure analysis; PAS) モデル, 対話補完 (Dialogue Completion; DC) モデル，応答生成 (Response Generation; RG) モデルの 3 つのモデルで 構成する. PAS モデルは対話履歴内の省略された項 を解析し，DC モデルは補完する項と補完位置を決定し，明示的に補完する。その後， RG モデルは補完された対話履歴から応答を生成する. PAS モデ ル， $\mathrm{RG}$ モデルは事前学習済みモデルを各タスクに 対応するデータセットで fine-tuning したモデルで， DC モデルは事前学習済みモデルを fine-tuning せず に利用する. 本研究では，2 種類の事前学習タス ク (Cloze [11], PZERo [12]) と 2 種類のデータセット (Wikipedia，Twitter)を組み合わせ，計 4 種類の事前学習済みモデルを構築し，各タスクにおいてどのモ デルが優れた性能を達成するか検証した。
本研究の主要な貢献は以下の三点である.

・ゼロ照応解析に基づく項省略補完を応答生成モ デルに取り入れることで，応答の首尾一貫性と 魅力度が大幅に向上することを示した (4.5 節).

・対話データに類似した特徴を持つ Twitter デー タにより事前学習することで，ゼロ照応解析の 性能を向上させた (4.3 節).

・対話補完モデルが対話に含まれる省略を十分な 性能で補完できることを確認した (4.4 節).

## 2 関連研究

## 2.1 対話応答生成

対話応答生成は，対話履歴に続く応答を生成する タスクであり，ソース文からターゲット文を生成す る系列変換問題として定式化できる $[7,13]$.

## 2.2 ゼロ照応解析

ゼロ照応解析は, 与えられた文章に対し, 述語の 省略された引数 (ガ格， Э格，二格)を検出し，その 先行詞を同定するタスクであり，述語項構造解析夕 スクの一部として定式化できる. ゼロ照応は述語と その項の位置関係に応じて, 文内ゼロ ${ }^{1)}{ }^{\text {(intra }) \text {, 文間 }}$

た，述語の引数が述語と直接係り受け関係にある場合，その引数は構文従属引数 (dep) である.

日本語ゼロ照応解析に関して，様々な研究が行わ れてきた [15,16,17]. Konno ら [12] は，ゼロ照応解析にはゼロ代名詞と先行詞の文脈的なつながりを理解するための常識的な知識が重要だと考え，以下の 事前学習タスクと fine-tuning 手法を提案した.

擬似ゼロ代名詞解析 (PZERO) 入力系列に 2 回以上出現する名詞句のうち 1 つを [MASK] に置換し， [MASK] に埋まるべき名詞句を入力系列 $X$ から選択 する事前学習タスクである. [MASK] を系列 $X$ から 選択するタスクは, ゼロ代名詞に対応する先行詞を 同定するタスクと類似しているため，モデルがゼロ 照応解析に必要な知識を獲得できると期待される.

類似ゼロ代名詞に基づく項選択 (AS-PZERO) PZERO で訓練されたパラメータを用いて，PZERO と同様 の形式で述語項を解析する手法である. モデル

1）先行詞が同一文中に存在する.

2）先行詞が述語の文より前方に存在する

3）先行詞が文中に存在しない。
は，系列 $X$ 及び $X$ に含まれる述語を入力として 受け取り，述語の項となる単語を $X$ から選択す る. 述語の項が入力系列に存在しない場合は，モデ ルに [CLS] を選択させ，項をさらに４つのカテゴ $リ^{4)}$ (author, reader, general, none)へ分類する.

## 3 提案手法

我々が提案する DCZAR の概要を図 1 に示す.

PAS モデル 長さ $T$ の対話履歴 $X=\left.\{x_{1}, x_{2}, \ldots, x_{T}\right.\}$ に対して，述語項構造解析を行い， $X$ に含まれ る $n$ 個の述語 $P=\left.\{p_{1}, p_{2}, \ldots, p_{n}\right.\}$ の $l$ 格方の項 $A_{l}=\left.\{a_{l, 1}, a_{l, 2}, \ldots, a_{l, n}\right.\}$ を予測する.

DC モデル 対話履歴 $X$ と述語 $P$, PAS モデルが予測した述語の項 $A_{l}$ を用いて， $X$ 内の省略を明示的 に補完する。補完を行う際には，補完する項とその 補完位置を決定する必要がある。 ある述語 $p_{i}$ とそ の直前の述語 $p_{i-1}$ の間 (探索範囲 $r_{i}$ ) に項 $a_{l, i}$ の先行詞が出現しているかを確認し，現れていなければ， その項は補完の対象とする. その後，項 $a_{l, i}$ を $r_{i}$ 内 の各トークン間に挿入する場合と項 $a_{l, i}$ を挿入しな い場合の文を作成し，文章の自然さを表す指標で ある Pseudo-log-likelihood scores (PLLs) [18] を算出す る.そして，最もスコアが高い文を適切な位置に補完された文とみなし， RG モデルの入力に利用する。

RG モデル DC モデルに補完された対話履歴とそれ に続く応答により訓練されたモデルであり，推論の 際は対話履歴のみを入力とし，応答生成を行う。

## 4 実験

## 4.1 事前学習

2 種類のタスク (Cloze [11]，PZERO [12])と 2 種類の日本語データセット (Wikipedia，Twitter)を 組み合わせ，計 4 種類の事前学習済みモデル (wiki-cloze, twitter-cloze, wiki-pzero, twitter-pzero)を 構築した。また，モデルの初期パラメータとして， bert-base-japanese-whole-word-maskingを用いた.

## 4.2 比較モデル

4.1 節に示した事前学習済みモデルを PAS，DC， RG の各モデルに使用し，性能比較を行った。比較 パターンを表 2 に示す. 例えば，(e) の RGwiki-cloze

表 3 PAS モデルの自動評価結果 $\left(F_{1}\right)$

は前処理として，PASwiki-cloze とDCwiki-cloze を用 いる。また，(a)から (d) は補完を一切行わないべー スラインモデルであり，(h) は提案する事前学習済み モデル (twitter-pzero) のみを組み合わせたモデルで ある。なお，DC モデルで利用する PLLs は Cloze タ スクが解けるモデルを必要とするため, (g) と (h) の DC モデルは, wiki-pzero と twitter-pzero の代わりに wiki-cloze と twitter-clozeをそれぞれ適用している。

## 4.3 実験 1 : PAS モデル単体の性能評価

本実験では，表 2 に示した (e) から (h) の PAS モ デルの述語項構造解析の性能 $\left(F_{1}\right)$ を評価した. PAS モデルは事前学習済みモデルに対し, NAIST Text Corpus 1.5 [14]を用いて, AS-PZERO による fine-tuning を行ったモデルである. PAS モデルへの入力は，述語を含む文とその前方文で，述語に対応する先行詞表 4 DC モデルの人手評価結果

と格情報を出力するように学習される。

実験結果を表 3 に示す. 提案した PAS twitter-pzero がゼロ照応解析において, 最も高い性能を達成した. Twitter データで事前学習したモデルは, Wikipedia データで事前学習したモデルと比較して性能が高 く, 特に外界ゼロ $(e x o)$ で大きな向上を示している.

## 4.4 実験 2：DC モデル単体の性能評価

本実験では，表 2 に示した (e)から (h)の DC モデ ルの補完性能を人手評価により評価した. 人手評価 には, JPersonaChat と JEmpatheticDialogues [19] から 4 つのモデルごとにランダムサンプリングした各 250 件を用いた. 5 人の評価者に対し，補完前の対話履歴と補完後の対話履歴を提示し, 補完した項と 補完位置の双方が適切かを決定してもらった。

表 4 に実験結果を示す. 提案した DC twitter-pzero が対話補完において, 最も性能が高かった. Cloze, PZERO ともに, Wikipedia データではなく, Twitter データを事前学習に用いることで, 性能が向上して いる $(74.80 \rightarrow 77.20,72.40 \rightarrow 84.80)$. また，表 3 に おいても，(h) が最も優れた性能を示していること から，対話補完の性能は述語項構造解析の性能に関連していると考えられる。

## 4.5 実験 3：DCZAR の性能評価

本実験では，表 2 亿示した (a)から (h) の対話応答生成の性能を自動評価及び人手評価により評価し
表 $5 \mathrm{RG}$ モデルの自動評価結果

} \\

表 $6 \mathrm{RG}$ モデルの人手評価結果. */**は，カイ二乗検定 で $p<0.05 / 0.01$ での統計的有意差があることを示す. N/A は，多数決で「分からない」が選択された場合と 3 人 の評価者で評価が割れた場合の件数である.

 &  & \multirow{2}{*}{ 魅力度 } \\

(e) & + DCZAR (ours) & 28 & $\mathbf{5 4}^{* *}$ & $\mathbf{5 5}^{* *}$ \\
& N/A & 42 & 1 & 1 \\

(f) & + DCZAR (ours) & $\mathbf{3 4}$ & $\mathbf{5 7}^{* * *}$ & $\mathbf{5 4 * *}$ \\
& N/A & 36 & 0 & 0 \\

(g) & + DCZAR (ours) & 33 & $\mathbf{5 2 * *}$ & 47 \\
& N/A & 33 & 3 & 2 \\

(h) & + DCZAR (ours) & $\mathbf{3 8}$ & $\mathbf{6 2 * *}$ & $\mathbf{5 9 * *}$ \\
& N/A & 30 & 0 & 0 \\

た. RG モデルは，BERT を Encoder 及び Decoder に 利用する BERT2BERT [20] に対し, JPersonaChat と JEmpatheticDialogues を用いて, fine-tuning を行った モデルである. (a) から (d) はベースラインモデル， (e) から (h) はDCZAR を適用した提案モデルであ り，ベースラインモデルの入力には，データセット に含まれる対話履歴 $H$ をそのまま利用し, 提案モデ ルの入力には, $H$ 内の省略を補完した対話履歴 $H^{\prime}$ を用いた。

自動評価には，BLEU [21]，ROUGE-L [22], DISTN [23]，BERTScore [24] を採用した. 人手評価は, JPersonaChat と JEmpatheticDialogues から，4 種類の 事前学習済みモデルごとにランダムサンプリング した 100 件，計 400 件を全ての評価者が全件評価し た. 3 人の評価者に対し, 対話履歴とベースライン モデル，提案モデルが生成した 2 つの応答を提示乙，異なる評価基準 (文法的流暢性，首尾一貫性，魅力度) に基づいて 1 つを選択するか，「分からない」 を選択するペアワイズ比較を行った．最終的な評価値は，3名の多数決によって決定した.

表 5 に自動評価結果を示す. BLEU-1, 3, 4 及び ROUGE-L においては，提案モデルがベースライン モデルを上回ることを確認したが，有意な差は見ら れなかった. 提案手法は，項を補うことによって， より首尾一貫した応答が生成できると期待される が，その貢献は単語統計の結果には変化をもたらさ ないと考えられるため，これら自動評価尺度は必ず しも適切な評価尺度とは言えない。

表 6 に人手評価結果を示す. 文法的流暢性は，全 てのモデルにおいて有意差が認められなかったが， RGtwitter-cloze+DCZAR と RGtwitter-pzero+DCZAR はベースラインモデルの性能を上回った. 有意差 が認められなかった原因は，他の観点と比較して， N/A の件数が多いことが考えられる．首尾一貫性 は，全ての提案モデルがベースラインモデルと比較 して，有意に向上している。これは，応答を生成す る際に，省略を明示的に補完した対話履歴を用い ることが首尾一貫性の評価に寄与することを示し ている．魅力度は，RGwiki-pzero+DCZAR 以外の全 てのモデルにおいて，ベースラインモデルと比較 して，有意に向上している. 人手評価の結果より， DCZAR はより首尾一貫した，魅力的な応答の生成 に貢献することが示された。

## 5 おわりに

本研究では，対話履歴内の省略された情報を推測 し，明示的に補完した対話履歴から応答を生成する DCZAR を提案した. 実験の結果，DCZARを適用す ることで，より首尾一貫した，魅力的な応答を生成 できることが分かった．今後の展望として，異なる タスクや他の言語への適用などが挙げられる.

## 謝辞

本研究は JSPS 科研費 JP22H00804，JP21K18115 の

助成及び JST AIP 加速課題 JPMJCR22U4 の支援を受

けたものです.

## 参考文献

[1] Robert C. Stalnaker. Assertion. pp. 315-332, 1978.

[2] Herbert H. Clark and Edward F. Schaefer. Contributing to discourse. Vol. 13, No. 2, pp. 259-294, 1989.

[3] Mojtaba Komeili, Kurt Shuster, and Jason Weston. Internetaugmented dialogue generation. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics, pp. 8460-8478, 2022.

[4] Sebastian Borgeaud, Arthur Mensch, Jordan Hoffmann, Trevor Cai, Eliza Rutherford, Katie Millican, George Bm Van Den Driessche, Jean-Baptiste Lespiau, Bogdan Damoc, Aidan Clark, and et al. Improving language models by retrieving from trillions of tokens. In Proceedings of the 39th International Conference on Machine Learning, pp. 2206-2240, 2022.

[5] Romal Thoppilan, Daniel De Freitas, Jamie Hall, Noam Shazeer, Apoorv Kulshreshtha, Heng-Tze Cheng, Alicia Jin, Taylor Bos, Leslie Baker, Yu Du, and et al. LaMDA: Language models for dialog applications. arXiv:2201.08239, 2022.

[6] Tiancheng Zhao, Ran Zhao, and Maxine Eskenazi. Learning discourse-level diversity for neural dialog models using conditional variational autoencoders. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics, pp. 654-664, 2017.

[7] Iulian Vlad Serban, Alessandro Sordoni, Ryan Lowe, Laurent Charlin, Joelle Pineau, Aaron Courville, and Yoshua Bengio. A hierarchical latent variable encoder-decoder model for generating dialogues. In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 31, 2017.

[8] Xueliang Zhao, Wei Wu, Can Xu, Chongyang Tao, Dongyan Zhao, and Rui Yan. Knowledge-grounded dialogue generation with pretrained language models. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing, pp. 3377-3390, 2020.

[9] Mihail Eric, Nicole Chartier, Behnam Hedayatnia, Karthik Gopalakrishnan, Pankaj Rajan, Yang Liu, and Dilek Hakkani-Tur. Multi-sentence knowledge selection in open-domain dialogue. In Proceedings of the 14th International Conference on Natural Language Generation, pp. 76-86, 2021.

[10] Yan Xu, Etsuko Ishii, Samuel Cahyawijaya, Zihan Liu, Genta Indra Winata, Andrea Madotto, Dan Su, and Pascale Fung. Retrieval-free knowledge-grounded dialogue response generation with adapters. In Proceedings of the Second DialDoc Workshop on Document-grounded Dialogue and Conversational Question Answering, pp. 93-107, 2022.

[11] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 4171-4186, 2019.

[12] Ryuto Konno, Shun Kiyono, Yuichiroh Matsubayashi, Hiroki Ouchi, and Kentaro Inui. Pseudo zero pronoun resolution improves zero anaphora resolution. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 3790-3806, 2021.

[13] Pei Zhou, Karthik Gopalakrishnan, Behnam Hedayatnia, Seokhwan Kim, Jay Pujara, Xiang Ren, Yang Liu, and Dilek
Hakkani-Tur. Think before you speak: Explicitly generating implicit commonsense knowledge for response generation. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics, pp. 1237-1252, 2022.

[14] Ryu Iida, Mamoru Komachi, Naoya Inoue, Kentaro Inui, and Yuji Matsumoto. Annotating predicate-argument relations and anaphoric relations: Findings from the building of the naist text corpus. Vol. 17, No. 2, pp. 25-50, 2010.

[15] Ryohei Sasano and Sadao Kurohashi. A discriminative approach to Japanese zero anaphora resolution with large-scale lexicalized case frames. In Proceedings of 5th International Joint Conference on Natural Language Processing, pp. 758-766, 2011.

[16] Souta Yamashiro, Hitoshi Nishikawa, and Takenobu Tokunaga. Neural Japanese zero anaphora resolution using smoothed largescale case frames with word embedding. In Proceedings of the 32nd Pacific Asia Conference on Language, Information and Computation, 2018.

[17] Masato Umakoshi, Yugo Murawaki, and Sadao Kurohashi. Japanese zero anaphora resolution can benefit from parallel texts through neural transfer learning. In Findings of the Association for Computational Linguistics: EMNLP 2021, pp. 1920-1934, 2021.

[18] Julian Salazar, Davis Liang, Toan Q. Nguyen, and Katrin Kirchhoff. Masked language model scoring. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 2699-2712, 2020.

[19] Hiroaki Sugiyama, Masahiro Mizukami, Tsunehiro Arimoto, Hiromi Narimatsu, Yuya Chiba, Hideharu Nakajima, and Toyomi Meguro. Empirical analysis of training strategies of transformerbased japanese chit-chat systems. arXiv:2109.05217, 2021.

[20] Sascha Rothe, Shashi Narayan, and Aliaksei Severyn. Leveraging pre-trained checkpoints for sequence generation tasks. Transactions of the Association for Computational Linguistics, Vol. 8, pp. 264-280, 2020.

[21] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. BLEU: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, 2002.

[22] Chin-Yew Lin and Franz Josef Och. Automatic evaluation of machine translation quality using longest common subsequence and skip-bigram statistics. In Proceedings of the 42nd Annual Meeting of the Association for Computational Linguistics, pp. 605-612, 2004.

[23] Jiwei Li, Michel Galley, Chris Brockett, Jianfeng Gao, and Bill Dolan. A diversity-promoting objective function for neural conversation models. In Proceedings of the $\mathbf{2 0 1 6}$ Conference of the North American Chapter of the Association for Computational Linguistics, pp. 110-119, 2016.

[24] Tianyi Zhang, Varsha Kishore, Felix Wu, Kilian Q. Weinberger, and Yoav Artzi. Bertscore: Evaluating text generation with bert. In International Conference on Learning Representations, 2020 .

[25] Hirotoshi Taira, Sanae Fujita, and Masaaki Nagata. A Japanese predicate argument structure analysis using decision lists. In Proceedings of the 2008 Conference on Empirical Methods in Natural Language Processing, pp. 523-532, 2008.

[26] Saizheng Zhang, Emily Dinan, Jack Urbanek, Arthur Szlam, Douwe Kiela, and Jason Weston. Personalizing dialogue agents: I have a dog, do you have pets too? In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics, pp. 2204-2213, 2018-07.

[27] Hannah Rashkin, Eric Michael Smith, Margaret Li, and Y-Lan Boureau. Towards empathetic open-domain conversation models: A new benchmark and dataset. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 5370-5381, 2019.

## A データセットの統計情報

Wikipedia 日本語 Wikipedia のダンプデータ6)を訓練/検証セットに含まれる事例数が $15 \mathrm{M} / 3 \mathrm{k}$ (トークン 数は $763 \mathrm{M} / 220 \mathrm{k})$ になるように分割した. 本データ を PZERO に用いる際には，名詞句を同定する必要が あるが，Konno ら [12] と同様の手法で行った.

Twitter Twitter $\mathrm{API}^{7}$ )を用いて収集したツイートを訓練/検証セットに含まれる事例数が $70 \mathrm{M} / 30 \mathrm{k}$ (トーク ン数は $504 \mathrm{M} / 200 \mathrm{k}$ ) になるように分割した. 名詞句 の同定は，Wikipedia と同様の手法を採用した.

NAIST Text Corpus 1.5 述語と表層格の関係などが 付与されたコーパスである. Taira ら [25] の手法に 従って，訓練/検証/評価セットに分割した。

JPersonaChat PersonaChat [26] の日本語版で, Sugiyama ら [19] の手法に従って, 対話履歴と応答のペアを作成し，訓練/検証/評価セットに含まれ る対話数が $50 \mathrm{k} / 3 \mathrm{k} / 4 \mathrm{k}$ になるように分割した。なお,本研究ではペルソナ記述文は利用していない.

JEmpatheticDialogues EmpatheticDialogues [27] の日本語版で, Sugiyama ら [19]の手法に従って, 対話履歴と応答のペアを作成し, 訓練/検証/評価セットに 含まれる対話数が $50 \mathrm{k} / 3 \mathrm{k} / 7 \mathrm{k}$ になるように分割した.

## B 生成応答例の分析

表 7 に生成した応答例を示す.

## 文法的流暢性で評価に差が無かったのはなぜか？文法的流暢性8) において，有意差が認められなかっ たのは，他の観点と比較し， N/A が多いことに起因 すると考えられる. 対話例 1 は 3 人の評価者が「分 からない」を選択して，N/A に分類された例である。 この例では，2つのモデルが異なる内容の応答を生成しているものの, どちらの応答も文法的には誤っ ておらず，このような場合には判断が難しいと考え られる。

## 提案手法は首尾一貫性の向上に寄与しているか?

対話例 2 は, 提案モデルの応答がより首尾一貫9) していると評価された例の 1 つである. 対話例 2 の対話履歴には, 「夫 $」$ 「ご主人」,「妻」,「専業主

6) https://dumps.wikimedia.org/jawiki/latest/ jawiki-latest-pages-articles.xml.bz2

7) https://developer.twitter.com/en/products/ twitter-api

8）どちらの応答が文法にかなっているか，日本語として流暢 か (対話履歴の内容は考慮しない)。

9）どちらの応答が対話履歴の内容を考慮しているか，対話履歴と応答の内容が一貫しているか.表 7 生成応答例. highlight は提案モデルにより補完さ れた項を表す。

 \\

婦」といった人物の役割を表す名詞が多く存在し ており，さらに「贈る」に対応する項が省略されて いるため，誰に関する話をしているのかが判断し づらい. RGtwitter-pzeroは妻に関する話だと誤った 解釈をして，応答を生成しているが，提案した $\mathrm{RG}$ twitter-pzero+DCZAR は夫に関する話だと正しく解釈をして，応答を生成している。これは，省略され た項を明示的に補完することが首尾一貫性の向上に 寄与していることを示唆している.

魅力的な応答の特徵は何か？対話例 3 は，提案モ デルの応答がより魅力的 ${ }^{10)}$ であると評価された例の 1 つである. 対話例 3 より，魅力的だと評価される 応答は，より具体的で首尾一貫した応答であると考 えられる。そこで，首尾一貫した応答ほど魅力的な 応答であるという仮説を立て，各指標間の相関につ いて分析した. その結果，「文法的流暢性」と「魅力度」における相関係数は 0.223 であり，「首尾一貫性」と「魅力度」における相関係数 0.850 であった. このことから，首尾一貫している応答と魅力的な応答には強い相関があることが示され，内容が一貫し た話者と対話を継続したいと感じる傾向にあること が明らかになった.
 と対話を継続したいと感じるか.


# BERT を用いた日本語文のボトムアップ語順整序とその評価

山添壮登 $1, a)$ 大野誠寛 $1, b)$ 松原 茂樹 $2, c$ )
1 東京電機大学大学院未来科学研究科 2 名古屋大学情報連携推進本部
a) 21 fmi21@ms . dendai .ac.jp b) ohno@mail.dendai.ac.jp
${ }^{c}$ matsubara.shigeki.z8@f.mail.nagoya-u.ac.jp

## 概要

文法的な誤りがないだけでなく，読みやすい語順 の文を生成する技術は文生成において重要な技術と なる。本稿では，係り受け関係が既知という前提の もと，任意の受け文節に係る文節集合内の文節を適切な順序に並べ， 1 文全体をボトムアップに語順整序する手法を提案する. 本手法では, 同一文節に係 る 2 文節間の前後関係を BERTにより推定し，その 確率值を用いて語順を決定する. 語順整序実験及び 主観的評価を行い，本手法の有効性を確認した。

## 1 はじめに

日本語は語順が比較的自由であるといわれている が，語順に関する選好がないわけではない [1]. そ のため，文法的な誤りがないだけでなく，読みやす い語順であることも文生成において重要となる。語順整序に関する研究は，推敲支援や文生成など への応用を目的に，これまでにもいくつか行われて いる $[2,3,4,5,6,7,8,9,10,11]$. このうち, 内元ら [2] は, 日本語の語順の傾向をコーパスから学習す る手法として, 日本語における語順決定に関わる 様々な要因を素性として用いて, 統計的に語順を整 える手法を提案している。 また，高須ら [3] は，文生成への応用を目的に, 内元らの素性に加えて RNN 言語モデル (RNNLM) を用いた語順整序手法を提案 している. 内元ら [2] や高須ら [3] は, 同じ文節に係 るもの同士でまとめた各文節集合を対象として語順整序を行っているが，1 文全体の語順整序は行って いない. また, Kuribayashi ら [4] は, 日本語文の語順を評価するために言語モデルを利用することを提案し, 語順分析において言語モデルを用いることの 有用性を示した. しかし, 1 文中の動詞や文節数を 制限しており，複雑な文を対象としていない。

本稿では，文生成のための要素技術として，1 文 を構成する全ての文節の集合を読みやすく並べる手法を提案する. 具体的には，文節間の係り受け 関係は既知であることを前提として，1 文の係り 受け構造を表す木（以下，係り受け木）に対して， BERT[12] に基づくモデルをボトムアップに適用し，語順整序を行う手法を提案する．語順整序実験の結果，先行研究を上回る精度を達成した。

## 2 文生成における語順整序

本研究では，文を構成する文節集合と，それら文節間の係り受け関係は既知であるとして，それらを 入力とし，その入力文節集合内の文節を読みやすく 並べることを試みる.これらの入力が既知であると の仮定は，文生成や機械翻訳への応用を念頭におい たものであり，文を生成するにあたって，その文で 表したい内容は決まっている状況を想定したもので ある. この仮定は, 内元ら [2] や高須ら [3] の先行研究の問題設定においても見られるものである.

内元ら [2] は, 1 文の係り受け構造は既知であ るとして，任意の受け文節 $b_{r}$ に係る文節の集合 $B_{r}=\left.\{b_{r_{1}}, b_{r_{2}}, \cdots, b_{r_{n}}\right.\}(n \geq 2)$ に対して， $B_{r}$ から考え られる順列 $\left.\{\mathbf{b}^{k} \mid 1 \leq k \leq n\right.$ ! $\}$ の中で最も読みやすい順列を求める問題として語順整序を定義している. こ こで， $\mathbf{b}^{k}$ は $k$ 番目の順列とする. 内元らは，構文情報を中心とした素性に基づいた最大エントロピーの モデルを用いて語順整序する手法を提案している.

また高須ら [3] は，内元ら [2] の問題設定を引継 ぎ，内元らの素性から主な素性1)を選択して学習 したSVM によるモデルと，自然な語順をとらえ ることが期待できる RNN 言語モデルを併せて用 いた. 具体的には， $B_{r}$ から考えられる全ての順列 $\left.\{\mathbf{b}^{k} \mid 1 \leq k \leq n !\right.\}$ の中から，式 (1)のScore $\left(\mathbf{b}^{k}\right)$ が最大 となる順列 $\mathbf{b}^{k}$ を求めている.

$
\operatorname{Score}\left(\mathbf{b}^{k}\right)=\alpha S_{R N N L M}\left(\mathbf{b}^{k}\right)+(1-\alpha) S_{S V M}\left(\mathbf{b}^{k}\right)
$

ここで， $S_{R N N L M}\left(\mathbf{b}^{k}\right)$ と $S_{S V M}\left(\mathbf{b}^{k}\right)$ はそれぞれ

RNNLM とSVM によるモデルを用いて求めた $\mathbf{b}^{k}$ のスコアを意味する。

しかし，上記の両研究はともに，1 文を構成する 全ての文節の集合の部分集合である $B_{r}$ のみを語順整序の対象にしており，実際には 1 文全体の語順整序を行っておらず， 1 文単位での評価も行っていな い. また高須らの研究では, 各文節を修飾する文節列を考慮せず， $B_{r}$ 内の各文節を単に並べ替えた単語列（すなわち，1 文全体を並び替えた際には実際 には出現すると限らない文字列）に対して RNNLM を適用しスコアを計算している。

## 3 BERT を用いたボトムアップ語順整序

本手法では，1 文全体を構成する文節集合と，そ の係り受け構造を入力とし，入力文節集合内の文節 を読みやすく並べたものを出力する．その際，1文 の文節集合とその係り受け構造を表す係り受け木 を作成し，その木に対してボトムアップに処理を施 す.また，BERTを用いて 2 文節間の前後関係の判定を繰り返し，1 文全体を語順整序する。

## 3.1 ボトムアップ処理

本手法におけるボトムアップ処理を以下に示す.

1. 入力の文節集合と，その係り受け構造を表す係 り受け木を作る。具体的には，入力文の各文節 を 1 つのノードとして配置する。係り受け関係を表すエッジを用いて，それらの間を結ぶ。 なお，以下の手順 2 と手順 3 において，複数の ノードが 1 つのノードにまとめ上げられる操作 がある. したがって，ノードは文節列（長さ 1 も含む）を表し，エッジは子ノード（の最終文節）が親ノードに係る係り受け関係を表すもの とする。

2. 葉ノードのみを子に 1 つもつ親ノードと，その 子ノードとをまとめ上げ 1 つのノードにする. その際，係り受けの後方修飾性を考慮し，子と 親とをこの順に連接した文節列を新たなノード とする.この手順は，葉ノードのみを子に 1 つ もつ親ノードがなくなるまで繰り返す。

3. 葉ノードのみを子に複数もつ親ノードと，その 子ノード集合とをまとめ上げ 1 つのノードに する。その際，BERTによるモデルを用いて子 ノード集合内の適切な語順を求め, その語順で 連接した文節列の後ろに親ノードを繋げた文節列を新たなノードとする。手順 1

手順 2 あの 島が急いで丘に

手順 3-1 あの 島が急いで 丘に 登ると

手順 3-2 急いで 丘に 登ると あの 島が 見えた。

図 1 ボトムアップな語順整序の例

4. 手順 2 と手順 3 を，係り受け木が根ノード 1 つ になるまで繰り返す。

上記手順の具体例を図 1 に示す.まず手順 1 で は，入力の 6 文節とそれらの間の 5 つの係り受け関係から，図 1 の最上部の係り受け木を作る。手順 2 では，葉ノードのみを子に 1 つ持つ親ノードである 「島が」と，その子である「あの」が「あの島が」に まとめ上げられる。手順 3-1 では, 葉ノードである 「急いで」と「丘に」の語順が計算され, 双方の親 ノードである「登ると」と共に，計算結果の語順に 従い「急いで丘に登ると」にまとめ上げられる。手順 3-2では，共通する親ノード「見えた.」の子ノー ドであり葉ノードの「あの島が」と「急いで丘に登 ると」の語順が計算され，それら 3 つのノードが 「急いで丘に登るとあの島が見えた.」という 1 つの ノードにまとめ上げられる。係り受け木が根ノード のみになったため，語順整序が完了する。

なお，高須らの手法 [3] における非ボトムアップ 処理では，根ノード「見えた。」に係る子ノードを 語順整序をする際に，子ノード「島が」と「登ると」 は子孫のノードとまとめ上げられることはなく, こ れらの文節のみからなる「島が登ると」と「登ると 島が」のどちらがより読みやすいかを，機械学習モ デルを用いて判断することになる.

## 3.2 BERT を用いた語順整序

3.1 節で説明したように，BERT[12]に基づくモ デルを用いて同一の親を持つ兄弟ノードを語順整序する．ここでは，ノード $v_{r}$ の子ノード集合 $V_{r}=\left.\{v_{r_{1}}, v_{r_{2}}, \cdots, v_{r_{n}}\right.\}$ を語順整序する際の計算に ついて説明する. 親ノード $v_{r}$ の子ノード集合 $V_{r}=\left.\{v_{r_{1}}, v_{r_{2}}, \cdots, v_{r_{n}}\right.\}$ が与えられたとき，本手法は $V_{r}$ から考えられる全ての順列 $\left.\{\mathbf{v}^{k} \mid 1 \leq k \leq n !\right.\}$ の中 から, 式 (2) の $S\left(\mathbf{v}^{k}\right)$ が最大となる順列 $\mathbf{v}^{k}$ を求めて いる.ここで， $S\left(\mathbf{v}^{\mathbf{k}}\right)$ は順列 $\mathbf{v}^{\mathbf{k}}$ の読みやすさを示す スコアを表す. 順列 $\mathbf{v}^{\mathbf{k}}$ はノード列 $v_{1}^{k} v_{2}^{k} \cdots v_{n}^{k}$ であ り, $v_{i}^{k}$ は順列 $\mathbf{v}^{k}$ における $i$ 番目のノードを意味す

図 2 BERT に基づく $P_{B E R T}\left(o_{i, i+j}^{k} \mid v_{r}\right)$ の推定モデル

る.このとき， $S\left(\mathbf{v}^{\mathbf{k}}\right)$ は以下のように算出される.

$
S\left(\mathbf{v}^{\mathbf{k}}\right)=\prod_{i=1}^{n-1} \prod_{j=1}^{n-i} P_{B E R T}\left(o_{i, i+j}^{k} \mid v_{r}\right)
$

ここで $o_{i, i+j}^{k}$ は，ノード $v_{i}^{k}$ が $v_{i+j}^{k}$ より文頭側に現れ る前後関係を意味する。 $P_{B E R T}\left(o_{i, i+j}^{k} \mid v_{r}\right)$ は，ノード $v_{i}^{k}$ および $v_{i+j}^{k}$ が親ノード $v_{r}$ に係るとき, 語順 $o_{i, i+j}^{k}$ が適切である確率を BERT に基づくモデルによって 推定した値である.

図 2 に本手法における BERT モデルの概要を示 す. BERTへの入力は, 兄弟である葉ノード $v_{i}^{k}$ と $v_{i+j}^{k}$ とそれらの親ノードとの 3 者を結合し, 先頭に [CLS]を，それぞれの後に [SEP] を付与したうえで， サブワード分割を施したものとする。本手法では， BERT の出力のうち [CLS] に対応する出力のみを取 り出し, 2 層の Linear 層と Sigmoid を介し, 入力が 読みやすい語順である確率を出力する.

## 4 評価実験

本手法の有効性を示すために，新聞記事文を用い た語順整序実験を実施した. なお，本研究では新聞記事文は読みやすい語順であるとみなす。

## 4.1 実験概要

実験には，新聞記事文に形態素情報及び文節境界情報，構文情報が人手で付与された京都大学テキス トコーパス Ver. 4.0[13]を用いた. 1 月 1 日から 8 日 までと 1 月 10 日から 6 月 9 日までの 25,388 文を学習データとし ${ }^{2)}, 1$ 月 9 日と 6 月 10 日から 6 月 30 日 までの 2,368 文から，1,050 文を開発データ，1,164 文をテストデータとした ${ }^{3)}$.

評価指標は二文節単位一致率（2つずつ文節を取

2）同じ親を持つ複数の子ノード集合から 2 つずつノードを取 り出したときに作られる前後関係のうち, 正解の語順と同じ 語順を正例，異なる語順を負例とし，学習データを作成した.

3）残りの 154 文は 3.1 節の手順 2 を単純に繰り返すことで構文情報のみから 1 文全体の語順が確定するため，除外した.表 1 実験結果

り上げ，それらの前後関係が元の文と一致している ものの割合 ${ }^{4}$ ) [2] と文単位一致率（元の文の語順と 完全に一致している文の割合）[14]を採用した.

比較のため, 以下の 4 つの手法を用意した. [BERT ${ }^{-}$]: 本手法においてボトムアップ処理の代わ りに非ボトムアップ処理を用いる手法.

$\left[\mathbf{R N N L M}^{-}+\mathbf{S V M}^{-}\right]$: 高須ら [3] による手法. 非ボト ムアップ処理を採用. 式 (1) の $\alpha=0.15$.

[RNNLM+SVM]: $\left[\mathrm{RNNLM}^{-}+\mathrm{SVM}^{-}\right]$においてボトム アップ処理を採用した手法. 式 (1) の $\alpha=0.19$.

$\left[\mathrm{SVM}^{-}\right]:\left[\mathrm{RNNLM}^{-}+\mathrm{SVM}^{-}\right]$において SVMを単体で 用いる手法. 式 (1) の $\alpha=0$. 内元らの手法 [2] の ME SVM に差し替えた再実装手法とみなす。

前学習モデルには，京都大学の公開モデル（BASE WWM 版 $)^{6)}$ 用いた. Linear 層 2 層の次元数はそ れぞれ 768 と 200 とし，それぞれの入力を 0.1 の確率でドロップアウトさせた. 学習アルゴリズムは AdamW を用い，パラメータの更新はミニバッチ学習 (学習率 1e-6, バッチサイズ 16) により行った. 損失関数には BCELoss を使用した. 同一パラメータ で 5 つのモデルを作成し，それらの各一致率の平均 を評価值とした．エポック数は，開発データにおい て文単位一致率が最良だった 6 とした。

## 4.2 実験結果

表 1 に実験結果を示す. 本手法 [BERT] は，両一致率において他の各手法を有意に上回っており $(p<0.01)$, 本手法の有効性を確認した。

図 3 に, 本手法 [BERT] と 2 番目に高精度だった $\left[\mathrm{BERT}^{-}\right]$の各手法において, 文の長さごとに文単位一致率を集計したグフラを示す。ほとんどの文長に おいて [BERT] が [BERT $\left.{ }^{-}\right]$を上回った. [BERT] は, ボトムアップに処理することにより，各文節の子孫 の文節の情報を適切に考慮できるため，特に長い文

4）冗長な計測を避けるため，それぞれの祖先文節の語順に よって語順が定まるような文節の組は除外した.

5) https://pytorch.org/

6) https://nlp.ist.i.kyoto-u.ac.jp/?ku_bert_japanese/

図 3 文長ごとの文単位一致率

図 $4\left[\mathrm{BERT}^{-}\right]$が正解し [BERT] が不正解だった例

に対して，非ボトムアップ処理を行う $\left[\mathrm{BERT}^{-}\right]$より も高精度に語順整序できたと考えられる。

次に, $\left[\mathrm{BERT}^{-}\right]$が正解し, [BERT] が不正解だった 例を図 4 に示す.この例では，「誇る。」の3つの子 ノードを語順整序する際に，本手法が最長の係り句「昨年の… 実施済みであると」を文頭に配置し不正解となった. 本手法は，長い係り句が文頭に表れや すいという傾向を反映し並べているが，正解は最長 の係り句が文頭に表れない比較的珍しい語順であっ たため誤ったと考えられる。一方，1文単独で提示 されただけでは，図４の２文は同程度に読みやすい とも考えられ，文脈無の評価では，必ずしも正解だ けが唯一の正しい語順とは言えないことが分かる.

## 5 語順整序結果に対する主観的評価

本節では，被験者実験を行い，本手法による語順整序結果の読みやすさを正解文と比較しつつ，主観的に評価した. 実験では，文脈の有無による読みや すさの変化も確認するため、1 文を単独で提示する 場合と、文脈を含めて提示する場合の 2 パターンで 評価した.いずれの被験者も同一の 10 名である.

## 5.1 文単位での主観的評価

1 文を単独で提示した際の読みやすさを評価する 実験では、[BERT] による出力文とその正解文の 2 文を一組として同時に提示し，被験者が読みやすい と感じた方を選択した. 各被験者はランダムに抽出

(a) 文単位の場合

(b) 文脈有の場合図 5 主観的評価の結果

した同一の 50 組 100 文に対して評価を行った. な お実際には，ダミーをランダムに加えた計 125 組を 各被験者は評価している。また， 1 組中の 2 文は語順のみが異なる。

その結果を図 $5 \mathrm{a}$ に示す. 本手法を選択した割合 は，最も多い人で $64.0 \%$ ，最も少ない人で $42.0 \%$ だっ た. 過半数の文に対して，正解を選択した人と，本手法を選択した人は共に 5 人おり，本手法は正解文 と同程度に読みやすい語順を生成できていると考え られる。

## 5.2 文脈を含む場合での主観的評価

文脈を含む場合の被験者実験では，5.1 節と同一 の 50 組 100 文を対象に，その各組の 2 文に加えて，文脈としてその直前の 3 文も同時に提示し、被験者 が読みやすいと感じた方を選択した。なお，対象文 が属する記事の中で最大 3 文とし，例えば対象文が 記事の冒頭にある場合，文脈は提示されないものと した.

その結果を図 $5 \mathrm{~b}$ に示す. 本手法を選択した割合は，最も多い人で $58.0 \%$ ，最も少ない人で $40.0 \%$ だった. 過半数の文に対して，正解を選択した人が 6 人，本手法を選択した人が 3 人だった. 文脈有で 評価する場合, 文単位でのみ学習した本手法の結果 は，文脈を含めて推敲された新聞記事文と比べて読 みやすいとは言えないことが分かった.

## 6 おわりに

本稿では，文を構成する文節集合とその係り受け 木に対して，ボトムアップに BERT を適用すること により，1 文全体の適切な語順を同定する手法を提案した. 実験の結果，BERT 及びボトムアップ処理 の有効性を確認した．また主観的評価の結果，語順整序において文脈を考慮する必要性を確認した。

## 謝辞

本研究は，一部，科学研究費補助金基盤研究 (C)

No. 19K12127により実施した.

## 参考文献

[1] 日本語記述文法研究会. 現代日本語文法 7. くろしお 出版, 2009.

[2] 内元清貴, 村田真樹, 馬青, 関根聡, 井佐原均. コーパ スからの語順の学習. 自然言語処理, Vol. 7, No. 4, pp. 163-180, 2000.

[3] 高須恵, 大野誠寛, 松原茂樹. RNNLM と SVM を用い た日本語文の語順整序. 情報処理学会第 82 回全国大会講演論文集, 第 2020 巻, pp. 453-454, 2020.

[4] Tatsuki Kuribayashi, Takumi Ito, Jun Suzuki, and Kentaro Inui. Language models as an alternative evaluator of word order hypotheses: A case study in Japanese. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 488-504, 2020.

[5] 横林博, 菅沼明, 谷口倫一郎. 係り受けの複雑さの 指標に基づく文の書き換え候補の生成と推敲支援 への応用. 情報処理学会論文誌, Vol. 45, No. 5, pp. 1451-1459, 2004.

[6] Katja Filippova and Michael Strube. Generating constituent order in German clauses. In Proceedings of the 45th Annual Meeting of the Association of Computational Linguistics, pp. 320-327, 2007.

[7] Karin Harbusch, Gerard Kempen, Camiel van Breugel, and Ulrich Koch. A generation-oriented workbench for performance grammar: Capturing linear order variability in German and Dutch. In Proceedings of the 4th International Natural Language Generation Conference, pp. 9-11, 2006.

[8] Geert-Jan M. Kruijff, Ivana Kruijff-Korbayovà, John Bateman, and Elke Teich. Linear order as higher-level decision: Information structure in strategic and tactical generation. In Proceedings of the 8th European Workshop on Natural Language Generation, pp. 74-83, 2001.

[9] Eric Ringger, Michael Gamon, Robert C. Moore, David Rojas, Martine Smets, and Simon Corston-Oliver. Linguistically informed statistical models of constituent structure for ordering in sentence realization. In Proceedings of the 20th International Conference on Computational Linguistics, pp. 673-679, 2004.

[10] James Shaw and Vasileios Hatzivassiloglou. Ordering among premodifiers. In Proceedings of the 37th Annual Meeting of the Association for Computational Linguistics, pp. 135-143, 1999.

[11] Allen Schmaltz, Alexander M. Rush, and Stuart Shieber. Word ordering without syntax. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 2319-2324, 2016.

[12] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Lin- guistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, 2019.

[13] Daisuke Kawahara, Sadao Kurohashi, and Kôiti Hasida. Construction of a Japanese relevance-tagged corpus. In Proceedings of the 3rd International Conference on Language Resources and Evaluation, pp. 2008-2013, May 2002

[14] 山添壮登, 大野誠寛, 松原茂樹. 言語モデルと構文情報を用いた日本語文のボトムアップ語順整序.情報科学技術フォーラム講演論文集, 第 20 巻, pp. 295-296, 2021.


# 画像キャプショニングのための制約語の抽出法

芳賀あかり ${ }^{1}$ 平尾努 2 帖佐克己 ${ }^{2}$
本多右京 ${ }^{1}$ 出口祥之 ${ }^{1}$ 渡辺太郎 ${ }^{1}$
1 奈良先端科学技術大学院大学 ${ }^{2} \mathrm{NTT}$ コミュニケーション科学基礎研究所
\{haga. akari. ha0, honda.ukyo.hn6, deguchi.hiroyuki.db0, taro\}@is.naist.jp
\{tsutomu.hirao.kp, katsuki.chousa.bg\}@hco.ntt.co.jp

## 概要

従来の画像キャプショニングには画像とは無関係 の語を含むキャプションをしばしば生成するという 問題がある。これを解決するため，画像に関連する 語をあらかじめ与えた上でキャプションを生成する 手法が提案されているが，その自動決定法について は議論がされていない. 本研究では, 物体検出器が 出力するラベル (物体名)をその信頼度スコアと顕著性スコアを組み合わせてランキングすることでキャ プションに含めるべき語を決定する手法を提案す る. 提案法で得た単語と人手生成の正解キャプショ ン中の単語を比較した結果，自動抽出した単語のう ち半数程度はキャプションに含まれていた. さらに 人手評価を行ったところ，キャプションには含まれ ない単語であっても，その多くはキャプション生成 が可能な程度に画像に関連した語であることがわ かった.

## 1 はじめに

画像キャプショニングとは，画像を説明する一文を生成するタスクであり，Vision and Language 分野における主要なタスクの一つである。近年では， Vision transformerによる系列変換モデルで実現され ることが多くなってきたが，Transformer に基づく系列変換モデルには，流暢な文を生成する一方，入力 とは関連のない文をしばしば生成するという問題 がある [1]. 画像キャプショニングも例外では無く,画像には写っていないものや画像とは関連ない語を 含むキャプションを生成する Object hallucination と いう問題が生じることが知られている [2]. この問題を抑制するための一つの方法として語彙に制約を 与えてキャプションを生成する手法が提案されてい る [3]. しかし，この手法ではキャプションに含め るべき語 (以下，制約語)をどのように決定するか議論していない，もちろん，人手で与えることも可能 ではあるが大量の画像を処理する場合にはコストの 観点から現実的でない。

そこで，本研究では制約語を画像から自動的织抽出する方法を提案する。人間は画像の構図，視覚的顕著性などに基づきキャプションに含める語を決定 していると考えられることから，画像に対して物体検出器が出力するラベルをとの信頼度スコアと顕著性スコアを組み合わせることでランキングし，その 上位 $n$ 件を制約語とする手法を提案する。

$\mathrm{MSCOCO}$ キャプションの検証セットのキャプ ションに提案法で抽出した制約語が含まれる割合，制約語の平均正解率は $49.9 \%$ であった. ただし，人手評価を行ったところ，正解率の低い画像でもキャ プションに含めてよい語は $50 \%$ を超え，正解率が高 い画像ではそれが約 $80 \%$ 達した。

## 2 準備

物体検出とは画像に写る物体を矩形 (以下, バウ ンディングボックス) で特定し，その名称をラベル として出力する. ラベルはあらかじめ定められてい るので，その決定は多值分類問題に帰結する。

物体検出器により決定できるラベル数は大きく異 なる. たとえば，Detic [4] は CLIP [5]を使用するこ とにより，学習データにはないラベルを検出可能と しており，21,000ラベルまでの異なる粒度で物体検出を行うことができるという特徴がある. Detic は COCO, Objects365, OpenImages, Lvisの4つのカス タムラベルセットを提供しており，容易に異なるラ ベルセットで物体検出を行うことができる。各ラベ ルセットはそれぞれ 80，365，500，1203 カテゴリ である. 使用するラベルセットにより検出する物体 の粒度が異なり，カテゴリ数が少ないほどカテゴリ の抽象度が高くなり，カテゴリ数が多いほど具体的 になる。例えばカテゴリ数 80 の COCO ラベルセッ
トで行った物体検出では「bird」ラベルを与える物体を，カテゴリ数 365 の objects365 ラベルセットで は「goose」や「duck」と，より具体的なラベルを与 える。

一方，画像には人間の視覚注意により注視を集め やすい領域とそうでない領域がある。これを画像の 各ピクセルに対してスコアを与えることで表現した ものを顕著性マップと呼び，画像中の顕著な場所， すなわち目立つ領域の特定に活かすことができる [6]. Hou らが提案した Spectral Residual アプローチ [7] は，画像データを周波数に変換して分析を行う ことで顕著性マップを作成する. この手法は特徴量 やカテゴリなどの物体に関する事前知識を利用せ ず，高速かつ頑健に顕著性を検出することができ る。また，Montabone らは解像度を下げない，きめ 細かい顕著性マップを作成する方法を提案してお り，このマップは明確な境界線を抽出するという特徵がある [8]. 本研究では Spectral Residual アプロー チを用いて顕著性マップを作成する。

人間が画像に対しキャプションを生成する際，多 くの場合は画像に写っている物体に言及するであ ろうし，複数の物体が写っているのであればどこに 焦点をあてるべきかの取捨選択も行うであろう．た とえば，図 1 には様々な物体が写っているが，人間 がキャプションを生成する際には「cat 」，「glove $\lrcorner ，$「ball」といった物体に言及するだろう. 実際，こ の画像に対するキャプションには「cat」，「baseball glove $\lrcorner$ 「ball」という語が利用されている。一方， フォーカスされていない右後方の机や左後方のサイ ドテーブルには言及していない。つまり，人間は画像中の顕著性の高い物体について言及すると考える のが自然である．そこで，本稿では物体検出と画像 の顕著性マップを組み合わせることで人間がキャプ ションで言及すると考えられる顕著なラベルを特定 し，制約語として用いる。

## 3 提案手法

本稿では，物体検出器が検知した物体のラベルの スコアをその信頼度スコアと物体のバウンディング ボックス内部の顕著性スコアの重み付き線形和で計算し，ランキングすることでより確度の高い制約語 を得る。

制約語候補の抽出 画像に対して物体検出器を 適用し，それが出力するすべてのバウンディング

1) MSCOCO val2014 COCO_val2014_000000518974.jpg

図 1 物体検出例 ${ }^{1}$

ボックス $(b)$ とラベル $(\ell)$ の対を得る.この時，バ ウンディングボックスに対しては割り当てられた ラベルに対する信頼度スコア Conf. $(b, \ell)$ が与えられ る.そして，信頼度の低いラベルは削除するため Conf. $(b, \ell) \geq 0.5$ となるラベルのみを制約語候補と して利用する.

制約語候補の顕著性スコアの計算 顕著性スコア は画像中のすべてのピクセルに対して与えられるの で，制約語候補の顕著性スコアを計算するにあたっ ては，対応するバウンディングボックス内部の各ピ クセルの顕著性スコアを利用する。本稿では，バウ ンディングボックス内部における顕著性スコアの最大値を制約語候補の顕著性スコア Sal. $(b, \ell)$ とし,次の式で計算する。

$
\text { Sal. }(b, \ell)=\max _{r_{k} \in b} \operatorname{Sc}\left(r_{k}\right)
$

ここで $r_{k}$ は物体検出器が検出したバウンディング ボックス内の $k \times k$ ピクセルのボックスをあらわし， $\mathrm{Sc}\left(r_{k}\right)$ はその顕著性スコアである。 バウンディング ボックス内の $i$ 行 $j$ 列目の顕著性スコアの值を $x_{i, j}$ とするとき, $\operatorname{Sc}\left(r_{k}\right)$ は次のように計算する.

$
\operatorname{Sc}\left(r_{k}\right)=\sum_{i=0}^{k-1} \sum_{j=0}^{k-1} x_{i, j}
$

顕著性スコアの算出までの流れを図 2 に示す. 図 2 の例では制約語候補が bird であり，太枠の長方形が 制約語候補 bird に対応するバウンディングボックス を示す。バウンディングボックス内の顕著性スコア の最大值を 1 ピクセルを基本単位として与えるとど のようなバウンディングボックスに対しても非常に 高い值をとる可能性がある。これを緩和するため， バウンディングボックス内にそれよりも小さな正方形のボックスを設け内部のピクセルに対する顕著性 スコアの和 $\mathrm{Sc}\left(r_{k}\right)$ を計算し，バウンディングボック ス内のすべての可能な正方形ボックスの顕著性スコ ア $\mathrm{Sc}\left(r_{k}\right)$ の最大值を制約語候補の顕著性スコアと

する. 図 2 の例では，バウンディングボックス内に $k \times k(k=3)$ ピクセルの正方形ボックスを設け, 各ピ クセルの顕著性スコア，0.7,0.5, ..0.7 を合計し, 正方形ボックスの顕著性スコアとする。次に，正方形 ボックスをバウンディングボックス内部で 1 ピクセ ルスライドさせ，同じように合計を計算する.これ を繰り返して全ての $k \times k$ ボックスのスコアを計算 し，この最大値を制約語候補 bird の顕著性スコアと する。

制約語候補のランキング 制約語候補のスコア $F$ を物体検出器の信頼度スコアと顕著性スコアの重み 付き線形和として以下の式で定義する.

$
F(b, \ell)=\alpha \operatorname{Sal} .(b, \ell)+(1-\alpha) \operatorname{Conf} .(b, \ell)
$

ここで， $\alpha(0 \leq \alpha \leq 1)$ は 2 つ項のバランスをとる ためのパラメータである. 画像中の各制約語候補に 対し上記スコアを計算しその上位 $n$ 件を制約語とみ なす.

## 4 実験

制約語の正解データはないため，提案法で得た制約語が人手で作成された正解のキャプションにどれ だけ含まれるかで評価を行った.

## 4.1 実験設定

データセットは MSCOCO の val2014を採用し，自動評価には 40500 画像を使用した. 物体検出に は imagenet データセット [9]を用いて学習された モデルであるDetic[4]を用いた。顕著性マップは Spectral Residual アプローチを実装した OpenCV の SpectralResidual 関数を用いて取得した. パラメータ は $k=20, \alpha=0.2$ を採用している.

## 4.2 自動評価

抽出した制約語候補のうち，人手作成のキャプ ションに含まれる語の割合, 正解率を用いて自動評価を行った. なお, Detic のラベルセットは Object365, Open Images, Lvis の 3 種を用いた. ラべ ル数はそれぞれ，365，500，1203 となる．ラベル数 が少ないほど抽象的で多いほど具体的な名称ラベル を与える。

キャプションに制約語が含まれているか否かは語 の完全一致で行う. しかし, 完全一致で評価した場合，同義語，類義語が無視されてしまうため，類語 も正解とする処理も取り入れた. ここでの類語とは表 1 カテゴリ数による正解率の変動

 \\

Open Images & 500 & 0.440 & 0.478 \\
Lvis & 1203 & 0.408 & 0.490 \\

異なるラベルセットで物体検出を行った結果，同じ バウンディングボックスを指しているラベルを指 し，これらも正解として扱い評価を行う。例えば， あるバウンディングボックスの物体を bird と表す ラベルセットと, goose と表すラベルセットがある とする。この場合， bird と goose を類語とする。な お，バウンディングボックスの一致については物体検出で使用される一般的な評価指標である IoU (Intersection over Union) が 0.8 以上である場合に一致 とみなした. 二つの任意の図形 $A, B$ の IoU は以下 のように計算される [10].

$
I o U=\frac{|A \cap B|}{|A \cup B|}
$

顕著性スコアの効果 制約語のスコアを計算する 際のパラメータ $\alpha$ を動かして, 顕著性スコアの効果 を調べた. その結果を図 3 に示す. 図の縦軸は正解率，横軸はパラメータ $\alpha$ の値であり， $\alpha=0$ が物体検出の信頼度スコアのみ， $\alpha=1$ は顕著性スコアの みを利用することを表す. 全てのカテゴリ数におい て $\alpha=0.2$ 付近で正解率が向上していることから，物体検出の信頼度スコア, 顕著性スコアのみではな く，双方を考慮することの有効性がわかる．以下は $\alpha=0.2$ を採用した結果である.

カテゴリ数による正解率の変動 各ラベルセット での評価結果を表 1 に示す. 表より，完全一致の 正解率でみた場合，Lvisを用いた場合が最も低く， Object365を用いた場合が最も高い。この結果は, MSCOCO データセットのキャプションが比較的抽象的な語を用いて記述されている，つまり，Livsの ような具体的なラべルを利用すると語の完全一致で は不利になるからであると考える. 実際，類語処理 を導入すると正解率はどのラベルセットでも 5 割近 くになっており，顕著な差はみられなくなることが これを支持している.

## 4.3 人手評価

自動評価は類語も含めて評価をしているが，すべ ての類語を網羅できているとは限らず，不当に低い スコアになっている可能性がある. そこで，自動評価の結果が悪いもの・良いもののうちそれぞれラン

図 2 制約語候補の顕著性スコアの算出 ${ }^{2)}$

図 3 パラメータ $\alpha$ による正解率の変動

ダムに 25 件サンプリングし，人手評価を行った。自動評価の結果が悪いものとは正解率が 0.2 以下，良いものとは正解率が 0.8 以上のものをさす. 評価指標として，キャプションに含まれて良いラベルの 割合，またキャプションに必須のラベルの割合を主観で評価した。

例えば図 4 のような画像の場合，surf, surfboard, wet suit, person などの語をキャプションに含まれる 可能性があるラベルとみなし， surf や person のよう に中心的な語を必須のラベルとみなした. 自動評価 の結果が悪いものの結果を表 2 , 良いものの結果を 表 3 に示す. 表 2 より, 自動評価の結果が悪いのも のでも， $\alpha=0.2$ ではキャプションに含まれてもいい だろうというラベルは 5 割以上あることがわかる. $\alpha=0$ のとき，差は小さいもののもっとも良い結果 となった理由は, 物体を多く検知するような場合,顕著性スコアの高い領域と人間がキャプションを生成する際に着目する領域にずれが生じるからではな いかと考える. さらに, 表 3 より, 自動評価の結果 が良いものでは，キャプションに含まれてもいいだ 万うというラベルは 8 割近くあり，キャプション必須のラベルは 6 割以上含まれている.ここで， $\alpha=0$ は顕著性スコアのみ， $\alpha=1$ は物体検出の信頼度ス コアのみとなっており，自動評価の結果が良いもの では $\alpha=0.2$ で最も高い割合となったことから, 両者を用いることの有効性が手動評価でも明らかと

図 4 人手評価に使用した画像の例 ${ }^{3}$

表 2 人手評価結果（正解率 $\leq 0.2$ ）

} &  \\

0.2 & 0.522 & 0.376 \\
0.5 & 0.509 & 0.353 \\
1.0 & 0.458 & 0.322

表 3 人手評価結果（正解率 $\geq 0.8 ）$

 &  \\

0.2 & 0.799 & 0.641 \\
0.5 & 0.781 & 0.617 \\
1.0 & 0.739 & 0.560 \\

なった.

## 5 おわりに

本論文では，物体検出と画像の顕著性を示す顕著性マップを用いて制約語を自動的に抽出・ランキン グする手法を提案した。さらにランキング上位の制約語がキャプションにどの程度含まれているか評価 を行った。その結果, 自動評価と人手評価双方によ り物体検出スコアと顕著性スコア双方を考慮するこ との有効性を示した. 本手法で自動抽出した制約語 を実際に画像キャプショニングへ組み込むことが今後の課題である.

2) MSCOCO val2014 COCO_val2014_000000324670.jpg

3) MSCOCO val2014 COCO_val2014_000000374010.jpg

## 参考文献

[1] Guangxiang Zhao, Junyang Lin, Zhiyuan Zhang, Xuancheng Ren, Qi Su, and Xu Sun. Explicit sparse transformer: Concentrated attention through explicit selection. CoRR, Vol. abs/1912.11637, , 2019.

[2] Anna Rohrbach, Lisa Anne Hendricks, Kaylee Burns, Trevor Darrell, and Kate Saenko. Object hallucination in image captioning. In EMNLP, 2018.

[3] Peter Anderson, Basura Fernando, Mark Johnson, and Stephen Gould. Guided open vocabulary image captioning with constrained beam search. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 936-945, Copenhagen, Denmark, September 2017. Association for Computational Linguistics.

[4] Xingyi Zhou, Rohit Girdhar, Armand Joulin, Philipp Krähenbühl, and Ishan Misra. Detecting twenty-thousand classes using image-level supervision. In ECCV, 2022.

[5] Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, et al. Learning transferable visual models from natural language supervision. In International Conference on Machine Learning, pp. 8748-8763. PMLR, 2021.

[6] Laurent Itti, Christof Koch, and Ernst Niebur. A model of saliency-based visual attention for rapid scene analysis. IEEE Transactions on pattern analysis and machine intelligence, Vol. 20, No. 11, pp. 1254-1259, 1998.

[7] Xiaodi Hou and Liqing Zhang. Saliency detection: A spectral residual approach. In 2007 IEEE Conference on Computer Vision and Pattern Recognition, pp. 1-8, 2007.

[8] Sebastian Montabone and Alvaro Soto. Human detection using a mobile platform and novel features derived from a visual saliency mechanism. Image and Vision Computing, Vol. 28, No. 3, pp. 391-402, 2010.

[9] Kaiyu Yang, Klint Qinami, Li Fei-Fei, Jia Deng, and Olga Russakovsky. Towards fairer datasets: Filtering and balancing the distribution of the people subtree in the imagenet hierarchy. In Conference on Fairness, Accountability, and Transparency, 2020.

[10] Hamid Rezatofighi, Nathan Tsoi, JunYoung Gwak, Amir Sadeghian, Ian Reid, and Silvio Savarese. Generalized intersection over union: A metric and a loss for bounding box regression. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pp. 658-666, 2019.


# 大規模言語モデルにおける文生成方向に関する依存性の検証

谷口大輔 1 脇本 宏平 ${ }^{2}$ 丹羽彩奈 1 岡崎 直観 1
1 東京工業大学 2 株式会社サイバーエージェント
\{daisuke.taniguchi@nlp., ayana.niwa@nlp., okazaki@\}c.titech.ac.jp
wakimoto_kohei@cyberagent.co.jp

## 概要

大規模言語モデルは様々な自然言語処理タスクで 使用され，高い性能を示してきた。ところが，事柄 が記述される順序は言語によって偏りがあるため,通常の左から右に（順方向に）単語を予測する言語 モデルではなく, 右から左に（逆方向に）単語を予測するように学習した言語モデルの方が解きやすい タスクが存在するかもしれない. 本研究では，言語 モデルがタスクを解くときに単語の生成方向が与え る影響を検証するため，順方向あるいは逆方向に学習した二種類の大規模言語モデルを常識推論タスク に適用し，その性能の比較・分析を行う。そして， これまで十分に利用が検討されてこなかった逆方向言語モデルの可能性を報告する.

## 1 はじめに

近年，GPT-3[1]をはじめとする大規模言語モデル は，様々な自然言語処理タスクで高い性能を示して いる. 言語モデルは，単語列に対して確率を計算す るものであり，ある単語列が与えられた時，その次 に続く単語を一つずつ予測する処理を繰り返すこと で，単語列を逐次的に生成できる。 $x$ を入力文， $s_{i}$ を入力文中のトークン,$n$ を入力文の長さとした時，言語モデルの学習は，コーパス上で

$
p(x)=\prod_{i=1}^{n} p\left(s_{i} \mid s_{<i}\right)
$

という式を最大化することで行われる.

ここで，言語において事柄が記述される順序には 偏りがあるため，言語モデルの学習コーパスにはそ の偏りが内在しているはずだという点に着目する。例えば日本語では，理由を説明した後に結果や結論 を記述する傾向があるため [2]，日本語のコーパス はその傾向を反映し，理由などの前提が先，結論が 後に記述される文を多く含むと考えられる。一方
で，結論を先，理由を後に記述する文は相対的には 少ないと考えられる. 自己回帰型の大規模言語モデ ルの学習は, 過去のトークン列から現在のトークン を予測するという部分に時刻に関する非対称性があ るため，単語の並び順に関する順序の偏りの影響を 受けていると考えられる。そこで，本研究ではテキ ストを順方向に入力して学習した通常の言語モデル ではなく，逆方向に入力して学習した言語モデルの 方が解きやすいタスクが存在すると考える.

日本語での具体例として，何らかの結論を表す文 が与えられ，それに対して尤もらしい理由を説明す る文を生成する常識推論のタスクを考える．前述の 通り，日本語では理由が先，結論が後で記述される 文が多いため，言語モデルの単語の生成方向を考え ると，結論で条件付けして理由を生成するタスク は，順方向よりも逆方向の言語モデルの方が解きや すいと予想される。これまでにも，逆方向の言語モ デルで文を生成する研究 $[3,4]$ は存在していたが,同一タスクを順方向・逆方向の言語モデルで解き， その性能差を単語の並び順の偏りに位置付けて検証 した研究はない.

本研究では，言語モデルにおける単語の生成方向 がタスク処理に与える影響を検証するため，日本語 コーパスで学習した GPT-2 [5] medium 相当の順方向 および逆方向の言語モデルを利用する。常識推論 のデータセットである Choice of Plausible Alternatives (COPA) [6] を人手で日本語に翻訳したもの ${ }^{1)}$ を評価 データとし，zero-shotによる生成的な常識推論タス クに両モデルを適用し，その性能の比較・分析を行 う。その実験結果から，これまで利用が十分に検討 されてこなかった逆方向言語モデルの方が，通常の 順方向言語モデルよりも有利に処理できる文生成夕 スクが存在することを報告する2).

散歩に行く。というのも ので、散結論 い美気だ。結果として、! だからだ天気いい、ならなぜ 逆順に1 理由

図 1 順方向（GPT-2）および逆方向（RGPT-2）の言語モデルの使用例・タスク例

## 2 検証方法

本研究では，単語の生成の順番が順方向および逆方向の大規模言語モデルを学習する. 両モデルと も, MeCab と WordPiece[7] による東北大 BERT-v2 $2^{3}$ のトークナイザを利用し，GPT-2 medium 相当の日本語言語モデルを学習した。

## 2.1 逆方向言語モデル

本研究で用いる逆方向言語モデルを説明する。通常の順方向言語モデルの学習は, 式 1 の最大化に よって行われるが，逆方向言語モデルの場合は以下 の式 2 の最大化を行うこととなる.

$
p(x)=\prod_{i=n}^{1} p\left(s_{i} \mid s_{>i}\right)
$

つまり，未来のトークン列から現在のトークンを予測する学習が行われ，結果として，文末から文頭の 向きに単語列を生成するモデルを構築できる。

以降，本研究で用いる順方向言語モデルを GPT-2,逆方向言語モデルを Reversed GPT-2 (RGPT-2) と称す る.RGPT-2 の実際の学習では，入力文を順方向言語モデルと同じトークナイザによって処理した後, トークン列を逆順に並び替えてモデルへの入力と し，通常の言語モデルの学習を行うことにより，実質的に式 2 の最大化を行う.

## 2.2 生成的な常識推論タスク

GPT-2 と RGPT-2 の性能比較を行うため, 生成的 な常識推論タスクを考える，具体的には，結論の文 が与えられ，それに対する理由を生成するタスク と，それとは逆に，理由の文が与えられ，それに対 する結論を生成するタスクの二つである. これら二
 bert-base-japanese-v2
つのタスクは，入力と出力が入れ替わったタスク対 であるため，言語モデルの文生成方向に関する依存性により，各タスクでモデルの性能に差が生じると 予想される. GPT-2 と RGPT-2 がこれらのタスクを 解く例を図 1 に示す。

結論から理由を推論するタスク 理由などが先 で，結論が後で記述されやすいという，日本語にお ける説明の順序の偏りにより，RGPT-2 の方が GPT-2 よりも解きやすいと考えられる．そこで，与えら れた結論に対して，言語モデルによる理由の生成 を zero-shot にて行う. 各モデルが出力した理由が,結論に対する理由付けとして適切かどうかを評価 する。

理由から結論を推論するタスク GPT-2 の方が RGPT-2 よりも解きやすいと考えられる. 与えら れた理由に対して，言語モデルによる結論の生成 を zero-shot にて行う. 各モデルが出力した結論が，理由から導かれる結論として適切かどうかを評価 する。

## 2.3 プロンプティング

本研究では，理由から結論，および結論から理由 を生成するタスクを，プロンプトによる zero-shot 生成タスクとして解く. 図 1 に GPT-2 および RGPT-2 によるタスクの解き方を示す. なお，図中の赤字 は，接続表現を表す。

GPT-2 与えられる結論（または理由）に続けて，接続表現を連結したものをプロンプトとし，それに 続く単語列として理由（または結論）を出力する。

RGPT-2 与えられる結論（または理由）の直前 に，接続表現を連結したものをプロンプトとし，こ れをトークン単位で逆順にした上で，言語モデルに 入力する. その続きをモデルに生成させ，その出力 をトークン単位で逆順にしたものが，理由（または
結論）の出力となる.

本研究では，GPT-2 と RGPT-2 の常識推論におけ る能力を公平に比較したいので，用いるプロンプ トによる不公平をできるだけ排除する必要があ る. 理由を生成するタスクを考えると，GPT-2 で は「(結論）なぜなら，（理由）」のようなプロンプ ト，RGPT-2では「(理由）ので，（結論)」のような プロンプト4)を用いることになる. GPT-2 と RGPT-2 で同じプロンプトを用いることが理想ではあるが， （日本語でそのような言い方がされないため）現実 には不可能で，実験に用いるプロンプトは両者で異 なるものにならざるを得ない.

そこで，順方向と逆方向の言語モデルの比較にお いて，常識推論に優れたプロンプトの存在も利点・欠点に含まれると考え, 両者の言語モデルにとって できるだけよいプロンプトを選び，実験を行うこと とする.

## 3 実験

## 3.1 実験設定

大規模言語モデル GPT-2，RGPT-2 の学習には， rinna 株式会社5) が提供しているコードベース6 ${ }^{6}$ を使用した．学習コーパスはコードベースに従い，日本語の CC-100 と, Wikipedia のダンプ7)を使用した. これらは自然な日本語文を多く含み，日本語におい て事柄が記述される順序の偏りを内包していると期待される.このコーパス上で両モデルをそれぞれ， バッチサイズ 3 で 4,680,000 ステップ学習した. 検証用データにおけるパープレキシティはそれぞれ， 9.80，9.79で，同程度のパープレキシティと言える.

データセット 生成的な常識推論のデータセット として, Choice of Plausible Alternatives (COPA) [6] を 人手で日本語に翻訳したものを使用する。COPA は 本来，原因（または結果）を表す前提文に対する結果（または原因）としてふさわしい文を，二つの選択肢から選ぶ問題であるが，本実験では，そのう ちの正解文と前提文のみを抽出し, 理由（原因）と 結論（結果）の文ペアとして用いる。また，GPT-2 と RGPT-2 の性能を極力公平に評価するため，「彼

4） 日本語として読みやすい順序で記述したが，RGPT-2 は右 から左の向きに単語列の予測を行うことに注意されたい.

5) https://rinna.co.jp/

6) https://github.com/rinnakk/ japanese-pretrained-models

7） 2021 年 12 月 13 日時点のもの
（ら）」，「彼女（ら）」「それ（ら）」，「そこ」といっ た代名詞が理由・結論のいずれにも含まれないぺア のみを評価対象とした ${ }^{8)}$. 開発データは 186 件，評価データは 182 件である.

接続表現 理由・結論のプロンプティングに利用 する接続表現の候補を，言語モデルの学習コーパス の中から手動で収集した. GPT-2による理由の推論 と RGPT-2 による結論の推論，および GPT-2 による 結論の推論と RGPT-2 による理由の推論で同じ接続表現の候補を利用することとし，各 8 件ずつ候補を 用意した.それらの接続表現が学習コーパス内で出現した回数を付録 A に示す. 実験では，開発データ の全事例における zero-shot 生成の BLEU スコアが高 くなるものを採用し，両モデルの性能を比較する。

自動評価 自動評価指標として，BLEUスコア とパープレキシティを使用する。BLEU の測定に は SacreBLEU [8]を用い， 2.3 節と同様に，モデルに よって生成した理由または結論と, 評価データの参照文との間でスコアを計算する．接続表現の品質の ばらつきによる影響を抑えるため，8 個の接続表現 の候補のうち，開発データでの BLEU が最も高い 5 個をモデルの性能比較に用いる。 パープレキシティ は，言語モデルの確率推定において，出力すべき文 がどれだけ妥当と予測されるかを計測する.

人手評価 人手評価では開発データでの BLEUが 最も高い接続表現で推論した理由・結論を評価して もらう. 評価者は株式会社サイバーエージェントの アノテータで, 出力した理由（または結論）の内容 や形式が，モデルに前提として与えた結論（または 理由）に対してどれだけ適切か, 絶対評価と相対評価をお願いした. 評価基準を表 1 に示す. 絶対評価では，定められた基準に従って各モデルの出力 を評価する．相対評価では，同じ前提文に関して， GPT-2 と RGPT-2 のどちらの出力が優れているかを 比較してもらう. 相対評価でも絶対評価と同様の基準を採用するが，3 段階の基準では表せないような 僅かな差も評価できる. 優劣を判断できない場合は 「わからない」という回答してもらうことにした。

## 3.2 実験結果

自動評価 表 2 に自動評価の結果を示す（詳細は 付録 B 参照のこと). 開発データでの BLEU スコア

8）例えば RGPT-2 に代名詞が含まれる文を入力した場合，逆方向の文生成が持つ特性により，常識推論タスクのみなら ず，代名詞が指している名詞を復元するタスクが意図せず含 まれ，文生成が不当に難しくなる可能性がある.
表 1 人手評価の基準

 &  \\

表 2 自動評価結果表 3 理由推論の人手評価結果 [\%] 表 4 結論推論の人手評価結果 [\%]

がトップ 5 に入る接続表現のみで，評価データにお ける評価値の平均をとったものを比較する．BLEU

RGPT-2 が，結論の推論では GPT-2が優れており，仮説通りの結果となっている。ただ，いずれも BLEU スコアの絶対値は低い。これは理由または結論に対 して様々な説明が可能であることに起因すると考え られる.

一方，パープレキシティではその優劣が逆転して いる. パープレキシティの評価では理由と結論の両方がモデルに与えられるため，このタスクにおける モデルの文生成能力を評価するという目的に合致し ないことが原因と考えられる。

人手評価 自動評価における BLEU スコア（表 $8,9,10,11 ）$ により，人手評価で使用する接続表現を 決定した. 図 1 のように，GPT-2による理由の推論 では「というのも、」，結論の推論では「。結果とし て、」, RGPT-2による理由の推論では「ので、」, 結論 の推論では「なぜなら、」を使用した.

表 3 と 4 に，人手評価の結果を示す. 絶対評価で 「高」と評価された割合，および相対評価の結果に よると, 本研究の仮説通り, 理由の推論は RGPT-2 が，結論の推論は GPT-2 が優れている結果となり，本タスクを解くことに関する性能に差が表れること を確認できた. すなわち，通常の左から右の言語モ デルではなく, 文生成向きが右から左となっている 逆方向の言語モデルの方が解きやすいタスクが存在
することが示唆される.

出力例 モデルによる実際の出力例と相対評価の 結果を表 5 に示す.「私は運動した。」という結論に 対して GPT-2 による「腰が痛くて動けない」という 理由は適切でなく, RGPT-2 の方が適切に理由付け できている。また，「私は 1 日中勉強した。」という 理由に対する結論としては，「良い点数を取れた」 という GPT-2 の出力内容が自然である. RGPT-2 は, GPT-2 に比べて長い文を出力する傾向にあった.

## 4 おわりに

日本語における説明の順序の偏りが大規模言語モ デルに与える影響を検証するため，単語列の生成向 きが順方向あるいは逆方向の大規模言語モデルを構築し，生成的な常識推論タスクに適用した。実験の 結果，結論に対して理由を生成するタスクでは逆方向言語モデルが優れており，理由に対する結論を生成するタスクでは順方向言語モデルが適しているこ とが分かった。これらのタスクにおける両モデルの 性能差は，日本語における，事柄を記述する順序の 偏りが言語モデルに引き継がれているためだと推測 される。

本稿では，これまでまだ利用が十分に検討されて こなかった，単語列の生成の向きに関して逆方向の 言語モデルの価値を示した. 今後は, 日本語以外の 言語での実験や，常識推論以外のタスクでの検証を 進めていきたい.

## 謝辞

本研究にあたってご助言いただいた，株式会社サ イバーエージェントの皆様に感謝いたします。

## 参考文献

[1] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners. In H. Larochelle, M. Ranzato, R. Hadsell, M.F. Balcan, and H. Lin, editors, Advances in Neural Information Processing Systems, Vol. 33, pp. 1877-1901. Curran Associates, Inc., 2020.

[2] 影山太郎. 動詞意味論: 言語と認知の接点. 日英語対照研究シリーズ, No. 5. くろしお出版, 1996.

[3] Peter West, Ximing Lu, Ari Holtzman, Chandra Bhagavatula, Jena D. Hwang, and Yejin Choi. Reflective decoding: Beyond unidirectional generation with off-the-shelf language models. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 1435-1450, Online, August 2021. Association for Computational Linguistics.

[4] 山田康輔, 人見雄太, 田森秀明, 岡崎直観, 乾健太郎. 指定語句を確実に含む見出し生成. 言語処理学会第 27 回年次大会, 2021.

[5] Alec Radford, Jeff Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. Language models are unsupervised multitask learners. 2019.

[6] Melissa Roemmele, Cosmin Adrian Bejan, and Andrew S Gordon. Choice of Plausible Alternatives: An Evaluation of Commonsense Causal Reasoning. In AAAI Spring Symposium: Logical Formalizations of Commonsense Reasoning, 2011.

[7] Yonghui Wu, Mike Schuster, Zhifeng Chen, Quoc V. Le, Mohammad Norouzi, Wolfgang Macherey, Maxim Krikun, Yuan Cao, Qin Gao, Klaus Macherey, Jeff Klingner, Apurva Shah, Melvin Johnson, Xiaobing Liu, Lukasz Kaiser, Stephan Gouws, Yoshikiyo Kato, Taku Kudo, Hideto Kazawa, Keith Stevens, George Kurian, Nishant Patil, Wei Wang, Cliff Young, Jason Smith, Jason Riesa, Alex Rudnick, Oriol Vinyals, Greg Corrado, Macduff Hughes, and Jeffrey Dean. Google's neural machine translation system: Bridging the gap between human and machine translation. CoRR, Vol. abs/1609.08144, , 2016.

[8] Matt Post. A call for clarity in reporting BLEU scores. In Proceedings of the Third Conference on Machine Translation: Research Papers, pp. 186-191, Brussels, Belgium, October 2018. Association for Computational Linguistics.

## A 接続表現の出現回数

本研究で用いている各接続表現が、言語モデル学習コーパス内に出現した回数を表 6 と 7 に示す.「(理由) ので、(結論)」のように，順方向に理由から結論を導く接続表現の方が，結論から理由を導く接続表現より も多いことが分かる．ただし，表に示した接続表現の出現回数は，理由と結論を接続する用法以外の表現も 含む場合があるため，注意が必要である。

表 6 順方向に結論から理由を導く接続表現

表 7 順方向に理由から結論を導く接続表現

## B自動評価の結果の詳細

表 8,9,10,11 に自動評価の結果の詳細を示す。使用する接続表現に依存して，言語モデルによる理由・結論 の推論の性能が大きく変化することが分かる.

表 8 GPT-2 による理由の推論の自動評価開発評価

表 10 GPT-2による結論の推論の自動評価開発 評価

表 9 RGPT-2 による理由の推論の自動評価開発

表 11 RGPT-2による結論の推論の自動評価開発

評価


# ライトノベルからショートショートへの変換法

山田真彦 天沼博 松澤和光
神奈川大学大学院 工学研究科
r202170165yp@jindai.jp amanuma@kanagawa-u. ac.jp
matsuk90@jindai.jp

## 概要

本稿では、ライトノベルをショートショートへ変換するための手法を提案する。この手法により、人間の物語生成を支援する事が出来ると期待する。ま ず、ライトノベルから特定の語句を含む文章などを 除外し、残りの文章数から 3 分割する。次にそれぞ れからショートショートを構成できそらな文章を選 び、その文章に含まれる固有名詞を抜き出す。最後 にそれぞれの文章群から抜き出した固有名詞を含む 文章をさらに抜き出し、文章の登場順に並べ完成系 とする。作品によって抜き出す文章量が一定ではな いため、文章を抜き出すための新たな基準を設ける 事が今後の課題である。

## 1 はじめに

最近、AIによる文章生成に大きな技術進歩があり、「AI のべりすと」や「ChatGPT」が大変な話題にな っている。これらのシステムでは、利用者の簡単な 入力情報を元にして自然な文章による「簡易な物語」 が自動生成される[1]。ただし、これらの仕組みは基本的に DeepLearning 系の技術であり、膨大なテキス トデータを元にして文章 (の流れ・接続)として生起確率の高い、「いかにもそれっぽい」「ありがちな」文章を生成しているに過ぎない。真の意味での「言語理解」の研究は未だ発展途上にあり、現在の AI は 言語を理解して物語を生成しているわけではない。

確かに、生成された文章によっては物語的な「匂 い」が感じられるものもあるようだが、それは読み 手が勝手に自分なりの意図を投影して、無理に読み 取っているだけだと推測される。物語を生成する上 で、AIに何らかの創造的な意図が存在しているわけ ではないのだ。そんな「空虚な物語」を「読む意味」 が果たしてあるのだろうか。

物語を生成する主体は、現状ではやはり人間でし かないと考える。その上で、その創造過程を AI に様々な形で手伝い協力してもらうことは大いに有用 だろう。この考えに基づいて、本研究では人間の物語生成を支援する新しい手法を提案する。具体的に は、既存のライトノベルから「物語(的な要素)」を 多様に抽出し、これをショートショートの形に変換 する手法である。俗にライトノベルと呼ばれるジャ ンルでは、純文学に見られるような明確なテーマに 基づいた作品よりも、作者の奔放な創作意欲のまま に「荒削り」に量産された作品が多いと言われる。 そうした作者本人にとってさえ未整理・多彩・多重 に織り込まれた物語要素を、個々の完結した小さな 物語 (ショートショート)として抜き出すことにより、今後の新たな創作や他の作者との共同制作、複数作品のリミックス等に役立つことが期待できる。

ショートショート生成の既存研究としては、ショ

ートショートを模範利用した新たなショートショー トの自動作成や、ショートショートの会話文を抜き 出し他の作品に置換して自動生成を行うものがある [2、3]。しかしこれらは、既存のショートショートの 表現を一部変更し別の作品とする研究であり、ライ トノベルのような長編作品から物語を抽出しショー トショートに変換する研究やシステム開発は存在し ない。

作品をショートショートに変換するにあたり、ど のような観点から変換すべきかと考えた際に、落語 の三題噺と呼ばれる形態に着目した。三題噺とは、 3 つの題目から 1 つの話を作るというものである。本研究では作品の全文を 3 分の 1 ずつに分け、そ れぞれからショートショートを構成の元とできそう な文章に含まれる単語を抜き出し、それを含む他の 文章をそれぞれの文章群から抜き出し繋ぎ合わせる 事でショートショートとする手法を提案する。

## 2 提案手法

## 2. 1 手法の概要

提案手法を図 1 に示す。まず、使用作品の本文(章 タイトル、あとがき及び巻末の外伝作品等を除く)の 内容全てを句点や感嘆符、疑問符などの文章の終わ りごとに列に変換したテキストファイルを用意する。 そして、この列の中から不要な文章とする条件を満 たした文章を除外する。この不要な文章とする条件 については 2.2 節にて示す。次に変換したテキスト ファイルの行数を数え、その行数の 3 分の 1 ずつに 分割し 3 つの文章群(それぞれ前、中、後)とする。そ の後、それぞれの文章群からショートショート構成 の元となる文章を抜き出し、抜き出した文章内の固有名詞を含む文章をすべて抜き出すことを前中後全 てで行い、登場順に並べてショートショートとする。 この時、構成元となる文章内に固有名詞が複数個存在する場合は人名、特に主人公や物語における重要人物の名前を優先的に選択する。本稿では構成元と する文章および文章内の固有名詞の選択においては、 2.3 節に示す条件及び方法を用いて、文章群の中から 条件を満たす文章を事前に選択し、別のデータとし て使用している。

図 1 提案手法の概要

## 2.2 不要な文章の条件

本研究において以上の処理の他に、文字数の制限及び一部語句、記号を含む文章の削除も行う。文章 の削除の基準は以下のようになっている。

- 11[字]以下の文章

- 42[字]以上の文章

- 「」、『』、()、《》の組み合わせの内片方のみの 文章

- 「言」、「叫」、「呟」、「つぶや」を含む文章文字数の制限については、試行を行った結果、極端に長い、もしくは短い文章はショートショート作成に不向きである考えられるため、11[字] (10[字] +句点、感嘆符、疑問符等) 以下 $の$ 文章及び 42[字] (41[字] +句点、感嘆符、疑問符等)以上の文章 は削除を行った。

3 つ目の条件については全ての作品において、会話文や心情描写において複数の文が含まれる事があ り、以上の組み合わせのうち片方のみの文章が多く 見られたため、このような条件を設けた。どちらか のみの文章を含めた場合、片方のみが抜き出された 時に文章として成立せず、また片方のみの文章のほ とんどが作品の内容に影響を及ぼさないため、抜き 出す文章として不要であると考えたからである。

4 つ目の条件については、 3 つ目の条件や会話文 に固有名詞が含まれていない場合が多いため、直前 の会話文が出力結果に存在しないにも関わらず、「言 った」や「叫ぶ」、「つぶやく」といった文章が多く 出力されていたため、直前の会話文に関連している これらの文章は不要であると判断し削除に至った。

## 2.3 構成元とする文章の基準

## 2. 3.1 構成元とする文章の条件

ショートショートを構成しそうな文章を抜き出す 条件を以下に示す。

- 固有名詞(内容に深く関わるもの)を含む文章

・文末が「た」、「だ」で終わる文章

- 疑問や問いかけの内容の文章

1 つ目についてはこれまでに書いた通り、出力す る内容は固有名詞を元に作成しているため、最も重要な条件である。しかし全ての固有名詞を対象にし ているわけではなく、作品の内容に深く関わるもの であり、内容に関係ない固有名詞は対象外である。

2 つ目と 3 つ目に関しては、星新一のショートシ ョートの作品パターンを参考にした。先行研究より、星新一のショートショートの展開パターンとして最 も多いのは真実の発覚であり、謎の掲示、発覚及び 解消を表すものである[4]。これに該当する文章は文末が「だった」、「なのだ」といった「た」や「だ」 で終わるもの、もしくは「だろうか？」や「なのだ 万う？」といった疑問や問いかけを示す表現が入っ ているためこの条件を設けた。

## 2. 3.2 文章を選択する方法

本研究では、2.3.1 節の条件を元に前中後それぞれ の文章群から構成元となる文章を事前に選択してい

る。選択方法は以下の通りである。まず条件を満た す文章を前の文章群は登場順に、中と後は文末から 逆順に文章を探す。前の文章群のみ登場順に文章を 探すのは、多くの作品において序盤に世界観の説明 や、内容全体において重要となる疑問が書かれてい るため、登場順に確認した方が良いと考えたからで ある。また中と後に関しては、物語が進むにつれて 情報が増えていき、特に終盤の文章は重要性が高い 事が多いため、文末から文章を探すべきであると考 えた。中の文章群においては、後のものよりも重要性は薄いがショートショート作成には十分な文章を 獲得できるのではないかと考え、後と同様の方法で 文章の選択を行った。

また上記の方法に加えて、中と後の文章群の文章 は前の文章群のものとは違う固有名詞を含む文章を 選択するようにした(後の場合は中のものとも違う 固有名詞を選択する)。つまり、上記の方法で文章を 探した際に、他の文章群で選択された固有名詞のみ を含む文章が先に登場した場合はその文章は無視し、条件に合った上で別の固有名詞を含む文章が登場す るまで文章の探索を続ける。また見つけた文章が複数の固有名詞を含んでいた場合は、他の文章群で選 んでいない固有名詞の中から選択する。この処理に ついては、多くの作品においてこの処理を行わなか った場合、使用する固有名詞が同じ事が多く、作品 によっては全て同じ固有名詞の場合もあった。これ では三題噺に着目した今回の手法とは合わないため、文章群ごとに固有名詞を変更するに至った。

## 3 評価実験

## 3.1 使用する作品について

本研究ではライトノベル作品を 10 タイトル使用 する $[5,6,7,8,9,10,11,12,13,14]$ 。これらは有名な 作品から無作為に選んだものである。

## 3.2 出力結果の文字数の目標

本稿における出力結果の文字数の目標を 4000[字] とする。これは「坊っちゃん文学賞」というショー トショートの文学賞の募集条件が 4000[字]以内であ るからである[15]。

## 3.3 実験結果

出力結果を表 1 、図 2 に示す。表 1 より、文字数 の目標に達した作品は[5]、[6]、[7]、[8]、[12]、[13]、表 1 実験結果

図 2 実験結果のグラフ

[14]の 7 作品であり、他の作品においては[9]、[10]が 4000[字]台であり、[11]に関しては 8464[字]と目標字数を大きく超えるという結果となった。

[11]の出力結果の文字数が多いのは、[11]の文章に おいて代名詞がほとんど使用されておらず、登場人物の名前がそのまま使用されている場合が多いため、抽出される文章が他作品と比べて多くなったからで あると考える。これに関しては、文章群ごとに抽出 する文字数の上限を設け、それを上回った場合は重要ではない文章を探し削除する処理を行う必要があ ると考える。そのために固有名詞を含む文章の中か ら不要な文章を削除するための新たな基準の検討が 今後の課題である。

[9]に関しては、数文削除すれば目標字数内に収ま るため、[11]の場合と同様に不要な文章を削除する ための基準を設ければよいと考える。[10]も同様で あり、[9]よりも削除する文章は多いが、4000[字]台 に留まっており、出力結果の内容においても、 7 割近くの文章が前の文章群から抽出されたものである

ため、新たな基準によって前の文章群から抽出する 文章の数を減らす事により解決可能であると考える。

また、目標字数以内に収まった作品においては[6]作品が 2000[字]から 4000[字]の範囲であるが、[8]は 2000[字]を下回り 1106[字]となっている。この原因 は 2 点あると考える。 1 つは、元とした固有名詞は 重要であるが、それに関する出来事についての説明 が主であるため固有名詞自体の登場する回数が少な い点である。これについては、本研究が固有名詞か らショートショートを作成する手法を行っているた めに起きた状況であり、このような場合は固有名詞 に関係のある文章と固有名詞を関連付け、こちらも 抽出するといった処理が必要であると考える。もう 1 つは、他の文章群では多く登場するが、参照した 文章群ではあまり登場しなかったという点である。今回の場合は後の文章群で選択した固有名詞に起き た状況であり、物語が進むにつれて他の要素が増え て話の流れが変化した事で、この固有名詞が触れら れなったため登場しなくなったと考えられる。

## 3.4 出力結果の内容について

出力結果の内容を読んだ結果、ほとんどの内容に 整合性がなく、物語というには不完全であった。 また出力結果において、以下の 4 点が目立った。
- 指示詞の内容の変化、及び不在
- 内容の急な転換
- 会話文の発言者の変化
- 同じ発言者の会話文の連続

指示詞の内容の変化及び不在に関しては、指示詞 が指している文章が除外され、それ以前の文章に続 く形となるため、指示詞の内容が変化、もしくは存在しない内容に対して指示詞を使用しているといっ たものになっている。これについては、文章内の指示詞とそれの指す内容をセットとして扱うような事前処理が必要であると考える。

内容の急な転換は、主に次の文章群が切り替わっ た後、もしくは本文中において元となる固有名詞が 次に使用されるのが十数行から数十行後であった場合に起こる。これは固有名詞を含まない文章を削除 した事により、出力される文章の間での出来事や説明が取り除かれてしまい、次に出力される文章の時点では既に別の話題に変わっているという状況にな るからであると考える。対処法として、同じ文章群内であれば次の文章までに間隔がある場合は、前後 の内容に関係のある文章を出力される文章間から追加で抽出し、文章群をまたぐ場合は、文章群の最後 の文章と、関係のある次の文章群の序盤の文章をど ちらも抽出するといった処理が必要であると考える。会話文の内容や発言者の変化も指示詞の場合と同様に、発言者に関する情報を含む文章が除外され、抜き出された前後の文章の関係で別の発言者による 会話のように捉えられてしまうといったものである。 これに関しては、会話文の内容からどの人物による 発言かを判別し、その人物に関する前後の文章とセ ットにするといった処理が必要であると考える。

同じ発言者の会話文の連続については固有名詞が 人名の際に多く起こり、その人物を呼ぶ、考えると いった内容の会話文が連続して抜き出される事であ る。これは前後の文章内に人名が含まれていなため、文章が除外されてしまったために起きたものと考え られる。この場合、連続して出された会話文のほと んどが内容と関係がない文章となっているため、発言者の変化の時のように発言者を判別し、同じ発言者の会話文が連続した場合 1 文目以降を削除すると いう処理を行うのが最適であると考える。

## 4 おわりに

本研究では、三題噺の発想に着目しライトノベル からショートショートを作成する手法を提案した。結果としては 10 作品中 6 作品が 2000[字]から 4000[字]の範囲に収まったが、1 作品は 1000[字]台 と少なく、 3 作品は目標字数よりも多くなった。文字数が多い作品に関しては、文章群ごとに抽出する 文字数の上限を設け、上限を超えた場合に不要な文章を削除するための新たな基準の検討が必要である。 また、文字数が少ない場合の中で指定した固有名詞 の登場回数が少なかった場合は、その固有名詞に関係する文章を関連付けて固有名詞を含む文章と共に 抽出するという処理が必要であると考える。

また、作成されたショートショートの内容に整合性を持たせるために、指示詞とその内容の文章のセ ット化、離れた文章の内容をつなぐための文章の追加、会話文と発言者の関連付け、同じ発言者による 会話文が連続した際に会話文を減らすための処理の 方法の検討も今後の課題となる。

特に出力結果の内容の部分に多くの課題が残る形 となってしまったが、今後の研究により実現される ことに期待する。

## 参考文献

1. 一. 超話題の人工知能 ChatGPT に“小説”や“詩” を書いてもらい、“プログラム”は実行してみた。 (オンライン) (引用日:2022 年 1 月 5 日.) https://weekly.ascii.jp/elem/000/004/116/4116274/

2. 模倣と置換に基づく超短編小説の自動生成. 緒方健人他. 2014 年度人工知能学会全国大会(第 28 回). 2014.

3. 会話を中心とした超短編小説の自動生成. 高木大生他. 2014 年度人工知能学会全国大会(第 28 回). 2014.

4. 星新一ショートショート文学の物語パターン抽出. 佐藤知恵他. 情報知識学会誌, 2010 , 第 20 巻.

No.2. 123-128.

5. 大森藤ノ. ダンジョンに出会いを求めるのは間違 っているだろうか. $\mathrm{SB}$ クリエイティブ株式会社, 2014.

6. 香月美夜. 本好きの下克上〜司書になるためには 手段を選んでいられません〜第一部 兵士の娘 I. TO ブックス, 2020.

7. 上遠野浩平. 恥知らずのパープルヘイズ —ジョ ジョの奇妙な冒険より一. 株式会社集英社, 2011.

8. 伏瀬. 転生したらスライムだった件11. 株式会社 マイクロマガジン社, 2014.

9. 谷川流. 涼宮ハルヒの憂鬱. 株式会社角川書店, 2003.

10. 時雨沢恵一. キノの旅 the Beautiful World. 株式会社 KADOKAWA, 2020.

11. 鎌池和馬. とある魔術の禁書目録. 株式会社 KADOKAWA ,2018.

12. 佐島勤. 魔法科高校の劣等生(1) 入学編〈上〉.株式会社 KADOKAWA, 2019.

13. ソードアート・オンライン 1 アインクラッド.株式会社 KADOKAWA, 2020.

14. 丸山くがね. オーバーロード 1 不死者の王. 株式会社 KADOKAWA, 2020.

15. 一. 坊っちゃん文学賞-ショートショート募集. (オンライン)(引用日:2022 年 12 月 18 日.) https://bocchan-shortshort-matsuyama.jp.


# ラベル依存の注視機構を用いた 医薬系文献に対する統制索引語付与

菊井 玄一郎 鈴木 慶二 関根 基樹 水田 寿雄
国立研究開発法人 科学技術振興機構(JST) 情報企画部
\{genichiro. kikui, k3suzuki, sekine, mizuta\}@jst. go.jp

## 概要

本稿では、深層学習に基づくテキスト分類手法を 用いた医薬系文献に対する統制語索引付与について 報告する。本稿で試みた手法は基本的には LSTM お よび BERT によるマルチラベル・テキスト分類であ るが、既存研究に従い、「ラベル依存の注視機構」 を利用している。専門分野の文献を扱うため、当該分野のコーパスによる BERT 事前学習や単語埋め込 みの構築も試みた。F1 值により性能評価を行ったと ころ、ラベル依存の注視機構を備えた LSTM が同様 の BERT より若干上回る結果となった。またテキス 卜表層から付与しにくい索引も一定程度付与できる ことが分かった。

## 1. はじめに

文献に対してその内容 (主題)を表す索引語 (index term）の集合を付与することは文献検索やテキスト マイニングなどにおいて極めて重要であり、特に専門用語シソーラスによる索引は専門分野の文献調査 において有用であることが指摘されている[1]。科学技術振興機構 (JST) では文献 DB（メタデー 夕）整備の中心業務として、約 37,000 語のシソーラ ス、115 万語の「大規模辞書 (用語辞書) 」に基づい た索引を各文献に付与している。付与作業は JST の 前身組織の時代から専門作業者が行ってきたが、近年、一部文献についてルールベースの自動処理を適用している。しかしながら、管理コストやの点から 医薬系分野を含む全面的な採用には至っていない。 そこで、本稿では医薬系分野の文献に統制語索引 を付与する手法を検討する。上述のように JST では 相当量の文献に人手による索引が既に付与されてお り、その一部が利用可能であることから機械学習的 なアプローチを試みる。以下では、まず 2 章で JST の索引について簡単に 紹介し、 3 章で関連研究について述べる。 4 章で我々 が試みた方法について説明したあと、5 章で実験デ 一タと実験設定について述べ、6 章で結果とその考察を述べ、最後にまとめる。

## 2. JST の文献 DB における索引

JST の文献 DB において各文献に付与されている 索引の種類を図 1 に示す。索引は、当該文献の主題 を表すメインへディング、メインへディングの補足 として医薬系分野で付与されているサブヘディング からなる。本稿ではこれらのうちメインへディング のみを対象とする。

図 1: JST 文献DB における索引

\begin{abstract}
メインヘディングはさらに現在 37,444 語の「JST シソーラス」を統制語とする「ディスクリプタ」と、 それ以外の「準ディスクリプ夕」に分けられる。後者についても新語などを除いて、基本的には約 115 万語（同義語 ID 数約 22 万）の「大規模辞書」から 選ぶことが推奨されている。「大規模辞書」を統制語と呼ぶのは不適当かも知れないが、極力統制され た用語で索引付けを行っているといえる。索引や辞書に関する詳細は文献[2],[3]などを参照されたい。
\end{abstract}

## 3. 関連研究

索引の自動付与手法は「抽出型」「分類型」「生成型」の大きく 3 つに分類できる。
抽出型はテキスト内で「主題表現」や「キーフレ ーズ」に相当する文字列を特定し、必要に応じて文字列の標準化や統制語へのマッピングを行うという ものであり、1950 年代からの長い歴史がある。

分類型は統制語をテキストの「主題」を示す「分類ラベル（カテゴリ）」とみなして、テキスト自動分類の手法を適用するというものである。

最後の生成型はアブストラクト型の文書要約と同様に索引語の並びを生成するもので、出力側の語彙 を限定すれば統制型の索引も可能である。

これらのうち本稿ではテキスト全体から索引の集合を直接推定する「分類型」に焦点を当てる。JST 文献 DB における主題索引の約 4 割が同義語を含めて もテキスト中に出現しないことが指摘されており

[1]、分類型が一つの解決策と考えたからである。分類型の索引付与はテキスト分類と基本的に同じ タスクとみなせるが、1）一つの文書に対して複数 の分類ラベル（索引）を選ぶ「マルチラベル分類」 であり、2）ラベルの数がかなり多い（数万〜数百万）ことが特徴である。このようなタスクは大規模 マルチラベル分類 (Large-scale Multi-label Text Classification: LMTC) と呼ばれ、例として、診療記録 に診断・治療を表す ICD-9iの 8,771 ラベルを割り当 てる MIMIC-III[4]、法律文書に法的な概念(4,271 ラ ベル)を割り当てる EUR-Lex[5]、商品説明文に約 13,000 ラベルの商品カテゴリを割り当てる Amazon13K[6] などがある。さらにラベル数が多い ものは「超大規模マルチラベル分類(eXtreme Multilabel text Classification:XMC)」と呼ばれ、Amazon の 67 万ラベルのデータセットなどがある $i i$ 。今回、我々 が取り組む課題は分野内容的に上記 MIMIC-III に近 くラベル数は 12,000 程度である。

LMTC, XMC については深層学習を利用した多く の研究が行われている。転移学習型手法の普及以前 は CNN や RNN に「ラベル依存の注視機構（LabelWise Attention Networks: LWAN）」を組み合わせた 方法が試みられた[7],[5]。また、大量のラベルに起因 するデータ過疎性の問題に対応するために、ラベル の階層構造を利用する方法[8]や、自動クラスタリン グによりラベルを階層化し、少数カテゴリに対する マルチラベル分類をトップダウンに適用する方法な
$
}

どが提案されている[9][10]。特に AttentionXML[10] は分類処理として LSTM(Long-Short Memory)にラべ ル依存の注視機構を組み合わせた手法(LSTMLWAN)を用いることにより、精度向上を実現してい る。BERT[11]の提案を受けて、文献[12]では BERT にラベル依存の注視機構を組み合わせた BERTLWAN と呼ぶ手法を提案し、上述の 3 つの LMTC タ スクで既存手法との比較実験を行った。各タスクで 安定して性能が高かったのは AttentionXML[10]であ り、MIMIC-III で BERT-LWAN 19 ポイントの差 をつけて 1 位、EURLEX, AMAZON13k でも 1 位の BERT-LWA より 2-3 ポイント低い程度であったiii。 なお、MIMIC-III において BERT-LWAN の性能が低 い理由として、事前学習モデルが汎用であったこと、入力テキスト長がモデルのサイズ(512tokens)を超え ていたこと、サブワードによる専門用語の過度な分割などを指摘している。

以上より、AttentionXML(LSTM-LWAN)や BERTLWAN などのラベル依存の注視機構が有効である こと、BERT を利用する場合は適用先ドメインのコ 一パスによる事前学習が有効であると考えられる。

## 4. 試みたマルチラベル分類手法

本節では本研究で適用を試みた 2 つの手法（モデ ル)について説明する。

## 4.1 ラベル依存注視機構付き LSTM

ラベル依存の注視機構付き LSTM(LSTM-LWAN) （図 2 ）は AttentionXML[10]の分類処理で利用され ている手法である。双方向 LSTM の各トークンに対 する出力（埋め込みベクトル）にラベル依存のアテ ンション重みを掛けて総和したものを当該ラベルに 対する文書全体の pooling ベクトルとする。具体的 には、 $j$ 番目のラベルに対する $i$ 番目のトークンの重 み $\alpha_{i j}$ (スカラー值)を次式で計算する。

$
\alpha_{i j}=\frac{\exp \left(\boldsymbol{h}_{\boldsymbol{i}} \cdot \boldsymbol{w}_{\boldsymbol{j}}\right)}{\sum_{t=1}^{T} \exp \left(\boldsymbol{h}_{\boldsymbol{t}} \cdot \boldsymbol{w}_{\boldsymbol{j}}\right)}
$

iii 文献[10]の実験ではラベル数 4 万以下の LMTC で は階層化を行っていない。文献[11]の実験設定は不明である。

## 図 2: LSTM-LWAN の概要 (BERT-LWAN は点線枠を BERTに置き換えたもの)

ここで $h_{i}$ は i 番目のトークンに対する LSTM の 出力（埋め込み）、 $w_{j}$ は $j$ 番目のラベルに対する注視係数ベクトルであり、学習で決まる。 $j$ 番目のラベル に対するテキスト全体の pooling ベクトル $m_{j}$ は次式 の通り各トークンの埋め込みの加重和である。

$
m_{j}=\sum_{i=1}^{T} \alpha_{i j} h_{i}
$

このベクトルを通常のマルチラベル分類と同様、全結合層（中間層を 1 層入れている）を通してラベル ごとに 0/1 の出力を行う。なお全結合層の重みは全 てのラベルで共通としている。

## 4.2 ラベル依存の注視機構付き BERT

4.1節のLSTM と埋め込み (図 2 の点線枠)をBERT に置き換えたものが BERT-LWAN[4]である。すなわ ち 4.1 節の $h_{i}$ の部分が $i$ 番目のトークンに対する BERT の埋め込み出力となる。

## 5. 実験

## 5.1 実験データ

## 5.1.1 分類実験 (finetuning) 用データ

分類実験用データとしてJST が整備している文献 DB のうち医薬系文献の一部を用いた。対象とする 索引語はカテゴリーコード LS44(薬物)、または、 LS51(病気・病理 - 症状)に分類される主題索引 (メ インヘディング）であり、大規模辞書を用いて動機語を代表表記に集約した。利用した文献データは医薬系文献 DB である JMEDPlus に収録されている文献のうち上述の索引語を含み 2018 年から 2021 年 8 月までに作成された約 38 万文献であり、8:1:1 の比率で訓練、検証、評価用にランダムに分けた。この うち 18 万文献（全て口頭発表の予稿）については本文データが存在するのでそれらも入力テキストとし て利用した。文献数とラベル数(type 数)を表 1 に示 す。索引 (語)を 2 つのカテゴリに絞っているため、 1 文献あたりの正解ラベル数（索引数）の平均は 5.5 個である。正解ラベルのうち JST 大規模辞書による 同義語展開を行っても抄録・本文・表題の文字列に 含まれないものを「本文未出現ラベル」として同定 した。本文未出現ラベルは 1 文献あたり平均 2.1 個 (39\%)であった（ラベル数 0 の文献も分母に含む）。

表 1 索引実験用のデータ

分類処理への入力テキストは上記文献 DB 中の表題と（あれば）抄録、本文が存在するものは本文を この順にスペースでつないだものである。入力テキ ストの文献あたりの平均文字数は 409 であった。

## 5. 1.2 事前学習用データ

事前学習用のコーパスは医薬系文献を含む JST 科学技術文献DB の抄録 960 万文献(1 抄録あたり平均 4.2 文、 240 文字)を用いた。なお、分類の評価用、検証用の文献は含んでいない。

## 5.2 実験設定

## 5. 2.1 分類モデルの構築

分類モデルは 4 節で述べた通りである。損失関数 は通常のマルチラベル分類と同様に Binary CrossEntropy Loss を用いた。ハイパーパラメータは検証用セットで評価值が最高になるものを選んだ。そ の際の評価尺度は文献ごとの $\mathrm{F} 1$ 值のマクロ平均で ある。この種の問題ではラベルごとに $\mathrm{F} 1$ 値を算出 しそれを平均することが多いが、ユーザとしては、文献ごとにどの程度正確に索引されているかが重要 であることからこのようにした。

ラベル依存の注視機構の効果を見るために 4 節で 述べた 2 つの手法の他にベースラインとして BERT の CLS トークンに対応する埋め込みベクトルを全結
合で出力層に接続したシンプルなマルチラベル分類 ivも適用した。

## 5. 2. 2 LSTM-LWAN 用の単語埋め込み

LSTM の入力層で必要となる埋め込みベクトルは分類学習用のコーパス(5.1.1 節)に GLoVe[13]を適用し て 300 次元のものを作成した。形態素解析には

MeCab/ipadic に JST シソーラスから作られたユー ザ辞書[14]を追加したものを用いた。サブワード分割は行っていない。

## 5.2.3 BERT 事前学習モデルの構築

BERT の事前学習モデルは 5.1.2 で述べたコーパ スから作成した。まず、5.2.2で述べた JST シソーラ ス由来のユーザ辞書を用いて形態素解析し、これを もとに語彙サイズ $32 K$ のサブワードモデルを作成し た。このサブワードモデルと既存ツールvを用いて事前学習を行った。モデルのハイパーパラメータは東北大 base モデルに合わせて隠れ層 12 層 768 次元、 ヘッド数 12 などとした。NVIDIA RTX A6000x8 台 で 14 日間訓練した。

## 6. 実験結果と考察

評価セットに対する分類性能（索引性能）を表 2 に示す。事前学習モデルの baseは東北大 base mode1, JST は 5.2.3 で述べたモデルである。prec(精度)、 rec. (再現率)、F1 値は、前述の通りそれぞれを各文献について求めた上で全文献の平均を取った値（マ クロ平均値）である。なお、分母が 0 になる場合は 評価値を 0 として計算した。 rec2 は正解ラベルを 「本文未出現ラベル」に限定した場合の再現率であ り (本文未出現ラベルを含む文献 28,932 文献で計算）、F 1 値上位 2 つの設定で計算した。目的は表層一致を超えた索引抽出能力を評価するためである。

表 2 分類（索引）性能

} & \multicolumn{5}{|c|}{ 評価セッドル } \\
\cline { 3 - 6 } & & prec. & rec. & F1 & rec2. \\

\cline { 2 - 6 } & JST & .716 & .548 & .581 & - \\

\cline { 2 - 6 } & JST & .658 & .660 & .617 & .493 \\

まず、F1 值についてはAttentionXML が 2 位の JST 事前モデルを用いた BERT-LWAN より 2 ポイント高い 結果となった。この順位関係は先行研究 [12] と一致 する。BERT-LWAN について、今回は索引対象と同じ 分野のコーパスで事前学習モデルを訓練しているこ とから事前学習モデルのミスマッチは少ないと考え られる。他の理由としては BERT がサブワード単位 であるのに対して LSTM-LWAN が JST 辞書の語彙（専門用語）をGLoVe で直接モデル化していることなど が考えられるが、更なる検討が必要である。

抽出型の索引付与手法が基本的にはテキストに出現する表現の中から索引表現を探す処理であるのに 対して、今回試みた分類型は対象テキストの表層に ない索引語を付与できる可能性がある。rec2 を見る と、再現率 0.5 弱になっており、全ての正解索引に 対する再現率 0.66 より 18 ポイント程度下がるもの の全体の適合率 $(0.66)$ を考えるとある程度できてい ることが分かる。なお、BERT-LWAN の方が LSTM-LWAN より若干良いことを注記する。

BERT については科学技術分野のコーパスで作成 した事前学習モデルは汎用のものと比べて性能が高 く、BERT-LWAN で 4 ポイント程度向上している。ま た注視機構は BERT に対して 2-4 ポイントと性能向上に一定の寄与があったと考えられる。

## 7 おわりに

本稿では統制語索引を文書分類的に解く方法につ いて、JST の文献 DB におけるメインヘディング付与 を題材として、特にラベル依存の注視機構 (labelwise attention:LWAN)の適用を試みた。

実験結果によればラベル依存の注視機構は有効で あり、F1 值として 0.63 程度となった。LWANを、対象分野のコーパスから作成した GLoVe、および、LSTM と組み合わせる方法が BERT と組み合わせた方法よ り若干上回る性能となった。

索引付けについてはテキスト中から重要表現を取 り出す抽出型が基本であり、今回試みた分類型の方法はそれを補足する役割があると考えている。今後 は両手法の改善に加え、それぞれの性質の分析を踏 まえて適切に組み合わせることが大きな方向性であ ると考えている。

## ${ ^{\vee}$ Huggingface $\odot$ BertForMaskedLM}

## 参考文献

［1］堀内美穂，中村徹，永井賢吉：JSTDB 検索にお ける索引の有効性と索引作業の重要性-JSTP1us フ アイル, JMEDPlusファイルにおける索引語の分析-,情報管理，vol. 52，No.1，2009.

[2] 冨永祥平：“索引作業におけるより高度な支援辞書の利用〜 JST 抄録・索引支援システム「NAISS」 について〜”，情報管理, vol. 50, no. 4, pp. 210-217, 2007.

[3] 山崎文枝, “JST 科学技術シソーラスの改訂” ,情報管理，vol. 60, no. 5, pp. 365-368, 2017.

[4] Johnson, A EW., et al., "MIMIC-III, a freely accessible critical care database", Nature, 2017.

[5] Chalkidis, I., et al., "Large-Scale Multi-Label Text Classification on EU Legislation”, ACL 2019, 2019. [6] McAuley, J., et al., "Hidden Factors and Hidden Topics: Understanding Rating Dimensions with Review Text", ACM Conf. on Recommender Systems, pp. 165172, 2013.

[7] Mullenbach, J., et al., "Explainable Prediction of Medical Codes from Clinical Text”, NAACL2018, 2018. [8] Rios, A., et al., "Few-Shot and Zero-Shot MultiLabel Learning for Structured LabelSpaces, EMNLP2018, 2018.

[9] Khandagale, S., et al., "Bonsai - Diverse and Shallow Trees for Extreme Multi-label Classification”, arXiv:1904.02349v2, 2019.

[10] You, R., et al., "AttentionXML: Label Tree-based Attention-Aware Deep Model for High-Performance Extreme Multi-Label Text Classification”, NeurIPS2019, 2019.

[11] Devlin, J., et al., "BERT: Pre-training of Deep

Bidirectional Transformers for Language

Understanding", Proc. NAACL2019, 2019.

[12] Chalkidis, I., et al., "An Empirical Study on LargeScale Multi-Label Text Classification Including Few and Zero-Shot Labels", EMNLP2020, 2020.

[13] Pennington, J. et al., "Glove: Global vectors for word representation”, EMNLP2014, pp1532-1543, 2014. [14] 建石由佳, 信定知江, 高木利久: “JST 科学技術用語シソーラスに基づく MeCab 用専門用語辞書”,言語処理学会第 23 回年次大会、P7-1 (pp485-488), 2017.


# Fusion-in-Decoder を用いた論文分類手法の検討

奥田あずみ 美野秀弥 後藤淳
NHK 放送技術研究所
\{okuda.a-gc,mino.h-gq, goto.j-fw\}@nhk.or.jp

## 概要

テキストを適切なカテゴリに分類するテキスト分類技術は言語処理において重要な技術の 1 つであ る. 特に，近年，大量のテキストデータを扱うこと が増え，テキスト分類の需要は高まっている. そこ で，本稿では，大量の論文を分析するための論文の ラベル分類タスクに取り組む．質問応答タスクで用 いられている Fusion-in-Decoder の手法を参考に，論文などの長いテキストに対しても高精度のラベル分類できるような手法を提案した. 論文のラベル分類 タスクで評価実験を行った結果，提案手法の効果を 確認した。

## 1 はじめに

テキストを適切なカテゴリに分類するテキスト分類技術は言語処理において重要な技術の 1 つであ り，多くの手法が提案されている [1]. 特に，近年 は計算機などのハードウェアの技術進歩により大量 のテキストデータが扱えるようになり，テキスト分類の需要は高まっている. 最近では，新型コロナウ イルスに関する論文が大量に公開され1)，それらの 論文の迅速な解析が求められた. そこで, 本研究で は，論文のラベル分類タスクに取り組む.

BERT [2] などの事前学習モデルには入力長の制限値が設定されており，論文などの文長の長いデータ を一度に扱えない課題がある. この課題への対応と して，論文の全文を事前学習モデルの入力長の制限值以下に分割して複数のラベルを出力し，複数のラ ベルを結合して単一ラベルを出力する手法が提案 されているが [3], 分割された各データのラベル分類に対する重要度を考慮しておらず，十分な精度が 達成できていない可能性がある．そこで，本研究で は，長文のテキストのラベル分類の高精度化のため

に，質問応答 $(\mathrm{QA})$ タスクで用いられている手法を 応用した手法を提案する．具体的には，論文の重要 な情報が集約されていると考えられる概要部分を用 いて論文の全文からラベル分類に有効な文集合を抽出し，抽出した文集合の各文のベクトル表現を結合 してラベルを推定する．質問応答タスクで高い性能 を達成している Fusion-in-Decoder [4] を用いること で，ニューラルネットワークを用いたベクトル表現 の結合を実現した．新型コロナウイルスの科学技術論文データ CORD-19 [5] を用いた評価実験を行い，提案手法の効果を確認した。

## 2 関連研究

論文のラベル分類の手法に Sentence-LabelClassification(SLC) [3] がある. SLC は学術論文の ような長い文章に対し，BERT [2] の入力長の制限値 (512 トークン) 以下になるように 1-3 文程度の短い 文集合に分割し，その単位ごとに BERT モデルを用 いて追加学習を行う．分割した文集合それぞれでモ デルを学習するため学習データが増え, 低頻度ラべ ルの学習に効果がある。しかし，この手法は，ラべ ルの統合時に各出力の平均值などを用いており, 各文の重要度を考慮できていないため, 改善の余地が ある.

本稿では，SLCを改善するために，質問応答 (QA) タスクで用いられている手法を参考にして，ラべ ル統合時にニューラルネットワークを用いる手法 を提案する。QAタスクの多くは，質問と回答を 見つけ出すための文書集合から解答を見つけ出す タスクである. Karpukhin ら [6] は文書集合から関連する箇所を検索する Dense Passage Retriever (DPR) を提案し，オープンドメイン $\mathrm{QA}$ タスク ${ }^{2}$ で高精度な結果を達成した. Lee ら [7] は, オープンドメ イン QA タスクに取り組み，Open-Retrieval Question

## retriever

図 1 提案手法の概要

Answering (ORQA) モデルを提案した. ORQA モデ ルは，解答を得るのに適切な文集合を外部知識 から検索する retriever と, retriever が検索した文集合と質問を合わせたものから解答を見つけ出 す reader の 2 つで構成される. Izacard ら [4] は, ORQA モデルをべースに, reader 部分を改良して Fusion-in-Decoder (FiD) を提案した。さらに，Izacard ら [8] は reader の知識を用いて retriever を学習する 手法を提案し， $\mathrm{QA}$ タスクの精度を向上させた. 本稿では，Izcard らの FiDの手法を論文のラベル分類 に応用している。

## 3 提案手法

## 3.1 概要

本研究では, Izcard らが提案した reader と retriever の 2 つの機構を持つ Fusion-in-Decoder (FiD) を，論文のラベル分類に応用する手法を提案する. 提案手法の概要図を図 1 に示す.

reader は，ラベル分類に有効な情報 (question)と 論文中のラベル分類に有効な文集合 (ctxs) を入力と し, 論文のラベル (answer) を出力するモデルである.入力には，文集合中の各文 (context) に加え, context とは別の answer を推定するのに有効な情報である questionを用いることができ, question と context を 合わせたものを passage と呼ぶ. passage は複数用意 することができ，それぞれ reader の encoder に入力
して埋め込み表現を得る。そして，獲得した複数の 出力結果を連結して decoder に入力して answer を生成するように学習する。

retriever は，論文全体を入力とし，ラベル分類に 有効な文集合である ctxs を検索するモデルであ る. reader は複数の passage を encoderに入力して ラベル分類を行う過程で， question と passage との cross-attention スコアが計算される. cross-attention ス コアの高い passage は answer の推定に寄与している という仮定のもと， retriever は，ラベル分類に有効 な文集合を抽出するため，cross-attention スコアと question と passage の埋め込み表現の内積が関連付く ように学習する。

reader が用いる passage は retrieverにより更新さ れる. retriever は学習時に reader が出力過程で計算 する cross-attention スコアの結果を用いる. reader と retriever は相互に関係しており，reader と retriever を 繰り返し学習することでそれぞれのモデルを高精度化する。

## 3.2 手順

Izcard ら [4] は retrieverの検索対象として, wikipedia のような大量のデータを含む外部知識を用いてい る. 本研究では，図 1 にあるように，論文全文を 文単位で分割して格納した論文データベースを外部知識とみなし，retrieverを用いて論文データベー ス内の全文からラベル分類に有効な文を抽出する.
学習データは，短いテキストである論文の概要部分 (abstract)，長いテキストである論文全文 (fulltext),論文のジャンルを表すラベル (answer)，の 3 つで構成される.

学習時の具体的な手順は以下の通りである.

1. reader の学習学習データの abstract と fulltextを 1 文ごとに分割する. reader の encoder に分割 した abstract を context として入力し, 正解ラ ベルを answer として reader の最初の学習を行 う. question には全論文共通で “What genre best describes this abstract?”3)を用いる.

2. retriever の学習 訓練済みの reader が途中で計算 する cross-attention スコアをもとに， question と context の内積が適切な值となるように retriever を学習する。

3. retriever による推論 2 で学習した retrieverによ り論文データベースから関連する文を faiss [9] で最近傍探索を行い関連度が高い文を抽出す る. 極端に短い文は抽出しないようにした。こ の抽出作業を passage retrieval と呼ぶ.

4. reader の再学習 question と 3 で抽出した context とを readerに入力して再度 readerを学習する。

5. 交互に学習 3-5を繰り返し, reader と retriever を 交互に学習する。

ラベル分類を行う際は， abstract を 1 文ごとに分割 して最終的に得られた reader にかけ, 出力結果の answer が推定ラベルとなる.

## 4 実験

## 4.1 実験設定

Allen Institute for AI が収集していた新型コロナウ イルス感染症 (Covid-19) に関する科学論文リソース である The Covid-19 Open Research Dataset (CORD-19) を用いて実験を行った. CORD-19 は PubMed Central やWHO など, 複数のリソースから学術文献検索 サービス Semantic Scholar で検索して取得した論文 を統合しており，著者名や投稿日時や取得ソースが abstract と併せてメタデータに記載されている. 本稿では CORD-19 から抽出した bioRxiv に投稿され た 7127 本の論文と，各論文に付与された 25 種類の 研究分野のラベルを用いた. 提案手法のモデルに入

表 1 実験結果. question には共通の文を用いた. context

力するデータは付録 A のような JSON 形式のデータ である.

context の集合である ctxs は retriever の結果を用 いるが，初回の reader の学習時には retriever の学習 は行われず用いることができない。そこで，ctxs の 初期値として, 論文の abstract がラベル分類に有効な文集合であると仮定し，学習データの各論文 の abstractを文単位に分割したものを用いた。単語 の分散表現には T5 (Text-to-Text Transfer Transformer) [10]を用いた. retrieverの出力には論文データベー スの検索結果から 10 単語以下で構成される文を除 いた Top 20 を用いた.

比較手法には Sentence-Label-Classification(SLC) [3] を用いた。

評価には分類タスクで一般的に用いられている Micro-F1 と Macro-F1を用いた.

## 4.2 実験結果

実験結果を表 1 に示す. 繰り返し回数は, reader と retrieverの学習の回数を示す.

先行研究であるSLC と繰り返し回数 0 回の提案手法を比較すると，Macro-F1 はほぼ変わらず， Micro-F1 は向上した. SLC は文ごとにラベル分類を 行い，それらの結果をもとにルールベースでラベル を推定する。一方，提案手法は文ごとの encoder 結果を連結し，それを decoder で処理してラベルを推定しており，ニューラルネットワークを用いた手法 である. 提案手法が SLC より Macro-F1 で向上した 要因として, ラベル分類にニューラルネットワーク を用いる利点が考えられる. context 中のすべての文 の重要度を考慮せずにラベル分類する SLC とは異 なり，提案手法は文集合中のどの文がラベル分類に 重要かを考慮したラベル分類が可能になっている。

次に, retriever と reader の学習を繰り返して, retrieverによる passage retrieval の効果を検証した。繰り返し 1 回目では, retrieve を用いない場合 (繰 り返し回数:0) と比較して, Micro-F1 は若干向上し
表 2 分析用の実験結果

たが，Micro-F1 は下がった. さらに繰り返し回数 を重ねると，4 回目まで Micro-F1 はほぼ変わらず， Macro-F1 は向上した. 5 回目で Micro-F1，Macro-F1 ともに数値が下がったため, 学習の繰り返しを終了した. 提案手法を用いた QA タスクにおける実験 [4] でも，4 回目程度まで性能が向上したと報告 されており，本研究でも同様の傾向となった.

## 5 分析

本章では，retriever を用いない場合の reader の性能を分析する.

## 5.1 初期 context に全文を利用

提案手法では, reader で用いる context の初期値 (繰 り返し回数:0) にラベル分類に有効な情報であると 考えられる abstract を用いた. しかし， contextには 大量のデータを用いることが可能である. そこで， context の初期値に論文全文を入れて 4 章と同様の実験を行った.

表 2 の 2 行目が実験結果である. 4 章の実験の繰 り返し回数 0 回の結果 (表 2 の 1 行目) と比較して Micro-F1，Macro-F1 ともに精度が向上した. この結果より，context に入力するデータ数を増やすこと で精度が向上すると考えられる。一方で，reader の context の初期值に論文全文を用いると計算に時間 がかかるという課題がある. 本研究の実験環境4)で は，readerの学習に全文で約 9 時間，abstract のみで は約 3 時間かかった。

## 5.2 question に abstract を利用

4 章の実験の繰り返し回数 0 回の結果 (表 1 の 2 行目) は，retriever を用いずに abstract を用いてラベル を推定しており，abstractにラベル分類に有効な情報 が含まれているかの判断材料となる. Micro-F1 の值 は SLC (表 1 の 1 行目)よりも高いことから, Abstract にはラベル分類に有効な情報が含まれていると考え られる。そこで， questionに共通の固定ベクトルを 用いるのではなく, abstract の分散表現ベクトルを 用いて実験を行った. 表 2 の 3 行目が実験結果であ

4） NVIDIA V100 1 コアを用いて実験を行った.
る. 4 章の実験の繰り返し回数 0 回の結果 (表 2 の 1 行目) と比較して Micro-F1，Macro-F1 ともに精度が 向上した. この結果より, question にラベル分類に 有効な情報を入力することでラベル分類の精度が向上すると考えられる。

## 6 まとめ

本研究では，質問応答タスクで用いられている， retriever と reader からなる Fusion-in-Decoder を分類 タスクに応用して，論文のラベル分類に取り組ん だ. retriever では，文章全体の特徴を表す短い文と question を用いて長いテキストからラベル分類に有効な文集合を抽出し，reader では抽出された複数の 文を統合し，ラベル分類を行った. 新型コロナウイ ルス関連の論文を集めたデータセットを用いてラべ ル分類実験を行い提案手法の効果を確認した. 今後 は，より有効な question の選び方や単語埋め込み表現の改善を通じて，retriever の性能を上げる方法を 検討する．また，異なるデータセットでの実験を行 い，他の先行研究とも比較して提案手法の有効性を 示したい.

## 謝辞

貴重なコメントや議論を頂いた NHK 放送技術研究所の山田一郎シニアリード，宮﨑太郎研究員，安田有希研究員，石渡太智研究員に感謝します。

## 参考文献

[1] Shervin Minaee, Nal Kalchbrenner, Erik Cambria, Narjes Nikzad, Meysam Chenaghlu, and Jianfeng Gao. Deep learning-based text classification: A comprehensive review. ACM Comput. Surv., Vol. 54, No. 3, pp. 62:162:40, 2021.

[2] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[3] 奥田あずみ, 宮﨑太郎, 美野秀弥, 後藤淳. 文単位の分類器を用いた論文分類手法の検討. 2021 年映像情報 メディア学会冬季大会, 2021.

[4] Gautier Izacard and Edouard Grave. Leveraging passage retrieval with generative models for open domain question answering. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics, pp. 874-880, 2021.

[5] Iz Beltagy, Matthew E. Peters, and Arman Cohan. Longformer: The long-document transformer, 2020.

[6] Vladimir Karpukhin, Barlas Oguz, Sewon Min, Patrick Lewis, Ledell Wu, Sergey Edunov, Danqi Chen, and Wentau Yih. Dense passage retrieval for open-domain question answering. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 6769-6781, Online, November 2020. Association for Computational Linguistics.

[7] Kenton Lee, Ming-Wei Chang, and Kristina Toutanova. Latent retrieval for weakly supervised open domain question answering. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 6086-6096, Florence, Italy, July 2019. Association for Computational Linguistics.

[8] Gautier Izacard and Edouard Grave. Distilling knowledge from reader to retriever for question answering. In The International Conference on Learning Representations, 2021

[9] Jeff Johnson, Matthijs Douze, and Hervé Jégou. Billionscale similarity search with GPUs. IEEE Transactions on Big Data, Vol. 7, No. 3, pp. 535-547, 2019.

[10] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. Journal of Machine Learning Research, Vol. 21, No. 140, pp. 1-67, 2020 .

## A 入力例

\{

"id": "047xpt2c",

"question": "What genre best describes this abstract?",

"answers": [

"pharmacology and toxicology"

],

"ctxs": [

"text": "A novel coronavirus SARS-CoV-2, also called novel coronavirus 2019 (nCoV-19), started to circulate among humans around December 2019, and it is now widespread as a global pandemic.",

"id": "047xpt2c0",

"title": " "

\} ,

"text": "The disease caused by SARS-CoV-2 virus is called COVID-19, which is highly contagious and has an overall mortality rate of $6.96 \%$ as of May $4,2020 . "$,

"id": "047xpt2c1",

"title": "

\} ,

"text": "There is no vaccine or

antiviral available for SARS-CoV-2.",

"id": "047xpt2c2",

"title": " "

\},

]

\}


# 大規模言語モデルを用いた情報検索のための coarse-tuning 手法の提案

欅 惇志 1 田中 リベカ ${ }^{2}$
1 一橋大学ソーシャル・データサイエンス教育研究推進センター
2 お茶の水女子大学 文理融合 AI・データサイエンスセンター
a.keyaki@r.hit-u.ac.jp tanaka.ribeka@is.ocha.ac.jp

## 概要

大規模言語モデルを用いた情報検索 (LLM-IR)の fine-tuning では，タスクに特化した学習に加えて， クエリの埋め込み表現（クエリ表現）とクエリー 文書の関係を学習する必要がある. 本研究では, pre-training と fine-tuning を繋ぐ中間段階の学習とし て coarse-tuning を導入する. coarse-tuning において クエリ表現とクエリー文書の関係を学習することで， fine-tuning の負荷を軽減して学習効果の向上を目指 す.その際，クエリー文書ペアの適切性を推定する Query-Document Pair Prediction (QDPP) を提案する.評価実験の結果，提案手法によって情報検索タスク Robust04 の検索性能 (nDCG@20) が 6\% 向上した.

## 1 はじめに

BERT [1] の登場によって情報検索コミュニティ においてパラダイムシフトが生じた. BERT 以前に も深層学習ベースの情報検索手法 (pre-BERT 深層学習） $[2,3,4]$ は多数提案されていたが，文献 [5] に おける徹底的な実験によって，適切にハイパーパラ メータ・チューニングされた古典的手法 [6] に対し て pre-BERT 深層学習ベースの手法は実質的な性能改善はないということが示された. そのような中, BERT の登場により，大規模言語モデルを用いた情報検索 (LLM-IR) 手法の性能は大幅に改善した [7].

ただし，本来は大規模言語モデルを用いた finetuning では軽微な追加学習で高性能の達成が期待さ れるにも関わらず，実情は情報検索データセットを 用いて fine-tuning をするだけでは大幅な性能改善は もたらされない [8]. 高い性能を発揮するためには 高コストな fine-tuning（例えば，BERT の出力を情報検索特化型のネットワークに入力して行う追加の 学習 $[9,10]$ や大量データ [11] を用いた fine-tuning)
が必要である. 非事前学習型の Transformer ベース の検索手法 $[12,13]$ よりも BERT などの事前学習を ベースとした検索手法がより高性能を示すことか ら，大量の言語資源を用いた事前学習の効果は明ら かであるものの，高コストな fine-tuning を前提とし た LLM-IR では事前学習の恩恵を最大限に受けられ ているとはいえない.

高コストな fine-tuning が必要となる一因として，入力データ構造の違いが考えられる. 大規模言語モ デルの pre-training の入力は自然文のテキストであ る. 対して，情報検索タスクの入力は，数語程度の 単語列であるクエリと数十から数百語程度の自然文 である文書という不均衡な二つ組から構成される データ構造を持つ. 更に，クエリは自然文の文法に 従わない [14] ため，自然文を用いて訓練されたモ デルとは䶡敬がある1). BERT の pre-training におい ても，クエリの性質を反映した埋め込み表現（クエ リ表現）を適切に学習できていない可能性が高い. また，クエリと文書は文法や語数に大きな相違があ るものの，出現語には一定の傾向がある.すなわ ち，クエリに適合する候補文書中にはクエリ語や その関連語が出現し ${ }^{2)}$ ，無関係な文書には出現しな い. BERT の pre-training では，このようなクエリー 文書の関係も学習されていない。従って，LLM-IR の fine-tuning では，後段タスク（クエリに対する適合度順の検索結果作成）に特化した学習に加えて， クエリ表現とクエリー文書関係の学習を全て同時に 行う必要がある．以上の理由から LLM-IR における fine-tuning が高コストになっていると推測される.

そこで，本研究では， pre-training と fine-tuning を 繋ぐ中間段階の学習である coarse-tuning を提案す

図 1 coarse-tuning モデルの概要図

る. coarse-tuning においてクエリ表現とクエリー文書関係を学習することで，fine-tuning ではクエリに対 する文書の適合度の推定に注力し, 検索性能を改善 することを目指す.

BERT の事前学習では単語の穴埋め問題を解く Masked Language Model (MLM) と文の連続性を予測 する Next Sentence Prediction (NSP) が採用されてい る. 本研究においても, クエリ表現の学習に MLM を用いる。加えて，クエリ一文書関係の学習では， NSP に着想を得て，クエリー文書ペアの適切性を推定する Query-Document Pair Prediction (QDPP) を 提案する. 本稿では，クリックログ（検索エンジン に発行されたクエリとクリックされた検索結果中の 文書の情報）からクエリー文書ペアを作成する。

情報検索データセットである Robust04 における 性能評価の結果，fine-tuning に先立ち coarse-tuning を適用することで，nDCG@20 が 6\%向上した.ま た，文書からクエリを推定するタスクにおいて， coarse-tuning によってクエリ表現やクエリ-文書関係 が学習されたことを示唆する結果が得られた。

## 2 提案手法

coarse-tuning の学習モデルの概要を図 1 に示す. モデルのアーキテクチャは, BERT と同様に, 複数層の双方向 Transformer で構成される. coarse-tuning では MLM と QDPP が同時に行われることで，クエ リ表現とクエリー文書の関係が学習される。

## 2.1 モデルの入カ

coarse-tuning の学習モデルは情報検索タスク特化型であるため，クエリと文書が入力される。クエリ
と文書はそれぞれトークン化され，特殊トークンと ともに単一のシーケンスとして結合される。その 際，文書トークンの末尾が最大トークン長を超える 場合には，最大トークン長以降の文書トークンは除去する。また，一般的にクエリ長よりも文書長が 大きい傾向があるが，稀に長文クエリが存在する.長文クエリは無意味な文字列であったり，そうで なくても学習への悪影響が懸念されるため, 経験則的に最大トークン長の半分よりも大きなトーク ン長を持つクエリはノイズとして除外する。なお，特殊トークンには，BERT で用いられる [CLS][SEP] [PAD] に加えて，[Q] と [D] が含まれる。 [Q] と [D] は LLM-IR 9 fine-tuning で用いられる特殊トークン [20] である. [Q] はクエリトークンの前に挿入され， クエリを表す. [D] は文書トークンの前に挿入さ れ，文書を表す。

## 2.2 Masked Language Model

深い双方向のクエリ表現の学習のため MLM によ る学習を行う．まず，クエリと文書それぞれをトー クン化する。その後，一定割合のトークンをランダ ムにマスク化（[MASK]トークンと置換）する。マス ク化されたトークンに対して，マスク化前のオリジ ナルのトークンを推定することで学習が行われる。

## 2.3 Query-Document Pair Prediction

QDPP では，入力されたクエリと文書ペアが適切 か (IsPair) 不適切か (NotPair) を推定するタスクを 通して，クエリ一文書の関係を学習する。クエリー文書ペアの適切性判断として最も信頼性の高い情報源 は，情報検索データセット中の qrel（クエリー文書に
対する適合性判定）である. しかしながら qrel のア ノテーションコストは高く，大量に作成することは 難しいため, 汎用的なクエリー文書関係の学習に用 いるデータセットとしては適切とはいえない。これ を踏まえると， coarse-tuning 用のデータが満たす条件は下記の通りである。

・クエリと文書を含む

・クエリー文書の何らかの関係性を保持する

$\cdot$(研究用途で) されている

これらの条件を満たすデータとして, ORCAS (Open Resource for Click Analysis in Search) [21] が該当 する. ORCAS は研究用途で利用可能なクリックロ グデータセットであり， 1,900 万のクエリ-文書ペア （1,000万種類のクエリ）が含まれる. Bing で収集さ れた膨大な量のログからノイズを除去したうえで， $k$-匿名化と不適切なクエリの除去を行っている.

クエリー文書のクリック関係は適合性とも関連を 持ち，クリックされた文書を擬似適合文書として扱 うことで性能改善が実現した事例も多数存在する [22, 2, 23]. 従って, 本研究では，クリック関係を持 つクエリー文書を適切なクエリー文書ペアとする。

## 2.4 学習手順

coarse-tuning はクエリ表現とクエリ-文書関係の学習に主眼を置いており，汎用的な言語表現の獲得は 目的としていない. 従って, 既に言語表現が学習さ れている事前学習済みモデルに対して, coarse-tuning を適用することを想定する。下記の手順にて後段の 情報検索タスク用モデルが学習される。

1. 事前学習済みの大規模言語モデルを取得する

2. coarse-tuning (MLM と QDPP)を行う

3. 情報検索データセットで fine-tuning を行う

## 3 評価実験

## 3.1 実験設定

比較手法は下記の 4 手法である.

1. pre-trained 事前学習済みモデルを用いる

2. coarse-tuned 事前学習済みモデルに対して coarse-tuning を行う

3. fine-tuned (baseline) 事前学習済みモデル に対して fine-tuning を行う

4. coarse+fine (proposed) 事前学習済みモデル に対して coarse-tuning 後に fine-tuning を行う表 1 情報検索タスク Robust04 の性能評価

なお，本稿では，単純化のため，fine-tuning は coarsetuning と同一のモデルを用いてクエリー文書ペアの 適合度ラベルを推定する分類タスクとして学習を行 い，適合ラベルの推定確率を文書のスコアとした。

検索性能評価では単一の設定に対して 3 回の試行 を行った平均値を用いる。事前学習済みモデルには prajjwal1/bert-tiny $\left.{ }^{3}\right)(L=2, H=128)$ を用いて，最大 トークン長は 256 とした。その他の設定については A. 1 を参照されたい. 予備実験の結果，最適な設定 は，ORCAS のサンプリング率 $5 \%$ ， coarse-tuning の epoch 数 1 , fine-tuning $の$ epoch 数 2 となった. 予備実験結果の一部も A. 1 に掲載する．次節の実験では 最適な設定を用いた際の性能を報告する。

## 3.2 情報検索データセット

情報検索データセットは Robust04 [24] を用いる. Robust04 はキーワードマッチに基づく古典的な検索手法では性能が低い高難易度のクエリから構成され ているため, 近年の LLM-IR の評価でも多用される. 250 個のクエリ，50万件のニュース記事， 31 万件の qrel（クエリー文書の適合性判定）を含み，平均的な 情報検索データセットと比較してクエリあたりの qrel 数は大きく,リッチな評価が行われている. qrel の適合度ラベルは，非適合 $(94.4 \%)$ ，適合 $(5.3 \%)$,強く適合 $(0.3 \%)$ の 3 段階であり, 評価実験では少数ラベルである強く適合は適合に変換して用いた。 fold1-fold4 の 200 クエリを訓練，fold5 の 50 クエリ を評価クエリとして用いる。評価指標は，関連研究 [17] に準拠して $\mathrm{nDCG} @ 20$ と $\mathrm{P} @ 20$ を採用する. $n D C G @ k$ は順位を考慮した指標であり，より上位に より多くの適合文書を提示することで高い值を示す ため，情報検索の評価では $\mathrm{P} @ k$ より重視される.

## 3.3 後段の情報検索タスクに関する評価

Robust04 による評価実験結果を表 1 に示す. 比較手法のなかで最も高精度な検索精度を示した手法は coarse+fine (proposed) であり, fine-tuned

表 2 クエリ表現とクエリー文書関係の獲得に関する評価

(baseline) と比較して nDCG@20 は 6\% 改善し た. 後段タスクに特化した学習を行っていない pre-trained と coarse-tunedでは想定の通り低い検索性能が確認された, fine-tuning による性能の改善 が認められ，さらに，先立って coarse-tuningを行う ことで更に高精度な検索性能を達成した。

## 3.4 クエリ表現とクエリー文書関係の獲得 に関する評価

coarse-tuning によってクエリ表現やクエリー文書関係が獲得できたかどうかを評価するため，文書か らクエリを予測するタスクを行った。具体的には，与えられた文書からシーケンスを作成する際に， クエリトークンの位置に [MASK] トークンを挿入す る. その後各モデルで [MASK]トークンを予測する。 ORCAS クエリの平均は 3.27 語のため, 予測するク エリのトークン数は 3 とする。

表 2 は，英語版 Wikipedia 記事の “Information retrieval"4)の冒頭から最大トークン長まで入力した 際に予測されたクエリトークン $\left(\mathrm{Tok}_{\mathrm{Q} 1}, \mathrm{Tok}_{\mathrm{Q} 2}, \mathrm{Tok}_{\mathrm{Q} 3}\right)$ の上位 5 件である. pre-trained と fine-tuned (baseline) ともにサブワードを含むランダムな トークン群が予測されている. coarse-tuned で は，クエリの先頭トークンである $\mathrm{Tok}_{\mathrm{Q} 1}$ において "how”や “what”，2つ目のトークンである $\mathrm{Tok}_{\mathrm{Q} 2}$ に おいて “of”が出現しており，ある程度のクエリ表現が学習できていると考えられる。また, “data”, “information", "search” は入力中に出現する語であ り, “computer” と “citations” は入力された範囲より も後の文書中に出現する語である。このことから，予測されたクエリが文書中の語やその関連語から 構成されるため, クエリー文書関係も学習されてい る形跡が認められた。なお， $\mathrm{Tok}_{\mathrm{Q} 3}$ の “wikipedia” は 入力中に含まれないが，ORCAS クエリの中には末尾に“Wikipedia”を含むクエリが多数存在するため, その特徴が現れていると考察される。

また, coarse+fine (proposed) では, 予測されて いるトークン群に一貫性があるものの，入力され

4) https://en.wikipedia.org/wiki/Information_retrieval
た文書とは異なるトピックに関するトークン群 が出力されている.これは, fine-tuning の過程で, coarse-tuning で学習されたクエリ表現やクエリ-文書関係の一部が失われたためであると考えられる。

今後の課題として，詳細な分析を通したより高性能な coarse-tuning 手法の提案や，クエリ表現やクエ リ一文書関係を損失しない fine-tuning 手法の提案を 行う予定である。また，より大きな BERT モデルを 用いた場合の振る舞いの差異の評価や，より高性能 な fine-tuning 手法の適用も今後の課題である.

## 4 関連研究

文献 [25] では後段タスクに応じた事前学習の必要性が主張されている．LLM-IR に関する研究の主流 は fine-tuning であるが $[26,27,28]$, 事前学習に着目 した研究も存在する $[17,18,19,29]$. 文献 [17, 18, 19] ではいずれも文書から生成した疑似クエリを事前学習に利用しているため, 実クエリー文書ペアから クエリ表現やクエリー文書関係を学習する本研究 とはアプローチが異なる. WebFormer [29] は事前学習に Web 文書の構造を利用する手法であり, 本研究とは着眼点が異なる. 文書からクエリを生成す る doc2query [30] や docTTTTTquery [31] は実クエリー 文書ペアを用いて学習を行うという点で共通点す るが，クエリ-文書ペアが相互にインタラクション を行う本研究とは目的が異なる. 効率性向上のた めクエリと文書のインタラクションを遅延させる ColBERT [20] は本研究と対極に位置するといえる.

## 5 おわりに

本研究では，大規模言語モデルを用いた情報検索において, pre-training と fine-tuning を繋ぐ coarsetuning を提案した. coarse-tuning は，クエリ表現を 学習する MLM とクエリー文書関係を学習する QDPP から構成される. coarse-tuning によって, 後段の情報検索タスクの検索性能向上が確認された. また，文書からクエリを予測するタスクにおいて，クエリ 表現とクエリー文書関係の獲得が示唆された。

## 謝辞

本研究の一部は, 学術研究助成基金助成金研究活動スタート支援（課題番号 22K21303）の助成を受 けて遂行された.また，本研究を遂行するうえで必要不可欠であった計算機を提供頂いた一橋大学ソー シャル・データサイエンス教育研究推進センター教授の七丈直弘氏に謝意を表する。

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proc. of the NAACL 2019, 2019.

[2] Po-Sen Huang, Xiaodong He, Jianfeng Gao, Li Deng, Alex Acero, and Larry Heck. Learning Deep Structured Semantic Models for Web Search using Clickthrough Data. In Proc. of the CIKM 2013, 2013.

[3] Jiafeng Guo, Yixing Fan, Qingyao Ai, and W. Bruce Croft. A Deep Relevance Matching Model for Ad-hoc Retrieval. In Proc. of the CIKM 2016, 2016.

[4] Chenyan Xiong, Zhuyun Dai, Jamie Callan, Zhiyuan Liu, and Russell Power. End-to-End Neural Ad-hoc Ranking with Kernel Pooling. In Proc. of the SIGIR 2017, 2017.

[5] Wei Yang, Kuang Lu, Peilin Yang, and Jimmy Lin. Critically Examining the "Neural Hype": Weak Baselines and the Additivity of Effectiveness Gains from Neural Ranking Models. In Proc. of the SIGIR 2019, 2019.

[6] Stephen E. Robertson, Steve Walker, Susan Jones, Micheline Hancock-Beaulieu, and Mike Gatford. Okapi at TREC-3. In Proc. of the TREC 1994, 1994.

[7] Jimmy Lin. The Neural Hype, Justified! A Recantation. ACM SIGIR Forum, Vol. 53, pp. 88-93, 2019.

[8] Jimmy Lin, Rodrigo Nogueira, and Andrew Yates. Pretrained Transformers for Text Ranking: BERT and Beyond. arXiv:2010.06467, 2020.

[9] Stephen E. Robertson, Steve Walker, Susan Jones, Micheline Hancock-Beaulieu, and Mike Gatford. CEDR: Contextualized Embeddings for Document Ranking. In Proc. of the SIGIR 2019, 2019.

[10] Canjia Li, Andrew Yates, Sean MacAvaney, Ben He, and Yingfei Sun. PARADE: Passage Representation Aggregation for Document Reranking. arXiv:2008.09093, 2020.

[11] Payal Bajaj, Daniel Campos, Nick Craswell, Li Deng, Jianfeng Gao, Xiaodong Liu, Rangan Majumder, Andrew McNamara, Bhaskar Mitra, Tri Nguyen, Mir Rosenberg, Xia Song, Alina Stoica, Saurabh Tiwary, and Tong Wang. MS MARCO: A Human Generated MAchine Reading COmprehension Dataset. arXiv:1611.09268, 2018.

[12] Sebastian Hofstätter, Markus Zlabinger, and Allan Hanbury. TU Wien @ TREC Deep Learning '19 - Simple Contextualization for Re-ranking. arXiv:1912.01385, 2019.

[13] Bhaskar Mitra, Sebastian Hofstätter, Hamed Zamani, and Nick Craswell. Conformer-Kernel with Query Term Independence for Document Retrieval. arXiv:2007.10434, 2020 .
[14] Cory Barr, Rosie Jones, and Moira Regelson. The Linguistic Structure of EnglishWeb-Search Queries. In Proc. of the EMNLP 2008, 2008.

[15] Kuzman Ganchev, Keith Hall, Ryan McDonald, and Slav Petrov. Using Search-Logs to Improve Query Tagging. In Proc. of the ACL 2012, 2012.

[16] Atsushi Keyaki and Jun Miyazaki. Part-of-speech Tagging for Web Search Queries Using a Large-scale Web Corpus. In Proc. of the SAC 2017, 2017.

[17] Xinyu Ma, Jiafeng Guo, Ruqing Zhang, Yixing Fan, Xiang $\mathrm{Ji}$, and Xueqi Cheng. PROP: Pre-Training with Representative Words Prediction for Ad-Hoc Retrieval. In Proc. of the WSDM 2021, 2021.

[18] Kenton Lee, Ming-Wei Chang, and Kristina Toutanova. Latent Retrieval for Weakly Supervised Open Domain Question Answering. In Proc. of the ACL 2019, 2019.

[19] Wei-Cheng Chang, Felix X. Yu, Yin-Wen Chang, Yiming Yang, and Sanjiv Kumar. Pre-training Tasks for Embedding-based Large-scale Retrieval. In Proc. of the ICLR 2020, 2020

[20] Omar Khattab and Matei Zaharia. ColBERT: Efficient and Effective Passage Search via Contextualized Late Interaction over BERT. In Proc. of the SIGIR 2020, 2020.

[21] Nick Craswell, Daniel Campos, Bhaskar Mitra, Emine Yilmaz, and Bodo Billerbeck. ORCAS: 18 Million Clicked Query-Document Pairs for Analyzing Search. arXiv:2006.05324, 2020.

[22] Filip Radlinski and Thorsten Joachims. Query Chains: Learning to Rank from Implicit Feedback. In Proc. of the KDD 2005, 2005.

[23] Xuanhui Wang, Michael Bendersky, Donald Metzler, and Marc Najork. Intent Based Relevance Estimation from Click Logs. In Proc. of the SIGIR 2016, 2016.

[24] Ellen M. Voorhees. Overview of the TREC 2004 Robust Retrieval Track. In Proc. of the TREC 2004, 2004.

[25] Suchin Gururangan, Ana Marasović, Swabha Swayamdipta, Kyle Lo, Iz Beltagy, Doug Downey, and Noah A. Smith. Don't Stop Pretraining: Adapt Language Models to Domains and Tasks. In Proc. of the ACL 2020, 2020.

[26] Rodrigo Nogueira, Wei Yang, Kyunghyun Cho, and Jimmy Lin. Multi-Stage Document Ranking with BERT. arXiv:1910.14424, 2019.

[27] Zeynep Akkalyoncu Yilmaz, Wei Yang, Haotian Zhang, and Jimmy Lin. Cross-Domain Modeling of SentenceLevel Evidence for Document Retrieval. In Proc. of the EMNLP-IJCNLP 2019, 2019.

[28] Zhuyun Dai and Jamie Callan. Deeper Text Understanding for IR with Contextual Neural Language Modeling. In Proc. of the SIGIR 2019, 2019.

[29] Qifan Wang, Yi Fang, Anirudh Ravula, Fuli Feng, Xiaojun Quan, and Dongfang Liu. WebFormer: The Web-page Transformer for Structure Information Extraction. In Proc. of the WWW 2022, 2022.

[30] Rodrigo Nogueira, Wei Yang, Jimmy Lin, and Kyunghyun Cho. Document Expansion by Query Prediction. arXiv:1904.08375, 2019.

[31] Rodrigo Nogueira and Jimmy Lin. From doc2query to docTTTTTquery, 2019

## A 付録 (Appendix)

## A. 1 実験の設定と環境，予備実験

予備実験では ORCAS サンプリング率，coarsetuning epoch 数, fine-tuning epoch 数の 3 項目に対し てグリッドサーチで性能評価を行ったが，各項目に 対して独立にパラメータチューニングを行った際の 挙動と，他の項目を変化させた場合の挙動とは概ね 同じであった. そのため，チューニング対象の項目以外はデフォルト值 (1)を用いた結果を掲載する。
- mlm_prob MLM におけるマスク化されるトー クンの割合は，BERT の pre-training にならい 0.15 とした.
- qdpp_prob QDPPにおける学習データ生成に おいて isPair のサンプルが生成される確率は, BERT の pre-training にならい 0.5 とした.

・ORCAS サンプリング率ORCAS は膨大なクエ リー文書ペアを含むため，全データを用いた場合には学習が完了しなかった。そこで 1\%-10\% まで $1 \%$ 刻みでデータセットからクエリー文書 ペアのランダムサンプリングを行った. その結果，サンプリング率 $5 \%$ の場合に最も高い検索性能を示した（表 3 参照）.
- coarse-tuning epoch 数 coarse-tuning では最大 5 epoch まで学習を行った. 1 epoch 目で最も高性能を示した（表 4 参照）.
- fine-tuning epoch 数 fine-tuning では最大 10 epoch まで学習を行った. 単独での実験では 1 epoch 目で最も高性能を示した（表 5 参照）が，他項目を変化させたときに 2 epoch 目で最高精度となる設定が多数を占めた。

・バッチサイズ coarse-tuning では 80, fine-tuning では 128 を設定した。

・開発 システムの実装と評価には Hugging Face の Transformers ${ }^{5)}$ を用いた.

・計算機 スペックは CPU：AMD Ryzen 9 5900X 12-Core Processor, GPU : GeForce RTX 3060 VENTUS 2X 12G OC，メモリ：128GB である.

## A. 2 追加のクエリ推定結果

coarse-tuned から推定された「沖縄美ら海水族館」の記事6)のクエリを表 6 に記載する.

5) https://huggingface.co/docs/transformers/index

6) https://www.okinawatraveler.net/en/feature/special01

表 4

coarse-tuning における epoch 数と検索性能

表 5

表 6

「沖縄美ら海水族館」の記事から推定されたクエリ