# エッジプロービングを用いた事前学習済みの 視覚と言語に基づくモデルにおける言語知識の分析

白井尚登 1 上垣外英剛 1 渡辺太郎 1
1 奈良先端科学技術大学院大学
\{shirai.naoto.sq5, kamigaito.h, taro\}@is.naist.jp

## 概要

近年 Transformer ベースの Vision-and-Language (V\&L) モデルが次々に提案され, 画像情報に対 する質問応答などのマルチモーダルタスクで成功を 収めている.一方で，V\&L モデルが適するタスクを 把握するためには，V\&L モデルが有する言語処理能力を知ることが必要である. 本研究ではエッジプ ロービングというフレームワークを採用し, 事前学習済み (V\&L) モデルである VisualBERT と LXMERT が有する言語知識の分析を行う.このプロービング 手法を用いることで品詞タグ付けなど 8 つの分類タ スクのスコアの算出と，分類に寄与する隠れ層の定量化を実現する. 実験の結果,VisualBERT は全体的に BERT とタスクごとの精度や分類に寄与する層が近 しい一方,LXMERT は全体的に精度が低く, より低層 の情報が寄与していることが判明した.

## 1 はじめに

近年, Vision-and-Language (V\&L) モデルとして,言語と画像を横断した汎用的なマルチモーダル表現の獲得のために,Transfomer に基づく事前学習済み モデルが次々と提案されている [1].V\&L モデルには BERT [2]を模したエンコーダを用いるものが多く，言語と画像を含む入力に対する扱いの差異によっ て, Single-stream モデルと Dual-stream モデルに大別 される (図 1). Single-stream モデルは言語と画像を 一つのエンコーダで処理し, Dual-stream モデルは言語と画像を別々のエンコーダで処理した後, その結果を一つのエンコーダで統合する階層的なモデル構造である.これらのモデルは画像情報を踏まえた質問応答 [3] などマルチモーダルタスクの精度向上に 貢献している [1].

現在，これらの V\&L モデルが視覚情報を学習す ることで，テキストのみを学習したモデルよりも良

図 1 Single-stream(左) と Dual-stream(右) モデルの構成. 入力した視覚情報, 言語情報に対する処理方法が異なる.

い文脈表現を獲得できているのかの調査が行われて いる. 先行研究 $[4,5]$ では，事前学習済み $V \& L$ モデ ルの言語理解能力をベンチマーク GLUE [6] で評価 し， Single-stream モデルは Dual-stream モデルよりも 僅かに高い言語理解能力を有しているが，単に画像情報を学習するだけでは言語理解能力が向上しない ことを主張している.また,これらの研究ではテキス トのみの評価データに対として入力する視覚情報の 差異による性能変化についても議論されている.

このように V\&L モデルにおける検証ではベンチ マークスコアに基づいた方法が行われている一方，自然言語処理分野では事前学習済みモデルに対す るより詳細な分析手法として，エッジプロービン グ [7] と呼ばれるフレームワークが提案されている. エッジプロービングは事前学習済みモデルにトーク ン列からなるスパンを入力し，出力された表現を利用した分類器が対応するラベルをタスクごとに予測 することで行われる.この際，分類器に入力するス パン表現はパラメータを固定したモデルの各層に重 み付けをするスカラーミキシングにより得られる。 エッジプロービングとスカラーミキシングを組み合 わせた手法は学習した各層への重みを参照すること で，分類タスクごとに寄与する層を定量的に評価で きる利点がある.

自然言語処理分野ではこのアプローチで BERTを
分析することにより,BERT の隠れ層は品詞タグ付 け, 構文解析, 固有表現抽出といった深層学習導入以前の自然言語処理で使用されていた逐次的な言語処理と対応する関係を持つという画期的な知見が得ら れている [8].

一方で, 事前学習済みの V\&L モデルに対しては, エッジプロービングを用いてテキストとともに画像情報を入力する VisualBERT [9], 動画情報を入力す る VideoBERT [10] の調査がなされている [11]. この 研究でも視覚情報の学習が言語処理能力の大幅な 改善に繫がっていないという見解が示された. なお， Dual-stream モデルが有する言語知識に関しては言語エンコーダに限定し, 文埋め込みに基づくベンチ マーク SentEval [12] によって評価されている [13].

このように V\&L モデルに対して様々な検証が行 われている一方，既存研究では V\&L モデルで各隠 れ層がどの分類タスクに寄与しているのかの十分な 分析がなされておらず，自然言語処理データで獲得 された層間の関係がどれほどモデルに残されるのか も明らかにはなっていない. 同様に Single-stream モ デルや Dual-stream モデルといった構造の違いが各層に与える影響についても明らかではない.

本研究ではこれらの点を明らかにするために，事前学習済みの VisualBERT と LXMERT [14] の有する 言語知識に焦点を当て，エッジプロービングとスカ ラーミキシングの手法からタスクごとの精度や自然言語タスクの解決に寄与する層が何かを定量的に示 す. 実験の結果，VisualBERT はタスクに応じた層を 利用することで視覚情報を学習しながらも BERT に 劣らない精度を維持する一方，LXMERT は全体的に 精度が低く，より低層の情報が自然言語処理に寄与 していることが判明した。

## 2 V\&L モデル

本研究では異なる構造 (Stream) のモデルが有する 言語知識を評価するために Single-stream モデルであ る VisualBERT と Dual-stream モデルである LXMERT を比較する．以下では両モデルの概要を紹介する。

## 2.1 VisualBERT

VisualBERT [9] は最初期の事前学習済み V\&L モ デルとして知られており [1]，画像べクトル表現 とテキストの埋め込み表現を連結して入力する Single-stream モデルである. 初期化は事前学習済み の BERT $_{\text {BASE }}$ [2] の重みを引き継ぐことで行われ，

図 2 意味役割 (SRL) タスクのプロービングモデルの例.与えられたスパンから”strawberry ice cream” $\left(s_{2}\right)$ が”eat" $\left(s_{1}\right)$ の対象となるか予測する. スパン表現は固定した事前学習済みモデルから得たトークンの表現ベクトル $\mathrm{e}=\left[e_{0}\right.$, $\left.e_{1}, \cdots, e_{n}\right]$ をプーリングすることで獲得する。

MS COCO [15] によって追加の事前学習が行われる. また，VQA [16] などの下流タスクへの適用はファ インチューニングで行う. 画像の特徴量は Faster R-CNN [17] でオブジェクト領域のバウンディング ボックスを検出し，エンコードすることで獲得さ れる.

## 2.2 LXMERT

LXMERT [14] は画像と言語を別々のエンコーダ で学習し，両モダリティの関係性を上層のクロス モダリティエンコーダで学習する Dual-stream の モデルである。事前学習時にはデータセットとし て MS COCO,VQA,Visual Genorm [18],GQA [19],VGQA [20]を使用する。入力する画像表現には VisualBERT と同様に Faster R-CNN で検出した特徴量を用いる.

## 3 分析手法

## 3.1 エッジプロービング

本研究は事前学習済みモデルが有する言語知識を 調査するために Tenney らが提案したエッジプロー ビング [7] というアプローチを採用する. エッジプ ロービングは分類器を通して事前学習済みモデルに 含まれる言語構造に関する情報を抽出して調査す ることを目的としている。この分類器は事前学習済 みモデルに与えられたトークンのスパンに対する 出力を入力として受け取り，品詞情報などタスクに 関するラベルを予測する。図 2 に処理手順の例を示

す.この例では分類器はスパン $s_{1}=\left[i_{1}, j_{1}\right)$ とスパ ン $s_{2}=\left[i_{2}, j_{2}\right)$ に対応する表現を受け取る. スパン 表現は与えられたスパンのトークンの埋め込み表現 を各層の活性度を重み付け (スカラーミキシング §4) し，プーリングしたものである。なお，事前学習時 に獲得した言語知識を調査するためにエンコーダの 重みは固定し, 分類器をタスクごとに学習する.

## 3.2 分類タスクとデータセット

本研究では言語知識に関する分類タスクとし て8つのラベル付けタスクを対象とし，結果を micro-F1 スコアで評価する. データセットには依存関係（Deps.）に English Web Treebank [21], 非文法的な意味役割 (SPR2) には SPR2 [22], 関係分類（Relations）として SemEval 2010 Task 8 [23] を 使用する. そして, 品詞 (POS), 句構造 (Consts.), 固有表現 (Entities), 意味役割 (SRL), 共参照 (Coref.) に は OntoNotes 5.0 [24]を用いる.これらタスクの一例は付録 A. 1 に記載している。なお，POS, Consts., Entities は単一のスパンからラベルを予測をするた め, プロービングでは図 2 のような $s_{2}$ を使用しない.

## 3.3 入力画像

本分析では言語知識を問うデータセットがテキ ストのみで構成されているため，V\&L モデルに入力する視覚的特徴が問題となる. 先行研究ではエッ ジプロービングによって言語知識を定量化する際 に事前学習済み $\mathrm{V} \& \mathrm{~L}$ モデルには視覚情報を入力せ ず，テキスト入力のみで調査している [11]. 一方， GLUE で評価する際には黒画像 $(224 \times 224$ ピク セル)を使用し，特徵量抽出のための Faster R-CNN detector $[25]^{1}$ で最初に検出した 36 個のバウンディ ングボックスの特徴量をエンコードしている [4].本研究でも黒画像の入力を採用しているが，黒画像 はあくまで入力する視覚的特徴の代替案の一つであ ることに注意されたい. 黒画像の代わりにゼロべク トルや V\&L タスク用データセット内の画像の特徴量平均などを視覚情報の代替として入力することが 提案されている [5]. なお, VisualBERT はテキスト のみの入力が可能であるが，LXMERT は言語と画像 を別々のエンコーダで処理し，クロスモダリティエ ンコーダでその結果を統合している. したがって， テキストのみを入力する場合にはクロスモダリティ

1）本研究の物体検知には https://github.com/ peteanderson80/bottom-up-attention\#demo で提供されて いる事前学習済みモデルを使用している。
エンコーダ内の視覚側のエンコーダからの残差接続 を無効にする必要がある.

## 3.4 分析モデル

本研究では V\&L モデルとして Huggingface Transformers [26] で提供され,2023 年 1 月現在一番利用されている事前学習済み VisualBERT ${ }^{2}$ 及び LXMERT $^{3)}$ のパラメータを用いてモデルの有する言語知識の調查を行った.VisualBERT は 12 層を使用 し, LXMERT は 8 層の言語エンコーダと 5 層のクロ スモダリティエンコーダの計 13 層を調查対象とす る.また, 自然言語のみで学習されたモデルとして, 12 層の事前学習済み $\mathrm{BERT}^{4}$ を使用する。

## 4 評価方法

我々はプロービングを行う際に言語知識の獲得に モデルのどの層が寄与しているのか定量化する．そ のため, ELMo [27] で提案されたスカラーミキシン グという手法を使用する. スカラーミキシングは学習可能なパラメータをエンコーダの層の数だけ用意 し, 分類タスクごとに寄与する層を重み付けとして 学習させることで全層を通した文脈べクトルを導出 する. 具体的にはタスク $\tau$ ごとに各層 $\ell=[0,1, \cdots$, L] に対応した学習可能なパラメータ $a_{\tau}=\left[a_{\tau}^{(0)}, a_{\tau}^{(1)}\right.$, $\left.\cdots, a_{\tau}^{(L)}\right]$ を用意し，それらをソフトマックス関数に より正規化した重み $s_{\tau}$ や調整パラメータ $\gamma_{\tau}$ からあ るトークン $h_{i}$ のタスクに応じた表現ベクトル $h_{i, \tau}$ を導出する。まとめる以下の計算式 1,2 となる.

$
\begin{aligned}
s_{\tau} & =\operatorname{softmax}\left(a_{\tau}\right) \\
h_{i, \tau} & =\gamma_{\tau} \sum_{\ell=0}^{L} s_{\tau}^{(\ell)} h_{i}^{(\ell)}
\end{aligned}
$

重み $a_{\tau}$ はプロービング分類器とともにタスクご とに学習され，ソフトマックス関数により正規化さ れることで分類タスクに対する各層の寄与度を理解 しやすくなる.ここで，各層の重み $s_{\tau}^{(\ell)}$ はどの層の 情報をどの程度で使用するかという係数として捉え ることができるため，より重みが高いほどその層が その特定のタスクに関連する情報をより多く含んで いることの根拠と解釈することができる.

重心 モデルのどの層が主にタスクごとの分類に 寄与しているのか分かりやすくするため，本実験で

表 13 回の実験から得たタスクごとの micro-F1 スコアの平均. 括弧内は学習した重みの重心の平均.

図 3 各層に対応する重み付けを視覚化した一例. 左から BERT,VisualBERT,LXMERT. タスクは表 1 の左右が上下に対応.

は学習した重みの重心を以下のように求める 3.

$
\bar{E}_{s}[\ell]=\sum_{\ell=0}^{L} \ell \cdot s_{\tau}^{(\ell)}
$

これは各タスクに寄与した平均的な層を反映して おり，この重心の値が分類タスクを解く際に重要な 層を示していると解釈できる [8].

## 5 実験結果

## 5.1 分類スコアの比較

表 1 に事前学習済みモデルを使用した分類タスク ごとの micro-F1 スコアを示す. VisualBERT は先行研究 [11] と同じく大きな精度低下は見られない. こ れは引き継いだ BERT のパラメータが画像を含めた 追加的な事前学習を経ても維持されているためだと 考えられる。一方, LXMERT は BERT に対して全体的にスコアが低い. 特に低下した Relations タスク の詳細は付録 A. 2 に示す.この結果は Single-stream よりも Dual-stream モデルの方が言語処理能力が低 いという先行研究の結果 $[4,13]$ と一貫する.

## 5.2 各層の重みと重心

続いて表 1 で示した重心とスカラーミキシングに より学習されたタスクごとの各層の重みを示した 図 3 に基づいた議論を進める. VisualBERT は BERT
と同様の傾向を示し, 品詞情報などの語彙に強く依存する情報は下層の，固有表現などの文脈理解を求 める情報はより高層の埋め込み表現が分類タスク に寄与している。対する LXMERT は 2 つのモデル とは異なり，タスクの種類に関係なく，低層の情報 を使用する傾向がある．特に Entitiesのタスクでは BERT や VisualBERT よりも低い層を重視している. また,LXMERT は 9 層以降の情報をあまり使用して いないことからクロスモダリティエンコーダは言語処理タスクにあまり寄与していないと考えられる。以上の結果より,VisualBERT の言語処理能力の高さ は BERT で学習された各層の関係が維持されている ためであると考えられる。

## 6 おわりに

本研究では VisualBERT や LXMERT の有する言語知識をエッジプロービングとスカラーミキシングに よって調査した. その結果，VisualBERT が示す高 い性能は BERT により獲得された言語知識が引き継 がれているためである可能性が示唆された. また， LXMERT はタスクにあまり関係なく低層の情報が 分類タスクに寄与している傾向が判明した. このこ とより，言語と画像の情報を統合するクロスモダリ ティエンコーダで学習される表現は言語処理タスク に対してはあまり寄与しないことも明らかにした。

## 謝辞

本研究は JSPS 科研費 JP21K17801 の助成を受けた ものです.

## 参考文献

[1] Yifan Du, Zikang Liu, Junyi Li, and Wayne Xin Zhao. A survey of vision-language pre-trained models. arXiv preprint arXiv:2202.10936, 2022.

[2] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[3] Stanislaw Antol, Aishwarya Agrawal, Jiasen Lu, Margaret Mitchell, Dhruv Batra, C. Lawrence Zitnick, and Devi Parikh. VQA: visual question answering. CoRR, Vol. abs/1505.00468, , 2015.

[4] Taichi Iki and Akiko Aizawa. Effect of visual extensions on natural language understanding in vision-and-language models. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 2189-2196, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[5] Lovisa Hagström and Richard Johansson. How to adapt pre-trained vision-and-language models to a text-only input? In Proceedings of the 29th International Conference on Computational Linguistics, pp. 5582-5596, Gyeongju, Republic of Korea, October 2022. International Committee on Computational Linguistics.

[6] Alex Wang, Amanpreet Singh, Julian Michael, Felix Hill, Omer Levy, and Samuel R. Bowman. GLUE: A multi-task benchmark and analysis platform for natural language understanding. CoRR, Vol. abs/1804.07461, , 2018.

[7] Ian Tenney, Patrick Xia, Berlin Chen, Alex Wang, Adam Poliak, R. Thomas McCoy, Najoung Kim, Benjamin Van Durme, Samuel R. Bowman, Dipanjan Das, and Ellie Pavlick. What do you learn from context? probing for sentence structure in contextualized word representations. In International Conference on Learning Representations, 2019.

[8] Ian Tenney, Dipanjan Das, and Ellie Pavlick. BERT rediscovers the classical NLP pipeline. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 4593-4601, Florence, Italy, July 2019. Association for Computational Linguistics.

[9] Liunian Harold Li, Mark Yatskar, Da Yin, Cho-Jui Hsieh, and Kai-Wei Chang. Visualbert: A simple and performant baseline for vision and language. arXiv preprint arXiv:1908.03557, 2019.

[10] Chen Sun, Austin Myers, Carl Vondrick, Kevin Murphy, and Cordelia Schmid. Videobert: A joint model for video and language representation learning. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pp. 7464-7473, 2019.

[11] Tian Yun, Chen Sun, and Ellie Pavlick. Does vision-andlanguage pretraining improve lexical grounding? CoRR, Vol. abs/2109.10246, , 2021.

[12] Alexis Conneau and Douwe Kiela. Senteval: An evaluation toolkit for universal sentence representations. CoRR, Vol. abs/1803.05449, , 2018.

[13] Jize Cao, Zhe Gan, Yu Cheng, Licheng Yu, Yen-Chun Chen, and Jingjing Liu. Behind the scene: Revealing the secrets of pre-trained vision-and-language models. CoRR, Vol. abs/2005.07310, , 2020.

[14] Hao Tan and Mohit Bansal. LXMERT: learning crossmodality encoder representations from transformers. CoRR, Vol. abs/1908.07490, , 2019.

[15] Tsung-Yi Lin, Michael Maire, Serge J. Belongie, Lubomir D. Bourdev, Ross B. Girshick, James Hays, Pietro Perona, Deva Ramanan, Piotr Dollár, and C. Lawrence Zitnick. Microsoft COCO: common objects in context. CoRR, Vol. abs/1405.0312, , 2014

[16] Yash Goyal, Tejas Khot, Douglas Summers-Stay, Dhruv Batra, and Devi Parikh. Making the V in VQA matter: Elevating the role of image understanding in visual question answering. CoRR, Vol. abs/1612.00837, , 2016.

[17] Shaoqing Ren, Kaiming He, Ross B. Girshick, and Jian Sun. Faster R-CNN: towards real-time object detection with region proposal networks. CoRR, Vol. abs/1506.01497, , 2015.

[18] Ranjay Krishna, Yuke Zhu, Oliver Groth, Justin Johnson, Kenji Hata, Joshua Kravitz, Stephanie Chen, Yannis Kalantidis, Li-Jia Li, David A. Shamma, Michael S. Bernstein, and Li Fei-Fei. Visual genome: Connecting language and vision using crowdsourced dense image annotations. CoRR, Vol. abs/1602.07332, , 2016

[19] Drew A. Hudson and Christopher D. Manning. GQA: a new dataset for compositional question answering over real-world images. CoRR, Vol. abs/1902.09506, , 2019.

[20] Yuke Zhu, Oliver Groth, Michael S. Bernstein, and Li Fei-Fei. Visual7w: Grounded question answering in images. CoRR, Vol. abs/1511.03416, , 2015.

[21] Natalia Silveira, Timothy Dozat, Marie-Catherine de Marneffe, Samuel Bowman, Miriam Connor, John Bauer, and Chris Manning. A gold standard dependency corpus for English. In Proceedings of the Ninth International Conference on Language Resources and Evaluation (LREC'14), pp. 2897-2904, Reykjavik, Iceland, May 2014. European Language Resources Association (ELRA).

[22] Aaron Steven White, Drew Reisinger, Keisuke Sakaguchi, Tim Vieira, Sheng Zhang, Rachel Rudinger, Kyle Rawlins, and Benjamin Van Durme. Universal decompositional semantics on Universal Dependencies. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 1713-1723, Austin, Texas, November 2016. Association for Computational Linguistics.

[23] Iris Hendrickx, Su Nam Kim, Zornitsa Kozareva, Preslav Nakov, Diarmuid Ó Séaghdha, Sebastian Padó, Marco Pennacchiotti, Lorenza Romano, and Stan Szpakowicz. SemEval-2010 task 8: Multi-way classification of semantic relations between pairs of nominals. In Proceedings of the 5th International Workshop on Semantic Evaluation, pp. 33-38, Uppsala, Sweden, July 2010. Association for Computational Linguistics.

[24] Mitchell Marcus Eduard Hovy Sameer Pradhan Lance Ramshaw Nianwen Xue Ann Taylor Jeff Kaufman Michelle Franchini Mohammed El-Bachouti Robert Belvin Ann Houston Ralph Weischedel, Martha Palmer. Ontonotes release 5.0 ldc2013t19. Web Download. Philadelphia: Linguistic Data Consortium, 2013.

[25] Peter Anderson, Xiaodong He, Chris Buehler, Damien Teney, Mark Johnson, Stephen Gould, and Lei Zhang. Bottom-up and top-down attention for image captioning and visual question answering. In 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 6077-6086, 2018.

[26] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Rémi Louf, Morgan Funtowicz, and Jamie Brew. Huggingface's transformers: State-of-the-art natural language processing. CoRR, Vol. abs/1910.03771, , 2019.

[27] Matthew E. Peters, Mark Neumann, Mohit Iyyer, Matt Gardner, Christopher Clark, Kenton Lee, and Luke Zettlemoyer. Deep contextualized word representations. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 2227-2237, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

## A 付録

## A. 1 タスクの例

表 2 タスクごとの文章, スパン, ターゲットラベルの例.

## A. 2 関係分類 (Relations) タスクの詳細

表 3 関係抽出 (Relations) タスクのラベルと文章例. 各ラベルは因果 (Cause-Effect), 道具と使用者 (Instrument-Agency), 生産物と生産者 (Product-Producer), 物体と入れ物 (Content-Container), エンティティと起源 (Entity-Origin), エンティティと目的地 (Entity-Destination), 構成物と全体 (Component-Whole), 一部と集合したもの (Member-Collection), メッセージとトピッ ク (Message-Topic)との関係性を表す.

表 43 回の実験から得た Relations タスクの micro-F1 スコアの平均. VisualBERT は BERT と比べ, 関係分類タスク全体 (ALL) だけではなくラベルレベルでも精度に大きな差は見られない.一方, LXMERT は BERT に対してタスク全体もラべ ルレベルでもスコアが低い傾向がある.特に生産物と生産者との関係性を問う PP の精度が大幅に低下している.


# Next Sentence Prediction に基づく文脈を考慮した ASR N-best のリランキング

邊土名朝飛 ${ }^{1}$ 友松祐太 ${ }^{1}$
1 株式会社 AI Shift
\{hentona_asahi, tomomatsu_yuta\}@cyberagent.co.jp

## 概要

パイプライン型のタスク指向型音声対話システ ムにおいて，上流に位置する音声認識システムの音声認識誤りが後続処理に与える影響は大きい. 本研究では，ユーザ発話の ASR 出力の $\mathrm{N}$-best 候補と 直前のシステム発話のペアを BERT に入力し， Next Sentence Prediction のアプローチでリランキングする ことで，ASR システムの音声認識誤りを低減させる ことを試みる。また，リランキング性能の向上を目的として，質問応答データセットを用いて BERT の fine-tuning を行う. 実験では，音声認識誤りを付与 したデータセットを作成し，リランキング手法適用前後の音声認識誤り率を測ることで有効性を示す.

## 1 はじめに

タスク指向型の音声対話システムは，複数のモ ジュールから構成されるパイプライン型と，1つ のモデルで全ての処理を行う End-to-End 型の 2 つ に分類される [1]. 一般的なパイプライン型の音声対話システムは，自動音声認識 (Automatic Speech Recognition; ASR）システムを用いて音声データで あるユーザ発話をテキストに変換し，後段の各モ ジュールで言語理解 (Natural Language Understanding; NLU）や行動決定（Policy），対話状態追跡（Dialogue State Tracking; DST）といった処理を行う [1]. パイ プライン型の対話システムは各モジュールが独立し ているため，機能ごとにモジュールを個別開発する ことができるほか，各モジュールの入出力が明確で あり解釈しやすいという実応用上の利点がある.

しかし，先行するモジュールから順番に処理され る性質上，あるモジュールで生じたエラーが後続の モジュールにも影響を与え，対話能力が低下してし まう欠点が存在する。特に，パイプラインの上流に 位置する ASR システムの音声認識誤りが後続処理

図 1 ASR N-best 候補のリランキングの概要図

に与える影響は大きい。音声認識誤りは汎用 ASR システムを使用した場合により顕著に現れるが， [2] のような特定のドメインに特化した ASR システ ムを開発するためには多大なコストがかかる．その ため，音声認識誤りを改善することを目的として， BERT[3] などの大規模言語モデルを用いて ASR シ ステム出力の N-best 候補をリランキングする手法が 数多く提案されてきた $[4,5,6]$.

本研究では，直前のシステム発話を文脈情報と して与え，ユーザ発話の ASR N-best 候補をリラン キングすることで，ASR システムの音声認識誤り を低減させることを試みる (図 1 参照). N-best 候補のリランキングは，BERT を用いて Next Sentence Prediction(NSP) を行うことで実現する。 さらに，数 が非常に限られている日本語タスク指向型対話の データセットの代わりに，質問応答データセットを 用いて BERT の fine-tuning を行い，リランキング性能を向上させることを試みる。関連研究として，対話状態追跡 (Dialogue State Tracking; DST) タスクにお いては，質問応答データセットを用いて学習するこ とで未知ドメインに対する性能が向上したことが報告されている $[7,8]$.
実験では，音声認識誤りを付与したデータセット を作成しリランキング後の ASR 出力の音声認識誤 り率を測ることで，NSP および質問応答データセッ トを用いた fine-tuning の有効性を検証する。

## 2 手法

## 2.1 BERT NSP

最も適した ASR N-best 候補を選択するためのア プローチとして NSPを採用する。NSP は，2つの 文を入力として与え, 2 文目が 1 文目に続く文章で あるかどうかを識別するタスクである (図 2 参照). BERT-NSP の概要を図 1 に示す. 本研究では, 直前 のシステム発話を 1 文目，後続のユーザ発話の ASR N-best 候補を 2 文目とみなし，NSP と同様の枠組 みで N-best 候補の“適切さ”のスコアを定量的に推定する. ASR システムが出力した $\mathrm{N}$ 件の認識候補 (N-best) に対し，各候補のスコアをそれぞれ推定し た後，スコアが高い順に N-best 候補を並び替える.最終的に，1 番目の候補 (i.e., 最もスコアの高い候補)をASR 出力として選択する. BERT は事前学習 として NSP タスクを解いているため, fine-tuning を 行わない状態でもある程度は文脈的に適切な N-best 候補を選択できることが期待できる。

図 2 Next Sentence Prediction

## 2.2 QA BERT NSP

質問応答データセットを使用し，質問文を 1 文目，回答文を 2 文目とみなして NSP タスクを解く ことで fine-tuningを行う. タスク指向型対話のシナ リオの多くは「何日に予約しますか？」 $\longrightarrow \Gamma 12$ 日 の月曜日でお願いします」のように質問と回答が交互に行われることで進んでいくことから，質問応答 タスクの一種と考えることができる。そこで本研究 では，質問応答データセットから「会社の最高責任者を何というか？」セ「社長」のような質問・回答ペアを作成し，それらのデータを用いて BERTを fine-tuning する。これにより，タスク指向型対話に 適したモデルとなり, 単純な NSP タスクで事前学習 したモデルよりもシステム発話と N-best 候補の間の 関係をより適切に捉えることができるようになると 考えられる。

図 3 QA BERT NSP モデルの fine-tuning

## 3 実験

本章では，2 章で紹介した手法の評価実験を行う.

## 3.1 実験設定

## 3.1.1 評価用データセット

評価用データセットとして日本語質問応答データ セットである JGLUE[9, 10] の JCommonsenseQAを 採用し, dev set（データ数：1,119件）を実験に用 いた. JCommonsenseQA は，1つの質問につき 5 つ の回答選択肢が提示され，そのうち 1 つが正解と なっている Multiple choice task データセットである.検証にあたり，JCommonsenseQA の質問文をシステ ム発話，回答文をユーザ発話とみなす。ただし，回答文には音声認識誤りは含まれていないため，音声合成エンジンを用いて回答文を音声に変換し，そ の音声を ASR システムに入力することで音声認識誤りを付与した. 音声合成エンジンは pyopenjtalk ${ }^{1 \text { ) }}$ を，ASR システムは Google Cloud Speech-to-Text ${ }^{2}$ を 用いた。音声合成時には，弊社で運用している電話自動応答サービス ${ }^{3}$ の状況に近い音声認識誤りを付与するために，合成音声データのサンプリングレー トを一般的な電話音声のものと同じ $8 \mathrm{kHz}$ にダウ

1) https://github.com/r9y9/pyopenjtalk

2) https://cloud.google.com/speech-to-text

3) https://www.ai-messenger.jp/voicebot/
表 1 評価結果

ンサンプリングし，音声品質を低下させた．また， ASR システムが出力する $\mathrm{N}$-best 候補の数は最大 10 件（10-best）出力するように設定し，音声認識に失敗したサンプルは除外した. 最終的に評価に用いた データは 958 件となった.

## 3.1.2 モデル

実験では，質問応答データセットで fine-tuning した BERT(QA-BERT-NSP) および fine-tuning 無しの BERT(BERT-NSP) の 2 つのモデルを用いた. ベース となる BERT モデルは，東北大学が公開している日本語 $\mathrm{BERT}^{4}$ を採用した。

QA-BERT-NSP の学習には, JGLUE の JCommonsenseQA の train set（データ数：8,939 件）を使用 し，質問・回答テキストのペアを作成した．質問・回答テキストのペアの正例と負例の比率は $1: 1$ に 設定し，負例サンプルは正解を除いた 4 つの回答選択肢からランダムに 1 件選択することで獲得し た. これにより, 17,878 件の学習データを取得し た.また，このうち $90 \%$ を学習用データ，残りの $10 \%$ を検証用データセットとした. 学習時のパラ メータについては, batch size は 32, learning rate は $5 \times 10^{-5}$, warmup ratio は 0.1 , epoch数は 5 に設定し, Validation loss が最小となったモデルを評価実験に使用した. その他のパラメータについては huggingface transformer のデフォルト設定に従った.

## 3.1.3 評価指標

適切な ASR N-best 候補を選択できたかを測る評価指標として Word Error Rate (WER) と Character Error Rate (CER) を採用した. WER 計算時に用いる Tokenizer は， \$3.1.2 で説明した日本語 BERT のもの を使用した. また, 音声認識結果には基本的に含ま

4) https://huggingface.co/cl-tohoku/ bert-base-japanese-whole-word-masking
れない句読点（、。）・疑問符（?)・感嘆符（！）は テキスト中から削除して評価を行った。

## 3.2 結果と考察

実験結果を表 1 に示す.ここで，表中の Oracle， 1-best，Random について説明する。
- Oracle ASR 出力の N-best 候補中から WER, CER が最小となる候補を選択した際の性能. す なわち，リランキング性能の上限值を表して いる.

-1-best ASR 出力の N-best の第 1 候補を選択し た際の性能.

・Random ランダムに N-Best 候補を選択した際 の性能.

次に, w/ ground truth, w/o ground truthについて説明 する。
- $w$ / ground truth ASR 出力の N-best 候補中に正解データ (Ground truth)を含ませた場合の評価結果.
- w/o ground truth ASR 出力の N-best 候補中に 正解データ (Ground truth) を含めない場合の評価結果.

BERT-NSP と QA-BERT-NSP の WER， CER を比較 すると，QA-BERT-NSP のエラー率が全ての評価項目で低いことがわかる.このことから, ASR 出力 の N-best候補のリランキングタスクにおいては，質問応答データセットで fine-tuning を行うことは有効 であることが示唆される。ここで，w/ ground truth と w/o ground truth の結果を比較すると，w/o ground truth における BERT-NSP と QA-BERT-NSP の性能差 よりも w/ ground truth における性能差が小さいこと がわかる。この結果から，質問応答データセットに よる fine-tuning では文脈的に正しい N-best 候補を選択する能力への寄与は小さいということが示唆さ

れる。

fine-tuning により文脈的に正しい N-best 候補を 選択する能力があまり改善しなかったのにも関 わらず，N-best の中に正解データを含めないw/o ground truthにおいて性能に差がでた要因として， fine-tuning により名詞単体の N-best 候補を優先的に 選択するようになったことが考えられる. 質問応答 データセットの回答は名詞 1 単語であることが多い ため，それらのデータを用いて fine-tuning したこと により，名詞らしくない N-best 候補を選択しないよ うな挙動になる. 評価データも同じく質問応答デー タセットを用いているため, 名詞らしくない候補を 選ばないようにするだけでもエラー率が改善したと 考えられる。

一方，1-best を見ると BERT-NSP と QA-BERT-NSP と比較してエラー率が 10 ポイント前後低いため, より文脈的に正しい N-best 候補を選択できるよう BERT モデルを改善する必要がある. Oracleを見る と, 1-best と比較してエラー率が $1 / 3$ 以下であるこ とから，ASR 出力の N-best 中には正しい出力候補が 含まれている可能性が高いことを示しており，リラ ンキングによる改善の余地が大きいといえる.

## 4 おわりに

本研究では，文脈情報として直前のシステム発話 と，ユーザ発話の ASR 出力の N-best 候補のペアを BERT に入力し, Next Sentence Prediction のアプロー チでリランキングすることで ASR システムの音声認識誤りを低減させることを試みた。また，リラン キング性能の向上を目的として，質問応答データ セットを用いて BERT の fine-tuning を行うことの有効性を検証した。音声認識誤りを付与したデータ セットを用いた実験の結果，文脈的に正しい N-best 候補を識別する能力への fine-tuning の効果は限定的 であることが示唆された。一方で，質問応答データ セットで fine-tuning した BERT の方が fine-tuning し ていない BERT よりもエラー率は低下した.今後の 課題として, より詳細なエラー分析と, 多様な音声認識誤りパターンを生成し学習に用いることで音声認識誤りにロバストなリランキングモデルを構築す ることを検討していきたい.

## 謝辞

本論文の作成にあたりご協力頂きました，株式会社 AI Shift の杉山雅和氏，戸田隆道氏，東佑樹氏，二宮大空氏，下山翔氏にこの場を借りて厚く御礼申 し上げます.

## 参考文献

[1] Hongshen Chen, Xiaorui Liu, Dawei Yin, and Jiliang Tang. A survey on dialogue systems: Recent advances and new frontiers. SIGKDD Explor. Newsl., Vol. 19, No. 2, p. 25-35, nov 2017.

[2] Yong Zhao, Jinyu Li, Shixiong Zhang, Liping Chen, and Yifan Gong. Domain and speaker adaptation for cortana speech recognition. In 2018 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), pp. 5984-5988, 2018.

[3] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[4] Liyan Xu, Yile Gu, Jari Kolehmainen, Haidar Khan, Ankur Gandhe, Ariya Rastrow, Andreas Stolcke, and Ivan Bulyko. Rescorebert: Discriminative speech recognition rescoring with bert. In ICASSP 2022 - 2022 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), pp. 6117-6121, 2022.

[5] Shih-Hsuan Chiu and Berlin Chen. Innovative bert-based reranking language models for speech recognition. In 2021 IEEE Spoken Language Technology Workshop (SLT), pp. 266-271, 2021.

[6] Joonbo Shin, Yoonhyung Lee, and Kyomin Jung. Effective sentence scoring method using bert for speech recognition. In Wee Sun Lee and Taiji Suzuki, editors, Proceedings of The Eleventh Asian Conference on Machine Learning, Vol. 101 of Proceedings of Machine Learning Research, pp. 1081-1093. PMLR, 17-19 Nov 2019.

[7] Shuyang Gao, Sanchit Agarwal, Di Jin, Tagyoung Chung, and Dilek Hakkani-Tur. From machine reading comprehension to dialogue state tracking: Bridging the gap. In Proceedings of the $2 \mathrm{nd}$ Workshop on Natural Language Processing for Conversational AI, pp. 79-89, Online, July 2020. Association for Computational Linguistics.

[8] Zhaojiang Lin, Bing Liu, Andrea Madotto, Seungwhan Moon, Zhenpeng Zhou, Paul Crook, Zhiguang Wang, Zhou Yu, Eunjoon Cho, Rajen Subba, and Pascale Fung. Zero-shot dialogue state tracking via cross-task transfer. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 7890-7900, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[9] Kentaro Kurihara, Daisuke Kawahara, and Tomohide Shibata. JGLUE: Japanese general language understanding evaluation. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp.

2957-2966, Marseille, France, June 2022. European Language Resources Association.

[10] 栗原健太郎, 河原大輔, 柴田知秀. Jglue: 日本語言語理解ベンチマーク. 言語処理学会第 28 回年次大会, 2022.


# 電話音声認識における特定の文脈への ドメイン適応のための合成音声によるデータ拡張

東佑樹 1 友松祐太 ${ }^{1}$
1 株式会社 AI Shift
\{azuma_yuki, tomomatsu_yuta\}@cyberagent.co.jp

## 概要

タスク指向型の音声対話システムでは予約受付 や本人確認等のタスクにおいて，予めパターンの決 まっている発話内容 (会員番号, 商品 ID, etc.)を認識 する場面がしばしば存在する。そこで本研究では，電話音声認識のタスクにおいて，音声合成により生成した音声を用いて転移学習を行い，特定パターン の認識性能の向上を試みた。提案手法では認識した い発話群の読みを正規表現により生成し，それぞれ の読みに対応する音声を合成し，転移学習用のデー タとする. 汎用的な音声認識モデルとの認識性能の 比較実験をおこなった結果，提案手法は汎用的なモ デルを上回る性能を示した。

## 1 はじめに

タスク指向型の音声対話システムでは，一般にユーザの発話を音声認識 (Automatic Speech Recognition; ASR) によりテキストに書き起し，その テキストをもとにインテント抽出やシステム応答文 の選択などの対話戦略を行う，という構成が取られ ている。そのような音声対話システムでは ASR の 認識誤りが後段のタスクの精度を著しく低下させる $[1,2]$ ため, 高い認識性能が求められる. 加えて，ド メインおよびタスク毎に出現する固有名詞や表現は 変化するため，それらを適切に認識するために都度 モデルの学習が必要となる. 近年の End-to-End 型の 汎用の ASR システムは非常に高い性能を発揮する ようになった $[3,4]$ が，ドメイン固有の単語は誤認識しやすい傾向にある. ドメイン毎に転移学習用の データを整備することでこの問題は解決できる可能性があるが，データの作成には多大なコストを必要 とする。また，End-to-End 型の ASR は従来の ASR システムに見られるような音響モデルや言語モデル 等が統合されているため，ドメインごとの言語モデ
ルの切り替えが困難となる。

本研究では，予めパターンの決まっている発話内容を認識するタスクにおいて，多様なパターンの発話を考慮した転移学習の手法を提案する。具体的に は認識したい発話群の読みを正規表現により生成 し，各読みに対応する音声を合成音声により作成す ることで，ドメインごとの音声を収集することなく モデルの転移学習を実現する．実験では，番地表現 を認識対象とし，自社で運用している音声対話シス テムを通して録音された音声を用いて, 汎用的に使用される ASR システムとの間で認識性能の比較を 行う。これにより提案手法の有効性を示す.

## 2 関連研究

教師あり音声データを使用せずに ASR をドメイ ン適応させるためにはいくつかのアプローチが提案 されている.

[5] や [6] ではドメイン適応の選択肢として合成音声を利用している。これらの手法では転移学習時に Encoder 層のパラメータを freeze させることがドメ イン外のデータに対する認識性能を向上させるのに 有効であることが報告されている。

End-to-End 型の ASR システムにおいて，外部言語 モデルを学習時に効果的に利用する手法も提案され ている. 代表的な手法としては [7] や [8] などが挙 げられる。これらはモデル内部に暗黙的に存在しう る言語モデルをタスクに応じて効果的に調整するた めの試みである.

また，近年では追加の学習を行うことなく専門用語などの低頻度語の認識精度を改善する手法も提案 されており $[9,10,11]$ ，これらはデコーディング時 に認識させたいキーワードの出力確率を引き上げる アルゴリズムを組み込むことで出力結果の調整を実現している。

本研究では，音響的な特性が事前学習データと大

きく異なる電話音声をターゲットドメインとしてお り, その特性を転移学習時に考慮するために，合成音声を利用するアプローチを採用する。

## 3 提案手法及び実験設定

## 3.1 ASR システム

本実験では，ベースとなる ASR として Conformer [3] を採用し, 電話音声へのドメイン適応を考慮した ASR システムを探求する. モデルの学習には ESPnet[12]を利用し，パラメータ等の学習設定は基本的に CSJ のレシピ1)を踏襲している. このレシピ は Hybrid CTC/Attention Architecture[13] を採用して おり，学習時に Encoder の出力から CTC $\operatorname{Loss}\left(L^{c t c}\right)$ と Attention Decoder を通した損失 $\left(L^{a t t}\right)$ を個別に計算し，両方のスコアの重み付き和により最終的な損失関数 $L$ を決定する。

$
L=\alpha L^{c t c}+(1-\alpha) L^{a t t}
$

また，ESPnetには Shallow Fusion [14](以下，LM) の 機能が用意されており，推論時にテキストコーパス のみから学習された言語モデルの出力確率と ASR の出力確率を組み合わせることができる. 本実験で は LM の有無による性能の比較も行う。より詳細な モデルの説明はレシピを参照されたい.

また，本実験では，汎用的な ASR システムとして Google Speech-to-Text ${ }^{2}$ ) (以下， Google STT) を選択し た。これをべースラインとして，後述の評価データ を用いて電話音声の性能比較を行う。

## 3.2 データセット

本実験では，日本語話し言葉コーパス (Corpus of Spontaneous Japanese; CSJ)[15] を事前学習データと して採用した. 転移学習時の学習データ及び検証 データは Google Text-to-Speech ${ }^{3}$ (以下， Google TTS) の APIにより生成された合成音声を用いた. 評価 データは, 自社で運用している自動音声対話サービ ス AI Messenger Voicebot ${ }^{4}$ (以下，Voicebot) を通じて 収集した電話音声を用いた. 以下，各データの作成手順について記述する。

表 1 番地表現とそれに対応する読みの例. Google TTS にはこのうち対応する読みのテキストを入力として与 える

 \\

## 3.2.1 事前学習データの前処理

CSJ の音声は $16 \mathrm{kHz}$ でサンプリングされている.一方で，電話音声のサンプリング周波数は $8 \mathrm{kHz}$ である。学習時と評価時のサンプリング周波数の ミスマッチを防ぐため，本実験では CSJ の音声を $8 \mathrm{kHz}$ にダウンサンプリングした. さらに，電話音声で用いられる $\mu$-law アルゴリズム [16] によるコ ンパンディングにより，評価データである電話音声の音質に近づけた．以下，CSJ の音声を $8 \mathrm{kHz}$ に ダウンサンプリングさせて学習させた事前学習モ デルを Conformer ${ }_{8 k}$ ，さらに $\mu$-law を通したものを Conformer $_{\text {ulaw }}$ と呼ぶ.

## 3.2.2 転移学習データの作成

転移学習用のデータは以下の通りに作成する。ま ず，認識させたい表現を受理する正規表現を記述す る. 本実験では番地表現 (数字とハイフンの組み合 わせ+5) であるため，一つの表現に対して複数の読 みの候補が存在しうる (例 $: 0 \rightarrow$ レイ, ゼロ, マル). そこで，各表現に対してとりうる読みを列挙した上 で，その読みに対応する音声を Google TTS によって 作成する (表 1 参照). その際，多様な音声表現を得 るために話者 4 種類，音量 3 種類の組み合わせ (計 12 種類) の設定で音声を作成しデータを拡張した。最終的に生成可能な合成音声の量は膨大な数に及ぶ ため，今回はその中からランダムに分量を選択した 2 種類を用意した．以下，データ量の小さい方，大 きい方をそれぞれ small， large と呼ぶ。それぞれの データの数は表 2 に示す.
 あるが，本稿では簡単のため考慮していない。

また，3.2.3 節で述べるように，評価データはユー ザ発話の前後に背景雑音のみの区間が入りうるた め, 条件を近づけるため合成音声の前後に無音区間 を加えた音声も用意した. 具体的には, 合成音声の 前に $0 \sim 5$ 秒の中からランダムな長さの無音区間を 追加し, 合計の長さが 5 秒間になるように合成音声 の後に無音区間を加える．以下，前述の前処理を加 えていない場合，無音を追加した場合をそれぞれ $T T S_{\text {org }}, T T S_{\text {pad }}$ と表す.

## 3.2.3 評価データの作成

評価データは 21 名の日本語話者によって, Voicebotを通して収集した音声 (合計 131 発話) を利用した. 具体的には, bot の発話が終了した時点か ら次に bot が再度発話を開始するまでの区間をユー ザ発話区間とみなし，当該区間を切り出した。 その ため, 評価データには音声の前後に余分に切り出さ れた背景雑音が含まれうる.この背景雑音区間の有無による性能の影響を検証するため，雑音区間を人手で削除したものもあわせて作成した. 以下，人手 で無音区間を切り出した音声を test $_{\text {cut }}$, 切り出す前 の音声を test $_{\text {org }}$ と表す.

## 4 実験結果と考察

学習した各モデルの認識性能の評価を表 3 に示

も低い文字誤り率 (Character Error Rate; CER) となっ た学習設定では, ベースラインよりも高い精度を示 したが， test org に対してはむしろ低い精度となっ た。また，他の条件を揃えた場合 LMを利用しな い方が一貫してスコアが改善するという結果に なった。そこで，最良の条件時 (事前学習モデル： Conformer $_{\text {ulaw }}$, 学習データ量: large, LM: なし)の転移学習データを前述の $T T S_{p a d}$ に変更したところ,

もベースラインを上回る結果となった.

表 3 の実験結果は転移学習時のパラメータの更新箇所を全層に対して行った結果となるが, Encoder を freeze させて実験を行ったところ，性能が著しく 悪化するという結果になった (表 4 参照). 先行研究 [5, 6] では転移学習時に Decoder のパラメータを更新することが有効な学習戦略であったのに対し，本実験ではそれに反する結果となった. 先行研究 [5] では Encoder-Decoder ネットワーク [17]を，[6] では RNN-Transducer [18] をべースにした構造を ASR モ表 3 実験結果

 & & & 11.7 & 10.7 \\

デルに採用しているが，本実験では ESPnet の CSJ レシピと同様に Hybrid CTC/Attention Architecture[13] を採用している.このモデルは学習時に Encoder か らの出力から CTC Loss と Attention Decoderを通し た損失を個別に計算し，両方のスコアの重み付き和 により最終的な損失関数を決定する。 CTC Loss は Encoder からの出力を線形層に通した後の値をもと に計算されるため, Encoder のパラメーターを freeze してしまうと更新するパラメータ数が極端に少なく なってしまい，学習がうまく進められなくなったと 考えられる。

$T T S_{\text {pad }}$ の条件下では, test $t_{c u t}$, test org の双方で性能が向上した. TTS $S_{\text {org }}$ の条件下では, 事前学習時,転移学習時双方において, 人間の発話の前後に背景雑音区間はほとんど含まれない. そのため, 入力音声長と正解データのテキスト長がある程度対応付 けられる学習条件になっており, 背景雑音に対し hallucination $[19,20]$ が発生した可能性が示唆され, $T T S_{p a d}$ の条件によりその影響が低減されたと考え ることができる.

表 4 更新パラメータの箇所による挙動の変化. なお, 更新パラメータの箇所以外の学習条件は同一 (転移学習デー タは small, $T T S_{\text {org }}$, LM あり)とする.

## 5 まとめ

本研究ではターゲットとなるドメインの学習デー タが得られない状況で，転移学習のためのデータを 音声合成により作成する手法を電話音声認識タスク において行った。比較実験の結果，最も良い性能を 発揮した学習設定において, 汎用的な音声認識モデ ルの精度を上回ることを示した. ただし, 前後の無音区間を切り取っていない音声に対する性能の改善
幅は比較的軽微にとどまった。今後は，多様な背景雑音が含まれる音声に対する頑健性の向上につい て検討を続ける。また，本研究では正規表現が受理 する発話のみを対象にドメイン適応しており，多様 な話し方や言い間違い，言い淀みなどによる発話の 摇れを考慮をしておらず，それらの音声への対処方法は十分ではない．この点に関しても検討していき たい.

## 謝辞

本論文の作成にあたりご協力いただきました，株式会社 AI Shift の杉山雅和氏，戸田隆道氏，二宮大空氏, 株式会社サイバーエージェントの邊土名朝飛氏に厚く御礼申し上げます。また，有益なご助言を いただきました，吉本暁文氏，郡山知樹氏をはじめ とする株式会社サイバーエージェントの AI Lab の 方々，名古屋工業大学の李晃伸氏，上乃聖氏にこの 場を借りて感謝申し上げます.

## 参考文献

[1] Xiujun Li, Yun-Nung Chen, Lihong Li, Jianfeng Gao, and Asli Celikyilmaz. Investigation of language understanding impact for reinforcement learning based dialogue systems, 2017. https://arxiv.org/abs/1703.07055.

[2] Bing Liu and Ian Lane. End-to-end learning of taskoriented dialogs. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Student Research Workshop, pp. 67-73, New Orleans, Louisiana, USA, June 2018. Association for Computational Linguistics.

[3] Anmol Gulati, Chung-Cheng Chiu, James Qin, Jiahui Yu, Niki Parmar, Ruoming Pang, Shibo Wang, Wei Han, Yonghui Wu, Yu Zhang, and Zhengdong Zhang. Conformer: Convolution-augmented transformer for speech recognition. In Interspeech.

[4] Wei Han, Zhengdong Zhang, Yu Zhang, Jiahui Yu, ChungCheng Chiu, James Qin, Anmol Gulati, Ruoming Pang, and Yonghui Wu. Contextnet: Improving convolutional neural networks for automatic speech recognition with global context. In Interspeech, 2020.

[5] Mimura Masato, Ueno Sei, Inaguma Hirofumi, Sakai Shinsuke, and Kawahara Tatsuya. Leveraging sequence-tosequence speech synthesis for enhancing acoustic-to-word speech recognition. In 2018 IEEE Spoken Language Technology Workshop (SLT), pp. 477-484, 2018.

[6] Jinyu Li, Rui Zhao, Zhong Meng, Yanqing Liu, Wenning Wei, Sarangarajan Parthasarathy, Vadim Mazalov, Zhenghao Wang, Lei He, Sheng Zhao, and Yifan Gong. Developing rnn-t models surpassing high-performance hybrid models with customization capability. In Interspeech, 2020.

[7] Anuroop Sriram, Heewoo Jun, Sanjeev Satheesh, and Adam Coates. Cold fusion: Training seq2seq models together with language models. In Interspeech, 2018.

[8] Changhao Shan, Chao Weng, Guangsen Wang, Dan Su, Min Luo, Dong Yu, and Lei Xie. Component fusion: Learning replaceable language model component for endto-end speech recognition system. In ICASSP, 2019.

[9] Duc Le, Mahaveer Jain, Gil Keren, Suyoun Kim, Yangyang Shi, Jay Mahadeokar, Julian Chan, Yuan Shangguan, Christian Fuegen, Ozlem Kalinli, Yatharth Saraf, and Michael L. Seltzer. Contextualized streaming end-to-end
speech recognition with trie-based deep biasing and shallow fusion. In Interspeech, 2021.

[10] Mirek Novak and Pavlos Papadopoulos. Rnn-t lattice enhancement by grafting of pruned paths. In Interspeech, 2022.

[11] Jung Namkyu, Kim Geonmin, and Chung Joon Son. Spell my name: Keyword boosted speech recognition. In ICASSP, 2022.

[12] Shinji Watanabe, Takaaki Hori, Shigeki Karita, Tomoki Hayashi, Jiro Nishitoba, Yuya Unno, Nelson Enrique Yalta Soplin, Jahn Heymann, Matthew Wiesner, Nanxin Chen, Adithya Renduchintala, and Tsubasa Ochiai. Espnet: Endto-end speech processing toolkit. In Interspeech, pp. 2207-2211, 2018 .

[13] Shinji Watanabe, Takaaki Hori, Suyoun Kim, John R. Hershey, and Tomoki Hayashi. Hybrid ctc/attention architecture for end-to-end speech recognition. IEEE Journal of Selected Topics in Signal Processing, Vol. 11, No. 8, pp. 1240-1253, 2017.

[14] Takaaki Hori, Shinji Watanabe, Yu Zhang, and William Chan. Advances in joint ctc-attention based end-to-end speech recognition with a deep cnn encoder and rnn-lm. In Interspeech, 2017.

[15] Kikuo Maekawa. Corpus of spontaneous japanese : its design and evaluation. Proceedings of The ISCA IEEE Workshop on Spontaneous Speech Processing and Recognition (SSPR), pp. 7-12, 2003.

[16] Mark A. Castellano, Todd Hiers, and Rebecca Ma. Tms320c6000 $\mu$-law and a-law companding with software or the mcbsp. Technical report, Texas Instruments Inc, 2000 .

[17] Dzmitry Bahdanau, Jan Chorowski, Dmitriy Serdyuk, Philémon Brakel, and Yoshua Bengio. End-to-end attention-based large vocabulary speech recognition. In ICASSP, pp. 4945-4949, 2016.

[18] Alex Graves, Abdel rahman Mohamed, and Geoffrey Hinton. Speech recognition with deep recurrent neural networks. In ICASSP, 2013.

[19] K. Sagae, M. Lehr, E. Prud'hommeaux, P. Xu, N. Glenn, D. Karakos, S. Khudanpur, B. Roark, M. Saraçlar, I. Shafran, D. Bikel, C. Callison-Burch, Y. Cao, K. Hall, E. Hasler, P. Koehn, A. Lopez, M. Post, and D. Riley. Hallucinated $n$-best lists for discriminative language modeling. In ICASSP, 2012.

[20] Krithika Ramesh, Ashiqur R. KhudaBukhsh, and Sumeet Kumar. 'beach' to 'bitch' : Inadvertent unsafe transcription of kids' content on youtube. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 36, No. 11, pp. 12108-12118, Jun. 2022.


# 早押しクイズ解答システムの構築と各時点における正答率推定

杉浦 尚弥 1 山田康輔 2 笹野遼平 2 武田 浩一 2
1 名古屋大学情報学部 2 名古屋大学大学院情報学研究科
\{sugiura.naoya.e7, yamada.kosuke.v1\}@s.mail.nagoya-u.ac.jp
}

\{sasano, takedasu\}@i.nagoya-u.ac.jp
## 概要

本研究では、不完全な質問の入力に対して適切な 解答を出力する早押しクイズ解答システムの構築に 取り組む。具体的には、GPTによって質問文の後に 直接解答を生成するシステムと、GPTにより質問文補完を行った後に、DPRを用いた Retriever-Reader アプローチによって解答を生成するシステムを構築 し評価を行う。さらに、システムの解答出力確率や 関連文書を選択するスコアに基づき、質問文の各時点における正答率を推定する手法を提案する。

## 1 はじめに

早押しクイズとは、競技クイズのジャンルの 1 つ であり、問題が読まれている途中に解答を行うこと ができるもので、解答する速度が重要となる性質上、不完全な文に対しての解答をすることが多いと いう特徵を持つ。競技クイズは対象とする知識の 範囲を限定しないため、オープンドメイン質問応答タスクとして広く研究が行われているが、その 主要なデータセットである Natural Questions [1] や、 TriviaQA [2] は入力となる問題文が完全なものであ り、これらを使用して構築されたシステム $[3,4,5]$ は不完全な質問に対して解答を行うことは想定され ていない。

また、早押しクイズにおいては、解答を行うだけ ではなく、現時点で与えられた問題文に対して予測 された解答の正答らしさを考慮し、実際に解答する かどうかを判定することが重要となる。たとえば、表 1 に示す問題において「古代エジプトでは」まで 読まれた場合を考えると、実際の解答である「シリ ウス」以外にも古代エジプトに存在した物は数多く 存在することから、その時点で予測された解答は誤答である可能性が高い。一方、後半まで読まれた場合は解答はほぼ一意に定まる。このため、質問文の 各時点における解答候補が実際に正解である確信度表 1 早押しクイズ解答システムの出力例完全な質問文: 古代エジプトでは「ナイルの星」と 呼ばれたという、おおいぬ座の星は何でしょう?確信度: 1.000 解答: シリウス 正解 75\%の質問文: 古代エジプトでは「ナイルの星」と 呼ばれたという、おおいぬ座の星は何でしょう?確信度: 1.000 解答: シリウス 正解 50\%の質問文: 古代エジプトでは「ナイルの星」と 呼ばれ 確信度: 0.771 解答: シリウス 正解 25\%の質問文: 古代エジプトでは「ナイルの星」と 確信度: 0.125 解答: パピルス 不正解

を算出することによって、より性能の高い早押しク イズ解答システムが構築できると考えられる。

そこで本研究では、まず、不完全な質問の入力に 対して適切な解答を出力する早押しクイズ解答シス テムを構築し、続いて、各モデルにおいて確信度の 算出を行い、確信度と正答率の関係性について調査 する。具体的には、GPT [6] によって質問文の後に 直接解答を生成するシステムと、GPT による質問文補完を行った後、Dense Passage Retrieval (DPR) [3] を 用いた Retriever-Reader アプローチによって解答を生成するシステムを構築する。また、前者のシステム では解答生成時におけるトークン出力確率を用い、後者のシステムではモデルの出力に用いられるスコ アを用いることで、確信度を算出する。表 1 に記載 した確信度は、前者のスコアであるが、確信度が低 い場合は不正解、確信度が高い場合は正解となる解答を出力しており、確信度が早押しクイズシステム において適切に機能していることが確認できる。

## 2 競技クイズに対する解答システム

本節では、まず、競技クイズに対する先行研究の 紹介し、その後不完全な質問文に対応する早押しク イズ解答システム、およびモデル出力に基づく確信度の算出法を提案する。

## 2.1 オープンドメイン質問応答モデル

競技クイズはオープンドメイン質問応答タスクと して扱われており、単一モデルで直接解答を生成す るモデルと、関連文書の検索と解答箇所の抽出の 2 つの複合タスクとして解答する Retriever-Reader ア プローチによる解答モデルの 2 つが主流である。

単一モデルでの解答としては GPT が代表例であ る。GPT とは、Transformer [7] の Decoderをべース とし、大規模なテキストコーパスを用いて、ある単語列に後続する単語を予測する学習を行った事前学習済み言語モデルである。GPT はこの性質から入力 したテキストに続くテキストを生成するような言語生成関連タスクで利用でき、質問応答の場合、質問 に対して解答だけを推論するような入力形式にする ことで、解答を生成することができる。また、GPT では後続タスクのデータを利用したファインチュー ニングを行うことで、より高い性能が見込まれるた め、質問応答モデル構築においてもファインチュー ニングすることが多い。

複合タスクでの解答としては、Retrieverとして DPR を用いた Retriever-Reader に基づくモデルがそ の代表例である。DPRは、問題文と各文書に対し 異なる BERT [8] を用いる Dual-encoder 構造を持ち、 BERTへの入力の際、文書の先頭に挿入する特殊 トークン [CLS]を用いて問題文、各文書の埋め込み 表現を獲得する。その後それらの内積により計算さ れた意味的な類似度を基に文書選択を行う手法であ る [3]。Readerでは、BERTによる正解を含む関連文書予測と文書内の解答箇所の抽出予測を行う。関連文書予測では、[CLS]トークンの位置で答えを含み そうな文書を予測する。ここで選ばれた文書に対し て、解答箇所抽出予測を行い、文書中から解答とな るトークン列の始点と終点を決定し出力する。

## 2.2 早押しクイズの解答システム

前節のシステムは完全文において有効であること は確認されているが、不完全な文の入力に対し解答 することが求められる早押しクイズにおける有効性 は不明である。一般的に、問題の一部のみが与えら れた場合、正解となりうる解答の候補は複数存在す る上、解答を行うために必要な情報が与えられてい ない可能性があるなど、完全文が与えられた場合と 問題の性質が大きく異なる。よって早押しクイズタ スクに特化した手法が必要になると考えられる。
そこで本研究では、大規模言語モデルである GPT による推論にのみに基づいて解答するシステム GPT (推論)と、GPTによる問題文補完を行い、DPRを用 いた Retriever-Reader アプローチに基づくシステム GPT+DPR の 2 つのシステムを構築する。GPT (推論) では、入力形式を『問題文+“答えは「”』とする ことで、括弧の先の部分を推論させ、括弧の中身を 解答として出力する形式を取った。問題文と『答え は「』の間に「/を挟むことによって、問題文の区切 りを認識させ、誤って文章の補完が行われないよう にした。GPT+DPRでは、不完全文を GPT に入力し て問題文を補完し、完全な文章を出力として得てか ら、それを入力として DPRを用いた Retriever-Reader に基づくモデルに解答させる形式を取った。

## 2.3 各モデルの確信度

本研究では、各モデルの解答に対して、各モデル が出力を生成する際に使われている内部スコアを利用して確信度を計算する。確信度はモデルの解答が 正答であるかどうかの判断を行うための指標として 用いる値であり、確信度が大きいほど、正答率が高 くなるような性質を持つ必要がある。

GPT (推論) では、モデルが出力した解答の先頭 トークンの生成確率 (以下、生成スコア) を確信度と して利用する。GPT は文生成において、文末の $n$ 番目までのトークンが与えられた状態で、語彙の中か ら最も生成スコアの高いものを $n+1$ 番目のトーク ンとして出力する。答えが少数のトークンで構成さ れることが多いクイズにおいては、先頭トークンが 解答の方針のほとんどを決めることから、先頭トー クンの生成スコアのみを確信度として採用した。

一方、GPT+DPR の確信度として利用可能な内部スコアとして、Reader で計算された関連文書ス コア、抽出スコア、およびそれらの相加平均であ る平均スコアの 3 つを考える。Reader では各文書の [CLS]トークンを学習した線形層を用いてスコア化 し、最も高いスコアの文書を選択するが、関連文書 スコアはこのスコアである。さらに、文書選択後、選ばれた文書をトークンごとに埋め込み表現にし、別途学習した線形層を用いて始点スコアと終点スコ アを計算したのち、最も始点スコアが高かったトー クンから最も終点スコアが高かったトークンまでの トークン列を解答として出力するが、抽出スコアと はこの時の始点スコアと終点スコアの和である。
表 2 本研究で使用したデータセットの概要

## 3 実験

提案した早押しクイズ解答システムの正答率の 検証、および、各モデルの確信度の有効性の調査 を行った。なお、文字べースで問題文を先頭 $x \%$ で 切ったものを、質問文完全度 $x \%$ と表記する。正答率検証実験では、2.2 節で説明した GPT (推論) モデ ル、GPT+DPR モデルを、質問文完全度 $25 \%, 50 \%$, $75 \%, 100 \%$ の問題に適用し、その正答率を検証した。確信度の有効性調査実験では、各質問文完全度にお いて、 2.3 節で説明した各モデルの確信度と正解率 の関係を調査することで確信度の評価を行った。

## 3.1 実験設定

データセット 本稿では、第 2 回 AI 王公式配布 データセット (以下、AI 王) ${ }^{1)}$ 、および、クイズアプ リ「みんなで早押しクイズ」で出題された問題を クローリングしたデータを用いた (以下、「みんは や」 $)^{2)}$ 。各データ数と平均文字数を表 2 に記載す る。なお、DPR の学習は問題文と答えの他に正例文書、負例文書が必要であるため、DPR の学習は AI 王データのみを用いて行い、追加した「みんはや」 データは GPT の学習にのみ使用した。

学習設定 GPT (推論)と GPT+DPR の 2 つのモデ ルを用いて比較を行った。GPTは rinna社が Hugging Face [9] 上で公開しているモデル3)を使用した。DPR は第 2 回 AI 王で公開されたベースラインモデル4) を使用した。GPT (推論) は学習データを『問題文+“尖答えは「○○」”』の形にフォーマットしてファイ ンチューニングを行った。GPT+DPR においては、 GPT は学習データの問題文だけを使用しファイン チューニングした。いずれの場合もエポック数は 5 で学習を行った。DPR は、Retriver と Readerにおい て事前学習済み $\mathrm{BERT}^{5}$ )をべースとし、Retriever は

表 3 正答率検証実験の結果

バッチサイズ 128、学習率 $1 \mathrm{e}-5$ 、エポック数 5 で、 Reader はバッチサイズ 8、学習率 2e-5、エポック数 3 でそれぞれ学習した。

比較手法 正答率検証実験では、GPT (推論) と GPT+DPR の 2 つのモデルを比較した。確信度の有効性調査実験では、GPT (推論) については生成スコ アを、GPT+DPR については関連文書スコア、抽出 スコア、平均スコアの 3つを用いて実験を行った。

評価指標 正答率評価において、モデル出力の正誤は文字列の完全一致で評価した。ただし、表記摇 れにより不正解となることを防ぐため、モデル出力 と答えから『()[ ]・=』の 6 種類の記号を機械的に 取り除いた後に文字列の比較を行った。

確信度の有効性調査実験では、正解率-解答率曲線を作成し、その曲線の下の面積 (AUC) により、確信度の有効性を調査した。ここで、解答率とはシス テムが実際に解答を出力する割合である。確信度が 閾値 $\alpha$ を超えるものだけを解答するものとすると、 この閾値 $\alpha$ を変化させることで解答率を制御可能で ある。一方、正解率とは、システムが解答を出力し たもののうち、正解だったものの割合である。 $\alpha$ を 0 未満にした場合，これはシステム全体の正答率と 一致し、 $\alpha$ を大きくするにつれ、確信度が高いもの だけが評価の対象となるので、正解率は高くなるこ とが期待される。

## 3.2 実験結果: 正答率検証

GPT (推論) と GPT+DPR の質問文完全度ごと正答率を表 3 に示す。質問文完全度が下がるにつれ正答率が下がっていく結果となったが、その下がり方は 質問文完全度に比例せず、100\%～75\%にかけては比較的緩やかな落ち込みであった。これは、クイズの 問題文の前半から中間にかけては答えを決定付ける 重要な単語が多く出現するのに対し、後半に情報量 の多い単語が出現するケースは少ないためだと考え られる。2つのモデルのスコアを比較すると、質問文完全度が $100 \%$ の場合は GPT+DPR の方が高い性能となった一方で、問題文が不完全であった場合は 両モデルの性能に差は確認できなかった。
表 4 確信度の有効性調査実験の結果

図 1 確信度の有効性調査における正解率-解答率曲線

## 3.3 実験結果: 確信度の有効性調査

表 4 に確信度の有効性調査実験の結果を示す。 GPT+DPR に対する 3 つの確信度の中では、関連文書スコアを用いた場合が、最も高い AUC となった。 また、全ての結果の中で GPT (推論) の生成スコアが 最も高い AUC となった。

次に、GPT+DPR において最も AUC が高かった 関連文書スコアを用いて、GPT (推論) モデルと GPT+DPR モデルの PR 曲線の比較を行った。図 1 に結果を示す。いずれの設定においても、高い確信度のもののみに解答する問題を絞り込むことで正解率は上昇することが確認でき、確信度の有効性が確認できる。GPT (推論) と GPT+DPR を比較すると、表 3 に示したとおり解答率 1.0 における正解率であ る正答率は、質問文完全度 $100 \%$ の場合は GPT+DPR の方が高く、それ以外の場合も同等であるが、解答率 0.8 未満の領域ではいずれも GPT (推論)の方が高 い正解率となった。この差は、質問文完全度が小さ い場合、解答率が小さい場合に顕著であり、たと えば質問文完全度 $25 \%$ 、解答率 0.1 の設定において は、GPT+DPR の正解率は 0.5 程度であるのに対し、 GPT (推論) の正解率は 0.8 程度と大きな差があるこ とが確認できる。このことから、早押しクイズにお いては GPT (推論) の方が適していると言える。表 5 GPT (推論) の質問文完全度 $25 \%$ における出力例

表 5 に、質問文完全度 $25 \%$ の問題に対し、GPT (推論) を適用した場合の出力例を示す。質問 1 、質問 2 に対しては、先頭 $25 \%$ の質問文しか与えられていな いにも関わらず、確信度スコアは 0.9 を超えており、実際に正しい解答が出力されている。一方、質問 3 に対しては、確信度スコアは高いものの、実際には 誤った解答が出力されている。これは、いわゆる 「ですが問題」であることを考慮に入れず予測した 結果、誤った解答にも関わらず高い確信度スコアが 出力されたものと考えられる。質問 4 においては、先頭 $25 \%$ では解答候補が 1 つに絞り込めなかった ため確信度スコアは低くなったと考えられ、実際、「アホウドリ」という正しい答えは出力できず、「ナ マケモノ」という誤った解答が出力されている。

## 4 おわりに

本研究では、既存研究では想定されていなかっ た早押しクイズに解答するシステムを GPT (推論)、 GPT+DPR の 2 種類構築した上で、各質問文完全度 に対して正答率を検証した。また、確信度と正答率 の関係性の調査、および、確信度としてモデルの内部スコアを用いる妥当性の検証を行った。実験の結果、正答率検証では、完全文において DPR が最も高 いスコアを見せたものの、不完全文に対しては両モ デルのスコアに差は見られなかった。確信度の有効性調査では、GPT (推論) モデルに基づく確信度スコ アが低い質問文完全度においても高い有効性を示す ことが確認された。今後は、本研究で対象とした確信度を用いることで、確信度の閾値を定めて解答の タイミングを決定するようなシステムや、リアルタ イムな早押しクイズ解答モデルの構築を行いたい。

## 参考文献

[1] Tom Kwiatkowski, Jennimaria Palomaki, Olivia Redfield, Michael Collins, Ankur Parikh, Chris Alberti, Danielle Epstein, Illia Polosukhin, Jacob Devlin, Kenton Lee, Kristina Toutanova, Llion Jones, Matthew Kelcey, Ming-Wei Chang, Andrew M. Dai, Jakob Uszkoreit, Quoc Le, and Slav Petrov. Natural questions: A benchmark for question answering research. Transactions of the Association for Computational Linguistics, Vol. 7, , 2019.

[2] Mandar Joshi, Eunsol Choi, Daniel Weld, and Luke Zettlemoyer. TriviaQA: A large scale distantly supervised challenge dataset for reading comprehension. In ACL, 2017.

[3] Vladimir Karpukhin, Barlas Oguz, Sewon Min, Patrick Lewis, Ledell Wu, Sergey Edunov, Danqi Chen, and Wentau Yih. Dense passage retrieval for open-domain question answering. In EMNLP, pp. 6769-6781, 2020.

[4] Ikuya Yamada, Akari Asai, and Hannaneh Hajishirzi. Efficient passage retrieval with hashing for open-domain question answering. In ACL-IJCNLP, pp. 979-986, 2021.

[5] Gautier Izacard and Edouard Grave. Leveraging passage retrieval with generative models for open domain question answering. In EACL, pp. 874-880, 2021.

[6] Alec Radford, Karthik Narasimhan, Tim Salimans, and Ilya Sutskever. Improving language understanding by generative pre-training. Open AI Technical Report, 2018.

[7] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In NIPS, pp. 59986008, 2017.

[8] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In NAACL-HLT, pp. 4171-4186, 2019.

[9] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Rémi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander M. Rush. Transformers: State-of-the-art natural language processing. In EMNLP, pp. 38-45, 2020.


# 近傍文検索を用いたサブセット kNN ニューラル機械翻訳

出口 祥之 ${ }^{1,2}$ 渡辺太郎 ${ }^{1}$ 松井 勇佑 ${ }^{3}$ 内山 将夫 ${ }^{2}$ 田中 英輝 ${ }^{2}$ 隅田 英一郎 ${ }^{2}$
1 奈良先端科学技術大学院大学 2 情報通信研究機構 3 東京大学
${ }^{1}$ \{deguchi.hiroyuki.db0, taro\}@is.naist.jp ${ }^{3}$ matsui@hal.t.u-tokyo.ac.jp
${ }^{2}$ \{mutiyama, hideki.tanaka, eiichiro.sumita\}@nict.go.jp

## 概要

kNN-MT [1] は，翻訳時に用例検索を組み込むこ とで，モデルを追加学習することなくニューラル機械翻訳（NMT）の精度を改善する。しかし，翻訳中 の各時刻で，対訳データの全目的言語トークンに対 して近傍探索を行うため, 翻訳速度が通常の NMT の 100〜1000 倍ほど遅くなるという問題点がある.本研究では検索対象を入力文の近傍事例に絞るこ とで kNN-MT の高速化を図る。また，ルックアップ テーブルを用いた効率的な距離計算により，さらな る高速化を目指す. 複数の翻訳実験を行ったとこ ろ, 従来法より最大で 1.6 BLEU ポイント精度が改善し, 最大 132.2 倍速度が改善することを確認した.

## 1 はじめに

Transformer [2] ニューラル機械翻訳（Neural Machine Translation; NMT）は, 従来の統計的手法より 翻訳精度と流暢性が高く, 注目を浴びている。近年，訓練データと異なるドメインの翻訳精度が低下 する課題に対処するため, Transformer NMT に用例検索の手法を組み込んだ kNN-MT [1] が提案されて いる． kNN-MT は，訓練済み NMT モデルの中間表現を用いて，データストアと呼ばれるキー・值メモ リに対訳データを格納し，翻訳中の各時刻で $k$ 近傍事例を探索する. これにより, モデルを追加学習す ることなく翻訳精度を改善できることが報告されて いる. しかし, 従来の kNN-MT では対訳データの目的言語側の全トークンを対象に近傍探索するため,翻訳速度が通常の Transformer NMT より 100〜1000 倍ほど遅くなるという問題点がある.

本研究では入力文の近傍事例のみに検索対象を 絞ることで kNN-MT の高速化を図る。また，ルック アップテーブルを用いて各事例との距離を効率的に 求めることで，さらなる高速化を目指す. WMT19 独英翻訳とドメイン適応翻訳実験を行い，提案法は従来法より翻訳精度が最大で $1.6 \mathrm{BLEU}$ ポイント,翻訳速度が最大で 132.2 倍改善することを確認した.

## 2 kNN-MT

データストア構築 一般的な NMT は，原言語文 $\boldsymbol{x}=\left(x_{1}, x_{2}, \ldots, x_{|x|}\right)^{\top} \in \mathscr{V}_{X}^{|\boldsymbol{x}|}$ が与えられたとき目的言語文 $\boldsymbol{y}=\left(y_{1}, y_{2}, \ldots, y_{|\boldsymbol{y}|}\right)^{\top} \in \mathscr{V}_{Y}^{|\boldsymbol{y}|}$ を先頭から順に 生成する. ただし， $|\boldsymbol{x}|,|\boldsymbol{y}|$ はそれぞれ文 $\boldsymbol{x}, \boldsymbol{y}$ の長 さ， $\mathscr{T}_{X}, \mathscr{T}_{Y}$ はそれぞれ入力語彙と出力語彙を表す.時刻 $t$ に出力されるトークン $y_{t}$ は，原言語文 $\boldsymbol{x}$ と 時刻 $t$ までに生成した目的言語トークン系列 $\boldsymbol{y}_{<t}$ か ら計算される確率 $p\left(y_{t} \mid \boldsymbol{x}, \boldsymbol{y}_{<t}\right)$ に基づき生成される. kNN-MT は，翻訳前に予め，データストアと呼ばれ る $D$ 次元ベクトルと語彙の組からなるキー・值メ モリ $\mu \subseteq \mathbb{R}^{D} \times \mathscr{V}_{Y}$ を構築する.キーは NMT モデル に teacher forcing 方式 [3] で対訳文対 $(\boldsymbol{x}, \boldsymbol{y})$ を入力し たときに得られるデコーダ最終層の中間表現，値は キーベクトルが得られたときに出力されるべき正解 の目的言語トークン $y_{t} \in \mathscr{T}_{Y}$ であり，以下のような 式で定義される.

$
M=\left.\{\left(f\left(\boldsymbol{x}, \boldsymbol{y}_{<t}\right), y_{t}\right)|(\boldsymbol{x}, \boldsymbol{y}) \in \mathscr{D}, 1 \leq t \leq| \boldsymbol{y} \mid\right.\} .
$

なお， $D$ は対訳データ， $f: \mathscr{V}_{X}^{|x|} \times \mathscr{V}_{Y}^{t-1} \rightarrow \mathbb{R}^{D}$ は原言語文と生成済みトークンからデコーダ最終層の $D$次元中間表現ベクトルを得るような NMT モデルを 表す関数とする。本研究では順伝播層への入力べク トルをキーとする.

翻訳時 出力トークン $y_{t} \in \mathscr{T}_{Y}$ の生成確率は $\mathrm{kNN}$確率とMT 確率の線形補間により計算される.

$
\begin{aligned}
& P\left(y_{t} \mid \boldsymbol{x}, \boldsymbol{y}_{<t}\right) \\
& =\lambda p_{\mathrm{kNN}}\left(y_{t} \mid \boldsymbol{x}, \boldsymbol{y}_{<t}\right)+(1-\lambda) p_{\mathrm{MT}}\left(y_{t} \mid \boldsymbol{x}, \boldsymbol{y}_{<t}\right),
\end{aligned}
$

なお，入はそれぞれの確率に対する重み付けのハイ パーパラメータである．時刻 $t$ におけるクエリべク トルを $f\left(\boldsymbol{x}, \boldsymbol{y}_{<t}\right)$, データストア $M$ に対する $k$ 近傍 の上位 $i$ 番目のキー・值をそれぞれ $\boldsymbol{k}_{i} \in \mathbb{R}^{D}, v_{i} \in \mathscr{T}_{Y}$

図 1 サブセット kNN-MT

とし， $を \mathrm{kNN}$ 確率の温度パラメータとすると， $p_{\mathrm{kNN}}$ は次式のように計算される.

$p_{\mathrm{kNN}}\left(y_{t} \mid \boldsymbol{x}, \boldsymbol{y}_{<t}\right) \propto \sum_{i=1}^{k} \mathbb{1}_{y_{t}=v_{i}} \exp \left(\frac{-\left.\|\boldsymbol{k}_{i}-f\left(\boldsymbol{x}, \boldsymbol{y}_{<t}\right)\right.\|_{2}^{2}}{\tau}\right)$,

## 3 提案法: サブセット kNN-MT

提案法（図 1）は入力文の情報を活用することで 翻訳開始時に探索対象を削減する（3.1 節）。また，翻訳中の各時刻で，絞り込んだ事例の中から上位 $k$近傍を求める際，効率的な計算手法を用いることで クエリとキーの間の距離を高速に求める（3.2 節）。

## 3.1 サブセット探索

文データストア構築 提案法では文データストア $\delta$ を構築して対訳データの原言語文の文べクトルを キー，目的言語文を值として格納する.

$
\mathcal{S}=\{(h(\boldsymbol{x}), \boldsymbol{y}) \mid(\boldsymbol{x}, \boldsymbol{y}) \in \mathscr{D}\},
$

ただし, $h: \mathscr{V}_{X}^{|x|} \rightarrow \mathbb{R}^{D^{\prime}}$ は原言語文の $D^{\prime}$ 次元文べク トルを得る文エンコーダモデルを表す関数とする。

翻訳時 翻訳開始時に，入力文の文ベクトルとの ユークリッド距離が近い $n$ 近傍文を文データストア $\delta$ から探索し, $n$ 近傍文集合 $\hat{\delta} \subset \mathcal{S}$ を得る. ここで， kNN-MT の検索対象を次式のように絞り込む.

$
\hat{M}=\left.\{\left(f\left(\boldsymbol{x}, \boldsymbol{y}_{<t}\right), y_{t}\right)|(h(\boldsymbol{x}), \boldsymbol{y}) \in \hat{\mathcal{S}}, 1 \leq t \leq| \boldsymbol{y} \mid\right.\},
$

なお， $\hat{M} \subset M$ は近傍文の事例に絞り込まれたデー タストアである．翻訳中は $\hat{M}$ から近傍探索する以外は従来法と同様である。すなわち，提案法は検索対象とする文を $|\mathscr{D}|$ 文から $n(\ll|D|)$ 文に事前に絞
り込み，その文に対し出力の $k$ 近傍を探索する.

## 3.2 ルックアップによる効率的な距離計算

直積量子化 データストアは対訳データ中の全目的言語トークンの中間表現を保持するため，メモリ 上に直接ロードすることは困難1) である. 本研究で は，従来の kNN-MT と同様に，直積量子化（Product Quantization; PQ）[4] と呼ばれるベクトル量子化手法を用いてデータストアを圧縮する。 $\mathrm{PQ}$ は $D$ 次元 ベクトルを $\frac{D}{M}$ 次元ずつ $M$ 個のサブベクトルに分割 し，それぞれのサブベクトルを量子化する．量子化 のためのコードブックは各 $\frac{D}{M}$ 次元部分空間で学習 され， $m$ 番目の空間のコードブック $\mathscr{C}^{m}$ は以下のよ うに表される.

$
\mathscr{C}^{m}=\left.\{\boldsymbol{c}_{1}^{m}, \ldots, \boldsymbol{c}_{L}^{m}\right.\}, \boldsymbol{c}_{l}^{m} \in \mathbb{R}^{\frac{D}{M}} .
$

なお, 本研究では各コードブックの大きさを $L=256$ に設定する. ベクトル $\boldsymbol{q} \in \mathbb{R}^{D}$ は以下のようにして コードベクトル $\bar{q}$ に量子化される.

$
\begin{aligned}
\overline{\boldsymbol{q}} & =\left[\bar{q}^{1}, \ldots, \bar{q}^{M}\right]^{\top} \in\{1, \ldots, L\}^{M}, \\
\bar{q}^{m} & =\underset{l}{\operatorname{argmin}}\left.\|\boldsymbol{q}^{m}-\boldsymbol{c}_{l}^{m}\right.\|_{2}^{2}, \boldsymbol{q}^{m} \in \mathbb{R}^{\frac{D}{M}} .
\end{aligned}
$

量子化コード上での距離計算 提案法では， $\mathrm{PQ}$ によって量子化されているサブセットデータスト ア $M_{n}$ に対して $k$ 近傍を探索する際，以下に示す Asymmetric Distance Computation (ADC) [4] を用いて 効率的にベクトル間距離を計算する。手法の概要を 図 2 に示す.

$\mathrm{ADC}$ は，クエリベクトル $\boldsymbol{q} \in \mathbb{R}^{D}$ と， $N$ 個の $M$ 次元キーベクトル $\overline{\mathscr{K}}=\left.\{\overline{\boldsymbol{k}}_{1}, \ldots, \overline{\boldsymbol{k}}_{N}\right.\}$ のそれぞれとの距

1） 4.1 節の実験では $862,648,422$ トークン分の 1024 次元ベク トルを使用する。このとき，データストア容量は約 $3.2 \mathrm{TiB}$ $\simeq 862,648,422$ トークン $\times 1024$ 次元 $\times 32$ bit float $/ 8 \mathrm{bit} / 1024^{4}$.

図 2 ルックアップテーブルを用いた近似距離計算

離を以下のようにして求める. まず，各部分空間 $m$ において, $\boldsymbol{q}^{m}$ とコード $\boldsymbol{c}_{l}^{m} \in \mathscr{C}^{m}$ との距離テーブル $\boldsymbol{A}^{m} \in \mathbb{R}^{L}$ を求める.

$
A_{l}^{m}=\left.\|\boldsymbol{q}^{m}-\boldsymbol{c}_{l}^{m}\right.\|_{2}^{2}
$

このとき, クエリと各キーとの距離 $d\left(\boldsymbol{q}, \overline{\boldsymbol{k}}_{i}\right)$ は次式 により求まる.

$
\begin{aligned}
& d\left(\boldsymbol{q}, \overline{\boldsymbol{k}}_{i}\right)=\sum_{m=1}^{M} d_{m}\left(\boldsymbol{q}^{m}, \overline{\boldsymbol{k}}_{i}^{m}\right), \\
& \text { where } d_{m}\left(\boldsymbol{q}^{m}, l\right)=A_{l}^{m}
\end{aligned}
$

ADC を用いるとキー集合 $\bar{K}$ を復号しないため，量子化された $\hat{M}$ から効率的に $k$ 近傍を探索できる.

## 4 実験

従来法と提案法の翻訳精度と翻訳速度を比較する ため，翻訳実験を行った。 翻訳精度は sacreBLEU [5] で評価した，全ての実験において，NVIDIA V100 GPU を 1 基使用した. NMT モデルには FAIRSEQ [6] の WMT19 独英訓練済み Transformer big モデルを用 いた. 翻訳時のビーム幅は 5 , 文長正規化パラメー タは 1.0 , バッチサイズは 12,000 トークンとした. $\mathrm{kNN}-\mathrm{MT}$ の探索近傍数は $k=16, \mathrm{kNN}$ 確率の温度は $\tau=100$ に設定した. 従来法の近傍探索と提案法の 近傍文探索には FAISS [7] を使用し, PQ のサブベク トル数は $M=64$ に設定した. 提案法のサブセット からの $k$ 近傍探索（ADC 含む）は PyTORCH で実装 した. 提案法で用いる文エンコーダには LaBSE [8] と Transformer NMT のエンコーダ最終層の中間表現 の平均 $\mathrm{AvgEnc}$ を使用し，性能を比較した。

## 4.1 WMT19 独英翻訳

翻訳速度と翻訳精度を WMT19 独英翻訳 (newstest2019; 2,000 文) で評価し, 従来法および先行研表 1 WMT19独英翻訳の精度と速度の比較. “ $h$ : ”は文エ

ンコーダモデルを示し，“-ADC”はルックアップテーブル を用いなかったときの結果を示す.

究の fast kNN-MT [9] と提案法の性能を比較した. データストアには WMT19独英翻訳の対訳データの サブワード化後の文長が 250 以下かつ対訳文の文長比が 1.5 以内のデータのみを用い，29,540,337 文か ら得られた 862,648,422 トークンから構築した. 近傍文探索による絞り込み数は $n=512$ とした.

実験結果を表 1 に示す。表より，kNN-MTを用い ることで，ベース MTより精度が 0.9 ポイント改善 するものの，速度は 326.1 倍遅くなる。一方，提案法（LaBSE）を用いることで，精度が低下すること なく kNN-MT より 111.8 倍翻訳速度が改善してい る.また, AvgEnc は kNN-MT より 0.2 ポイント精度が低下したが，追加のモデルを使用することなく 翻訳速度が 92.7 倍ほど改善している。表中の“ ADC” は距離計算に ADC を用いなかった場合を示 しており, LaBSE, AvgEnc ともに約 5 倍程度速度が 低下することが確認できる。

## 4.2 ドメイン適応翻訳

IT, Koran, Law, Medical, Subtitles の 5 つのドメイン の翻訳実験 $[10,11]$ を行った. NMT モデルには 4.1

ドメイン適応翻訳の精度（BLEU\%）と速度（トークン秒）の比較．太字は各ドメインにおける最高精度を表す。

表 3 Medical ドメインにおける実際の翻訳例。

 \\

節と同様のモデルを用いた. 本実験では，入力文の ドメインが未知のオープンドメイン設定を想定す るため，データストアの対訳データには 4.1 節で用 いたデータと各対象ドメインの対訳データを全て を結合したデータを用い，30,843,860 文から得られ た 895,891,420トークンを使用した。近傍文探索に よる絞り込み数は $n=256$ とした.

実験結果を表 2 に示す. 全てのドメインにおい て，kNN-MTを用いることで，ベース MT と比較し て翻訳精度は改善しているが，速度は約 200 倍以上遅くなっている。一方で，提案法を用いること で，従来法より最大で 132.2 倍翻訳速度が改善され ている. さらに，翻訳速度だけでなく，翻訳精度が kNN-MT よりも最大 1.6 ポイント改善している.

Medical ドメインにおける実際の翻訳例と近傍事例の検索結果をそれぞれ表 3,4 に示す. 提案法は “ $h$ : LaBSE” の結果を示している. 表 3 より, 提案法 では, Medical ドメインの定訳である “Filmtablette” $\rightarrow$ “ilm-coated tablet”を正しく翻訳できていること
が確認できる．このときの “大力文の上位 3 近傍文 (S-\{1,2,3\})”と，“それらの対訳文 (T-\{1,2,3\})”"表 4 に示す。表 4 より，検索対象であるサブセット内に “film-coated” が含まれている。提案法では近傍事例 のみからなるサブセットを探索することで，より適切な単語を訳出できるようになったと考えられる。

## 5 関連研究

用例を用いた機械翻訳手法は，類推に基づく機械翻訳 [12] によって提案され，NMT に対する拡張と して，編集距離に基づいて用例を検索する手法が提案されている $[13,14]$.

kNN-MT の速度を改善した fast kNN-MT [9] が提案されている. fast kNN-MT は入力文中の各語彙の 近傍事例とその単語アライメントをもとに検索対象 を絞り込む。機械翻訳以外では，言語モデルに近傍探索手法を用いた kNN-LM [15] や，kNN-LMを高速化した Efficient kNN-LM [16] が提案されている.

ベクトル近傍探索分野では Reconfigurable Inverted Index (Rii) [17] が提案されている. 従来の探索法は 全探索のみを想定しているが，Riiでは動的に作成 されるサブセットに対する探索を可能とする.

## 6 おわりに

本研究では，kNN-MT の翻訳速度を改善した. 提案法では，入力文の近傍探索により kNN-MT の検索対象を絞り込み，ルックアップテーブルを用いて効率的にベクトル間距離を計算する。複数の翻訳実験 の結果，提案法を用いることで kNN-MT より最大 1.6 BLEU ポイントの精度改善と, 最大 132.2 倍の速度改善を確認した. 今後は，機械翻訳以外のタスク への応用も検討していきたい.

## 謝辞

本研究の一部は JSPS 科研費 $22 \mathrm{~J} 11279$ の助成を受 けたものである。ここに謝意を表する。

## 参考文献

[1] Urvashi Khandelwal, Angela Fan, Dan Jurafsky, Luke Zettlemoyer, and Mike Lewis. Nearest neighbor machine translation. In International Conference on Learning Representations (ICLR), 2021.

[2] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I Guyon, U V Luxburg, S Bengio, H Wallach, R Fergus, S Vishwanathan, and R Garnett, editors, Advances in Neural Information Processing Systems 30, pp. 5998-6008. Curran Associates, Inc., 2017.

[3] Ronald J. Williams and David Zipser. A learning algorithm for continually running fully recurrent neural networks. Neural Computation, Vol. 1, No. 2, pp. 270-280, 1989.

[4] Herve Jégou, Matthijs Douze, and Cordelia Schmid. Product quantization for nearest neighbor search. IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 33, No. 1, pp. 117-128, 2011.

[5] Matt Post. A call for clarity in reporting BLEU scores. In Proceedings of the Third Conference on Machine Translation: Research Papers, pp. 186-191, Brussels, Belgium, October 2018. Association for Computational Linguistics.

[6] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A fast, extensible toolkit for sequence modeling. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (Demonstrations), pp. 48-53, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[7] Jeff Johnson, Matthijs Douze, and Hervé Jégou. Billionscale similarity search with GPUs. IEEE Transactions on Big Data, Vol. 7, No. 3, pp. 535-547, 2019.

[8] Fangxiaoyu Feng, Yinfei Yang, Daniel Cer, Naveen Arivazhagan, and Wei Wang. Language-agnostic BERT sentence embedding. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 878-891, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[9] Yuxian Meng, Xiaoya Li, Xiayu Zheng, Fei Wu, Xiaofei Sun, Tianwei Zhang, and Jiwei Li. Fast nearest neighbor machine translation. In Findings of the Association for Computational Linguistics: ACL 2022, pp. 555-565, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[10] Philipp Koehn and Rebecca Knowles. Six challenges for neural machine translation. In Proceedings of the First Workshop on Neural Machine Translation, pp. 28-39, Vancouver, August 2017. Association for Computational Linguistics.

[11] Roee Aharoni and Yoav Goldberg. Unsupervised domain clusters in pretrained language models. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7747-7763, Online,
July 2020. Association for Computational Linguistics.

[12] Makoto Nagao. A framework of a mechanical translation between japanese and english by analogy principle. In Proc. of the International NATO Symposium on Artificial and Human Intelligence, pp. 173-180, 1984.

[13] Jingyi Zhang, Masao Utiyama, Eiichro Sumita, Graham Neubig, and Satoshi Nakamura. Guiding neural machine translation with retrieved translation pieces. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 1325-1335, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[14] J Gu, Y Wang, K Cho, and V O K Li. Search engine guided neural machine translation. AAAI, 2018.

[15] Urvashi Khandelwal, Omer Levy, Dan Jurafsky, Luke Zettlemoyer, and Mike Lewis. Generalization through memorization: Nearest neighbor language models. In International Conference on Learning Representations, 2020 .

[16] Junxian He, Graham Neubig, and Taylor Berg-Kirkpatrick. Efficient nearest neighbor language models. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 5703-5714, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[17] Yusuke Matsui, Ryota Hinami, and Shin'ichi Satoh. Reconfigurable inverted index. In ACM International Conference on Multimedia (ACMMM), pp. 1715-1723, 2018.

[18] Tiezheng Ge, Kaiming He, Qifa Ke, and Jian Sun. Optimized product quantization. IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 36, No. 4, pp. 744-755, 2014.

[19] Yu A Malkov and Dmitry A Yashunin. Efficient and robust approximate nearest neighbor search using hierarchical navigable small world graphs. IEEE transactions on pattern analysis and machine intelligence, Vol. 42, No. 4, pp. 824-836, 2018.

表 6 データストアのインデックス設定.

 &  & kNN-MT データストア \\

ベクトル回転 & Optimized PQ [18] & Optimized PQ [18] & - \\
次元削減 & - & - & PCA: 1024 次元 $\rightarrow$ 256 次元 \\
転置インデックス & 131,072 クラスタ & 32,768 クラスタ & - \\
探索クラスタ数 & 近傍 64 クラスタ & 近傍 64 クラスタ & - \\
粗量子化器 & HNSW Flat [19] (エッジ数: 32) & Flat & - \\

## A モデル，データセット

モデルとデータセットのURLを以下に示す.
- NMT モデル: https://dl.fbaipublicfiles.com/fairseq/models/wmt19.de-en.ffn8192.tar.gz

・ドメイン適応データ: https://github.com/roeeaharoni/unsupervised-domain-clusters

## B 実験に使用した計算機

実験に使用した計算機のスペックは以下の通りである.
- CPU: Intel(R) Xeon(R) Gold 6150 CPU @ 2.70GHz (18 コア× 2 基)
- Memory: 768 GB
- GPU: NVIDIA Tesla V100 (1 基使用)
- OS: CentOS 7.6

## C バッチサイズと翻訳速度

本文中の実験ではバッチサイズを 12,000 トークンに設定して速度を比較した。表 5 は，翻訳時のバッチサ イズについて，文書翻訳等を想定した 12,000 トークン（ $\mathrm{B}_{\infty} ）$ とリアルタイム翻訳等を想定した 1 文 $\left(\mathrm{B}_{1}\right)$ と したときの翻訳速度の比較を示す.

## D kNN インデックスの詳細

近傍探索インデックスの詳細な設定を表 6 に示す.


# JCommonsenseQA 2.0: 計算機と人の協働による 常識推論データセットの改良

栗原健太郎 1 河原大輔 1 柴田知秀 2
1 早稲田大学理工学術院 2 ヤフー株式会社
\{kkurihara@akane., dkw@\}waseda.jp tomshiba@yahoo-corp.jp

## 概要

計算機モデルの言語理解能力のさらなる向上に 向けて、ベンチマークを改良し、より高度な言語理解能力を測ることができるようにする必要があ る。本研究では多肢選択式の常識推論データセット JCommonsenseQA [1] に焦点をあて、計算機と人の 協働によってデータセットを改良する。このデータ セットの計算機による精度はすでに $90 \%$ を越えてお り難易度が低いため、常識推論能力を測るには適切 ではない。難易度が低い要因の一つとして、誤り選択肢群の中に正解とあまり関連がない選択肢が含ま れていることが挙げられる。この問題に対処するた め、まず正解と類似している誤り選択肢をテキスト 生成モデルで自動生成し、次に生成された誤り選択肢候補の中からクラウドソーシングで適切な誤り 選択肢を選択することによって、難易度の高いデー タセットを構築する。実験の結果、構築したデータ セットは元のデータセットよりも難易度が高くなっ ていることを確認した。

## 1 はじめに

高性能な言語理解モデルを開発するためには、言語理解の能力を様々な観点から評価し分析するため のベンチマーク (データセット群) が必要である。英語においては、GLUE (General Language Understanding Evaluation) [2] が構築、公開されている。GLUE であ る程度の高スコアを達成できる言語理解モデルが開発されると、より難易度の高いベンチマークとして SuperGLUE [3] などが構築され、ベンチマーク構築 と言語理解モデル開発の好循環が生まれている。

このような英語における言語理解研究活性化の潮流に乗じて、世界中の各言語におけるベンチマーク 構築が進んでいる。日本語については、言語理解べ ンチマーク JGLUE [1] を我々が構築した。それに伴

図 1 JCommonsenseQA の改良フロー

い、多くの計算機モデルが JGLUE 上で評価されて いる。英語の GLUE と同様に、多くのタスクで計算機モデルが人間を越える、もしくは、人間に近い精度を達成している。

日本語においても、計算機モデルの言語理解能力 のさらなる向上に向けて、ベンチマークを改良し、 より高度な言語理解能力を測ることができるように する必要がある。本研究では、言語理解に直接的な 関係があると考えられる質問応答 $(\mathrm{QA})$ データセッ トである JCommonsenseQA (JGLUE に含まれている データセットのうちの一つ) にフォーカスし、より 難易度が高いデータセットに改良する。

JCommonsenseQA は、CommonsenseQA [4] の日本語版データセットであり、常識推論能力を評価する ための 5 択の QA で構成されている。人間の精度は 98.6\%であるが、汎用言語モデル RoBERTa [5] (large) は $90.7 \%$ の精度であり、すでに十分に高い精度を達成している。モデルにとって解きやすくなっている 要因の一つとして、誤り選択肢群に正解とほとんど 関連がないものが存在することが挙げられる。図 1

の上の例では、正解選択肢の「万年筆」と「屋外」 や「ムーン」はほとんど関連がない。このような問題はモデルによって正解が簡単に弁別できてしまう ため、常識推論能力を測るには適切ではないと考え られる。

本論文では、計算機と人の協働によって JCommonsenseQA を改良する手法を提案する。具体的に は、まず正解と類似している誤り選択肢をテキスト 生成モデルで自動生成し、次に自動生成された誤り 選択肢候補の中からクラウドソーシングで適切な選択肢を選択する。実験の結果、構築したデータセッ トは以前構築したデータセットよりも難易度が高く なっていることを確認した。

## 2 関連研究

英語における SQuAD [6] や CommonsenseQA など の $\mathrm{QA}$ データセットにおいて、高性能な言語理解モ デルの開発とともに、より難易度の高いデータセッ トを構築する流れが生まれている。

SQuAD は段落、質問、答えの 3 つ組から成る QA データセットで、答えとなるスパンを段落から抽出 するタスクである。SQuAD 1.1 においては段落内 に答えが必ず存在するという仕様であった。後に 構築された SQuAD 2.0 [7] では、段落内に答えが必 ずしも存在しないという仕様に変更されたことで、 SQuAD 1.1 より難易度の高いデータセットとなって いる。また、異なるタイプの難易度の高い QA デー タセットとして、マルチホップ推論の能力を測る HotpotQA [8] や、算術演算の能力を測る DROP [9] な どが提案されている。

敵対的なデータセットの構築による難易度向上の流れも存在する。Jia ら [10] は SQuADにつ いて、質問の答えにはなっていないものの関連 している文を段落の最後に追加することで、敵対的な SQuADを構築している。多肢選択式 $\mathrm{QA}$ の CommonsenseQA についても、ゲーミフィケー ションを用いた model-in-the-loop を実施することに よって敵対的でより難易度の高い CommonsenseQA 2.0 [11] が構築されている。しかし、選択肢は yes / no の 2 択形式に簡略化されている。

T5 [12] や GPT-2,3 [13,14] などのテキスト生成モ デルはデータセット構築にも利用されている。Liu ら [15] は、自然言語推論データセット MultiNLI [16] を基に敵対的データを獲得し、GPT-3を用いてデー タ拡張することによって WANLIを構築している。

質問: 電車に人が乗り降りする場所を何という？選択肢: 駅 鉄道会社線路 空港港

誤り選択肢追加

図 2 JCommonsenseQA v1 の構築フロー

## 3 JCommonsenseQA の構築方法と 問題点

提案手法の説明をする前に、本節では、以前提案 した JCommonsenseQA の構築方法とその問題点につ いて説明する。以降、以前提案したバージョンを v1、本論文で提案するバージョンを $\mathrm{v} 2$ と呼ぶ。

JCommonsenseQA は CommonsenseQA の日本語版 データセットであり、常識推論能力を評価するため の 5 択の QA で構成されている。JCommonsenseQA は、知識ベース ConceptNet [17]をシードとし、クラ ウドソーシングを用いて構築している。ConceptNet は、2つの概念 (concept) と、その間の関係 (relation) を表す 3 つ組からなる多言語知識ベースである。 3 つ組は方向性を持ち、例えば新幹線が駅に存在 するという関係は (新幹線, AtLocation, 駅) のよう に (source concept, relation, target concept)として表さ れる。逆方向の関係性を持つ知識は (source concept, relation $^{-1}$, target concept)と表す1)。

構築方法 JCommonsenseQA v1 の構築フローを図 2 に示す。まず、source concept とそれに対して同じ 関係を持つ 3 つの target concept $の$ 集合 (以下 Question Set, $\mathrm{QS}$ と呼ぶ) を収集する。次に各 $\mathrm{QS}$ 内の 3 つの target concept について、それぞれの target concept $の$ みが正解となる質問の作文タスクをクラウドソーシ ングを用いて実施する。最後にそれぞれの質問に対 して、誤り選択肢を 2 つ追加するタスクをクラウド ソーシングを用いて実施する。

問題点 JCommonsenseQA v1 には、誤り選択肢に 正解とほとんど関連がないものが含まれていると いう問題がある。この問題が生じる原因として、

1）例えば、駅に新幹線が存在するという関係は(駅, AtLocation ${ }^{-1}$, 新幹線) と表す。

ConceptNet を用いた選択肢の自動獲得が挙げられ る。 5 つの選択肢のうち 3 つは、ConceptNet から収集した QS 内の 3 つの target concept に由来している が、これらの target concept 間に関連性がほとんどな い場合がある。例えば、「綺麗」と “HasProperty-1" の関係を持つ target concept として「万年筆」「屋外」「ムーン」の3つが抽出される²)が、これらはほとん ど関連していない。

## 4 JCommonsenseQA の改良

JCommonsenseQA v1 の問題に対処するため、テキ スト生成モデルとクラウドソーシングによるフィル タリングを用いて、正解と類似した誤り選択肢を新 たに導入する。提案手法は、図 1 に示すとおり、4 つのステップからなる。なお、各ステップにおいて 事例がフィルタリングされることで最終的に獲得で きる事例数が少なくなってしまうことから、v1 と同 じ構築手法を用いて事前に $\mathrm{v} 1$ の拡張を行う。各ス テップの詳細を以下に示す。

ステップ 1 テキスト生成モデル $\mathrm{T} 5$ を用いて、正解と類似した誤り選択肢候補を生成する。 5 は質問を入力し、正解を出力するようにファインチュー ニングする。この際、 2 種類のテキスト生成モデル を用いる3)ことによって、多様な誤り選択肢候補を 生成する。なお、正解により類似した誤り選択肢候補を得るため、v1 の全件を用いてクローズドな訓練 を行う。

2 つのモデルそれぞれから 20 件の生成結果を得 る。この生成結果には長い語句や不自然なものが含 まれている。これらに対処するため、ConceptNet に エントリが存在しない生成結果を除去する。また、生成結果に正解自体が含まれていれば除去する。こ の結果、各モデルから 5 件の誤り選択肢候補が得ら れた事例を次のステップに渡す。例えば図 1 の例 では、1つのモデルから得られた誤り選択肢候補は 「ペンシル」「ノート」「鉛筆」「手提げ袋」「消しゴ ム」である。

ステップ 2 生成された誤り選択肢候補には、正解の同義語などの別解が含まれる可能性が高い。そ れらを除去するため、クラウドソーシング4)を用い

2）この source concept と関係からは、「虹「夕焼け」「夜空」 のような良い 3 つ組も抽出される。

3） Hugging Face Hub にある "google/mt5-large" と "sonoisa/t5base-japanese" の 2 つの事前学習モデルを用いる。

4) Yahoo!クラウドソーシング  を用いた。
てフィルタリングを行う。クラウドワーカに、質問 と、生成した誤り選択肢候補 5 件に正解を加えた 6 つの選択肢を提示し、正解となりうるものを全て選 んでもらう。5人のクラウドワーカから回答を収集 し、1 人も正解として選択しなかった選択肢のうち、生成結果における確率がもっとも高いものを誤り選択肢として採用する。上記の処理を 2 つのモデルの 誤り選択肢候補それぞれで実行し、2つの誤り選択肢を得る。いずれかのモデルの誤り選択肢候補にお いて、 5 件中の全ての候補が正解とみなされた場合、 その事例は除去し、次のステップに渡さない。

ステップ 35 択問題を作成するために、2つの新 しい誤り選択肢以外に誤り選択肢が 2 つ必要であ る。v1の誤り選択肢において、正解とほとんど関連 のない誤り選択肢が存在する一方で、多くの場合、正解と関連している誤り選択肢も存在している。そ のため、v1 の誤り選択肢から正解に類似したものを 2 つ選択する。これには事前学習モデル BERT [18] ${ }^{5}$ に基づく類似度を用いる。まず、正解を含む 5 つの 選択肢のそれぞれを BERT の Embedding 層に入力 し、 5 つのべクトルを取得する6)。次に、正解との コサイン類似度が高い誤り選択肢を 2 つ選択する。

ステップ 2 と 3 によって得られた 4 つの誤り選択肢と正解を用いて選択肢を再構成する。得られた 選択肢と v1 の質問をぺアにし、人間にとって解答可能かどうかをクラウドソーシングで検証する。10 人のクラウドワーカに回答してもらい、7 人以上が 正解した事例のみを採用する。この結果得られる データセットを v2-誤り選択肢生成データセットと 呼ぶ。

ステップ 4 選択肢間の類似性が上がったことに より、正解と誤り選択肢間の弁別性が低下する恐れ がある。例えば図 1 の例では、「ペンシル」は正解 の「万年筆」に近く、人間・計算機の双方が誤答す る可能性がある。弁別性を上げるために、新しい選択肢を基に質問の再作成をクラウドソーシングで 行う。正解の選択肢のみが正解になるようにクラウ ドワーカに質問を作成してもらう。作成された質問 は、v1と同様の方法でフィルタリングを行う7)。

v2-誤り選択肢生成データセットと同様に、人間 にとって解答可能かどうかをクラウドソーシングで

表 1 各種モデルの評価結果

} & \multicolumn{2}{|c|}{} \\

検証する。解答不可能なものを除去した結果得られ るデータセットを $\mathbf{2}$-質問リライトデータセットと 呼ぶ。

以上の手順により、拡張 v1 の 27,400 件から 13,117 件からなる $\mathrm{v} 2$-誤り選択肢生成データセットと、 10,524 件からなる v2-質問リライトデータセットを 構築した。2つのデータセットに共通の事例を抽出 し、 8,899 件からなる 2 種類の実験用データセット を構築した。これは次節の比較実験で使用する。

## 5 事前学習モデルによる評価

本研究で構築した $\mathrm{v} 2$ データセットが以前構築し たv1よりも難易度が上がっているかを事前学習モ デルを用いて評価した。また、v2-誤り選択肢生成 データセットと $\mathrm{v} 2$-質問リライトデータセットの比較も行った。

## 5.1 実験設定

広く用いられている事前学習モデルをファイン チューニングし、精度を算出した。実験に用いた事前学習モデルの詳細を付録 B に示す。モデルのファ インチューニングでは、 $\mathrm{v} 1$ と同様に、質問と選択肢 を連結した多肢選択式問題を解く8)。実験に用いた ハイパーパラメータを付録 Cに示す。また、v1 構築時と同様に、クラウドソーシングを用いて人間に よる精度を算出し、人間のスコアとモデルのスコア も比較する。

## 5.2 実験結果・考察

結果を表 1 に示す。まず、v2 の難易度が v1 より も高くなっていることがわかる。また、質問リライ トデータセットの難易度は誤り選択肢生成データ セットよりも下がっている。これは、正解と誤り選択肢間の弁別性が上がり、計算機にとっては解き

質問: つゆにつけてズルズルと音を立てて食べる頳類は？選択肢: コシヒカリご飯担々缅そばラーメン

質問: 修学旅行でもよく行く赤い色の電波塔は?選択肢: 東京タワー浅草寺 お台場 東京ドーム スカイツリー

図 3 早稲田大 RoBERTaLARGE $の$ 誤り例 (太字が正解、下線が不正解の出力）

やすい問題となっていることがわかる。例えば図 1 で、誤り選択肢生成データセットでは、システムの 出力は「ペンシル」となり誤っているが、質問リラ イトデータセットではシステムの出力は「万年筆」 となって正解できている。また、人間のスコアは全 てのデータセットにおいてほぼ同じ高いスコアであ ることから、v2が v1 に比べて問題の質が低下して いるわけではないことがわかる。

v1 と v2 の精度を比べると多くのモデルでかなり 精度が低下しているが、最も精度の高かった早稲田

しか精度が低下していないことがわかる。その強力 なモデルでの誤り例を図 3 に示す。このような問題 に正解するにはどのようにして常識的な知識を獲得 すればよいのか、今後の事前学習モデルの改良を考 える上での手がかりとなればよいと考えている。

## 6 おわりに

本論文では、計算機と人の協働によって常識推論 データセット JCommonsenseQA を改良する手法を提案した。実験の結果、v2 はv1よりも難易度の高い データセットであることを確認できた。本データ セットの構築によって、日本語において初めてベン チマーク構築と言語理解モデルの改良のサイクルを 一周回せたと考えている。v2 は今後、v1 と同じサ イト  で公開する予定である。

今後、さらに難易度の高いデータセットの検討を 進めるとともに、別の種類の質問応答データセット の構築にも取り組む予定である。

## 謝辞

本研究はヤフー株式会社と早稲田大学の共同研究 により実施した。

## 参考文献

[1] Kentaro Kurihara, Daisuke Kawahara, and Tomohide Shibata. JGLUE: Japanese general language understanding evaluation. In Proceedings of the 13th LREC, pp. 29572966, Marseille, France, June 2022.

[2] Alex Wang, Amanpreet Singh, Julian Michael, Felix Hill, Omer Levy, and Samuel Bowman. GLUE: A multi-task benchmark and analysis platform for natural language understanding. In Proceedings of the 2018 EMNLP Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP, pp. 353-355, Brussels, Belgium, November 2018.

[3] Alex Wang, Yada Pruksachatkun, Nikita Nangia, Amanpreet Singh, Julian Michael, Felix Hill, Omer Levy, and Samuel Bowman. SuperGLUE: A stickier benchmark for general-purpose language understanding systems. In H. Wallach, H. Larochelle, A. Beygelzimer, F. d'AlchéBuc, E. Fox, and R. Garnett, editors, Advances in NeurIIPS, Vol. 32, 2019.

[4] Alon Talmor, Jonathan Herzig, Nicholas Lourie, and Jonathan Berant. CommonsenseQA: A question answering challenge targeting commonsense knowledge. In Proceedings of the 2019 Conference of the NAACL-HLT, pp. 4149-4158, Minneapolis, Minnesota, June 2019.

[5] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach. arXiv, 2019. abs/1907.11692.

[6] Pranav Rajpurkar, Jian Zhang, Konstantin Lopyrev, and Percy Liang. SQuAD: 100,000+ questions for machine comprehension of text. In Proceedings of the 2016 Conference on EMNLP, pp. 2383-2392, Austin, Texas, November 2016.

[7] Pranav Rajpurkar, Robin Jia, and Percy Liang. Know what you don't know: Unanswerable questions for SQuAD. In Proceedings of the 56th ACL, pp. 784-789, Melbourne, Australia, July 2018.

[8] Zhilin Yang, Peng Qi, Saizheng Zhang, Yoshua Bengio, William Cohen, Ruslan Salakhutdinov, and Christopher D. Manning. HotpotQA: A dataset for diverse, explainable multi-hop question answering. In Proceedings of the 2018 Conference on EMNLP, pp. 2369-2380, Brussels, Belgium, October-November 2018.

[9] Dheeru Dua, Yizhong Wang, Pradeep Dasigi, Gabriel Stanovsky, Sameer Singh, and Matt Gardner. DROP: A reading comprehension benchmark requiring discrete reasoning over paragraphs. In Proceedings of the 2019 Conference of the NAACL-HLT, pp. 2368-2378, Minneapolis, Minnesota, June 2019.

[10] Robin Jia and Percy Liang. Adversarial examples for evaluating reading comprehension systems. In Proceedings of the 2017 Conference on EMNLP, pp. 2021-2031, Copenhagen, Denmark, September 2017.

[11] Alon Talmor, Ori Yoran, Ronan Le Bras, Chandra Bhagavatula, Yoav Goldberg, Yejin Choi, and Jonathan Berant. CommonsenseQA 2.0: Exposing the limits of AI through gamification. In Thirty-fifth Conference on NeurIIPS Datasets and Benchmarks Track (Round 1), 2021.

[12] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. JMLR, Vol. 21, No. 140, pp. 1-67, 2020.

[13] Alec Radford, Jeff Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. Language models are unsupervised multitask learners. 2019.

[14] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners. In $\mathrm{H}$. Larochelle, M. Ranzato, R. Hadsell, M.F. Balcan, and H. Lin, editors, Advances in NeurlIPS, Vol. 33, pp. 1877-1901, 2020.

[15] Alisa Liu, Swabha Swayamdipta, Noah A. Smith, and Yejin Choi. Wanli: Worker and ai collaboration for natural language inference dataset creation. arXiv. abs/2201.05955.

[16] Adina Williams, Nikita Nangia, and Samuel Bowman. A broad-coverage challenge corpus for sentence understanding through inference. In Proceedings of the 2018 Conference of the NAACL-HLT, pp. 1112-1122, New Orleans, Louisiana, June 2018.

[17] Robyn Speer, Joshua Chin, and Catherine Havasi. Conceptnet 5.5: An open multilingual graph of general knowledge. In Proceedings of the Thirty-First AAAI Conference on Artificial Intelligence, AAAI'17, p. 4444-4451, 2017.

[18] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the NAACL-HLT, pp. 41714186, Minneapolis, Minnesota, June 2019.

## A JCommonsenseQA 構築における 質問のフィルタリング方法

クラウドソーシングによる質問の作成後、正解の 文字数やキーワードの指定などでヒントを与えられ た難易度の低い質問、及び不適切な形式の質問を除去するために、以下のいずれかに該当する質問を持 つ問題を除去している。

・質問に選択肢の言葉が含まれる

・例えば「海の対義語を漢字 1 文字で？」など、質問に「○文字」という文字列が含まれる $(\bigcirc$ は数字)

・質問の文末が「?」ではない

## B事前学習モデルの詳細

実験に用いた事前学習モデルの詳細を表 2 に 示す。

 \\

表 2 実験に用いた事前学習モデルの詳細。モデル名の丸括弧内は Hugging Face Hub での名称を示す。どちらのモ デルも LARGE サイズも使用する。事前学習テキストの CC は Common Crawl を表す。

## C ハイパーパラメータ

実験に用いたハイパーパラメータを表 3 に示す。


# 読解問題における論理推論の一貫性評価

川畑 輝 1 菅原朔 2
1 奈良先端科学技術大学院大学 2 国立情報学研究所
kawabata.akira.kb3@is.naist.jp saku@nii.ac.jp

## 概要

複雑な論理推論に関する自然言語理解モデルの評価が信頼可能であるためには、予測結果の正しさだ けでなく、その予測のための妥当な推論根拠への理解も評価することが重要である。しかしこれまでの 自然言語理解タスクでは推論結果と推論根拠の一貫的な評価はなされてこなかった。そこで本稿では、既存の選択式の機械読解データセットに対して、そ の各選択肢が正答または誤答である理由を問う問題 を同じく選択式の機械読解データセットとして作成 することで、自然言語理解モデルの一貫的な理解評価に取り組んだ。両問題への人間正答率との比較か ら、現状の自然言語理解モデルには根拠に一貫的に 解答することが困難であることがわかった。また、推論タイプと特徵量寄与度の観点から根拠理解の難易度について分析し、寄与度の類似や推論の質的な 差異の難易度との関連性を明らかにした。

## 1 はじめに

自然言語理解モデルが人間のように信頼可能であ るためには、予測や生成の正しさだけではなく、そ の結果が論理的に妥当な根拠を踏まえたものである 必要がある。妥当な前提への理解が重要なタスクと して、近年では機械読解においてモデルの論理的推論能力を評価するデータセットが提案されている。 ReClor [1] は論理的推論を問うデータセットの代表例であり、GMAT、LSAT から収集された 4 択式の 機械読解データセットである。事前学習言語モデル $[2,3,4]$ の発展により人間と同程度の精度が報告さ れているなど、現状の自然言語理解モデルは論理的推論を理解する能力を有するように見える。

しかし既存研究はそうした事前学習言語モデルに 共通する弱点として、一貫的な予測の不得手を指摘 している $[5,6,7,8]$ 。具体的には、元の問題に否定 [8] や置換 [6] などの簡単な操作を施すことで、元の 問題と比べ精度が大きく低下したことが報告されて
いる。こうした研究から、言語理解能力評価におけ る一貫性検証の重要性が示唆されている。論理的推論は妥当な根拠への理解を前提として行 われるべきであるが、その規範的要請をモデルが満 たしているかどうかは自明ではない。それゆえ論理的推論能力の検証では、推論結果の正誤だけではな く、その根拠の理解も一貫的に評価するタスク設計 が望ましい。しかし一方で、そうした根拠はしばし ば問題中に明示されていないため、既存研究のよう に元の問題の簡単な変形を通して一貫性評価のため のデータセットを構築することはできない。そのた め、論理的推論の一貫性を検証するためには人手に よって元の質問に暗黙的に含まれる根拠を明示化 し、収集する必要がある。人手で推論根拠を収集し た研究も存在するが、それらは読解における論理的推論は対象としておらず、一貫性を評価できるタス ク設計にもなっていない $[9,10]$ 。

そこで本稿では論理的な推論に焦点を当てた一貫性評価データセット RULE (Rationale Understanding for Logical reasoning Evaluation) を構築し、論理的一貫性の評価実験を行なう。RULE は ReClor の問題 4,638 問のうち 600 問を対象に構築された、元の ReClor の問題の正誤根拠理解を問う 4 択機械読解 データセットである (図 1)。RULE に含まれる根拠理解問題は ReClor の問題の選択肢それぞれについ て作成され、その選択肢の正誤理由が正解選択肢、他の 3 つの選択肢の正誤理由が不正解選択肢となつ ている。600 問それぞれの選択肢について根拠理解問題を計 2,400 問作成し、後述する品質評価によっ て最終的に 1,406 問を得た。

実験では、システムの一貫的な論理推論理解の程度を評価するために ReClor で学習したべースライ ンモデルを RULEで評価した。その結果人間とモデ ルの精度には大きな乘離が見られた。さらに後続の 分析でモデルにとっての一貫的な根拠理解の難易度 に影響を及ぼす要素を調査したところ、特に誤答選択肢の根拠理解に改善の余地が大きく残されている

図 1 根拠理解問題の構築イメージ

ことが明らかになった。また、特徴量寄与分布と問題で問われる推論の質的な差異がモデルの根拠理解 と関連していることも示唆された。

## 2 関連研究

本研究と同じように自然言語処理モデルによる 推論の意味的な一貫性を変形問題で評価する試み はすでに存在する $[5,6,7,8]$ 。たとえば Elazar ら [6] は元の問題をパラフレーズしたデータセットを、 Ravichandar ら [8] は元の問題の否定推論箇所を編集 することでデータセットを構築し、それぞれの言語理解能力における一貫性を検証している。しかしこ れらの既存研究では論理的根拠に焦点を当てた一貫性の評価は行っていない。

他方で、根拠や説明データ自体についての 分析やタスク定義はすでに複数なされている [9, 11, 12, 13]。Aggarwal ら [9] は常識推論の QA デー タセット CommonsenseQA [14] に 4 つの選択肢の正誤理由をアノテートしたデータセット ECQAを構築 し、根拠生成と根拠検索タスクを定義した。Sun ら [13] は ECQA に含まれる根拠文を元の問題に連結し てモデルに解答させ、問題への解答に根拠文が果た す役割を分析した。これらの研究は根拠データに注目しているものの、本研究と異なり元の問題で獲得 された言語能力の一貫的な汎化能力を検証するため にタスクや分析が設計されているわけではない。

## 3 RULE: データセット構築

本研究では論理的推論の一貫的な根拠理解を評価 するデータセット RULEを構築した。RULEに含ま れる問題 (以降、根拠問題) は ReClor の訓練セット からランダムに選ばれた 600 問 (以降、主問題) から 作成され、同一の文脈文で各主問題の選択肢の正誤理由を問う。ReClor で学習したモデルを評価するた めに、根拠問題は主問題と同様に文脈文、質問文、 4 つの選択肢から構成される選択式の機械読解タス クとした。 3.1 節では選択肢 (根拠文) の収集方法を、 3.2 節では質問文の収集方法を説明する。

## 3.1 正答・誤答根拠の収集

参加者の選定 根拠文を収集するにあたって二段階の資格テストによって事前に参加者を選抜した。 まず一段階目の選抜として、応募者に ReClor の問題 10 問を解かせ、その正答率が 8 割以上の場合に 合格とした。次に二段階目の選抜として、応募者に ReClor の問題 1 問を提示し、その問題の各選択肢に ついて正誤根拠の執筆を課した。提出された根拠文 について著者らが (1)十分具体的であるか、(2) 問題 の意図と合致しているかという二つの基準で評価 し、最終的なタスク参加者を決定した。この資格テ ストは Amazon Mechanical Turkを通じて行われた。最終的な通過人数は 57 人である。

根拠執筆タスク 以上の資格テストを通過した参加者に根拠文の執筆タスクを依頼し、50 人が執筆タ スクに参加した。根拠文執筆タスクでは各回ごとに 参加者に ReClor の問題が 1 問、各選択肢の正誤と共 に提示され、参加者は各選択肢の正誤理由を執筆す る。今回の研究では ReClor 600 問に対して正誤根拠 を収集し、計 2,400 個の根拠文が集まった。

品質評価 低品質な根拠文を除くために、具体性 の観点から評価を行い選別した。具体的でない根拠文 (e.g., "Because this is not mentioned in the passage.") は 4 択問題の選択肢として機能しないだけでな く、問題に意図されている暗黙的な推論を明示化す るという RULE の趣旨から考えても望ましくない。 そのため資格テストを通過した参加者に、根拠執筆
者と評価者が重複しない形で評価タスクを依頼し た。評価タスクでは参加者は ReClor の問題 1 問と、 その問題の選択肢のどれかに対応する根拠文を提示 され、根拠文と対応する選択肢を答える。根拠文が 具体的でなければ選択肢との対応づけは困難である と考えられるため、この方法で具体性を伴った根拠文を選別した。その結果 1,860 個の根拠文と 475 個 の主問題が残った。なお、根拠問題の選択肢は 4 つ の根拠文から構成されるため具体性評価によって根拠文が 1 つでも除かれるとその主問題では根拠問題を構成できないが、根拠問題の数を確保するため に 4 つ中 3 つ通過した場合は残り 1 つの根拠文を “None of the above choices" に置き換えることで根拠問題を構成した。

## 3.2 質問文の生成

具体性評価テストに通過した根拠文それぞれ について、主問題の質問文と選択肢から、その選択肢の正誤の根拠を問う質問文（根拠質問文）を 生成した。生成には GPT-3 (text-davinci-003)を使用 し、主問題の選択肢と質問文を入力としてその選択肢の正誤理由を問う質問文を出力とするよう なプロンプトを用いた。また、根拠質問文に選択肢の正誤を反映させるために、正答選択肢と誤答選択肢で使用するプロンプトを分け、誤答の プロンプトには生成対象の根拠質問文に “not” な どの否定表現を入れることで誤りの理由を問う 根拠質問文を生成させた。生成例として、否定プ ロンプトを入力した GPT-3 に質問文 “What mistake does the argument commit in its reasoning?” と 選択肢 “It confuses probability and certainty.”を与えると、“What evidence is there that the argument does not commit the mistake of confusing probability and certainty?" という 根拠問題用の質問文が生成される。

品質評価 収集された根拠文と根拠質問文から根拠問題を構成した。人間の正答可能性が保証された 根拠問題を選別するために、最終的な品質評価とし て人間の正答率を測定した。資格テストを通過した 57 人に対して根拠問題の解答を依頼し、それぞれの 問題について 3 人分の解答結果を収集した。 3 人中 2 人以上が正解または 3 人全員が “None of the above choices”を選択した問題 1,406 問を解答可能な問題 とみなし、評価問題として採用した。

主問題として使用した ReClor の問題と RULE は、文脈文の数はどちらも 467、質問数はそれぞれ 467
と 1,406 、質問文の平均の長さ (単語数) はそれぞれ 13.4 と 29.6、選択肢の平均の長さは 21.5 と 16.7 で あった。ReClor と比べて RULE の質問文は平均的に 長いが、これは RULE の質問文が主問題の質問文と 選択肢の内容を含むためである。

## 4 評価実験

## 4.1 実験設定

評価には DeBERTa-V3-Large [4, 15] と GPT-3 (textdavinci-003) [16] を用いた。紙面の都合上、性能の高 かった GPT-3 の結果を報告する。両者の比較は付録 A に示す。モデルの根拠理解問題への一貫的な汎化能力を評価するため、評価データには今回作成した RULE 1,406 問と主問題 467 問の 2 種類を用いる。

## 4.2 実験結果

RULE における汎化性能 モデルの一貫的な論理的推論能力を評価するために ReClor で訓練したモ デルをRULE で評価した。モデルが根拠を正確に把握して主問題に正答しているのであれば、ReClor で の正答率と RULE での正答率に大きな差はないはず である。精度評価の結果を表 1 に示す。RULE 全体 での精度を見ると、ReClor での精度と乘離があるだ けでなく、下線を付した $\Delta=27.48$ から、ReClorにお いて人間に匹敵するほどの精度を記録できるモデル であっても、根拋理解を評価の考慮に入れると人間 の理解度とは未だ大きな開きがあることがわかる。

分析 1: 正答主問題における一貫性 ここでは正 しく答えられた主問題の根拠問題に精度評価の焦点 を当て、“正しく答えられた主問題の根拠問題には 同様に正しく答えられるべき”という要請をモデル が人間に比べどれほど満たしているか評価する。具体的には、モデルが正答した主問題それぞれの根拠問題 $N_{i}(i=1, \ldots, 467)$ 個のうちモデルまたは人間が 正答できた問題数 $C_{i}\left(C_{i} \leq N_{i}\right)$ の分布を算出するこ とで、正答した主問題における両者の根拠理解の程度を測る。集計された $C_{i}$ の分布は付録 B に示す。 GPT-3 と比べ、人間の方が各 $N_{i}$ についてより大き な $C_{i}$ の占める割合が多く、正答した主問題の根拠問題にも一貫して正答できるという結果となった。

分析 2: 正答・誤答の根拠と正答率 ここでは根拠問題への解答可能性と主問題の正誤関係との関連 を調查する。具体的には、根拠問題の正答率をその 主問題への解答結果（主問題正答・誤答）と主問題
表 1 根拠問題と主問題（ReClor、下部）における精度 (\%)。主問題への解答結果と作成元選択肢の正誤によって 分けて集計し、件数を括弧で示した。

における選択肢としての正誤（正答選択肢・誤答選択肢）という 2 つの条件で分けて集計した(表 1)。

表 1 を見ると、モデルは誤答選択肢の根拠問題に 弱いが、一方で正答選択肢の根拠問題では人間に肉薄するほど良い精度を記録していることがわかる。

誤答根拠問題への弱さに関しては、複数選択肢の 問題を多クラス分類として解くことに起因する個々 の選択肢の推論へのフィードバックの不十分さと、否定的な根拠推論という推論の複雑さが原因として 考えられる。正答選択肢に関しては、その根拠問題 を解くことと主問題の正答を答えることが類似して いるため、ReClor での学習が正答根拠問題にも有効 だったのだと考えられる。

分析 3: 推論タイプごとの精度比較 ここではモ デルの根拠理解に関する特徴を、問題で問われる推論の種類 (推論タイプ) の観点から定性的に分析す る。ReClor の問題で問われる推論には 17 の種類が あり、例えば “ Which one of the following would most seriously weaken the argument?” という質問文は、文脈文の主張を弱めるような選択肢を尋ねる Weaken という推論タイプに分類される。

ReClor と RULEでの推論タイプごとの精度を集計 したところ (付録 C)、全体的な傾向として、ReClor では推論タイプごとに精度に大きくばらつきが あるが、RULEに関しては比較的差は小さかった。 RULEでは全ての問題が一様に根拠を問う推論であ るという面があるため、推論タイプごとの差が顕著 には現れなかったのだと考えられる。また、より 暗黙的な推論への理解を求められる推論タイプほ
ど ReClor と RULE (正答選択肢) での精度差が顕著 であった。例えば文脈文の趣旨を問う Implication、 Conclusion/Main point、文脈文の主張の不備を指摘 する Weaken、Explain or Resolve では他の推論タイプ に比べ ReClor と RULE 間で精度差が大きい。考え られる理由として、これらの推論タイプの主問題で はモデルは文脈文に明示されていない情報を把握す る必要があるが、RULEではその暗黙的な推論が明示化されているため、回答が容易になったと思われ る。この結果は、提示された根拠文をモデルが問題 への理解形成に利用できている可能性を示唆する。

分析 4: 特徵量分布の差異比較 人間が正答選択肢の根拠問題を答える際には、主問題を答える際に 利用する情報と近い情報を文脈文に求めると考えら れる。この仮説がシステムにも当てはまるか調べる ため、DeBERTa の主問題予測時と正答根拠問題予測時の文脈文の寄与分布を Integrated Gradients [17] で 求め、両分布のコサイン距離を計算した。

同時に、今回は根拠理解の難易度と分布距離の関係を調べた。具体的には、モデルの根拠問題正答数 に基づいて主問題を EASY $(C / N \geq 2 / 3)$ 、MEDIUM $(2 / 3>C / N>1 / 3)$ 、HARD $(C / N \leq 1 / 3)$ の 3 セッ トに分け、それぞれの問題集合に含まれる主問題と 正答選択肢の寄与分布のコサイン距離を平均するこ とで、根拠理解の難しさとの関連を調査した。対象 サンプル数はそれぞれ 39、136、181 件である。

結果は EASY が 0.22、MEDIUM が 0.16、HARD が 0.11 であり、モデルが多くの根拠問題を解けている 主問題 (EASY) では、モデルがその正答根拠問題を 解く際に主問題を解く場合と比較的類似した情報を 利用していることがわかる。これは根拠問題への頑健さと、モデルが主問題と根拠問題で利用する特徴量の共通性が関係していることを示唆する。

## 5 結論

本稿では一貫的な根拠理解という観点から論理的推論能力の信頼性を評価するデータセット RULE を構築し、精度評価と分析を行った。実験の結果、 RULE における精度は人間と大きな乘離があるが、精度を下げている要因は誤答選択肢への低い頑健さ にあり、また、主問題と根拠問題間の特徵量寄与分布の類似性が根拠問題の正答率と関連しているとい う示唆が得られた。根拠理解への更なる分析、一貫性を改善するための具体的な方策等については今後 の課題としたい。

## 謝辞

本研究は JST さきがけ JPMJPR20C4 の支援を受け たものです。また、NAIST の渡辺太郎教授から貴重 なご意見をいただきました。感謝いたします。

## 参考文献

[1] Weihao Yu, Zihang Jiang, Yanfei Dong, and Jiashi Feng. ReClor: A reading comprehension dataset requiring logical reasoning. In International Conference on Learning Representations, 2020 .

[2] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[3] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. RoBERTa: A robustly optimized BERT pretraining approach. arXv preprint 1907.11692, 2019.

[4] Pengcheng He, Xiaodong Liu, Jianfeng Gao, and Weizhu Chen. DeBERTa: Decoding-enhanced BERT with disentangled attention. arXiv preprint 2006.03654, 2020.

[5] Marco Tulio Ribeiro, Carlos Guestrin, and Sameer Singh. Are red roses red? evaluating consistency of questionanswering models. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 6174-6184, Florence, Italy, July 2019. Association for Computational Linguistics.

[6] Yanai Elazar, Nora Kassner, Shauli Ravfogel, Abhilasha Ravichander, Eduard Hovy, Hinrich Schütze, and Yoav Goldberg. Measuring and improving consistency in pretrained language models. Transactions of the Association for Computational Linguistics, Vol. 9, pp. 10121031, 2021.

[7] Myeongjun Jang, Deuk Sin Kwon, and Thomas Lukasiewicz. BECEL: Benchmark for consistency evaluation of language models. In Proceedings of the 29th International Conference on Computational Linguistics, pp. 3680-3696, Gyeongju, Republic of Korea, October 2022. International Committee on Computational Linguistics.

[8] Abhilasha Ravichander, Matt Gardner, and Ana Marasović. CONDAQA: A contrastive reading comprehension dataset for reasoning about negation. arXiv preprint 2211.00295, 2022.

[9] Shourya Aggarwal, Divyanshu Mandowara, Vishwajeet Agrawal, Dinesh Khandelwal, Parag Singla, and Dinesh Garg. Explanations for CommonsenseQA: New Dataset and Models. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natu- ral Language Processing (Volume 1: Long Papers), pp. 3050-3065, Online, August 2021. Association for Computational Linguistics.

[10] Swarnadeep Saha, Prateek Yadav, Lisa Bauer, and Mohit Bansal. ExplaGraphs: An explanation graph generation task for structured commonsense reasoning. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 7716-7740, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[11] Zhilin Yang, Peng Qi, Saizheng Zhang, Yoshua Bengio, William Cohen, Ruslan Salakhutdinov, and Christopher D. Manning. HotpotQA: A dataset for diverse, explainable multi-hop question answering. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 2369-2380, Brussels, Belgium, October-November 2018. Association for Computational Linguistics.

[12] Naoya Inoue, Pontus Stenetorp, and Kentaro Inui. R4C: A benchmark for evaluating $\mathrm{RC}$ systems to get the right answer for the right reason. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 6740-6750, Online, July 2020. Association for Computational Linguistics.

[13] Jiao Sun, Swabha Swayamdipta, Jonathan May, and Xuezhe Ma. Investigating the benefits of Free-Form rationales. arXiv preprint 2206.11083, 2022.

[14] Alon Talmor, Jonathan Herzig, Nicholas Lourie, and Jonathan Berant. CommonsenseQA: A question answering challenge targeting commonsense knowledge. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4149-4158, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[15] Pengcheng He, Jianfeng Gao, and Weizhu Chen. DeBERTaV3: Improving DeBERTa using ELECTRA-style pre-training with gradient-disentangled embedding sharing. arXiv preprint 2111.09543, 2021.

[16] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners. In $\mathrm{H}$. Larochelle, M. Ranzato, R. Hadsell, M.F. Balcan, and H. Lin, editors, Advances in Neural Information Processing Systems, Vol. 33, pp. 1877-1901. Curran Associates, Inc., 2020.

[17] Mukund Sundararajan, Ankur Taly, and Qiqi Yan. Axiomatic attribution for deep networks. In Proceedings of the 34th International Conference on Machine Learning - Volume 70, ICML'17, pp. 3319-3328. JMLR.org, August 2017.

## A DeBERTa と GPT-3 の比較

GPT-3 は 5-shot で、DeBERTa は根拠問題作成に利用した主問題 467 問を抜いた ReClor の train データ 4,171 件でファインチューニングした。DeBERTa は 10 epoch 学習させた中で ReClor の dev データ 500 件における accuracy が最も高い epoch のモデルを使用した。

表 2 DeBERTa と GPT-3 の精度比較 $(\%)$

## B 正答主問題への一貫性評価

表 3 根拠問題の正解数 (GPT-3) 亿応じた ReClor の問題数の分布 (\%) と件数 (括弧内)

表 4 根拠問題の正解数 (人間) そ応じた ReClor の問題数の分布 $(\%)$ と件数 (括弧内)

## C 推論タイプごとの精度比較

17 種類ある推論タイプのうち、サンプル数が 30 以上の推論タイプ ( 9 種類) のみを集計対象とした。

図 2 推論タイプごとの精度


# 利用規約における QA データセットの作成及び検証

高野海里 1 プタシンスキ・ミハウ ${ }^{1}$ 栘井文人 1
1 北見工業大学テキスト情報処理研究室
f1912290090@std.kitami-it.ac.jp \{michal, f-masui\}@mail.kitami-it.ac.jp

## 概要

本研究では利用規約が読まれていないことで起こ るユーザと企業の双方の問題やトラブルを指摘し， その問題を軽減するため，兄長な利用規約をわかり やすく自動要約する方法が有効であると考えられ る.しかし，自動要約の評価には，人間評価者の応用が必要となり, 近年公開されている数多くの言語 モデルの内，どのモデルが最適しているかの評価が 困難となっている．そこで，自動要約の評価を効率化させるために，文書を要約する前にその文書を理解しなければならないという考えのもと，質問応答 のタスクを用いて最適な言語モデルを選抜する。そ の中で，3つの質問応答データセットを用いて単言語・多言語両方種類の複数の言語モデルを微調整を 行うことで，日本語の質問応答タスクのおいて優れ た言語モデルと, 優れたパラメーター（学習率等） について検証し, その結果について報告する。

## 1 はじめに

インターネットの普及に伴いさまざまなサービ スが配信されており，それらの多くは利用開始時に 利用規約に同意することが求められている. サービ スの内容や社会的役割の増大に併せて文章量が増加・複雑化しているためか，利用規約を読まない ユーザは多くいることが報告されている [1]. 例と して Twitter の利用規約 ${ }^{1)}$ は 11,432 文字, Linkedin の 利用規約 ${ }^{2}$ は 13,233 文字, Facebook の利用規約 3 ) は 15,852 文字と原稿用紙にして 30 枚以上もの文量で ある.これらの穴長な利用規約はサービスを利用す るユーザだけでなく，サービスを提供する企業に とっても問題を生む可能性がある. ユーザにとって は利用規約を読まないことで詐欺などの危険や不利益を被る可能性があり, 企業側にとっては禁止事項

1) https://twitter.com/ja/tos

2) https://jp.linkedin.com/legal/user-agreement

3) https://ja-jp.facebook.com/legal/terms
の伝達漏れ等によるトラブルを誘発する可能性が ある.

このような問題を軽減する手法の一つとして， ユーザにとって読みやすくするために， 冗長な利用規約をわかりやすく要約し，ユーザによる読解率を 上げることである．しかし，企業の作業員が行う人手のみによる利用規約を要約する作業は，時間及び 人件費がかかり，さらに利用規約の内容が法律に合 わせて定期的に更新しなければならないことからす ると，人手にて行うことは極めて非効率的である. その課題を解決するためには，文章の自動要約の技術を使うという方法が挙げられる．要約とは元の意味が変わらないように文章を短くすることであり，正確な要約を行うためにはその文章の意味や内容を 正しく理解する必要がある.

そこで，我々はこのような要約時における入念な 理解の重要性に着目し, 言語モデルにあらかじめ要約対象文を理解4)させることで自動要約の精度を向上できると考えた. そこで本研究では, 要約対象文 を理解した状態を「要約対象文に関する質問に正し く答えられる状態」と見なし，質問応答のタスクで 学習させた言語モデルがどの程度の精度で自動要約 を行えるかを調査する。本論文では具体的に質問応答の部分に焦点を当て，最も高い精度を出せる事前学習済み言語モデルを調査した結果を報告する。

## 2 関連研究

ユーザが利用規約を読まないことにより生じるリ スクを低減するために，利用規約の読解を促進させ る研究は過去にも行われてきた。例えば，竹ノ内ら [2] は，利用規約の表示方法に工夫を加えたが，ユー ザの理解度に大きな改善が得られなかったことを報告している。 さらに，抽出型要約の観点からは，野村ら [3] は，個人の属性に左右される重要文と一般 に共通する重要文を利用規約から抽出している。ま

4）ここの “理解”とは人間と同じ意味の言語理解のことでは なく言語モデルにおいて文書を正確に処理を行うこと指す。

た，Doc2vec や SentenceBERTを用いて文章をべクト ル化し, 既知の利用規約との類似度が低い未知条項 を抜き出すことで不利益をもたらしうる文章を抽出する研究も行われている $[4,5]$. これらに対して 我々のアプローチは言語モデルを用いた抽象型要約 を視野に入れているため，より理解しやすい要約文 の生成が期待できる.

## 3 基本的な概念の説明

本研究では Question Answering（質問応答，略： QA) と Automatic Summarization (自動要約, 略：AS) の技術を組み合わせることで利用規約の文章量を減少させ，ユーザに読解を促進させることを最終目標 とする。そこで具体的には，質問応答の技術を最適 なモデルの選抜に用い，自動要約の技術における人手による評価を効率化させる.

質問応答とは，ある文章を入力に，その文章に関 する質問への回答を出力するタスクである．タスク の応用例として，顧客から寄せられた質問に対する 企業の回答の自動化 [6] や対災害システム [7] など が挙げられる．自動要約とは，ある文章において段落の意味を失わない程度に短くするタスクである。自動要約の応用例として, 研究論文の要約による論文選択時間の短縮 [8] などが挙げられる.

そこで本研究は, 図 1 に示したフローチャートの ように以下 5 段階で研究を進行する.

1. 利用規約の文章に対して，要約対象文である 「コンテキスト」「質問」「回答」からなる質問応答データセットを作成する.

2. 作成したデータセットを用いて複数の言語モデ ルを学習させ， QA タスクで評価し比較する。

3. 評価値が低い場合，データセットの調節（デー タの追加, 質問再作成など）後 2 . に戻ってプロ セスを繰り返す。

4. 評価値の高い言語モデルを用いて, 別に用意し た利用規約の文章を要約させ，さらにSA タス クに応用し評価する。

5. 評価値が低い場合は, 改めてデータセットの調節後 2 . に戻ってプロセスを繰り返す。

## 4 実験

本実験では，8つの言語モデルを 3 種類のデータ セットで学習後, 評価実験を行うことで，日本語の 質問応答のタスクにおいて優れたモデルを調査す

図 1 研究進行のフローチャート

る. また学習率を 2e-5 と 1e-4 に変化させ学習を行 うことで，日本語の質問応答タスクにおいてどちら の学習率が優れているか調査する。また本実験で 使用した実行環境は OS: Ubuntu 20.04.03 LTS，CPU: Intel Xeon E5-2687W v2 @ 3.40GHz，メモリ: 188GB, GPU: GeForce RTX 3060 である.

## 4.1 言語モデル

本実験ではデータを Tokenize（トークン化）する 際に，文中における文字の位置と範囲を示してい る return_offsets_mapping を使用でき, HuggingFace ${ }^{5)}$ にて公開されていて日本語に対応している 8 つの 言語モデルを用いて質問応答タスクの学習を行っ

5) https://huggingface.co

た. 使用した言語モデルの種類は BERT，DeBERTa， RoBERTa，DistilBERT の 4 つであり，多言語で事前学習された言語モデルを 4 つ, 日本語のみで事前学習された言語モデルを 4 つ使用した.

## 4.2 データセット

JaQuAD JaQuAD (Japanese Question Answering Dataset)[9] は日本語機械読解のために作成され た質問応答データセットであり, 日本語 Wikipedia の記事から収集されたコンテキストに対し 39,696 の質問と答えで構成されている.コンテキストは哲学，歴史をはじめとした，さまざまなドメインにお ける質の高い記事6)7)から取集されている。

JSQuAD JSQuAD は JGLUE (Japanese General Language Understanding Evaluation)[10] に構築されている 質問応答データセットである. 2021 年 11 月 1 日時点の日本語版 Wikipedia の記事から収集されたコン テキストに対し 72,721 の質問と答えでSQuAD 形式 で構成されているまた本実験では SQuAD 形式から DatasetDict 型への変換を行うことで，他のデータ セットと限りなく近い条件で使用している.

QADfT QADfT (Question Answering Dataset for Terms of Use $)^{8}$ は JaQuADを参考に, 筆者自ら作成した利用規約特化の factoid 型質問応答データセッ トである. Twitter(147 個，参照日:2022/7/13)，Face$\operatorname{book}$ (69 個, 参照日:2022/8/2), ニコニコ (61 個, 参照日:2022/8/12 ${ }^{9)}$ ， $\operatorname{LINE}\left(100\right.$ 個，参照日:2022/8/12) ${ }^{10)}$, Nintendo Switch(54 個，参照日:2022/8/12) ${ }^{11)}$ ，Nintendo WiiU(89 個，参照日:2022/8/16) ${ }^{12)}$ ，Nintendo 3DS(288 個, 参照日:2022/8/31) 13 ), Nintendo ネットワーク (192 個，参照日:2022/8/25 $)^{14)}$ ，の利用規約から収集した コンテキストに対し, 合計 1,000 の質問と答えで構成されている. 作成したデータセットの一例を 1 に 示す.

6）https://ja.wikipedia.org/wiki/wikipedia:良質な記事

7) https://ja.wikipedia.org/wiki/Wikipedia:秀逸な記事

8) https://huggingface.co/datasets/umisato/QADfT

9) https://account.nicovideo.jp/rules/account

10) https://terms.line.me/line_terms?lang=ja

11) https://www.nintendo.co.jp/support/switch/eula/ usage_policy.html

12) https://www.nintendo.co.jp/support/wiiu/pdf/ wiiu_eula.pdf

13) https://www.nintendo.co.jp/support/information/ 2022/pdf/Nintendo3DS_EULA_20220830.pdf

14) https://www.nintendo.co.jp/support/nintendo_ network/eula/index.html表 1 作成したデータセットの一例

## 4.3 評価指標:SQuAD

SQuAD は質問応答における評価指標の一つであ る. 評価に $\mathrm{EM}$ と $\mathrm{F} 1$ の二つのパラメータを用いる. EM は Exact Match の略で，言語モデルによって生成 された答えと正解が完全一致しているかを示すもの である. F1 は言語モデルによって生成された答え と正解がどれたけ近似しているかを示すものであ る. 本指標における EM のスコア範囲は 0-100であ り, F1 のスコア範囲は 0-1 である.

## 4.4 結果と考察

各データセットを用いた評価実験の結果を表 2～ 5 に示す. また, 表の可読性向上のためスコアの右隣の丸括弧はスコアが高い順に $1,2,3 \ldots$ としており，上位 4 つのスコアを太字で示している. 加えて，付録 A にて可読性向上のため表 2 5を棒グラフで表 したものを図 2〜5に示す.

双方の学習率，各データセットでスコアの 比較をすると，KoichiYasuoka/bert-base-japanesewikipedia-ud-head, bert-base-multilingual-cased, bert-base-multilingual-uncased $の 3$ つ言語モデル は常に上位 4 つのスコアに含まれることから，これ らの言語モデルは日本語の質問応答タスクにおいて 優れたモデルであるといえる．加えて，これら 3 つ の言語モデルの特徴として, モデルの種類が BERT であることから，BERT モデルは他モデルより日本語の質問応答タスクにおいて優れていると考察でき る。また，軽微な差はあれど全体的にスコアが高い ことから，学習率は 1e-4 の方が優れているといえ る. ただし，例外としてxIm-roberta-baseを QADfT

で学習させた場合のみ, 学習率が 2e-5 でのスコアが 大幅に高くなった. これに関して詳しい原因は不明であるが，他のデータセットと比べて QADfT の データ数が 1000 件と少なく，結果においてはっき りとしたパターンが現れにくかったことが考えら れる.

さらに，単言語のモデルの中，青空文庫で事前学習したモデルは全て結果が低く, Wikipediaを元に 事前学習したモデルは, Wikipedia の QA データセッ 卜で比較的に高い結果となっていることから，事前学習言語モデルにおけるドメイン依存性のことを示 していると考えられ，従来研究でも指摘されている 現象である [11][12][13].

そして，単言語のモデルと比べて，多言語のモデ ルの方が大幅結果が高く, 事前学習言語モデルでは 言語間の知識共有のことを示しており，従来研究で 指摘されていることが再確認されている [12][13].

総合的に判断した結果, 研究の次段階では利用規約の自動要約に用いるモデルを選抜した. そ こで，まず，総合的に結果が高かった bert-basemultilingual-cased を用いることにした. 同じモデル の「-uncased」バージョンも結果が高かったが，モ デルの種類が似ているため，最高結果のもののみを 用いることにした. さらに，複数の種類のモデルの 性能を比較するため, xlm-roberta-base も用いるこ とにした. そして, 前者の 2 モデルが多言語のモ デルのため, 単言語のモデルの性能も比較するた めには KoichiYasuoka/bert-base-japanese-wikipediaud-head も用いることにした.

## 5 おわりに

本研究では利用規約が読まれていない社会背景 に対して，質問応答と自動要約を合わせて用いるこ とで自動要約の精度を上げつつ，ユーザに利用規約 の読解を促せるかを考えた. その初期段階として， 3 つの質問応答データセットを用いて，8 種類の言語モデルの微調整を行うことで, 日本語の質問応答 タスクのおいて優れた言語モデルと, 優れた学習率 を選抜することができた. 具体的な評価実験の結果 として 8 つの言語モデルから日本語の質問応答夕 スクにおいて優れたものを得ることができ，ほとん どの言語モデルの学習率は 1e-4 の方が優れている ことが分かった. しかし一部の言語モデルとデータ セットの組み合わせでは, 学習率が 2e-5 の方が優れ ていた. 結果から BERT モデルは他モデルに比べ日表 2 評価実験の結果 (EM, learning late=2e-5)

表 3 評価実験の結果 (EM, learning late=1e-4)

表 4 評価実験の結果 (F1, learning late=2e-5)

表 5 評価実験の結果 ( $\mathrm{F} 1$, learning late=1e-4)

本語の質問応答タスクにおいて優れていると考察 できる. また，一部の言語モデルに関しては，組み 合わせたデータセットのデータ数が 1000 件と少な かったがため, 学習率が 2e-5 の方が優れた結果に なったのではないかと考察できる. 今後の課題とし て，学習率が 2e-5 の方が適していた言語モデルに組 み合わせたデータセットのデータ数を増やした後,変化が見られるかを再度検証する. また, 4.4 で述 べた 3 つの言語モデルを用いて自動要約を行う.

## 参考文献

[1] 公正取引委員会. デジタル広告の取引実態に関する 中間報告書. Technical report, 公正取引委員会, 42020.

[2] 竹ノ内朝陽, 矢谷浩司. サービス利用規約の読解促進を目指した表示手法の比較検討. FIT, Vol. 3, pp. 57-64, 2020.

[3] 佳太野村, 司前川, 晃三水谷, 正之荒井. 利用規約等に おける重要文の抽出手法の検討. 第 78 回全国大会講演論文集, Vol. 2016, No. 1, pp. 575-576, 032016.

[4] 竹ノ内朝陽, 矢谷浩司. 利用規約中の特異な文章 を強調するインタフェース. 電子情報通信学会全国大会. The Institute of Electronics, Information and Communication Engineers, 3 月 2021.

[5] 大茂森口, 健二中村. 機械学習を用いた利用規約から の未知条項の抽出に関する研究. 日本知能情報ファ ジィ学会 ファジィシステムシンポジウム 講演論文集, Vol. 34, No. 0, pp. 861-862, 2018.

[6] 佐藤理, 太田竜男, 佐藤雪乃, 松本桂子, 田澤和彦. 事例データベースを利用した質問応答システムの構築. 全国大会講演論文集,第 49 回,ソフトウェア, pp. 175-176, 091994.

[7] 後藤淳, 大竹清敬, 橋本力, 川田拓也, 鳥澤健太郎. 質問応答に基づく対災害情報分析システム. 自然言語処理, Vol. 20, No. 3, pp. 367-404, 2013.

[8] Jinghong LI. 観点を反映した深層学習および強化学習による学術論文の自動要約生成. 2021.

[9] ByungHoon So, Kyuhong Byun, Kyungwon Kang, and Seongjin Cho. Jaquad: Japanese question answering dataset for machine reading comprehension. arXiv preprint arXiv:2202.01764, 2022.

[10] 栗原健太郎, 河原大輔, 柴田知秀. Jglue: 日本語言語理解ベンチマーク. 自然言語処理, Vol. 29, No. 2, pp. 711-717, 2022.

[11] 柴田祥伍, プタシンスキミハウ, エロネンユーソ,ノ ヴァコフスキカロル, 栘井文人. 日本語大規模ブログ コーパス yacis に基づいた electra 事前学習済み言語 モデルの作成及び性能評価. 言語処理学会第 28 回年次大会 (NLP2022), pp. 285-289, 2022.

[12] Juuso Eronen, Michal Ptaszynski, Fumito Masui, Masaki Arata, Gniewosz Leliwa, and Michal Wroczynski. Transfer language selection for zero-shot cross-lingual abusive language detection. Information Processing \& Management, Vol. 59, No. 4, p. 102981, 2022.

[13] Juuso Eronen, Michal Ptaszynski, and Fumito Masui. Zero-shot cross-lingual transfer language selection using linguistic similarity. Information Processing \& Management, Vol. 60, No. 3, p. 103250, 2023.

## A 付録

図 $2 \mathrm{EM}$ (learning late=2e-5)

図 3 EM (learning late $=1 \mathrm{e}-4$ )

図 4 F1 (learning late $=2 e-5$ )

図 5 F1 (learning late=1e-4)