# 確信度を考慮した言語モデルの関係知識評価

吉川和 ${ }^{1,2}$ 岡崎直観 1
1 東京工業大学 情報理工学院 2 富士通株式会社 富士通研究所
\{hiyori.yoshikawa@nlp., okazaki@\}c.titech.ac.jp

## 概要

本稿では，事前学習済み言語モデルが学習の過程 で獲得した関係知識を評価する LAMA probe タスク において，モデル出力に対する確信度を考慮した選択的予測の設定を導入し，その評価を行う。選択的予測の設定では，クエリに対する予測結果の確信度 を算出し，予測結果を出力するか否かを決定する. これにより，予測を行った事例に対する精度に加 え，誤った予測を出力するリスクをどの程度低減で きるかを考慮した評価が可能となる．本稿では，言語モデルのパラメータと出力のみを用い，追加の訓練データを必要としない複数の確信度指標を提案 し, LAMA probe タスクを選択的予測の設定で評価 する. 実験では，特定の確信度指標の組み合わせが 複数のデータセットで有効であり, さらに予測に直接用いた場合に予測精度そのものを改善できること が示された。

## 1 はじめに

近年，大量のテキストで学習した言語モデル を様々な後段タスクに転用する研究が盛んであ る $[1,2]$. このようなことが可能となる背景として，言語モデルが事前学習の過程で語彙や文法といった 言語知識 $[3,4]$ だけでなく常識や世界知識 $[5,6]$ をテ キストから獲得していることが示唆されている. し かし, これらの知識は言語モデルのパラメータに埋 め込まれており，シンボリックな知識べースに対す るような明示的なアクセスや編集は困難である.

Petroni ら [7] は, 言語モデルの保持する常識や事実といった関係知識の量を評価することを目的と し, ベンチマークタスク LAMA probe を提案した. LAMA probe では，問い合わせたい関係知識を自然文の穴埋めタスクに変換し，言語モデルが正しく穴埋めできた場合，言語モデルがその関係に関する 「知識をもつ」と判断する．実験により，BERT 言語 モデル [1] がテキストからの関係抽出に基づく手法
と同等かそれ以上の精度を達成すると報告された..一方で，このようにして言語モデルから取り出さ れた知識の信頼性, 逆に言うと誤った知識が出力 されるリスクは LAMA probe の枠組みでは考慮され ない. シンボリックな知識ベースにおいては，知識 ベースに含まれる三つ組の信頼性を人手やシステム により評価し，信頼性の高い三つ組のみを残すこと で知識ベースの質が担保される $[8,9]$. 結果として,実用上は知識ベースに含まれる三つ組は信頼性の高 いものとみなすことができる. しかしながら，知識 への明示的なアクセスができない言語モデルにおい ては，個々の関係知識の信頼性を評価し，編集・削除する方法が確立されていない。ゆえに，知識べー スや言語モデルから知識を取り出すとき，次のよう な違いが生じる．知識べースでは，問い合わせに対 して適切な関係知識が存在しない場合，空の結果を 返す。一方，LAMA probe などでの言語モデルへの 問い合わせでは，与えられた問い合わせに対して何 らかの出力を行うことを前提としているため, 学習 で獲得できなかった知識に対して常に誤った出力を 返す. 誤った出力は正しい出力と一見して区別がつ かないため，この違いは解答される知識の信頼性を 重視する様々な応用において，重大な障壁となる.言語モデルの性能を向上させたとしても，学習コー パスに無い事実に関する問い合わせや，答えの存在 しない問い合わせ [10] は存在しうるので，モデルが 誤った知識を出力するリスクを無視できない.

こうした背景から, 本研究では言語モデルが返す 知識の誤りリスクを定量化するため，予測に対す る振る舞いを考慮したシステムおよび評価方法を 検討する。具体的には， LAMA probe タスクに選択的予測 (selective prediction) [11,12] の設定を導入す る. 選択的予測は機械学習の枠組みの一つで，シス テムはモデルの予測結果に基づき予測を実際に出力するか控えるかを選択できる。本研究では特に， Geifman と El-Yaniv [12] により提案されたリスク保証のある設定を考える。この枠組みでは，予測に基

づき計算される確信度スコアにより, 予測の出力可否を判断する. システムの評価では，決められた予測精度を保証しつつ，如何に多くの事例に対し予測 を出力できるかを測定する.

本研究では，言語モデルの知識評価に選択的予測 の設定を適用するため，言語モデルの出力のみを用 いて計算可能な複数の確信度指標を提案し, 実験を 通じて最適な指標を比較検討する. 実験の結果, 最適な確信度指標はモデルやデータセットにある程度依存するものの, 特定の確信度指標の組み合わせが 一貫して有効であることが確認できた. さらに, 確信度計算に有効な指標は予測の決定に直接用いた場合においても有効であることを確認した。

## 2 選択的予測

本節では機械学習一般における選択的予測 $[11,12]$ の枠組みについて説明する．選択的予測 の設定では, 入力に応じて予測結果を実際に出力 するかを判断する 選択的分類器 (selective classifier) を導入する. 入力空間 $x$ からラベル集合 $y$ かの 分類問題を考える. 選択的分類器はもとの分類モ デル $f: X \rightarrow Y$ および選択関数 (selection function) $g: X \rightarrow\{0,1\}$ の組 $(f, g)$ として定義される. 選択関数は, 分類器が入力 $x \in \mathcal{X}$ に対する予測 $f(x) \in \mathcal{Y}$ を実際に出力するかを決定する：

$
(f, g)(x):=\left.\{\begin{array}{ll}
f(x) & \text { if } g(x)=1 \\
\text { don't know } & \text { if } g(x)=0
\end{array} .\right.
$

Geifman と El-Yaniv [12] は，確信度指標に基づく 選択関数を用いたリスク保証ありの設定 (selection with guaranteed risk; SGR) を導入した. SGR では選択関数として, 確信度に基づく以下の関数を考える:

$
g(x)=\left.\{\begin{array}{ll}
1 & \text { if } \phi(x) \geq \beta \\
0 & \text { if } \phi(x)<\beta
\end{array} .\right.
$

ここで $\phi(x): X \rightarrow \mathbb{R}$ は $f$ 確信度関数 (confidence score function) で，その值が閾値 $\beta \in \mathbb{R}$ を超えたと きに限り分類器は予測結果を出力する. この形式で は， $\beta$ の值を適切に設定することによってシステム に課す誤りリスクの許容範囲を調整できる。 $\beta$ が大 きければ大きいほど，予測を出力する事例数が減少 するが，誤った予測を行うリスクを低減できる。

リスク保証ありの設定においては，選択的分類器 が誤った予測を行うリスク

$
\text { Risk }=\frac{1-N_{\text {corr }}}{N_{\text {pred }}}
$

と実際に予測を行った事例の割合（カバレッジ）

$
\text { Coverage }=\frac{N_{\text {pred }}}{N}
$

との間にトレードオフ (risk-coverage tradeoff) が存在 する。ここで， $N, N_{\text {pred }}, N_{\text {corr }}$ はそれぞれ全事例数，実際に予測を行った事例数，正しい予測を行った 事例数である．選択的分類器の性能は選択関数 (式 (2)) の閾値 $\beta$ を動かして得られるリスクーカバレッジ 曲線の AUC (RC-AUC) を用いて評価する. RC-AUC の值が小さいほど，予測を行った事例に対してリス クが小さく，良い分類器とみなされる.

## 3 LAMA Probe タスクへの選択的予測の適用

## 3.1 LAMA Probe タスクとモデル出力

LAMA probe では，問い合わせたい関係知識をテ ンプレートにより自然文に変換して言語モデルに 入力する。例えば “Dante” と born-in の関係にある エンティティについて問い合わせる際には, “Dante was born in [MASK]." という文がモデルへの入力とな る.ここで [MASK] は単語マスクを示す特別なトー クンで，このトークンに対して予測された単語をク エリに対する回答と見なす. ${ }^{1)}$ テンプレートは関係 の種類ごとに人手で作成されている.

本研究における実験では Petroni ら [7] と同様に，双方向言語モデルを評価対象とする．モデルへの入力は，関係知識を問うクエリを単語マスクを含む自然文に変換したものである (例: “Dante was born in [MASK].”). 言語モデルは位置 $t$ がマスクされた大力文 $x=W_{\backslash t}:=\left(w_{1}, \ldots, w_{t-1}\right.$, [MASK], $\left.w_{t+1}, \ldots, w_{|W|}\right)$ を 受け取り, 位置 $t$ の単語の予測確率 $P_{\mathrm{LM}}\left(w_{t} \mid W_{\backslash t}\right)$ を 出力する. すなわち, 言語モデルによる予測確率最大の単語 $w^{\prime}$ を予測単語とする:

$
f(x)=w^{\prime}:=\arg \max _{w_{t}} P_{\mathrm{LM}}\left(w_{t} \mid W_{\backslash t}\right)
$

以下，マスク付き入力文 $W_{\backslash t}$ のマスク位置を予測単語 $w^{\prime}$ で置き換えた文を $W^{\prime}$ と表す。

## 3.2 確信度関数

LAMA probe はもともと言語モデルが学習で獲得 した関係知識を評価するものであることから，確信度関数を構築するときには新しいデータによる言語

1）ここでは，言語モデルとして特に masked language model の ような双方向言語モデルを想定している. また，簡単のため 予測対象は一単語からなるエンティティに限定されている.

モデルの追加学習を必要としないことが望ましい.本節ではこの前提のもと，言語モデルの出力のみを 利用するいくつかの確信度関数を提案する.

Token ( $\mathrm{T}$ ) マスク位置における単語 $w^{\prime}$ の対数予測確率を用いる:

$
\phi_{\mathrm{T}}(x)=\log P_{\mathrm{LM}}\left(w^{\prime} \mid W_{\backslash t}\right) .
$

予測単語の推定（式 (5)）に用いた指標をそのま ま確信度計算に用いることに相当する。

Sent (S) 文の容認性やファクトチェックの文脈 では，文としての確からしさの指標として言語モデルによる文の生成確率が用いられて いる [13, 14]. ここでは，マスク付き言語モデ ルに基づく文の擬似尤度 (pseudo-log-likelihood; PLL) [15] を文長で正規化したものを採用する. マスク位置を予測単語 $w^{\prime}$ で置き換えた文 $W^{\prime}$ に 対し，確信度は以下のように計算される:

$
\phi_{\mathrm{S}}(x)=\frac{1}{\left|W^{\prime}\right|} \sum_{u=1}^{\left|W^{\prime}\right|} \log P_{\mathrm{LM}}\left(w_{u} \mid W_{\backslash u}^{\prime}\right)
$

Gap (G) 予測単語における予測確率が他の単語の ものと比べて顕著に大きいときにモデルが確信 をもって予測を行っているという仮定に基づ く. マスク位置における予測確率が最大の単語 $w^{\prime}$ と二番目に大きい単語 $w^{\prime \prime}$ との対数予測確率 の差を用いて，次にように確信度を計算する:

$
\phi_{\mathrm{G}}(x)=\log P_{\mathrm{LM}}\left(w^{\prime} \mid W_{\backslash t}\right)-\log P_{\mathrm{LM}}\left(w^{\prime \prime} \mid W_{\backslash t}\right) .
$

Reranking (R) 異なる指標で予測を評価した際に も，評価対象の予測が他の単語と比べて一貫し て優位にあるとき，予測確信度が高いという仮定に基づく．まず，式 (5) にあるようなマスク 位置における単語予測確率に基づき上位 $K$ 件 の予測候補 WV を得る. 次に，得られた予測候補を別の指標 $\psi$ を用いて並べ替える。並べ替え 後の $w^{\prime}$ の順位を $\operatorname{rank}_{\psi}\left(w^{\prime}\right)$ としたとき，確信度指標は以下の式で求められる:

$
\begin{aligned}
\phi_{\mathrm{R}}(x) & =\log _{2} \frac{K}{\operatorname{rank}_{\psi}\left(w^{\prime}\right)} \\
& =\log _{2} K-\log _{2} \operatorname{rank}_{\psi}\left(w^{\prime}\right) .
\end{aligned}
$

上式は本質的には並べ替え後の順位のみに基 づく指標であり，言語モデルによるプライバ シー情報の記憶リスクの評価にも用いられて いる [16]. 実験では $K=100$ とし， $\psi$ としては Sent スコア $\phi_{S}(x)$ を用いる.表 1 データセット毎の RC-AUC. 確信度が $X+Y$ のよう に表記されている場合，複数の確信度指標の和を用いて いる. GRE: Google-RE, TR: TREx, CN: ConceptNet, SQ: SQuAD，All: 全データセット。

## 4 実験

## 4.1 実験設定

本実験で用いる LAMA probe タスク [7] は言語 モデルのもつ関係知識を評価するためのベンチ マークタスクであり, Google-RE, TREx, ConceptNet, SQuAD の 4 つのサブタスクから構成される. 事前学習済み言語モデルとしては BERT-base および BERT-large [1] を用いる. 評価データ中のクエリの 全てについて, Wikipedia 内に少なくとも一つの正解が存在する. BERT は Wikipedia で学習されてい るため, クエリに正解するための情報は学習データ に含まれると考えられる. システムは，言語モデル がクエリに回答する知識を学習によって獲得できて いる場合には正答を返し，そうでない場合には予測 を行わないことが求められる。

## 4.2 結果

## 4.2.1 モデル・データセットと確信度関数

表 1 に，各確信度指標を用いた場合の RC-AUC を 示す. 全データセットに対する結果を見ると，単独 の確信度指標を用いた場合，Token (T)が最もよい性
表 2 予測に用いる指標を変えた場合の予測精度 (P@1) と，RC-AUC の最小值とそれを達成した確信度指標.

能を示した. 2 つの確信度指標を組み合わせた場合 には, Token と Reranking を組み合わせた場合 $(\mathrm{T}+\mathrm{R})$ に最もよい性能となった. この傾向は BERT-base, BERT-large に共通であった.

データセット中の全ての事例に回答した場合の誤 りリスクは BERT-base で 0.757, BERT-large で 0.739 である。これに対し， $\mathrm{T}+\mathrm{R}$ を確信度指標として用い た場合，いずれのモデルについてもカバレッジを 0.3 程度に設定することで誤りリスクを 0.5 未満まで 抑えることができた. 具体的なリスクーカバレッジ 曲線は付録 $\mathrm{A}$ 節に示す。

次に，データセット毎にそれぞれ RC-AUC を計算した結果を見ると，BERT-base では TREx を除い た 3 つのデータセットにおいて Token と Reranking の組み合わせ $(\mathrm{T}+\mathrm{R})$ が最高性能であるのに対し， BERT-large ではこれらのデータセットにおいて Token (T) を単独で用いた場合に最高性能であった. しかしながら， $\mathrm{T}+\mathrm{R}$ を確信度指標として用いた場合 の結果は，各データセットにおける最高性能と比較 して大きく劣るものではなかった．このことから， $\mathrm{T}+\mathrm{R}$ を確信度指標がいずれのデータセットにおいて も比較的よい性能を示すが，最適な確信度指標はモ デル・データセット毎に異なる場合があることが示唆される. TREx データセットについて関係の種類毎の比較を行った結果を付録 B 節に示す。

## 4.2.2 予測指標と確信度関数

3.2 節で提案した確信度指標の一部は, 最適な予測を決めるための指標として式 (5) の代わりに用い ることができる．そこで，各指標を予測に直接用 いた場合に LAMA probe の精度 (P@1) を改善できる か，またそれぞれの予測指標に対しどの確信度指標 を組み合わせることが最適かを調べた。予測指標と
して用いたのはToken (T)，Sent (S)，Reranking (R) お よびそれらの組み合わせである. Reranking につい ては，順位付けに用いる指標 $\psi$ として Token (T) と Sent (S) の二種類を用い， R の添え字で区別する． S と $\mathrm{R}_{\mathrm{S}}, \mathrm{T}$ と $\mathrm{R}_{\mathrm{T}}$ をそれぞれ単独で用いた場合の予測 は定義から同一になることから，Reranking を単独 で用いた場合の結果は省略する。また，Gap (G) は 予測指標が決まって初めて定義される指標であるた め対象外とする．なお，計算コストの都合上， $\mathrm{T}$ 以外の各予測指標に基づく予測結果の決定において は，まず $\mathrm{T}$ による指標（式 (5)）により候補を上位 100 件に絞り込んだのち，各予測指標を用いてリラ ンキングすることで予測結果を近似した.

表 2 に結果を示す. BERT-base，BERT-large いず れにおいても， $\mathrm{T}+\mathrm{R}_{\mathrm{S}}$ を予測に用いた場合に最高精度を達成した. さらに，いずれの指標を予測指標と して用いた場合においても， $\mathrm{T}+\mathrm{R}_{\mathrm{S}}$ を確信度指標と して用いた場合に RC-AUC が最善となった.このこ とから， $\mathrm{T}+\mathrm{R}_{\mathrm{S}}$ が予測指標としても確信度指標とし ても有効な指標であると考えられる。

## 5 まとめ

本稿では，言語モデルのもつ関係知識を評価する LAMA probe タスクに選択的予測の設定を導入し， モデル出力の精度に加え，モデル出力の正しさを何 らかの確信度指標を用いて判別できるかを評価し た. 実験結果から，一般的に予測に用いられるマス ク単語の予測確率値をそのまま用いるよりも，提案 した Reranking スコアと組み合わせて用いることが 予測・確信度計算双方において効果的であることが 示唆された。また，適切な確信度指標は用いるモデ ルや評価対象のデータセットによって異なる場合が あることを示した. 今後は，対象タスクやモデルと 最適な確信度指標の関係を詳細に調査し, 多様なモ デル・タスクにおけるモデル出力の信頼性を担保す るための手法を検討したい。

## 謝辞

本研究は JSPS 科研費 19 H01118 の助成を受けたも のです.

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chap-
ter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[2] Alec Radford, Jeff Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. Language models are unsupervised multitask learners. 2019.

[3] Alex Warstadt, Yu Cao, Ioana Grosu, Wei Peng, Hagen Blix, Yining Nie, Anna Alsop, Shikha Bordia, Haokun Liu, Alicia Parrish, Sheng-Fu Wang, Jason Phang, Anhad Mohananey, Phu Mon Htut, Paloma Jeretic, and Samuel R. Bowman. Investigating BERT's knowledge of language: Five analysis methods with NPIs. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLPIJCNLP), pp. 2877-2887, Hong Kong, China, November 2019. Association for Computational Linguistics.

[4] Alessio Miaschi, Dominique Brunato, Felice Dell'Orletta, and Giulia Venturi. Linguistic profiling of a neural language model. In Proceedings of the 28th International Conference on Computational Linguistics, pp. 745-756, Barcelona, Spain (Online), December 2020. International Committee on Computational Linguistics.

[5] Antoine Bosselut, Hannah Rashkin, Maarten Sap, Chaitanya Malaviya, Asli Celikyilmaz, and Yejin Choi. COMET: Commonsense transformers for automatic knowledge graph construction. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 4762-4779, Florence, Italy, July 2019. Association for Computational Linguistics.

[6] Adam Roberts, Colin Raffel, and Noam Shazeer. How much knowledge can you pack into the parameters of a language model? In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 5418-5426, Online, November 2020. Association for Computational Linguistics.

[7] Fabio Petroni, Tim Rocktäschel, Sebastian Riedel, Patrick Lewis, Anton Bakhtin, Yuxiang Wu, and Alexander Miller. Language models as knowledge bases? In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLPIJCNLP), pp. 2463-2473, Hong Kong, China, November 2019. Association for Computational Linguistics.

[8] Chun How Tan, Eugene Agichtein, Panos Ipeirotis, and Evgeniy Gabrilovich. Trust, but verify: Predicting contribution quality for knowledge base construction and curation. In Proceedings of the 7th ACM International Conference on Web Search and Data Mining, WSDM '14, pp. 553-562, New York, NY, USA, 2014. Association for Computing Machinery.

[9] Shengbin Jia, Yang Xiang, Xiaojun Chen, Kun Wang, and Shijia. Triple trustworthiness measurement for knowledge graph. In The World Wide Web Conference, WWW '19, p. 2865âĂŞ2871, New York, NY, USA, 2019. Association for Computing Machinery.

[10] Najoung Kim, Ellie Pavlick, Burcu Karagol Ayan, and Deepak Ramachandran. Which linguist invented the light- bulb? presupposition verification for question-answering. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 3932-3945, Online, August 2021. Association for Computational Linguistics.

[11] Ran El-Yaniv and Yair Wiener. On the Foundations of Noise-free Selective Classification. Journal of Machine Learning Research, Vol. 11, No. 53, pp. 1605-1641, 2010.

[12] Yonatan Geifman and Ran El-Yaniv. Selective Classification for Deep Neural Networks. In Proceedings of the 31st International Conference on Neural Information Processing Systems, NIPS' 17, pp. 4885-4894. Curran Associates Inc., 2017.

[13] Jey Han Lau, Carlos Armendariz, Shalom Lappin, Matthew Purver, and Chang Shu. How furiously can colorless green ideas sleep? sentence acceptability in context. Transactions of the Association for Computational Linguistics, Vol. 8, pp. 296-310, 2020.

[14] Nayeon Lee, Yejin Bang, Andrea Madotto, and Pascale Fung. Towards few-shot fact-checking via perplexity. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 1971-1981, Online, June 2021. Association for Computational Linguistics.

[15] Julian Salazar, Davis Liang, Toan Q. Nguyen, and Katrin Kirchhoff. Masked language model scoring. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 2699-2712, Online, July 2020. Association for Computational Linguistics.

[16] Nicholas Carlini, Chang Liu, Úlfar Erlingsson, Jernej Kos, and Dawn Song. The secret sharer: Evaluating and testing unintended memorization in neural networks. In Proceedings of the 28th USENIX Conference on Security Symposium, SEC'19, pp. 267-284, USA, 2019. USENIX Association

## A リスク-カバレッジ曲線

図 1 LAMA probe データセット全体に $\mathrm{T}$ おび $\mathrm{T}+\mathrm{R}$ を用 いた場合のリスクーカバレッジ曲線.

図 1 に予測指標を $\mathrm{T}$, 確信度指標を $\mathrm{T}$ または $\mathrm{T}+\mathrm{R}$ とした場合のリスクーカバレッジ曲線を示す. 図中 の最も右，カバレッジが 1.0 の場合のプロットが全 ての事例に対し予測を行った場合のリスクに相当す る.いずれのモデルにおいても全ての事例に対し予測を行った場合の誤りリスクは 0.7 を超えているの に対し，いずれかの確信度指標を用いて選択的予測 を行った場合，カバレッジを 0.3 程度に抑えること でリスクを 0.5 未満に抑えることができる.

## B 関係タイプによる比較

実験に用いたデータセットのうち，TREx データ セット中では一対一関係 (1-1)，多対一関係 (N-1),多対多関係 (N-M)をもつ複数の関係タイプに関する クエリが混在している。関係タイプごとに RC-AUC を計算した結果を表 3 に示す. 用いる確信度指標に よる性能差は，多対一や多対多の関係においてより 顕著であることが見て取れる. 関係の種類ごとに最適な確信度指標は異なるが，BERT-base では G+R， BERT-large では $\mathrm{T}+\mathrm{R}$ が一貫して最適な確信度指標表 3 TREx データセットにおける，関係タイプ毎の RC-AUC．表記方法は表 1 に準ずる。

に匹敵する性能を示している。
 吉川和 ${ }^{1,2}$ 岡崎直観 1 1 東京工業大学 情報理工学院 2 富士通株式会社 富士通研究所 \{hiyori.yoshikawa@nlp., okazaki@\}c.titech.ac.jp  