# 診療記録で事前学習した言語モデルからの 学習データ中の人名漏洩リスクの推定

1,2 中村優太 3 花岡昇平 4 野村行弘 4 林直人
1,3 阿部修 2 矢田竣太郎 2 若宮翔子 2 荒牧 英治
1 東京大学大学院医学系研究科生体物理医学専攻
2 奈良先端科学技術大学院大学
3 東京大学医学部附属病院放射線科
4 東京大学医学部放射線医学教室コンピュータ画像診断学／予防医学講座

## 1 はじめに

診療記録とは，医療機関などで主に医療従事者によって作成される，患者の身体状況，病状，治療などが記載された文書を指す。診療記録には，医師による経過記録のほか，看護記録，検査報告書，薬剤指導記録，栄養指導記録，リハビリテーション記録などが含まれる [1]. 近年 BERT [2] などの言語モデルにより，これら診療記録に対する自然言語処理が高精度で達成されるようになった [3].診療記録を学習データとした言語モデルも多数発表されており, ClinicalBERT [4], BlueBERT [5], UTH-BERT [6], MS-BERT [7] などは匿名化済み診療記録で学習されモデル自体も公開されている。一方 EhrBERT [8], AlphaBERT [9]のように, 論文化されているがモデル自体は非公開のものもある.

言語モデルを公開せず作成施設内での使用にとどめる場合, 学習データの匿名化が必須ではなくなり，学習データの作成コストを削減できる. しかし, そうしたモデルが誤って流出すると，個人情報の不正取得に利用される恐れがある.

先行研究では, 言語モデルからの個人情報漏洩リスクに対する見解は様々である．Carlini らは， GPT-2[10] モデルに自然言語生成させると約 $0.1 \%$ の頻度で学習データの一部をそのまま出力し, そこには個人情報も含まれることを示した [11]. 一方 Nakamura らは，対象とする個人情報の種類や個人情報漏洩の状況を定式化し, 現実的には診療記録で事前学習した BERT モデルからの個人情報流出リスクは低いと報告した [12].

この見解の相違の背景には次のような原因が推測される: (i) Carlini らはまず言語モデルに自然言語生成をさせ，その生成物に対して議論を行っているが，Nakamura らは学習データ中の対象個人情報の種類の決定と量の把握を出発点としている. (ii) Nakamura らは，個人情報不正取得の基準をやや厳しく定めており，学習データの各文書がどの患者由来か正しく推定できれば成功，それ以外はすべて失敗としたため，リスクを過小評価している可能性がある．実際は，単にある人物が学習データに含まれていたという事実が漏洩するだけでも本人への脅威となる可能性がある。当該医療機関への入院歴があることを第三者に知られてしまうためである。

そこで本研究では，事前学習済み言語モデルを用いて「ある患者名が学習データ中に含まれていたか否か」が正しく推定されてしまう可能性の定量的評価を試みた。結果，本研究で検討した範囲では，そのような人名漏洩リスクも低いものと考えられた。

## 2 関連研究

Malin らは，診療記録中の情報のうち個人が特定しやすいものほど漏洩時の影響が大きいとした [13]. 例えば，氏名や生年月日は単独で，口座番号や資格証番号は他データベースとの照合により， それぞれ個人を特定しうる。病歴や検査値などの医学的情報も, 経時的変化しないものや稀なもの（難病の既往歴など）は個人の特定に繋がりやすい.

本研究で用いる診療記録コーパスが作成された米国では，HIPAA 法 [14] が，二次利用する診療記録の氏名，住所，ID などの 18 種の識別子 (18 HIPAA Identifiers) を削除し，保護すべき個人情報 (PHI, Protected Health Information) の漏洩を防ぐよう定めている.

先行研究では, 言語モデルからの個人情報不正取
得は，中間パラメータを用いる white-box attack, 最終出力のみを用いる black-box attack に二分される。 White-box attack の例として, Zhu らは学習時の勾配から, Song らや Pan らは隠れ状態から入力文の復元を試みた $[15,16,17]$. Black-box attack の例として, Misra らや Hisamoto らは，学習済みの GPT-1 [18] や機械翻訳モデルが, 文書サンプルが学習データ内外どちらのものか識別しうることを示した $[19,20]$. Carlini らは, LSTM [21] モデルが学習データの部分文字列を意図せず記憶しうることを示し，その定量評価法を提案したほか [22], GPT-2 モデルからの学習データの一部の復元に成功した [11].

## 3 問題設定および材料

## 3.1 問題設定

本研究では，以下のように細部の異なる個人情報漏洩の状況設定を 2 つ検討する。

状況設定 1 以下の 3 条件を仮定する:
- 医療機関は診療記録全体から部分集合 $\mathscr{D}_{\text {private }}$ を得る。
- 医療機関は，事前学習済みのドメイン非特化な言語モデル $M_{\text {general }}$ に D private を用いた事前学習を追加して $M_{\text {hospital }}$ とし， $M_{\text {hospital }}$ を公開する。

・攻撃者はターゲットとする氏名のリスト $\mathscr{L} を$作成する. 攻撃者は $M_{\text {hospital }}$ を用いて $\mathscr{L}$ の各氏名が Dprivate に含まれていたか否か推測する (つまり $\mathscr{L}$ 内の各氏名に対して二値分類を行う).

状況設定 2 「状況設定 1」に以下を加える：

・医療機関は $\mathscr{D}_{\text {private }}$ を HIPAA 準拠匿名化したものを $\mathscr{D}_{\text {public }} とし ， \mathscr{D}_{\text {public }}$ も公開する.

KART Framework [12]を用いると，状況設定 ${ }_{i}$ は 「攻撃者の事前知識, 学習データの匿名化, 攻撃者が利用可能な言語資源, 攻撃者の目標」の 4 パラメータの組として以下の $\mathrm{KART}_{i}$ のように表せる:

$
\operatorname{KART}_{1}=\left(\mathscr{L}, \mathrm{id}, \varnothing,\left.\{\mathbb{1}\left(\text { name } \in \mathscr{D}_{\text {private }}\right) \mid \text { name } \in \mathscr{L}\right.\}\right)
$

$
\mathrm{KART}_{2}=\left(\mathscr{L}, \mathrm{id},\left.\{\mathscr{D}_{\text {public }}\right.\},\right.
$

$\left.\{1\left(\right.\right.$ name $\left.\in \mathscr{D}_{\text {private }}\right) \mid$ name $\left.\left.\in \mathscr{L}\right.\}\right)$

## 3.2 コーパス

MIMIC-III [23] および MIMIC-III-dummy-PHI [12] を利用した. MIMIC-III は英語の診療記録約 208 万文書からなる大規模コーパスであり, HIPAA 準拠

匿名化のため 18 HIPAA Identifiers にあたる個人情報が特殊記号 (placeholder) に置換されている。また MIMIC-III-dummy-PHI は, MIMIC-III $の$ placeholder $の$ うち対象個人情報のカテゴリが推定可能なものを， Faker ライブラリ ${ }^{11}$ や i2b2 2006 shared task [24] デー タセットから無作為に生成・抽出したダミ一個人情報で再置換し，あたかも個人情報を含んでいるかのように改変したものである.

図 1 のように, MIMIC-III から 100 万文書を無作為に選んで $\mathscr{D}_{\text {private }}$ とし, 同じ 100 万文書を MIMICIII-dummy-PHI から選んで $D_{\text {public }}$ とした. つまり $\mathscr{D}_{\text {private }}$ と $\mathscr{D}_{\text {public }}$ は匿名化の有無以外は同一である.

## 3.3 対象言語モデル

$M_{\text {general }}$ は Google によって公開されている uncased BERT $_{\text {BASE }}$ モデルとした. また $M_{\text {general }}$ から開始して $\mathscr{D}_{\text {private }}$ による事前学習を追加したものを $M_{\text {hospital }}$ とした。事前学習のパラメータは ClinicalBERT [4] を踏襲し, 最大入力長 128 トークン, 学習率 $2 \mathrm{e}-5$, batch size 64, step 数 100,000 とした.

## 3.4 人名漏洩テストの対象患者氏名

実際に D Drivate に出現する氏名 (正例) と出現しない氏名 (負例)を同数ずっ用意し, 正例と負例の和集

正例の収集方法を以下に示す. 一般的に診療記録に患者氏名はほとんど記載されないが，MIMIC-III では患者の年齢と性別を述べた “ $\mathrm{X}$ is a(n) Y years old (fe)male"という形の一節を探すと，まれに X が一般名詞句ではなく患者氏名である場合がある．そこで，そうした一節から始まる連続した 5 文を重複を除いてすべて抽出した. 次に，各抽出箇所のうち，患者氏名 X の姓，名がともに $M_{\text {general }}$ によって 1トークンで表現されるもの (subword に分割されな

いもの)のみを集め，「患者氏名パターン」とした。 $D_{\text {private }}$ には患者氏名パターンは 232 回出現し, 重複を除いて 158 種存在した。また，氏名は重複を除いて 130 種存在しており,この 130 種を正例とした.

負例は，Faker に収録されている米国の実際の氏名の分布を近似した分布からサンプリングを繰り返し，重複を除いて 130 種収集した. その際，姓名ともに $M_{\text {general }}$ が 1 トークンで表現でき，かつ以下の条件のいずれかを満たすサンプルのみを受理した.
- Easy Negative: Dprivate に一度も出現しない.また，姓と名のいずれも，正例に含まれるどの氏名とも一致しない.
- Hard Negative: $D_{\text {private }}$ に一度も出現しないが,姓と名のうちどちらか一方が正例の氏名のうち少なくとも 1 つ以上と一致する.

## 4 人名漏洩リスクの評価実験

攻撃者が $M_{\text {hospital }}$ を用いて患者氏名パターン中の氏名部分を復元しょうとしたと想定し，その実現性を評価した. 状況設定 1 では攻撃者は $\mu_{\text {hospital }}$ 以外に言語資源をもたないため，自然言語生成によって学習データの再現を目指すものとした. 状況設定 2 では攻撃者は $\mathscr{D}_{\text {public }}$ も利用できるため， $\mathscr{D}_{\text {public }}$ の匿名化の解除を目指すものとした。

## 4.1 自然言語生成による人名推定

Wang らの研究 [25] を参考に， $M_{\text {hospital }}$ を用いたギブスサンプリングによって 10,000 文書を生成し，その集合を $\mathscr{G}$ とした. 手法の詳細は付録 Bを参照されたい. 生成例を以下に示す.

次に，各候補氏名 $l \in \mathscr{L}$ に対し， $l$ の姓または名のうち少なくとも一方が 1 度でも 9 に出現していれば正例，そうでなければ負例と推定した。

## 4.2 Masked Langauge Model による人名推定

名マスキング箇所に対し， $M_{\text {hospital }}$ を用いた masked language model によって患者氏名を復元させ，その際に高い事後確率が割り当てられる傾向にある姓名が Dprivate に含まれていたものと推測した.

まず全患者氏名パターン 158 種に対応する $\mathscr{D}_{\text {public }}$内の記載の集合を $\delta$ とおいた. $\delta$ の要素は“(名の placeholder) (姓の placeholder) is a(n) (年齢) years old (fe)male""から始まる連続した 5 文である。次に， Sの各要素の冒頭の姓名の placeholderをそれぞれ [MASK] トークンに置換し，他の placeholder を削除したものをす'とした。

事前の検討では， $\delta^{\prime}$ の全要素を入力としても精度が得られなかった.そこで，言語モデルを学習モー ドの状態に切り替えて多数回 masked language model の推論を行う方針とし，推論の対象も $\delta^{\prime}$ から重複を許して 10,000 個選んだものの集合 $\mathcal{S}^{\prime \prime}=\left.\{\mathbf{s}_{i}^{\prime \prime}\right.\}_{i=1}^{10000}$ とした。これは言語モデルが推論モードでは同一サンプルに対して同一の出力を返すが，学習モードでは dropout の適用などによって実行毎に異なった事後確率を出力することを利用している.

最後に各候補氏名 $l \in \mathscr{L}$ を，学習モードでの masked language model による事後確率の平均が $M_{\text {general }}$ より $M_{\text {hospital }}$ で高くなる場合に正例と推測した. つまり, $l$ が

$\frac{1}{10000} \sum_{i=1}^{10000}\left.\{p\left(l \mid s_{i}^{\prime \prime}, M_{\text {hospital }}\right)-p\left(l \mid s_{i}^{\prime \prime}, M_{\text {general }}\right)\right.\}>0$ をみたせば正例，そうでなければ負例と推測した。

## 4.3 人名漏洩リスクの評価指標

否かを推測する二値分類であるため，評価指標にはF1 scoreを用いた. 参考のため, Accuracy, Precision， Recall も算出した.

## 5 結果と考察

表 1 に示すように, 自然言語生成は masked language model より高いF1 scoreを示し，負例が Easy Negative，Hard Negative の場合でそれぞれ 0.6542, 0.6052 であった. Masked language model は, 学習データのうち個人情報を除いた一部分を用いたにも関わらず，自然言語生成より低い F1 score となった.表 1 からは，自然言語生成が氏名候補を過大に推定し, masked language model が過小に推定する傾向がみられ，自然言語生成の Recall の高さが F1 score の上昇をもらたしたと思われる。この理由には，まず自然言語生成にギブスサンプリングを用いたことが挙げられる。ギブスサンプリングは互いに独立な
表 1: 学習データ中の患者氏名の推定結果.

表 2: 状況設定 1 において異なる言語モデルを用いた際の患者氏名の推定結果の変化.

サンプル点を多数得るための技法であり，結果として語彙中の様々な単語が動員され, 多様な生成結果が得られたものと思われる。一方， masked language model はトークン単位の空所補充であり, 学習時に出力の多様性ではなく正確性を優先させるものであるため，一部の単語にしか高い事後確率を割り当てなかったものと推測される. しかし, 本研究では masked language model は自然言語生成よりも Recall を低下させたのみで，明らかな Precision の上昇をもたらさなかった.

自然言語生成を $M_{\text {general }}$ を用いて行った結果との比較を表 2 に示す. 負例が Easy Negative の場合，つまり正例の姓，名のうち一方が 1 回でも出力されれば自動的に正解となる状況では， $M_{\text {hospital }}$ は $M_{\text {general }}$ より高い性能を示し，特に Accuracy は 0.4885 から 0.5731 に上昇した. しかし, 負例が Hard Negative の場合，つまり正例と姓または名の片方が一致する氏名が負例に必ず存在する状況では， $M_{\text {general }} と$ $M_{\text {hospital }}$ の差は明らかではなかった. なお, 生成された 10,000 文書に, BERT $_{\mathrm{BASE}}$ モデルによって 1 トークンで表現される姓は計 446 回, 名は計 2,911 回出現したが，フルネームつまり「姓+名」の並びは 113 回，そのうち $\mathscr{L}$ の候補と一致するものは 2 回のみであった. よって，少なくとも 10,000 文書を生成した時点では，患者氏名全体がそのまま出力されることは稀であり，姓名のいずれか一方が正しく推測する可能性も限定的と考えられる。ただし，自然言語生成は $M_{\text {hospital }}$ さえあればいくらでも行えるため，さらに多量の文書を生成すると人名漏洩リスクが上昇する可能性はある.以上からは，少なくとも本研究で検討した範囲では，言語モデルを用いてある人名が学習データ中に含まれていたか否かを推定できる可能性は小さいと思われる。理由は，(i) 自然言語生成は masked language model より高い F1 score や Recallを示すが,実際は学習前から限定的にしか変化していない，(ii)攻撃者が学習データのうち個人情報を含まない部分を入手したとしても，今回の検討手法では人名漏洩リスクに明らかな上昇はみられない，の２点である。

本研究の限界は 2 点存在する. 1 点目は, $M_{\text {general }}$ から事前学習を開始したため，患者氏名の推測が $M_{\text {general }}$ と $M_{\text {hospital }}$ のどちらの学習データ中の人名に依拠したか判別しづらい点である.今後は全くの初期状態から $M_{\text {hospital }}$ を事前学習した場合についての検討が有用と思われる． 2 点目は，学習データ中の人名のほとんどは医療従事者の氏名であり，患者氏名はごく一部に過ぎないという，診療記録特有の問題点である。つまり，言語モデルが学習データ中の人名を正しく推定しても，それが患者氏名ではない可能性が高い. すると，言語モデルからの人名漏洩リスクは，対象医療機関の診療記録中の人名に患者氏名が占める割合からも影響を受けると考えられ，本研究結果が全医療機関に一般化できるとは限らなくなる.今後は言語モデルからの個人情報漏洩リスクをより正確に評価するため，これらの限界を考慮したさらなる緻密な実験が必要と考えられる。

## 6 おわりに

本研究で検討した範囲では，言語モデルから学習データ中の人名が漏洩する可能性は小さいものと推測される。言語モデルからの個人情報漏洩リスクを網羅的に評価するため，さらに現実的な状況設定を対象としながら検討を続けていきたい.

## 参考文献

[1] 日本診療情報管理学会. 診療情報学. 医学書院, 第 2 版, 2015.

[2] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina

Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[3] Emily Alsentzer, John Murphy, William Boag, Wei-Hung Weng, Di Jindi, Tristan Naumann, and Matthew McDermott. Publicly available clinical BERT embeddings. In Proceedings of the 2nd Clinical Natural Language Processing Workshop, pp. 72-78, Minneapolis, Minnesota, USA, jun 2019. Association for Computational Linguistics.

[4] Kexin Huang, Jaan Altosaar, and Rajesh Ranganath. Clinicalbert: Modeling clinical notes and predicting hospital readmission, 2019.

[5] Yifan Peng, Shankai Yan, and Zhiyong Lu. Transfer learning in biomedical natural language processing: An evaluation of BERT and ELMo on ten benchmarking datasets. In Proceedings of the 18th BioNLP Workshop and Shared Task, pp. 58-65, Florence, Italy, August 2019. Association for Computational Linguistics.

[6] Yoshimasa Kawazoe, Daisaku Shibata, Emiko Shinohara, Eiji Aramaki, and Kazuhiko Ohe. A clinical specific bert developed with huge size of japanese clinical narrative. medRxiv, 2020.

[7] Alister D’Costa, Stefan Denkovski, Michal Malyska, Sae Young Moon, Brandon Rufino, Zhen Yang, Taylor Killian, and Marzyeh Ghassemi. Multiple sclerosis severity classification from clinical text. In Proceedings of the 3 rd Clinical Natural Language Processing Workshop, pp. 7-23, Online, November 2020. Association for Computational Linguistics.

[8] Fei Li, Yonghao Jin, Weisong Liu, Bhanu Pratap Singh Rawat, Pengshan Cai, and Hong Yu. Fine-Tuning Bidirectional Encoder Representations From Transformers (BERT)-Based Models on Large-Scale Electronic Health Record Notes: An Empirical Study. JMIR Med Inform, Vol. 7, No. 3, p. e14830, Sep 2019.

[9] Yen-Pin Chen, Yi-Ying Chen, Jr-Jiun Lin, Chien-Hua Huang, and Feipei Lai. Modified Bidirectional Encoder Representations From Transformers Extractive Summarization Model for Hospital Information Systems Based on Character-Level Tokens (AlphaBERT): Development and Performance Evaluation. JMIR Med Inform, Vol. 8, No. 4, p. e17787, Apr 2020.

[10] Alec Radford, Jeff Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. Language models are unsupervised multitask learners, 2019.

[11] Nicholas Carlini, Florian Tramer, Eric Wallace, Matthew Jagielski, Ariel Herbert-Voss, Katherine Lee, Adam Roberts, Tom Brown, Dawn Song, Ulfar Erlingsson, Alina Oprea, and Colin Raffel. Extracting training data from large language models, 2020.

[12] Yuta Nakamura, Shouhei Hanaoka, Yukihiro Nomura, Naoto Hayashi, Osamu Abe, Shuntaro Yada, Shoko Wakamiya, and Eiji Aramaki. KART: Privacy leakage framework of language models pre-trained with clinical records. 2020.

[13] Bradley Malin, David Karp, and Richard H. Scheuermann. Technical and policy approaches to balancing patient privacy and data sharing in clinical and translational research. J. Investig. Med., Vol. 58, No. 1, pp. 11-18, Jan 2010.

[14] The United States Department of Health and Human Services. Guidance on de-identification of protected health information. https://www.hhs. gov/sites/default/files/ocr/privacy/ hipaa/understanding/coveredentities/ De-identification/hhs_deid_guidance. pdf, Nov 2012.

[15] Ligeng Zhu, Zhijian Liu, and Song Han. Deep leakage from gradients. In H. Wallach, H. Larochelle, A. Beygelzimer, F. d'Alché-Buc, E. Fox, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 32, pp. 14774-14784. Curran Associates, Inc., 2019.

[16] Congzheng Song and Ananth Raghunathan. Information leakage in embedding models, 2020.

[17] Xudong Pan, Mi Zhang, Shouling Ji, and Min Yang. Privacy risks of general-purpose language models. In 2020 IEEE Symposium on Security and Privacy (SP), pp. 14711488, Los Alamitos, CA, USA, may 2020. IEEE Computer Society.

[18] Alec Radford, Karthik Narasimhan, Tim Salimans, and Ilya Sutskever. Improving language understanding with unsupervised learning, 2018.

[19] Vedant Misra. Black box attacks on transformer language models. In ICLR 2019 Debugging Machine Learning Models Workshop, 2019.

[20] Sorami Hisamoto, Matt Post, and Kevin Duh. Membership inference attacks on sequence-to-sequence models: Is my data in your machine translation system? Transactions of the Association for Computational Linguistics, Vol. 8, pp. 49-63, 2020.

[21] Felix A. Gers, Jürgen A. Schmidhuber, and Fred A. Cummins. Learning to forget: Continual prediction with lstm. Neural Comput., Vol. 12, No. 10, p. 2451-2471, October 2000.

[22] Nicholas Carlini, Chang Liu, Úlfar Erlingsson, Jernej Kos, and Dawn Song. The secret sharer: Evaluating and testing unintended memorization in neural networks. In 28th USENIX Security Symposium (USENIX Security 19), pp. 267-284, Santa Clara, CA, aug 2019. USENIX Association.

[23] Alistair E. W. Johnson, Tom J. Pollard, Lu Shen, Li-wei H. Lehman, Mengling Feng, Mohammad Ghassemi, Benjamin Moody, Peter Szolovits, Leo Anthony Celi, and Roger G. Mark. MIMIC-III, a freely accessible critical care database. Sci Data, Vol. 3, p. 160035, May 2016.

[24] Ozlem Uzuner, Yuan Luo, and Peter Szolovits. Evaluating the state-of-the-art in automatic de-identification. $J \mathrm{Am}$ Med Inform Assoc, Vol. 14, No. 5, pp. 550-563, 2007.

[25] Alex Wang and Kyunghyun Cho. BERT has a mouth, and it must speak: BERT as a Markov random field language model. In Proceedings of the Workshop on Methods for Optimizing and Evaluating Neural Language Generation, pp. 30-36, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

## A 患者氏名パターンに関する統計

正例である 130 種の患者氏名が， $\mathscr{D}_{\text {private }}$ の 158 種の患者氏名パターン中に計 232 回出現した. 表 3 に示すように, 同一の患者氏名が学習データ Dprivate 中に最大 4 種類の異なる複数種の患者氏名パターンとして出現している. また，同一の患者氏名パター ンが複数回繰り返し出現することもあり, 結果として患者氏名ごとの患者氏名パターン総出現回数も 1 回から 25 回とさまざまであった (表 4).

表 3: 患者氏名パターンの重複を除いた個数ごとの正例の個数.

 & 正例数 \\

3 種類 & 3 \\
2 種類 & 10 \\
1 種類 & 113 \\

表 4: 患者氏名パターン総出現回数ごとの正例の個数.

 & 正例数 \\

11 回 & 1 \\
7 回 & 2 \\
6 回 & 1 \\
5 回 & 3 \\
4 回 & 4 \\
3 回 & 6 \\
2 回 & 15 \\
1 回 & 97 \\

## B 自然言語生成手法の詳細

まず [MASK] トークンを含んだ Lトークン長の入力文 $\mathbf{x}^{(0)}=\left(x_{1}^{(0)}, \ldots, x_{L}^{(0)}\right)$ を用意し，次に $t=0, \ldots, T-1$ に対し， $\mathbf{x}^{(t)}$ 内のある 1 トークン $x_{i^{(t)}}^{(t)}$ を別単語に置換して $\mathbf{x}^{(t+1)}$ を得た. ただし $i^{(t)}$ は $x_{i^{(t)}}^{(0)}$ が [MASK] トークンであるように無作為に選んだ。これを繰り返して最後に得た $\mathbf{x}^{(T)}$ を生成結果とした.

単語の置換の際には，まず $\mathbf{x}^{(t)}$ を入力とする masked language model が位置 $i^{(t)}$ に高いロジットを与えた上位 $k$ 単語を BERT 辞書の語彙全体から選んで $v_{1}^{(t)}, \ldots, v_{k}^{(t)}$ とし, 次に $v_{j}^{(t)}$ に確率 $\frac{\exp \left(q_{j}^{(t)} / \alpha\right)}{\sum_{m=1}^{k} \exp \left(q_{m}^{(t)} / \alpha\right)}$
を割り当てるようなカテゴリカル分布を用いて置換先の単語を $\left.\{v_{j}^{(t)}\right.\}_{j=1}^{k}$ から無作為に 1 つ選んだ. ただし $q_{j}^{(t)}$ は $v_{j}^{(t)}$ に対する masked language model の口ジット， $\alpha$ は温度パラメータである.

本研究では $\mathbf{x}^{(0)}$ として文 “[CLS] Service: [MASK] [MASK] [MASK] [MASK] [MASK] is a [MASK] year old" の末尾に更に [MASK] トークン 18 個と [SEP] トークンを連結して $L=32$ としたものを用い， $T=500, k=100, \alpha=1.0$ とした.


# 手順構造を考慮した作業映像からの手順書生成

西村太一
京都大学大学院情報学研究科
nishimura.taichi.43x@st.kyoto-u.ac.jp
牛久祥孝
オムロンサイニックエックス株式会社
yoshitaka.ushiku@sinicx.com
橋本敦史
オムロンサイニックエックス株式会社
atsushi.hashimoto@sinicx.com
亀甲博貴
京都大学 学術情報メディアセンター
kameko@i.kyoto-u.ac.jp
森信介
京都大学 学術情報メディアセンター
forest@i.kyoto-u.ac.jp

## 1 はじめに

手順書は，料理や科学実験などの一連の手続きを自然言語で記述した文書である。手順書を作業映像から自動的に生成できるようになれば，作業者が作業内容を検証したり，同じ結果を再現したりする上で有用である. 本研究では，作業映像から手順書を生成することを目的とする.

正しく手順書を生成するためには，モデルは単に映像の情景を記述するのではなく，人が読んで作業を実施できるような一貫性を持った文を生成することが要求される. そのためには，材料や動作の依存関係を捉えること，つまり，(1) 動作や材料の順番が正しく，(2)ある手順の動作後の状態をもとに次の手順文を生成することが重要である.

我々は，材料や動作の依存関係を木構造をはじめとするグラフ構造で表現することで $[1,2,3]$, 前述した要件を満たすモデル化が可能になると考えている.こうした構造を手順構造と呼び，図 1 にその一例を示す. この例では, 手順 1 でトマトが切られ,手順 2 においてかぼちゃが切られ炒められる. こうして得られた切ったトマト, 炒められたかぼちゃが手順 $1 ， 2$ のノードにそれぞれ対応し，次に手順 3 で使われることを示している．以前の我々の研究では，動画ではなく写真列を対象に，同様の手順構造の半教師ありで学習しつつ，手順書を生成するモデルを提案した [2]. 本研究では，このアイデアを動画列へ拡張し，かつ教師なしで手順構造をモデル化することで，一貫性のある手順書を生成する手法を提案する。

図 1 物体と動作の依存関係を表現した木構造.

実験では，映像から文を生成する従来手法と比較して文の自動評価尺度において性能が向上したこと，また，定性的評価において提案手法がある程度構造を考慮しつつ文を生成できていることを示した.

## 2 関連研究

画像や映像といった視覚情報から手順書を生成する研究が近年活発に行われている。手順書の中でも，料理ドメインは Web 上で大量にデータを集めやすく，動作や材料が多様であるため，特に注目を集めている.こうした研究の先駆けとして，Salvador ら [4] は完成写真からタイトル，材料リスト，レシピをまとめて生成する手法を提案した. その後, Chandu ら [5], Nishimura ら [6] は，1 枚の完成画像ではなく，複数枚の作業途中の写真列からレシピを

(1) 入カをエンコード

(2) 手順構造を考慮した手順べクトルの計算

図 2 提案手法の概要図.

生成する課題と手法を提案した。作業映像から手順書を生成する研究も行われている. Shi ら [7] は作業映像と, 映像中の音声の書き起こしを入力にして手順書を生成する手法を提案している。

また，手順書の理解に向けて，材料や動作の依存関係をグラフで構造的に表現する研究も行われてきた $[1,2,3]$. 近年ではこれを拡張し, 手順書に付与された画像情報も活用してマルチモーダルに木構造で表現する取り組みも行われている $[2,8]$. 本研究ではこの木構造の手順構造を教師なしで，入力の作業映像から獲得しつつ，手順書を生成する手法を提案する。

## 3 提案手法

提案手法は大きく分けて 3 つのプロセスからなる.(1)まず，最初に動画列と材料リストをエンコー ドし，動画，材料のベクトル表現を獲得する．(2) 次に，手順構造を獲得するために，得られた動画，材料べクトルから材料-手順隣接行列, 手順-手順隣接行列を計算する. 計算した隣接行列を用いて, 手順ベクトルを計算する。 (3) 最後に，計算した手順べクトルを入力に手順書の各手順文を生成する.

## 3.1 入力のエンコード

動画列のエンコード．動画列をエンコードするために，動画列の各動画の先頭にエンコードを意味す
る [ENC] ラベルを結合して Transformer [9]を用いてエンコードする．そして，[ENC] ラベルに対応するベクトルを動画ベクトルとして得る．次に，動画列の時系列情報を考慮するために，各動画ベクトルを別の Transformer へ入力し，動画列の時系列情報を考慮した動画ベクトル $Z_{v}=\left(z_{v}^{1}, z_{v}^{2}, \ldots, z_{v}^{N}\right)$ を得る. ここで， $N$ は動画列に含まれる動画数である.

材料リストのエンコード. 各材料を単語の分散表現に変換した後，材料リスト内の関係を考慮するため, Transformerを用いて材料べクトル $Z_{g}=\left(z_{g}^{1}, z_{g}^{2}, \ldots, z_{g}^{M}\right)$ を得る.ここで， $M$ は材料リストに含まれる材料数である.

## 3.2 手順構造を考慮した手順ベクトルの 計算

(2.1) 手順構造の計算. 得られた動画べクトル，材料べクトルを用いて手順構造を計算する. 節 1 で述べた通り, 手順構造は木構造として表現することができ，これは材料がどの手順へ接続するか， ある手順がどの手順へ接続するのかを材料-手順,手順-手順の隣接行列を計算することで得られる.本研究では，この 2 つの行列計算をマルチヘッドアテンションとして定式化する。まず，材料べクトル，動画ベクトルから各へッドごとの材料ベクトル $\boldsymbol{Z}_{\boldsymbol{h}, \boldsymbol{g}}=\left(z_{h, g}^{1}, z_{h, g}^{2}, \ldots, z_{h, g}^{M}\right) \in \mathbb{R}^{|\boldsymbol{h}| \times M \times d_{h}}$, 動画ベクトル $\boldsymbol{Z}_{\boldsymbol{h}, \boldsymbol{v}}=\left(z_{h, v}^{1}, z_{h, v}^{2}, \ldots, z_{h, v}^{N}\right) \in \mathbb{R}^{|\boldsymbol{h}| \times N \times d_{h}}$ を得て, 材料-手順 $P_{i, j}^{i n g r} \in \mathbb{R}^{|\boldsymbol{h}| \times M \times N}$, 手順-手順行列
$P_{i, j}^{i n s t} \in \mathbb{R}^{|\boldsymbol{h}| \times N \times N}$ を以下のように計算する.

$
\begin{aligned}
P_{i, j}^{\text {ingr }} & =\operatorname{Softmax}\left(\frac{\boldsymbol{Z}_{h, g}^{Q}\left(\boldsymbol{Z}_{h, v}^{K}\right)^{T}}{\sqrt{d_{h}}}\right) \\
P_{i, j}^{\text {inst }} & =\operatorname{Softmax}\left(\frac{\boldsymbol{Z}_{h, v}^{Q}\left(\dot{\boldsymbol{Z}}_{h, v}^{K}\right)^{T}}{\sqrt{d_{h}}}\right)
\end{aligned}
$

ここで, $\boldsymbol{Z}_{h, g}^{Q}, \boldsymbol{Z}_{h, v}^{K}, \boldsymbol{Z}_{h, v}^{Q}, \dot{\boldsymbol{Z}}_{h, v}^{K}$ はそれぞれ別の 1 層の線型結合層で変換されたべクトルである. 計算した材料-手順隣接行列 $P_{i, j}^{i n g r}$ では, $i$ 番目の材料が $j$番目の手順に接続する確率を, 手順-手順隣接行列 $P_{i, j}^{i n s t}$ は, $i$ 番目の手順が $j$ 番目の手順に接続する確

の手順に遡って繋がらないという仮定のもと， $i \geq j$番目の要素には非常に小さい值 $\epsilon\left(=1.0 \times 10^{-5}\right)$ が挿入されている.

(2.2) 手順ベクトルの計算. 次に，得られた隣接行列を用いて，各手順に対応するべクトルを計算する. $P_{i, j}^{i n g r}$ の $j$ 列目は $j$ 番目の手順で使われる材料の重みが， $P_{i, j}^{i n s t}$ の $j$ 列目は $j$ 番目の手順と依存関係にある手順の重みが計算されているとみなすことができる. よって,$j$ 番目の手順における各材料, 手順の隣接行列の重みと, 材料, 動画ベクトルを掛け合わせることによって， $j$ 番目の手順での材料と動画の重要度を加味したべクトルを得ることができる. 具体的には，材料，動画ベクトルを 1 層の線型結合層で変換したべクトル $\boldsymbol{Z}_{h, g}^{V}, \boldsymbol{Z}_{h, v}^{V}$ と, $P_{i, j}^{i n g r}, P_{i, j}^{i n s t}$ の $j$ 列目を用いて, $j$ 手順目と関係のある材料ベクトル，動画ベクトルを得る.

$
\begin{aligned}
Z_{h, g}^{j} & =\left[P_{1, j}^{i n g r} z_{h, g}^{V, 1}, P_{2, j}^{i n g r} z_{h, g}^{V, 2}, \ldots, P_{M, j}^{i n g r} z_{h, g}^{V, M}\right] \\
Z_{h, v}^{j} & =\left[P_{1, j}^{i n s t} z_{h, v}^{V, 1}, P_{2, j}^{i n s t} z_{h, v}^{V, 2}, \ldots, P_{N, j}^{i n s t} z_{h, v}^{V, N}\right]
\end{aligned}
$

ここで，[$\cdot$] はベクトルの結合を表す.こうして得られるベクトルの各ヘッドのベクトルを結合し， $j$ 番目の動画ベクトル $z_{v}^{j}$ を結合することによって,手順書を生成するのに必要な $j$ 番目の手順べクトル $z_{s}^{j}$ を計算する.

## 3.3 手順書の生成

最後に，得られた手順べクトルから対応する手順文を生成し，それらを結合することで手順書を得る. 手順書を $\boldsymbol{Y}=\left(\boldsymbol{y}_{1}, \boldsymbol{y}_{2}, \ldots, \boldsymbol{y}_{N}\right)$ とし, 各 $\boldsymbol{y}_{j}$ は手順文を表すとする．この時，損失関数 $L$ は全ての動画列と手順書のペアからなるデータセット $D$ に対し表 1 YouCook2 材料データセットの統計情報.

て，以下の負の対数尤度が最小となるように計算を行う.

$
L(\boldsymbol{\theta})=-\sum_{D} \sum_{j} \log p\left(\boldsymbol{y}_{j} \mid \boldsymbol{z}_{s}^{j} ; \boldsymbol{\theta}\right)
$

ここで， $\theta$ はモデル全体のパラメータを表す。また，デコーダには Transformer を用いる。

## 4 実験

## 4.1 実験設定

データセット. 作業映像と手順書のデータセットとして YouCook2 [10]を利用した. YouCook2 は作業映像に対し, 手順書の各手順に対応する区間がアノテーションされたデータセットである. 本研究では，この区間を抽出することで，各手順に対応する動画列を作成している. YouCook2 には材料のアノテーションが行われていないため，材料のアノテー ションを 3 人のアノテータを介して行なった。アノテーションの結果得られたデータを YouCook2 と併せて, 本研究では YouCook2 材料データセットと呼ぶこととする。データセットの統計情報を表 1 に示す.なお，YouCook2 ではテストセットは公開されていないため，材料のアノテーションは行っていない. 以後の実験結果は全て検証セットで評価されたものである.

比較モデル. 本研究と比較するモデルとして，同じくTransformer ベースで動画列から文章を生成するモデルである Transformer-XL [11]，MART [12] を用意した. 元々のモデルは材料を入力としていないため，提案手法との公平な比較のために，提案手法と同様に材料リストをエンコードした後，入力の動画ベクトルと結合してモデルを学習させた. また，提案手法の中でどの要素が効果があったのかを調べるために，提案手法から要素を除いたモデルも学習して比較した.

## 4.2 定量的評価

文の自動評価尺度である BLEU [13], METEOR [14]，CIDEr-D [15] を用いて生成した手順書を評価した，表 2 に評価した結果を示す，全ての評価尺度

図 3 手順書の生成結果. 手順構造の予測結果はヘッドの平均值で計算されたものである. また，可視化した手順構造は隣接行列の各行で最大の值をサンプリングすることで得られたものである.

表 2 文の自動評価尺度による評価. 最も性能が高いものは太字に，次に性能が高いものには下線を引いている。

において，既存モデルと比較して提案手法が最も高い性能を示した. 中でも，材料-手順のみが BLEU1， BLEU4，METEOR において最も高い性能を示しており，材料-手順の隣接行列を計算することが有効であることが分かる。一方，手順-手順のみのモデルは，動画のみのモデルに比べ性能は向上している.しかし，全てを組み込んだ両方のモデルでは CIDEr-Dを除いて材料-手順のみのモデルより悪化する結果となっており, 材料-手順と手順-手順の依存関係を同時に考慮する方法については未だ検討が必要である.

## 4.3 定性的評価

図 3 に提案手法が生成した手順書，正解の手順書，及び手順構造の予測結果を示す. 提案手法はある程度正しく生成できた手順もある一方で (手順 1 ,手順 6)，誤った材料や動作の記述があるものも見られる (手順 2, 手順 3). 手順構造の予測結果を可視化すると，手順-手順の依存関係はある程度正しく捉えられているが，材料-手順については正しく予測できなかった. その結果，異なる手順で異なる材料を使用して手順書を生成していると考えられる。 このことから，手順構造を正しく計算しつつ，手順書の生成に効果的に反映させるようにモデルを改善することを検討している。

## 5 おわりに

本研究では，作業映像から手順書を生成する課題に取り組んだ。正しく手順書を生成するためには，材料と動作の依存関係をモデルが理解する必要がある. 本研究では，こうした材料と動作の依存関係を木構造として明示的に表現しつつ，文生成モデルに組み込むことで正しく手順書を生成する手法を提案した. 実験では，文の自動評価尺度による評価と定性的評価を行い，既存の文生成手法と比較して正しく手順書を生成できていることを確認した.

今後は検証セットに手順構造のアノテーションし，モデルの予測結果がどの程度一致するのか調査する。また，手順書の一貫性をより詳しく評価するために，人手評価および別の評価尺度を検討する。

## 参考文献

[1]Shinsuke Mori, Hirokuni Maeta, Yoko Yamakata, and Tetsuro Sasada. Flow graph corpus from recipe texts. In $L R E C$, 2014.

[2]Taichi Nishimura, Atsushi Hashimoto, Yoshitaka Ushiku, Hirotaka Kameko, Yoko Yamakata, and Shinsuke Mori. Structure-aware procedural text generation from an image sequence. IEEE Access, 2020.

[3]Chloé Kiddon, Ganesa Thandavam Ponnuraj, Luke Zettlemoyer, and Yejin Choi. Mise en place: Unsupervised interpretation of instructional recipes. In $E M N L P, 2015$.

[4]Amaia Salvador, Michal Drozdzal, Xavier Giro i Nieto, and Adriana Romero. Inverse cooking: Recipe generation from food images. In CVPR, 2019.

[5]Khyathi Chandu, Eric Nyberg, and Alan W Black. Storyboarding of recipes: Grounded contextual generation. In $A C L, 2019$.

[6]Taichi Nishimura, Atsushi Hashimoto, and Shinsuke Mori. Procedural text generation from a photo sequence. In $I N L G$, 2019.

[7]Botian Shi, Lei Ji, Yaobo Liang, Nan Duan, Peng Chen, Zhendong Niu, and Ming Zhou. Dense procedure captioning in narrated instructional videos. In $A C L, 2019$.

[8]Pan Liang-Ming, Chen Jingjing, Wu Jianlong, Liu Shaoteng, Ngo Chong-Wah, Kan Min-Yen, Jiang Yugang, and Chua Tat-Seng. Multi-modal cooking workflow construction for food recipes. In ACMMM, 2020.

[9]Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In NeurIPS, 2017.

[10]Luowei Zhou, Chenliang Xu, and Jason J. Corso. Towards automatic learning of procedures from web instructional videos. In AAAI, 2018.

[11]Zihang Dai, Zhilin Yang, Yiming Yang, Jaime Carbonell, Quoc Le, and Ruslan Salakhutdinov. Transformer-xl: Attentive language models beyond a fixed-length context. In $A C L$, 2019.

[12]Jie Lei, Liwei Wang, Yelong Shen, Dong Yu, Tamara Berg, and Mohit Bansal. Mart: Memory-augmented recurrent transformer for coherent video paragraph captioning. In $A C L$, 2020.

[13]Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: A method for automatic evaluation of machine translation. In $A C L, 2002$.

[14]Satanjeev Banerjee and Alon Lavie. Meteor: an automatic metric for MT evaluation with improved correlation with human judgments. In ACL Workshop IEEMMTS, 2005.

[15]Ramakrishna Vedantam, C. Lawrence Zitnick, and Devi Parikh. Cider: Consensus-based image description evaluation. In CVPR, 2015.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 手順構造を考慮した手順書からの作業画像検索

迫田航次郎
京都大学大学院情報学研究科
sakoda.kojiro.48z@st.kyoto-u.ac.jp
西村太一
京都大学大学院情報学研究科
nishimura.taichi.43x@st.kyoto-u.ac.jp
森信介
京都大学学術情報メディアセンター
forest@i.kyoto-u.ac.jp

## 1 はじめに

ある手順書に基づいて作業を行う場合，手順書に記されている文章だけでなく，その手順における物体の状態を写した画像を共に参照することで作業者は手順を再現しやすくなる。本研究では手順書を入力として，各手順に対応する画像を検索することを目的とする (図 1).

手順書から作業画像を検索するためには，モデルは単に対応する手順の内容だけでなく, 過去の手順で使用した材料や動作との因果関係も考慮する必要がある，我々は，この因果関係を木構造をはじめとするグラフ構造で表現することができる $[1,2,3]$.本研究ではこうした構造を手順構造と呼び，図 1 にその一例を示す.この例では，手順書の (1) で材料リストにあるアスパラガスとじゃがいもを茹で，(2) でそれらを皿に並べている。(4)では (2) の結果と (3) で刻んだチーズを合わせてオーブンで加熱している。手順構造はこれらの手順間の因果関係を表現しており，各材料が手順構造の葉に，各手順が節点に対応している. 本研究では，手順書と，材料リスト，そして手順構造を入力として与え，手順構造を効率よく学習しつつ作業画像を検索する手法を提案する。

実験では，手順構造を考慮しない従来の画像検索モデルと比較して画像検索性能が向上したことが分かった. また，実際に検索した結果をもとに，手順構造を考慮することの有用性を示した。

## 2 関連研究

手順書とその実施映像を対象とした研究は近年活発に行われている。中でも，料理ドメインは Web 上でデータを集めやすく，材料や動作の種類が豊富

図 1 本研究の課題概要. 手順書，材料リスト，手順構造を入力として，手順書の各手順に対応する作業画像を検索する。

であるため注目を集めている。本研究で利用する Cookpad Image Dataset [4] は約 170 万のレシピ，画像列，材料リストを含む世界最大規模のマルチモーダルデータセットである.

こうした大規模なデータセットを活用して，レシピとその実施映像との間で共通の表現を学習する研究も行われている. Salvador ら [5] は，テキスト側の入力として手順と材料を，画像の入力としてレシピの完成画像をそれぞれエンコードし，共有潜在空間を学習することで，レシピから完成画像を検索する手法を提案した。

しかし，材料と動作の因果関係を考慮しつつ検索を行うような研究は未だ十分に取り組まれてはいない. レシピの内容をコンピュータが理解するために，こうした関係を手順構造で表現する取り組みも行われている $[1,2]$. さらに，近年では，手順構造を画像付きで理解する試みも行われており，そのためのマルチモーダルデータセットとして，VSIMMR [3] というデータセットも提案されている. 本研究では，VSIMMR データセットを用いて，材料と動作の因果関係を考慮しつつ，手順書の各手順に対応する

図 2 従来の画像検索モデル (ベースラインモデル).画像を検索する手法を提案する。

## 3 作業画像の検索モデル

図 2 に従来の画像検索モデル (ベースラインモデル)の, 図 3 に提案手法モデルの概要を示す. また，以下の節でそれぞれのモデルについて説明する。

## 3.1 ベースラインモデル

ベースラインモデルは 3 つの処理に分けることができる. (i) で手順列を入力に，LSTMを用いて手順書の時系列情報を考慮した特徵べクトルを得る。 (ii) で画像列を入力に，全結合層を用いることで画像の特徴べクトルを得る. 最後に, (iii) で (i) と (ii) で得られた手順と画像の特徴べクトルを 3 層の全結合層により共有潜在空間上に埋め込む.

(i) 手順列の入力 : 手順列の入力部は 1 層の LSTM と 2 層の全結合層からなる. まず，各手順を構成する単語を word2vec を用いて分散表現に変換し，その平均を手順べクトル列 $T=\left(t_{1}, t_{2}, \ldots, t_{k}, \ldots, t_{K}\right)$ として得る. 次に，手順ベクトル列をLSTM に入力し, 手順書の時系列情報を考慮した手順ベクトル列 $H=\left(h_{1}, h_{2}, \ldots, h_{k}, \ldots, h_{K}\right)$ を以下のように計算して得る.

$
\begin{aligned}
\boldsymbol{i}_{\boldsymbol{k}} & =\sigma\left(\boldsymbol{W}^{(i)} \boldsymbol{t}_{\boldsymbol{k}}+\boldsymbol{U}^{(i)} \boldsymbol{h}_{\boldsymbol{k}-1}+\boldsymbol{b}^{(i)}\right) \\
\boldsymbol{f}_{\boldsymbol{k}} & =\sigma\left(\boldsymbol{W}^{(f)} \boldsymbol{t}_{\boldsymbol{k}}+\boldsymbol{U}^{(f)} \boldsymbol{h}_{\boldsymbol{k - 1}}+\boldsymbol{b}^{(f)}\right) \\
\boldsymbol{o}_{\boldsymbol{k}} & =\sigma\left(\boldsymbol{W}^{(o)} \boldsymbol{t}_{\boldsymbol{k}}+\boldsymbol{U}^{(o)} \boldsymbol{h}_{\boldsymbol{k}-\mathbf{1}}+\boldsymbol{b}^{(o)}\right) \\
\boldsymbol{u}_{\boldsymbol{k}} & =\tanh \left(\boldsymbol{W}^{(u)} \boldsymbol{t}_{\boldsymbol{k}}+\boldsymbol{U}^{(u)} \boldsymbol{h}_{\boldsymbol{k}-\mathbf{1}}+\boldsymbol{b}^{(u)}\right) \\
\boldsymbol{c}_{\boldsymbol{k}} & =\boldsymbol{i}_{\boldsymbol{k}} \odot \boldsymbol{u}_{\boldsymbol{k}}+\boldsymbol{f}_{\boldsymbol{k}} \odot \boldsymbol{c}_{\boldsymbol{k - 1}} \\
\boldsymbol{h}_{\boldsymbol{k}} & =\boldsymbol{o}_{\boldsymbol{k}} \odot \tanh \left(\boldsymbol{c}_{\boldsymbol{k}}\right)
\end{aligned}
$

次に, LSTM の出力を 2 層の全結合層に入力し, 共有潜在空間上の手順べクトル列 $S=$ $\left(s_{1}, s_{2}, \ldots, s_{k}, \ldots, s_{K}\right)$ を得る.

図 3 提案手法モデル.

(ii) 画像列の入力 : 画像列の入力部は ResNet50 [6] と 3 層の全結合層からなる. まず，画像列の各画像を ImageNet [7] で学習済の ResNet50を用いて分散表現 $\boldsymbol{I}=\left(\boldsymbol{i}_{1}, \boldsymbol{i}_{2}, \ldots, \boldsymbol{i}_{k}, \ldots, \boldsymbol{i}_{\boldsymbol{K}}\right)$ に変換し，全結合層に入力することで，共有潜在空間上の画像列ベクトル $V=\left(v_{1}, v_{2}, \ldots, v_{k}, \ldots, v_{K}\right)$ を得る.

(iii) 共有潜在空間の学習: Triplet margin loss [8] を用いて, 手順と画像の共有潜在空間を学習する. Triplet margin loss は基準となるべクトル $\boldsymbol{a}$ ，正例べクトル $\boldsymbol{p}$ ，負例べクトル $\boldsymbol{n}$ を用いて以下のように書ける.

$
L=\max (0, d(\boldsymbol{a}, \boldsymbol{p})-d(\boldsymbol{a}, \boldsymbol{n})+\epsilon)
$

なお， $d(\cdot)$ は 2 つのべクトルのユークリッド距離を表し， $\epsilon$ はハイパーパラメータである.

本研究では，手順を基準として得られる 3 つ組 $\left(\boldsymbol{s}^{\mathrm{a}}, \boldsymbol{v}^{\mathrm{p}}, \boldsymbol{v}^{\mathrm{n}}\right)$ ，画像を基準として得られる 3 つ組 $\left(\boldsymbol{v}^{\mathrm{a}}, \boldsymbol{s}^{\mathrm{p}}, \boldsymbol{s}^{\mathrm{n}}\right)$ を用いて，それぞれの基準での損失 $L_{s 2 v}, L_{v 2 s}$ を計算する. そして, 2 つの損失の和 $L_{\text {triplet }}$ を最小化するようにモデルを学習する.

## 3.2 提案手法

提案手法のモデルもベースラインモデルと同様の 3 つの処理からなる. ベースラインモデルからの拡張点は，手順構造を考慮するために，(i) において LSTM を Tree-LSTM [9] に変更したことである. (ii) と (iii) に関してはベースラインモデルと同様であるため，以下で (i) の処理に焦点を当てて説明をする。

(i) の拡張箇所は 1 層の Tree-LSTM と 2 層の全結合層からなる。まず，手順構造の節点となる手順書の各手順ベクトルをベースラインモデルと同様に計算する. また，手順構造の葉となる材料べクトル $G=\left(g_{1}, g_{2}, \ldots, g_{n}, \ldots, g_{N}\right)$ も同様の処理で計算する. こうして得られる手順，材料べクトルおよび手順構
表 1 Cookpad Image Dataset の統計情報.

造を Tree-LSTM へ入力する。 $k$ 番目の手順ベクトル $\boldsymbol{t}_{\boldsymbol{k}}$ と $k$ 番目の節に接続している子の集合 $C(k)$ を用いて，以下のように $k$ 番目の隠れ層 $\boldsymbol{h}_{\boldsymbol{k}}$ とメモリセル $c_{k}$ を更新する。

$
\begin{aligned}
\hat{\boldsymbol{h}}_{\boldsymbol{k}} & =\sum_{j \in C(k)} \boldsymbol{h}_{\boldsymbol{j}}^{\boldsymbol{k}} \\
\boldsymbol{i}_{\boldsymbol{k}} & =\sigma\left(\boldsymbol{W}^{(i)} \boldsymbol{t}_{\boldsymbol{k}}+\boldsymbol{U}^{(i)} \hat{\boldsymbol{h}}_{\boldsymbol{k}}+\boldsymbol{b}^{(i)}\right) \\
\boldsymbol{f}_{\boldsymbol{k} \boldsymbol{j}} & =\sigma\left(\boldsymbol{W}^{(f)} \boldsymbol{t}_{\boldsymbol{k}}+\boldsymbol{U}^{(f)} \hat{\boldsymbol{h}}_{\boldsymbol{k}}+\boldsymbol{b}^{(f)}\right) \\
\boldsymbol{o}_{\boldsymbol{k}} & =\sigma\left(\boldsymbol{W}^{(o)} \boldsymbol{t}_{\boldsymbol{k}}+\boldsymbol{U}^{(o)} \hat{\boldsymbol{h}}_{\boldsymbol{k}}+\boldsymbol{b}^{(o)}\right) \\
\boldsymbol{u}_{\boldsymbol{k}} & =\tanh \left(\boldsymbol{W}^{(u)} \boldsymbol{t}_{\boldsymbol{k}}+\boldsymbol{U}^{(u)} \hat{\boldsymbol{h}}_{\boldsymbol{k}}+\boldsymbol{b}^{(u)}\right) \\
\boldsymbol{c}_{\boldsymbol{k}} & =\boldsymbol{i}_{\boldsymbol{k}} \odot \boldsymbol{u}_{\boldsymbol{k}}+\sum_{j \in C(k)} \boldsymbol{f}_{\boldsymbol{k} \boldsymbol{j}} \odot \boldsymbol{c}_{\boldsymbol{j}} \\
\boldsymbol{h}_{\boldsymbol{k}} & =\boldsymbol{o}_{\boldsymbol{k}} \odot \tanh \left(\boldsymbol{c}_{\boldsymbol{k}}\right)
\end{aligned}
$

## 4 実験

まず，ベースラインモデル，提案手法を用いて画像検索の性能を定量的に評価した. 次に, 手順構造を考慮することの有用性を示すために，実際の検索結果を用いて定性的評価を行なった。

## 4.1 データセット

本研究では, Cookpad Image Dataset, vSIMMR の 2 つのデータセットを用いて実験を行なった. Cookpad Image Dataset は，レシピ，材料のリスト，レシピの各手順に対応する画像からなるデータセットである. Cookpad Image Dataset のレシピの中には，全ての手順に写真が付与されていないものも存在する. 本研究では，そうしたレシピを除き，全ての手順に写真が付与しているレシピのみを用いた. 表 1 に Cookpad Image Dataset の統計情報を示す.

vSIMMR は，Cookpad Image Dataset の一部に手順構造を人手でアノテーションしたデータセットである.このデータセットは, Cookpad Image Dataset のレシピから，全ての手順に写真がついており，かつ材料数と手順数が 3 以上のものを取り出し，その一表 2 vSIMMR の統計情報.

部に木構造のアノテーションが行われたものである. 表 2 にvSIMMR の統計情報を示す.

## 4.2 実験設定

本研究では, word2vec モデルは Cookpad Image Dataset と vSIMMR の訓練データの全レシピを用いて学習した。なお, word $2 \mathrm{vec}$ の出力の次元数は 300 である。画像ベクトルは学習済みの ResNet50 の最終層を取り除いたモデルから得られ, 出力の次元数は 2,048 である. 共有潜在空間の次元数は 512 に設定した。また，バッチサイズは 128 とし，最適化手法には Adam [10]を用いた.

また，比較手法としてべースラインモデルの材料リストを用いない場合 (材料なし) に加え，提案手法との公平な比較のために，材料リストも用いた場合 (材料あり)も考えた。(材料なし)では，手順側の入力として手順列のみを用いて学習しており，(材料あり)では，手順側の入力として手順書の各手順べクトルに材料べクトルの平均を連結し学習している.

## 4.3 定量的評価

## 4.3.1 評価尺度

画像検索の性能を評価するために，1,000 の手順に対する Recall@K (R@K) と Median rank (medR)を計算した. $\mathrm{R} @ \mathrm{~K}$ は手順を入力し，得られた画像集合を $\cos$ 類似度で降順にソートした時に手順に対応する画像が上位 $\mathrm{K}$ 番以内に現れる割合， medR は各手順に対応する画像の順位の中央値を示す.

## 4.3.2 結果

結果を表 3 に示す. ベースラインモデルの (材料あり) は用いられる材料を考慮することで検索精度の上昇を期待したが，(2)と (3)，(4)と (5)を比較した結果，手順ベクトルに材料ベクトルを単に連結するだけでは検索精度が必ずしも良くなるわけではないことが分かった. ベースラインモデルの (5) と提案手法の (6) を比較すると (6) の結果の方が medR の
表 3 画像検索の評価結果.

図 4 画像検索結果の一例.

値が低く， $\mathrm{R} @ \mathrm{~K}$ の值が高かったことから，手順構造を考慮することで検索精度が良くなることが示され，提案手法の有用性を確認できた。一方で、大量のデータセットで学習されたベースラインモデル (2)，(3) と提案手法の (6) の結果を比較すると学習に用いたデータセットが多ければ手順構造を考慮しなくとも検索精度が良くなるなることが分かった。

## 4.4 定性的評価

レシピを入力して作業画像を検索した結果を図 4 に示す。このレシピでは 2 番目の手順で示されている溶き卵と 3 番目の手順で炒められたちくわが 4 番目の手順で混ぜ合わされるような構造となっている. 提案手法ではこの混ぜ合わされた結果の画像を正確に検索することができており，手順構造を考慮
することが有効であると確認できた。

## 5 おわりに

本研究では，手順書から作業画像を検索する課題に取り組んだ。手順に対応する画像を正しく検索するためには過去の手順で使用した材料や動作との因果関係をモデルが捉える必要がある．本研究ではこうした関係を表現している手順構造を考慮し，画像検索を行う手法を提案した．実験では，定性的，定量的に評価を行い，ベースラインモデルに比べて提案手法が有用であることを確認した。

今後の課題として，手順構造がアノテーションされていない場合でも，手順構造を予測し，それを考慮しながら画像検索を行える手法へと拡張することを検討する。

## 参考文献

[1]Shinsuke Mori, Hirokuni Maeta, Yoko Yamakata, and Tetsuro Sasada. Flow graph corpus from recipe texts. In $L R E C$, 2014.

[2]Jermsak Jermsurawong and Nizar Habash. Predicting the structure of cooking recipes. In EMNLP, 2015.

[3]Taichi Nishimura, Atsushi Hashimoto, Yoshitaka Ushiku, Hirotaka Kameko, Yoko Yamakata, and Shinsuke Mori. Structure-aware procedural text generation from an image sequence. IEEE Access, 2020.

[4]Jun Harashima, Yuichiro Someya, and Yohei Kikuta. Cookpad image dataset: An image collection as infrastructure for food research. In SIGIR, 2017.

[5]Amaia Salvador, Nicholas Hynes, Yusuf Aytar, Javier Marin, Ferda Ofli, Ingmar Weber, and Antonio Torralba. Learning cross-modal embeddings for cooking recipes and food images. In CVPR, 2017.

[6]Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deep residual learning for image recognition. In CVPR, 2016.

[7]Jia Deng, Wei Dong, Richard Socher, Li-Jia Li, Kai Li, and Li Fei-Fei. ImageNet: A large-scale hierarchical image database. In CVPR, 2009.

[8]Jiang Wang, Yang Song, Thomas Leung, Chuck Rosenberg, Jingbin Wang, James Philbin, Bo Chen, and Ying Wu. Learning fine-grained image similarity with deep ranking. In CVPR, 2014

[9]Kai Sheng Tai, Richard Socher, and Christopher D. Manning. Improved semantic representations from tree-structured long short-term memory networks. In ACL, 2015.

[10]Diederik Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In ICLR, 2015.


# 国会会議録を利用した議員の発言特性の抽出

有田智也 松井くにお
金沢工業大学工学研究科情報工学専攻
C6000578@planet.kanzawa-it.ac.jp
}

概要 本論文では Web 上に公開されている国会会議録を利用し, TF-IDF を用いた議員ごとの発言特性の抽出及びTFIDF 値を用いた議員の関係性分析と, 機械学習を用いて議員の発言を評価した結果を述べる. 機械学習では議員の応答文を学習データとして seq2seq で学習させることで応答文を作成し, 生成された応答文を利用し議員の発言の一貫性 の分析を試みた. 議員の発言をトークン分割する際には, Sentence Piece を利用することで，複合語を考慮しつつ特徵語の抽出ができる. また少数のデータを seq2seq で学習する際には， トークン分割に Sentence Piece を用いることで， トークン分割に MeCabを利用した場合に比べて，より自然で文法的に正しい応答文の作成が可能になり，高品質な関係分析が可能になる.
## 1 はじめに

近年, Apple 社の「Siri」や, Google 社の「Google Assistant」などの, 知能的な対話システムの研究が活発化している。また女子高校生を模した，日本マイクロソフト社の「りんな」や, NTT 先端技術総合研究所が精華町役場と共同で研究している「京町セイ力」など対話システムに，ある特定の個性を持たせようとする研究も活発化している。しかしながら個性的な文章にするために, どの単語が役に立つのか, という研究は積極的になされていない. そこで本研究では個性付与の役に立つ言葉の抽出方法に着目した.

特徴語を抽出する研究として木村ら[1]は TF-IDF を用いて各地方議員の発言から, 議員が重点を置いている政策を抽出しているが，抽出対象は名詞のみであり, 助動詞や助詞などの議員の発言特性を抽出できそうな品詞を利用していない. また大南ら[2]は最大エントロピー法を用いて短命議員と長期議員に特徴的な単語を抽出し, ”っぽい”などの短い個性を表す語の抽出には成功しているが，”であります”といった複数の単語から構成される意味を持つ語(複合語)を抽出することは出来ていない. そこで本研究では複合語での特徴語の抽出, 抽出した特徴語での関係性の分析, 及び複合語でトークン分割した文章を学習させたモデルでの応答文生成の評価を試みた。

## 2 利用した技術とデータ

## - TF-IDF

TF-IDF(TermFrequency-InverseDocument Frequency)
とはKaren Sparck Jones(1972)によって提唱された重みづけ手法であり, 2 種類の重みづけ手法を組み合わせることで実現されている．TFでは「ある文章中において出現回数の多い語はより重要な単語」という考え方に基づいて重みづけを試みる. IDFでは「ほかの文章中での出現回数が少ないほど重要な単語」 という考え方に基づいて重みづけを試みる。つまり TF-IDF の値が大きければ大きいほどその文章にとって重要な語である.

- SentencePiece

SentencePiece[3]とは 2018 年に工藤拓らにより提案された入力文章をサブワードにトークン分割する手法である. SentecePiece では辞書を利用せず，コー パスから教師無し学習で文章をトークン分割するためのモデルを生成し, 文章のトークン分割を行える. SentencePiece で国会会議録を分割した結果の一部を表 1 に示す.

表 1. sentencePiece での分割結果

## - Seq2Seq

Seq2Seq(Sequence to Sequence)[4]とは 2014 年に Ilya Sutskever らによって提案された, 入力された系列を別の系列に変換するモデルである. Seq2seq は Encoder と Decoder の二つの RNN から構成され， Encoder では入力系列を読み込み隠れ層の最後の状態を Decoder に渡す. Decoder では Encoder から与えられた隠れ層をもとに，入力出力終了を表す”<eos>” が現れるまで単語を出力する。RNN の部分を LSTM[5]や GRU[6]にすることで離れた語の依存関
係を学習させることが可能になる.
- 国会会議録

話者が明示されている上, 文法的な正しさが保証されているデータとして国会会議録を使用した. デ一タの収集には国立国会図書館が公開している API[7]を用いて, 2012 年から 2019 年までの国会会議録を収集した。その後国会会議録から安倍晋三議員, 麻生太郎議員, 稲田朋美議員, 福島哲郎議員,福島みずほ議員, 蓮舫議員の発言を抽出した。また対話を学習させるためのデータには各議員の発言の内第一文までを利用した。

## 3 提案手法

図 1 に提案システムの構成を示す. 国会会議録コ ーパスから特定の議員の発言内容を抽出し, 発言デ一タには発言内容をそのまま保存し，対話データには発言内容に加えて他の議員の質問内容を保存する. トークン分割には MeCab[8] と Sentence Piece を用いた. 発言データでは TF-IDF の值を用いて議員ごとの特徴語を抽出する. 対話データでは seq 2 seq を用いて議員ごとの発言内容を学習させる.

図 1 . 提案システムの構成

## 3.1 TF-IDF を用いた特徴抽出と評価

2012 年 1 月 1 日から 2019 年 12 月 31 日までの安倍晋三議員の発言を MeCab[8]+neologd 辞書でトー クン分割した後に TF-IDF の值が 0.1 以上の単語を抽出した結果を図 2 に示す.

図 2. MeCab で分割したデータでの特徴語
データを MeCab+neologd辞書でトークン分割した場合”わけであります”や”だと思っております”などの複合語は，"わけ/で/あり/ます”や，"だ/と/思っ/て /おり/ます”のように細かく分割され,意味を持つ複合語から単体では意味の伝わらない単位にまで分割されてしまう。

この問題を解決するために本研究では SentencePi eceを用いてトークン分割を試みた. SentencePiece を用いてトークン分割することで，高頻度で現れる語をそのまま利用することが可能になる.そのため”わけであります”などの高頻度で文章中に現れる語を SentencePiece でトークン分割した場合, 複合語である”わけであります”のまま出力される. SentecePiece を用いて安倍晋三議員の文章を分割した後に TFIDF の值を計算して, TF-IDF の值が 0.1 以上の特徴語を抽出した結果を図 3 に示す.

図 3. SentencePiece で分割したデータでの特徴語

トークン分割に SentencePiece を用いることで議員の発言の複合語も議員の特徴語として抽出することが可能になった. SentencePiece と TF-IDF を用いて 2012 2015 年の議員の発言の特徴語を抽出した結果を表 2 に示す.

表 2.2012 2015 年の特徴語

2016 2019 年の議員の特徴語を抽出した結果を表 3 に示す. 黄色で示された部分は 2012 2015 年と 2016 2019 年で共通の特徴語である.

表 3.2016 2019 年の特徴語

次に単語の 2012 2015 年と 2016 2019 年での特徴語の一致率を表 4 に示す.

表 4. 特徵語の一致率

2012 2015 年と 2016 年 2019 年の特徴語一致率を比較すると, 与党議員の安倍晋三議員と麻生太郎議員の特徴語一致率は $0.63,0.5$ と高く特徴語が変化していない.これは質問に答える際に深く言及することを避け, 抽象的な内容で返答したもしくは, 多くの質問に答えているため, 特徴語として特定の名詞が現れにくかったためである. しかし稲田朋美議員は与党議員にも関わらず, 特徴語の一致率が 0.1 である.これは 2016 年に公務員精度改革を担当する国務大臣の職を退き, 防衛大臣の職に就き，答える質問の内容が変化したためである。また野党議員の福山哲郎議員, 蓮舫議員, 福島みずほ議員の特徴語一致率は $0.23,0.03$, 0.3 と小さく, 特徵語が大きく変化していた. これはその時ホットな話題について集中して質問することが多く, その質問した事柄が特徵語として現れためである.

## 3.2 Seq2Seq を用いた応答文生成と評価

2012 年 1 月 1 日から 2019 年 12 月 31 日までの安倍晋三議員の答弁 25,459 件を MeCab+neologd 辞書で分割した後に他議員からの質問を入力, 安倍晋三議員の応答を出力として Seq2Seq で学習させ, 学習済みモデルを作成した。本研究で用いた Seq2Seq の中間層は 256 , 単語埋め込み次元は 300 である. 学習させたモデルに対して, 議員の発言からランダムに選んだものを学習済みモデルに入力し, 生成された応答文を図 4 に示す.

図 4. MeCab で分割したデータを Seq2Seq で学習させたモデルから得られた応答文

$\mathrm{MeCab}$ で分割し，先頭の単語をランダムにサンプリングし，以降の単語を貪欲法でサンプリングすることで生成した応答文の問題は次の 2 つである.

・複合語が細かく分割されるため, 学習することが難しく, 複合語が出力の途中で崩壊してしまう。

・出力の内容が”これはまさにこれはまさに”のよう

にループし文章として成立しない.

複合語をそのまま利用し, 複合語生成の学習を省略させるため, SentecePiece を用いて対話データを分割し, Seq2Seq で学習させた結果を図 5 に示す.

図 5. SentencePiece で分割したデータを Seq2Seq で学習させたモデルから得られた応答文
対話データを SentencePiece でトークン分割し学習させることで, MeCab でトークン分割した場合, $17.7 \%$ で発生していた応答文の崩壊と応答文のルー プを, $6.7 \%$ に減少させることに成功した.

学習させたモデルに, 議員の発言をランダムに 30 件抽出したものを入力し, 生成された応答文に対して, 文法的に正しい応答が生成される確率，自然な応答文が生成される確率, 生成された応答文に TFIDF 上位 30 件の単語がマッチ寸る確率を評価した。

2012 2015 年の評価結果を表 5 亿示す.

表 5.2012 2015 年の応答文の評価

2012 年 2015 年の評価の結果, 自然な応答文が生成される確率は, 与党議員に比べて野党議員の方が平均で $13 \%$ 低かった. これは野党議員の発言内容は様々な分野への質問が多く, 学習が困難であるのに対して, 与党議員の発言内容は回答一辺倒であり,内容に一貫性が生まれ学習しやすかったためである. また応答文に TF-IDF 上位 30 件の単語が含まれる確率は与党議員に比べて福島瑞穂議員を除く野党議員の方が平均で $8 \%$ 低かった. これは与党議員の特徴語に複合語が多く, 複合語の方が名詞に比べて応答文に反映させる余地が多いためである．福島みずほ議員の応答文に含まれる単語が TF-IDF 上位 30 件にマッチする確率が高いのは” の福島みずほです”という応答文が頻繁に生成されたためである.

2016 2019 年の評価結果を表 6 に示す.

表 6.2016 2019 年の応答文の評価

2012 2015 年と 2016 2019 年を比較すると蓮舫議員の応答文の文法的な正しさ, 応答文の自然さ, 応答文が TF-IDF 上位 30 件にマッチ寸る確率が減少している.これは 2012 2015 年に比べて 2016 2019年の方が，より様々な政治的事柄について質問するようになったため, 学習が難しくなったためである.

## 4 おわりに

本論文では，国会会議録を用いて議員の発言特性の分析と抽出を TF-IDを用いた手法と対話モデルを作成する手法で行った. SentencePiece を用いることで複合語の抽出が可能になり, 高品質な個性抽出,応答文生成ができる.

## 参考文献

1. 地方議会会議録コーパスプロジェクト(引用日:2010 年 12 月 20 日)http://local-politics.jp/

2. 大南勝, 掛谷秀紀. 国会会議録に基づく短命大臣の特徵分析第 2 報. 言語処理学会第 23 回年次大会論文集, pp. 1167-1170，2018

3. Taku Kudo, John Richardson. SentencePiece:A simple and language independent sub word tokenizer and tokenizer for Neural Text Processing.

https://arxiv.org/pdf/180806226.pdf

4. Ilya Sutskever, Oriol Vinyals, Quoc V. Le. Sequence to Sequence Learning with Neural Networks

https://arxiv.org/abs/1409.3215

5. Sepp Hochreiter, Jurgen Schmidhuber. Long Shortterm Memory.

https://www.researchgate.net/publication/13853244_Lon g_Short-term_Memory

6. Kyunghyun Cho, Bart van Merrienboer, Caglar Gulcehre, Dzmitry Bahdanau, Fethi Bougares, Holger Schwenk, Yoshua Bengio.

Learning Phrase Representations using RNN Encoder-

Deocder for Statistical Machine Translation.

https://arxiv.org/abs/1406.1078

7. 国会会議録検索システム検索 $\mathrm{API}$ (引用日:2020

年 12 月 20 日)

https://kokkai.ndl.go.jp/api.html

8. 工藤拓, 山本薰, 松本裕治. Conditional Random Fields を用いた日本語形態素解析. Applying Conditional RandomFields to Japanese Morphological Analysis. https://ci.nii.ac.jp/naid/110002911717


# ツイートされる病気・症状の可視化に向けた症状の事実性解析

安藤翼
香川大学大学院工学研究科
s19g453@stu.kagawa-u.ac.jp

## 1 はじめに

近年，医療分野に自然言語処理を応用する研究 $[1,2,3]$ が注目されている.また,コロナ禍においては,新型コロナウイルス対策に AI 技術を応用する研究組織[4]が設立され, 一般社会からも注目を浴びている. 医療分野に応用する研究のうち，ソーシャルメディアを対象とした研究においては, Twitter からツイートを収集してインフルエンザの流行度合を推定し, その状況を可視化する研究[1]や，感染症のみを対象とし, 病気の事実性を解析する研究[2], インフルエンザと新型コロナウイルスに同時感染した場合における特徴・症状分析に関する研究[3]など，対象を特定の病気や症状に限定する研究が中心である.本研究では, 感染症であるか否かを問わず,いつ, どこで，どのような病気・症状がツイートされているのかを収集・分析し，地域別 - 時系列別に可視化するシステムの構築[5]を目的とする. 本システムを実現するためには, 既存研究 $[1,2]$ のような感染症名を含むツイートのみを対象とした事実性解析ではなく, 病名を含まないツイートに対して病気・症状の事実性を解析する手法が必要となる。NTCIR-13 MedWeb Task[6]においては, 8 つの病名又は症状を含むツイート文にアノテーションしたデータセットが公開され，これに基づく手法がいくつか提案されているが，対象とする病気・症状は少ない.

本稿では, Twitter に投稿された各ツイートに含まれる様々な症状に対して, 二值分類により, 事実性を解析する手法について検討する。

## 2 症状の事実性解析手法

## 2.1 データセットの構築

ツイートに含まれる症状に対して事実性解析する手法を検討するに先立ち, 症状を含むツイートを Twitter 上から収集する必要がある. ツイートを収集

\author{
安藤一秋 \\ 香川大学創造工学部 \\ ando.kazuaki@kagawa-u.ac.jp
}

するには，対象とする症状の辞書が必要となる。

本稿では，「gooヘルスケア家庭の医学 ${ }^{11)}$ を基に対象とする症状を決定した. 表 1 に，対象とする 14 種類の症状を示す．症状は，性別，年齢に関係しない一般的なものを採用した。

次に，実験に用いるデータセットを構築するためのツイート収集法について述べる. ツイートの収集条件は, ツイート内に 14 種の症状を必ず 1 語以上含むこととする。

以上の条件で収集した結果，合計 30 万件のツイ一トが得られた. その後, 収集したツイートから無作為に 20,000 件を抽出し, ツイート内に含まれる症状が病気によるものなのか否かを精査し，人手で真偽ラベルを各ツイートに付与する。

以下，ラベル付与の 4 つの条件について示す.

(1) 対象者は当人及びその近辺者

ツイート内容が投稿者に対すること又は投稿者の近辺者に対する場合は「真」と判定する．ここで, 収集したツイートには症状の対象者が記述されていない場合がある。そこで，「は」，「が」 の 2 種の助詞が存在せず, 先頭が症状名から始まらない文を含むツイートに対しては, 1 人称代名詞として「私は」を自動で付与する。そして，上記以外の第 3 者である場合は「偽」と判定する.

(2) 時制は現在

ツイート内容から現在継続していると判断できる場合は「真」, 過去の話題と判断できる場合は「偽」と判定する．ただし，症状が過去から現在に至るまで継続していると判断できる場合は 「真」と判定する.

(3) 仮定表現

Twitter をセンサーとして利用するため，ツイ一ト文内に「かもしれない」,「であろう」などの仮定発言がある場合も「真」と判定する.

(4) 病気に関係する症状

ツイート内の症状が病気に関係するとき「真」 と判定し, 気分や表現の拡張により症状の原因が読み取れない場合は,「偽」と判定する.

以上の 4 条件の下で， 20,000 件のツイートに真偽ラベルを付与し, 6,046 件の正例, 13,954 件の負例からなるデータセットを構築した。

## 2.2 症状の事実性解析に利用する素性

我々の先行研究[7]では, Support Vector Machine (SVM), ロジスティック回帰 (LR), 多層パーセプトロン (MLP) の 3 種類の分類器と, Bag of Words,病名の有無, 体の部位の有無, 文長, 単語分散表現の 5 つの素性を用いて, 14 症状を対象とした事実性解析の評価を実施した. その結果, 分散表現を素性とする SVM が最も分類性能が高く, 0.743 という適合率を得ることを確認した。

本稿では，以下の 4 素性を用いたモデルの有効性について検討する.

(1) 単語分散表現 (W2V)

単語分散表現は, BoW 素性と異なり, 単語の出現頻度だけでなく, 前後の単語の意味や関わりを考慮することができるため，単語分散表現を baseline 素性に利用する. 分散表現は, 株式会社ホットリンクが公開している「日本語大規模 SNS+Web コーパスによる単語分散表現モデル[8]」 を用いる.このモデルは, SNS や Web 上の文書,日本語 Wikipediaを学習コーパスに利用している.素性値には, 文内の形態素に対する分散表現の平均を利用する。

(2) つつじ[9]素性 (Ttj)

日本語機能表現辞書である「つつじ」を素性抽出に利用する。「つつじ」には，「に対して」や「かもしれない」などの機能表現とその意味が登録されている. 文に含まれる機能をとらえることで，文の意味をより正確に学習できると考える.つつじ素性（Ttj）には，つつじ内の各機能表現に付与されている意味 ID を用いる. 各文において, 症状の右側最長 $\alpha$ 字中に含まれる最長の意味 IDを素性として利用する。

(3) 病名素性 (Sick)
ツイート文内に病名が含まれている場合, 症状が病気に関係する可能性が高いと予測できるため, 文中に病名が含まれているか否かを素性として利用する. 病名は「株式会社メディカルノー 卜[10]」に登録されている 2,102 種の病名を利用する.

(4) 物体素性 (Object)

症状を含むツイート内において, 症状の対象が人であるとは限らない. 比喻や人以外の物体が対象となるツイート文も存在するため, 文内に人以外の物体が含まれているか否かを素性値として利用する. 物体名には, 真偽ラベルを付与した 20,000 件のツイートデータから人手で抽出した 29 種を利用する.

## 3 主体性判定手法

本稿では, 症状の原因が病気であり, かつ, 対象者がツイート投稿者又は，その近辺者である場合のみ, 正例として扱う. そこで, 2.2 項で検討した 4 素性を用いて, 症状が原因であると判定されたツイー トに対して, そのツイート対象者を分類し, ツイー 卜投稿者又は，その近辺者であると判定されたツイ一トのみ可視化に利用する。

収集したツイートから, 症状の事実性解析に使用したツイート以外を無作為に 20,000 件抽出し, 症状の対象者に応じて, 以下の 3 種のラベルを各ツイー トに付与する。

(1) 当人・近辺者

(2) 遠方者

(3) 不明

## 3.1 主体性判定に利用する素性

主体性判定では, 以下の 3 素性について検討する.

(1) 1 人称代名詞素性 (Pron)

ツイート内における症状の対象が投稿者当人である場合, 「私」や「僕」などの 1 人称代名詞を記載する可能性が高い. そこで，「Wikipedia[11]」 に登録された 30 種の公的表現及び私的表現に含まれる 1 人称代名詞がツイート内に含まれているか否かを素性に利用する。

(2) 都道府県素性 (Area)

ツイートの対象人物が遠方者である場合, どこに住む人物なのか, また, 現在の居場所などの地名に関する情報が記述される傾向があると考える.そこで，ツイート内に都道府県名が存在する
場合，その都道府県名を素性に利用する。

(3) 移動予測素性 (Move)

ツイートが, ある地点から別の地点へ移動する内容の場合, 対象人物が遠方者である可能性が高い. そこで，移動を予想させる助詞がツイート中の名詞に続く場合, その助詞を素性として利用する. 本稿で対象とする 7 種の助詞を以下に示す.

以上の 3 種の素性に, 2.2 項で提案した単語分散表現 (W2V), つつじ素性 (Ttj) の計 5 種の素性を用いて，主体性を判定する。なお，主体性判定においても，単語の分散表現を baseline 素性とする.

## 4 評価実験

評価実験では，始めに，症状の事実解析を行い，病気が原因であると判定されたツイートに対して， そのツイートの対象人物を判定する。

## 4.1 実験方法

形態素解析には MeCab を利用する. また, 先行研究[7]と同様, 分類器には, Support Vector Machine (SVM), ロジスティック回帰 (LR), 多層パーセプトロン (MLP)を用いる. 分類器の実装には, scikit-learn を使用し, 分類器ごとに, baseline 素性である単語の分散表現に他の検討素性を組み合わせて各々の分類性能を比較する．SVM には RBF カーネルを使用し, コストパラメータは 1,000 とした. MLP は最適化関数を SGD，バッチサイズを 128 とした.

## 4.2 評価方法

症状の事実性解析では, 2.1 節で述べた 20,000 件のデータセットを用いる. 適合率, 再現率, F 1 値を評価尺度とし, 10 分割交差検証の平均値で分類性能を評価する. 人手でラベルを付与した結果と分類結果を比較し, 完全一致した場合を正解と判断する. なお, 症状の罹患状況を可視化する際, 病気が原因であると判定されたツイートのみ用いることを想定しているため, 本実験では, 適合率を最重視する.主体性判定では, 症状の事実性解析の結果, 病気が原因であると判定されたツイートに対して, 新たに 3 種の主体性ラベルを付与しテストデータとする。事実性解析に使用したツイート以外の 20,000 件に対し， 3 種のラベルを付与すると共に， 2.1 項の方法で「私は」をツイートに自動付与したものを学習データに用いる。適合率, 再現率, F1 值を評価尺度とし, 「当人・近辺者」に分類された性能で評価する.本研究では, ツイートの対象者が当人又は近辺者である場合を正例として扱い，「遠方者」，「不明」に分類されたツイートは負例とする. 人手でラベルを付与した結果と分類結果を比較し, 完全一致した場合を正解と判断する. 罹患状況の可視化には「当人 .近辺者」へ分類されたツイートのみ用いることを想定しているため，適合率を最重視する。

## 4.3 実験結果

まず，症状の事実性解析において， 3 種の分類器に beseline 素性及び 3 種の検討素性を組み合わせた結果を表 3 に示す.

表 3 より, 最も適合率が高い組み合わせは, MLP に全ての検討素性を加えた場合で 0.788 を得た. 我々の先行研究[7]で提案した手法より, 性能が 4.5 ポイント向上した. 対して最も適合率が低くなった組み合わせは LR に baseline 素性である単語の分散表現のみを用いた場合で 0.732 となった. $\mathrm{Ttj}$ 素性のみに着目すると, 全ての分類器において baseline 素性のみの場合と比較して, 分類性能が向上した.これは, ツイートの文末における意味的まとまりの表現を考慮することができたためであると考えられる.また, Object 素性のみを追加した場合も, 全ての分類器において baseline 素性のみの場合と比較して, 分類性能が向上した. ツイート文内に含まれる症状の対象は, 人以外の「スマホ」や「パソコン」などの物体となる場合がある。 そこで，ツイート内の物体に関する素性を追加することで, 対象物の分類に貢献したと考えられる. 最後に, Sick 素性を追加した場合,分類性能に大きな変化はなかった. これはツイート内に含まれる病名の件数が全体の $22 \%$ と低いことが原因であると予想できる.

次に, 主体性判定において, 3 種の分類器に対して, beseline 素性及び 3 種類の検討素性を組み合わせた結果を表 4 に示す. 主体性判定では「当人又は近辺者」に分類されたツイートを最終結果とするため, 「当人又は近辺者」に分類された結果のみを示す. また, 表 4 の結果は, 表 3 の症状の事実性解析の結果において，最も分類性能が高い MLP に全ての検討素性を加えたモデルが正例と判定した結果に
対し，主体性判定した結果である.

表 3 症状の事実性解析の結果

表 4 主体性判定の結果

表 4 より, 最も適合率が高い組み合わせは, MLP に全ての検討素性を追加した場合で 0.788 を得た。 これに対して, LRに baseline 素性である単語の分散表現と Move 素性を追加した場合に最も適合率が低く, 0.660 となった.
Pron 素性及び, Area 素性を追加することで全ての分類器において, 分類性能が 0.01 ポイント以上向上した. 1 人称対代名詞に関する素性は，対象者を「当人」または「遠方者」に分類する際, 重要であることを確認した。 さらに, Area 素性を追加することで分類性能が向上したが，「当人又は近辺者」のラベルが付与されたツイートにおいて都道府県名が含まれる割合は全体の $1.1 \%$, 「遠方者」では $6 \%$ であった。 このことから，都道府県名の有無が「当人又は近辺者」への分類に貢献したと考えられる.

## 4.4 エラー分析

症状の事実性解析では, 短文ツイートに誤分類が多く見受けられた。症状が過去から現在に至るまで継続していると判断できるツイートは正例として扱うが，「僕，ずっーと頭痛い」のような短文ツイートの場合, 症状の原因が病気によるものか否かの分類が困難である．短文ツイートについては，前後ツイ一トを利用することで改善できる可能性はある。また, 症状の種類で分類が困難なツイートも確認できた. 特に，「頭痛」「めまい」の 2 症状は，様々な状況において言葉の比喻で用いられることが多く, 分類が困難なものが存在することを確認した。

主体性の判定では, 1 ツイート内に複数の人物が登場する場合, 症状が発生している人物が誰であるかを判定することができず，誤分類している傾向を確認した. また, 本稿では, 30 種の一般的な 1 人称代名詞を辞書として利用したが，ツイート内には辞書に未登録の 1 人称代名詞も存在するため, 特殊な代名詞が出現する場合において誤分類することを確認した. ゼロ代名詞のツイートも多いことから，照応解析の導入が必要である.

## 5 おわりに

本稿では, 症状の事実性解析手法及び, ツイート文内の症状の主体性を判定する手法について検討した. 3 種類の分類器に検討素性を組み合わせた実験により分類性能を評価した結果, 症状の事実性解析では 0.788 , 主体性の判定では 0.703 という適合率を得た. 今後は, さらに分類性能を向上させるための素性検討及び，症状以外の病名に対する事実性解析器の構築, 病気・症状の動向をリアルタイムで可視化できるシステムの構築を目指す.

## 参考文献

[1] 北川善彬, 小町守, 荒牧英治, 岡崎直観, 石川博, インフルエンザ流行検出のための事実性解析。言語処理学会第 21 回年次大会（NLP2015）発表論文集，pp.218-221，2015.

[2] 松田紘伸，吉田稔，松本和幸，北研二．Twitter を用いた病気の事実性解析及び知識べース構築. 人工知能学会第 30 回全国大会（JSAI2016）論文集, pp.2C5-OS-21b-4, 2016

[3] Simin Ma, Xiaoquan Lai, Zhe Chen, Shenghao Tu, Kai Qin. Clinical characteristics of critically ill patients coinfected with SARS-CoV and the influenza virus in Wuhan, China. International Journal of Infectious Diseases, Vol.96, pp.683-687, 2020.

[4] AI Japan R\&D Network. (オンライン）（引用日:2021 年 1 月 13 日） https://www.ai-japan.go.jp/.

[5] 難波洋平，安藤一秋. 罹患者情報の可視化へ向けた Twitter $の$ 調查・分析. 電気・電子・情報関係学会四国支部連合大会講演論文集 2017，p.226，2017.

[6] Shoko Wakamiya, Mizuki Morita, Yoshinobu Kano, Tomiki Ohkuma, and Eiji Aramaki. Overview of the NTCIR-13: MedWeb Task. In Proc. of the 13th NTCIR Conference, pp.40-49, 2017.

[7] 安藤翼, 安藤一秋. ツイートされる病気症状の可視化に向けた病気症状の事実性判定手法の検討.

FIT2019（情報科学技術フォーラム 2019）講演論文集，第 2 分冊，pp.139-140，2019.

[8] 松野省吾，水木栄，郸剛史。日本語大規模 SNS+Web コーパスによる単語分散表現のモデル構築. 人工知能学会第 33 回全国大会（JSAI2019）論文集，pp.1-3，2019.

[9] 松吉俊, 佐藤理史, 宇津呂武仁. 日本語機能表現書の編纂. 自然言語処理，Vol.14，No.5，pp.123-

146, 2007

[10] 株式会社メディカルノート病名一覧. (オンライン）（引用日: 2021 年 1 月 13 日）

https://medicalnote.jp/diseases/list.

[11] 日本語の一人称代名詞. (オンライン)（引用日: 2021 年 1 月 13 日） https://ja.wikipedia.org/wiki/日本語の一人称代名詞.


# フェイクニュース検出データセットにおける通時的バイアス

村山 太一若宮翔子荒牧英治
奈良先端科学技術大学院大学
\{murayama.taichi.mk1, wakamiya, aramaki\}@is.naist.jp

## 1 はじめに

近年，意図的に広められた誤った記事である 「フェイクニュース」が深刻な社会問題の一つとなっている. 例えば，2016 年の米国大統領選挙では，Twitter に投稿されたニュースの $25 \%$ がフェイクもしくは極端に偏っており，トランプ氏の支持者の活動がフェイクニュースの拡散に影響を与えていた [1]. 選挙だけでなく, 2011 年の東日本大震災などの自然災害 [2,3] や，COVID-19 [4] に関連したフェイクニュースが世界各国でソーシャルメディアなどを通じて共有された。これらの問題に対処するため，ソーシャルメディア投稿やニュースコンテンツからのフェイクニュース検出モデルの開発や，検出モデル開発のためのデータセット構築が活発に行われている $[5,6]$.

多くのフェイクニュース検出データセットは，現実のフェイクニュースから構成される. 現実のフェイクニュースは人々の関心に強く影響される [7] ことから，時期によって流行するトピックが異なる.具体的には，2013 年にはオバマ大統領 [8],2016 年には米国大統領選挙 [1], 2020 年には COVID-19 [9] など，異なるトピックのフェイクニュースが頻繁に拡散された。 そのため, 特定時期のイベントや単一のドメインを対象とした，データセットが構築されることが多い. これらのデータセットから学習されるフェイクニュース検出モデルは, 学習データセットと同様のニュースに対しては高い検出精度を達成する。その一方で，異なるドメインや将来のフェイクニュースに対してはテキストの語彙情報が大きく異なることから十分に対応できない場合が多い. つまり，時期に偏りがあるデータセットで学習された検出モデルに，特定の人名や組織名を含む文章が入力されると，その文章の真偽に関わらず判定に誤りが生じる可能性がある.これは，同一のドメインデータでも生じる問題であり，頑健なモデル構築の妨げとなる.本研究では，この問題をデータセットの作成時期に依存することから「通時的バイアス」と定義する. 本稿では，通時的バイアスがデータセット内の人名などの固有名詞によるものと考え，これらをマスキングすることでバイアスの緩和手法を検討する. はじめに，作成時期の異なるフェイクニュース検出データセットを対象に，ラベルとフレーズ間の相関について分析し，データセット内の人名などの語の偏りを明らかにした。 次に，テキストからのフェイクニュース検出タスクを対象に，通時的バイアスの原因と考えられる人名に着目した緩和手法の検討を行った。

## 2 関連研究

学習データセットにおけるバイアスに関する研究は，攻撃的な言語やへイトスピーチの検知などを主な目的としており，著者バイアス [10]，アノテータバイアス [11], ジェンダーバイアス [12,13], 人種バイアス [14, 15], 政治的バイアス [16] などの様々なバイアスの分析や緩和手法の検討がなされている. Dayanik らの研究 [17] では，データセット内の人名の頻度バイアスに着目している. 人名に着目した点は我々と同様であるが，本稿では時間の経過のバイアスについて考慮している点で大きく異なる. å

フェイクニュース検出に近い分野として，含意認識の一種である与えられた証拠から主張の真偽を判定する Fact Verification タスクではバイアスの分析・軽減が取り組まれてる. Schuster ら [18] は頑健な推論モデル構築のためにテキストの語彙の偏りを緩和する手法を提案した. Suntwal ら [19] はテキスト中の語彙を NER タグに置き換えることで，ドメイン外のデータでも頑健な推論モデルの構築を目指した. しかしながら，フェイクニュース検出データセットに対してのバイアス調査や分析は我々の知る限り行われていない。

## 3

## リソース

## 3.1 データセット

本稿では，フェイクニュース検出に関するドメインや収集時期が異なる以下の４つの英語データセッ卜を用いて通時的バイアスの分析・検証を行う.これらのデータセットでは，記事や投稿などのテキストデータの内容に対して，フェイクニュースかどうかを示す 2 值ラベル（Fake / Real）が付与されている. 各データセットの詳細を以下に, ラベル数などの情報を付録A.1節に示す。

MultiFC [20] : 複数ドメインのフェイクニュースデータセットであり， 38 の事実検証サイトの記事から構成される. 全データ 36534 件のうち, 本稿では 2015 年以前の truth!， true， mostly true（Real ラべルとする）と false, mostly false（Fake ラベルとする） が付与された 7861 件のデータを用いる.

Horne17 [21]：2016 年の米国大統領選挙に関連したニュース記事を中心に構成される. Buzzfeed News などのサイトに基づいて, Real, Fake, Satireの 3 值ラベルが付与されており，本稿では Real, Fakeのラベルが付与されたデータを用いる.

Celebrity [22]：有名人を対象としたニュースの事実検証サイトである GossipCop によって検証された記事によって構成される. データセットの記事は 2016，2017 年頃に報道されたものが多く, 有名人同士の喧嘩などセンセーショナルな話題が中心である。

Constraint [23] : Constraint@AAAI2021 Shared Task のサブタスクで用いられたデータセットであり， Twitter などのソーシャルメディアの投稿で構成される. Politifact や Snopes などの事実検証サイトによってラベルが付与されており，2020 年に Twitter で拡散された COVID-19に関連した投稿が中心である.

## 3.2 フレーズとラベルの相関

データセットの偏りを検証するために，データセットのフレーズとラベルの相関について調査する. 高い出現頻度かつ各ラベルとの相関が高いフレーズ (n-gram) を抽出するために, Local Mutual Information (LMI) [24]を用いる.

$
L M I(w, l)=p(w, l) \cdot \log \left(\frac{p(l \mid w)}{p(l)}\right)
$

$w$ はフレーズ， $l$ はラベルとする. 条件付き確率 $p(l \mid w)$ は $\frac{\operatorname{count}(w, l)}{\operatorname{count}(w)}, p(l)$ は $\frac{\operatorname{count}(l)}{|D|}$ と算出される. $w$ と $l$ の同時確率である $p(w, l)$ は $\frac{\operatorname{count}(w, l)}{|D|}$ として算出される. $|D|$ はデータセット内の全てのフレーズの出現回数を示す.

MultiFC と Horne17 の bi-gram を対象とした，各ラベルとの相関が高い上位 10 フレーズの LMI を表 1に，Celebrity と Constraint の結果は付録 A.2節に示す. 2015 年以前の記事で構成された MultiFC では “barack obama”といった当時の米国大統領が Fake ラベルとの相関が高くなり，2016年大統領選挙の記事で構成された Horne17 では当時の大統領候補であった “hillary clinton” や“donald trump” が Fake ラベルと高い相関を持つという結果となった. このように， データセットごとに特定の人名とラベルの関係に大きな偏りの存在が明らかになった. どちらか一方のデータセットで学習された検出モデルでは大統領交代などの時代変化に対応できず，もう一方のデータセットでのフェイクニュース検出が上手くいかないことが示唆される.

## 4 通時的バイアスの緩和の検討

## 4.1 検討手法

通時的バイアスを緩和し，ドメイン外のデータに対しても頑健なフェイクニュース検出モデルを構築するために，データセットに対する複数のマスキング手法を検討する．本稿で検討するマスキング手法の例を表 2に示す. Lexicalized はマスキングされていない通常の入力とする.

Named Entity (NE) Deletion : Flair [25]の Named Entity Recognition (NER) [26] によって NE とタグ付けされた語彙を削除する．NEに依存しない検出モデルの構築を目的とするマスキング手法の一つである。

Basic NER : Flair の NER により NE としてタグ付けされた語彙が対応するラベル (PER, LOC など) に置き換える。

WikiD : Flair の NER により PER とタグ付けされた語彙を，Wikidata ${ }^{1)}$ で対応する人物の公的な地位 (P39)，対応がなければ職業 (P106) に置き換える.当時の Wikidataを用いることで，2015 年の記事に登場する “barack obama”と 2020 年の記事に登場する “donald trump”を米国大統領 (Q11696) というラベルに置き換えることができる。.これによって，テキストを入力としたフェイクニュース検出モデルが時間経過にも頑健になり，通時的バイアスの緩和が期待

表 1 データセットの bi-gram を対象に，各ラベルにおいて LMI が高い上位 10 フレーズと算出された LMI と $p(l \mid w)$ を示す. LMI は $10^{6}$ を掛けた值を示す. 人名を示すフレーズを太字で記す. Real ラベルは “if you”などの一般的なフレーズとの相関が高い一方で，Fake ラベルでは“donald trump”などの人名と高い相関を示す傾向が見られた.

 & 217 & 0.70 & barack obama & 365 & 0.69 & national security & 106 & 0.88 & hillary clinton & 440 & 0.50 \\

表 2 マスキング手法の適用例．ラベル PERに当たる部分を赤字，そのほかの NE を太字で示す.

## できる.

WikiD+Del : Flairの NERにより PERとタグ付けされた語彙を WikiD のルールで置き換え，その他の NEとタグ付けされた語彙を削除する。

WikiD+NER : Flair の NER により PER とタグ付けされた語彙を WikiD のルールで置き換え，その他の NE を対応するラベル (LOC など) に置き換える.

## 4.2 実験設定

マスキング手法の有効性について検証するために，フェイクニュース検出タスクを取り組む． 3 節で取り上げた各データセットの学習データを用いて，各マスキング手法を適用したフェイクニュース検出モデルを作成する. そして, 同じドメインや異なるドメインのデータセットに対して，各検出モデルによりどの程度フェイクニュースの検出が可能かを確認する。

モデル本実験では，Google から公開されている事前学習 BERT $_{\text {BASE }}$ モデル [27] を用いる. マスキング手法によって追加されたラベル（LOC や Q11696 など）は新たなトークンとして追加し， fine-tuning する、マスキングで用いる Wikidata の詳細は付録A.3節に示す.

データと評価学習のために，各データセットを全体の $80 \%$ を学習データに， $20 \%$ をテストデータに分割する．検出精度の評価には正解率 (Accuracy) を用いる。

## 4.3 実験結果

各データセットで学習したフェイクニュース検出モデルを，学習したデータセットのテストデータ （ドメイン内）とそれ以外のデータセットのテストデータ（ドメイン外）で評価し，マスキング手法の有用性について検討する。

## 4.3.1 ドメイン内データ

ドメイン内データに対する各マスキング手法での正解率を表 3に示す. Constraint 以外のデータセットにおいて，マスキング手法を行わない Lexicalized が最も高い精度となった。一方で，Constraint デー タセットにおいて WikiD が最も高い精度を達成した. また，Lexicalized が最も高い精度となったデー タセットにおいても他のマスキング手法による精度と比較して数ポイントの差しか存在しないという結果が得られた.このことから，同一ドメインのデー タに対して，各マスキング手法を適用したモデルでフェイクニュース検出を行っても，大きく精度が悪化しないことが示唆される.

## 4.3.2 ドメイン外データ

ドメイン外データをテストデータとした正解率を表 4に示す. 左の列に学習に用いたデータセットを，精度を記載した列はテストに用いた各データセットに対応している。ほとんどのドメイン外のデータに対して，マスキングを行わない Lexicalized
表 3 各マスキング手法におけるドメイン内でのファイクニュース検出精度.

よりも各マスキング手法が高い精度を達成した.

Lexicalized の精度はドメイン外への適応可能性を示している. 例えば, Constraintで学習したモデルは Constraint で 0.96 と高い正解率を達成した（表 3）が， ドメイン外データで学習したモデルでは Constraint のテストデータに適用したところ，約 $0.48-0.58$ と低い正解率となった。このことは，フェイクニュー ス検出モデルの一般化の難しさを示している.

検討手法の一つである NE Deletion は単純なマスキング手法にも関わらず，12 の実験設定のうち9つで Lexicalized よりも高い精度を達成した。一部のデータセットで大幅に精度が向上しており，中でも Horne17 で学習したモデルでは MultiFC と Celebrity の 2 つのテストデータセットで最も高い精度を達成している. Basic NER は Horne17 で学習したモデルで Constraint のテストデータに対して最も高い精度を達成したが，NE Deletion ほどの大きな効果は見られなかった。

Wikidataを活用したマスキング手法である WikiD と WikiD+Del は，Lexicalized と比較して Celebrity をテストデータとした時以外の 10 の実験設定で高い精度を達成した. 例えば，MultiFC で学習したモデルで Constraint のテストデータで評価したところ，Lexicalized では 0.530 だったものの，WikiDでは 0.689 と大幅な精度向上を達成した. この結果は，Wikidataを活用したマスキング手法が通時的バイアスを緩和し，ドメイン外のデータセットにおいても頑健なモデルを構築できる可能性を明らかにした. 一方で，芸能系のドメインである Celebrity をテストデータとしたとき，Lexicalized と変わらない検出精度であった。これは，学習データが政治系を中心としたものでドメインが大きく異なることから， Wikidata を活用できず大きな効果が見られなかったと考えられる（付録の表7を参照されたい）。また， Wikidata を活用したマスキング手法の WikiD+NER は WikiD+Del と比べ低い精度となっている。つま表 4 各マスキング手法におけるドメイン外でのファイクニュース検出精度.

} & \multirow{2}{*}{ 手法 } & \multicolumn{4}{|c|}{ テストデータ } \\

り，人名以外の Entity，例えば“London”などの地名を“LOC” というタグに置き換えるよりも，削除することで頑健なモデルを構築できることを示す.これは余分な Entity 情報を削除することで，モデルが文体の特徵に着目できることが要因と考えられる。

## 5 おわりに

本稿は，フェイクニュース検出データセットの作成時期やドメインによって生じる新たなバイアス「通時的バイアス」を定義した。そして，データセット内の人名に大きな偏りがあるのに着目し，人名を Wikidata の情報に置き換えるマスキング手法を提案し，ドメイン外のデータセットに対するフェイクニュース検出タスクに取り組むことによりマスキング手法の有効性について確認した。

今回はマスキングという簡易な手法を検討したが，今後の方向性として，通時的バイアスを緩和するために知識グラフを活用した検出モデルの構築などが考えられる。また，フェイクニュース検出デー タセットには通時的バイアス以外にも政治的バイアスや人種バイアスが存在すると考えられるため，これらのバイアスを明らかにしていくことも重要な課題の 1 つである.

## 参考文献

[1]Alexandre Bovet and Hernán A Makse. Influence of fake news in twitter during the 2016 us presidential election. $\mathrm{Na}$ ture communications, Vol. 10, No. 1, pp. 1-14, 2019.

[2]Misako Takayasu, Kazuya Sato, Yukie Sano, Kenta Yamada, Wataru Miura, and Hideki Takayasu. Rumor diffusion and convergence during the 3.11 earthquake: a twitter case study. PLoS one, Vol. 10, No. 4, p. e0121443, 2015.

[3]Takako Hashimoto, David Lawrence Shepard, Tetsuji Kuboyama, Kilho Shin, Ryota Kobayashi, and Takeaki Uno. Analyzing temporal patterns of topic diversity using graph clustering. The Journal of Supercomputing, pp. 1-14, 2020.

[4]Gautam Kishore Shahi and Durgesh Nandini. FakeCovid - a multilingual cross-domain fact check news dataset for covid19. In Workshop Proc. of ICWSM, 2020.

[5]Kai Shu, Suhang Wang, Dongwon Lee, and Huan Liu. Mining disinformation and fake news: Concepts, methods, and recent advancements. arXiv:2001.00623, 2020.

[6]Savvas Zannettou, Michael Sirivianos, Jeremy Blackburn, and Nicolas Kourtellis. The web of false information: $\mathrm{Ru}-$ mors, fake news, hoaxes, clickbait, and various other shenanigans. Journal of Data and Information Quality, Vol. 11, No. 3, pp. 1-37, 2019.

[7]Ana Lucía Schmidt, Fabiana Zollo, Michela Del Vicario, Alessandro Bessi, Antonio Scala, Guido Caldarelli, H Eugene Stanley, and Walter Quattrociocchi. Anatomy of news consumption on facebook. Proceedings of the National Academy of Sciences, Vol. 114, No. 12, pp. 3035-3039, 2017.

[8]CNBC News. False rumor of explosion at white house causes stocks to briefly plunge; ap confirms its twitter feed was hacked. https://www.cnbc.com/id/100646197, 2013.

[9]Gautam Kishore Shahi, Anne Dirkson, and Tim A Majchrzak. An exploratory study of covid-19 misinformation on twitter. arXiv preprint arXiv:2005.05710, 2020.

[10]Michael Wiegand, Josef Ruppenhofer, and Thomas Kleinbauer. Detection of Abusive Language: the Problem of Biased Datasets. In Proc. of NAACL, pp. 602-608, 2019.

[11]Björn Ross, Michael Rist, Guillermo Carbonell, Benjamin Cabrera, Nils Kurowsky, and Michael Wojatzki. Measuring the reliability of hate speech annotations: The case of the european refugee crisis. arXiv:1701.08118, 2017.

[12]Reuben Binns, Michael Veale, Max Van Kleek, and Nigel Shadbolt. Like trainer, like bot? inheritance of bias in algorithmic content moderation. In International conference on social informatics, pp. 405-415. Springer, 2017.

[13]Ji Ho Park, Jamin Shin, and Pascale Fung. Reducing gender bias in abusive language detection. In Proc. of EMNLP, pp. 2799-2804, 2018.

[14]Maarten Sap, Dallas Card, Saadia Gabriel, Yejin Choi, and Noah A Smith. The risk of racial bias in hate speech detection. In Proc. of ACL, pp. 1668-1678, 2019.

[15]Thomas Davidson, Debasmita Bhattacharya, and Ingmar Weber. Racial bias in hate speech and abusive language detection datasets. In Proc. of the Third Workshop on Abusive Language Online, pp. 25-35, 2019.

[16]Maximilian Wich, Jan Bauer, and Georg Groh. Impact of politically biased data on hate speech classification. In Proc. of the Fourth Workshop on Online Abuse and Harms, pp. 54-64, 2020

[17]Erenay Dayanik and Sebastian Padó. Masking actor information leads to fairer political claims detection. In Proc. of $A C L$, July 2020.

[18]Tal Schuster, Darsh Shah, Yun Jie Serene Yeo, Daniel Roberto Filizzola Ortiz, Enrico Santus, and Regina Barzilay. Towards debiasing fact verification models. In Proc. of EMNLP-IJCNLP, pp. 3410-3416, 2019.

[19]Sandeep Suntwal, Mithun Paul, Rebecca Sharp, and Mihai Surdeanu. On the importance of delexicalization for fact verification. In Proc. of EMNLP-IJCNLP, pp. 3404-3409, 2019.

[20]Isabelle Augenstein, Christina Lioma, Dongsheng Wang, Lucas Chaves Lima, Casper Hansen, Christian Hansen, and Jakob Grue Simonsen. Multifc: A real-world multi-domain dataset for evidence-based fact checking of claims. In Proc. of EMNLP-IJCNLP, pp. 4677-4691, 2019.

[21]Benjamin Horne and Sibel Adali. This just in: Fake news packs a lot in title, uses simpler, repetitive content in text body, more similar to satire than real news. In Proc. of ICWSM, Vol. 11, 2017.

[22]Verónica Pérez-Rosas, Bennett Kleinberg, Alexandra Lefevre, and Rada Mihalcea. Automatic detection of fake news. In Proc. of COLING, pp. 3391-3401, 2018.

[23]Parth Patwa, Shivam Sharma, Srinivas PYKL, Vineeth Guptha, Gitanjali Kumari, Md Shad Akhtar, Asif Ekbal, Amitava Das, and Tanmoy Chakraborty. Fighting an infodemic: Covid-19 fake news dataset. arXiv:2011.03327, 2020.

[24]Stefan Evert. The statistics of word cooccurrences: word pairs and collocations. 2005.

[25]Alan Akbik, Duncan Blythe, and Roland Vollgraf. Contextual string embeddings for sequence labeling. In Proc. of COLING, pp. 1638-1649, 2018.

[26]Alan Akbik, Tanja Bergmann, and Roland Vollgraf. Pooled contextualized embeddings for named entity recognition. In Proc. of NAACL, pp. 724-728, 2019.

[27]Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proc. of NAACL, pp. 4171-4186, 2019

## A 付録

## A. 1 データセットの概要

本稿で扱うデータセットのドメインや各ラベルのデータ数について表 5に示す.

表 54 つのデータセットの概要.

## A. 2 データセットの LMI

Celebrity と Constraint の 2 つのデータセットにおいて各ラベルと相関の高い上位 10 フレーズの LMI を表 6に示す. 芸能系のニュースで構成された Celebrity では “brad pitt” や “kate middleton” などの著名人が，COVID-19 関係の Constraint では “donald trump” “bill gates”などの人名が Fake ラベルと高い相関を持つという結果となった。一方で，Real ラベルでは人名や固有名詞が少なく, “i had” や “if you"などの一般的な表現と高い相関を持つという傾向が示された. Fake ラベルと人名が高い相関を持ち, Real ラベルと一般的な表現が高い相関を持つという傾向は 4 つのデータセット全体に見られる傾向である.

## A. 3 マスキング手法における Wikidata

本実験では，テキストのマスキングのためにデー タセットを構成する記事や投稿の時期に対応した Wikidataを用いる。具体的には，MultiFC には 2016 年 1 月 4 日, Horne17と Celebrity には 2018 年 1 月 11 日，Constraint に対しては 2020 年 12 月 28 日に公開された Wikidataを用いる.

## A. 4 各データセットにおける Wikidata ラ ベル

各データセット同士の WikiD による Wikidata ラベルの重複を表 7に示す. これは，左列に示したデータセットの Wikidata ラベルのうち，他のデー タセットにある Wikidata ラベルによってどの程度カバーされているかを示したものである. MultiFC と Horne17 データセットは同様の政治トピックであることからお互い高いカバー率である。一方で，表 6 Celebrity と Constraint データセットの bi-gramを対象に，各ラベルにおいて LMI が高い上位 10 フレーズ.

 & 822 & 0.93 & donald trump & 569 & 0.98 \\

Celebrity データセットは芸能というドメインであることから，他のデータセットと比べ低いカバー率である．各データセットにおいて出現回数が上位 3 つの Wikidata ラベルを表 8に示す.

表 7 各データセット同士の Wikidata ラベルのカバー率.

表 8 各データセットにおける，出現回数上位 3 の Wikidata ラベル.

 &  & actor &  \\


# ニューラル文法誤り訂正のための 多様な規則を用いる人工誤り生成

古山翔太 ${ }^{1,2}$ 高村大也 ${ }^{1,2}$ 岡崎直観 1,2
1 東京工業大学 2 産業技術総合研究所
shota.koyama[at]nlp.c.titech.ac.jp, takamura.hiroya[at]aist.go.jp,
okazaki[at]c.titech.ac.jp

## 1 はじめに

文法誤り訂正は，与えられた文書から綴りの間違いや，単語の誤用などの文法的な誤りを見つけ，正しい表現へと修正する技術である。言語学習者支援や文書校正への応用が期待されており，自然言語処理の重要な課題のひとつである.

文法誤り訂正では，誤り注釈付きの学習者コーパスを教師データとして，ニューラルネットワークのモデルを学習する手法が主流である [1]. さらに，人工誤り生成による人工誤りデータを用いてニュー ラルネットワークのモデルを事前学習したのちに，学習者コーパスを用いて再学習（ファインチューニング）を行うアプローチの有効性が報告されている [2]. そのため, 事前学習に用いる学習データを生成するための人工誤り生成手法の改善は, ニュー ラル文法誤り訂正における重要な研究課題である.

人工誤り生成は，文法誤り訂正固有のデータ拡張手法であり，単語を置き換える規則や文法誤りを生成する手法を用い，文法的な文に誤りを導入することで，人工誤りデータを構築する。 ニューラル文法誤り訂正のための人工誤り生成には，機械翻訳による誤り生成と, 誤り生成規則による誤り生成がある. 機械翻訳による誤り生成は, 系列変換モデルを用いて誤りデータを作成する手法であり，逆翻訳を用いる手法 $[3,4,5]$ や，折り返し翻訳を用いる手法 $[2,6]$, 初級 ・上級翻訳器を用いる手法 [7] が提案されている。一方，規則による誤り生成では，各規則は特定の種類の誤りのみしか生成できず，文法力テゴリごとに異なる規則を準備する必要がある.このため, 英語文法誤り訂正においては, 誤りの種類ごとに様々な誤り生成規則が提案されている.

英語を対象とした人工誤り生成において，誤り生成規則は，機能語誤り，語形変化誤り，表記体系の誤り，単語選択の誤り，語順誤りの生成に関するものに大別できる.

機能語誤りは, 例えば“I went for Tokyo.” の for（訂正は to）のような，前置詞や代名詞などの機能語の用法に関する誤りである。機能語誤りの生成手法として，冠詞を置き換える手法 [8] や，学習者の誤り傾向を反映し, 冠詞や前置詞の誤りを生成する手法 $[9,10]$ などが提案されている.

語形変化誤りは，例えば “I goed to Tokyo.” の goed （訂正は went）のような，内容語の語形変化における誤りである。語形変化誤りの生成手法として，不可算名詞の数に関する誤りを生成する手法 [11] や,品詞解析の結果に基づき名詞数や動詞変化の誤りを生成する手法 [12] などが提案されている.

表記体系の誤りは，例えば“I want to Tokyo.”の want（訂正はwent）のような綴りの誤りや，句読法，複合語，分かち書き，縮約，大小文字の規則に関する誤りである。表記体系の誤り生成手法として，文中のコンマを削除する手法 [13] や，経り誤り訂正器を逆適用する手法 [14]が提案されている.

単語選択の誤りは，例えば“I lost my flight.” の lost （訂正は missed）のような類義語の誤用や，接辞が異なる語を用いる誤りである．単語選択の誤り生成手法として, 品詞解析の結果に基づき接辞に関する誤りを生成する手法が提案されている [15].

語順誤りは，例えば“I my flight missed.” の my flight の位置（missed の後ろが正しい）のように，文中の語や句の位置に関する誤りである。語順誤りの生成手法として，隣り合う単語を入れ替える手法が提案されている $[16,14]$.

以上のように，人工誤り生成のための規則による誤り生成手法は数多く存在している。しかし，いずれの手法も，特定の種類か，あるいは少数の誤り生成規則を適用して人工誤り生成を行っている。この

ため，これらの手法で生成されるデータは，多様な種類の誤りを含む実際の文書と比較して, 非常に限られた種類の誤りのみを含む.このような手法で生成される誤りデータを用いて訂正モデルを学習する場合，人工誤り生成が対応していない種類の誤りに対しては，誤り訂正の性能向上が期待できない.

本研究では，英文中の様々な文法誤りに対して誤り生成規則を設計し，それらを組み合わせて多様な誤り文を生成できる人工誤り生成の枠組みを提案する. 提案手法では, 複数の誤り生成規則を文ごとに異なる確率で適用することで，多様な誤り文を生成する. 生成された誤りデータで文法誤り訂正モデルを事前学習し, さらに学習者コーパスで再学習する実験を行う。提案手法の誤り生成規則や適用確率はすべて人手で調整しているが，この方法で生成した誤りデータを用いて事前学習を行ったモデルは，事前学習を行わないべースラインよりも高い訂正性能を示した. 特に，CoNLL-14 タスクのテストデータでは, 最高性能を達成した. さらに, 特定の誤り種類に関する誤り生成規則を人工誤り生成から取り除くことによる影響を評価し，多様な誤り生成規則を用いる人工誤り生成の有効性を検証する。

## 2 手法

提案手法では，単言語コーパスの各文に対して複数の誤り生成規則を順番に，かつ独立に適用する。単言語コーパスの各文には，SpaCy v2.3 ${ }^{1)}$ を用いてトークナイズを施し, 品詞タグ，係り受け解析タグ，見出し語，固有表現のIOB タグと種類を，単語ごとに付与しておく. 誤り生成規則は単語ごとに適用され，ある誤り生成規則が，ある語に対して誤り生成可能であるかは, その語やその周辺の語に付与された情報から判定される. 各誤り生成規則は, 固有のベータ分布を保持しており, 文ごとにしきい值をサンプルする．誤り生成規則は，誤りを生成可能な単語ごとに，一様分布から值をサンプルし，その值がしきい値を超えた場合に誤りを生成する。この仕組みのため, 文ごとに異なる割合で誤りが生成され，多様な誤り文を得ることができる。 入力文に対してすべての誤り生成規則を適用した文を誤り文，入力文を修正文とし，誤りデータを生成する.

誤り生成規則は，計 188 種類を作成した。このうち, 154 種類が機能語誤りに， 5 種類が語形変化誤りに， 19 種類が表記体系誤りに， 6 種類が語順誤

表 2 単言語コーパス

表 3 評価コーパス

りに， 2 種類が単語選択誤りに関する誤り生成規則である. その他, 記号や頻度の高い機能語の削除を行う誤り生成規則と，マスクトークン予測のための規則がある．誤り生成規則の多くは，条件に合う単語を削除したり，置き換えたりするものである．例えば，前置詞 than に関する誤り生成規則は, 前置詞の than に対して確率 0.2 で削除操作を行い，またそれぞれ確率 $0.4,0.2,0.1,0.1$ で than を to, from, over, beyond に置き換える。単語を挿入する誤り生成規則もあり，例えば，冠詞を挿入する誤り生成規則では，文頭，あるいはある単語間の位置において, 左の単語が存在しないか, あるいは左の単語の Penn Treebank 品詞タグが，VB, VBD, VBG, VBN, VBP, VBZ, IN のいずれかであり，かつ右の単語の Penn Treebank 品詞タグが, NN, NNS, JJ, JJN, JJS のいずれかである場合に，a, an, the, this, that, these, those を，それぞれ $0.3,0.3,0.3,0.025,0.025,0.025,0.025$ の確率でサンプルし，挿入する。人工誤り生成に用いるソースコードは，GitHub 上で公開した2)，その他の誤り生成規則の詳細はそちらを参照してほしい。

## 3 実験

再学習に用いる学習者コーパスの種類と規模を表 1 に示す。学習者コーパスの入手は，BEA-19 Shared Task ${ }^{3}$ の規定に従う. Lang-8 コーパスは，誤り文と修正文が同一な事例を除いた文のみを学習に用い， Lang-8 コーパス以外のコーパスは, 学習時に標本数を 3 倍にする．評価に用いるコーパスの種類と規模，評価尺度を表 3 に示す. 事前学習に用いる単言語コーパスの種類と規模を表 2 に示す. 表 2 中の

表 4 誤り訂正実験の結果と既存手法との比較

 &  &  &  \\

コーパスは，WMT19のニュースタスクのもの4)を用いる。誤り生成は, 各エポックごとに行う. すべてのデータは，記号の正規化などの前処理が施されたのち，BPE-dropout [24]が施される. dropout 確率は，誤り文で 0.1 ，修正文で 0 とする.

ニューラル文法誤り訂正には，Transformer Big [25] モデルを用いる. 実装は fairseq v0.10.1 5) を用いる. 生成は, 幅 12 のビーム探索で行い, スコアは長さ正規化をする. 実験結果は， 5 モデルの平均值と，アンサンブル，RoBERTa Large を用いるリスコア [26] によるものを報告する.

## 4 結果

実験結果を表 4 に示す. ベースラインでは, 学習者コーパスを用いて 50 エポック訓練する. 事前学習では，単言語コーパスに誤り生成を施した誤りデータを用いて 20 エポック訓練する. 再学習では，学習者コーパスを用いて 30 エポック訓練する. ドメイン適応は，再学習を行ったのちに，評価データとドメインの近い訓練データで追加の学習を行うことである. ドメイン適応では, 事前学習済みモデルを学習者コーパスすべてで 5 エポック訓練し, さらに，ドメインが同じ学習者コーパスのみを用いて 20 エポック訓練する．ドメインが同じ学習者コーパスは，BEA-19 valid/test に対しては，W\&I train，CoNLL

表 5 誤り生成規則の有無が性能に与える影響の比較

13/14 は NUCLE，FCE valid/test は FCE train である.

ベースラインと比較すると，提案手法による人工誤りデータを用いて事前学習し，再学習するモデルの性能がすべての評価データセットで高くなっており，多様な規則を用いる人工誤り生成が有効であることがわかる. アンサンブル，リスコアはともに性能向上に大きく寄与している．事前学習済みモデルのスコアは，ベースラインのそれに迫る結果となっているが，アンサンブルやリスコアによる性能向上は小さい。これは，事前学習済みモデルが，ベースラインモデルと比較して，良い言語モデル的性質を持っており，アンサンブルやリスコアによる恩恵を受けにくいためだと考えられる. ドメイン適応による性能向上は，句読法の規約などの，評価データ間で異なっている特徴に適応する効果によると考えられる. NUCLEコーパスは CoNLL-14 タスク [21] の訓練データセットであるが，CoNLL-14 データセットへのドメイン適応の効果は見られなかった。

誤り生成において，特定のカテゴリの誤り生成規則のみを用いる場合と，特定のカテゴリの誤り生成規則を除く場合の性能の変化をカテゴリごとに調べるために，誤り生成規則の 5 カテゴリについて， 1 つのみを用いるか，1 つを除く 800 万文で，事前学習を 10 エポック行い, 再学習, アンサンブル，リスコアを行った結果を表 5 にまとめた. 1 カテゴリの規則のみを用いる場合は, ベースラインと同程度かそれ以下となる。これは, 事前学習に用いるデータでの誤りの種類が多様でない場合には，規則による誤り生成が有効ではない可能性を示している．1 力テゴリの規則のみを取り除く場合の性能は，すべての規則を用いる場合と比較して，性能が大きくは変

図 1 事前学習データのエポック数・ステップ数による BEA-19 valid データセット上での性能変化

わらない。これは事前学習に用いるデータにおける誤りの偏りが小さいことが有効であることを支持している．また，評価データによっては，特定の誤りカテゴリがない方がスコアが高くなる．この原因を調べるためには，各誤り生成規則がスコアに与える影響を評価する方法を検討する必要がある。

逆翻訳を用いる人工誤り生成手法では，事前学習に用いるデータを大きくするとモデルの訂正性能が向上することが確認されている [5]. 図 1 の青線「エポック数を 10 に固定」は，事前学習に用いる単言語コーパスの文数を 400 万文， 800 万文，1,600 万文，3,200万文に変化させたとき，エポック数を 10 回に固定することで，総ステップ数が単言語コーパスの文数に比例する条件で事前学習を行い，再学習，アンサンブル，リスコアし，BEA-19 valid デー タセット上で評価した結果である。実験結果から，既存の報告と同様に，事前学習に用いるデータの規模が性能向上に寄与することがわかる.

しかし，この実験設定では，訂正性能の向上は単言語コーパスの規模の増加によるものか，事前学習の総ステップ数の増加によるものかの区別がつかない。そこで，単言語コーパスの規模を大きくしても学習の総ステップ数がおおよそ一定になるように，エポック数を調整した条件で実験を行った. 図 1 の赤線「総ステップ数が一定」は，事前学習に用いる単言語コーパスの文数を 400 万文， 800 万文, 1,600 万文，3,200 万文と変化させたとき，エポック数をそれぞれ 40, 20, 10, 5 回に設定することで，総ステップ数が同程度になる条件で事前学習を行った結果である. 実験結果から，総ステップ数を揃えた場合，単言語コーパスが比較的小規模（400万文や 800 万文）の場合も，高い性能を示すことがわかる. これは，事前学習に用いる誤りデータでは，同じ文に対してもエポックごとに異なる誤りを生成させているためだと考えられる．また，このことは，単言語コーパスの規模が小さな言語に対しても，適切な

図 2 従来手法との BEA-19 test データセットでの ERRANT 誤り種類ごとの性能比較

誤り生成規則を設計すれば，高性能なモデルを学習できる可能性を示している.

従来の規則による誤り生成手法と, 提案手法を比較するために，表 4 の BEA-19 test データセットでの, ERRANT [27] 誤り種類の一部に対しての訂正性能の比較を図 2 に示す. 正書法の誤り (ORTH) や綴り誤り (SPELL) では，提案手法は従来手法よりも高い性能を示している。これは，提案手法の表記体系の誤りの生成が有効であることを示している. Choe らの手法 [12] と提案手法は，ドメイン適応を行っているが，句読法の誤り (PUNCT) の性能が高い。これは，句読法はドメインごとに規約が異なるためだと考えられる。冠詞誤り (DET) や，前置詞誤り (PREP), 代名詞誤り (PRON) などの機能語誤りでは，規則による誤り生成を行う従来手法との単純な比較は難しい. 機能語誤りのように訂正に前後の文脈を要する誤りの生成においては，規則による誤り生成は機械翻訳による誤り生成と比較して質が劣ると考えられる。その検証は，今後の課題である。

## 5 おわりに

本研究では，多様な誤りに対して誤り生成規則を定義し，それらを組み合わせた人工誤り生成の枠組みを提案した。実験を通して，多様な規則を用いる誤り生成は，ニューラル文法誤り訂正の事前学習のためのデータ拡張手法として効果的であることが示された. さらに，誤り生成規則の多様性は，文法誤り訂正の事前学習の効果を向上させることがわかった. また，人工誤りデータの生成に用いる単言語コーパスが小規模な場合でも，条件によっては高性能な訂正モデルを学習できる可能性も判明した.

謝辞本研究成果は，「産総研・東工大実社会ビッグデータ活用オープンイノベーションラボラトリ」により得られたものです.

## 参考文献

[1] Marcin Junczys-Dowmunt, Roman Grundkiewicz, Shubha Guha, and Kenneth Heafield. Approaching neural grammatical error correction as a low-resource machine translation task. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 595-606, 2018.

[2] Jared Lichtarge, Chris Alberti, Shankar Kumar, Noam Shazeer, Niki Parmar, and Simon Tong. Corpora generation for grammatical error correction. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 3291-3301, 2019.

[3] Marek Rei, Mariano Felice, Zheng Yuan, and Ted Briscoe. Artificial error generation with machine translation and syntactic patterns. In Proceedings of the 12th Workshop on Innovative Use of NLP for Building Educational Applications, pp. 287-292, 2017.

[4] Tao Ge, Furu Wei, and Ming Zhou. Fluency boost learning and inference for neural grammatical error correction. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1055-1065, 2018.

[5] Shun Kiyono, Jun Suzuki, Masato Mita, Tomoya Mizumoto, and Kentaro Inui. An empirical study of incorporating pseudo data into grammatical error correction. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 1236-1242, 2019.

[6] Jared Lichtarge, Chris Alberti, and Shankar Kumar. Data weighted training strategies for grammatical error correction. Transactions of the Association for Computational Linguistics, Vol. 8, pp. 634646, 2020.

[7] Wangchunshu Zhou, Tao Ge, Chang Mu, Ke Xu, Furu Wei, and Ming Zhou. Improving grammatical error correction with machine translation pairs. In Findings of the Association for Computational Linguistics: EMNLP 2020, pp. 318-328, 2020.

[8] Emi Izumi, Kiyotaka Uchimoto, Toyomi Saiga, Thepchai Supnithi, and Hitoshi Isahara. Automatic error detection in the Japanese learners' English spoken data. In The Companion Volume to the Proceedings of 41st Annual Meeting of the Association for Computational Linguistics, pp. 145-148, 2003.

[9] Alla Rozovskaya and Dan Roth. Training paradigms for correcting errors in grammar and usage. In Human Language Technologies: The 2010 Annual Conference of the North American Chapter of the Association for Computational Linguistics, pp. 154-162, 2010.

[10] Alla Rozovskaya and Dan Roth. Generating confusion sets for context-sensitive error correction. In Proceedings of the 2010 Conference on Empirical Methods in Natural Language Processing, pp. 961-970, 2010.

[11] Chris Brockett, William B. Dolan, and Michael Gamon. Correcting ESL errors using phrasal SMT techniques. In Proceedings of the 21 st International Conference on Computational Linguistics and 44th Annual Meeting of the Association for Computational Linguistics, pp. 249-256, 2006.

[12] Yo Joong Choe, Jiyeon Ham, Kyubyong Park, and Yeoil Yoon. A neural grammatical error correction system built on better pretraining and sequential transfer learning. In Proceedings of the Fourteenth Workshop on Innovative Use of NLP for Building Educational Applications, pp. 213-227, 2019.

[13] Simon Flachs, Ophélie Lacroix, and Anders Søgaard. Noisy channel for low resource grammatical error correction. In Proceedings of the Fourteenth Workshop on Innovative Use of NLP for Building Educational Applications, pp. 191-196, 2019.

[14] Roman Grundkiewicz, Marcin Junczys-Dowmunt, and Kenneth Heafield. Neural grammatical error correction systems with unsupervised pre-training on synthetic data. In Proceedings of the
Fourteenth Workshop on Innovative Use of NLP for Building Educational Applications, pp. 252-263, 2019.

[15] Shuyao Xu, Jiehao Zhang, Jin Chen, and Long Qin. Erroneous data generation for grammatical error correction. In Proceedings of the Fourteenth Workshop on Innovative Use of NLP for Building Educational Applications, pp. 149-158, 2019.

[16] Jonas Sjöbergh and Ola Knutsson. Faking errors to avoid making errors: Very weakly supervised learning for error detection in writing. 2005.

[17] Helen Yannakoudakis, Ted Briscoe, and Ben Medlock. A new dataset and method for automatically grading ESOL texts. In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, pp. 180-189, 2011.

[18] Daniel Dahlmeier, Hwee Tou Ng, and Siew Mei Wu. Building a large annotated corpus of learner English: The NUS corpus of learner English. In Proceedings of the Eighth Workshop on Innovative Use of NLP for Building Educational Applications, pp. 22-31, 2013.

[19] Tomoya Mizumoto, Yuta Hayashibe, Mamoru Komachi, Masaaki Nagata, and Yuji Matsumoto. The effect of learner corpus size in grammatical error correction of ESL writings. In Proceedings of COLING 2012: Posters, pp. 863-872, 2012.

[20] Christopher Bryant, Mariano Felice, Øistein E. Andersen, and Ted Briscoe. The BEA-2019 shared task on grammatical error correction. In Proceedings of the Fourteenth Workshop on Innovative Use of NLP for Building Educational Applications, pp. 52-75, 2019.

[21] Hwee Tou Ng, Siew Mei Wu, Ted Briscoe, Christian Hadiwinoto, Raymond Hendy Susanto, and Christopher Bryant. The CoNLL2014 shared task on grammatical error correction. In Proceedings of the Eighteenth Conference on Computational Natural Language Learning: Shared Task, pp. 1-14, 2014.

[22] Courtney Napoles, Keisuke Sakaguchi, and Joel Tetreault. JFLEG: A fluency corpus and benchmark for grammatical error correction. In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics: Volume 2, Short Papers, pp. 229-234, 2017.

[23] Kostiantyn Omelianchuk, Vitaliy Atrasevych, Artem Chernodub, and Oleksandr Skurzhanskyi. GECToR - grammatical error correction: Tag, not rewrite. In Proceedings of the Fifteenth Workshop on Innovative Use of NLP for Building Educational Applications, pp. 163-170, 2020.

[24] Ivan Provilkov, Dmitrii Emelianenko, and Elena Voita. BPEdropout: Simple and effective subword regularization. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 1882-1892, 2020.

[25] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. V. Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30, pp. 5998-6008, 2017.

[26] Julian Salazar, Davis Liang, Toan Q. Nguyen, and Katrin Kirchhoff. Masked language model scoring. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 2699-2712, 2020.

[27] Christopher Bryant, Mariano Felice, and Ted Briscoe. Automatic annotation and evaluation of error types for grammatical error correction. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 793-805, 2017 .
表 6 誤り訂正実験の結果と既存手法との比較

 \\

図 3 事前学習データのエポック数・ステップ数による CoNLL-14 test データセッ卜上での性能変化

図4 事前学習データのエポック数・ステップ数による FCE test データセット上での性能変化

単言語コーパスの文数

図 5 事前学習データのエポック数・ステップ数による JFLEG test データセット上での性能変化

dropout 確率

図 6 BPE-dropout $の$ dropout 率による BEA-19 valid デー タセット上での性能変化

## A 実験結果の詳細

表 4 のより詳細な結果を表 6 に示す。再学習を行った場合，ベースラインより特に再現率が高くなる. 多様な人工誤り生成を行った誤りデータでの事前学習が，多様な誤りの訂正性能に寄与することが確認できる. ドメイン適応は，評価データ間の規約の差異を埋め，再現率を向上させる。

表 5 の詳細な結果を表 7 に示す.

図 1 と同じ実験を BEA-19 valid データセット以外で行った結果を図 $3,4,5$ に示す. 他のデータセットでも図 1 と同様の結果が確認できる.

BPE-dropout の dropout 確率を変化させたときのベースラインモデルの BEA-19 valid データセットでの性能変化を図 6 に示す.表 7 誤り生成規則の有無が性能に与える影響の比較

事前学習 (人工誤り・1 カテゴリのみ) +再学習 +機能語誤り $\quad \begin{array}{lllllll}59.05 & 32.65 & 50.83 & 73.29 & 43.44 & 64.44\end{array}$ +活用誤り $\quad \begin{array}{lllllllll} & 58.49 & 32.13 & 50.25 & 71.69 & 44.64 & 63.94\end{array}$ +表記体系誤り $\quad \begin{array}{lllllll}60.30 & 33.39 & 51.93 & 73.15 & 43.81 & 64.50\end{array}$ +单語選択誤り $\quad \begin{array}{lllllll}58.80 & 33.05 & 50.87 & 70.45 & 44.37 & 63.04\end{array}$ +語順誤り $\quad \begin{array}{llllll}57.80 & 32.48 & 50.00 & 68.90 & 44.76 & 62.19\end{array}$事前学習（人工誤り・1 カテゴリ除く）+再学習 -機能語誤り $\quad \begin{array}{lllllll} & 58.95 & 37.42 & 52.87 & 71.79 & 47.74 & 65.22\end{array}$ -活用誤り $\quad \begin{array}{llllllll}59.36 & 37.05 & 52.98 & 69.55 & 48.28 & 63.92\end{array}$ $\begin{array}{llllllll}\text {-表記体系誤り } & 60.10 & 34.61 & 52.38 & 74.79 & 44.74 & 65.93\end{array}$ -単語選択誤り $\quad \begin{array}{lllllll}61.03 & 35.45 & 53.33 & 74.21 & 45.78 & 66.01\end{array}$ $\begin{array}{lllllll}\text {-語順誤り } & 61.13 & 34.00 & 52.72 & 75.45 & 45.16 & 66.54\end{array}$事前学習+再学習 6


# 文法誤り訂正における複数の逆翻訳モデルを 利用した訂正傾向の比較

小山碧海甫立健悟 金子正弘 小町守
東京都立大学
\{koyama-aomi, hotate-kengo, kaneko-masahiro\}@ed.tmu.ac.jp
komachi@tmu.ac.jp

## 1 はじめに

文法誤り訂正（GEC）とは，言語学習者の書いた文にある誤りを自動で訂正するタスクである.Yuan ら [1] がエンコーダ・デコーダ（EncDec）モデルを GEC 適用して以来，様々な EncDec べースの GEC モデルが提案されている $[2,3,4]$.また，GEC モデルは構造ごとに異なる訂正傾向を持つことが知られている. 例えば, CNN [5] ベースのモデルは, 局所的な誤りの訂正性能が高いことが示されている [3]. さらに，複数の GEC モデルを組み合わせることにより，性能を向上させることも行われている $[6,7]$.一方で, EncDec モデルの訓練には大量の訓練デー タが必要であり [8], GECでは訓練に使用可能な学習者データが不足しているという問題がある。そのため, 様々な擬似データ生成手法が研究されており $[4,9,10]$, 大量の擬似データを利用した EncDec モデルが顕著な性能を達成している $[11,12,13]$.

代表的な擬似データ生成手法の一つ民逆翻訳 [14] がある。逆翻訳では，GEC モデルの場合とは反対に，訂正文から学習者文を出力させるように逆翻訳モデルを訓練する. その後，逆翻訳モデルに対して文法的に正しい文を入力し，擬似的な誤りを含む文を生成する。このようにして得た擬似誤り文とその入力文のペアを擬似データとして GEC モデルの訓練に使用する. Kiyono ら [12] は, いくつかの擬似データ生成手法を比較した結果，逆翻訳による擬似データで事前学習された GEC モデルの性能が最も高かったと報告しており, 逆翻訳は最も効果的な擬似データ生成手法の一つであると考えられる。

我々は，GECモデルの場合と同様に，逆翻訳モデルの構造によって GEC モデルの訂正傾向が異なる可能性があると考えた.しかしながら，これまでの研究では逆翻訳モデルに GEC モデルと同じモデル
を使用することが多く $[9,12,15]$ ，異なる逆翻訳もデルを使用した場合にどのような訂正傾向の違いがあるかを比較していない。また，Wan ら [16] は潜在表現にノイズを加えることによる擬似データ生成手法とルールベースの擬似データ生成手法を比較し，擬似データごと記正傾向が異なることを報告している。さらに，それらの擬似データを組み合わせることにより GEC モデルの性能を向上させている. したがって，訂正傾向の違いを捉えることは，より高性能な GEC モデルを構築することに繋がる。

[17], CNN，LSTM [18]）を逆翻訳モデルとして使用し, それらが生成した擬似データで事前学習された GEC モデルの訂正傾向を調査した.その結果，逆翻訳モデルごとに誤りタイプ別の訂正傾向が異なることが明らかになった．さらに，異なる逆翻訳モデルから生成した擬似データを組み合わせた場合の訂正傾向を調査した。その結果，異なる逆翻訳モデルから生成した擬似データを組み合わせた場合，シードのみが異なる単一の逆翻訳モデルを使用した場合に対して，性能が向上するあるいは補間する性能となることを確認した。

## 2 関連研究

Htut ら [19] は複数の GEC モデル（Transformer， CNN，PRPN [20]，ON-LSTM [21]）に対して，異なる逆翻訳モデル（Transformer, CNN）から生成された擬似データを使用した場合の訂正性能を調査した.その結果，GEC モデルに Transformerを使用し，逆翻訳モデルに CNNを使用した場合に最も高い性能を達成したと報告した．ただし，GECでは擬似データを事前学習に使用することが一般的であるが [4, 10, 12], Htut ら [19] は擬似データを学習者データで訓練した後の再訓練に使用するというあま

り一般的ではない方法を用いている。さらに， Htut ら [19] は擬似データごとにどのような訂正傾向があるかについて報告していない. 我々は，GEC モデルに Transformer を使用し，異なる逆翻訳モデル （Transformer，CNN，LSTM）を使用した場合の訂正傾向を調査する．また，Kiyono ら [12] に従い，擬似データを GEC モデルの事前学習に使用する.

White ら [22] は，直接的な編集操作による擬似データ生成手法 $[11,23]$ の比較を行なった. 1 つ目の手法 [11] では，スペルチェッカーに基づいて構築された confusion set を利用して擬似データを生成する. 2 つ目の手法 [23] では, 学習者データから抽出された誤りパターン，および動詞・名詞・前置詞の置換を利用して擬似データを生成する．2つの手法 $[11,23]$ を比較した結果，1つ目の手法 [11] ではスペリングの誤りの訂正性能が高いこと，および 2 つ目の手法 [23] では名詞の単数・複数形と時制の誤りの訂正性能が高いことを報告している. 我々は，異なる逆翻訳モデルから生成された擬似データを用いた場合の GEC モデルの訂正傾向を報告する.

いくつかの研究 $[10,16,24]$ では，異なる手法により生成された擬似データを組み合わせて GEC モデルの訓練に使用している。例えば，Zhou ら [24] は，統計的機械翻訳からの翻訳文を擬似誤り文とし， ニューラル機械翻訳からの翻訳文を擬似訂正文とする擬似データ生成手法を提案し，さらに逆翻訳により生成された擬似データを組み合わせて GEC モデルの訓練に使用している. しかしながら, Zhou ら [24] は，擬似データを組み合わせた場合の GEC モデルの訂正傾向について報告していない. 我々は，異なる逆翻訳モデルから生成した擬似データを組み合わせた場合の GEC モデルの訂正傾向を報告する。

## 3 実験設定

## 3.1 データセット

訓練データおよび検証データには BEA-2019 [25] で使用されたものを用いた. BEA-2019 で使用されたデータセットは FCE [26], Lang-8コー パス [27, 28], NUCLE [29], および W\&I+LOCNESS [30, 31] から構成されている. Chollampatt ら [3] に従い，訓練データから編集のない文対を削除した。その後, 訓練データの訂正文側のみからサブワードを獲得し，BPE [32]を適用した.ここで，語彙サイズは 8,000 とした. 以降では，訓練データおよび検証
データをそれぞれ BEA-train，BEA-valid と呼ぶ.

また，擬似誤り文を生成するための生成元コーパスとして，Wikipediaからランダムに抽出した 900 万文を使用した1)。

## 3.2 性能評価

GEC モデルの評価データには，CoNLL-2014 [33]， JFLEG [34], および BEA-2019 のテストデータ (BEAtest）を使用した. CoNLL-2014 では M ${ }^{2}$ [35]，JFLEG では GLEU [36]を評価指標に用いた. また, BEA-test およびBEA-valid は, ERRANT $[37,38]$ を用いて評価を行なった．アンサンブルモデルを除く報告する全ての値は 3 つの異なるシードを用いて訓練された GEC モデルのスコアの平均である ${ }^{21}$. アンサンブルモデルでは，平均值を得るために訓練した 3 つの GEC モデルをアンサンブルした結果を報告する。

## 3.3 文法誤り訂正モデル

GEC モデルには，代表的な EncDec ベースのモデルである Transformerを使用した. モデルのアーキテクチャは Vaswani ら [17] の "Transformer (base)" とし，fairseq [39]にある実装を用いた. Kiyono ら [12] に従い，擬似データを事前学習に使用し，その後 BEA-train でファインチューニングを行なった. 事前学習では Adam [40], ファインチューニングでは Adafactor [41] を最適化に用いた。 さらに，ベースラインとして，事前学習を行わずに BEA-train のみを用いて訓練したモデルを用意した.

また，異なる逆翻訳モデルから生成した擬似デー タを組み合わせた場合の訂正傾向を調査するため, 3.4 節で説明する逆翻訳モデルのうち Transformer および CNN から生成した 900 万文の擬似データを組み合わせた 1,800 万文の擬似データで事前学習された GEC モデルを用意した. さらに，異なる逆翻訳モデルを使用した場合と比較するため，シードのみが異なる単一の逆翻訳モデルから擬似データを生成し, 同様に組み合わせた擬似データで事前学習された GEC モデルを用意した。ここで，全ての逆翻訳モデルに与えた文は同じである。そのため，擬似データを組み合わせた際，擬似誤り文側の種類数は増えているが，訂正文側の種類数は増えていない。

1） 2020 年 7 月 6 日のダンプデータを用いた.

2）逆翻訳モデルのシードの違いによる影響を軽減するため,各シードの GEC モデルごとに対応するシードで訓練した逆翻訳モデルを用意した. そして，その対応する逆翻訳モデルから生成した擬似データを GEC モデルの事前学習に使用した.
表 1: それぞれの GEC モデルの訂正性能（シングルモデルアンサンブルモデル）上段は逆翻訳モデルごとの性能を表し，下段は擬似データを組み合わせて使用した場合の性能を表す。

} & \multicolumn{3}{|c|}{ BEA-test } \\

## 3.4 逆翻訳モデル

GEC において逆翻訳を使用している研究が用いているモデルを参考にして，Transformer，CNN，および LSTM を選択した。また，全てのモデルの実装は fairseqにあるものを使用した. さらに，多様な誤りを生成するために，デコード時に Xie ら [9] によって提案されたノイズ付きビームサーチを使用した. 本手法では，ビームサーチ時に，毎ステップごとの各仮説のスコアに $r \beta_{\text {random }}$ をノイズとして加える. ここで， $r$ は区間 $[0,1]$ の一様分布からランダムに選択される値であり， $\beta_{\text {random }}$ はノイズの大きさを調節するためのハイパーパラメータである．本実験においては, Transformer では $\beta_{\text {random }}=8, \mathrm{CNN}$ では $\beta_{\text {random }}=10$, LSTM では $\beta_{\text {random }}=12$ とした ${ }^{3}$ ).

## 4 実験結果

## 4.1 全体の訂正性能

逆翻訳モデルごとの訂正性能表 1 の上段に，逆翻訳モデルごとの訂正性能を示す. 表 1 より，評価データによって，優れている逆翻訳モデルが異なることが分かる. 例えば，CoNLL-2014では Transformerを使用した場合に最も性能が高く， JFLEG および BEA-test では CNN を使用した場合に最も性能が高いことが分かる. また, BEA-test では，Transformer よりもLSTM を使用した場合の方が， $\mathrm{F}_{0.5}$ 值が高いことが分かる. したがって，GEC モデルとして高い性能を持つ Transformer [12] が，必ずしも逆翻訳モデルとしても優れているとは限らないことが示唆される。

擬似データを組み合わせた場合の訂正性能表 1 の下段に，擬似データを組み合わせた場合の訂正性

3） 事前実験において，BEA-valid 上で最大の $F_{0.5}$ 值となった時の値を使用した。能を示す. 表 1 より, 異なる逆翻訳モデルから生成した擬似データを組み合わせて使用した場合，擬似データを組み合わせない場合よりも一貫して性能が向上していることが分かる。一方で，シードのみが異なる単一の逆翻訳モデルから生成した擬似デー タを組み合わせた場合，一部の項目において組み合わせない場合よりも性能が低下していることが分かる．例えば，Transformer では，アンサンブルモデルにおける CoNLL-2014 上の $\mathrm{F}_{0.5}$ 值で，組み合わせない場合のスコアは 59.0 であるが，組み合わせた場合のスコアは 58.9 である。また， CNN の場合でも同様に，アンサンブルモデルにおける BEA-test 上の $\mathrm{F}_{0.5}$ 值で，組み合わせない場合のスコアは 63.4 であるが，組み合わせた場合のスコアは 63.3 である. したがって，異なる逆翻訳モデルから生成した擬似データを組み合わせて使用する方が，シードのみが異なる単一の逆翻訳モデルを使用するよりも，より頑健な GEC モデルが構築されると考えられる.

## 4.2 誤りタイプ別の訂正性能

逆翻訳モデルごとの訂正性能表 2 の左側に，シングルモデルにおける BEA-test 上での誤りタイプ別の $\mathrm{F}_{0.5}$ 值を示す. 表 2 より，Transformer では PRON （代名詞）の誤りの性能が高いことが分かる.また， CNN では PREP (前置詞), VERB:TENSE (時制) および VERB:SVA（主語と動詞の一致）の誤り，LSTM では VERB（動詞）の誤りの性能が高いことが分かる.したがって，逆翻訳モデルごとに誤りタイプ別の訂正傾向が異なると考えられる.

また，Transformerを逆翻訳モデルに使用した場合，PUNCT（句読点）の誤りの性能がベースラインよりも低下している。さらに，CNNと LSTM の場合でも，他の誤りタイプと比較して，PUNCT の誤りはベースラインからの性能の向上幅が小さいこと
表 2: シングルモデルにおける BEA-test 上での誤りタイプ別の $\mathrm{F}_{0.5}$ 值. 頻度が 100 以上である誤りタイプを抜き出した. また，全ての誤りタイプの頻度の合計は 4,882 である。なお，誤りタイプの詳細は文献 [37]を参照せよ.

 &  &  \\

が分かる。したがって，逆翻訳による擬似データを使用した場合，PUNCT の誤りは性能を改善させることが難しい誤りタイプであると考えられる.

擬似データを組み合わせた場合の訂正性能表 2 の右側に，擬似データを組み合わせた場合のシングルモデルにおける BEA-test 上での誤りタイプ別の $\mathrm{F}_{0.5}$ 值を示す. 表 2 より, PUNCT, VERB:TENSE および VERB:FORM（不定詞・動名詞・分詞の用法） を除く誤りタイプにおいて，異なる逆翻訳モデルから生成した擬似データを組み合わせた場合の方が， シードのみが異なる単一の逆翻訳モデルを使用した場合の少なくとも一方よりも性能が高いことが分かる.そのため，異なる逆翻訳モデルから生成した擬似データを使用した場合，シードのみが異なる単一の逆翻訳モデルを使用した場合に対して，性能が向上するあるいは補間する性能を持つと考えられる.

また, OTHER（その他）の誤りについて，シードのみが異なる単一の逆翻訳モデルから生成した擬似データを組み合わせた場合，組み合わせない場合と比較して, 性能が向上していないことが分かる。一方で，異なる逆翻訳モデルから生成した擬似データを組み合わせた場合は，組み合わせない場合よりも性能が向上している. したがって，異なる逆翻訳モデルを使用することにより，より多様な誤りタイプを訂正することが可能になると考えられる。

シードの違いによる影響ここでは，逆翻訳モデルのシードの違いによる影響について検討する. 表 2 より, 異なる逆翻訳モデルから生成した擬似デー
タを組み合わせた場合よりも，シードのみが異なる単一の逆翻訳モデルを使用した場合の方が，高い性能になる誤りタイプがあることが分かる. 我々は, この理由の一つとして, 逆翻訳モデルのシー ドのみを変えた場合でもある程度性能にばらつきがあるためであると考える．例えば，逆翻訳モデルに Transformerを使用した場合，DET（限定詞）の誤りの標準偏差は 1.62 と比較的高い. またこの時, Transformer \& CNN よりも, Transformer \& Transformer の方が高い性能になっている。このように，ある程度性能にばらつきがある誤りタイプでは，シードのみが異なる単一の逆翻訳モデルを使用した場合でも，異なる逆翻訳モデルを使用した場合と比べて，性能が向上する可能性があると考えられる.

## 5 おわりに

本研究では，逆翻訳モデルごとの GEC モデルの訂正傾向を調査した. その結果，逆翻訳モデルごとに誤りタイプ別の訂正傾向が異なることが分かった.また，異なる逆翻訳モデルから生成した擬似データを組み合わせた場合，シードのみが異なる単一の逆翻訳モデルから生成した擬似データを組み合わせた場合に対して，性能が向上するあるいは補間する性能を持つことを確認した。

## 謝辞

Lang-8 のデータを使用したことについて, 株式会社 Lang-8 の喜洋洋氏に感謝申し上げます.

## 参考文献

[1] Zheng Yuan and Ted Briscoe. Grammatical error correction using neural machine translation. In NAACL, pp. 380-386, 2016.

[2] Jianshu Ji, Qinlong Wang, Kristina Toutanova, Yongen Gong, Steven Truong, and Jianfeng Gao. A Nested Attention Neural Hybrid Model for Grammatical Error Correction. In $A C L$, pp. 753-762, 2017.

[3] Shamil Chollampatt and Hwee Tou Ng. A Multilayer Convolutional Encoder-Decoder Neural Network for Grammatical Error Correction. In AAAI, pp. 5755-5762, 2018.

[4] Wei Zhao, Liang Wang, Kewei Shen, Ruoyu Jia, and Jingming Liu. Improving Grammatical Error Correction via Pre-Training a Copy-Augmented Architecture with Unlabeled Data. In NAACL, pp. 156-165, 2019

[5] Jonas Gehring, Michael Auli, David Grangier, Denis Yarats, and Yann N. Dauphin. Convolutional Sequence to Sequence Learning. In ICML, pp. 1243-1252, 2017.

[6] Roman Grundkiewicz and Marcin Junczys-Dowmunt. Near Human-Level Performance in Grammatical Error Correction with Hybrid Machine Translation. In NAACL, pp. 284-290, 2018.

[7] Yoav Kantor, Yoav Katz, Leshem Choshen, Edo Cohen-Karlik, Naftali Liberman, Assaf Toledo, Amir Menczel, and Noam Slonim. Learning to combine Grammatical Error Corrections. In $B E A, \mathrm{pp}$. 139-148, 2019.

[8] Philipp Koehn and Rebecca Knowles. Six Challenges for Neural Machine Translation. In WNMT, pp. 28-39, 2017.

[9] Ziang Xie, Guillaume Genthial, Stanley Xie, Andrew Ng, and Dan Jurafsky. Noising and Denoising Natural Language: Diverse Backtranslation for Grammar Correction. In NAACL, pp. 619-628, 2018.

[10] Jared Lichtarge, Chris Alberti, Shankar Kumar, Noam Shazeer, Niki Parmar, and Simon Tong. Corpora Generation for Grammatical Error Correction. In NAACL, pp. 3291-3301, 2019.

[11] Roman Grundkiewicz, Marcin Junczys-Dowmunt, and Kenneth Heafield. Neural Grammatical Error Correction Systems with Unsupervised Pre-training on Synthetic Data. In BEA, pp. 252-263, 2019.

[12] Shun Kiyono, Jun Suzuki, Tomoya Mizumoto, and Kentaro Inui. Massive Exploration of Pseudo Data for Grammatical Error Correction. IEEE/ACM Transactions on Audio, Speech, and Language Processing, Vol. 28, pp. 2134-2145, 2020.

[13] Masahiro Kaneko, Masato Mita, Shun Kiyono, Jun Suzuki, and Kentaro Inui. Encoder-Decoder Models Can Benefit from Pretrained Masked Language Models in Grammatical Error Correction. In $A C L$, pp. 4248-4254, 2020

[14] Rico Sennrich, Barry Haddow, and Alexandra Birch. Improving Neural Machine Translation Models with Monolingual Data. In $A C L$, pp. 86-96, 2016.

[15] Tao Ge, Furu Wei, and Ming Zhou. Fluency Boost Learning and Inference for Neural Grammatical Error Correction. In $A C L$, pp. 1055-1065, 2018.

[16] Zhaohong Wan, Xiaojun Wan, and Wenguang Wang. Improving Grammatical Error Correction with Data Augmentation by Editing Latent Representation. In COLING, pp. 2202-2212, 2020.

[17] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention Is All You Need. In NeurIPS, pp. 5998-6008, 2017.

[18] Sepp Hochreiter and Jürgen Schmidhuber. Long Short-Term Memory. Neural Computation, Vol. 9, No. 8, pp. 1735-1780, 1997.

[19] Phu Mon Htut and Joel Tetreault. The Unbearable Weight of Generating Artificial Errors for Grammatical Error Correction. In BEA, pp. 478-483, 2019.

[20] Yikang Shen, Zhouhan Lin, Chin wei Huang, and Aaron Courville. Neural Language Modeling by Jointly Learning Syntax and Lexicon. In ICLR, 2018.
[21] Yikang Shen, Shawn Tan, Alessandro Sordoni, and Aaron Courville. Ordered Neurons: Integrating Tree Structures into Recurrent Neural Networks. In ICLR, 2019.

[22] Max White and Alla Rozovskaya. A Comparative Study of Synthetic Data Generation Methods for Grammatical Error Correction. In BEA, pp. 198-208, 2020.

[23] Yo Joong Choe, Jiyeon Ham, Kyubyong Park, and Yeoil Yoon. A Neural Grammatical Error Correction System Built On Better Pretraining and Sequential Transfer Learning. In BEA, pp. 213-227, 2019.

[24] Wangchunshu Zhou, Tao Ge, Chang Mu, Ke Xu, Furu Wei, and Ming Zhou. Improving Grammatical Error Correction with Machine Translation Pairs. In EMNLP Findings, pp. 318-328, 2020.

[25] Christopher Bryant, Mariano Felice, Øistein E. Andersen, and Ted Briscoe. The BEA-2019 Shared Task on Grammatical Error Correction. In BEA, pp. 52-75, 2019.

[26] Helen Yannakoudakis, Ted Briscoe, and Ben Medlock. A New Dataset and Method for Automatically Grading ESOL Texts. In $A C L$, pp. 180-189, 2011.

[27] Tomoya Mizumoto, Mamoru Komachi, Masaaki Nagata, and Yuji Matsumoto. Mining Revision Log of Language Learning SNS for Automated Japanese Error Correction of Second Language Learners. In IJCNLP, pp. 147-155, 2011.

[28] Toshikazu Tajiri, Mamoru Komachi, and Yuji Matsumoto. Tense and Aspect Error Correction for ESL Learners Using Global Context. In $A C L$, pp. 198-202, 2012.

[29] Daniel Dahlmeier, Hwee Tou Ng, and Siew Mei Wu. Building a Large Annotated Corpus of Learner English: The NUS Corpus of Learner English. In BEA, pp. 22-31, 2013.

[30] Sylviane Granger. The computerized learner corpus: a versatile new source of data for SLA research. In Learner English on Computer, pp. 3-18. 1998.

[31] Helen Yannakoudakis, Øistein E Andersen, Ardeshir Geranpayeh, Ted Briscoe, and Diane Nicholls. Developing an Automated Writing Placement System for ESL Learners. Applied Measurement in Education, Vol. 31, No. 3, pp. 251-267, 2018.

[32] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural Machine Translation of Rare Words with Subword Units. In $A C L$, pp. 1715-1725, 2016.

[33] Hwee Tou Ng, Siew Mei Wu, Ted Briscoe, Christian Hadiwinoto, Raymond Hendy Susanto, and Christopher Bryant. The CoNLL2014 Shared Task on Grammatical Error Correction. In CoNLL, pp. 1-14, 2014.

[34] Courtney Napoles, Keisuke Sakaguchi, and Joel Tetreault. JFLEG: A Fluency Corpus and Benchmark for Grammatical Error Correction. In EACL, pp. 229-234, 2017.

[35] Daniel Dahlmeier and Hwee Tou Ng. Better Evaluation for Grammatical Error Correction. In NAACL, pp. 568-572, 2012.

[36] Courtney Napoles, Keisuke Sakaguchi, Matt Post, and Joel Tetreault. Ground Truth for Grammatical Error Correction Metrics. In ACL-IJCNLP, pp. 588-593, 2015.

[37] Christopher Bryant, Mariano Felice, and Ted Briscoe. Automatic Annotation and Evaluation of Error Types for Grammatical Error Correction. In $A C L$, pp. 793-805, 2017

[38] Mariano Felice, Christopher Bryant, and Ted Briscoe. Automatic Extraction of Learner Errors in ESL Sentences Using Linguistically Enhanced Alignments. In COLING, pp. 825-835, 2016.

[39] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A Fast, Extensible Toolkit for Sequence Modeling. In NAACL, pp. 48-53, 2019.

[40] Diederik P. Kingma and Jimmy Ba. Adam: A Method for Stochastic Optimization. In ICLR, 2015

[41] Noam Shazeer and Mitchell Stern. Adafactor: Adaptive Learning Rates with Sublinear Memory Cost. In ICML, pp. 4596-4604, 2018 .