# 日本語文法誤り訂正の流暢性評価に向けたデータ作成

木山朔 ${ }^{1}$ 上坂奏人 ${ }^{1}$ 佐藤郁子 ${ }^{1}$ 佐藤京也 ${ }^{1}$ 米田悠人 ${ }^{1}$
小山碧海 ${ }^{1}$ 三田雅人 ${ }^{2,1}$ 岡照晃 ${ }^{1}$ 小町守 ${ }^{1}$
1 東京都立大学 2 理化学研究所
\{kiyama-hajime, uesaka-minato, sato-ayako, sato-keiya, yoneda-yuto,
koyama-aomi \}@ed.tmu.ac.jp, masato.mita@riken.jp,
\{teruaki-oka, komachi\}@tmu.ac.jp

## 概要

本研究では，日本語文法誤り訂正の流暢性評価 データを作成する．既存の日本語文法誤り訂正の評価データでは，文法的に正しくなる最小限の編集に 基づき訂正文が作成されている。しかし最小限の編集に基づく訂正文は文法的ではあるものの流暢性に 欠ける．訂正文の流暢性が欠けた評価データに依存 してモデルを開発すると，文法的かつ流暢な出力を するモデルが正当に評価されない．そこで文法的な だけでなく流暢な編集を行った評価データを作成 し，モデルの流暢性も含めた評価を可能にする。

## 1 はじめに

文法誤り訂正とは，語学学習者が書いた文章中の 誤りを計算機が自動で訂正するタスクである1)。こ れまでの文法誤り訂正は学習者コーパスが豊富な英語を中心に研究されてきた $[1,2,3,4,5,6,7,8]$. し かし, ドイツ語やロシア語などでも学習者コーパス が整備され $[9,10,11]$, 英語以外でも研究が盛んに なっており $[12,13,14,15,16]$. 日本語を対象とした 研究も広がりを見せている $[17,18,19,20,21,22]$.

日本語文法誤り訂正では, Koyama ら [21] が文法的に正しくなる最小限の編集（Minimal edits）に基 づく評価データを作成した. 表 1 の 2 行目に，彼 らの Minimal editsに基づく訂正例を示す. Minimal edits では学習者文中の “時頃” “頃” に書き換える ことで，文法的に正しくなる最小限の訂正を行って いる. Minimal edits は NUCLE [23] という英語学習者コーパスにも使用されており，NUCLEの一部で ある CoNLL-2014 shared task [24] の評価データは英語文法誤り訂正で最も代表的な評価データである。

1）本稿では，便宜上，文法誤りだけでなく綴りや語彙選択の 誤りの訂正も文法誤り訂正に含める。表 1: Minimal edits 及び Fluency edits に基づく訂正例.

一方，英語文法誤り訂正では Minimal edits に基 づく訂正文が母語話者にとって文法的ではあるも のの流暢性の低い文になっていると指摘されてい る [25].また Sakaguchi ら [25] は文法誤り訂正の目的を文法的なだけでなく母語話者の流暢さを持つ文章の作成へと根本的にシフトすべきと提唱してい る.そして彼らの提唱を受け，文法的なだけでなく 流暢な編集（Fluency edits）を行った評価データが 公開され [26]，新たなベンチマークデータとしてコ ミュニティに享受される形で英語文法誤り訂正の研究が進められている.

Minimal edits に基づく訂正文の流暢性が低いとい う問題は日本語でも同様である．例えば表 1 の場合，日本語母語話者にとっては，“時頃”を “頃”に 訂正するだけでなく，“ハイスクール”を“高校”に， “終える”を“卒業する”に訂正する方がより流暢で あると考えられる。しかし日本語文法誤り訂正では Fluency edits ベースの評価データは未だ作成されて いない。またそのため，流暢な出力をするモデルが 正当に評価されていない.

そこで，我々は日本語文法誤り訂正のための流暢性評価データを作成する ${ }^{2}$ 。 具体的には，Lang-8 コーパス [19] 中の日本語学習者文に対し, 文法的な だけでなく流暢な編集を行った訂正文を人手で付与 する。またベースラインとして 3 つの日本語文法誤 り訂正モデルを用意し，それらのモデルを流暢性の 観点から評価した結果を報告する。

表 2: 各訂正基準に基づく訂正例.

## 2 関連研究

日本語教育で活用されている日本語学習者コー パスには作文対訳データベース3) や日本語学習者作文コーパス4)などがある. 作文対訳データベースで は，学習者の手書き作文に対する日本語教師の訂正情報が収録されている. 日本語学習者作文コーパス では，初級から上級までの中国語や韓国語を母語と する学習者の作文データ及び訂正情報が収録され ている. 国際日本語学習者作文コーパス及び誤用辞典5)やなたね ${ }^{5}$ でも同様に，学習者作文に対する訂正情報が収録されているが，これらの元データは 一般には公開されていないため日本語文法誤り訂正モデルの評価に使用できない。日本語文法誤り 訂正モデルの評価を目的に公開されている学習者 コーパスとして TEC-JL [21] がある. TEC-JL では， Lang-8 コーパス中の日本語学習者文に Minimal edits ベースの訂正文を付与している。我々は，TEC-JL と同様に Lang-8 コーパス中の学習者文を人手で訂正し公開するが，訂正方針は Minimal edits ではなく Fluency edits に基づいた訂正を採用する.

英語文法誤り訂正で代表的な学習者コーパスに NUCLE [23] がある. NUCLE はシンガポールの大学生が書いた作文を英語教師が訂正した英語学習者 コーパスである. Minimal edits に基づき訂正されて おり，NUCLE の一部は CoNLL-2014 shared task の評価データに使用されている。一方， JFLEG [26, 27] は Fluency editsに基づき作成された英語学習者コー パスである. JFLEGでは，母語や習熟度の異なる学習者が書いた文に対し，クラウドソーシングを用い て訂正文が付与されている. 我々は，JFLEG と同様 に Fluency editsに基づくコーパスを作成するが，英語ではなく日本語学習者コーパスを作成する.

3) https://mmsrv.ninjal.ac.jp/essay

4) http://sakubun.jpn.org

5) https://corpus.icjs.jp/corpus_ja

6) https://hinoki-project.org/natane

## 3 流暢性評価データの作成

## 3.1 利用した言語資源と前処理

我々は TEC-JL と同様に，Lang-8 コーパス中の学習者文に再アノテーションを行う．Lang-8 コーパス では学習者が書いた作文が文章単位で収録されてい る. また各文章は自動で文分割されており，文ごと に訂正文が付与されている。 さらに各文章に対し，母語と学習言語，各文章を識別するためのユニーク な番号（ジャーナル ID）が付与されている.

本研究で作成する検証データ及び評価データに用 いる日本語学習者文は以下の手順で用意した.

Step 1. Lang-8 コーパスから，日本語を学習言語とす る文章を抽出する 7 ).

Step 2. 検証データと評価データがそれぞれ 1,000 文程度になるように文章を選択する ${ }^{8)}$.

Step 3. 検証データや評価データとして不適切な文を 人手で取り除き9)，文分割に失敗している箇所を人手で正しい分割に修正する.

## 3.2 訂正基準

流暢性を考慮した評価データを作成するために， 3.1 節で用意した学習者文に対し, 日本語母語話者 5 人が文法的に正しく，かつ流暢な訂正を行う.ま た訂正の際は，原文の意味を保持するように訂正す る. さらに TEC-JL と同様に，訂正は文章単位で行 う. 流暢な訂正には常識に関する誤りの訂正 [28] も 含み，元の文章に対して複数の解釈が存在する場合 は訂正者各自が文章全体を見て最尤な訂正を行う。

7）ただし TEC-JL 中の文章との重複を避けるため，TEC-JL に 使用された文章と同じジャーナル ID の文章は抽出しない.

8）この時，検証データ及び評価データ中の学習者の母語の分布が， Lang-8 コーパス中の日本語学習者の母語の分布と同様 になるように文章を選択した。

9）例えば，日本語以外の言語で書かれている文や記号のみの 文を取り除いた。

(a) 訂正者 $\mathrm{A}$

(d) 訂正者 D

(b) 訂正者 B

(e) 訂正者 E

(c) 訂正者 $\mathrm{C}$

(f) TEC-JL

図 1: 本研究及び TEC-JL における学習者文と訂正文間の編集距離の分布.

また評価データ全体で一貫した訂正を行うため,以下の訂正基準を設定した. 表 2 に各訂正基準に基 づく訂正例を示す.

R1. 1 文章内では漢字やカタカナなどの表記，常体 や敬体を統一する。

R2. 一文を複数文に分割する訂正はしてもよいが，複数文を一文に統合する訂正はしない.

R1 は表記や文体を統一することで流暢性が向上 すると考え設定した． R2 は，複数の参照文がある 場合，複数文を一文に統合するような訂正の自動評価が困難であるため設定した。

## 3.3 分析

定量評価 図 1 に各訂正者の学習者文と訂正文間 の文字単位の編集距離の分布を，TEC-JL での編集距離の分布とともに示す. 訂正者 $\mathrm{C}$ は編集距離の平均が最も高く, 大幅な訂正を最も多く行っているこ とが分かる。一方で，訂正者 D と訂正者 $\mathrm{E}$ は編集距離の平均が低く，他の訂正者と比べて大幅な訂正を あまり行っていない. TEC-JL と比較すると，本研究で作成した評価データの方が編集距離の平均が高 く，流暢な訂正文にするために大幅に訂正している ことが分かる. また付録 Aに訂正者間の文単位の類似度に関する分析を記載する。

定性評価 表 3 に，各訂正者の流暢性を考慮した 訂正文の例を示す。それぞれの訂正者は，“速く0 ００番に携帯で手伝える” の部分を主に訂正してお り，訂正方法には様々なバリエーションがあること
が分かる。また訂正者 $\mathrm{B}$ は，より流暢な文にするた め，“緊急の場合は”の部分も含めて訂正している. このように訂正者ごとに使用する表現が分かれた り，文法的に正しい部分も含めて訂正したりするこ とがある. さらに常識に関する誤りとして，“0 0 0番”をそのままにするか，“110 番” に訂正する かの判断が分かれている。この違いはそれぞれの訂正者が学習者の居住地をどのように推測したかの違 いである。“０００番”のままにしている訂正者は オーストラリアなどの緊急時の番号が 000 である国 に住んでいると推測し，“110番”にした訂正者は 日本に住んでいると推測したことにより，このよう な違いが発生した。

## 4 実験

本節では日本語文法誤り訂正モデルの流暢性を評価するため，機械翻訳ベースの 3 つの文法誤り訂正 モデルの性能を比較する.

## 4.1 実験設定

データセット 訓練データには Lang-8 コーパス を用いる．ただし，TEC-JL と本研究で作成した評価データに含まれるジャーナル ID を持つ文対は取 り除き，さらに文長制限などのノイズ除去を行っ た. 水本 [29] に従い，学習者文は文字に分割し，訂正文は語彙サイズ 16,000 で SentencePiece ${ }^{10)}$ [30] に よるトークン化を行った．検証データには，本研究 で作成した検証データを用いる。本実験で使用した

10) https://github.com/google/sentencepiece
表 3: 各訂正者の流暢性を考慮した訂正文の例.

データセットの詳細は付録 B に記載する。

性能評価 評価データには TEC-JL 及び本研究で 作成した評価データ11)を用いる. Minimal edits ベー スの評価データである TEC-JL は既存研究で広く使 われている $\mathrm{M}^{2}$ scorer [31] で評価する。一方 Fluency edits の場合 Minimal edits と比べ原文と参照文間の アライメントが取りづらいことから，本研究で作成した評価データはアライメントをとる必要がな い GLEU [32] で評価する。両方の評価データにおい て，単語分割誤りが評価結果に影響を与えないよう にするため，文字単位で評価する。

文法誤り訂正モデル 文法誤り訂正モデルには Koyama ら [21] が使用している SMT [33] と CNN [34] に加え, Transformer [35]を用いる. 各モデルの設定 は以下の通りである.

[36] を対応づけツールに使用し，KenLM [37] を 用いて 3-gram 言語モデルを構築した. 言語モ デルの訓練には訓練データ中の訂正文を用い た. また，検証データを用いて BLEU [38] を最大化するように MERT [39] を行った.

CNN fairseq ${ }^{14 ）}$ [40] を実装に使用した. アーキテク チャは Chollampatt ら [41] と同様である。また，訓練時の最適化方法や推論時の設定は Kiyono ら [42] に従った.

Transformer fairseqを実装に使用した. アーキテク チャは Vaswani ら [35] の “Transformer (base)”と 同様である。また，訓練時の最適化方法や推論時の設定は Kiyono ら [42]に従った.

## 4.2 実験結果

表 4 に各文法誤り訂正モデルの性能を示す. 訂正 なしは入力文を出力とみなして評価した時のスコ アである。また人間と文法誤り訂正モデルの性能差

表 4: 各文法誤り訂正モデルの性能.

を調べるため，交差検証のように，各参照文を出力 とみなしそれ以外の参照文で評価した時のスコア の平均を人間のスコアとして求めた ${ }^{15)}$. TEC-JL で は，CNN や Transformer よりも SMT の方が Precision が高い. 一方，Recall は Transformerの方が高いこと から，Transformer はより多くの訂正をしていると考 えられる.また本研究で作成した評価データでは, 3 つのモデルの内, Transformer のスコアが最も高い ことから, Transformer は他のモデルよりも比較的流暢な訂正をしていると考えられる。人間と各モデル のスコアを比較すると，全てのモデルのスコアは人間よりも低く，改善の余地が残されていることが分 かる．各モデルの出力例を付録 D に記載する.

## 5 おわりに

本研究では日本語文法誤り訂正のための流暢性評価データを作成した。本評価データでは，学習者文 に対し Fluency edits に基づく訂正を行っている. さ らに，1つの学習者文につき 5 つの訂正文を付与し ており，多様な訂正をカバーしている. 今後の課題 としては，Lang-8コーパス以外のドメインに対して も Fluency edits ベースの日本語学習者コーパスを作成することが挙げられる。

## 謝辞

Lang-8 のデータ使用に際して，株式会社 Lang-8 の喜洋洋氏に感謝申しあげます.

15）人間のスコアと比較可能にするため，各モデル及び訂正な しの性能も人間のスコアと同様に測定した．全ての参照文で 評価した時の各モデルの性能は付録 C に記載する.

## 参考文献

[1] Chris Brockett, William B. Dolan, and Michael Gamon. Correcting ESL Errors Using Phrasal SMT Techniques. In COLING-ACL, pp. 249-256, 2006.

[2] Rachele De Felice and Stephen G. Pulman. A Classifier-Based Approach to Preposition and Determiner Error Correction in L2 English. In COLING, pp. 169-176, 2008.

[3] Daniel Dahlmeier and Hwee Tou Ng. Grammatical Error Correction with Alternating Structure Optimization. In ACL, pp. 915-923, 2011.

[4] Marcin Junczys-Dowmunt and Roman Grundkiewicz. Phrasebased Machine Translation is State-of-the-Art for Automatic Grammatical Error Correction. In EMNLP, pp. 1546-1556, 2016.

[5] Roman Grundkiewicz and Marcin Junczys-Dowmunt. Near Human-Level Performance in Grammatical Error Correction with Hybrid Machine Translation. In NAACL, pp. 284-290, 2018.

[6] Jared Lichtarge, Chris Alberti, Shankar Kumar, Noam Shazeer, Niki Parmar, and Simon Tong. Corpora Generation for Grammatical Error Correction. In NAACL, pp. 3291-3301, 2019.

[7] Masahiro Kaneko, Masato Mita, Shun Kiyono, Jun Suzuki, and Kentaro Inui. Encoder-Decoder Models Can Benefit from Pretrained Masked Language Models in Grammatical Error Correction. In ACL, pp. 4248-4254, 2020.

[8] Michihiro Yasunaga, Jure Leskovec, and Percy Liang. LM-Critic: Language Models for Unsupervised Grammatical Error Correction. In EMNLP, pp. 7752-7763, 2021.

[9] Adriane Boyd. Using Wikipedia Edits in Low Resource Grammatical Error Correction. In W-NUT, pp. 79-84, 2018.

[10] Alla Rozovskaya and Dan Roth. Grammar Error Correction in Morphologically Rich Languages: The Case of Russian. TACL, Vol. 7, pp. 1-17, 2019.

[11] Viet Anh Trinh and Alla Rozovskaya. New Dataset and Strong Baselines for the Grammatical Error Correction of Russian. In Findings: ACL-IJCNLP, pp. 4103-4111, 2021.

[12] Jakub Náplava and Milan Straka. Grammatical Error Correction in Low-Resource Scenarios. In W-NUT, pp. 346-356, 2019.

[13] Satoru Katsumata and Mamoru Komachi. Stronger Baselines for Grammatical Error Correction Using a Pretrained EncoderDecoder Model. In AACL-IJCNLP, pp. 827-832, 2020.

[14] Ikumi Yamashita, Satoru Katsumata, Masahiro Kaneko, Aizhan Imankulova, and Mamoru Komachi. Cross-lingual Transfer Learning for Grammatical Error Correction. In COLING, pp. 4704-4715, 2020.

[15] Simon Flachs, Felix Stahlberg, and Shankar Kumar. Data Strategies for Low-Resource Grammatical Error Correction. In BEA, pp. $117-122,2021$.

[16] Sascha Rothe, Jonathan Mallinson, Eric Malmi, Sebastian Krause, and Aliaksei Severyn. A Simple Recipe for Multilingual Grammatical Error Correction. In ACL-IJCNLP, pp. 702-707, 2021.

[17] Hisami Suzuki and Kristina Toutanova. Learning to Predict Case Markers in Japanese. In COLING-ACL, pp. 1049-1056, 2006.

[18] 今村賢治, 齋藤邦子, 貞光九月, 西川仁. 小規模誤りデータ からの日本語学習者作文の助詞誤り訂正. 自然言語処理, Vol. 19, No. 5, pp. 381-400, 2012.

[19] 水本智也, 小町守, 永田昌明, 松本裕治. 日本語学習者の作文自動誤り訂正のための語学学習 SNS の添削ログからの知識獲得. 人工知能学会論文誌, Vol. 28, No. 5, pp. 420-432, 2013.

[20] Youichiro Ogawa and Kazuhide Yamamoto. Japanese Particle Error Correction employing Classification Model. In IALP, pp. 23-28, 2019.

[21] Aomi Koyama, Tomoshige Kiyuna, Kenji Kobayashi, Mio Arai, and Mamoru Komachi. Construction of an Evaluation Corpus for Grammatical Error Correction for Learners of Japanese as a Second Language. In LREC, pp. 204-211, 2020.

[22] 本間広樹, 小町守. 高速な文法誤り訂正機能を持つ日本語
ライティング支援システムの構築. 人工知能学会論文誌, Vol. 37, No. 1, pp. 1-14, 2022.

[23] Daniel Dahlmeier, Hwee Tou Ng, and Siew Mei Wu. Building a Large Annotated Corpus of Learner English: The NUS Corpus of Learner English. In BEA, pp. 22-31, 2013.

[24] Hwee Tou Ng, Siew Mei Wu, Ted Briscoe, Christian Hadiwinoto, Raymond Hendy Susanto, and Christopher Bryant. The CoNLL2014 Shared Task on Grammatical Error Correction. In CoNLL, pp. 1-14, 2014.

[25] Keisuke Sakaguchi, Courtney Napoles, Matt Post, and Joel Tetreault. Reassessing the Goals of Grammatical Error Correction: Fluency Instead of Grammaticality. TACL, Vol. 4, pp. 169-182, 2016.

[26] Courtney Napoles, Keisuke Sakaguchi, and Joel Tetreault. JFLEG: A Fluency Corpus and Benchmark for Grammatical Error Correction. In EACL, pp. 229-234, 2017.

[27] Michael Heilman, Aoife Cahill, Nitin Madnani, Melissa Lopez, Matthew Mulholland, and Joel Tetreault. Predicting Grammaticality on an Ordinal Scale. In ACL, pp. 174-180, 2014.

[28] Jie He, Bo Peng, Yi Liao, Qun Liu, and Deyi Xiong. TGEA: An Error-Annotated Dataset and Benchmark Tasks for Text Generation from Pretrained Language Models. In ACL-IJCNLP, pp. 60126025, 2021.

[29] 水本智也. 日本語文法誤り訂正における最適な分割単位の 調査. 言語処理学会年次大会, pp. 1336-1339, 2020.

[30] Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for Neural Text Processing. In EMNLP, pp. 66-71, 2018.

[31] Daniel Dahlmeier and Hwee Tou Ng. Better Evaluation for Grammatical Error Correction. In NAACL, pp. 568-572, 2012.

[32] Courtney Napoles, Keisuke Sakaguchi, Matt Post, and Joel Tetreault. Ground Truth for Grammatical Error Correction Metrics. In ACL-IJCNLP, pp. 588-593, 2015.

[33] Philipp Koehn, Hieu Hoang, Alexandra Birch, Chris CallisonBurch, Marcello Federico, Nicola Bertoldi, Brooke Cowan, Wade Shen, Christine Moran, Richard Zens, Chris Dyer, Ondřej Bojar, Alexandra Constantin, and Evan Herbst. Moses: Open Source Toolkit for Statistical Machine Translation. In ACL, pp. 177-180, 2007.

[34] Jonas Gehring, Michael Auli, David Grangier, Denis Yarats, and Yann N. Dauphin. Convolutional Sequence to Sequence Learning. In ICML, pp. 1243-1252, 2017.

[35] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is All you Need. In NeurIPS, pp. 5998-6008, 2017.

[36] Franz Josef Och and Hermann Ney. A Systematic Comparison of Various Statistical Alignment Models. CL, Vol. 29, No. 1, pp. 19-51, 2003.

[37] Kenneth Heafield. KenLM: Faster and Smaller Language Model Queries. In WMT, pp. 187-197, 2011.

[38] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. BLEU: a Method for Automatic Evaluation of Machine Translation. In ACL, pp. 311-318, 2002.

[39] Franz Josef Och. Minimum Error Rate Training in Statistical Machine Translation. In ACL, pp. 160-167, July 2003.

[40] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A Fast, Extensible Toolkit for Sequence Modeling. In NAACL, pp. 48-53, 2019.

[41] Shamil Chollampatt and Hwee Tou Ng. A Multilayer Convolutional Encoder-Decoder Neural Network for Grammatical Error Correction. In AAAI, pp. 5755-5762, 2018.

[42] Shun Kiyono, Jun Suzuki, Tomoya Mizumoto, and Kentaro Inui. Massive Exploration of Pseudo Data for Grammatical Error Correction. TASLP, Vol. 28, pp. 2134-2145, 2020.

## A 訂正者間の文単位の類似度

BLEU [38]を用いて訂正者間の文単位の類似度を測定する．BLEU は出力文と参照文中の N-gram の一致率 をべースとした評価尺度であり，スコアが高ければ高いほど出力文と参照文の表層が一致していることを表

訂正者 $\mathrm{D}$ と訂正者 $\mathrm{E}$ の間のスコアが最も高いことが分かる.このことから，訂正者 $\mathrm{D}$ と訂正者 $\mathrm{E}$ は同じ表現を用いて訂正することが多いと考えられる．また訂正者 C は，他の訂正者とのスコアが低いことから，他 の訂正者とは異なる表現で訂正することが多いと考えられる。

表 5: 各訂正者間の BLEUスコア.

## B実験に使用したデータセット

## C 全ての参照文で評価した時の各文法誤り訂正モデルの性能

## D 各文法誤り訂正モデルの出力例

16) https://github.com/mocobeta/janome


# トピックモデルを用いた年代別作文の時間に関する認識の分析

谷口巴 $^{1}$ 上原泉 ${ }^{1}$ 川﨑采香 1 浅原正幸 ${ }^{2}$ 酒井裕 $^{3}$ 越智綾子 ${ }^{2}$ 小林一郎 1
1 お茶の水女子大学 2 国立国語研究所 ${ }^{3}$ 玉川大学脳科学研究所
\{g1620524, koba\}@is.ocha.ac.jp \{uehara.izumi, kawasaki.ayaka\}@ocha.ac.jp
\{masayu-a,a.ochi\}@ninjal.ac.jp sakai@tamagawa.ac.jp

## 概要

児童から壮年の各年代の人々を対象に過去と将来に関する作文の収集を行い，作文中の記述内容の 分析に基づき，各年代における時間認識の調査を行 なった。記述内容に関する分析には，潜在ディリク レ配分法（LDA）[1]を使い，抽出された各トピック の年代別割合と単語分布を俯瞰することによって，各年代における時間の捉え方について考察を行う。

## 1 はじめに

新学術領域「時間生成学」1)では，時間の意識（こ ころの時間）がどこからどのように生まれるのかに ついて，多角的な研究を推進している。領域におい ては，ヒトの脳活動データの分析を進めるほか，ヒ トとの対照分析としての霊長類の行動分析も進めて いる. 霊長類と異なり，ヒトは時間の意識を言語化 することが可能であり, その言語表現を分析するこ とで時間の捉え方を明らかにできる可能性がある。本研究では，ヒトならではの時間の捉え方，すなわ ち自己視点の入った時間認識を調べることを目的と して, 過去の個人的出来事の記憶 (「過去」の出来事 の記憶）と将来に自分が経験するであろう出来事の 予想 (「将来」の出来事の想像）の言語表現に焦点を あてることにした.「過去」や「将来」の出来事の 記憶や想像のいずれにおいても，PTSD や記憶障が いが伴うと，詳細さを欠くとの報告があるが（e.g., Brown et al.,2012)，従来，その内容と時間認識に関 する分析は十分なされていない. 確かに, 10 代後半から 30 代初め頃の出来事を, 特に高齢期は想起 しやすいといった (e.g., Rubin, et al., 1986)，時間に 関わる報告はある. しかし，過去と将来の経験や時間の捉え方に関して, 経験時点や想起時点（年代） による違いの有無などは，ほぼ検討されていない。 これらの捉え方における，世代差・性差を明らかに

1) https://www.chronogenesis.org/
するために，幅広い年代から「過去」の出来事の記憶と「将来」の出来事の想像に関する作文を収集し 分析することにした．なお，伴う感情により内容や 時間的距離感にそもそも差があること，どの年代に とっても倫理的問題がなく書きやすい内容になっ ている必要があることを念頭に，作文をもとめるの は，過去と未来における最も楽しかった，最も楽し いと予想される自分に関する出来事のみとした. 内容分析と併せて，「過去」の出来事の記憶と「将来」 の出来事の想像の作文に表出する言語表現の傾向に ついても分析を行う．作文のデータは，小学生から 80 代までの幅広い世代の男女 741 名から収集し，人手による形態論情報付与を行った。言語表現におい ては，作文の形態素 3-グラムに対するトピックモデ ルを適用し，トピック毎に出現する言語表現を検討 するとともに，同トピックの言語表現を利用する世代差・性差について検討する。 その結果，世代や性 の違いにより，言語によって表出される出来事（ラ イフイベント)・出来事の参与者が異なることを明 らかにした。

## 2 年題別作文中の時間認識の分析

## 2.1 作文データ

本節では利用した成人および児童の作文データに ついて示す.

## 2.2 作文課題

調査対象者に，作文課題 2 問と記号問題を記した 回答用紙 1 枚，作文を書くための羁線入り用紙 2 枚 の計 3 枚を配布し回答をもとめた。作文課題はでき る限り，用紙の半分以上を書くようにもとめた．記号問題は，本発表では分析対象とはしていないため 説明を割愛する．本発表で分析対象としたのは，作文課題の 2 問への回答（作文）であった. 作文課題 は (1) 過去経験した一番楽しかった出来事を書くよ

うもとめる課題（以下「過去作文」），(2) 将来経験す ると予想する最も楽しい出来事を書くようもとめる 課題（以下「将来作文」）の 2 問であった. 成人と児童で教示文は同じであった.

## 2.3 手続き

成人のデータは調査会社を通じて募集をかけ，参加を希望された方々に，依頼の手紙，作文課題と記号問題を記した回答用紙 1 枚と作文を記入するため の回答用紙 2 枚（過去作文用と将来作文用），返信用封筒をお送りし，回答用紙 3 枚を返信用封筒に入 れて投函するようにもとめ，収集した，募集から回収までの作業を調査会社に委託した。児童のデータ は, 学校長の承諾のもと, 学校を通じて協力いただ ける児童に配布し収集した. 首都圈の公立小学校 2 校に依頼し， 1 校から小学 4 年生（70 名）に参加い ただき 66 名の分析対象データを得た。もう 1 校か ら, 小学 3 年生から 6 年生（185 名）に参加いただ き 181 名の分析対象データを得た. なお本調査は, お茶の水女子大学人文社会科学研究の倫理委員会の 承認を経て実施された。

表 1 亿調査対象者の属性の基礎統計を示す.

表 1 調查対象者の属性

## 3 実験

## 3.1 使用データセット

前述の作文データを将来に関する作文と過去に関 する作文に分類し，解析を行う．LDAに入力する単語の単位に関しては，各年代ごとの単語使用の特性 がより顕著に表れる 3-グラムを用いる. これに基づ き, 日本語形態素解析器 MeCabを用いて形態素解析を行い，表層形を 1 単位として 3-グラムを作成し た. 全文書中 3 回以上出現する 3-グラムに限定し,文書を 3 グラムからなる構成で再作成した. 未来・過去作文データに関する文書数，3-グラム語彙数，1 文あたりの平均単語数および 3-gram の有効性を比較検証できるように文書をユニグラムで表現した際 のパープレキシティを表 2 に示す.表 2 データ詳細

## 3.2 実験結果

トピック数 $K=10$ とし，LDAを用いてトピック クラスタリングを行なった. 潜在変数の推定には， ギブスサンプリング（GS）を採用し，十分収束す るよう, 繰り返し数は 1000 と大きい值に設定した. また，モデルの評価指標としてパープレキシティを 用いる. LDA におけるパープレキシティは，学習さ れたトピック分布 $\theta_{d, k}$ と, トピック - 単語分布 $\phi_{k, v}$ を用いて式 1 で示される.ここで，D は文書数， $N_{d}$ は文書 $d$ の単語数である.

perplexity $(\boldsymbol{w})=\exp \left(-\frac{\sum_{d=1}^{D} \sum_{n=1}^{N_{d}} \log \left(\sum_{k=1}^{K} \theta_{d, k} \phi_{k, w_{d n}}\right)}{\sum_{d=1}^{D} N_{d}}\right)$

パープレキシティは各文書における単語確率の幾何平均の逆数であるが，これは文書の正解単語を予測 する際の単語の候補数であり，值が小さいほうがよ り優れたモデルといえる。

訓練時において, GS の各繰り返しごとに計算し たパープレキシティをプロットすることにより，収束判定を行った（図 1 参照）。これにより $\theta_{d, k}$ およ び $\phi_{k, v}$ を取得した。

図1訓練時のパープレキシティ。

過去と将来の作文において，LDAにより学習され た $\phi_{k, v}$ から，各単語（3-グラムからなる単語）につ いて正規化自己相互情報量（NPMI） [2]を計算した 上位 10 単語を表 3 および表 4 に，それぞれ示す.こ こで，NPMI とは自己相互情報量 (PMI) を-1 から 1 の間に正規化したものであり，式 2 で示される.

$
\begin{aligned}
\operatorname{NPMI}(k, v) & =\frac{P M I(k, v)}{-\log p(k, v)} \\
& =-1+\frac{\log p(k) p(v)}{\log p(k, v)}
\end{aligned}
$
図 2 トピック別年代の割合.

トピックに対する単語の出現を観察するのに $\phi_{k, v}$ ではなく，NPMI を用いることで単語の出現頻度の 影響を受けず，トピックを代表する単語を観察する ことができる。また，各トピックにおける年代別割合と確率上位 2 文書を，それぞれ図 2 ，表 5 ，表 6 に 示す.

## 3.3 考察

図 2 より，年代別による頻出トピックが確認でき る. 表 3，表 4，表 5，表 6 と照らし合わせながら，将来データと過去データについてそれぞれ考察を述 べる.

## 将来データ

トピック 140 代以上の女性が多く割合を占めて いる.トピックの内容としては子育て後の楽しみな どを説明する単語が多く割り当てられている。

トピック 220 代から 30 代の働き盛りの男女や 60 代から 80 代の男性の割合が大きくなっているが，仕事における夢であったり，定年後の未来に関する 文書が多く見受けられた。

トピック 3 児童が半分以上の割合を占めてい る.トピック 1 と比べて遠い将来の夢や願望を表す 単語が多く割り当てられていることが確認できる。児童が成人に比べて遠い将来に関する願望を書く傾向があるのは妥当な結果であるといえる.

トピック 4 対照的に児童の割合が最も小さく,成人女性の割合が高くなっている. 自分の子供や孫 の成長を楽しみとする文書が多く見受けられた。

トピック 5 成人男性がやや大きな割合を占めて いる。ライフイベント (結婚や家の購入) に関するも のが多い.

トピック 6 成人男性がやや大きな割合を占めて いる。趣味に関しての文書が目立つ.
トピック 7 児童の割合が相対的に多く，形式名詞「こと」が多用されている. 日常的な学校や友人 に関するトピックである.

トピック 840 代以上の割合が相対的に多く, 学業や旅行，投資などの中高年の夢や願望を含む割合 が高いトピックである.

トピック 9 トピック 8 と同じく 40 代以上の割合 が相対的に多い. 上位文書には結婚生活など家庭に 関する記述が多くみられた。

トピック 10 トピック 1 と同じような単語の分布 が見受けられる.トピック 1 と比較して年齢層は若 く, 子供の成長やこれからの家族の行く未を思う文書が多くみられた。

全体を通して，児童の割合が小さいトピックには 逆接や順接が含まれる単語や過去形の単語が多く割 り当てられていた. 成人は将来の話をする前に，理由や経験として過去の話をするなど，論理的に話す 傾向がみられた.

## 過去データ

トピック 1 児童の割合が小さく，中高年が割合 を大きく占めている．家族や旅行に関する単語が見受けられ，遠い過去の思い出が多くみられる。

トピック 2 家族との国内の旅行に関する記述が 多く見受けられ，主に若年世代が想起する思い出か ら成っている.

トピック 3 及びトピック 4 トピック 2 と分布が 似ているが，学校生活に関しての記述が目立つト ピックであった.

トピック 5 児童の割合が小さく，中高年女性が 割合を大きく占めている. 家族や健康に関する単語 が多く割り振られている. 将来データと同様, 男性 に比べて女性の作文には他人が主役であったり，自分に関するイベントであっても家族や友人に関する
表 3 未来データ: トピック別 3-グラム上位 10 語.

 &  &  &  &  &  &  &  &  &  \\

表 4 過去データ : トピック別 3-グラム上位 10 語.

 & みんなで & をかって & に、お &  & いたの & ができた & 遊んでい & 旅行をし & お母さん \\

記述が多く見受けられる。

トピック 6 他のトピックと比べて男性の割合 が多いトピックである. トピック確率が高い文書で は旅行関連の記述が多い. また, 当時の西暦や年齢 など，数字を用いての表現も多くみられた。

トピック 7 若年世代の女性と中高年による友人 に関する内容の占める割合が比較的高く, 文章では 連用中止の表現が多い.

トピック 8 女性の割合が大きい. 他者より自分中心のレクリレーション関連の出来事が多く見ら れる。

トピック 9 主に海外旅行に関するトピックであ り，一人旅など家族や友人に関する要素が薄く，20 代から 30 代の男女の割合が大きくなっている.

トピック 10 学校生活での思い出に関してのみ で構成されており，女子児童が割合の大半を占めて いる.

過去データでは旅行関係のトピックが多く見ら れ，家族や学校の要素が加わることでトピックが細 かく分かれていることが確認できた。
る顕著な特徴としては，過去といったときに中高年 は遠い過去（学生時代など）に思いを馳せ，将来と いったときに児童は遠い将来（主に若年成人期）を 思い描く傾向がみられ，推測の域を出ないが，世代 を問わず共通して，青年期から若年成人期を人生の 中心とする主観的な時間軸を有している可能性が考 えられる。とはいえ，詳細までは把握しきれなかっ たが，内容，時間認識とも世代差や性差が本データ において示唆されており，今後はデータ数を増や し, Dynamic Topic Model などを用いて年代の移り変 わりによるトピックの変化を分析することなどが課題として挙げられる。

## 謝辞

本研究は，科学研究費補助金 - 新学術領域研究「時間生成学」（18H05521,18H5524) の支援を受け て行った.

トピック解析において統計数理研究所持橋大地氏か ら有益なアドバイスを頂きました。ここに深謝いた します.

## 4 まとめと今後の課題

年代別に作成された作文を収集し，LDA を用いて トピッククラスタリングを行った. 時間認識に関す

## 参考文献

[1] David M. Blei, Andrew Y. Ng, Michael I. Jordan, and John Lafferty. Latent Dirichlet Allocation. Journal of Machine Learning Research, Vol. 3, pp. 994-1022, 2003.

[2] Gerlof Bouma. Normalized (Pointwise) Mutual Information in Collocation Extraction. Proceedings of GSCL, pp. 3140, 2009.

[3] 浅原正幸, 川嵪采香, 上原泉, 酒井裕, 須藤百香, 小林一郎, 越智綾子.「過去」「未来」を主題にした作文の文体分析. 日本語学会 2021 年度秋季大会, No. A-7, pp. $37-42,2021$.

## A 付録

表 5 将来データ：トピック別上位 2 文書

表 6 過去データ：トピック別上位 2 文書

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# Teacher-Student 学習を利用したラベル誤りを 含むデータにおける固有表現認識の性能向上

田川裕輝 ${ }^{1}$ 中野騰久 ${ }^{1}$ 尾崎良太 ${ }^{1}$ 谷口友紀 ${ }^{1}$ 大熊智子 ${ }^{1}$ 鈴木裕紀 ${ }^{2}$ 木戸尚治 ${ }^{2}$ 富山憲幸 ${ }^{2}$ 1 富士フイルム株式会社 2 大阪大学大学院医学系研究科 \{yuki.tagawa, norihisa.nakano, ryota.ozaki, tomoki.taniguchi, tomoko.ohkuma\}@fujifilm.com \{y-suzuki,kido, tomiyama\}@radiol.med.osaka-u.ac.jp
## 概要

情報抽出タスクの一つに固有表現認識（NER）が ある。医療などの特定の分野を対象に NER の学習 データを作成する場合，ラベル付け作業には対象分野の専門知識が必要となり，作業者間で解釈の違い や迷いが生じてしまう. その結果, ラベルにノイズ を含むデータが作成され，モデルの性能劣化につな がる. 本研究ではアンサンブルと Teacher-Student 学習（TS 学習）を利用したラベルノイズを含む学習 データにおける NER の学習方法を提案する． 4 種類 のラベルノイズを定義し，疑似的に作成したノイズ を含むデータを用いてその含有率ごとの性能評価実験を行った。その結果，提案手法がノイズの影響を 緩和し性能向上に寄与することが確認できた。

## 1 はじめに

固有表現認識（NER）とはテキストから固有表現 （NE）に当たるスパン（NE の開始，終了位置）とス

近年では深層学習の発展に伴い，学習データを大量に用意し，モデルを学習させる手法 $[1,2]$ が多い. しかし，ラベルにノイズが含まれている場合，深層学習を利用した手法ではノイズに対しても過学習 し，性能劣化につながる問題が指摘されている [3].

図 1 に医療レポートを例として NER におけるラ ベルノイズの例を示す. 図 $1 \mathrm{~b}$ では “ $\mathrm{S} 1$ ” が適切なス パンであるが，実際には “S1に”というスパンに対 してラベルが付いている。このようなノイズを含ん だデータが作成される問題は避けることが難しい.

学習データにノイズが含まれている場合の対策 にモデルのアンサンブルがある. アンサンブルとは 複数の異なるモデルの推論結果を統合し, 最終出力

(a) 正解データ

(b) Span-shift NE に対するスパンがずれているデータ

(c) Entity-missing NE が抜け落ちているデータ

(d) Over-labeling NE でないスパンにラベルが付いたデータ

(e) Label-swapping 異なるラベルが付いているデータ

図 1 NER におけるラベルノイズの例

を得る手法である．単一のモデルを学習させるとノ イズに対して過学習してしまうが，異なるデータや シード值で学習された複数のモデルの出力を統合す ることで，ノイズの影響を緩和できることが知られ ている [4]. しかし，推論時に複数のモデルで推論 するため，最終出力を得るまでに時間がかかるとい う問題がある．特に，即時性の必要なアプリでは推論時に複数のモデルを利用する手法は扱いづらい。

本研究では Teacher-Student 学習 (TS 学習) [5] を 利用したラベルノイズを含む学習データでの NER の学習方法を提案する。提案手法の概要図を図 2 に 示す. 提案手法は訓練セットを複数のサブセットに 分割し，各サブセットで複数の教師モデルを訓練す る. 次に，各教師モデルの出力分布を統合した分布 に近づけるように単一の生徒モデルを訓練する．提案手法によりノイズの影響が緩和された単一のモデ ルが得られ，複数のモデルで推論するアンサンブル と比べて最終出力を得るまでの時間が抑えられる。
本研究の貢献は以下である. i) ラベルノイズを含 む学習データにおける NER の性能向上を目指し， アンサンブルと TS 学習を組み合わせた手法を提案 する. ii) 4 種類のラベルノイズを疑似的に付与した データセットにおいて提案手法は高い性能であり， ノイズの影響を緩和できることを確認する。

## 2 関連研究

$\mathrm{NE}$ のラベル付けは難しく，ラベルノイズが混 ざったデータが作成されてしまう $[6,7]$. NER では 大量のデータで学習する手法が多く提案され, 高い 性能が報告されている $[1,2]$ が，ノイズが含まれた データで学習すると, モデルはノイズに対して過学習し，性能が劣化することも知られている [3].

この問題に対して, Cross-Weigh [6] ではモデルの 予測ラベル系列と正解ラベル系列が一致しない場合，その学習サンプルはノイズを含むと推定し，損失値に低い重みを掛けることで，ノイズを含む学習 サンプルの学習への影響を小さくしている.この手法はサンプル単位で重み付けするため，同一サンプ ル内にノイズを含む $\mathrm{NE}$ ，含まない $\mathrm{NE}$ が混ざって いる場合に区別して扱えない，一方で，提案手法で はサンプル単位ではなく, 複数の教師モデルが予測 した各トークンに対するラベル確率分布を利用する ことで，トークン単位でノイズの影響を抑えながら モデルを学習することができる.

他にもノイズを含む学習データにおける NER の 研究 $[8,9,10]$ があるが，これらは一部の $\mathrm{NE}$ が O ベルとなるノイズのみを対象としている。実際に NER のラベルノイズを調査した結果，スパンの間違 いなども確認された。そこで，本研究では NER の ラベルノイズを 4 種類に分類し，各ノイズを疑似的 に付与した学習データを用意し，性能を比較する。

## 3 提案手法

提案手法では複数の教師モデルを訓練した後，そ れぞれの教師モデルの出力に近づけるように単一の 生徒モデルを訓練し, 最終的な推論に用いるモデル を獲得する.また，モデルには BERT-CRFを用いる。

## 3.1 生徒モデルの学習

図 2(a) は生徒モデルの学習方法を示している. ま ず, 学習データ $D=\left.\{\left(x_{i}, y_{i}\right)\right.\}_{i=0}^{N}$ をランダムに分割し,複数のサブセット $\left.\{d^{k}\right.\}_{k=1}^{K}, d^{k}=\left.\{\left(x_{h}^{k}, y_{h}^{k}\right)\right.\}_{h=0}^{H}, K \geq 2$ を作成する. $d^{k}$ を用いて $k$ 番目の教師モデル $t^{k}$ を

(a) 生徒モデルの学習

（b）MBANを適用した場合の生徒モデルの学習

図 2 提案手法の概要図

訓練する. 訓練には以下の損失関数 $L_{t e a^{k}}$ を用いる.

$
\begin{aligned}
& L_{t e a^{k}}=\sum_{h=0}^{H} L_{n l l}\left(x_{h}^{k}, y_{h}^{k}\right) \\
& L_{n l l}(x, y)=-\log p(y \mid x)
\end{aligned}
$

ここで， $L_{n l l}$ とはトークン系列 $x$ に対するラベル系列 $y$ の負の対数尤度関数である. $x_{h}^{k}$ と $y_{h}^{k}$ はそれぞ れ $k$ 番目のサブセット $d_{k}$ 中の $h$ 番目のトークン系列とそれに対応する $\mathrm{NE}$ ラベル系列である.

次に，訓練した $K$ 個の教師モデル $\left.\{t_{k}\right.\}_{k=1}^{K}$ の出力分布を統合した分布に近づけるように，以下の損失関数 $L_{s t u}$ を用いて生徒モデル $s$ を訓練する.

$
\begin{array}{r}
L_{s t u}=\sum_{i=0}^{N}\left.\{\alpha \cdot L_{n l l}\left(x_{i}, y_{i}\right)+\beta \cdot L_{k d}\left(\tilde{p}_{i}, q_{i}\right)\right.\}, \\
\tilde{p}_{i}=\sum_{k=1}^{K} w_{i}^{k} \cdot p_{i}^{k},
\end{array}
$

ここで， $L_{k d}$ とは $x_{i}$ に対する各教師モデル $t^{k}$ の各 トークンに対する出力分布 $p_{i}^{k} \in \mathbb{R}^{J \times C}$ を統合した分布 $\tilde{p}_{i} \in \mathbb{R}^{J \times C}$ と生徒モデル $s$ の出力分布 $q_{i} \in \mathbb{R}^{J \times C}$ の差異を表す尺度であり，KL-Divergence を利用す る. $J$ とはトークン系列長であり， $C$ とは $\mathrm{NE}$ ラべ ル数である. $p_{i}^{k}$ と $q_{i}$ は Forward-Backward アルゴリ ズムにより算出する。 また, $w_{i}^{k}$ とは $i$ 番目の学習 データ $x_{i}$ を処理する際の $k$ 番目の教師モデル $t^{k}$ に 対応する重みである. $\alpha$ と $\beta$ は $L_{n l l}$ と $L_{k d}$ のバラン スをとるための重みパラメータである.

## 3.2 教師モデルに対する重みの推定

複数の教師モデルの出力分布を統合する際の単純 な方法として平均が挙げられる. 要するに $w_{*}^{k}=\frac{1}{K}$ である。一方で，生徒モデル学習時に学習するサン プルのトークン系列 $x_{i}$ に対して，その系列と類似し たトークン系列を含むサンプルで学習した教師モデ ルは，その他の教師モデルと比べて， $x_{i}$ に対して適切なラベル確率分布を推定できると考えられる。 そ こで,$x_{i}$ と各教師モデル $t^{k}$ の学習データであるサブ

セット $d^{k}$ との類似度を測り，その類似度を重み $w_{i}^{k}$ として用いる。トークン系列間の類似を測る尺度に は BERTScore ${ }^{1)}[11]$ を利用する.

## 3.3 Multiple Born-again Networks の導入

Born-again Networks [12]（BAN）とは教師モデルを 基に訓練された生徒モデルが次の世代では教師モデ ルに入れ替わり，別の生徒モデルを学習する機構で ある. 通常，BANは単一の教師モデルと生徒モデル を交互に入れ替えながら学習を進めていく。本研究 では BANを複数のモデルで学習を進めるように拡張した Multiple Born-again Networks（MBAN）を提案 する、MBANを適用した提案手法の概要図を図 2(b) に示す. MBAN は複数の教師モデルを基に複数の生徒モデルを入れ替えながら訓練し, 最後に単一の生徒モデルを訓練する。事前に定義した世代 $G$ のう ち, $g$ 世代目 $(1 \leq g \leq G)$ の $k$ 番目の生徒モデル $s_{g}^{k}$ は以下の損失関数 $L_{s t u_{g}^{k}}$ を用いて訓練する.

$
L_{s t u_{g}^{k}}=\sum_{h=0}^{H}\left.\{\alpha \cdot L_{n l l}\left(x_{h}^{k}, y_{h}^{k}\right)+\beta \cdot L_{k d}\left(\tilde{p}_{h, g-1}, q_{h, g}^{k}\right)\right.\}
$

ここで， $\tilde{p}_{h, g-1} \in \mathbb{R}^{J \times C}$ とは $g-1$ 世代目の各生徒モデル $s_{g-1}^{*}$ の各トークンに対する出力分布 $p_{h, g-1}^{k} \in \mathbb{R}^{J \times C}$ を統合した分布であり, $q_{h, g} \in \mathbb{R}^{J \times C}$ とは生徒モデル $s_{g}^{k}$ の出力分布である. 次世代 $g+1$ では生徒モデル $\left.\{s_{g}^{k}\right.\}_{k=1}^{K}$ が教師となり, 異なる生徒モデル $\left.\{s_{g+1}^{k}\right.\}_{k=1}^{K}$ を訓練する. 最後に生徒モデル $\left.\{s_{G}^{k}\right.\}_{k=1}^{K}$ を教師として，推論のためのモデルを（3）式を用いて訓練する.

## 4 実験

提案手法の有効性を検証するため，日本語読影レ ポートデータセットを用いる2).まず，このデータ にノイズを疑似的に付与したデータを作成する。次 に，そのデータでモデルを学習し，ラベルノイズを 含まないテストセットに対する性能を比較する.

## 4.1 ラベルノイズの種類

本研究では以下の 4 種類のノイズを定義する。ま た，各ノイズの例を図 $1 \mathrm{~b}, 1 \mathrm{c}, 1 \mathrm{~d}, 1 \mathrm{e}$ に示す.

・Span-shift NE のスパンが正解とは異なる位置に ずれたノイズである. ランダムに $\mathrm{NE}$ を選択
^{1)}$ BERTScore の $\mathrm{F}$ 值を利用した. 利用した事前学習モデルに ついては付録を参照されたい.

2) データセットの詳細に関しては付録を参照されたい.
}

し，その $\mathrm{NE}$ の境界を 1 文字ずらすことにより， ノイズを付与した. ずらす際には $\mathrm{NE}$ の右，ま たは左の境界を，増やす，または減らすかの 4 種類の組み合わせの内，ランダムに選択した。3)
- Entity-missing NE のスパンに対して誤ってOラ ベルが付いたノイズである. ランダムに $\mathrm{NE}$ を 選択し，その $\mathrm{NE}$ のラベルを $\mathrm{O}$ ラベルに置換す ることでノイズを付与した。
- Over-labeling NEでないスパンに対して誤って NE ラベルが付いたノイズである．Ｏラベルが 付いている単語のうち，ランダムに選択された 単語に，ランダムに選択した O ラベル以外のラ ベルを付けることでノイズを付与した.
- Label-swapping NE のスパンに対して正解とは異 なるラベルが付いたノイズである. ランダムに $\mathrm{NE}$ を選択し，その $\mathrm{NE}$ のラベルを正解のラベ ルと Oラベル以外のラベルに置換することでノ イズを付与した.

## 4.2 比較手法

モデル4)の学習方法として以下の手法を比較し，提案手法の有効性を検証する。

1. Single 単一のモデルを学習させる手法.

2. Ensemble 初期パラメータの異なる複数のモデル を学習し，推論時は各モデルの出力結果を多数決で統合したものを最終出力とする手法.

3. CW Wang ら [6] の手法. Encoderには提案手法と 同じ事前学習モデルを利用する.

4. BAN 単一の教師モデルを学習させ，次世代では その教師モデルに近づけるように異なる生徒モ デルを学習させる手法.

5. Ours(Ave) 各サブセットで学習した複数の教師モ デルの平均出力分布に近づくように生徒モデル を学習する手法.

6. Ours(Sim) 教師モデルの平均出力分布ではなく, 3.2 節で説明した教師モデルの加重平均分布に 近づくように生徒モデルを学習する手法.

7. Ours(Ave)+MBAN 手法 5 に MBANを加えた手法. 8. Ours(Sim)+MBAN 手法 6 に MBANを加えた手法. また, Ensemble, $\mathrm{CW}$ ，提案手法の訓練時のモデル数 は2とした。
^{3)} \mathrm{NE}$ のスパンが他の NE と重複することのないように事前に ノイズ付与の対象となる $\mathrm{NE}$ を選別し，ノイズを付与した.

4) 本研究ではベースのモデルとして BERT-CRFを利用する. パラメータ，事前学習モデルについては付録を参照されたい.
}
表 1 Span-shiftを付与したデータでの性能.

表 2 Entity-missing を付与したデータでの性能

## 4.3 実験結果

各データセットで学習したモデルのテストセッ トに対する Micro-F1 値を表 1，2，3，4 に示す.太字は各列で最高性能を意味する. Ours(Ave)+MBAN, Ours(Sim)+MBAN とべースラインである Single, Ensemble を比較すると多くの場合で MBANを導入 した提案手法の性能が高い結果となった. また，全体性能を比較すると全てで MBANを導入した提案手法の性能が最も高いことがわかる.この結果はノ イズを含むデータでの学習において，MBANを導入 した提案手法が効果的であることを示唆している.

一方で，MBANを導入していないOurs(Ave) や Ours(Sim) はベースラインと比べて性能が向上して いない。提案手法は学習データを分割したサブセッ トで教師モデルを学習するため，1 世代目では教師 モデルの学習が進んでおらず，生徒モデルの性能も 向上しなかったと考えられる. 特に，Ours(Sim) は 教師モデルの加重平均分布を基に学習するため, 高 い信頼度が算出された教師モデルの学習が停滯して いる場合, 生徒モデルは正解のラベル分布とは差異 のある分布で学習することとなる. その結果，学習 に悪影響を与え，性能が劣化したと考えられる。

表 5 に表 1，2，3，4 の結果から算出したノイズの 割合を固定し，各ノイズを均等に含む場合の性能を 示す. 提案手法の性能はノイズの割合が 0.4 の場合 を除き，その他手法と比べて有意な差を確認した。 ノイズの割合が 0.4 の場合の性能は $\mathrm{CW}$ が最も高い.表 3 Over-labelingを付与したデータでの性能.

表 4 Label-swapping を付与したデータでの性能.

表 5 ノイズの割合を固定し，各ノイズを均等に含む場合 の性能. †は提案手法とその他手法の間に有意水準 0.05 で差があることを示している。検定方法は笹野ら [13] に 従った.

2 節で説明したように， CW はサンプル単位でノイ ズの影響を緩和する手法である。一方で，提案手法 は教師モデルの各トークンに対する確率分布を利用 して学習するため，トークン単位でノイズの影響を 緩和する手法であり，サンプル単位でノイズの影響 を緩和する機構は備えていない。そのため，両者を 組み合わせることで更なる性能向上が期待できる。

また，表 1，2，3，4 の性能を比較すると，提案手法がその他手法より低い場合もある. 今後の課題と して，各手法がどのようなノイズに対して有効かな ど，手法とノイズ間の関係の分析が挙げられる。

## 5 おわりに

本研究ではラベルノイズを含む学習データにおけ るアンサンブルと TS 学習を組み合わせた NER の学習手法を提案した. また，ラベルノイズを付与した データにおいて，提案手法が高い性能であることを 確認した. 今後の課題は各ノイズと各手法間での性能差の詳細な分析である.

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[2] Xuezhe Ma and Eduard Hovy. End-to-end sequence labeling via bi-directional LSTM-CNNs-CRF. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1064-1074, Berlin, Germany, August 2016. Association for Computational Linguistics.

[3] Chiyuan Zhang, Samy Bengio, Moritz Hardt, Benjamin Recht, and Oriol Vinyals. Understanding deep learning requires rethinking generalization. In 5th International Conference on Learning Representations, ICLR 2017, Toulon, France, April 24-26, 2017, Conference Track Proceedings. OpenReview.net, 2017.

[4] David Opitz and Richard Maclin. Popular ensemble methods: An empirical study. Journal of Artificial Intelligence Research, 1999.

[5] Geoffrey Hinton, Oriol Vinyals, and Jeff Dean. Distilling the knowledge in a neural network. arXiv preprint arXiv:1503.02531, 2015.

[6] Zihan Wang, Jingbo Shang, Liyuan Liu, Lihao Lu, Jiacheng Liu, and Jiawei Han. CrossWeigh: Training named entity tagger from imperfect annotations. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 5154-5163, Hong Kong, China, 2019. Association for Computational Linguistics.

[7] Frederick Reiss, Hong Xu, Bryan Cutler, Karthik Muthuraman, and Zachary Eichenberger. Identifying incorrect labels in the CoNLL-2003 corpus. In Proceedings of the 24th Conference on Computational Natural Language Learning, pp. 215-226, Online, November 2020. Association for Computational Linguistics.

[8] Kun Liu, Yao Fu, Chuanqi Tan, Mosha Chen, Ningyu Zhang, Songfang Huang, and Sheng Gao. Noisy-labeled NER with confidence estimation. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 3437-3445, Online, June 2021. Association for Computational Linguistics.

[9] Zhanming Jie, Pengjun Xie, Wei Lu, Ruixue Ding, and Linlin Li. Better modeling of incomplete annotations for named entity recognition. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 729-734, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[10] Stephen Mayhew, Snigdha Chaturvedi, Chen-Tse Tsai, and
Dan Roth. Named entity recognition with partially annotated training data. In Proceedings of the 23rd Conference on Computational Natural Language Learning (CoNLL), pp. 645-655, Hong Kong, China, November 2019. Association for Computational Linguistics.

[11] Tianyi Zhang, Varsha Kishore, Felix Wu, Kilian Q. Weinberger, and Yoav Artzi. Bertscore: Evaluating text generation with bert. In International Conference on Learning Representations, 2020.

[12] Tommaso Furlanello, Zachary Lipton, Michael Tschannen, Laurent Itti, and Anima Anandkumar. Born again neural networks. In Jennifer Dy and Andreas Krause, editors, Proceedings of the 35th International Conference on Machine Learning, Vol. 80 of Proceedings of Machine Learning Research, pp. 1607-1616, Stockholmsmässan, Stockholm Sweden, 10-15 Jul 2018. PMLR.

[13] 笹野遼平, 黒橋禎夫. 大域的情報を用いた日本語固有表現認識. 情報処理学会論文誌, Vol. 49, No. 11, pp. 3765-3776, nov 2008.
表 6 データセットの統計量

表 7 固有表現ラベルとその定義

## A データセットの詳細

本研究で利用した日本語読影レポートデータセッ トの統計量を表 6 に，ラベルの定義を表 7 に示す.病変，形状変化，変化，性状に関しては実際にそれ が生じている（Positive）のか否か（Negative）の事実性が“認められる”や“なし”などの表現でレポー 卜に記載される。この事実性も固有表現と同時に推定するために，NE ラベルに事実性を表す Positive と Negative を結合したもの (例えば，病変 $\mathrm{P}$, 変化 $\mathrm{N}$ と いったもの)をラベルとして用意し, モデルを学習 させた．また，NER の学習には $\mathrm{NE}$ の開始を意味す る Begin，NE の連続を意味する Inside，NEではない ことを意味するOtherによって NE の境界を識別す る BIO 方式を採用した.

## B モデルのパラメータについて

本研究ではベースモデルとして BERT-CRFを利用 した. BERT-CRF の学習率は $5.0 \times 10^{-5}$, バッチサ イズは $16, \alpha$ は $0.5, \beta$ は 0.5 とした. これらのパラ メータはいくつかの候補に対して開発セットに対
する性能を基にグリッドサーチにより決定した。ま た，MBANを適用した提案手法，Cross-Weigh，BAN の世代数 $G$ は 1 から 5 を試し，最も開発セットに対 して性能が高い世代のモデルを評価のためのモデル として選択した。

## C 事前学習モデルについて

本研究では BERT-base [1]を事前学習モデルとし て利用した。この BERT は約 686 万文からなる日本語読影レポートを用いて Masked Language Model で訓練したモデルである。また，読影レポートを NEologd 辞書 5) を組み込んだ MeCab で単語分割し た後, 文字単位のサブワードに分割することで 3,852 の語彙を構築した。
^{5)}$ https://github.com/neologd/mecab-ipadic-neologd
}


# Predicting Click-through Rates of Text Search Ads Using Handcrafted Features

Melvin Charles O. DY
OPT Inc. AI Solutions Development Dept. (株式会社オプトAIソリューション開発部)
m.dy@opt.ne.jp
}

\begin{abstract}
In this paper, we present the results of our work on predicting CTR from search ad texts using an implementation of handcrafted features, and their use in several regression models. Our approach is shown to have some advantages over an approach that uses only BERT-like learned features.
\end{abstract
## 1 Introduction

## 1.1 Motivations

The question of optimizing for clicks is an evergreen matter of interest in the world of online advertising. While there are many factors involved in between the creation of ad materials and their final presentation to the end-user, including bidding for prime positions, and optimization on the platform side, the use of click-through rate ("CTR") as a metric and objective variable for the entire process is generally accepted.

Many business models exist wherein higher CTR translates into better remuneration for ad agencies. As such, models that can predict the CTR of a given set of parameters can help ad agencies choose between alternative proposals, minimizing the need for audience test strategies, reducing workloads, associated costs, and lead times, and ultimately improve profit margins.

On a related note, a rising trend among advertisers is the development and use of generative text models and systems that can automate the production of text for use in ads, whether as the primary content or as a component in other ad formats [1]. Some such systems have been released for use by individuals or small business owners, who do not necessarily have the expertise to know what to write, nor the experience to know what works best. CTR prediction models coupled to such generative systems can lead to highly-optimized workflows and results.

That is not to say that human knowledge and experience is no longer useful. Though CTR prediction is generally not a part of the traditional ad creation process, ad creators have always sought to maximize CTR through their choices and craft. It is my belief that this somewhat nebulous body of knowledge can be leveraged to produce a system that lends clarity and form to the ad creation process better than black-box models.

## 1.2 Clarification

Much of the work done on CTR prediction in the digital ad space appears to be focused on the task of predicting whether an ad under a given set of circumstances is going to be clicked or not. Many popular datasets used for CTR prediction for online ads (Criteo and Avazu datasets) present this task, with various metadata variables and anonymized categorical values, the semantics of most of which are not publicly known $[2,3]$.

There appears to be very little publicly-available work on CTR prediction using the actual text of the ads. This is not particularly surprising, as ad agencies and platforms are generally not at liberty to release the texts alongside performance metrics. Some of the categorical variables in the aforementioned datasets may actually be representations of the ad copy texts, but most researchers still do not have direct access to the plaintext corpora of particular interest in the primary task that was the focus of this study.

## 1.3 Task Definition

The task in question was to predict the CTR of sets of texts (described in more detail in a later section) intended for use in text ads, specifically those served up in relation to a search query on a search engine.

As I touched upon in the section on motivations, one of the intentions behind the development of this system was to support our ad creative teams in finding the best phrasing for ad copy texts that would lead to maximum profits. Of course, such a system could also be integrated with a generative text model to rank the generated texts, providing some insight as to which texts would provide the best results.

To that end, we were more interested in the effects of changes in the texts themselves, rather than how they would perform in specific circumstances, as could be described by the variables representing the context surrounding the ad (e.g. (Avazu) site_category, app_domain) and the user in question (e.g. (Avazu) device_id, device_ip).

On a related note, considering the advent of the "cookie-less Internet" [4], approaches that rely on access to third-party cookies to identify the context and user in question may be less viable, or at least will
become more challenging. This could mean a shift away from strategies that target specific user segments or even specific users, and back towards focusing efforts on the ads' contents to maximize clicks. This was a consideration that partly informed our decision to focus on the primary task as described.

## 2 Our Approach

## 2.1 Handcrafted Feature Extraction

Of central interest to this study was the development and testing of a feature extractor that used input from our creative teams, with regards to what they thought were factors that affected the performance of our ads.

In a preceding internal project, we had the goal of identifying factors that were adjustable or controllable within the ad creation process; the idea being that if we could analyze ads and metrics such that we could tell which elements contributed to better CTR, our creative teams could adjust their future work to incorporate more of those elements. Conversely, elements that actually tended to decrease CTR were also identified, and were to be avoided whenever possible in future work.

A subset of this previous work was directly related to the text used in banner ads. Although not expressly developed for the analysis of search ads, we deemed there was sufficient overlap that the schema could be used to explicitly extract features that could be used to gain insight into search ads as well.

The feature extractor developed using this tag schema was built on aggregations of regular expressions. When a regular expression representing certain words or phrases turned up a match, a tag was assigned to the text in question.

Fig. 1 Example of configuration for a tagger

For any given singular ad, there are multiple text fields, so each field was tagged separately, such that the resulting handcrafted feature (hereafter referred to as "tag-based feature(s)") column count for a given expanded search ad was $866 * 6=5,196$. However, this was a very large number of sparse dimensions, so it was reduced by aggregating tags by merging the features of the 3 ad title fields together and those of the 2 description fields together, such that the resulting number of tag-based feature columns was $866 * 2=$ 1732. The only exception to this is the LightGBM experiment detailed below, as we ended up applying a different means of reducing dimensions in that case.
Metadata features were also converted into $\mathrm{n}$-hot encodings. This amounted to a column count of 964 , a majority of which were representations of the account IDs associated with the ads.

Input text:【オトク】予約購入するとなんと10\%オフ!

Fig. 2 Handcrafted feature extraction

These features were extracted and saved to disk, to reduce the amount of computation and time needed during training.

Although not explicitly examined in this study, the handcrafted features are also directly translatable into outputs that can inform end-users as to what textual features affect the predicted CTR.

## 3 Experiments

We performed experiments in several different paradigms. These were all performed using scikit-learn or PyTorch on Google Colab instances, generally with a maximum of $12 \mathrm{~GB}$ RAM and $16 \mathrm{~GB}$ VRAM. Input tensors used in training and validation were also cached to disk after generation during the first epoch to reduce processing time.

## 3.1 Data

We used data collected using our company's ad performance tracking systems. Specifically, we used the metadata, text fields, impression and click counts for Japanese language expanded text ads on Google, which were active between 2017/07/01 and 2021/02/24 (the time of extraction), compiled by month, grouped separately by ad ID and device type. The individual ad IDs (as opposed to ad account IDs) were not factored into learning. We also filtered out instances with fewer than 100 monthly impressions.

Table 1. Data fields used

Metadata Ad account ID, year and month, device type, network type,

TD Fields Ad title 1, ad title 2, ad title 3, description 1 , description 2

The functions and limitations of the individual TD (title and description) fields are explained here: [5].

The total row count was 1,453,181. Train-validate-test splitting was performed with ratios of $0.7,0.2$, and 0.1 resulting in 1,017,227 training rows, 290,637 validation rows, and 145,317 test rows.

## 3.2 LightGBM

Using the n-hot encoded tag-based features did not show very promising results in the short time we devoted to this confirmatory experiment. Instead, we converted the permutations of the n-hot tag-based features per TD field and assigned integer values to be used as categorical value indices. We then performed a $\mathrm{K}$-fold ( $\mathrm{n} \_$splits $=5$, shuffle $=$ True) training regime using the metadata fields as categorical features and the categorically-encoded feature fields.

## 3.3 Multilayer Perceptron (“MLP”)

After experimenting with various network shapes (partly informed by [6]), layer depths, and node counts, we achieved the results presented in the next section with a network with 5 hidden layers of 600 nodes each. The input used n-hot encoded metadata fields (964 columns) and n-hot encoded TD feature fields ( $866+$ 866); the activation function was ReLU.

## 3.4 Fine-tuned DistilBERT

We decided to perform our experiments using DistilBERT-base-japanese [7]. We selected DistilBERT because it has been shown to perform only slightly worse than a comparable BERT model, while reducing memory and processing requirements by more than three-quarters, which was in line with one of our end-goals of producing an interactive web-based tool.

Fig. 3 Including metadata features as text for DistilBERT

We took the DistilBERT-base-japanese model publicly available via HuggingFace, and fine-tuned it using the DistilBertForSequenceClassification [8] class with num labels $=1$. The input for this model was expected to be text strings, so I converted the existing n-hot metadata encodings using the column headings, joined them with [SEP] tokens, and prepended them to the composite ad title and composite description strings, also separated with [SEP] tokens.

## 3.5 Ensemble

A very simple ensemble model that took the results of predictions from two disparate models and presented the mean of those values as its prediction was also developed. The internal models were an instance of the aforementioned MLP models and a fine-tuned DistilBERT model. The input for the MLP portion was n-hot encoded metadata and tag-based features. The DistilBERT portion was provided with the TD strings joined by [SEP] tokens.

## 3.6 Joint Learning

Finally, taking cues from [9], we constructed a joint learning network using discrete subnetworks for each modality of data, with another network built on top, using the concatenated hidden states of the subnetworks to perform the regression task.

Fig. 4 Diagram of Joint Learning Model

The figure above shows a joint learning model using 3 subnetworks, one for each modality of data. The three subnetworks and the regressor network (depicted after the concat step) all use MLP-like networks with dropout.

## 4 Results

The results presented in Table 2 are based on tests using the same test data, with the exception of the LightGBM experiment which was evaluated with $\mathrm{K}$-fold cross-evaluation. The ground truth values for CTR are in decimal form $(0.0 \sim 1.0)$, and the predicted values are normalized to the same scale before computing the error values.

The results in Table 3 describe the percentages of test cases that could be classified under the following categories:

- Overshoot - predicted value was greater than the ground truth value by more than 0.05 .

- Undershoot - predicted value was less than the ground truth value by more than 0.05 .

- Acc. (tol .05) - the absolute difference between the predicted and ground truth values was less than or equal to 0.05. This includes values categorized as VAcc.

- VAcc. (tol .005) - the absolute difference between the predicted and ground truth values was less than or equal to 0.005 .

Table 2. Primary results comparison

 & 0.7188 & 0.03543 & 0.05866 \\

Table 3. Secondary results comparison

} & \multicolumn{2}{l}{} & \multicolumn{2}{l}{} &  \\

MLP & $4.71 \%$ & $10.90 \%$ & $\mathbf{8 4 . 4 9 \%}$ & $23.23 \%$ \\
Fine-tuned & $12.31 \%$ & $8.79 \%$ & $78.90 \%$ & $15.95 \%$ \\
DistilBERT & & & & \\
Ensemble & $10.47 \%$ & $\mathbf{8 . 2 7 \%}$ & $81.26 \%$ & $15.14 \%$ \\
Joint Learning & $9.73 \%$ & $9.06 \%$ & $81.21 \%$ & $16.47 \%$ \\

※Corresponding graphs included in the Appendix.

## 4.1 Discussion

Our intention with the LightGBM experiment was to provide some baseline for the level of accuracy we can expect using our features. Though it performed well, the reduction of dimensions through categorical encoding of the permutations of the features leaves some doubt as to how it will behave with out-of-distribution patterns.

Based on the coefficient of correlation, the ensemble model performs the best. However, if we consider the distribution of accurate predictions, it is edged out by the MLP approach.

On a side note, we also tried an ensemble model where the DistilBERT submodel was finetuned with both metadata and TD strings - the very same model that performed best in our Fine-tuned DistilBERT experiments. However, it ended up bringing the performance of the ensemble model down significantly (corr. 0.6873, MAELoss 0.03935, RMSELoss: $0.06284)$.

The apparent non-linear relationship between coefficient of correlation and loss values (also evidenced by differences in Table 3) may be attributed to the inherently lopsided distribution of our data. Almost 93\% of our test data had ground truth CTRs of less than or equal to $0.2(20 \%)$, and the models that tended to do well in this range tended to do less well with instances where the ground truth CTR was higher, leading to lower overall coefficients of correlation.

## 4.2 Further Research

Note that the experiments as described above are the best results we achieved thus far for their respective paradigms. In particular, we feel that more experimentation can be performed with joint learning to achieve better results.

Additionally, I also feel that there must be other network structures that are more befitting of the dense, continuous values of the DistilBERT-based (and other BERT-based) features. So far, I've implemented MLP-like networks to make comparison with the other paradigms relatively simple, but considering the fundamental differences in the kind of features involved, I feel that greater expressivity can be preserved through the use of alternative activation functions and node distributions.

Additional work on different combinations of modalities in the ensemble and joint learning approaches may also lead to more optimal configurations.

Comparative experiments using embeddings from n-gram, skip-gram and CBOW feature generators may also be useful in examining the power of our approach, although systems using such may be more computationally intensive due to the curse of dimensionality.

Some insight may also be gained by comparing the computational costs and requirements of the different approaches, especially since we intend to deploy them in real-time applications where responsiveness is a strong requirement.

Finally, we are preparing to see if the same approach can be transferred to other ad formats, especially considering that the ad format that our data was in is about to be sunsetted.

## 4.3 Conclusion

In this paper we have shown that a sufficiently comprehensive set of simple handcrafted features can be used to parameterize text ads for the purpose of predicting click-through rates.

Additionally, the handcrafted features are directly translatable into human-readable labels, providing greater transparency and explainability than when using generalized language models like DistilBERT. This explainability can be particularly useful in providing feedback for end-users who use our system to augment and accelerate their creative workflows.

## Acknowledgements

I would like to thank my colleagues at Opt, Inc. for their feedback and support; especially to the members involved in a previous project that resulted in the creation of the tag schema I used as the basis of this entire endeavor. I would also to thank, specifically:

- 田中宏明 Tanaka Hiroaki, my manager, for keeping me on track and general support.

- 粟飯原俊介 Aihara Shunsuke, for providing guidance and insights throughout the entire project.

- 岩田大地 Iwata Daichi, who helped me directly by performing EDA and implementing the LightGBM experiment.

## References

1. Automatic Generation of Title and Description Texts for Sponsored Search Ads. Baba Jun, Iwazaki Yuki, Itsuki Sugio, Kitade Kosuke, and Fukushima Takeshi. The 29th Annual Conference of the Japanese Society for Artificial Intelligence, 2015.

2. Data description of Criteo dataset. (Online) (Last accessed 2021-01-07). https://www.kaggle.com/c/criteo-display-ad-challeng e/data

3. Data description of Avazu dataset. (Online) (Last accessed 2021-01-07). https://www.kaggle.com/c/avazu-ctr-prediction/data.

4. Digital Marketing In A Cookie-Less Internet. Juneau Todd. (Online) (Last accessed 2022-01-07). https://www.forbes.com/sites/forbesagencycouncil/2 020/05/18/digital-marketing-in-a-cookie-less-internet $/$ ?sh $=\mathrm{d} 323 \mathrm{da} 721 \mathrm{e} 2 \mathrm{~d}$

5. About expanded text ads. (Online) (Available as of 2021-12-16).

https://support.google.com/google-ads/answer/70565 44 ? hl=en

6. DeepFM: A Factorization-Machine based Neural Network for CTR Prediction. Guo Huifeng, Tang Ruiming Tang, Ye Yunming, Li Zhenguo, He Xiuqiang. Proceedings of the Twenty-Sixth International Joint Conference on Artificial Intelligence, 2017, 1725-1731.

7. BANDAI NAMCO Research Inc. DistilBERT-base-jp on GitHub (Online) (Last accessed 2022-01-07).

https://github.com/BandaiNamcoResearchInc/DistilB ERT-base-jp

8. - DistilBERT on HuggingFace. (Online) (Last accessed 2022-01-07). https://huggingface.co/docs/transformers/model_doc/ distilbert\#transformers.DistilBertForSequenceClassif ication
9. Click-Through Rate Prediction of Online Banners Featuring Multimodal Analysis. Xia Bohui, Seshime Hiroyuki, Wang Xueting, and Yamasaki Toshihiko. International Journal of Semantic Computing, 2020, Vol. 14 No. 1, 71-91.

## Appendix

Plot of LightGBM model test

Plot of MLP model test

Plot of Fine-tuned DistilBERT model test, trained with TD texts only

Plot of Fine-tuned DistilBERT model test, trained with metadata and TD texts

Plot of Ensemble model test, using DistilBERTForSequenceClassification fine-tuned with TD texts only

Plot of Ensemble model test, using DistilBERTForSequenceClassification fine-tuned with both metadata and TD texts.

Plot of Joint Learning model test


# 事前学習モデルを用いた音声認識結果からの固有表現抽出

今藤誠一郎 ${ }^{1}$ 上田 直生也 ${ }^{1}$ 岡 照晃 ${ }^{1}$
杉山 雅和 ${ }^{2}$ 邊土名 朝飛 ${ }^{2}$ 小町守 1
1 東京都立大学 2 株式会社 AI Shift
\{kondo-seiichiro, ueda-naoya\}@ed.tmu.ac.jp, teruaki-oka@tmu.ac.jp
\{sugiyama_masakazu, hentona_asahi\}@cyberagent.co.jp,
komachi@tmu.ac.jp

## 概要

本研究では自動音声認識 (Automatic Speech Recognition; ASR）結果からの固有表現抽出（Named Entity Recognition; NER）に取り組む. 認識結果は音声認識誤りや, 略称や別称による未知の固有表現を含む. そ れらを頑健に汲み取る手段の一つとして, 事前学習 モデルを使った文脈の考慮が挙げられる. 大量のテ キストで学習された事前学習モデルの中には, 様々 な文脈情報が獲得されていると期待できる. 本研究では, 事前学習済み BERT と T5を用い, 福井県の 道路交通情報に関する対話システムの履歴に対し NER を行なった. 辞書マッチに基づく単純な手法よ り, BERT と T5 は高精度な抽出が可能であることを 確認した. T5 は未知の固有表現1)についても抽出で きる傾向が見られた。

## 1 はじめに

音声対話システムはユーザーの発話を入力とし， それに自然言語で応答を返す. 本研究ではユーザー の質問や要求などに対して情報を提供するタスク指向対話に取り組む. タスク指向対話の実現には, 地名や人名などの固有表現を正確に認識する必要が ある. 現在の音声対話システムはユーザーの発話を 自動音声認識（ASR）でテキストに変換し, そのテ キストを処理するのが一般的である. 固有表現の認識もこのテキスト処理の中で行われる. 現在我々が 行っている固有表現の認識も, ASRテキストに対し てタスクごとに作成した辞書に基づいてリンキング を行うことで実現している（図1を参照）. 現状は システム主導の対話が主であり, 発話内容の多くが

1）辞書に対象となる語は含まれているが略語や音声認識誤り が含まれていないという意味の未知の固有表現と,そもそも辞書に対象となる語が含まれていないという意味の未知の固有表現があるが, 本研究ではそれらを区別しない.

図 1 : 想定する音声対話システムのフローチャート

固有表現のみである場合が多いため, ASR テキスト をそのままリンキングするのみで事足りる場合が多 い. しかし今後の展望としてユーザー主導のシステ ムを想定する場合, ユーザーは自由な発話をするた め, 固有表現の抽出が課題といえる.

テキストにおける固有表現抽出（NER）に関 してはこれまでさまざまな研究が行われてきた $[1,2,3,4]$. 辞書に基づいてマッチングをとる手法や ルールベースに基づく手法 [1], 系列ラベリングタス クとして機械学習を用いる手法 $[2,3,4]$ などが提案 されている.これらの先行研究では, 人手で書かれた テキストを対象としてきた.このようなテキストと は異なり, ASR テキストは音声認識誤りを含むこと が想定される. したがって従来の手法, 特に辞書べー スやルールベースのもの以上に困難なタスク設定と なっている.

本研究ではテキスト処理部の機能向上を目指し, ASR テキストに対する NER に取り組む. 音声認識結果を処理する場合, End2End で処理した方が良い という先行研究 [5] もあるが, ここでは, モジュール やリソースの柔軟な交換を可能にするため, ASR は 既存のものを利用するという制約の下で行う. ASR テキストを扱うにあたって, 抽出の対象となる固有
表現自体に音声認識誤りが生じることも多いため,文脈に基づくNER を目指す. 文脈の情報を活用する のに, 大量の文を用いて学習されている事前学習モ デルが有効ではないかという考えの下, 大規模事前学習モデルである BERTを用いて NER に取り組む. またノイズの多いテキストには系列ラベリングより も Seq2Seqとして取り組んだ方が良いとの報告 [6] もあるため, エンコーダーデコーダーの事前学習モ デルである T5を用いた実験も行う.

## 2 関連研究

## 2.1 事前学習モデルを用いた NER

事前学習モデルを用いた NER はこれまでにも取 り組まれている. 現在, 事前学習モデルとして広く 利用されている BERT [7] を提案した Devlin らは, CoNLL-2003 の NER タスク [8] において, BERT が fine-tuning を行うことで当時の SoTA 手法と同等の 性能を発揮できることを示した. また, Phan ら [9] は T5 [10] に医学文献を用いてドメイン適合を施し， NER を行なった。

## 2.2 音声認識結果における NER

Wang [11] らは ASR の予測候補上位 $\mathrm{N}$ 個の埋め达 み表現を合成し, 事前に持っている辞書の各固有表現の埋め込み表現とのドット積を利用することで固有表現を獲得した. 本研究では ASR の予測候補のう ち最上位のみを用いる設定で実験を行う. また辞書 に基づいて NER を行う際には, 簡単のため埋め込み 表現は用いず string match で行なった.

英語を対象にニューラルモデルを用いて音声認識結果から NERに取り組んだ研究がある. Arushi ら [12] は ASR による音声認識誤りを含むテキストか ら, 音声通話のための人名抽出タスクに取り組んだ. テキスト情報のみではなく音素情報や ASR から得 られる候補の上位 $\mathrm{N}$ 個, 利用者の所属に関する情報 を用いる手法を提案した. その結果, ノイズを多く含 むようなテキストからの NER で recall を大きく改善 できることを示した. Yadav ら [13] は音声をテキス 卜に変換してから固有表現を抽出するのではなく, $\mathrm{RNN}$ モデルで音声スペクトルから直接固有表現を 表すラベル付きテキストを End2End で出力する研究 を行なった. その結果, より頑健に固有表現を抽出で きるようになると主張している. 本研究では, ASR モデルのアーキテクチャーは変更できず, 予測結果
の最上位以外は利用できないという設定の下, ASR から得られた日本語文の NER にニューラルモデル を用いて取り組む。

日本語の音声認識結果における NER に関する研究は隠れマルコフモデルや SVM を用いたモデルで 見られた. 長谷川ら [14] は音声認識結果から未知の NER に取り組んだ. 隠れマルコフモデルの学習にお いて, 誤り語を特定のシンボルに置き換え, 固有表現 クラス付きの bi-gram の学習および誤りを考慮した クラスの導入を提案した. 須藤ら [15] は ASR テキス トでSVMを学習する際に, ある単語が正しく認識 できているかを表す二値の素性を組み込むことで precisionを向上させられることを示した. 一方, 本研究では音声認識誤りを含むテキストから後続タスク に繋げるため, 固有表現を recall 重視で抽出すること を目的としここれに事前学習モデルを利用する。

湯野川ら [16] はコールセンターにおいて ASR で 書き起こされた日本語テキストにBERTを用いた系列ラベリングにより, 顧客入電意図の抽出を行なっ た. 本研究でも固有表現の抽出を目的に BERT で系列ラベリングを行うとともに, T5を用いた実験も 行う.

## 3 手法

本研究では音声認識誤りを含む ASR テキストか らの NER 評価用のデータとして道路交通情報に関 するデータを用いる. それに伴い, 道路と住所に関す る固有表現の抽出を行う. 前提条件として出力した いラベル（道路と住所）は指定できるものとする。

BERT を用いた抽出 系列ラベリングタスクとし て NER に取り組む. サブワード単位に分割されたテ キストに, 固有表現の先頭に B, 内部・終端に I, 固有表現以外に O のラベルを付与する BIO モデルでラ ベリングを行う. 概略図を図 2 に示す. 道路情報に関 するラベルは “ $\{B$ ，I $\}$-route”, 住所情報に関するラ ベルは“ $\{B ， I\}$-address”として扱う．ラベルを指定 するにあたり, 文頭に “route” または “address”トーク ンを付与し,ラベルとして“B-label”を与える.

T5 を用いた抽出 質問応答タスクとして NER に 取り組む. 文頭に特殊タグを付与したテキストを入力文として与え, 特殊タグに対応する固有表現を出力する.このとき, 抽出された各固有表現の末尾には ラベルがハイフンで連結され, 付与されるような設定となっている. 概略図を図 3 に示す. 道路情報に関 するラベルは “道路名”, 住所情報に関するラベルは
固有表現ラベル

図 2: BERT を用いた NER

図 3: T5を用いた NER

“住所名”として扱う．ラベルを指定するにあたり，文頭に“道路名を抽出せよ:”または “住所名を抽出 せよ:”という特殊タグを付与する.

## 4 実験

## 4.1 データ

本研究では福井県の道路交通情報に関するシステ ム主導型の対話ログを用いNERを行なった. 対話ロ グは発話者が道路名や住所名を発話していると期待 されるターンのものを用いた. 抽出したい固有表現 の辞書が与えられており,この辞書には固有表現と それに対する一部の別称や略称, 音声認識誤りが登録されている（図 1 中の固有表現辞書）. 運用上,こ の辞書を用いて辞書マッチで NER が成功したデー タ（match）と,失敗したデータ（fallback）（表 1）の 両方を NER の対象テキストとして扱った. match の データは辞書マッチでラベル付けを行い2), fallback のデータに関しては, 人手アノテーションで住所と 道路に関する固有表現にラベル付けを行なった3). match を, 低コストで入手できて基本的には辞書マッ

2）明らかに意味的に誤っているラベルに関しては人手でラベ ルを取り除いた。

3）このアノテーションでは音声認識誤りも考慮して行なった. また,辞書にエントリーされていない固有表現に対しても福井県に実在する場合には抽出対象として扱った. 表 1 に示すよ うに抽出すべき固有表現がそもそもテキスト中に存在してい ない場合と, 音声認識誤りや辞書のエントリー不足のために抽出できなかった場合が混在している.表 1: match と fallback のデータ例

(下線部が固有名詞)

 \\

チで抽出できるデータ, fallbackを入手にコストがか かり基本的には辞書マッチで抽出できないデータと して扱う（4.4）. fallbackにはアノテーションの際に 福井県に実在するか否かの基準でアノテーションを 行なったため, match とラベルがついている単語の基準に相違がある.

出力するラベルを指定するという設定に合わせ て, 各文の先頭に提案手法ごとの前処理を施す. 利用 したデータ数について Appendix の表 3 に示す.

## 4.2 実験設定

辞書に基づいた string match, 事前学習モデルであ る BERT, T5 による 3 通りの NER について比較を行 う. BERT モデルは東北大の公開しているモデル4)を 利用し, token-classification 形式の fine-tuning を行なっ た. パラメーターはバッチサイズを 8 , エポック数を 3 , 最大系列長を 258 と設定した. また, $\mathrm{T} 5$ モデルは Megagon Labs の公開しているモデル5) に fine-tuning を行なった. パラメーターは学習率を 0.0005 , バッチ サイズを 8 , エポック数を 20 , 最大系列長を 128 と設定した.いずれも fine-tuning には, Huggingface の公開している Transformers $\left.{ }^{6}\right)$ のスクリプトを用いた.

## 4.3 評価方法

完全一致を真陽性とみなした precision, recall, F1 スコアを算出して評価を行う. また match と fallback のラベル付け基準には相違がある（4.1）ため, それ ぞれのテストセットを別々に評価する. match の評価は辞書マッチで抽出できる固有表現を抽出できる のか, fallback の評価は辞書に含まれない固有表現を 抽出できるのかを示す指標とする.

また本研究における NER は下流タスクで entity linking を行うことを想定している.このとき, 抽出 した固有表現が本来よりも短い場合, 下流タスクに

表 2: string match, BERT, T5 による実験結果

（“c_”: 固有表現をリファレンスよりも長く予測した場合に真陽性としてスコア計算し直したときの結果）

おいて linking が不可能になる可能性が考えられる.一方で, 本来よりも長く抽出した場合の entity linking における問題は軽微であると考える. 従って, 固有表現をカバーできている場合は真陽性とみなすが, カ バーできていない部分一致は偽陽性とみなした評価 も行う. 例えばリファレンスの“8号線”という固有表現にラベルが付与されていた場合, “国道 8 号線” の抽出は認めるが, “8 号” のみの抽出は認めない.

## 4.4 実験結果と考察

学習データに match と fallbackを両方用いた場合 と matchのみを用いたときの, match と fallback それ ぞれのテストセットにおける実験結果を表 2 に示す. BERT と T5 それぞれの NER 結果の実例を Appendix に掲載する。

辞書マッチ match のデータに関してはデータ 自体が辞書マッチで作成されているため recall が 100 となる. precision が 100 にならないのは match の データを作成する際に明らかに間違ってラベルが付 けられていたものを人手で取り除いたため（4.1）で ある. 一方で fallback のデータに関してはどの評価指標においても 50.0 以下であり, 固有表現を十分に 抽出できていないといえる. 本研究ではこのような データに事前学習モデルを用いた NER がどの程度機能するのかを調査した。

BERT match のテストデータに関しては F1 スコ アで 0.8 ポイント下回るものの, 辞書マッチで抽出 できる固有表現は BERTでも同等に抽出できている といえる. c_F1 では 99.2 ポイントの精度であり, 後続タスクのための NER として望ましい結果である。 fallback のデータに関しては, 辞書マッチと比較して matchのみで学習した場合+20.2 ポイント, fallback も含めて学習した場合+43.3 ポイントであることが確認できる. 特に recall のスコアの向上が顕著に見ら れることから, BERT を用いることで辞書マッチで は抽出できなかった固有表現を抽出できていること がわかる. 学習データに match のデータの半分程度 の fallback のデータを加えることで, より大きなスコ アの向上が見られるが, これは match のデータに含 まれない未知語に対しても学習が行われたためだと 考えられる。

T5 T5に関しても BERT 同様の傾向がみられる. match のテストデータに関しては,BERT と同程度の 性能を出せており, 辞書マッチと同等に抽出できて いる. fallback のデータに関しては, match のみで学習 を行うと precision が低くなった. しかし学習データ に fallback のデータを加えることで precision は改善 され, BERT と比較しても F1 スコアで+4.6 ポイント であり，より意図通りに抽出することができた。

## 5 おわりに

本研究では事前学習モデルである BERT と T5 を 用いて, 音声認識結果に対する NER に取り組んだ.実験の結果, 辞書マッチで作成したデータに関して は事前学習モデルを用いても概ね良好に抽出でき た. また学習データに人手アノテーションしたデー タを追加することで, 辞書に含まれていない固有表現に関しても抽出できることを確認した. 今後はよ り文脈を利用することで, 未知の固有表現を含むノ イジーなテキストから頑健に固有表現を抽出するた めの fine-tuning の方法を含めた工夫、例えば固有表現をマスクしたデータを学習データに追加するとい うような検討を行なっていく。

## 参考文献

[1] 竹元義美. 辞書およびパターンマッチルールの増強 と品質強化に基づく日本語固有表現抽出. 情報処理学会論文誌, Vol. 42, No. 6, pp. 1580-1591, 2001.

[2] John D. Lafferty, Andrew McCallum, and Fernando C. N. Pereira. Conditional random fields: Probabilistic models for segmenting and labeling sequence data. In Proceedings of the Eighteenth International Conference on Machine Learning, p. 282-289, 2001.

[3] 内元清貴, 馬青, 村田真樹, 小作浩美, 内山将夫, 井佐原均. 最大エントロピーモデルと書き換え規則に基 づく固有表現抽出. 自然言語処理, Vol. 7, No. 2, pp. 63-90, 2000.

[4] 山田寛康, 工藤拓, 松本裕治. Support Vector Machine を用いた日本語固有表現抽出. 情報処理学会論文誌, Vol. 43, No. 1, pp. 44-53, 2002.

[5] Motoi Omachi, Yuya Fujita, Shinji Watanabe, and Matthew Wiesner. End-to-end ASR to jointly predict transcriptions and linguistic annotations. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 1861-1871, 2021.

[6] Stefan Constantin, Jan Niehues, and Alex Waibel. Incremental processing of noisy user utterances in the spoken language understanding task. In Proceedings of the 5th Workshop on Noisy User-generated Text (W-NUT 2019), pp. 265-274, 2019.

[7] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, 2019.

[8] Erik F. Tjong Kim Sang and Fien De Meulder. Introduction to the CoNLL-2003 shared task: Language-independent named entity recognition. In Proceedings of the Seventh Conference on Natural Language Learning at HLTNAACL 2003, pp. 142-147, 2003.

[9] Long N. Phan, James T. Anibal, Hieu Tran, Shaurya Chanana, Erol Bahadroglu, Alec Peltekian, and Grégoire Altan-Bonnet. SciFive: a text-to-text transformer model for biomedical literature. CoRR, Vol. abs/2106.03598, , 2021.

[10] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. Journal of Machine Learning Research, Vol. 21, No. 140, pp. 1-67, 2020.

[11] Haoyu Wang, John Chen, Majid Laali, Kevin Durda, Jeff King, William Campbell, and Yang Liu. Leveraging ASR $\mathrm{N}$-Best in Deep Entity Retrieval. In Proceedings of the Interspeech 2021, pp. 261-265, 2021.

[12] Arushi Raghuvanshi, Vijay Ramakrishnan, Varsha Embar, Lucien Carroll, and Karthik Raghunathan. Entity resolution for noisy ASR transcripts. In Proceedings of the 2019 Conference on Empirical Methods in Natural
Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLPIJCNLP): System Demonstrations, pp. 61-66, 2019.

[13] Hemant Yadav, Sreyan Ghosh, Yi Yu, and Rajiv Ratn Shah. End-to-end named entity recognition from English speech. In Proceedings of the Interspeech 2020, pp. 4268-4272, 2020.

[14]長谷川隆明, 林良彦. 隠れマルコフモデルに基づく音声認識結果からの固有表現抽出. 言語処理学会第 9 回年次大会, pp. 533-536, 2003.

[15] Katsuhito Sudoh, Hajime Tsukada, and Hideki Isozaki. Incorporating speech recognition confidence into discriminative named entity recognition of speech data. In Proceedings of the 21 st International Conference on Computational Linguistics and 44th Annual Meeting of the Association for Computational Linguistics, 2006.

[16] 湯野川八雲, 久保優騎. BERT によるコールセンタロ グからの顧客入電意図抽出. 第 92 巻, p. 04, 2021.

## A データセット

表 3: 実験に利用したデータ情報

(発話数と各ラベルが付与された単語数)

## B 出力例

表 4: match のデータにおける NER 失敗例

T5 で抽出に成功して BERT で失敗した例, BERT で抽出に成功して T5 で失敗した例, 両方で失敗した例を, match と fallback それぞれのデータセットについて表 4 および表 5 に示す.

match のテストデータは辞書マッチに基づいて作成されているため, リファレンスには吉田郡や田尻町が含 まれていないが,これらは実際には福井県に存在する地名であり, 実際には抽出した方が良い例となっている. “イチゴった一”は “158 号線”のことを“いちごっぱ” と発話することがあり,それを認識誤りしたものと考え られる.このような例は BERT も T5 も抽出が難しいことが確認できる.

fallback に示す “青年の道” は学習データには含まれていないが, 実際に福井県に存在する道路名である. T5 が抽出できたのは, 末尾についている “道”という単語から道路名であると予測したためと考えられる. T5 の みがこのような文脈から予測をできた理由として, モデル構造の違いと事前学習時のデータ量の違いが考え られるが，この要因の特定は今後の研究課題である. BERT と T5 の両方が“高みの（方の）”を住所を表す固有表現として抽出しているが, 方向を表すような表現から文脈的にこれらのモデルが固有表現を抽出しょう としたことが推測される。


# 段落構造を利用した BERT に基づく事前学習

湯浅 亮也 谷和樹 田村晃裕 加藤恒夫
同志社大学 理工学部
}

\{cguc0095@mail4, cguc1070@mail4, aktamura@mail, tsukato@mail\}.doshisha.ac.jp
## 概要

本研究では，文書の段落構造を利用した BERT に 基づく事前学習手法を提案する. 従来の BERT ベー スの事前学習手法では，通常，文単位の連続性を学習する。また，文書における各文の位置づけは考慮 しない。一方，Wikipedia 文書などの文書では，文は 段落単位でまとめられ，各段落は見出しによって整理されている。そこで本研究では，段落単位のまと まりとつながり及び見出し情報を考慮した事前学習手法を提案する. livedoorニュースコーパスを用い た文書分類タスクで評価した結果，従来の BERT と 比較して，統計的に有意な性能改善（ $\mathrm{F}$ 值のマクロ 平均が $+0.77(\%) ）$ を確認した。

## 1 はじめに

近年，NLP の分野では，大規模コーパスから単語 や文などのテキストの汎用的な分散表現を事前に 学習する事前学習手法が数多く提案されている. 特 に，BERT をべースとした事前学習手法を活用する ことで，様々な NLP タスクにおいて最高精度が更新されている.

従来の BERT ベースの事前学習では，通常，文単位でトークンのまとまりを捉え，文間の接続関係や 文脈を考慮した単語や文の分散表現を事前学習す る $[1,3,4,8]$. 一方，Wikipedia 文書を筆頭に，事前学習で使われる文書の中には，文が段落単位でまと められ，各段落が見出しによって整理されている文書が多い. Wikipedia の記事「機械学習」の概略を図 1 に示す. 図 1 の文書では，記事の内容が「 1 概要」 や「1.1 定義」といった見出しで整理されており，各内容は「段落 $\mathrm{A}\lrcorner$ や「段落 $\mathrm{B}\lrcorner$ のような段落単位の まとまりで記述されている。しかし，従来の BERT ベースの事前学習ではこのような段落単位の情報や 見出し情報を活用できない.

そこで本研究では，段落単位のまとまりとつなが り及び見出し情報を考慮する，文書の段落構造に基
1 概要

1.1 定義

【段落 A】

【段落 B】

1.2 変数の種類

2 教師あり学習

2.1 概要

2.1.1 訓練フェーズと汎化フェーズ

【段落 C】

図 1 Wikipedia 文書の例（機械学習）

づく BERT による事前学習手法を提案する。具体的 には，BERTへの入力を段落単位にし，2つの段落 が連続するかを判定する事前学習を行うことで，段落単位のまとまりとつながりを反映した分散表現 を学習する．また，段落が見出しに属するかを判定 する事前学習を行うことで，各段落の見出しを反映 した分散表現を学習する．段落同士の連続判定及び 段落の見出しへの所属判定は，Sentence-BERT[5] の Classification Objective Function を用いて分類問題を 解くことで実現する.

livedoor ニュースコーパスを用いた文書分類夕 スクで提案の事前学習手法を評価した結果，従来 の BERT を用いた場合よりも $\mathrm{F}$ 値のマクロ平均が $0.77 \%$ \%) 高くなり，統計的に有意な性能改善を確認 した.

## 2 従来手法

## 2.1 BERT

BERT[1] は Transformer Encoder[6] に基づくモデル であり，様々な NLP タスクにファインチューニン グ可能で汎用的な分散表現を獲得するための事前学習モデルである。大量のラベルなしテキストから 事前学習された分散表現を用いて，目的のタスクに

図 2 Sentence-BERT (Classification Objective Function) モデ ルの概要図

ファインチューニングすることにより，学習時間の 短縮や目的タスクの教師データが少量であっても高精度を達成することが可能である.

事前学習では，ラベルなしテキストデータを用い $\tau$, Next Sentence Prediction (NSP) と Masked Language Model（MLM）の 2 つの教師なし学習を行う. NSP では，同時に 2 つの文を入力し，入力された 2 文 が連続するか否かの分類問題を解くことで，文の 接続関係を考慮した分散表現を得る．MLMでは，入力トークンをランダムにマスクし，マスク前の トークンを推定する問題を解くことで，文脈を考慮 した分散表現を学習する。これらの事前学習では，入力の先頭に [CLS]トークン，各文の最後に [SEP] トークンを付与し，[MASK] トークンを用いてマス クした入力系列を使用する (例：[CLS] the man went to [MASK] store [SEP] he bought a gallon [MASK] milk [SEP] ）. NSP では [CLS] トークンの分散表現に基づ き 2 值分類を行う。

この事前学習では，Wikipedia や BookCorpus [9] の 文書を学習データとして用いている。これらの文書 は，本来，段落単位でまとめられ，各段落が見出し によって整理されている. しかし, 従来の事前学習 では，見出し情報は陽に利用しておらず，また，文 より大きい単位（段落など）のまとまりやつながり を捉えることが困難である。

## 2.2 Sentence-BERT

Sentence-BERT [5] は事前学習済み BERTを Siamese Network で用いてファインチューニングすることで，文の埋め込み表現を獲得する手法である. 事前学習済み BERT モデルの出力側に文の分散表現を取 り出すための pooling 層を加えたモデルを Siamese Network 内の共有モデルとして使う．先行研究では pooling 層の演算として，CLS，MEAN，MAXの 3 種類が提案されている. CLS は [CLS] トークンの分散表現，MEAN は全トークンの分散表現の平均ベク トル，MAX は全トークンの分散表現に対して各特徵量の最大のものを取る max-over-time 演算を行っ たべクトルを文の分散表現とする。この Siamese Network モデルを文間の類似性に基づき学習する.使用する学習データに応じて, 分類問題, 回帰問題, Triplet Loss で学習する方法が提案されている.

後述の提案手法では, Classification Objective Functionを用いた分類問題で学習する Sentence-BERT を利用する。モデルの概要を図 2 に示す.この Sentence-BERT は， 2 文 A, B を BERT に個別に入力 し, pooling 層で各文の分散表現を取り出す。その 後, 求めた 2 つの分散表現と要素ごとの差の絶対值ベクトルを結合し，結合したべクトルに基づき softmax classifier で 2つの入力文が連続するか否かの 2 値分類を行う（式 (1)）.

$
\operatorname{softmax}\left(W_{t}(\mathbf{u}, \mathbf{v},|\mathbf{u}-\mathbf{v}|)\right)
$

ここで $\mathbf{u}$ と $\mathbf{v}$ ，それぞれ，文 $\mathrm{A} と \mathrm{~B}$ の分散表現で あり,$W_{t}$ は学習される重み行列である.

## 2.3 その他の事前学習手法

BERT の派生モデルとして, XLNet [8] や RoBERTa [4], ALBERT [3] などの多くの事前学習モデルが提案されている. XLNet の事前学習で は，NSPを廃止し，[MASK] トークンは使用せず にトークンの予測順序を入れ替える permutation language modeling を学習している. RoBERTa $の$ 事前学習でも NSP が廃止されている。また, ALBERT の 事前学習では，NSP の代わりに，文章の順序を予測 する sentence-order prediction を行っている.

これらの従来モデルにおいても，段落単位での連続性は学習されておらず，また，見出し情報が活用 されていない.

図 3 段落構造を利用した事前学習モデルの概要図

## 3 段落構造を利用した事前学習

本節では文書の段落構造を利用した BERT による 事前学習手法を提案する. 事前学習で用いる文書の 多くは，文が段落単位でまとめられ，各段落が見出しによって整理されている. そこで提案手法で は，段落単位のまとまりとつながり及び見出し情報 を反映した分散表現を事前学習する．具体的には， BERTへの入力を段落単位にし， 2 つの段落が連続 するか否かを推定する連続判定と, 段落が見出しに 所属するか否かを推定する所属判定を行う.

提案手法の概要を図 3 に示す. モデル構造は 2.2 節で説明した Classification Objective Function を用い た Sentence-BERTを利用する. 図 3 の全ての BERT の重みは共有されており，pooling 層は MEANを用 いる. そして, 段落同士の連続判定及び段落の見出 しへの所属判定は Classification Objective Function を 用いて 2 値分類問題として解く.

段落同士の連続判定は, 図 3 の中央の softmax classifier で行う. 2 つの段落 A と B に対して，BERT と pooling 層で各段落の分散表現を抽出する. その 後, 式 (1)を用いて，段落 A の次に段落 B が繋がる か否かの 2 值分類を行う. 式 (1)における $\mathbf{u}$ と $\mathbf{v}$ は， それぞれ，前方段落（段落 A）と後方段落（段落 B） の分散表現となる. この事前学習では, 本来の文書内で連続する 2 つの段落の後方段落を，50\%の確率 で，異なる文書から無作為に取り出した段落に置き 換えたデータを学習データとする。

段落同士の連続性を 2.1 節で説明した BERT の NSP ではなくSentence-BERT の構造で学習した理由は，各段落を個別に BERT の入力にすることで， [CLS]トークンを段落同士の接続関係を表すべクト ルではなく，各段落の分散表現として事前学習する ためである.

段落の見出しへの所属判定は, 図 3 の左右の softmax classifier で行う. 2 つの段落 A，B と 2 つの 見出し A，B に対して，BERT と pooling 層で分散表現を抽出する。その後，式 (1)を用いて，段落 A が 見出し A に，段落 B が見出し B に所属するか否か をそれぞれ 2 值分類する。式 (1)における $\mathbf{u} と \mathbf{v}$ は，

分散表現となる。この事前学習では, 本来の文書内 に存在する見出しと段落の対に対して，見出しを， $50 \%$ の確率で，異なる文書にある異なる見出しに置 き換えたデータを学習データとする。

ここで，Wikipedia 文書の見出しは予め決められ ておらず，文書作成者が任意の名前を付けられるこ とに注意されたい，任意の見出しが出現する可能性 があるため，提案手法では，予めクラスを仮定した 多クラス分類ではなく，段落が見出しに属するか否 かの 2 クラス分類で見出し情報を取り込む.

## 4 実験

従来の BERT モデルと提案手法により事前学習 された BERT モデルを，それぞれ， livedoorニュー スコーパス1)を用いた文書分類タスクでファイン チューニングし，その文書分類性能を比較すること により，提案の事前学習手法の有効性を検証する。

## 4.1 実験設定

事前学習 本実験では，段落間の連続判定と段落 の見出しへの所属判定の両方を導入した提案の事前学習モデルに加えて，段落間の連続性判定のみ導入 した事前学習モデル，段落の見出しへの所属判定の みを導入した事前学習モデル，従来の BERT モデル を事前学習モデルとして用いた場合の性能を評価 する。

従来の BERT モデルは, 東北大学 BERT の bertbase-japanese-whole-word-masking ${ }^{2}$ を使用した. そ の他の提案手法の事前学習モデルは，従来の BERT モデルを初期値として，Wikipedia $の$ jawiki-latestpages-articles.xml.bz2 ${ }^{3)}$ を用いて 3 節で提案した方法 で学習した. 見出しへの所属判定で用いる見出し

1) https://www.rondhuit.com/download.html\#ldcc

2) https://huggingface.co/cl-tohoku

3) https://dumps.wikimedia.org/jawiki/latest/
表 1 livedoorニュースコーパス

は，段落が属する最上位の見出しを用いた。例え ば，図 1 においては，段落 A と段落 B の見出しは 「概要」, 段落 C の見出しは「教師あり学習」とした. sentence-transformers ${ }^{4}$ のライブラリを用いて実装し， BERTへの最大入力長は 512 とした. その他のパラ メータは, Sentence-BERT[5] の実験設定に倣い, エ ポック数を 1 , 学習率を $2 \mathrm{e}-5$ とし, 最適化手法には Adam [2] を用いて, 学習データ全体の $10 \%$ に対して warm-upを行った.

ファインチューニング 本実験の評価は, livedoor ニュースから収集されたニュースコーパスを用い た多クラス文書分類で行う.このデータセットは 7,367 件の記事で構成されている. 従来研究 [10] に 倣い，各記事の収集元である記事サイトをクラスと する. クラス数は 9 である. 表 1 に各クラスの記事数を示す. また，各記事はURL，日付，タイトル，本文で構成されているが，本研究では，タイトルと 本文を結合したテキストからクラスを分類する。

文書分類モデルは，事前学習した BERT の出力側に, [CLS]トークンの分散表現に基づき softmax classifier でクラスを決める出力層を加えたモデルで ある. この文書分類モデルを，多クラス文書分類 タスクでファインチューニングする。 なお，提案手法の事前学習モデルにおいては, Sentence-BERT の構成要素のうち, 事前学習した BERT 部分を使 う. simple-transformers ${ }^{5}$ のライブラリを用いて実装 した. 最大入力長さは 256 とし, エポック数, 学習率，バッチサイズは，それぞれ，100，2e-5，32とし た.その他のパラメータは, simple-transformers ライ ブラリのデフォルトの値を用いた.

4) https://github.com/UKPLab/sentence-transformers

5) https://github.com/ThilinaRajapakse/simpletransformers表 2 実験結果

## 4.2 実験結果

評価は 5 分割交差検証で行った. 交差検証では, 1 fold をテストデータとし, 残りの 4 fold の内, $80 \%$ を学習データ，20\%を開発データとした。評価指標 には $\mathrm{F}$ 值のマクロ平均を用いた。

表 2 に実験結果を示す. 表 2 より, 従来の BERT モデルと比較して，提案の 3 つの事前学習モデル は，いずれも高い分類性能を達成できることが確認 できた. また，3つの提案のモデルの中で，段落同士の連続判定と見出しへの所属判定の両方を導入し たモデルが最も高い性能を達成した. 最高性能を達成した提案モデルと従来の BERT モデルを用いた場合の文書分類結果の差に対して符号検定を行った 結果，有意水準 $1 \%$ で有意であった. このことから，段落同士の連続性や見出し情報を考慮して分散表現 を事前学習することは，文書分類タスクで有効であ ることが確認できた. また，段落の連続性の情報と 見出し情報のそれぞれを考慮するよりも，両方を考慮した方が結果が良いことから, 段落同士のまとま りと見出し情報の両方が，文書の特徴を求める際の 重要な手がかりになることが実験的に確認できた。

## 5 おわりに

本研究では，事前学習に用いる文書は段落でまと められており，各段落は見出しによって整理されて いることに着目し, これら 2 つの特徴を利用した BERT に基づく事前学習手法を提案した. 提案手法 では, BERTに段落単位で大力し, 2 つの段落の連続判定と段落の見出しへの所属判定による事前学習を 行うことで，段落情報をテキストの分散表現の事前学習に取り入れた. 提案の事前学習手法を, livedoor ニュースコーパスを用いた文書分類タスクで評価し た結果, 従来の BERT と比較して, 統計的に有意に 高い性能が実現できることを確認した。

今後は，NLPのベンチマーク評価である GLEU [7] など，文書分類タスク以外で，提案の事前学習モデ ルの有効性を確認したい。

## 謝辞

本研究の一部はトランスコスモス株式会社との共同研究により得られたものである. 本研究を支援し てくださった，トランスコスモス株式会社の伊藤和真氏，及川秀俊氏，濱田充男氏，大林弘明氏に感謝申し上げます。また，本研究を進めるにあたり貴重 な助言をしてくださった，愛媛大学の二宮崇先生，梶原智之先生，秋山和輝氏に感謝を申し上げます.

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[2] Diederik P Kingma and Jimmy Ba. Adam: A method for stochastic optimization. arXiv preprint arXiv:1412.6980, 2014.

[3] Zhenzhong Lan, Mingda Chen, Sebastian Goodman, Kevin Gimpel, Piyush Sharma, and Radu Soricut. Albert: A lite bert for self-supervised learning of language representations. arXiv preprint arXiv:1909.11942, 2019.

[4] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach. arXiv preprint arXiv:1907.11692, 2019.

[5] Nils Reimers and Iryna Gurevych. Sentence-BERT: Sentence embeddings using Siamese BERT-networks. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3982-3992, Hong Kong, China, November 2019. Association for Computational Linguistics.

[6] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in Neural Information Processing Systems 30, pp. 5998-6008. 2017.

[7] Alex Wang, Amanpreet Singh, Julian Michael, Felix Hill, Omer Levy, and Samuel Bowman. Glue: A multi-task benchmark and analysis platform for natural language understanding. In Proceedings of the 2018 EMNLP Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP, pp. 353-355, 2018.

[8] Zhilin Yang, Zihang Dai, Yiming Yang, Jaime Carbonell, Russ R Salakhutdinov, and Quoc V Le. Xlnet: Generalized autoregressive pretraining for language understanding. Advances in neural information processing systems, Vol. 32, , 2019.
[9] Yukun Zhu, Ryan Kiros, Rich Zemel, Ruslan Salakhutdinov, Raquel Urtasun, Antonio Torralba, and Sanja Fidler. Aligning books and movies: Towards story-like visual explanations by watching movies and reading books. In Proceedings of the IEEE international conference on computer vision, pp. 19-27, 2015.

[10] 菊田尚樹, 新納浩幸. Bertを用いた文書分類タスクへ の mix-up 手法の適用. 第 27 回言語処理学会年次大会, pp. 599-602, 2021.


# 自発的な独話における可読性向上のための 言い直し表現を検出・修正するシステム

島森瑛貴 1 阪本浩太郎 2 渋木英潔 2 森辰則 1
1 横浜国立大学大学院 ${ }^{2}$ 株式会社 BESNA 研究所
simamori-eiki-vj@ynu.jp sakamoto@besna.institute
shib@besna.institute tmori@ynu.ac.jp

## 概要

本稿では日本語の自発的な独話における言い直 し現象の分析を元に、言い直しの検出と修正を行う システムを構成した。はじめに分析に準拠したべー スラインシステムを作成し、その評価を行った。実験の結果、適合率は 0.046 、再現率は 0.300、F1 值は 0.080 であった。考察の結果、言い直しの範囲推定 の方針と名詞連接の判定が不十分であったことが 明らかとなった。これらの課題を改善し再び評価を 行った。実験の結果、クローズドテストでの適合率

テストでの適合率は 0.235 、再現率は $0.400 、 \mathrm{~F} 1$ 値は 0.296、と大幅に改善した。

## 1 はじめに

新型コロナウイルスの感染に伴い現在は生活の 様々な場面でオンライン化が進んでいる。そのよう な現代では人の発話を書き起こしテキストとして読 む場面が増えた。話し言葉の書き起こしは、編集さ れていない状態では「言い直し表現」が頻出する。言い直し表現は書き言葉には出現しないため可読性 を下げる要因となりうる。我々はそれらの現象を適切に検出・修正するシステムを開発し、可読性の向上に貢献することを目標としている。

本稿では日本語の自発的な独話に出現する言い直 しを検出・修正するシステムを提案し評価を行う。

## 2 関連研究

話し言葉の言い直しを扱う代表的なモデルとして RIM(Repair Interval Model)[1] が存在する。RIM は言 い直し部を被修復部、言い淀み区間、修復部の 3 つ の部分に分割し, これらがこの順に出現することで 一つの言い直しを行っていると仮定している。丸山ら [2] は RIM に基づき『日本語話し言葉コー パス』[3]（Corpus of Spontaneous Japanese 以下，CSJ とする）に出現する言い直し表現について言語学的 な観点から分類した。この分類は処理の対象が形態素未満、形態素以上単語未満、一文節、二文節以上 など様々であるため機械的な処理にそのままこの基準を用いることは難しい。そのため工学的な観点か ら、処理の方法と対応する分類を行う必要がある。

話し言葉における言い直しを検出する先行研究は [4][5] ど゙がある。下岡らの手法 [4] は高梨ら [6] で 定義された言い直しのタグを正解として言い直しの 検出を行っている。また推定された箇所について、係り受け情報を用いて削除する範囲の同定について 検討している。しかし、形態素の繰り返し情報など を素性としたSVMを用いて任意の文節が言い直し であるかを判定しており、言い直しを捉える特定の モデルを作成していない。また、高梨ら [6] は「同一の内容を指し示している対等な文節」をのみを言 い直しと定義して CSJにアノテーションしており、我々の扱いたい問題が含まれていない。

藤井らの手法 [5] は言い直し部を分割したモデル を作成し、言い直しの検出・修正を行っている。し かし、そのモデルはフィラーや言い淀みの存在を仮定しており、それらが存在しない言い直し表現につ いては検出ができない。

以上から日本語の自発的な発話に出現する言い 直し全般について分析し、検出・修正するような研究はこれまで行われていない。そこで我々は島森ら [7] で言い直しを再定義し、機械的に扱える単位に 対して分析を行った。

島森ら [7] では「言い直し」を「同一の対象に複数回参照する表現のうち、同一の面を参照している もの」であると定義した。また、言い直し表現の組 のうち、最後に言い終えている箇所を「言い直し
先」と、それ以外の箇所を「言い直し元」と定義し た。この 1 つ以上の言い直し元と 1 つの言い直し先 から 1 つの言い直し組を構成する。本稿でもこの用語を使用する。さらに、この言い直しの定義に基づ いて、日本語話し言葉コーパス CSJ[3] を用いて以下 の 3 つの仮説を検証し、1つの調査が行われている。仮説 1. 言い直し先は言い直し元よりも後に発話 されていることから重要であり残すべき 仮説 2. 言い直し元は言い直し先の自立語を含む 仮説 3. 削除の対象となる箇所は一文節以下調査 1 . 言い直し表現組の間に入る最長の文節数

## 3 システムの構成

本稿では島森ら [7] の分析に基づき日本語話し言葉中に出現する言い直しを検出・修正するシステム を提案する。本研究における言い直しの検出・修正 とは、話し言葉の書き起こし中に出現する言い直し 表現の組を検出し、適切に削除することを指す。検出・修正の方針をそれぞれ以下に示す。

## 3.1 検出の方針

仮説 2 の検証結果によれば、言い直し元と言い直 し先は共通の自立語を持つことが多いことが明らか となった。そこで、ある自立語 $\mathrm{A}$ を含む文節 $\mathrm{S}$ にお いて、同様の自立語 $\mathrm{A}$ を持つ文節 $\mathrm{T}$ が検索範囲内に 存在すれば $(\mathrm{S}, \mathrm{T})$ の組を言い直し組とする。調査 1 の結果によれば言い直し組は 15 文節以上離れない ため、検索範囲を 15 文節とする。

## 3.2 修正の方針

言い直しとして検出した組は、言い直し元か言い 直し先のいずれか、もしくはその両方を削除するこ とで修正する。仮説 1 の検証結果によれば基本的に は言い直し元を削除することで修正ができると明 らかになったため、それを修正の基本方針とする。 しかし仮説 3 から 2 文節以上を削除することもあ ると判明した。従って、修正にあたっては削除範囲 (多くの場合では言い直し元の範囲) を正確に推定す ることが必要である。そこで言い直し組 $(\mathbf{S}, \mathbf{T})$ の候補において、言い直し元とされた文節 $S$ を起点と して、実際の言い直し元の範囲を推定する。すなわ ち、係り受け木の部分木のうち、i) 文節 $S$ を含み、 かつ、ii) 言い直し先とされた文節 $\mathrm{T}$ 以降の文節に係 るものを言い直し元とするという方針で修正できる という仮説を立てて検証する。「隣の方には住宅街
の隣にはデパートを作らないので」という例を用い てこの方針について説明する。

係り受け解析器 CaboCha を用いてこの文を係り受 け解析すると以下の結果が得られる。

隣の

この例では「隣の方には」が言い直し元、「住宅街 の隣には」が言い直し先とすることが正解であり、「住宅街の隣にはデパートを作らないので」と修正 されるべきである。上記の方針を適用すると、「隣 の」が $\mathrm{S} 、 「$ 隣には」が $\mathrm{T}$ となる。 $\mathrm{S}$ を含む係り受け の部分木のうち、 $\mathrm{T}$ 以降の文節に係るものは「隣の 方には」となる。よって、これが範囲の推定を行っ た後の言い直し元となるので、これを削除すると正 しく修正できる。なお、この例では「住宅街の隣の 方にはデパートを作らないので」のように、言い直 し組の文節を融合して修正することもできるが本研究ではそのような修正は行わない。

## 4 言い直し元の範囲を推定する仮説 についての検討

システム全体の評価前に上記仮説を検証する。

## 4.1 対象・結果

日本語話し言葉コーパス [3] のコア講演 177 講演 に出現した言い直し組全 1453 件を分類したコーパ ス (島森ら [7] で作成)を用いる。その中の言い直し 元または言い直し先が 2 文節以上である 617 件を目視で調査した。分析の結果、仮説に基づいて推定で きたものが 303 件、推定できなかったものが 314 件 だと明らかになった。

## 4.2 考察

仮説の方針に従って正しく範囲を推定できなかっ たものの内訳は以下のとおりである。

(1)名詞が連続する 180 件

(2)範囲推定後の言い直し元の範囲以前から言い直 し元が始まる 23 件

(3)編集表現を持つ 97 件

(4)言い直し先の文節に係る 14 件

上記 (1) に当てはまる文を以下に示す。 スペクトル女性の音声スペクトルがこのような ものであった

これは、既存の係り受け解析器が名詞を言いかけ た言い直しを正しく解析できていないことに起因す る。この文を CaboCha で解析した例を以下に示す。

この例では「スペクトル女性の」が一文節だと判断され、「スペクトル」だけ削除されるべきところ 「スペクトル女性の」が削除される。そこで、これ らを異なる文節として扱う必要がある。次の 5 章で 評価するシステムでは対象とせず、 5 章の考察で明 らかとなった他の問題と共に 6 章で係り受け構造を 変換する前処理を行い、7 章で評価する。

上記 (2)に当てはまる文を以下に示す。

## たまに見るいつも見る犬がいる

この例では「たまに見る」が削除され「いつも見る 犬がいる」と修正されるべきである。しかし言い 直し元として検出されるのは初めに出現する「見 る」であり、言い直し元以前の文節は推定範囲外で あるため「たまに」が削除されない。仮にこの例文 が「私が見るいつも見る犬がいる」だとすると、初 めの「見る」だけを削除するのが正しい。このよう に、言い直し元より前の文節が言い直しに含まれる かを判断するタスクは、係り受けの情報だけでなく 文の意味を理解する必要があるため非常に難しい。 そのため、本稿ではこの例は扱わない。

上記 (3) に当てはまる文を以下に示す。

愛していますと言うか好きな

この例では編集表現「と言うか」を持つ「愛してい ますと言うか」を削除し「好きな」と修正するべき である。この編集表現は言い直し先の文節「好き な」に係るため仮説は成り立たない。しかし以前の 調査から編集表現を含む文節はその文節を削除する と修正できることが明らかとなったため、編集表現 を持つ文節があるときはその文節を削除するという 規則をシステムに追加する。上記 (4) に当てはまる文を以下に示す。

解説の意味の解説者の解説の意味の

この例では初めの「解説の意味の」を削除し「解説者の解説の意味の」と修正するべきである。しか し、言い直し元から係る一連の文節「解説の意味 の」が、言い直し先である「解説の意味の」に係る ため仮説が成り立たない。このように言い直し元の 文節が言い直し先に係るようなときは他の規則を用
いて範囲を推定する必要がある。これは今後の課題 とし、本稿では扱わない。

## 5 システムの評価

4 章で検証した範囲推定の方針をシステムに利用 し、 3 章で提案したシステムを評価する。

## 5.1 対象・結果

分析の対象には CSJ のコア講演 177 講演を用い る。CSJによって文末タグが付与されている箇所で 文単位に分割した。得られた文数は 9261 件、言い 直し組は 1705 件であった。上記の分析と同じ講演情報を使用したが言い直し組の数が増加している。 これはデータを分析し直したときに、コーパス作成時に見落としていたものを追加したためで、言い直 しの定義は変化していない。

システムの評価は、システムが削除すると判断し た個所に IOB2 形式のラベルを文字単位で振り、削除単位ごとに一致しているかを調べ適合率、再現率、 $\mathrm{F} 1$ 值を求めた。評価の結果によると、適合率は 0.046、再現率は $0.300 、 F 1$ 值は 0.080 であった。

## 5.2 考察

本システムを評価した結果によると適合率が非常 に低いことが明らかとなった。適合率低下の大きな 要因には不適切な検索範囲と名詞連接の 2 つがあっ た。以下にそれぞれ修正を誤った例を示し考察す る。例では、システムが削除した個所をく〉で囲う。

## 5.2.1 不適切な検索範囲

誤検出が増えた原因として言い直し候補の検索範囲に文節数を利用したことが挙げられる。

取り敢えず失業保険もくありますし>七か月ぐら いは<収入が>あるんでねしばらくは親の収入に 頼らなくても大丈夫です。

上記の例には本来言い直しと判断されるべきものは ない。しかし、「ある」と「収入」といった自立語が 共通している文節が言い直しとして判断されてい る。削除された文節はそれぞれ「失業保険もある」「収入がある」「収入に頼る」と異なる節を構成して いるため、言い直しでないと人が判断することは容易である。そこでシステムが同様の構造を理解する ことで誤検出を減らせると考えた。そこで 6 章で、検索範囲として節境界を利用することを提案する。

## 5.2.2 名詞連接

名詞連接とは名詞が続くことを指す。言い直しが 発生すると、上述した「スペクトル女性の」のよう に意図しない名詞連接が生じ、正しく構文解析が行 われないことが多い。また以下のように、複合語と して扱いたいものとの区別も難しい。

<被験者情報は>被験者から個別で聴取した

上記の例には本来言い直しと判断されるべきもの はない。しかし「被験者情報は」と「被験者から」 が言い直しとして判断されている。「被験者情報」 を複合語と判断できれば誤検出の減少を期待でき る。そこで 6 章では、名詞連接が、言い直しによる 意図しないものか、複合語かを正しく判断し、言い 直しであれば正しい係り受け構造に変更する前処理 について検討する。

## 6 システムの改善

5 章の考察をもとに提案システムを改善する。

## 6.1 節境界の利用

同一節内のみを対象とするように言い直し組の検索範囲を変更する。節境界の推定には日本語節境界推定プログラム CBAP[8]を利用する。

## 6.2 係り受け構造の修正を行う前処理

名詞連接を正しく扱うために、システムが言い直 しを検出・修正する前に係り受け構造を変更するよ うな前処理を行う。文中に出現する名詞連接は、複合名詞の場合と、「スペクトル女性」のように名詞 のみの言い直しの後に名詞から始まる文節が続く場合がある。本研究では後者を積極的に言い直しとし て認識したい。そこで、あらかじめ複合名詞の候補 を見つけ言い直しの対象から外し、それ以外の名詞連接について言い直しの可能性を確認する。具体的 には名詞連接のうち、同一講演で複数登場するも のは、複合名詞として不可分な一つの名詞として 扱う。その後、複合名詞でない名詞連接の係り受け を変更する。具体的には名詞 A(A1) と名詞 B の連接があり、 $\mathrm{AB}$ と同一節内で $\mathrm{A}$ を持つ他の文節 (A2) が存在したとき、A1 の係り先を A2 の係り先に合 わせる。上記の「スペクトル女性の音声スペクトル がこのようなものであった」の例では「スペクトル (A1) 女性 (B)」という連接に対して「音声スペクト ル (A2)が」という文節が同一節内に存在するため以下のように係り受けを変更する。

## 7 改良したシステムの評価

## 7.1 対象・結果

改良したシステムを評価する。評価方法はベース ラインシステムの時と同様である。クローズドテス トではベースラインシステムの評価と同じデータ を用いる。オープンテストでは非コア講演 40 講演 を用いる。 5 章と同様の文分割を行い、文数は 1996 件、言い直し組は 297 件であった。

クローズドテストの結果は表 1 に、オープンテス トの結果は表 2 に示す。

表 1 クローズドテスト

表 2 オープンテスト

## 7.2 考察

節境界と前処理を利用することで精度が向上し た。しかし改善後でもうまく修正できなかったもの も存在する。例えば CBAP が口語的な節境界を正し く判断できていないものがあった。新たに節境界の 規則を追加することを検討している。他にも「リン ゴを食べ食べました」のような動詞の言い直しは修正できていなかった。動詞の後には何らかの節境界 が付与されることが多く、検索範囲から外れるため である。また、講演中に一度しか出現しない複合語 も多数存在しており、それらは言い直しによる意図 しない名詞連接と同列に扱われていた。そのため、名詞連接の判定も不十分で今後の課題である。

## 8 まとめ

本稿では日本語話し言葉の言い直し現象を検出、修正するシステムを提案し、その評価を行った。上記の課題に加えて、異なる語彙を用いた言い直しを 判定するために類似性を判定することや、言い直し の範囲をより正確に推定するために並列構造を組み 込むことが今後の課題である。

## 参考文献

[1] Christine Nakatani and Julia B Hirschberg. A speech-first model for repair detection and correction. 31st Annual Meeting of the Association for Computational Linguistics, Vol. 13, No. 1, pp. 46-53, 1993.

[2] 丸山岳彦, 佐野信一郎. 自発的な話言葉に現れる言い 直し表現の機能的分析. 言語処理学会第 13 回年次大会発表論文集, pp. 1026-1029, 2007.

[3] 国立国語研究所. 『日本語話し言葉コーパスの構築法』. 国立国語研究所報告 No.124, pp. 1-552, 2006.

[4] 下岡和也, 河原達也, 内元清貴, 井佐原均. 『日本語話 し言葉コーパス』における自己修復部 (d タグ)の自動検出および修正に関する検討. 情報処理学会研究報告音声言語情報処理（SLP）, Vol. 2005, No. 50, pp. 95-100, 2005

[5] 藤井はつ音, 岡本紘幸, 斎藤博昭. 日本語話し言葉にお ける自己修復の統計モデル. 言語処理学会第 10 回年次大会発表論文集, pp. 2-7, 2004.

[6] 内元清貴, 丸山岳彦, 高梨克也, 井佐原均. 『日本語話 し言葉コーパス』における係り受け構造付与. 国立国語研究所平成 15 年度公開研究発表会予稿集, 2003.

[7] 島森瑛貴, 阪本浩太郎, 渋木英潔, 森辰則. 自発的な独話における可読性向上のための言い直し表現の定義 と分析. 言語処理学会第 27 回年次大会発表論文集, pp. 365-370, 2020

[8] 丸山岳彦, 柏岡秀紀, 熊野正, 田中英輝. 節境界自動検出ルールの作成と評価. 言語処理学会第 9 回年次大会発表論文集, pp. 517-520, 2003.


# 英語の言語モデルに内在する種差別的バイアスの分析

竹下昌志
北海道大学大学院情報科学院
takeshita.masashi@ist.hokudai.ac.jp
}

ジェプカ・ラファウ
北海道大学大学院情報科学研究院
rzepka@ist.hokudai.ac.jp
}

荒木健治

北海道大学大学院情報科学研究院

araki@ist.hokudai.ac.jp
## 1 はじめに

自然言語処理 (NLP) 分野において，単語埋め込み に内在する社会的バイアスが研究されている $[1,2]$.例えば，単語埋め込みを用いて「男が医者なら女は $\mathrm{X}$ という類推を行うと，Xには「看護師」が入ると 予測される [3]. このようなバイアスはダウンスト リームタスクに影響を及ぼす。例えば共参照解決に おいて，ステレオタイプ的な事例（例：「彼女は看護師である.」) での精度は反ステレオタイプ的な事例 （例:「彼女は医者である.」）での精度より高い [4].

既存研究で対象とされている社会的バイアスの 属性は，ジェンダー $[3,5,6]$ ，人種 $[6,7]$ ，宗教や民族 [6] などであり，これらはすべて人間のアイデン ティティを想定している。しかし，非ヒト動物を対象としたバイアス研究は存在しない.

本稿ではテンプレート文と Masked Language Model (MLM) を用いて，英語の事前学習済みの言語モデ ルに内在する非ヒト動物に対するバイアス，すなわ ち種差別的バイアスを調査する。

本稿で調査するバイアスは Blodgett ら [2] の分類 にしたがってステレオタイプ化 (stereotyping) とす る. システムの動作が有害なステレオタイプ化であ るとは，システムが「特定の社会集団について否定的な一般化を広める」[2, p.5456] ことである. ただ し，我々は社会集団に非ヒト動物たちも含める。

## 1.1 倫理的考察：非ヒト動物と NLP 技術

本稿の研究目的に対して，二つの批判が考えられ る. 第一の批判は, 非ヒト動物に有害なバイアスが 存在するとしても，それは倫理的に問題ない，とい うものである。しかし我々は利益に対して平等に配慮すべきであり，利益を持つ者が誰であるかによっ
て差別するべきではない $[8, \mathrm{p} .40]$ 。また平等に配慮 する義務を認めないとしても，非ヒト動物が何らか の道徳的配慮に值する存在であることはほとんどの 人が認めるだろう。もしそうであるならば，彼女ら/彼らに有害なバイアスの研究は重要である.

第二の批判は，仮に非ヒト動物が何らかの道徳的配慮に値するとしても，非ヒト動物は NLP 技術を 直接利用しないため，NLP 技術は非ヒト動物に害を 及ぼさない，というものである.

しかし，我々は二つの理由から，NLP 技術の種差別的バイアスの研究は重要であると考える.

第一に，我々の言語は我々の思考に影響を与える [9] ため，否定的なバイアスを内在する NLP 技術の 利用は，我々自身がもつ否定的なバイアスを強化す る可能性がある.こうした否定的なバイアスの強化 は特定の社会集団に対する差別を生み出す可能性が ある [10].そのため，NLP 技術に内在する否定的な バイアスは，特定の社会集団，つまり非ヒト動物集団に対して間接的に害を与える可能性がある.

第二に，単語埋め込みに内在するバイアスは我々 の認知や社会構造に内在する社会的バイアスを反映している [5]．したがって単語埋め込みやコーパ スに内在する種差別的バイアスを分析することで，我々の認知や我々の社会がもつ種差別的バイアスの 分析に貢献できると考える.

以上の理由から，我々は，NLP技術に内在する種差別的バイアスの研究は重要であると考える.

## 2 関連研究

## 2.1 Masked Language Models (MLMs)

MLM は，入力文中のマスクされたトークンに入 る確率を予測する言語モデルである．代表的なモ

デルとして BERT [11] がある. BERT は Transformer [12]を用いた大規模言語モデルであり，MLMを目的 としたタスクと Next Sentence Prediction (NSP) の二種類の事前学習タスクを行う．MLM では，入力文を トークンに分割し，その一部をランダムに<MASK> トークンに置換し，<MASK>トークンに入る単語の 予測を目的としてモデルを学習させる. NSP では，二つの文を入力とし，第二文が第一文に続く文であ るか否かの分類を目的としてモデルを学習させる.

また，BERT の改良モデルとして RoBERTa [13] が 提案されている. RoBERTaは，BERT と比較してよ り大きなモデルとコーパスを用いて事前学習を行っ たモデルである。また BERT と異なり，事前学習で は MLMのみを行う。

## 2.2 単語埋め込みに内在する社会的バイ アス

既存研究で, Word2Vec [14] などの単語埋め込 みや，BERT などの文脈化単語埋め込みに社会的バイアスが内在していることが示されている $[3,5,7,15,6]$. 既存研究では, 文脈化単語埋め込み の社会的バイアスの評価はテンプレート文を用いて 行われている $[15,16]$. テンプレート文を用いるこ とで，評価対象の属性以外の属性を入力することな く，その属性の社会的バイアスを評価できる。

Kurita らは BERT などの MLM のバイアス評価方法を提案した [15]. 評価方法は次の通りである。

1. 以下のようなテンプレート文を用意する.

例: “<TARGET> is a $<$ ATTRIBUTE $>$.

2. <TARGET>を<MASK>で置換し, 確率 $p_{t g t}=$ $\mathrm{P}(<\mathrm{MASK}>=<$ TARGET $>\mid$ 文) を計算する.

3. <TARGET>と<ATTRIBUTE>の 両方を <MASK>で 置 換 し, 確率 $p_{\text {prior }}=$ $\mathrm{P}(<\mathrm{MASK}>=<$ TARGET>|文) を計算する。
4. $\log \frac{p_{\text {tgt }}}{p_{\text {prior }}}$ によって関連度を計算する.

Kurita らはこの方法によって，BERT が社会的バイ アスを内在することを示した。

しかし，単語埋め込みに内在する種差別的バイア スを分析した研究は存在しない。本稿では MLMs に内在する種差別的バイアスを調査する。

## 2.3 種差別と言語

種差別 (speciesism) とは「自身の種のメンバーの 利益を支持し，そして他の種のメンバーの利益には 反対する偏見ないし偏った態度」 $[8, \mathrm{p} .41]$ のことで
ある. 利益を持つ主体としての非ヒト動物はヒトと 平等に配慮されるべき存在であり $[8, \mathrm{p} .40]$ ，我々は 非ヒト動物に対する差別的行動をやめるべきであ る.しかし我々は, 肉食や動物実験を代表として，非ヒト動物に差別的である $[8$, ch.2, 3] .

また我々は，言語使用においても非ヒト動物をヒ ト以下の存在またはモノとして扱っている。例えば 「彼女/彼はチ*ンだ」1）という表現は，その人が臆病 であることを示しているが，この表現は，その人を 臆病であると侮辱すると同時に，䳕一般に対しても 侮辱する [17] . 非ヒト動物をモノとして扱う例と しては，非ヒト動物を“it” “something”とよぶこ とや，非ヒト動物を指す関係詞に“that”や"which" を用いることなどがある [18]．以上のように英語 には種差別的表現がみられ，このようなバイアスが MLMs に反映されている可能性がある。したがって 本稿では英語の MLMs を対象とする。

我々の思考は言語に影響を受ける [9] ため，種差別的言語の使用は非ヒト動物に対する種差別の維持 につながると考えられる [18]．したがって，我々は 種差別的言語の使用を避けるべきである2).

## 3 評価方法

本章では BERT と RoBERTa に内在する種差別的 バイアスの評価方法を説明する．本稿では，(1)テ ンプレート文を変えることで<MASK>トークンに 入る単語の確率がどれほど変化するかを調べ，ま た (2)<MASK>トークンを置換したテンプレート文 に対する感情分析を行うことによって，MLMs に内在する種差別的バイアスを評価する. 本稿で使用す るモデルは BERT $\left._{\text {LARGE-uncased }}{ }^{3}\right)$ と RoBERTa $\left._{\text {LARGE }}{ }^{4}\right)$ で ある。また本稿で使用する非ヒト動物の一般名は， North American Meat Institute の統計5) で用いられる 食肉名に対応する “cow”, “cattle”, “pig”, “chicken”,

1）本稿の文が将来的に言語モデルの学習に使われる可能性を 考慮し，有害なバイアスにつながる可能性のある文をアスタ リスク（*）によって隠している．ただし，この文が有害なバ イアスにつながるのは現在の社会が種差別的だからであり，理想的には有害であってはならない [17] .

2）我々は以下の非種差別的言語のガイドラインにしたがっ て本文を記述している . 我々は,非種差別的言語の使用を推奨する.

3）https://huggingface.co/bert-large-uncased [閲覧日: 2021 年 1 月 5 日

4）https://huggingface.co/roberta-large [閲覧日：2021 年 1 月 5 日]

5) https://www.meatinstitute.org/index.php?ht=d/sp/i/ $47465 /$ pid/47465 [閲覧日 $: 2021$ 年 1 月 5 日]
“sheep", “turkey”とする.

## 3.1 確率変化によるバイアス評価

## テンプレート文の基本形を

<PRONOUNS> is a <NAME> <RELATIVE> is $<$ MASK>

とする.ここで<PRONOUNS>には代名詞が， <NAME>には非ヒト動物の一般名が，<RELATIVE> には関係代名詞が入る. 我々は<PRONOUNS>と <RELATIVE>を変えることで，<MASK>に入る単語の予測確率の変化によって<NAME>について のバイアスを評価する。我々は，<PRONOUNS>と <RELATIVE>について，以下の組み合わせを用いる。

・ヒト文
- She is a <NAME> who is <MASK>.

$-H e$ is a $<$ NAME> who is <MASK>.
- モノ文
- This is a <NAME> which is <MASK>.
- That is a <NAME> which is <MASK>.
- It is a $<$ NAME> which is <MASK>.
- This is a <NAME> that is <MASK>.
- That is a $<$ NAME $>$ that is $<$ MASK>.

- It is a $<$ NAME $>$ that is <MASK>.

ヒト文では一般に人間に使われる“she”, “he”, “who” を用い，モノ文では一般にモノに使われる“this”， “that”，“it”，“which”を用いる。モノ文での代名詞は 三人称しかないため，ヒト文でも三人称の “she” と “he”のみを用いた。

バイアスを以下の手順で評価する。まずヒト文と モノ文のそれぞれで，<MASK>に入る確率の平均を 各単語ごとに計算する。次に，ヒト文とモノ文での 平均確率を各単語ごとの変化率を計算し，<NAME> に対する単語の関連度を評価する。ここで確率 A か ら確率 Bへの変化率は $\frac{B-A}{A}$ とする.

## 3.2 感情分析によるバイアス評価

本稿では Google Cloud sentiment model ${ }^{6)}$ を用いて， <MASK>トークンを置換した文の感情分析を行うこ とでバイアスを評価する。我々は Hutchinson ら [16] にしたがって，以下の手順でバイアス評価を行う。

1. テンプレート文 “A <NAME> is <MASK>.”の <NAME>を非ヒト動物の一般名に置換する.

6) https://cloud.google.com/natural-language/docs/ reference/rest/v1beta2/documents/analyzeSentiment [閲覧日：2021 年 1 月 5 日]表 1. RoBERTa において，モノ文からヒト文に変え て確率が下がる単語を，変化率順に 15 個示す. これらの単語はモノ文で偶然以上の確率で予測された単語である。

2. 置換した文のくMASK>に入る単語を MLM を用 いて予測する。

3. <MASK>を，<MASK>に入る確率が高い上位 $\mathrm{N}$ 個（ $\mathrm{N}=10 ）$ 単語に置換し，かつ<NAME>を “person”に置換した文 (“A person is <MASK に 入る単語>.”) に対して感情分析を行う.

4. 置換された文が否定的な感情をもつと予測され た頻度を計算する。

ステップ 3 において，感情分析時に非ヒト動物の名前を “person” に置換することで，感情分析における 非ヒト動物の名前の影響をなくすことができる。

## 4 実験結果

## 4.1 確率変化によるバイアス評価

RoBERTa での実験結果を表 1,2 に示す. BERT で の実験結果は付録 A に載せる．表 1 はモノ文からヒ ト文に変えて確率が下がる単語を，表 2 はヒト文か らモノ文に変えて確率が下がる単語を示している。

表 1 から，モノ文からヒト文に変えて<MASK> に入る確率が下がる単語には，“dried”（乾燥され た)，“processed”（処理された），“peeled”（皮を剥が れた)，“slaughtered”（屠殺された）など，食べ物と
表 2. RoBERTa において，ヒト文からモノ文に変え て確率が下がる単語を，変化率順に 15 個示す。 これらの単語はヒト文で偶然以上の確率で予測された単語である.

して扱われていることや食肉処理の工程を示す単語 が多いことがわかった.

一方，表 2 から，ヒ卜文からモノ文に変えて <MASK>に入る確率が下がる単語には, “Married" （結婚した), “Lesbian” (レズビアン), “divorced” (離婚した), “Transgender” (トランスジェンダー) など, セクシャリティや結婚に関する単語が多いことがわ かった. またその他の単語も '-er’’ ‘-ist’ などを含 み，人間の職業を表す単語が多いことがわかった。

図 1. くMASK>トークンを置換した文が否定的な感情をもつと予測された割合.

## 4.2 感情分析によるバイアス評価

次に Google Cloud sentiment model を用いた感情分析によるバイアス評価の結果を図 1 に示す. 図 1 か ら，BERT と RoBERTaが提示した文は半分以上の割合で否定的な感情をもつと予測された。また，提示 された文が肯定的な感情をもつと予測されることは ほぼなく（全 60 文中，BERT で 7 文，RoBERTa で 5 文)，その他の文は感情值が 0 であり，中立的であっ た.したがって，これらの言語モデルは非ヒト動物 に対して否定的な感情語を関連付けている。また “chicken” と “turkey” 以外で，RoBERTa は BERT より 否定的な感情文を提示した.この結果は，既存研究 $[6,19]$ の結果と同様に, RoBERTa は BERT に比べて より強いバイアスをもっていることを示唆する.

## 5 考察

言語モデルが我々の言語使用を反映しているなら ば，表 1,2 で示された結果は，非ヒト動物をモノの ように扱う場合とヒトのように扱う場合とで我々の 記述の仕方が異なることを示唆する．特に表 1 の結果は，我々が非ヒト動物をモノのように記述する場合には，彼女ら/彼らを食べ物のように扱うが，一方 で彼女ら/彼らをヒトのように記述する場合にはそ うではないことを示唆すると考えられる。これらの 結果は，種差別的言語の使用による非ヒト動物に対 する種差別の維持 [18]，および言語が我々の思考に 影響を与えること [9]を支持する。

また図 1 より，言語モデルが非ヒト動物に対して 否定的な感情を関連付けていることがわかった。こ のような言語モデルの動作は非ヒト動物に対する有害なステレオタイプ化につながると考えられる。

## 6 まとめ

本稿では事前学習済みの言語モデルに内在する非 ヒト動物に対する種差別的バイアスの分析を行っ た.その結果，非ヒト動物をモノのように記述する と彼女ら/彼らを食べ物に関連づけることがわかっ た. また，言語モデルは非ヒト動物に対して否定的 な感情を関連付けていることがわかった。このよう な言語モデルの動作は非ヒト動物に対する有害なス テレオタイプ化につながると考えられる。

今後の課題として,，他の NLP 技術やコーパスに 含まれる種差別的バイアスの分析を行う。また言語 モデルの種差別的バイアスの緩和を試みる。

## 参考文献

[1] Tony Sun, Andrew Gaut, Shirlyn Tang, Yuxin Huang, Mai ElSherief, Jieyu Zhao, Diba Mirza, Elizabeth Belding, Kai-Wei Chang, and William Yang Wang. Mitigating gender bias in natural language processing: Literature review. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 1630-1640, Florence, Italy, July 2019. Association for Computational Linguistics.

[2] Su Lin Blodgett, Solon Barocas, Hal Daumé III, and Hanna Wallach. Language (technology) is power: A critical survey of "bias" in NLP. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 5454-5476, Online, July 2020. Association for Computational Linguistics.

[3] Tolga Bolukbasi, Kai-Wei Chang, James Zou, Venkatesh Saligrama, and Adam Kalai. Man is to computer programmer as woman is to homemaker? debiasing word embeddings. Curran Associates Inc., 2016.

[4] Jieyu Zhao, Tianlu Wang, Mark Yatskar, Vicente Ordonez, and Kai-Wei Chang. Gender bias in coreference resolution: Evaluation and debiasing methods. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers), pp. 15-20, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[5] Aylin Caliskan, Joanna J Bryson, and Arvind Narayanan. Semantics derived automatically from language corpora contain human-like biases. Science, Vol. 356, No. 6334, pp. 183-186, 2017.

[6] Tao Li, Daniel Khashabi, Tushar Khot, Ashish Sabharwal, and Vivek Srikumar. UNQOVERing stereotyping biases via underspecified questions. In Findings of the Association for Computational Linguistics: EMNLP 2020, pp. 3475-3489, Online, November 2020. Association for Computational Linguistics.

[7] Thomas Manzini, Lim Yao Chong, Alan W Black, and Yulia Tsvetkov. Black is to criminal as caucasian is to police: Detecting and removing multiclass bias in word embeddings. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 615-621, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[8] Peter Singer. Animal Liberation. Vintage Digital, 2015, （戸田清訳『動物の解放 改訂版』, 人文書院, 2011）.

[9] Lera Boroditsky. How language shapes the way we think. Open Educational Resources Collection, 2018.

[10] Michela Menegatti and Monica Rubini. Gender bias and sexism in language. In Oxford Research Encyclopedia of Communication. 2017.

[11] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the
Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[12] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in neural information processing systems, pp. 5998-6008, 2017.

[13] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach. arXiv preprint arXiv:1907.11692, 2019.

[14] Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg Corrado, and Jeffrey Dean. Distributed representations of words and phrases and their compositionality. In Proceedings of the 26th International Conference on Neural Information Processing Systems - Volume 2, NIPS' 13, p. 3111-3119, Red Hook, NY, USA, 2013. Curran Associates Inc.

[15] Keita Kurita, Nidhi Vyas, Ayush Pareek, Alan W Black, and Yulia Tsvetkov. Measuring bias in contextualized word representations. In Proceedings of the First Workshop on Gender Bias in Natural Language Processing, pp. 166172, Florence, Italy, August 2019. Association for Computational Linguistics.

[16] Ben Hutchinson, Vinodkumar Prabhakaran, Emily Denton, Kellie Webster, Yu Zhong, and Stephen Denuyl. Social biases in NLP models as barriers for persons with disabilities. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 54915501, Online, July 2020. Association for Computational Linguistics.

[17] Joan Dunayer. Sexist words, speciesist roots. Animals and women: Feminist theoretical explorations, pp. 11-31, 1995.

[18] Joan Dunayer. English and speciesism. English Today, Vol. 19, No. 1, p. 61-62, 2003.

[19] Nikita Nangia, Clara Vania, Rasika Bhalerao, and Samuel R. Bowman. CrowS-pairs: A challenge dataset for measuring social biases in masked language models. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 19531967, Online, November 2020. Association for Computational Linguistics.

## A 付録

表 3. BERT において，モノ文からヒト文に変えて確率が下がる単語を，変化率順に 15 個示す。 れらの単語はモノ文で偶然以上の確率で予測 された単語である。

表 4. BERT において，ヒト文からモノ文に変えて確率が下がる単語を，変化率順に 15 個示す。こ れらの単語はヒト文で偶然以上の確率で予測 された単語である.