# Masked Language Model による系列確率に基づく文法誤り検出

土肥康輔 須藤克仁 中村哲
奈良先端科学技術大学院大学
\{doi.kosuke.de8, sudoh, s-nakamura\}@is.naist.jp

## 概要

言語モデルに基づく文法誤り訂正手法は，少量の ラベル付きデータしか必要としないという長所が あるが，既存手法では訂正対象の誤り種類が限られ ているという課題があった. 本研究では，対象の誤 り種類を拡大する第一歩として，言語モデルにより 算出される系列確率に基づく文法誤り検出手法を 提案する. 文法的に正しい文での各語の確率を計算 して辞書に格納し，推論時には，誤り検出対象の文 での確率と辞書での確率を比較することで，その 語が誤りであるかを判別する．実験の結果， $F_{0.5}$ ス コアは既存モデルに及ばなかったものの, Recall が Precision より高くなり，今後適切な制約を加えるこ とで性能を向上させられる可能性が示された.

## 1 はじめに

文法誤り検出 (GED) は，テキスト中の誤りを自動的に検出するタスクである．Bi-LSTM ベースのモデ ルが主流であったが $[1,2,3,4,5]$, 近年では事前学習済み言語モデルを用いる手法も提案されている $[6,7]$. これらの研究は GED を系列ラベリングタス クとして解いているが，利用可能なラベル付きデー タは多くなく，疑似データの利用も行われている。

少量のラベル付きデータしか必要としない手法 に，言語モデルに基づくアプローチがある. 文法誤 り訂正 (GEC) タスクにおいて，言語モデルの利用は 主要なアプローチの 1 つだったが [8]，機械翻訳に 基づく手法の台頭によりあまり見られなくなって いった ${ }^{1)}$. Bryant ら [9] や Alikaniotis ら [10] の研究 により，言語モデルに基づく手法が再度注目を浴び たが，[9][10] の手法では，訂正できる誤りの種類が 限定されていることが課題となっていた. そこで本研究では，言語モデルに基づくGEC 手法で扱える 誤り種類を拡大する第一歩として，事前学習済み言語モデルによる系列確率に基づく GED を提案する。

1）ただし，GECシステムの一部分としては使い続けられた。実験では，提案手法が評価セット中のすべての 誤り種類を検出対象とできていることが確認され た.しかし，性能では既存モデルに及ばず，特に Precision に課題があった。一方で，提案手法は比較的高い Recall を達成しており，今後適切な制約を加 えることで性能を向上させられる可能性がある.

## 2 関連研究

ニューラルネットワーク手法を初めて GED に用 いたのは Rei ら [1] である. CNN，RNN，Bi-LSTM を比較した結果，Bi-LSTM が最も良い性能を示し たと報告されている．以降は，[1]のモデルを改良 する形で研究が進められ，[2] では文字レベルの情報を追加で用い，[3] ではラベルを予測する前後の トークンを言語モデルで同時に予測することで，性能の向上が図られた. [5] は文脈化された単語分散表現を追加の特徴量として用いることで，さらに性能を向上させた．また，疑似データを用いることで 性能が向上することも報告されている [4].

Bi-LSTM に基づくこれらの手法に対して，Kaneko ら [6] は事前学習済み言語モデルを用いることを提案した。事前学習済み言語モデルをファインチュー ニングして用いる場合，最終層の出力のみを予測に 用いるのが一般的だが，[6] は BERT [11] の最終層 だけでなく中間層の出力も利用するモデルを構築し た. Yuan ら [7] は事前学習手法が GED タスクに類似している ELECTRA [12] を用いるほうが，BERT を含む他の事前学習済み言語モデルを用いるよりも 高い性能となることを示した．さらに，誤り箇所の 誤りカテゴリも予測する多クラス GEDを提案し， GED の出力を GEC タスクの追加入力として用いる ことで，GEC の性能が向上することを示した.

言語モデルに基づくアプローチでは，低い確率の 系列には誤りが含まれていると考える。[9] は母語話者コーパスから構築した N-gram 言語モデルを用 いることで，少量の誤り情報付きデータしか必要と しない GEC 手法を提案した. [10] は BERT 等の最
新のニューラル言語モデルを用いることで，同手法 の性能を向上させた. しかし， [9][10] のモデルの訂正対象は，存在しない語，形態（例 : 名詞の数, 動詞の時制), 冠詞，前置詞に限定されており，誤りの $20 \%$ 程度を占める不足誤りを訂正できないという問題点があった.

## 3 提案手法

本研究では，訓練データでの各トークンの確率を 算出し，トークンを見出し，確率を値とする確率辞書を作成する．推論時には，誤り検出対象の文での 確率と辞書での確率を比較することで，そのトーク ンが誤りであるかを判別する．以下の節で，確率辞書作成と推論の手法について説明する。

## 3.1 確率辞書作成

確率辞書を作成するための元データには，母語話者コーパス，または誤り訂正済みの学習者コーパス を用いる. 辞書に保存されている確率値が推論時の 正誤判断基準となるため，文法的に正しい文を用 いて辞書を作成する. 本研究では，トークンの確率算出に BERT を用いる。 入力文中の各トークン を [MASK] し，元のトークンが返される確率を計算 する手法 $[10,13]$ によってトークンの確率を得る.訓練データから 1 文ごとにトークンの確率を算出 し, そのトークンを見出し, 確率を值として辞書に 登録していく．訓練データの文は BERT のトークナ イザーで分割されるため，見出しはサブワードとな り，訓練データで複数回登場するサブワード（見出 し）には複数の確率（値）が登録される。訓練デー タ中での頻度が $N$ 以上であるサブワードのみを確率辞書に残すというパラメータ min_freqを設定し，本研究では $m i n \_f r e q \in\{1,5,10\}$ とする.

## 3.2 推論

推論時には，確率辞書作成時と同じ手法でトーク ンごとの確率を算出し, 推論対象の文中での確率と 辞書の確率を比較する（図 1). 確率辞書には，1つ の見出しに対して複数の值が登録されているため,基準となる値 $\left(s t d_{t o k e n}\right)$ を決める必要がある. 本研究では，登録されている値の平均値，または中央値 とする。また，確率辞書の見出しにないトークンが 推論対象の文に現れた場合の基準値 $\left(s t d_{a l l}\right)$ は，全見出しの値の平均値，または中央値とする.

しかし, 元トークンが文法的に正しい場合でも，

[MASK] can did it ! I [MASK] did it !

図 1 提案手法での推論の例

言語モデルにとってより「自然な」候補が存在する 場合，言語モデルが元トークンに与える確率は相対的に低いものとなってしまう。 そこで [10] に従い，元トークンが文法的に正しいというバイアスを加 えるパラメータ $\tau$ を設定する。あるトークン $T$ の 推論対象の文での確率を $P\left(T_{s}\right)$, 確率辞書での基準値を $P\left(T_{d}\right)$ とすると，そのトークンに付与される label $\left(T_{s}\right)$ は，以下のようになる.

$
\operatorname{label}\left(T_{s}\right)= \begin{cases}\mathrm{i} & \text { if } \log P\left(T_{s}\right)+\log \tau<\log P\left(T_{d}\right) \\ \mathrm{c} & \text { otherwise }\end{cases}
$

“i”は誤りあり，“c”は正しいと判断されたことを表 す. 本研究では, $\tau \in\{0,2,4,6,8,10,15,20\}$ とする.

上記のように label $\left(T_{s}\right)$ を得ると, ラベルは BERT のトークナイザーで分割されたサブワード単位で付与されるため，元のトークン列との対応を取る必要 がある. 両者の対応付けは以下のアルゴリズムで行 う．サブワードと元トークンを要素とするリストを 作成し，リストから要素を 1 つずつ読み込む。文字列が一致した場合は, label $\left(T_{s}\right)$ を元トークンに対応付け，両リストから次の要素を 1 つずつ読み込む.一致しない場合は，2つの文字列長を比較し，短い ほうの文字列のリストから次の要素を読み込み，そ の文字列の後ろに結合する. この際，サブワード分割を表す “\#\#” は削除したうえで読み込む。これを， 2 つ文字列が一致するまで続ける。一致するまで に使ったサブワードに対応する label $\left(T_{s}\right)$ を確認し，全てが“c”であれば元トークンに“c”を対応付け， そうでなければ“i”を対応付ける。

## 4 実験

実験では，確率辞書作成方法の違いによる誤り検出性能の差を検証する．辞書作成に用いるデータの 種類（母語話者 vs. 学習者）と量, 辞書に登録する 語の訓練データ中での最低頻度，基準値の決め方の 影響を評価する．また， $\tau$ の違いによる誤り検出性能の差を検証する.

## 4.1 データセット

確率辞書作成のための母語話者コーパスには the One Billion Word Benchmark (1B) [14] を用い，学習者 コーパスのトークン数と同程度になるようにサン プリングして使用した. また，データ量の影響を検証するために，約 1,000 万トークンサンプリングし たデータを使用した．学習者コーパスは， W\&I+L train [15] の 80\%，FCE train [16]，NUCLE [17] を用い た. 確率辞書作成に用いたデータの詳細は付録 A に 示す. 開発データには, W\&I+L train の残りの $20 \%$, FCE dev，CoNLL-2013 [18] を用い，評価データには W\&I+L dev，FCE test，CoNLL-2014 [8]を用いた.

## 4.2 実験設定

文中の各トークンの確率算出には, [13] の実装2) を用いた. BERT は HuggingFace 社が公開している bert-base-casedを用い, 訓練データの最大入力長 は 250 トークンとした. 確率辞書の作成はデータ セットごと（付録 A の表の行ごと）に行った. 確率辞書作成に先立ち，URLを含む文，メールアドレス を含む文， 1 文に数字のみから成るトークンが 30 以上含まれる文を訓練データから取り除いた。

また，アポストロフィーを含む短縮形のトーク ン分割方法の違いのため, データをそのまま BERT のトークナイザーに入力すると, 分割結果に影響 があった. そのため，1B は WMT113)で配布され た detokenizer.perlを用いてデトークナイズした. それ以外のデータは, spaCy が例外規則でトークン 分割している短縮形 4$)$ のみをデトークナイズした.

モデルの性能は，ERRANT [19]により算出される Precision, Recall， $F_{0.5}$ スコアにより評価した.

## 4.3 実験結果

開発セットでの結果に基づき, min_freq $=1$, $s t d_{\text {token }}$ と $s t d_{\text {all }}$ の組み合わせ $\in\{\{$ mean, mean $\}$, \{median, median \}\}, $\tau \in\{0,8,20\}$, 確率辞書 $\in\{$ FCE, Learner all, 1B_510K, 1B_2.1M, 1B_10M \}について, 評価セットで評価を行った。

表 1 は，FCE train で確率辞書を作成したときに，基準値の取り方と $\tau$ を変化させた結果である ${ }^{5)}$.

表 1 確率辞書の基準値， $\tau$ による比較

Precision は $\tau=0$ のときに最も低く， $\tau$ が大きくなる につれて上昇した. Recall はその反対で， $\tau$ が大き くなるにつれて低下した。

$\tau$ が同じ値の場合, $F_{0.5}$ スコアは $\{$ mean, mean $\}$ の ほうが高くなったが，これは，基準値を mean と した場合 $\left(P_{\text {avg }}\right)$ と median とした場合 $\left(P_{m d n}\right)$ に, $P_{\text {avg }}<P_{m d n}$ となることが多いためと考えられる. FCE で作成した確率辞書において， $P_{\text {avg }}$ の平均値は -4.16であったのに対して,$P_{m d n}$ の平均值は -3.95 であった。また，頻度 3 以上の見出し 3,787 語にお いて, 3,047 語が $P_{\text {avg }}<P_{m d n}$ となっていた. $P_{m d n}$ のほうが “i”ラベルが多くつくが，Precision が低い ために $F_{0.5}$ スコアが悪化したと考えられる.

$\tau$ の值を大きくすると，誤り検出対象の文のすべ ての語において，ラベル判断に用いられる値が $\tau$ だ け一律に大きくなる（式 1).この操作は, 確率辞書 の基準値を一律に下げる操作と同じである. 多くの 語で $P_{\text {avg }}<P_{m d n}$ となっている状況では，これら 2 つのハイパーパラメータは，実質同じものを操作し ていたことになる.兀 のほうが細かい調整が可能な こと，基準値を\{median, median \}とすると，初期値と して高い Recall からスタートできることから，今後 は $s t d_{\text {token }}$ と $s t d_{\text {all }}$ の組み合わせは\{median, median \} で固定し， $\tau$ のみをハイパーパラメータとして保持 するほうがよいと考えられる。

次に確率辞書間で比較をすると，辞書の作成に利用するデータの種類，量はスコアに影響を与えな いことが明らかになった。例えば，基準值を\{mean， mean \}, $\tau=20$ としたとき, W\&I+L dev での $F_{0.5}$ ス コアは，確率辞書の設定によらず 36 程度であった。 つまり，確率辞書作成に用いるデータは必ずしも学習者コーパスである必要はなく, 言語モデルと確率辞書を作成するための母語話者コーパスが十分に あれば，提案手法を用いて GEDを行うことが可能 となることを示唆している. min_freq $=1$ と設定し ているため，データ量を増やすと確率辞書の見出し 数が増加することが期待されるが，コーパスのトー
表 2 既存モデルとの比較

クン数が増加しても，異なり語数は線形には増加し ない。また，辞書に入る異なり語数が増加しても，評価セットでそれらの語が出てくるとは限らず，カ バー率は劇的には上昇しない。これらの要因によ り，本手法ではデータ量によるスコア差が出なかっ たものと考えられる。

表 2 は，確率辞書を FCE，または1B_510K で作成し，基準値を\{median, median\}， $\tau=20$ としたとき のスコアを，既存モデルと比較した結果を示して いる. [7] は, ELECTRAを FCE データでファイン チューニングすることで，世界最高性能を達成した モデル，[1] は，追加の特徵量を用いていないナイー ブな LSTM ゙ースのモデルである. [7]に対しては， $F_{0.5}$ スコアで 30 ポイント程度のビハインドがある が，[1]に対しては，同程度か上回るスコアを達成し ている。誤り情報付きデータを確率辞書作成に用い ていない1B_510K においても，誤り情報付きデー タを用いている [1] のモデルに迫るスコアを達成し ていることは特筆すべき点である.

提案モデルは, 既存モデルと異なり Recall が Precisionより高い傾向となった. Recall は [7] と同程度のスコアを達成しているが，Precision には大 きな課題がある. 実験結果から， $\tau$ は Precision と Recall の調整にある程度機能していたことがうかが えるが，同時に $\tau$ の値のみでは不十分であったこと も示唆している。 $\tau$ を昇させたときに Recall が急激に低下する一方で，Precision の上昇は比較的緩や かなものとなっていた. 先に述べたように， $\tau$ は誤 り検出対象の文のすべての語において，ラベル判断 に用いられる値を一律で増加させる。一律に変化さ せるのではなく，そのトークンが使われている文脈 に応じて制約を課すしくみが必要と考えられる。

## 4.3.1 誤り種類ごとの検出性能

本手法の動機のひとつに，言語モデルベースのモ デルで扱える誤り種類の拡大があった. 本節では, FCE train で確率辞書を作成し，基準值\{mean, mean \} と設定したモデルの FCE test での誤り検出結果につ いて，誤りタイプ，カテゴリごとの結果を述べる.
ERRANT の出力から, FCE test に存在する 15 種類 すべての誤りカテゴリが検出対象となっていたこと が確認できた ${ }^{6)}$.また，提案モデルは不足誤りの箇所を検出することができていた．以下に例を示す.

Gold: Apart from that it takes long time to go somewhere . $\tau=0$ : Apart from that it takes long time to go somewhere. $\tau=8$ : Apart from that it takes long time to go somewhere .

下線は，その語に誤りラベルがついていることを表 している．冠詞の不足誤りを提案モデルが捉える ことができているのがわかる。一方で，上記の例 の $\tau=0$ のように，提案モデルは偽陽性の数が多く なっている. $\tau=0,8,20$ で Precision が一貫して下位 5 位以内になる誤りカテゴリは, 短縮形, 名詞, 代名詞であった. しかし，個別の例を確認していくと， GED データのラベル付け方法が原因で，ERRANT の誤りカテゴリの判別がうまくいっていない可能性 があることがわかった. GED データでは，不足誤 りはそのトークンが存在しないため，直後のトーク ンに誤りラベルを付与することが一般的である。 そ のため，ERRANT が名詞誤りや代名詞の誤りと判別 していても，実際は別の誤りカテゴリの不足誤りで ある可能性がある．GEDを誤りカテゴリごとに評価するには，不足誤りを正しいカテゴリに対応付け る必要があるが, 現状のモデル出力では, 不足, 置換，余剩のいずれの誤りなのかはわからない. Yuan ら [7] の系列ラベリングベースのモデルのように，誤りタイプまで予測する GED モデルも出てきてい るが，言語モデルベースのモデルでそれが可能なの か検討することは今後の課題である。

## 5 おわりに

本研究では，BERTにより算出される系列確率を 用いることで，少量の誤り情報付きデータしか必要 としない GED 手法を提案した. 既存の言語モデル ベースの GEC モデルが扱えていなかった誤り種類 について，提案手法は検出対象とすることができて いた。しかし，Recall は高いものの，Precision が低 いという課題があった。また，現在の確率辞書で は，同じ表層系で異なる品詞は区別できていない.文脈情報を利用した制約の導入と併せて検討し， Recall の低下を抑えながら Precision を向上させるこ とが今後の課題である.

6）検出性能の良し悪しは考慮していない.

## 謝辞

本研究の一部は JSPS 科研費 JP21H05054 の助成を

受けたものである.

## 参考文献

[1] Marek Rei and Helen Yannakoudakis. Compositional sequence labeling models for error detection in learner writing. In Proc. of ACL, pp. 1181-1191, 2016.

[2] Marek Rei, Gamal Crichton, and Sampo Pyysalo. Attending to characters in neural sequence labeling models. In Proc. of COLING, pp. 309-318, 2016.

[3] Marek Rei. Semi-supervised multitask learning for sequence labeling. In Proc. of ACL, pp. 2121-2130, 2017.

[4] Sudhanshu Kasewa, Pontus Stenetorp, and Sebastian Riedel. Wronging a right: Generating better errors to improve grammatical error detection. In Proc. of EMNLP, pp. 4977-4983, 2018.

[5] Samuel Bell, Helen Yannakoudakis, and Marek Rei. Context is key: Grammatical error detection with contextual word representations. In Proc. of BEA, pp. 103-115, 2019.

[6] Masahiro Kaneko and Mamoru Komachi. Multi-head multi-layer attention to deep language representations for grammatical error detection. Computacion y Sistemas, Vol. 23, No. 3, pp. 883-891, 2019.

[7] Zheng Yuan, Shiva Taslimipoor, Christopher Davis, and Christopher Bryant. Multi-class grammatical error detection for correction: A tale of two systems. In Proc. of EMNLP, pp. 8722-8736, 2021.

[8] Hwee Tou Ng, Siew Mei Wu, Ted Briscoe, Christian Hadiwinoto, Raymond Hendy Susanto, and Christopher Bryant. The CoNLL-2014 shared task on grammatical error correction. In Proc. of CoNLL: Shared Task, pp. 1-14, 2014.

[9] Christopher Bryant and Ted Briscoe. Language model based grammatical error correction without annotated training data. In Proc. of BEA, pp. 247-253, 2018.

[10] Dimitris Alikaniotis and Vipul Raheja. The unreasonable effectiveness of transformer language models in grammatical error correction. In Proc. of BEA, pp. 127-133, 2019.

[11] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proc. of NAACL, pp. 4171-4186, 2019.

[12] Kevin Clark, Minh-Thang Luong, Quoc V. Le, and Christopher D. Manning. ELECTRA: Pre-training text encoders as discriminators rather than generators. In ICLR, 2020.

[13] Julian Salazar, Davis Liang, Toan Q. Nguyen, and Katrin Kirchhoff. Masked language model scoring. In Proc. of ACL, pp. 2699-2712, 2020.

[14] Ciprian Chelba, Tomas Mikolov, Mike Schuster, Qi Ge, Thorsten Brants, Phillipp Koehn, and Tony Robinson. One billion word benchmark for measuring progress in statistical language modeling. In Proc. of Interspeech, pp. 2635-2639, 2014.

[15] Christopher Bryant, Mariano Felice, Øistein E. Andersen, and Ted Briscoe. The BEA-2019 shared task on grammatical error correction. In Proc. of BEA, pp. 52-75, 2019.
[16] Helen Yannakoudakis, Ted Briscoe, and Ben Medlock. A new dataset and method for automatically grading ESOL texts. In Proc. of ACL, pp. 180-189, 2011.

[17] Daniel Dahlmeier, Hwee Tou Ng, and Siew Mei Wu. Building a large annotated corpus of learner English: The NUS corpus of learner English. In Proc. of BEA, pp. 22-31, 2013.

[18] Hwee Tou Ng, Siew Mei Wu, Yuanbin Wu, Christian Hadiwinoto, and Joel Tetreault. The CoNLL-2013 shared task on grammatical error correction. In Proc. of CoNLL: Shared Task, pp. 1-12, 2013.

[19] Christopher Bryant, Mariano Felice, and Ted Briscoe. Automatic annotation and evaluation of error types for grammatical error correction. In Proc. of ACL, pp. 793-805, 2017.

## A 確率辞書作成に用いたデータセット

## B 評価セットでのスコア

## C 実際の誤り種類と ERRANT の判別が一致していない例

以下の例で，提案モデル（確率辞書 $=\mathrm{FCE}$ ，基準値 $=\{$ mean, mean $\} ， \tau=0$ ）の検出結果は，正解と一致している．GED データを元に ERRANT で作成した M2 ファイルでは，“information” は名詞誤りと分類されていたが，GEC データで確認 すると，実際は形容詞の不足誤りであった。

Gold: If you need any information, please let me know .

Model: If you need any information, please let me know .

Corrected: If you need any more information, please let me know .


# 新型コロナウイルス感染症関連ツイートのトピックと感情の分析

小島章太郎 $^{1}$ 内山清子 $^{1}$
1 湘南工科大学 工学部 コンピュータ応用学科
18A6050@sit.shonan-it.ac.jp uchiyama@sc.shonan-it.ac.jp

## 概要

本研究ではソーシャルネットワーキングサービス

「Twitter」の投稿を分析し、新型コロナウイルス感染症に関するトピックと感情の分析を目的とする。 その上で、日本語のツイートデータを対象とした、感情値の推移の分析とトピックモデルによる単語の 分析とトピック割合推移の調査、深層学習による感情の分類モデルの構築を実施した。

## 1. はじめに

近年ではソーシャルネットワーキングサービス (SNS) に様々な文章が投稿されている。新型コロナ ウイルス感染症 (COVID-19) は世界的に流行が拡大 しており、世間に継続的な影響が発生している感染症である。COVID-19 に関する SNS 上の投稿を分析 することで感染症に対する世間の意識変化や流行傾向などを分析できるのではないかと考えた。

本研究では SNS サービス「Twitter」の投稿を分析 することで、COVID-19 に関する世間の感情や興味 の変化について分析することを目標とした。感情分析については COVID-19 流行下において、日本の Twitterに対して 1 年以上にわたり適用している例が 見られなかったことから、より大規模な感情分析を 実現できるのではないかと考えた。

## 2. 関連研究

本研究では SNS 上の投稿の分析を行うため、イン ターネット上の投稿のトピック分析に関する先行研究を 2.1 節に記載する。また、COVID-19 に関する Twitter の分析の先行研究について 2.2 節に記載する。

## 2.1. インターネット投稿のトピック分析

時系列に沿って変化するインターネット上の投稿 に対する分析として、佐藤らはレビューサイトの分析を行い、月ごとなど一定期間の TF-IDF 值を計算 して季節を表す特徵語の抽出を実現している [1]。大規模なイベントに対するトピックの分析につい て、北田らは東日本大震災を題材にトピックモデル の一種である LDAを用いて分析を行っている [2]。

ツイートに対する感情分析としては中村による 「感情表現辞典」 [3]をもとに 10 軸に分類する手法 が一般的となっている。山本らはこれを Twitter の投稿に適用し、感情分析を行っている [4]。同研究で は Twitter 特有の単語表現や顔文字等の表現が感情表現辞典には含まれていないこと、ツイートという 短文に対して 10 軸の感情軸を適用するのは過多で あり、現実的ではないとされている。

## 2. 2. COVID-19 に関する Twitter 分析

Lisa Singh らは 2020 年 1 月から 3 月にかけて世界各国の Twitter 上の COVID-19に関する投稿を分析し ている [5]。一部の国については COVID-19 の症例件数とツイートの件数に一定の相関関係が見られた ことから、SNS 上の投稿を分析することで感染拡大状況の推定・予測ができる可能性が示されている。

井原らは 2020 年 1 年間の日本語のツイートの分析 を行い、感染拡大状況とツイート数の関係の精查、感情単語の時系列変化の検証等を行っている [6]。

機械学習を用いて COVID-19 関連ツイートの感情 を分析する試みは英語圏では積極的に行われており Rustam らはツイートのネガティブ・ポジティブの二值分類を複数の機械学習モデルを用いて行い、精度 を比較している [7]。

本研究では、新たに 2020 年 1 月から 2021 年 6 月 にかけての日本語のツイートデータを用いて検証を 行うことで長期間の分析を実現する。合わせてトピ ック分析を実施し、単語のトピック別の分類とトピ ックの出現推移の調査を実施する。また、先行事例 では深層学習を用いて日本語の COVID-19 関連のツ イートの感情分析を行っている例が見られなかった ため、本研究では新たに日本語の COVID-19 関連ツ イートに対する感情分析モデルの構築と比較を行う。

## 3. 使用データについて

本研究では、Twitter Academic Research APIを用い てツイートの取得を行った。検索キーワードとして 「新型コロナウイルス」を使用し、2020 年 1 月 1 日 から 2021 年 6 月 30 日を対象に、キーワードが含ま れるツイート全件の取得を行った。取得したツイー 卜は合計 6,549,683 件となった。このうち、メンショ ン(@ツイート)については分析の対象外としている ため、分析対象の件数は約 620 万件となった。

ツイート本文を処理する際、単語への分割が必要 となるため形態素解析エンジンを用いて分かち書き を実施した。形態素解析エンジンは MeCab [8]を使用し、新語・造語に強みを持つ Neologd 辞書 [9]を システム辞書として用いることで、Twitter 本文の分 かち書きを実現した。解析にあたり、下処理として 英数字の半角への統一、記号の除去、数字の除去等 を行ったほか、Twitter 特有の処理として、エスケー プ記号(\&等)の復元、リンク・@メンション・ハ ッシュタグ記号の除去を実施している。

また、厚生労働省がオープンデータとして公開し ている COVID-19 新規陽性者数の推移データを比較対象として使用している [10]。はじめに、感染者数 の増減をもとに期間分けを定義した。 7 日間平均が 増加し始めてから減少傾向に転じるまでの期間を増加期、減少傾向に入ってから減少が止まるまでの期間を減少期、2 週間以上感染者数が大きく変化しな かった期間を停滞期としている。期間分けの推移と 感染者数の推移の対応を図 3.1 に示す。

図 3.1 期間分けと感染者数の対応

https://developer.twitter.com/en/products/twitter-api/academicresearch次に、ツイート数と感染者数の比較と、単語の出現確率の感染者数との比較を試みた。ツイート数と 感染者数の比較は、直接的な比例関係は見られなか った(図 3.2)。単語ごとの比較については、1 日毎に ツイート本文を結合し 1 つの文書とし、その文書集合に対して TF-IDF 值の計算を行った。

図 3.2 ツイート数と感染者数の関係感染拡大初期と重なる第 1 波増加期については、「ステイホーム」や「ソーシャルディスタンス」、「テイクアウト」などいくつかの単語が感染者数と の相関係数 0.8 以上の正の相関を示していた。第 1 波減少期では、「不要不急の外出」「臨時休業」「外出自肃」などが 0.8 以上の正の相関を示した他、「再開」などの単語が増加傾向となる負の相関を示して いた。第 2 波以降では有意な相関を示す単語は確認 されなかった。

## 4. 提案手法

本研究では、COVID-19 の状況下での Twitter の感情を分析するため、はじめに感情値の推移の分析を 行った。続いてトピックの分析を行い、トピックの 割合の推移について調查を行った。最後に深層学習 を用いて感情分析を実施し、感情の分類モデルの作成を行った。

## 4.1. 日別平均感情値の分析

取得したツイートの本文に対し、感情分析ツール 「MLAsk」 [11]を用いて 10 軸の感情分析を実施し た。MLAsk は入力したテキストの形態素解析を行い、感情辞書と比較することで、感情表現辞典に基づき テキストを「好」「安」「哀」「厭」「怖」「怒」

「恥」「昂」「驚」「喜」の 10 軸に分類することが 可能である。また、単語の感情表現辞典との比較や、記号や顔文字の解析を行うことで、ネガティブ・ポ

ジティブ、覚醒・非覚醒の 2 軸にテキストを分類す ることが可能である。

収集したツイートデータに対し、10 軸の感情分析 を実施した。なお、MLAskでは感情表現辞典を元に 定義された単語群を元に感情の分類を行うため、テ キスト中の単語がいずれも感情表現辞典に記載され ていない場合、無感情という判定となる。今回分析対象とした約 620 万件のツイート本文データのうち、 ML-Ask にて感情が含まれていると判定されたツィ 一トは約 115 万件(約 18.5\%)であった。感情軸別の推移をプロットしたものを図 4.1 に示す。

図 4.1 感情軸別の推移グラフ

感染拡大初期は「怖」という感情が半数以上を占 めていたことが明らかとなった。全体的には 2020 年 2 月以降は「厭」という感情が 3 割 4 割で最多 となっている。

第 1 回緊急事態宣言解除のタイミングや年末には 「喜」という感情が瞬間的に増加するなど、特定の 時点にいくつかの特徴が見られた。また、「恥」「昂」

「好」「怒」などの感情はほぼ 1 割を下回った状態 が続いており、Twitter の投稿ではあまり感情軸とし て確認することができなかった。

## 4. 2. LDA を用いたトピック分析と比較

続いて、トピックモデルの一種である潜在的ディ レクリ配分法(Latent Dirichlet Allocation：LDA)を用 いてトピック分析を行った。LDA では一つの文書に 複数のトピックが存在していることが前提となって いることから、大規模で複数のトピックが混在して いる可能性が高い本研究では適していると考え、 LDA を採用した。

はじめにトピック数の決定を行う必要があるため、分析トピック数を2〜21まで 20 回変化させてトピッ クの分析を行い、指標である Perplexity と Coherence の値の確認を行った(図 4.2)。

図 4.2 LDA トピック数別評価結果の推移

その結果、Perplexity が安定しCoherence の值が最 も高かった 7 が適切なトピック数と判断し、トピッ ク数として採用した。

実際にトピック数を 7 に設定し分類されたトピッ クごとの単語の例を図 4.3 に示す。

図 4.3 LDA トピック分類結果

LDA ではトピック数を設定すれば自動でクラス タリングが行われるものの、その結果については人間が手動で意味付けを推定する必要がある。今回の 推定結果を表 4.1 に示す。

表 4.1 トピック項目の推定結果

各トピックの割合推移を分析した結果、感染拡大初期の 2020 年 1 月ごろは、緊急事態宣言の発令準備等に伴う Topic3:行政の動きに関する言及や、PCR 検査やワクチンなど Topic4:検查・対策手法に関する 言及、マスクなど Topic2:感染予防策などの言及が多数を占めていた。その後、2020 年 4 月頃からは

Topic0:感染者数に関する言及が $25 \%$ 程度を占め最多となっている。次いで Topic6:行政アカウント等か らの発信が多かったものの、第 2 波が到来した 2020 年 7 月 8 月ごろは Topic5:感染者数の報道への言及 が、年末には Topic1:社会的影響に関する言及が一時的に増加していた。なお、実際のトピック割合推移 のグラフについて付録に示している。

## 4. 3. 深層学習を用いた感情分析

MLAsk で解析することができるネガティブ・ポジ ティブの判定を教師データとして、深層学習を用い てツイートの感情属性の予測を行った。MLAsk では ラベル付けを行えなかった「ニュートラル」のツイ 一トに関しては学習対象から除外している。ラベル 付けを行うことができたネガティブ・ポジティブ各属性のツイート 2 万件ずつ、合計 4 万件のツイート を使用し、学習データと検証データを $7: 3$ に分割し て検証を行った。予測に際しては日本語処理に対応 した言語処理モデルの BERT など複数のモデルの比較を行い、精度の差を検証した。学習はすべて Tensorflow 2.5.0i豆用いて行った。実際に検証を行っ た汎用モデルとその正解率の一覧を表 4.2 に、BERT モデルとその正解率の一覧を表 4.3 に示す。Long Short Term Memory (LSTM)、Simple Recurrent Neural Network (RNN)、Global Average Pooling 1D について は Tensorflow 標準のモデルを使用し、BERT につい ては東北大学[12]、京都大学[13]、ホットリンク社[14] が配布しているモデルを使用し、ファインチューニ ングを実施した。

表 4.2 感情分析タスクのモデルと正解率一覧

表 4.3 検証を行った BERT モデルと正解率一覧

 & $\mathbf{3}$ & $\mathbf{9 7 . 6 4 \%}$ \\

Tensorflow 標準の汎用モデルの中では LSTM が最 も高い正解率を示し、続いて SimpleRNN、Global Average Pooling 1Dの順となった。

BERT の中で最も正解率が高かったのはホットリ ンク社のSNS コーパスを用いた BERT モデルで、唯一 97\%台となっている。その後に京都大のモデル、東北大のモデルが続いている。全体的に汎用モデル と比較し、BERT は高い正解率を示すことができた。

## 5. 考察

本研究では、ツイートデータに対する感情分析と トピック分析をもとに COVID-19 に関するツイート の分析を実施した。

日別感情值の推移については、緊急事態宣言の発令等に関する時期に感情の変化を見ることができた。一部の感情軸についてはツイートデータ上ではあま り確認できなかったことから、ツイートに対する感情軸については最適化の余地があると考えられる。

トピック分析については、LDAを用いることであ る程度適切なトピック分析を実施することができた と考えられる。2020 年 4 月頃から現在に至るまで、感染者数への言及が最も多くトピックとして現れて おり、感染者数が感染症の一つの指標として世間の 関心が高い状態が続いていると考えられる。

日本語ツイートに対寸る深層学習を用いた感情分析についてはSNS コーパスによるBERT モデルがも っとも高い正解率を示した。同 SNS コーパスは本研究と同じくツイートを元に構築されており、約 8600 万ツイートをもとに構築された大規模なコーパスで あることが理由と考えられる。また、どの BERT モ デルも $90 \%$ を超える正解率が確認された。今回はネ ガティブ・ポジティブの二値分類だったため、比較的高い結果を出すことができたことが考えられる。

## 6. おわりに

本研究では、COVID-19 関連のツイートデータを 収集し、その分析と感染者数との比較を行った結果、感染者数との有意義な相関関係は見られないことを 示した。また、感情分析を実施し時期ごとの感情特性を明らかにした他、深層学習を用いてツイートデ ータの感情を高精度で分類することを示した。

今後は他の文脈におけるツイートデータの活用や、他のインターネット上のテキストデータへの応用を 検討していきたい。

## 参考文献

1. 佐藤裕次郎，山西良典，西原陽子. 宿泊施設の レビューの時系列分析による季節を表す特徴語の抽出. 人工知能学会, 2019. SIG-AM-21-19.

2. 北田剛士，ほか. 東日本大震災時のツイートのト ピック系列の可視化と分析. 2015 年度 人工知能学会全国大会 論文集, 2015. 2B3-NFC-02a-1.

3. 中村明. 感情表現辞典. 東京堂出版, 1993 .

978-4490103397.

4. 山本湧輝, 熊本忠彦 , 灘本明代. ツイートの感

情の関係に基づくTwitter 感情軸の決定. 第 7 回デー タ工学と情報マネジメントに関するフォーラム 論文集, 2015.

5. Lisa Singh，ほか. A first look at COVID-19 information and misinformation sharing on Twitter. National Institutes of Health, 2020.

6. 井原史渡, 岸本大輝, 栗原聡. 新型コロナウイ ルスに伴う Twitter の分析と感染状況との関連. 第 35 回人工知能学会全国大会論文集, 2021.

7. Furqan Rustam，ほか. A performance comparison of supervised. PLOS ONE, 2021.

## 8. MeCab: Yet Another Part-of-Speech and

Morphological Analyzer. (オンライン) (引用日: 2021

年 5 月 21 日.) https://taku910.github.io/mecab/.

9. 佐藤敏紀. Neologism dictionary based on the language resources on the Web for Mecab. (オンライ ン) 2015 年. (引用日: 2021 年 3 月 9 日.) https://github.com/neologd/mecab-ipadic-neologd. 10. 新型コロナウイルス感染症について>オープ ンデータ|厚生労働省. (オンライン) 厚生労働省.

(引用日: 2021 年 8 月 27 日.)

https://www.mhlw.go.jp/stf/covid-19/open-data.html.

11. PtaszynskiMichal. ML-Ask: Affect Analysis

System. Michal Ptaszynski / Research. (オンライン) (引用日: 2021 年 7 月 2 日.)

http://arakilab.media.eng.hokudai.ac.jp/ ptaszynski/repo sitory/mlask.htm.

12. 東北大学 乾研究室. cl-tohoku/bert-base-japanese.

Hugging Face. (オンライン) (引用日: 2021 年 10 月 29

日.) https://huggingface.co/cl-tohoku/bert-base-japanese.

13. BERT 日本語 Pretrained モデル . 京都大学 黒

橋・褚・村脇研究室. (オンライン) 2020 年 11 月 21

日.(引用日: 2021 年 10 月 29 日.)

https://nlp.ist.i.kyoto-u.ac.jp/?ku_bert_japanese.
14. 大規模日本語SNS コーパスによる文分散表現モ デルの公開 : hottoSNS-BERT の配布. 株式会社ホ ツトリンク公式ブログ. (オンライン) 株式会社ホッ トリンク, 2019 年 3 月 11 日. (引用日: 2021 年 10 月 29 日.)

https://www.hottolink.co.jp/blog/20190311_101674/.

## $\mathrm{A$ 付録}

図 A1 新型コロナウイルス LDA トピック推移


# 強化学習を用いたキャラクタらしさを持つ雑談応答の生成

清水健吾 上垣貴嗣 菊池英明
}

早稲田大学人間科学研究科

\{k.bi.sket@akane., t-gappy@fuji., kikuchi@\}waseda.jp
## 概要

雑談対話システムがユーザに「また対話したい」 と思わせるための方法として，特定のキャラクタら しさをシステム応答に付与する方法が考えられる。本研究は，強化学習を用いてニューラル対話生成モ デルを fine-tuning することで，特定のキャラクタら しい雑談応答を生成できる対話生成モデルを提案 する. Fine-tuning の際に，特定のキャラクタらしさ を持つ単一の発話データのみを必要とし，対話形式 のデータを必要としない点で既存研究と大きく異 なる。提案手法に基づく対話システムを評価した結果，対話システムのユーザに特定のキャラクタらし さの印象を与え，「また対話したい」と思わせる効果を確認した。

## 1 はじめに

雑談対話システムの研究において「ユーザにまた 対話したいと思わせられるか」という観点は大きな 課題となっている。ユーザに「また対話したい」と 思わせられる対話システムを開発することを目的と したコンペティションも開催されている $[1,2]$.

また，近年，人と極めて自然な雑談対話を行うこ とが出来る大規模なニューラル対話生成モデルが登場した $[3,4]$. これらの対話生成モデルに基づく対話システムが，よりユーザに「また対話したい」と 思わせるための方法として，システム応答に特定の キャラクタらしさを付与する方法が考えられる.

対話生成モデルに特定のキャラクタらしさを付与 する研究として, [5] が挙げられる. [5] は, 特定の キャラクタらしさを持つ対話データを収集すること で，特定のキャラクタらしい発話を生成する対話シ ステムを提案した。しかし，特定のキャラクタらし さを持つ対話形式のデータを収集するには大きなコ ストを要する。本研究の目的は，ある特定のキャラクタらしさを 持つ応答を生成する手法を提案することである. 特 に，対象のキャラクタらしさを持つ対話形式のデー タではなく，対象のキャラクタらしさを持つ単一の 発話データのみを使用して，発話にキャラクタらし さを付与する手法を提案する．具体的には，強化学習を用いて対話生成モデルを fine-tuning すること で，システム応答に特定のキャラクタらしさを付与 する．また，本研究が提案する手法によって，対話 システムのユーザに「このシステムとまた対話した い」と思わせることができるかについても併せて検証する。

## 2 提案手法

提案手法は以下の 3 つの段階で構成される.

1. 対話生成モデルを学習するために，Twitter 疑似対話データセットとキャラクタツイートデータ セットの 2 種類のデータセットを構築する.

2. Twitter 疑似対話データセットを用いて大規模言語モデルを学習することで対話生成モデルを構築する。

3. 強化学習を用いて，構築した対話生成モデル を fine-tuning する。まず，キャラクターツイー トデータセットを用いて，「対象のキャラクタ らしさ」を算出する報酬モデルを構築する．次 に，報酬モデルが算出する報酬を用いて対話生成モデルに強化学習を行う。

## 2.1 データセットの構築

## 2.1.1 Twitter 疑似対話データセット

Twitter のツイートとそのツイートに対するリプラ イの連鎖を疑似的な対話とみなし，Twitter 疑似対話 データセットを構築した。収集したツイート・リプ

ライ連鎖に対してURL，ハッシュタグ等の削除や，文字の正規化などの前処理を行った. ツイート・リ プライ連鎖の取得は 2020 年 3 月から 2021 年 12 月 にかけて行い，最終的に約 292 万件のデータセット を構築した。

## 2.1.2 キャラクタツイートデータセット

特定のキャラクタらしさを持つツイートを収集 し，キャラクタツイートデータセットを構築した。本研究では対象のキャラクタとして，アニメ「けも のフレンズ」1)に登場する「アライグマ」2)を採用し た. アライグマを取り上げた理由は以下の 2 点で ある.

・Twitter 上にアライグマを模したアカウントが多 く存在し，データを集めやすかった.
- 発言内容にキャラクタらしさが表れやすいキャ ラクタであるため，提案手法の有効性を確認し やすかった。

ツイートを収集した基準を以下に示す。

・有志がまとめた，Twitter 上に存在するアライグ マに模したアカウントの一覧3)に含まれている こと.

・アカウント名に「さん」が含まれ，アカウント のプロフィールに「のだ」が含まれていること.

収集したツィートに対して，2.1.1 節で述べた Twitter 疑似対話データセットと同様の前処理を施 した. さらに，感情分析タスク用に fine-tuning した BERT[6] ${ }^{4}$ を用いてツイートフィルタリングするこ とで，ポジティブな内容のツイートのみを残した.最終的に約 3.5 万件のデータセットを構築した.

## 2.2 対話生成モデルの構築

本研究では，対話を生成するモデルとして GPT2[7] を使用した。事前学習済み GPT-2 として rinna 社が公開しているモデル5)を使用した，GPT-2を 2.1.1 節で構築した Twitter 疑似対話データセットを 用いて学習することで, 日本語版DialoGPT[8]を構築 した. ミニバッチサイズを 16 , gradient accumulation stepsを2，学習率を $2.5 \times 10^{-5}$, optimizerとして

AdamW[9]を使用し，4 エポック学習を行った。

## 2.3 強化学習による fine-tuning

2.2 節で構築した DialoGPT が，対象のキャラクタ らしさを持つ応答を生成できるように強化学習に よって fine-tuning を行った.

## 2.3.1報酬モデル

まず，強化学習における報酬である「対象のキャ ラクタらしさ」を算出するための報酬モデルを構築 した. 報酬モデルとして RoBERTa[10]を使用した.事前学習済み RoBERTa として rinna 社が公開して いるモデル6)を使用した. RoBERTaを2.1.2 節で述 べたキャラクターツイートデータセットを用いて fine-tuning した.「対象のキャラクタらしさを持つツ イートか否か」の 2 値分類タスクを学習すること で，学習したモデルからの出力を「対象のキャラク タらしさ」とみなすことができる.

ミニバッチサイズを 256 , 学習率を $3.0 \times 10^{-5}$, optimizer として AdamW[9]を使用し，1 エポック学習を行った.

## 2.3.2 Proximal Policy Optimization (PPO)

本研究では, 強化学習アルゴリズムの一つであ る Proximal Policy Optimization (PPO)[11]を用いる. PPO を言語生成タスクに適用する際には，損失関数 は以下のように定義される。

$
\begin{gathered}
r(\theta)=\frac{\pi_{\theta}\left(y_{t} \mid s_{t}\right)}{\pi_{\text {old }}\left(y_{t} \mid s_{t}\right)} \\
\text { loss }=-\mathbb{E}_{\hat{Y} \sim \pi_{\text {old }}}\left[\operatorname { m i n } \left(\sum_{t=1}^{T} r(\theta) A\left(s_{t}, y\right)\right.\right. \\
\left.\left.\operatorname{clip}(r(\theta), 1-\epsilon, 1+\epsilon) A\left(s_{t}, y\right)\right)\right]
\end{gathered}
$

式(1)における $A\left(s_{t}, y\right)$ は強化学習の報酬を表す. $\pi_{\text {old }}$ は数ステップ過去のモデルを表す. 現在のモデ ルからの出力と過去モデルからの出力の比 $r(\theta)$ と,報酬の値 $A\left(s_{t}, y\right)$ の積が最大化されるように学習す る.このようにすることで，報酬の値が正の時は現在の出力の確率を上げ，反対に報酬の値が負の時は 現在の出力の確率を下げるように学習される. ただ し, 現在のモデルからの出力と過去モデルからの出力の比が大きすぎるものに対してはクリッピングを

6) https://huggingface.co/rinna/japanese-roberta-base

図 $1 \mathrm{PPO}$ 学習時の報酬の増減

する.これはモデルの急激な変化を防ぎ，学習を安定させる働きがある.

また, さらに学習を安定させるために報酬 $A\left(s_{t}, y\right)$ を次のように設定する。

$
A(x, y)=r(x, y)-\beta \log \frac{\pi(y \mid x)}{\rho(y \mid x)}
$

式 (2)における $\rho$ は初期状態のモデルを表す. 現在のモデルの状態が初期のモデルの状態から離れ過 ぎないように，報酬の值 $r(x, y)$ に対してペナルティ を与えることで，学習の安定化を図る。

## 2.3.3 PPO による fine-tuning

2.2 節で構築した DialoGPT に対して，PPO を用い て fine-tuning を行った. 報酬として 2.3.1 節で構築 した報酬モデルが算出する「対象のキャラクタらし さ」を利用する。「対象のキャラクタらしさ」を最大化するように学習することで，DialoGPT が生成 する応答に対象のキャラクタらしさを付与する.

ミニバッチサイズを 8 ，学習率を $1.41 \times 10^{-5}$, optimizer として Adam[12] を使用し，200 ステップ 学習した. その他のパラメータは [13] に準拠した.学習時の報酬の増減を図 1 に示す. 学習終了後, 報酬が安定した 60 ステップ目のモデルの重みを保存 した.

また，学習したモデルが生成した実際の対話例を 表 1 に示す.

## 3 評価実験

## 3.1 実験目的

以下の 2 点を目的に評価実験を行った。

1. 提案システムによる発話が，発話の受け手に対 してある特定のキャラクタらしさを感じさせる かを検証する。表 1 PPOによって学習した DialoGPT との対話例

User|こんにちは一

System こんにちはなのだ!今日もよろしくお願いしま すのだ!

User

System

User

System

User

System

User

System

$
\text { こちらこそよろしくねー！ }
$

よろしくお願いしますのだ!今日寒いけど、アライグマさんは寒くない？寒いのだー!暖かくして過ごすのだ! アライさんはもふもふしていて暖かそう もふもふなのだー!

私はアイスが好きで、今日もアイス食べ ちゃった。

アイス美味しいのだー!アライさんも食べるの だー!

表 2 評価項目

評価項目名 |アンケート質問文

自然さ|この対話システムの対話は自然で あった。

キャラクタらしさ この対話システムは「アライさん」 だと思う。

対話継続欲求 この対話システムと今後も対話をし たい。

2. 提案システムのユーザが「このシステムと今後 も対話をしたい」と思わせる効果があるかを検証する。

## 3.2 実験設定

実験では 2.2 節で構築した fine-tuning を行う前 の DialoGPT（ベースラインシステム）と，2.3 節で fine-tuning を行った後の DialoGPT（提案システム） を比較した。

評価項目を表 2 に示す. 被験者はクラウドソー シングを利用して 50 名募集した. キャラクタらし さを判断できるように，被験者はアニメ「けもの フレンズ」の視聴経験がある者に限定した. 被験者はLINE 上で 8 回対話システムと対話を行い，そ れぞれの対話に対して，表 2 の評価項目について 1 （まったくそう思わない）から5（とてもそう思う） の 5 段階で評価した。なお，被験者はベースライン システムと提案システムのどちらと対話をしている か知らされなかった。

## 3.3 実験結果

評価実験の結果を図 2 に示す.キャラクタらしさ の評価項目に対してはウィルコクソンの符号順位検定を行い，他の 2 つの評価項目に対しては対応のあ る $t$ 検定を行った。検定の結果，キャラクタらしさ の項目 $(W=15.5, p<.001 ）$ と対話継続欲求の項目

Baseline Proposed

Baseline Proposed

Baseline Proposed

図 2 評価実験の結果（左から順に自然さ，キャラクタら しさ，対話継続欲求を表す.)

表 3 各評価項目の組み合わせごとの無相関検定

$(t(49)=2.26, p=.028)$ において，提案システムが ベースラインシステムを有意に上回った（有意水準 5\%未満). したがって，提案システムが生成する応答が，ユーザに特定のキャラクタの印象を与え，「こ のたいわシステムとまた対話をしたい。」と思わせ る効果を確認した. また，自然さの項目において， ベースラインシステムと提案システムの評価值の同等性を確認するために Two One-Sided Test (TOST) を おこなった. 許容する差の閾値は $\pm 0.5$ とした. 検定の結果，2つのシステムの評価值間において有意 な同等性が確認された $(p=.0043)$. したがって提案手法は，対話の自然さを損なわずに特定のキャラ クタらしさを付与できることを確認した.

また，各評価項目間の組合せにおいて無相関検定 を行った. 相関係数としてはスピアマンの相関係数 を用い， $p$ 值にはボンフェローニ補正を施した. 各項目の組み合わせごとの検定の結果を表 3 に示す。

検定の結果，自然さと対話継続欲求，キャラクタ らしさと対話継続欲求のそれぞれの評価值間で有意 な正の相関が確認された。

## 4 おわりに

本研究の貢献は以下のとおりである.

1. 強化学習を用いて，ある特定のキャラクタらし さを持つ対話応答を生成する手法を提案した. モデルの学習には対象のキャラクタらしさを持 つ単一の発話データのみを必要とし，対話形式 のデータである必要はない.

2. 本研究が提案した手法で応答を生成することに

よって，対話システムのユーザに「このシステ ムと今後も対話したい」と思わせる効果がある ことを確認した。

本研究で提案した手法によって，より容易に特定 のキャラクタらしい対話システムを構築できる可能性が示唆された。今後は，提案手法が他のキャラク タやより高精度で大規模な対話システムに対しても 応用可能かを検証する予定である.

## 参考文献

[1] Raefer Gabriel, Yang Liu, Anna Gottardi, Mihail Eric, Anju Khatri, Anjali Chadha, Qinlang Chen, Behnam Hedayatnia, Pankaj Rajan, Ali Binici, et al. Further advances in open domain dialog systems in the third alexa prize socialbot grand challenge. Alexa Prize Proceedings, 2020.

[2] 東中竜一郎, 西川寛之, 宇佐美まゆみ, 船越孝太郎, 高橋哲朗, 稲葉通将, 赤間怜奈, 佐藤志貴, 堀内颯太, ド ルサテヨルス, 小室允人, 西川寛之, 宇佐美まゆみ. 対話システムライブコンペティション 4. 第 93 回 言語・音声理解と対話処理研究会, pp. 92-100, 2021.

[3] 藤原吏生, 岸波洋介, 今野颯人, 佐藤志貴, 佐藤汰亮,宮脇峻平, 加藤拓真, 鈴木潤, 乾健太郎. ILYS aoba bot:大規模ニューラル応答生成モデルとルールベースを 統合した雑談対話システム. 第 90 回 言語・音声理解と対話処理研究会, pp. 110-115, 2020.

[4] Hiroaki Sugiyama, Masahiro Mizukami, Tsunehiro Arimoto, Hiromi Narimatsu, Yuya Chiba, Hideharu Nakajima, and Toyomi Meguro. Empirical analysis of training strategies of transformer-based japanese chit-chat systems. arXiv preprint arXiv:2109.05217, 2021.

[5] Ryo Ishii, Ryuichiro Higashinaka, Koh Mitsuda, Taichi Katayama, Masahiro Mizukami, Junji Tomita, Hidetoshi Kawabata, Emi Yamaguchi, Noritake Adachi, and Yushi Aono. Methods for efficiently constructing text-dialogueagent system using existing anime characters. Journal of Information Processing, Vol. 29, pp. 30-44, 2021.

[6] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Vol. 1, pp. 4171-4186, 2019.

[7] Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, Ilya Sutskever, et al. Language models are unsupervised multitask learners. Technical report, Open AI, 2019.

[8] Yizhe Zhang, Siqi Sun, Michel Galley, Yen-Chun Chen, Chris Brockett, Xiang Gao, Jianfeng Gao, Jingjing Liu, and William B Dolan. DIALOGPT: Large-scale generative pre-training for conversational response generation. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: System Demonstrations, pp. 270-278, 2020.

[9] Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization. arXiv preprint arXiv:1711.05101, 2017.

[10] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. RoBERTa: A robustly optimized BERT pretraining approach. arXiv preprint arXiv:1907.11692, 2019.

[11] John Schulman, Filip Wolski, Prafulla Dhariwal, Alec Radford, and Oleg Klimov. Proximal policy optimization algorithms. arXiv preprint arXiv:1707.06347, 2017.

[12] Diederik P Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In International Conference on Learning Representations (ICLR), 2015.

[13] Daniel M Ziegler, Nisan Stiennon, Jeffrey Wu, Tom B Brown, Alec Radford, Dario Amodei, Paul Christiano, and Geoffrey Irving. Fine-tuning language models from human preferences. arXiv preprint arXiv:1909.08593, 2019.


# トピックモデルを用いた年代別作文の時間に関する認識の分析

谷口巴 $^{1}$ 上原泉 ${ }^{1}$ 川﨑采香 1 浅原正幸 ${ }^{2}$ 酒井裕 $^{3}$ 越智綾子 ${ }^{2}$ 小林一郎 1
1 お茶の水女子大学 2 国立国語研究所 ${ }^{3}$ 玉川大学脳科学研究所
\{g1620524, koba\}@is.ocha.ac.jp \{uehara.izumi, kawasaki.ayaka\}@ocha.ac.jp
\{masayu-a,a.ochi\}@ninjal.ac.jp sakai@tamagawa.ac.jp

## 概要

児童から壮年の各年代の人々を対象に過去と将来に関する作文の収集を行い，作文中の記述内容の 分析に基づき，各年代における時間認識の調査を行 なった。記述内容に関する分析には，潜在ディリク レ配分法（LDA）[1]を使い，抽出された各トピック の年代別割合と単語分布を俯瞰することによって，各年代における時間の捉え方について考察を行う。

## 1 はじめに

新学術領域「時間生成学」1)では，時間の意識（こ ころの時間）がどこからどのように生まれるのかに ついて，多角的な研究を推進している。領域におい ては，ヒトの脳活動データの分析を進めるほか，ヒ トとの対照分析としての霊長類の行動分析も進めて いる. 霊長類と異なり，ヒトは時間の意識を言語化 することが可能であり, その言語表現を分析するこ とで時間の捉え方を明らかにできる可能性がある。本研究では，ヒトならではの時間の捉え方，すなわ ち自己視点の入った時間認識を調べることを目的と して, 過去の個人的出来事の記憶 (「過去」の出来事 の記憶）と将来に自分が経験するであろう出来事の 予想 (「将来」の出来事の想像）の言語表現に焦点を あてることにした.「過去」や「将来」の出来事の 記憶や想像のいずれにおいても，PTSD や記憶障が いが伴うと，詳細さを欠くとの報告があるが（e.g., Brown et al.,2012)，従来，その内容と時間認識に関 する分析は十分なされていない. 確かに, 10 代後半から 30 代初め頃の出来事を, 特に高齢期は想起 しやすいといった (e.g., Rubin, et al., 1986)，時間に 関わる報告はある. しかし，過去と将来の経験や時間の捉え方に関して, 経験時点や想起時点（年代） による違いの有無などは，ほぼ検討されていない。 これらの捉え方における，世代差・性差を明らかに

1) https://www.chronogenesis.org/
するために，幅広い年代から「過去」の出来事の記憶と「将来」の出来事の想像に関する作文を収集し 分析することにした．なお，伴う感情により内容や 時間的距離感にそもそも差があること，どの年代に とっても倫理的問題がなく書きやすい内容になっ ている必要があることを念頭に，作文をもとめるの は，過去と未来における最も楽しかった，最も楽し いと予想される自分に関する出来事のみとした. 内容分析と併せて，「過去」の出来事の記憶と「将来」 の出来事の想像の作文に表出する言語表現の傾向に ついても分析を行う．作文のデータは，小学生から 80 代までの幅広い世代の男女 741 名から収集し，人手による形態論情報付与を行った。言語表現におい ては，作文の形態素 3-グラムに対するトピックモデ ルを適用し，トピック毎に出現する言語表現を検討 するとともに，同トピックの言語表現を利用する世代差・性差について検討する。 その結果，世代や性 の違いにより，言語によって表出される出来事（ラ イフイベント)・出来事の参与者が異なることを明 らかにした。

## 2 年題別作文中の時間認識の分析

## 2.1 作文データ

本節では利用した成人および児童の作文データに ついて示す.

## 2.2 作文課題

調査対象者に，作文課題 2 問と記号問題を記した 回答用紙 1 枚，作文を書くための羁線入り用紙 2 枚 の計 3 枚を配布し回答をもとめた。作文課題はでき る限り，用紙の半分以上を書くようにもとめた．記号問題は，本発表では分析対象とはしていないため 説明を割愛する．本発表で分析対象としたのは，作文課題の 2 問への回答（作文）であった. 作文課題 は (1) 過去経験した一番楽しかった出来事を書くよ

うもとめる課題（以下「過去作文」），(2) 将来経験す ると予想する最も楽しい出来事を書くようもとめる 課題（以下「将来作文」）の 2 問であった. 成人と児童で教示文は同じであった.

## 2.3 手続き

成人のデータは調査会社を通じて募集をかけ，参加を希望された方々に，依頼の手紙，作文課題と記号問題を記した回答用紙 1 枚と作文を記入するため の回答用紙 2 枚（過去作文用と将来作文用），返信用封筒をお送りし，回答用紙 3 枚を返信用封筒に入 れて投函するようにもとめ，収集した，募集から回収までの作業を調査会社に委託した。児童のデータ は, 学校長の承諾のもと, 学校を通じて協力いただ ける児童に配布し収集した. 首都圈の公立小学校 2 校に依頼し， 1 校から小学 4 年生（70 名）に参加い ただき 66 名の分析対象データを得た。もう 1 校か ら, 小学 3 年生から 6 年生（185 名）に参加いただ き 181 名の分析対象データを得た. なお本調査は, お茶の水女子大学人文社会科学研究の倫理委員会の 承認を経て実施された。

表 1 亿調査対象者の属性の基礎統計を示す.

表 1 調查対象者の属性

## 3 実験

## 3.1 使用データセット

前述の作文データを将来に関する作文と過去に関 する作文に分類し，解析を行う．LDAに入力する単語の単位に関しては，各年代ごとの単語使用の特性 がより顕著に表れる 3-グラムを用いる. これに基づ き, 日本語形態素解析器 MeCabを用いて形態素解析を行い，表層形を 1 単位として 3-グラムを作成し た. 全文書中 3 回以上出現する 3-グラムに限定し,文書を 3 グラムからなる構成で再作成した. 未来・過去作文データに関する文書数，3-グラム語彙数，1 文あたりの平均単語数および 3-gram の有効性を比較検証できるように文書をユニグラムで表現した際 のパープレキシティを表 2 に示す.表 2 データ詳細

## 3.2 実験結果

トピック数 $K=10$ とし，LDAを用いてトピック クラスタリングを行なった. 潜在変数の推定には， ギブスサンプリング（GS）を採用し，十分収束す るよう, 繰り返し数は 1000 と大きい值に設定した. また，モデルの評価指標としてパープレキシティを 用いる. LDA におけるパープレキシティは，学習さ れたトピック分布 $\theta_{d, k}$ と, トピック - 単語分布 $\phi_{k, v}$ を用いて式 1 で示される.ここで，D は文書数， $N_{d}$ は文書 $d$ の単語数である.

perplexity $(\boldsymbol{w})=\exp \left(-\frac{\sum_{d=1}^{D} \sum_{n=1}^{N_{d}} \log \left(\sum_{k=1}^{K} \theta_{d, k} \phi_{k, w_{d n}}\right)}{\sum_{d=1}^{D} N_{d}}\right)$

パープレキシティは各文書における単語確率の幾何平均の逆数であるが，これは文書の正解単語を予測 する際の単語の候補数であり，值が小さいほうがよ り優れたモデルといえる。

訓練時において, GS の各繰り返しごとに計算し たパープレキシティをプロットすることにより，収束判定を行った（図 1 参照）。これにより $\theta_{d, k}$ およ び $\phi_{k, v}$ を取得した。

図1訓練時のパープレキシティ。

過去と将来の作文において，LDAにより学習され た $\phi_{k, v}$ から，各単語（3-グラムからなる単語）につ いて正規化自己相互情報量（NPMI） [2]を計算した 上位 10 単語を表 3 および表 4 に，それぞれ示す.こ こで，NPMI とは自己相互情報量 (PMI) を-1 から 1 の間に正規化したものであり，式 2 で示される.

$
\begin{aligned}
\operatorname{NPMI}(k, v) & =\frac{P M I(k, v)}{-\log p(k, v)} \\
& =-1+\frac{\log p(k) p(v)}{\log p(k, v)}
\end{aligned}
$
図 2 トピック別年代の割合.

トピックに対する単語の出現を観察するのに $\phi_{k, v}$ ではなく，NPMI を用いることで単語の出現頻度の 影響を受けず，トピックを代表する単語を観察する ことができる。また，各トピックにおける年代別割合と確率上位 2 文書を，それぞれ図 2 ，表 5 ，表 6 に 示す.

## 3.3 考察

図 2 より，年代別による頻出トピックが確認でき る. 表 3，表 4，表 5，表 6 と照らし合わせながら，将来データと過去データについてそれぞれ考察を述 べる.

## 将来データ

トピック 140 代以上の女性が多く割合を占めて いる.トピックの内容としては子育て後の楽しみな どを説明する単語が多く割り当てられている。

トピック 220 代から 30 代の働き盛りの男女や 60 代から 80 代の男性の割合が大きくなっているが，仕事における夢であったり，定年後の未来に関する 文書が多く見受けられた。

トピック 3 児童が半分以上の割合を占めてい る.トピック 1 と比べて遠い将来の夢や願望を表す 単語が多く割り当てられていることが確認できる。児童が成人に比べて遠い将来に関する願望を書く傾向があるのは妥当な結果であるといえる.

トピック 4 対照的に児童の割合が最も小さく,成人女性の割合が高くなっている. 自分の子供や孫 の成長を楽しみとする文書が多く見受けられた。

トピック 5 成人男性がやや大きな割合を占めて いる。ライフイベント (結婚や家の購入) に関するも のが多い.

トピック 6 成人男性がやや大きな割合を占めて いる。趣味に関しての文書が目立つ.
トピック 7 児童の割合が相対的に多く，形式名詞「こと」が多用されている. 日常的な学校や友人 に関するトピックである.

トピック 840 代以上の割合が相対的に多く, 学業や旅行，投資などの中高年の夢や願望を含む割合 が高いトピックである.

トピック 9 トピック 8 と同じく 40 代以上の割合 が相対的に多い. 上位文書には結婚生活など家庭に 関する記述が多くみられた。

トピック 10 トピック 1 と同じような単語の分布 が見受けられる.トピック 1 と比較して年齢層は若 く, 子供の成長やこれからの家族の行く未を思う文書が多くみられた。

全体を通して，児童の割合が小さいトピックには 逆接や順接が含まれる単語や過去形の単語が多く割 り当てられていた. 成人は将来の話をする前に，理由や経験として過去の話をするなど，論理的に話す 傾向がみられた.

## 過去データ

トピック 1 児童の割合が小さく，中高年が割合 を大きく占めている．家族や旅行に関する単語が見受けられ，遠い過去の思い出が多くみられる。

トピック 2 家族との国内の旅行に関する記述が 多く見受けられ，主に若年世代が想起する思い出か ら成っている.

トピック 3 及びトピック 4 トピック 2 と分布が 似ているが，学校生活に関しての記述が目立つト ピックであった.

トピック 5 児童の割合が小さく，中高年女性が 割合を大きく占めている. 家族や健康に関する単語 が多く割り振られている. 将来データと同様, 男性 に比べて女性の作文には他人が主役であったり，自分に関するイベントであっても家族や友人に関する
表 3 未来データ: トピック別 3-グラム上位 10 語.

 &  &  &  &  &  &  &  &  &  \\

表 4 過去データ : トピック別 3-グラム上位 10 語.

 & みんなで & をかって & に、お &  & いたの & ができた & 遊んでい & 旅行をし & お母さん \\

記述が多く見受けられる。

トピック 6 他のトピックと比べて男性の割合 が多いトピックである. トピック確率が高い文書で は旅行関連の記述が多い. また, 当時の西暦や年齢 など，数字を用いての表現も多くみられた。

トピック 7 若年世代の女性と中高年による友人 に関する内容の占める割合が比較的高く, 文章では 連用中止の表現が多い.

トピック 8 女性の割合が大きい. 他者より自分中心のレクリレーション関連の出来事が多く見ら れる。

トピック 9 主に海外旅行に関するトピックであ り，一人旅など家族や友人に関する要素が薄く，20 代から 30 代の男女の割合が大きくなっている.

トピック 10 学校生活での思い出に関してのみ で構成されており，女子児童が割合の大半を占めて いる.

過去データでは旅行関係のトピックが多く見ら れ，家族や学校の要素が加わることでトピックが細 かく分かれていることが確認できた。
る顕著な特徴としては，過去といったときに中高年 は遠い過去（学生時代など）に思いを馳せ，将来と いったときに児童は遠い将来（主に若年成人期）を 思い描く傾向がみられ，推測の域を出ないが，世代 を問わず共通して，青年期から若年成人期を人生の 中心とする主観的な時間軸を有している可能性が考 えられる。とはいえ，詳細までは把握しきれなかっ たが，内容，時間認識とも世代差や性差が本データ において示唆されており，今後はデータ数を増や し, Dynamic Topic Model などを用いて年代の移り変 わりによるトピックの変化を分析することなどが課題として挙げられる。

## 謝辞

本研究は，科学研究費補助金 - 新学術領域研究「時間生成学」（18H05521,18H5524) の支援を受け て行った.

トピック解析において統計数理研究所持橋大地氏か ら有益なアドバイスを頂きました。ここに深謝いた します.

## 4 まとめと今後の課題

年代別に作成された作文を収集し，LDA を用いて トピッククラスタリングを行った. 時間認識に関す

## 参考文献

[1] David M. Blei, Andrew Y. Ng, Michael I. Jordan, and John Lafferty. Latent Dirichlet Allocation. Journal of Machine Learning Research, Vol. 3, pp. 994-1022, 2003.

[2] Gerlof Bouma. Normalized (Pointwise) Mutual Information in Collocation Extraction. Proceedings of GSCL, pp. 3140, 2009.

[3] 浅原正幸, 川嵪采香, 上原泉, 酒井裕, 須藤百香, 小林一郎, 越智綾子.「過去」「未来」を主題にした作文の文体分析. 日本語学会 2021 年度秋季大会, No. A-7, pp. $37-42,2021$.

## A 付録

表 5 将来データ：トピック別上位 2 文書

表 6 過去データ：トピック別上位 2 文書


# 日本語文法誤り訂正の流暢性評価に向けたデータ作成

木山朔 ${ }^{1}$ 上坂奏人 ${ }^{1}$ 佐藤郁子 ${ }^{1}$ 佐藤京也 ${ }^{1}$ 米田悠人 ${ }^{1}$
小山碧海 ${ }^{1}$ 三田雅人 ${ }^{2,1}$ 岡照晃 ${ }^{1}$ 小町守 ${ }^{1}$
1 東京都立大学 2 理化学研究所
\{kiyama-hajime, uesaka-minato, sato-ayako, sato-keiya, yoneda-yuto,
koyama-aomi \}@ed.tmu.ac.jp, masato.mita@riken.jp,
\{teruaki-oka, komachi\}@tmu.ac.jp

## 概要

本研究では，日本語文法誤り訂正の流暢性評価 データを作成する．既存の日本語文法誤り訂正の評価データでは，文法的に正しくなる最小限の編集に 基づき訂正文が作成されている。しかし最小限の編集に基づく訂正文は文法的ではあるものの流暢性に 欠ける．訂正文の流暢性が欠けた評価データに依存 してモデルを開発すると，文法的かつ流暢な出力を するモデルが正当に評価されない．そこで文法的な だけでなく流暢な編集を行った評価データを作成 し，モデルの流暢性も含めた評価を可能にする。

## 1 はじめに

文法誤り訂正とは，語学学習者が書いた文章中の 誤りを計算機が自動で訂正するタスクである1)。こ れまでの文法誤り訂正は学習者コーパスが豊富な英語を中心に研究されてきた $[1,2,3,4,5,6,7,8]$. し かし, ドイツ語やロシア語などでも学習者コーパス が整備され $[9,10,11]$, 英語以外でも研究が盛んに なっており $[12,13,14,15,16]$. 日本語を対象とした 研究も広がりを見せている $[17,18,19,20,21,22]$.

日本語文法誤り訂正では, Koyama ら [21] が文法的に正しくなる最小限の編集（Minimal edits）に基 づく評価データを作成した. 表 1 の 2 行目に，彼 らの Minimal editsに基づく訂正例を示す. Minimal edits では学習者文中の “時頃” “頃” に書き換える ことで，文法的に正しくなる最小限の訂正を行って いる. Minimal edits は NUCLE [23] という英語学習者コーパスにも使用されており，NUCLEの一部で ある CoNLL-2014 shared task [24] の評価データは英語文法誤り訂正で最も代表的な評価データである。

1）本稿では，便宜上，文法誤りだけでなく綴りや語彙選択の 誤りの訂正も文法誤り訂正に含める。表 1: Minimal edits 及び Fluency edits に基づく訂正例.

一方，英語文法誤り訂正では Minimal edits に基 づく訂正文が母語話者にとって文法的ではあるも のの流暢性の低い文になっていると指摘されてい る [25].また Sakaguchi ら [25] は文法誤り訂正の目的を文法的なだけでなく母語話者の流暢さを持つ文章の作成へと根本的にシフトすべきと提唱してい る.そして彼らの提唱を受け，文法的なだけでなく 流暢な編集（Fluency edits）を行った評価データが 公開され [26]，新たなベンチマークデータとしてコ ミュニティに享受される形で英語文法誤り訂正の研究が進められている.

Minimal edits に基づく訂正文の流暢性が低いとい う問題は日本語でも同様である．例えば表 1 の場合，日本語母語話者にとっては，“時頃”を “頃”に 訂正するだけでなく，“ハイスクール”を“高校”に， “終える”を“卒業する”に訂正する方がより流暢で あると考えられる。しかし日本語文法誤り訂正では Fluency edits ベースの評価データは未だ作成されて いない。またそのため，流暢な出力をするモデルが 正当に評価されていない.

そこで，我々は日本語文法誤り訂正のための流暢性評価データを作成する ${ }^{2}$ 。 具体的には，Lang-8 コーパス [19] 中の日本語学習者文に対し, 文法的な だけでなく流暢な編集を行った訂正文を人手で付与 する。またベースラインとして 3 つの日本語文法誤 り訂正モデルを用意し，それらのモデルを流暢性の 観点から評価した結果を報告する。

表 2: 各訂正基準に基づく訂正例.

## 2 関連研究

日本語教育で活用されている日本語学習者コー パスには作文対訳データベース3) や日本語学習者作文コーパス4)などがある. 作文対訳データベースで は，学習者の手書き作文に対する日本語教師の訂正情報が収録されている. 日本語学習者作文コーパス では，初級から上級までの中国語や韓国語を母語と する学習者の作文データ及び訂正情報が収録され ている. 国際日本語学習者作文コーパス及び誤用辞典5)やなたね ${ }^{5}$ でも同様に，学習者作文に対する訂正情報が収録されているが，これらの元データは 一般には公開されていないため日本語文法誤り訂正モデルの評価に使用できない。日本語文法誤り 訂正モデルの評価を目的に公開されている学習者 コーパスとして TEC-JL [21] がある. TEC-JL では， Lang-8 コーパス中の日本語学習者文に Minimal edits ベースの訂正文を付与している。我々は，TEC-JL と同様に Lang-8 コーパス中の学習者文を人手で訂正し公開するが，訂正方針は Minimal edits ではなく Fluency edits に基づいた訂正を採用する.

英語文法誤り訂正で代表的な学習者コーパスに NUCLE [23] がある. NUCLE はシンガポールの大学生が書いた作文を英語教師が訂正した英語学習者 コーパスである. Minimal edits に基づき訂正されて おり，NUCLE の一部は CoNLL-2014 shared task の評価データに使用されている。一方， JFLEG [26, 27] は Fluency editsに基づき作成された英語学習者コー パスである. JFLEGでは，母語や習熟度の異なる学習者が書いた文に対し，クラウドソーシングを用い て訂正文が付与されている. 我々は，JFLEG と同様 に Fluency editsに基づくコーパスを作成するが，英語ではなく日本語学習者コーパスを作成する.

3) https://mmsrv.ninjal.ac.jp/essay

4) http://sakubun.jpn.org

5) https://corpus.icjs.jp/corpus_ja

6) https://hinoki-project.org/natane

## 3 流暢性評価データの作成

## 3.1 利用した言語資源と前処理

我々は TEC-JL と同様に，Lang-8 コーパス中の学習者文に再アノテーションを行う．Lang-8 コーパス では学習者が書いた作文が文章単位で収録されてい る. また各文章は自動で文分割されており，文ごと に訂正文が付与されている。 さらに各文章に対し，母語と学習言語，各文章を識別するためのユニーク な番号（ジャーナル ID）が付与されている.

本研究で作成する検証データ及び評価データに用 いる日本語学習者文は以下の手順で用意した.

Step 1. Lang-8 コーパスから，日本語を学習言語とす る文章を抽出する 7 ).

Step 2. 検証データと評価データがそれぞれ 1,000 文程度になるように文章を選択する ${ }^{8)}$.

Step 3. 検証データや評価データとして不適切な文を 人手で取り除き9)，文分割に失敗している箇所を人手で正しい分割に修正する.

## 3.2 訂正基準

流暢性を考慮した評価データを作成するために， 3.1 節で用意した学習者文に対し, 日本語母語話者 5 人が文法的に正しく，かつ流暢な訂正を行う.ま た訂正の際は，原文の意味を保持するように訂正す る. さらに TEC-JL と同様に，訂正は文章単位で行 う. 流暢な訂正には常識に関する誤りの訂正 [28] も 含み，元の文章に対して複数の解釈が存在する場合 は訂正者各自が文章全体を見て最尤な訂正を行う。

7）ただし TEC-JL 中の文章との重複を避けるため，TEC-JL に 使用された文章と同じジャーナル ID の文章は抽出しない.

8）この時，検証データ及び評価データ中の学習者の母語の分布が， Lang-8 コーパス中の日本語学習者の母語の分布と同様 になるように文章を選択した。

9）例えば，日本語以外の言語で書かれている文や記号のみの 文を取り除いた。

(a) 訂正者 $\mathrm{A}$

(d) 訂正者 D

(b) 訂正者 B

(e) 訂正者 E

(c) 訂正者 $\mathrm{C}$

(f) TEC-JL

図 1: 本研究及び TEC-JL における学習者文と訂正文間の編集距離の分布.

また評価データ全体で一貫した訂正を行うため,以下の訂正基準を設定した. 表 2 に各訂正基準に基 づく訂正例を示す.

R1. 1 文章内では漢字やカタカナなどの表記，常体 や敬体を統一する。

R2. 一文を複数文に分割する訂正はしてもよいが，複数文を一文に統合する訂正はしない.

R1 は表記や文体を統一することで流暢性が向上 すると考え設定した． R2 は，複数の参照文がある 場合，複数文を一文に統合するような訂正の自動評価が困難であるため設定した。

## 3.3 分析

定量評価 図 1 に各訂正者の学習者文と訂正文間 の文字単位の編集距離の分布を，TEC-JL での編集距離の分布とともに示す. 訂正者 $\mathrm{C}$ は編集距離の平均が最も高く, 大幅な訂正を最も多く行っているこ とが分かる。一方で，訂正者 D と訂正者 $\mathrm{E}$ は編集距離の平均が低く，他の訂正者と比べて大幅な訂正を あまり行っていない. TEC-JL と比較すると，本研究で作成した評価データの方が編集距離の平均が高 く，流暢な訂正文にするために大幅に訂正している ことが分かる. また付録 Aに訂正者間の文単位の類似度に関する分析を記載する。

定性評価 表 3 に，各訂正者の流暢性を考慮した 訂正文の例を示す。それぞれの訂正者は，“速く0 ００番に携帯で手伝える” の部分を主に訂正してお り，訂正方法には様々なバリエーションがあること
が分かる。また訂正者 $\mathrm{B}$ は，より流暢な文にするた め，“緊急の場合は”の部分も含めて訂正している. このように訂正者ごとに使用する表現が分かれた り，文法的に正しい部分も含めて訂正したりするこ とがある. さらに常識に関する誤りとして，“0 0 0番”をそのままにするか，“110 番” に訂正する かの判断が分かれている。この違いはそれぞれの訂正者が学習者の居住地をどのように推測したかの違 いである。“０００番”のままにしている訂正者は オーストラリアなどの緊急時の番号が 000 である国 に住んでいると推測し，“110番”にした訂正者は 日本に住んでいると推測したことにより，このよう な違いが発生した。

## 4 実験

本節では日本語文法誤り訂正モデルの流暢性を評価するため，機械翻訳ベースの 3 つの文法誤り訂正 モデルの性能を比較する.

## 4.1 実験設定

データセット 訓練データには Lang-8 コーパス を用いる．ただし，TEC-JL と本研究で作成した評価データに含まれるジャーナル ID を持つ文対は取 り除き，さらに文長制限などのノイズ除去を行っ た. 水本 [29] に従い，学習者文は文字に分割し，訂正文は語彙サイズ 16,000 で SentencePiece ${ }^{10)}$ [30] に よるトークン化を行った．検証データには，本研究 で作成した検証データを用いる。本実験で使用した

10) https://github.com/google/sentencepiece
表 3: 各訂正者の流暢性を考慮した訂正文の例.

データセットの詳細は付録 B に記載する。

性能評価 評価データには TEC-JL 及び本研究で 作成した評価データ11)を用いる. Minimal edits ベー スの評価データである TEC-JL は既存研究で広く使 われている $\mathrm{M}^{2}$ scorer [31] で評価する。一方 Fluency edits の場合 Minimal edits と比べ原文と参照文間の アライメントが取りづらいことから，本研究で作成した評価データはアライメントをとる必要がな い GLEU [32] で評価する。両方の評価データにおい て，単語分割誤りが評価結果に影響を与えないよう にするため，文字単位で評価する。

文法誤り訂正モデル 文法誤り訂正モデルには Koyama ら [21] が使用している SMT [33] と CNN [34] に加え, Transformer [35]を用いる. 各モデルの設定 は以下の通りである.

[36] を対応づけツールに使用し，KenLM [37] を 用いて 3-gram 言語モデルを構築した. 言語モ デルの訓練には訓練データ中の訂正文を用い た. また，検証データを用いて BLEU [38] を最大化するように MERT [39] を行った.

CNN fairseq ${ }^{14 ）}$ [40] を実装に使用した. アーキテク チャは Chollampatt ら [41] と同様である。また，訓練時の最適化方法や推論時の設定は Kiyono ら [42] に従った.

Transformer fairseqを実装に使用した. アーキテク チャは Vaswani ら [35] の “Transformer (base)”と 同様である。また，訓練時の最適化方法や推論時の設定は Kiyono ら [42]に従った.

## 4.2 実験結果

表 4 に各文法誤り訂正モデルの性能を示す. 訂正 なしは入力文を出力とみなして評価した時のスコ アである。また人間と文法誤り訂正モデルの性能差

表 4: 各文法誤り訂正モデルの性能.

を調べるため，交差検証のように，各参照文を出力 とみなしそれ以外の参照文で評価した時のスコア の平均を人間のスコアとして求めた ${ }^{15)}$. TEC-JL で は，CNN や Transformer よりも SMT の方が Precision が高い. 一方，Recall は Transformerの方が高いこと から，Transformer はより多くの訂正をしていると考 えられる.また本研究で作成した評価データでは, 3 つのモデルの内, Transformer のスコアが最も高い ことから, Transformer は他のモデルよりも比較的流暢な訂正をしていると考えられる。人間と各モデル のスコアを比較すると，全てのモデルのスコアは人間よりも低く，改善の余地が残されていることが分 かる．各モデルの出力例を付録 D に記載する.

## 5 おわりに

本研究では日本語文法誤り訂正のための流暢性評価データを作成した。本評価データでは，学習者文 に対し Fluency edits に基づく訂正を行っている. さ らに，1つの学習者文につき 5 つの訂正文を付与し ており，多様な訂正をカバーしている. 今後の課題 としては，Lang-8コーパス以外のドメインに対して も Fluency edits ベースの日本語学習者コーパスを作成することが挙げられる。

## 謝辞

Lang-8 のデータ使用に際して，株式会社 Lang-8 の喜洋洋氏に感謝申しあげます.

15）人間のスコアと比較可能にするため，各モデル及び訂正な しの性能も人間のスコアと同様に測定した．全ての参照文で 評価した時の各モデルの性能は付録 C に記載する.

## 参考文献

[1] Chris Brockett, William B. Dolan, and Michael Gamon. Correcting ESL Errors Using Phrasal SMT Techniques. In COLING-ACL, pp. 249-256, 2006.

[2] Rachele De Felice and Stephen G. Pulman. A Classifier-Based Approach to Preposition and Determiner Error Correction in L2 English. In COLING, pp. 169-176, 2008.

[3] Daniel Dahlmeier and Hwee Tou Ng. Grammatical Error Correction with Alternating Structure Optimization. In ACL, pp. 915-923, 2011.

[4] Marcin Junczys-Dowmunt and Roman Grundkiewicz. Phrasebased Machine Translation is State-of-the-Art for Automatic Grammatical Error Correction. In EMNLP, pp. 1546-1556, 2016.

[5] Roman Grundkiewicz and Marcin Junczys-Dowmunt. Near Human-Level Performance in Grammatical Error Correction with Hybrid Machine Translation. In NAACL, pp. 284-290, 2018.

[6] Jared Lichtarge, Chris Alberti, Shankar Kumar, Noam Shazeer, Niki Parmar, and Simon Tong. Corpora Generation for Grammatical Error Correction. In NAACL, pp. 3291-3301, 2019.

[7] Masahiro Kaneko, Masato Mita, Shun Kiyono, Jun Suzuki, and Kentaro Inui. Encoder-Decoder Models Can Benefit from Pretrained Masked Language Models in Grammatical Error Correction. In ACL, pp. 4248-4254, 2020.

[8] Michihiro Yasunaga, Jure Leskovec, and Percy Liang. LM-Critic: Language Models for Unsupervised Grammatical Error Correction. In EMNLP, pp. 7752-7763, 2021.

[9] Adriane Boyd. Using Wikipedia Edits in Low Resource Grammatical Error Correction. In W-NUT, pp. 79-84, 2018.

[10] Alla Rozovskaya and Dan Roth. Grammar Error Correction in Morphologically Rich Languages: The Case of Russian. TACL, Vol. 7, pp. 1-17, 2019.

[11] Viet Anh Trinh and Alla Rozovskaya. New Dataset and Strong Baselines for the Grammatical Error Correction of Russian. In Findings: ACL-IJCNLP, pp. 4103-4111, 2021.

[12] Jakub Náplava and Milan Straka. Grammatical Error Correction in Low-Resource Scenarios. In W-NUT, pp. 346-356, 2019.

[13] Satoru Katsumata and Mamoru Komachi. Stronger Baselines for Grammatical Error Correction Using a Pretrained EncoderDecoder Model. In AACL-IJCNLP, pp. 827-832, 2020.

[14] Ikumi Yamashita, Satoru Katsumata, Masahiro Kaneko, Aizhan Imankulova, and Mamoru Komachi. Cross-lingual Transfer Learning for Grammatical Error Correction. In COLING, pp. 4704-4715, 2020.

[15] Simon Flachs, Felix Stahlberg, and Shankar Kumar. Data Strategies for Low-Resource Grammatical Error Correction. In BEA, pp. $117-122,2021$.

[16] Sascha Rothe, Jonathan Mallinson, Eric Malmi, Sebastian Krause, and Aliaksei Severyn. A Simple Recipe for Multilingual Grammatical Error Correction. In ACL-IJCNLP, pp. 702-707, 2021.

[17] Hisami Suzuki and Kristina Toutanova. Learning to Predict Case Markers in Japanese. In COLING-ACL, pp. 1049-1056, 2006.

[18] 今村賢治, 齋藤邦子, 貞光九月, 西川仁. 小規模誤りデータ からの日本語学習者作文の助詞誤り訂正. 自然言語処理, Vol. 19, No. 5, pp. 381-400, 2012.

[19] 水本智也, 小町守, 永田昌明, 松本裕治. 日本語学習者の作文自動誤り訂正のための語学学習 SNS の添削ログからの知識獲得. 人工知能学会論文誌, Vol. 28, No. 5, pp. 420-432, 2013.

[20] Youichiro Ogawa and Kazuhide Yamamoto. Japanese Particle Error Correction employing Classification Model. In IALP, pp. 23-28, 2019.

[21] Aomi Koyama, Tomoshige Kiyuna, Kenji Kobayashi, Mio Arai, and Mamoru Komachi. Construction of an Evaluation Corpus for Grammatical Error Correction for Learners of Japanese as a Second Language. In LREC, pp. 204-211, 2020.

[22] 本間広樹, 小町守. 高速な文法誤り訂正機能を持つ日本語
ライティング支援システムの構築. 人工知能学会論文誌, Vol. 37, No. 1, pp. 1-14, 2022.

[23] Daniel Dahlmeier, Hwee Tou Ng, and Siew Mei Wu. Building a Large Annotated Corpus of Learner English: The NUS Corpus of Learner English. In BEA, pp. 22-31, 2013.

[24] Hwee Tou Ng, Siew Mei Wu, Ted Briscoe, Christian Hadiwinoto, Raymond Hendy Susanto, and Christopher Bryant. The CoNLL2014 Shared Task on Grammatical Error Correction. In CoNLL, pp. 1-14, 2014.

[25] Keisuke Sakaguchi, Courtney Napoles, Matt Post, and Joel Tetreault. Reassessing the Goals of Grammatical Error Correction: Fluency Instead of Grammaticality. TACL, Vol. 4, pp. 169-182, 2016.

[26] Courtney Napoles, Keisuke Sakaguchi, and Joel Tetreault. JFLEG: A Fluency Corpus and Benchmark for Grammatical Error Correction. In EACL, pp. 229-234, 2017.

[27] Michael Heilman, Aoife Cahill, Nitin Madnani, Melissa Lopez, Matthew Mulholland, and Joel Tetreault. Predicting Grammaticality on an Ordinal Scale. In ACL, pp. 174-180, 2014.

[28] Jie He, Bo Peng, Yi Liao, Qun Liu, and Deyi Xiong. TGEA: An Error-Annotated Dataset and Benchmark Tasks for Text Generation from Pretrained Language Models. In ACL-IJCNLP, pp. 60126025, 2021.

[29] 水本智也. 日本語文法誤り訂正における最適な分割単位の 調査. 言語処理学会年次大会, pp. 1336-1339, 2020.

[30] Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for Neural Text Processing. In EMNLP, pp. 66-71, 2018.

[31] Daniel Dahlmeier and Hwee Tou Ng. Better Evaluation for Grammatical Error Correction. In NAACL, pp. 568-572, 2012.

[32] Courtney Napoles, Keisuke Sakaguchi, Matt Post, and Joel Tetreault. Ground Truth for Grammatical Error Correction Metrics. In ACL-IJCNLP, pp. 588-593, 2015.

[33] Philipp Koehn, Hieu Hoang, Alexandra Birch, Chris CallisonBurch, Marcello Federico, Nicola Bertoldi, Brooke Cowan, Wade Shen, Christine Moran, Richard Zens, Chris Dyer, Ondřej Bojar, Alexandra Constantin, and Evan Herbst. Moses: Open Source Toolkit for Statistical Machine Translation. In ACL, pp. 177-180, 2007.

[34] Jonas Gehring, Michael Auli, David Grangier, Denis Yarats, and Yann N. Dauphin. Convolutional Sequence to Sequence Learning. In ICML, pp. 1243-1252, 2017.

[35] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is All you Need. In NeurIPS, pp. 5998-6008, 2017.

[36] Franz Josef Och and Hermann Ney. A Systematic Comparison of Various Statistical Alignment Models. CL, Vol. 29, No. 1, pp. 19-51, 2003.

[37] Kenneth Heafield. KenLM: Faster and Smaller Language Model Queries. In WMT, pp. 187-197, 2011.

[38] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. BLEU: a Method for Automatic Evaluation of Machine Translation. In ACL, pp. 311-318, 2002.

[39] Franz Josef Och. Minimum Error Rate Training in Statistical Machine Translation. In ACL, pp. 160-167, July 2003.

[40] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A Fast, Extensible Toolkit for Sequence Modeling. In NAACL, pp. 48-53, 2019.

[41] Shamil Chollampatt and Hwee Tou Ng. A Multilayer Convolutional Encoder-Decoder Neural Network for Grammatical Error Correction. In AAAI, pp. 5755-5762, 2018.

[42] Shun Kiyono, Jun Suzuki, Tomoya Mizumoto, and Kentaro Inui. Massive Exploration of Pseudo Data for Grammatical Error Correction. TASLP, Vol. 28, pp. 2134-2145, 2020.

## A 訂正者間の文単位の類似度

BLEU [38]を用いて訂正者間の文単位の類似度を測定する．BLEU は出力文と参照文中の N-gram の一致率 をべースとした評価尺度であり，スコアが高ければ高いほど出力文と参照文の表層が一致していることを表

訂正者 $\mathrm{D}$ と訂正者 $\mathrm{E}$ の間のスコアが最も高いことが分かる.このことから，訂正者 $\mathrm{D}$ と訂正者 $\mathrm{E}$ は同じ表現を用いて訂正することが多いと考えられる．また訂正者 C は，他の訂正者とのスコアが低いことから，他 の訂正者とは異なる表現で訂正することが多いと考えられる。

表 5: 各訂正者間の BLEUスコア.

## B実験に使用したデータセット

## C 全ての参照文で評価した時の各文法誤り訂正モデルの性能

## D 各文法誤り訂正モデルの出力例

16) https://github.com/mocobeta/janome


# 『日本語日常会話コーパス』に対する 係り受け情報アノテーション

浅原正幸
国立国語研究所
masayu-a@ninjal.ac.jp
}

若狭絢
国立国語研究所

## 概要

音声言語に対する日本語係り受けツリーバンク は、独話を主とする『日本語話し言葉コーパス』に 基づくものであった。対話を主とする『日本語日常会話コーパス』に対して係り受け情報を付与作業を 進めており、2022 年春に公開予定である。本発表で は国語研長単位形態論情報・文節境界・文節係り受 けアノテーション作業の概要を示すとともに、2022 年 1 月時点での基礎統計を示す。

## 1 はじめに

国立国語研究所共同研究プロジェクト「大規模日常会話コーパスに基づく話し言葉の多角的研究」で は、『日本語日常会話コーパス』(CEJC) の構築を進 めており、50 時間分の会話データを 2018 年 12 月に モニター公開し [1]、2022 年春には 200 時間分の会話データを公開予定である。CEJC は設計 $[2,3]$ に基 づき、収録 $[4,5] \cdot$ 転記 [6] ・発話単位付与 $[7,8] \cdot$ ・国語研短単位形態論情報付与 - 国語研長単位形態論情報付与・文節境界付与・文節係り受けアノテーショ ンの順に作業を実施した。本発表では CEJC に対す る長単位形態論情報付与・文節境界付与・文節係り 受けアノテーションについて示す。

書き言葉を対象とした文節係り受けアノテーショ ンとして、1995 年の毎日新聞記事を対象とした京都大学テキストコーパス [9]、京都大学ウェブリード 文コーパス [10]、『現代日本語書き言葉均衡コーパ ス』(BCCWJ) を対象とした BCCWJ-DepPara [11] が ある。話し言葉を対象とした文節係り受けアノテー ションは『日本語話し言葉コーパス』[12]に含まれ ているが、主として独話を対象としており、対話を 対象とした大規模な係り受けアノテーションは存在 しない。
2 節では、アノテーション作業の概要として、国語研長単位形態論情報・文節境界アノテーション 作業と文節係り受けアノテーションについて示す。 3 節では、2022 年 1 月現在のデータの基礎統計を 示す。

## 2 アノテーション作業

## 2.1 国語研長単位形態論情報・文節境界ア ノテーション

以下では国語研長単位形態論情報・文節境界アノ テーションについて述べる。上流工程として収録・転記・短単位形態論情報が完了しているデータに 対して、長単位解析器 Comainu [13] により解析した データを対象に進める。短単位形態論情報付与 [14] では、転記に基づく形態に対する形態素の認定を行 う。この時点では「可能性に基づく品詞体系」が付与される。長単位形態論情報付与 [15] では、文節の 認定を行った上で、各文節の内部を規則に従って自立語部分と付属語部分に分割していくという手順 で単位認定を行う。複合的な機能表現を含めて、複合語を構成要素に分割することなく全体で一つと して扱う。長単位の品詞認定においては、「用法に 基づく品詞体系」として、複合化した結果の単位が 文脈内で統語的にどのように振る舞うかに基づき、品詞を認定する。作業は 2019 年 2 月から 2020 年 8 月にかけて、作業者 2 名 ${ }^{11}$ によ、2 次チェックま で行った。その後は、上流工程の修正が行われた際 に、もしくは、係り受け情報アノテーションで不都合な点が見られた際に、追随して長単位形態論情報 に対する修正を繰り返し行った。作業には国語研内 のコーパス管理システム『大納言』[16]を用いた。単位認定基準は基本的に BCCWJ で整備された規程集 [15] に基づく。しかしながら、話し言葉を付与

1）短単位形態論情報修正を作業した 3 名が、一時的に作業を 補助したこともあった。

するうえで規程に定義されていない表現が出現し た。そのような場合、より自然な係り受け木を表現 しやすい単位を認定することを心がけた。

以下具体的な例を示す。

例えば、言いよどみが長単位の中に包摂したほう がわかりやすい場合には包摄するようにした。

(1) \|店員|シ|さん\|が\|

【T001_009-IC03】

短単位境界を卜、長単位境界を\|で表現する。(1)で は、言いよどみ「シ」を含む形で、長単位「店員シ さん」を認定する。

他の例として省略による長単位解析誤りがある。書き言葉においては助詞が手がかりとなり文節境界 が認定しやすい。

(2) \|余裕\|なかっ|た\|気|が\|する $\|$

【T001_009-IC01】

(2)では、「余裕」のあとの助詞が省略されているた めに長単位解析器が誤って連結していたのを修正 した。

(3) || 結構\|し|てる\|人 ||いる|よ $\mid$

【T006_008a-IC04】

(3) では、「結構する」という単位が誤解析されてい たが、分割した。

長単位作業時に短単位作業の誤りが多く見つかつ た例として、フィラーと代名詞・連体詞の曖昧性が ある。

(4) \|あれ\|もう\|声変わり\|

【T011_007-IC06】

(4)では、「あれ」が当初代名詞とされていたが、音声を聞きながら係り受け・共参照を含めて検討する と指示するものもない表現であったため感動詞と した。

(5) ||酵素|うん|たら|かん|たら\|って\|

【T002_019-IC01】

(5) では、短単位の規程上「云（名詞）」「たら（副助

ているが、係り受けを付与するにあたって「酵素う んたらかんたら」の 1 普通名詞に結合した。

## 2.2 文節係り受けアノテーション

係り受けアノテーションは BCCWJ-DepPara[11]の 基準に準じる。BCCWJ-DepParaでは、通常の係り受け相当の "D"、文境界相当の"Z"、係り受けを付与 するうえで後続文節と連結する"B"、係り先が決め られない "F" の 4 つのラベルを認定している2)。こ の 4 種のラベルを本研究にも適用するが、係り受け が決められない文節にはラベル"F"を付与し、無理 に係り受けを決めないという基本方針を決め、作業 を進めた。BCCWJ-DepPara では並列構造の範囲に ついても付与したが、CEJC に対しては現在のとこ ろ並列構造の範囲の付与を行っていない。作業には コーパス管理システム『ChaKi.NET』[17]を用いた。作業は 2020 年 4 月から開始し、2021 年 3 月に 2 次 チェックまで終了した。その後は、上流工程の修正 が行われた際に、追随して係り受け情報に対する修正を繰り返し行った。

アノテーションする単位は、発話単位 [7] に基づ く。このため、書き言葉の文とは異なり、返答など 1 文節 1 発話単位のものが多い一方、明確に文末が 定義できない長い発話単位もあり、単位末が終助詞・接続助詞で終わることも多い。また、単位を 1 発話単位としてするため、話者間の係り受けは付与 しない。

図 1 に CEJC に対する係り受けアノテーション例 を示す。フィラーや言いよどみが 1 文節をなす場合 （図中 1 例目と 2 例目）には、それぞれラベル"F"を 付与したうえで、最後の要素に係るようにした。ま た、発話末は必ずしも述語であるわけではない。図中 3 例目のように、発話末が副詞のような述語に相当しない場合もある。その場合、述語に係るべき要素は最終要素に係るようにした。

## 3 基礎統計

2022 年 1 月現在、上流工程の転記・短単位の修正 がまだ続いており、最終の基礎統計は異なる可能性 がある。以下では、暫定版として 2022 年 1 月 10 日時点の情報を示す。

表 1 基礎統計

2） CSJ[12]では、通常の係り受けをラベルなしとし、並列"P" ・部分並列"I"・狭義の同格"A"・広義の同格（総称など）"A2"・倒置"R"・係り受けの交差"X" $\cdot$ 接続詞"C" ・ 感動詞"E"・言い直 し"D"・フィラー"F"・係り先のない文節"N"・呼びかけ"Y"な どのラベルが定義されている。

で えューつど』 江戸時代の 半分の 米って ほとんど 仙台 東北地方だったんだよね

【C001_012-IC04】

CEJC 言いよどみの係り先

【K001_014-IC01】

CEJC述語以外の発話末

【S001_018-IC01】

図 1 CEJCに対する係り受けアノテーション例

表 1 に基礎統計を示す。平均発話長を 2.30 文節と 書き言葉と比べて極端に短い。発話末に係る文節数 が発話単位数より短いのは、後に示すとおり 1 文節 1 発話単位のものが多いためである。また全係り受 け数 75,852 のうち $46,173(60.87 \%)$ が発話末に係る (右隣接要素に係るものも含む)。

表 2 係り受けラベルの分布

表 2 に係り受けラベルの分布を示す。94.13\%の文節が通常の係り受けラベルで、 $5.63 \%$ の文節がフィ ラー・言いよどみなどの係り受けが決められないも のであった。BCCWJ-DepPara においては、長単位作業者（国語研内）と係り受け作業者（奈良先端大内）
とで異なる作業者が従事していたために、その䶡䶣 を吸収するために "B"ラベルを利用したが、今回の 作業者は長単位と係り受けの両方の作業に従事して いるために、このラベルは不要であった。また、発話単位に基づくために、「文の入れ子」を表現する ための "Z"も $0.22 \%$ と少なかった。

表 3 に発話長 ( 1 発話内の文節数) の分布を示す。 58,174 発話中 34,340 発話が 1 文節の発話、 8,779 発話が 2 文節の発話（合わせて $74.12 \%$ ）であった。 2 文節以下の場合、特殊な場合（係り先がない・2 文 に分かれる・倒置など）を除いて、係り受け木の構造は一意に決まるため、実質的なアノテーション作業は発生しない。係り受けアノテーション作業は残 りの 3 文節以上の発話が対象となるが、 2 文節以内 のものについても長単位の再定義・フィラー・言い よどみの認定などに時間を要し、場合によって、短単位形態論情報の修正を行った。

}} & & \\

表 4 係り受け長の分布

表 4 に係り受け長の分布を示す。全部で 75,852 の 係り受け関係のうち 44,491 (58.65\%) のものが右隣り
のものにかかる（係り受け長 1）であった。係り受 け長が負の値のものは倒置の係り受けであることを 表す。倒置の係り受けが少ないのは、倒置が発生し た箇所で発話単位が分割されて、別の発話単位に認定される傾向があるためである。

## 4 おわりに

本発表では、『日本語日常会話コーパス』(CEJC) に対する係り受け情報アノテーションについて解説 した。2022 年春に有償版 CEJC 契約者向けに共有す る予定である。

本研究は CEJC のコアを対象に、明確な係り受け 関係を "D" ラベルで付与するとともに、不明確な係 り受け関係を "F" ラベルで付与したに過ぎない。よ り精緻な話し言葉向けの係り受け関係ラベルが、吉田ら [18] により提案されている。本データに基づい て、話し言葉特有の不明確な係り受け関係のラベル 付けが進むことを期待する。

また統語的な性質としては、省略が多く、発話単位に分割されているため、統語分析に向かないデー タとなった。実質的な統語分析を行うためには、名詞句省略のみならず、述語省略を含めたゼロ照応を 定義した述語項構造のアノテーションが必要であろ う。その作業においては、述語項構造に基づく共参照情報を付与することが重要である。共参照情報に ついても、本データの場合「同一話者の異なる発話 (単位)」「異なる話者の発話」「発話されないが動画 に写り込んでいるモノ（コト）」「発話されず、動画 にも写り込んでいないモ)（コト）」といったレべ ルがある。述語項構造のアノテーションに向けて、名詞句省略・述語省略を含めた共参照情報の整理を 進めたい。

## 謝辞

実アノテーション作業に従事した山下華代氏に感謝 の意を表します。

本文中にもお示しした通り、本研究実施時に東京大学の吉田奈央氏・宮尾祐介氏に様々な助言を受け ました。その助言の一部は昨年の NLP2021 で発表 されております [18]。ここに記して、感謝の意を表 します。

本研究は国立国語研究所コーパス開発センター 共同研究プロジェクトの成果です。また、科研費 17H00917 の支援を受けました。

## 参考文献

[1] 小磯花絵, 天谷晴香, 居關友里子, 臼田泰如, 柏野和佳子, 川端良子, 田中弥生, 伝康晴, 西川賢哉. 『日本語日常会話コーパス』モニター版の設計・評価・予備的分析. 国立国語研究所論集, No. 18, pp. 17-33, jan 2020.

[2] 小磯花絵, 居關友里子, 臼田泰如, 柏野和佳子, 川端良子, 田中弥生, 伝康晴, 西川賢哉. 『日本語日常会話 コーパス』の構築. 言語処理学会第 23 回年次大会発表論文集, pp. 775-778, 2017.

[3] Hanae Koiso, Yasuharu Den, Yuriko Iseki, Wakako Kashino, Yoshiko Kawabata, Ken'ya Nishikawa, Yayoi Tanaka, and Yasuyuki Usuda. Construction of the Corpus of Everyday Japanese Conversation: An interim report. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018). European Language Resources Association (ELRA), May 2018.

[4] 田中弥生, 柏野和佳子, 角田ゆかり, 伝康晴, 小磯花絵. 『日本語日常会話コーパス』の構築: 会話収録法に着目して. 国立国語研究所論集, No. 14, pp. 275-292, Jan 2018.

[5] 田中弥生, 柏野和佳子, 角田ゆかり, 伝康晴, 小磯花絵. 『日本語日常会話コーパス』の構築-個人密着法 に基づく会話の収録-. Technical report, 国立国語研究所プロジェクト報告書, March 2018.

[6] 臼田泰如, 川端良子, 西川賢也, 石本祐一, 小磯花絵.『日本語日常会話コーパス』における転記の基準と 作成手法. 国立国語研究所論集, No. 15, pp. 177-193, July 2018.

[7] Japanese Discourse Research Initiative. 発話単位ラベリ ングマニュアル version 2.1. Technical report, Japanese Discourse Research Initiative, Jan 2017.

[8] Yasuharu Den, Hanae Koiso, Takehiko Maruyama, Kikuo Maekawa, Katsuya Takanashi, Mika Enomoto, and Nao Yoshida. Two-level annotation of utterance-units in Japanese dialogs: An empirically emerged scheme. In Proceedings of the Seventh International Conference on Language Resources and Evaluation (LREC'10), Valletta, Malta, May 2010. European Language Resources Association (ELRA).

[9] Sadao Kurohashi and Makoto Nagao. Buinding a japanese parsed corpus while improving the parsing system. In Proceedings of the 1st International Conference on Language Resources and Evaluation (LREC-98), pp. 719724. European Language Resources Association (ELRA), 1998.

[10] 萩行正嗣, 河原大輔, 黒橋禎夫. 多様な文書の書き始 めに対する意味関係タグ付きコーパスの構築とその 分析. 自然言語処理, Vol. 21, No. 2, pp. 213-248, 2014.

[11] 浅原正幸, 松本裕治. 『現代日本語書き言葉均衡コー パス』に対する文節係り受け・並列構造アノテー ション. 自然言語処理, Vol. 25, No. 4, pp. 331-356, 2018.

[12] 内元清貴, 丸山岳彦, 高梨克也, 井佐原均. 『日本語話し言葉コーパス』における係り受け構造付与 (version 1.0). Technical report, 『日本語話し言葉コー
パス』の解説文書, 2003

[13] 小澤俊介, 内元清貴, 伝康晴. 長単位解析器の異なる 品詞体系への適用. 自然言語処理, Vol. 21, No. 2, pp. 379-401, 2014.

[14] 小椋秀樹, 小磯花絵, 冨士池優美, 宮内佐夜香, 小西光, 原裕. 『現代日本語書き言葉均衡コーパス』形態論情報規程集 第 4 版（下）. Technical report, 国立国語研究所内部報告書, 2011.

[15] 小椋秀樹, 小磯花絵, 冨士池優美, 宮内佐夜香, 小西光, 原裕. 『現代日本語書き言葉均衡コーパス』形態論情報規程集 第 4 版（上）. Technical report, 国立国語研究所内部報告書, 2011.

[16] 小木曽智信, 中村壮範. 『現代日本語書き言葉均衡 コーパス』形態論情報アノテーション支援システム の設計・実装・運用. 自然言語処理, Vol. 21, No. 2, pp. 301-332, 2020.

[17] Masayuki Asahara, Yuji Matsumoto, and Toshio Morita. Demonstration of ChaKi.NET - beyond the corpus search system. In Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics: System Demonstrations, pp. 49-53, Osaka, Japan, December 2016. The COLING 2016 Organizing Committee.

[18]吉田奈央. 『日本語日常会話コーパス』に対する自然会話特有の現象を区別するための係り受け関係ラ ベルの付与. 言語処理学会第 27 回年次大会発表論文集, pp. 1129-1133, 2021.


# Teacher-Student 学習を利用したラベル誤りを 含むデータにおける固有表現認識の性能向上

田川裕輝 ${ }^{1}$ 中野騰久 ${ }^{1}$ 尾崎良太 ${ }^{1}$ 谷口友紀 ${ }^{1}$ 大熊智子 ${ }^{1}$ 鈴木裕紀 ${ }^{2}$ 木戸尚治 ${ }^{2}$ 富山憲幸 ${ }^{2}$ 1 富士フイルム株式会社 2 大阪大学大学院医学系研究科 \{yuki.tagawa, norihisa.nakano, ryota.ozaki, tomoki.taniguchi, tomoko.ohkuma\}@fujifilm.com \{y-suzuki,kido, tomiyama\}@radiol.med.osaka-u.ac.jp
## 概要

情報抽出タスクの一つに固有表現認識（NER）が ある。医療などの特定の分野を対象に NER の学習 データを作成する場合，ラベル付け作業には対象分野の専門知識が必要となり，作業者間で解釈の違い や迷いが生じてしまう. その結果, ラベルにノイズ を含むデータが作成され，モデルの性能劣化につな がる. 本研究ではアンサンブルと Teacher-Student 学習（TS 学習）を利用したラベルノイズを含む学習 データにおける NER の学習方法を提案する． 4 種類 のラベルノイズを定義し，疑似的に作成したノイズ を含むデータを用いてその含有率ごとの性能評価実験を行った。その結果，提案手法がノイズの影響を 緩和し性能向上に寄与することが確認できた。

## 1 はじめに

固有表現認識（NER）とはテキストから固有表現 （NE）に当たるスパン（NE の開始，終了位置）とス

近年では深層学習の発展に伴い，学習データを大量に用意し，モデルを学習させる手法 $[1,2]$ が多い. しかし，ラベルにノイズが含まれている場合，深層学習を利用した手法ではノイズに対しても過学習 し，性能劣化につながる問題が指摘されている [3].

図 1 に医療レポートを例として NER におけるラ ベルノイズの例を示す. 図 $1 \mathrm{~b}$ では “ $\mathrm{S} 1$ ” が適切なス パンであるが，実際には “S1に”というスパンに対 してラベルが付いている。このようなノイズを含ん だデータが作成される問題は避けることが難しい.

学習データにノイズが含まれている場合の対策 にモデルのアンサンブルがある. アンサンブルとは 複数の異なるモデルの推論結果を統合し, 最終出力

(a) 正解データ

(b) Span-shift NE に対するスパンがずれているデータ

(c) Entity-missing NE が抜け落ちているデータ

(d) Over-labeling NE でないスパンにラベルが付いたデータ

(e) Label-swapping 異なるラベルが付いているデータ

図 1 NER におけるラベルノイズの例

を得る手法である．単一のモデルを学習させるとノ イズに対して過学習してしまうが，異なるデータや シード值で学習された複数のモデルの出力を統合す ることで，ノイズの影響を緩和できることが知られ ている [4]. しかし，推論時に複数のモデルで推論 するため，最終出力を得るまでに時間がかかるとい う問題がある．特に，即時性の必要なアプリでは推論時に複数のモデルを利用する手法は扱いづらい。

本研究では Teacher-Student 学習 (TS 学習) [5] を 利用したラベルノイズを含む学習データでの NER の学習方法を提案する。提案手法の概要図を図 2 に 示す. 提案手法は訓練セットを複数のサブセットに 分割し，各サブセットで複数の教師モデルを訓練す る. 次に，各教師モデルの出力分布を統合した分布 に近づけるように単一の生徒モデルを訓練する．提案手法によりノイズの影響が緩和された単一のモデ ルが得られ，複数のモデルで推論するアンサンブル と比べて最終出力を得るまでの時間が抑えられる。
本研究の貢献は以下である. i) ラベルノイズを含 む学習データにおける NER の性能向上を目指し， アンサンブルと TS 学習を組み合わせた手法を提案 する. ii) 4 種類のラベルノイズを疑似的に付与した データセットにおいて提案手法は高い性能であり， ノイズの影響を緩和できることを確認する。

## 2 関連研究

$\mathrm{NE}$ のラベル付けは難しく，ラベルノイズが混 ざったデータが作成されてしまう $[6,7]$. NER では 大量のデータで学習する手法が多く提案され, 高い 性能が報告されている $[1,2]$ が，ノイズが含まれた データで学習すると, モデルはノイズに対して過学習し，性能が劣化することも知られている [3].

この問題に対して, Cross-Weigh [6] ではモデルの 予測ラベル系列と正解ラベル系列が一致しない場合，その学習サンプルはノイズを含むと推定し，損失値に低い重みを掛けることで，ノイズを含む学習 サンプルの学習への影響を小さくしている.この手法はサンプル単位で重み付けするため，同一サンプ ル内にノイズを含む $\mathrm{NE}$ ，含まない $\mathrm{NE}$ が混ざって いる場合に区別して扱えない，一方で，提案手法で はサンプル単位ではなく, 複数の教師モデルが予測 した各トークンに対するラベル確率分布を利用する ことで，トークン単位でノイズの影響を抑えながら モデルを学習することができる.

他にもノイズを含む学習データにおける NER の 研究 $[8,9,10]$ があるが，これらは一部の $\mathrm{NE}$ が O ベルとなるノイズのみを対象としている。実際に NER のラベルノイズを調査した結果，スパンの間違 いなども確認された。そこで，本研究では NER の ラベルノイズを 4 種類に分類し，各ノイズを疑似的 に付与した学習データを用意し，性能を比較する。

## 3 提案手法

提案手法では複数の教師モデルを訓練した後，そ れぞれの教師モデルの出力に近づけるように単一の 生徒モデルを訓練し, 最終的な推論に用いるモデル を獲得する.また，モデルには BERT-CRFを用いる。

## 3.1 生徒モデルの学習

図 2(a) は生徒モデルの学習方法を示している. ま ず, 学習データ $D=\left.\{\left(x_{i}, y_{i}\right)\right.\}_{i=0}^{N}$ をランダムに分割し,複数のサブセット $\left.\{d^{k}\right.\}_{k=1}^{K}, d^{k}=\left.\{\left(x_{h}^{k}, y_{h}^{k}\right)\right.\}_{h=0}^{H}, K \geq 2$ を作成する. $d^{k}$ を用いて $k$ 番目の教師モデル $t^{k}$ を

(a) 生徒モデルの学習

（b）MBANを適用した場合の生徒モデルの学習

図 2 提案手法の概要図

訓練する. 訓練には以下の損失関数 $L_{t e a^{k}}$ を用いる.

$
\begin{aligned}
& L_{t e a^{k}}=\sum_{h=0}^{H} L_{n l l}\left(x_{h}^{k}, y_{h}^{k}\right) \\
& L_{n l l}(x, y)=-\log p(y \mid x)
\end{aligned}
$

ここで， $L_{n l l}$ とはトークン系列 $x$ に対するラベル系列 $y$ の負の対数尤度関数である. $x_{h}^{k}$ と $y_{h}^{k}$ はそれぞ れ $k$ 番目のサブセット $d_{k}$ 中の $h$ 番目のトークン系列とそれに対応する $\mathrm{NE}$ ラベル系列である.

次に，訓練した $K$ 個の教師モデル $\left.\{t_{k}\right.\}_{k=1}^{K}$ の出力分布を統合した分布に近づけるように，以下の損失関数 $L_{s t u}$ を用いて生徒モデル $s$ を訓練する.

$
\begin{array}{r}
L_{s t u}=\sum_{i=0}^{N}\left.\{\alpha \cdot L_{n l l}\left(x_{i}, y_{i}\right)+\beta \cdot L_{k d}\left(\tilde{p}_{i}, q_{i}\right)\right.\}, \\
\tilde{p}_{i}=\sum_{k=1}^{K} w_{i}^{k} \cdot p_{i}^{k},
\end{array}
$

ここで， $L_{k d}$ とは $x_{i}$ に対する各教師モデル $t^{k}$ の各 トークンに対する出力分布 $p_{i}^{k} \in \mathbb{R}^{J \times C}$ を統合した分布 $\tilde{p}_{i} \in \mathbb{R}^{J \times C}$ と生徒モデル $s$ の出力分布 $q_{i} \in \mathbb{R}^{J \times C}$ の差異を表す尺度であり，KL-Divergence を利用す る. $J$ とはトークン系列長であり， $C$ とは $\mathrm{NE}$ ラべ ル数である. $p_{i}^{k}$ と $q_{i}$ は Forward-Backward アルゴリ ズムにより算出する。 また, $w_{i}^{k}$ とは $i$ 番目の学習 データ $x_{i}$ を処理する際の $k$ 番目の教師モデル $t^{k}$ に 対応する重みである. $\alpha$ と $\beta$ は $L_{n l l}$ と $L_{k d}$ のバラン スをとるための重みパラメータである.

## 3.2 教師モデルに対する重みの推定

複数の教師モデルの出力分布を統合する際の単純 な方法として平均が挙げられる. 要するに $w_{*}^{k}=\frac{1}{K}$ である。一方で，生徒モデル学習時に学習するサン プルのトークン系列 $x_{i}$ に対して，その系列と類似し たトークン系列を含むサンプルで学習した教師モデ ルは，その他の教師モデルと比べて， $x_{i}$ に対して適切なラベル確率分布を推定できると考えられる。 そ こで,$x_{i}$ と各教師モデル $t^{k}$ の学習データであるサブ

セット $d^{k}$ との類似度を測り，その類似度を重み $w_{i}^{k}$ として用いる。トークン系列間の類似を測る尺度に は BERTScore ${ }^{1)}[11]$ を利用する.

## 3.3 Multiple Born-again Networks の導入

Born-again Networks [12]（BAN）とは教師モデルを 基に訓練された生徒モデルが次の世代では教師モデ ルに入れ替わり，別の生徒モデルを学習する機構で ある. 通常，BANは単一の教師モデルと生徒モデル を交互に入れ替えながら学習を進めていく。本研究 では BANを複数のモデルで学習を進めるように拡張した Multiple Born-again Networks（MBAN）を提案 する、MBANを適用した提案手法の概要図を図 2(b) に示す. MBAN は複数の教師モデルを基に複数の生徒モデルを入れ替えながら訓練し, 最後に単一の生徒モデルを訓練する。事前に定義した世代 $G$ のう ち, $g$ 世代目 $(1 \leq g \leq G)$ の $k$ 番目の生徒モデル $s_{g}^{k}$ は以下の損失関数 $L_{s t u_{g}^{k}}$ を用いて訓練する.

$
L_{s t u_{g}^{k}}=\sum_{h=0}^{H}\left.\{\alpha \cdot L_{n l l}\left(x_{h}^{k}, y_{h}^{k}\right)+\beta \cdot L_{k d}\left(\tilde{p}_{h, g-1}, q_{h, g}^{k}\right)\right.\}
$

ここで， $\tilde{p}_{h, g-1} \in \mathbb{R}^{J \times C}$ とは $g-1$ 世代目の各生徒モデル $s_{g-1}^{*}$ の各トークンに対する出力分布 $p_{h, g-1}^{k} \in \mathbb{R}^{J \times C}$ を統合した分布であり, $q_{h, g} \in \mathbb{R}^{J \times C}$ とは生徒モデル $s_{g}^{k}$ の出力分布である. 次世代 $g+1$ では生徒モデル $\left.\{s_{g}^{k}\right.\}_{k=1}^{K}$ が教師となり, 異なる生徒モデル $\left.\{s_{g+1}^{k}\right.\}_{k=1}^{K}$ を訓練する. 最後に生徒モデル $\left.\{s_{G}^{k}\right.\}_{k=1}^{K}$ を教師として，推論のためのモデルを（3）式を用いて訓練する.

## 4 実験

提案手法の有効性を検証するため，日本語読影レ ポートデータセットを用いる2).まず，このデータ にノイズを疑似的に付与したデータを作成する。次 に，そのデータでモデルを学習し，ラベルノイズを 含まないテストセットに対する性能を比較する.

## 4.1 ラベルノイズの種類

本研究では以下の 4 種類のノイズを定義する。ま た，各ノイズの例を図 $1 \mathrm{~b}, 1 \mathrm{c}, 1 \mathrm{~d}, 1 \mathrm{e}$ に示す.

・Span-shift NE のスパンが正解とは異なる位置に ずれたノイズである. ランダムに $\mathrm{NE}$ を選択
^{1)}$ BERTScore の $\mathrm{F}$ 值を利用した. 利用した事前学習モデルに ついては付録を参照されたい.

2) データセットの詳細に関しては付録を参照されたい.
}

し，その $\mathrm{NE}$ の境界を 1 文字ずらすことにより， ノイズを付与した. ずらす際には $\mathrm{NE}$ の右，ま たは左の境界を，増やす，または減らすかの 4 種類の組み合わせの内，ランダムに選択した。3)
- Entity-missing NE のスパンに対して誤ってOラ ベルが付いたノイズである. ランダムに $\mathrm{NE}$ を 選択し，その $\mathrm{NE}$ のラベルを $\mathrm{O}$ ラベルに置換す ることでノイズを付与した。
- Over-labeling NEでないスパンに対して誤って NE ラベルが付いたノイズである．Ｏラベルが 付いている単語のうち，ランダムに選択された 単語に，ランダムに選択した O ラベル以外のラ ベルを付けることでノイズを付与した.
- Label-swapping NE のスパンに対して正解とは異 なるラベルが付いたノイズである. ランダムに $\mathrm{NE}$ を選択し，その $\mathrm{NE}$ のラベルを正解のラベ ルと Oラベル以外のラベルに置換することでノ イズを付与した.

## 4.2 比較手法

モデル4)の学習方法として以下の手法を比較し，提案手法の有効性を検証する。

1. Single 単一のモデルを学習させる手法.

2. Ensemble 初期パラメータの異なる複数のモデル を学習し，推論時は各モデルの出力結果を多数決で統合したものを最終出力とする手法.

3. CW Wang ら [6] の手法. Encoderには提案手法と 同じ事前学習モデルを利用する.

4. BAN 単一の教師モデルを学習させ，次世代では その教師モデルに近づけるように異なる生徒モ デルを学習させる手法.

5. Ours(Ave) 各サブセットで学習した複数の教師モ デルの平均出力分布に近づくように生徒モデル を学習する手法.

6. Ours(Sim) 教師モデルの平均出力分布ではなく, 3.2 節で説明した教師モデルの加重平均分布に 近づくように生徒モデルを学習する手法.

7. Ours(Ave)+MBAN 手法 5 に MBANを加えた手法. 8. Ours(Sim)+MBAN 手法 6 に MBANを加えた手法. また, Ensemble, $\mathrm{CW}$ ，提案手法の訓練時のモデル数 は2とした。
^{3)} \mathrm{NE}$ のスパンが他の NE と重複することのないように事前に ノイズ付与の対象となる $\mathrm{NE}$ を選別し，ノイズを付与した.

4) 本研究ではベースのモデルとして BERT-CRFを利用する. パラメータ，事前学習モデルについては付録を参照されたい.
}
表 1 Span-shiftを付与したデータでの性能.

表 2 Entity-missing を付与したデータでの性能

## 4.3 実験結果

各データセットで学習したモデルのテストセッ トに対する Micro-F1 値を表 1，2，3，4 に示す.太字は各列で最高性能を意味する. Ours(Ave)+MBAN, Ours(Sim)+MBAN とべースラインである Single, Ensemble を比較すると多くの場合で MBANを導入 した提案手法の性能が高い結果となった. また，全体性能を比較すると全てで MBANを導入した提案手法の性能が最も高いことがわかる.この結果はノ イズを含むデータでの学習において，MBANを導入 した提案手法が効果的であることを示唆している.

一方で，MBANを導入していないOurs(Ave) や Ours(Sim) はベースラインと比べて性能が向上して いない。提案手法は学習データを分割したサブセッ トで教師モデルを学習するため，1 世代目では教師 モデルの学習が進んでおらず，生徒モデルの性能も 向上しなかったと考えられる. 特に，Ours(Sim) は 教師モデルの加重平均分布を基に学習するため, 高 い信頼度が算出された教師モデルの学習が停滯して いる場合, 生徒モデルは正解のラベル分布とは差異 のある分布で学習することとなる. その結果，学習 に悪影響を与え，性能が劣化したと考えられる。

表 5 に表 1，2，3，4 の結果から算出したノイズの 割合を固定し，各ノイズを均等に含む場合の性能を 示す. 提案手法の性能はノイズの割合が 0.4 の場合 を除き，その他手法と比べて有意な差を確認した。 ノイズの割合が 0.4 の場合の性能は $\mathrm{CW}$ が最も高い.表 3 Over-labelingを付与したデータでの性能.

表 4 Label-swapping を付与したデータでの性能.

表 5 ノイズの割合を固定し，各ノイズを均等に含む場合 の性能. †は提案手法とその他手法の間に有意水準 0.05 で差があることを示している。検定方法は笹野ら [13] に 従った.

2 節で説明したように， CW はサンプル単位でノイ ズの影響を緩和する手法である。一方で，提案手法 は教師モデルの各トークンに対する確率分布を利用 して学習するため，トークン単位でノイズの影響を 緩和する手法であり，サンプル単位でノイズの影響 を緩和する機構は備えていない。そのため，両者を 組み合わせることで更なる性能向上が期待できる。

また，表 1，2，3，4 の性能を比較すると，提案手法がその他手法より低い場合もある. 今後の課題と して，各手法がどのようなノイズに対して有効かな ど，手法とノイズ間の関係の分析が挙げられる。

## 5 おわりに

本研究ではラベルノイズを含む学習データにおけ るアンサンブルと TS 学習を組み合わせた NER の学習手法を提案した. また，ラベルノイズを付与した データにおいて，提案手法が高い性能であることを 確認した. 今後の課題は各ノイズと各手法間での性能差の詳細な分析である.

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[2] Xuezhe Ma and Eduard Hovy. End-to-end sequence labeling via bi-directional LSTM-CNNs-CRF. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1064-1074, Berlin, Germany, August 2016. Association for Computational Linguistics.

[3] Chiyuan Zhang, Samy Bengio, Moritz Hardt, Benjamin Recht, and Oriol Vinyals. Understanding deep learning requires rethinking generalization. In 5th International Conference on Learning Representations, ICLR 2017, Toulon, France, April 24-26, 2017, Conference Track Proceedings. OpenReview.net, 2017.

[4] David Opitz and Richard Maclin. Popular ensemble methods: An empirical study. Journal of Artificial Intelligence Research, 1999.

[5] Geoffrey Hinton, Oriol Vinyals, and Jeff Dean. Distilling the knowledge in a neural network. arXiv preprint arXiv:1503.02531, 2015.

[6] Zihan Wang, Jingbo Shang, Liyuan Liu, Lihao Lu, Jiacheng Liu, and Jiawei Han. CrossWeigh: Training named entity tagger from imperfect annotations. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 5154-5163, Hong Kong, China, 2019. Association for Computational Linguistics.

[7] Frederick Reiss, Hong Xu, Bryan Cutler, Karthik Muthuraman, and Zachary Eichenberger. Identifying incorrect labels in the CoNLL-2003 corpus. In Proceedings of the 24th Conference on Computational Natural Language Learning, pp. 215-226, Online, November 2020. Association for Computational Linguistics.

[8] Kun Liu, Yao Fu, Chuanqi Tan, Mosha Chen, Ningyu Zhang, Songfang Huang, and Sheng Gao. Noisy-labeled NER with confidence estimation. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 3437-3445, Online, June 2021. Association for Computational Linguistics.

[9] Zhanming Jie, Pengjun Xie, Wei Lu, Ruixue Ding, and Linlin Li. Better modeling of incomplete annotations for named entity recognition. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 729-734, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[10] Stephen Mayhew, Snigdha Chaturvedi, Chen-Tse Tsai, and
Dan Roth. Named entity recognition with partially annotated training data. In Proceedings of the 23rd Conference on Computational Natural Language Learning (CoNLL), pp. 645-655, Hong Kong, China, November 2019. Association for Computational Linguistics.

[11] Tianyi Zhang, Varsha Kishore, Felix Wu, Kilian Q. Weinberger, and Yoav Artzi. Bertscore: Evaluating text generation with bert. In International Conference on Learning Representations, 2020.

[12] Tommaso Furlanello, Zachary Lipton, Michael Tschannen, Laurent Itti, and Anima Anandkumar. Born again neural networks. In Jennifer Dy and Andreas Krause, editors, Proceedings of the 35th International Conference on Machine Learning, Vol. 80 of Proceedings of Machine Learning Research, pp. 1607-1616, Stockholmsmässan, Stockholm Sweden, 10-15 Jul 2018. PMLR.

[13] 笹野遼平, 黒橋禎夫. 大域的情報を用いた日本語固有表現認識. 情報処理学会論文誌, Vol. 49, No. 11, pp. 3765-3776, nov 2008.
表 6 データセットの統計量

表 7 固有表現ラベルとその定義

## A データセットの詳細

本研究で利用した日本語読影レポートデータセッ トの統計量を表 6 に，ラベルの定義を表 7 に示す.病変，形状変化，変化，性状に関しては実際にそれ が生じている（Positive）のか否か（Negative）の事実性が“認められる”や“なし”などの表現でレポー 卜に記載される。この事実性も固有表現と同時に推定するために，NE ラベルに事実性を表す Positive と Negative を結合したもの (例えば，病変 $\mathrm{P}$, 変化 $\mathrm{N}$ と いったもの)をラベルとして用意し, モデルを学習 させた．また，NER の学習には $\mathrm{NE}$ の開始を意味す る Begin，NE の連続を意味する Inside，NEではない ことを意味するOtherによって NE の境界を識別す る BIO 方式を採用した.

## B モデルのパラメータについて

本研究ではベースモデルとして BERT-CRFを利用 した. BERT-CRF の学習率は $5.0 \times 10^{-5}$, バッチサ イズは $16, \alpha$ は $0.5, \beta$ は 0.5 とした. これらのパラ メータはいくつかの候補に対して開発セットに対
する性能を基にグリッドサーチにより決定した。ま た，MBANを適用した提案手法，Cross-Weigh，BAN の世代数 $G$ は 1 から 5 を試し，最も開発セットに対 して性能が高い世代のモデルを評価のためのモデル として選択した。

## C 事前学習モデルについて

本研究では BERT-base [1]を事前学習モデルとし て利用した。この BERT は約 686 万文からなる日本語読影レポートを用いて Masked Language Model で訓練したモデルである。また，読影レポートを NEologd 辞書 5) を組み込んだ MeCab で単語分割し た後, 文字単位のサブワードに分割することで 3,852 の語彙を構築した。
^{5)}$ https://github.com/neologd/mecab-ipadic-neologd
}


# Predicting Click-through Rates of Text Search Ads Using Handcrafted Features

Melvin Charles O. DY
OPT Inc. AI Solutions Development Dept. (株式会社オプトAIソリューション開発部)
m.dy@opt.ne.jp
}

\begin{abstract}
In this paper, we present the results of our work on predicting CTR from search ad texts using an implementation of handcrafted features, and their use in several regression models. Our approach is shown to have some advantages over an approach that uses only BERT-like learned features.
\end{abstract
## 1 Introduction

## 1.1 Motivations

The question of optimizing for clicks is an evergreen matter of interest in the world of online advertising. While there are many factors involved in between the creation of ad materials and their final presentation to the end-user, including bidding for prime positions, and optimization on the platform side, the use of click-through rate ("CTR") as a metric and objective variable for the entire process is generally accepted.

Many business models exist wherein higher CTR translates into better remuneration for ad agencies. As such, models that can predict the CTR of a given set of parameters can help ad agencies choose between alternative proposals, minimizing the need for audience test strategies, reducing workloads, associated costs, and lead times, and ultimately improve profit margins.

On a related note, a rising trend among advertisers is the development and use of generative text models and systems that can automate the production of text for use in ads, whether as the primary content or as a component in other ad formats [1]. Some such systems have been released for use by individuals or small business owners, who do not necessarily have the expertise to know what to write, nor the experience to know what works best. CTR prediction models coupled to such generative systems can lead to highly-optimized workflows and results.

That is not to say that human knowledge and experience is no longer useful. Though CTR prediction is generally not a part of the traditional ad creation process, ad creators have always sought to maximize CTR through their choices and craft. It is my belief that this somewhat nebulous body of knowledge can be leveraged to produce a system that lends clarity and form to the ad creation process better than black-box models.

## 1.2 Clarification

Much of the work done on CTR prediction in the digital ad space appears to be focused on the task of predicting whether an ad under a given set of circumstances is going to be clicked or not. Many popular datasets used for CTR prediction for online ads (Criteo and Avazu datasets) present this task, with various metadata variables and anonymized categorical values, the semantics of most of which are not publicly known $[2,3]$.

There appears to be very little publicly-available work on CTR prediction using the actual text of the ads. This is not particularly surprising, as ad agencies and platforms are generally not at liberty to release the texts alongside performance metrics. Some of the categorical variables in the aforementioned datasets may actually be representations of the ad copy texts, but most researchers still do not have direct access to the plaintext corpora of particular interest in the primary task that was the focus of this study.

## 1.3 Task Definition

The task in question was to predict the CTR of sets of texts (described in more detail in a later section) intended for use in text ads, specifically those served up in relation to a search query on a search engine.

As I touched upon in the section on motivations, one of the intentions behind the development of this system was to support our ad creative teams in finding the best phrasing for ad copy texts that would lead to maximum profits. Of course, such a system could also be integrated with a generative text model to rank the generated texts, providing some insight as to which texts would provide the best results.

To that end, we were more interested in the effects of changes in the texts themselves, rather than how they would perform in specific circumstances, as could be described by the variables representing the context surrounding the ad (e.g. (Avazu) site_category, app_domain) and the user in question (e.g. (Avazu) device_id, device_ip).

On a related note, considering the advent of the "cookie-less Internet" [4], approaches that rely on access to third-party cookies to identify the context and user in question may be less viable, or at least will
become more challenging. This could mean a shift away from strategies that target specific user segments or even specific users, and back towards focusing efforts on the ads' contents to maximize clicks. This was a consideration that partly informed our decision to focus on the primary task as described.

## 2 Our Approach

## 2.1 Handcrafted Feature Extraction

Of central interest to this study was the development and testing of a feature extractor that used input from our creative teams, with regards to what they thought were factors that affected the performance of our ads.

In a preceding internal project, we had the goal of identifying factors that were adjustable or controllable within the ad creation process; the idea being that if we could analyze ads and metrics such that we could tell which elements contributed to better CTR, our creative teams could adjust their future work to incorporate more of those elements. Conversely, elements that actually tended to decrease CTR were also identified, and were to be avoided whenever possible in future work.

A subset of this previous work was directly related to the text used in banner ads. Although not expressly developed for the analysis of search ads, we deemed there was sufficient overlap that the schema could be used to explicitly extract features that could be used to gain insight into search ads as well.

The feature extractor developed using this tag schema was built on aggregations of regular expressions. When a regular expression representing certain words or phrases turned up a match, a tag was assigned to the text in question.

Fig. 1 Example of configuration for a tagger

For any given singular ad, there are multiple text fields, so each field was tagged separately, such that the resulting handcrafted feature (hereafter referred to as "tag-based feature(s)") column count for a given expanded search ad was $866 * 6=5,196$. However, this was a very large number of sparse dimensions, so it was reduced by aggregating tags by merging the features of the 3 ad title fields together and those of the 2 description fields together, such that the resulting number of tag-based feature columns was $866 * 2=$ 1732. The only exception to this is the LightGBM experiment detailed below, as we ended up applying a different means of reducing dimensions in that case.
Metadata features were also converted into $\mathrm{n}$-hot encodings. This amounted to a column count of 964 , a majority of which were representations of the account IDs associated with the ads.

Input text:【オトク】予約購入するとなんと10\%オフ!

Fig. 2 Handcrafted feature extraction

These features were extracted and saved to disk, to reduce the amount of computation and time needed during training.

Although not explicitly examined in this study, the handcrafted features are also directly translatable into outputs that can inform end-users as to what textual features affect the predicted CTR.

## 3 Experiments

We performed experiments in several different paradigms. These were all performed using scikit-learn or PyTorch on Google Colab instances, generally with a maximum of $12 \mathrm{~GB}$ RAM and $16 \mathrm{~GB}$ VRAM. Input tensors used in training and validation were also cached to disk after generation during the first epoch to reduce processing time.

## 3.1 Data

We used data collected using our company's ad performance tracking systems. Specifically, we used the metadata, text fields, impression and click counts for Japanese language expanded text ads on Google, which were active between 2017/07/01 and 2021/02/24 (the time of extraction), compiled by month, grouped separately by ad ID and device type. The individual ad IDs (as opposed to ad account IDs) were not factored into learning. We also filtered out instances with fewer than 100 monthly impressions.

Table 1. Data fields used

Metadata Ad account ID, year and month, device type, network type,

TD Fields Ad title 1, ad title 2, ad title 3, description 1 , description 2

The functions and limitations of the individual TD (title and description) fields are explained here: [5].

The total row count was 1,453,181. Train-validate-test splitting was performed with ratios of $0.7,0.2$, and 0.1 resulting in 1,017,227 training rows, 290,637 validation rows, and 145,317 test rows.

## 3.2 LightGBM

Using the n-hot encoded tag-based features did not show very promising results in the short time we devoted to this confirmatory experiment. Instead, we converted the permutations of the n-hot tag-based features per TD field and assigned integer values to be used as categorical value indices. We then performed a $\mathrm{K}$-fold ( $\mathrm{n} \_$splits $=5$, shuffle $=$ True) training regime using the metadata fields as categorical features and the categorically-encoded feature fields.

## 3.3 Multilayer Perceptron (“MLP”)

After experimenting with various network shapes (partly informed by [6]), layer depths, and node counts, we achieved the results presented in the next section with a network with 5 hidden layers of 600 nodes each. The input used n-hot encoded metadata fields (964 columns) and n-hot encoded TD feature fields ( $866+$ 866); the activation function was ReLU.

## 3.4 Fine-tuned DistilBERT

We decided to perform our experiments using DistilBERT-base-japanese [7]. We selected DistilBERT because it has been shown to perform only slightly worse than a comparable BERT model, while reducing memory and processing requirements by more than three-quarters, which was in line with one of our end-goals of producing an interactive web-based tool.

Fig. 3 Including metadata features as text for DistilBERT

We took the DistilBERT-base-japanese model publicly available via HuggingFace, and fine-tuned it using the DistilBertForSequenceClassification [8] class with num labels $=1$. The input for this model was expected to be text strings, so I converted the existing n-hot metadata encodings using the column headings, joined them with [SEP] tokens, and prepended them to the composite ad title and composite description strings, also separated with [SEP] tokens.

## 3.5 Ensemble

A very simple ensemble model that took the results of predictions from two disparate models and presented the mean of those values as its prediction was also developed. The internal models were an instance of the aforementioned MLP models and a fine-tuned DistilBERT model. The input for the MLP portion was n-hot encoded metadata and tag-based features. The DistilBERT portion was provided with the TD strings joined by [SEP] tokens.

## 3.6 Joint Learning

Finally, taking cues from [9], we constructed a joint learning network using discrete subnetworks for each modality of data, with another network built on top, using the concatenated hidden states of the subnetworks to perform the regression task.

Fig. 4 Diagram of Joint Learning Model

The figure above shows a joint learning model using 3 subnetworks, one for each modality of data. The three subnetworks and the regressor network (depicted after the concat step) all use MLP-like networks with dropout.

## 4 Results

The results presented in Table 2 are based on tests using the same test data, with the exception of the LightGBM experiment which was evaluated with $\mathrm{K}$-fold cross-evaluation. The ground truth values for CTR are in decimal form $(0.0 \sim 1.0)$, and the predicted values are normalized to the same scale before computing the error values.

The results in Table 3 describe the percentages of test cases that could be classified under the following categories:

- Overshoot - predicted value was greater than the ground truth value by more than 0.05 .

- Undershoot - predicted value was less than the ground truth value by more than 0.05 .

- Acc. (tol .05) - the absolute difference between the predicted and ground truth values was less than or equal to 0.05. This includes values categorized as VAcc.

- VAcc. (tol .005) - the absolute difference between the predicted and ground truth values was less than or equal to 0.005 .

Table 2. Primary results comparison

 & 0.7188 & 0.03543 & 0.05866 \\

Table 3. Secondary results comparison

} & \multicolumn{2}{l}{} & \multicolumn{2}{l}{} &  \\

MLP & $4.71 \%$ & $10.90 \%$ & $\mathbf{8 4 . 4 9 \%}$ & $23.23 \%$ \\
Fine-tuned & $12.31 \%$ & $8.79 \%$ & $78.90 \%$ & $15.95 \%$ \\
DistilBERT & & & & \\
Ensemble & $10.47 \%$ & $\mathbf{8 . 2 7 \%}$ & $81.26 \%$ & $15.14 \%$ \\
Joint Learning & $9.73 \%$ & $9.06 \%$ & $81.21 \%$ & $16.47 \%$ \\

※Corresponding graphs included in the Appendix.

## 4.1 Discussion

Our intention with the LightGBM experiment was to provide some baseline for the level of accuracy we can expect using our features. Though it performed well, the reduction of dimensions through categorical encoding of the permutations of the features leaves some doubt as to how it will behave with out-of-distribution patterns.

Based on the coefficient of correlation, the ensemble model performs the best. However, if we consider the distribution of accurate predictions, it is edged out by the MLP approach.

On a side note, we also tried an ensemble model where the DistilBERT submodel was finetuned with both metadata and TD strings - the very same model that performed best in our Fine-tuned DistilBERT experiments. However, it ended up bringing the performance of the ensemble model down significantly (corr. 0.6873, MAELoss 0.03935, RMSELoss: $0.06284)$.

The apparent non-linear relationship between coefficient of correlation and loss values (also evidenced by differences in Table 3) may be attributed to the inherently lopsided distribution of our data. Almost 93\% of our test data had ground truth CTRs of less than or equal to $0.2(20 \%)$, and the models that tended to do well in this range tended to do less well with instances where the ground truth CTR was higher, leading to lower overall coefficients of correlation.

## 4.2 Further Research

Note that the experiments as described above are the best results we achieved thus far for their respective paradigms. In particular, we feel that more experimentation can be performed with joint learning to achieve better results.

Additionally, I also feel that there must be other network structures that are more befitting of the dense, continuous values of the DistilBERT-based (and other BERT-based) features. So far, I've implemented MLP-like networks to make comparison with the other paradigms relatively simple, but considering the fundamental differences in the kind of features involved, I feel that greater expressivity can be preserved through the use of alternative activation functions and node distributions.

Additional work on different combinations of modalities in the ensemble and joint learning approaches may also lead to more optimal configurations.

Comparative experiments using embeddings from n-gram, skip-gram and CBOW feature generators may also be useful in examining the power of our approach, although systems using such may be more computationally intensive due to the curse of dimensionality.

Some insight may also be gained by comparing the computational costs and requirements of the different approaches, especially since we intend to deploy them in real-time applications where responsiveness is a strong requirement.

Finally, we are preparing to see if the same approach can be transferred to other ad formats, especially considering that the ad format that our data was in is about to be sunsetted.

## 4.3 Conclusion

In this paper we have shown that a sufficiently comprehensive set of simple handcrafted features can be used to parameterize text ads for the purpose of predicting click-through rates.

Additionally, the handcrafted features are directly translatable into human-readable labels, providing greater transparency and explainability than when using generalized language models like DistilBERT. This explainability can be particularly useful in providing feedback for end-users who use our system to augment and accelerate their creative workflows.

## Acknowledgements

I would like to thank my colleagues at Opt, Inc. for their feedback and support; especially to the members involved in a previous project that resulted in the creation of the tag schema I used as the basis of this entire endeavor. I would also to thank, specifically:

- 田中宏明 Tanaka Hiroaki, my manager, for keeping me on track and general support.

- 粟飯原俊介 Aihara Shunsuke, for providing guidance and insights throughout the entire project.

- 岩田大地 Iwata Daichi, who helped me directly by performing EDA and implementing the LightGBM experiment.

## References

1. Automatic Generation of Title and Description Texts for Sponsored Search Ads. Baba Jun, Iwazaki Yuki, Itsuki Sugio, Kitade Kosuke, and Fukushima Takeshi. The 29th Annual Conference of the Japanese Society for Artificial Intelligence, 2015.

2. Data description of Criteo dataset. (Online) (Last accessed 2021-01-07). https://www.kaggle.com/c/criteo-display-ad-challeng e/data

3. Data description of Avazu dataset. (Online) (Last accessed 2021-01-07). https://www.kaggle.com/c/avazu-ctr-prediction/data.

4. Digital Marketing In A Cookie-Less Internet. Juneau Todd. (Online) (Last accessed 2022-01-07). https://www.forbes.com/sites/forbesagencycouncil/2 020/05/18/digital-marketing-in-a-cookie-less-internet $/$ ?sh $=\mathrm{d} 323 \mathrm{da} 721 \mathrm{e} 2 \mathrm{~d}$

5. About expanded text ads. (Online) (Available as of 2021-12-16).

https://support.google.com/google-ads/answer/70565 44 ? hl=en

6. DeepFM: A Factorization-Machine based Neural Network for CTR Prediction. Guo Huifeng, Tang Ruiming Tang, Ye Yunming, Li Zhenguo, He Xiuqiang. Proceedings of the Twenty-Sixth International Joint Conference on Artificial Intelligence, 2017, 1725-1731.

7. BANDAI NAMCO Research Inc. DistilBERT-base-jp on GitHub (Online) (Last accessed 2022-01-07).

https://github.com/BandaiNamcoResearchInc/DistilB ERT-base-jp

8. - DistilBERT on HuggingFace. (Online) (Last accessed 2022-01-07). https://huggingface.co/docs/transformers/model_doc/ distilbert\#transformers.DistilBertForSequenceClassif ication
9. Click-Through Rate Prediction of Online Banners Featuring Multimodal Analysis. Xia Bohui, Seshime Hiroyuki, Wang Xueting, and Yamasaki Toshihiko. International Journal of Semantic Computing, 2020, Vol. 14 No. 1, 71-91.

## Appendix

Plot of LightGBM model test

Plot of MLP model test

Plot of Fine-tuned DistilBERT model test, trained with TD texts only

Plot of Fine-tuned DistilBERT model test, trained with metadata and TD texts

Plot of Ensemble model test, using DistilBERTForSequenceClassification fine-tuned with TD texts only

Plot of Ensemble model test, using DistilBERTForSequenceClassification fine-tuned with both metadata and TD texts.

Plot of Joint Learning model test