# 学会記事
## WRIME: 主観と客観の感情強度を付与した日本語データセット

梶原 智之十

## 1 はじめに

本稿では，NAACL 2021 に採択された論文“WRIME: A New Dataset for Emotional Intensity Estimation with Subjective and Objective Annotations" (Kajiwara et al. 2021) について, 研究 の過程を含めて紹介する。本研究では，日本語の感情分析のために，テキストの書き手と読み 手の両方の立場から感情強度を注釈付けしたデータセット1を構築した。本稿の執筆時点では, 80 人の書き手から収集した 43,200 件のテキストを公開中であり，現在も拡張を続けている.

## 2 経緯

着任がきっかけである。本機構は, 生命科学・医歯薬学・理工学・人文科学等の様々な分野に データ駆動型研究を導入し, 研究スタイルの変革を図ることを目指して 2016 年に設置された組織である.これまで言い換え表現の生成と認識を中心に自然言語処理の研究に従事してきた筆者も，2018 年の本機構への着任を機に, 法学 (Chu 他 2019) ・文学 (田中他 2020) ・歯学 (西原他 2021)を専門とする研究者たちとの共同研究に取り組み始めた.

このような背景のもと, 2018 年度文部科学省「Society 5.0 実現化研究拠点支援事業」に採択 された「ライフデザイン・イノベーション研究拠点」事業 3 の一部として，筆者らはソーシャル・ ネットワーキング・サービス $(\mathrm{SNS})$ 上のテキストデータの利活用について, 研究を開始するこ ととなった. 本プロジェクトは, 心と体の健康増進や QOL の向上に役立つ高付加価値データ ベースの構築を通して，豊かな社会生活の実現を目指すものである．本プロジェクトは日常生活の中の様々な活動データの利活用を推進するものであるが，筆者は自然言語処理が専門であ るため，その中で特に，SNS 上のテキストデータを対象とすることになった. そして 2018 年 12 月から, 心身の健康管理をサポートするための SNS テキストの感情分析の研究を開始した。な お, 本研究は, データビリティフロンティア機構の Chenhui Chu 特任助教（現在は京都大学情報学研究科特定准教授), 武村紀子准教授, 中島悠太准教授, 長原一教授とともに取り組んだ.
^{1}$ https://github.com/ids-cv/wrime

2 https://www.ids.osaka-u.ac.jp/

3 https://www.ids.osaka-u.ac.jp/ildi/index.html
}

## 3 研究の流れ

## 3.1 先行研究の調査

2018 年 12 月に研究に着手した。まず，感情分析の先行研究について調査した，日本語と英語の両方で, 商品や映画のレビュー文書に感情極性（ポジティブおよびネガティブ。、ニュート ラルを含む場合もある.）のラベルを付与したデータセットが構築されており，感情極性分類が 活発に研究されていることがわかった. また, Twitter などの SNS テキストに感情極性ラベル を付与したデータセットも構築されていることがわかった.

より詳細な感情分析の研究として, 英語では感情分類や感情強度推定も研究されているが,日本語ではこのような詳細な感情を注种付けしたデータセットは見つからなかった，そこで本研究では, Plutchik の基本 8 感情4 (Plutchik 1980)のような多様な感情を日本語テキストに付与し, 日本語の感情分析のための新しいデータセットを構築することとした.

## 3.2 クラウドソーシングによるデータ収集その 1

2019 年 1 月からアノテーションの準備を開始した. アノテーション管理会社の選定やアノ テーション仕様書の作成に約 2 ヶ月, 実際のアノテーションに約 1 ヶ月の時間をかけ, 3 月末 に最初のアノテーション済みデータを受け取った。このアノテーションでは, SNS 上での過去 の自身の日本語の投稿に Plutchik の基本 8 感情の強度をそれぞれ 4 段階（無・弱・中・強）で 付与してもらい，50 人から 3,000 件のテキストと感情強度ラベルを受け取った.

収集したデータを確認したところ, 自動生成された投稿や, リンク先や添付ファイルの参照 が必要な投稿など，投稿本文から書き手の感情を推定できない課題が見つかった. また，全て の感情について最大強度のラベルを付与するなどの不真面目なアノテータも見つかった。これ らの分析とアノテーション仕様書の修正に約 2 ケ月の時間をかけ, 6 月に 2 回目のアノテーショ ンを発注した。 8 月末に， 200 人から 4,000 件のテキストと感情強度ラベルを受け取った。

収集したデータを確認したところ，残念ながら，自動生成されたテキストは残っていた。ま た, 全て最大強度などの自動的に検出できる不真面目なアノテーションは除外できたものの,感情強度をランダムに振るなどの自動的に検出することが難しい不真面目なアノテーションは 残っていた．しかし，アノテーションツール上でこれらを検出することは難しいと判断し，大規模にデー夕を収集した後でこのようなものを除外するという方針に決め, 3 回目の大規模なア ノテーションを発注した。 2019 年 12 月末に， 400 人から 14,000 件のテキストと感情強度ラベ ルを受け取った．ここから，自動生成された投稿，日本語を含まない投稿，自身の投稿を扱っ ていない人 5 , 感情強度のラベルをランダムに振っている人などを除外し, 最終的に 345 人から
^{4}$ Plutchik の基本 8 感情 : 喜び, 悲しみ, 期待, 驚き, 怒り, 恐れ, 嫌悪, 信頼

5 企業や著名人の公式アカウントの投稿を扱っている人がいた
}

11,000 件のテキストと感情強度ラベルを得た.

## 3.3 クラウドソーシングによるデータ収集その 2

前節で収集したテキストには，書き手自身による感情強度のラベルが付与されている。これ らの感情強度のラベルを確認する中で, 我々がテキストを読んで想像した書き手の感情強度と 実際にラベル付けされている感情強度に乘離があることがわかった。書き手の感情と読み手の 感情6の差異についての分析に興味を持った我々は, 2020 年 3 月に 3 人の作業者をクラウドソー シングサービスのランサーズ7で雇用し, 全てのテキストに読み手の視点から感情強度のラベル を付与した，そして，書き手によるラベルと読み手による平均ラベルの一致率を計算したとこ 万, Quadratic Weighted Kappa で 0.211 と大きな乘離があることがわかった.

この時点で, 書き手が持つ感情強度と読み手が持つ感情強度に大きな乘離があるという結論で 原稿を書き投稿することも検討した. しかし, 前節のアノテーションでは指示に従わないアノ テータや不真面目なアノテータが多く見られたため，書き手によるアノテーションをランサー ズで再度実施してみることにした. 2020 年 5 月に，100 件ずつの自身の過去の投稿に感情強度 を付与してもらい， 30 人から 3,000 件のデータを収集した. そして， 3 人の作業者から読み手 の視点での感情強度をラベル付けしてもらったところ, Quadratic Weighted Kappaで 0.505 と,書き手の感情強度と読み手の感情強度の間に moderate agreement を確認できた. 前節のアノ テーションではアノテータの管理をアノテーション会社に任せていたが，今回は筆者自身がア ノテータと直接やり取りをしたため, 指示に従わないアノテータや不真面目なアノテータに作業のやり直しを依頼したり契約を打ち切ったりできたため, 品質を改善できた8 8.

ランサーズで書き手からのデータ収集および感情強度アノテーションと読み手からの感情強度アノテーションを続け，7月に 50 人の書き手からの 17,000 件のデータを収集できた。この データをもとに，書き手の感情強度と読み手の感情強度の差異について分析し, BERT ${ }^{9}$ (Devlin et al. 2019) による感情強度推定の実験を行い，11月に NAACL の原稿 (Kajiwara et al. 2021) および言語処理学会年次大会の原稿 (梶原他 2021)を執筆した。その後もアノテーションを続 け， 2021 年 2 月までに 80 人の書き手から 43,200 件のデータを収集し，これを言語処理学会年次大会の発表に合わせて 3 月に公開した。

## 4 成果の概要

本研究では，テキストの書き手による主観的な感情強度ラベルとテキストの読み手による客観的な感情強度ラベルの両方を収集し, これらの差異について調査した。まず，クラウドソー シング 7 を用いて雇用した 50 人の作業者が，SNS 上での自身の過去の投稿に主観的な感情強度 を付与した. そして, 収集した全投稿に対して, 3 人の作業者が客観的な感情強度を付与した. ここで，主観的な感情とはテキストの書き手自身が持つ感情であり，客観的な感情とはテキス トの読み手が想像する書き手の感情である。合計で，17,000 件の投稿について, Plutchik の基本 8 感情 4 (Plutchik 1980) の強度を, 主観と客観の両方で 4 段階（無・弱・中・強）で付与した 日本語のデータセット1を構築した.

英語を中心に, 感情分析のために多くのデータセットが構築されているが，書き手と読み手 の両方の感情を収集したのは本研究が初である．3.1節でも書いたように，日本語では感情極性 を付与したデータセットは構築されているが, 多様な感情を扱ったのは本研究は初である.

アノテーションの一致率を Quadratic Weighted Kappa で評価したところ, 書き手のラベル と読み手の平均ラベルの一致率は 0.515 , 読み手間の一致率は 0.547 から 0.585 と, いずれも moderate agreement を確認できた。感情別に見ると，喜びの感情については書き手と読み手の 一致率が 0.6 を超えている一方で, 信頼の感情については 0.2 を下回っており, テキストから読 み取りやすい感情と読み取りにくい感情が存在する。また, 怒りの感情については読み手間の 一致率は 0.6 を超えているものの, 書き手と読み手の一致率は 0.4 程度とギャップが見られた.感情強度ラベルの分布を見ると，怒りおよび信頼の感情については，読み手が「無」の感情強度を付与する割合が $95 \%$ と極端に多い，書き手と読み手の感情強度の差異に注目すると，書き 手が「強」の感情強度を付与したうちの $37 \%$ よび書き手が「中」の感情強度を付与したうち の $52 \%$ にいて読み手は「無」の感情強度を付与しており, 全体的に読み手は書き手の感情を 過小評価する傾向がある．特に，怒りの感情については書き手が「強」のときに読み手が「無」 の割合が $59 \%$, 信頼の感情については書き手が「強」のときに読み手が「無」の割合が $82 \%$,読み手は書き手の感情を充分に検出できていない.

BERT $^{9}$ (Devlin et al. 2019) などの機械学習モデルによる感情強度推定の実験を実施した。評価指標には, Quadratic Weighted Kappaを用いた. 書き手の感情強度ラベルを用いて学習およ び評価したところ, Bag of Words (BoW)では 0.156, BERTでは 0.135 と，いずれも低い性能 にとどまり, 主観的な感情強度の推定が難しい夕スクであることがわかった. 驚くべきことに,書き手の感情強度を推定する場合も, 読み手の感情強度ラベルを用いて学習した BERT が 0.242 と, より高い性能を発揮した。なお, 読み手の感情強度ラベルを用いて学習および評価したと ころ, BoWでは 0.277, BERT では 0.442 と, 比較的高い性能を確認できた.

## 5 おわりに

本稿では, NAACL 2021 に採択された我々の論文 (Kajiwara et al. 2021) について, 研究の 過程を含めて紹介した，感情強度を大規模にアノテーションするために，本研究ではクラウド ソーシングを用いたが, アノテーション会社やアノテータとのコミュニケーションに苦労した.最終的には, 筆者とアノテータが直接やり取りすることによって, アノテーションの品質を改善できた，書き手の主観的な感情強度を当該テキストのみから推定することは難しいため，今後は書き手の性格情報や過去の投稿履歴を考慮することで性能改善することを検討している.

## 謝 辞

本研究は文部科学省による Society 5.0 実現化研究拠点支援事業の支援を受けたものです.

## 参考文献

Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. (2019). "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 4171-4186.

Kajiwara, T., Chu, C., Takemura, N., Nakashima, Y., and Nagahara, H. (2021). "WRIME: A New Dataset for Emotional Intensity Estimation with Subjective and Objective Annotations." In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 2095-2104.

西原大貴, 梶原智之, 谷川千尋, 清水優仁, 長原一 (2021). 矯正歯科治療における所見文書からの 自動診断に向けて. 情報処理学会第 83 回全国大会, pp. 591-592. [D. Nishihara et al. (2021). Kyoseishika Chiryo ni okeru Shokenbunsho karano Jido Shindan ni mukete. Proceedings of the 83rd National Convention of IPSJ, pp. 591-592.].

Chu, C., 梶原智之, 中島悠太, 長原一, 渡辺理和, 大久保規子 (2019). 多国間法律の比較と 統計分析のための多言語機械翻訳. 情報処理学会第 119 回人文科学とコンピュータ研究会, pp. 1-3. [C. Chu et al. (2019). Takokukan Horitsu no Hikaku to Tokeikaiseki no tameno Tagengo Kikaihonyaku. IPSJ SIG Technical Report, Vol. 119-CH-119 No. 8, pp. 1-3.].

Plutchik, R. (1980). "A General Psychoevolutionary Theory of Emotion." Theories of Emotion, 1, pp. 3-31.

梶原智之, Chu, C., 武村紀子, 中島悠太, 長原一 (2021). 主観感情と客観感情の強度推定の

ための日本語データセット。言語処理学会第 27 回年次大会, pp. 523-527. [T. Kajiwara et al. (2021). Shukan Kanjo to Kyakkan Kanjo no Kyodo Suitei no tameno Nihongo Deta Setto. Proceedings of the 27th Annual Meeting for the Association for Natural Language Processing, pp. 523-527.].

田中昂志, Chu, C., 梶原智之, 中島悠太, 武村紀子, 長原一, 藤川隆男 (2020). OCR 誤り訂正 を用いた歴史新聞データからのコーパス構築. 言語処理学会第 26 回年次大会, pp. 653-656. [K. Tanaka et al. (2020). OCR Ayamari Teisei wo Mochiita Rekishi Shinbun Deta karano Kopasu Kochiku. Proceedings of the 26th Annual Meeting for the Association for Natural Language Processing, pp. 653-656.].

## 略歴

梶原 智之：愛媛大学大学院理工学研究科助教. 2013 年長岡技術科学大学工学部電気電子情報工学課程卒業. 2015 年同大学大学院工学研究科修士課程修了. 2018 年首都大学東京大学院システムデザイン研究科博士後期課程修了. 博士 (工学)。大阪大学データビリティフロンティア機構の特任助教を経て, 2021 年より現職. 情報処理学会, 人工知能学会, 言語処理学会, ACL 各会員.


# 学会記事
## 実験を通して既存手法を整理する 一系列変換タスクにおける摂動の効率の調査一

\author{
高瀬翔†
}

## まえがき

本稿では, NAACL2021に採択された論文 “Rethinking Perturbations in Encoder-Decoders for Fast Training" (Takase and Kiyono 2021b) について, この研究がどのように始まり，論文化に たどりついたかを紹介したい，振り返ってみれば，学習時間に対する効率に着目した論文であ り，筆者が最近特に興味を持っている，パラメータ数や計算時間の効率化に関する研究 (Takase and Kobayashi 2020; Takase and Kiyono 2021a)の一端となったが，最初からその目的地が見え ていた訳ではなく，そこに至るまでの顛末を述べる。論文の概要についても1節でふれるが，主 としては論文の成り立ちと採択までの経緯について述べるので，研究内容を詳しく知りたい方 は，上記論文か， 筆者による紹介動画 ${ }^{1}$, あるいは発表スライド2をご覧いただきたい.

## 1 研究概要

ニューラルネットワークを用いて入力文をべクトル表現にエンコードし, それに対応する文 をデコードする，系列変換モデルは，機械翻訳や要約タスクにおいて，目覚ましい性能を達成 している (Vaswani et al. 2017). 頑健な系列変換モデル構築のために, 入力に対して摂動と呼 ばれる微小な変化を加える手法が提案されている (Bengio et al. 2015; Zhang et al. 2019; Sato et al. 2019). 例えば, Bengio et al. (2015) はデコーダの出力確率分布を元にトークンをサンプ リングし，これを摂動としてデコーダの入力に用いる，スケジュールドサンプリングという手法を提案した，スケジュールドサンプリングは，これを発展させた論文 (Zhang et al. 2019) が ACL 2019 においてべストペーパーを獲得するなど3，強い注目を受けている．また，モデルの 出力を悪化させる敵対的摂動も盛んに研究されている (Sato et al. 2019).

これらの研究で提案された手法は, 頑健なモデル構築を可能にすると謳われる一方, 学習に 多大な時間を要する．例えば，敵対的摂動は勾配を元に計算するため，誤差逆伝播を行う必要
^{3}$ https://acl2019.org/EN/winners-of-acl-2019-best-paper-awards .xhtml.html
}

があり，摂動を用いない系列変換モデルに対し，学習に 2 倍以上の時間がかかる.このような 状況を受け，我々は，これらの摂動が要する学習時間に見合う性能向上があるのだろうか，と いう疑問を持った。これを調査するため，語彙の一様分布を元にした単語置換や，単語ドロッ プアウト (Gal and Ghahramani 2016)のような，計算量の少ない摂動手法を含め，様々な夕ス クで比較実験を行った。結果としては，計算量の少ない摂動手法でも敵対的摂動やスケジュー ルドサンプリングと同等以上の性能を達成可能であることが明らかとなった。すなわち，頑健 な系列変換モデルを構築する際に，計算量の少ない摂動が学習時間に対し効率の良い手法であ る，と言える。

## 2 断念した研究

我々の研究は, 系列変換モデルにおいて，入力にノイズを混入し， モデルの頑健性を高める手法に着目している. しかしながら当初は, 系列変換モデルの出力側に着目し研究を進めていた.具体的には，正例と負例とのマージン最大化を行うニューラル言語モデル (Huang et al. 2018) の発展として, 正解系列とモデルの出力しうる誤り系列とのマージンを最大化する系列変換モ デルの構築を試みていた.

ニューラル言語モデルの学習では, 文書中の単語列の出現確率, すなわち, 各単語の同時確率を最大化する。この同時確率は，ある文脈に対して，直後に出現する単語の条件付き確率 を計算し, 文書全体でこの条件付き確率の積を計算することで得る。より具体的には, 単語列 $w_{1}, \ldots, w_{t}, \ldots, w_{T}$ について，下記の式を計算する.

$
p\left(w_{1: T}\right)=p\left(w_{1}\right) \prod_{t=1}^{T-1} p\left(w_{t+1} \mid w_{1: t}\right)
$

ニューラル言語モデルは上記の式によって，与えられた文の尤度を計算できる。このため,機械翻訳や自動音声認識において，回答候補の中から確からしい文を選択する際に使用される 場合がある。しかしながら，上記の式を最大化するよう学習を行ったモデルは，ある文が別の 文と比べて，より正解に近いかどうかを学習している訳ではないため，このような回答候補の 中から確からしい文を選択する際には性能が奮わないこともある。このような状況を受けて， Huang et al. (2018)は，正解の文と，回答候補に含まれうる誤り文との，マージンを最大化す るような学習を行うニューラル言語モデルを提案した。

系列変換モデルは, 式 (1) の条件部分に入力文を挿入し, 出力文の各単語に対する条件付き 確率の積を計算する。すなわち，系列変換モデルは入力文を条件とした条件付きのニューラル 言語モデルとみなすことができる. このため, Huang et al. (2018)の提案したマージン最大化 を行うニューラル言語モデルは系列変換モデルへと素朴に拡張可能である.

ここで問題となるのが負例である. Huang et al. (2018) は負例として翻訳器の出力を用いて いたが，学習時の各事例に対し系列変換モデルで最尤の出力を毎回探索していては，膨大な時間を必要としてしまう，そこで我々は，学習済みの系列変換モデルを用い，サンプリングなど を通じて様々な系列を事前に用意し，これを負例として用いた．実験を開始して早々に，要約 タスクにおいて性能向上が見られたが，翻訳タスクでの実験や，訓練データの規模を変えての 実験など，様々な条件での振る舞いを調査した結果，誤差の範囲に収まる程度の変化であると 結論するに至り, この方向性は断念することとなった.

## 3 方針転換

マージン最大化を行うモデルの実験をしている最中に, ふと, 入力側にノイズを入れる手法が 気になった. 系列変換モデルでは， スケジュールドサンプリング (Bengio et al. 2015) や敵対的摂動 (Sato et al. 2019) が効果的な手法として知られている。一方で, これらの手法を, 入力に ノイズを組み込む手法と捉えれば，言語モデルで広く利用されている単語ドロップアウト (Gal and Ghahramani 2016; Takase et al. 2018) や, 一様分布・類似度を元にした単語の置換などは,実装も簡単で，素朴なべースラインと考えられるにも関わらず，系列変換モデルの論文で言及さ れることがほとんどないように思える 4 . 取るに足らない性能向上なので無視されているのだろ うか, それとも，言及がないまま忘れ去られたのだ万うか. もし後者であれば，単語ドロップア ウトや単語置換は計算量が少なく, 訓練データが大規模の場合などに利点があるかもしれない. このように考え，これらの手法を系列変換モデルに組み込み，広く利用されている，WMTの 英-独データセットで実験を行った，得られた結果から，単語ドロップアウトや単語置換はどう やら性能を向上させるようである, ということが分かったため, 敵対的摂動や, スケジュールド サンプリングと, 様々なタスク, 様々な実験設定で比較を行い, 論文としてまとめるに至った.

なお，論文の共著者である清野舜氏は国際的な機械翻訳のコンペティションである WMT に おいて, 2020 年に 1 位に輝いたチームの一員であり (Kiyono et al. 2020a), 文法誤り訂正でも極 めて良いスコアを達成している (Kiyono et al. 2020b)。また, 筆者も生成型要約タスクでトップ スコアを達成している (Takase and Kobayashi 2020). これらの知見を活かして比較実験を行っ ており，実際的な実験設定で得られた知見がまとめられた論文になっていると自負している。

## 4 荒れる査読

さて，この論文を NAACL に投稿したところ，査読者の評価が割れた．自然言語処理分野の トップ会議では, 各論文に查読者が 3 人割り当てられ, 5 点を満点として評点する. 査読者が 採択すべきと推薦する，すなわち，4 以上の值を付与する査読者が多くない場合には採択が難 しい状況となるが5, 本論文の評点は, $2 ， 3 ， 4$ という芳しくない状況であった ${ }^{6}$.

查読内容をよく見てみると, 評点 3 の査読者は, 論文の結論部分をほとんどそのまま写して 查読としており，これは倫理違反であろう7 $、$ 残る 2 人については, 新規手法がなく, 実験結果 も自明であるとして 2 をつけている查読者と, 論文から得られる知見はコミュニティの助けに なるとして4をつけている査読者であった.

查読に対するレスポンス8では, 新規手法の提案が目的ではなく, 学習時間に対する効率とい う従来軽視されていた点に着目し，実験を通して新たな知見を得ることが目的である旨を，論文の当該記述を参照しつつ回答した。 このレスポンス後に, 評点 2 をつけた査読者は査読を書 き換えており，摂動の学習時間効率に着目して議論を行った論文はないことを認めつつ，それ でも著者には同意しかねる，とにかく新規性はないと結論していた9．このように逆風が吹いて いる状況で採択されたことは，大変ありがたく，論文の知見を評価し，新規手法がないことは 問題とは思えないと提言してくたさっった査読者，内容を評価し，十分真摯にレスポンスした点 を評価してくださったメタ査読者, および，プログラム委員には感謝しかない.

## 5 研究における「新規性」とは?

本論文は, 既存の研究で提案されていた手法を, 学習時間の効率に関する比較を通じて整理し た論文であり，何かしら新規の手法を提案した論文ではない，少なくとも近年では，このよう な, 従来手法の性質や効果を, 実験を通して整理する論文は少なくない。例えば言語モデルで は， Transformer (Vaswani et al. 2017) が主流になる以前は新規のネットワーク構造を提案する 論文が多かったが, Melis et al. (2018)が適切なハイパーパラメータを使用すれば, 単純な LSTM

言語モデルでも極めて良いスコアを達成可能と示した。機械翻訳においても，従来手法を適切 に使用し, 適切なハイパーパラメータを設定する重要性を, Denkowski and Neubig (2017) や Sennrich and Zhang (2019) が実験を通して示している.このような従来手法の整理は，コミュ ニティが健全に発展し，いわゆる研究のための研究に陥らないために肝要であると筆者は考え ている。研究における要件としての「新規性」とは新たに（非自明な）知見を得ることであり，新規手法の提案は何かしらの目的を達成するための手段に過ぎない. 新規手法の提案にのみ拘泥し，本来の目的を見失うことのないようと自戒を込めて記し，筆を置きたい.

## 謝 辞

本稿の執筆にあたり, 本稿で取り上げた NAACL2021 採択論文の共著者である, 清野舜さん に有益な助言をいただきました。

## 参考文献

Bengio, S., Vinyals, O., Jaitly, N., and Shazeer, N. (2015). "Scheduled Sampling for Sequence Prediction with Recurrent Neural Networks." In Advances in Neural Information Processing Systems 28 (NIPS), pp. 1171-1179.

Denkowski, M. and Neubig, G. (2017). "Stronger Baselines for Trustable Results in Neural Machine Translation." In Proceedings of the 1st Workshop on Neural Machine Translation (WMT), pp. 18-27.

Gal, Y. and Ghahramani, Z. (2016). "A Theoretically Grounded Application of Dropout in Recurrent Neural Networks." In Advances in Neural Information Processing Systems 29 (NIPS), pp. 1019-1027.

Huang, J., Li, Y., Ping, W., and Huang, L. (2018). "Large Margin Neural Language Model." In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 1183-1191.

Kiyono, S., Ito, T., Konno, R., Morishita, M., and Suzuki, J. (2020a). "Tohoku-AIP-NTT at WMT 2020 News Translation Task." In Proceedings of the 5th Conference on Machine Translation (WMT), pp. 145-155.

Kiyono, S., Suzuki, J., Mizumoto, T., and Inui, K. (2020b). "Massive Exploration of Pseudo Data for Grammatical Error Correction." IEEE/ACM Transactions on Audio, Speech, and Language Processing, 28, pp. 2134-2145.

Melis, G., Dyer, C., and Blunsom, P. (2018). "On the State of the Art of Evaluation in Neural

Language Models." In Proceedings of the 6th International Conference on Learning Representations (ICLR).

Sato, M., Suzuki, J., and Kiyono, S. (2019). "Effective Adversarial Regularization for Neural Machine Translation." In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 204-210.

Sennrich, R. and Zhang, B. (2019). "Revisiting Low-Resource Neural Machine Translation: A Case Study." In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 211-221.

Takase, S. and Kiyono, S. (2021a). "Lessons on Parameter Sharing across Layers in Transformers." CoRR, abs/2104.06022.

Takase, S. and Kiyono, S. (2021b). "Rethinking Perturbations in Encoder-Decoders for Fast Training." In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL-HLT), pp. 5767-5780.

Takase, S. and Kobayashi, S. (2020). "All Word Embeddings from One Embedding." In Advances in Neural Information Processing Systems (NeurIPS), Vol. 33, pp. 3775-3785.

Takase, S., Suzuki, J., and Nagata, M. (2018). "Direct Output Connection for a High-Rank Language Model." In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 4599-4609.

Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., and Polosukhin, I. (2017). "Attention is All you Need." In Advances in Neural Information Processing Systems (NIPS), Vol. 30, pp. 5998-6008.

Zhang, W., Feng, Y., Meng, F., You, D., and Liu, Q. (2019). "Bridging the Gap between Training and Inference for Neural Machine Translation." In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 4334-4343.

## 略歴

高瀬翔：2012 年東北大学工学部卒業. 2014 年東北大学大学院情報科学研究科博士前期課程修了. 2017 年東北大学大学院情報科学研究科博士後期課程修了. 2020 年 4 月より東京工業大学助教. 博士 (情報科学)。言語処理学会, ACL 各会員.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 日本語 Wikipedia の編集履歴に基づく 入力誤りデータセットと訂正システムの構築

田中 佑 ${ }^{\dagger}$ 村脇 有吾 ${ }^{\dagger}$ ・河原 大輔 ${ }^{+\dagger}$ - 黒橋 禎夫 ${ }^{\dagger \dagger}$
}

文章執筆時に発生する誤字などの入力誤りは，解析誤りを誘発するため，入力誤り 訂正を行うシステムは重要である。入力誤り訂正システムの実現には, 学習デー夕 として多量の入力誤りとその訂正ぺアが必要であるが，公開されている十分なサイ ズを持つ日本語入力誤りデータセットは存在しない. これまで, Wikipediaの編集履歴からフランス語などで入力誤りデータセットが構築されてきた. 先行研究の手法は, 編集のあった単語の特定を必要とするため, 単語分割が必要な日本語に直接 の適用はできない. 本研究では, Wikipediaの編集履歴から, 単語単位ではなく, 文字単位の編集を手がかりとして入力誤りの候補を取り出し, それらに対しフィルタ リングすることで入力誤りを収集する。この手法で約 70 万文ぺアの大規模なデータ セットを構築し, さらに, 構築手法を評価した. 次に, 得られたデータセットを用 いて, 入力誤り訂正システムを構築する。訂正システムは, 事前学習 seq 2 seq モデル を用い, 入力誤り訂正のみを学習するシステムと, 漢字の読みの推定を同時に学習 するシステムを構築した，前者と比較して，後者は漢字の変換誤りの訂正において 精度が向上した。また, 学習データに疑似入力誤りデータを追加して学習し, その 精度変化を見た．最後に，他の校正システムと入力誤り認識精度の比較を行い，本研究のシステムの精度が高いことを確認した。

キーワード：入力誤り，スペルミス，文法誤り, Wikipedia
## Building a Japanese Typo Dataset and Typo Correction System Based on Wikipedia's Revision History

\author{
Yu Tanaka ${ }^{\dagger}$, Yugo Murawaki ${ }^{\dagger \dagger}$, Daisuke Kawahara ${ }^{\dagger \dagger \dagger}$ and Sadao Kurohashi ${ }^{\dagger \dagger}$
}

Correcting typographical errors (typos) is important to mitigate errors in downstream natural language processing tasks. Although a large number of typo-correction pairs are required to develop typo correction systems, no such dataset is available for the Japanese language. Previous studies on building French and English typo datasets have exploited Wikipedia. To collect typos, the aforementioned methods apply a spell checker to words changed during revisions. As the lack of word delimiters in Japanese hinders the application of a spell checker, these methods cannot be applied directly to

Japanese. In this study, we build a Japanese typo dataset from Wikipedia's revision history. We address the aforementioned problem by combining character-based extraction rules and various filtering methods. We evaluate our construction method using which we obtain over $700 \mathrm{~K}$ typo-correction sentence pairs. Using the new dataset, we also build typo correction systems with a sequence-to-sequence pretrained model. As an auxiliary task for fine-tuning, we train the model to predict the readings of kanji, leading to a higher accuracy in the correction of erroneous kanji conversion. We also investigate the effect of pseudo training data. Finally, we demonstrate the higher accuracy achieved by our system for the typo recognition task compared with other proofreading systems.

Key Words: Typographical Error, Misspelling, Grammatical Error, Wikipedia

## 1 はじめに

近年，SNS 等で一般ユーザーが作成したテキスト (UGC; User Generated Contents) が自然言語処理の重要な研究対象となっている. UGCには, 書籍などの文章にはあまり見られない表現 (Brody and Diakopoulos 2011; Saito et al. 2017; Blodgett et al. 2016; Sasano et al. 2013) が含ま れ，誤字などの入力誤りも頻繁に発生している.

入力誤りは，人がスムーズにテキストを読むことを妨げるだけではなく，計算機が正しく解析することを妨げる (Belinkov and Bisk 2018)．図 1 は，日本語から英語への機械翻訳における 例である。上の画像に示すように，正しい文を入力すると正しい翻訳結果が得られるのに対し，下の画像に示すように，赤線で示す入力誤りを含む文を入力した場合，翻訳に失敗する。入力誤りを訂正するシステムがあれば，それを事前に適用することで，解析誤りを減らし，種々の解析精度向上が見込める。そのため, 入力誤り訂正システムは自然言語処理において重要である.

入力誤りは典型的にはキーボードの打ち間違いによるスペルミスだが，編集ミスによって発生する文法誤りも含まれる。そのどちらの訂正においてもニューラルモデルは成功を収めてお

図 1 入力誤りによる日英機械翻訳での翻訳失敗例。上の画像は正しい文，下の画像は入力誤りのある文 を入力した場合を示す。

り (Sakaguchi et al. 2017; Yuan and Briscoe 2016), 入力誤り訂正システムの構築に有望である と考えられる。ニューラルモデルは多量の学習データを必要とすることが知られており (Koehn and Knowles 2017), ニューラル入力誤り訂正システムの実現には多量の入力誤りとその訂正ぺ アを用意することが重要である.

これまでフランス語 (Max and Wisniewski 2010), 英語 (Zesch 2012)のスペルミス訂正データ セットは，Wikipediaの編集履歴から構築されてきた．Wikipediaは，多くの人々が日々編集を 行い，その編集履歴全てを公開しており，大規模なデータセット構築に適しているためである. ただし，Wikipediaの編集履歴には，編集の分類の情報は必ずしも付与されていない。そのた め, 先行研究では，スペルミス訂正のみを取り出すために，編集があった単語を特定し，スぺ ルチェッカーを適用する等のフィルタリングを行って収集している. このような先行研究の手法は，編集があった単語の特定が容易な，空白文字で単語が区切られているフランス語などの 言語を前提としており，単語分割を必要とする日本語には直接適用できない。また，フランス 語や英語とは異なり，日本語では一般にインプットメソッドを用いてテキスト入力を行い，漢字の入力には， かな漢字変換 (Kasahara et al. 2011; 山本 他 1997) を行う. かな漢字変換では,目的の漢字の読みを入力し，提示されたその読みを持つ漢字のリストから目的の漢字を選択す ることで入力する。この際に誤った漢字を選択した場合にも，入力誤りは発生する。このよう な，かな漢字変換時の入力誤り（以後，誤変換と呼ぶ）は，先行研究の手法では対象とされて いない.

本研究では, 日本語の入力誤りとその訂正ぺアをWikipediaの編集履歴から収集し, 大規模 なデータセット (JWTD; Japanese Wikipedia Typo Dataset) を構築することに取り組む. 本研究では，日本語書き言葉の文として編集前が不自然で編集後が自然となるような局所的な編集 を，入力誤り訂正とみなす。より具体的には，スペルミス訂正，文法誤り訂正，誤変換の訂正を 入力誤り訂正として収集対象とする。なお，Wikipediaでは，い抜き・ら抜きことばは頻繁に 訂正されるが，これらも文法誤り訂正の一種とみなして収集対象とする。Wikipedia の編集履歴には，入力誤り訂正のみでなく，内容の変更などの収集対象外の編集も数多く含むため，入力誤り訂正だけを取り出すことは容易ではない，本研究では，文字単位の編集及び漢字の読み を手がかりとして入力誤り候補を取り出し，それらに対し言語モデルなどを用いてフィルタリ ングすることで，入力誤りを収集する。この手法を用いて，約 70 万文規模の JWTD を構築し た。また，JWTDの構築手法を評価し，本手法の有効性を確認した。

続いて, 本研究では, JWTD を用いて, 入力誤り訂正システムを構築する. ベースライン となるシステムを，文法誤り訂正において高い精度を得たと報告されているニューラルモデル (Katsumata and Komachi 2020) を用いて構築する. ベースラインの他に, 漢字の読みの推定を
^{1}$ https://www.nhk.or.jp/kokokoza/tv/basickokugo/archive/basic_kokugo_20.pdf
}
同時に学習するシステム，疑似データを学習に用いるシステムも構築し，比較を行う．前者は，誤変換の訂正に役立つと考えられるため，後者は文法誤り訂正において有効であると報告され ている (Kiyono et al. 2019) ためである. JWTD を用いて学習した本研究の入力誤り訂正システ ム（ベースライン）と他の校正システムとで入力誤り認識において精度の比較を行い, 本研究 の訂正システムの精度が高いことを確認した。

## 2 関連研究

## 2.1 入力誤り

入力誤りは大きく分けて人間に由来するものと, 機械による自動認識に由来するものに分類 できる。前者はキーボードの打ち間違いによって発生するスペルミスや, 非母語話者や編集ミ スによって発生する文法誤り, 後者は光学文字認識 (OCR) や音声認識 (ASR) における認識誤 りなどがあり，それぞれ訂正システムの研究がなされてきた (Sakaguchi et al. 2017; Yuan and Briscoe 2016; 竹内, 松本 1999; Errattahi et al. 2018). 本研究では, 多くの場合文章入力時には キーボードが用いられると想定し，スペルミスと文法誤りを対象として扱う。また，特に母語話者の書いたテキストにおける入力誤りを対象として扱う。そのため, 文法誤りに関して本研究では, 非母語話者によって発生する大きな訂正が必要な誤りではなく, 母語話者の編集ミス によって発生するような些細な誤りを想定する.

Damerau はスペルミスを, deletion, insertion, substitution, transposition の 4 カテゴリに分類 している (Damerau 1964). 本研究では, 誤変換も日本語においては代表的な入力誤りであると 考え, Damerauの分類に対応するカテゴリ（脱字，衍字，誤字，転字）に誤変換を加えた 5 力 テゴリの分類を用いる.

## 2.2 Wikipediaを利用した入力誤りデータセット

Max ら (Max and Wisniewski 2010) は Wikipedia の編集履歴からフランス語スペルミスデー タセットを構築している. 彼らの手法は編集前と編集後の差分をとり, 変化のあった単語対を 取り出すというものである。この方法は, 編集のあった単語対が容易に特定できることを前提 としている.フランス語などの単語区切りが空白文字でなされている言語においては, 編集さ れた単語の特定は容易である。しかし, 単語分割の必要がある日本語などの言語では, スペル ミスが単語分割に悪影響を及ぼすことで，結果として複数の単語の編集となる場合がある。そ の場合, 彼らの手法を日本語に直接適用するだけでは，単語分割に悪影響を及ぼす入力誤りを 収集することはできない，本研究では，このような入力誤りも収集できるように，単語単位で はなく文字単位の編集に着目した手法を用いる.

金山ら (金山，荻野 2011) は日本語 Wikipedia の編集履歴から編集パターンの抽出を行ってい

る. 彼らは編集を, 形式修正・表記修正・内容修正の 3 種類に分類し，その分類器を作成して いる. このうち表記修正は, 本研究で扱う入力誤り訂正に近いと考えられるが, 両者は異なる.「コンピュータ」と「コンピューター」などのカタカナ語表記を統一する編集を, 彼らは表記修正として扱うが，これは編集前も編集後も日本語書き言葉の文として自然であるため, 本研究 では入力誤り訂正として扱わない。そのため, 彼らの分類器を入力誤り訂正の抽出に直接利用 するのは難しい。また，彼らのデータは公開されていない.

## 2.3 公開されている日本語入力誤りデータセット

公開されている日本語入力誤りデータセットに, GitHub Typo Corpus (Hagiwara and Mita 2020) がある.これは $\mathrm{GitHub}^{2}$ の commit ログから構築した多言語入力誤りデータセットであ る. Hagiwara らは commitログ中の編集を, mechanical, spell, grammatical, semantic の 4 種類 に分類し, このうち semantic を除く 3 種類の編集を入力誤りとして, 分類器を学習し, それを 用いることで，入力誤りデータを取り出している。日本語データのサイズは 1,500 文ほどであ る. その中には英単語のスペルミスも含まれているため, 日本語の入力誤りに限定すると数は さらに少なく, ニューラルモデルの学習には十分なサイズではない. そのため, 本研究ではテ ストセットの1つとして利用することにした.

公開されている日本語スペルミスデータに, Babaらのものがある (Baba and Suzuki 2012). Baba らはクラウドソーシングでワーカーにテキストを書かせ，バックスペースを含むキースト ロークの情報から英語と日本語のスペルミスデータを得て, スペルミスの頻度を調査している。日本語データが公開されているが，単語単位で収集されている英語デー夕と違い，単位が明確 ではなく, 1 単語から複数の節まで幅があり, 利用しづらい. 加えて, データはキーストローク 情報であるアルファベット列であり，本研究の誤変換に相当するデータは含まれていない.

公開されている日本語文法誤りデータセットに NAIST Lang-8コーパスがある (Mizumoto et al. 2011). これは言語学習者向けの Web サイトである Lang-83 から構築した多言語文法誤り データセットである，日本語のデータサイズは約 850,000 文である．Lang-8コーパスは非母語話者が生成したテキストから構築されているため, 文の大部分が訂正されたものが含まれる.本研究で収集する入力誤りに含まれる文法誤りは，助詞の誤りなどの編集距離の小さな, 日本語話者によって書かれた文章でも見られるような文法誤りであり, その点で Lang-8コーパスと は異なっている。

## 2.4 入力誤り訂正システム

かつては, OCR や ASR も含め, 入力誤り訂正は noisy channel model を用いた統計的機械翻訳の枠組みが主流であったが (Hládek et al. 2020; Brill and Moore 2000; 竹内，松本 1999), 近年では，ニューラルモデルを用いた手法が成功を収めている (Sakaguchi et al. 2017; Yuan and Briscoe 2016; Mokhtar et al. 2018; Errattahi et al. 2018).

文法誤り訂正において成功を収めているニューラルモデルの一つに BART (Lewis et al. 2020) がある。 BART は Transformer (Vaswani et al. 2017) を用いた seq2seq モデルであり，大規模な 生コーパスで事前学習した後に, 各タスクで fine-tuningするモデルである. BART の事前学習 はノイズに加えられたテキストを復元するタスクを行う，現在, 英語の事前学習済みモデルが公開されている ${ }^{4}$. Katsumata らはBART を用いて英語の文法誤り訂正を行っており, 事前学習済 み BART を文法誤り訂正タスクで fine-tuning するというシンプルな手法ながら, 既存の SOTA に近い結果が得られたと報告している (Katsumata and Komachi 2020). 本研究では, ベースラ インとして, 同様に事前学習済み BART を入力誤り訂正タスクで fine-tuning し, 日本語入力誤り訂正システムを構築する。また, 多言語において BART と同様の事前学習をしたモデルと して mBART (Liu et al. 2020) があり, 日本語を含む 25 ヶ国語で事前学習したモデルが公開さ れている ${ }^{5}$. Katsumata らが行った実験では，単言語で事前学習済みの BART を用いた英語で の結果と比べると, mBART を用いたドイツ語などの言語での文法誤り訂正の精度は低かった。 そのため, 本研究では，事前学習済みモデルとして公開されている mBARTを利用せず，日本語でBART を事前学習し，それを用いて入力誤り訂正システムを構築する。

ニューラルモデルでは, 学習データサイズを大きくすることで精度が向上する傾向がある. そのため, 実際のデー夕に似たデー夕（疑似デー夕）を生成し，学習デー夕に加える手法がこ れまでなされてきており (Sennrich et al. 2016a)，スペルミス訂正 (Li et al. 2018)，文法誤り訂正 (Kiyono et al. 2019) においても精度が向上したと報告されている. 本研究においても，疑似入力誤りデータを生成して，学習に用いる実験を行い，精度が向上するか確認する.

## 3 大規模入力誤りデータセット JWTD の構築手法

日本語 Wikipediaの編集履歴から入力誤りとその訂正文ぺアを図 2 に示す流れで収集し, JWTD を構築する。まず, Wikipediaの編集履歴に前処理を行った後, マイニングを行い, 入力誤りと その訂正文ぺアの候補を取り出す。その後, 入力誤り訂正ではないと考えられる編集をフィル タリングすることで，JWTDの誤字・脱字・衍字・転字・誤変換の入力誤りデータを得る．次
^{4}$ https://github.com/pytorch/fairseq/tree/master/examples/bart

 }^{5}$ https://github.com/pytorch/fairseq/tree/master/examples/mbart

図 2 JWTD の構築の流れ。

に，得られた誤字・脱字・衍字・転字・誤変換の入力誤りデータを用いて BART を fine-tuning し（6.1 節で後述 $)$, 得られたモデルの尤度を用いたフィルタリングを行って，JWTDのその他 の入力誤りデータを得る.

## 3.1 Wikipedia の前処理

XML ダンプで配布されている Wikipedia の編集履歴から入力誤りとその訂正文ぺアを取り出 すために，まず種々の前処理を行う．1 文内に編集のある文ぺアを以下の方法で取り出す.

(1) 全てのページの全ての版を含む XML ダンプの Wikipedia の編集履歴から, 編集コメント を取り出す。荒らしなどの不適切な編集を取り除くため, 編集コメントを基に Wikipedia の版全体から undo や revert されている版を特定し，それらを取り除く。

（2）Wikipedia 特有のマークアップを取り除き，それぞれの版の本文テキストを取り出す.こ れには WikiExtractor6 6 を用いる。ここで，パラグラフごとに改行されている本文テキス トを 1 文ごとに改行する。

（3）それぞれのページのそれぞれの版でその直前の版と行単位で diffをとり，1 文の中に編集のある文ぺアのみを取り出す. 行単位の diffには Python 3 difflibライブラリ 7 を利用す る.ここで編集後が 10 文字以下の文と 200 文字以上の文の場合その文ぺアを取り除く. これは，短すぎる文は入力誤り訂正かどうかを判定するには文脈が不足しており，長過

ぎる文は通常の文ではない可能性が高いためである.

(4) $\lceil\mathrm{A} \rightarrow \mathrm{B}\rfloor, 「 \mathrm{~B} \rightarrow \mathrm{A}\rfloor$ というように編集が循環している文ぺアは, 編集者の間で論争が起 きている編集8である可能性がある。これらはいずれが適切な編集かを機械的に判断する のが難しいため, 同一ぺージ内に編集が循環している文ぺアが存在する場合, どちらも 取り除く。また, 「A $\rightarrow \mathrm{B}\rfloor, 「 \mathrm{~B} \rightarrow \mathrm{C}\rfloor$ というように編集が推移している場合， $\mathrm{B}$ はまだ不適切な文であると考えられる。そのため, 同一ページ内に，このように編集が推移して いる文ぺアが存在する場合，「A $\mathrm{A} \mathrm{C}\rfloor$ というように編集を統合した文ぺアに変換する。

## 3.2 マイニング

前節で得られた編集のある文ぺアから，入力誤りとその訂正を有している可能性のある文ぺ アを取り出す. 対象の入力誤りは誤字・脱字・衍字・転字・誤変換の 5 カテゴリとする．編集箇所が以下に示す条件を満たす文ぺアを，それぞれのカテゴリとして取り出す。ここで，1つの 編集箇所が複数の条件を満たすことはない。また，1つの文ぺアが複数の編集箇所を持ち，そ れらが異なるカテゴリの条件を満たす場合，その文ぺアは複数カテゴリとして取り出す.

## 誤字: 1 文字の入れ替え

(例) 入力誤り 兄の部隊の所属していた兵士でもあり、...

訂正兄の部隊に所属していた兵士でもあり、...

条件・編集箇所における文字単位編集距離が 1

・ 編集箇所の文字数変化が 0
- 編集のあった文字は編集前と編集後ともに, ひらがな又はカタカナ

## 脱字: 1 文字の抜け

(例) 入力誤り ... 民間レスキュー組織をもっていること知られる。

訂正 ... 民間レスキュー組織をもっていることで知られる。

条件・編集箇所における文字単位編集距離が 1
- 編集箇所の文字数変化が +1

・ 挿入文字は, ひらがな又はカタカナ
^{8}$ https://ja.wikipedia.org/wiki/Wikipedia:編集合戦
}
衍字

(a): 余分な 1 文字の挿入

(例) 入力誤り 特に免疫力の差などがそううである。

訂正特に免疫力の差などがそうである。

条件・編集箇所における文字単位編集距離が 1

$\cdot$ 編集箇所の文字数変化が -1

・ 削除文字は,ひらがな又はカタカナ

(b): 直前の文字列と一致する 2 文字以上の余分な文字の挿入

(例) 入力誤り 高校在学中の 1963 年に虫プロに入社に入社。

訂正高校在学中の 1963 年に虫プロに入社。

条件・編集箇所がその直前もしくはその直後の文字列と一致する

・ 編集箇所の文字数変化が -1 以下
- 削除文字は, 編集箇所の文字数変化が -1 ならば漢字, -2 以下なら ばひらがな又はカタカナ又は漢字

## 転字: 隣接する 2 文字間の転置

(例) 入力誤り 現在のことろ、大滝最後の新曲になっている。

訂正現在のところ、大滝最後の新曲になっている。

条件・編集箇所における文字単位編集距離が 2
- 編集箇所における文字単位ダメラウ・レーベンシュタイン距離 (Damerau 1964) が 1

・編集のあった文字は編集前と編集後ともに，ひらがな又はカタカナ

## 誤変換

(a): 同一の読みを持つ漢字の入れ替え

(例) 入力誤り まだ、全学全てが大学院に以降していないため、...訂正 また、全学全てが大学院に移行していないため、...

条件・編集箇所における編集前後の読みが一致
- 編集のあった文字は編集前と編集後ともに, 漢字を含む
(b): 近い読みを持つ漢字の入れ替え

(例) 入力誤り 交代龍が戦死ではなく、「アメリカに旅立つため」...訂正交代理由が戦死ではなく、「アメリカに旅立つため」...

条件・編集箇所における編集前後の読みが，誤字または脱字または衍字 (a) または転字を含む

・編集のあった文字は編集前と編集後ともに，漢字を含む

編集箇所は Juman++ (Tolmachev et al. 2018) ${ }^{9}$ の形態素単位での差分箇所とする．差分の計算 には Python 3 difflibライブラリを用いる。ここで，差分箇所が隣接している場合はそれらをひ

収集できる。漢字の読みの解析には Juman++と IPA 辞書を用いた MeCab (Kudo et al. 2004) ${ }^{10}$ を用い，どちらか一方において条件を満たせばよいことにする。文字の種類（ひらがな・カ夕 カナ・漢字）の判定には，Python3 regex ${ }^{11}$イブラリを用いる.

## 3.3 フィルタリング

前節のマイニングで得られた文ぺアには，入力誤り訂正とは関係ないと考えられる編集も含 まれる。それらを取り除くため，以下の方法でフィルタリングを行う。

品詞・形態素解析 マイニングで得られた文ぺアには，以下のような人名・時制・Wikipedia 特有のスタイルに関する編集が多く見られる。

（1）編集前 これに対し、若き科学者・芹沢大介の発明したオキシジェン...

編集後 これに対し、若き科学者・芹沢大助の発明したオキシジェン...

(2) 編集前 白浜町に設置されるインターチェンジは以下のようになる。編集後 白浜町に設置されたインターチェンジは以下のようになる。

（3）編集前 絵画とは、基本的には、線や色彩をもちいて、物の形や姿を...

編集後 絵画は、基本的には、線や色彩をもちいて、物の形や姿を...

(1)はフイクションでの登場人物の人名に関する編集, (2) は時制に関する編集, (3) は Wikipedia で特に頻繁に見られたスタイル統一のための編集である。これらは，文脈によっては編集後が
^{9}$ https://github.com/ku-nlp/jumanpp

10 https://taku910.github.io/mecab/

11 https://pypi.org/project/regex/
}
内容として適切な文かもしれないが，この 1 文においては, 編集前も編集後も書き言葉の文とし て自然である. そのため, これらは入力誤り訂正ではないと考え, 形態素解析器 Juman++の解析結果を用いて取り除く，編集箇所の解析結果に品詞細分類が人名であるものを含む場合，人名に関する編集として取り除く，編集箇所の解析結果の原型が編集前後で同一であり，活用形 が基本形と夕形のペアの場合，時制に関するものとして取り除く．編集箇所が「と/は」と「は」 のペアであり「と」の品詞が格助詞の場合, (3)のようなスタイル統一の編集として取り除く.

リダイレクトデータ マイニングで得られた文ぺアには，記事内で用いる用語を統一するため の編集が多く見られる。

$
\begin{aligned}
& \text { 編集前 } 1840 \text { 年 - ジョージ・ウォルフ、ペンシルバニア州知... } \\
& \text { 編集後 } 1840 \text { 年 - ジョージ・ウォルフ、ペンシルベニア州知... }
\end{aligned}
$

「ペンシルバニア」「ペンシルベニア」のような単語は表記は異なるが，どちらも書き言葉の文 として自然であり，この編集は入力誤り訂正ではないといえる．Wikipediaではこのような単語を検索すると，どちらも同一ぺージに遷移するリダイレクト機能 ${ }^{2}$ がある。この情報を用い て,このような単語間での編集を含む文ぺアを取り除く。

言語モデル マイニングで得られた文ぺアには，以上に挙げた以外にも，以下のような本研究 の定義する入力誤りとは関係のない些細な編集が多い.

編集前 ...を受けた後に大幹部に抜擢されて、日本支部長に就任した。編集後 ...を受けた後に大幹部に抜擢され、日本支部長に就任した。

（6）編集前 $\ldots$ て「フェニックス」を掲げ、新たに都市開発に取り組んだ。編集後 $\ldots$ て「フェニックス」を掲げ、新たな都市開発に取り組んだ。

また，記事によっては，日本語の通常の文ではない文字列で編集が見られることがある．以下 は，漢文の引用中で見られた編集である.

（7） 入力誤り ... 數法日月星辰，敬授民時，分命羲仲居鬱夷曰：暘谷，敬道日出，...訂正 ... 數法日月星辰，敬授民時，分命羲仲居嵎夷曰：暘谷，敬道日出，... このような文字列は，日本語文として編集前も編集後も不自然であるため, 取り除くことが望 ましい.

 &  \\

表 1 「今日はいい【転機 $\rightarrow$ 天気】だ。」を事前学習済みの BART モデルで尤度計算する際に与える入出力.

これらのような編集のパターンは無数に存在し，それらをフィルタリングするルールを包括的に記述するのは困難である，そこで， BART と LSTM モデルを用いて，2つの方法でフィル タリングを行い上記のような編集を取り除く。

1つ目は 6.1.1 節で後述する事前学習済み BART での尤度をもとにフィルタリングを行う。こ れは，(5)，（6）のような編集を持つ文ぺアを対象としたフィルタリングである．表 1 のように 訂正箇所を $[\mathrm{mask}]$ トークンで置換した文を入力して, 編集前・編集後の文が出力される尤度を それぞれ計算する。尤度が大きいほどその言語モデルにとってその文が自然なものであるとい えるため，編集による尤度の増加が大きいものは入力誤り訂正である可能性が高いと考えられ る。それぞれの入力誤りの種類で閾値を定め, 編集による尤度の差が閥値より小さい文ぺアを 取り除く.ここで, 衍字 (b)・転字・誤変換 (a) にはこのフィルタリングは行わない. 衍字 (b) においては精度が十分高い，転字においてはデー夕量が少ない，誤変換 (a)においては「若干 $\rightarrow$弱冠」などの高頻度語から低頻度語への正しい訂正が取り除かれるためである. 閥値は, 4.3.1 節で後述の入力誤り評価データの作成方法と同様の方法で収集した入力誤りかどうかのラベル 付きデータ 10,000 文ペアを基に，F 值を最大化するように決定する．

2 つ目は，訂正後の文を文字単位 LSTM 言語モデルに入力した際に出力される，文字単位尤度の平均をもとにフィルタリングを行う．これは，(7)のような文ぺアを対象としたフィルタリ ングである。文字単位 LSTM 言語モデルの学習データには日本語 Wikipedia の最新ぺージ全て を使う，編集後の文の文字単位尤度平均が小さい場合, 編集後の文が不自然な文と考えられる。閾値を定め, 文字単位尤度平均が閾値より小さい文ぺアを取り除く。閾値はヒューリスティッ クに決定する。

以上の, 品詞・形態素解析, リダイレクトデータ，言語モデルを用いたフィルタリングを通過したものを，誤字・脱字・衍字・転字・誤変換の入力誤りデータとする.

## 3.4 その他の入力誤りデータ収集

前節までの方法は特定のカテゴリを対象として入力誤りを収集するため，収集できない入力誤りが存在すると考えられる，例えば，誤字カテゴリでは文字単位編集距離が 1 である入力誤 りのみを対象としており，編集距離 2 以上の誤字は収集できない。また, 編集距離 2 以上の編

 &  \\

出力 & 今日はいい天気だ。 \\

表 2 「今日はいい【転機 $\rightarrow$ 天気】だ。」を入力誤り訂正タスクで fine-tuning 済みの BART モデルで尤度計算する際に与える入出力.

集は, 編集距離 1 のものに比べて，入力誤り訂正以外の編集の割合が高いため, 3.2 節のマイニ ングの編集距離条件を 2 以上に緩め, 3.3 節のフィルタリングを同様に行う方法では不十分な質 のデータしか得られない。そこで, 編集距離 2 以上の誤字などの入力誤りの収集では，入力誤 り訂正を学習したモデルを用いて，入力誤り訂正である可能性が高い編集をその他の入力誤り として収集する。この入力誤り訂正モデルには, 誤字・脱字・衍字・転字・誤変換の入力誤り データで fine-tuning した BART モデルを用いる（6.1.2 節で後述）。表 2 のように編集前の文を 入力に与え, 編集前・編集後の文が出力される尤度をそれぞれ計算する．編集による尤度の増加が大きいものは, その編集が入力誤り訂正である可能性が高いと考えられる。閾値を決めて,訂正による尤度の差が間値より大きいものをその他として収集する。閾値決定には, 4.3.1 節で 後述の入力誤り評価データの作成方法と同様の方法で収集した入力誤りかどうかのラベル付き データのうち，マイニング（3.2 節）を適用した際にふるい落とされる 7,962 文ぺアを用いる.適合率がフィルタリング（3.3 節）までのデータセット構築手法の適合率（4.3.2 節で後述）以上 であり，かつ，再現率を最大化するように闇值を決定する。その他の収集対象例を以下に示す. その他では, 編集距離が 2 文字以上の誤字の他にも, 漢字の脱字など様々なものが対象となる.

## その他

(例 1) 入力誤り ダイオキシン類は、非意図的に発生しまう物質であり、主に...

訂正ダイオキシン類は、非意図的に発生する物質であり、主に...

(例 2) 入力誤り 登場人については、魔導物語及びぷよぷよシリーズの...

訂正登場人物については、魔導物語及びぷよぷよシリーズの...

## 4 JWTD の分析と評価

## $4.1 \mathrm{JWTD$ の分析}

3 章の手法を 2019 年 6 月の日本語 Wikipedia に適用し, JWTD を構築した. JWTD のデー タサイズを表 3 に示す. ここで，複数カテゴリの入力誤りを有する文ぺアはそれぞれのカテゴ リで重複してカウントしている。そのため, 各カテゴリの文ぺア数の合計と全ての文ぺア数は

表 3 JWTDのサイズ.

一致していない. 合計約 70 万文ぺアの入力誤りデータが得られた ${ }^{13}$.

JWTD における各入力誤りの上位 10 個の訂正を表 4 に示す。訂正の単位は Juman++で訂正前・後の文をそれぞれ形態素分割した形態素列での最小編集である.

脱字に「る $\rightarrow$ いる」「+い」が見られるが，それらは主に以下のような，い抜きことばの訂正 であった.

（8） 入力誤り ... 基本的に C Dデビューをしてない人を指す。

訂正 $\quad .$. 基本的に C Dデビューをしていない人を指す。

い抜きことばは話し言葉で用いられるが，書き言葉においては一般に不適切とされる。百科事典である Wikipediaでは書き言葉が適切であり，1 章で述べたように本研究ではい抜きことば も入力誤りとしている.

転字は他と違い，カタカナ文字での訂正が多い傾向が見られた。また，表にあるような「シュ ミレーター $\rightarrow$ シュレーター」は， 入力誤りによってではなく，前後の音が入れ替わる音位転換 (斎藤 2010) と呼ばれる言語現象によって生じている可能性がある．JWTD の転字は音位転換の言語資源としての活用も考えられる.

誤変換 (a) では, 「製作 $\rightarrow$ 制作」「運行 $\rightarrow$ 運航」のように意味が似ている漢字間の訂正が見 られた。これらの漢字は使い分けの判断が難しく，また，入力誤りとは言えないものも含まれ る.また, 誤変換 (b) では, 「声優 $\rightarrow$ 俳優」のように入力誤り訂正ではなく, 意味的な訂正で あると考えられるものが見られる。このようなものを取り除くことは今後の課題である.

その他では, 他のカテゴリがカバーしていない, 「月 $\rightarrow$ 年」といった漢字における誤字などや,「+する」といった 2 文字以上の脱字といった多様な入力誤りが収集できていることがわかる.次に JWTD における各入力誤りでの品詞における上位 5 個の訂正を表 5 に示す.

表 4 上位 10 個の入力誤り（値は各カテゴリにおける総編集箇所数に対する\%）。｣は左から右への 編集，「十」は追加する編集，「一」は削除する編集を表す.

誤字・脱字・衍字 (a) の 1 位は助詞に関するものであった。これより，JWTD は文法誤り訂正のデータも多く含んでいることがわかる.

誤字・転字に「未定義語 $\rightarrow$ 名詞」が見られるが，これらは以下のような，カタカナ文字での 編集が多かった.

(9) 入力誤り マイクロソフトのエクセツなどの商用ソフトウェアは、この...訂正 マイクロソフトのエクセルなどの商用ソフトウェアは、この...

(10） 入力誤り ... 本人の頭が一瞬だけ拡大で映ってしまうハプンニグが起きた。訂正．.. 本人の頭が一瞬だけ拡大で映ってしまうハプニングが起きた。

また，誤字・転字・誤変換 $(\mathrm{b})$ には「(名詞, 名詞 $) \rightarrow$ 名詞」が見られる.これらは入力誤りに よって, Juman++の形態素解析における形態素数が変化した例である。実例は以下である.

表 5 上位 5 個の品詞（値は各カテゴリにおける総編集箇所数に対する\%）。「」」は左から右への編集,「十」は追加する編集，「一」は削除する編集を表す。また，「(名詞, 名詞)」等は 2 形態素の編集が あった場合のそれらの品詞を表す.

(11) 入力誤り ... 因島市のヘッドタウン的な立場であった。

訂正．.. 因島市のベッドタウン的な立場であった。

(12) 入力誤り メモ付きのポロライド写真

訂正メモ付きのポラロイド写真

（13）入力誤り モンスターズ 現代アメリカ決算句短編集 B ・ J・ホラーズ編...

訂正モンスターズ 現代アメリカ傑作短編集 B ・ J・ホラーズ編...

それぞれの形態素単位の編集は, (11)「ヘッド/タウン $\rightarrow$ ベッドタウン」, (12)「ポロ/ライド $\rightarrow$ ポラロイド」, (13)「決算/句 $\rightarrow$ 傑作」であり，2 形態素（単語）の訂正が行われたことになる.複数単語に渡る入力誤り訂正は, 単語分割の必要のないフランス語や英語での先行研究 (Max and Wisniewski 2010; Zesch 2012) では収集対象にされておらず，それらの手法では収集できな いものである.

## 4.2 クラウドソーシングによる評価

クラウドソーシングを用いて, JWTD の評価を行った. 評価対象はランダムに選んだ記事 3,000 ページ中から得られた文ぺアを用いた. 同じ訂正が数多く存在しているぺージが存在した ため，データの偏りを避けるために，選ばれたぺージ内に同一の訂正が 4 つ以上含まれていた 場合，そのうちの 3 つのみをランダムに採用した。評価対象となった文ぺア数を表 6 に示す.

## 4.2.1 タスク内容

編集前と編集後の文を同時に提示して，それぞれ書き言葉として自然かどうかを質問した。 このとき，提示する際は単に文 $\mathrm{A}$ ，文 B として提示し，どちらが編集前か編集後かをわからな いようにした，選択肢は「Aは書き言葉として自然な文であるが，B は不自然な文である」，「B は書き言葉として自然な文であるが，A は不自然な文である」，「どちらの文も自然である」，「ど ちらの文も不自然である」，「わからない」の 5 とした。 それぞれの文ぺアにつき 10 人のワー カーに回答してもらった。

## 4.2.2 結果

文ぺアのうち，1つの選択肢が過半数の票を持つ編集を，その回答によって分類した. 過半数 を超えている回答が「A は書き言葉として自然な文であるが，B は不自然な文である」もしく は「B は書き言葉として自然な文であるが，A は不自然な文である」の場合は，編集前の文が 不自然・編集後の文が自然という回答のとき「正しい訂正」，編集前の文が自然・編集後の文が 不自然という回答のとき「間違った訂正」と分類した，過半数を超えている回答が，「どちらの 文も自然である」の場合「どちらも自然」「どちらの文も不自然である」の場合「どちらも不自然」,「わからない」の場合「わからない」と分類した. どの選択肢も過半数の票を持たない ものは「その他」に分類した。このようにして得られた分類結果を表 7 に示す.

表 6 クラウドソーシングの評価対象データサイズ.

表 7 クラウドソーシングによる JWTD 評価結果（値は\%）.

ここで，過半数を超えている回答が，編集前の文が不自然・編集後の文が自然という回答の ペアを「正しい訂正」，編集前の文が自然・編集後の文が不自然という回答のペアを「間違った 訂正」と分類している.

全体では $72.7 \%$ のぺアが「正しい訂正」と分類された．脱字の「どちらも自然」が $19.7 \%$ と他 と比較して高いが, このうち $27.2 \%$ が以下のような「の」の抜けであった.

$
\begin{array}{ll}
\text { 入力誤り } & \text { 播磨国龍野藩 } 10 \text { 代 (最後) 藩主。 } \\
\text { 訂正 } & \text { 播磨国龍野藩 } 10 \text { 代 (最後) の藩主。 }
\end{array}
$

「の」の抜けの編集は，「どちらも自然」に分類されたものが $44.6 \%$ に対して，以下の (15)のよ うな「正しい訂正」に分類されたものも $37.9 \%$ り，「の」の抜けが入力誤りであるかどうかは，文脈によるといえる。

（15） 入力誤り ... 降伏条件の実施ため必要と認める措置を執る...

訂正 ... 降伏条件の実施のため必要と認める措置を執る...

このような「どちらも自然」な編集を取り除く方法として, 3.3 節の言語モデルフィルタの改良 などの方法が考えられ，今後の課題である.

転字の「わからない」「その他」の割合が他より高い，転字では，以下のようなカタカナ文字 での編集が多く，入力誤りかどうかの判断には知識が必要とされるためだと考えられる.

(16) 入力誤り 六本木一丁目にあるカリーヴスルトを食べられるインビス 訂正六本木一丁目にあるカリーヴルストを食べられるインビス これらの中には例のような,「正しい訂正」と分類されるべきものも多く見られたため，転字の
「正しい訂正」の実際のスコアは表よりも高い可能性がある.

誤変換 (a) は「その他」の割合が高いことから，ワーカーの判断が分かれていることがわか る.これは, 誤変換 (a) の訂正は他と違い漢字の知識を必要とするためだと考えられる。また,誤変換 (a)の「間違った訂正」と分類された中には以下の (17)のような「正しい訂正」とされ るべきものが含まれていた。そのため，誤変換 (a)の「正しい訂正」の実際のスコアは表より も高い可能性がある.

入力誤り E S I E は若干２０歳にして単なるアーティストではなく...

訂正E E I E 弱冠 20 歳にして単なるアーティストではなく...

## 4.3 入力誤り評価データによる評価

3 章の手法で構築した JWTD は主に特定のカテゴリの入力誤りを対象として収集するため,収集から漏れた入力誤りが存在すると考えられる。そのため, 適合率だけではなく再現率も含 めた評価を行うことが望ましい，再現率を評価するためには，カテゴリの制限のない網羅的な 入力誤りデータが必要である。そのような入力誤りデータを収集し，それを用いて JWTD 構築手法を評価した。

## 4.3.1 入力誤り評価データの作成

クラウドソーシングを用いて網羅的に入力誤りデータを収集し，それを入力誤り評価データ とした。クラウドソーシングに用いたデータは， 3.1 節で取り出した編集箇所を持つ文ぺアから ランダムに選んだ 11,000 文ペアである.

タスク内容質の良い評価データを作るために，2 段階の方法でクラウドソーシングを行った. どちらもそれぞれ 5 人のワーカーに回答してもらった.

1 段階目のタスクは，編集がどのような編集かを分類するタスクである。編集前と編集後の 文を提示して，「内容の変更・追加・削除」，「表現の変更 ・追加・削除」，「誤字・脱字・衍字 $\cdot$漢字の変換ミスの修正」「その他・わからない」の 4 つの選択肢の中から 1 つ選んでもらった.「誤字・脱字・衍字・漢字の変換ミスの修正」が過半数を得た文ぺアを入力誤りに関係するぺア とし，2 段階目のタスクの対象データとした。

2 段階目のタスクは 4.2.1 節のタスクと同じく, 編集前後の文が自然かどうかを問うタスクで ある。

結果 1 段階目のタスクにおいて,「誤字・脱字・衍字・漢字の変換ミスの修正」が過半数を占 めた文ぺアは 1,773 個であった。それらを対象に行った 2 段階目のタスクで，編集前の文が不自然・編集後の文が自然という回答が過半数を占めた文ぺアは 1,127 個であった. この 1,127 個 の文ぺアを入力誤り評価データとした。

## 4.3.2 評価結果

入力誤り評価データを含む，4.3.1節でクラウドソーシングに用いた 11,000 文ぺアに対し， 3 章の手法を適用して JWTD の構築手法を評価した。JWTD 構築手法を適用して得られた文ぺ アを $J$, 入力誤り評価データを $G$ とし, $|J \cap G| /|J|$ を適合率, $|J \cap G| /|G|$ を再現率として計算 する（|X| はX の文ぺア数を表す)，結果を表 8 に示す.

JWTD の構築手法の評価結果は適合率 $73.4 \%$, 再現率 $62.4 \%$ となった. また, 表からマイニ ング，フィルタリング，その他カテゴリの入力誤りの収集を経ることで， $\mathrm{F}$ 值が向上している ことが確認できる。

入力誤り評価データのうち, JWTD の構築手法で取り出せなかったものは, 3.3 節の事前学習済み BART モデルを用いたフィルタによって取り除かれたものが多かった. 実際, 表 8 のマ イニング後とフィルタリング後の間での, 再現率低下の $70 \%$ BART モデルフィルタによるも のであった. 以下に BART モデルフィルタによって取り除かれた入力誤り例を示す.

$
\begin{array}{ll}
\text { 入力誤り } & \ldots \text { 売買を阻止、地域の健康プログラムを支援と、自身の縄張り ... } \\
\text { 訂正 } & \ldots \text { 売買を阻止、地域の健康プログラムの支援と、自身の縄張り ... }
\end{array}
$

一方で，BART モデルを用いたフィルタは以下の (19)のような入力誤り訂正ではない編集を取 り除くことで，適合率の向上に大きく貢献している。実際, 表 8 のマイニング後とフィルタリ ング後の間での, 適合率向上の $88 \%$ が BART モデルフィルタによるものであった.

（19）編集前 ...のでは」との憶測を抱いたファンが多かったらしく、鈴木自...

編集後 ...ののては」との憶測を抱いたファンは多かったらしく、鈴木自...

BART モデルフィルタは適合率の向上とともに再現率の低下をもたらしており，その再現率の 低下を抑えることが今後の課題といえる。

また，数は少ないながら，以下のような漢字の読みに関するもの $(20)$, 似た見た目の漢字 $(21)$ の入力誤りも JWTD の構築手法では取り出せていなかった. このような入力誤りは, 3.4 節の その他カテゴリの収集に用いるモデルを改良することによって, 収集できる可能性があり，今

表 8 データセット構築手法の評価（適合率・再現率・F 値の値は\%）.
後の課題である.

入力誤り 米津玄師（こめつけんし、1991 年（平成 3 年） 3 月 10 日 - ）...

訂正米津玄師（よねづけんし、1991年（平成 3 年） 3 月 10 日-）...

（21） 入力誤り B I Mの中に空気や鹿が吸い込まれていく真空モードに入る。

訂正BIMの中に空気や塵が吸い込まれていく真空モードに入る。

## 5 入力誤り訂正システム

本研究では入力誤り訂正システムに用いるニューラルモデルとして, seq2seq 事前学習モデル BART を採用する. BART を日本語テキストで事前学習し, その後, JWTDを用いた入力誤り 訂正タスクで fine-tuning することで, 入力誤り訂正システムを構築する. 本研究では入力誤り 訂正タスクのみで fine-tuning する方法の他に, fine-tuning 時に漢字の読みの推定を同時に学習 を行う方法, fine-tuning 時に JWTD に加えて疑似データを用いて学習する方法を提案する.

## 5.1 BART

BART は Transformer をべースとした seq2seq 事前学習モデルである．事前学習モデルは，大規模な生コーパスで自己教師学習を行い (事前学習), その後目的のタスクで fine-tuning を行う モデルである. seq2seq モデルである BART の他には, 言語モデルの BERT (Devlin et al. 2019) などがある．BARTで行う事前学習のタスクは，ノイズを加えられたテキストから元のテキスト を生成するものであり, token masking, token infilling, token deletion, sentence permutation, document rotation の 5 種類がある。例を表 9 に示す. token masking と token infilling はテキス ト内のトークンを maskトークンに置き換えるノイズである。両者の違いは，前者は 1 個のトー

表 9 「A B C.D E.」に対して BART の事前学習タスクのノイズを加えた例（_は maskトークンを 表す).

クンを 1 個の maskトークンに置き換え，後者は 0 個以上のトークンを 1 個の maskトークンに 置き換える点である. token deletion はトークンを削除するノイズ, sentence permutation は文章中の文を入れ替えるノイズ， document rotation は文章を転回させるノイズである. Lewis ら (Lewis et al. 2020) が NLI どのいくつかのタスクでBART を fine-tuning した実験では, text infilling のみで事前学習を行ったモデル, text infilling と sentence permutation で事前学習を 行ったモデルの精度が高かった. 本研究では, 本研究の入力誤り訂正タスクは 1 文単位で行う ことから, sentence permutationのノイズは不必要であると考え, text infilling のみで事前学習 をする。また，本研究では事前学習済み BART をJWTD の入力誤り訂正タスクで fine-tuning したものをべースラインとする.

## 5.2 読み推定の同時学習

本研究で扱う入力誤りのうち, 誤変換は漢字の読みが同一または近い誤りである。そのため,漢字の読みの情報は，誤変換の訂正に役立つことが予想される，本研究では， 入力誤り訂正夕 スクと同時に漢字の読みを推定するタスクを学習する手法を提案する．漢字の読みを推定する タスクは，原文からその読みを出力するタスクと原文の読みから元の原文を出力するタスクの 2 種類とする．表 10 に原文からその読みを出力するタスクの例を示す。それぞれ及びそれら両方のタスクを入力誤り訂正タスクとを同時に学習するモデルを作成し, ベースラインと精度比較する。

## 5.3 疑似データ

ニューラルモデルはデータを増やすと精度が向上する傾向があり, 文法誤り訂正や機械翻訳 ではデータセットサイズを大きくするために，疑似的なデータを生成し，そのデータを学習デー 夕に加える手法が成功を収めている。疑似データを生成する代表的な手法に, 逆翻訳 (Sennrich et al. 2016a) がある。逆翻訳は, 原言語から目的言語への変換である翻訳の学習において, 原言語と目的言語の対データサイズが小さいが，目的言語のデータは十分にある場合に用いられ る手法である．翻訳とは逆向きである，目的言語から原言語への変換を学習したモデルを用い て, 目的言語データから原言語データを生成し, それらを疑似的に原言語と目的言語の対デー 夕とすることで, 翻訳の学習データサイズの拡張を行う.

本研究でも, 疑似データを作成し, 学習データサイズを増やすことによって精度が向上する

表 10 原文から読みを出力する漢字の読み推定タスクの入出力例.

かを確認する，疑似データは，ランダムに入力誤りを生成する方法と，逆翻訳によって生成す る方法で生成する。以下に同一の文から前者で生成した入力誤り $(22)$ と後者の方法で生成した 入力誤り $(23)$ の例を示す.

入力誤り ...ナカムラ大統領の手腕が試されぴ大事な新年がスタートした

訂正 ...ナカムラ大統領の手腕が試される大事な新年がスタートした

(23） 入力誤り ...ナカムラ大統領が手腕が試される大事な新年がスタートした

訂正．..ナカムラ大統領の手腕が試される大事な新年がスタートした

このように，ランダムに生成するデータは多様なデータであり，逆翻訳で生成するデー夕は実際の入力誤りらしいデータである。このような 2 種類の疑似データを JWTD に加えて，学習を 行う.

## 6 入力誤り訂正システム実験

## 6.1 実験設定

JWTD を利用して，入力誤り訂正システムの実験を行った. BART を事前学習し，JWTDを 用いて，入力誤り訂正タスクで fine-tuning する。JWTDの入力誤り訂正タスクのみを学習する モデル (ベースライン), JWTDの入力誤り訂正タスクと漢字の読み推定タスクを同時に学習 するモデル（読みの同時学習），JWTD に加え疑似データを用いて入力誤り訂正タスクを学習 するモデル（疑似データ）を作成し，これら 3 つのモデルで精度比較を行った。また， ベース ラインと Microsoft Word 等の他の校正システムとで精度比較を行った. 精度比較は, 入力誤り のカテゴリごとでの性能，カテゴリを限定しない入力誤り全般での性能，入力誤りを含まない 文において不必要な編集を行わないかの 3 種類の観点で行った.

## 6.1.1 BART の事前学習

BART モデルを日本語テキストで事前学習した ${ }^{14}$. 公開されている事前学習済み BART モデ ルは英語のみである。また，日本語を含む多言語で事前学習した mBART が公開されているが，本研究のタスクでは日本語以外の言語の情報は必要なく, 加えて, mBART の日本語分割基準は 我々とは異なり不整合が生じる。そのため, 独自に日本語で事前学習した。事前学習の学習デー 夕には，日本語 Wikipediaの約 1,800万文を用いた。トークン単位は，テキストをJuman++で 形態素分割した後にそれらを subword 分割 (Sennrich et al. 2016b) したものを用いた. subword

分割には SentencePiece (Kudo and Richardson 2018) を利用し, 語彙サイズは 32,000 とした.事前学習では text infilling タスクを行った. encoder と decoder がそれぞれ 6 層のモデル (base) とそれぞれ 12 層のモデル (large) で事前学習した。隠れ層の次元は, base は 768 , large は 1,024 である。バッチサイズは 512 とし, baseでは 50 万 step, largeでは 25 万 step 学習した。事前学習に Wikipediaを利用したため，入力誤り訂正評価に用いる，入力誤り評価デー夕と 6.1.2 節で 後述の JWTD テストセットのデータの一部が事前学習データにリークしていると考えられる. そのため, これらのデータを用いた評価は厳密な評価ではないことに注意されたい.

## 6.1.2 入力誤り訂正タスク

入力誤り訂正タスクでは, JWTD を以下のように学習・検証・テストセットの 3 種類に分割 して得た，学習・検証セットを用いて，各カテゴリの入力誤りデータ，及び，全ての入力誤り データで fine-tuningを行う.

まず， 4.2 節の評価で正しい訂正と分類された文ぺアを JWTD テストセットとする．次に， JWTD から，JWTD テストセット・入力誤り評価データ（4.3.1 節）を含む記事ページから得ら れた文ぺアを取り除く，それらのうち，それぞれのカテゴリで 1,000 文ぺアを検証セットとし，他を学習セットとする。なお, このような分割により, 学習に用いる JWTD の学習・検証セッ トと，評価に用いる JWTD テストセット・入力誤り評価データは, どちらも Wikipedia が収集元であるものの，収集元の記事ぺージは異なる．また，JWTD テストセットはカテゴリごとに 分類された入力誤りデータであるため, 入力誤り訂正のカテゴリごとの評価が可能である点が,入力誤り評価データと異なる。JWTDの学習・検証・テストセットのサイズを表 11 に示す.

## 6.1.3漢字の読みの推定タスク

漢字の読み推定タスクでは, 現代日本語書き言葉均衡コーパス (BCCWJ; Balanced Corpus

表 $11 \mathrm{JWTD}$ の学習・検証・テストセットサイズ
of Contemporary Written Japanese (Maekawa et al. 2014)) のコアデータ 40,584 文を学習データ として用いた． 5.2 節で述べたように，漢字の読み推定タスクは，原文を入力して読みを出力 するタスクと，その逆向きである，読みを入力して原文を出力するタスクの 2 種類であり，そ れに加えて両方のタスクを同時に学習するモデルも作成した。ここで，原文は BCCWJ の原文文字列，読みは BCCWJ の発音形出現形を用いた。なお BCCWJ の発音出現形は，例えば「将棋」は「ショーギ」が対応するように，必ずしもキーボードで入力する読みとは一致していな い. 本研究では，キーボード入力時の誤り訂正が対象であるため, キーボードで入力する読み が望ましいと考えられる。発音出現形をキーボードで入力する読みに変換したデー夕を用いた 実験は今後の課題である。読み推定タスクの入力単位は BCCWJ の短単位を subword 分割した ものとした。同時学習を行うモデルでは，まず，入力誤り訂正タスクと漢字の読み推定タスク で fine-tuning した後, 入力誤り訂正タスクのみで fine-tuning した。入力誤り訂正タスクにおい ては，JWTDの全ての入力誤りデータを用いた.

## 6.1.4 疑似データ

疑似データを作成し，JWTD と混合したデータで fine-tuning を行う。

疑似データ作成方法 疑似データは 5.3 節で述べたようにランダムに入力誤りを生成する方法 （ランダム）と，逆翻訳を行って生成する方法（逆翻訳）の 2 種類である。どちらの方法でも，疑似データを作成するソースデータは読売新聞データを用いた ${ }^{15}$.

ランダムでは， 3.2 節のマイニングの条件を満たすようなノイズをランダムに加えて，誤字・脱字・衍字・転字・誤変換の疑似入力誤りデータを作成する。ここで，ランダムに生成するこ とが困難なその他の入力誤りの生成は行わなかった。誤変換に関しては, Wikipedia 全体の本文テキストを Juman++で形態素解析した読みの情報をもとに，文中の漢字を含む形態素を同一の/近い読みを持つ形態素に置換する方法で生成した。

逆翻訳では，JWTDのその他を除く誤字・脱字・衍字・転字・誤変換の入力誤りを用いて， fine-tuning で訂正後の文から訂正前の文を学習させた BART をもとに逆翻訳を行い，疑似デー 夕を作成する。ここで，ランダムな生成方法と条件を揃えるため，その他の生成は行わなかっ た. 生成されたテキストに再度マイニング（3.2 節）を行って得られた文ぺアを疑似データと した.

疑似データと JWTD の混合方法fine-tuning に用いる JWTD の入力誤りデータはその他を抜 いた誤字・脱字・衍字・転字・誤変換である。JWTD と疑似データを混合したものに対して，疑似データ割合が $0.0 \sim 1.0$ になるように混合した．疑似データの割合が 1.0 の場合は JWTD の 学習データと同じサイズとした。混合する際には, それぞれのカテゴリのデータサイズの比率

は JWTD と同様になるようにした，疑似データはランダムのみ，逆翻訳のみ，混合とした．混合はランダムで生成した疑似データと逆翻訳で生成した疑似データをそれぞれ 0.5 の割合で混 ぜたものである.

fine-tuning 方法 モデルは BART baseを用い，疑似データと JWTD を混合したデータで fine-tuning した後, JWTDのみで fine-tuning を行った.

## 6.2 評価方法

## 6.2.1 入力誤り訂正

評価指標は入力誤り訂正の適合率・再現率・ $\mathrm{F}$ 値を用いた. 入力誤り訂正の適合率・再現率 は次の定義で計算した。各文において, 訂正前の文と訂正後の文の文字単位の最小編集 $G$ と,訂正前の文とシステム出力文の文字単位の最小編集 $O$ を求め, $|G \cap O|$ を求める．全ての文に おける $|G \cap O|$ の合計を $N_{T},|G|$ の合計を $N_{G},|O|$ の合計を $N_{O}$ として, 適合率 $=N_{T} / N_{O}$, 再現率 $=N_{T} / N_{G}$ とした. ここで最小編集の計算には python-Levenshtein ライブラリ16を用いた.

評価には, JWTD テストセット・入力誤り評価データ・GitHub Typo Corpusの３つを用い た. GitHub Typo Corpus は, Hagiwara らの分類器での入力誤りである確率 (prob_typo) が 0.9 より大きい日本語データから, 英語のスペルミス訂正を除いた, 557 文を用いた.

## 6.2.2 他の校正システムとの比較

本研究で構築した入力誤り訂正システムと他の校正システムとで精度比較を行った. 他の校正システムは, Microsoft Word ${ }^{17}$ と Yahoo! 校正支援 API ${ }^{18}$ の 2 つを用いた. 精度比較は, 入力誤りを含む文におけるシステムの入力誤り認識精度と，入力誤りを含まない文におけるシステ ムの振舞いの 2 つの尺度で行った.

Microsoft Word の設定 日本語における入力誤り認識のみの評価に限定するために，校正結果のうち言語設定が日本語とされている箇所のみを評価に用いた. 校正の設定は,「文書のスタ イル」を「通常の文」に設定し，他は初期設定のままとした。利用した Word のバージョンは Microsoft Word for Mac 16.48 である.

Yahoo！校正支援 API の設定 Yahoo！校正支援 API は，校正のカテゴリを 17 種類に分けて 出力を行う．本研究においては，それら 17 種類のうち, $\mathrm{F}$ 值が最大となるようなカテゴリを選択して，評価を行った， API 利用時期は 2021 年 5 月である.

評価方法 二つの校正システムの出力の多くが, 訂正箇所の指摘のみであったため, 入力誤り 訂正ではなく，訂正すべき箇所を推定する夕スク（入力誤り認識）で評価した．校正システムが 出力した訂正箇所（区間）が，正解の訂正箇所（区間）を含むかどうかを数え上げ，適合率・再現率・ $\mathrm{F}$ 値を計算する，前章で作成した訂正システムにおいては，入力とシステム出力の差分箇所を訂正箇所とした。評価には，入力誤り評価データと GitHub Typo Corpus を用いた。こ の 2 つを評価に用いたのは，前者はWikipedia，後者は GitHubにおける入力誤りの分布を反映 したデータであり，入力誤り認識の総合的な性能の比較に適切なためである. Word において はそれぞれランダムに 100 個サンプルしたもので我々が人手で評価した.

また，入力誤りを含まない文を入力したときの評価も行った。校正システムは入力誤りのな い文での不必要な訂正の提案は行わないことが望ましく，その観点での評価のためである。入力誤りを含まないと考えられる読売新聞データ 100 文を与えて, システムの訂正箇所の数を数 えて，比較する。読売新聞データは，記事の見出しを除いた本文のみを用いた。この評価にお ける Yahoo! 校正支援 API で訂正箇所を数え上げる校正カテゴリは，入力誤り評価データでの 入力認識誤りの F 值を最大化するカテゴリであり，かつ, GitHub Typo Corpusでの入力誤り 認識の $\mathrm{F}$ 值を最大化するカテゴリとした.

## 6.3 結果と考察

## 6.3.1 入力誤り訂正タスク (ベースライン)

JWTD の各カテゴリで fine-tuning し，各カテゴリの JWTD のテストセットで評価した結果 を表 12 に示す.ここで,「全て」は JWTD 全てのカテゴリで fine-tuning したモデルを，全ての カテゴリのテストセットを用いて評価した結果を表す.

全体を通して，BART base よりも BART largeの方が高いスコアが得られた．BART baseの 転字では正解が 1 も得られなかった。これは学習データ・テストデータ数が不十分であるこ とが理由として考えられる。衍字 (b) は BART base, BART largeとも高いスコアであり，比較的簡単な訂正タスクであるといえる。一方で, 誤変換 (b) は衍字 (b) より学習データサイズ が大きいが，スコアが最も低く，最も難しいタスクであるといえる.

入力誤り評価データと GitHub Typo Corpusにおける結果を表 13 に示す.

BART large モデルは適合率 $71.4 \%$, 再現率 $58.6 \%$ であった。表 8 のデータセット構築手法の 適合率，再現率と比較して，十分高いスコアだと考えられる。GitHub Typo Corpus における スコアは入力誤り評価データに比べて低かった. これは Wikipedia と GitHub の commit ログで はテキストのドメインが大きく異なることが原因であると考えられる。

また，正解データの訂正とは異なるため不正解と扱われているが，正しい訂正だと考えられ るものがいくつか見られた。それらを以下に示す.

表 12 各カテゴリで fine-tuning したモデルの, 各カテゴリの JWTD テストセットにおける評価結果 (値は\%).

表 13 入力誤り評価データと GitHub Typo Corpusにおける入力誤り訂正評価結果（値は\%）.

(24) 入力誤り 造物主であるフォルトゥナが存在する限り、何度もでも復活する。正解造物主であるフォルトゥナが存在する限り、何度でも復活する。 システム造物主であるフォルトゥナが存在する限り、何度も復活する。

（25）入力誤り レオンが不在の間は帝国を守ってていたが、クジンシーの襲撃の受け、...正解レオンが不在の間は帝国を守っていたが、クジンシーの襲撃の受け、... システムレオンが不在の間は帝国を守っていたが、クジンシーの襲撃を受け、...

(24) は，訂正が異なるものの，システムの訂正も妥当な訂正だと考えられる．(25) は，正解デー 夕に入力誤りが残っており，その入力誤りを訂正した例である。このような例が存在するため,実際の入力誤り訂正のスコアは表 13 のものより高い可能性がある.

## 6.3.2読みの同時学習

表 13 に読みの同時学習を行ったモデルの入力誤り評価データと GitHub Typo Corpusでの評価結果を示す.ここで,「BART base (large)」はJWTDの全ての入力誤りデータを用いた入力誤り訂正タスクのみで学習したモデル,「BART base (large) w/ 原文 $\rightarrow$ 読み」は原文から読み を推定するタスク，「BART base (large) w/ 読み $\rightarrow$ 原文」は読みから原文を推定するタスク，「BART base (large) w/ 両方向」はその両方を, 入力誤り訂正タスクと同時に学習したモデルの 結果を示している，漢字の読み推定タスクを同時学習したモデルは, ベースラインの結果に比 べ，概ね，適合率は下がるが，再現率は上がる傾向が見られる。また，F 值においても向上が見 られる箇所もある。ただし, GitHub Typo Corpus における BART baseの結果では, 同時学習 したモデルのスコアが下がっている。同時学習したモデルはベースラインのモデルよりも，ア ルファベット文字列での不必要な編集が多く見られた。そのため，アルファベット文字列を多 く含む GitHub Typo Corpusにおいてその影響が大きく現れたのだと考えられる．読み推定の 学習に用いた BCCWJ のデータには, RADIO とラジオのように，アルファベット文字列にカ タカナの読みが対応する場合があった。それらのデータによって，アルファベット文字列を編集するような学習がなされ，生成能力に悪影響が出たのではないかと考えられる．「w/ 原文 $\rightarrow$読み」「 $\mathrm{w} /$ 読み $\rightarrow$ 原文」間で大きな差は見られず,これらと「 $\mathrm{w} /$ 両方向」の間にも大きな差 は見られなかった。

次に表 14,15 にベースラインと漢字の読み推定を同時学習したモデルの, JWTD テストセッ トの誤変換カテゴリにおける評価結果を示す。ほぼ全てのスコアにおいて, ベースラインより も読み推定を同時学習したモデルが高いスコアとなった. これより読み推定を同時に学習する ことは誤変換の訂正に有効であることがわかる.

ベースラインモデルが間違え, 読み推定を同時学習したモデルが正解した入力誤りを以下に

表 14 JWTD テストセットの誤変換 (a)における入力誤り訂正評価結果（値は\%）.

表 15 JWTD テストセットの誤変換 (b)における入力誤り訂正評価結果（値は\%）.

示す.ここで,「w/o 読み」は「BART large」,「w/ 読み」は「BART large w/ 原文 $\rightarrow$ 読み」の 出力結果を表している.

(26) 入力誤り ...山頂、火口付近から、待つの木のような形の暗い雲を見た。

w/o 読み ... 山頂、火口付近から、待つ木のような形の暗い雲を見た。

$\mathrm{w} /$ 読み ... 山頂、火口付近から、松の木のような形の暗い雲を見た。

(27) 入力誤り XD a r w i nのより細菌のバージョンはルートレース...

w/o 読み XDarwinのより新しいバージョンはルートレース...

w/ 読み XDarwinのより最近のバージョンはルートレース...

正解の訂正である「待つ $\rightarrow$ 松」「細菌 $\rightarrow$ 最近」という訂正をする文ぺアは, 誤変換 (a)の学習 データに含まれていた。しかし, ベースラインは $(26)$ では誤変換ではなく 1 文字を削除する衍
字としての編集を行い，(27)では正解とは異なる漢字へと編集を行ってしまっている ${ }^{19}$.一方 で, 読み推定を同時に学習したモデルはどちらも正解していた。読み推定の学習デー夕には,「待つ」「松」「細菌」「最近」の読みを推定するデータが含まれていた。これらの読み推定の学習が，誤変換訂正の学習の手助けとなり，正解に繋がったのではないかと考えられる.

以下のような，読み推定の学習データでは学習できない読みに関する誤変換訂正は, ベース ラインが不正解の場合，同時学習したモデルにおいても不正解のままであった.

（28） 入力誤り ... 彼は警察にも全量市民と評判の人物だったことから、...

正解 $\ldots$ 彼は警察にも善良市民と評判の人物だったことから、...

w/o 読み ... 彼は警察にも全米市民と評判の人物だったことから、...

$\mathrm{w} /$ 読み ... 彼は警察にも全米市民と評判の人物だったことから、...

モデルの入力トークン単位分割では,「全量」は「全量」,「善良」は「善良」,「全米」は「全/米」と分割される。読み推定の学習データに「善良」の読みを推定するデータは含まれていた が,「全量」の読みを推定するデータは含まれていなかった. この対処としては, 読み推定の学習データを増やすことが考えられる。また，読み推定の学習データに「全量」の読みを推定す るデータは含まれていないものの，「全」と「量」の読みを推定するデータは含まれていた。そ のため, モデルの入力トークン単位が文字単位である場合は, 本実験の読み推定の学習デー夕 のままで全量の読みを学習できる。入力トークン単位が文字単位である入力誤り訂正システム の構築は今後の課題である.

## 6.3.3疑似データの利用

実験結果を図 3 に示す。評価には入力誤り評価データを用いた。図の実線を見ると，疑似デー 夕の利用による再現率の向上が見られる。しかし, 適合率は疑似データの利用により低下し, $\mathrm{F}$ 值にはあまり変化は見られないため, 適合率と再現率はトレードオフになっているといえる. これらから，適合率より再現率を優先させたい場合には疑似データを利用することが有効であ るといえる。また，疑似データを含むデータのみで fine-tuning Lたモデルと，その後 JWTD で fine-tuning したモデルでは，適合率・再現率において両者のスコアに差がみられるが，F 值にお いては大きな変化は見られなかった，点線の結果を見ると，疑似入力誤りの生成方法では，疑似入力誤りの割合が大きいとき，混合の結果がよいことが読み取れる。

## 逆翻訳 ○ $\triangle$ 混合 $\triangle$ ランダム \\ 実線: 「JWTD + 疑似」でfine-tuning後,「JWTD」でfine-tuning 点線: 「JWTD + 疑似」でfine-tuningのみ

適合率

再現率

F値

図 3 疑似デー夕実験結果．縦軸が適合率・再現率・F 値，横軸が学習データ中の疑似デー夕の割合を表 す（值は\%）。

## 6.3.4 他の校正システムとの比較

入力誤り認識結果を表 16 に示す. 本研究のシステムが入力誤り評価データだけではなく, テ キストドメインの異なる GitHub Typo Corpusにおいても, 再現率・F 值において高いスコア であることが確認できる。しかし, 適合率においては, Wordよりも低い.より適合率の高いシ ステムを構築することは今後の課題である.

入力誤り認識結果の例を表 17 に示す. 誤変換以外の (29)のような衍字などの入力誤りは, Word が指摘できているものがあったが, (30)のような誤変換は, 本研究のシステムのみが指摘 できているものが多かった。(31)は JWTD では収集していない編集距離の大きい入力誤りで

あり, 本研究のシステムは指摘できておらず，今後の課題である.

新聞データを与えたときの訂正箇所数を表 18 に示す. Word に比べて，本研究のシステムの 訂正箇所が多かった. 本研究のシステムである BART large が行った訂正は, 半数が文字の抜け を指摘するものであった。 それらは，以下のような，間違いではないが不必要な訂正であった.

(32) 新聞 $\quad .$. 個別に栄養・食事指導した場合などは加算する。 システム ... 個別に栄養・食事を指導した場合などは加算する。

(33) 新聞 ... 同署は、状況などからひき逃げされたと断定、逃げた車を探している。 システム ... 同署は、状況などからひき逃げされたと断定し、逃げた車を探している。

表 16 入力誤り評価データと GitHub typo corpusにおける入力誤り認識評価結果（値は\%）.

 &  & 0 & $x$ & 0 \\

表 17 入力誤り認識結果の実例.

表 18 新聞データでの訂正箇所数.
本研究のシステムは, 実用の観点では, このような不必要な訂正の提案を減らすことが今後 の課題といえる. これは, 学習データに入力誤りを含まない文を用いることなどで改善すると 考えられる。

## 7 おわりに

本研究では日本語 Wikipedia の編集履歴から, 入力誤りデータセットを構築する手法を提案 した，文字単位の編集と漢字の読みを手がかりに，誤字・脱字・衍字・転字・誤変換の入力誤り 候補をマイニングし，言語モデル等を用いたフィルタリングを行うことで，これらカテゴリの 入力誤りを収集した. さらに，入力誤り訂正を学習したモデルを用いて，追加でその他の入力誤りを収集し，合計約 70 万文規模のデータセット (JWTD; Japanese Wikipedia Typo Dataset) を構築した. JWTDの構築手法を評価し，その質を確認した。

入力誤り訂正システムにおいては, 入力誤り訂正タスクと同時に漢字の読み推定タスクを学習する手法を提案した。入力誤り訂正タスクのみで学習したシステムと提案手法のシステムを 比較して, 提案手法のシステムが誤変換の訂正において高い精度であることであることを確認 した．また，JWTDの他に疑似データを学習データに追加したときのシステムの精度変化を確認した.

今後の課題としては，まず，データセットの質をさらに高めることが挙げられる。これによ り, 同時に, 訂正システムの精度向上につながると期待できる. データセットの質の向上には, フィルタリングの方法やその他の入力誤りの収集方法をより洗練することが有効であると考え られる。入力誤り訂正システムに関しては，異なるドメインのテキストにおいても頑健に振る 舞うシステムの構築と不必要な編集の抑制が挙げられる。前者は事前学習時に多様なドメイン のテキストを用いる方法, 後者は fine-tuning 時の学習データに入力誤りのないデータを加える 方法が考えられる。

## 謝 辞

本論文の内容の一部は, Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: Student Research Workshop で発表したものである (Tanaka et al. 2020).

## 参考文献

Baba, Y. and Suzuki, H. (2012). "How Are Spelling Errors Generated and Corrected? A Study of Corrected and Uncorrected Spelling Errors Using Keystroke Logs." In Proceedings of the
50th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 373-377.

Belinkov, Y. and Bisk, Y. (2018). "Synthetic and Natural Noise Both Break Neural Machine Translation." In International Conference on Learning Representations.

Blodgett, S. L., Green, L., and O'Connor, B. (2016). "Demographic Dialectal Variation in Social Media: A Case Study of African-American English." In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 1119-1130, Austin, Texas. Association for Computational Linguistics.

Brill, E. and Moore, R. C. (2000). "An Improved Error Model for Noisy Channel Spelling Correction." In Proceedings of the 38th Annual Meeting of the Association for Computational Linguistics, pp. 286-293, Hong Kong. Association for Computational Linguistics.

Brody, S. and Diakopoulos, N. (2011). "Cooooooooooooooollllllllllllll!!!!!!!!!!!!! Using Word Lengthening to Detect Sentiment in Microblogs." In Proceedings of the 2011 Conference on Empirical Methods in Natural Language Processing, pp. 562-570, Edinburgh, Scotland, UK. Association for Computational Linguistics.

Damerau, F. J. (1964). "A Technique for Computer Detection and Correction of Spelling Errors." Communications of the ACM, $\mathbf{7}$ (3), pp. 171-176.

Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. (2019). "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota. Association for Computational Linguistics.

Errattahi, R., Hannani, A. E., and Ouahmane, H. (2018). "Automatic Speech Recognition Errors Detection and Correction: A Review." Procedia Computer Science, 128, pp. 32-37. 1st International Conference on Natural Language and Speech Processing.

Hagiwara, M. and Mita, M. (2020). "GitHub Typo Corpus: A Large-Scale Multilingual Dataset of Misspellings and Grammatical Errors." In Proceedings of the 12th Language Resources and Evaluation Conference, pp. 6761-6768, Marseille, France. European Language Resources Association.

Hládek, D., Staš, J., and Pleva, M. (2020). "Survey of Automatic Spelling Correction." Electronics, 9 (10).

金山博, 荻野紫穂 (2011). Wikipediaの編集履歴を用いた書き換えパターンの抽出. 言語処理学会第 17 回年次大会発表論文集, pp. 13-16. [H. Kaneyama and S. Ogino (2011). Wikipedia no henshurireki o mochiita kakikaepatan no chushutsu. Proceedings of the 17th Annual Meeting
for the Association for Natural Language Processing, pp. 13-16.].

Kasahara, S., Komachi, M., Nagata, M., and Matsumoto, Y. (2011). "Error Correcting Romajikana Conversion for Japanese Language Education." In Proceedings of the Workshop on Advances in Text Input Methods (WTIM 2011), pp. 38-42, Chiang Mai, Thailand. Asian Federation of Natural Language Processing.

Katsumata, S. and Komachi, M. (2020). "Stronger Baselines for Grammatical Error Correction Using a Pretrained Encoder-Decoder Model." In Proceedings of the 1st Conference of the Asia-Pacific Chapter of the Association for Computational Linguistics and the 10th International Joint Conference on Natural Language Processing, pp. 827-832, Suzhou, China. Association for Computational Linguistics.

Kiyono, S., Suzuki, J., Mita, M., Mizumoto, T., and Inui, K. (2019). "An Empirical Study of Incorporating Pseudo Data into Grammatical Error Correction." In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 1236-1242, Hong Kong, China. Association for Computational Linguistics.

Koehn, P. and Knowles, R. (2017). "Six Challenges for Neural Machine Translation." In Proceedings of the 1st Workshop on Neural Machine Translation, pp. 28-39, Vancouver. Association for Computational Linguistics.

Kudo, T. and Richardson, J. (2018). "SentencePiece: A Simple and Language Independent Subword Tokenizer and Detokenizer for Neural Text Processing." In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71.

Kudo, T., Yamamoto, K., and Matsumoto, Y. (2004). "Applying Conditional Random Fields to Japanese Morphological Analysis." In Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing, pp. 230-237, Barcelona, Spain. Association for Computational Linguistics.

Lewis, M., Liu, Y., Goyal, N., Ghazvininejad, M., Mohamed, A., Levy, O., Stoyanov, V., and Zettlemoyer, L. (2020). "BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension." In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7871-7880, Online. Association for Computational Linguistics.

Li, H., Wang, Y., Liu, X., Sheng, Z., and Wei, S. (2018). "Spelling Error Correction Using a Nested RNN Model and Pseudo Training Data." arXiv preprint arXiv:1811.00238.

Liu, Y., Gu, J., Goyal, N., Li, X., Edunov, S., Ghazvininejad, M., Lewis, M., and Zettlemoyer,

L. (2020). "Multilingual Denoising Pre-training for Neural Machine Translation." arXiv preprint arXiv:2001.08210.

Maekawa, K., Yamazaki, M., Ogiso, T., Maruyama, T., Ogura, H., Kashino, W., Koiso, H., Yamaguchi, M., Tanaka, M., and Den, Y. (2014). "Balanced Corpus of Contemporary Written Japanese." Language Resources and Evaluation, 48 (2), pp. 345-371.

Max, A. and Wisniewski, G. (2010). "Mining Naturally-occurring Corrections and Paraphrases from Wikipediais Revision History." In Proceedings of the 7th Conference on International Language Resources and Evaluation (LREC'10), pp. 3143-3148.

Mizumoto, T., Komachi, M., Nagata, M., and Matsumoto, Y. (2011). "Mining Revision Log of Language Learning SNS for Automated Japanese Error Correction of Second Language Learners." In Proceedings of 5th International Joint Conference on Natural Language Processing, pp. 147-155, Chiang Mai, Thailand. Asian Federation of Natural Language Processing.

Mokhtar, K., Bukhari, S. S., and Dengel, A. (2018). "OCR Error Correction: State-of-the-Art vs an NMT-based Approach." In 2018 13th IAPR International Workshop on Document Analysis Systems (DAS), pp. 429-434.

斎藤純男 (2010). 言語学入門. 三省堂. [Y. Saito (2010). Gengogaku nyumon. Sanseido.].

Saito, I., Suzuki, J., Nishida, K., Sadamitsu, K., Kobashikawa, S., Masumura, R., Matsumoto, Y., and Tomita, J. (2017). "Improving Neural Text Normalization with Data Augmentation at Character- and Morphological Levels." In Proceedings of the 8th International Joint Conference on Natural Language Processing (Volume 2: Short Papers), pp. 257-262, Taipei, Taiwan. Asian Federation of Natural Language Processing.

Sakaguchi, K., Duh, K., Post, M., and Van Durme, B. (2017). "Robsut Wrod Reocginiton via Semi-Character Recurrent Neural Network." In Proceedings of the 31st AAAI Conference on Artificial Intelligence, pp. 3181-3287.

Sasano, R., Kurohashi, S., and Okumura, M. (2013). "A Simple Approach to Unknown Word Processing in Japanese Morphological Analysis." In Proceedings of the 6th International Joint Conference on Natural Language Processing, pp. 162-170, Nagoya, Japan. Asian Federation of Natural Language Processing.

Sennrich, R., Haddow, B., and Birch, A. (2016a). "Improving Neural Machine Translation Models with Monolingual Data." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 86-96, Berlin, Germany. Association for Computational Linguistics.

Sennrich, R., Haddow, B., and Birch, A. (2016b). "Neural Machine Translation of Rare Words
with Subword Units." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1715-1725.

竹内孔一, 松本裕治 (1999). 統計的言語モデルを用いた OCR 誤り訂正システムの構築. 情報処理学会論文誌, 40 (6), pp. 2679-2689. [K. Takeuchi and Y. Matsumoto (1999). OCR Error Correction Using Stochastic Language Models. Transactions of Information Processing Society of Japan, 40(6), pp. 2679-2689.].

Tanaka, Y., Murawaki, Y., Kawahara, D., and Kurohashi, S. (2020). "Building a Japanese Typo Dataset from Wikipedia's Revision History." In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: Student Research Workshop, pp. 230-236, Online. Association for Computational Linguistics.

Tolmachev, A., Kawahara, D., and Kurohashi, S. (2018). "Juman++: A Morphological Analysis Toolkit for Scriptio Continua." In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 54-59, Brussels, Belgium. Association for Computational Linguistics.

Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., and Polosukhin, I. (2017). "Attention Is All You Need." In Advances in Neural Information Processing Systems, pp. 5998-6008.

山本喜大, 久保田淳市, 庄田幸恵, 白井豊 (1997). かな漢字変換における誤入力の訂正. 情報処理学会研究報告, 109 (1997-NL-122), pp. 105-111. [Y. Yamamoto et al. (1997). Input Error Correction on Kana-Kanji Conversion. The Special Interest Group Technical Reports of IPSJ, 109 (1997-NL122), pp. 105-111.].

Yuan, Z. and Briscoe, T. (2016). "Grammatical Error Correction using Neural Machine Translation." In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 380-386, San Diego, California. Association for Computational Linguistics.

Zesch, T. (2012). "Measuring Contextual Fitness Using Error Contexts Extracted from the Wikipedia Revision History." In Proceedings of the 13th Conference of the European Chapter of the Association for Computational Linguistics, pp. 529-538. Association for Computational Linguistics.

## 略歴

田中 佑：2019 年京都大学工学部情報学科卒業. 2021 年同大学院情報学研究

科修士課程修了。2021 年より NTT コミュニケーションズ株式会社に在職.

村脇 有吾：2011 年京都大学大学院情報学研究科博士後期課程修了, 博士（情
報学). 同年京都大学学術情報メディアセンター特定助教, 2013 年九州大学大学院システム情報科学研究院助教, 2016 年京都大学大学院情報学研究科助教， 2020 年同講師，現在にいたる.テキスト解析および計算言語学に関する 研究に従事. 言語処理学会, 情報処理学会各会員.

河原 大輔：1997 年京都大学工学部電気工学第二学科卒業. 1999 年同大学院修士課程修了. 2002 年同大学院博士課程単位取得認定退学. 東京大学大学院情報理工学系研究科学術研究支援員, 独立行政法人情報通信研究機構主任研究員, 京都大学大学院情報学研究科准教授を経て, 2020 年より早稲田大学基幹理工学部情報通信学科教授. 自然言語処理, 知識処理の研究に従事. 博士 (情報学). 情報処理学会, 言語処理学会, 人工知能学会, 電子情報通信学会, ACL，各会員。

黒橋 禎夫：1994 年京都大学大学院工学研究科電気工学第二専攻博士課程修了.

博士 (工学). 2006 年 4 月より京都大学大学院情報学研究科教授. 自然言語処理, 知識情報処理の研究に従事. 言語処理学会 10 周年記念論文賞, 同 20 周年記念論文賞, 第 8 回船井情報科学振興賞, 2009 IBM Faculty Award 等を 受賞. 2014 年より日本学術会議連携会員.


# 言語処理学会第 28 回年次大会ワークショップ 「NLP における再現性」開催報告

高瀬翔 $\dagger$

## まえがき

本稿では 2022 年 3 月 18 日に言語処理学会第 28 回年次大会の併設ワークショップとして開催 されました「NLP における再現性」について，オーガナイザの一人である高瀬が記します。本記事ではワークショップの成り立ちゃ問題意識と当日の各セクションの概要を記そうと思いま す. 各発表の資料はワークショップのホームページ1にまとめてありますので，個別の発表を詳 しく知りたい場合はそちらを参照いただければ幸いです.

## 1 ワークショップの成り立ち

ワークショップは雑談に端を発することが多いと聞いたことがある. 本ワークショップも最先端 NLP 勉強会2という集まりにおける，雑談用の Slackチャンネルへの投稿がきっかけとなっ ている．本ワークショップの代表者である賀沢さんが「再現性」をテーマにしたワークショッ プがあったら面白いかどうか，また，ワークショップのオーガナイザとして協力が可能である ならば知らせて欲しい旨の投稿をしていた。最先端 NLP 勉強会参加者のうち, 自分を含めてこ れに反応した 3 名がワークショップのオーガナイザとして加わり, 言語処理学会年次大会の併設ワークショップとして企画を練っていくこととなった.

ワークショップ開催のきっかけとなる出来事が明確にあったわけではないが, ACL 2021 に 採択され， 2021 年の最先端 NLP 勉強会でも紹介された，機械翻訳における実験結果の再現に 必要な情報や評価手法, 論文間のスコアの比較について議論した論文 (Marie et al. 2021) が理由の一つであることは確かであろう。また, 研究コミュニティ内での再現性への意識の高まり を感じていたことも要因となっている。自分としては, ニューラルモデルという, モデルの初期値や学習過程にランダムネスが密接に関わり，同一のモデル・同一の訓練データを使ったと

しても完全に同一の学習結果を得ることが難しい手法 (Bouthillier et al. 2019) が自然言語処理分野においても主流になってきており，コミュニティとして，再現性とは何か，得られた実験結果とどう向き合うのかの議論が必要であるという意識があり, ワークショップのオーガナイ ザとして加わることとした.

## 2 ワークショップ当日の様子

本ワークショップは発表を広く募ると共に，ACL での実験や論文に関するワーキンググルー プに参加している方や, 国際的なコンペティションに参加し, 実験を再現することの難しさを 肌で感じている方などに講演を行っていただいた。本節ではそれぞれのセクションでの発表を 概観する。

## 2.1 学会から見た再現性

近年, 実験をどのように設計し報告するか, 再現に必要な事項は何かについての議論が活発に 行われている (Dodge et al. 2019; Rogers et al. 2021). これをふまえ, 様々な学会において, 論文で説明すべき事項を投稿時のチェックリストとして提示するようになってきた ${ }^{3}$. 本セクショ ンではこれに関して, ACL Efficient NLP WGの取り組みとチェックリストで求められている 事項に関する講演・議論が行われた.

ニューラルネットを用いたモデルの性能は学習に用いるデータやモデルを構成するパラメー 夕の量に対数比例することが知られており (Gordon et al. 2021; Brown et al. 2020), 性能向上の ために, BERT や GPT のような事前学習モデル (Devlin et al. 2019; Brown et al. 2020)のパラ メータ数は増加の一途をたどっている，例えば，BERTの論文が arXiv に発表されて以来, 約 1 年半で事前学習モデルのパラメータ数は 1000 倍以上になっている。 パラメータ数やデータ数 の増加は実験に必要な計算コストの増加を意味し, 巨大な事前学習モデルの再現や網羅的な実験が難しくなってきている.

一方で，実験は論文の主張が誤りでないかを示せばよく，網羅的な実験は必ずしも必要では ない. また, 各論文で発表されているモデルもすべてを再現する必要はなく, 著者が既に学習済みのモデルを所持しているのであれば，それを使えば良い場面も多い。このような状況を受 け，1．論文内に主張を明確に記し，それは実験と対応しているかを確認すること，2．再現実験を容易にするため, コードの公開やモデルの公開をコミュニティで評価するようにすること, 3. 機械翻訳, 統語構造解析のようなエリアと並列に, ACLのような国際会議において計算効率 に関するエリアを設けること，の 3 つが ACL Efficient NLP WG からの提言とのことであった.

各会議の投稿時のチェックリストはこれを反映したような内容となっており，論文の貢献点が 明確に記述されているか, 研究が前提としている仮設や適応可能な状況を示しているか, 実験 に用いたコードやハイパーパラメータ，データの詳細は記述したかが問われている。

## 2.2 再現性を保証するには？

研究における知見を明確化し, 再現するためには実験の設計を熟考し, 実験結果の信頼性を 高める必要がある. これを目的とし, 統計的仮説検定や認知・脳科学における実験設計の知見 について講演が行われた。

本稿で既に再現という言葉を何度も使っているが, これが指す幅は広い. 例えば，同一のモ デル・同一の訓練データを用いた場合に学習後のモデルが同一の值を出力できるかどうかとい う観点での再現や, 出力の値は学習時の乱数シードなどで変化したとしても, ある特定のデー タセットや状況においては，あるモデルは別のモデルよりも性能が良いというような, モデル 間の相対的な性能差が成り立つかどうかという観点での再現がある。後者を知見の再現と呼ぶ 論文もある (Bouthillier et al. 2019). 統計的仮説検定やより良い実験設計は, この後者の, 知見 の再現についてどのように信頼性を高めるかというものである, というのが筆者の認識である. タスクやデータセットの性質に応じた検定手法や，パラメータ数を揃えた上での比較実験など はコミュニティ全体で意識するべき事項である。しかしながら，自分の印象としては，検定手法を明らかにせずに有意であると報告している論文やパラメータ数, 学習時間などに差がある にも関わらず不問にしている論文は多く, 改善が必要であると強く感じている，なお，統計的仮説検定については文脈解析一述語項構造 ・照応・談話構造の解析一 (笹野, 飯田 2017) に詳し く書かれており, そちらも参照されたい.

## 2.3 現場から見た再現性

最先端の研究に従事し, 日々モデルの改良, 実験に勤しむ方やそのような実験を支えるツー ルの開発に携わっている方, 世界中から参加者を募る大規模コンぺの設計, 標準的なデータセッ トの作成に尽力した方々から実際に再現性をどのように意識しているか，またその難しさにつ いての講演が行われた。

実験の再現性を担保することは肝要であるが, ニューラルネットは学習にランダムネスが密接に関わるため再現が難しいという話に加え, データ作成や評価においても再現の難しさがあ る。例えばクローリングでウェブページを収集してデータセットを構築した場合, 数年後も同一のウェブページが得られる保証はない. また, BLEU や ROUGEのような自動評価に加え,人手評価が求められる場面も多いが，どのような人が評価するかによって結果が変動してしま う．任意のタスクやデータセット構築において，これをしておけば結果（あるいは知見）が常 に完全に再現できるという仕様の策定は難しく, そのような中でどのように再現，あるいは知
見の信頼性を高めるかが重要であると感じた.

また, 本セクションでは事前に参加者から回答を募ったアンケート結果も開示された。回答 の中では実験の実装が公開されておらず再実験が難しい，仮に実装が公開されていてもライブ ラリの不整合やバグが混入していたという声が多く，実装の公開と（最低限の）ドキュメント の整理をコミュニティで奨励する仕組みが必要そうである 4.

## 3 おわりに

本ワークショップを企画し, 講演者や参加者との議論の中で, 再現という言葉が指す現象に は様々あることが改めて分かった。自分自身の信条としては，論文で報告されている知見が再現可能かどうか，例えば，あるモデルが別のモデルよりも優れているという主張がある場合に はそれが乱数シードや実装に依存せず成立していることが重要であると考えている。この再現性は論文の主張に対する信頼性と密接に関わっていると考えており，ACL Efficient NLP WG のように，再現性の担保（あるいは担保していると信頼できる情報の整理）をしようとする動 きがあることはコミュニティの健全な発展のために明るい話題であると感じている．本ワーク ショップおよび本稿が信頼性の高い論文を書く，あるいは読者として論文の信頼性を見抜く一助になれば幸いである.

## 謝 辞

本ワークショップの運営にご尽力くたさった賀沢秀人氏，清野舜氏，伊藤拓海氏に感謝いた します.また，ワークショップにてご講演いただいた講演者のみなさま，参加者のみなさまに も改めて感謝申し上げます，本稿の執筆にあたり，清野舜氏，伊藤拓海氏，鈴木潤氏に有益な 助言をいただきました。

## 参考文献

Bouthillier, X., Laurent, C., and Vincent, P. (2019). "Unreproducible Research is Reproducible." In Proceedings of the 36th International Conference on Machine Learning (ICML), pp. $725-734$.

Brown, T., Mann, B., Ryder, N., Subbiah, M., Kaplan, J. D., Dhariwal, P., Neelakantan, A., Shyam, P., Sastry, G., Askell, A., Agarwal, S., Herbert-Voss, A., Krueger, G., Henighan, T., Child, R., Ramesh, A., Ziegler, D., Wu, J., Winter, C., Hesse, C., Chen, M., Sigler, E., Litwin, M., Gray, S., Chess, B., Clark, J., Berner, C., McCandlish, S., Radford, A., Sutskever, I., and Amodei, D. (2020). "Language Models are Few-Shot Learners." In Advances in Neural Information Processing Systems (NeurIPS), pp. 1877-1901.

Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. (2019). "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL-HLT), pp. 4171-4186.

Dodge, J., Gururangan, S., Card, D., Schwartz, R., and Smith, N. A. (2019). "Show Your Work: Improved Reporting of Experimental Results." In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 2185-2194.

Gordon, M. A., Duh, K., and Kaplan, J. (2021). "Data and Parameter Scaling Laws for Neural Machine Translation." In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 5915-5922.

Marie, B., Fujita, A., and Rubino, R. (2021). "Scientific Credibility of Machine Translation Research: A Meta-Evaluation of 769 Papers." In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (ACL-IJCNLP), pp. 7297-7306.

Rogers, A., Baldwin, T., and Leins, K. (2021). "'Just What do You Think You're Doing, Dave?' A Checklist for Responsible Data Use in NLP." In Findings of the Association for Computational Linguistics: EMNLP 2021, pp. 4821-4833.

笹野遼平, 飯田龍 (2017). 文脈解析一述語項構造・照応・談話構造の解析一. コロナ社. [R. Sasano and R. Iida (2017). Bunmyaku Kaiseki: Jutsugo Ko Kozo, Shoo, Danwa Kozo no Kaiseki. Corona Publishing.].

## 略歴

高瀬翔：2012 年東北大学工学部卒業. 2014 年東北大学大学院情報科学研究科博士前期課程修了. 2017 年東北大学大学院情報科学研究科博士後期課程修了. 2020 年 4 月より東京工業大学助教. 博士 (情報科学). 言語処理学会, ACL 各会員.


# 日本語における評価用データセットの構築と利用性の向上一JED2022 ワークショップの成果と展望

久保 隆宏计计・浅原 正幸计计
## 1 ワークショップ開催の経緯と構成

自然言語処理研究を目的とする日本語の大規模テキストデータセットの構築・公開は 1990 年代に入って本格化し, 既に 1995 年の言語処理学会第 1 回年次大会では, 辞書・コーパスに関 する 4 つのセッションで各種データセットの構築と利活用について多くの発表があった.この 時期の大規模テキストデータセットは元テキストとして新聞記事を使うものが多く, そうした データセットの利用には CDROM の購入や個別のライセンス契約が必要な場合があり，大規模 テキストデータセットで訓練を行った機械学習モデルの配布・利用の障壁となる場合があった.

2000 年代になって，急速なインターネットの普及により，Email や SNS・Webコンテンツに 由来する大量のテキストが容易に入手可能となった。こうしたインターネット由来のテキスト を自ら収集して研究用途で利用するのはライセンス面の制約が少ないため，様々な応用タスク に向けたデータセットの構築が進んでいった。しかし，インターネット由来のテキストについ て, 当時の日本の著作権法では, 閲覧以外の目的で利用可能な範囲が明確でなく, また研究目的で比較的自由に著作物を利用することが可能ないわゆる「フェアユース」の規定もなかった ため，インターネット由来のテキストを含むデータセットの公開時には，利用許諾に「商用利用の禁止」や「要請に基づく削除義務」のような条項を含める必要が生じていた.

2010 年代に入ると，自然言語処理技術の性能を評価するための複数の夕スクを束ねた英語向 けの評価用データセットが, 無償かつ商用利用も認める標準的な OSS（オープンソース・ソフト ウェア）ライセンスやオープンデータライセンスのもとで数多く公開され, 広く利用されていっ た. 利用者は GitHubリポジトリからデータセットと評価ツール類をクローンするだけで，手軽 に実験を行うことが可能になった。こうした英語のデータセットのテキストを日本語に翻訳す る試みもあったが，翻訳プロセスに由来するアーティファクトや文化の相違に起因するバイア

スによる品質劣化が顕著に見られたため, 日本語のテキストをオリジンとする評価タスクの構築が必要であることが認識されていった。やがて, 最初から日本語テキストで構築した各種評価タスクのデータセットの開発・公開が活発になっていったが，それらの成果を束ねて GLUE のような評価用データセットとして公開する動きはなかなか広まらなかった. その要因として, トップ会議を目指す論文になりにくいこと，評価タスクを追加するためデータセットを一から 構築するのに大きなコストがかかることに加えて，次の法務リスクが意識されていたと考えら れる。ある評価用データセットに含まれる評価タスクのライセンスに，独自に定義されたもの が一部でも含まれていると，評価用データセットの利用者は弁護士や法務部門の協力を受けな がら，ライセンスの条文を個別に精査する必要が生じるため，こうしたコストをかけられる利用者は限定されてしまい，利用の広がりが見通せない中では評価用データセットを公開する機運は高まりにくかった。やがて, ELMo や BERT をはじめとする事前学習モデルの性能が各種 NLP タスクを席巻する時代になってからは, 日本語評価用データセットへのニーズは益々顕在化していった。

このような課題認識のもとで，NLP2022で開催した「日本語における評価用データセットの 構築と利用性の向上」ワークショップ (JED2022) では, 日本語における評価用データセットの 構築手法そのものに加えて, データセットの公開方式・利用性の高いライセンス・タスクの複合化といった応用を容易にするための取り組みを集めて議論することで, 日本語データセット 公開の流れを加速し, 日本語 NLP 業界全体のさらなる発展および生産性向上につながる議論の 場となることを目指した。また，著作権法など評価用データセット公開時に考慮すべき法令に 関する特別講演を弁護士の柿沼太一先生に依頼した。ワークショップの構成は次の通り（詳細 は JED2022 プログラムページ1を参照).

特別講演 日本語データセットの構築・利用・公開に関する法的整理

口頭発表 日本語評価用データセットの構築と公開（14 件）

テーマセッション リーガル分野におけるデータセット構築・利活用の現状と展望（4 件）

リレートーク 形態素解析辞書・統語解析データセットの公開

総合討論 日本語評価用データセットとその学習モデルが協調的な発展を遂げるために

## 2 特別講演

本ワークショップでは, STORIA 法律事務所の柿沼太一先生をお招きし, 特別講演「日本語 データセットの構築・利用・公開に関する法的整理」を企画した。当該時間には 300 名ほどの 聴講者が集まり, 大変盛況であった.
^{1}$ https://jedworkshop.github.io/jed2022/program/
}

データセットの構築・利用・共有においては，法令上の制限や契約・ライセンスなどを検討 する必要がある。法的な整理として，2018 年以降 4 回の改正が行われた著作権法や 2022 年 4 月改正の個人情報保護法の動向がデータ構築者における関心事項である. さらには，データセッ ト構築者やデータセットを利用して深層学習等のモデルを構築する際のライセンスの扱いにつ いても様々な検討が必要である.

今回，柿沼先生に問題の全体像についてご説明いたたきき，さらに多様な具体事例における検討事項について解説していただいた．特に，「個々のデータに関する知的財産権（著作権等)」と 「データの集積行為に関する知的財産権（DB 著作権及び限定提供データ）」と「契約・ライセン ス」の組み合わせについて整理を行っていただいた.

## 3 日本語評価用データセットの構築と公開

「日本語評価用データセットの構築と公開」では午前に 2 セッション, 午後に 1 セッション の計 3 セッションを行い， 3 セッションあわせて 7 件の一般発表と 7 件のライトニングトーク,計 14 件の発表があった．評価用データセットに関するワークショップは初めてであったので， ワークショップを開催できるほどの発表が集まるか不安であったが, 多数の発表申し达みをい ただけた。

日本語評価用データセットを構築されている方からはデータセットの内容や構築手順だけで なく，クラウドソーシングなどを利用したデータ収集方法や言語資源公開のノウハウなどもご 発表いただき，論文には書かれにくい知見・苦労・裏話などが共有された。その他にも既存の データセットに関する詳細な分析や, 事前学習モデル構築に関する知見の発表もあった.

以下に発表を列挙する. タイトルの末尾に々が付与されている発表はライトニングトーク, その他は一般発表を示す.

日本語評価用データセットの構築と公開 $(1)$
- JGLUE: 日本語言語理解ベンチマーク

柴田知秀（ヤフー）, 栗原健太郎, 河原大輔（早大）
- 日本語版 CoLA の構築の舞台裏

染谷大河, 大関洋平（東大）
- QA における評価用データセットの役割と日本語 QA データセットの必要性についての 考察

田保健士郎, 小林景（慶應大）

## 日本語評価用データセットの構築と公開 $(2)$

・ 闘病ブログ記事に対する投与薬剤の奏功情報アノテーションタ 高山隼矢, 荒瀬由紀（阪大）, 梶原智之（愛媛大）, Chenhui Chu（京大）
- WRIME：主観と客観の感情極性分類のための日本語データセットタ

鈴木陽也, 宮内裕人, 秋山和輝, 梶原智之, 二宮崇（愛媛大）, 武村紀子, 中島悠太, 長原一 (阪大)

・ 学習データセット改善によるアスペクト感情分析モデルの性能改善亀谷聡（インテック）
- 日本語レシピデータセットの継続的な構築と複合的な利用原島純, 平松淳, 深澤祐援, 山口泰弘 (クックパッド)

## 日本語評価用データセットの構築と公開 $(3)$
- 供述調書に現れる数量表現の推論テストセットの構築小谷野華那（お茶大）, 谷中瞳（東大）, 峯島宏次（慶應大）, 福田浩司, 橋爪宏典 (NEC),戸次大介（お茶大）
- JaNLI: 日本語の言語現象に基づく敵対的推論データセット 谷中瞳（東大）, 峯島宏次（慶應大）
- Japanese Realistic Textual Entailment Corpus の紹介々林部祐太 (Megagon Labs)
- SNS を出典とする言語資源の公開にまつわるノウハウタ 榊剛史, 水木栄 (ホットリンク)
- クラウドソーシングに基づく日本語タスク指向型対話収集基盤の構築に向けてタ 邊土名朝飛, 友松祐太 (AI Shift), 阿部香央莉, 佐々木翔大, 乾健太郎（東北大学）

・日本語転移学習モデルにおける事前学習コーパスのフィルタリング \&渡邊亞椰, 河原大輔 (早大)

・ 公開日本語言語モデルとその評価の現状乡

林政義（ワークス）

今回一度だけのワークショップではなく，今後も継続的にこのような機会を設け，日本語評価用データセットに関する議論が進められればと考えている.

## 4 リーガル分野におけるデータセット構築・利活用の現状と展望

リーガル分野（法領域）では，テキスト情報が比較的厳密な形の文章で記述されるため，自然言語処理技術との相性は良いと想定され，その活用による社会への影響も大きいと考えられる が，日本においては，そうした取り組みは研究・産業いずれにおいても未だ活発ではない。そ の大きな要因として, データセットの公開・整備が十分なされていないことが挙げられる.

本セッションでは, 当分野におけるデータセットの構築とその利活用に取り組んでいる企業・大学の研究者から, 取り組みの背景と現状, 知見や今後の課題を共有いただいた. また, 発表
後にはパネルディスカッションを設け, 聴講者からも質問を募り議論した.

まず，株式会社 Legalscape の八木田樹氏から，企業内の法務関連の情報の大部分が非公開， かつ，機械可読性の低い状態である現状の解説の後に，この数年で動き始めた政府によるオ一 プンデータ化の取り組みが紹介された。それらを踏まえ，法情報の民主化に伴う大変革へ向け て重要なのは「法情報をすべて整理し，インフラ的に提供すること」との主張が述べられた。

次に, MNTSQ 株式会社の稲村和樹氏から，フェアな合意の実現へ向けた契約書解析と，そ のためのデータセット構築への取り組みを解説いただいた。 そこでの課題として, データの分散や閉塞といった組織ガバナンスも含めたハードルの存在, 類型や業種ドメインのカバレッジ，専門家知見が不可欠なことによるアノテーションコストの高さ，などが紹介された。

続いて，株式会社 LegalForce の舟木類佳氏から，法務家による契約書の理解支援のための，権利義務の自動認識を目的としたコーパスの構築について解説いただいた。このコーパスには，当事者・権利・義務・要件・例外に関する範囲情報と, 各情報同士の関連情報がアノテーショ ンされている，それらアノテーションのガイドラインや，アノテーション実施の際の困難な事例が共有された。

学術界からは, 東京工業大学の山田宽章先生から, 日本語判決書を用いたデータセットについ て報告いたたいた。海外に比べ，日本語で書かれた日本法に対応するデータセットの普及は進 んでいない，現状を踏まえ，過去に構築した判決書議論マイニングデータセットおよび，現在構築中の判決書判断予測データセットについて, 概要と構築過程が紹介された. 特に, 法律ド メインにおけるアノテーションについて，実際の構築作業を通じて得られた知見が共有された。

最後のパネルデイスカッションでは, 参加者からも多数の質問が寄せられた. アノテーショ ン業務の実情や，分野特有のアプローチ，国外での事例などの議論が活発に起こり，セッショ ン終了後もオンライン上で続いた．自然言語処理にとってまだ馴染みの薄い「法」という領域 について，実際に取り組む者が集い共有する貴重な場になったと考える。

## 5 形態素解析辞書・統語解析データセットの公開

本セッションでは, 形態素解析辞書及び係り受けアノテーションデータ整備について議論し た. 日本語の分かち書きの単位と深層学習モデルの関係, 統語情報アノテーションが主に話題 となった。

深層学習においては訓練時に単語分かち書きのみを用いる傾向にあるが，産業応用において は単語に紐づく様々な情報が活用されている。ワークスアプリケーションズ・システムズ社の Sudachi の同義語辞書や, その単位に基づく単語埋め込み・事前学習モデルなどが紹介された.

係り受けアノテーションデータ整備については, 日本語の伝統的な文節傒り受け木から, 多言語で共有可能な係り受けアノテーションフレームワーク Universal Dependenciesへの変換につ

いて議論した. 形態に基づく単位である国語研短単位と品詞の用法まで同定した単位である国語研長単位の 2 種類の日本語 Universal Dependencies の 2 種類のデータの差異について紹介さ れた。また日本語 Universal Dependencies に基づく依存構造解析モデルの構築について, spaCy および GiNZAでの取り組みについて紹介された.

## 6 ワークショップの運営

ワークショップの開催にあたっては JED2022 公開ページを作成し, 募集要項・新着情報の 告知や, プログラムのタイムテーブル，各発表の題名・概要を公開する場として利用した，加 えて，外部公開を許諾していただいた発表者のスライド資料もホスティングしている。ホーム ページはワークショップ閉会後も継続して公開状態を維持している ${ }^{3}$.このように誰もがアクセ スできる包括的な公式の情報源を恒久的に提供することは, ワークショップの参加者・発表者, そして当日は参加できなかった未来の研究者らにとっても利便性があるものだと考える.

ワークショップ運営メンバーのコミユニケーションには，年次大会でも使用された Slackを 用いた. 発表者は運営メンバーと同じ Slack に作成した専用のチャンネルへ招待し，当日まで の依頼事項や発表方法などの案内を行った。発表者から発表資料を提出頂くにも Slackを用い た. なお, 運営メンバーのチャンネルは発表者が参照できないよう運営メンバー限定とした. ワークショップに関わるコミュニケーションを Slackへ一本化することで, 円滑な運営が行え た. 年次大会の Slack は大会終了後消えてしまうが，ワークショップの Slack は継続する。発表者に連絡をしたタイミングや問い合わせ内容を参照できることは，来年の運営を改善する際 にあたり有用である.

発表者に提出頂くのは論文ではなく発表スライドとした。本ワークショップは研究者同士で 論文では書けない苦労話やノウハウを共有することで, 言語資源構築の生産性を向上させるこ とを企図しているためである．SNS を出典とする言語資源の公開にまつわるノウハウの発表で はデータを公開するために社内を説得する方法，また QA における評価用データセットの発表 では単純な翻訳で日本語データセットを作る際の問題点が指摘されるなど，ワークショップが 企図した苦労話やノウハウの共有が行えたと考えている.

ワークショップの前に発表者にワークショップで使用する Zoom の接続確認を頂いた. 接続確認の時間で簡単ながら運営メンバーと発表者が交流できる機会を作ることができた. ともす ると直接話すことがなく終わってしまうところ，リモートではありつつもカメラをオンにして 対面で話せる機会があったことで，ワークショップの趣旨に賛同いただいた研究者の方と親睦

を深めることができた.

データセットとモデルが協調的に発展する未来にむけて, 発表者の方に事前アンケートを行 いアンケート結果についてワークショップの最後に議論を行った. どのようなタスクのデータ セットを構築するかについては実用化のニーズを意識するという回答が見られた一方，デー夕 セットの活用促進や公開後の発展方法については特になしという回答が目立った. 現状, 公開後の活用，また更新について計画が立てられているケースが少ないことは協調的な発展を目指 すにあたり課題といえる。

## 7 今後の展望

2022 年 9 月 7 日（水） に，JED2022 の一部の講演者のほか，言語資源を構築している若手研究者を招待し, 「日本語における評価用データセットの構築と利用性の向上」分科会 4 を, 国立国語研究所においてハイブリッド形式で開催する予定である。また，今後もワークショップ を定期的に開催する予定であり，特に NLP2023に向けては，日本語データセットと日本語事前学習モデルの相補的な発展を議論する場を設けたいと考えている.

## 謝 辞

JED2022 の開催にあたり, 言語処理学会第 28 回年次大会大会委員会の皆様, ワークショップ スポンサー 4 団体の皆様には，多大なご支援を賜りました．柿沼弁護士には，ご多忙の中，二度に渡りご講演の趣旨を詳細に議論する場を設けていただきました。紙面の都合で本稿の執筆 を依頼できなかったワークショップ提案者の高岡一馬氏・林部祐太氏のご貢献に敬意を評しま す. 最後に，ワークショップの発表者・参加者・スタッフの皆様に，厚くお礼申し上げます.

## 略厤

松田 寛：株式会社リクルート Megagon Labs 研究員・言語処理学会理事.

柴田知秀：ヤフー株式会社上席研究員・言語処理学会理事.

河原 大輔：早稲田大学教授.

久本 空海：株式会社 MIERUNEソフトウェアエンジニア.

久保 隆宏：アマゾンウェブサービスジャパン合同会社.

浅原 正幸：国立国語研究所・東京外国語大学教授.


# 「言語統計力学」= 言語学・自然言語処理・物理学

2022 年 3 月 9 日, 言語処理学会年次大会の少し前に, TKP 東京駅セントラルカンファレン スセンターと Zoom のハイブリッドで，「現代語の意味の変化に対する計算的・統計力学的アプ ローチ」シンポジウムを開催しました。

このシンポジウムは同名の研究プロジェクトのまとめとして開催したもので, 184 人の参加登録と, 現地からの講演に加え, オンラインでは $100 \sim 120$ 名の多数のご参加をいただきました.関連した招待講演も含め, シンポジウムのページで現在も発表資料を公開しています1. 本稿で はこの研究プロジェクトの由来と, 研究を通して得られた知見について, 言語処理学会の皆様 に紹介したいと思います。
## 1 プロジェクトの始まり

この共同研究は，国立国語研究所の公募する「新領域創出型共同研究プロジェクト」に採択 されたものですが，当初は予算のサポートのある研究ではなく，まったくインフォーマルに始 まったものでした。代表者の持橋が 2018 年ごろ，知り合いの SNS での会話をきっかけに，言葉の意味の変化はそれぞれの言語使用者が周りに合わせて使い方を確率的に変えることで，物理学でいうイジングモデル (MacKay 2003, 31 章) のようなことが起きており，一種の相転移と して意味の変化をとらえられるのではないか，と考えたのが始まりでした.

統数研は定員が少ないため，特に研究テーマを振れる学生もいないことから，Twitterでこう した研究をしたい人はいませんかと募集したところ，すぐに何人かの方から応募がありました. そこで，都立大の修士の竹中さんおよび，これまで関連のある研究 (Takamura et al. 2005) をし てきた東工大／産総研の高村氏と国語研の小木曽氏，竹中さんの指導教員である小町氏などで 研究を始めました，何回か集まって検討するうち，小木曽氏から国語研究所の「新領域創出型共同研究」に出してみてはどうかという提案があり，意外にも高倍率でしたが，幸いなことに 採択していただけて，3年間の研究プロジェクトを続けることができました.

竹中氏は会社の仕事が忙しくなったこともあり, 学生は当時長岡技科大の学部 4 年生だった
^{1}$ https://www.ism.ac.jp/ daichi/workshop/2022-lchange/
}
相田さんと, その後で小町研に入学した修士 1 年の井上さんに引き継がれて現在に至っていま す. 現在も研究は続けていますので，興味のある方は持橋までご連絡ください，また，この話題は統計力学と非常に関係が深いことから, 申請にあたり自然言語処理だけでなく, 統計力学 を専門とする統数研の坂田綾香氏，および小山慎介氏にも加わっていただいたことが特徴です。 こうして，主に統計力学チームとデー夕解析チームに分かれて研究を進め，ときおり全体ミ一 ティングを行って進渉を共有していきました.

## 2 統計力学と自然言語処理

検討を始めて最初に気がついたのは，こうした，言語変化を抽象的に扱う理論的な研究は，言語学でも自然言語処理でもなく, 物理学で行われているということでした. Physical Reviewの ような物理のジャーナルに興味染い研究が多数あり, 言語学で知られていた「言語変化は $\mathrm{S}$ 字 カーブで進行する」という事実 (横山, 真田 2007) は, Bass モデルという形の微分方程式によっ て, すでに理論的な説明が得られていました (Ghanbarnejad et al. 2014). こうした研究を主に 筆者が追い，統計力学チームと共有する中で，近似マスター方程式を使った解析や分岐過程に よる感染のモデル化の論文 (Keating et al. 2022, Physical Review E) にまでたどり着き，言語変化の理論的な側面について，ほぼ最前線に近いところに達したと判断することができました。

ここで実験が行えるとよかったのですが，残念なことに，これまでの物理学や言語学での言語変化のモデル化は, 綴りの変化や動詞の活用の変化といった, 客観的に変化がすぐ見えるデー 夕を対象にしていました，しかし，「意味」の変化は直接それ自体が目に見えるものではありま せん，そこで，まずは統計的分析により，意味の変化をコーパスから統計的に取り出さなけれ ばなりません，そんなわけで，後半から現在に至り，データ解析としての研究をプロジェクト では主に進める結果になりました。

とはいえ，言語変化について，微分方程式を使ったモデル化でここまで数理モデルができて いること，そしてそれが，言語学者にも自然言語処理の研究者にもほとんど知られていないこ とは驚きで，かつ，サイエンスとしての可能性を感じた出来事でした。こうした研究には，当然ながら深層学習のツールキットが使えるだけでは無理で，物理的な知識がどうしても必要に なります，現在の自然言語処理にはそうした分析が相当に欠けており，今後，物理出身の方゙を 中心に，よりNLP が深まるとよいのではと筆者は考えています.

## 3 言語変化の研究

言語変化については多くの研究がありますが，言語学の視点からみて最も欠けていると思え たのは,「どんな単語が意味変化するのか」という網羅的な研究が少なく, 自然言語処理でも apple や gay といった代表的な単語の例たけで説明されていることでした. 単語べクトルを使っ て網羅的に意味変化した単語を求めるには, 違った時期の単語べクトルを対応づける必要があ ります. Hamilton (2016) はこの対応を線形変換で求めていたため, 制約が大きいと考えられま した. そこで，単語べクトルは共起関係の PMI （自己相互情報量）行列の行列分解と数学的に 等価だという研究 (Levy and Goldberg 2014) を踏まえ, 二つの時期の共起行列の行列分解を同時に行うことで対応づけを不要にする方法を相田さんを中心に研究し, この研究は言語処理学会での発表 (相田他 2021)を経て, PACLIC 2021 に採択されました (Aida et al. 2021).

国語研の小木曽氏を通じて日本語学の研究集会でも発表を行う中で, 言語学の立場からは,単に意味変化の大小だけでなく, 単語の意味がどう変わったのか, 何が変わったのかを知りた いという要望が大きいことがわかりました. このためにはニューラル手法よりも，異なる「語義」を潜在変数として明示的にモデル化するトピックモデルのような統計モデルが適していま す. 動的なトピックモデルによって, 単語の変化する意味を追跡する SCAN というモデルが存在していましたが (Frermann and Lapata 2016), これは事前にトピック数, すなわち語義の数 を指定する必要があるものでした．語義の数はほとんどの場合，事前にはわかりません．また 指定する語義の数によって，語義が重複したり，本来は別の語義が同じトピックにまとめられ てしまう可能性があります。そこで，ノンパラメトリックベイズ法によって，SCAN で変化す る語義の数もデータから自動的に推定する統計モデル, Infinite SCANを開発しました（図 1）. SCAN はガウス分布のマルコフ確率場でモデル化されているため, この上で無限次元を表現で きるロジスティック棒折り過程 (Ren et al. 2011)を利用しているのが特徴です. 複雑な計算が 必要ですが, 担当した井上さんの頑張りによりモデルは完成し, 言語処理学会での発表 (井上他 2022)を経て, 現在は国際会議での発表を準備しています.

これらの研究には, 英語については COHA (Corpus of Historical American English)という 1820-2019 年の 4.7 億語のコーパスを用いています. 日本語にはこうした通時コーパスがこれ までなかったため, 研究には国立国語研究所で作成している近現代雑誌通時コーパス (近藤 他 2022)を使っています.これは，1874-2013年の間の『太陽』『中央公論』『文藝春秋』といった 雑誌の記事を約 8 年おきに収録したもので，約 4 千万語のコーパスとなっています. プロジェ クトではこの国語研通時コーパスを用いた他の研究も行っており, 今後は日本語学や, 国語辞典の編纂を統計的にサポートするなどの応用が期待できます.

言語変化の研究は NLP の中でも注目度が高く, 競争が激しい領域ですが, その中で技術的に 着実な成果を上げられたと考えています。現在は単語べクトルの空間の中で, どのような特徴

(a) "coach"

(b) "power"

図 1 Infinite SCAN (上段) およびSCAN（下段）による COHAコーパスからの意味変化の推定結果.各トピックが 1 つの語義を表しており，語義数を事前に固定する必要のあるSCAN に比べて，提案法ではそれぞれの単語の（変化する）語義の数が自動的に学習されています. 図の下部は各トピッ クの上位語で，SCAN では一部のトピックのみを表示しています。

をもつ単語が意味変化しやすいのかについて検討しています。また統計力学的分析のためには，時系列に即した網羅的なデータ化が必要で，潜在空間においてカルマンフィルタを考えること を次に予定しています。

## 4 まとめ

「言語統計力学」の国語研共同研究プロジェクトは, 自然言語処理, 言語学・国語学, 統計物理学の共同研究プロジェクトでした，研究はまだ終わっていませんが，言葉の変化の問題は言語学において普遍的な問題です。かつ，意味的な変化は表立って見えるものではないため，自然言語処理の技術が必ず必要になる研究であるといえるでしょう．言語学者が言語処理学会に 来なくなった，と言われて久しくなりますが，言語学の若手には自然言語処理を学習しようと する動きが大きくあるようで，自然言語処理の側でも，そうした方々と協力して次の時代の言語学を作っていく必要があるのではないかと筆者は考えています.

## 謝 辞

この研究は, 国立国語研究所の新領域創出型共同研究「現代語の意味の変化に対する計算的・統計力学的アプローチ」として行われました.メンバーの皆様, およびシンポジウムに参加い ただいた皆様に感謝申し上げます.

## 参考文献

Aida, T., Komachi, M., Ogiso, T., Takamura, H., and Mochihashi, D. (2021). "A Comprehensive Analysis of PMI-based Models for Measuring Semantic Differences." In PACLIC 2021, pp. 21-31.

相田太一, 小町守, 小木曽智信, 高村大也, 持橋大地 (2021). 通時的な単語の意味変化を捉える単語分散表現の同時学習. 言語処理学会第 27 回年次大会発表論文集, pp. 712-717. [T. Aida et al. (2021). Tsujiteki na Tango no Imihenka wo Toraeru Tango Bunsan Hyogen no Doji Gakushu. Proceedings of the 27th Annual Meeting of the Association for Natural Language Processing, pp. 712-717.].

Frermann, L. and Lapata, M. (2016). "A Bayesian Model of Diachronic Meaning Change." Transactions of the Association for Computational Linguistics, 4, p. 31-45.

Ghanbarnejad, F., Gerlach, M., Miotto, J. M., and Altmann, E. G. (2014). "Extracting Information from S-curves of Language Change." Journal of the Royal Society Interface, 11.

井上誠一, 小町守, 小木曽智信, 高村大也, 持橋大地 (2022). ガウス確率場による単語の意味変化と語義数の同時推定. 言語処理学会第 28 回年次大会発表論文集, pp. 1787-1792. [S. Inoue et al. (2022). Gausu Kakuritsuba niyoru Tango no Imi Henka to Gogisu no Doji Suitei. Proceedings of the 28th Annual Meeting of the Association for Natural Language Processing, pp. 1787-1792.].

Keating, L. A., Gleeson, J. P., and O’Sullivan, D. J. P. (2022). "Multitype Branching Process Method for Modeling Complex Contagion on Clustered Networks." Physical Review E, 105 (3) 034306.

近藤明日子, 相田太一, 小木曽智信 (2022). 近現代雑誌通時コーパスの語彙統計情報の公開. 言語処理学会第 28 回年次大会発表論文集, pp. 1695-1698. [A. Kondo et al. (2022). Kingendai Zasshi Tsuji Kopasu no Goi Tokei Joho no Kokai. Proceedings of the 28th Annual Meeting of the Association for Natural Language Processing, pp. 1695-1698.].

Levy, O. and Goldberg, Y. (2014). "Neural Word Embedding as Implicit Matrix Factorization." In Advances in Neural Information Processing Systems 27, pp. 2177-2185.

MacKay, D. J. C. (2003). Information Theory, Inference, and Learning Algorithms. Cambridge University Press.

Ren, L., Du, L., Carin, L., and Dunson, D. B. (2011). "Logistic Stick-Breaking Process." Journal of Machine Learning Research, 12, pp. 203-239.

Takamura, H., Inui, T., and Okumura, M. (2005). "Extracting Semantic Orientations of Words using Spin Model." In Proceedings of ACL 2005, pp. 133-140.

横山詔一, 真田治子 (2007). 多変量 S 字カーブによる言語変化の解析. 計量国語学, 26 (3), pp. 79-93. [S. Yokoyama and H. Sanada (2007). Multiple Logistic Regression Analysis for Formulating a Change in Language. Mathematical Linguistics, 26(3), pp. 79-83.].

## 略歴

持橋大地：1998 年東京大学教養学部基礎科学科第二卒業. 2005 年奈良先端科学技術大学院大学情報科学研究科博士後期課程修了. 博士 (理学). ATR 音声言語コミュニケーション研究所 研修研究員／専任研究員, NTTコミュニ ケーション科学基礎研究所リサーチアソシエイト／リサーチスペシャリスト 各研究員を経て，2011 年より情報・システム研究機構 統計数理研究所 准教授. 専門は自然言語処理および機械学習。 2015 年より, 日本学術振興会 学術情報分析センター分析研究員を兼務.

小木曽智信：1995 年東京大学文学部日本語日本文学 (国語学) 専修課程卒. 1997 年同大学院人文社会系研究科日本文化研究専攻修士課程修了. 2001 年同博士課程中途退学. 2014 年奈良先端科学技術大学院大学情報科学研究科博士課程修了. 博士 (工学). 明海大学講師, 独立行政法人国立国語研究所研究員等を 経て, 2016 年より人間文化研究機構国立国語研究所教授.コーパスと自然言語処理技術を応用した日本語の歴史研究に関心がある。

高村 大也：1997 年東京大学工学部計数工学科卒業. 2000 年同大大学院工学系研究科計数工学専攻修了 (1999 年はオーストリアウィーン工科大学にて研究) .2003 年奈良先端科学技術大学院大学情報科学研究科博士課程修了. 博士 (工学）. 2003 年から 2010 年まで東京工業大学精密工学研究所助教。2006 年 にはイリノイ大学にて客員研究員. 2010 年から 2016 年まで同准教授。2017 年から 2021 年 3 月まで同教授. 2017 年より産業技術総合研究所人工知能セ ンター知識情報研究チーム研究チーム長. 計算言語学、自然言語処理を専門 とし、特に機械学習の応用に興味を持つ.

小町 守: 2005 年東京大学教養学部基礎科学科科学史・科学哲学分科卒. 2008 年より日本学術振興会特別研究員 (DC2) を経て, 2010 年奈良先端科学技術大
学院大学情報科学研究科修了. 博士 (工学). 同年より同研究科助教を経て, 2013 年より首都大学東京 (現東京都立大学) システムデザイン学部准教授. 2022 年より同教授. 大規模なコーパスを用いた意味解析および統計的自然言語処理に関心がある。


# 許容される二次投稿

浅原 正幸 $\dagger \cdot$ 吉田 光男 $\dagger \dagger$ ・宮尾 祐介 ${ }^{\dagger \dagger}$ ・内山 将夫 ${ }^{\dagger+\dagger}$
## 1 はじめに

研究をより洗練されたものにするために, 研究会・年次大会・プレプリント・国際会議プロ シーディングス・論文誌など，さまざまな場で論文著作の公開を行う。より広く研究を知らしめ るために英語でも日本語でも発表するほか, 異なる学会で観点を変えて発表を行うこともある.

一方, 同じ内容を複数の論文誌に投稿することは二重投稿・自己剽窃とされ，研究倫理的に 問題がある行動とされる．複数の論文誌に投稿し，業績を多く見せかける点や不必要な査読や 追試などによって他の科学者の時間と資源を無駄にする点が問題とされる (「科学の健全な発展 のために」編集委員会 2015). しかし，異なった読者を対象として，適切な引用を行えば，同じ 内容を複数の雑誌に掲載することが認められる場合がある。学会によっては, 許容される二次投稿・二次出版 (acceptable secondary publication)の基準を規定し，学会記事として解説 する取組が進められている。そこで，本記事では，言語処理学会編集委員会が想定する学会誌『自然言語処理』における「許容される二次投稿」およびその注意点について示す.

## 2 二次投稿・二重投稿の問題点

二次投稿・二重投稿には 2 つの問題点がある.

1 つ目は研究倫理の問題である。二次投稿・二重投稿は，捏造・改ざん・剽窃・盗用などと いった致命的な研究倫理違反とは異なり, 10 年くらい前までは研究者間で十分に共有されてい る研究倫理違反とはされていなかった. 2014 年に文部科学省により「研究活動における不正行為への対応等に関するガイドライン」(文部科学大臣決定 2014) が示され, 明確な研究倫理違反 と規定された.これ以降, 文部科学省科学研究費など様々な研究資金配分の前提として, 二次投稿・二重投稿も研究倫理違反行為とし, 研究機関・研究者団体に対して当該行為が発覚した 場合の対応方針を示すよう求めている.

2 つ目の問題は, 著作権の問題である。ある論文を論文誌に掲載する際に，当該論文の著

「許容される二次投稿」の場合には, 図 2 の【記載例】を参考に, ここにその旨を記載すること。
作権の一部もしくは著作者人格権以外の全てを論文誌側に譲渡することが一般に行われる。著作物の公衆送信権（著作権者以外の公衆送信行為を規制する権利）や送信可能化権（イン ターネットなどで著作物を自動的に公衆に送信し得る状態に置く権利）を譲渡する場合には， その権利の範囲が他者に送信を許さないものなのかが重要になる。論文誌『自然言語処理』掲載論文は，掲載論文の著作権を言語処理学会に譲渡することを依頼し，譲渡されたものは 「クリエイティブ・コモンズ 表示 4.0 国際 パブリック・ライセンス (CC BY 4.0)」  とする。既発表論文が CC BY 以外の $\mathrm{CC}$ ライセンス（SA 継承, $\mathrm{NC}$ 非営利, $\mathrm{ND}$ 改変不可）の論文は, 言語処理学会側が $\mathrm{CC}$ BY 4.0 で公開できないという問題がある.

また, 二次投稿と二重投稿の違いについて示したうえで，本学会では二重投稿を許容しない 点について述べる。二次投稿は学会 A において公表（発表・出版）したあとに学会 B に投稿す るものであり，投稿（查読）期間に時間的重なりがないものとする。二重投稿は学会 Aに投稿 (査読) 中のものを学会 Bにも投稿するものであり，投稿（査読）期間に時間的重なりがあるも のとする。プレプリントや学位論文等を除いて，多くの学会で二重投稿を認めていない．本学会も二次投稿については許容するが, プレプリントや学位論文等以外の二重投稿は許容しない.

## 3 論文誌『自然言語処理』に投稿可能な論文

## 3.1 許容される二次投稿

以下では，論文誌『自然言語処理』に二次投稿してよい場合について示す（図 1).

まず，いずれの媒体にも発表していない研究や，予稿・論文を執筆せずに発表した研究の論文投稿は，二次投稿・二重投稿に当たらない. しかし，プレプリントや学位論文等を除いて，投

図 1 二次投稿の可否
稿（査読）期間に時間的重なりのある二重投稿は認めない.

投稿論文の一部が査読付き雑誌論文（例えば，本論文誌の「一般論文」「応用システム論文」「技術資料」「解説論文」）に投稿もしくは掲載している場合，その内容において $\mathbf{5 0 \%}$ 以上の差分があるもの 1 を投稿可能とする．尚，投稿論文が査読なしのもの（例えば，本論文誌の「学会記事」）は，内容が一致することを許容する。

投稿論文の全部・一部が本学会年次大会 ・他学会研究会 ・卒業論文・修士論文・博士論文・国際会議等で発表・公表している場合，同一の内容のものを著作権的な問題が生じない範囲に おいて本論文誌に投稿することを許容する．論文誌『自然言語処理』は，採択時に著作権法 27 条及び 28 条の権利を含めて，当該論文の著作権を言語処理学会に譲渡することを求めている.言語処理学会側は譲渡された著作物のライセンスを CC BY 4.0 とし, 著作者「言語処理学会」 として公衆送信を行う. 投稿時に，著作権的に上記処理が可能なことを明示する必要がある.

特に，投稿論文を他学会研究会・国際会議等で発表・公表しており, 既発表論文の著作権を他学会に譲渡している場合には，著作権的に問題のないこどを示す必要がある．著作権者が $\mathrm{CC}$ BY 4.0 のようなライセンスのもと, 再投稿の明確な基準を提示していない場合には，内容的な 差分のない翻訳版, もしくは, $25 \%$ 以上の差分がある拡張版の再投稿を本学会として許容する. しかしながら， $25 \%$ 以上の差分があっても CC BY による再投稿ができない場合がある．例え ば，BY 以外の条項が付与されている論文 ${ }^{3}$ 場合は，CC BY で本学会が頒布することができ ず（SA 継承, $\mathrm{NC}$ 非営利)，改変することが出来ない（ND 改変禁止）という制約がある.

本学会は，投稿論文をプレプリントサーバに事前に投稿することを許容する．この場合，本論文誌掲載後,プレプリントサーバ側に論文誌『自然言語処理』に掲載された旨を示すこと。

## 3.2 二次投稿時の注意点

許容される二次投稿の場合でも，以下のような注意点がある.

二次投稿（拡張版・翻訳版・再投稿版）であることを投稿時に明示すること．既発表論文を参考文献として示すとともに, 本文 1 ページ目の footnote にどこで発表されたものかを適切な

【記載例 1】本研究は既発表論文「XXX」『自然言語処理』 $\mathrm{X}$ 巻 X 号をもとに，50\%以上抎張したものである.

【記載例 2】本研究は言語処理学会第 X 回年次大会の発表論文「XXX」(c) [原著者名] (CC BY 4.0) に基づく,

【記載例 3】本研究は電子情報通信学会技術研究報告「XXX」(c) 202x IEICE の発表に基づく，同学会より著作物利用許諾済みである。

【記載例 4】本研究は情報処理学会研究報告「XXX」(c) 202x Information Processing Society of Japan に基づく.

【記載例 5】本研究は ACL-202x のプロシーディング "XXX" (c) 202x Association for Computational Linguistics (CC BY 4.0)をもとに，翻訳したものである.

【記載例 6】本研究は XX 研究会予稿「XXX」で公表したものである。同研究会予稿の著作権を投稿者は有している.

【記載例 7】本研究は XX 大学博士請求論文 (202x 年)「XXX」で公表 \{した, 予定である $\}$.

【記載例 8】本研究のプレプリントをJxiv https://doi.org/10.51094/jxiv.xxx で公表した.

図 2 二次投稿（拡張版・翻訳版・再投稿版）時の既発表情報表示例

著作権表示を行ったうえで拡張版・翻訳版・再公表版であることを図 $\mathbf{2}$ のように明記すること。

投稿論文の一部が査読付き雑誌論文に掲載している場合，投稿時に内容において $50 \%$ 以上の 差分があることを示す必要がある．投稿論文の全部・一部が本学会年次大会・他学会研究会卒業論文・修士論文・博士論文・国際会議等で発表・公表している場合, 既発表論文の著作権的に拡張版・翻訳版の投稿について問題ないことを明示する必要がある．また，内容が同一の 論文を再投稿する際には，既発表論文と全く同じ原著者であることを前提とする.

## 4 論文誌『自然言語処理』掲載論文の再公開・二次投稿

本節では，論文誌『自然言語処理』掲載論文を他論文誌へ二次投稿する際の言語処理学会側 の考え方について示す.二次投稿時には二次投稿先側の判断基準も併せて検討されたい.

まず，著作権的な整理として，論文誌『自然言語処理』揭載論文は，著作権者が言語処理学会とした CC BY 4.0 ライセンスとする。本学会以外（当該論文の著者・レポジトリ等を含む） が，当該論文を第三者に公開する場合，当該論文が所載されている「自然言語処理」の巻号頁 およびライセンス表示「(c) 言語処理学会 CC BY 4.0」を明記すればよい. さらに二次投稿先 に掲載する場合も上記整理を行えば問題ない。博士論文などへの再掲載も同様の扱い 4 とする.

次に, 研究倫理的な整理については, 査読ありか査読なしかが重要であろう. 査読ありのも の（「一般論文」「応用システム論文」「技術資料」「解説論文」）については，重複して他の論文誌に投稿する際には相応の事由が必要であると考えるため，編集事務局に相談されたい．査読 なしのもの (「学会記事」) については, 本学会・他学会論文誌に内容において同一のものを二次投稿することは, 言語処理学会として問題ないと考える. 特に学会記事は, 評価の高い国際会議論文採択者に対して，5 ページ程度の和文による速報として依頼する場合もあり，より長 い論考を原著論文として執筆することを制限しない.

## 5 おわりに

文部科学省科研費など多くの研究資金応募時の研究倫理教育が前提となっており，各機関で 研究倫理教育が進められている。その中で，捏造・改ざん・剽窃・盗用などの致命的な研究倫理違反とともに, 従来研究者間で十分に共有されなかった二重投稿の問題点についても示され るようになった，本記事では，言語処理学会論文誌『自然言語処理』編集委員会として許容さ れる二次投稿について明確化し，二次投稿時にどのような点について注意が必要かについて示 した. 本論文誌は, 他学会研究会 ・本学会年次大会 - 卒業論文 - 修士論文 ・博士論文・国際会議論文の研究については, 研究倫理的に許容される二次投稿と考える。一方, 他学会研究会国際会議論文の研究については，採録時に著作権を譲渡している場合があるために，著作権的 な整理についても言及した。学会員は，本稿に示した許容される二次投稿の整理を行ったうえ で，積極的に論文誌へ投稿されたい.

## 謝 辞

本記事は，言語処理学会編集委員会における議論に基づき執筆したものである．議論に参加 した編集委員および言語処理学会理事に謝意を表す.

## 参考文献

「科学の健全な発展のために」編集委員会 (2015). 科学の健全な発展のために一誠実な科学者 の心得一.テクニカル・レポート, 日本学術振興会. [Editing Committee “For the Sound Development of Science" (2015). For the Sound Development of Science. Tech. rep. Japan Society for the Promotion of Science.].

文部科学大臣決定 (2014). 研究活動における不正行為への対応等に関するガイドライン.テ クニカル・レポート, 文部科学省. [Minister of Education, Culture, Sports, Science and Technology (2014). Guidelines for Responding to Misconduct in Research. Tech. rep. Ministry of Education, Culture, Sports, Science and Technology.].

## 略歴

浅原正幸：国立国語研究所・東京外国語大学教授．論文誌『自然言語処理』副編集長.

吉田 光男 : 筑波大学ビジネスサイエンス系准教授．論文誌『自然言語処理』編集委員.
宮尾 祐介: 東京大学大学院情報理工学系研究科教授. 論文誌『自然言語処理』副編集長.

內山 将夫: 情報通信研究機構上席研究員. 論文誌『自然言語処理』編集委員長.