# JCommonsenseMorality:常識道徳の理解度評価用日本語データセット

竹下昌志 1 ジェプカ・ラファウ ${ }^{2}$ 荒木健治 ${ }^{2}$
1 北海道大学大学院情報科学院 2 北海道大学大学院情報科学研究院
${ }^{1}$ takeshita.masashi.68@gmail.com ${ }^{2}\{$ rzpeka, araki\}@ist. hokudai .ac.jp

## 概要

近年、人工知能（AI）技術が人間社会で広く用 いられ、それに伴い $\mathrm{AI}$ 技術の倫理が問われるよ うになった。既存研究では $\mathrm{AI}$ 自体に倫理を組み 込むためのデータセットが構築されているが、そ の多くは英語での常識道徳を反映したものであ る。しかし、文化相対性を考えれば英語圈以外の常識道徳を反映したデータセットも必要である。そ こで本研究では、日本語の常識道徳データセット JCommonsenseMoralityを構築する。これを用いて 事前学習済みモデルに対し評価実験を行ったとこ ろ、他の類似したベンチマークと比較してより困難 な常識理解を必要とすることが示唆された。また心理学の道徳基盤理論に基づいた分析も行った。

## 1 はじめに

$\mathrm{AI}$ 技術が発展するに連孔、 $\mathrm{AI}$ の人間社会への参入が增えており、それに伴って AI の倫理1)が問われ ている。例えば、自然言語処理（NLP）に打いて AI に内在する差別的な社会的バイアス (ジェンダー、人種など）が指摘されて以降 [1]、バイアス研究は急激に増加している [2]。このようなバイアスは社会

差別的なバイアスが内在している AI の使用は道徳的に問題であるため $[5]$ 、差別的なバイアスを緩和 することは重要な課題である。

このような問題に対する解決策の1つとして、AI 自体纶倫理を組み込むことが考兄られる。実際、口 ボット倫理学ではロボット纪倫理をどのように組み 込むかが検討されている [6]。また 2.1 節で述べるよ うに、倫理を $\mathrm{AI}$ に学習させるためのデータセット が構築されており、そのようなデータセットに基づ いて学習されたモデルも構築されている [7]。


表 1 JCommonsenseMorality の具体例。道徳的に間違って いる場合は「1」、許容できる場合は「0」となっている。

しかし、既存研究のほとんどは英語での研究で あり、 $\mathrm{AI}$ に倫理を組み込むための日本語のデータ セットは、我々が知る限り存在しない。そこで本研究では、AI A 常識道徳を組み込み、またそれを評価するために、19,963 文からなる日本語の常識道徳 データセット JCommonsenseMoralityを構築する。 データセットの例を表 1 亿示す。本研究で構築した データセットと評価実験に使用したコードは以下の 脚注の URL 先で公開予定である2)。

本稿の構成は次のとおりである。2節で、既存の 英語の常識道德データセットを調査し、また常識道徳と「正しい」道徳の関係について簡単に触れる。 3 節でデータセットの構築方法について述べる。 4 節で評価実験の設定とその結果について述べる。5 節で本データセットと他の類似したデータセットを 比較し、また本データセットの内容を分析する。6 節で本研究の内容をまとめる。

## 2 関連研究

## 2.1 NLP における常識道徳データセット の構築

Hendrycks ら [8] は、言語モデルが規範倫理的な 概念を理解しているかどうかを評価するために、 ETHICS データセットを構築、公開した。ETHICS には、正義、義務論、徳、功利主義、常識道徳の 5 つのデータセットが含まれており、すべて分類タス

2) https://github.com/Language-Media-Lab/ commonsense-moral-ja

クとして設計されている。本研究と関連する範囲で は、常識道徳データセットでの分類タスクは、文ま たは文章で表されている行為が道徳的に間違ってい るか許容できるかのラベルが付けられているもの で構成される。3 節で述べるように、本研究で構築 するデータセットの構築方法は Hendrycks ら [8] の 常識道徳データセットの構築方法をほぼ踏襲して いる。

Choi らの研究グループは、常識道徳の様々な側面 に焦点を当てつつ複数のデータセットを構築、公開 している $[9,10,11,12]$ 。また同研究グループは、こ れらのデータセットを単純な分類タスクに編集、整理したものとして COMMONSENSE NORM BANK を構築 し、これを用いて常識道徳的判断を出力する分類モ デルである Delphi を構築した [7]。

以上のように、英語圈を中心とする地域での常識道徳を反映する英語のデータセットが多数構築 されているが、日本語圏での常識道徳を反映する データセットは我々の知る限り存在しない。例え ば、日本語での大規模な常識 QA データセットとし て JGLUE [13] に含まれている JCommonsenseQA が あるが、これは常識道徳に特化したものではない。 しかし、もし常識道徳が文化相対的であるならば (e.g. [14])、英語圏での常識道徳を反映するデータ セットだけでは AI 倫理研究を進める上で不十分で ある。例えば上述の Delphi に「日本で頬にキスをし て挨拶する (greeting by kissing on the cheek in Japan)」 と入力すると、「It's normal」と出力される3)が、我々 の考えでは、これは日本では典型的には不適切な行為である。したがって、常識道徳の文化相対性を確保するために、英語圏以外での常識道徳を反映した データセットを構築することは重要である。

## 2.2 常識道徳の倫理学的位置づけ

本研究は文化普遍的な「正しい」道徳（もしそれ があるとしで()）を AIに学習させることを意図して いないが、常識道徳と「正しい」道徳の関係につい てここで議論しておくのは有益だろう。

3) https://delphi.allenai.org/?a1=greeting+by+kissing+ on+the+cheek+in+Japan（2022 年 1 月 1 日確認）

4） メタ倫理学において、道徳的実在論と非実在論の間で議論がある。道徳的地実在論は 3 つのテーゼの連言で表され る：(1) 道徳的判断は真理值をもち、（2）道徳的判断の少 なくとも一部は真であり、(3) その真理は認識主体の選好 などから独立した道徳的事実や道徳的性質のおかげである (cf. $[15,16]$ )。非実在論はこの 3 つのテーゼのいずれかを否定する立場として定式化される。常識道徳ないし直観的な道徳的判断は、倫理学理論を評価する上で重要な役割を果たす。倫理学の標準的な教科書では、倫理学理論が導き出した結論が 直観に反する場合、それが理論に対して一つの批判 になりうるとされている [17]。また規範倫理学で標準的な方法論である反照的均衡を目指す方法 [18] は、私達の直観的判断と理論的判断を相互に修正し つつ、それらの整合性を取るという方法である。直観や反照的均衡法という考えを倫理学方法論として 採用することに対しては批判もある [19]。しかし、 たとえ後で修正されるとしても、はじめから私達の すべての直観的判断を無視することは妥当ではな いだろう。したがって、常識道徳（直観的判断）と 「正しい」道徳との間には一定の関連性があるため、 $\mathrm{AI}$ が常識道徳を理解することは、AIが「正しい」道徳をも知る上で重要な方法であると考えられる5)。

## 3 データセット構築方法

本研究での常識道徳データセットの構築手順は Hendrycks ら [8] の常識道徳データセットの構築手順 におおよそしたがっている。以下が大まかな手順で ある。なお、クラウドソーシングは (rowdWorks ${ }^{6}$ で 行った。

1. クラウドワーカーらに、道徳的に明らかに間違っている文と許容できる文のペア文を作成さ せる

2. 別のクラウドワーカーらに、それらの文を見 せ、道徳的に間違っているか許容できるかを評価させる

まず、クラウドワーカーらに、主節に動作主を表 す主語を含まないような行為を表す文 (以下、行為文）を作成させる ${ }^{7)}$ 。行為文は 2 文 1 組で作成され、一方は道徳的に明らかに間違っており、他方は明ら かに許容できるようにする。このとき、ペアとなっ ている行為文の間では、行為または状況のどちらか だけが変わることによって、道徳的に間違っている か許容できるかが変化するように作成させる。これ によってペア行為文は互いに類似したものになり、微妙な文脈的変化によって道徳的評価が変化するた

5） $\mathrm{AI}$ 倫理における反照的均衡法の利点については Jiang ら [7]を見よ。

6) https://crowdworks.jp/

7）Hendrycks ら [8] の作成方法では、文の中に一人称を表す単語（“I”, “my”など）を含ませているが、日本語で「私」をわ ざわざ入れるのは不自然である。そのため本研究では動作主 が誰であるかを特定させないためにこのような手順とする。

め、タスクとして難しくなると考えられる。以上の 作業について、計 50 人のクラウドワーカーそれぞ れに、200 ペア（400文）の作成を依頼し、10,000 ぺ ア（20,000 文）を収集した。付録 A. 1 にペア文の作成の際に用いたガイドラインを示す。

次に、ラベルの質を保証するために、各文に対し てそれぞれ 3 人のアノテーターによって、道徳的に 間違っているか許容できるかを再アノテーションさ せる。上述の手順で作成された 20,000 文を 5 つの グループに分割し、各グループに対して 3 人のアノ テータを割り当て、各アノテーターには計 4,004 文評価させる。そのうち 4 文は我々が用意したテスト データであり、それらに対して間違って評価した場合には再度アノテーションさせる8)。用意したテス トデータを付録 A. 2 に示す。文に誤字脱字がある場合は文を修正した上で評価させ、誤字脱字の修正が アノテーター間で異なる場合は第 1 著者の判断でい ずれか 1 つの修正を採用する。また各文に対する最終的なラベルは多数決によって決める。評価方法に ついて、ここではぺア文を分離し全 4,004 文をラン ダムに並び替えたものをアノテーションさせる。そ の理由は、ペアとして評価する場合と 1 文ずつ評価 する場合とで評価が変わると予想されるためであ る。本研究では 1 文での道徳的評価を想定している ため、ペアではなく 1 文ずつ評価させる。

再アノテーションの後、重複している文と、誤字脱字の修正から明らかに解釈が分かれていると判断できる文を削除し、全体で 19,963 文となった。最終的なデータセットの統計情報を表 2 に示す。アノ テーター間の一致度について、Fleiss の kappa 値は平均 0.74 であり、これは「かなり一致」していること を示す。また検証用とテスト用セットには 3 人のア ノテーター間で評価が一致したものだけを用いる。

## 4 評価実験

実験設定 本評価実験で使用するモデルは日本

メータについて、学習率には $\left.\{1 \times 10^{-5}, 3 \times 10^{-5}\right.\}$ を

8）結果的には全てのアノテーターが正しく入力していたた め、再アノテーションは行わなかった。

9) base:https://huggingface.co/cl-tohoku/ bert-base-japanese-char-whole-word-masking large : https://huggingface.co/cl-tohoku/ bert-large-japanese

10) https://huggingface.co/nlp-waseda/ roberta-large-japanese-with-auto-jumanpp表 2 JCommonsenseMorality の統計情報。括弧内の数値は 道徳的に間違っていると評価された文の数である。

表 3 実験結果。各数值は 5 つのランダムシードでの結果 の平均である。最も良い結果を太文字で示す。

使用し、バッチサイズには $\{8,16\}$ を使用する。た だし、 RoBERTa $_{\text {large }}$ のみ学習が不安定だったため、学習率に $\left.\{1 \times 10^{-6}, 2 \times 10^{-6}, 5 \times 10^{-6}\right.\}$ も用いた。工 ポック数は最大 4 とする。検証用セットで最適なハ イパーパラメータを探索し、テスト用セットで評価 する。テスト用セットでのスコアは $0 \sim 4$ の 5 つの ランダムシードでのスコアの平均を報告する。

実験結果 実験結果を表 3 に示す。最もスコアが 高いのは RoBERTa arge で、正解率は 0.8558 となった。

## 5 考察

## 5.1 他のデータセットとの比較

く、正解率は 0.8558 であった。一方で、同様の方法 で構築された Hendrycs ら [8] の常識道徳データセッ トでの英語の RoBERTalarge の正解率は 0.904 である。 モデルが異なるので単純に比較することはできない が、これは本データセットが少なくとも同等かより 難しいタスクになっていることを示唆する。また、 JCommonsenseQA [13] での RoBERTa large の正解率は テスト用セットで 0.907 であるため ${ }^{12)}$ 、本研究で構築した JCommonsenseMorality はより困難な常識理解を必要とするタスクであると考えられる。

## 5.2 データセットの分析

本研究で構築した JCommonsenseMorality の内容 について、ここでは日本語道徳基盤辞書 $[23]^{13)}$ を用 いた分析を行う。日本語道徳基盤辞書とは、心理学理論である道徳基盤理論を元にして構築された辞書 である。道徳基盤理論とは、心理学者の Haidt らに

11) https://www. fabiocrameri.ch/colourmaps/

12) https://github.com/yahoojapan/JGLUE

13) https://github.com/soramame0518/j-mfd

(a) 道徳的に間違っている文での集計

(b) 道徳的に許容できる文での集計

図 1 道徳基盤理論に基づいた辞書を用いた分析結果。各図の横軸はそのカテゴリに属する用語がデータセット中に出現した頻度を表す。グラフに用いた色には色覚多様性に配慮した Scientific colour maps を用いた [22] ${ }^{11)}$ 。

表 4 日本語道徳基盤辞書の具体例

よって提案された理論であり、私達の道徳観および その基盤を 5 つのカテゴリ（危害、公正、内集団、権威、純潔）に分類、説明するものである [24]。本研究で用いる日本語道徳基盤辞書 [23] は、英語です でに構築されている道徳基盤辞書 [24]を半自動的に 翻訳、修正したものである。計 714 単語が収録され ており、それぞれに対して、5つのカテゴリの善悪 と「道徳一般」を表すカテゴリの計 11 カテゴリの いずれかが割り当てられている。例を表 4 に示す。

日本語道徳基盤辞書を用いて、本研究で構築し た JCommonsenseMorality を分析した結果を図 1 に示 す。図の横軸はそのカテゴリに属する用語がデータ セット中に出現した頻度を表す。道徳的に間違って いる文での集計（図 1a）と道徳的に許容できる文 での集計（図 1b）を比較すると、道徳的に間違って いる文の方では「悪」カテゴリに属する用語の頻度 が増え、許容できる文の方では「善」カテゴリに属 する頻度が増えていることがわかった。このことは 本研究で構築したデータセットの内容の傾向が、道徳的に間違っている文と許容できる文で適切に別 れていることを示唆する。一方で、特に「内集団」 と「権威」のカテゴリについては、道徳的に間違っ ている文であっても「善」に属する用語の頻度が高
かった。理由は 2 つあると考えられる。第一に、日本語道徳基盤辞書の語彙数がカテゴリ間で偏ってい る。「内集団」で「善」の用語は 98 個、「悪」の用語 は 43 個であり、また「権威」で「善」の用語は 129 個、「悪」の用語は 53 個となっている。そのため頻度の偏りが生じたと考えられる。しかし、そのカテ ゴリの語彙数で頻度を割った比率であっても、道徳的に間違っている文において「内集団」の「善」と 「悪」の比率の差は大きいままであるため、これだ けでは十分に説明されない。そこで第二に、「善」の 用語で高頻度の単語は道徳的に間違っている文脈で も使用しやすいことが考えられる。データセットの 道徳的に間違っている文において、「内集団-善」の 用語で特に使用頻度が高かったのは「家族」（61 回） と「同僚」（60 回）であった。こうした用語は道徳的に間違っている文脈でも容易に使用できるため高頻度となったと考えられる。

## 6 おわりに

本研究では $\mathrm{AI}$ に常識道徳を組み込み、また評価 するためのデータセット JCommonsenseMorality を 構築した。JCommonsenseMorality は行為を表す文に 対して道徳的に間違っているか許容できるかのいず れかのラベルが割り当てられているデータセットで ある。このデータセットを用いて実験を行ったとこ ろ、 RoBERTalarge での正解率は約 0.86 となり、他の タスクと比較して困難なタスクであることが示唆 された。また道徳基盤理論に基づいた分析から、本 データセットが適切な内容になっていることが示唆 された。今後は、JCommonsenseMorality と英語圏で の常識道徳データセットの比較や、より複雑な道徳理解を必要とするデータセットの構築を行う。

## 謝辞

本研究は JSPS 科研費 $22 \mathrm{~J} 21160$ の助成を受けたも のである。

## 参考文献

[1] Tolga Bolukbasi, Kai-Wei Chang, James Zou, Venkatesh Saligrama, and Adam Kalai. Man is to computer programmer as woman is to homemaker? debiasing word embeddings. In Proceedings of the 30th International Conference on Neural Information Processing Systems, NIPS' 16, p. 4356-4364. Curran Associates Inc., 2016.

[2] Karolina Stanczak and Isabelle Augenstein. A survey on gender bias in natural language processing. arXiv preprint arXiv:2112.14168, 2021.

[3] Su Lin Blodgett, Solon Barocas, Hal Daumé III, and Hanna Wallach. Language (technology) is power: A critical survey of "bias" in NLP. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 5454-5476. Association for Computational Linguistics, 2020.

[4] Emily M. Bender, Timnit Gebru, Angelina McMillanMajor, and Shmargaret Shmitchell. On the dangers of stochastic parrots: Can language models be too big? In Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency, FAccT '21, p. 610-623. Association for Computing Machinery, 2021.

[5] 前田春香. アルゴリズムの判断はいつ差別になるの か: Compas 事例を参照して. 応用倫理, Vol. 12, pp. 3-21, 2021.

[6] ウェンデルウォラック, コリンアレン. ロボットに倫理を教える：モラル・マシーン［岡本慎平, 久木田水生訳］. 名古屋大学出版会, 2019.

[7] Liwei Jiang, Jena D. Hwang, Chandra Bhagavatula, Ronan Le Bras, Jenny Liang, Jesse Dodge, Keisuke Sakaguchi, Maxwell Forbes, Jon Borchardt, Saadia Gabriel, Yulia Tsvetkov, Oren Etzioni, Maarten Sap, Regina Rini, and Yejin Choi. Can machines learn morality? the delphi experiment. arXiv preprint arXiv:2110.07574, 2021.

[8] Dan Hendrycks, Collin Burns, Steven Basart, Andrew Critch, Jerry Li, Dawn Song, and Jacob Steinhardt. Aligning AI with shared human values. In International Conference on Learning Representations, 2021.

[9] Marten Sap, Saadia Gabriel, Lianhui Qin, Dan Jurafsky, Noah A. Smith, and Yejin Choi. Social bias frames: Reasoning about social and power implications of language. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 5477-5490. Association for Computational Linguistics, 2020.

[10] Maxwell Forbes, Jena D. Hwang, Vered Shwartz, Maarten Sap, and Yejin Choi. Social chemistry 101: Learning to reason about social and moral norms. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 653-670. Association for Computational Linguistics, 2020.

[11] Denis Emelin, Ronan Le Bras, Jena D. Hwang, Maxwell
Forbes, and Yejin Choi. Moral stories: Situated reasoning about norms, intents, actions, and their consequences. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 698718. Association for Computational Linguistics, 2021.

[12] Nicholas Lourie, Ronan Le Bras, and Yejin Choi. Scruples: A corpus of community ethical judgments on 32,000 reallife anecdotes. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 35, No. 15, pp. 1347013479, 2021.

[13] 栗原健太郎, 河原大輔, 柴田知秀. JGLUE: 日本語言語理解ベンチマーク. 言語処理学会第 28 回年次大会, 2022.

[14] Edmond Awad, Sohan Dsouza, Azim Shariff, Iyad Rahwan, and Jean-François Bonnefon. Universals and variations in moral decisions made in 42 countries by 70,000 participants. Proceedings of the National Academy of Sciences, Vol. 117, No. 5, pp. 2332-2337, 2020.

[15] Russ Shafer-Landau. Moral Realism: A Defence. Oxford University Press, 2003.

[16] 太田紘史. 我々は客観主義者なのか？一メタ倫理学 への実験哲学的アプローチ. 蝶名林 (編), メ夕倫理学の最前線. 勁草書房, 2019.

[17] 児玉聡. 倫理学の基礎. 赤林郎・児玉聡（編）, 入門・倫理学. 勁草書房, 2018.

[18] ジョンロールズ. 正義論 改訂版 [川本隆史, 福間聡,神島裕子訳］. 紀伊国屋書店, 2010.

[19] Peter Singer. Ethics and intuitions. The Journal of Ethics, Vol. 9, No. 3, pp. 331-352, 2005.

[20] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186. Association for Computational Linguistics, 2019.

[21] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. RoBERTa: A robustly optimized bert pretraining approach. Computing Research Repository, Vol. arXiv:1907.11692, 2019.

[22] Fabio Crameri. Scientific colour maps, 2021.

[23] Akiko Matsuo, Kazutoshi Sasahara, Yasuhiro Taguchi, and Minoru Karasawa. Development and validation of the Japanese Moral Foundations Dictionary. PLOS ONE, Vol. 14, No. 3, pp. 1-10, 032019.

[24] Jesse Graham, Jonathan Haidt, and Brian A Nosek. Liberals and conservatives rely on different sets of moral foundations. Journal of personality and social psychology, Vol. 96, No. 5, p. 1029, 2009.

## A 付録

## A. 1 ペア文作成のガイドライン

図 2 ペア文の作成に用いたガイドライン、及び作成の際の参考例。画像中の「備考」欄について、URL先では、別の研究プロジェクトで開発中のストーリーコーパスからランダムに文が出力されるようになっている。

目的：AIに「人間は 2 つのシナリオの内、どちらのシナリオが道徳的に間違っているか」を理解させるためのデータ を集めること。

やってもらうこと：一方の行為は明らかに道徳的に間違っているが、他方の行為は道徳的に許容できることをしてい るような、2つの類似したシナリオの作成。

お願い：AI に常識的な道徳を理解させたいので、できる限り多様なシナリオを作成してください。

注意点：

・シナリオの主節に主語は入れないようにしてください

・1つ目のシナリオでは道徳的に明らかに間違ったことを書いてください。2つ目のシナリオでは道徳的に明らかに許容できることを書いてください。

一あなたの家族があなたの書いたシナリオを読んで、道徳的に許されること、間違っていることに同意するかど うか想像してみてください。

・2つのシナリオは、全く別の文ではなく、同じ行為が行われているか、あるいは同じ状況設定であるようにしてくだ さい。

・「毒を盛る」「殴る」「投げる」「殺す」「撃つ」「麻薬」「爆弾」「騙す」「盗む」「嘘」などの明らかに間違ってることが わかる用語は避けてください。

・シナリオ全体を読まないとわからないような表現に挑戦してみてください。

・中絶や死刑、安楽死など、政治的、道徳的に意見が分かれそうなものは避けてください。

## A. 2 再アノテーション時のテストデータ

1. どうしてもほしいものがあったので、がんばってお金をためて買う（想定解：道徳的に許容できる）

2. 銭湯で隣の見知らぬ人にシャワーをいきなりかけた（想定解：道徳的に間違っている）

3. 明け方に雨が降っていたので、犯罪の証拠を隠滅しに行った（想定解：道徳的に間違っている）

4. 友人と一緒に遊園地に行った（想定解：道徳的に許容できる）
 竹下昌志 1 ジェプカ・ラファウ ${ }^{2}$ 荒木健治 ${ }^{2}$ 1 北海道大学大学院情報科学院 2 北海道大学大学院情報科学研究院 ${ }^{1}$ takeshita.masashi.68@gmail.com ${ }^{2}\{$ rzpeka, araki\}@ist. hokudai .ac.jp  