# 文脈による危険度変化の予測のためのデータセット構築

勝又友輝 ${ }^{1}$ 竹下昌志 ${ }^{1}$ ジェプカ・ラファウ ${ }^{2}$ 荒木健治 ${ }^{2}$
1 北海道大学大学院情報科学院
2 北海道大学大学院情報科学研究院
katsumata.yuki.v3@elms.hokudai.ac.jp
\{takeshita.masashi,rzepka,araki\}@ist.hokudai.ac.jp

## 概要

人工知能にも我々人間と同じょうな道徳的判断が できるシステムが必要である．しかし，現状の人工知能は，状況や文脈に応じた道徳的判断は困難であ る. 例えば，「リング場でボクサーが人の顔を殴る」 より「居酒屋でボクサーが人の顔を殴る」方が危険 な行動であることを，人間は常識を持っているため 簡単に判断できるが，人工知能には難しい. 本研究 ではこの問題を解決するため，文脈によって変化す る人間の行動の危険度予測のためのデータセットを 構築する. 人手で動詞を元に人間の行動の文を作成 し，7 段階の危険度のアノテーションを行う．また，構築したデータセットを用いて，危険度予測の実験 も行う。

## 1 はじめに

近年，人工知能の発展により，Siri や Pepper など のコミュニケーションエイジェントが登場し，我々 の生活には人工知能が欠かせない存在となってきて いる. さらに，人工知能は履歴書の審査や融資の承認まで，様々な領域でますます権限を委ねられつつ ある。このような時代の変化に伴い，人工知能を有効に扱うためには，人間と同じょうに道徳的判断の できるシステムが必要である.

しかし，人工知能が道徳的判断をするにはまだ課題が多い. 物事に対する道徳的判断は状況や文脈に よって変動してしまう，人間は常識的な知識を持っ ているためこのような変化を捉えることができる が，人工知能はそのような常識を持っていない。そ のため，状況や文脈などが変わった時に，人間と同 じような判断をすることが難しい. 人工知能への道徳的判断システムの導入には，文脈に依存した判断 ができるようにすることが必要とされる．また，道徳的に正しいか否かという評価軸は不一致が起こり表 1 データセットの例, 危険度スコアは安全（1）から 危険（7）までの 7 段階とする

やすいという問題もある。人間でさえ意見が割れて しまうケースもあるため，人工知能が正しい判断を するのは困難である.

本研究では，これらの背景から，常識的な知識に よる部分が大きく評価が一意に決まりやすい，人間 の行動の危険度予測というタスクを提案する。この タスクでは，文脈が変化しても人工知能が人間と同等の危険度予測を行えることを目標とする。しか し，現状では，人間の行動の危険度を予測するため の日本語のデータセットは存在しない。そこで本研究では，本タスクのためのデータセットを構築し た.このデータセットは，表 1 のように人間の行動 の文とその行動の評価が 7 段階の危険度で構成され ている. 文脈が変化しても正しい判断を行えること を目指すため，動詞と主語は固定させ，動詞の目的語や文脈を追加する形で文を作成し，対象や状況が 変化しても人間と同等の危険度予測ができるかを確認できるようにする。また，構築したデータセット を用いて，人間の行動の危険度予測の実験も行う。

なお，本研究での危険の定義は，「文が表す状況 に登場する人物に，肉体的もしくは精神的に苦痛や 傷害を与える可能性があること」とする.

## 2 関連研究

近年，人工知能に常識的な知識を持たせる研究や 道徳的判断をさせる研究がさかんに行われている。

Maarten らは，常識的な推論に不可欠な推論知識 をまとめた ATOMIC というデータセットを構築し た [1]. ATOMIC は，「もしあるイベントが起こった ら何が起こるか」という推論関係の知識で構成さ
れている。例えば，“if $\mathrm{X}$ pays $\mathrm{Y}$ a compliment, then $\mathrm{Y}$ will likely return the compliment" といった知識であり, このような推論関係を 87 万件まとめており，この 種の知識グラフとしては最大のものである.

Rzepka らは，文脈を考慮した道徳的判断の研究を 行った [2]. この研究では, 日本語のコーパスで学習させた BERT モデル [3] を用いて「殴る」が文末 に来るような文を生成した. そして，その文の表す 行為が道徳的に許せるかどうかを人手で評価し，そ れを BERT が予測するという実験を行った。

しかし, Rzepka らの研究で生成されたデータセッ トには 3 つ問題がある. 第一に，日本語 BERT モデ ルを用いて「殴る」という一つの動詞から生成され た文は 50 文であり，データの量が不十分である.第二に, 日本語 BERT モデルを用いて生成する方法 では不自然な文が生成されることがある. 第三に，道徳的に正しいという評価軸は評価者の中で不一致 が起こりやすいという問題である.

本研究では，これらの問題の改善を目指し，道徳的判断という評価軸を改め，人間の行動の危険度予測というドメイン特化のタスクを提案する。また，現実的にあり得る人間の行動の文を得るため，クラ ウドソーシングを主に用いて，人間の行動の文を約 2 万文作成，危険度のアノテーションを行う．

## 3 データセット構築

本研究では，次の手順で，動詞を元に人間の行動 の文を作成，および 7 段階の危険度のアノテーショ ンを行う。

1. 関連研究から，危険な行動になり得る動詞のリ ストを作成する。(3.1節)

2. 高頻度な述語項構造から，それぞれの動詞の主語を決定する。(3.2 節)

3. 主語と述語の組み合わせを基に対象語を人手に て穴埋めしてもらい，危険である例，危険でな い例の文を作成する。（3.3 節）

4. 作成した文に，さらに文脈を付け加え，文の数 を増加させる．（3.4 節）

5. 作成した文が表す人間の行動を，人手にて 7 段階で危険である可能性が高いか評価する。 (3.5 節)

以降では，各手順の設定や方法について説明 する。

## 3.1 動詞の決定

まず，危険な行動，危険でない行動，どちらにも なり得ると考えられる動詞のリストを作成する. 動詞のリストの作成に当たって，2つのデータを基に する.

1 つ目は，Alshehri らによる研究 [4] で定めた，物理的な危害を示すために使われるアラビア語の動詞 のリストである. Alshehri らは，ソーシャルメディ アにおける危険な発言の理解と検出のために，発言が危険か否かのラベルがついたデータセットの 構築に取り組んだ。本研究では, Alshehri らがデー タセット構築のために作成した 56 個の動詞（例： “kill”，“hit”) のリストを翻訳して活用する.

また，2つ目は，日本語 Wikipediaエンティティベ クトル $[5]^{1)}$ の頻出動詞である. 日本語 Wikipedia エ ンティティベクトルとは，日本語版 Wikipedia の本文全文から学習した，単語，および Wikipedia で記事となっているエンティティの分散表現ベクトルで ある．また，頻出動詞の抽出には，日本語形態素解析システムである JUMAN[6] を使用する。

以上の 2 つのデータより，危険な行動，危険でな い行動，どちらにもなり得ると著者が判断した動詞 のみを抜粋し， 25 個の動詞のリストを作成する. 25 個のうち, Alshehri らの動詞のリストから 12 個，日本語 Wikipedia エンティティベクトルの頻出動詞か ら 13 個である. 作成した動詞のリストを表 2，3 に 表す.

表 3 日本語 Wikipedia エンティティベクトルの頻出動詞 のリストから抽出した動詞

## 3.2 主語の決定

次に，動詞のリストを基に，それぞれの動詞の主語を決定する．主語の決定には，京都大学格フレー ムを用いた [7]. 格フレームとは，用言とそれに関係する名詞を用言の各用法ごとに整理したものであ り，京都大学格フレームは，Webテキストから自動構築した大規模格フレームである。これには，先ほ


ど定めた 25 個の動詞のそれぞれの頻出主語が記さ れている。これを基に, 日本語 Wikipedia エンティ ティベクトルの人物を表す頻出名詞上位 50 件の中 から，それぞれの動詞の頻出主語上位 5 件を選択す る.ここで抽出対象を上位 50 件に絞った理由は主語の一般性を高めるためである。例えば，「カメラ マンが—をを切る」の対象語には「シャッター」や 「電源」などの危険でない単語が入りやすく, 危険 な自然文と危険でない自然文の両方を獲得するこ とは難しい，そこで，抽出対象を上位 50 件（例：「父」，「子供」）にすることで，このような問題の解決を試みる。

また、日本語 Wikipedia エンティティベクトルの 名詞から抽出する名詞が人物か否かを判別するため に，JUMANを用いる。

以上より，それぞれの動詞に対して 5 件の主語 を抽出した。例を挙げると，「殴る」という動詞は，「男」，「父」，「人」，「先生」，「女」という主語，「食べ る」という動詞は，「人」，「子供」「客」，「娘」，「自分」という主語となった。

## 3.3 対象語の穴埋め

主語と述語を基に，クラウドソーシングサービ ス2)を通じて， 18 人のアノテーター（詳細は付録 $\mathbf{A}$ に示す）に現実的にありうる人間の行動の文の作成 を依頼する．1 人あたり危険そうな例，危険ではな さそうな例をそれぞれ 125 文（動詞 25 個にそれぞ れの頻出主語 5 個），合計 250 文の作成を依頼する。例えば，「子供が—を吒く」という文を与え，危険 そうな例として「子供が友達の頬を吅く, 危険で はなさそうな例として「子供がタンバリンを印く」 といったような文を作成してもらう。

文作成依頼の際のルールは付録 B に載せる。結果，重複した例，ルールに合致しない例を除き， 3,165 文の人間の行動の文が作成された.

## 3.4 文の拡張

作成した 3,165 文を元に，対象語の穴埋めと同様 にクラウドソーシングサイトを通じて，文脈を増や し，現実的にありうる人間の行動の文の作成を依頼 する. 66 人のアノテーター（詳細は付録 $\mathbf{C}$ に示す） に 1 人あたり危険そうな例，危険ではなさそうな例 をそれぞれ 150 文ずつ，合計 300 文の作成を依頼す る. 文作成依頼の際のルールは付録 D に載せる。ア

2) https://crowdworks.jp/
ノテーションの結果，元の 3,165 文から 18,427 文が 作成され、元の文と合わせて合計 21,592 文となった.

## 3.5 危険度のアノテーション

最後に，作成した文が表す人間の行動に対して，危険度のアノテーションを行う，文作成の際とは異 なるアノテーターにより，7 段階で危険である可能性が高いか，安全である可能性が高いかのタグ付け を行う。作成した 21,592 文を 1 文につき 3 人ずつ,計 81 人のアノテーター（詳細は付録 $\mathbf{E}$ に示す）に，危険度のタグ付けを依頼する。また，アノテーショ ンのスコアは，図 1 ように安全（1）から危険（7） までの 7 段階とする.

図 1 危険度アノテーションの評価スコア

アノテーションを行った結果，付けられた危険度 スコアの分布は表 4 のようになった.

表 4 評価の分布. 評価の総数と文の総数（21,592 文）は 一致しないが，これは 1 文につき 3 人ずつ評価を行った ためである.

表 4 より，スコアが 3 または 4 である文が少ない という結果になった。これは，文作成の際に，危険 そうな例，危険ではなさそうな例という形で，文を 作成したため，どちらとも言えないような中間の値 が少なくなったと考えられる.

また，文ごとに評価の標準偏差を求め，評価者に よるばらつきがどれくらいかを確認する．文ごとに 標準偏差を左から降順に整列させたグラフを図 2 に 示す. 標準偏差の平均は 0.777 となった. 1 未満と いう結果となり，全体的に評価のばらつきは大きく なく評価者の中で不一致があまり起きていないこ とが確認できた. しかし，図 2 より，評価のばらつ きが大きいものも存在したため，標準偏差が 2 以上 のデータは信用できないデータとして除外した. 結果，標準偏差の平均は 0.692 となり，より信頼でき るデータとして予測実験に使用する人間の行動の 文とその行動の危険度の組み合わせは 20,453 件と なった.

図 2 文ごとに標準偏差を計算し，左から降順に整列させ たグラフ.

## 4 危険度予測の実験

機械学習による危険度予測実験の精度を検証す るため, LSTM, Bidirectional LSTM（以下，BiLSTM とする）, BERT の3つのモデルによる回帰分析 を行う. LSTM と BiLSTM のエンベディングには， One-hot 表現と日本語 Wikipedia エンティティベクト ルを使用する．BERT のモデルとしては，約 1,800 万文を含む日本語 Wikipedia コーパスで事前学習さ れた BERT-base モデル3)を用いる.

危険度スコアの正解値は 3 人の評価者の中央値,平均値，2つの場合で実験する. それぞれ構築し たデータセットを評価値ごとに層化抽出法を用い て8:1:1 に分割し, 学習データ, 開発データ, テス トデータとした.データセットの詳細は付録 F に 示す.

また，回帰分析の評価には，一般に広く用いられ ている 2 つの精度評価指標 4 ), 平均絶対誤差（Mean Absolute Error, 以下，MAE とする）と二乗平均平方根誤差 (Root Mean Squared Error, 以下，RMSE とす る）を用いる。

MAE とは，正解値と予測値との誤差の絶対値を 平均したものである. これは，データの数を $n$ ，正解値を $y$, 予測値を $f$ としたとき，式(1)のように 表せる.

$
M A E=\frac{1}{n} \sum_{i=1}^{n}\left|f_{i}-y_{i}\right|
$

次に，RMSE とは，正解値と予測値との誤差の二乗を平均して平方根をとったものである.これは， MAE より正解値と予測値との誤差が大きい例の影


響を受けやすいという特徴がある．式 (2) のように 表せる.

$
R M S E=\sqrt{\frac{1}{n} \sum_{i=1}^{n}\left(f_{i}-y_{i}\right)^{2}}
$

## 5 実験結果

表 5, 6, 7 に実験結果，例を示す.

表 5 危険度の正解値を評価の中央値にした場合の実験結果，最も高い精度を太字で示す.

表 6 危険度の正解値を評価の平均値にした場合の実験結果，最も高い精度を太字で示す.

表 7 危険度の正解値を評価の中央値にした場合の BERT の実験結果の例

表 5，6 より，全体では BERT が最も良い精度と なった. 表 7 の例では，文脈の違いによる危険度変化の正確な予測がされた。

## 6 おわりに

本研究では，文脈によって変化する人間の行動の 危険度予測のためのデータセットを構築した. 人間の行動の文とその行動の危険度の組み合わせが 20,453 件となった.また，機械学習を用いた回帰分析による予測を行った. 実験の結果，BERTを用い た予測が最も精度が高いことが明らかとなった。

今後は，予測の精度を上げるため，他のモデルと の比較検討を行う必要がある.

また，データセットについても，さらなる検討を すべきである．文が表す人間の行動から，連想され る状況や行動を踏まえた予測の検討も重要であると 考える。 ある行動を基に次に起きる事象を予測する ことは，文脈の考慮にも繋がり，予測の精度を上げ ることに貢献できると考えられる。 そのため，因果関係の知識やシナリオを追加して，データセットを 拡張することを今後検討していきたい。

## 謝辞

本研究は JSPS 科研費 17K00295 の助成を受けたも

のです.

## 参考文献

[1] Maarten Sap, Ronan Le Bras, Emily Allaway, Chandra Bhagavatula, Nicholas Lourie, Hannah Rashkin, Brendan Roof, Noah A. Smith, and Yejin Choi. Atomic: An atlas of machine commonsense for if-then reasoning. AAAI, 2019.

[2] Rafal Rzepka, Sho Takishita, and Kenji Araki. Bacteria lingualis on bertoids - concept expansion for cognitive architectures. Technical Report of JSAI Special Interest Group for Artificial General Intelligence, 2020.

[3] Devlin, Jacob, Chang, Ming-Wei, Lee, Kenton, Toutanova, and Kristina. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, 2019.

[4] Ali Alshehri, El Moatez Billah Nagoudi, and Muhammad Abdul-Mageed. Understanding and detecting dangerous speech in social media. Proceedings of the 4th Workshop on Open-Source Arabic Corpora and Processing Tools, 2020.

[5] 鈴木正敏, 松田耕史, 関根聡, 岡崎直観, 乾健太郎. Wikipedia 記事に対する拡張固有表現ラベルの多重付与. 言語処理学会第 22 回年次大会 (NLP2016), 2016.

[6] Hajime Morita, Daisuke Kawahara, and Sadao Kurohashi. Morphological analysis for unsegmented languages using recurrent neural network language model. Proceedings of EMNLP 2015: Conference on Empirical Methods in Natural Language Processing, 2015.

[7] 河原大輔, 黒橋禎夫. 黒橋禎夫：高性能計算環境を用 いた web からの大規模格フレーム構築. 情報処理学会 自然言語処理研究会, 2006 .

## A 3.3 節の対象語の穴埋めのアノ テーター情報 \\ 20 代から 60 代の男性 7 名，女性 11 名

## B 3.3 節の対象語の穴埋めのルール

・埋める部分は，物や人を問わず，実体のある もの（非抽象的対象）とし，また代名詞（例：「私」，「彼」，「彼女」）は使ってはいけない.

・修飾語十名詞の形」でも良い（例：「母親の 肩」，「腐ったみかん」，「污い水」)
- 「名詞句十に十名詞句」，「名詞句十から十名詞句」の形はできるだけ避け, 目的語が一つにな るようにする。

・主語と同じ意味のものを使ってはいけない. （例：「女性が【女】を殴る」）

## C 3.4 節の文拡張のアノテーター

## 情報

20 代から 60 代の男性 21 名，女性 45 名

## D 3.4 節の対象語の穴埋めのルール

・元の文と全く同じ文は書いてはいけない.
- 元の文の単語は変えずに，文脈を増やして文を 作成する.

・文の終わりに文脈を増やしてはいけない

・危険そうな例，危険ではなさそうな例のどちら かが，どうしても思いつかない場合は空欄に する.

## E 3.5 節の危険度評価のアノテー ター情報 \\ 20 代から 60 代の男性 38 名，女性 43 名

## F 実験に用いたデータセットの詳細

表 8 評価の中央值の分布

表 9 評価の平均値の分布

 勝又友輝 ${ }^{1}$ 竹下昌志 ${ }^{1}$ ジェプカ・ラファウ ${ }^{2}$ 荒木健治 ${ }^{2}$ 1 北海道大学大学院情報科学院 2 北海道大学大学院情報科学研究院 katsumata.yuki.v3@elms.hokudai.ac.jp \{takeshita.masashi,rzepka,araki\}@ist.hokudai.ac.jp  