# ComeJisyoUtf8-3 の誤解析調査
## 一看護師・助産師・管理栄養士国家試験問題文の語分割一

\author{
相良かおる \\ 西南女学院大学 保健福祉学部 \\ sagara@seinan-jo.ac.jp
}

## 概要

実践医療用語辞書 ComeJisyoUtf8-3 の語分割の精度を, 看護師・助産師・管理栄養士国家試験問題文 を解析し調べた。

その結果, 全見出し語が 48,191 語, その内, 未知語成分が 1,108 語 $(2.3 \%)$ ）これらから成る未知語 が 382 語 (異なり 320 語), そして誤解析 (過分割) された登録語の見出し語が 421 語 $(0.9 \%)$ ），当該登録語が 155 語（異なり 47 語）であった.これらに は, 数字や記号を含む登録語の過分割が多くあった.

## 1 はじめに

筆者は，電子化された医療記録データの自然言語処理を支援するために実践医療用語を見出し語とし た分かち書き用辞書 ComeJisyoV1 を 2008 年 11 月に 公開した. その後, 随時更新し, 2021 年 3 月公開の ComeJisyoUtf8-3 の登録語数は約 12 万語となった. なお，門外不出の医療記録に含まれる実践医療用語の語構成や語種構成の実態は不明であるため, 語 の単位認定の規則を定めず，医療従事者が一つのま とまった語としたものを登録している.

ComeJisyoUtf8-3 の登録語は, 看護経過記録, プロ グレスノート, 医師経過記録, 看護師・助産師・管理栄養士の国家試験問題文（1998 年度～2019 年度） から抽出しているが, 利用状況を調べると, 退院サ マリ, インシデントレポート等, 多様な医療文書の 解析に利用されている[1][2]. そして, ComeJisyo の ダウンロード数は 2015 年以降増加している (図1).

Google Scholar で検索語を “ComeJisyo” として検索するとi, 通年での検索件数は 41 件, 期間を 2015 年〜2021 年に絞ると 34 件, “ComeJisyo” と “machine learning”の AND 検索では共に 11 件, “ComeJisyo” と“機械学習” の AND 検索では, 10 件と 8 件とな
り,機械学習に関する研究での利用が増加している.

図 1 ComeJisyo ダウンロード数の推移

なお，筆者が ComeJisyo を公開する目的は，医療施設内，または診療科内で蓄積されたスモールデー 夕の自然言語処理の支援である。

一般に単語分割の評価基準には, 精度, 再現率, F 值が用いられる[3].

$
\begin{aligned}
& \text { 精度 }=\frac{\text { 正しく抽出された単語数 }}{\text { システが出力した単語数 }} \\
& \text { 再現率 }=\frac{\text { 正しく抽出された単語数 }}{\text { 正解の単語数 }} \\
& \mathrm{F} \text { 値 }=\frac{2 \times \text { 精度 } \times \text { 再現率 }}{\text { 精度 }+ \text { 再現率 }}
\end{aligned}
$

しかし, ComeJisyo の登録語には, 「びまん性管内増殖性糸球体腎炎ネフローゼ症候群」のような長 い語と, その部分文字列である「ネフローゼ症候群」が登録されている.

そして, 利用者が必要とする語の単位も, 解析す る医療文書の種類も分からない，従って，利用者に とって有益な精度や再現率を提示することは困難で ある。また，実用目的で医療文書を解析する際に
^{i}$ 検索日：2021 年 12 月 27 日
}

は, 精度や再現率の値に関わらず人手により解析結果の確認・修正が行われると推測される.

そこで本発表では，ComeJisyo の具体的な解析誤 りを示すことが有益だと考え, 看護師・助産師・管理栄養士の 3 種類の国家試験問題の解析結果におけ る未知語と誤解析について述べる.

## 2 用語の定義

本発表で用いる用語を以下に定義する.

登録語 : ComeJisyo または IPA 辞書に登録の語

見出し語: $\mathrm{MeCab}$ の実行で出力された 1 語

未全文字列 :

以下を総称して「未全文字列」という。

(1) 造語成分：「一煮」,「蒸し一」等

(2) 接頭語 $($ 詞) : 「要一」，「同一」等

(3) 接尾語 : 「一時」, 「一語」等

(4) 異義語と解釈された語 :

$
\text { 「よ/だれ」ii } \rightarrow \text { 「だれ（誰）」等 }
$

(5) 古い表現：「安気」等

(6) 不明な文字列：「よ」等

## 過分割 :

以下の 3 種類の分割をいう.

(1) 意味のある語（ComeJisyo または IPA 辞書 の登録語を含む）に分割される

（2）「未全文字列」を含む語に分割される

(3) 数字部分が分割される

(4) 英字文字列の途中で分割される "overflow" $\rightarrow$ "over/flow"

## 誤解析 :

本発表では以下を誤解析という。

(1) 登録語が過分割される

（2） 登録語の異表記（半角/全角，大文字/小文字，か/ヶ等）による未知語成分の出力

（3）句点，読点，記号等の品詞の間違い

## 3 言語資源の概要

本発表では, 2020 年度に実施された第 110 回看護師国家試験 iii, 第 104 回助産師国家試験 ii，第 35

回管理栄養士国家試験ivの問題文（PDF 形式）を UTF-8 形式でデジタル化し，解析データとする.

表 1 に，解析データの文字数, 行数を示す.

表 1 解析データの文字数と行数

図 2 文字種の概要

図 2 は文字種の割合をまとめたものである.

## 4 調査方法

## 4.1 環境

本調查の環境を示す。

形態素解析器: mecab-0.995.exe (MeCab)

システム辞書 : IPA 辞書 iv

ユーザ辞 書: ComeJisyoUtf8-3.dic ${ }^{\text {vi }}$ (ComeJisyo)

ユーザ辞書 2 : NEologd.20200910-u.dic viii (NEologd)

## 4.2 方法

調査の手順を以下に示す.

手順 1. ComeJisyo を用いて解析データを解析手順 2.未知語を構成する見出し語（未知語成

$
\text { 分）を調べる }
$

手順 3. 誤解析された登録語の見出し語（登録語誤解析）を調べる

手順 4. 未知語数と誤解析の登録語数を調べる

## 5 結果

表 2 は，解析結果の概要である。

「未知語成分」には, ComeJisyo または IPA 辞書

の登録語が含まれる（表 3）. 例えば，未知語「脳血管障害後遺症」の部分文字列「脳血管障害」は ComeJisyo の登録語である。この場合の未知語成分 は，「胼血管障害」と「後遺症」の２語となる.

「登録語誤解析」においても，誤解析となった登録語の見出し語が登録語である場合もある（表 4）.

例えば「訪問看護ステーション」の見出し語は「訪問看護」と「ステーション」の 2 語であり，これら は ComeJisyo の登録語である。なお，登録語「二人暮らし」の異表記「2 人暮らし」の見出し語は，

「2」「人」「暮らし」の 3 語であったが，今回， これらは「未知語成分」ではなく「登録語誤解析」 に含めている.

表 2 解析結果（延べ数）の概要

表 3 未知語成分の種別（延べ数）

表 4 登録語誤解析の種別（延べ数）

表 5 未知語と誤解析語の語数

表 5 は，未知語成分からなる未知語と誤解析とな った登録語の語数である.

次章では未知語と誤解析について述べる.

## 6. 未知語の種類と対処法

医療記録文には，一般的な語も含まれる。今回の 未知語 382 語の内, 医療用語以外の語は 134 語であ り，「よだれ」「いきみ」「おそれ」「ハザードマ
ップ」「過干渉」「給水車」「炊飯器」「大気污染物質」「育児介護休業法」「共食」「募魚」「つぶ し粥」等があった。医療記録文の語分割には，これ らの一般的な語を登録した辞書も必要であろう.

今回，無償で利用でき，新語・固有表現に強く、語彙数が多いとされる NEologd をユーザ辞書に追加 して上記 12 語を解析したところ，「大気污染物質」「育児介護休業法」「共食」「惹魚」「つぶし粥」以外の 7 語は，正しく解析された。

## 6.1 品詞情報による未知語の生成

## 連続する名詞の連結

未知語「療養介護」「消化器感染症」の未知語成分「療養」「介護」「消化器」「感染症」は, 全て ComeJisyo の登録語であり，品詞は「名詞，一般」に なっている.このような場合は, 連続する品詞が「名詞,一般」である見出し語を連結することで，未知語 の生成が可能である.

## 接頭語, 接尾語の連結

未知語「最優先」の未知語成分「最（接頭詞,名詞接続）」と「優先（名詞,サ変接続）」もIPA 辞書の登録語であり, この場合は，品詞が「接頭詞名詞接続」の見出し語を後続する品詞「名詞」の見出し語と連結することで未知語の生成が可能とな

る. また，未知語「手洗い場」の未知語成分「手洗 い（名詞, サ変接続）」と「場（名詞,接尾）」も同様に「名詞,接尾」の見出し語を直前の品詞が

「名詞」である見出し語に連結することで未知語の 生成が可能となる.

## 6.2 生成できない未知語

一方，未知語成分が ComeJisyo または IPA 辞書の 登録語であっても語の境界誤り等で異義語として解析された場合, 品詞のみによる未知語の生成ができ ない場合がある．例えば，未知語「よだれ」は，「よ （その他,間投）」と「だれ（名詞,代名詞,一般）」に 解析され, 付与された品詞から未知語を生成するこ とはできない，同様に「お/それ」「かた/まり」

「いき／み」も生成が困難である。また，「くん煙

（名詞,接尾,人名）」と「煙し（形容詞,自立）：ケム シ」から生成することは出来ない。同様に「蒸し器内の」に含まれる未知語「蒸し器」も，未知語成分「蒸し（動詞,自律）」と「器内（名詞,副詞可能）」

からの生成は困難である。

## 7. 誤解析の種類と対処法

## 7.1 品詞情報による対処法

過分割された見出し語全てが登録語であるものに $\lceil\mathrm{SP} / \mathrm{O} 2 」 「$ パンツ／型／おむつ」「訪問／看護業務」「血漿／蛋白質」等があった. これらの品詞は 名詞であることから, 連続するこれらの見出し語を 連結することで，元の登録語を得ることができる.

数字が含まれる登録語は「糖原病／I／型」「3／価／鉄」「2/人」「1／泊」等となった. これらも 数字の品詞が「名詞, 数」で後続する見出し語が「名詞,接尾」であれば，品詞により連結が可能である.

## 7.2 その他の対処法

登録語「二人暮らし」の異表記である「 2 ／人／暮 らし」や，「血漿タンパク質」「血漿たんぱく質」 の異表記である「血漿／蛋白質」が過分割された. これらの表記の摇れは，前処理により表記を統制す ることで回避することができる.

医療記録文には，記号が多く使われる。本解析デ ータにおいても $11 \%$ 以上を占めている（図 2）.

ComeJisyo には，「/ $\mu \mathrm{L} \downharpoonleft 「 \mathrm{mEq} / \mathrm{l}\rfloor\lceil/$ 分」「 $\gamma-$ アミノ酪酸」「 $\mathrm{n}-3$ 系脂肪酸」など記号を含む登録語 が含まれるが，これらの殆どが過分割される。

そして半角記号「/」-」の品詞は「記号」とはなら ず, 「名詞, サ変接続」となり, 品詞規則による訂正 は困難である。また，全角「／」「一」は記号とな るが，登録語「／分」は，正しく解析される場合と 「／」「分」に過分割される場合がある.

同様に句読点の品詞が「記号,句点」または「記号,読点」ではなく「名詞, サ変接続」となる場合がある.従って, 品詞情報で合成語を生成する際には, 記号 や句読点の品詞を確認するか, $\mathrm{MeCab}$ の部分解析viii を利用する等の工夫が必要である.

## 8. まとめ

本発表では， 3 種類の国家試験問題文を解析デー タとし, ComeJisyo の解析結果について述べた.

記号，数字を含む登録語を除き，過分割された見出し語の多くは登録語であり, 付与された品詞情報

viii 制約付き解析(部分解析) https://taku910.github.io/mecab/partial.html

ix ComeJisyo : https://ja.osdn.net/projects/comedic/
から合成語の生成が可能である。なお，解析結果を エディタ等で修正でき，付与された品詞情報を基に 合成語を生成するツール GoMusubi_Ver.2.0 $0^{\mathrm{ix}} 2021$年 4 月に公開している.

単位認定を定めず登録語の多くが合成語である ComeJisyo の持つ問題に「一貫性のない分割」[3][4] がある．今回は「／分」が，「／」と「分」に過分割されるケースがあった．医療記録文は，主語の省略や体言止めが多く，登録語には，合成語とその構成要素も含まれることから, 分割の一貫性は低い。

また，登録語「訪問看護業務」は「訪問／看護業務」と 2 語の登録語に過分割された。しかし意味的 な結合の強さからは「訪問看護／業務」と分割する のが妥当であり，これら 2 語も登録語であるが，意味的な結合の強さを考慮した語分割は, ComeJisyo を用いた解析では望めない.

そこで，合成語 7,192 語を意味的に語構成要素に 分割し，これらに意味ラベルを付与し『実践医療用語_語構成要素語彙試案表 Ver.1.0』xとして, 2021 年 3 月に言語資源協会より公開している.

今後, これらの合成語に意味的な結合の強さによ る語境界を記述した『実践医療用語_語構成要素語彙試案表 Ver.2.0』を公開予定である.

## 謝辞

本研究は JSPS 科研費 JP21H03777, JP18H03499, JP21300099 の助成を受けたものです.

## 参考文献

1. 安道健一郎, 奥村貴史, 小町 守, 松本裕治. 確度に基づく退院時サマリの分析．情報処理学会研究報告, Vol.2019-NL-240, No.2, pp.1-7, 2019.

2. Shinichiroh Yokota, Emiko Shinohara, Kazuhiko Ohe. Can Staff Distinguish Falls: Experimental Hypothesis Verification Using Japanese Incident Reports and Natural Language Processing. Nursing Informatics 2018, Vol.250, pp. 159 -163, 2018.

3. 工藤拓. 形態素解析の理論と実装. 近代科学社. 2018.

4. 高橋 文彦, 颯々野 学. 情報検索のための単語分割一貫性の定量的評価. 第 22 回言語処理学会年次大会, 2016.
^{x}$ GSK2020-G :

https://www.gsk.or.jp/catalog/gsk2020-g/
}


# 『現代日本語書き言葉均衡コーパス』に対する印象評定情報付与

加藤祥

目白大学

浅原 正幸
国立国語研究所
masayu-a@ninjal.ac.jp

## 概要

本研究では『現代日本語書き言葉均衡コーパス』 の短単位動詞・長単位自立語・文節を刺激として、一般の方の印象評定情報を収集した。「自然さ」「わ かりやすさ」「古さ」「新しさ」「比喻性」の 5 観点 について「0:まったく違う」から「5:そう思う」の 6 段階評価を行った。これらの印象評定情報に基づい て、既存の代表義情報を線形回帰するモデルを構築 し、コーパスにあてはめることにより典型用例を抽出することを試みた。

## 1 はじめに

本研究では、クラウドソーシングにより、印象評定情報を『現代日本語書き言葉均衡コーパス』に付与したので報告する。

『分類語彙表』に対する単語親密度データベース WLSP-Familiarity $[1,2]^{1)}$ は辞書の見出しを刺激とし て、「知っている」「書く」「読む」「話す」「聞く」の 5 観点について評定値を収集したものである。一方、単語親密度は単語に対する評定値であり、実際に使用されている文脈でどのように捉えられているかが わからないという問題があった。さらに多義語につ いては語義ごとの親密度の判定が困難であった。 そこで『現代日本語書き言葉均衡コーパス』[3] （以下 BCCWJ）の文脈を呈示し、その印象評定情報 を収集したので報告する。具体的には、国語研短単位動詞・国語研長単位自立語・文節単位に「自然さ」「わかりやすさ」「古さ」「新しさ」「比喻性」の 5 観点について 0 (全く違う) 5 (そう思う) の 6 段階評価 を収集した。本稿では、印象評定情報の収集方法を 解説するとともに、データの基礎統計などについて 示す。さらに、代表義情報をこれらの印象評定情報 に基づき回帰することで、コーパス中の典型用例を 抽出することを試みたので報告する。

## 2 関連研究

## 2.1 印象評定情報

NTT データベースシリーズ『日本語の語彙特性』2) は、人間の言語機能の解明を目指し、様々な観点で 語彙の特徴を検証した世界最大規模のデータベース である。『日本語の語彙特性』の中には、そのほか に単語親密度・単語表記の妥当性・単語アクセント の妥当性・漢字親密度・漢字複雑度・漢字の読みの 妥当性・単語心像性などの人の主観的な評定データ のほか、新聞などの語彙の出現頻度に基づく客観的 なデータも収録されている。その中で単語親密度 データベース (平成版) $[4,5]$ は語彙の親密度（なじ みの有無）を収集した先進的な語彙データベースで ある。また、最初の調査から年月を経て、人の語彙 のとらえ方が変遷しつつあるなか、単語親密度デー タベース（令和版）[6] も構築され、世界最大規模の データベースが公開された [7] ${ }^{31}$ 。さらに、単語心像性データベース [8] では、文字刺激・音声刺激に 対する「意味内容を感覚的にイメージする際の容易 さ」の収集が行われた。

国語研では、『分類語彙表』に対する単語親密度 の推定 [1,2] を継続的に進めているほか、種々の語彙表を公開している $[9,10]^{4)}$ 。これらの国語研の語彙データベースは、多義語について人がどのように 語彙をとらえているかについては明らかにできない ものであった。多義語の語義調査を目指し、2021 年 に語義情報を付与されている IPAL 辞書の用例に対 して印象評定情報付与 $[11,12]$ を試験的に行った。本研究では、同研究を BCCWJ に拡張し、日本語の 多義語の印象評定情報の付与を進める。

## 2.2 中心義・基本義・代表義・典型用例

多義語における語義の認定は、当該言語において 定着した意味として、一般的に辞書へ記載されるも のと考えられる。瀬戸 [13]、多義の記述において、中心義の設定、意義の認定、意義関係の明示、意義 の配列を議論する。多義語の語義認定には、関連語 の対応による認定 $[14,15]$ 、個別義認定の分離・統合 テスト [16] などの認定基準が検討されている。

多義語には何らか中心的な意味が存在する [17] と され、中心義・基本義・代表義などと呼ばれる。派生関係を考える場合には歴史的な変化に基づき出現年代順が重要視されるが、多義構造は再編成される ために、現在一般の方が想定する典型性のある中心的な語義が必ずしも歴史的な変化に基づくとは限ら ない。中心的な意味は一様に定められるものではな く、例えば瀬戸 [13] は (i) 文字通り、(ii) 他意義の前提、(iii) 具象性が高い、(iv) 認知しやすい、(v) 想起 しやすい、(vi) 用法上の制約を受けにくい、(vii) 意義展開の起点（接点）となることが多い、(viii) 言語習得の早い段階で獲得される、(ix) 使用頻度が高い の9 特性を挙げている。

言語資源としては、『分類語彙表』増補改訂版の 多義語に対して、専門家により代表義を付与する作業を実施したものがある [18]。BCCWJ に付与され た分類語彙表番号データ [19] からコーパス中の専門家による代表義認定用例が認定できるほか、IPAL 辞書における語義に対しても分類語彙表番号が付与 されていることから、IPAL 辞書における代表義を 認定することも可能である。しかしながら、これら の認定は専門家によるものであり、一般の読み手の 判断とは差のある可能性も考えられる。先に述べた とおり、IPAL 辞書の用例に対して印象評定情報付与 [11]を行っていることから、専門家が代表義と 認定する用例が、一般の読み手がどう捉えるのかに ついて線形回帰により求めることも可能になった [12]。本研究では、この線形回帰式を今回収集した BCCWJ に付与された印象評定情報にあてはめるこ とで、代表義用例および典型用例の抽出を試みる。

## 3 データの収集手法

本節ではデータの収集方法について示す。

収集対象は BCCWJ のうち、短単位に基づいて 語義情報が付与されている BCCWJ-WLSP (書籍, 新聞, 雑誌) [19] と読み時間情報が付与されている
BCCWJ-SPR (書籍, 教科書) [20] とする。

前者の BCCWJ-WLSP は、BCCWJ コアデータの 書籍, 新聞, 雑誌サンプルの一部（約 33 万語）の短単位自立語に対して分類語彙表に基づく語義を 付与したものである。分類語彙表に基づく語義情報と評定情報を対照することを目的として、この BCCWJ-WLSP のサンプルに対して、試験的に短単位動詞と短単位サ変名詞+「為る」を対象として、1 例あたり 20 人の評定値を 2021 年 4 月 5 日〜 5 月 3 日に収集した。さらに長単位自立語に対して、 1 例 あたり 10 人の評定値 ${ }^{5}$ を 2021 年 11 月 17 日〜 12 月 6 日に収集した。

後者の BCCWJ-SPR2 は、BCCWJ のコアデータの 書籍と国語科教科書サンプルを、文節単位の自己 ペース読文法により、読み時間データを収集したも のである。読み時間のふるまいを評定情報で説明す ることを目的として、この BCCWJ-SPR2 のサンプ ルに対して、文節を対象として、1 例あたり 10 人の 評定値を 2021 年 11 月 17 日〜 12月 6 日に収集した。

浮かれ踊りながら【踏み固め】ていた。

5. 何かを他の物事でたとえ (比倹) ていますか。

0 : まつたく違う

$\mathrm{O}_{2}$

$5:$ そう思う

[BCCW] PM12_00011 2110]

図 4 印象評定情報収集画面

評定情報収集画面を図 4 に示す。画面の上に 1 文単位で例文を表示し、判定してもらいたい表現を【
人分の評定值を追加で収集した。

表 1 評定値の収集対象

図 1 評定値の分布（BCCWJ-WLSP : 短単位動詞 : ビン幅 0.05 )

図 2 評定値の分布（BCCWJ-WLSP：長単位自立語：ビン幅 0.10 )

図 3 評定値の分布（BCCWJ-SPR2：文節：ビン幅 $0.10 ）$

で示した。評定値は、「自然さ」「わかりやすさ」「古 さ」「新しさ」「比喻性」の 5 観点について、「0: まっ たく違う」から「5:そう思う」までの 6 段階評価と した。実験協力者は日本の Yahoo! クラウドソーシ ングのアカウントを持つ 20 歳以上の方とし、 1 回答 あたり 1 円相当の謝礼ポイントを支払った。また、 90\%以上について同一の回答をした方を、回答でき ないような処理を随時行った。

## 4 データの基礎統計

図 1, 2,3 に、BCCWJ-WLSP の動詞短単位・BCCWJWLSP の長単位自立語・BCCWJ-SPR2 の文節に対す る表現ごとの平均評定値のヒストグラムを示す。い ずれのサンプルも書籍・新聞・雑誌・教科書などで 公刊されているものなので、自然さとわかりやすさ が高い。また書籍・新聞・雑誌については2001-2005 年に公刊されたものを対象としているが、全体的に 古くも新しくもない傾向が見られた。さらに比喻性
についても低い傾向が見られた。付録の 4 に各評定値の上位・下位事例を示す。

## 5 評定情報に基づく典型用例の推定

 & & & + & & - \\

表 2 瀬戸の中心義特性と本研究の印象評定情報との関係

同様の評定情報をすでに IPAL 辞書用例に付与し ており[11]、この 5 つ組の評定情報から代表義性を 線形回帰する試みが行われている [12]。これは、瀬戸 [13] の中心義特性を印象評定情報として定義しな

おし(表 2)、一般の方の印象評定の組み合わせから、基本義・代表義・典型用例を推定する試みである。同研究では、代表義情報を $5 \sim 1$ の代表義度 6 ) とし て数値化したものを、印象評定値を固定効果とし、用例をランダム効果とした次式による一般化線形混合モデルにより回帰して行った。

代表義度～自然さ+わかりやすさ+古さ+新しさ+比喻性 + (1| 用例 $)$

表 3 IPAL 用例における代表義度の回帰（動詞）[12]

推定した固定効果推定値を表 3 に示す。表 2 の瀬戸の中心義特性との関係では、古さが+(i) 文字通 り、(vii) 意義展開の起点（接点）となることが最も 多い)、新しさが-((ii) 他意義の前提、(ix) 使用頻度 が高い)を想定していたが、得られた推定値は古さ がー、、新しさが+の係数であった。

以下では短単位動詞の評定結果に基づき、より代表義性の高い「典型用例」を抽出することを試み る。具体的には、同研究で得られた次の線形回帰式 をあてはめる：

推定代表義度 (動詞) := $0.012 \times$ 自然さ $+0.033 \times$ わかりやすさ $-0.015 \times$ 古さ $+0.018 \times$ 新しさ $-0.024 \times$比喻性 +1.965

付録の表 4 に短単位動詞に対して検討した推定代表義度上位・下位のものについて示す。表中「出現位置」に S がついているものはサ変動詞「為る」 の用例のうち、サ変名詞が左に隣接するものについ て、連結して呈示したものである。代表義度上位の ものは、現代日本語で定着した外来語が多く見られ た。代表義度下位のものは、「古さ」「比喻性」の評定値が高い用例が多くみられた。

付録の表 5 に多義の短単位動詞「掛かる」(語彙素番号：6016）の分類語彙表番号ごとの平均評定値 (マ クロ平均）を示す。用例数としては「. 16 関係-時間」 が 27 件と最も多く、代表義度も 2.114 と高い水準で あった。一方、代表義度が最も高い「. 31 活動-言語」 は「電話がかかる」の意味だが、用例としては 1 事

$\ulcorner\triangle \perp: 3,\ulcorner\times 」: 2$, その他 (「?」など) $: 1$ とした。例のみであった。近年電話がかかってくることも少 なくなっており、用例数が少なくなることが想定さ れ、いずれ代表義度も低くなる可能性がある。

付録の表 6 に「掛かる」の代表義度上位・下位用例を示す。代表義度上位の用例は「. 11 関係-類」お よび「. 16 関係-時間」であった。代表義度下位の用例は「. 3370 活動-生活-遊楽」(囲碁における用語)、「. 1502 関係-作用-開始」(はじめる)、「. 1513 関係-作用-固定・傾き・転倒など」（覆いかぶさる）などで あった。興味深いことに、本来比喻性のない字義的 な語義である PM29_00003 の例「それ（髪）が【か かっ】た肩先」(. 1513 関係-作用-固定・傾き・転倒 など）の代表義が低い。一方、抽象性の高い「. 1110 関係-類-関係」「. 1600 関係-時間-時間」「. 3730 活動経済-価格・費用」などが代表義度が高く、さらには 本来比喻表現であるのにも関わらず比喻性が低い傾向が見られた。

## 6 おわりに

本研究では、コーパスの用例に対する印象評定 データの構築を行った。BCCWJ の語義が付与され た部分 (BCCWJ-WLSP) と読み時間が付与された部分 (BCCWJ-SPR2) に対して、短単位動詞・長単位・文節単位に、自然さ・わかりやすさ・古さ・新しさ・比喻性の評定値を収集した。さらに、短単位動詞に ついては、得られた印象評定情報から代表義度を線形回帰により推定し、コーパス用例の典型用例抽出 を試みた。

コーパスにおける出現度数と一般的な読み手の評定値とを対照することで、語の生産実体・受容実体 を確認することができる。また、代表義度の推定や 典型用例の抽出は、多義語における中心的な意味・基本的な意味の解明に寄与するほか、文法性・非文法性の判断にも寄与する。さらには、言語学習者に 用例を提示するにあたり、典型用例を提示すること が言語の流暢性の醸成に役立つと考える。

今後、BCCWJ-WLSP における語義との対照を行 うことで、語義の転換が発生している箇所におい て、一般的な読み手が比喻性を感じるかなどを調査 する。さらに、文節単位に付与された印象評定情報 と読み時間とを対照することで、読み時間が変化す る表現を印象評定情報の観点から解明したい。

## 謝辞

本研究は国立国語研究所コーパス開発センター 共同研究プロジェクトの成果です。また、科研費 18H05521,18K18519、国立国語研究所第 4 期共同研究プロジェクト事前準備経費の支援を受けました。

## 参考文献

[1]浅原 正幸. Bayesian linear mixed modelによる 単語親密度推定と位相情報付与. 自然言語処理, 27(1):133-150, 2020.

[2]浅原 正幸. クラウドソーシングによる単語親密度デー 夕の構築 (2021 年版). In 言語処理学会第 28 回年次大会発表論文集, 2022.

[3]Kikuo Maekawa, Makoto Yamazaki, Toshinobu Ogiso, Takehiko Maruyama, Hideki Ogura, Wakako Kashino, Hanae Koiso, Masaya Yamaguchi, Makiro Tanaka, and Yasuharu Den. Balanced corpus of contemporary written japanese. Language Resources and Evaluation, 48:345-371, 2014.

[4]天野 成昭 and 近藤 公久, editors. 単語親密度, NTT デー タベースシリーズ 日本語の語彙特性第 $l$ 巻. 三省堂, 1999.

[5]天野成昭 and 近藤 公久, editors. 単語親密度増補, NTT データベースシリーズ 日本語の語彙特性第 9 巻. 三省堂, 2008 .

[6]藤田早苗 and 小林 哲生. 単語親密度の再調査と過去の データとの比較. In 言語処理学会第 26 回年次大会発表論文集, pages 1037-1040, 2020.

[7]NTT コミュニケーション科学基礎研究所.

[8]佐久間 尚子, 伊集院 睦雄, 伏見 貴夫, 田中正之, 天野成昭, and 近藤 公久. NTT データベースシリーズ 日本語 の語彙特性 第 8 巻 単語心像性. 三省堂, 2008 .

[9]加藤 祥 and 浅原 正幸. 『現代日本語書き言葉均衡コー パス』出版書籍サンプルの NDC 別語彙分布語彙分布. In 言語資源活用ワークショップ 2021, pages 218-225, 2021.

[10]加藤 祥, 森山 奈々美, and 浅原 正幸. 『現代日本語書き 言葉均衡コーパス』新聞記事情報を用いたジャンル別語彙分布. In 言語資源活用ワークショップ 2021, pages 160-170, 2021 .

[11]加藤 祥 and 浅原 正幸. 多義語語義調査を目指した IPAL 形容詞例文への印象評定情報付与. In 言語処理学会第 27 回年次大会発表論文集, pages 1120-1025, 2021.

[12]加藤祥 and 浅原正幸. Ipal 用言例文への印象評定情報付与と代表義 - 典型用例の抽出. 計量国語学, 33(3):178-183, 2021.

[13]瀬戸 賢一. 多義記述の問題点とその解法一日本におけ る正しい多義記述の出発点-. In 日本認知言語学会論文集, pages 507-517, 2019.

[14]国広 哲弥. 意味論の方法. 大修館書店, 1982.

[15]籾山 洋介. 認知意味論のしくみ. 研究社出版, 2002.

[16]松本 曜. 多義性とカテゴリー構造. In 澤田 治美, editor, ひつじ意味論講座, volume 1, pages 23-43. 2010.

[17]瀬戸 賢一.メタファーと多義語の記述. In 楠見 孝, editor, メタファー研究の最前線, pages 31-61. ひつじ書房, 東京, 2007.
[18]山崎 誠 and 柏野 和佳子.『分類語彙表』の多義語に対 する代表義情報のアノテーション. In 言語処理学会第 23 回年次大会発表論文集, pages 302-305, 2017.

[19]加藤 祥, 浅原 正幸, and 山崎誠. 分類語彙表番号を付与 した『現代日本語書き言葉均衡コーパス』の書籍・新聞・雑誌データ. 日本語の研究, 15(2):134-141, 2019.

[20]浅原 正幸. クラウドソーシングによる大規模読み時間 データ収集. In 言語処理学会第 27 回年次大会発表論文集, pages 1156-1161, 2021.
付録：

 & 2.18805 \\

表 4 推定代表義度に基づく典型用例の抽出（短単位動詞）

表 5 短単位動詞「掛かる」語彙素番号:6016 の分類語彙表番号別評定値

 & 41660 & 4.65 & 4.55 & 1.65 & 1.45 & 0.6 &  & 2.1579 \\

表 6 短単位動詞「掛かる」語彙素番号:6016 の推定代表義度上位・下位用例

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# ニューラル言語モデルの過剰な作業記憶

栗林樹生 1,2 大関洋平 3,4 Ana Brassard ${ }^{4,1}$ 乾健太郎 1,4
1 東北大学 ${ }^{2}$ Langsmith 株式会社 ${ }^{3}$ 東京大学 ${ }^{4}$ 理化学研究所
\{kuribayashi, inui\}@tohoku.ac.jp oseki@g.ecc.u-tokyo.ac.jp
ana.brassard@riken.jp

## 概要

近年，ニューラル言語モデルの分析が盛んに行わ れ，ヒトの言語処理について探求する計算心理言語学の両視点を取り入れた分析も増えた. 例えば言語 モデルとヒトの文処理の振る舞いを直接比較する研究が行われている. 本研究では, どのような計算モ デルがヒトの振る舞いを忠実に再現するかという，計算心理言語学的な関心で研究を行う場合，工学的 な文脈で典型的に活用される LSTM や Transformer 言語モデル $[1,2]$ をのまま用いることが，必ずし も道具立てとして妥当な選択ではないことを指摘す る. 具体的には，ニューラル言語モデルに入力する 文脈を限ることでよりヒトらしい振る舞いが促され ることから，これらのモデルはヒトと比べて過剩な 作業記憶 (同時に処理できる文脈情報) 容量を有して いることを提示する。

## 1 はじめに

ニューラル言語モデルには，自然言語処理分野か らの工学的な関心と, 計算心理言語学からの科学的 な関心が寄せられている。近年では両分野の視点を 融合させた研究も行われ，自然言語処理分野におい て工学的成功を収めたモデルに対して，心理言語学的な視点から，例えばヒトと同様の振る舞いをする か調査するといった試みが盛んである $[3,4,5,6,7]$.

読み活動のモデリング: 本研究では，ヒトの言語処理活動を忠実に再現するモデルを探求することで 構成論的にヒトの言語処理を理解するという認知科学・計算心理言語学の立場をとる. 人工知能・認知科学分野の目標の一つは，ヒトの振る舞いを説明す るモデルを作り，ヒトの理解を深めること (計算心理学) であり [8], 計算心理言語学では特にヒトの逐次的な読み活動 (読み時間など)をモデルの対象とす る [9]. モデル・理解にも様々な段階が存在するが， ここでは，物理学が物体の複雑な運動を簡潔な数式

図 1 サプライザルを条件付ける文脈長 (横軸)を制御し た場合の，ヒトの読み時間との傾向の近さ(縦軸) の変化. 例えば $\mathrm{n}=3$ は， 3-gram サプライザルの結果に対応す る. 縦軸の値 (psychometric predictive power; PPP) が大きい ほど，そのサプライザルがヒトの逐次的読み負荷をうま く説明することを表す.

で説明しようとするように，ヒトが文を一単語ずつ 読む際に示す逐次的な読み負荷を簡潔に説明する理想化されたモデルに関心がある.

自然言語処理技術の発展により，これまで計算 が困難であった量を近似的に求め，読み負荷のモ デルとして検証することが可能になった。例えば $-\log p$ (単語|長い文脈) はその最たる例であり，長 い系列の頻度を数えて值を求めることは現害的でな いが，ニューラル言語モデルを訓練することで，(少 なくとも次の単語の出現を正確に予測するという観点で) 正確な值を算出できるようになった.このよ うな発展も後押しし, 言語モデルや統語解析器が推定するサプライザル $(-\log p$ (単語|文脈 $))$ でヒトの 読み負荷を説明しようとする，予測に基づく説明が
注目を集めた $[10,4]$. ヒトは次の単語の出現を予測 しながら文を読んでおり，予測を裏切られると処理負荷が上がるという説明である。また次なる関心と して，どのようなモデル・アルゴリズムで計算され るサプライザルがヒトの文処理をうまく説明するか が焦点となっている.

作業記憶の乘離: このようなヒトの文処理の機序 を説明する視点からは，近年の強力な言語モデルを 用いて認知モデリングを行うことが必ずしも妥当な 選択ではないことを指摘する。具体的には，工学的 に高い性能を示す LSTM や Transformer がヒトと比 べて過剰な作業記憶 (同時に処理できる文脈情報の 量)をもつことを実験的に示し, むしろ忘却が促さ れる単純な再帰型ニューラルネットワーク [11] や n-gram モデルなどの方が，ヒトの読み活動の計算モ デルとしては妥当である可能性を提示する.

近年のニューラル言語モデル (例えば Transformer [2] に基づくモデル) は数百から数千単語の文脈に同時にアクセスしながら次の単語を予測する 設計であり，帰納バイアスとして非常に強力な作業記憶容量 (同時に処理できる文脈の量) を仮定して いる [3]. それに対して，一般にヒトの作業記憶は 非常に制限されており, 高々 4 つ程度の項目を同時 に処理することが限度などと示唆されている [12].例えば 10 桁程度の電話番号を一度で覚えることが できるヒトはそういないだろう。ヒトの文処理もま た作業記憶の制約を受けていると考えられており，例えば長距離依存により読み負荷が増加すること や [13], 関連する要素がなるべく近くに配置される という言語の一般的な性質を説明する [14].

実験と示唆: ヒトらしい作業記憶の模倣として ニューラル言語モデルに入力する文脈に制限を与え ることで，よりヒトの文処理活動データ (視線停留時間) と近い，ヒトらしい振る舞いが促されるか，文処理活動データの説明力を損なわなかった (図 1). このことから，近年の言語モデルがヒトよりも強力 な作業記憶を持つということを主張する。

本研究では作業記憶の局所性 (遠い情報ほどアク セスが難しい)を仮定し, 直近 $n-1$ 語の文脈から計算されるサプライザル ( $n$-gram サプライザル) とヒ トの読み活動の近さを分析する. 日本語と英語の言語横断的な調査から，高々 3-gram 程度のモデルで 計算されるサプライザルによりヒトの読み活動がう まく説明できる (日本語)，または文脈を限っても説明能力を損なわない (英語)ことが示された.
また，コーパス平均的に妥当な文脈長が定まらな かった英語の結果 (図 1 下) について分析すると，特定の語では長い/短い文脈を考慮したサプライザル が読み時間をうまく説明するといった，統語依存な 傾向が観察された. 特に動詞の読み時間について,主語が離れているほど，長い文脈で読み時間を説明 できた.この傾向は日本語では観察されず，英語に おける主語と動詞の数の一致や，日本語における (主語でなく) 主題の卓越性といった要因が，結果の 言語依存性 (図 1) と関連している可能性がある.

## 2 記憶に基づく説明

文処理の計算論的モデルについて，予測に基づく 説明とは伝統的に対立する形で，記憶に基づく説明が提唱されてきた．記憶に基づく説明では，離れ た文脈情報へのアクセスには負荷がかかるなどの仮説をおいている [13,15]. 言語や現象に応じて予測 と記憶の説明の妥当性は異なっていた $[16,17]$. 本研究は, 読み負荷のモデリングにおける予測と記憶 の両側面の融合を試みた研究とも解釈できる. 本研究で扱う不完全な文脈に基づくサプライザルは両者を融合した指標として近年提唱されてきたもの の [18]，データに基づく検証は限られており，本研究はその妥当性について経験的な証拠を提供した。

また, n-gram モデルは予測と記憶の両側面を反映した典型的なモデルであるものの，特に近年は ニューラル言語モデルの分析におけるべースライン として，頻度ベースの n-gram 言語モデルが登場す ることが多く $[10,4,6]$, 両者はニューラルネットに 基づくかなど複数の軸で仮定が異なるため，サプラ イザルの条件として適切な文脈について分野内で厳密に調査されていなかった. 本研究ではニューラル 言語モデルの入力を制限し，文脈長の観点でのみ切 り分けて分析を行う.

## 3 手法・実験設定

ヒトの逐次的な文処理負荷 (視線停留の長さ) と言語モデルが計算する指標の傾向の近さを測定する.作業記憶の局所性を踏まえ [13]，本研究では，直前 $n-1$ 語を文脈として用いる $n$-gram サプライザルの 認知的妥当性について分析し， $n$ を動かした際の影響を観察する。

不完全な文脈に基づくサプライザル: Left-toright 言語モデル $\theta$ によって計算される不完全な文脈に基づくサプライザルを用いる。言語モデルはサ

ブワードを入力単位としているが，読み時間は単語 (英語) や文節 (日本語) といったより大きな単位に付与されている。読み時間データに従い，本研究では 「語」は英語の単語または日本語の文節を指す。

文中の $i$ 番目のサブワードを $w_{i}, i$ 番目の語を $s_{i}$ とする. 各語は 1 つ以上の連続するサブワー ドで構成される. ある語 $s_{i}=\left[w_{k}, \cdots, w_{l}\right]$ の文脈 $c_{<i}=\left[s_{0}, \cdots, s_{i-1}\right]$ における n-gram サプライザル $I_{\mathrm{n} \text {-gram }}$ を以下のように計算する.

$
\begin{aligned}
I_{\mathrm{n}-\operatorname{gram}}\left(s_{i}, c_{<i}, n\right) & =-\log p_{\theta}\left(s_{i} \mid s_{i-n+1}, \cdots, s_{i-1}\right), \\
& =\sum_{j=k}^{l}-\log p_{\theta}\left(w_{j} \mid w_{m}, \cdots, w_{j-1}\right) .
\end{aligned}
$

ここで， $w_{m}$ は， $s_{i-n+1}$ の開始サブワードを指す.

例えば日本語における 3-gram サプライザルでは，直前 2 文節を構成するサブワード系列を文脈として与 えている。単語や文節のサプライザルは, 確率の連鎖律より，それらを構成するサブワードのサプライ ザルの和として計算する。なお，通常のテキストで 学習した言語モデルを用い，推論時に文脈を制限す ることで $I_{\mathrm{n} \text {-gram }}$ を計算しており, 学習と推論の乘離 については付録 A で議論する。

評価指標: 尺度 $I_{\mathrm{n}-\mathrm{gram}}$ の読み時間に対する説明力を一般化線形混合モデルで測定する. 具体的に は， $I_{\mathrm{n} \text {-gram }}$ とベースライン素性を説明変数とし, 各語の視線停留時間を被説明変数とする回帰モデルを 訓練する (付録 B). 同様に， $I_{\mathrm{n} \text {-gram }}$ を含まないべー スライン素性のみの回帰モデルも訓練し, 両回帰モ デルが示す対数尤度 (当てはまりの良さ)を求める.両対数尤度の差のデータポイント数平均を「ヒトら しさ」の尺度 (psychometric predictive power; PPP)と し，PPPが大きいほど $I_{\mathrm{n}-\mathrm{gram}}$ が読み時間をうまく説明するとみなす。この PPPを n-gram サプライザル を計算する際の文脈長を変えて比較する。具体的に は， $\{2,3,5,7,10,20\}$-gram サプライザルと, 文内の前方文脈すべてを用いる “full” 設定の計 7 設定を比較 する. なお, 本研究の主たる関心は文の統語的処理 であり，文を超えた文脈は考慮しない。

読み時間データ: Dundee corpus (英語) と BCCWJEyeTrack (日本語)を用いて英日横断的な検証を行 う $[19,20]$. はずれ値などを除去し (付録 C), Dundee corpus では 217,876 データポイント, BCCWJEyeTrackでは 9,217 データポイントを用いる. 読み 時間として，first pass duration を対象とする。言語モデル: Transformer/LSTM 言語モデルを利用した $[2,1]$. 詳細は付録 D に記載する。異なる シードで学習した 3 つのモデルの結果の平均と標準偏差を報告する。

## 4 実験: ヒトらしい文脈長

はじめに，コーパス全体の傾向として，読み時間 を平均何語の直前の文脈情報によってうまく説明で きるか調査する (4 節). その後, 長い文脈で条件付 けることの効能を調査する (5 節). 結果から，記憶 のバイアスと統語のバイアスを確認した。

## 4.1 結果

結果を図 1 に示す. 日本語ではある程度短い文脈 に条件づいたサプライザル (3-gram サプライザル) が読み時間をうまく説明でき，英語では文脈を限っ ても認知的妥当性が大きく変化しないことがわかっ た. 英語での妥当性を保ちつつ，日本語での妥当性 を向上させたという点で, 限られた文脈に基づくサ プライザルが言語横断的に妥当な尺度であることが 示唆された．言い方を変えると，文内のすべての文脈をニューラル言語モデルに与えサプライザルを計算する方法では，ヒトの読み活動を説明する上で過剩な文脈を考慮していると言える。

日本語: 日本語では文節 3-gram がもっとも良い PPP を達成し, 文脈を過度に用いて計算されたサプ ライザルはヒトの読み活動から乘離することが示さ れた.このことは, ヒトの逐次的な統語処理の負荷 が局所的な情報で説明できるというひとつの可能性 を示唆する．また非常に荒い紐付けではあるが，作業記憶の限度としてしばしば挙げられる $4 \pm 1$ 項目 という数と 3 文節という数は近しい [12].

英語: 文脈長を変化させても PPP は大きく変化し なかった (図1下). 一つの解釈としては, データポ イントに応じてサプライザルを条件付けるべき適切 な文脈長が異なる可能性があり，コーパス平均的な 傾向で見ると，文脈長を変えても PPP に変化がない ように見えている可能性がある．特に，作業記憶の 制約に反し, 長い文脈で条件付けることが適切であ ると観察されるケースがどのようなものであるか，次節でより詳しく分析していく.

## 5 分析: いつ長い文脈が有効か?

英語における遠い主語の存在が，対応する動詞の 読み時間の説明に必要な文脈長を引き伸ばしている

ことが示唆された。

設定: 4 節では，様々な条件でサプライザルを計算し，視線停留時間を説明する回帰モデルの当ては まりの良さを通して分析を行った. 本節では, 長い 短い文脈条件で付けたサプライザルによる視線停留時間回帰モデル $\left(M_{\text {short }}, M_{\text {long }}\right)$ について，読み時間へ の当てはまりが悪い箇所を調査し比較する. 具体的 には，長い文脈で条件づけたサプライザルを用いた 回帰モデル $M_{\text {short }}$ と, 短い文脈で条件づけたサプラ イザルを用いた回帰モデル $M_{\text {long }}$ が推定するデータ ポイント (語)ごとの残差 (小さいほど回帰式が視線停留時間をうまく説明できている)を観察する。あ るデータポイント集合 $D$ について, 長い文脈を考慮 した $M_{\text {long }}$ による二乗残差平均 $r_{\text {long }}(\mathscr{D})$ が $M_{\text {short }}$ の 示す二乗残差平均 $r_{\text {short }}(\mathscr{D})$ と比べてどれほど小さく なるかを，長い文脈を考慮する有効性とみなす。具体的には， $r_{\text {short }}(\mathscr{D})-r_{\text {long }}(\mathscr{D})$ を $D$ における長い文脈の貢献度 $(C)$ とし, $r_{\text {short }}(\mathscr{D})$ が大きく (当てはまり が悪く),$r_{\text {long }}(D)$ が小さくなる (当てはまりが良い) ほど $C$ は大きくなる。 $M_{\text {short }}, M_{\text {long }}$ として，2-gram と full の設定で当てはめた回帰モデルを用いた。ま た，文脈を考慮することの効果に焦点を当てるた め，文の後方に出現する語に分析対象を限った. ${ }^{1)}$

統語依存距離と記憶: 統語的に関連する前方要素に作業記憶が影響を受けている可能性をあ げる [13]. 例えば, “Ken goes to the school.” と “Ken, who is my brother, goes to the school.”という文におい て, “goes” の処理の際に主語 “Ken” が意識されるの であれば，後者の文における “goes” の読み時間のモ デリングに長い文脈が必要になると示唆される.

本分析では，主語と動詞の依存距離について分析 を行う. ${ }^{2}$ 動詞に対応するデータポイント集合を，対応する主語との依存距離 (何語離れているか) に基 づいて分割し, 各データポイント集合について長い 文脈を考慮することの残差の減少量 Cを観察する。図 2 左より，主語が離れた動詞ほど読み時間のモデ リングにおいて，長い文脈を用いることの有効性が 確認された。このことから, 読み時間が主語と動詞 の関係に強く影響を受けていることが示唆された。

図 2 動詞の読み時間のモデリングにおける，長い文脈の 貢献度 $\mathrm{C}$ と主語との距離の関係.

同様の分析を日本語データで行ったところ，日本語では，主語と動詞の距離と，サプライザルを条件付ける文脈長との間に影響が観察されなかった (図2右).このことから，図 1 における言語依存な 結果は，主語動詞間の長距離依存に対するヒトの振 る舞いの違いと関連していることが示唆された. 英語では，主語と動詞に数の一致が課されているこ と, 日本語が主題卓越言語であるため主語の存在が 読み手にとって意識的なものではないことなどがこ の差異を生む要因として考えられる. 本研究では,記憶 (局所性) と統語のバイアスを外部的に文脈を編集して取り入れたが，どのようなモデル設計，学習 を行うことでこのようなヒトらしい記憶の制約を獲得させることができるかは興味深い.

## 6 おわりに

本研究では，言語モデルに入力する文脈長を制限 した実験から，近年自然言語処理分野で用いられる ニューラル言語モデルが，ヒトに比べて過剩な作業記憶を有している可能性を提示した．特に近年言語 モデルが注目を集め，ヒトの言語処理との比較にも 分野の関心が向いている. もしヒトの逐次的文処理 を純粋に再現し，ヒトの計算論的なモデルを探求す ることが研究の目的であれば，LSTM や Transformer といったモデルよりも，むしろ単純な再帰型ニュー ラルネットワーク [11] や n-gram のようなモデルを 用いることが妥当かもしれない．また，本実験は不完全な文脈に基づくサプライザルの妥当性を経験的 に支持し，読み活動データにおける記憶 (局所性) と 統語的バイアスの相互的な作用を示唆した.

## 謝辞

本研究は JSPS 科研費 JP20J22697，JST さきがけ

JPMJPR21C2 の支援を受けたものである.

## 参考文献

[1] Sepp Hochreiter and Jürgen Schmidhuber. Long ShortTerm Memory. Journal of Neural Computation, Vol. 9, No. 8, pp. 1735-1780, 1997.

[2] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Łukasz Kaiser, and Illia Polosukhin. Attention Is All You Need. In Proceedings of NIPS, pp. 5998-6008, 2017.

[3] Danny Merkx and Stefan L. Frank. Human Sentence Processing: Recurrence or Attention? In Procceding of CMCL 2021, 2020.

[4] Ethan Gotlieb Wilcox, Jon Gauthier, Jennifer Hu, Peng Qian, and Roger Levy. On the Predictive Power of Neural Language Models for Human Real-Time Comprehension Behavior. In Proceedings of CogSci, pp. 1707-1713, 2020.

[5] Ethan Wilcox, Pranali Vani, and Roger Levy. A targeted assessment of incremental processing in neural language models and humans. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 939-952, Online, August 2021. Association for Computational Linguistics.

[6] Tatsuki Kuribayashi, Yohei Oseki, Takumi Ito, Ryo Yoshida, Masayuki Asahara, and Kentaro Inui. Lower perplexity is not always human-like. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 5203-5217, Online, August 2021. Association for Computational Linguistics.

[7] Ryo Yoshida, Hiroshi Noji, and Yohei Oseki. Modeling human sentence processing with Left-Corner recurrent neural network grammars. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 2964-2973, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[8] Stuart C Shapiro. Artificial intelligence (AI). In Encyclopedia of Computer Science, pp. 89-93. John Wiley and Sons Ltd., GBR, January 2003.

[9] M W Crocker. Computational psycholinguistics. Computational Linguistics and Natural Language, 2010.

[10] Adam Goodkind and Klinton Bicknell. Predictive power of word surprisal for reading times is a linear function of language model quality. In Proceedings of CMCL2018, pp. 10-18, 2018.

[11] Jeffrey LElman. Distributed representations, simple recurrent networks, and grammatical structure. Mach. Learn., Vol. 7, No. 2, pp. 195-225, September 1991.

[12] N Cowan. The magical number 4 in short-term mem- ory: a reconsideration of mental storage capacity. Behav. Brain Sci., Vol. 24, No. 1, pp. 87-114; discussion 114-85, February 2001.

[13] Edward Gibson. The dependency locality theory: A distance-based theory of lingustic complexity. Image, language, brain, Vol. 2000, pp. 95-126, 2000.

[14] Edward Gibson, Richard Futrell, Steven P Piantadosi, Isabelle Dautriche, Kyle Mahowald, Leon Bergen, and Roger Levy. How efficiency shapes human language. Trends Cogn. Sci., Vol. 23, No. 5, pp. 389-407, May 2019.

[15] Richard L Lewis and Shravan Vasishth. An activationbased model of sentence processing as skilled memory retrieval. Cogn. Sci., Vol. 29, No. 3, pp. 375-419, May 2005.

[16] Lars Konieczny. Locality and Parsing Complexity. Journal of Psycholinguistic Research, Vol. 29, No. 6, pp. 627-645, 2000.

[17] Samar Husain, Shravan Vasishth, and Narayanan Srinivasan. Strong expectations cancel locality effects: evidence from hindi. PLoS One, Vol. 9, No. 7, p. e100986, July 2014.

[18] Richard Futrell, Edward Gibson, and Roger P. Levy. LossyContext Surprisal: An Information-Theoretic Model of Memory Effects in Sentence Processing. Journal of Cognitive Science, 2020.

[19] Alan Kennedy, Robin Hill, and Joël Pynte. The dundee corpus. In Proceedings of the 12th European conference on eye movement, 2003.

[20] Masayuki Asahara, Hajime Ono, and Edson T Miyamoto. Reading-Time Annotations for "Balanced Corpus of Contemporary Written Japanese". In Proceedings of COLING, pp. 684-694, 2016.

[21] Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for Neural Text Processing. In Proceedings of EMNLP, pp. 66-71, 2018.

## A N-gram サプライザルの正確性

表 1 ニューラル/数え上げ n-gram 言語モデルのパープ レキシティ.サブワードレベルの言語モデルで比較して いる.

本研究では，ニューラル言語モデルはコーパスを適当 なブロックで区切ったチャンクをミニバッチとして訓練 している. 各ミニバッチの先頭周辺では， n-gram 言語モ デルのような学習が行われるが，全体としてみるとその ような訓練事例の数は限られているため，今回のように ニューラル言語モデルで n-gram サプライザルを求めた場合，学習と推論の乘離が想定される. しかしながら，サ ブワードレベルの n-gram サプライザルによって計算され るコーパスのパープレキシティを本実験の設定(ニューラ ル) と数え上げに基づく n-gram 言語モデルで比較すると，本設定の n-gram サプライザルの方が低いことが分かっ た. したがって, 本研究ではニューラル言語モデルが, 先頭数語のみを入力した際にも適切な振る舞いをしている と一旦結論づけた。パープレキシティは読み時間が付与 されたコーパスで測定した。

## B 回帰モデル

読み時間（RT）のモデリングは以下の式で行った：

$
\begin{aligned}
\text { RT } & \sim \text { surprisal + surprisal_prev_1 } \\
& + \text { surprisal_prev_2 + freq } * \text { length } \\
& + \text { freq_prev_1*length_prev_1 } \\
& + \text { screenN + lineN } \\
& + \text { segmentN + }(1 \mid \text { article })+(1 \mid \text { subj }) .
\end{aligned}
$

各素性の概要は表 2 に示す. prev_1 などは, 一単語 まえの該当する素性を示す。前の語のサプライザル (surprisal_prev_1と surprisal_prev_2)は, 周辺の語の 処理負荷が読み時間に影響を与えるスピルオーバー効果 を考慮して含めた．ただし，日本語においては有意な効果が観察されなかったため除いた。

## C データの前処理

英語では以下のいずれかの条件に合致するデータポイ ントを，日本語では (a), (c), (e) のいずれかに合致するデー タポイントを除いた

(a) 読み時間が 0 秒であるか，3 標準偏差から外れている

(b) 句読点が含まれる

(c) 数量を表す文字・語が含まれる

 \\

(d) 句読点・数量の次の語

(e) 読み時間測定時に画面上で各行の最初に提示されて いる表 2 回帰モデルで用いた素性

(f) 読み時間測定時に画面上で各行の最後に提示されて いる

(b) と (f) に関しては，日本語に適用すると「考える。」のよ

うな文末の文節がすべて除かれるため，適用しなかった。

## D＼cjkstart言語モデルハイパーパラメータ

表 3 にニューラル言語モデルのハイパーパラメータを 示す。およそ 500 万文の日本語テキスト (Wikipedia と新聞) と，400万文の英語テキスト (Wikipedia)を学習データ として用い，10万回アップデートした言語モデルを用い た. 日本語テキストは，読み時間データの分割との一貫

 &  &  \\

性を保つため，一度国語研短単位に分割した後，BPEで サブワードに分割した ${ }^{3}$.

表 3 ニューラル言語モデルのハイパーパラメータ. Transformer (上) と LSTM (下).

3） SentencePiece [21] を用い，文字の網羅率を 0.9995 ，語彙数 を 100,000とした.


# 高速な契約書レビューのための計算量の削減

小林 尚輝 ${ }^{1}$ 真鍋 陽俊 ${ }^{2}$ 小田悠介 ${ }^{2,3}$
1 東京工業大学 ${ }^{2}$ LegalForce Research
3 東北大学 データ駆動科学・AI 教育研究センター
kobayasi@lr.pi.titech.ac.jp
\{hitoshi.manabe, yusuke.oda\}@legalforce.co.jp

## 概要

契約書には様々な規定や条項が記述されている。関心のある条項を自動で抽出することによって，こ れまで人手で実施されてきたレビューの業務コスト が削減できる。それらの関心のある条項を契約書か ら抽出する情報抽出タスクとして契約書レビューが 取り組まれている。従来研究では，抽出する内容を 質問文とした BERT を用いた質問応答 $(\mathrm{QA})$ モデル が広く使用されている。しかし，契約書のような長 い文書を扱うための sliding window による小さな単位のテキスト（以下，セグメント）への分割と，質問文とセグメントを結合して入力事例とする BERT の構造から, 従来の QA モデルでは BERT による処理回数が膨大となり非効率である。提案手法は，軽量な分類器により各事例が抽出すべきテキストを含 むかを事前に識別することで，性能をほとんど劣化 させることなく, BERT により処理される事例の数 を $44 \%$ 削減した.

## 1 はじめに

契約書は取引の内容を証するために作成され，互 いの権利と義務を明確にする重要な役割を持つ. 契約締結リスクとなりうる規定や条項を契約書に記載 しないために，専門家の手による契約書レビューは 非常に重要な手続きとなる。しかし，数十ページに わたる契約書を専門家の手を借りてレビューするに は高いコストを要する．そこで，自然言語処理技術 を用いた契約書レビューの自動化によるコストの削減が期待されている。

このような背景から，契約書を対象とした研究が 幅広く行われており，契約書レビューは契約書を入力として契約書に含まれる関心のある条項を抽出す る情報抽出タスクとして研究されている。また，関心のある条項は契約書の種類によって異なるため，

図 1 BERT を用いた質問応答モデル

様々なデータセットとそれに応じた抽出項目が提案 されている。取り分け，CUAD [1] は構成する契約書数が多く，アノテーションに多くの時間と費用を 費やしている。 CUAD は契約書に対して，41 種類 の抽出項目（例えば，当事者名を表す Parties や契約締結日を表す Agreement Date など）と各抽出項目に 該当する契約書中のテキストスパンが付与されて いる．その他にも，秘密保持契約のみを対象とした ContractNLI [2] がある. ContractNLI は契約書に対し て 17 通りの仮説が与えられ，それぞれの仮説が契約書中でどのように言及されたかを示す 3 つのラべ ル（含意する/矛盾する/言及されない）と，そのラべ ルの根拠となる契約書中の文が付与されている.

従来研究 $[1,2]$ では BERT [3] を用いた質問応答 (QA) モデルにより契約書に対する情報抽出を行っ ている．BERT は大規模なテキストから事前学習 された言語モデルで，図 1 に示されるように [SEP] トークンで結合された質問文と文書のペアを入力事例（以下，事例）とし，回答となるテキストスパン の始点/終点を推定するように finetune することで質問応答 $(\mathrm{QA})$ タスクで高い性能を達成している.こ こで，契約書を入力文書とし，抽出したい内容に応 じた質問文と合わせて入力することで，BERTによ る契約書を対象とした情報抽出が可能となる。

このとき，BERTが扱える最大長を超える契約書

図 2 QA モデルを用いた契約書レビューの手続き

は sliding window を用いてより小さいセグメントへ と分割されて処理される. BERT を用いた $\mathrm{QA}$ モデ ルによる契約書レビューは，数十ページに及ぶ契約書全体から質問文に該当するテキストスパンを抽出 する。そのため, sliding window により分割された 全セグメントに質問の数だけ BERT を適用する必要 があり大幅に時間がかかる. しかし，抽出すべきテ キストスパンは各質問に対して一つであるため，多 くの事例は回答スパンを含まないという傾向があ る. 実際に，CUADにおける $99.987 \%$ の事例は回答 スパンを内包しない.

そこで，本稿は $\mathrm{QA}$ モデルによる契約書レビュー を高速に行うために事例の削減を行う. 具体的に は, 各事例に対し, 高速な分類器を用いて事例のセ グメントが回答を内包するかどうかの二值分類を行 い，分類器により回答を内包すると判別された事例 のみを QA モデルの入力とすることで BERTにより 処理される事例を削減する。

また，BERTの高速化手法として，重みパラメー タの削減によるモデルサイズの圧縮 [4] が提案され ている.これらの手法と提案法はモデルサイズと処理するデータ量の異なるボトルネックへのアプロー チであり，速度改善において競合しない。

実験では，CUADをデータセットとして用いて， テキストスパンの抽出性能をほとんど損なうことな く44\%の事例を削減した。

## 2 質問応答モデル

本節では BERT を用いた質問応答 $(\mathrm{QA})$ モデルの 説明を行う. 図 1 に示されるように $\mathrm{QA}$ モデルは， トークン列により表現された質問文と文書を [SEP] トークンで結合して BERT の入力とし, 文書側の各 トークンに適用された MLP により回答スパンの先

表 1 CUADと SQuADによる 1 文書あたりの事例数およ び回答を含む事例数とその割合の比較

頭/末尾のスコアを推定する.このときBERT の扱 える最大長を超える文書は sliding windowを用いて セグメントに分解され，各セグメントごとに質問文 と結合されて入力される.

## 3 計算量

本節では 1 契約書あたりの BERT の処理回数から 契約書レビューにおける $\mathrm{QA}$ モデルの計算量を考え る. 図 2 に示されるように，契約書レビューにおけ る抽出項目に対応した $M$ 通りの質問文と契約書に 含まれる $N$ 個のセグメントが与えられ，それらの組 み合わせが BERT に入力される。したがって，質問文とセグメントのペアである事例の数が BERT によ る処理回数となり，事例の数は $M \times N$ 通りとなる.

CUAD から開発データとして抽出した 80 文書を 対象として，1 文書あたりの事例数，および，回答 を含む事例数との割合を算出1)した結果を表 1 に示 す. 比較のために SQuAD [5] の開発データも同様に 算出した.

表より，CUAD の事例数は SQuAD に比べて約 7.4 倍多い。つまり 1 文書あたりの BERTによる処理回数が約 7.4 倍となる。また，CUAD は事例数が多い 一方で，SQuAD に比べ回答スパンを内包する事例数およびその割合が極めて低く，大半の事例が回答 を含まないことがわかる。したがって，全ての事例

1）質問文は 64 トークン， sliding window はセグメントの大き さと stride 幅をそれぞれ 448，および 256 トークンとした.

図 3 LinearSVMを用いた分類器

に一様に BERT を適用する従来の QA モデルによる 契約書レビューは，その計算量の殆どを回答を含ま ない事例に費やすことになり非効率的である。

## 4 計算量を減らすための分類器

回答を含むセグメントを持つ事例はわずかである ため，事前に高速な分類器によって回答を含まない と判別できるならば，QA モデルに入力される膨大 な事例数を減らすことができ，計算量の削減につな がる. したがって，本節では各事例についてそのセ グメントが質問に対する回答を内包するかを分類す るための分類器を提案する. 提案する分類器の概要 を図 3 に示す。

分類器には計算速度の観点から BERT と比較して 高速に動作する LinearSVM を使用する。 QA モデル と一貫した入力形式を扱えるように，分類器の入力 は QA モデルと同様にセグメントと質問文を用い る. セグメントは内包される uni-gram と bi-gram の TF-IDF ベクトル，質問文は Bag-of-Words ベクトル によりベクトル化して分類器の入力とする.

## 5 実験設定

## 5.1 データセット

分類器の学習，評価に用いるデータセットは $\mathrm{CUAD}^{2)}$ を使用した. CUAD は，学習データと評価 データが配布されており，学習データを分割して開発データを用意した。このとき，文書サイズの偏り を軽減するために学習データを文書の長さによって ソートしたのち 10 個のビンへと分割し，各ビンに おいてランダムに $80 \%$ を新しい学習データ，残りの $20 \%$ 開発データとして分割した。

## 5.2 評価尺度

本実験では $\mathrm{QA}$ モデルにより処理される事例を削減して計算量を減らすことが目的であるため，事例

図4 開発データを用いた class weight の変化における性能と削減率の比較

の削減率と $\mathrm{QA}$ モデルの性能の二つにより評価を 行う.

削減率は全ての事例のうち，分類器によって回答 を含まないと分類された事例の割合とする。

$\mathrm{QA}$ モデルの性能は予測したスパンと正解のスパ ンをもとに算出される。ここでは先行研究 [1] に従 い，Precision at 80\% Recall (P@R80) により QA モデ ルの性能を評価する。

## 5.3 ハイパーパラメータ

本実験の LinearSVM には scikit-learn [6] を利用し， クラスごとの正則化係数 $C$ を変化させる class weight の值を開発データにより選択した. class weight は 図 4 の横軸に示される 0.5:0.5 から 0.99:0.01 の 10 通 りから探索した. class weight を変化させたときの開発データによる $\mathrm{QA}$ モデルの性能と削減率を図 4 示 す. 例えば class weight が 0.7:0.3 であれば，回答を 含む，回答を含まないの各クラスに対応する正則化係数 $C$ にそれぞれ 0.7 と 0.3 が掛け合わされる. し たがって，グラフの右側に行くにつれて回答を含む と分類されやすくなる. グラフの右端は分類器を 用いない（全ての事例に回答を含むと分類した場合 と等しい) ベースラインである。

開発データの結果から，性能が高い 0.97:0.03，お よび性能が高く削減率の良い 0.9:0.1 の 2 つの class weight を評価データでベースラインと比較すること とした.

## 6 実験結果

表 2 に評価データによる実験結果を示す。性能と 削減率がトレードオフである傾向は開発データと同様であり，class weight により削減率を制御できてい ることがわかる. 特に，class weight=0.9:0.1 におい て性能が 1.8 ポイント減少するが，44\%の事例を削

図 5 評価データによる class weight $=0.5: 0.5$ を対象としたラベルごとの性能の比較

表 2 評価データによる性能および削減率の比較

減できることを示した. また， class weight=0.97:0.03 において性能がわずかに向上する。これは事前に回答を含まない事例を削減することにより，QA モデ ルが候補として予測するスパンの質が向上したため と考えられる。

図 5 に評価データを用いたラベル毎の性能を示 す. 事例の削減による各ラベルの性能低下の影響を 調べるために，削減率の高い class weight=0.5:0.5 の 分類器をべースラインと比較した. CUAD は 41 種類のラベルがあるが, ベースラインにおける $\mathrm{P} @ \mathrm{R} 80$ の値が 0 ポイントのラベルはグラフから除いた. ラベルは class weight=0.5:0.5 の性能によってソート されており，ラベルによって性能が低下するラべ ルとそうでないラベルがあることがわかる. 性能 の劣化しなかった Governing Law や Agreement Date などのラベルは特定の表現（Governing Law であれ ば"governed by"，Agreement Date であれば月を表す 英単語など）を高い確率でセグメントに含んでお り，N-gramを素性とした分類器で十分に分類可能 であったと考えられる。一方で，性能の劣化したラ ベルは N-gram で捉えられない，例えば，言い換え などの表現が含まれると考えられる.この結果を踏 まえて, 今後の改善として意味の近い単語を類似す るべクトルによって表現できる単語分散表現 $[7,8]$ を素性として用いることが考えられる.

## 7 まとめ

本稿では，BERT を用いた QA モデルによる契約書レビューの高速化のために，BERT の入力事例を 高速な分類器を用いて事前に分類することで QA モ デルの計算量を削減する手法を提案した． CUADを 用いた実験では，分類器のパラメータである class weight によりトレードオフの関係にある削減率と性能を選択できることを示し，評価データにおいては 1.8 ポイントのわずかな性能の低下で $44 \%$ の事例が 削減できることを示した. さらなる今後の改善とし て, 分類器として用いた LinearSVMへの入力となる セグメントや質問文のベクトルを単語分散表現に置 き換えることで言い換えなどに頑健な分類が可能に なると考えられる。

## 参考文献

[1] Dan Hendrycks, Collin Burns, Anya Chen, and Spencer Ball. Cuad: An expert-annotated nlp dataset for legal contract review. NeurIPS, 2021.

[2] Yuta Koreeda and Christopher Manning. ContractNLI: A dataset for document-level natural language inference for contracts. In Findings of the Association for Computational Linguistics: EMNLP 2021, pp. 1907-1919, Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[3] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 41714186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[4] J. S. McCarley, Rishav Chakravarti, and Avirup Sil. Structured pruning of a bert-based question answering model. 2019.

[5] Pranav Rajpurkar, Jian Zhang, Konstantin Lopyrev, and Percy Liang. SQuAD: 100,000+ questions for machine comprehension of text. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 2383-2392, Austin, Texas, November 2016. Association for Computational Linguistics.

[6] F. Pedregosa, G. Varoquaux, A. Gramfort, V. Michel, B. Thirion, O. Grisel, M. Blondel, P. Prettenhofer, R. Weiss, V. Dubourg, J. Vanderplas, A. Passos, D. Cournapeau, M. Brucher, M. Perrot, and E. Duchesnay. Scikit-learn: Machine learning in Python. Journal of Machine Learning Research, Vol. 12, pp. 2825-2830, 2011.

[7] Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg S Corrado, and Jeff Dean. Distributed representations of words and phrases and their compositionality. In C. J. C. Burges, L. Bottou, M. Welling, Z. Ghahramani, and K. Q. Weinberger, editors, Advances in Neural Information Processing Systems, Vol. 26. Curran Associates, Inc., 2013.

[8] Jeffrey Pennington, Richard Socher, and Christopher Manning. GloVe: Global vectors for word representation. In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 1532-1543, Doha, Qatar, October 2014. Association for Computational Linguistics.


# 賛成を得やすい文章の機械学習を利用した収集と分析

三木 謙志 1 村田 真樹 2 馬 青 3
1 鳥取大学工学部 電気情報系学科
2 鳥取大学大学院 工学研究科 情報エレクトロニクス専攻
3 龍谷大学 先端理工学部 数理・情報科学課程
1,2 \{b18t2111b@edu.murata@\}tottori-u.ac.jp
${ }^{3}$ qma@math . ryukoku . ac.jp

## 概要

本研究は Yahoo!ニュースのコメント欄を利用して 賛成を得やすい文章の特徴の発見を目的とする. 賛成した人数とコメント時刻の情報を使用し，同じ記事に対する 2 つのコメントのどちらが賛成を得や すい文章かを機械学習を用いて推定させた. 推定さ せた結果，BERT，ME，SVMの順で正解率が高くな り, 一番正解率が高い BERT で 0.7506 となった. 素性分析の結果，賛成を得やすい文章の素性だと納得 できる素性の発見はできていないが，賛成を得にく い文章の素性だと納得できる素性はいくつか発見 した.

## 1 はじめに

本研究は Yahoo!ニュースのコメント欄を利用して 賛成を得やすい文章の特徴の発見を目的とする. 賛成した人数とコメント時刻の情報を使用し, 同じ記事に対する 2 つのコメントのどちらが賛成を得やす い文章かを機械学習を用いて推定させる. 自動分類 のみならず，なぜ自動分類できたかの理由を素性分析の技術を利用し，賛成を得やすい文章にどのよう な特徴があるかを分析する。この分析は賛成を得や すい文章の作成につながると考えている.

## 2 先行研究

文献 [1] では，どういう文章構造が説得力を持つ かを調査している. 文献 [2] では, 政治のスピーチ で説得力のある発話にタグを付与したコーパスを作成している. 文献 [3] では, 説得を行う文章の構造 に関する調査をしている，説得力のある文章は，賛成を得やすい文章と類似するため，これらの研究は 本研究に関連する. しかし，これらの研究は，文章構造や文章のパターンに基づき説得力について分析
を行っている。一方，端らの研究 [4] では，感動を 与える文の作成支援のために感動を与える文の収集 とそれらの分析を行った。研究結果では感動を与え る文に多く出現する単語として，「人生」，「人々」，「我々」，「恋愛」，「喜び」などが確認された. 感動 を与えるということは人の感情を摇さぶる単語で あるので本研究においても注目すべき単語である と考える. 他にも似たような研究として村田らの研究 [5] [6] [7] も存在している.

## 3 提案手法

本研究では，最大エントロピー法 (ME), SVM, BERT の 3 種類の機械学習を利用し，知見獲得を 行う.

## 3.1 ME

最大エントロピー法とは, あらかじめ設定してお いた素性 $f_{j}(1 \leq j \leq k)$ 集合を $F$ とするとき, 式 (1) を満足しながらエントロピーを意味する式 (2) を最大にするときの確率分布 $p(a, b)$ を求め, その確率分布にしたがって求まる各分類の確率のうち, もっと も大きい確率値を持つ分類を求める分類とする方法 である.

$
\begin{array}{r}
\sum_{a \in A, b \in B} p(a, b) g_{j}(a, b)=\sum_{a \in A, b \in B} \tilde{p}(a, b) g_{j}(a, b) \\
\text { for } \forall f_{j}(1 \leq j \leq k) \\
H(p)=-\sum_{a \in A, b \in B} p(a, b) \log (p(a, b))
\end{array}
$

ただし, $A, B$ は分類と文脈の集合を意味し, $g_{j}(a, b)$ は文脈 $b$ に素性 $f_{j}$ があってなおかつ分類が $a$ の場合 1 となり, それ以外で 0 となる関数を意味する.ま

た, $\tilde{p}(a, b)$ は, 既知データでの $(a, b)$ の出現の割合を 意味する。

式 (1) は, 確率 $p$ と出力と素性の組の出現を意味す る関数 $g$ をかけることで出力と素性の組の頻度の 期待値を求めることになっており, 右辺の既知デー タにおける期待値と, 左辺の求める確率分布に基づ いて計算される期待値が等しいことを制約として， エントロピー最大化 (確率分布の平滑化) を行って,出力と文脈の確率分布を求めるものとなっている.

## 3.2 SVM

SVM は，空間を超平面で分割することにより 2 つ の分類からなるデータを分類する手法である. この とき，2つの分類が正例と負例からなるものとする と, 学習データにおける正例と負例の間隔 (マージ ン) が大きいものほどテストデータで誤った分類を する可能性が低いと考えられ，このマージンを最大 にする超平面を求めそれを用いて分類を行う.

## 3.3 BERT

BERT は, Bidirectional Encoder Representations from Transformers の略で，「Transformerによる双方向のエ ンコード表現」と訳され，2018 年 10 月に Google の Jacob Devlin らの論文 [8] で発表された自然言語処理 モデルである．従来の機械学習では，大量のラベル のついたデータを用意させ，処理を行うことで課題 に取り組む。しかし従来の手法に対し，BERT は事前学習でラベルのないデータをはじめに大量に処理 を行う．その後，ファインチューニングで少量のラ ベルのついたデータを使用することで課題に対応さ せる.

## 3.4 データ作成

データの作成には Yahoo!ニュースのコメント闌に ある，時刻と賛成した人数の情報を利用する．1,000 コメント以上投稿されている記事を対象に，コメン トと時刻の情報を収集している. 同じ記事に投稿さ れた 2 つのコメントにおいて，コメント時刻がより 最近, 賛成した人数がより多いという 2 点を満たす コメントを賛成を得やすい文章，もう一方を賛成を 得にくい文章だと定義する. そのような賛成を得や すい文章と賛成を得にくい文章を文章対として大量 に作成する。ただし，一度でも文章対を作成する際 に使用されたコメントは他の文章対では使用しない こととする. 例を以下に揭載する。
・コメント A，賛成:4,234, コメント時刻:4 時間前

・コメント B，賛成: 3,823 ,コメント時刻:2 時間前

・コメント C，賛成:6,923,コメント時刻:8 時間前

・コメント D，賛成:2,182,コメント時刻: 5 時間前

コメント Aを対の一方として文章対を作成する場合，定義に当てはめると文章対として使用できるも う一方はコメント D のみである。コメント Bを対 の一方として利用する場合も同様にコメント Dのみ であり，コメント C は高評価数は一番多いがコメン ト時刻が一番古いためどのコメントとも文章対を作成することはできない.

よってこの４つのコメントで定義に当てはまり，文章対として使用できるコメント対はコメント A と コメント D，コメント B とコメント Dのみである. しかし, 本研究では文章対作成の際に一度使用した コメントは利用しないので文章対として使用できる のはどちらか一つとなっている.このように定義に あてはまる文章対をコメントデータから大量に作成 する。

## 3.5 推定方法

作成した文章対の一方の文章を左側，もう一方を 右側として，左側の文章に"L"を右側の文章に"R"を 付与したものを学習データとする. 文章対を入力と L，"L"，"R"を出力とする．入力が与えられるとそ れに対する出力を推定できるように機械学習 (最大 エントロピー法 (ME)，SVM，BERT) で学習する。

3.4 節の文章対を学習データとした場合の例を以下に示す. 例のように作成した文章対に"L"と"R" と，それに対し文章を反転させたものも同時に学習 データとして使用する.

$
\begin{aligned}
& \text { ・ } \mathrm{L}, \text { コメント } \mathrm{A}, \text { コメント D } \\
& \text { ・R, コメント D, コメント A }
\end{aligned}
$

例のような学習データを機械学習で右側の文章対の場合に左側の"L" or "R"となるように学習する. そして別の右側の文章対を大力しその場合の"L" or "R"を推定する. 左側の文章が賛成を得やすいと判断した場合は"L"を，右側の場合は"R"を出力する。

## 3.6 素性

ME，SVM では文章対において左側の文章にある 単語は「 $\mathrm{L}$ : 単語」, 右側にある単語は「R：単語」と 「コメントの文字数」を素性として利用する. BERT に入力する際は素性の入力は不要なので文章対のみ

を大力している.

「コメントの文字数」の素性は「L: ～以下」,「L: より大きい」,「R：～以下 $\lrcorner, 「 \mathrm{R}$ ： より大きい」と しおり，〜には「10」,「20」.「50」,「100」,「200」, $「 500 」, 「 1,000 」$ のいずれかの数字がコメントの文字数に応じて入る．また，「コメントの文字数」を素性とせずに単語だけを素性とする実験も行ってい る. ME は正規化 $a$ 値, SVM は分離平面を用いて素性分析を行う．MEでは，正規化 $\mathrm{a}$ 值の高いものが 重要な素性となる．SVM では「L：単語」などの 1 単語を入力し, 分離平面からの距離が大きいものが 重要な素性となる. 文章対を用いた BERT の素性分析は困難なため行っていない.

## 4 実験

## 4.1 推定実験

1,000 コメント以上を持つ記事を 300 記事分収集 し，同記事内の賛成数とコメント時刻の 2 つの条件 を満たすコメントから文章対を作成している。対と するコメントの組み合わせは条件を満たすコメン トからランダムに決定している. 作成した 16,342 組の文章対のうち，8,172 組を学習データ，8,170 組 をテストデータとする．BERT では 8,172 組の学習 データのうち，2,045 組を検証データ，6,129 組を訓練データとして実験を行っている。

表 1 は機械学習により"L" or "R"のどちらの文章が 賛成を得やすいかを推定したときの正解率を示して いる.

表 1 機械学習の性能評価

表 1 に示されているように BERT，ME，SVM の 順で正解率が高いことがわかる。一番性能が高い BERT で 0.7506 という正解率を得た. また，今回の 実験では ME，SVM ともに文字数の素性の有無で性能が大きく変化することはなかったが文字数の素性 を利用するほうが正解率がわずかに高くなった.

## 4.2 ME の素性

ME の素性分析の結果で得られた素性の上位 10 個 を表 2 と表 3 に示す。表 $2 \mathrm{ME}$ の素性

表 $3 \mathrm{ME}$ の素性 (文字数素性無し)

表 $4 \mathrm{ME}$ の素性 (文字数素性のみ)

表 2 と表 3 から文字数の素性の有無では賛成を得 やすい文章の素性にはあまり変化が見られなかっ た. ME の文字数素性だけを抜き出したのが表 4 で ある。表 4 からは 100 字より多い文字数の文章が一番賛成を得やすい文量だと読み取れる，

## 4.3 SVM の素性

SVM の素性分析の結果で得られた素性の上位 10 個を表 5 と表 6 に示す.

表 5 SVM の素性

表 6 SVM の素性 (文字数素性無し)

表 7 SVM の素性 (文字数素性のみ)

表 5 と表 6 から読み取れるようにSVM もME と 同様に文字数の素性の有無では賛成を得やすい文章
の素性にはそこまで変化が見られなかった．SVM の文字数素性だけを抜き出したのが表 7 である．表 7 からは 200 字より多い文字数の文章が一番賛成を 得やすい文量だと読み取れる，

## 4.4 素性分析

本研究では素性分析を用いて重要素性の獲得をす る. 4.2 節と 4.3 節の表 2 から表 7 に ME，SVM の機械学習で獲得できた上位 10 素性を掲載している.良い素性とされている「う一ん」，「予防」，「現場」，「任意」などは上位 10 素性に共通して現れている が，これらの単語が要因で賛成を得ているとは考え にくい。逆に悪い素性に共通して現れている「バ 力」，「幼稚」などは抽象的に誰かを批判する単語な のでこれらの単語が含まれている文章は内容がな く，賛成を得にくいのではないかと考えている.

また，ME では 100 文字より大きい文字数の文章 が賛成を得やすいとされ，SVMでは 200 文字より大 きい文字数の文章が賛成を得やすいとされているこ とから，賛成を得やすい文章にはある程度の文字数 が必要になるのではないかと考えている.

## 5 おわりに

本研究では賛成を得やすい文章の特徴の発見を目的としている. Yahoo!ニュース内にある 1,000 コメ ント以上持つ 300 記事からコメント時刻と賛成した 人数の情報を使用し, 同じ記事に対する 2 つのコメ ントを比較する。その際にコメント時刻がより最近 であるコメント，賛成した人数がより多いコメント の 2 点を満たすコメントを賛成を得やすい文章だと 定義する。この 2 点を満たすコメントで文章対を大量に作成し，どちらの文章が賛成を得やすいかを教師あり機械学習を利用し推定させた. 推定させた結果，BERT，ME，SVM の順で正解率が高くなってい る. 一番性能が高い BERT の正解率が 0.7506 となっ た. 素性分析では，賛成を得やすいとされた素性に 納得できる単語はなかったが，賛成を得にくいとさ れた素性には納得できる素性が存在した.

今後は分野によって良い素性は変化するかなどの 分野依存性や高評価だけでなく定義の部分で低評価数も考慮した賛成を得やすい文章の分析を行い，今回の研究と比較し，違いの発見などを目指す.

## 参考文献

[1] 石黒圭. 日本語学習者の作文における文章構成と説得力の関係. 一橋大学国際教育センター紀要, Vol. 8, pp. 3-14, 2017.

[2] Marco Guerini, Carlo Strapparava, and Oliviero Stock. Corps: A corpus of tagged political speeches for persuasive communication processing. Journal of Information Technology \& Politics, Vol. 5, No. 1, pp. 19-32, 2008.

[3] Christian Stab and Iryna Gurevych. Identifying argumentative discourse structures in persuasive essays. In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 46-56, 2014.

[4] 端大輝, 村田真樹, 徳久雅人. 感動を与える文の自動取得と分析. 言語処理学会第 18 回年次大会, pp. 303-306, 2012.

[5] 村田真樹, 西村涼, 金丸敏幸, 土井晃一, 松岡雅裕, 井佐原均. 情報の重要度を決める要因の抽出・分析と重要度の自動推定. 言語処理学会第 14 回年次大会, pp. 907-910, 2008

[6] 村田真樹, 西村涼, 金丸敏幸, 土井晃一, 鳥澤健太郎. ユーザ個人の興味の影響を考慮した情報の重要度を 決める要因の抽出 - 分析. 言語処理学会第 15 回年次大会, pp. 554-557, 2009.

[7] Masaki Murata, Kiyotaka Uchimoto, Masao Utiyama, Qing Ma, Ryo Nishimura, Yasuhiko Watanabe, Kouichi Doi, and Kentaro Torisawa. Using the maximum entropy method for natural language processing: Category estimation, feature extraction, and error correction. Cognitive Computation, Volume 2, Issue 4, pp. 272-279, 2010.

[8] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018


# 日本語法律分野文書に特化した BERT の構築

宮崎桂輔菅原祐太山田寛章 徳永健伸
東京工業大学 情報理工学院
\{miyazaki.k.am@m, sugawara.y.ag@m, yamada.h.ax@m, take@c\}.titech.ac.jp

## 概要

本論文では日本語の法律分野に特化した BERT モデルを提案する。民事事件判決書コーパスを用 い，BERTを一から事前学習するモデルと，既存の 汎用日本語 BERT に追加事前学習するモデルを作成 した。実験より，民事事件判決書を用いた Masked Language Model，Next Sentence Prediction タスクにつ いては既存の汎用日本語 BERT に追加事前学習する 手法が最も良い正解率を示すことがわかった.

## 1 はじめに

近年，単言語，特定分野の文書に関するタスクに おいて，言語にのみ特化した汎用言語モデルに代わ りドメインに特化した言語モデルが注目されてい る. 英語の科学論文 [1], 生物医学論文 [2], 法律文書 [3] を用いて構築したドメイン特化 BERT が複数 の後段タスクで汎用 BERTを超える性能を示してお り，タスクによっては最先端の結果を示している.日本語においても, 医学分野 [4], 金融分野 [5] など でドメインに特化した BERT が汎用日本語 BERTを 超える性能を示している.

本論文では日本語の法律分野に特化した BERT モ デルを提案する。なお，英語 [3] やフランス語 [6], ルーマニア語 [7] などで法律分野に特化した BERT を構築する先行研究がある．また，最高裁判所の民事事件の判例を使用して BERT を事前学習する先行研究 [8] があるが，本論文では文書数にして 10 倍以上のより大規模なコーパスを用いて事前学習を 行った.

## 2 モデルの構築

## 2.1 日本語法律分野コーパス

本研究では，日本語法律分野コーパスとして株式会社 LIC より提供された日本の民事事件の判決書 (以下，民事事件判決書コーパスと記載)を用いた。
コーパス中の文書数は 170,320 , 文書当たりの平均文字数は約 11,300 字，コーパス全体のデータサイズ は約 5.4GB である.

## 2.2 作成するモデル

英語法律分野文書に特化した BERTを構築する 先行研究 [3] に倣い, 二種類のモデルを作成した. どちらもモデルの構造として BERT-BASE [9]を用 いた.

JLBERT-SC BERT を民事事件判決書コーパスを 用いて一から事前学習したモデルである。語彙は民事事件判決書コーパスから作成した.

JLBERT-FP 既存の汎用日本語 BERT に民事事件判決書コーパスによる追加事前学習を行ったモデル である. 語彙は既存の汎用日本語 BERT のものをそ のまま使用した。

## 3 実験設定

## 3.1 訓練データ, テストデータへの分割

NVIDIA による BERT の実装 [10]を参考に，後述 の文分割を行った後の文の数の比がおよそ 9:1 とな るように，コーパス内の文書を訓練データ，テスト データに分割した。

## 3.2 民事事件判決書コーパスのトークン化

民事事件判決書コーパスに対し, データの前処理 および文分割，形態素分割，サブワード分割による トークン化を行った。

データの前処理 前処理として, 民事事件判決書 コーパスに含まれる判決書の先頭に記載されている 以下の情報は削除した.

・コーパス提供者が割り振った判例番号
- 民事事件記録符号規程により裁判所が付ける事件番号
- 事件名

また，インデントに使われている全角スペースはす べて削除し，それ以外の全角スペースが複数並んで いる箇所についてはスペース一つに置換した。

文分割 次に文分割を行った。句点の直後に括弧閉じが存在する場合のみを例外として扱い，それ以外のすべての改行及び句点を文末とした. 文分割し たコーパスの特徴は付録の表 4 の通りである。

形態素分割 次に JUMAN++ [11] を用いて文を形態素に分割した. JUMAN++の入力文長制限である 4,096 bytes を超える文については，4,096 bytes を超 えないように読点の位置で文を分割した. この処理後も 4,096 bytes を超える文については，文頭から 4,096 bytes を超えないように貪欲に文字列を取って 一文とみなすことを繰り返すことで文分割を実施 した.

サブワード分割 最後に，BPE [12] によるサブ ワード分割を行った. JLBERT-FPでは，柴田らが公開している既存の汎用日本語 BERT [13] の語彙を用 いて BPEを適用した。また，JLBERT-SC では，訓練データから語彙を学習し, 学習した語彙を用いて BPE を適用した。なお，JLBERT-SC の語彙は汎用日本語 BERT に合わせ，語彙数を 32,000 とした. サブ ワード分割を行ったコーパスの特徴は付録の表 5,6 に示す通りである.

## 3.3 モデルの事前学習の設定

NVIDIA による BERT の実装 [10] を参考に，事前学習の設定を行った。

## 3.3.1 事前学習で扱うタスク

BERT の事前学習では，以下の二つのタスクで学習を行う。

Masked Language Model (MLM) ランダムにマス キングされた文中のトークンについて，マスキング される前の正しいトークンを予測するタスクであ る.なお，マスキングの対象とされたトークンのう ち，80\%は [MASK] トークンに，10\%はランダムな トークンに置き換えて，残りの $10 \%$ は元のトークン のままモデルに入力する.

Next Sentence Prediction (NSP) 与えられた二文 が文書内で連続していたかどうかを予測するタスク である．文書内に実在する連続する 2 文を正例，文書内からランダムに抽出した連続しない 2 文を負例とし，正例と負例を $50 \%$ ずつの割合にして学習を 行う.

## 3.3.2 事前学習の流れ

事前学習は, phase 1 と phase 2 の二段階に分けて 行った. phase 1 では，入力文の長さの上限を 128 トークンとし, MLM タスクでは一文あたり $\min (20$,文中のトークン数の $15 \%$ ) トークンをマスクした. phase 2 では， 入力文の長さの上限を 512 トークンと し， MLM タスクでは一文あたり $\min (80$, 文中のトー クン数の $15 \%$ ) トークンをマスクした.

## 3.3.3 モデルの詳細, ハイパーパラメータ

JLBERT-SC，JLBERT-FP 共にモデルの構造は BERT-BASE [9] とした. JLBERT-FP では, 初期パラ メータとして柴田らが公開している汎用日本語 BERT [13] の BASE WWM 版のパラメータを使用し た. optimizerには LAMB [14] を使用した. その他 のハイパーパラメータは付録の表 8,9 に記す.な お，本設定では phase 1 における 1 epoch はミニバッ チ入力回数約 68 万回，約 5,300steps(1GPU の場合), phase 2 における 1 epoch はミニバッチ入力回数約 192 万回，約 3,700steps(1GPU の場合) に対応する.

## 3.3.4 実行環境

BERT の事前学習には, NVIDIA RTX A6000 GPU を 4 つ使用した. モデルの事前学習にかかった時間 は, phase 1 が約 28 時間，phase 2 が約 18 時間，合わ せて約 46 時間であった。

## 3.4 JLBERT-FP の学習データ数削減によ る性能の変化

追加実験として，学習データ量の違いによる性能 の変化を検証するため，学習データの数を段階的 に削減して JLBERT-FP の事前学習を行い, MLM, NSP の各タスクにおける性能を比較した。

## 3.4.1 学習データ

学習データとして, JLBERT-FP の学習データを文書単位でおよそ $50 \%$ ，25\%に削減したデータセッ トを用意した.これらのデータセットに関する 情報は付録の表 7 の通りである.これらのデータ セットを用いて事前学習を行ったモデルを以下 JLBERT-FP-50\%，JLBERT-FP-25\%と略記する。

## 3.4.2 実験設定

実験設定は以下に記載する事項を除き 3.3 と同じ とした. JLBERT-FP-50\%, JLBERT-FP-25\%の事前学習の設定には， 3.3 と比較して以下の変更がある.

・GPUを 1 つ用いて学習を行った. 実効バッチサ イズは $1 / 4$ となっている.

・学習 step 数は変わらず実効バッチサイズが $1 / 4$ となっていることから，ミニバッチ入力回数は 1/4 となっている.

・学習データ数がそれぞれおよそ $1 / 2 ， 1 / 4$ ，ミニ バッチ大力回数が $1 / 4$ となっていることから， epoch数はそれぞれおよそ $1 / 2$ 倍, 等倍となって いる.

## 3.5 非法律ドメインの文書分類

法律ドメインに特化して事前学習を行った BERT の，法律以外のドメインにおけるタスクの性能を検証する。ここでは， livedoor ニュースコーパス [15] を用いて，JLBERT-SC，JLBERT-FP と汎用日本語 BERT の間で性能比較を行った。

## 3.5.1 データセット，タスク

livedoorニュースコーパスは，「livedoorニュース」内の 9 つのカテゴリのニュース記事からなるコー パスである. 本研究では, 記事の内容からその記事 のカテゴリを予測する文書分類タスクを行った．記事数は 7,367 件であり，データセットに占める各力 テゴリの記事の割合が等しく記事数がおよそ $8: 1: 1$ となるように学習，テスト，検証データセットに分割した。学習，テスト，検証データセットそれぞれ について，各カテゴリに属する記事の件数は付録の 表 10 の通りである.

## 3.5.2 livedoor コーパスのトークン化

livedoorニュースコーパスに対し，データの前処理および文分割，形態素分割，サブワード分割によ るトークン化を行った. 本研究では，コーパス内の 各文書の先頭三行 (記事のリンク，記事作成日時,記事の題名) を削除することとした。また，文書内 の半角英数字，記号については，全て全角のものに 変換した. 文分割は改行のみを文末とした. 形態素分割，サブワード分割については，3.2 と同様に JUMAN++および BPE を用いた. モデルに入力する トークン列の長さの上限は 512 とした.

## 3.5.3 モデルの詳細, ハイパーパラメータ

比較するモデルとして，JLBERT-SC，JLBERT-FP および柴田らが公開している汎用日本語 BERT [13] の BASE WWM 版を用いた。optimizer は Adam [16]表 1 事前学習の各タスクの正解率

表 2 livedoorニュース文書分類タスクの正解率

とし, 学習率を $\left.\{10^{-3}, 10^{-4}, 10^{-5}, 10^{-6}\right.\}$ の中で探索し た. バッチサイズは 32 とした.

## 4 実験結果

## 4.1 JLBERT-SC, JLBERT-FP の事前学習

作成した JLBERT-SC，JLBERT-FP，JLBERT-FP$50 \%$ ，JLBERT-FP-25\%それぞれについて，学習デー 夕全体に対する MLM，NSP の正解率を表 1 に示す. この結果から，民事事件判決書の MLM，NSP では，一から民事事件判決書コーパスで事前学習を行う JLBERT-SC より汎用日本語 BERT に民事事件判決書 コーパスによる追加事前学習を行う JLBERT-FP の 方が優れた手法であると言える。また，追加事前学習に用いるデータの量は多ければ多いほど良いこと がわかる。したがって，コーパスサイズを増やすこ とで更なる性能向上が期待できる。

また，各ステップにおけるミニバッチに対する loss および MLM，NSP の正解率の推移をそれぞれ 図 1, 2, 3 に示す. なお, 図 3 中の loss とは, MLM, NSP それぞれの loss の和である。この図から，MLM については学習データからさらに学習する余地があ ることがわかる。

さらに, phase 2 におけるテストデータに対する MLM，NSP の正解率の推移を表 3 に示す。この結果より，JLBERT-FP，JLBERT-SC 共に phase 2 の step 数を増やすほどモデルの性能が良いことがわかる. したがって， step 数を増やすことで更なるモデルの 性能向上が期待できる.
表 3 phase 2 における各タスクの正解率推移

図 1 実効バッチに対する MLM 正解率の推移

## 4.2 livedoor ニュース文書分類結果

各モデルの文書分類タスクにおける正解率を表 2 に示す. 民事事件判決書コーパスのみから語彙の学習，事前学習を行ったモデルである JLBERT-SC が 汎用日本語 BERT に並ぶ正解率を示している. 今回使用した汎用日本語 BERT が事前学習時に最大入力 トークン長を 128 とした学習のみ行なっていること を踏まえると，提案手法において事前学習時に最大入力トークン長を 128 とした学習 (phase 1) に加えて 最大入力トークン長を 512 とした学習 (phase 2) を実施していることの有効性が推測できる。また，汎用日本語 BERT に対する民事事件判決書コーパスによ る追加の事前学習は, 法律分野以外のドメインのタ スクにおいて BERT の fine-tuning に悪影響を及ぼす ことがわかる.

## 5 おわりに

本論文では日本語の法律分野に特化した BERT モ デルを作成した. 実験の結果，既存の汎用日本語

図 2 実効バッチに対する NSP 正解率の推移

図 3 実効バッチに対する loss の推移

BERT に民事事件判決書コーパスによる追加事前学習を行う手法により，テストデータに対する Masked Language Model，Next Sentence Prediction タスクの正解率が最も高くなることがわかった. また, 学習 データ数や学習 step 数を増やすことによりモデルの 更なる性能向上が期待できることが示された. 本モ デルの後段タスクにおける有用性を実証するため に，JLBERT-SC，JLBERT-FPを用いて判決書の重要箇所抽出タスクを行う [17].

## 謝辞

本研究で使用した判決書データは株式会社 LIC から提供を受けたものである. 本研究は，JST， ACT-X，JPMJAX20AM の支援を受けたものである.

## 参考文献

[1] Iz Beltagy, Kyle Lo, and Arman Cohan. SciBERT: Pretrained language model for scientific text. In EMNLP, 2019.

[2] Jinhyuk Lee, Wonjin Yoon, Sungdong Kim, Donghyeon Kim, Sunkyu Kim, Chan Ho So, and Jaewoo Kang. BioBERT: a pre-trained biomedical language representation model for biomedical text mining. 092019.

[3] Ilias Chalkidis, Manos Fergadiotis, Prodromos Malakasiotis, Nikolaos Aletras, and Ion Androutsopoulos. LEGALBERT: The muppets straight out of law school. In Findings of the Association for Computational Linguistics: EMNLP 2020, pp. 2898-2904, Online, November 2020. Association for Computational Linguistics.

[4] Yoshimasa Kawazoe, Daisaku Shibata, Emiko Shinohara, Eiji Aramaki, and Kazuhiko Ohe. A clinical specific BERT developed using a huge japanese clinical text corpus. PLOS ONE, Vol. 16, No. 11, pp. 1-11, 112021.

[5] 鈴木雅弘, 坂地泰紀, 平野正徳, 和泉潔. 金融文書を用 いた事前学習言語モデルの構築と検証. 人工知能学会第 27 回金融情報学研究会 (SIG-FIN), 2021.

[6] Stella Douka, Hadi Abdine, Michalis Vazirgiannis, Rajaa El Hamdani, and David Restrepo Amariles. JuriBERT: A masked-language model adaptation for French legal text. In Proceedings of the Natural Legal Language Processing Workshop 2021, pp. 95-101, Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[7] Mihai Masala, Radu Cristian Alexandru Iacob, Ana Sabina Uban, Marina Cidota, Horia Velicu, Traian Rebedea, and Marius Popescu. jurBERT: A Romanian BERT model for legal judgement prediction. In Proceedings of the Natural Legal Language Processing Workshop 2021, pp. 86-94, Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[8] 星野玲那, 狩野芳伸. 司法試験自動解答を題材にした BERT による法律分野の含意関係認識. 言語処理学会 第 26 回年次大会, 2020.

[9] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[10] NVIDIA. BERT For PyTorch,（2022-01 閲覧）. https: //github.com/NVIDIA/DeepLearningExamples/tree/ master/PyTorch/LanguageModeling/BERT.

[11] Arseny Tolmachev and Sadao Kurohashi. Juman++ v2: A practical and modern morphological analyzer. 言語処理学会 第 24 回年次大会, 岡山, 2018.

[12] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1715-1725, Berlin, Germany, August 2016. Association for Computational Linguistics.

[13] 柴田知秀, 河原大輔, 黒橋禎夫. BERT による日本語構文解析の精度向上. 言語処理学会 第 25 回年次大会, 名古屋, 2019 .

[14] Yang You, Jing Li, Sashank Reddi, Jonathan Hseu, Sanjiv Kumar, Srinadh Bhojanapalli, Xiaodan Song, James Demmel, Kurt Keutzer, and Cho-Jui Hsieh. Large batch optimization for deep learning: Training BERT in $76 \mathrm{~min}-$ utes. In International Conference on Learning Representations, 2020.

[15] 株式会社ロンウイット. livedoorニュースコー パス，（2022-01 閲覧）.http://www.rondhuit.com/ download.html\#ldcc.

[16] Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In Yoshua Bengio and Yann LeCun, editors, 3rd International Conference on Learning Representations, ICLR 2015, San Diego, CA, USA, May 7-9, 2015, Conference Track Proceedings, 2015.

[17] 菅原祐太, 宮崎桂輔, 山田寞章, 徳永健伸. 日本語法律 BERT を用いた判決書からの重要箇所抽出. 言語処理学会 第 28 回年次大会, 2022.

## 付録

表 4 コーパス文分割時のデータ

表 5 トークン化されたコーパスのデータ (JLBERT-SC)

表 6 トークン化されたコーパスのデータ(JLBERT-FP)

表 7 token 化されたコーパスのデータ (JLBERT-FP-n\%)

表 8 モデルのハイパーパラメータ

表 9 事前学習のハイパーパラメータ

表 10 livedoorニュースコーパスのカテゴリ


# 単語分散表現を用いた新型コロナウイルスによる意味変化検出

高橋寛武 石原祥太郎 ${ }^{1}$ 白井穂乃 1
1 株式会社日本経済新聞社
hiromu.takahashi56@gmail.com \{shotaro.ishihara,hono.shirai\}@nex.nikkei.com

## 概要

本稿では日本語の新聞記事データを題材に，新型 コロナウイルス感染症で意味が変化した単語を検出 する手法を提案する。最初に，実データを用いて時系列の推移で単語分散表現の性能が悪化する可能性 を検証し，単語の意味変化を検出する意義を議論し た. 次に先行研究に独自の工夫を施した手法を用い て, 意味が変化した「コロナ」「まん延」といった単語を導出した. 最後に単語分散表現全体の変化度合 いを計算する方法を提案し，新型コロナウイルス感染症による単語の意味変化の大きさを確認した.

## 1 はじめに

新型コロナウイルス感染症の世界的な流行を背景 に，日常生活にもさまざまな変化が生じている．変化したものの一つに言葉の使い方があり, 新しい生活様式に応じた新語や流行語が登場した. 2020 年度の「ユーキャン新語・流行語大賞」では, 新型コ ロナウイルス感染症の集団感染を避けるための行動 を表す「3密（密閉、密集、密接）」が年間大賞に選 ばれた1) 「密」という語自体は従来から存在してい たが，新しい意味を伴い日常で使用されている.

このような単語の意味変化は semantic shifts や semantic change と呼ばれ，言語学・社会学的な意義 だけではなく, 自然言語処理・検索などの情報科学 の観点でも関心が寄せられている [1]. たとえば近年は大規模事前学習言語モデルが飛躍的な発展を遂 げているが，このような言語モデルの性能は単語の 意味変化に伴い悪化することが示されている [2][3].人間が扱う言語の変化については古くからさま ざまな観点で研究されてきた [4]. 近年は大規模な コーパスが利用可能になると共に, 単語分散表現 [5] を用いて単語の意味変化を捉えようとする取り組み が加速した [6]. たとえば Gulordava ら [7] は， 1960 年代と 1990 年代のコーパスにおける分布を比較し

1) https://www.jiyu.co.jp/singo/index.php?eid=00037「sleep」という単語が睡眠障害に関してより否定的 な意味合いになったという文化的な変化を確認し た. 単語分散表現の設計についても，コーパスを時間軸で分割するのではなく通時的に捉えたり [8], 時系列性に加えて文脈も考慮したり [9] と，意味変化 の影響を軽減する取り組みも存在する。新型コロナ ウイルス感染症関連では Guo ら [10] が，Twitter ${ }^{2}$ か ら抽出したコーパスを時系列で分析し, 単語の意味 の変化を観察した. 日本語での研究事例は少なく,単語の意味変化の検出手法は確立されていない. 同様に，時系列に沿った意味変化に伴う単語分散表現 の性能悪化の可能性についても議論が少ない.

本研究では日本語の新聞記事データを題材に，新型コロナウイルス感染症で意味が変化した単語を検出する手法を構築する. 第 2 章では初めに，時系列 に沿った意味変化に伴う単語分散表現の性能悪化に ついて検証し, 近年の自然言語処理領域の文脈で単語の意味変化を検知する意義を議論する．次に第 3 章では提案手法を説明し，第 4 章では実験結果につ いて述べる. 最後に第 5 章では本稿を総括する.

## 2 単語の意味変化に伴う性能劣化

本章では，時系列に沿った意味変化に伴う単語分散表現の性能悪化を検証する。具体的には新型コロ ナウイルス感染症の流行前後における性能の違いと 時系列ごとの性能の違いという 2 つの設定で予備実験を行う.

## 2.1 word2vec モデルの構築

単語分散表現の獲得には, 先行研究でも数多く利用されている word2vec[5]を利用する。コーパスに は，株式会社日本経済新聞社が提供するニュース配信サービス「日経電子版 ${ }^{3)}$ の新聞記事データを用 いる. 取得期間はサービスが開始された 2010 年 3 月 23 日 2021 年 11 月 30 日である. 予備実験では,

特定の期間を切り出して学習用に用いることで，単語分散表現の違いを検証する。

word2 vec モデルの構築には， gensim[11]を利用す る.テキストの前処理として HTML タグやURL を削除し，分かち書きには MeCab[12]，辞書には mecab-ipadic-NEologd[13]を用いる.

## 2.2 word2vec モデルの評価

日経電子版の新聞記事データを用いて，日経電子版の新聞記事データ（2010 年 3 月 23 日〜2019 年 10 月 31 日）で学習した word2vec モデルの性能を検証する。比較対象には，WikiEntVec[14]，白ヤギ4), chiVe[15]の 3つの word2vec モデルを用いる.

モデルの比較には，記事に含まれる単語から記事 のジャンルを予測する多クラス分類問題を設定す る.キーワードそれぞれの単語分散表現の平均 [16] を入力とし, 分類器には勾配ブースティング決定木 の LightGBM[17]を用いる. キーワードは, 記事本文から固有表現抽出した名詞を中心に，記者や編集者が人手で付与している.

ジャンルは 8 種類で, 評価指標は正答率とした。検証用データセットとしては 2020 年 1 月 1 日〜 2021 年 11 月 30 日の新聞記事データを使った. 日経電子版の新聞記事データで構築した word2vec モデ ルは最も高い正答率を示し，今回構築した word2vec モデルは日経電子版の新聞記事データを用いた分析 で使うモデルとして有用だと示唆された．評価実験 の詳細は、Appendix A に示す.

## 2.3 予備実験 1: 流行前後の性能の変化

1 つ目の予備実験では，新型コロナウイルス感染症の流行前後の word2vec モデルの性能の違いを比較する. 具体的には，記事に付与されたキーワード を入力として，コロナ後の記事データを対象に記事 のジャンルを予測するタスクに取り組む. これによ り「新型コロナウイルス感染症の流行前後では単語 の意味変化が多く，コロナ後の記事データを分析す る場合， word2vec モデルとしてコロナ前モデルより もコロナ後モデルを利用する方が予測性能が高い」 という仮説を検証する. 入力は 2.2 節の設定と同様, キーワードそれぞれの単語分散表現の平均を用い，分類器には LightGBMを用いる.

コロナ前モデルは 2018 年 1 月 1 日 2019 年 8 月

表 1 新型コロナウイルス感染症の流行前後の性能の変化

表 22021 年の記事データに対する性能の変化 word2vec のみ

年過去のデータ で学習

31 日，コロナ後モデルは 2020 年 1 月 1 日〜2021 年 8 月 31 日の日経電子版の新聞記事データで学習 する。検証用データセットとしては 2021 年 9 月 1 日〜2021 年 11 月 30 日の新聞記事データを用いる. ここでコロナ前後の変化を評価するため，共通語を 定義する. 共通語は 2 つの word2vec モデルで語彙 が共通している語である.キーワードが全て共通語 の 19356 記事 (共通語のみ)，一つでも共通語ではな い語を含む 4258 記事 (共通語以外含む)，両者を合 わせた 23614 記事 (すべて) の 3 観点で性能を評価す る. また，評価指標は正答率とする。乱数の seed を 変えて 10 回実験した平均の結果を表 1 に示す.い ずれの観点でも，コロナ後モデルの方が性能が高い という結果が得られた. 特に共通語のみをキーワー ドに含む場合，つまり単語の意味変化による影響が 最も強く出る条件下で性能差が確認された。

## 2.4 予備実験 2: 時系列の性能劣化の推移

2 つ目の予備実験では Kutuzov ら [1] と同様に，各年 1 年分のデータで学習させたモデルを使って時系列の性能の変化を検証する．タスクは 2.3 節の予備実験と同じく, キーワードを入力として，LightGBM を用いて記事のジャンルを予測する。

検証では LightGBM の学習用にも過去のデータを 使うか否かで 2 つの実験を設定する．過去のデータ を使う設定 (word2vec と LightGBM を過去のデータ

で学習)では, word2vec モデルを各年のデータで学習し，LightGBM の学習・検証に 2021 年 1 月 1 日〜 11 月 30 日のデータを用いる. 過去のデータを使わ ない設定 (word2vec のみ過去のデータで学習) では, word2vec モデルと LightGBM を各年のデータで学習 し，検証には 2021 年 1 月 1 日〜 11 月 30 日のデータ を利用する. 結果は表 2 の通りである. どちらの設定でも概ね学習時期が過去になるほど性能が劣化す ることが確認できた。

## 2.5 単語の意味変化を検知する意義

2 つの予備実験を通じ，word2vec モデルの性能が 時間の経過に伴い劣化し, その一つの要因は単語の 意味変化にあると示唆された．近年の自然言語処理 の領域では, 大規模なコーパスで事前学習した単語分散表現を活用する場面が多い. 単語の意味変化の 検知は，単語分散表現を活用するモデルの性能劣化 を議論できる点で意義のある取り組みと言える。

## 3 提案手法

本章では，提案手法である，意味が変化した単語 の検出手法について説明する．新型コロナウイルス 感染症における単語の意味変化を Twitterコーパス で分析した Guo ら [10] の先行研究を基に単語の意味変化の度合いを計算し, 本研究の目的に応じて単語の出現頻度による絞り込みを実施する。

## 3.1 ベクトル空間のマッピング

最初に，単語の意味変化を検出するため，学習済 みの 2 つの word2vec モデルのベクトル空間に回転 を施し，同一の空間に落とし込む手法について説明 する。まず，意味変化の割合は単語頻度の負の累乗 に従うという考え方 [18] に基づき，登場頻度の高い 単語の意味は時間の経過とともに変化せず局所的 な構造は保存されていると仮定を置く.この仮定の 下，Guo ら [10]が提案する手法を利用する．Guo ら [10] の手法は, 学習済みの 2 つの word2vec モデルを 入力とし, 回転行列を導出して座標軸を揃える手法 である. 具体的には, word2vec モデル $i$ で出現頻度 が上位 1000 件の単語行列 $W_{i}$ と, word2vec モデル $j$ で同じ 1000 個の単語から作った行列 $W_{j}$ から, 特異値分解の応用で最適化問題を解く.

座標軸を揃えるマッピング処理を実施した後，各 モデルにおける単語分散表現のコサイン類似度を計算することで，単語の意味変化の度合いを観測でき
る.しかし片方向のみの変換では類似度は平均して 低くなるため [19], Guo ら [10] は逆方向に同様の処理を適用し，単語の安定性 (stab) という観点で単語の意味変化を捉えている. モデル $i$ とモデル $j$ を 比較した単語 $w$ の stabを以下のように定義する. $s t a b$ が小さいほど 2 つの word2vec モデルのベクト ル空間での違いが大きく, 単語の意味変化している とみなす.

$
\begin{gathered}
\operatorname{stab}(w)=\frac{\operatorname{sim}_{i j}(w)+\operatorname{sim}_{j i}(w)}{2} \\
\operatorname{sim}_{i j}(w)=\cos -\operatorname{sim}\left(R^{j i} R^{i j} V_{w}^{i}, V_{w}^{i}\right)
\end{gathered}
$

ただし， $\cos -\operatorname{sim}$ はコサイン類似度， $R^{j i}$ はモデ ル $j$ から $i$ のマッピングに用いた回転行列, $V_{w}^{i}$ は単語 $w$ のモデル $i$ での単語分散表現を意味する.

## 3.2 単語の出現頻度による絞り込み

提案手法では，stabを利用して意味変化した単語 を列挙する際，出現頻度の情報を用いて，過去の モデルでのみ数多く登場している一部の用語を除外する。具体的には，コロナ後（2020～2021 年）の word2 vec モデルでの出現頻度（100万語当たりの調整頻度）の年間平均，およびコロナ前（2010～2019 年）の年間平均と比較した増加率を各単語について 計算し，それぞれの閾値で絞り込みを実施する. 単語の出現頻度による補正は，自然言語処理分野では TF-IDF[20] などで伝統的に利用されている.

## 3.3 モデル全体の変化度合いの計算

単語の $s t a b$ を利用したモデル全体の変化度合い の計算方法を提案する. モデル全体の変化度合いは モデル内の単語の変化度合いと相関しているとみな し, 全単語の $s t a b$ の平均値を採用する.この値が 小さいほど，モデル全体の変化度合いが大きい.

## 4 実験

提案手法の有効性を検証するため，実際に新型コ ロナウイルス感染症の流行前後の word2vec モデル をマッピングする.

## 4.1 ベクトル空間のマッピング

実験ではコロナ前とコロナ後の 2 つのモデルを用 いた. コロナ前モデルは 2010 年 3 月 23 日〜2019 年 10 月 31 日，コロナ後モデルは 2020 年 1 月 1 日〜 2021 年 8 月 31 日の日経電子版の新聞記事データで

図 1 マッピング後のベクトル空間の例

図 2 モデル全体の変化度合いの年次推移

学習した word2vec モデルである. マッピングには， Hamilton ら [18] が公開している実装5)を用いた。

マッピング後のベクトル空間について，「コロナ」 という単語に焦点を当てて可視化した結果を図 1 に 示す. 可視化のために, $\mathrm{t}-\mathrm{SNE}[21]$ を用いて 300 次元 のベクトル空間を 2 次元に圧縮した. 左下の青色の 四角で示した「コロナ」周辺の単語はコロナ前，右上の赤色の丸で示した「コロナ」周辺の単語はコロ ナ後の単語を表している。コロナ前は工業や飲食物 の文脈で利用されていた単語が，コロナ後に感染症 や災害の文脈に変わっていったことが読み取れる。

## 4.2 単語の出現頻度による絞り込み

$s t a b$ が小さかった単語の一覧を確認すると，新型 コロナウイルス感染症をはじめエボラ出血熱やデン グ熱など，感染症関連の単語ばかりが登場している (Appendix B). 提案手法である，単語の出現頻度の 情報を用いて絞り込みを適用した結果を以下に示 す. 具体的には「コロナ後の word2vec モデルでの

出現頻度の年間平均が 15 回より多い」かつ「増加率が 500 \%より大きい」という条件を適用した.

単語の出現頻度による絞り込み

感染拡大, 新型コロナウイルス, 感染, 感染症, 感染者, ウイルス, ウイルス感染, ワクチン, 感染力,変異, 新型肺炎, まん延, パンデミック, 感染予防, WHO, 接種, 世界保健機関, 感染リスク, 重症, 感染者数, 陽性, 新規感染者, 禍, 抗体, 感染対策, 緊急事態宣言, PCR 検査, ウイルス対策, コロナ, 陰性, 消毒, 隔離, 軽症, 外出自粛, 濃厚接触者, 検体,病床, 医療従事者, 終息, 保健所, デルタ, アスト ラゼネカ, オンライン診療, クラスター, 武漢, マ スク,ファイザー, 療養, 死者数, To, 2020, 回分, テレワーク, 経済活動, 自粛, 無観客, 人出, 往来,収束, 休校, 巣ごもり, 都府県, リモートワーク,発令

## 4.3 モデル全体の変化度合いの計算

最後に，モデル全体の変化度合いについて，1 年 ごとのデータで学習した word2vec モデルを用いて 検証する．2010～2021 年の各年のモデル全体の変化度合いの年次推移を図 2 に示す。たとえば 2010 年と 2011 年の変化度合いは，学習用に 2010 年と 2011 年のデータを用いた word2vec を比較すること で算出した. ただし 2021 年については 11 月 30 日 までのデータを利用している。2019 年と 2020 年の 変化度合いが最も大きく，新型コロナウイルス感染症による単語の意味変化の大きさが確認できた.

## 5 おわりに

本稿では，日本語の新聞記事データを題材に，新型コロナウイルス感染症で意味が変化した単語を検出する手法を提案した. 最初に，時系列に沿った単語の意味変化による分散表現の性能悪化を定量的に 確認した. 次に Guo ら [10] の研究を追試し，単語 の出現頻度による独自の工夫を施した．最後に，単語分散表現全体の変化度合いを計算する方法を提案 し，実験を通じて新型コロナウイルス感染症による 単語の意味変化の大きさを確認した。

意味変化した単語を検出する手法は，新型コロナ ウイルス感染症以外の文脈でも適用できる可能性が ある。ただし単語の出現頻度による絞り込みの際に は閾值を適切に設定する必要があり，閾値の設定方法については今後の課題である.

## 参考文献

[1] Andrey Kutuzov, Lilja Øvrelid, Terrence Szymanski, and Erik Velldal. Diachronic word embeddings and semantic shifts: a survey. In Proceedings of the 27th International Conference on Computational Linguistics, pp. 1384-1397, Santa Fe, New Mexico, USA, August 2018. Association for Computational Linguistics.

[2] Shoetsu Sato, Jin Sakuma, Naoki Yoshinaga, Masashi Toyoda, and Masaru Kitsuregawa. Vocabulary adaptation for domain adaptation in neural machine translation. In Findings of the Association for Computational Linguistics: EMNLP 2020, pp. 4269-4279, Online, November 2020. Association for Computational Linguistics.

[3] Kokil Jaidka, Niyati Chhaya, and Lyle Ungar. Diachronic degradation of language models: Insights from social media. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics, pp. 195200, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[4] L. Bloomfield. Language. Holt, Rinehart and Winston, New York, 1933.

[5] Tomás Mikolov, Kai Chen, Greg Corrado, and Jeffrey Dean. Efficient estimation of word representations in vector space. In Workshop Track Proceedings of 1st International Conference on Learning Representations, Scottsdale, Arizona, USA, May 2013.

[6] Elizabeth Closs Traugott. Semantic change. In Oxford Research Encyclopedia of Linguistics. March 2017.

[7] Kristina Gulordava and Marco Baroni. A distributional similarity approach to the detection of semantic change in the Google Books ngram corpus. In Proceedings of the GEMS 2011 Workshop on GEometrical Models of Natural Language Semantics, pp. 67-71, Edinburgh, UK, July 2011. Association for Computational Linguistics.

[8] Alex Rosenfeld and Katrin Erk. Deep neural models of semantic shift. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 474-484, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[9] Valentin Hofmann, Janet Pierrehumbert, and Hinrich Schütze. Dynamic contextualized word embeddings. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics, 2021.

[10] Yanzhu Guo, Christos Xypolopoulos, and Michalis Vazirgiannis. How COVID-19 is changing our language : Detecting semantic shift in twitter word embeddings. February 2021 .

[11] Radim Řehůřek and Petr Sojka. Software Framework for Topic Modelling with Large Corpora. In Proceedings of the LREC 2010 Workshop on New Challenges for NLP Frameworks, pp. 45-50, Valletta, Malta, May 2010. ELRA.

[12] Takumitsu Kudo. Mecab : Yet another part-of-speech and morphological analyzer. 2005.

[13] Taiichi Hashimoto Toshinori Sato and Manabu Okumura. Implementation of a word segmentation dictionary called mecab-ipadic-neologd and study on how to use it effectively for information retrieval (in japanese). In Proceedings of the Twenty-three Annual Meeting of the Association for Natural Language Processing, pp. NLP2017B6-1. The Association for Natural Language Processing, 2017.

[14] Masatoshi Suzuki, Koji Matsuda, Satoshi Sekine, Naoaki Okazaki, and Kentaro Inui. A joint neural model for FineGrained named entity classification of wikipedia articles. IEICE Transactions on Information and Systems, Vol. E101.D, No. 1, pp. 73-81, 2018.

[15] 真鍋陽俊, 岡照晃, 海川祥毅, 高岡一馬, 内田佳孝,浅原正幸. 複数粒度の分割結果に基づく日本語単語分散表現. 言語処理学会第 25 回年次大会, pp. NLP2019-P8-5. 言語処理学会, 2019.

[16] Dinghan Shen, Guoyin Wang, Wenlin Wang, Martin Renqiang Min, Qinliang Su, Yizhe Zhang, Chunyuan Li, Ricardo Henao, and Lawrence Carin. Baseline needs more love: On simple Word-Embedding-Based models and associated pooling mechanisms. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics, pp. 440-450, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[17] Guolin Ke, Qi Meng, Thomas Finley, Taifeng Wang, Wei Chen, Weidong Ma, Qiwei Ye, and Tie-Yan Liu. LightGBM: A highly efficient gradient boosting decision tree. In Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc., 2017.

[18] William L Hamilton, Jure Leskovec, and Dan Jurafsky. Diachronic word embeddings reveal statistical laws of semantic change. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics, pp. 1489-1501, Berlin, Germany, August 2016. Association for Computational Linguistics.

[19] Hosein Azarbonyad, Mostafa Dehghani, Kaspar Beelen, Alexandra Arkut, Maarten Marx, and Jaap Kamps. Words are malleable: Computing semantic shifts in political and media discourse. In Proceedings of the 2017 ACM on Conference on Information and Knowledge Management, pp. 1509-1518, Singapore, Singapore, November 2017. Association for Computing Machinery.

[20] Juan Ramos. Using tf-idf to determine word relevance in document queries. In Proceedings of the first instructional conference on machine learning, Vol. 242, pp. 29-48. Citeseer, 2003.

[21] Laurens Van der Maaten and Geoffrey Hinton. Visualizing data using $t$-sne. Journal of machine learning research, Vol. 9, No. 11, 2008.

[22] Yuya Sakaizawa and Mamoru Komachi. Construction of a Japanese word similarity dataset. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation, Miyazaki, Japan, May 2018. European Language Resources Association.

[23] Keisuke Inohara and Akira Utsumi. JWSAN: Japanese word similarity and association norm. Language Resources and Evaluation, pp. 1-29, 2021.
表 3 word2vec モデルの比較

モデル

## A word2vec モデルの評価実験

日経電子版の新聞記事データで構築した word2vec モデルの性能を他のモデルと比較した結果を表 3 に 示す. モデルは以下の 4 つを用いた.

-日経: 日経電子版の新聞記事データ（2010 年 3 月 23 日～2019年 10 月 31 日）で学習
- WikiEntVec: 日本語 Wikipedia で学習

・白ヤギ: 日本語 Wikipedia で学習
- chiVe: 国立国語研究所の日本語ウェブコーパス （NWJC）で学習

各モデルの評価には日本語単語類似度データ セット「Japanese Word Similarity Dataset (JWSD) 」 [22] と，日本語類似度・関連度データセット「JWSAN」 [23]，および日経電子版の新聞記事データを使っ た. JWSD は単語の類似度を $0 \sim 10$ の値で付与した データセットで, 品詞は形容詞 (JWSD-adv)・動詞 (JWSD-verb) $\cdot$名詞 (JWSD-noun) $\cdot$ 副詞 (JWSD-adj) の 4 種類ある. JWSAN は名詞 ・動詞・形容詞の類似度・関連度のデータセットで，類似度と関連度が それぞれ 1〜7 の值で付与されている. すべての単語ペア 2145 組のデータセット (JWSAN-2145) と, 分散表現に適したデータに厳選した 1400 組のデータ セット (JWSAN-1400) が存在する。評価指標にはス ピアマンの順位相関係数 6 )を用いた。

日経電子版の新聞記事データを用いたタスク （NIKKEI）では，記事に含まれる単語からジャンル を予測した. ジャンルは, 企業・くらし・国際・ス ポーツ・マーケット・経済・社会・政治の 8 種類で,評価指標は正答率を用いた. 検証用データセットと しては 2020 年 1 月 1 日〜2021 年 11 月 30 日の新聞記事データを使った。日経電子版の新聞記事データで構築した word2vec モデルは，その他のモデルと比較し遜色ない性能を 示していると分かる. 特に NIKKEI タスクでは 4 つ のモデルの中で最も高い正答率で，今回構築した word2vec モデルは日経電子版の新聞記事データを用 いた分析で使うモデルとして有用だと示唆された。

## B $s t a b$ が小さい単語上位 $\mathbf{1 0 0$ 件}

stabが小さい単語上位 100 件には，新型コロナウ イルス感染症をはじめエボラ出血熱やデング熱な ど，感染症関連の単語ばかりが登場した。これらの 単語のうち一部はコロナ後モデルの語彙としての 登場頻度が多くなかったため, 本研究の目的を考慮 し，登場頻度に基づく絞り込みを実施した。

## stab が小さい単語上位 100 件

感染拡大, 新型コロナウイルス, 感染, コロナウ イルス, 感染症, 感染者, ウイルス, インフルエ ンザウイルス, ニパウイルス感染症, エボラ出血熱, ウイルス感染, MERS, デング熱, リフトバ レー熱, ジカ熱, 豚コレラ, エボラ熱, 重症熱性血小板減少症候群, エボラウイルス, クリミア・コ ンゴ出血熱, ワクチン,アフリカ豚コレラ, 出血熱, 鳥インフル, 耐性菌, 感染力, ツツガムシ病,鳥インフルエンザ, 変異, インフルエンザ, HBV,中東呼吸器症候群, ラッサ熱, ポリオウイルス, ジカウイルス感染症, 国立感染症研究所, マラリ ア, 感染ルート, 新型肺炎, エボラウイルス病, 結核, 院内感染, アデノウイルス, 病原体, 原虫, 麻疹, 熱帯病, 感染経路, エボラ, マイコプラズマ,蚊, チクングニア熱, インフル, はしか, 病原性,髄膜炎菌, フィラリア症, 新型インフルエンザ, HIV, ハマダラカ, 感染源, 麻疹ウイルス, 黄熱, 七卜免疫不全ウイルス, 新興感染症, エイズ, 多剤耐性菌, まん延, 空気感染, H7N9, ムンプス, パン デミック, ノロウイルス, 日本脳炎, マールブル グ, プリオン病, 感染地域, 狂犬病, 水疮瘡, 感染予防, マーズ, 薬剤而性菌, C 型肝炎, 呼吸器感染症, 豚流行性下痢, ロタウイルス, 成人 $\mathrm{T}$ 細胞白血病, デングウイルス, $\mathrm{E}$ 型肝炎, 寄生虫, 日本紅斑熱, フィラリア, 世界的大流行, WHO, 抗生物質, A 型肝炎, 伝染病, 急性感染症, SFTS, 流行
6) https://docs.scipy.org/doc/scipy/reference/generated/ scipy.stats.spearmanr.html


# Transformer による含意生成とその評価

樫原佑哉 ${ }^{1}$ Bisser Raytchev $^{1}$ 金田和文 ${ }^{1}$ 檜垣徹 ${ }^{1}$
1 広島大学大学院 先進理工系科学研究科
ビジュアル情報学研究室
\{yuya-kashihara,bisser,kin, higaki\}@hiroshima-u.ac.jp

## 概要

最近の自然言語処理のモデルは特殊なタスクにお いて人間を超えるスコアを記録している.しかしこ れらのモデルが言語表現の意味を理解しているかど うかは不明な点が多い.ここでは，「文章の意味を理解することは, その含意の関係にある事柄を推測す ることが必要である」という考えに基づき, 自然言語処理のモデルを用いて前提となる文章から含意の 関係にある文章を生成する実験を行い,その評価を 行う. その結果, Transformer ベースのモデルは人間 に引けを取らない精度で含意を生成することがで き，また含意に対する人間による評価との相関から，含意に対する評価指標に適した自動評価指標を発見 した.

## 1 はじめに

人間が扱う言葉は意味を持ち, 人間は状況に応じ て言葉の意味を理解した上で会話などを行ってい る.また, 自然言語処理の分野では, 我々が普段話し たり, 書いたりする自然言語をコンピュータで処理 する様々なモデルが開発され, 最近では特殊なタス クにおいて人間の精度を超えるスコアを記録してい る.しかし，これらのモデルは特殊なタスクに対し て非常に強力であるが，「モデルが言語の意味をど れくらい理解しているのか」, また「言語の意味を 理解するためにモデルに必要なことは何か」につい ては不明な点が多い. 意味の理解について様々な仮説が提唱されている中で, 本研究では Brandom [1] の 「文章の意味を理解することは, その含意の関係に ある事柄を推測することが必要である」という考え に基づき, 含意を生成する実験を行う. 含意とは, あ る表現に対し, 必然な結果として導かれる事柄であ る. すなわち，「 $\mathrm{P} \rightarrow \mathrm{Q} \perp$ の関係である. 例として前提文「A black dog crosses a puddle of water with a ball in its mouth.」の含意文として，「The dog is crossing the
water.」や「The dog is wet.」などが考えられる. 本研究の大きな目的は, 含意の生成を行う実験によって， モデルが含意を生成する規則を明らかにすることで あり, 本実験ではモデルが含意をどの程度生成でき るのか, どのモデル形態がこのタスクに最も適切か, そして生成した含意をどのように評価するかについ て検証する。

## 2 関連研究

機械学習を用いた含意生成の研究は少ないもの の, 私たちの知る限り 1 つ公表されている. Peter Blouw ら [2] は, 木構造のニューラルネットワーク である Recursive Neural Networkを用いて単一の前提文から単一の含意文を生成した. このモデルでは， Encoder によって文章の木構造が生成されると, それ を逆木構造ネットワークの Decoder を通して予測し た文章を生成する. 本研究でも用いた SNLI データ セット [3] で含意を生成し, その評価としてデータ セットの含意文の単語との合致の割合, 人間による 評価を行なっている.

## 3 扱うタスク

本研究では, 単一の前提文から単一の含意文を予測する含意生成のタスクを扱う。一例を挙げると $\ulcorner$ A black dog crosses a puddle of water with a ball in its mouth.」から「The dog is crossing the water.」を生成 する.このタスクはソース文からターゲット文を予測するという点で翻訳のタスクに似ているため, 使用するモデルとして, 機械翻訳におけるべースライ ンのモデルである RNN(Recurrent Neural Network) と，最近の有力な翻訳モデルである Transformer [4], 更に Transformer の Decoder のみで構成されたモデルであ る GPT モデル [5,6] を採用する.これらのモデルが 含意をどの程度生成できるのか実験し, またその評価として人間の評価と自動的な評価指標を用意しそ の相関を調べどの指標が適切であるかを検討する。

## 4 使用したモデル

本実験では, ベースラインのモデルとして Encoder-Decoder モデルである Attention 付きの RNN と近年の翻訳タスクにおいて有力な同じくEncoderDecoder モデルである Vaswani ら [4] の Transformer, そして大規模なテキストで事前学習を行った Decoderのみのモデルである OpenAI の [5, 6] を採用 した.

## 4.1 Recurrent Neural Network

RNN は翻訳タスクにおいてベースラインとなる Seq2Seq で用いられるモデルである. 今回はアテン ション機構のある GRU 層のシンプルなモデルでど の程度含意生成ができるのか評価する。

## 4.2 Transformer

Transformer は翻訳タスクにおいて当時の最先端 の BLEU スコアを記録したモデルである。また自然言語処理の 11 のタスクで最先端のスコアを達成 した BERT モデル [7] の基本構造となるモデルであ る. Transformer は Encoder と Decoder で構成される. Encoder は入力文に対する各単語の埋め込みべクト ルに対し, Query, Key, Value のベクトルを生成したの ち,独自のアテンション機構 Self-Attention を用いて 各単語が同一文中のどの単語に注目しているかを表現したべクトルを Decoderへ伝搬する. Decoder はそ れを受けて予測した単語を順に出力する。

## 4.3 OpenAI GPT

OpenAI によって公開された GPT モデルは, Transformer の Decoder block のみで構成されるモデ ルである. 入力単語が与えられるとその位置情報を 組み込んだ埋め込みべクトルを用いて入力文に対 し文脈情報を計算し, その 值に基づき次の単語を予測する.このモデルは事前学習 (Pre-Training) と微調整（Fine-Tuning）による学習方法を採用している. この方法はまず大量のデータセットでモデルを事前学習することでテキストの文脈を学習する. そして その事前学習済みのモデルを用いて Fine-Tuning を 行うことで各タスクに適応するモデルの学習が完了する. この方法により大規模なデータセットで事前学習されたモデルを誰でも利用することができ， Fine-Tuning を行うだけで様々なタスクに応用するこ とができる. 現在も BERTをはじめ多くの事前学習済みモデルが公開されている.また, OpenAI は数百万の Web ページからなる更に大規模なデータセッ トで事前学習させた GPT2も公開している.この実験では GPT とGPT2をそれぞれ用いた. GPT2 は異 なる大きさのモデルがあるが, 今回は small モデル (単語の埋め込みが 768 次元)のものを用いる.

## 5 評価指標

含意生成のタスクでは生成された文章が含意文で あるかどうか, その含意文がどのくらい正しいのか といった評価が難しいことが予想される. そして都度言語の専門家が見て判断することは非常にコスト が高いためここでは様々な自動的評価指標を検討 する.まず, 翻訳タスクで一般的に用いられる評価指標である BLEU[8], METEOR[9], TER[10]を使用し た. また前提文から含意文を生成するタスクは前提文の重要な情報を抽出し簡単な文章に置き換える要約の要素を含んでいる. したがって要約で用いられ る指標も検討する. 今回は要約タスクで用いられる ROUGE[11] を加えた. そして含意の評価として有力 であると考えられる二つの指標 (Sentence-BERT[12], BERTScore[13])を提案する。

## 5.1 Sentence-BERT

図 1 に示す Sentence-BERT は, BERT を用いたシャ ムネットワークで, 2 つの入力文に対し BERT で 生成した固定長の埋め込みべクトルから類似度 を計算する。本実験ではこの事前学習されたモ デルで前提文とその含意文の固定長埋め込みべ クトルを作成し, そのコサイン類似度を計算する。 SBERT は-1 から 1 の值をとる. 使用したモデル は 2 種類あり, 基本となる bert-base-nli-mean-tokens モデルを"SBERT_1"，タスクSTS のスコアが最も高 い bert-large-nli-stsb-mean-tokens モデルを"SBERT_2" とする.

## 5.2 BERTScore

BERTScore は図 2 に示すように入力文に対し BERT による各単語の埋め込みべクトルから類似度 を計算する. BERTScore は 0 から 1 の値をとる.

図 1 Sentence-BERT

図 2 BERTScore

## 6 実験

実験では SNLI データセット [3] を用いる.この データセットは, 前提文と仮説文の文ペアが 57 万 セットあり，それぞれの文ぺアがそのぺアの関係を 表す「含意」，「中立」，「矛盾」でラベル付けされ ているデータセットである. 本来は自然言語推論夕 スクと呼ばれる上記三種類のラベルを分類する分類 タスクで用いられるが, 今回は含意生成タスクを扱 うためにラベルが「含意」であるもののみを用いる.

## 6.1 実験 1

実験 1 では SNLI データセットのうちラベルが含意であるものを,トレーニングデータとして 150000 文ペア, バリデーションデータとして 20000 文, テス トデータとして 20000 文を RNN と Transformer の学習に対して用いた. 各モデルの学習後, モデルを用い て生成した含意文に対し, 人間による評価と定量的評価を行った. また, 人間の評価と自動的な各指標 の結果の相関を可視化してどの指標が含意に対して 有効であるかを検証した。

表 1 生成した含意文の例

 \\
Reference & People riding their bikes on a road. \\
RNN & People are riding bikes. \\
Transformer & The bike riders are outside. \\

RNN & The girl is outdoors playing field hockey. \\
Transformer & A girl is outside. \\

Reference-300

Contradiction-300

図 3 人間による評価の結果（被験者 $\mathrm{A}$ ）

## 6.1.1 生成結果の例

表 1 に前提文と生成した含意文の例を示す. Premise が前提文, Reference がデータセットの含意文 である.

## 6.1.2人間による評価

RNN と Transformer の生成した含意の精度を評価 するため, テストデータの前提文 300 文に対し, 前提文とデータセットの含意文 (Reference), 前提文 とNN の出力, 前提文 と Transformer の出力の各ぺ アを評価する。また, 含意の評価の基準が難しいと 予想されるため, 前提文とデータセットの矛盾文 (Contradiction)の 300 文ペアも使用する. 上記の 4 種類の文ペアをラベルを見せずに, ランダムに並び替 えた 1200 文ぺアに対して, 含意の正しさを 5 段階,文法の正しさを 3 段階とした評価を英語に詳しい被験者 2 名に実施した. 被験者 A の結果を図 3 に示す.図 3 より Transformer は人 間に近い形状に分布して いることがわかる. 被験者 B も同様の結果を示した.

## 6.1.3人間による評価と自動的な評価指標の相関

最後に, 自動的な評価指標のうちどれが含意に対 して適切な指標であるかを検討するため, 人間の評

図 4 正規化した各指標と人間による評価の平均スコア

図 5 正規化した各指標と人間による評価の平均スコア 2

価との相関を可視化した. 図 4 は, 人間による評価に 用いた 1200 文ぺアの最大值と最小值で正規化した 各指標と人間の評価を種類ごとにプロットしたも のである.これより, SBERT が人間に近い形状をし ていることがわかる. 同様に図 5 は要約の指標をプ ロットしたものである.いずれも相関が低い事がわ かる。

## 6.2 実験 2

実験 2 では強力な事前学習済みのモデルを試すた め, OpenAI の GPT モデルを採用する. このモデルは Transformer の Decoder block を基とした Decoder の みのモデルである. この実験の目的は, 最近あらゆる タスクで優れた成果を出している事前学習によって 汎用性を獲得した大規模なモデルの含意文の生成能力を検証することと, Decoder のみのモデルでの生成能力を検証することである. 実験 2 では Hugging Face[14] の事前学習済みのモデルとデータセットを 用いる. Hugging Face の SNLI データセットのうち, ラベルが含意であるものをトレーニングデータと して 183416 文ペア, バリデーションデータとして 3329 文, テストデータとして 3368 文を用いる.この 実験では GPT とGPT2 それぞれを用いて学習と生成 を行う。

Fine-Tuning の学習方法として GPT2 の実験で用い られた翻訳タスクの生成手法を学習方法として採用 する.これは入力を「前提文=含意文」のまとめた形表 2 GPT と GPT2（1 epoch, 最大長 20）が生成した含意文の比較例

 &  \\

GPT 出力 &  \\
GPT2 出力 &  \\
GPT 出力 & a man is sitting while someone cleans the store. \\
GPT2 出力 &  \\
GPT 出力 & three men are carrying a sack on their boats. \\

でモデルに渡して言語モデリングで学習させる方法 である. 含意生成を行う際はプロンプト「前提文=」 の入力を与えてそれに続く含意文を生成させる.こ れはソース文からターゲット文を生成するというタ スクにおいて, 文ぺアを連結させて学習させたモデ ルに特定の条件付きサンプルを生成させるものであ り, 貪欲な方法と言える。

## 6.2.1 生成結果の例 (GPT, GPT2)

GPT と GPT2 で Fine-Tuningを 1 エポック行い含意文を生成させた. GPT の性能と直感的な比較する ため, 無作為に選んだ前提文より得られた GPT と GPT2（両方 1 エポックの Fine-Tuining）の出力を比較した結果を表 2 に示す.

## 7 結論

今回の実験から Self-Attention 機構を持つ Transformerは人間に引けを取らない精度で含意を生成 できることがわかった. Encoder Block の無い GPT モデルは 1 epoch のみ Fine-Tuning を行うだけで， Transformer と同様の生成結果を得られた. また, 含意 の評価指標として BLEU や METEOR, ROUGE, TER 等の主に単語の一致具合や編集操作の量を見る指標 よりも, Sentence-BERT の文の埋め込みベクトルによ る類似度の方が適していると言える.今後は単なる 言い換えではなく常識的な推測を含んだ含意生成を 目標にした更なるモデルでの実験や, 文の埋め込み ベクトルを活用した新たな評価指標の検討を考えて いる.

## 参考文献

[1] Robert B. Brandom. Making it explicit: Reasoning, representing, and discursive commitment. Harvard university press, 1998

[2] Peter Blouw and Chris Eliasmith. Inferential role semantics for natural language. In CogSci2017, 2017.

[3] Samuel R. Bowman, Gabor Angeli, Christopher Potts, and Christopher D. Manning. A large annotated corpus for learning natural language inference. In EMNLP Association for Computational Linguistics, 2015.

[4] Ashish Vaswani, Noam Shazeer, Niki Parmara, Jakob Uszkoreit, LlionJones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in neural information processing systems, 2017.

[5] Alec Radford, Karthik Narasimhan, Tim Salimans, and Ilya Sutskever. Improving language understanding by generative pre-training. 2018.

[6] Alec Radford, Jeffrey Wua, Rewon Childa, David Luan, Dario Amodei, and Ilya Sutskever. Language models are unsupervised multitask learners. In OpenAl blog 1.8 : 9, 2019.

[7] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. In arXiv preprint arXiv:1810.04805, 2018.

[8] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: A method for automatic evaluation of machine translation. 40th Annual Meeting on Association for Computational Linguistics, pp. 311-318, 2002.

[9] Alon Lavie and Abhaya Agarwal. Meteor: An automatic metric for mt evaluation with high levels of correlation with human judgments. Second Workshop on Statistical Machine Translation, pp. 228-231, 2007.

[10] MatthewSnover, Bonnie Dorr, Richard Schwartz, Linnea Micciulla, and John Makhoul. A study of translation edit rate with targeted human annotation. 7th Conference of the Association for Machine Translation in the Americas: Technical Papers, 2006.

[11] Kavita Ganesan. Rouge 2.0: Updated and improved measures for evaluation of summarization tasks. arXiv preprint arXiv:1803.01937, 2018.

[12] Nils Reimers and Iryna Gurevych. Sentence-bert: Sentence embeddings using siamese bert-networks. arXiv preprint arXiv:1908.10084, 2019.

[13] Tianyi Zhang, Varsha Kishore, Felix Wu, Kilian Q. Weinberger, and Yoav Artzi. Bertscore: Evaluating text generation with bert. International Conference on Learning Representations, 2020.

[14] Hugging face - the ai community building the future., （2022-1 閲覧）. https://huggingface.co.


# 話者の性格を反映した発話文の生成

米田智美 佐藤理史 夏目和子 宮田玲 小川浩平
名古屋大学大学院工学研究科
yoneda.tomomi@f.mbox.nagoya-u.ac.jp

## 概要

本稿では, 話者 (キャラクタ)の性格を反映した発話文を生成するシステムを提案する。このシステム は, 文型推定モジュールと発話文生成モジュールか ら構成されている. 文型推定モジュールは, 話者と して設定したいキャラクタの性格ベクトルから, そ のキャラクタが使用する表現文型のリストを推定 する. 発話文生成モジュールは, 推定された表現文型のリストと, 発話意図およびキーワードを受け取 り，そのキャラクタらしい発話文を生成する.

## 1 はじめに

近年，ユーザーからの質問に応答したり，ユー ザーと対話したりするエージェントを内部に組み込 んだシステムやサービスが発展してきた. その代表例に, AI スピーカーがある.

対話相手であるエージェントにユーザーが好む 個性や性格を付与すること(エージェントのキャラ クタ化) は, エージェントへの愛着を生むことに繋 がる [1] と考えられる. しかし, 現在のエージェン 卜は没個性的に設定されているか, あるいは特定 のキャラクタの性格と口調を作り込んでいるもの [2][3] がほとんどである. そのため, ユーザーは対話相手のエージェントの性格を自由に設定すること ができない.

この問題を解決するために，本稿では話者の性格, 発話意図, キーワードの 3 つの入力から, その 性格を反映した発話文を生成するシステムを提案す る. 本システムはこれらを入力とすることで, 既存研究 [2][4][5] とは異なり, 対話環境において話題・発話意図に即し, かつキャラクタらしい一発話を生成できる.

以下，まず 2 節で，話者の性格をどのように表現 するかについて述べる. 続いて 3 節でシステムの概要を示し, 4 節と 5 節でシステムを構成する 2 つの モジュールについて説明する.

## 2 性格ベクトル

本研究では, 話者の性格を以下に示す 12 軸 (次元) のべクトルで表現する. 各次元の値は, -2 から 2 までの 5 段階の整数値である.

A. 話者の性質に関わる要素 (4 軸)

1. 現代的な一古びた

2. 男性的一女性的

3. 大人びたー幼い

4. 丁寧一荒っぽい

B. 話者の性格を表現する要素 (8 軸)

5. 活発一落ち着いた

6. ポジティブーネガティブ

7. 親しげーそっけない

8. せっかち—のんびり

9. 優しい一冷たい

10. 豪快一繊細

11. 積極的 一消極的

12. 社交的一孤立的

これらのうち，Bの8軸の設計にあたっては BIG5 [6] や MBTI [7] などの性格診断を参考にした. それ に加え，話者の性質を表す 4 軸 (A) を新たに導入 した.

## 3 発話文生成システムの概要

作成した発話文生成システムの構成を図 1 に示 す. 本システムは, (1) 文型推定モジュール (4 節), (2) 発話文生成モジュール (5 節) の 2 つのモジュー ルから構成されている。

## 4 文型推定モジュール

文型推定モジュールは, 文型データベース (文型 DB) とキャラクタデータベース (キャラクタ DB)を 利用して, 入力された任意の性格ベクトルから, そ の性格を持つキャラクタが使用すると考えられる文型リストを出力する.

図 1 発話文生成システムの構成

## 4.1 文型データベース

文型 DB は『発話文表現文型辞書』[8] から発話意図 46 種類, 表現文型 7,826 件を選択し, データベー ス化したものである.『発話文表現文型辞書』では，各文型に対して, 接続形式 (文型に含まれる核とな る述語の活用型とテンス・否定の有無), 主要部 (述語に後続する助動詞 (相当句) と接辞など), 末尾部 (終助詞と文末記号) が定義されている. 文型 DB で は, 新たに主要部の先頭部の特徴を 7 種類, 主要部 の終端部の特徴を 53 種類に分類し, これらの分類情報を追加した。また特徴べクトルは, 対立する 2 要素を 1 軸にまとめ, 全部で 11 次元のベクトルに 変換した。文型 DB のレコード例を表 1 に示す.

なお, 各文型を構成する要素のうち, *をつけたも のは, キャラクタ DB の拡張 (4.2.2 節) や性格を反映 した文型の推定 (4.3 節)において重要な役割を担う.

## 4.2 キャラクタデータベース

キャラクタ DB は，それぞれのキャラクタに対し て次の 2 種類の情報を定義したデータベースである (図2).
1. キャラクタ $h$ の性格ベクトル $\boldsymbol{c}(h)$

2. キャラクタ $h$ がそれぞれの発話意図 $I$ で使用 する表現文型のリスト $\sum_{I} R_{I}(h)$

本研究で使用する発話意図は全部で 46 種類あり, これらすべてに使用文型のリスト $R_{I}(h)$ を定義する のは作業量が多い。そこで，まず， 7 種類の発話意図に対して使用文型を定義し，その定義に基づいて 残りの 39 種類の発話意図の使用文型を自動推定す る方法を採用した。

## 4.2.1 初期データベースの作成

ソーシャルゲームの男性キャラクタ 25 名 (付録 A.1) に対して，性格ベクトルを定義し， 7 種類の発話意図において使用すると考えられる文型を定義 した.ソーシャルゲームのキャラクタを選択したの は，以下の理由による。

1. 多くの場合，強い個性が付与される。

2. 同じ人物 (ユーザー)への発話が必ずある.

3. 舞台や年齢設定の変化が少ない.

## 4.2.2 データベースの拡張

定義した 7 種類の発話意図のデータに基づいて,残りの 39 種類の発話意図の使用文型を以下のよう に決定した。

1. 文型 $\mathrm{DB}$ において, 発話意図 $I$ に属する表現文型 $r \in R_{I}$ に対して, キャラクタ $h$ のスコア $s(r, h)$ を算出する.

2. その最大值を $T$ とする.
3. $T>0$ の場合は, $s(r, h) \geq 4 T / 5$ を満たす文型 $r$ を，キャラクタ $h$ が発話意図 $I$ で使用する文型 リスト $R_{I}(h)$ に含める.

それ以外の場合は，最大値 $\mathrm{T}$ をる文型 $r$ のみ を $R_{I}(h)$ とする.

ここでスコア $s(r, h)$ は，次のように定義する.

$
\begin{aligned}
s(r, h)= & 50 * s_{1}(r, h)+100 * s_{2}(r, h) \\
& +200 * s_{3}(r, h)+200 * s_{4}(r, h)
\end{aligned}
$
- $s_{1}(r, h)$ キャラクタ $h$ が, 文型 $r$ の主要部の先頭部を使用する割合.

$\cdot$ $s_{2}(r, h)$ キャラクタ $h$ が, 文型 $r$ の主要部の終端部を使用する割合. ただし, 使用しない場合 は, -1 .

$\cdot$ $s_{3}(r, h)$ キャラクタ $h$ が, 文型 $r$ の主要部の終端部と未尾部の組み合わせを使用する割合.た

図 2 キャラクタ DB

だし，使用しない場合は， -1 .
- $s_{4}(r, h)$ キャラクタ $h$ が使用する文型の特徵べ クトルの平均と, 文型 $r$ の特徵ベクトルとのコ サイン類似度.

なお, これらの値の計算に用いる文型は, 7 種類の 発話意図に対して定義した, キャラクタ $h$ が使用す る文型すべてである.

## 4.3 性格に対する文型推定

こうして完成させたキャラクタ DB を利用して，未知のキャラクタ $u$ の性格ベクトル $\boldsymbol{c}(u)$ から, その キャラクタが使用する表現文型のリスト $R_{I}(u)$ を推定する．発話意図 $I$ を表す全文型 $R_{I}$ のうち，どの 文型 $r$ を $R_{I}(u)$ に含めるかは, 次のスコアに基づい て決定する。

$
t(r, u)=t_{1}(r, u)+t_{2}(r, u)+t_{3}(r, u)
$

以下では，推定のための仮定と $t_{n}(r, u)$ の計算法を 示す.

## 4.3.1 性格と表現文型の関連性

仮定 1 キャラクタの性格と使用する表現文型の間 には，関連性がある

例えば，丁寧な振る舞いをするキャラクタは敬語 を用いることが多く，女性的なキャラクタは「〜わ よ」「〜だわ」を多用する.

このような関連性をスコアに反映するために，文型 $r$ の使用者特性ベクトル $\overline{\boldsymbol{c}}(r)$ (文型 $r$ の使用者の性格ベクトルの平均)を求める. この $\overline{\boldsymbol{c}}(r)$ とキャタク タ $u$ の性格ベクトル $\boldsymbol{c}(u)$ の類似度が高ければ，キャ タクタ $h$ が文型 $r$ を使用する可能性が高いと考え, スコア $t_{1}$ を次のように定義する.

$
t_{1}(r, u)=\cos (\overline{\boldsymbol{c}}(r), \boldsymbol{c}(u))
$

## 4.3.2 性格の類似性

仮定 2 性格が似ているキャラクタは, 同じ表現文型を使用する可能性が高い

ここでは，仮定 2 に基づいて未知のキャタクタ $u$ の性格ベクトル $\boldsymbol{c}(u)$ とキャラクタ DB 内の既知の キャタクタ $h$ の性格ベクトル $\boldsymbol{c}(h)$ との類似度を考 える. 性格べクトルの各軸は独立した意味を持って いるため, 単純な差異よりも傾向の一致やその正負 の一致が意味を持つと考えられる．そこでまず性格 ベクトルの各要素において, スコアの計算の前提と なる值を表 2 に従って定め, 性格類似度ベクトル $\boldsymbol{a}(h, u)$ を求める.

表 2 性格類似度ベクトルの要素の値の算出表

この性格類似度ベクトルをもとに，以下の式でス コアを計算する。

$
t_{2}(r, u)=\sum_{h_{i} \in H(r)} \frac{\boldsymbol{a}\left(h_{i}, u\right) \cdot \overline{\boldsymbol{c}}(r)^{T}}{\left|R_{I}\left(h_{i}\right)\right|}
$

ここで $H(r)$ は文型 $r$ を使用するキャラクタの集合, $\left|R_{I}\left(h_{i}\right)\right|$ はキャタクタ $h_{i}$ が発話意図 I で使用す る文型の数である.この式の分数は，特定のキャタ クタ $h_{i}$ と未知のキャラクタ $u$ との性格類似度に基 づく寄与であり，それをすべての既存のキャラクタ に対して足し合わせている.

## 4.3.3 文型の類似度

仮定 3 ある文型を使用するならば，それと類似す る文型を使用する可能性も高い

この仮定に従い，ある文型 $r_{i}$ にスコア $t_{2}$ が与えら れた時, 文型 $r_{i}$ に類似する文型にスコアを与える.
文型間の類似度の計算には文型 DB の特徴ベクトル $\boldsymbol{v}(r)$ のコサイン類似度を利用する。

$
t_{3}(r, u)=\sum_{r_{i} \in\left(R_{I}-\{r\}\right)} t_{2}\left(r_{i}, u\right) \cdot \cos \left(\boldsymbol{v}\left(r_{i}\right), \boldsymbol{v}(r)\right)
$

ここで $R_{I}$ は，与えられた発話意図 $I$ に属するすべ ての文型を表す。

## 4.3.4 文型リストの決定

発話意図 Iにおいて，(式2) のスコア上位 $20 \%$ の 文型をキャラクタ $u$ が使用する文型リスト $R_{I}(u)$ に 含める. 同時に，それらの文型にスコアに反映した 確率を付与する.

## 5 発話文生成モジュール

発話文生成モジュールは，キャラクタ $u$ が使用す る文型リスト $\sum_{I} R_{I}(u)$ と, 発話意図 $I$ およびキー ワードから，発話文 (表層文字列)を生成する，以下 では，まず，発話文生成で利用する述語データベー スを説明し，次に，発話文生成の手順を述べる.

## 5.1 述語データベース

述語データベース (述語 DB) は，入力されたキー ワード (名詞) から文を作るためのデータベースで，「キーワード+助詞+述語」形式のデータ 239,645 件 が収録されている。このデータベースは, Google の Web 日本語 N グラム (2007)[9] から, 以下の手順で 作成した。

1.1-gram データから, 頻度上位 5,000 個の一般名詞を収集した。

2. 3-gram データから, 上記の各名詞 (N) に対し て，パターン「 $\mathrm{N}+$ は/が/を+P」に合致するデー タを収集した。ここで $\mathrm{P}$ は述語であり，動詞 (V) は頻度上位の最大 20 個, イ形容詞 (A) とナ 形容詞 (C) は最大 10 個を収集した。

以下に具体例を示す。

## 5.2 発話文の生成手順

発話文を以下の手順で生成する.

1. 使用文型の選択

与えられた発話意図 $I$ から使用文型リスト $R_{I}(u)$ を得る.このリストに含まれる文型には，確率が付与されているので，その確率に従って 実際に使用する文型をひとつ選択する。

2. キーワード文の作成

選択された文型の接続形式に従って述語形式 (動詞, イ形容詞, ナ形容詞)をランダムにひと つ決定し，述語 DB を参照して，レコード (文) をひとつ，頻度に応じた確率で選択する。

3. 表層文の生成

ステップ 2 で選択された文とステップ 1 で選択 された文型を HaoriBricks3[10] を用いて結合し，表層文を生成する。

## 6 生成例と検討

システムが生成した発話例を付録 A. 2 に示す.

キャラクタ 1 では，末尾部「ぞ」の使用や，「〜く れんか」といった時代がかった話し方の文型が出力 されている。一方，キャラクタ 2 では，感嘆符や長音記号，促音化などの音変化を含んだ文型が用いら れ, 子供っぽさの感じられる口調が多く見られる. キャラクタ 3 では, 総じて敬語表現が出力されてお り，末尾部の「よ」や「ね」などによって大人びた 柔らかい印象が感じられる，以上のように，キャラ クタの性格を反映した発話文が生成できていること が確認できる.

その一方で，発話意図を適切に表わさない発話文 も生成されている．表現文型は，必ずしも任意の キーワード文と結合できるわけではない。たとえ ば，I07 (決心-実行) は，意志性を持った動詞を持つ 文としか結合できず，それ以外の文と結合すると発話意図を表せなくなる。また，J01(褒める) や J02(暊 す)などの JK区分される発話意図では，キーワー ド文の述語が意図伝達の中核要素となるため, 意図 を適切に反映した述語の選択が必要となる.

現在のシステムは，キーワード文の選択 (述語補完) は，キーワードと表現文型の接続形式のみに依存している。表現文型の意図を反映した述語補完, および，性格を反映した述語補完の実現が，今後の 課題である.

## 謝辞

本研究は JSPS 科研費 JP21H03497 の助成を受けた ものです.

## 参考文献

[1] 山本賢太, 井上昂治, 中村静, 高梨克也, 河原達也. 人間型ロボットのキャラクタ表現のため の対話の振る舞い制御モデル. 人工知能学会論文誌, Vol. 33, No. 5, pp. C-I37 1-9, 2018.

[2] 沈睿, 菊池英明, 太田克己, 三田村健. 音声生成 を前提としたテキストレベルでのキャラクタ 付与. 情報処理学会論文誌, Vol. 53, No. 4, pp. 1,269-1,276, 2012.

[3] 小倉拓人, 谷津元樹, 原田実. 人物ベース の Seq2Seq モデルを用いた対話システム DeepEVEにおける小説中の登場人物らしい応答文の生成. 情報処理学会第 80 回全国大会講演論文集, No. 1, pp. 423-434, 2018.

[4] 宮崎千明, 平野徹, 東中竜一郎, 牧野俊朗, 松尾義博, 佐藤理史. 文節機能部の確率的書き換 えによる言語表現のキャラクタ性変換. 人工知能学会論文誌, Vol. 31, No. 1, pp. DSF-E 1-9, 2016.

[5] 谷川晃大, 藤田寛泰, 壹岐太一. 変分オートエ ンコーダと注意機構を用いた発話文のキャ ラクタ性変換. 人工知能学会全国大会論文集, Vol. 32, pp. 4G2-01, 2018.

[6] Lewis R. Goldberg. The structure of phenotypic personality traits. American Psychologist, Vol. 48, No. 1, pp. 26-34, 1993.

[7] Isabel Briggs Myers and Peter B.Myers. Gifts Differing: Understanding Personality Type. Davies-Black Publishing, 1995. Originally published: 1980.

[8] 夏目和子, 佐藤理史. 話し言葉生成のための表現文型辞書. 言語処理学会第 28 回年次大会発表論文集（発表予定）, 2022.

[9] 工藤拓, 賀沢秀人. Web 日本語 $\mathrm{N}$ グラム第 1 版.言語資源協会発行, 2007.

[10] 佐藤理史. Haoribricks3: 日本語文を合成するた めのドメイン特化言語. 自然言語処理学会論文誌, Vol. 27, No. 2, pp. 411-444, 2020.

## 付録 A

## A. 1 キャラクタDB に登録したキャラクター覧 (25キャラクタ)

 \\

## A. 2 発話文の生成例

 &  &  \\