# 人間と BERTによる文間接続関係の同定の比較と性能検証

相澤祐一, 鉫田大日, 笠間俊夫
みずほリサーチ\&テクノロジーズ株式会社
\{yuichi. aizawa, dainichi. sukita, toshio. kasama\}@mizuho-rt. co. jp

## 概要

本研究は, 計算機による文間接続関係の同定結果 と人間による同定結果を比較することにより, 計算機による誤判定の傾向および性能改善の課題を考察 する. 計算機実験では，大量のテキストデータを学習した BERT モデルにより,文間接続関係を同定さ せた. その結果，接続関係を順接に誤分類する傾向 が見られた。一方, 校正・校閲の経験者等の被験者 に，計算機実験で用いたデータを使って接続関係を 同定させた結果，接続関係を順接だけでなく，逆接 にも誤分類する傾向が見られた。両実験の結果の比較から, 被験者に比肩する精度の同定が可能な BERT モデルが構築できたことが分かった.また，接続関係間の違いをより明確に捕捉させる必要があ ることが示唆された。

## 1 はじめに

文間の関係推定は対話, 要約, 文章生成など様々 なタスクで必要とされる処理であり, 自然言語処理 の重要な問題となっている. 特に, 接続関係は, 論理的関係の把握及びその構成において，大きな役割 を果たしていると考えられている[1].

計算機に文間接続関係を同定させる試みとして，山本らは, 単語と構文的要素に基づく大量のテキス トデータを使用した統計的手法を提案した[2]. さら なるシステムの向上のため, 斎藤らは, 被験者に対 し, テキスト全体を提示した条件と二文だけの情報 を提示した条件の 2 通りにおける接続関係の推定結果から接続関係間の近さを定量化し, SVM (Support Vector Machine)を使った二值分類によって得られる 近さと同じ傾向になることを示した. このように，計算機による分析と人間の認知を比較することは,計算機モデルをどのように向上させるかといった系口を得るアプローチになる[3].
また，同じ SVM の手法を用いて，続く二文に加 えて前後各二文から品詞, 文間類似度, 係り受けの 構文パタン等の素性を取り出し，多值分類を行った ものがある[4]. 近年では, 再帰的ニューラルネット ワークを用いて文の概念ベクトルを計算，文間接続関係をRAE（Recursive AutoEncoder）を用いて同定 する試みも行われている[5]. さらに, 趙らは, BERT の Masked Language Model を用いて, 少量データで はあるが，マスクされた箇所に入る最も高い確率の 接続詞を推定するという手法を提案している[6].

このように，機械学習アプローチによる接続関係 の同定に関する取り組みが進められてきたものの,深層学習等による SOTA が様々なタスクで達成され てからは, 齐藤らが行ったような認知との比較が行 われた研究は少ない. そこで本研究では, 大量のテ キストデータを学習した BERT モデルによる文間接続関係の同定結果と人間による同定結果を比較し，計算機による同定の傾向およびシステム改善の課題 について考察する。

## 2 文間接続関係

本研究では, 先行研究[1]飞同様に, 接続関係の同定にあたって，接続関係の種類を同じくする接続表現のいずれを選んでもよいと仮定する。この仮定に 基づき, 接続関係の同定を, “接続関係種類の分類問題”と置き換えることとする.

接続関係の種類を定義するため，石黒[7]を参考に，形態素解析器 MeCab 汇辞書として登録されている 接続詞を分類し, 同文献で提案されている接続表現 をそれぞれの種類に加えて表 1 を得た。なお，複数 の接続関係の種類に見られる表現は，その表現が表 れる文間接続関係の同定が困難になることから，取 り扱わないこととした.
表 1 接続関係の種類

## 3 計算機実験

本節では，BERT モデルによる文間接続関係の同定実験について述べる.

## 3. 1 データ

本研究では，文法誤りが混在したテキストデータ を扱わないようにするため，校正・校閲が為された 新聞記事データを用いる，具体的には，毎日新聞 6 年分の記事データ[8]から，表 1 で定義した接続表現が記載されている，51,790 件の続く二文を取り出 し，接続表現に該当する部分をマスクした。なお， モデル学習時のバイアスを避けるため, データ件数 は，接続関係間で偏りがないようにしている。それ ぞれのぺアには，正解となる接続関係をラベリング した.

## 3.2 モデル

モデルは, 東北大学から提供されている BERT Pre-trained Model ( https://github.com/cl-tohoku/bertjapanese/releases/tag/v2.0）を用いて, 図 1 に示す構成 とした.

続く二文を[SEP]トークンで結合したうえで，Pretrained Model にインプットし, 全結合層で処理して 得られる出力值と, One-hot encoding した正解データ を Binary Cross Entropy Logitloss で比較することで，文間接続関係を学習させた。なお, Optimizerを AdamW, 学習率を $2 \times 10^{-5}$ とした.

図 1 BERT モデル構成

## 3.3 実験結果

3.1 で用意したデータの約 75\%を用いて, 5 分割交差検証を実施した. テストデータとして用意した残 りの約 $25 \%$ 12,948 件のデータに対して，BERT モ デルが接続関係を同定した結果を混同行列として表 A-1 に示す. 全体の正解率は， 0.52 となった.

表 A-1 において，並列が正解となる接続関係を対比と誤分類する傾向, 補足や対比が正解となる接続関係を逆接と誤分類する傾向が見られた。

続いて，接続関係ごとの Recall，Precision，および $\mathrm{F}$ 値を算定し表 2 を得た. 表 2 から, 列挙について, Recall, Precision, および $\mathrm{F}$ 值が全接続関係の中で高 いことが分かった。また，接続関係を順接に誤分類 する傾向があることから, Precision と F 値は順接が 最も低くなっていることが確認された。

## 4 被験者実験

本節では，被験者による接続関係の同定実験につ いて述べる.

## 4. 1 実験設定

実験には，校正・校閲の経験者や国語教員免許の 保有者など 22 名が参加した。

被験者には, BERT モデルのパフォーマンスの評価に使用したテストデータのうち，接続関係 1 種類 あたり 40 件，合計 400 件を取り出し，接続表現を （ ）でマスクした二文として提示，（ ）に入る のに相応しい接続関係の候補を回答させた。なお，回答にあたっては，上位 3 つまでの接続関係の候補 を選択できるようにした。
表 2 BERT モデルの分類結果（Recall, Precision, F 值）

表 3 被験者の回答結果（Recall, Precision, F 值）

## 4. 2 実験結果

表 A-2 は，被験者が第 1 候補として回答した接続関係を混同行列として表したものである。表 A-2 から，計算機実験と同様，接続関係を順接であると 誤回答する傾向が見られた. また, 補足や対比が正解となる接続関係を逆接と誤回答する傾向も確認さ れた。一方で，BERT モデルで見られる並列を対比 として誤分類する傾向は被験者実験では見られなか った.

表 3 は，被験者それぞれの回答結果の Recall， Precision，および $\mathrm{F}$ 值の平均値を算出したものであ る. 計算機実験と同様，順接の Precision が低いと いう共通点が見られるが，表 2 と比較して逆接の Recall が大きく異なることが分かった，図 2 に，同 じ 400 問に対する BERT の分類結果と，被験者に よる回答結果の分布を示す. 図 2 から, 被験者のほ うが，逆接をより多く選択していることが明らかと なった。

図 2 モデルと被験者による予測・回答の分布
F 值については，逆接を除いて，BERT モデルが 被験者よりも高く，また，被験者回答の平均正解率 は 0.46 となった. このことから, BERT モデル は, 被験者に比肩する精度の同定が可能であること が示唆された

以下に，結果をまとめる。

- BERT モデルによる接続関係の同定性能は, 被験者に比肩することが分かった.

- BERT モデル，被験者ともに，接続関係を順接 として誤分類してしまう傾向，および，補足 や対比を逆接に誤分類する傾向が見られた。

- 被験者の回答では, 接続関係を逆接として誤回答する傾向がより強く見られた. BERT モデ ルで見られる並列を対比と誤分類する傾向は 被験者実験では見られなかった。

## 5 考察

本節では,さらなる性能改善に向けた考察を行う。 まず，計算機実験及び被験者実験において，接続関係を順接と誤分類する傾向や，補足や対比の接続関係を逆接と誤分類する傾向がある点については，順接の接続関係が構造上，他の接続関係を包含ある いは代替しうる可能性, 補足・対比の接続関係が逆接と近しい可能性が考えられる。これを確認するた めには，それぞれの接続関係の組み合わせごとに，

Sentence-BERT を使った深層距離学習による二値分類を行い，先行研究[3]のように，接続関係間の距離 の近さを可視化し, 被験者実験の結果とも比較する ことが有効であろう。

続いて，接続関係を逆接として誤分類する傾向が 被験者実験で見られた点について述べる.ここで，
被験者回答結果に対して, 選択候補 1 位が正解した 場合は 1 点, 2 位は $1 / 2$ 点, 3 位は $1 / 3$ 点と点数を付 け，400問を点数の高い順に並び替えた. 上位 50 問 を取り出すと, 50 問中 18 問 (36\%) を逆接が占めて おり，かつこの 18 問については，問題にはよるが， 19 名 22 名が第 1 候補に逆接と回答できているこ とが分かった. 全体的に被験者が接続関係を逆接と して誤回答する傾向を踏まえると，そもそも人間は 逆接の関係を期待して文章を認知している可能性が ある。なぜならば，接続詞の頻度の調查結果におい て, 多くのジャンルの文章において, 逆接が頻出す ることが分かっており [9], 一定の認知的バイアスが 入っていることが考えられるからである.

しかしながら, BERT モデルは, この 18 問のうち 11 問しか正しく同定できていない. たとえば, 22 名中 20 名の被験者が逆接であると正答している以下 の文章例において, BERT モデルは転換であると誤分類しており, 前後の文脈や意味を捕捉しきれてい ない可能性があることが分かった. これを確認する ためには, 逆接の接続関係を持つ二文と, 転換の二文とで，BERT モデルの Attention の違いを観察す る必要があると考えられる。

## $<$ 文章例 $>$ (正解: 逆接)

岸田文雄外相は「予算編成作業があり，十分な受 け入れ態勢がとれなかった」と述べた。（），訪日は 10 月時点で決定しており, 延期要請の理由と しては説得力を欠き，その対応は不可解だ.

さらに，BERT モデルが，並列の接続関係を対比 と誤分類する傾向について考察する．文献[7]では，並列と対比は, 共に整理の機能を有するとされるが, BERT モデルは対比を並列と誤分類する傾向よりも，並列を対比と誤分類する傾向が強いことが表 A-1 か ら読み取れる.ここで, 被験者実験の点数上位 5 名 の並列の接続関係に対する回答と, 同じく下位 5 名 の回答を比較したところ, 下位 5 名のほうが対比を 選択する傾向があることが示唆された。このことか ら，BERT モデルにとっても，対比構造を把握する 方が，並列関係を見出すよりも平易である可能性が ある。これを確認するためには，対比の接続関係を 持つ続く二文と並列の二文とで, BERT モデルの Attention の違いを観察すること, および, システム が対比と並列をより区別して捕捉できるようにする 必要があると考えられる，具体的には，先述のよう
に，それぞれの接続関係の組み合わせごとに， Sentence-BERT を使った深層距離学習による二值分類を行い，違いを捕捉させることが有効であろう。

## 6 まとめ

本研究では，計算機による文間接続関係の同定結果と校正・校閲の経験者等被験者による同定結果を 比較し, 被験者に比肩する同定性能のモデルを構築 できたことが分かった．また，計算機にも被験者に も共通して見られる誤分類の傾向があることが分か った. このような知見は, 人間が作成した文章の自動評価にも一定の貢献があると考えられる.今後は, システムに接続関係間の違いを捕捉させる取り組み や文章構造に対するモデルの Attention の観察を通 じて, より性能のあるモデルを構築していく予定で ある。

## 参考文献

1. 山本和英, 齋藤真実. 用例利用型による文間接続関係の同定. 自然言語処理, Vol.15, No.3, 2008.

2. 齋藤真実, 山本和英, 関根聡. 大規模テキストを 用いた 2 文接続関係の同定. 言語処理学会第 12 回年次大会, pp.969-972, 2006.

3. 齋藤真実, 山本和英, 関根聡. 文間接続関係の自動同定のための人間による同定分析, NL174-12, pp.65-70, 2006.

4. 若山裕介，内海彰.SVM を用いた接続関係の同定, 人工知能学会全国大会論文集, 2012.

5. 大塚淳史, 平野徹, 宮崎千明, 東中竜一郎, 牧野俊朗, 松尾義博. Recursive AutoEncoder を用いた文間の接続関係推定. 人工知能学会全国大会論文集, 2015.

6. 趙一, 曹鋭, 白静, 馬ブン, 新納浩幸. BERT の Masked Language Model を用いた二文間の接続関係 の推定. 言語資源活用ワークショップ発表論文集, Vol.5, pp.181-188, 2020.

7. 石黒圭. 「接続詞」の技術. 実務教育出版, 2016.

8. 毎日新聞記事データ集 2017 年版, 2018年版, 2019 年版, 2020 年版, 2021 年版, 2022 年版.

9. 石黒 圭, 阿保 きみ枝, 佐川祥予, 中村 紗弥子,劉 洋. 接続表現のジャンル別出現頻度について, 一橋大学留学生センター紀要第 12 号, 2009.

## A 付録

表 A-1 BERT モデルの分類結果（混同行列）

表 A-2 被験者の回答結果（混同行列）


 相澤祐一, 鉫田大日, 笠間俊夫 みずほリサーチ\&テクノロジーズ株式会社 \{yuichi. aizawa, dainichi. sukita, toshio. kasama\}@mizuho-rt. co. jp  