# タスク指向対話システムの外部表知識の参照能力向上

深谷 竜暉 三輪誠 佐々木裕
豊田工業大学
\{sd18071, makoto-miwa,yutaka.sasaki\}@toyota-ti.ac.jp

## 概要

既存の深層学習を用いた End-to-End のタスク指向対話システムは，応答の生成と外部知識の参照を同時に行うため，応答全体を通じて外部知識を適切に 参照できない場合がある。本稿では，外部知識とし て表を用いるタスク指向対話システムを対象に，応答全体に適した表知識の参照が可能な End-to-End の 対話システムを目指して，応答の概形を生成した上 で，必要な表知識を参照する手法を提案する。 タス ク指向対話データセットにおける評価の結果，提案手法は応答全体を利用しないべースラインよりも BLEU スコア・Entity $F_{1}$ を向上でき，より正確に表知識を参照できることを明らかにした。

## 1 はじめに

タスク指向対話システムは，レストランの予約・天気予報の照会・飛行機のフライトの予約など様々 な場面での活用が期待されており，産業的に注目を 集めている. 対話システムの伝統的なパイプライン モデルは言語理解・対話状態追跡・言語生成のモ ジュールによって構築される [1]が，各モジュール の構築には追加のアノテーションが必要となる場合 が多い。この問題に対して，深層学習を用いて，外部知識を学習フレームワークに組み込み，明示的な 対話状態や行動などのアノテーションを必要とせず に応答を生成できる End-to-End の対話システム [2] が提案されている。外部知識は表形式で表現できる ことが多いため，外部知識が表形式で表現された表知識を参照する対話システムは多く提案されてお り，本研究でも表知識を参照した対話システムを対象とする。

これまでに提案された End-to-End の対話システム の出力では表知識の参照を誤る場合が多くみられ る. 図 1 に示す例は，本研究でベースラインとする 最先端の手法の 1 つである DF-Net が表知識を誤っ て参照した例である。この例では，応答の文脈から

ユーザ : Find me the nearest gas station .
システム: The nearest gas station is Valero, 200 Alester Ave away

図1 表知識を誤って参照した例：正しい応答は“The nearest gas station is Valero, 5miles away."

すると，距離を表す 5 miles を参照するのが適切だ が，実際には誤って住所の情報を参照して応答して しまっている。

本稿では，このような応答の文脈と参照する表知識の内容の不整合を減らすことで，表知識の参照を より正確に行う End-to-End の対話システムの構築に 取り組む。

## 2 関連研究

これまで，表知識を End-to-End の対話システムに 取り込むための様々な手法が提案されている．Yang ら [3] は表知識をグラフ形式で取り込むモデルを提案したが，解析の結果，表知識を適切に参照できて いないことを報告している．Qin ら [4] は表知識を トリプル形式で取り込んだが，生成した応答の文脈 に対して参照している表知識が間違っている問題が あったことを報告している。

## 3 DF-Net

ここでは，ベースラインとして用いるモデルであ る DF-Net [4] の応答生成と表知識の参照について説明を行う。

## 3.1 応答生成

注意機構を用いた Seq2Seq モデル [5] を基にして 入力の対話 $X$ と表知識 $B$ から応答 $Y$ を生成する. BiLSTM [6] によりエンコードを行い，長さ $I$ の入力 に対して中間表現 $\boldsymbol{H}=\left(\boldsymbol{h}_{\mathrm{enc}, 1}, \boldsymbol{h}_{\mathrm{enc}, 2}, \ldots, \boldsymbol{h}_{\mathrm{enc}, I}\right)$ を求

 \\
: I Valero is 4miles away . \\
: Valero is at 200 Alester Ave .

図 2 表知識を参照する対話例

める.

$
\boldsymbol{h}_{\mathrm{enc}, i}=\operatorname{BiLSTM}_{\mathrm{enc}}\left(x_{i}, \boldsymbol{h}_{i-1}\right)
$

デコードは GRU にて行い，デコーダの中間表現 $\left(\boldsymbol{h}_{\mathrm{dec}, 1}, \boldsymbol{h}_{\mathrm{dec}, 2}, \ldots, \boldsymbol{h}_{\mathrm{dec}, T}\right)$ により出力 $\left(y_{1}, y_{2}, \ldots, y_{T-1}\right)$ を生成する. エンコーダの最終時点の中間表現を デコーダのはじめの時点の中間表現 $\boldsymbol{h}_{\mathrm{dec}, 0}$ に利用 する。

$
\boldsymbol{h}_{\mathrm{dec}, t}=\operatorname{GRU}_{\mathrm{dec}}\left(y_{t-1}, \boldsymbol{h}_{\mathrm{dec}, t-1}\right)
$

モデルは時点 $t$ の応答 $y_{t}$ を生成するために，注意表現 $\boldsymbol{h}_{\mathrm{dec}, t}^{\prime}$ を計算する. $\boldsymbol{h}_{\mathrm{dec}, t}^{\prime}$ にはエンコード時の中間表現 $\boldsymbol{H}$ の注意を用いる. $\boldsymbol{h}_{\mathrm{dec}, t}$ と $\boldsymbol{h}_{\mathrm{dec}, t}^{\prime}$ から学習 される重み $U$ を用いて次の語の生成確率の分布 $\boldsymbol{y}_{t}$ を計算する。ここで生成する語は，語の属性名を表現するスケッチタグ（@を用いた語）を含む. 図 2 に示す対話の場合，システムはスケッチタグを用い て,「@Poi is at @ Address.」といった応答の概形を生成するように学習する. スケッチタグは同じ時点 $t$ でデコーダにて表知識の要素に置き換えられる。

$
\begin{gathered}
\boldsymbol{o}_{t}=\boldsymbol{U}\left[\boldsymbol{h}_{\mathrm{dec}, t}, \boldsymbol{h}_{\mathrm{dec}, t}^{\prime}\right] \\
p\left(y_{t} \mid y_{1}, \ldots, y_{t-1}, X, B\right)=\operatorname{Softmax}\left(\boldsymbol{o}_{t}\right)
\end{gathered}
$

## 3.2 エンコーダでの表知識の参照

表知識を参照する際の精度は，表知識を参照 するためのクエリに大きく依存する．Memory Networks [7] を適用して表知識 $B$ と入力の対話 $X$ に関する専用メモリ $M$ を用意する. ここでは $k$ ホップの Memory Networks を適用する. Memory Networks では，表知識と入力の対話を表現する訓練 される埋め込みべクトル $\boldsymbol{C}=\left(\boldsymbol{C}^{1}, \ldots, \boldsymbol{C}^{k+1}\right)$ を各ホッ プで使用する。これにより情報を持つためのメモリ が拡張され，適切な情報を保持したクエリを作成す ることができる. $M$ は $M=[B ; X]=m_{1}, \ldots, m_{b+T}$ で 表され， $m_{i}$ が語に関するメモリを表し，bと $T$ はそ
れぞれ表知識に含まれる語の数と入力の対話に含ま れる語の数である。エンコーダでは最後の中間表現 をクエリとする。

$
\boldsymbol{q}_{\text {enc }}^{1}=\boldsymbol{h}_{T}
$

ホップ $\mathrm{k}$けるる注意の重みは以下のように計算さ れる。

$
\boldsymbol{p}_{i}^{k}=\operatorname{Softmax}\left(\left(\boldsymbol{q}_{\mathrm{enc}}^{k}\right)^{\top} \boldsymbol{c}_{i}^{k}\right)
$

$\boldsymbol{c}_{i}^{k}$ はベクトル $\boldsymbol{C}^{k}$ を用いた $i$ 番目のメモリ位置の埋 め込み表現である。ここでデコード時に用いるグ ローバルメモリポインタ $G=\left(g_{1}, \ldots, g_{b+T}\right)$ を式 (7) によって作成する。

$
\boldsymbol{g}_{i}^{k}=\operatorname{Sigmoid}\left(\left(\boldsymbol{q}_{\mathrm{enc}}^{k}\right)^{\top} \boldsymbol{c}_{i}^{k}\right)
$

グローバルメモリポインタの正解ラベル $G^{\text {label }}=$ $\left(\hat{g}_{1}, \ldots, \hat{g}_{b+T}\right)$ は以下のように定義する.

$
\hat{g}_{i}= \begin{cases}1 & \text { if Object }\left(m_{i}\right) \in Y \\ 0 & \text { otherwise }\end{cases}
$

これによりグローバルメモリポインタ $G$ は，正解の 応答に出現した語の生成確率が高くなるように訓練される. 最後に $\boldsymbol{c}^{k+1}$ に対する注意の重みの和に よってメモリ $o^{k}$ を読み出し，クエリベクトル $\boldsymbol{q}_{\text {enc }}^{k+1}$ を更新する。

$
\boldsymbol{o}_{\mathrm{enc}}^{k}=\sum_{i} \boldsymbol{p}_{i}^{k} \boldsymbol{c}_{i}^{k+1}, \quad \boldsymbol{q}_{\mathrm{enc}}^{k+1}=\boldsymbol{q}_{\mathrm{enc}}^{k}+\boldsymbol{o}_{\mathrm{enc}}^{k}
$

$\boldsymbol{q}_{\text {enc }}^{k+1}$ はエンコードされた表知識であり，デコーダで 用いられる。

## 3.3 デコーダでの表知識の参照

各時点では Copy Net にならいデータセット内の 語彙と表知識の語彙のどちらから語を生成するか を決めるためのモードを選択する。スケッチタグが 生成された時点は複製モードで，そうでなければ生成モードとなる。各時点で中間表現 $\boldsymbol{h}_{d e c, t}$ と注意表現 $\boldsymbol{h}_{d e c, t}^{\prime}$ を連結してクエリ $\boldsymbol{q}_{\mathrm{dec}}^{1}$ を作り表知識を参照 する。

$
\begin{gathered}
\boldsymbol{q}_{\mathrm{dec}}^{1}=\left[\boldsymbol{h}_{\mathrm{dec}, t}, \boldsymbol{h}_{\mathrm{dec}, t}^{\prime}\right] \\
p_{i}^{k}=\operatorname{Softmax}\left(\left(\boldsymbol{q}_{\mathrm{dec}}^{k}\right)^{\top} \boldsymbol{c}_{i}^{k} g_{i}^{k}\right)
\end{gathered}
$

$P_{t}=\left(p_{1}^{k}, \ldots, p_{b+T}^{k}\right)$ は表知識の各語の生成確率であ り, 式 (4) によってスケッチタグが生成された時点 $t$ では，最も高い確率を持つ語を選択してスケッチタ グと置き換える。

図 3 提案手法の概要

## 4 提案手法

応答の文脈と参照する知識の内容の不整合を減ら すために，生成する応答の概形の文脈表現を利用し て知識の参照を行う手法を提案する。提案手法の概要を図 3 に示す. 既存手法の中でも比較的高い応答性能を持つ DF-Net [4] をべースラインとして用い,応答生成とエンコーダでの表知識の参照については それぞれ 3.1 節, 3.2 節と同様に行う．提案手法では 式 (4) でスケッチタグが生成された場合，同じ時点 で表知識の要素に置き換えることはせず，応答の概形を最後まで生成し終えた後に，デコーダにて表知識の参照を行う．提案手法のデコーダでの表知識の 参照について以下で述べる.

デコーダでの各時点で中間表現 $\boldsymbol{h}_{\mathrm{dec}, t}$ と注意表現 $\boldsymbol{h}_{\mathrm{dec}, t}^{\prime}$ を連結して $q 0$ を作る.

$
\boldsymbol{q} \mathbf{0}_{\mathrm{dec}}=\left[\boldsymbol{h}_{\mathrm{dec}, t}, \boldsymbol{h}_{\mathrm{dec}, t}^{\prime}\right]
$

表知識参照用のクエリ $\boldsymbol{q}_{\mathrm{dec}}^{1}$ は $q 0$ とスケッチ応答を 生成し終えた時点 $T$ での中間表現 $h_{\mathrm{dec}, T}$ を用いて作成する.

$
\boldsymbol{q}_{\mathrm{dec}}^{1}=\boldsymbol{W}\left[\boldsymbol{q} \mathbf{0}_{\mathrm{dec}}, \boldsymbol{h}_{\mathrm{dec}, T}\right]
$

$W$ は重みである．表知識の参照は式 (14)にて行う.

$
p_{i}^{k}=\operatorname{Softmax}\left(\left(\boldsymbol{q}_{\mathrm{dec}}^{k}\right)^{\top} \boldsymbol{c}_{i}^{k} g_{i}^{k}\right)
$

$P_{t}=\left(p_{1}^{k}, \ldots, p_{b+T}^{k}\right)$ は表知識の各語の生成確率であ り，式 (4) によってスケッチタグが生成された時点 では，スケッチタグを最も生成確率が高い語と置き 換える。

## 5 実験と考察

## 5.1 実験に用いたデータセット

データセットは表知識を参照するタスク指向対話 を集録した KVRET [2]を使用した．KVRET はカー表 1 データセット（KVRET）の統計

表 2 BLEU スコアおよび Entity $\mathrm{F}_{1}$

提案手法 $\quad 14.4( \pm 0.6) \quad 61.1( \pm 1.4)$

アシスタントシステムとユーザとの複数回に渡る 対話を扱い，対話の内容は道案内と予定管理，天気予報の三つのドメインに渡る。図 2 に示した対話は KVRET に収録されている対話の例である.

データセットの詳細を表 1 に記す. 本実験では,全 3,031 対話のうち 2,425 対話を訓練用データに, 302 対話を検証用データ，残りの 304 対話をテスト 用データとした。

## 5.2 評価手法

提案モデルの出力として得られる応答がどれだけ 正解の応答と関連しているかを BLEU [8] によって 評価する。そして出力される応答がどれだけ対話の 内容に沿って適切に表知識を参照できているかを Entity $F_{1}$ で評価する. Entity $F_{1}$ は，規定の語を応答 で使用した割合を全対話で平均することで算出す る. 本実験では正解の応答で使用している表知識の 要素を規定の語とする。

## 5.3 結果

提案モデルの応答性能を KVRET を用いて BLEU スコアと Entity $\mathrm{F}_{1}$ で評価する. テストデータにお ける各スコアを表 2 に示す。比較のため，基準と なる DF-Net の各スコアも示す. Entity $\mathrm{F}_{1}$ は $0.4 \%$ ポ イント向上し，上がり幅は $0.7 \%$ となった。このこ
表 3 提案手法と DF-Net の応答例:[] 内は表知識から抜き出した要素であり，。 と ${ }_{\mathrm{x}}$ はそれぞれ表知識を適切に参照でき たかどうかを表す.

対話

目標: [hotel_keen, 578_arbol_dr, rest_stop, car_collision_nearby, 3_miles]

直前の発話: what is the rest_stop with the quickest route nearby?

正解の応答: hotel_keen is a rest_stop located 3_miles away there is a car_collision_nearby but should delay you to long.

DF-Net: [hotel_keen $]_{0}$ is $\left[5 \_m i l e s\right]_{\mathrm{x}}$ way.

提案手法: the closest rest_stop is [hotel_keen $]_{0}$, [3_miles $]_{o}$ away.

目標: [Valero, gas_station, road_bloack_nearby, 5_miles]

直前の発話: find me the nearest gas_station.

正解の応答: the nearest gas_station is located 5_miles away need more info?

DF-Net: the nearest gas_station is [valero $]_{0},\left[200 \_ \text {alester_ave }\right]_{x}$ away.

提案手法: the nearest gas_station is [valero] $]_{0}\left[5 \_m i l e s\right]_{o}$ away.

目標: [panda_express, 3_miles, pizza_hut, 5_miles]

直前の発話: i need directions to a local fast food restaurant please.

正解の応答: there is a panda _express 3 _miles from you as well as a pizza _hut 5 _miles from you.

DF-Net: [round_table $]_{\mathrm{x}}$ is [5_miles $]_{\mathrm{o}}$ away.

提案手法: the nearest pizza_restaurant is [pizza_hut $]_{\mathrm{o}}$, it is $\left[5 \_m i l e s\right]_{\mathrm{o}}$ away.

とから，今回作成したモデルは DF-Net よりも表知識を適切に参照できていることが分かった.また, BLEU も 0.4 ポイント向上し，上がり幅は $2.9 \%$ と なった。これにより，生成する応答全体に適した表知識を参照することで，より正解に近い応答を生成 できることが分かった.

## 5.4 解析

提案手法と DF-Net が生成した応答の例を表 3 に 示す. 1 つ目の例では, DF-Net が距離を表す表知識 の要素の参照を誤ったが，提案手法では正しい要素 を参照できていることが分かる．2つ目の例では， DF-Net が応答の文脈に適さない表知識の要素を参照しているが，提案手法は文脈に適した要素を参照 できていることが分かる. これにより，提案手法は 応答全体に適した表知識を参照できており，ベース ラインより適切に表知識を参照できていることが分 かる. しかし，3つ目の例では，提案手法は誤った 知識の参照はしていないが，応答に使用すべき情報 が欠けており，応答そのものの生成能力に不十分な 点があることが分かる. この問題を解決するには，応答生成時にも表知識を参照し，モデルが出力する 応答に含まれるべき表知識を適切に応答に使用する ようモデルに学習させる，といったような改善が必要だと考えられる。

## 6 おわりに

本稿では，応答全体に適した表知識の参照が可能 な End-to-End の対話システムの実現を目指して，応答の概形を生成した上で，必要な表知識を参照する 手法を提案した。タスク指向対話データセットにお ける評価の結果，提案手法は応答全体を利用しない ベースラインよりも BLEU スコア・Entity $\mathrm{F}_{1}$ を向上 でき，より正確に表知識を参照できることが明らか になった. 今後はモデルのさらなる改善を目指す， また，生成した応答を解析した結果，提案手法が応答を生成する際に応答に十分な情報が含まれない場合があるという課題が見つかったため，この改善も 行う予定である.

## 参考文献

[1] Steve Young, Milica Gašić, Blaise Thomson, and Jason D Williams. Pomdp-based statistical spoken dialog systems: A review. Proceedings of the IEEE, Vol. 101, No. 5, pp. 1160-1179, 2013.

[2] Mihail Eric, Lakshmi Krishnan, Francois Charette, and Christopher D. Manning. Key-value retrieval networks for task-oriented dialogue. In Proceedings of the 18th Annual SIGdial Meeting on Discourse and Dialogue, pp. 37-49, Saarbrücken, Germany, August 2017. Association for Computational Linguistics.

[3] Shiquan Yang, Rui Zhang, and Sarah Erfani. GraphDialog: Integrating graph knowledge into end-to-end task-oriented dialogue systems. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing

(EMNLP), pp. 1878-1888, Online, November 2020. Association for Computational Linguistics.

[4] Libo Qin, Xiao Xu, Wanxiang Che, Yue Zhang, and Ting Liu. Dynamic fusion network for multi-domain end-to-end task-oriented dialog. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 6344-6354, Online, July 2020. Association for Computational Linguistics.

[5] Mihail Eric and Christopher Manning. A copy-augmented sequence-to-sequence architecture gives good performance on task-oriented dialogue. In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics: Volume 2, Short Papers, pp. 468-473, Valencia, Spain, April 2017. Association for Computational Linguistics.

[6] Mike Schuster and Kuldip K Paliwal. Bidirectional recurrent neural networks. IEEE transactions on Signal Processing, Vol. 45, No. 11, pp. 2673-2681, 1997.

[7] Sainbayar Sukhbaatar, Arthur Szlam, Jason Weston, and Rob Fergus. End-to-end memory networks. arXiv preprint arXiv:1503.08895, 2015.

[8] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th annual meeting of the Association for Computational Linguistics, pp. 311318, 2002.


# 宿トピックの整理と自動分類の試み

林部祐太IIstván Varga
株式会社リクルート Megagon Labs, Tokyo, Japan
\{hayashibe, istvan\}@megagon.ai

## 概要

宿探し対話の自動応答に用いる知識整備として， ツリー構造での宿に関するトピックの整理に取り組 んだ.トピック数（ノード数）は 791 個で，平均約 8 個のトピック例文をアノテーションした.また，発話の解釈結果をツリーにマッピングして自動応答 に活用することを想定し，ツリーへの自動分類にも 取り組んだ. 自動分類には，トピック数が非常に多 いが学習事例が非常に少ないという制約においても 頑健に動くよう，類似度に基づく手法を用いた。

## 1 はじめに

宿を探しているカスタマーへの接客にて，オぺ レータは宿トピックに関する知識を用いて応対す る。例えば次のような応対である。

・要望が抽象的であれば，具体的な要件を例示し て提案する（詳細化）:

カスタマー「自然豊かな所に止まりたい」

すか？」

・要望に該当する候補が多すぎれば，絞り込むた めに関連した追加の要望を聞く（要望追加）:

カスタマー「マグロを夕食に食べたい」

オオペレータ「お食事はバイキングがお好 みですか？それとも部屋食がよろしいでしょ うか？」

・要望に該当する候補がなければ，関連した代替 となる要件を例示して提案する（代替提案）：

カスタマー「マグロとか食べられる宿はありま すかね」

オペレータ「そのエリアでは，マグロをお出 している宿はありませんが，サーモンの有名な 宿があります.いかがでしょうか？」

これらは

・「自然」に関するトピックには「海」や「山」な

## どがある

・食事に関係するトピックには「バイキング」や 「部屋食」といった食事の形式に関するトピッ クがある

・「マグロ」の兄弟トピックに「サーモン」がある などといったような，宿トピックに関する知識に基 づいて行われる.

我々はこのような応対ができる対話システムの 構築を目指しており，本研究では宿トピックに関す る知識の整理と，発話のトピック自動分類に取り 組む.

## 2 関連研究

特定ドメインのトピックの整理を半自動で行った 研究として，レストランレビューサイト Yelp に投稿されている和食，イタリアンなどといったレスト ランのカテゴリのレビューごとに, Latent Dirichlet Allocation (LDA)[1] を適用し, 単語クラスタリング を行った研究 [2] がある. Reschke らは得られたク ラスタをサブカテゴリとみなし，人手でクラスタト ピックをアノテーションした. 我々は経験による分類を反映させるため，自動クラスタリングは用いず 完全に人手で整理する。

宿ドメインでは，次のようなトピックの分類で 研究が行われている. Pontik らは SemEval-2016 Task 5 の宿のレビューの感情分析で 7 つのアスペクト (hotel, rooms, room amenities, facilities, service, location, food\&drinks)を用いた [3]. Fukumoto らは7つのア スペクト（サービス，風呂，部屋，食事，立地，設備・アメニティ, 総合) で宿のレビューを分類した [4]. 安藤らは「商品の絶対的事実」「売り手の要望」「買い手の購入理由」など 23 項目で宿のレビューを 分類した [5]. 我々はこれらの分類を参考にしつつ,詳細化などの応対に使えるように，複数階層をもつ 体系でトピックを整理する。
表 1 宿トピックとトピック例文の例

## 3 宿トピックツリーとトピック自動分類モデルの試作

## 3.1 宿トピックツリーの設計

先行研究の分類を参考にしつつ，旅行情報サイト じゃらん net ${ }^{1)}$ に掲載されている宿レビューを観察 しながら，宿に関するトピックを手作業にてッリー 構造で整理することにした，以下そのツリーを「宿 トピックツリー」または単に「ツリー」とよぶ. そ して，根の子を Level 1，その子を Level 2，...といっ たようによび，“Level 1> Level 2” といった表記でト ピックを表す.

また, Level 1 と Level 2 はトピックの大分類・中分類を表すこととし, 具体的なトピックは Level 3 以下で表すこととする．例えば「そばアレルギー」 に関するトピックは，「食事>アレルギー>そば」と いう表記で表す。

Level 1 のトピックは，「立地，景色，宿タイプ，ス タッフ，設備・サービス，インターネット，駐車場，風呂, 食事, セキュリティ, 備品, ベッド，部屋， ユニバーサルデザイン，值段，子ども，雾囲気，リ ゾート」の計 18 個とする.ツリー全体でトピック は計 791 個あり，節トピックは 166 個，葉トピック は 625 個である. トピックの例を表 1 に，分布を表 2 に示す。

## 3.2 学習用トピック例文の作成

自動分類器の学習のため，トピックに該当する発話文やレビュー文の例（以下，トピック例文とよ ぶ）を作成した。例を表 1 に示す. トピック例文は 計 6,198 文で，平均約 8 文作成した.

## 3.3 トピック自動分類モデルの設計

宿トピック数は 791 と非常に多いが，学習事例数 はトピックあたり平均約 8 個と非常に少ない. そ のため，事前学習モデルに Softmax 層を追加して fine-tune する一般的な方法ではうまく動かない. そ こで，類似度に基づく分類手法を用いる。

まず，トピック例文と入力を SentenceTransform$\mathrm{ers}^{2)}$ [6] でベクトル化し，各トピック例文と入力の コサイン類似度を求める. 次に，トピックごとにコ サイン類似度の平均値を求め，それを入力に対する トピックのスコアとする。そして，閾値 $t$ を超える トピックのうち最も高いスコアをもつトピックを入力に対する予測トピックとする．ただし，間値を超 えるトピックが無ければどのトピックにも該当しな いとする。

## 4 トピック自動分類実験

## 4.1 実験準備

## 事前学習モデルの準備

事前学習モデルにはじゃらん net に掲載されて いる宿レビューを使って学習した $\mathrm{BERT}^{3}$ を用い る. BERT のトークナイザーは語彙サイズを 8,000 となるようして学習した SentencePiece ${ }^{4)}$ [7]を用い る. BERT のパラメータは公式サイトで公開され ているモデル BERT-Base と同じように，バッチサ イズは 512, Attention heads の数は 12, レイヤ数は 12，隠れレイヤ数は 12 とした。TPUを用いて 150 万ステップ学習し, Masked token prediction の精度は 66.5, Next sentence prediction の精度は 94.8 となった.

## Sentence Transformers の学習とスコア計算の高速化

Sentence Transformers の学習は事前学習モデルと トピック例文を fine-tune することで行う．損失関数 は同じトピックをもつ事例は近く，異なるトピック をもつ事例は遠くなるようなべクトルを得られる BatchAllTripletLoss[8]を用いる。学習は，バッチ サイズ 128 , エポック数 5 で行った.

処理の高速化のために，事前にトピック例文はべ クトル化しておく．また，スコア計算は簡略化し，

2) https://www.sbert.net/

3) https://github.com/google-research/bert

4) https://github.com/google/sentencepiece
表 3 テスト事例の予測結果. 予測トピックで括弧書きのものはスコアが閾値未満のため，該当トピックなしとする.

 &  & 食事>食材>海鮮 & 0.706 \\

表 4 自動分類実験の精度

表 5 自動分類実験の予測トピックごとの精度

高速近傍探索ソフトウェア $\mathrm{NGT}^{5}$ を使って 50 個の 近傍トピック例文とのコサイン類似度のみを利用し て求める.

5) https://github.com/yahoojapan/NGT

## 4.2 開発データと評価データ

現在開発している対話システムでは，カスタマー の発話から省略されている言葉を補い，発話文を要望ごとに簡潔に解釈した解釈文を生成し，それを 使って検索や返答を生成する。例えば，「それがい いですが，海鮮は出ますか？」といった発話文に対 して「朝食はバイキングを希望する。朝食バイキン グに海鮮が出るか知りたい。」といったような解釈文を作成する。そこで，解釈文に作成したトピック を自動分類して活用することを想定して実験する.宿探しの対話にそのような解釈文がアノテーション されたコーパス [9] のうち 1,443 文の解釈文 ${ }^{6)}$ に対し てトピックをアノテーションした. このうち 688 文 を自動分類器のパラメータ開発に， 755 文を評価に 用いる.

開発用データにおいて，予測が正解であるとき7） と不正解であるときのスコアの平均はそれぞれ 0.746 と 0.580 であった. そこで，閾値 $t$ は平均の 0.663 とする.

## 4.3 自動分類実験結果

途中の Level まで一致していれば正解としたとき の精度を表 4 に示した ${ }^{8)}$. Level 1 のみの一致で評価 した場合の F1 は 49.1 である. 閾値未満はすべてト

6）論文中では「要約文」とよんでいる

7）1つの文に複数のトピックがアノテーションされている場合は，1つでも該当する場合「正解」とする

8）本論文では TP, TN, FP, FN はそれぞれ True Positive，True Negative，False Positive，False Negative の略とする

ピック無しとしているため FN が多くなり，Recall が 36.9 と低くなったと考えられる. Level 2 のみの 一致で評価した場合の F1 は44.9である. Level 1 の それと比較すると 4.2 ポイント低く，より詳細なト ピックを予測するのは難しいことが分かる．予測ト ピックが完全に一致している場合のみ正解としたと きの F1 は44.0であった。

表 5 には予測のトピックごとの精度を示した.「総数」はそのトピックが正解にある事例の総数を 示す9). FN は「立地」，「値段」，「部屋」で比較的多 いことが分かる.

予測の例を表 3 に示す。まず，\#1 から\#3 は TP の 事例である.「海鮮」や「海の景色」の表現は学習事例に存在するが，「海産物」や「オーシャン」といっ た表現は学習事例には存在しない.しかしながら， ベクトルの類似度に基づくスコアにより適切に類似度を計算し，正しくトピックを予測できている。\#4 は TN の事例で，どの学習事例とも類似しないこと から，正しく該当トピックなしと予測できている。

\#5 と\#6 は FP の事例である. \#5 は食事の値段と いう点では正しいが，高めの值段で良いという入力 に対して逆のトピックを予測していため間違ってい る. \#6 も食事の酒という点では正しいが，ビールに 関する入力ではないので間違っている.

\#7 から\#9 は FN の事例である。７と＃8 は最もス コアが高い予測トピックであっても間違っている事例である。９９は閾値の設定によっては TP となった 事例である。

## 5 考察・今後の課題

本論文での実験をもとに考察し，トピックッリー の改善すべき点と自動分類手法の改善すべき点につ いて述べる.

## 5.1 トピックッリーの改善

今回の試作では，1つのトピックの親は必ず 1 つ となるようなツリー構造でトピックを整理したが，複数の親が考えられるトピックは存在する. 例え ば，「沖縄そば」は「麺類」の子としたが，「郷土料理」の子とも考えられる. このようなトピックが存在するので，複数の親をもつことを許すなど，異な る構造を検討する必要がある。

また，トピックの網羅性を上げるため，実際の対

9）1つの文に複数のトピックが付与されうるので「総数」の 和は文の総数とは一致しない。話に適用し，実用上問題となるトピックが不足して いないかを確認する必要もある.

## 5.2 自動分類の改善

自動分類の精度向上には，まず学習用データを改善することが必要である．学習に用いた例文は実際 の発話をもとに作ってはいないため, 学習と評価に 用いたデータの種類が異なる.これを揃えることで 精度の改善が見込める．ただし，すべてのトピック に対してアノテーションするのはコストが高いた め，間違いやすいトピックに対してに集中して事例 を追加するのが効果的だと考える.

次に，抜本的な精度改善のためにはモデルのアー キテクチャを改良することも必要である．現在のモ デルでは「食事」トピックと「食事>値段」トピック のように親子関係があっても, BatchAllTripletLoss を用いているのでそれぞれに属すトピックは距離を とるように学習されている。これが\# 5 や\#6 のよう な途中の Level までは正解しているが FP となって いる事例の誤りの原因と考える。そこで，これを考慮に入れた損失関数へ置き換えることで改良できる と考える。

また，ベクトルの分布の偏りが小さくなるような 粒度の粗いトピックの分類には類似度に基づくス コアではうまく働かないのも問題であると考える.「立地」や「部屋」でFNが多かったのはそれらの粒度が他のトピックと比べて粗いためだと考えられ る.そのため，類似度に基づくスコアとは別のスコ アも用いることで FNを減らし，精度の改善ができ ると考える。

## 6 おわりに

本研究では宿探しの対話システム構築のために,宿トピックに関する知識の整理と，発話のトピック 自動分類に取り組んだ。トピック数は非常に多い一方で学習事例は非常に少ない中，類似度に基づいた 分類手法を用いた。

今後は作成したトピックツリーや自動分類器自体 の改善はもちろん，対話システムに組み込んだ応用 にも取り組んでいきたい。

謝辞アノテーションを行っていただき，多くの示唆に富んだご意見をくださった山下華代氏に感謝し ます。また，有益な助言していただいた大阪大学の 荒瀬由紀准教授に感謝します。

## 参考文献

[1] David M Blei, Andrew Y Ng, et al. Latent Dirichlet Allocation. The Journal of Machine Learning Research, Vol. 3, pp. 993-1022, 2003.

[2] Kevin Reschke, Adam Vogel, et al. Generating Recommendation Dialogs by Extracting Information from User Reviews. In $A C L$, pp. 499-504, 2013.

[3] Maria Pontiki, Dimitris Galanis, et al. SemEval-2016 Task 5: Aspect Based Sentiment Analysis. In Proceedings of the 10th International Workshop on Semantic Evaluation, pp. 19-30, 2016.

[4] Fumiyo Fukumoto, Hiroki Sugiyama, et al. Incorporating Guest Preferences into Collaborative Filtering for Hotel Recommendation. In Proceedings of 6th International Joint Conference on Knowledge Discovery, Knowledge Enginnering and Knowledge Management, pp. 22-30, 2014.

[5] 安藤まや, 関根聡. レビューには何が書かれていて、読み手は何を読んでいるのか? 言語処理学会年次大会, pp. 884-887, 2014

[6] Nils Reimers and Iryna Gurevych. Sentence-BERT: Sentence embeddings using Siamese BERT-Networks. In EMNLP, pp. 3982-3992, 2019.

[7] Taku Kudo. Subword Regularization: Improving Neural Network Translation Models with Multiple Subword Candidates. In $A C L$, pp. 66-75, 2018.

[8] Alexander Hermans, Lucas Beyer, et al. In defense of the triplet loss for person re-identification. CoRR, Vol. abs/1703.07737, , 2017.

[9] 林部祐太. 要約付き宿検索対話コーパス. 言語処理学会年次大会, pp. 340-344, 2021.


# 議会における明示的な賛否表現を含まない議員発言を 対象としたスタンス分類データセットの構築と評価

猫本隆哲 1 秋葉友良 ${ }^{1}$ 増山 繁 ${ }^{2}$
1 豊橋技術科学大学 2 東京理科大学
nekomoto.takanori.pf@tut.jp akiba@cs.tut.jp masuyama@rs.tus.ac.jp

## 概要

スタンス分類の目的は, 発信者が特定のトピック に対して賛成なのか反対なのかを識別することであ る. 近年では, SNS において様々なトピックに関す る議論や討論を獲得し, スタンス分類のための教師 データとして用いられている. 本研究では, 議会議事録に収録されている議員発言を対象としたスタンス 分類を提案する. 提案するスタンス分類問題に対し,議会での討論のパターンを考慮することにより,議会議事録から自動的にデータセットを構築した. ま た, 構築したデータセットを用いて分類機を構築し，評価実験を行った.

## 1 はじめに

本研究では, NTCIR15 QA Lab-PoliInfo-2 Stance Classification タスク [1] から派生した文書分類タスクを 提案する. QA Lab-Poliinfo-2 タスクでは, 議会議事録 から議員の意見, その理由・条件の要約, 分類等を 行い, 表示するといった複雑な実世界の質問応答技術を目指している. Stance Classification では, 都議会 における政治家の発言から, 政治家の立場 (スタン ス)を推定することを目的としている.より具体的に は, 議会議事録から, 議会中に議論される各議題に ついて, 各会派の賛否を分類する問題に取り組んだ。日本の議会議事録の記述は, 議員ごとの発言の書き 起こしであり, ほとんどの議員は討論の冒頭で複数 の議案に対して簡単な賛否を述べることから,ここ から一定数の議案に対してのスタンスが判明する. Stance Classification の評価結果では, この冒頭部分の みを用いることで $90 \%$ 以上の正解率で賛否分類でき ることが示されている [2]. しかし, 一部には冒頭部分で賛否表明を行わない, または冒頭のみでは賛否表明されない議案が存在するといった場合があり， そのような場合に対応するには, 冒頭以外の討論部分から賛否分類を行う必要がある.

本研究では, 我々の先行研究 [3] に引き続き, ある 議案に対して明示的な賛否の表現のない討論の発言 から賛否分類を行う問題に焦点を当てた. 議会にお ける議員討論の特性を調査し,トピックとなる議題 に対応した討論の抽出から賛否のラベリングまでを 自動化し, データセットを構築した. また, 構築した データセットを用いて分類器を学習し, 評価実験を 行った.

## 2 スタンス分類

本節では, Stance Classification タスクの対象となっ た東京都議会を例として, 議事録の構造, および本研究の問題設定について詳細を述べる。

## 2.1 会議録データ

都議会の討論の特徴として, 議員は図 1 のように 発言の冒頭で特定議題への一定の賛否を述べてから 詳細な討論に入る。

## 議員の発言

私は、日本共産党都議団を代表して、第百六十八号議
案、再生手続開始申立事件において東京都が有する債権
の取扱い及び株式の消却に反対する立場から討論を行い
ます。
百六十八号議案は、経営破綻に陥った株式会社多摩
ニュータウン開発センターを民事再生手続により救済
し、…以下略】…
第百五十五号議案は、特定都営住宅に期限つき住宅を導
入するための都営住宅条例の一部を改正する条例です。
若年ファミリー世帯に都営住宅の入居枠を拡充すること
は、子育て支援にとっても、また高齢化が進む都営住宅
を活性化させる上でも重要であり、我が党もこれるで主
張してきたものです。…【下略】…

図 1 議員発言例

議員は必ず議長から発言権が与えられた上で, 始 めにいくつか議案への簡単な賛否表明を行った上 で,それぞれの議案についての詳細な討論を行う.こ

こでは, 前者を賛否表明発言, 後者を討論発言と定義 する. 図 1 から切り離した賛否表明発言および討論発言をそれぞれ図 2 , 図 3 に示す。

賛否表明発言

私は、日本共産党都議団を代表して、第百六十八号議案、再生手続開始申立事件において東京都が有する債権 の取扱い及び株式の消却に反対する立場から討論を行い ます。

図 2 賛否表明発言例

賛否表明発言は, 議長から発言権が与えられた議員が始めに述べる形式的な賛否表明である. 多くの 場合, ここから特定議案 (議案番号) の賛否表明が得 られ, Stance Classification タスクの評価結果では, 賛否表明発言のみを参照することで $90 \%$ 以上の正解率 が実現されることが分かっている [2].

## 討論発言

百六十八号議案は、経営破綻に陥った株式会社多摩 ニュータウン開発センターを民事再生手続により救済 し、...【以下略】…

第百五十五号議案は、特定都営住宅に期限つき住宅を導入するための都営住宅条例の一部を改正する条例です。若年ファミリー世帯に都営住宅の入居枠を拡充すること は、子育て支援にとっても、また高齢化が進む都営住宅 を活性化させる上でも重要であり、我が党もこれまで主張してきたものです。…【以下略】…

図 3 討論発言例

討論発言では, 賛否表明を行った議案への詳細な 言及がなされる. 賛否表明発言と比較すると, 同一議案への言及でありながらも, それについての根拠が 明確に述べられている. しかし, 討論発言では賛成や 反対といった単語は必ずしも出現しない. また, 賛否表明発言では言及されず, その後の討論発言のみで 言及される議案も存在する. また, 討論発言では複数 の議案について議案ごとに順番に発言が行われる。 よって, 発言者のある議案に対するスタンスを捉え るためには, 討論発言を議案ごとに分割したテキス ト (セグメント)を獲得する必要がある.

## 2.2 問題設定

前述したように賛否表明発言を用いることで高い 精度で賛否分類を行うことが可能であるが, 陽に言及されない議題には対応できない. そこで本研究で は, 図 3 に示した討論発言から, 議案に対する賛否を 分類する問題に焦点を当てる. そのために, 議事録
の各議員の各議案に対する討論発言のセグメント分割を行い，その議題への賛否を対応付けたペアデー タを構築した.このぺアデータを学習データとして，二値分類器の構築, 評価を行った。

## 3 データ構築手法

本節では, 議会議事録からの教師データの構築方法, それに伴う討論発言のセグメント分割手法につ いて述べる.

## 3.1 セグメント分割

議案に対応する討論発言を獲得するために討論の セグメント分割を行う. セグメント分割には, 議員討論で多用される表現方法, 特に特定の接続詞に注目 して分割を行う. 議事録の場合, 接続詞が出現する箇所は言及する議題に変化を予測しやすいため, 図 4 のような議員の討論発言例では，「次に」という接続詞に注目して分割を行う.また接続詞以外に, 議事録に記載されている議案番号や議案名にも注目し，分割を行う. 注意する点としては, データセットには 議題と関連の無いノイズとなるような発言の混入を 防ぐために, 議案番号と議案名については討論発言 との完全一致を主として分割を行っていく.

しかしながら, 議員が議事録記載の議題名をその まま発言するとは限らない. そこで, 可能な限り議題対応が取れる多くの発言を獲得するために, 別途編集距離を用いる. 手法としては, 図 4 のように討論内 に「〜について」という発言が含まれる場合, それ 以前の発言と議題名との編集距離を測る. その類似度があらかじめ定めたしきい値を超える場合, 議題対応が取れる発言であるとみなし, セグメント分割 を行うものとする. 本研究では, しきい值を 0.9 に設定した. これらのルールベース手法で獲得したセグ メントを総じてセグメント候補として利用する。

## 3.2 ラベリング

次に, 獲得したセグメント候補にラベリングを施 す.セグメント候補に対するラベリングは次の 3 つ の手法を検討した。

議決参照 議事録の議決部から賛否を与える.

賛否表明参照 A 議決参照せず, 賛否表明発言から 賛否を与え, 不明部分には賛成ラベルを与える

賛否表明参照 B 議決参照せず, 賛否表明発言から 賛否を与え, 不明部分は教師データに含めない.

## 議事銢記載の議案番号, 議案名

第百十一号議案:

株式会社新銀行東京に関する特別委員会の継続調査

第百二十七号議案:

東京都築地市場の移転・再整備に関する特別委員会の継続調査

Levenshtein . ratio(seg $1, \operatorname{seg} 2)>0.90$ ?

図 4 討論発言のセグメント分割および編集距離を用いた議題特定

東京都議会の場合, 議事録に収録されている議決 を参照することで各政党ごとに各議案に対する賛否 が分かる.しかし, 地方議会や国会などでは賛否数の みの記載に留まることがあるため, 賛否表明発言か らラベルを与える手法を検討した. 賛否表明参照 A と B の違いは, 賛否表明発言で言及されていないセ グメント候補に賛成ラベルを与えてデータセットに 採用するか, もしくはラベルが与えられないセグメ ント候補はデータセットに含めないかである. よっ $\tau$, 賛否表明参照 B は, 賛否表明参照 A よりも誤ラ ベル率が低い代わりに, サンプル数が少なくなる傾向がある.これが分類実験ではどのような影響を及 ぼすかを検証する。

## 3.3 データセット総括

本手法を 2000～2020 年までの東京都議会に適用 し,データセットの自動構築を行った. 表 1 にラべ リング手法ごとに構築されたデータセット総数を 示す.

表 1 データセット概要

構築できたデータセットは 539 件となり, 推定賛成ラベルを与えたセグメント候補をデータセットに 含めない場合は 500 件となった. また error は議決を 参照せずにラベルを予測したうち, 教師データのセ
グメント候補に対して与えられた誤ラベル数を示し ている.これを学習に用いて人手で構築した 137 件 のテストセットを用いて評価実験を行う。

## 4 評価実験

本節では, 構築したデータの分類に用いる分類器 の概要, 分類器の評価実験, 考察について述べる.

## 4.1 BERT を用いた分類

2.1 節で定義した討論発言を対象に議員のスタン スを 2 值 (賛成 or 反対) に判定する BERT ベースの 分類器を構築した [4]. モデルには, 公開されている 日本語事前学習済みモデルの BASE 通常版を用い た [5]. 本モデルは, JUMAN [6] による単語分割に基 づいて学習されているため, 同じ形態素解析器を使用している. また, 今回は入力が討論発言, 出力を賛成または反対とすることが目的であるため, [CLS] トークンの最後の隠れ状態を入力 768 次元, 出力を 賛成または反対の 2 クラスとする全結合層に通して 予測値を出力する.

## 4.2 入力構成

入力は単一討論発言, または討論発言に議題名を 加えたものの 2 つを検証する. 議題名を追加で与え る試みについては, 獲得したセグメント候補は特定 の接続詞や発言に出現する議題名に注目して分割を 行っている. そのため, セグメント候補には議題とは 関連のないノイズが含まれることがあるため, 議題
名を追加で与えることで分類精度に影響を及ぼすか 検証するために行う。

## 4.3 実験設定

作成した 3 つのラベリング手法との比較対象とし て以下の 3 つのベースラインを設定した.

Majority 討論内容に関わらず全て賛成と分類する.

Baseline1 討論発言に出現する「賛成」「反対」の 単語数をカウントし, 多い方にラベルを与える. ただし同数, または出現しない場合は「賛成」と する。

Baseline2 知事提出議案を一括で賛成, 議員提出議案を一括で反対とする.

ハイパーパラメータの設定は, 入力の最大系列長 を 512, ミニバッチサイズを 24 , 学習係数を $2 \mathrm{e}-5$, エ ポック数を 3 とした.

## 4.4 結果と考察

表 2 に 3 つのラベリング手法それぞれに議題を 与えたものの合計 6 種の精度を示している. まず， majority の時点で分類精度が 7 割を超えており, 構築 されたデータセットでの議員発言はそのほとんどが 賛成のスタンスであることが分かる. その他のべー スラインでは baseline 2 が最も精度が高く, 知事提出議案に対しては賛成, 議員提出議案については反対 のスタンスを表明する議員が多数いることが予想 できる. 提案手法については全手法で baseline を上回っており,また議題を追加で与えることで精度向上に寄与していることが分かった. また, 正解ラベル を議決から与えた議決参照ラベリングが最も精度が 高くなり, 誤ラベルが少ない train セットを用いた方 が次いで正解率が高い. よって, 今回の実験ではデー タセット総数よりも,ラベリング精度を重視する方
が精度向上に好影響を与えることが分かった。

賛成 1 まず最初に、宿泊税についてです。今回、宿泊税 は、法定外目的税として提案されました。私たち生活者 ネットワークは、地方分権一括法が昨年四月に施行さ れ、課税自主権が地方に 付与された条件を生かそうとす る試み自体は高く評価するものです。しかし、具体的提案については、率直にいって使い道の内容やプロセスの 点で、大きな疑問を提起せざるを得ません。日本はこれ まで、黒字を解消するため海外へ出ることを奨励し、観光を政策として進めてきませんでした。これは東京都も 同じで、東京の過密化をさらに進める観光客の誘致をよ しとはしてきませんでした。(以下略)

図 5 誤分類例 (誤って賛成ラベルに分類された例)

図 5 に実際に分類器へ討論発言を入力し, 誤分類 された例を示す.この発言は教師あり分類器に共通 して, 正解ラベルは反対でありながらも誤ラベルで ある賛成に分類されてしまった討論発言である. 誤分類された討論には, 肯定意見と否定意見が混在し ており，また肯定側の討論はよく使われる「評価す る」といった表現が含まれていることから, 賛成と 分類されたと考えられる. また,このような機械が誤分類する討論発言は, 人間が確認を行っても誤分類 してしまう傾向が高いため, 同様の誤分類が他の議会議事録においても発生するか, 今後も検証を続け る必要がある.

## 5 おわりに

本研究では, 議会の議員発言を対象として, その特性を活用したアノテーションを不要とするデータ セットの構築方法を提案した. また, BERT ベースの スタンス 2 值分類器を構築し, 構築したデータセッ トのベースラインを確立した. 今後はより多くの議員討論を獲得するために, 地方議会等を対象として 更なるデータセットを構築し, 提案手法の有効性を 検証する。

## 謝辞

本研究は JSPS 科研費 19K11980 の助成を受けた.

## 参考文献

[1] Yasutomo Kimura, Hideyuki Shibuki, Hokuto Ototake, Yuzu Uchida, Keiichi Takamaru, Madoka Ishioroshi, Teruko Mitamura, Masaharu Yoshioka, Tomoyoshi Akiba, Yasuhiro Ogawa, Minoru Sasaki, Kenichi Yokote, Tatsunori Mori, Kenji Araki, Satoshi Sekine, and Noriko Kando. Overview of the ntcir-15 qa lab-poliinfo-2 task. Proceedings of The 15th NTCIR Conference, 122020.

[2] Takanori Nekomoto, Ryoto Ohsugi, Tomoyosi Akiba, Shigeru Masuyama, and Daiki Shirato. akbl at the ntcir15 qa lab-poliinfo-2 tasks. The 15th NTCIR Conference, p. 155, 2020.

[3] 猫本隆哲, 秋葉友良, 増山繁. 議題への明示的な賛否表現を含まない議員発言を対象とした議会議事録のス タンス分類. 言語処理学会第 27 回年次大会 発表論文集, pp. 669-673, 2021.

[4] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018

[5] Tomohide Shibata, Daisuke Kawahara, and Sadao Kurohashi. Improving the accuracy of japanese parsing with bert. The Association for Natural Language Processing 25th Annual General Meeting, pp. 205-208, 2019.

[6] Daisuke Kawahara. Japanese morphological analysis system juman version 3.61. http://pine.kuee.kyoto-u.ac.jp/nlresource/juman.html, 1999.

## A 付録

本節に構築したデータセットに収録されている実際の賛成討論, 反対討論をそれぞれ示す.

## 賛成 1

第二百七号議案、東京都情報公開条例の一部 を改正する条例によって、情報公開の実施機関に公安委員会と警視総監が加えられました。今期、全国初の都議会独自の情報公開条例が 実現し、さらに今、警察情報が公開実施機関 に加えられるということは、開かれた政治へ の前進として、心から歓迎するものです。し かしながら、この警察情報の公開が真に実効 あるものとなるためには、開示義務除外とさ れる情報を、犯罪捜査などに支障を及ぼすお それのある刑事法の執行を中心としたものに 限定し、いわゆる行政警察活動や犯罪捜査な どの個別の警察活動に支障を及ぼさない財政支出などは原則開示とするなど、明確な基準 による運用が必要です。都民の期待にこたえ る地方自治体としての積極的な条例運用を求 めるものであります。，小松恭子,2000/7/12, 第二百七号議案, 東京都情報公開条例の一部を改正する条例

## 反対 0

犯罪被害者等基本条例について申し上げます。総務委員会における都議会公明党の質疑で、本条例案の数々の問題点が露見しました。条例の根幹は目的と定義にあります。しかし、本条例の目的と定義は、国の犯罪被害者等基本法の条文の中の国を都に、また、国民を都民にほぼ置きかえただけであり、犯罪等の範囲や犯罪被害者等の対象の解釈についても国 の解釈を踏襲しており、都としての独自性や 必要性がないことが明らかにされました。ま た、条例案第十一条の経済的負担を軽減する 生活資金の給付については、現在、国が具体的に見直しを検討しており、今回の質疑にお いても具体的な給付案及び根拠となる財源は 明示されませんでした。さらに、具体的な給付案については、都知事が設置する犯罪被害者等施策推進会議でもまれるとの答弁があり、都に丸投げする形になっています。また、既 に都が設置している東京都犯罪被害者等支援推進会議との関係からすれば、屋上屋を重ね るだけであることが明らかであります。公明党は四十六年前、凶悪犯罪によってかけがえ のないご子息を失った一人の父親の声を聞き、以来、犯罪被害者等の支援に取り組んでまい りました。今日までの半世紀にわたる取り組 みは、犯罪被害者等が抱える悲しみ、苦しみ に少しでも寄り添い、心を配りながら進めて きました。このたびの条例案は余りにも拙速 かつ不十分な内容であり、形だけの条例案と いわざるを得ず、到底賛成することはできま せん。, 小林健二, $2012 / 10 / 4$, 議員提出議案第十一号, 東京都犯罪被害者等基本条例


# クラウドソーシングによる単語親密度データの構築 (2021 年版)

浅原 正幸
国立国語研究所
masayu-a@ninjal.ac.jp

## 概要

2018 年〜2021 年にかけて、継続して単語親密度調査を進めている。調査においては『分類語彙表』 に出現する見出し語に対して「知っている」「書く」「読む」「話す」「聞く」の利用の程度をクラウドソー シングにより質問紙調査を行った。今回、4年間の 累積データに対して、ベイジアン線形混合モデルを 見出し語に基づき実施したので報告する。また同 データベースの検索ツールについても紹介する。

## 1 はじめに

我々は 2018 年にクラウドソーシングによる単語親密度調査を開始した。最初の公開データ [1]には データ量が少なく、その後毎年継続調査を行いデー タを増補してきた。また従前のモデル構築方法にも 問題があった。本研究では増補したデータとともに 新たに単語親密度データベースを再構築したので報告する。改変点では以下のとおりである：

-欠損していたデータについても補完し、全見出 しに単語親密度を付与した。
- 同一見出しについて、単一の単語親密度を付与 するように変更した。

・回答数が少ない実験協力者データを排除した。

・ベイズ主義的分析においては、単語親密度・実験協力者の語彙力をともに標準正規分布により モデリングを行った。

また、分類語彙表を検索するツール CradleExpress 上 に、単語親密度情報を格納した。分類語彙表番号に 基づく語義階層ごとの単語親密度順ソートが可能に なった。

以下ではデータの構築方法とともに検索ツールに ついて紹介する。

## 2 評定値の収集・モデリング

## 2.1 評定値の収集

図 1 評定値収集画面

表 1 収集評定値の統計

分類語彙表に登録されている「見出し」を刺激 として、「知っている」 (KNOW) ・書く」(WRITE) ・「読む」(READ)・「話す」(SPEAK)・「聞く」(LISTEN) の 5 観点について Yahoo! クラウドソーシングを用 いてアンケート調査を実施した。図 1 に調査に用い た評定值収集画面の例を示す。2018 年に初回の調
査を行ったのち、欠損値を補完するために 2019 年 に未収集もしくは評定值の分散が高い見出しを中心 に評定值の収集を行った。2020 年はクラウドソー シングによる読み時間データ収集 [2] において、実験協力者の語彙力を評定する事前調査として実施し た。2021 年は区切り文字を除いた全見出しに対し て調査を行った。表 1 に調查時期と実験協力者数・回答数を示す。

## 2.2 モデリング

表 2 分析対象データ

モデリングに際して、データの整理を行った。 まず、実験協力者に呈示した見出しごと (84114 見出し) に KNOW, WRITE, READ, SPEAK, LISTEN $の 5$観点に対して一意の ID (WID: 1 420570)を付与し、 そのランダム効果を単語親密度とする。従前のモデ ル [1]では、見出しが同じである異なる分類語彙表番号を持つ語（多義語）は、分類語彙表番号ごとに 推定を行っていたが、今回は見出しごとに推定を 行う。

収束性を担保するために 150 回答以上の実験協力者である異なり 6732 人分のデータのみを利用する。実験協力者に対して一意の ID (SID: 1～6732)を付与 し、このランダム効果も「実験協力者の語彙力」と して用いる。また 1 実験協力者が 2 回以上回答し た見出しについては排除した。結果 15691265 件の データポイントを得た（表 2 ）。

図 2 統計モデルの概要

得られたデータをベイジアン線形混合モデルのラ ンダム効果によりモデル化する。グラフィカルモデ ルを図 2 に示す。 $N_{\text {word }}$ は見出し $\times 5$ 観点 WID の 定義域、 $N_{\text {subj }}$ は実験協力者 SID の定義域である。 それぞれ単語・観点のインデックス $i: 1 \ldots N_{\text {word }}$実験協力者のインデックス $j: 1 \ldots N_{s u b j}$ とする。 $y^{(i)(j)}$ は見出し $\times 5$ 観点の評定值 (RATE) で、アン ケート結果を 1（全く知らない／出現しない） 5 （よく知っている／出現する）に数值化したものを 利用する。 $y$ は平均 $\mu^{(i)(j)}$ 標準偏差 $\sigma$ によって定義 される正規分布とする：

$
y^{(i)(j)} \sim \operatorname{Normal}\left(\mu^{(i)(j)}, \sigma\right) .
$

$\sigma$ は標準偏差としてのハイパーパラメータで、 $\mu^{(i)(j)}$ は、切片 $\alpha$ と見出し $\times 5$ 観点のランダム効果 $\gamma_{\text {word }}^{(i)}$ と実験協力者のランダム効果 $\gamma_{s u b j}^{(j)}$ の線形式 で定義する：

$
\mu^{(i)(j)}=\alpha+\gamma_{\text {word }}^{(i)}+\gamma_{\text {subj }}^{(j)}
$

見出し $\times 5$ 観点のランダム効果 $\gamma_{w o r d}^{(i)}$ と実験協力者のランダム効果 $\gamma_{\text {subj }}^{(j)}$ は、それぞれハイパーパ ラメータ平均 $\mu_{\text {word }}:=0.0, \mu_{\text {subj }}:=0.0$ 、標準偏差 $\sigma_{\text {word }}:=1.0, \sigma_{\text {subj }}:=1.0$ によって定義される正規分布によりモデル化した。

$
\gamma_{\text {word }}^{(i)} \sim \operatorname{Normal}\left(\mu_{\text {word }}:=0.0, \sigma_{\text {word }}:=1.0\right),
$

$
\gamma_{\text {subj }}^{(j)} \sim \operatorname{Normal}\left(\mu_{\text {subj }}:=0.0, \sigma_{\text {subj }}:=0.5\right) .
$

このうち単語親密度は見出し語 $\times 5$ 観点のランダ 么効果 $\gamma_{w o r d}^{(i)}$ の推定値である。一方、実験協力者の 個体差はランダム効果 $\gamma_{s u b j}^{(j)}$ の推定値であるが、結果的に実験協力者の語彙力の評価値となる。

推定には R と Stan を用いた。warm-up 30 iteration のあと、 300 iteration $\times 3$ chains 並列でシミュレー ションし、すべてのモデルは収束した $(\hat{R}<1)$ 。

## 3 データの分布

図 3 に得られた語彙力および単語親密度の分布 を示す。語彙力は標準正規分布としてモデル化した ためにこのような分布になっている。この語彙力の データは匿名化したうえで読み時間評価実験 [2]参加した方の属性値として利用する。

単語親密度の分布は、「知っている」>「読む」「聞 く」>「書く」「話す」の順に大きい。「生産」は「書 く」+「話す」「受容」は「読む」+「聞く」、「書記」 は「書く」+「読む」、「音声」は「話す」「聞く」の値 である。「受容」が「生産」より大きい傾向があるほ か、「書記」が「音声」より大きい傾向がみられる。

図 3 語彙力および単語親密度の分布

また、「生産-受容」は「書く」+「話す」－「読む」－「聞く」の値である。一般的に多くの語が「受容」>「生産」であるために負の値になるが、マスコミな どで利用される語で個人ではあまり利用しない語が 「生産」>「受容」となり正の値を持つ場合がある。

最後に、「書記-音声」は「書く」-「話す」+「読 む」-「聞く」の値である。正の值であれば書き言葉特有の語、負の値であれば話し言葉特有の語である ことがわかる。

## 4 検索ツール: CradleExpress

次に分類語彙表の検索ツール CradleExpress ${ }^{1)}$ につ いて紹介する。図 4 に検索画面を示す。

「詳細条件」で分類語彙表に基づく情報で絞り込 み検索ができるほか、「親密度」でも絞り込み・並べ 替えができる。以下では、分類番号 1.5501 「体-自然-動物-哺乳類」の親密度について確認する。図 5 に「知っている」上位 5 件の見出し語を示す。「知っ ている」列で並び替えを行うと、動物園などで観ら れる「ゴリラ」・「コアラ」・「やぎ」・「ライオン」が 上位を占めた。また、分類学上の「哺乳類」が 3 位 であった。

次に「生産」(「書く」「話す」を足したもの)・「受容」（「読む」・「聞く」）列で並び替えを行うと、図 6,7 のようになった。身近な動物である「猫」「犬」「野良猫」や、食肉としての「牛」「豚」が上位を占 めた。また、分類学上の「動物」が 2 位（受容) 3 位（生産）であった。

基本語彙の観点からは、「理解語彙」（知っている） と「利用語彙」（書く・読む・話す・聞く）の 2 つの 観点で大きな差があることがわかる。「生産」と「受容」に大きな差がある語としては、「盲導犬」「猛虎」 など特定の媒体の頻出する表現が確認された。

また、書き言葉で用いられるか、話し言葉で用い られるかを判別するために、「書記-音声」(「書く」+「読む」－「話す」－「聞く」）の評定値により、降順 （書記優位）・昇順（音声優位）したものを、図 8,9 に示す。前者が特定の小説・書籍・新聞などの書き 言葉で頻出する語である一方、後者が対話などの話 し言葉で頻出する語である。

このような評定値は認知言語学における基本レべ ルカテゴリとなりうる典型例を示すことができる。 しかしながら、認知的に基本的なものとして、「理解語彙」（知っている）を指し示すか、「利用語彙」 （書く・読む・話す・聞く）を指し示すかにより、語

図 4 CradleExpress 検索要求指定画面

彙の分布が著しく異なる。さらに、「書記」（書く・読む）か「音声」（話す・聞く）かにより評定値差の 大きなものがあることから、プロトタイプ性の認定 にあたっては、そのレジスタ（書き言葉か話し言葉 か）も含めて検討すべきことが示唆された。

## 5 おわりに

本稿では、継続的に調査を行っている単語親密度 データの 2021 年時点の累積データに基づいて、見出し語単位で統計処理を行ったデータについて示し た。また、同データを検索するツールについても紹介した。

本調査では、単語単位での評定を行ったために、多義語においては、その語義ごとの利用実態を明ら かにすることができない。例えば、上の例の「なま けもの」は字義通りの「哺乳類」の評定値か「㤐惰」 の評定値かがわからない。そこで、コーパスの出現 ごとの印象評定調査を行った [3]。今後、コーパス 上の用例と本データとを対照し、ヒトの語彙のとら え方を明らかにしていきたい。

## 謝辞

本研究は国立国語研究所コーパス開発センター共同研究プロジェクトの成果物です。また、科研費 17H00917，18K18519,19K00591，19K00655 の支援を 受けました。

 &  &  \\

コアラ & 2.16988931425696 & 0.27520523348496 & 1.115538591867071 \\
哺乳類 & 2.16628019642134 & 0.649779029443949 & 0.975175398158484 \\
やぎ & 2.13665095336729 & 0.06419158274259999 & 0.2032152535215712 \\
ライオン & 2.1223051693044 & 0.3590675971468735 & 0.680990317360433

図 5 分類番号 1.5501 「知っている」上位

 &  &  \\

図 6 分類番号 1.5501 「生産」上位

 &  &  &  \\

図 7 分類番号 1.5501 「受容」上位

 &  \\

やまあらし & 1.17036381793061 & 0.7979713163135049 \\
赤馬 & 0.308798738053768 & 0.7354525701993202 \\
霊長類 & 1.2689718203082 & 0.666646635471029 \\
土佐犬 & 1.58893703003315 & 0.6509951531038392 \\

図 8 分類番号 1.5501 「書記-音声」上位（書記優位）

 &  \\

図 9 分類番号 1.5501 「書記-音声」下位（音声優位）

## 参考文献

[1]浅原 正幸. Bayesian linear mixed model による単語親密度推定と位相情報付与. 自然言語処理, 27(1):133-150, 2020.

[2]浅原 正幸. クラウドソーシングによる大規模読み時間 データ収集. In 言語処理学会第 27 回年次大会発表論文集, pages 1156-1161, 2021.

[3]加藤 祥 and 浅原 正幸. 『現代日本語書き言葉均衡コー パス』に対する印象評定情報付与. In 言語処理学会第 28 回年次大会発表論文集, 2022.

## A 単語親密度の検索手法

以下では、CradleExpressによる単語親密度の検索手法について示す。CradleExpress は UniDic と分類語彙表 が格納されており、このうち分類語彙表が格納されているhttps://cradle.ninjal.ac.jp/wlsp/を用いる。

## CradleExpress

 & & ms per Page: 10 &  & 200 & 500 & Downlo & Short & $\checkmark$ & 設定 & & & & \\

図 10 CradleExpress 検索結果：分類番号 1.5501 デフォルト画面

図 4 に示す検索要求指定画面に対して、検索したい「分類」を指定する。例えば、1.5501を指定すると、図 10 のような画面を得る。

る。または、検索要求画面下部にある「並べ替え」の「キー：」（図 11）により、調べたい単語親密度情報を 指定する。

図 10 の表示結果は、右側にも「生産」「受容」などの評定値があり、横スクロールで右に移動して表示で きる。または、図 12 のように「設定」をクリックし、カラム幅を調整することで、必要な列のみを表示でき る。表示しない列は「0」に設定し、表示したい列は「auto」もしくは適切な値を設定する。

図 11 単語親密度による並び換えの指定

図 12 表示列幅の指定


# セミマルコフ CRF 自己符号化器による教師なし単語分割

和田有輝也 村脇有吾 黑橋禎夫
京都大学大学院情報学研究科
\{wada, murawaki, kuro\}@nlp.ist.i.kyoto-u.ac.jp

## 概要

従来のニューラル教師なし単語分割手法には, (1) 少量のテキストしか参照しない，(2) 言語モデル に基づくため，単語分割モデルとしては不必要な制限を課しているという 2 つの課題がある. そこで，我々は事前学習済み文字レベル BERT を用いること で大規模テキストを活用する。さらに，入力文全体 を見て分割を予測するセミマルコフ CRF 自己符号化器モデルを提案する。日本語を対象とした実験の 結果，提案手法によって概ね妥当な単語分割が得ら れることが確認された。

## 1 はじめに

日本語や中国語等の明示的な単語の境界をもたな い言語における自然言語処理では，前処理として単語分割が重要な技術となっている．単語分割の訓練手法としては教師あり学習が広く用いられている。 しかし, その学習には大量のアノテーションデータ が必要であり，言語リソースの少ない言語やドメイ ンに適用することが難しい。そこで，アノテーショ ンデータセットのない言語やドメインにも適用可能 な教師なし学習による単語分割手法が求められて いる.

教師なし単語分割は，かつてはベイズ推定に基 づく手法 $[1,2]$ が盛んに研究されていた。近年では ニューラルネットワークに基づく手法 $[3,4,5,6]$ が 研究されているが，その課題として次の 2 点が挙げ られる。第 1 に，モデルが参照するテキストが少量 である。従来手法では，訓練データセットが 1-2万文程度と小さく，かつ，事前学習済みモデルも採用 しておらず，ニューラルネットワークを用いた複雑 なモデルの学習には不十分であると考えられる。第 2 に，いずれのモデルも単語分割モデルであると同時に言語モデルでもあるため，分割の予測をする際 に入力文の一部を適宜隠す必要がある。この制約は 言語モデルでは必要だが，単語分割モデルでは不要
である。本研究では 1 つ目の課題を解決するため に，事前学習済み文字レベル BERT による入力文の 埋め込みを行う．また，2つ目の課題を解決する教師なしニューラル単語分割モデルとして，セミマル コフ CRF 自己符号化器を提案する。

## 2 関連研究

ニューラルネットワークに基づく教師なし単語分割手法としては，Segmental Language Model (SLM) [3] がある．SLM は入力文をエンコードする文脈エ ンコーダと単語の生成確率を計算するセグメントデ コーダの 2 つの LSTM からなるモデルである. 入力文における全ての部分文字列の生成確率を計算 し，それらから最適な分割を求める。他の教師なし ニューラル単語分割の手法としては，SLMに語彙 メモリモジュールや単語長さについての正則化項を 追加した手法 [4] や LSTM を双方向に拡張した手法 [5]，エンコーダとして LSTM の代わりに Transformer を用いた Masked Segmental Language Model (MSLM) [6] が提案されている. しかし，従来手法はいずれ も 1 章で述べた 2 つの課題を有している. 本研究で はそれらの課題を解決する教師なし単語分割手法を 提案する。

## 3 提案手法

本研究では事前学習済み文字レベル BERT による 入力文の埋め込みを行い，入力文全体を見て分割を 予測するセミマルコフ CRF 自己符号化器モデルを 用いる教師なし単語分割手法を提案する．提案手法 の概要を図 1 に示す.

## 3.1 文字レベル BERT による埋め込み

大規模なデータセットで事前学習した文字レベル 言語モデルは潜在的に単語についての情報を有し ていると考えられる．実際に Wang らは中国語を対象とした文字レベル BERT が潜在的に単語につい ての情報を有していることを示している [7]. そこ

図 1 提案手法の概要

で， 大力文 $\mathbf{x}=c_{1}, \cdots, c_{n}$ を事前学習済み文字レベ ル BERT を用いて埋め込み表現 $\mathbf{h}=h_{1}, \cdots, h_{n}$ に変換する.ここで， $c_{i}$ は単一の文字, $h_{i}$ は文字 $c_{i}$ に対応する埋め込み表現であり,$n$ は文 $\mathbf{x}$ の文字数であ る.この埋め込み表現を用いてモデルを学習するこ とで，文字レベル BERT が潜在的に有している単語 についての情報が単語分割の学習に活用されること が期待される。

## 3.2 セミマルコフ CRF 自己符号化器

セミマルコフ CRF 自己符号化器は CRF 自己符号化器モデル [8] における CRF をセミマルコフ CRF に拡張することで，単語分割タスクに適用し たものである. 訓練時には， 入力文 $\mathbf{x}$ から可能な 全ての分割 $\mathbf{y}=\mathbf{w}_{1}, \cdots, \mathbf{w}_{m}$ について分割の生成確率 $p(\mathbf{y} \mid \mathbf{x})$ を計算し，各 $\mathbf{y}$ から元の文 $\hat{\mathbf{x}}$ が生成され る確率 $p(\hat{\mathbf{x}} \mid \mathbf{y})$ を計算する. 予測時には, 復元確率 $p(\hat{\mathbf{x}}, \mathbf{y} \mid \mathbf{x})=p(\mathbf{y} \mid \mathbf{x}) p(\hat{\mathbf{x}} \mid \mathbf{y})$ が最も高くなる $\mathbf{y}$ を選択す る. ただし， $m$ は分割 $\mathbf{y}$ における単語数である.

セミマルコフ CRF 自己符号化器は連続する 2 単語間の遷移スコアを計算する遷移ネットワークと単語の生成確率を計算する単語ネットワークの 2 つの モジュールによって構成される. ある分割 $\mathbf{y}$ の遷移 スコア $\phi(\mathbf{x}, \mathbf{y})$ を $\mathbf{y}$ における全ての連続する 2 単語間 の遷移スコアの総和

$
\phi(\mathbf{x}, \mathbf{y})=\sum_{i=0}^{m} \tilde{\phi}\left(\mathbf{w}_{i}, \mathbf{w}_{i+1}\right)
$

で定義し，分割生成確率 $p(\mathbf{y} \mid \mathbf{x})$ は

$
p(\mathbf{y} \mid \mathbf{x})=\frac{\exp (\phi(\mathbf{x}, \mathbf{y}))}{Z}
$

とする.ただし， $\mathbf{w}_{0}, \mathbf{w}_{m+1}$ はそれぞれ文の始端，終端を表すシンボル [BOS], [EOS], $Z$ は正規化定数 である. また，y から元の文 $\hat{\mathbf{x}}$ が生成される確率 $p(\hat{\mathbf{x}} \mid \mathbf{y})$ を分割 $\mathbf{y}$ に含まれる単語の生成確率 $p_{\mathrm{w}}\left(\mathbf{w}_{i} \mid \mathbf{y}\right)$ を用いて，

$
p(\hat{\mathbf{x}} \mid \mathbf{y})=\prod_{i=1}^{m} p_{\mathrm{w}}\left(\mathbf{w}_{i} \mid \mathbf{y}\right)
$

で定義する.

遷移ネットワークは 3 層の MLP，単語ネットワー クは前向きLSTM と後ろ向きLSTM の 2 つからなる ネットワークでそれぞれ構成する.

## 3.2.1 遷移スコア

連続する 2 単語間の遷移スコア $\tilde{\phi}\left(\mathbf{w}_{i}, \mathbf{w}_{i+1}\right)$ は $\mathbf{w}_{i}, \mathbf{w}_{i+1}$ のそれぞれの先頭の文字に対応する埋め込 みべクトル $h_{i, 1}, h_{i+1,1}$ を結合したべクトルを遷移 ネットワークに入力して得られる値であるとする。 なお，シンボル [BOS], [EOS] に対応する埋め込みは それぞれモデルパラメータとして学習する.この遷移スコアの定義は, 学習の結果として, 真の単語に ついて BERT のもつ潜在的情報がその先頭の文字に 対応する埋め込みべクトルに現れるようになること を期待するものである.

## 3.2.2 単語生成確率

分割 $\mathbf{y}$ における単語 $\mathbf{w}_{i}=c_{i, 1}, \cdots, c_{i, k}$ の生成確率 $p_{\mathrm{w}}\left(\mathbf{w}_{i} \mid \mathbf{y}\right)$ を

$
p_{\mathrm{w}}\left(\mathbf{w}_{i} \mid \mathbf{y}\right)=\frac{p_{\mathrm{f}}\left(\mathbf{w}_{i} \mid \mathbf{y}\right)+p_{\mathrm{b}}\left(\mathbf{w}_{i} \mid \mathbf{y}\right)}{2}
$

とする.ここで $p_{\mathrm{f}}\left(\mathbf{w}_{i} \mid \mathbf{y}\right)$ は $[\mathrm{BOW}], c_{i, 1}, \cdots, c_{i, k-1}$ を 入力, 先頭の文字 $c_{i, 1}$ に対応する埋め込みである $h_{i, 1}$ を初期隠れ状態としたときの前向き LSTM の $\mathbf{w}_{i}$ の 生成確率であり, $p_{\mathrm{b}}\left(\mathbf{w}_{i} \mid \mathbf{y}\right)$ は $[\mathrm{BOW}], c_{i, k-1}, \cdots, c_{i, 1}$ を入力，末尾の文字 $c_{i, k-1}$ に対応する埋め込みで ある $h_{i, k-1}$ を初期隠れ状態としたときの後ろ向き LSTM の $\overleftarrow{\mathrm{w}_{\mathrm{i}}}$ の生成確率である. なお，[BOW] は単語の始端を表すシンボルであり， $\overleftarrow{\mathbf{w}_{\mathrm{i}}}$ は単語 $\mathbf{w}_{i}$ を反転させた文字列である.

## 3.2.3 目的関数

学習では入力文 $\mathbf{x}$ について可能な全ての分割に対 する復元確率の和

$
\begin{aligned}
p(\hat{\mathbf{x}} \mid \mathbf{x}) & =\sum_{\mathbf{y}} p(\mathbf{y} \mid \mathbf{x}) p(\hat{\mathbf{x}} \mid \mathbf{y}) \\
& =\frac{\sum_{\mathbf{y}} \exp \left.\{\phi(\mathbf{x}, \mathbf{y})+\sum_{i=1}^{m} \log p_{\mathrm{w}}\left(\mathbf{w}_{i} \mid \mathbf{y}\right)\right.\}}{\sum_{\mathbf{y}} \exp \{\phi(\mathbf{x}, \mathbf{y})\}}
\end{aligned}
$

の負の対数尤度 $-\log p(\hat{\mathbf{x}} \mid \mathbf{x})$ を目的関数とし，これ を最小化する.この目的関数の最小化は $\mathbf{x}$ の可能な 全ての分割について，尤度を向上させるようにモデ ルパラメータを変化させることに相当する. この過程で単語ではない部分文字列に対する単語生成確率 や遷移確率も向上する. しかし，単語である部分文字列はそうでない部分文字列に比べて頻出すると考 えられるため, 最終的には単語である部分文字列に 対する単語生成確率や遷移確率が大きい状態で収束 することが期待される. その結果として，正しい分割が予測できるようになると考えられる。

## 3.2.4 動的計画法による学習・推論の高速化

長さ $n$ の文字列 $\mathbf{x}$ において可能な分割 $\mathbf{y}$ は $2^{n-1}$通りだけ存在する。そのため，全ての $\mathbf{y}$ について $p(\mathbf{y} \mid \mathbf{x})$ を求めてから $p(\hat{\mathbf{x}} \mid \mathbf{x})$ を計算する方法では，学習に指数時間を要する．そこで，動的計画法を用い ることで多項式時間での学習を実現する．具体的に は次のように $p(\hat{\mathbf{x}} \mid \mathbf{x})$ を求める. まず，文 $\mathbf{x}$ の $i$ 文字目から $j$ 文字目までの部分文字列を $\mathbf{x}_{i: j}$, 文 $\mathbf{x}_{i: j}$ に ついて可能な分割のうち，末尾の単語の長さが $k$ の ものを $\mathbf{y}_{i: j}^{k}$ とする. ここで, $n$ 以下の自然数 $t$ と末尾の単語の長さ $k$ について次の関数を定義する.

$
\begin{aligned}
& f_{D}(t, k)=\sum_{\mathbf{y}_{1: t}^{k}} \exp \left.\{\phi\left(\mathbf{x}_{1: t}, \mathbf{y}_{1: t}^{k}\right)+\sum_{\mathbf{w} \in \mathbf{y}_{1: t}^{k}} \log p_{\mathrm{w}}\left(\mathbf{w} \mid \mathbf{y}_{1: t}^{k}\right)\right.\}(7) \\
& f_{N}(t, k)=\sum_{\mathbf{y}_{1: t}^{k}} \exp \left.\{\phi\left(\mathbf{x}_{1: t}, \mathbf{y}_{1: t}^{k}\right)\right.\}
\end{aligned}
$

関数 $f_{D}, f_{N}$ は文 $\mathbf{x}$ の始めの $t$ 文字である $\mathbf{x}_{1: t}$ につい ての可能な分割のうち, 末尾の単語の長さが $k$ であ る分割のみを対象とした場合の式 (6) の分子・分母 に相当する。すなわち，

$
p(\hat{\mathbf{x}} \mid \mathbf{x})=\frac{\sum_{k} f_{D}(n, k)}{\sum_{k} f_{N}(n, k)}
$

である。関数 $f_{D}, f_{N}$ についての更新式をそれぞれ

$
\begin{aligned}
f_{D}(t, k)=\sum_{l} \exp \left.\{\log f_{D}(t-k, l)+\right. & \tilde{\phi}\left(\mathbf{w}_{t-k, l}^{\text {last }}, \mathbf{w}_{t, k}^{\text {last }}\right) \\
& \left.+\log p_{\mathrm{w}}\left(\mathbf{w}_{t, k} \mid \mathbf{y}_{1: t}^{k}\right)\right.\}(10) \\
f_{N}(t, k)=\sum_{l} \exp \left.\{\log f_{N}(t-k, l)+\right. & \left.\tilde{\phi}\left(\mathbf{w}_{t-k, l}^{\text {last }}, \mathbf{w}_{t, k}^{\text {last }}\right)\right.\}
\end{aligned}
$

とする. ただし， $\mathbf{w}_{t, k}^{\text {last }}$ は文 $\mathbf{x}_{1: t}$ における長さ $k$ の 末尾の単語であり, $f_{D}(0,0)=1, f_{N}(0,0)=1$ とする. これらの更新式に従って $f_{D}(n, k), f_{N}(n, k)$ を求め, $p(\hat{\mathbf{x}} \mid \mathbf{x})$ を計算することで多項式時間での学習を実現 する. 推論において $p(\hat{\mathbf{x}} \mid \mathbf{x})$ を最大化する $\mathbf{y}$ を求める 際も以上の更新式で総和を取るところを最大値を取
るように変更することで，同様に多項式時間で計算 する。

## 3.2.5 モデルの学習

モデル全体を学習する前に，事前学習として BERT 部分を固定して 1 エポックだけ学習する.こ れは事前学習済み BERT のもつ情報が，事前学習さ れていない遷移ネットワーク及び単語ネットワーク を含むモデル全体の最適化によって忘却されるのを 抑止するための工夫である.

また，予測する単語の長さを最大 $K$ 文字とする制限を設ける。これは任意の長さの単語を認めた場合 に考えられる，訓練データセットに現れる文の一つ 一つが単語であると学習するような局所解に陥るこ とを避けるためのものである。

## 4 評価実験

提案手法による単語分割の精度を評価するために 日本語を対象として実験を行った.ここでは，実験設定について述べた後，実験結果及びそれに対する 考察を述べる.

## 4.1 実験設定

データセットは京都大学ウェブ文書リードコー パス $(\mathrm{KWDLC}){ }^{1}$ を用いた．KWDLC は日本語ウェ ブ文書を対象としたコーパスであり，その訓練デー タ，検証データ，テストデータはそれぞれ 12,271 件，1,585 件，2,195 件である。事前学習済み文字 レベル BERT は日本語 Wilipedia 全体で学習した BERT-base-Japanese-char ${ }^{2}$ を用いた. 予測する単語 の長さの最大値 $K$ は 5 とした. KWDLC のテスト データにおける単語の約 $99 \%$ が 5 文字以下である ことを踏まえると，この制約のために分割精度が 大きく損なわれる可能性は小さいと考えられる。

表 1 提案手法による単語分割の定量的評価. モデル全体 の学習についてのエポック数を $5,10,15,20$ としたそれぞれ の場合における結果を示す。

1) https://github.com/ku-nlp/KWDLC

2) https://huggingface.co/cl-tohoku/ bert-base-japanese-char
表 2 提案手法（エポック数を 10 とした場合）で得られた予測の例

学習のための最適化アルゴリズムは AdamWを用 いた.また, AdamW のハイパーパラメータとして $\beta_{1}=0.9, \beta_{2}=0.999, \epsilon=10^{-8}, \lambda=0.01$ を用い，学習率 は $2 \times 10^{-5}$ とした. モデル全体の学習についてのエ ポック数を $5,10,15,20$ としたそれぞれの場合につい て実験を行った。なお，いずれの場合においても， BERT 部分を固定した事前学習を 1 エポックだけ実施した。また，学習全体を通して BERT の入力側 8 層は固定した。

## 4.2 実験結果

表 1 にモデル全体の学習についてのエポック数 を 5,10,15,20としたそれぞれの場合におけるテスト データに対する分割結果の $\mathrm{F}$ 値， $\mathrm{P}$ 值， $\mathrm{R}$ 值を示す. エポック数が 10 の場合において $\mathrm{F}$ 值が最大 (63.5) となった。表 2 にエポック数 10 の場合のモデルで 得られた予測の例を示す。いずれの例も，いくつか エラーが見られるものの概ね妥当な分割であるとい える. エラーの例としては読点（“、”）を直前の単語と結合しており，一つの単語として判別できてい ないことが挙げられる. 後処理でモデルの予測に関 わらず読点を一つの単語として見なすようにする と，テストデータに対する $\mathrm{F}$ 値は 68.6 に増加した。 このことから，このモデルによる予測の多くで読点 についてのエラーが生じていることがわかる.

エポック数を 15,20 とした場合では，エポック数 を 10 とした場合に比べて $\mathrm{F}$ 値が減少している. そ れぞれの場合において予測された単語の長さの分布 （図 2）から，学習が進むにつれて分割が細かくなっ ていくことが確認された.これがエポック数 15,20 の場合に分割精度が低下した大きな原因であると考 えられる.ここで，妥当な分割が得られる状態で学習が収束せずに分割が過剩に細かくなっていく要因について考察する. 提案手法では分割 $\mathbf{y}$ をボトル ネックとすることで，BERT の埋め込みべクトル $h_{i}$ が単語についての抽象的な表現を獲得することを期待している. しかし, 実際にはモデルが十分に柔軟 であるために $h_{i}$ が入力文字についての具体的な表現を獲得，すなわち対応する文字 $c_{i}$ の情報をそのま

図 2 エポック数と予測単語長さの分布の関係. 左から順 にエポック数 $5,10,15,20$ の場合のモデルが予測した単語の 長さの分布であり，右端はテストデータの真の単語の長 さの分布である．なお，6文字以上の単語については省略 した. 学習が進むほど長さ 1 の単語が占める割合が増加 し，分割が過剰に細かくなっていることが確認できる.

ま有するように学習が進んでいる可能性がある. べ クトル $h_{i}$ が $c_{i}$ の情報をそのまま有していると, $h_{i}$ を初期隠れ状態として与えられる前向き・後ろ向き 単語ネットワークにとって，予測対象の文字列の先頭・末尾の文字である $c_{i}$ の予測は他の文字の予測に 比べて非常に容易であるというバイアスが生じる. この結果として，学習が進むにつれて長さ 1 の単語 の生成確率が過大に評価されるようになり，分割が 過剩に細かくなっていくのだと考えられる。

## 5 おわりに

本研究ではモデルが参照するテキストの量を増加させるために事前学習モデルとして文字レベル BERTを導入し，また，入力文全体を見て分割を予測するためにセミマルコフ CRF 自己符号化器を設計した. 提案手法により $\mathrm{F}$ 値 63.5 の概ね妥当な単語分割が得られた。

今後の課題としては, 中国語等の他言語への適用，さらなる分割精度向上のための訓練データセッ トの大規模化がある．また，実験で明らかになった 読点についてのエラーや分割が過剩になっていく問題について調査し, 改善を図りたい. さらに，単語分割だけでなく品詞クラスタリングも同時に行うモ デルの設計も検討したい.

## 参考文献

[1] Sharon Goldwater, Thomas L. Griffiths, and Mark Johnson. A bayesian framework for word segmentation: Exploring the effects of context. Cognition, Vol. 112, No. 1, pp. 2154, 2009.

[2] Daichi Mochihashi, Takeshi Yamada, and Naonori Ueda. Bayesian unsupervised word segmentation with nested Pitman-Yor language modeling. In Proceedings of the Joint Conference of the 47th Annual Meeting of the ACL and the 4th International Joint Conference on Natural Language Processing of the AFNLP, pp. 100-108, Suntec, Singapore, August 2009. Association for Computational Linguistics.

[3] Zhiqing Sun and Zhi-Hong Deng. Unsupervised neural word segmentation for Chinese via segmental language modeling. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, October-November 2018

[4] Kazuya Kawakami, Chris Dyer, and Phil Blunsom. Learning to discover, ground and use words with segmental neural language models. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 6429-6441, July 2019.

[5] Lihao Wang, Zongyi Li, and Xiaoqing Zheng. Unsupervised word segmentation with bi-directional neural language model. arXiv preprint arXiv:2103.01421, 2021.

[6] CM Downey, Fei Xia, Gina-Anne Levow, and Shane Steinert-Threlkeld. A masked segmental language model for unsupervised natural language segmentation. arXiv preprint arXiv:2104.07829, 2021.

[7] Yile Wang, Leyang Cui, and Yue Zhang. Does Chinese BERT encode word structure? In Proceedings of the 28th International Conference on Computational Linguistics, December 2020.

[8] Waleed Ammar, Chris Dyer, and Noah A Smith. Conditional random field autoencoders for unsupervised structured prediction. In Advances in Neural Information Processing Systems, Vol. 27. Curran Associates, Inc., 2014.


# 日本語固有表現抽出における BERT-MRC の検討

橋本航 ${ }^{1}$ 笛木正雄 1,2 黒木裕鷹 1 高橋寛治 1
${ }^{1}$ Sansan 株式会社 2 東工大工学院経営工学系
\{wataru.hashimoto, fueki, kuroki, ka.takahashi\}@sansan.com

## 概要

固有表現抽出は，テキスト中から人名や組織名 などの固有表現を抽出する技術である。近年は， BERT を始めとした事前学習モデルをべースとした アプローチの発展が著しい. 中でも BERTを用いた 機械読解 (Machine Reading Comprehension; MRC) と して固有表現抽出を解くモデルである BERT-MRC は，複数の英語データセットにおいて最高性能を示 している。本稿では，日本語データセットを対象 にして BERT-MRC の精度検証やエラー分析を行い，有効性を検討した. その結果，BERT-MRC は精度と しての有効性は確認されなかったものの, 固有表現抽出と機械読解形式とれぞれの場合で有効性を示す ケースを確認することができた.

## 1 はじめに

固有表現抽出 (Named Entity Recognition; NER) は， テキスト中から人名や組織名など固有表現を抽出す る，自然言語処理において基礎的かつ重要な技術で ある. 固有表現抽出は個人情報のマスキングや文書 からの情報抽出などに用いられ，Sansan 株式会社が 提供する営業 DX サービス「Sansan」1) や名刺アプリ $\lceil\text { Eight }\lrcorner^{2}$ においてもニュース記事中から抽出した企業名をキーとしてニュース配信に用いている.

近年は，事前学習済みの言語モデルである BERT[1]を始めとした様々な言語モデルを固有表現抽出タスク向けにファインチューニングし，優れた 性能を示す例が数多く報告されている。その中で も，2019 年に提案された，固有表現抽出を機械読解形式で解くモデルである BERT-MRC[2] は, 複数の 英語データセットにて当時の最高性能を示したモ デルである. BERT-MRC は 1 つのトークンに複数の ラベルが割り当てられる場合も考慮する nested-NER にも利用可能など，拡張性の高いモデルである．機

械読解形式で固有表現抽出を解く場合，固有表現の 各ラベルは質問文と紐付けられ，対象文から質問文 に対応する固有表現が抽出される。. 例えば，抽出対象の文が「Sansan 株式会社は、Eight を提供する。」 であり，質問文が「会社名や企業名を含む法人を探 せ」の場合，「Sansan 株式会社」が抽出される。機械読解形式で解く利点として，ラベルを構成するトー クン列が持つ意味的な情報を活用できる点がある.

しかし，BERT-MRC は英語では優れた性能を示す ことがわかっているものの，日本語での有効性は明 らかになっていない. 本稿では, 日本語に対する固有表現抽出タスクにおいて精度検証やエラー分析を 行い，日本語での BERT-MRC の有効性を検討する.

## 2 関連研究

本章では固有表現抽出に関連する研究について述 べる. 固有表現抽出では，同じトークンでも文脈に よってラベルが異なる場合があるため，系列におけ る過去と未来の双方向の依存性を考慮したモデルが 主流である. Huang ら [3] は BiLSTM-CRFによる固有表現抽出を行っている．BiLSTM は，過去と未来 の双方向について，それぞれ隠れ表現を得るモデル である. Akbik ら [4] は，BiLSTM-CRF に入力する 表現として，語自身の意味表現だけでなく文脈上の 使われ方を考慮した新しい単語埋め込みを入力する 手法を提案し，高い性能を示している.

近年は事前学習済み言語モデルの導入が進ん でおり，その顕著な例が BERT である. BERT は Transformer[5]をべースとし, Masked Language Model および Next Sentence Prediction による双方向の事前学習を導入した事前学習モデルであり, 固有表現抽出をはじめとした様々な自然言語処理タスクに応用可能である. また，BERT C CRF 層を組み合わせた BERT-CRFにより，BERTを用いた固有表現抽出モ デルと比較して精度向上することが報告されており [6]，日本語における BERT-CRF の有効性も確認され ている [7].

さらに，自然言語処理タスクを機械読解形式で解 く方法も提案されており，Li ら [8] は機械読解形式 で関係抽出を行い，大幅に精度が向上したことを報告している. 本稿では，機械読解形式で日本語固有表現抽出タスクを行った場合の有効性を検討する。

## 3 実験及び評価

## 3.1 モデル

本稿では，比較対象となる通常の固有表現抽出モ デルとして BERT-CRF，機械読解形式で解くモデル として BERT-MRC を用い実験を行った。

## 3.1.1 BERT-CRF

BERT-CRF は，BERTを用いた固有表現抽出の出 カラベルの遷移が正しくなるように制約をかけたモ デルである. 入力系列のトークン数を $n$ ，ラベルの 数を $K$ ， 入力系列を $\mathbf{X}=\left.\{\mathbf{x}_{1}, \mathbf{x}_{2}, \ldots, \mathbf{x}_{n}\right.\}$, 出力ラベル $を \mathbf{y}=\left.\{y_{1}, y_{2}, \ldots, y_{n}\right.\}$ とすると，遷移を考慮した系列 のスコア $s(\mathbf{X}, \mathbf{y})$ は以下のように書ける.

$
s(\mathbf{X}, \mathbf{y})=\sum_{i=0}^{n} A_{y_{i}, y_{i+1}}+\sum_{i=1}^{n} P_{i, y_{i}}
$

ここで $A \in \mathbb{R}^{(K+2) \times(K+2)}$ はラベル間の遷移行列， $P_{i, y_{i}}$ はトークン $i$ における出力 $y_{i}$ の確率である. 目的関数は式 (1) のスコア関数を用いた対数尤度関数 で表わせ，最大化するように学習を行う。

$
\log p(\mathbf{y} \mid \mathbf{X})=s(\mathbf{X}, \mathbf{y})-\log \left(\sum_{\hat{\mathbf{y}} \in \mathbf{Y}_{\mathbf{X}}} e^{s(\mathbf{X}, \hat{\mathbf{y}})}\right)
$

ここで $\mathbf{Y}_{\mathbf{X}}$ は $\mathbf{y}$ がとりうる全系列の集合である。 $\mathbf{Y}_{\mathbf{X}}$ の要素数は膨大であるため, 式 (2) の最大化には ビタビアルゴリズムを用いる.

## 3.1.2 BERT-MRC

BERT-MRC は，固有表現抽出を質問に対する 回答に該当するスパンを抽出する機械読解形式で解くモデルである. BERT-MRC では，入力 を質問文と抽出対象文を結合したトークン列 $\left.\{[\mathrm{CLS}], q_{1}, q_{2}, \ldots, q_{m},[\mathrm{SEP}], x_{1}, x_{2}, \ldots, x_{n}\right.\}$ を BERT に 入力し, 対象文のトークンのベクトル表現行列 $E \in \mathbb{R}^{n \times d}$ を得る. ここで $m$ は質問文のトークン数, $d$ は BERT の最終層の出力ベクトルの次元である.得られた $E$ を用いて，そのトークン位置がスパンの表 1 固有表現抽出のデータ例 (IOB2 フォーマット)

表 2 機械読解形式のデータ例

 \\

始点か否かを予測する。

$
P_{\text {start }}=\operatorname{softmax}\left(E \cdot T_{\text {start }}\right) \in \mathbb{R}^{n \times 2}
$

ここで $T_{\text {start }} \in \mathbb{R}^{d \times 2}$ は重みパラメータである. ス パンの終点に対しても同様の予測を行う.

また，上記の予測結果を用いるだけでは質問文に 対応する回答のスパンが一意に定まらない可能性が ある．そのため，スパンの始点と終点のマッチング についても予測を行い，これらを統合することで質問文に対するスパンを出力する。

$
P_{i_{\text {start }}, i_{\text {end }}}=\operatorname{sigmoid}\left(W \cdot \operatorname{concat}\left(E_{i_{\text {start }}}, E_{i_{\text {end }}}\right)\right)
$

ここで $W \in \mathbb{R}^{1 \times 2 d}$ は重みパラメータである.

## 3.2 実験設定

データセットとして，ストックマーク株式会社 が提供する Wikipedia の日本語固有表現抽出データ セット [9] を用いた。学習データ，開発データ，テ ストデータの比率が 8:1:1 になるようにデータを分割した。また，当該データセットを固有表現抽出お よび機械読解のタスクへ適用するため，それぞれ表 1，表 2 のように整形を行った. 固有表現抽出のラ ベルのフォーマットとして IOB2 フォーマットを用
表 3 固有表現ラベルに対応する質問文

表 4 BERT-CRF と BERT-MRC の固有表現抽出における固有表現ラベルごとの結果

## BERT-CRF BERT-MRC

いた.また，BERT の事前学習済みモデルとして東北大の日本語 BERT モデルを使用した. ${ }^{3)}$

BERT-CRF については，不正な遷移4)に対応す るパラメータを-100で初期化した状態で学習を 行った.

BERT-MRC については， negative sampling を導入 して学習を行った.ここでいう negative sample と は，質問文に対応する固有表現が対象文中に存在し ないデータのことであり, negative sampleを間引い て学習するのが negative sampling である. 固有表現抽出を機械読解形式で解く場合，1文に対してラべ ルの個数分の質問文を生成する。そのため，文に よっては該当するラベルがない事例が生成される ことになるケースが多い. negative sampleが多い場合，学習が効率的に進まないため, negative sampling が必要である. 本稿では, positive sample (質問文に 対応する固有表現が対象文に存在するデータ) に対 して negative sample の比率が 1.5 倍になるよう学習

3） https://github.com/cl-tohoku/bert-japanese

4）不正な遷移とは，例えば「B-組織名 $\rightarrow$ I-人名」のような， IOB とラベルが一致せず起こりえない遷移を指す.
データからサンプリングし学習を行った. また，各固有表現ラベルに対応する質問文の一覧を表 3 に示 す. 質問文は [9] の各ラベルを参考にして作成した。

## 3.3 評価方法

評価指標として Precision(適合率), Recall(再現率), F1(F-measure)を用いた. トークン列に対して正しい ラベルが付与できたか否かを基にして算出を行っ た.また，固有表現抽出タスクにおいて BERT-MRC と BERT-CRF の性能を同一条件で比較するため, BERT-MRC を固有表現抽出向けの精度評価ができ るように出力結果の後処理を行った. 具体的には, BERT-MRC では各固有表現ラベルごとに独立に推定 が行われるため、flat-NER（1つのトークンに 1 つの ラベルのみを割り当てる固有表現抽出）向けに変換 する後処理が必要となる. 本稿では，人名 >法人名 >政治的組織名 > その他の組織名 > 地名 > 施設名 >製品名 >イベント名の優先順位をつけて各トークン にラベル付けを行った.

## 3.4 結果

BERT-CRF および BERT-MRC の結果を表 4 に示 す. それぞれのラベルにおけるすべての評価指標に おいて，BERT-CRF の方が良い性能を示した. 各評価指標のスコアを比較しても差が大きいものも見 られることから，日本語の固有表現抽出（flat-NER） においては，機械読解形式のモデルよりも通常の固有表現抽出モデルを用いた方が良いことがわかる.

## 3.5 エラー分析

本セクションでは，BERT-MRC および BERT-CRF のエラー事例を示し考察を行う。まず，BERT-MRC において正しく抽出されなかったが BERT-CRF では 正しく抽出された例の抜粋を表 5 に示す.

表 5 では，BERT-CRF においては鉤括弧内の固有表現を抽出できているが，BERT-MRC では抽出でき ていないことを示している. 鉤括弧内に何らかの固有表現が含まれているのは今回しようしたデータ セットにおいて数多く見られ，実際にテストデータ の全 534 件において鉤括弧が含まれるものは 137 件存在する. その中でも鉤括弧内がすべて固有表現で ある 83 件において BERT-MRC は 69 件正解してい たのに対し，BERT-CRF は 77 件正解していた. 本事例において BERT-MRC が BERT-CRF と比較し正 しく抽出できていないことが，日本語固有表現抽出 においては固有表現抽出モデルに劣後している理由 の 1 つであると考えられる。

次に，BERT-CRF において正しく抽出されなかっ たが BERT-MRC では正しく抽出された例の抜粋を 表 6 に示す. こちらは，ラベル名に対応する質問文「政治的組織名、政党名、政府組織名、行政組織名、軍隊名、国際組織名を探せ」と抽出した固有表現「最高裁」が意味的に近い事例であり, 日本語にお いても BERT-MRC が有効である領域であるといえ る. 本結果から，対象としたい固有表現とより対応 するように質問文を改善すれば，精度が向上する可能性があると考えられる。

## 4 おわりに

本稿では固有表現抽出を機械読解形式で解くモデ ルである BERT-MRC を日本語に対する固有表現抽出に適用した. 精度としては通常の固有表現抽出と して解くモデルには劣後し, その原因の一つとして 今回使用した日本語固有表現抽出データセットの文表 5 BERT-MRC のエラー例

表 6 BERT-CRF のエラー例

中に鉤括弧が多いためであることが確認された. 一方で，日本語においても対象文における固有表現と 質問文の意味が近い場合は機械読解形式が機能する ことも確認された. 今後は, nested-NER や zero-shot の問題設定における日本語固有表現抽出の検討が課題である.

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers). Association for Computational Linguistics, 2019.

[2] Xiaoya Li, Jingrong Feng, Yuxian Meng, Qinghong Han, Fei Wu, and Jiwei Li. A unified MRC framework for named entity recognition. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics. Association for Computational Linguistics, 2020.

[3] Zhiheng Huang, Wei Xu, and Kai Yu. Bidirectional lstm-crf models for sequence tagging. CoRR, Vol. abs/1508.01991, , 2015.

[4] Alan Akbik, Duncan Blythe, and Roland Vollgraf. Contextual string embeddings for sequence labeling. In Proceedings of the 27th International Conference on Computational Linguistics. Association for Computational Linguistics, 2018

[5] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. V. Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems. Curran Associates, Inc., 2017.

[6] Fábio Souza, Rodrigo Nogueira, and Roberto Lotufo. Portuguese named entity recognition using bert-crf. arXiv preprint arXiv:1909.10649, 2020

[7] 田川裕輝, 西埜徹, 谷口元樹, 谷口友紀, 大熊智子. 生成された読影所見の自動評価に向けた固有表現認識 とモダリティ推定. 言語処理学会 第 26 回年次大会, 2020.

[8] Xiaoya Li, Fan Yin, Zijun Sun, Xiayu Li, Arianna Yuan, Duo Chai, Mingxin Zhou, and Jiwei Li. Entity-relation extraction as multi-turn question answering. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics. Association for Computational Linguistics, 2019.

[9] 近江崇宏. Wikipediaを用いた日本語の固有表現抽出 のデータセットの構築. 言語処理学会 第 27 回年次大会, 2021.


# 単語正規化による表記ゆれに頑健な BERT モデルの構築

勝田 哲弘 ${ }^{1}$ 林 政義 ${ }^{1}$ 山村 崇 ${ }^{1}$ Tolmachev Arseny ${ }^{1}$
高岡一馬 1 内田佳孝 1 浅原 正幸 ${ }^{2}$
1 株式会社ワークスアプリケーションズ・エンタープライズ
2 人間文化研究機構 国立国語研究所
katsuta_a@worksap.co.jp

## 概要

近年、様々な自然言語処理タスクで大規模な事前学習済みの言語モデルである BERT による飛躍的な 精度向上が示されている。しかし、日本語テキスト には同一の語が複数の表記で出現することが多く、英語テキストでの学習と比べその影響は自明では ない。そこで我々は形態素解析器による単語正規化 を行い、表記ゆれを考慮した BERT モデルの構築を 行った。また下流タスクにおいて、提案手法が表記 ゆれに対して出力の一貫性を保ちつつ、正規化をし ない従来の BERT モデルと同程度の精度であること を示した。

## 1 はじめに

大規模な事前学習済みの言語モデル BERT [1] を 利用することで自然言語処理の様々なタスクで飛躍的な精度向上が示されている。その一方、Ribeiro ら [2] は BERT モデルが同義語による摂動などで精度 を低下させることを実験の中で示している。

日本語テキストには同一の語が複数の表記で出現 することが多い。「引っ越し」「引越し」のように部分文字列を共有するものだけでなく、「酢橘」「すだ ち」のように全く異なる文字列に変化するものもあ り、同義語と同様にモデルへの影響が予想される。 BCCWJ を対象とした調査では WEB・書籍上で約 1 割の語に表記ゆれが存在する [3]。

そこで我々はコーパスの前処理として形態素解析器 Sudachi [4] の単語正規化を利用し、表記ゆれに頑健な BERT モデルの構築を行った。また、下流タス クで表記ゆれによる出力の一貫性を担保しつつ正規化をしない BERT モデルと同程度の精度であること を示した。

現在、chiTra ${ }^{1)}$ として Sudachiを利用した単語正規化の機能をもつ Hugging Face ${ }^{2}$ 互換のトークナイ ザーを公開している。今後は本研究で提案する表記 ゆれに頑健な事前学習済み BERT モデルを公開する 予定である。

## 2 関連研究

BERT [1] は平文から 2 つの事前学習タスク (Masked Language Model, Next Sentence Prediction)を 学習し、様々な応用タスクに適応して精度向上に貢献している。事前学習モデルの評価では GLUE [5] やSQuAD2.0 [6] が用いられることが多く、複数の自然言語処理のタスクで評価される。Ribeiro ら [2] は ソフトウェアエンジニアリングの動作テストから着想を得て、モデルを評価するためのチェックリスト を提案している。その中でも Invarianceでは入力の 変化に対して出力がどれだけ不変であるかを評価し ている。入力に対して同義語による置換を行うと彼 らが実験で使用した BERT モデルでは $13.1 \%$ 予測結果のゆれが生じることが示されている。この結果 から日本語における表記ゆれも予測結果に影響を与 えると推測される。

## 3 Sudachi による単語正規化

Sudachi 形態素辞書では表記ゆれに対応するため 登録語ごとに正規化表記が付与されている。この正規化表記を用いて単語正規化を行う。例として以下 のようなものが正規化の対象となる。
- 送り違い：打込む $\rightarrow$ 打ち込む

・字種：かつ井 $\rightarrow$ カツ井
- 異体字：附属 $\rightarrow$ 付属

・誤用：シュミレーション $\rightarrow$ シミュレーション

・縮約：ちゃあ $\rightarrow$ ては

・翻字 ： test $\rightarrow$ テスト

表 1 各正規化による出力例

表 2 実験で使用した日本語 Wiki-40B の学習データの統計値

・活用形：泳い（だ） $\rightarrow$ 泳ぐ（た）
- 可能動詞：泳げる $\rightarrow$ 泳ぐ

ただし、「あく」から「空く、開く、明く」など曖昧性解消を必要とする正規化は行われない。

この正規化には活用形や可能動詞の正規化も含ま れており、単純に利用するとこれらの情報が失われ てしまう。このような強い正規化は事前学習や下流 タスクに悪影響を与える可能性がある。そこで正規化の強さの影響をみるために、下記 4 つのルール毎 に学習を行い、正規化の適用範囲を調整する。

## surface

正規化をせず入力をそのまま出力する

## normalized_and_surface

入力単語の内、活用語は見出し語を、それ以外 は正規化表記を出力する

## normalized_conjugation

入力単語を全て正規化表記で出力し、活用形の ある「動詞、助動詞、形容詞」は活用語尾を入力の活用形に合わせる

## normalized

入力単語を全て辞書の正規化表記で出力する それぞれのルールを適用した出力例を表 1 に示 す。normalized_conjugationでは「とどけ」を「届け」 に正規化を行いつつも活用情報を残しているが、 normalized の出力では動詞の活用情報は表層から消 えていることが見て取れる。

## 4 BERT モデルの事前学習

## 4.1 コーパスのクリーニング

事前学習用コーパスとして、比較のため既に公開されている日本語 BERT の事前学習モデルで も用いられているWikipediaを使用した。ただし、 Wikipedia 中のページには十分なテキストが含まれ
ていない不要な非コンテンツ（曖昧さ回避・リダイ レクト・削除済み・非エンティティ）も存在してい る。そこで、これらの非コンテンツのページが除去された日本語 Wiki-40B [7] を用いた。実験では、 Wiki-40B を段落ごとに分割して 1 文書として扱い、文書内のテキストに対して文分割を適用した。文分割器には、Bunkai ${ }^{3)}[8]$ を用いた。

Raffel ら [9] は、下流タスクに有用ではないと考 えられる定型文や不快な言葉（NG ワード）、ソース コードなどをテキストから除外することで、下流夕 スクにおける事前学習モデルの精度が向上するこ とを報告している。本実験ではこれに倣ってクリー ニング処理を適用した。詳細は付録の表 6 に示す。 NG ワードとして、C4 [9] で用いられているリスト4) と稲葉 [10] が用いたリストから、著者 2 名によって NG ワードとして妥当だと考えられる 210 語を選定 し利用した。

表 2 に、本実験で使用した事前学習用データセッ トの統計值を示す。Train データに対してクリーニ ング処理を適用すると、総文書数が元の半分になっ ている一方で、総文数は約 $21 \%$ しか減少していな い。これは、1、2 文からなる文書が元のデータセッ ト中に多く出現していたためと考えられる。

## 4.2 事前学習

WordPiece による語彙の学習及び BERT の事前学習の際に 3 節で述べた 4 つの正規化手法を適用し、 それぞれのモデルごとに WordPiece による 32,000 語 の選定とその語彙でサブワード化されたコーパスで の事前学習を行った。形態素解析には SudachiPy ${ }^{5}$

3) https://github.com/megagonlabs/bunkai

4) https://github.com/LDNOOBW/

List-of-Dirty-Naughty-Obscene-and-Otherwise-Bad-Words/ blob/master/ja

5) https://github.com/WorksApplications/sudachi.rs/tree/ develop/python

を使用して C 単位で解析している。

BERT の事前学習は NVIDIA の実装6)を利用し、 NVIDIA RTX A6000 4 枚使用して学習した。学習 は 2 段階で行われ phase 1 では max_lengthを 128 と して学習し、phase2では max_lengthを 512 に拡張し て再学習した。使用したハイパーパラメータを表 3 に示す。

## 5 実験設定

## 5.1 評価対象

本実験では正規化による下流タスクへの影響及び 入力の表記化に対する頑健性の評価を行うために 以下の 2 つについて調査する。

## 下流タスクへの影響

正規化を行った影響を調査するため、 4.2 節で構築した BERT モデルごとに下流タスクで fine-tuning した際の精度を評価する。下流タスクについては 5.3 節で後述する。

fine-tuning およびハイパーパラメータの探索範囲 については BERT 元論文 [1] に従った。

## 表記ゆれに対する頑健性の評価

提案手法において入力に表記ゆれが発生しても出力が変化しないケースの量を評価する。下流タスク のテストデータの文章を正規化することで表記ゆれ を疑似的に生成し、表記ゆれの有無でモデルの出力 がどの程度変化するかを計測する。

自然な表記ゆれを生成するため、正規化手法 には提案手法中で正規化の度合いが最も弱い normalized_and_surfaceを用いる。

6) https://github.com/NVIDIA/DeepLearningExamples/tree/ master/TensorFlow2/LanguageModeling/BERT

## 5.2 ベースライン

ベースラインとして、公開されている日本語BERT モデルから、東北大 BERT $^{7}$ ) (cl-tohoku/bert-basejapanese-whole-word-masking)、京大 BERT[11] (BASE WWM 版)、NICT BERT（BASE BPE あり）の 3 つ を比較に用いた。それぞれの詳細を付録の表 7 に 示す。

## 5.3 評価タスク

日本語の言語モデルの評価においては英語での GLUE や SQuAD のような基準となるタスク群がな いため、類似する日本語のデータセットとして以下 の3つを用いる。

## Multilingual Amazon Reviews Corpus (Amazon) [12]

文章分類タスクとしてアマゾンが公開している データセットを用いる。ここでは日本語のサブセッ トのみを対象とし、レビュー本文から評価の星数 （1-5）を推定する。評価指標には精度 (Acc) および 平均二乗誤差 (MSE) を用いる。

## 京都大学常識推論データセット (KUCI) [13]

常識推論タスクとして京都大学が公開している データセットを用いる。これは文脈文に続く内容と して最も適切な文を 4 つの選択肢から選ぶタスクで ある。本データは Juman++による形態素解析が行わ れているため、前処理として生文に戻す。評価指標 には精度 (Acc) を用いる。

## 解答可能性付き読解 (RCQA) [14]

読解タスクとして東北大が公開しているデータ セットを用いる。これは質問・解答・文章の組に対 し、文章から解答を推定できるかのスコアが付与さ れたデータである。ここでは NICT BERT ${ }^{8}$ の評価実験設定にならい、解答可能性スコアが 2 未満のもの を解答なしとして SQuAD2.0 形式のデータへと変換 し、データの年代によって 2009 年までを訓練、2009 年代を開発、2010 年以降を評価データと分割して用 いる。評価指標には出力と正解単語列の完全一致率 (EM) および F1 スコア (F1)を用いる。

## 6 結果と考察

表 4 に下流タスクでの精度を示す。提案モデルは 正規化の有無に関わらず既存モデルと同程度の精度 を達成している。全体的に NICT-BERT が良い性能

表 4 各タスクでの性能

ベースラインモデルと今回学習したモデルのそれぞれで最も性能が良いものを太字で示している。

表 5 入力の normalized_and_surface 正規化による出力変化 $(\%)$

数値は、出力が変化したサンプル（うち元々正答であったもの、正規化後に正答となったもの）。 いずれも総サンプル数に対する割合。なお出力変化の総計には誤答から誤答への変化も含まれる。

となっているが、これは NICT-BERT の事前学習時 の訓練量が多く、より学習が進んでいることによる ものと思われる。

提案モデルに注目すると、各タスクについて正規化ありのモデルのいずれかが surface モデルと同等以上の性能を達成しており、正規化を行うことによ る精度への悪影響は起こっていないことが確認され た。しかしどの正規化手法の性能が高くなるかは夕 スクによって異なっており、汎用的に精度を向上さ せる手法の特定にまでは至らなかった。

表 5 に正規化による疑似表記ゆれを施した入力を 与えた時の各モデルの出力変化を示す。surface モデ ルではサンプルのおよそ 5-10\%で出力が変化してお り、4-8\%ではタスクにおける正誤も変化している。各タスクで良い性能であった既存モデルでも同様の 傾向が確認でき、通常の学習では表記ゆれには対応 しきれないことが推測できる。

提案手法ではモデルに含まれる正規化機能によ り、これらの出力変化に対する頑健性を得ることが できている。

## 7 まとめ・今後の予定

今回の実験では正規化手法ごとの性能はタスクに よって上下した。文書分類、常識推論、読解のタス クについて評価したが、品詞推定などより文法を考慮する必要のあるタスクなどでも正規化の影響を 調査したい。また、タスクに依らず良い性能となる 正規化手法は存在するのか、特定のタスクに合わせ た手法の選択は可能かといったことや同義語、フィ ラーの処理など正規化の適用範囲を広げることによ る影響についても調査したい。

今回利用した表記渒れ生成方法は、提案手法に やや有利なものになっている。手法やデータセット を工夫することでより適切な表記ゆれへの頑健性の 評価を行いたい。

本研究では単語正規化を考慮した表記ゆれに頑健 な BERT モデルの構築を行った。そして、下流タス クで表記ゆれによる出力の一貫性を担保しつつ正規化をしない BERT モデルと同程度の精度であること を示した。

学習に使用したスクリプトは GitHub で公開して いる9)。今後、学習したモデルも公開する予定であ る。本実験では、Wiki-40B を使用して BERT の事前学習をおこなった。言語モデルの学習はより大規模 なコーパスであるほど良いとされており [15]、今後本提案手法の正規化を適用した国語研日本語ウェブ コーパス (NWJC) [16] で学習した BERT モデルを公開する予定である。

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[2] Marco Tulio Ribeiro, Tongshuang Wu, Carlos Guestrin, and Sameer Singh. Beyond accuracy: Behavioral testing of NLP models with CheckList. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 4902-4912, Online, July 2020. Association for Computational Linguistics.

[3] 小椋秀樹. コーパスに基づく現代語表記のゆれの調査一 bccwj コアデータを資料として一. 第 1 回コー パス日本語学ワークショップ, pp. 321-328, 2012.

[4] Kazuma Takaoka, Sorami Hisamoto, Noriko Kawahara, Miho Sakamoto, Yoshitaka Uchida, and Yuji Matsumoto. Sudachi: a japanese tokenizer for business. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), Paris, France, may 2018. European Language Resources Association (ELRA).

[5] Alex Wang, Amanpreet Singh, Julian Michael, Felix Hill, Omer Levy, and Samuel R. Bowman. GLUE: A multitask benchmark and analysis platform for natural language understanding. In International Conference on Learning Representations, 2019.

[6] Pranav Rajpurkar, Robin Jia, and Percy Liang. Know what you don't know: Unanswerable questions for SQuAD. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 784-789, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[7] Mandy Guo, Zihang Dai, Denny Vrandečić, and Rami AlRfou. Wiki-40B: Multilingual language model dataset. In Proceedings of the 12th Language Resources and Evaluation Conference, pp. 2440-2452, Marseille, France, May 2020. European Language Resources Association.

[8] Yuta Hayashibe and Kensuke Mitsuzawa. Sentence boundary detection on line breaks in Japanese. In Proceedings of the Sixth Workshop on Noisy User-generated Text (W-NUT 2020), pp. 71-75, Online, November 2020. Association for Computational Linguistics.

[9] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. Journal of Machine Learning Research, Vol. 21, No. 140, pp. 1-67, 2020.

[10] 稲葉通将. おーぷん 2 ちゃんねる対話コーパスを用 いた用例ベース対話システム. 第 87 回言語・音声理解と対話処理研究会 (第 10 回対話システムシンポジ ウム), 人工知能学会研究会資料 SIG-SLUD-B902-33, pp. 129-132, 2019.

[11] 柴田知秀, 河原大輔, 黒橋禎夫. Bert による日本語構文解析の精度向上. 言語処理学会第 25 回年次大会発表論文集, 2019.

[12] Phillip Keung, Yichao Lu, György Szarvas, and Noah A. Smith. The multilingual Amazon reviews corpus. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 4563-4568, Online, November 2020. Association for Computational Linguistics.

[13] Kazumasa Omura, Daisuke Kawahara, and Sadao Kurohashi. A method for building a commonsense inference dataset based on basic events. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 2450-2460, Online, November 2020. Association for Computational Linguistics.

[14] 鈴木正敏, 松田耕史, 岡崎直観, 乾健太郎. 読解による 解答可能性を付与した質問応答データセットの構築. 言語処理学会第 24 回年次大会発表論文集, 2018.

[15] Tom Henighan, Jared Kaplan, Mor Katz, Mark Chen, Christopher Hesse, Jacob Jackson, Heewoo Jun, Tom B Brown, Prafulla Dhariwal, Scott Gray, et al. Scaling laws for autoregressive generative modeling. arXiv:2010.14701, 2020.

[16] Masayuki Asahara, Kikuo Maekawa, Mizuho Imada, Sachi Kato, and Hikari Konishi. Archiving and analysing techniques of the ultra-large-scale web-based corpus project of ninjal, japan. Alexandria, Vol. 26, No. 1-2, pp. 129-148, 2014.

## A 付録

## A. 1 コーパスのクリーニング

4.1 節で行っているクリーニング処理を以下に示す。

表 6 学習コーパスのクリーニング処理一覧

## A. 2 比較対象のモデル詳細

5.2 節でべースラインとして採用したモデルの詳細を以下に示す。

表 7 モデル詳細

## A. 3 正規化の例

5.1 節で表記ゆれの生成に用いた normalized_and_surface による正規化の例を以下に示す。

表 8 normalized_and_surfaceによる正規化

3 つ目の例でコバルトの元素記号"Co"が"CO"に変換されるなど、不適切な変換も含まれる。


# 小説本文から抽出した人物情報の関係抽出

岡 裕二 ${ }^{1}$ 安藤 一秋 ${ }^{2}$
1 香川大学大学院工学研究科 2 香川大学創造工学部
s20g460@stu.kagawa-u.ac.jp ando.kazuaki@kagawa-u.ac.jp

## 概要

本稿では，小説の本文テキストから抽出される人物情報を体系化することを目的に，同一文に出現 する人名と人物情報のみを関係抽出の対象に設定 し，ルールベースモデルと深層学習モデルの 2 つの 関係抽出モデルの性能を検証する．性能評価の結果，ルールベースモデルと深層学習モデルは共に precision が recall より高い結果となった. micro-F1 については，ルールベースモデルが深層学習モデル を約 9.7 ポイント上回った. ルールベースモデルで は，近距離で頻出する関係しか抽出できないが，深層学習モデルでは遠距離の関係も抽出できることを 確認した。

## 1 はじめに

電子書籍の普及や小説投稿サイトの増加などに伴 い，膨大な数の小説が出版・投稿されるようになっ た.これは読みたい小説が増えることを意味する反面，膨大な小説の中から個人の埕好に適した小説を 見つけることが難しくなったともいえる．書籍を取 り扱う $\mathrm{EC}$ サイトや小説投稿サイトでは，作者や各種タグなど，特定の情報に基づく検索機能を利用で きるが，小説それぞれの内容に基づいた検索機能は 実装されていない．また，携帯端末を利用して隙間時間に小説を楽しむ，複数の小説を同時に読むな ど，個人毎の読書スタイルが多様化してきた. 読書 スタイルの多様化により，まとまった時間に 1 つの 小説を読む場合と比べて，登場人物の特徴や関係な どを失念したり，読書再開時に内容を思い出すため に，一部を読み直す機会なども増えている。

個人の嗜好は，「メリーバッドエンド」や「仲間が 敵になる」など，展開に関する嗜好と，「角が生えた ちびっ子」や「金髪の用心棒」などの登場人物に関 する嗜好に分けられる. 小説テキストから登場人物 に関する情報を抽出して利用できるようになれば，人物に関する嗜好に基づいて小説を検索できるよう
になる。また，読書スタイルの多様化に対しては，登場人物情報を利用して，読んだところまでのあら すじや人物相関図を生成・提示することで読書支援 が可能になる．そこで本研究では，小説内の人物情報を抽出して体系化することで，人物情報を用いた 小説検索，あらすじ生成，人物関係図生成などの実現を目指している。

著者らの先行研究 [1] では，商業小説のあらすじ テキストで学習した系列ラベリングモデルを Web 小説の本文テキストに適用し，訓練データおよび提案モデルの小説本文に対する人物情報の抽出性能を 検証した。本稿では，小説の本文テキストから抽出 される人物情報を体系化することを目的に，同一文 に出現する人名と人物情報のみを関係抽出の対象に 設定し，ルールベースモデルと深層学習モデルの 2 つの関係抽出モデルの性能を検証する。

## 2 実験用データセットの構築

関係抽出手法の性能評価に利用する実験用データ セットの構築法について述べる。

## 2.1 対象データ

本稿では，著者らの先行研究 [1] で収集した「小説家になろう」サイトに掲載されているファンタ ジー小説の人気上位 250 件から無作為に選んだ 2 作品と，馬場らの研究 [2] で使用された「青空文庫」に 収録されている 4 作品，計 6 作品の本文を用いる.

「青空文庫」にて公開されている作品にはそれぞ れ図書カードという Web ページが紐づいているた め, 図書カードページからルビつきのテキストファ イルをダウンロードし，ルビや注釈など本文以外の 要素を排除した. その後，我々の先行研究 [1] と同様の手順で固有表現タグを付与する．その後，人名 と人物情報の正解関係を示す情報として，各タグに 対して本文テキスト内の人名の中で最長のものを付与する。以下に手順と例を示す。

1.「青空文庫」から収集した小説の本文を 1 文ず つ形態素解析する.

2. 各形態素に対して，以下のルールでタグ付けす る. タグの形式には IOB 2タグ形式を用いる.
- NAME: 名前

例：西尾，信長，シャルル・マーニュ
- MF: 性別

例：男，美男子，美女，乙女，女の子
- AGE: 年齢

例：16 歳，少年，お婆さん，幼い，高校生
- STATE: 容姿や特性

例: 白い髮, 元気, 高飛車, 天才, 職人気質
- PRO: 職業や立場

例：竜飼い，仙女，最高権限者，メンバー
- AFF: 組織や種族名

例：鳳凰学園杖術部，討伐軍，エルフ

-OTHER: 以上に当てはまらない人物情報例：異星人，神，元凶，気鋭，ペンギン
- PLACE: 地名や建物名

例：ム一大陸, 日本，礼拝堂，魔法学校
- REL: 人物関係表現

例: 兄, 親, 敵, 相棒, 結婚
- O: それ以外

3. IOB2 タグ形式で B タグが付与されているもの について，当該人物情報に紐づく本文テキスト 内の人名の中で，最長のものを付与する．紐づ く人名が本文テキスト内に存在しない人物情報 には「不明」を付与する。

「小説家になろう」から選択した 2 作品について は，我々の先行研究 [1] で上記の固有表現タグを付与したデータに上記の処理 3 で紐づく人名を付与し たものを利用する. 各作品の総文数と各タグの出現数, 関係文数 (人名とほか人物情報が同一文内に出現する文の数）を表 1 に示す.

## 2.2 データセットの構築

関係抽出モデルの性能評価に用いるデータセット の構築法を以下に示す.

1. 小説本文を 1 文ずつ形態素解析および係り受 け解析する．係り受け解析には，後で述べる 深層学習モデルの関係から安岡らの論文 [3] の Universal Dependencies(UD) に基づく係り受け解析器 [4]を利用する。なお，固有表現タグに関
する情報は，上記の結果に準拠させる。

2. 深層学習モデルの訓練及び性能評価のため，1 文内に人物情報が 2 つ以上存在する文に対して は，人名と人物情報が同一人物に紐づく場合「exist」，紐づかない場合「no_relation」タグを追加し，人名と対象人物情報タグの最初と最後の 形態素の位置を記録する．上記は， 1 文内の人名と人物情報の組み合わせの数だけ作成する.

上記手順により作成されたデータ例を表 2 に示す.

## 3 関係抽出モデル

本稿では， $n$-gram によるルールベースモデル と, GCNs (Graph Convolutional Networks) の一種で ある AGGCNs (Attention Guided Graph Convolutional Networks）モデルを用いて，人名・人物情報間の関係を抽出する手法を検討する。なお，対象となる人物情報は, MF (性別), AGE (年齢)，STATE（容姿 や特性), PRO (職業や立場), AFF (種族や所属), OTHER（その他の人物情報）とする。

## 3.1 ルールベースモデル

人名と人名に紐づく人物情報が近距離に出現する 事例から関係抽出するルールを検討するため，人名 とそれに紐づく人物情報およびそれらの間に出現す る形態素のパターンを $n$-gram で調査する. 調査対象は，表 1 に示す関係文数の総計 290 文とする.

まず，データセット中に，人名とその人名に紐づ く人物情報の間に形態素が存在しない事例 (2-gram) を調査した結果， 83 件存在することを確認した. 次 に，人名とその人名に紐づく人物情報の間に 1 形態素以上含む， $n=3 \sim 5$ までの $n$-gram の頻度を調査 した. その結果を表 3 に示す. 表 3 より，3-gram の 「の」，「、」，「な」以外は頻度が 1 件となり，極端に 少ないことがわかる．以上の結果より，本稿では，人名に形態素を挟まず隣接する，または「の」，「、」，「な」が間に存在する人物情報を人名に関係のある 情報として紐づけることにする。

## 3.2 深層学習モデル

ルールベースモデルでは，人名の近距離に出現す る人物情報を抽出できるが，人名と人物情報が離れ て出現する場合は，その関係を抽出できない．そこ で，深層学習モデルでは，AGGCNs[5]を用いて，距離にかかわらず 1 文内に出現する 2 つ人物情報間 に関係があるか否かを推定することを目指す。
表 1 各作品の文数と各タグの出現数

 & 382 & 15 & 101 & 18 & 16 & 37 & 12 & 5 & 2 \\

表 2 作成したデータセットの例

表 3 人名・人物情報間の単語群の出現数

 & を着た (1) & の名は (1) & であった (1) & & \\

AGGCNs は，文中の単語同士で構築される完全な 依存木構造から, 関係抽出に有用な関連部分構造 に注目する方法を学習するソフトプルーニング手法である. AGGCNs のモデル図 [5] を図 1 に示す. AGGCNs はグラフを表現するノード埋め込みと隣接行列を入力とする $\mathrm{M}$ 個の三層ブロックから構成さ れている. Attention Guided 層では単語同士の依存関係から Multi-Head Attentionを用いて Attention Guided 隣接行列を $\mathrm{N}$ 個生成する. Densely Connected 層では 前層で得られた $\mathrm{N}$ 個の行列を別々の密結合層に入力 し，最終層で線形結合する。

図 1 AGGCNs のモデル図（[5] より引用）

AGGCNs は，その手法を提案した著者が GitHub でコードを公開 [6] しているので，そのコードおよ びパラメータを変更し，関係抽出モデルを実装し た. ハイパーパラメータのうち，RNN 2 層，バッ
チサイズは 4，各種隠れ層は 200 次元に変更し，他 の設定はデフォルト設定を採用する。また，最適モ デルを選ぶ指標は，「開発データに対する F 值が一番大きくなった場合」から「開発データに対する偽陽性と偽陰性の和が一番小さくなった場合」に変更し，品詞や依存関係表現の ID は日本語 Universal Dependencies に合わせたものに変更する。単語べク トルとして用いる分散表現には，日本語 Wikipedia の本文全文で事前学習されたもの [7] を利用する。事前学習に用いたパラメータを表 4 に示す.

表 4 事前学習した単語分散表現のハイパーパラメータ

## 4 評価実験

## 4.1 評価方法

ルールベースモデルの抽出性能は，2.1 節で付与 した，各種人物情報に紐づく人名から正解辞書を作成し，ルールベースモデルでの抽出結果と正解辞書 との一致率で評価する。深層学習モデルの抽出性能 は，2.2 節で構築したデータセットの「exist」タグ を正例，「no_relation」タグを負例として評価する。 precision, recall, F 值（micro-F1）を評価尺度とし，深層学習モデルについては 10 分割交差検証で評価

する. データセットには，表 1 の関係文数の総計 290 文を対象に，2.2 節に基づいて構築した 542 文 を，訓練データ：開発データ：テストデータ $=7: 2: 1$ の割合で用いる。

## 4.2 実験結果と考察

実験結果を表 5 に示す。表 5 より，ルールベース モデルと深層学習モデルは共に precision が高いこと が確認できる．また，micro-F1 は，ルールベースモ デルが深層学習モデルを約 9.7 ポイント上回った.

表 56 作品に対する各手法の性能

本稿では，近距離の関係のみを抽出対象に設定 し，データセット中に頻出するパターンをもとに 関係抽出ルールを作成した. 実験の結果， $83.1 \%$ の precison が得られたことから, 近距離で頻出する関係を正しく抽出できたといえる。しかし，ルールの 網羅性の問題から recall は， $54.1 \%$ に留まった。ルー ルベースモデルの抽出エラーを分析した結果，人名 の近距離に人物情報が出現する場合でも，「ニコル ズ博士、エピキュロス」のように一文内に二つ以上 の人名が隣接する場合，「ニコルズ」，「エピキュロ ス」両名に「博士」が紐づくといったミスが確認さ れた. これに関しては，人物情報と人名の物理的な 距離を指標にすることで改善できる可能性がある。 また，「ミニョー父子銀行 (AFF) の行員 (PRO)、ア ドルフ (NAME)」のように，人物情報が連続して出現する場合，ルールベースモデルでは，人名に近い 人物情報しか紐付けられない。人物名と人物情報の 記述スタイルには多様性があり，単純なルールベー スでの限界も見えた。

深層学習モデルに関しては，ルールベースモデル では抽出できない 4-gram 以上の距離がある人物情報に対して関係を抽出できることを確認できた。し かし，ルールベースモデルよりも recall が約 2.7 ポ イント低いことから，近距離に対する抽出性能につ いては，ルールベースモデルが深層学習モデルの性能を上回っていると考えられる。 よって，3-gram 以内の近距離はルールベース主体，4-gram 以上の遠距離は深層学習モデルというハイブリッドモデルを 構築することで，抽出性能を向上できる可能性があ る．また，本稿での実験では，深層学習モデルに対表 6 人名と紐づく人物情報が出現する場所と割合

 & 22.52 & 77.48 \\

して 542 文という少量のデータセットによる実験と なったため，今後はデータセットを拡充した実験が 必要である.

本実験では，同一文に出現する人名と人物情報の みを関係抽出の対象に絞ったが，人名と人物情報が 異なる文に存在する場合もある。 そこで，人名と紐 づく人物情報が同一文内に存在するのか，または別文に存在するのかの割合を調査した。その結果を表 6 に示す. 表 6 より，人名と人物情報がそれぞれ別文に存在する場合が少なくとも約 4 割から約 8 割存在することがわかる．今後は，「彼」や「彼女」と いった代名詞を手掛かりに，人名が出現しない文に 出現する人物情報に対して，関係を抽出する手法や ゼロ代名詞への対応について検討する必要がある.

## 5 おわりに

本稿では，小説の本文テキストから抽出される人物情報を体系化するため，同一文に出現する人名と 人物情報のみを関係抽出の対象に設定し，ルール ベースモデルと機械学習モデルの 2 つの関係抽出 モデルの性能を検証した. 性能評価の結果，ルール ベースモデルと深層学習モデルは共に precision が recall より高い結果となった. micro-F1 については, ルールベースモデルが深層学習モデルを約 9.7 ポイ ント上回った.ルールベースモデルでは，近距離で 頻出する関係しか抽出できないが，深層学習モデル では遠距離の関係も抽出できることを確認した。

今後の課題として，まずデータセットを拡充する 必要がある。また，人名ではなく代名詞が利用され る文やゼロ代名詞の文などから関係を抽出する手法 や，複数文にまたがる人名・人物情報の関係を抽出 する手法について検討する。

## 参考文献

[1] 岡裕二, 安藤一秋. 小説あらすじを用いて学習した系列ラベリングモデルによる小説本文からの人物情報抽出の性能検証. 言語処理学会第 27 回年次大会発表論文集, 2021.

[2] 馬場こづえ, 藤井敦. 小説テキストを対象とした人物情報の抽出と体系化. 言語処理学会第 13 回年次大会発表論文集, 2007 .

[3] 安岡孝一. 世界の universal dependencies と係り受け解析ツール群. 第 3 回 Universal Dependencies 公開研究会, 2021 .

[4] UD 係り受け解析器, 2021. https://colab. research. google.com/github/KoichiYasuoka/deplacy/blob/ master/demo/2021-06-22/supar-ja.ipynb.

[5] Zhijiang Guo, Yan Zhang, and Wei Lu. Attention guided graph convolutional networks for relation extraction. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, 2019.

[6] AGGCN の github リポジトリ, 2019. https://github. com/Cartus/AGGCN.

[7] 日本語 Wikipedia エンティティベクトル, 2007. http://www.cl.ecei.tohoku.ac.jp/ m-suzuki/ jawiki_vector/.


# 語義の例文を使用した語義曖昧性解消の有効性分析

関谷洸佐々木稔
茨城大学工学部情報工学科
\{18t4052h, minoru.sasaki.01\}@vc.ibaraki.ac.jp

## 概要

本研究は、語義曖昧性解消システムである BEM [1]において、WordNet3.0 [2]に表記されている語義の 例文を使用することの有効性について分析する。具体的には、BEM に語義の例文を入力し、出力される 単語埋め込み表現列の中から、[CLS]ベクトルまたは 対象単語ベクトルを取り出し、語義の埋め込み表現 として使用する。実験では、開発セットを含む六つ の評価セットのうち、五つの評価セットで $\mathrm{F}$ 値が低下し、一つの評価セットで $\mathrm{F}$ 値が向上した。

## 1 はじめに

語義曖昧性解消とは、文中にある多義語が、どの 語義を表しているのかを識別するタスクである。多 くの語義曖昧性解消システムは、学習データの不均衡により、出現頻度の高い語義（MFS）に対しては 精度が高いが、出現頻度の低い語義（LFS）に対して は精度が低いという問題がある。これまでの研究で、語義曖昧性解消システムに辞書の語義定義文などの 語彙情報を組み込むことで精度が向上することが示 されている [3][4]。語義定義文は LFS にも効果的で あることが分かっているが、依然として MFS と LFS の間には大きな差がある。Blevinsらが提案したBEM では、複数の事前学習されたエンコーダを共同でフ アインチューニングすることで、MFS と LFS の間 にある大きな精度差を大幅に縮小した。しかし、 BEM では、システムに組み込む語彙情報が語義定義文しか使用されていないため、辞書の情報をさらに 加えることで語義の特徴を効果的に表現できる可能性がある。

そこで本研究では、BEM に新しい語彙情報として 語義の例文を組み込む手法を提案し、語義曖昧性解消における語義の例文の有効性を検証する。

## 2 関連研究

Blevins らによる BEM は、対象単語と周囲の文脈
を表現する context encoder と、語義定義文を表現す る gloss encoder で構成され、対象単語とその語義を 同じ埋め込み空間で表現している。この二種類のエ ンコーダは、事前学習済みモデルである BERT [5]で 初期化され、共同でファインチューニングされる。 この手法は、先行研究である Raganato ら [6]が示し た英語の All-words Word Sense Disambiguation の結果 を上回る。本研究では、BEM において、新しい語義 の埋め込み表現として語義の例文の埋め込みを作成 し、モデルの学習を行った。

BERTとは、Google の Jacob Devlin らが提案した 自然言語処理モデルである。BERT は、文章を双方向から学習することが可能であるため、従来のモデ ルとは違い、文脈に依存した出力を行うことができ る。

## 3 BEM

BEM のモデル構造を図 1 に示す。

BEM は、対象単語と周囲の文脈を表現する context encoder と、語義定義文を埋め込む gloss encoder の二 つの独立したエンコーダによって構成されている。 これらのエンコーダは、各トークンが正しい語義の 表現の近くに埋め込まれるように学習される。また、各エンコーダは、事前学習から取得した語義情報を 活用するために、BERT で初期化された deep transformer network である [7][8]。

BEM は、文脈を含む対象単語と語義定義文を独立 してエンコードする [9][10]ように設計されており、 これらの各モデルは、BERT-base で初期化される。 context encoder $T_{c}$ は、語義曖昧性解消の対象単語 $w$ を含む用例文 $c$ を入力として受け取る。ここでの $c$ は、 $c=c_{0}, c_{1}, \cdots, w_{i}, \cdots, c_{n}$ である。context encoder からは文脈を考慮した単語埋め込み表現列 $r$ が出力 される。単語埋め込み表現列 $r$ にある対象単語ベク トル $r_{w_{i}}$ を対象単語の表現とする。次式で表す $r_{w_{i}}$ は、 $T_{c}$ によって出力された $i$ 番目の表現を意味する。

$
r_{w_{i}}=T_{c}(c)[i]
$

BERT トークナイザによって複数のサブワードにト ークン化された単語については、サブワード部分の 平均的な表現によって、単語を表現する。例えば、 $j$ 番目から $k$ 番目までのトークンが $i$ 番目の単語の サブワードに対応する場合、次式のように単語を表現する。

$
r_{w_{i}}=\frac{1}{k-j} \sum_{l=j}^{k}\left(T_{c}(c)[l]\right)
$

gloss encoder $T_{g}$ は、語義 $s$ を定義する語義定義文 $g_{s}=g_{0}, g_{1}, \cdots, g_{m}$ を入力として受け取る。gloss encoder が出力する単語埋め込み表現列の中から、先頭の表現である[CLS]ベクトルを取り出し、語義の表現 $r_{s}$ とする。語義の表現 $r_{s}$ は、次式のように表され る。

$
r_{s}=T_{g}\left(g_{s}\right)[0]
$

次式で示すように、context encoder によって出力 された用例文の対象単語ベクトル $r_{w}$ と gloss encoder によって出力された対象単語の語義ベクトル $r_{s}$ の ドット積をとることで、対象単語 $w$ の各候補語義 $s \in S_{w}$ をスコア付けする。 $S_{w}$ は、対象単語 $w$ のす べての候補語義を意味する。

$
\phi\left(w, s_{i}\right)=r_{w} \cdot r_{s_{i}}
$

ここでの $i$ は、 $i=0, \cdots,\left|S_{w}\right|$ である。評価の際、対象単語の語義は各候補語義の中でスコアが最も高い語義に推定される。

対象単語 $w$ の各候補語義のスコアで、損失関数で ある cross-entropy loss を使用し、BEM を学習する。対象単語と語義のペア $\left(w, s_{i}\right)$ が与えられた場合、シ ステムの損失関数は次式で表わされる。

$
\mathcal{L}\left(w, s_{i}\right)=-\phi\left(w, s_{i}\right)+\log \sum_{j=0}^{\left|s_{w}\right|} \exp \left(\phi\left(w, s_{i}\right)\right)
$

[CLS]ベクトル

対象単語ベクトル

ドット積を求め 評価値とする

図 1 BEM のモデル構造

## 4 提案手法

本研究では、BEM に新しく語義の例文を入力し、対象単語の語義推定を行う。主に三種類の語義の例文の表現方法を使用して BEM の学習を行い、作成 した三種類のモデルと元の BEM で精度の比較を行 う。

## 4.1 語義の例文の[CLS]ベクトルを使用し た語義曖昧性解消

語義の例文の[CLS]ベクトルを使用したモデルの 構造を図 2 に示す。

ある語義に対し、複数の例文が存在する場合はそ の中の一つを取得する。取得した語義の例文を gloss encoder に入力し、出力された単語埋め込み表現列の 中から[CLS]ベクトルを取り出す。取り出した[CLS] ベクトルを新しい語義の埋め込タ表現として使用す る。context encoder によって出力された用例文の対象単語ベクトルと gloss encoderによって出力された 語義定義文、語義の例文の二種類の語義ベクトルの ドット積をとり、各候補語義のスコア付けをする。各候補語義の中でスコアが最も高い語義を対象単語 の語義に推定する。

図 2 語義の例文の[CLS]ベクトルを使用した モデル

## 4.2 語義の例文の対象単語ベクトルを使用した語義曖昧性解消

語義の例文の対象単語ベクトルを使用したモデル の構造を図 3 に示す。

ある語義に対し、文中に対象単語を含む例文が存在する場合はその中の一つを取得する。例えば、対
象単語が「review」の場合、例文中に「review」と同型の単語がある例文を取得する。取得した語義の例文を context encoder に入力し、出力された単語埋め 込み表現列の中から対象単語ベクトルを取り出す。取り出した対象単語ベクトルを新しい語義の埋め込 み表現として使用する。context encoder によって出力された用例文の対象単語ベクトルと gloss encoder によって出力された語義定義文、context encoder に よって出力された語義の例文の二種類の語義ベクト ルのドット積をとり、各候補語義のスコア付けをす る。各候補語義の中でスコアが最も高い語義を対象単語の語義に推定する。

図 3 語義の例文の対象単語ベクトルを使用した モデル

## 4.3 語義の例文で語義定義文のベクトル

## を更新した語義曖昧性解消

語義の例文で語義定義文のベクトルを更新したモ デルの構造を図 4 に示す。

ある語義に対し、複数の例文が存在する場合はそ の中の一つを取得する。また、語義に対し例文が存在しない場合、代用として語義定義文を語義の例文 として使用する。取得した語義の例文をgloss encoder に入力し、出力された単語埋め込み表現列の 中から [CLS]ベクトルを取り出す。取り出した[CLS] ベクトルを新しい語義の埋め込み表現として使用す る。語義定義文で各エンコーダをファインチューニ ングした後、語義の例文でファインチューニングを 行い、語義べクトルを更新する。

対象単語ベクトル

[CLS]ベクトル

したcontext encoderで 文脈ベクトルに変換

図 4 語義ベクトルを更新したモデル

## 5 実験

## 5.1 実験データ

本研究で使用したデータは、Raganato らが作成し た WSD フレームワークである [6]。学習データとし て、WordNetから手動で語義をアノテーションされ た大規模なデータセットである SemCor [11]コーパ スを使用する。SemCor は、33,362 個の語義をカバー する 226,036 個のアノテーションされた例を含む。開発セットとして SemEval-2007(SE07) [12]データセ ットを使用する。評価セットとして、Senseval-2(SE2) [13]、 Senseval-3(SE3) [14]、 SemEval-2013(SE13) [15]、 SemEval-2015(SE15) [16]を使用する。本システムで 使用する語義定義文、語義の例文はすべて WordNet3.0 から取得している。

## 5.2 実験設定

BEM、4.1 節、4.2 節、4.3 節で示したモデルを表 1 にまとめる。これらのモデルの $\mathrm{F}$ 值を比較し、語義 の例文の有効性を分析する。

表 1 BEM と本研究で提案するモデル

 \\

本研究で提案するモデルは、実行時間に制限があ

る Google Colaboratory で実行している。また、最も

$\mathrm{F}$ 値が高いモデルのみを保存し学習を再開するため、

モデルによって学習回数が異なる。BEM1 は 14、 BEM2 は6、BEM3 は 17 回学習を行う。

## 5.3 評価方法

5.1 節で示した実験データを使用し、各モデルの $\mathrm{F}$值を求める。5.1 節で示した評価セットに加え、開発 セットを含むすべての評価セットを連結させた ALL データセットを評価セットとして使用する。

## 5.4 実験結果

開発セットを含む六つの評価セットでの BEM、 BEM1、BEM2、BEM3 の F 値を表 2 に示す。BEM と 語義の例文を使用した BEM1、BEM2、BEM3 を比べ ると、Senseval-3 評価セットを除くすべての開発セ ット・評価セットで BEM の方が、F 值が高い。 Senseval-3 評価セットでは、BEM2 の 78.1\%が最高値 であり、BEM に比べ $0.7 \%$ 向上している。

表 2 各モデルの $\mathbf{F}$ 值

## 6 考察

## 6.1 語義の例文の[CLS]ベクトル

BEM において、語義の例文の[CLS]ベクトルを使用した語義曖昧性解消は、元の BEM による語義曖昧性解消に比べて、すべての開発セット・評価セッ トで $\mathrm{F}$ 值が低下した。このことから、語義の例文の [CLS]ベクトルを語義の埋め込み表現として使用す るとシステムに悪影響を与えると考えられる。

## 6.2 語義の例文の対象単語ベクトル

BEM において、語義の例文の対象単語ベクトルを 使用した語義曖昧性解消は、開発セットと一つの評価セットを除き、語義の例文を使用したモデルの中 で最も $\mathrm{F}$ 值が高い。このことから、BEM で語義の例文を使用寸る場合、語義の例文を対象単語ベクトル で表現することが最も有効であると言える。対象単語ベクトルが最も良かった要因としては、語義の例文は語義定義文とは違い、語義の意味ではなく、語義の使用方法を表しているためだと考えられる。こ
れにより、文中に語義との類似度が低い単語などが あり、[CLS]ベクトルでは $\mathrm{F}$ 值が低くなったと考え られる。また、元の BEM による語義曖昧性解消に 比べて、Senseval-3 評価セットでは $\mathrm{F}$ 值が僅かに高 くなり、それ以外の開発セット・評価セットでは低 くなっている。このことから、語義の例文の対象単語ベクトルはシステムに悪影響を与えるが、使用方法を工夫寸れば有効であると予想している。例えば、対象単語が「review」の場合、review の過去形である 「reviewed」や複数形である「reviews」なども対象単語として使用するといった方法が考えられる。

## 6.3 語義ベクトルの更新

BEM で使用していた語義定義文による語義べク トルを語義の例文で更新した語義曖昧性解消は、元 の BEM による語義曖昧性解消に比べて、すべての 開発セット・評価セットで $\mathrm{F}$ 值が低下した。このこ とから、語義定義文による語義べクトルを語義の例文で更新すると、システムに悪影響を与えると考え られる。本研究では、語義の例文の[CLS]ベクトルを 使用して語義ベクトルを更新しているが、対象単語 ベクトルを使用して語義ベクトルを更新するといっ た手法も考えられる。

## 7 おわりに

本研究では、語義曖昧性解消システムである BEM において、WordNet3.0から取得した語義の例文を新 しい語義の埋め込み表現として使用した。また、 BEM と語義の例文を使用した BEM を比較し、語義 の例文の有効性の分析を行った。語義の例文を使用 すると全体的に性能が低下したが、語義の例文の対象単語ベクトルを使用したモデルでは、Senseval-3 評価セットにおいて、 $\mathrm{F}$ 値が僅かに上昇することが 確認できた。よって、語義の例文は BEM に悪影響 を与えるが、語義の例文の使用方法を工夫すれば有効であると予想している。

今後の課題としては、語義の例文の対象単語ベク トルを使用する際、対象単語と同型のものだけでな く、複数形や過去形に変形しているものも対象にす るなど、抽出方法の検討が挙げられる。その他にも、多義語の語義の数が多い場合のみ語義の例文を使用 するなど、語義の例文の使用方法の工夫も考えてい る。

## 参考文献

1. BlevinsTerra, ZettlemoyerLuke. Moving Down the Long Tail of Word Sense Disambiguation with Gloss Informed Bi-encoders. : the 58th Association for Computational Linguistics (ACL2020), 2020. ページ: pp. 1006-1017. .

2. George A Miller. 1995. Wordnet: a lexical database for english. Communications of the ACM, 38(11):39-41.

3. Fuli Luo, Tianyu Liu, Zexue He, Qiaolin Xia, Zhifang Sui, and Baobao Chang. 2018a. Leveraging gloss knowledge in neural word sense disambiguation by hierarchical co-attention. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pages 1402-1411, Brussels, Belgium. Association for Computational Linguistics.

4. Fuli Luo, Tianyu Liu, Qiaolin Xia, Baobao Chang, and Zhifang Sui. 2018b. Incorporating glosses into neural word sense disambiguation. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 2473-2482, Melbourne, Australia. Association for Computational Linguistics.

5. Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. 2019. Bert: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pages 4171-4186.

6. Alessandro Raganato, Jose Camacho-Collados, and Roberto Navigli. 2017b. Word sense disambiguation: A unified evaluation framework and empirical comparison. In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics: Volume 1, Long Papers, pages 99-110.

7. Andy Coenen, Emily Reif, Ann Yuan, Been Kim, Adam Pearce, Fernanda Viegas, and Martin Wattenberg. 2019. Visualizing and measuring the geometry of bert. arXiv preprint arXiv:1906.02715.

8. Christian Hadiwinoto, Hwee Tou Ng, and Wee Chung Gan. 2019. Improved word sense disambiguation using pre-trained contextualized word representations. In Proceedings of the 2019 Conference on Empirical
Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pages 5300-5309.

9. Jane Bromley, Isabelle Guyon, Yann LeCun, Eduard Sackinger, and Roopak Shah. 1994. Signature verification using a" siamese" time delay neural network. In Advances in neural information processing systems, pages 737-744. 10. Samuel Humeau, Kurt Shuster, Marie-Anne Lachaux, and Jason Weston. 2019. Poly-encoders: Transformer architectures and pre-training strategies for fast and accurate multi-sentence scoring. arXiv preprint arXiv:1905.01969.

11. George A Miller, Claudia Leacock, Randee Tengi, and Ross T Bunker. 1993. A semantic concordance. In Proceedings of the workshop on Human Language Technology, pages 303-308. Association for Computational Linguistics.

12. Sameer Pradhan, Edward Loper, Dmitriy Dligach, and Martha Palmer. 2007. Semeval-2007 task-17: English lexical sample, srl and all words. In Proceedings of the fourth international workshop on semantic evaluations (SemEval-2007), pages 87-92.

13. Martha Palmer, Christiane Fellbaum, Scott Cotton, Lauren Delfs, and Hoa Trang Dang. 2001. English tasks: All-words and verb lexical sample. In Proceedings of SENSEVAL-2 Second International Workshop on Evaluating Word Sense Disambiguation Systems, pages 21-24.

14. Benjamin Snyder and Martha Palmer. 2004. The english all-words task. In Proceedings of SENSEVAL-3, the Third International Workshop on the Evaluation of Systems for the Semantic Analysis of Text.

15. Roberto Navigli, David Jurgens, and Daniele Vannella. 2013. Semeval-2013 task 12: Multilingual word sense disambiguation. In Second Joint Conference on Lexical and Computational Semantics (* SEM), Volume 2: Proceedings of the Seventh International Workshop on Semantic Evaluation (SemEval 2013), pages 222-231.

16. Andrea Moro and Roberto Navigli. 2015. Semeval2015 task 13: Multilingual all-words sense disambiguation and entity linking. In Proceedings of the 9th international workshop on semantic evaluation (SemEval 2015), pages 288-297.


# 早押しクイズのパラレル問題の自動生成

橋元佐知 佐藤理史 宮田玲 小川浩平
名古屋大学大学院工学研究科
hashimoto.sachi@d.mbox.nagoya-u.ac.jp

## 概要

本稿では、日本語の早押しクイズの「パラレル問題」を自動生成する方法を提案する。この方法で は、アノテーション済みの既存のパラレル問題を利用し、その一部の要素を置換することによって、新 たな問題を作成する。置換する要素には、対比ぺ ア、答の上位概念、問題の対象ドメイン、の 3 種類 がある。これらの置換先の候補として、特定のカテ ゴリに対するワードリストや対比ペアリストを準備 しておく。本システムを用いて、これまでに、500 問以上の新たなパラレル問題を作成した。

## 1 はじめに

答が一意に定まるクイズ問題は、これまで質問応答 $(\mathrm{QA})$ システムの開発において、しばしば用いら れてきた [1][2]。日本でも、クイズを題材にした日本語 QA データセット JAQKET[3] が開発され、これ を用いた質問応答システムのコンペティションも行 われた [4]。

このようなデータセットの構築のためには、大量 のクイズ問題が必要となるが、良質のクイズ問題を 作成することは、それほど容易ではない。問題文と その答を作ることが最初の関門であるが、それ以外 にも「裏取り」と呼ばれる答の正当性・一意性を確認する作業や、問題の難易度の適切さを確認する作業が必要であり、かなりの知力と労力、経験を必要 する [5]。QA システムが目指しているのは、クイズ 問題を解く能力の実現であるが、クイズ問題を作る ためには、それとは異なる知的能力が必要である。実際、クイズ問題作成は、ある種の創作という側面 を持ち、日本ではクイズ作家とよばれる人達やクイ ズ制作専門会社が存在する。

コンピュータによるクイズ問題自動生成の目的 は、単に QA システム開発用のデータセット構築の ために留まらない。良質のクイズ問題の自動生成が 可能となれば、クイズ大会やクイズ番組への問題提供など商用利用の道が開ける。さらに、教育現場で の活用を想定したクイズ問題の自動生成の研究もい くつか存在する [6][7]。

本稿では、日本語の早押しクイズの「パラレル問題」を対象に、クイズ問題を自動生成する方法を提案する。

## 2 パラレル問題の構造と特徵

本研究が対象とする「パラレル問題」とは、 アイルランドの首都はダブリンですが、アイス ランドの首都はどこでしょう？

のような、「〜は〜ですが、〜は何でしょう？」と いう形式の問題である。その基本構造を図 1 に示す $[8]$ 。パラレル問題は 4 つのパート $(\mathrm{A}, \mathrm{B}, \mathrm{C}, \mathrm{D})$ と答 $(W)$ から構成され、各パートはそれぞれ中核要素 $(X$, $Y, Z, Q)$ を持つ。これら以外にも、中核要素の上位概念や問題の対象ドメインが含まれる場合もある。本研究で扱う問題の構成要素の一覧を表 1 に示す。

パラレル問題の最大の特徴は、 $X$ と $Z$ (あるいは、 まれに $Y$ と $Q(=W))$ が、何らかの対比軸になってい ることである [5]。本稿では、この対比軸の分類を 対比関係と呼ぶ。この対比関係の種類は限られてい る (表 2)。例えば、「アイルランド $(X)$ の首都はダブ リンですが、アイスランド $(Z)$ の首都はどこでしょ う？」という問題では、「アイルランド」と「アイス ランド」が音・表記の類似という観点で対比関係を なす。「日本で一番 $(X)$ 高い山は富士山ですが、二番目 $(Z)$ に高い山は何でしょう？」という問題では、「一番」と「二番目」が連続という観点で対比関係を なす。「アイルランド $(X)$ の首都はダブリンですが、中国 $(Z)$ の首都はどこでしょう？」や「日本で一番 $(X)$ 高い山は富士山ですが、三番目 $(Z)$ に高い山は 何でしょう？」という問題は、対比関係が不自然で あり、パラレル問題として不適切である。

パラレル問題のもうひとつの特徵は、前半部 $(\mathrm{AB}$ パート) と後半部 (CD パート) が並行的となる点で ある。つまり、 $X-Y$ の関係と $Z-Q(=W)$ の関係は、

図 1 パラレル問題の基本構造

表 1 パラレル問題の構成要素

同一である。例えば、「アイルランド $(X)$ の首都は ダブリン $(Y)$ ですが、アイスランド $(Z)$ の公用語は 何 $(Q)$ でしょう？」という問題は、「アイルランド首都-ダブリン」と「アイスランドー公用語-アイス ランド語」という関係が一致しないため、パラレル 問題として不適切である。

## 3 問題文生成の基本戦略

前節で述べた 2 つの特徴は、パラレル問題を作る 際に満たすべき制約となる。この 2 つの制約を満た す問題を作る方法として、既存のパラレル問題を利用し、その一部の要素を置換する方法を採用する。置換する要素には、いくつかの選択肢がある。

## 3.1 対比ペアを置換する

問題文に含まれる対比ぺア $(X$ と $Z$ )を別の対比ぺ アに置換することにより、新たな問題を作ることが できる。以下にその概略を示す。

1. 元となる問題を選択する。

例:「アイルランドの首都はダブリンですが、ア イスランドの首都はどこでしょう？ (答: レイ キャビク)」

2. 置換元の対比ぺアを抽出し、問題をフレームに 一般化する。

フレーム $=X$ の首都は $Y$ ですが、 $Z$ の首都はど こでしょう？ (答: $W$ )

$X, Z=$ アイルランド, アイスランド

3. 置換先の対比ペアを決定する。

$X, Z=$ オーストリア, オーストラリア

4. 問題作成に必要な答要素 $(Y$ と $W)$ を決定する。

 \\

$Y=$ ウィーン,$W=$ キャンベラ

5. フレームに要素を代入し、問題を完成させる。「オーストリアの首都はウィーンですが、オー ストラリアの首都はどこでしょう？ (答: キャン ベラ)」

ここで、ステップ 3 と 4 の実現がポイントとなる。 ステップ 3 では、フレームに代入できる置換先対比ぺアを選択する必要がある。置換元の対比ペアと 同種の対比ペア、つまり、語のカテゴリ (上記の例 では「国名」) が同一であり、対比関係の種類 (「音・表記の類似」) が同一であるような対比ぺアを選択 すれば、フレームに代入できる可能性が高い。加え て、対比関係の種類が「対義 (『最初に』と『最後 に』)」の場合は、これを「連続(『最初に』と『次 に』)」に置換することにより、問題を作れる場合も ある。

ステップ 4 で答要素 $(Y$ と $W)$ を決定することは、「オーストリア (オーストラリア)の首都はどこで しょう」という問題を解くことに等しい。つまり、 ステップ 4 を実現するには、クイズ問題を解く方法 を適用すればよい。

## 3.2 対比ペア以外の要素を置換する

対比ペア以外の要素 $(y, D)$ の置換によっても、新 たな問題を作ることができる。以下にその概略を 示す。

1. 元となる問題を選択する。

例：「日本で最も大きいトンボはオニヤンマで すが、最も小さいトンボは何でしょう？(答: ハッチョウトンボ)」

2. 置換元要素を選択し、問題をフレームに一般化 する。

フレーム $=$ 日本で最も大きい $y$ は $Y$ ですが、最 も小さい $w(=y)$ は何でしょう？ (答: $W$ ) $y=$ トンボ

3. 置換先要素を決定する。 $y$ ニカマキリ

4. 問題作成に必要な答要素 $(Y$ と $W)$ を決定する。

図 2 パラレル問題自動生成システムの構成

$Y=$ オオカマキリ,$W=$ ヒナカマキリ

5. フレームに要素を代入し、問題を完成させる。

「日本で最も大きいカマキリはオオカマキリで すが、最も小さいカマキリは何でしょう (答: ヒ ナカマキリ)

基本的な流れは、対比ペアの置換の場合と同じで あり、置換元要素の選択 (ステップ 2) と置換先要素 の決定 (ステップ 3) のみが異なる。ステップ 3 で は、置換元の語と同じカテゴリの語を選択すると、 フレームに代入できる可能性が高い。

なお、上記の例では、答要素 $Y$ の上位概念である $y(=w)$ を置換したが、ドメイン $D$ の置換 (「日本 $\rightarrow$ 世界」)によっても、新しい問題を作ることがで きる。

## 3.3 自動化への準備

上記の方法を自動化するために、次の準備を 行う。

1. 追加アノテーション

既存のパラレル問題には、すでに構成要素 (表 1) がアノテーションされているが [8]、それ に加えて、各要素に国名などのカテゴリ情報を 付与する。さらに、対比ペアには、対比関係の 種類の情報を付与する。

2. ワードリスト・対比ペアリストの作成

付与したカテゴリに対して、そのカテゴリに属 する語を集めたリストや対比ペアリストを作成 する。

## 4 パラレル問題自動生成システム

作成したパラレル問題自動生成システムの全体像を図 2 に示す。本システムの入力はアノテーショ ン済みのパラレル問題であり、前節に示した流れに 沿って、新たなパラレル問題を作成・出力する。以下では、置換先の候補となる、ワードリストと対比 ペアリストの作成法、および、答要素 $(Y, W)$ の決定法を説明する。

## 4.1 ワードリストの作成

問題の構成要素 $(X, Z, D, y)$ のカテゴリに対する ワードリストの作成には、次の 2 種類の方法を使用 した。ワードリストに収録する語は、原則として、日本語版 Wikipedia の記事タイトルに限定した。

## 1. 記事冒頭文を利用した同一カテゴリ語の収集

Wikipedia 記事の最初の 1 文 (記事冒頭文) が類似していたり、その文の最後の名詞句が同一で あれば、それらの記事のタイトルは同一カテゴ リに属する可能性が高い。この性質を利用して 特定のカテゴリに属する語を収集する。具体的 には、既存のパラレル問題から特定のカテゴリ に属する語の具体例を収集し、それを出発点と して、そのカテゴリに属する語を収集する。記事冒頭文の類似性判定には、TF-IDF の重み付 き Bag-of-Words のコサイン類似度を用い、値が 0.65 以上である場合に、同一カテゴリに属する と判定する。

2.「○○の一覧」ページからの抽出

Wikipediaの「○○の一覧」ページでまとめられ ている項目を収集する。

作成したワードリストの語に対して、ローマ字読 み（訓令式）を追加した。また、「略称」「人物の愛称」などのカテゴリでは、「機関・機構の略語」「歴史上の人物の幼名」のような下位のカテゴリを設 け、各語に正式名称等の情報を追加した。

対比ぺアを構成する要素 $(X, Z)$ では 78 種類のカ テゴリが存在するが、これまでに 11 種類のカテゴ リのワードリストを作成した。それ以外の要素 $(D$, $y)$ では、13 種類のカテゴリ中、 2 種類のカテゴリの ワードリストを作成した。

## 4.2 対比ペアリストの作成

対比ペアリストは、次の 2 種類の方法で作成した。

1. ワードリストから作成する (音・表記の類似)特定のカテゴリに対するワードリストから、音 や表記が類似するぺアを次の方法で収集し、そ のカテゴリの対比ぺアリストを作る。

(a) 表記および音 (ローマ字読み) の編集距離 が、それぞれの文字列の平均長の $1 / 2$ を超 えないペアを抽出する。

(b) 得られたぺアのリストを、音の編集距離が 小さい順 (同一の場合は、表記の文字列長 の差が小さい順) にソートする。

(c) ソートされたリストの先頭から、ペアを順 に取得する。ただし、既に取得したぺアに 含まれる語を含むぺアは取得しない。

## 2. 既存のパラレル問題から収集する (対義・連続)既存のパラレル問題から、カテゴリが「属性・程度」か「属性・順序」で、かつ、対比関係が 「対義」である対比ぺアを「対義ペアリスト」 に、対比関係が「連続」である対比ぺアを「連続ペアリスト」に収録する。この 2 つの対比ぺ アリストは、対比関係の種類が「対義」の問題 から、「連続」の問題を生成する際に使用する。

## 4.3 答要素の決定

作成する問題の答要素 $(Y, W)$ の決定には、次の 2 つの方法を使用する。以下では、答要素 $Y$ を決定す る方法を示すが、 $W$ の決定法も同様である。

## 1. ワードリストに情報が存在する場合

ワードリストの情報をそのまま利用する。例え ば、「GDP は $Y$ の略ですが」という問題文が得 られ、ワードリストに「GDP」の正式名称の情報がある場合は、その正式名称を $Y$ として採用 する。

## 2. 検索エンジンを利用する

Yahoo! 検索エンジンで、得られた問題文の A パートを完全一致で検索する。検索結果の上位 10 件のスニペットを取得し、(1) 入力した問題文の直後から句読点まで、(2) 句読点から入力 した問題文の直前まで、(3) 入力問題文以外の 太字部分、を抽出して、答候補とする。次に、得られた答候補を、問題文の $\mathrm{A}$ パートの末尾 に追加して、完全一致で再び検索を行い、最も ヒット数の多かった答候補を $Y$ とする。表 3 生成したパラレル問題数

カテゴリの括弧内の数字は、そのカテゴリの対比ペアリスト またはワードリストに要素数を表す。生成数の括弧内の数字 は、生成で利用した既存の問題の数を表す。

## 5 生成例と考察

本システムで実際に作成できたパラレル問題の数 を表 3 に、生成例を付録 $\mathrm{A}$ に示す。

表 3 からわかるように、今回取り組んだカテゴリ の多くでは、少数の既存の問題から、数十問の新し い問題を生成することができた。より多くのカテゴ リに対して、ワードリストや対比ペアリストを準備すれば、さらに多くの問題を生成することがで きる。

ただし、表 3 は正しく $Y$ や $W$ を求められた問題 の生成数であり、システムが出力した問題の 4 割程度が不適切な問題であった。不適切な問題には、問題の答が存在しないか、複数存在するために、誤っ た $Y$ や $W$ が出力されたものが多かった。例えば、 フレーム「X(国名) の国の鳥は $Y$ だ」を利用して生成された問題文

スロバキアの国の鳥は $Y$ ですが、スロベニアの

国の鳥は何でしょう？(答: $W$ )

では、スロバキアとスロベニアがどちらも国鳥を定 めていないため、答を求めることができず、誤った $Y$ や $W$ が出力された。

今後は、より多くのカテゴリやフレームを利用し た問題の生成や、適切な問題の生成精度の向上、生成された問題の評価に取り組みたい。

## 参考文献

[1] David Ferrucci, Eric Brown, Jennifer Chu-Carroll, James Fan, David Gondek, Aditya A. Kalyanpur, Adam Lally, J. William Murdock, Eric Nyberg, John Prager, Nico Schlaefer, and Chris Welty. Building Watson: An overview of the DeepQA project. AI

Magazine, Vol. 31, No. 3, pp. 59-79, Jul. 2010.

[2] Pedro Rodriguez, Shi Feng, Mohit Iyyer, He He, and Jordan L. Boyd-Graber. Quizbowl: The case for incremental question answering. CoRR, 2019.

[3] 鈴木正敏, 鈴木潤, 松田耕史, 西田京介, 井之上直也. JAQKET: クイズを題材にした日本語 QA データセットの構築. 言語処理学会第 26 回年次大会発表論文集, pp. 237-240, 2020.

[4] AI 王〜クイズ AI 日本一決定戦〜，（202201 閲 覧）. https://sites.google.com/view/ nlp2021-aio/.

[5] 伊沢拓司. クイズ思考の解体. 朝日新聞出版, 2021.

[6] Naoshi Sakamoto. Automated generation of fill-inthe-blanks-type quizzes using wikipedia. International Journal of Computer Theory and Engineering, Vol. 9, No. 5, pp. 367-373, 2017.

[7] 史佳奥原, 雄一清, 康之田原, 昭彦大須賀. Linked data を用いた俯瞰的な多肢選択式問題自動生成手法の提案. 情報処理学会論文誌, Vol. 60, No. 10, pp. 1738-1756, oct 2019.

[8] 橋元佐知, 佐藤理史, 宮田玲, 小川浩平. 競技 クイズ・パラレル問題の基本構造と文型. 言語処理学会第 27 回年次大会発表論文集, pp. 1420-1424, 2021.

## A パラレル問題の生成例

## A. 1 対比ぺアの置換による生成例

## A.1.1 対比関係「対義」を「連続」に置換する生成例

元の問題 1 年で最初に来る二十四節気は「小寒」ですが、最後に来る二十四節気は何でしょう？(答: 冬至)

生成問題 1 年で最初に来る二十四節気は「小寒」ですが、次に来る二十四節気は何でしょう？(答: 大寒)

## A.1.2 音・表記の類似ぺアの置換による生成例

 \\

## A. 2 対比ぺア以外の要素の置換による生成例

 \\