# 言語モデルと解析戦略の観点からの修辞構造解析器の比較

小林尚輝 $\dagger$ 平尾努 $\S$ 上垣外英剛 $\dagger$ 奥村学 $\dagger$ 永田昌明 $\S$
†東京工業大学 §NTTコミュニケーション科学基礎研究所
\{kobayasi, kamigaito, oku\}@lr.pi.titech.ac.jp
\{tsutomu.hirao.kp, masaaki.nagata.et\}@hco.ntt.co.jp

## 概要

修辞構造解析の研究分野では，ニューラルモデル の発展により多くの手法が提案され，ベンチマーク データでの最高スコアが日々更新されている. しか し，提案された手法は解析戦略，EDU 系列のベクト ル表現のための事前学習済み言語モデル，探索アル ゴリズムなどが異なっており, どの要素が良い結果 をもたらしたのかが分かりにくい。そこで，本稿で は技術の進歩を明確にできるよう，既存の上向き，下向きの解析戦略と最新の事前学習済み言語モデル を組み合わせることで強いべースライン解析器を構築する。この解析器を RST-DT で評価した結果, 解析戦略には大きな差がなく，トークンではなくスパ ンのマスキングを採用した事前学習済み言語モデル が有効であることが分かった. 特に，DeBERTaを用 いると世界最高性能を達成した. 今後, このべース ラインを基準とすることで新しい技術の有効性をよ り明確にできると考える。

## 1 はじめに

修辞構造理論 [1] は，文書の背後にある構造を， EDU と呼ばれる節相当のユニットを終端ノード，単一もしくは連続した EDU からなるスパンを非終端 ノードとする構成素木として表現する. 非終端ノー ドには核 (Nucleus) または衛星 (Satellite) の核性ラベ ルが与えられ，同じ親を持つ兄弟の非終端ノード間 のエッジにはその関係を表す修辞ラベルが与えら れる.

修辞構造解析では，上向き，下向きの解析戦略の

還元法を用いた手法 [2,3], 下向き解析にはスパン 分割法を用いた手法 $[4,5]$ やエンコーダデコーダモ デルを用いた手法 [6] がある. これら 2 つの解析戦略において，近年ニューラルネットワークが活用さ れ，さらなる性能向上のため，ビーム探索 [7]，動的
オラクルを用いた探索 [5]，モデルアンサンブル [4]，敵対学習 [6] など様々な技術が導入されている.

さらに，スパンのベクトル表現を得るために事前学習済み言語モデルが利用されることからその 性能向上が修辞構造解析の性能改善にもつながる. たとえば，XLNet[8] を用いた下向き解析法 [6] と SpanBERT[9] を用いた上向き解析法 [3] は従来法よ りも大幅に性能が向上している。

このようにニューラルモデルを用いた修辞構造解析手法の性能は大きく向上しているものの，各手法 が採用した解析戦略，事前学習済み言語モデル，探索アルゴリズムなどが異なるため，どの要素が解析器の性能向上にどの程度寄与したかが分かりにく く，技術の進歩を正しく評価することが難しい。

本稿は，既存の上向き，下向き解析戦略に対し， 5 種の事前学習済み言語モデル1)を組み合わせるだ けでどの程度の性能が得られるかを検証し，技術の 進歩を明らかにするためのベースラインを構築す ることを目的とする．RST-DT を用いた実験結果か ら，(1) 2 つの解析戦略の間に大きな差はないこと, (2) トークンではなくスパンのマスキングを利用し た目的関数で学習された事前学習済み言語モデル が有効であること，(3) DeBERTa を利用すると現在 の世界最高性能を達成すること，が分かった. さら に，チェックポイント重み平均の導入や事前学習済 み言語モデルのパラメタを増やすことでも性能の改善が得られることが分かった.

## 2 解析手法

本稿では，上向き解析戦略を用いた解析器として シフト還元法を用いた手法 [3]，下向き解析戦略を 用いた解析器として再帰的なスパン分割による手法 [4]を採用した. その理由はどちらもシンプルな方法であり，かつ実装が公開されているからである.

双方とも単一もしくは連続した EDU からなるス パンをべクトルにより表現する必要がある．以下， 2.1 節でスパンのベクトル表現の獲得方法について 説明する。次に 2.2 および 2.3 節においてそれぞれ の解析手法を説明する。

## 2.1 スパンのベクトル表現の獲得方法

$N$ 個の EDU からなる文書が与えられた時，文書 をトークン系列とみなし，事前学習済み言語モデル を通すことでトークンのベクトル表現 $\left.\{\boldsymbol{w}_{1}, \ldots, \boldsymbol{w}_{M}\right.\}$ を得る。ここで $M$ は文書に含まれる全トークン数 とする．M が 512 を超える場合には，スライド窓を 利用してすべてのトークンのベクトル表現を得る.

あるスパンが $i$ 番目から $j$ 番目の EDUを内包する 時（ただし， $1 \leqq i<j \leqq N ） ＼mathrm{~ こ の ス ハ ゚ ン を 表 現 す る ~}$ ベクトル表現 $\boldsymbol{u}_{i: j}$ はスパンの両端のトークンのベク トル表現から $u_{i: j}=\left(w_{\mathrm{b}(i)}+w_{\mathrm{e}(j)}\right) / 2$ として求める. ここで $\mathrm{b}(i)$ および $\mathrm{e}(j)$ はそれぞれ引数で指定され た EDU の先頭および末尾のトークンのインデック スを返す関数である。

## 2.2 上向き解析法

上向き解析器として Guz ら [3] のシフト還元法を 用いた解析器を採用する．スタック $\mathrm{S}$ に解析済みの 部分木を格納，キューQにこれから解析対象となる EDU を格納し，以下のシフト，還元操作を適用する ことで，左から右に向かって EDU 系列を読み込み ながら上向きに修辞構造木を構築する.

シフトキュー $\mathrm{Q}$ の先頭の EDU を取り出し， ス タックに積む，

還元 スタック $\mathrm{S}$ の上 2 つの部分木を取り出しそれ らを併合することで 1 つの木を構築し，再度ス タック $\mathrm{S}$ に積む。

なお，還元操作を行った後，2つの部分木に対し核性ラベル，修辞関係ラベルを，異なる分類器を用い て推定する。つまり，木の構築，核性ラベル推定，修辞関係ラベル推定は独立に行う2) 。核性ラベルは N-S，S-N，N-N の 3 種のいずれか，修辞関係ラベル は Elaboration，Listなど 18 種のいずれかである. そ れぞれの推定は以下の順伝播型ニューラルネット ワーク $\mathrm{FFN}_{\mathrm{act}}, \mathrm{FFN}_{\mathrm{nuc}}, \mathrm{FFN}_{\mathrm{rel}}$ を用いて行う.

$
s *=\mathrm{FFN}^{2}\left(\operatorname{Concat}\left(\mathbf{u}_{\mathrm{s}_{0}}, \mathbf{u}_{\mathrm{s}_{1}}, \mathbf{u}_{\mathrm{q}_{0}}, \mathbf{u}_{\mathrm{org}}\right)\right)
$

2） Guz ら [3], Wang ら [2] は，木の構築と核性ラベル推定は同時に行ったほうが良いと報告しているが，我々の実験では独立に行ったほうが性能が良かった。
ここで， $\mathbf{u}_{\mathrm{s}_{0}}, \mathbf{u}_{\mathrm{s}_{1}}$ はそれぞれ $\mathrm{S}$ の上 2 つの部分木が 支配するスパンのベクトル表現， $\mathbf{u}_{\mathrm{q}_{0}}$ は $\mathrm{Q}$ の先頭の EDU のベクトル表現， $\mathbf{u}_{\text {org }}$ は， $\mathrm{S}$ の上 2 つのスパン が同じ段落/文に存在するか，隣接する段落/文に存在するか， $\mathrm{S}$ の一番上のスパンと $\mathrm{Q}$ の先頭の $\mathrm{EDU}$ が同じ段落/文に存在するか，それぞれのスパンが文書/段落/文の先頭/木尾であるかを 2 值ベクトルとし て表現したものである.

## 2.3 下向き解析法

下向き解析器として Kobayashi ら [4] の再帰的ス パン分割法を用いた解析器を採用する.この解析器は，文書全体をあらわすスパンから始め貪欲に 2 分割していき，分割したスパン間のラベルを推定 することで下向きに修辞構造木を構築する。なお， Kobayashi らの手法は文書-段落，段落-文，文-EDU という 3 つの階層で独立に解析を行った後それらを 統合することで木を構築するが，上向き解析器と近 い状態で比較するため, 本稿では，階層化は行わず 上向き解析器と同様にスパンがどの階層に存在する かを 2 值べクトルとして表現して利用する. $i$ 番目 から $j$ 番目の EDU からなるスパンを $k$ 番目の EDU で分割するスコアは以下の式で定義される.

$
\begin{aligned}
s_{\text {split }}(i, j, k)= & \mathbf{h}_{i: k} \mathbf{W} \mathbf{h}_{k+1: j}+\mathbf{v}_{\text {left }} \mathbf{h}_{i: k}+\mathbf{v}_{\text {right }} \mathbf{h}_{k+1: j} \\
& +\mathbf{v}_{\text {org }} \mathbf{h}_{\text {org }}
\end{aligned}
$

ここで， $\mathbf{W}$ は重み行列， $\mathbf{v}_{\text {left }}, \mathbf{v}_{\text {right }} \mathbf{v}_{\text {org }}$ は重みベクト ル， $\mathbf{h}_{i: k}, \mathbf{h}_{k+1: j}, \mathbf{h}_{\text {org }}$ は以下の式で定義される.

$
\begin{aligned}
\mathbf{h}_{i: k} & =\mathrm{FFN}_{\text {left }}\left(\mathbf{u}_{i: k}\right), \\
\mathbf{h}_{k+1: j} & =\mathrm{FFN}_{\text {right }}\left(\mathbf{u}_{k+1: j}\right), \\
\mathbf{h}_{\text {org }} & =\mathrm{FFN}_{\text {org }}\left(\mathbf{u}_{\text {org }}\right),
\end{aligned}
$

ここで, $\mathbf{h}_{\mathrm{org}}$ は上向き解析と同様, 左右のスパンが 同じ段落/文に存在するか, 文/段落の開始か終了な どを表す 2 値ベクトルである. そして，以下の式で スパンの分割を決定する。

$
\hat{k}=\underset{i \leq k<j}{\operatorname{argmax}} s_{\text {split }}(i, j, k)
$

分割と同様に，スパンのラベルを推定するスコア は以下の式で定義される。

$
\begin{aligned}
s_{\text {label }}(i, j, \hat{k}, \ell)= & \mathbf{h}_{i: \hat{k}} \mathbf{W}^{\ell} \mathbf{h}_{\hat{k}+1: j}+\mathbf{v}_{\text {left }}^{\ell} \mathbf{h}_{i: \hat{k}}+\mathbf{v}_{\text {right }}^{\ell} \mathbf{h}_{\hat{k}+1: j} \\
& +\mathbf{v}_{\text {org }}^{\ell} \mathbf{h}_{\text {org }},
\end{aligned}
$

ここで， $\mathbf{W}^{\ell}$ は特定のラベル $\ell$ に対応する重み行列， $\mathbf{v}_{\text {left }}^{\ell}, \mathbf{v}_{\text {right }}^{\ell}, \mathbf{v}_{\text {org }}^{\ell}$ はそれぞれ $\ell$ 対応する重みべクト

ルである. そして，以下の式を最大にするラベル $\hat{\ell}$ を， $\hat{k}$ で分割した 2 つのスパンに対するラベルと する．上向き解析器と同様，核性推定時は， N-S, S-N，N-N のいずれか，修辞関係推定時には 18 種の ラベルのいずれかを与える.

$
\hat{\ell}=\underset{\ell \in \mathscr{L}}{\operatorname{argmax}} s_{\text {label }}(i, j, \hat{k}, \ell) .
$

## 3 事前学習済み言語モデル

本稿ではスパンのベクトル表現を得るために，以下に説明するトランスフォーマに基づく 5 種の事前学習済み言語モデルを試し，性能を比較する。

BERT[10] はランダムにマスクされたトークンを 前後の文脈から推定する Masked Language Model (MLM) と 2 つの文が連続しているかどうかを推定 する Next Sentence Prediction (NSP) の 2 つの目的関数 により学習される双方向型の言語モデルであり，学習には13GB のテキストが用いられる。

RoBERTa[11] は BERT を MLM のみで，より大きな テキスト (160GB)を用いて長時間学習することでさ らに性能を向上させた言語モデルである.

XLNet[8] は単方向言語モデルであるが，attention の マスクを改善し擬似的に語順を入れ替え，双方向言語モデルと同様に前後の文脈を考慮できる Permuted Language Model (PLM) を目的関数としている.

SpanBERT[9] は BERT と同じデータセットで学習 されるが，MLM のみを学習の目的関数とし，マス クする単位を個々のトークンではなく連続するトー クン (スパン)へと変更している.

DeBERTa[12] は各トークンの埋め込みとその位置情報の埋め込みの関係をより強く学習するために Distangled attention を導入した。さらに，SpanBERT と同様，マスクの単位は個々のトークンではなく連続したトークンである. DeBERTa の学習に用いる コーパスは RoBERTa よりも小さく 78GB であるが 様々なベンチマークで RoBERTa を上回る性能を達成している.

## 4 実験設定

本稿では RST-DT[13] をべンチマークとして実験 を行った． RST-DT は Wall Street Journal から収集さ れており，学習データ 347 文書，テストデータ 38 文書から構成される。開発データは Heilman ら [14] に 従い学習データのうちの 40 文書とした。過去の研究にならい修辞構造ラベルには 18 種類からなる大分類を用い，修辞構造木は二分木へと事前に変換し て解析器の学習，評価を行う.

本稿では正解の EDU 分割を用いるため，先行研究 [15] に従い Standard Parseval を用いて評価する.木の構造のみを評価する Span，核性または修辞関係 ラベルも含めて評価する Nuc. および Rel., 双方のラ ベルも含めて評価する Full の計 4 通りの評価尺度に より評価する。

上向き，下向きの両解析法に使用した FFN は，活性化関数に GeLU を用い，隠れ状態の次元数が 512 次元の 2 層の MLP とした. 過学習を抑制するため に，FFN の dropout 率を 0.2，勾配クリッピングの値 を 1.0，L2 正則化の係数を 0.01 とした. ミニバッチ は文書ではなくスパン（上向き解析であればシフト または還元の操作，下向き解析であればあるスパン の分割）を単位に構成し，サイズは 5 とした。パラ メータは AdamW[16] で最適化し，言語モデルの学習率は 1e-5，それ以外に関しては 1e-5/2e-5 から開発 データを用いて選択した。また，学習率スケジュー ラを用いて，1 エポック目は学習率を 0 から増加さ せ，それ以降は学習率を 0 へと線形に減少させた。最大のエポック数は 20 としたが，エポック毎の開発データによる Full の評価値が最高値を 5 回連続で 下回った場合は早期に学習を打ち切った。

比較対象としては，RST-DT における最高性能を 達成した Zhang らの方法 [6] を採用する。この手法 は，エンコーダ・デコーダモデルに基づく下向き解析戦略，XLNetを利用したスパンのベクトル表現，敵対学習を用いたパラメタ最適化法を利用してお り，本稿で提案する手法よりもパラメタが多く複雑 な手法である。

## 5 実験結果と考察

実験結果を表 1 に示す。提案法を解析戦略で比較 すると Span の場合，下向きが上向きよりも良い傾向にあるが，その差はわずかである. Rel の場合，上向きが下向きよりも良い傾向にあり, Full で比較 するとやや上向きが良いがほぼ同等といって良い性能である.

事前学習済み言語モデルによる性能差を比較する と双方の解析戦略とも BERT が最も悪く，DeBERTa が最も良い。特に BERTを用いた場合，他の事前学習済み言語モデルを利用したときより 5 ポイン ト以上の性能劣化がみられる. Koto ら [5] も BERT

表 1 解析戦略および言語モデルの比較. 各指標で最も 高い数値を太字は示す. スコアは 3 回の試行の平均値で ある。

を利用すると GloVe[17] よりも性能が劣化するこ とを報告しており，この結果と合致する。 BERT は 13G のデータで学習されており, 今回用いた事前学習済み言語モデルのなかでは SpanBERT とともに 最も訓練データのサイズが小さい。事前学習済み 言語モデルの訓練に使ったデータのサイズと解析性能が相関するのであれば RoBERTa が最も良いは ずである.しかし，それよりも訓練データサイズ の小さいXLNet，DeBERTaの方が成績が良いこと， BERT と同じ学習データを用いているにもかかわら ず SpanBERT が RoBERTa よりもやや劣る程度の性能を達成していることからデータサイズだけでな く, 事前学習済み言語モデルの学習時の目的関数も 重要であることが分かる．XLNet は PLM という語順を意識した特殊な目的関数を採用しておりこれが 有効であったと考える。一方，SpanBEERT がデー タサイズが小さいにもかかわらず RoBERTa に匹敵 する性能を達成したこと，DeBERTaが最も良い性能 を達成したことを勘案すると MLM において，トー クンではなく連続したトークン，スパンをマスキン グすることが有効であると考える.

Zhang らの手法と比較すると，BERTを除くほぼ すべての手法が上回っており，DeBERTaを用いると Zhang らの手法よりも 2 ポイント近いゲインが得ら れている。つまり, 事前学習済み言語モデルを適切 に選択すれば現存する単純な手法であっても世界最高性能を達成できることを示している. Zhang らの 手法は我々の手法よりも高度な技術を採用している が，なぜこの程度の性能しかでていないのかは不明 である.

我々の手法をベースラインとして，我々の手法の

表 2 チェックポイント重み平均 (CWA) とパラメタを増 やした事前学習済み言語モデル (large) を導入した場合の 評価結果. スコアは 3 回の試行の平均值である.

上にパラメタ最適化の新しい技術，新しい探索アル ゴリズムなどを導入すると，高い解析性能を保ちな がら新しい技術の貢献を評価できるようになると考 える。

さらに，簡単な技術を用いてさらなる性能向上が 可能かを，チェックポイント重み平均 $[18,19]$ の導入，事前学習済み言語モデルのパラメタを増加させ ることで検証した．DeBERTaを利用した上向き，下向き解析器に双方の技術を組み込んだ結果を表 2 に 示す。それぞれの技術を導入すると Full で約 1 ポ イント程度の性能向上が得られるが，双方を同時に 導入すると 2.5 ポイント以上もの性能向上が得られ る. 最終的には上向きで Zhang らの手法より 4 ポイ ント，下向きで 4.5 ポイントの大きなゲインが得ら れている。つまり，我々の方法にはまだまだ改善の 余地が残っており，新しい技術でさらなる性能向上 が見达めることを示している.

## 6 まとめ

本稿では，技術の進歩を明らかにするためのべー スライン修辞構造解析器を構築するため, 既存の 上向き，下向き解析戦略に対し，5 種の事前学習済 み言語モデルを組み合わせることでどの程度の性能が得られるかを検証した。その結果，解析戦略 とは関係なく，RoBERTa，XLNet，DeBERTaを用い ると既存の解析器を上回る性能が得られた. 特に, SpanBERT が訓練データ量が少ないにも関わらず良 い性能を達成したこと，DeBERTaが最も良い成績で あったことから，MLM においてトークンではなく スパンのマスキングが有効であることが分かった. チェックポイント重み平均の導入や事前学習済み言語モデルのパラメタを増やすことでさらに性能が向上することも分かった.

## 謝辞

本研究の一部は JSPS 科研費 JP21H03505 の助成を

受けたものです.

## 参考文献

[1] W.C. Mann and S.A Thompson. Rhetorical structure theory: A theory of text organization. Technical Report ISI/RS-87-190, USC/ISI, 1987.

[2] Yizhong Wang, Sujian Li, and Houfeng Wang. A twostage parsing method for text-level discourse analysis. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 184-188, Vancouver, Canada, July 2017. Association for Computational Linguistics.

[3] Grigorii Guz and Giuseppe Carenini. Coreference for discourse parsing: A neural approach. In Proceedings of the First Workshop on Computational Approaches to Discourse, pp. 160-167, Online, November 2020. Association for Computational Linguistics.

[4] Naoki Kobayashi, Tsutomu Hirao, Hidetaka Kamigaito, Manabu Okumura, and Masaaki Nagata. Top-down rst parsing utilizing granularity levels in documents. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 34, No. 05, pp. 8099-8106, Apr. 2020.

[5] Fajri Koto, Jey Han Lau, and Timothy Baldwin. Top-down discourse parsing via sequence labelling. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, pp. 715-726, Online, April 2021. Association for Computational Linguistics.

[6] Longyin Zhang, Fang Kong, and Guodong Zhou. Adversarial learning for discourse rhetorical structure parsing. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 3946-3957, Online, August 2021. Association for Computational Linguistics.

[7] Ke Shi, Zhengyuan Liu, and Nancy F. Chen. An endto-end document-level neural discourse parser exploiting multi-granularity representations. 2020.

[8] Zhilin Yang, Zihang Dai, Yiming Yang, Jaime Carbonell, Russ R Salakhutdinov, and Quoc V Le. Xlnet: Generalized autoregressive pretraining for language understanding. In H. Wallach, H. Larochelle, A. Beygelzimer, F. d'AlchéBuc, E. Fox, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 32. Curran Associates, Inc., 2019.

[9] Mandar Joshi, Danqi Chen, Yinhan Liu, Daniel S. Weld, Luke Zettlemoyer, and Omer Levy. SpanBERT: Improving pre-training by representing and predicting spans. Transactions of the Association for Computational Linguistics, Vol. 8, pp. 64-77, 2020.

[10] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the
Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[11] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach. ArXiv, Vol. abs/1907.11692, , 2019.

[12] Pengcheng He, Xiaodong Liu, Jianfeng Gao, and Weizhu Chen. Deberta: Decoding-enhanced bert with disentangled attention. In International Conference on Learning Representations, 2021.

[13] Mary Ellen Okurowski Lynn Carlson, Daniel Marcu. RST Discourse Treebank. Philadelphia: Linguistic Data Consortium, 2002.

[14] Michael Heilman and Kenji Sagae. Fast rhetorical structure theory discourse parsing. CoRR, Vol. abs/1505.02425, , 2015.

[15] Mathieu Morey, Philippe Muller, and Nicholas Asher. How much progress have we made on RST discourse parsing? a replication study of recent results on the RST-DT. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 1319-1324, Copenhagen, Denmark, September 2017. Association for Computational Linguistics.

[16] Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization. In International Conference on Learning Representations, 2019.

[17] Jeffrey Pennington, Richard Socher, and Christopher D. Manning. Glove: Global vectors for word representation. In Empirical Methods in Natural Language Processing (EMNLP), pp. 1532-1543, 2014.

[18] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. V. Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc., 2017.

[19] Hugh Chen, Scott Lundberg, and Su-In Lee. Checkpoint ensembles: Ensemble methods from a single training process. 2017.


# 要約の生成過程を考慮した弱教師あり学習による 生成型要約のエラー検出

高塚雅人 1 小林 哲則 1 林 良彦 1
1 早稲田大学 理工学術院
takatsuka@pcl.cs.waseda.ac.jp

## 概要

近年，自動要約において，生成された要約に含ま れている事実関係のエラーの検出が大きな課題と なっている．既存研究では，人工的に要約のエラー を再現したデータセットを作成し，エラー検出モデ ルを学習する手法が提案されている。本研究では，文融合と文圧縮モデルを用いて，生成型要約モデル の文生成過程を模倣したデータセットの作成手法 と，フレーズレベルのエラー検出と文レベルの原文書の根拠箇所の同定をマルチタスクで学習する SumPhrase モデルを提案する. 複数のデータセット を用いた実験結果から，提案手法によるエラー検出 と根拠文同定の精度向上を確認した。

## 1 はじめに

近年, 生成型要約モデル $[1,2]$ の精度が向上し, より流暢で読みやすい文を生成することが可能に なったが，生成された要約に事実関係のエラーが含 まれており，原文書との整合性が取れていないとい う問題が指摘されている [3]. また，ROUGE[4] など の要約の評価指標として一般的に用いられている手法では，要約の事実関係の整合性を評価するのは困難であるため $[5,6]$, 要約の事実関係の整合性の自動評価手法が近年研究されている.

要約の事実関係の整合性の評価の既存手法とし て, 人工的に要約のエラーを再現したデータセット を作成する手法 $[7,8]$ が提案されている. このアプ ローチでは，人工的に生成したエラーと生成型要約 モデルが実際に生成するエラーの分布が似ているこ とが重要になるが，既存のエラーの生成手法では，生成型要約モデルが生成するエラーを再現できてい ないことが指摘されている [9]. そこで本研究では，人工的に生成するエラーを生成型要約モデルが生成 するエラーに近づけるために，生成型要約モデルの

図 1 提案手法の概要図

文生成過程を模倣した人工的なデータセット作成手法を提案する．また，整合性の評価のモデルを実際 に用いる上で，要約内のエラー箇所の提示と，原文書内の根拠箇所の提示は有益であると考えられるの で [7]，要約のフレーズレベルのエラー検出と原文書の文レベルの根拠箇所の同定をマルチタスク学習 として行うことを提案する。

提案手法の概要を図 1 亿示す. 要約のデータセッ トとして一般的に用いられている CNN-DailyMail データセット [10] では，参照要約のうち大部分が 単一の文の文圧縮と二文の文融合で生成されてい る [11].そこで本研究では，原文書から一文または 二文を選択し，一文の場合は文圧縮，二文の場合は 文融合モデルに入力して，要約の一部となりうる文 (以下，生成文と呼ぶ)を作成する。その後，生成文 に対する弱教師ラベリングを行うことで，人工的な データセットを構築することを提案する。また，弱教師ラベリングの際は，既存手法 [8] で提案された 生成文に対する依存関係アークレベルの事実関係 の整合性のラベリングを拡張し，フレーズレベルの ラベリングを行う。 さらに，原文書から選択した文 (文圧縮，文融合モデルへの入力文)を正解ラベルと して，原文書側の根拠箇所の学習を行う。

## 2 関連研究

要約の事実関係の整合性の評価の既存手法とし て，要約生成時のエラーを再現するように人工的に

エラーを生成し, 作成した弱教師ラベルを用いて モデルを学習する手法が提案されている. エラー の生成手法には, ルールベースのテキストの変換 $[7,12,13]$ や, 生成型モデルを用いた手法 $[8,9]$ など が提案されている. Kryscinski ら [7] は，エンティ ティの置換や文否定によってエラーを生成した。 Goyal ら [8] は, 生成型モデルの出力のうち, 事後確率が低い文 (beam search の下位の文) は, 事後確率が 高い文よりも品質が低く, エラーが出やすいと仮定 した. そのうえで，事後確率が低い文に新しく出現 した依存関係アークに対して，エラーであるとラべ リングを行った。

本研究では，生成型モデルを用いた手法 $[8,9]$ を 踏襲して人工的なデータを作成するが，パラフレー ズモデルのみを用いていた既存手法 [9] に加えて，文融合，文圧縮モデルを用いて，文を生成し，弱教師ラベリングを行う．また，文または依存関係アー ク単位で整合性の評価を行っていた既存研究とは異 なり，フレーズレベルの整合性の評価を提案する。要約の整合性の評価と原文書の根拠箇所のマルチタ スク学習は既存研究 [7] でも同様に行われていたが，単一のスパンしか学習できない既存手法とは異な り, 提案手法では, 文レベルのマルチラベル問題と して解くことで，原文書中の複数箇所を根拠として 学習することができる.

## 3 提案手法

本章では, 3.1 節で人工的に学習データを生成す る手法を説明し, 3.2 節でフレーズレベルの整合性 の学習と根拠文同定のマルチタスク学習を行うモデ ルを説明する。

## 3.1 人工的なデータセットの構築

提案手法では，フレーズレベルの要約の整合性の 弱教師ラベルと文レベルの原文書の根拠文ラベルを 作成する。提案手法では，まず，文選択において，生成型モデル (文融合, 文圧縮モデル)への入力とな る文を選択する. その後, 選択した文を生成型モデ ルに入力し, 生成文を作成する. この時, 生成型モ デルへの入力文を生成文の根拠箇所とみなし, 根拠文ラベルを作成する. また Goyal らの手法 [8] を用 いて，生成文に対し，依存関係アークレベルで事実関係の整合性の弱教師のラベルを付与する. 既存研究では，このラベルを用いて，アークレベルで整合性の評価を行っていたが，本研究では，より広い文脈を明示的に利用できるフレーズレベルの整合性 の評価を行うために，アークレベルのラベルからフ レーズレベルのラベルを構成し，学習することを提案する.

文選択

文選択では, $\mathrm{n}$ 文からなる原文書 $D=\left[s_{1}, s_{2}, \ldots, s_{n}\right]$ から生成型モデルへの入力文を選択する. 具体的に は，CNN/DM データセットを基にした文融合のデー タセット [14] と文圧縮のデータセット [15]を使用 した. 各データセットは参照要約文に対して最も ROUGE スコアが高い原文書の文を選択する (文圧縮 の場合は一文，文融合の場合は二文)ことで作成さ れている. また，原文書から選択した文を根拠文と して，原文書の各文に根拠文ラベルを振る。

## 依存関係アークレベルのラベリング

文選択において選択した文を各モデルに入力し，生成文を作成する (文融合モデルと文圧縮モデルの 詳しい設定は後述する). その後, 生成文に対して,依存関係アークレベルの整合性のラベリングを行 う。まず，CoreNLP[16] を用いて，生成文に対する 依存構造木を得る.

文融合モデルの生成文の依存関係アークに対して は， Goyal らの手法 [8] を用いて，ラベリングを行 う. Goyal らの手法では, 生成型モデルの出力のう ち, 事後確率が低い文 (beam search の下位の文) は,事後確率が高い文 (beam search の上位の文)よりも 事実関係のエラーが出やすく，そのような文に新し く出現した情報は，エラーである可能性が高いと仮定し，inconsistent ラベルを振る. 同様に，事後確率 が低い文のアークに対して，入力文や参照要約に同一のアークが存在する場合，そのアークは大力文に よって含意されるとして consistent ラベルを振る.

文圧縮では，要約の文法性と整合性を維持したま ま，文中の重要でない節を取り除くことが可能であ り，事実関係のエラーが発生しづらいと考えられ る. そこで本研究では, 文圧縮モデルの生成文の依存関係アークに対して，入力文や参照要約に同一 のアークが存在する場合，そのアークは入力文に よって含意されるとして consistent ラベルのみを作成した.

## フレーズレベルのラベリング

次に，作成したアークレベルの事実の整合性のラ ベルからフレーズレベルのラベルを作成する。ま ず，生成文の依存構造木に基づいて，ルールベース でフレーズを作成する．具体的には，各アークの依

図 2 提案モデルの概要図: 緑枠が根拠文同定，青枠がフ レーズ内の事実の整合性，赤枠がフレーズ間の事実の整合性を学習する部分である

存関係ラベルに基づいて，その係り元と係り先の単語をマージするかを決定し，フレーズを作成する。 その後，各アークの整合性のラベルに対して，アー クの係り元と係り先の単語が同じフレーズに存在す る場合はフレーズ内ラベルとして，別のフレーズに 存在する場合はフレーズ間ラベルとしてフレーズレ ベルの整合性のラベルを作成する．フレーズ内/間 に複数のアークレベルのラベルが存在する場合，一 つでも inconsistent ラベルがある場合はフレーズレ ベルを inconsistent ラベルとし, 全てのアークラベル が consistent ラベルの場合のみ，フレーズレベルを consistent ラベルとした.

追加データ

追加のデータとして，既存研究 [9] で作成された パラフレーズモデルを利用したデータを用いた. 本研究では，他のデータと同様に，アークレベルの ラベルをフレーズレベルのラベルに変換して利用 した. また, consistent ラベルのフレーズの表現を 増強するため, 参照要約文の各フレーズに対して, consistent ラベルを振ったデータを追加した.

## 3.2 提案モデル (SumPhrase)

図 2 に提案する事実関係の整合性の評価モデル (SumPhrase) を示す. モデルは, 原文書 $D$ と生成文 $h$ を入力とし，フレーズレベルの事実関係の整合性 のラベル $y^{e}$ と文レベルの根拠文ラベル $y^{s}$ を学習 する. まず，原文書と生成文の間に特殊トークン [CLS] で挟んで結合する．結合した文章を事前学習済みの encoder に入力し，文脈を考慮した各トーク ンのベクトルと生成文の表現を表す [CLS]トークン
の出力を得る. その後, 各フレーズの表現と原文書 の各文の表現を span attention[17]を用いて計算する.計算したフレーズの表現 $h^{p}$ を用いて，フレーズ内 とフレーズ間の事実の整合性の確率を計算する．フ レーズ内の場合は，各フレーズの表現 $h_{i}^{p}$ をそのま ま全結合層に通して，フレーズ内にエラーがある確率 $p\left(y_{i}^{e} \mid p_{i}\right)$ を計算する.

$
p\left(y_{i}^{e} \mid p_{i}\right)=\operatorname{softmax}\left(\mathrm{FFN}_{\text {intra }}\left(h_{i}^{p}\right)\right)
$

フレーズ間の場合は，二つのフレーズの表現 $h_{i}^{p}, h_{j}^{p}$ を結合して，全結合層に入力し，フレーズ間にエ ラーがある確率 $p\left(y_{i j}^{e} \mid p_{i}, p_{j}\right)$ を計算する.

$
p\left(y_{i j}^{e} \mid p_{i}, p_{j}\right)=\operatorname{softmax}\left(\mathrm{FFN}_{\text {inter }}\left(\left[h_{i}^{p} ; h_{j}^{p}\right]\right)\right)
$

根拠文の同定は, 原文書の各文の表現 $h_{i}^{s}$ と [CLS] トークンの表現 $h^{c l s}$ と結合して, 各文が根拠文であ る確率 $p\left(y_{i}^{s} \mid s_{i}\right)$ を計算する.

$
p\left(y_{i}^{s} \mid s_{i}\right)=\operatorname{softmax}\left(\operatorname{FFN}_{s}\left(\left[h_{i}^{s} ; h^{c l s}\right]\right)\right)
$

最終的に各出力から binary cross-entropy loss を計算し，モデルの目的関数とする.

$
\text { Loss }=\operatorname{Loss}_{i n t r a}+\operatorname{Loss}_{i n t e r}+\alpha * \operatorname{Loss}_{s}
$

Loss $_{\text {intra }}$ がフレーズ内の事実の整合性の目的関数, Loss $_{i n t e r}$ がフレーズ間の事実の整合性の目的関数, $\operatorname{Loss}_{s}$ が根拠文同定の目的関数である。 $\alpha$ は，根拠文同定タスクの目的関数の重みを決定するハイパー パラメータである.

## 4 実験

## 4.1 実験設定

要約のベンチマークのデータセットとして用い られている CNN/DailyMail データセット [10]を用 いて実験を行った。 3.1 節の手法を用いて人工的な データセットを作成し，モデルを学習した. 文融合 モデルは，Trans-LINKING[18] を，文圧縮モデルは， CUPS[15] を用いた.それぞれ筆者らが公開してい る事前学習済みモデルを用いた。作成したデータ セットの統計情報を AppendixA に示す.

テストデータには，人手でアノテーションされ ている K2020[7] と Reranking Summary task[5] を用い た. K2020 のテストデータには，ポジティブサンプ ルが 441 個，ネガティブサンプルが 62 個含まれて いる. Reranking Summary task のデータセットには,原文書と 2 つの要約文のペアが 373 ペア含まれてい
表 1 要約の整合性評価の実験結果

る. 2 つ要約文は似たような表現でありながら、一方はポジティブサンプルで，もう一方はネガティ ブサンプルとなっている．評価指標として，K2020 には balanced accuracy (BA) と macro F1 を，Reranking Summary task にはモデルがポジティブサンプルを正 しく選択できた割合を用いた。

提案モデルである SumPhrase の encoder には，事前学習済みの Electra-base[19]を用いた.

## ベースライン

人工的に弱教師ラベルを作成し, 要約の事実関係 の整合性の評価モデルを学習する手法を比較対象 として用いた. FactCC[7], SumFC[12], FactAdv[20] では，ルールベースのテキスト変換でネガティブサ ンプルを作成し, 文レベルのラベルで学習を行う。 Electra-DAE[9] では, 本研究でも追加データとして 用いた，パラフレーズモデルを利用したデータセッ トで学習を行う. Electra-DAE は, 文レベルではな く，依存関係アークレベルのラベルで学習を行う。

## 4.2 実験結果

実験結果を表 1 に示す. 表中の Electra-DAE (ours) は，提案したデータセットにおいて，アークレベル のラベルで学習した場合の結果を示す. 表 1 から，既存の人工的なデータセットで学習した手法と比較 して，提案したデータセットで学習したモデルは， アークレベルとフレーズレベルの両方で精度が向上 しており，提案手法の有効性が確認された. 文融合 や文圧縮時のデータを追加することでより多様な要約のエラーを学習することが可能になったと考えら れる。また，アークレベルからフレーズレベルにラ ベルを拡張することで, Reranking summary task 以外 の精度が向上した.このことから，明示的に広い文脈を用いることができるフレーズレベルの整合性の 判定の有効性が確認された. さらに，根拠文同定の
タスクを追加することで，どちらのデータセットで も精度向上が見られた。

## 4.3 根拠文同定の精度

補助タスクとして追加した根拠文同定タスクの 精度を確認するために, Reranking Summary task の データを用いた。ベースラインとして，tf-idxを用 いて根拠文を判定するSumFC[12] と根拠スパンを予測する FactCCX[7]を用いた. 評価指標には balanced accuracy (BA) と macro F1を用いた。実験結果を表 2 に示す.

表 2 根拠同定の実験結果

表 2 から，提案モデルがベースラインよりも高い 精度で根拠文を同定できていることがわかる。ま た，根拠文の同定では提案モデルとベースラインの 差は小さいが (BA で SumFC と 2.1\%の差), reranking の精度の差が非常に大きくなっている (SumFC と 7.3\%の差).このことから, ベースラインでは, 要約文に対応する原文書の文を正しく推定できているの にもかかわらず，要約の事実関係の整合性の評価が 正しくできていないことがわかる.

## 5 まとめ

要約の事実関係の整合性の評価のための人工的な データセットの構築手法と，フレーズレベルの整合性の学習と原文書の根拠文同定のマルチタスク学習 を提案した. 文融合，文圧縮モデルを用いて人工的 に生成したフレーズレベルのラベルを用いること で，弱教師ラベルを用いた既存手法を上回る精度を 達成した. また，提案手法である文レベルの根拠箇所の同定によって，他の既存手法よりも高い精度で 根拠箇所を予測することが可能となった. 今後の課題として，今回提案した人工的なエラーの作成手法 を，対照学習を用いた要約生成手法 [21] に適応し， より原文書に忠実な要約生成を行うことなどが考え られる。

## 参考文献

[1] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy,

Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. In Proceedings of the 58th ACL, 2020.

[2] Jingqing Zhang, Yao Zhao, Mohammad Saleh, and Peter Liu. Pegasus: Pre-training with extracted gap-sentences for abstractive summarization. In International Conference on Machine Learning. PMLR, 2020.

[3] Ziqiang Cao, Furu Wei, Wenjie Li, and Sujian Li. Faithful to the original: Fact aware neural abstractive summarization. In Proceedings of the AAAI, 2018.

[4] Chin-Yew Lin. Rouge: A package for auto- matic evaluation of summaries. In Text summarization branches out: ACL workshop, 2004.

[5] Tobias Falke, Leonardo F. R. Ribeiro, Prasetya Ajie Utama, Ido Dagan, and Iryna Gurevych. Ranking generated summaries by correctness: An interesting but challenging application for natural language inference. In Proceedings of the 57th ACL, July 2019.

[6] Wojciech Kryscinski, Nitish Shirish Keskar, Bryan McCann, Caiming Xiong, and Richard Socher. Neural text summarization: A critical evaluation. In Proceedings of the EMNLP-IJCNLP, 2019.

[7] Wojciech Kryscinski, Bryan McCann, Caiming Xiong, and Richard Socher. Evaluating the factual consistency of abstractive text summarization. In Proceedings of the EMNLP, 2020.

[8] Tanya Goyal and Greg Durrett. Evaluating factuality in generation with dependency-level entailment. In Findings of the EMNLP, 2020.

[9] Tanya Goyal and Greg Durrett. Annotating and modeling fine-grained factuality in summarization. In Proceedings of the NAACL, 2021.

[10] Ramesh Nallapati, Bowen Zhou, Cicero dos Santos, Çağlar Gulçehre, and Bing Xiang. Abstractive text summarization using sequence-to-sequence RNNs and beyond. In Proceedings of The 20th SIGNLL, 2016.

[11] Logan Lebanoff, Kaiqiang Song, Franck Dernoncourt, Doo Soon Kim, Seokhwan Kim, Walter Chang, and Fei Liu. Scoring sentence singletons and pairs for abstractive summarization. In Proceedings of the 57th ACL, 2019.

[12] Sen Zhang, Jianwei Niu, and Chuyuan Wei. Fine-grained factual consistency assessment for abstractive summarization models. In Proceedings of the EMNLP, 2021.

[13] Meng Cao, Yue Dong, Jiapeng Wu, and Jackie Chi Kit Cheung. Factual error correction for abstractive summarization models. In Proceedings of the EMNLP, 2020.

[14] Logan Lebanoff, John Muchovej, Franck Dernoncourt, Doo Soon Kim, Lidan Wang, Walter Chang, and Fei Liu. Understanding points of correspondence between sentences for abstractive summarization. In Proceedings of the ACL: Student Research Workshop, 2020.

[15] Shrey Desai, Jiacheng Xu, and Greg Durrett. Compressive summarization with plausibility and salience modeling. In Proceedings of the EMNLP, 2020.

[16] Christopher Manning, Mihai Surdeanu, John Bauer, Jenny Finkel, Steven Bethard, and David McClosky. The Stanford CoreNLP natural language processing toolkit. In Proceedings of 52nd ACL: System Demonstrations, 2014.
[17] Kenton Lee, Luheng He, Mike Lewis, and Luke Zettlemoyer. End-to-end neural coreference resolution. In Proceedings of the EMNLP, 2017.

[18] Logan Lebanoff, Franck Dernoncourt, Doo Soon Kim, Lidan Wang, Walter Chang, and Fei Liu. Learning to fuse sentences with transformers for summarization. In Proceedings of the EMNLP, 2020.

[19] Kevin Clark, Minh-Thang Luong, Quoc V. Le, and Christopher D. Manning. ELECTRA: Pre-training text encoders as discriminators rather than generators. In ICLR, 2020.

[20] Zhiyuan Zeng, Jiaze Chen, Weiran Xu, and Lei Li. Gradient-based adversarial factual consistency evaluation for abstractive summarization. In Proceedings of the EMNLP, 2021.

[21] Shuyang Cao and Lu Wang. CLIFF: Contrastive learning for improving faithfulness and factuality in abstractive summarization. In Proceedings of the EMNLP, 2021.

## A データセットの統計情報

作成したデータセットの統計情報を表 3 に示す.表中の fusion は文融合, comp は文圧縮, para はパ ラフレーズ, ref は参照要約のデータセットを示す. このデータセットにはフレーズレベルの consistent ラベルが 2,021,592 個，inconsistent ラベルが 191,553 個含まれている. また根拠文同定のラベルは根拠文 ラベルが 186,028 個，それ以外が $3,389,275$ 個含まれ ている.

表 3 作成したデータセット

## B 詳細分析

## 各データセットの貢献度の検証

作成した各データセットがどの程度精度に貢献し ているかを確認するために，文融合のデータセット をベースラインとして, 表 3 の各データセットを追加していき，精度の変化を調べた. モデルには，提案モデルである SumPhrase を用いて，マルチタスク 学習は行わなかった。実駼結果を表 4 に示す.

表 4 から，文融合のみのデータを用いた場合で も，K2020 の baranced accuracy $と$ reranking summary task において, 既存の人工的なデータセットで学習 した手法を上回る精度を達成している。また，文圧縮，パラフレーズ，参照要約のデータを追加するこ とで，参照要約を追加したときの reranking summary task 以外の全ての評価指標が向上しており，提案手法の有効性が確認された. さらに，参照要約のデー タを追加した際に，K2020における balanced accuracy と $\mathrm{F}$ 値が大きく向上した. このことから， consistent ラベルのフレーズの表現を拡充することも重要であ ることが分かる.

表 4 各データセットの精度への影響

## span attention の影響

span attention の影響を調査するために，span attentionの代わりに各トークンのベクトルの平均值をフレーズレベルの表現として用いた場合の結果を示す. 実験結果を表 5 に示す. 表 5 から，span attentionを用いることによって，フレーズ内の意味的に重要な語を重視することができるように なり，各トークンの平均を用いるよりも， balanced accuracy, $\mathrm{F}$ 值共に向上した.

表 5 span attention の影響

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 曖昧性を含む翻訳に着目した マルチモーダル機械翻訳データセットの構築方法の検討

Yihang Li 清水周一郎 Chenhui Chu 黒橋禎夫
京都大学大学院情報学研究科
\{liyh, sshimizu, chu, kuro\}@nlp.ist.i.kyoto-u.ac.jp

## 概要

翻訳には曖昧性，すなわち原言語の文に対して複数の翻訳が考えられる場合がある．既存のマルチ モーダル機械翻訳データセットでは，翻訳の曖昧性 を解消するために映像が役立つかどうかは明らかに なっていない，そこで本研究では，曖昧性を含む翻訳に着目したマルチモーダル機械翻訳データセット の構築に取り組む.このデータセットは，(1) 原言語の文が曖昧であること (2) 映像が翻訳の曖昧性解消に役立つことの二つの条件を満たす。一つ目の条件を満たすために異なる翻訳をもつ原言語の文を集 め，さらに目的言語の文の意味に基づいて選定を 行った.二二目の条件を満たすために人手による確認を行った。

## 1 はじめに

マルチモーダル機械翻訳 [1] は，テキスト以外の モダリティを補助的に用いる機械翻訳である．翻訳 には曖昧性，すなわち原言語の文に対して複数の意味の翻訳が考えられる場合があるが，テキスト以外 のモダリティを活用することによってそうした曖昧性の解消が期待できる.

これまでのマルチモーダル機械翻訳の研究では，主に画像が翻訳の曖昧性を保証するための補助的 な情報として用いられてきた $[2,3]$. その発展と して，近年，映像を用いた機械翻訳 (video-guided machine translation; VMT) の研究が盛んになりつつあ る $[4,5]$. 映像は画像では捉えられない人・物の動 きや時間経過といった情報を含むため，翻訳の曖昧性の解消により効果的であると期待される.

既存の VMT データセットは，原言語の文の曖昧性に着目しているとは言えない．VMT のデータ セットの構築方法として，キャプション (映像内容 の描写) にもとづく方法 [4] と，字幕 (映像内の話者
の発話の書き起こし)にもとづく方法 [6]がある．現実に VMT を利用する状況，例えば映画の字幕翻訳 などの場合，テキストは必ずしも映像の内容を説明 している訳ではなく，映像はテキストで伝えられる 内容とは別の補助的な情報として用いられる。 その ため，キャプションにもとづくデータセットは実用的な観点から問題がある。また，キャプションには 曖昧性が存在しないため，キャプションの翻訳は必 ずしも視覚情報を必要としないという報告もある [7]. 字幕にもとづくデータセットでも，曖昧性には 特に注目せず，一般的な字幕を扱ったものしか存在 しない.

本研究では, 原言語の文が曖昧性を含む日英 VMT データセットの構築に取り組んでいる。このデータ セットは，(1) 原言語の文が曖昧であること (2) 映像 が翻訳の曖昧性解消に役立つことの二つの条件を満 たす.

一つめの条件を満たすため，まず原言語 1 文に対 して翻訳が複数存在するものを集める。ここで，原言語 1 文と複数の翻訳文の集まりを対訳セットと定義する。次に，収集した対訳セットから目的言語の 文間の意味が違うもののみを選定する。二つめの条件を満たすためには人手による確認を行う。

選定された対訳セットの例を図 1 に示す。「放 せ!」という日本語に対し，“Let me go!”と “Drop it!”の 2 通りの翻訳があり，テキストだけからはど ちらが正しい翻訳か判断できない。映像を見ると，上の例では人が人を引っ張っており，下の例ではナ イフを持った男が争っていることから，正しい翻訳 を決定できる。

本稿では，曖昧性に着目した VMT データセット の構築手順を説明する。さらに，データセットの一部について，データの分析及び予備実験の結果を報告する.

図 1 選定された対訳セットの例.「放せ！」という日本語に対し，“Let me go!”と “Drop it!”の 2 通りの翻訳の可能性が ある．映像を見ると，上の例では人が人を引っ張っており，下の例ではナイフを持った男が争っていることから，対応す る翻訳を決定できる。

## 2 関連研究

## 2.1 マルチモーダル機械翻訳

マルチモーダル機械翻訳では，異なるモダリティ の情報が入力データの異なる見方を与えると仮定して，複数のモダリティの情報を用いて翻訳を 行う [8]. 先行研究の多くは画像を用いた機械翻訳 $[1,9,10]$ である. 映像の有用性は特定のデータ セットやタスクで議論されており [11,7], 類似して いない言語対では文法的な特徴を捉えたり翻訳の曖昧性を解消したりするのに映像が役立つ可能性が ある [8].

## 2.2 VMT データセット

VMT のデータセットとして VaTeX [4] と How2 [6] がある. VaTeX は既存の映像データセットに対し英語と中国語でキャプションを付けたデータセット である. VaTeX はキャプションのデータセットであ り，VMT を用いる現実的なシナリオを考えにくい. How2 は YouTube から集められた教育ビデオに，そ の英語字幕と対応するポルトガルとの翻訳，及び映像の英語の要約が付けられたデータセットである. いずれのコーパスもテキストに曖昧性がないため，翻訳に必ずしも視覚情報を必要としない点が本研究 と異なる。

## 3 データセット構築手順

原言語に曖昧性を含む日英の VMT データセッ トを構築する手順は以下の通りである。まず，既存の字幕データセットである OpenSubtitles [12] の 日英の字幕から対訳セットを集める。さらに, Sentence-BERT によって対訳セット内の複数の英語訳の意味が異なるかどうかを判定し, 対訳セット
の選定を行う．次に，字幕に対応する映画やテレビ の映像を切り取る. 最後に，人手で字幕と映像を チェックし，字幕に曖昧性があり映像によりそれが 解消できることを確認する.

## 3.1 対訳セットの収集

OpenSubtitles は映画やテレビのデータから収集さ れた大規模な字幕のデータセットで，計 60 言語に わたる 26 億文の字幕がある. 本研究ではこのうち $1,213,468$ 文からなる日英の対訳データを用いる.日本語を原言語として選んだのは，日本語がプロド ロップ言語であり，曖昧性を原言語に含むデータ セットを作成する上で適当であると考えたためであ る.また, OpenSubtitles では各映像に対し $\mathrm{IMDb}^{1)}$ の ID が付けられており，映像の情報を得ることが できる. 字幕もこの ID に基づいて分類されている.翻訳の曖昧性を確保するために，原言語 1 文と複数 の翻訳文の集まりである対訳セットごとに字幕をま とめる.

## 3.2 目的言語の文間の類似度を利用した対訳セットの選定

複数の目的言語の翻訳が存在するだけでは，原言語の文が曖昧性を含むことにはならない。それ らが単に表現として違っているだけで，意味的に は同じである可能性があるからである. そこで，各対訳セット内の目的言語の文同士の類似度を Sentence-BERT [13] を用いて計算し, 類似度の閾値 を設定して，閾值よりも類似度が小さい (すなわち 意味の異なりが大きい) 対訳セットのみを残すこと で曖昧な文を含む対訳セットの選定を行う。ここ で， 1 対訳セット内に 3 文以上の目的言語の文が含 まれる場合には，全ての文の組み合わせについて類似度を計算し，最も類似度の小さいものをその対訳

図 2 字幕のアライメントの手順. 映像に字幕がついて いる場合 (上側) とついていない場合 (下側) で手順を分け る.

セットの目的言語文間の類似度として用いる.

## 3.3 字幕と映像のアライメント

OpenSubtitles の字幕にはその表示時刻の始まりと 終わりを示すタイムスタンプがついているが，それ らは必ずしも映像のタイムスタンプと一致している わけではない. OpenSubtitles で用いられた映像と本研究で用いた映像でフレームレートに差があった り，定数時間のずれが生じていたりする場合がある からである．そこで，OpenSubtitles の字幕と使用す る映像の間でタイムスタンプのアライメントをとる 必要がある. なお, OpenSubtitles の字幕では原言語 と目的言語それぞれにタイムスタンプがついている が，それらは概ね一致しているため，例外は手作業 で取り除いて英語のタイムスタンプを OpenSubtitles のタイムスタンプとする。

アライメントの手順を図 2 に示す. アライメ ントには Alass ${ }^{2}$ (Automatic Language-Agnostic Subtitle Synchronization) というツールを用いる. 映像に付け られた字幕には，容易に字幕を抽出できる場合と，字幕がついていない (但し OpenSubtitles には対応す る字幕がある) 場合がある。なお，映像に字幕が埋 め込まれているような映像は使用しない. 字幕が抽出できる場合には, FFmpeg3) を用いて映像から字幕 を抽出し， Alass を用いて OpenSubtitles の字幕との アライメントを取る. このアライメントはかなり正確に行うことができる (Alass の論文内の実験では 100\% 正確であったと主張されている). 字幕がつい ていない場合には， Alass の音声区間検出をべース にした手法で映像と OpenSubtitles の字幕のアライメ ントを取ることで字幕を得る. この場合，抽出され た字幕のタイムスタンプは必ずしも正確でないた

3) https://ffmpeg.org/

図 3 対訳セットを含まれる目的言語の文数にもとづき分類した結果.

め，アライメントが正しくできているかどうかを人手で確認する.

## 3.4 映像の分割

字幕と映像のアライメントに基づき，映像を分割 する．各映像は字幕のタイムスタンプの区間の中央値の前後 5 秒間をとって 10 秒間とし， $25 \mathrm{fps}$ の mp4 ファイルとする．なお，集められた映像についた音声の多くは目的言語の英語であり，音声がついてい ると翻訳文が音声認識で得られることになってしま うため，映像から音声は取り除く。

## 4 データの分析及び予備実験

データセット構築手順において, 対訳セットの選定はデータセットの質に大きく関わる。本章では，収集・選定した対訳セットのデータの統計と予備実験結果を示す.

## 4.1 対訳セットの収集

対訳セットを，含まれる目的言語の数にもとづき 分類した結果を図 3 に示す. 全部で 35,023 の対訳 セットが得られた. 2 文のみ目的言語の文を含む対訳セットが最も多く, 対訳セット数で見ると全体の $59 \%$ ，文数では全体の $30 \%$ を占めていた. 3 文以上 の目的言語の文を含む対訳セットについては，2 文 のみのものに比べて曖昧性を含む対訳が含まれる割合は高かったが，文の長さが短いものが多く含まれ ていた.

## 4.2 対訳セットの選定のための人手評価 データセットの作成

対訳セットの選定のための目的言語の文間の類似度の閾値を設定するため，まず人手で 100 個の対訳 セットを選んで曖昧さの正解を与えた. 対訳セット の正解を与えるための手順は以下の通りである。(1)

図 4 Sentence-BERT のスコアによる対訳セットの選定の成功例と失敗例.

図 5 類似度の閾値を変化させたときの適合率，再現率，及びF1 スコア.

表 1 対訳セット選定の各段階における対訳セット数.確認した対訳セット 100 原言語の文が曖昧なもの 28 テキストのみから曖昧性を解消可能と 22 推測されたもの 映像を見て曖昧性が解消できると確認 12 されたもの

対訳セット内の全ての対訳を見て，原言語の文の意味に曖昧性があるかどうかを判断する。(2) 原言語 の文に曖昧性があると判断した場合，対訳セット内 の全ての対訳を見て，目的言語の複数の文が複数の 意味を持ち，映像があればその曖昧性が解消できる かどうかを映像なしで予測する。(3) 曖昧性が解消 できると予測した対訳セットについて，実際に映像 を見て，翻訳を一意に決定できるかどうかを判断 する。

各段階の対訳セット数を表 1 に示す. 最終的に 100 個のうち 12 個の対訳セットが，映像に基づいて 曖昧性を解消できる対訳を含んでいた。

## 4.3 目的言語の文間の類似度を利用した対訳セットの選定

Sentence-BERT で計算した文間の類似度のスコア の閾值を 0 から 1 まで 0.01 刻みで変化させ，曖昧性 を人手で判断した 28 個を正解としてどの程度正し く対訳セットを分類できるかどうか計算した. 閾値 を変化させたときの適合率，再現率，及び F1 スコ アを図 5 に示す. 図 5 を見ると，類似度が 0.2 の付近で F1 スコアが最も高くなっていることが分かる.

閾値を 0.2 に設定したときの，対訳セットの選定 の成功例と失敗例を図 4 に示す. 類似度が閾値より 小さく目的言語の文の意味が異なる場合，または閾値より大きく意味が同じ場合が成功であり，それ以外が失敗である。

今後，大規模な対訳セットの集まりに対し，この 閾値を利用して対訳セットの選定を行った上で，映像の曖昧性解消可能性の確認のためにクラウドソー シングを行って，曖昧性を含む翻訳に着目した大規模な VMT データセットを構築する予定である.

## 5 おわりに

本研究では，VMT における翻訳の曖昧性の問題 を指摘し，対訳セットの収集・選定によるデータ セットの構築方法を示した. 既存の字幕データセッ トをもとに，原言語の文に対して複数の翻訳が存在 する対訳セットを集め，文の類似度を利用して対訳 セットを選定することで，原言語の文の曖昧性を確保した. さらに，人手の確認により映像が翻訳の曖昧性解消に役立つことを確認した。本稿では，映像 が翻訳の曖昧性解消に役立つかどうかについての評価は小規模に人手で行ったが，今後これをクラウド ソーシングで行い，曖昧性を含む翻訳に着目した大規模な VMT データセットを構築する予定である.

謝辞 本研究は科研費\#19K20343 の助成を受けた ものである.

## 参考文献

[1] Lucia Specia, Stella Frank, Khalil Sima'an, and Desmond Elliott. A shared task on multimodal machine translation and crosslingual image description. In Proceedings of the First Conference on Machine Translation: Volume 2, Shared Task Papers, pp. 543-553, Berlin, Germany, August 2016. Association for Computational Linguistics.

[2] Desmond Elliott, Stella Frank, Khalil Sima' an, and Lucia Specia. Multi30K: Multilingual English-German image descriptions. In Proceedings of the 5th Workshop on Vision and Language, pp. 70-74, Berlin, Germany, August 2016. Association for Computational Linguistics.

[3] Yuting Zhao, Mamoru Komachi, Tomoyuki Kajiwara, and Chenhui Chu. Double attention-based multimodal neural machine translation with semantic image regions. In Proceedings of the 22nd Annual Conference of the European Association for Machine Translation, pp. 105-114, Lisboa, Portugal, November 2020. European Association for Machine Translation.

[4] Xin Wang, Jiawei Wu, Junkun Chen, Lei Li, Yuan-Fang Wang, and William Yang Wang. Vatex: A large-scale, high-quality multilingual dataset for video-and-language research. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pp. 4581-4591, 2019.

[5] Tosho Hirasawa, Zhishen Yang, Mamoru Komachi, and Naoaki Okazaki. Keyframe segmentation and positional encoding for video-guided machine translation challenge 2020. In The First Workshop on Advances in Language and Vision Research: Video-guided Machine Translation (VMT) Challenge, July 2020.

[6] Ramon Sanabria, Ozan Caglayan, Shruti Palaskar, Desmond Elliott, Loïc Barrault, Lucia Specia, and Florian Metze. How2: A large-scale dataset for multimodal language understanding. In NeurIPS, 2018.

[7] Ozan Caglayan, Pranava Madhyastha, Lucia Specia, and Loïc Barrault. Probing the need for visual context in multimodal machine translation. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4159-4170, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[8] Umut Sulubacak, Ozan Caglayan, Stig-Arne Grönroos, Aku Rouhe, Desmond Elliott, Lucia Specia, and Jörg Tiedemann. Multimodal machine translation through visuals and speech. Machine Translation, Vol. 34, No. 2, pp. 97-147, 2020.

[9] Desmond Elliott, Stella Frank, Loïc Barrault, Fethi Bougares, and Lucia Specia. Findings of the second shared task on multimodal machine translation and multilingual image description. In Proceedings of the Second Conference on Machine Translation, pp. 215-233, Copenhagen, Denmark, September 2017. Association for Computational Linguistics.

[10] Loïc Barrault, Fethi Bougares, Lucia Specia, Chiraag Lala, Desmond Elliott, and Stella Frank. Findings of the third shared task on multimodal machine translation. In Pro- ceedings of the Third Conference on Machine Translation: Shared Task Papers, pp. 304-323, Belgium, Brussels, October 2018. Association for Computational Linguistics.

[11] Desmond Elliott. Adversarial evaluation of multimodal machine translation. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 2974-2978, Brussels, Belgium, OctoberNovember 2018. Association for Computational Linguistics.

[12] Pierre Lison and Jörg Tiedemann. OpenSubtitles2016: Extracting large parallel corpora from movie and TV subtitles. In Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC'16), pp. 923-929, Portorož, Slovenia, May 2016. European Language Resources Association (ELRA).

[13] Nils Reimers and Iryna Gurevych. Sentence-BERT: Sentence embeddings using Siamese BERT-networks. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3982-3992, Hong Kong, China, November 2019. Association for Computational Linguistics.


# ViT-CLT: パッチ分割した文字画像から 偏旁冠脚を考慮した文書分類

津嶋 祐介 ${ }^{1}$ 青木 匠 ${ }^{2}$ 北田 俊輔 2 彌冨 仁 ${ }^{1,2}$
1 法政大学 理工学部 応用情報工学科
2 法政大学 理工学研究科 応用情報工学専攻
\{yusuke.tsushima.4z, takumi.aoki.4g, shunsuke.kitada.8y\}@stu.hosei.ac.jp
iyatomi@hosei.ac.jp

## 概要

日本語や中国語における自然言語処理では，漢字 の部首を考慮した文字単位による自然言語処理が 文書解析能力の向上に寄与している. 文字形状を 考慮するために，従来は convolutional neural network (CNN) を元にした文字符号化器および文書分類器 の end-to-end モデルが多く提案されている. 本研究では，漢字の偏や旁といった構成要素の関係性 を考慮した高性能な文書分類を実現するために，文字符号化器に Vision Transformer (ViT), 文書分類器に character-level Transformer (CLT) で構成された ViT-CLT を提案する. 我々の ViT-CLT は漢字の構成要素とその関係性を捉えるためにViTを用いて文字画像から文字の埋め込みを獲得し, 文書分類器では その文字埋め込みを使用して文書分類タスクを解け るよう学習を行う．評価実験では日本語のニュース 記事を用いたカテゴリ分類タスクにおいて，CNN を用いた従来の文字符号化器・文書分類器モデルと 比較し, ViT-CLT が $18 \%$ の予測性能の向上を確認し た. 更に ViT-CLT の文字符号化器における attention の可視化結果から, 従来モデルよりも漢字の構成要素を十分に考慮できていることを確認した.

## 1 はじめに

日本語や中国語といったアジア圏の言語に対する 自然言語処理において，その特徵的な文字形状を考慮することが文書解析能力の向上に繋がることが知 られている $[1,2]$. 日本語や中国語で主に使用され ている漢字の字体において，その部分をなす点画の 一定のまとまりは “構成要素”と呼ばれている [3]. この構成要素は偏や旁などの部首やその漢字自体の 場合もあるが，それらに限定されない点画のまとま

図 1: 提案モデル ViT-CLT の全体図: 入力文書を文字単位で画像化し，ViT を元にした文字符号化器 に入力できるようパッチ分割する. 文字符号化器に よって得られた文字埋め込みを更に character-level Transformer (CLT) を元にした文書分類器に入力し, [CLS]トークンを元に MLP で文書分類タスクを解 く end-to-end モデルである.

りも含まれている。このような文字の構成要素にお ける形状的特徴やその位置関係を捉えることで，自然言語処理モデルの表現力向上が期待できる [4].

文字形状を効果的に考慮するために，文字を画像 として深層学習モデルに入力して文字表現を学習 する手法が複数提案されている $[5,6,7,8,9]$. 先行研究の多くは，畳み込みニューラルネットワーク (convolutional neural network; CNN) からなる文字符号化器から文字形状を考慮した埋め込みを学習してい る.これらの手法は局所的な情報である漢字の偏旁冠脚といった構成要素の単体を考慮することができ る. 更にこうした埋め込みを利用した文書解析モデ ルは，高い性能を実現している $[4,8]$. しかしなが ら文字符号化器に CNN を利用したモデルは漢字の
各構成要素の形状的特徴を捉えることに成功する一方で, 文字構成要素間の位置関係の考慮に改良の余地が見受けられた [9].

入力情報の局所的な特徴に加えて大局的な特徴の 関係性を考慮できる Transformer [10]を画像認識夕 スクに応用した Vision Transformer (ViT) [11] は，一般的な画像認識タスクで CNNを超える予測性能が 報告され始めている. ViT は入力画像を複数のパッ チに分割し Transformerに入力することで，CNNよ りも大局的な情報を学習可能であり，位置埋め込み を各パッチに付加することで，パッチの位置関係を 考慮することができる. さらに self-attention の効果 により，パッチ間の関係性を考慮することが可能で ある. 文字画像の各パッチが構成要素の一部または 全体の情報を持っている場合，パッチ間の関係性を 考慮できれば構成要素間の関係性を考慮できると考 えている。こうした性質から, 文字画像から構成要素といった局所的形状を捉えるとともに，構成要素間の位置関係を捉えられると考えられるため, ViT を文字符号化器として用いることで文字構造を捉え たより良い文字の埋め込みの獲得が期待できる.

本研究では，偏旁冠脚といった文字の構成要素の 位置関係を考慮することで高性能な文書分類を目指 す ViT-CLT を提案する. 提案手法は文字符号化器に ViT, 文書分類器に Transformer で構成され, これら end-to-end で学習を行う. 文字符号化器を担う ViT は, 文字内の構成要素に対してその形状的特徴と その関係性を捉えることができる. ViT-CLTでは多様な文字の構成に対応するため, ViT の画像パッチ 切り出しにおいて sliding window algorithm を用いた sliding window patch (SWP) を導入した。また文書分類器を担う character-level Transformer (CLT) は, 近傍 の文字以外との関係性も考慮できるため，大局的な 文脈を考慮できる。

評価実験では日本語のニュース記事カテゴリ分類タスクを用いて従来手法比較し, 従来手法 [7] で ある文字符号化器と文書分類器に CNN を利用した 時よりも，提案手法は $18 \%$ 精度向上が確認できた. ViT-CLT の文書単位および文字単位の attention $の$ 可視化により, 文書単位では, 従来の文字単位を入力 とするモデルよりも文書解析に影響を与える重要な 単語に注意が当たっていることを確認し, さら文字単位では ViT による文字符号化器が文字の構成要素 それぞれに注意が当たっていることを確認した。

## 2 ViT-CLT

我々は，漢字の偏旁冠脚といった構成要素とその 関係性を考慮した文書分類モデルであるViT-CLT を提案する。提案する ViT-CLT の全体像を図 1 に 示す. 文字を文字画像に変換し，ViT からなる文字符号化器で文字埋め込みを得た後，それらを元 に Transformer からなる文書分類器で文書分類を end-to-end で学習する。

## 2.1 ViT を元にした文字符号化器

ViT-CLT の文字符号化器は ViT を用いることで，各文字画像の局所構造の関係性を考慮した符号化 を実現する。漢字は種類が多く多様な構造を持つ ため，通常 ViT で用いられるパッチ分割手法は多様な文字の構造情報の抽出には不十分であると 考えられる. 我々は, 様々な漢字の構成部分の形状情報を効果的に扱うために，画像パッチの獲得 に sliding window patch (SWP) を提案する。SWP は, sliding window algorithm により，各文字から重複を 許しながら画像パッチを入力することで，重要な構成要素間の関係の見逃しを防ぐことが期待できる.

## 2.1.1 Vision Transformer

ViT [11] は Transformer [10] を基にした画像処理モ デルである. 入力画像をいくつかの部分的な画像 (パッチ画像) に分割し，画像の局所的な情報を取得する. ViT が従来の CNNより優れている点は,各パッチ画像に位置エンコーディングを付加し, Transformerに入力することで各パッチ画像間の関係性を捉えることができる点である．入力を文字画像 にすることで，文字の構成要素の形状的特徵内の局所的な情報と，構成要素間の大局的な関係性を捉え ることが期待できる. 入力画像の埋め込みとして， [CLS] トークンに相当するViT の出力を用いた.

## 2.1.2 Sliding Window Patch (SWP)

SWP はパッチ 1つあたりの特徴を増やすために， sliding window algorithms によりパッチ分割を行う.文字画像に対する従来のパッチ分割では文字画像自体の情報量が少ないため，1 パッチ当たりの情報量 がさらに少なくなってしまうという問題の解決を期待する. SWPにより局所的な情報をより詳細に得 ることができるため，構成要素における部首等の部分構造を学習しやすくなると考えられる。

## 2.2 Transformer を元にした文書分類器

ViT を元にした文字符号化器から得られた文字埋 め込みを元に, character-level Transformer (CLT) を元 にした文書分類器を学習する. 従来の character-level CNN (CLCNN) は畳み込み処理によって入力テキス トの文字同士の局所的な関係性を考慮しつつ文書分類できるよう訓練されていた. 本研究で用いる CLT は各文字に対して self-attention を計算すること で CLCNN に比べてさらに離れた文字同士の関係性 も考慮可能である.これにより，提案するViT-CLT は各文字内の構成要素という，これまでより細かい 局所的な特徴から，文脈中の文字の関係性という大局的な特徴まで捉えることができる。

## 3 実験設定

## 3.1 比較手法

提案モデル ViT-CLT は ViT を元にした文字符号化器と Transformer を元にした分類器の end-to-end モ デルである.このモデルに対して従来モデルであ る, 文字符号化器が CNN, 文書分類器が CLCNN の CE-CLCNN [7] と比較した. 更に我々は文字符号化器をCNN と ViT, 文書分類器を CLCNN と CLT に 変えたモデルの性能を比較した。

文字符号化器の入力には 128 文字の文書をそれぞ れ $60 \times 60$ のグレースケール画像に変換して入力し た. 埋め込み次元は CNN と ViT でそれぞれ 128 次元に設定した. モデルの最適化には Adam [12]を用 いて，バッチサイズ 64 , エポック数 100 で訓練した.

## 3.2 データセット

実験用データセットとして日本語ニュース記事 コーパスを使用し，記事のカテゴリを分類するタス クで提案法を評価した。 日本語ニュース記事データ セットとして livedoorニュースコーパス1）を使用し た. このデータセットには計 9 カテゴリの記事が含 まれている。記事の文字列の長さは，最大 142 ，最小 6 , 平均 38 である. カテゴリ分類時には記事の夕 イトルからそのカテゴリを分類できるようにモデル を訓練した。データセットの 8 割を学習用，2 割を 評価用に各クラスが均等になるように分割を行っ た. 前処理として文字列長さは 128 になるように先頭から 128 文字を切り出した.

表 1: ニュース記事のカテゴリ分類の結果

 & 文書分類器 & Acc. \\

## 4 実験結果と議論

提案する ViT-CLT と従来モデルを中心に実験した 結果について議論する. 更に提案手法の文字単位お よび文書単位の attention 可視化を通じて，提案モデ ルが従来モデルよりも偏旁冠脚といった構成要素間 の関係性を適切に捉えていることを確認した。

## 4.1 カテゴリ分類の性能比較

表 1 にニュース記事のカテゴリ分類性能の比較結果を示す。提案モデル ViT-CLT が従来モデルである CE-CLCNN [7] の精度を $18 \%$ 超える大幅な予測性能向上を確認した．従来モデルの文字符号化器を ViT にした場合（ViT + CLCNN）は $5 \%$ の向上が確認さ れた. 更に従来モデルの文書分類器を Transformer にした場合 (CNN + CLT) は $15 \%$ の向上が確認され た. この結果から文書分類器に Transformer からな るモデルを採用することで予測性能の向上に大きく 寄与することが確認された。

提案モデルにおいて，従来のパッチ分割を採用し た際にパッチ分割数を 16 に設定した場合が最も良 い性能となった. 我々のSWPを適用した場合は一定の予測性能の向上に寄与した一方で，SWPを適用しない場合に少し劣る結果となった．SWP は類似した特徴を持つパッチ画像同士の関係を学習する ため，文字の構成要素の構造を大きく捉えてしまっ たことにより，構成要素間の関係を捉えることが難 しくなったことが影響したと考えられる．同様の傾向が ViT + CLCNN の場合にも確認された。

## 4.2 Attention の可視化

文書単位における文字間の attention 図 2 は文字符号化器に CNN とViTを使用した場合の CLT の 文書単位の attention の可視化結果である. CLT の
(b) Character encoder: ViT (提案手法)

CISフジテレビのサツカー中継で放送事故 ハイスペックのグラフィックスを搭載! マウスコンピューター、コスパに優れた高性能ゲームPＣを発売

(c) Character encoder: ViT + SWP (提案手法)

図 2: 文字符号化器を CNN と ViT で比較した際の CLT の文書単位の attention の可視化: 上部の数字は実際の attention のスコアを示す. CLT は各文字に位置エンコーディングの付与と attention により，文書の近傍以外 の文字間の関係と予測に重要な情報を捉えているため，CLCNN よりも高い精度が得られたと考えられる。

(a) 従来のパッチ分割 (パッチ数 $=16$ )

 \\ 不江:BPV

(b) SWP (パッチ数 $=25$ )

図 3: 提案モデルの文字単位におけるパッチ間の attention の可視化: 従来のパッチ分割 (3a)では“き へん”，“ぎょうにんべん”といった部首のみを捉え られている一方で，提案法の SWP (3b) では部首部分と非部首部分双方に attention が当たっている.

attention 可視化方法は, rollout [13] というattention スコア同士の行列積の結果を利用する手法を使用し た。CLT は予測に重要な情報 (e.g., 単語粒度の情報) をより適切に捉えらえていたため，CLCNN よりも 高い精度が得られたと考えられる。

文字単位におけるパッチ間の attention 図 3 は従来のパッチ分割と SWP を使用した場合の，ViT か らなる文字符号化器における文字単位の attention の 可視化である. 結果は精度が最も良かった分割数 のものを使用した。従来のパッチ分割の attention の 可視化から，文字の形状を捉えた attention が当たっ ており，漢字の場合は部首を捉えている．SWP の attention の可視化から，従来のパッチ分割と同様に文字の形状を捉えた attention が当たっている. さら に SWP では漢字の部首だけでなく，部首以外の部分にも attention が当たっていることから，構成要素間の構造を捉えられていると考えられる。これ はSWP を用いることで局所的な情報を捉えやすく なったためだと考えられる。しかし，英数字では文字領域以外に attention が当たってしまっている場合 がある。これは同じようなパッチが存在するため， attention が分散しやすいからだと考えられる。

## 5 おわりに

日本語や中国語において，漢字を中心に文字の形状を考慮する自然言語処理モデルが提案されてき たが，従来手法では偏旁冠脚といった文字の構成要素間の関係を考慮することは難しかった，本研究で は，文字の構成要素間の関係を捉えることができる ViT-CLT を提案した. ViT からなる文字符号化器で 偏旁冠脚個別の形状を捉えるとともに，構成要素間の関係性も捉えることを可能とした．日本語の ニュース記事のカテゴリ分類による評価実験の結果，我々の提案手法が従来の CNN + CLCNN モデル を遥かに超える性能を実現した。更に提案手法の 文単位および文字単位の attention 可視化を通じて,我々の手法が従来手法よりも構成要素間の関係性を 適切に捉えていること確認した. 我々は実験的に 1 つあたりのパッチの特徴量を増やすSWPを提案し たが，従来のパッチ分割のほうが文字の構成要素間 の関係性を捉えていることが分かった。

今後は近年発展を遂げている事前学習済みモデル との比較や，文字画像を元に文字の形状的特徵を考慮したマスク言語モデルの開発を検討している。

## 参考文献

[1] Yaming Sun, Lei Lin, Nan Yang, Zhenzhou Ji, and Xiaolong Wang. Radical-enhanced chinese character embedding. In Chu Kiong Loo, Keem Siah Yap, Kok Wai Wong, Andrew Teoh, and Kaizhu Huang, editors, Neural Information Processing, pp. 279-286, Cham, 2014. Springer International Publishing.

[2] Xinlei Shi, Junjie Zhai, Xudong Yang, Zehua Xie, and Chao Liu. Radical embedding: Delving deeper to Chinese radicals. In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 2: Short Papers), pp. 594-598, Beijing, China, July 2015. Association for Computational Linguistics.

[3] Galina Vorobeva and Victor Vorobev. A method of the analysis of kanji structure: A new approach based on structural decomposition and coding. NINJAL Research Papers, No. 9, pp. 215-236, Jul 2015.

[4] Minh Nguyen, Gia H Ngo, and Nancy F Chen. Hierarchical character embeddings: Learning phonological and semantic representations in languages of logographic origin using recursive neural networks. IEEE/ACM Transactions on Audio, Speech, and Language Processing, 2019.

[5] Daiki Shimada, Ryunosuke Kotani, and Hitoshi Iyatomi. Document classification through image-based character embedding and wildcard training. In 2016 IEEE International Conference on Big Data (Big Data), pp. 3922-3927, 2016.

[6] Frederick Liu, Han Lu, Chieh Lo, and Graham Neubig. Learning character-level compositionality with visual features. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2059-2068, Vancouver, Canada, July 2017. Association for Computational Linguistics.

[7] Shunsuke KITADA, Ryunosuke KOTANI, and Hitoshi IYATOMI. End-to-end text classification via image-based embedding using character-level networks. In 2018 IEEE Applied Imagery Pattern Recognition Workshop (AIPR), pp. 1-4, 2018.

[8] Yuxian Meng, Wei Wu, Fei Wang, Xiaoya Li, Ping Nie, Fan Yin, Muyu Li, Qinghong Han, Xiaofei Sun, and Jiwei Li. Glyce: Glyph-vectors for chinese character representations. In H. Wallach, H. Larochelle, A. Beygelzimer, F. d'Alché-Buc, E. Fox, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 32. Curran Associates, Inc., 2019.

[9] Takumi Aoki, Shunsuke Kitada, and Hitoshi Iyatomi. Text classification through glyph-aware disentangled character embedding and semantic sub-character augmentation. In Proceedings of the 1st Conference of the Asia-Pacific Chapter of the Association for Computational Linguistics and the 10th International Joint Conference on Natural Language Processing: Student Research Workshop, pp. 1-7, Suzhou, China, December 2020. Association for Computational Linguistics.

[10] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. V. Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc., 2017.

[11] Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner, Mostafa Dehghani, Matthias Minderer, Georg Heigold, Sylvain Gelly, Jakob Uszkoreit, and Neil Houlsby. An image is worth 16x16 words: Transformers for image recognition at scale. In International Conference on Learning Representations, 2021.

[12] Diederik P Kingma and Jimmy Ba. Adam: A method for stochastic optimization. arXiv preprint arXiv:1412.6980, 2014.

[13] Samira Abnar and Willem Zuidema. Quantifying attention flow in transformers. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 4190-4197, Online, July 2020. Association for Computational Linguistics.

[14] Laurens van der Maaten and Geoffrey Hinton. Visualizing data using t-sne. Journal of Machine Learning Research, Vol. 9, No. 86, pp. 2579-2605, 2008.

(a) 従来のパッチ分割

(b) SWP図 4: ViT + CLT のパッチ分割数を変化させたときの 精度の変化: パッチ分割数と文書分類の精度に大き な変化が確認できないことから，文書分類器はパッ チ分割数にロバストだと考えられる.

表 2: 漢字 “語” の近傍の漢字上位 $\mathbf{5}$ つ: 括弧内の数字は分割数を示す. 通常のパッチ分割はほかの文字符号化器よりも部首を捉えられている.

## A パッチの分割数を変化させた時 の予測性能の変化

図 4 は従来のパッチ分割と提案手法 SWP による パッチ分割において，パッチ数を変化させたときの 予測性能の変化を示す. 文字画像に対して分割する パッチ数の大小に関わらず，一定の予測性能を示し た.この結果は従来のパッチ分割および提案手法両者ともにパッチの分割数にロバストであることが示唆されている。

## B 文字埋め込みの分析

文字埋め込みの可視化 図 5 はパッチ分割手法に 従来のパッチ分割とSWPを使用した場合の ViT の 文字符号化器を使用して文字画像から得られた文字埋め込みに対して t-SNE [14] で 2 次元空間へ写像し て可視化した結果である. 可視化の際に，その偏を 持つ漢字の数が上位 10 位に入る漢字と記号や英数字等に絞って可視化した. 従来のパッチ分割手法を 用いた文字埋め込みの可視化から，漢字の偏を考慮 した埋め込みができている．SWPを用いた文字埋 め込みの可視化から, 同じ構造の漢字は近傍に埋め 込まれているが，部首を考慮した埋め込みはできて いないことが確認された。

対象文字埋め込みの近傍の文字 表 2 に各比較モ デルにおける“語”の埋め込みの近傍 5 字を示す。

(a) 従来のパッチ分割 (パッチ数 $=16$ )

(b) SWP (パッチ数 $=25$ )

図 5: 主要な偏を持つ漢字と記号の埋め込みを $\mathrm{t}-\mathrm{SNE}$ を用いて可視化した結果: 従来のパッチ分割は文字 の構造と漢字の偏を考慮した埋め込みが学習されて おり，SWP は文字の構造のみを考慮した埋め込みが 学習されている。

文字符号化器に CNN を使用した場合と従来のパッ チ分割を使用した ViTを使用した場合で比較する と，ViT の方が偏旁冠脚といった構成要素をより捉 えられていた。従来のパッチ分割を使用した場合と SWP を使用した場合で比較すると，SWP は偏旁冠脚といった構成要素を捉えられなかった。


# ECS-BERT モデルによるステークホルダー評価の定量化

指田 晋吾 1 中川慧 1 黒木 裕鷹 2 真鍋 友則 ${ }^{2}$
1 野村アセットマネジメント株式会社 ${ }^{2}$ Sansan 株式会社
\{s-sashida,k-nakagawa\}@nomura-am.co.jp \{kuroki, manabe\}@sansan.com

## 概要

ステークホルダー資本主義や ESG，SDGsへの関心の高まりから企業の社会的な評価を定量化するこ との重要性は増している。特に，企業からステーク ホルダーに対してのメッセージである統合報告書の 内容を評価することは投資家のみならず様々なス テークホルダーにとって有用である. 本研究では, ステークホルダーからの評価を定量化したスコアで ある ECS を用いてファインチューニングした BERT モデルによって，統合報告書の「良さ」を定量化し たIR スコアを提案する. 実証分析の結果，IR スコ アは ECS ブランドスコアおよび，GPIF の定性評価 との関連性を持つことがわかった。

## 1 はじめに

企業は株主だけでなく，従業員をはじめサプライ ヤー，カスタマーといったビジネス関係者などあら ゆるステークホルダーの利益に配慮すべきである という，ステークホルダー資本主義が関心を高めて いる. 実際，2019 年に米経済団体ビジネス・ラウン ドテーブル（BRT）は，企業の目的に関する声明の 中で「顧客，従業員，サプライヤー，地域社会，株主といった全てのステークホルダーの利益のため に会社を導くことにコミットする」と公表した1). また, 2020 年 1 月の世界経済フォーラム年次総会 （ダボス会議）ではステークホルダー資本主義が重点テーマとして取り上げられ，クラウス・シュワブ 会長は「企業はステークホルダー資本主義を完全に 受け入れなければならない。利益を最大化するだけ でなく，政府や市民社会と協力して能力や資源を活用し, この 10 年間の重要な課題に対処しなければ ならない，企業は，よりまとまりのある持続可能な 世界に積極的に貢献しなければならない」と述べて

いる2)。これらは，株主第一主義から，ステークホ ルダー主義への転換への宣言として受け止められて いる.

以上のようにステークホルダーに対する配慮がま すます重要視されているなかで，ステークホルダー に対する社会的な評価の高い企業は，互酬性による 長期取引の安定化や，リスクの低下などを通して，社会関係資本から様々な利益を得ていることが知ら れている [1]. 例えば，企業の社会的な評判が良い 企業ほど，高い時価総額 [2] や高 ROA[3] を示す傾向が示されている。また，企業の社会関係資本，あ るいはそれと関連した活動や評価と，株価のクラッ シュ・リスクの関係を実証した研究が複数あり，い ずれも，クラッシュ・リスクを緩和することが実証 されている $[4,5]$.

しかしながら，ステークホルダーからの評価を測定あるいは定量化することは非常に困難である.こ れまでの研究はいずれも企業の社会関係資本を直接的に測定したものではなく, CSR 活動のスコアリ ングをその代理変数として用いている $[1,4]$. しか し，企業の CSR 活動はステークホルダーとの信頼的関係必ずしもイコールではない．そこで，ビジネ ス上のなんらかのステークホルダーであることが 想定される名刺所有者から直接，当該企業の評価を 得たデータ (Eight Company Score;ECS) を用いた研究 $[2,3,5]$ が存在する. さらに, ECS は評価スコアと それに関連する自由記述闌のコメントがあり，それ らのデータを supervised LDA[6] を用いて分析するこ とで，企業の社会的な評価がどのような要因から構成されているかを特定 [7] した研究もある。しかし， ECS のようなアンケート調査は，一般に少なくない コストを必要とする。このため, 調査対象社数や調査頻度に限界がある。

一方で，企業の長期的な価値創造は企業単体で創

2) https://www.weforum.org/press/2020/01/ stakeholder-capitalism-a-manifesto-for-acohesivel - and-sustainable-world/
造するものでなく，ほかのステークホルダーとの関係から生み出されるとし，企業の主要なステークホ ルダーからの理にかなった要求や期待を企業がい かに理解し, 対応しているか3)を記述する統合報告書に注目が集まっている。実際に財務報告とは別に 統合報告書を発行する企業数は年々増加している [8]. 企業の業績などの財務面だけでなく, ESG(環境, 社会，ガバナンス) の側面や SDGs(Sustainable Development Goals) を踏まえ，社会的責任を果たし，持続可能な社会に貢献するためにも統合報告書の果 たす役割は非常に大きい [9]. ステークホルダーに 対する配慮が重要視される中で，企業からステーク ホルダーに対してのメッセージである統合報告書の 内容を評価することは投資家のみならず様々なス テークホルダーにとって有用である.

公的に入手できるテキストデータから景気動向や 企業業績，ブランド力などを評価・予測する研究は 数多く存在する $[10,11,12]$. 本研究では，ステーク ホルダーからの評価を定量化したスコアである ECS を用いてファインチューニングした BERT モデルに よって，企業がステークホルダーへ向けての様々な 取組みを記載した統合報告書の「良さ」を定量化し た IR (Integrated Report) スコアを提案する。具体的 には，BERT を事前学習モデルとして，ECS の自由記述欄のコメントと評価スコアを用いてファイン チューニングを行うことで，統合報告書への評価を 付与できるモデルを作成する. そして当該 BERT モ デルを，ECS スコアが再現できるかどうかバリデー ションで確認し，統合報告書のスコアリングを行 う. そしてステークホルダーから企業の評価である ECS と，企業からステークホルダーへの向けて記述 された統合報告書の IR スコアの関係を検証・評価 する.

## 2 分析データ

## 2.1 Eight Company Score データ

Sansan 株式会社の Eight Company Score4）（以下， ECS）は，半年に一回，調査対象企業の名刺を有す る名刺アプリ Eight のユーザーにランダムに調査票 をメール送付し，任意のアンケート結果を回収する ことで作成されている. 企業の名刺所有者を調査母

集団とすることにより，それぞれの企業とのビジネ ス上の関与が期待される母集団からの企業評判収集 を可能にしている.

ECS の調査は 2018 年の 5 月に開始され，以降半年に一度のペースで調査が行われている. 本論文で は 2018 年 5 月から 2021 年 11 月までの計 8 回の調査データを分析対象データとして使用する。調査対象企業数は 1711 社，企業あたりの平均回答者数は 154 人である.

調査は「ブランド」，「サービス」，「ヒト」の 3 項目に関する意識調査と企業についての自由記述闌か ら成り，回答者は，

ブランド: $\ulcorner x$ 社のブランドイメージは魅力的だと 思いますか?」

サービス: 「 $x$ 社の製品・サービスは自社/社会に有用だと思いますか？」

ヒト: 「 $x$ 社の人は好印象だと思いますか？」

の 3 項目の質問に対し，0-10の 11 段階の評点をつ ける。また，自由記述欄に，企業の印象ついてのコ メントを記入する．回答者は，調査会社が選択した 3 企業について回答する。

ECS の自由記述コメント数は調査全期間の累計 で 545,599 であった. ただし，記述文には「知らな い」「特にない」など，企業についての非認知の表明など，企業印象についての有意味な情報を有さ ない文も含まれていた。本研究の分析においては， そのような文を除外した。除外した結果，文の数は 436,308, 企業あたりの平均記述文数は 261 文, 記述文あたりの文字数は平均 21.3 文字，中央値は 15 文字であった。

## 2.2 統合報告書データ

統合報告書とは，企業が財務情報や経営情報に加 えてガバナンス，CSR 情報，中期計画などを統合的 にまとめて公開する報告書である。日本では会社法 で要求される決算書類や金融商品取引法で要求され る有価証券報告書と異なり，統合報告書は作成が任意であるが，発行する企業は大規模なグローバル企業を中心に，日本国内でも年々増加している。

本研究では, 日本の証券取引所に上場している企業の企業 HP から，「統合報告書である」と明記され た 2018,2019年のテキストデータを収集し，スコア リングを行なった．収集，スコアリングしたデータ 数は 2018 年で 284 社, 2019 年で 370 社についての

ものである.

## 3 分析方法

## 3.1 ECS データを用いた BERT モデルの 学習

BERT (Bidirectional Encoder Representations from Transformers)[13] は, Transformer[14]をべースに構成 されたは高性能な事前学習モデルである.

BERT モデルの構築には事前学習済みのモデル5) と ECS の自由記述コメントを利用し，文章のセン チメント評価のためのファインチューニングを行っ た. その際，ECS のデータにてブランド評価が 9 以上のものをポジティブ，4 以下のものをネガティブ とした.また，コメント投稿者の対象企業に対する 認知度について閾値を設け, 信頼性の高いコメント 内容に絞った. その結果として学習に用いたコメ ント数は全体で 303,286 件で，ポジティブに分類さ れる文章は 201,505 件, ネガティブは 101,781 件で ある. また, 対象企業をランダムに分割し, 学習,検証, 評価に用いた. 学習には 1,207 社に対する 180,658 コメントを，検証には 402 社に対する 61,722 回答を，テストには 403 社に対する 60,907 回答をそ れぞれ用いた。

## 3.2 統合報告書のスコアリング

本研究では，企業がステークホルダーへ向けての 様々な取組みを記載した統合報告書の「良さ」を定量化するため，構築した BERT モデルでのスコアリ ングを行なった．統合報告書のテキストデータは， ページ数や目次など，スコアに寄与しないと想定さ れる情報を含んでいるが，これらは前処理で取り 除いた.ここで，統合報告書の平均トークン長は 4,772であり, BERT モデルが受け付ける最大トーク ン長をはるかに超えるものである. そこで本分析で は，ひとつの統合報告書を，最大トークン長が 256 の部分文書に分割し，それぞれのスコアを平均する ことでスコアリングを行なった.

本研究で提案する IR (Integrated Report) スコアの 性質を測るため，一定の実績がある ECS ブランド スコアとの関係，年金積立金管理運用独立行政法人 (GPIF) が公開する統合報告書の定性評価との関係を 分析した.

## 4 分析結果

5) https://nlp.ist.i.kyoto-u.ac.jp/?ku_bert_japanese

## 4.1ECS ブランドスコアの予測

テストデータの ECS ブランドスコアを予測し，企業ごとに平均した結果を図 1 に示す. 元のブランド スコアの平均との相関係数は 0.88 であり，アンケー トで得られたステークホルダーからの自由記述コメ ントとであれば，学習データにない企業に対しても 高い精度でブランドカのスコアリングが可能である ことがわかる.

図 1 ECS ブランドスコアの予測結果

## 4.2 ECS ブランドスコアと IR スコアの 相関

BERT モデルによってスコアリングした統合報告書スコアと ECS ブランドスコアの単相関を Appendix の表 3 に示す. ECS 調査は半年に 1 回行わ れているため年に 2 時点のデータが存在する. 2018 年の IR スコアは 2018 年 11 月の ECS および 2019 年 5 月と有意に正の相関がある。一方 2019 年の IR ス コアは 2019 年の ECS と有意に正の相関を示してお り，それぞれ近いデータ取得期間で相関を有してい ることがわかる。この結果は IR 内に記されている 企業のブランド力に関する情報の時間変化を本 IR スコアによってトレースできる可能性を示唆して いる.

上記単相関分析では企業の財務状況や業種が共変量になっている可能性がある。この可能性を考慮 し, 財務指標と業種 (東証 17 業種)を統制項として 変数に含めた以下の重回帰分析を行った. なお ECS ブランドスコアは年での平均値として年次データに 変換した。

ECSbrand $_{i t}=\beta_{1}$ IRscore $_{i t}+\beta_{2} \ln \left(\right.$ Sales $_{i t}$

$
\begin{aligned}
& +\beta_{3} \text { Profitability }_{i t}+\gamma_{1} \text { IndustryDummy }_{i} \\
& +\gamma_{2} \text { YearDummy }_{t}+\epsilon_{i t}
\end{aligned}
$

ここで ECSbrand $_{i t}$ は企業 $i$ の年 $t$ におけるブラ

スコア, $\ln (\text { Sales })_{i t}$ は企業 $i$ の時点 $t$ における売上高の自然対数，Profitability ${ }_{i t}$ は企業 $i$ の時点 $t$ にお ける利益率，IndustryDummy は企業 $i$ の業種ダミ一, YearDummy は年 $t$ のダミー (2019 か否か)を表して いる. $\beta$ と $\gamma$ は各変数に対する係数を表す.

結果を表 1 に示している. 表 1 のカラム (1) は年 ダミーのみ，カラム (2) は業種ダミーと年ダミーを 加えたモデル，カラム (3) は統制項を全て加えたモ デルの推定結果だが，全てのモデルにおいて IR ス コアは有意に正の係数を表しており，ECS ブランド スコアの予測に対して情報量を持っていることを示 した.

表 1 重回帰分析の推定結果

 &  &  \\

## 4.3 IR スコアと GPIF 評価の相関

GPIF は，国内株式の運用を委託している運用機関（以下，運用機関）に対して，「優れた統合報告書」と「改善度の高い統合報告書」の選定を依頼し 選定結果を毎年公表している6).

本論文で算出した IR スコアの意義をさらに探索 するために, IR スコアとこの GPIF の選定結果の関

6) https://www.gpif.go.jp/investment/20210224_ integration_report.pdf連をロジスティック回帰分析を用いて行った．統制項等の変数は前節での重回帰分析と同じ変数を用 いた. 本分析の対象となる企業は 2018 年に 122 社, 2019 年に 261 社だが，そのうち「優れた統合報告書」または「改善度の高い統合報告書」に選定され た企業はそれぞれ 47 社 $(39 \%), 101$ 社 (39\%) 存在し た。この確率に対する IR スコアの効果の推定結果 を表 2 に表す。

表 2 ロジスティック回帰分析結果

IR スコアに対する係数の値は有意に正となって おり，このスコアの高い企業は選対される確率が有意に上昇していることがわかる.

## 5 まとめと今後の課題

企業の社会的な評価を定量化することの重要性は 増しており，企業からステークホルダーに対しての メッセージである統合報告書の内容を評価すること は投資家のみならず様々なステークホルダーにとっ て有用である。本研究では，ステークホルダーか らの評価を定量化したスコアである ECS を用いて ファインチューニングした BERT モデルによって，統合報告書の「良さ」を定量化した IR スコアを計測した. 実証分析の結果，IR スコアは ECS ブラン ドスコアおよび，GPIF の定性評価との関連性を持 つことがわかった. 今後の課題としては，本研究で 定量化した統合報告書の評価スコアと財務指標や株価との関連性を検証することが挙げられる。

## 参考文献

[1] Peter W Roberts and Grahame R Dowling. Corporate reputation and sustained superior financial performance. Strategic management journal, Vol. 23, No. 12, pp. 1077-1093, 2002.

[2] 真鍋友則, 中川慧. B2b 企業ブランド評価と株価の価値関連性の実証研究. 経営情報学会誌, Vol. 29, No. 2 , pp. 87-104, 2020.

[3] 真鍋友則, 中川慧. B2b市場における企業ブランドと roa の関連性. 証券アナリストジャーナル= Securities analysts journal, Vol. 58, No. 6, pp. 73-83, 2020.

[4] Karl V Lins, Henri Servaes, and Ane Tamayo. Social capital, trust, and firm performance: The value of corporate social responsibility during the financial crisis. the Journal of Finance, Vol. 72, No. 4, pp. 1785-1824, 2017.

[5] Tomonori Manabe and Kei Nakagawa. The value of reputation capital during the covid-19 crisis: Evidence from japan. Finance Research Letters, p. 102370, 2021.

[6] David M Blei and Jon D McAuliffe. Supervised topic models. In Proceedings of the 20th International Conference on Neural Information Processing Systems, pp. 121-128, 2007.

[7] Tomonori Manabe, Kei Nakagawa, and Keigo Hidawa. Identification of $\mathrm{b} 2 \mathrm{~b}$ brand components and their performance' $\mathrm{s}$ relevance using a business card exchange network. In Pacific Rim Knowledge Acquisition Workshop, pp. 152-167. Springer, 2021.

[8] Kei Nakagawa, Shingo Sashida, Ryozo Kitajima, and Hiroyuki Sakai. What do good integrated reports tell us?: An empirical study of japanese companies using text-mining. In 2020 9th International Congress on Advanced Applied Informatics (IIAI-AAI), pp. 516-521. IEEE, 2020.

[9] 小野塚惠美, 貝沼直之. Esg 開示からみる統合報告書のあり方 (特集 esg 情報開示とその利活用). 証券アナリストジャーナル= Securities analysts journal, Vol. 59, No. 11, pp. 28-39, 2021.

[10] Keiichi Goshima, Hiroshi Ishijima, Mototsugu Shintani, and Hiroki Yamamoto. Forecasting japanese inflation with a news-based leading indicator of economic activities. Studies in Nonlinear Dynamics \& Econometrics, Vol. 25, No. 4, pp. 111-133, 2021.

[11] Roland T Rust, William Rand, Ming-Hui Huang, Andrew T Stephen, Gillian Brooks, and Timur Chabuk. Realtime brand reputation tracking using social media. Journal of Marketing, Vol. 85, No. 4, pp. 21-43, 2021.

[12] 西家宏典, 津田博史. 従業員口コミを用いた企業の 組織文化と業績パフォーマンスとの関係. 証券アナ リストジャーナル= Securities analysts journal, Vol. 56, No. 7, pp. 69-78, 2018.

[13] Jacob Devlin Ming-Wei Chang Kenton and Lee Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of NAACL-HLT, pp. 4171-4186, 2019.

[14] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in neural information processing systems, pp.

## A 参考情報

表 3 は BERT モデルによってスコアリングした統合報告書スコアと ECS ブランドスコアの単相関表 を示す. 表中の数値は相関係数，カッコ内の数値は サンプルサイズを表している. ECS 調査は半年に 1 回行われているため年に 2 時点のデータが存在す る. 2018 年の IR スコアは 2018 年 11 月の ECS およ び 2019 年 5 月と有意に正の相関がある。一方 2019 年の IR スコアは 2019 年の ECS と有意に正の相関を 示しており，それぞれ近いデータ取得期間で相関を 有している.
表 3 ECS ブランドスコアと IR スコアの相関表

Note:

${ }^{*} \mathrm{p}<0.1 ;{ }^{* *} \mathrm{p}<0.05 ;{ }^{* * *} \mathrm{p}<0.01$


# 発話者ごとの潜在変数学習による対話応答生成の一貫性向上

大西孝宗 ${ }^{1}$ 椎名広光 ${ }^{2}$
1 岡山理科大学大学院 総合情報研究科 2 岡山理科大学 総合情報学部
i20im02ot@ous.jp shiina@mis.ous.ac.jp

## 概要

対話応答生成において CVAE を応用したモデルは 潜在変数の違いによって多様性のある応答生成を可能にしている。一方で，コンテキスト全体からサン プリングされた潜在変数は，発話者の特徴が希薄と なり，生成した応答の一貫性低下に影響すると考え る. この課題を解決するため，発話者ごとの潜在変数を用いることで，一貫性のある応答を生成するこ とを試みている。また，手法の有効性を検証するた め，英語と日本語のコーパスを用いて応答の生成実験を行い，自動評価指標を用いて応答の多様性や参照応答との類似性，コンテキストとの類似性につい て評価を行った。

## 1 はじめに

近年，ニューラルネットワークを用いた対話応答生成の研究が盛んに行われおり, EncoderDecoder(Seq2Seq) モデル $[1,2,3]$ の応用が Vinyals ら [4] により提案されている. 対話データを用いて, Encoder-Decoder モデルに発話から応答へ変換する ことを学習させる手法であるが，無難な応答を生成 する傾向にあることが課題として報告されている。

この課題に対して, Conditioned Variational Autoencoder(CVAE) をべースとした手法が提案されてい る [5][6]. また，計算の高速化を目的とし，RNNを Transformer[7] に置き換えたモデルである, Global Variational Transformer (GVT) モデル [8] が登場して いる。これらの手法では，コンテキスト・応答から 生成した事前・事後分布より, サンプリングした潜在変数をデコーダの入力に付加することを行ってい る。これにより，応答の生成において，潜在変数の 違いから多様性をもたらすことに成功している。

一方で，潜在変数は発話者を区別することなく， コンテキスト全体を条件としてサンプリングされ る.このため，発話者それぞれの主張が混在してし まうことや，発話者の特徴が希薄となり生成した応答の一貫性低下に影響すると考える。

本研究では，応答の一貫性を改善するため発話者ごとの潜在変数を GVT モデルに対して追加す る. これにより，発話者ごとの特徴を捉える効果を 狙い，一貫性のある応答を生成することを試みて いる.

## 2 関連研究

## 2.1 対話応答生成のための CVAE

対話生成タスクの向けの CVAE は, EncoderDecoder モデルを拡張したモデルである．RNN ベー スの Encoderを 2 つ持つ構造であり，コンテキスト と応答を別々にエンコードする。さらに，コンテキ ストと応答それぞれの Encoder の隠れ層のベクトル に従う事前・事後分布を多層パーセプトロン (MLP) によって近似した, Prior Net・Recognition Net から潜在変数をサンプリングする。最後に，Decoder はコ ンテキストを処理した Encoder の隠れ層べクトルと 潜在変数 zを用いて，応答の生成を行う。

また，学習が進むにつれて Decoder が潜在変数 z の情報を考慮しなくなる KL vanishing 問題のため， KL アニーリング [9]，Bag-of-Words(BoW) loss を適用している.

## 2.2 GVT モデル

Global Variational Transformer (GVT) モデルは対話向け CVAE モデルをべースに，Transformer 化したモ デルである. Encoder および Decoderにおいて，RNN の代わりに Transformerを用いている. CVAE モデル では事前・事後分布の MLP よよる近似である Prior Net・Recognition Net の計算に Encoder の隠れ層の状態を用いていたが，GVT モデルでは CLS トークン の位置の出力ベクトルを用いる．CLS トークンは 入力シーケンスの先頭に追加され，Self-attention を 介して出力べクトルが計算される. したがって， CLS トークンの出力ベクトルは，入力全体の表現

図 1 Global Variational Transfo (GVT) モデル

したべクトルとみなすことができる. Prior Net・ Recognition Net からサンプリングされた潜在変数 は, Decoder の入力の先頭に追加し, 応答の生成に 利用される。また, CVAE と同様に潜在変数 $\mathrm{z}$ を Decoder に考慮させるため，KL アニーリング及び BoW loss を用いて学習を安定させている. GVT モ デルの概略図を図 1 に図示する。

## 3 各発話者ごとの潜在変数の生成を 行う提案手法

コンテキスト全体から生成した潜在変数では，発話者ごとの特徴が希薄になり一貫性にかける応答を 生成する一因であると考えられる。そこで本研究で は，発話者ごとの潜在変数を GVT モデルに対して 追加し, モデルが生成する発話の一貫性を向上させ る効果を狙う。

提案モデルでは，GVT モデルと同様にコンテキス 卜と応答の入力を処理し, Prior Net $\cdot$ Recognition Net から潜在変数 z をサンプリングする．加えて，各発話者ごとの入力からも Prior Net を生成し潜在変数 z をサンプリングする.

コンテキストは対話を行う2者の発話を一つにま とめたものであり，それぞれの発話者ごとに分割す ることができる．各発話者ごとにコンテキストを分割し，入力シーケンスの先頭にCLSトークンを付加 した上で，それぞれ Encoderへ入力する。さらに， CLS トークンの位置の出力ベクトルから事前分布を 生成し, 各発話者ごとの潜在変数をサンプリングす る. 通常の潜在変数に加えて，応答の発話者の潜在変数を Decoder の入力の先頭に追加し, 応答の生成 において利用する。また，GVT モデルと同様に KL

図 2 各発話者ごとの入力を処理する Encoderを GVT モデルに追加した提案モデル

アニーリングおよび BoW loss を学習安定のために 用いる。提案モデルの概略図を図 2 に図示する。

## 4 応答の生成実験と評価

## 4.1 実験設定

ベースラインである GVT モデルと提案モデルに ついてマルチターンの対話応答生成を行う。データ セットには Ubuntu Dialogue Corpus [10] およびおー ぷん 2 ちゃんねる対話コーパス [11]を用いた。前処理として SentencePiece ${ }^{1)}$ を用いてサブワードへの分割を行っている。

## 4.2 評価手法

応答の多様性の自動評価 モデルによって生成さ れた応答の多様性を測定するため， dist-n[12]を用い る. n-gram の総数に対して n-gram の種類数が占め る割合を算出し，この比率が高いほど，多様性が高 いことを示す.

応答の類似性の自動評価 モデルによって生成さ れた応答と参照応答の類似性について，両者の埋め 込みべクトル間のコサイン類似度を計算することで 評価する。2 種類の計算手法を用いる。

Embedding-based-Metrics[13] は，事前学習済みの 単語ベクトルを用いて文の類似性を評価する手法 であり, Embedding Average, Greedy Matching, Vector Extrema の 3 種類の算出法が提案されている. 本研究では Embedding Average を評価指標として用い た. 事前学習済みの単語ベクトルとして，Ubuntu

1) https://github.com/google/sentencepiece
表 1 各モデルの自動評価結果

Ubuntu Dialogue コーパス

表 2 参照応答の発話者の発話履歴と

生成した応答についての BERT Score

Ubuntu Dialogue コーパス

コーパスの評価には Google News Corpus で学習させ た Word2Vec の単語ベクトルを用いた。おーぷん 2 ちゃんねるコーパスでは，日本語 Wikipedia で学習 させた Word2Vec の単語ベクトルを用いた。

BERT Score[14] は，事前学習した BERT[15] の埋 め込みを使用して，モデルによって生成された応答 と参照応答の類似性を評価する手法である。

発話の一貫性発話の一貫性を調査するため，モ デルによって生成された応答と参照応答の発話者の 発話履歴について，BERT Scoreを用いて類似性を算出する.

## 5 実験結果

## 5.1 自動評価結果

各モデルが生成した応答の自動評価結果を表 1 に示す。生成した応答の多様性においては，Ubuntu コーパス及びおーぷん 2 ちんれるコーパスのどち らにおいても提案モデルのスコアが向上している.一方で参照応答との類似性については，Ubuntuコー パスとおーぷん 2 ちゃんねるコーパスで反対の結果 となった。これは，データセットの性質が影響した表 3 Ubuntu Dialogue Corpus およびおーぷん 2 ちゃんね る対話コーパスを用いた各モデルの対話生成例 Ubuntu Dialogue コーパス 発話 1:hi any expert for grub and boot here?発話 2:sorry whats the problem?発話 3:my system isn't boot from the second hdd GVT モデル:I have to edit the grub partition

Response $\begin{aligned} & \text { in ubuntu i will try? } \\ & \text { 提案モデル:the drive is not supported with grub }\end{aligned}$参照応答:it only boots from the first drive. おーぷん 2 ちゃんねる対話コーパス

Context 発話 1:ついに茶が出るようになったか 発話 2:ゆーめーじん?発話 3:**コテで有名 GVT モデル:(^ $q \wedge)$ クッソ難しいから

Response 提案モデル:じゃあ全然有名じゃないです $\mathrm{w}$参照応答:なーる。まあ。いーや一!

と考えられる。おーぷん 2 ちんねるコーパスは多様性に富んだ応答を数多く含むデータセットである ため，多様性の高い応答を生成する提案モデルがス コアを伸ばしている。逆に，Ubuntuコーパスはドメ イン固有のデータセットであるため，応答の多様性 は高くなく，提案モデルはスコアを落としている.

各モデルが生成した応答と参照応答の発話者の発話履歴の類似性について自動評価結果を表 2 に示 す.こちらも提案モデルは，おーぷん 2 ちゃんねる コーパスではスコアが伸び，Ubuntuコーパスではス コアを下げており，生成した応答と参照応答の類似性スコアと同じ傾向となっている.

## 5.2 応答生成例

Ubuntuコーパス及びおーぷん 2 ちゃんねるコー パスから各モデルが生成した応答例を表 3 に示す. Ubuntu コーパスの生成例では，両モデルともやや 見当違いの生成をしている。おーぷん 2 ちゃんねる コーパスの例では，両モデルの生成例とも文法的な
違和感はない。また，提案モデルが生成した応答は 参照応答とは異なるが，対話の流れとして比較的自然である。

## 6 おわりに

本研究では，対話応答生成タスクにおける応答の

一貫性を向上させるため，GVT モデルに対して発話者ごとの潜在変数をサンプリングする手法を追加し たモデルを提案した. 提案モデルでは，発話者ごと の潜在変数の効果によって多様性が向上し，おーぷ ん 2ちゃんねるコーパスでは参照応答との類似度向上につながった．しかしながら，自動評価指標のみ では応答の一貫性について評価しきれていない.

今後の課題として, 発話者ごとの潜在変数追加が 応答の一貫性にあたえた影響についてより深い検証 を行うことと，Decoder において潜在変数をうまく 活用するための改善に取り組みたいと考えている.

## 参考文献

[1] Ilya Sutskever, Oriol Vinyals, and Quoc V Le. Sequence to sequence learning with neural networks. In Advances in Neural Information Processing Systems 27 (NIPS 2014), pp. 3104-3112, 2014.

[2] Thang Luong, Hieu Pham, and Christopher D. Manning. Effective approaches to attention-based neural machine translation. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 1412-1421, Lisbon, Portugal, September 2015. Association for Computational Linguistics.

[3] Alexander M. Rush, Sumit Chopra, and Jason Weston. A neural attention model for abstractive sentence summarization. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 379389, Lisbon, Portugal, September 2015. Association for Computational Linguistics.

[4] Oriol Vinyals and Quoc V. Le. A neural conversational model. In ICML Deep Learning Workshop, 2015.

[5] Tiancheng Zhao, Ran Zhao, and Maxine Eskenazi. Learning discourse-level diversity for neural dialog models using conditional variational autoencoders. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 654664, Vancouver, Canada, July 2017. Association for Computational Linguistics.

[6] Iulian Vlad Serban, Alessandro Sordoni, Ryan Lowe, Laurent Charlin, Joelle Pineau, Aaron C. Courville, and Yoshua Bengio. A hierarchical latent variable encoderdecoder model for generating dialogues. In Satinder P. Singh and Shaul Markovitch, editors, Proceedings of the Thirty-First AAAI Conference on Artificial Intelligence, February 4-9, 2017, San Francisco, California, USA, pp. 3295-3301. AAAI Press, 2017.

[7] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob
Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. V. Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc., 2017.

[8] Zhaojiang Lin, Genta Indra Winata, Peng Xu, Zihan Liu, and Pascale Fung. Variational transformers for diverse response generation. arXiv preprint arXiv:2003.12738, 2020.

[9] Samuel R. Bowman, Luke Vilnis, Oriol Vinyals, Andrew Dai, Rafal Jozefowicz, and Samy Bengio. Generating sentences from a continuous space. In Proceedings of The 20th SIGNLL Conference on Computational Natural Language Learning, pp. 10-21, Berlin, Germany, August 2016. Association for Computational Linguistics.

[10] Ryan Lowe, Nissan Pow, Iulian Serban, and Joelle Pineau. The Ubuntu dialogue corpus: A large dataset for research in unstructured multi-turn dialogue systems. In Proceedings of the 16th Annual Meeting of the Special Interest Group on Discourse and Dialogue, pp. 285-294, Prague, Czech Republic, September 2015. Association for Computational Linguistics.

[11] 稲葉通将. おーぷん 2 ちゃんねる対話コーパスを用 いた用例ベース対話システム. 第 87 回言語・音声理解と対話処理研究会 (第 10 回対話システムシンポジ ウム), 人工知能学会研究会資料 SIG-SLUD-B902-33, pp. 129-132, 2019.

[12] Jiwei Li, Michel Galley, Chris Brockett, Jianfeng Gao, and Bill Dolan. A diversity-promoting objective function for neural conversation models. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 110-119, San Diego, California, June 2016. Association for Computational Linguistics.

[13] Chia-Wei Liu, Ryan Lowe, Iulian Serban, Mike Noseworthy, Laurent Charlin, and Joelle Pineau. How NOT to evaluate your dialogue system: An empirical study of unsupervised evaluation metrics for dialogue response generation. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 2122-2132, Austin, Texas, November 2016. Association for Computational Linguistics.

[14] Tianyi Zhang*, Varsha Kishore*, Felix Wu*, Kilian Q. Weinberger, and Yoav Artzi. Bertscore: Evaluating text generation with bert. In International Conference on Learning Representations, 2020.

[15] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.


# Can-do 型日本語学習用資源としてのアニメーション字幕の分析

大河原 龍太朗 ${ }^{1}$ 望月 源 $^{2}$
${ }^{1}$ 東京外国語大学 言語文化学部 ${ }^{2}$ 東京外国語大学大学院総合国際学研究院
\{okawara. ryutaro. s0, motizuki\}@tufs. ac. jp

## 概要

近年, Can-do を活用した言語学習が言語教育では 主流であるが，同時に実用的な例文を増やすことが 1 つの課題となっている. 本研究では, 学習教材の 資源としてのアニメーション字幕に焦点を当てる.分析のため, 会話部分を人手により抽出し, AJ Cando リストを参照し，例文に利用可能な会話を選定す る.また，選定時に Can-do 目標からのレベル推定も 行う. 抽出した Can-do 会話とレベルから, Can-do 学習に対応した会話例教材の資源としての，アニメー ション字幕コーパスの利用可能性について考察する.

## 1 はじめに

近年，学習者の言語能力・技能を「〜できる」と いう形式で記述した Can-do を活用した言語学習が，言語教育で主流となっている. Can-do 型学習では,学習する項目に対応した会話例・例文などの教材が 久かせないが，教科書の例だけでは十分でない，教師が例文を作成して追加することも多いが，手作業 には量や話題の幅など限界もあり, 効率的な拡充方法が望まれる. 本研究では, 日本語アニメーション の字幕を Can-do 型学習用教材の資源として活用す ることを検討する $[1]$.

日本のアニメーション作品はストーリー性が強く, キャラクター同士の会話を軸に構成されている。そ のため，アニメーション字幕コーパスはさまざまな 機能・目的を持った豊富な会話を含んでおり, Cando 形式の学習に対応した質の高い日本語会話教材資源として，活用が期待できる。

本研究では，アニメーション字幕コーパス内から 会話部分を人手により抽出する. 次に, 東京外国語大学留学生日本語教育センターの AJ Can-do リスト [2]を参照し，例文に利用可能な会話（以下，Can-do 会話）を選定する．選定時に参照するレベル別の Can-do 目標に照らして Can-do 会話のレベル推定も 行う. 抽出した Can-do 会話とレベルから, Can-do 学習に対応した会話例教材の資源としての，アニメー ション字幕コーパスの利用可能性について考察する。

## 2 関連研究

アニメーションを学習資源として活用する取り組 みは, 1990 年代の「マルチメディア教材」への注目 に端緒をもち[3], 特に 2006 年の日本語教育学会で の「映画・アニメ・マンガ一日本語教育の映像素材」 というシンポジウムをきっかけに活発化した[4]. ア ニメーションの教材利用を検討した研究の一例には，田中と本間による研究がある。この研究は，スタジ オジブリのアニメーション映画作品「耳をすませば」 について, 「現実の日常会話」の出現頻度および「初級語彙・文法との対応関係」を分析した. その結果，当作品が「未習者が『耳をすませば」で学習した場合, 初級語彙の 4 割程度, また, 初級教科書全体に ほぼ匹敵する初級文法の 8 割弱がカバーできる」こ と, そしてアニメーションが初級日本語学習に活用 されうることを示した[5].

アニメーションは，文法事項を広くカバーしてい ることに加え，学習動機としても重要な役割を果た している. Alsubaie and Alabbad は," The Effect of Japanese Animation Series on Informal Third Language Acquisition among Arabic Native Speakers “において, アニメーション鑑賞に一定の学習効果があることを 報告したうえで，学習者が無意識的に学習に取り組 めるという点をメリットとして挙げている[6]. また,熊野・廣利の研究[3]をはじめとした多くの研究が, アニメ・マンガの外国人学習者の学習動機としての 役割を指摘している。

## 3 Can-do 会話の抽出

## 3.1 テレビ字幕コーパス

本研究では, 東京外国語大学計算言語学研究室で 收集整備している「日本語テレビ字幕コーパス」を 用いる[7]. このコーパスは, 東京都の地上波デジタ ルテレビ放送に付与されたクローズドキャプション (字幕)データを収集し, 不要な情報を除去した後に，字幕表示のために断片化した文を 1 文にまとめたう えで字幕表示のタイミング情報を付与したものであ

り，以下の特徵がある。
- 2012 年 12 月から 2021 年 9 月の時点で 518,960 番組, 179,268,965 文, 1,945,899,573 形態素.
- 各テキスト(番組)はテレビ局の番組情報に基 づいて，アニメ/特撮，スポーツ，ドキュメ ンタリー/教養, ドラマ, ニュース/報道, バラエティ, 映画, 音楽, 劇場/公演, 趣味〈教育, 情報ノワイドショー, 福祉, および, その他の 13 種類に分類されている.

本研究ではこのコーパスの中から，「アニメ/特撮」 のテキストをアニメーション字幕コーパス (アニメ ーション作品延べ 41,981 番組, 約 7,944 万語）とし て使用する。字幕データの例を図 1 に示す.

図 1 字幕コーパスの例(「ゲゲゲの鬼太郎」2020年 1 月 5 日放送より)

## 3.2 アニメーション作品の選定と分類

分析の対象とするアニメーション作品を以下の手順で選択しジャンルの分類をする.
- 日本国内外で人気の高い日本語アニメーシ ヨン作品群を選定する，選定基準として，世界最大級のアニメレビューサイトである” MyAnimeList” 1（総ユーザー数は 2021 年 9 月時点で $11,566,100$ 人以上）の”Top Anime”お よび”Most Popular”のランキング のいずれか で 1000 位圈内とする.
- アニメーション字幕コーパスから上記リス 卜内にある作品を無作為に 12 作品選出する.
- 選出したアニメーション作品のジャンルを 定める. ジャンルは, 日本国内におけるアニ メーション配信サービス大手である D アニ メストア゙の分類に準じて決定する.

-上記で定めたジャンルを Aファンタジーと B リアリティの 2 グループに大別する.今回の無作為抽出では, 12 作品を選出し, それぞ れが 7 つのジャンルに割り当てられた。選出された

属するかを表 1 に示す.

表 1 選定されたアニメーション作品

## 3.3 コーパス内の Can-do 会話抽出

アニメーション字幕コーパス内の会話部分を次の 基準で抽出する.
- 共通の話題についての, 一回以上話者が交代 する発話を会話
- 内容の明らかでない指示語を多く含む会話 や，文脈の理解が難しい会話の選択は避ける
- 話題の転換により会話の区切りを判断する
- ただし, 会話文の長さの目安を, 最大 20 文程度, 話者交代の回数を 6 回前後と定める
- 前の文の字幕表示終了時間と次の文の開始時間が一致している場合は会話は連続し, 途切れた時点で会話が途切れたと考える

抽出した会話が Can-do 会話かどうかを次の考え方 で判定する. 本研究では, Can-do リストとして, 東京外国語大学留学生日本語教育センターが開発した

「JLPTUFS アカデミック日本語 Can-do リスト (AJ Can-do リスト） [2]の 4 技能「読解」「聴解」「文章表現」「口頭表現(独話・対話)」のうち，「口頭表現 （対話）(2017 年 3 月 21 日版)」を用いる. AJ Cando リストは, それぞれについて, 初級 1 , 初級 2 ,中級 1 , 中級 2 , 中上級, 上級 1 , 上級 2 , 超級の 8 段

階に分かれている。また，各レベルには「何ができ るか」の Can-do 目標と，扱う会話のテーマ例が掲載 されている.

例えば，初級 1 では「基本的な挨拶ができる／易 しい語彙や表現を使って，簡単な質問をしたり，答 えたりできる」で，テーマ・トピック例は「挨拶,買い物，注文」のように記述されている。

抽出した会話のそれぞれと AJ Can-do リストの記述を比較し, Can-do 会話とそのレベルを推定する.

今回の抽出では, 対象とした全 12 作品 100 話分 の字幕データから， 1,600の Can-do 会話を得た. 655 会話はグループ A（ファンタジー）， 945 会話はグ ループ B(リアリティ)に大別された。総文数 35,261 文の内, Can-do 会話の文数は 19,808 文で, 全体の約 $56.2 \%$ が Can-do 会話として推定された。詳細を表 2 に示す. 表中で, C 文数は内 Can-do 会話の文数, C 率は Can-do 会話率, $\mathrm{C}$ 話数は Can-do 会話の数をそ れぞれ表す.

## 表 2 Can-do 会話

## 4 Can-do 会話の分析

3 で抽出した Can-do 会話について, 会話率, レべ ル分布の観点から利用可能性について分析をする.

## 4.1 Can-do 会話率

表 2 の「C 率」欄に, 各作品の Can-do 会話率が示
されている. Can-do 会話率は, 作品中の Can-do 会話文数を作品中の総文数で割ったもので，1 つのテ レビ番組内にどのくらい Can-do 会話が含まれてい るかの割合を示している。最も高い B6（銀の匙 Silver Spoon)では $82.9 \%$, 最も低い A5 (僕のヒーロ 一アカデミア)においても $30.9 \%$ の Can-do 会話率が 得られた。また全作品を総合した Can-do 会話率は $56.2 \%$ \%゙った. これらの結果より, 人気作品群に は学習教材資源として十分な量の Can-do 会話が含 まれていると考えられる。

グループ A とグループ B での Can-do 会話率を比較すると，A が $46.3 \%$ であるのに対し，B では $64.7 \%$ であり，全字幕に対する Can-do 会話の割合は B の 方が高かった.グループ A（ファンタジー）はサブ ジャンルが「SF/ファンタジー」「ホラー/サスペン ス/推理」「アクション/バトル」であり，戦闘アク ションなどの描写が多い. 一方, グループ B(リアリ ティ)のサブジャンルは「スポーツ/競技」「ドラマ /青春」「恋愛/ラブコメ」「日常/ほのぼの」であり，一般的な会話がより多かったものと推測される.

## 4. 2 Can-do レベル分布

Can-do 会話として利用可能かどうかを判定する 際に，Can-do 目標の記述を参照し，レベルの推測も おこなった．各レベルごとの Can-do 会話の分布を 表 3 に示す.

## 表 3 Can-do レベルの推定結果

表 3 に示す今回の調査で，アニメーション字幕コ 一パス内の Can-do 会話は, 初級 1 から上級 2 まで の幅広いレベルをカバーしていた。なかでも，中級 2 と中上級の Can-do レベルについて, 豊富な会話例 を含んでいた。一方，上級以上と推測される Can-do 会話は少なく，最上位の「超級」に該当するCan-do
会話は抽出されなかった. この結果より, 人気作品群のアニメーション字幕コーパスは, 比較的広い範囲の Can-do レベルの会話を含んでおり，特に中級 2 と中上級の Can-do レベルについて, 豊富な会話例 を含んでいると推測される。

次に，グループ A とグループ B 間の Can-do レベ ル分布を比較する。事例が 0 だった超級を除いた 7 レベルでの結果に対して，帰無仮説「A・B グループ 間に Can-do レベル分布の差はない」とした $\chi^{2}$ 検定 を行ったところ，帰無仮説は亭却され，2 グループ の Can-do レベル分布に有意な差がみられた（ $\chi 2=$ $136.21, \mathrm{p}<2.2 \mathrm{e}-16$ ). 続いて残差分析を行った. 調整済み残差の結果を表 4 に示す。

表 4 残差分析における調整済み残差

表 4 で*は $5 \%$ 水準，**は $1 \%$ 水準, $* * *$ は $0.1 \%$ 水準で 差が有意であったことを表す．統計的に見て，Cando 会話は中級 2 ではグループ B，中上級ではグルー プ A に非常に高く, 初級 1 ではグループ B，上級 2 ではグループ A に高く, 中級 1 ではグループ A にや や高い割合で出現しているといえる.

次に，グループ A とグループ B の Can-do 会話の 総数に占める，各レベルの Can-do 会話数の割合を 表 5 に示す.

表 5 Can-do 会話の各レベルでの割合

表 5 に示すとおり, グループA においては, 中上級, 中級 2 が多く, それぞれ $40.71 \%$ と $28.98 \%$ だっ た. 以下, 初級 2 , 中級 1 , 上級 1 と続き, 初級 1 と 上級 2 は非常に少なかった。一方グループ B におい ては, 中級 2 が最も多く $49.89 \%$ であり, 次に中上級 が $24.55 \%$ だった. 以下, 初級 2 , 上級 1 , 中級 1, 初級 1 と続き, 上級 2 は非常に少なかった.

## 4.3 分析のまとめ

以上の分析から次のことがいえる。
- 今回調查した人気作品群のアニメーション 字幕コーパスには, Can-do ベースの会話例教材資源として十分な量の会話が含まれる。
- 字幕内の Can-do 会話率は作品のジャンルに よって異なり，ファンタジーに分類されるグ ループ A よりもリアリティに分類されるグ ループ B が高い傾向が見られた.
- 字幕コーパス内の会話は初級から上級まで の広い Can-do レベルをカバーしており，特 に, 中級 2 と中上級の割合が多かった. また,今回の調查では最上位の超級の Can-do 会話 は抽出されなかった。
- 字幕コーパス内の Can-do レベル分布では,平均 Can-do 会話率が低いグループ A の方が,比較的難度の高い中上級の会話をグループ B

一」作品は，よりシリアスな話題についての 会話が多いこと，一方で B の「リアリティ」作品は日常シーンなどを多く含み, 日常会話 レベルの Can-do 会話がより多く含まれるこ となどが理由として推測される。

## 5 おわりに

本研究では, 日本語アニメーションの字幕をCando 型学習用教材の資源として活用することを検討 した. アニメーション字幕コーパス内から会話部分 を人手により抽出し, AJ Can-do リストの各レベル の Can-do 目標を参照し, 例文に利用可能な Can-do 会話の選定とレベル推定を行った. 調査・分析の結果から，アニメーション字幕コーパスは，さまざま な機能・目的を持った豊富な会話を含んでおり, Cando ベースの会話例教材の資源として適していると 考えられる. 本調査はアニメーションを学習教材に 利用するという観点からは, 比較的規模が大きいと 言えるが，今後さらに対象数を増やした詳細な分析 を行う必要がある．また，今回の著者による Can-do レベル推定に加えて, 今後日本語教育者も含めた複数での推定を行いレベル推定の精度を高める必要も ある. さらに, 今後の展望として, 本研究で抽出し た Can-do 会話を Can-do レベル付きの教師データと して用いることで, 字幕コーパスからの Can-do 会話自動抽出への応用が考えられる。

## 謝辞

本研究は JSPS 科研費 JP19H04224, JP20H00096 の

助成を受けたものです.

## 参考文献

[1] 大河原龍太朗, Can-do 型日本語学習用資源とし てのアニメーション字幕の分析, 卒業論文, 東京外国語大学, 3. 2022.

[2] 東京外国語大学留学生日本語教育センター, JLPTUFS アカデミック日本語 Can-do リスト (AJ Can-do リスト）, https://tufs-jlc-

kyoten.jp/kyoten/development/ajcan-do/cando_list, 2022-01 閲覧.

[3] 熊野七絵, 廣利正代,「アニメ・マンガ」調査研究--地域事情と日本語教材 An examination of "ANIME \& MANGA": regional information overseas and Japanese-Language materials，国際交流基金日本語教育紀 4, pp. 55-69, 国際交流基金, 2008.

[4] 臼井直也, 日本語教育におけるアニメーション 研究のこれまでとこれから, 日本研究教育年報 21 , pp. 103-117, 東京外国語大学, 2017.

[5] 田中里実, 本間淳子, 初級語彙・文型による

「耳をすませば」スクリプトの分析：日本語学習資源としてのアニメーション映画の可能性, 北海道大学留学生センター紀要 13, pp. 98-117, 北海道大学留学生センター, 2009.

[6] Alsubaie, Sara S.; Alabbad, Abbad M., The Effect of Japanese Animation Series on Informal Third Language Acquisition among Arabic Native Speakers. English Language Teaching, v13 n8, pp. 91-119, 2020.

[7] Hajime Mochizuki and Kohji Shibano, Building Very Large Corpus Containing Useful Rich Materials for Language Learning from Closed Caption TV, World Conference on E-Learning in Corporate, Government, Healthcare, and Higher Education, Volume 2014, No. 1, pp. 1381-1389, Association for the Advancement of Computing in Education (AACE), 10. 2014.


# スペイン語古文書の年代・地点推定のための最適な手法の探求

川崎 義史 ${ }^{1}$ 永田 亮 $^{2}$
${ }^{1}$ 東京大学 ${ }^{2}$ 甲南大学
ykawasaki@g.ecc.u-tokyo.ac.jp nagata-nlp2022@ml.hyogo-u.ac.jp.

## 概要

現存する文献史料に立脚する歴史学や通時言語学 において，文書の正確な年代推定と地点推定は最重要課題の一つである。本稿では, スペイン語古文書 の作成年代と作成地点を，文書内容に基づき回帰に より推定する方法を検討した。具体的には，複数の 回帰モデルと文書ベクトルとの組み合わせによる比較実験を行い，それぞれの特性を分析した。実験の 結果，次の 2 つの知見を得た。まず，文書ベクトル としては，分散表現ベースのものよりも，単語・文字 $n$-gram の方が優れていた。第二に，回帰モデルと しては, 加重平均 $k$-NN の性能が最良だった。また,性能はやや劣るものの，予測の信頼度として推定分散が求まるガウス過程の有効性も確認された。

## 1. はじめに

現存する文献史料に立脚する歴史学や通時言語学 において, 文書の作成年代と作成地点の正確な推定 は，真贋判定とともに最重要課題の一つである。文書の作成年代と作成地点の推定は，それぞれ年代推定, 地点推定と呼ばれる。作成地点を緯度・経度で 表寸場合，各々の推定を緯度推定 - 経度推定と呼ぶ。

文書内容に基づく年代推定と地点推定は，分類問題として解かれることが一般的である (2 節参照)。

これに対し, 本稿では, 年代と地点を連続変数とみ なし, 両者の推定を回帰問題として扱う方法を検討 した。具体的には, 複数の回帰モデルと文書ベクト ルとの組み合わせによる比較実験を行い，各々の特性を分析した。データとして，中近世スペイン語古文書を用いた。古文書とは，法令，権利，財産譲渡等に関する近代以前の手書きの行政・法律関係文書 の総称である。

実験の結果，次の 2 つの知見を得た。まず，文書 ベクトルとしては，分散表現ベースのものよりも，単語・文字 $n$-gram の方が優れていた。このことは,文書の全体的な情報よりも，特定の単語や文字連続 が推定に効果的であることを示唆している。第二に，回帰モデルとしては, 加重平均 $k$-NN の性能が最良 だった。これは，内容が類似した文書が多く含まれ るコーパスの性質によると考えられる。また，性能 はやや劣るものの，予測の信頼度として推定分散が 求まるガウス過程（Gaussian Process: GP) [1]の有效性も確認された。

本稿の構成は, 以下の通りである。2 節で関連研究を概観する。 3 節では, データセットの説明を行 う。 4 節で実験設定を説明し, 5 節で実験結果の報告 と考察を行う。 6 節でまとめと今後の課題を述べる。

## 2. 関連研究

文書内容に基づく年代推定と地点推定は，分類の 枠組みで扱われるのが一般的である。年代推定では，一定の期間ごとに分割されたビンがクラスとなる [2]-[6]。地点推定では，州や県などの行政単位や機械的に分割された格子状の範囲がクラスとなる[6][9]。分類器には，ナイーブベイズ，ロジスティック 回帰，サポートベクターマシン，ニューラルネット などが用いられる。

年代推定や地点推定を回帰問題として扱う研究も 僅かだが存在する。[10]は, 品詞頻度を特徴量とし,

芥川龍之介の作品の執筆年代を線形回帰, Support Vector Regression（SVR），ランダムフォレスト回帰 を用いて推定した。[2]は，GPを用いて北欧語古文書 の年代推定を行った。文書は文字・単語 $n$-gram の二值ベクトルで表現されている。[11]は, ツイートの緯度・経度をニューラル回帰で推定した。

## 3. データセット

データセットには，中近世スペイン語古文書コー パス CODEA+2015 (Corpus de Documentos Españoles Anteriores a 1800）を使用した[12]。このコーパスは, 1100 年から 1800 年の間にスペイン各地で発行され た約 2500 文書から成る。このうち, 文書長が 10 語以上で, 作成年代と地点が明記されている 2076 文書 の校訂版を利用した。校訂版では，省略記号が展開 され,綴りや単語分割等が統一的に処理されている。
現段階では，文書の年代分布・地点分布に大きな 偏りが存在する。文書数が少なく粒度の細かい推定 は困難なため, 作成地点の緯度・経度には, 今日そ の地点が属する県の県都のそれを採用した。文書長 の平均は 582 語, 最小値は 10 語, 最大値は 6271 語,標準偏差は 571 語と変動が大きい。

## 4. 実験設定

## 4.1. 回帰モデル

回帰モデルとしては, GP, 加重平均 $k-\mathrm{NN}$, Ridge 回帰，SVR[13]用いた。GP は，通常の線形回帰が 適用しにくい問題に対し，より柔軟なモデリングを 可能にする回帰モデルである[1]。また, 予測の信頼度を分散で表現できるベイズ的なモデルでもある。 カーネルには, 年代推定・地点推定ともに RBF カー ネルを使用した。カーネルのハイパーパラメータの 最適化は, GPy で行なった。最適化の容易さも GP の利点である。加重平均 $k$ - $\mathrm{NN}$ の重みは, 文書間の コサイン類似度とした。最適な $k \in[1,10]$ は, 訓練デ 一タでの leave-one-out で決定した。Ridge 回帰を使用したのは, 後述のように入力次元数が大きいため,過剰適合を緩和するためである。ハイパーパラメー タはデフォルトのものを使用した[14]。SVR のカー ネルには，年代推定・地点推定ともに RBF カーネル を用いた。その他のハイパーパラメータはデフォル トのものを使用した[14]。

## 4. 2. 文書ベクトル

回帰モデルの入力となる文書ベクトルには, 単語・文字 $n$-gram の他に, Doc2Vec[15] と BERT[16]で求め た文書の分散表現を用いた。前処理として，作成年代・地点を表している箇所は人手で削除した。

単語・文字 $n$-gram は, グラムの有無の二值ベクト ルと頻度ベクトルの 2 種類を使用した。 $n \in\{1,2,3\}$ とした。特徴空間は, 訓練データの文書に含まれる 最頻の 768, 2000 パターンとした。ただし, 文字 1gram など，種類数がこれら以下になる場合がある。次元数 768 は, 後述の BERT に合わせたものである。

Doc2Vec による文書の分散表現は, gensim [17]で 求めた。テストデータの文書の分散表現は, 訓練デ 一夕による学習モデルから推測した。次元数は, 100,
^{i} \mathrm{https}$ ///sheffieldml.github.io/GPy/

ii https://huggingface.co/dccuchile/bert-base-spanish-wwmcased
}

200，768，1000とした。その他のハイパーパラメー タはデフォルトのものを使用した。

BERT による文書の分散表現には, [CLS]トークン のそれを使用した。現代スペイン語のモデル（bertbase-spanish-wwm-cased）を使用し，次元数は 768 と した ii 。大文字・小文字の区別は無視した。入力文書長の上限（512 語）があるため，上限以上の文書は 512 語ごとに分割し, 複数のサブ文書の分散表現の 平均を文書の分散表現とした。

文書長が影響しないように，いずれの文書ベクト ルも，ノルムが 1 になるように正規化した。正規化 をしない場合は，推定性能が大幅に悪化した。

## 4.3. 評価指標

実験は, 2076 文書を 9 対 1 で訓練データとテスト データに分割して行なった。文書数が少なく, 年代・地点分布に偏りがあるため，均質なデータ分割は難 しいと判断し，開発データは準備しなかった。開発 データによるハイパーパラメータの調整は，今後の 課題としたい。

推定性能の評価指標には, Root Mean Squared Error （RMSE）を用いた。参考のため, Mean Absolute Error （MAE），MedAE（Median Absolute Error）も報告す る。地点推定については，緯度・経度の予測値から 正解地点との直線距離を GeoPy で求め, これを誤差 とした iii。年代推定の単位は年とした。ベースライン は，訓練データの年代，緯度，経度の平均による推定とした。

## 5. 実験結果と考察

表 1 に各モデルと入力の組み合わせによる年代推定の実験結果を，表 2 に地点推定の実験結果を報告する。緯度推定・経度推定の結果は，付録の表 3 を参照。簡単のため, 緯度・経度は同一のモデルで 推定した。各モデルで最良の結果は太字にし，全体 で最良のものには下線を付した。

入力が $n$-gram の場合は, 最良の結果となった $n$ の 場合を報告している。W- $n$ と Ch- $n$ は，それぞれ，単語と文字の $n$-gram を表す。末尾の-bin と-freq は，そ れぞれ，二值ベクトルと頻度ベクトルを表す。

図 1 は, 文字 3-gram の頻度ベクトルを入力とし た GPによる年代（左）, 緯度（中央）, 経度（右）

iii https://geopy.readthedocs.io/

の予測値と正解値のプロットである。グレーの縦棒 は推定標準偏差を表す。実線の対角線は，予測値が 正解値と一致する場合に相当する。上下の破線は,年代推定では $\pm 50$ 年の区間を, 地点推定では $\pm 1$ 度 の区間を示す。地点推定では, 年代が古い (新しい)文書ほど寒色（暖色）で示した。

## 5.1. 年代推定

表 1 年代推定の結果

推定性能は $k$-NN が最良となり, 続いて GP, Ridge 回帰, SVR の順となった。いずれのモデルもベース ラインを上回った。 $k$-NN の性能が良いのは, 内容が 類似した文書が多く含まれるコーパスの性質による と考えられる。非線形の関係も捉えられる GP は, より単純なモデルの $k$-NNを上回らなかった。今後,複数のカーネルの組み合わせ等を検討する必要があ る。Ridge 回帰の性能も悪くはなく, 線形に変化する 変数の存在が示唆される。SVR は，他のモデルより も大幅に低い結果となった。入力は，Doc2Vec や BERT による分散表現ベース のものよりも， $n$-gram の方が優れていた。これは,文書の全体的な情報よりも， $n$-gram が捉える具体的 な単語や文字連続が推定に効果的であることを示唆 している。全般的に, 単語よりも文字 $n$-gram の方が 優れていた。どのモデルでも単語では $n=1$, 文字で は $n=3$ での性能が最良だった。SVR 以外は, 次元数 が大きい方が高性能だった。二値ベクトルと頻度ベ クトルの優劣は，モデルに依存するようである。

Doc2 $\mathrm{Vec}$ と BERT の分散表現の優劣は判然としな かった。使用した BERT モデルは現代スペイン語の ものだが，中近世語に対しても，ある程度，有効な ようである。これは，BERTが subword を考慮する ため未知語にも対応可能であり，また，現代語と中近世語の乘離が小さいためだと考えられる。

GP の性能はやや劣るが, 予測の信頼度として推定標準偏差が求まることは大きな利点である。モデル と入力の種類によらず, 推定標準偏差と絶対值誤差 には 0.2 程度の正の相関が見られた (付録の図 2)。

モデルと入力の種類によらず，文書長が大きいほ ど, 誤差が小さくなる傾向が見られた(図は非掲載)。長い文書ほど，推定に寄与する語が多く含まれるた めだと考えられる。地点推定でも同様の傾向が見ら れた。

## 5. 2. 地点推定

年代推定と同様に, $k$-NN が最良のモデルとなり,続いて GP, Ridge 回帰, SVR の順となった。いずれ のモデルもベースラインを上回った。年代推定と異 なり，SVR も他のモデルと匹敵する性能だった。入力は, 年代推定同様, $n$-gram の性能が良かった。GP では，推定標準偏差と絶対值誤差には相関は見られ なかった（付録の図 2）。

緯度・経度の RMSE を各々のレンジ (最大值一最小値）で割り標準化すると, 経度の方が緯度よりも 誤差が $20 \%$ 程度小さくなった。つまり, 経度の方が 緯度よりも推定しやすいことを意味する。これは,中世スペインの再征服運動の結果, 東西方向よりも 南北方向の言語的特徵が類似していることの反映だ と考えられる[18]。

年代が新しい文書は, 経度推定の誤差が大きくな った（図 1）。これは, 年代の新しい文書の少なさ に加え, 16 世紀以降, 半島西部 - 中部 - 東部の方言的特徴が消失し言語が均質化したため, 経度の推定 が困難になったためだと考えられる[19]。

図 1 文字 3-gram の頻度ベクトルを入力とした GP による年代（左）, 緯度（中央）, 経度（右）の予測値 と正解值のプロット。グレーの縦棒は推定標準偏差を表す。実線の対角線は, 予測値が正解値と一致する場合に相当する。上下の破線は，年代推定では $\pm 50$ 年の区間を，地点推定では $\pm 1$ 度の区間を示す。地点推定 では，年代が古い（新しい）文書ほど寒色（暖色）で示した。

表 2 地点推定の結果

## 6. おわりに

本稿では，スペイン語古文書の作成年代と作成地点を，文書内容に基づき回帰により推定する方法を検討した。具体的には，複数の回帰モデルと文書ベ クトルとの組み合わせによる比較実験を行い，それ ぞれの特性を分析した。実験の結果，次の 2 つの知見を得た。まず，文書ベクトルとしては，分散表現 ベースのものよりも，単語・文字 $n$-gram の方が優れ ていた。第二に, 回帰モデルとしては, 加重平均 $k$ $\mathrm{NN}$ の性能が最良だった。また, 性能はやや劣るもの の, 予測の信頼度として推定分散が求まるガウス過程の有効性も確認された。

今後の課題は，以下の 4 点である。まず，カーネ ルや入力ベクトルの次元数などのハイパーパラメー 夕の調整が必要である。この点で, GP はハイパーパ ラメータが自動的に求まるという利点がある。 $n$ gram を入力とする場合, 中頻度層のものも考慮する ことで，性能向上が期待される。第二に，年代推定 と地点推定をマルチタスクとして扱い，ニューラル に回帰することが考えられる。緯度と経度には相関 がないが, 年代と緯度, 年代と経度には相関がある。 これらの相関を考慮し, 年代と地点を同時に予測す ることで性能向上が期待される[6]。第三に，同一の 入力を使用した分類モデルとの比較が必要である。第四に，[6], [20]のように，推定の根拠となる単語・文字列の特定が望まれる。 $n$-gramを入力とする場合,重みの絶対值の大きなものの特定は容易である。GP では, 関連度自動決定により, 推定に影響のある次元の特定ができる[1]。一方, Doc2Vec や BERT によ る分散表現を入力とする場合, ある次元が具体的な 語に対応しているわけではないので，特定は難しい ように思われる。

## 謝辞

本研究は JSPS 科研費 $18 \mathrm{~K} 12361$ の助成を受けたもの です。

## 参考文献

[1]持橋大地, 大羽成征, 『ガウス過程と機械学習』.東京: 講談社, 2019.

[2] S. Boldsen and F. Wahlberg, "Survey and Reproduction of Computational Approaches to Dating of Historical Texts," in Proceedings of the 23rd Nordic Conference on Computational Linguistics (NoDaLiDa), 2021, pp. 145-156.

[3] F. De Jong, H. Rode, and D. Hiemstra, "Temporal Language Models for the Disclosure of Historical Text," in Humanities, Computers and Cultural Heritage: Proceedings of the 16th International Conference of the Association for History and Computing (AHC 2005), 2005, pp. 161-168.

[4] G. Tilahun, A. Feuerverger, and M. Gervers, "Dating Medieval English Charters," Ann. Appl. Stat., vol. 6, no. 4, pp. 1615-1640, 2012.

[5] N. Kanhabua and K. Nørvåg, "Using Temporal Language Models for Document Dating," Lect. Notes Comput. Sci. (including Subser. Lect. Notes Artif. Intell. Lect. Notes Bioinformatics), vol. 5782 LNAI, no. PART 2, pp. 738-741, 2009.

[6] Y. Kawasaki, "Dating and Geolocation of Medieval and Modern Spanish Notarial Documents Using Distributed Representation," in QUALICO2021 Book of Abstracts, 2021, pp. 34-36.

[7] S. Roller, M. Speriosu, S. Rallapalli, B. Wing, and J. Baldridge, "Supervised Text-Based Geolocation Using Language Models on an Adaptive Grid," in Proceedings of the 2012 Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning, 2012, pp. 1500-1510.

[8] B. Han, P. Cook, and T. Baldwin, "Text-Based Twitter User Geolocation Prediction," J. Artif. Intell. Res., vol. 49, pp. 451-500, 2014.

[9] B. Wing and J. Baldridge, "Hierarchical Discriminative Classification for Text-Based Geolocation," in Proceedings of the 2014 Conference on Empirical
Methods in Natural Language Processing, 2014, pp. 336-348.

[10] 金明哲, “文章の執筆時期の推定 : 芥川龍之介の作品を例として,” 行動計量学, vol. 36, no. 2, pp. 89103, 2009.

[11] P. Mishra, "Geolocation of Tweets with a BiLSTM Regression Model," in Proceedings of the 7th Workshop on NLP for Similar Languages, Varieties and Dialects, 2020, pp. 283-289.

[12] GITHE (Grupo de Investigación Textos para la Historia del Español), "CODEA+ 2015 (Corpus de Documentos Españoles Anteriores a 1800).” [Online]. Available: http://www.corpuscodea.es/.

[13] C. C. Chang and C. J. Lin, "LIBSVM: A Library for Support Vector Machines," ACM Trans. Intell. Syst. Technol., vol. 2, no. 3, pp. 1-27, 2011.

[14] F. Pedregosa et al., "Scikit-learn: Machine learning in Python," J. Mach. Learn. Res., vol. 12, pp. 2825-2830, 2011.

[15] Q. Le and T. Mikolov, "Distributed Representations of Sentences and Documents," in Proceedings of the 31st International Conference on Machine Learning, 2014, vol. 32, no. 2, pp. 1188-1196.

[16] J. Devlin, M. W. Chang, K. Lee, and K. Toutanova, "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding," in Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, 2019, pp. 4171-4186.

[17] R. Řehůřek and P. Sojka, "Software Framework for Topic Modelling with Large Corpora," in Proceedings of the LREC 2010 Workshop on New Challenges for NLP Frameworks, 2010, pp. 45-50.

[18] R. Penny, A History of the Spanish Language. Cambridge: Cambridge University Press, 2002.

[19] R. Penny, Variation and Change in Spanish. Cambridge: Cambridge University Press, 2000.

[20] A. Rahimi, T. Baldwin, and T. Cohn, "Continuous Representation of Location for Geolocation and Lexical Dialectology using Mixture Density Networks," in Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, 2017, pp. 167-176.

## 付録

表 3 緯度推定・経度推定の結果

図 2 文字 3-gram の頻度ベクトルを入力とした GPによる推定標準偏差と年代推定（左）, 緯度推定（中央）, 経度推定（右）の誤差のプロット。年代推定では, 推定標準偏差と絶対値誤差には 0.2 程度の正の相関が見られた。地点推定では，相関は見られなかった。


# 話し言葉生成のための発話文表現文型辞書

夏目和子 佐藤理史
名古屋大学大学院工学研究科
natsume @ nuee. nagoya-u. ac. jp

## 概要

多様な言語形式の発話文の自動生成を可能とする ために，発話意図毎にその意図を表す表現文型を整理した『発話文表現文型辞書』の編纂を進めている. この辞書の特徴は，それぞれの表現文型に，その文型の「話し方の特徴」をベクトルとして記述する点 にある。本稿では，旧版からの改訂のポイントを中心に，その現状を報告する. 主な変更点は，(1) 発話意図のグルーピング見直し, (2) 文型を接続すること ができる述語の記述方法の変更, (3) 例文の整理, (4)表現文型を主要部と末尾部に分割，の 4 点である.現在の辞書は，60 種類の発話意図に対して，8,055 文型を収録している。

## 1 はじめに

日本語の特徴のひとつに, 文末の述語形式の多様性がある。たとえば，話し手が聞き手に行為の許可 を求める「許可要求」を表す表現には，付録 A に示 すような多様な形式が存在する。これらの形式のう ち, どの形式を使用するかは話し手次第であり, そ の選択はある種の情報を伝達する。

たとえば，「帰らせてくれ」という表現は男性的 で強い要求という特徴を持つため, その表現の話し 手は男性であろうと推測される. それに対して,「帰 らせてくださいませんか」という表現は女性的で丁寧という特徴を持つため, 話し手は大人の女性であ 万うと推測される. 小説の会話では, このような情報伝達を巧みに用い，地の文で明示することなしに 会話の話し手が誰であるかを読者に提示する.これ は，会話の書き分けと呼ばれ，小説執筆のひとつの 技法ともなっている[1].

我々は, 小説の自動生成 $[2] を$ 進める過程で会話の 生成が必要となり，これを実現するための『発話文表現文型辞書』の編纂を進めている [3,4].この辞書 では，発話の目的を「発話意図」として分類し，そ れぞれの発話意図に対して，その意図を表現する表現文型を収録している。それぞれの表現文型には，
その表現が話し方としてどのような特徴を持つかと いう情報（「話し方の特徴」）を付与している点に 本辞書の独自性がある.

本稿では，旧版[4]からの変更点を中心に，この辞書の現状を報告する。

## 2 辞書の概要

『発話文表現文型辞書』のエントリは，特定の発話意図を表す表現文型であり，主に下記の 4 種類の 情報で構成されている。

1. 発話意図=発話の目的

2. 表現文型＝発話意図を表現する言語形式

3. 例文

4. 話し方の特徴ベクトル $=6$ 軸 20 次元

2021 年 12 月現在の本辞書のサイズは, 発話意図 60 種類, エントリ数 8,055 , 例文数 23,489 である.

## 3 発話意図と文型

本辞書における発話意図とは，話し手の発話時に おける発話の目的である。その発話がどのように聞 き手に理解されるかまでは含意しない.

本辞書の発話意図および表現文型の決定には，荒木 $[5] ，$ グループ・ジャマシィ $[6]$ ，市川 [7]などを参考にした。なお, 辞書の全体像を把握するために,発話意図を 11 のグループに分類し, 追加・再編成を 続けている，表 1 に，発話意図のグループリストを 示す.

発話意図のグルーピングに厳密なルールは決め難 いが，宮島 [8]の発話・伝達上の文の類型を拝借する と，グループ R と 0 は働きかけの文， J と I と E は 意志・願望の表出の文, $\mathrm{T}$ と $\mathrm{C}$ は現象文・判断文, $\mathrm{Q}$ は質問文ということになろう。なお，グループ A と Kの大部分は定型表現である.

$
\text { グループ C には, 「だろう」「らしい」「みたい }
$

だ」「ようだ」「かもしれない」「ちがいない」「は ずだ」などのモダリティを表す文型を収録した。エ ントリ数は 5,700 以上であり, 今後, 適切な発話意図を設定して整理する予定である.

 &  \\

## 4 表現文型と例文

表現文型とは，発話意図を表現する際に使用され る言語形式のことである. 本辞書の表現文型の大半 は文末の述語形式であるため，以下の 2 つの要素を 記述する。

1. 核となる述語（述語核）の活用型とテンス・否定の有無の情報（接続形式）

2. 述語核に後続する助動詞や助詞などの文字列. 主要部と末尾部に分けて記述する

発話意図 R05「忠告」の接続形式, 主要部, 末尾部，例文を表 2 に示す.

## 4.1 接続形式

旧版では述語核の情報を，日本語教育で用いられ ている文法関連の記号で記述していた。これを変更 し，今回の版からは HaoriBrics3（HB3） [9]による 表層文の生成が容易になるような記述法を採用した。接続形式は, 活用型とテンス・否定の有無を下記 の記号を組み合わせて記述する。

 &  &  &  \\

たとえば，表 2 の発話意図「忠告」では，主要部「方がいい」に接続する述語核は, Vbnt（動詞型：無標，ない，夕）である。これは，この主要部に例文に示すような 3 種類の形式が接続すること意味す る。一方，主要部「ことだ」に接続する述語核は， Vbn（動詞型：無標，ない）である. なお, Vt（動詞型：夕）に接続する「食べたことだ」は非文ではな いが，忠告の意図を表さないので接続形式に含まれ ない。

## 4.2 主要部と末尾部

主要部には，述語核に後続する助動詞（相当句） と接辞などを記述する。これらを含まない文型の場合は，述語核の活用形などを，HB3 のルールに従っ て記述する。具体的には，命令形やチャ形などであ る.

末尾部には，終助詞と文末記号（？/!/小など） を記述する.末尾部を独立して記述するメリットは，第一に過不足なく記述できているか確認しやすいこ

と，第二に，後述する「話し方の特徴」を記述する 際に，一貫性を保ちやすくなることである．終助詞 は多くの場合, 女性的・男性的, 大人っぽい・子供 っぽい，強弱などの特徴が表されるので，他の発話意図の「話し方の特徵」と比較しながら作業を行う ことが容易となる。

## 4.3 例文

例文では原則として，活用型毎に共通の述語を使用した。 具体的には, 動詞型「食べる」, イ形容詞型「美しい」，判定詞型「綺麗だ」である.

表 2 で示すように，一つのエントリに複数の接続形式を記述した場合は，記号（／）を用いて，全て の例文をまとめて記述している。

## 5 話し方の特徴ベクトル

話し方の特徴は, 表 3 に示す 6 軸 20 要素のベク トルとして記述する。この記述法を定めるにあたっ ては, 日本語記述文法研究会 $[10,11]$ から, 終助詞の 機能，談話の文末表現に見られる文体差，日本語の 複雑な待遇的意味などを参考にした。

表 3 話し方の特徵ベクトルの軸と要素

各要素の値域は，0から 3 （印象軸は 0 か 1）の整数値である。対立する要素の値は，かならず一方は 0 であり, 両方に 1 以上の値を付与することはない.

以下では， ベクトルの値をどのように付与してい るか，その概略を示す。

## 5.1 ジェンダーと年齢の軸

ジェンダーと年齢の軸は, 話者の属性に関係があ りそうだが，あくまで話し方の特徴， 口調について の要素とする。值は，おおよそ文型を構成する要素 に基づいている。具体例を以下に示す.

1. 終助詞さ, ぞ男性的-1

2. 終助詞ぜ男性的-2

3. 終助詞わ $U$ 女性的 -1

4. 終助詞わよ, わ数 女性的 -2

5. からだ，からだよ 男性的-1

6. からよ，から数 女性-1

7. からじゃ 大人っぽい-3

8. のだ，のだよ男性的-1

9. の,のよ女性的-1

10. のね数女性的-2

11.です/ます十ぞ/な男性的-2, 大人っぽい-2

12. です/ます十の/のよ女性的 -2 , 大人っぽい-2

13.だろう，だろうな男性的-1

14. でしょうね 女性的-1

15.たまえ男性的 -2 , 大人っぽい-1

16.やがれ男性的-2

17. じゃんとどもっぽい-1

なお, 終助詞「わ」は，必要に応じてイントネー ションをU（上昇調）と D（下降調）の 2 種類に区別 している. No. 3 のように上昇調の「わ」には女性的 -1を付与するが，下降調の「わ」には付与しない.

3 段階のうちどの値を付与するかの原則の一部を 以下に示す。
- 男性的-2, 女性的-2 は，反対のジェンダーの 話者がめったに使わない表現文型に付与す る

-大人っぽい-2 は中年, -3 は老人が使う表現文型に付与する

-子どもっぽい-1 は若者言葉, -3 は幼肾語に付与する

## 5.2 長さと強さの軸

長さ軸は，表現文型の見た目の長短に基づいて付与する.たとえば，「助動詞十終助詞」を基準とす

ると, 助動詞のみの文型は, 短い-1, 「助動詞十接辞十終助詞」は，長い-1を付与する。

強さ軸は，表現文型に，口調や意味を強める文字列（だぞ，とも，よね）や記号（！）が含まれてい れば，強い-1を，省略やぼかし表現（とか，けど） や記号 (‥)が含まれていれば, 弱い-1を付与する.強調要素, ぼかし要素が複数含まれていれば, 強い -2 や弱い-2 などを付与する.

## 5.3 待遇表現の軸

待遇表現には，上向きvs. 下向きの対立がある.日本語の待遇的意味は複雑であるため, 表 3 に示す とおり, 待遇表現の軸の下にaからdの4 軸を設け， それぞれに（上向き $v s$ 下向き）を表す要素を設定し た。a 敬意の有無（上扱いvs 下扱い）, b 距離（遠 ざけ $\mathrm{vs}$ 親しみ) , $\mathrm{c}$ 場面差(あらたまり $\mathrm{vs} く た ゙ け) ，$ $\mathrm{d}$ 品格 (丁寧 $v s$ ぞんざい) である. これによって, ある軸では上向きであると同時に, 別の軸では下向 きである表現の特徴を数値化できるようになった. たとえば，大人が子どもに対して，命令する表現 で，「お〜なさい」や「ごらんなさい」を含む文型 は, $\mathrm{a}$ 敬意の有無軸が下向きで, $\mathrm{d}$ 品格軸が上向き である. 本辞書では以下の値を付与している.
- R01「お食べなさい」

下扱い-1，あらたまり-1, 丁寧-1
- R01「食べてごらんなさい」

下扱い-1, 親しみ-1, あらたまり-1, 丁寧-1

また，近年よく耳にする「です」を「ッス」に置 き換える表現について, 中村 [12]は, 体育会男子学生が先輩に「そっす数」「おもしろいっす」などと 言うのは，親しさと丁寧さを同時に表すためである と分析している。本辞書では「ッス」を含む表現文型は，敬意と親しみを同時に表すものとして，以下 の値を付与している.
- 男性的-1, 子どもっぽい-1, 上扱い-1, 親しみ一 1

付録に示した Q06「許可要求」の No. 7 と No. 19 がそ れに該当する。

## 5.4 印象の軸

印象軸は, 他の 5 軸の補助的な位置付けで, 現状 では対立する要素を設けず，フラグとして運用して いる.

たとえば，I05 後悔「食べちゃった」には，可愛い -1を付与している.
また，R02 依頼「食べておくれよ」は時代劇の子 どもの発話の印象があるので, 古風-1を付与してい る.

## 6 本辞書の利用

本辞書は, 発話文生成システムの開発とともに改訂を重ねてきた。刀山[13]では初版を，木村[14]では 2 版を, 米田 $[15]$ では本稿の版を利用して発話文生成 を実現している。

発話文生成における本辞書の役割は，与えられた 発話意図に対して，その発話意図を表す表現文型を 提供することである．可能な表現文型の中から実際 に提供する文型を決定する際に，表現文型に付与さ れたベクトルを利用する。

初版から 2 版への主な変更は, 「性別・年齢を中心とした 8 次元の話者属性ベクトル」から「20 次元 の話し方の特徴ベクトル」への変更である. 刀山[13] のシステムは, 入力された話者属性ベクトルからそ の話者らしい発話を生成するのに対し，木村[14]の システムは, 入力された話し方の特徴べクトルに基 づいてその特嘚を有する発話を生成する。この変更 は, 同じ人物でも, 状況や感情や話し相手に応じて 様々な表現文型を用いることに対応するためである.

米田[15]のシステムは, どのような性格の人 (キャ ラクタ）がどのような話し方の特幑（口調）を用い るかを収集したデータベースを使って，性格から口調を推定する．それにより，入力された性格に対し て，その性格を反映した口調の発話を生成する.

## 謝辞

本研究は JSPS 科研費 JP18H03285，JP21H03497 の 助成を受けたものです.

## 参考文献

1. 大沢在昌. 小説講座売れる作家の全技術. 角川書店, 2012 .

2. 佐藤理史. コンピュータが小説を書く日．日本経済新聞出版社, 2016 .

3. 夏目和子, 刀山将大, 佐藤理史. 発話文自動生成 のための日本語表現文型辞書の作成. 言語資源活用 ワークショップ 2016 発表論文集, pp. 126-136, 2017.

4. 夏目和子, 佐藤理史. 発話文表現文型辞書の設計 と編纂. 言語資源活用ワークショップ 2019 発表論文集, pp. 295-312, 2019.

5. 荒木雅弘, 伊藤敏彦, 熊谷智子, 石崎雅人. 発話単位タグ標準化案の作成. 人工知能学会誌, Vol. 14, No. 2, pp. 251-260, 1999.

6. グループプジャマシィ. 教師と学習者のための日本語文型辞典. くろしお出版, 2009 .

7. 市川保子. 日本語類義表現と使い方のポイント:表現意図から考える。スリーエーネットワーク， 2019.

8. 宮島達夫, 仁田義雄編. 日本語類義表現の文法,上:単文編. くろしお出版, 1995.

9. 佐藤理史. HaoriBricks3：日本語文を合成するた めのドメイン特化言語.自然言語処理, Vol. 27, No. 2, pp. 411-444, 2020.

10. 日本語記述文法研究会. 現代日本語文法 4 .

ろしお出版, 2003.

11. 日本語記述文法研究会. 現代日本語文法 7. く万 しお出版, 2009.

12. 中村桃子. 新敬語「マジヤバイっす」: 社会言語学の視点から. 白澤社, 2020.

13. 刀山将大, 夏目和子, 佐藤理史, 松崎拓也. 話者 の特徴を反映した発話文生成器の作成. 言語処理学会第 23 回年次大会発表論文集, B1-3, 2017.

14. 木村遼, 夏目和子, 佐藤理史, 松崎拓也. 発話表現文型辞書を利用した多様な発話文生成機構. 2018 年度人工知能学会全国大会 (第 32 回), 2E2-02, 2018. 15. 米田智美, 佐藤理史. 話者の性格を反映した発話文の生成. 言語処理学会第 28 回年次大会発表論文集, 2022 (発表予定).

## A 付録

## Q06「許可要求」

 &  &  & 主要部 & 末尾部 & 例文 &  &  &  & $\left.\lvert\,$\right. &  &  &  &  &  &  &  &  &  &  &  &  &  &  &  &  \\