# ViT-CLT: パッチ分割した文字画像から 偏旁冠脚を考慮した文書分類

津嶋 祐介 ${ }^{1}$ 青木 匠 ${ }^{2}$ 北田 俊輔 2 彌冨 仁 ${ }^{1,2}$
1 法政大学 理工学部 応用情報工学科
2 法政大学 理工学研究科 応用情報工学専攻
\{yusuke.tsushima.4z, takumi.aoki.4g, shunsuke.kitada.8y\}@stu.hosei.ac.jp
iyatomi@hosei.ac.jp

## 概要

日本語や中国語における自然言語処理では，漢字 の部首を考慮した文字単位による自然言語処理が 文書解析能力の向上に寄与している. 文字形状を 考慮するために，従来は convolutional neural network (CNN) を元にした文字符号化器および文書分類器 の end-to-end モデルが多く提案されている. 本研究では，漢字の偏や旁といった構成要素の関係性 を考慮した高性能な文書分類を実現するために，文字符号化器に Vision Transformer (ViT), 文書分類器に character-level Transformer (CLT) で構成された ViT-CLT を提案する. 我々の ViT-CLT は漢字の構成要素とその関係性を捉えるためにViTを用いて文字画像から文字の埋め込みを獲得し, 文書分類器では その文字埋め込みを使用して文書分類タスクを解け るよう学習を行う．評価実験では日本語のニュース 記事を用いたカテゴリ分類タスクにおいて，CNN を用いた従来の文字符号化器・文書分類器モデルと 比較し, ViT-CLT が $18 \%$ の予測性能の向上を確認し た. 更に ViT-CLT の文字符号化器における attention の可視化結果から, 従来モデルよりも漢字の構成要素を十分に考慮できていることを確認した.

## 1 はじめに

日本語や中国語といったアジア圏の言語に対する 自然言語処理において，その特徵的な文字形状を考慮することが文書解析能力の向上に繋がることが知 られている $[1,2]$. 日本語や中国語で主に使用され ている漢字の字体において，その部分をなす点画の 一定のまとまりは “構成要素”と呼ばれている [3]. この構成要素は偏や旁などの部首やその漢字自体の 場合もあるが，それらに限定されない点画のまとま

図 1: 提案モデル ViT-CLT の全体図: 入力文書を文字単位で画像化し，ViT を元にした文字符号化器 に入力できるようパッチ分割する. 文字符号化器に よって得られた文字埋め込みを更に character-level Transformer (CLT) を元にした文書分類器に入力し, [CLS]トークンを元に MLP で文書分類タスクを解 く end-to-end モデルである.

りも含まれている。このような文字の構成要素にお ける形状的特徴やその位置関係を捉えることで，自然言語処理モデルの表現力向上が期待できる [4].

文字形状を効果的に考慮するために，文字を画像 として深層学習モデルに入力して文字表現を学習 する手法が複数提案されている $[5,6,7,8,9]$. 先行研究の多くは，畳み込みニューラルネットワーク (convolutional neural network; CNN) からなる文字符号化器から文字形状を考慮した埋め込みを学習してい る.これらの手法は局所的な情報である漢字の偏旁冠脚といった構成要素の単体を考慮することができ る. 更にこうした埋め込みを利用した文書解析モデ ルは，高い性能を実現している $[4,8]$. しかしなが ら文字符号化器に CNN を利用したモデルは漢字の
各構成要素の形状的特徴を捉えることに成功する一方で, 文字構成要素間の位置関係の考慮に改良の余地が見受けられた [9].

入力情報の局所的な特徴に加えて大局的な特徴の 関係性を考慮できる Transformer [10]を画像認識夕 スクに応用した Vision Transformer (ViT) [11] は，一般的な画像認識タスクで CNNを超える予測性能が 報告され始めている. ViT は入力画像を複数のパッ チに分割し Transformerに入力することで，CNNよ りも大局的な情報を学習可能であり，位置埋め込み を各パッチに付加することで，パッチの位置関係を 考慮することができる. さらに self-attention の効果 により，パッチ間の関係性を考慮することが可能で ある. 文字画像の各パッチが構成要素の一部または 全体の情報を持っている場合，パッチ間の関係性を 考慮できれば構成要素間の関係性を考慮できると考 えている。こうした性質から, 文字画像から構成要素といった局所的形状を捉えるとともに，構成要素間の位置関係を捉えられると考えられるため, ViT を文字符号化器として用いることで文字構造を捉え たより良い文字の埋め込みの獲得が期待できる.

本研究では，偏旁冠脚といった文字の構成要素の 位置関係を考慮することで高性能な文書分類を目指 す ViT-CLT を提案する. 提案手法は文字符号化器に ViT, 文書分類器に Transformer で構成され, これら end-to-end で学習を行う. 文字符号化器を担う ViT は, 文字内の構成要素に対してその形状的特徴と その関係性を捉えることができる. ViT-CLTでは多様な文字の構成に対応するため, ViT の画像パッチ 切り出しにおいて sliding window algorithm を用いた sliding window patch (SWP) を導入した。また文書分類器を担う character-level Transformer (CLT) は, 近傍 の文字以外との関係性も考慮できるため，大局的な 文脈を考慮できる。

評価実験では日本語のニュース記事カテゴリ分類タスクを用いて従来手法比較し, 従来手法 [7] で ある文字符号化器と文書分類器に CNN を利用した 時よりも，提案手法は $18 \%$ 精度向上が確認できた. ViT-CLT の文書単位および文字単位の attention $の$ 可視化により, 文書単位では, 従来の文字単位を入力 とするモデルよりも文書解析に影響を与える重要な 単語に注意が当たっていることを確認し, さら文字単位では ViT による文字符号化器が文字の構成要素 それぞれに注意が当たっていることを確認した。

## 2 ViT-CLT

我々は，漢字の偏旁冠脚といった構成要素とその 関係性を考慮した文書分類モデルであるViT-CLT を提案する。提案する ViT-CLT の全体像を図 1 に 示す. 文字を文字画像に変換し，ViT からなる文字符号化器で文字埋め込みを得た後，それらを元 に Transformer からなる文書分類器で文書分類を end-to-end で学習する。

## 2.1 ViT を元にした文字符号化器

ViT-CLT の文字符号化器は ViT を用いることで，各文字画像の局所構造の関係性を考慮した符号化 を実現する。漢字は種類が多く多様な構造を持つ ため，通常 ViT で用いられるパッチ分割手法は多様な文字の構造情報の抽出には不十分であると 考えられる. 我々は, 様々な漢字の構成部分の形状情報を効果的に扱うために，画像パッチの獲得 に sliding window patch (SWP) を提案する。SWP は, sliding window algorithm により，各文字から重複を 許しながら画像パッチを入力することで，重要な構成要素間の関係の見逃しを防ぐことが期待できる.

## 2.1.1 Vision Transformer

ViT [11] は Transformer [10] を基にした画像処理モ デルである. 入力画像をいくつかの部分的な画像 (パッチ画像) に分割し，画像の局所的な情報を取得する. ViT が従来の CNNより優れている点は,各パッチ画像に位置エンコーディングを付加し, Transformerに入力することで各パッチ画像間の関係性を捉えることができる点である．入力を文字画像 にすることで，文字の構成要素の形状的特徵内の局所的な情報と，構成要素間の大局的な関係性を捉え ることが期待できる. 入力画像の埋め込みとして， [CLS] トークンに相当するViT の出力を用いた.

## 2.1.2 Sliding Window Patch (SWP)

SWP はパッチ 1つあたりの特徴を増やすために， sliding window algorithms によりパッチ分割を行う.文字画像に対する従来のパッチ分割では文字画像自体の情報量が少ないため，1 パッチ当たりの情報量 がさらに少なくなってしまうという問題の解決を期待する. SWPにより局所的な情報をより詳細に得 ることができるため，構成要素における部首等の部分構造を学習しやすくなると考えられる。

## 2.2 Transformer を元にした文書分類器

ViT を元にした文字符号化器から得られた文字埋 め込みを元に, character-level Transformer (CLT) を元 にした文書分類器を学習する. 従来の character-level CNN (CLCNN) は畳み込み処理によって入力テキス トの文字同士の局所的な関係性を考慮しつつ文書分類できるよう訓練されていた. 本研究で用いる CLT は各文字に対して self-attention を計算すること で CLCNN に比べてさらに離れた文字同士の関係性 も考慮可能である.これにより，提案するViT-CLT は各文字内の構成要素という，これまでより細かい 局所的な特徴から，文脈中の文字の関係性という大局的な特徴まで捉えることができる。

## 3 実験設定

## 3.1 比較手法

提案モデル ViT-CLT は ViT を元にした文字符号化器と Transformer を元にした分類器の end-to-end モ デルである.このモデルに対して従来モデルであ る, 文字符号化器が CNN, 文書分類器が CLCNN の CE-CLCNN [7] と比較した. 更に我々は文字符号化器をCNN と ViT, 文書分類器を CLCNN と CLT に 変えたモデルの性能を比較した。

文字符号化器の入力には 128 文字の文書をそれぞ れ $60 \times 60$ のグレースケール画像に変換して入力し た. 埋め込み次元は CNN と ViT でそれぞれ 128 次元に設定した. モデルの最適化には Adam [12]を用 いて，バッチサイズ 64 , エポック数 100 で訓練した.

## 3.2 データセット

実験用データセットとして日本語ニュース記事 コーパスを使用し，記事のカテゴリを分類するタス クで提案法を評価した。 日本語ニュース記事データ セットとして livedoorニュースコーパス1）を使用し た. このデータセットには計 9 カテゴリの記事が含 まれている。記事の文字列の長さは，最大 142 ，最小 6 , 平均 38 である. カテゴリ分類時には記事の夕 イトルからそのカテゴリを分類できるようにモデル を訓練した。データセットの 8 割を学習用，2 割を 評価用に各クラスが均等になるように分割を行っ た. 前処理として文字列長さは 128 になるように先頭から 128 文字を切り出した.

表 1: ニュース記事のカテゴリ分類の結果

 & 文書分類器 & Acc. \\

## 4 実験結果と議論

提案する ViT-CLT と従来モデルを中心に実験した 結果について議論する. 更に提案手法の文字単位お よび文書単位の attention 可視化を通じて，提案モデ ルが従来モデルよりも偏旁冠脚といった構成要素間 の関係性を適切に捉えていることを確認した。

## 4.1 カテゴリ分類の性能比較

表 1 にニュース記事のカテゴリ分類性能の比較結果を示す。提案モデル ViT-CLT が従来モデルである CE-CLCNN [7] の精度を $18 \%$ 超える大幅な予測性能向上を確認した．従来モデルの文字符号化器を ViT にした場合（ViT + CLCNN）は $5 \%$ の向上が確認さ れた. 更に従来モデルの文書分類器を Transformer にした場合 (CNN + CLT) は $15 \%$ の向上が確認され た. この結果から文書分類器に Transformer からな るモデルを採用することで予測性能の向上に大きく 寄与することが確認された。

提案モデルにおいて，従来のパッチ分割を採用し た際にパッチ分割数を 16 に設定した場合が最も良 い性能となった. 我々のSWPを適用した場合は一定の予測性能の向上に寄与した一方で，SWPを適用しない場合に少し劣る結果となった．SWP は類似した特徴を持つパッチ画像同士の関係を学習する ため，文字の構成要素の構造を大きく捉えてしまっ たことにより，構成要素間の関係を捉えることが難 しくなったことが影響したと考えられる．同様の傾向が ViT + CLCNN の場合にも確認された。

## 4.2 Attention の可視化

文書単位における文字間の attention 図 2 は文字符号化器に CNN とViTを使用した場合の CLT の 文書単位の attention の可視化結果である. CLT の
(b) Character encoder: ViT (提案手法)

CISフジテレビのサツカー中継で放送事故 ハイスペックのグラフィックスを搭載! マウスコンピューター、コスパに優れた高性能ゲームPＣを発売

(c) Character encoder: ViT + SWP (提案手法)

図 2: 文字符号化器を CNN と ViT で比較した際の CLT の文書単位の attention の可視化: 上部の数字は実際の attention のスコアを示す. CLT は各文字に位置エンコーディングの付与と attention により，文書の近傍以外 の文字間の関係と予測に重要な情報を捉えているため，CLCNN よりも高い精度が得られたと考えられる。

(a) 従来のパッチ分割 (パッチ数 $=16$ )

 \\ 不江:BPV

(b) SWP (パッチ数 $=25$ )

図 3: 提案モデルの文字単位におけるパッチ間の attention の可視化: 従来のパッチ分割 (3a)では“き へん”，“ぎょうにんべん”といった部首のみを捉え られている一方で，提案法の SWP (3b) では部首部分と非部首部分双方に attention が当たっている.

attention 可視化方法は, rollout [13] というattention スコア同士の行列積の結果を利用する手法を使用し た。CLT は予測に重要な情報 (e.g., 単語粒度の情報) をより適切に捉えらえていたため，CLCNN よりも 高い精度が得られたと考えられる。

文字単位におけるパッチ間の attention 図 3 は従来のパッチ分割と SWP を使用した場合の，ViT か らなる文字符号化器における文字単位の attention の 可視化である. 結果は精度が最も良かった分割数 のものを使用した。従来のパッチ分割の attention の 可視化から，文字の形状を捉えた attention が当たっ ており，漢字の場合は部首を捉えている．SWP の attention の可視化から，従来のパッチ分割と同様に文字の形状を捉えた attention が当たっている. さら に SWP では漢字の部首だけでなく，部首以外の部分にも attention が当たっていることから，構成要素間の構造を捉えられていると考えられる。これ はSWP を用いることで局所的な情報を捉えやすく なったためだと考えられる。しかし，英数字では文字領域以外に attention が当たってしまっている場合 がある。これは同じようなパッチが存在するため， attention が分散しやすいからだと考えられる。

## 5 おわりに

日本語や中国語において，漢字を中心に文字の形状を考慮する自然言語処理モデルが提案されてき たが，従来手法では偏旁冠脚といった文字の構成要素間の関係を考慮することは難しかった，本研究で は，文字の構成要素間の関係を捉えることができる ViT-CLT を提案した. ViT からなる文字符号化器で 偏旁冠脚個別の形状を捉えるとともに，構成要素間の関係性も捉えることを可能とした．日本語の ニュース記事のカテゴリ分類による評価実験の結果，我々の提案手法が従来の CNN + CLCNN モデル を遥かに超える性能を実現した。更に提案手法の 文単位および文字単位の attention 可視化を通じて,我々の手法が従来手法よりも構成要素間の関係性を 適切に捉えていること確認した. 我々は実験的に 1 つあたりのパッチの特徴量を増やすSWPを提案し たが，従来のパッチ分割のほうが文字の構成要素間 の関係性を捉えていることが分かった。

今後は近年発展を遂げている事前学習済みモデル との比較や，文字画像を元に文字の形状的特徵を考慮したマスク言語モデルの開発を検討している。

## 参考文献

[1] Yaming Sun, Lei Lin, Nan Yang, Zhenzhou Ji, and Xiaolong Wang. Radical-enhanced chinese character embedding. In Chu Kiong Loo, Keem Siah Yap, Kok Wai Wong, Andrew Teoh, and Kaizhu Huang, editors, Neural Information Processing, pp. 279-286, Cham, 2014. Springer International Publishing.

[2] Xinlei Shi, Junjie Zhai, Xudong Yang, Zehua Xie, and Chao Liu. Radical embedding: Delving deeper to Chinese radicals. In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 2: Short Papers), pp. 594-598, Beijing, China, July 2015. Association for Computational Linguistics.

[3] Galina Vorobeva and Victor Vorobev. A method of the analysis of kanji structure: A new approach based on structural decomposition and coding. NINJAL Research Papers, No. 9, pp. 215-236, Jul 2015.

[4] Minh Nguyen, Gia H Ngo, and Nancy F Chen. Hierarchical character embeddings: Learning phonological and semantic representations in languages of logographic origin using recursive neural networks. IEEE/ACM Transactions on Audio, Speech, and Language Processing, 2019.

[5] Daiki Shimada, Ryunosuke Kotani, and Hitoshi Iyatomi. Document classification through image-based character embedding and wildcard training. In 2016 IEEE International Conference on Big Data (Big Data), pp. 3922-3927, 2016.

[6] Frederick Liu, Han Lu, Chieh Lo, and Graham Neubig. Learning character-level compositionality with visual features. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2059-2068, Vancouver, Canada, July 2017. Association for Computational Linguistics.

[7] Shunsuke KITADA, Ryunosuke KOTANI, and Hitoshi IYATOMI. End-to-end text classification via image-based embedding using character-level networks. In 2018 IEEE Applied Imagery Pattern Recognition Workshop (AIPR), pp. 1-4, 2018.

[8] Yuxian Meng, Wei Wu, Fei Wang, Xiaoya Li, Ping Nie, Fan Yin, Muyu Li, Qinghong Han, Xiaofei Sun, and Jiwei Li. Glyce: Glyph-vectors for chinese character representations. In H. Wallach, H. Larochelle, A. Beygelzimer, F. d'Alché-Buc, E. Fox, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 32. Curran Associates, Inc., 2019.

[9] Takumi Aoki, Shunsuke Kitada, and Hitoshi Iyatomi. Text classification through glyph-aware disentangled character embedding and semantic sub-character augmentation. In Proceedings of the 1st Conference of the Asia-Pacific Chapter of the Association for Computational Linguistics and the 10th International Joint Conference on Natural Language Processing: Student Research Workshop, pp. 1-7, Suzhou, China, December 2020. Association for Computational Linguistics.

[10] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. V. Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc., 2017.

[11] Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner, Mostafa Dehghani, Matthias Minderer, Georg Heigold, Sylvain Gelly, Jakob Uszkoreit, and Neil Houlsby. An image is worth 16x16 words: Transformers for image recognition at scale. In International Conference on Learning Representations, 2021.

[12] Diederik P Kingma and Jimmy Ba. Adam: A method for stochastic optimization. arXiv preprint arXiv:1412.6980, 2014.

[13] Samira Abnar and Willem Zuidema. Quantifying attention flow in transformers. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 4190-4197, Online, July 2020. Association for Computational Linguistics.

[14] Laurens van der Maaten and Geoffrey Hinton. Visualizing data using t-sne. Journal of Machine Learning Research, Vol. 9, No. 86, pp. 2579-2605, 2008.

(a) 従来のパッチ分割

(b) SWP図 4: ViT + CLT のパッチ分割数を変化させたときの 精度の変化: パッチ分割数と文書分類の精度に大き な変化が確認できないことから，文書分類器はパッ チ分割数にロバストだと考えられる.

表 2: 漢字 “語” の近傍の漢字上位 $\mathbf{5}$ つ: 括弧内の数字は分割数を示す. 通常のパッチ分割はほかの文字符号化器よりも部首を捉えられている.

## A パッチの分割数を変化させた時 の予測性能の変化

図 4 は従来のパッチ分割と提案手法 SWP による パッチ分割において，パッチ数を変化させたときの 予測性能の変化を示す. 文字画像に対して分割する パッチ数の大小に関わらず，一定の予測性能を示し た.この結果は従来のパッチ分割および提案手法両者ともにパッチの分割数にロバストであることが示唆されている。

## B 文字埋め込みの分析

文字埋め込みの可視化 図 5 はパッチ分割手法に 従来のパッチ分割とSWPを使用した場合の ViT の 文字符号化器を使用して文字画像から得られた文字埋め込みに対して t-SNE [14] で 2 次元空間へ写像し て可視化した結果である. 可視化の際に，その偏を 持つ漢字の数が上位 10 位に入る漢字と記号や英数字等に絞って可視化した. 従来のパッチ分割手法を 用いた文字埋め込みの可視化から，漢字の偏を考慮 した埋め込みができている．SWPを用いた文字埋 め込みの可視化から, 同じ構造の漢字は近傍に埋め 込まれているが，部首を考慮した埋め込みはできて いないことが確認された。

対象文字埋め込みの近傍の文字 表 2 に各比較モ デルにおける“語”の埋め込みの近傍 5 字を示す。

(a) 従来のパッチ分割 (パッチ数 $=16$ )

(b) SWP (パッチ数 $=25$ )

図 5: 主要な偏を持つ漢字と記号の埋め込みを $\mathrm{t}-\mathrm{SNE}$ を用いて可視化した結果: 従来のパッチ分割は文字 の構造と漢字の偏を考慮した埋め込みが学習されて おり，SWP は文字の構造のみを考慮した埋め込みが 学習されている。

文字符号化器に CNN を使用した場合と従来のパッ チ分割を使用した ViTを使用した場合で比較する と，ViT の方が偏旁冠脚といった構成要素をより捉 えられていた。従来のパッチ分割を使用した場合と SWP を使用した場合で比較すると，SWP は偏旁冠脚といった構成要素を捉えられなかった。


# 曖昧性を含む翻訳に着目した マルチモーダル機械翻訳データセットの構築方法の検討

Yihang Li 清水周一郎 Chenhui Chu 黒橋禎夫
京都大学大学院情報学研究科
\{liyh, sshimizu, chu, kuro\}@nlp.ist.i.kyoto-u.ac.jp

## 概要

翻訳には曖昧性，すなわち原言語の文に対して複数の翻訳が考えられる場合がある．既存のマルチ モーダル機械翻訳データセットでは，翻訳の曖昧性 を解消するために映像が役立つかどうかは明らかに なっていない，そこで本研究では，曖昧性を含む翻訳に着目したマルチモーダル機械翻訳データセット の構築に取り組む.このデータセットは，(1) 原言語の文が曖昧であること (2) 映像が翻訳の曖昧性解消に役立つことの二つの条件を満たす。一つ目の条件を満たすために異なる翻訳をもつ原言語の文を集 め，さらに目的言語の文の意味に基づいて選定を 行った.二二目の条件を満たすために人手による確認を行った。

## 1 はじめに

マルチモーダル機械翻訳 [1] は，テキスト以外の モダリティを補助的に用いる機械翻訳である．翻訳 には曖昧性，すなわち原言語の文に対して複数の意味の翻訳が考えられる場合があるが，テキスト以外 のモダリティを活用することによってそうした曖昧性の解消が期待できる.

これまでのマルチモーダル機械翻訳の研究では，主に画像が翻訳の曖昧性を保証するための補助的 な情報として用いられてきた $[2,3]$. その発展と して，近年，映像を用いた機械翻訳 (video-guided machine translation; VMT) の研究が盛んになりつつあ る $[4,5]$. 映像は画像では捉えられない人・物の動 きや時間経過といった情報を含むため，翻訳の曖昧性の解消により効果的であると期待される.

既存の VMT データセットは，原言語の文の曖昧性に着目しているとは言えない．VMT のデータ セットの構築方法として，キャプション (映像内容 の描写) にもとづく方法 [4] と，字幕 (映像内の話者
の発話の書き起こし)にもとづく方法 [6]がある．現実に VMT を利用する状況，例えば映画の字幕翻訳 などの場合，テキストは必ずしも映像の内容を説明 している訳ではなく，映像はテキストで伝えられる 内容とは別の補助的な情報として用いられる。 その ため，キャプションにもとづくデータセットは実用的な観点から問題がある。また，キャプションには 曖昧性が存在しないため，キャプションの翻訳は必 ずしも視覚情報を必要としないという報告もある [7]. 字幕にもとづくデータセットでも，曖昧性には 特に注目せず，一般的な字幕を扱ったものしか存在 しない.

本研究では, 原言語の文が曖昧性を含む日英 VMT データセットの構築に取り組んでいる。このデータ セットは，(1) 原言語の文が曖昧であること (2) 映像 が翻訳の曖昧性解消に役立つことの二つの条件を満 たす.

一つめの条件を満たすため，まず原言語 1 文に対 して翻訳が複数存在するものを集める。ここで，原言語 1 文と複数の翻訳文の集まりを対訳セットと定義する。次に，収集した対訳セットから目的言語の 文間の意味が違うもののみを選定する。二つめの条件を満たすためには人手による確認を行う。

選定された対訳セットの例を図 1 に示す。「放 せ!」という日本語に対し，“Let me go!”と “Drop it!”の 2 通りの翻訳があり，テキストだけからはど ちらが正しい翻訳か判断できない。映像を見ると，上の例では人が人を引っ張っており，下の例ではナ イフを持った男が争っていることから，正しい翻訳 を決定できる。

本稿では，曖昧性に着目した VMT データセット の構築手順を説明する。さらに，データセットの一部について，データの分析及び予備実験の結果を報告する.

図 1 選定された対訳セットの例.「放せ！」という日本語に対し，“Let me go!”と “Drop it!”の 2 通りの翻訳の可能性が ある．映像を見ると，上の例では人が人を引っ張っており，下の例ではナイフを持った男が争っていることから，対応す る翻訳を決定できる。

## 2 関連研究

## 2.1 マルチモーダル機械翻訳

マルチモーダル機械翻訳では，異なるモダリティ の情報が入力データの異なる見方を与えると仮定して，複数のモダリティの情報を用いて翻訳を 行う [8]. 先行研究の多くは画像を用いた機械翻訳 $[1,9,10]$ である. 映像の有用性は特定のデータ セットやタスクで議論されており [11,7], 類似して いない言語対では文法的な特徴を捉えたり翻訳の曖昧性を解消したりするのに映像が役立つ可能性が ある [8].

## 2.2 VMT データセット

VMT のデータセットとして VaTeX [4] と How2 [6] がある. VaTeX は既存の映像データセットに対し英語と中国語でキャプションを付けたデータセット である. VaTeX はキャプションのデータセットであ り，VMT を用いる現実的なシナリオを考えにくい. How2 は YouTube から集められた教育ビデオに，そ の英語字幕と対応するポルトガルとの翻訳，及び映像の英語の要約が付けられたデータセットである. いずれのコーパスもテキストに曖昧性がないため，翻訳に必ずしも視覚情報を必要としない点が本研究 と異なる。

## 3 データセット構築手順

原言語に曖昧性を含む日英の VMT データセッ トを構築する手順は以下の通りである。まず，既存の字幕データセットである OpenSubtitles [12] の 日英の字幕から対訳セットを集める。さらに, Sentence-BERT によって対訳セット内の複数の英語訳の意味が異なるかどうかを判定し, 対訳セット
の選定を行う．次に，字幕に対応する映画やテレビ の映像を切り取る. 最後に，人手で字幕と映像を チェックし，字幕に曖昧性があり映像によりそれが 解消できることを確認する.

## 3.1 対訳セットの収集

OpenSubtitles は映画やテレビのデータから収集さ れた大規模な字幕のデータセットで，計 60 言語に わたる 26 億文の字幕がある. 本研究ではこのうち $1,213,468$ 文からなる日英の対訳データを用いる.日本語を原言語として選んだのは，日本語がプロド ロップ言語であり，曖昧性を原言語に含むデータ セットを作成する上で適当であると考えたためであ る.また, OpenSubtitles では各映像に対し $\mathrm{IMDb}^{1)}$ の ID が付けられており，映像の情報を得ることが できる. 字幕もこの ID に基づいて分類されている.翻訳の曖昧性を確保するために，原言語 1 文と複数 の翻訳文の集まりである対訳セットごとに字幕をま とめる.

## 3.2 目的言語の文間の類似度を利用した対訳セットの選定

複数の目的言語の翻訳が存在するだけでは，原言語の文が曖昧性を含むことにはならない。それ らが単に表現として違っているだけで，意味的に は同じである可能性があるからである. そこで，各対訳セット内の目的言語の文同士の類似度を Sentence-BERT [13] を用いて計算し, 類似度の閾値 を設定して，閾值よりも類似度が小さい (すなわち 意味の異なりが大きい) 対訳セットのみを残すこと で曖昧な文を含む対訳セットの選定を行う。ここ で， 1 対訳セット内に 3 文以上の目的言語の文が含 まれる場合には，全ての文の組み合わせについて類似度を計算し，最も類似度の小さいものをその対訳

図 2 字幕のアライメントの手順. 映像に字幕がついて いる場合 (上側) とついていない場合 (下側) で手順を分け る.

セットの目的言語文間の類似度として用いる.

## 3.3 字幕と映像のアライメント

OpenSubtitles の字幕にはその表示時刻の始まりと 終わりを示すタイムスタンプがついているが，それ らは必ずしも映像のタイムスタンプと一致している わけではない. OpenSubtitles で用いられた映像と本研究で用いた映像でフレームレートに差があった り，定数時間のずれが生じていたりする場合がある からである．そこで，OpenSubtitles の字幕と使用す る映像の間でタイムスタンプのアライメントをとる 必要がある. なお, OpenSubtitles の字幕では原言語 と目的言語それぞれにタイムスタンプがついている が，それらは概ね一致しているため，例外は手作業 で取り除いて英語のタイムスタンプを OpenSubtitles のタイムスタンプとする。

アライメントの手順を図 2 に示す. アライメ ントには Alass ${ }^{2}$ (Automatic Language-Agnostic Subtitle Synchronization) というツールを用いる. 映像に付け られた字幕には，容易に字幕を抽出できる場合と，字幕がついていない (但し OpenSubtitles には対応す る字幕がある) 場合がある。なお，映像に字幕が埋 め込まれているような映像は使用しない. 字幕が抽出できる場合には, FFmpeg3) を用いて映像から字幕 を抽出し， Alass を用いて OpenSubtitles の字幕との アライメントを取る. このアライメントはかなり正確に行うことができる (Alass の論文内の実験では 100\% 正確であったと主張されている). 字幕がつい ていない場合には， Alass の音声区間検出をべース にした手法で映像と OpenSubtitles の字幕のアライメ ントを取ることで字幕を得る. この場合，抽出され た字幕のタイムスタンプは必ずしも正確でないた

3) https://ffmpeg.org/

図 3 対訳セットを含まれる目的言語の文数にもとづき分類した結果.

め，アライメントが正しくできているかどうかを人手で確認する.

## 3.4 映像の分割

字幕と映像のアライメントに基づき，映像を分割 する．各映像は字幕のタイムスタンプの区間の中央値の前後 5 秒間をとって 10 秒間とし， $25 \mathrm{fps}$ の mp4 ファイルとする．なお，集められた映像についた音声の多くは目的言語の英語であり，音声がついてい ると翻訳文が音声認識で得られることになってしま うため，映像から音声は取り除く。

## 4 データの分析及び予備実験

データセット構築手順において, 対訳セットの選定はデータセットの質に大きく関わる。本章では，収集・選定した対訳セットのデータの統計と予備実験結果を示す.

## 4.1 対訳セットの収集

対訳セットを，含まれる目的言語の数にもとづき 分類した結果を図 3 に示す. 全部で 35,023 の対訳 セットが得られた. 2 文のみ目的言語の文を含む対訳セットが最も多く, 対訳セット数で見ると全体の $59 \%$ ，文数では全体の $30 \%$ を占めていた. 3 文以上 の目的言語の文を含む対訳セットについては，2 文 のみのものに比べて曖昧性を含む対訳が含まれる割合は高かったが，文の長さが短いものが多く含まれ ていた.

## 4.2 対訳セットの選定のための人手評価 データセットの作成

対訳セットの選定のための目的言語の文間の類似度の閾値を設定するため，まず人手で 100 個の対訳 セットを選んで曖昧さの正解を与えた. 対訳セット の正解を与えるための手順は以下の通りである。(1)

図 4 Sentence-BERT のスコアによる対訳セットの選定の成功例と失敗例.

図 5 類似度の閾値を変化させたときの適合率，再現率，及びF1 スコア.

表 1 対訳セット選定の各段階における対訳セット数.確認した対訳セット 100 原言語の文が曖昧なもの 28 テキストのみから曖昧性を解消可能と 22 推測されたもの 映像を見て曖昧性が解消できると確認 12 されたもの

対訳セット内の全ての対訳を見て，原言語の文の意味に曖昧性があるかどうかを判断する。(2) 原言語 の文に曖昧性があると判断した場合，対訳セット内 の全ての対訳を見て，目的言語の複数の文が複数の 意味を持ち，映像があればその曖昧性が解消できる かどうかを映像なしで予測する。(3) 曖昧性が解消 できると予測した対訳セットについて，実際に映像 を見て，翻訳を一意に決定できるかどうかを判断 する。

各段階の対訳セット数を表 1 に示す. 最終的に 100 個のうち 12 個の対訳セットが，映像に基づいて 曖昧性を解消できる対訳を含んでいた。

## 4.3 目的言語の文間の類似度を利用した対訳セットの選定

Sentence-BERT で計算した文間の類似度のスコア の閾值を 0 から 1 まで 0.01 刻みで変化させ，曖昧性 を人手で判断した 28 個を正解としてどの程度正し く対訳セットを分類できるかどうか計算した. 閾値 を変化させたときの適合率，再現率，及び F1 スコ アを図 5 に示す. 図 5 を見ると，類似度が 0.2 の付近で F1 スコアが最も高くなっていることが分かる.

閾値を 0.2 に設定したときの，対訳セットの選定 の成功例と失敗例を図 4 に示す. 類似度が閾値より 小さく目的言語の文の意味が異なる場合，または閾値より大きく意味が同じ場合が成功であり，それ以外が失敗である。

今後，大規模な対訳セットの集まりに対し，この 閾値を利用して対訳セットの選定を行った上で，映像の曖昧性解消可能性の確認のためにクラウドソー シングを行って，曖昧性を含む翻訳に着目した大規模な VMT データセットを構築する予定である.

## 5 おわりに

本研究では，VMT における翻訳の曖昧性の問題 を指摘し，対訳セットの収集・選定によるデータ セットの構築方法を示した. 既存の字幕データセッ トをもとに，原言語の文に対して複数の翻訳が存在 する対訳セットを集め，文の類似度を利用して対訳 セットを選定することで，原言語の文の曖昧性を確保した. さらに，人手の確認により映像が翻訳の曖昧性解消に役立つことを確認した。本稿では，映像 が翻訳の曖昧性解消に役立つかどうかについての評価は小規模に人手で行ったが，今後これをクラウド ソーシングで行い，曖昧性を含む翻訳に着目した大規模な VMT データセットを構築する予定である.

謝辞 本研究は科研費\#19K20343 の助成を受けた ものである.

## 参考文献

[1] Lucia Specia, Stella Frank, Khalil Sima'an, and Desmond Elliott. A shared task on multimodal machine translation and crosslingual image description. In Proceedings of the First Conference on Machine Translation: Volume 2, Shared Task Papers, pp. 543-553, Berlin, Germany, August 2016. Association for Computational Linguistics.

[2] Desmond Elliott, Stella Frank, Khalil Sima' an, and Lucia Specia. Multi30K: Multilingual English-German image descriptions. In Proceedings of the 5th Workshop on Vision and Language, pp. 70-74, Berlin, Germany, August 2016. Association for Computational Linguistics.

[3] Yuting Zhao, Mamoru Komachi, Tomoyuki Kajiwara, and Chenhui Chu. Double attention-based multimodal neural machine translation with semantic image regions. In Proceedings of the 22nd Annual Conference of the European Association for Machine Translation, pp. 105-114, Lisboa, Portugal, November 2020. European Association for Machine Translation.

[4] Xin Wang, Jiawei Wu, Junkun Chen, Lei Li, Yuan-Fang Wang, and William Yang Wang. Vatex: A large-scale, high-quality multilingual dataset for video-and-language research. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pp. 4581-4591, 2019.

[5] Tosho Hirasawa, Zhishen Yang, Mamoru Komachi, and Naoaki Okazaki. Keyframe segmentation and positional encoding for video-guided machine translation challenge 2020. In The First Workshop on Advances in Language and Vision Research: Video-guided Machine Translation (VMT) Challenge, July 2020.

[6] Ramon Sanabria, Ozan Caglayan, Shruti Palaskar, Desmond Elliott, Loïc Barrault, Lucia Specia, and Florian Metze. How2: A large-scale dataset for multimodal language understanding. In NeurIPS, 2018.

[7] Ozan Caglayan, Pranava Madhyastha, Lucia Specia, and Loïc Barrault. Probing the need for visual context in multimodal machine translation. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4159-4170, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[8] Umut Sulubacak, Ozan Caglayan, Stig-Arne Grönroos, Aku Rouhe, Desmond Elliott, Lucia Specia, and Jörg Tiedemann. Multimodal machine translation through visuals and speech. Machine Translation, Vol. 34, No. 2, pp. 97-147, 2020.

[9] Desmond Elliott, Stella Frank, Loïc Barrault, Fethi Bougares, and Lucia Specia. Findings of the second shared task on multimodal machine translation and multilingual image description. In Proceedings of the Second Conference on Machine Translation, pp. 215-233, Copenhagen, Denmark, September 2017. Association for Computational Linguistics.

[10] Loïc Barrault, Fethi Bougares, Lucia Specia, Chiraag Lala, Desmond Elliott, and Stella Frank. Findings of the third shared task on multimodal machine translation. In Pro- ceedings of the Third Conference on Machine Translation: Shared Task Papers, pp. 304-323, Belgium, Brussels, October 2018. Association for Computational Linguistics.

[11] Desmond Elliott. Adversarial evaluation of multimodal machine translation. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 2974-2978, Brussels, Belgium, OctoberNovember 2018. Association for Computational Linguistics.

[12] Pierre Lison and Jörg Tiedemann. OpenSubtitles2016: Extracting large parallel corpora from movie and TV subtitles. In Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC'16), pp. 923-929, Portorož, Slovenia, May 2016. European Language Resources Association (ELRA).

[13] Nils Reimers and Iryna Gurevych. Sentence-BERT: Sentence embeddings using Siamese BERT-networks. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3982-3992, Hong Kong, China, November 2019. Association for Computational Linguistics.


# Can-do 型日本語学習用資源としてのアニメーション字幕の分析

大河原 龍太朗 ${ }^{1}$ 望月 源 $^{2}$
${ }^{1}$ 東京外国語大学 言語文化学部 ${ }^{2}$ 東京外国語大学大学院総合国際学研究院
\{okawara. ryutaro. s0, motizuki\}@tufs. ac. jp

## 概要

近年, Can-do を活用した言語学習が言語教育では 主流であるが，同時に実用的な例文を増やすことが 1 つの課題となっている. 本研究では, 学習教材の 資源としてのアニメーション字幕に焦点を当てる.分析のため, 会話部分を人手により抽出し, AJ Cando リストを参照し，例文に利用可能な会話を選定す る.また，選定時に Can-do 目標からのレベル推定も 行う. 抽出した Can-do 会話とレベルから, Can-do 学習に対応した会話例教材の資源としての，アニメー ション字幕コーパスの利用可能性について考察する.

## 1 はじめに

近年，学習者の言語能力・技能を「〜できる」と いう形式で記述した Can-do を活用した言語学習が，言語教育で主流となっている. Can-do 型学習では,学習する項目に対応した会話例・例文などの教材が 久かせないが，教科書の例だけでは十分でない，教師が例文を作成して追加することも多いが，手作業 には量や話題の幅など限界もあり, 効率的な拡充方法が望まれる. 本研究では, 日本語アニメーション の字幕を Can-do 型学習用教材の資源として活用す ることを検討する $[1]$.

日本のアニメーション作品はストーリー性が強く, キャラクター同士の会話を軸に構成されている。そ のため，アニメーション字幕コーパスはさまざまな 機能・目的を持った豊富な会話を含んでおり, Cando 形式の学習に対応した質の高い日本語会話教材資源として，活用が期待できる。

本研究では，アニメーション字幕コーパス内から 会話部分を人手により抽出する. 次に, 東京外国語大学留学生日本語教育センターの AJ Can-do リスト [2]を参照し，例文に利用可能な会話（以下，Can-do 会話）を選定する．選定時に参照するレベル別の Can-do 目標に照らして Can-do 会話のレベル推定も 行う. 抽出した Can-do 会話とレベルから, Can-do 学習に対応した会話例教材の資源としての，アニメー ション字幕コーパスの利用可能性について考察する。

## 2 関連研究

アニメーションを学習資源として活用する取り組 みは, 1990 年代の「マルチメディア教材」への注目 に端緒をもち[3], 特に 2006 年の日本語教育学会で の「映画・アニメ・マンガ一日本語教育の映像素材」 というシンポジウムをきっかけに活発化した[4]. ア ニメーションの教材利用を検討した研究の一例には，田中と本間による研究がある。この研究は，スタジ オジブリのアニメーション映画作品「耳をすませば」 について, 「現実の日常会話」の出現頻度および「初級語彙・文法との対応関係」を分析した. その結果，当作品が「未習者が『耳をすませば」で学習した場合, 初級語彙の 4 割程度, また, 初級教科書全体に ほぼ匹敵する初級文法の 8 割弱がカバーできる」こ と, そしてアニメーションが初級日本語学習に活用 されうることを示した[5].

アニメーションは，文法事項を広くカバーしてい ることに加え，学習動機としても重要な役割を果た している. Alsubaie and Alabbad は," The Effect of Japanese Animation Series on Informal Third Language Acquisition among Arabic Native Speakers “において, アニメーション鑑賞に一定の学習効果があることを 報告したうえで，学習者が無意識的に学習に取り組 めるという点をメリットとして挙げている[6]. また,熊野・廣利の研究[3]をはじめとした多くの研究が, アニメ・マンガの外国人学習者の学習動機としての 役割を指摘している。

## 3 Can-do 会話の抽出

## 3.1 テレビ字幕コーパス

本研究では, 東京外国語大学計算言語学研究室で 收集整備している「日本語テレビ字幕コーパス」を 用いる[7]. このコーパスは, 東京都の地上波デジタ ルテレビ放送に付与されたクローズドキャプション (字幕)データを収集し, 不要な情報を除去した後に，字幕表示のために断片化した文を 1 文にまとめたう えで字幕表示のタイミング情報を付与したものであ

り，以下の特徵がある。
- 2012 年 12 月から 2021 年 9 月の時点で 518,960 番組, 179,268,965 文, 1,945,899,573 形態素.
- 各テキスト(番組)はテレビ局の番組情報に基 づいて，アニメ/特撮，スポーツ，ドキュメ ンタリー/教養, ドラマ, ニュース/報道, バラエティ, 映画, 音楽, 劇場/公演, 趣味〈教育, 情報ノワイドショー, 福祉, および, その他の 13 種類に分類されている.

本研究ではこのコーパスの中から，「アニメ/特撮」 のテキストをアニメーション字幕コーパス (アニメ ーション作品延べ 41,981 番組, 約 7,944 万語）とし て使用する。字幕データの例を図 1 に示す.

図 1 字幕コーパスの例(「ゲゲゲの鬼太郎」2020年 1 月 5 日放送より)

## 3.2 アニメーション作品の選定と分類

分析の対象とするアニメーション作品を以下の手順で選択しジャンルの分類をする.
- 日本国内外で人気の高い日本語アニメーシ ヨン作品群を選定する，選定基準として，世界最大級のアニメレビューサイトである” MyAnimeList” 1（総ユーザー数は 2021 年 9 月時点で $11,566,100$ 人以上）の”Top Anime”お よび”Most Popular”のランキング のいずれか で 1000 位圈内とする.
- アニメーション字幕コーパスから上記リス 卜内にある作品を無作為に 12 作品選出する.
- 選出したアニメーション作品のジャンルを 定める. ジャンルは, 日本国内におけるアニ メーション配信サービス大手である D アニ メストア゙の分類に準じて決定する.

-上記で定めたジャンルを Aファンタジーと B リアリティの 2 グループに大別する.今回の無作為抽出では, 12 作品を選出し, それぞ れが 7 つのジャンルに割り当てられた。選出された

属するかを表 1 に示す.

表 1 選定されたアニメーション作品

## 3.3 コーパス内の Can-do 会話抽出

アニメーション字幕コーパス内の会話部分を次の 基準で抽出する.
- 共通の話題についての, 一回以上話者が交代 する発話を会話
- 内容の明らかでない指示語を多く含む会話 や，文脈の理解が難しい会話の選択は避ける
- 話題の転換により会話の区切りを判断する
- ただし, 会話文の長さの目安を, 最大 20 文程度, 話者交代の回数を 6 回前後と定める
- 前の文の字幕表示終了時間と次の文の開始時間が一致している場合は会話は連続し, 途切れた時点で会話が途切れたと考える

抽出した会話が Can-do 会話かどうかを次の考え方 で判定する. 本研究では, Can-do リストとして, 東京外国語大学留学生日本語教育センターが開発した

「JLPTUFS アカデミック日本語 Can-do リスト (AJ Can-do リスト） [2]の 4 技能「読解」「聴解」「文章表現」「口頭表現(独話・対話)」のうち，「口頭表現 （対話）(2017 年 3 月 21 日版)」を用いる. AJ Cando リストは, それぞれについて, 初級 1 , 初級 2 ,中級 1 , 中級 2 , 中上級, 上級 1 , 上級 2 , 超級の 8 段

階に分かれている。また，各レベルには「何ができ るか」の Can-do 目標と，扱う会話のテーマ例が掲載 されている.

例えば，初級 1 では「基本的な挨拶ができる／易 しい語彙や表現を使って，簡単な質問をしたり，答 えたりできる」で，テーマ・トピック例は「挨拶,買い物，注文」のように記述されている。

抽出した会話のそれぞれと AJ Can-do リストの記述を比較し, Can-do 会話とそのレベルを推定する.

今回の抽出では, 対象とした全 12 作品 100 話分 の字幕データから， 1,600の Can-do 会話を得た. 655 会話はグループ A（ファンタジー）， 945 会話はグ ループ B(リアリティ)に大別された。総文数 35,261 文の内, Can-do 会話の文数は 19,808 文で, 全体の約 $56.2 \%$ が Can-do 会話として推定された。詳細を表 2 に示す. 表中で, C 文数は内 Can-do 会話の文数, C 率は Can-do 会話率, $\mathrm{C}$ 話数は Can-do 会話の数をそ れぞれ表す.

## 表 2 Can-do 会話

## 4 Can-do 会話の分析

3 で抽出した Can-do 会話について, 会話率, レべ ル分布の観点から利用可能性について分析をする.

## 4.1 Can-do 会話率

表 2 の「C 率」欄に, 各作品の Can-do 会話率が示
されている. Can-do 会話率は, 作品中の Can-do 会話文数を作品中の総文数で割ったもので，1 つのテ レビ番組内にどのくらい Can-do 会話が含まれてい るかの割合を示している。最も高い B6（銀の匙 Silver Spoon)では $82.9 \%$, 最も低い A5 (僕のヒーロ 一アカデミア)においても $30.9 \%$ の Can-do 会話率が 得られた。また全作品を総合した Can-do 会話率は $56.2 \%$ \%゙った. これらの結果より, 人気作品群に は学習教材資源として十分な量の Can-do 会話が含 まれていると考えられる。

グループ A とグループ B での Can-do 会話率を比較すると，A が $46.3 \%$ であるのに対し，B では $64.7 \%$ であり，全字幕に対する Can-do 会話の割合は B の 方が高かった.グループ A（ファンタジー）はサブ ジャンルが「SF/ファンタジー」「ホラー/サスペン ス/推理」「アクション/バトル」であり，戦闘アク ションなどの描写が多い. 一方, グループ B(リアリ ティ)のサブジャンルは「スポーツ/競技」「ドラマ /青春」「恋愛/ラブコメ」「日常/ほのぼの」であり，一般的な会話がより多かったものと推測される.

## 4. 2 Can-do レベル分布

Can-do 会話として利用可能かどうかを判定する 際に，Can-do 目標の記述を参照し，レベルの推測も おこなった．各レベルごとの Can-do 会話の分布を 表 3 に示す.

## 表 3 Can-do レベルの推定結果

表 3 に示す今回の調査で，アニメーション字幕コ 一パス内の Can-do 会話は, 初級 1 から上級 2 まで の幅広いレベルをカバーしていた。なかでも，中級 2 と中上級の Can-do レベルについて, 豊富な会話例 を含んでいた。一方，上級以上と推測される Can-do 会話は少なく，最上位の「超級」に該当するCan-do
会話は抽出されなかった. この結果より, 人気作品群のアニメーション字幕コーパスは, 比較的広い範囲の Can-do レベルの会話を含んでおり，特に中級 2 と中上級の Can-do レベルについて, 豊富な会話例 を含んでいると推測される。

次に，グループ A とグループ B 間の Can-do レベ ル分布を比較する。事例が 0 だった超級を除いた 7 レベルでの結果に対して，帰無仮説「A・B グループ 間に Can-do レベル分布の差はない」とした $\chi^{2}$ 検定 を行ったところ，帰無仮説は亭却され，2 グループ の Can-do レベル分布に有意な差がみられた（ $\chi 2=$ $136.21, \mathrm{p}<2.2 \mathrm{e}-16$ ). 続いて残差分析を行った. 調整済み残差の結果を表 4 に示す。

表 4 残差分析における調整済み残差

表 4 で*は $5 \%$ 水準，**は $1 \%$ 水準, $* * *$ は $0.1 \%$ 水準で 差が有意であったことを表す．統計的に見て，Cando 会話は中級 2 ではグループ B，中上級ではグルー プ A に非常に高く, 初級 1 ではグループ B，上級 2 ではグループ A に高く, 中級 1 ではグループ A にや や高い割合で出現しているといえる.

次に，グループ A とグループ B の Can-do 会話の 総数に占める，各レベルの Can-do 会話数の割合を 表 5 に示す.

表 5 Can-do 会話の各レベルでの割合

表 5 に示すとおり, グループA においては, 中上級, 中級 2 が多く, それぞれ $40.71 \%$ と $28.98 \%$ だっ た. 以下, 初級 2 , 中級 1 , 上級 1 と続き, 初級 1 と 上級 2 は非常に少なかった。一方グループ B におい ては, 中級 2 が最も多く $49.89 \%$ であり, 次に中上級 が $24.55 \%$ だった. 以下, 初級 2 , 上級 1 , 中級 1, 初級 1 と続き, 上級 2 は非常に少なかった.

## 4.3 分析のまとめ

以上の分析から次のことがいえる。
- 今回調查した人気作品群のアニメーション 字幕コーパスには, Can-do ベースの会話例教材資源として十分な量の会話が含まれる。
- 字幕内の Can-do 会話率は作品のジャンルに よって異なり，ファンタジーに分類されるグ ループ A よりもリアリティに分類されるグ ループ B が高い傾向が見られた.
- 字幕コーパス内の会話は初級から上級まで の広い Can-do レベルをカバーしており，特 に, 中級 2 と中上級の割合が多かった. また,今回の調查では最上位の超級の Can-do 会話 は抽出されなかった。
- 字幕コーパス内の Can-do レベル分布では,平均 Can-do 会話率が低いグループ A の方が,比較的難度の高い中上級の会話をグループ B

一」作品は，よりシリアスな話題についての 会話が多いこと，一方で B の「リアリティ」作品は日常シーンなどを多く含み, 日常会話 レベルの Can-do 会話がより多く含まれるこ となどが理由として推測される。

## 5 おわりに

本研究では, 日本語アニメーションの字幕をCando 型学習用教材の資源として活用することを検討 した. アニメーション字幕コーパス内から会話部分 を人手により抽出し, AJ Can-do リストの各レベル の Can-do 目標を参照し, 例文に利用可能な Can-do 会話の選定とレベル推定を行った. 調査・分析の結果から，アニメーション字幕コーパスは，さまざま な機能・目的を持った豊富な会話を含んでおり, Cando ベースの会話例教材の資源として適していると 考えられる. 本調査はアニメーションを学習教材に 利用するという観点からは, 比較的規模が大きいと 言えるが，今後さらに対象数を増やした詳細な分析 を行う必要がある．また，今回の著者による Can-do レベル推定に加えて, 今後日本語教育者も含めた複数での推定を行いレベル推定の精度を高める必要も ある. さらに, 今後の展望として, 本研究で抽出し た Can-do 会話を Can-do レベル付きの教師データと して用いることで, 字幕コーパスからの Can-do 会話自動抽出への応用が考えられる。

## 謝辞

本研究は JSPS 科研費 JP19H04224, JP20H00096 の

助成を受けたものです.

## 参考文献

[1] 大河原龍太朗, Can-do 型日本語学習用資源とし てのアニメーション字幕の分析, 卒業論文, 東京外国語大学, 3. 2022.

[2] 東京外国語大学留学生日本語教育センター, JLPTUFS アカデミック日本語 Can-do リスト (AJ Can-do リスト）, https://tufs-jlc-

kyoten.jp/kyoten/development/ajcan-do/cando_list, 2022-01 閲覧.

[3] 熊野七絵, 廣利正代,「アニメ・マンガ」調査研究--地域事情と日本語教材 An examination of "ANIME \& MANGA": regional information overseas and Japanese-Language materials，国際交流基金日本語教育紀 4, pp. 55-69, 国際交流基金, 2008.

[4] 臼井直也, 日本語教育におけるアニメーション 研究のこれまでとこれから, 日本研究教育年報 21 , pp. 103-117, 東京外国語大学, 2017.

[5] 田中里実, 本間淳子, 初級語彙・文型による

「耳をすませば」スクリプトの分析：日本語学習資源としてのアニメーション映画の可能性, 北海道大学留学生センター紀要 13, pp. 98-117, 北海道大学留学生センター, 2009.

[6] Alsubaie, Sara S.; Alabbad, Abbad M., The Effect of Japanese Animation Series on Informal Third Language Acquisition among Arabic Native Speakers. English Language Teaching, v13 n8, pp. 91-119, 2020.

[7] Hajime Mochizuki and Kohji Shibano, Building Very Large Corpus Containing Useful Rich Materials for Language Learning from Closed Caption TV, World Conference on E-Learning in Corporate, Government, Healthcare, and Higher Education, Volume 2014, No. 1, pp. 1381-1389, Association for the Advancement of Computing in Education (AACE), 10. 2014.


# 発話者ごとの潜在変数学習による対話応答生成の一貫性向上

大西孝宗 ${ }^{1}$ 椎名広光 ${ }^{2}$
1 岡山理科大学大学院 総合情報研究科 2 岡山理科大学 総合情報学部
i20im02ot@ous.jp shiina@mis.ous.ac.jp

## 概要

対話応答生成において CVAE を応用したモデルは 潜在変数の違いによって多様性のある応答生成を可能にしている。一方で，コンテキスト全体からサン プリングされた潜在変数は，発話者の特徴が希薄と なり，生成した応答の一貫性低下に影響すると考え る. この課題を解決するため，発話者ごとの潜在変数を用いることで，一貫性のある応答を生成するこ とを試みている。また，手法の有効性を検証するた め，英語と日本語のコーパスを用いて応答の生成実験を行い，自動評価指標を用いて応答の多様性や参照応答との類似性，コンテキストとの類似性につい て評価を行った。

## 1 はじめに

近年，ニューラルネットワークを用いた対話応答生成の研究が盛んに行われおり, EncoderDecoder(Seq2Seq) モデル $[1,2,3]$ の応用が Vinyals ら [4] により提案されている. 対話データを用いて, Encoder-Decoder モデルに発話から応答へ変換する ことを学習させる手法であるが，無難な応答を生成 する傾向にあることが課題として報告されている。

この課題に対して, Conditioned Variational Autoencoder(CVAE) をべースとした手法が提案されてい る [5][6]. また，計算の高速化を目的とし，RNNを Transformer[7] に置き換えたモデルである, Global Variational Transformer (GVT) モデル [8] が登場して いる。これらの手法では，コンテキスト・応答から 生成した事前・事後分布より, サンプリングした潜在変数をデコーダの入力に付加することを行ってい る。これにより，応答の生成において，潜在変数の 違いから多様性をもたらすことに成功している。

一方で，潜在変数は発話者を区別することなく， コンテキスト全体を条件としてサンプリングされ る.このため，発話者それぞれの主張が混在してし まうことや，発話者の特徴が希薄となり生成した応答の一貫性低下に影響すると考える。

本研究では，応答の一貫性を改善するため発話者ごとの潜在変数を GVT モデルに対して追加す る. これにより，発話者ごとの特徴を捉える効果を 狙い，一貫性のある応答を生成することを試みて いる.

## 2 関連研究

## 2.1 対話応答生成のための CVAE

対話生成タスクの向けの CVAE は, EncoderDecoder モデルを拡張したモデルである．RNN ベー スの Encoderを 2 つ持つ構造であり，コンテキスト と応答を別々にエンコードする。さらに，コンテキ ストと応答それぞれの Encoder の隠れ層のベクトル に従う事前・事後分布を多層パーセプトロン (MLP) によって近似した, Prior Net・Recognition Net から潜在変数をサンプリングする。最後に，Decoder はコ ンテキストを処理した Encoder の隠れ層べクトルと 潜在変数 zを用いて，応答の生成を行う。

また，学習が進むにつれて Decoder が潜在変数 z の情報を考慮しなくなる KL vanishing 問題のため， KL アニーリング [9]，Bag-of-Words(BoW) loss を適用している.

## 2.2 GVT モデル

Global Variational Transformer (GVT) モデルは対話向け CVAE モデルをべースに，Transformer 化したモ デルである. Encoder および Decoderにおいて，RNN の代わりに Transformerを用いている. CVAE モデル では事前・事後分布の MLP よよる近似である Prior Net・Recognition Net の計算に Encoder の隠れ層の状態を用いていたが，GVT モデルでは CLS トークン の位置の出力ベクトルを用いる．CLS トークンは 入力シーケンスの先頭に追加され，Self-attention を 介して出力べクトルが計算される. したがって， CLS トークンの出力ベクトルは，入力全体の表現

図 1 Global Variational Transfo (GVT) モデル

したべクトルとみなすことができる. Prior Net・ Recognition Net からサンプリングされた潜在変数 は, Decoder の入力の先頭に追加し, 応答の生成に 利用される。また, CVAE と同様に潜在変数 $\mathrm{z}$ を Decoder に考慮させるため，KL アニーリング及び BoW loss を用いて学習を安定させている. GVT モ デルの概略図を図 1 に図示する。

## 3 各発話者ごとの潜在変数の生成を 行う提案手法

コンテキスト全体から生成した潜在変数では，発話者ごとの特徴が希薄になり一貫性にかける応答を 生成する一因であると考えられる。そこで本研究で は，発話者ごとの潜在変数を GVT モデルに対して 追加し, モデルが生成する発話の一貫性を向上させ る効果を狙う。

提案モデルでは，GVT モデルと同様にコンテキス 卜と応答の入力を処理し, Prior Net $\cdot$ Recognition Net から潜在変数 z をサンプリングする．加えて，各発話者ごとの入力からも Prior Net を生成し潜在変数 z をサンプリングする.

コンテキストは対話を行う2者の発話を一つにま とめたものであり，それぞれの発話者ごとに分割す ることができる．各発話者ごとにコンテキストを分割し，入力シーケンスの先頭にCLSトークンを付加 した上で，それぞれ Encoderへ入力する。さらに， CLS トークンの位置の出力ベクトルから事前分布を 生成し, 各発話者ごとの潜在変数をサンプリングす る. 通常の潜在変数に加えて，応答の発話者の潜在変数を Decoder の入力の先頭に追加し, 応答の生成 において利用する。また，GVT モデルと同様に KL

図 2 各発話者ごとの入力を処理する Encoderを GVT モデルに追加した提案モデル

アニーリングおよび BoW loss を学習安定のために 用いる。提案モデルの概略図を図 2 に図示する。

## 4 応答の生成実験と評価

## 4.1 実験設定

ベースラインである GVT モデルと提案モデルに ついてマルチターンの対話応答生成を行う。データ セットには Ubuntu Dialogue Corpus [10] およびおー ぷん 2 ちゃんねる対話コーパス [11]を用いた。前処理として SentencePiece ${ }^{1)}$ を用いてサブワードへの分割を行っている。

## 4.2 評価手法

応答の多様性の自動評価 モデルによって生成さ れた応答の多様性を測定するため， dist-n[12]を用い る. n-gram の総数に対して n-gram の種類数が占め る割合を算出し，この比率が高いほど，多様性が高 いことを示す.

応答の類似性の自動評価 モデルによって生成さ れた応答と参照応答の類似性について，両者の埋め 込みべクトル間のコサイン類似度を計算することで 評価する。2 種類の計算手法を用いる。

Embedding-based-Metrics[13] は，事前学習済みの 単語ベクトルを用いて文の類似性を評価する手法 であり, Embedding Average, Greedy Matching, Vector Extrema の 3 種類の算出法が提案されている. 本研究では Embedding Average を評価指標として用い た. 事前学習済みの単語ベクトルとして，Ubuntu

1) https://github.com/google/sentencepiece
表 1 各モデルの自動評価結果

Ubuntu Dialogue コーパス

表 2 参照応答の発話者の発話履歴と

生成した応答についての BERT Score

Ubuntu Dialogue コーパス

コーパスの評価には Google News Corpus で学習させ た Word2Vec の単語ベクトルを用いた。おーぷん 2 ちゃんねるコーパスでは，日本語 Wikipedia で学習 させた Word2Vec の単語ベクトルを用いた。

BERT Score[14] は，事前学習した BERT[15] の埋 め込みを使用して，モデルによって生成された応答 と参照応答の類似性を評価する手法である。

発話の一貫性発話の一貫性を調査するため，モ デルによって生成された応答と参照応答の発話者の 発話履歴について，BERT Scoreを用いて類似性を算出する.

## 5 実験結果

## 5.1 自動評価結果

各モデルが生成した応答の自動評価結果を表 1 に示す。生成した応答の多様性においては，Ubuntu コーパス及びおーぷん 2 ちんれるコーパスのどち らにおいても提案モデルのスコアが向上している.一方で参照応答との類似性については，Ubuntuコー パスとおーぷん 2 ちゃんねるコーパスで反対の結果 となった。これは，データセットの性質が影響した表 3 Ubuntu Dialogue Corpus およびおーぷん 2 ちゃんね る対話コーパスを用いた各モデルの対話生成例 Ubuntu Dialogue コーパス 発話 1:hi any expert for grub and boot here?発話 2:sorry whats the problem?発話 3:my system isn't boot from the second hdd GVT モデル:I have to edit the grub partition

Response $\begin{aligned} & \text { in ubuntu i will try? } \\ & \text { 提案モデル:the drive is not supported with grub }\end{aligned}$参照応答:it only boots from the first drive. おーぷん 2 ちゃんねる対話コーパス

Context 発話 1:ついに茶が出るようになったか 発話 2:ゆーめーじん?発話 3:**コテで有名 GVT モデル:(^ $q \wedge)$ クッソ難しいから

Response 提案モデル:じゃあ全然有名じゃないです $\mathrm{w}$参照応答:なーる。まあ。いーや一!

と考えられる。おーぷん 2 ちんねるコーパスは多様性に富んだ応答を数多く含むデータセットである ため，多様性の高い応答を生成する提案モデルがス コアを伸ばしている。逆に，Ubuntuコーパスはドメ イン固有のデータセットであるため，応答の多様性 は高くなく，提案モデルはスコアを落としている.

各モデルが生成した応答と参照応答の発話者の発話履歴の類似性について自動評価結果を表 2 に示 す.こちらも提案モデルは，おーぷん 2 ちゃんねる コーパスではスコアが伸び，Ubuntuコーパスではス コアを下げており，生成した応答と参照応答の類似性スコアと同じ傾向となっている.

## 5.2 応答生成例

Ubuntuコーパス及びおーぷん 2 ちゃんねるコー パスから各モデルが生成した応答例を表 3 に示す. Ubuntu コーパスの生成例では，両モデルともやや 見当違いの生成をしている。おーぷん 2 ちゃんねる コーパスの例では，両モデルの生成例とも文法的な
違和感はない。また，提案モデルが生成した応答は 参照応答とは異なるが，対話の流れとして比較的自然である。

## 6 おわりに

本研究では，対話応答生成タスクにおける応答の

一貫性を向上させるため，GVT モデルに対して発話者ごとの潜在変数をサンプリングする手法を追加し たモデルを提案した. 提案モデルでは，発話者ごと の潜在変数の効果によって多様性が向上し，おーぷ ん 2ちゃんねるコーパスでは参照応答との類似度向上につながった．しかしながら，自動評価指標のみ では応答の一貫性について評価しきれていない.

今後の課題として, 発話者ごとの潜在変数追加が 応答の一貫性にあたえた影響についてより深い検証 を行うことと，Decoder において潜在変数をうまく 活用するための改善に取り組みたいと考えている.

## 参考文献

[1] Ilya Sutskever, Oriol Vinyals, and Quoc V Le. Sequence to sequence learning with neural networks. In Advances in Neural Information Processing Systems 27 (NIPS 2014), pp. 3104-3112, 2014.

[2] Thang Luong, Hieu Pham, and Christopher D. Manning. Effective approaches to attention-based neural machine translation. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 1412-1421, Lisbon, Portugal, September 2015. Association for Computational Linguistics.

[3] Alexander M. Rush, Sumit Chopra, and Jason Weston. A neural attention model for abstractive sentence summarization. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 379389, Lisbon, Portugal, September 2015. Association for Computational Linguistics.

[4] Oriol Vinyals and Quoc V. Le. A neural conversational model. In ICML Deep Learning Workshop, 2015.

[5] Tiancheng Zhao, Ran Zhao, and Maxine Eskenazi. Learning discourse-level diversity for neural dialog models using conditional variational autoencoders. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 654664, Vancouver, Canada, July 2017. Association for Computational Linguistics.

[6] Iulian Vlad Serban, Alessandro Sordoni, Ryan Lowe, Laurent Charlin, Joelle Pineau, Aaron C. Courville, and Yoshua Bengio. A hierarchical latent variable encoderdecoder model for generating dialogues. In Satinder P. Singh and Shaul Markovitch, editors, Proceedings of the Thirty-First AAAI Conference on Artificial Intelligence, February 4-9, 2017, San Francisco, California, USA, pp. 3295-3301. AAAI Press, 2017.

[7] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob
Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. V. Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc., 2017.

[8] Zhaojiang Lin, Genta Indra Winata, Peng Xu, Zihan Liu, and Pascale Fung. Variational transformers for diverse response generation. arXiv preprint arXiv:2003.12738, 2020.

[9] Samuel R. Bowman, Luke Vilnis, Oriol Vinyals, Andrew Dai, Rafal Jozefowicz, and Samy Bengio. Generating sentences from a continuous space. In Proceedings of The 20th SIGNLL Conference on Computational Natural Language Learning, pp. 10-21, Berlin, Germany, August 2016. Association for Computational Linguistics.

[10] Ryan Lowe, Nissan Pow, Iulian Serban, and Joelle Pineau. The Ubuntu dialogue corpus: A large dataset for research in unstructured multi-turn dialogue systems. In Proceedings of the 16th Annual Meeting of the Special Interest Group on Discourse and Dialogue, pp. 285-294, Prague, Czech Republic, September 2015. Association for Computational Linguistics.

[11] 稲葉通将. おーぷん 2 ちゃんねる対話コーパスを用 いた用例ベース対話システム. 第 87 回言語・音声理解と対話処理研究会 (第 10 回対話システムシンポジ ウム), 人工知能学会研究会資料 SIG-SLUD-B902-33, pp. 129-132, 2019.

[12] Jiwei Li, Michel Galley, Chris Brockett, Jianfeng Gao, and Bill Dolan. A diversity-promoting objective function for neural conversation models. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 110-119, San Diego, California, June 2016. Association for Computational Linguistics.

[13] Chia-Wei Liu, Ryan Lowe, Iulian Serban, Mike Noseworthy, Laurent Charlin, and Joelle Pineau. How NOT to evaluate your dialogue system: An empirical study of unsupervised evaluation metrics for dialogue response generation. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 2122-2132, Austin, Texas, November 2016. Association for Computational Linguistics.

[14] Tianyi Zhang*, Varsha Kishore*, Felix Wu*, Kilian Q. Weinberger, and Yoav Artzi. Bertscore: Evaluating text generation with bert. In International Conference on Learning Representations, 2020.

[15] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.


# 国語研長単位に基づくUD Japanese

大村舞
国立国語研究所
mai-om@ninjal.ac.jp
}

若狭絢
国立国語研究所
awakasa@ninjal.ac.jp
}

浅原 正幸
国立国語研究所
masayu-a@ninjal.ac.jp

## 概要

Universal Dependencies (UD) は言語横断的に、かつ 依存構造にツリーバンクを構築するプロジェクト である。全言語で統一した基準により、品詞タグ付 け・依存構造アノテーションデータの構築が進めら れている。分かち書きをしない言語においては、基本単位として構文的な語 (syntactic word) を採用す るように規定している。従前の日本語の UD デー タは、形態論に基づく単位である国語研短単位を 採用していた。今回、我々は新たに構文的な語に 近い単語単位である国語研長単位に基づく日本語 UD である UD_Japanese-GSDLUW、UD_JapanesePUDLUW、UD_Japanese-BCCWJLUW を構築した ので報告する。

## 1 はじめに

Universal Dependencies [1] (UD) は、依存構造関係 を付与する基本単位として構文的な語 (syntactic word）を用いることを規定している。英語やフラン ス語といった空白を用いて分かち書きをする言語に おいては、縮約形態を除いて、空白を語境界と認定 することが多い。一方、分かち書きを語境界で明示 しない東アジアの言語においては、どのような単位 が構文的な語に規定すべきかという問題がある。

既に公開されている UD Japanese（日本語版 UD） は、その基本単位として国語研短単位 (Short Unit Word: 以下短単位) を採用している。現在までに短単位に基づく形態素解析用辞書として、約 88 万語か らなる UniDic [2] が公開されている。この語彙数の 多さは、日本語の形態変化の豊かさ (morphologically rich）を示しているだろう。さらに、短単位は『現代日本語書き言葉均衡コーパス』(BCCWJ) [3]・『日本語日常会話コーパス』(CEJC) [4] をはじめとした 形態論情報つきコーパスでも採用されており、150 万語規模の単語埋め込み NWJC2vec [5] でも短単位 が使われているため、短単位を基準として言語処理
に必要な基本的言語資源が整備されている。この短単位に基づく言語資源の豊富さから、実用上は短単位に基づく処理が好まれる傾向にあった。

Murawaki [6] は、単位として短単位を採用してい る既存の UD Japanese コーパスは「形態素」単位で あり、UD の原則にあげられる「基本単位を構文的 な語とする」という点で不適切であることを指摘し ている。国語研においては、形態論情報に基ついいて 単位認定し、可能性に基づく品詞体系が付与されて いる短単位とは別に、文節に基づいて単位認定し、用法に基づく品詞体系が付与されている国語研長単位 (Long Unit Word: 以下長単位) を規定している。 さらに、同単位に基づいた形態論情報が BCCWJ や CEJC などのコーパスに付与されている。

本稿では、長単位に基づくUD Japanese の言語資源を整備したので報告する。長単位は、文節に基づ いて認定される構文的な語とみなしうる単位であ る。長単位は UD の原則に基づくと UD Japanese で 採用すべき基本単位ではあるが、長単位に基づく コーパスの構築は、短単位に基づくコーパスの構築 より困難である。さらに、長単位に基づく依存構造木が解析器によって生成しやすいかという問題もあ る。本稿では、国語研長単位に基づくUD Japanese について説明すると共に、既存の言語資源・解析器 によって長単位に基づくUD が生成しやすいかにつ いて議論する。

## 2 日本語の単語分割

## 2.1 国語研による語の単位認定

日本語の単語の境界認定として、国語研では、最小単位、短単位、長単位、文節などの単位を規定し ている [7]。それぞれの例を図 1 に示す。

最小単位はその語種に基づき定義される。日本語 は、漢語・和語 - 外来語 - 固有名詞 - 数値表現 $\cdot$ 記号 などの語種からなり、漢語は 1 文字 1 語、和語・外来語・固有名詞はその最も短い単位を 1 語とする。

 \\

図 1 最小単位、短単位、長単位、文節の例（BCCWJ の PB33_00032より）

数値表現は十進の位取りで発音できる単位に分割す る。記号は 1 文字 1 語とする。

短単位は、最小単位に基づき、同じ語種同士の 1 回結合までを 1 単位としている。この短単位に対し て UniDic 体系に基づく形態論情報（品詞・活用型・活用形・語形・語彙素）が定義され、その品詞に基 づいて付属語か自立語かが認定される。短単位に付与される品詞はその形態素に基づく「可能性に基づ く品詞」が付与されるが、これはその形態素でとり 得る用法をすべて考慮したものであり、実際の用法 などは考慮されていない。用例収集のため、斉一 な単語になることを目的としており、1 単語辺りが 短い。

長単位は、文節境界を認定したのちに、文節内の 短単位要素の結合により認定される。この文節は日本語において係り受けを付与するのに適した単位で ある。文節単位の係り受け構造は係り受けが交差せ ず、左から右にかかり (右主辞)、短単位品詞をもと に容易に系列ラベリングでくみ上げられるという性質を持つ。文節は、 1 自立語に接頭辞・接尾辞・助詞・助動詞などから構成されるとし、その各要素を 長単位として認定する。長単位の規程集には、長単位としてみなす複合辞 (Multi-word Expressions) が認定され、複合辞をなす機能表現は 1 単位とする。長単位は文法を基準とした単位のため構文的な語に 近いと考えられる。また長単位はその用法（係り受 けなどの文脈）に基づく「用法に基づく品詞」が付与される。品詞の観点からも、短単位よりも長単位 のほうが UD が示す「構文的な語」に近いと考えら れる。

## 2.2 利用できる言語資源・解析器

表 1 各単語単位で利用できる言語資源・解析器表 1 に各単位認定に利用できる言語資源・解析器 について示す。表中 TTR は BCCWJ 中の Type Token Ratioであり、この値が高いほど、その単位の出現確率が小さくなることを意味する。最小単位は、短単位を認定する際の基本単位であり、現在のところ公開されている言語資源・解析器は存在しない。短単位は、形態素解析器 MeCab [8] において形態素解析用辞書 UniDic を用いることにより生成されるほか、 NWJC2vec などの単語埋め込みが利用できる。長単位・文節については、辞書の構築は TTR の大きさ からも分かる通り、語彙の膨大であるため存在しな いが、短単位から構成規則により生成されるため、 チャンカーとして Comainu [9] により生成すること ができる。

## 2.3 日本語 UD における単語分割の歴史

我々はいままで現代日本語 UD として 4 種類の コーパスを公開しており、今回さらに長単位版の UD コーパスを 3 種類公開した。既存の短単位版 UDについて説明をする。

UD_Japanese-KTC [10] は京都大学テキストコー パスを元に作られた UDである。UD_Japanese-KTC は長単位に近い単語境界で単語を構成しており、人手によって句構造木もアノテーションされ、その 句構造木に基づいて UD を構築している。現在 UD プロジェクトでは Version 2 が公開されているが、 UD_Japanese -KTC については Version 1 でメンテナ ンスが止まっている。

UD_Japanese-BCCWJ は BCCWJ に基づいた UD コーパスである。BCCWJでは短単位・長単位・文節および文節単位の係り受けの情報が提供されてい る。UD_Japanese-BCCWJ はこの BCCWJ からの形態素情報を元に Omura and Asahara [11] らが提案し ているルールよって、単語係り受け構文へと自動変換されたものである。

UD_Japanese-GSD と UD_Japanese-PUD は Version 1.4 まで Google [12]が管理していたが、Version 2.0 よ り我々がメンテナンス及び公開しているコーパスで

ある [10]。UD_Japanese-GSD と UD_Japanese-PUD は ver. 2.0 から 2.5 までは IBM の単語分割器 [13] に より単語分割され修正されていたものであったが、 ver. 2.6 からは短単位を基準として人手によりアノ テーションをされている。単語係り受け構文につい ては Omura and Asahara [11] らのルールによって自動変換されている。

## 3 長単位ベースの日本語 UD

表 2 日本語長単位ベース UD の統計情報

我々は短単位と長単位によって違いを検証す べく、長単位べースの日本語 UDを開発した。UD の v2.9（2021 年 11 月）から、BCCWJ, GSD, PUD の 長単位ベース UDを、UD_Japanese-BCCWJLUW, UD_Japanese-GSDLUW, UD_Japanese-PUDLUW と して公開している。1)

UD_Japanese-GSD と UD_Japanese-PUD は短単位 ベースの単語境界、品詞そして文節ベースの係り受 け関係を人手により一度アノテーションされてい る。我々はさらに、長単位ベースのUDを構築する ため、GSDと PUDについて長単位の境界、品詞、原型をアノテーションした。長単位をアノテーショ ンしている際に、長単位と短単位でデータに一貫性 の不備があった場合は、オリジナルのデータをさら に修正している。そしてこのアノテーションデー タ GSD, PUD を Omura and Asahara [11] らの提案した ルールベースによって、文節係り受けから UD の枠組みである単語係り受け関係のコーパスに変換し、 UD_Japanese-GSDLUW と UD_Japanese-PUDLUW を 構築した。この変換ルールは短単位と長単位の原型 や品詞、形態的な特徴を元にルールベースで変換

している。 ${ }^{2)}$ UD_Japanese-GSD と UD_Japanese-PUD の元となっているこの文節係り受けコーパスは拡張 Cabocha 形式 [14] でオープンデータとして公開3)さ れている。

BCCWJ はオリジナルのデータにすでに短単位の 境界と品詞、長単位の境界と品詞が公開されてお り、浅原らのデータ [15]を組み合わせることで文節係り受けデータも獲得できる。そこから GSD と PUD と同様に変換を行い UD_Japanese-BCCWJLUW を構築した。

表 2 にそれぞれの長単位 UD の統計情報を示して いる。表 2 から分かる通り、長単位の語数は短単位の語数より少ない。これは長単位自体が短単位の 結合することで構築されているからである。また、長単位は文節を基準に分割したものではあるが、前節の通り、複合語などが含まれていた場合、2つの 文節に分割されることもある。そのため、必ずしも 短単位と長単位で文節の数は一致していない。

## 4 統語解析による比較実験

この節では単語単位の違うUDについて、公開さ れているツール・言語資源によって統語解析を行う ことで、どのくらい再現可能かを検討する。この実験ではGSDコーパスを用いた。GSD は訓練・開発・評価データに分割されており、実験設定はこの分割 に基づいて実施し、評価は 3 つのレベルで行った。 1つ目は未解析文を大力にした全ての解析器 (単語分割, 品詞タグ付け, 係り受け解析)を行うものであ る。2つ目は正解の単語分割を入力にして品詞タグ 付け・係り受け解析を行うものである。3つ目は正解の単語分割と正解の品詞タグを入力に係り受け解析のみを行うものである。

全ての結果を付録の表 4 に示す。正解デー タの場合 Gold という表記で示している。v2.5 (IBM) は IBM の単語分割基準、v2.8 (SUW) が短単位、v2.9 (LUW) が長単位のデータとなっている。 UDPipe [16](v1.2.0) によりこの 3 種の単語分割につ いて再訓練を行ったものの結果を UDPipe (T) にて 示している。UDPipe はパイプラインモデルで単語分割・品詞タグ付け・レンマ推定・係り受け解析を 行うことができる。また LINDAT/CLARIN が提供す

2）実際 Omura and Asahara [11] らのルールは短単位に基づいた ルールであるが、長単位の場合でも品詞に関する変換ルール を 10 個ほど追加しただけで変換できた。

3) https://github.com/masayu-a/UD_Japanese-GSDPUDCabocha

表 3 未解析文を入力した場合の係り受け解析精度 (Subset of 表 4). Diff は w/o vec と w/vec の差である

る UDPipe モデル4)はv2.5 (IBM) の訓練データで訓練しており、その結果も UDPipe (O) として示して いる。さらに UDPipe は係り受け解析器に外部の単語埋め込みを利用することができる。短単位に基づ く単語埋め込み NWJC2vec を利用していないものと 利用したものの結果について Train w/o vec と Train w/ vec にて示している。v2.5 (IBM) でもUDpipe 特有 の単語埋め込みが生成されているため、Original で 示している。

全体的に $\mathrm{v} 2.5$ 以前の UDよりも v2.8 以降の短単位と長単位を採用した UD のほうが、高精度に 解析が可能であることが分かった。また、通常の UDPipe におけるv2.9(LUW) の係り受け解析精度は v2.8 (SUW) に1.2-1.4\%ほど劣っていた。

表 3 に単語埋め込みの影響を見るため、未解析分 を入力とした結果のみ抜粋している。短単位に基づ く単語埋め込み NWJC2vec の利用の有無の差分を見 ると v2.8 (SUW) のほうが、v2.9(LUW) よりも性能の 向上が見られた。一方で、MeCab や Comainu を使っ た場合、単語埋め込みを使わない設定においては、 v2.8(SUW) よりも v2.9(LUW) のほうが良い性能であ り、また単語埋め込みを利用した場合の最終的な係 り受けの精度は $\mathrm{v} 2.8(\mathrm{SUW})$ と $2.9(\mathrm{LUW})$ とでほと んど差がないことが確認された。構文的な語の認定精度が構文解析精度に影響があることがわかる。単語単位の問題は単語埋め込みの構成単位にもかか わってくる。長単位に基づく単語埋め込みの構築は 前述の通り Type Token Ratio の観点からは実用的で はなく、現状の計算資源では文字もしくは短単位に 基づく単語埋め込みが好まれるだろう。

最後に、表 4 の Lemma の項目をみると、短単位よ りも長単位のほうがレンマ生成の精度が低いことが 確認された。これは複合された形態素の語彙素の推定は難しいためと考えられる。長単位のレンマ生成

器の精度向上が望めば、より良い解析精度を得られ るだろう。

## 5 おわりに

本稿では日本語 UD における単語分かち書きの問題について示した。様々な日本語分かち書き基準に ついて紹介するとともに、UD が掲げる理念に即し た単位認定「構文的な語」にふさわしい単位として 国語研長単位があることを紹介した。実際に長単位 に基づくUDを構築し、公開・共有を行った。さら に長単位に基づくUD_Japanese-GSDLUW (v2.9)につ いて、公開されているツール・言語資源を用いて、 その再構成可能性について検討を行った。結果、既存の形態素解析器 $\mathrm{MeCab} \cdot$ Comainu とともに短単位 に基づく単語埋め込み NWJC2vec を用いた設定にお いて、短単位と長単位とで最終的な係り受けの性能 において差がないことを確認した。

構文的な語に基づく依存構造ツリーバンク構築 は、日本語のような分かち書きされない言語におい てはかなり困難なタスクである。その形態素（短単位・長単位) ・品詞・複合辞認定・依存構造木の 構築には多大な作業が必要であった。最初に UD Japanese に携わってから、対外的な調整（権利関係・ アノテーション基準）も含めて、8 年の期間を要し た。本基準に則ると、文節係り受けが付与された短単位・長単位に基づく BCCWJ や CEJC なども UD 対応することが可能である。

ただし、構文的な語 としての長単位の出力が、工学的に有用であるかはまだ不明である。長単位は複合辞の問題を緩和している一方、先に述べた通り単語埋め込みの恩恵を受けにくくなるという問題があ る。さらには、類型論の研究を考えた場合に、他言語においても同様の構文的な語を規定できるかと いう問題がある。今後他言語を含めた有用性を検証 する必要があると考えられる。

## 謝辞

本研究は国立国語研究所コーパス開発センター 共同研究プロジェクトの成果です。また、科研費 17H00917 の支援を受けました。

## 参考文献

[1]Joakim Nivre, Marie-Catherine de Marneffe, Filip Ginter, Yoav Goldberg, Jan Hajič, Christopher D. Manning, Ryan McDonald, Slav Petrov, Sampo Pyysalo, Natalia Silveira, Reut Tsarfaty, and Daniel Zeman. Universal Dependencies v1: A multilingual treebank collection. In Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC'16). European Language Resources Association (ELRA), May 2016.

[2]伝 康晴, 小木曽 智信, 小椋 秀樹, 山田 篤, 峯松 信明, 内元 清貴, and 小磯花絵. コーパス日本語学のための言語資源-形態素解析用電子化辞書の開発とその応用 (特集コーパス日本語学の射程). 22:101-123, oct 2007.

[3]Kikuo Maekawa, Makoto Yamazaki, Toshinobu Ogiso, Takehiko Maruyama, Hideki Ogura, Wakako Kashino, Hanae Koiso, Masaya Yamaguti, Makiro Tanaka, and Yasuharu Den. Balanced corpus of contemporary written Japanese. Language resources and evaluation, 48(2):345-371, December 2014.

[4]Hanae Koiso, Yasuharu Den, Yuriko Iseki, Wakako Kashino, Yoshiko Kawabata, Ken'ya Nishikawa, Yayoi Tanaka, and Yasuyuki Usuda. Construction of the Corpus of Everyday Japanese Conversation: An interim report. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018). European Language Resources Association (ELRA), May 2018.

[5]Masayuki Asahara. NWJC2Vec: Word embedding dataset from 'NINJAL Web Japanese Corpus'. Terminology: International Journal of Theoretical and Applied Issues in Specialized Communication, 24:7-22, January 2018.

[6]Yugo Murawaki. On the definition of Japanese word, June 2019. arXiv: 1906.09719 [cs.CL].

[7]Yasuharu Den, Junpei Nakamura, Toshinobu Ogiso, and Hideki Ogura. A proper approach to Japanese morphological analysis: Dictionary, model, and evaluation. In Proceedings of the Sixth International Conference on Language Resources and Evaluation (LREC'08), pages 1019-1024. European Language Resources Association (ELRA), May 2008.

[8]Taku Kudo, Kaoru Yamamoto, and Yuji Matsumoto. Applying conditional random fields to Japanese morphological analysis. In Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing. Association for Computational Linguistics, July 2004.

[9] 小澤 俊介, 内元 清貴, and 伝康晴. 長単位解析器の異 なる品詞体系への適用. 自然言語処理, 21(2):379-401, 2014.

[10]Takaaki Tanaka, Yusuke Miyao, Masayuki Asahara, Sumire Uematsu, Hiroshi Kanayama, Shinsuke Mori, and Yuji Matsumoto. Universal dependencies for Japanese. In Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC'16), pages 1651-1658. Euro- pean Language Resources Association (ELRA), May 2016.

[11]Mai Omura and Masayuki Asahara. UD-Japanese BCCWJ: Universal Dependencies annotation for the Balanced Corpus of Contemporary Written Japanese. In Proceedings of the Second Workshop on Universal Dependencies (UDW 2018). Association for Computational Linguistics, November 2018.

[12]Ryan McDonald, Joakim Nivre, Yvonne QuirmbachBrundage, Yoav Goldberg, Dipanjan Das, Kuzman Ganchev, Keith Hall, Slav Petrov, Hao Zhang, Oscar Täckström, Claudia Bedini, Núria Bertomeu Castelló, and Jungmee Lee. Universal Dependency annotation for multilingual parsing. In Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers). Association for Computational Linguistics, August 2013.

[13]Hiroshi Kanayama, Kentaro Torisawa, Yutaka Mitsuishi, and Jun'ichi Tsujii. A hybrid Japanese parser with hand-crafted grammar and statistics. In COLING 2000 Volume 1: The 18th International Conference on Computational Linguistics, pages 411-417, July 2000.

[14]松吉俊, 浅原正幸, 飯田龍, and 森田敏生. 拡張 cabocha フォーマットの仕様拡張. 第 5 回コーパス日本語学 ワークショップ, pages 223-232, 2014.

[15]浅原 正幸 and 松本 裕治. 『現代日本語書き言葉均衡 コーパス』に対する文節係り受け・並列構造アノテー ション. 自然言語処理, 25(4):331-356, 2018.

[16]Milan Straka and Jana Straková. Tokenizing, POS tagging, lemmatizing and parsing ud 2.0 with UDpipe. In Proceedings of the CoNLL 2017 Shared Task: Multilingual Parsing from Raw Text to Universal Dependencies, pages 88-99. Association for Computational Linguistics, August 2017.


# 話し言葉生成のための発話文表現文型辞書

夏目和子 佐藤理史
名古屋大学大学院工学研究科
natsume @ nuee. nagoya-u. ac. jp

## 概要

多様な言語形式の発話文の自動生成を可能とする ために，発話意図毎にその意図を表す表現文型を整理した『発話文表現文型辞書』の編纂を進めている. この辞書の特徴は，それぞれの表現文型に，その文型の「話し方の特徴」をベクトルとして記述する点 にある。本稿では，旧版からの改訂のポイントを中心に，その現状を報告する. 主な変更点は，(1) 発話意図のグルーピング見直し, (2) 文型を接続すること ができる述語の記述方法の変更, (3) 例文の整理, (4)表現文型を主要部と末尾部に分割，の 4 点である.現在の辞書は，60 種類の発話意図に対して，8,055 文型を収録している。

## 1 はじめに

日本語の特徴のひとつに, 文末の述語形式の多様性がある。たとえば，話し手が聞き手に行為の許可 を求める「許可要求」を表す表現には，付録 A に示 すような多様な形式が存在する。これらの形式のう ち, どの形式を使用するかは話し手次第であり, そ の選択はある種の情報を伝達する。

たとえば，「帰らせてくれ」という表現は男性的 で強い要求という特徴を持つため, その表現の話し 手は男性であろうと推測される. それに対して,「帰 らせてくださいませんか」という表現は女性的で丁寧という特徴を持つため, 話し手は大人の女性であ 万うと推測される. 小説の会話では, このような情報伝達を巧みに用い，地の文で明示することなしに 会話の話し手が誰であるかを読者に提示する.これ は，会話の書き分けと呼ばれ，小説執筆のひとつの 技法ともなっている[1].

我々は, 小説の自動生成 $[2] を$ 進める過程で会話の 生成が必要となり，これを実現するための『発話文表現文型辞書』の編纂を進めている [3,4].この辞書 では，発話の目的を「発話意図」として分類し，そ れぞれの発話意図に対して，その意図を表現する表現文型を収録している。それぞれの表現文型には，
その表現が話し方としてどのような特徴を持つかと いう情報（「話し方の特徴」）を付与している点に 本辞書の独自性がある.

本稿では，旧版[4]からの変更点を中心に，この辞書の現状を報告する。

## 2 辞書の概要

『発話文表現文型辞書』のエントリは，特定の発話意図を表す表現文型であり，主に下記の 4 種類の 情報で構成されている。

1. 発話意図=発話の目的

2. 表現文型＝発話意図を表現する言語形式

3. 例文

4. 話し方の特徴ベクトル $=6$ 軸 20 次元

2021 年 12 月現在の本辞書のサイズは, 発話意図 60 種類, エントリ数 8,055 , 例文数 23,489 である.

## 3 発話意図と文型

本辞書における発話意図とは，話し手の発話時に おける発話の目的である。その発話がどのように聞 き手に理解されるかまでは含意しない.

本辞書の発話意図および表現文型の決定には，荒木 $[5] ，$ グループ・ジャマシィ $[6]$ ，市川 [7]などを参考にした。なお, 辞書の全体像を把握するために,発話意図を 11 のグループに分類し, 追加・再編成を 続けている，表 1 に，発話意図のグループリストを 示す.

発話意図のグルーピングに厳密なルールは決め難 いが，宮島 [8]の発話・伝達上の文の類型を拝借する と，グループ R と 0 は働きかけの文， J と I と E は 意志・願望の表出の文, $\mathrm{T}$ と $\mathrm{C}$ は現象文・判断文, $\mathrm{Q}$ は質問文ということになろう。なお，グループ A と Kの大部分は定型表現である.

$
\text { グループ C には, 「だろう」「らしい」「みたい }
$

だ」「ようだ」「かもしれない」「ちがいない」「は ずだ」などのモダリティを表す文型を収録した。エ ントリ数は 5,700 以上であり, 今後, 適切な発話意図を設定して整理する予定である.

 &  \\

## 4 表現文型と例文

表現文型とは，発話意図を表現する際に使用され る言語形式のことである. 本辞書の表現文型の大半 は文末の述語形式であるため，以下の 2 つの要素を 記述する。

1. 核となる述語（述語核）の活用型とテンス・否定の有無の情報（接続形式）

2. 述語核に後続する助動詞や助詞などの文字列. 主要部と末尾部に分けて記述する

発話意図 R05「忠告」の接続形式, 主要部, 末尾部，例文を表 2 に示す.

## 4.1 接続形式

旧版では述語核の情報を，日本語教育で用いられ ている文法関連の記号で記述していた。これを変更 し，今回の版からは HaoriBrics3（HB3） [9]による 表層文の生成が容易になるような記述法を採用した。接続形式は, 活用型とテンス・否定の有無を下記 の記号を組み合わせて記述する。

 &  &  &  \\

たとえば，表 2 の発話意図「忠告」では，主要部「方がいい」に接続する述語核は, Vbnt（動詞型：無標，ない，夕）である。これは，この主要部に例文に示すような 3 種類の形式が接続すること意味す る。一方，主要部「ことだ」に接続する述語核は， Vbn（動詞型：無標，ない）である. なお, Vt（動詞型：夕）に接続する「食べたことだ」は非文ではな いが，忠告の意図を表さないので接続形式に含まれ ない。

## 4.2 主要部と末尾部

主要部には，述語核に後続する助動詞（相当句） と接辞などを記述する。これらを含まない文型の場合は，述語核の活用形などを，HB3 のルールに従っ て記述する。具体的には，命令形やチャ形などであ る.

末尾部には，終助詞と文末記号（？/!/小など） を記述する.末尾部を独立して記述するメリットは，第一に過不足なく記述できているか確認しやすいこ

と，第二に，後述する「話し方の特徴」を記述する 際に，一貫性を保ちやすくなることである．終助詞 は多くの場合, 女性的・男性的, 大人っぽい・子供 っぽい，強弱などの特徴が表されるので，他の発話意図の「話し方の特徵」と比較しながら作業を行う ことが容易となる。

## 4.3 例文

例文では原則として，活用型毎に共通の述語を使用した。 具体的には, 動詞型「食べる」, イ形容詞型「美しい」，判定詞型「綺麗だ」である.

表 2 で示すように，一つのエントリに複数の接続形式を記述した場合は，記号（／）を用いて，全て の例文をまとめて記述している。

## 5 話し方の特徴ベクトル

話し方の特徴は, 表 3 に示す 6 軸 20 要素のベク トルとして記述する。この記述法を定めるにあたっ ては, 日本語記述文法研究会 $[10,11]$ から, 終助詞の 機能，談話の文末表現に見られる文体差，日本語の 複雑な待遇的意味などを参考にした。

表 3 話し方の特徵ベクトルの軸と要素

各要素の値域は，0から 3 （印象軸は 0 か 1）の整数値である。対立する要素の値は，かならず一方は 0 であり, 両方に 1 以上の値を付与することはない.

以下では， ベクトルの値をどのように付与してい るか，その概略を示す。

## 5.1 ジェンダーと年齢の軸

ジェンダーと年齢の軸は, 話者の属性に関係があ りそうだが，あくまで話し方の特徴， 口調について の要素とする。值は，おおよそ文型を構成する要素 に基づいている。具体例を以下に示す.

1. 終助詞さ, ぞ男性的-1

2. 終助詞ぜ男性的-2

3. 終助詞わ $U$ 女性的 -1

4. 終助詞わよ, わ数 女性的 -2

5. からだ，からだよ 男性的-1

6. からよ，から数 女性-1

7. からじゃ 大人っぽい-3

8. のだ，のだよ男性的-1

9. の,のよ女性的-1

10. のね数女性的-2

11.です/ます十ぞ/な男性的-2, 大人っぽい-2

12. です/ます十の/のよ女性的 -2 , 大人っぽい-2

13.だろう，だろうな男性的-1

14. でしょうね 女性的-1

15.たまえ男性的 -2 , 大人っぽい-1

16.やがれ男性的-2

17. じゃんとどもっぽい-1

なお, 終助詞「わ」は，必要に応じてイントネー ションをU（上昇調）と D（下降調）の 2 種類に区別 している. No. 3 のように上昇調の「わ」には女性的 -1を付与するが，下降調の「わ」には付与しない.

3 段階のうちどの値を付与するかの原則の一部を 以下に示す。
- 男性的-2, 女性的-2 は，反対のジェンダーの 話者がめったに使わない表現文型に付与す る

-大人っぽい-2 は中年, -3 は老人が使う表現文型に付与する

-子どもっぽい-1 は若者言葉, -3 は幼肾語に付与する

## 5.2 長さと強さの軸

長さ軸は，表現文型の見た目の長短に基づいて付与する.たとえば，「助動詞十終助詞」を基準とす

ると, 助動詞のみの文型は, 短い-1, 「助動詞十接辞十終助詞」は，長い-1を付与する。

強さ軸は，表現文型に，口調や意味を強める文字列（だぞ，とも，よね）や記号（！）が含まれてい れば，強い-1を，省略やぼかし表現（とか，けど） や記号 (‥)が含まれていれば, 弱い-1を付与する.強調要素, ぼかし要素が複数含まれていれば, 強い -2 や弱い-2 などを付与する.

## 5.3 待遇表現の軸

待遇表現には，上向きvs. 下向きの対立がある.日本語の待遇的意味は複雑であるため, 表 3 に示す とおり, 待遇表現の軸の下にaからdの4 軸を設け， それぞれに（上向き $v s$ 下向き）を表す要素を設定し た。a 敬意の有無（上扱いvs 下扱い）, b 距離（遠 ざけ $\mathrm{vs}$ 親しみ) , $\mathrm{c}$ 場面差(あらたまり $\mathrm{vs} く た ゙ け) ，$ $\mathrm{d}$ 品格 (丁寧 $v s$ ぞんざい) である. これによって, ある軸では上向きであると同時に, 別の軸では下向 きである表現の特徴を数値化できるようになった. たとえば，大人が子どもに対して，命令する表現 で，「お〜なさい」や「ごらんなさい」を含む文型 は, $\mathrm{a}$ 敬意の有無軸が下向きで, $\mathrm{d}$ 品格軸が上向き である. 本辞書では以下の値を付与している.
- R01「お食べなさい」

下扱い-1，あらたまり-1, 丁寧-1
- R01「食べてごらんなさい」

下扱い-1, 親しみ-1, あらたまり-1, 丁寧-1

また，近年よく耳にする「です」を「ッス」に置 き換える表現について, 中村 [12]は, 体育会男子学生が先輩に「そっす数」「おもしろいっす」などと 言うのは，親しさと丁寧さを同時に表すためである と分析している。本辞書では「ッス」を含む表現文型は，敬意と親しみを同時に表すものとして，以下 の値を付与している.
- 男性的-1, 子どもっぽい-1, 上扱い-1, 親しみ一 1

付録に示した Q06「許可要求」の No. 7 と No. 19 がそ れに該当する。

## 5.4 印象の軸

印象軸は, 他の 5 軸の補助的な位置付けで, 現状 では対立する要素を設けず，フラグとして運用して いる.

たとえば，I05 後悔「食べちゃった」には，可愛い -1を付与している.
また，R02 依頼「食べておくれよ」は時代劇の子 どもの発話の印象があるので, 古風-1を付与してい る.

## 6 本辞書の利用

本辞書は, 発話文生成システムの開発とともに改訂を重ねてきた。刀山[13]では初版を，木村[14]では 2 版を, 米田 $[15]$ では本稿の版を利用して発話文生成 を実現している。

発話文生成における本辞書の役割は，与えられた 発話意図に対して，その発話意図を表す表現文型を 提供することである．可能な表現文型の中から実際 に提供する文型を決定する際に，表現文型に付与さ れたベクトルを利用する。

初版から 2 版への主な変更は, 「性別・年齢を中心とした 8 次元の話者属性ベクトル」から「20 次元 の話し方の特徴ベクトル」への変更である. 刀山[13] のシステムは, 入力された話者属性ベクトルからそ の話者らしい発話を生成するのに対し，木村[14]の システムは, 入力された話し方の特徴べクトルに基 づいてその特嘚を有する発話を生成する。この変更 は, 同じ人物でも, 状況や感情や話し相手に応じて 様々な表現文型を用いることに対応するためである.

米田[15]のシステムは, どのような性格の人 (キャ ラクタ）がどのような話し方の特幑（口調）を用い るかを収集したデータベースを使って，性格から口調を推定する．それにより，入力された性格に対し て，その性格を反映した口調の発話を生成する.

## 謝辞

本研究は JSPS 科研費 JP18H03285，JP21H03497 の 助成を受けたものです.

## 参考文献

1. 大沢在昌. 小説講座売れる作家の全技術. 角川書店, 2012 .

2. 佐藤理史. コンピュータが小説を書く日．日本経済新聞出版社, 2016 .

3. 夏目和子, 刀山将大, 佐藤理史. 発話文自動生成 のための日本語表現文型辞書の作成. 言語資源活用 ワークショップ 2016 発表論文集, pp. 126-136, 2017.

4. 夏目和子, 佐藤理史. 発話文表現文型辞書の設計 と編纂. 言語資源活用ワークショップ 2019 発表論文集, pp. 295-312, 2019.

5. 荒木雅弘, 伊藤敏彦, 熊谷智子, 石崎雅人. 発話単位タグ標準化案の作成. 人工知能学会誌, Vol. 14, No. 2, pp. 251-260, 1999.

6. グループプジャマシィ. 教師と学習者のための日本語文型辞典. くろしお出版, 2009 .

7. 市川保子. 日本語類義表現と使い方のポイント:表現意図から考える。スリーエーネットワーク， 2019.

8. 宮島達夫, 仁田義雄編. 日本語類義表現の文法,上:単文編. くろしお出版, 1995.

9. 佐藤理史. HaoriBricks3：日本語文を合成するた めのドメイン特化言語.自然言語処理, Vol. 27, No. 2, pp. 411-444, 2020.

10. 日本語記述文法研究会. 現代日本語文法 4 .

ろしお出版, 2003.

11. 日本語記述文法研究会. 現代日本語文法 7. く万 しお出版, 2009.

12. 中村桃子. 新敬語「マジヤバイっす」: 社会言語学の視点から. 白澤社, 2020.

13. 刀山将大, 夏目和子, 佐藤理史, 松崎拓也. 話者 の特徴を反映した発話文生成器の作成. 言語処理学会第 23 回年次大会発表論文集, B1-3, 2017.

14. 木村遼, 夏目和子, 佐藤理史, 松崎拓也. 発話表現文型辞書を利用した多様な発話文生成機構. 2018 年度人工知能学会全国大会 (第 32 回), 2E2-02, 2018. 15. 米田智美, 佐藤理史. 話者の性格を反映した発話文の生成. 言語処理学会第 28 回年次大会発表論文集, 2022 (発表予定).

## A 付録

## Q06「許可要求」

 &  &  & 主要部 & 末尾部 & 例文 &  &  &  & $\left.\lvert\,$\right. &  &  &  &  &  &  &  &  &  &  &  &  &  &  &  &  \\


# LSTM の無変化性バイアスの実験的分析

石井太河 ${ }^{1}$ 上田亮 ${ }^{1}$ 宮尾祐介 ${ }^{1}$
1 東京大学
\{taigarana, ryoryoueda, yusuke\}@is.s.u-tokyo.ac.jp

## 概要

本研究では Long Short-Term Memory (LSTM) の学習傾向を実験的に分析する．LSTM が出力が単調な 関数を学習しやすいという報告は先行研究でなされ ていたが，詳細な実験は行われていなかった. 本研究では決定性有限オートマトン（DFA）のタイムス テップに対する受理状態の変化の有無で入力記号列 を 2 種に分類し，それぞれに対する LSTM の学習時間の傾向を調査する．直鎖状のDFAを学習させた 結果，DFA の受理・非受理が切り替わる状態遷移の 両端の状態に対応する記号列はそうでない記号列に 比べ学習が遅いことが明らかになり, LSTM は出力 が変化しにくい関数を学習しやすいという無変化性 バイアスを持つことが支持される.

## 1 はじめに

本研究では，深層学習モデルの一つである Long Short-Term Memory（LSTM）[1] に対して以下の仮説 1 を立て，検証することを目的とする。

仮説 1 LSTM のモデル $M$ は入力記号列 $s \cdot a$ と任意 の記号 $c$ に対して, 末尾の記号の削除・追加で出力 が変化しない, すなわち, $M(s)=M(s \cdot a)=M(s \cdot a \cdot c)$ となるような入力記号列 $s \cdot a$ を学習しやすい傾向 （無変化性バイアス）がある（ $s$ は記号列， $a, c$ は記号である).

本研究では, 末尾の記号の追加・削除による出力の 変化の有無に従って大力記号列を 2 種に分類し，そ れぞれに対して LSTM が学習に要した時間を評価 することで，上記の仮説 1 を検証する。分析を容易 にするため, 出力の変化は決定性有限オートマト ン (deterministic finite automaton；DFA) でモデル化 し，LSTM には入力を記号列，出力を受理・非受理 として DFAを学習させる。なお，学習対象のDFA には図 1にあるような直鎖状のものを設定する。一

図 1 直鎖 DFA のパラメータが $(\mathrm{m}, \mathrm{w})=(3,2)$ の例. 長 $さ \mathrm{~m}=3$ の non-change 状態の区間と change 状態の区間が $\mathrm{w}=2$ 回繰り返され，末尾に明示的に non-change 状態が付 け加えられている. 点線，実践はそれぞれ 0,1 の状態遷移 を表す. 状態 0 には記号列 $0,00,000, \ldots$ が対応し，状態 4 には記号列 $1111,01011010, \ldots$ が対応する.

般に様々なグラフ構造の DFA が無限に存在するが，受理・非受理の逐次的な変化のパターンをモデル化 するには直鎖状の DFA が最もシンプル1)なためで ある.

図 1では入力記号列の受理・非受理の切り替わ りによる分類の例が示されている. 状態遷移によ る受理・非受理の変化がない状態 0 には記号列 $0,00,000, \ldots$ が対応し，変化がある状態 4 には記号列 $1111,01011010, \ldots$ が対応する.

また， 2 種の入力記号列の集合それぞれに対して モデルの学習時間を計測するにあたり，本研究では [2]に習い，勾配降下法によるモデルの学習に要し たエポック数を計測した.

## 2 背景

## 2.1 本研究の位置づけ

本研究における仮説 1 は，[2] による LSTM は単調な分類関数を学習しやすいという報告を変化・無変化性に対して一般化したものである. [2] は自然言語の量化子の意味計算をオートマトンによる逐次的な処理によってモデル化し，LSTM により量化子

1）自己ループ以外のループを持たない DFA は，複数の直鎖 DFA から構成されるとみなすことができる。

の学習をシミュレートした. [2] は，モデルの学習過程においてテスト精度が安定して一定値を超えた 最小エポック数を計測した結果，単調な量化子の学習はエポック数が小さくなる，すなわち学習しやす いことを報告している.ここで，分類関数 $f$ が単調

ベット $\Sigma$ 上の任意の記号列 $s \in \Sigma^{*}$ と文字 $c \in \Sigma$ に対 して, $f(s \cdot c) \leq f(s)$ または $f(s) \leq f(s \cdot c)$ のどちら か一方のみが成り立つことを言う。

本研究のアプローチは， $f(s), f(s \cdot c)$ 間の関係を 変化 $f(s \cdot c) \neq f(s)$ と無変化 $f(s \cdot c)=f(s)$ に分解 し, 関数全体の単調性よりも細かく, 出力ブール值 の局所的な変化の有無に着目するものである.

## 2.2 LSTM の性質を調べることの意義

深層学習モデルは今日多くの場面で利用されて おり，学習の効率化や未知の挙動の抑制は重要であ る. LSTM は， 入力記号列を逐次処理する深層学習 モデルである Recurrent Neural Network（RNN）の一種であり，多くの自然言語処理タスクで使用され，分析されてきた. [3] はLSTM を含めた複数の RNN アーキテクチャについて表現能力の理論的な解析・分類を行い，LSTM がカウンタを実装可能な表現力 を持つことを示した。しかし，深層学習モデルの複雑さから LSTM の全ての性質を明らかにするほど理論的解析は進んでおらず，多くの先行研究が実験的 に LSTM の性質を分析している [4, 5, 6, 7, 8]. [4] は 文脈自由言語を学習させることで，LSTM が再帰構造を学習し, ある程度の深さまでの汎化性能も持つ ことを報告している。また，[7] は文脈自由言語の 学習によって LSTM の語順に対するバイアスが少な いことを示した. 本研究はこれらの先行研究と同様 に実験的にLSTM を分析する。

## 2.3 オートマトンと RNN の関係性

LSTM を含む RNN は実数ベクトルを内部状態と し，理論的には無限状態を持つが，入力記号列に対 する逐次的な状態遷移はオートマトンと同様であ る. 本研究では以下で定まる決定性有限オートマト ンとの類似性を利用して LSTM の分析を試みる。

決定性有限オートマトン (deterministic finite automaton; DFA） $A$ は $A=\left(\Sigma, Q, q_{0}, F, \delta\right)$ によって定 められる組である。ここで， $\Sigma$ は有限アルファベッ 卜, $Q$ は有限状態集合， $q_{0} \in Q$ は初期状態, $F \subseteq Q$ は受理状態集合, $\delta: Q \times \Sigma \rightarrow Q$ は状態遷移関数
である. 再帰適用 $\delta^{*}$ は $\delta^{*}\left(q_{0}, \epsilon\right)=q_{0}, \delta^{*}\left(q_{0}, s \cdot c\right)=$ $\delta\left(\delta^{*}\left(q_{0}, s\right), c\right)$ で定義される. さらに，記号列に対す る $A$ の分類関数 $f_{A}: \Sigma^{*} \rightarrow\{$ True, False $\}$ は $s \in \Sigma^{*}$ に 対して以下のように定められる。

$
f_{A}(s) \equiv \delta^{*}\left(q_{0}, s\right) \in F
$

オートマトンを利用したRNN の分析法として，学習済み RNN から有限オートマトンを抽出する手法 が提案されている $[9,10,11]$. このような手法によっ て，RNNを形式的に解析することは可能となるが， これまで抽出に対する精度保証は与えられていない ため，本研究では用いない。

## 3 手法

ここでは，本研究の分析対象である無変化性を定義し，LSTM の学習・評価に用いる手法について説明する。

## 3.1 無変化性

DFA $A=\left(\Sigma, Q, q_{0}, F, \delta\right)$ の状態 $q \in Q$ が無変化で あるとは状態遷移の前後で受理・非受理が変化しな いことと定義する.これは以下によって定式化さ れる。

$
\begin{aligned}
& \forall p \in Q \cdot \forall c \in \Sigma . \\
& \quad \delta(p, c)=q \vee \delta(q, c)=p \Longrightarrow p \in F \Leftrightarrow q \in F
\end{aligned}
$

無変化である状態を non-change 状態と呼び，無変化 でない状態を change 状態と呼ぶ. non-change 状態, change 状態の集合をそれぞれ $Q_{n}, Q_{c}$ とすると，こ れらに対応する記号列 $S_{\mathrm{n}}, S_{\mathrm{c}}$ は $x \in\{n, c\}$ を用いて以下のように定まる。

$
S_{x} \equiv\left.\{s \mid s \in \Sigma^{*} \wedge q \in Q_{x} \wedge \delta^{*}\left(q_{0}, s\right)=q\right.\}
$

## 3.2 直鎖 DFA

記号列の受理・非受理の変化だけに注目するた め，本研究ではアルファベット $\{0,1\}$ 上の直鎖状 の DFA のサブクラスのみを考慮する．本研究で扱 う直鎖 DFA は，状態遷移で受理・非受理が変化し ない non-change 状態の区間，受理・非受理の変化前後の change 状態の区間が交互に繰り返さた後に non-change 状態が付属するものとして定められる. このような直鎖 DFA は 2 つのパラメータ $\mathrm{m}, \mathrm{w}$ に よって図 1のように特徴づけられる。ここで， $\mathrm{m}$ は non-change 状態区間の長さ，w は non-change 状態区間と change 状態区間の繰り返しの総数である。ま

た，図 1 の状態 9,10 に見られるように，本研究で扱 う直鎖 DFA の末尾の 2 状態は最小オートマトンに おいては同じ状態となるが，記号列の変化・無変化性の区別を明確化するため, 本研究では明示的に最小でないオートマトンを使用する。なお，初期状態 を非受理状態として固定したが，一般性は失われな $い^{2)}$.

## 3.3 データセット

学習データセットは記号列とその受理・非受理ラ ベルから構成されるが，DFA の各状態に対応する記号列の頻度差の与える影響を抑えるため, 各状態に 対応するデータ数が等しくなるように調整される.上記は以下のように定式化される. 学習対象の DFA を $A=\left(\{0,1\}, Q, q_{0}, F, \delta\right)$ とする. $A$ に対し，サイズ $N$ の学習データセット $D$ は記号列の最大長 $\mathrm{L}$ を用 いて以下のように定義される.

$
\begin{aligned}
S & \equiv\left.\{\left(s, f_{A}(s)\right)\left|s \in\{0,1\}^{*} \wedge\right| s \mid \leq \mathrm{L}\right.\} \\
T & \equiv \operatorname{choose}(S, N) \\
D & \equiv \operatorname{balance}_{A}(T)
\end{aligned}
$

ここで, choose はランダムに重複なく $N$ 個サンプリ ングする関数である. サンプルされたデータセット の分布を調整する balance $_{A}$ 関数は以下の工程で定め られる。

1. 各 $q \in Q$ に対して, $T_{q} \equiv\left.\{s \mid s \in T \wedge \delta^{*}\left(q_{0}, s\right)=q\right.\}$ を計算

2. 各 $q \in Q$ に対して,$\left|T_{q}\right|=\frac{N}{|Q|}$ となるように $T_{q}$ を必要に応じて upsampling, downsampling した ものを $T_{q}^{\prime}$ とする

3. 全ての $T_{q}^{\prime}$ 合併したものを $D$ とする

## 3.4 評価指標

モデルの学習難易度を評価する指標として, [2] を参考にし，よりシンプルに，モデル出力の平均 2 值交差エントロピー誤差が間値 $\mathrm{t}$ 以下になる最小 のエポック MinEpochを使用する. 評価值 MinEpoch は non-change 状態と change 状態のそれぞれに対応 する記号列の集合 $S_{\mathrm{n}}, S_{\mathrm{c}}$ に対して計算さる. それら は MinEpoch ${ }_{n}$, MinEpoch $_{\mathrm{c}}$ として $x \in\{n, c\}$ を用いて

2）受理・非受理のラベルは one-hot vector で表現され，どの次元も等価であるため.以下のように定められる。

$
\begin{aligned}
& \operatorname{MinEpoch}_{x} \equiv \\
& \quad \min \left.\{e \mid \text { mean_loss }\left(M_{e}, S_{x}\right)<\mathrm{t}\right.\} \cup\left.\{\mathrm{e} \_ \text {max }\right.\}
\end{aligned}
$

ここで, $M_{e}$ はエポック $e$ におけるモデル, mean_loss は平均 2 值交差エントロピー誤差, e_max は最大エ ポック数である.

## 4 実験設定

モデルのアーキテクチャとしては，[2] と同じく2 層 LSTM に線形層を追加したものを使用し，最適化 の際にも Adam [12] を学習率を $1.0 * 10^{-4}$ として利用 する. 隠れ層の次元数 hidden_size の大小比較のた め, hidden_size $\in\{20,200\}$ を使用する．一般的な設定のもとで実験を行うため，モデルのパラメータの 初期化は PyTorch ${ }^{3}$ のデフォルト設定に準じる. 実験にあたり，異なるシード値で 30 のモデルをバッ チサイズ 8 で 30 エポック学習させる.

変化・無変化性を分析するにあたり, non-change 状態と change 状態の両方を持つような直鎖 DFAを 学習対象とした. また, 計算量の観点から, 直鎖 DFA の最大状態数が 16 までのものを扱うことにし た. すなわち, $\mathrm{m} \in\{1,2,3\}, \mathrm{w} \in\{1,2,3\}$ により特徵 づけられる 9 通りの直鎖 DFAを使用する. データ セットにおける記号列の最大長は，計算量の観点か ら今回扱う直鎖 DFA の最大状態数よりも 1 大きい $\mathrm{L}=17$ とした. このときデータの総数は 262142 で ある。学習データサイズとしては全体数のおよそ 15\% にあたる $4 * 10^{4}$ を用いる ${ }^{4)}$. また，MinEpoch を計算する際に用いる閾値としては [2]によりモデ ルの学習度を決定するのに用いられていた $t=0.02$ を使用する。

## 5 結果と議論

## 5.1 LSTM は無変化性バイアスを持つ

実験の結果，以下に見るようにほとんどの設定 で MinEpoch $_{\mathrm{c}}>$ MinEpoch $_{\mathrm{n}}$, すなわち change 状態よ り non-change 状態の方が MinEpoch が高くなった ${ }^{5)}$. これは仮説 1 が成立し無変化性バイアスがあること を示す.また，この結果はLSTM の hidden_sizeによ らず同様の傾向となったが，hidden_size が大きいと

図 2 直鎖 DFA $(\mathrm{m}, \mathrm{w})=(3,1),(3,2),(3,3)$ の $\operatorname{MinEpoch}_{\mathrm{c}}$ と MinEpoch $_{\mathrm{n}}$.

そもそも学習が速く無変化性バイアスは小さくなっ た. 以下では，分かりやすさのため hidden_size $=20$ の場合の結果を軸として議論する。

## 5.2 出力の変化が多いと学習しにくい

図 2には change 状態区間の総数 $w$ の異なる 3 つの 直鎖 DFA について MinEpoch $_{c}$, MinEpoch $_{n}$ が示され ている.wによらず MinEpoch $_{\mathrm{c}}>$ MinEpoch $_{\mathrm{n}}$ となっ ており，無変化性バイアスが見られる。また，wが 大きくなるほど，全体として学習が遅くなっている ことも分かる ${ }^{6)}$. [2] では, DFA で表現される量化子の単調性が LSTM による学習しやすさの要因であ ると結論付けられていたが，本研究の実験結果を踏 まえると，学習のしやすさの要因は LSTM の無変化性バイアスだと推測できる. 実際に, 非単調な DFA は単調な DFA よりも change 状態区間の数が多く, これは change 状態区間の数が多いほど全体として 学習の難易度が増しているという上記の結果に符合 する。

## 5.3 出力変化の学習には記憶が必要

図 3では non-change 状態区間の長さ $m$ の異なる 3 つの直鎖 DFA について MinEpoch , MinEpoch $_{\mathrm{n}}$ が示 されている. $m$ によらず， MinEpoch ${ }_{\mathrm{c}}>$ MinEpoch $_{\mathrm{n}}$ となっており，無変化性バイアスが見られる。ま た， $m$ が大きくなるほど change 状態に対する学習 は遅くなる傾向があるが, non-change 状態に対す る学習にはあまり影響していない7).今回学習対

6） ただし， $w=1$ に関しては， $m=1,2$ の時は $\operatorname{MinEpoch}_{\mathrm{c}}$ の分散が大きいため，この傾向が成立するかは明確ではなかった.

7） ただし， $w=1$ で $m=1,2$ のときは MinEpoch $_{\mathrm{c}}$ の分散が大 きく change 状態の学習が遅くなる傾向は見られない.

図 3 直鎖 DFA $(\mathrm{m}, \mathrm{w})=(1,3),(2,3),(3,3)$ の $\operatorname{MinEpoch}_{\mathrm{c}}$ と MinEpoch $_{\mathrm{n}}$.

象とした直鎖 DFA は実質的に記号列中の 1 を数え るものであるため，カウントだけを考慮するなら ば non-change 状態と change 状態は同等なはずであ る. さらに，[4,3] で議論されているようにLSTM がカウンタを学習可能であることを踏まえると, change 状態間の距離としても考えられる $m$ に対す る MinEpoch の変化が change 状態の方が大きいとい うのは，LSTM がある程度の大きさのカウンタなら ばほとんど差異なく学習できる一方で，出力変化の 学習については距離依存性を持ちカウンタより学習 が難しいことを示唆する。

## 5.4 無変化性バイアスの要因

無変化性バイアスの要因については以下のような 簡単な仮説が考えられる. $h_{t}, h_{t+1}$ をタイムステッ プ $t, t+1$ の隠れ状態ベクトル, 出力層のパラメタ行列を $W$ とすると，出力が無変化の時は $W h_{t}=W h_{t+1}$ が，変化する際には $W h_{t} \perp W h_{t+1}$ がそれぞれ理想的な場合に成立する。すなわち，無変化の際には $h_{t} \approx h_{t+1}$ であれば十分で，変化の際には $h_{t} \neq h_{t+1}$ が 必要である. 仮に LSTM の隠れ状態の遷移が不動点 を持つように学習しやすいならば，出力が無変化で ある方が学習しやすくなると推測される。

## 6 今後の展望

本研究では，LSTM が出力変化を学習しにくいと いう無変化性バイアスを持つことを示した。一方， その要因については 5.4 節で議論したが，仮説に留 まった．今後は，未知データに対する導出バイアス の検証実験や最適化における局所解に対する理論的 な解析が必要であるだろう。

## 謝辞

本研究が形になる以前よりアドバイスをいただい ていた鷲尾光樹氏に感謝いたします. また，実験結果の議論に参加していただいた研究室のメンバーに も感謝いたします.

## 参考文献

[1] Sepp Hochreiter and Jürgen Schmidhuber. Long ShortTerm Memory. Neural Computation, Vol. 9, No. 8, pp. 1735-1780, 111997.

[2] Shane Steinert-Threlkeld and Jakub Szymanik. Learnability and semantic universals. Semantics and Pragmatics, Vol. 12, No. 4, p. 1, November 2019.

[3] William Merrill, Gail Weiss, Yoav Goldberg, Roy Schwartz, Noah A. Smith, and Eran Yahav. A Formal Hierarchy of RNN Architectures. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 443-459, Online, July 2020. Association for Computational Linguistics.

[4] Jean-Phillipe Bernardy. Can Recurrent Neural Networks Learn Nested Recursion? In Linguistic Issues in Language Technology, Volume 16, 2018. CSLI Publications, July 2018.

[5] Abhijit Mahalunkar and John D. Kelleher. Using Regular Languages to Explore the Representational Capacity of Recurrent Neural Architectures. In Věra Kůrková, Yannis Manolopoulos, Barbara Hammer, Lazaros Iliadis, and Ilias Maglogiannis, editors, Artificial Neural Networks and Machine Learning - ICANN 2018, Lecture Notes in Computer Science, pp. 189-198, Cham, 2018. Springer International Publishing.

[6] Matej Makula and Lubica Beňušková. Analysis and Visualization of the Dynamics of Recurrent Neural Networks for Symbolic Sequences Processing. In Véra Kůrková, Roman Neruda, and Jan Koutník, editors, Artificial Neural Networks - ICANN 2008, Lecture Notes in Computer Science, pp. 577-586, Berlin, Heidelberg, 2008. Springer.

[7] Jennifer C. White and Ryan Cotterell. Examining the Inductive Bias of Neural Language Models with Artificial Languages. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 454-463, Online, August 2021. Association for Computational Linguistics.

[8] Hitomi Yanaka, Koji Mineshima, Daisuke Bekki, and Kentaro Inui. Do Neural Models Learn Systematicity of Monotonicity Inference in Natural Language? In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 6105-6117, Online, July 2020. Association for Computational Linguistics.

[9] P. Tino and M. Koteles. Extracting finite-state representations from recurrent neural networks trained on chaotic symbolic sequences. IEEE Transactions on Neural Networks, Vol. 10, No. 2, pp. 284-302, March 1999.
[10] Gail Weiss, Yoav Goldberg, and Eran Yahav. Extracting Automata from Recurrent Neural Networks Using Queries and Counterexamples. In International Conference on Machine Learning, pp. 5247-5256. PMLR, July 2018.

[11] Takamasa Okudono, Masaki Waga, Taro Sekiyama, and Ichiro Hasuo. Weighted Automata Extraction from Recurrent Neural Networks via Regression on State Spaces. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 34, No. 04, pp. 5306-5314, April 2020.

[12] Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In Yoshua Bengio and Yann LeCun, editors, 3rd International Conference on Learning Representations, ICLR 2015, San Diego, CA, USA, May 7-9, 2015, Conference Track Proceedings, 2015.

## A 全ての設定の実験結果

以下は本研究で行った全ての設定のもとでの実験結果のプロットである.

図 4 LSTM の隠れ層の次元数は hidden_size $=20$ の時の 直鎖 DFA のパラメータが $\mathrm{m} \in\{1,2,3\}, \mathrm{w} \in\{1,2,3\}$ の 9 通 りの全ての場合の MinEpoch $_{\mathrm{c}}$ と MinEpoch $_{\mathrm{n}}$.

図 5 LSTM の隠れ層の次元数は hidden_size $=200$ の時の 直鎖 DFA のパラメータが $\mathrm{m} \in\{1,2,3\}, \mathrm{w} \in\{1,2,3\}$ の 9 通 りの全ての場合の MinEpoch $_{\mathrm{c}}$ と MinEpoch $_{\mathrm{n}}$.


# 日本語 Wikipedia からの属性値抽出タスクにおける クエリの有効性検証

坂田将樹 1 中山功太 ${ }^{2,3}$ 竹下昌志 4 ジェプカラファウ ${ }^{5}$ 関根聡 ${ }^{2}$ 荒木健治 ${ }^{5}$
1 北海道大学工学部 2 理化学研究所 AIP 3 筑波大学情報生命学術院
4 北海道大学大学院情報科学院 5 北海道大学大学院情報科学研究院
sakata.masaki.e9@elms.hokudai.ac.jp \{kouta.nakayama, satoshi.sekine\}@riken.jp
\{takeshita.masashi, rzepka, araki\}@ist.hokudai.ac.jp

## 概要

近年，固有表現抽出や属性値抽出において機械読解に基づく手法が高い精度を達成している.し かし，日本語の属性値抽出タスクにおいては機械読解手法におけるクエリの有効性の調査は未だ 無い. そこで本稿では，抽出精度が良いもしくは 悪いクエリを探索し，その特徴を調査する. 実験 では 6 種類のクエリと正答例を含む提案クエリ を使用する。結果，属性値のみ，もしくは正答例 を含むクエリが最良の抽出精度であった. 反対 に，抽出対象の記事タイトルを付加すると抽出精度が低下することが明らかになった。また，追加情報によって予測数と誤予測が減少する作用が 確認された.ソースコードはhttps://github.com/ Language-Media-Lab/shinra_jp_bert/にて公開し ている.

## 1 はじめに

近年，固有表現抽出タスクと属性値抽出タスクに おいて，機械読解に基づく手法が高い精度を達成し ている $[1,2,3,4]$. 機械読解とは，システムが文章 (パッセージ)を読解し，与えられた質問 (クエリ)の 回答を文章中から抽出する技術である。よって，機械読解モデルへの入力として「クエリ」はタスクを 解く上で必要不可欠である. このクエリについて， Li らは [1] 英語を対象とした固有表現抽出タスク において，7 種類のクエリのうち，効果的に固有表現を抽出できるクエリが存在することを明らかに した.

しかしながら，日本語 Wikipedia からの属性値抽出タスクにおいて，効果的に属性值を抽出できるク エリはどのようなものであるのかは不明である．日本語 Wikipedia からの属性値抽出タスクを機械読解 として解いた 3 つの既存研究 $[2,3,4]$ では，3つの 異なるモデルが提案されているが，それぞれ異なる 1 種類のクエリのみを使用した結果が報告されてい る. すなわち，既存研究の結果の有効性が提案モデ ルのアルゴリズムと使用したクエリのいずれに起因 するかが不明である。また，英語を対象としたタス クで得られた知見が，日本語を対象としたタスクで 同様に有効性を示せるかについては自明ではない。

そのため，本研究では各クエリを用いた際の抽出精度の違いを算出することでクエリの有効性を検証 し, 抽出精度が良いもしくは悪いクエリの特徵を調査した. 実験では, 日本語 Wikipedia からの属性値抽出タスクで使用されたクエリと， Li ら [1] が有効性を示したクエリを参考にし，正答例を付加したク エリを使用した (表 1).

## 2 関連研究

機械読解モデルとは，与えられた文章とクエリか ら回答スパンを抽出するモデルである。このモデル は近年，抽出精度の高さが注目され，固有表現抽出 と属性値抽出に使用されている。本節では，日本語 Wikipedia からの属性値抽出タスクと英語を対象と した固有表現抽出タスクの概要と，これらのタスク を機械読解に基づく手法で解いた既存研究について 概観する。

日本語 Wikipedia からの属性値抽出タスクこの タスクでは，Wikipedia 記事のカテゴリごとに「拡張固有表現」[5] で定義されている属性に対応する 值を Wikipedia 記事中から抽出する [6]. 例えば，企業名カテゴリに属する記事「シャネル」の記事本文から，属性「本拠地国」に対応する文字列「フラ ンス」を抽出する。このタスクを機械読解の手法
表 1 本研究で使用するクエリ：1) 属性名: 抽出対象の属性名を付加. 2) 疑問詞:「は？」もしくは「ですか？」を付加. 3) $5 \mathrm{~W} 1 \mathrm{H}$ : 属性に対応した「誰・何・どこ・いつ・いくつ」を付加. 中山 [3] が作成した $5 \mathrm{~W} 1 \mathrm{H}$ のリストを使用. 5) タイ トル: 抽出対象の記事タイトルを付加. 6) 正答例: 学習データ内の正答例を付加.

で解いた既存研究 $[2,3,4]$ では，深層学習モデルと して，DrQA[7]，BERT[8]，RoBERTa[9] が使用され た. 機械読解手法を用いた既存研究のうち，BERT と中間タスクを用いた機械読解システム [4] は日本語 Wikipedia からの属性値抽出タスクにおいて最も 高い抽出精度であった。

英語を対象とした固有表現抽出 $\mathrm{Li}$ ら [1] は英語 を対象とした固有表現抽出タスク $[10,11,12,13,14]$ において，BERT を用いた機械読解手法で他の手法 よりも良い精度を達成した. この研究で使用された データセットのうち, English OntoNotes5.0[14]のみ を対象に 7 種類のクエリを使用して，抽出精度の 比較を行っている。その結果，使用するクエリに よって F 值が変化した. $\mathrm{F}$ 值が最も高かったクエ リは「Find organizations including companies, agencies and institutions」のようなアノテーションガイドライ ンで使用されるような文章であった.

## 3 既存研究の未調査領域

前章の既存研究では以下 2 点が未調査である.

## 3.1 日本語クエリが抽出精度に与える影響 が不明

先行研究 $[2,3,4]$ では機械読解としてタスクを解 く際にそれぞれ異なる 1 種類のクエリのみを付与し ているが，この際与えるクエリの影響については分析していない. $\mathrm{Li}$ ら [1] は英語固有表現抽出タスク においてクエリの影響を述べている. クエリの種別 においては本来のモデル性能を阻害している可能性 があるため, 本研究では日本語 Wikipedia からの属性值抽出タスクにおいてクエリが与える影響につい て調査を行った。

使用するクエリの有効性を調査した研究は英語を 対象とした研究 [1] のみであり，筆者らの知る限り 日本語を対象とした研究は未だない.

## 3.2 使用クエリの有効性は言語横断的にい えるのかが不明

Li ら [1] は「Find organizations including companies, agencies and institutions」における “companies", "agencies”, “institutions” の部分が $\mathrm{F}$ 值向上の理由だと考察 している。その原因として，クエリ内に抽出対象の カテゴリについて記述されていることを挙げてい る. 以上が日本語 Wikipedia からの属性值抽出タス クにも一般化できるかは不明である.

## 4 実験に用いるクエリの種類

3 章の未調査領域を踏まえ，本稿では，既存研究 で使用されたクエリと抽出精度の関係性を統一的に 調査する.また「抽出精度が良いクエリは正答例を 含む」という仮説立て検証する。

## 4.1 既存研究のクエリの性能調査

調査する 6 種類のクエリを表 1 に示す (クエリ 1 からクエリ 6 が該当). 表 1 の各列は, クエリの構成要素を表している．例えばクエリ 6 の場合，記事タ イトル「シャネル」の属性「本拠地国」を抽出する 際「シャネルの本拠地国はどこですか？」となる。

クエリ 1 からクエリ 6 の性能を調べるために，そ れぞれのクエリで学習と評価を行った 6 種類のモデ ルの出力を調査する. このうち既存研究 $[2,3,4]$ で 使用されたものはクエリ 1[4]，クエリ 5[2]，クエリ 6[3] である. クエリ 2, 3, 4 は既存研究で使用されて いないが，「記事タイトルの有無」「疑問詞の有無」「5W1H の有無」が抽出精度に与える影響をそれぞ れ分離して分析するために追加した.

## 4.2 提案クエリ：正答例を追加

Li ら [1] は「Find organizations including companies, agencies and institutions」のうち, “companies", "agencies”, “institutions” の部分が抽出精度が良いクエリ の特徴だと主張している.この“companies”, “agen-
表 2 実験結果 : 各クエリの $\mathrm{F}$ 値. 太字は各カテゴリの中で $\mathrm{F}$ 値の最大値であり，下線は $\mathrm{F}$ 値の最小値を表している.

cies", “institutions”はいわば抽出クラスと抽出対象の 中間概念を示しているため，本タスクでも同様に， この中間概念をクエリに含ませることが考えられ る.しかし，拡張固有表現 [15] には全ての属性値と 属性名に対する中間概念は定義されていないため,適用できない。そこで本稿では，中間概念の代わり に正答例をクエリに付加する．具体的には「創業国 は? 例えば、アメリカ合衆国、日本、シンガポール、 イングランド、イギリス、などです。のように正答例を結合する. 付加する正答例は, 学習データから ランダムサンプル1)により取得する. 取得数は 1,5 , 10 とした. ${ }^{2)}$

## 5 実験

本稿の実験設定は石井 [4] が行った実験に準ずる.

## 5.1 学習用データセット

森羅 2019-JP[6] において配布されたアノテーショ ンデータセット3)を使用する。本データセットは HTML 形式の Wikipedia 記事と属性值のアノテー ションからなる. HTML タグを除去した記事も用意 されているが，本実験では使用しない.

機械読解データセット構築 HTML 形式の Wikipedia 記事をくp>タグを元にパラグラフ単位へ分割し， $P=\left.\{p_{1}, p_{2}, \ldots, p_{l}\right.\}$ を得る.この際，パラグ ラフ $i$ に含まれる属性値を $A_{i}=\left.\{a_{i, 1}, a_{i, 2}, \ldots, a_{i, t}\right.\}$ とする。また，機械読解として扱うため，クエリ $q$ を生成する。

使用クエリ 4 章で定義した合計 9 種類のクエリ を使用する。

データ分割 データセットは学習データ，検証 データ，テストデータをそれぞれ $85 \% ， 5 \% ， 10 \%$ の 割合で分割する.

## 5.2BERT を用いた機械読解モデル

機械読解モデルへの入力は $(p, q)$ であり, 出力は 各単語の BIO タグである. クエリ $q$ の単語トークン

列を $q=\left.\{q_{1}, q_{2}, \ldots, q_{m}\right.\}$, パラグラフ $p_{i}$ の単語トー クン列を $x_{i}=\left.\{x_{i, 1}, x_{i, 2}, \ldots, x_{i, n}\right.\}$ とすると BERTへの 入力系列は以下の通りである。

$
\left.\{[\mathrm{CLS}], q_{1}, q_{2}, \ldots, q_{m},[\mathrm{SEP}], x_{i, 1}, x_{i, 2}, \ldots, x_{i, n}\right.\}
$

[CLS], [SEP] は BERT の特殊トークンである. BERT の最終出力のうち, $x_{i}$ に対応する出力を $\boldsymbol{H}_{i}=$ $\left.\{\boldsymbol{h}_{i, 1}, \boldsymbol{h}_{i, 2}, \ldots, \boldsymbol{h}_{i, n}\right.\}$ とする. $\boldsymbol{H}_{i}$ を出力層に入力し 各 BIO タグの予測スコア $S_{i}=\left.\{s_{i, 1}, s_{i, 2}, \ldots, s_{i, n}\right.\}$ を 得る. $i$ 番目のトークンに対する最終的な予測 $\hat{y}_{i, j} \in\{\mathrm{B}, \mathrm{I}, \mathrm{O}\}$ は $\hat{y}_{i, j}=\operatorname{argmax}_{k} \boldsymbol{s}_{i, j, k}$ により求まる.学習は正答ラベル $Y_{i}=\left.\{y_{i, 1}, y_{i, 2}, \ldots, y_{i, n}\right.\}$ と予測結果 $\hat{Y}_{i}=\left.\{\hat{y}_{i, 1}, \hat{y}_{i, 2}, \ldots, \hat{y}_{i, n}\right.\}$ との交差エントロピー誤差を最小化することで行う.

## 5.3 実験設定

モデルは「NICT BERT 日本語 Pretrained モデル BPE あり」4)を使用する. ハイパーパラメータは石井 [4] の研究と同様にバッチサイズは 32, 学習率 は 2e-05，トークンの最大長は 384 ，ストライドは 128，エポック数は 10 回とする. テスト時には，検証データで $\mathrm{F}$ 值が最も高いモデルを用いた. 入力文字の前処理では, MeCab-Juman 辞書 [16] を用いて形態素に分割した後, subword-nmt[17] で生成された語彙を用いてサブワード化した。

## 5.4 評価指標

森羅 2019-JP により提供される評価用スクリプ ト5)によって算出される属性ごとの $\mathrm{F}$ 値のマイクロ 平均を，各カテゴリの評価指標とする。

## 6 結果と考察

各クエリの実験結果は表 2 の通りである.まず，各クエリによる $\mathrm{F}$ 值の違いを概観する。

クエリ 4，5，6 の結果より，クエリに記事タイト ルを追加すると一貫して抽出精度が悪化した. よっ て，クエリに記事タイトルを使用している 2 の既存研究 $[2,3]$ は, 使用クエリが原因で抽出精度が減少していた可能性がある．記事タイトルを追加する

表 3 正答例の有無による予測数・ $\mathrm{TP}$ 数・FP数の違い. TP 差は増加すれば好ましい， FP 差は減少すれば好ましい。值 の太字は改善した結果を表しており，下線は悪化を表している.

表 4 記事タイトルの有無による予測数・TP 数・FP 数の違い. TP 差は増加すれば好ましい. FP 差は減少すれば好まし い. 值の太字は改善した結果を表しており，下線は悪化を表している。

表 5 正答例 $\times 5$ を付加した際に $\mathrm{F}$ 值が $5 \%$ 以上変化する 属性.

と抽出精度が悪化する原因として，各タイトルと属性値のペアに対してモデルが過学習していると考え られる。また，Wikipedia 本文中には記事タイトル は出てこない場合が多いため，タイトルがタスクを 解く上でヒントになっていないと考えられる.

そして，クエリ 1 と 2 ，クエリ 2 と 3 の結果より， $5 \mathrm{~W} 1 \mathrm{H}$ と疑問詞の有無によって精度はほとんど変化 しないことが明らかになった。

クエリに正答例を追加した場合，わずかながら最良の抽出精度となっているカテゴリもあるが， $3 \%$以上の増加は認められなかった。

予測数 - TP 数 $\cdot \mathrm{FP}$ 数 次に，予測数 $\cdot \mathrm{TP}$ 数 6$) \cdot \mathrm{FP}$数 ${ }^{7)}$ にいて正答例の有無，記事タイトルの有無に よって生じる差をカウントした (表 3，表 4)．結果，記事タイトルや正答例をクエリに含ませた場合にお いて，予測数と FP 数が一貫して減少した. クエリ の変化によってこのような作用が一貫して生じるこ とは筆者らの知る限り報告されていない。記事タイ トルの有無と正答例の有無を比較すると, TP 数の減少が大きく異なり，正答例有りの方が TP の減少を 抑えることができている．正答例を入れることで起

6） True Positive : ラベルとスパンが完全一致している予測

7) False Positive : 誤予測
こる TP 数の減少を抑えた FP 数の減少は，今後適合率の高いモデルを開発する上で活用可能であると考 える。付加する正答例の数に着目すると，予測数・ $\mathrm{TP}$ 数・FP 数の増減とは比例していない. 逆に正答例を 1 つだけ追加した場合でも，予測数と FP 数の 減少が確認される. よって, 予測数と FP 数の減少 には，正答例の数より，追加情報の有無もしくは質 によって決定づけられていることが考察される. し たがって，予測数と FP 数が減少する理由は，クエ リへの「追加情報」が関係していると考えられる。

## 正答例を入れることで抽出精度が変化する属性

表 5 に正答例の有無によって，F 值が $5 \%$ 以上変化 した属性を示した。適合率と再現率の変化について は表は付録 A を参照されたい。一見カテゴリを横断 して強く共通している属性は無いように見えるが， $「 \bigcirc$ 年」「○○人」「○○温泉」等の日付表現，人数，温泉などのスパンの最後の文字列がおよそ共通 なものが向上している。より詳細な共通点や，精度 が増加した理由の分析は今後の課題とする.

## 7 おわりに

本研究では日本語 Wikipedia からの属性値抽出タ スクで使用されたクエリの調査と正答例を含むクエ リの有効性検証を行った。その結果，記事タイトル を含むクエリは抽出精度が悪化し，正答例を含むク エリはわずかながら最良の抽出精度となった. そし て，記事タイトルや正答例を含むことで，予測数と 誤予測が減少する作用が確認された。この作用はク エリに情報を追加したことが原因と考えられるが， より詳しい分析が必要である. また，正答例を付加 することで抽出精度が大きく増加・減少した属性が あることを明らかにしたが，それらの共通点や変化 した理由についても詳しい分析が必要である。

## 謝辞

本研究は JSPS 科研費 JP20269633 の助成を受けた ものです.

## 参考文献

[1] Xiaoya Li, Jingrong Feng, Yuxian Meng, Qinghong Han, Fei Wu, and Jiwei Li. A unified MRC framework for named entity recognition. CoRR, Vol. abs/1910.11476, , 2019.

[2] 石井愛. 機械読解による wikipedia からの情報抽出.言語処理学会第 25 回年次大会 (NLP2019), 2019.

[3] 中山功太. RoBERTa を用いた QA 式属性値抽出シス テム. 森羅 2019-JP 最終報告会資料, 2019.

[4] 石井愛. Stilts を適用した機械読解による wikipedia 記事の構造化. 言語処理学会第 27 回年次大会 (NLP2021), 2021.

[5] Satoshi Sekine. Extended named entity ontology with attribute information. In Proceedings of the Sixth International Conference on Language Resources and Evaluation (LREC'08), Marrakech, Morocco, May 2008. European Language Resources Association (ELRA).

[6] 小林暁雄, 中山功太, 安藤まや, 関根聡. Wikipedia 構造化プロジェクト「森羅 2019-JP」. 言語処理学会第 26 回年次大会 (NLP2020), 2020.

[7] Danqi Chen, Adam Fisch, Jason Weston, and Antoine Bordes. Reading wikipedia to answer open-domain questions. CoRR, Vol. abs/1704.00051, , 2017.

[8] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: pre-training of deep bidirectional transformers for language understanding. CoRR, Vol. abs/1810.04805, , 2018.

[9] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized BERT pretraining approach. CoRR, Vol. abs/1907.11692, , 2019.

[10] George Doddington, Alexis Mitchell, Mark Przybocki, Lance Ramshaw, Stephanie Strassel, and Ralph Weischedel. The automatic content extraction (ACE) program - tasks, data, and evaluation. In Proceedings of the Fourth International Conference on Language Resources and Evaluation (LREC'04), Lisbon, Portugal, May 2004. European Language Resources Association (ELRA).

[11] Stephanie Strassel Julie Medero Christopher Walker and Kazuaki Maeda. The automatic content extraction (ACE) program - tasks, data, and evaluation. Philadelphia 57, 2006. Linguistic Data Consortium.

[12] Tomoko Ohta, Yuka Tateisi, and Jin-Dong Kim. The genia corpus: An annotated research abstract corpus in molecular biology domain. In Proceedings of the Second International Conference on Human Language Technology Research, HLT '02, p. 82-86, San Francisco, CA, USA, 2002. Morgan Kaufmann Publishers Inc.

[13] Erik F. Tjong Kim Sang and Fien De Meulder. Introduction to the CoNLL-2003 shared task: Language-independent named entity recognition. In Proceedings of the Sev- enth Conference on Natural Language Learning at HLTNAACL 2003, pp. 142-147, 2003.

[14] Sameer Pradhan, Alessandro Moschitti, Nianwen Xue, Hwee Tou Ng, Anders Björkelund, Olga Uryupina, Yuchen Zhang, and Zhi Zhong. Towards robust linguistic analysis using OntoNotes. In Proceedings of the Seventeenth Conference on Computational Natural Language Learning, pp. 143-152, Sofia, Bulgaria, August 2013. Association for Computational Linguistics.

[15]拡張固有表現階層定義 version 8.0.0. http:// liat-aip.sakura.ne.jp/ene/ene8/definition_jp/.

[16] T KUDO. Yet another part-of-speech and morphological analyzer. https://taku910.github.io/mecab/.

[17] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1715-1725, Berlin, Germany, August 2016. Association for Computational Linguistics.

## A 正答例を入れることで適合率・再現率が変化する属性

正答例を 5 つ付加することで適合率・再現率が変化する属性をカテゴリごとに示した (表 6 , 表 7, 表 8).適合率と再現率の両方の変化が $1 \%$ 未満だった属性は省いている．F 値が $5 \%$ 以上増加した属性は青字， $5 \%$ 以上減少した属性は赤字で示した.

表 6 【企業名】正答例 $\times 5$ を入れることで適合率・再現率が変化する属性.

 & 別名 \\

表 7 【市区町村名】正答例 $\times 5$ を入れることで適合率・再

現率が変化する属性.

 &  \\

表 8 【人名】正答例 $\times 5$ を入れることで適合率・再現率が 変化する属性。

 &  \\


# 類型論データベースを用いた人類史解明のための言語類似法の構築

${ }^{1}$ 東海大学医学部 ${ }^{2}$ 慶應義塾大学大学院政策・メディア研究科 ${ }^{3}$ 東京医科歯科大学 ${ }^{4}$ 慶応義塾大学薬学部
matsumae. hiromi. g@tokai. ac. jp

## 概要

本研究では、人類社会における言語の多様性とそ の歴史を解明する目的で、言語類型論のデータベー ス用いて、文法の類似性に基づいた解析法を新規に 考案した。既知の先行研究の課題であった、(1) 久損値を含み、かつ多次元であるような複雑な文法要素 のデータ構造の前処理を自動化し、(2)ペアワイズの 相関解析に基づき言語間の類似性の推定を行い、(3)文法要素のクラスタリングを行うことで、非独立性要素が要因となり生じる類似度の誤差を推定し、(4)最終的に、木構造に依存しない可視化法としてスパ イダーチャートで類似性を採用した。そして北東ア ジアとヨーロッパという言語多様性の観点から対称的な 2 つの地域の言語に絞った予備解析を行った。

## 1 背景

ヒトの言語はヒトだけが持ちうるユニークな文化 である。しかし世界には 8000 以上の言語が知られ ており、それらは 420 以上の言語族に分けられてい る(1)。つまり人類集団の中で言語は、ヒト言語とし ての普遍性を保ちつつも、多様性を生み出している。

これら多様な言語の歴史的関係性を定量的に推定 することは容易ではない。例えば、基礎語彙に基づ く歴史言語学的アプローチは、語族内の関係性の再構成には有力な手法である。またある語族に属する 言語とその話者集団の遺伝的関係についても学際的 なテーマとしてよく研究されている。例えば、西ユ ーラシアにおけるインド・ヨーロッパ語族の言語と 話者それぞれの起源と拡散史の解明は、ハイスルー プットな個人ゲノム解析技術の飛躍により、欧米で は競争が激しい研究テーマの 1 つである。しかしこ の方法は、借用語の関係などを除けば語族間の関係性の推定には適さない。語彙の他では、音素は語族 を超えた比較が容易であるものの、音素の類似性は、近年の言語接触により生じた変化を反映しやすいと考えられており、古い歴史的関係性を保持していな い可能性がある (2-3)。したがって、世界中の民族集団の高品質のゲノムデータが得られるようになって いる中で、言語族数が少ない西ユーラシアに比べ、多言語族に跨がる東ユーラシアの言語-遺伝子の関係は、大きな後れを取っている。

一方、言語類型論では、文法には言語族間の関係性が反映されているという仮説もあり、文法をデー タベース化し、言語の類似性の評価に利用しようと いう動きにつながった (4)。それら言語の類型論的な 特徴は、World Atlas of Language Structures (WALS) といったデータベースに集約されてきた。近年、WALS の文法要素やその他音素などのデータベースを統合 し、2,500 以上の言語データを含む新しい言語類型論データベース AUTOTYPが 2017 年に考案された (5)。

AUTOTYP を用いて言語間の歴史的関係性の推定を 行った先行研究として、日本、朝鮮半島、シベリア、北極圏を含む北東アジア 11 言語族に対して、言語 の 3 つの要素（語彙・文法・音素）とゲノムと音楽 (歌)を比較した研究が挙げられる (6)。これら地域 の民族集団のゲノムはよく研究されており、語族が 異なっていても民族集団間にどの程度の遺伝的な連続性があるか知見が集積されているため、もし言語 の中にそうした類似性を示す要素があれば、ゲノム 史と相関するだろうというアイデアである。この研究では、言語やゲノムに対して、それぞれ言語/民族間の距離を距離行列に変換し、統計的に分析するこ とで文法の類似性とゲノム史の間に有意な相関を見出した（逆に語彙や音素とゲノム史の間には統計的 な関連がなかった）。このことは語族間関係の推定 に文法が利用可能であることを示唆している。

この先行研究は、文法のデータ解析にいくつかの 課題を残している。第一に AUTOTYP 上の文法要素 のデータ構造は多次元データであると考えられ、加 えて研究者人口の少ない言語では欠損値を多数含む といった複雑な構造になっており、利用にあたり言
語類型論の高い知識が要求されることが挙げられる。例えば、どの文法要素同士が独立なのか、それとも 関連があるのかは、現在の AUTOTYP は対応づけで きていない。従って、AUTOTYP を用いて、北東ア ジア以外の地域の語族間の関係性を分析するには容易ではない。第二に、言語間の類似性の可視化の課題である。先行研究(6)では、主成分分析や遺伝子系統解析で用いられるネットワーク系統樹 Neighbornet を用いることで言語間の関係性を可視化した。しかし系統解析の基本である木構造は、人間には直観的に理解しやすいものの、言語間の関係 を単純化しすぎる懸念がある(7-8)。語族間の定量解析は始まったばかりであり、語族同士の系統関係に ついてはそもそもよく分かっていないため、こうし た関係性は様々な方法で検証されるべきである。さ らに木構造以外で言語のような複雑な変化を示す文化の類似度を可視化できれば、言語に限らず、幅広 い文化的指標に適用できる可能性が生まれる。

そこで本研究では、最終的に言語史研究に応用す る目的で、AUTOTYP のデータを、事前の知識をな るべく必要としない形で自動的に抽出・解析し、木構造以外の形式で可視化した。本研究では、汎用性 を高めるため、perl およびR を用いたパイプライン を構築した。

## 2 AUTOTYP データの抽出と前処理

## 2.1 地域集団データセットの作成

本研究は、言語間の関係を最終的に人類史に照ら し合わせることを目的としている。そこで、テスト データセットとして 2 の言語セットを作成した。一つ目は北東アジアに焦点を当て、先行研究(6)の 14 言語に対して、より広域の 52 言語/23 言語族を含む データセットを作成した。この 52 言語には、地域的 に遠く、言語学的な知見からも外群的な (コントロ 一ル的な）役割を期待できそうな言語族も含めた。二つ目は言語多様性の低いヨーロッパのデータセッ 卜を作成した。AUTOTYP に記載されている地域情報(“Region”)から Europe を抜き出したところ、先印欧語も含む 107 言語/6 言語族が含まれていた。これ らのデータセットを用いて以下の解析を行った。

## 2.2 文法要素の coverage の産出

各言語は、AUTOTYP 上に存在する全ての文法要素に対してデータを持っているわけではない。これ
は、例えば、特定の言語族にしかないような稀な文法要素の変数が存在するためである。例えば、アジ アの特定地域にしかない稀な文法要素を使って、ヨ ーロッパの言語を分析するのは、多くの場合、ナン センスであることが想定される。さらに研究者がほ とんどおらず、言語記録が限られている消滅危機言語では、類型論的研究が十分になされていないケー スは多い。実際、北東アジアにはアイヌ語を始めと した消滅危機言語が多い。しかし人類史的な観点か らは、そうした稀少な言語こそが重要であるため、一律に排除することは避けたい。

そこで、本研究では与えられたデータセットごと に久損値の取り扱いを考慮し、任意の欠損率をもつ データのみを選択できるようにするため、 2 つの閥值を設定した。1つ目は、RoL=データセット内にお いて各文法要素が共有する言語の割合(a Ratio of Languages sharing each grammatical factor in a dataset) である。RoL では、文法要素の頻度に間値を設けた。

例えば、RoLを低く設定すれば、その地域では稀で ある文法要素を、全体的な言語間の類似性の判定に 用いることができる。逆に共通要素だけを使いたい 場合には RoL を高くする。2つ目は、RoG=データセ ツト内において各言語が共有する文法的要素の割合 (a Ratio of Grammatical factors sharing each language in a dataset)である。例えば、RoGを低くすれば、久損値ばかりの言語を除去したい場合に用いることが出来る。RoG の低い言語を含めると、その後の言語間 の関係性の推定精度が大きく下がるからである。

2 つの欠損値率を組み合わせた場合のデータ量に ついて、テストデータセットで調べた。RoLを $80 \%$以上とした場合、北東アジアもヨーロッパも言語が 残らなかった。そこで、RoLを $50 \%$ 以上の場合に絞 り込むと、言語族の数が大きく異なる北東アジアで もヨーロッパでも $80 \%$ 程度の言語が残ることが分か ったが、文法要素数の割合は異なっていた(表 1)。さ らに、RoL $\geqq 50 \%$ の場合から、RoG に間値を与えた ときの言語数の影響を検討した (図 1)。その結果、 $\mathrm{RoG} \geq 50 \%$ では、どちらの地域でも言語が残る確率 は変わらなかったが、RoGを上げると、ヨーロッパ の言語は北東アジアに対して言語が絞られる傾向が あった。このことは、ヨーロッパのデータセットの 特性に由来すると考えられる。ヨーロッパの言語は インド・ヨーロッパ語族が 88 言語 $(82 \%)$ を占めてお り、しかもその内訳は方言に近いような関係の言語 も多い。そのため、高いRoG ではインド・ヨーロッ

パ語族に偏った要素が抽出されると考えられる。な お、RoG の値の選択では、文法要素の数は変わらな かった。このように、データセットに適した久損値 の扱いが必要である。

表 $1 . \mathrm{RoL} \geqq 50 \%$ の言語数と文法要素数

 & 言語数 $(\%)$ &  \\

図1. 各データセットに含まれる言語数

## 3 言語間の類似性解析

言語間の類似度解析を行うために、One hot vector encoding を行い言語の文法要素データベースの数值化を行った。この数値化により、各言語の文法要素 の情報は、文法要素の存在の有無を 0 と 1 で表した バイナリベクトルで表される。ただし、言語要素の 有無に関する情報がない場合、null とした。今回、 このバイナリベクトルを用いて、以下の様に、言語間のぺアワイズな類似性解析を行った。

2 つの言語ペアに対して、存在の有無の情報を有 している要素（null でない要素）のみに着目し、バ イナリベクトルの一致率を計算した。この一致率の 計算を全ての言語ぺアに対して行い、一致率の行列 を作成した。その後、各言語ぺアの全言語ぺアに対 する相対的な類似度を調べるために、この一致率の 行列からぺアワイズに相関係数を算出した。この相関係数を、各言語ペアの類似度として用いた。

## 4 文法要素間のクラスタリング

言語の文法要素において、複数の文法要素が強い 関連性を持つことがある（非独立性文法要素クラス ター）。このような文法要素クラスターは、言語間 の類似度の計算に強いバイアスを生じさせる原因と
なる。例えば、ある 2 言語が非独立性文法要素クラ スターを共有する場合、この 2 言語の類似度は、相対的に高く見積もられてしまう。

そこで、文法要素のクラスタリングを行い(図 2)、 このようなバイアスが原因となって生じる類似度の 誤差を推定した。具体的には、言語間の類似度解析 と同様に One hot vector encoding によるデータの数值化を行い、そのデータに対して kmeans 法で文法要素間のクラスタリングを行った。最適なクラスタ 一の数は、Gap 統計量をもとにして算出した。その 後、各クラスターからランダムに 1 つの文法要素の 抽出を行い、ペアワイズな言語間の類似度を算出し た。この類似度の算出を 100 回行い、標準偏差を計算した。この標準偏差の値を用いて、非独立性文法要素によるバイアスから生じる言語間類似度の誤差 を推定した。

図 2. 文法クラスターの例。 $\mathrm{RoL} \geqq 50 \%$ 以上、 $\mathrm{RoG} \geqq 50 \%$以上のとき、北東アジアセットでは、文法要素は 7 つのク ラスターに分けられた。各言語(縌)に対して、横のラベ ルが各文法要素で、変数の値で色づけした。

## 5 言語間の類似性の可視化

求めた類似度と誤差率に対し木構造に依存しない可視化法として、本研究ではスパイダーチャート（レ ーダーチャート) を採用した(図 3,4 )。ある言語に対 して、データセットに含まれる言語が円周上に配置 されており、円の中心からの距離で類似度（直線）、 その誤差率（点線）を示した。円の中心に近いほど その類似性が低く、円周に近いほど類似度が高くな る。北東アジアのデータセットにおける日本語の例

を図 3 に示した。日本語と日本語の類似度は $100 \%$一致するので、円周上に位置する。日本語に対して、北東アジア外の言語は、 $50 \%$ 程度の類似度があって も誤差率が高い言語や、誤差率は低いが類似度も $25 \%$ と低い言語などがあった。こうした事例は、例 えば、類似度が $60 \%$ 以下だったり、誤差率の高い類似度を除外して、より信頼性の高い語族間の距離の 分析に利用できる可能性がある。

図 3. $\mathrm{RoL} \geqq 50 \%$ における、日本語とその他北東アジアの 言語との類似度 ( $\mathrm{a}: \mathrm{RoG} \geqq 80 \% 、 \mathrm{~b}: \mathrm{RoG} \geqq 50 \%)$ 。矢印 は日本語自身。アス㚈スクは北東アジア外の言語、無印は日本語以外の北東アジアの言語を示す。

一方、英語とヨーロッパの言語を比較したところ

(図 4)、インドヨーロッパ語族以外の言語との類似性は、 1 言語を除き $25 \%$ 以下の類似度となった。同じインド・ヨーロッパ語族同士の比較では、類似度や誤差率には大きな幅があった。これには、前述 の通り、ヨーロッパの言語の偏りが関係している可能性がある。また、研究の進んでいる語彙など他の 指標に基づく距離との比較を行い、結果の妥当性を検証したい。

図 4. $\mathrm{RoL} \geqq 50 \%$ おける、英語とその他ヨーロッパの 言語の類似性 $(\mathrm{a}: \mathrm{RoG} \geqq 80 \% 、 \mathrm{~b}: \mathrm{RoG} \geqq 50 \%)$ 。矢印 は英語自身 $(100 \%)$ 。アスタリスクはインド・ヨーロッパ 語族以外の言語を示し、記号のない言語はインド・ヨ ーロッパ語族に該当する言語。

## 6 まとめ

本研究では、言語の歴史的側面を解明する目的 で、文法データベース AUTOTYP を用いた言語の 類似性解析法の構築を行った。任意の言語群に対し て欠損率を制御した上で、言語の類似性を推定する 方法を新たに構築し、北東アジアとヨーロッパの言語データで検証した。今後は、AUTOTYP 上でラべ リングされている 24 の地域ごとに言語を分け分析 を進めると同時に、言語学者と共に結果の検証を行 う。これらの一連のパイプラインは、perlおよびR で公開予定であるが、より幅広い利用を想定し、 web アプリケーションの構築を検討中である。

## 謝辞

本研究は JSPS 科研費 JP18H05080，JP20H05013，お

よび JST 創発的研究支援事業 JPMJFR2060 の助成を

受けたものです。

## 参考文献

1. Glottolog 4.5 （オンライン）（引用日：2022 年 1

月 12 日.) https://doi.org/10.5281/zenodo. 5772642

2. N. Creanza, O. Kolodny, M. W. Feldman, How culture evolves and why it matters. Proceedings of the National Academy of Sciences, 114 (30) 7782-7789 (2017).

3. J. Nichols, Linguistic Diversity in Space and Time (University of Chicago Press, 1999).

4. B. Bickel, J. Nichols, Oceania, the Pacific Rim, and the theory of linguistic areas. Annu.Meet. Berkeley Linguist. Soc. 32, 3-15 (2006).

5. B. Bickel, J. Nichols, T. Zakharko, A. Witzlack-

Makarevich, K. Hildebrandt, M. Rießler,

L. Bierkandt, F. Zúñiga, J. B. Lowe, The AUTOTYP typological databases. Version 0.1.0(2017); https://github.com/autotyp/autotyp-data/tree/0.1.0

6. H. Matsumae, P. Ranacher, P. E. Savage, D. E. Blasi, T. E. Currie, K. Koganebuchi, N. Nishida, T. Sato, H. Tanabe, A. Tajima, S. Brown, M. Stoneking, K. K. Shimizu, H. Oota, B. Bickel, Exploring correlations in genetic and cultural variation across language families in northeast Asia. Sci. Adv. 7, eabd9223 (2021).

7. R. Boyd, M. Bogerhoff-mulder, W. H. Durham, P. J.

Richerson, Are cultural phylogenies possible? Hum. Nat. Biol. Soc. Sci. , 355-386 (1997).

8. A. Mesoudi, Cultural Evolution: How Darwinian Theory Can Explain Human Culture and Synthesize the Social Sciences (University of Chicago Press, 2011).