# 情報ボトルネック法を用いた視線・脳情報デコード手法の提案

原田宥都 大関洋平
東京大学大学院 総合文化研究科言語情報科学専攻
\{harada-yuto, oseki\}@g.ecc.u-tokyo.ac.jp

## 概要

人間がテキストを読む際の視線や脳活動の記録 は，これまで主に人間の認知機能の理解のために用 いられてきたが，近年ではこのような人間の認知 データが自然言語処理タスクにおいても有益である ことが分かってきた．しかし，認知データは特定の 言語処理タスクにとって多くの無関係な情報を含む ため，効率的に用いるのが難しく，また，なぜタス クの改善に寄与するのかについてもほとんど議論が なされていない. 本稿では, 視線や脳情報から特定 のタスクに有益な情報のみを取り出す認知情報ボト ルネック法を提案し，その性能を検証する。

## 1 はじめに

眼球運動や脳活動の記録は，人間の持つ言語能力 がどのように機能するのかを理解する上で，重要な 役割を担ってきた $[1,2]$. 近年の研究では，アイト ラッキングデータや EEG により記録された脳波を 用いて自然言語処理タスクを改善することができ ると報告されており [3]. この効果は固有表現認識 や関係抽出，センチメント分析など，複数のタスク において一貫して確認されている。これらの結果か ら, 視線や脳波などの情報が統語的情報, 語彙的情報，あるいは言語処理の際の認知負荷など様々な情報を含んでおり，それらが自然言語処理タスクにお いて有益な特徴となっていることが予想される. し かしながら，それぞれの認知データは言語処理の全 ての過程を反映した情報であり，特定のタスクに とって無関係な情報を含んでいる. 特に脳波は一般的に高次元なデータであり, 特定のタスクでどの脳領域の情報が有用か，あるいはどの周波数帯域の脳波が有用か，などを事前に知ることは困難である.

そこで，本研究では，認知データから特定のタス クにとって有益な情報のみを取り出すための手法と して，認知情報ボトルネック法を提案する. 具体的 には，一般的な情報ボトルネック法 [4]を継承し，
それを同時に記録された視線と脳波に適用するこ とで，マルチモーダル設定での学習に用いることの できる単一の埋め込み表現へ変換する．情報ボトル ネック法の目的関数はタスクの精度を最大化しつつ 入力情報をなるべく圧縮するものであり，視線や脳波の持つ様々な情報からタスクにとって必要な情報 のみを取り出すことができる．またその際には次元数を削減することができるため, 次元数に大きく差 のある視線と脳波を同時に学習に用いることが容易 になる.

実験では，提案手法を用いて圧縮した認知データ を用いることで，圧縮を行わなかった認知データを 用いた時よりもタスクの精度が改善されることを検証した. その結果，圧縮した認知データは，行わな かったものやその他の単純な圧縮手法に比べて精度 を改善することが分かった。

## 2 関連研究

## 2.1 人間の認知データを用いた言語情報の デコーディング

視線や脳波などの人間の認知データには，言語処理の過程など豊富な情報がエンコードされることが 知られている。例えば，自然言語処理分野における 脳情報デコーディングの研究には, 脳情報のみから 発話内容を推定するスピーチデコーディング [5] や,脳情報から認識している単語の品詞を推定するもの [6] , 脳情報から読んでいる物語文の内容について 推定するもの [7] など，様々な研究が存在する。 近年では自然言語処理タスクの改善を目的とした脳情報デコーディングも行われており，特に Hollenstein ら [8] は視線と脳波を同時に記録したデータセット [9]を作成し, マルチモーダル設定での実験を行っ ている. 彼らの実験では，周波数帯域を絞って脳波 の一部を用いることで，脳波をそのまま用いるより も精度が向上することが報告されている. タスクに 対する認知データのノイズを除去するための手法は 現在も検討されている途中であり，標準的な手法は

いまだ定まっていない.

## 2.2 情報ボトルネック法

情報ボトルネック法（Information Bottleneck, IB） [4] とは，情報理論の分野に起源を持つ手法であり，近年では機械学習において利用されている. ある信号 $x \in X$ から別の信号 $y \in Y$ を予測する際に, 予測 に無関係である冗長な情報を取り除いた $X$ の圧縮表現 $T$ を見つけることが目的であり，次のように記述できる.

$
\mathscr{L}_{I B}=\beta I(X, T)-I(T, Y)
$

これは，相互情報量 $I(X, T)$ をなるべく最小化しな がら $I(Y, T)$ を最大化すること, つまり, 圧縮表現 $T$ が $X$ についての情報を最大限破棄しつつも， $T$ が $Y$ を予測するために必要な情報は最大限保持するとい うことを意味している。

実際に機械学習で用いる際は, [10] において (1) の効率的な変分推定が提案されており，以下のよう に導出された目的関数を用いる..

$\mathscr{L}_{V I B}=\beta \underset{x}{\mathbb{E}}\left[\operatorname{KL}\left[p_{\theta}(t \mid x), r(t)\right]\right]+\underset{t \sim p_{\theta}(t \mid x)}{\mathbb{E}}\left[-\log q_{\phi}(y \mid t)\right]$

ここで $r(t)$ は $p(t)$ の変分近似、 $q_{\phi}(y \mid t)$ は $p(y \mid t)$ の 変分近似である。 $p_{\theta}(t \mid x)$ と $q_{\phi}(y \mid t)$ は独自のパラ メータセットを持つニューラルネット，つまりエン コーダとデコーダであることを意味している.

## 3 実験

## 3.1 認知情報ボトルネック法

本研究で用いるモデルの概要図を図 1 に示す. 実験では固有表現認識タスクを行う。

## 3.1.1 入力特徵

視線特徵 視線特徴は固視回数, 第一固視時間,総読み時間，注視時間，視線通過時間の 5 つからな る. 1 単語あたり 5 つの数値を用いた 5 次元のべク トルとして扱った. 視線情報を用いて固有認識表現 の精度を改善した先行研究 [11] ではより細かく特徴 を整理し，1 単語あたり全 17 の特徵から視線特徴を 構成しているため, 本実験の視線特徴はより基礎的 な構成であり，そのままの値ではタスクに有益には なりづらいと予想される。

脳波特徵 本実験では，105 個の電極から記録さ れた EEGデータを脳波特徴として用いた. 視線特徵との対応を取るため, 脳波特徴は総読み時間に対応する数値を取り出している。また，周波数帯域 ごとにそれぞれ $\theta(4-8 \mathrm{~Hz}), \alpha(8.5-13 \mathrm{~Hz}), \beta(13.5-30$ $\mathrm{Hz}), \gamma(30.5-49.5 \mathrm{~Hz})$ とデータを 4 つに分割してい る. そのため, 1 単語あたり 420 次元のベクトルと して脳波特徴を扱っている。

単語の埋め込み表現 視線特徵, 脳波特徵と共 に，言語モデルによる単語の埋め込み表現を用い る. 視線情報を用いて固有認識表現の精度を改善し た先行研究 [11] では Glove[12] を用いているため,比較のために本実験では Glove を用いて実装した. そのため, 1 単語あたり 100 次元のベクトルとして 単語の埋め込み表現を扱っている。

ノイズと認知データの比較 認知データを入力特徵として用いた際にタスク精度が改善された場合, それが本当に認知データの影響であるかどうかを確認するために，同じ次元数のノイズベクトルを用い て比較実験を行う. 視線特徵に対しては 5 次元の,脳波特徴に対しては 420 次元のランダムノイズを用意する.

## 3.1.2 モデル内部のアーキテクチャ

情報ボトルネック法による圧縮 認知データであ る視線特徵と脳波特徵については，情報ボトルネッ ク法を用いた圧縮を行う，最適化は固有表現認識の デコーダの出力精度を改善するように行われる．視線特徴については 5 次元から 3 次元へ圧縮し, 脳波特徵については 420 次元から 50 次元へ圧縮する. これにより，情報ボトルネック法で圧縮された表現 は固有表現認識のために必要な情報は残しつつ，そ れ以外の冗長な情報を捨てるように学習する。ま た，情報ボトルネック法を用いた結果と比較するた めに，単純な主成分分析を用いた次元削減も行う.

BiLSTM-CRF デコーダ 視線特徴, 脳波特徴, 単語の埋め込み表現は結合し，1つの入力特徵として 扱う.モデルの後段では，視線情報を用いて固有認識表現の精度を改善した先行研究 [11] との比較を行 うために，同様のモデルである BiLSTM-CRF[13]を 用いている.

## 3.2 データセット

本実験では，データセットとして Zurich Cognitive Language Processing Corpus (以下 ZuCo)[9]を用いた. このコーパスはアイトラッキングと EEG の記録を 同時に行ったデータセットであり, 12 人の被験者に

図 1 提案手法の概要

よって読まれた約 1100 文を含む. 先行研究 [11] に 合わせてこのうち 700 文を使用した. 固有表現のラ ベリングデータも提供されており，これは PERSON, ORGANIZATION, LOCATION の 3 種類のラベルに よってタグづけされている.

## 3.3 実験設定

BiLSTM-CRF のハイパーパラメータとして，バッ チサイズを 32 ，隠れユニットの数を 100 ，学習率を 0.007 とした. また情報ボトルネックエンコーダに ついて, 圧縮比率 $\beta$ を 0.0001 , 学習率を 0.007 とし た. 圧縮次元数は視線特徵で 3 次元, 脳波特徴で 50 次元へ圧縮した. データセットは 8:1:1 に分割し, それぞれ訓練データ，開発データ，テストデータと して用いた. 実験は 3 種類のシード値を用いてい て, 結果は全て 3 回平均の値である. 評価指標には 適合率，再現率，調和平均を用いる。

## 3.4 実験結果

視線特徵を用いた実験の結果を表 1 に示す. Glove に視線特徴を追加したときと, 同じ次元数の ノイズを追加したときでは，ほとんどスコアに差が なかった. このことから, 5 次元の視線特徴を Glove ベクトルに追加するだけでは, タスクの精度を改善 するのに十分でないと考えられる. それに対して，情報ボトルネック法により圧縮した視線特徵を用い た場合 $(\mathrm{IB}(\mathrm{Gaze}))$ は, 次元数は 5 から 3 へやや減っ

表 1 視線特徴を用いた固有表現認識の結果

ているにも関わらず，精度がやや向上している. 改善幅は僅かであるが，情報ボトルネック法により データが正則化された可能性がある. 主成分分析に より压縮した視線特徴を用いた場合 (PCA(Gaze)) で は, Gloveのみの結果より僅かに改善された。

また, 先行研究 [11] と比較すると, 全体的に精度 がやや劣る. 先行研究では単語の埋め込み表現とし て Glove のみではなく文字レベル RNNを用いてい るので，このことが影響していると考えられる.ま た, 先行研究では視線特徴を追加した際に精度が改善されているが，ここで先行研究では本研究とは異 なり視線特徴をより細かい 17 次元の特徴で扱って いることに注意されたい. 17 次元の視線特徴によ る改善幅は, 本研究における 5 次元の視線特徴によ る改善幅とあまり差がなく，認知データからの人手による特徴の抽出は容易ではないことが示唆さ

れる。

表 2 脳波特徴を用いた固有表現認識の結果

次に，脳波特徴を用いた実験の結果を表 2 に示 す.この実験では, 脳波特徴とノイズの次元数が 共に 420 次元であり, Glove ベクトルの 100 次元と 比べても大きい. 次元数の大きいノイズを含む入力特徴に大きく影響を受けたためか， Glove + EEG, Glove + Noise の設定ではどちらも精度が大きく下 がっている. 420 次元の脳波特徴 (EEG) を扱うには モデルのサイズが十分でなかったと考えられる. し かし，こちらの実験設定においても情報ボトルネッ ク法を用いて脳は特徴を圧縮した結果が一番精度が 高くなった. また, 視線特徴を用いた際の結果と比 べても改善幅はより大きかった. 主成分分析による 圧縮と比べても精度が高く, 情報ボトルネック法を 用いたモデルの方が，ノイズの多い脳波の特徴から タスクに有用な情報を取り出すのに適しているので はないかと考えられる。

表 3 視線特徴と脳波特徴の両方を用いた固有表現認識の 結果

最後に，視線特徴と脳波特徴の両方を用いた実験 の結果を表 3 に示す. この実験では, 脳波特徴の みを用いた時の結果と同様に，次元数の大きいノ イズを含む入力特徴に大きく影響を受けたためか, Glove + Gaze + EEG, Glove + Noise の設定ではどちら も大きく精度が下がっている。また，情報ボトル ネック法によって視線特徴と脳波特徴の両方を圧縮している Glove + IB(Gaze) + IB(EEG) の設定では， Glove + IB(EEG) よりもやや精度が低くなった. 用 いている特徵としては後者の方が少ないので，情報 ボトルネック法を用いた学習はあまり精度が安定し ていない可能性がある.

## 3.5 考察

実験全体を通して言えることとして，今回用いた モデルでは，入力特徵を全て単純に結合しているだ けであるため，特徴の次元数の差が大きく影響して しまうということが挙げられる. モデルアーキテク チャの改善方法として，認知データを用いたマルチ モーダル設定での学習であると捉え，それぞれの入力特徴の重要性を次元数に左右されない形で扱うこ とが望ましいかもしれない。また，認知データをそ のまま用いても精度が改善されるとは限らないとい うことも分かった. それと同時に，情報ボトルネッ ク法による圧縮や，単純な主成分分析など，必要に 応じた次元削減はこのような認知データを扱う際に は重要な要素であった. 今回の情報ボトルネック法 のハイパーパラメータ設定については，より詳しく 探索することで，さらに性能を向上させることがで きるかもしれない.

今後は, Glove ベクトルよりもより高性能な BERT[14] 等の単語埋め込み表現を用いた際にも，今回のような認知データによる改善が見られるの か，といったことや，BiLSTM-CRF デコーダをさら に最先端の固有表現認識デコーダに変更した場合に どのような影響があるのか，といった，実験設定に よる結果への影響を調べる必要がある。それに加え て，情報ボトルネック法によって認知データから取 り出された情報はどのような内容であるのかを分析 によって調べることで，なぜ認知データが自然言語処理タスクの改善に寄与することがあるのかを調べ ていく.

## 4 結論

本稿では，視線情報や脳活動情報といった人間の 認知データを，自然言語処理タスクの改善により効率的に用いるための手法である認知情報ボトルネッ ク法を提案した. 視線特徴や脳波特徴と単語埋め込 み表現を単一の入力特徴として扱えるように変換 し，認知データのノイズを除きつつ次元数を調整す ることができる本手法は，実験の結果，人間の認知 データを用いて固有表現認識タスクの精度を改善す ることに成功した. 今後はより詳細な実験設定を検証しつつ，圧縮された認知データの内容を分析する ことで，人間の認知データがどのようにして言語処理タスクの改善に役立つのかを調べていく.

## 謝辞

本研究は、JST さきがけ JPMJPR21C2 の支援を受 けたものです。

## 参考文献

[1] Brian Murphy, Leila Wehbe, and Alona Fyshe. Decoding language from the brain. Language, cognition, and computational models, pp. 53-80, 2018.

[2] Shouyu Ling, Andy CH Lee, Blair C Armstrong, and Adrian Nestor. How are visual words represented? insights from eeg-based visual word decoding, feature derivation and image reconstruction. Human brain mapping, Vol. 40, No. 17, pp. 5056-5068, 2019.

[3] Nora Hollenstein, Maria Barrett, Marius Troendle, Francesco Bigiolli, Nicolas Langer, and Ce Zhang. Advancing nlp with cognitive language processing signals. arXiv preprint arXiv:1904.02682, 2019.

[4] Naftali Tishby, Fernando C Pereira, and William Bialek. The information bottleneck method. arXiv preprint physics/0004057, 2000.

[5] David A Moses, Sean L Metzger, Jessie R Liu, Gopala K Anumanchipalli, Joseph G Makin, Pengfei F Sun, Josh Chartier, Maximilian E Dougherty, Patricia M Liu, Gary M Abrams, et al. Neuroprosthesis for decoding speech in a paralyzed person with anarthria. New England Journal of Medicine, Vol. 385, No. 3, pp. 217-227, 2021.

[6] Alex Murphy, Bernd Bohnet, Ryan McDonald, and Uta Noppeney. Decoding part-of-speech from human eeg signals. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2201-2210, 2022.

[7] Leila Wehbe, Brian Murphy, Partha Talukdar, Alona Fyshe, Aaditya Ramdas, and Tom Mitchell. Simultaneously uncovering the patterns of brain regions involved in different story reading subprocesses. PloS one, Vol. 9, No. 11, p. e112575, 2014.

[8] Nora Hollenstein, Cedric Renggli, Benjamin Glaus, Maria Barrett, Marius Troendle, Nicolas Langer, and Ce Zhang. Decoding eeg brain activity for multi-modal natural language processing. Frontiers in Human Neuroscience, p. 378, 2021 .

[9] Nora Hollenstein, Jonathan Rotsztejn, Marius Troendle, Andreas Pedroni, Ce Zhang, and Nicolas Langer. Zuco, a simultaneous eeg and eye-tracking resource for natural sentence reading. Scientific data, Vol. 5, No. 1, pp. 1-13, 2018.

[10] Alex Alemi, Ian Fischer, Josh Dillon, and Kevin Murphy. Deep variational information bottleneck. In Proceedings of the International Conference on Learning Representations, 2016.

[11] Nora Hollenstein and Ce Zhang. Entity recognition at first sight: Improving ner with eye movement information. arXiv preprint arXiv:1902.10068, 2019.

[12] Jeffrey Pennington, Richard Socher, and Christopher D Manning. Glove: Global vectors for word representation. In Proceedings of the 2014 conference on empirical methods in natural language processing (EMNLP), pp. 1532-1543, 2014.

[13] Meizhi Ju, Makoto Miwa, and Sophia Ananiadou. A neural layered model for nested named entity recognition. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 1446-1459. Association for Computational Linguistics, 2018.

[14] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186. Association for Computational Linguistics, June 2019.


# 百聞は一見に如かず？視覚情報は言語モデルに文の階層構造を教示するか

栗林 樹生
東北大学 Langsmith 株式会社
kuribayashi@tohoku.ac.jp

## 概要

巨大言語モデルの進展が著しい反面，人間の言語獲得と対照すると言語モデルのデータ効率の悪さが 強調される. 本研究では，なぜ人間の言語獲得が効率的なのかという問いを，人間と言語モデルの言語獲得シナリオのどのような差異を埋めると両者の乘離が縮むかという問いに読み替え，特に人間のみが 言語獲得時に活用し得る視覚情報の寄与を調査す る. 少なくとも本実験の範囲では，言語的な事前知識のない学習者（ニューラルモデル）がリアルな画像・文対から言語の適切な汎化規則を支持する手が かりを見出すことは容易でなく，単なる視覚情報の 有無のみでは，人間と言語モデルの言語獲得効率の 差異を説明できないことが示唆された。

## 1 はじめに

巨大言語モデルが進展を遂げた一方，人間の言語獲得効率の良さが対照的に強調されている. 例えば GPT-3 [1] は，人間が 10 歳までに享受する言語刺激 のおよそ 2000 倍のデータで学習されており [2], 非常に単純な計算では人間の 20,000 年分の学習に匹敵する。それではなぜ人間は言語獲得のデータ効率 が良いのだろうか？本研究では，この問いを言語モ デルと人間のどのような差異を埋めることで両者の 言語獲得効率の乘離が縮まるかという問いに読み替 え，効率的な言語獲得が実現される十分条件につい て計算機上での概念実証を目指す.

本研究では特に, 記号接地 [4] や身体性 [5] の問題に関連する視覚情報の影響に焦点を当てる. 通常人間は，言語モデルと異なり，言語獲得中に視覚情報を利用でき，効率的な言語汎化に貢献している可能性がある. 実験では主語・動詞の数の一致を手が かりに，言語の階層的な汎化の達成に視覚情報が寄与するかを検証する（図 1).なお近年の視覚・言

図 1 実験の概要. 文に対応する視覚情報が，汎化規則の曖昧なデータの下での言語の階層的規則獲得を促進するか調査する。なお図中の画像は，例示のために DALL-E [3] で生成したものである.

語処理では大規模モデルの開発が盛んであるもの の [6,7], 言語と視覚の相互作用に関する言語科学的な分析や学習過程の分析は限られている $[8,9]$.

リアルなキャプションデータを用いた実験では，文に対応する静止画像を単にモデルに入力するだ けでは, 言語の階層的汎化は促されないことが観察 された。一方，問題を抽象化・簡略化した人エデー タを用いた実験では，言語の階層的な汎化に対する 視覚情報の著しい寄与が確認された. この設定では データの偏りやキャプションに関係のない視覚情報 は捨象されており，閉じた世界の中で学習者が視覚情報の適切な抽象化をできた状況を想定している。

少なくともリアルなデータを用いた今回の実験か らは，言語的な事前知識を持たない学習者（ニュー ラルネット）が，静止画像と文の対から自然言語の
表 1 画像キャプションペアの例. AmBIG. データでは，動詞に対応する主語と動詞に最も近い名詞の数が同じであり， DISAmBIG. データでは両者の数は異なる. AMBIG. データが大部分を占める学習データでモデルを訓練し，そこで学習さ れた規則を DisAmbiG. データを用いて峻別する. 表中の画像は作成したデータセットから抽出したものである.

適切な規則性を見出すことは容易でないこと，人間 と言語モデルの学習効率の違いは単なる視覚情報の 有無のみでは説明できないことが示唆された. 一方人工データの結果を踏まえると，(i) 視覚情報を適切 に抽象化する特別な視覚・言語能力を学習者に仮定 できれば，視覚情報が言語獲得に良い影響を及ぼす 可能性があることや，(ii) 実験で用いた事前学習済 み画像エンコーダでは, リアルな画像から言語獲得 に影響を及ぼすような視覚情報の抽出・抽象化がで きていない可能性なども強調された.

## 2 背景

一般に，有限のデータから未知のデータへ汎化す る際に汎化規則は一意に定まらず，規則の選択はモ デルの帰納バイアスに左右される [10]. 言語獲得に おいても，幼坚が限られた言語刺激から適切な（階層的な）汎化を達成する現象を説明するには，学習者の強力な帰納バイアスが必要であると主張されて きた $[11,12]$. 一方，通常のニューラルモデルでは，表層的手がかりの利用や言語的に妥当な汎化を完全 に達成できないなどの人間らしくない学習傾向が あり $[13,14,15,16,17]$, 分野全体の問題として認知 されている。またこのバイアスを覆すために大量の データが必要であることも指摘されている $[14,15]$.

汎化を導く帰納バイアスとしては，学習者の性質 に由来するもの（生得的要因）と, 学習データなど の学習環境に由来するもの（環境的要因）が想定さ れ, 本研究では視覚情報の有無という環境的要因の 影響を，計算機シミュレーションのもと調査する。言語理解における視覚情報の重要性は長らく説かれ ているものの [18], (人工知能の) 言語獲得の視点で は，適切な言語知識なしに視覚情報を与えても，む
しろ表層的な疑似相関などの可能性が増え問題が過度に複雑になるといった批判もあり [19,20], 視覚情報が言語学習にどのような影響を与えるかは自明 でない。なお図 1 のような線形・階層的な規則の対立において，人間が階層的汎化を好むことは心理実験などで検証されてきた $[21,22]$. また，ニューラ ルモデルを用いた計算言語学的な検証は条件を統制 しやすいなどの利点をもち，人間を直接観察する方法論と相補的な役割を果たしてきた $[23,12,24]$.

## 3 問題設定

概要を図 1 に示す. 主語と動詞の数の一致の観点 から，線形的・階層的規則両方に整合するキャプ ションデータのもとでキャプション生成モデル（視覚情報が利用可能な言語モデル）を訓練し，視覚情報の有無で言語の汎化傾向が変わるかを調べる．視覚情報のもとでは, 階層的規則に整合する動詞の数 を選ぶ問題は，典型的にはその動作をしているもの が 1 つかそれ以上かを数える問題となり（表 1)，視覚情報により階層的規則に紐づく特徵量がより顕在的になる可能性がある1).

## 3.1 データ

既存の画像キャプションデータを収集したリアル なデータと，人工的に統制されたデータを用い，相補的な検証を行う．既存研究では人工コーパスでの 実験が主流であり [16], 視覚モダリティを追加した とともにリアルなデータと人工的なデータで結果を 比較したことも本論文の貢献である。

自然画像キャプション: Conceptual captions コーパ ス [27] から，以下を満たすデータを抽出した：

1）言語学的な数が，いわゆるものの数に必ずしも一致しない ことは指摘されており，議論の余地はある $[25,26]$.

・キャプションに主語・述語が存在する 2$)$

・キャプションの主語が family, pair of など単複判断の難しい集合名詞・表現でない

・キャプションに文法誤りがない3)

これらのうち，主動詞の数と直前の名詞の数が同一 である，線形的・階層的規則を峻別できないデータ (AmBIG.) と, 主動詞の直前の名詞と同士の数が異な る，階層的規則を支持するデータ (DisAmBIG.) に分 けた (表 1). DisAmbig. のような階層性を明示する データは実際の言語刺激において非常に少ないとい う議論（刺激の貧困） $[28,21]$ をもとに，本研究で は Ambig. データと DisAmbig. データが 100:1 になる ように学習データ（計 352,359 画像キャプションペ ア）を作成した ${ }^{4)}$. 残りの DisAmbig. データ $(1,269$ ペア）を評価データとした。

人エ画像キャプション: NUM1 COLOR1 SHAPE1 with NUM2 COLOR2 SHAPE2 VP というテンプレートから文 と画像をルールで生成した（付録 A). 表 1 に例を 示す. VP の主語は SHAPE1 であり, 画像中ではVP と SHAPE1 オブジェクトが近接し, 文中では数（屈折） が一致している。この設定では少なくとも，自然な データがもつ以下の性質を捨象している：
- 単語や画像の特徵に関するクラス不均衡性・多 クラス性・クラスの開放性

・着目すべき対象以外の視覚情報（背景など）

-ものや動作の呼び名と視覚特徴間の多対多関係
- 動作主と動作の視覚的に自然な構成（「人が走 る」画像では，本来人の姿勢が変わるべきだが，本データでは「走る」を示す画像を「人」の画像に重ねるようなアプローチをとっている)

上で述べた手続き同様, 数の一致から AMBIG. デー タと DisAmbiG. データに分け，100:1 で混ぜたもの を学習データ (16,500 ペア), 残りの DisAmBIG. デー タを評価データ（11,300 ペア）とした.

## 3.2 評価

評価データにおいて，動詞の数のみが異なる $2 \supset$ のキャプションを用意し (例えば，a red circle with three black circles plays/play a soccer), 対応する画像を 入力したもと, どちらのキャプションに高い生成確率を付与するかを観察する。階層的規則に整合する

キャプションを正解とし，二值分類問題としてモデ ルの選好を Macro F1 值で評価した。キャプション 生成能力の目安として，開発用データ5)で ROUGE-L F1 值 [29] ${ }^{6)}$ も計算した. また言語獲得効率に関心が あるため，学習初期ステップでの値も報告する.

## 3.3 モデル

Transformer 系列変換モデルを用いる [30]. ただ し入力が画像，出力が文となるキャプション生成 モデルであり，エンコーダには Vit [31] などの事前学習済みエンコーダを，デコーダには GPT-2 small （124M） [32]アーキテクチャに交差アテンションを 追加したものを採用する7) . 直観的には，交差アテ ンションを通して視覚情報にアクセス可能な（文レ ベル）言語モデルである．視覚情報を与えない設定 では学習・推論時共に無情報なノイズ画像を入力す る. ゼロからの言語獲得シナリオを想定し, デコー ダは初期化して学習を始めた. また，交差エントロ ピー誤差でモデルを訓練する。

エンコーダの初期値・構造として，大きさの異な る 3 つの Vit (base/large/huge) [31] と, Beit (base) [33], Deit (base) [34], Swin (base) [35] の計 6 種類を試し, モデル横断的な結論の一般性を検証する (付録 B).参考として，画像エンコーダを Vit-base にした上で パラメータ初期化した設定 (Scratch) と，デコーダに 学習済み GPT-2 [32] を用いる設定 (Vit-GPT2) も試し た. ハイパーパラメータは付録 C に記載する。

## 4 実験・結果

各設定において異なる 2 つのシードでモデルを訓練し，いずれの指標においても平均値を報告する.自然/人工画像キャプション実験における $10,000 / 500$ ステップはおよそ 2 エポック目終了時点である.

自然画像キャプション: 画像情報の有無による階層的汎化傾向の違いを表 2 中央に示す. 学習初期にお いて，視覚情報は階層的沨化を促す方向にはあるも のの，変化は限定的であった．画像を入力とする設定では ROUGE-L F1 值は 3-40程度に達しており，画像情報が活用されていることは確認できる. また，例えば 1000 ステップ目における階層的汎化への寄与 (階層的汎化における。- 行) に着目すると, 画像エンコーダの性能指標として用いられる ImageNet

表 2 学習過程におけるモデルの階層的規則への選好 (階層的汎化 F1 值）とキャプション生成能力 (ROUGE-L F1 値). $1,000,5,000,10,000$ といった数字はパラメータ更新ステップ数を示す. 目行は視覚情報ありのモデルの性能を示す.

響を与えたことを意味する。また参考として，各画像エンコーダのパラメータ数を一列目括弧内記記載し，エンコーダ の ImageNet top-1 正解率の報告値も載せる.

} \\

正解率の高いエンコーダ（Vit-large, Swin-base）やパ ラメータ数の大きいエンコーダ（Vit-huge）が必ず しも好影響を与えているわけではなく，画像処理的 な指標で良い画像エンコーダや巨大なエンコーダ が必ずしも言語モデリングに適切なバイアスを与 えるとは限らない可能性も予想した（付録D）。な お Vit-GPT2 では, 学習初期からほぼ完全な階層的汎化を達成しており, 大規模な言語データの観察の もとでは対処可能な問題設定であった．また今回は コーパスを基に学習データへの DISAmBIG. データの $1 \%$ の混入を認めたが，この程度の混入でも最終的 に階層的汎化に選好が寄ることは確認された。また DISAmbIG. データが $0 \%$ の場合でも予備実験をして おり,この場合は線形的汎化に選好が寄り，一貫し て視覚情報の好影響は観察されなかった。

人工画像キャプション: 結果を表 2 右部に示す. 学習初期（100 ステップ）において，視覚情報が階層的汎化を顕著に促しており, 言語の階層的規則の効率的な獲得が達成された. 学習初期において, 事前学習済みエンコーダを用いた際の階層的汎化の向上幅は Scratch（+5.10）よりも大きく, 視覚的事前知識が言語の階層的汎化を促していた. なお視覚情報
のない設定でもモデルごとに性能が異なり，この設定ではエンコーダが画像処理以外の用途 (入力非依存なメモリなど [36]）で活用された可能性もある.

## 5 考察・おわりに

ニューラルモデルがリアルな画像・文対から自然言語の階層性を学ぶ手がかりを得ることは困難であ ることが示唆された. 人工画像キャプションでの対照的な結果を踏まえると，自然な画像・言語特有の 性質が視覚情報からの言語獲得を困難にしている可能性が示唆され, 言語獲得の視点からは, (i) 視覚情報は言語獲得に寄与し得るが，リアルな視覚情報 を適切に抽象化し言語と対応付ける能力を先立って 獲得しておく必要がある，あるいは (ii) 視覚情報は 言語の階層的な汎化に直接影響を与えないという仮説が導かれる．自然・人工データのどのような差異 が結論の違いに紐づくのか人工データを制御して調査する方向や，データを幼児の言語獲得シナリオに 近づける（絵本など）方向，韻律情報など他のモダ リティを取り入れる方向などは今後検討している. また本研究は自然言語処理, 画像処理, 計算心理言語学の 3 領域をまたぐ学際研究として意義がある.

## 謝辞

日頃から助言いただいた乾健太郎先生，鈴木潤先生，原稿に助言いただいた小林悟郎氏をはじめ Tohoku NLP グループの皆様に感謝申し上げます. YANS 2022 にてコメントをくださった皆様にも感謝 いたします. 本研究は，JST，CREST，JPMJCR20D2 の支援を受けたものである.

## 参考文献

[1] Tom B Brown, et al. Language Models are Few-Shot Learners. In Proceedings of NeurIPS.

[2] Alex Warstadt and Samuel R Bowman. What artificial neural networks can tell us about human language acquisition. Algebraic Structures in Natural Language, p. 17, 2022.

[3] Aditya Ramesh, Mikhail Pavlov, Gabriel Goh, Scott Gray, Chelsea Voss, Alec Radford, Mark Chen, and Ilya Sutskever. Zero-Shot Text-to-Image generation. Technical report, February 2021.

[4] Deb Roy and Ehud Reiter. Connecting language to the world. Artificial Intelligence, Vol. 167, No. 1-2, pp. 1-12, September 2005.

[5] Lawrence W Barsalou. Grounded cognition. Annual Review of Psychology, Vol. 59, pp. 617-645, 2008.

[6] Jean-Baptiste Alayrac, et al. Flamingo: a visual language model for Few-Shot learning. arXiv:2204.14198, April 2022.

[7] Aditya Ramesh, Prafulla Dhariwal, Alex Nichol, Casey Chu, and Mark Chen. Hierarchical Text-Conditional image generation with CLIP latents. arXiv:2204.06125, April 2022.

[8] Alexander Ororbia, Ankur Mali, Matthew Kelly, and David Reitter. Like a baby: Visually situated neural language acquisition. In Proceedings of ACL.

[9] Tristan Thrush, Ryan Jiang, Max Bartolo, Amanpreet Singh, Adina Williams, Douwe Kiela, and Candace Ross. Winoground: Probing vision and language models for visio-linguistic compositionality. In Proceedings of CVPR, pp. 5238-5248, 2022.

[10] Tom M Mitchell. The need for biases in learning generalizations.

[11] Noam Chomsky. Rules and representations. Behavioral and Brain Sciences, Vol. 3, No. 1, pp. 1-15, March 1980.

[12] R Thomas McCoy, Robert Frank, and Tal Linzen. Revisiting the poverty of the stimulus: hierarchical generalization without a hierarchical bias in recurrent neural networks. Proceedings of Cogsci, 2018

[13] Morten H Christiansen and Nick Chater. Toward a connectionist model of recursion in human linguistic performance. Cognitive Science, Vol. 23, No. 2, pp. 157-205, 1999.

[14] Alex Warstadt and Samuel R Bowman. CAN NEURAL NETWORKS ACQUIRE a STRUCTURAL BIAS FROM RAW LINGUISTIC DATA? In Proceedings of Cogsci, 2020.

[15] Alex Warstadt, Yian Zhang, Xiaocheng Li, Haokun Liu, and Samuel R Bowman. Learning which features matter: RoBERTa acquires a preference for linguistic generalizations (eventually). In Proceedings of EMNLP.

[16] R Thomas McCoy, Robert Frank, and Tal Linzen. Does syntax need to grow on trees? sources of hierarchical inductive bias in Sequence-to-Sequence networks. TACL, Vol. 8, pp. 125-140, 2020.

[17] Tom McCoy, Ellie Pavlick, and Tal Linzen. Right for the wrong reasons: Diagnosing syntactic heuristics in natural language inference. In Proceedings of ACL.

[18] Emily M Bender and Alexander Koller. Climbing towards NLU: On meaning, form, and understanding in the age of data. In Pro- ceedings of ACL.

[19] Lila R Gleitman and Henry Gleitman. A picture is worth a thousand words, but that's the problem: The role of syntax in vocabulary acquisition. Current Directions in Psychological Science, Vol. 1, No. 1, pp. 31-35, February 1992.

[20] Emmanuel Dupoux. Cognitive science in the era of artificial intelligence: A roadmap for reverse-engineering the infant languagelearner. Cognition, Vol. 173, pp. 43-59, 2018.

[21] Julie Anne Legate and Charles D Yang. Empirical re-assessment of stimulus poverty arguments. The Linguistic Review, Vol. 19, No. 1-2, pp. 151-162, June 2002.

[22] Stephen Crain and Mineharu Nakayama. Structure dependence in grammar formation. Language, Vol. 63, No. 3, pp. 522-543, 1987.

[23] M W Crocker. Computational psycholinguistics. Computational Linguistics and Natural Language, 2010.

[24] J D Lewis and J L Elman. Learnability and the statistical structure of language: Poverty of stimulus arguments revisited. Proceedings of the 26th annual Boston University, 2001.

[25] Benjamin Spector. Aspects of the pragmatics of plural morphology: On Higher-Order implicatures. In Uli Sauerland and Penka Stateva, editors, Presupposition and Implicature in Compositional Semantics, pp. 243-281. Palgrave Macmillan UK, London, 2007.

[26] Eytan Zweig. Number-neutral bare plurals and the multiplicity implicature. Linguistic Philosophy, Vol. 32, No. 4, pp. 353407, August 2009

[27] Piyush Sharma, Nan Ding, Sebastian Goodman, and Radu Soricut. Conceptual captions: A cleaned, hypernymed, image alt-text dataset for automatic image captioning. In Proceedings of ACL.

[28] Noam Chomsky. Problems of Knowledge and Freedom: The Russell Lectures. New York: W.W. Norton, 1971.

[29] Chin-Yew Lin. Rouge: A package for automatic evaluation of summaries. In Proceedings of text summarization branches out, pp. 74-81, 2004.

[30] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Proceedings of NIPS, pp. 59986008, 2017.

[31] Alexey Dosovitskiy, et al. An image is worth $16 \times 16$ words: Transformers for image recognition at scale. In Proceedings of ICLR, 2020.

[32] Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. Language Models are Unsupervised Multitask Learners. Technical report, OpenAI, 2019.

[33] Hangbo Bao, Li Dong, Songhao Piao, and Furu Wei. Beit: Bert pre-training of image transformers. In Proceedings of ICLR, 2021.

[34] Hugo Touvron, Matthieu Cord, Matthijs Douze, Francisco Massa, Alexandre Sablayrolles, and Herve Jegou. Training data-efficient image transformers \& distillation through attention. In Marina Meila and Tong Zhang, editors, Proceedings of ICML, Vol. 139, pp. 10347-10357. PMLR.

[35] Liu, Lin, Cao, Hu, Wei, Zhang, Lin, and Guo. Swin transformer: Hierarchical vision transformer using shifted windows. In Proceedings of ICCV.

[36] Mor Geva, Roei Schuster, Jonathan Berant, and Omer Levy. Transformer Feed-Forward layers are Key-Value memories. In Proceedings of EMNLP

[37] Ekin D Cubuk, Barret Zoph, Jonathon Shlens, and Quoc V Le. Randaugment: Practical automated data augmentation with a reduced search space. In Proceedings of CVPRW, pp. 702-703. IEEE, June 2020

[38] Xiaohua Zhai, Alexander Kolesnikov, Neil Houlsby, and Lucas Beyer. Scaling vision transformers. In Proceedings of CVPR, pp. 12104-12113, 2022.

## A 人工画像キャプションの生成

以下のようにテンプレートから文を作成した.

a lime circle with two red triangles runs

NUM1 COLOR1 SHAPE1 with NUM2 COLOR2 SHAPE2 VP

対応する画像を表 1 の例のように自動生成した. 各記号に対応す る語彙と対応する画像オブジェクトを表 3 に示す. NUM2 COLOR2 SHAPE2 オブジェクトは各 NUM1 COLOR1 SHAPE1 オブジェクトの 上部に小さく配置し，VP オブジェクトはNUM1 COLOR1 SHAPE1 オブジェクトの中央下部に配置している. 色の重複を防ぎ，計 $3 \times 3 \times 5 \times 4 \times 4 \times 4 \times 10=28,800$ 種類の画像を生成した $(16,500$ 学習データ，1,000 開発データ，11,300 評価データ).

表 3 人工画像キャプション作成時の語彙と画像特徴

## B 画像エンコーダ

各画像エンコーダの性質を簡潔に説明する. ImageNet-21k(22k) の上で訓練されたモデルを用い，解像度は $224^{2}$ ，パッチサイズ は16（に近いもの）に統一している.

Vit [31] 画像を分割したパッチをトークンと みなしてエンコードする．以下の実装を用いた：https： //huggingface.co/google/vit-base-patch16-224-in21k, https: //huggingface.co/google/vit-large-patch16-224-in21k,

https://huggingface.co/google/vit-huge-patch14-224-in21k.

Beit [33] Vit は画像分類タスクで学習されているのに対し， Beit では画像上でマスク穴埋め形式の自己教師あり事前学習を する。また，絶対位置埋め込みを用いるVit とは異なり，相対位置埋め込みを用いている。実装は, https://huggingface.co/ microsoft/beit-base-patch16-224-pt22k-ft22kを用いた.

Deit [34] 特殊な知識蒸留法によって，モデルサイズと訓練 コストを削減した．実装は，https://huggingface.co/facebook/ deit-base-distilled-patch16-224を用いた

Swin [35] 異なる粒度で画像のパッチ分割を行い，局所的な処理を適用することで計算コストを抑えつつ，画像の 階層的な特徴量を抽出する. 実装は, https://huggingface.co/ microsoft/swin-base-patch4-window7-224-in22kを用いた.

## C ハイパーパラメータ

全モデル共通のハイパーパラメータを表 4 に示す. エンコーダ のハイパーパラメータは対応する huggingface モデルの設定に従 い，ドロップアウト率のみを上書きしている．画像を提示する設定では，過学習を防ぐため学習画像に対し随時 RandAugment [37] を適用し，更に $20 \%$ の確率で実際の画像をノイズ画像に置き換え た. パラメータの固定はしていない.

表 4 共通のハイパーパラメータ

 \\

## D 画像エンコーダのスケーリング

画像エンコーダに関して, ImageNet 画像認識性能についてス ケーリング則が報告されている [38]. ImageNet での画像認識性能と階層的汎化の促進度に単調な関係がないことから，言語モデ ルに階層的なバイアスを与える画像エンコーダはスケーリング の結果得られるとは限らないことが予想された. なお本文では 言及していないが，Beit-large, Swin-large, Deit-small, Deit-tiny でも 実験をしており，より幅広い画像認識性能を持つエンコーダ間 で傾向を比較した。傾向を図 2 に示し，画像認識性能が良いエン コーダほど，言語の階層的な汎化を促すとは限らない.

図 2 自然画像キャプションデータでの学習 1000 ステッ プ目における，画像エンコーダの ImageNet top-1 正解率と 階層的汎化 $\mathrm{F} 1$ 值の向上度合いの関係. 各点は各訓練試行 に対応し，計 20 試行 $=\{$ 画像エンコーダ 10 種 $\times 2$ シード $\}$ の結果である。


# 日本語 WiC データセットの構築と読みづらさ検出への応用

吉田あいり 河原大輔
早稲田大学理工学術院
yoshida-a.waihk@ruri.waseda.jp, dkw@waseda.jp

## 概要

本論文では, 日本語文の読みづらさを定量的に評価することを目的とし, 語義曖昧性に基づく手法を 提案する. 2 文に含まれる同じ単語の語義が一致す るかを判定する WiC (Word in Context) データセッ ト [1] の日本語版である JWiC を構築し, このデータ セットを使用した語義曖昧性判定に基づく読みづら さの検出を行う. 評価はクラウドソーシングを活用 し, 約 7 割の精度で読みづらさの検出ができること を確認した。

## 1 はじめに

文章を読む機会は多く,その文章が読みやすいこ とは消費時間と理解力に良い影響となる.そのため,執筆者の意図が誤って伝わる要素の排除が望まれ る. 本研究では執筆支援システムにおいて想定され る読点の挿入や語順整理といった文の読みやすさの 改善の前段階として, 読みづらい文を自動的に検出 することを目的とし, 改善自体は執筆者に委ねる。

読みづらさを扱うにあたり曖昧性に着目する.曖昧性は構造的なものと意味的なものがある. 構造的曖昧性とは構造解釈に複数の選択肢があることであ り, 我々はこれに着目した読みづらさの検出手法 [2] を提案した. 意味的曖昧性の一つに語義曖昧性があ る. 例えば「動きを踏まえた分析」という文が与え られた時に「動き」が傾向を表すのか実際の活動を 表すのかの判別が付かないというようなものであ る. 本研究では語義曖昧性に着目し, まず, 2 文に含 まれる同じ単語の語義が一致するかを判定する WiC (Word in Context) データセット [1] の日本語版であ る JWiC を構築する. JWiC は日本語フレームネット から構築するが, それだけだとデータ数が少ないた め, データ拡張を行う. 最後に, 拡張した JWiC を使用した語義曖昧性判定に基づき読みづらさの検出を 行う.

## 2 関連研究

## 2.1 WiC

言語理解のためのベンチマークとして SuperGLUE [3] が構築されており,8つのタスクのうちの 1 つである語義曖昧性解消タスクが WiC (Word in Context) [1] である. 2 文に含まれる多義語である同一単語が同じ語義で使用されているかを判断する 2 値分類のタスクである. 多言語 $\mathrm{WiC}$ データセットと して XL-WiC [4] が整備されているが, 完全に整備さ れている言語はドイツ語, フランス語, イタリア語に 止まり,その他の言語は $\operatorname{dev}$ と test データのみであ る. 日本語もこれに含まれているが, 1,000 組程度と 数が少なく, 言語資源として活用するのは困難であ る. 従って, 日本語データセットの構築が求められて いるのが現状である.

## 2.2 読みづらさの分析

人間の読みづらさは読み時間を用いて評価されて おり, 読み時間を主軸とした分析がされる. 日本語の 読み時間データは BCCWJ-EyeTrack が整備・分析さ れており [5], 読解時間と統語・意味カテゴリの対比分析 [6] もなされている. また, 文の意味的曖昧性の 高さが構造的曖昧性の解消・保留に影響することが わかっている $[7,8]$. 他にも個別の言語現象が読み時間に与える影響に対して分析が行われている $[9,10]$. また, サプライザル理論に基づいて統一的に解釈で きるかという仮説検証もなされている [11]. 読み時間の様々な傾向がサプライザルでも再現され, 情報量の観点から解釈できることが示されている.

これらは既存の読みづらさの研究であり, 我々は 構造的曖昧性を利用して読みづらさを検出する手法 を提案した [2]. 構造的曖昧性とは構造解釈に複数の 選択肢があることである。

## 3 日本語版 WiC の構築

本研究では, 日本語フレームネット (JFN) [12]を用 いて日本語版 $\mathrm{WiC}(\mathrm{JWiC})$ の構築を行う. オリジナル の WiC は多様性とバランスに注目しており, JWiC においてもこれを重視し収録語彙の汎用性を高める ことを目指す. 以下では, JFN の特徴の確認からはじ め, 構築の流れ, モデルによる評価までを述べる。

## 3.1 日本語フレームネット (JFN) の概要

JFN は日本語における語彙・複合言語資源であり，言語形式とその意味の関係を背景知識 (フレーム) と の関係で捉えている. 対象語句を含む例文にフレー ムがアノテーションされている.例えば「持つ」に 関する以下の例文には次のフレームが付与されて いる.

1. “報告を持ってきた $\cdots$ : Bringing

2. 一在庫の持ち方を変えて $\cdots$ : Storing

3. 一特許権を持っています。：Possession

収録語彙は 5,000 語程度であり, 名詞が半分以上を 占め, 名詞と動詞でほとんどを占めている. また, 単語ごとに定義されているフレーム数にも偏りが大き く, 最大で 11 フレームを持つ. フレームが付与され ている例文の長さは 50 字程度が最も多く, 大抵の 例文は 200 字以内の長さをとっている. また,「雇用再生集中支援事業」のような固有名詞が含まれてい ることから, 対象が汎用語句に留まらないことが問題であり, 活用にあたってフィルタリングが必要と なる。

## $3.2 \mathrm{JWiC$ の構築手法}

JWiC の構築は, JFN 例文のフィルタリング, 例文 のペアリング, 作成したぺアのクラウドソーシング による検証という 3 段階で行う。

JWiC を特定単語に特化したものではなく, 汎用性 を高めるために対象語句を制限する. 適切な汎用性 を保つために, 対象語句の構成単語数とフレーム数 に着目する. 本研究では 4 単語以上で構成されるも のと, 6 フレーム以上定義されている語句を除くこ ととした. 次に, 対象語句の制限に続いてバランスの 調整を行う. 例文は, 文として成立していることと簡潔であることが求められるため, 例文長は 15 字以上 100 字未満とする.

WiC の形式にするために, 対象語句ごとに例文の表 1: JWiC の例

 \\

表 2: クラウドソーシングの結果における正答率の平均と 四分位数

ペアを作成する.ここで, 1 対象語句に対して例文ぺ ア数は 50 ペアまでと制限することで偏りを少なく する.ペアである 2 文が持つフレームが一致するか 否かで $\mathrm{WiC}$ 用のラベル「同じ」「違う」を付与する。例を表 1 に示す。

作成したデータに関して, 付与されたラベルの妥当性を確認するためにクラウドソーシングによる検証を行う.ここで, 人手であらかじめ正解ラベルを付与したチェック設問の正答率を確認することでクラ ウドワーカーの品質を保証する.チェック設問は最 も正答率が低いもので $70 \% を 上$ 回るものを使用し，平均 8 割程度の正答率のものを選択した. クラウド ワーカーには短文によって例を提示し,チェック設問があることを説明している. 文ペアを提示し, 対象語句の語義が「同じ」か「違う」かを選択してもら うが, 適当な回答をできる限り取り除くために「わ からない・判断できない」という選択肢も用意した. クラウドソーシングには Yahoo!クラウドソーシング を使用し, 1 ペアに対して 20 人から回答を回収した.解答の結果は表 2 の通りで, クラウドワーカーの正答率のばらつきを確認するために四分位数を示す.

この結果から極端に精度の悪い文ぺアを除いて JWiC の完成とする. JFN フレーム付けは細かく, 見分けのつかないものも含まれるため正答率がさほど 高くならなかったと考えられる. 3,230ペアに対して 精度が 0.35 以上のものを採用し 2,495 ペアを得た。含まれる対象語句は 259 個である.

## 3.3 モデルによる評価実験

JWiC を用いて, 事前学習モデル BERT [13] をファ インチューニングし, 評価実験を行う. JWiC は, 2 文 における同一語句が同じ語義で使用されているか否 かを判定する 2 値分類タスクである. そのため, 入力文中のどの語句が対象であるかを明示する必要 がある.そこで, BERT の埋め込みに対象語句を示す

図 1: Target Embeddings の導入

Target Embeddings を導入する. 図 1 に概要図を示す. JWiC の データは [train:validation:test] = [0.75:0.1:0.15] の比率で分割し, NICT BERT (BPE

いて, JWiC の行が対象語句を明示しないモデル， $\mathrm{JWiC}_{\text {Target }}$ の行が Target Embeddings を使用したモデ ルを表し, test セット列の $\mathrm{JWiC}$ が分類精度である。 Target Embeddings を用いることでモデルが対象語句 を認識し, $1.1 \%$ の精度向上が見られた。

## 4 JWiC の拡張

前節で構築した JWiC は 259 個の対象語句からな り, 読みづらさ検出に応用するには対象語句が少な い. そのため JWiC のデータ拡張に取り組む.

## 4.1 単語親密度を用いたデータ拡張

データ拡張は, 追加する対象語句の選定, 例文の収集・ペアリング, 作成したペアのアノテーションと いう 3 段階で行う。

追加する対象語句の選定にあたり, 読みづらさ 検出を執筆支援システムに応用することを考慮す る. 筆記において使用される語句による拡大を行 うために単語親密度を用いる.「分類語彙表」増補改訂版データベースに親密度情報が付与された WLSP-familiarity ${ }^{2)}$ を使用する [14]. 対象単語の選別 に単語親密度の「書く」の項目を使用し, ある程度筆記に使われる語句を採用し, かつ解釈に迷わないも のは省くために 0.5 から 1.2 未満 3 ) のものを対象とし 収集した. 特殊文字を含むものやカタカナを含むも の, また, 2 単語以上からなるものを削除した. 対象 をさらに使用頻度が高いものとするために, 品詞を 動詞と形容詞に絞り, 最終的に 700 語句を収集した.

得られた対象語句に対して, 対象語句を 1 つのみ

表 3: 拡張データのラベル分布

を含む例文を「用例.jp ${ }^{4}$ 」から収集する. 収集した例文からぺアを作成する. 同じ対象語句に対する例文 ペア数は 10 ペアまでとし, JWiC にすでに含まれる 対象語句に関しては数を減らすことで追加データに 関してもバランス調整を行う.

得られた例文ぺアに対して, 対象語句における語義が一致するか否かのアノテーションをクラウド ソーシングで行う. 3.2 節と同様に, クラウドワー カーに [同じ, 違う,わからない・判断できない]の 3 択から選択してもらう.チェック設問は 3.2 節と同様のものを使用した. 5,222 ペアに対して 10 人分の 回答を収集した。

得られた回答集合を用いて, 回答比率を考慮した 平均スコアに基づきラベル付けを行う. まず, [同じ，違う, 不明] の各回答を $[1,-1,0]$ の数値と見做して, 10 人の回答の和をスコアとする. 閾値 $m$ を使用し, $[-10,-m),[-m, m],(m, 10]$ の範囲において [違う, 棄却, 同じ]と分類を行う. $m$ の值はラベルの偏りが大 きすぎず, かつ判別のつかない文ぺアが十分に除か れるように選択する. 本研究では閾值 $m=2$ を採用 した. 拡張したデータのラベル分布を表 3 に示す.

## 4.2 モデルの再学習と評価

データ拡張の前後における $\mathrm{JWiC}$ の精度変化を確認する.まず, 拡張したデータを学習データにのみ 追加した場合の精度を表 4 の JWiC+ExTrain および

て, 元の JWiC の対象語句についてはドメイン外の学習データが増えたが, Target Embeddings を用いたモ デルは精度が落ちなかった.

次に, 拡張したデータを JWiC の train, validation, test セットに追加し評価した. この新しい test セッ トによる精度を表 4 の $\mathrm{JWiC}+\mathrm{Ex}$ 列に示す. 新しい train セットで学習したモデルの精度を JWiC+Ex と $\mathrm{JWiC}+\mathrm{Ex}_{\text {Target }}$ の行に示す. 元の $\mathrm{JWiC}, \mathrm{JWiC}_{\text {Target }}$ モデルと比べて精度が向上していることが分かる. また, 各モデルにおいて Target Embeddings はやはり 効果があることを確認した.

次節で述べる語義曖昧性判定による読みづらさ検出と評価においては, 拡張データを含めて学習した

表 4: 各モデルの分類精度

(a) 曖昧でない場合

(b) 曖昧な場合

図 2: 語義曖昧性検出の例

BERT モデル (Target Embeddings あり)を使用する.

## 5 読みづらさの検出

## 5.1 読みづらさの検出方法

読みづらさの検出は, 入力文中の対象語句が語義曖昧性を持つかを判定することによって行う. 語義曖昧性の判定は, 対象語句が持つ語義ごとに例文 1 つと入力文で文ペアを作り, WiC タスクを実施する ことによって行う. 複数の語義の例文と「同じ」と 判定すれば複数の語義の可能性があり曖昧, 1 つの みと同じであれば曖昧でないとする. 図 2a の場合で は，「このいちごは甘い」という入力文は「とても甘 いお菓子」のみと一致しており, 入力文中の「甘い」 において使用されている語義が明白である.一方, 図 $2 \mathrm{~b}$ の場合では, 傾向を示す「動き」と実際の活動を 示す「動き」のどちらとも一致するため, どの語義で 使用されているかが不明となり, 曖昧と判定される.

## 5.2 評価用データセットの作成と評価

$\mathrm{JWiC}$ から評価用データセットを作成する. 対象語句が持つ全ての語義との比較により評価するため,各語義から例文を 1 文ずつ選択する. [A, B] という 2 種類の語義を持つ場合は, $[\mathrm{A}, \mathrm{A}, \mathrm{B}]$ の語義が付与さ れた例文セットを抽出し, 語義 $\mathrm{A}$ を持つ例文 1 文を 評価対象文とする.これにより 184 セットを得た。表 5: 閾値ごとのラベル分布と語義曖昧性の検出精度

次に,各セットにおいて評価対象文が語義曖昧性 を持つか否かのアノテーションを行う.これは, JFN のフレーム情報を用いるのではなく,一般的な人間 による語義曖昧性の判断を得るために行う. 評価対象文に対して, どの例文が同じ語義であるかの複数選択式でクラウドソーシングにより 10 人分の回答 を収集した.この回答をもとに 2 つ基準を設けて，正解ラベルを作成した. 1 つ目は回答が分散してい れば曖昧であり, 2 つ目は複数の語義の例文を選択 していれば曖昧であるという基準である. まず, 最も 回答数が多い選択結果 (セットで扱う) に対して $\mathrm{n}$ 人以上の回答が一致したものは回答が分散していない とみなし, $\mathrm{n}$ 人未満であれば分散しているため曖昧 とみなす. $\mathrm{n}$ は 6 から 8 の値において試行した. 次に， $\mathrm{n}$ 人以上が一致した選択結果において, 複数の例文 が選択された場合は曖昧であり,単一であれば曖昧 でないとする.

各閾値 $\mathrm{n}$ おける曖昧か否かのラベル数と, 曖昧 さ検出の精度を表 5 に示す. $\mathrm{n}=6,7$ においては 7 割程度の精度を達成しており, 語義曖昧性に基づく読 みづらさの検出がある程度できた. $\mathrm{n}=8$ において精度が低下したのは, 閾値が厳しいために, 分散してお らず, 本来曖昧でない回答についても曖昧であると いうラベル付けとなったことが原因と考えられる。

## 6 終わりに

本研究では, JFN を使用した JWiC の構築及びデー 夕拡張を行い,これを応用して語義曖昧性に着目し た読みづらさの検出を行った. 構造的曖昧性に続き 語義曖昧性も絶対評価は難しく, 本研究では $\mathrm{WiC}$ 夕 スクを語義の数だけ行う形で評価を行った.

収集した例文に対して語義の一致という 2 値分類 のタスクに落とし込むことで, 語義ラベルを付与す る必要性を排除した.これにより比較的容易にデー 夕拡張が可能となる. 評価においては語義ラベル自体は必要ないものの, 語義数分の例文収集が必要と なる. 本研究では JWiC に含まれる対象語句を活用し た評価を行ったが，今後，対象語句を拡張した評価を 行うことが望まれる。

## 謝辞

日本語フレームネットを提供いただいた慶應義塾大学の小原京子教授に感謝する. 本研究は JSPS 科研費 JP21H04901 の助成を受けて実施した。

## 参考文献

[1] Mohammad Taher Pilehvar and Jose Camacho-Collados. Wic: the word-in-context dataset for evaluating contextsensitive meaning representations, 2018.

[2] 吉田あいり, 河原大輔. 構造的曖昧性に基づく読みづ らさの検出. 言語処理学会 第 28 回年次大会 発表論文集, pp. 425-429, 2022.

[3] Alex Wang, Yada Pruksachatkun, Nikita Nangia, Amanpreet Singh, Julian Michael, Felix Hill, Omer Levy, and Samuel R. Bowman. Superglue: A stickier benchmark for general-purpose language understanding systems, 2019.

[4] Alessandro Raganato, Tommaso Pasini, Jose CamachoCollados, and Mohammad Taher Pilehvar. Xl-wic: A multilingual benchmark for evaluating semantic contextualization, 2020.

[5] 浅原正幸, 小野創, 宮本 エジソン正. Bccwj-eyetrack:『現代日本語書き言葉均衡コーパス』に対する読み 時間付与とその分析. 言語研究, No. 156,pp. 67-96, 2019.

[6] 浅原正幸, 加藤祥. 読み時間と統語・意味分類. 認知科学, Vol. 26, No. 2, pp. 219-230, 2019.

[7] 井上雅勝. 文の意味的曖昧性が構造的曖昧性の解消 と保留に及ぼす影響 (2). 日本認知心理学会発表論文集, Vol. 2011, pp. 74-74, 2011.

[8] 井上雅勝. 文の意味的曖昧性が構造的曖昧性の解消 と保留に及ぼす影響. 日本認知心理学会発表論文集, Vol. 2010, No. 0, pp. 81-81, 2010.

[9] Masayuki Asahara. Between reading time and clause boundaries in japanese - wrap-up effect in a head-final language一日本語の読み時間と節境界情報一主辞後置言語における wrap-up effect $の$ 検証一. Journal of Natural Language Processing, Vol. 26, pp. 301-327, 062019.

[10] Masayuki Asahara. Between reading time and the information status of noun phrases 名詞句の情報の状態と 読み時間について. Journal of Natural Language Processing, Vol. 25, pp. 527-554, 122018.

[11] 栗林樹生, 大関洋平, 伊藤拓海, 吉田遼, 浅原正幸, 乾健太郎. 日本語の読みやすさに対する情報量に基づ いた統一的な解釈. 言語処理学会 第 27 回年次大会発表論文集, pp. 723-728, 2021.

[12] Kyoko Ohara. Relating frames and constructions in Japanese FrameNet. In Nicoletta Calzolari, Khalid Choukri, Thierry Declerck, Hrafn Loftsson, Bente Maegaard, Joseph Mariani, Asuncion Moreno, Jan Odijk, and Stelios Piperidis, editors, Proceedings of the Ninth International Conference on Language Resources and Evaluation (LREC'14), pp. 2474-2477, Reykjavik, Iceland, May 2014. European Language Resources Association (ELRA). ACL Anthology Identifier: L14-1103.

[13] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina
Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[14] 浅原正幸. Bayesian linear mixed model による単語親密度推定と位相情報付与. 自然言語処理, Vol. 27, No. 1, pp. 133-150, 2020.


# 抽象図形への命名を介したコモングラウンド形成モデルの構想

森田 純哉 ${ }^{1}$ 由井 達也 ${ }^{1}$ 天谷 武琉 ${ }^{1}$
光田 航 2 東中 竜一郎 2 竹内 勇剛 1
1 静岡大学情報学部 2 日本電信電話株式会社
\{j-morita,takeuchi\}@inf.shizuoka.ac.jp
\{yui.tatsuya.20, amaya.takeru.19\}@shizuoka.ac.jp
\{koh.mitsuda.td,ryuichiro.higashinaka.tp\}@hco.ntt.co.jp

## 概要

コミュニケーションにおいて，送り手が発した記号は，受け手の有する認知的な枠組みを介して復元 される。つまりコミュニケーションを効率化するた めには，送り手と受け手の間で認知的な枠組みをす り合わせていくプロセスが必要である. 本稿では, そのような共有された枠組みをコモングラウンドと 呼び，タングラム命名課題を対象としたコモングラ ウンド形成の認知モデルを提案する．特に，本稿で はモデルの背景, 設計, 実装例を示し, 今後の課題 を議論する。

## 1 はじめに

コミュニケーションにおけるコモングラウンドの 必要は様々な研究者によって指摘されている $[1,2]$.送り手が発した記号の意味は，受け手の有する知識 によって復元される. よって，送り手と受け手の間 で共通の認知的枠組みが存在しない場合，意図の伝達に膨大なコストが必要となる. 共通の認知的枠組 みが存在することで，多義的な記号の意味が絞り込 まれ，簡素な表現による素早いコミュニケーション が可能になる。そして，そのようなコモングラウン ドを構成する共有知識や信念は，通常は暗黙的なも のであり，その全てを記号的に表現することは困難 である.

本稿では，コモングラウンドの形成がどのように 計算機上でモデル化できるかを議論する. 近年の言語処理の研究では，Transformer [3]をべースとした Bidirectional Encoder Representations from Transformers (BERT) [4] や Generative Pretrained Transformer (GPT) [5] などの手法が全盛である. 深層学習によって調整された大規模なパラメータは，人間の言語利用の 背後にある暗黙的な知識をよく表現する。しかし，
それらのパラメータは，人間が課題遂行において保持する目標や時間的な文脈を陽には表現しない。ま た，人間が言語で表現する経験は多様なモダリティ から形成されるため，コモングラウンドの形成に は，複数モダリティの経験を統合する必要がある。

こういった複数のモジュールを統合し, 問題解決 に至る一連のプロセスをモデル化するための考え方 として，認知アーキテクチャが存在する．既存の認知アーキテクチャとして，Soar [6] や ACT-R [7] は有名である。これらの認知アーキテクチャは，現状で は記号的な表現に大きく依存しており，スケールの 問題を抱える。実世界のコミュニケーションを説明 するモデルを構築するためには，深層学習などで構築された分散表現をべースにした認知アーキテク チャが必要である．この考えから，本稿は，深層学習で構成されたモジュールを，認知アーキテクチャ へ統合し，コモングラウンド形成のプロセスを明示化することを志向する.

## 2 タングラム命名課題

コモングラウンドの形成過程を検討する課題とし て，タングラムと呼ばれる抽象図形を用いたコミュ ニケーション課題が検討されている [1]. タングラ ムは，“タン” と呼ばれる平面図形を組み合わせるこ とで構築される．タングラムを具体物のシルエット とみなすことで，多様な解釈が生成される。この解釈の生成は，その際の知覚者が有する認知的枠組み によって変化する。 よって，言語表現のみにより，発信者の指示するタングラムを受け手が同定するた めには，コモングラウンドの共有が必要になる.

タングラムを題材とした対話のデータとして，本研究では須藤ら [8] の研究に焦点を当てる. 須藤ら の実験において，セッションに参加した 2 者は， 6 つのタングラムの命名について合意することを目指
一方の実験協力者

図 1 タングラム命名課題における配置の一例.

した. 以降，この実験課題をタングラム命名課題と 呼ぶ. 図 1 は，タングラム命名課題において，実験 の参加者が観察するタングラムセットの例を示して いる. 両者は同一のタングラムセットを提示される ものの, その配置や角度は異なっている. タングラ 么命名課題において，参加者は互いの画面が見え ず，音声のみで課題を遂行することが求められた.

須藤らは，タングラム命名課題における発話を，全体的発話と分析的発話の観点から分析した. 全体的発話は，タングラムの形状を具体物に喻える表現（例: “塔っぽいやつ”, “枝がでている木”, “サボ テンとか”) であり，分析的発話はタングラムを構成する平面図形への言及（例：“小さい三角形が 2 つ”, “左右に四角と三角が出てる”) である. 須藤ら のデータでは，実験全体を通して全体的発話が部分的発話よりも多く，セッションが経過するに従い， その差が拡大していくことを示されている.

## 3 タングラム命名モデル

タングラム命名課題で得られたデータをシミュ レーションするモデルの構想を示す. まず，認知 アーキテクチャとして考えた際に必要なモジュール について議論し，続いて一部の処理に焦点を当てた 詳細なモデルを検討する．最後に現時点で得られて いる予備的な実行の結果を示す.

## 3.1 モジュールの構成

図 2 はタングラム命名課題に関与すると想定され るモジュールを統合したものである。一般的に認知 アーキテクチャは，視覚，聴覚，運動などの入出力 に関するモジュール，ゴールや記憶を保持する内的なモジュール，そしてそれらを結合する中枢モ ジュール（ワーキングメモリやルールエンジン）か ら構成される [9]. 図 2 では上部に内的モジュール，下部に入出力に関するモジュールが配置され，中央 のプロダクションによってそれらが統合される1).

1）ここでの統合は数ある認知アーキテクチャのなかでも ACT-R [7] をべースとしている.

(5) イマジナル

詳細化

c.

(3) 聴覚

羽を広げた白鳥以下，各モジュールの役割を簡単に記載する。

1. 視覚モジュール：外界のタングラムに注意を向 け，タングラムを認識する。

2. 発話モジュール：個々のタングラムを区別する 言語ラベルを生成し他者へ伝達する。

3. 聴覚モジュール：他者が生成した言語ラベルを 聴取する。

4. ゴールモジュール：個々のタングラムに対して 付与された言語ラベルを保持する。また各ラべ ルに対する相手との合意の有無を管理する。

5. イマジナルモジュール：言語ラベルとタングラ ムを結びつけるためのイメージ操作を行う．須藤らのデータに即せば，以下の 2 つの処理が想定できる.
- 部分処理：タングラムを幾何図形に分解 し，対話相手がタングラムを特定できる言語表現を生成する.
- 全体処理：対話相手から聴取した言語ラべ ルをもとにイメージを生成する。

6. 記憶事例: 一般的な言語ラベルと画像の組み合 わせからなるデータを有する。このデータを活用することでモデルはタングラムに対してラべ ルを付与し，イメージからラベルを生成する。

## 3.2 送受信パイプライン

図 2 のアーキテクチャの全体像は大きいものであ り，部分に分割したモデルの構築が有効である．特 に本稿では，須藤らの分類のうち，全体処理に関す る発話の送受を詳細化することを試みる。すなわ ち，送り手がタングラムからイメージを解釈し，そ

のイメージを言語化し，受け手が言語化されたイ メージを復元するまでのプロセスである. 以下に各 プロセスの概要を示す.

## 送り手の処理

1. タングラムの知覚：視覚モジュールを介し，各 タングラムの形状から物体認識を行う。視覚モ ジュールの実装としては, Convolutional Neural Network (CNN) を想定する。しかし，タングラ 么図形は多義性を意図して構成されおり, 通常 の CNN による物体認識に困難が生じる可能性 が存在する. 特に一般物体認識の CNN モデル に対しては，テクスチャバイアス（全体的な形状ではなく画像表面のテクスチャに影響された 認識をおこなうこと）の存在が報告されている [10]. このバイアスは，テクスチャに分類の有効な手がかりが存在しないタングラム命名課題 において，クリティカルな影響を生じさせると 考えられる. よって, 本研究では, テクスチャ バイアスを生じさせないデータセットとして.

ImageNet Sketch [11]を用い，白黒画像から 1000 のラベルを分類する CNNを新規に学習した。

2. イメージ検索 : タングラムの認識から物体の特徵を詳細化する発話を生成するためには，ラべ ルのイメージの具体化が必要である. この処理 のために，本研究では過去に獲得した記憶から のイメージの復元を考える. 本研究のモデルの 場合, 上記の CNN の学習に利用した画像デー タを過去の記憶として想定できる. この画像 データから，CNN が出力したラべルを付与す る画像セットを絞り込む2).そして，絞り込ま れた画像からタングラムの形状と最も類似する 画像を選択する. 画像の類似の計算方法とし て, 本研究では, AKAZE によって抽出される 特徴点マッチング [12]を用いる。これにより， タングラムと形状が最もマッチする画像が検索 され，ラベル付けの根拠がイメージとして具体化されると想定する。

3. 発話生成：イメージ検索によって得られた画像は, 図 2 のアーキテクチャのイマジナルモ ジュールに一旦格納される. そして，イマジナ ルモジュール内の画像に対して，発話モジュー ルがイメージキャプショニングを適用すること で詳細な言語的なラベルを得る. 本研究ではこ

2）ImageNet Sketch は各ラベルに対して 50 枚の画像を用意し ている.
の処理に Vision transformer (ViT) [13]) と GPT-2 [5]をもちいた学習済み Vison Encoder Decoder モデル [14]を利用する.

## 受け手の処理

1. イメージ生成：送り手の生成した言語ラベル は，受け手の聴覚モジュールに格納される. 受 け手モデルは格納された言語ラベルからイメー ジ生成を行う。言語ラベルからのテキスト生成 には， Stable Diffusion [15] を利用する。画像生成モデルにテキストを入力する際，送り手のイ メージ生成 (ImageNet Sketch) の利用に合わせ，受け取った言語ラベルの先頭に, “a monochrome sketch of"という文字列を付与する.

2. タングラムの同定 : AKAZE による特徵点マッ チングを利用することで，生成された画像と類似するタングラム画像を同定し，結果をゴール モジュールに格納する。なお，この際，タング ラムを 45 度単位で回転させ，合計で $48(6 \times 8)$ のタングラムのイメージとの比較を行う.

## 3.3 実行結果

既に述べたように，上記のパイプラインは，タン グラム命名課題における処理の一部である. 実際の 課題においては，上記のパイプラインが他の処理と 組み合わされ, 反復的に適用されることで送り手と 受け手の認知的枠組みがすり合わされていく.

本稿では，そのようなプロセスの初期状態を示す ために， 3.2 のパイプラインの実行結果を検討した.図 3 はその一例である. 送り手が注目したタングラ ムに対し，Black Swan というラベルが出力された. そして, そのラベルと形状の類似している学習事例 （首が右方向に向けられた黒鳥）が検索され，その 画像に対して "a black and white bird standing on top of a white bird"というキャプションが生成された.こ のキャプションに対し，受け手は，黒い鳥の上に白 い鳥が乗ったイメージを生成した（白い鳥と黒い鳥 の関係がキャプションとは逆転している)。この画像に対して同定されたタングラムは，生成されたイ メージに含まれる 2 つの鳥のうち, 上側の鳥と対応付けられるものと見ることができる（右側にくちば しがあり，下部に足が配置される）.

上記のように本研究で提案するパイプラインは,抽象図形から言語的ラベルの生成，言語的ラベルか ら抽象図形の同定に至るまでのプロセスを可視化す

図 3 実行例.

ることに成功している。そして，それら一つ一つの ステップは，既存の画像処理ライブラリや学習済み 深層学習モデルを用いたものであり，一定の妥当性 を有しているとみなせる。ただし，これらの処理に は程度の差はあれノイズが混入し，処理がまとめら れた際には，送り手が観察したタングラムと受け手 が同定したタングラムが食い違うものとなった. す なわち，この事例は，タングラム命名課題における ミスコミュニケーションの一例をモデル化したもの となっている.

上記のようなミスコミュニケーションが，提案し たパイプラインにおいてどの程度の頻度で生じるの かを検討した。この検討において，送り手は，角度 を 8 段階に変更した 6 種類のタングラムを観察し， それぞれに対して言語ラベルを生成した. 生成され た合計 48 の言語ラベルに対し，受け手が同定した タングラムとの対応をカウントした. 図 4 は送り手 が観察したタングラムと受け手が同定したタングラ 么の間での混同行列を示す. 表中の数値から正解率 を計算したところ 0.166 (8/48) となり，6クラス分類 のチャンスレートと等しいものとなった

このように今回の実装は，標準で送り手と受け手 の認識の齯䶣を生じさせるものとなった. もともと タングラム命名課題は，タングラムの多義性を利用 し，コミュニケーションの開始時に十分なコモング ラウンドが存在しない状況を形成することを意図し たものである. その意味で，本研究は，この課題の 前提を，複数の深層学習モデルの統合によってデモ ンストレートしたものとみなせる.

## 4 おわりに

本稿では，コモングラウンド形成の背後にある認知プロセスをシミュレーションする計算機モデルの 構想を示した. なお，タングラム命名課題を深層学習によってモデル化した事例は既に存在する [16]. この先行研究に対して, 本研究は, 認知アーキテク チャに基づくモジュールの仮定に基づくことに特徴

図 4 送り手と受け手の混同行列.

がある．深層学習モデルに埋め込まれたサブシンボ リックな知識構造を利用することで，タングラムの 知覚から言語ラベルの生成，言語ラベルの聴取から タングラムの同定までの処理を試作した。試作した 実行結果を検討することで，タングラム命名課題に おける送り手と受け手のミスコミュニケーションを 表現した。

本稿において示された多義性を解消する手段は複数考えられる. まず，本研究で扱った複数の深層学習モデルは異なるデータセットから構成された。こ れらの整合を図ることで，送り手と受け手の一致率 が向上する可能性がある．また，本研究の受け手モ デルが同定したタングラムは，図 4 に示されるよう に一部（6 列目）に偏っている。このようなタング ラムの同定に関する競合を対話相手とのインタラク ションのなかで解消する仕組みが必要である．こう いったノイズを含む状況でのコモングラウンドの調整は，対話理解を報酬とした強化学習によって解決 できる可能性があり [17]，対話理解の報酬を発生さ せるためには，本研究ではモデルの詳細化ができな かった部分処理などのプロセスも必要になる．全体処理的な発話から受け手が部分処理を返すことで，両者の認識の一致を確かめることができるようにな ると考える. 先述の先行研究 [16] は事前学習された モデルをタングラム課題のデータでファインチュー ニングすること，送り手のメッセージに部分処理の 表現を付与することで，同定率が向上することを示 している.

今後，上記の検討を進めることで，本稿で示した フレームワークの完成を目指す。そして，フレーム ワークに基づくモデルが完成することで，人間のコ モングラウンド形成に対する理解が成し遂げられ，同時に人とコモングラウンドを共有する人工物の構築がなされると考える [18].

## 参考文献

[1] Herbert H Clark and Deanna Wilkes-Gibbs. Referring as a collaborative process. Cognition, Vol. 22, No. 1, pp. 1-39, 1986.

[2] David R Traum. A computational theory of grounding in natural language conversation. Technical report, Rochester Univ NY Dept of Computer Science, 1994.

[3] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In NIPS'17: Proceedings of the 31st International Conference on Neural Information Processing Systems, 2017.

[4] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018.

[5] Alec Radford, Karthik Narasimhan, Tim Salimans, Ilya Sutskever, et al. Improving language understanding by generative pre-training. 2018.

[6] John E Laird. The Soar cognitive architecture. MIT press, 2019.

[7] John R Anderson. How can the human mind occur in the physical universe? Oxford University Press, 2007.

[8] 須藤早喜, 浅野恭四郎, 光田航, 東中竜一郎, 竹内勇剛. 推測的かつ暫定的な対話による共通基盤の形成過程. 電子情報通信学会和文論文誌 (D), Vol. 106, 。

[9] John E Laird, Christian Lebiere, and Paul S Rosenbloom. A standard model of the mind: Toward a common computational framework across artificial intelligence, cognitive science, neuroscience, and robotics. Al Magazine, Vol. 38, No. 4, pp. 13-26, 2017.

[10] Robert Geirhos, Patricia Rubisch, Claudio Michaelis, Matthias Bethge, Felix A Wichmann, and Wieland Brendel. Imagenet-trained cnns are biased towards texture; increasing shape bias improves accuracy and robustness. arXiv preprint arXiv:1811.12231, 2018.

[11] Haohan Wang, Songwei Ge, Zachary Lipton, and Eric P Xing. Learning robust global representations by penalizing local predictive power. In Advances in Neural Information Processing Systems, pp. 10506-10518, 2019.

[12] Pablo F Alcantarilla and T Solutions. Fast explicit diffusion for accelerated features in nonlinear scale spaces. IEEE Trans. Patt. Anal. Mach. Intell, Vol. 34, No. 7, pp. 1281-1298, 2011.

[13] Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner, Mostafa Dehghani, Matthias Minderer, Georg Heigold, Sylvain Gelly, et al. An image is worth $16 x 16$ words: Transformers for image recognition at scale. arXiv preprint arXiv:2010.11929, 2020.

[14] Ankur Kumar. The illustrated image captioning using transformers. ankur3107.github.io, 2022.

[15] Robin Rombach, Andreas Blattmann, Dominik Lorenz, Patrick Esser, and Björn Ommer. High-resolution image synthesis with latent diffusion models. In 2022 IEEE/CVF Conference on Computer Vision and
Pattern Recognition (CVPR), 2022.

[16] Anya Ji, Noriyuki Kojima, Noah Rush, Alane Suhr, Wai Keen Vong, Robert D. Hawkins, and Yoav Artzi. Abstract visual reasoning with tangram shapes. In Proceedings of the Conference on Empirical Methods in Natural Language Processing, 2022.

[17] Atsumoto Ohashi and Ryuichiro Higashinaka. Adaptive natural language generation for task-oriented dialogue via reinforcement learning. Proceedings of the 29th International Conference on Computational Linguistics, p. 242-252, 2022.

[18] Roberto Dessì, Eugene Kharitonov, and Baroni Marco. Interpretable agent communication from scratch (with a generic visual processor emerging on the side). Advances in Neural Information Processing Systems, Vol. 34, pp. 26937-26949, 2021.


# データ拡張手法を用いたスペイン語文法誤り訂正

飯島 与喜 ${ }^{1} \mathrm{Tad}$ Gonsalves ${ }^{1}$
${ }^{1}$ 上智大学 理工学研究科 理工学専攻 情報学領域
t-iijima-2n3@eagle.sophia. ac.jp t-gonsal@sophia. ac.jp

## 概要

スペイン語の文法誤り訂正では，人の手によって 訂正されたコーパスが限られ，英語と比較して使用 できるデータが少ない. データ不足の問題を解決す る方法としてデータ拡張手法がある。既存のデータ 拡張手法ではランダムにデータを生成するため，コ 一パスに収録されているスペイン語学習者から取得 したデータとは全く異なるものになる。そこで，本研究ではコーパスから誤りパターンを抽出し, デー 夕に反映させることで，コーパスに収録されている スペイン語学習者の誤りを再現するデータ拡張手法 を提案する。この手法によって訓練用のデータを生成し, 限られたデータで高性能なモデルを構築する.

## 1 はじめに

文法誤り訂正 (Grammatical Error Correction: GEC) はスペルや句読点, 文法的な誤りを検出して訂正す る自然言語処理のタスクである.このタスクでは誤 りを含む文（誤文）を GEC のモデルに入力し，その 誤文に含まれる誤りを訂正した文（正文）を出力す る. 本研究では，スペイン語の誤りを訂正する.

文法誤り訂正では, 主に誤文と正文をぺアとした 学習者のコーパスを教師データとしてモデルを学習 させる手法が用いられる．スペイン語の学習者コー パスには Lang8[1]と COWSL2H[2]があるが，これら のデータセットだけでは英語のコーパスと比較する とデータ数が少ない，そこで，本研究では文法誤り 訂正固有のデータ拡張手法である人工誤り生成手法 を用いて，より高性能なモデルを構築する. 人工誤 り生成手法は単一言語データから誤文を生成する。生成した誤文と単一言語データの正文を組にして事前学習を行う. 事前学習をした後にファインチュー ニングする手法が有効であると[3]で報告されてい る.

また，人工誤り生成手法で単一言語データに誤り
を注入する際に，ランダムに誤りを注入するよりも 学習者が犯した誤りに近いものを注入した方がより 高性能なモデルを構築できると考えられる。そこで 本研究では, 学習者コーパスから誤りパターンを抽出し，単一言語データに誤りを注入することで，ス ペイン語学習者の誤りを再現するデータ拡張手法を 提案する．学習者コーパスから抽出した誤りパター ンを単一言語データに注入して誤りを生成すること で，学習者コーパスに含まれる特定の品詞誤りや語形変化だけでなく様々な誤りを再現することができ る. 誤りを注入する際にコーパス内の分布に従って 誤りを生成することで，ランダムに誤り生成するよ りも学習者が書いたものに近い文を得ることができ る。また，誤りをコーパスから抽出する手法を用い ることで，誤りの規則を定義する手間を軽減するこ とが可能である.

第 3 章でデータ拡張手法の詳細を説明し, 第 4 章 の実験でその有効性を確認するための実験設定につ いて述べる. 第 5 章の結果では, 提案手法が既存研究[2]や[4]よりも高性能であった結果とデータ拡張手法の 1 文あたりの誤り率を変化させた場合のモデ ルの性能、誤りタグごとのモデル性能を検証した結果を示す。

## 2 関連研究

スペイン語文法誤り訂正の研究として Davidson ら[2]が行なったものがある.この研究では COWSL2H データセットを提案し, GEC モデルを学習させた結果を示している.スペイン語 GEC のベー スラインとして"Bi-directional LSTM encoder + LSTM decoder”のモデルを使用している. COWLS2H には，スペイン語の L2 学習者（第二言語としてス ペイン語を学ぶ者）が書いたエッセイとそれを人間 が訂正したものが含まれる。モデルの訓練に用いる 際には，エッセイを 1 文ごとに分割し，誤文と正文 のペアにしたものが用いられている. さらに， 1 文 ごとに分割しぺアにしたものを訓練用データ，検証
用データ,テストデータの 3 つに分割して使用する.

また, Flachs ら[4]が行なった研究もある. この研究では人工誤り生成手法を用いている. 誤りを生成 する際は[5]で提案された規則べースの生成手法を 用いて挿入, 交換, 置換, 削除の操作を行い, 誤り を生成する. 置換の操作には Aspell Dictionary と Unimorph[6], またはそれら両方を用いた場合のモデ ル性能を比較している。スペイン語においては， Aspell Dictionary のみを使用した場合が最も高精度 であった. さらに, ノイズの多いデータを活用方法 についても言及している. WikiEdit[7], Lang8[1]の 2 つのデータセットを用いた場合で検証し, 事前学習 の後これらのデータをファインチューニングしたモ デルが最も性能が良いという結果が示されている.

WikiEdit は 4,871,833 文, Lang8 は 1,214,781 文が使用されている.

## 3 手法

本研究では提案するデータ拡張手法は, コーパス の誤りの抽出とデータへの誤りの注入の 2 段階に分 かれている.

誤りの抽出には, 正文と誤文から訂正箇所と誤り タイプを取得できる ERRANT[8]というツールを用 いる. ERRANT は英語用に作られたツールであるが， [2]で述べられている通りスペイン語でも問題なく 使用できる. しかし, より正確に使用できるように するために以下の項目について訂正を行った.
- ADJ:FORM を ADJ:INFL に変更
- Determiner-noun agreement に対応する DET:INFL の追加
- NOUN:POS $の$ 削除

ERRANT で誤文の誤り部分 (単語または文の一部の 複数語) に 3 つの誤りタグ $\operatorname{Missing}(\mathrm{M})$, Unnecessary(U), Replacement(R)を付与し, 訂正箇所 とともに誤りパターンとして抽出する. この誤りパ ターンから MUR それぞれの操作対象となる単語 （または文の一部の複数語）をその出現確率ととも にノイズスキームへ格納した．各コーパスの MUR の割合は表 1 の通りである。

誤りの注入では, 抽出操作で獲得した誤りタグ MUR と注入操作 Delete, Add, Replace を対応させ たノイズスキームを用いる. Delete と Replace の操作は操作対象の文中の単語の中でノイズスキームに 格納された単語に対して行われる. Add の操作では ノイズスキームに格納された単語を確率に基づいて選出し, 任意の位置に挿入する.

表 1 各コーパスの MUR の割合

誤りの生成を行う際に 1 文あたりの誤り率と 1 文 あたりの拡張数を設定できる. 1 文あたりの操作回数は 1 文あたりの誤り率と文の長さの積で決定する.

図 1 誤りタグと操作の対応

誤りパターンの抽出と誤りの注入操作は図 1 の通り に行われる。

図 2 データ拡張手法の概略図

ERRANT を用いて抽出した誤りパターンから構築 したノイズスキームを用いて訓練用の誤文と正文の ペアを作成する過程を図 2 に示す.

## 4 実験

## 4. 1 実験内容

まず, 既存研究 [4]で使用されている Aspell Dictionary を用いた手法と既存研究[2]の結果を比較 した. 次に, 1 文あたりの誤り率を変化させた場合 にモデルの性能にどのような影響があるかを検証し，誤りタグごとのモデルの性能についても検証した.

## 4. 2 データセット

事前学習には WMT News Crawl から抽出した $10,000,000$ の正文を用いた. 抽出したデータを拡張 して誤文を生成し，誤文と正文を組にして訓練用デ 一タとし，事前学習を行った。

ファインチューニングには GEC タスク用の誤文 と正文が収録されている Lang8，COWSL2H を用い た. Lang8 にはスペイン語以外の言語が含まれるた め, スペイン語のみを抽出し, Training と Validation に分割した. 本研究では Lang8 で使用可能な部分を 用い，データ数はそれぞれ $189,190 ， 10,611$ とした. COWSL2H は訓練用データ，検証用データ，テスト データに分割した。それぞれデータ数は 10,071 , $1,000,1,000$ とした.

また，それぞれのデータについてデータクリーニ ングを行った。数字とスペイン語に使用される文字 と記号以外の文字を削除し半角に変換した，単語と 記号間を半角スペースで統一した。 さらに，URLな どの文字列を削除し, 連続記号をその記号 1 文字に 変換した。

## 4. 3 データ拡張の設定

各操作の割合は GEC コーパスの Lang8 と COWSL2H から抽出したノイズスキームの各誤りタ グの割合に従う. 1 文あたりの誤り率は[4]との比較 を行うため 0.15 に設定した. 誤りを生成する際の候補の単語はコーパス中で 3 回以上誤っているものを 使用した。

## 4.4 モデル

本研究では GEC を行う Encoder-Decoder モデルと して Transformer を用いた。具体的な設定として Vaswami ら[9]が定義した Transformer bigを使用した.実装は fairseq 0.12.2 で行った. また, 事前学習, フ アインチューニングで設定したハイパーパラメータ
は表 2 と表 3 の通りである. ファインチューニング 時には Early stopping を用いて検証損失が最も小さ いモデルをテストに用いた.

表 2 事前学習時のハイパーパラメータ

表 3 ファインチューニング時の

## 4. 5 評価方法

本研究では, Precision, Recall, F0.5を評価手法と して用いる. 既存研究[4] と [2]の結果と比較を行うた めに F0.5 を MaxMatch(M2) scorer[10]と ERRANT[8] の 2 通りの方法で算出した。

## 5 結果

## 5.1 既存研究との比較

既存研究[4](Aspell_10m)の結果と本研究の提案手法(Errant $10 \mathrm{~m})$ を用いた結果, 既存研究と提案手法を 合わせて用いた結果 $(\mathrm{A}+\mathrm{E}-10 \mathrm{~m})$ について比較を行っ た結果を表 4 に示す. 全てのモデルを COWSL2H で ファインチューニングした. + (L)は Lang8 を追加で ファインチューニングしたことを表す.

また, 既存研究[2](Bi-LSTM+LSTM) との比較を行 なった結果を表 5 に示す.ここでは，F0.5を ERRANT で算出した.

## 表 4 既存研究 [4]との比較

表 5 既存研究[2]との比較

表 4 と表 5 の結果からいずれの既存研究よりも本研究の提案手法を用いた場合の方が Precision, Recall, F0.5 の值が高い. 既存研究[4]ではファインチューニ ング時に本研究の提案手法よりも多くのデータを用 いているが，提案手法はより少ないデータでより高 い性能を実現している. 本研究ではファインチュー ニングに用いるデータと同質の誤りを事前学習用デ 一夕に注入することでより良い結果を得ることがで きた.

## 5.21 文あたりの誤り率とモデル性能

提案手法で 1 文あたりの誤り率を変化させた結果 を表 6 に示す.モデルは Errant_10m+(L)を使用した.

表 61 文あたりの誤り率とモデル性能

誤り率を大きくするほど Precision が低くなり， Recall が高くなった. F0.5は 0.15 の場合に最大にな った.このことから 1 文あたりに注入する誤り数を 増やすと誤りの検出精度は上がるが，検出した誤り を正しく訂正できなくなると考えられる．特に誤り率 0.2 の場合の Precision が比較的大きく低下してい ることから, 誤り率から算出される注入する誤り数 が多くなりすぎることによって精度に悪影響を及ぼ すと考えられる。また、F0.5 が最大となった誤り率 0.15 が提案手法において最適な值であった.

## 5.3 誤りタグごとのモデル性能

誤りタグごとのモデル性能を表 7 に示す. モデル は Errant_10m+(L)を使用した。

Recall に着目すると誤りの注入回数が多いほど誤 りをより多く検出できると考えられる。 また, 誤り の注入回数は $\mathrm{U}$ よ $\mathrm{M}$ の方が多いのにも関わらず， F0.5 の値は M の方が低くなっている。これは Precision の值がUに比べ低いことが原因であるため,検出した誤りを正しく訂正できるよう，Mに対する 操作 Delete を改善する必要がある。また, U に対す る操作 Addについても誤りをより検出できるよう改善することでよりモデルの性能を向上させることが できると考えられる。

## 6 おわりに

本研究では，スペイン語の文法誤り訂正において 学習者の誤りを再現するデータ拡張手法を提案し,事前学習用データを拡張して学習を行うことで既存研究よりも高い性能を実現した。スペイン語のよう なデータが少ない言語の文法誤り訂正においてデー 夕拡張手法の有用性を示すことができた。

本研究ではコーパスの誤りを抽出, 注入すること でモデルの性能を向上させたが，今後はどのような 誤りが性能に寄与するか, スペイン語特有の誤りが モデルの性能にどのように影響するかについて詳し い分析や検証が必要である. より詳細な分析を行う ために本研究で使用しなかったスペイン語 ERRANT の誤りカテゴリ(ADJ, NOUN など)の認識性能を改良する必要がある. モデル性能の向上とと もに今後取り組みたい。

## 参考文献

[1] Tomoya Mizumoto, Mamoru Komachi, Masaaki Nagata and Yuji Matsumoto. Mining Revision Log of Language Learning SNS for Automated Japanese Error Correction of Second Language Learners. In Proceedings of the 5th International Joint Conference on Natural Language Processing(IJCNLP), pp.147-155. Chiang Mai, Thailand, November 2011.

[2] Sam Davidson, Aaron Yamada, Paloma Fernández Mira, Agustina Carando, Claudia H. Sánchez Gutiérrez, and Kenji Sagae. Developing NLP Tools with a New Corpus of Learner Spanish. In Proceedings of the Twelfth Language Resources and Evaluation Conference, pages 7238-7243, Marseille, France. European Language Resources Association. 2020.

[3] Jared Litchtarge, Chris Alberti, Shankar Kumar, Noam Shazeer, Niki Parmar, and Simon Tong. Corpora generation for grammatical error correction. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 3291-3301, 2019.

[4] Simon Flachs, Felix Stahlberg, and Shankar Kumar. Data Strategies for Low-Resource Grammatical Error Correction. In Proceedings of the 16th Workshop on Innovative Use of NLP for Building Education Applications, pages 117-122, Online. Association for Computational Linguistics. 2021.

[5] Jakub Náplava and Milan Straka. Grammatical Error Correction in Low-Resource Scenarios. In Proceedings of the 5th Workshop on Noisy User-generated Text (W-NUT 2019), pages 346-356, HongKong, China. Association for Computational Linguistics. 2019.

[6] Christo Kirov, Ryan Cotterell, John Sylak-Glassman, Géraldine Walter, Ekaterina Vylomova, Patrick Xia, Mannal Faruqui, Sebastian Mielke, Arya McCarthy, Sandra Kübler, Davaid Yarowsky, Jason Eisner, and Mans Hulden. UniMorph 2.0: Universal morphology. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), Miyazaki,
Japan. European Language Resources Association (ELRA). 2018.

[7] Adriane Boyd. Using Wikipedia edits in low resource grammatical error correction. In Proceedings of the 2018 EMNLP Workshop W-NUT: The 4th Workshop on Noisy User-generated Text, pages 79-84, Brussels, Belgium. Association for Computational Linguistics. 2018.

[8] Christopher Bryant, Mariano Felice, and Ted Briscoe. Automatic Annotation and Evaluation of Error Types for Grammatical Error Correction. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume1: Long Papers), pages 793-805, Vancouver, Canada. Association for Computational Linguistics. 2017.

[9] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is All you Need. In I. Guyon, U. V. Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, NeurIPS, pages 5998-6008. Curran Associates, Inc. 2017.

[10] Daniel Dahlmeier and Hwee Tou Ng. Better Evaluation for Grammatical Error Correction. In Proceedings of the 2012 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pages 568-572, Montréal, Canada. Association for Computational Linguistics. 2012.


# 組合せ範疇文法による ドイツ語文の原因・結果関係の意味表示

高橋直人 一杉裕志 竹内泉
産業技術総合研究所人工知能研究センター
\{naoto.takahashi,y-ichisugi, takeuti.i\}@aist.go.jp

## 概要

自然言語において，原因を表す文と結果を表す文 の関係は，様々な統語構造で表現可能である. その ような異なる表現の間では, 異なった統語構造が意味上の細かな差を生じる事はあっても，一方の文が 原因を表し，もう一方の文が結果を表すという基本的な原因・結果関係は共通している. 本稿では, ド イツ語で書かれた原因・結果文を組合せ範疇文法に 基づいて解析する際に, 統語構造が異なっていても 同一の意味表示が合成できるような語彙項目の設定 を提案する。またその際, 正書法上必要とされるコ ンマを積極的に利用して文関係の明示化を試みる.

## 1 はじめに

人間の知性を他の生物の知性から区別する最大 の特徴は, 階層構造を持った言語の使用であると言 える。

文は語の連続から構成されるが，語の並び方には 必然性があり, 語順が変われば一般に意味も変わ る.また，たとえ表層の語順が同一であっても，内部の統語構造が異なれば文の意味も異なる場合があ る. 反対に, 統語構造の異なる複数の文が (ニュア ンスの違いこそあるにせよ）同一の意味を表す場合 もある.したがって, 自然言語を人間同様に解釈す る人工知能を構築するためには, 文を単なる語の集合（あるいは語の系列）とみなして統計的に処理す るだけでは不十分であり, 統語構造に基づいて, 論理的に意味を合成する必要がある.

本稿では, 統語構造に基づいた論理的な意味合成 の具体例として, ドイツ語文における原因・結果関係と, 組合せ範疇文法に基づいてそれを解析するた めの語彙項目設定に関して考察する.

## 2 組合せ範疇文法

組合せ範疇文法 $[1,2,3,4]$ は語彙化文法の一種で あり, 古典的範疇文法に関数合成規則を取り入れた ものである．組合せ範疇文法の弱生成能力は, 文脈自由文法と文脈依存文法の中間に位置する事が知ら れており，それゆえ自然言語の文法記述に適してい ると考えられる。

## 2.1 統語範疇

通常の句構造文法では, 個々の文法範疇に対して 固有の非終端記号を割り当てる.たとえば文には $S$ (sentence), 名詞句には $N P$ (noun phrase), 動詞句 には $V P$ （verb phrase）等の記号を割り当てる事が多 い.これに対し組合せ範疇文法では，ごく少数の基底範疇と，それらを結ぶ演算子を再帰的に用いて多種多様な統語範疇を表現する。

たとえば英語の動詞句は,

自分自身の左側に主語となる名詞句が隣接した

場合, 全体として文となるような統語範疇

と定義できる. したがって動詞句は, $V P$ という固有の記号を使わなくとも， $S$ (文) と $N P$ (名詞句) の 組み合わせで $S \backslash N P$ と表現できる.ここで $X \backslash Y$ は,「左側の $Y$ と組み合わされたときに $X$ となる統語範疇」を意味する。

また英語の他動詞は，

自分自身の右側に目的語となる名詞句が隣接し

た場合，全体として動詞句 $(S \backslash N P$; 上記参照) となるような統語範疇

と定義できる。したがって「他動詞」は $(S \backslash N P) / N P$ と表現できる。ここで $X / Y$ は, 「右側の $Y$ と組み合 わされたときに $X$ となる統語範疇」を意味する.
順関数適用規則

逆関数適用規則

逆関数交差合成規則 $\quad \frac{Y / Z: g \quad X \backslash Y: f}{X / Z: \lambda x . f(g x)}<\mathrm{Bx}$

図 1 本稿で用いる組合せ規則一覧

## 2.2 組合せ規則

組合せ範疇文法における「組合せ規則」は，統語範疇と意味表示の両者を同時並列的に合成する物と して定義される。このため統語構造と意味表示の間 には明確な対応関係が存在する。

組合せ範疇文法で用いられる組合せ規則の数は,通常の句構造文法などにおける文法規則に比べると はるかに少ない。また, 組合せ範疇文法における組合せ規則は，記述対象となる言語には依存せず，原理的にはすべての言語間において共通だとされてい る1). 言語間に存在する文法上および意味上の差異 は, 基本的に語彙項目の設定で吸収する事になって いる.

組合せ範疇文法で一般に使用される組合せ規則の うち，本稿に登場する規則の一覧を図 1 に示す. コ ロンの左側が統語範疇で，コロンの右側がラムダ項 による意味表示である。

## 2.3 語彙項目設定の重要性

本稿の目標は,

統語的には様々に異なった構造を持っている が，人間が読んだ場合には同一の意味を持つと 理解されるような複数の文に対して，最終的に 同一の意味表示を合成する事

である，組合せ範疇文法は，統語構造と意味表示の 間に明確な対応関係を持つので, この目標の達成度 を評価するにふさわしいと言える.

文全体の最終的な意味表示は,
- 合成対象となる下位の構成素それぞれの意味表示

・それら下位の構成素それぞれの統語範疇

-下位の構成素間に対して適用される組合せ規則 という 3 者から機械的に合成されるわけであるが，
これらのうち 3 番目の組合せ規則は汎言語的に共通 であるので，望ましい合成結果，すなわち文全体の 望ましい意味表示，を得るためには，合成の材料と なる各語彙項目の意味表示と統語範疇を慎重に設定 する必要がある.

## 3 ドイツ語の文法的特徵

## 3.1 原因・結果表現

本稿で解析対象とする 6 種類の原因・結果表現 を, 図 2 に示す. 他の自然言語と同様, ドイツ語に おいても「Aの結果として Bである」あるいは「B の原因は $\mathrm{A}$ である」のような 2 文の関係は様々な統語構造で表現されうる. いずれの文も基本的な意味 は同一であるが，それぞれの統語構造を細かく見 ると，
- 原因を示す文は，結果を示す文に先行するか, それとも後続するか

・原因を示す文に標識が付くか，結果を示す文に 標識が付くか

・原因あるいは結果を示す標識は，どのような品詞で表現されるか

などの点でバリエーションがある事が分かる.

## 3.2 接続詞 weil

従属接続詞 weil は原因を示し, 従属複合文中で副文の文頭に立つ.このとき副文内の定動詞は文末に 置かれる。また weilによって導入される副文が主文に先行する場合は，副文全体が一つの文肢 [5] を 形成するので，後続する主文は定動詞が文頭となる (図2 文 1,2 ).

## 3.3 接続詞 denn

並列接続詞 denn は原因を示し, 並列複合文中に おける後続文を導く.この後続文は平叙文なので，定動詞は平叙文内で第 2 位に位置する（図 2 文 3 ）.

## 3.4 副詞 nämlich

接続的副詞 nämlich は原因を示し, 並列複合文中 で用いられる。通常であれば，文全体を修飾する副詞は文頭に立つ事も可能であるが，この用法として の nämlich が文頭に立つ事はない（図2 文4).

1. 従属複合文（結果文が先行）

Ich trinke Bier, weil ich Durst habe.

I drink beer because I thirst have

2. 従属複合文（原因文が先行）

Weil ich Durst habe, trinke ich Bier.

because I thirst have drink I beer

3. 並列複合文（原因文の文頭に並列接続詞）

Ich trinke Bier, denn ich habe Durst.

I drink beer because I have thirst

4. 並列複合文（原因文の文中に接続的副詞）

Ich trinke Bier, ich habe nämlich Durst.

I drink beer I have because thirst

5. 並列複合文（結果文の文頭に接続的副詞）

Ich habe Durst, deshalb trinke ich Bier.

I have thirst therefore drink I beer

6. 並列複合文（結果文の文中に接続的副詞）

Ich habe Durst, ich trinke deshalb Bier.

I have thirst I drink therefore beer

図 2 「喉が渴いたのでビールを飲む」のドイツ語訳 6 種

## 3.5 副詞 deshalb

接続的副詞 deshalb は並列複合文中で用いられる が，上記の他の標識と異なり，原因ではなく結果を 示す文に付く. また nämlich と違って, 文頭に立つ 事もできる（図2文 $5 ， 6$ ）。

## 4 ドイツ語用組合せ範疇文法

## 4.1 基底範疇と統語素性

本稿で使用するドイツ語用基底範疇は名詞句 $(N P)$ と文 $(S)$ の 2 種類のみであるが，Hockenmaier [6] に準じた統語素性を用いてそれぞれの下位分類 を設定している。

## 4.1.1 名詞句の統語素性

ドイツ語の平叙文においては，英語同様の「主格名詞句一定動詞一対格名詞句」という語順に加え て，「対格名詞句一定動詞一主格名詞句」や「副詞一定動詞一主格名詞句一対格名詞句」などの語順も可能である. このため, 名詞句が文中において果たす 主格や対格といった統語的役割を，語順とは独立し た形式で示す必要がある.

一般にドイツ語文中における名詞句の格は，冠詞 や形容詞語尾などによって表現される事が多い.し かし本稿の範囲内では，主格名詞句としては人称代名詞の ich が，対格名詞句としては無冠詞・無変化の名詞 Durst と Bier が登場するのみである。その ため，名詞句（NP）に関する統語素性としては， $n$ （nominative，主格）と $a$ (accusative, 対格）の 2 種類 のみを使用する2).

## 4.1.2 文の統語素性

Hockenmaier[6] では,「ドイツ語平叙文の基底語順 は定動詞文頭であり，前域に位置する主語は主題化 （topicalization）によるものである」と解釈されてい る。またこれによって，主格名詞句，対格名詞句，与格名詞句それぞれの統語範疇を同一に保ったまま で，前域要素の入れ替えが可能である事が示されて いる.

これは興味深い解釈であり, 形式主語の es が前域以外では省略可能である理由なども，ここから説明 できると思われる.

よって本稿でも [6] 同様, 文 $(S)$ の統語素性とし $\tau, d c l$ (declarative, 定動詞第 2 位), $v l$ (verb initial,定動詞文頭)，vlast（verb final，定動詞文末）, emb （embedded，副文）の 4 種類を使用する。

## 4.2 語彙項目としてのコンマ

現代ドイツ語の正書法には，複合文内の各文をコ ンマで区切るという規則がある。本稿ではこの規則 を利用して，複合文内の 2 文を結合するコンマに統語範疇と意味表示を割り当て，原因・結果関係を見通しよく表現する方策を取った。

なお，原因・結果を示す標識語の統語範疇を工夫 すれば，コンマを利用しなくても原因・結果関係が 表現可能である事は確認済みであるが，これについ ての詳細は他の機会に譲る。

## 4.3 標識の位置と意味表示

組合せ範疇文法においては，生成文法で言うとこ ろの空範疇は想定されない $[1,7]$. また組合せ規則 が適用されるのは，実際に音韻表示を持った上で， かつ表層上で直接隣接する統語範疇間のみである。

そのため図 2 中の文 $1 ， 2 ， 3 ， 5$ のように，原因・結果を示す標識（weil, denn, deshalb など）が文頭に出現する場合には，当該文の意味役割（原因 あるいは結果）を容易に標示する事ができる3)が，図 2 中の文 4 における nämlich，および文 6 におけ る deshalb のように，原因・結果を示す標識が文の

2）文法的には，名詞句の格として他に属格および与格が存在 するが，本稿には登場しない。

3）原因・結果を示す標識が文頭ではなく文末に出現する場合 （日本語の「〜だから」など）も，その標識を含む文の意味役割は容易に標示できる。
表 1 語彙項目一覧

} & \begin{aligned}$(S[d c l] \backslash N P[n]) / N P[a] & : \lambda y . \lambda x \cdot h a v e^{\prime}(x, y) \\
& : \lambda y . \lambda x \cdot \operatorname{drink}^{\prime}(x, y)\end{aligned}$ \\

& : \lambda y . \lambda x \cdot \operatorname{drink}^{\prime}(x, y)\end{aligned}$ \\

中央部分に埋め込まれている場合は，その標識を含 む文の意味役割の標示がやや難しくなる. 本稿で は, Steedman[1] および戸次 [3] における英語助動詞 might の意味表示を参考に, 逆関数交差合成規則を 用いてこの問題を解決した.

## 4.4 語彙項目の設定と意味表示の導出

以上を踏まえ，本稿では表 1 に示す語彙項目設定 を提案する. 複数の統語範疇が与えられている語彙項目に対しては, 状況に応じて適切な統語範疇とそ れに対応した意味表示を選択する事とする. その結果, 図 3～図 5 に示したように，全 6 文から

$
\text { because'(have'(I',thirst'),drink'(I',beer')) }
$

という共通の意味表示を得る事ができるようにな る。（スペースの都合上， 6 文のうち 3 文の導出の みを掲載している.)

## 5 関連研究

Vancoppenolle[8] らは, 株式市場領域の文生成を 目的としたドイツ語文法を発表した。この文法は，組合せ範疇文法の拡張である「マルチモーダル組合 せ範疇文法」を用いて記述されており, OpenCCG ${ }^{4)}$ の下で実装されている. OpenCCG は組合せ範疇文法の解析・生成システムであり, 様相論理を拡張し た Hybrid Logic Dependency Semantics [9] を意味表示 として採用している. 彼らはドイツ語を部分的に語順自由な言語ととらえ, 型変換規則を用いる事でか き混ぜ文や主題化の扱いを工夫している.

4) https://github.com/OpenCCG/openccg
Hockenmaier[6] は, 既存のドイツ語ツリーバンク である Tiger corpus ${ }^{5)}$ を，組合せ範疇文法版のツリー バンクに変換する手順を論じている．またその説明 の過程で，ドイツ語用組合せ範疇文法に関する興味深い提案を行っている.ただし，統語範疇に関する 記述のみで，意味表示に関しては述べられていな い.かき混ぜ文に関しては，各語順に合わせてそ れぞれに専用の統語範疇を用意する立場を取って いる.

Evang ら [10] は，多言語対応組合せ範疇文法のア ノテーションガイドラインと，アノテーション実施 のためのツールを公開している. 対象とされている 言語は, 英語, ドイツ語, イタリア語, オランダ語 の 4 言語である.また参考のために， $4 \times 100$ 文のパ ラレルコーパスと, $10 \mathrm{~K}$ 文の検証済み単言語コーパ ス，および $82 \mathrm{~K}$ 文の部分的検証済み単言語コーパス が提供されている．意味表示に関しては述べられて いない.

## 6 おわりに

適切な統語範疇と意味表示を持った語彙項目を設定する事で， 6 通りの異なった統語構造を持ったド イツ語の原因・結果文すべてから同一の意味表示を 合成する事が可能となった。人間がこの 6 文を読ん だ場合も，脳内にはほぼ同一の原因・結果関係が生成されると考えられる。

人間による文理解において興味深いのは，文全体 を読み終えてから最適解の探索を開始するのではな く，文頭から順に語を読み進めるに沿って漸進的に 解釈を行っていると感じられる点である.

一般の句構造文法では, 主語一動詞一目的語とい う語順の構造を（主語（動詞目的語））のように 解析するので, 文頭からの漸進的な解釈のモデル化 が難しいが，組合せ範疇文法では型繰り上げ規則と 関数合成規則を利用する事で，（（主語 動詞）目的語）という解析が可能である6). その意味で組合せ 範疇文法は漸進的解釈のモデル化に向いている.

また, 日本語やドイツ語のように（動詞以外の）語順が比較的自由な言語においては, 異なる入力語順から同一の意味的表現が合成される場合がある. これも広い意味では，異なる統語構造から同一の意味表示を求める問題と言える．今後はこれらの点に 注目して研究を進めていきたい.

## 謝辞

本研究は JSPS 科研費 JP22K12188 の助成を受けた ものです.

## 参考文献

[1] Mark Steedman. The Syntactic Process. The MIT Press, 2000.

[2] Mark Steedman. Surface Structure and Interpretation. The MIT Press, 1996

[3] 戸次大介. 日本語文法の形式理論. くろしお出版, 2010.

[4] 峯島宏次. 論理と文法. 数学セミナー, Vol. 59, No. 3, pp. $30-35,2020$

[5] 在間進. [改訂版］詳解ドイツ語文法. 大修館書店, 2006.

[6] Julia Hockenmaier. Creating a CCGbank and a widecoverage CCG lexicon for German. In Proceedings of the 21st International Conference on Computational Linguistics and 44th Annual Meeting of the Association for Computational Linguistics, pp. 505-512, Sydney, Australia, July 2006. Association for Computational Linguistics.

[7] M. Steedman. Grammar, interpretation, and processing from the lexicon. In W. Marslen-Wilson, editor, Lexical representation and process, pp. 463-504. The MIT Press, Cambridge, MA, 1989.

[8] Jean Vancoppenolle, Eric Tabbert, Gerlof Bouma, and Manfred Stede. A german grammar for generation in openccg. In H. Hedeland, T. Schmidt, K. Wörner (eds.): Multilingual Resources and Multilingual Applications. Proc. of the Conference of the German Society for Computational Linguistics and Language Technology (GSCL), Hamburg, 2011. Working Papers in Multilingualism, Series B, No. 96, pp. 145-150, 2011.

[9] Jason Baldridge and Geert-Jan Kruijff. Coupling CCG and hybrid logic dependency semantics. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 319-326, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[10] Kilian Evang, Lasha Abzianidze, and Johan Bos. CCGweb: a new annotation tool and a first quadrilingual $C C G$ treebank. In Proceedings of the 13th Linguistic Annotation Workshop, pp. 37-42, Florence, Italy, August 2019. Association for Computational Linguistics.

[11] Vera Demberg. Incremental derivations in CCG. In Proceedings of the 11th International Workshop on Tree Adjoining Grammars and Related Formalisms (TAG+11), pp. 198-206, Paris, France, September 2012.

図 3 “Weil ich Durst habe, trinke ich Bier." の導出

図 4 "Ich trinke Bier, ich habe nämlich Durst." の導出

図 5 "Ich habe Durst, deshalb trinke ich Bier." の導出


# 組合せ範疇文法を用いたドイツ語文の漸進的解析

高橋直人 竹内泉 一杉裕志
産業技術総合研究所人工知能研究センター
\{naoto.takahashi, takeuti.i,y-ichisugi\}@aist.go.jp

## 概要

文法的には異なる統語構造を持っているにもかか わらず，人間にとっては同じ意味と理解される複数 の文があった場合に，それぞれの文を「漸進的に」解析し, かつ同一の意味表示を得る事が可能か否か を検討する．解析対象としては，接続語のタイプに よって語順がさまざまに変化するドイツ語文を用い る.また文法形式としては, 漸進的解析に適してい るとされる組合せ範疇文法を用いる.

## 1 はじめに

人間が自然言語を理解する際は，文の終了を待た ず，文頭から漸進的に解析を行っていると考えられ る. またその推測を支持する心理学的実験結果も存在する $[1,2]$. 更に工学的な応用として同時通訳や 字幕生成などの自動化を考慮した場合, 漸進的な解析技術は不可欠であると言える。

一概に文頭からの漸進的解析と言っても, そこに はさまざまなレベルがありうる．比較的制限の緩い 方法としては, 語順に従って 1 語ずつ読み進めなが ら作成した複数の部分木を, それぞれ個別の記憶領域に一時的に保存し, 他の部分木との接続関係が明確になった時点で初めて互いに連結する, という戦略が考えられる. 一方, 厳密な漸進的解析として は, 文頭から順に 1 語読み進むたびに, その語を現在作成中の部分木の一部として即座に埋め込む, と いう方式がある.

本稿では，人間の文理解モデルに関して考察す る. 具体的には, 統語構造的にはさまざまな形を取 るが，意味内容的には同一の複数のドイツ語文を，組合せ範疇文法を用いて「厳密な形で」漸進的に解析する際に, どのような語彙項目と導出過程が必要 となるか考察する1).

図 1 本稿で使用する組合せ規則一覧

## 2 組合せ範疇文法

組合せ範疇文法 $[3,4,5,6]$ は語彙化文法の一種で あり，「マイルドな文脈依存」と言われる弱生成能力を持つ. そのため, 文脈自由文法の範囲に収まら ない自然言語現象を記述する事ができる. また理論的にも実際的にも効率のよい解析アルゴリズムが知 られている $[7,8]$ ため, 自然言語の文法記述に適し ているとされている.

更に, 統語構造から意味表示への直接的なマッピ ングがあるので，複数の文を統語解析した後，それ らの意味表示を比較するのに都合が良い.

組合せ範疇文法では， $S$ （文）や $N P$ (名詞句）の ような少数の基底範疇と, それらを結ぶ演算子を再帰的に用いる事で，多様な統語範疇を表現する．演算子には/と\がある. $X$ と $Y$ を統語範疇としたと き，X/Yは「右側に $Y$ が隣接したときに $X$ となる統語範疇」, $X \backslash Y$ は「左側に $Y$ が隣接したときに $X$ と なる統語範疇」を意味する.

このように作られる統語範疇の構造は非常に柔軟 であり，未完成の統語的構成素を自然に表現するこ とができる．それゆえに組合せ範疇文法は，他の文法形式に比べて漸進的な構文解析に向いているとさ

図 2 "Ich trinke Bier" の通常の（非漸進的）導出. $S$ はすべて $S[d c l]$ すなわち平叙文.

## れている $[1,2,3,9]$.

たとえば“The boy will eat the cake”という文があっ た時, 厳密な漸進的解析を行うためには “The boy will eat the”に対応する部分にも統語範疇を割り当て る必要がある，一般の文脈自由文法でそのような統語範疇を設定するのは困難であるが，組合せ範疇文法であれば $S / N$, つまり「右に $N$ (名詞) が隣接し た場合に $S$ （文）となる範疇」と自然に表現するこ とができる [1].

語彙項目に付与された統語範疇は, 少数かつ言語非依存の組合せ規則によって互いに組み合わされる が，このとき意味表示も同時並列的に合成される. この操作が再帰的に実行される事によって, 語彙項目レベルの意味表示が文レベルの意味表示へと順次成長する.

本稿で使用する組合せ規則の一覧を図 1 に示す. コロンの左側が統語範疇で, 右側がラムダ項による 意味表示である.

図 2 にドイツ語文 “Ich trinke Bier”（英訳 “I drink beer”) の通常の非漸進的導出を, 図 3 に同じ文の漸進的導出を示す. 多くの場合は図 3 のように, 型繰 り上げ規則と関数合成規則を組み合わせる事で漸進的な導出が可能になるが, 標準的な組合せ規則だけ では漸進的に導出できないパターンも存在する [1].

## 3 漸進的ドイツ語解析

図 3 “Ich trinke Bier” の漸進的導出. $S$ はすべて $S[d c l]$.
1. 従属複合文（原因文の文頭に従属接続詞） Ich trinke Bier, weil ich Durst habe. I drink beer because I thirst have 2. 従属複合文 (1 の変形; 原因文が先行) Weil ich Durst habe, trinke ich Bier. because I thirst have drink I beer 3. 並列複合文（原因文の文頭に並列接続詞） Ich trinke Bier, denn ich habe Durst. I drink beer because I have thirst 4. 並列複合文（原因文の文中に接続的副詞） Ich trinke Bier, ich habe nämlich Durst. I drink beer I have because thirst 5. 並列複合文（結果文の文頭に接続的副詞） Ich habe Durst, deshalb trinke ich Bier. I have thirst therefore drink I beer 6. 並列複合文（結果文の文中に接続的副詞） Ich habe Durst, ich trinke deshalb Bier. I have thirst I drink therefore beer

図 4 「喉が渴いたのでビールを飲む」のドイツ語訳 6 種

## 3.1 原因・結果関係の統語的パターン

他の自然言語同様, ドイツ語の原因・結果関係は,図 4 に示すようにさまざまな統語構造で表現され る. たとえば文 $1 ， 3 ， 4$ を比較すると，先行文が 全く同一であっても，接続関係を示す語（weil, denn, nämlich）の違いによって，後続文の語順が変化する 事が分かる。したがって，接続関係を示すこれらの 語には，それぞれ異なった統語範疇を付与する必要 がある.

このような統語構造とその意味表示の複雑な関係 を漸進的に解決する場合に，どのような語彙項目と 導出過程が考えられるかを以下に示す.

## 3.2 語彙項目と導出過程

本稿では, 基底範疇 $N P$ （名詞句）の統語素性 に関して $n$ （主格）と $a$ （対格）の 2 種類を区別す る.また基底範疇 $S$ (文) の統語素性に関しては, Hockenmaier[10] を踏襲し, $d c l$ (declarative, 定動詞第 2 位),v1（verb initial，定動詞文頭），vlast（verb final, 定動詞文末), $e m b$ (embedded, 副文) の 4 種類を使用する、ドイツ語動詞の統語範疇は，英語動詞同様に基底型ではなく関数型とするが，文頭の定動詞と文頭以外の定動詞で意味表示が異なる点に注意が必要である.

また, weil, denn, nämlich, deshalb 等の接続詞およ び接続的副詞に関する語彙項目は，一般的な英語の 接続詞や副詞と異なる部分が多い。これは原因・結果関係を示すドイツ語固有の統語構造と, 本稿の目

$S[$ dcl $]$ : because ${ }^{\prime}\left(\right.$ have $^{\prime}\left(I^{\prime}\right.$, thirst $\left.^{\prime}\right)$, drink $^{\prime}\left(I^{\prime}\right.$, beer $\left.\left.{ }^{\prime}\right)\right)$

図 5 “Ich trinke Bier, weil ich Durst habe.” の漸進的導出

図 6 "Ich trinke Bier, denn ich habe Durst." の漸進的導出. $S$ はすべて $S[d c l]$.

図 7 "Ich trinke Bier, ich habe nämlich Durst.” の漸進的導出. $S$ はすべて $S[d c l]$.
的である厳密な漸進的解析を実現するためである.以上を踏まえ，厳密な漸進的解析が可能になるよ うに設定した語彙項目と, そのときの各文の導出過程（の一例）を図 5 から図 10 に示す. 最終的にど の文からも同一の意味表示が得られている事が分 かる.

## 4 関連研究

Stanojević and Steedman [2] は, 漸進的木回転（Incremental Tree Rotation）と名付けた組合せ範疇文法 の解析アルゴリズムを提案している。このアルゴリ ズムは，右枝分かれの木を左枝分かれに変換すると 共に, 右端に出現する可能性を秘めた俒在的な修飾語句に対応した漸進的な処理が可能である．漸進的木回転は純粋に文法的な手法であるが，意味表示 やヒューリスティックスを利用する先行研究に比 べて, より高い漸進性と精度を示すと報告されて いる.

Demberg [1] は組合せ範疇文法における厳密な漸進性 (strict incrementality あるいは full connectedness) について議論し, どのような場合に厳密な漸進的解析が可能で，どのような場合に不可能であるかを分析している。また一般の組合せ範疇文法には陽に含 まれない「Geach 規則」を導入し, 厳密な漸近的解析が適用できる範囲を拡大する方法を示している.

$
\text { Geach 規則 }: Y / Z \Rightarrow{ }_{\mathrm{B}}(Y / G) /(Z / G)
$

語彙項目としては通常の非漸進的解析に用いられる 物をそのまま変更せずに採用しつつ，組合せ規則を 追加することで漸近的に解析可能な範囲を拡張して いる点が本稿との違いである.

ブログ記事 $[11,12]$ は，上記 Demberg [1] を踏まえ た上で一般化型繰上げ規則と一般化 Geach 規則を提案し，更に以下のような予想を与えている.

application/composition/type raising のみが許され る CCG の任意の導出木を, generalized type raising と generalized Geach rule を使って, (semantics を変えることなく） incremental な導出木に変形 できることが示せると思う

興味深い予想であり，今後の展開が期待される.

## 5 おわりに

意味内容的には同一だが，統語構造的にはさまざ まな形を取る複数の文を，組合せ範疇文法を用いて 厳密な形で漸進的に解析しつつ, 最終的に同一の意味表示を得る事ができるか否かを, ドイツ語の原因・結果関係文を題材として考察した。

本稿の漸進的解析では, 型繰り上げ規則と関数合成規則を使用しているが，これらの規則を多用する と擬似的曖昧性（spurious ambiguity）が急激に増加 してしまう，という問題が知られている。そのため 正規型（normal form）と呼ばれる導出においては,関数合成と型繰り上げの使用は関係節など統語的に 必要な場面に制限されている [9].

また, Hockenmaier and Steedman[13] においても，関数合成と型繰り上げは必要な場合のみ行うとされ ており, 更に Stanojević and Steedman[2] では, 型繰 り上げを適用する範疇は $N P$ や $P P$ などの引数に限 られる，とされている。

異なる統語構造に対して厳密な漸進的解析を実行 し, 最終的に同一の意味表示を得るという当初の目的は達成されたが, 厳密な漸進性を重要視した結果 として逆に探索空間が増加してしまうのでは, 人間 の言語理解モデルとして十分ではないと考えてい る. また図 7 の nämlich や図 10 の deshalb に付与し た語彙項目は, 厳密な漸進性を実現するためとは言 え，複雑すぎるようにも見える。

今後は漸進性のレベルと探索空間の範囲, それに 語彙項目の複雑さのバランスが取れた言語理解モデ ルの構築に取り組みたい。

## 謝辞

本研究は JSPS 科研費 JP22K12188 の助成を受けた ものです.

## 参考文献

[1] Vera Demberg. Incremental derivations in CCG. In Proceedings of the 11th International Workshop on Tree Adjoining Grammars and Related Formalisms (TAG+11), pp. 198-206, Paris, France, September 2012.

[2] Miloš Stanojević and Mark Steedman. CCG parsing algorithm with incremental tree rotation. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 228-239, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[3] Mark Steedman. The Syntactic Process. The MIT Press, 2000.

[4] Mark Steedman. Surface Structure and Interpretation. The MIT Press, 1996

[5] 戸次大介. 日本語文法の形式理論. くろしお出版, 2010.

[6] 峯島宏次. 論理と文法. 数学セミナー, Vol. 59, No. 3, pp. $30-35,2020$.

[7] Krishnamurti Vijay-Shanker and David Weir. Polynomial time parsing of combinatory categorial grammars. In 28th Annual Meeting of the Association for Computational Linguistics, pp. 1-8, 1990.

[8] Stephen Clark and James R. Curran. Wide-coverage efficient statistical parsing with CCG and log-linear models. Computational Linguistics, Vol. 33, No. 4, pp. 493-552, 2007.

[9] David Reitter, Julia Hockenmaier, and Frank Keller. Priming effects in Combinatory Categorial Grammar. In Proceedings of the 2006 Conference on Empirical Methods in Natural Language Processing, pp. 308-316, Sydney, Australia, July 2006. Association for Computational Linguistics.

[10] Julia Hockenmaier. Creating a CCGbank and a widecoverage CCG lexicon for German. In Proceedings of the 21st International Conference on Computational Linguistics and 44th Annual Meeting of the Association for Computational Linguistics, pp. 505-512, Sydney, Australia, July 2006. Association for Computational Linguistics.

[11] 氏名不詳. 組合せ範疇文法の漸進的構文解析, 2021. https://m-a-o.hatenablog.com/entry/2021/ 05/05/085810.

[12] 氏名不詳. 続・組合せ範疇文法の漸進的構文解析, 2021. https://m-a-o.hatenablog.com/entry/2021/ 11/14/234710.

[13] Julia Hockenmaier and Mark Steedman. CCGbank: User's manual. 052005 .

図 8 “Weil ich Durst habe, trinke ich Bier.” の漸進的導出

図 9 "Ich habe Durst, deshalb trinke ich Bier." の漸進的導出.

先行文の “Ich habe Durst” は, “Ich trinke Bier” と同様の手順で漸進的に導出可能.

図 10 "Ich have Durst, ich trinke deshalb Bier." の漸進的導出. $S$ はすべて $S[\mathrm{dcl}]$.


# RNN はラテン語からロマンス語への活用変化を再現するか？

川崎義史
東京大学
ykawasaki@g.ecc.u-tokyo.ac.jp

## 概要

本稿では，ラテン語からロマンス語への発達にお ける動詞活用の変化を計算機上で再現し，計算歴史言語学の見地から分析を行った。具体的には，系列変換モデルにラテン語の動詞活用を学習させ，その 出力形を分析した。その結果，以下のことが判明し た：(1）正解率の分布は予測と合致した；（2）正解率は，ラテン語からロマンス語への変化の大きさと 負の相関を示した；（3）誤出力の中にはロマンス語 を彷彿させる語形が見られた。

## 1 はじめに

ラテン語は, 名詞・形容詞の曲用と動詞の活用を持つ屈折語である [1]。名詞は数・格に応じ て $2 \times 6=12$ 変化, 形容詞は性・数・格に応じて $3 \times 2 \times 6=36$ 変化する。動詞は，法・態・時制・人称・数に応じて一層複雑に活用する。能動態では,表 1 のチェックマークの記された法と時制におい $\tau$, 主語の人称 ( 1 人称, 2 人称, 3 人称) と数 (単数，複数）に応じて最大 $3 \times 2=6$ 変化する。受動態 でも同様に活用する。つまり，1つの動詞は，能動態・受動態の直説法 6 時制と接続法 4 時制だけで, $2 \times(6+4) \times 6=120$ 変化する。さらに, 命令法・不定詞・分詞の形も存在する。例として, 表 2 は, AMĀRE 「愛する」の直説法・能動態・現在と完了の活用を示 している1)。太字は強勢母音を，一は長母音を表す。不規則動詞は除き， 4 種類の動詞活用クラスがあ り，それぞれ独自の語尾変化を持つ2)。動詞の正確 な活用には, 直説法 $\cdot$ 能動態 $\cdot$ 現在 $\cdot 1$ 人称単数, 不定詞 - 能動態 - 現在，直説法 - 能動態 - 完了 - 1 人称単数，完了受動分詞 - 中性 - 単数の 4 つの語形が 必須となる。例えば， AMĀRE の場合は，順に AMŌ, AMĀRE, AMĀVĪ, AMĀTUM となる。これらの語形の間に は一定の対応関係が存在するものの，一般的には，

1）本稿では，能動態・現在の不定詞で動詞を代表させる。

2）厳密には，第 3 活用には $\mathrm{a}$ と $\mathrm{b}$ の 2 種類がある。表 1 ラテン語の能動態の動詞活用 : チェックマークは該当する法や時制の活用が存在することを表す。

表 2 AMĀRE「愛する」の直説法・能動態・現在（左）と完了（右）の活用表：太字は強勢母音を，一は長母音を表す。

} & \multicolumn{2}{|c|}{ 現在 } & \multicolumn{2}{|c|}{ 完了 } \\

ある形から他の形を導出することはできない。

ラテン語から派生したイタリア語，スペイン語, フランス語，ポルトガル語，ルーマニア語等の言語 はロマンス語と総称される $[2]^{3}$ )。ラテン語の直説法・能動態・未来や受動態の一部の活用などは，ロ マンス語に継承されずに消滅した。その代わりに, ロマンス語は，未来や受動を表現するための独自の 活用を発達させた [4]。ロマンス語に継承された活用では，類推作用 $[5,6,7]$ により平準化が進み，活用形の不規則性は減少した。活用の消滅や平準化の 進展などについて事後的な記述は可能であるが，こ れらの変化の蓋然性は自明ではない。

そこで，本稿では，「話者により体系が作られる」 という考え [8] に基づき，ラテン語からロマンス語 への発達における動詞活用の変化を計算機上で再現 し，計算歴史言語学の見地から分析を行う。具体的 には，Recurrent Neural Network（RNN）を利用する 系列変換モデル [9] を話者に見立て，ラテン語の動詞活用の形態論を学習させる。そして，学習済みモ

3）正確には，ロマンス語は，文語の（古典）ラテン語ではな く口語の俗ラテン語 [3] から発達したものである。しかし，後者の文字資料は存在しない。そのため，本稿では，前者を ロマンス語の母体とみなして分析を行う。

デルの出力形の分析を行い，下記の問いに答える：

・学習が困難な動詞や活用は存在するか？
- 各活用の正解率は，ラテン語からロマンス語へ の発達における変化の大きさを反映するか？

・誤出力に何らかの特徴が見られるか？

本稿の構成は次の通りである。2 節で関連研究を 概観する。3 節で手法の解説，4 節で実験設定の説明を行う。 5 節で考察を行い，6 節で結論と今後の 課題を述べる。

## 2 関連研究

本稿は, Paradigm Cell Filling Problem (PCFP)[10] と 関連している。PCFP とは，名詞や動詞の活用形の 一部が与えられた状況で，未知の活用形を予測する タスクである。[11,12] は，系列変換モデルでこの タスクに取り組んだ。複数の言語での実験結果を報告しているが，出力結果の詳細な分析はない。

[13] は，英語の不規則な過去形の通時的な規則化 (-ed の付加) を計量的に分析し, 規則化率 $\propto$ 使用頻度 ${ }^{0.5}$ となることを発見した。[14] は，系列変換モ デルで英語の過去形の習得をモデル化し，習得過程 で見られるU 字カーブの再現を報告している。

[15] は，系列変換モデルで「言語もどき」の語順 の学習と世代間継承をモデル化した。創発するパ ターンを分析し, 長距離依存を嫌う傾向を発見し た。対象は自然言語ではないが，系列変換モデルで 言語変化をモデル化した点で特筆に値する。

本稿では，ラテン語の動詞活用全体を系列変換モ デルに学習させ， ロマンス語とも対照しつつ，学習済みモデルの振る舞いを詳細に分析する。

## 3 手法

系列変換モデルに，ラテン語の動詞活用の形態論 を学習させる。符号化器には Bi-LSTM, 復号器には 注意機構付きの LSTM を用いる。不定詞と活用形 の形態情報を入力し, 文字単位で活用形を出力させ る。形態情報は, 法/態/時制/人称・数を連結したも のとする。文字と同様に，不定詞と形態情報も 1 つ のトークンとする。図 1 に手法概略図を示す。例え ば, ama:re, ind/act/pres/2pl $\mapsto$ ama\#a:tisのよう な変換を学習させる。形態情報のind/act/pres/2pl は，直説法/能動態/現在 $/ 2$ 人称複数を表す。また，: は長音を，井は直後の音節に強勢があることを表す 記号とする。

図 1 手法概略図 : 系列変換モデルにラテン語の動詞活用 を学習させる。不定詞と活用形の形態情報を入力し，文字単位で活用形を出力させる。符号化器には Bi-LSTM,復号器には注意機構付きの LSTM を用いる。

本稿の狙いは，正解率の向上ではなく，学習が進 んだ時点でのモデルの振る舞いの分析である。その ため，検証データの正解率が一定の值に達するまで 訓練データで学習を行う。出力形と正解形が完全に 一致する場合のみ，正解とする。その後，モデルが 産出するテストデータの出力形を詳細に分析する。

## 4 実験

データセットは 2 万件の入出力ペアとし， $8: 1: 1$ で訓練データ，検証データ，テストデータに分割 した。使用する動詞は, [16] 収録の 586 種類とし た。母音の長短は [17] に従った。古典語コーパス PhiloLogic44）における使用頻度に基づいて動詞を サンプリングした。ただし，同一データの重複を避 けたため，コーパス頻度に比べて滑らかな分布と なった。法は, 直説法: 接続法: 命令法: 不定詞: 分詞 $=6: 4: 1: 1: 1$ の割合でサンプリングした。直説法の 6 時制，接続法の 4 時制に対し，命令法・不定詞・分詞の活用は一部の時制や人称・数に限られ るため，割合を 1 とした（表 1 参照）。ただし，上記 の割合はコーパス頻度を反映しておらず，暫定的な ものである。態，時制，人称・数は，いずれのカテ ゴリも一様分布からサンプリングした。

埋め込み次元は 32 ，隠れ状態の次元は 64 ，エポッ ク数は 100 とした。分析には一定量の誤出力を必要 とするため，検証データの正解率は 9 割程度に抑え た。上記のパラメータ設定は，この基準を辛うじて 満たすものだった。検証データとテストデータの正解率は，それぞれ，0.889，0.892だった。

## 5 考察

本節では，テストデータの出力に基づき分析を行 う。仮説検定の有意水準は 0.05 とする。

形式受動態動詞 ラテン語には，意味は能動だ が活用は受動態を用いる形式受動態動詞と呼ば

表 4 未完了系・完了系の正解率法/態/系 正解率

直説法/能動態/未完了系 $0.865(294 / 340)$
直説法/能動態/完了系 $0.921(268 / 291)$直説法/受動態/未完了系 $0.919(216 / 235)$直説法/受動態/完了系 $\quad 0.982(214 / 218)$接続法/能動態/未完了系 $0.845(131 / 155)$接続法/能動態/完了系 $0.959(163 / 170)$接続法/受動態/未完了系 $0.915(108 / 118)$接続法/受動態/完了系 $0.985(135 / 137)$

れる動詞が存在する $[1]$ 。これらの動詞の態は，意味に基づき能動態とした。形式受動態動詞の 正解率は 0.559 (62/111) で，それ以外の動詞の正解率 $0.912(1723 / 1889)$ に比べ，有意に低かった ( $p<0.001)$ 。全体に占める割合の小ささと「意味は 能動だが活用は受動態」という特殊性が，学習を困難にしていると考えられる。そのために，形式受動態動詞は, その他の動詞と同様の能動態動詞に変転 しロマンス語に継承されたと推定される [4]。これ 以降，形式受動態動詞は分析から除外する。

学習困難な活用 表 3 に，各形態情報（法/態のレ ベル）の正解率を示す。法は直説法と接続法に限定 した。いずれの態でも, 直説法と接続法の正解率に 有意な差は見られなかった。一方，いずれの法で も，能動態の正解率は受動態よりも有意に低かった （直説法では $p<0.001 ，$ 接続法では $p=0.014$ )。能動態の正解率の低さは，学習困難な形式受動態動詞 や不規則動詞に起因すると考えられる。

次に，未完了系と完了系の振る舞いを分析する。 ラテン語の動詞活用は, 未完了系 (現在・未完了・未来）と完了系（完了・過去完了・未来完了）に二分される (表 1 参照)。いずれの態でも，未完了系 は，活用クラスごとに活用語尾が異なる。一方，完了系は, 活用の仕様が全活用クラスで共通である。 そのため, 未完了系の方が完了系よりも学習が困難 だと予想される。表 4 に示す実験結果は, この予想 を支持する。直説法/能動態 $(p=0.011)$, 直説法/受動態 $(p=0.001)$, 接続法/能動態 $(p=0.001)$, 接続法/受動態 $(p=0.004)$ の全てで，未完了系の正解率 は完了系よりも有意に低かった。表 5 は，各形態情報（法/態/時制のレベル）の正解率を示している。この結果を，ラテン語からロマ ンス語への発達の過程で生じた形態的変化の大き さと対照してみたい。一つの方策として，[4] で各活用の説明に割かれている紙数を形態的変化の大 きさの代理変数とみなすことにする5）。大きな変化 を経た活用ほど，割かれる紙数も大きくなると予想 される。分析対象は，ロマンス語に継承された以下の活用とした：直説法/能動態/現在，直説法/能動態/未完了，直説法/能動態/完了，直説法/能動態/過去完了，直説法/能動態/未来完了，接続法/能動態/現在，接続法/能動態/完了，接続法/能動態/過去完了,不定詞/能動態/現在，分詞/受動態/完了。ロマンス語 に継承されなかった活用（直説法・能動態・未来や 一部の受動態など）やラテン語に対応するものが ない活用（ロマンス語の直説法・能動態・未来な ど）は除外した。正解率と紙数の順位相関係数は $\rho=-0.728(p=0.017)$ で，統計的に有意な強い負の 相関を示した。これは，学習困難なラテン語の活用 ほど，ロマンス語発達の過程で大きな変化を受けた ことを示唆する。この変化の実体は，類推作用によ る活用形の平準化である [4]。モデルの出力が，現実の通時変化の傾向と合致したことは興味深い。

しかしながら，正解率が高い活用が必ずしもロマ ンス語に継承されるわけではない。例えば，直説法・能動態・未来，接続法・能動態・未完了や受動態の正解率は低くはないが，ロマンス語に継承され なかった。これらの活用の消失は, 形態面の学習困難性では説明できず，言語内外の他の要因の検討が 必要となる。

活用クラス 表 6 は，各活用クラスの正解率を示 している。活用4クラス間の正解率に有意な差は見 られなかった。一方，不規則動詞の正解率は，いず れの活用クラスよりも，有意に低かった $(p<0.01)$ 。

訓練データ頻度 各動詞の訓練データにおける 出現頻度と正解率の順位相関係数は $\rho=0.205(p<$ 0.001 )で，有意な正の相関が見られた。低頻度の動詞ほど学習困難という傾向は直感と合致する。

一方, 訓練データにおける形態情報（法/態/時制のレベル）の頻度と正解率の順位相関係数は $\rho=0.134(p=0.436)$ で, 有意な相関は見られなかっ た。これは，頻度とは独立に，学習が容易（困難） な形態情報が存在することを示唆する。

5）実際には，音変化により誘発された変化も多く [4]，純䊀 に形態的変化のみを定量化することは困難である。

ロマンス語形の出現 誤出力の中には, 俗ラテン 語やロマンス語を彷彿させる下記の語形が散見さ れた。これらの語形はラテン語としては誤りである が，ロマンス語としては尤もらしいものである。ラ テン語の動詞活用を学習する過程で，モデルは類推作用 $[5,6,7]$ を獲得し, これらの語形を生み出した と言える。つまり，ラテン語内部にロマンス語を生 み出す契機が胚胎されていることを示唆している。

・形式受動態動詞の能動動詞化：LOQUī「話す」の 直説法/能動態/現在 $/ 2$ 人称単数の出力形 l\#oquis （正解は l\#oqueris）
- 不規則動詞の規則化：POSSE「できる」の直説法/能動態/未完了 $/ 3$ 人称複数の出力形 pot\#e:bant （正解は p\#oterant）
- 第 2 活用と第 $3 \mathrm{a}$ 活用の混同：EXCĒDERE「去 る」の直説法/能動態/現在 $/ 2$ 人称複数の出力形 exce:d\#e:tis（正解は exc\#e:ditis）
- 第 $3 \mathrm{a}$ 活用と第 $3 \mathrm{~b}$ 活用の混同：DĒFICERE「不足 する」の直説法/能動態/現在 3 人称複数の出力形d\#e:ficunt（正解は de:f\#iciunt）
- 強勢位置の移動：EXCIPERE「除外する」の直説法/能動態/現在 $/ 3$ 人称単数の出力形 exc\#ipit （正解は\#excipit）

## 6 おわりに

本稿では，ラテン語からロマンス語への発達にお ける動詞活用の変化を計算機上で再現し，計算歴史言語学の見地から分析を行った。具体的には, 系列変換モデルにラテン語の動詞活用を学習させ，その 出力形を分析した。その結果, 以下のことが判明し た：(1) 正解率の分布は予測と合致した；（2）正解率は，ラテン語からロマンス語への変化の大きさと 負の相関を示した; (3) 誤出力の中にはロマンス語 を彷彿させる語形が見られた。

今後の課題の 1 つは，より現実を模倣した設定下 で実験を行うことである。例えば，各形態情報の実際の使用頻度や，母音の長短などの音韻的区別の喪失 [4] を反映させることが考えられる。そのような 設定下で実験を行うことで，新たな知見が得られる 可能性がある。また，本稿の手法を発展させて，統語的変化や方言分化などの現象を計算歴史言語学の 見地から検証することも興味深いと思われる。表 5

各形態情報（法/態/時制のレベル）の正解率

表 6 各活用クラスと不規則動詞の正解率

## 謝辞

本研究は JSPS 科研費 JP18K12361 の助成を受けた ものです

## 参考文献

[1] Renato Oniga. Latin: A Linguistic Introduction. Oxford University Press, 2014.

[2] Adam Ledgeway and Martin Maiden, editors. The Oxford Guide to the Romance Languages. Oxford University Press, 2016.

[3] Ralph Penny. A History of the Spanish Language. Cambridge University Press, 2002.

[4] Ti Alkire and Carol Rosen. Romance Languages: A Historical Introduction. Cambridge University Press, 2010.

[5] Javier Elvira. El cambio analógico. Gredos, 1998.

[6] James P. Blevins and Juliette Blevins. Analogy in Grammar: Form and Acquisition. Oxford University Press, 2009

[7] Joan Bybee. Language Change. Cambridge University Press, 2015

[8] Eugenio Coseriu. Sincronía, diacronía e historia: El problema del cambio lingüístico. Gredos, tercera ed edition, 1988.

[9] Ilya Sutskever, Oriol Vinyals, and Quoc V Le. Sequence to sequence learning with neural networks. Vol. 27. Curran Associates, Inc., 2014.

[10] Farrell Ackerman, James P. Blevins, and Robert Malouf. Parts and wholes: Implicative patterns in inflectional paradigms, 2009.

[11] Robert Malouf. Abstractive morphological learning with a recurrent neural network. Morphology, Vol. 27, p. 431-458, 112017.

[12] Miikka Silfverberg and Mans Hulden. An encoderdecoder approach to the paradigm cell filling problem. p. 2883-2889. Association for Computational Linguistics, 2018.

[13] Erez Lieberman, Jean Baptiste Michel, Joe Jackson, Tina Tang, and Martin A. Nowak. Quantifying the evolutionary dynamics of language. Nature, Vol. 449, pp. 713-716, 102007 .

[14] Christo Kirov and Ryan Cotterell. Recurrent neural networks in linguistic theory: Revisiting pinker and prince (1988) and the past tense debate. Trans- actions of the Association for Computational

Linguistics, Vol. 6, pp. 651-666, 2018.

[15] Rahma Chaabouni, Eugene Kharitonov, Alessandro Lazaric, Emmanuel Dupoux, and Marco Baroni. Word-order biases in deep-agent emergent communication. p. 5166-5175. Association for Computational Linguistics, 2019

[16] 有田潤. ラテン語基礎 1500 語. 大学書林, 1957.

[17] 水谷智洋（編）. 羅和辞典〈改訂版〉. 研究社, 2009 .


# ルールベース G2P による多言語固有表現の 国際音声記号表記付きデータセットの構築

的川雄飛 1 坂井優介 1 平野颯 1 澤田悠冶 ${ }^{1}$
大内啓樹 1,2 渡辺太郎 1
1 奈良先端科学技術大学院大学 2 理化学研究所
matogawa.yuhi.na2@is.naist.jp
\{sakai.yusuke.sr9, hirano. hayate.hc2, sawada.yuya.sr7\}@is.naist.jp
\{hiroki.ouchi, taro\}@is.naist.jp

## 概要

本研究では，多言語の固有表現（NE）をルール ベースの grapheme-to-phoneme（G2P）によって国際音声記号（IPA）に変換した表記の大規模データセッ トを構築した．多様な文字・音韻体系からなる複数 の言語の NE を IPA という一つの体系によって表記 したデータセットは，NE を対象とした G2P や通言語の言語モデル構築， $\mathrm{NE}$ 表記のリンキングなどの タスクへの有益な応用を期待できる。本研究は，既存データセットの NE 表記をルールベース G2P の フレームワークを用いて IPA 列に変換し，IPA 表記付きのデータセットを構築した。また，これに伴い 日本語から IPAへの変換ルールを作成し，フレーム ワークに追加した。

## 1 はじめに

ある言語における固有表現（NE）を表すテキス トとそれに対応する音声記号表記のデータは，テ キストの発音に関する情報が求められる諸タス クに NE を対象として取り組む場合において必要 となる。例えば，任意の文字体系で書かれた表記 を国際音声記号（IPA）などの発音記号に変換す る grapheme-to-phoneme (G2P) に，NEを対象として ニューラルベースの手法で取り組む場合，元の $\mathrm{NE}$表記と発音の関係を学習するためのデータが必要で ある。また，多様な言語・文字種の NE 表記を全て 統一的な IPA に変換したデータが存在すれば，特定 の言語に依らない非常に通言語性にすぐれた「IPA 言語モデル」の学習に利用できる.

これらに加え，特定の言語における $\mathrm{NE}$ 表記を正 しいID にリンキングさせるタスクにおいても，テ
キストと音声記号表記の対応データが必要な場合が ある．例えば，他の言語の NE 表記と ID のペアが明示された情報が存在する場合，NE 表記を IPA 列に 変換して，メインの研究対象である言語の $\mathrm{NE}$ 表記 から変換された IPA 列と他言語の NE 表記から変換 された IPA 列のあいだで音声的類似度を計算し1)，類似度が最も高い他言語の NE 表記と紐付いている ID をメインの研究対象である言語の NE 表記に紐付 くIDとする，という手法が考えられる。この場合 の音声的類似度の計算にも，やはり $\mathrm{NE}$ 表記と音声記号表記のマッピングのデータが必要となる。

元言語の表記と音声記号表記の対応データを公開 した先行研究として，オンライン辞書 “Wiktionary” の記述に基づくデータセットを公開したものが挙げ られる [2]. しかし，このデータセットは $\mathrm{NE}$ に特化 したものではなく，上に挙げたような $\mathrm{NE}$ 対象と するタスク・研究における利用には適さない。

本研究では，既存の $\mathrm{NE}$ 表記データセットを用い，複数言語の $\mathrm{NE}$ 表記をルールベース G2P のフレーム ワークを用いて IPA 列に変換することによって，上記のような NE 関連のタスクに必要な IPA 付き NE 表記データセットを構築した。また，日本語につい ては，このフレームワークにおけるサポートが存在 しなかったため，言語学・音声学分野の文献を基に G2P ルールを新たに作成した.

この結果，68 言語について，NE 表記と対応する IPA 列の組数が 6,900 万以上にのぼるデータセット が完成した.このデータセットは，NE を対象とし た研究における使用に適したものであるのみなら

1）具体的な音声的類似度の計算方法としては，IPA 同士でナ イーブな編集距離を計算する手法のほか，IPA の各シンボル を音声学的な素性の有無に基づくべクトルに変換してから類似度を計算する手法 [1] などが挙げられる。
表 1 ParaNames のデータの例

表 2 本研究において作成したデータの例

ず， 1 言語あたりのデータの量についても先行研究 の元言語表記-IPA 表記データセットを上回るものと なっている.

## 2 関連研究

既存研究で公開された特定の言語の表記と IPA 表記の対応データセットとして, “WikiPron”が挙げ られる2)[2]. WikiPron は, オンラインの多言語辞書 “Wiktionary”から，対象言語の表記とその IPA 表記 の組を自動抽出して構築され，251 言語について 3,509,051 組が登録されている. しかし, その抽出元 は辞書であるため，普通名詞・固有名詞や動詞，形容詞等に至るまで様々な種類の語が格納されてお り， 1 章で述べたような特に $\mathrm{NE}$ をターゲットとし た研究には適していない。

IPA のの変換は行っていないが複数の言語の $\mathrm{NE}$表記と ID のペアを格納したデータセットとしては， “ParaNames"3) [3], “TRANSLIT",4) [4] が存在する. 両者は，言語のカバレッジや $\mathrm{NE}$ 表記数，ID 数のほ か，データセットの作り方，データの形式などの面 で違いがある.これらのうち, 本研究は ParaNames を利用し, IPA 付き NE 表記の新たなデータセット を構築する。

468 の言語タグについて 124,343,696 個の NE 表記, 14,017,168 個の IDを持つ ParaNames は, Wikipedia の 項目を主に構造化した知識べースである “Wikidata” から全てのデータが作られている. 具体的に は, Wikidata において "human”, "geographic region”, “organization”の各タイプのインスタンスとして登録 されている NE 表記が, wikipedia でサポートされて いる各言語について抽出されている. 1 組のデー タは，Wikidataにおいて付与されている IDを表す “wikidata_id”，NE の表記を表す “label”, “label”の表記に紐づく言語タグを表す “language”，NEのタイ プを表す“type”によって構成されており，type には

2) https://github.com/CUNY-CL/wikipron

3) https://github.com/bltlab/paranames

4）https://github.com/fbenites/TRANSLIT. ある文字体系を 他の文字体系に変換するタスク「翻字（transliteration）」にお ける利用のために作られたデータセットである.
"PER”, "LOC", “ORG”の値が，元の Wikidata におけ るタイプ “human”, "geographic region”, "organization" それぞれに対応して割り当てられている（例：表 1).

いっぽう，185 の言語タグについて 2,987,508 個 の NE 表記，1,548,752 個の ID を持つ TRANSLIT は，独自に Wikipedia から収集した 1 種と既存の研究で 公開されていた 4 種，計 5 つのデータセットが混合 されて作られている。1 個の IDがキーとなり，それ に対応する値として各言語の表記のリストが格納さ れる形式となっている5)。

## 3 データセットの構築

本研究では，2 章に挙げた 2 つの $\mathrm{NE}$ 表記-ID の データセットのうち ParaNames を用い，“label”に格納されている $\mathrm{NE}$ 表記をルールベース手法による G2P フレームワーク “Epitran”6)[5] によって IPA 列 に変換して元の ParaNames のデータに加えることに より，IPA 付き NE 表記のデータセットを構築した (例: 表 2). 研究開始時には Epitran でサポートされ ていなかった日本語については言語学・音声学分野 の文献に基づいて自作した G2P ルールを，その他 の言語については Epitran の既存の G2P ルールを用 い，計 68 言語の NE 表記から IPAへの変換作業を 行った.

## 3.1 元データの選定

TRANSLIT ではなくParaNames を用いてデータ セットを作成した理由は，後者の方が言語タグ数， $\mathrm{NE}$ 表記数，ID 数いずれも前者よりも上回っている からのみならず，Wikidata という単一のソースに由来するデータセットを使用することでデータの質が より確保できる，と考えられるからである．複数の ソースに由来する TRANSLIT では，データの質の 面において，NE 表記と ID の紐付けが誤っているこ とがあるなどの問題が存在する。データの量の面で TRANSLIT を上回り，かつ一つのソースに由来する Paranames を基にデータを構築することで，量・質 の両面でよりすぐれたデータセットを完成させるこ とができると考えられる.

なお，ParaNamesの “language”に格納されている 言語タグの数は，実際の言語の数とは一致しない. 1 つの言語につき，文字種などの違いや話される地

5）簡易的な例を示す. ID 001: [“en_name1", “zh_name2", “]

6) https://github.com/dmort27/epitran
域の違いを反映して複数のタグが存在する場合があ るためである7). 言語が同じだが言語タグが異なる データであり, かつ文字種が同じデータについて, IPA 付きデータセットでは “wikidata_id”が重複して いるデータを排除した.

さらに，ParaNamesのうち，IPA に変換して新た なデータセットに組み込む対象は，95 個の言語タグ のいずれかが付与されている計 68 言語のデータに 絞った，これは，以下の 2 つの理由による。

1. 第一に，「Epitran がサポートする言語，あるい は日本語のいずれか」という制約を設けた. Epitran のサポート言語に絞った理由は，ルール ベースの手法により容易に G2P を実行できる 言語のデータを優先的に作成することが望まし いと考えられるからである．ただし，日本語の み，Epitranでは当初サポートされていなかった が本研究において新たにルールを作成し, その ルールを用いて IPA 変換を行った.これは， 1 章で述べた応用先のうち, NE 表記を正しい ID にリンキングさせるタスクを例として想定し， さらにカタカナの NE 表記をリンキング実験の 対象とすることを今後の研究の念頭に置いたた めである. 作成した日本語 G2P ルールについ ては， 3.3 節で詳述する。

2. 第一の制約に加え,「TRANSLIT のデータ中で,少なくとも 1 つのカタカナ $\mathrm{NE}$ 表記と同じ ID に紐づいている表記が存在する言語」という 制約を与えた。例えば，“ID 002: [“ja_\{ カタカ ナ表記 \}”, “en_...", “fr_...", ..]”というデータが TRANSLIT に存在する場合，英語（en）とフラ ンス語（fr）はいずれも本研究の対象に含まれ る.この制約を課したのは, 第一の制約の説明 で述べたカタカナ $\mathrm{NE}$ 表記のリンキング実験の 評価用データとして TRANSLIT を用いること を想定したためである。すなわち，任意のカ タカナ NE 表記について，実際の TRANSLIT の データ中で紐付いている IDを「正解 ID」とし， カタカナ $\mathrm{NE}$ 表記から変換された IPA 列と他言語の NE 表記から変換された IPA 列の音声的類似度を計算してリンキングを行う実験を想定し ている.

表 3 日本語 G2P ルールの “map”, “post”の例

## 3.2 NE 表記から IPA 列への変換

“label”の NE 表記から IPAへの変換は，すべて Epitranを用いて行った. Epitran は，各言語につい て用意された IPAへの変換ルールに基づいて G2P を実現する，多言語対応のフレームワークであり， 2023 年 1 月現在 97 言語についてサポートされてい る. 変換ルールは，全言語において存在する“map” と，一部の言語にのみ存在する “pre”, “post”の 3 種類がある. 基本的な変換は，各言語の文字（の組み 合わせ）と IPA シンボル（の組み合わせ）が 1 対 1 に対応する mapによって行うが，前後の音の環境に より発音が変わる場合などの 1 対 1 対応では処理で きない現象に対して，必要に応じ map の適用前に pre, 適用後に postがそれぞれ適用される。

また，表記と IPA の 1 対 1 対応によるマッピング が難しい言語については，外部の発音辞書が利用さ れる. 具体的には，英語については音声合成のた めのソフトウェア “flite”[6] が，中国語については “CC-CEDICT”[7] が使用される.

## 3.3 日本語の G2P ルール作成

日本語からの G2P については，日本語の音声・音韻の概要を述べた複数の文献 $[8,9]$ を基に，第一著者が Epitran の記法に準拠してカタカナ・ひらがな からの G2P ルールを作成した。これは，研究を開始 した時点で日本語が Epitran でサポートされておら ず，また言語学的に正確な G2P ルールを発表した先行研究も存在しなかったためである。 なお，漢字か らの G2P は，文脈依存による発音の特定が必要であ り対処が困難であるため，取り扱わなかった.

日本語について作成したルールは，3.2 節で挙げ た 3 種のルールのうち, map と postである. すなわ ち, カタカナ・ひらがなの組み合わせ 1 通りと IPA シンボルの組み合わせ 1 通りの各対応を map とし て，それだけでは処理できない事象に対応するため のルールを postとして作成した．両者の例を，表 3 に示す.

先に述べた日本語の音声・音韻に関する文献に基 づくカタカナ・ひらがなからの G2P ルールのほか,英語版ウィキペディアにおける日本語の文字・音韻

関連の記事 $[10,11]$ を基に，簡易的な G2P ルール8) も作成した. 後者についてもカタカナ・ひらがな双方のルールを構築したため，前者と合わせ計 4 種類 の G2P ルールを日本語の仮名について作成したこ ととなる。なお，IPA 付き NE 表記データセットの 構築における日本語の G2Pには，日本語の音声 - 音韻に関する文献に基づくルールの方を使用した。

本研究で作成した 4 種類の日本語 G2P ルールは, Epitran に統合された. カタカナ・ひらがなのような 音節文字9)を入力とするルールが Epitran に統合さ れたのは，初めてのことである. 本研究で作成した ルールは Epitran のフレームワーク内で現在利用可能であるほか，ルールを用いた IPA 変換のデモンス トレーションも作成済みである ${ }^{10)}$.

## 4 データセットの分析

データセットの統計的情報の概要を，表 4 に示す. NE 表記と IPA 表記の組数，および表記の ID の数は それぞれ 6,900 万以上，1,400 万以上にのぼり， 1 つ の ID につき平均 4.964 組の NE 表記-IPA 表記の組が 存在している. また，1 つの言語タグあたり， 1 言語あたりの表記の組数はそれぞれ平均 732,357.379 組，1,023,146.338 組であり， 1 言語につき平均して 100 万以上の NE 表記-IPA 表記の組が得られたこと になる. 1 言語あたりの表記数が 13,980.283 表記で

8）具体的には，日本語の音声 - 音韻に関する文献に基づく， より正確な方の map のルール数が 150 であるのに対し，簡易的な方の map のルール数は 112 である. post のルール数に ついても，前者が 46 であるのに対し，後者は 20 である.

9）「音節」は，音韻論における単位の一つ．通常は母音が 「核」となり，その前後に存在しうる子音とともに構成され るが，母音のみ，子音のみで構成される場合もある．ラテン 文字，キリル文字などが音素を表記の単位とする「音素文字」であるのに対し，カタカナ・ひらがな等は音節を表記の 単位とする「音節文字」である。

10) https://yusuke1997.com/Japanese_G2P/
1 万あまりである WikiPron と比較するとこれは非常 に規模の大きいデータである．したがって，本研究 で作成したデータセットは，NEに特化していると いう点で先行研究における多言語表記と IPA 表記の 対応データセットと区別されると同時に，1 言語あ たりのデータ量が既存のデータセットを大幅に上回っている，という点でも特徴づけられる。

最も多くのデータを得た NE のタイプは，PERで あった。また，データセットに格納されている元言語の NE 表記と IPA 表記の平均系列長はそれぞれ 15.085，15.894であり，ほとんど差がない.

$\mathrm{NE}$ 表記の文字種の数は，計 20 種である ${ }^{11)}$. 表記数が 100 万以上（およそ平均以上）にのぼる言語の 数は 15 言語であり，ロシア語，中国語を除き全て ラテン文字を使用する言語，またハンガリー語，中国語を除き全て印欧語族に属する言語である。言語 タグごとの表記数の統計を，付録 A に付す.

## 5 おわりに

本研究では，NE の G2P や通言語的な言語モデル の構築，NE 表記のリンキングなどへの応用を見据 え，複数の言語における $\mathrm{NE}$ 表記の既存データを基 に，ルールベース G2P のフレームワークを用いて 68 言語の 6,900 万以上の IPA 表記付き NE からなる 大規模データセットを構築した。また，これに伴っ て，日本語のカタカナ・ひらがなから IPAへの言語学的に正確な G2P ルールを作成し，フレームワーク に追加した. 今後の課題として，これまで応用先と して述べてきたタスク，すなわち言語モデルにおけ る事前学習や NE の G2P，NE 表記リンキングなど の実験を，本研究で作成したデータセットを用いて 行い，データセットの効果を検証する必要がある.

## 参考文献

[1] David R. Mortensen, Patrick Littell, Akash Bharadwaj, Kartik Goyal, Chris Dyer, and Lori Levin. PanPhon: A resource for mapping IPA segments to articulatory feature vectors. In Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics: Technical Papers, pp. 3475-3484. The COLING 2016 Organizing Committee, December 2016.

[2] Jackson L. Lee, Lucas F.E. Ashby, M. Elizabeth Garza, Yeonju Lee-Sikka, Sean Miller, Alan Wong, Arya D. Mc-

11）ラテン文字，ゲエズ文字，アラビア文字，キリル文字， ベンガル文字，デーヴァナーガリー文字，カタカナ，ひらが な，クメール文字，ラーオ文字，マラヤーラム文字，ビルマ 文字，オリヤー文字，グルムキー文字，シンハラ文字，夕ミ ル文字，テルグ文字，タイ文字，漢字 (簡体字)，漢字 (繁体字).

Carthy, and Kyle Gorman. Massively multilingual pronunciation modeling with WikiPron. In Proceedings of the Twelfth Language Resources and Evaluation Conference, pp. 4223-4228. European Language Resources Association, May 2020.

[3] Jonne Sälevä and Constantine Lignos. ParaNames: A massively multilingual entity name corpus. In Proceedings of the 4th Workshop on Research in Computational Linguistic Typology and Multilingual NLP, pp. 103-105. Association for Computational Linguistics, July 2022.

[4] Fernando Benites, Gilbert François Duivesteijn, Pius von Däniken, and Mark Cieliebak. TRANSLIT: A large-scale name transliteration resource. In Proceedings of the Twelfth Language Resources and Evaluation Conference, pp. 3265-3271. European Language Resources Association, May 2020.

[5] David R. Mortensen, Siddharth Dalmia, and Patrick Littell. Epitran: Precision G2P for many languages. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018). European Language Resources Association (ELRA), May 2018.

[6] flite: A small fast portable speech synthesis system, (202301 閲覧）. https://github.com/festvox/flite.

[7] CC-CEDICT Home [CC-CEDICT WIKI], (2023-01 閲 覧）. https://cc-cedict.org/wiki/\#what_is_ cc-cedict.

[8] 斎藤純男. 日本語音声学入門 改訂版. 三省堂, 2006.

[9] 日本語教育学会編. 新版 日本語教育事典. 大修館書店, 2005.

[10] Katakana - Wikipedia，（2022-08 閲覧）. https://en.wikipedia.org/w/index. php?title= Katakana\&oldid $=1103341275$.

[11] Sokuon - Wikipedia,（2022-08 閲覧）. https://en.wikipedia.org/w/index.php?title= Sokuon\&oldid $=1096454475$.

## A 付録：作成したデータセットの言語タグ別表記数