# 同期注意制約を与えた依存構造に基づく Transformer NMT

出口祥之 ${ }^{1}$ 田村 晃裕 ${ }^{2}$ 二宮崇 ${ }^{1}$
1 愛媛大学 2 同志社大学
${ }^{1}$ \{deguchi@ai., ninomiya@\}cs.ehime-u.ac.jp ${ }^{2}$ aktamura@mail.doshisha.ac.jp

## 1 はじめに

近年，機械翻訳の分野において，Transformer ニューラル機械翻訳 (Neural Machine Translation; NMT）モデル（以下 Transformer NMT） [1]が従来の 回帰型ニューラルネットワークや畳み込みニューラ ルネットワークベースモデルの翻訳性能を上回り，注目を浴びている。特に，Transformer NMT の特徴 の一つである自己注意は注意重みと呼ばれる確率分布行列を計算することで文内における単語間の関連 の強さを捉えることができ，ここに依存構造を組み 込むことで翻訳性能をさらに改善するモデルも提案 されている $[2,3,4]$.

これまで，統計的機械翻訳では原言語文と目的言語文間の同期文法や同期依存文法を考慮することで 翻訳性能を改善してきた $[5,6]$. 同期文法及び同期依存文法は，2 言語で定義される文法であり，2 言語 の文構造を同時に生成する文法である。NMT では， この同期依存文法から着想を得た同期注意制約 [7] が提案されている. 同期注意制約では, Transformer NMT の原言語側の自己注意と目的言語側の自己注意の間で言語間注意を通した注意の整合性を保つよ うに各注意が学習される。 しかし, Transformer NMT の自己注意の一部では依存構造を捉える場合がある という実験結果が報告されているものの [8], 同期注意制約を用いる従来手法は，自己注意と言語間注意の整合性を保証するだけであり，必ずしも依存構造を捉える自己注意が学習されるとは限らない。

そこで本稿では，原言語文と目的言語文の依存構造をそれぞれエンコーダとデコーダの自己注意で捉 える Transformer NMT [2] に同期注意制約を組み込 むことで，言語間で対応をもたせた依存構造に基づ くNMTを提案する。また，従来の同期注意制約で は制約を付与する際に別途注意の重みを計算する必要があったが，本稿では，モデルの順伝播時に得ら れる計算結果を利用することで注意の重みを別途

図 1: 依存構造とアライメント関係の例

求める必要のない手法を提案する. 図 1 は対訳文に おけるアライメント及び各文の依存構造の例を表 している。提案モデルでは, 図 1 において, “you” の親が “speak”であり，“you”が “du”に，“speak”が “Kannst” に対応している時，“du”の親が “Kannst”と なるように学習する。

提案モデルと従来モデルの翻訳性能を BLEU [9] を用いた評価により比較したところ，WAT Asian Scientific Paper Excerpt Corpus（ASPEC）日英翻訳夕 スクで最大 +0.36 ポイントの性能改善を確認した.

## 2 Transformer NMT

Transformer NMT [1] は, 入力された原言語文 $X=\left(x_{1}, x_{2}, \ldots, x_{I}\right)$ を符号化する Transformer エン コーダ（以下エンコーダ）と，エンコーダの出力を 受け取り目的言語文 $Y=\left(y_{1}, y_{2}, \ldots, y_{J}\right), \forall y_{j} \in \mathscr{V}$ に 復号する Transformer デコーダ（以下デコーダ）を 組み合わせたエンコーダ・デコーダモデルである. ただし， V は出力語彙集合である.

エンコーダ及びデコーダはそれぞれ $N_{e n c}$ 層のエ ンコーダ層, $N_{d e c}$ 層のデコーダ層から成る. 各エン コーダ層及びデコーダ層は複数のサブレイヤから成 り, 全てのサブレイヤの出力には残差接続と層正規化が適用される．エンコーダ層は下層より順に自己注意層，順伝播層から構成され，デコーダ層は下層 より順に自己注意層，言語間注意層，順伝播層から 構成される。
自己注意や言語間注意は, 複数ヘッド注意 $\operatorname{Attn}(Q, K, V)$ により, $d_{e m b}$ 次元の単語埋め込み空間 から $H$ 個の $d_{k}\left(=\frac{d_{e m b}}{H}\right)$ 次元のヘッド（部分空間）に 射影し，各へッドごとに次式のように注意を計算 する。

$
\begin{aligned}
& \operatorname{Attn}(Q, K, V)=\left[M_{1} ; M_{2} ; \ldots ; M_{H}\right] W^{M}, \\
& M_{h}=A_{h} V_{h}, A_{h}=\operatorname{softmax}_{\mathrm{r}}\left(\frac{Q_{h} K_{h}^{\top}}{\sqrt{d_{k}}}\right), \\
& Q_{h}=Q W_{h}^{Q}, K_{h}=K W_{h}^{K}, V_{h}=V W_{h}^{V} .
\end{aligned}
$

なお, softmax ${ }_{\mathrm{r}}()$ は行列に対して行毎に softmax 関数 を適用する関数である. 複数へッド注意の入力 $Q$, $K, V$ は，それぞれパラメータ行列 $W_{h}^{Q}, W_{h}^{K}, W_{h}^{V} \in$ $\mathbb{R}^{d_{e m b} \times d_{k}}$ によって， $Q_{h}, K_{h}, V_{h}(1 \leq h \leq H)$ に射影 される. ここで, 注意重み行列 $A_{h}$ の各要素の値 は $Q$ の各単語と $K$ の各単語の間の関連の強さを 示している。続いて，注意重み行列 $A_{h}$ に $V_{h}$ を掛 けることで $Q_{h}$ に対応する表現を $V_{h}$ から荷重和 の形で得られる. その後, 全ヘッドの $M_{h}$ （すな わち, $\left.M_{1}, M_{2}, \ldots, M_{H}\right)$ を結合し, パラメータ行列 $W^{M} \in \mathbb{R}^{d_{e m b} \times d_{e m b}}$ によって $d_{e m b}$ 次元の単語埋め込 み空間に射影する。

なお，自己注意では，入力の $Q, K, V$ はいずれ も前のサブレイヤの出力であり, 原言語文, 目的言語文それぞれにおいて文中の全ての単語との関連の 強さを計算する. デコーダ側のみで用いられる言語間注意では, 入力 $Q$ は前のサブレイヤの出力, $K$, $V$ はどちらもエンコーダの最終層の出力であり, 目的言語文の各単語と原言語文との関連の強さを計算 する. ただし，翻訳時に目的言語文の各単語は自己回帰的に生成されるため，デコーダ側の自己注意は 各単語の後方の単語を指さないようマスクをかけて 訓練する。

最後に，デコーダの最終層の出力を $|\mathscr{V}|$ 次元の空間に線形変換し, 各単語毎に softmax 関数を適用することで, 目的言語文の生成確率 $\operatorname{Pr}(Y \mid X)=\prod_{j=1}^{J} p\left(y_{j} \in \mathscr{V} \mid y_{<j}, X\right)$ を計算する.

## 3 提案手法

本稿で提案するモデルは，原言語側と目的言語側 の自己注意でそれぞれの文の依存構造を捉え，それ らを同期注意制約によって対応付ける.

また，従来の同期注意制約の手法の問題点とし て，制約を付与する際に逆向きの言語間注意（原言語文から目的言語文への注意）を追加で計算する必

(b) 依存構造

図 2: 依存構造と DBSA の例

要があった. 本稿では Transformer NMT の順伝播計算時の注意重みを保持することで，追加の計算なし で逆向きの言語間注意を得る手法を提案する.

依存構造に基づいた自己注意 はじめに，依存構造に基づいた自己注意 (dependency-based selfattention; DBSA） [2]について説明する. DBSAを用 いた Transformer NMT（以下 Transformer+DBSA）は, モデルの翻訳の損失に加え, 以下のような依存構造解析の損失 $\mathscr{L}_{d e p}$ を制約として付与する.

$
\begin{aligned}
\mathscr{L}_{\text {dep }}= & -\sum_{i=1}^{I} \log \operatorname{Pr}\left(\operatorname{head}\left(x_{i}\right) \mid X\right) \\
& -\sum_{j=1}^{J} \log \operatorname{Pr}\left(\operatorname{head}\left(y_{j}\right) \mid Y\right) .
\end{aligned}
$

ただし, head() は引数に与えた単語の親を返す関数 である. DBSA は，エンコーダまたはデコーダの第 $l_{d e p}$ 層目の自己注意において, 複数ヘッドのうち 1 つのへッドで依存構造を捉える。依存構造を捉える ヘッドの $Q_{h}, K_{h}, V_{h}$ をそれぞれ $Q_{d e p}, K_{d e p}, V_{d e p}$ とすると， 2 単語間の依存関係を示す注意重み行列 $A_{\text {dep }}$ は以下のようなパラメータ行列 $U \in \mathbb{R}^{d_{k} \times d_{k}}$ を 用いたbi-affine 変換 [10] によって得られる.

$
A_{d e p}=\operatorname{softmax}_{\mathrm{r}}\left(\frac{Q_{d e p} U K_{d e p}^{\top}}{\sqrt{d_{k}}}\right) .
$

$A_{d e p}$ において, $A_{d e p}[t, q]$ は単語 $q$ が単語 $t$ の親で ある確率を示す.

$
A_{d e p}[t, q]=\operatorname{Pr}(q=\operatorname{head}(t) \mid S) .
$

ここで，S は原言語文または目的言語文である. た だし，親が ROOT となる単語 $t_{\text {ROOT }}$ は自身を指すよう に設定する $\left(\operatorname{head}\left(t_{\text {ROOT }}\right)=t_{\text {ROOT }}\right)$. 次に， $M_{\text {dep }}$ は依存関係に基づいた注意重み $A_{d e p}$ と $V_{d e p}$ を掛け合わ せることで得られる.

$
M_{\text {dep }}=A_{d e p} V_{\text {dep }} .
$

最後に, $M_{\text {dep }}$ を他のヘッドと結合し, 通常の自己注意と同様にして $d_{e m b}$ 次元の埋め込み空間に射影 する。

$
\operatorname{Attn}^{\left(l_{d e p}\right)}=\left[M_{d e p} ; M_{1} ; \ldots ; M_{H-1}\right] W^{M}
$

ここで, $\operatorname{Attn}^{\left(l_{\text {dep }}\right)}$ は第 $l_{\text {dep }}$ 層目の自己注意を表す. なお，デコーダ側の DBSA については，通常の自己注意と同様に後方の単語を指さないようマスクを かけて訓練し，親が後方に存在する単語に対しては 制約を与えない. 図 2 に依存構造と注意重み行列 $A_{d e p}, A_{d e p}$ の教師データの例を示す. 図 2aでは,色の濃い要素ほど高い値を示している.

DBSA は，現在 NMT で広く用いられているサブ ワード単位 $[11,12]$ にも拡張されている. ある単語 が複数のサブワードに分割された場合，その単語を 構成する各サブワードの親は隣接する後方のサブ ワードとし，単語の終端となるサブワードの親はそ の単語の親に設定する. また，親となる単語が複数 のサブワードに分割されている場合，親は先頭のサ ブワードとする.

同期注意制約 続いて，Transformer NMT で原言語文の文構造と目的言語文の文構造の対応を捉える 同期注意制約 [7] について説明する. 同期注意制約 を与えた Transformer NMT は翻訳の損失に加え，原言語側の自己注意で捉えた文構造と目的言語側の 自己注意で捉えた文構造の整合性を保つための損失 $\mathscr{L}_{\text {sync }}$ を制約として付与する. $\mathscr{L}_{\text {sync }}$ は, 言語間注意によって，原言語側のエンコーダ自己注意を目的言語側の確率空間に変換し, デコーダ自己注意と の差を計算することで得られる. 目的言語側の空間 に変換されたエンコーダ自己注意を $D^{\text {pseudo }}$ とする と，以下の式によって $D^{\text {pseudo }}$ が求められる.

$
D^{\text {pseudo }}=\vec{C} E \overleftarrow{C}
$

ただし， $E$ と $D$ はそれぞれエンコーダ及びデコー ダの $l_{n}$ 層目の自己注意の注意重み行列 $A_{h}$ であり, $\vec{C} ， \overleftarrow{C}$ はそれぞれ，以下のような式で求められる順方向（目的言語側から原言語側へ）の言語間注意と 逆方向（原言語側から目的言語側へ）の言語間注意
である.

$
\begin{aligned}
\vec{C} & =\operatorname{softmax}_{\mathrm{r}}\left(\frac{Q_{h} K_{h}^{\top}}{\sqrt{d_{k}}}\right) \\
\overleftarrow{C} & =\operatorname{softmax}_{\mathrm{r}}\left(\frac{\left(Q_{h} K_{h}^{\top}\right)^{\top}}{\sqrt{d_{k}}}\right)=\operatorname{softmax}_{\mathrm{r}}\left(\frac{K_{h} Q_{h}^{\top}}{\sqrt{d_{k}}}\right)
\end{aligned}
$

なお， $Q_{h}$ と $K_{h}$ はデコーダの第 $l_{\text {sync }}$ 層の言語間注意の入力である．次に，デコーダ自己注意は各単語 における後方の単語をマスクして訓練するため，同様に $D^{\text {pseudo }}$ に対しても後方の単語を指さないよう マスクをかけて softmax 関数を適用する。

$
D^{\prime}=\operatorname{softmax}_{\mathrm{r}}\left(\operatorname{mask}\left(D^{\text {pseudo }}\right)\right)
$

ただし， mask は各単語における後方の単語をマス クする関数である. 最後に， $D^{\prime}$ と $D$ の最小自乗誤差を計算することで $\mathscr{L}_{\text {sync }}$ を得る.

$
\mathscr{L}_{\text {sync }}=\sum_{t, q}\left(D_{t, q}^{\prime}-D_{t, q}\right)^{2} .
$

図 3 に同期注意制約の例を示す. 図 3 に示すよう に，エンコーダ自己注意 $E$ は言語間注意 $\vec{C}, \overleftarrow{C}$ に よって目的言語側の確率空間に変換される. 制約の 損失はデコーダ自己注意 $D$ と求めた $D^{\prime}$ との差で表 される.

提案モデル 本稿で提案するモデルは Transformer+DBSA に同期注意制約を付与することで，原言語文の依存構造と目的言語文の依存構造の対応を もたせる. 提案モデルは次式のような目的関数 $\mathscr{L}$ を最小化することにより学習する。

$
\mathscr{L}=\mathscr{L}_{t}+\lambda_{\text {dep }} \mathscr{L}_{\text {dep }}+\lambda_{\text {sync }} \mathscr{L}_{\text {sync }} .
$

なお, $\lambda_{\text {dep }}, \lambda_{\text {sync }}>0$ はそれぞれ損失関数において $\mathscr{L}_{\text {dep }}, \mathscr{L}_{\text {sync }}$ が影響する度合いを調整するハイパー パラメータである。ここで，同期注意制約に用いる 原言語側と目的言語側の自己注意は第 $l_{d e p}$ 層目, す なわち,$l_{n}=l_{\text {dep }}$ とする.

また，従来の同期注意制約では，式 11 のように， $\mathscr{L}_{\text {sync }}$ を求める際に逆向き言語間注意 $\overleftarrow{C}$ を計算する 必要があった。本稿では，逆方向言語間注意を順方向言語間注意の転置，すなわち， $\overleftarrow{C}=\vec{C}^{\top}$ とするこ とで，Transformer のモデル順伝播計算時の注意重み を保持するだけで制約を算出できるようにする。

## 4 実験

実験設定 本実験では，提案手法の有効性を確認 するため，提案手法を適用したモデルと従来モデ ルとの翻訳性能を比較する. Transformer モデルに

逆方向言語間注意: $\overleftarrow{C}$

図 3: 同期注意制約の計算例

は base [1] モデルを使用した. モデルの詳細なハイ パーパラメータは付録に記載した。

翻訳性能の評価実験は，ASPEC[13] 日英翻訳タス クを用いた。訓練データは上位 150 万を抽出して用 いた。単語分割器は，日本語文には KyTea [14] を，英語文には Moses トークナイザを用いた。単語分割 した後は訓練データから学習したバイトペア符号化 (Byte Pair Encoding; BPE）[11] によりサブワード分割を行い，BPE の語彙数は原言語側と目的言語側で 独立してそれぞれ 16,000 に設定した．DBSA の教師 データは依存構造解析器の出力結果を用い, 英語に は Stanza [15] を，日本語には EDA [16] を使用した。 ただし，解析器は訓練時の教師データ作成のための みに使用し，翻訳時には使用していない。その他，詳細なデータ前処理は付録に記載した。

目的関数の $\mathscr{L}_{t}$ はラベル平滑化交差エントロピー を用いた。各損失を考慮する度合いを調整するハイ パーパラメータは $\lambda_{d e p}=0.5, \quad \lambda_{\text {sync }}=10.0$ とした.同期注意制約を与える層 $l_{\text {dep }}$ は Transformer base モ デルの第 1 層目とし， $D^{\prime}$ を求める際に必要な言語間注意の層 $l_{\text {sync }}$ は第 5 層目とした. モデルのパラ メータ更新回数は 100,000 回とした. 翻訳文の生成 にはビーム探索を用い，ビーム幅は 4 とした.

実験結果実験結果を表 1 に示す。表中の SyncAttn は同期注意制約を表す.表より，DBSA と SyncAttn を組み合わせることで，従来の DBSA，表 1: 実験結果 (BLEU(\%))

SyncAttn 単体で用いたモデルよりそれぞれ +0.27 , $+0.36 \mathrm{BLEU}(\%)$ の性能改善を確認した.

## 5 おわりに

本稿では，Transformer NMT の自己注意において，原言語文と目的言語文の依存構造を捉えさせ，言語間でそれらの対応をもたせるモデルを提案した. ま た，従来の対応付けでは注意の重みを別途計算する 必要があったが，提案手法では順伝播時の計算結果 を保持しておくだけで制約が計算できる. 提案モデ ルを用いることで，ASPEC 日英翻訳タスクにおい て, 従来モデルよりも最大 $+0.36 \mathrm{BLEU}(\%)$ の性能改善が確認された. 今後は, 他の言語対についても提案手法の有効性を確認したい.

## 謝辞

本研究成果は, 国立研究開発法人情報通信研究機構の委託研究により得られたものである. また，本研究の一部は JSPS 科研費 20K19864 の助成を受けた ものである.ここに謝意を表する.

## 参考文献

[1]Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in Neural Information Processing Systems 30, pp. 5998-6008. 2017.

[2]Hiroyuki Deguchi, Akihiro Tamura, and Takashi Ninomiya. Dependency-based self-attention for transformer NMT. In Proceedings of the International Conference on Recent Advances in Natural Language Processing (RANLP 2019), pp. 239-246, Varna, Bulgaria, September 2019. INCOMA Ltd.

[3]Xing Wang, Zhaopeng Tu, Longyue Wang, and Shuming Shi. Self-attention with structural position representations. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP$I J C N L P)$, pp. 1403-1409, Hong Kong, China, November 2019. Association for Computational Linguistics.

[4]Emanuele Bugliarello and Naoaki Okazaki. Enhancing machine translation with dependency-aware self-attention. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 1618-1627, Online, July 2020. Association for Computational Linguistics.

[5]Hongfei Jiang, Muyun Yang, Tiejun Zhao, Sheng Li, and Bo Wang. A statistical machine translation model based on a synthetic synchronous grammar. In Proceedings of the ACL-IJCNLP 2009 Conference Short Papers, pp. 125-128, Suntec, Singapore, August 2009. Association for Computational Linguistics.

[6]Yuan Ding and Martha Palmer. Machine translation using probabilistic synchronous dependency insertion grammars. In Proceedings of the 43rd Annual Meeting of the Association for Computational Linguistics (ACL'05), pp. 541-548, Ann Arbor, Michigan, June 2005. Association for Computational Linguistics.

[7]出口祥之, 田村晃裕, 二宮崇. 同期注意制約を与えた transformerによるニューラル機械翻訳. 言語処理学会第 26 回年次大会 発表論文集, pp. 1459-1462, 2020.

[8]Elena Voita, David Talbot, Fedor Moiseev, Rico Sennrich, and Ivan Titov. Analyzing multi-head self-attention: Specialized heads do the heavy lifting, the rest can be pruned. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 5797-5808, Florence, Italy, July 2019. Association for Computational Linguistics.

[9]Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[10]Timothy Dozat and Christopher D. Manning. Deep biaffine attention for neural dependency parsing. In 5th International Conference on Learning Representations, ICLR 2017, Toulon, France, April 24-26, 2017, Conference Track Proceedings, 2017.

[11]Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1715-1725, Berlin, Germany, August 2016. Association for Computational Linguistics.

[12]Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[13]Toshiaki Nakazawa, Manabu Yaguchi, Kiyotaka Uchimoto, Masao Utiyama, Eiichiro Sumita, Sadao Kurohashi, and Hitoshi Isahara. ASPEC: Asian scientific paper excerpt corpus. In Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC'16), pp. 22042208, Portorož, Slovenia, May 2016. European Language Resources Association (ELRA).

[14]Graham Neubig and Shinsuke Mori. Word-based partial annotation for efficient corpus construction. In Proceedings of the Seventh International Conference on Language Resources and Evaluation (LREC'10), Valletta, Malta, May 2010. European Language Resources Association (ELRA).

[15]Peng Qi, Yuhao Zhang, Yuhui Zhang, Jason Bolton, and Christopher D. Manning. Stanza: A python natural language processing toolkit for many human languages. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: System Demonstrations, pp. 101-108, Online, July 2020. Association for Computational Linguistics.

[16]Daniel Flannery, Yusuke Miayo, Graham Neubig, and Shinsuke Mori. Training dependency parsers from partially annotated corpora. In Proceedings of 5th International Joint Conference on Natural Language Processing, pp. 776-784, Chiang Mai, Thailand, November 2011. Asian Federation of Natural Language Processing.

[17]Yonghui Wu, Mike Schuster, Zhifeng Chen, Quoc V. Le, Mohammad Norouzi, Wolfgang Macherey, Maxim Krikun, Yuan Cao, Qin Gao, Klaus Macherey, Jeff Klingner, Apurva Shah, Melvin Johnson, Xiaobing Liu, Łukasz Kaiser, Stephan Gouws, Yoshikiyo Kato, Taku Kudo, Hideto Kazawa, Keith Stevens, George Kurian, Nishant Patil, Wei Wang, Cliff Young, Jason Smith, Jason Riesa, Alex Rudnick, Oriol Vinyals, Greg Corrado, Macduff Hughes, Jeffrey Dean. Google's neural machine translation system: Bridging the gap between human and machine translation. CoRR, Vol. abs/1609.08144, , 2016.

## A データセット

表 2: 実験データ（ASPEC 日英）の対訳文対数

前処理 英語文の単語分割は，aggressive hyphen splitting オプションを付けた Moses トークナイ ザを使用した。また，訓練データに対しては

規化を行った. 訓練データには，サブワード分割す る前の原言語文と目的言語文のトークン数がともに 100 以下の対訳文対を用い，トークン数の比が 2 を 超える対訳文対を除外した.

## B ハイパーパラメータ

表 3: Transformer モデルのハイパーパラメータ

^{1)}$ https://github.com/moses-smt/mosesdecoder/blob/ master/scripts/tokenizer/normalize-punctuation. perl
}


# エンティティの言語間リンクに基づく多言語モデルの構築

西川荘介 ${ }^{1,2}$ 山田育矢 ${ }^{2,4}$
1 東京大学 大学院情報理工学系研究科
3 国立情報学研究所
鶴岡 慶雅1 越前 功 ${ }^{1,3}$
\{sosuke-nishikawa,iechizen\}@nii.ac.jp
ikuya@ousia.jp tsuruoka@logos.t.u-tokyo.ac.jp

## 1 はじめに

様々な言語処理タスクにおいて、資源の豊富な言語（原言語）における教師データで学習し、他の言語（目的言語）における推論で性能を向上させる言語間転移学習が研究されている. 近年これらの手法 の多くは事前に多言語の大量のコーパスで学習され た事前学習済み汎用多言語モデルを用いて実現され る $[1,2,3]$. しかし、言語体系が異なる言語対や事前学習時に用いる目的言語のコーパスの量が比較的少 ない場合、汎用多言語モデルを用いた言語間転移学習で十分な性能を発揮できない場合があることが報告されている [4].

本研究では、知識ベース (Wikipedia) に紐づけら れたエンティティ表現を用いて汎用多言語モデルの 性能向上を試みる. エンティティは曖昧性を持たず 文書に関連する情報を持つという特徵があり、エン ティティを用いて文書分類タスクやエンティティ型推定タスクを解く手法が提案されている $[5,6,7]$.

本研究では、エンティティ間の言語間リンクを利用することで目的言語の推論データから抽出された エンティティ群を原言語のエンティティ群に変換す ることで言語間の転移学習を実現する（図 1）.さ らに、汎用多言語モデルから得られる文脈表現から 学習される注意機構によりエンティティ表現の重み つき和を計算することで、該当文書に関連するエン ティティ表現を優先的に考慮するような機構を導入 する.このエンティティ表現を汎用多言語モデルか ら得られる表現に付加的に加算することで性能の 向上を試みる.この手法では原言語で学習したエン ティティ表現を推論に直接用いることで言語間転移学習を可能とする. また、既存の多言語モデルに容易に組み込むことができ、追加の学習のデータを必要とせず言語対ごとに再学習する必要がない.

図 1 提案手法の概要図. 図は目的言語における推論時の 処理を表す. 学習時は言語間リンクによる変換を行わ ない.

実験では、文書分類タスクとエンティティの型推定タスクにて、原言語を英語とし目的言語を 7 言語および 10 言語で評価を行い、ベースラインとな る汎用多言語モデルと比較して性能の向上を確認 した.

## 2 関連研究

## 2.1 言語間転移学習

言語間転移学習を実現するにあたり、機械翻訳 を用いた手法や多言語分散表現を用いた手法が 提案されている $[8,9]$. 近年では Multilingual-BERT (M-BERT) [1] 等に代表される多言語の大規模言語 コーパスを用いて事前訓練された汎用多言語モデル が提案され $[1,2,3]$ 、このモデルに基づく多言語モ デルが様々な言語間転移タスクで高い精度を達成し ている。しかし、これらの手法では異なる言語体系 を持つ言語対や事前学習用コーパスにあまり現れな い言語に対して、性能が十分に発揮されないことが 報告されている [4].

この問題に対し、目的言語の追加データを用い て汎用多言語モデルの性能の向上を試みる手法が 提案されている. 目的言語のラベルなしコーパスを 利用することで言語とドメインの差を埋める学習 や[10]、原言語で学習したモデルを用いて目的言語 のラベルなしコーパスに擬似ラベルを付与しデータ
拡張する手法 [11]、対訳コーパスを用いて再学習す る手法 [3] 等がある. しかしこれらの手法では言語対ごとに追加データを利用して多言語モデルを再学習する必要があり、学習コストがかかる. また、再学習されたモデルは該当する 1 つの目的言語で性能 を発揮するが、複数の言語に対して同時に性能を発揮する多言語モデルの利便性が失われている.

提案手法では原言語で学習したエンティティ表現 を直接目的言語での推論に用いるため、モデルは言語対に依存せず性能を発揮することが期待される. また、追加データを必要とせず単一モデルの学習の みでの言語間転移の性能向上が可能となる.

## 2.2 エンティティ表現

エンティティ表現とは Wikipedia 等の知識ベー スに紐づくエンティティを表すべクトル表現で あり、多くの自然言語処理タスクに応用されてい る [5, 6, 7, 12]. Wikipedia2Vec [13] はエンティティ 表現を学習する手法の 1 つであり、skip-gram モデ ル [14] に基づき Wikipedia ページにおけるエンティ ティの周辺単語の予測と Wikipedia のページ間リン クでつながっているエンティティの予測を行うこ とでエンティティ表現を学習する. 本研究ではこの Wikipedia2Vecを用いてエンティティ表現を事前に 学習する.

エンティティ表現の応用例の一つとして文書分類 タスクがあり、文書中から文書に関連するエンティ ティ群を優先するような注意機構により重み付けを したエンティティ表現の和を用いて、単言語の文書分類を解く手法が提案されている [5]. この研究では 注意機構を学習する際、単語分散表現の平均ベクト ルとエンティティ表現のコサイン類似度を素性とし て用いているが、本研究では多言語事前学習モデル の隠れ表現とエンティティ表現のコサイン類似度を 素性として注意機構を学習する。

また、エンティティ表現を汎用言語モデル BERT [1] に組み込む関連研究として、エンティティ 表現用の追加のエンコーダーを導入し再度事前学習 を行う手法 $[15,16]$ や文書中のエンティティ名の近傍に知識ベースに紐づくエンティティを挿入する手法 [17]、エンティティ表現を事前学習により直接獲得する手法 $[18,19]$ 等が提案されている. 本研究では 多言語タスクの性能向上を目的としており、ある多言語タスクの学習と同時にエンティティ表現をモデ ルに導入する機構を学習するため、追加の事前学習
を必要としない. また、多言語モデルの内部構造を 改変することなく外部から付加的にエンティティ表現を導入するため、複数提案されている既存の多言語モデルに対して本手法を適用することができる.

## 3 提案手法

本節ではエンティティ表現を汎用多言語モデル M-BERT に組み込む手法を提案する。

## エンティティの処理

まず文書から文書中に現れるエンティティ群を抽出する. 本研究では知識べースとして Wikipediaを 用い、Wikipedia におけるぺージ内リンク情報 [20] からエンティティ名（"東大"）とエンティティ（東京大学）を紐づけるエンティティ辞書を構築する。 このエンティティ辞書を参照して文書中のすべての エンティティ名から対応するエンティティ候補を全 て抽出する1).また、あるエンティティ名がページ 内リンクである確率（リンク確率）とあるエンティ ティ名が特定のエンティティを示す確率（コモンネ

ス）も事前に獲得する。

Wikipedia では同じエンティティに関するページ が複数の言語で作成されており、同一のエンティ ティは言語をまたいで言語間リンクで接続されてい る. 目的言語における推論時は、文書から抽出され る目的言語のエンティティ群をエンティティの言語間リンクを用いて原言語のエンティティ群に変換 する。

## 注意機構の学習

次に文書中から抽出されたエンティティ群それぞ れに、対応する事前学習済みエンティティ表現を割 り当てる. 本手法ではエンティティ辞書を参照して エンティティ名に紐づく全てのエンティティを抽出しているため、該当文書には関連しない知識べー スに紐づけられたエンティティも抽出している場合がある.この問題を解決するため、文書に関連す るエンティティ表現を優先するような注意機構を 導入する. 具体的には以下のようにエンティティ表現 $\boldsymbol{v}_{\boldsymbol{e}} \in \mathbb{R}^{d}$ の重みつき和を計算することで文書に関連したエンティティに基づく特徴量 $z_{\text {entity }} \in \mathbb{R}^{d}$ を

得る.

$
z_{\text {entity }}=\sum_{i=1}^{K} a_{e_{i}} \boldsymbol{v}_{\boldsymbol{e}_{i}}
$

ここで $a_{e} \in \mathbb{R}$ はエンティティ $e$ に対応する注意機構の重みであり、以下の式によって $\boldsymbol{a}=$ $\left[a_{e_{1}}, a_{e_{2}}, \cdots, a_{e_{K}}\right]$ を学習する.

$
\begin{gathered}
\boldsymbol{a}=\operatorname{Softmax}\left(\boldsymbol{W}_{\boldsymbol{a}}^{\top} \boldsymbol{\phi}\right) \\
\phi(e, D)=\operatorname{cosine}\left(\boldsymbol{h}, \boldsymbol{v}_{\boldsymbol{e}}\right) \oplus p
\end{gathered}
$

ここで $W_{a} \in \mathbb{R}^{2}$ は重みべクトルである. $\phi=$ $\left[\phi\left(e_{1}, D\right), \phi\left(e_{2}, D\right), \cdots, \phi\left(e_{K}, D\right)\right]$ は文書 $D$ から抽出 されたエンティティ群と $D$ の関連度合いを測る素性であり、M-BERT の入力列の [CLS] トークンに対応する最終の隠れ表現 $\boldsymbol{h} \in \mathbb{R}^{d}$ とエンティティ表現 $v_{\boldsymbol{e}}$ のコサイン類似度にコモンネス $p$ を連結させた ベクトルである.

## 汎用多言語モデルへの付加

BERT に基づく汎用言語モデルで文書分類タスク を解く際はこの隠れ表現 $\boldsymbol{h}$ を付加的に接続された分類器に入力し、クラス $c$ の確率を推論する. 提案手法ではこの隠れ表現 $\boldsymbol{h}$ に、 $z_{\text {entity }}$ を足し合わせた表現を分類器に入力しモデルを学習する.

$
p\left(c \mid \boldsymbol{h}, z_{\text {entity }}\right)=\text { Classifier }\left(\boldsymbol{h}+z_{\text {entity }}\right)
$

## 4 実験

本研究では文書分類タスクとエンティティの型推定タスクにて提案モデルの評価を行った. 両タスク では英語を訓練データ、検証データとし、その他の 言語をテストデータとした.

本手法は任意の多言語モデルに適用可能である が、実験では M-BERT の既存実装2)をべースライン として用いて提案手法の有効性を検証した。

## 4.1 実験設定

## 文書分類タスク

文書分類タスクとは文章をトピックに対 して分類するタスクであり、データセットと して MLDoc [21]を用いた.この MLDoc は文書を CCAT (Corporate/Industrial)、 ECAT (Economics)、GCAT (Government/Social)、MCAT (Markets) のいずれかの カテゴリに分類するマルチクラス分類タスクであ り、 8 言語での文書データが収録されている。デー タセットの詳細を表 2 に示す.

実験では M-BERT モデルに対して全結合層と Softmax 層を接続しCross-entropy 損失を最適化する ことで学習する.また学習は異なる乱数シードで 10 回行い、その正解率の平均を示す.

## エンティティの型推定タスク

エンティティの型推定とは Wikipedia のページを カテゴリに分類するタスクであり、データセット として SHINRA2020-ML ${ }^{3)}$ を用いた.このタスクは Wikipedia のページに対して約 220 種類の拡張固有表現4) のラベルを付与するマルチラベル分類タスク である. 公開されているデータセットの中で MLDoc と同じ 8 言語に加えて、英語と言語体系が大きく異 なる言語群（hi、ar）と M-BERT の事前学習データ に含まれていない言語（th）を選択した. データセッ トの詳細を表 1 に示す. 検証データとして学習デー タの $5 \%$ をラベルの比率を維持して抽出したものを 利用した。

実験では M-BERT モデルに対して全結合層と Sigmoid 層を接続し Binary-cross-entropy 損失を最適化することで学習した. 推論時は Sigmoid 層の出力 が 0.5 以上になるラベルを予測ラベルに追加した.

表 3 文書分類タスクにおける正解率

また、SHINRA2020-ML での評価指標 [22]に倣い、 F1 値のマイクロ平均を評価指標として用いた。

## エンティティの処理

2019 年 1 月版の英語 Wikipedia コーパスから Wikipedia2Vec [13] を用いてエンティティ辞書の作成とエンティティ群の抽出を行った. この際、リン ク確率が 0.01 以上かつコモンネスが 0.05 以上のエ ンティティを抽出した. エンティティの言語間リン クは Wikidata ${ }^{5)}$ から取得した。

また、提案手法ではエンティティ表現 $v_{\boldsymbol{e}}$ を事前に学習した表現で初期化した. エンティティ表現の学習には Wikipedia2Vec を用い、同じ版の英語 Wikipedia コーパスからベクトルの次元数を 768、そ の他のパラメータはデフォルト值に設定して学習 した.

## その他の設定

全ての実験において学習率は $2 \times 10^{-5}$ に設定し、パ ラメータ更新の最適化アルゴリズムは AdamW [23] を用いた. バッチサイズは文書分類タスクでは 32 、 エンティティの型推定タスクでは 256 に設定して学習した. また、検証用データにおいてそれぞれの評価指標における性能が改善されなくなるまで学習を 行った.

また、エンティティ表現を事前学習する有効性を 検証するため、エンティティ表現をランダムに初期化したモデル（M-BERT + BoE (-emb)) を学習した. さらに、注意機構の有効性を検証するため、注意機構を取り除いたモデル（M-BERT + BoE (-att)）を学習した。

## 4.2 結果

表 3,4 に文書分類タスクとエンティティの型推定 タスクの実験結果を示す. どちらのタスクにおいて も多くの目的言語において提案手法がベースライン を上回る性能を示した. 特にエンティティ型推定夕 スクにおける英語と言語体系的に大きく異なる言語群（hi、ar）において 5 6 ポイントの性能の向上を 確認した。

また、多くの言語対で事前学習済みエンティティ 表現による初期化を行うモデルの方が性能が高い が、一部の言語対では初期化を行わない方が性能が 高くなる場合があることが分かった. さらに、注意機構を利用しなかったモデルはベースラインよりも 悪い性能となっており、注意機構による重み付けが 有効に働いていることを確認した。

## 5 おわりに

本研究ではエンティティの言語間リンクにより原言語に変換したエンティティ表現を付加的に用いる ことで、汎用多言語モデルにおける言語間転移学習 の性能を向上させる手法を提案した。

実験では言語間の文書分類タスク、エンティ ティの型推定タスクにおいてべースラインである M-BERT と比較し提案手法の優位性を示した. また、注意機構や事前学習済みエンティティ表現による初期化が有効に機能していることを確認した.

本研究ではベースラインとして M-BERTを用いて いるが、他の事前学習済み汎用多言語モデルや多言語分散表現を用いたモデルにおいても提案手法が有効に機能するか検証することが今後の展望として考 えられる。

## 参考文献

[1]Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pages 4171-4186, June 2019.

[2]Sebastian Ruder, Anders Søgaard, and Ivan Vulić. Unsupervised cross-lingual representation learning. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics: Tutorial Abstracts, pages 31-38, July 2019.

[3]Alexis CONNEAU and Guillaume Lample. Cross-lingual language model pretraining. In Advances in Neural Information Processing Systems, volume 32, pages 7059-7069, 2019.

[4]Telmo Pires, Eva Schlinger, and Dan Garrette. How multilingual is multilingual BERT? In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pages 4996-5001, July 2019.

[5]Ikuya Yamada and Hiroyuki Shindo. Neural attentive bagof-entities model for text classification. In Proceedings of the 23rd Conference on Computational Natural Language Learning (CoNLL), pages 563-573, November 2019.

[6]Ikuya Yamada, Hiroyuki Shindo, and Yoshiyasu Takefuji. Representation learning of entities and documents from knowledge base descriptions. In Proceedings of the 27th International Conference on Computational Linguistics, pages 190-201, August 2018.

[7]Jin Wang, Zhongyuan Wang, Dawei Zhang, and Jun Yan. Combining knowledge with deep convolutional neural networks for short text classification. In Proceedings of the Twenty-Sixth International Joint Conference on Artificial Intelligence, IJCAI-17, pages 2915-2921, 2017.

[8]Kui Xu and Xiaojun Wan. Towards a universal sentiment classifier in multiple languages. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pages 511-520, September 2017.

[9]Long Duong, Hiroshi Kanayama, Tengfei Ma, Steven Bird, and Trevor Cohn. Multilingual training of crosslingual word embeddings. In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics: Volume 1, Long Papers, pages 894-904, April 2017.

[10]Guokun Lai, Barlas Oguz, Yiming Yang, and Veselin Stoyanov. Bridging the domain gap in cross-lingual document classification. arXiv preprint arXiv:1909.07009, 2019.

[11]Julian Eisenschlos, Sebastian Ruder, Piotr Czapla, Marcin Kadras, Sylvain Gugger, and Jeremy Howard. MultiFiT: Efficient multi-lingual language model fine-tuning. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pages 5702-5707, November 2019.

[12]Nina Pörner, Ulli Waltinger, and Hinrich Schütze. BERT is not a knowledge base (yet): Factual knowledge vs. name-based reasoning in unsupervised QA. arXiv preprint arXiv:1911.03681, 2019.
[13]Ikuya Yamada, Akari Asai, Jin Sakuma, Hiroyuki Shindo, Hideaki Takeda, Yoshiyasu Takefuji, and Yuji Matsumoto. Wikipedia2Vec: An efficient toolkit for learning and visualizing the embeddings of words and entities from Wikipedia. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pages 23-30, October 2020.

[14]Tomás Mikolov, Kai Chen, Greg Corrado, and Jeffrey Dean. Efficient estimation of word representations in vector space. In Yoshua Bengio and Yann LeCun, editors, 1st International Conference on Learning Representations, ICLR 2013, Scottsdale, Arizona, USA, May 2-4, 2013, Workshop Track Proceedings, 2013.

[15]Zhengyan Zhang, Xu Han, Zhiyuan Liu, Xin Jiang, Maosong Sun, and Qun Liu. ERNIE: Enhanced language representation with informative entities. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pages 1441-1451, July 2019.

[16]Matthew E. Peters, Mark Neumann, Robert Logan, Roy Schwartz, Vidur Joshi, Sameer Singh, and Noah A. Smith. Knowledge enhanced contextual word representations. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLPIJCNLP), pages 43-54, November 2019.

[17]Nina Poerner, Ulli Waltinger, and Hinrich Schütze. EBERT: Efficient-yet-effective entity embeddings for BERT. In Findings of the Association for Computational Linguistics: EMNLP 2020, pages 803-818, November 2020.

[18]Ikuya Yamada, Akari Asai, Hiroyuki Shindo, Hideaki Takeda, and Yuji Matsumoto. LUKE: Deep contextualized entity representations with entity-aware self-attention. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pages 6442-6454, November 2020.

[19]Thibault Févry, Livio Baldini Soares, Nicholas FitzGerald, Eunsol Choi, and Tom Kwiatkowski. Entities as experts: Sparse memory access with entity supervision. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pages 4937-4951, November 2020 .

[20]Stephen Guo, Ming-Wei Chang, and Emre Kiciman. To link or not to link? a study on end-to-end tweet entity linking. In Proceedings of the 2013 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pages 1020-1030, June 2013.

[21]Holger Schwenk and Xian Li. A corpus for multilingual document classification in eight languages. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), May 2018.

[22]Satoshi Sekine, Masako Nomoto, Kouta Nakayama, Asuka Sumida, Koji Matsuda, and Maya Ando. Overview of shinra2020-ml task. In Proceedings of the NTCIR-15 Conference, 2020.

[23]Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization. In International Conference on Learning Representations, 2019.

## A 付録

謝辞

本研究は JSPS 科研費 JP16H06302, JP18H04120 および JST CREST JPMJCR18A6, JPMJCR20D の助成を受けたものです.


# Chatbot System for Open Ended Topics Based on Multiple Response Generation Methods

Anna Maria Hadjiev
Graduate School of Information Science and
Technology, Hokkaido University
Sapporo, Japan
hadjiev@wisc.edu
}

Kenji Araki
Faculty of Information Science and Technology,
Hokkaido University
Sapporo, Japan
araki@ist.hokudai.ac.jp
}

\begin{abstract}
This paper presents a chatbot intended for open-ended conversations in which the user is free to chat about any topic. The chatbot contains four separate methods of generating responses, three rule based and one based on deep learning. Based on the characteristics of the user input, the system chooses the best of the four methods to produce a response. Evaluations on the system's ability to have satisfying conversations with the user were conducted by five participants. The results support that, in the context of free conversations, a chatbot benefits in its ability to hold satisfying conversations by having multiple response generation methods built in.
\end{abstract
## Key Words

Chatbot, rule base, deep learning, genetic algorithm, inductive learning

## 1. Introduction

Nowadays, chatbots are commonly seen for tasks whose interactions are constrained within set themes, like scheduling meetings and finding a restaurant. However, it is rare to see chatbots used for more open ended tasks such as casual conversation. The reason for this is because chatbots struggle when they are used for tasks where the system has to be able to handle a wider variety of possible inputs. One key technique chatbots use for response generation is following rules predetermined by the developers in the form of "if the user inputs $x$, then the system outputs $y$," in which $\mathrm{x}$ and $\mathrm{y}$ are both specific, predefined text. This technique fails when the user inputs something that cannot be matched with a rule, and with an unpredictable task like casual conversation, it is impossible to prepare enough rules to cover every input [1].

Unlike the rule based method, chatbots which rely on deep learning techniques to generate responses are able to provide a response for any input. However, compared to outputs of rule based chatbots, responses generated by deep learning techniques are less predictable and carry a tendency to produce nonsensical or inappropriate responses [2]. For the task of creating a chatbot which can handle a wide variety of inputs, it would be beneficial to incorporate the flexibility of deep learning methods as well as the accuracy of rule based methods.

In this paper, we develop a chatbot system which uses three separate rule based methods as well as a deep learning method. For each input, one of the four methods is selected to generate a response. We define the best response to be one which can best help provide a satisfying conversation, measured by an average score measured across a few factors.

## 2. Outline of System

As mentioned in the previous section, we implement four different methods of generating
responses, three of which are based upon rules and one which is based on deep learning. Based on the user input, the system determines which method would produce the optimal response and generates a response based on that decision (see Figure 1). The four different methods are simple rule base, GA-IL [3], Deep Learning [2] and ELIZA [5].

Figure 1. Flowchart showing the system's process of generating a response to an input

## 2.1 Simple rule base method

For the simple rule base method of response generation, we rely on rules that we predetermined and hard coded into the system. If the user input matches any of the rules we put in, then the matched rule is followed to generate a response.

Table 1: Examples of rules used to respond

 &  \\

Of the four main methods implemented in this system, the rule based method is expected to produce the best results and thus, whenever possible, this method is used over the three others. Unfortunately, this method is not flexible and most input cannot be matched to any of the written rules - when an input cannot be handled by this method, we move onto the next potential method.

## 2.2 Inductive Learning with Genetic Algorithm (GA-IL)

For this method, the system also relies on pre existing rules to determine the output - however, a key difference is that these rules are learned as the system observes interactions between itself and the user. The algorithm used to generate these rules is based on a method of the same name, GA-IL (Araki et al., 2006) [3], which has produced positive results when applied in casual conversation.

The algorithm works by finding similar patterns between pairs of an input sentence and its reply, and generating new rules to use based on this information. An example of this process is given below in Figure 2.

1. Pairs of a sentence and its response

a. 'Do you like tennis?' : 'Yes I like it.'

b. 'Do you like cats?' : 'Yes I like them.'

2. Rules generated from 1 :

Do you like @ 1 : Yes I like @ 1

tennis : it , cats : them

Figure 2. Example of rule acquisition using GA-IL

With the GA-IL method, the system begins with no rules - thus, it requires to be run alongside a different response generation method until it populates enough rules to trigger. Because it starts with zero rules, there would not be enough rules for GA-IL to be used if we do not pretrain it to have rules from the beginning. Thus, we used a dataset provided by a chatbot challenge called DBDC3 [4] which contains conversational data between participants and chatbots, annotated for
correctness. Going into the experiment, the GA-IL system contained 289 rules generated using the $\mathrm{DBDC} 3$ dataset.

## 2.3 Deep Learning

The third method we incorporated into our system is deep learning. For this method, we used RNNs (recurrent neural networks), specifically a dual LSTM neural network to create a generative-based model [2]. This means that the system generates original text unlike rule based methods which are more focused on choosing from a set of predetermined text. We chose this implementation because this method has been shown to produce models which are able to learn semantically and syntactically meaningful representations of sentences [2].

For the dataset we used the Cornell Movie Dialogs Corpus, which contains 220,579 exchanges taken between 10,292 pairs of movie characters, and our model was developed using Tensorflow.

Figure 3. Model and training parameters

This method is less predictable than the previous rule based methods, however it is able to handle any input by the user. Thus, we use this method whenever the user input does not match a rule and is a question. In the case where the user input does not match a rule and is not a question, the next method ELIZA is used because it performs extremely well against non-inquiring inputs and can handle any input.

## 2.4 ELIZA

One rule-based chatbot implementation which is able to successfully handle almost any input is a well known program created by Joseph Weizenbaum at the MIT Artificial Intelligence Library called ELIZA [5]. This program takes the user input and responds by directing the user to expand upon what they said, in a sense creating an illusion of a conversation.

User: How are you?

ELIZA: Why do you ask?

User: Because I am interested

ELIZA: Is that the real reason?

Figure 4. Example of chat via ELIZA

Although this method is highly flexible and can handle most inputs, because ELIZA is unable to provide its own thoughts and only the user meaningfully contributes to the conversation, chatting with ELIZA does not make for a very satisfying conversation. Especially in the case that the user asks a question, ELIZA is unable to give a satisfying response. Thus, we put this method behind rule based and GA-IL.

## 3 Experiments for evaluation

For our experiment, we recruited five participants: four males and one female, all in their early twenties who are currently working in the I.T. industry and whose native language is English. We had the participants chat for 30 turns with a system consisting of only the deep learning method, a system consisting of GA-IL and ELIZA (ELIZA set to run only when GA-IL could not), and finally our complete system. After chatting with each system, the participants were asked to score their experience based on a few different factors intended to measure how satisfying their conversations were: correctness, likeability, originality, and engagingness.

For the evaluations, we presented the four factors in a semantic differential scale. The semantic differential scale, which presents a rating in the form of a description and its antonym on the other side of the scale, is an effective way to have participants give ratings in evaluations.

Figure 5. Semantic differential scales that the participants used for evaluations

## 4.2 Evaluation results

The participants conversed with out chatbots for 30 turns each, and the results of their evaluations of the chatbots are given below in tables 2, 3 and 4 for a chatbot using only the deep learning method, a chatbot using GA-IL combined with ELIZA and out complete system, respectively.

Table 2. Evaluations on deep learning chatbot

Table 3. Evaluations on GA-IL + ELIZA chatbot

Table 4. Evaluations on chatbot of all 4 methods

Table 5. Average ratings given by participants A, $\mathrm{B}, \mathrm{C}, \mathrm{D}$ and $\mathrm{E}$ for each chatbot

 & -0.30 & 0.50 & 0.00 & 0.50 & -0.50 & 0.04 \\

## 5. Conclusion

Looking at the results of our experiment, we were able to show that chatbots intended for satisfying casual conversations benefit from containing multiple response generation methods to choose from depending on the user input. The results were thanks to the methods combining strengths in a way as well as making up for each other's weaknesses, especially in a context like casual conversations which involve unpredictable interactions.

Running a chatbot based on predetermined rules of what exactly to respond given certain inputs makes for the best results - however, in our experiment these rule based methods were unable to be used frequently due to the lack of rules. In the future we hope to address this in ways such as expanding upon the set of rules we hard coded into the system. As for the GA-IL method, we hope to pretrain the system more on conversational data so that more rules are saved. Furthermore, in the future we are open to incorporating additional response generation methods on top of the four we already have.

## References

[1] Maali Mnasri, "Recent advances in conversation; NLP: Towards the standardization of Chatbot building," Mar. 21 2019. arXiv:1903.09025v1 [cs.CL]

[2] K. Cho, B. van Merrienboer, C. Gulcehre, D. Bahdanau, F. Bougares, H. Schwenk, Y. Bengio, "Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation," Sep. 3 2014. arXiv: $1406.1078 \mathrm{v} 3$ [cs.CL]

[3] Kenji Araki, Michitomo Kuroda, "Generality of spoken dialogue system using SEGA-IL for different languages." Proceedings of the IASTED International Conference on COMPUTATIONAL INTELLIGENCE, pp.70-75, San Francisco, CA, U.S.A., 2006.

[4] R. Higashinaka, K. Funakoshi, Y. Tsunomori, T. Takahashi, N. Kaji, DBDC3, GitHub, https://dbd-challenge.github.io/dbdc3/dat asets.html

[5] J. Weizenbaum, ELIZA - A computer program for the study of natural language communication between man and machine. Communications of the ACM, 9(1), pp.295-300, 1966.


# 積極傾聴におけるあいづちのタイミングの予測

福野将人狩野芳伸
静岡大学総合科学技術研究科情報学専攻
mfukuno@kabolab.net
kano@inf.shizuoka.ac.jp

## 1 はじめに

ユーザと対話することを目的としたシステムを対話システムといい、その中でもユーザの話に適切に あいづちを打つなどして話を聞くことに特化した対話システムを傾聴システムという。

本研究ではユーザに楽しんで話してもらうことの できる積極傾聴システムを作ることを目指して、ま ずはあいづちのタイミングを予測することのできる 分類器の制作を試みる。またその過程でその学習・評価に適したコーパスも制作する。

## 2 背景

傾聴システムには入院患者や高齢者の話し相手と なること[1]や、ユーザの話したい、話を聞いてもら いたいといった欲求を満たすこと [2]が期待されて いる。

このようなシステムでは、話し手であるユーザの 発話を聞き手であるシステムが積極的に引き出し、 ユーザにできるだけ楽しんで話してもらう必要があ ると考えた。本研究ではそのような積極的な傾聴の ことを積極傾聴と呼びたい。

## 2.1 先行研究

我々は SVM を用いて以前にも同様の研究に取り 組んだが、この際には積極傾聴ではない普通の対話 を収録したコーパスである千葉大学 3 人会話コーパ ス[3]を用いてデータセットを制作し、システムの学習・評価を行っていた[4]。しかし本来積極傾聴を行 うシステムを作るなら、その学習には積極傾聴を収録したコーパスを用いることが望ましい。

類似の先行研究としては遠隔操作のアンドロイド を用いて積極傾聴を行わせ、その対話音声を元に間休止単位ごとであいづちを行うかどうか予測したも のがある[5]。本研究では生身の人間同士の対話を 収録したことに加えて、音響的な特徴量に加えて言語的な特徴量も用いることでさらに自然な予測を行 うことを目指した。

## 3 手法

まず積極傾聴の対話を収録したコーパスを制作し、 それを元にあいづちのタイミングを予測することの できる分類器の制作を試みる。

## 3.1 コーパスの制作手法

対話音声の収録 収録のために 2 人の実験協力者 を得た。2 人には対話収録のために設置した防音室 に入って対面に着席し、それぞれに指向性のへッド セットマイクを着用して対話を行ってもらった。

2 人のうちの片方には相手にできるだけ楽しんで 話してもらうような積極傾聴を行うように指示した。

1 対話あたりの収録時間は当初は自然に対話が終了するまでとしていたが、この手法では実験協力者 からどこで話を終えれば良いのか分からないという 声が出た。そこで途中からは収録時間が 10 分を超 えたところで側にいる収録担当者(音声をモニタす る役目で対話には参加しない)が静かに立ち上がり、対話の終了を促すことにした。

対話は合計で 30 分 38 秒収録した。

収録音声の書き起こし・アノテーション 収録し た音声のうち 18 分 44 秒についてアノテーションツ ール ELAN[6]を用いて書き起こし、アノテーション を行った。

付与するタグは千葉大学 3 人会話コーパスを元に 先行研究[7][8]の内容を取り込んだもので、その一覧 は付録に掲載した。

形態素ごとの Forced Alignment 音声と書き起 こしテキストからだけでは、発話途中の任意の時刻 にどの形態素まで発話されているかが分からない。 あいづちは対話相手の発話の途中で起こることもあ るから、後の学習のために音声認識エンジン Julius[9][10]を用いて Forced Alignment を行い、発話中の各形態素の開始・終了時刻を別途求めることに した。

Forced Alignment は対象の発話ごとにそれ専用の 言語モデルを作ることで行った。

1. 対話音声を各発話(各アノテーションの区間) で分割する

2. アノテーションから転記タグを除去し、 kuromoji で形態素単位に分割する

3.よみがなタグの内容を各形態素と対応させ、各形態素のよみがなを調べる

4. Julius を用いて各形態素のよみがなを音素列 に変換する

5. 各形態素と音素列を元に Julius の言語モデル を生成する
6. 1 の手順で分割した音声ファイルに対し、 5 の 手順で生成した言語モデルを用いて Julius で Forced Alignment を実行する

Forced Alignment $の$ 精度は、千葉大学 3 人会話コ 一パスの音声の 1 つ(chiba0132-A.wav)に含まれる 2 語以上の発話を用いて評価したところ RMSE で 0.105 秒だった。

## 3.2 対話システムの制作手法

まずコーパスを元にデータセットの生成を行い、次にそのデータセットを用いてあいづちタイミング 予測モデルの学習・評価を行った。

データセットの作成 本研究で収録したコーパ スと、それに加えて事前学習用に千葉大学 3 人会話 コーパスを用いてデータセットを作成した。
- 特徴量の計算手法 コーパスから 1 話者の音声を抽出し、2048 フレームごとの窓区間に分割する

A) 図 1 に表すように、窓区間ごとの音声波形にプリエンファシスフィル タ・ハミング窓を適用後、17 次元の $\mathrm{MFCC}($ メル周波数ケプストラム係数)を計算し、それぞれ直前の 128 区間ぶんの MFCC を音響的特徴量と する

B) 図 2 に表すように、形態素ごとの Forced Alignment 結果をもとにその 区間までに発話された形態素を 10 個求め、その単語埋め込み(100 次元)を言語的特徵量とする
- ラベルの計算手法

特徵量の計算に使った話者の話し相手 $\mathrm{i}$ の音声を抽出し、2048 フレームごとの窓区間 に分割する。

分割後の各区間とその前後の 100 ミリ秒以内にあいづちを含むあらゆる発話の開始が あれば正、それ以外に負のラベルを付与す る。

## 直近の音声波形

2048フレーム

64空区間

(2.972秒)

MFCC

## 17次元

## 入力(音響的特徴量)

## inputA

(inputA)

図 1 音響的特徴量の計算手法

直近の形態素

100次元

入力(言語的特徴量)

## input

(input T)

図 2 言語的特徴量の計算手法
$ 千葉大学 3 人会話コーパスの場合は相手が 2 人い るのでそれぞれに計算する
}

MFCC の計算には内製の音響解析器 nyankyo を用 いた。単語埋め込みについては学習済み Word2 Vec モ デルである日本語 Wikipedia エンティティベクト ル[11]を用いて取得した。

またデータセットの作成後、全ての特徴量につい て標準正規分布に従うよう標準化を行い、その後デ ータセットのおよそ 9 割(バッチサイズで割り切れ る数に微調整した量)を学習用、残りを評価用に分割 した。さらに学習用については正例を 21 倍にオー バーサンプリングし、正例と負例がおおよそ同数に なるようにした。

モデルの作成 今回用いたモデルを図 3 に示す。 LSTM と MLP から成る多層構造のニューラルネッ トワークであり、その構造は以下のようなものであ る。

1.【inputA/inputT】事前に計算した音響的特徴量ならびに言語的特徴量

2.【 【stmA/lstmT】1 の出力を many to one 型の LSTM に入力する

3.【merge】音響的特徴量・言語的特徴量それぞ れで計算した 2 の出力を結合する

4.【dense1】3 の出力を全結合層に入力する

5.【dense2】4 の出力を全結合層に入力する

6.【output】出力層

また各層の設定は表 1 に示す通りである。

図 3 LSTM+MLP モデル表 1 モデル各層の設定

学習にあたっては、まず千葉大学 3 人会話コーパ スを用いて事前学習を行い、次に本研究で収録した コーパスを用いて本学習を行った。モデルの作成や 学習には Deeplearning4Jを用いた。

またコーパスとは別に、本研究で収録した音声の 1 つについて 4 人の協力者からアンケートを取り、 あいづちを打つべきタイミング全てに印をつけても らった。この結果平均しておよそ 13 秒に 1 回のぺ ースであいづちが打たれることがわかったので、そ れを参考に手作業でモデルのチューニングを行った。

## 4 評価

## 4.1 統計的評価

データセットから評価用に分割したおよそ 1 割を 用いて、Accuracy、F1 などを求めた。千葉大学 3 人会話コーパスを用いた評価結果を表 2 に、本研究で 収録したコーパスを用いた評価結果を表 3 に示す。
本学習の効果を検討するため、評価は本学習に本研究で収録したコーパスを用いた場合と用いなかつ た場合とでそれぞれ別々に行った。また入力に言語的特徴量を用いた効果を検討するため、モデルから 言語的特徴量の部分を除いて音響的特徴量のみを用 いた場合の結果も求めた。

表 2 千葉大学 3 人会話コーパスを用いた 統計的評価の結果

 &  &  \\

表 3 本研究で収録したコーパスを用いた 統計的評価の結果

 &  &  \\

ただ、これらの評価値は 2048 フレーム(0.046 秒) ごとに正しく予測できたかで評価されているが、あ いづちを打つタイミングには前後に多少のズレが許容できると考えられる。また 3.2 項でチューニング に使ったアンケートでは回答に相当の個人差があっ た。このことからあいら゙ちには実際打たれるタイミ ングよりも、打てるけれども打たないタイミングが 多くあり、その選択に明確な正解というものは無い とも考えられる。

そこで別途アンケートで人的評価を行うことにし た。

## 4.2 人的評価

本研究で収録した対話音声のうち、音声には問題 のない軽微な収録ミス(映像の録画トラブル)が原因 で学習にも評価にも用いなかった 1 分 42 秒ぶんを 用いてあいづちのタイミング予測を行い、その自然 さをアンケートで 5 人の協力者に評価してもらった。結果を表 4 に示す。表 4 人的評価の結果

 &  &  \\

アンケートの手法としては、対象となる音声の波形上に予測されたあいづちのタイミングが表示され るようなアンケート専用の Web サイトを作成し、そ れらのタイミングについて 1(全く自然でない)から 5 (とても自然)の間で 5 段階評価してもらった。

なお 3.2 項で書いたように今回制作したモデルは 13 秒に 1 回ほどあいづちを打つようにチューニング したが、アンケートへの回答後、協力者全員があい づちの頻度が低くもっと打つべきだとコメントした。

したがって頻度をより高く調整することで評価も より高いものにできる可能性がある。

図 4 人的評価に用いた予測結果

人的評価に用いた音声の波形とあいづちタイミン グの予測結果を図 4 に示す。青い縦線の瞬間が予測 されたタイミングを表しており、主に各発話の間の 短い無音区間があいづちのタイミングと予測されて いることがわかる。

## 5 おわりに

本研究では積極傾聴システム制作のための第一歩 としてあいづちのタイミングを予測することのでき る分類器の制作を試みた。したがって入力特徵量と しては既に録音・書き起こし済みのテキストを用い たが、今後はリアルタイムの実音声を入力として、音声認識と特徴量の漸次計算を行いながらあいづち のタイミングの予測を行うような積極傾聴システム に発展させたいと考えている。

またあいづちはそのタイミングに加えて、感動系応答詞、オウム返し、共同補完などの種類の使い分 けも重要である。今回収録したコーパスではそれら の種類についてもアノテーションを行っているので、 これを元にあいづちのタイミング予測に加えて種類 の分類も行えるようにしたい。コーパス自体をさら に拡充させ公開することも予定している。

## 参考文献

1. 北野浩章. 応答やあいづちに用いられる照応的な「そう」について:談話データにみる自然な対話の特徵. 京都大学言語学研究. 2000, no. 19, p. 79-94.

https://ci.nii.ac.jp/naid/120001712102, (参照 2019-01-31).

2. 目黒豊美, 東中竜一郎, 堂坂浩二, 南泰浩.聞き役対話の分析および分析に基づいた対話制御部の構築. 情報処理学会論文誌. 2012, vol. 53, no. 12, p. 2787-2801.

http://ci.nii.ac.jp/naid/110009493426/ja/, (参照 2020-03-20).

3. DEN, Y. A scientific approach to conversational informatics : Description, analysis, and modeling of human conversation. Conversational Informatics : An Engineering Approach. 2007. https://ci.nii.ac.jp/naid/10020493675, (参照 2019-02-06).

4. 福野将人, 狩野芳伸. 音響的特徴を用いた応答の使分け・挿入行う 傾聴対話システムの 試作. SIG-SLUD. 2018, vol. B5, no. 02, p. 9293.原康平，井上昂治，高梨克也，河原達也.“相槌・フィラー予測とのマルチタスク学習に よる円滑なターンテイキング". 第80回全国大会講演論文集. 2018, p. 409-410.

6. Han Sloetjes, Peter Wittenburg. Annotation by Category: ELAN and ISO DCR. 2008. http://www.lrecconf.org/proceedings/lrec2008/pdf/208_paper.pd $\mathrm{f}$, (参照 2021-01-13).

7. Sakishita Masahito, Kishimoto Taishiro, Takinami Akiho, Eguchi Yoko, Kano Yoshinobu. Large-Scale Dialog Corpus Towards Automatic Mental Disease Diagnosis . Springer Verlag, 2020. http://www.scopus.com/inward/record.url?scp=8 5070566443\&partnerID=8YFLogxK

8. Den Yasuharu, Koiso Hanae, Takanashi Katsuya, Yoshida Nao. "Annotation of response tokens and their triggering expressions in
Japanese multi-party conversations." LREC. 2012, p. 1332-1337.

9. Lee Akinobu, Kawahara Tatsuya, Shikano Kiyohiro. Julius---an open source real-time large vocabulary recognition engine. 2001.

10. 李晃伸. Julius を用いた音声認識インタフェ ースの作成. ヒューマンインタフェース学会基礎講座 第三回, 2009. 2009, p. 2-8.

https://ci.nii.ac.jp/naid/20000503286/, (参照 2019-01-31).

11.鈴木正敏，松田耕史，関根聡，岡崎直観乾健太郎. Wikipedia 記事に対する拡張固有表現ラベルの多重付与. 言語処理学会 第22回年次大会 (NLP 2016). 2016.

https://www.anlp.jp/proceedings/annual_meeting /2016/pdf_dir/A5-2.pdf.

## A 付録

 \\


# 動的な環境における基盤化タスク設計の試み

宇田川拓真 ${ }^{1}$ 相澤彰子 ${ }^{1,2}$
1 東京大学 2 国立情報学研究所
\{takuma_udagawa, aizawa\}@nii.ac.jp

## 1 はじめに

自然言語対話における基盤化とは, 話者間で共通理解（共通基盤）を形成・修正・維持する一連のプ ロセスを指し, 人間の高度なコミュニケーションの 重要な側面と考えられている [3]. 特に状況が絶えず 変化する現実世界においては, 新たに共通基盤を形成するだけでなく, 状況の変化に応じて共通基盤を 適切に更新し, 維持する能力が欠かせない.

しかし, 既存の対話タスクの多くは画像などの静的な情報を扱うものに限られており,動的な環境に おける共通基盤の形成・維持が十分に考慮されてい ない. 本研究では, 既存の基盤化タスク (OneCommon コーパス）[10]を時系列的に拡張し, 動的な環境に おける基盤化を評価する新たなタスク設計を行う。

このタスク設計に基づき,クラウドソーシングを 用いて 5,617 対話を含む大規模なデータセットを新 たに構築した. データセットの分析の結果, 提案タス クでは複雑な時空間表現を用いた基盤化が必要であ ること,また人間同士では過去の時点での共通基盤 を利用してより正確かつ効率的に共通基盤の更新・維持ができていることが確認された。

最後に, 深層学習に基づく対話モデルを実装し, 提案タスクによる評価・分析を行った. その結果, 既存 モデルは色・大きさ・位置などの空間的情報は（比較的）利用できているが, 動作・時制などの時間的情報はまだうまく扱えていないことが示唆された.

以上の考察を通じて提案タスクの有用性を検証 し, 今後の課題について論ずる.

## 2 タスク設計

## 2.1 背景：協調的参照タスク

基盤化の能力を定量的・客観的に評価するために， OneCommon [10] では物体の共通認識を形成する協調的参照タスクを提案している。このタスクでは話者 $\mathrm{A}$ ・ $\mathrm{B}$ とエンティティの集合 $E=\left.\{e_{1}, e_{2}, \ldots, e_{m}\right.\}$ が 存在し, 話者はそれぞれ $E$ の観測 $o b s_{A}(E) \cdot o b s_{B}(E)$ を持つとする. 話者同士は自然言語対話を通じて自由に情報を交換することができ, 最終的にそれぞれ 観測中のエンティティを一つ選択する. 基盤化を通 じて同じエンティティを選択できた場合のみタスク は成功とし, 異なるエンティティを選択した場合は 失敗となる. 付録 $\mathrm{A}$ に実際の対話例を示す.

OneCommon ではさらに各エンティティ $e_{i} \in E$ の 属性を連続値で表現することで複雑な曖昧性・不確実性の解消を要請している.また, 話者同士の観測が 異なる部分観測性 $\left(o b s_{A}(E) \neq o b s_{B}(E)\right)$ を導入す ることで誤解・部分的な理解が生じやすくなってお り, 理解の修正が要請されている.

しかし,このタスクでは話者の観測およびエン ティティ属性の時間変化は想定されておらず,多様 な状況変化に応じた共通基盤の更新・維持は要請さ れない. また, 共通基盤の維持能力の定量的 - 客観的 な評価指標が存在しないという問題がある.

## 2.2 協調的参照タスクの時系列的拡張

これらの問題を解決するために, 本研究では各 エンティティ $e_{i} \in E$ の属性が時間変化し, 各時刻 $t \in\left[t_{0}, \infty\right)$ において話者 $\mathrm{A} \cdot \mathrm{B}$ は $E$ の観測 $o b s_{A}(E, t) \cdot$ $o b s_{B}(E, t)$ を持つとする. また, 話者同士は複数の時刻 $t_{1}, t_{2}, \ldots \in\left(t_{0}, \infty\right)$ において協調的参照を行い, 時刻 $t_{k}(k \in \mathbb{N})$ において失敗した時点でタスクは終了す るものとする.これにより, 共通基盤を正確に維持す る能力を協調的参照の成功時間長 $k-1$ により定量的・客観的に評価できるようになる。

本研究ではこの定式化に基づいて OneCommon を 時系列的に拡張する. 具体的には, 各エンティティ $e_{i} \in E$ の二次元平面上の位置を各時刻間 $\left[t_{k-1}, t_{k}\right)$ で 変化（移動）させる. 移動の軌跡は図 2 に示すよう に二次べジェ曲線で記述し, 距離パラメーター $r_{i, 1}$, $r_{i, 2}$ および角度パラメーター $\Delta \theta_{i}$ は一様分布からサ

B: I see a small light grey dot, that moves very quickly. It ends to the right of three larger, darker dots.

A: $i$ think that one moves off my view. do you have two medium sized dark dots on top of one another at the start, with the upper one being a bit smaller and off to the left? they both move down and to the right

B: Yes, I think so. But the one that started off on the left moves very slowly? And another lighter grey one ends up almost in between them?

A: yes can you pick the slower moving one?

A and B select: $\square$

A: do you still see the same one?

B: Nope, it barely squeaked out of view. But a larger black ball comes towards the left into view. Do you see it? It probably crosses underneath our old one.

A: yes

A and B select:

図 1 提案タスクの対話例. エンティティは時刻 $t_{1} \cdot t_{2}$ での位置, 軌跡は $\left[t_{0}, t_{1}\right) \cdot\left[t_{1}, t_{2}\right)$ での移動を示している.

ンプリングする. また, $\theta_{i, 0}$ はランダムに初期化し, 移動後に $\theta_{i, k} \leftarrow \theta_{i, k-1}+\Delta \theta_{i}$ に基づいて更新する.これ によって多様かつ一貫性のある動的変化を導入でき るだけでなく,テスト時には任意の状況・観測の変化を再現し, 検証することが可能になる。

図 2 エンティティ $e_{i}$ の $\left[t_{k-1}, t_{k}\right)$ 間の移動の軌跡.

また, エンティティの属性だけでなく話者の視点 も随意に変化させることができる. 本研究では各時刻 $t_{k}$ の直後に話者の視点をランダムに平行移動さ せることで, 観測の重複部分も変化させている.

図 1 にクラウドソーシングを用いて収集した提案 タスクの対話例を示す. なお, 対話収集時は時刻の上限を $t_{5}$ （最大の成功時間長を 5）としている.

## 2.3 関連研究との比較

提案タスクと既存の代表的な対話タスク（データ セット）との比較を表 1 にまとめる。

まず, 基盤化に焦点を当てた対話タスクとして $[4,6,10,5,13]$ などが挙げられる.これらはタスク成功率により共通基盤の形成能力を直接的に評価でき るが, 全て静的な情報を扱うものに限られている.

基盤化を直接評価・分析するには不向きだが, 動的な情報を扱う対話タスクも近年現れている. 例 えば AVSD[1] は動画に基づく対話を集めているが，対話中に新たな情報が追加されるなどの情報の更新がないため, 共通基盤の更新は要請されない. 逆に Minecraft Dialog[8], SIMMC [7] などの仮想空間上の 対話タスクでは（視点変化などを通じて）情報の更新は行われるが, 仮想空間自体は自発的に変化せず 静的なものと考えられている. [9] は唯一動的な環境 および情報の更新を扱っているが, 非タスク指向か つ不特定話者の対話であるため, 基盤化の評価・分析は非常に難しいと考えられる。

## 3 データセット

本研究では Amazon Mechanical Turkを利用し, 大規模かつ高品質な英語の対話データを収集した.
表 1 既存の代表的なデータセットとの比較.

## 3.1 定量的分析

データセット全体の統計値を表 2 に示す.

OneCommon と比較すると, 提案タスクでは協調的参照を複数回繰り返しているため対話中の発話数が多くなっており,より長く一貫した対話が必要 となっている. 平均的な発話長は若干短くなってい るが,これは $t_{2}$ 以降に複雑な表現が “same again?” などのように省略されやすいからであり1), 図1の ように長く複雑な発話も多数見受けられた. また, OneCommon を拡張した設定であるため, 語彙的には シンプルかつ重複が多いことが確認できた. ${ }^{2)}$

時刻 $t_{1}$ での協調的参照の成功率も高く, 人間同士 では正確に共通理解を形成できていることが分か る.また, 時刻 $t_{2}$ 以降ではそれ以前の共通基盤を利用 して,成功率をさらに高めることができている.3)

## 3.2 定性的分析

図 1 に例示されるように, 人間同士ではエンティ ティの動作 ( “moves very quickly”, "come towards the

1）例えば 5 トークン以下の短い発話の割合は提案タスクで $33.8 \%$ となっており, OneCommon の約二倍多くなっている。

2）頻出語（10 回以上出現する語彙）に限ると, 重複は $53.0 \%$ と さらに高くなっている.

3）一部のクラウドワーカーはより高い水準でタスクを解いて おり,成功時間長・成功率の上限はより高くなると思われる。 left") や特定の時点での位置 (“started off on the left”, “ends to the right”) などの時空間表現を用いて共通基盤を形成している.また, 時刻 $t_{2}$ 以降ではそれ 以前の共通基盤 ("still see the same one?”, “crosses underneath our old one”）を利用していることが確認 できる.さらに環境の連続性および部分観測性によ り “a bit”, “almost”, “probably”など曖昧性・不確実性のニュアンスが伴いやすいことも確認できる.

特に動作の表現に着目すると, 移動の軌跡が連続値で記述されているため（図 2）語用論的推論を要 する表現が現れやすくなっている. 例えば図 3 に示 すように “straight down” と言った時に正確な垂直 を指していなかったり,多様な移動の軌跡が “right (and) then up”と同一の表現で表されていたりする. また, 付録 Bに示すように複数のエンティティの動作の関係性も同様に（語用論的に）表現されている. このように提案タスクでは必要な語彙はシンプルで ありながら, 字義通りではなく語用論的推論を用い た高度な言語理解・生成が必要となっている。

straight down

right (and) then up図 3 語用論的な動作の表現.

## 4 実験

最後に,ベースラインモデルを用いた実験を行う.
表 3 実験結果.（データ分割含め）異なる乱数種を用いて各実験を 5 回繰り返した.

} & $76.4 \pm 1.7$ & $77.1 \pm 0.3$ & $62.5 \pm 1.7$ & $75.4 \pm 1.3$ & $1.94 \pm 0.09$ \\

## 4.1 評価

モデルの共通基盤の認識能力の評価には, 人間同士の対話・観測からどのエンティティが各時刻 $t_{k}$ で 選択されたかを予測するターゲット選択タスクを用 いる. 選択時の観測エンティティの数は 7 つに制約 されているため,これは単純な分類問題として正解率で評価できる. 検証・テスト用データには成功時間長が 2 以上のランダムな対話を 500 ずつ用意する.

また, 各モデル同士で提案タスク全体を解かせる ことで共通基盤の形成・維持能力を評価する. 具体的には 2,000 の未知の環境で同じモデル同士を対話 させ,成功率・成功時間長によって評価を行う。

## 4.2 モデル

本研究では [11]を基にシンプルな深層学習対話モ デルを実装する. 具体的には対話トークンを GRU[2] で埋め込み, 観測をエンティティレベルの埋め込み 表現に変換する（付録 C）. 発話生成時にはエンティ ティの表現をアテンションスコアで重み付けし, 時刻 $t_{k}$ でのエンティティの選択にはスコアが最大の ものを選択する. また, 各モジュールは OneCommon コーパスを用いて事前学習を行なった.4)

このモデルをべースラインとして, どの素性が利用されているかを確認するために, エンティティの 表現から色・大きさ・位置属性のアブレーションを 行う. また, 観測の最終フレームのみを入力とするこ とで時間変化の情報のアブレーションも行う.

## 4.3 結果

実験結果を表 3 に示す.なお,ターゲット選択の人間性能は 3 名のアノテーターで確認を行なった.

まず, ターゲット選択ではベースラインの正解率 は比較的高く, 既存モデルはある程度対話中の共通基盤を正しく認識できていると考えられる. また, ア

ブレーションの結果からエンティティの色・大き さ・位置・時間変化全てが正解率に寄与しているこ とが分かる.なお, 時刻 $t_{k}(k \geq 2)$ での選択を予測す る際には前時刻 $t_{k-1}$ での選択の正解を入力としてい るため, $t_{2}$ 以降の正解率は若干高くなっている.5)

全体タスクでは $t_{1}$ での成功率が最も低く, 動的な 環境で共通基盤を新たに形成するのは難しいと考え られる. $t_{2}$ 以降の成功率は比較的高くなっているが，実際には前時刻での選択を繰り返してしまうケース が多く, 前時刻の選択エンティティが共有されなく なった場合の成功率に大きな向上は見られなかっ た. ${ }^{6 ）}$ よって, 共通基盤をそのまま保持することはで きるが変更することはまだ難しいと予想される. ま た, 時間変化の情報を利用しない場合に成功率は一貫して向上しており, 既存モデルは動的な情報を利用して基盤化を行えていないことが示唆された。

最後に, 全ての評価指標において人間の性能とは 大きな乘離があり, 提案タスクが改善の余地のある 難しいタスクであることが示された.

## 5 終わりに

本研究では動的な環境において物体の共通認識を 維持する新たな対話タスクを設計し, 人間とベース ラインモデルの基盤化の評価・分析を行なった.

将来的に対話システムの応用範囲が広がりより 実世界に近い問題を扱うようになるほど, 状況の変化に応じて共通基盤を適切に更新・維持できること は重大な要件になると考えられる. 今後は参照表現 [11] や時空間表現 [12] のアノテーションなどを通じ てより詳細な分析を可能にしつつ, 動画処理の手法 も組み合わせてより汎用性の高い対話モデルの分析・改善を行う.これらの研究を通じて, 基盤化の観点からより高度な対話モデルを追究していきたい。

5）人間のアノテーターには前時刻での正解は与えていない

6）むしろベースライン以外では成功率が下がっていた. なお,人間同士ではこの状況でも $6 \%$ 以上の成功率向上が見られた.

## 参考文献

[1]Huda Alamri, Vincent Cartillier, Abhishek Das, Jue Wang, Anoop Cherian, Irfan Essa, Dhruv Batra, Tim K Marks, Chiori Hori, Peter Anderson, et al. 2019. Audio visual sceneaware dialog. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 7558-7567.

[2]Kyunghyun Cho, Bart van Merrienboer, Dzmitry Bahdanau, and Yoshua Bengio. 2014. On the properties of neural machine translation: Encoder-decoder approaches. In Proceedings of SSST-8, Eighth Workshop on Syntax, Semantics and Structure in Statistical Translation, pages 103-111. Association for Computational Linguistics.

[3]Herbert H Clark. 1996. Using language. Cambridge university press.

[4]Harm De Vries, Florian Strub, Sarath Chandar, Olivier Pietquin, Hugo Larochelle, and Aaron Courville. 2017. Guesswhat?! visual object discovery through multi-modal dialogue. In Proc. of CVPR.

[5]Rui Fang, Malcolm Doering, and Joyce Y. Chai. 2015. Embodied collaborative referring expression generation in situated human-robot interaction. In Proceedings of the Tenth Annual ACM/IEEE International Conference on Human-Robot Interaction, HRI '15, pages 271-278, New York, NY, USA. ACM.

[6]Janosch Haber, Tim Baumgärtner, Ece Takmaz, Lieke Gelderloos, Elia Bruni, and Raquel Fernández. 2019. The PhotoBook dataset: Building common ground through visually-grounded dialogue. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pages 1895-1910, Florence, Italy. Association for Computational Linguistics.

[7]Seungwhan Moon, Satwik Kottur, Paul Crook, Ankita De, Shivani Poddar, Theodore Levin, David Whitney, Daniel Difranco, Ahmad Beirami, Eunjoon Cho, Rajen Subba, and Alborz Geramifard. 2020. Situated and interactive multimodal conversations. In Proceedings of the 28th International Conference on Computational Linguistics, pages 1103-1121, Barcelona, Spain (Online). International Committee on Computational Linguistics.

[8]Anjali Narayan-Chen, Prashant Jayannavar, and Julia Hockenmaier. 2019. Collaborative dialogue in Minecraft. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pages 5405-5415, Florence, Italy. Association for Computational Linguistics.

[9]Ramakanth Pasunuru and Mohit Bansal. 2018. Game-based video-context dialogue. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pages 125-136, Brussels, Belgium. Association for Computational Linguistics.

[10]Takuma Udagawa and Akiko Aizawa. 2019. A natural language corpus of common grounding under continuous and partially-observable context. In Proceedings of the AAAI Conference on Artificial Intelligence, volume 33, pages 71207127.

[11]Takuma Udagawa and Akiko Aizawa. 2020. An annotated corpus of reference resolution for interpreting common grounding. In Proceedings of the AAAI Conference on Arti- ficial Intelligence, volume 34, pages 9081-9089.

[12]Takuma Udagawa, Takato Yamazaki, and Akiko Aizawa. 2020. A linguistic analysis of visually grounded dialogues based on spatial expressions. In Findings of the Association for Computational Linguistics: EMNLP 2020, pages 750765, Online. Association for Computational Linguistics.

[13]Sina Zarrieß, Julian Hough, Casey Kennington, Ramesh Manuvinakurike, David DeVault, Raquel Fernández, and David Schlangen. 2016. PentoRef: A corpus of spoken references in task-oriented dialogues. In Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC'16), pages 125-131, Portorož, Slovenia. European Language Resources Association (ELRA).

## A OneCommon コーパス

A: I see three in a line going up and to the right. The middle one is the largest and darkest

B: I don't see that. I have one large, medium gray dot that's under a small, darker gray dot

A: Is the larger dot slightly to the left B: yes, slightly, let's choose the larger one A and B select: $\square$

図 4 OneCommonコーパスの対話例

図 4 に示すように, OneCommon ではエンティティ および話者 $\mathrm{A} \cdot \mathrm{B}$ は二次元平面上に位置しており， $\mathrm{A} \cdot \mathrm{B}$ はそれぞれ自分の周囲の一定の半径以内のエ ンティティのみ観測できる.この状況で, 自然言語対話による基盤化を通じて同一の・共有されているエ ンティティを一つ選択しなければならない.

## B複数エンティティの動作

toward each other

cross in front

follow (behind)図 5 複数エンティティの動作の表現.

エンティティの動作はランダムに生成している
ため, 話者はそれらのインタラクション（相互作用） を特徴的な時空間関係に見立てて表現していると考 えられる.よって, 図 5 の他にも pass by, move along withのように多様かつ語用論的な複数エンティティ の動作表現が多数見受けられた.

## C エンティティの埋め込み表現

図 6 エンティティの埋め込み表現の生成手法.

時刻間 $\left[t_{k-1}, t_{k}\right)$ の観測アニメーションからエン ティティの埋め込み表現を得る手法を図 6 に示す.

まず, 各時刻での観測フレームから空間的エン コーダーを用いて空間的素性とメタ素性の二つを 生成する. 空間的素性は [11] と同様にその時刻での エンティティの属性（色・大きさ・位置）等を多層 パーセプトロン（MLP）で埋め込む. なお, フレーム 中に存在しない場合はデフォルトの值 $(0,0)$ を観測上の位置とする. メタ素性はエンティティのメタ情報（フレーム中に存在するか, 前時刻 $t_{k-1}$ に存在し たか, 前時刻 $t_{k-1}$ で選択したか等）を二值トークン として表現し, MLPを用いて埋め込み表現に変換す る. 各時刻（観測フレーム）でのエンティティの表現は空間的素性とメタ素性の和とする.

続いて, 各観測フレームにおけるエンティティ表現を時間的エンコーダー（GRU）で埋め込み, 最終時刻での状態をエンティティの最終表現とする.


# 文法変分自己符号化器を用いた統語構造の連続的変換

折口希実
お茶の水女子大学
g1620512@is.ocha.ac.jp
}

Lis Kanashiro Pereira
お茶の水女子大学
kanashiro.pereira@ocha.ac.jp
}

小林一郎
お茶の水女子大学
koba@is.ocha.ac.jp

## 1 はじめに

ニューラル言語モデル (NLM)[1] 及び word2vec[2] は，自然言語処理技術に大きな影響を及ぼし，多く の NLP アプリケーションの基盤構築に利用されて いる。一方で，それらは言語モデルを上手く表現す るが，文の統語構造が十分に反映されているとはい えない。また自然言語を処理するのに用いられる再帰型ニューラルネットワーク (RNN) では，それ自身のアーキテクチュアの制約により，統語情報のよ うな構造化情報を効果的に処理することができな い. 深層学習のフレームワークで構造情報を処理す る方法として, Kusuner ら [3] は離散な構造を持つ データを連続な値，つまり潜在空間における埋め込 みべクトルとして扱うことができる，変分自己符号化器 (VAE) モデル [4] に基づいた新しい VAE であ る Grammar Variational Autoencoder (GVAE) を提案し ている。本研究では，GVAE モデルを改良し，自然言語文の統語構造を連続的に変換可能にし，ガウス 分布によって表された潜在空間からサンプリングす る点の変化によって連続的に統語構造を変換可能に する手法を開発する。 さらに，潜在空間にエンコー ドされたべクトルを使用し, 統語構造の観点から文 の類似性を測定する方法を提案する. 本研究で開発 する方法は，換言や構文変換、自然言語生成 (NLG) などの様々な自然言語のアプリケーションのための 有効な基礎研究になると期待する.

## 2 関連研究

深層学習を用いて自然言語の統語構造に対するア プローチとして, Shi ら [5] は、エンコーダ-デコー ダモデルが構造情報を学習可能かどうかを調べ，原文の多くの構造の詳細が生成されたテキストにお いて十分でなく久落していることを示した. デコー ダは基本的に NLM のフレームワークに基づいて文 を生成するため，明示的な構文情報の不足による非文が生成される場合が多くある。この背景を踏まえ
て，構造に関する知識を活用して文生成の品質を向上させることを目的として，いくつかの研究がこの 問題に取り組んできた．Bastings ら [6] は，グラフ畳 み込みネットワーク (GCN)を使用して，統語構造を NMT のアテンションに基づくエンコーダ-デコーダ モデルに組み込む方法を提案した. Chen ら [7] は， ソース側の構文木を，シーケンシャル表現と木構造表現の両方を学習する双方向ツリーエンコーダー とアテンションメカニズムを用いたソース側の構造が反映される（ツリーカバレッジ）モデルに明示的に組み込むことで，NMT モデルの改善を行った。 NLG の研究では, Deriu ら [8] は, 生成されたテキ ストの語彙の変動性と構造上の特徴を制御すること により，より多様な文を生成するための構造操作に ついて提示している. Hu ら [9] は，VAE と敵対的生成ネットワーク (GAN)[10]を使用して，潜在空間で の情報を操作することでテキスト生成において構文構造の改善を伴う制御を実現した. 本研究のように 潜在空間において構造情報を扱う研究として，Bao ら [11] は，分散表現によって意味を扱う潜在空間の みを用いて文を生成することは構造情報を明示的に モデル化していないことを指摘しており，DSS-VAE と呼ばれる意味空間と構造空間のもつれを解消した それぞれの空間から文を生成するVAEを提案して いる.

## 3 文法変分自己符号化器

Kusner ら [3] が提案した自己符号化器 (GVAE) は,入力として離散なデータを扱うことができる VAE モデルの一種であり，文法の生成規則も使用するこ とが可能である．潜在空間のサンプリング点を僅か に変えることで離散情報である自然言語の統語構造 をシームレスに変換することができる．彼らはその 適用例として, 分子の化学構造を ASCII 符号の英数字で文字列化した表記法である SMILES 記法を用い た分子構造に対して連続的な表現および変換方法を 示している.

GVAE モデルの概要を図 1 に示す.

図 1 GVAE の概要. 潜在空間でサンプリングされた值に 応じて，様々な構造の分子を生成できる。

## 4 統語構造に対する GVAE

GVAE を適用して自然言語の統語構造の類似性を 潜在空間において計測可能としつつ，潜在空間での サンプリングする値の変化を通じて与えられた文の 統語構造の類似関係を制御し統語構造を変換する。 GVAE のフレームワークを自然言語の統語構造に適用する場合, Kusner ら [3] で示される SMILES 記法 に基づいた分子に適用する場合とは異なり，自然言語文の統語構造は非終端記号の数と文法の生成規則数の両方の点でより複雑となる. 実際に，SMILES 記法では終端記号の数は 30 ，構文規則の数は 76 に 対して，本研究で GVAE に用いた自然言語構文を処理するための実験設定では，前者として品詞情報を 扱い，後者では短文を表現するための文脈自由文法 の規則を採用したことから，それぞれ 27 と 320 と なる1)しかし，これでは生成規則を適用させるため の制約もなく, 非文となる統語構造を生成する可能性がある。そのためそれを回避するために，文法規則として確率文脈自由文法 (PCFG) を採用する.

## 4.1 GVAE の処理の流れ

以下，GVAE の処理の流れを説明する (図 2参照).

Encoding 図 2 の(1)から(4)でされるプロセスが エンコーダーによって害行される。では，PCFG の生成規則が定義されている。では，自然言語文 の統語構造を表す一連の終端記号がシステムに入力され，その入力シーケンスは viterbi parser ${ }^{2)}$ を使用してで定義された PCFG を用いて解析される. その後, 最も確率的に可能性の高い統語構造に変換 され，前順走査によりこの構文木を一連の PCFG の 生成規則に分解する. (3)では，構文木で使用された

規則が抽出され 1-hot ベクトルに変換される. 1-hot ベクトルの数は抽出された生成規則の数と同じで あり，各ベクトルは用いられた規則を指し示してい る. (4)では，1-hot ベクトルは深層畳み込みニュー ラルネットワーク $(\mathrm{CNN})$ を介して潜在空間に表さ れる.

Decoding 図 2 の凶からで示されるプロセスが デコーダによって実行される。(5)では，まず最初に エンコードされたベクトルが潜在空間からサンプリ ングされ，次に複数の正規化されていないべクトル が再帰型ニューラルネットワーク (RNN) によって 生成される. Last-in First-out (LIFO) スタックを使用 することにより，最も可能性の高い PCFG の生成規則を取り出すことができ，(で出力されるように，取り出した規則の終端記号に基づいて統語構造を生成することができる.

Training エンコーダの出力を $\mathbf{X}$ とし, 生成規則 の総数を $K$ とする．デコーダでは，RNN の時間ス テップ $t$ の最大値は $T_{\max }$ であり, 生成されたベクト ルの集合は行列 $\mathbf{F} \in \mathbb{R}^{T_{\text {max }} \times K}$ として表す. 文法にお ける非終端記号は $\alpha$ とし, 生成されたべクトルをマ スクするべクトルは $\mathbf{F} \in \mathbb{R}^{T_{\max } \times K}$ である. 式 (1)で 示されている分布は，時間ステップ $t$ でマスクされ たベクトルから PCFG の生成規則をサンプリングす るために用いられる。また, 式 (1)の $(t, k)$ は, 行列 $\mathbf{F}$ の $(t, k)$ 要素を指している. $\mathbf{z}$ は GVAE の潜在変数 を表し， $m_{\alpha, k}$ は $k$ 番目の PCFG 規則と非終端記号 $\alpha$ の要素のベクトルに対するマスクベクトルを示す.

$
p\left(\mathbf{x}_{t}=k \mid \alpha, \mathbf{z}\right)=\frac{m_{\alpha, k} \exp \left(f_{t k}\right)}{\sum_{j=1}^{K} m_{\alpha, k} \exp \left(f_{t j}\right)}
$

$q(\mathbf{z} \mid \mathbf{X})$ はエンコーダーの出力である平均と分散 パラメータを持つガウス分布である. 損失関数 $\mathscr{L}(\phi, \theta ; \mathbf{X})$ を推定するために必要な変分下限 (ELBO) は式 (2)のように計算される.

$
\begin{array}{r}
\mathscr{L}(\phi, \theta ; \mathbf{X})=\mathbb{E}_{q(\mathbf{z} \mid \mathbf{X})}\left[\log p_{\theta}(\mathbf{X}, \mathbf{z})\right. \\
\left.-\log q_{\phi}(\mathbf{z} \mid \mathbf{X})\right]
\end{array}
$

## 4.2 統語構造の類似性

GVAE では，モデルの潜在空間はガウス分布で表 されているため，分布からサンプリング值を徐々に 変化させることで、入力構造から僅かに異なる統語構造を取得することができる。また，統語構造は潜在変数を反映していることから，統語構造の類似性 は潜在変数べクトル $\mathrm{z}$ を使用することで測定でき

 &  &  &  & $k$ from &  \\

図 2 自然言語の統語構造に対する GVAE のプロセス

る。そのため， $\cos$ 類似度を適用してべクトルを計算することで統語構造の類似度を測定する手法とし ても利用可能となる.

## 5 実験

潜在空間で表されるガウス分布からのサンプリン グ点を徐々に変化させることによる統語構造の連続的変換および異なる統語構造の類似性を測定する方法を検証するための実験を行う．

## 5.1 実験設定

表 1 に実験設定を示す. パラメータは [3]を元にして epoch 数についてはは学習可能な最大値を取りました。本研究では，およそ 10 語程度の文章に絞って行なって おり, MicrosoftCOCOデータ セット ${ }^{3}$ からこの基準を満

図 3 統語構造 1 たす 6,668 の文を選択し，StanfordCoreNLP ${ }^{4}$ を用い て文を解析を行い，GVAE で使用される生成規則を 構築した。また，PCFG を構築するために生成規則 とその確率を計算して導出し，6668 文の解析に必要 となる 320 の生成規則を取得した.

## 5.2 実験結果

統語構造の変換統語構造 1 'DT JJ NN VBZ VBG DT NN' (図 3 参照)を GVAE の入力としている.

3) https://cocodataset.org/home

4) https://stanfordnlp.github.io/CoreNLP/統語構造 1 の GVAE の出力結果を図 4 に示す. 2 次元ガウス分布として表される GVAE の潜在空間の サンプリング点の変化による統語構造の段階的な変化を示している．サンプリング点は、分散軸に従っ て 0.01 刻みで移動している. 図 4 から, 統語構造が 徐々に変化する様子を視認することができる.

統語構造の類似性 統語構造の類似性を, $\cos$ 類似度を用いて潜在変数 $\mathbf{z}$ で測定した. 図 5 は, 図 4 の中央に表示されている統語構造と各構造がどの程度類似しているかを示す。下平面の 2 軸の双方が平均値からの変化を指し，縦軸は $\cos$ 類似度を指す。表 2 は，統語構造を僅かに変化させていった際の $\cos$ 類似度を表している. 表 2 における文は統語構造に適当な単語を当てはめて作成した例文である。

表 2 統語構造の違いによる $\cos$ 類似度の変化

## 5.3 考察

図 3 を力力して潜在変数のサンプリング点を 徐々に変えることにより生成した 81 の統語構造が 図 4 であり，実際の生成結果に緩やかな構造の変化 が見られるかを検証する. サンプリング点が変更さ れていない場合において図 3 に示されている入力 は，図 4 の中央に示されている構造と一致している ことが確認できる. 図 4 から，潜在変数 $\mathbf{z}$ の値を 徐々に変化させることで統語構造がスムーズに変換されているようにも見える。また，図 5 よりサン プリング点の 2 次元方向が分散に対して同じであ る場合，構造の類似性が高くなることがわかった.一方で，連続的な変換が起こっていないように見え る箇所も確認した。例えば，下から４つ目で右から 2 つ目の交差点にある構造は，隣接する統語構造と はかなり異なっているように見えることがわかる.

図 4 統語構造 1 の連続的な変換 (サンプリング点は平均から 0.01 刻みで移動)

図 5 分散の変化による統語構造間での $\cos$ 類似度

また，別の統語構造を入力とした実験も行ったが図 4 と同様な結果を得た. 統語構造の連続的変換がう まくいっていない箇所がある原因として，訓練用の データが不十分であったという可能性が考えられ る. [3] におけるモデル訓練データ数は，文法の生成規則や終端記号数の点で自然言語のほうが化学式 の構造よりも複雑であるにもかかわらず，本研究の 10 倍であり，よりシームレスな統語構造変換に関し
てはモデルの訓練に十分なデータを増やす必要があ る.また，表 2 から統語構造の変化が大きくなると $\cos$ 類似度が低下することが読み取れた。

## 6 おわりに

本研究では，GVAEを改良し，潜在空間のサンプ リング点を徐々に変更することで，自然言語文の統語構造をシームレスに変換できる手法を開発した。実験を通じて，入力文の統語構造から徐々に変化す る構造を生成し，統語構造の類似性を潜在空間で表現されるべクトル間の $\cos$ 類似度によって測定でき ることを示した. 今後の課題として，統語構造のよ りシームレスな変換を実現するために訓練データと 文法規則の数を増やすことを考えている。さらに，提案手法を用いることで，複数文間における統語構造の類似性を正しく測定する手法を確立することを 考えている。提案手法は，ほぼ同一の意味内容を保 ちつつ大きく統語構造を変えない換言や文の類似性 の測定，要約などの様々な研究に役立つと期待して いる.

## 参考文献

[1] Yoshua Bengio, Réjean Ducharme, and Pascal Vincent. A neural probabilistic language model. In T. K. Leen, T. G. Dietterich, and V. Tresp, editors, Advances in Neural Information Processing Systems 13, pp. 932-938. MIT Press, 2001.

[2] Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg S Corrado, and Jeff Dean. Distributed representations of words and phrases and their compositionality. In C. J. C. Burges, L. Bottou, M. Welling, Z. Ghahramani, and K. Q. Weinberger, editors, Advances in Neural Information Processing Systems, Vol. 26, pp. 3111-3119. Curran Associates, Inc., 2013.

[3] Matt J. Kusner, Brooks Paige, and José Miguel HernándezLobato. Grammar variational autoencoder. Vol. 70 of Proceedings of Machine Learning Research, pp. 19451954, International Convention Centre, Sydney, Australia, 06-11 Aug 2017. PMLR.

[4] Diederik P. Kingma and Max Welling. Auto-encoding variational bayes. In Yoshua Bengio and Yann LeCun, editors, 2nd International Conference on Learning Representations, ICLR 2014, Banff, AB, Canada, April 14-16, 2014, Conference Track Proceedings, 2014.

[5] Xing Shi, Inkit Padhi, and Kevin Knight. Does stringbased neural MT learn source syntax? In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 1526-1534, Austin, Texas, November 2016. Association for Computational Linguistics.

[6] Jasmijn Bastings, Ivan Titov, Wilker Aziz, Diego Marcheggiani, and Khalil Sima'an. Graph convolutional encoders for syntax-aware neural machine translation. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 1957-1967, Copenhagen, Denmark, September 2017. Association for Computational Linguistics.

[7] Huadong Chen, Shujian Huang, David Chiang, and Jiajun Chen. Improved neural machine translation with a syntaxaware encoder and decoder. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1936-1945, Vancouver, Canada, July 2017. Association for Computational Linguistics.

[8] Jan Milan Deriu and Mark Cieliebak. Syntactic manipulation for generating more diverse and interesting texts. In Proceedings of the 11th International Conference on Natural Language Generation, pp. 22-34, Tilburg University, The Netherlands, November 2018. Association for Computational Linguistics.

[9] Zhiting Hu, Zichao Yang, Xiaodan Liang, Ruslan Salakhutdinov, and Eric P. Xing. Toward controlled generation of text. Vol. 70 of Proceedings of Machine Learning Research, pp. 1587-1596, International Convention Centre, Sydney, Australia, 06-11 Aug 2017. PMLR.

[10] Ian Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville, and Yoshua Bengio. Generative adversarial nets. In
Z. Ghahramani, M. Welling, C. Cortes, N. D. Lawrence, and K. Q. Weinberger, editors, Advances in Neural Information Processing Systems 27, pp. 2672-2680. Curran Associates, Inc., 2014.

[11] Yu Bao, Hao Zhou, Shujian Huang, Lei Li, Lili Mou, Olga Vechtomova, Xin-yu Dai, and Jiajun Chen. Generating sentences from disentangled syntactic and semantic spaces. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 60086019, Florence, Italy, July 2019. Association for Computational Linguistics.


# 小説あらすじを用いて学習した系列ラベリングモデルによる 小説本文からの人物情報抽出の性能検証

岡裕二
香川大学大学院工学研究科
s20g460@stu.kagawa-u.ac.jp
}

安藤一秋
香川大学創造工学部
ando.kazuaki@kagawa-u.ac.jp

## 1 はじめに

近年，電子書籍や小説投稿サイトの発展により,小説を読む際の場所や時間の制限が緩和されると共 に，小説の数も増加し続けている。小説の数が増え ることで個人の埕好にあった小説も増える可能性が あるが，膨大な数の小説の中から個人の嗜好にあっ た作品を発見する労力は増大していると考えられ る. 書籍を取り扱う $\mathrm{EC}$ サイトや小説投稿サイトに は，作者やジャンルなど，特定の情報に基づく検索機能が実装されてはいるが，小説の内容に踏み込ん だ検索機能は実装されていない.

個人の嗜好は，「ハッピーエンド」や「敵が仲間に なる」などの展開に関する埕好と，「銀髪赤目の少年」や「長身のメイド」などの登場人物に関する嗜好に分けることができる. 本研究では，小説内の登場人物情報を体系的に抽出することで，登場人物情報による小説検索，登場人物情報を豊富に取り入れ た小説のあらすじ生成, 人物関係図の自動生成など を目指している。

筆者らの先行研究 [1] では，商業小説のあらすじ テキストにタグ付けしてデータセットを構築し, 深層学習モデルと CRF（Conditional Random Fields）を 組み合わせた系列ラベリングモデルにより，あらす じテキストから人名，性別，容姿性格，職業などの 登場人物情報を自動抽出する手法を提案した. 本稿 では，あらすじテキストで学習した系列ラベリング モデルを Web 小説の本文に適用し, 訓練データおよ び提案モデルの小説本文に対する抽出性能について 検証する。

## 2 小説本文に基づくテストデータの 構築

小説本文を収集して，テストデータを構築する方法について述べる.

## 2.1 小説本文の収集

筆者らの先行研究 [1] で構築したデータセットは,商業小説のあらましを利用しているため，本文デー タを利用することができない，そこで，「小説家に なろう」サイトから本文データを収集する。

小説本文の収集には，「小説家になろう」を運営 している株式会社ヒナプロジェクトが提供する Web API（なろう小説 API）を用いる。なろう小説 API は，ジャンル別や人気の高い順などの条件により，「小説家になろう」に投稿されている小説の各種 データを抽出できるが，本文データを抽出すること はできない. そこで，APIを使用して小説のジャン ル，ID，タイトル，著者名，あらすじを収集し，収集した小説の IDを基に，クローリングによって本文データを収集する，収集対象は，長編小説の本文 とする.

## 2.2 テストデータの構築方法

本稿での評価に用いるテストデータは, 次の手順 で構築する。なお，タグおよびタグ付け方法につい ては，先行研究 [1] と同様である.

1.「小説家になろう」から収集した長編小説の本文のうち，三話までのテキストを 1 文ずつ形態素解析する.

2. 各形態素に対して，以下のルールでタグ付けす る.タグの形式には IOB 2 タグ形式を用いる.

・名前に名前タグ（NAME）を付与例 : 西尾，信長，シャルル・マーニュ

・性別表現に性別タグ（MF）を付与例：男，美男子，美女，乙女，女の子

・年齢表現に年齢タグ（AGE）を付与例：16歳，少年，お婆さん，幼い，高校生

・容姿や特性表現に状態タグ（STATE）を付与
例 : 白い髪, 元気, 高飛車, 天才, 職人気質

・職業や立場表現に能力タグ（PRO）を付与例：竜飼い，仙女，最高権限者，メンバー, 国王

・組織・種族名に所属タグ（AFF）を付与例: 鳳凰学園杖術部, 日本政府, 討伐軍, エルフ

・以上に当てはまらない人物情報にその他タグ （OTHER）を付与

例：異星人，神，元凶，気鋭，ペンギン

・地名や建物名に場所タグ（PLACE）を付与例: ムー大陸, 日本, パリ, 礼拝堂, 魔法学校

・人物関係表現に関係タグ（REL）を付与例: 兄, 親, 敵, 相棒, 結婚

・それ以外のものに O タグを付与

先行研究 [1] と同様, 直接的な人物情報ではない が，地名や建物名，人物関係表現についても，今後 の応用を考慮してタグ付けする。

## 3 検証に用いる深層学習モデル

性能評価に用いるモデルについて説明する。

## 3.1 検証モデル

検証モデルには, 先行研究 [1] と同様, Huang ら が提案したモデル (BiLSTM-CRF) [2], Ma らが提案 したモデル (BiLSTM-CNN-CRF) [3], Lample らが 提案したモデル (BiLSTM-CRF-L) [4], Misawa らが 提案したモデル (Char-BiLSTM-CRF) [5]の4つの深層学習モデルを採用する。

Huang らの BiLSTM-CRF は，文中の単語に対す る word embeddings を Bidirectional LSTM (BiLSTM) に入力し, 得られた単語べクトルを素性の代わ りに CRF に入力することで固有表現抽出するモ デルである. Ma らの BiLSTM-CNN-CRF と Lample らの BiLSTM-CRF-Lは，BiLSTM-CRFに対して，注目単語に含まれる文字情報を利用することで性能向上を図ったモデルである．BiLSTM-CNN-CRF は，注目単語に含まれる文字を CNN に入力して得 られた単語ベクトルを word embeddings に結合し， BiLSTM-CRFに入力することで固有表現抽出する. BiLSTM-CRF-L は，BiLSTM-CNN-CRF の CNN の代 わりに，注目単語に含まれる文字を Char-BiLSTM に 入力して得られた単語ベクトルを word embeddings に結合し，BiLSTM-CRFに入力することで固有表現抽出する. Misawa らの Char-BiLSTM-CRF は，文字単位でラベリングするモデルであり，文字のベクト ルと文字を含む単語のべクトルを BiLSTM に入力す ることで固有表現抽出するモデルである.

表 1 に深層学習モデルで用いたパラメータを示 す. Dropout は，BiLSTMへの入力の前と後に適用 した. 表 1 の下部に Ma らの BiLSTM-CNN-CRF と Lample らの BiLSTM-CRF-L で用いたパラメータを 示す. 単語ベクトルとして用いる分散表現には，日本語 Wikipedia の本文全文で事前学習されたもの [6] を用意した。事前学習に用いたパラメータは表 2 に 示すものが使われている. 単語ベクトルおよび文字 ベクトルはモデルの学習とともに値を更新する.

表 1 深層学習モデルのハイパーパラメータ

表 2 事前学習した単語分散表現のハイパーパラメータ

## 3.2 品詞・品詞細分類情報の活用

Aguilar らの研究 [7] により, 深層学習モデルに品詞情報を追加することで，ソーシャルメディア中の テキストから構築された WNUT2017 データセット に対する抽出性能が向上したと述べられている. 先行研究 [1] と同様, 本稿でも, 品詞と品詞細分類で

それぞれランダムに初期化した品詞べクトルを利用 し, 有効性を検証する，単語ベクトルや文字べクト ルを BiLSTM に入力する際に同時に入力し, モデル の学習とともに品詞べクトルの値を更新する. 次元数は, 品詞および品詞細分類でそれぞれ 5 と 10 で 実験する.

## 4 評価実験

## 4.1 評価方法

小説本文で構築したテストデータに対して，4つ の深層学習モデルと, それぞれのモデルに品詞・品詞細分類の情報を付与したモデルの抽出性能を比較 する. 抽出性能は, 適合率, 再現率, $\mathrm{F}$ 値を評価尺度に利用する. 人手でタグ付けした結果と機械学習 モデルがラベリングした結果を比較し, 完全一致し た場合のみを正解と判断する.

## 4.2 データセット

訓練データと開発データは, 先行研究 [1] で構築した，3,679 文で構成される商業小説のあらすじ データセットを 9:1 に分割して利用した。

テストデータを構築するため，まず，なろう小説 APIを用いて，ジャンルがハイファンタジー，また はローファンタジーであり，ランキング上位 2,500 件に入るという条件で収集した長編小説の中からラ ンダムに 8 作品を選出した. そして, 各小説の三話 までのテキストを MeCab[8] で単語分割し, 人手で タグ付けすることにより，3,127 文で構成されるテ ストデータを構築した。

## 4.3 実験結果

実験結果を表 3 に示す. 表 3 に示すモデルは，品詞・品詞細分類の情報を付与していない 4 つの深層学習モデルと, 品詞・品詞細分類の情報を付与 したモデルの中で最高性能のモデル（BiLSTM-CRF-

の次元数を示す. 品詞と品詞細分類それぞれに次元 が割り当てられるので，実際に付与される次元数は @の 2 倍となる. 太字部分は各ラベルでの最良 $\mathrm{F}$ 值 である.

表 3 より，PLACE（地名・建物名）と REL（関係表現）を除く全てのラベルでBiLSTM-CRF-pos10が 最良 $\mathrm{F}$ 値，または最良に近い $\mathrm{F}$ 値であることが確認 できる.また， MF（性別表現）と AGE（年齢表現）
については, どのモデルでも 9 割近い $\mathrm{F}$ 值となった. しかし, 他のラベルでは， 7 割以下の $\mathrm{F}$ 値となって おり，特にSTATE（容姿・特性表現）, AFF（組織・種族名）と PLACE（地名・建物名）は，最良 $\mathrm{F}$ 值で あっても 5 割以下と非常に低い.

次に，小説本文に対する抽出性能と比較するた め, 先行研究 [1] であらすじデータセットに対し て全体の最良性能を得た BiLSTM-CRF の抽出性能 を表 4 に示す。表 4 は，あらすじデータの 8 割を 訓練データ，1 割ずつを開発データとテストデー タに分割し，十分割交差検証を行った結果の平均 を算出している. 本稿での最良性能を確認した BiLSTM-CRF-pos10 の抽出性能と比較すると, MF （性別表現）とOTHER（その他の人物情報）以外の ラベルにおいて，抽出性能が低下している．AGE （年齢表現）については軽微であるが，それ以外の ラベルは大幅な性能の低下となった。

## 5 考察

あらすじと本文において抽出性能差が生じる要因 について考察する. 抽出性能が高い MF（性別表現） と AGE（年齢表現）は，他の人物情報と比べて，表現自体に多様性が少ないことから，高い抽出性能が 維持されていると考えられる. OTHER（その他の人物情報）に関しては，あらすじに出現する表現が多様であったため, 本文に出現する表現を包含でき，結果として，あらすじに対する性能より高くなった と考えられる. STATE（容姿・特性表現）に関して は, 容姿に関する記述法が複数あったり, 色が異な るだけで別の形態素として認識されることもあるた め，抽出性能が低下したと考えられる．NAME（人名), AFF (組織・種族名), PLACE (地名・建物名) に関しては, 固有の表現が多く, 基本的に同作品や 同じ世界を共有しない限り, 同じ名前が使われるこ とがないため, 抽出性能が低下したと考えられる。 また人名に限定すれば「姫」や「友」など他のラべ ルに付与される可能性の高い形態素も出現すること もあるため，性能が低下していると考えられる。

次に，抽出エラーについて分析する。 抽出エラー を以下の 5 種類に分類し，各割合を算出する。

・人物情報に O タグを振る間違い (ne2oMiss)

・人物情報ではない部分に人物情報タグを振って しまう間違い (o2neMiss)

・抽出範囲は正確だが，人物情報タグの種類を間違えている (classMiss)
表 3 実験結果

表 4 あらすじデータに対する最良モデル

(BiLSTM-CRF) の抽出性能

$\begin{array}{llll}\text { MF } \quad 96.06 & 96.03 \quad 95.95\end{array}$

AGE $\quad 92.56 \quad 92.83 \quad 92.62$

$\begin{array}{llll}\text { STATE } \quad 58.85 & 57.72 \quad 57.98\end{array}$

$\begin{array}{llll}\text { PRO } & 80.39 & 79.92 & 80.14\end{array}$

AFF $\quad 72.45 \quad 71.51 \quad 71.86$

OTHER $\quad 63.62 \quad 62.58 \quad 63.02$

$\begin{array}{llll}\text { PLACE } & 73.30 & 78.78 & 75.89\end{array}$

・人物情報タグの種類は正確だが，抽出範囲を間違えている (rangeMiss)

・人物情報を一部含んでいるが，人物情報タグの 種類と抽出範囲を間違えている (r\&cMiss)

最良性能モデルによる，あらすじデータに対する 抽出ミスの割合と，本文データに対する抽出ミスの 割合を図 1 に示す. 図 1 より，あらすじに対する抽出ミスと比べて，本文に対する抽出ミスは，人物情報ではない部分に人物情報タグを振ってしまう o2neMiss が多いことが確認できる。これは，「〜学校」などのような固有名詞として出てくる系列には タグを付与しているが，単なる「学校」などの特定 できない一般的な場所名にはタグを付与していない という訓練データに対するタグ付けの問題が影響し ていると考えられる。また，「主」という文字に対 して「あるじ」と読むか「おも」と読むかでタグ付 け対象か否かが変わることなども影響していると 考えられる．また，ビクリやゴロリ，ガッなどの擬音が NAME（人名）として抽出されるミスが散見さ れた．あらすじでは，短く端的に小説の内容を紹介 する必要があるため, 副詞的用法が少なく, 結果と して，本文にしか現れない用法にうまく対応できな かったと考えられる。

bilstm-crf

bilstm-crf-pos10(main_text)図 1 あらすじと本文での最良性能モデルの 抽出ミス割合の比較

## 6 おわりに

本稿では，あらすじテキストで学習した系列ラ ベリングモデルを Web 小説の本文に適用し，訓練 データおよび提案モデルの小説本文に対する抽出性能を検証した。性能評価の結果，BiLSTM-CRF に品詞・品詞細分類ベクトルを 10 次元ずつ付与したモ デル（BiLSTM-CRF-pos10）が最良性能を得ること を確認した。また，あらすじを対象とした人物情報抽出の最良性能と比較した結果, MF (性別表現) と OTHER（その他の人物情報）については，本文を対象とした場合の抽出性能の方が高くなることを確認した. 他のラベルにおいては，AGE（年齢表現） の場合は軽微に，その他のラベルについては大幅に 抽出性能が低下した. エラー分析の結果，本文を対象にした場合の抽出ミスは，人物情報ではない系列 に，人物情報タグを付与するというミスが多いこと を確認した。

あらすじデータを訓練データに利用する点につい ては，あらすじには登場しない表現や構文が本文に 出現する可能性があるため，すべてに対応できると はいえない. しかし，一作品あたりの文数が本文よ りも圧倒的に少なく，様々な作品を包含することで 未知単語を減らすことができる可能性がある。本文 データを訓練データに用いたモデルの性能が確認で きていない現状，有用性を結論づけることは難しい ため，今後検証を継続する必要がある。

## 参考文献

[1] Yuji Oka and Kazuaki Ando. Extraction of novel character information from synopses of fantasy novels in japanese using sequence labeling. In Proceedings of the 34th Pacific Asia Conference on Language, Information and Computation, 2020.

[2] Zhiheng Huang, Wei Xu, and Kai Yu. Bidirectional lstm-crf models for sequence tagging. In arXiv: 1508.01991, 2015.

[3] Xuezhe Ma and Eduard Hovy. End-to-end sequence labeling via bi-directional lstm-cnns-crf. In Proceedings of the Annual Meeting of the Association for Computational Linguistics, 2016.

[4] Guillaume Lample, Miguel Ballesteros, Sandeep Subramanian, Kazuya Kawakami, and Dyer Chris. Neural architectures for named entity recognition. In Proceedings of the North American Chapter of the Association for Computational Linguistics, 2016.

[5] Shotaro Misawa, Motoki Taniguchi, Yasuhide Miura, and Tomoko Ohkuma. Character-based bidirectional lstm-crf with words and characters for japanese named entity recognition. In Proceedings of the First Workshop on Subword and Character Level Models in NLP, 2017.

[6] 日本語Wikipedia エンティティベクトル, 2007. http://www.cl.ecei.tohoku.ac.jp/ m-suzuki/ jawiki_vector/.

[7] Gustavo Aguilar, A. Pastor López-Monroy, Fabio A. González, and Thamar Solorio. Modeling noisiness to recognize named entities using multitask neural networks on social media. In Proceedings of the North American Chapter of the Association for Computational Linguistics, 2018.

[8] Taku Kudo, Kaoru Yamamoto, and Yuji Matsumoto. Applying conditional random fields to Japanese morphological analysis. In Proceedings of the Empirical Methods in Natural Language Processing, 2004.


# 翻訳精度に基づく固有名詞の翻訳手法の研究

高井公一 ${ }^{\dagger}$ 服部元 ${ }^{\ddagger}$ 米山暁夫 $\ddagger$ 安田圭志 $\dagger$ 須藤克仁 $\dagger$ 中村哲 $\dagger$
†奈良先端科学技術大学院大学
‡株式会社 KDDI 総合研究所
takai.koichi.tc1@is.naist.jp, \{ge-hattori, yoneyama\}@kddi-research.jp
ke-yasuda@dsc.naist.jp, \{sudoh, s-nakamura\}@is.naist.jp

## 1 はじめに

近年における音声言語処理の技術の発展に伴い,機械翻訳を介した言語間音声コミュニケーション は旅行者にとって現実的なものとなりつつある。ま た，観光者が訪れるスポット，ランドマーク，飲食店などの固有名詞が多く存在し，そのカバレージが 翻訳システムの精度に影響を及ぼすことが分かって いる.この固有名詞の課題の対処として，クラスと 言われる単語のグループを用いた手法や，サブワー ドモデルなど研究されてきたが，実用では，固有名詞対訳辞書の作成コストと, 固有名詞クラスのアノ テーションのコストの問題が課題である.

本論文では，まず，クラス言語モデルに必要なア ノテーションの課題を解決し, 固有名詞クラス定義 を自動推定する手法を提案する。ここでは，日英対訳コーパスから自動翻訳指標を用いて，最適な固有名詞クラス定義を決定する。次に，機械翻訳の実験検証として, 入力文の固有名詞クラスの推定結果 により，固有名詞を正確に訳せるクラス言語モデ ルに基づく機械翻訳と，サブワードに基づく機械翻訳を使い分けることで，訳質が向上することを JParaCrawl の日英対訳コーパスを用いた実験で確認 する.

## 2 関連研究

固有名詞に着目した機械翻訳のアプローチは大別 して2つに分けられる. 1 つ目は，サブワードモデ ルのアプローチで，学習コーパスの単語をサブワー ドもしくは文字単位に細かく分割し，未知語となる 語彙を減らす手法 [1-4]である．2つ目は，未知語を 既知語に置き換え，既知語を含む文でニューラル機械翻訳（Neural Machine Translation：NMT）を行い，翻訳結果から置き換えた単語を戻す手法 [5] である。 サブワードを使用する手法は，未知語となる固有名詞が含まれていても文全体の訳は崩すことなく，流暢に翻訳できる。しかしながら，この手法では固有名詞自体の訳語が翻訳結果に出力されない問題 や，同表記の固有名詞の訳語など多義性の問題か ら，翻訳の適切さとしての課題が残る。

次に，既知語への置き換え手法は，未知語を事前学習したクラスの中から選択し, 指定したクラスの 別の固有名詞の既知語に置き換えて処理する。既知語は翻訳モデルの学習コーパスの中から選択する ため，学習量が十分なことから，文全体の訳も崩れ ず適切に翻訳できる. そして, 未知語である固有名詞の翻訳に関しては，人手で対訳辞書を作成するた め，正確に翻訳することができる．ここで，クラス 言語モデルの利用は，音声認識の分野で，未知語の 問題を解決するために用いられてきた [6-9]. この 考えは，単語クラス付き対訳辞書を用いる手法など により，コーパスベースの機械翻訳にも取り入れら れている [10-13]. しかしながら，その多くは人手 によりアノテーションされた学習データを用いて，教師あり学習を行う方法で，学習コーパスを用意す る必要がある点で課題が残る。

## 3 提案手法

本研究では，正確な固有名詞の翻訳が行える既知語への置き換え手法を用いる。まず，人手によるア ノテーションを行わなくとも固有表現認識 (Named Entity Recognition:NER) モデルの学習が行える手法 を提案する．従来研究と同様に，教師あり学習の手法を用いるが，固有名詞のクラス定義をするための 学習データを自動構築する。また比較的簡単な原言語と目的言語の対訳辞書の作成は人手で行い，翻訳 モデルに多数存在する固有名詞クラスから自動推定 する仕組みを構築する。 さらに学習した NER モデ ルにより，NMT モデルを切り替え，訳質を向上す る手法を提案する.

図 1 提案手法の処理概要

図 1 に示す通り，提案手法は，データ構築処理部，固有名詞クラス定義の推定モデル学習，および モデル切り替え処理部からなる. データ構築処理部 は，日英対訳コーパスから，自動翻訳指標を活用し て，最適な固有名詞クラス定義を決定する。作成し た推定モデルのデータから，固有名詞クラス定義の 推定モデルを学習する. そしてモデル切り替え処理部は，実際に翻訳処理する際の仕組みを想定し， SentencePiece モデルと既知語への置き換えモデルの 切り替えを NER モデルで分岐する。学習データは， モデル切り替え処理部にある翻訳モデルの学習や適応は行わず，固有名詞クラス定義推定モデルの学習 にのみ活用する。これらの 3 つの処理の詳細を説明 する。

## 3.1 データ構築

図 2 に，データ構築の処理手順を示す。日英対訳 コーパスをベースに，日本語と英語の両言語に固有名詞が含まれる文を抽出する，次に，複数存在する 固有名詞クラスの中から最も翻訳性能が高くなるク ラスを，翻訳の自動評価により決定して，学習デー タを作成する. 固有名詞クラス定義の自動付与の手順を以下に記す。

1. 固有名詞クラス定義のうち一つを選択し，既知語置き換えモデルに固有名詞を登録する。

2. 選定した 1000 文の原言語文から，上記の 1 の 辞書で，既知語置き換えモデルで翻訳する。
3. 1 で登録した固有名詞を辞書から取り除く.

4. 上記の 1 から 3 をすべての固有名詞クラスに対 して行う.

そして，上記の手順で得られた固有名詞クラスごと の翻訳結果に対して自動評価を行う。目的言語文を

図 2 データ構築処理

参照訳として，次式により最適な固有名詞クラス

$
\hat{c}=S_{B L E U}\left(T_{R E F}, T_{M T}^{c}\right)
$

$C ， T_{R E F}, T_{M T}^{c}$ ，はそれぞれ，固有名詞クラスの集合，対訳コーパス中の目的言語文，固有名詞クラ ス定義 $C$ としたときの翻訳結果である. $S_{B L E U}$ は, $T_{R E F}, T_{M T}^{c}$ の自動評価指標 BLEU スコア [14] で次式により計算する.

$
B L E U=B P_{B L E U} \times \exp \left(\frac{1}{N} \sum_{n=1}^{N} \log (P n)\right)
$

ここで, $N=4, B P_{B L E U}$ は翻訳文が参照文と比較して短い場合に用いるぺナルティ係数である. $B P_{B L E U}$ は翻訳文の単語数を $c$, 正解文の単語数を $r$ とし，以下の式で計算される.

$
B P_{B L E U}= \begin{cases}1 & (c>r) \\ e^{1-\frac{r}{c}} & (c \leq r)\end{cases}
$

このようにして対訳コーパスの原言語文に対して， $\hat{c}$ を付与することができる.

## 3.2 固有名詞のクラス推定モデル

前節の学習データから，固有名詞クラスを付与す る NER モデルを学習する。NER モデルは指定した 単語に対して，単語自身の表層標記情報や周囲の単語列の情報を用いて，固有名詞クラスを推定する手法が研究されてきた．そして，固有名詞のクラス定義は翻訳エンジンごとに定義されており，詳細な ものでは形態素情報が用いられている. 本研究の NER モデルでは，入力文に含まれる各単語をそれぞ れ $N+1$ カテゴリ（翻訳システムによって定義され

1）固有名詞クラスの選択により訳語が変化する原言語文に限 る

るクラス数 $N$ と，それ以外のクラス）に分類する形 で学習する. NER モデルに関しては, 従来研究の手法をいくつか用いて検証する。

## 3.3 モデル切り替え処理

実際の翻訳実行には，固有名詞を正確に翻訳する ために，既知語への置き換えモデルと SentencePiece モデルを切り替えて，ハイブリッド処理を行う. 図 1 の (3) にある，原言語文を NER 推定し，推定結果 により処理を分岐する．推定結果が固有名詞クラス の場合は，既知語への置き換えモデルを用いる. 固有名詞と推定した固有名詞クラスを辞書に登録し，同クラスの代表単語と置き換えて文全体を翻訳す る.そして，翻訳結果の代表単語を登録した固有名詞に戻して訳語を得る。一方，推定結果が固有名詞 クラス以外の場合は, SentencePiece モデルで文全体 を翻訳し，訳語を得る。

## 4 実験

本実験では日英機械翻訳を対象に，提案手法の有効性を確認する。また手法の有効性の確認のため, ハイブリッド手法としない個々のモデルで比較評価 する. 全評価データを SentencePiece モデルに入力 した場合をべースラインとする。 そして既知語への 置き換え手法の比較として，評価データの固有名詞 の存在を既知として，固有名詞クラスを人手で付与 したもので検証した.

## 4.1 実験条件

既知語への置き換えモデルは，国立研究開発法人情報通信研究機構のみんなの自動翻訳@ $\mathrm{TexTra}^{2}$ )を 使用した. Transformer モデルのニューラル機械翻訳 で固有名詞のクラスを選択し，辞書登録機能があ る. そして SentencePiece モデルは，JParaCrawl の日英対訳コーパスの学習済みモデル ${ }^{3}$ を使用した。

NER モデルの学習手法は，3つの手法を検証し た. 1 つ目は，BiLSTM-CRF $[15,16]$ で，推定対処の 単語を, 前方向と後方向からそれぞれ単語列を順列処理する手法である．2つ目は， $\mathrm{GRN}^{4}$ [17] で，分散表現化 [18] した単語を入力することで分類する.分散表現の取り組みは，テキスト分類 $[19,20]$ にも

表 1 ハイパーパラメータ

表 2 固有名詞クラス定義と学習データ数

応用された手法である．3つ目は，BERT-NER [21] で，マルチレイヤーTramsformer [22] である. 近年 の研究で, BERT モデルをべースした研究が活発で, NER タスクの研究もなされている [23]. 本研究で は，事前学習されたモデルをべースに，構築した コーパスを用いて FineTuning して適応する. そし て BiLSTM-CRF と GRNでは, 前述の 1000 文の学習 コーパスを用いて学習を行った. BERT-NER は，事前学習された 12 層, 隠れ層次元数 768 のモデル5）を 用い，前述の 1000 文の学習コーパスで FineTuning して学習させた. 表 2 に, 本研究の実験で使用し た NER モデルのハイパーパラメータを示す. 学習 コーパスはオープンデータの JParaCrawl の日英対訳 コーパスを使用した. 1000 万文の JParaCrawl の日英対訳コーパスから，日本語と英語の両言語に固有名詞が含まれる文を抽出し，さらにその中から，自動算出した訳語の精度 [24] の高い 1000 文を選定し て，学習コーパスとした. 固有名詞クラス定義の種類は，評価データの旅行ドメインで利用する 14 ク ラスを用い，最終的に得られた固有名詞クラス定義 と学習データ数を表 2 に示す. データセットの中で 出現割合が最も多いクラスは日本人の姓で，最も少 ないクラスはキャラクター名であった.

## 4.2 評価方法

NER モデルの性能を 3 つの指標で評価する. 1 つ 目が既知語置換率，2つ目が固有名詞正解率，そし て3つ目が BLEUによる自動評価である. NER モ

表 3 固有名詞クラス推定と BLEU 評価

 &  & BLEU \\

(ベースライン) & & & \\
BiLSTM-CRF & 24.29 & 89.86 & 37.40 \\
GRN & 45.71 & 91.30 & 35.22 \\
BERT-NER & $\mathbf{9 4 . 2 9}$ & $\mathbf{9 8 . 5 5}$ & $\mathbf{3 7 . 5 5}$ \\

デルは対象単語のクラス推定を，15 クラス（固有名詞クラス 14 と, 固有名詞でないクラス）から推定 し，固有名詞クラスと推定した場合は既知語への置 き換えモデルを用いて翻訳する。既知語置換率は，固有名詞クラスを推定できた率である。 次に，辞書登録した場合の固有名詞の翻訳の正確さの指標とし $\tau$ ，固有名詞正解率を算出する．最後に，固有名詞 の翻訳を含めた文全体の翻訳の評価として，自動評価指標の BLEU 評価を行う. NER 推定結果が自動翻訳全体に及ぼす影響を. 人手で作成した目的言語文の訳語を用いて評価比較する。

評価の対訳データは，独自に収集した，岐阜タク シーでの翻訳社会実証データの 2379 文の中から，両言語に固有名詞が含まれる 261 文を選定し, そこ から評価データとして 69 文をランダムに抽出した.固有名詞辞書のデータ作成は，翻訳者が人手で作成 し，複数のクラス定義を付与し，最終的に 285 件を エントリーした.

## 4.3 実験結果

表 3 は，固有名詞に人手でアノテーション付与す る手法, ベースラインの SentencePiece モデル，およ び提案手法の NER モデルによるハイブリッド手法 の比較評価結果である． 2 列目に既知語置換率， 3 列目に固有名詞正解率， 4 列目に BLEU スコアを記述した。既知語への置換手法は, 全ての条件におい て，基盤となる NMT と対訳辞書のエントリーは同 じで，クラスの付与方法のみが異なる. 表 3 から，人手付与の手法は，アノテーションのコストは必要になるが，固有名詞正解率が $100 \%$ と全て正確に 翻訳ができて，BLEU スコアも最も高い数值であっ た. 次に，固有名詞のアノテーション情報のない SentencePiece モデルは, 固有名詞正解率が $89.86 \%$ で，BLEU スコアが $35.73 \%$ と高精度であった。この 場合は自動で固有名詞判定は行わないが，翻訳結果 から事後分析し, 固有名詞正解率を算出した. 固有名詞正解率が高い理由は，評価データには「日本」 や「岐阜」など比較的収集しやすい用語があり，評価データの一部が，学習データの JParaCrawl に含ま れていたと考えられる。付録の表 4 に評価結果の一部を示す。一方で，人手付与と比較すると，固有名詞正解率と BLEU スコアが低く，評価データの固有名詞が $10 \%$ 近くが訳せていない. 提案手法では， BiLSTM-CRF と GRN は，既知語置換率は低かった が，固有名詞正解率がベースラインより軽微改善 できた。最も評価結果が良かったものは BERT-NER で，既知語置換率が $94.29 \%$ と非常に高い検出率と なった. そして固有名詞正解率が $98.55 \%$ と高精度 で, SentencePiece モデルと比べて大きく改善し, ア ノテーションコストが必要な人手付与に近い精度が 得られた. さらに BLEU スコアについても，人手付与には劣るが，SentencePiece モデルよりも高い訳質 が得られた. 自動構築した NER モデルによるハイ ブリッド手法は，アノテーションコストなしに，人手付与の手法に近い性能と言える.

## 5 まとめ

本論文では，クラスベースの翻訳システムへの利用を目的とし，固有名詞クラスを自動的に付与する 方法を提案した. 本手法は，対訳コーパスと翻訳シ ステムとを用いて，学習データを構築し，次に構築 したデータから NER モデルによる固有名詞クラス 推定モデルを学習した。評価実験では，このモデル から自動的にテストセットの固有名詞を推定し，推定した固有名詞クラスをニューラル機械翻訳の辞書 に登録し，得られた翻訳結果を自動評価した．実験結果によると，提案手法による固有名詞クラス推定 の既知語置換率が $94.29 \%$ で，自動評価評価も人手の アノテーションに迫るスコアで，高精度な結果が得 られた。これらの結果から，提案手法は，人手によ る学習データの作成なしに，クラスベース翻訳シス テムの固有名詞辞書拡張を可能にしたと言える.今後の検討課題として，コーパスサイズを増やして固有名詞クラス推定の精度を改善する予定である.

## 6 謝辞

本研究は，総務省「グローバルコミュニケーショ ン計画の推進 -多言語音声翻訳技術の研究開発及び 社会実証- I. 多言語音声翻訳技術の研究開発」の一環で収集したデータにより実施したものです。

## 参考文献

[1] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (ACL), p. 1715-1725, 2016.

[2] Z. Chen Q.V. Le M. Norouzi W.Macherey M. Krikun Y. Cao Q. Gao K. Macherey J.Klingner A. Shah M. Johnson X. Liu L. Kaiser S.Gouws Y. Kato T. Kudo H. Kazawa K. Stevens G.Kurian N. Patil W. Wang C. Young J. Smith J. Riesa A. Rudnick O. Vinyals G. Corrado M. Hughes Y. Wu, M. Schuster and J.Dean. Google' s neural machine translation system:bridging the gap between human and machinetranslation, 2016.[Online; accessed 28-December-2017]. http://www.pluto.ai.kyutech.ac.jp/NLP/.

[3] Minh-Thang Luong and Christopher D. Manning. Achieving open vocabulary neural machine translation with hybridword-character models. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (ACL), p. 1054-1063, 2016.

[4] M.R. Costa-Juss'a and J.A.R. Fonollosa. Characterbased neural machine translation. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (ACL), p. 357-361, 2016.

[5] Xiaoqing Li, Jiajun Zhang, and Chengqing Zong. Towards zero unknown word in neural machine translation. In Proceedings of the 25th Annual Meeting of the International Joint Conferences on Artificial Intelligence (IJCAI), p. 2852-2858, 2016.

[6] Issam Bazzi and James R. Glass. Modeling out-ofvocabulary words for robust speech recognition. In ICSLP, 2000.

[7] Hiroaki K. Genichiro K. Yoshihiko O. Yoshinori S. Yamamoto, $\mathrm{H}$. Out-of-vocabulary word recognition with a hierarchical language model using multiple markov model. In IEICE D-II 87(2), pp. 2104-2111, 2004.

[8] Shuntaro I. Yoshinori S. Yamamoto, H. Multi-class composite n-gram based on connection. In ICASSP, p. 533-536, 1999.

[9] Welly NAPTALI, Masatoshi TSUCHIYA, and Seiichi NAKAGAWA. Class based n-gram language model for new words using out-of-vocabulary similarity. In IEICE, p. 2308-2317, 2012.

[10] Masatsugu Tonoike, Mitsuhiro Kida, Toshihiro Takagi, Yasuhiro Sasaki, Takehito Utsuro, and Satoshi Sato. Translation estimation for technical terms using corpus collected from the web. In newblock In: Proceedings of the Pacific Association for Computational Linguistics, pp. 325-331, 2005.

[11] Keiji Yasuda, Panikos Heracleous, Akio Ishikawa, Masayuki Hashimoto, Kazunori Matsumoto, and Fumiaki Sugaya. Building a location dependent dictionary for speech translation systems. In CICLING, 2017.

[12] Xuezhe Ma and Eduard Hovy. End-to-end sequence labeling via bi-directional lstm-cnns-crf. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (ACL), p. 1064-1074, 2016.
[13] Sebastien Jean, Kyunghyun Cho, Yoshua Bengio, and Roland Memisevic. Onusing very large target vocabulary for neuralmachine translation. In 28th NIPS, p. 1-10, 2014.

[14] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics (ACL), 2002.

[15] Guillaume Lample, Miguel Ballesteros, Sandeep Subramanian, Kazuya Kawakami, and Chris Dyer. Neural architectures for named entity recognition. In $N A A C L-H L T$, p. 260-270, 2016.

[16] Matthew Peters, Mark Neumann, Mohit Iyyer, Matt Gardner, Christopher Clark, Kenton Lee, and Luke Zettlemoyer. Deep contextualized word representations. In NAACLHLT, p. 2227-2237, 2018.

[17] G. Dingy J. Louz Y. Zhangx H. Cheny, Z. Linz and B. Karlssonz. Grn: Gated relation network to enhance convolutional neural network for named entity recognition. 2019.

[18] Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg Corrado, and Jeffrey Dean. Distributed representations of words and phrases and their compositionality. In Advances in Neural Information Processing Systems 26. Curran Associates, 2013.

[19] Yoon Kim. Convolutional neural networks for sentence classification. In $E M N L P$, p. 1746-1751, 2014.

[20] Nal Kalchbrenner, Edward Grefenstette, and Phil Blunsom. Convolutional neural networks for modeling sentences. In COLING, p. 655-665, 2014.

[21] Mikhail Arkhipov, Maria Trofimova, Yuri Kuratov, and Alexey Sorokin. Tuning multilingual transformers for named entity recognition on slavic languages. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (ACL), p. 89-93, 2019.

[22] Noam S. Niki P. Jakob U. Llion J. Aidan N G. Łukasz K. Ashish, V. and P. Illia. bidirectional transformers for language understanding. In In Advances in neural information processing systems, p. 5998-6008, 2017.

[23] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. bidirectional transformers for language understanding. In arXiv preprint arXiv:1810.04805, 2018.

[24] Makoto Morishita, Jun Suzuki, and Masaaki Nagata. Jparacrawl: A large scale web-based english-japanese parallel corpus. In Proceedings of the 12th Conference on Language Resources and Evaluation(LREC 2020), p. 3603-3609, 2020.

## A 付録

表 4 例：評価文と翻訳結果

原言語文：あと二三分で一夜城に着きます

原言語文 : 川のこちらが犬山市です。

原言語文：何回か行きました。朴葉味噌か肉の料理がおいしかった。