# Transformer による中国古典詩歌の解釈生成ネットワークの構築

王 藝縥 荻野 正樹
関西大学大学院 知識情報研究科
$\{$ k435374, ogino $@$ kansai-u. ac. jp

## 概要

中国古代詩は素晴らしい作品が数多く残されている にも関わらず，言語的な難しさから現代の中国人で も解釈が困難な場合がある。古典的な詩を現代語の 解釈として翻訳することができれば，現代の詩人の 創作活動の支援としても役立つことが期待できる. このため, 本研究では, 古代中国の詩からその解釈 を生成する言語処理モデルを提案する．提案モデル は Transformer を使った生成モデルとなっており，詩歌を入力とし，その解釈を現代語として出力する ように学習する。提案モデルは, Attention is all you need のモデルを使用し，生成された解釈文は BLEU スコアで評価した。トークンとして，文字 (漢字) を使用する手法と, 単語を使用する手法について比較を行い, 後者の方が BLEU スコアの評価が高い結果が得られた。また, 長文の解釈文について, 要約 を用いて文字数を少なくして学習させたが，BLEU スコアとしては要約しない場合と同程度の結果が得 られた。

## 1 はじめに

近年, Generative AI と呼ばれる分野の技術の革新が進み, $\mathrm{AI}$ を使った画像生成, 文章生成, 音楽生成等の研究が盛んに行われており, 画像からの文章生成, キーワードからの画像生成などの応用研究や サービスの提供も行われている [1].

$\mathrm{AI}$ を使ったアート生成の試みとして, 中国古典詩 の生成についても多くの研究が行われている. Ryu らは, 事前学習済みモデルに基づく中国古典詩の生成の研究を提案した [2]. 彼らは主に BART などの 事前学習モデルを利用した FS2TEXT と RR2TEXT を提案したが，これらのモデルは特定のスタイルの 詩文を生成することができる．このモデルの性能を 検証するため, 詩人や詩作研究者のグループに, 中国の古典詩と BARTで生成した詩についての判別を してもらい, AI 詩についてのチューリングテストを 行った. 600 名以上の参加者についての大規模な調査では，ハイレベルな詩のファンたちでも， AI の作品と人間の作品を区別することができないことが明 らかとなった。

詩歌の創作活動は現代の中国でも人気があり，現代中国の詩人の数は 500 万人に達している。ところ が，中国には古くからの優れた詩歌の作品が残され ているにも関わらず，古典的な素養に関する学習の 機会の不足から, 古典的な詩歌の作品の解釈が難し く感じる人も多く, 古典的作品が創作に有効に活用 されているとは言えない．古典的詩歌には現代の人 からは理解しにくい表現や文法があり，それらの解釈を支援するサービスがあれば，古典的な作品から 創作のインスピレーションを得る機会も増えること が期待される．そこで，本研究では，中国の古典的詩歌について，その意味的な解釈を生成するシステ ムを提案する．提案するモデルでは Transformer [3] を使い, encoder 側に詩歌を入力し, decoder 側で詩歌を説明する文章を出力するように学習させる．学習後は古典詩歌を入力することで，現代人にわかり やすい解釈文が生成される。

## 2 提案モデル

ディープラーニングの出現により機械翻訳におい てもニューラルネットワークの有用性が着目されて きた. Seq2Seq モデルは 2014 年に Google によっ て提案された手法で, エンコーダ, デコーダに RNN を用いることにより，エンコーダでは入力された時系列情報から文脈情報を抽出し，デコーダでは文脈情報から別の時系列情報を生成する。このモデルで は学習におけるコストや精度の高い依存関係モデル を構築が難しいという問題があった。 2017 年に発表された Transformer は， RNN[4]を使わずに Attention 層だけを使ってニューラルネットワーク を構築することで，これらの問題を解決しており，

BERT, GTP をはじめ, 現在非常に多くの自然言語処理モデルの基盤技術となっている. 本研究では,

Transformer を翻訳機として使い, 古典的詩歌から現代語の解釈文へ翻訳するように学習するモデルを提案する.

通常, 自然言語処理モデルの処理では入力される トークンの長さの制限のため，長いテキストデータ は学習データとして使用することができない。しか し, 特にデータ量の少ないトレーニングセットでは，削除せずにデータを活用したほうがより深く学ぶこ とができると考えられる．

そこで本研究では，入力文の長さが最大入力トー クン数を超えた場合は，要約によって短文に変換し て入力する方法を提案する。（図 1）まず，長文テキ ストを抽出する。次に, BERT ベースの要約生成器 を用いて,古文の要約と古文解釈の要約を生成する.最後に, 生成された対になる古文書要約と古文書解釈要約を元データと混合し, シャッフルする. その 結果, より大きく, より使いやすいデータセットが 出来上がる.

本研究は Miller の提案する文章要約モデル[5]をべ ースに中国語要約プログラムを作成した. Pre-trained Language モデルとして Yang らが公開している Whole Word Masking モデルを使用している [6].

図 1 提案モデル

## 3 実験

本研究では, 実験結果に対して, 要約モデルを使用した場合と使用しない場合のデータを比較した. そして，実験テキストがすべて中国語であるのを考量し, NLTK (Natural Language Toolkit）を使って漢字単位で分割使用した場合と, 中国語専用の形態素解析ツール Jieba を使用して単語を分離した場合の 実験結果に対する影響を比較した。

## 3.1 実験条件

本研究で用いた計算機環境は，ハードウェア環境 として CPU は AMD R7 3800X， GPU は

RTX2080を使用し，ソフトウェア環境は OS とし て Ubuntu 20.04 , 深層強化学習ライブラリとして Pytorch 1.10.1を使用している.

## 3. 2 データ説明

古詩文網[7]には中国の古典詩についてタイトル，詩文，解釈が公開されており，本研究ではこのペー ジから学習データとして古詩と古文を計 7207 件抽出し, 繁体字と簡体字に変換した。最後に, それぞ れの行をスペースで区切り詩とその解釈をぺアにし た. 表 1 に学習データの一例を示す.

表 1 データの例

## 3.3 モデルのパラメータ

本研究では, [Attention is all your need] [3]の論文 から基本モデル Base と Smal1のパラメータを参考にした。モデルのパラメータを表 2 に示す. な お，GPUのメモリ量の制限により，big モデルのパ ラメータは使用していない。

表 2 パラメータ

## 3.4 形態素解析

本研究では, 形態素解析の分割の粒度による学習へ の影響を調べた。分割には Natural Language Toolkit(NLTK) [8] と Jieba[9] を使った. Natural Language Toolkit(NLTK) [8]は，NLP の分野で最も よく使われている Python ライブラリの 1 つであ る. このライブラリのユーティリティ word_tokenize を使って, テキストの切り出し処理 を行った. Jieba は中国語単語分割によく使われて いる中国語テキスト分割モジュールである. Jieba には分割の粒度について，いくつかモードが設けら れている. 表 3 に 3 つのモードでの監視の分割の違 いを示す. 本研究ではこれらのモードの中で cut_all=True を使用した。

表 3 使用した後の漢詩の分け方

 \\

## 4 結果と考察

## 4. 1 モデルパラメータによる比較

2 つの異なるパラメータを用いて得られた BLEU スコアを表 4 に示す.表 4 モデルによる BLEU スコア比較

2 つの結果を比較すると，Base を使用した方が BLEU スコアが高いことがわかる.

## 4.2 分割単位による比較

入力する文の分割に Jieba を使って単語で分割し た場合の BLEU スコアと, NLTK を使って個別の漢字 で分割した場合の BLEU スコアを表 5 に示す.

表 5 分割単位による BLEU スコア

表 4 に示すように, Jieba を使用することによっ て, BLEU スコアが大幅に向上することが確認でき た.

## 4.3 提案モデルの使用

解釈文として要約文を使用した場合と使用してい ない場合の学習曲線を図 2 に示す. 両者のモデルと も 2000 エポックで loss が収束した.

図 2 解釈文出力モデルの学習曲線

学習済みモデルを用いて詩の解釈を生成した例を表 6 に示す。学習データに要約文を使用した場合と使用していない場合もこの解釈が生成されている.

要約文不使用と使用の場合の BLEU スコアを表 7 に示す. 表の BLEU スコアから，要約文を使用した データセットの BLEU スコアは，使用しなかった場合のスコアから大きく変化していないことがわかる。

これは，データ量を同じにした結果である。したが って, 長文を要約処理したデータを本来のデータに 入れても悪影響を与えないと結論づけられる。しか し同時に, この解釈で生成された結果を評価するた めに BLEU スコアを使用した。

表 6 詩の解釈を生成した例

 \\

表 7 BLEU スコア

通常，翻訳を評価する指標として BLEUが使われる が，このように同じ言語間の解釈生成の時もこの指標を使うことに問題がないかどうかは, 今後検討解決されるべき問題である.

まだ，複数の解釈文を読むと，ある言葉の意味は 明確に説明されているものの, 文章全体がスムーズ に読めないことがわかる. これは, 通常の日常的な 使用に悪影響を及ぼすと考えられる。

さらに, 現在では, BERT で事前に学習したモデ
ルを用いて小規模なデータセットで再学習すること が一般的になっており，少ない計算資源でより優れ た詩の解釈生成モデルを迅速に学習できる可能性が ある. 今後, BERT の学習済みモデルで再学習を行 うことが今後の課題になる。

## 6 おわりに

本研究は詩歌解釈生成サービスを構築した。古代漢詩や文言文からその解釈を生成することに成功し た.

そして，要約生成器を用いて作成した長文要約を トレーニングセットとテストセットに入れ，その結果を比較した. BLEU スコアに大きな変化はないこ とがわかった。その結果, 長文の要約を使用して も学習結果に影響を与えないという結論に達した。次に，形態素解析に Jieba を使用した場合の BLEU の結果への影響を比較したところ, Jieba を使用す ることによって，BLEU スコアが大幅に上がること が確認できた。

しかし, 解釈の評価する指標, 文章流暢さの問題 など課題が残っている。これらの解決は今後の課題 になる。

## 参考文献

1. Liu, Yusen and Liu, Dayiheng and Lv, Jiancheng and Sang, Yongsheng. Generating Chinese Poetry from Images via Concrete and Abstract Information arXiv preprint arXiv: 2003.10773, 2020.

2. Wang Z, Guan L, Liu G. Generation of Chinese classical poetry based on pre-trained model[J]. arXiv preprint arXiv:2211.02541, 2022.

3. A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit, L. Jones, A. Gomez, Kaiser, and I. Polosukhin. Advances in Neural Information Processing Systems, page 5998-6008. (2017)

4. Yi, Xiaoyuan and Li, Ruoyu and Sun, Maosong Generating Chinese Classical Poems with RNN EncoderDecoder arXiv preprint arXiv: 1604.01537, 2017.

5. Miller D. Leveraging BERT for extractive text summarization on lectures[J]. arXiv preprint arXiv:1906.04165, 2019.

6. Cui Y, Che W, Liu T, et al. Pre-training with whole word masking for chinese bert $[\mathrm{J}]$. IEEE/ACM

Transactions on Audio, Speech, and Language

Processing, 2021, 29: 3504-3514.

## 7. 古诗文网 https://www.gushiwen.cn

8. Bird, Steven, Edward Loper and Ewan Klein (2009) Natural Language Processing with Python. O'Reilly Media Inc.

9. jieba: https://github.com/fxsjy/jieba


# 単語ベクトルの平行四辺形を特徵づける図形距離

前田晃弘 ${ }^{1}$ 鳥居拓馬 ${ }^{2}$ 日高昇平 1
1 北陸先端科学技術大学院大学 2 東京電機大学
\{akihiro.maeda,shhidaka\}@jaist.ac.jp tak.torii@mail.dendai.ac.jp

## 概要

単語の意味的・統語的関係を表わす単語ベクトル が四項類推課題を解くことはよく知られている．そ のベクトル演算は類推関係にある単語べクトルが平行四辺形をなしていることを示唆している.これに 着目して高次元空間にある単語ベクトルの配置を図形の幾何的性質により特徴づけることを試みる。四 つの単語からなる単語群の平行四辺形らしさを測定 するメトリックとして図形距離を提案し，これを用 いて類推関係にある単語群が平行四辺形に近い配置 にあることを実証する。図形距離は単語群の関係性 を定量的かつ精緻に特徴づける性能を有しており，新たな研究ツールとなるとともに言語構造の解明に 幾何的にアプローチすることを可能にする.

## 1 はじめに

## 1.1 単語ベクトルによる四項類推課題

単語埋め込み（単語ベクトル）は単語間の意味的・統語的関係を表していることが知られ，四項類推課題はその代表的な現象である. 例えば， king:queen::man:woman のような類推関係に対して, それぞれの単語べクトル間に $\boldsymbol{v}_{\text {king }}-\boldsymbol{v}_{\text {queen }}+\boldsymbol{v}_{\text {woman }} \approx$ $v_{\text {man }}$ という演算が成り立つ. Mikolov et al. [1] 等の 先行研究では典型的にコサイン類似度により両辺が 比較されるが, 同時に king:man::queen:woman の語順の平行関係も成り立つことから四項類推関係は平行四辺形の存在を示唆すると考えられる $[2,3]$.

## 1.2 平行四辺形は存在するか？

単語ベクトルは高次元空間の点であるが，その 4 点が平行四辺形のような平面図形をなしているとは どの様な状態であろうか. ユークリッド距離やコサ イン類似度は 2 つの単語ベクトル間の関係性を評価 するものであるが，3 以上の単語間にも関係性や対称性があると考えられる。また構造言語学の立場か
らは単語の意味関係は絶対的なものではなく差異に より特徵づけられるとされる [4]. 図形のもつ幾何的性質を用いて高次元空間に住む単語べクトルの集 まりが持つ関係性を特徴づけたいというのが本研究 の動機である.

## 1.3 単語関係を幾何的に捉える

本研究では類推関係にある単語ベクトルが示唆す る平行四辺形に着目して, まず高次元ベクトル空間 における平行四辺形を数学的に定義する. その上で 四つの単語ベクトルが平行四辺形をなす条件を導出 して, 平行四辺形らしさを表す新しい指標として図形距離を提案する. さらに図形距離を実コーパスか ら生成された単語ベクトルに適用してその幾何的性質を定量的に評価する．単語ベクトル間の関係を 幾何的に捉えることで言語の豊かな対称性を抽出 する。

## 2 図形距離

## 2.1 高次元空間の平行四辺形

ユークリッド幾何における図形とは任意の相似変換によって不変に保たれる幾何学的性質を持つ対象 として定義される [5]. 従って，高次元空間内の図形も相似変換群の全ての変換に対して不変に保たれ る性質によって定義できる。

平面における平行四辺形は複数の性質1)を持つ が，本論文では高次元ベクトル空間における平行四辺形を次のように定義する。

定義 $d$ 次元ベクトル空間における 4 つのべクト ル $\mathbf{x}_{1}, \mathbf{x}_{2}, \mathbf{x}_{3}, \mathbf{x}_{4}$ について,

$
\mathbf{x}_{1}-\mathbf{x}_{2}=\mathbf{x}_{3}-\mathbf{x}_{4}
$

が成り立つ時 4 つのベクトルは平行四辺形をなす.

1） 平行四辺形は (i)2 組の対辺がそれぞれ平行，(ii) 1 組の対辺 が平行かつ同じ長さ，(iii)2 組の対角がそれぞれ等しい，(iv)対角線の中点が一致するという性質を持つ.

## 2.2 頂点の選び方

任意に与えられた 4 つのベクトルを定義の式 (1) にある $\mathbf{x}_{1}, \mathbf{x}_{2}, \mathbf{x}_{3}, \mathbf{x}_{4}$ へ割り当てる選び方は $4 !=24$ 通 りあり, 頂点の置換は 4 次対称群 $S_{4}$ をな. この うち式 (1)を不変とする置換は, ベクトルの添字を置換の対象として表せば $\{(14),(23)$, (12)(34）\}を生成元とする $S_{4}$ の部分群である. 位数は $2 \times 2 \times 2=8$ で あるので，4つの頂点に対して異なる四角形をなす 頂点の選び方は $24 / 8=3$ 通り存在する.

図 1 は， 3 通りの頂点の選び方に対応した平行四辺形を表しており，パタン 1 は $\mathbf{x}_{1}$ と $\mathbf{x}_{4}$ が対角とな る頂点の選び方であり, パタン 2 では $\mathbf{x}_{1}$ と $\mathbf{x}_{3}$ が対角, パタン 3 では $\mathbf{x}_{1}$ と $\mathbf{x}_{2}$ が対角をなす.

図 1 四角形の頂点の選び方

## 2.3 平行四辺形の必要十分条件

4 つの単語 $w_{1}, w_{2}, w_{3}, w_{4}$ を表す単語ベクトルをそ れぞれ $\mathbf{x}_{1}, \mathbf{x}_{2}, \mathbf{x}_{3}, \mathbf{x}_{4} \in \mathbb{R}^{d}$ とし, 行方向に沿って並べ た行列 $X=\left[\begin{array}{llll}\mathbf{x}_{1} & \mathbf{x}_{2} & \mathbf{x}_{3} & \mathbf{x}_{4}\end{array}\right]$ を単語べクトル群と呼ぶ. $X$ は $d$ 行 4 列の行列である. このとき単語ベクトル 群 $X$ が定義 (1)を満たすための必要十分条件は, 3 つの頂点の選び方を考慮して

$
\mathbf{p}_{1}=\left[\begin{array}{c}
1 \\
-1 \\
-1 \\
1
\end{array}\right], \quad \mathbf{p}_{2}=\left[\begin{array}{c}
1 \\
-1 \\
1 \\
-1
\end{array}\right], \quad \mathbf{p}_{3}=\left[\begin{array}{c}
1 \\
1 \\
-1 \\
-1
\end{array}\right]
$

とすると，

$
X \mathbf{p}_{1}=\mathbf{0}_{d}, \quad X \mathbf{p}_{2}=\mathbf{0}_{d}, \quad X \mathbf{p}_{3}=\mathbf{0}_{d}
$

のいずれかが充されることである. $\mathbf{0}_{d}$ は $d$ 次元の ゼロベクトルである ${ }^{2}$.

式 (3) の形より 4 つのベクトルは $d$ 次元空間内の 超平面上にあることが直ちにわかる.

2）単語ベクトル間の関係性を行列により表現することの利点 は, 幾何学・線形代数・群論などの数学的操作を言語構造に 対して行うことが可能となることである [6].

## 2.4 平行四辺形らしさの定量化

次に単語ベクトル群の平行四辺形までの距離を定 める．考え方としては，単語べクトル群 $X$ を $d$ 次元空間 $V$ 上の 4 つのベクトルの集まりではなく, $4 d$次元空間 $W$ 上の 1 点 $\mathbf{x}:=\operatorname{vec}(X) \in W$ とする ${ }^{3)}$. 平行四辺形をなしている単語ベクトル群を表すすべて の点の集まりを $W$ の部分空間 $U$ とすれば，点 $\mathbf{x}$ か ら部分空間 $U$ までの距離（ユークリッド距離）を算出でき，これを平行四辺形までの距離（図形距離） と定義できる.

図形距離がゼロであるとき単語ベクトル群は平行四辺形をなし, 図形距離（正值）が大きくなるほど 平行四辺形から遠くなる. 平行四辺形をなす全ての 単語ベクトル群の集合は， $W$ の部分空間（カーネ ル） $K_{i}$ として次式で表される ${ }^{4)}$.

$
\begin{aligned}
K_{i} & =\left.\{X \in V^{4} \mid X \mathbf{p}_{i}=\mathbf{0}_{d}\right.\} \\
& =\left.\{\mathbf{x} \in W \mid\left(\mathbf{p}_{i}^{t} \otimes I_{d}\right) \mathbf{x}=\mathbf{0}_{d}\right.\} \quad(i=1,2,3)
\end{aligned}
$

点 $\mathbf{x}$ から 3 つのカーネルまでの距離 $d_{i} \quad(i=1,2,3)$ は次の通りである.(導出は AppendixAを参照)

$
\begin{aligned}
& d_{1}=\left.\|\frac{\mathbf{x}_{1}+\mathbf{x}_{4}}{2}-\frac{\mathbf{x}_{2}+\mathbf{x}_{3}}{2}\right.\| \\
& d_{2}=\left.\|\frac{\mathbf{x}_{1}+\mathbf{x}_{3}}{2}-\frac{\mathbf{x}_{2}+\mathbf{x}_{4}}{2}\right.\| \\
& d_{3}=\left.\|\frac{\mathbf{x}_{1}+\mathbf{x}_{2}}{2}-\frac{\mathbf{x}_{3}+\mathbf{x}_{4}}{2}\right.\|
\end{aligned}
$

このうち最短距離を与えるものを平行四辺形までの 距離 $d$ とする．幾何学的には 2 組の対角線の中点の 間の距離を意味しており, 中点が一致するとき距離 はゼロとなり図形は平行四辺形となる.

$
d=\min \left.\{d_{1}, d_{2}, d_{3}\right.\}
$

## 2.5 平行四辺形距離の正規化

合同・相似な図形には同じ平行四辺形距離を付与 したい. 平行移動，拡大（縮小), 回転に対して不変 となるよう正規化するための正規化項 $Z$ は次の通り である ${ }^{5)}$ (AppendixB)

$
Z=\left(\sum_{i=1}^{4}\left.\|\mathbf{x}_{i}-\mathbf{m}\right.\|^{2}\right)^{1 / 2} \quad \text { where } \mathbf{m}:=\frac{1}{4} \sum_{i=1}^{4} \mathbf{x}_{i}
$

3）vecオペレータは行列を列ベクトルに並べ替える作用素.
4) $t$ は転置, $\otimes$ はクロネッカー積, $I_{d}$ は $d$ 次元の単位行列.

5） 幾何学的には，4つのべクトルをその重心が原点となるよ う平行移動して（中心化して） $4 d$ 次元空間におけるノルム を正規化項としている.

## 3 実験手法

## 3.1 目的とアプローチ

実コーパスから生成された単語ベクトルにおいて 類推関係にある単語群を判別できるか平行四辺形距離を用いて評価する. 類推関係にある 4 つ組の単語群を 1 群，無作為に抽出した 4 つ組を 2 群として， それぞれについて算出された正規化済みの平行四辺形距離の分布について $\mathrm{t}$ 検定を行う.

## 3.2 単語ベクトル生成のためのデータ

単語共起カウントによる単語ベクトル 実コーパ スより単語共起頻度をカウントして単語ベクトルを 生成する. English wikipedia dump(20171001 時点)を 使用した. トークン数は約 79 億語，語彙数は約 260 万語，前後 5 語以内に生起した単語を共起単語とし てカウントする. テストセットの語彙との共起頻度上位 10000 語と，テストセットの語彙の和集合にな る計 10072 語の単語共起行列について，その成分 を対数化したものを logfreq10000 とする [7]. さら に, logfreq10000 に対して特異值分解を行い 300 次元へ次元削減したものを svd10000 とする.

logfreq10000 と svd10000 の行ベクトルをそれぞ れの行に対応する単語の単語ベクトルとする

Word2vec また，ニューラルモデルにより生成 された単語ベクトルとして wor2vec[8] の学習済みモ デル (spaCy en-core-web-lg[9]) より logfreq10000 と 同じ語彙の単語ベクトルを抽出してw2v10000 と する.

## 3.3 正解テストセット

類推関係にある単語群として, Google Analogy Test Set[1] を用いる.これには 19,544 組の単語 4 つ 組（例：king-queen-man-woman）が含まれており，14 のカテゴリー（うち9つは統語的な類推関係，5つ は意味的な類推関係）に分類されている。

単語 4 つ組は，2つの単語ペアの組み合わせ (例： king-queen と man-woman)からなっており, ユニーク な単語ペアとしては 573 組を含む. Google Analogy Test Setでは，全ての単語ペアの組み合わせを網羅 していないため，あらためて各カテゴリーごとに全 ての単語ぺアを組み合わせて 15,247 組の4つ組を得 た (「正解テストセット」という).

## 4 実験結果

## 4.12 群間の比較

図 2 に，類推関係を持つ単語群 (“analogy_testset”) と無作為に抽出した 4 単語 (“random_sampling”) につ いて算出された平行四辺形距離の分布を示す.

logfreq10000では類推関係の単語群の図形距離は平均 0.321 であるのに対して，無作為抽出 は平均 0.436 であり,その差は 0.115 で統計的 に有意な違いが見られた $(t(15246)=114.7, p<$ 0.001). 同様に svd10000 では analogy-testset $の$ 平均値 0.322 と random_sampling の平均値 0.435 の差は $0.113(t(15246)=112.1, p<0.001)$ と有意である.

また，w2v10000 においても analogy_testset の平均値 0.391 に対し random_sampling の平均値 0.535 と類推関係にある単語群の距離は 0.144 小さく有意な差 を示した $(t(8576)=145.6, p<0.001)$ が，その分布形状の差は著しい。なお，w2v10000 に欠けている語彙 を含むカテゴリー capital-word を除外したためサン プル数が異なる.

図 2 図形距離の比較

## 4.2 分析

カテゴリーごとに比較すると, 最も平行四辺形に 近いカテゴリーは family (平均 0.257), 次いで gram4superlative(平均 0.277) であった. 反対に平行四辺形 から遠いカテゴリーは gram1-adjective-to-adverb（平均 0.369), 次いで opposite(平均 0.358) であった.

平均図形距離が最小の family についてカテゴリー 内の順位を見ると，最も平行四辺形に近い単語群は “his-her-nephew-niece” の 4 つ組であり，その図形距離 0.095 は全カテゴリーの中でも最小であっ た. 反対に, 最も平行四辺形から遠い単語群は, "policeman-policewoman-stepbrother-stepsister" であり, その平行四辺形距離は 0.549 である. 無作為抽出を 含めて算出した値の中での最大值に近い値である.

$\mathrm{t}$ 検定の結果は平行四辺形距離が類推関係にある 単語群を有意に特徴づけることを示しているが，そ
表 1 頂点の配置パタン占率 (\%)(logfreq10000)

の順位を見ると低頻度の単語を含む場合に特に平行四辺形距離のばらつきが大きく, 識別精度に課題が ある. 本論文では紙面の都合上割愛するが正規化項 を通じてノルムが過大な影響を及ぼしていると思わ れ，今後の研究課題である.

## 5 考察

## 5.1 ベクトルの逆転現象

式 (9) により平行四辺形距離を算出する際に，最小距離を与える頂点配置のパタンを各カテゴリーご とに示したのが表 1 である.

正解テストセットに含まれる単語ぺアは関係の方向を反映した並びとなっており，例えば family カテ ゴリーでは father-mother のように男性・女性の並び である。このような単語ペアを組み合わせて4つ組 を作ると, 単語ベクトル $\mathbf{x}_{1}, \mathbf{x}_{2}, \mathbf{x}_{3}, \mathbf{x}_{4}$ はペア 1 の男性, 女性, ペア 2 の男性, 女性という並びとなる。従って類推関係が成立していれば $\mathbf{x}_{1}-\mathbf{x}_{2} \simeq \mathbf{x}_{3}-\mathbf{x}_{4}$ が成り立って，3つのカーネルまでの距離のうち $d_{1} \simeq 0$ が最短距離となる (パタン 1 に対応).

しかるに, family など 4 つのカテゴリーでパタ ン 2 が 2 割以上を占める. つまり式 (7) が適用され $\mathbf{x}_{1}-\mathbf{x}_{2} \simeq \mathbf{x}_{4}-\mathbf{x}_{3}$ が成り立っていることになる. これ が示唆するのは, 男性単語と女性単語の間の差べク トルの向きが 2 つのぺア間で逆転する現象が起きて いるということである.

表 2 に差ベクトルの方向に対応するペアを例示 する. 順方向のペアを組み合わせた 4 つ組の場合,例えば $\boldsymbol{v}_{\text {he }}-\boldsymbol{v}_{\text {she }}=\boldsymbol{v}_{\text {father }}-\boldsymbol{v}_{\text {mother }}$ が成り立つので $\boldsymbol{v}_{\text {he }}-\boldsymbol{v}_{\text {she }}+\boldsymbol{v}_{\text {mother }}=\boldsymbol{v}_{\text {father }}$ の演算により左辺の 3 単語から fatherを推定できるが, 逆転が起きているぺア表 2 順方向と逆方向の差分ベクトルを持つ単語ペア事例

 &  \\

の場合 $\boldsymbol{v}_{\text {he }}-\boldsymbol{v}_{\text {she }}=\boldsymbol{v}_{\text {wife }}-\boldsymbol{v}_{\text {husband }}$ が成立しているの で, 四項類推演算を行う場合には $\boldsymbol{v}_{h e}-\boldsymbol{v}_{\text {she }}+\boldsymbol{v}_{\text {wife }}=$ $v_{\text {husband }}$ ではなく $\boldsymbol{v}_{\text {he }}-\boldsymbol{v}_{\text {she }}+\boldsymbol{v}_{\text {husband }}=\boldsymbol{v}_{\text {wife }}$ の演算が成り立つ.

## 5.2 逆転現象の要因

単語ペアの差ベクトルが反転する原因は，単語ベ クトルのノルムの逆転が起きているからである. 例 えば family カテゴリーの多くのペアでは男性単語べ クトルのノルムは女性単語のそれよりも大きいが,反転しているぺアの場合に女性単語のノルムの方が 大きい。言語現象上の要因としては，コーパス中の 出現頻度において男女バイアスが存在しているか らであり，一般に男性単語の方が頻度が高いが，逆転しているぺアでは，例えば husband よりも wifeが 頻出するのは his wife のように男性の文脈において wife が出現することの方が her husband よりも多い ということが想定される.

同じカテゴリーの中に異なる関係性を持つぺアが 存在してサブカテゴリーをなしていることを示唆し ており, 平行四辺形距離はそのような単語間の関係性を定量的に測定する機能を有している。

## 6 おわりに

本研究では単語群の持つ意味的・統語的関係を幾何的性質として捉え，新たなメトリックとして図形距離を提案した. そして類推関係にある単語群が高次元空間内で平行四辺形に近い配置にあることを実証した. 精度の改善のため正規化手法の見直しが必要であるが，図形距離を用いることで，半自動的な 類推関係の発見や，類推関係の種類の細分化などが 期待される. また図形距離は本稿で対象とした平行四辺形以外の図形にも拡張できる. そのため他の立体図形をなす単語群の研究も進行中である. ${ }^{6)}$.

## 謝辞

本研究は JST さきがけ JPMJPR20C9 の助成を受け

て行われた。

## 参考文献

[1] Tomas Mikolov, Kai Chen, Greg Corrado, and Jeff Dean. Efficient estimation of word representations in vector space. pp. 1310-4546, 2013.

[2] Dawn Chen, Joshua C. Peterson, and Thomas L. Griffiths. Evaluating vector-space models of analogy. CoRR, Vol. abs/1705.04416, , 2017.

[3] Joshua C. Peterson, Dawn Chen, and Thomas L. Griffiths. Parallelograms revisited: Exploring the limitations of vector space models for simple analogies. Cognition, Vol. 205, p. 104440, 2020

[4] 丸山圭三郎. ソシュールを読む. 岩波書店, 1983.

[5] 河田敬義. アフィン幾何・射影幾何. 岩波書店, 1967.

[6] 前田晃弘, 鳥居拓馬, 日高昇平. 単語共起行列の内部構造解明のための構成論的アプローチ. 2022 年度日本認知科学会第 39 回大会, 2022.

[7] Takuma Torii, Akihiro Maeda, and Shohei Hidaka. Embedding parallelepiped in co-occurrence matrix: simulation and empirical evidence. In Joint Conference on Language Evolution (JCoLE2022), 2022.

[8] Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg Corrado, and Jeff Dean. Distributed representations of words and phrases and their compositionality. pp. 1310-4546, 2013.

[9] spaCy. Models and language, 2023. https:spacy.io/ usage/models.

## A カーネルまでの距離の導出

平行四辺形の必要十分条件を示す式 (3) は，次の ようにべクトル化することができる.

$
\operatorname{vec}\left(X \mathbf{p}_{i}\right)=\left(\mathbf{p}_{i}^{t} \otimes I_{d}\right) \operatorname{vec}(X)=A_{i} \mathbf{x}
$

ただし, $A_{i}:=\mathbf{p}_{i}^{t} \otimes I_{d}, \operatorname{vec}(X)=\mathbf{x} \in \mathbb{R}^{4 d}$ である.

平行四辺形をなすすべての点の集合は $A_{i}$ のカーネ ル $K_{i}$ として次の通りである.

$
K_{i}=\left.\{\mathbf{x} \in \mathbb{R}^{4 d} \mid A_{i} \mathbf{x}=\mathbf{0}_{d}\right.\}
$

頂点パタン $i$ の平行四辺形までの距離を点 $\mathbf{x}$ から カーネル $K_{i}$ までの距離として求める. $K_{i}$ は行列 $A_{i}$ の行空間 $C\left(A_{i}\right)$ の補空間であることを踏まえ $\left(\mathbb{R}^{4 d}=K_{i} \oplus C\left(A_{i}\right)\right)$, まず $C\left(A_{i}\right)$ への射影行列 $\Pi_{i}$ を 考える. $\mathbf{x}$ を $C\left(A_{i}\right)$ へ直交射影した点を $\mathbf{z}_{i}$ とする. すなわち， $\Pi_{i} \mathbf{x}=\mathbf{z}_{i}$ である. $\mathbf{z}_{i} \in C\left(A_{i}\right)$ であるので， $A_{i}^{t} \mathbf{w}=\mathbf{z}_{i}$ なる $\mathbf{w}$ が存在する.

点 $\mathbf{x}$ と点 $\mathbf{z}_{i}$ を結ぶ直線は部分空間 $C\left(A_{i}\right)$ への垂線 となるので $A_{i}\left(\mathbf{x}-\mathbf{z}_{i}\right)=\mathbf{0}$ が成り立ち，これを展開す ると $\mathbf{w}=\left(A_{i} A_{i}^{t}\right)^{-1} A_{i} \mathbf{x}$ を得て次の式に代入する.

$
\begin{aligned}
\Pi_{i} \mathbf{x} & =\mathbf{z}_{i} \\
& =A_{i}^{t} \mathbf{w} \\
& =A_{i}^{t}\left(A_{i} A_{i}^{t}\right)^{-1} A_{i} \mathbf{x}
\end{aligned}
$

この式は任意の $\mathbf{x}$ について成り立つので $\Pi_{i}=$ $A_{i}^{t}\left(A_{i} A_{i}^{t}\right)^{-1} A_{i}$ である. $A_{i}=\mathbf{p}_{i}^{t} \otimes I_{d}$ を用いて, さらに 式を展開する. $i=1$ の場合，

$
\begin{aligned}
\Pi_{1} \mathbf{x} & =A_{1}^{t}\left(A_{1} A_{1}^{t}\right)^{-1} A_{1} \mathbf{x} \\
& =\left(\frac{1}{4}\left(\mathbf{p}_{1} \mathbf{p}_{1}^{t}\right) \otimes I_{d}\right) \mathbf{x} \\
& =\frac{1}{4}\left[\begin{array}{cccc}
I_{d} & -I_{d} & -I_{d} & I_{d} \\
-I_{d} & I_{d} & I_{d} & -I_{d} \\
-I_{d} & I_{d} & I_{d} & -I_{d} \\
I_{d} & -I_{d} & -I_{d} & I_{d}
\end{array}\right]\left[\begin{array}{l}
\mathbf{x}_{1} \\
\mathbf{x}_{2} \\
\mathbf{x}_{3} \\
\mathbf{x}_{4}
\end{array}\right] \\
& =\frac{1}{4}\left[\begin{array}{c}
\mathbf{x}_{1}-\mathbf{x}_{2}-\mathbf{x}_{3}+\mathbf{x}_{4} \\
-\mathbf{x}_{1}+\mathbf{x}_{2}+\mathbf{x}_{3}-\mathbf{x}_{4} \\
-\mathbf{x}_{1}+\mathbf{x}_{2}+\mathbf{x}_{3}-\mathbf{x}_{4} \\
\mathbf{x}_{1}-\mathbf{x}_{2}-\mathbf{x}_{3}+\mathbf{x}_{4}
\end{array}\right]
\end{aligned}
$

となるので

$
d_{1}=\left.\|\Pi_{1} \mathbf{x}\right.\|=\frac{1}{2}\left.\|X \mathbf{p}_{1}\right.\|=\left.\|\frac{\mathbf{x}_{1}+\mathbf{x}_{4}}{2}-\frac{\mathbf{x}_{2}+\mathbf{x}_{3}}{2}\right.\|
$

である. $i=2,3$ の場合も同様である.

## B 正規化項の導出

点 $\mathbf{x}$ からそれをカーネル $K_{i}$ へ直交射影した点ま での垂線の距離を, 原点 $O$ から点 $\mathbf{x}$ までの斜辺の距離で正規化すれば正弦が得られるが，その方法では 図形の平行移動の影響を受けてしまう。これを避け るために，空間 $V=\mathbb{R}^{d}$ における 4 点を任意のべク トル $\mathbf{b} \in V$ で平行移動したものと同一視する. これ は空間 $W=\mathbb{R}^{4 d}$ においては, $\mathbf{x} \in W と \mathbf{x}+\mathbf{1}_{4} \otimes \mathbf{b} \in W$ を同一視することに等しい.

任意の点 $\mathbf{x}$ に対して，原点と同一視できる点の中 で最短距離を与えるものをその原点して選ぶことと して，平行移動 $b^{\prime}=\mathbf{1}_{4} \otimes b$ を次のように求める.

$
\begin{aligned}
\min _{\mathbf{b}^{\prime}} \delta & =\min _{\mathbf{b}^{\prime}}\left.\|\mathbf{x}-\mathbf{b}^{\prime}\right.\| \\
& =\min _{\mathbf{b}}\left.\|\mathbf{x}-\mathbf{1}_{4} \otimes \mathbf{b}\right.\| \\
& =\min _{\mathbf{b}}\left(\sum_{i=1}^{4}\left(\mathbf{x}_{i}-\mathbf{b}\right)^{2}\right)^{1 / 2}
\end{aligned}
$

$\delta^{2}$ を b で偏微分する.

$
\frac{\partial \delta^{2}}{\partial \mathbf{b}}=-2 \sum_{i=1}^{4} \mathbf{x}_{i}+8 \mathbf{b}=0
$

従って,

$
\mathbf{b}=\frac{1}{4} \sum_{i=1}^{4} \mathbf{x}_{i}:=\mathbf{m}
$

すなわち，空間 $V$ における 4 つの単語ベクトルの 中点を $\mathbf{m}$ とすると，空間 $W$ においてこれに対応す る $\mathbf{1}_{4} \otimes \mathbf{m}$ が $\mathbf{x}$ に最も近い原点 (平行移動により原点 と同一視される点)ということになる.

以上より，図形距離の正規化に用いる正規化項 $Z$ は， $\mathbf{1}_{4} \otimes \mathbf{m}$ までの距離ということになる.

$
\begin{aligned}
Z & =\left.\|\mathbf{x}-\mathbf{1}_{4} \otimes \mathbf{m}\right.\| \\
& =\left(\sum_{i=1}^{4}\left.\|\mathbf{x}_{i}-\mathbf{m}\right.\|^{2}\right)^{1 / 2} \\
& =\left(\sum_{i=1}^{4}\left.\|\overline{\mathbf{x}_{i}}\right.\|^{2}\right)^{1 / 2}
\end{aligned}
$

$\overline{\mathbf{x}_{i}}$ は， 4 点の重心 $\mathbf{m}$ で中心化したべクトルと考える ことができるので，これは結局，4つのベクトルを 重心の分だけマイナスに平行移動していることであ り，合同となる図形を同一視して，その正規化項を 導出していることになる.


# トリプレットの Better Negative Sampling による Text Embedding の学習とテキスト分類

満石風斗 1 安立健人 1 狩野芳伸 2
1 株式会社マネーフォワード 2 静岡大学 情報学部
\{mitsuishi.futo, adachi.kento\}@moneyforward.co.jp
kano@kanolab.net

## 概要

anchor・ positive ・ negative の各テキストからなるト リプレットを用いた text embedding 学習によるテキ スト分類では、1. 対象からのトリプレットのサンプ リング、2.これを用いた text embedding の学習、の 2 ステップで学習を行う手法がある。従来のランダム なサンプリングに対して、本研究では anchor テキス トと positive テキストの識別をより難しくすること で性能向上が見込める Better Negative Sampling を提案する。livedoorニュースデータセットから作成し た均衡・不均衡データセットと、WRIME-ver2 デー タセットからサンプリングしたデータセットを用い て性能を検証した。accuracy を評価指標に用い、ラ ンダムなサンプリングに比べて 0.5-1.3\%の精度向上を達成した。

## 1 はじめに

テキスト分類は言語処理タスクの中でも広く応用されているタスクであり、たとえばレビューの 感情分析や英語文法の正誤判定 [1] などに利用さ れている。近年では BERT[2] などの事前学習モデ ルを Classifier としてファインチューニングする事例が多くみられるが、データセットに応じた text embedding を獲得し、訓練データとテストデータの text embedding の類似度から分類ラベルを予測する 手法も考えられる。 text embedding を用いる手法で は類似度を確信度として使うことができるなど実用上有利な点がある。

テキスト分類のための text embedding の学習には、 anchorテキスト (基準となるテキスト)・positiveテキ スト (anchor との類似度が大きくなることが期待さ れるテキスト)・negative テキスト (anchor との類似度が小さくなることが期待されるテキスト) からな
るトリプレットを分類の付与されたコーパスから構築し、このトリプレットの集合から text embedding 生成モデルの学習を行う手法が考えられる。

本研究ではこのトリプレット集合の構築方法に着目した。具体的には、ランダムなサンプリングを行 うベースラインに対して、negative テキストのサン プリングに工夫を加える Better Negative Sampling を 提案する。

トリプレットを用いた学習では、negative テキス トに anchor テキストとの分類が難しい hard negative なテキストを用いることがファインチューニング の精度を高めるのに有効である可能性が報告され ている [6]。この知見をテキスト分類のための text embedding 学習に適用するために、提案手法であ る Better Negative Sampling では、negative テキストに 「anchor テキストとラベルは異なるが text embedding 間の類似度が最も高いテキスト」を選択する。提案手法を用いることでよりテキスト分類に適した text embedding が得られると期待する。

実験では、ラベルが付与された livedoor ニュース データセット ${ }^{1)}$ から作成した均衡・不均衡データ セットおよび WRIME-ver22) からサンプリングした データセットに対して、ランダムなサンプリングと Better Negative Sampling を用いて text embedding を学習し比較した結果、Better Negative Sampling を用い たモデルは約 $0.5 \%$ の精度向上を達成した。

## 2 関連研究

## 2.1 事前学習モデルを用いたテキスト分類

BERT は大規模なデータセットを用いた事前学習 とタスクに応じたファインチューニングによって高 い精度を示す大規模言語モデルであり [2]、テキス

1) https://www.rondhuit.com/download.html

2) https://github.com/ids-cv/wrime

ト分類を含む多くのタスクに応用されている。

Lewis[7] らはいくつかの事前学習モデルにおい て、データセットに応じた text embedding の学習お よび転移学習を行うことで、直接 Classifier として ファインチューニングした場合に比べて少ないデー タ数で同等の性能でテキスト分類を行えると示唆し ている。他にも text embedding を用いてテキスト分類を行う手法が提案されているが [9][10]、これらは negative テキスト、すなわちトリプレットを利用し ていない。

## 2.2 タスクによらない text embedding の 学習

ファインチューニングをしていない BERT からも text embedding は獲得できるが、そのまま用いても 性能は低いことが示唆されており [3]、トリプレッ トサンプルを使用するなどしてより性能高く類似度 を計算できるような text embedding を獲得する方法 が研究されている [3][4][55]。トリプレットサンプル を用いた学習には negative テキストに hard negative な例を用いることがモデルの停滞を遅らせるのに有効であることが知られており [6]、実際に Ein-Dor ら [11] は Wikipedia のデータセットから同じ記事であ るが別の section の文章を hard negative として使用す ることで、精度の高い text embedding の学習に成功 している。

## 2.3 Multiple Negatives Ranking Loss

トリプレットを使用した学習の際の損失 (Loss) には様々な関数が提案されている [3][4][5]。そのひ とつである Multiple Negatives Ranking Loss ${ }^{3}$ では、ト リプレットをいくつか集めて 1 バッチとする。 バッチサイズを $\mathrm{K}$ とするとバッチ内には、anchor テキスト集合 $\mathrm{A} \ni$ anchori, positive テキスト集合 $\mathrm{P} \ni$ positive $_{\mathrm{i}}$, negative テキスト集合 $\mathrm{N}$ э negative $\mathrm{i}_{\mathrm{i}}(i=$ $\{1,2, \cdots, K\})$ が含まれる。図 1 の例のように、各 anchor $_{\mathrm{i}}$ について、 positive $\mathrm{i}_{\mathrm{i}}$ との類似度を大きく、 $\operatorname{positive}_{\mathrm{j}}\{j \neq i\}$ および全ての negative との類似度が 小さくなるように学習する。そのために anchor r $_{i}$ と バッチ内全ての positive テキストおよび negative テ キストの類似度を計算し、 positive i $_{i}$ との類似度を正解とみなす Categorical Cross Entropy Loss を最適化 する。

すなわち、candidate $\mathrm{j}_{\mathrm{j}}(\mathrm{j}=1 \cdots \mathrm{K})$ は positive $\mathrm{j}_{\mathrm{j}}$ を、 candidate $_{\mathrm{j}}(\mathrm{j}=\mathrm{K}+1 \cdots 2 \mathrm{~K})$ は negative $\mathrm{j}_{\mathrm{j}-\mathrm{K}}$ を表すとし

て positive と negative をまとめて candidate と表した とき、各バッチにおいて以下を最適化する。

$
\begin{aligned}
& -\sum_{i} \sum_{j} l_{i, j} \log \operatorname{Softmax}_{\mathrm{i}, \mathrm{j}}( \\
& \quad \cos \left(\operatorname{model}_{\theta}\left(\text { anchor }_{\mathrm{i}}\right), \operatorname{model}_{\theta}\left(\operatorname{cadidate}_{\mathrm{j}}\right)\right)
\end{aligned}
$

ここで、

$
l_{i, j}=\left.\{\begin{array}{l}
1(i=j) \\
-1(i \neq j)
\end{array}\right.
$

$
\operatorname{Softmax}_{\mathrm{i}, \mathrm{j}}\left(\cos \left(a_{i}, b_{j}\right)\right)=\frac{e^{\cos \left(a_{i}, b_{i}\right)}}{\sum_{j} e^{\cos \left(a_{i}, b_{j}\right)}}
$

であり、 $\cos \left(\right.$ vector $_{1}$, vector $\left._{2}\right)$ は二つのべクトルの コサイン類似度を、 $\operatorname{model}_{\theta}(t)$ はある時点でのモデ ルによるテキスト $\mathrm{t}$ に対応するべクトルを表す。 (vector ${ }_{1}$, vector $_{2}$ ) はそれぞれべクトルを表す。

図 1 Multiple Negatives Ranking Loss の概念図: 添え字 i, $\mathrm{j}$ は同じバッチ内の異なるトリプレットに対応する。

り、 positive $\mathrm{i}_{\mathrm{i}}$ 以外の異なるラベルに属する候補テキストの 類似度は小さくなるようにモデルを更新する。

## 3 提案手法

本研究では、タスクによらない text embedding の 学習で有効とされている hard negative の利用をテキ スト分類のための text embedding の学習に応用する ため、negative テキストの選択に工夫を加えた Better Negative Sampling を提案する。

Better Negative Sampling では negativeテキストの選択において、「anchor テキストとラベルは異なるが text embedding 間の類似度が最も高いテキスト」を選

表 21 ラベル内データ数と 1 ラベルの accuracy の相関 (Pearson の積率相関係数) BERTClassifier Text Embedding(random) Text Embedding (ours)

相関係数 $0.409 \quad 0.155 \quad 0.197$

択することでテキスト分類の精度向上を期待する。 この選択の際の類似度にはファインチューニング前 の事前学習済みモデルから得られる text embedding のコサイン類似度を用いる。

## 3.1 トリプレットデータセットの作成

ベースラインであるランダムなトリプレットデー タセットは元のデータセットから以下のようにサン プリングし作成する。

1. データセット内の全てのサンプルが一度ずつ anchor テキストとなるようにする

2. anchor テキストと同じ分類ラベルのテキストか らランダムに positive テキストを抽出する

3. anchor テキストと異なる分類ラベルのテキスト からランダムに negative テキストを抽出する

## 3.2 Better Negative Sampling

提案手法である Better Negative Sampling では以下 のようにトリプレットデータセットを作成する。 ベースラインのランダムな作成手順 1-2 に加え、

3. 事前学習モデルを用いて、anchorテキストと異 なるラベルのテキストと anchor テキストのコサ イン類似度を計算する
4. 3 で最も類似度が高いテキストを negative テキ ストとする

このようにして抽出された negative テキストは hard negative として機能し、text embedding モデルの 学習能力を高めると考えられる。

## 4 実験

## 4.1 データセット

本研究では、日本語の多クラス分類データセッ トとして、livedoor ニュースデータセットおよび WRIME-ver2[8] データセットからから作成したデー
タを用いた。

livedoor ニュース livedoorニュースデータセッ トはニュース記事が 9 つのメディアにラベリング されているデータであり、本研究ではニュース記事の見出しと、記事に紐づけられた 9 種のメディ アラベルのみを用いた。ラベル数が多く不均衡な データセットに対する提案手法の性能も確認するた め、livedoor ニュースデータセットから不均衡デー タセットと均衡データセットを作成した。これらの データセットの作成方法および統計情報は付録に記 した。

WRIME-ver2 WRIME-ver2 はツイートテキストに 主観および客観的な 5 段階の感情強度と 8 つの感情 の主観および客観的な 4 段階の強さがラベリングさ れたデータであり、本研究ではツイートテキストと 客観的な感情強度を用いて、5 段階の分類タスクと して実験した。計算量を減らすため、WRIME-ver2 からサンプリングしたデータセットを実験に用い た。データセットの作成方法と統計情報を付録に記 した。

## 4.2 モデル

事前学習モデルとして東北大学・乾研究室が公開 している whole-word-masking で学習された BERT を 使用した4）（以下日本語 BERT と表記する）。ベー スラインであるランダムなトリプレットデータ セット、および Better Negative Sampling で作成した トリプレットデータセットに対して、関連研究 2 で説明した Multiple Negatives Ranking Loss を用いた 日本語 BERT のファインチューニングを行い、text embedding モデルを学習した。text embedding モデル を用いたテキスト分類は、テストデータと学習デー タの text embedding のコサイン類似度をデータごと にそれぞれ計算し、最も類似度が高い学習データの ラベルを予測ラベルとした。

表 31 ラベル内データ数が 20 以下および 20 以上のラベルに対する accuracy

## 5 結果

表 1 に、分類評価結果の accuracy スコアを示す。 text embedding を用いた手法は classifier としての学習をおこなった場合に匹敵する精度を示した。

text embedding を用いた手法内で比較すると、 Better Negative Sampling を用いたモデルではべー スラインであるランダムなサンプリングに比べ 0.5-1.3\%の精度向上が見られた。

## 6 考察

Better Negative Sampling を用いたモデルは、実験し た全てのデータセットにおいてランダムなサンプリ ングを用いたベースラインモデルに比べて性能向上 が見られた。この結果から Better Negative Sampling を用いることで text embedding によるテキスト分類 の性能を高めることができることが示唆される。 text embedding によるテキスト分類がサンプル の文構造をどのくらい利用しているのかを調 べるため、MeCab[13] の Python ラッパーである fugashi[14](バージョン 1.2.1 IPAdic 辞書) を用いてサ ンプルから機能語である助詞および句読点などの 記号を削除してからラベルの予測を行った結果を 表 2(表右側にある†のついたカラム) に示す。Better Negative Sampling がランダムなサンプリングに比べ て 3.4-5.1\%の精度改善と、助詞・記号を削除しな い場合に比べて精度の向上が大きくなっていた。 Better Negative Sampling ではランダムなサンプリン グに比べて、文構造をあまり利用しておらず、すな わち内容語を強く学習している可能性がある。

さらに、 text embedding を用いたテキスト分類 は classifier としての学習に比べ livedoor 均衡デー タセットでは精度が大きく変わらないのに対し、 livedoor 不均衡データセットではランダムなサンプ リングで $3.8 \%$ の精度向上が見られた。この結果か ら text embedding を用いたテキスト分類はランダム サンプリング・Better Negative Sampling を問わず不均衡データに対する頑健性を持つ可能性が考えら れる。表 1 の右側にある、livedoor 不均衡データセッ トにおけるラベルごとのデータ数と accuracy との 相関 (Pearson の積率相関係数)を示している。text embedding を用いたテキスト分類では classifier とし てファインチューニングした場合に比べて相関が弱 い。この結果から text embedding を用いたテキスト 分類はデータ数の少ないラベルに対しても高精度で 分類できることがわかる。

さらに、 1 ラベル内データ数が 20 未満の場合と 20 以上の場合とでテストデータを分割し、それぞ れ各手法の accuracy を調べた結果 3 のようになっ た。データ数 20 未満のラベルに対する accuracy は、 classifier では大きく精度が落ちているのに対し、text embedding を用いた手法では精度がほとんど変わら なかった。この結果から、 text embeddingを用いた 手法は classifier と比較してデータ数が少ないラベル にも頑健に対応できることが示唆された。

## 7 おわりに

テキスト分類におけるトリプレットのサンプリ ング手法として、negative テキストを「anchorテキ ストとラベルが異なるが類似度が最も高いテキス ト」とする Better Negative Sampling を提案し、text embedding を用いたテキスト分類の精度が向上する ことを示した。また、Better Negative Sampling を用 いた手法ではランダムなサンプリングに比べ内容語を強く学習している可能性があり、text embedding を用いたテキスト分類は classiffier としてファイン チューニングするよりも不均衡データに対し頑健で ある可能性が示唆された。

今後の展望として、現在の手法では事前学習モデ ルを用いて hard negative なテキストをサンプリング しているが、1epochごとに更新されたモデルを用い てトリプレットをサンプリングし直すなど、サンプ リングの方法に更なる改善を試みたい。

## 参考文献

[1] Wang, A., Singh, A., Michael, J., Hill, F., Levy, O., Bowman, S. R. (2018). GLUE: A multi-task benchmark and analysis platform for natural language understanding. arXiv preprint arXiv:1804.07461.

[2] Devlin, J., Chang, M. W., Lee, K., Toutanova, K. (2018). Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805.

[3] Reimers, N., Gurevych, I. (2019). Sentence-bert: Sentence embeddings using siamese bert-networks. arXiv preprint arXiv:1908.10084.

[4] Zhang, D., Li, S. W., Xiao, W., Zhu, H., Nallapati, R., Arnold, A. O., Xiang, B. (2021). Pairwise supervised contrastive learning of sentence representations. arXiv preprint arXiv:2109.05424.

[5] 山岸駿秀, 鈴木貴文, 稲木誓哉. (2020). Wikipedia 記事間の関係を考慮した Triplet Network に基づく BERT の Fine-tuning. In 人工知能学会全国大会論文集 第 34 回 (2020) (pp. 3Rin476-3Rin476). 一般社団法人 人工知能学会.

[6] Hermans, A., Beyer, L., Leibe, B. (2017). In defense of the triplet loss for person re-identification. arXiv preprint arXiv:1703.07737.

[7] Tunstall, L., Reimers, N., Jo, U. E. S., Bates, L., Korat, D., Wasserblat, M., Pereg, O. (2022). Efficient Few-Shot Learning Without Prompts. arXiv

[8] 梶原智之. (2021). WRIME: 主観と客観の感情強度を 付与した日本語データセット. 自然言語処理, 28(3), 907-912.

[9] Perone, C. S., Silveira, R., Paula, T. S. (2018). Evaluation of sentence embeddings in downstream and linguistic probing tasks. arXiv preprint arXiv:1806.06259.

[10] Piao, G. (2021, May). Scholarly text classification with sentence BERT and entity embeddings. In Pacific-Asia Conference on Knowledge Discovery and Data Mining (pp. 79-87). Springer, Cham. preprint arXiv:2209.11055.

[11] Ein-Dor, L., Mass, Y., Halfon, A., Venezian, E., Shnayderman, I., Aharonov, R., Slonim, N. (2018, July). Learning thematic similarity metric using triplet networks. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (ACL 2018), Melbourne, Australia (pp. 15-20).

[12] Henderson, M., Al-Rfou, R., Strope, B., Sung, Y. H., Lukács, L., Guo, R., ... Kurzweil, R. (2017). Efficient natural language response suggestion for smart reply. arXiv preprint arXiv:1705.00652

[13] Kudo, T. (2005). Mecab: Yet another part-of-speech and morphological analyzer. http://mecab. sourceforge. net/.

[14] McCann, P. (2020). fugashi, a tool for tokenizing Japanese in python. arXiv preprint arXiv:2010.06858.

表 5 データセット統計情報

## A モデルのパラメータ設定

classifier の学習率は encoder では 5e-5, 分類を行う classifier 層では 1e-4 とした。文章抽出器の学習率は 2e-5 とした。classifier の学習では encoder 層の [CLS]トークンの位置の特徴量を用いてファインチューニングを 行った。 text embedding 抽出器では最終層の平均をとる mean pooling を用いてファインチューニングを行っ た。その他のハイパーパラメーターは表 6 に記した。

表 6 学習パラメータ

## Ｂデータセット情報

livedoor 不均衡・均衡データセットは以下のように作成した。各データセットの統計情報は表 5 に記した。

## B. 1 livedoor 不均衡データセットの作成

1. livedoor ニュースデータセットには 9 種類のメディアがラベリングされている。各メディアにおいて表 4 例 1 例 2 のようにすみかっこ等でサブタイトルが付いてるサンプルについて、サブタイトルを新たな夕 イトルとし、タイトルテキストからはサブタイトルを削除した。サブタイトルの付いていないサンプル は media 名-other というラベルとした。

2. 表 4 例 3 のように、メディア・ラベル特有の文言がついているサンプルについて、これらの文言を削除 した。

3. dokujo-other と分類されたものから、手動で恋愛・結婚・美容へと分類した。

4. sports-watch-other と分類されたものから、手動でサッカー・野球・オリンピックへと分類した。

5. 各ラベルでサンプル数 2 以下のものは削除した。またサンプル数が 45 以上のものはランダムに 45 サン プルを抽出した。

## B. 2 livedoor 均衡データセットの作成

livedoor 不均衡データセットのラベルを元の livedoor ニュースデータセットのメディアラベルとした。

## B. 3 WRIME-ver2 データセットからのサンプリング

5 つの感情強度 $(-2,-1,0,1,2)$ からそれぞれ $419,419,419,420,420$ サンプルをランダムに抽出した。


# 知的対話アシスタントにおける意図が曖昧な発話の検出

赤崎 智 堸々野 学
ヤフー株式会社
sakasaki@yahoo-corp.jp
msassano@yahoo-corp.jp

## 概要

対話によってユーザとの雑談とタスクの両方をこ なす知的対話アシスタントにおいては「お腹が空い た」,「腰痛がひどい」のような雑談ともタスクとも 取れる意図が曖昧なユーザ発話が存在する。そのよ うな発話の意図を決定的に推定すると，結果として 要求に沿わない応答をすることがありユーザ体験が 損なわれてしまう。そのため，予めユーザの発話の 曖昧性を判定し，必要であれば後の応答で対応する ことが望ましい，本稿では，実際の知的対話アシス タントのログデータにクラウドソーシングによるラ ベル付けを行い，意図が曖昧な発話にどのような傾向があるかを分析する. 得られたラベル付きデータ を用いて BERT による教師あり学習モデルを構築 し，意図が曖昧な発話を検出することを試みる。

## 1 はじめに

スマートフォンや AI 搭載型デバイスなどの台頭 により, Apple の Siri や Amazon の Alexa, Google の Google Home など，ユーザと対話をすることにより 情報検索や端末操作などを行ったり，時には人間同士がするように雑談を行う知的対話アシスタントが 普及して久しい [1].

知的対話アシスタントはユーザの要求に対応する ために，与えられたユーザの発話の意図を適切に認識し，それに対応した後段のモジュールを呼び出し 要求を満たす応答を行う. 近年ではパターンマッチ や機械学習モデルにより発話の意図を判定すること が主流であるが $[2,3,4,5]$, ユーザの発話には意図 が曖昧なものが存在する。例えば，「お腹が空いた」 という発話は単なる雑談のきっかけとも飲食店の情報を求めているとも取れるし，「東京駅」という発話は路線検索とも地図検索とも取れる。このような 意図が曖昧な発話はタスク型，非タスク型の発話が 混在し発話長も短い知的対話アシスタントにおいて 顕著に現れ，それらの意図を決定的に推定してしま
うと，結果的にユーザの要求にそぐわない不適切な 応答を返してしまう可能性が高い。

このような意図が曖昧なユーザ発話に対処する ために，聞き返しや意図を明確化する応答の生成 $[6,7,8]$ を行う取り組みもあるが，実際の状況では まずどの発話に対してそのような応答を行うかを判定する必要がある。また，これらの取り組みは基本的にタスク指向型対話システムを対象としており，知的対話アシスタントについてはどんな発話が曖昧 な意図になるか明らかとなっていない。

これらを踏まえ，本稿では知的対話アシスタント における意図が曖昧なユーザ発話を判定する問題を 設定する．我々は実際の知的対話アシスタントであ る Yahoo!音声アシストの対話ログからユーザ発話と システム応答からなるぺアを収集し，クラウドソー シングを利用してラベル付けを行う，得られたデー タセットから，どのような発話が曖昧な意図になる のか傾向を確認したのち，教師あり学習によってそ れらを検出するモデルを構築する。

## 2 関連研究

タスク指向型対話システムにおけるユーザ発話の ドメイン・意図判定は古くから数多く取り組まれて いる $[2,3,4]$. いくつかの取り組みでは，発話につ いてのシステムのドメイン・意図判定の確信度に閾值を設けることにより意図が曖昧な発話を判定して いるが $[9,10,11,12]$ ，マルチドメインなシステムで は個別に閾値を設定することが難しい上，ドメイン が増える度に対応する必要が生じる。

意図が曖昧な発話に焦点を当て，教師あり学習により発話の曖昧性判定を行う取り組みもあ る $[13,14,15]$. しかしながら，いずれの取り組みも 対象をタスク指向型または非タスク指向型対話シス テムのどちらかに限定しており，曖昧性判定もそれ に特化した問題設定や判定手法となっているため,知的対話アシスタントに対して同様の手法を適用す ることは難しい。

Akasaki [5] は知的対話アシスタントのユーザ発話 を対象に，それが非タスク指向型（雑談）かタスク 指向型の応答を求めているかを判定するためのデー タセットを構築し, 教師あり学習による二値分類で 判定を行った. しかしながら，意図が曖昧な発話に ついても決定的にラベルを割り当てているため，そ れらの発話に対応できないという問題がある.

意図が曖昧なユーザ発話について，その意図を明確化するための質問を生成するという取り組みも行 われている $[6,7,16,8,12]$. 生成した質問をシステ 么応答として出力することで意図の曖昧性判定がで きるが，ほとんどの研究はあくまで生成の部分に焦点を当てており，いつどのユーザ発話に対し生成を 行うかという部分については無視している.

本稿では，タスク指向型と非タスク指向型対話シ ステムの複合である知的対話アシスタントのユーザ 発話の意図の曖昧性を分類により判定する。

## 3 意図が曖昧な発話の検出

本節では本稿で扱う知的対話アシスタントと，そ こから意図が曖昧なユーザ発話を判定する課題につ いて説明する。

## 3.1 知的対話アシスタント

知的対話アシスタントの例として，Apple の Siri や Amazon の Alexa, Yahoo! JAPAN の Yahoo! 音声ア シストなどが挙げられる。いずれのシステムもユー ザの要求を遂行するために音声またはテキストを 用いユーザと対話を行う．近年ではスマートフォン やスマートスピーカーの普及, 音声認識技術の向上 により，従来よりも日常的に使用されるようになっ ている。知的対話アシスタントはシステム毎に軽度 な違いはあるが，ほとんどはウェブを介した情報検索 (例: 天気予報, 交通情報, ウェブ検索), 端末操作（例: 電話，時計，音楽再生）などのいわゆる マルチドメインのタスク指向型対話システムが有 する機能に加え，人間同士がするようなあいさつや 世間話といった雑談，すなわちオープンドメインな 非タスク指向型対話システムの能力も併世持つ. そ のため，どちらか一方の機能を持つ対話システムよ りも，幅広い要求に対応する必要がある. 本稿では Yahoo! 音声アシスト1)を知的対話アシスタントとし て用い，それらの実際のユーザとシステムとの対話 のログを収集しデータセットを構築する。

表 1 ラベル別集計

表 2 「曖昧」ラベルへ の得票数別集計

## 3.2 問題設定

本稿では知的対話アシスタントにおける意図が曖昧な発話を検出することを目的としているため，既存のドメイン・意図判定の取り組みを参考に問題を 設定した。

既存の取り組み $[2,3,4]$ では，タスク指向型対話 システムにおいてユーザの発話がどのドメインに 属するか，またドメイン内のどの意図であるかを分類するのが一般的であるが，知的対話アシスタント は前述した通り，マルチドメインのタスク指向型と オープンドメインな非タスク指向型の対話システム の複合であるという性質であるため，その両方の範囲の発話を扱う必要がある。また，一般の対話シス テムでは細かいドメイン意図を分類することが多い が，ドメインは固定ではなく拡充されていくことを 考慮すると，ドメイン毎に学習データを整理し都度 モデルを更新していくこともコストがかかる.

Akasaki [5] はこれらを踏まえ，知的対話アシスタ ントにおいてまずユーザの発話がタスク指向型の 意図の「タスク」であるか，または非タスク指向型 の意図の「雑談」であるかを判定する問題を設定し た.これにより，ドメインなどの仕様変更の影響を 少なくでき，かつ必要であれば後に判定毎の細かい 意図分類などを行うことが可能となっている．本稿 でもこの設定に則り，発話の意図が曖昧という「曖昧」のラベルを加えた三值分類として問題を設計 する。これにより，システムはユーザの発話が「曖昧」だと検出したとき，それに応じた聞き返しや意図の明確化を行う応答ができる。

## 4 データセット

本節では意図が曖昧な発話の検出に用いるデー タセットの構築手順について説明し，得られた会話 データについて分析を行う.

 \\

表 3 構築したデータセットの対話例

## 4.1 構築手順

Yahoo! 音声アシストで 2014 年から 2022 年にかけ てユーザとシステムが実際に行った対話から，10回以上出現したユーザ発話 $u_{0}$ についてその前のシス テム応答 $r_{-1}$ およびユーザ発話 $u_{-1}$ からなる会話 $<u_{0}, r_{-1}, u_{-1}>$ をランダムに 20,000 件収集する.こ の時，同一の発話は最大 5 件までに数を制限する.

次に得られた会話を，Yahoo! クラウドソーシン グ2)のワーカに提示し「表示された会話の発話 $u_{0}$ に 対しその意図を前述の 3 つのラベルから選択する」 というタスクを依頼した.この時，一つの会話につ き 10 人のワーカを割り当てた。

我々はここから，各会話に対し過半数である 6 以上の票を得たラベルを割り振った．また，いずれの ラベルも得票が 5 以下のもの，すなわち票が割れて いる例を多数確認した. このような発話も意図が曖昧な所為で票が割れていると考えられるため，「曖昧」ラベルを割り振った．最終的な集計結果を表 1 に示している。また，表 2 に各会話の「曖昧」ラべ ルへの得票数の内訳を示している。これより, 実際 のユーザ発話には人間から見て意図が曖昧だと感じ る例が多数存在することがわかる.

## 4.2 意図が曖昧な発話の分析

「曖昧」ラベルが割り当てられた会話からランダ 厶に 1000 件抽出し，それらがなぜ曖昧であるか第一著者が分類を行った結果を表 3 に示す.

表 3 より，まず音声認識誤りと名詞の割合が高い ことがわかる．音声認識誤りについては，かな漢字変換の誤りや語の脱落などが含まれており，結果的 に意図が取れず曖昧となっている例が多かった. 名

詞や要望・命令，質問は多くは一般的には情報検索 や端末操作の意図で用いられるが，例のように必ず しもそれらの意図と取れないものがあった. 情報開示は雑談の文脈でよく使われるが，例のように暗黙的にタスクの要求をしているとも取れるものがあっ た.これらから, 知的対話アシスタント特有の発話意図の曖昧性判定が必要であることがわかる.

## 5 実験

本節では構築したデータセットを用いて教師あり 分類器を構築し, 三值分類を行うことで意図が曖昧 な発話の検出を試みる。

## 5.1 比較手法

以下の手法を用いて発話意図の分類を行い，性能 を比較する。

AllAmbig: 全てのユーザ発話に対し「曖昧」ラベル を出力する手法.

Threshold: 多くのタスク指向型対話システムで用 いられている，意図判定の閾値により曖昧なユー ザ発話の判定を行う手法. 我々は Akasaki [5] が構築した知的対話アシスタントの発話が雑談かタス ク意図かを分類する意図判定データセット3を用 い，BERT [17] モデルを fine-tuning し評価データを 分類する. この時，モデルの予測に対する softmax のスコアが最大のラベルについて，そのスコア $s$ が $0.5 \leqq s \leqq 0.8$ の時に「曖昧」ラベルを出力する.

BERT: 4 節で構築したデータセットを用いて BERT モデルを fine-tuning し，評価データの三值分類を行 う手法. 会話データの各発話，応答は $[\mathrm{SEP}]$ タグで 繋いだ上でエンコーダに入力する.

3）このデータセットではユーザの 1 発話のみが入力として与 えられているため，モデルも $u_{0}$ のみを入力として用いる

BERT+文埋め込み: Akasaki [5] の研究を参考に，ツ イートおよびウェブ検索ログで事前学習した言語モ デルを用いてユーザ発話 $u_{0}$ の文埋め込みを獲得し， BERT の fine-tuning の際に分類層に追加の特徴量と して与える.

## 5.2 設定

各手法で fine-tuning を行う BERT モデルについて は bert-baseを 2021 年 2 月の日本語 Wikipedia 約 1800 万文で事前学習したものを用いた． BERT モデルは Tensorflow2 で実装し，最大文長は 64 ，バッチ数は 16 に設定した. トークナイズは sentencepiece ${ }^{4}$ を用 い，最適化に Adamを用いた. 学習と評価は，デー タセット 20,000 件を用いて五分割交差検証で行っ た. 各手法で 3 エポック学習し, 開発データで最も $\mathrm{f}$ 值が高かったモデルを評価データに適用した。

BERT+文埋め迄みで用いる文埋め込み用の BERT については, 2021 年 7 月から 2022 年 7 月の期間の ウェブ検索の頻度上位クエリ 5000 万件と, 同様の 期間のランダムにサンプルしたツイート 5000 万件 を sentencepiece でトークナイズしたものをそれぞれ 用い，bert-base を 40 エポック事前学習した. 構築 した各 BERT を文埋め込みの出力で用いるため，対照学習により文埋め込みを獲得する手法である教師 なしSimCSE [18] を各データで標準のパラメータで 1 エポック学習した.これらのモデルを用いて, 各 ユーザ発話 $u_{0}$ をエンコードし，分類用 BERT モデ ルのエンコード結果と連結し分類層に与えた.

## 5.3 結果

表 4 に評価データに対し三値分類を行った結果を 示す. 表 4 より，3 節で構築したデータセットで学習を行った BERT および BERT+文埋め迄みが最も 高い性能となっており，ラベル付きデータの有効性 が示されている.

表 5 は各ラベルの $\mathrm{F}$ 值を示している.「曖昧」ラ ベルにおいて，BERT および BERT+文埋め迄みは 発話に対し全て「曖昧」ラベルと予測する AllAmbig の性能を上回っているため, 意図が曖昧な発話の傾向を学習できているといえる.「雑談」と「タスク」 ラベルの予測の閾值で曖昧性を判定する Threshold は「曖昧」ラベルに対する性能が極めて低かった。 これについては Recall 等を確認したところ，ほとん ど「曖昧」ラベルを出力できておらず，モデルのス

表 4 三値分類の各手法の分類結果

表 5 三值分類の各手法のラベル別 $\mathrm{F}$ 值

コアの閾値などで曖昧性判定を行うことの難しさを 示している。また, BERTと BERT+文埋め込みの 間では有意な性能差は確認できなかった.

BERT の出力を確認してみたところ，表 3でのラ ベル「名詞」にあたるユーザ発話の判定誤りが多 かった. これらの例は多くの場合名詞（句）一つの みの発話であり長さが短く, 豊富な言語資源を生か したモデルでも扱うのが難しい。また，名詞だから といってそれら全ての意図が曖昧というわけでもな く, 例えば「熱海駅」は路線検索や地図検索を求め る曖昧なタスク要求である可能性が高いが，一方で 「カローラクロス」は該当するタスク要求が情報検索くらいしか存在せず，曖昧でない可能性が高い。 これらを区別するためには，発話に対する対話シス テムの各モジュールの確信度などの情報も特徴とし て加える必要がある.

## 6 まとめ

本稿では，知的対話アシスタントで意図が曖昧な ユーザ発話が存在することを指摘し，実際の知的対話アシスタントである Yahoo! 音声アシストのログ データにクラウドソーシングを利用してラベル付け を行うことで意図が曖昧な発話にどのような傾向 があるかを分析した. 実験では教師あり学習により 「曖昧」ラベルを分類先に含んだ三値分類器を構築 し，ラベル付きデータでの学習が有効であることを 示した.

今後の予定としては，意図が曖昧な発話を判定す るのに有効な特徴量や手法を設計し適用することで ある。また，本稿で構築したデータセットについて は公開を予定している。

## 参考文献

[1] Graeme McLean and Kofi Osei-Frimpong. Hey alexa $\cdots$ examine the variables influencing the use of artificial intelligent in-home voice assistants. Computers in Human Behavior, Vol. 99, pp. 28-37, 2019.

[2] Daniel (Zhaohan) Guo, Gokhan Tur, Scott Wen tau Yih, and Geoffrey Zweig. Joint semantic utterance classification and slot filling with recursive neural networks. In Proceedings of IEEE SLT Workshop, 2014.

[3] Puyang Xu and Ruhi Sarikaya. Contextual domain classification in spoken language understanding systems using recurrent neural network. In Proceedings of ICASSP, pp. 136-140, 2014.

[4] Joo-Kyung Kim, Gokhan Tur, Asli Celikyilmaz, Bin Cao, and Ye-Yi Wang. Intent detection using semantically enriched word embeddings. In Proceedings of IEEE SLT Workshop, 2016

[5] Satoshi Akasaki and Nobuhiro Kaji. Chat detection in an intelligent assistant: Combining task-oriented and nontask-oriented spoken dialogue systems. In Proceedings of ACL, 2017.

[6] Johannes Kiesel, Arefeh Bahrami, Benno Stein, Avishek Anand, and Matthias Hagen. Toward voice query clarification. In Proceedings of SIGIR, pp. 1257-1260, 2018.

[7] Mohammad Aliannejadi, Hamed Zamani, Fabio Crestani, and W Bruce Croft. Asking clarifying questions in opendomain information-seeking conversations. In Proceedings of SIGIR, pp. 475-484, 2019.

[8] Hamed Zamani, Susan Dumais, Nick Craswell, Paul Bennett, and Gord Lueck. Generating clarifying questions for information retrieval. In Proceedings of WWW, pp. 418-428, 2020.

[9] Kazunori Komatani and Tatsuya Kawahara. Flexible mixed-initiative dialogue management using concept-level confidence measures of speech recognizer output. In Proceedings of COLING, pp. 467-473, 2000.

[10] Ingrid Zukerman, Su Nam Kim, Thomas Kleinbauer, and Masud Moshtaghi. Employing distance-based semantics to interpret spoken referring expressions. Computer Speech and Language, Vol. 34, pp. 154-185, 2015.

[11] Svetlana Stoyanchev and Michael Johnston. Localized error detection for targeted clarification in a virtual assistant. In Proceedings of ICASSP, pp. 5241-5245, 2015.

[12] Kaustubh D Dhole. Resolving intent ambiguities by retrieving discriminative clarifying questions. arXiv preprint arXiv:2008.07559, 2020.

[13] 大原康平, 佐藤翔悦, 吉永直樹, 豊田正史. 対話によっ て曖昧性解消を行う質問応答. 第 9 回データ工学と 情報マネジメントに関するフォーラム, 2017.

[14] Joo-Kyung Kim, Guoyin Wang, Sungjin Lee, and YoungBum Kim. Deciding whether to ask clarifying questions in large-scale spoken language understanding. In Proceedings of ASRU, pp. 869-876. IEEE, 2021.

[15] Shohei Tanaka, Koichiro Yoshino, Katsuhito Sudoh, and Satoshi Nakamura. Reflective action selection based on positive-unlabeled learning and causality detection model. Computer Speech and Language, 2023.
[16] 中野佑哉, 河野誠也, 吉野幸一郎, 中村哲ほか. 対話に よって曖昧性解消を行う質問応答. 第 244 回自然言語処理研究会, 2020 .

[17] Jacob Devlin Ming-Wei Chang Kenton and Lee Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of NAACL-HLT, pp. 4171-4186, 2019.

[18] Tianyu Gao, Xingcheng Yao, and Danqi Chen. SimCSE: Simple contrastive learning of sentence embeddings. In Proceedings of EMNLP, 2021.


# JMultiWOZ: 日本語タスク指向型対話データセットの構築

大橋厚元 ${ }^{1 *}$ 平井龍 $1 *$ 飯塚慎也 ${ }^{2}$ 東中竜一郎 1
1 名古屋大学大学院情報学研究科 2 名古屋大学情報学部
\{ohashi.atsumoto.c0, hirai.ryu.k6, iizuka.shinya.a8\}@s.mail.nagoya-u.ac.jp
higashinaka@i.nagoya-u.ac.jp

## 概要

深層学習を活用したタスク指向型対話システムの 研究において，対話データセットは重要である。近年英語圈では，多数のマルチドメインタスク指向型対話データセットが提案されており，タスク指向型対話システムの発展が著しい。一方で，日本語によ るマルチドメインタスク指向型対話データセットは いまだ存在せず，英語圈と比較してタスク指向型対話の研究は限られている. 本研究では, 日本語によ るタスク指向型対話システムの研究開発の促進を目指し, 日本語初のマルチドメインタスク指向型対話 データセット JMultiWOZを構築する.

## 1 はじめに

近年，タスク指向型対話システムの研究におい て，ニューラルモデルをべースとした手法が活発に 導入されており，タスク指向型対話システムの発展 が著しい $[1,2,3,4]$. これらニューラルモデルの実装には，タスク指向型対話データセットが必須で あり，英語における多数のシングルドメインの対話データセット $[5,6,7,8,9]$ が利用されてきた. 最近では，より複雑なマルチドメインの対話に対応 するため，MultiWOZ [10] が提案された. MultiWOZ は，7つのドメイン（観光名所，ホテル，レストラ ン，タクシー，電車，警察，病院）にまたがる対話 が収録されている大規模データセットである. さら に MultiWOZを先駆けとして，SGD [11], STAR [12], $\mathrm{ABCD}[13]$ といった大規模対話データセットが提案されており，これらをべンチマークとしたタス ク指向型対話モデルの研究が活発化している. ま た中国語においても, CrossWOZ [14], RiSAWOZ [15], BiTOD [16] など，大規模マルチドメイン対話データ セットが多く提案されており，中国語を含む多言語 のタスク指向型対話システムの研究が促進されてい
* Equal contribution表 1 JMultiWOZ の統計

る. 一方，日本語においては，マルチドメインタス ク指向型対話データセットは未だ存在しない.

本研究では, 日本語初のマルチドメインタス ク指向型対話データセット JMultiWOZ (Japanese Multi-Domain Wizard-of-Oz) を提案する. JMultiWOZ は旅行タスクに関する 6 つのドメイン（観光名所，宿泊施設，飲食店，買い物施設，タクシー，天気） にまたがる対話を合計 4,254 対話収録している. 表 1 に，JMultiWOZ における train/dev/test セットの内訳を示す。

本稿では，JMultiWOZ の構築手順とデータの統計量を概説する．また，データベースの検索条件推定タスクを設定し，これを用いた評価によって， JMultiWOZ のベンチマークとしての将来性を示す.今後, 対話行為 [17] 及び対話状態 [18] のアノテー ションを付与し，タスク指向型対話における多数の タスク（意図推定，対話状態追跡，行動決定，そし て対話生成）のためのベンチマークを提供する予定 である.

## 2 データ構築

JMultiWOZ は，日本国内の 9 都市（札幌，仙台，東京，横浜，名古屋，京都，大阪，福岡，那覇）のい ずれかへの旅行者が，観光情報を収集しながら旅行 を計画する対話を収録したコーパスである．各対話 には，6つのドメイン（観光名所, 宿泊施設, 飲食店,買い物施設, タクシー, 天気）に関するタスクが 1 つ 以上含まれている. Wizard-of-OZ 法 [19] を用い，各対話は，人間の対話者 2 人が旅行者（ユーザ）役と
情報提供者（オペレータ）役に分かれて実施した.本コーパスは，（1）オントロジーの定義，（2）オぺ レータ役が旅行情報を取得するために使用するバッ クエンドデータベースの構築，(3）対話ゴールの設計と作成，(4) 対話収集の 4 ステップで構築した.

## 2.1 オントロジーの定義

タスク指向型対話におけるオントロジーとは， バックエンドデータベースの構造を表現するもの である．具体的には，バックエンドデータベースに 含まれるエンティティ1)が持つスロット（エンティ ティの名称や住所などの属性情報）を定義する. 本研究では，既存研究のオントロジー $[10,14]$ を参考 にして，ドメインごとにオントロジーを定義した.付録の表 5 に全ドメインのオントロジーを示す.

## 2.2 バックエンドデータベースの構築

オントロジーに基づいて，対話中にオペレータ役 が旅行情報を取得するために使用するバックエンド データベースをドメインごとに構築した. 実在する エンティティを用いて対話のリアリティを高める目的から, 観光名所, 宿泊施設, 飲食店, 買い物施設, 夕 クシーのデータベース構築では，政府や各都市の市町村が公開している観光名所や宿泊施設のリスト （付録の表 6 を参照）を使用した. このリストの内， web サイトを公開している施設のみをデータベース に含めるべきエンティティとして抽出し, エンティ ティに含めるべきスロットの情報を，各 web サイ トから目視で取得した. なお，タクシードメインで は，エンティティの単位をタクシー会社とした. 最終的に構築されたデータベースにおける各ドメイ ンのエンティティ数としては, 観光名所が 447 件,宿泊施設が 884 件，飲食店が 952 件，買い物施設が 445 件，タクシーが 167 件となった. 天気ドメイン のデータベース構築においては，エンティティの単位を日付とし，各都市につき 365 日分の天気情報を 疑似的に作成した.

## 2.3 対話ゴールの設計と生成

対話ゴールは，オペレータ役との対話を通して達成されるべきユーザ役の目標であり，各対話につき 1 つ設定される. 各ゴールは， 1 つ以上の informable スロット（希望の予算や目的地など，ユーザが探 すべきエンティティの検索条件）と，1つ以上の

表 2 対話ゴールの例. 具体的な条件 (“名古屋”や“高め” など）が設定されているスロットと，“?”が設定されてい るスロットは，それぞれ informable スロットと requestable スロット（2.3 節を参照）である.

requestable スロット（電話番号や住所など，ユーザ が取得するべきエンティティの属性情報）で構成さ れる. 各対話ゴールは， 2.1 節で定義されたオント ロジーから，ドメインとスロットをランダムにサン プルして作成した. 対話の長さや複雑さにバリエー ションを持たせるため，1つのゴールには 1 ３つの ドメインが含まれ，各ドメインにつき合計 2〜7つ のスロットが含まれるように設計した。なお都市の informable スロットについては，現実性を考慮し，対話ゴール内のドメイン間で共有される。また，現実で一般的に予約を行うようなドメイン（例えば，所望の飲食店や宿泊施設を見つけた場合，日付や人数の条件を用いて予約することが多い）において は，予約のための条件を informable スロットとして， ランダムに追加した. 後段の対話収集に先立ち, 合計 5,000 種類の対話ゴールを作成した. 作成された 対話ゴールの具体例を表 2 に示す.

## 2.4 対話収集

バックエンドデータベースとランダムに生成さ れた対話ゴールを用いて対話を収集した．Zhu ら [14] の対話収集用プラットフォーム2)をべースとし てユーザ役とオペレータ役の対話作業用 web UIを 実装し，対話収集に使用した. クラウドソーシング サービスとしてランサーズ3)を使用し，ユーザ役と オペレータ役の対話作業者をそれぞれ募集した. 作業者自身のプロフィールに関するアンケート（年代 や性別等）と対話作業によって得られるデータの公開に関する同意書に回答した作業者のみが対話作業

2) https://github.com/thu-coai/CrosswOZ

3) https://www.lancers.jp/

1. あなたは名古屋への旅行を計画しています。

2. 当日訪れる観光名所を探してください. 駐車場を無料で利用できるところにしてください. Wi-Fi が無料が利用できるところにしてください.

3. 条件に合う観光地が見つかったら，エリア，最寄 り駅，定休日を聞いてください。

4. 当日泊まる宿泊施設を探してください. 予算は高 めが希望です.Wi-Fi が無料で利用できるところ にしてください.

5. 条件に合う宿泊施設が見つかったら，近辺の駅か らの所要時間，タイプを聞いてください。

図 1 表 2 の対話ゴールを表す説明文. 青文字は informable スロットを，緑文字は requestable スロットをそ れぞれ示している.

に参加した ${ }^{4)}$. 作業者は，対話作業のマニュアルを 読み，対話作業のデモンストレーション動画（web UI の操作方法や対話の進め方などを動画で解説し たもの）を視聴し，作業の流れを学習してから対話作業を実施した. 多様なユーザ発話を確保するた め, ユーザ役が参加できる対話作業回数を最大 100 対話とし, 同じオペレータ役との対話回数を最大 20 対話とした. 一方オペレータ役は一貫した振る舞い をすることが好ましいため，対話作業数に制限を設 けなかった. 最終的に, ユーザ役 46 名とオペレー タ役 17 名が対話作業に参加した. 以降で，ユーザ 役とオペレータ役それぞれのタスクを説明する.

ユーザ役のタスク ユーザ役のタスクは，対話 ゴールに設定されている informable スロットを適切 にオペレータ役に伝え, requestable スロットの情報 をオペレータ役から取得することである. ユーザ役 は，表 2 のような形式の対話ゴールの代わりに，各 スロットを説明したテンプレート文を読むことで，対話ゴールを把握する．表 2 の対話ゴールを説明す るテンプレート文を図 1 に示す.

オペレータ役のタスク オペレータ役のタスク は，対話相手であるユーザ役から伝えられた情報に 合ったエンティティを旅行情報データベースから 検索し，見つかったエンティティに関する情報を ユーザ役に伝えることである. オペレータ役が使用 する対話作業用 web UI を付録の図 3 に示す. この UI を用いてバックエンドデータベースの検索や検索結果からの情報の読み取り等の操作を行う. オペ レータ役が各ターンに入力したエンティティの検索条件はアノテーションとして記録される. 既存コー パスでは，アノテーションにおける表記ゆれ等の問題 $[20,21]$ が報告されているため, 本研究では, ア

4）事前に，倫理的観点における承認を所属組織から得た.表 3 学習セットにおける, マルチドメインタスク指向型対話データセットの比較. 下 2 行は 1 対話あたりの平均 ドメイン数と平均ターン数をそれぞれ示している.

ノテーションを正規化することを目的とし，プルダ ウンメニューから入力候補を選択するようにし，作業者が手動で検索条件を入力することを避けた. さ らに，オペレータ役の作業の質を高めるため，事前 に 3〜5 対話の練習作業を行い，問題のある作業に 対しては，著者らからのフィードバックを受けた. フィードバックを繰り返し, 問題が無くなった作業者のみが本番の対話作業に参加した.

上記手順により，4,508 対話が収集された. ここ で，データセットを構築する上でノイズとなる対話 を，以下 2 つ手順によって修正または除外した：

1. 各対話終了時，対話中に発生した問題を報告す るためのアンケートを作業者に回答させた. ア ンケートで問題が報告されていた対話は著者ら が目視で確認し，誤字など軽微なミスについて は手作業で修正した. 作業者が対話ゴールを取 り違えて対話を進めている場合など，重大な問題がある対話はデータセットから除外した.

2. 各対話の対話ゴールと対話最終時点でのデータ ベースの検索条件を比較し，いずれかのスロッ トの値が一致していない対話は除外した.

この修正によって，最終的に合計 4,254 対話からな るデータセットが構築された. ここで, dev/test セッ トとして 300 対話ずつ，4,254 対話からランダムに 抽出し, 残る 3,654 対話を train セットとした（各 セットの統計は表 1 を参照).

## 2.5 統計量と既存データセットとの比較

表 3 は, JMultiWOZ と, 英語と中国語における主要なマルチドメインタスク指向型対話データセット MultiWOZ と CrossWOZ の統計量を示している. ド メイン数，スロット数，平均ドメイン数，平均ター ン数が同程度であることから, JMultiWOZ の対話の

図 2 対話長の分布. 1 ドメインのみ含まれる対話 (single-domain) と 2 ドメイン以上含まれる対話 （multi-domain）に分けて集計されている.

複雑さは, 既存のデータセットと比較して遜色ない と言える. 図 2 は，全 4,254 対話を 1 ドメインのみ 含まれる対話（single-domain）と複数ドメインが含 まれる対話（multi-domain）に分けた際の，対話ター ン数の分布を示している.いずれの対話でも長さと 複雑さが多様であることが分かる.

## 3 ベンチマークとしての JMultiWOZ

JMultiWOZ が現時点でタスク指向型対話ベンチ マークとしてどの程度有用であるかを調査するた め，JMultiWOZを用いてタスク指向型対話モデルを 学習し評価する. 本研究では，対話タスクとして， データベースの検索条件推定タスクを設定し評価す る。検索条件推定は，各ターンにオペレータ役が入力したデータベース検索条件（2.4 節を参照）を対話履歴から推定するタスクである。一般的なベンチ マークである対話状態追跡（Dialogue State Tracking; DST）[22,23] と類似したタスクであるが，ユーザが 陽に示した要求のみを扱う点において異なる。

検索条件推定の評価尺度には，DST の主要な評価尺度である Joint Goal Accuracy (JGA) を使用する。 JGA では，各ターンのデータベース検索条件に含ま れるスロットの値を全て正確に推定できたかが評価 される. 実験では，検索条件推定のためのモデルと して T5DST [24]を採用し（詳細は付録の A. 1 節を参照)，全ての学習データを用いた評価（full-shot）と，初見ドメインへの適応能力の評価 (zero-shot cross domain）を行った.

## 3.1 Full-shot

Full-shot 評価実験では，全ての train セットで学習された検索条件推定モデルを，全ての test セッ トを用いて評価した。評価結果としては，JGAが 90.3\%と高かった. 参考値として，DST タスクにお表 4 JMultiWOZ における zero-shot cross domain 評価の結果. スコアは全て Joint Goal Accuracy（JGA）を示す.

ける，英語と中国語の主要なマルチドメインタスク 指向型対話データセットである MultiWOZ ${ }^{51}$ [10] と CrossWOZ [14] の JGA も評価したところ，それぞれ $56.9 \%$ と $53.6 \%$ であった. DST タスクでは，索条件推定タスクとは異なり，暗示的な対話状態の更新 （MultiWOZ ではユーザがオペレータの推薦条件に肯定した場合，その条件を用いて対話状態が更新され る）等の難しさがあり，それがこの精度の差となっ て表れたと考えられる。今後，JMultiWOZについて も対話状態のアノテーションを実施し，DST タスク の精度を確認したい.

## 3.2 Zero-shot Cross Domain

ゼロショットドメイン間（zero-shot cross domain）転移学習 [25, 26] における検索条件推定タスクの精度を評価した。この実験では，train セットの内，目標となる 1 ドメインを除いた 5 ドメインのみが含ま れるデータでモデルを学習し, 評価時は test セット に含まれる目標ドメインのみを使用した。

評価結果を表 4 に示す。宿泊施設，飲食店，タク シーでの JGA は, full-shot 評価と比較し大幅に低下 しており，また，観光名所，買い物など，他のドメ インと共通のスロットを多く持つドメインでも JGA の低下がみられた。そのため，検索条件推定タスク は，full-shot においては比較的容易なタスクである 一方， zero-shot cross domain においては十分難しく，取り組むべき課題であると考えられる。

## 4 おわりに

本研究では，日本語におけるマルチドメインタス ク指向型対話データセット JMultiWOZを構築し，そ の構築手順と統計量を報告した。また，データベー スの検索条件推定タスクによる評価を行い，タスク 指向型対話ベンチマークとしての将来性を示した.本データセットは，各ターンに対する対話行為と対話状態のアノテーションなど，データを整備したう えで，バックエンドデータベースと共に公開する予定である.

5）本研究では，アノテーションエラーが修正された MultiWOZ2.2 [21]を用いた。

## 謝辞

本研究は，JST ムーンショット型研究開発事業, JPMJMS2011 の支援を受けたものです. また，対話収集用プラットフォームを公開していただいた Zhu ら [14] に感謝申し上げます.

## 参考文献

[1] Yichi Zhang, Zhijian Ou, and Zhou Yu. Task-Oriented Dialog Systems That Consider Multiple Appropriate Responses under the Same Context. In Proc. AAAI, pp. 9604-9611, 2020.

[2] Ehsan Hosseini-Asl, Bryan McCann, Chien-Sheng Wu, Semih Yavuz, and Richard Socher. A simple language model for taskoriented dialogue. In Proc. NeurIPS, pp. 20179-20191, 2020.

[3] Wanwei He, Yinpei Dai, Yinhe Zheng, Yuchuan Wu, Zheng Cao, Dermot Liu, Peng Jiang, Min Yang, Fei Huang, Luo Si, Jian Sun, and Yongbin Li. Galaxy: A generative pre-trained model for taskoriented dialog with semi-supervised learning and explicit policy injection. In Proc. AAAI, No. 10, pp. 10749-10757, 2022.

[4] Yixuan Su, Lei Shu, Elman Mansimov, Arshit Gupta, Deng Cai, Yi-An Lai, and Yi Zhang. Multi-Task Pre-Training for Plug-andPlay Task-Oriented Dialogue System. In Proc. ACL, pp. 46614676, 2022.

[5] Matthew Henderson, Blaise Thomson, and Jason D. Williams. The Second Dialog State Tracking Challenge. In Proc. SIGDIAL, pp. 263-272, 2014.

[6] Layla El Asri, Hannes Schulz, Shikhar Sharma, Jeremie Zumer, Justin Harris, Emery Fine, Rahul Mehrotra, and Kaheer Suleman. Frames: a corpus for adding memory to goal-oriented dialogue systems. In Proc. SIGDIAL, pp. 207-219, 2017.

[7] Tsung-Hsien Wen, David Vandyke, Nikola Mrkšić, Milica Gašić, Lina M. Rojas-Barahona, Pei-Hao Su, Stefan Ultes, and Steve Young. A Network-based End-to-End Trainable Task-oriented Dialogue System. In Proc. EACL, pp. 438-449, 2017.

[8] Mihail Eric, Lakshmi Krishnan, Francois Charette, and Christopher D. Manning. Key-value retrieval networks for task-oriented dialogue. In Proc. SIGDIAL, pp. 37-49, 2017.

[9] Pararth Shah, Dilek Hakkani-Tür, Gokhan Tür, Abhinav Rastogi, Ankur Bapna, Neha Nayak, and Larry Heck. Building a Conversational Agent Overnight with Dialogue Self-Play. arXiv preprint arXiv:1801.04871, 2018.

[10] Pawe 1 Budzianowski, Tsung-Hsien Wen, Bo-Hsiang Tseng, Iñigo Casanueva, Stefan Ultes, Osman Ramadan, and Milica Gašić. MultiWOZ - A Large-Scale Multi-Domain Wizard-of-Oz Dataset for Task-Oriented Dialogue Modelling. In Proc. EMNLP, pp. 50165026, 2018.

[11] Abhinav Rastogi, Xiaoxue Zang, Srinivas Sunkara, Raghav Gupta, and Pranav Khaitan. Towards Scalable Multi-Domain Conversational Agents: The Schema-Guided Dialogue Dataset. In Proc. AAAI, Vol. 34, pp. 8689-8696, 2020.

[12] Johannes EM Mosig, Shikib Mehri, and Thomas Kober. Star: A schema-guided dialog dataset for transfer learning. arXiv preprint arXiv:2010.11853, 2020.

[13] Derek Chen, Howard Chen, Yi Yang, Alexander Lin, and Zhou Yu. Action-based conversations dataset: A corpus for building more in-depth task-oriented dialogue systems. In Proc. NAACL, pp. 3002-3017, 2021.

[14] Qi Zhu, Kaili Huang, Zheng Zhang, Xiaoyan Zhu, and Minlie Huang. CrossWOZ: A large-scale Chinese cross-domain taskoriented dialogue dataset. TACL, pp. 281-295, 2020.

[15] Jun Quan, Shian Zhang, Qian Cao, Zizhong Li, and Deyi Xiong. RiSAWOZ: A large-scale multi-domain Wizard-of-Oz dataset with rich semantic annotations for task-oriented dialogue modeling. In
Proc. EMNLP, pp. 930-940, 2020.

[16] Zhaojiang Lin, Andrea Madotto, Genta Indra Winata, Peng Xu, Feijun Jiang, Yuxiang Hu, Chen Shi, and Pascale Fung. Bitod: A bilingual multi-domain dataset for task-oriented dialogue modeling. arXiv preprint arXiv:2106.02787, 2021.

[17] David R. Traum. Speech Acts for Dialogue Agents. Foundations of Rational Agency, pp. 169-201, 1999.

[18] Jason Williams, Antoine Raux, Deepak Ramachandran, and Alan Black. The dialog state tracking challenge. In Proc. SIGDIAL, pp. 404-413, 2013.

[19] J. F. Kelley. An iterative design methodology for user-friendly natural language office information applications. ACM Trans. Inf. Syst., pp. 26-41, 1984.

[20] Mihail Eric, Rahul Goel, Shachi Paul, Abhishek Sethi, Sanchit Agarwal, Shuyang Gao, Adarsh Kumar, Anuj Goyal, Peter Ku, and Dilek Hakkani-Tur. MultiWOZ 2.1: A consolidated multi-domain dialogue dataset with state corrections and state tracking baselines. In Proc. LREC, pp. 422-428, 2020.

[21] Xiaoxue Zang, Abhinav Rastogi, Srinivas Sunkara, Raghav Gupta, Jianguo Zhang, and Jindong Chen. MultiWOZ 2.2 : A dialogue dataset with additional annotation corrections and state tracking baselines. In Proc. NLP4ConvAI, pp. 109-117, 2020.

[22] Jason D Williams, Antoine Raux, and Matthew Henderson. The dialog state tracking challenge series: A review. Dialogue \& Discourse, pp. 4-33, 2016.

[23] Léo Jacqmin, Lina M. Rojas Barahona, and Benoit Favre. "do you follow me?": A survey of recent approaches in dialogue state tracking. In Proc. SIGDIAL, pp. 336-350, 2022.

[24] Zhaojiang Lin, Bing Liu, Seungwhan Moon, Paul Crook, Zhenpeng Zhou, Zhiguang Wang, Zhou Yu, Andrea Madotto, Eunjoon Cho, and Rajen Subba. Leveraging Slot Descriptions for ZeroShot Cross-Domain Dialogue StateTracking. In Proc. NAACL, pp. 5640-5648, 2021.

[25] Chien-Sheng Wu, Andrea Madotto, Ehsan Hosseini-Asl, Caiming Xiong, Richard Socher, and Pascale Fung. Transferable MultiDomain State Generator for Task-Oriented Dialogue Systems. In Proc. ACL, pp. 808-819, 2019.

[26] Zhaojiang Lin, Bing Liu, Andrea Madotto, Seungwhan Moon, Zhenpeng Zhou, Paul Crook, Zhiguang Wang, Zhou Yu, Eunjoon Cho, Rajen Subba, and Pascale Fung. Zero-shot dialogue state tracking via cross-task transfer. In Proc. EMNLP, pp. 7890-7900, 2021.

[27] Zhaojiang Lin, Andrea Madotto, Genta Indra Winata, and Pascale Fung. MinTL: Minimalist transfer learning for task-oriented dialogue systems. In Proc. EMNLP, pp. 3391-3405, 2020.

[28] Chia-Hsuan Lee, Hao Cheng, and Mari Ostendorf. Dialogue State Tracking with a Language Model using Schema-Driven Prompting. In Proc. EMNLP, pp. 4937-4949, 2021.

[29] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the Limits of Transfer Learning with a Unified Text-toText Transformer. JMLR, pp. 1-67, 2020.

[30] Linting Xue, Noah Constant, Adam Roberts, Mihir Kale, Rami Al-Rfou, Aditya Siddhant, Aditya Barua, and Colin Raffel. mT5: A Massively Multilingual Pre-trained Text-to-Text Transformer. In Proc. NAACL, pp. 483-498, 2021.

## A 付録

表 5 各ドメインのオントロジーとして定義されているスロットの一覧. 上付き数字はそれぞれのスロットが属するド メインを示している。*: 全ドメイン，1: 観光名所，2: 宿泊施設，3: 飲食店，4: 買い物施設，5: タクシー，6: 天気.都市 ${ }^{*}$, 名称 ${ }^{1}$, ジャンル ${ }^{134}$, エリア ${ }^{12346}$, 最寄り駅 ${ }^{1234}$, wifi の有無 ${ }^{123}$, 駐車場の有無 ${ }^{1234}$, 営業時間 ${ }^{134}$, 電話番号 ${ }^{12345}$, 住所 ${ }^{1234}$, 近辺の駅 からの所要時間 ${ }^{1234}$, 定休日 ${ }^{134}$, 大人入場料 ${ }^{1}$, 子供入場料 ${ }^{1}$, 料金情報 123 , 施設名 ${ }^{2}$, タイプ 2 , 値段帯 23 , レストランの有無 ${ }^{2}$, チエックイン 開始時刻 ${ }^{2}$, チェックアウト終了時刻 ${ }^{2}$, 予約番号 235 人数 ${ }^{23}$, 日付 2356 , 宿泊日数 ${ }^{2}$, 店名 ${ }^{3}$, 時刻 3 , 店舗名 ${ }^{4}$, タクシー会社名 ${ }^{5}$, キャッシュ レス対応 $5^{2}$, ジャンボタクシー対応 ${ }^{5}$, 出発時刻 $5^{5}$, 出発地 ${ }^{5}$, 目的地 ${ }^{5}$, 天気 ${ }^{6}$, 最低気温 ${ }^{6}$, 最高気温 ${ }^{6}$

表 6 バックエンドデータベース構築時に参照した，各ドメインにおけるエンティティリストのソースサイト

 \\

旅行案内プラットフォーム

operator_1584IEfk(オペレータ)ーククアウト

図 3 オペレータ役の対話作業用 web UI.（A）: バックエンドデータベースの検索欄.（B）：エンティティの属性情報が 表示される欄。（C）: チャット欄.

## A. 1 モデル実装の詳細

検索条件推定のモデルとしては，近年多くの研究がなされている事前学習済み言語モデルを用いた DST モ デル [27,28] の内，T5DST [24]を採用した．T5DST は，言語モデル T5 [29]を用いて，対話履歴と，あるスロッ トの説明文から，そのスロットの值を推定するモデルである. Full-shot 評価実験では，多言語版 T5 の mT5 [30]（300M バージョン6） を使用した. Zero-shot cross domain 評価実験では，日本語版 T5（t5-base-japanese ${ }^{7)}$ ) を使用した. JGA の計測には，Lin ら [24] の評価スクリプトを用いた. 学習時には，バッチサイズを 32 と し, 最大 3 エポック学習した. 学習率は, 初期値 $5 e-5$ から学習ステップごとに線形減衰させた. テスト時 には，dev セットでの損失が最も低いチェックポイントを使用し, 生成時のビームサイズは 1 とした.

6) https://huggingface.co/google/mt5-small

7) https://huggingface.co/sonoisa/t5-base-japanese


# 語りの傾聴において不同意される発話とその検出

伊藤滉一朗 1 村田匡輝 ${ }^{2}$ 大野誠寛 ${ }^{3}$ 松原茂樹 1,4
1 名古屋大学大学院情報学研究科 2 豊田工業高等専門学校
3 東京電機大学未来科学部 4 名古屋大学情報連携推進本部
ito.koichiro.v1@s.mail.nagoya-u.ac.jp murata@toyota-ct.ac.jp
ohno@mail.dendai.ac.jp matsubara.shigeki.z8@f.mail.nagoya-u.ac.jp

## 概要

コミュニケーションロボットやスマートスピー カーなどの会話エージェントが，人に代わって聴き 手を担うことが期待されている。これらが聴き手と して認められるには，傾聴を示す目的で語りに応答 する発話（傾聴応答）の表出が有効である。傾聴で は，語り手の発話に同意や肯定をすることが基本的 な応答方略となる. しかし, 語り手の自虐的な発話 などには，語りに同意しないことを示す応答（不同意応答）が好ましい. 本論文では，不同意応答の生成に向けて，その表出が適する発話の検出について 述べる. 不同意応答が適する発話が含まれる高齢者 の語りデータを用いて，検出実験を実施し，その実現可能性を考察した。

## 1 はじめに

語ることは人間の基本的な欲求である. 語る行為 は，聴き手がいて初めて成立する，日本では，独居高齢者の増加など社会の個人化が進み $[1]$, 聴き手不在の生活シーンが増加している。人が語れる機会 を増やすことは現代社会の重要な課題である。これ に対し，コミュニケーションロボットなどの会話 エージェントやスマートスピーカーなどの情報機器 が語りを聴く役割を担うことが考えられる。これら が聴き手として認められるには，語りを傾聴してい ることを語り手に伝達する機能を備える必要があ る.このための明示的な手段は語りに応答すること であり，ジェスチャや発話の表出が有力である．以降では，傾聴を示す目的で語りに応答する発話を傾聴応答と呼ぶ.

語りの傾聴では，語り手の発話に同意または肯定 することが聴き手の基本的な応答方略となる. 傾聴応答の代表は相槌であり, その生成法が提案されて いる $[2,3,4,5,6,7,8,9,10,11,12]$. しかし, 語り手表 1 語りと傾聴応答の例

の自虐的な発話などには，同意や肯定を目的とした 応答の表出が適さないことがある. その場合には,語りに同意しないことを示す応答の表出が求められ る. 以降では，こうした応答を不同意応答と呼ぶ.

本論文では，不同意応答の自動生成の実現に向け て，その表出が適する発話の検出について述べる.不同意応答が適する発話を含む高齢者の語りデータ を用いた実験を行い，BERT [13] を用いた検出手法 の性能を評価するとともに，その課題を考察した。

## 2 語りの傾聴と不同意

## 2.1 傾聴応答

傾聴応答は，語りを傾聴していることを語り手に 伝える応答である。傾聴応答の種類には，相槌，感心，評価などがあり [14]，語り手の語る意欲を促進 する効果がある．表 1 に，語りと傾聴応答の例を示 す.（）内は傾聴応答の種類を示す.

## 2.2 関連研究

傾聴応答の代表は相桘であり，その生成方法に関 する研究が存在している $[2,3,4,5,6,7,8,9,10,11$ ， 12]. これらの研究では, 語りから抽出されるピッ チやパワーなどの音響情報や，単語や品詞などの言語情報から，相槌の生成に適したタイミングを検出 する手法を提案している。これまでに，ルールベー スによる手法 [3, 7]，n-gram モデルによる手法 [4],有限状態トランデューサによる手法 [5]，決定木に

よる手法 [2, 6]，CRFによる手法 [8]，SVMによる手法 $[9,10]$ などが提案されている。近年では，LSTM やBERT などのニューラルネットワークを用いた手法 [11,12] も提案されている.

相棺以外の傾聴応答の生成に関する研究も存在す る $[15,16,17,18,19,20,21,22,23]$. 相槌だけでなく,繰り返しや問い返しなども生成可能なシステムの開発に取り組まれている $[15,16,17,18]$. これらのシ ステムは，事前に定義したルールやアルゴリズムに 従い，生成する応答の種類を選択した後，応答を生成する. 他にも, 系列変換モデルによる, 傾聴応答 の応答文の生成に関する研究も行われている [19]. また，相槌以外の特定の種類の傾聴応答に着目した 研究も存在する. 繰り返し応答の生成に関しては,繰り返すべき語句の検出 $[20,21]$ や, 繰り返しの応答文の生成 $[22,23]$ が研究されている. 従来の傾聴応答の生成に関する研究では，語りの発話に同意や 肯定を示す応答が，主な生成の対象とされてきた.

## 2.3 傾聴における不同意応答

これまでに，Ito らは，高齢者の語りに対する傾聴応答を収集している [24]. 合計で約 15 万個の傾聴応答を収集しており，それらには人手で応答の種類 が付与されている. 応答の種類は, 相槌, 感心, 繰 り返し, 評価, 同意など, 全 16 種類存在し, 全体 の $67.96 \%$ が相槌であり, 相槌以外の種類は合計して $32.04 \%$ 占めていた. 図 1 に，相槌以外の応答の種類の分布を示す. 相槌以外の応答の種類は，感心，繰り返し, 評価, 同意の順に多く出現していた. 以下に，それらの応答と対応する語りの例を示す.

$\cdot$ 感心

【語り】地方に行った時そこにある美術館 にはなるべく行くようにしています

【応答】そうなんですね
- 繰り返し

【語り】わたくしのこんにちまでの仕事は えーライターです

【応答】ライター
- 評価

【語り】書道も好きで総理大臣賞も頂いた りして

【応答】凄いですね

$\cdot$同意

【語り】五千歩歩くということはなかなか 難しいことで

図 1 傾聴応答の種類の分布

## 【応答】そうですね

語りを傾聴する聴き手の応答方略としては，上述 した例のように，語りに同意や肯定を示す応答の表出が基本である. しかし, 場合によっては, 不同意応答の表出を必要とすることもある．例えば，次に 示すような自虐的・謙遜的な発話には，同意や肯定 を示す応答ではなく，「いえいえ」などの不同意応答の方が適切である。

・<自虐・謙遜>私は昔から気が利かないもので して

また，次に示すような謝罪の発話も，不同意応答の 方が適切な語りの発話として挙げられる。

・く謝罪>昔のことなので思い出せなくてごめ んなさい

語りには，上述したような不同意応答が適する発話の出現は，多くはないものと考えられる. 図 1 の 分布においても, 不同意応答の出現は少数である. しかし，不同意応答が適切な場面で，誤って肯定や 同意の応答をしてしまうと，語り手に多大な不信感 を与えてしまう．そこで，本論文では，不同意応答 の自動生成の実現に向け, 不同意応答が適する語り の発話の検出可能性とその課題について述べる.

## 3 検出手法

本研究の目的は, 不同意応答が適する語りの発話 の検出の実現可能性を考察することである. 本研究 では，BERT [13]を用いた単純な手法を採用する.幅広いタスクで有効性が示されている BERTを用 いた手法に対して，その検出性能を評価するととも に，その課題を考察する。

本手法では, 語り内の各発話を不同意応答が適

するか否かの 2 クラスに分類する．分類は，事前学習済みの BERTを fine-tuning したモデルによって 行う. 具体的には, 分類対象の発話の先頭に [CLS] トークンを，末尾に [SEP] トークンをそれぞれ追加 した文字列をモデルに入力する．BERT の最終層の [CLS] トークンの出力を 2 クラス分類用の出力層で 変換して，両クラスに属する確率値を得たのち，確率值が高い方のクラスに分類する。

## 4 検出実験

## 4.1 実験概要

不同意応答が適する発話の検出可能性とその課題 を考察するために，実験を実施した。述語を中心と した言語的なまとまりである節を語りの発話単位と し，節を不同意応答が適するか否かに分類する手法 を実装し，その性能を評価した。

## 4.2 実験データ

本実験の語りデータには，高齢者のナラティブ コーパス JELiCo [25]を用いた.この語りデータに は, 30 名の高齢者による 1 人約 20 分の語りの音声 が収録されている. 全高齢者共通の 10 個の質問に 対し，その回答を独話として語るという収録形式 が採用されている. 節境界解析ツール CBAP [26] に よって，語りを 11,201 個の節に分割し，不同意応答 が適するとみなせるものを人手で抽出した. この抽出作業は, 著者のうちの 1 人が行った. 抽出作業の 結果，全体の $2.02 \%$ にたる 226 個の節が，不同意応答が適する節として抽出された. 語りに占める不同意応答が適する節の割合は少なく, 不均衡なデー タとなっている。

## 4.3 手法の実装

事前学習済みの BERT を fine-tuning することで，語り内の節を不同意応答が適するか否かに分類す るモデルを実装した. モデルの学習における損失関数は, Cross Entropy Loss とした. 実験データ内の節 を 6:2:2に分割し，それぞれを，学習，開発，テスト データとして，テストデータでの性能を評価した。

事前学習済みの BERTには, huggingface の cl-tohoku/bert-base-japanese-v2を用いた。実装に は, huggingface/transformers $の$ AutoModelForSequenceClassification, TrainingArguments, Trainerを用いた. バッチサイズを 32 , エポック数を 10 , 計算精度に関
するパラメータ fp16を True とした. その他の設定 は上記ライブラリのデフォルトのままとした.

上述の BERT による手法の他に，入力された節を ランダムに分類する以下の 2 つの手法を実装した.

・random (even): 50\%の確率でランダムに分類す る手法

・ random (balanced): 学習データにおける不同意応答が適する節の割合に従って，ランダムに分類する手法

本実験では，random (balanced) は，1.89\%の確率で不同意応答が適すると分類する。

## 4.4 評価方法

本実験では，適合率，再現率， $\mathrm{F}$ 値を評価指標と する. 不同意応答が適する語りの発話に不同意応答 できるだけでなく，それが適さない語りの発話には 不同意応答をしないことも重要であると考えられ る. そこで，本実験では，不同意応答が適する節と 適さない節のそれぞれに対して，適合率，再現率， $\mathrm{F}$ 值を求める. また，そのマクロ平均も評価に用い る。以降では，不同意応答が適する節を本実験にお ける正例，適さない節を負例とする．正例に対する 適合率と再現率は，それぞれ次の式で計算する。

$
\begin{aligned}
& \text { 適合率 }=\frac{\text { 正例に正しく分類できた節の数 }}{\text { 正例に分類した節の数 }} \\
& \text { 再現率 }=\frac{\text { 正例に正しく分類できた節の数 }}{\text { 正例の節の数 }}
\end{aligned}
$

負例に対しても，同様にして計算する。

## 4.5 実験結果

表 2 に，テストデータに対する各手法の評価値 を，図 2 に分類結果に関する混同行列を示す。総合的な評価指標であるマクロ適合率，マクロ再現率，マクロ $\mathrm{F}$ 值のすべてにおいて，BERTを用いた 手法は， random の 2 つの手法を上回っていた.こ のことから，幅広いタスクで有効性が示されている BERT に基づく手法は，不同意応答が適する節の検出においても，ある程度有効であるといえる。ま た，BERTを用いた手法と random の各手法との間に マクネマー検定を適用したところ，いずれにおいて も有意差が確認できた。

各手法の正例および負例に対する検出性能につい て述べる. 表 2 の通り，BERTを用いた手法が，正例と負例の両方の評価指標で比較的高い値を記録し
表 2 実験結果

図 2 混同行列

ており，5つの評価指標で random の 2 つの手法を 上回っていた. 正例の再現率についてのみ, random (even) が最も高い値となったものの, 図 2 の通り, random (even) は約半数もの節を正例であると分類し ており，その大部分は誤りであった。

以上の結果から，BERTを用いた手法は，不同意応答が適する節の特徴をある程度捉えられているも のといえる。しかし，その性能は十分であるとはい えない. この原因には，本データが正例が少ない不均衡データであったことが挙げられる. 正例が少数 であるため, 正例である不同意応答が適する節の特徵を十分に学習できなかったものと考えられる。

## 5 まとめ

本論文では，不同意応答の自動生成に向けた，不同意応答が適する発話の検出について述べた. 高齢者の語りデータを用いて，検出実験を実施し，その 実現可能性を考察した. 実験では，事前学習済みの BERTを用いた手法が，ランダムな手法よりも高い 性能を示し，ある程度の性能で検出できることを確認したが，その性能は十分ではなかった. 不同意応答が適する発話は, 語りにおける出現が多くない.今後は，こうしたデータの不均衡に起因する問題に 対応するために，モデルの学習時におけるサンプリ ングや class-weight の適用などを検討したい.

## 謝辞

高齢者のナラティブデータは, 奈良先端科学技術大学院大学ソーシャル・コンピューティング研究室 から提供いただいた. 本研究は, 一部, 科学研究費補助金 挑戦的研究（萌芽）（No. 18K19811）, 名古屋大学及び JST 科学技術イノベーション創出に向け た大学フェローシップ創設事業 JPMJFS2120 による 「名古屋大学融合フロンティアフェローシップ」研究費により実施したものである.

## 参考文献

[1] Ministry of Health, Labor and Welfare. Summary report of comprehensive survey of living conditions 2019. https://www.mhlw.go.jp/english/database/ db-hss/dl/report_gaik yo_2019.pdf, Jul. 2020.

[2] Hiroaki Noguchi and Yasuharu Den. Prosody-based detection of the context of backchannel responses. In Proc. 5th International Conference on Spoken Language Processing, pp. 487-490, Sydney, Australia, Dec. 1998.

[3] Nigel Ward and Wataru Tsukahara. Prosodic features which cue back-channel responses in english and Japanese. J. pragmatics, Vol. 32, No. 8, pp. 1177-1207, Jul. 2000. DOI:10.1016/S0378-2166(99)00109-5.

[4] Nicola Cathcart, Jean Carletta, and Ewan Klein. A shallow model for backchannel continuers in spoken dialogue. In Proc. 10th Conference on European Chapter of the Association for Computational Linguistics, pp. 51-58, Budapest, Hungary, Apr. 2003. DOI:10.3115/1067807.1067816.

[5] Shinya Fujie, Kenta Fukushima, and Tetsunori Kobayashi.

A conversation robot with back-channel feedback function based on linguistic and nonlinguistic information. In Proc. 2nd International Conference on Autonomous Robots and Agents, pp. 379-384, Palmerston North, New Zealand, Dec. 2004.

[6] Norihide Kitaoka, Masashi Takeuchi, Ryota Nishimura, and Seiji Nakagawa. Response timing detection using prosodic and linguistic information for human-friendly spoken dialog systems. 人工知能学会論文誌, Vol. 20, No. 3, pp. 220-228, Mar. 2005. DOI:10.1527/tjsai.20.220.

[7] Ronald Poppe, Khiet P Truong, Dennis Reidsma, and Dirk Heylen. backchannel strategies for artificial listeners. In Proc. 10th International Conference on Intelligent Virtual Agents, pp. 146-158, Philadelphia, USA, Sep. 2010. DOI:10.1007/978-3-642-15892-6_16.

[8] Louis-Philippe Morency, Iwan de Kok, and Jonathan Gratch. A probabilistic multimodal approach for predicting listener backchannels. J. Autonomous Agents and Multi-Agent Systems, Vol. 20, No. 1, pp. 70-84, Jan. 2010. DOI:10.1007/s10458-009-9092-y.

[9] Takashi Yamaguchi, Koji Inoue, Koichiro Yoshino, Katsuya Takanashi, Nigel G. Ward, and Tatsuya Kawahara. Analysis and prediction of morphological patterns of backchannels for attentive listening agents. In Proc. 7th International Workshop on Spoken Dialogue Systems, pp. 1-12, Saariselkä, Finland, 12016.

[10] Tomohiro Ohno, Yuki Kamiya, and Shigeki Matsubara. Detection of back-channel feedback timings using spoken dialogue corpus. IEICE Trans. Fundamentals (Japanese Edition), Vol. J100-A, No. 1, pp. 53-65, 1 2017.

[11] Robin Ruede, Markus Müller, Sebastian Stüker, and Alex Waibel. Enhancing backchannel prediction using word embeddings. In Proc. 18th Annual Conference of the International Speech Communication Association, pp. 879-883, Stockholm, Sweden, Aug. 2017. DOI:10.21437/Interspeech.2017-1606.

[12] Jin Yea Jang, San Kim, Minyoung Jung, Saim Shin, and Gahgene Gweon. BPM_MT: Enhanced backchannel prediction model using multi-task learning. In Proc. 2021 Conference on Empirical Methods in Natural Language Processing, pp. 3447-3452, Punta Cana, Dominican Republic (Online), Nov. 2021. DOI:10.18653/v1/2021.emnlp-main. 277.

[13] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proc. 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL-2019), pp. 4171-4186, Minneapolis, USA, 2019.

[14] 日本語記述文法研究会. 現代日本語文法 7. くろしお 出版, 2009.

[15] Yuka Kobayashi, Daisuke Yamamoto, Toshiyuki Koga, Sachie Yokoyama, and Miwako Doi. Design targeting voice interface robot capable of active listening. In Proc. 5th ACM/IEEE International Conference on HumanRobot Interaction, pp. 161-162, Osaka, Japan, Mar. 2010.
[16] Toyomi Meguro, Yasuhiro Minami, Ryuichiro Higashinaka, and Kohji Dohsaka. Evaluation of listeningoriented dialogue control rules based on the analysis of HMMs. In Proc. 12th Annual Conference of the International Speech Communication Association, pp. 809-812, Florence, Italy, Aug. 2011.

[17] Kazuya Shitaoka, Ryoko Tokuhisa, Takayoshi Yoshimura, Hiroyuki Hoshino, and Narimasa Watanabe. Active listening system for a conversation robot. Journal of Natural Language Processing (Japanese Edition), Vol. 24, No. 1, pp. 3-47, 2017. DOI: $10.5715 /$ jnlp.24.3.

[18] Koji Inoue, Divesh Lala, Kenta Yamamoto, Shizuka Nakamura, Katsuya Takanashi, and Tatsuya Kawahara. An attentive listening system with android ERICA: comparison of autonomous and WOZ interactions. In Proc. 21th Annual Meeting of the Special Interest Group on Discourse and Dialogue, pp. 118-127, 1st virtual meeting, Jul. 2020.

[19] 村田匡輝, 大野誠宽, 松原茂樹. 系列変換モデルに基 づく傾聴的な応答表現の生成. 言語処理学会第 24 回年次大会発表論文集, pp. 821-824, 岡山コンベンショ ンセンター, Mar. 2018.

[20] 伊藤滉一朗, 村田匡輝, 大野誠寛, 松原茂樹. 傾聴を示 す応答で繰り返される語りの語句の検出. 言語処理学会第 25 回年次大会発表論文集, pp. 1316-1319,名古屋大学東山キャンパス, Mar. 2019.

[21] 川本稔己, 長谷川駿, 上垣外英剛, 船越孝太郎, 奥村学. 傾聴の応答で繰り返される語句の検出性能の向上. 言語処理学会第 27 回年次大会発表論文集, pp. 1580-1584, 北九州国際会議場, Mar. 2021.

[22] 田原俊一, 松本一則, 服部元. オウム返し応答を生成 する対話システム. FIT2021（第 20 回情報科学技術 フォーラム）,第 2 巻, pp. 465-466, オンライン, 2021.

[23] Toshiki Kawamoto, Hidetaka Kamigaito, Kotaro Funakoshi, and Manabu Okumura. Generating repetitions with appropriate repeated words. In Proc. 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 852-859, Seattle, United States, Jul. 2022. DOI:10.18653/v1/2022.naacl-main. 62.

[24] Koichiro Ito, Masaki Murata, Tomohiro Ohno, and Shigeki Matsubara. Construction of responsive utterance corpus for attentive listening response production. In Proc. 13th Language Resources and Evaluation Conference, pp. 7244-7252, Marseille, France, June 2022.

[25] Eiji Aramaki. Japanese elder' $s$ language index corpus v2. https://figshare.com/articles/dataset/ Japanese_Elder_s_Language_Index_Corpus_v2/ 2082706/1, Nov. 2016.

[26] Hideki Kashioka and Takehiko Maruyama. Segmentation of semantic units in Japanese monologues. In Proceedigs of the International Conference on Speech and Language Technology \& Oriental-COCOSDA 2004 (ICSLT-O-COCOSDA 2004), pp. 87-92, Delhi, India, Nov. 2004.


# 生成モデルによる傾聴応答タイミングの推定と 動的 Prompt-Tune を用いた応答スタイルのパラメーター制御

室町俊貴 1 狩野芳伸 1
1 静岡大学大学院 総合科学技術研究科情報学専攻
tmuromachi@kanolab.net kano@inf.shizuoka.ac.jp

## 概要

円滑な音声対話のためには、聞き手は継続的に傾聴行為を行う必要がある。本研究では、聞き手が応答すべきタイミングを推定し、応答生成まで行う 手法を提案する。提案手法は、特徴量から推測す るパラメーターと話し手の発話文とを入力とする 応答生成モデルによって応答タイミングを推定す る。さらに、パラメーターから動的に生成される Prompt-Token を用いた Prompt-Tune によって、パラ メーターに適した多様なスタイルの応答を返す。自動評価と人手評価の結果から、提案手法はベースラ インモデルと比較し、より自然なタイミングで応答 が可能となり、よりパラメーターに沿った応答を生成できることを確認した。

## 1 はじめに

人間同士の雑談において、聞き手は相槌や領きと いった傾聴行為を行うことが多い。このような傾聴行為は、コミュニケーションをより円滑にする効果 が期待できるため、人間と音声対話システムにおけ る対話でも、システムが聞き手にまわる際には継続的に傾聴行為を行う必要があると考える。そこで本研究では、聞き手が応答すべきタイミングを推定 し、多様な応答生成を行う音声対話システムの構築 を目的とする。

相槌など聞き手応答タイミングの推定に関して は、音響特徴量からの推定手法 [1] や、節境界や無音区間、母音引き延ばしといった特徵量を使用する手法 [2] など様々な手法が提案されている。また、聞 き手応答タイミングの推定と類似した問題設定とし て、話者交代のタイミング推定が挙げられる。話者交代のタイミング推定においても、音響特徴量や言語特徴量を用いた推測を行う手法が多数提案されて いる $[3,4,5]$ 。近年では対話の文脈を取り入れたモ
デルも提案されており、Ekstedt らは GPT-2[6] ベー スの話者交代予測モデルである、TurnGPT を提案し ている [7]。TurnGPT は先行発話の書き起こしテキ ストを入力とし、直後の話者交代確率を推定する。

本研究では TurnGPT を拡張し、生成モデルによっ て、応答タイミング推定から応答生成まで行う手法 を提案する。応答タイミングは、話し手の発話文を ランダムに途中で切ったサンプルを訓練データに追加するデータ拡張を行って推定する。また、話し手 の話速、前回の聞き手応答からの経過時間、節境界判定モデルの結果といった特徴量から推定する潜在的なパラメーターに沿った応答を生成することで、書き起こしテキスト単体では不足する情報を補う。 パラメーターに沿った応答スタイルの学習時には、 パラメーターから動的に生成される Prompt-Token を 用いた Prompt-Tune を行う。これにより少量のデー タでも効率的な学習ができる。

応答タイミングと生成された応答のパラメーター 反映度との 2 つ観点において自動評価と人手評価 を行った結果、提案手法はベースラインである節境界によって応答タイミングを推定するモデルより も、より高い性能で応答タイミングを推定できた。 また、Fine-Tune、Prompt-Tune を施したモデルより も、与えられたパラメーターに沿った応答を生成で きることを確認した。さらに、パラメーター推定性能についても自動評価と人手評価を行った結果、応答生成時にパラメーター推定結果を用いることで、 より自然な応答ができることを確認した。

## 2 関連研究

## 2.1 Prompt-Tune

BERT[8] や GPT-3[9] のような事前学習済み言語 モデルが多くの自然言語処理タスクで使われるよ うになっている。GPT-3 などの大規模なモデルで

図 1 提案手法の概念図

は、タスクの説明等を記述した Prompt と呼ばれる 文字列を追加で与えることで再学習なしにタスク を解く、Prompt Design が利用されている。しかし、 Prompt Design は Fine-Tune と比較すると性能が劣る 傾向にある。そこで、Soft-Prompt と呼ばれる学習可能なベクトルを入力テキストの埋め込み表現に連結し、Prompt 部分のみを最適化する Prompt-Tune が 提案されている [10]。Soft-Prompt のみを学習する ことで大幅に学習パラメーターを削減できるため、低コストで学習ができるといったメリットがあり、 Fine-Tune と比較して過剩適合を防げることも報告 されている。

Soft-Prompt は、1つのタスクに特化した静的な埋 め込み表現であるが、Prompt-Token 部分に画像を入力するマルチモーダルな Prompt-Tune[11](本稿では Multimodal Prompt-Tune と呼ぶ) や、属性情報等から 動的に生成される Prompt-Token によって、生成テキ ストを特定の方向へ制御する Control-Prefixes[12] な ども提案されている。

## 3 提案手法

提案手法の概要を図 1 に示す。提案モデルは GPT をべースとしたモデルであり、話し手の発話とそれ に対する聞き手応答の組である応答ぺアを学習す る。傾聴対話システムとしての実行時には、特徴量 から推定する 0.0-1.0 までの連続値をとる潜在的な 応答スタイル制御用パラメーターと話し手の発話文 とを入力し、パラメーターに沿ったスタイルの応答生成を行う。

提案手法の詳細について、応答タイミング推定手法、応答スタイルの制御手法、応答スタイル制御用 パラメーターの推定手法の順に記す。

応答タイミング推定 コーパスに表出する発話の 途中で応答を挟むことは不適切であることが多い表 1 応答タイミングの推定結果 (自動評価)

表 2 応答タイミングの推定結果 (人手評価)

と考えられる。そこで何割かの話し手の発話をラン ダムに途中で切り、応答ぺアのうち聞き手応答部分を、聞き手応答不可を表す追加の特殊トークン (<none>) に置き換えるデータ拡張によって聞き手応答タイミングを推定する。

応答スタイルの制御 応答スタイル制御用パラ メーターにより動的に生成される Prompt-Token を 用いて、パラメーターに沿った応答を生成する。提案手法では、Control-Prefixes の静的な部分を除い た動的な Prompt-Token のみを利用する。すなわち、 Prompt-Token-Encoderによって生成された埋め込み 表現を Prompt-Tokenとして使用する。学習時には 3 層の MLP である Prompt-Token-Encoder の学習パラ メーターのみ更新する。

応答スタイル制御用パラメーターの推定 応答ス タイル制御用パラメーターの推定のために、話し手 の話速 (平均モーラ長)、前回の聞き手応答からの経過時間、話し手の発話の最終形態素が節境界 (絶対境界・強境界・弱境界のいずれか)であるか、の 3 つを特徵量として用いる。節境界は丸山らが定義し た節境界ラベル [13] に基づき、品詞・単語の表層形 からルールベースで判定する。これら特徴量から聞 き手応答が可能かどうか学習したモデルの予測値を 応答スタイル制御用パラメーターとする。学習には LightGBM[14] を使用する。
表 3 応答スタイル制御用パラメーター反映度 (自動評価)

表 4 応答スタイル制御用パラメーター反映度 (主観評価)

表 5

## 4 実験

## 4.1 応答タイミング推定と応答生成

データセット TurnGPT を拡張した提案モデルの Fine-Tune には、音声会話コーパスは日本語日常会話コーパス (CEJC)[15] と名大会話コーパス [16] を、 テキスト会話コーパスは JEmpatheticDialogues[17]、 JPersonaChat[17]、独自に収集した日本語ツイート (5,000,000 ペア $)$ を使用した。音声会話コーパスは書 き起こしテキストのみを用いた。すべてのコーパス について、前章で説明したデータ拡張を $10 \%$ のデー タに対して適用した。CEJC 以外のコーパスは全て 訓練に使用し、CEJC については訓練 8: 検証 1: 評価 1 に分割したうえで評価用データに含まれる話し手 の発話 1,000 件を自動評価用データとした。

学習モデル事前学習済み GPT モデルには rinna 社が公開している japanese-gpt-1b ${ }^{1)}$ を使用し、 Tokenizer はモデル付属のものを使用した。japanesegpt-1b は上記データセットで Fine-Tune した。設定詳細は付録に記載する。なお、次節の各種追加的学習を施すことで応答タイミング推定と応答生成も追加的に学習されるため、評価には追加的学習の後の モデルを用いる。

## 4.2 応答スタイルの制御

応答スタイル制御については、前節で Fine-Tune した GPT モデルに対して、Fine-Tune、Prompt-Tune、 Dynamic-Prompt-Tune の 3 種類の追加的学習を施し
たモデルをそれぞれ実験し比較した。

データセット JEmpatheticDialogues からランダ ムに抽出した 1,200 件の話し手の発話文に対して、 $0.0,0.5,1.0$ の三段階の応答スタイル制御用パラメー ターごとに異なるスタイルの応答を独自に付与した データセットを作成した。0.0では応答なし、0.5で は相槌のみ、 1.0 では共感的な応答を付与した。学習データと検証データは、三段階のパラメーターご とに 200 ペアずつ、それぞれ計 600 発話応答ペアか らなる。前章で説明したデータ拡張を全体の $10 \%$ の データに対して適用した。

Fine-Tune モデル 三段階のパラメーターに応じ た追加の特殊トークンを入力末尾に付加し、前節の Fine-Tune に追加してさらに Fine-Tuneを行った。エ ポック数は 3 とした。

Prompt-Tune モデル 上記の Fine-Tune モデルに 対しさらに Prompt-Tuneを行った。Prompt-Token サ イズは 100 とし、エポック数は 50 とした。

Dynamic-Prompt-Tune モデル 上記二つのモデル とは異なり、パラメーターの数值を直接 PromptToken-Encoder に入力する。Prompt-Token サイズは 20 とし、エポック数は 50 とした。

## 4.3 応答スタイル制御用パラメータの推定

日本語話し言葉コーパス (CSJ)[18] の独話形式の 音声の書き起こしテキストのうち、3 名の異なる話者による約 10 分程度の音声ファイル、計 30 分を学習に使用した。このデータセットに対して、人手で 聞き手応答可能か判定した結果を正解ラベルとして 付与し、不均衡なデータのためアンダーサンプリン グを行ったうえで、訓練 8 : 検証 1 : 評価 1 に分割し て用いた。LightGBM の学習パラメータ設定は付録 に記載する。

## 5 実験の評価と結果

## 5.1 応答タイミングの推定

自動評価 評価用データセットの半分のサンプル の話し手の発話をランダムに途中で切ることで、応答すべきタイミングではない話し手の発話を疑似的に作り、発話が切られているかをモデルによっ て当てるタスクで評価する。品詞・単語の表層形 からルールベースで節境界を判定するべースラ インモデルと、Dynamic-Prompt-Tune モデルの比較 を行った。節境界判定モデルの形態素解析器には Juman++[19,20] を用いた。Dynamic-Prompt-Tune モ デルはパラメーター 0.5 で固定した結果を示す (表 1)。評価には CEJC の自動評価用データを使用し、評価指標には Precision, Recall, F1-Score を用いた。実験の結果、Dynamic-Prompt-Tune モデルは節境界判定モデルよりも約 20\%高い F1-Score を示した。

人手評価 応答スタイル制御用パラメーター推定 の学習に用いた CSJ の独話音声と同じデータセッ 卜に対し、アノテーター 3 名が応答タイミングを付与し、アノテーターそれぞれとシステムの推定結果との一致を Precision, Recall, F1-Score で計測して、 その平均値を結果として示した（表 2)。アノテー ター間一致度は Fleiss' Kappa[21] で 0.465 であった。自動評価と同様に、Dynamic-Prompt-Tune モデルは より高い性能で推定できており、品詞や単語の表層形の情報だけでは判定困難な発話についても判定で きていると考えられ、データ拡張による応答タイミ ング推定手法の有効性が確認できた。

## 5.2 応答スタイル制御パラメーター反映度

自動評価 応答スタイル制御用パラメーターの 増加に伴い、応答なし、相槌のみ、共感的な応答の 3 段階で応答スタイルが推移するように学習して いるため、パラメーターの変化に応じた応答の多様性を Distinct-1,2[22] で評価した（表 3)。評価には CEJC の自動評価用データを用いた。パラメーター が 0.0 の場合に Dynamic-Prompt-Tune モデルは応答 が生成されないサンプルが多数あるため、パラメー ターが 0.5 の場合と比較して値が高くなっているが、 Fine-Tune モデルや Prompt-Tume モデルと比較して、 パラメーター間の Distinct の値の変動が大きく、よ り適切に応答スタイルの使い分けができていると考 えられる。人手評価 応答スタイル制御用パラメーター反映度の主観評価には、自動評価に用いた CEJC の評価 データからランダムに取得した 100 サンプルを使用 した。 $0.0,0.5,1.0$ の三段階のパラメーターごとに生成された応答を、流暢さ、関連性、パラメーター反映度の 3 項目について、それぞれ 5 段階評価によっ て評価した（表 4)。Dynamic-Prompt-Tune モデルは 特にパラメーターが 1.0 の場合に 2 つのベースライ ンモデルよりもパラメーター反映度の項目の評価が 高いことからも、よりパラメーターに沿った応答生成できていると考えられる。

## 5.3 応答スタイル制御パラメーターの推定

自動評価 表 5 に Precision, Recall, F1-Score による 自動評価結果を示す。 random はランダムに二値分類を出力するベースラインである。パラメーター推定モデルはランダムな予測より高い性能を示した。

人手評価 応答スタイル制御用パラメーター推定 の自動評価に用いた CSJ 独話音声データセットのう ち、1ファイル (約 10 分) を用いた。パラメーターを 0.5 に固定した場合と、パラメーター推定モデルの 結果を用いた場合とでどちらが自然な応答か比較さ せた。応答生成は形態素ごとに行った。結果、 3 名 の評価者全員が提案手法であるパラメーター推定結果を用いたほうが自然であると回答した。

## 6 おわりに

音声対話における円滑なコミュニケーションのた めには、対話システムが聞き手となる場合に傾聴応答を継続的に行う必要があると考えられる。本研究 では、聞き手が応答すべきタイミングを推定し、応答生成まで行う手法を提案した。

提案手法では、特徴量から推定した応答スタイル 制御用パラメーターと発話文とを応答生成モデルに 入力することによって、応答タイミングを推定し、 パラメーターから動的に生成される Prompt-Token に よって、応答の多様性やスタイルを制御した。これ らにより、応答タイミング推定ではテキストチャッ 卜、音声対話問わず多様な形式の対話データを学習 に使用できる一方、応答スタイルの制御は少量の データから効率的に学習できる。

自動評価と人手評価の結果から、提案手法はベー スラインモデルと比較し、より自然なタイミングで 応答が可能となり、与えられたパラメーターに沿っ た応答を生成できることを確認した。

## 謝辞

本研究は JSPS 科研費 JP21K18115, JST AIP 加速課

題 JPMJCR22U4, セコム科学技術財団特定領域研究助成の支援をうけたものです。実験に協力くださっ た研究室メンバーの皆様に感謝します。

## 参考文献

[1] Divesh Lala, Pierrick Milhorat, Koji Inoue, Masanari Ishida, Katsuya Takanashi, and Tatsuya Kawahara. Attentive listening system with backchanneling, response generation and flexible turn-taking. In Proceedings of the 18th Annual SIGdial Meeting on Discourse and Dialogue, pp. 127-136, Saarbrücken, Germany, August 2017. Association for Computational Linguistics.

[2] 神谷優貴, 大野誠寛, 松原茂樹. 音声対話コーパスに基づく あいづち生成タイミングの検出とその評価. 言語処理学会第 17 回年次大会発表論文集, 言語処理学会, pp. 103-106, 2011.

[3] Kohei Hara, Koji Inoue, Katsuya Takanashi, and Tatsuya Kawahara. Prediction of Turn-taking Using Multitask Learning with Prediction of Backchannels and Fillers. In Proceedings of Interspeech 2018, pp. 991-995, 2018.

[4] Shuo-yiin Chang, Bo Li, Tara N Sainath, Chao Zhang, Trevor Strohman, Qiao Liang, and Yanzhang He. Turn-taking prediction for natural conversational speech. arXiv preprint arXiv:2208.13321, 2022

[5] 藤江真也, 横山勝矢, 小林哲則. 音声対話システムのための ユーザの発話権維持状態の逐次推定. 人工知能学会全国大会論文集 第 32 回 (2018), pp. 2N103-2N103, 2018.

[6] Alec Radford, Jeff Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. Language models are unsupervised multitask learners. 2019.

[7] Erik Ekstedt and Gabriel Skantze. TurnGPT: a transformer-based language model for predicting turn-taking in spoken dialog. In Findings of the Association for Computational Linguistics: EMNLP 2020, November 2020.

[8] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[9] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners. In H. Larochelle, M. Ranzato, R. Hadsell, M.F. Balcan, and H. Lin, editors, Advances in Neural Information Processing Systems, Vol. 33, pp. 1877-1901. Curran Associates, Inc., 2020.

[10] Brian Lester, Rami Al-Rfou, and Noah Constant. The power of scale for parameter-efficient prompt tuning. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, November 2021.

[11] Maria Tsimpoukelli, Jacob L Menick, Serkan Cabi, SM Eslami, Oriol Vinyals, and Felix Hill. Multimodal few-shot learning with frozen language models. Advances in Neural Information Pro- cessing Systems, Vol. 34, pp. 200-212, 2021

[12] Jordan Clive, Kris Cao, and Marek Rei. Control prefixes for text generation. arXiv preprint arXiv:2110.08329, 2021.

[13] 丸山岳彦, 柏岡秀紀, 熊野正, 田中英輝. 日本語節境界検出プ ログラム CBAP の開発と評価. 自然言語処理, Vol. 11, No. 3, pp. 39-68, 2004

[14] Guolin Ke, Qi Meng, Thomas Finley, Taifeng Wang, Wei Chen, Weidong Ma, Qiwei Ye, and Tie-Yan Liu. Lightgbm: A highly efficient gradient boosting decision tree. Advances in neural information processing systems, Vol. 30, , 2017.

[15] Hanae Koiso, Haruka Amatani, Yasuharu Den, Yuriko Iseki, Yuichi Ishimoto, Wakako Kashino, Yoshiko Kawabata, Ken'ya Nishikawa, Yayoi Tanaka, Yasuyuki Usuda, and Yuka Watanabe. Design and evaluation of the corpus of everyday Japanese conversation. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 5587-5594, Marseille, France, June 2022. European Language Resources Association.

[16] Itsuko Fujimura, Shoju Chiba, and Mieko Ohso. Lexical and grammatical features of spoken and written japanese in contrast: Exploring a lexical profiling approach to comparing spoken and written corpora. In Proceedings of the VIIth GSCP International Conference. Speech and Corpora, pp. 393-398, 2012.

[17] Hiroaki Sugiyama, Masahiro Mizukami, Tsunehiro Arimoto, Hiromi Narimatsu, Yuya Chiba, Hideharu Nakajima, and Toyomi Meguro. Empirical analysis of training strategies of transformer-based japanese chit-chat systems. arXiv preprint arXiv:2109.05217, 2021.

[18] Kikuo Maekawa, Hanae Koiso, Sadaoki Furui, and Hitoshi Isahara. Spontaneous speech corpus of Japanese. In Proceedings of the Second International Conference on Language Resources and Evaluation (LREC'00), Athens, Greece, May 2000. European Language Resources Association (ELRA).

[19] Hajime Morita, Daisuke Kawahara, and Sadao Kurohashi. Morphological analysis for unsegmented languages using recurrent neural network language model. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 2292-2297, Lisbon, Portugal, September 2015. Association for Computational Linguistics.

[20] Arseny Tolmachev, Daisuke Kawahara, and Sadao Kurohashi. Juman++: A morphological analysis toolkit for scriptio continua. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 54-59, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[21] Joseph L Fleiss. Measuring nominal scale agreement among many raters. Psychological bulletin, Vol. 76, No. 5, p. 378, 1971.

[22] Jiwei Li, Michel Galley, Chris Brockett, Jianfeng Gao, and Bill Dolan. A diversity-promoting objective function for neural conversation models. In Proceedings of the $\mathbf{2 0 1 6}$ Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 110-119, San Diego, California, June 2016. Association for Computational Linguistics.

## A 付録

## A. 1 実験条件

Prompt-Token サイズは予備実験の結果から決定した。予備実験では、5, 10, 20, 50, 100 の Prompt-Token サ イズを比較し、応答スタイル制御用パラメーターに沿った応答が生成されたと人手で判定された最小の Prompt-Token サイズを各モデルで使用した。また、Prompt-Token-Encoder の MLP のニューロン数は入力層 は 1、中間層が 10,000 、出力層は 40,960 とした。学習時のバッチサイズは 8 とし、学習率は Fine-Tune では 5e-05、Prompt-Tune と Dynamic-Prompt-Tune では 0.3 とした。optimizer として AdamW を使用し、エポック数 は学習時の loss が収束する値に設定した。LightGBM は評価指標に LogLoss を使用し、learning_rate を 0.01 , num_leavesを 7, max_depth を8, min_data_in_leaf 20 とした。Juman++は Ver.2.0.0-rc3 を使用した。

## A. 2 応答生成例

表 6 と表 7 に Fine-Tune モデル、Prompt-Tune モデル、Dynamic-Prompt-Tune モデルの応答生成例を応答スタ イル制御パラメーターごとに示す。

表 6 応答生成例 1

表 7 応答生成例 2


# 文章形式の出力による クロスドメインスロットフィリングの改善

大矢一穂 1 鶴岡 慶雅 2
1 東京大学工学部 電子情報工学科 2 東京大学大学院情報理工学系研究科
\{oya, tsuruoka\}@logos.t.u-tokyo.ac.jp

## 概要

タスク指向対話システムのサブタスクの 1 つで あるスロットフィリングにおいて，学習データと異 なるドメインで推論を行うクロスドメインスロッ トフィリングが研究されている. 先行研究では, BERT や BART といった事前学習済みモデルを利用 した手法が提案されている。このうち，BART を用 いた先行研究では，抜き出したエンティティをその まま出力するように学習を行っていた. 本研究で は，出力が自然な文章になるようなテンプレートを 用いることで先行研究の性能の改善を目指した. 実験の結果，提案手法が，事前学習を用いた先行研究 の性能を上回る結果となった.

## 1 はじめに

近年，人間のように会話を行うことのできる対話 AI が普及しつつある。こういった対話システムの 研究は，タスク指向対話システムと非タスク指向対話システムの 2 つに大別される。このうち、タスク 指向対話システムは、なんらかの目的を持ったユー ザーと会話をすることで、その目的を達成すること を補助する対話システムであるが，そのサブタスク としてスロットフィリングがある．スロットフィリ ングとは、ユーザーの発話から必要な情報を抜き出 すタスクである。スロットフィリングの例を図 1 に 示す．スロットフィリングでは，抜き出さなくては いけない情報（スロット）の種類があらかじめ定義 されており，図 1 の city，country，cuisineなどがそれ に相当する。そして，モデルはそれぞれのスロット に対応する語句（エンティティ）である "Falmouth” や“fast food restaurant”を発話から抜き出す。従来は ドメインに特化した学習データを用いてモデルの学習を行っていた。しかし実際にタスク指向対話シス テムを構築しようとしたとき、ドメインによっては
Book a highly rated fast food restaurant in Falmouth.

図1スロットフィリングの例

ラベル付き学習データが用意できないことも珍しく なく，そのような状況でもスロットフィリングを行 うことのできるモデルを学習する必要がある.

上述の課題を踏まえて，学習したいドメインとは 異なるドメインの学習データを用いて学習を行うク ロスドメインスロットフィリングが近年研究され ている。クロスドメインスロットフィリングにおい ては，ドメインによってスロットが異なるため，推論時には，学習データには存在しなかったスロット について扱う必要がある. 先行研究 $[1,2,3]$ では,事前学習済みモデルをファインチューニングする 手法が提案されており，以前の研究と比べて高い性能が報告されている。 その 1 つである AISFG [3] と いう手法では，BART を使い，他の先行研究とは異 なり seq2seq のアプローチをとっている. AISFG で は，発話文やスロット説明を組み込んだ文章を入力 として，エンティティの文字列のみを出力する方法 をとっている．しかしこのデコード方法は，文を出力するように学習している BART の事前学習と乘離 しており，事前学習で BART のデコーダ部分が獲得 した言語的な知識を，タスクに活かすことができて いない可能性があると考えた。

そこで本研究では，AISFG と同様に BART をべー スとしながら，シンプルなテンプレートを用いて， エンティティだけでなくスロット説明やエンティ
in domain book restaurant, find the restaurant type, like buffet in I'd like to reserve a buffet for my family, in sentence: please book highly rated restaurant with food truck Tuscan for me and Adela in Hallam Indiana.

図 2 AISFG のフレームワーク

ティ例もデコード系列に含める手法を提案する.

## 2 関連研究

Bapna ら [4] や Shah ら [5] は，スロットの説明文 やエンティティの具体例を使って，スロットの意味的な情報をモデルに与える手法を提案した.

また，Liu ら [6] が提案した手法である Coach で は，エンティティを見つける第一段階と，エンティ ティごとにスロットタイプで分類をする第二段階の 2 つの段階に処理を分けることでタスクの簡略化を 図った.

近年の研究では，事前学習済みモデルをファイン チューニングする手法が提案されている．Du ら [1] が提案した QASF や, Yu ら [2] が提案した RCSF で は，スロットフィリングを質問応答タスクとして 定式化し, 事前学習済みモデルである BERT [7] を ファインチューニングすることで，以前の手法より も高い性能を達成した。

Yan ら [3] が提案した AISFG は, seq2seq の事前学習済みモデルである BART [8] をべースとした 手法である. 図 2 に AISFG のフレームワークを 示す.この例は発話文である “please book highly rated restaurant with food truck Tuscan for me and Adela in Hallam Indiana."から, restaurant_type のスロットに 対応するエンティティを抜き出す様子を表して いる。 入力文には，ドメインを表している “book restaurant”，スロット説明である “restaurant type”,発話文の例である “I'd like to reserve a buffet for my family.”とその発話における restaurant_type のエン ティティである “buffet”を組み込んでいる。デコー ダーは，抜き出した restaurant_type のエンティティ である "restaurant”と “food truck”をカンマ区切りで出力するように学習を行う。これは，複数のエンティ ティを発話中から抜き出した場合の例だが，一方
で，エンティティが 1 つである場合はそのエンティ ティがそのまま出力となり，スロットに対応するエ ンティティが存在しない場合についてはピリオドの みを出力する。

## 3 提案手法

## 3.1 定式化

スロットフィリングは，ドメイン $d \in D$ におい て，発話文 $x$ が与えられたとき，あらかじめ定義さ れているスロットタイプ $s \in S_{d}$ のそれぞれに対し て，あてはまるスパンの集合 $y=\left.\{y_{1}, y_{2}, \ldots, y_{i}\right.\}$ をを 予測するタスクである. 本研究では, 入出力文のテ ンプレートである $t_{i n}$ と $t_{\text {out }}$ を作成し, seq 2 seq タス クとして，スロットフィリングに取り組んだ。学習時は，発話文 $x$ とスロットタイプ $s$ から作成した入力文 $t_{i n}(x, s)$ と, $s$ 及び抜き出したエンティティの 集合 $y$ から作成した出力文 $t_{\text {out }}(y, s)$ を用いて，入力文 $t_{i n}(x, s)$ に対して $t_{\text {out }}(y, s)$ を出力するように学習 を行う. 推論の際には, 入力文 $t_{i n}(x, s)$ に対する出力 $r$ が, $r=t_{\text {out }}(y, s)$ の様式を満たしていると仮定 した上で，出力文から $y$ を取り出し，それをスロッ トタイプ $s$ に対するエンティティの予測とする。 も し $r$ が $t_{\text {out }}(y, s)$ の様式を満たしておらず $y$ を取り出 せなかった場合には，エンティティが存在しないと 予測したものとして処理する.

## 3.2 エンティティ例の利用

先行研究 $[5,2,3]$ では，スロットの情報をモデル に与える手段としてそのスロットに対応するエン ティティの具体例を利用することで，性能が向上す ることが示されている。提案手法と先行研究の公正 な比較のためにエンティティ例の利用に関する設定 はそろえる必要がある．そこでエンティティ例の利用に関して以下の 3 つの設定で比較を行う.

w/o example エンティティ例を使用しない設定.

$\exp \times 22$ つのエンティティ例を使用する設定で，

RCSF [2] で採用されている手法である.

exp + context 1 つのエンティティ例と，そのエン ティティが含まれていた発話文の組み合わせを 利用する設定で，AISFG [3] で使われている.

図 3 w/o example のテンプレート

## 3.3 テンプレート

3つの設定のそれぞれに対して，テンプレートを 作成した. 図 3 は, w/o example のテンプレートであ り，(sentence) には発話文を，(slot)にはスロット説明を，(entity) には抜き出したエンティティを当ては めて，入出力文を作成する．ただし，スロットに対応するエンティティが発話中にない場合は (entity) に “unknown”と入れることにし，エンティティが複数の場合はカンマ区切りでエンティティを連結した ものをいれるものとする．大力文のテンプレートは 発話文と出力文のテンプレートをつなげて構成さ れており，このように maskトークンを用いて出力文の形式を入力として与えることで，テンプレート 通りの出力文をモデルに出力させている. 図 4 は, $\exp \times 2$ のテンプレートであり、(exp1)及び $(\exp 2)$ に 関しては抜き出したいスロットタイプのエンティ ティ例を入れる. 図 5 は exp + context のテンプレー トであり，(exp)と (context)には，目的とするスロッ トタイプのエンティティ例とそのエンティティを抜 き出したもととなった発話文を当てはめる.

図 $4 \exp \times 2$ のテンプレート

提案手法では，エンティティ例やスロット説明と いった情報を入力文として与えるだけでなく，抜き 出したエンティティと一緒に出力文にも含まれるよ うに学習を行っており，それによりモデルの持つデ コーダ由来の知識をタスクに活用できることが期待
される.

input

sentence: (sentence)
answer: like (exp1) and (exp2), the (slot) is <mask>.
output
like (exp1) and (exp2), the (slot) is (entity).

図 $5 \exp +$ context のテンプレート

## 4 実験

## 4.1 データセット

データセットは, 先行研究 $[5,6,1,2,3]$ と同様に SNIPS [9]を用いた. SNIPS は，クラウドソーシング によって収集された発話理解のデータセットであ り，7つのドメインにそれぞれ約 2000 の発話が収録されており，スロットは全部で 39 種類ある. 実験では，7つのドメインのうち6つをソースドメイ ンとして学習に用い, 残りの 1 つのドメインをター ゲットドメインとした。また，ターゲットドメイン の発話のうち，500をバリデーションデータとし， その他の発話をテストデータとした。

## 4.2 ベースライン

ベースラインとして，以下の先行研究を，提案手法との比較に用いた。

RCSF Yu ら [2] が提案した RCSF は，スロット 説明から作った質問文を使って，抽出型質問応答夕 スクのようにクロスドメインスロットフィリングを 行っている。事前学習済みモデルである BERT-large を質問応答用にファインチューニングしたものを、 さらにファインチューニングして使用している. w/o example と $\exp \times 2$ の設定で提案手法と比較する.

AISFG AISFGは，2節で述べたように seq 2 seqの 手法であり, 本研究のもととなった手法である. BART-base をファインチューニングして利用してい る. w/o example と $\exp +$ context の設定で比較する.

## 4.3 実験設定

公平な比較のためにベースライン手法とモデルの アーキテクチャをそろえて実験を行った。つまり， AISFG との比較には BART-base を，RCSF との比較 には BART-large をファインチューニングして使用

した. エンティティ例や発話例についても，ベース

ラインモデルと同様のものを使用した.

実験は，無作為に選ばれた 3 つのランダムシード を用いて行い，その平均のスコアをそのモデルのス コアとした.

評価指標としては $\mathrm{F} 1$ を用いる。それぞれのドメ インをターゲットドメインとしたときの F1 スコア を算出し，その平均を最終的な評価に用いた。

## 4.4 実験結果

表 1 提案手法（BART-base）と AISFG の比較（単位\%）

表 2 提案手法（BART-large）と RCSF の比較（単位\%）

表 1 及び表 2 に，ベースラインと提案手法を比較 した結果を示す.

まず AISFG との比較では, w/o example と exp + context の 2 つの設定において，どちらも，7つのう ち6つのドメインにおいて提案手法が上回る結果と なった. 平均 F1 スコアは, w/o example では $5.66 \%$, $\exp +$ context では $3.22 \%$ の差で提案手法が上回って おり，提案手法が AISFG よりも高い性能を達成し ている.

次に, $\mathrm{RCSF}$ との比較について, 平均 $\mathrm{F} 1$ スコア では w/o example の設定で $3.48 \%$, exp $\times 2$ の設定で $1.02 \%$ 差で提案手法が上回る結果となっている. しかし，ドメインごとの結果を見てみると，どちら の設定においても，7つのうち4つのドメインでは 提案手法が上回っているが, 残り 3 つで RCSF が上回っており，ターゲットドメインや設定によって優劣が異なる結果となった。

## 4.5 出力文の効果

提案手法の出力形式の効果を検証するために, $\exp \times 2$ の設定において, 図 6 の 3 つの出力テンプ レートで比較を行った。

input

sentence: (sentence)

answer: like (exp1) and (exp2), the (slot) is <mask>.

図 6 出力形式の比較

表 3 出力文の形式による性能の比較（単位\%）

結果を表 3 に示す. AISFG の出力形式である simple と比べて, 提案手法の出力形式である slot + $\exp$ は $5.36 \%$ 高いスコアになっており, 提案手法の出力文の形式が，性能の向上に大きく寄与しているこ とが示された. また, simple と slot の間には $4.80 \%$ の差があり，スロット説明を出力文に組み达んだこ とが，性能の向上において特に重要であることが分 かった. slotでは, “is”という単語を介してスロット 説明によるエンティティの条件付けを行っており， これによってデコーダのもつ言語的な知識を引き出 したことが性能向上につながったのではないかと考 えている.

## 5 おわりに

本研究では，クロスドメインスロットフィリング において, seq2seqでエンティティを文章に組み込 んで出力する手法を提案した. 実験の結果，提案手法はベースライン手法よりも高い性能を達成した. また，抜き出したエンティティのみでなく，タスク の手がかりとなる情報を出力に組み込み，文章形式 で出力させたことが，性能の向上に寄与しているこ とが分かった. 本研究の結果は, 事前学習済みモデ ルをファインチューニングする際に，入出力文の フォーマットがモデルの性能に大きな影響を持ちう ることを示している.

## 参考文献

[1] Xinya Du, Luheng He, Qi Li, Dian Yu, Panupong Pasupat, and Yuan Zhang. QA-driven zero-shot slot filling with weak supervision pretraining. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 2: Short Papers), pp. 654-664, Online, August 2021. Association for Computational Linguistics.

[2] Mengshi Yu, Jian Liu, Yufeng Chen, Jinan Xu, and Yujie Zhang. Cross-domain slot filling as machine reading comprehension. In Zhi-Hua Zhou, editor, Proceedings of the Thirtieth International Joint Conference on Artificial Intelligence, IJCAI-21, pp. 3992-3998. International Joint Conferences on Artificial Intelligence Organization, 82021. Main Track.

[3] Yang Yan, Junda Ye, Zhongbao Zhang, and Liwen Wang. AISFG: Abundant information slot filling generator. In Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 41804187, Seattle, United States, July 2022. Association for Computational Linguistics.

[4] Ankur Bapna, Gökhan Tür, Dilek Z. Hakkani-Tür, and Larry Heck. Towards zero-shot frame semantic parsing for domain scaling. In INTERSPEECH, 2017.

[5] Darsh Shah, Raghav Gupta, Amir Fayazi, and Dilek Hakkani-Tur. Robust zero-shot cross-domain slot filling with example values. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 5484-5490, Florence, Italy, July 2019. Association for Computational Linguistics.

[6] Zihan Liu, Genta Indra Winata, Peng Xu, and Pascale Fung. Coach: A coarse-to-fine approach for cross-domain slot filling. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 19-25, Online, July 2020. Association for Computational Linguistics.

[7] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[8] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7871-7880, Online, July 2020. Association for Computational Linguistics.

[9] Alice Coucke, Alaa Saade, Adrien Ball, Théodore Bluche, Alexandre Caulier, David Leroy, Clément Doumouro, Thibault Gisselbrecht, Francesco Caltagirone, Thibaut
Lavril, et al. Snips voice platform: an embedded spoken language understanding system for private-by-design voice interfaces. arXiv preprint arXiv:1805.10190, 2018.

## A ハイパーパラメータ

学習に使用したハイパーパラメータを表 4 に 示す.

## B 評価指標

F1 スコアは以下のように計算される.

$
\begin{aligned}
& T P=\text { 正しく抜き出せたエンティティの数 } \\
& F N=\text { 抜き出さずに見逃してしまった数 } \\
& F P=\text { 誤った箇所を抜き出してしまった数 } \\
& F 1=\frac{2 T P}{2 T P+F N+F P}
\end{aligned}
$

ここで正しく抜き出すとは、スロットとエンティ ティともに正しいことを指しており、エンティティ が正しく抜き出せていてもスロットタイプが誤って いたり、また抜き出したエンティティが長すぎたり 短すぎたりする場合は不正解（FP）として数える。

## C SNIPS の補足

スロット説明は先行研究 [3] と同じものを用いた が，基本的にはスロット名のアンダーバーをスペー スで置き換えたものになっている．表 5 にそれ以外 のスロット説明を示す.

 \\

また，表 6 に snips の構成も示しておく.表 6 SNIPS の構成