# 国会会議録のための音声から書き言葉への end-to-end 変換

三村 正人 $\dagger$ ・河原 達也 $\dagger$
}

従来の音声認識システムは，入力音声に現れるすべての単語を忠実に再現するよう に設計されているため, 認識精度が高いときでも，人間にとって読みやすい文を出力するとは限らない。これに対して，本研究では，フィラーや言い誤りの削除，句読点や脱落した助詞の挿入，また口語的な表現の修正など，適宜必要な編集を行い ながら, 音声から直接可読性の高い書き言葉スタイルの文を出力する新しい音声認識のアプローチについて述べる。我々はこのアプローチを単一のニューラルネット ワークを用いた音声から書き言葉への end-to-end 変換として定式化する。また, 音声に忠実な書き起こしを疑似的に復元し, end-to-end モデルの学習を補助する手法 と, 句読点位置を手がかりとした新しい音声区分化手法も併せて提案する. 700 時間の衆議院審議音声を用いた評価実験により，提案手法は音声認識とテキストベー スの話し言葉スタイル変換を組み合わせたカスケード型のアプローチより高精度か つ高速に書き言葉を生成できることを示す。さらに，国会会議録作成時に編集者が 行う修正作業を分類・整理し, これらについて提案システムの達成度と誤り傾向の 分析を行う。

キーワード：end-to-end 音声認識，話し言葉スタイル変換，整形，国会会議録
## End-to-End Generation of Written-style Transcript of Speech from Parliamentary Meetings

\author{
Masato Mimura $^{\dagger}$ and Tatsuya Kawahara ${ }^{\dagger}$
}

Because conventional automatic speech recognition (ASR) systems are designed to faithfully reproduce utterances word-by-word, their outputs are not necessarily easy to read even when they have few speech recognition errors. To address this issue, we propose a novel ASR approach that outputs readable and clean text directly from speech by removing fillers and disfluent regeons, substituting colloquial expressions with formal ones, insertintg punctuation and recovering omitted particles, and performing other types of appropriate corrections. We formalize this approach as an end-to-end generation of written-style text from speech using a single neural network. We also propose a method to guide the training of this end-to-end model using automatically generated faithful transcripts, as well as a novel speech segmentation strategy based on online punctuation detection. An evaluation using 700 hours of Japanese Parliamentary speech data demonstrates that the proposed direct approach

successfully generates clean transcripts suitable for human consumption more accurately at a faster decoding speed than the conventional cascade approach. We also provide an in-depth analysis on the types of edits performed by professional human editors to create the official written records of Japanese Parliamentary meetings, and evaluate the level of achievement of the proposed system in terms of each of the edit types.

Key Words: End-to-End Speech Recognition, Speaking Style Transformation, Parliamentary Report

## 1 はじめに

会議や講義，プレゼンテーションなどの音声を自動で書き起こし，アーカイブ構築に用いる ことは，音声認識の重要な応用の一つである。その際, 真に使いやすいアーカイブを構築する ためには，単に音声認識誤りを最小化するだけでなく，システム出力の可読性も考慮する必要 がある．従来の音声認識システムは，発話中のすべての単語を忠実に再現するように設計され ているため，認識結果は必ずしも読みやすいものとはならない。自発的な発話はフィラーや言 い誤りを含むたけでなく，流暢に話されたときでも，通常非文法的であり，書き言葉に相応し くない口語特有の表現も多い。また, 文の区切りが明確でなく, 通常の音声認識では句読点は 付与されない. したがって，音声認識結果や忠実な書き起こしを元に可読性の高い文書を作成 するためには，人手による相当量の修正が必要となる (Jones et al. 2003).

音声認識結果の可読性を改善するために，話し言葉から書き言葉への自動変換の研究が数多 く行われてきた。例えば，非流暢な区間の検出と削除 (Liu et al. 2006; Yeh and Wu 2006), 句読点挿入 (Paulik et al. 2008; Gravano et al. 2009; Akita and Kawahara 2011)，あるいはより 一般的な話し言葉スタイル変換 (spoken style transformation = SST) (Hori et al. 2013; Shitaoka et al. 2004; Neubig et al. 2012; Sproat and Jaitly 2017) などの研究が挙げられる.これらの既存研究では, 雑音のある通信路モデルや CRF (conditional randomfield), SVM (support vector machine), ディープニューラルネットワークなどの機械学習モデルを用いて，書き起こしから 書き言葉へのテキストベースの変換が行われる。したがって，自動整形は音声認識の後処理と して行われることが多く, 音声認識誤りに起因する性能の低下が避けられない問題があった. また，これらのテキストベースの手法では，モデルの教師つき学習に書き言葉テキストと話し 言葉テキストのペアデータを用いるため，音声に忠実な書き起こしを新たに作成する必要があ る。通常コスト面の制約から大量の書き起こしは利用できないため，カバーできる音響的・言語的現象に限りがある.

これに対して, 本研究では, 熟練した編集者が音声を聞き取りながら同時に記録文書に適した 書き言葉を作成するときのように, フィラーや言い誤りの削除, 句読点や脱落した助詞の挿入,

また口語的な表現の修正など, 適宜必要な編集を行いながら, 音声から直接可読性の高い書き言葉スタイルの文を直接出力する新しい音声認識のアプローチを提案する。このアプローチでは,忠実な書き起こしをターゲットとする従来の音声認識モデルとは異なり, Transformer (Vaswani et al. 2017) に基づく sequence-to-sequence モデルを音声と書き言葉のペアを用いて end-to-end (e2e) に写像を最適化する。また, 推論時には音声から書き言葉を直接推論する. したがって, このアプローチは，上記のようなテキストベースの自動整形を用いたカスケード型アプローチ の欠点を回避できる強みを持つ．特に，書き言葉予測では，修正の対象となるような非流暢な 区間ほど認識誤りが生じやすい問題があるため, 音声認識結果を用いないことは, 大きな改善 をもたらす可能性がある。 さらに，提案法は，入力中の音響的な情報に基づいて修正・編集を 行うことができる (Liu et al. 2006; Neubig et al. 2012). また，新たに忠実な書き起こしを作成 する必要がないため, 教師つき学習におけるデータスパースネスの問題も回避できる。本論文 では，特に国会の審議音声から会議録テキストを生成するタスクに焦点を当て，提案手法の詳細な評価と分析を行う。

本論文の構成は以下の通りである．２章では，本研究で衆議院審議音声を用いることの意義 を明らかにした上で，国会会議録で行われる編集作業の分類・整理を行う． 3 章では，本研究の 基盤となる $\mathrm{e} 2 \mathrm{e}$ 音声認識のための手法を概説する． 4 章で音声から書き言葉を $\mathrm{e} 2 \mathrm{e}$ で予測するた めの提案手法について述べた後, 5 章でその実験的評価とシステム出力の詳細な分析を行う． 6 章で結論を述べる.

## 2 データセット

国会の審議音声における忠実な書き起こしと会議録テキストの例を図 1 に示す。この例では,冒頭のフィラーと末尾の句末表現が削除され，話し言葉特有の「シンギュラリティーってのは」 という表現が，より改まった「シンギュラリティーというのは」という語句に改められている. また，主語と修飾句の間に読点を挿入することで読みやすさの改善が図られている.

本研究では, 以下の理由から衆議院の音声と会議録から構成した「衆議院審議音声コーパス」 を用いる。

一つは，国会会議録作成の効率化と高精度化のためである。我々は衆議院審議音声の自動書

図 1 国会審議音声における忠実な書き起こしと会議録テキストのぺアの例

き起こしシステムを開発しており，2011 年度から衆議院のすべての会議の会議録 ${ }^{1}$ の作成支援 のために用いられている (秋田 他 2010; Kawahara 2012, 2021; Akita et al. 2009). 現行のシス テムでは，まずDNN-HMM ハイブリッド型の音声認識システム (Mohamed et al. 2012; Hinton et al. 2012) を用いて音声を忠実に書き起こし, 次にこの認識結果を元に編集者が必要な修正を 施すことにより，最終的な会議録テキストが作成される。したがって，この工程において，音声認識モデルが直接書き言葉スタイルの文を出力することができれば，会議録作成のためのトータ ルな作業コストの軽減が期待される。また，本研究で用いる Transformer (Vaswani et al. 2017) などの $\mathrm{e} 2 \mathrm{e}$ モデルの推論速度は，ハイブリッドシステムに比べて数十倍のオーダで速い. 衆議院の会議の長さは, 例えば本研究で評価に用いた 2015 年度のデータセットでは, 平均で 3.8 時間, 最大で 12 時間にも及ぶ. また, 同時に多数の会議が開催される一方, 並列処理のための計算機を十分確保することは困難であり, 修正元となるドラフトを可能な限り迅速に作成するこ とが求められる。したがって，処理速度は実用上重要な評価項目と言える。

次に，国会の審議音声と会議録のペアが，話し言葉と書き言葉の関係を知る上で理想的なデー 夕であるためである。国会の審議音声, 特に本会議以外の専門委員会では, 話者が用意された 原稿を読み上げるのでなく, 自発的な発話を行うことが多い. したがって, 次節で詳しく見る ように，実際に行われた発話と整形済みの会議録テキストには相当程度の相違がある。また,国会会議録の性格上，編集において発話の意図が変わりかねないようなパラフレーズ等は一切許されないため，書き言葉と話し言葉の差異のみに焦点を当てることができる．国会会議録は,熟練した職業的編集者により非常に厳格かつ一貫したルールに則って作成されるため，任意性 が低く，機械学習のターゲットとしても適切である。

さらには，信頼度の高い音声と会議録の大規模なぺアデータが利用できるためである．話し 言葉の整形の研究では, 音声の書き起こしと書き言葉のペアデータを用いたテキストベースの アプローチが主であった。したがって，書き起こし作成のコストを考えると，学習データのサ イズが限られていることが多かった。一方, 本研究では, 大量の音声-書き言葉のペアを用いて,人手による書き起こしを介することなく，直接音声から書き言葉への変換を実現することを目的とする.

本研究では 2015 年度に行われた第 189 回国会の会議から構築したデータセットを用いた. 各 モデルの学習デー夕には, 2015 年 6 月までに行われた 14 の本会議と 194 の委員会, 計 208 会議 から収集した 708 時間の音声を用いた。提案手法の評価と分析には，次節で述べる 5 会議, 20 時間のデータを用いた。
^{1}$ https://www.shugiin.go.jp/internet/itdb_kaigiroku.nsf/html/kaigiroku/kaigi_l.htm
}

## 2.1 会議録テキストにおける編集作業の分類

2015 年度に行われた第 189 会国会の一部の会議に対して音声の忠実な書き起こしを作成し,会議録と書き起こしで異なる箇所をアノテーションした。このアノテーションをもとに，会議録作成時にどのような編集・修正作業が行われているかを分析した。 2015 年 7 月に行われた会議のうち, 農林水産委員会第 19 号（話者ターン数 229 , 異なり話者数 $22,5.5$ 時間) ${ }^{2}$, 内閣委員会第 18 号 (話者ターン数 201, 異なり話者数 $21,3.2$ 時間 $)^{3}$, 厚生労働委員会第 29 号 (話者ター ン数 174 , 異なり話者数 $17,4.1$ 時間 $)^{4}$, 消費者問題に関する特別委員会第 4 号（話者ターン数 147, 異なり話者数 $27,3.1$ 時間 $)^{5}$, 東日本大震災復興特別委員会第 5 号（話者ターン数 197 , 異 なり話者数 $26,4.4$ 時間) 6 の 5 つの会議を用いた.

編集者が行う修正を, 語句の削除操作によるもの, 置換操作によるもの, 挿入操作によるも のの 3 つに大別した上で, 以下の項目 $\mathbf{A}$ から $\mathbf{M}$ のように分類した。なお, それぞれの例で, 中括弧 \{\} で囲まれた箇所は削除を，小括弧（）で囲まれた箇所は挿入を表す。また，修正箇所は 連続する場合が多いため, それぞれの例に句読点挿入など他の項目の修正箇所も含まれる場合 がある.

## 2.1.1 削除

A. フィラーの削除フィラー以外の機能を持たない形態を持つ語，すなわち「あー」「あのー」「いー」「うー」「えー」「えーと」「おー」「まあ」「んー」，およびそれらの変種（「えっと」など） を,この「フィラーの削除」に分類した.

例：「\{えー\}アメリカ議会におきまして」，「\{まあ\}しかし\{あの一\}(、)」

また, 複数のフィラーが連続した箇所は, まとめて一つのフィラーとカウントした.

例：「\{まあ、あの一、おー \} 法律の審議でございますので (、) 」,「\{えー、ま $\}$ 大体もう $\{$ あの $\}$ 議論は出尽くしたところもありますけれども $(, \quad)\rfloor$

B. 句末表現の削除 口語表現に特有の句末表現は削除する.

例：「正式な場におきまして $\{$ ですね $\}(、) 」 ， 「$ 自民党は $\{ね\} （ 、)$ 本当に人情に厚くて \{ ね $\}(、)\rfloor$

C. 言い誤りや繰り返しの前半部分 (reparandum) の削除言い誤りにおいて, 後半の言い直 された部分のみを残して前半を削除する。言い誤り部にはフィラーが伴うことも多い. 同じ語句の繰り返しも同様に削除する.
^{5}$ https://www.shugiin.go.jp/internet/itdb_kaigirokua.nsf/html/kaigirokua/019718920150709004.htm

6 https://www.shugiin.go.jp/internet/itdb_kaigirokua.nsf/html/kaigirokua/024218920150709005.htm
}
例：「\{総理もこれまでああー $\}$ (大臣もこれまで)」,「\{質問あの $\}$ (決議)に基づきまして (、) 」

D. その他「やはり」「もう」などの単語が間投詞的に用いられる例や，文脈上必要のない主語や指示語の削除が主である。これらを削除することで簡潔な文を作る.

例：「\{やはり\} 事業を利用する組合員である農業者の利益(、)」，「そこは残念だと $\{$ こう \}思っております(。)」

## 2.1.2 置換

E. 助詞の修正 言い誤りとは言えないが，助詞の用法が文法上誤りであるとき，正しい助詞に 置換する。特に多い修正は，「が」から「は」(19 回)，「が」から「を」(19回)，「の」から「に」 (12 回),「は」から「が」（12 回）への置換であった.

例：「農業委員の方 $\{$ が $\}(は)(、)$ 任命制があるので (、)」,「制度自体の大きな枠組みの変更 $\{$ が $\}(を)$ 検討中だということでございました (。)」

F. 口語表現の修正 話し言葉に特有の表現を，書き言葉に相応しいより改まった語句に修正 する。

G. 語順の入れ替え 書き言葉として自然になるように，連続した語句の順序を入れ替える。た だし，近年はこの修正はほとんど行われていない。

例：「\{よくないと思うんです一方的すぎると \}(一方的すぎると良くないと思うんです)(。)」, $「\{$ 両方出し手と受け手と $\}$ (出し手と受け手と両方) 考えてやって」

ただし，別の語句を挟んだ距離の離れた入れ替えについては，この項目ではなく，「その他の 削除」および「その他の挿入」としてカウントする.

H. 言い誤り 言い誤りがあったが, 言い直されてはいない箇所について, 正しい語句に修正す る。単に読みが非流暢な箇所だけでなく, 意味を考慮した正しい語句への修正も含む.

例：「\{組長 $\}$ (首長)というのは最終的には」,「\{農林さんしょう $\}$ (農林水産省)の元同僚の 皆さんに」

I. その他 省略表現の補完や, 意味を考慮した表現の補足などに相当するが，頻度は非常に少 ない.

例：「第八条 $\{$ の四で $\}$ (四項の二号で) , 「\{これ $\}$ (農業関係は)二十万人どころじゃないん です (○)」

## 2.1.3 挿入

J. 読点， K. 句点 句読点を適宜挿入することにより，読みやすさを改善する.

L. 助詞の復元 話し言葉では助詞の脱落が頻繁に発生する. 脱落した箇所に正しい助詞を復元 し，文法的な文を作る。特に多い修正は，「を」（604 回)，「は」(549回)，「が」(204 回)，「に」 （151 回）の挿入であった.

例：「アメリカの議会 (は)この法案の審議をめぐっては」,「ここにいらっしゃる議員 (を)初め (、)」

M. その他 項目 Hで述べた離れた位置の語順の入れ替えの一部であることが多い.

較的 \}まだそれでも(、)そういう方の数も (比較的)あるんですが (、)」

## 2.2 各修正項目の頻度

忠実な書き起こし（423,786 文字）に対する会議録（403.813 文字）の差異（編集距離）は, 置換 $14,480(3.4 \%)$, 插入 $19,727(4,7 \%)$, 脱落 39,700 (9.4\%) の計 73,907 文字 $(17.4 \%)$ に上った.図 2 に，各修正項目の会議内における割合を示す.

## ）農林水産 $\square$ 内閣 III 厚生労働 $\square$ 消費者問題 口東日本大震災 $\square$ 計

図 2 国会会議録における各編集の割合
句読点挿入を除けば，修正のほぼ半数はフィラーの除去であった。置換操作では口語表現の 修正が最も多かったが，正しく行うためには，フィラーの削除より高度な規則を用いる必要が あると考えられる。さらに難しいと考えられる助詞の挿入や言い誤りの削除なども相当回数出現した。一方，語順の入れ替えなど，単調なアライメントとならない修正はほとんど行われて いない.

## 3 End-to-end 音声認識

本研究で用いる $\mathrm{e} 2 \mathrm{e}$ 音声認識の手法について簡潔に述べる。 $\mathrm{e} 2 \mathrm{e}$ 音声認識では, 単一のニュー ラルネットワークを用いて，入力音響特徴量系列から異なる長さのラベル系列を予測する。出力にはサブワード (Sennrich et al. 2016; Kudo and Richardson 2018) や文字など，書記素に基づ く単位が用いられることが多く, 直接単語系列を出力することも可能である (Audhkhasi et al. 2017; Soltau et al. 2017; Ueno et al. 2018). HMM 音響モデル, 統計的言語モデルおよび発音辞書から構成される従来のハイブリッド型システム (Hinton et al. 2012) に比べて単純な構造を持 ち, サーチエラーが少ないことも加えて，一般に遥かに高速にデコードを行うことができる.

以下では，入力特徴量べクトルの系列，または入力を畳み込みニューラルネットワークやフ レームスタッキングと呼ばれる手法でサブサンプリングした系列を $X=\left[x_{1}, x_{2}, \ldots, x_{T}\right]$, ター ゲットラベル系列を $Y=\left[y_{1}, y_{2}, \ldots, y_{L}\right]$ とする.

## $3.1 \mathrm{CTC$ 損失関数を用いたモデル}

CTC(connectionist temporal classification) 損失関数に基づくモデル (Graves et al. 2006)では, ブランク (blank) と呼ばれる特殊なトークンを用いることで, 系列長の異なる入力-ターゲット 間の写像を行う。まず，単方向または双方向型の RNN (reccurent neural network) や次節で述 べる Transformer に基づくエンコーダを用いて，入力特徴量系列 $\boldsymbol{X}$ を同じ長さの表現系列へと 変換する。

$
\boldsymbol{H}=\operatorname{Encoder}(\boldsymbol{X})
$

この表現系列に線形変換 Linear() とソフトマックス関数 $\operatorname{Softmax}()$ を用いることで, 時刻フ レームごとの予測を行う.

$
\boldsymbol{O}=\operatorname{Softmax}(\operatorname{Linear}(\boldsymbol{H}))
$

ブランクを正解のラベル系列の任意の箇所に挿入することと同一ラベルの任意の回数の重複

を許すことで，与えられたラベル系列から入力と同じ長さを持つ拡張ラベル系列を作ることが できる。この拡張ラベル系列の一つを $\pi$ としたとき， $\pi$ の条件付き確率は,

$
p(\boldsymbol{\pi} \mid \boldsymbol{X})=\prod_{t=1}^{T} \boldsymbol{o}_{t, \pi_{t}}
$

で与えられる. $\boldsymbol{o}_{t, \pi_{t}}$ は, 出力 $\boldsymbol{o}_{t}$ の拡張ラベル $\pi_{t}$ に対応する次元の値を表す. ブランクと重複 ラベルの削除を操作 $\beta$ で表すとき， $\beta$ によりラベル系列 $Y$ へ縮退するすべてのアライメントパ ス $\pi$ について上の条件付き確率の総和を取ることで，ラベル系列 $Y$ の確率を計算する.

$
p(Y \mid \boldsymbol{X})=\sum_{\boldsymbol{\pi} \in \beta^{-1}(Y)}^{T} p(\boldsymbol{\pi} \mid \boldsymbol{X})
$

この確率の負の対数を CTC 損失関数と定義する.

$
\operatorname{loss}_{C T C}(\boldsymbol{X}, Y)=-\log (p(Y \mid \boldsymbol{X}))
$

損失関数の性質から明らかなように，CTCに基づくモデルでは入力-ラベル系列間に単調な アライメントを仮定している。なお, 推論時は, 式 (3) に従ってラベル事後確率を計算し, 各時刻で最大の確率を与えるラベルを選んだ上で，ブランクの除去と連続して出現した同一ラベ ルを一つにまとめることで認識結果を得る.

## 3.2 Transformer

Transformer (Vaswani et al. 2017) はエンコーダとデコーダサブネットワークから構成される seq2seq 型モデルの一種であり, 最初機械翻訳のためのモデルとして提案されたが, 後に音声認識を含む種々の音声アプリケーションでも再帰型ニューラルネットワーク (RNN) より高い性能 を持つことが示された (Karita et al. 2019b; Dong et al. 2018; Karita et al. 2019a) . Transformer に基づく音声認識モデルのアーキテクチャを図 3 に示す.

Transformer では, 以下のようなマルチヘッドアテンション機構に基づき, 各層の出力を順次計算する.

$
\begin{gathered}
\text { Multihead }(\boldsymbol{Q}, \boldsymbol{K}, \boldsymbol{V})=\operatorname{Concat}\left(\text { head }_{1}, \text { head }_{2}, \ldots, \text { head }_{h}\right) \boldsymbol{R}^{o} \\
\text { head }_{i}=\operatorname{Attention}\left(\boldsymbol{Q} \boldsymbol{R}_{i}^{Q}, \boldsymbol{K} \boldsymbol{R}_{i}^{K}, \boldsymbol{V}_{i}^{V}\right) \\
\text { Attention }(\boldsymbol{Q}, \boldsymbol{K}, \boldsymbol{V})=\operatorname{Softmax}\left(\frac{\boldsymbol{Q} \boldsymbol{K}^{T}}{\sqrt{d_{k}}}\right) \boldsymbol{V}
\end{gathered}
$

ここで, 出力の次元数を $d_{\text {model }}$, ヘッド数を $h$ として, $\boldsymbol{Q} \in \mathbb{R}^{t_{q} \times d_{q}}, \boldsymbol{K} \in \mathbb{R}^{t_{k} \times d_{k}}, \boldsymbol{V} \in \mathbb{R}^{t_{v} \times d_{v}}$,

図 3 Transformer に基づく音声認識モデル

また $d_{q}=d_{k}=d_{v}=d_{\text {model }} / h$ である. このマルチヘッドアテンション機構を用いて, エンコー ダの各層の出力 $\boldsymbol{X}_{n}^{\text {enc } は, ~}$

$
\begin{aligned}
& \boldsymbol{A}_{n}^{e n c}=\operatorname{LayerNorm}\left(\boldsymbol{X}_{n-1}^{e n c}\right) \\
& \boldsymbol{B}_{n}^{e n c}=\boldsymbol{X}_{n-1}^{e n c}+\operatorname{Multihead}\left(\boldsymbol{A}_{n}^{e n c}, \boldsymbol{A}_{n}^{e n c}, \boldsymbol{A}_{n}^{e n c}\right) \\
& \boldsymbol{C}_{n}^{e n c}=\text { LayerNorm }\left(\boldsymbol{B}_{n}^{e n c}\right) \\
& \boldsymbol{X}_{n}^{e n c}=\boldsymbol{B}_{n}^{e n c}+\operatorname{FFN}\left(\boldsymbol{C}_{n}^{e n c}\right)
\end{aligned}
$

のように計算される。ここで, FFN() は文献 (Vaswani et al. 2017) における Position-wise FeedForward Networkコンポーネントと同一であり, ふたつの線形層 Linear ${ }_{F F N 1}, \operatorname{Linear}_{F F N 2}$, お よび ReLU 活性化関数 (Nair and Hinton 2010) を用いて, $\operatorname{FFN}\left(\boldsymbol{C}_{n}^{e n c}\right)=\operatorname{Linear}_{F F N 2}(\operatorname{ReLU}$ $\left.\left(\operatorname{Linear}_{F F N 1}\left(\boldsymbol{C}_{n}^{e n c}\right)\right)\right)$ と計算される。 なお, 主に正弦関数に基づく位置埋め込み $\boldsymbol{P}$ をい用いて, $\boldsymbol{X}_{0}^{e n c}=\boldsymbol{X}+\boldsymbol{P}$ と定義する.

一方, デコーダの各層では, デコーダの前層の出力 $\boldsymbol{X}_{m-1}^{d e c}$ とエンコーダ出力 $\boldsymbol{X}_{N}^{e n c}$ の二つを
用いて各層の出力を計算する。ただし， $\boldsymbol{X}_{0}^{\text {dec }}=\operatorname{Embedding}(Y)+\boldsymbol{P}$ と定義する.

$
\begin{aligned}
& \boldsymbol{A}_{m}^{d e c}=\operatorname{LayerNorm}\left(\boldsymbol{X}_{m-1}^{d e c}\right) \\
& \boldsymbol{B}_{m}^{d e c}=\boldsymbol{A}_{m-1}^{d e c}+\operatorname{Multihead}\left(\boldsymbol{A}_{m}^{d e c}, \boldsymbol{A}_{m}^{d e c}, \boldsymbol{A}_{m}^{d e c}\right) \\
& \boldsymbol{C}_{m}^{d e c}=\operatorname{LayerNorm}\left(\boldsymbol{B}_{m}^{d e c}\right) \\
& \boldsymbol{D}_{m}^{d e c}=\boldsymbol{B}_{m}^{d e c}+\operatorname{Multihead}\left(\boldsymbol{C}_{m}^{d e c}, \boldsymbol{X}_{N}^{e n c}, \boldsymbol{X}_{N}^{e n c}\right) \\
& \boldsymbol{E}_{m}^{d e c}=\operatorname{LayerNorm}\left(\boldsymbol{D}_{m}^{d e c}\right) \\
& \boldsymbol{X}_{m}^{d e c}=\boldsymbol{D}_{m}^{d e c}+\operatorname{FFN}\left(\boldsymbol{E}_{m}^{d e c}\right)
\end{aligned}
$

デコーダの最終層の出力 $\boldsymbol{X}_{M}^{d e c}$ を用いて, ネットワークのラベル単位の予測は,

$
\boldsymbol{O}=\operatorname{Softmax}\left(\operatorname{Linear}\left(\boldsymbol{X}_{M}^{d e c}\right)\right)
$

で与えられる。この予測とターゲットラベルのクロスエントロピ (cross entropy $=\mathrm{CE})$ として Transformerの損失関数を定義する.

$
\operatorname{loss}_{C E}(\boldsymbol{X}, Y)=\sum_{l=1}^{L} \operatorname{onehot}\left(y_{l}\right) \log \left(\boldsymbol{o}_{l}\right)
$

ここで, $\operatorname{onehot}\left(y_{l}\right)$ は, トークン $y_{l}$ に対応する次元のみが 1 であり, その他の次元が 0 であ るような出力クラス数と同じサイズのベクトルとする，CTC とは異なり，Transformerでは入 カ-ターゲット間のアライメントにどのような制約も仮定しておらず，各デコーダステップにお いて入力中の任意の箇所に注目することで，より柔軟な系列間の変換が行える.

## 4 提案手法

本研究では，音声を入力，書き言葉をターゲットに用いて単一のニューラルネットワークを $\mathrm{e} 2 \mathrm{e}$ で最適化し，推論時にはこのネットワークを用いて音声から書き言葉を直接予測する．以降 ではこのアプローチをダイレクト書き言葉予測, 用いるモデルをダイレクトモデルなどと呼ぶ. このダイレクトモデルの利点は, 音声認識とテキストベースの話し言葉スタイル変換 (SST)を 組み合わせた従来のカスケード方式と比較したとき，以下のように要約できる。一つは，入力中の音響的な手がかりを用いて修正が行える点である。これにより, 例えば，音声の非流暢な 箇所を同定・削除したり，ポーズを句点に対応付けることが可能となる．次に，カスケードモ デルで問題となる音声認識誤りに起因する精度低下を回避できる点である. 修正の対象となる フィラーや言い誤りなどの非流暢な箇所では特に音声認識誤りが多いと考えられるため，書き 言葉予測において音声認識結果を用いない意義は特に大きい. さらには, 音声認識と SSTが単

音声認識

(A) カスケード
(B) ダイレクト

図 4 書き言葉生成のためのカスケード型アプローチ $(\mathrm{A})$ とダイレクトアプローチ $(\mathrm{B})$

一のネットワークで同時に実現できるため, アーキテクチャが単純で扱いやすく, モデルサイ ズがコンパクトである上, 推論速度もはるかに高速になる.

一方, このダイレクト変換は, 入力音声中に対応する音響的なイベントを持たないラべルを 挿入したり（助詞の復元や特に読点の挿入）, 対応するラベルを持たない音声区間を適切にス キップする必要があるため (フィラー等の除去), 音声に忠実なラべルをターゲットとする従来 の音声認識より難しいタスクであり，非常に柔軟なモデルが必要となる。本研究ではこのダイ レクト書き言葉予測を音声翻訳 (Weiss et al. 2017)に近いタスクと考え, Transformer に基づく ラベル同期型 seq2seq モデルを用いて実装する．ダイレクト方式とカスケード方式のアーキテ クチャの違いを, 図 4 に示す。以下の各節では，上記のような難しさを持つダイレクトアプロー チのための改善法について述べる.

## 4.1 疑似的な書き起こしを用いた学習法の改善

2.2 節で示したように書き言葉のターゲットは音声との不一致が大きいため, 音声から書き言葉へのダイレクトモデルは, 通常の音声認識モデルより学習が難しいと考えられる。そこで,音声認識で用いるような忠実な書き起こしも援用することで，夕゙イレクトモデルの学習を補助 することを考える。ただし，大規模な音声デー夕に対して人手による書き起こしを作成するの はコスト面で現実的ではないため，4.1.1節で会議録をもとに疑似的にこの忠実な書き起こしを 自動復元する．4.1.2 節では，実際にモデルの学習に用いるための音声-書き言葉-疑似書き起こ しの 3 つ組データの作成手順について述べる。4.1.3 節と 4.1.4 節で, 具体的にこれらのデータ を用いて書き言葉予測性能を改善する手法について述べる。

## 4.1.1疑似的な書き起こしの作成

会議 $m$ 内のある話者ターン $s$ の会議録テキスト $W_{m, s}$ は利用可能であるが，その忠実な書き 起こし $V_{m, s}$ をすべての $(m, s)$ に対して人手で作成するのは膨大なコストが必要である．その ため，統計的機械翻訳の枠組みを用いて，自動で会議録テキスト $W_{m, s}$ から書き起こし $V_{m, s}$ を 復元することを考える。一般に，書き言葉スタイルのテキスト $W$ が与えられたとき，対応する 話し言葉スタイルのテキスト $V$ は, 原理的には以下のベイズ則に基づいてデコードできる.

$
P(V \mid W)=P(V) \cdot \frac{P(W \mid V)}{P(W)}
$

しかし，実際には，例えばフィラーは任意の箇所に出現し得るなど，書き言葉から話し言葉 への変換は本質的にランダムであり，会議録のテキストデータ $W$ のみから話し言葉テキスト $V$ を一意に復元することは非常に難しい.

そこで， $V$ を上記の規則から直接デコードするのでなく，話し言葉スタイルの統計的言語モ デル $P(V)$ を同様にベイズ則

$
P(V)=P(W) \cdot \frac{P(V \mid W)}{P(W \mid V)}
$

により推定し, 得られた $V$ の確率モデル, つまり話し言葉スタイルの言語モデル $P(V)$ を用い て音声認識を行うことにより，疑似的に $V$ を復元することを提案する．言語モデル確率の変換 は，実際には以下のように $N$-gram カウントの操作に基づいて行う。

$
N g r a m\left(v_{1}^{n}\right)=N \operatorname{gram}\left(w_{1}^{n}\right) \cdot \frac{P(v \mid w)}{P(w \mid v)}
$

ここで， $\operatorname{Ngram}\left(v_{1}^{n}\right)$ および $\operatorname{Ngram}\left(w_{1}^{n}\right)$ は，話し言葉および書き言葉コーパスにおける各々の $N-$ gram の出現回数を表す.また， $v$ および $w$ はそれぞれのスタイルにおける変換単位となるパ ターンを表す. 例えば，フィラー「あのー」の挿入は，変換 $\left.\{w=\left(w_{-1}, w_{+1}\right) \rightarrow v=\left(w_{-1}\right.\right.$, あの 一, $\left.\left.w_{+1}\right)\right.\}$ として表される。これらのパターン間の変換規則を, ごく少量の会議録と書き起こし のパラレルデータを用いて獲得し, その確率 $P(v \mid w)$ および $P(w \mid v)$ を最尤推定により求める. また, データのスパース性に基づく影響を軽减するために, 品詞情報に基づくスムージングも行 う．この言語モデルスタイル変換のより詳細なアルゴリズムについては, (Akita and Kawahara 2007）を参照されたい. この手法の利点は, 深層学習に基づくモデルのように大規模なぺアデー 夕を必要としない点と, 小規模なぺアデータから獲得された話し言葉に特定のパターンのみを 変換の対象とするため, 音声認識誤りを除けば，保持すべき内容語が削除されるなど，想定し ない変換が行われない点である.

疑似的な書き起こし $\hat{V}_{m, s}$ の具体的な作成手順を以下に示す.

Step 1 会議 $m$ の会議録全文のテキストデータ $W_{m}$ を用いて, 会議 $m$ に依存した書き言葉ス タイルの $N$-gram 言語モデル $P_{m}(W)$ を構築する.

Step $2 P_{m}(W)$ に言語モデルスタイル変換を適用することにより, 話し言葉スタイルの $N$-gram 言語モデル $P_{m}(V)$ を構築する.

Step 3 形態素解析から得られた各単語の発音を用いて発音辞書を構築する.この発音辞書と,他の書き起こしのある音声コーパスで事前に構築した HMM 音響モデル, および会議 $m$ に依存 した言語モデル $P_{m}(V)$ を用いて, この会議全体の音声データ $\boldsymbol{X}_{m}$ を認識する。 $P_{m}(V)$ は, こ の会議に出現する単語と単語連接のみから構築したモデルであり, 話題が $\boldsymbol{X}_{m}$ と完全に合致し ている上, フィラーや口語表現などの話し言葉特有の現象にも適切な確率を与えることができ る. なお, 言語モデル $P_{m}(V)$ で制約した探索空間でのみ音声認識を行う必要があるため, 外部 の学習データで獲得された内在的な言語モデル (McDermott et al. 2019) を包含する e2e 音声認識モデルではなく，モジュール性のあるハイブリッドシステムを用いてデコードを行う．また， Julius ツールキット (Lee et al. 2001) のショートポーズセグメンテーションアルゴリズムを用 いてデコードとポーズに基づく音声の分割を同時に行う，ハイブリッドモデルを用いた音声認識はフレーム単位の予測に基づいて行われるため, デコードの過程ですべての単語にタイムス タンプが付与される。

Step 4 会議録の発言者のタグに従って, 会議録テキスト $W_{m}$ を話者ターン毎のテキスト $W_{m, s}$ に分割する。話者ターンの境界に特別なタグを插入した上で，会議全体の認識結果と会議録テ キストのアライメントを取得する。その上で，ターン境界タグに割り当てられた認識結果中の 単語（実際には, 主に長いポーズ）の時刻で音声を分割し, 各話者ターンの音声 $\boldsymbol{X}_{m, s}$ を得る.

Step $5 W_{m, s}$ を用いて, Step 2 と同様に話者ターン $s$ に依存した話し言葉スタイル言語モデ ル $P_{m, s}(V)$ を構築する.このモデルは会議全体から構築した $P_{m}(V)$ よりさらに強い制約を与え る. $P_{m, s}(V)$ を用いて $\boldsymbol{X}_{m, s}$ を認識する。この結果得られた非常に正確な認識結果を, この話者ターンの疑似的な書き起こし $\hat{V}_{m, s}$ として用いる.

## 4.1.2 音声・疑似的書き起こし・会議録のアライメント

次節から述べる改善手法を用いてダイレクトモデルの学習を行うためには，扱いやすい長さ のセグメントに分割した音声 $\boldsymbol{X}_{m, s, u}$ と，その疑似的な書き起こし $\hat{V}_{m, s, u}$ および会議録テキス ト $W_{m, s, u}$ の組が必要である.この 3 つ組データ $\left(\boldsymbol{X}_{m, s, u}, \hat{V}_{m, s, u}, W_{m, s, u}\right)$ を以下の手続きで作成する。

Julius のショートポーズセグメンテーションの過程で, 音声セグメント $\boldsymbol{X}_{m, s, u}$ の開始時刻と 終了時刻が付与済みであるため, 分割済み音声および疑似書き起こし $\hat{V}_{m, s, u}$ は容易に取得でき る.また， $\hat{V}_{m, s, u}$ のすべての単語の出現時刻も付与されている. 話者ターン $s$ の疑似書き起こ し $\hat{V}_{m, s}$ と会議録テキスト $W_{m, s}$ のアライメントを取得し, セグメント境界のポーズ（しきい値
$200 \mathrm{~ms}$ 以上のポーズ）が挿入誤りとして対応付けられた箇所で会議録テキスト $W_{m, s}$ を分割す ることで，セグメント $u$ の会議録テキスト $W_{m, s, u}$ を取得する.

なお，上記の疑似的な書き起こしを作成した際のショートポーズベースの音声区分化は，各 セグメント内の発話内容について考慮しないため，書き言葉予測に適した分割ではない可能性 が高い．音声区分化の改善手法については，後の 4.3 章で述べる.

## 4.1.3 エンコーダのマルチタスク学習

$\mathrm{e} 2 \mathrm{e}$ 音声認識において, エンコーダの役割は, 雑音や話者性などに起因する入力中の局所的 な変動成分を除去し, 理想的には音素クラスのような言語的ユニットと直接対応付けられるよ うなより大域的な情報のみを抽出することであると考えられる (Baevski et al. 2020). 一方, 単語やサブワードは一般に複数の音節から成り立ち, コンテクストによって発音も変化するため, これらの書記素に基づく出力単位を用いる $\mathrm{e} 2 \mathrm{e}$ 音声認識では, 入力-ラベル間の対応は単純なも のとはならない (Audhkhasi et al. 2017; Soltau et al. 2017). 音声と異なる言語をターゲットと する $\mathrm{e} 2 \mathrm{e}$ 音声翻訳 (Weiss et al. 2017) では，ラベルと音声の不一致はさらに著しい. そのため, これらのモデルでは, エンコーダの学習を補助するための改善手法が用いられることが多い.

その一つは, 音声との対応がより単純な音素系列や, 最終的な出力ユニットより少ないクラス 数のサブワードまたは文字など，より低レベルのラベルをエンコーダの出力層または中間層に補助的なターゲットとして与えることである (Ueno et al. 2018; Higuchi et al. 2022; Sanabria and Metze 2018). e2e 音声翻訳では, 通常, 元言語の書き起こしを用いたマルチタスク学習 (Weiss et al. 2017) やエンコーダの事前学習 (Bérard et al. 2018) が行われる.

もう一つは, seq2seqモデルにおいて, 主タスクのクロスエントロピ損失の他に, 2.2 節で述 べた CTC 損失関数を用いた補助的なタスクを導入することである。 CTC 損失関数は，入力ターゲット間で単調アライメントの強い制約を与えるため, 適切なラベルが与えられれば，クロ スエントロピ損失のみより効率的にエンコーダの最適化を行うことができる (Kim et al. 2017; Karita et al. 2019b).

以上を踏まえて，ダイレクト書き言葉予測のためのエンコーダのマルチタスク学習を提案す る.この手法では, 図 5 のエンコーダ部に示すように，書き言葉の予測を行うデコーダとは別 に，エンコーダ出力からなるべく音声に忠実なラべルを予測する音声認識サブタスクを定義す る.このサブタスクのターゲットとして, 4.1.3 章で作成した疑似的な書き起こし $\hat{V}_{m, s, u}$ を用い る。また，モデル予測とこの補助ターゲット間の損失を，CTC 損失関数を用いて計算する．疑似的な書き起こし $\hat{V}_{m, s, u}$ は制約つき音声認識を用いて復元されたものであるため発話内容に忠実であり，アライメントの単調性も保証される。マルチタスク学習における損失関数は, 3 章

図 5 疑似的な書き起こしを用いたエンコーダのマルチタスク学習とデコーダのマルチスタイル学習

$
\operatorname{loss}_{M T L}(\boldsymbol{X}, W, \hat{V})=\lambda \cdot \operatorname{loss}_{c t c}(\boldsymbol{X}, \hat{V})+(1-\lambda) \cdot \operatorname{loss}_{C E}(\boldsymbol{X}, W)
$

と定義する.

## 4.1.4 デコーダのマルチスタイル学習

前節で述べたマルチタスク学習では，書き起こしを用いて得られる損失はエンコーダ最上層に追加した線形層を介してエンコーダにのみ伝播し，主タスク（書き言葉予測）のための Transformer デコーダのパラメータ更新に利用されない。本節では，デコーダにも書き起こしテ キストを与えて学習を補助するデコーダサイドのマルチスタイル学習を提案する.

このマルチスタイル学習は, 複数言語の音声認識を単一のネットワークで行うマルチリンガル $\mathrm{e} 2 \mathrm{e}$ 音声認識 (Watanabe et al. 2017) の枠組みを用いて行う。 すなわち, 日本語の書き言葉（会議録）と話し言葉（疑似書き起こし）を異なる言語とみなして，いずれかのラベルを確率的に選択 し, 各音声セグメントのターゲットに用いる。 その際, 両者で異なる文頭シンボル ('<written>' または ‘<spoken>') を用いることで，文全体の予測を条件付ける，マルチリンガル学習では, 低資源言語などの難しいタスクが比較的易しい英語などの音声認識により改善されることから,提案法も書き言葉の生成をより易しい音声認識タスクで補助することを目的とする.

このマルチスタイル学習の概要を図 5 のデコーダ部に示す. 音声セグメント $\boldsymbol{X}_{m, s, u}$ ごとにパ ラメータ $p$ のベルヌーイ分布に従う試行を行い, 得られた確率変数 style の値が 1 であれば会議録ラベル $W_{m, s, u}$ を，0であれば書き起こしラベル $\hat{V}_{m, s, u}$ を選択して $\boldsymbol{X}_{m, s, u}$ のターゲットに用

いる，認識時は，開始ステップで ‘くwritten>’夕グを文頭シンボルとして与える。なお，アプ リケーションによって音声に忠実な認識結果を得たいときは, ‘<spoken>’夕゙を用いる.

## 4.2 句読点位置を考慮した音声の自動区分化

$\mathrm{e} 2 \mathrm{e}$ モデルを用いた音声認識や書き言葉の予測を行う上で, 事前に評価に用いる各会議全体の 音声データを扱いやすい長さの区間に分割しておく必要がある。その際, 書き言葉の文に相当 するような統語的・意味的まとまりを持った単位に分割することが理想的であるが，そのよう な発話境界位置のアノテーションは通常利用できない.

音声認識で主に用いられるショートポーズに基づく自動区分化では, $200 \mathrm{~ms}$ 程度のしきい値以上の無音が検出された箇所で, 音声を分割する。しかし, 自発的な発話において, ショート ポーズの出現位置が文の区切りと一致するとは限らないため, 音声の過分割を招き, 予測のた めの重要なコンテクスト情報が失われる恐れがある.

一方，単にこのしきい値を大きくすると，信号対雑音比の低い音響条件下や話速の速い発話 において，文の境界を超えるような不適切に長いセグメントが生成される傾向がある。 $2 \mathrm{e}$ モデ ル, 特にアテンション機構に基づくモデルでは, 20 秒程度以上の長い発話に対して認識性能が 顕著に低下することが知られており (Chiu et al. 2019; Pan et al. 2022), 単に長い単位へ分割す るような戦略は望ましくない。また, 評価環境ごとに適切なポーズ長のしきい值を決定するこ とも困難である 7.

以上のようなショートポーズによるセグメンテーションの問題を解決するために，句読点位置を手がかりとした音声の区分化手法を提案する，句読点は，ポーズとは異なり，発話スタイ ルや音響条件, 話速等の話者性に関わらず出力側では安定した間隔で出現すると考えられる. そのため, 句読点の出現位置を考慮することで, 音声が極端な長さのセグメントに分割される のを防ぐことができる。また，句読点に挟まれた比較的まとまった区間の情報が保持されるた め, 後続の書き言葉予測において一貫して十分な長さのコンテクストを用いることができる.

## 4.2.1 CTC モデルを用いたオンライン句読点検出

この音声区分化手法を, 典型的には数時間程度の非常に長い音声を入力として, オンラインで 句読点位置を予測しながら音声分割を行うタスクとして定式化する. 句読点予測には, 単方向型 RNN をエンコーダとする CTC モデルを用いる. このオンライン CTC モデルは, 4.2 .2 章で ショートポーズセグメンテーションに基づいて作成した 3 つ組データ $\left(\boldsymbol{X}_{m, s, u}, \hat{V}_{m, s, u}, W_{m, s, u}\right)$ を用いて学習する。すなわち, オンライン版のダイレクト書き言葉予測モデルとして構築する.
$ で区分化したとき，5,062 のセグメントに分割され，そのうち 2 秒未満の非常に短いセグメ ントは 1,309であった。一方, やや長いしきい値 $300 \mathrm{~ms}$ では, セグメント数は 2,471 となり, うち 2 秒未満の短 いセグメントは 340 と減少したが， 20 秒以上の非常に長いセグメントが 166 と多数生成された.
}

なお, 単方向型 RNN は Transformer より表現能力が低いため, 次章の評価実験で見るように，書き起こしを用いたマルチタスク学習がモデルの収束のために必須となる.

この CTC モデルを用いて音声区分化を行うための手続きを Algorithm 1 に示す. このアルゴ リズムでは，オンラインで時間同期に書き言葉予測を行いながら，句点または読点とポーズが 共起した時刻で，音声を分割する。ポーズあるいは非音声区間はしきい值 $N_{\text {blank }}$ 回以上のブラ ンクの連続として検出できる (Yoshimura et al. 2020)。なお，句読点が挿入されたおおよその 時刻は，対応する出力ノードの CTC スパイクにより知ることができるが，単方向エンコーダに 基づくモデルでは，スパイクの位置は実際のラベルの出現時刻より一貫して遅れることが知ら れている，そのため，スパイクから一定フレーム数 $\left(T_{\text {margin }}\right)$ さかのぼった時刻を実際の境界と する．境界を検出したエンコーダステップで RNN の状態をリセットした上で，再び時間同期 の書き言葉予測を継続する。

句読点のみでなく, ポーズも考慮するのは, 以下の理由による. CTC モデルにおいて, 出力 ノードのスパイクは当該トークンの周辺に存在するが，ハイブリッドモデルのように正確な出現時刻であることが保証されるわけではない。そのため，ポーズを伴わない句読点のスパイク は，実際には前後の他のサブワードの継続時間内に含まれる可能性が非常に高い．また，セグ メント境界にポーズが存在しないと, 文頭・文末の明確な手がかりがないため, 一般に音声認識精度は低下する。さらに，ポーズと共起する句読点の予測は，そもそも信頼度が高いと考え られる。

言語的知識を用いた音声区分化手法としては, 最近, RNN-Transducer (Graves 2012) などの自己回帰型モデルを用いて音声認識と Endpointing を同時に行う手法が提案されているが (Chang et al. 2019; Mahadeokar et al. 2021), これは音声検索のようにユーザ発話の終端が容易に検出 できるタスクにおいて, システム応答の遅延を最小化することを目的とした手法である。一方,会議のような人間同士の話し言葉コミュニケーションでは, 最適な発話の終端を通常決定でき ず，検出も難しい．また，オンライン音声認識技術を用いた遅延の最小化より書き起こし精度 が重視されることが多い. したがって, 本研究では, 発話終端のアノテーションを必要とせず,代わりに書き言葉の句読点情報を用いた音声区分化と, 後段のオフライン処理によるダイレク 卜書き言葉予測を独立して行うアプローチを用いる.

## 5 評価実験

提案手法を大規模な衆議院審議音声コーパスを用いて評価した. 各モデルの学習デー夕には,第 189 回国会において 2015 年 6 月までに行われた 14 の本会議と 194 の委員会, 計 208 会議か ら収集した 708 時間の音声を用いた。評価デー夕には， 2 章で分析に用いた 5 の会議，すな わち 2015 年 7 月に行われた農林水産委員会第 19 号（話者ターン数 229 , 異なり話者数 $22,5.5$時間), 内閣委員会第 18 号 (話者ターン数 201, 異なり話者数 $21,3.2$ 時間), 厚生労働委員会第 29 号（話者ターン数 174 , 異なり話者数 $17,4.1$ 時間），消費者問題に関する特別委員会第 4 号（話者ターン数 147 , 異なり話者数 $27,3.1$ 時間), 東日本大震災復興特別委員会第 5 号（話者ターン数 197, 異なり話者数 $26,4.4$ 時間）を用いた. これらのデータについては, 音声に忠実な書き起こしの作成と 2.1 節で述べた編集者による修正についてのアノテーションを人手に より行っている. 開発データには法務委員会第 12 号（話者ターン 75 , 異なり話者数 $9,2.5$ 時間）を用いた。モデル学習や音声区分化における種々のハイパーパラメータは, この開発デー 夕により決定した。

音響特徴量は, 80 次元の対数メルフィルタバンク出力を用いた. 音響分析のための分析窓幅 は $25 \mathrm{~ms}$ とし，フレームシフトは $10 \mathrm{~ms}$ とした。学習データおよび評価データの音響特徵量の各次元は, 学習データ全体の平均・標準偏差を用いて正規化した。すべてのテキストデータは,

ChaSen-2.4.4+UniDic-1.3.9を用いて形態素へ分割したあと, byte pair encoding (BPE) (Sennrich et al. 2016)によりトークナイズを行った. BPE に基づくサブワードの異なり数は $10 \mathrm{k}$ とした. $\mathrm{e} 2 \mathrm{e}$ 音声認識とダイレクト書き言葉予測には, 同一の構造を持つ Transformer に基づく seq $2 \mathrm{seq}$ モデルを用いた。エンコーダには 12 層, デコーダには 6 層の Transformer を用いた. ヘッド 数 $h$, 角層の出力次元数 $d_{\text {model }}, \mathrm{FFN}$ の中間ノード数 $d_{f f}$ は, それぞれ $h=4, \quad d_{\text {model }}=256$, $d_{f f}=2,408$ とした. 入力音響特徴量系列は, 二層の畳み込み層を用いて系列長が $1 / 4$ となるよ うにサブサンプリングを行った上で，エンコーダへ入力した．各畳み込み層は, 出力チャネル数 32 , カーネルサイズ 3 , ストライド 1 の二次元畳み込みニューラルネットワーク (convolutional neural network $=\mathrm{CNN})($ LeCun and Bengio 1995) とストライド 2 の二次元プーリング層により 構成した. CNN 出力は, ReLU関数 (Nair and Hinton 2010)を用いて非線形変換を行った。な お，比較のために $\mathrm{CTC}$ 損失関数を用いた $\mathrm{e} 2 \mathrm{e}$ 音声認識およびダイレクト書き言葉予測モデルも 構築した. CTC モデルでも, seq2seq モデルと同一の 12 層の Transformer エンコーダを用いた.

比較のためのカスケード方式（図 4 の $(\mathrm{A})$ ) では, 上記の $\mathrm{e} 2 \mathrm{e}$ 音声認識と, テキストベースで 話し言葉から書き言葉への変換を行うSST モデルを組み合わせることで, 音声から書き言葉の 予測を行った. テキストベース SST モデルは, 音声翻訳におけるカスケードモデル (Bentivogli et al. 2021)の例にしたがって, Transformer により実装した。 エンコーダとデコーダの構成は,上記の $\mathrm{e} 2 \mathrm{e}$ 音声認識およびダイレクトモデルと同一とした. ただし, これらのモデルにおける サブサンプリング層の代わりに, サブワードのための埋め込み層を用いた. なお, $\mathrm{e} 2 \mathrm{e}$ 音声認識 と SST モデルは，4.2 章で述べた疑似的書き起こしを用いた準教師つき学習 (lightly-supervised training)(Lamel et al. 2001)の枠組みにより構築した。すなわち，音声認識は音響特徴量を入力・疑似書き起こしをターゲットとして，またSST モデルは疑似書き起こしを入力・会議録テキ ストをターゲットとして，それぞれ学習した，推論時は， すべての Transformer モデルでビーム 幅 6 のビームサーチを行った。一方，CTC モデルでは一般にビームサーチの効果が低いことか ら, 文献 (Graves et al. 2006)の greedy search アルゴリズムを用いてデコーディングを行った. $\mathrm{e} 2 \mathrm{e}$ 音声認識およびダイレクトモデルの学習時は, 適応的 Specaugment (Park et al. 2020) に よる動的データ拡張を行った. マスク確率等はすべて文献 (Park et al. 2020)の設定に従った. モデルは Adam オプティマイザー (Kingma and Ba 2015)を用いて最適化した. すべてのモデ ルで (Dong et al. 2018) と同様の学習率のスケジューリングを行った. すなわち, ステップ数 $n$ における学習率 lrate $(n)$ を,

$
\text { lrate }(n)=k \cdot d_{\text {model }}^{-0.5} \cdot \min \left(n^{-0.5}, n \cdot \text { warmup_n }^{-1.5}\right)
$

とし, 特に $w a r m u p \_n=25,000, k=4.0$ とした. エンコーダマルチタスク学習（4.1.3 章）に おいて, 音声認識サブタスクの重みは $\lambda=0.1$ とした. また, 先行研究の知見を踏まえて (Ueno et al. 2018; Sanabria and Metze 2018), サブタスクのターゲットには, サブワードでなく, より

クラス数が少なくクラスあたりの学習事例数が多いと期待される文字の系列を用いた．異なり 文字数は 2,840 であった. デコーダのマルチスタイル学習において，スタイル選択に用いるべ ルヌーイ分布のパラメータ $p$ は 0.5 とした. すべてのモデルでサイズ 120 のミニバッチを用い た誤差逆伝播法に基づく学習を 100 エポック分行い, 最終的なネットワークは, 開発セットに 対して最も低い誤り率を与えた 10 のチェックポイントを平均することで構築した.

提案モデルの実用上の信頼度を評価するために，参考のため, 現行の審議音声自動書き起こ しシステムで運用実績のあるハイブリッド音声認識システムの性能とも比較を行う．ただし， ハイブリッドシステムでは大規模なテキストデータから構築した統計的言語モデルおよび発音辞書が利用できる大きな利点があるが，音響モデルが以下に述べるように単純なフィードフォ ワード型ニューラルネットワークにより構成されているため, 認識性能面で Transformerを用 いた $\mathrm{e} 2 \mathrm{e}$ モデルと公平に比較できない点に留意する。このハイブリッドシステムにおいて，音響モデルは, $9 \mathrm{k}$ クラスの triphone 状態 (senone)を識別する7 層フィードフォワードニューラル ネットワークと HMM から構成する DNN-HMM (Hinton et al. 2012) モデルを用いた. 音響モ デルは Kaldiツールキット (Povey et al. 2011) を用いて学習した. 公平のため, この音響モデル の学習には $\mathrm{e} 2 \mathrm{e}$ モデルと同じ 2015 年度の 700 時間のみを用いた. 言語モデルは 2006 年度から 2015 年度までの衆議院会議録テキストを用いて学習した書き言葉 trigram モデルに話し言葉ス タイル変換 (Akita and Kawahara 2007) を適用することで構築した. デコードには Julius を用 いた. Juliusのデコードでは, 4.1.1 章の疑似的な書き起こしの作成時と同様に，ショートポー ズセグメンテーションアルゴリズム（ポーズ長のしきい値 $200 \mathrm{~ms}$ ）を用いて音声区分化と音声認識を同時に行った。

4.1.1 章で提案した疑似的な書き起こしの作成では, 2003 年度に行われた一部の会議 (主に予算委員会) の書き起こし $666 \mathrm{~K}$ 単語と対応する会議録のパラレルデータを用いて変換規則 $P(W \mid V)$ および $P(V \mid W)$ を学習した. この変換モデルを会議録の各話者ターンの文のみから構築した書 き言葉言語モデルに適用することで，制約付き音声認識に用いる話者ターンの内容および発話 スタイルにともにマッチした強い言語モデルを構築した。一方，音響モデルには，4.1.1節と同様の手法で作成した 2009 年から 2011 年度の疑似書き起こしを用いて学習した GMM-HMM モ デルを用いた.

評価デー夕の音声区分化は，5.4 節の比較実験以外では，CTC に基づく自動区分化手法（4.2 章）を用いて行った. 学習データは, 4.1.2 章のアライメントの過程で得られたショートポーズ ベースの分割をそのまま用いたものと，5.4 節で詳しく述べる句読点べースの手法を用いたもの の二通りを構築したが， 5.4 節の比較実験以外では，句読点ベースで分割したデー夕を用いた。推論時の実行時間の計測には，CPU は AMD-Epyc7262，GPU は NVidia-RTX-3090（24G メ モリ）を用いた。

## 5.1 ベースライン音声認識モデルの評価

提案法である書き言葉予測モデルの評価を行う前に，最初に，疑似書き起こしを用いた準教師付き学習により構築したべースライン $\mathrm{e} 2 \mathrm{e}$ 音声認識モデルの性能を評価する。ここで, 通常 の音声認識モデルとしての評価は，人手で作成した音声に忠実な書き起こしに対するシステム 出力の誤り率を用いて行う，表 1 に，忠実な書き起こしに対する CTC および Transformer に基 づく $\mathrm{e} 2 \mathrm{e}$ 音声認識モデルの文字誤り率および推論時間の実時間ファクタを示す.

いずれの e $2 \mathrm{e}$ モデルも，CTC で 9.7\%, Transformer で $9.1 \%$ と低い誤り率を達成した. CPU の推論速度では, Transformer で実時間の 0.09 倍, CTC で実時間の 0.009 倍の高速な推論が 可能であった．また，GPU 上では推論はさらに高速となった． CTC と Transformer の比較で は，速度では劣るものの, Transformer がやや低い誤り率を示した. さらに， 4.1.4 節で述べた デコーダのマルチスタイル学習を行うことで, 誤り率が絶対値で 0.9 ポイントと大幅に改善し た (“Transformer 音声認識 + デコーダマルチスタイル学習”).これは, 準教師付き学習で用い たラベルに含まれる認識誤りの影響が，誤りを含まない会議録ターゲットを用いることで軽減 したためである可能性がある。マルチスタイル学習はダイレクト書き言葉予測の改善を目的と した手法であるが, <spoken>文頭夕グを用いた音声認識モデルとしての性能も向上したことか ら, 準教師付き学習の改善法としても有効であると考えられる。このことは, アプリケーショ ンによってはなるべく忠実な書き起こしが必要になるため, 重要な知見であると言える.

参考のため，現行の書き起こしシステムで用いられているハイブリッドシステムの結果も示 す.いずれの $\mathrm{e} 2 \mathrm{e}$ モデルも，音声認識性能と推論速度の両面でこのハイブリッドシステムを上回っており，書き起こしシステムにおいて実用上問題のない性能を達成できていることがわかる.次に，これらの音声認識モデルの会議録テキストに対する文字誤り率を，表 2 に示す。たた し, 音声認識モデルは句読点を一切出力することができないため, 公平のため, この表では句読点は誤り率の算出から除外した，会議録に対する誤り率では，忠実な書き起こしに対する誤 り率に比べて，いずれのモデルでも特に挿入誤りが顕著に増加した。ハイブリッドシステムで

表 1 音声認識モデルの忠実な書き起こしに対する文字誤り率 (\%) および処理時間の実時間ファクタ

表 2 音声認識モデルの会議録に対する文字誤り率 (\%)および処理時間の実時間ファクタ（句読点は除外 した)

は，発音辞書中の語彙的なフィラーを除去することで，誤り率が絶対值で 7.5 ポイント改善し た. この結果は, 会議録における修正のほぼ半数がフィラーの除去であるという 2 章の分析と 符合している。

会議録に対する誤り率においても，Transformer に基づくseq2seq モデルが CTC より高い性能を示した. さらに, Transformerに基づくテキストベース SST を後処理として用いることに より (カスケード方式の書き言葉予測)，挿入誤りが大幅に削減された。テキストベース SSTに よるこの改善幅がハイブリッドモデルにおける語彙的フィラーの除去より顕著に大きいことか ら，Transformerに基づく系列間変換により，単純なルールベースの手法より高度な編集操作が 可能であることがわかる。このカスケード方式の書き言葉予測において, 初段の $\mathrm{e} 2 \mathrm{e}$ 音声認識 モデルとしてマルチスタイルモデルを用いることにより, さらに誤り率は改善し, 全体で最も 低い誤り率 $(9.7 \%)$ を達成した。

以上のように, 準教師付き学習で構築したモデルが全般に高い水準の音声認識精度と書き言葉予測精度を達成したことから，4.1.1 節の手法で十分信頼性のある書き起こしが作成可能であ ることがわかる．なお，学習データについては正解の書き起こしが存在しないため，評価デー 夕において同一手法で疑似書き起こしを作成し, 精度を評価したところ, 人手書き起こしに対 する誤り率は，置換誤りが $1.5 \%$ ，脱落誤りが $2.8 \%$ ，挿入誤りが $2.6 \%$ ，計 $6.9 \%$ となり，表 1 に おける一般的な言語モデルを用いたハイブリッドシステムの誤り率 $(10.7 \%)$ よりはるかに高い 精度となった。

## 5.2 カスケードモデルとダイレクトモデルの比較

本節では，音声からの書き言葉予測において，カスケードモデルと提案法であるダイレクト モデルの比較を行う．システム出力の会議録に対する誤り率を表 3 に示す.これらのモデルは

表 3 ダイレクト書き言葉生成モデルの評価（数値は会議録に対する文字誤り率 $(\%)$ および処理時間の実時間ファクタ）

句読点を含めた書き言葉の予測を行うため，表 2 と異なり，句読点も誤り率の算出に用いた． カスケードモデルは, 表 2 の Trasnformer 音声認識と SST の組み合わせの結果と同一である.

Transformer に基づくダイレクトモデル（“Transformer ダイレクト”）は，初段の音声認識に おいてマルチスタイルモデルを用いた最良のカスケードモデル (“Transformer カスケード＋デ コーダマルチスタイル学習”）より，絶対値で 1.4 ポイント低い誤り率を実現した．また，この ダイレクトモデルは，カスケードモデルの 2 倍の速度で書き言葉を出力できた。このことから， 4 章の冒頭に述べた性能と速度の両面におけるダイレクトモデルの優位性が確かめられた。

一方，CTC に基づくダイレクトモデル（“CTC ダイレクト”）は，書き言葉ターゲットだけ では 100 エポックまで学習が収束せず，意味のある結果を出力するに至らなかった．この結果 から，音声認識に加えて多くの削除・置換・挿入操作を行う必要のある書き言葉予測タスクに おいて, Transformer に基づく seq2seq モデルが CTC に基づくモデルより適していることがわ かる。また，このことは，表 1 においてTransformer と CTC モデルが音声認識としてはほぼ同等の性能を示したことと対照的であり，書き言葉予測は通常の音声認識とは明確に異なる性質 を持つタスクであることがわかる.

## 5.3 疑似的書き起こしを用いた学習法の効果

次に，書き言葉のダイレクト予測において，疑似的書き起こしを用いた改善手法（4.1.3 節, 4.1.4 節）の評価を行う.
疑似書き起こしを用いたエンコーダのマルチタスク学習（4.1.3 節）（表 3 の“Transformer ダ イレクト＋エンコーダマルチタスク学習”）では，書き言葉のみを用いて学習したモデル（表 3 の“Transformer ダイレクト”) に比べて, 1.4 ポイントと大幅に誤り率が改善した。また, CTC に基づくダイレクトモデルは, このマルチタスク学習を用いることで学習が収束し, $9.8 \%$ と妥当な性能を示すに至った．たたし，依然マルチタスク学習を用いない Transformer モデルの性能に及ばなかった. また, 表 3 の “単方向型 CTC ダイレクト” および “単方向型 CTC ダイレク ト＋エンコーダマルチタスク学習” の行に， 4.2 章で提案した音声区分化手法に用いるオンラ イン CTC モデルの書き言葉予測性能を示す。表からわかるように，このオンラインモデルも， エンコーダのマルチタスク学習により初めて収束した. これらの結果から, 音声に忠実なラべ ルを併用することが，書き言葉予測性能の改善において非常に重要な役割を果たすことがわか る。また，人手による正解ラベルでなく，統計的機械翻訳に基づいて自動生成されたラベルに よりこれらの大幅な改善が得られたことは, 特に重要な点である.

このマルチタスク学習におけるターゲットラベルの種類の影響を表 4 に示す. ターゲットと して疑似書き起こしを用いる提案法において, サブワードレベルのラベルを用いるより文字ラ ベルを用いる方が有意に性能が高かった. これは, クラスあたりの学習事例数が多いトークン を用いることで，マルチタスク学習の効率が改善されたためと考えられる。また，サブタスク のターゲットとして書き言葉を用いたとき，性能はむしろ大幅に低下した. このことは， CTC に基づくダイレクトモデルが書き言葉ターゲットのみでは収束しなかった結果と併せて, CTC 損失関数が書き言葉のようなターゲットを扱うのに適さないことを示している. この結果から， ダイレクト書き言葉予測において, 単に CTCによるマルチタスク学習 (Karita et al. 2019a) が 有効なのではなく, 音声に忠実なラベルを用いることが性能改善にとって本質的であったこと がわかる.

次に，デコーダのマルチスタイル学習（4.1.4 節）の効果を評価する。デコーダのターゲット として疑似書き起こしと書き言葉ターゲットを確率的に併用したマルチスタイル学習により,絶対値で 1.4 ポイントの改善が得られた（表 3 の“Transformer ダイレクト＋デコーダマルチス タイル学習”)。さらに, エンコーダのマルチタスク学習とデコーダのマルチスタイル学習を同

表 4 マルチタスク学習におけるサブタスク・ターゲットの影響（数値は会議録に対する文字誤り率 $(\%)$ )

Recognition result <spoken>青年や女性 もですね まあ 担い手 えーとこの なつてんですかねこう重複する部分もあるわけ ですね当然のことながら <eos>

<written> 青年や女性も、担い手と重複する部分もある

図 6 マルチスタイルモデルの出力とデコーダ最上層のアテンション重みの例. 左が < spoken>文頭タグ で条件づけた忠実な音声認識出力．右が＜written>文頭夕グを用いた書き言葉出力． 正解は，忠実な書き起こしが「青年や女性もですね担い手えーとこのなんていうんですかねこう重複する部分 もあるわけですね当然のことながら」，会議録が「青年や女性も担い手と重複する部分もあるわけ ですね、当然のことながら。」

時に用いることで，誤り率はさらに 0.4 ポイント減少した（表 3 の “Transformer ダイレクト +両方”).

書き言葉予測におけるダイレクトモデルの振る舞いを理解するために，マルチスタイルモデ ルにおいて<spoken>文頭タグを与えて $\mathrm{e} 2 \mathrm{e}$ 音声認識モデルとして動作したときと, <written> タグを与えてダイレクト書き言葉予測モデルとして動作したときのデコーダ最上層のクロスア テンション重みの例を図 6 に示す。右列のアテンション重みを見ると， 100 から 200 フレーム あたり8までの「ですねまあ」，400 フレームから 520 フレーム辺りまでの「この何て言うんです かね」の二つの非流暢な領域を適切にスキップしている様子がわかる。また，それらに囲まれ た助詞「と」，および「担い手」を正しく出力した。

## 5.4 言語モデル統合の効果

$\mathrm{e} 2 \mathrm{e}$ 音声認識では，大規模な言語資源を用いて構築したニューラル言語モデルを推論時に統合する shallowfusion (Gulcehre et al. 2015; Chorowski and Jaitly 2017) などの外部言語モデル 統合が広く精度改善のために用いられる。書き言葉のダイレクト生成においても，会議録テ キストはペアデータよりはるかに容易に入手できるため，大規模な書き言葉言語モデルが構

築可能である。本節では，2006 年度から 2015 年度までの会議録テキスト（28M 単語）を用い た外部言語モデルの効果を，カスケードモデルとダイレクトモデルにおいて評価する。統合手法には shallow fusionを用いた。言語モデルは 12 層の Transformer を用いて実装した。ヘッ ド数 $h$, 出力次元数 $d_{\text {model }}$, FFN の中間ノード数 $d_{f f}$ は, それぞれ $h=4, \quad d_{\text {model }}=256$, $d_{f f}=2,408$ とした. 各デコーディングステップ $l$ における統合スコアは，スタイル変換モデル あるいはダイレクトモデルの出力確率 $p_{a m}$ と言語モデルの出力 $p_{l m}$, および言語重み $\lambda$ 用い て, $\log p\left(y_{l} \mid \boldsymbol{X}, y_{1}, y_{2}, \ldots, y_{l-1}\right)+\lambda \log p_{l m}\left(y_{l} \mid y_{1}, y_{2}, \ldots, y_{l-1}\right)$ と計算した. カスケードモデルとダ イレクトモデルに言語モデル統合を用いたときの会議録に対する誤り率を表 3 の “外部言語モ デル統合”の行に示す. 大規模言語モデルの統合は, カスケードモデルでは効果がなく, ダイレ クトモデルでは挿入誤りが有意に増え，むしろ精度の低下をもたらした。書き言葉予測は音声 に忠実でないラべルの出力も行うように学習されるが，外部言語モデルを用いることでより音声と無関係な不適切なラベルの挿入が促進された可能性がある.

## 5.5 句読点を考慮した音声区分化の効果

句読点を手がかりとした音声区分化手法（4.2 章）を評価する。区分化の基準としては，連続 ブランクとして検出されたポーズと句読点が共起したときに分割する手法（提案法）, ポーズ と文末シンボル (<eos>) が共起したときに分割する手法, ポーズのみを用いる手法の 3 つを比較する. Algorithm1 において，ポーズ検出に用いる連続 blank 数のしきい值 $\left(N_{\text {blank }}\right)$ を変化さ せたときの開発セットに対する誤り率の推移を図 7 に示す. マージン $T_{\text {margin }}$ は各しきい値で 別途調整した ${ }^{9}$ ．各データ点の近傍に各手法としきい値の組み合わせで生成されたセグメントの 数を併せて示す。なお, 書き言葉予測には, 共通してエンコーダマルチタスク学習で構築した Transformerを用いて行った.

この結果から，句読点を手がかりに区分化を行う提案法が，ブランク数 15 程度まで安定して 高い精度を与えることがわかる。ポーズのみに基づく手法は，提案法より全体に誤り率が高く， またしきい值依存性も高かった. 提案法が最も低い誤り率を与えた設定 $\left(N_{\text {blank }}=10\right)$ では, 音声は 1,228 のセグメントに分割されたが，ポーズに基づく手法では， $N_{\text {blank }}=25$ でこれと同程度のセグメント数となった. しかし, 誤り率の比較では, 後者は $15.7 \%$ と大幅に提案法 $(7.3 \%)$ を上回った。 セグメント長の標準偏差は, 前者で 4.95 秒であったのに対して, 後者で 7.06 秒と なり，分割されたセグメント長に大きなばらつきがあった。また，文末シンボル<eos>を用いた 手法は, 文や話者の境界とは無関係に，一貫して 20 から 25 秒程度の長いセグメントを生成す る傾向があり，学習データ中にこれらの長さのセグメントがほとんど出現しないため, 性能も 低かった。
^{9} N_{\text {blank }}=5,10,15,20,25$ に対して，それぞれ $T_{\text {margin }}=20,30,40,40,40$ を用いた。ただし， $T_{\text {margin }}$ の影響は 全体に軽微であった。
}

図 $7 \mathrm{CTC}$ に基づく区分化手法におけるポーズ検出のためのブランク数のしきい值の影響（数値は開発 セットに対する書き言葉生成精度 (\%)，各データ点に生成されたセグメント数を付す.)

次に，学習・評価データに対する区分化手法の組み合わせについて評価を行った。ポーズに 基づく手法には, 学習・評価データとも, Julius のショートポーズセグメンテーションアルゴ リズムを用いた。しきい值は音声認識で一般に用いられる $200 \mathrm{~ms}$ とした. 句読点に基づく手法 としては，学習データでは，ショートポーズセグメンテーションで得られたセグメント境界時刻のうち，会議録とのアライメントで句読点に対応付けられた時刻でのみ，区分化を行った ${ }^{10}$.評価データは CTC セグメンテーション手法により分割した。 パラメータは, 開発データを用 いた図 1 の実験で得られた最適な値を用いた $\left(N_{\text {blank }}=10, \quad T_{\text {margin }}=30\right)$.

表 5 に，学習・評価時における区分化手法の 4 通りの組み合わせに対する評価デー夕の誤り 率を示す。学習・評価時のいずれも句読点を考慮することで，いずれもショートポーズで分割 したときより絶対値で 1.6 ポイントと大きな改善が見られた，また，学習データをポーズ，評価データを句読点で区分化したとき，脱落誤りが顕著であった．ショートポーズセグメンテー ションではごく短いセグメントの占める割合が高く, 評価時に比較的長いセグメントを正しく 認識できなかったためと考えられる.

以上から，ダイレクト書き言葉生成において，句読点検出に基づく区分化手法は，ショート

 &  \\

句読点を考慮 $(442,816)$ & 10.2 & $\mathbf{8 . 2}$ \\

表 5 学習・評価データに対する区分化手法の比較（数値は会議録テキストに対する文字誤り率 (\%), 括弧内は分割後のセグメント数)

ポーズよりも一貫して高い性能を与えることがわかった．学習時と評価時の整合性の面でも，句読点という明確で音響環境等の条件に依存しない基準を用いることが重要であると考えられる.

なお, 表 3 (“単方向型 CTC ダイレクト＋エンコーダマルチタスク学習”) に示すように, 区分化に用いた単方向 CTC 自体の書き言葉予測の性能は, 未来の情報が使えないため, Transformer に基づくその他のモデルに比べて高いとは言えず，特に脱落誤りが多かった．ただし，句読点 の適合率のみに注目すると，句点が 0.934 , 読点で 0.811 と高い水準であった.

## 5.6 誤りの分析

本節では，提案システムの出力においてどのような修正がどの程度の達成度で実現できたか を評価する。図 8 に，句読点以外の修正項目について，カスケードモデルおよびダイレクトモデ ルが正しく行った修正の数と，編集者が行った修正に対する再現率を示す。カスケードモデル にはマルチスタイルモデルとテキストベース SST を組み合わせたモデル（表 3 の“Transformer カスケード＋デコーダマルチスタイル学習”）を， ダイレクトモデルはエンコーダマルチタス ク学習とデコーダマルチスタイル学習の両方を用いて構築したモデル（表 3 の“Transformer ダ イレクト＋両方”）を用いた。

削除操作では, 語彙的なフィラーと句末表現の削除は, いずれのモデルも高い再現率を示した.一方，言い直しにおける言い誤り箇所の削除では，カスケードモデルが $52.4 \%$ ，ダイレクトモデ ルが $79.9 \%$ と, 性能に大きな差が見られた. このことから, 非流暢な言い誤り箇所 (reparundum) の同定に音響的な情報が役に立つこと，その上で単語連接としてより自然な言い直し部分のみ が保持されたことが示唆される。また，言い誤りでは認識誤りが多く，カスケードモデルでは 後段のSST でリカバーできなかった可能性が高い。“その他の削除”の項目では, どちらのモデ ルも相対的に性能が低かったが，文脈上不要な主語や指示語の削除など，高度な判断を必要と する例が多いためと考えられる。また，「やはり」など，間投詞以外の用例が多い単語の削除は 失敗することが多かった.

置換操作では，助詞の修正や言い誤りの修正は, 非常に低い再現率となった。これらの修正 は, 出現頻度も低く, 意味や常識に基づいた修正が必要であるため, seq2seq モデルのみでは 原理的に行えない例も多かった。助詞の修正では, 特に「が」から「は」への修正, 「が」から

(a) 削除：フィラー

(c) 削除：言い誤り

(e) 置換：助詞の修正

(g) 置換：語順の入れ替元

(i) 挿入：助詞の復元

(b) 削除：句末表現

(d) 削除 : その他

(f) 置換：口語表現の修正

(h) 置換：言い誤りの修正

(j) 全修正（句読点以外）

図 8 各修正項目においてカスケードモデルおよびダイレクトモデルが正しく行った修正の数と, 編集者 が行った修正に対する再現率

「を」への修正において，実際の発音に忠実に認識される誤りが多かった．また，語順の入れ替 えについても，ほとんどの例で正しく修正できなかった。音響的な情報を用いないカスケード モデルが，例えば「今審議がなされている」を「審議が今なされている」に，「大きな僕は矛盾 だと思います」を「僕は大きな矛盾だと思います」になど，比較的単純な例で正しく修正でき

表 6 句読点挿入の性能

たことから，この項目ではカスケードモデルがダイレクトモデルより高い再現率となった。一方, 口語表現の修正は,「いろんな」から「いろいろな」へ,「やつ」から「もの」へなど, 定型的な言い換えに帰着できる例が多いため, どちらのモデルも非常に高い再現率となった.

挿入操作では, 助詞の挿入は妥当な水準で再現可能であった. カスケードモデルでは, 助詞 の脱落の前後で認識誤りが多く, ダイレクトモデルとの性能差が大きかった.

以上のように，ほぼすべての修正項目において， ダイレクトモデルがカスケードモデルより 有意に高い性能を示した．特に，言い誤りの削除や助詞の復元などの高度な修正で性能差が大 きかった，全体として，ダイレクトモデルは編集者が行った編集作業のうち $80.2 \%$ 再現する ことができた。

最後に, システム出力における句読点挿入の性能を評価する。表 6 に，カスケードモデルと ダイレクトモデルを用いた句読点挿入における再現率，適合率および $\mathrm{F}$ 値を示す。読点挿入の 性能では，カスケードモデルとダイレクトモデルの性能差は見られなかった．句点挿入では, ダイレクトモデルが有意に高い性能を示した。これは句点の方がよりポーズとの相関が高いた め，音響的な情報が特に有効であったためと考えられる。

図 9 に，人手による書き起こし，会議録，マルチスタイルモデルによる音声認識結果，カス ケードモデルおよびダイレクトモデルの出力の例を示す.この例から, 音声認識結果は非常に 高い精度であっても文として読みにくく，提案手法により可読性が改善されることが確認でき る。また，ダイレクトモデルでは，「これは」における助詞の復元や，「反映されることが」の箇所で言い誤りのみ削除されるなど，高度な修正が正しく行われていることがわかる。一方, 冒頭の「やはり」の削除に失敗するなど，課題も見える。

## 6 結論

本研究では, 音声から読みやすい書き言葉スタイルの生成を行うタスクにおいて, 音声認識 とテキストベースのスタイル変換を組み合わせたカスケード方式の問題を解決するために, e $2 \mathrm{e}$音声翻訳の枠組みを用いて, 音声から書き言葉を直接生成する新しいアプローチを提案した.

 \\

図 9 書き起こし, 会議録, システム出力の例

700 時間の大規模な衆議院審議音声を用いた評価実験により，提案法であるダイレクトモデル はカスケード方式より高い精度で会議録文書を再現できることを示し，書き言葉の生成におい て音響情報を用いること, 初段の音声認識における誤りを回避することの意義を明らかにした. また，非自己回帰型の CTC モデルは音声認識では Transformer と同等の性能を持つ一方，書き 言葉のダイレクト予測タスクでは学習が収束せず，意味のある文を出力するに至らないことを 実験的に示し，書き言葉予測は音声認識とは明確に異なる難しさのタスクであり, Transformer に基づく柔軟な seq2seq 変換を用いることが必須であることを明らかにした.

さらに，学習データの書き言葉（会議録）から自動で近似的な書き起こしを生成する手法と, これを用いてダイレクトモデルの学習を補助する 2 つの手法を提案し, 実験により Transformer に基づくダイレクトモデルの性能をさらに向上できることを示した．会議のような話し言葉コ ミュニケーションでは，音声検索などのタスクのように明確な発話終端の情報が利用できない ことから，書き言葉の句読点情報を用いた新しい音声区分化手法も併せて提案し，ショートポー ズに基づく区分化と比較することで有効性を示した。これらの提案手法による予測結果を編集者が行った修正と比較することにより，提案モデルは編集者による修正の $80 \%$ 以上を再現でき ること, 特に助詞の復元や言い誤りの除去などの編集においてカスケード方式より大幅に高い 性能が得られることを示した。

一方，いくつかの修正項目では低い再現率となったため，これらの改善が課題といえる。意味や常識に基づいて行われる助詞の修正や復元などは, 学習事例数を増やすことや, 大規模言
語モデルに基づくタギング (Malmi et al. 2019) などの事後的な編集で改善できる可能性がある.

欧州議会 (Díaz-Munío et al. 2021) やアイスランド議会 (Steingrímsson et al. 2020)など, 他言語の議会音声コーパスを用いて提案手法の一般性を評価することも重要な課題である。また,講義やプレゼンテーション (Maekawa 2003) など, 自動整形の潜在的な需要のあるタスクは多 いが，これらのデータでは通常大規模かつ信頼度の高い書き言葉のアノテーションは利用でき ないため, 国会会議録を用いて学習したダイレクト整形文予測モデルのドメイン適応や転移学習も今後検討すべき方向性の一つである.

## 参考文献

Akita, Y. and Kawahara, T. (2007). "Topic-independent Speaking-style Transformation of Language Model for Spontaneous Speech Recognition." In ICASSP, Vol. 4, pp. 33-36.

Akita, Y. and Kawahara, T. (2011). "Automatic Comma Insertion of Lecture Transcripts Based on Multiple Annotations." In INTERSPEECH, pp. 2889-2892.

Akita, Y., Mimura, M., and Kawahara, T. (2009). "Automatic Transcription System for Meetings of the Japanese National Congress." In INTERSPEECH, pp. 84-87.

秋田祐哉, 三村正人, 河原達也 (2010). 会議録作成支援のための国会審議の音声認識システ 么. 電子情報通信学会論文誌, J93-D 巻, pp. 1736-1744. [Y. Akita et al. (2010). Automatic Transcription System for Creation of Meeting Records in the National Diet. The IEICE Transactions, J93-D, pp. 1736-1744.].

Audhkhasi, K., Ramabhadran, B., Saon, G., Picheny, M., and Nahamoo, D. (2017). "Direct Acoustics-to-Word Models for English Conversational Speech Recognition." In INTERSPEECH, pp. 959-963.

Baevski, A., Zhou, Y., Mohamed, A., and Auli, M. (2020). "wav2vec 2.0: A Framework for Self-Supervised Learning of Speech Representations." In Advances in Neural Information Processing Systems, Vol. 33, pp. 12449-12460. Curran Associates, Inc.

Bentivogli, L., Cettolo, M., Gaido, M., Karakanta, A., Martinelli, A., Negri, M., and Turchi, M. (2021). "Cascade versus Direct Speech Translation: Do the Differences Still Make a Difference?" In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing, Vol. 1, pp. 2873-2887.

Bérard, A., Besacier, L., Kocabiyikoglu, A. C., and Pietquin, O. (2018). "End-to-End Automatic Speech Translation of Audiobooks." In ICASSP, pp. 6224-6228.

Chang, S.-Y., Prabhavalkar, R., He, Y., Sainath, T. N., and Simko, G. (2019). "Joint Endpointing
and Decoding with End-to-End Models." In ICASSP, pp. 5626-5630.

Chiu, C.-C., Han, W., Zhang, Y., Pang, R., Kishchenko, S., Nguyen, P., Narayanan, A., Liao, H., Zhang, S., Kannan, A., Prabhavalkar, R., Chen, Z., Sainath, T., and Wu, Y. (2019). "A Comparison of End-to-End Models for Long-form Speech Recognition.” In $A S R U$, pp. 889-896.

Chorowski, J. and Jaitly, N. (2017). "Towards Better Decoding and Language Model Integration in Sequence to Sequence Models." In INTERSPEECH, pp. 523-527.

Díaz-Munío, G. V. G., Silvestre-Cerdà, J.-A., Jorge, J., Pastor, A. G., Iranzo-Sánchez, J., Baquero-Arnal, P., Roselló, N., de Martos, A. P.-G., Civera, J., Sanchis, A., and Juan, A. (2021). "Europarl-ASR: A Large Corpus of Parliamentary Debates for Streaming ASR Benchmarking and Speech Data Filtering/Verbatimization." In INTERSPEECH, pp. 2695-2699.

Dong, L., Xu, S., and Xu, B. (2018). "Speech-Transformer: A No-Recurrence Sequence-toSequence Model for Speech Recognition." In ICASSP, pp. 5884-5888.

Gravano, A., Jansche, M., and Bacchiani, M. (2009). "Restoring Punctuation and Capitalization in Transcribed Speech." In Proc. ICASSP, pp. 4741-4744.

Graves, A. (2012). "Sequence Transduction with Recurrent Neural Networks." In LCML, pp. 4945-4949.

Graves, A., Fernandez, S., Gomez, F., and Schmidhuber, J. (2006). "Connectionist Temporal Classification : Labelling Unsegmented Sequence Data with Recurrent Neural Networks." In Proceedings of the 23st International Conference on Machine Learning, pp. 369-376.

Gulcehre, C., Firat, O., Xu, K., Cho, K., Barrault, L., Lin, H.-C., Bougares, F., Schwenk, H., and Bengio, Y. (2015). "On Using Monolingual Corpora in Neural Machine Translation." arXiv preprint arXiv:1503.03535.

Higuchi, Y., Karube, K., Ogawa, T., and Kobayashi, T. (2022). "Hierarchical Conditional Endto-End ASR with CTC and Multi-granular Subword Units." In ICASSP, pp. 7797-7801.

Hinton, G., Deng, L., Yu, D., Dahl, G., Mohamed, A., Jaitly, N., Senior, A., Vanhoucke, V., Nguyen, P., Sainath, T., and Kingsbury, B. (2012). "Deep Neural Networks for Acoustic Modeling in Speech Recognition." IEEE Signal Processing Magazine, 29 (6), pp. 82-97.

Hori, T., Willett, D., and Minami, Y. (2013). "Paraphrasing Spontaneous Speech using Weighted Finite-state Transducers." In ISCA 8 IEEE Workshop on Spontaneous Speech Processing and Recognition, pp. 219-222.

Jones, D., Wolf, F., Gibson, E., Williams, E., Fedorenko, E., Reynolds, D., and Zissman, M. (2003). "Measuring the Readability of Automatic Speech-to-Text Transcripts." In Eurospeech, pp. 1585-1588.

Karita, S., Chen, N., Hayashi, T., Hori, T., Inaguma, H., Jiang, Z., Someki, M., Enrique, N., Soplin, Y., Yamamoto, R., Wang, X., Watanabe, S., Yoshimura, T., and Zhang, W. (2019a). "A Comparative Study on Transformer vs RNN in Speech Applications." In $A S R U$, pp. 449-456.

Karita, S., Soplin, N. E. Y., Watanabe, S., Delcroix, M., Ogawa, A., and Nakatani, T. (2019b). "Improving Transformer-Based End-to-End Speech Recognition with Connectionist Temporal Classification and Language Model Integration." In INTERSPEECH, pp. 1408-1412.

Kawahara, T. (2012). "Transcription System using Automatic Speech Recognition for the Japanese Parliament (Diet)." In AAAI/IAAI, pp. 2224-2228.

Kawahara, T. (2021). "Captioning Software using Automatic Speech Recognition for Online Lectures." The Journal of Professional Reporting and Transcription (Tiro), No. 1.

Kim, S., Hori, T., and Watanabe, S. (2017). "Joint CTC-Attention based End-to-End Speech Recognition using Multi-task Learning." In ICASSP, pp. 4835-4839.

Kingma, D. P. and Ba, J. (2015). "Adam: A Method for Stochastic Optimization." In ICLR.

Kudo, T. and Richardson, J. (2018). "SentencePiece: A Simple and Language Independent Subword Tokenizer and Detokenizer for Neural Text Processing." In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, Vol. 1, pp. 66-71.

Lamel, L., Gauvain, J., and Adda, G. (2001). "Investigating Lightly Supervised Acoustic Model Training." In ICASSP, Vol. 1, pp. 477-480.

LeCun, Y. and Bengio, Y. (1995). "Convolutional Networks for Images, Speech, and Time-series." In Arbib, M. A. (Ed.), The Handbook of Brain Theory and Neural Networks. Cambridge, MA, USA: MIT Press,.

Lee, A., Kawahara, T., and Shikano, K. (2001). "Julius: An Open Source Real-Time Large Vocabulary Recognition Engine." In EUROSPEECH, pp. 1691-1694.

Liu, Y., Shriberg, E., Stolcke, A., Hillard, D., Ostendorf, M., and Harper, M. (2006). "Enriching Speech Recognition with Automatic detection of Sentence Boundaries and Disfluencies." IEEE Transactions on Audio, Speech $\mathcal{B}$ Language Processing., 14, pp. 1526-1540.

Maekawa, K. (2003). "Corpus of Spontaneous Japanese: Its Design and Evaluation." In Proceedings of ISCA 8 IEEE Workshop on Spontaneous Speech Processing and Recognition, pp. $7-12$.

Mahadeokar, J., Shangguan, Y., Le, D., Keren, G., Su, H., Le, T., Yeh, C.-F., Fuegen, C., and Seltzer, M. L. (2021). "Alignment Restricted Streaming Recurrent Neural Network Transducer." In $S L T$, pp. 52-59.

Malmi, E., Krause, S., Rothe, S., Mirylenka, D., and Severyn, A. (2019). "Encode, Tag, Realize:

High-Precision Text Editing." In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, pp. 5054-5065.

McDermott, E., Sak, H., and Variani, E. (2019). "A Density Ratio Approach to Language Model Fusion in End-to-End Automatic Speech Recognition." In $A S R U$, pp. 434-441.

Mohamed, A., Dahl, G., and Hinton, G. (2012). "Acoustic Modelling using Deep Belief Networks." IEEE Transactions on Audio, Speech, 86 Language Processing., 20 (1), pp. 14-22.

Nair, V. and Hinton, G. E. (2010). "Rectified Linear Units Improve Restricted Boltzmann Machines." In Proceedings of ICML, pp. 807-814.

Neubig, G., Akita, Y., Mori, S., and Kawahara, T. (2012). "A Monotonic Statistical Machine Translation Approach to Speaking Style Transformation." In Computer Speech and Language, Vol. 26, pp. 349-370.

Pan, J., Lei, T., Kim, K., Han, K., and Watanabe, S. (2022). "SRU++: Pioneering Fast Recurrence with Attention for Speech Recognition." In ICASSP, pp. 7872-7876.

Park, D. S., Zhang, Y., Chiu, C.-C., Chen, Y., Li, B., Chan, W., Le, Q. V., and Wu, Y. (2020). "Specaugment on Large Scale Datasets." In ICASSP, pp. 6879-6883.

Paulik, M., Rao, S., Lane, I., Vogel, S., and Schultz, T. (2008). "Sentence Segmentation and Punctuation Recovery for Spoken Language Translation." In ICASSP, pp. 5105-5108.

Povey, D., Ghoshal, A., Boulianne, G., Burget, L., Glembek, O., Goel, N., Hannemann, M., Motlicek, P., Qian, Y., Schwarz, P., Silovsky, J., Stemmer, G., and Vesely, K. (2011). "The Kaldi speech recognition toolkit." In Proc. $A S R U$, pp. 1-4.

Sanabria, R. and Metze, F. (2018). "Hierarchical Multitask Learning With CTC." In SLT, pp. 485-490.

Sennrich, R., Haddow, B., and Birch, A. (2016). "Neural Machine Translation of Rare Words with Subword Units." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics, Vol. 1, pp. 1715-1725.

Shitaoka, K., Nanjo, H., and Kawahara, T. (2004). "Automatic transformation of lecture transcription into document style using statistical framework." In INTERSPEECH, pp. 2169-2172.

Soltau, H., Liao, H., and Sak, H. (2017). "Neural speech recognizer: Acoustic-to-word LSTM model for large vocabulary speech recognition." In Interspeech, pp. 3707-3711.

Sproat, R. and Jaitly, N. (2017). "An RNN Model of Text Normalization." In Interspeech, pp. 754-757.

Steingrímsson, S., Barkarson, S., and Örnólfsson, G. T. (2020). "IGC-Parl: Icelandic Corpus of

Parliamentary Proceedings." In $L R E C$, pp. 11-17.

Ueno, S., Inaguma, H., Mimura, M., and Kawahara, T. (2018). "Acoustic-to-word Attentionbased Model Complemented with Character-Level CTC-based Model." In ICASSP, pp. $5804-5808$.

Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., and Polosukhin, I. (2017). "Attention Is All You Need." In 31st Conference on Neural Information Processing Systems (NIPS 2017), Vol. 30, pp. 6000-6010.

Watanabe, S., Hori, T., and Hershey, J. R. (2017). "Language Independent End-to-End Architecture for Joint Language Identification and Speech Recognition." In $A S R U$, pp. 265-271.

Weiss, R. J., Chorowski, J., Jaitly, N., Wu, Y., and Chen, Z. (2017). "Sequence-to-Sequence Models Can Directly Translate Foreign Speech." In Interspeech, pp. 2625-2629.

Yeh, J. and Wu, C. (2006). "Edit Disfluency Detection and Correction using a Cleanup Language Model and an Alignment Model." IEEE Transactions on Audio, Speech 8 Language Processing, 14, pp. 1574-1583.

Yoshimura, T., Hayashi, T., Takeda, K., and Watanabe, S. (2020). "End-to-End Automatic Speech Recognition Integrated with CTC-Based Voice Activity Detection." In ICASSP, pp. 6999-7003.

## 略歴

三村 正人：2000 年京都大学大学院情報学研究科修士課程修了. 2022 年同博士

課程修了. 現在, 京都大学情報学研究科特定研究員. IEEE, 日本音響学会各会員.

河原 達也：1987 年京都大学工学部情報工学科卒業. 1989 年同大学修士課程終

了. 京都大学工学部助手, 同助教授, 学術メディアセンター教授を経て, 現在, 情報学研究科教授. 音声情報処理, 特に音声認識及び対話システムに関 する研究に従事．博士（工学）．IEEE Fellow, ISCA，APSIPA 各理事. 情報処理学会, 日本音響学会, 電子情報通信学会, 人工知能学会, 言語処理学会各会員.日本学術会議連携会員.


# 共同作業を行う対話における共通基盤構築過程の記録と分析

共通基盤を構築可能な対話システムを実現するためには，対話において共通基盤が 構築される過程を明らかにすることが重要である.しかしながら, 既存研究では対話の結果得られる最終的な成果物のみを共通基盤と関連付けて分析しており, 共通基盤が構築される過程は明らかにされていない。本研究では, 共同作業を行う対話 において，共通基盤構築の過程を明らかにすることを目指し，デー夕収集手法を提案する。具体的には，課題の中間結果をその時点における共通基盤に相当するもの として，自動的に記録するデータ収集手法を提案する。提案手法を用いて 984 対話 を収集し, 共通基盤構築の過程を定量的に調查した結果，共通基盤の構築過程にい くつかのパタンが見られた。また，共感や同意，ポジティブな表現を通じて自身の 理解を伝える発話が出現している場合, 共通基盤が構築されている傾向にあると考 えられる。 さらに，対話中の共通基盤構築の度合いを対話や課題の内容から推定す る実験を行い，双方の内容が推定に有用なことを示した。

キーワード：対話システム，コーパス構築，共通基盤，共同作業
## Recording and Analyzing the Process of Building Common Ground in Dialogues in a Collaborative Task

\author{
Кон Mitsuda $^{\dagger}$, Ryuichiro Higashinaka ${ }^{\dagger}$, Yuhei Oga $^{\dagger}$ and Sen Yoshida ${ }^{\dagger, \dagger \dagger \dagger}$
}

To develop a dialogue system that can build common ground with users, the process of building common ground through dialogue needs to be clarified. However, the studies on the process of building common ground have not been well conducted; much work has focused on the final task results as common ground in which users perform a collaborative task. In this study, to clarify the process of building common ground in the dialogue where workers collaboratively perform a given task, we propose a data collection method for automatically recording the process of building common ground through a dialogue by using the intermediate result of a task. We analyzed 984 dialogues, and the result of investigating the process of building common ground suggests that several typical patterns can exist in that process and that common ground tends to be built if each worker's understanding is conveyed through the

affirmation of a counterpart's utterances. In addition, toward dialogue systems that can build common ground with users, we conducted an automatic estimation of the degree of built common ground and found that its degree can be estimated with a dialogue and intermediate task result.

Key Words: Dialogue System, Data Collection, Common Ground, Collaborative Task

## 1 はじめに

対話において，対話の参加者の間で共有される知識や信念の情報を共通基盤（または相互信念）と呼ぶ (Clark and Schaefer 1989; Traum 1994; Kopp and Kramer 2021). 複雑な内容を伴 う対話は，その内容の理解を積み上げていく必要があるため, ユーザとの高度な対話（例えば,教育，議論，交涉などを目的とする対話）が可能なシステムを実現するためには，対話を通じ てユーザとともに共通基盤を構築していき，それに基いて対話を行うモデルを確立することが 望ましい．対話をモデル化する上で，共通基盤は重要な概念の一つとされてきたが，共通基盤 が構築される過程を分析した研究は少なく, その過程は明らかではない (中野 2019).

共通基盤を扱った従来の研究では，話者が対話を通じて共同作業を行う課題を設定し，対話 や課題に関する情報を記録，分析するというアプローチが取られてきた (Benotti and Blackburn 2021; Chandu et al. 2021). 課題の達成には作業者間で共通基盤を構築する必要があることか ら, 課題の最終的な結果を共通基盤と関連付けて分析することで，対話と共通基盤の関係性が 分析されている (Anderson et al. 1991; Foster et al. 2008; He et al. 2017). そのため, 対話を通 じてどのように共通基盤が構築されるかという過程そのものに関する研究は，いくつかの例外 を除き行われてきていない。例外として, Udagawa and Aizawa (2019) は, 共通基盤の構築過程 を分析するために，課題に関するオブジェクト，および，対話中に出現する参照表現を人手で 結び付けたデータを作成し，参照表現からオブジェクトを推定する研究を行った。また, Bara et al. (2021)は, 仮想空間上で話者が対話を通じて共同作業を行う課題において，対話相手の信念や行動についてどの程度理解しているかを問う質問をリアルタイムに話者に回答させること で，対話中の共通基盤を記録している。これらの研究では，対話中の共通基盤を手作業で記録 する必要があり, 高いコストがかかる，また，分析可能な情報は，あらかじめ定義された参照表現や質問の内容に限定される.

本論文では, 共同作業を行う対話を対象とし, 課題の中間結果を構築中の共通基盤に相当す るものとして自動的に記録することで，共通基盤構築の過程を分析する手法を提案する．課題 の中間結果をその時点における共通基盤に相当するものとして記録することで，共通基盤が記録された対話を低いコストで収集でき，対話の各段階における各話者の信念やその共通部分で ある共通基盤を分析することが可能になる。このために，2 名の作業者がテキストチャットを
用いて，ランダムに配置されたオブジェクトを共通のレイアウトに配置する課題, 共同図形配置課題（図 1）を設定した。本課題において，2 名の作業者が作成したレイアウトを各作業者の 信念とみなし，それらの類似度を利用することで，対話を通じて構築される共通基盤を定量化 することが可能である。

共同図形配置課題を用いて 984 対話を収集し，共通基盤構築の過程を調査した結果，共通基盤の構築過程にいくつかのパタンが見られ，また，対話相手の発話を肯定したり，話者自信の 理解を相手に伝えたりする表現が出現している場合，共通基盤が構築できている傾向にあると 考えられる，さらに，共通基盤を構築可能な対話システムの実現に向けて，対話の各段階にお ける共通基盤構築の度合いを推定する実験を実施した結果，対話とレイアウトの双方の情報が 推定に有用であることが明らかになった.

本論文の貢献は以下の 3 点である.

（1）対話中の共通基盤を自動的に記録する手法を提案した。提案手法を利用することで，人手によるアノテーションやアンケートへの回答を経ることなく共通基盤が構築される過程を記録することが可能となる。また，提案する共同図形配置課題の対話を 984 対話収集した共同図形配置コーパスを構築した。

（2）共通基盤構築の過程を初めて定量的に明らかにした。具体的には，共通基盤構築の過程 が複数の典型的なクラスタに分けることができ，また，対話中に肯定的な評価や共感を 示す発話が出現している場合，共通基盤が構築できている傾向にあると考えられる.

（3）共通基盤を構築可能な対話システムの実現に向けて，共通基盤構築の度合いを対話と課題の内容から推定する実験を行い，その双方の内容が推定に有用であることを示した.本研究で提案する共同図形配置課題は，共通基盤を記録することを目的として設計されており， その対話の内容は一般的な対話と比較して限定的である。しかしながら, 我々の知る限り, 共通基盤構築の過程を定量化した試みは本研究が初めてである。共通基盤の構築過程は，相互理

図 1 本研究で提案する共同図形配置課題. 各作業者は自身の図形配置しか参照することができず，相手 の図形配置は参照することはできない.
解を必要とするあらゆる対話に現れうるため, 本研究の知見は共通基盤を扱う対話システムの 研究一般において有用だと考えている.

## 2 関連研究

共通基盤の研究はこれまで，主に話者間で共通基盤構築を必要とする特定の課題を対象に，人対人の対話を分析することで扱われてきた (Benotti and Blackburn 2021; Chandu et al. 2021).共通基盤構築の成否は課題の最終結果に基づいて定義され, 課題達成に成功した場合, 対話を通 じて共通基盤が適切に構築されたとみなされる。初期の研究では, 具体的な課題として, 地図を 用いて経路の伝達やオブジェクトの操作を行う課題 (Anderson et al. 1991; Carletta et al. 1991; Bard et al. 2000; Denis and Striegnitz 2012) や, 二次元平面上に配置されたパズルを解く課題 (Clark and Wilkes-Gibbs 1986; Foster et al. 2008; Spanger et al. 2009; Tokunaga et al. 2012) が 提案されてきた. また, 共通基盤は, 対話研究における基盤化のモデルの中でも扱われてきた.代表的なものとして, 対話を通じた基盤化の過程をグラフ (Clark and Schaefer 1989) やオート マトン (Traum 1994)として表現するモデルが存在する. これらは本研究と同様対話の基盤化の 過程に着目しており, 先行研究とみなせる. 本研究は共通基盤の構築度合いの定量化しており,従来のモデルと組み合わせることで, これらのモデルの検証につながる可能性がある.

近年は，共通基盤を対象とした研究において，与えられた環境の中で話者が特定のオブジェ クトを見つけたり，作成したりするという課題が数多く提案されている．話者に与える環境と して，例えば，テキスト (He et al. 2017; Lewis et al. 2017; Gero et al. 2020), 画像 (Liu et al. 2012; de Vries et al. 2017; Kim et al. 2019; Udagawa and Aizawa 2019), 仮想空間 (Polyak and Davier 2017; Ilinykh et al. 2019; Hahn et al. 2020; Jayannavar et al. 2020), 現実空間 (Liu et al. 2016)を扱う課題が提案されている。 また，人対システムの対話ではあるものの，もう一つの主要な研究分野として, 実空間でロボットを操作することを目的として, 入力されたユーザ発話 を現実空間のオブジェクトに関連付ける研究 (Moratz and Tenbrink 2006; Hough and Schlangen 2017; Chai et al. 2017; Van Waveren et al. 2019) も取り組まれている. これらの研究では, 主に 対話と課題の最終結果に基づいて, 対話と共通基盤の関係が分析されている. なぜならば, こ れらの研究は, 対話を通じて課題を成功させるために, どのような対話現象が生じているかを 明らかにしたり, その対話現象に基づき課題を自動的に達成するシステムを構築することを目的としているからである. しかしながら, 先行研究の枠組みでは共通基盤構築の過程を記録す ることはできないため, 共通基盤が構築される過程の分析が難しいという問題がある.

我々の研究は共通基盤構築の過程を記録することを試みるものであり, 同様の目的で設計され た課題である OneCommon (Udagawa and Aizawa 2019, 2020), および, MindCraft (Bara et al. 2021) との関連が深い. OneCommon (Udagawa and Aizawa 2019)は, 複数の点（ドット）がラ

ンダムな位置，大きさ，色で配置された二次元平面の画像が与えられた状況で，二名の作業者 が共通の点を選択する課題である。二名の作業者には，二次元平面に関して，作業者間でわず かに異なる領域が与えられ，テキストチャットを通じて共通のドットを 1 つ選択する。作業者間で選択されたドットが同じであれば，課題は成功となる。このとき，作業者間で参照表現等 の多様な言語表現を利用しつつ共通のドットを探す過程は, 共通基盤の構築過程とみなすこと ができる。そのため，ドットへの参照表現が人手でアノテーションされている (Udagawa and Aizawa 2020). また, MindCraft (Bara et al. 2021) は, ビデオゲームの Minecraft ${ }^{1}$ において, 二名の話者（プレイヤ）がそれぞれ異なる知識とスキルを与えられた状況で，協力して特定の才 ブジェクトを作成する課題である。課題を進める間，75秒ごとにプレイヤが共通基盤に関する 所定の質問（例えば，「あなたの相手は今，何を作っていると思いますか？」という質問）に回答することで，共通基盤が構築される過程を記録している．我々の研究はこれらの研究と類似 するものの，共通基盤を自動的に記録することが可能であるという点において異なる．共通基盤を自動的に記録することで，データ収集のコストを削減することができ，かつ，共通基盤に 関する情報が対話の各時点について得られるため, 収集されたデー夕と対話を紐づけることで，共通基盤の構築過程を扱う研究の可能性を大きく広げると考えられる.

## 3 共同図形配置コーパスの構築

本節では，まず，共通基盤構築の過程を記録するための課題として必要な要件を述べる，次 に, 要件に基づき設定した共同図形配置課題の定義を述べた後, 本研究で実施した対話デー夕収集について述べる。

## 3.1 課題設定のための要件

特定の課題を通じて共通基盤構築の過程を記録するため，まず，課題の要件を設定した。この 要件の設定には, OneCommon (Udagawa and Aizawa 2019) で述べられている課題の要件を参考 にした。具体的には, OneCommonでは要件として，課題の中に continuous な（連続性のある）要素，および， partially-observableな（部分的可観測性のある）要素を含めている. continuous な要素とは，課題に関して，離散的な情報（例えば，有限の候補からなるラベル集合）ではな く，画像のような連続的な情報が含まれることを意味する。連続的な情報は離散的な情報と異 なり，その情報を対話の中で端的に表現することが難しいため，作業者には複数の発話を通じ て情報をやり取りする必要が生じる。また, partially-observableな要素とは，課題の初期状態に おいて，作業者間で課題に関する部分的な情報のみが共有されることを意味する。このような

状況では，作業者は対話を通じて自身の情報を相手に共有する必要が生じる.

OneCommon で提案されている要件に加え, 本研究で扱う課題には新たに二つの要件を追加 した. 第一の要件は, 課題が達成されるまでに, 作業者が一回の操作ではなく, 複数回の操作 を行う必要があるというものである。本要件を導入することで, 操作結果, すなわち, 課題の 結果が複数段階に分割され，課題の中間結果をその時点における共通基盤に相当するものとし て記録することが可能になる。第二の要件は，構築される共通基盤を定量化するために，課題 の中間結果はその進渉が定量化可能であるというものである。本要件を導入することで，対話 の各段階における共通基盤を定量的に扱うことが可能になる.

## 3.2 共同図形配置課題

図 1 に，テキストチャットを通じて，同じ図形の集合を共通のレイアウトに配置する課題（共同図形配置課題）の概要を示す。作業者には初期配置として，作業者ごとに図形がランダムに 配置されているレイアウトが与えられる。このレイアウトは, 各作業者の課題に関する信念と みなされる。作業者はテキストチャットを通じて, 最終的なレイアウトの目標を議論しながら,一つずつ順に図形を共通の位置に配置していくことで，共通基盤となる共通のレイアウトを作成する。このとき，課題の制限として，作業者は自身のレイアウトしか見ることができない。そ のため，相手のレイアウトを想像しながら，自身の図形を配置する必要がある.

図 2 に，共同図形配置課題の対話を収集するためのインタフェース（二名の作業者 $\mathrm{A}$ と $\mathrm{B}$ それぞれに提示される画面)を示す.インタフェースは作業の開始と終了のボタン，カウント

図 2 共同図形配置課題の対話を収集するためのインターフェース. 図には 1 名の作業者に提示されるイ ンターフェイスを示している，各作業者は，共通のチャット画面，および，自身の図形配置画面を 見ることができるが，相手の図形配置画面を見ることはできない.

ダウンタイマ, 図形配置画面, チャット画面 (メッセージ入力ボックスとメッセージ送信ボタン を含む）から構成されている。作業開始時，図形配置画面には作業者ごとにランダムに配置さ れた図形が表示されている。作業者は図形配置画面の中で，マウスを利用して図形を操作する ことで共通のレイアウトを作成する。図形の操作としては平行移動のみが許容されており，図形の削除，回転，拡大，縮小はできない，このとき，インタフェースは作業者が図形を移動する 際の全てのマウス操作（ドラッグ\&ドロップ）を，座標，夕イムスタンプと共に操作ログとして 自動的に記録する。作業者は対話中にいつでもレイアウトを操作可能であり，インタフェース はその操作結果とタイムスタンプを全て記録する。作業者は自身の図形配置画面しか見ること ができないが，チャット画面については作業者間で共通の内容のものを見ることができる．作業が進み，チャットを通じて作業者の間で配置が同一になったと作業者が判断した場合，作業者は終了ボタンを押し課題を終了する。または，課題開始から 10 分が経過したとき，課題は終了となる.

図 3 に，共同図形配置課題で配置の対象となる二種類の図形集合（単純図形と建物図形）を 示す. 図中の左側は単純図形を表し，右側は建物図形を表す。単純図形は 10 個の基本図形（例 えば，四角形や円形）から構成されており，建物図形は 10 個の建物アイコン（例えば，バーや 警察）から構成されている，単純図形には Microsoft PowerPoint ${ }^{2}$ に登録されている図形を利用 し，建物図形には建物を端的に表す白黒のアイコンセット3を利用した。建物図形は単純図形と 異なり，作業者が図形に関する前提知識を利用することができる（例えば，前提知識に基づき配置方針を伝える発話として，「安心してバーに行けるよう，近くに警察を配置しよう」という発話が考えられる），単純図形と建物図形という二種類の異なる性質の図形を配置対象のオブジェ クトとすることで，収集対象の対話が特定の種別のオブジェクトのみを扱う対話にならないよ う配慮している。これらの図形集合を用いて，図形配置画面に表示する図形の個数を 5 個また は 7 個とし，重複ありでランダムな大きさ，位置に設定することで初期配置を作成した 4 .

図 3 共同図形配置課題で使用する図形セット 2 種類, 単純図形（左）と建物図形（右）

## 3.3 対話データ収集

作業者のペアが共同図形配置課題を行う対話を大規模に収集し，コーパスを構築した．以降，本コーパスを共同図形配置コーパスと呼ぶ．対話の収集実験には，287名の作業者が参加した.作業者はクラウドソーシングを専門とする会社を通じて募集され，実験への参加条件として，日本語を母国語としており，かつ，簡単な PC 操作に慣れている作業者という条件を設定した.募集の際には，作業者の属性（年齢，性別，職業等）が偏らないよう努めた．実験に参加した 287 名の作業者の中で，初対面の作業者 2 名をランダムに組み合わせることでぺアを作成し，そ の結果, 213 組が課題を実施した. このとき, 各作業者ぺアは 4 回ずつ課題を実施した（単純図形 5 個, 単純図形 7 個, 建物図形 5 個, 建物図形 7 個の計 4 回). 作業者への教示として, 実験 の目的，タスク概要，図形の種別，理想的なレイアウトの配置方針（できるだけ相手の意見を 聞き，かつ，工夫を凝らすようなレイアウ卜を作成するようするというもの）を与えた. さら に，図形の操作は対話を行いながら実施するよう作業者に指示した。また, 実験参加にあたっ て，身体的負担を考慮し，いつでも実験の継続を中止することが可能である旨を伝えた上で作業を実施させた。データ収集にあたっては, 監督者が教示に基づいて実際の作業前に各作業者 にインストラクションを行い，対話ごとに作業者とコミュニケーションを取るようにした。そ のため，タスクを理解していないケースはほとんど存在しないと考えている。これを裏付ける ものとして, 各対話の内容を人手で確認することで, 作業の品質に問題がないことを確認した.

表 1 に，共同図形配置コーパスとして収集されたデータの統計情報を示す. 213 組の作業者 ペアが課題を実施することで，合計 984 の対話が収集された ${ }^{5}$. 表の通り，各対話には平均 28.8 発話が含まれており, 平均 65.4 回の図形操作が含まれていた。図形集合間の比較として, 建物図形は単純図形に比べ, 対話あたりの発話数が多く, 一方で操作数が少ない傾向が確認できる.

表 1 共同図形配置コーパスの統計量

これは，建物に関する前提知識を使用することができる建物図形の方が，単純図形よりも最終的なレイアウトを議論しやすく, 効率的に図形を配置できたためと考えられる。なお， 288 組が 平均 521 秒と 10 分以内に課題を完了し，その他のぺアは最長 10 分，すなわち時間切れまで作業を行っていた。

表 2 に，収集された対話の例を示す。この例は，図 2 のインタフェースの説明において示し

表 2 共同図形配置課題で収集された対話の例.この対話は図 2 に示すセッションで収集されたもので ある。

たレイアウト（図形集合が単純図形であり，図形個数が 5 個のもの）を対象に特定の作業者ぺ ア二名（A と B）によって収集された対話である。最終的なレイアウトのアイデアは， $U_{14}$ ま でに作業者間で合意されており，各図形は $U_{15}$ 以降，お互いが指示を出し合うことで順に配置 されている， $U_{7}$ から $U_{14}$ までの発話において，相談を通じて図形のレイアウト方針が決定した り，また， $U_{24}$ や $U_{29}$ の発話において，作業者が配置を指示したり，自身の配置を伝えたりし ており，対話を通じて共通基盤が構築されている様子が確認できる.

## 4 共通基盤構築過程の分析

収集した共同図形配置コーパスに基づき，共通基盤構築の過程を分析した。まず，各対話に おいて, 二名の作業者が作成した最終的な二つのレイアウトが一致しているかを人手で確認し た。次に，レイアウトの類似度に基づいて，課題の中間結果を共通基盤として定量化した。最後に，定量化した共通基盤の系列に対して時系列分析を適用し，共通基盤構築における典型的 な流れを調査した。

## 4.1 最終図形配置パタン

収集したデータを人手で確認した結果，多くの作業者ペアが課題を達成したと判断している にも関わらず，一部のレイアウトのぺアは同一になっていないことが明らかになった。共通基盤を定量化するためには，どのようなレイアウトのペアを一致とみなすか，すなわち，レイアウ トのぺアがどのような状態になっていれば共通基盤が構築できたとみなすかを明らかにする必要がある。そのため, まず, 最終的なレイアウトペアの一致, 不一致のパタンを明らかにした。

図 4 に，最終的なレイアウトのぺアにおける一致, 不一致のパタン（最終図形配置パタン）を 示す. 最終図形配置パタンを作成するために，最終的なレイアウトのぺアをランダムに 50 組選択し, 著者らが手作業で類似するぺアをまとめることでパタンを作成した。その結果, 最終図形配置パタンは大きく 3 つのパタン（成功，中間，失敗）に分類され，詳細には 7 つのパタン（パ タン 1-7）に分類された. パタン 3 の同図形混同は，大きさの異なる同一の図形（例えば，大き さの異なる二つの三角形や警察署の図形）の配置のみが異なるものを指す。このとき，パタン 1-2（完全一致, 原点ずれ）において課題が成功, パタン 3-6（同種図形混同, 異種図形混同, 対称ずれ, 縮尺ずれ）において部分的に成功, パタン7（完全不一致）において失敗しているもの とみなすこととした. 完全一致に加え, 原点ずれも課題が成功したとみなした理由は, 作業者 への教示として，図形全体を絶対座標において同じ位置に配置するよう指示しなかったためで ある。また, 教示では, 図形全体の配置を合わせるという課題において, 対称ずれ（鏡像）が成功とみなされないことは自明と考えたため，対称ずれを避ける指示は行っていない。なお，ア ノテーションの一致率を確認するため, 著者と同組織に所属する作業者二名がランダムサンプ
成功(2パタン)

2. 原点ずれ（図形全体の 位置が異なるもの)

中間(4パタン)

5. 対称ずれ（図形が 対称的に異なるもの)

失敗(1パタン)

7. 完全不一致（図形の

位置が全く異なるもの)

図 4 最終図形配置パタン

リングした 50 件のレイアウトペアについてアノテーションを行ったところ, 単純一致で $74 \%$, Cohen's kappa で 0.68 となり，妥当な分類になっていることを確認した.

表 3 に, 著者らとは異なる作業者（同組織に所属する専門のアノテー夕）が共同図形配置コー パスに含まれる全 984 件のレイアウトペアに最終図形配置パタンをアノテーションした結果を 示す.この表から, 成功率（完全一致または 原点ずれ）は $25 \%(=19 \%+7 \%)$ となることが確認できる。図形集合については, 単純図形よりも建物図形の方が成功率が高い. これは, 建物図形で図形に関する前提知識を利用することで共通基盤の構築が容易になったためと考えられ る。一方, 図形数については, 各パタンの出現頻度は 5 個と 7 個でほぼ同じ傾向となり, 図形数が増えたとしても課題の難易度は大きく変化しないことが確認できる。複雑な図形は複数の 類似の図形（例. 直角三角形と正三角形, 四角形と平行四辺形など）を含むため, 一致しにく い傾向があった，興味深い点として，図形が全く一致しないもの（完全不一致）が単純図形で $27 \%$, 建物図形で $13 \%$ または $15 \%$ 存在しており，共通基盤が構築される過程のみならず，共通基盤の構築に失敗する過程をも分析可能なコーパスになっていることが確認できる.

## 4.2 共通基盤の定量化

最終図形配置パタンに基づき，対話中の共通基盤を定量化する尺度として図形配置間距離を 導入する.このとき, パタン 1-2（完全一致, 原点ずれ）において課題が成功, パタン 3-6（同種図形混同, 異種図形混同, 対称ずれ, 縮尺ずれ）において部分的に成功と定義していることか ら, 成功で図形配置間距離の値が最も小さくなるよう尺度を設計した。この指標は, レイアウ トペアに含まれる任意の二図形間の距離の和であり，次式で示される。

図形配置間距離 $\left(L_{A}, L_{B}\right)=\frac{1}{2} \sum_{i \in \text { Figures }} \sum_{j \in \text { Figures }}\left.\|\vec{a}_{i, j}-\vec{b}_{i, j}\right.\|$

表 3 最終図形配置パタンの頻度

図 5 図形配置間距離の計算に用いる, レイアウト $L_{A}$ と $L_{B}$ の間で定義される二図形間の距離

$L_{A}, L_{B}$ は作業者 $\mathrm{A}, \mathrm{B}$ が作成したレイアウト, Figures は一つのレイアウトに含まれる全図形 の集合， $a_{i, j}$ および $b_{i, j}$ は， $L_{A}$ および $L_{B}$ に含まれる二つの図形, $i$ と $j$ (例えば，図 5 の図形 1 と図形 2）を結ぶベクトルを表す。図 5 に，二図形間の距離 $\left(\left.\|\vec{a}_{i, j}-\vec{b}_{i, j}\right.\|\right)$ の例を示す.これ らのべクトルの差の距離をレイアウトに含まれる全ての図形の組み合わせに対して足し合わせ たものが図形配置間距離であり，図形配置間距離の值が小さいほど，共通基盤の構築が進んで いることを表す。この図形配置間距離に基づいて，対話内の各タイムステップにおける共通基盤が構築されている度合いを定量的に評価することができる。対話のある時点において図形配置間距離を計算する際には，その時点に最も近いタイムスタンプの $L_{A}$ および $L_{B}$ （各作業者が その時点までに行った全操作を反映したレイアウト）を利用する。なお，本尺度の他に，ユー ザ間で同一の図形間の距離（例えば，作業者 $\mathrm{A}$ の図形 1 と作業者 $\mathrm{B}$ の図形 1 の距離）を足し合 わせるという尺度を検討したが，原点ずれの場合において距離が小さくならないという問題が あったため，採用しなかった。

図 6 に，対話中の図形配置間距離（共通基盤構築の度合い）の遷移を示す。横軸は対話の進行度を表しており，1回の発話，または，同じ図形を複数回連続して動かす操作を1タイムステッ プとした6．各ステップにおける図形配置間距離をプロットする際には，線形補完を用いて，全

図 6 対話における図形配置間距離（共通基盤構築の度合い）の遷移、ステップ数は対話の進行度を表し ており，0 は対話の開始時点, 50 は対話の終了時点を表す.

ての対話のタイムステップ数を 50 に正規化した。課題終了時（タイムステップが 50 の時点）の 図形配置間距離は成功，中間，失敗の順に高くなっており，我々の定義通りに共通基盤が構築 されている度合いを定量化できることが確認できる。また, 図形配置間距離の変化と発話を目視で確認したところ，発話単位でずれが生じていることはなかった. このことにより，ずれは 本研究におけるスコアの計算結果に影響は与えないと考えている.

定義した図形配置間距離に基づいて，共通基盤構築の典型的な過程を明らかにするために， k-means に基づく時系列クラスタリング手法である k-Shape (Paparrizos and Gravano 2015)を 使用して図形配置間距離の系列をクラスタリングした。具体的には，共同図形配置コーパスに 含まれる全 984 対話（すなわち，984 個の図形配置間距離の系列）に対して, k-Shape を適用す ることで，図形配置間距離の系列における典型的なクラスタを調査した.

図 7 に，図形配置間距離に対して時系列クラスタリングを適用した結果を示す。各クラスタ の図において，X 軸はタイムステップ，Y 軸は $\mathrm{z}$ 正規化した図形配置間距離を表す。クラスタ 数は 5 に設定されており, 理由として，クラスタ数を 6 以上にした場合, 類似のクラスタが出現し, また, 4 以下にした場合, 複数の特徴が混じり合ったようなクラスタが構成されたためで ある。各クラス夕 $(\mathrm{C} 1-5)$ の対話数の比率は, それぞれ $29 \%, 28 \%, 24 \%, 12 \%, 7 \%$ あっった.

各クラスタの傾向を明らかにするために, クラスタごとに 10 対話をサンプリングし, 著者ら で傾向を分析した。クラスタ 1 は, 対話を通じて一貫して図形配置間距離が減少しており, 共通基盤が終始滞りなく構築されている対話のクラスタである. クラスタ 1 に含まれる対話とし て，例えば，対話の序盤で目標が決定され，目標に従って図形を順に配置していくことで図形配置間距離が順調に低下している対話が見られた. クラスタ 2-4 は, 対話の中盤まで図形配置間距離が減少しておらず，共通基盤構築が停滞する期間を含む対話のクラスタである。特徴は 共通基盤の構築が進み始めるタイムステップが異なっている点であり, それぞれタイムステッ

プがおよそ $15 ， 25 ， 35$ の時点から進み始めている。またその他の特徴として，クラスタ 4 にお いて，作業者が図形をグルーピングし，グループごとに図形の配置を合わせる対話が含まれて いた．作業者が図形をグルーピングし，グループごとに作業を行ったことで，終盤まで図形配置間距離が減少しなかったと考えられる。クラスタ 5 は最終図形配置パタンの完全不一致に相当しており，共通基盤がうまく構築されていない対話のクラスタである. クラスタ 5 に含まれ る対話としては，例えば，位置の確認を怠った対話や，最終的なレイアウトの目標の認識に齯䶣がある対話（具体的には「斜めに配置」という目標を一方の作業者は「右下がり」と理解し,他方の作業者は「左下がり」と理解して作業を進めた対話）が見られた.

表 4 に，共同図形配置課題の成否と，図 7 で示した共通基盤構築過程クラスタリング結果と の対応関係を示す。表中の各数値は，各クラスタにおける課題の成否（成功，中間，失敗）の 割合を表す（列方向に値を足すと $100 \%$ となる），クラスタ 1-3では，成功と中間の割合が多く，共通基盤の構築に成功した対話が含まれていることが確認できる. クラスタ 1 とクラスタ 2 を 比較すると，クラス夕 2 の方が成功の比率が多く，課題に成功するために必ずしもクラスタ 1 のような共通基盤構築の過程を経る必要はない（図形配置間距離が停滞する期間があってもよ

図 7 共通基盤の構築過程をクラスタリングした結果 (C1-C5)

表 4 共同図形配置課題の成否（成功，中間，失敗）と, 図 7 で示した共通基盤構築過程クラスタリング 結果 $(\mathrm{C} 1-\mathrm{C} 5)$ との対応関係

い）と考えられる。一方，クラスタ 4,5 には，失敗に対応する完全不一致が多く含まれており，共通基盤の構築に失敗した対話が含まれていることが確認できる。これらの結果から，成功の 対話では，比較的早い段階から共通基盤が構築され始め，対話が終わる頃には十分な共通基盤 が構築されている傾向があると考えられる。失敗の対話では，対話の後半から共通基盤が構築 され始め課題終了までに十分な水準に達しなかったり，対話全体を通して共通基盤を構築でき ないという傾向があると考えられる。

## 4.3 共通基盤構築過程と対話の分析

定義した最終図形配置パタン，および，図形配置間距離に基づき，共通基盤の構築に成功し た対話と失敗した対話に出現する言語表現や対話の特徴を調查し，どのような言語表現や特徴 を持った対話を実現することが共通基盤構築において重要なのかを調査した。これらの言語現象や対話の特徴は，ユーザと共通基盤を構築可能な対話システムを構築するための有用な知見 となると考えられる。

調查方法として，まず，言語表現を調査するために，収集された対話を先に述べた 3 種類の 課題の成否 (成功, 中間, 失敗) に基づいて分け, それぞれの対話において頻繁に出現する言語表現と対話行為を調査した。また，対話の特徴を調査するために，それぞれの対話における対話行為の遷移を隠れマルコフモデル (Hidden Markov Model; HMM) を用いてモデル化し, 対話 の大局的な構造や，どの遷移が特に共通基盤の構築に有効であるかを図形配置間距離に基づき 調查した。

表 5 に，対話の中で統計的に有意な上位 10 個の言語表現を示す. 各表現は述語相当表現（動詞はまた形容詞を含む文節) を表しており，表現の抽出には，日本語形態素解析器 JTAG (Fuchi

表 5 課題の成否で分類した各対話において統計的に有意に出現する上位 10 個の言語表現. “**”は $p<.01$, “*”は $p<.05$ を表す.
and Takagi 1998)を使用した。検定手法としてフィッシャーの正確確率検定を利用し， $p$ 値を 用いて昇順に表現をランキングすることで，三種類の対話のいずれかの対話において有意に出現頻度が高い表現を列挙した。この表から，成功では，「良いと」などの肯定的な評価や，「し ましょう」，「できました」などの図形操作に関する表現が多く出現していることが分かる。ま た，中間では，「いいですね」のような肯定的な表現が出現しているものの，「しました」，「置き ました」などの図形操作を示す表現がより多く見られる。一方，失敗では，肯定的な評価や図形操作に関する表現は見られず，「どうしますか」や「眺めている」など，意図が曖昧な表現 が多く見られた。これらの結果から，対話において自身の理解や行動を伝えるための評価表現，共感, 具体的指示が出現している場合，共通基盤が構築できている傾向にあると考えられる.

表 6 に，課題の成否で分類した各対話において統計的に有意に出現する上位 5 つ対話行為 を示す. 対話行為として, Meguro et al. (2011)が提案したラベルセットを利用し, 各発話に対 して自動的にラベルを付与することで検定を行った．推定精度は $45 \%$, 人手のアノテータ間の 単純一致は $59 \%$ と報告されており (Higashinaka et al. 2014), 得られる推定結果は妥当と考えら れる。ラベルセットには， 33 種類（例：自己開示：話者の好みや感情の開示, 情報提供：客観的情報の伝達，共感・同意：共感的な発話や賞賛）の対話行為が定義されている．ラベルの推定 には Higashinaka et al. (2014) において学習されたサポートベクトルマシンに基づく分類器を利用した。また，表 5 と同様に，フィッシャーの正確確率検定を利用した。この表から，成功で は，ポジティブな評価を表す自己開示，感謝，共感など，相手を肯定する表現が多く出現して いることが確認できる。成功と同様に，中間でも共感を示す表現が多く出現しており，また,評価に関する質問が多く出現している。失敗では，情報提供や挨拶など，成功や中間とは異な る対話行為が多く見受けられる。評価に関連する表現も出現するが，その内容はネガティブな ものである。これらの結果から，表 5 に示した言語表現の結果同様，対話において肯定的な評価や話者の理解を伝える共感，同意を示す発話が出現している場合，共通基盤が構築できてい る傾向にあると考えられる。

上記で述べた言語表現の調査では, 述語や対話行為などの言語現象のみに焦点を当ててきた.

表 6 課題の成否で分類した各対話において統計的に有意に出現する上位 5 の対話行為. “**” は $p<.01$, “*”は $p<.05$ を表す.

さらなる調査として，言語現象（以降，対話行為を対象とする）と図形配置間距離の双方の遷移を組み合わせて分析することで，対話の大局的な構造と共通基盤構築の関係性や，どのよう な対話行為が共通基盤構築に大きく寄与するかを定量的に明らかにできる可能性がある。この ために，対話行為の遷移をモデル化する手法として，状態数が未知の系列における構造を学習 する手法である HMM を利用し，対話のモデル化を行った (Rabiner and Juang 1986). 実装と して，HMM の学習と推論が可能なライブラリである HMMlearn 7 を使用した. HMM の学習方法は， Meguro et al. (2014) に準じ，具体的には，エルゴード HMM（遷移先の次の状態から前 の状態にも戻ることができる HMM）における半数の状態集合から特定の話者（例えば話者 A） の対話行為のみを出力し, 残りの半数の状態集合から他方の話者（例えば話者 B）の対話行為 を出力するよう初期化し, 学習を行った. このとき, 状態数は 1 ～ 10 とし, 各状態数において 10 個の HMM を学習することで，計 100 個の HMM を作成した。作成した HMM から，最適な HMM を Minimum Description Length (MDL) 基準で選択することで，対話の最終的なモデル を決定した。

図 8 に，成功における対話，および，失敗における対話に含まれる対話行為の系列から学習 された HMM を示す。なお, 中間は成功と同様の HMM が構築されたため省略している。各状態において, 'A'と 'B'は二名の話者を表しており，また，該当話者による対話行為のうち観測確率の高いもの（観測確率が 0.1 以上のもの）が列挙されている. 状態間のエッジに付与され ている 'p'は遷移確率を表し, 辺の太さに相当する。また, 'd’'は遷移における図形配置間距離 の差の平均を表しており，下記の式で定義される，隣接する二つの状態に含まれる各対話行為 のペアにおける図形配置間距離の差を出現確率で重み付けして計算した値である.

$
d\left(s_{i}, s_{j}\right)=\sum_{o_{k} \in s_{i}} \sum_{o_{l} \in s_{j}} p\left(o_{k} \mid s_{i}\right) p\left(o_{l} \mid s_{j}\right) f\left(o_{k}, o_{l}\right)
$

$s_{i}$ は HMM モデルの状態 $i, o_{k}$ は各状態における観測である対話行為, $p\left(o_{k} \mid s_{i}\right)$ は状態 $s_{i}$ におけ る対話行為 $o_{k}$ の観測確率を表す。また, $f\left(o_{k}, o_{l}\right)$ は共同図形配置コーパス全体において, 対話行為が $o_{k}$ と分類された発話の直後に, 対話行為 $o_{l}$ の発話が出現したときの, 図形配置間距離の 平均変化量を表す。すなわち, あるエッジの 'd'（図形配置間距離の差）が小さい値（負の値） である程，そのエッジで遷移する二つの状態の間で共通基盤の構築が進んでいることを示す.

二つの HMM から，これらの対話の構造は全く異なるものであり，失敗の対話よりも成功の 対話の方が複雑な構造を持つという傾向が確認できる。二つの HMM の間で共通する構造とし て，挨拶に関する状態のペア（両 HMM の状態 1 と状態 2 )，および，情報・共感に関する状態 のペア（両 HMM の状態 3 と状態 4）が見られる。 すなわち，基本的にはどちらの対話もお互い による挨拶から始まり，その後，互いの情報提供に進むと考えられる。また，二つの HMM の

対話の結果が成功の場合のHMMモデル

図 8 対話行為の系列から学習された HMM モデル. 左側は課題の結果が成功の対話, 右側は課題の結果 が失敗の対話に対応する。 'A'と 'B' は二名の話者を表し，エッジ上の ' $\mathrm{p}$ ' は遷移確率，'d'は図形配置間距離の差分（平均值）を表している。エッジは遷移確率 'p’が高いほど太くなっている。ま た, 図形配置間距離の差分 ' $\mathrm{d}$ ' の値が小さい値（負の値）である程, 共通基盤の構築が進んでいる ことを表す.

間で異なる構造として, 共感・同意やポジティブな評価の自己開示に関する状態のペア（成功 の場合の HMM における状態 5 と状態 6）は, 成功の対話のみに見られ, 失敗の対話には見ら れない.エッジ上の' $\mathrm{d}$ ’の値（共通基盤構築の進渉を表すもの）に着目すると, この共感・同意 やポジティブな評価の自己開示のペアの間のエッジが最も小さい值 $(-0.15)$ になっており, 特

に共通基盤の構築が進んでいるとみなせる.

ここまで述べてきた三種類の分析（頻出する述語の分析，頻出する対話行為の分析，対話行為と図形配置間距離を用いたモデル化）の結果をまとめる。共同図形配置課題において共通基盤の構築に成功した対話では，共感や同意の発話，および，評価に関する自己開示の発話が多 く出現する傾向が見られた。これらの発話を通じて，作業者が自身の理解を伝えたり，相手の 発話や配置に対する肯定的な評価を伝えたりする言語表現が見られた．特に，共感や同意の発話を伝える際に，図形配置間距離が最も低下する（共通基盤の構築が進む）傾向があることか ら，これらの発話を行っている場合，共通基盤が構築できている傾向にあると考えられる。

## 5 図形配置間距離の推定

ユーザと共通基盤を構築可能な対話システムの実現の第一歩として，作業者の間で構築され た共通基盤の程度を自動で推定する問題に取り組む. ユーザと共同作業を行うことができる対話システムは，過去の対話，および，自身の課題の状況に基づいて，ユーザとの間でどの程度共通基盤が構築できているかを把握しながら課題を遂行することが望ましい.したがって本研究では, 最も基本的な問題として, 対話と一方の作業者のレイアウトのみを入力とし, 図形配置間距離で表される共通基盤構築の度合いを推定する問題に取り組む. 具体的には, 対話中の あるタイムステップ $i$ において, 対話文脈が $\mathrm{U}_{1} \sim \mathrm{U}_{i}$ の発話, $\mathrm{U}_{i}$ の話者が作業者 $\mathrm{A}$ （もう一方 の作業者は B）であるとする。このとき，対話文脈 $\mathrm{U}_{1} \sim \mathrm{U}_{i}$, および， $\mathrm{A}$ のレイアウト $\mathrm{L}_{A, i}$ が与 えられたとき，夕イムステップ $i$ における図形配置間距離 $i_{i}$ を，B のレイアウト $L_{B}$ に関する情報なしに推定するというものである。なお, 入力として対話はタイムステップ $i$ までの全ての 発話を利用するが，画像についてはタイムステップ $i$ の画像のみを利用する。

## 5.1 モデルとデータセットの作成

図 9 に, 対話と一方の作業者のレイアウトのみから図形配置間距離を推定するモデルを示す.本研究では，テキストおよび画像に関する事前学習済みモデルに基づいて，対話とレイアウトの 両方を考慮して目的の出力を得るモデルを採用した (Soleymani et al. 2019). 事前学習済みモデ ルとして, 多様な問題に汎用的に適用できることを期待し, 対話からの特徴量抽出には BERT (Bidirectional Encoder Representations from Transformers) (Devlin et al. 2019)を利用し，レイア ウトからの特徵量抽出には ResNet (Residual Network) (He et al. 2016)を使用した. Soleymani et al. (2019) が提案したモデル同様, 対話とレイアウトについて, 事前学習済みモデルから得 られた特徴量を結合し, 結合層を通じて混合べクトルを作成し, 再度結合層に入力することで,最終的に図形配置間距離（共通基盤構築の度合い）を示すスカラー值を出力するようにした.

実験設定として，収集した全 984 対話を $8: 1: 1$ (それぞれ，学習セット，開発セット，テス

図 9 対話と一方の作業者のレイアウトのみから図形配置間距離を推定するモデル (Dialogue+Layout). レイアウトは，話者 $\mathrm{X}$ が $\mathrm{U}_{i}$ を発話した時点のものである，FC は完全連結層を表す。

トセット）に分割した。このとき，同じ作業者ぺアが実施した対話がいずれかのセットのみに 含まれるようデータを分割した，入出力を作成する際の手順を述べる，入力については，一つ 目の入力として, 対話の先頭の発話 $U_{1}$ からある発話 $U_{i}$ までの文脈を取得する（図 9 左上の対話に対応).二つ目の入力として, $\mathrm{U}_{i}$ が発話された時点での $\mathrm{U}_{i}$ の話者のレイアウトを取得する (図 9 左下の配置画像に対応). 出力については, $\mathrm{U}_{i}$ が発話された時点での図形配置間距離を計算する（図9右の図形配置間距離に対応）。このとき, 図形配置間距離は min-max 正規化を用い て０から１の値に正規化した。学習済みモデルとして， huggingface/transformerにおける，日本語用の BERT-base のモデルを利用し8，また， torchvision における ResNet-18 のモデルを利用した9. モデルを学習する際には損失関数として平均二乗誤差 (MSE) を利用し, 最適化器と して Adam (Kingma and Ba 2015) を用いて，学習率を $2 \mathrm{e}-5$ に設定して学習を実施した。

モデルが利用する対話とレイアウトの情報の有効性を調査するために, 5 種類のモデル (ConstBaseline, Mean-Baseline, Dialogue, Layout, Dialogue+Layout) を用意した. Const-Baseline は,一定値（学習セットにおける図形配置間距離の平均値）を出力するべースラインである. MeanBaseline は, 学習セットにおいて正規化した各ステップにおける平均値を出力するべースライ ンである．Dialogue，および， Layout は，対話またはレイアウトの一方のみを入力とするモデ ルである. Dialogue+Layout は，図 9 で示した対話とレイアウトの両方の情報を考慮したモデ ルである.

## 5.2 評価結果

表 7 に, 対話とレイアウトから推定した図形配置間距離の MSEを示す. Steel-Dwassの多重比

表 7 与えられた対話とレイアウトから推定された図形配置間距離と真の図形配置間距離の平均二乗誤差 (MSE)，添え字は，Steel-Dwass の多重比較において，添字が付与されているスコアが添字のモデ ルのスコアより有意に良い $(p<.05)$ ことを示す.

較 (Dwass 1960) において, Dialogue+Layout の MSEが有意に最も小さく $(p<.05)$, 対話とレ イアウトの双方を考慮したモデルの有効性が確認できた. Dialogue+Layout に比べ, Dialogue, および，Layoutの性能が低くなっている。これは，対話の内容とレイアウトの双方の情報に基 づいて推定を行うことで，対話やレイアウト等の単一の情報のみで推定を行うよりも，共通基盤の構築が進んだか否かをより正確に推定できることを示す。この結果から，共通基盤が構築 された程度を推定しながらユーザと共同図形配置課題を行う対話システムを構築するにあたっ て, 本研究で収集した共通基盤の構築過程（対話とレイアウトの情報）が有用であると考えら れる。また, Layout は Mean-Baseline よりも有意に性能が低く, レイアウトの情報のみから図形配置間距離の推定を行うことは難しいことが確認できる。なお, データセットを異なるラン ダムシードで再度分割し実験を行ったところ, 同様の結果が得られることを確認した。

以降，誤り分析として，推定が適切または適切でない対話の特徵，および，その要因を考察 する。これらの対話に共通する特徴を調査するにあたって, Dialogue+Layout における MSEが 最大となった対話，および，最小となった対話を計 10 対話ずつ（図中の 4 対話を含む）を抽出 し，著者らが人手で対話と各作業者のレイアウトを確認した。

図 10 に，図形配置間距離の推定値と真の値を対話ごとにプロットした図を示す。また, 図 11 に，図 10 に対応する各対話を示す。各プロット上の番号はコーパス中の対話の IDを示す. 図 10 と図 11 において, 左の 2 対話はモデル (Dialogue+Layout) の推定値と真の値の MSE が最小の もの（推定が適切に行えたもの）を表し，右の 2 対話は MSEが最大のもの（推定が適切に行え なかったもの）を表す.

各対話について概略を述べると，MSEが最小となった一つ目の対話 “73-2”では，具体的な 図形配置を指示する表現とそれを承認する表現が少ない。そのため, 図形配置間距離が十分に 低下しないという過程をモデルが正しく推定できていたと考えられる．MSEが最小となった二 つ目の対話 “137-1”では，具体的な指示とその承認が頻出している。 すなわち，図形が規則的 に配置されていく過程を対話とレイアウトに基づきモデルが正しく推定できたと考えられる.

図 10 図形配置間距離の推定値と真の値の対話ごとのプロット. 左の 2 対話はモデル (Dialogue+Layout) の推定値と真の値の MSE が最小のもの（推定が適切に行えたもの）を表し，右の 2 対話は MSE が最大のもの（推定が適切に行えなかったもの）を表す.

MSEが最小の2対話

$137-1$

A05: 平行四辺形を胴体に見立てて、鳥のように配置するのはどうでしょう か

B06: いいですね

A07: ありがとうございます！右上頂点に丸を置くと、頭のようにみえない ですか?

B08: 見えます

B09: 三角がくちばしとかですか？ A10:〈ちばしか、頭と反対側につけ て尾羽にしてもいいかな、とおもって いました

B15: むしろ平行をくちばしにすると、 アヒルみたいに見えてきます

図 11 図 10 に対応する各対話の抜䊀

対話例に示した“73-2”と“137-1” の発話を比較すると, “137-1”の対話の方が各発話の内容が 具体的であることが確認できる。MSE が最大となった対話は, 図 7 で示した図形配置間距離の クラスタリング結果におけるクラスタ 4 に見られるような, 図形をグルーピングし作業を行う 対話であった，具体的には，MSEが最大となった一つ目の対話 “125-3”では，図形をグループ （目，鼻，口など）に分け，個々のグループでレイアウトを合わせるものの，最後までグループ 間のレイアウトに䶡踣が生じており，その䶡龆を推定することができていなかったと考えられ る（具体的には，右目と左目の図形全体が入れ替わっていた）ＭSEが最大となった二つ目の 対話 “131-4” では，同様にグループ分けを行ってグループ内のレイアウトを決定し，最後にグ ループ間のレイアウト（発話 “B19” で言及されている空港等の位置）を合わせていた。そのた め, “131-4” 同様に, これらのグループごとの基盤化の過程を捉えることができず，推定が正し く行えなかったと考えられる。
以上の図形配置間距離の推定, および, その誤り分析の結果から, 傾向として, 図形配置間距離の推定が適切な対話では，作業者が図形を一つずつ順に最終位置に移動させている過程が 見られ，推定が適切でない対話では，作業者が図形をグルーピングし，グループごとに作業を 行っている過程が見られた。図形の位置を一つずつ順に確定させる対話では，対話において理解を示す肯定的な評価や共感の評価が出現したり，レイアウトにおいて図形の配置が規則的（例 えば，一直線の配置や隣接した配置）になることで，モデルが図形配置間距離の低下を適切に 推定できたと考えられる。一方で, 作業者が図形をグルーピングしながら作業を行う対話では, グループ内のレイアウトを一致させた後にグループ間のレイアウトを合わせる複雑な基盤化の 過程が見られた。その結果，モデルが基盤化の過程を捉えることができず，図形配置間距離の 推定が適切に行えなかったと考えられる，今後の課題として，図形単体のみならず，複数の図形をグループ化した集合を対象として，言語と共に共通基盤を扱う枠組みを検討する必要があ ると考えられる。

## 6 おわりに

本研究では, 共同作業を行う対話における共通基盤の構築過程を明らかにするために, 二名の 作業者が対話を通じて共通のレイアウトに図形を配置する共同図形配置課題を提案した。共同図形配置課題において, 二名の作業者のレイアウトにおける図形配置の共通部分をその時点の 共通基盤に相当するものとし，対話中の共通基盤が構築される過程を自動的に記録する。コー パスとして，共同図形配置課題を行った対話を 984 対話収集した。収集したデー夕を調査した 結果，課題の結果として7つの最終図形配置パタンを発見した. この最終図形配置パタンに基 づいて，共通基盤を定量化する方法として図形配置間距離を導入した。この図形配置間距離の 遷移に対して時系列クラスタリングを行った結果，共通基盤の構築過程にいくつかのパタンが 見られた. また, 課題達成につながる言語現象を対話と図形配置間距離の観点から分析した. その結果, 肯定的な評価や共感が対話中に出現している場合, 共通基盤が構築できている傾向 にあると考えられる。また，対話とレイアウトの情報を入力として図形配置間距離を推定する 問題に取り組み，対話とレイアウトの双方の情報が推定に有用であることを確認した.

今後は, 共通基盤を扱う上で対話システムが相手の信念を推定できることが重要であるため,対話から次のレイアウト変更の操作を予想する問題に取り組む．最終的には，レイアウト変更 や図形配置間距離の推定器を対話システムに組み込むことで，ユーザと共に共同図形配置課題 を達成可能なシステムを確立したい，そのためには，ユーザと共に OneCommon を達成するシ ステムが参考になると考えられる (Fried et al. 2021). このとき， 5 節で述べたグループ化され た図形を適切に扱えるよう，言語とグループ化された図形を紐付けて扱う手法を確立すること も重要な課題である (齋藤 他 2022). 図形の配置画像を入力とし, 図形配置間距離を推定する

モデル (Layout) が手掛かりとする情報の考察も行いたい.

本研究では, 図形配置間距離が課題の成功, 中間, 失敗を反映できていることで正当性を確認 したが，本数値と共通基盤に関する心象との相関を確認することで，さらなる検証が可能と考 えている。本研究では, 対話内容の分析にフィッシャーの正確確率検定を利用したが, 今後は 線形回帰・分類等で特徴量の重みの分析も行いたい. 本研究と関連の深い研究として共通基盤 を扱った Bara et al. (2021) と本研究を比較すると, 本論文で述べた課題は実際的ではないと考 えられる。今後, より実際の共同作業に近い課題に取り組むことも重要である。また，本研究 ではテキストを介した対話のみを対象にしたが，音声や映像といったマルチモーダルな情報を 介する対話における共通基盤の構築過程を明らかにすることも重要な課題である (Furuya et al. 2022).

本研究で扱った課題は, 対話を通じて話者の理解を一致させるという一般的な過程を含んで おり，明らかになった共通基盤構築の過程は他の課題にも適用できると考えている。具体的に は，作業者が対話を通じ共同で課題を達成する状況，かつ，作業者が課題を独立に行い，その 課題の状態の定量化が可能なもの（例えば，グラフィカルな要素を含むもの）であれば，作業者間での課題の状態の一致度を定義することができるため, 本論文のデータ収集手法, および,分析手法が適用できると考えられる。今後, 他の課題でも同様の調査を実施し, 本研究で得ら れた知見の一般性を検証していきたい.

## 謝 辞

本論文の一部は, The 13th Language Resources and Evaluation Conference (LREC2022) で発表したものです (Mitsuda et al. 2022).

## 参考文献

Anderson, A. H., Bader, M., Bard, E. G., Boyle, E., Doherty, G., Garrod, S., Isard, S., Kowtko, J., McAllister, J., Miller, J., Sotillo, C., Thompson, H. S., and Weinert, R. (1991). "The HCRC Map Task Corpus." Computational Linguistics, 34 (4), pp. 351-366.

Bara, C.-P., CH-Wang, S., and Chai, J. (2021). "MindCraft: Theory of Mind Modeling for Situated Dialogue in Collaborative Tasks." In Proceedings of EMNLP, pp. 1112-1125.

Bard, E. G., Anderson, A. H., Sotillo, C., Doherty-Sneddon, M. A. G., and Newlands, A. (2000). "Controlling the Intelligibility of Referring Expressions in Dialogue." Journal of Memory and Language, 42, pp. 1-22.

Benotti, L. and Blackburn, P. (2021). "Grounding as a Collaborative Process." In Proceedings of $E A C L$, pp. 515-531.

Carletta, J., Isard, A., Isard, S., Kowtko, J. C., Doherty-Sneddon, G., and Anderson, A. H. (1991). "The Reliability of Dialogue Structure Coding Scheme." Language and Speech, 23 (1), pp. 13-32.

Chai, J. Y., Fang, R., Liu, C., and She, L. (2017). "Collaborative Language Grounding Toward Situated Human-Robot Dialogue." AI Magazine, 37 (4), pp. 32-45.

Chandu, K. R., Bisk, Y., and Black, A. W. (2021). "Grounding 'Grounding' in NLP." In Findings of $A C L-I J C N L P$, pp. 4283-4305.

Clark, H. H. and Schaefer, E. F. (1989). "Contributing to Discourse." Cognitive Science, 13 (2), pp. 259-294.

Clark, H. H. and Wilkes-Gibbs, D. (1986). "Referring as a Collaborative Process." Cognition, 22 (1), pp. 1-39.

de Vries, H., Strub, F., Chandar, S., Pietquin, O., Larochelle, H., and Courville, A. C. (2017). "GuessWhat?! Visual Object Discovery through Multi-modal Dialogue." In Proceedings of CVPR, pp. 5503-5512.

Denis, A. and Striegnitz, K. (2012). "A Collaborative Puzzle Game to Study Situated Dialog." In Proceedings of AAAI, pp. 37-40.

Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. (2019). "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding." In Proceedings of NAACL, pp. 4171-4186.

Dwass, M. (1960). "Some k-Sample Rank-order Tests." Contributions to Probability and Statistics, pp. 198-202.

Foster, M. E., Bard, E. G., Guhe, M., Hill, R. L., Oberlander, J., and Knoll, A. (2008). "The Roles of Haptic-ostensive Referring Expressions in Cooperative, Task-based Human-robot Dialogue." In Proceedings of HRI, pp. 295-302.

Fried, D., Chiu, J., and Klein, D. (2021). "Reference-Centric Models for Grounded Collaborative Dialogue." In Proceedings of EMNLP, pp. 2130-2147.

Fuchi, T. and Takagi, S. (1998). "Japanese Morphological Analyzer using Word Co-occurrence -JTAG-." In Proceedings of COLING, pp. 409-413.

Furuya, Y., Saito, K., Ogura, K., Mitsuda, K., Higashinaka, R., and Takashio, K. (2022). "Dialogue Corpus Construction Considering Modality and Social Relationships in Building Common Ground." In Proceedings of LREC, pp. 4088-4095.

Gero, K. I., Ashktorab, Z., Dugan, C., Pan, Q., Johnson, J., Geyer, W., Ruiz, M., Miller, S.,

Millen, D. R., Campbell, M., Kumaravel, S., and Zhang, W. (2020). "Mental Models of AI Agents in a Cooperative Game Setting." In Proceedings of CHI, pp. 1-12.

Hahn, M., Krantz, J., Batra, D., Parikh, D., Rehg, J. M., Lee, S., and Anderson, P. (2020).

"Where Are You? Localization from Embodied Dialog." In Proceedings of EMNLP, pp. 806-822.

He, H., Balakrishnan, A., Eric, M., and Liang, P. (2017). "Learning Symmetric Collaborative Dialogue Agents with Dynamic Knowledge Graph Embeddings." In Proceedings of $A C L$, pp. 1766-1776.

He, K., Zhang, X., Ren, S., and Sun, J. (2016). "Deep Residual Learning for Image Recognition." In Proceedings of CVPR, pp. 770-778.

Higashinaka, R., Imamura, K., Meguro, T., Miyazaki, C., Kobayashi, N., Sugiyama, H., Hirano, T., Makino, T., and Matsuo, Y. (2014). "Towards an Open Domain Conversational System Fully Based on Natural Language Processing." In Proceedings of COLING, pp. 928-939.

Hough, J. and Schlangen, D. (2017). "It's Not What You Do, It's How You Do It: Grounding Uncertainty for a Simple Robot." In Proceedings of HRI, pp. 1-10.

Ilinykh, N., Zarrieß, S., and Schlangen, D. (2019). "Meet Up! A Corpus of Joint Activity Dialogues in a Visual Environment." In Proceedings of SEMDIAL, pp. 1-10.

Jayannavar, P., Narayan-Chen, A., and Hockenmaier, J. (2020). "Learning to Execute Instructions in a Minecraft Dialogue." In Proceedings of ACL, pp. 2589-2602.

Kim, J.-H., Kitaev, N., Chen, X., Rohrbach, M., Zhang, B.-T., Tian, Y., Batra, D., and Parikh, D. (2019). "CoDraw: Collaborative Drawing as a Testbed for Grounded Goal-driven Communication." In Proceedings of ACL, pp. 6495-6513.

Kingma, D. P. and Ba, J. (2015). "Adam: A Method for Stochastic Optimization." In Proceedings of ICLR, pp. 1-15.

Kopp, S. and Kramer, N. (2021). "Revisiting Human-Agent Communication: The Importance of Joint Co-construction and Understanding Mental States." Frontiers in Psychology, 12.

Lewis, M., Yarats, D., Dauphin, Y. N., Parikh, D., and Batra, D. (2017). "Deal or no Deal? End-to-End Learning for Negotiation Dialogues." In Proceedings of EMNLP, pp. 2443-2453.

Liu, C., Fang, R., and Chai, J. Y. (2012). "Towards Mediating Shared Perceptual Basis in Situated Dialogue." In Proceedings of SIGDIAL, pp. 140-149.

Liu, K., Tree, J. E. F., and Walker, M. (2016). "Coordinating Communication in the Wild: The Artwalk Dialogue Corpus of Pedestrian Navigation and Mobile Referential Communication." In Proceedings of LREC, pp. 3159-3166.

Meguro, T., Higashinaka, R., Minami, Y., and Dohsaka, K. (2011). "Evaluation of Listening-
oriented Dialogue Control Rules based on the Analysis of HMMs." In Proceedings of Interspeech, pp. 809-812.

Meguro, T., Minami, Y., Higashinaka, R., and Dohsaka, K. (2014). "Learning to Control Listening-Oriented Dialogue Using Partially Observable Markov Decision Processes." ACM Transactions on Speech and Language Processing, 10 (4). Article No. 15, pp. 1-20.

Mitsuda, K., Higashinaka, R., Oga, Y., and Yoshida, S. (2022). "Dialogue Collection for Recording the Process of Building Common Ground in a Collaborative Task." In Proceedings of LREC, pp. 5749-5758.

Moratz, R. and Tenbrink, T. (2006). "Spatial Reference in Linguistic Human-Robot Interaction: Iterative, Empirically Supported Development of a Model of Projective Relations." Spatial Cognition 8 Computation, 6 (1), pp. 63-107.

中野幹生 (2019). 対話システムにおける基盤化処理. 言語・音声理解と対話処理研究会 SIG-

SLUD-B901-01, pp. 1-4. [M. Nakano (2019). Grounding in Dialogue Systems. JSAI Technical Report, SIGSLUD-B901-01, pp. 1-4.].

Paparrizos, J. and Gravano, L. (2015). "k-Shape: Efficient and Accurate Clustering of Time Series." In Proceedings of SIGMOD, pp. 1855-1870.

Polyak, S. and Davier, A. V. (2017). "Analyzing Game-Based Collaborative Problem Solving with Computational Psychometrics." In Proceedings of SIGKDD, pp. 1-14.

Rabiner, L. and Juang, B. (1986). "An Introduction to Hidden Markov Models." IEEE ASSP Magazine, 3 (1), pp. 4-16.

齋藤結, 光田航, 東中竜一郎, 南泰浩 (2022). 対話での共通基盤構築過程における名付けの分析.言語処理学会第 28 回年次大会発表論文集, pp. 38-42. [Y. Saito et al. (2022). Taiwa deno Kyotsu Kiban Kouchiku Katei ni okeru Nazuke no Bunseki. Proceedings of the 28th Annual Meeting of the Association for Natural Language Processing, pp. 38-42.].

Soleymani, M., Stefanov, K., Kang, S.-H., Ondras, J., and Gratch, J. (2019). "Multimodal Analysis and Estimation of Intimate Self-disclosure." In Proceedings of ICMI, pp. 59-68.

Spanger, P., Yasuhara, M., Iida, R., and Tokunaga, T. (2009). "Using Extra Linguistic Information for Generating Demonstrative Pronouns in a Situated Collaboration Task." In Proceedings of preCogsci, pp. 1-8.

Tokunaga, T., Iida, R., Terai, A., and Kuriyama, N. (2012). "The REX Corpora: A Collection of Multimodal Corpora of Referring Expressions in Collaborative Problem Solving Dialogues." In Proceedings of LREC, pp. 422-429.

Traum, D. R. (1994). "A Computational Theory of Grounding in Natural Language Conversation." Tech. rep., Rochester Univ NY Dept of Computer Science.

Udagawa, T. and Aizawa, A. (2019). "A Natural Language Corpus of Common Grounding under Continuous and Partially-Observable Context." In Proceedings of AAAI, pp. 7120-7127.

Udagawa, T. and Aizawa, A. (2020). "An Annotated Corpus of Reference Resolution for Interpreting Common Grounding." In Proceedings of AAAI, pp. 9081-9089.

Van Waveren, S., Carter, E. J., and Leite, I. (2019). "Take One For the Team: The Effects of Error Severity in Collaborative Tasks with Social Robots." In Proceedings of IVA, pp. 151-158.

## 略歴

光田 航：2013 年東京工業大学情報工学科卒業. 2015 年同大学大学院情報理工学研究科修士課程修了. 2021 年筑波大学大学院システム情報工学研究科博士課程修了. 2015 年から 2023 年まで日本電信電話株式会社研究員. 2023 年 より rinna 株式会社 Applied Scientist. 自然言語処理, 対話システムの研究開発に従事. 言語処理学会会員. 博士 (工学).

東中竜一郎：2001 年慶應義塾大学大学院政策・メディア研究科修士課程, 2008 年博士課程修了. 2001 年日本電信電話株式会社入社. 2020 年より, 名古屋大学大学院情報学研究科教授. NTT 人間情報研究所客員上席特別研究員. 慶應義塾大学環境情報学部特別招聘教授. 2004 年から 2006 年まで英国シェフィール ド大学客員研究員. 質問応答システム・対話システムの研究に従事. 人工知能学会, 言語処理学会, 情報処理学会, 電子情報通学会各会員. 博士 (学術).

大賀 悠平: 2020 年千葉大学情報画像学科卒業. 2022 年筑波大学大学院システ 么情報工学研究科修士課程修了. 2022 年日本電信電話株式会社入社. 自然言語処理, 文書画像処理に関する研究開発に従事.

吉田仙：1995 年東北大学大学院情報科学研究科博士前期課程修了. 1995 年 から 2022 年まで日本電信電話株式会社, 2003 年から 2007 年まで西日本電信電話株式会社. 2022 年より株式会社三菱ケミカルホールディングス（現：三菱ケミカルグループ株式会社)，現在，自然言語処理の応用業務に従事．情報処理学会, 人工知能学会各会員.

(2022 年 12 月 23 日 受付)

(2023 年 4 月 8 日 再受付)

(2023 年 5 月 11 日 採録)

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/