# 学会記事
## 翻訳と機械翻訳：年次大会のテーマセッションを通じての知見

\author{
藤田篤 $\dagger \cdot$ 山田優 $\dagger \dagger \cdot$ 影浦峡
}

本稿では, 我々が本学会第 22 回年次大会（2016 年 3 月開催）から第 26 回年次大会（2020 年 3 月開催）まで 5 回にわたって企画したテーマセッション（表 1）を振り返り, 現時点までに得 られた知見について述べる。一部の詳細については, 過去の報告 (山田，藤田，影浦 2016; 藤田, 山田 2017; 影浦 2017; 藤田, 山田, 影浦 2019) や最近の解説 (影浦 2019,2020a, 2020b) も 併せて参照されたい.

## 1 企画の動機

2015 年 7 月に開催された日本通訳翻訳学会関西支部の例会における藤田と山田の邂逅がきっ かけであった。この例会のテーマは大学における翻訳教育であり，翻訳研究（翻訳という行為 の理論化，その実践，教育方法を扱う）を専門とする山田のホームグラウンドである。藤田の 専門は自然言語処理 (NLP) であるが, 翻訳教育の研究を手がける修士学生の研究指導（外部副査）に必要な情報収集のため，偶然この例会に参加していた。背景を異にする 2 名の「一緒に 何かやってみよう」という立ち話から，本企画に繋がる議論が始まった。

当時，NLPの各タスクにおける深層学習の導入が活発化していた。機械翻訳 (MT) について は, 注意機構 (Bahdanau, Cho, and Bengio 2015)の導入によってニューラル MT (NMT) の翻訳品質が大幅に向上しつつあった。一方，実務翻訳においては，翻訳支援ツール上に搭載され る形で，単言語テキストデータからの用語抽出，対訳テキストデータからの対訳辞書構築，対訳テキストデータに基づく二言語コンコーダンサなどの NLP 技術が利用されていた．MT の利用に関しても，少なくとも欧州言語間の翻訳においては句に基づく統計的 MT (PBSMT) によ る翻訳を人間が後編集 (post-edit)する手法が実践されており，その運用基準がある程度定着し ていた（後に国際標準規格 ISO 18587 (ISO/TC27 2017)として策定)。しかしながら，日本国内 の翻訳産業および翻訳教育現場の主題材である日本語と他言語の間の翻訳においては，MTの 利用に関する議論は活発にはなされておらず, べスト・プラクティスも蓄積・共有されていな かった。

翻訳とは，MTが対象としてきた「起点言語の文字列を目標言語の文字列に変換する」とい

表 1 テーマセッションのタイトルと発表件数

う記号処理ではなく，起点言語文書が担う役割を果たす目標言語文書を産出する操作である。 Bar-Hillel (1951) が指摘したように，MTのみで高品質な翻訳を保証することは原理的に不可能である。ただし，人間と計算機の協働を前提にすれば，既存の技術に見られるように， NLP 技術（より一般に情報処理技術）の導入によって作業の効率化，ヒューマンエラーの回避，発想の支援などが期待できる。そこで，翻訳の実務者を呼び込み，技術的なシーズを紹介しつつ， MT を含めた技術に対する潜在的なニーズを顕在化することを目標として掲げ，そのような場 の実現方法として本学会年次大会のテーマセッション (TS) を利用することを決めた。そして，翻訳教育および NLP 技術に加えて翻訳論にも造詣が深く, 2010 年 3 月の情報処理学会第 72 回全国大会における『誰が，何を，いつ，どこで，なぜ，どうやって翻訳するか？』の企画経験 を有する影浦を加えた 3 名で TS の企画を始めた.

## 2 文理の垣根・産学の垣根を取り払う試み

「文理融合」,「産学連携」などの表現で学際的な研究が推奨されてはいるものの, 背景を異に する者たちが互いの成果を享受できるようになるには時間がかかる（不可能かもしれない）そ れでもあえてこれらをキーワードに掲げ，第 1 回の TS『文理・産学を越えた翻訳関連研究』を 企画した. この回には，(a) 学術研究に携わる方々に加え, (b) 翻訳産業におけるコーディネー 夕や翻訳者などの実務者, (c) 大学や職業訓練校において翻訳者の養成に携わる方々も参加し, それぞれの立場での経験や成果が共有された。我々は, これらの発表をふまえて各 2 群間の課題を次のように整理した (山田他 2016; 藤田, 山田 2017). 図 1 も参照されたい.

(a) と (b): 技術の創出と実運用 実務翻訳への応用に関する工学的な産学連携は拡大している が，定型的な技術の適用と MT の利用が主であり，発展の余地がある.

(a) と (c): 技術の教育応用 文理融合・教育工学的アプローチ. 教育の方法論としてのメ夕言語や翻訳演習プラットフォームの開発，それらの実運用と分析・評価が行われている.

(b) と (c): 翻訳産業が求める人材の育成技術の展開は, 翻訳者に求められる力とは何かとい う理論的な問題にまで影響を与えている。大学院レベルでの翻訳者養成コースの設置が

図 1 第 1 回のテーマセッションを通じて見られた 3 つの群とそれらの間の関係

遅れている日本では，翻訳教育カリキュラム全体の設計，翻訳関連技術の位置付けに関 する検討が不可欠である．特に，翻訳者が大学院等の教育現場で教える人材になるため のコンピテンスの整理が喫緊の課題である.

## 3 議論の前提の涵養

同じ言葉で同じ概念を指すことは，議論をする上での大前提である．第 1 回の TSでは用語の 理解をめぐる䶡䶣が複数観察されたが，技術応用の観点，とりわけMT による翻訳効率の改善等を考える上で，担保されるべき翻訳品質についての合意形成は不可欠である。そこで，『翻訳 の質と効率』と題した第 2 回の TS を企画した，我々からは，翻訳品質，金銭的コスト，時間的 コストの 3 指標と「最低限満たすべき品質」という話題を提起した (藤田, 山田 2017). 実務翻訳にかかわる方々からは，現場における翻訳品質保証 (Quality Assurance) のフレームワークや 自動化手法に関する情報が提供された。影浦 (2017) は「翻訳とは何か」を事例を交えて説明し, それに照らして「MT は翻訳ではなくX文Y 訳である」ことを指摘した。第 3 回以降の TS は これらの発表内容の理解を前提として企画したが，はたしてこの前提は正しかっただろうか？

## 4 実務翻訳へのフォーカス

第 3 回，第 4 回の TS は，実務翻訳における実践的な NLP 技術（図 1 の (a)と (b)）に焦点を 当てつつも，引き続き多様な報告を募った。しかしながら，これらの 2 回で紹介された技術・方法は，人間と機械の一方が主導権を握るもの (Hutchins and Somers 1992) に留まっていた.

人間の翻訳を機械的に支援する立場 (Machine-Aided Human Translation; MAHT): 1 節 で挙げた技術, オーサリングツール，翻訳支援ツール，ワークフローマネジメントなど.

MT を人間が活用する立場 (Human-Aided Machine Translation; HAMT)：MT 後編集, その自動化，MT 結果を見ながらの前編集 (pre-edit)など.

第 3 回の TS は, 発表件数, 聴講者数が少なく, 総合討論の時間も設けられなかったため, 実務翻訳における前提や概念の共有が困難であった。そこで第 4 回の TSでは，まず我々から，議論の足場として，実務翻訳に関連する用語とその説明，基本的なワークフローを整理して共有 した (藤田他 2019). 続く一般発表および約 1 時間半の総合討論では, その足場が適宜参照さ れ, 多角的な議論がなされた. ここでは, 有用さの基準, 翻訳産業の内部構造について述べる.

我々は，所与の技術の有用さの基準（あるいは信頼の条件）として，(a) 翻訳者の知識を補う こと，（b) 翻訳者の意思決定を支援すること，の２点を挙げた (藤田他 2019). 現存の MAHT の技術がこれらの基準を満たす一方, HAMT の技術は上記の基準を満たさない. 主導権を握る MTは, 平均的な翻訳品質が高いとしても，X文Y 訳としての品質すら $100 \%$ は保証できないた め，実際には「人がどこまでMTにおもねるか」が問われている，例えばMT 後編集は，MTの 後始末に人間の労力を費やしているともみなせる．MT 前編集への関心も高まっているが，起点言語の言語運用能力に強く依存する点, MT サービスが（予告なく）更新されるごとにノウ ハウが失われる点が懸念されている.

翻訳産業の内部に目を向けると，ハイエンドの翻訳者は少数であり，分厚い中間層と無数の 無法地帯が存在する．なぜ少数しか戦力になれないのか？第 1 回の TS 以来確認されている， (b) 翻訳産業と (c) 翻訳者教育の間の連携は進んでおらず，翻訳者が担っている専門性・コンピ テンスがいまだ継承可能な形式に整理されていない状況が続いているためである．MT 結果が そのまま納品される事態も生じており，翻訳に対する無理解が曼延すると，産業のみならず翻訳 という営みが崩壊する。実際に，MT 結果をそのまま用いることで社会問題が生じている。い くつかの官公庁のウェブサイトにおける翻訳過誤は，行政に対する不信を招き，MTに関する 学術研究の価值を毀損した. 2019 年 10 月に浜松市が発した誤訳の避難勧告は, 危うく人命を 犠牲にするところであった。

## 5 あらためて, 翻訳とは何か?

人命にかかわる翻訳過誤の問題は, 日本翻訳連盟主催の第 29 回翻訳祭（2019 年 10 月開催） においても度々取り上げられ，MTの使用に警鐘が鳴らされた．しかしながら，翻訳祭の参加者の多くは翻訳者であり，MTがX文 Y 訳としての翻訳品質すらも保証できないことはすでに 認知されていた，むしろ，翻訳者以外の方々（MTの開発者や研究者を含む）の翻訳リテラシ， MT リテラシの涵養こそが喫緊の課題である。そこで，第 5 回の TSでは，影浦 (2017) が提示 した『翻訳とは何か？何ではないか？』という根源的な問いに立ち返った.

オンライン開催となったこの回の TS では, 翻訳品質の定義や評価基準, MT の実務応用に

おけるリスク管理，MT の理論的限界，翻訳が扱う要素・情報に関する発表がなされた（一部 はオンライン発表を辞退)，総合討論では，TS の提案者を中心に，発表を振り返りつつ話題を 提起し，現状の理解をまとめた。ここでは， 2 点紹介しておく．まず，前回に引き続き MT 前編集に関する発表があったことをふまえ，前編集+MT+後編集という 3 段階の HAMT ワーク フローがより有機的な協働となるための要件について議論し， 3 段階のそれぞれを独立に実施 するのではなく，相互の特性を理解した上での役割分担の必要性が共有された．前編集は MT による訳を直接は制御できないため最低限に留める一方，後編集（=MT の後始末）は要求仕様を満たすまで行う必要がある．MTが何をどこまで担保すべきか，という問いが残されたが， MTには「翻訳」ができない以上，X 文Y 訳を極めることを目指すのが現実的かもしれない．

その後，翻訳について語る言葉の重要性について議論がなされた。一般に，翻訳を産出する 工程には，翻訳のクライアント，コーデイネータ，（複数の）翻訳者，校閲者などの複数のアク ターが関わる． 3 節で述べたとおり，技術導入に関する議論の前提として，共通の言葉を持ち, それに基づくコミュニケーションを実現することが不可欠である．翻訳品質を語る言葉は実務者らの取り組みも含めて形式化が進んでおり，単一の文を語る言葉として形態論や統語論の用語は広く用いられている。しかしながら，実務翻訳の工程，文書としての品質，分野ごとの規範などについて語るための実用に耐える言葉を我々はまだ有していない.

## 6 総括

これまで 5 回にわたって TSを開催し，日本通訳翻訳学会においても一般発表や特別企画を 実施してきた。これまでの成果・知見・課題は次のように集約される。
- TSに継続参加してくださっている万々の間では, 翻訳そのものへの共通理解が進み, 翻訳とは何か？MT が果たしている役割は何か？が明確に言葉にできるようになってき た。しかしながら，その共有範囲は十分には広がっていない。
- 問題を共有して議論するには，それについて語る言葉が不可欠である。言葉そのものの 設計とその言葉を用いた産学連携, 翻訳技能の伝達・継承の仕組みを作る必要がある.
- 技術の実用化の課題として, MTが何をどこまで保証するかという問いが残されている. それに基づいてユーザが留意すべき点やべスト・プラクティスを整理するとともに，一般ユーザの翻訳リテラシ・MT リテラシを涵養するためのアウトリーチも必要である.

元々はどちらかというと翻訳工程の効率化の観点で「何かやってみよう」と始めた企画だった が，TSの企画・実施を経て，翻訳品質を担保するための基盤としての『翻訳を語る言葉（メ夕言語)』の必要性に気づき, 我々は現在, それらの設計と運用基盤の実現に取り組んでいる (影浦 2020b). これまでの TS の総括をふまえ，今後も翻訳を取り巻く諸問題に真摰に向き合い，メ夕言語の構築を通じて背景の異なる方々とのコミュニケーションを実現し，翻訳技能の伝承，よ

り効率的な多言語情報伝達の実現に貢献したいと考えている。そのような活動の場として，今後も本学会年次大会の TS を活用させていただく予定である.

## 謝 辞

我々の企画を採択してくださった言語処理学会第 $22 \sim 26$ 回年次大会の各プログラム委員会に 感謝する。また，テーマセッションの企画・運営にご尽力くたさっった立見みどり氏，武田珂代子氏，河野弘毅氏，西野竜太郎氏，新田順也氏，ならびにテーマセッションでご発表くださっ た皆様にも，改めて謝意を表する，我々は， 6 節で述べた知見や課題を遅くとも第 2 回の TS の 開催後（3 節）には共有していたが，それらを現時点までに広く共有できていない原因の一端 は，文章にまとめる機会を逸していたことにある。そのような機会を与えてくださった本誌編集委員会に感謝する。本稿で報告した内容の一部は，科研費基盤研究 (A)『翻訳知のアーカイ ヴ化を利用した協調・学習促進型翻訳支援プラットフォームの構築』（課題番号：25240051, 代表：影浦峡）ならびに科研費基盤研究 (S)『翻訳規範とコンピテンスの可操作化を通した翻訳プ ロセス・モデルと統合環境の構築』（課題番号：19H05660，代表：影浦峡）の支援を受けた.

## 参考文献

Bahdanau, D., Cho, K., and Bengio, Y. (2015). "Neural Machine Translation by Jointly Learning to Align and Translate." In Proceedings of the 3rd International Conference on Learning Representations (ICLR).

Bar-Hillel, Y. (1951). "The Present State of Research on Mechanical Translation." American Documentation, 2 (4), pp. 229-237.

藤田篤, 山田優 (2017). 翻訳の品質と効率: 実社会におけるニーズと工学的実現可能性. 言語処理学会第 23 回年次大会発表論文集, pp. 915-918.

藤田篤, 山田優, 影浦峡 (2019). 産業翻訳に役立つ自然言語処理技術についての議論の足場. 言語処理学会第 25 回年次大会発表論文集, pp. 914-917.

Hutchins, W. J. and Somers, H. L. (1992). An Introduction to Machine Translation. Academic Press.

ISO/TC27 (2017). "ISO 18587:2017 Translation Services: Post-editing of Machine Translation Output: Requirements.".

影浦峡 (2017). 改めて, 翻訳とは何か：Google NMT が使える時代に. 言語処理学会第 23 回年次大会発表論文集, pp. 931-934.

影浦峡 (2019). 人間の翻訳と機械の翻訳（1）：翻訳者は何を翻訳しているか？AAMT Journal,

71, pp. 14-19.

影浦峡 $(2020 a)$ ．人間の翻訳と機械の翻訳（2）：文書とはどのようなものか？ AAMT Journal, 72, pp. 7-11.

影浦峡 (2020b). 翻訳プロセス・モデルの構築を目指す研究. AAMT Journal, 72, pp. 25-28.

山田優, 藤田篤, 影浦峡 (2016). 言語処理学会テーマセッション『文理・産学を越えた翻訳関

連研究』開催報告. AAMT Journal, 63, pp. 36-40.

## 略歴

藤田篤：2005 年奈良先端科学技術大学院大学情報科学研究科博士後期課程修了。博士 (工学)。2014 年より NICT 先進的音声翻訳研究開発推進センター 主任研究員. 主に言い換え表現の生成と認識, 機械翻訳の研究に従事.

山田優：関西大学外国語学部／外国語教育学研究科教授．立教大学大学院異文化コミュニケーション研究科博士（異文化コミュニケーション学／翻訳通訳学)。社内通訳者, 産業翻訳者を経て, 現在は翻訳研究者として研究に没頭する。研究の関心は翻訳テクノロジー論, 翻訳プロセス研究 (TPR), 翻訳 の外国語教育への応用 (TILT) など.

影浦峡: 東京大学・大学院教育学研究科. 学術博士 (マンチェスター大学).

専門語彙論, 翻訳論, 知識と記号に関心を持つ。著書に The Dynamics of Terminology (John Benjamins: 2002), The Quantitative Analysis of the Dynamics and Structure of Terminology (John Benjamins: 2012)など. Terminology 誌 の編集委員長を務める．知識と社会の関係にも関心を持ち, 最近では, 同意を得 ないデータを使い被曝の影響を矮小化したいわゆる宮崎・早野論文の倫理的・科学的問題を指摘したレターも発表している .


# 日本語話し言葉書き言葉変換による 大学講義の日英翻訳の精度向上

中尾 亮太 $^{\dagger} \cdot$ Chenhui $\mathrm{Chu}^{\dagger} \cdot$ 黒橋 禎夫 $^{\dagger}$
}

話し言葉の機械翻訳では, 話し言葉に特有の現象が翻訳精度に悪影響を及ぼすこと が知られている。本研究では大学講義翻訳システムにおける日英翻訳の前処理とし て，日本語の話し言葉から書き言葉への自動変換を行うことにより翻訳精度を向上 させる．まず大学講義の書き起こしとそれを書き言葉に変換したもの, 対応する英文の 3 つ組からなるコーパスを構築した. 次にそれを用いて話し言葉書き言葉変換 モデルと日英翻訳モデルを学習させた。 その結果, 話し言葉書き言葉変換が日英翻訳の精度を向上させることを示した。また, 話し言葉に特有の現象の分類に基づき, どのような現象が翻訳精度にどの程度影響するのかを定量化した.

キーワード: 機械翻訳, 話し言葉, 書き言葉, 講義翻訳
## Spoken-Written Japanese Conversion for Japanese-English University-Lecture Translation

\author{
Ryota Nakao ${ }^{\dagger}$, Chenhui $\mathrm{ChU}^{\dagger}$ and Sadao Kurohashi ${ }^{\dagger}$
}

In machine translation of spoken language, it is known that phenomena specific to spoken language have a negative impact on translation accuracy. Therefore, in this study, as a preprocessing step for Japanese-English translation in our university lecture translation system, we improve the translation accuracy by automatically converting spoken-style Japanese texts to written-style. First, we create a corpus consisting of Japanese transcriptions of university lectures, their conversions into written language, and the corresponding English texts. Next, we train spoken-written conversion models and Japanese-English translation models using the corpus. As a result, we show that spoken-written Japanese conversion improves the accuracy of JapaneseEnglish translation. In addition, we quantify which phenomena affect translation accuracy and to what extent.

Key Words: Machine Translation, Spoken Language, Written Language, Lecture Translation

## 1 はじめに

グローバル人材育成のため, 政府は外国人留学生の受け入れを推進している ${ }^{1}$ 。また, 京都大学でも教養・共通科目を英語で提供したり, 日本語・日本文化の教育を組み込んだプログラムを 用意するなどの施策を行っている ${ }^{2}$. しかし, 主に講義で用いられる言語は日本語であるため,日本人と外国人留学生との間には学習機会の差が未だに存在し, 日本語を勉強中の学生をより 一層サポートする必要がある.

この解決策として，専門的な内容を通訳できる通訳者を各講義に配置することは，コスト面 から現実的でない. 一方で, 近年, 深層学習などによって音声認識や機械翻訳の技術は劇的に 進展しており，このような自動処理を活用していくことが今後の方向性であると考えられる.

音声の機械翻訳は, 音声から音声の場合 (Jia et al. 2019) と音声からテキストの場合がある が, 本研究では後者を対象とする。音声からテキストへの翻訳では，一つのモデルで音声から 翻訳済みのテキストまで End to End で変換する手法 (Liu et al. 2019) と，書き起こしと翻訳を 別々のモデルで行う手法 (Müller et al. 2016; 須藤 他 2019) がある. 前者はエラーの累積が少な く，処理時間も短くできることが多いが，ある言語の音声と別言語のテキストの対応をとった コーパスは少ない (Liu et al. 2019). また分野適応のための新規コーパスの構築も難しい. この ため, 翻訳精度を高くすることが困難である。一方, 後者の手法は, 音声認識器からのエラー の累積があるものの, 講義のような比較的落ち着いた話し言葉の音声認識は近年かなり高精度 になってきており, 単言語内での音声とその書き起こしのコーパスやテキスト形式の翻訳コー パスは利用可能なものが多く, 新たなコーパスの構築も難しくない. さらに, 日本語の書き起 こしと英訳を字幕として同時に提供することで, 講義内容の理解の補助と同時に日本語の習得 の手助けもできる.

本研究は, 以上のメリット・デメリットと, 講義音声を他言語字幕に翻訳する既存のシステ ム (Müller et al. 2016; 須藤他 2019) の構成を踏まえ, 日本語音声を音声認識器によって書き起 こし, 次いで機械翻訳により日英翻訳を行う設定で研究を行う．機械翻訳モデルは Transformer (Vaswani et al. 2017)の登場以来翻訳精度が大きく向上しているが, このモデルの性能を十分に 発揮するためには大量のテキストデータを用意する必要がある. 広く利用可能な日本語テキス トの多くは書き言葉を用いたものであり，話し言葉のコーパスは少ないため, 機械翻訳モデル は日本語書き言葉から英語への翻訳を学習することになる。一方, 講義では話し言葉が用いら れ，それを書き起こしたテキストが機械翻訳モデルへの入力となる.このような書き言葉と話 し言葉という訓練データと実際のデータ間のギャップは翻訳精度に悪影響を及ぼすことが知ら れている (Wang et al. 2010; Salesky et al. 2018; 坂本, 田中 2015).
^{1}$ https://www8.cao.go.jp/youth/whitepaper/r01honpen/s6_1.html

2 https://www.kyoto-u.ac.jp/ja/international/students1/study1/undergraduate
}

図 1 大学講義の日英翻訳システムの概要

本研究では日本語の話し言葉と書き言葉の違いに着目し, 翻訳精度の向上と, 標準語に近い 整った日本語書き起こしを提供することによる日本語学習の促進を目的として, 話し言葉から書 き言葉への自動変換を行う（図 1）。夕スクとしての話し言葉書き言葉変換には，フィラーや文末の「ですね」の除去等, パターンマッチや簡単な言語モデルである程度解決可能な問題たけけて なく，言い直しや言い換えといった元長な表現の削除や省略された格助詞の補完など文脈に依存した難しい問題も含まれる。本研究ではこれらの問題を単一のモデルで解決することに取り 組む. 本システムの推論時には, 文の区切りとして音声認識器の出力に含まれる無音区間が文末かどうかを判定するニューラルネットワークモデルによる出力を用いる（例：「でアレニウス 式は温度依存性を表すやつ $[\mathrm{SEP}]$ です $[\mathrm{SEP}]$ はい $[\mathrm{SEP}]$ そして最後に $[\mathrm{SEP}]$ 反応器の $[\mathrm{SEP}]$ 」の 場合は，下線部分の無音区間 ([SEP]) が文末と判定されるような学習を行ったモデルを用いる).

この話し言葉書き言葉変換を行うモデルを訓練するため，また，その変換による日英翻訳へ の影響を調査するため，新たなコーパスを構築した。このコーパスは大学講義の書き起こしと それを書き言葉に変換したもの，対応する英文の 3 つ組からなる。なおコーパス構築の際には,話し言葉特有の現象の分類 (島津 他 2014; 国立国語研究所 2006) を参考にし, どのような現象 を変換すべきか取り決めた。

こうして構築したコーパスを用いて話し言葉書き言葉変換モデルと日英翻訳モデルを学習さ せ，話し言葉書き言葉変換が日英翻訳の精度を向上させることを実験的に示した．また，話し 言葉書き言葉変換の複数手法の定量的評価を行った. 加えて, 話し言葉に特有の現象の分類に 基づき, どのような現象がどの程度翻訳精度に影響するのかを定量化した.

## 2 関連研究

本節では，まず話し言葉と書き言葉がどのように違うかを明確化し，話し言葉のコーパスに ついて述べる，次に話し言葉を書き言葉に変換するに当たり，どのような手法が存在するかを 挙げ，最後にそのような変換による翻訳精度への影響についての関連研究を紹介する.

## 2.1 話し言葉と書き言葉の違い

話し言葉に特有の現象を, 島津 他 (2014) は 4 つに大別している. 本研究においてコーパス を構築するに際し，作業者に話し言葉と書き言葉の違いを理解してもらうために，これを例文 とともに提示した。
- 語彙的な現象：音韻的な縮約 / 特有の終助詞 / 口語的な助詞 / 敬語 / 感動詞
- 省略 : 格助詞の省略・無助詞 / 判定詞の省略
- 杂長な表現：言い直し/繰り返し / 言い換え / 言い淀み
- 文の概念がないことに関連する現象：名詞句・助詞句発話 / 格助詞での中止 / ねじれ /倒置

ここで挙げたもののうち, どの現象を本研究の対象とするかは次節以降で議論する。なお，島津らはその他の現象として「数え上げ」と「綴りの説明」も挙げているが，これらについては あまり現れないとしている。 そのため，本研究でもこれらは扱わない。また，文の概念がない ことに関連する現象として「先取り」が挙げられているが，これは主に会話で発生する現象で あり，講義ではあまり発生しないので省いた。

話し言葉の性質について言及した他の研究の一つである国立国語研究所 (2006) は, 作業者に よって判断が摇らがないように厳密に定義がなされている。例えば島津 他 (2014)では「音韻的な縮約」と一纏めにしているものを「動詞ラ行音にかかわる撥音化」「テ形の複合動詞にかか わる縮約」などに細かく分類した上で， 口語表現であると認める場合を列挙する形で示してい る.これは本研究では作業者にとって過剩に詳細であるため, 本研究のコーパス構築作業にあ たっては島津 他 (2014)を参考にした。

日本語の話し言葉のコーパスとして代表的な日本語話し言葉コーパス (CSJ)(前川 2004)は,学会講演, および模擬講演を中心とした音声データを元に, 様々な観点からアノテーションを 付与しXML 文書の形で利用可能にしたコーパスである. CSJでの話し言葉特有の現象に対す るアノテーションとしては, 島津他 (2014)の分類に含まれる音の転訛，フィラー，言い直し。言い淀み等による語断片の他，母音や子音の引き伸ばし，話者の笑いや咳，語の読みに関する 知識レベルの言い間違いなども含まれる。

## 2.2 話し言葉の自動整形

尾嶋 他 (2008) は話し言葉に対する整形処理における一次整形として削除, 挿入, 置換の 3 つ の操作を挙げており，CSJに対してこれらの一次整形を行う箇所の開始タグと終了タグを付与 したデータを作成した。また，そのうちの削除する箇所について自動で検出する手法を提案し ている.

他の日本語の話し言葉を自動で修正し読みやすくする事例として国会会議録を音声データか ら自動で書き起こすシステム (秋田他 2010) がある。この研究では書き起こしの忠実性や発話者の意図の尊重のため, 言い直しや繰り返しはそのままテキストに残しており，圥長な部分を 修正するとしても文末の「ですね」の除去などに限られる。しかし, 2.3 項で示す関連研究にお いては音声認識に続く機械翻訳の段階での話し言葉特有の現象による翻訳精度の低下が示され ている。そのため, 本研究では翻訳タスクでの影響を重要視し, 2.1 項に示した話し言葉と書き 言葉の違いを可能な限り網羅するような修正を施す.

話し言葉書き言葉変換は Sequence to Sequence のタスクとして解釈することが可能である. そして，単言語での Sequence to Sequence タスクを解く手法として，事前訓練済みの言語モデ ルを fine tuningする手法が近年大きな注目を集めている. 例えばT5 (Raffel et al. 2020) は入出力をタスク固有のプレフィックスとともにText to Text の形式に変換することで文書分類や自然言語推論など様々な夕スクを単一のモデルの転移学習で解くことができると示した。 このよ うなモデルは幅広いタスクに適用可能である一方，事前訓練に莫大な資金と時間が必要となる ため，英語以外での訓練済みモデルの一般公開は少ない。日本語で利用可能な事前訓練済みモ デルとしては日本語 Wikipedia で事前訓練されたBART (田中, 黒橋 2020) が挙げられる.

話し言葉は，フィラーや特有の助詞が用いられるものの，一般的には文法的に間違っている わけではない. しかし同じ言語内で文の意味を維持したまま，トークンを挿入したり削除した りといった文の操作を行うという観点では，時制や冠詞などの文法上の間違いを訂正するタス クである文法誤り訂正と類似している. LaserTagger (Malmi et al. 2019) は, 文法誤り訂正を含 む Sequence to Sequenceのタスクを Sequence Labeling として解くことができる手法で，小さい データセットでも良い性能を出せることと推論が高速であることが特徴である.

## 2.3 話し言葉の整形による翻訳精度向上

Wang et al. (2010) は，翻訳の前処理としてフィラーや艺長な表現を除去することで翻訳精度 が向上することを示している。また, Salesky et al. (2018)は Transformerのような深層学習に 基づくモデルでも訓練に利用可能な流暢なコーパスと実際に入力される非流暢なテキストの不一致が翻訳精度の低下を引き起こすと主張している。しかし日本語では, それらだけでなく「で すんで」「こっから」のような音韻的な縮約による違いも多く見られる。本研究では非流暢性た けでなく語彙的な現象による翻訳精度への影響も調査する。また，整形されたテキストを字幕

として提供することは日本語初学者が勉強するに当たり，辞書を引きやすくなる，標準的な日本語を覚えられるなどのメリットがある.

坂本, 田中 (2015) は話し言葉の日英翻訳における前処理として話し言葉を簡潔な表現に変換 する手法を提案しているが，前処理，日英翻訳ともにルールベースであり, End to End な手法 と比べて構築・管理の手間がかかる。また， 2.1 項で述べた壳長な表現を代表として, 話し言葉 においては単純なパターンマッチや形態素解析で検出するのが難しい現象が存在するため, 坂本らの研究ではこれらの変換は取り扱っていない. 加えて，翻訳の手法は Transformer アーキ テクチャの登場により飛躍的に精度を向上させており，再度話し言葉の変換による翻訳精度向上の有効性を検証する必要がある.

## 3 コーパスの構築

## 3.1 文区切り器の訓練

講義翻訳システムで用いる文区切り器は独自のコーパスで訓練されたものであるため, ここ でそのコーパスについて述べる。文区切り器は事前訓練と fine tuning で別々のコーパスを使用 している.

事前訓練に使用したのは日本語話し言葉コーパス (CSJ) をべースとしたコーパスで, CSJ の noncore に含まれる ClauseBoundaryLabel が文末とアノテーションされた箇所を区切るべき位置としている．区切り位置を推定する訓練を行うため，5から10の文をひとまとめにし，正解 の文末位置トークンを文と文の間に挿入する。そして，各文を分かち書きして形態素の間にダ ミーの文末位置トークンをランダムに挿入する。このようにして作成されたのが文区切り器の 事前訓練コーパスである。

fine tuning には京都大学の講義を AMI の音声認識器 AmiVoice エンジン3で書き起こしたも のをべースとしたコーパスを用いる。このコーパスには音声認識器が出力する無音区間トーク ンが発話内に含まれており，この無音区間の中からアノテーション作業を行った者が文末とし てふさわしいと考えた箇所を文末の正解データとした。文区切り器は入力文字列中の無音区間 が文末かどうかの判別を学習する.

文区切り器は，これらのコーパスを用いて訓練された $\mathrm{BERT}_{\text {base }}$ モデルであり, 入力トーク ン列に含まれる文末候補位置（音声認識器の出力する無音区間トークン）の中から文末位置を 推測する Sequence Labeling モデルとなっている. fine tuning 用コーパスのテストデータに対す る $\mathrm{f}$ 值は $82.2 \%$ となっている.

## 3.2 アノテーション

ここで示すデータは京都大学で 2019 年度に行われた 5 の講義の書き起こしをもとに構築し

変換を依頼した。ただし，それらの話し言葉と書き言葉の違いのうち，「名詞句・助詞句発言」「ねじれ」はコンテキストへの依存性の高さや専門的な内容に言及している場合の判断の難し さから，作業者には変換を指示しなかった。また, 講義で使われる敬語の多くは丁寧語であり,書き言葉でもよく見られる表現であるため，「敬語」に関する違いも変換対象としなかった。ま た，話し言葉から書き言葉への変換は一意なものではないため，本データセットでは多様性を 重視し変換ルールの統一は行わず，各作業者に判断を委ねることとした．作業は日本語を母語 としテープ起こし作業を業務としている者 8 名で, 担当する量がほぼ等分となるように行った.

実際に変換作業を行った所，2.1 項で述べた話し言葉と書き言葉の違いに含まれないが修正を 施すべき点がいくつか見つかった，以下に具体例を示す.
- 文頭の「で」の除去

「それで」と同じ働きをする接続助詞の「で」は, 話者の癖により本来必要としない箇所でも出現することが多いことがわかった.
- 句読点位置の修正

話し言葉では文という概念がないため，それを書き起こす際の句読点位置についても曖昧性が生じる。そのため, より適切な位置に句読点をずらしたり, 過剰な句読点を削除 する修正を行った。この修正は曖昧性があるが，各作業者の判断に委ねた.

例文：「菱面対称というのの、括弧ですね、括弧で菱面対称であるんですが」 $\rightarrow$ 「菱面対称というものの括弧です。括弧で菱面対称であるのですが」
- 文法上の間違いの訂正

接続詞ではないのに文頭で使われている「なので」, 明らかな格助詞のミスなど，文法的 に不適切な箇所を訂正した。

表 1 書き起こしの講義名と文数

表 2 構築したデータセットの文数
- 意味的に冗長な箇所の削除

以下の例文のように，発話の意味的な内容において重要でない部分を削除し，簡潔かつ 整った文体にした。

例文：容易に作ることができるという形です。
- 話し言葉的な語の変換

音韻的な縮約があるものや話し言葉に特有の助詞に限らず，話し言葉で多く用いられる と考えれる語を同じ意味で書き言葉で主に用いられているものに置換した.

例：さっき（先ほど）, なんか（など）

示す.なお本システムは, 毎年度同じ講師がほぼ同じ内容の講義を行い, そのたびにデータが 蓄積され，改めてモデルが訓練されるという想定のもとで開発されている．そのため，未知の 語彙や熟語が出現する頻度は低いと仮定し, 開発セットとテストセットは全ての文からランダ ムに選択した。

本コーパスに含まれるデータの具体例を以下に《変換前/変換後》の表記で示す.

・《でえーとまあ/》《こっから/ここから》RCO《/》ここ《ですね/です》《。/》《えー カルボニル、/》ここがカルボニル基《なんだけど/なのですけれど》、《ここがカルボニ ル基なんですけど、/》
- 《あ/》ページが《変わっちゃうのか、/変わってしまいます。》《いいですか、理想気体 のほうは/理想気体のほうはいいですか》。

・ 今日の分は《やっといて/行っておいて》いただいた方がいいと思います。

$\mathrm{J}_{\text {書 }}$ の一部の翻訳を翻訳業者に依頼し，日英対訳コーパスを構築した。この英訳を以後 $\mathrm{E}$ と 表記する.これにより，話し言葉と書き言葉と英訳の対応をとった 3 つ組のコーパス $\mathrm{J}_{\text {話 }}-\mathrm{J}_{\text {書 }}-\mathrm{E}$ データセットを構築した，統合されたデータの文数は表 2 に示す。文数とあるが，実際には句読点位置の修正の結果や翻訳の都合で，2つ以上の文が 1 つの文と対応づいている場合も存在 する。

## 4 話し言葉書き言葉変換

## 4.1 手法

夕に対してこの 2 モデルを fine tuningし，評価には SARI (Xu et al. 2016)を用いる。実装は LaserTagger 著者らと同じものを用いる，なお, この実装では, 出力と正解の完全一致（修正箇所が 0 個の場合）に対して高いスコアを与えるため，スコアの計算時に $0 / 0=1$ として計算し ている。また，ランダムなテストデータ 100 件に対する推論にかかる平均時間も計測する.

## 4.1.1 LaserTagger

LaserTagger は, ある種の Sequence to Sequence のタスクを Sequence Labeling として解く 手法である. 入力の各トークンを維持するか削除するかをラベル付けし, 必要ならトークン列 を挿入する。エンコーダ部分は，マスキングされたトークンを復元する Masked LM と 2 文間 の関係が連続する文かそれ以外かを判断する Next Sentence Predictionの２夕スクで事前訓練 された Transformer Encoder である BERT を用いる.デコーダ部分は単一の全結合層を用いる LASERTAGGER $_{F F}$ (以後 LT $_{F F}$ とする) と一層の Transformer Decoder を用いる LASERTAGGERAR （以後 $\mathrm{LT}_{\mathrm{AR}}$ とする）のバリエーションがある.

話し言葉書き言葉変換のタスクは, 2.1 項で示したように, 多くは語彙の変換や削除で対応でき るため, LaserTagger が適用できる。ただし, 倒置の修正は多くのトークンにまたがる変換であ るため LaserTagger では解くことが難しいというデメリットがある. 一方 Sequence to Sequence の手法はそのような制限はないため解ける可能性がある.

Sequence to Sequence で問題を解く際, Transformer を始めとする多くの主流なモデルは一定数の語彙以外のトークンを表す特殊トークン（〈UNK〉などで表記される）を出力してしまう可能性がある。このような不要なトークンが翻訳モデルの入力に混じると, 翻訳精度の低下につ ながる恐れがある.また, Sequence to Sequenceのモデルには同じトークン列を繰り返し出力 してしまう問題も存在する. Sequence Labeling の場合は, トークンの維持と削除, そして予め 決められた出力フレーズ語彙からのトークン列の挿入しか操作のパターンがないため, それら の可能性をなくすことができる。 より品質の保証されたサービスを提供するという観点におい て, 機械翻訳の前処理として不要なノイズを加えてしまう可能性をコントロールできることも LaserTagger のメリットの一つである.

LaserTagger に必要となる事前訓練された BERT モデルは, 日本語 Wikipedia で訓練された BERT $_{\text {large }}($ 柴田他 2019)を用いる。また, LaserTagger の Decoder は全結合層の場合と Transformer Decoder の場合の両方を検討する． $\mathrm{J}_{\text {話 }}$ 封書データセットにおける fine tuning は， Tesla V100 GPU を 1 枚使用してバッチサイズ 8 で 20 エポック訓練し, 各エポック終了時にモデルの パラメータを保存した。開発セットに対する exact スコアが最も高いパラメータを最終的なス コアの算出に用いる.

LaserTagger は倒置などの複数のトークンにまたがる修正や出力フレーズ語彙に含まれない トークン列の挿入を必要とする変換を行うことができないため，訓練セットからはそれらのデー 夕は削除される. 出力フレーズ語彙の数を Malmi et al. (2019)にならって 500 としたとき, 訓練セット 11,072 件のうち, Sequence Labeling 形式に変換できたものは 8,832 件であった. 倒置 が発生している文や頻度の低い語彙が挿入されている文に限って訓練上重要な変換が含まれる とは考えにくいため,この 2,340 件の削除の影響は大きくないと想定される.

## 4.1.2 BART

比較対象として， Sequence to Sequence のモデルである BART を用いる．田中，黒橋 $(2020)$ が日本語 Wikipedia で行った事前訓練には次の 2 種類が併用されている.
- Text Infilling：長さ 0 以上のトークンのスパンが単一の特殊トークンで置き換わってお りここれを復元する
- Sentence Permutation：複数文がランダムな順に並べ替えられており，これを復元する

われた. なお語彙数は 32,000 , バッチサイズは 512 である. fine tuning 時には通常の Transformer

る fine tuning は, Tesla V100 GPUを 1 枚使用して 40 エポック訓練し, 各エポック終了時にモ デルのパラメータを保存した。開発セットに対する lossが最も低いパラメータを最終的なスコ アの算出に用いる。 なお, 出力に $\langle\mathrm{UNK}\rangle$ が含まれている場合, 入力に 1 対 1 で対応が取れる 〈UNK〉が存在する場合はもともとのトークンを復元する処理を加えている.

## 4.2 結果と考察

結果を表 3 に示す. LaserTagger が BART $_{\text {large }}$ と並ぶ精度を持っていることがわかる. ここか ら，話し言葉と書き言葉でほとんどのトークンが同一であり，基本的にはトークンを維持また は削除するだけでよく, 挿入する場合もそのパターンは 500 個あれば語彙数 32,000 の Sequence to Sequence モデルに匹敵することが可能であるとわかる。また， $\mathrm{LT}_{\mathrm{AR}}$ はトークンの追加でわ ずかに $\mathrm{LT}_{\mathrm{FF}}$ に勝るものの, ほぼ同等の性能を持つことがわかった. なお， $\mathrm{BART}_{\text {large }}$ の出力 において〈UNK〉の復元に失敗した例はテストセット中には含まれなかった. 処理時間について は，機械翻訳モデルの推論時間が約 1 秒であるため, リアルタイムでの使用においては BART は推論時間が長すぎて実用性に欠けると言わざるを得ない. よって，続く実験では $\mathrm{LT}_{\mathrm{FF}}$ を主 な実験対象とする． $\mathrm{LT}_{\mathrm{AR}}$ は $\mathrm{LT}_{\mathrm{FF}}$ に比べ処理時間が長いものの翻訳処理よりは短いため実用性 があると考え，わずかながら性能で勝るため比較対象として実験対象とする.

変換の具体例を表 4 に示す. 《なってる/なっている》と《ですよね/です》の修正は全てのモ デルが成功しているが，圥長な表現である「電荷，正電荷を」の修正については $\mathrm{LT}_{\mathrm{AR}}$ は失敗 している。なお, LaserTaggerに対しては 5 節でさらなる具体例を示し翻訳に対する影響の考察 を行う。

表 3 話し言葉書き言葉変換の評価

 \\

表 4 話し言葉書き言葉変換の具体例

## 5 話し言葉書き言葉変換の日英翻訳への影響

## 5.1 手法 (LaserTagger \& Transformer)

日本語話し言葉書き言葉変換モデルには， 4.2 項で述べたように $\mathrm{LT}_{\mathrm{FF}}$ を主として用い, 比較用として $\mathrm{LT}_{\mathrm{AR}}$ を用いる。日英翻訳モデルには Transformer の標準実装である tensor2tensor

ら構築された約 1380 万文の日英対訳コーパスで事前訓練（Tesla V100 GPU 4 枚で 11 万 step） したものを用いる.

この実験では, 英文の対応付けの際に文の区切りが調整されたことにより, $\mathrm{J}_{\text {話 }}-\mathrm{J}_{\text {書 }}-\mathrm{E}$ のテスト データが $\mathrm{J}_{\text {話- }} \mathrm{J}_{\text {書 }}$ の訓練デー夕に含まれていないことを保証することが困難であったため, 表 2 の $\mathrm{J}_{\text {話 }}-\mathrm{J}_{\text {書 }}$ のデータ全体は使わず, $\mathrm{J}_{\text {話 }}-\mathrm{J}_{\text {書 }}-\mathrm{E}$ 対応がついている部分のみを用いる. LaserTagger は $\mathrm{J}_{\text {話- }} \mathrm{J}_{\text {書 }}$ のペアで fine tuning（4.1.1 目と同様の条件）を行い, Transformer は $\mathrm{J}_{\text {書- }}-\mathrm{E}$ のペアで fine tuning（Tesla V100 GPU 4 枚で開発デー夕における BLEU スコアが上昇しなくなるまで 200 step 単位で訓練）を行う。これによって話し言葉を自動で書き言葉に変換した後に日英翻訳を行うことができる。比較対象として, $\mathrm{J}_{\text {話-Eで fine tuning を行った Transformer }} \mathrm{J}_{\text {話 }}$ のテ ストデータを入力する場合と， $\mathrm{J}_{\text {書 }}-\mathrm{E}$ で fine tuning を行った Transformer に $\mathrm{J}_{\text {書 }}$ のテストデータ を入力する場合を考える。前者は話し言葉書き言葉変換による精度の変化を定量化するのに使 い，後者は話し言葉書き言葉変換による精度向上の上限の指標とする. なお, 最終的な評価指標には SacreBLEU (Post 2018) による BLEU スコアを使用する.

## 5.2 結果と考察

以後，*-Eはそれぞれ対応する日英翻訳モデルからの出力を表すこととする．結果を表 5 に示 す. 話し言葉書き言葉変換により BLEU スコアが向上しており, $\mathrm{LT}_{\mathrm{AR}}$ は $\mathrm{J}_{\text {書- }} \mathrm{E}$ と同等, $\mathrm{LT}_{\mathrm{FF}}$ もほぼ同じスコアを示した。

表 6 に話し言葉書き言葉変換により翻訳精度が改善している例を示す.下線で示した部分が

いる場合の翻訳はより適切なものとなっている． $\mathrm{LT}_{\mathrm{FF}}$ は不要なトークン（二重下線部分）を挿入してしまっているが，英訳には影響は見られない.

## 5.3 話し言葉特有の現象の種類ごとの翻訳精度への影響

$\mathrm{J}_{\text {話- }}-\mathrm{J}_{\text {書 }}-\mathrm{E}$ の全テストデータに対して， 2.1 項で述べた 4 種類の現象と， 3 節で述べたその他の

の（名詞句発言やねじれなど）はカウントしない.

表 5 話し言葉書き言葉変換による翻訳精度への影響

 \\

表 6 話し言葉書き言葉変換による日英翻訳の改善の具体例

ラベル付けした結果を表 7 に示す。また，その他の現象の修正 (e) の内訳を表 8 に示す.こ の付与したラベルに基づき，テストセットを分割して BLEU スコアを算出し，話し言葉特有の 現象の種類ごとの翻訳精度への影響を調査した.

表 9 に省略の修正 (b) を含む場合とそれ以外とで分割した際の BLEU スコアの違いを示す. （b）を含む場合は含まない場合に比べて BLEU スコアで $6.0 \sim 6.7$ ポイントの差がある. これは 他の修正に関する場合と比べても大きい差であり，助詞や判定詞の省略と翻訳精度の低下に大 きな相関があることを示す。しかし， BLEU スコアの差が最も大きいのは $\mathrm{J}_{\text {書 }}-\mathrm{E}$ の場合であり，省略を修正することでは翻訳精度はそれほど改善しない（ $\mathrm{J}_{\text {話 }} \mathrm{E}$ と比較し 0.4 ポイント差）こ れは省略が発生するような発話はそもそも翻訳が難しいことを示していると考えられる．例え ば文としての構造が整っておらず，英訳時に語順を入れ替えるなどの調整を入れる余地がある 場合や，格助詞や判定詞だけでなく主語や目的語まで省略されている(これらはコーパス構築時に修正要件に含めていない）ためにそれらを無理やり英訳した結果が間違っている場合など が考えられる。

表 10 に宇長な表現の修正 (c)を含む場合とそれ以外とで分割した際の BLEUスコアの違い を示す。まず，省略の修正 (b) に関する BLEU スコアの違いと異なり, 修正を含むか含まな いかの分割による BLEU スコアの差が $0.4 \sim 2.1$ と小さい. これは艺長な表現はどのような状況 でも発生し，そのため翻訳の難しさの分散がこの修正を含む場合と含まない場合とで大きく異 ならないことに起因すると考えられる，次に，(c)を含む場合は $\mathrm{LT}_{\mathrm{FF}}-\mathrm{E}$ と $\mathrm{LT}_{\mathrm{AR}-\mathrm{E}}$ のスコアが

表 7 テストデータ 367 件の分類

表 8 その他の現象の修正 (e)の内訳（重複を含む）
$\mathrm{J}_{\text {話 }}-\mathrm{E}$ と $\mathrm{J}_{\text {書 }}-\mathrm{E}$ のぼ中間に位置していることがわかる。これは冗長な表現の修正に関しては LaserTaggerにまだ改善の余地があり，いくつかの場合で修正に失敗していることが原因である と考えられる。

表 11 に文の概念がないことに関連する現象の修正 (d) を含む場合とそれ以外とで分割した 際の BLEU スコアの違いを示す。なお，（d）のラベルが付与されたデータが 14 件と少ないた め, ここで述べることは一般性に欠ける可能性がある。(d) を含むか含まないかの分割に関し

いないテキストの機械翻訳が難しい事がわかる。また， $\mathrm{J}_{\text {書 }}-\mathrm{E}$ の場合は 2.4 ポイントに縮まって いるため，この現象を修正することで翻訳精度を大きく向上させることができると考えられる. ただし，文の概念がないことに関連する現象の発生頻度が高くないため，翻訳精度全体として の影響は小さい．文の概念がないことに関連する現象の修正 (d) を含む場合について，壳長な 表現の修正 (c) の場合と同じく, $\quad \mathrm{LT}_{\mathrm{FF}}-\mathrm{E}$ と $\mathrm{LT}_{\mathrm{AR}}-\mathrm{E}$ は $\mathrm{J}_{\text {話 }}-\mathrm{E}$ と $\mathrm{J}_{\text {書- }}-\mathrm{E}$ のぼ中間の BLEU ス コアとなっている。すなわち修正に改善の余地があると考えられる。 しかし, LaserTagger は原理的に倒置を修正することがほぼ不可能であるため, これを改善するためには訓練セットの増量などではなく手法自体の改良が必要である。

語彙的な現象の修正 (a) とその他の現象の修正 (e) は不要なトークン列の削除や同じ意味 のトークン列との置換など操作として類似している部分が多く，またその共起する割合も高い ((a) $: 202 / 294=68.7 \%$, (e) $: 202 / 236=85.6 \%)$ ため, まとめて扱う. 付与したラベルに (a)， (e)のどちらか，または両方のみを含む場合を $(\mathrm{x})$ とする.これとの対比として，省略の修正

 &  \\

$\mathrm{~J}_{\text {書- }}-\mathrm{E}$ & 16.1 & 22.8 \\
$\mathrm{LT}_{\mathrm{FF}}-\mathrm{E}$ & 16.1 & 22.7 \\
$\mathrm{LT}_{\mathrm{AR}-\mathrm{E}}-\mathrm{E}$ & 16.6 & 22.6 \\

表 9 省略の修正 (b)を含むかどうかによる BLEU スコアの違い

 &  \\

$\mathrm{~J}_{\text {書- }}-\mathrm{E}$ & 21.1 & 21.5 \\
$\mathrm{LT}_{\mathrm{FF}-\mathrm{E}}$ & 20.3 & 21.7 \\
$\mathrm{LT}_{\mathrm{AR}-\mathrm{E}}$ & 20.6 & 21.5 \\

表 10 壳長な表現の修正 (c)を含むかどうか による BLEU スコアの違い

表 11 文の概念がないことに関連する現象の修正 (d) を含むかどうかによる BLEU スコアの違い
(b), 穴長な表現の修正 (c), または文の概念がないことに関連する現象の修正 (d) のいずれかを 含む場合を $(\mathrm{y})$, 修正を含まず $\mathrm{J}_{\text {話 }}$ と $\mathrm{J}_{\text {書 }}$ が完全に同一の場合を $(\mathrm{z})$ とし, これらと比較した結果を表 12 に示す.まず，（x) と (y) を比較すると BLEU スコアに 3.6〜4.9 の差があることは, （b）と (d) の修正を含む場合は含まない場合と比べて BLEU スコアが小さいことと関連してい る. (x), (y) と比べて (z)の BLEU スコアが高いことは, 修正の必要がないほど元から整った 文であったことを考えると自然である。（z)に関して，入力が同じであるにも関わらず $\mathrm{J}_{\text {話- } \mathrm{E} の}$ スコアが低くなっているが, これは訓練セット内でのノイズ（話し言葉特有の現象）がモデル の出力に影響を及ぼしている結果と考えられる.

その他の現象の修正 (e) の細分類ごとの BLEU スコアへの影響を表 13 に示す. まず， J話-E と $\mathrm{J}_{\text {書 }}-\mathrm{E}$ を比較すると, 最も差が大きいのは意味的に冗長な箇所の削除となっている。これは 冗長な表現の箇所を無理に訳出しょうとした結果として不要なトークンが英訳に現れるために $\mathrm{BLEU}$ スコアが低下していると考えられる。次に, $\mathrm{LT}_{\mathrm{FF}}-\mathrm{E}$ と $\mathrm{LT}_{\mathrm{AR}} \mathrm{E}$ を比較すると, 件数的に 多い句読点位置の修正では $\mathrm{LT}_{\mathrm{AR}}$ が優れているものの，話し言葉的な語の変換や意味的に冗長 な箇所の削除，文法上の間違いの訂正では $\mathrm{LT}_{\mathrm{FF}}$ が優れている。これらの現象については平均 の BLEU スコアが他の現象と比べ低いため, 全体的な翻訳品質の底上げという観点から評価す ると $\mathrm{LT}_{\mathrm{FF}}$ のほうが $\mathrm{LT}_{\mathrm{AR}}$ よりも優れていると考えられる.

このラベル付けしたデータに対する $\mathrm{LT}_{\mathrm{FF}}, \mathrm{LT}_{\mathrm{AR}}$ の話し言葉書き言葉変換の精度を表 14 か

 &  &  \\

$\mathrm{~J}_{\text {書- }}-\mathrm{E}$ & 22.8 & 19.2 & 24.8 \\
$\mathrm{LT}_{\mathrm{FF}-\mathrm{E}}$ & 23.2 & 18.3 & 24.8 \\
$\mathrm{LT}_{\mathrm{AR}-\mathrm{E}}$ & 23.1 & 18.7 & 24.8 \\

表 12 語彙的な現象の修正 (a), その他の現象の修正 (e)を含むかどうかによる BLEU スコアの違い

 &  &  &  &  &  \\

$\mathrm{~J}_{\text {書- }}-\mathrm{E}$ & 20.4 & 21.6 & 22.1 & 18.8 & 18.8 & 21.5 \\
$\mathrm{LT}_{\mathrm{FF}-\mathrm{E}}$ & 20.1 & 20.9 & 21.8 & 18.2 & 18.9 & 19.7 \\
$\mathrm{LT}_{\mathrm{AR}-\mathrm{E}}$ & 20.1 & 21.2 & 21.8 & 17.2 & 16.3 & 18.5 \\

表 13 その他の現象の修正 (e) の細分類ごとの BLEU スコアの違い

 &  \\

$\mathrm{LT}_{\mathrm{AR}}$ & 69.6 & 83.0 \\

表 14 省略の修正 (b) を含むかどうかによる SARI スコアの違い

 &  \\

$\mathrm{LT}_{\mathrm{AR}}$ & 71.3 & 83.6 \\

表 15 冗長な表現の修正 (c)を含むかどうか による SARI スコアの違い

表 16 文の概念がないことに関連する現象の修正 (d) を含むかどうかによる SARI スコアの違い

 &  &  \\

$\mathrm{LT}_{\mathrm{AR}}$ & 84.0 & 71.6 & 96.3 \\

表 17 語彙的な現象の修正 (a), その他の現象の修正 (e)を含むかどうかによるSARI スコアの違い

ら 17 に示す. 語彙的な現象 (a), その他の現象 (e)のようなパターンマッチに近い修正は $\mathrm{LT}_{\mathrm{FF}}$ が優れている一方，それ以外の修正では $\mathrm{LT}_{\mathrm{AR}}$ のほうが精度が高いことがわかる。

## 6 おわりに

本研究では日本語の話し言葉と書き言葉の違いに着目し, 両者の違いを表すデータセットを 構築した上で，話し言葉から書き言葉に自動で変換する手法を用いて日英翻訳の精度が向上す ることを示した. さらに，どのような違いが翻訳精度に影響するのかを定量化した.

今後の課題として, 本研究では取り扱わなかったが, 音声認識に誤りがある場合はそれがそ のまま英訳されてしまう問題がある。今回のように翻訳の前処理としてそれらを修正したり，翻訳モデルを誤りに対してロバストにすることで対処するか，音声から直接翻訳テキストを生成する手法によりこれを解決できる可能性がある.

## 謝 辞

本研究は, 科研費\#19K20343 の助成を受けたものです.また, 京都大学における講義翻訳プ ロジェクトを立ち上げられた大嶋 正裕 工学部長とシステムとコーパス構築にご協力いただい た株式会社アドバンスド・メディアに感謝申し上げます.

## 参考文献

秋田祐哉, 三村正人, 河原達也 $(2010)$. 会議録作成支援のための国会審議の音声認識システム.電子情報通信学会論文誌, 93-D (9), pp. 1736-1744. [Y. Akita et al. (2010). An Automatic Transcription System for Creation of Meeting Records in the Japanese Congress. Denshi Joho Tsushin Gakkai Ronbun-shi, 93-D(9), pp. 1736-1744.].

Jia, Y., Weiss, R. J., Biadsy, F., Macherey, W., Johnson, M., Chen, Z., and Wu, Y. (2019). "Direct Speech-to-Speech Translation with a Sequence-to-Sequence Model." In Proceedings of the Interspeech 2019, pp. 1123-1127.

国立国語研究所 (2006). 日本語話し言葉コーパスの構築法. 国立国語研究所. [Kokuritsu Kokugo Kenkyu-jo (2006). Nihongo Hanashi-kotoba Kopasu No Kochiku-ho. Kokuritsu Kokugo Kenkyu-jo.].

Liu, Y., Xiong, H., Zhang, J., He, Z., Wu, H., Wang, H., and Zong, C. (2019). "End-to-End Speech Translation with Knowledge Distillation." In Proceedings of the Interspeech 2019, pp. 1128-1132.

前川喜久雄 (2004). 『日本語話し言葉コーパス』の概要. 日本語科学, 15, pp. 111-133. [K. Maekawa (2004). "Nihongo Hanashi-kotoba Kopasu" No Gaiyo. Nihongo Kagaku, 15, pp. 111-133.].

Malmi, E., Krause, S., Rothe, S., Mirylenka, D., and Severyn, A. (2019). "Encode, Tag, Realize: High-Precision Text Editing." In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 5054-5065, Hong Kong, China. Association for Computational Linguistics.

Müller, M., Nguyen, T. S., Niehues, J., Cho, E., Krüger, B., Ha, T.-L., Kilgour, K., Sperber, M., Mediani, M., Stüker, S., and Waibel, A. (2016). "Lecture Translator - Speech Translation Framework for Simultaneous Lecture Translation." In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Demonstrations, pp. 82-86, San Diego, California. Association for Computational Linguistics.
尾嶋憲治, 河原達也, 秋田祐哉, 内元清貴 (2008). 話し言葉の整形作業における削除箇所の自動同定. 情報処理学会研究報告. NL, 自然言語処理研究会報告, 185, pp. 85-91. [K. Osaki et al. (2008). Automatic Detection of Portions to be Deleted during Cleaning Transcripts. Joho Shori Gakkai Kenkyu Hokoku. NL, Shizengengo Shori Kenkyukai Hokoku, 185, pp. 85-91].

Post, M. (2018). "A Call for Clarity in Reporting BLEU Scores." In Proceedings of the 3rd Conference on Machine Translation: Research Papers, pp. 186-191, Belgium, Brussels. Association for Computational Linguistics.

Raffel, C., Shazeer, N., Roberts, A., Lee, K., Narang, S., Matena, M., Zhou, Y., Li, W., and Liu, P. J. (2020). "Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer." Journal of Machine Learning Research, 21 (140), pp. 1-67.

坂本明子, 田中浩之 (2015). 話し言葉機械翻訳のための日本語前編集. 言語処理学会第 21 回年次大会発表論文集, pp. 4-11. [A. Sakamoto and H. Tanaka (2015). Hanashi-kotoba Kikai Honyaku No Tame No Nihongo Mae-henshu. Preceedings of the 21st Annual Meeting for the Association for Natural Language Processing, pp. 4-11.].

Salesky, E., Burger, S., Niehues, J., and Waibel, A. (2018). "Towards Fluent Translations From Disfluent Speech." In Proceedings of the 2018 IEEE Spoken Language Technology Workshop (SLT), pp. 921-926.

柴田知秀, 河原大輔, 黒橋禎夫 (2019). BERT による日本語構文解析の精度向上. 言語処理学会第 25 回年次大会発表論文集, pp. 205-208. [T. Shibata et al. (2019). BERT Ni Yoru Nihongo Kobun Kaiseki No Seido Kojo. Preceedings of the 25st Annual Meeting for the Association for Natural Language Processing, pp. 205-208.].

島津明, 中野幹生, 堂坂浩二, 川森雅仁 (2014). 話し言葉対話の計算モデル（1 版）. コロナ社.

[A. Shimatsu et al. (2014). Hanashi-kotoba Taiwa No Keisan Moderu. Korona-sha.].

須藤克仁，林輝昭，西村優汰，中村哲 (2019). 授業アーカイブの翻訳字幕自動作成システムの試

作. 情報処理学会研究報告. NL, 自然言語処理研究会報告, 2019 (15), pp. 1-4. [K. Suto et al. (2019). Jugyo Akaibu No Honyaku Jimaku Jido Seisei Sisutemu No Shisaku. Joho Shori Gakkai Kenkyu Hokoku. NL, Shizengengo Shori Kenkyukai Hokoku, 15, pp. 1-4.].

田中佑, 黒橋禎夫. BART 日本語 Pretrained モデル. https://nlp.ist.i.kyoto-u.ac.jp/?BART 日本語 Pretrained モデル. [Y. Tanaka and S. Kurohashi (2020). BART Nihongo Pretrained Moderu.].

Vaswani, A., Bengio, S., Brevdo, E., Chollet, F., Gomez, A., Gouws, S., Jones, L., Kaiser, Ł., Kalchbrenner, N., Parmar, N., Sepassi, R., Shazeer, N., and Uszkoreit, J. (2018). "Tensor2Tensor for Neural Machine Translation." In Proceedings of the 13th Conference of the Association for Machine Translation in the Americas (Volume 1: Research Track), pp. 193-199,

Boston, MA. Association for Machine Translation in the Americas.

Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., and Polosukhin, I. (2017). "Attention Is All You Need." In Guyon, I., Luxburg, U. V., Bengio, S., Wallach, H., Fergus, R., Vishwanathan, S., and Garnett, R. (Eds.), Proceedings of the Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc.

Wang, W., Tur, G., Zheng, J., and Ayan, N. F. (2010). "Automatic Disfluency Removal for Improving Spoken Language Translation." In Proceedings of the 2010 IEEE International Conference on Acoustics, Speech and Signal Processing, pp. 5214-5217.

Xu, W., Napoles, C., Pavlick, E., Chen, Q., and Callison-Burch, C. (2016). "Optimizing Statistical Machine Translation for Text Simplification." Transactions of the Association for Computational Linguistics, 4, pp. 401-415.

## 略歴

中尾亮太：2018 年京都大学工学部電気電子工学科卒業. 現在, 京都大学大学院情報学研究科修士課程に在籍. 言語処理学会学生会員.

Chenhui Chu: 2015 年に京都大学大学院情報学研究科博士課程修了. 博士（情報学). 2020 年より 同研究科特定准教授. 機械翻訳, 自然言語処理の研究に 従事. 言語処理学会, 情報処理学会, 人工知能学会, ACL, 各会員.

黒橋 禎夫：1994 年京都大学大学院工学研究科電気工学第二専攻博士課程修了.博士 (工学)。2006 年より京都大学大学院情報学研究科教授. 自然言語処理,知識情報処理の研究に従事. 2014 年より日本学術会議連携会員.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 映画推薦対話を具体例とした話者內部状態の 推定による対話管理

児玉 貴志†・田中リベカ†・黒橋 禎夫
}

人間と機械の間の新たなインターフェースとして知的な対話システムの実現が期待 されている。知的な対話システムは対話中の話者の内部状態を推測し, その結果に 応じて適切に応答を変更する必要がある。本研究では映画推薦対話を具体例として，対話中の話者内部状態のモデル化とその話者内部状態を踏まえて応答を変更する対話システムの構築に取り組む。映画推薦をドメインとした対話システムを構築し，対話収集を行う. 収集した対話データの分析に基づき，話者内部状態を話題に関す る知識の有無, 話題への興味の有無, 対話意欲の有無の 3 つの軸でモデル化する。モ デル化した話者内部状態を収集した対話データにアノテートし，これを学習データ として話者内部状態の自動推定を行った結果, 高い推定精度を達成した。また, 各話者内部状態に応じてシステムの応答を変更するルールを設計する．学習した話者内部状態推定器を用いて各話者内部状態を判定し, 対話システムの応答を変更する ことでシステム発話の自然さが向上することを対話単位での評価と発話単位での評価の両方で確認した。

キーワード：対話システム，話者内部状態，知識，興味，対話意欲
## Dialogue Management by Estimating User's Internal State Using the Movie Recommendation Dialogue

\author{
Takashi Kodama ${ }^{\dagger}$, Ribeka Tanaka $^{\dagger}$ and Sadao Kurohashi ${ }^{\dagger}$
}

Intelligent dialogue systems are expected to be a new interface between humans and machines. An ideal intelligent dialogue system should estimate the user's internal states and incorporate the estimation results into its response appropriately. In this paper, we focus on the movie recommendation dialogues and propose a dialogue system that considers the user's internal state. First, we build a movie recommendation dialogue system and collect dialogue data. Based on the analysis of the collected dialogue data, we model and annotate the user's internal states in three aspects: knowledge, interest, and engagement. Second, we train the user's internal state estimators on the dialogue corpus with the annotations of the user's internal states. The trained estimator achieved high accuracy on the annotated corpus. Further, we design a set of rules that modify the system's responses according to each user's internal state. We confirmed that the response modifications based on the results of

the user's internal state estimator improve the naturalness of the system utterances in both dialogue evaluation and utterance evaluation.

Key Words: Dialogue System, User's Internal State, Knowledge, Interest, Engagement

## 1 はじめに

近年深層学習を利用した対話システムが注目を集めており，大規模デー夕を活用する対話研究が活発に行われている (Adiwardana et al. 2020; Smith et al. 2020). 現在主流の対話システ ムは大規模データをもとにして入力発話に対して尤もらしい応答を出力するように学習を行う. しかし, 同じ入力発話であっても相手の発話意図によって応答すべき内容は異なる．つまり，対話システムは話者の意図を理解・解釈した上でその解釈した結果に応じて発話を行うべきであ ると考えられる。本研究では話者の意図理解に向けて, 対話中の話者内部状態を取り扱い，以下の 2 つの課題に取り組む.

(1) 話者内部状態のモデル化

(2) 話者内部状態を踏まえた応答変更

一般に現実の対話ではたとえ雑談であっても「対話を通して情報を伝達する」や「相手に何 らかの影響を与える」などの一定の目的がある。 そしてその一貫した目的のもと, 複数ターン のやり取りの中で情報が授受されることが自然である。 つまり，話者内部状態のモデル化の際 には複数ターンのやり取りがあり，かつ対話の目的がその中で一貫している対話データが必要 になる。ただ，人間同士の対話は互いの意図が交錯するため，内部状態の分析・モデル化の題材にするのは難しい，一方，近年の深層学習による対話システムと人間の対話は一問一答レべ ルでは適切な応答ができるものの，複数ターンの対話になると多くの課題が表出する上，その 対話には一貫した目的が存在しない場合がほとんどである.

そうした背景から本研究では，映画推薦をドメインとするルールベースの対話システムを構築し, 対話システムと人間との目的の一貫した複数ターンの対話データの収集を行う。本研究 の全体の流れを図 1 に示す. 収集した対話データの分析に基づいて，対話中の話者内部状態を 以下の 3 つの軸でモデル化する。
- 知識：話題に関する知識があるかどうか
- 興味：話題への興味があるかどうか
- 対話意欲：対話に対して積極的に参加しているかどうか

話者の知識や興味を理解することで適切な情報提供や話題変更を行える。また，対話意欲を考慮することで，例えばユーザの対話意欲が高い場合は聞き役に徹するようにするなど，対話シ ステムが適切な振る舞いができるようになる.

モデル化した話者内部状態を収集した対話データにアノテートし，これを学習データとして

図 1 本研究の流れ

話者内部状態の自動推定を行った. その結果，いずれの内部状態においても 7 值スケールで $\pm 1$ のずれを許した場合，約 80 ～ $85 \%$ と高い推定精度を達成した。

また，話者内部状態の自動推定結果に応じた対話システムの応答の変更にも取り組む．具体的には，知識，興味，対話意欲のそれぞれについてその有無に応じた応答変更のルールを追加で 用意する．話者内部状態を自動で推定し，その推定結果に応じて応答変更を行った場合にシス テム発話の自然さが向上することを, 対話単位での評価と発話単位での評価の両方で確認した。

本研究の貢献は以下の 2 点である.

・ 発話ごとにユーザ内部状態（知識，興味，対話意欲）を付与した 1 万発話規模のテキス ト対話コーパスを構築した。
- ユーザ内部状態を自動推定し, その推定結果に応じてシステム発話を変更することの有効性を実証的に示した。

## 2 関連研究

対話においては，発話自体の内容を理解するのは勿論のこと，それを発話した話者の状態を 理解することが重要である。ここでは発話の背後にある話者の内面の状態を「話者内部状態」 と呼び，知識・興味・対話意欲の 3 つに注目する.

関連する概念として，対話行為 (Stolcke et al. 2000) がある. 対話行為は, 対話中の発話を 「質問」「情報提供」「約束」といった心理的・社会的な何らかの効果を引き起こす行為として分類したものであり (中野他 2015), 対話における話者の意図や目的の理解に広く用いられてい る (Bunt et al. 2012). 対話行為が発話のもたらす効果に注目しているのに対し, 本研究で取り 扱う話者内部状態は，その行為を選択するに至った話者の，より原始的な内面の状態である.
感情は対話研究において積極的に活用が検討されてきた話者内部状態であり，発話からの感情の推定や，感情を踏まえた発話生成の研究が盛んに行われている。徳久他 (2009) は Web か ら獲得したコーパスを用いて発話から「嬉しい」「楽しい」などの 10 種類の感情の推定を行っ た. 感情を踏まえた発話生成の研究では, Tweet 中の顔文字を感情のアノテーションとみなす ことで感情を反映した発話生成を行う手法 (Zhou and Wang 2018) や, 感情の明示的表現と暗示的表現に着目し, 特定の感情を発話に反映する手法が提案されている (Song et al. 2019).

一方で，話者の発話だけからでは陽には読み取れない情報に着目したものとして，ペルソナ (Li et al. 2016; Zhang et al. 2018) がある. ペルソナは話者の年齢や性別といった個人的な背景 やそれに基づく話し方などを指す。ユーザごとに ID 番号を割り振ることで話者の違いを学習 する手法 (Li et al. 2016)や，ユーザの属性を短文数文程度にまとめることでペルソナのモデル 化を行ったものがある (Zhang et al. 2018).

このような感情とぺルソナの活用は主に対話システム側の応答を豊かにすることを目的とし ており，本研究の話者の意図理解とは目的が異なる.

ユーザの知識・興味・対話意欲について着目した研究もなされている. 宮崎 他 (2017) はコー ルセンタの音声対話を具体例として知識量推定に有効な言語的・対話的特徴量について調査を 行っている。またその調査に基づき, 対話全体から話者の知識量を推定し, 知識の少ない話者 の対話を抽出する手法を提案している.

興味については, マルチモーダル情報を利用して興味を推定する研究がある (冨増, 荒木 2016;松本, 荒木 2018; 西本他 2018). また, Wizard-of-Oz 法を用いて収集したマルチモーダル対話 に，話題への興味の有無をアノテートしたデータについて分析した研究もある (荒木 他 2017;駒谷 他 2018). テキスト対話からユーザの興味を推定する研究としては, 人間同士の雑談対話 において，発話から決められたトピックについての興味の度合いを推定した研究がある (Inaba and Takahashi 2018). Inaba and Takahashi (2018)は対話終了後に各被験者に 24 種類のトピッ クの興味の度合いを選択させることで 1 つの対話と 24 種類の各トピックの興味の度合いの紐付 けを行っている.

対話意欲では千葉 他 (2015) がマルチモーダル対話データを分析し, 提示された質問や話題 に対する話者の対話全体での対話意欲の有無を 70 ～80\%で推定できることを示した．Ishihara et al. (2018) は同様にマルチモーダル情報を用いてインタビュー対話から話者の対話意欲の有無を推定した。

これらの先行研究では知識，興味，対話意欲のいずれか 1 つの推定に取り組んでいるが，本研究では 3 つの話者内部状態を同時に取り扱う。また, これらの内部状態は対話の中で刻々と変化していくと考えられるため，対話のターンごとに推定を行う。そして，その推定結果によっ て応答を適切に変更することで，ユーザの内部状態を解釈して自然な応答を行える対話システ ムを構築する。

図 2 映画推薦対話システムの概要図

## 3 映画推薦対話システムの構成

話者内部状態の観察・分析のためには一貫した目的を持って複数ターンにわたって対話を続 ける対話システムが必要となる。そこで映画推薦を目的としたルールベースの対話システムを 構築した (図 2).

本システムでは，いくつかのテンプレートを用意し，予め映画ごとにシステム発話の内容を 作成しておく，この発話集をシナリオと呼ぶ，映画データベースはこのシナリオと，簡単な質問応答の際に必要な映画情報を保持する。対話管理はダイアログマネージャが担い，必要に応 じて映画データベースに格納された映画情報を参照しながら対話を進める。本システムによる 対話例を例 (1) に示す.

(1) S1: ファッションって興味ありますか？

$U 1:$ 興味ありますよ

S2: ファッションに関係のある映画があるんです.「マイ・インターン」というタイトル です.

$U 2$ : タイトルは聞いたことあるような気がします.

$S 3$ : 素晴らしいの一言ですよ.

U3: そうなんですね.

S4: ロバート・デニーロは優しくカッコいい紳士，憧れますよ．

$U 4:$ それはいいですね

$S 5:$ 是非見てみてください

## 3.1 対話戦略

現在の技術レベルでもある程度自然で意味のある映画推薦対話が可能となるように，本シス

テムは以下の 3 つの対話戦略に基づき動作する.

（1）システム主導システムはユーザ発話に対する簡単な応答をしつつ，基本的にはシナリオ 通りに主導的に対話を進める。

(2) 間接的話題導入 システムは対話のメインの話題である映画のタイトルをいきなり言うの ではなく, 以下の 3 つのパターンのいずれかを用いてその周辺の話題から対話を始める（下線部は映画によって異なる.)

$\mathrm{T} 1 ：$ 最近のエンタメニュース

（例）俳優の染谷将太と女優の菊地凛子夫妻に第 2 子が誕生したことが 11 日までに わかったと話題です

## T2：映画のテーマ

(例) 飛行機って興味ありますか?

T3：映画情報（俳優の名前など）

（例）細田守監督をご存知ですか？

（3）推薦ポイント 推薦する映画を褒める文（推薦ポイント）を複数回発話することで, ユー ザがその映画を見たいと思えるように念押しする。

## 3.2 映画データベース

映画データベースには 213 作品の基本情報, 解説・あらすじ, ニュース情報, レビュー, シナ リオがそれぞれ格納されている。基本情報, 解説・あらすじ，レビューは映画レビューサイト 1 から Webスクレイピングで取得した，基本情報は映画のタイトル，キャスト，スタッフ，ジャ ンルなどの情報である。レビューは，映画レビューサイトのユーザが映画の感想や評価などを 書き込んだ文章であり，各映画につき高評価順に 300 件ずつ取得した。ニュース情報は，エン タメとスポーツのニュースをニュースサイトから Web スクレイピングで取得した. このニュー ス情報は 3.1 節で述べたパターン T1 のシナリオの作成に用いる.

## 3.3 対話シナリオ

シナリオは対話戦略に沿って映画ごとに複数作成した. シナリオの前半部分では，間接的に 話題を導入し，推薦映画を提示する。間接的話題導入の発話は, 3.1 節で述べた 3 つのパターン $\mathbf{T 1}$ T3に基づき, 映画データベース中の情報を用いて生成する.

パターン T1では, 最近のエンタメニュースの話題で対話を始め, そのニュースの登場人物 の出演映画を推薦する，映画データベースのニュース記事の最初の 1 文を抽出し，キャストの 名前が含まれていたら，「＜最近のエンタメニュースの 1 文目＞というニュースが話題になって

いますね」と発話する。

パターン T2では, 映画のテーマを用いて「<テテマ>って興味ありますか？」といった文 で対話を始める．映画のテーマは映画データベースの解説・あらすじからキャスト・スタッフ 等の人名を取り除いた上で tf-idf のスコアが最も高い名詞を選択する。ただし，一般的な語が テーマとして使用されるのを防ぐために, tf-idfの最高値が 0.35 を下回った場合には, その映画 についてはパターン T2 のシナリオは作成しない.

パターン T3では, 映画データベースの基本情報に含まれている主要キャスト 2 名と監督の 名前を用いて「<人名＞さんってご存知ですか？」といった発話から対話を始め，その人物に 関連する映画を推薦する。

シナリオ後半部分では, 各映画のレビューから抽出した 2 つの推薦ポイント文を発話する. まず，レビューの文章を文単位で分割する，次にレビュー文は口調が統一されていないため, Juman++辞書2を用いて語尾を活用させ, 丁寧口調（「です」または「ます」）に変換したのち，語尾に情報提供の口調の「よ」を追加する。 さらに，映画を褒めている，かつある程度の長さ の文を選ぶ，具体的には，まず独自に選んだ映画に関連するポジディブな単語（「傑作」，「面白 い」など） 50 語の単語べクトルの和と各文の単語ベクトルの和のコサイン類似度を計算し, 類似度と各文の文字数をかけ合わせたスコアを用いてスコア上位 100 文を抽出する. これを各映画について行い，各シナリオでは 100 文の中からランダムに 2 文を用いる。なお，単語べクト ルは Webテキスト約 98 億文で学習した word2vecを用いた.

最後に視聴を促す発話を以下の５つからランダムに選択する。
- 是非見てみてください
- 是非ご覧下さい

・良かったら見てみてはいかがですか？
- 面白い作品なのでぜひ見て頂きたいです

$\cdot$きっと楽しめると思いますよ

## 3.4 ダイアログマネージャ

ダイアログマネージャは，映画データベースの情報を参照しつつ，推薦映画の決定やシナリ オの選択, シナリオに基づく発話を行う。

推薦映画の決定はユーザの好みを尋ねてからその返答に応じて決定する方式とランダムに決定する方式の 2 つを用意し, その割合を $8: 2$ とした. ユーザの好みを尋ねる際に用いる質問（=初期質問）は以下からランダムに選択する。

$\cdot$ 好きな俳優は誰ですか?

$\cdot$ 好きな女優は誰ですか？

・ 好きな監督は誰ですか？

・ 好きなジャンルは何ですか？

・ 邦画と洋画どちらが好きですか？

初期質問をする場合には，例えばユーザが好きな女優を挙げたら，その女優が出演する映画 の中から推薦映画を選ぶ．その後，用意されているシナリオから 1 つ選択し，そのシナリオに 基づいて発話を行う．ユーザの発話からの人物名の抽出は正規表現によるマッチングを用いる. ユーザが「いない」等と答えた場合や，初期質問をしない場合には，推薦映画をランダムに決定する。

推薦映画の主演キャスト，他のキャスト，監督の名前やジャンルなどの簡単な質問をユーザ がした場合には，映画情報データベースを参照してその応答を通常のシステム発話の前に插入 する。質問であるかどうかの判定には NTTコミュニケーションズが提供する COTOHA API ${ }^{3}$ を用いた。COTOHA APIでは文タイプを平叙文，疑問文，命令の中から判定することができ る。本研究ではユーザ発話の文タイプが疑問文である発話を質問とみなし，質問の種類の判定 は正規表現ベースでマッチングを行う.

## 3.5 話者内部状態による応答変更

本節では話者内部状態推定器の推定結果に応じてシステムの応答を変更するルールについて 説明する。話者内部状態推定器は以下の 3 つの手続きにより作成する.

(1) 3.1 節から 3.4 節までで述べた要素によって構成された映画推薦対話システムで対話を収集（詳細は 4.1 節）

（2）収集した対話に知識，興味，対話意欲のアノテーションを行い対話コーパスを構築（詳細は 4.3 節)

(3) 構築した対話コーパスを用いて話者内部状態推定器を学習（詳細は 5.1 節）

本システムは予めシステム発話の内容が決められたシナリオに基づいて対話を進める。その ため，各話者内部状態の対象（「何に対して知識があるのか」，「何に対して興味がないのか」な ど）を前のシステムの発話からある程度想定することができる。そこで知識・興味・対話意欲 の有無とそのそれぞれの対象に応じて適切な応答を予め用意しておく. 表 1 に話者内部状態夕 イプと各応答変更の概要を示す。話者内部状態推定器により各話者内部状態を推定し, 用意し た適切な応答に変更することでシステム発話がより自然な応答となることを目指す.

## 3.5.1 知識の有無による応答変更

知識の有無による応答変更には以下の 4 タイプを用意する。応答変更の判断基準となるユー

表 1 話者内部状態による応答変更一覧

ザ発話には隅付き括弧内にそのユーザ発話の知識の有無を記す.

1. 人物の知識がない 間接的話題導入のパターン T3 の発話の直後のユーザ発話から知識がな いことがわかる場合，ユーザはその人物を知らないと考えられる。この場合はその人物につい ての簡単な説明文を次の発話の前に插才する。説明文はその人物についての Wikipedia 記事の 第一文目を活用する。Wikipedia 記事の取得には MediaWiki API を使用した。具体例を例 $(2)$ に示す. $S_{\text {before }}$ と $S_{\text {after }}$ はそれぞれ応答変更をしなかった場合と応答変更をした場合のシステ 么発話を指す。また，主な変更点を $S_{\text {after }}$ の下線部に示す.

(2) $\quad S: \quad$ ジョージ・ルーカスさんをご存知ですか？

$U:$ 良く分かりません。【知識なし】

$S_{\text {before: }}$ :ショージ・ルーカスさんが監督をされている映画があります。「スター・ウォー ズ」というタイトルです。

$S_{a f t e r}$ : ジョージ・ルーカスさんはアメリカの映画監督、映画プロデューサー、脚本家 です。ジョージ・ルーカスさんが監督をされている映画があります。「スター・ ウォーズ」というタイトルです。

2. 映画の知識がない 映画のタイトルを提示した直後のユーザ発話から知識がないことがわか る場合, ユーザはその映画を知らないと考えられる。この場合, 例 (3)のようにその映画につ いての情報を次の発話の前に補足する。本研究では補足する情報として映画の公開年度を使用 した.

(3) $S:$ 好きな女優は誰ですか？

$U: \quad$ 綾瀬はるかさんです

$S:$ では綾瀬はるかさんが出演している映画を紹介しますね
^{4}$ https://www.mediawiki.org/wiki/API:Main_page/ja
}
$U:$ お願いします

$S: \quad$ 「本能寺ホテル」という映画です

$U:$ 知らないです。【知識なし】

ていること、そして過去の人々のお陰で現在の平和があることを示唆していま すよ

$S_{a f t e r} ２ 2017$ 年に公開された作品です。最後の京都の現在の町と過去が交差する景色は、人の営みと思いは綿々と繋がっていること、そして過去の人々のお陰で現在の平和があることを示唆していますよ

3. 映画の知識がある 映画のタイトル提示および 1 つ目の推薦発話の直後のユーザ発話に知識 がある場合，ユーザがその映画を知っていると考えられるため，その次の発話の語尾を情報提供の口調の「よ」から同意口調の「よね」に変更する（例 (4)）．映画のタイトル提示直後と 1 つ目の推薦発話直後の応答変更はそれぞれ独立に知識の有無を判定して行われる.

(4) $S:$ 好きな俳優は誰ですか？

$U: \quad$ 藤原竜也

$S: \quad$ では藤原竜也さんが出演している映画を紹介しますね

$U:$ はい、お願いします

$S: \quad$ 僕だけがいない街」という映画です

$U:$ はい、D V Dで鑑賞しました【知識あり】

いメッセージがこめられていて感動しますよ

いメッセージがこめられていて感動しますよね

4. 映画の深い知識がある 例 (5) に示すように映画のタイトル提示および 2 つの推薦発話の直後の全てで知識がある場合，ユーザはその映画を既に見たことがあると想定し，最後の視聴を 促す発話をユーザに視聴経験があると想定した発話に変更する。変更する発話は以下の 2 つか らランダムに選択する。

・ また見てみてはいかがですか
- 是非もう一度見てみてください

(5) $S: \quad$ 好きな女優は誰ですか？

$U: \quad$ 薬師丸ひろ子
$S: \quad$ じゃあ薬師丸ひろ子さんが出演している作品を紹介しますね

$U: \quad$ よろしくお願いします

$U:$ よく知っていますね【知識あり】

$S:$ 設定のせいもあるかもしれないけど、やっぱり、本物の役者さんって言うのは、凄いのだと、改めて感じますよね

$U:$ 年季を感じますね【知識あり】

$S:$ 数ちゃんと新谷君の心が近づいていって結ばれる軸となるエピソードに、ほっと 心が温まりますよね

$U:$ 私もです【知識あり】

$S_{\text {before }}$ 面白い作品なのでぜひ見て頂きたいです

$S_{\text {after }}$ : 是非もう一度見てみてください

## 3.5.2 興味の有無による応答変更

興味の有無による応答変更には以下の 3 タイプがある。応答変更の判断基準となるユーザ発話には隅付き括弧内にそのユーザ発話の興味の有無を記す。

5. ニュースに興味がない 間接的話題導入のパターン T1 の発話の直後に興味がない場合，提示したニュースに興味がないと考えられる。ただ、ニュースに興味がない場合でも映画に興味 を示すことは考えられるため，そのまま映画を推薦する。その際，ユーザの発話を無視したと いう印象を薄くするため，例 (6) に示すように以下のいずれかの発話からランダムに選択した 発話を次の発話の前に挿入する.
- 結構評判みたいですよ。

・ 結構話題になっているみたいなのですが,

(6) $S$ : 俳優の木村拓哉と歌手の工藤静香の長女・Co c o m i が 26 日、自身のインス タグラムを更新し、久々に外出したことをつづったと話題となっています

$U:$ そうなん【興味なし】

$S_{\text {before }}$ 木村拓哉さん、「無限の住人」という映画に出演されています

$S_{a f t e r}$ ：結構評判みたいですよ。その木村拓哉さん、「無限の住人」という映画に出演され ています

6. テーマに興味がない 間接的話題導入のパターン $\mathrm{T} 2$ の発話の直後に興味がない場合, その 映画のテーマに興味がないと考えられる，映画のテーマに興味がない場合，映画についても興味を示さないことが想定されるため，推薦する映画を変更する，その際にユーザの好みを把握 するため, 例 (7)のように初期質問を行う。この初期質問は 3.4 節で述べた 5 つからランダムに
選択する。

(7) $S: \quad$ タイムトラベルって興味ありますか？

$U: \quad い え 、 あ ま り$ 興味ありません【興味なし】

$S_{\text {before }}$ : タイムトラベルに関係のある映画があります。「アバウト・タイム愛おしい時間 について」というタイトルです

$S_{a f t e r}$ そうなんですね。では好きな映画監督は誰ですか？

7. 人物に興味がない 間接的話題導入のパターン T3の発話の直後に興味がない場合, その映画の監督または主要キャストに興味がないと考えられるため, 初期質問を行って推薦する映画 を変更する。このとき，例 (8)のように女優（俳優/監督）の名前から対話を始めた場合は好き な女優（俳優/監督）を尋ねる初期質問を行う.

(8) $\quad S: \quad$ サンドラ・ブロックさんをご存知ですか？

$U:$ 知っていますが、あまり興味はないです。【興味なし】

$S_{\text {before: }}$ サンドラ・ブロックさんが声優をしている映画があります。タイトルは「ミニオ ンズ」です。

## 3.5.3対話意欲の有無による応答変更

対話意欲の有無による応答変更は以下の1タイプである。応答変更の判断基準となるユーザ 発話には隅付き括弧内にそのユーザ発話の対話意欲の有無を記す.

8. 対話意欲がない 2 回目の推薦発話の直後に対話意欲がない場合, これまでの推薦の効果が 薄いと考えられるため，視聴を促す発話を控えめな言い回しである以下のいずれかの発話から ランダムに選択して変更する。例 (9) に具体例を示す.
- 騙されたと思って見てみてはいかがですか
- 見てみたら意外と面白いかもしれませんよ

(9) $\quad S:$ ヘイリー・アトウェルさんをご存知ですか？

$U:$ しらないな。

$S:$ ヘイリー・アトウェルさんはイングランド生まれの女優です。へイリー・アト ウェルさんが出演されている映画があります。タイトルは「プーと大人になった 僕」です。

$U:$ そうなんですね。

$S:$ はい、プーだけじゃなくて、イーヨーやピグレット、他のキャラたちも、声に魅
力があるし、ユアンマクレガーのイギリス人らしいイントネーションも、原語な らではの雾囲気ですよ

$U: \quad$ へ

$S:$ クリストファーロビンに邪魔者扱いされ、悲しそうな顔から、最後は絆を取り戻 せて幸せそうな表情に変わるプーさんがキュートすぎてたまりませんよ

$U:$ そうですか。【対話意欲なし】

$S_{\text {before }}$ 是非見てみてください

$S_{a f t e r}$ : 見てみたら意外と面白いかもしれませんよ

## 4 コーパス構築

まず，話者内部状態による応答変更を行わないシステムで対話を収集し（4.1 節），話者内部状態のモデル化を行う（4.2 節)，そして，収集した対話にモデル化した話者内部状態のアノテー ションを行う（4.3 節)。

## 4.1 学習・分析用対話収集

本システムを用いてクラウドソーシング5で対話を収集した。 ワーカーには事前に, 213 作品 の中から対話的に映画を薦めるシステムとの対話であることを伝えている。対話はシステム側か ら開始し，ワーカーが返答するという順で進める。最後はシステム側の発話で対話を終了する.

対話システムは外部サイトとして用意し，ワーカーはクラウドソーシングのタスク画面内の 対話システムの URLをクリックし，外部サイトで対話を行う。また，対話終了後にクラウド ソーシングのタスク画面上で以下の 5 段階評価のアンケートに回答する.

(1) 説得度: 推薦された映画を見たくなりましたか?

$\{5$ :見たい，4:どちらかと言えば見たい，3:どちらとも言えない，2:どちらかと言えば見た くない, 1:見たくない\}

(2) 流れの自然さ: 対話の流れは自然でしたか?

\{5:自然だった，4:どちらかと言えば自然だった，3:どちらとも言えない，2:どちらかと言 えば不自然だった，1:不自然だった $\}$

外部サイト上でワーカー固有の ID を表示し, クラウドソーシングの回答欄に入力してもらう ことで対話とアンケート結果の紐付けを行う，収集した対話例を表 2 の「対話」列に，その統計情報を表 3 に示す。全部で 1,060 対話を収集した。また，アンケート結果を表 4 に示す。説得度について $51.7 \%$, 流れの自然さについて $60.3 \%$ の対話が 4 以上の評価を獲得した. この結
^{5}$ http://crowdsourcing.yahoo.co.jp/
}

} \\

表 2 対話コーパス例（対話コーパスは対話を収集したのち，別途話者内部状態をアノテートすることで 作成. )

表 3 収集対話の統計情報（参加ワーカー数は Yahoo!クラウドソーシングの会員 ID で区別して計算. 形態素分割には Juman++ (Tolmachev et al. 2020)を使用)

表 4 学習・分析用対話のアンケート結果

果から本システムが映画推薦という対話の目的を十分に達成しながら，ある程度自然な対話を 実現できていることを確認できた。

## 4.2 話者内部状態のモデル化

前節で収集した対話を用いて，より自然な対話を実現するために必要な要素について分析を
行った. その結果, 話者の「知識」・「興味」・「対話意欲」の 3 つの内部状態を把握し，それぞ れの内部状態の有無に応じて適切な応答を行うことが対話の自然さの向上につながると考えた.先行研究においては，知識，興味，対話意欲のそれぞれの重要性は示唆されているものの (宮崎他 2017; Inaba and Takahashi 2018; 千葉 他 2015)，各々を独立に取り扱っている. たた，これ らの内部状態を統合的に考慮することで，話者の内部状態をより豊かに表現でき，より詳細な 話者の意図理解につながると考えられる。

また，本研究で提案する話者内部状態モデルは，それぞれの内部状態が旅行や音楽などの複数の話題があるインタビュー対話 (千葉 他 2015) や雑談対話 (Inaba and Takahashi 2018) など で取り扱われていることから，今回の映画推薦のドメインに依存せず，雑談を含む他のドメイ ンにおいても汎用的に活用できると考えられる.

本研究で用いる各話者内部状態の定義は以下の通りとする.

・ 知識：話題に関する知識があるかどうか
- 興味：話題への興味があるかどうか
- 対話意欲：対話に対して積極的に参加しているかどうか

なお本研究では，システムの発話によってユーザの内部状態は刻々と変化すると考えられるた め, ユーザが発話するごとにその内部状態を考慮する。

## 4.3 話者内部状態アノテーション

クラウドソーシングを用いて，収集した対話の全てのユーザ発話に話者内部状態をアノテー トする。アノテータは対話履歴を見ながら，各ユーザ発話から読み取れる知識・興味・対話意欲の有無をアノテートする．話者内部状態のアノテーションはあり/なしの 2 値 (Yoshino and Kawahara 2015; Inoue et al. 2018), もしくはあり/どちらでもない/なしの 3 値 (荒木 他 2017) で行われることが多いが，本研究では有無を断定できない発話があることを考慮し， 3 値での アノテーションを行う。アノテータは以下に示す 3 段階の選択肢（それぞれが 1 点, 0 点, -1 点に対応）から設問に対して最も適切なものを選択する。

設問： 発話から読み取れる内部状態を下記の選択肢から選んでください.
- 知識 $:\{1$ :知識あり, 0 :特に読み取れない,-1 :知識なし $\}$
- 興味： $\{1$ :興味あり, 0 :特に読み取れない,-1 :興味なし $\}$
- 対話意欲：\{1:対話への関与が積極的, 0 :どちらとも言えない, -1 :対話への関与が 消極的 \}

アノテーションは各発話に対して 3 人ずつで行う。アノテーションには 458 名のアノテータが 参加した，スコアの集約では各アノテータの多数決を採るという方法もあるが，今回取り扱う 話者内部状態では「知識がありそう」などのように，3段階の中にさらにそれぞれの中間的な 状態があると考えられるため, 3 人のアノテータのスコアを合計した 3 から -3 までの 7 段階の

スコアをアノテーションとする。アノテーションした対話コーパスの例を表 2 に，各内部状態 のスコアの分布を表 5 に示す。興味と対話意欲に関してはスコアが高い傾向にあったが，知識 に関してはほぼ一様に分布している。

本研究で扱う話者内部状態のアノテーションにはアノテータの主観が介入すると考えられる. そこで，アノテータ間の一致率を測ることでアノテーションの信頼性を検証する ${ }^{6}$. ここではアノ テータが各発話に対して 3 人であることと, アノテーションの尺度水準 (Stevens 1946)が順序尺度 とみなせることから Krippendorff's $\alpha$ (Krippendorff 2004)を指標として用いる. Krippendorff's $\alpha$ は 2 人以上のアノテータ間の一致度を求めるための指標で，スコア間距離（=不一致度）を 尺度水準によって変更することができるため高い汎用性を持つ. 本研究では順序尺度のスコア 間距離を用いて Krippendorff's $\alpha$ を計算する。

全データ（Full と呼ぶ）でのアノテータ間の一致率を表 6 の Full 列に示す.いずれの内部状態についても $\alpha$ は 0.40 程度であった. 一般に社会学では $\alpha$ が 0.80 を超える場合に信頼性を持っ たデータであると結論付けることができる。しかし言語処理分野においては，マルチモーダル 対話データに興味の有無をアノテーションした先行研究 (駒谷 他 2018 )で，尺度水準を間隔尺度としているため単純比較はできないものの, $\alpha$ が 0.50 程度となっている. このアノテーショ ンは専門家によって行われており，不特定多数の人間が参加できるクラウドソーシングによる アノテーションより品質が高いと考えられる. 一方, Chollet et al. (2016)は母語話者と非母語話者のプレゼンテーション能力についてクラウドソーシングによるアノテーションを行ってお

表 5 話者内部状態の分布（括弧内は発話数）

表 6 アノテータ間の一致率
^{6} 458$ 名のアノテータがアノテーションを行ったため, 各アノテータの, 他のアノテータとのアノテーションの一致率を評価した (付録 $\mathrm{A})$ 。その結果，極端に信頼性が低いアノテータはごく少数であったため, 付与したアノテー ションはすべてそのまま使用した。
}

り, 言語処理の主観評価タスクでは $\alpha$ は 0.40 程度で妥当であると報告している. したがって, クラウドソーシングによってアノテーションを行った本研究の $\alpha$ が 0.40 程度であるのは妥当で あると考えられる。

また，アノテータ間でスコアが -1 と 1 とに割れている発話をコーパスから取り除いてフィ ルタリングしたデータを Filtered とする. Filtered のアノテータ間の一致率を表 6 の Filtered 列 に示す. Filteredデータを用いることでアノテータ間の一致率の高い, 品質の良いデータのみか ら学習できるという利点がある。その一方で，アノテータ間で意見が割れる難しい事例を取り 除くことにもなるため，そうした事例が実際に出現した際に対応が出来ない可能性がある。そ こで, Full と Filteredによって学習した推定器の精度を実験で比較し, フィルタリングの効果 について検証する。

## 5 実験

構築した対話コーパスを利用して，話者内部状態を推定しながらその結果に応じて応答を変更する対話システムを構築する。まず，コーパスから話者内部状態の推定を行う推定器を学習 する．次にこの推定器をこれまでに構築した対話システムに組み込み，話者内部状態に応じて 応答を変更できるようにする。最後に，構築した応答変更機能付きの対話システムで対話を収集し，その質の評価を行う。

## 5.1 話者内部状態推定

## 5.1.1 話者内部状態推定器の作成

話者内部状態の推定には BERT (Devlin et al. 2019) を用いる． BERT は Transformer (Vaswani et al. 2017) をべースとし, 大規模な生コーパスで事前学習した後, 各タスクで fine-tuningする ことで自然言語処理の様々な夕スクでSOTAを達成している。本研究では, NICT BERT 日本語 Pre-trained モデル BPE あり7を利用する。この BERT モデルは日本語 Wikipedia 全文に対 して，半角を全角に正規化したのち，形態素分割および subword 分割を行い，110万ステップ pre-training したものである.

話者内部状態推定推定器を図 3 に示す。それぞれの話者内部状態の有無は,「あり」「なし」と いったラベルで予測するより，「知識がありそう」などの中間状態を表現しやすい連続値のスコ アで予測する方が良いと考え，分類モデルではなく回帰モデルで推定を行う．推定対象のユー ザ発話とそれ以前の対話履歴を入力として対象のユーザ発話の話者内部状態推定スコアを出力 する。具体的には，推定対象のユーザ発話の先頭と末尾にそれぞれ [CLS]トークンと $[\mathrm{SEP}]$ トー

クンを挿入し，対話履歴はより新しいものを左から順に最大 512 トークンまで入力する。また,各システム発話, ユーザ発話の前にはそれぞれ分離トークン $[\mathrm{S}],[\mathrm{U}]$ を追加する，出力は $[\mathrm{CLS}]$ トークンに対応する 768 次元の隠れ状態べクトルを 1 次元に線形変換を行った実数値が推定ス コアとなる， 3 を上回る推定スコアは 3 に， -3 を下回るスコアは -3 に変換する．損失関数に は二乗誤差関数を採用し, 推定スコアと正解スコアの差が小さくなるように学習を行う。話者内部状態推定器は知識, 興味, 対話意欲のそれぞれ個別に学習を行い, 合計で 3 つ作成する.

## 5.1.2 実験設定

対話コーパス 1,060 対話を学習データ：開発データ：テストデータ $=8: 1: 1$ の割合で分割す る. 各デー夕の発話数を表 7 に示す. Filtered は Full と比べて約 8 割程度のデー夕量であった.評価指標は以下の 2 つを用いる.
- Acc: 推定スコアと正解スコアの差が $\pm 0.5$ 以下である割合
- Broad Acc: 推定スコアと正解スコアの差が $\pm 1.5$ 以下である割合

図 3 話者内部状態推定器（[S]，[U] はそれぞれシステム発話，ユーザ発話の分離トークンを指す）

表 7 Full および Filtered の発話数. 括弧内の数字はそれぞれ学習データ, 開発データ，テストデータの 発話数を表す.

Acc は 7 値分類の正解率に，Broad Acc は 7 值分類においてスコア $\pm 1$ まで誤差を許容した正解率に対応している。

開発データを使用して, Devlin et al. (2019) の設定に従い，下記の条件で fine-tuning のハイ パーパラメータチューニングを行う。開発データでの Acc が最も良い推定器を最終的な推定器 として使用する。なおドロップアウト率は実験を通して 0.1 で固定する。その他のパラメータ については, NICT BERT 日本語 Pre-trained モデル BPE ありのデフォルトの值を用いる.

・ バッチサイズ: 16,32
- 学習率 (AdamW (Loshchilov and Hutter 2019)): $5 \mathrm{e}-5,3 \mathrm{e}-5,2 \mathrm{e}-5$
- エポック数: $2,3,4$

## 5.1.3結果

各話者内部状態の推定結果を表 8 に示す。学Full-テFull は学習・テストともに Full を用いる 推定器で，いずれの内部状態においても Acc は $30 \%$, Broad Acc は 70～80\%程度であった．表 5

ことを考慮すると，各内部状態を妥当に推定できているといえる．次に Full データで学習し， Filtered のテストデータでテストを行った学Full-テFiltered では 学Full-テFull と比較して Acc, Broad Acc ともに正解率が向上している。これは Filtered がアノテーションの一致率が高い, つ まり人間にとっても各話者内部状態の有無を認知しやすいデータとなっていて, 推定がしやす くなったためであると考えられる。

さらに, Filtered データで学習を行った学Filtered-テFull と学Filtered-テFiltered はそれぞれ 学Full-テFull, 学Full-テFiltered と比べて, 興味については Acc, Broad Acc が多少下がってい るものの, 知識・対話意欲については向上している。フィルタリングにより学習データ量が減少しているにも関わらず，複数の内部状態で精度が向上していることから，データのフィルタ リングは内部状態推定の精度向上に効果があることが分かる．興味については，元々知識や対話意欲と比べて推定精度が高いためフィルタリングによる効果が小さかったと推察される。ま た, 表 6 より, フィルタリング後の興味のアノテータ一致率が知識や対話意欲と比べて低かっ たことも精度が上がらなかった原因であると思われる.

表 8 ユーザ内部状態の推定結果. セル内の数字はパーセント表記.

## 5.1.4 分析

図 4 に推定スコアと正解スコアの絶対誤差をシナリオのターン別にまとめる。例えば「タイ トル提示」行の場合, システムがタイトルを提示した直後のユーザ発話を推定対象の発話とし ている。また，初期質問の有無により推薦映画の決定方法が異なるため，以下のように分割し て考察する.

初期質問あり（成功）: 初期質問を行って，ユーザの好みに応じて推薦映画を決めた場合

初期質問あり（失敗）: 初期質問を行ったが, システムがランダムに推薦映画を決めた場合（ユー ザの好みに合致する推薦映画が映画データベースになかった場合など）

初期質問なし：初期質問を行わず，システムがランダムに推薦映画を決めた場合

図 4 より「初期質問あり（成功）」の場合は知識，興味，対話意欲のいずれについても誤差が 対話全体にわたって小さい，興味，対話意欲に関しては正解スコアの平均が 2 ポイント前後で あり，「初期質問あり（成功）」は高い興味と対話意欲の獲得につながると考えられる。また知識についても「初期質問あり (失敗)」や「初期質問なし」と比較すると正解スコアの平均が 1 ポイント近く高くなっている。これは好きな俳優や監督などについての映画はある程度ユーザ にも知識があるためと考えられる。このように平均的に各内部状態のスコアが高くなっている ため, 推定器も推測がしやすくなり, 誤差が小さくなっていると推察できる.

一方，知識の「初期質問あり (失敗)」と「初期質問なし」は対話が進むにつれて推定誤差が 大きくなっている。例 (10) に実際の対話例を示す。最後のユーザ発話 $U 4$ に対して正解スコア は -2 , 推定スコアは 2.22 であった. この $U 4$ のように陽に話者内部状態が読み取れない発話の 場合は文脈の解釈が重要になる。その文脈からは， $U 2$ よりこのユーザは推薦された映画は見て いないことが分かり， $U 4$ の直前のシステム発話 $S 4$ では映画の中のシーンの説明をしているこ とが分かる。つまり見ていない映画のシーンに関しては知識がないだろうと推定することがで きるが, この推定には知識の高度な構造化が必要である。この構造化に向けた知識の推定対象 の詳細化は今後の研究課題である.

 &  & 初期質問なし &  &  & 初期質問なし &  &  & 初期質問なし \\

図 4 話者内部状態推定スコアと正解スコアの絶対誤差の平均値. 角括弧内の数字はサンプル数を指す. また, 各セル内の丸括弧内の数字はそれぞれサンプルの正解スコアの平均, 不偏分散を示す. 絶対誤差の値が大きいほど色が濃くなるようにカラースケールで色付けしている.

S1: 俳優の染谷将太と女優の菊地凛子夫妻に第 2 子が誕生したことが 11 日までにわ かったと話題です

$U 1:$ おめでたいです

$S 2:$ 染谷将太さん、「バクマン。」という映画に出演されていましたね

$U 2:$ バクマン。は観ていませんが確か漫画原作ですよね。

$S 3$ : 話しも素直に友情、青春、ライバル関係、生い立ち等も分かりやすく展開され好感 が持てますよ

$U 3$ : 映画は数年前でしたか。 D V Dで観てみたいと思います。

S4: ちょっと分からないんですが、無駄なシーンが一切なく、サクサク進んでテンポが いいので、気持ちいいです

$U 4:$ 期待できます。

## 5.2 対話および発話単位での評価

## 5.2.1 話者内部状態推定の導入

話者内部状態の推定器を対話システムに導入する。知識・興味・対話意欲のそれぞれに対し て有無を判定し，その結果に基づいて 3.5 節で述べたようにシステムの応答を変更する。総合的な推定精度を重視して今後の実験では Filtered データで学習した推定器を用いる。知識・興味・対話意欲の有無の判定は閾値を設け，正の閾値を上回ったらその内部状態について「あり」,負の閾値を下回ったらその内部状態について「なし」と判定する。本研究では，知識・興味に ついては正の閥值を 1.5 , 負の閥值を -1.5 に，対話意欲については正の閥値を 1.0 , 負の閾値を - 1.0 に設定した。また，適用すべき応答変更のルールが複数存在する場合は，推定スコアの絶対値が大きい内部状態での応答変更を優先して行う.

## 5.2.2 対話収集と対話単位での評価

話者内部状態推定による応答変更機能を組み込んだ対話システムで 4.1 節と同様にクラウド ソーシングで 299 対話を収集した。また，比較対象として応答変更を行わないシステムでも 297 対話を収集した. この際, この 2 つのシステムに共通するモジュールを元の対話コーパス構築時から一部変更した。詳細は付録 B に記す。

対話終了後に推薦された映画の視聴経験があるかどうかについてワーカーにアンケートを行っ たところ，全体の約 $67 \%$ ワーカーは推薦された映画の視聴経験がなかった. また，映画推薦対話はタスク指向と非タスク指向の両方の性質を合わせ持っていると考えられる. 本研究では システムの発話の自然さについて特に着目しているが, 映画推薦としてのタスクの達成度を下 げることなくシステム発話の自然さが向上することが望ましい，そこで，以下に示す 3 つの 5 段階リッカート尺度のアンケート（5が最高評価， 1 が最低評価）を実施した.

表 9 評価実験のアンケート結果. スコアは各ワーカーのスコアの平均値.

(1) 説得度: 推薦された映画を見たくなった

(2) 自然さ: システムの返答は自然だった

(3) 満足度: システムからの返答に満足した

アンケート結果を表 9 に示す。説得度については応答変更ありと応答変更なしの間で大きな 差は見られなかった。一方，自然さについては応答変更ありの方が応答変更なしのスコアを 0.26 ポイント, 満足度については 0.19 ポイント上回った. スコアの差が大きい自然さと満足度につ いて有意水準を $5 \%$ とするウルコクソンの順位和検定を行ったところ，それぞれ $\mathrm{p}$ 値は 0.017 と 0.123 となり, 自然さについて有意にスコアが向上していることが分かった. この結果から, ユーザの内部状態を推定し，その結果に応じて応答を変更することで，映画推薦のタスクに関 して一定の達成度を保ちつつ，システムの発話の自然さを向上させられたことが分かる。

## 5.2.3 発話単位での評価

本システムで構築した対話システムは基本的にシナリオベースであるため, 応答変更が起き ている分岐点以外は応答変更ありと応答変更なしのシステムは全く同じ応答をする。そこで収集した評価用対話データからそれぞれの話者内部状態タイプの分岐点において, 変更した応答 と変更しなかった応答（＝シナリオ通りの応答）をぺアで抜き出し，ペアワイズで比較を行う.具体的には, 応答変更ありの対話から抜き出す場合は使用したシナリオから応答を変更しなかっ た場合の発話を取り出して元の変更した応答と比較する。応答変更なしの対話から抜き出す場合は内部状態推定を行い，応答の変更が行われる分岐点を見つけ，変更した応答と変更しなかっ た元の応答を比較する。

各話者内部状態タイプに対して応答ぺアの抽出を行った結果を表 10 に示す. 応答変更あり対話と応答変更なし対話のそれぞれから最大 15 ペアずつ, 合計最大 30 ペアずつサンプルし，評価に用いる.

発話単位での評価についてもクラウドソーシングで実施する. クラウドソーシングの回答画面を図 5 に示す。ワーカーは対話履歴と，変更した応答，変更しなかった応答を見てどちらが 自然か選択する。ワーカーにはどちらが変更した応答かどうかは伏せてあり，「どちらの返事も 同程度に自然で選べない」「どちらの返事も同程度に不自然で選べない」の 2 の選択肢も追加

表 10 各話者内部状態タイプの分岐点の統計情報

図 5 クラウドソーシングによる発話評価の回答画面

した. 1 応答ペアごとに 10 人のワーカーで評価を行う.

発話単位での評価実験の結果を表 11 に示す. 全ての話者内部状態タイプで応答変更ありの方 が自然さが上回っていることがわかる。この結果からも，提案した話者内部状態を推定し，そ の結果に応じて応答を変更することでより自然な返答ができる対話システムを構築できたとい える。

## 5.2.4 エラー分析

話者内部状態タイプ 3,4 については応答変更ありの方がスコアは高かったものの，その効果 は他の話者内部状態タイプと比較すると低い。そこで，それぞれに対してその原因を分析する。

表 11 各話者内部状態タイプの自然さ. 表内の数字はワーカーの評価の合計を, 話者内部状態タイプの 括弧内の数字はサンプル数を指す.

3. 映画の知識があるこの話者内部状態タイプでは語尾を情報提供の口調の「よ」から同意口調の「よね」に変更する。「どちらも自然」のスコアがある程度高かったことを判断材料とする と, 語尾の文字を 1 字変えただけでは大きな印象の差を与えられなかったと推察される。また,「どちらも不自然」のスコアも「応答変更あり」，「応答変更なし」と同程度に高かった. これは レビューから抽出してきた推薦ポイント文が文脈と合わなかったためと考えられる。例 (11)に ワーカー 10 名中 6 名が「どちらも不自然」と判定した例を示す.この例では応答を変更する直前にユーザが「もっと前の映画が好きです。」と言っているのにも関わらず，その発話を無視し ているためシステムの発話が不自然に感じられたと考えられる，今後，文脈を用いて検索べー スで推薦ポイントを選択するなどの改善手法が考えられる。

(11) $S: \quad$ 好きな映画監督は誰ですか？

$U: \quad$ スピルバーグ

$S: \quad$ ではスティーヴン・スピルバーグさんが監督の映画を紹介しますね

$U:$ お願いします。

$U:$ 知りませんが、どんな内容ですか。

$S: 2015$ 年に公開された作品です。スティーヴンスピルバーグ監督にコーエン兄弟 の脚本、主演がトムハンクスと期待せずにはいられない組み合わせに、見事に 期待に応える良作だと評判ですよ

$U:$ もっと前の映画が好きです。

$S_{\text {before: }}$ ベルリンの壁、ベルリンにかかる橋、チェックポイント、東ベルリン街中など など当時の感じを丁寧に表現撮影しており見ごたえがありますよ

$S_{\text {after: }}$ ベルリンの壁、ベルリンにかかる橋、チェックポイント、東ベルリン街中など など当時の感じを丁寧に表現撮影しており見ごたえがありますよね

4. 映画の深い知識がある 映画の深い知識があると判断した場合, システムが推薦している映画をユーザが既に見たことがあると考え，視聴を促す発話を「是非もう一度見てみて下さい」 といったように視聴経験があることを想定した発話に変更する。この場合では「どちらも不自然」のスコアはさほど高くないものの，「応答変更なし」のスコアが高くなっている．この原因 としてはユーザの視聴経験の推定誤りが考えられる。例 (12)ではユーザは「アウトレイジ」シ リーズは視聴経験があるが，推薦映画である「アウトレイジ最終章」については視聴経験はな い.システムは知識ありと判定してしまったが, このように視聴経験がないユーザに「是非も う一度見てみて下さい」と発話するのはかなり不自然に感じられる。

(12) $S:$ お笑いタレントのビートたけしが 30 日放送の T B S 「新・情報 7 D A Y Sニュー スキャスター」にリモート生出演と話題となっています

$U:$ そうなんですか。知らなかったです

$S:$ はい、ビートたけしさん、「アウトレイジ最終章」という映画に出演されてい ます

$U:$ アウトレイジは見たことがあります。でも最終章はみてないかも

$S: \quad$ 韓国フィクサーの立ち位置が今一つで、タケシも今までより控えめですが、西田敏行のズル賢い役者ぶりが目立ちますよね

$U: \quad$ 韓国人がでてくるんですね

$S: \quad$ 過去の出演者達がみんな歳をとって迫力不足だが、小心者のピエール瀧が今回 は盛り上げてくれますよね

$U:$ ピエール瀧がアウトレイジというのはなんだか真実味があります

$S_{\text {before }}$ 是非見てみてください

$S_{a f t e r}$ : 是非もう一度見てみてください

発話評価に用いた 30 サンプルをそれぞれのユーザの視聴経験のアンケート結果を照らし合わ せると, 30 サンプル中 23 サンプルが実際に「視聴経験あり」で正しく視聴経験を推定できて いた一方で，残りの 7 サンプルが「視聴経験なし」で推定が誤っていた．表 12 に，ユーザの実

表 12 視聴経験の有無別の自然さ. 表内の数字はアノテートの素点を, 視聴経験の括弧内の数字はサン プル数を指す.
際の視聴経験の有無で自然さのスコアを比較した結果を示す.「視聴経験なし」は「応答変更な し」の方がスコアが高くなっており，発話の自然さに対するユーザの視聴経験の推定誤りの影響が大きいことが分かる.

## 6 おわりに

本研究では相手の発話の適切な意図解釈に向けて対話中の話者内部状態のモデル化に取り組 んだ. 収集した対話データの分析結果から知識, 興味, 対話意欲の 3 つの軸で話者内部状態を モデル化した．また，モデル化した 3 つの内部状態をクラウドソーシングによって対話データ にアノテートすることで対話コーパスを構築した。構築した対話コーパスで学習した話者内部状態推定器は, 推定対象の話者の発話と対話履歴から提案した内部状態を高い精度で推定でき ることを示した.

さらに，提案した話者内部状態に応じて応答を変更する対話システムの構築を行った．知識・興味・対話意欲それぞれの有無に応じて応答を適切に変更するルールを設計した。学習した話者内部状態推定器の推定結果を利用し, 設計したルールに基づいて応答を適切に変更すること で，より自然な応答を行えるシステムが構築できたことを対話単位での評価と発話単位での評価の両方で明らかにした。

ニューラルネットワーク技術が発展してきた近年, ニューラルモデルにはモデルの振る舞い や予測根拠を明らかにする「説明可能性」が求められつつある. 今後, 我々も対話システムの 全体をニューラル化することを検討しているが，その際にも本研究で行ったユーザ内部状態の モデル化はシステムの振る舞いの根拠として意味を持ち，「説明可能性」に向けた研究の足がか りになると考えている。

## 謝 辞

この研究は国立情報学研究所 (NII) CRIS と LINE 株式会社とが推進する NII CRIS 共同研究 の助成を受けて行った。

## 参考文献

Adiwardana, D. D. F., Luong, M.-T., So, D. R., Hall, J., Fiedel, N., Thoppilan, R., Yang, Z., Kulshreshtha, A., Nemade, G., Lu, Y., and Le, Q. V. (2020). "Towards a Human-like Open-Domain Chatbot." ArXiv, abs/2001.09977.
荒木雅弘, 冨増紗也華, 中野幹生, 駒谷和範, 岡田将吾, 藤江真也, 杉山弘晃 (2017). マルチモー ダル対話データの収集と興味判定アノテーションの分析. SIG-SLUD, B5 (02), pp. 20-25. [M. Araki et al. (2017). Collection of Multimodal Dialog Data and Analysis of the Result of Annotation of Users' Interests. SIG-SLUD, B5 (02), pp. 20-25.].

Bunt, H., Alexandersson, J., Choe, J.-W., Fang, A. C., Hasida, K., Petukhova, V., PopescuBelis, A., and Traum, D. (2012). "ISO 24617-2: A Semantically-based Standard for Dialogue Annotation." In Proceedings of the 8th International Conference on Language Resources and Evaluation (LREC'12), pp. 430-437.

千葉祐弥, 能勢隆, 伊藤彰則 (2015). ユーザの対話意欲自動推定を目標とした対話データの分析と 音声画像特徴量の検討. 情報処理学会研究報告. SLP, 音声言語情報処理, 2015 (10), pp. 1-6. [Y. Chiba et al. (2015). Yuza no Taiwa Iyoku Jido Suitei wo Mokuhyo toshita Taiwa Deta no Bunseki to Onsei Gazo Tokuchoryo no Kento. IPSJ SIG Technical Report, 2015 (10), pp. 1-6.].

Chollet, M., Prendinger, H., and Scherer, S. (2016). "Native vs. Non-Native Language Fluency Implications on Multimodal Interaction for Interpersonal Skills Training." In Proceedings of the 18th ACM International Conference on Multimodal Interaction, pp. 386-393.

Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. (2019). "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics, pp. 4171-4186.

Hangyo, M., Kawahara, D., and Kurohashi, S. (2012). "Building a Diverse Document Leads Corpus Annotated with Semantic Relations." In Proceedings of 26th Pacific Asia Conference on Language Information and Computing, pp. 535-544.

Inaba, M. and Takahashi, K. (2018). "Estimating User Interest from Open-Domain Dialogue." In Proceedings of the 19th Annual SIGdial Meeting on Discourse and Dialogue, pp. 32-40.

Inoue, K., Lala, D., Takanashi, K., and Kawahara, T. (2018). "Engagement Recognition in Spoken Dialogue via Neural Network by Aggregating Different Annotators' Models." In Proceedings of Interspeech 2018, pp. 616-620.

Ishihara, T., Nitta, K., Nagasawa, F., and Okada, S. (2018). "Estimating Interviewee's Willingness in Multimodal Human Robot Interview Interaction." In Proceedings of the 20th International Conference on Multimodal Interaction: Adjunct, pp. 1-6.

Kawahara, D., Kurohashi, S., and Hasida, K. (2002). "Construction of a Japanese Relevancetagged Corpus." In Proceedings of the 3rd International Conference on Language Resources Evaluation, pp. 2008-2013.
駒谷和範, 岡田将吾, 西本遥人, 荒木雅弘, 中野幹生 (2018). 配布可能なマルチモーダル対話デー タの収集とアノテーション不一致傾向の分析. SIG-SLUD, $\mathbf{5}(02)$, pp. 45-50. [K. Komatani et al. (2018). Collecting Sharable Multimodal Dialogue Data and Analysis of Annotation Disagreement Tendency. SIG-SLUD, 5 (02), pp. 45-50.].

Krippendorff, K. (2004). Content Analysis: An Introduction to Its Methodology (second edition). Sage Publications.

Li, J., Galley, M., Brockett, C., Spithourakis, G., Gao, J., and Dolan, B. (2016). "A PersonaBased Neural Conversation Model." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics, pp. 994-1003.

Loshchilov, I. and Hutter, F. (2019). "Decoupled Weight Decay Regularization." In International Conference on Learning Representations.

松本紗規子，荒木雅弘 (2018)，雑談対話におけるマルチモーダル情報を統合した興味判定手法. SIG-SLUD, B5 (02), pp. 86-87. [S. Matsumoto and M. Araki (2018). Assesment of User's Interests in Multimodal Dialog Integrating Multiple Modalities. SIG-SLUD, B5 (02), pp. 86-87.].

宮崎千明, 東中竜一郎, 牧野俊朗, 松尾義博 (2017). 言語的・対話的特徴に着目したコールセン 夕対話における話者の知識量推定. 情報処理学会論文誌, 58 (2), pp. 594-604. [C. Miyazaki et al. (2017). Estimating Callers' Levels of Knowledge in Call Center Dialogues by Using Lexical and Dialogic Features. IPSJ Journal, 58 (2), pp. 594-604.].

中野幹生, 駒谷和範, 船越孝太郎, 中野有紀子, 奥村学 (2015). 対話システム. 自然言語処理シ

リーズ 7 号. コロナ社. [M. Nakano et al. (2015). Taiwa Shisutemu. Shizen Gengoshori Series

7. Korona-sha.].

西本遥人, 武田龍, 駒谷和範 (2018). マルチモーダル対話における興味の有無の推定と追加 コーパスを用いた性能評価. SIG-SLUD, B5 (02), pp. 72-73. [H. Nishimoto et al. (2018).

Estimating Interest Level in Multimodal Dialogues and Evaluating the Performance with Newly Collected Data. SIG-SLUD, B5 (02), pp. 72-73.].

齋藤純, 坂口智洋, 柴田知秀, 河原大輔, 黒橋禎夫 (2018). 述語項構造に基づく言語情報の基本単位の デザインと可視化. 言語処理学会第 24 回年次大会発表論文集. [J. Saito et al. (2018). Jutsugo Ko Kozo ni Motozuku Gengo Joho no Kihon Tan'i no Dezain to Kashika. Proceedings of the 24th Annual Meeting of the Association for Natural Language Processing.].

Saito, J., Murawaki, Y., and Kurohashi, S. (2019). "Minimally Supervised Learning of Affective Events Using Discourse Relations." In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, pp. 5758-5765.

Smith, E. M., Williamson, M., Shuster, K., Weston, J., and Boureau, Y.-L. (2020). "Can You Put it All Together: Evaluating Conversational Agents' Ability to Blend Skills." In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 2021-2030.

Song, Z., Zheng, X., Liu, L., Xu, M., and Huang, X. (2019). "Generating Responses with a Specific Emotion in Dialog." In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 3685-3695.

Stevens, S. S. (1946). "On the Theory of Scales of Measurement." Science, 103 (2684), pp. 677-680.

Stolcke, A., Ries, K., Coccaro, N., Shriberg, E., Bates, R., Jurafsky, D., Taylor, P., Martin, R., Van Ess-Dykema, C., and Meteer, M. (2000). "Dialogue Act Modeling for Automatic Tagging and Recognition of Conversational Speech." Computational Linguistics, 26 (3), pp. 339-374.

徳久良子, 乾健太郎, 松本裕治 (2009). Web から獲得した感情生起要因コーパスに基づく感情推定. 情報処理学会論文誌, 50 (4), pp. 1365-1374. [R. Tokuhisa et al. (2009). Web kara Kakutoku shita Kanjo Seiki Yoin Kopasu ni Motozuku Kanjo Suitei. IPSJ Journal, 50 (4), pp. 1365-1374.].

Tolmachev, A., Kawahara, D., and Kurohashi, S. (2020). "Design and Structure of The Juman++ Morphological Analyzer." Journal of Natural Language Processing, 27 (1), pp. 89-132.

冨増紗也華, 荒木雅弘 (2016). 雑談対話におけるマルチモーダル情報からの興味の有無の判定. 人工知能学会全国大会論文集, JSAI2016，2O4OS23a1. [S. Tomimasu and M. Araki (2016). Multimodal Classification of Users' Interests on Topics in Chat-oriented Dialog. Proceedings of the 30th Annual Conference of the Japanese Society for Artificial Intelligence, 2O4OS23a1.].

植田暢大，河原大輔，黑橋禎夫 (2020). BERT と Refinement ネットワークによる統合的照応 ・共参照解析. 言語処理学会第 26 回年次大会発表論文集. [N. Ueda et al. (2020). BERT to Refinement Nettowaku niyoru Togoteki Shoou $\cdot$ Kyosansho Kaiseki. Proceedings of the 26th Annual Meeting of the Association for Natural Language Processing.].

Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., and Polosukhin, I. (2017). "Attention is All You Need." In Proceedings of the 31st International Conference on Neural Information Processing Systems, pp. 5998-6008.

Yoshino, K. and Kawahara, T. (2015). "Conversational System for Information Navigation Based on POMDP with User Focus Tracking." Computer Speech $\mathcal{E}$ Language, 34 (1), pp. 275-291.

Zhang, S., Dinan, E., Urbanek, J., Szlam, A., Kiela, D., and Weston, J. (2018). "Personalizing Dialogue Agents: I Have a Dog, Do You Have Pets Too?" In Proceedings of the 56th Annual

Meeting of the Association for Computational Linguistics, pp. 2204-2213.

Zhou, X. and Wang, W. Y. (2018). "MojiTalk: Generating Emotional Responses at Scale." In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics, pp. 1128-1137.

## 付録

## A アノテータ毎のアノテーションの信頼性

本節では話者内部状態アノテーション（4.3 節）におけるアノテータ毎のアノテーションの信頼性について述べる。アノテーションはクラウドソーシングによって行い, 458 名のアノテー タが参加した．アノテータ毎のアノテーションの信頼性は他のアノテータとのアノテーション の一致率 $m$ で測る． $m$ は以下の計算式で計算される.

$
m=\frac{\text { 他のアノテータとアノテーションが一致した数 }}{\text { 当該アノテータによるアノテーション数 }}
$

全データ (=Full) での平均一致率 $\bar{m}$ は 0.51 であった。一致率がチャンスレート $(m=0.33)$ を下回るアノテータをアノテーションの信頼性が低いアノテータとみなすとすると, 今回の話者内部状態のアノテーションに参加した 458 名中，該当するアノテータは 41 名であった．割合 に直すと全体の約 $9 \%$ 6 り，アノテーションの信頼性が低いアノテータはごく少数であったと 言える。

実際，この 41 名を除外した場合の Krippendorff's $\alpha$ (Krippendorff 2004)によって計算される アノテータ間の一致率は, 知識が 0.45 , 興味が 0.45 , 対話意欲が 0.39 と全データにおけるアノ テータ間の一致率 (知識: 0.41 , 興味: 0.40 , 対話意欲: 0.35 ）（表 6 参照）と大きな差はなかった.

## B映画推薦対話システムの改良

評価時の対話収集時に映画推薦対話システムの一部のモジュールを改良した。この節で述べ る内容については評価時（5.2 節）にのみ適用し，コーパス構築時には適用していない.

## 映画データベースの拡張

まず，最新の映画についても推薦できるよう映画データベースに格納する映画情報を 213 作品から 331 作品へと増やした.

## 不適切な推薦ポイント文のフィルタリング

次に，推薦ポイント文抽出の改善を行った。まず，これまでの word2vecでの手法によって抽
出された推薦ポイント文について分析した。その結果「面白かったのでまた来週観に行きます」 といったような人間の発話としては適切たが，対話システムの立場として不適切な文があるこ とが分かった。そこで以下の条件を満たすレビュー文を推薦ポイント文の候補から除外した。

条件 1 : レビュー文中のいずれかの述語の主格が著者（＝レビューを書いたユーザ）である

条件 2 : 条件 1 に該当する述語が意思性を持つ

条件 3 ：条件 1 に該当する述語が対話システムの立場として使用するのが不適切である

条件 1 ではレビュー文を既存の解析器を用いて述語の主格を特定することで判定する。解析器には 植田 他 (2020) の Base+coref+noun+bridge モデルを京都大学ウェブ文書リードコーパ ス (KWDLC) (Hangyo et al. 2012) と京都大学テキストコーパス (Kawahara et al. 2002) で学習 したモデルを用いた．KWDLC のテストデータに対して，異なる初期值で実験を 3 回行った外界ゼロ照応解析の平均 $\mathrm{F} 1$ スコアは 0.745 であった。条件 2 については述語の品詞，意味，接尾辞 (モダリティ・態)，項にもとづき識別する 8 ．条件 3 は独自に選んだ全 53 単語からなる不適切述語リストに含まれているものとする。不適切述語リストは条件 1,2 に該当する述語全 2,901 種類の中から出現回数 50 回以上のもの 103 個を取り出し, 対話システムの立場として使用する のが不適切であるかどうかという指標で著者らで選定した.

## レビュー文の極性判定手法の変更

レビュー文が映画を雍めているかどうかの極性判定の手法についても変更を行った． Saito et al. (2019) はイベント (齋藤 他 2018) 単位で極性を判定する手法を提案している. 本研究で はこの極性判定器を利用し，レビュー文をイベント単位に分割し，文中の最も後ろのイベント の極性をそのレビュー文全体の極性とみなして極性判定を行う．極性のスコアは 1 から-1 まで の範囲で出力される（1 が最もポジティブ， -1 が最もネガティブ）。この極性スコアと各文の 文字数の積をスコアとし，推薦ポイント文の候補の中からスコア上位 50 文を抽出する。これを 各映画について行い，各シナリオでは 50 文の中からランダムに 2 文を用いる.

## 略歴

児玉貴志：2019 年京都大学工学部電気電子工学科卒業. 2020 年京都大学大学院情報学研究科博士前期課程修了. 同年より同大学院情報学研究科博士後期課程に進学, 現在に至る。修士 (情報学)。自然言語処理の研究に従事。言語処理学会会員.

田中リベカ：2013 年お茶の水女子大学理学部情報科学科卒業. 2015 年同大学院博士前期課程修了. 2018 年同博士後期課程単位修得退学. 同年より京都大学大学院情報学研究科特定研究員.

黒橋 禎夫：1994 年京都大学大学院工学研究科電気工学第二専攻博士課程修了.博士 (工学). 2006 年 4 月より京都大学大学院情報学研究科教授. 自然言語処理, 知識情報処理の研究に従事. 言語処理学会 10 周年記念論文賞, 同 20 周年記念論文賞, 第 8 回船井情報科学振興賞, 2009 IBM Faculty Award 等を 受賞. 2014 年より日本学術会議連携会員.