# ウェブ会議システムを利用した料理インタビュー対話コーパス

岡久太郎 田中リベカ* 児玉 貴志 Yin Jou Huang 黒橋禎夫
京都大学大学院情報学研究科
\{okahisa, kodama, huang, kuro\}@nlp.ist.i.kyoto-u.ac.jp

## 概要

我々はウェブ会議システムを用いて，料理の技能者に対するインタビュー対話のマルチモーダルコー パスを構築した. 技能者として料理のセミプロと料理好きを，インタビュアーとしてインタビューの経験を持つ者と持たない者を参加者として集めた. 本稿では，コーパスの構築方法と仕様について報告 し，技能者からコツを引き出すためのインタビュー 手法について質的に分析する.

## 1 はじめに

対話システムの研究においては，気の効いた設定 をデザインし，良質の対話コーパスを作ることが重要であるが，インタビュー対話についてはこれまで あまり取り扱われることがなかった. そこで，本研究では，熟練者の技能伝承が産業界において課題と なっていることを踏まえ，技術のコツなどを聞き出 すことを目的としたインタビューに着目する. 既存 のインタビュー対話コーパスは，テレビ番組等で第三者に対話の内容を聞かせることを目的とした対談 を対象とするものが多い $[1,2,3]$. そのため，技術 や知識を引き出すことができる対話システムの研究 には，その基盤としてインタビュアーが積極的に対話者から情報を引き出すことを試みているインタ ビューデータが不可欠である.

本研究では，ウェブ会議システムを用いて料理の 技能者からインタビュアーが特定の料理の調理方法を聞き出すというタスクを設定し，料理インタ ビュー対話コーパスを構築した. 料理インタビュー 対話コーパスは， 308 対話における約 6.9 万発話の 音声とその書き起こしに加えて，対話者双方の表情 と対話者間で共有されているコンピューター画面を 含んだ映像から構成される (図 1).

日本語を対象とした既存の話し言葉対話コーパス
$ ・データサイエン スセンター（連絡先:tanaka.ribeka@is.ocha.ac.jp）
}

図1 料理インタビューコーパスの動画の一部とそれに対応する部分の書き起こしの例. “E”は技能者，“I”はイン タビュアーを表す.

のほとんどは，電話会話を使用したものか [4]，対話者を実際に集め，その様子を録音・録画したもの $[5,6,7,8]$ である. しかしながら，電話会話の場合は 視覚的情報の共有ができないため，指示語の使用が 減少する等，通常の対話とは性質が大きく異なる. また，対話者をスタジオ等に集めて対話を収録する 場合は時間的，費用的コストがかかる。

現在，COVID-19 の世界的感染拡大の中で，以前 はオンラインビデオ通話を利用していなかった人々 もウェブ会議システムを使用するようになった. 才 ンラインビデオ通話であれば，対話者は自宅からい つも用いている自身の機器を用いて対話に参加す ることが可能である. さらに，ウェブ会議システム を使用することで，対話者はお互いの表情を見なが ら，画面共有機能で視覚的文脈を共有することが可
能となり，電話会話よりも通常の対話に近いコミュ ニケーションを行うことができる. この点は, 対話研究にとっても，表情や視覚的文脈を発話と同期さ せて記録することが容易になるという利点となる。

本稿では，料理インタビュー対話コーパスの構築方法とその詳細について述べる。

## 2 インタビュー対話の収集方法

## 2.1 収録方法と参加者

本コーパスは，ウェブ会議システムを用いて，料理の技能者とインタビュアーの間で行われた約 15 分の対話を 308 件録画したデータから構成される.参加者は外付け，またはコンピューターに内蔵され たカメラとマイクを使用し, 画面共有機能によって 技能者があらかじめ用意した写真 (詳細は後述)を互 いに見ながら対話を行った．録音・録画に関しては Zoom $^{1)}$ の録画機能を利用し, 音声, カメラの映像,共有された画面の全てを記録した。

各対話収集の際には対話者に技能者とインタビュ アーの役割をそれぞれ与えた (Appendix A 参照)。 一部の参加者は, 技能者とインタビュアーの両方の役割で参加している。また，技能者とインタビュアー には事前にそれぞれ2つの属性を設定した. 技能者 は，一定の条件 (Appendix B 参照) を満たす者を「セ ミプロ」，それ以外の者を「料理好き」として分類し た.インタビュアーは，人事面接など何らかのイン タビューを実施した経験を持つ場合は「技能あり」， それ以外の者を「技能なし」と分類した ${ }^{22}$.

なお，対話データの収集については最初に 20 対話，暫定的な条件設定で予備収集を行い，その結果 を受け，最終的な条件を定め，本収集を行った。

## 2.2 参加者への教示及びアンケート

今回の対話タスクでは，技能者から料理の技能を 効果的に聞き出すような質問をインタビュアーにさ せることが目的であるため，タスクの事前準備とし て技能者とインタビュアーに以下の指示を行った.

まず，技能者として参加する者には事前に以下の 4 つについて準備し，提出するよう求めた。

(1) a. 紹介する料理のタイトル

b. 紹介する料理の概要

1) https://zoom.us

2）インタビュアーは自炊経験があるような最低限の料理の知識を持つことを参加の必須条件にしている. c. 6-10 枚の手順写真

d. 自慢したい点とそれに対応する写真番号 (本収集のみ)

一方，インタビュアーとして参加する者には対話 タスクの前に上記 (1a), (1b), (1c) の 3 つの情報を与 えた、インタビュアーには，技能者は最低限の手順 しか説明しないので，それ以上の説明を引き出せる 質問をするようにあらかじめ指示した。

さらに，予備収集の結果を受け，本収集では事前 に「良い質問のタイプ」をインタビュアーに教示 し， 1 つ以上の質問内容とその質問を何枚目の写真 でするつもりかについて事前に報告を求めた。「良 い質問のタイプ」は，「技能者が答えにつまりそう な質問」について 11 個の項目を例と共に示した資料である (Appendix C 参照).

また，対話タスクの終了後，技能者とインタビュ アーのそれぞれに以下の事項についてアンケートを 実施した。

(2) a. コミュニケーションがスムーズだったか

b. コツをうまく引き出していたか

c. 自身がどの程度料理の知識や技能を持っ ているか (インタビュアーのみ)

d. インタビューの感想

(2a), (2b), (2c) の回答は「1. そう思わない」「2. あ まりそう思わない」「3. どちらでもない」「4. ややそ う思う」「5. そう思う」のいずれかを選択させた. また，(2d)については自由記述での回答を求めた。

## 3 収集したインタビュー対話の概要

## 3.1 発話内容に関する統計情報

構築した料理インタビュー対話コーパスの統計情報は表 1 の通りである.

1 発話あたりの平均単語数は技能者が 10.13 語，イ ンタビュアーが 6.98 語であり， 1 対話当たりの平均発話数は技能者が 241.23 , インタビュアーが 207.38 であることから，技能者はインタビュアーよりも長 い発話をより多く行っていることが分かる. この傾向は，対話参加者が技能者とインタビュアーの役割 を適切に果たしていることを示している。

また，技能者とインタビュアーの属性ごとに統計情報を詳細化した結果は表 2 のようになる. 技能者 は，対話相手の属性に関わらず，セミプロ $\left(E_{H}\right)$ の
表 1 料理インタビュー対話コーパスの統計情報. フィラーや言い誤りを取り除き，Juman++ [9] を用いて形態素解析を 行った。

表 2 技能者とインタビュアーの属性ごとの統計情報. 技能者については $E_{H}$ がセミプロ， $E_{L}$ が料理好きを表し，イン タビュアーについては $I_{H}$ がインタビュー技能のあるインタビュアーを， $I_{L}$ がインタビュー技能のないインタビュアーを 表している.

方が料理好き $\left(E_{L}\right)$ よりも 1 分あたりの発話数が少 ない.また，技能者の 1 発話あたりの単語数を見る と，インタビュアーの属性に関わらず，セミプロの 方が料理好きよりも長い発話を行っている.これら を踏まえると，技能者はインタビュアーの属性に関 わらず，セミプロが料理好きょりも多くの内容を 語っているために，時間あたりの発話数が少なく なっていることが分かる.

一方，インタビュアーについては，その属性 に関わらず，対話相手が料理好きの場合 $\left(E_{L} \& I_{H}\right.$, $\left.E_{L} \& I_{L}\right)$ の方が, 対話相手がセミプロの場合 $\left(E_{H} \& I_{H}\right.$, $\left.E_{H} \& I_{L}\right)$ よりも 1 分あたりの発話数が多くなってい る.しかしながら，それぞれの対話設定における 1 発話あたりの単語数については, 対話相手の属性に 関わらず，インタビュー技能があるインタビュアー $\left(I_{H}\right)$ の方が，技能がないインタビュアー $\left(I_{L}\right)$ よりも 1 発話あたりの単語数は多い. 以上から，一般的な 傾向として，インタビュー技能を有するインタビュ アーの方が，インタビュー技能がないインタビュ アーよりも内容の多い発話をしているが，技能者の 料理技能が低い場合は，インタビューの技能に関わ らず，技能者から多くの話を引き出すために多くの 発話を行う傾向があることが分かる.

## 3.2 対話後のアンケート結果

図 2,3 より, 技能者もインタビュアーも参加し たインタビューについて概ね満足していることが 分かる.「コミュニケーションはスムーズだったか」 という問いについては，技能者の平均値が 4.64 であ り，インタビュアーの平均値が 4.25 であった.

また，「コツを引き出していたか」という問いに ついては，技能者の平均値が 4.62 であり，インタ

図 2 技能者に対するアンケート結果

図 3 技能者に対するアンケート結果

ビュアーの平均値が 4.07 であった. この差は，イン タビュアーが技能者からコツを聞き出すようあらか じめ指示されていたことにより，インタビューの出来について技能者以上に厳しい判定をしたことに よって生じた差異であると考えられる。

なお，インタビュアーの料理の知識については平均値が 3.52 であった. これは, 最低限の料理の知識 を持つことをインタビュアーの参加条件としたこ とにより，知識があると回答する参加者が比較的多 かったためであると考えられる。

## 4 コツの引き出し方

本研究で収集した対話データは，インタビュアー が技能者から料理のコツを聞き出すようにタスク を設定した. そのため，インタビュアーの発話が契機となり，技能者が当初は話すことを予定していな かった知識が引き出される場合が少なくない. 本節 ではコツの引き出し方の典型的パターンを事例べー スで説明する。

技能者からコツを引き出す際によく見られるイン タビュアーの発話として, 直前に技能者が発言した 内容を繰り返したり，言い換えたりするというもの が挙げられる.

(3)「セロリのぬか漬け」

E:（えーと）塩と.これは（あの一）粗塩というか， (あの一）サラサラした食卓塩っていうよりは, （あの一）結構（あの）ザラザラゴツゴツとした 結構甘みのある塩です。

I: 粗塩, はい.

I: （あ）味が（じゃ）しっかりとしてるような感じ ですか?

E: そうですね。もうくこれなめ>これだけ甜めて も美味しい感じの塩です.はい.（まーね）（あ の一) なんでも塩好きなの使っていただいたらい いんですけど，(ま）塩だけで美味しいっていう のは結構，(あの）材料少ないんでね，(あの一）美味しい塩でされたらいかがかなと思います。

例 3 では，技能者の発言にある「甘みがある」をイ ンタビュアーが「味がしっかりとしている」と言い 換えたことにより，粗塩を使う理由を技能者が追加 で説明している。

このような質問の仕方は，インタビュアーに料理 の経験が十分にない場合も可能なものである。 一方，インタビュアー自身にも料理の経験があるから こそ可能となるコツを引き出す質問の特徴として， インタビュアーが具体的な状況を設定, 提示するこ とによって，技能者から細部についての説明を引き 出すというパターンが挙げられる。

(4)「生シラスのふっくらかき揚げ」

I: （ふーん）(で）何か（この）揚げているときのコ ツとかってありますか？

E: (あ).

E: 揚げているときのコツですね.

E: $(え-と)$

E：揚げているときの（こ）.
I: 例えば，私，よく（あの一）何か（こー）心配で ，できているのかなって，（こー）菜箸でぐしゃ ぐしゃぐしゃ,

I: やったりしてしまうんですけど，(な)（な）(な).

E: $(?)^{3)}$.

$\mathrm{E}:$ そうですね. つまり，なるべく（あの一）なるべ く触らないように。

I: （あー）やっぱりそうですか.

E: (?).

E：片面を揚げましたら，（えーと）なるべく触らな いようにそのまま（え一）じっくり火を通して， また裏返して，その後も（あの一）ほとんど触ら ないように，（え一）形がくずれないように揚げ ていって，（で）最終的に（あの一）

$\mathrm{E}:$ (えーと) バットに上げるときに，油をしっかり (こー)

E: 切るというのが，（あの）カリッとふわっと仕上 がるコツかなと思いますので.

例 4 では，最初に漠然とコツを尋ねられた技能者 がその後約 6 秒間回答に詰まっている。 それを受け たインタビュアーは下線部のように自身の経験談を 語ることで，天ぷらを揚げる時のコツを引き出して いる.このように，技能者が質問の回答に窮してい る時に，インタビュアーが具体的な状況を提示する ことで，技能者は自身では事前に意識していなかっ た知識や技能についてスムーズに話すことが可能と なる例が多く見られた。

これらの質問の仕方については，事前にイ ンタビュアーに提示した「良い質問のタイプ」 (Appendix C 参照)には含まれていない方略であり， インタビュアー役を務める対話システムの研究にお いて，重要な要素となりうる。

## 5 おわりに

本稿では，ウェブ会議システムを用いた料理イン タビュー対話コーパスの構築方法とその詳細につい て報告した。

コーパスの質的分析の結果，技能者のコツを引き 出す場面においては，言い換えや繰り返しを行うパ ターンとインタビュアー自身の経験をもとに具体的 な状況を想定した質問を行うパターンの 2 つが見出 された。これらのパターンをどのように使い分ける か，どのように対話システムに組み込むのかについ ては，今後の課題である.


## 謝辞

この成果は, 国立研究開発法人新エネルギー・産業技術総合開発機構 (NEDO) の委託業務 (JPNP20006) の結果得られたものです.ここに感謝致します.

## 参考文献

[1] Bodhisattwa Prasad Majumder, Shuyang Li, Jianmo Ni, and Julian McAuley. Interview: Large-scale modeling of media dialog with discourse patterns and knowledge grounding. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 8129-8141, Online, November 2020. Association for Computational Linguistics.

[2] Chenguang Zhu, Yang Liu, Jie Mei, and Michael Zeng. Mediasum: A large-scale media interview dataset for dialogue summarization. CoRR, Vol. abs/2103.06410, , 2021.

[3] 篠山学, 松本和幸.インタビュー対話コーパスの構築 と発話意図タグの設計. 第 82 回全国大会講演論文集,第 2020 巻, pp. 51-52, feb 2020.

[4] 伝康晴, フライジョン. 日本語 callhome コーパス. 音声研究, Vol. 4, No. 2, pp. 24-30, 2000.

[5] 前川喜久雄. 『日本語話し言葉コーパス』の概要. 日本語科学, Vol. 15, pp. 111-133, 2004.

[6] Yasuharu Den and Mika Enomoto. A scientific approach to conversational informatics: Description, analysis, and modeling of human conversation. pp. 307-330. John Wiley \& Sons, Hoboken, NJ, 2007.

[7] Itsuko Fujimura, Shoju Chiba, and Mieko Ohso. Lexical and grammatical features of spoken and written japanese in contrast: Exploring a lexical profiling approach to comparing spoken and written corpora. In Proceedings of the VIIth GSCP International Conference, p. 393. Speech and Corpora, 2012.

[8] 小磯花絵, 天谷晴香, 石本祐一, 居關友里子, 臼田泰如,柏野和佳子, 川端良子, 田中弥生, 伝康晴, 西川賢哉.『日本語日常会話コーパス』モニター公開版の設計 と特徴. 国語研究所日常会話コーパスプロジェクト報告書 3, 2019.

[9] Arseny Tolmachev, Daisuke Kawahara, and Sadao Kurohashi. Juman++: A morphological analysis toolkit for scriptio continua. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 54-59, Brussels, Belgium, November 2018. Association for Computational Linguistics.

## A タスク参加者数の詳細

表 6 参加者の役割・属性ごとの内訳. I，Eはそれぞれイ ンタビュアー，技能者を指す。また×はその役割では不参加だったことを表す.

## B 「料理のセミプロ」の条件

以下の 3 条件のいずれかを満たす技能者を「料理 のセミプロ」として分類した.

・料理教室等で料理（種類は問わず）を教えた経験がある

・調理師免許を取得している

・料理家として活動している

## C 良い質問のタイプ

1. 調味料や材料の分量・重さ，煮込み時間などの 数値的な情報を質問する

・「何分ぐらいで火を止めますか」

2.「とろみ」「こんがり」「まとまってきたら」など の抽象的な表現について，客観的に判断する手 がかりを質問する

・「とろみが出てきたのをどうやって判断し たら良いでしょうか」

3. 同じ材料・器具がないときはどうするのかを質問する

・「黒酢がないときは，どうしたら良いで しょうか」

4. 食材の下準備の説明が省略される傾向にあるの で，あえて質問する

・「お野菜はどうしてこの切り方をしたので すか」

5. 写真に映っているのに技能者が特に説明しな かったものを見つけ，それについて質問する

6. 技能者から説明を引き出したら，もう一歩踏み 込んで，それが良いことなのかも質問する

・I:「ネギは，青いネギじゃなくて白いネギ ですね」

E:「はい，白いネギの青いところと白いと ころを両方入れました」
I:「その方が美味しいのですか」

7. ポイントを率直に尋ねる

・「気をつけるべきことはありますか？」

・「難しいところはどこですか？」

8. 避けた方が良いことや，失敗経験を質問する

・E：「鯛の代わりに，他の白身魚やホタテで も良いですよ」

I：「良いですね．逆に，イマイチなものっ てありますか」

9. 反対の意見や，否定的な意見を投げかけてみる

・「ピーマンを入れると，子どもが食べない んじゃないでしょうか」

10. 自分なりの仮説を立てて質問する

・「砂糖の代わりにみりんを使うときも，同 じ分量を入れたら良いでしょうか」

11. はい・いいえで答えられる質問を，「どうして」「どうやって」と相手に話させるような質問に 言い換える

・「切り方はもっと小さくても良いですか」 を「どうしてこの大きさに切ったんです か」と言い換える
 岡久太郎 田中リベカ* 児玉 貴志 Yin Jou Huang 黒橋禎夫 京都大学大学院情報学研究科 \{okahisa, kodama, huang, kuro\}@nlp.ist.i.kyoto-u.ac.jp  