# 生成・分類言語モデルに基づく対話システムの構築

薛 強 $^{1}$ 滝口 哲也 ${ }^{1}$ 有木 康雄 ${ }^{1}$
1 神戸大学システム情報学研究科
xueqiang@stu.kobe-u.ac.jp takigu,ariki@kobe-u.ac.jp

## 概要

生成言語モデルとは，テキストデータから単語単位で学習し，単語生成機能を持つ言語モデルである. 近年，生成言語モデルに基づく対話システムが，人間らしい会話を模擬する上で優れた性能を示している.しかし, 生成言語モデルは生成した単語を構成する文章が適切かどうかを判定することができないため，繰り返しや間違いを含む文章を生成する傾向がある。そこで，本研究では，単語生成と文章分類両方の機能を持つ生成・分類言語モデルを提案する. 自動評価では，提案する生成・分類言語モデルに基づく対話システムにより，ベースライン対話システムに比べ良質な応答が生成できることを示した.

## 1 はじめに

近年, Microsoft の DialoGPT [1] や, Google $の$ Meena [2] など，Transfomer ベースの言語モデルを用いて，人間同士の対話データを応答生成のタスクで学習し，学習した言語モデルを用いて応答を生成するという生成言語モデルに基づく対話システム（以下，生成対話システムと呼ぶ）が主流となっている。このような対話システムは入力した対話履歴に基づいて，流暢な応答文を生成できる利点はあるが，「猫が好き．猫が好き」と言った繰り返される応答，または「分からない」と言った一般化された応答を頻繁に出力してしまい，情報性が低い対話になる傾向があり，問題となっている.

本研究では，上に述べたような応答を生成しないことを目的とし, 複数応答を生成した後に応答の適切性を判定できる生成・分類言語モデルに基づく対話システム (以下, 生成・分類対話システムと呼ぶ) を提案する. 図 1 に提案する対話システムの応答生成の流れを示す. 従来手法との比較実験により，提案する対話システムは，多様性と正解性評価指標に

図1 生成・分類言語モデルに基づく対話システムの応答生成の流れ。

おいて最高値を示した.

本稿では，まず生成言語モデルと生成・分類言語モデルについて述べる. 次に生成対話システムと，提案する生成・分類対話システムについて述べる.最後に提案する対話システムの実験と評価について報告する。

## 2 関連研究

本章では，ベースラインで用いる生成言語モデルと本研究で用いる生成・分類言語モデルについて述べる.

## 2.1 生成言語モデル

Transformer ベースの生成言語モデルには，主に Encoder-Decoder と Decoder の二種類の構造がある.一つ目の Encoder-Decoder 構造とは, Encoder 部に対話履歴を入力し, Decoder 部において逐次的な単語選択により応答文を生成する構造である。二つ目の Decoder 構造とは，Decoder 部に対話履歴を入力し，対話履歴の尾部に接続して単語選択により応答文を生成する構造である。

近年の研究では，応答文の多様性を向上させ，話題の切り替えを可能とするために， <entity, relation， entity >形式で表現された対話に関連する構造化知識

図 2 生成・分類言語モデルの学習タスク. 白色はソース，黄色部分は生成器のターゲット，青色部分は分類器のター ゲット．上部分は Double Heads モデルのタスク，下部分はLM Head モデルのタスク.

（外部知識）と対話履歴を統合して対話背景とし， これを GPT-2 [3] のような生成言語モデルに入力して応答を生成するという知識ベース生成対話システム [4] が提案されている. 本研究では，以上に述べた生成対話システムをべースラインとする。

## 2.2 生成・分類言語モデル

Encoder 構造を持つ BERT モデルでは，大量のテキストデータから文単位の学習を行うために，分類トークンの位置からモデル出力を一つの分類器 （Class Head）に入力し，2つの文章が連続しているかどうかを判定するという次文予測 (Next Sentence Prediction）タスクを用いている [5]. Decoder 構造を持つ GPT-2 モデルでは，大量対話データから文単位の学習を行うために，次文予測方法と同じように，停止トークンの位置からモデル出力を一つの分類器に入力し、応答が正解応答かどうかを判定するという応答判定タスクを用いている [6]. 本研究では,複数の応答に対する判定を学習するために，複数分類器を用いた応答判定タスクを提案する。

Arora 等らは, 生成言語モデルの生成器 (LM Head) と同じ数を持つ分類器 (Class Head) を各位置に追加し, 推論時に生成器が辞書にある各単語の確率を生成すると同時に，分類器が辞書にある各単語が適切かどうかを判定するという Double Heads モデルを提案した [7]. 本研究では, 単語単位ではなく, 文単位で判定する Double Heads モデルを提案するものであり，このモデルを生成・分類言語モデルと呼ぶ.

## 3 生成対話システム

学習データでは，対話履歴を $\left(x_{1}, \cdots, x_{M}\right)$, 目標応答を $\left(x_{M+1}, \cdots, x_{N}\right)$ とすると，学習データの負の対数尤度は以下のように計算される。

$
L_{\mathrm{LM}}=-\sum_{t=M+1}^{N} \log P\left(x_{t} \mid x_{1}, \cdots, x_{t-1}\right)
$

生成言語モデルの学習タスクでは，学習データの負の対数尤度を最小化する. 生成対話システムは学習した生成言語モデルを用いて応答を生成する。

## 4 生成・分類対話システム

本節では，提案する二種類の生成・分類対話システム (Double Heads: 4.2 節と LM Heads: 4.3 節) について，学習データ，学習段階と推論段階に関して述べる.

## 4.1 学習データ

生成・分類対話システムが適切な応答を判定できるために，学習データに対する正例応答（目標応答）を用いて負例応答を作る. 正例応答と負例応答の例を図 2 に示す。一つの学習データで，生成タスクと分類タスクの学習を同時に行うために，負例応答は，正例応答の冒頭からランダムの長さで抽出した部分 $\left(x_{M+1}, \cdots, x_{R}, M+1<R<N\right)$ と, 負例部分 $\left(x_{R+1}, \cdots, x_{S}, R+1<S\right)$ を組み合わせて構成する.繰り返し応答の生成を防ぐために，抽出した正例応答部分のコピーを一番目の負例部分とする。間違えた応答の生成を防ぐために，正例応答以外の応答の任意部分を二番目の負例部分とする。

## 4.2Double Heads モデル

Double Heads モデルの分類器は, 生成言語モデルの出力を <Good>（良い答）と< $<\mathrm{Bad}>（$ 悪い応答) に分類する. 図 3 の左部分に，分類器の構造を示す. 同じ学習データに対して Double Heads モデルの

図 3 提案する二種類の生成・分類言語モデルの構造. 左は Double Heads モデル，右は LM Heads モデル.

生成器と分類器は同時に学習を行う.

- 正例学習データ : 生成器の学習タスクでは, 学習データの負の対数尤度を式 1 で計算する. 分類器の学習タスクでは，学習データの負の対数尤度を以下の式で計算する。

$
L_{\text {class }}=-\log P\left(<\operatorname{Good}>\mid x_{1}, \cdots, x_{N}\right)
$

- 負例学習データ : 生成器の学習タスクでは, 学習データの負の対数尤度を以下の式で計算する。

$
L_{\mathrm{LM}}=-\sum_{t=M+1}^{R} \log P\left(x_{t} \mid x_{1}, \cdots, x_{t-1}\right)
$

分類器の学習タスクでは, 学習データの負の対数尤度を以下の式で計算する。

$
L_{\text {class }}=-\sum_{t=R+1}^{S} \log P\left(<\text { Bad }>\mid x_{1}, \cdots, x_{t}\right)
$

モデルの共同学習 Loss を以下の式で計算する。

$
L_{\text {train }}=L_{\mathrm{LM}}+\gamma L_{\text {class }}
$

ここで， $\gamma$ はハイパラメータである.

表 1 ハイパーパラメータ

## 4.3 LM Heads モデル

LM Heads モデルは分類器の代わりに，<Bad>をトークンとして辞書に登録し，生成器を用いて悪い応答を判定する．辞書にある< $\mathrm{Bad}>$ 以外のトークンは良い応答と判定できるため，<Good>を登録する必要がない. 図 3 の右部分に, 生成器の構造を示す.
- 正例学習データ : 生成器の学習タスクでは，学習データの負の対数尤度を式 1 で計算する。
- 負例学習データ : 生成器の学習タスクでは，学習データの負の対数尤度を以下の式で計算する。

$
\begin{aligned}
L_{\mathrm{LM}}= & -\sum_{t=M+1}^{R} \log P\left(x_{t} \mid x_{1}, \cdots, x_{t-1}\right) \\
& -\sum_{t=R+1}^{S} \log P\left(<\text { Bad }>\mid x_{1}, \cdots, x_{t}\right)
\end{aligned}
$

## 4.4 推論段階

生成・分類対話システムは，まず生成器を用いて, Beam Search によりビーム幅サイズの応答を複数生成する. 次に生成された応答を分類器に入力して<Bad>のスコアを計算し，最小値を持つ応答を出力する.

## 5 実験と評価

実験では, 生成対話システム (3 章), Double Heads 構造を持つ生成・分類対話システム 1 (4.2 節)，LM Head 構造を持つ生成・分類対話システム 2 (4.3 節) を実験対象とする．本章では，言語モデルの学習段階と推論段階で用いるデータセット，ハイパーパラ
表 2 各応答生成手法によって生成された応答文の評価結果.

表 3 各応答生成手法による対話例. 赤字は応答中にある問題単語

 \\
\cline { 2 - 3 } & User A & No I have not. Who was in Six Shooter? \\

\cline { 2 - 3 } & User B & I like Bob Peck. Can you tell me some interesting facts on him? \\

メーの設定，及び推論段階の実験評価について述べる.

## 5.1 データセット

OpenDialKG [8] は，本と映画についての推薦対話が含まれている雑談対話データセットである．話者は常に構造化知識中のエンティティを含む発話を行い，関連知識に基づいた推薦対話が行われている.学習データは 11041 文, 負例学習データは 5520 文である. 本研究では，ターゲット応答文に埋め込む知識を用いて実験を行う. 表 1 に言語モデルのハイパラメータの設定を示す.

## 5.2 実験評価

実験評価では，応答文の正解性，多様性の二つの角度から応答文の質を評価する。多様性の評価指標として，応答文に含まれる単語数の平均を表す Avg Len，応答文に含まれる n-gram の種類数を表す DIST-n [9] を用いる. 正解性の評価指標としては，応答文と正解文の類似度を表す BLEU-n [10]， NIST-n [11]を用いる.

表 2 亿，各応答生成手法によって生成された応答文の評価結果を示す. 表より，提案した生成・分類対話システム 1 は正解性評価全指標のスコアで最高値に達した。提案した生成・分類対話システム 2
は，多様性評価全指標のスコアで最高値に達した。 これより，提案した対話システムの有効性が確認できる.

表 3 に，各応答生成手法によって生成された応答文の例を示す. 表の生成例 1 と生成例 2 より，生成・分類対話システムは繰り返し応答と間違え応答を判定できたため，誤った単語「Michael Caine」と 「Slipperystream」の生成を防ぐことができている.

## 6 おわりに

生成対話システムを単語単位だけではなく，文単位で応答の適切性を学習できるようにするため, Double Heads 構造と LM Head 構造を持つ二種類の生成・分類対話システムを提案した. 従来手法との比較実験により，提案する対話システムは，多様性と正解性評価指標において最高値を示した。

## 参考文献

[1] Yizhe Zhang, Siqi Sun, Michel Galley, Yen-Chun Chen, Chris Brockett, Xiang Gao, Jianfeng Gao, Jingjing Liu, and Bill Dolan. Dialogpt: Large-scale generative pre-training for conversational response generation. arXiv preprint arXiv:1911.00536, 2019.

[2] Daniel Adiwardana, Minh-Thang Luong, David R So, Jamie Hall, Noah Fiedel, Romal Thoppilan, Zi Yang, Apoorv Kulshreshtha, Gaurav Nemade, Yifeng Lu, et al. Towards a human-like open-domain chatbot. arXiv
preprint arXiv:2001.09977, 2020.

[3] Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, Ilya Sutskever, et al. Language models are unsupervised multitask learners. OpenAl blog, Vol. 1, No. 8, p. 9, 2019.

[4] Shuman Liu, Hongshen Chen, Zhaochun Ren, Yang Feng, Qun Liu, and Dawei Yin. Knowledge diffusion for neural dialogue generation. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1489-1498, 2018 .

[5] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018

[6] Thomas Wolf. How to build a state-of-the-art conversational ai with transfer learning, 2019. https://medium. com/huggingface/.

[7] Kushal Arora, Kurt Shuster, Sainbayar Sukhbaatar, and Jason Weston. Director: Generator-classifiers for supervised language modeling. arXiv preprint arXiv:2206.07694, 2022.

[8] Seungwhan Moon, Pararth Shah, Anuj Kumar, and Rajen Subba. Opendialkg: Explainable conversational reasoning with attention-based walks over knowledge graphs. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 845-854, 2019

[9] Jiwei Li, Michel Galley, Chris Brockett, Jianfeng Gao, and Bill Dolan. A diversity-promoting objective function for neural conversation models. arXiv preprint arXiv:1510.03055, 2015

[10] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th annual meeting of the Association for Computational Linguistics, pp. 311-318, 2002.

[11] George Doddington. Automatic evaluation of machine translation quality using n-gram co-occurrence statistics. In Proceedings of the second international conference on Human Language Technology Research, pp. 138-145, 2002.


# 対話システムは疑問符なしで適切な応答生成できる 一音声対話を目的とした，疑問文に対する応答生成の調査一

水本智也 ${ }^{1}$ 山崎天 ${ }^{1}$ 吉川克正 ${ }^{1}$ 大萩雅也 ${ }^{1}$ 川本稔己 ${ }^{1,2}$ 佐藤敏紀 ${ }^{1}$
${ }^{1}$ LINE 株式会社 2 東京工業大学
\{tomoya.mizumoto, takato.yamazaki, katsumasa.yoshikawa,
masaya.ohagi, toshiki.kawamoto, toshinori.sato\}@linecorp.com

## 概要

人が音声で対話する際，テキストベースの対話とは異なる現象が見られる. テキストベースの場合,疑問文は疑問符“?”を付けることが一般的であるが，音声対話では語尾を上げて疑問を表すことがある。音声認識エンジンには疑問文に対して“?”が付与されないものも多くあり，音声対話システムを作る際に障害となり得る。例えば，音声で「適切な応答生成できる？」と入力された際に，文末の“?” があるかないかで文意は異なり，システムがすべき適切な応答も変わる. 本研究では, “?”の有無が対話システムに与える影響を調査し，またどのような発話がより対話に影響するか実例を元に考察する。

## 1 はじめに

スマートフォンやスマートスピーカーの普及に伴い，音声によってデバイス操作することが一般的となってきた. 対話システム研究の分野においても自然言語処理の枠を越えて，ロボットや CG エージェントを使って，ユーザとマルチモーダルな音声対話を行うコンペティションが開催されている $[1,2,3]$ が，コンペティションに参加した多くの対話システムは書き言葉コーパスを使って作られている.

音声で対話を行う際は，テキストベースの対話にはない難しさが生じる. その中の一つに音声認識されたテキストに句読点や疑問符 (以下，“?”) などの記号 (約物) が付与されていない問題がある. そのような問題に対処するために約物の自動付与の研究も行われている $[4,5,6]$.

入力文に約物がないと，入力文が平叙文か疑問文か区別できない問題が生じる．音声対話では語尾を上げて疑問を表現することがあり，テキストにすると疑問とわからないことがある．例えば，NLP2023

図 1 疑問文に対する応答の評価の例。疑問に対する応答のため，二番目三番目は不適当な応答となる。

に参加するか聞く際，「NLP2023 に参加する？」と語尾を上げて疑問として聞くことができるが，音声認識でテキストに起こされると「NLP2023 に参加する」となる．疑問であった情報は落ち，テキストベース対話を想定した既存の対話システムは平叙文と認識し，応答生成に失敗する可能性がある.

そこで本研究では，対話コンペティションでも主流のテキストベース対話を想定したシステムが，音声認識で得られた，疑問符のない疑問発話にどれだけ頑健か調査する。“?”の有無が応答生成に影響しなければ，音声対話システムを作る際に既存の対話システムをそのまま使用できる。一方，“?”が応答生成に影響すれば，入力文に“？”を付与するなど， システムが疑問とわかる工夫をする必要がある.

“?”の影響調査のため，文末が “?” のものとそうでないものを用意し，それらに対し対話システムで応答を生成し，その応答を人手で評価，分析した (図 1). 評価・分析の結果として, “?”が対話システムの応答生成に与える影響は大きいことがわかり，またこの問題の解決のために音声情報などテキスト以外の情報が必要であることが示唆された.

## 2 調査方法

## 2.1 対象とする現象と比較方法

テキストに付与される約物は疑問符だけでなく，句読点や感嘆符，鉤括弧など多岐にわたる．本研究

では，問題の簡単化のため“?”だけを対象とする. また, 音声対話において, 発話が長くなると一発話中に複数文入ることがあり，句点や疑問符が入る箇所もそれに応じて増えるが，発話内に複数文ある場合でもテキストの最後の“?”のみを対象とする.例えば「沖縄好き NLP 行きます」のような発話があった際に，本来は「沖縄好き？ NLP 行きます？」 のように“好き” の後ろにも“?” が入るのが適切である. 今回は「沖縄好き NLP 行きます？」のようにテキスト末尾に入る記号のみを対象とする。

文末の “?" の比較対象として，文末記号を記号なしにした場合と句点“。”にした 2 種類を用いる.記号なしは音声認識結果のテキストをそのまま使った場合を想定している. 句点は，仮に約物の自動付与に失敗した場合に悪影響があるかを調査するために用いる. 図 1 のように各事例に対して応答を生成し，疑問に対する応答であるかを評価する。

応答生成のために検証対象のユーザ発話だけでなく, 文脈として過去の発話履歴も入力として使用する.これは，該当する発話が短いなど，一発話のみからの応答生成が難しい場合があるためである。また，一般的な音声対話においてユーザが疑問から始める場合は少なく，ある程度の文脈を使って応答を生成する方が現実的な設定であるため, 本研究では文脈も使用して応答生成を行う. 本研究では, 対象のユーザ発話含め 4 発話を入力とする.

## 2.2 使用する対話データ

特徴の異なるタイプの対話での “?” の影響を調査するため，三つのデータを使用する。一つ目は名大会話コーパス [7] 1) (以下， NUCC), 二つ目は対話システムライブコンペティション 5 の LINE チームのオープントラック予選の対話履歴 (以下，Open),三つ目は同じく対話システムライブコンペティション 5 の LINE チームのシチュエーショントラック予選の対話履歴 (以下，Situation)である.

NUCC は日本語母語話者の雑談対話を人手で書き起こしたものである. データの中には, 複数人で対話をしているものもあるが，二人で対話しているもののみを使用する. 音声対話したものを人手で書き起こしたデータであるため, 音声認識誤りなどは含まれていないが，括弧などで場の雾囲気や笑い声なども情報として付記されている. 本研究では，そのような情報は削除して純粋な発話のみを使用する.

1) https://mmsrv.ninjal.ac.jp/nucc/
Open は，コンペティション評価者と LINE のオー プントラック対話システム [8] との雑談対話の履歴である. 雑談のトピックはいくつか用意されており, アニメ, 観光地, 時事など多岐にわたる. 評価者と対話システムは音声でやり取りし，評価者の発話は音声認識エンジンの Google Speech Recognition を使ってテキスト化される. 評価者の発話には音声認識誤りが含まれている可能性があり, 約物も付与されていない. 本研究のために，音声認識されたテキスト末尾に句点，疑問符を人手で付与した.

Situation は，コンペティション評価者と LINE のシチュエーショントラック対話システム [9] との, シチュエーションに沿った対話履歴である. 本を失くしたことを謝るシチュエーションであり，また敬称無しで呼び合う仲という設定で比較的親しい間柄に近く, 丁寧語 (です，ますなど) があまり出ない対話となっている ${ }^{2}$. Open 同様に, 音声認識されたテキスト末尾に句点，疑問符を人手で付与した.

2.1 節で説明したように，ユーザ発話のテキスト末尾が “?”で終わっているもののみを対象とする. NUCC は全てが人による発話であるが，今回は “?” がある発話をユーザ発話とみなし, その前に発話しているユーザを対話システムとみなすことで調査用データを作成した. 全てのデータセット， 100 対話例ずつ作成した. Open は “?” が含まれる発話が 100 に満たなかったため, 以下の例のように “ますか”や“ですか”など疑問を表す助詞 “か”で終わっている発話の “か”を削除することで対話例を水増しした。

(1) 行きますか？～行きます？

## 2.3 対話システム

本研究では，異なる性質を持つ対話システムで疑問符の有無の影響を調査するため, 以下の二つのシステムを用いる。一つ目は, 2022 年に開催されたコンペティションにおいて優勝した HyperCLOVA [10] ベース ${ }^{3)}$ の対話システムである。もう一つは， 2020 年に開催されたライブコンペティション [12] のオー プントラックで優勝した Trasformer ベースの対話システム $[13,14]$ を使用する.

HyperCLOVA ベースの対話システムは，プロンプトプログラミングによって実現されている. NUCC

2）シチュエーションの詳細はホームページ参照.

3）HyperCLOVA は GPT-3 [11] と同様の性質を持つ日本語基盤モデルを含むシステムである.
表 14 人の評価結果の一致率.

と Open のデータに対して応答を生成する際は， LINE のオープントラック対話システム [8] で使われた一般的なプロンプトを使用する. Situation のデー タに対して応答を生成する際は，LINE のシチュエーショントラック対話システム [9] の謝罪フェー ズのプロンプトを使用する。また， HyperCLOVA は 82 Billion パラメータのものを使用する。

Trasformer ベースの対話システムは Twitter のリプライデータで Transformer [15] を事前学習しており, そこから対話ログを使って finetune している. 本研究では, JPersonaChat [13] で finetune されたモデルを使用する ${ }^{4)}$ 、ハイパーパラメータは, 先行研究実験時と同様のものを使用する. HyperCLOVA ベースの対話システムと同様，生成する直前の 4 発話をシステムに入力して応答を生成する.

## 2.4 評価方法

“?”が対話システムに与える影響調査のため, システムが生成した応答を人手で評価した. 評価は著者を含む社内の NLP エンジニア 8 名で行い， NUCC・Open・Situation それぞれ 4 名ずつで評価した. 評価に際しては，対話システムが良い応答ができているかという観点ではなく，疑問文に答えた応答になっているかで評価した. 本研究の評価では,計算の簡単化のため “ $\bigcirc$ ” か “ $\times$ ” の二択で評価した.評価者には，対話システムが応答生成する際に使った文脈を含めて提示し，疑問文に答えられているかを評価してもらった。評価労力の削減のため，一つの対話事例ごとに二つのシステムと三つの文末記号の組み合わせとなる六つの応答結果をまとめて提示した. システムや文末記号による先入観やバイアスが入ることを防ぐため，どのシステム，どの文末記号によるものかは記載せず，各対話例ごとにランダムに並び替えた．評価ツールにはエクセルを用いて，Appendix の図 2 に示す形で評価した。

4 人の評価結果の一致率を調べるために Fleiss のカッパ係数を計算した. 一致率を表 1 に示す. Open と Situation については 70 を越えており高い一致率である. NUCC に関しても Kappa 係数 58 となっており, 4 人の結果でも比較的一致している.

表 2 文末の記号ごとの，対話システムが質問と認識して応答を生成できた割合. “Tr.” は Transformer ベース, “HC” は HyperCLOVA ベースの対話システムを表す.

## 3 実験結果

文末記号を変えた際の対話システムの応答を人手評価した結果を表 2 に示す。それぞれ 4 名で評価しており，その内の 3 名以上が“○”を付けているものの割合を示している. システムやデータに関わらず，文末が“?”のものが高い精度を出しており，疑問発話に対する応答を生成する場合は“?”乍付ける必要があることが分かる。

システム間で比較すると Transformer ベースの対話システムは，“？”がある場合とない場合で，およそ $30 \%$ の精度差があり“?”の果たす役割が大きいことがわかる. HyperCLOVA ベースの対話システムは“?”がある場合とない場合でおよそ $20 \%$ の精度差で Transformer ベースのものに比べると差は小さいが，それでも大規模なパラメータを持つ汎用モデルによる対話システムにおいても“?”の重要度は高いことがわかる. Situation に対する HyperCLOVA の結果は差が小さいが，これはシチュエーションがかなり限定されており，プロンプトにもそれが反映されているからだと考える。 しかし，それでも $10 \%$ の差はあり，プロンプトが作り込まれていても“?" は重要であることが示唆される。

記号なしと“。”とを比較するとシステムやデー タに関わらず大きな差はない。このことから仮に “?”の自動付与に失敗して疑問文に対して“。”を付与してしまっても，音声認識結果をそのまま使う場合と同等の質の対話は維持できると言える.

## 4 考察

本節では，実際の対話例を元に分析する。対話システムによって生成された応答例を表 3 に示す. 比較を容易にするため, 最後のユーザ発話以外の文脈は同じで最後のユーザの疑問発話が助詞 “か” で終わるものとそうでない場合での応答結果を比較する．疑問を表す助詞 “か” で終わっている場合は， “?"が無くとも疑問系と識別できるため，表中の上の例のように全て適切な応答が生成できている。一
表 3 対話システムの実際の応答生成例。システムカラムの “HC” は HyperCLOVA ベース, “Tr.” は Trasformer ベースを表し，“なし”,“。”，“?”は文末記号を表す．右端に、があるものは人手評価で適切な応答とされたものである.

 &  &  & $\checkmark$ \\

表 4 “?”以外の場合で，HyperCLOVA の対話システムは疑問に答えられたが Transformer では失敗した対話例.

方，“あります”のように平叙文の形で文が終わっている場合は，現状の対話システムでは疑問文と認識して応答を生成できずに，“ユーザが行ったことがある”と捉えて応答生成していることがわかる．表 3 の例にも示すように“?”が無くても疑問に対して応答生成できるものの多くは，先述した例のように疑問を表す助詞で文が終わっているものや $(2 \mathrm{a})$, いわゆる $5 \mathrm{~W} 1 \mathrm{H}$ のような疑問詞がある場合 (2b) であった. それに対して，“?”がないと応答生成が難しいものは“?”がないと人間でも平叙文として捉えてしまう可能性があるもの (2c)である.

(2) a. YouTube は見ますか

b. どんな場所です

c. オランダに行ったことある

議論を深めるために，文末が“?”"でない場合に疑問に答えられなかった例を中心に分析する。表 4 に HyperCLOVA ベースでは疑問に答えた応答を生成できたが，Transformer ベースでは失敗した例を示す. 発話単体では疑問と判断するのは難しいが, HyperCLOVA ベースのシステムは文脈から疑問であ
ると判断できたと考える.この例のように文脈から疑問として判断し応答生成できる例もあるが，“?” がない場合に失敗しているものは $20 \%$ 程度ある。参考に Appendix の表 5 に“?”がない場合に疑問に答えた応答が生成できない他の発話例を示す.これらの対話例は，疑問符の自動付与もテキストのみから行うのは難しい，また，日本語対象ではないが，音声入力への約物の自動付与の先行研究でも，その精度は 8 割程度である $[4,5,6]$. この問題を解決していくには，言語情報だけで応答生成することは難しく，テキスト処理の枠を越えて，音声や顔の表情も同時に使った応答生成をする必要があると考える。

## 5 おわりに

本研究では、対話システムの応答生成において,文末の “?” が生成結果に与える影響について調査した. その結果，“?”がある場合とない場合を比較すると, “?" がある場合に適当な応答を返す割合が 20〜30\%ほど高く，対話の応答生成において“?”が果たす役割が大きいことがわかった.

疑問符がない場合に失敗する例を見ると，疑問符がないと疑問とわからないものがほとんどであった. 文脈を含めてもテキストのみで疑問と判断するのが難しいものもあり，今回は対象としていないが音声対話には音声認識誤りの問題もある.これらの問題を解決するためには，テキスト処理を越えて音声や顔の表情を使った応答生成をする必要がある.

複数文ある際の句点や疑問符，また読点の有無が応答の質に影響を与えるかは課題として残っている. また, 日本語以外での言語で疑問符の有無が応答生成に影響するかの検証も今後の課題としたい。

## 謝辞

本研究の評価を手伝ってくださった LINE NLP チームの内海慶氏，小林滉河氏，馬越雅人氏に感謝する.

## 参考文献

[1] Ryuichiro Higashinaka, Takashi Minato, Kurima Sakai, Tomo Funayama, Hiromitsu Nishizaki, and Takayuki Nagai. Dialogue robot competition for the development of an android robot with hospitality. In Proc. of 2022 IEEE 11th Global Conference on Consumer Electronics, 2022.

[2] Takashi Minato, Ryuichiro Higashinaka, Kurima Sakai, Tomo Funayama, Hiromitsu Nishizaki, and Takayuki Nagai. Overview of Dialogue Robot Competition 2022. In Proc. of the Dialogue Robot Competition 2022, 2022.

[3] 東中竜一郎, 高橋哲朗, 堀内颯太, 稲葉通将, 佐藤志貴, 船越孝太郎, 小室允人, 西川寛之, 宇佐美まゆみ,港隆史, 境くりま, 船山智. 対話システムライブコンペティション 5. 第 96 回人工知能学会言語・音声理解と対話処理研究会, pp. 93-100, 2022.

[4] Jumon Nozaki, Tatsuya Kawahara, Kenkichi Ishizuka, and Taiichi Hashimoto. End-to-end Speech-to-PunctuatedText Recognition. In Proc. of Interspeech, pp. 18111815, 2022.

[5] Yaoming Zhu, Liwei Wu, Shanbo Cheng, and Mingxuan Wang. Unified Multimodal Punctuation Restoration Framework for Mixed-Modality Corpus. In Proc. of IEEE International Conference on Acoustics, Speech and Signal Processing, pp. 7272-7276, 2022.

[6] Xinxing Li and Edward Lin. A 43 Language Multilingual Punctuation Prediction Neural Network Model. In Proc. of Interspeech, pp. 1067-1071, 2020.

[7] Itsuko Fujimura, Shoju Chiba, and Mieko Ohso. Lexical and Grammatical Features of Spoken and Written Japanese in Contrast: Exploring a lexical profiling approach to comparing spoken and Written corpora. In Proc. of the VIIth GSCP International Conference. Speech and Corpora, pp. 393-398, 2012.

[8] 山崎天, 川本稔己, 大萩雅也, 水本智也, 小林滉河, 吉川克正, 佐藤敏紀. HyperCLOVA を用いた音声雑談対話システム. 第 96 回人工知能学会言語・音声理解と対話処理研究会, pp. 113-118, 2022.

[9] 吉川克正, 川本稔己, 山崎天, 水本智也, 小林滉河, 大萩雅也, 佐藤敏紀. シチュエーションに合わせたシナリオ誘導と HyperCLOVAを利用した応答生成によるハイブリッド対話システム. 第 96 回人工知能学会言語・音声理解と対話処理研究会, pp. 124-129, 2022.

[10] Boseop Kim, HyoungSeok Kim, Sang-Woo Lee, Gichang Lee, Donghyun Kwak, Jeon Dong Hyeon, Sunghyun Park, Sungju Kim, Seonhoon Kim, Dongpil Seo, Heungsub Lee, Minyoung Jeong, Sungjae Lee, Minsub Kim, Suk Hyun Ko, Seokhun Kim, Taeyong Park, Jinuk Kim, Soyoung Kang, Na-Hyeon Ryu, Kang Min Yoo, Minsuk Chang, Soobin Suh, Sookyo In, Jinseong Park, Kyungduk Kim, Hiun Kim, Jisu Jeong, Yong Goo Yeo, Donghoon Ham, Dongju Park, Min Young Lee, Jaewook Kang, Inho Kang,
Jung-Woo Ha, Woomyoung Park, and Nako Sung. What Changes Can Large-scale Language Models Bring? Intensive Study on HyperCLOVA: Billions-scale Korean Generative Pretrained Transformers. In Proc. of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 3405-3424, 2021.

[11] Tom B Brown, Benjamin Mann, et al. Language Models are Few-Shot Learners. In Proc. of Advances in Neural Information Processing Systems, pp. 1877-1901, 2020.

[12] 東中竜一郎, 船越孝太郎, 高橋哲朗, 稲葉通将, 角森唯子, 赤間怜奈, 宇佐美まゆみ, 川端良子, 水上雅博,小室允人, Dolça Tellols. 対話システムライブコンペティション 3. 第 90 回人工知能学会言語・音声理解と対話処理研究会, pp. 96-103, 2020.

[13] Hiroaki Sugiyama, Masahiro Mizukami, Tsunehiro Arimoto, Hiromi Narimatsu, Yuya Chiba, Hideharu Nakajima, and Toyomi Meguro. Empirical analysis of training strategies of transformer-based japanese chit-chat systems, 2021.

[14] 杉山弘晃, 成松宏美, 水上雅博, 有本庸浩, 千葉祐弥,目黒豊美, 中嶋秀治. Transformer encoder-decoder モデルによる趣味雑談システムの構築. 第 90 回人工知能学会言語・音声理解と対話処理研究会, pp. 104-109, 2020.

[15] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention Is All You Need. In Proc. of Advances in Neural Information Processing Systems, pp. 5998-6008, 2017.

## A 参考情報

図 2 評価に使ったエクセルのサンプル。

表 5 HyperCLOVA ベースの対話システムで，文末“?”の場合は適切な応答ができたもので，“。”と記号なしの場合両方で応答に失敗したユーザ発話の例.

 & 富士山には登ったことあります & 私は電話してないあなたかけてみた \\

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 積極的・消極的な性格を持つ自由対話システムの構築に向けて

吉田宽太白井清昭
北陸先端科学技術大学院大学 先端科学技術研究科
\{s2110184,kshirai\}@jaist.ac.jp

## 概要

本論文は，ペルソナを含まない対話コーパスから積極的あるいは消極的な性格を持つ自由対話システムを構築する手法について述べる. Twitterから収集された擬似的な発話と応答の組からなるコーパスを用意し，応答の極性を中立，肯定，否定のいずれかに分類し，その分類結果に基づいて発話と応答の組を 3 つのサブコーパスに分割する。次に，大規模な中立のサブコーパスを用いて対話モデルを学習後,小規模な肯定または否定のサブコーパスを用いて対話モデルを再学習することで，積極的または消極的な応答を返す自由対話システムを獲得する。

## 1 はじめに

自由対話システムは，様々な話題についてユーザと雑談するシステムであり, 自然言語処理研究分野における重要な研究課題のひとつである。近年では， ウェブやソーシャルメディアから大量の対話の例を収集し，それを元にユーザの発話に対してシステムの応答を返す系列変換モデルを学習する研究が多い。このようなアプローチは自由対話システムの品質を飛躍的に向上させた一方, 応答の個性や一貫性が欠けやすいという問題がある [1]. 例えば，自由対話システムと長い時間雑談をすると，システムの性格が変わるような印象を受けたり, 少し前の発話と矛盾するような発言をしたりすることがある. これは, 自動収集された対話デー夕には様々な性格や個性を持つ不特定多数のユーザの対話が混在していること, 多くの先行研究では文脈を考慮せずにユーザの 1 つの発話に対して応答を生成するシステムを学習するために矛盾を生じる発言が生成されやすいことなどが原因として考えられる。

このような問題を解決するために， ゚゚ルソナを用いて個性や一貫性を持つ自由対話システムを実現した研究がある $[2,3]$ 、ペルソナとはシステムが想定
する話者のパーソナリティに関する知識である。 あらかじめ用意したペルソナに沿うようにユーザに対話させたデー夕を用いて対話モデルを学習する研究が多いが，その作成コストの高さが問題となる。また，どのような知識をペルソナとして用意しておくべきかは難しい課題である.

本研究は，ペルソナを参照しない方法で個性を有する自由対話システムを学習する手法を提案する。個性には様々なものがあるが，本研究では「積極的な性格」または「消極的な性格」に着目する．積極的な性格を持つ対話システムとは，ユーザの応答に対してそれを支持したり励ますような発言をするシステムを，消極的な性格を持つ対話システムとは，否定したり賛意を示さない発言をするシステムを想定する。例えば，「沖縄旅行に行きたい」というユーザの発話に対し, 前者は「いいですね。私も行きたいです.」と応答し, 後者は「私は出不精なので行きたくないです.」と応答する. 積極的な対話例や消極的な対話例を自動収集し，これを訓練データとして系列変換モデルを学習することで，積極的・消極的な性格を持つ対話システムを実現する。

## 2 関連研究

ペルソナを用いて自由対話システムによる応答に個性や一貫性を与える手法が研究されている。 Li らは, 深層学習に基づく対話システムの応答に一貫性を持たせるためにペルソナを利用する手法を提案した [1]. Long Short-Term Memory (LSTM) による Encoder-Decoder モデルをベースとし, Decoderの入力に一つ前の時刻の単語埋め込みに加えて話者埋め込みを与えることで，話者に応じて一貫した応答を生成させた。対話モデルは話者の IDが付与された対話データから学習した。

Zhang らは, クラウドワーカーにプロフィール文の集合によって設定された人物を演じながらテキストチャットを行わせて収録した PERSONA-CHAT

というデータセットを構築し，それから対話モデルを学習することでシステム応答に個性を与える手法を提案した [2]. 対話モデルとして, Key-value memory network などを利用して複数の発話候補の中から最適な応答を選択するランキングモデルと，プロフィール文を参照する Memory network などを利用して応答文を出力する生成モデルを学習した. 被験者実験の結果, 流暢性, (対話としての) 魅力性,一貫性のいずれにおいても, PERSONA-CHAT から学習したモデルは Twitter や映画の字幕などの対話データから学習したモデルょりも優れていることを示した。

$\mathrm{Xu}$ らはユーザとの長期にわたる雑談においても対話システムの個性を維持する手法を提案した [3]. ボット役とユーザ役の二人のクラウドワーカーにボット・ユーザのペルソナを参照しながら対話をすることを依頼し，その対話を収録した。さらに，対話における応答がペルソナを参照しているか, 参照しているときはどのペルソナの文を参照しているかをアノテーションした. 次に, 対話履歴からペルソナの文を抽出してメモリとして保存するモジュー ル，応答を生成するときにペルソナのメモリから文の生成に用いるプロフィール文を抽出するモジュー ル, このプロフィール文を参照しつつ系列変換モデルによって応答を生成するモジュールから構成される PLATO-LTM と呼ぶ対話システムを設計し, 収録した対話コーパスを用いてこれを学習した。被験者実験の結果, ペルソナのメモリ機能を導入することで会話の一貫性と魅力性の評価が向上したと報告している.

先行研究ではペルソナにしたがってユーザに対話を行わせたコーパスを用いて自由対話システムを学習しているが，そのようなコーパスの作成コストは高い. 1 節で述べたように, 本研究では, 設定する性格は積極的，消極的の 2 つに限定するが，ペルソナの情報を参照して構築したコーパスを用いずに個性を持つ対話システムを実現することを目指す。

## 3 提案手法

提案手法の概要を図 1 に示す. 図中の用語の正確な定義は 3.1 項以降で後述する。まず，Twitterにおけるツイートとそれに対するリプライの組を対話における発話と応答の組とみなし，これを自動的に収集し, Twitter 対話コーパスとする。 次に, 応答のツイートの極性判定を行い，「肯定」「否定」「中立」の

図 1 提案手法の概要

いずれかに分類する．応答が「肯定」または「否定」 と判定された発話対を抜粋して性格対話コーパスを作成する. 同時に, 応答が「中立」と判定された発話対を拔粋して一般対話コーパスを作成する。

自由対話システムのための系列変換モデルを学習する。まず，一般対話コーパスを用いて発話に対する応答を返す汎用対話モデルを学習する。次に，汎用対話モデルを初期のパラメ夕として，性格対話コーパスを訓練データとして系列変換モデルを再学習することで，性格対話モデルを得る．肯定的な応答を含む性格対話コーパスからは積極的な性格を持つ対話システムが，否定的な応答を含む性格対話コーパスからは消極的な性格を持つ対話システムが得られる。

## 3.1 Twitter からの対話コーパスの収集

Twitter から収集された対話コーパス [4]を利用する. 同コーパスは Twitter におけるツイートとリプライの連鎖を擬似対話として収集したデータであり, 簡単なヒューリスティクスによって不適切な対話を除外している．3つ以上の発話からなる対話を含むが，本研究ではこれを 2 つの発話の組に分割して使用する、ツイートに対する前処理として, URL, スクリーンネーム, ハッシュタグ, 絵文字,顔文字などを除去する。さらに，形態素数が 3 以下または記号, 空白, 数字のみからなるツイートを含む発話対を除去する。最終的に 642,722 の発話対から構成されるコーパスを作成した。本論文ではこれを「Twitter 対話コーパス」と呼ぶ.

## 3.2 応答ツイートの極性判定

発話対は発話とそれに対する応答から構成されるが，応答に相当するツイートの極性を判定する。極性の分類クラスは肯定，否定，中立の 3 つとする. 本研究では oseti[5] を用いて極性を判定する.同ツールは, 日本語評価極性辞書 (用言編)[6] (名詞編)[7]を使用し, 文中の単語の極性スコアの平均によって文全体の極性スコア (-1 から 1 までの値)を算出する。．応答ツイートの極性スコアに応じて対話コーパスを以下の 3 つのサブコーパスに分割する。

積極的性格対話コーパス応答の $\operatorname{Score}_{p o}(t)$ が 0 より大きい発話対からなるコーパス. 肯定的な単語を含むため, 発話に対する応答は積極的な性格の持ち主によるものであると仮定する。

消極的性格対話コーパス応答の $\operatorname{Score}_{p o}(t)$ が 0 より小さい発話対からなるコーパス. 否定的な単語を含むため, 発話に対する応答は消極的な性格の持ち主によるものであると仮定する。

一般対話コーパス応答の $\operatorname{Score}_{p o}(t)$ が 0 である発話対からなるコーパス，その応答は，積極的，消極的いずれの性格も感じられないと仮定する。

以下，積極的性格対話コーパスと消極的性格対話コーパスをまとめて「性格対話コーパス」と呼ぶ.

## 3.3 対話モデルの学習

前項で述べた対話コーパスを訓練データとし，発話を入力としてそれに対する応答を出力する系列変換モデルを学習する．学習モデルとして Transformer[8]を利用する。

積極的あるいは消極的な性格を持つ自由対話システムを構築するためには，積極的性格対話コーパスあるいは消極的性格対話コーパスを訓練データとして対話モデルを学習するのが直接的な方法である. しかし，4節で後述するように，Twitter 対話コーパスにおいて応答が肯定または否定の極性を持つ発話対の数は少なく, 対話モデルを構築するために十分な訓練デー夕量を確保することは難しい，そこで，以下の二段階で対話モデルを学習する。

Step 1. 一般対話コーパスを用いて対話モデルを学習する。ここでの狙いは, 比較的量の多い一般対話コーパスを用いて強い個性を持たない一般的な自由対話モデルを学習することにある.
Step 2. 前述のモデルを初期パラメ夕として, 性格対話コーパスを用いて Transformerを再学習する.ここでは積極的または消極的な性格を持つ対話システムを学習することを狙う。

以下, Step 1 で学習される対話モデルを「汎用対話モデル」, Step 2 で学習される対話モデルを「積極的性格対話モデル」または「消極的性格対話モデル」 (2つをまとめて「性格対話モデル」) と呼ぶ.

上記に加え，「汎用対話モデル」を学習する前に， JPersonaChat[9] を用いて Transformerを事前学習する. JPersonaChat は, あらかじめ 5 文程度で定義されたペルソナ (プロフィール)を作成し, クラウドワーカーにそのペルソナに沿ってチャットをするように依頼し，その対話を収録したコーパスである。 JPersonaChat は一般対話コーパスに比べて規模は小さいが，Twitterから収集した発話対は対話として成立していないことがあるのに対し，JPersonaChat では自然な対話が収録されている。対話は 3 つ以上の発話から構成されるが, 本研究では 2 つの発話の組に分割して使用する。

## 4 予備実験

本節では，提案手法を評価するための準備として, 学習した対話モデルの大まかな評価や, 提案手法の問題点を明らかにするための予備実験について述べる.

## 4.1 実験手順

3 節で述べた手法にしたがい，積極的性格対話モデルと消極的性格対話モデルを学習する。

学習に用いた対話コーパスの発話対の数を表 1 に示す. 応答ツイートの極性判定の結果, 全体の対話コーパスのうち，およそ $2.8 \%$ が肯定的と判定され, $5.7 \%$ が否定的と判定された。大部分のツイート (91.5\%) は中立と判定されたため, 性格対話コーパスの量は一般対話コーパスと比べてかなり少ない. また，消極的な性格を表すツイートは積極的な性格を表すツイートよりも多く，その比率はおよそ 2 倍であった。

表 1 に示した JPersonaChat 以外のそれぞれのサブコーパスをランダムに分割し， $80 \%$ 訓練デー夕， 14\%を開発デー夕，6\%をテストデー夕とした。訓練データから汎用対話モデル，積極的性格対話モデル，消極的性格対話モデルの 3 つを学習した。開発デー夕は，本実験では，学習した対話モデルが入力
表 1 対話コーパス

文に対してある程度自然な応答を生成できることを確認するために用いた. 次に, 学習した対話モデルを用いて，テストデータにおける発話対のうち最初の発話を入力として与え，それに対する応答を生成した.

## 4.2 生成された応答の例

テストデータにおける発話に対して生成された応答の例を表 2 に示す. 同じ発話を入力しても, 積極的性格対話モデルでは積極的な個性が，消極的性格対話モデルでは消極的な個性が感じられる応答が生成された例が確認できた。提案手法による対話モデルの性格付けがある程度有効であることがわかった。

一方，不自然あるいは不適切な応答が生成される事例も多く見られた。2つの性格対話モデルの違いについては，「〜しよう」といった何かを提案する発話に対しては応答に違いがあったが，それ以外の発話については応答に明確な差が見られないことが多かった. 表 2 の例のように積極的または消極的な性格付けに成功している応答は限定的である。また,同じ文字や単語を繰り返すなど，そもそも応答として不自然な文が生成される事例も多く見られた。

## 5 今後の課題

本研究の今後の課題について述べる. 現状では訓練データから Transformer を学習しているが，そのデー夕量は必ずしも十分ではない可能性がある. そこで事前学習済みモデルの利用を検討する，具体的には, 事前学習済み対話モデル [9] や BART 日本語 Pretrained モデル [10] を初期モデルとし, 一般対話コーパスや性格対話コーパスを用いて再学習することを検討している。 また, Transformer 学習時の損失関数に応答の極性を反映させる．積極的 (消極的) 性格対話モデルを学習する際には応答の極性が高い (低い) ほど小さい損失を与えることで，個性を持つ対話システムを学習する。 さらに, 現在は積極的性格対話モデルと消極的性格対話モデルを別々に学習表 2 生成された応答の例

U: そこのお兄ちゃんポケモンしようや

R-gold: 1 時までならいいぞい

R-pos: いいよ

R-neg: やりたいけどできない

R-neu: そんなんできるんかいww

$\mathrm{U}: \quad$ 沢山お話しようね!!

R-gold: 今回って事前予約みたいなやつあるのかな...?

R-pos: したい!!

R-neg: 緊張してきたんだけど、、

R-neu: ぜひぜひお願いします

U: バイトしよ!!一緒に!!

R-gold: したみみみみ

R-pos: 今から楽しみよ

R-neg: まあお金はないし

R-neu: まあ、言うてまだ夏休みやけど

U: りえこー!野球しようぜー!

R-gold: いつまでおるん?

R-pos: とても楽しみですね!!!!

R-neg: わたしとつても苦手なんですよね...

R-neu: なにその名前!?

U: 今夜はタコパーです!さあ、準備しようつ!

R-gold: めんどくさいやつ頑張って下さい笑

R-pos: 今日もよろしくねー

R-neg: 頑張る・ ・

R-neu: いつになっちゃうんですか!?

U は元の発話. R-gold はテストデータにおけるUに対する応答. R-pos, R-neg, R-neu はそれぞれ積極的性格対話モデル，消極的性格対話モデル，汎用対話モデルで生成された U に対する応答.

しているが，極性を表す潜在変数を導入し，これによって対話モデルの応答の極性を制御することも検討したい.

次に，被験者による提案手法の評価実験を行い，提案手法の有効性を確認する。人と対話モデルによる会話を記録し，第三者にその会話を提示して，システムの応答の品質をいくつかの観点から評価してもらう。評価の観点として，文法の正確さ，内容の妥当性，個人性 (システム応答は積極的もしくは消極的といった個性を感じるか) などを検討している.特に個人性について汎用対話モデルと性格対話モデルを比較し, 対話モデルの性格付けが実現できているかを評価する。

性格対話コーパスの品質評価も行う. 現在, oseti を用いて極性判定を行い，肯定的な応答や否定的な応答を抽出して性格対話コーパスを作成しているが，狙い通りに積極的・消極的な性格を反映した応答が集められているかは確認していない。したがつて，性格対話コーパスの文をサンプリングして人手による評価を行い，必要に応じて性格対話コーパスの構築方法を改良する。

## 参考文献

[1] Jiwei Li, Michel Galley, Chris Brockett, Georgios Spithourakis, Jianfeng Gao, and Bill Dolan. A persona-based neural conversation model. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics, pp. 994-1003, 2016.

[2] Saizheng Zhang, Emily Dinan, Jack Urbanek, Arthur Szlam, Douwe Kiela, and Jason Weston. Personalizing dialogue agents: I have a dog, do you have pets too? In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics, pp. 2204-2213, 2018.

[3] Xinchao Xu, Zhibin Gou, Wenquan Wu, Zheng-Yu Niu, Hua Wu, Haifeng Wang, and Shihang Wang. Long time no see! open-domain conversation with long-term persona memory. In Findings of the Association for Computational Linguistics: ACL 2022, pp. 2639-2650, 2022.

[4] 関田崇宏, 白井清昭. マイクロブログからの対話コー パスの自動構築. 情報処理学会第 82 回全国大会第 2 分冊, pp. 57-58, 2020.

[5] oseti, (2023-1 閲覧). https://github.com/ ikegami-yukino/oseti.

[6] 小林のぞみ, 乾健太郎, 松本裕治, 立石健二, 福島俊一. 意見抽出のための評価表現の収集. 自然言語処理, Vol. 12, No. 3, pp. 203-222, 2005.

[7] 東山昌彦, 乾健太郎, 松本裕治. 述語の選択選好性に着目した名詞評価極性の獲得. 言語処理学会第 14 回年次大会発表論文集, pp. 584-587, 2008.

[8] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in Neural Information Processing Systems, Vol. 30, 2017.

[9] Hiroaki Sugiyama, Masahiro Mizukami, Tsunehiro Arimoto, Hiromi Narimatsu, Yuya Chiba, Hideharu Nakajima, and Toyomi Meguro. Empirical analysis of training strategies of transformer-based Japanese chit-chat systems, 2021.

[10] 田中佑, 村脇有吾, 河原大輔, 黒橋禎夫. 日本語 Wikipedia の編集履歴に基づく入力誤りデータセッ卜と訂正システムの改良. 自然言語処理, Vol. 28, No. 4, pp. 995-1033, 2021


# 共通基盤の構築における名付けの有用性の分析

齋藤結 ${ }^{1}$ 光田航 ${ }^{2}$ 東中竜一郎 ${ }^{2}$ 南泰浩 1
1 電気通信大学情報理工学系研究科 2 日本電信電話株式会社
s2231050@edu.cc.uec.ac.jp
\{koh.mitsuda.td, ryuichiro.higashinaka.tp\}@hco.ntt.co.jp
minami.yasuhiro@is.uec.ac.jp

## 概要

対話研究において，話者が知識や信念を共有する共通基盤の構築は重要な課題とされてきたが，その構築過程を分析した研究は少ない. 我々は先行研究において，二名の作業者が共同で図形を配置する課題を対象に，重要な共通基盤と考えられる図形への 「名付け」に着目してアノテーションを実施した.本研究では，アノテーションされた情報に基づき，共通基盤構築における名付けの有用性の検証，課題の成否につながる名付けの調査，発話中の名付けの自動抽出に取り組んだ. その結果, 名付けが有意に共通基盤構築に貢献すること，目標に関する名付けが課題の成否に関連すること，単純なモデルを用いて適合率 0.57 で名付けの抽出が可能なことが明らかになった。

## 1 はじめに

対話において，話者が相互理解を行うためには話者間で共有される知識や概念といった共通基盤の存在が必要である $[1,2,3]$. しかし, 共通基盤の構築過程を分析した研究は少ない $[4,5,6]$. 我々は以前の研究で, 共通基盤の構築過程を分析するために集められたデータ（共同図形配置コーパス [7]）を調査し, 名付けが重要な役割を果たしていると考えた。 そして，データから名付けを取り出すための仕様の作成，および，アノテーションを実施した [8].

図 1 に，2 名の作業者が図形を配置する共同図形配置課題における名付けのアノテーションの例を示す.「自動車の車輪」や「トラック」という名付けを通じで作業が進んでおり, これらは共通基盤構築に必須であると考えられる $[9,10]$. しかしながら，我々の先行研究では名付けが共通基盤構築に有用であるかや, 課題の成否につながる名付けの出現の傾向は調査できていなかった.

図 1 名付けを通じて共通基盤構築が進む対話の例，ID は発話 IDを表し，A，B は話者を表し，作業画面はそれぞれの話者が見ている画面を示す.

本稿では，アノテーションされた情報に基づき，共通基盤構築における名付けの有用性の検証，課題の成否につながる名付けの調査, 発話中の名付けの自動抽出に取り組んだ結果について報告する。

## 2 共同図形配置コーパス

本コーパスでは作業者 2 名がペアとなり，ツールを通じて図形の配置と対話を行う [7]. 各作業者の画面には，共通の図形が異なる初期配置で表示される. 作業者は相手と対話をしながらマウスを使用して図形を動かし，2 名で共通の図形配置を作る.このとき，各作業者は相手の図形配置を見ることはできない. 図形の数は 5 個または 7 個，種類は重複あり，大きさはランダムである. 図形の回転，縮小拡大，削除はできず移動のみが可能である．相手と同じ図形配置を作成すればこの課題は成功となる.

図 2 亿共同図形配置課題で利用される図形を示す. 1 つ目が上部に示す三角や四角などの単純図形で，2つ目が下部に示す建物などの前提知識を利用できる建物図形である。それぞれ 10 種類存在する。

図 2

共同図形配置課題で使用された図形

図 3 共通基盤の構築の程度に関する二次元配置分散分析 (ANOVA) の結果. 縦軸の値が小さいほど共通基盤の構築の程度が大きいことを示す。

## 3 名付けのアノテーション仕様

名付けのアノテーションデータには 2 つのラベルが存在する. 1 つ目が，個数・配置に関する分類である。これは，名付けの対象となる図形の数，および，対象となる図形が発話時点で配置されているかについての分類であり,「図形建物 1 つ」,「図形建物複数・目標」,「図形|建物複数・その他」の 3 種類ある. 2 つ目が，名称に関する分類である。これは， その名付けがどのような事物かを表す分類で，「食べ物」や「登録名」など 15 種類ある [8].

## 4 名付けと共通基盤構築の関係

名付けが共通基盤の構築に有用かどうかを調べるために，光田らが考案した図形配置間距離を指標として利用した [7]. 図形配置間距離は, 図形配置に含まれる任意の 2 図形間の距離の総和であり, 共通基盤の構築の程度を推定できる。また，共同図形配置課題では，図形配置が完全に一致する場合を「成功」，部分的に一致することを「中間」，それ以外の場合を「失敗」としている. 得られた名付けのアノテーション結果を用いて，成功対話と失敗対話の共通基盤の構築過程と名付けの関係を調査した.

図 3 亿, 共通基盤の構築の程度について, 二元配置分散分析（ANOVA）を行った結果を示す。横軸は発話に名付けが含まれているかどうか，縦軸はその発話における図形配置間距離の変化量（共通基盤

図 4 各対話ターンの「目標」と「その他」の名付けのヒストグラム. 上段と下段は，成功対話と失敗対話のヒストグラムになる.

の構築の程度）を表している．縦軸の値が小さいほど，共通基盤の構築が進んでいることを意味する。 2 本の線は課題の成否に対応しており，成功は作業者間で図形配置が一致していること，失敗は一致していないことを示す. 二元配置分散分析の結果，名付けと共同図形配置課題の結果の主効果は有意であり，それらの交互作用も有意であることがわかった.この結果は，我々が注目している名付けが共通基盤の構築に有意に影響することを示している。また，成功対話における名付けが，失敗対話における名付けよりも共通基盤の構築を有意に進めるという事実は，これらの対話における名付けの質の違いを示唆する。

## 5 対話の分析

前節の調査から名付けの有用性が確認できたため，本節では，課題の成否につながる名付けの出現の傾向を調査する。

## 5.1 目標とその他の分析

図 4 は，対話の各ターンにおける「目標」と「その他」の名付けのヒストグラムを表す。上段/下段は，成功対話と失敗対話を示している。各対話のターン数は，線形変換を用いて 50 に正規化した. このグラフから，成功対話と失敗対話で，目標に関する名付けの傾向に違いがあることが確認できる.成功対話では，およそ 10 ターン目に最も頻繁に出現し，20 ターン目以降には頻度が少なくなっている. 失敗対話では，目標の名付けは成功対話よりも遅いおよそ 15 ターン目に最も頻繁に現れ，20 ター ン目以降も $10 \%$ 程度現れている。このことから，初期の段階で目標の名付けについて話し合い，目標としたものを作るための構成要素の名付けをしながら

図 5 名付けに注目した対話の分類結果. 赤は成功対話のほうが失敗対話より多いことを示し，青はその逆を示す。黒は成功対話と失敗対話の数が等しいことを示す.

対話を行うことの重要性が明らかになった。また，成功対話と失敗対話において，最初の目標の名付けが現れる対話ターンの平均はそれぞれ 5.7 と 8.1 であり，両者には有意な差が見られた $(\mathrm{p}<0.05)$.これは, 成功対話の初期に目標の名付けが現れることを定量的に示しており, 初期段階での適切な目標の名付けが，共同図形配置課題を成功へと導くことを示唆している.

## 5.2 対話の流れの分析

ここまで述べた通り，対話の初期における適切な目標の名付けが共同図形配置課題を成功へと導くことがわかった. 次に, 目標の出現回数や出現タイミングに注目して，どのような対話の流れが成功につながるのかを調べる。このとき，目標の名付けに加えて，最頻の名付けである「登録名」にも着目する。登録名は共同図形配置課題で使用される図形にあらかじめ付けられている名前であり, 理解が容易なことから, 目標の名付けと合わせて共通基盤の構築に役立つと考えられる。

図 5 に，目標と登録名の名付けの有無やその頻度に基づいて対話を著者らが人手で分類した結果を示す。なお，目標の出現位置によって対話の流れが変化すると考えたため，対話の前半，中盤，後半の 3 つに分けて分類した. 目標が出現する対話の平均対話長が 22.5 であったため、前半を 5 発話目まで，中盤を 6 発話目から 17 発話目まで, 後半を 18 発話目以降とした。目標の出現回数については，目標が 2 回しか出現しない対話が全体の約 7 割と多くを占めていたため, 目標の出現回数が 3 回以上のものはまとめた.

名付けに基づく対話の分類から，(a)のように目標
が出現しなかった場合であっても，多くの対話で課題が成功していることがわかる．このような対話では，登録名を適切に用いて相手と意思疎通を行っている過程が見られた。 (b) に示されるように，目標が出現する場合は対話の前半に目標を提案することで，成功につながることがわかる。早い段階での方針の決定，つまり，考えの大枠を対話の冒頭で共有することで，共通基盤の構築が進むと考えられる。 (c) に示されるように，対話の中盤で目標を提案する場合， 2 回以上提案すると失敗対話のほうが多くなっている。これらについては，対話がかみ合ってないか，様々な考えが共有され，どの話をしているのかがわからない，といった対話が見られた。(d) のように，対話の後半に目標を提案すると，失敗する可能性が上がることが示唆される．例えば，対話の後半で考えがまとまるも時間が足りない場合などが考えられる。

なお，どの対話でも登録名が使われていることがわかった。作業者の前提知識が利用でき，図形から容易に想像できる名付けは作業者間で確実に伝わる名付けであることから，理解が容易な情報は共通基盤の構築に貢献するということが確認できた。

## 6 名付けの抽出実験

以上の分析から，名付けが共通基盤の構築に有用であるということが確認できた。分析を通じて，我々は今後共通基盤を構築する過程のモデル化に取り組むため，そのためには名付けを特定し，対応する図形を同定したり，名付けの意図を理解したりすることが重要となる. そこで本研究では，モデル化の初期段階として，対話から名付けを抽出する実験に取り組んだ。
表 1 対話を入力とした名付けの抽出と分類の評価結果

## 6.1 データセットとモデル

本研究では最も基本的な名付けとして, 図形の種別が一意に決まる名付けを対象に，Bidirectional Encoder Representations from Transformers (BERT) [11] を用いた名付けの抽出実験を行った. 入出力としては，対話（開始の発話から何らかの名付けが含まれる発話まで）を入力とし，名付け箇所のスパン， および，図形の種別を出力とする。学習データは 29,055 個，図形の種別は 20 種（図 2）となる. デー タセットは訓練，検証，評価の割合が $6: 2: 2$ となるように分けた. モデルには東北大学が公開している BERT の日本語版事前学習済みモデル1)を使用した. 入力長は最大で 256 トークンとし, 最大エポック数を 5 に設定して fine-tuning を行った.

## 6.2 評価結果

表 1 に，対話を入力とした名付けの抽出と分類の評価結果（適合率，再現率， $\mathrm{F}$ 値）を示す. 単純なモデルでもある程度名付けの抽出は可能であり，学習データを増やせば，より高い性能で抽出が可能だと考えている。

図 6 に，モデルが入力対話から名付けを抽出した出力例を示す. 登録名の名付けが適切に抽出できていることに加え，「修飾語＋登録名」のような名付けも一部分ではあるものの抽出ができている. 正解の名付けの一部しか抽出できていない場合でも，正解と同じ図形を特定できているため, 図形の特定という観点でもある程度の精度が実現できていると考えている.

モデルが抽出した名付けの内，名付けと対応図形が正解と一致した 28 件を以下に示す.

空港, 観覧車, 橋, 銀行, 病院, 公園, 警察, バー, ビル,

台形, 大きい橋, 大きな橋, 学校, 警察署, 大きな観覧車, 交番, 小さな観覧車, 大きい銀行, 丸, 大きい観覧車, 小さな橋, 大きい警察, 小さい観覧車, 小さい橋,

大きい公園, 小さいバー, 小さい銀行, 飛行場

抽出された名付けの内，登録名の割合が比較的多い. 学習データで使用している名付けの 6 割強が登録名の名付けであることから，登録名が多く抽出されるということを考慮しても，登録名の名付けが多

図 6 入力される対話と抽出される名付け（一部）の例

い.今回用いた比較的単純な手法では，共通基盤の構築に必要な名付けを全て抽出するのは難しい可能性がある。

抽出した名付けは正解と一致しているが，特定した図形が正解と一致していないものを以下に示す.

ビル, バー, 学校, 病院, ベンチ, はし, 街, 公園, 空港,銀行, 飛行機

街に対応する図形は，作業者によって様々な名付けがされているため, 図形の特定が難しい結果となった。

現状の方法では，対話から名付けを抽出できたとしても，登録名の名付けが比較的多く抽出されること，また，文脈によっては登録名でも対応する図形を特定することは困難なことがわかった. 今後，共通基盤の構築に必要な名付けの抽出に関する新たな手法の検討が必要である.

## 7 おわりに

本稿では，共同図形配置コーパス中の名付けのアノテーションを用いて，共通基盤構築における名付けの有用性を明らかにするために，図形配置間距離を用いて二元配置分散分析を行い，有用性を確認した.また，名付けに注目して対話の分析を行い，どのような名付けから共通基盤が構築されるのかを明らかにした. BERT を用いて対話から名付けを抽出するモデルの作成も行い，既存の機械学習モデルを用いた名付けの理解の可能性を調べた. その結果,現状でもある程度名付けの抽出は可能であるが，文脈や作業者の背景知識を必要とする名付けの抽出は難しいことがわかった. 今後は，文脈から名付けを適切に抽出する手法や，抽出した名付けを図形と紐付けて理解する手法の確立に取り組んでいく予定である。

## 参考文献

[1] Herbert $\mathrm{H}$ Clark. Using language. Cambridge university press, 1996.

[2] David R Traum. A computational theory of grounding in natural language conversation. Technical report, Rochester Univ NY Dept of Computer Science, 1994.

[3] Stefan Kopp and Nicole Kramer. Revisiting human-agent communication: The importance of joint co-construction and understanding mental states. Frontiers in Psychology, Vol. 12, , 2021.

[4] Kris Liu, Jean E Fox Tree, and Marilyn Walker. Coordinating communication in the wild: The Artwalk dialogue corpus of pedestrian navigation and mobile referential communication. In Proc. of LREC, pp. 3159-3166, 2016.

[5] Takuma Udagawa and Akiko Aizawa. An annotated corpus of reference resolution for interpreting common grounding. In Proc. of AAAI, pp. 9081-9089, 2020.

[6] Cristian-Paul Bara, Sky CH-Wang, and Joyce Chai. MindCraft: Theory of mind modeling for situated dialogue in collaborative tasks. In Proc. of EMNLP, pp. 1112-1125, 2021.

[7] Koh Mitsuda, Ryuichiro Higashinaka, Yuhei Oga, and Sen Yoshida. Dialogue collection for recording the process of building common ground in a collaborative task. In Proc. of LREC, pp. 5749-5758, 2022.

[8] 齋藤結, 光田航, 東中竜一郎, 南泰浩. 対話での共通基盤構築過程における名付けの分析. 言語処理学会第 28 回年次大会発表論文集 (NLP2022), pp. 38-42, 2022.

[9] Herbert H Clark and Deanna Wilkes-Gibbs. Referring as a collaborative process. Cognition, Vol. 22, No. 1, pp. 1-39, 1986.

[10] Anya Ji, Noriyuki Kojima, Noah Rush, Alane Suhr, Wai Keen Vong, Robert D. Hawkins, and Yoav Artzi. Abstract visual reasoning with tangram shapes. In Proc. of EMNLP, pp. 582-601, 2022.

[11] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018.


# Transformer 対話モデルによる未来の展開の予測と 感情の誘導の検証

進藤優柴田千尋
法政大学理工学部
yu.shindo.2h@stu.hosei.ac.jp, chihiro@hosei.ac.jp

## 概要

近年，過去の文脈を考慮する対話システムの研究が進んでいる。しかし, 対話においては未来の展開を考慮することも重要である．そのため，本研究では, 未来の展開を考慮し, 対話 5 ターン以内にユー ザーがポジティブになる先読み対話システムを提案する.これは，対話システム本体 $T_{1}$ とは別で独立した対話システム $T_{2}$ を用いて， $T_{1}$ の発話生成時に $T_{2}$ がこれに返答をすることで先読みを行う。これをシステムと人間相手に対話させることで，提案システムの有効性，対話の自然性を評価する。

## 1 はじめに

近年，深層ニューラルネットワークを用いた自然言語文生成技術の発展と膨大な対話データの存在に支えられ，対話システムは大きく発展してきた. これにより，日本語においても，りんな [1]などの非夕スク型の対話システムが身近な存在となっている。 これらの対話システムは，発展した技術に加えて，過去の文脈を考慮することで対話の自然性や一貫性を向上させている。一方で，人間にとってより良い対話システムを構築するためには，過去の対話履歴だけでなく，未来の展開を考慮することも重要である [2]. しかし, 未来の展開を考慮する対話システムの具体的な研究はまだ十分に行われているとは言えない。そこで本研究では，未来の展開を考慮した対話システムを提案する。具体的には，未来の展開を考慮し，対話 5 ターン以内にユーザーがポジティブになる先読み対話システムの作成を提案する.

## 2 関連研究

## 2.1 Transformer 対話モデル

本研究では日本語の大規模な対話モデルとして, NTT により公開されている Transformer 対話モデ
ル [3] をベースとして用いる，相手に共感するような対話データ [4] 約 20,000 件からファインチューニングを行っている. 1 件 4 発話で構成されるため,計 80,000 発話のデータとなっている. このデータを用い，過去の発話を 4 発話分まで考慮することで対話の自然性を向上させている．発話の生成は，複数の発話候補を生成し，そこから文章として成り立っている確率が最も高いものを選択して返答する。この流れを図 1 に示す.

図 1 Transformer 対話モデルの対話の流れ

## 2.2 対話の先読みに関する研究

岸波らは，先読み対話システムの可能性について検証している [2]. この研究では，人間同士で対話を行い，タスクの結果から先読み対話システムの可能性を分析する. この研究で提案されたタスクは, パーティーゲームのひとつである NG ワードゲームを類似したものであり，システムと人間の 1 対 1 で対話が行われる。システム側は，1ターン目の発話とターゲット単語が与えられ，対話を続けていく中で 5 ターン以内に人間からターゲット単語を引き出すことを目指す.この実験により，対話のターン数を $N$ として,$N=5$ としたとき最も対話の自然性が高いということがわかった．また，設定する先読みゴールの難易度によっては，対話システムで先読みを行うことは可能であるということもわかった.

## 3 提案手法

本研究では，未来の展開を考慮した対話システムを提案する．先読みのゴールとしては，システ

図 2 感情分析の流れ

ムに1ターン目の発話及びターゲット感情のペア， （例えば「こんにちは．何かお悩みはありますか？」及び「○」のペア）を与え，対話を続けていく中でユーザー発話がターゲット感情になることを目指す. 未来の展開を考慮し，対話 $N$ ターン以内にユー ザーがポジティブになる先読み対話システムを提案する．本論文では，岸波らの研究結果に従い， $N=5$ とした.

## 3.1 感情分析

ユーザーの発話がターゲット感情になるように先読みを行うが，そのためにはまず，発話がどのような感情を含意しているのかを推定する必要がある. ターゲット単語を設定して先読みを行なう手法 [2] では，数多くある単語の中からピンポイントにター ゲット単語を引き出すことは難しい。そこで，本研究では，Twitter の絵文字付きツイートを学習し，文章を 6 つの絵文字（感情）に分類する感情分析用の BERT モデル [5] を用いる。このモデルは，それぞれの絵文字ごとに別々に予測確率を算出する，いわゆるマルチラベルモデルである．例えば，○と分が共に $90 \%$ 以上となることもあり得る。この流れを図 2 に示す.これにより，あらかじめ設定された 6 つの絵文字の中からターゲット感情を引き出す先読みタスクを設定することができ，ターゲット単語よりも実現可能であると考えられる。

## 3.2 先読み過程

既存の Transformer 対話モデル [3] をベースとし， それに先読み過程を追加する，具体的には，対話システム本体である Transformer 対話モデル $T_{1}$ とは別で独立した対話モデル $T_{2}$ を用いる． $T_{1}$ のユーザー 発話に対する複数の発話候補それぞれに対して， $T_{2}$ が返答候補を生成する。この返答候補が入力されたユーザー発話のひとつ先の予想ユーザー発話に該当する. この流れを図 3 に示す. 生成された複数の $T_{2}$ の返答候補を $T_{1}$ の発話候補ごとに区切って評価する. 最も良い評価の返答候補の集合を引き出した発話候補が $T_{1}$ のユーザー発話への返答として選択される。

図 3 提案システムの対話の流れ

## 3.3 先読みによる評価値の計算

各 $T_{1}$ の発話候補に対して，先読みによって評価值を計算する方法を二つ提案する。一つ目は，各 $T_{1}$ の発話候補に対する $T_{2}$ 返答候補の発話それぞれに対して，感情分析 [5] を行い，その感情が何個ター ゲット感情「」になっているかを比較をする方法である。このとき，ターゲット感情になっている数を，その $T_{1}$ 発話候補の評価値とする。二つ目は， $T_{2}$返答候補のターゲット感情の予測確率を足した合計值で比較をする方法である。この方法では，各 $T_{2}$返答候補において，必ずしもターゲット感情が最も高い予測確率を持っている必要はない。感情分析の過程で求められる 6 つの絵文字に対しての確率の中からターゲット感情「」の確率を使用し，返答候補ごとに合計值を求める. その合計值が最も高いものを最も良い評価とする。また，一つ目の方法で最もターゲット感情が多い返答候補が複数出た場合は，その返答候補の中で二つ目のターゲット感情の確率で比較する方法を適用する。

一つ目の方法の評価値は，ターゲット感情がそれ以外の感情と比べて最も強いかどうかの 2 値の合計值となるため，ターゲット感情の BERT モデルによる分類結果自体に注目することができる。また，二つ目の評価値では，例えば，ラベル付けされた感情は「苗」だがラベル付けされた感情とターゲット感情の確率が僅差などの状況を考慮できるため，細かい情報まで考慮できる。

## 4 実験

提案手法の評価のため, 以下の 3 つの実験を行う.

・実験 1 ：Transformer 対話モデルと提案システムとの比較

・実験 2 : 提案システムの有効性
- 実験 3 : 提案システムの対話の自然性の評価

## 4.1 前提条件

今回提案する対話システムの本体 $\mathrm{T} 1$ と先読み部分の対話システム $T_{2}$ では, 2 節の Transformer 対話モデルと同様に Twitter の対話データを EmpatheticDialogues [4] でファインチューンした対話モデルを使用する.これにより相手の感情に共感するようになり，対話の自然性も向上する. また，感情分析では町田ら [5] の Twitter から抽出した絵文字付きツイート360万件を使って，6つの感情に分類する手法を使う。

## 4.2 システムとの対話

2 節の Transformer 対話モデルと提案システムをそれぞれ対話システム（ユーザー側）と対話させる. このときのユーザー役の対話システムも NTT が公開している対話システム [3] を使用する。 ユーザー 役を対話システムにすることにより，自動で対話させることができるので多くの対話データを取得することが可能になる. このとき取得する対話データは，5 ターン分の対話履歴，最後のユーザー発話の感情ラベル, 最後のユーザー発話のターゲット感情の確率とする。

実験 1 では，Transformer 対話モデルと提案システムをそれぞれ，もう一つの別の対話システムと対話させ，取得した対話データから Transformer 対話モデルと提案システムを比較する。

実験 2 では，提案システムのターゲット感情を他の感情に変えることで提案システムの有効性を検証する．実際には，先読みした発話のターゲット感情の確率が最も低いものを選ぶようにする。これにより，ターゲット感情「」以外の 5 つの感情に注目するようになる。これをターゲット感情を「○」にしたときと比較することで，ターゲット感情が「」のとき，本研究の目的であるユーザーがポジティブになる先読み対話システムがより実現できているかを確かめる．また，実験 1 と同様に対話システムと対話させることで比較をする。

## 4.3 アンケート調査

実験 1 ，実験 2 では主にターゲット感情の数やその確率を使って，本研究の目的の達成率を調べている. 実験 3では，ユーザー役を人間が行い，システムにはわからない Transformer 対話モデルと提案システムの違いや対話の自然性について調査する. 具体的には，人間に Transformer 対話モデル，提案システム（ターゲット感情「○」），提案システム（ター ゲット感情「○以外」）の3つのシステムと対話してもらい各対話終了時にアンケート調査を実践する. アンケートの項目は，「あなたは悩んでいたが今ポジティブになったか」「システム側の発言は自然だったか」について，それぞれ 5 を最高点とした 5 段階評価とする. その結果から Transformer 対話モデルと提案システムの違いや対話の自然性を評価する。

## 5 実験結果

4 節で述べた実験 1～3 の結果を記述する．実験 1,2 では，比較する対話システムごとに 85 対話のデータを取得した. 実験 3 では, 5 人の方に協力してもらい，15 対話のデータを取得した。

## 5.1 Transformer 対話モデルと提案システ ムとの比較結果

実験 1 の結果を表 1 に示す.このとき， 3 節で述べた提案手法の二つの評価方法も比較する．表にある提案手法 1 は，先読みした発話の感情が何個ター ゲット感情になっているかで評価をする方法で提案手法 2 は，先読みした発話のターゲット感情の確率で評価する方法である。これを最後のユーザー発話が 85 対話中，何個ターゲット感情になったかとターゲット感情の確率の平均値で比較する.

表 1 Transformer 対話モデル (ベースライン) と提案システムとの比較

 &  \\

表 1 より, Transformer 対話モデルよりも提案手法の方がターゲット感情にさせる数と確率が高いということがわかる. つまり，提案手法の方が本研究のユーザーをポジティブにするという目的を達成していると言える。また，提案システム 1 よりも提案システム 2 の方がターゲット感情にさせる数と確率が高い. そのため, 先読み過程では，ターゲット感情の確率で評価した方が良いとわかる。

## 5.2 提案システムの有効性の結果

実験 2 の結果を表 2 に示す.このとき，ターゲッ卜感情を「」とした提案手法を提案システム「」

とし，ターゲット感情の確率が最も低いものを選択し，ターゲット感情を「○」以外とした提案手法を提案システム「○以外」とする。また，このとき取得したターゲット感情の数は, 二つともターゲット感情が「」のときのデータである.

表 2 提案手法によるターゲット感情への誘導の有効性

 &  &  \\

表 2 より，ターゲット感情を「」としたときの方がターゲット感情にさせる数と確率が高いということがわかる．つまり，設定するターゲット感情に影響して結果が変わることが言える。また，これと同時に今回提案した手法が有効であることも確認できる.

## 5.3 提案システムの対話の自然性の評価

実験 3 の結果を表 3 に示す $(n=15)$.また，表 6 に提案システムの実際の対話例を示す.このとき，比較するシステムは Transformer 対話モデルと実験 2 で使用したシステムである.

表 3 対話の自然性の評価 (5 段階評価アンケート平均値)

 &  \\

表 3 より，ターゲット感情を「」としたときの提案システムが最も自然な対話でユーザー（人間） をポジティブにさせていることがわかる. 最後に，上述の差が有意かどうかを $\mathrm{t}$ 検定を用いて検証する. 具体的には，有意水準を $5 \%$ としたときの一対の標本による平均の $\mathrm{t}$ 検定を Transformer 対話モデルと提案システム「」に対して行う. 相手がポジティブになったかの結果を表 4 に対話が自然であったかの結果を表 5 に示す.

表 4 ポジティブになったかの検証結果 (2 標本 $\mathrm{t}$ 検定)

表 4 の $\mathrm{P}(\mathrm{T} \leqq \mathrm{t})$ 両側の項目から $\mathrm{p}$ 値は「0.00464」となり，0.05（有意水準）より小さいので，Transformer表 5 対話が自然性だったかの検証結果 (2 標本 $\mathrm{t}$ 検定)

表 6 提案システムの対話例

 &  \\

対話モデルと提案システムの平均值には有意差があると言える。つまり，提案システムの方が相手をポジティブにするという結果は信用性があるとわかる。一方で，Transformer 対話モデルと提案システムの対話の自然性については，平均値では提案システムのほうが高い評価となっているものの，表 5 から，その差は有意があるとは言えないことがわかる。

## 6 結論

本研究では，未来の展開を考慮し，対話 $N$ ターン以内にユーザーがポジティブになる先読み手法を提案し，システムとして実装を行い，評価を行った。 その結果，提案手法は，システムと人間の両方に対して，先読みを行うことにより，ターゲット感情へと対話を誘導することができることがわかる. さらに，対人の実験結果からも，今回の提案手法がユー ザーをポジティブにできていることがわかる．今後の展望としては，感情分析の精度を上げることで， より未来の感情を的確に考慮することが可能か検討する予定である。

## 7 謝辞

今回の研究でアンケート調査にご協力いただいた法政大学の学生の皆様には, 深く感謝申しげます. 本研究の一部は JSPS 科研費 JP18K11449 の助成を受けたものです.

## 参考文献

[1] Katsuya Iida Kazuna Tsuboi Momo Klyen Xianchao Wu, Kazushige Ito.りんな：女子高生人工知能, 2016.

[2] 岸波洋介. 対話システムの先読み能力を分析可能な夕スクの検討, 2021.

[3] Hiroaki Sugiyama, Masahiro Mizukami, Tsunehiro Arimoto, Hiromi Narimatsu, Yuya Chiba, Hideharu Nakajima, and Toyomi Meguro. Empirical analysis of training strategies of transformer-based japanese chit-chat systems, 2021.

[4] Qintong Li, Piji Li, Zhaochun Ren, Pengjie Ren, and Zhumin Chen. Knowledge bridging for empathetic dialogue generation. 2022.

[5] 町田秀輔. 絵文字の埋め込み表現を用いたラベル埋め込み注意機構モデル等による文の感情推定, 2019.


# BCCWJ を対象としたパターンマッチによる End-to-End 発話者分類

銭本友樹 1 古俣慎山 ${ }^{2}$ 宇津呂武仁 ${ }^{1}$
1 筑波大学大学院 システム情報工学研究群 2 筑波大学 理工学群 工学システム学類

## 概要

小説中の発話文の発話者がどの登場人物かを分類する発話者分類タスクは，小説や登場人物の分析において重要なタスクである. 発話者分類は，発話文の抽出，発話者の抽出，同一人物のクラスタリングの3つのタスクを行う必要があるが，これらを全て行った日本語小説を対象とした先行研究は存在しない. また評価データが共有されていないため, 手法の比較が困難であった. そこで本研究では，第三者が利用可能な『現代日本語書き言葉均衡コーパス』 の話者情報アノテーションデータを対象としたパターンマッチによる End-to-End 発話者分類を行い， その有用性と限界について分析する。

## 1 はじめに

小説中の発話文の発話者がどの登場人物かを分類する発話者分類タスクは，小説や登場人物の分析において重要なタスクである．発話者分類は一般的に，発話文の抽出，発話者の抽出，同一人物のクラスタリングの 3 つのタスクを行う必要がある.

日本語小説を対象とした発話者分類の先行研究には，地の文を利用した研究 [1] と口調を利用した研究 $[2,3]$ が存在する. Du ら [1] の研究では, 青空文庫の小説 4 編を対象として，地の文を利用したパターンマッチによる発話者抽出を試みている。この手法では 0.72 という高い正解率で発話者を抽出できているが，評価に利用した発話文の数は 161 文と少なく，同一人物を指す発話者のクラスタリングは行っていない. 石川ら [2] と Zenimoto ら [3] の研究では，ライトノベル中の発話文を対象として, 口調の類似性を利用した発話者分類を試みている。しかしながらこれらの手法は, 分類先となる発話者の口調が事前情報として必要であり，任意の発話者への分類には対応していない。したがってこれらの日本

表 1: 訓練データ中の発話文の両端記号の統計

語小説を対象とした先行研究では，発話文の抽出，発話者の抽出，同一人物のクラスタリングの 3 つのタスク全てを行っておらず，またそれぞれが独自に作成した非公開の評価データを利用しているため,手法の比較が難しいという問題がある.

そこで本研究では，第三者が利用可能な『現代日本語書き言葉均衡コーパス』1（以下 BCCWJ）の大規模な話者情報アノテーションデータ [4]を対象として，発話文の抽出，発話者の抽出，同一人物のクラスタリングの全てを行う End-to-End 発話者分類を試みる。本研究で使用したコードは以下の $\mathrm{url}^{2}$ から利用することができる.

## 2 データセット

BCCWJ 発話者アノテーションデータには，合計 2,845 作品，174,969 文の発話者がアノテーションされた発話文が含まれている. この全体の 2,845 作品のうち，60\%を訓練データ，20\%を検証データ，20\% をテストデータとして扱う．それぞれの小説数と発話文数の統計は付録の表 7 に示す.

## 3 発話文の抽出

日本語小説中の発話文の特徴を捉えるために，訓練データにおける発話文の両端記号の統計と，同じ記号で囲まれた非発話文の統計を調査した (表 1).

1) https://clrd.ninjal.ac.jp/bccwj/

2) https://github.com/Zeni-Y/speaker-classification
表 2: 発話文抽出の性能比較

この表の結果から，特定の記号で囲まれた文字列を発話文として抽出する方法では，多くの非発話文を誤って抽出してしまうことがわかった。またこの方法では，両端が特定の記号で囲まれていない発話文を抽出することも不可能である。そこで本研究では，BERT[5]を用いた系列ラベリングによる発話文抽出モデルを構築し, 强調や引用表現などの非発話文を誤抽出しない発話文抽出を試みる。

## 3.1 実験

以下の 2 つの発話文抽出モデルを比較する。

ルールベース訓練データでの出現頻度の高い 5 種類の両端記号 (「」,(),『』, く>, ””) によって团まれた文字列を全て発話文として抽出する。

BERT 事前学習済み言語モデルである東北大版の BERT-base $^{3}$ モデルを使用する. 訓練データで学習を行い，検証データでの損失が最小のモデルをテストデータでの評価に用いる。

## 3.2 結果

表 2 に，テストデータを対象とした発話文抽出における Precision，Recall，F1値を示す.ここでの両端記号全体での評価スコアにはマイクロ平均を用いた.この表から，全ての記号において BERT モデルはルールベースモデルよりも高い Precision と F1 值となる一方で，Recall ではルールベースモデルよりも低い値となることがわかった.また””“で囲まれた発話文や，無記号の発話文の抽出性能は BERT モデルでも低いことがわかった. 全体の性能としては，「」で囲まれた発話文がほとんどであったために， ルールベースモデルと BERT モデルでの性能に大きな違いはないが，BERT モデルの方がより少ない誤抽出での発話文抽出が可能であることがわかった。

## 4 発話者の抽出

Du ら [1] の手法を参考にし，発話文の周囲の地の文や前後の発話文を利用する 21 種類のパターンを定義し，これらのパターンを利用して発話者の抽出を行う，表 3 に，適用条件ごとのパターン名とその優先順位を示す。これらのパターンが複数適用可能な場合は，表 3 に示す優先順位の最も高いパターンを適用する。 パターンマッチを行うための文章の形態素解析や係り受け解析には GiNZA ${ }^{4)}$ の ja_ginza_electra モデルを利用する.

## 4.1 人名の抽出

まず以下の 2 つの手法を用いて，地の文から人名の単語及び単語列を抽出する。

## 人を表す固有名詞の抽出

GiNZA による固有表現抽出によって，「Person」， $\lceil$ Position-Vocation $\lrcorner$, 「Nationality $\lrcorner$, 「Name-Other $\rfloor$ タグで検出された単語及び単語列を人名として抽出する。

## 人を表す普通名詞と代名詞の抽出

人を表す単語が網羅された辞書（以下人名単語辞書) を作成し，この辞書中の単語を人名として抽出する。人名単語辞書は，日本語 wordnet[6] から人を表す単語を自動で大規模に収集した後に，人手で不足していた単語の追加と不要な単語の削除を行うことで作成した。

その後，「〜さん」や「〜先生」などの敬称や複合名詞をまとめて人名として扱うために，抽出した単語との係り受け関係が「compound $\perp, 「$ nmod $」$,「nummod」である連続した単語も含めた全体を，最終的な人名として抽出する。

## 4.2 発現を表す述語の判定

4.1 節で抽出した人名の係り先である述語が，発言を表す述語かどうかを判定する．発言を表す単語が網羅された辞書（以下発言述語辞書）を作成し， この辞書中の単語ならば発言を表す述語（以下発言述語）それ以外を発言を表さない述語（以下非発言述語）とする。発言述語辞書は，日本語 wordnet[6] から発言を表す単語を自動で大規模に収集した後に，人手で不足していた単語の追加と不要な単語の削除を行うことで作成した.

表 3: 適用条件ごとのパターン一覧（パターン名：優先順位）

## 4.3 パターンの適用

4.1 節で抽出した人名の依存関係，4.2 節で判定した述語の種類，それらの人名と述語を含む地の文の位置の 3 つの要素から, 表 3 の左の表に示すように 18 種類のパターンを定義する.

例えば図 1 中の発話文「ありがとう」では，同じ行に人名の主格「太郎」を含み，その係り先には発言述語「言った」が存在することからパターン E-S が適用され，「太郎」が発話文「ありがとう」の発話者として抽出される. また発言述語に係る人名の目的格「花子」が存在することから次の発話文「どういたしまして」にはパターン E-S-O が適用され，「花子」が発話文「どういたしまして」の発話者として抽出される。

図 1: 人名の主格と目的格を発話者とする例

また図 2 中の発話文「こんにちは」では，前の行で人名の主辞が存在することからパターン R-P が適用され，「佐藤」が発話文「こんにちは」の発話者として抽出される。

図 2: 人名の主辞を発話者とする例

地の文から発話者の抽出を行えない場合には，以下に示す 3 種類のパターンを適用する.

PA1 or PA2 連続した発話文において, N番目の発話者が不明で， $\mathrm{N} \pm 2$ 番目の発話者が判明しているとき，その $\mathrm{N} \pm 2$ 番目の発話者を $\mathrm{N}$ 番目の発話者とする．N-2 番目が判明していれば PA1, $\mathrm{N}+2$ 番目が判明していれば PA2 を適用する。
PM他のどのパターンも適用できないとき，小説全体で最も抽出回数の多い人名を発話者とする。

## 5 同一人物のクラスタリング

4 節の手法で抽出した人名のうち，同一人物を指す人名をクラスタリングする。 まず抽出した人名を「固有名詞」，「接頭辞（例：Mr., Ms.)」,「接尾辞 (例: さん, 君) 」,「その他 (例: 先生, 将軍)」の 4 つの要素に分解する. そして，「固有名詞」か「その他」のどちらかが一致している人名同士を，同一人物を指す人名としてクラスタリングする.

## 6 実験

発話者分類はテストデータを対象として行い， クラスタリング評価と人名一致正答率の 2 種類の評価を行う. クラスタリングの評価指標としては, Cuesta-Lazaro らの研究 [7] と同様に $B^{3}$ の Precision, Recall，F1 値 [8] を利用する. 人名一致正答率では, 5 節の手法によって抽出発話者と正解発話者が同一人物と判定された発話文の割合を評価する.またこの際，発話者分類の性能のみを評価するために，分類対象となる発話文はオラクルデータとして与えられているものとする.

## 7 結果

表 4 に，テストデータ中の 3 つの小説作品単体での発話者分類結果と, 小説全体でのマクロ平均と標準偏差を示す．また，テストデータの小説全体の Precision, Recall のヒストグラムを付録の図 3 に，人名一致正答率のヒストグラムを付録の図 4 に示す.表 4 の全体の F1 値から, クラスタリング結果としては，あるクラスタのうち平均して $58.3 \%$ の発話文が実際に同じ人物の発話文であり, 実際に同じ人物の発話文のうち平均して 49.3\%の発話文が同じクラスタに属しているという結果となった. 一方で，人名一致正答率は $37.3 \%$ と低く, 抽出した人名がそのまま正解発話者であることは少ないことがわかった.続いて小説ごとの分類結果について分析する.
表 4: 発話者分類結果

 &  & Precision & Recall & F1 &  \\

表 5: パターンごとの被覆数（率）

表 6: パターンごとの人名一致正答数（率）

\cline { 2 - 8 } & 主格 & 目的格 & 主格 & 目的格 & 主辞 & 目的格 & \\

表 4 から，サンプル ID が LBj9_00104 の小説では， Precision が高くRecall は低いという結果となった. これは，正解発話者に対して予測発話者の種類が多くなり，同じ人物の発話文が異なるクラスタに分類されてしまったからである。一方でサンプル ID が LBf9_00026 の小説では，Recall が高くPrecision は低いという結果となった. これは，予測発話者のほとんどが一人の人物に分類されてしまったからである.また，サンプル ID が LBp9_00033 の小説では， F1 值が高い一方で，人名正答率が著しく低くなった.これは抽出された人名が「僕」や「姉さん」などの代名詞であったために，正解発話者との同一人物判定が失敗してしまうからである。これらの問題の解決には，小説全体での登場人物の特定や，発話文中の口調や二人称の利用，共参照解析による代名詞と固有名詞の同一人物判定の利用が考えられる.

## 7.1 パターンごとの有用性の分析

パターンごとの有用性について分析する。表 5 にパターンごとの被覆率を示し，表 6 にパターンごとの人名一致正答率を示す. 被覆率に着目すると，地の文の位置では，後ろの地の文，前の地の文，同じ行の地の文の順に被覆率が高く, 後ろの地の文が最も適用されることが多いことがわかった。一方で
PA1 と PA2，PM の被覆率は合計 $38.3 \%$ となり，多くの発話文が他の発話文の分類結果に依存していることがわかった. 人名一致正当率に着目すると，地の文の位置では，同じ行の地の文，後ろの地の文，前の地の文の順に人名一致正答率が高く, 同じ行の地の文が最も信頼性が高いことがわかった．地の文の構造に着目すると，主格-発言述語，主格-非発言述語，主辞の順に被覆率と人名一致正答率が高く，発言述語の有用性が高いことが示された。一方で，目的格を使ったパターンは全体的に人名一致正答率が低くあまり有用ではないことがわかった.

## 8 終わりに

本研究では，BCCWJ 中の小説を対象とした Endto-End 発話者分類に取り組んだ. 発話文抽出においては，特定の記号で囲まれた文字列を抽出するルー ルベースモデルが不十分であることを示し，多様な形式の発話文を高い精度で抽出可能な BERTを利用した系列ラベリングモデルを提案した. 発話者分類では，周囲の地の文を利用したパターンマッチによる発話者の抽出により, 同じ発話者の発話文の半数程度を適切に分類できることを明らかにした。またパターンごとの被覆率と人名一致正答率を詳細に分析し，パターンごとの有用性を明らかにした.

## 謝辞

本研究は科研費 21 H00901 の助成を受けたものである. また本研究では, 国立国語研究所のプロジェクト「大規模日常会話コーパスに基づく話し言葉の多角的研究」（プロジェクトリーダー・小磯花絵）および日本学術振興会・科学研究費補助金「会話文への発話者情報の付与によるコーパスの拡張」

（15H03212）の成果データを利用した.

## 参考文献

[1] Du Yulong, 白井清昭. 小説からの自由対話コーパスの自動構築. 言語処理学会第 25 回年次大会発表論文集, pp. 623-626, 2019.

[2] 石川和樹, 宮田玲, 小川浩平, 佐藤理史. 口調ベクトルを用いた小説発話の話者推定. 研究報告自然言語処理 (NL), pp. 1-8, 2019.

[3] Yuki Zenimoto and Takehito Utsuro. Speaker identification of quotes in Japanese novels based on gender classification model by BERT. In Proceedings of the 36th Pacific Asia Conference on Language, Information and Computation. Association for Computational Lingustics, 2022.

[4] 山崎誠, 宮㟄由美, 柏野和佳子. 小説会話文への話者情報付与. Technical report, 国立国語研究所, 2022.

[5] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, 2019.

[6] Francis Bond, Hitoshi Isahara, Sanae Fujita, Kiyotaka Uchimoto, Takayuki Kuribayashi, and Kyoko Kanzaki. Enhancing the Japanese WordNet. In Proceedings of the 7th Workshop on Asian Language Resources (ALR7), pp. 1-8, Suntec, Singapore, August 2009. Association for Computational Linguistics.

[7] Carolina Cuesta-Lazaro, Animesh Prasad, and Trevor Wood. What does the sea say to the shore? a BERT based DST style approach for speaker to dialogue attribution in novels. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 5820-5829, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[8] Amigó Enrique, Gonzalo Julio, Artiles Javier, and Verdejo and Felisa. A comparison of extrinsic clustering evaluation metrics based on formal constraints. In Inf. Retr., pp. 12(4):461-486, 2009.
表 7: BCCWJ 中のデータ統計

図 3: テストデータ全体の Precision, Recall のヒストグラム

図 4: テストデータ全体の人名一致正答率のヒストグラム


# 日本語の言い直し表現に対するアノテーション基準

吉田 奈央 ${ }^{1}$ 丸山 岳彦 1
1 専修大学
nao.yoshida@senshu-u.ac.jp maruyama@isc.senshu-u.ac.jp

## 概要

現代日本語の話し言葉に現れる「言い直し表現」 （self-repair）について、その種類を認定してアノテー ション（情報付与）する基準と方法論を議論する。国語研 [1] による『日本語話し言葉コーパス』(CSJ) の独話音声（約 44 時間分）を観察し、そこに現れる言い直し表現の認定・アノテーションを実施した。同コーパスから言い直し表現を収集・分類した先行研究 [2] では拾いきれなかった事例や、その細分類・再分類も含めて検討し、言い直し表現の認定基準について議論を行った。

## 1 はじめに

日常の話し言葉の中では、流暢な発話産出の過程がさまざまな要因により阻害される（トラブルが起こる）ことがある。流暢な発話産出にトラブルが生じたことを検知した話し手は、発話産出の流暢さを取り戻すべく、できる限り速やかにトラブルの修復に取り掛かる。前者の「流暢な発話産出の阻害要因」には、言い誤り、発音エラー、語の選択誤りなどが含まれ、後者の「発生したトラブルの修復」には、繰り返し、言い直し、置き換え、追加、挿入などが含まれる。これらは、発話産出過程で不可避的に生じるトラブルと、流暢な発話産出を継続するための方略、という図式で捉えることができる。これらをまとめて、非流暢性 (disfluency) と呼ぶ。

本稿では、非流暢性のうち「言い直し」(self-repair) を取り上げ、丸山（2008）[2] の分類案を一部改訂する形で、談話中における言い直しの形態・機能を 5 種類に分類する。ここでは、丸山（2008）[2]にならい、言い直しを「発話中に現れたトラブル、およびそれを修復するために発話される表現」と定義し、国語研 [1]による『日本語話し言葉コーパス』(CSJ) の独話音声（44 時間分）を観察し、そこに現れる言い直し表現の認定・アノテーションを実施した。 その過程で検討した言い直しの認定基準や、丸山
（2008）[2] の細分類・再分類について、議論を行う。 さらに、当該の言い直しが偶発的に生じたものなのか、または発話者によって聞き手への配慮として意図的に行われた言い直しなのかについて、これらは動機が異なる点で別の事例として捉える必要があることを論じる。

## 2 先行研究

## 2.1 言い直しをどう捉えるか

1970 年代の社会学における会話分析や、言語心理学、会話ストラテジーの研究において、言い直しは、言い誤りを起こした話し手の修復行為として、または聞き手側の承認を得るための会話ストラテジー として、議論の対象となってきた（Fromkin 1973[3], Levelt 1989[4], Sacks et al. 1974[5], Williams 1997[6])。一方、1990 年代以降の音声言語処理の研究の中では、言い直しは適切な係り受け解析に対する障害となり得ることから、発話の整形処理の対象として論じられてきた (中野 1998[7], 藤井 2004[8], 下岡 2005[9], 船越2006[10], 尾嶋 2006[11])。さらに 2000 年代、日本語の話し言葉コーパスの整備が進んだことから、記述的な言語研究においても非流暢性を定量的に扱う研究が進められている。

## 2.2 非流暢性としての言い直し

その中で丸山（2008）[2]は、日本語の自発的な独話における言い直しを取り上げ、言い直しの構造化、および定量的な分析を行っている。丸山 (2008) [2] は、Nakatani and Hirschberg (1993) [12]の RIM 乇デルなどの先行研究を参照し、言い直しを次の 3 つの区間によって構造化した。「被言い直し部」は言い直しの対象となる区間、「中断部」はフィラーや 「ていうか」「失礼」などの編集表現、「言い直し部」 は言い直した区間、にそれぞれ該当する。

被言い直し部 | 中断部 | 言い直し部さらに丸山（2008）[2] は、言い直しの形態的特
徵および談話中で果たす機能という側面から、言い直しを 5 種類に分類した。この分類基準をもとに、『日本語話し言葉コーパス』(CSJ)に対してアノテーションを行い、言い直しの定量的な分析を実施している。

今回、丸山（2008）[2]によるアノテーションを再検討し、その分類基準をさらに明確化した上で、必要に応じてアノテーションされたタグの修正作業を実施した。以下では、その内容について示す。

## 3 言い直しの分類

言い直しの形態的特徵および談話中で果たす機能という側面から、言い直しを以下に挙げる 5 種類に分類する。なお、言い直しを構成する各区間の名称を次のように改め、その範囲を（）で囲むことにする。また、言い直しの分類名を冒頭に記す。

(R1 修復対象区間|編集区間|修復区間 )

## 3.1 R1: 発語の失敗に伴う繰り返し

$「 \mathrm{R} 1$ : 発語の失敗に伴う繰り返し」は、意図した語を発話（発語）しようとしたものの、その発音に失敗してしまい、それを直ちに（反射的に）修復するケースに相当する。修復対象区間には、語未満の音声（語断片）が現れることが多い。以下の c. では、言い直しが再帰的に生じている。

a. タイプ分け (R1 (Dしみゃし)||しまし) た

b. 明治神宮あるいは $(\mathrm{R} 1$ 新宿 (Dくい) $(\mathrm{F}$ あ) $\mid$ 新宿御苑)

c. 映画に (R1 (R1 (D なれしんだ) | (Fう)| (D なれしたん))| 馴れ親しんだ)

## 3.2 R2：単純な繰り返し

$「 \mathrm{R} 2$ : 単純な繰り返し」は、一度発話した語句をそのまま繰り返す場合に相当する。ここで扱うのは意図的な繰り返しではなく、非流暢性としての繰り返しであり、典型的には、発話中の逡巡やためらい、言いよどみ、自己確認に起因するものである。以下の b. c. は、一度発話しかけた語句が中断してしまい、それを改めて繰り返す場合に相当する。

a. (Fあの一) (R2 ハワイ||ハワイ)っていうのは

b. (F あの) (R2 (D う)||運転) 免許が四ドルで

c. (R2 被験 (D L)| (F あ一) (F あの)| 被験者) が

## 3.3 R3：語句の選択誤りに伴う訂正

$\ulcorner\mathrm{R} 3$ ：語句の選択誤りに伴う訂正」は、話し手の意図とは異なる語句や表現を発話してしまい、それを直後に訂正する場合に相当する。R3 の事例には、 $\mathrm{R} 1$ や R2 と同様に偶発的に生じたトラブル（語の選択誤り）の場合もあれば、そこまで進んでいた発話を中断し、その場でその後の発話計画を変更する場合や、機能語の訂正を行うことで後続発話に対する係り方を変える場合など、多様なパターンがある。 ここでは、後続発話へのつながりを明示的にするため、訂正される対象が内容語か機能語かに応じて $\ulcorner\mathrm{R} 3-\mathrm{C}($ 内容語)」「R3-F (機能語)」という下位の類型を設けておく。

a. 同音異義を (R3-C 分別| (Fえ一)| 弁別) しているという

b. 短調独特の (R3-F 旋律の $\mid(\mathrm{F}$ え) |旋律を) 形作っている

c. クロマというのは音名 (R3-F (D2 の)|(F え)| に) 相当するものです

## 3.4 R4: 不適切な発話に伴う追加と繰り 返し

「R4：不適切な発話に伴う追加と繰り返し」は、一度発話した語句では情報として不十分であると気づき、情報を補足する表現を追加した上で、同じ語句を繰り返すケースである。修復対象区間の中に本質的な誤りはないものの、そのままでは聞き手にとって分かりにくいと気づき、十全な発話としては不適切であると判断したものである。

a. 入ってきた途端に (R4 ショーケース||ドーナツのショーケース)を見て

b. (R4 エヌ個に|(Fえ)|ケーミーンズ法によってエヌ個に) (Fええー) 分割します

## 3.5 R5：不適切な発話に伴う言い換え

$「 R 5$ : 不適切な発話に伴う言い換え」は、一度発話した語句を別の表現を使って言い換えるケースである。この種の修復が起こる動機には、一度発話した語句が聞き手にとって理解が難しいと気づいたために別の平易な表現に言い換える場合や、発話した語句をより具体的な内容を示すために言い換える場合、ある語句を現場指示・文脈指示の表現に言い換えたりする場合などがある。この点で、R4 と同様、聞き手に対する十全な情報提供の適切さに対してト

ラブルを検知し、それを意図的に修復する行為であると言える。

a. (R5ミクスチャーの| (F あの) |混合重みの) 係数なんですけれども

b. 正答率はかなり ( $\mathrm{F}$ ま) (R5 内側に来ている।।低くなっている)ことが分かります

c. 強さパターンの効果は (R5 三. 六||こちら) (F あ)で有意な効果が見られました

## 4 アノテーション

## 4.1 対象データ及びアノテーション手法

今回、『日本語話し言葉コーパス』(CSJ) の独話・ コアデータに対し、丸山（2008）[2]で付与された言い直しのタグをチェックし、必要に応じて修正を行った。言い直しのチェック、タグの修正作業は、日本語文法の専門知識を持つアノテーター 3 名によって実施した。アノテーションにはアノテーター の作業負担を軽減し、作業にかかる誤差をより少なくできるという利便性から、オープンソースライセンスで提供されているアノテーションツール brat ${ }^{1)}$ を使用した。丸山（2008）[2]で作成された言い直しのタグ付き転記テキスト（短単位で区切り、節単位ごとに 1 行にしたもの）を音声を聞きながら確認し、言い直しの範囲およびその種類（R1～R5）を同定・確認して、必要に応じて修正を行った。アノテーター間で判断が分かれた場合、合議を行い、合意を得た。3名の意見が合わない場合は多数決で決定した。これらの作業を通じて得られた、タグを付与するための判断過程を、フローチャートの形にまとめた。Appendix に図 1 として示す。

## 4.2 アノテーション結果

上記の作業の結果、学会講演 70 講演、模擬講演 107 講演（合計 441,759 語）の中から、5,279 箇所の言い直しを再認定した。一覧を以下に示す。

1) https://brat.nlplab.org/

## 5 問題点

## 5.1 言い直しの細分類・再分類

今回のアノテーションの修正作業を通じ、明らかになった問題点は以下の通りである。

## 5.1.1 R3 の動機の分類が不明瞭

今回、「R3：語句の選択誤りに伴う訂正」につい $\tau$ 、内容語の訂正 (R3-C) と機能語の修正 (R3-F) の2つを細分類した。これは、「語句の選択誤り」という点では共通しているものの、それがどのような原因に基づくトラブルであるのか、という点において異なる。先の例を一部再掲すると、

a. 同音異義を (R3-C 分別 $\mid$ (Fええー)| 弁別) して

b. 独特の (R3-F 旋律の | (F え)| 旋律を) 形作って

c. 音名 (R3-F (D2 の) | (Fえ)|に) 相当するものです

a. は、「分別」と「弁別」を取り違えている例である。これは、発話プランニングの中で語彙選択をする際、よく似た音および意味を持つ語を誤って選択してしまった場合と考えられる。一方、b.は、「旋律の」まで発話した後、その後に続くはずだった統語構造がうまく組み立てられないことに気づき、「旋律を」と助詞を言い直した上で、「形作る」につなげる、という動機が働いているものと考えられる。 c. も同様、「の」を「に」に言い換えて、当初に想定していた統語構造に沿って、発話を継続しているものと考えられる。すなわち、同じ「R3: 語句の選択誤りに伴う訂正」の下位分類として設けた R3-C と R3-Fは、トラブルの原因としてはかなり異質なものである可能性がある。

## 5.1.2 R5 の動機の分類が不明瞭

これと同様に、「R5：不適切な発話に伴う言い換え」についても、どのような動機によって言い換えが生じているのか、という点で、細分類・再分類が可能になると考えられる。一部を再揭すると、

a. (R5 ミクスチャーの|(Fあの)|混合重みの) 係数

b. (R5 内側に来ている||低くなっている)ことが

c. 効果は (R5 三. 六川lこちら) (F あ)で有意な

a. は専門用語を平易な表現に言い換える例、b.は観察された現象に対する解釈に言い換える例、c. は言及した数値をスライド上で指し示す例（現場指
示）である。いずれも聞き手に配慮することによる言い換えであり、談話構成上のストラテジーと考えられるが、どのような配慮のために言い換えを行うのか、という点に着目すると、それぞれは異なる事例と捉えることができるだろう。

動的に進行する発話産出処理において、どの過程がどのような要因でトラブルを起こしているのか、 という点に着目すると、言い直しの種類をさらに細分類・再分類することが可能になると考えられる。今回のアノテーション結果に対して、心理言語学的な観点から再分析を行うことによって、さらに多様な言い直しの実態を把握できるだろう。この点に対する分析と考察は今後の課題としたい。

## 6 まとめ

本稿では、現代日本語の話し言葉に現れる言い直しをアノテーションする基準と方法論について議論を行った。丸山 (2008) [2]におけるアノテーション結果に対して再検討を行い、新たにアノテーションをし直した。この結果は、一般に公開する予定である。このアノテーションデータをもとに、言い直しの研究がさらに進展することを願いたい。

また、言い直しがどのような動機によって発生するのか、という心理言語学的な観点を取り入れることにより、さらに言い直しのタイプを細分類・再分類することできる可能性を指摘した。この点の検討については、今後の課題としたい。

さらに、今回は『日本語話し言葉コーパス』(CSJ) という独話のデータを分析対象としたが、独話ではなく会話を分析対象とした時にどのような現象が観察されるのか、という点を考えることも重要である。会話中でのインタラクションを考えた場合、発話者の態度や聞き手の承認を得るための、共同作業のストラテジーとして、言い直しが語用論的な役割を担うことがあると考えられる。そもそも今回のアノテーションの方式が会話にも適用できるのか、という点から考え始めることが必要だろう。この点についても今後の課題とする。

## 謝辞

本研究は JSPS 科研費 $20 \mathrm{H} 05630$ の助成を受けたものです。

## 参考文献

[1] 国立国語研究所. 日本語話し言葉コーパスの構築法.国立国語研究所, 2006.

[2] 丸山岳彦. 『日本語話し言葉コーパス』に基づく言い直し表現の機能的分析. 日本語文法, Vol. 8, No. 2, pp. 121-139, 1999.

[3] A Fromkin, Victoria. The non-anomalous nature of anomalous utterances. Language, Vol. 47, pp. 27-52, 1971.

[4] W. J. M. Levelt. Speaking From intention to articulation. MIT Press, 1989.

[5] Harvey Sacks, Emanuel A Schegloff, and Gail Jefferson. A simplest systematics for the organization of turn-taking for conversation. Language, Vol. 50, No. 4, pp. 696-735, 1974.

[6] R. Inscoe Williams, J. and T. Tasker. Communication strategies in an interactional context: The mutual achievement of comprehension. Communication Strategies: Psycholinguistic and Sociolinguistic Perspectives, pp. 304-322, 1997.

[7] 中野幹生, 島津明. 言い直しを含む発話の解析. 情報処理学会論文誌, Vol. 39, No. 6, pp. 935-1943, 1998.

[8] 藤井なつ音. 日本語話し言葉における自己修復の統計モデル. 第 10 回言語処理学会年次大会発表論文集, 2004.

[9] 下岡和也, 内元清貴, 河原達也, 井佐原均. 日本語話し言葉の係り受け解析と文境界推定の相互作用による高精度化. 自然言語処理, Vol. 12, No. 3, pp. 3-17, 2005.

[10] 船越孝太郎, 徳永健伸, 田中穂積. 音声対話システムにおける日本語自己修復の処理. Vol. 10, No. 4, pp. 33-53, 2003.

[11] 尾嶋憲治・河原達也・秋田裕也. 話し言葉の整形作業における削除箇所の自動同定. 情報処理学会研究報告, Vol. 46, pp. 85-91, 2008.

[12] C. Nakatani and J. Hirschberg. A speech-first model for repair identification and correction. Proc. of 31th Annual Meeting of ACL, pp. 200-207, 1993.

(1)「T区間が"D"'D2"タグ付きの語のみで構成される」

$* *$ 同義性の認定
・文脈上指し示す事象が実質的に同じもの
翻訳にあたるもの
- 修復区間が修復対象区間を易化／難化／抽象化／具体化した内容上記を考慮し複数のアノテーターによる合意で決定

図 1 言い直しのタグを付与するための決定フローチャート


# 『現代日本語書き言葉均衡コーパス』に見る語表記の量的分布一品詞，レジスター，頻度との関係—

山崎 誠
国立国語研究所
yamazaki@ninjal.ac.jp

## 概要

『現代日本語書き言葉均衡コーパス』を使って,現在の日本語の語表記の種類（書字形の数）の量的分布を調査した結果を報告する。これまで国立国語研究所では語彙調査とともに用字調査を行い, 漢字表や表記のゆれなどの報告書を刊行してきた。書き言葉コーパスとして代表的な『現代日本語書き言葉均衡コーパス』は 2011 年にリリースされたが，今のところこれを使った総合的な用字調査が行われていない. 本発表では, 語表記の種類に着目し, その量的実態を報告するものである．本発表では，全体の概要を示すとともに, 誤表記の種類と品詞, レジスター, 出現頻度との間に一定の傾向が見られたことを確認した。

## 1 はじめに

国立国語研究所では 1948 年の創立以来, 書き言葉の実態調查である語彙調查を実施してきたが，それと同時に用字調査も行い，漢字表や表記のゆれなどの報告書を刊行してきた. 例えば, 『総合雑誌の用語』（1960）や『現代新聞の漢字』（1976）『現代表記のゆれ』（1983）などである. 書き言葉コーパスとして代表的な『現代日本語書き言葉均衡コーパス』（以降，BCCWJ）が公開されて久しいが，まだこれを使った漢字表や表記の調査は行われていない.

## 2 先行研究

個々の語の表記の計量調査ではなく, コーパス全体を調査したものは少ない. 書き言葉の総合的調査である, 国立国語研究所(1963)[2]は漢字の計量調查の報告であるが，表記についての言及はない。国立国語研究所(2006: 32-33)[3]には, 調查対象となった,雑誌に出現した語について, 主に語種を中心とした以下のような分析を行っている。出現した和語 11530 語について,そのうちの $29.3 \%$ である 3378 語についてゆれが見られた一方, 漢語 15214 語について, そのらち $4.16 \%$ に摇れが見られ,和語の方がゆれの出現率が高かった。また, 語の表記形の数が増えるにつれて語数が減っていくことも示された（以上，筆者による要約）。国立国語研究所(2006)[3]は, BCCWJ と語の認定の仕方がやや異なるため，厳密な比較はできないが，これらは大まかな傾向として参考になるものである.

## 3 データと方法

## 3.1 データ

本発表で使用したデータは, BCCWJ Ver.1.1(2015) [DVD 版]である. その DISC4OT に納められている TSV_SUW_OT フォルダのTSVファイルを利用した. OT というのは，コーパス構築にあたって， NumTrans $^{1}$ という数字変換処理を施していない， Original Text という意味である. NumTrans を施した本文は，アラビア数字が漢数字に置き換えられてしまうので，表記の調査としては， NumTrans 前の Original Textがふさわしいと考えた.

## 3.2 語の同定

語の表記を数えるには, 語の同定と表記の同定の 2 つの方法を決定しなければならない. BCCWJをはじめとする国立国語研究所のコーパスは UniDic という形態素解析用の辞書を用いて分析されているため, UniDic の形態論情報を用いて語の同定と表記の同定を行うのが妥当である．語の同定は，形態論情報である（1）語彙素 ID を使う，（2）語彙素，語彙素細分類, 語彙素読み, 品詞の組で語を使う，の 2 つが考えられる。しかし，次に述べる理由で以下
^{1}$ NumTrans については, [1]の P. 100 以降を参照のこと。
}

のような変則的な方法を採用した.

以下は, 語彙素 ${ }^{2}$, 語彙素読み, 語彙素 ID, 品詞の4つを用いて語を同定し，その表記をまとめたものである. 表記形に続けて括弧内に頻度を示した。

「あいす(4),あいする(7), 愛す(1300), 愛する(5010),愛せる(135)」

これを見ると, 活用の型が異なる「愛する」（サ変）と「愛す」（五段活用）が同じ語の範囲になっているほか, 可能動詞形の「愛せる」も同じ語の範囲と扱われていることが分かる. これらを同じ語と考えると，「あいす」と「あいする」は同じように平仮名で書かれているにも関わらず，表記が違うということになる.これは表記の違いというより語形の違いをカウントしていることになるので, これらは別語と扱うほうが望ましいだろう。そこで，基本的には, 語彙素, 語彙素読み, 語彙素 ID, 品詞の 5 つで語を同定するが，動詞に限っては，語彙素読みを語形で置き換えたものを使った。それによって， この例は, 以下のような 3 語に分かれることになる.

・あいす(4),愛す(1300)

・あいする(7),愛する(5010)

・愛せる(135)

なお，長単位を使えばこの問題は起きないが，名詞に長い複合語が出てくるため, 今回はできるだけ短い言語単位での実態の把握を優先した.この調整により, 動詞の 1 語あたりの書字形数の平均は 2.90 から 2.32 に下がった.

## 3.3 表記の同定

表記の同定は，形態論情報である書字形を使う.書字形は, 原文での出現形を表記の点で保持するが，活用形の違いを捨象した終止形で示した形である3.

## 3.4 除外した語

以下の語は, 本稿の趣旨に合わないため除外した.

・語彙素が NULL のもの ${ }^{4} 298410$ 語

・伏せ字を示すロ $\mathbf{D}^{5} 65487$ 語

## 4 結果

## 4.1 全体について

2 節で述べた語の数え方により, BCCWJ の短単位全体で異なり 190,373 語, 延べ 124,256,025 語が得られた. 1 語あたりの書字形数の分布を図 1 に示した. 1 語あたりの書字形数の平均（算術平均）は， 1.509 であった。また, 最小值, 第 1 四分位数, 中央值,第 3 四分位数はいずれも, 1 , 最大值 6 は 81 であった.

図 11 語あたりの書字形数の分布

## 4.2 品詞との関係

図 2 は, 品詞別に 1 語あたりの書字形数の平均(以降，平均書字形数という）を示したものである.

図 2 品詞と平均書字形数

平均書字形数が多い品詞は, 感動詞(4.081), 記号 (3.926), 代名詞(3.987), 形容詞(3.986), 助詞(3.603) である. 感動詞の平均書字形数が多いのは例えば,

「ああ」に以下のような 36 個のバリエーションが見られるように，臨時的な語形が多いからと推測される.

あああ(3),あああ $(25)$, あ〜(814),あ〜あ(62),あ〜

(17),ああ(845),ああ(7980),あああ(4),あああ(641),あああ〜(16),あああー(3),ああっ(216),ああー(62),あ> (181),あア(28),あア(1),あー(517),あーあ(166),あーつ (92), あーア(1),ア〉(1),アア(24),アア(61),アアア(1), ア —(22),アーア(5),アーッ(19),吁嗟(1),鳴〜呼(3),鳴乎 (1),鳴呼(84),嗟(2),嗟呼(3),噫(21),臆(7),鳴呼(5)

## 4.3 レジスターとの関係

図 3 は，BCCWJを構成するレジスター7ごとに平均書字形数と標準偏差を見たものである.

LB（図書館書籍）と PB（出版書籍）が平均書字形数 1.4 以上で大きい。これはこれらのレジスター に相対的に多様な表記が用いられていることを示すものであろう。一方, 平均書字形数が小さいのは順に，OL（法律,1.04），OM(国会会議録,1.10), PN（新聞,1.12），OW（白書,1.13），OT（教科書,0.18）となっており，公的な媒体において表記のバリエーションが少ないことが分かる．バリエーションの小さいレジスターは, 以下のように, 標準偏差も小さい. OL（法律，0.21）, OL（国会会議録，0.42）OW（白書, 0.43), OT (教科書, 0.53)，OP（広報紙，0.58）. これは，これらの媒体の表記が安定していることを示していると考えられる。

図 3 レジスターと平均書字形数

7 レジスターの略号は以下のとおり。LB(図書館書籍), $\mathrm{OB}($ ベストセラー), $\mathrm{OC}(Y a h o o !$ 知恵袋), $\mathrm{OL}($ 法律), $\mathrm{OM}$ (国会会議録)，OP(報紙)，OT(教科書)，OV(韻文)，OW(白書)， $\mathrm{OY}(Y a h o o !$ ブログ), $\mathrm{PB}($ 出版書籍), $\mathrm{PM}$ (雑誌), $\mathrm{PN}$ (新聞)

## 4.4 頻度との関係

表 1 は，固有名詞を除く，書字形数が 22 以上の語の形態論情報と出現頻度を示したものである．表 1 を見ると，書字形数が多い語には，頻度も多いものが多いようである。そこで，語の出現頻度と書字形数の関係を見たのが図 4 である。図 4 は，出現頻度を 1000 刻みでその範囲に属する語の平均書字形数を求めたものである.

表 1 書字形数の多い語

図 4 出現頻度と平均書字形数

図 4 からは，途中で増加が止まるような箇所もあ

るが，大局的にみると，語の出現頻度が高くなるにつれて, 平均書字形数も多くなる様子が見て取れる.

## 4.5 品詞とレジスターの関係

図 5 は，品詞とレジスターを変数としてコレスポンデンス分析を行ったものである ${ }^{8}$.

図 5 コレスポンデンス分析の結果

図 5 からX 軸（Dim1）で全体の約 $85 \%$ が説明できることが分かる。この軸はレジスターでは, OW (白書)と $\mathrm{LB}$ (図書館書籍)を対極とし, 品詞では句読点と感動詞を対極とすることから，書字形のバリエーションの多寡に対応する軸であると思われる。 ただし, 同じ書籍であっても LB(図書館書籍)と $\mathrm{PB}$ (出版書籍)との布置はかなり違っていることについては説明が難しい.

## 5 おわりに

本発表では，BCCWJを使って現代日本語の語表記のバリエーションを計量的に記述した. 今回分析できなかった観点としては, 先行研究にあった, 和語, 漢語外来語などの語種との関係が挙げられる.先行研究では, 和語よりも漢語の方が表記が安定していることが示されていたが，表記のバリエーションが多い漢語や逆にバリエーションが少ない和語も考えられることから，どのような条件がそこに働いているか, 解明する必要がある. また, 課題として
^{8} \mathrm{R}$ の devtools, ggplot2, factoextra, FactoMineR のライブラリを使用した。
}

語の認定のしかたがある. 今回は 3.2 節に述べたように, 語彙素, 語彙素読み, 語彙素 ID, 品詞の 4 つで語を同定. 動詞に限って, 語彙素読みを語形で置き換えるという方法だったが，例えば，名詞「バイオリン」は，「バイオリン(293),ヴァイオリン(415), ヴィオロン(4)」のような分布になっており，語形の異なる「ヴィオロン」も同じ語の範囲に入っている. では，全ての品詞で語形によって語を認定するとよいかというと, その場合, 「ハロウィン(130), ハロウイーン(69),ハロウイーン(4),ハローイン(1)」がすべて別語になってしまい，表記のバリエーションを見る目的に適さなくなってしまう. 活用語における活用の型の違いや可能動詞を別語とするくらいがよいのかもしれない。その辺の検討を経て, BCCWJ の表記一覧を同漢字表とともに国立国語研究所の学術情報リポジトリで公開する予定である.

また，今回は品詞を大分類のレベルで分けているが，これを中分類や小分類のレベルにまで分けたときにどのような違いが見られるかという点も検討課題である9.

## 謝辞

データとして利用した BCCWJ は, 国立国語研究所のプロジェクト及び文部科学省科学研究費補助金特定領域研究「代表性を有する大規模日本語書き言葉コーパスの構築 : 21 世紀の日本語研究の基盤整

備」(平成 $18 \sim 22$ 年度, 領域代表者: 前川喜久雄) による補助を得て構築したものである.

## 参考文献

1. 国立国語研究所コーパス開発センター,『現代日本語書き言葉均衡コーパス』利用の手引第 1.1 版, 2015 https://clrd.ninjal.ac.jp/bccwj/doc.html

2. 国立国語研究所, 『現代雑誌九十種の用字用語 :第 2 分冊漢字表』, 1963, 秀英出版.

http://doi.org/10.15084/00001234

3. 国立国語研究所, 『現代雑誌の表記：1994 年発行 70 誌』, 2006.

https://doi.org/10.15084/00001286


# 「否定するわけじゃないんだけど」:日本語日常会話におけるへッジ表現にみられる「否定」の使用

臼田泰如
国立国語研究所 研究系
usuda@ninjal.ac.jp

## 概要

本研究では，日本語日常会話においてしばしば見られる，サ変可能名詞（ならびにサ変動詞）「否定 (する)」を用いた表現に着目する. 当該の語の使用のうち, 本研究において特に焦点を当てるのは,「否定するわけではないけど」に類するフレーズの形で出現するものである。このフレーズには多くの場合，これに後続する位置における一連の発話において，話題になっている物事についての否定的評価が述べられる際に，その否定的評価の直接性・攻撃性を緩和する機能をみてとることができる. 本研究では, こうした「否定（する）」について，『日本語日常会話コーパス』における」出現状況を概観し,他のサ変可能名詞のふるまいとの比較を行う.

## 1 はじめに

日本語の日常会話において（あるいはウェブ上のやりとりなど，日常会話に準ずる言語使用において)，例 1にみられるような意味・用法における「否定（する）」というサ変可能名詞（ならびにサ変動詞）が散見される。

例 $1^{1)}$ では，参与者 A が同席している B の過去の言動について参与者 $\mathrm{E}$ に話している2). この断片に先行する箇所で， A は B について，明け方までお酒を飲み歩いた上で翌朝には何事もなかったかのように出勤してくるとし，その体力やアルコールへの強さを賞賛的に提示しており，B も大筋で内容を認めている。断片はそれに続く箇所で，その時点までに語った内容を「全否定」(4) し，「4 時間寝たあとに」(15)「会社に来た時に」(16),「まだ酒残ってる」(19) と述べた事例を挙げ，「四時間寝ても大丈夫
$ は発話していない. また $\mathrm{C} と \mathrm{D}$ は別の話をしているため，C と D の発話は削除した。
}

じゃない」(20)という理解を提示している.この例においてみてとれるように，4行目の「全否定する形になっちゃうかもしれないけど」は，それに後続する位置における一連の発話において, 現在話題になつていることがらに関する否定的な言明がなされる位置において出現している.

こうした表現はへッジ (hedge[1, 2, 3]) と呼ばれ,否定的な評価など，やりとりの相手の「メンツを潰す face-threatening[2]」行為を行わざるを得ない際に，それをできるだけ緩和して行うための方法の一つであるとされる。 さらによく観察すると，こうした否定的言明・評価は慎重になされていることがわかる. A は6行目から当該の事例についての語りを開始し, 出来事を時系列的に提示することで，自身の評価だけでなく, 20 行目の評価に至った理由や根拠を理解可能にしている。 またそうした出来事の提示に対し, もう一人の当事者である $\mathrm{B}$ も理解を示しながら参与している. つまりこの表現は否定的評価の表出および受け入れというやりとり上の課題を共同で解決するシグナルになっているといえる. 4行
目は，そのようなシークエンスを開始するための談話標識 discourse marker[4] として機能している.

本研究では，上記のような観察・質的分析を踏まえ，例 1 に見られるような，否定的言明を導くへッジ表現に出現する「否定」について分析するため，『日本語日常会話コーパス』における「否定」の出現状況について概観する。3で扱うのは, 「否定」の発話者の情報，および前後の語彙の分布である.

## 2 データ

本研究で扱うデー夕は，国立国語研究所によって構築・公開された『日本語日常会話コーパス (CEJC)』 [5] である。 CEJC は日常生活における会話の多様性をできるだけ反映し，さまざまな研究に利用可能な形で提供するため, 音声および映像と文字起こしテキストを利用可能な形で提供するほか，以下のような特徴を備えるよう設計されている。

-大規模：200 時間分の会話デー夕
- 代表性 : 年齢・性別・属性・会話の種類の均衡性を考慮
- 検索性 : 形態論情報 (品詞, 文中の位置, 発話時間など)

## 3 コーパスでの「否定」の出現状況

## 3.1 「否定」の出現数

次の表 1は，『日本語日常会話コーパス』における 「否定」の出現数, およびその「否定」がヘッジ用法にて用いられている件数，ならびにサ変可能名詞およびすべての短単位の総数を示したものである [6].

表 1 「否定」およびサ変可能名詞の出現数「否定」ヘッジサ変可能サ変可能短単位

「否定」は CEJC 全体で 44 件出現しており, これはサ変可能名詞の中で 202 番目に多い.このうち連鎖の観察からへッジ表現であると考えられるものは 5 件あった。

## 3.2 話者の属性, 会話の性質

図1と図2はそれぞれ「否定」とすべてのサ変可能名詞の使用者の年齢, 図 3 と図 4 はそれぞれ「否定」とすべてのサ変可能名詞の使用者の職業，図5と図6はそれぞれ「否定」とすべてのサ変可能名詞が使用された会話の形式を示している.

図 2は，开変可能名詞全体ではおおむね参与者全体の年齢構成を反映した分布となっていることを示しているが，図 1からは，「否定」においては 50 代および 60 代が多くなっていることがみてとれる.追って触れるが，この傾向は会話の種類の分布にも関連していると考えられる。

先に図3と図 4 における職業の分布を概観する.「否定」ではサ変可能名詞全体に比べて「自営業・自由業」の比率が少なくなっているが，それ以外の大きな分布の差はみてとることができないといえる。

ついで図5と図6における，「否定」およびサ変可能名詞の使用された会話の形式を検討する。「雑談」 はいずれの図においても最も多いが，「否定」は「雑談」と並んで「会議・会合」での使用が多くを占めることがみてとれる。これについて，表 2 に会話形式と年齢の関係を示した。表 2からは，相対的に 40 代・50 代における会議・会合への参加が多くなっていることがみてとれる。こうした傾向性が「否定」 の使用に関連している可能性がある。

表 2 会話形式と年齢の関係

会議 ・ 授業 - 用談 - 雑談

## 3.3 「否定」の前後の語彙

図7と図8はそれぞれ，「否定」とサ変可能名詞に先行する短単位の品詞, 図9と図10はそれぞれ後続する短単位の品詞の種類を大分類で示したものである. 図9のみ，直後には動詞と助詞が多いが，それ以降には動詞が減り, 助動詞が多くを占めるようになる。このことは，サ変可能名詞全体に比べて「否定」は「否定する」の形での使用率が高いことを示唆する。

図 1 「否定」使用者の年齢

図 3 「否定」使用者の職業

図 5 「否定」が使用された会話の種類

図 2 サ変可能名詞の使用者の年齢

図 4 サ変可能名詞の使用者の職業

図 6 サ変可能名詞が使用された会話の種類

図 7 「否定」に先行する品詞

図 8 サ変可能名詞に先行する品詞

図 9 「否定」に後続する品詞

図 10 サ変可能名詞に後続する品詞

## 謝辞

本研究は国語研共同研究プロジェクト「大規模日常会話コーパスに基づく話し言葉の多角的研究」の成果に基づいている.

## 参考文献

[1] George Lakoff. Hedges: a study in meaning criteria and the logic of fuzzy concepts. Journal of Philosophical Logic, Vol. 2, pp. 458-503, 1973.

[2] Penelope Brown and Stephen C. Levinson. Politeness: Some universals in Language Usage. Cambridge University Press, Cambridge, 1987.

[3] Bruce Fraser. Pragmatic competence: The case of hedging. In Gumther Kaltenböck, Wiltrud Mihatsch, and Stefan Schneider, editors, New Approaches to Hedging, pp. 15-34. Emerald Group Publishing Limited, 2010.

[4] Deborah Schiffrin. Discourse Markers. Studies in Interactional Sociolinguistics. Cambridge University Press, Cambridge, 1987.

[5] 小磯花絵, 天谷晴香, 石本祐一, 居關友里子, 臼田泰如, 柏野和佳子, 川端良子, 田中弥生, 伝康晴, 西川賢哉, 渡邊友香. 『日本語日常会話コーパス』の設計と特徵. 言語処理学会第 28 回年次大会発表論文集, pp. 2008-2012, 2022.

[6] 小磯花絵, 天谷晴香, 石本祐一, 居關友里子, 臼田泰如,柏野和佳子, 川端良子, 田中弥生, 伝康晴, 西川賢哉, 渡邊友香. 『日本語日常会話コーパス』一設計・構築・特徴一. 国立国語研究所「日常会話コーパス」プロジェクト報告書 $6,2022$.
非語彙的な発音の変化や言いよどみに関わるもの

 &  &  \\

韻律・パラ言語的情報に関わるもの

 &  &  \\

■ 発話単位・転記単位に関わるもの

 &  \\

*仮名化する際, 元の語のモーラ数が一致するようにしている。

図 11 付録：『日本語日常会話コーパス』の転記夕グ一覧 [6]


# 日本語歌謡曲の歌詞における性差と時代変化の テキスト分類を用いた検討

木田菜月 久野雅樹
電気通信大学大学院情報理工学研究科
k2230049@edu.cc.uec.ac.jp, hisano@uec.ac.jp

## 概要

本研究では，作詞家や歌手の性差による歌詞の違いに注目し，その違いを明らかにするためのテキス卜分類を行い，その性能から差異の実態を明らかにした. 性差によって言葉の使い方にどのような違いがあるかを見るために文末詞に着目し，使用割合の違いから性差による差異が認められた。この性差による違いを小説の登場人物を対象とした先行研究と比較すると，歌詞と小説には違いが見られ，さらに，作詞家の性差によって時代変化に違いがあるのかを明らかにするため，男女別に年代ごとのテキス卜分類を行ったところ，男女それぞれある程度の年代予測力が見られた。

## 1 はじめに

日本語コーパスを対象とした特徴分析，テキストの分類や生成の研究は，言語資源の整備と自然言語処理技法の発展にともない盛んに行われている. 本研究では日本語歌詞を対象に研究を行う. 音楽における歌詞には，時代ごとの言葉の使われ方，作詞家や楽曲のジャンルの違いによる構造の違いが大きく反映されていると言える.

歌詞を対象とした計量的な研究の例を挙げると大出らは，1978 年から 2012 年に日本レコード大賞および優秀作品賞を受賞した楽曲の歌詞について計量テキスト分析を行い，ネガティブな内容からポジティブな内容への変化を明らかにした [1]. 細谷らは，1979 年から 2009 年までのオリコン年間シングルランキング TOP 100 より，調査対象全期間で 5 曲以上ランクインした女性シンガーソングライター 10 名 116 曲対して，分類害験を行った. 結果としてカーネル主成分分析では，歌手ごとの一定の集中傾向が観察されたが，発行年の影響は明確には観察されなかった [2].
このように歌詞研究は様々に行われているが，流行歌や数名の歌手の一部の楽曲など特定の楽曲のみを対象としたものがほとんどである．そこで，本研究では大規模な歌詞コーパスである歌詞コンテンツデータ集に含まれる日本語歌詞の楽曲を対象にテキスト分類を行うことで，より全般的な特徵を明らかにすることを目的とし，作詞家や歌手の性差によるテキスト分類と男女別年代ごとのテキスト分類を行った.

## 2 性差によるテキスト分類

## 2.1 使用したデータセット

分析対象として，株式会社シンクパワーが提供している歌詞コンテンツデータ集 [3] を利用した.この歌詞コンテンツデータ集には，約 43 万曲分の曲名，アーティスト名，アルバム名，作詞者，作曲者，発売日，歌詞などの情報が収録されている．本研究では，日本語歌詞を対象とするため，このコーパスから歌詞に少なくとも平仮名またはカタカナが含まれる楽曲のみを抽出した。

そして, 1985 年から 2020 年に発売されたこのコーパスに含まれる曲数の多い作詞家上位 10 人の楽曲 15722 曲と歌手上位 10 組の楽曲 7116 曲を対象にそれぞれ実験を行った。楽曲を用いた作詞家および歌手は表 1 の通り.

## 2.2 前処理

歌詞データに含まれる鍵括弧と二重鍵括弧以外の括弧は，ルビであったり歌っている人の名前であったりする場合が多いため，括弧とその中身の除去を行った. また，言葉により着目するため，歌詞デー タに含まれる改行コードの除去，および歌詞の鍵括弧，二重鍵括弧，句読点の除去を行った。

図 1 女性作詞家楽曲の確率値の分布

図 3 ですねの使用割合 (作詞家)

表 1 実験に楽曲を用いた作詞家と歌手作詞家秋元康浜崎あゆみつんく嵐松井五郎槇原敬之畑亜貴 TUBU 松本隆阿久悠松任谷由実 B'z

こだまさおりDREAMS COME TRUE 吉田美和 SMAP 桑田佳祐氷川きよし中島みゆきゆず

## 2.3 実験手順

テキスト分類には GRU モデルを用いた．GRU は長期記憶と短期記憶のバランスも学習でき，LSTM よりもゲートが少なくセルも必要ないため, 状態変数の数が同じであれば LSTM よりも少ない計算量・使用空間量で済ませることができるためである [4].

まず，データセットに女性を 0 ，男性を 1 としてクラス情報を付加し，学習用が $80 \%$ ，テスト用が 20 \%になるように分割した. 分割したデータセットからボキャブラリを構築，単語の ID 化とパディングを行い GRU に学習させた. そして，テスト用

図 2 男性作詞家楽曲の確率値の分布

図4 かなの使用割合 (歌手)

データを用いて学習したモデルの性能評価を行ったのち予測した確率値の分布を出した。最後に小説の登場人物を対象とした研究 [5] と比較するため，文末詞 11 語に関して，全体の楽曲，女性と分類した楽曲，男性と分類した楽曲それぞれの 100 曲あたりに含まれる曲数を出した. 同様の手順を歌手のデー タセットに対しても行った. 歌手の性別に関してはボーカルの性別を歌手の性別としている.

## 2.4 性能評価と確率値

性能評価には予測結果の適合率と再現率，また， これらから計算される 1 値を用いた。また，予測結果は，それぞれのクラスに対してすべてのクラスの確率値の合計が 1 となるように確率値を出したのち，確率值の值が一番高いクラスを予測結果としている. 本実験は 2 值分類であるため，クラス 1 すなわち男性のクラスの確率値が 0 に近ければ近いほど女性的であり，1 亿近ければ近いほど男性的な歌詞と言える。

## 2.5 結果と考察

分類性能は表 2 のようになった。

また，作詞家の性別予測の確率値の分布は図 1 ,図 2 の通り。さらに，文末詞 11 語それぞれの語が
表 2 それぞれの性能評価

100 曲あたりに含まれる曲数を全体の楽曲，女性の楽曲，男性の楽曲で比較した結果の一部を図 3, 図 4 に示す.

作詞家の確率値の分布を見てみると，女性作詞家楽曲に対する確率值はほとんどが 0.05 以下，男性作詞家楽曲に対する確率值はほとんどが 0.95 以上であることが分かる. また，歌手の性差による分類でも同様の結果が得られた. このことから, 性差による歌詞の違いが明確にあるということが分かる.

作詞家分類された楽曲の特徵として文末詞に着目したが，男性作詞家が比較的よく使う文末表現は 「だもの・なのよ・だよね」であり，女性が比較的よく使う文末表現は「ですか・ますか・ですね」であることが分かった. 特に女性作詞家に関しては，「です・ます」の使用が特徴である考えられる。また，「ですか・ますか・ですね」は小説の登場人物を対象とした研究では，中性的または男性的な文末詞という結果が出ている [5]. このことから, 小説に見られる性差の特徴と歌詞に見られる性差の特徴には違いがあることが分かった.

歌手 「かしら」，「だわ」や「ですね」，「ますね」 が男性に比べて極端に多いところは小説を対象としたものと一致していた．特に「かしら」，「だわ」 は非常に女性的な語とされていた [5]. しかし, 先行研究では非常に男性的な語とされていた「かな」 は男女ともに使われていることが分かった。他にも 「だよね」や「だもの」，「なのよ」は逆の傾向が見られた.このことから，作詞家のみならず歌手においても小説に見られる性差の特徴と歌詞に見られる性差の特徵には違いがあることが分かる.

## 3 男女別年代ごとのテキスト分類

## 3.1 使用したデータセット

これまでの実験と同様のコーパスに含まれる曲数の多い男性作詞家上位 14 人の楽曲を曲数がある程度均等になるように発売年で 5 区分に区切ったデータセット、および同様にして発売年で 5 区分に区切った曲数の多い女性作詞家上位 16 人の楽曲の
データセットの 2 つのデータセットで実験を行った. 楽曲を用いた作詞家は表 3 に示す. また, 男性,女性それぞれのデータセットの区分は表 4 の通り。

表 3 楽曲を用いた作詞家

## 3.2 実験手順

前処理としてこれまでの実験と同様の処理を行った. その後, 男性作詞家のデータに区分ごとのクラス情報を付加し，学習用が $80 \%$ ，テスト用が $20 \%$ になるように分割した. 分割したデータセットからボキャブラリを構築，単語の ID 化とパディングを行い GRU に学習させた。テスト用データを用いて学習したモデルの性能評価を行い，予測した確率値の分布を出した．女性作詞家のデータに対しても同様の手順を行った.

## 3.3 性能評価

性能評価には予測結果の適合率と再現率から計算される $\mathrm{F} 1$ 值のマクロ平均とマイクロ平均を用いた。

図 5 男性作詞家楽曲の年代区分ごとの予測値の分布また，予測結果は 2 值分類と同様に，それぞれのクラスに対してすべてのクラスの確率值の合計が 1 となるように確率値を出したのち, 確率値の值が一番高いクラスを予測結果としている.

## 3.4 結果と考察

分類性能は表 5 のようになった.

表 5 それぞれの性能評価

また，それぞれの年代区分の楽曲をどの年代区分の楽曲と予測しているかの予測値の分布は図 5, 図 6 の通り。

男性作詞家分類性能だけを見るとかなり低い。 しかし，正解と予測の関係を見てみるとほとんどの年代区分で正しい年代区分またはその近い区分の予測值が高くなっている。例えば，正解が区分 0(1985-1995) と区分 1(1996-2003) のグラフを見ると, 区分 0(1985-1995) の楽曲と予測している曲が多い.また，区分 2(2004-2009) では依然として区分 0(1985-1995) も多いが区分 2(2004-2009) の方が多くなっており，区分 3(2010-2013), 区分 4(2014-2020) では区分 4(2014-2020) と予測する曲が圧倒的に多くなっていることが分かる. このことから，区分 0(1985-1995) と区分 1(1996-2003) は近い傾向があり、年を追うごとに変化，区分 3(2010-2013) 以降は，区分 0(1985-1995), 区分 1(1996-2003) と比べて大きく変化していると考えられる。

女性作詞家分類性能だけを見るとかなり低く，男性作詞家との差もあまりない. しかし, 正解と予測の関係を見てみると，ほとんどの年代区分で正しい年代区分の予測值が高くなっている。この結果から，男性作詞家の結果よりも顕著になっていると言

図 6 女性作詞家楽曲の年代区分ごとの予測値の分布

える.しかし，区分 4(2016-2020) の予測だけは正しく予測されていない曲が多い。これは，近年の楽曲は過去の楽曲の特徴を反映したものが増えているとも考えられる. しかし，カバー曲や再録曲の影響， また，女性作詞家のデータセットは男性作詞家のものに比べて少ないので，区分ごとの曲の偏りによって見られる特徵の可能性も高いとも言える。そのため，今後その影響について検討する必要がある.

## 4 おわりに

歌詞には作詞家や歌手の性差が反映されていることが，GRUを用いた性差によるテキスト分類から示された。また，男女別での年代ごとのテキスト分類実験において，歌詞は時代によって変化していることが示された. このように歌詞に反映された性差や時代ごとによる特徵の実態が得られたことで，今後歌詞生成研究などへの応用が考えられる.

しかし，本研究で用いた歌詞コーパスには，カバー曲や再録曲の歌詞も多く含まれていたため，時代変化を見るという点で問題が残っている.今後, このようなデータをどのように扱っていくかが課題である.

## 参考文献

[1] 大出彩, 松本文子, 金子貴昭. 「流行歌から見る歌詞の年代別変化」. 情報処理学会じんもんこん 2013 論文集 (4), pp. 103-110, 2013.

[2]細谷舞, 鈴木崇史.「女性シンガーソングライター の歌詞の探索的分析」. 情報処理学会じんもんこん 2010 論文集 (15), pp. 195-202, 2010.

[3] 株式会社シンクパワー.「歌詞コンテンツデータ集」。 2020.

[4] K. Cho, B. Merrienboer, C. Gulcehere, F. Bougares, H. Schwenk, and Y. Bengio. Learning phrase representations using rnn encoder-decoder for statistical machine translation. EMNLP, pp. 1724-1734, 2014

[5] 黒須理紗子.「女ことば・男ことばの研究：差異と変遷」.日本文學 vol.104, pp. 187-207, 2008.


# コーパス分析によって明らかにする 新語によるコミュニケーションを可能にする複合名詞の語形成

大友和幸 ${ }^{1}$ 橋本敬 ${ }^{1}$
${ }^{1}$ 北陸先端科学技術大学院大学 知識科学系
\{s2110033, hash\}@jaist. ac. jp

## 概要

言語の共通性と新規性が両立するメカニズムを解明するため、商標登録された新規な複合語を対象とし形式・意味の両面の語形成について分析した。形式における共通性・新規性を複合語とその構成語の出現数の推移より調査し、既存の構成語を結合させて新規な複合語が作られることを確認した。意味の共通性の分析として、対象語の共起語分布のジニ係数でその語がどれだけ限定的な（共通の）意味で使用されるかの定量化を試みた。意味の新規性とし

て、個々の構成語にはないが、語が結合した複合語でのみ出現する創発的意味を調べる方法を 2 つ提案する。一つは共起語の出現回数の違いを調査する方法で、もう一つはLDAを使用して構成語と複合語に分配されるトピック群を比較する方法である。

## 1 背景

## 1.1 言語の共通性と新規性

コミュニケーションに用いられる言語は、共通性と新規性という 2 つの性質を持つ。[1, p233]共通性とは、語の意味がおおむね決まったものとして使用され、それが使用者に共有されている、すなわち使用者により千差万別の意味を持たない性質を指す。信号理論[2]に基づくコミュニケーションの見方では、話し手が言語化（外在化）したメッセー ジを聞き手が理解するためには、コミュニケーションを行う双方が語彙や文法に関する知識を共有していることが必要となる。したがって、共通性はコミユニケーションの前提とされているといえるだろう。 その一方で、我々は、今までになかった新しい形式を用いて新しい概念を言語で表現することもできる。すなわち、言語は新規性を生み出す創造的な性質を持つ。ファッションコミュニティを対象にした
コーパス分析[3]では、ユーモア、皮肉、挑発に関連した意味に加え、説明、評価、増幅、緩和等を目的として、新たな概念をうまく表現するために新しい形式の語が出現していることが示されている。このように、既存の習慣化された語ではなく、今までに見ることがなかった新しい語の形式が誕生するということが実際の現象として確認されている。

共通性が習慣化したパターンによって曖昧さを下げてできるだけ正確な伝達を可能にする傾向であるのに対し、生成された新語は厳密には話し手しかその意味を知りえないため、新規性は正確な伝達を妨げる傾向にある。使用される語や文法に関する知識が双方に共有されていない場合には、自分の意図を正確に相手に伝えることができず、発話に表現される意図を伝達するという意味でのコミュニケーションを成り立たせることが困難となる。このように、共通性と新規性には相反する傾向性があるため、両方の性質を担保したまま新語の生成とコミュニケー ションの両方を説明することができていない。

## 1.2 複合語が持つ意味の創発性

新語を生むもっとも良く使われる方法のひとつが、既存の語を組み合わせて新しい形式を作る複合語である[4]。複合語の意味は部分的合成性を持つと言われる $[5, \mathrm{p} .8]$ 。すなわち、複合語の意味は構成要素の意味と無関係ではないが、単純に足し合わせたものでもないため、個々の構成語の単純な総和として複合語全体の意味を説明することができない。メンタルスペース理論における概念融合[6]はその典型である。たとえば「butcher surgeon」という表現は「下手な外科医」という意味を持ち得るが[7]、butcher「屠殺業者」が「下手な」という意味は持つわけではなく、 surgeon「外科医」と組み合わさったときに生じる創発性を持つと考えられる。創発とは、全体が要素の集合以上の性質を持つことであり、ここでは複
合語の意味が構成要素の意味の単純な和ではないことである。

複合語が持つ意味の部分的合成性あるいは創発性から考えると、共通性と新規性が両立しつつコミュニケーション (伝達) を成立させるメカニズムを説明する仮説として、以下のものが考えられる。

習慣的に使用され共通性を持つ要素同士を組み合わせ、その組み合わせパターンによって複合語全体で新規性を持たせる。

すなわち、新しい概念を表現する際に、全く新しい語をあてがうのではなく、既存の語を組み合わせることにより新しい概念を表現する。このような語を使用することで、今までに聞いたことがない新語に対しても意味を理解し、コミュニケーションを成立させられる。

## 1.3 目的

本研究は共通性と新規性が両立するメカニズムの解明のため、上記の仮説の検証を行うことを目的とする。具体的には、複合語として多くの言語でよく用いられる複合名詞に限定し、新規に出現した複合名詞の形式と意味の両方において、共通性を持った語を構成語として結合することによって新規性を持つ複合語が作られていることを示す。

それとともに、意味面の分析において、意味的な新規性を評価し、既存の語が結合され複合語になる際に生じる複合語全体の意味の創発性を評価する方法を提案する。

## 2 手法

上記の目的を達成するため、新規に出現した複合語や、それを分解した構成語について、出現の推移を計測し、形式面での共通性・新規性を評価する。意味面の共通性として使われ方の偏りを共起語分布のジニ係数で評価する。意味の創発性を評価するために、複合語にはあるが各構成語にはない共起語を分析し、複合語のみに存在する意味の検出を試みる。 また、LDAを使用した意味の検出手法を提案し、構成語が結合することによって付与した意味についての分析を行う。

## 2. 1 複合語の取得

本研究の複合語は、なにかしらの意図伝達を目的とした新語であることが求められる。そのためには、対象独自の個別的な属性を明示しようとする意識で
ある「表現性」と、その所属先カテゴリを明示しようとする意識である「表示性」[8]が反映されている必要ある。これを満たすものとして、新しい商品の商品名が考えられる。商品名はパッケージなどに記載され、消費者がその商品を理解したうえで購入できるよう属性などを示す必要があるため、表示性を持つ。また、商品名は消費者の注意を引くような名前自体の独自性や、その物自体の独自性を伝えることを目的として、他の商品とは違う名前にする必要があると考えられる。

本研究では、商標データベース（工業所有権情報・研修館が提供する特許情報プラットフォーム https://www.j-platpat.inpit.go.jp にて「商標」を対象として検索）に登録されている消費者向けの商品名の中から複合語の商品名を取得し、それらの語の語形成について分析を行う。

## 2. 2 形式面の分析方法

形式の面における共通性・新規性として以下の性質を評価する。

共通性複合語の出現前から構成語が出現している新規性複合語はその商品が出現する前までは使用されていない

これらの性質を評価するためには、取得した複合語とその構成語それぞれについて出現の程度とその推移を調べる必要がある。すなわち、語の使用時期が特定でき、長期間に渡って観察できる分析データが必要がある。また、今回扱う商品名はニュース記事や公文書等に出にくいが、商品名が使用される場面のデータである事が求められる。

今回の研究では、語の出現の計測に Google Trend 人気度を使用した。ある語の Google Trend 人気度は、 その語の検索数に応じた相対的な値を $[0,100]$ の範囲で表示する。すなわち、その語について十分な検索クエリがない場合には 0、指定した期間内における最高値は必ず 100 となるよう算出される。Google Trend 人気度は月ごとに算出される。また、Google 検索は一般的に商品の情報取得や通信販売などで利用されている点から、商品名の出現の推移を計測するのに適していると考えられる。なお、算出対象とする全期間で十分な検索が無い場合はエラーとなるが、本稿では全期間の人気度を 0 とした。

## 2. 3 意味面の分析方法

意味の分析においては、意味に共通性がある構成語を結合させることにより、複合語全体では各構成語にはない意味が出現することを示したい。ここでは、ある語の意味はその語がどのような使用のされ方に反映されると考える。以上の考えより、ある語の意味の面における共通性・新規性を以下の性質で評価する。

共通性語がある程度決まった形で使用されており、使用者によって大きな違いがない

新規性構成語が結合し複合語となるときに、個々の構成語にはない使われ方が出現する

そして、語の使用のされ方を共起語の分布で表す。意味の共通性は、使用されている語の分布の偏りにより評価する。ある語が共通性を持ち限定的な意味で使用されている場合、特定の語と共に使用されると考えられる。その一方で、ある語が共通性を持たずに使用者や使用場面により様々な意味で使用される場合、使われる意味の数に応じて共起語が増え、十分な頻度がある共起語の数が多くなり、共起語分布の偏りは小さくなると考えられる。この分布の偏りはジニ係数で評価できるだろら。すなわち、ある語の出現回数でローレンツ曲線を計算すると、共通性が高いほど一様分布を表す完全平等線から乘離する。反対に、共通性が低いほど完全平等線に近くなると考えられる。

以上を踏まえ、本研究では、複合語・構成語それぞれのツイートにおける共起語を収集し、共起語の出現回数におけるジニ係数を計測することで、共通性を評価する。

意味の新規性として、構成語には無いが複合語全体にはある意味、すなわち創発的意味の検出を試みる。そのための方法として、共起語を用いる方法と潜在的ディリクレ配分法（LDA）を用いる方法を提案する。

共起語を用いる方法として、複合語・構成語について、それぞれを含むツイートを取得し、最も多く共起した語を 100 語取得する。その 100 語について、構成語には出現しないが、複合語では出現する語を取得する。

LDA を用いる方法では、複合語・構成語が分配されるトピックを計測し、複合語では分配されるが構成語には分配されないトピックを観察する。トピックを構成する学習には取得した商品名と同じジャン
ルに属する Amazon の商品レビューを用いる。本稿では 100 トピックに分割した。

## 3 結果

## 3. 1 形式面の分析結果

商標データベースに記載されている菓子で複合語になっている商品名ついて GoogleTrend 人気度の推移を分析し、仮説を裏付けると考えられる例を確認した（図1 上「チョコまみれ」の例）。すなわち、構成語の「チョコ」「まみれ」の人気度は「チョコまみれ」の発売前 (2020 年 5 月) から人気度があり、複合語「チョコまみれ」は発売後のみで人気度が高まっている。だが取得した複合語商品名の多くは、構成語は人気度の推移が確認できる一方で、複合語の人気度は全ての期間で 0 となっていた (図 1 下「おいしいお菓子の御神木」の例）。

図 1 構成語の共通性・複合語の新規性

## 3.2 意味面の分析結果

意味分析のため 2022 年 12 月 31 日以前の直近ツイートを 5,000 件取得した。Bot や繰り返しのツイー トによるデータの偏りを避けるため、全く同じ文章のツイートは 1 ツイートのみ分析に使用した。

ジニ係数による意味の共通性の分析を示す。分析対象は複合語「チョコまみれ」「美味しいお菓子の御神木」とその構成語、およびターゲット語の上位カテゴリである「菓子」を含むツイートの共起語の出現回数（共起語分布）のジニ係数を算出した（表 1）。上位カテゴリの語は様々な文脈で使われるため、共起語分布の偏りは相対的に少なくジニ係数は低くなると考えたが、そのような結果にはならなか

った。意味の共通性に関して、複合語、構成語、上位カテゴリ語の共起語分布のジニ係数で比較してもあまり大きな差はない事がうかがえる。

表 1 分析対象語の共起語分布のジニ係数

意味の新規性として「チョコまみれ」とその構成語の共起語を分析した結果、構成語に出現せず複合語では出現する語として表 2 の 21 語が確認された。 その中には「だらけ」「美味い」「初めて」など、一般的な語があり、「チョコまみれ」の上位カテゴリである「カントリーマアム」「クッキー」、発売元の「不二家」だけではないことが確認できた。 LDA による意味の分析のため、Amazon で「菓子・ スナック」カテゴリに属する商品の全レビューを 100 トピックに分割してトピックを学習した。分析対象語を 1 文書とみなし、その文書が分配されるトピックを観察した。「チョコまみれ」と「チョコ」 の配分カテゴリは一致し、「チョコまみれ」のみに現れる意味の検出はできなかった

表 2 複合語とだけ共起する語

表 3 複合語・構成語の分配トピック

 & $8,21,25,76,79$ \\

& $23,25,27,31,32,33,34,35,36,38,40$, \\
& $41,43,54,57,58,60,61,63,68,76,79$, \\
& $81,83,84,85,87,89,90,92,93,94,95$ \\

## 4 議論

## 4. 1 まとめ

本研究では新規な商品名の複合語を取得し、その形式・意味に対して新規性・共通性を Google Trend 人気度の推移により分析した。その結果として、形式においては、構成語が新商品が現れる前から使われている共通性、複合語は新商品登場後に使われるようになる新規性があることが確認された。しかし多くの新規複合語商品名は調查を行った全期間で人気度が 0 であった。

意味の共通性に関しては、共起語分布の偏りで分析したが、分析対象とした複合語、構成語、複合語の上位カテゴリ語で大きな差は見られなかった。意味の新規性については、語が結合することで上位力テゴリ等以外の語が出現することが確認でき、構成語には無いイメージを複合語が持っている例があった。LDAによる意味検出では、複合語のみに分配されたトピックを確認できなかった。

形式分析で新規性が評価できなかった理由として、 ヒット商品の商品名だけを集めることの困難さが挙げられる。ある商標が一般消費者に広く使われるためには商標取得後に商品として販売し、その商品が広く普及することが必要になる。多くの商品は販売・普及の前に開発・販売が中止になることがあり、販売された中でヒットする商品はごく一部となる。今回の分析では、普及していない商品名も取得したため、このような結果になったと考えられる。その一方で、当初定義した新規性についての計測は困難だったが、「共通性がある語を結合し、今までにない形式の複合語を生成している」とはいえる。実際には使われていないため、新語とは言い難いが、もしその商品が普及し新語となった場合には仮説を肯定する語となることが予想される。

今回使用した GoogleTrend 人気度は、取得した期間における最大值を 100 とした相対的な値である。 そのため、語の出現について絶対的な値を出していないため、出現の有無を言いにくい数値となっている。

LDA が抱える限界として、限られた意味のまとまりのものを多数のトピックに分解するとき、うまく分割できない点が挙げられる。トピック数を増やした分析をする必要がある。

## 謝辞

本研究は JSPS 科研費 JP 17H06383 の助成を受けた

ものです。

## 参考文献

1. Lehrer, Adrienne. Understanding trendy neologisms. Italian Journal of Linguistics. 15: 369-382, 2003.

2. Shannon, Claude Elwood. A mathematical theory of communication. The Bell System Technical Journal, 27.3: 379-423, 1948.

3. Camiciottoli, Belinda Crawford. "All those Elvismeets-golf-player looks”: A corpus-assisted analysis of creative compounds in fashion blogging. Discourse, Context \& Media, 12: 77-86, 2016.

4. Lehrer, Adrienne. Neologisms. In: K. Brown (Ed.) Encyclopedia of Language \& Linguistics. Second Edition, 590 593. Amsterdam:Elsevier, 2006.

5. 野田大志. 現代日本語における複合語の意味形成一構文理論によるアプローチ一. 名古屋大学大学院国際言語文化研究科博士論文, 2011.

6. Fauconnier, Gilles, Turner, Mark B. Blending as a Central Process of Grammar, In: A. Goldberg, (Ed.) Conceptual Structure, Discourse, and Language. Stanford: Center for the Study of Language and Information, pp. 113-130, 1996.

7. Grady, Joseph E., Oakley, Todd, Coulson, Seana. Blending and metaphor, In: G. Steen \& R. Gibbs (Eds.). Metaphor in Cognitive Linguistics, Philadelphia: John Benjamins, 1999.

8. 吉村公宏. 認知意味論の方法: 経験と動機の言語学. 人文書院, 1995.