# 論文
## 複数文質問を対象とした抽出型および生成型要約

\author{
石垣 達也
}

インターネット上のコミュニティ QA サイトや学会での質疑応答の場面などにおい て, 人々は多くの質問を投げかける。このような場面で用いられる質問には, 核とな る質問に加え補足的な情報をも付与され, 要旨の把握が難しくなることもある。補足的な情報は正確な回答を得るには必要であるが, 質問の要旨を素早く把握したい といった状況においては必ずしも必要でない。そこで本稿では, 新たなテキスト要約課題として, 複数文から構成される質問テキストを単一質問文に要約する“質問要約”を提案する。本研究ではまず，コミュニティ質問応答サイトに投稿される質問から質問テキストー要約対を獲得し, 必要な要約手法について抽出型および生成型の観点から分析を行う。また，獲得した質問テキストー要約対を学習データとし て抽出型および生成型の要約モデルを構築し, 性能を比較する. 分析より, 抽出型要約手法では要約できない質問テキストの存在を確認した。また要約モデルの比較実験から, 従来の要約課題で強いベースライン手法として知られるリード文よりも，先頭の疑問文を規則を用いて同定し抽出するリード疑問文べースラインがより良い 性能を示すこと, 生成型手法であるエンコーダ・デコーダモデルに基づく要約手法 が，ROUGEによる自動評価，人間による評価において良い性能を示すことなどの 知見を得た。また，入力中の出現単語を出力に含めるコピー機構を持つエンコーダ・ デコーダモデルは，さらに良い性能を示した。

キーワード : 文書要約, 抽出型要約, 生成型要約, ニューラルネットワーク

## Extractive and Abstractive Summarization for Multiple-sentence Questions

\author{
Tatsuya IShigAKI ${ }^{\dagger}$, Hiroya TAKAMuRA ${ }^{\dagger+, \dagger \dagger \dagger}$ and Manabu OKUMURA ${ }^{\dagger \dagger \dagger}$
}

Questions are asked in many situations such as sessions at conferences and inquiries through emails. In such situations, questions can be often lengthy and hard to understand, because they often contain peripheral information in addition to the main focus of the question. Thus, we propose the task of question summarization. In this research, we firstly analyzed question-summary pairs extracted from a Community Question Answering (CQA) site, and found that there exists the questions that

†東京工業大学大学院総合理工学研究科知能システム科学専攻, Department of Computational Intelligence and System Science, Interdisciplinary Graduate School of Science and Engineering, Tokyo Institute of Technology

†† 産業技術総合研究所人工知能研究センター, Artificial Intelligence Research Center (AIRC), National Institute of Advanced Industrial Science and Technology (AIST)

†† 東京工業大学科学技術創成研究院未来産業技術研究所, Laboratory for Future Interdisciplinary Research of Science and Technology (FIRST), Institute of Innovative Research (IIR), Tokyo Institute of Technology
cannot be summarized by extractive approaches, but abstractive approaches are required. We created a dataset by regarding the question-title pairs posted on a CQA site as question-summary pairs. By using the data, we trained extractive and abstractive summarization models, and compared them based on the ROUGE score and manual evaluation. Our experimental results show an abstractive method, the encoder-decoder with the copying mechanism, achieves better scores both on ROUGE2 F-measure and the evaluation by human judges.

Key Words: Summarization, Extractive Summarization, Abstractive Summarization, Neural Networks

## 1 はじめに

学会での質疑応答や電子メールによる問い合わせなどの場面において，質問は広く用いられ ている。このような質問には，核となる質問文以外にも補足的な情報も含まれる．補足的な情報は質問の詳細な理解を助けるためには有益であるが，要旨を素早く把握したい状況において は必ずしも必要でない，そこで，本研究では要旨の把握が難しい複数文質問を入力とし，その 内容を端的に表現する単一質問文を出力する“質問要約”課題を新たに提案する.

コミュニティ質問応答サイトである Yahoo! Answersら抜粋した質問の例を表 1 に示す. この質問のフォーカスは“頭髪の染料は塩素によって落ちるか否か”である。しかし, 質問者 が水泳をする頻度や現在の頭髪の色などが補足的な情報として付与される。このような補足的 な情報は正確な回答を得るためには必要であるが，質問内容をおおまかに素早く把握したいと いった状況においては, 必ずしも必要でない.このような質問を表 1 に例示するような単一質問文に要約することにより, 質問の受け手の理解を助けることが出来る，本研究では，質問要約課題の一事例としてコミュニティ QA サイトに投稿される質問を対象テキストとし，質問へ の回答候補者を要約の対象読者と想定する。

表 1 複数文質問とその要約

## 質問：

I'm a swimmer for my school swim team and I practice two hours a day, five days a week. I would like to dye my hair black (it is dark brown now) but I am wondering whether the chlorine will stripe it. Will it or will it not?要約:

1. Will the chlorine stripe my hair ?

2. Affect of the chlorine on my hair dyeing.
^{1}$ https://answers.yahoo.com/
}

テキスト要約課題自体は自然言語処理分野で長く研究されている課題の一つである. 既存研究は要約手法の観点からは，大きく抽出型手法と生成型手法に分けることができる。抽出型手法は入力文書に含まれる文や単語のうち, 要約に含める部分を同定することで要約を出力する.生成型手法は入力文書には含まれない表現も用いて要約を生成する。一方で，要約対象とする テキストも多様化している。 既存研究の対象とするテキストは, 従来の新聞記事や科学論文か ら，最近では電子メールスレッドや会話ログなどに広がり，それらの特徴を考慮した要約モデ ルが提案されている. (Duboue 2012; Oya and Carenini 2014; Oya, Mehdad, Carenini, and Ng 2014)

質問を対象とする要約研究としては Tamura, Takamura, and Okumura (2005)の質問応答シ ステムの性能向上を指向した研究が存在する。この研究では質問応答システムの構成要素であ る質問タイプ同定器へ入力する質問文を入力文書から抽出する。本研究では, 彼らの研究とは 異なり，ユーザに直接提示するために必要な情報を含んだ要約の出力を目指す。ユーザに直接提示するための質問要約課題については, 既存研究では取り組まれておらず, 既存要約モデルを 質問テキストに適用した場合の性能や，質問が抽出型手法で要約可能であるか，生成型の手法 が必要であるか明らかでない，そこで，本研究ではコミュニテイ質問応答サイトに投稿される 質問テキストとそのタイトルの対（以後，質問テキストータイトル対と呼ぶ）を，規則を用いて フィルタリングし, 質問テキストとその要約の対（以後, 質問テキスト-要約対と呼ぶ）を獲得 する. 獲得した質問テキストー要約対を分析し, 抽出型および生成型の観点から質問がどのよ うな手法を用いて要約可能であるか明らかにする。 また, 質問要約課題のために，ルールに基 づく手法, 抽出型要約手法, 生成型要約手法をいくつか構築し性能を比較する. ROUGE (Lin 2004）を用いた自動評価実験および人手評価において，生成型手法であるコピー機構付きエン コーダ・デコーダモデルがより良い性能を示した。

## 2 質問要約課題

本稿で提案する “質問要約”についてその特徴や既存要約課題との相違について議論する。本研究で扱う質問要約はテキスト要約課題の一つである. 既存のテキスト要約研究では, Document Understanding Conference (DUC)2 などの新聞記事や科学論文をもとにした共通のデータセット がしばしば性能評価実験に用られてきた。本研究で扱う質問要約は質問テキストを要約対象と し，出力を単一質問文に限定する.

はじめに入力の質問テキストの特徴について述べる。質問要約は従来の新聞記事や科学論文 を基に作られたテキストを想定する要約課題とは以下の点において異なる特徴を持つ.

(1) 質問文と叙述文が混在する（個別の文の性質の違い）

(2) 質問文を叙述文が補足する文間関係を持つ（談話構造の違い）

前者については, 新聞記事や科学論文には質問文がほとんど含まれないのに対し, 質問テキスト では多くの場合 1 文以上の質問文を含む。そのため，文書中に含まれる文そのものの性質が従来の要約対象とは性質を持つ。後者は文間の関係に着目した相違点である。新聞記事ではリー ド文を他の文から補足する談話構造がしばしばみられるのに対し，質問テキストでは核となる 質問文が存在し，質問文以外の文が核となる質問文を補足する。よって，文そのものの性質の 違いに加え，質問テキストは文間の意味的な関係（談話構造）も異なる。このように，個別の 文の性質や談話構造に関し従来の要約課題とは異なる特徵を持つことから, 例えば従来の要約課題において強いベースライン手法として知られるリード法やその他の既存手法が，質問テキ ストに対しどの程度の性能を示すかはそもそも明らかではない.

次に出力の単一質問文が満たすべき性質について議論する。本研究では質問テキストの一事例としてインターネット上でのコミュニティ質問応答サイトに投稿される複数文質問の要約を 想定する。生成した要約を回答者候補に提示することで，回答者候補は質問内容が回答可能で あるか素早く判断できるようになる。このような目的を鑑み, 本研究では入力として複数文質問，出力は質問内容を端的に表現した単一質問文を考える。例えば，表 1 に示す複数文質問に 対する正解要約としては, “Will the chlorine stripe my hair？（塩素によって髪の染料が落ちま すか？）"といった疑問文だけでなく, "Affect of the chlorine on my hair dyeing. （プール中の 塩素の染髪への影響）”といった表現も正しい要約と考える．前者は「末尾が?であるか」「先頭 の語が助動詞であるか」などの単純な規則を用いて同定できる。後者は質問内容を推測できる が，パターンが無数にあり単純な規則ではこれらを同定できない. 本研究ではどちらの表現も 要約とみなす。後者まで含んだ広い表現を質問文と呼び，単純な規則で同定可能な前者を疑問文と呼び区別する。

## 3 関連研究

テキスト要約の既存研究は多く存在する．DUC に代表される多くのタスクなど，既存研究 の多くは新聞記事や科学論文を対象としている。近年では, 会話テキストや電子メールスレッ ドを対象とした新たな要約課題も提案されている (Duboue 2012; Oya and Carenini 2014; Oya et al. 2014).

本研究に関連する取り組みとして, 質問応答システムのための質問要約研究が存在する. Tamura et al. (2005) は, 複数文で構成される質問を入力として受け付ける, 質問応答システムの構築 を目指した. この研究では, 複数文質問からもっとも核となる 1 文を抽出する要約器を質問応答システムの前処理として組み込むことで，複数文質問を受け付けるシステムを実現している。
彼らは複数文質問を単一質問文に要約することで，質問応答システムの質問タイプ同定器の性能が向上することを報告している。一方，抽出した核となる質問文は常にユーザの理解できる 情報を含むとは限らない，例えば，表 1 における核文は “Will it or will it not?”であるが，こ の文には chroline や hair などといった質問内容を把握するために必要となる単語が含まれず,要約として提示するには情報が不足する。本研究は，ユーザに提示するための要約を出力を指向するため目的が異なる.

抽出型要約モデルの既存研究としては, 単語出現頻度を用いて文にスコアを与える手法 (Luhn 1958)や, 文同士の類似度を用いて重要文を同定するヒューリスティックを用いる手法 (Mihalcea and Tarau 2004) などが提案されている. さらに，文に対し抽出した場合の ROUGE 値を回帰モ デルを用いて予測するモデル (Peyrard and Eckale-Kohler 2016; Li, Qian, and Liu 2013) や, 要約に含めるべき文を二值分類する分類問題として定式化する教師あり学習を用いる手法 (Hirao, Isozaki, Maeda, and Matsumoto 2002; Shen, Sun, Li, Yang, and Chen 2007) も存在する.

生成型要約としては， 入力の談話構造木を枝刈りする手法 (Dorr, Zajic, and Schwartz 2003; Zajic, Dorr, and Schwartz 2004) や，機械翻訳モデルを用いる手法 (Bank, Mittal, and Witbrock 2010; Woodsend, Feng, and Lapata 2010; Cohn and Lapata 2013)，テンプレートを用いる手法 (Oya et al. 2014) などが存在する。近年では, 機械翻訳課題向けに提案されたエンコーダ・デ コーダモデル (Luong, Pham, and Manning 2015; Bahdanau, Cho, and Bengio 2014)を要約課題に適用する手法 (Rush, Chopra, and Weston 2015; Kikuchi, Neubig, Sasano, Takamura, and Okumura 2016; Gu, Lu, Li, and Li 2016) が積極的に研究されている.

## 4 質問応答サイトからの質問テキストー要約対獲得と分析

本研究ではまず, Yahoo! Answers Comprehensive Question and Answers version 1.03 を対象 に事例分析を行う. Yahoo! Answersにおいて, ユーザは自由に質問テキストとそのタイトルを 記述し投稿する。このデータセットには $4,484,032$ の質問投稿が含まれる. 質問投稿の中には質問テキストータイトル対を質問テキストー要約対とみなせる事例もあれば，みなせない事例も 存在する。そのため，データセット内の質問テキストータイトル対を，規則を用いてフィルタ リングし, 質問テキストー要約対を獲得する必要がある。その上で, 獲得した質問テキストー 要約対を必要な要約手法の検討のための分析および要約モデルの比較実験における学習データ に用いる。よって, 本研究では以下の二段階でデータセットの分析を行う.

（1） 質問テキスト－要約対とみなすことのできる質問テキストータイトル対の特徴はなにか を明らかにし，質問テキストー要約対を獲得する。

（2）質問テキストー要約対を分析し, 抽出型の手法で要約可能か, 生成型の手法が必要であ るか明らかにする。

## 4.1 分析 1: 質問の長さ

質問テキスト - 要約対とみなすことのできない事例をフィルタリングする規則を設計するた めに，まず質問に含まれる文数に着目した分析を行った。質問テキストが 1 文から 5 文で構成さ れる事例をデータセットからランダムに 20 事例ずつ抽出し, それらの質問テキストータイトル 対を質問テキストー要約対とみなすことができるか否かを人手で判定した. 表 2 に結果を示す.

質問テキストの長さが 1 文もしくは 2 文の場合には, 質問テキスト－要約対とみなすことの できない事例が増える。このような事例においては, タイトルに核となる質問文が記述され,質問テキスト中では補足的な内容だけが記述され，質問文を含まない例が見られる。質問テキ ストでは質問文が記述されないため，質問テキストータイトル対を質問テキストー要約対とみ なすことができない. 一方, 3 文以上から構成される質問テキストにおいては質問テキストー 要約対とみなすことのできる事例が一定になる.

## 4.2 分析 2: 質問テキストとタイトルでの名詞の重複

次に質問テキストとタイトルでの名詞の重複に着目した分析を行った。 以下に質問テキストー 要約対とはみなすことのできない事例を示す.

タイトル：

Why is there often a mirror in an elevator?

質問テキスト：

I just realized this when I was in an elevator. Does anybody know the reason? What is the history behind it?

この事例では，質問テキスト中の“it”は“エレベータ内に鏡が存在する”という事実を指し 示す. “it”が何を指し示すかを理解するには “elevator” “mirror”といった重要な単語が質問 テキスト中に含まれている必要がある。しかし, “mirror”という単語はタイトルには出現する

表 2 質問テキスト中の文数と質問テキスト－要約対とみなせる事例の割合

が質問テキストには出現しない. そのため, 質問テキストを要約器の入力として, タイトルの “Why is there often a mirror...” という要約を生成することはできない. データセット中では, この例のように質問テキストからタイトル中の単語を照応したり, タイトル中の単語が質問テ キストを理解するために不可欠である事例を多く観測した。このような事例をフィルタリング するために, 我々はタイトルと質問テキストでの単語の重複がフィルタリングのための重要な 手がかりとなると考えた。

## 4.3 分析 3: 抽出型 vs. 生成型

次に必要な要約手法に着目した分析を行った。，具体的には質問テキストー要約対とみなすこ とのできる事例について, 抽出型手法を用いて要約可能であるか, 生成型手法が必要であるか 人手で分類した．質問テキストの文数が $3-5$ 文である 20 事例を無作為に抽出し，質問テキス トー要約対とみなせるか否かについて分析を行った.

分析の結果を表 3 に示す.また，代表的な質問テキストータイトル対の例を表 4 に示す. 20 事例中 5 事例は質問テキストー要約対とはみなせない事例であった. 20 事例中 8 事例は抽出型手法でタイトルと同等の要約を生成できることがわかった. 表 4 の例 2-1 および例 2-2 に抽出型手法により要約可能な事例を例示する. 例 2-1において, 2 文目の疑問文を抽出することで夕 イトルと同等の要約を出力できる。例 2-2 は先頭文を抽出することでタイトルと同等の要約を 生成できる。しかし, 実際のタイトルでは “Can someone tell me”といった表現が除去された り, 本文中での “cellular phone promotion” という具体的な表現が “cellular phone plan”という より抽象的な表現に言い換えられている。このように, 抽出型手法が適用できる質問テキスト であっても実際のタイトルは生成的に作られている場合がある.

残りの 7 事例については, 抽出型手法では適切な要約を出力できず, 生成型手法を必要とす る. 生成型手法が必要な理由としては, 例 3 のように照応解析が必要であったり, 例 4 のよう に複数文にまたがる情報を適切に埋め込む必要のある事例が存在する。このような事例に対し ては, 抽出的な手法をたた適用するだけでは, 要旨の把握に必要な情報を適切に要約に含める ことが出来ない.

表 3 手法検討のための事例分析

表 4 Yahoo! Answers Comprehensive Question and Answers version 1.0 に含まれる代表的な質問テキ ストータイトル対

例 1 （タイトルが質問テキストの内容を含まない）：

I accidentally spilled buttered popcorn on my leather hospital shoe.

It has dark spots on it now and I don't know how i can get them off.

..

タイトル：Please help!

例 2-1 (抽出型手法によって要約可能で, タイトルも抽出的に作成）:

I have not been smoking for six months now, with a small

interruption of one week where I smoked like three cigarettes a day, but I did not feel anything anymore then! What is the best way to start smoking again? I am living in an appartment complex that prohibits smoking even inside.

タイトル: What is the best way to start smoking again?

例 2-2 (抽出型手法によって要約可能で, タイトルは生成的に作成）:

Can someone tell me the best cellular phone promotion in the bay area? A promotion that you run into recently (e.g., local stores)? Or, a web-site promotion that you find (e.g., amazon)?

I had a family plan with Cingular and would like to get a good deal when I renew or switch to a new provider.

タイトル : Best cellular phone plan in the bay area?

例 3 (生成型手法が必要 1）:

"The Simpsons" is one of the funniest shows ever . It's one of my favorites . Do you like it?

タイトル：Do you like “The Simpsons”?

例 4 (生成型手法が必要 2):

I want my chocolate chip cookies to be thicker and kind of gooey-crispy outside, chewy inside.

I've experimented with various recipes and various oven temperature, but my cookies always turn out thin and flat. Why? What am I doing wrong?

タイトル: Why do my chocolate chip cookies always turn out thin and flat?

## 5 データと比較手法

本節では以上の分析をもとに，データセットに含まれる質問テキストータイトル対をフィル タリングし, 抽出型および生成型の要約モデルを実際に構築し質問要約課題に適用した場合の 性能を比較する。

## 5.1 データセット

## 5.1.1規則によるフィルタリング

分析に基づき設計した以下の条件を満たす事例をフィルタリングし, 質問テキスト－要約対 とみなすことのできない事例を除外する．表５に示すように，Yahoo! Answers データセットに はタイトルのみが記述され質問テキストが記述されない事例が多く存在する。データセット全
表 5 Yahoo! Answers dataset 全体に含まれる質問テキストの長さ

0 文はタイトルのみが記述され，質問テキストが存在しない投稿を示す.

体の $4,483,031$ 投稿のうち, 質問テキストおよびタイトルの双方が記述された $2,191,477$ 投稿に ついて以下の規則を逐次適用し，フィルタリングを行い，質問テキスト－要約対を獲得する. タイトルが複数文で構成される タイトルが 2 文以上で構成される事例短い質問テキスト 質問が 2 文以下である事例単語の重複 タイトル中の名詞が本文中に出現しない事例短いタイトル, 長いタイトル タイトルが 3 単語以下, 16 単語以上の事例

これらの規則を設定した根拠について補足する. 複数文から構成されるタイトルを含む投稿 をフィルタリングするのは, 本課題が単一質問文への要約課題であることがその理由である.短い質問テキストによるフィルタリングは, 質問テキスト－要約対となりやすいのは 3 文以上 の質問テキストであることであるという 4 節での分析に基づく. 単語の重複についてのフィル タリングも同様に，4節での分析に基づいている. これらの分析に基づくフィルタリングに加 え,「短いタイトル」および「長いタイトル」によるフィルタリングも用いる。もっとも単純な 疑問文の構文である “What is xx ?” や “Is this xx ?" は最低でも 4 単語必要とする. そのため, 3 単語以下の夕イトルには必要な情報が含まれていないと考えた。夕イトルが 3 語以下で構成 される質問テキストータイトル対をランダムに 20 事例抽出し調査すると, 抽出したすべての夕 イトルで “difficult question?”, “Question on Pokemon”といったように, 回答者が回答可能で あるか判断するための情報が欠如していた。 よって，短いタイトルを含む事例はフイルタリン グすることにした. Yahoo! Answers において記述される 15 単語以下で記述されるタイトルは 全体の $81 \%$ 占める。残りの $19 \%$ の部分に関してはタイトルが長く圧縮率が低いと考えフィル タリングすることにした.

なお，タイトルが疑問文であるかといった手がかり語などの規則を用いたフィルタリングは 行わない. タイトルの表現には “How the Bordaux Classification was born ?” などのように疑問詞や末尾の?などで容易に疑問文であると同定できる事例もあれば, “The best way to kill ants." や “Hotel Recommendations in San Diego” のように? や疑問詞を含まないものが存在し, 本研究ではこのような事例も要約とみなす。このような表現には多くのパターンが存在するため,質問文であるか否か判定する網羅的な規則を記述するのが難しい，そこで，本研究では質問文 を同定する網羅的な規則を設計するのではなく，夕イトルの長さや質問テキストとタイトルの 重複などの手がかりを用いてフィルタリングを行う方針を採用した.

すべての規則を適用後，251,420対を獲得した。 タイトルを要約とみなした場合の圧縮率は 0.18 である. これらの事例を抽出型および生成型手法の学習および評価に用いる.

## 5.1.2 データセットの妥当性検証

フィルタリング後のデータセットを先頭から 50 事例抽出し, 分析すると 50 事例中 41 事例 $(88 \%)$ が本研究で想定する質問テキスト - 要約対とみなせる事例であった. 質問テキストー要約対とみなすことのできない $12 \%$ 程度（9 事例）は以下に示す要因によりノイズとしてデータ セットに含まれている.

・ 質問タイトルから本文の語を照応する，またはその逆である（3事例）

・タイトルもしくは本文のいずれかが質問ではない（3事例 $)$
- その他 $(3$ 事例 $)$

その他の要因には, タイトルと本文がフォーカスの異なる質問 ( 2 事例), 抽象的で質問内容 が類推できないタイトル（1 事例）が存在する.

次に，人間が質問テキストを提示され作成する要約と，本研究で要約とみなすコミュニティ QA サイトに付与されたタイトルがどの程度近いものになっているか分析を行う．フィルタリ ング後のデータから 10 事例を抽出し, 質問テキストを 10 人の作業者に提示し要約作成を依頼 した。具体的には，クラウドソーシングサービスである Amazon Mechanical Turk4で，米国の 高校および大学を卒業した作業者に依頼した。なお, 作業者には要約とみなすタイトルの例を いくつか提示した上で, 15 単語以内で要約を記述するよう指示した.

表 6 にクラウドソーシングによって作成した要約の実例と, 本研究で要約とみなすタイトル を示す. 例 1 は抽出型手法により要約可能な事例, 例 2 は生成型手法が必要な事例である. 例 1 , 例 2 ともにタイトルと作業者によって記述された要約のフォーカスは同等である. 具体的に は例 1 では，“薬物を用いずにアリを退治する方法”, 例 2 では “中国で体調不良を避けるアドバ イス”であるが，タイトルおよび人間による要約は同等のフォーカスを持つ質問文である．例 1 は 1 文目を抽出することで 16 単語以内の要約が作成可能な事例であるが, すべての作業者が言 い換えを用いてより短い要約を作成した。正解タイトルも作業者の要約と同様に，質問テキス ト中の “What are some good ways"を “Good ways” と単語除去により短い記述になっている.例 2 は体調不良の原因を食べ物だけにフォーカスする（質問テキストの前半部分の食べ物に関 する記述を重視）か，旅行中を通して体調不良を起こさない方法にフォーカスする（後半の疑問文が食べ物以外の体調不良の要因も考慮すると考える）かによって，作成される要約が異な る. 作業者 1 , 作業者 3 , 作業者 5 による要約およびタイトルはフォーカスを食べ物には限定し ない要約となっている。
^{4}$ https://www.mturk.com/
}
表 6 クラウドソーシングにより作成した人間による要約とタイトルの比較

## 例 1 （抽出型手法で要約可能な事例）

質問テキスト：

What are some good ways to prevent/fight an ant invasion that don't involve poison?

I am using baits but they seem inadequate. Borax is totally ineffective.

タイトル:

Good ways to fight an ant invasion without poison.

クラウドソーシングによって作成した要約：

1. How do I get rid of ants without using poison?

2. Non-chemical ways to fight ants.

3. how to get rid of ants without using poison?

4. Any way to prevent ants that don't involve poison?

5. How can I combat an ant infestation without Borax or baits?

## 例 2 (生成的手法が必要な事例)

質問テキスト：

I'm planning a trip to China. I'm an adventurous eater and I'd like to think my stomach can handle anything that I encounter that appeals to me. But I know that's risky! Is there anything in particular precautions I should take or things I should avoid to stay healthy on the trip?

タイトル:

How can I avoid getting sick in China?

クラウドソーシングによって作成した要約：

作業者 1. Staying health during adventure in China.

作業者 2. when traveling to china what precautions should be taken before going and eating there?

作業者 3. Any precautions when traveling in China?

作業者 4. What are some food tips for staying healthy on my trip to China?

作業者 5. What are the risks of illness while traveling to China?

これらの例のように，人間が質問テキストから作成する要約およびタイトルはどちらも本文中の表現を言い換えることが多い。そのため, 作業者間および作業者とタイトルを比較すると，完全に要約が一致するわけではない. しかし，そのような場合であっても多くの場合要約の質問文のフォーカスは同等となっている.

## 5.2 抽出型手法

抽出的な手法として，規則に基づく手法，機械学習に基づく手法を比較する。

## 5.2.1 規則に基づく手法

規則に基づく手法として, “リード文”, “リード疑問文”, “末尾疑問文”の 3 手法を比較する. リード文を抽出する手法は従来の抽出型要約研究においては強いべースラインとして知られて いる。リード文を抽出する手法は表 4 の例 4 において, “I want my chocolote...” から始まる文

を抽出する。質問要約課題においては出力も質問文になると考えられるため，規則を用いて同定した疑問文のうちもっとも先頭を抽出するリード疑問文，もっとも末尾に出現する疑問文を 抽出する末尾疑問文とも比較を行う。リード疑問文は表 4 の例 4 において, “Why?”, 末尾疑問文は “What am I dong wrong?” となる。なお，疑問文の判定には以下の規則を用いる.

・末尾の連続する記号に?を含む.
- 先頭単語が疑問詞, be 動詞, 助動詞のいずれかである.

なお, 規則を用いる手法であるリード疑問文, 末尾疑問文は疑問文が入力中に出現しない場合,先頭文を出力する。フィルタリング後のデータセットにおいて, 疑問文が存在しない文書の割

問文が 1 文以下である文書の割合は $63 \%$ でり，このような場合にはリード疑問文と末尾疑問文の出力が等しくなる.

## 5.2.2 機械学習に基づく手法

機械学習に基づく手法としては, 分類モデルに基づく手法, 回帰モデルに基づく手法の 2 つ を比較する．機械学習に基づく手法についても，質問文を優先的に出力するように設計する.回帰モデルに基づく手法では，まず入力の各文に対し ROUGE-2 F 値の予測値を出力する

Support Vector Regression (SVR) (Basak, Pal, and Patranabis 2007)を学習する。学習済みの 回帰モデルを用いて, 入力の各文に対しROUGE-2 F 值を予測し, 予測値のもっとも高い質問文を出力する.

分類に基づくモデルは，まず抽出した場合に ROUGE-2 F 值が最大になる疑問文を正例（要約 に含めるべき文)，それ以外の文を負例（要約に含めるべきではない文）として Support Vector Machine (SVM) (Suykens and Vandewalle 1999) を学習する。学習したSVM を用い，入力の各文を分類し正例と判定された文のうち先頭を出力する．SVMの出力は二値のラベルであり，回帰モデルのようにスコア最大となる疑問文に限定する後処理と組み合わせることができない. そこで, 本研究では正例を疑問文に限定し, 質問文を優先的に出力するような分類器が学習さ れるよう工夫する。なお, 分類モデルはすべての文が負例と判定された場合には, 先頭文を出力する.

SVR，SVM の学習には以下の素性を用いた.
- 単語 uni-gram
- 文長
- 分類対象文が 1 文目であるか
- 分類対象文が先頭の疑問文であるか
- 分類対象文の他に疑問文が存在するか

すべての素性は二値素性として表現した。また, 単語 uni-gram 素性については訓練データ中

に 5 回以上出現する単語を用いた。文長素性については, 文長が 2 単語以下， 5 単語以下， 11 単語以上, 15 単語以上の 4 つの素性に分けて二値で表現した.

## 5.3 生成型手法

本研究では生成的な手法としてエンコーダ・デコーダモデル, 注意機構付きエンコーダ・デ コーダモデル，コピー機構付きエンコーダ・デコーダを学習し，比較を行う。

入力質問テキストは機械翻訳などの問題設定に比べ入力系列が長い. そのため, エンコーダ・ デコーダモデルに加え，注意機構付きエンコーダ・デコーダモデルを用い, 入力系列のうちデ コード時に手がかりになる箇所に重みを付けながら要約を生成する。エンコーダ・デコーダモ デルの学習においては低頻度語をUNK という特別なトークンに置き換え, 効率的に学習を行 うという工夫がよく用いられる。そのため, 出力にUNK というトークンが含まれる状況がし ばしば発生し，このような系列は要約としてそのまま提示することができない．質問要約にお いては，入力質問テキストに出現する単語が出力にも含まれることが多い. そこで, 出力に入力質問テキストの単語を用いるコピー機構付きエンコーダ・デコーダモデルとの比較も行う.

エンコーダ・デコーダおよび注意機構付きエンコーダ・デコーダモデルには, Luong et al. (2015)の手法を用いる. コピー機構付きエンコーダ・デコーダには Gu et al. (2016)の手法を用 いる。以下にこれらのモデルを簡単に説明する。

## エンコーダ・デコーダモデル

エンコーダ・デコーダモデルは，エンコーダおよびデコーダという 2 つ要素から構成され る. エンコーダは, 入力質問テキスト $\boldsymbol{x}=\left(x_{1}, \ldots, x_{n}\right)$ から 1 単語ずつ受け取り, 連続值ベクト ルによる内部状態 $\boldsymbol{h}_{\tau}$ に， Recurrent Neural Network (RNN) を用いて逐次変換する：

$
\boldsymbol{h}_{\tau}=f\left(x_{\tau}, \boldsymbol{h}_{\tau-1}\right)
$

fには Long Short-Term Memory (LSTM) (Hochreiter and Schmidhuber 1997) や Gated Recurrent Unit (GRU) (Cho, van Merrienboer, Gulcehre, Bahdanau, Bougares, Schwenk, and Bengio 2014) などの関数を用いることができる，本研究では，元論文の設定に従い，エンコーダ・デコーダ モデルおよび注意機構付きエンコーダ・デコーダモデルでは LSTM を用い，コピー機構付きエ ンコーダ・デコーダモデルでは GRU を用いる.

デコーダは 1 つ前のタイムステップで生成された単語および内部状態を受け取り, 現在の夕 イムステップでの内部状態 $s_{t}$ を計算する。計算した内部状態を用いて softmax 関数により単語 $y_{t}$ の生起確率を計算できる。なお, デコーダの初期状態には入力質問テキスト中の単語をすべ てエンコードし終えたときの最終状態 $\boldsymbol{h}_{n}$ を用いることにする：

$
\begin{gathered}
\boldsymbol{s}_{t}=f\left(y_{t-1}, s_{t-1}\right) \\
p\left(y_{t} \mid y_{<t}, \boldsymbol{x}\right)=\operatorname{softmax}\left(g\left(s_{t}\right)\right)
\end{gathered}
$

$\boldsymbol{x}$ が与えられた上での, 出力要約 $\boldsymbol{y}$ が生起する条件付き確率は, 以下のように出力単語の生起確率の積に分解される：

$
p(\boldsymbol{y} \mid \boldsymbol{x})=\prod_{t=1}^{m} p\left(y_{t} \mid y_{<t}, \boldsymbol{x}\right)
$

ただし，この確率の最大値を求めることは困難であるので，貪欲法により前から確率最大の単語を出力することで，要約を生成する.

学習時には訓練データにおける対数尤度を最大化するよう重みを更新する：

$
\log p(\boldsymbol{y} \mid \boldsymbol{x})=\sum_{t=1}^{m} \log p\left(y_{t} \mid y_{<t}, \boldsymbol{x}\right)
$

## 注意機構付きエンコーダ・デコーダ

エンコーダ・デコーダでは，入力の文書を逐次エンコードし，最終状態 $\boldsymbol{h}_{n}$ を文脈ベクトル $\boldsymbol{c}$ としてデコーダに渡す。そこで，注意機構付きエンコーダ・デコーダモデルでは，デコード時 にエンコーダ側のどの単語に注意するかを考慮した重み付き文脈べクトル $c_{t}$ を考える：

$
\boldsymbol{c}_{\boldsymbol{t}}=\sum_{\tau=1}^{n} \alpha_{t \tau} \boldsymbol{h}_{\tau}
$

$\alpha_{t \tau}$ は入力質問テキストの $t$ 番目の単語に与えられる重みで，以下のように softmax 関数を用い て計算される：

$
\alpha_{t \tau}=\frac{\exp \left(\boldsymbol{s}_{t} \cdot \boldsymbol{h}_{\tau}\right)}{\sum_{h^{\prime}} \exp \left(\boldsymbol{s}_{\boldsymbol{t}} \cdot \boldsymbol{h}^{\prime}\right)}
$

入力側の重み付き文脈ベクトル $\boldsymbol{c}_{\boldsymbol{t}}$ と $\boldsymbol{h}_{t}$ を用いて, 入力単語への注意を考慮した内部状態 $\tilde{\boldsymbol{h}}$ を 以下のように計算し, softmax 関数で確率値を出力する：

$
\begin{gathered}
\tilde{\boldsymbol{h}}=\tanh \left(\boldsymbol{W}_{\boldsymbol{c}}\left[\boldsymbol{c}_{\boldsymbol{t}} ; \boldsymbol{h}_{\boldsymbol{t}}\right]\right), \\
p\left(y_{t} \mid y_{<t}, \boldsymbol{x}\right)=\operatorname{softmax}\left(\boldsymbol{W}_{\boldsymbol{s}} \tilde{\boldsymbol{h}}_{\boldsymbol{t}}\right) .
\end{gathered}
$

## コピー機構付きエンコーダ・デコーダ

要約課題においては, 入力に含まれる単語が出力にも出現することが多い. そこで, 入力中の 単語を出力により含めやすくするコピー機構を備えたデコーダを用い要約生成を試みる．Gu ら (2016) の提案したコピー機構付きのデコーダでは, 単語 $y_{t}$ の生起確率を以下のように score $g_{g e n}$ と score $_{\text {copy }}$ の和として計算する：

$
p\left(y_{t} \mid y_{<t}, \boldsymbol{x}\right)=\text { score }_{\text {gen }}\left(y_{t} \mid \boldsymbol{s}_{t}, y_{t-1}, \boldsymbol{c}_{t}, \boldsymbol{x}\right)+\operatorname{score}_{\text {copy }}\left(y_{t} \mid \boldsymbol{s}_{t}, y_{t-1}, \boldsymbol{c}_{t}, \boldsymbol{x}\right)
$

score $_{\text {copy }}$ は入力中の単語を出力に“コピー”するか否かをスコアリングする. 具体的には, $y_{t}$ が 入力文書中に含まれる $\left(y_{t} \in \boldsymbol{x}\right)$ ならば， score $e_{\text {copy }}$ は単語 $y_{t}$ を要約に含める確信度をスコアリン グ関数 $\phi_{c}$ を用いて出力し, それ以外 $\left(y_{t} \notin \boldsymbol{x}\right)$ の場合には 0 を出力する：

$
\operatorname{score}_{\text {copy }}\left(y_{t} \mid .\right)= \begin{cases}\frac{1}{Z} \sum_{j: x_{j}=y_{t}} \exp \left(\phi_{c}\left(x_{j}\right)\right) & \left(y_{t} \in \boldsymbol{x}\right) \\ 0 & \left(y_{t} \notin \boldsymbol{x}\right)\end{cases}
$

score $_{\text {gen }}$ は単語 $y_{t}$ が語彙 $V$ に含まれる場合に, その単語を要約に含めるか否かの確信度をスコ アアリング関数 $\phi_{g}$ を用いて出力する。単語 $y_{t}$ が語彙 $V$ に含まれない場合には, 特別なトーク

UNK を出力する確信度を出力する。 ただし, 単語 $y_{t}$ が入力文書 $\boldsymbol{x}$ に含まれる場合には 0 を 出力する：

$
\text { score }_{g e n}\left(y_{t} \mid .\right)= \begin{cases}\frac{1}{Z} \exp \left(\phi_{g}\left(y_{t}\right)\right) & \left(y_{t} \in \boldsymbol{V}\right) \\ \frac{1}{Z} \exp \left(\phi_{g}(U N K)\right) & \left(y_{t} \notin \boldsymbol{x} \wedge y_{t} \notin \boldsymbol{V}\right) \\ 0 & \left(y_{t} \in \boldsymbol{x} \wedge y_{t} \notin \boldsymbol{V}\right)\end{cases}
$

score $_{\text {copy }}$ は $y_{t} \in \boldsymbol{x}$ のときにスコアを出力し $y_{t} \notin \boldsymbol{x}$ のときに 0 になる. この機構により， 入力文書中に含まれる単語により高いスコアを付与し, 要約に含めやすくするようモデル化してい る. コピー機構付きのエンコーダ・デコーダでは score $_{g e n}$ と score copy の和は $Z=\sum_{v \in V \cup\{U N K\}}$ $\exp \left(\phi_{g}(v)\right)+\sum_{x \in \boldsymbol{x}} \exp \left(\phi_{c}(x)\right)$ により総和が 1 になるように正規化されるため, 確率として扱う ことができる. スコアリング関数 $\phi_{c}$ および $\phi_{g}$ の構築についての詳細は元論文 (Gu et al. 2016) を参照されたい。

## 6 実験

ROUGE-2 (Lin 2004)を用いた自動評価に加え，人間の評価者による 5 段階評価を用いて，各 システムの性能を評価する.

## 6.1 実験設定

Yahoo! Answers Comprehensive Question and Answers version 1.0 をフィルタリングし獲得

パラメータ調整用の開発データ，評価データにそれぞれ分割した。

分類モデルおよび回帰モデルで用いる SVM, SVR の実装には Liblinear (Fan, Chang, Hsieh, Wang, and Lin 2008)を用いた. カーネルには線形カーネルを用い, モデルパラメータ $C$ は開発データでの ROUGE- 2 F 值が最大となる値に設定した. なお, 分類モデルの訓練データにつ いては, 訓練デー夕全体を使うと正例および負例の割合が不均衡になり学習が難しい。そこで,訓練データ全体から正例および負例をランダムに 10,000 事例ずつサンプリングし正例，負例の 割合が $1: 1$ になるよう調整し分類器を学習した.

エンコーダ・デコーダの学習においては, 単語埋め込みベクトルおよび隠れ層の次元を 256 , バッチサイズは 64 に設定した。単語埋め込みベクトルは事前学習せず，他のモデルパラメータ と同様に学習した。学習データに 1 回しか出現しない単語は UNK という特別なトークンで置換し，モデルパラメータ数を削減した。また, 文末は EOS という特別なトークンで表現してい る.テスト時には開発データでの損失関数の值が最小となるモデルを用い, 評価データでの性能評価を行った. エンコーダ・デコーダが 20 単語以内に EOSトークンを出力しない場合はデ コードを中止し入力中の先頭の疑問文を出力する，入力中に疑問文が存在しない場合は, 先頭文を出力する．EOS トークンが 20 語以内に出力されない現象はコピー機構付きエンコーダデ

## 6.2 ROUGEによる自動評価

本研究の課題設定においては, 出力文数は 1 文という制約を課しているが文字数の制約はな い.しかし，より短い文に適切な情報を埋め込んだ要約はより良い要約であると考えられる。 そこで, 本研究では ROUGE-2 の適合率による評価に加え ROUGE-2 F 值による評価を行う.

表 7 に各比較手法の ROUGE 値を示す. 具体的には規則に基づく手法としてリード文, リー ド疑問文，末尾疑問文，機械学習に基づく手法として分類モデル，回帰モデル，エンコーダ・デ コーダに基づく手法として注意機構付きエンコーダ・デコーダ，コピー機構付きエンコーダ・ デコーダをそれぞれ示す. 回帰モデルについては, 文集合全体からスコアが最大になる文を選 ぶモデルと，疑問文集合からスコア最大になる文を選ぶモデルの性能を示す.

規則に基づく手法において, リード疑問文を抽出する手法の ROUGE 値の適合率は 45.3 であ り，末尾疑問文を抽出する手法の 42.6 やリード文を抽出する手法の 39.4 よりも良い性能を示し た。 $\mathrm{F}$ 值でも同様の順で良い性能を示した。先頭文を出力する規則は既存の要約課題において は強いべースラインとして知られる。しかし, 質問要約課題においては先頭文を選択する手法 より，リード疑問文や末尾疑問文など疑問文を優先的に出力するモデルのほうが良い性能を示
表 7 ROUGE-2 による性能評価

す.また,リード疑問文の方が末尾疑問文よりも適合率において良い性能を示した.

分類モデルとリード疑問文を比較すると，ROUGE 値の適合率がそれぞれ 44.3 と 44.7 であ り，ほぼ同等の性能を示した。ほとんどの入力にはたかだか $1-2$ 文の規則で同定可能な疑問文 しか含まれず，分類器を用いてもリード疑問文よりも大きく性能を向上させることが難しいも のと考えられる。回帰モデルおよび分類モデルの性能は，適合率による評価においてリード疑問文ベースラインよりもわずかに低くなった。このことから，リード疑問文べースラインは質問要約課題において強いベースラインであることが分かる. また, 機械学習に基づく手法につ いても規則に基づく手法と同様に，質問文を優先的に選択するモデルが良い性能を示した.

注意機構を持たないエンコーダ・デコーダモデルについては適合率で 3.5 と極端に低い性能 を示した. Luong et al. (2015) が述べるように，注意機構を持たないエンコーダ・デコーダモデ ルは入力系列が長くなると性能が劣化する. 本研究の入力は通常の機械翻訳の設定よりも長く,注意機構なしのエンコーダ・デコーダモデルでは正しくパラメータが学習されず，正しい要約 を出力できなかった. 注意機構付きエンコーダ・デコーダでは, この問題が解決され適合率お よび $\mathrm{F}$ 值が 38.5 と規則に基づく手法や機械学習に基づく手法よりも良い性能を示した. コピー 機構付きエンコーダ・デコーダでは，適合率が $47.4, \mathrm{~F}$ 值が 42.2 とさらに性能が向上した. 抽出的な手法はエンコーダ・デコーダを用いた生成的な手法よりも長い単語列を出力する傾向に ある。そのため，適合率では良い性能を示すが，F 值においては生成型よりも劣る。コピー機構付きエンコーダ・デコーダでは適合率でも $\mathrm{F}$ 値でも抽出型よりも良い性能を示した.

## 6.3 人手評価

本研究では ROUGE による自動評価に加え, クラウドソーシングサービスである Crowdflower ${ }^{5}$ を用いた人手評価でも各モデルの性能を比較する。本研究では, 英語として正
^{5} \mathrm{http}$ ://crowdflower.com
}

しく, 入力の質問テキストと同じ事柄について尋ねる要約がより望ましいと考える．そのため,人手評価においては, 作業者に入力質問テキストと各モデルで生成した出力要約を提示し, “文法性”および “フォーカス”の 2 つの観点からより良い順に並べ替えるよう指示した. 手法間 の文法性やフォーカスに差異が見られない場合には，同順としても良いこととした，評価者に は「例えば QAコミュニティサイトでのタイトルでの利用を想定する」という応用先を伝えた. “文法性”は英語として正しい文法で記述されているか, “フォーカス”は入力質問テキストと出力要約の尋ねている事柄が等しいかを表す評価基準である。比較手法としては, 自動評価で良 い性能を示した 4 つの手法を採用した。具体的には，人間による正解，規則を用いて抽出した リード疑問文, 分類器が正例と判定した文のうち先頭, コピー機構付きエンコーダ・デコーダ を用いた。評価には自動評価で用いた評価データから無作為に抽出した 100 事例を用い, 各事例に対して 3 人の作業者が評価した。“文法性”, “フォーカス”の観点に基づく結果を表 8,9 に それぞれ示す.この表では，行に示す各手法が列に示す手法よりもより良いと判定された回数 を示している。例えば，人間によるタイトルはフォーカスの観点においてリード疑問文を抽出 する手法よりも 135 回より良いと判定され, リード疑問文は人間によるタイトルよりも 69 回よ り良いと判定された。

人手評価では文法性，フォーカスどちらの観点においても自動評価と似た傾向を示した。具体的には，人間によるタイトル，コピー機構付きエンコーダ・デコーダモデル，リード疑問文 および分類モデルの順でより良いと判定された。 入力質問テキストに含まれる規則で同定可能 な疑問文はたかだ 1-2 文であることが多く, リード疑問文と分類モデルはほぼ同様の出力を した. そのため, 人手評価においても差が見られなかった.

コピー機構と人間によるタイトルを比較すると，フォーカス，文法性の観点においてそれぞ

表 8 人手評価結果一文法性一

表 9 人手評価結果一フォーカスー

表 10 各手法の出力要約

れ 89 回, 69 回, コピー機構が人間のタイトルよりも良いと判定されている.このような事例の 出力を分析すると, 人間の付与するタイトルには重要な単語まで除去しているものや, 完全な文 ではない事例が含まれることがわかった。例えば，コピー機構が “How do you stop the itching after shaving?” と出力する事例に対し, 人間のタイトルでは “after shaving” が除去され, さ らに短い要約となっている事例などでは，コピー機構の方がより正しいフォーカスを持つと判定された。また，人間のタイトルでは “The best way to get money?” など疑問詞を省略する事例がいくつか観測された。このような事例の文法性に基づく評価では, “What is the best way to get money?" など疑問詞を省略せずに出力する傾向のあるコピー機構よりも低く評価されて いる.

## 6.4 定性的分析

本節では，実際の出力例を基に定性的な分析を行う，表 10 に入力質問テキストと各モデル の出力例を示す. 抽出型手法であるリード疑問文や分類モデルでは，照応詞の “it” が含まれ， フォーカスが不明確となることがある。このような照応の問題が，フォーカスでのスコアを下 げる要因の一つであると考えられる。この例から単一質問文に要約する課題設定においては,複数の文にまたがる情報をうまく組み合わせる必要があり, 抽出的手法では適切な要約を出力 するのが難しいことが分かる．生成型の手法である注意機構付きエンコーダ・デコーダモデル では, “The Sompsons”のような低頻度語は特別なトークンUNKとして出力され, ROUGE 值 を下げる要因となっている。同様の問題が機械翻訳課題でも報告されており (Bahdanau et al. 2014), この問題を解決するコピー機構付きエンコーダ・デコーダモデルでは, “The Simpsons” という重要語を正しく出力に含められている.

## 7 おわりに

本研究では新たな要約課題として, 複数文から構成される質問テキストを入力とし, その内容を端的に表現する単一質問文に要約する “質問要約” 課題を提案した。コミュニティ質問応
答サイトの投稿を用いた事例分析において, 抽出型の手法では要約できない事例の存在を確認 した。また，このデータをフィルタリングしたデータを用い，いくつかの抽出型および生成型要約モデルを構築し，比較した。先頭文を抽出する手法は既存の要約課題において強いべース ラインとして知られるが，質問要約においては規則を用いて同定した疑問文のうち先頭を出力 する手法より良い性能を示した。実験より，生成型の要約モデルがROUGE-2 F 値においてよ り良い性能を示すことがわかった。構築した手法は人間によるタイトルよりもROUGE 値およ び人手評価において，低い性能を示していることから，質問要約課題にはさらなる性能向上の 余地が残されていると考える。

## 謝 辞

本稿は IJCNLP2017 に採録済みの論文を基にしたものです (Ishigaki, Takamura, and Okumura 2017). 本研究は JST さきがけ JPMJPR1655 の助成を受けたものです.

## 参考文献

Bahdanau, D., Cho, K., and Bengio, Y. (2014). "Neural Machine Translation by Jointly Learning to Align and Translate." CoRR. abs/1409.0473.

Bank, M., Mittal, V. O., and Witbrock, M. J. (2010). "Headline Generation Based on Statistical Translation." In Proceedings of ACL2010, pp. 318-325.

Basak, D., Pal, S., and Patranabis, D. C. (2007). "Support Vector Regression." Neural Information Processing-Letters and Reviews, 11 (10), pp. 203-224.

Cho, K., van Merrienboer, B., Gulcehre, C., Bahdanau, D., Bougares, F., Schwenk, H., and Bengio, Y. (2014). "Learning Phrase Representations using Rnn Encoder-decoder for Statistical Machine Translation." In Proceedings of EMNLP2014, pp. 1724-1734.

Cohn, T. and Lapata, M. (2013). "An Abstractive Approach to Sentence Compression." ACM Transactions on Intelligent Systems and Technology (TIST), 4 (3), p. 41.

Dorr, B., Zajic, D., and Schwartz, R. (2003). "Hedge trimmer: A Parse-and-trim Approach to Headline Generation." In Proceedings of HLT-NAACL2003 Text Summarization Workshop, pp. 1-8.

Duboue, P. A. (2012). "Extractive Email Thread Summarization: Can We Do Better Than He Said She Said?" In Proceedings of INLG2012, pp. 85-89.

Fan, R.-E., Chang, K.-W., Hsieh, C.-J., Wang, X.-R., and Lin, C.-J. (2008). "LIBLINEAR: A Library for Large Linear Classification." Journal of Machine Learning Research, 9,
pp. 1871-1874.

Gu, J., Lu, Z., Li, H., and Li, V. O. (2016). "Incorporating Copying Mechanism in Sequence-toSequence Learning." In Proceedings of ACL2016, pp. 1631-1640.

Hirao, T., Isozaki, H., Maeda, E., and Matsumoto, Y. (2002). "Extracting Important Sentences with Support Vector Machines." In Proceedings of COLING2002, pp. 1-7.

Hochreiter, S. and Schmidhuber, J. (1997). "Long Short-Term Memory." Neural Computation, 9 (8), pp. 1735-1780.

Ishigaki, T., Takamura, H., and Okumura, M. (2017). "Summarizing Lengthy Questions." In Proceedings of IJCNLP2017, Vol. 1, pp. 792-800.

Kikuchi, Y., Neubig, G., Sasano, R., Takamura, H., and Okumura, M. (2016). "Controlling Output Length in Neural Encoder-Decoders." In Proceedings of EMNLP2016, pp. 1328-1338.

Li, C., Qian, X., and Liu, Y. (2013). "Using Supervised Bigram-based ILP for Extractive Summarization." In Proceedings of ACL2013, pp. 1004-1013.

Lin, C.-Y. (2004). "ROUGE: A Package for Automatic Evaluation of Summaries." In Proceedings of ACL2004 Workshop, pp. 74-81.

Luhn, H. P. (1958). "The Automatic Creation of Literature Abstracts." IBM Journal of Research and Development, 2 (2), pp. 159-165.

Luong, M.-T., Pham, H., and Manning, C. D. (2015). "Effective Approaches to Attention-based Neural Machine Translation." In Proceedings of EMNLP2015, pp. 1412-1421.

Mihalcea, R. and Tarau, P. (2004). "TextRank: Bridging Order into Texts." In Proceedings of EMNLP2004, pp. 404-411.

Oya, T. and Carenini, G. (2014). "Extractive Summarization and Dialogue Act Modeling on Email Threads: An Integrated Probalistic Approach." In Proceedings of SIGDIAL2014, pp. 133-140.

Oya, T., Mehdad, Y., Carenini, G., and Ng, R. (2014). "A Template-based Abstractive Meeting Summarization: Leveraging Summary and Source Text Relationships." In Proceedings of INLG2014, pp. 45-53.

Peyrard, M. and Eckale-Kohler, J. (2016). "Optimizing an Approximation of ROUGE-a Problem-Reduction Approach to Extractive Multi-Document Summarization." In Proceedings of ACL2016, pp. 1825-1836.

Rush, A. M., Chopra, S., and Weston, J. (2015). "A Neural Attention Model for Sentence Summarization." In Proceedings of EMNLP2015, pp. 379-389.

Shen, D., Sun, J.-T., Li, H., Yang, Q., and Chen, Z. (2007). "Document Summarization using Conditional Random Fields." In Proceedings of IJCAI2007, pp. 2862-2867.

Suykens, J. A. and Vandewalle, J. (1999). "Least Squares Support Vector Machine Classifiers." Neural Processing Letters, 9 (3), pp. 293-300.

Tamura, A., Takamura, H., and Okumura, M. (2005). "Classification of Multiple-Sentence Questions." In Proceedings of IJCNLP2005, pp. 426-437.

Woodsend, K., Feng, Y., and Lapata, M. (2010). "Generation with Quasi-synchronous Grammar." In Proceedings of EMNLP2010, pp. 513-523. Association for Computational Linguistics.

Zajic, D., Dorr, B. J., and Schwartz, R. (2004). "Bbn/umd at duc-2004." In Proceedings of NAACL-HLT2004 Document Understanding Workshop, pp. 112-119.

## 略歴

石垣達也：2012 年茨城工業高等専門学校専攻科情報工学コース修了. 2014 年年東京工業大学総合理工学研究科博士前期課程修了. 同年, 同大学博士後期課程に進学.

高村 大也：1997 年東京大学工学部計数工学科卒業. 2000 年同大大学院工学系研究科計数工学専攻修了 (1999 年はオーストリアウィーン工科大学にて研究). 2003 年奈良先端科学技術大学院大学情報科学研究科博士課程修了. 博士 (工学)。2003 年から 2010 年まで東京工業大学精密工学研究所助教. 2006 年 にはイリノイ大学にて客員研究員. 2010 年から 2016 年まで同准教授. 2017 年より同教授および産業技術総合研究所人工知能センター知識情報研究チー ム研究チーム長. 計算言語学, 自然言語処理を専門とし, 特に機械学習の応用に興味を持つ.

奥村学：1962 年生. 1984 年東京工業大学工学部情報工学科卒業. 1989 年同大学院博士課程修了. 同年, 東京工業大学工学部情報工学科助手. 1992 年北陸先端科学技術大学院大学情報科学研究科助教授, 2000 年東京工業大学精密工学研究所助教授, 2009 年同教授, 現在に至る. 工学博士. 自然言語処理,知的情報提示技術, 語学学習支援, テキスト評価分析, テキストマイニングに 関する研究に従事. 情報処理学会, 電子情報通信学会, 人工知能学会, AAAI, ACL, 認知科学会, 計量国語学会各会員.


# ソーシャルメディアにおける単語の一般的ではない用法の検出

\begin{abstract}
青木 竜哉 $\dagger$ ・笹野 遼平 $\dagger \dagger \cdot$ 高村 大也 ${ }^{\dagger,+\dagger \dagger} \cdot$ 奥村 学 $\dagger,+\dagger \dagger \dagger$
ソーシャルメディアにおいては，辞書に掲載されているような用法とは全く異なる 使われ方がされている単語が存在する。本論文では，ソーシャルメディアにおける 単語の一般的ではない用法を検出する手法を提案する。提案手法では，ある単語が 一般的ではない使われ方がされていた場合，その周辺単語は一般的な用法として使 われた場合の周辺単語と異なるという仮説に基づいて，着目単語とその周辺単語の 単語ベクトルを利用し, 注目している単語の周辺単語が均衡コーパスにおける一般的な用法の場合の周辺単語とどの程度異なっているかを評価することにより，一般的ではない用法の検出を行う、ソーシャルメディアに打いて一般的ではない用法を 持つ 40 単語を対象に行った実験の結果，均衡コーパスと周辺単語ベクトルを用いる 提案手法の有効性を確認できた。また，一般的でない用法の検出においては，単語 ベクトルの学習手法, 学習された単語ベクトルの扱い方, 学習コーパスを適切に選択することが重要であることがわかった.

キーワード：分散表現，Skip-gram, 非一般的用法
\end{abstract
## Detecting Nonstandard Word Usages on Social Media

Tatsuya Aoki ${ }^{\dagger}$, Ryohei Sasano ${ }^{\dagger \dagger}$, Hiroya Takamura ${ }^{\dagger, \dagger \dagger \dagger}$ and Manabu Okumura ${ }^{\dagger, \dagger \dagger \dagger \dagger}$

We focus on nonstandard usages of common words on social media, where words, sometimes, are used in a totally different manner from that of their original or standard usage. In this work, we attempt to distinguish nonstandard usages on social media from standard ones in an unsupervised manner. We also constructed new Twitter dataset consisting of 40 words with nonstandard usages and then used the dataset for evaluation in an experiment. For this task, our basic idea is that nonstandard usage can be measured by the inconsistency between the target word's expected meaning and the given context. For this purpose, we use context embeddings derived from word embeddings. Our experimental results show that the model leveraging the context embedding outperforms other methods and also provide us with findings, for example, on how to construct context embeddings, and which corpus to use.

Key Words: Word Embedding, Skip-gram, Non-standard Word Usage

## 1 はじめに

Twitter に代表されるソーシャルメディアにおいては，辞書に掲載されていない意味で使用さ れている語がしばしば出現する。例として，Twitter から抜粋した以下の文における単語「鯖」 の使われ方に着目する.

（1）今日、久々に鯖 ${ }_{1}$ の塩焼き食べたよとても美味しかった

（2）なんで、急に鯖 2 落ちしてるのかと思ったらスマップたっったのか (`q ${ }^{\prime}$ )文 (1) と文 (2)には，いずれも鯖という単語が出現しているが，その意味は異なり，文(1)におけ る鯖 1 は, 青魚に分類される魚の鯖を示しているのに対し, 文 $(2)$ における鯖 2 は, コンピュー タサーバのことを意味している。ここで，「鯖」という語がコンピュータサーバの意味で使用 されているのは，「鯖」が「サーバ」と関連した意味を持っているからではなく，単に「鯖」と 「サーバ」の読み方が似ているためである。このように，ソーシャルメディアにおいては，既存 の意味から派生したと考えられる用法ではなく，鯖のような音から連想される用法，チートを 意味する升のような既存の単語に対する当て字などの処理を経て使用されるようになった用法,企業名 Apple Inc. を意味する林檎など本来の単語を直訳することで使用されるようになった用法などが見られ，これらの用法は一般的な辞書に掲載されていないことが多い. 文 (2)におけ る鯖 2 のように，文中のある単語が辞書に掲載されていない意味で使用されていた場合, 多く の人は文脈から辞書に載っている用法 ${ }^{1}$ と異なる用法で使用されていることには気付くことが できるが，その意味を特定するためには，なんらかの事前情報が必要であることが多い．特に， インターネットの掲示板では，援助交際や危険ドラッグなどの犯罪に関連する情報は隠語や俗語を用いて表現される傾向にある (山田, 安彦, 長谷川, Michal, 中村, 佐久田 2016). しかし,全体として, どのような単語が一般的ではない意味で使われているかということを把握するこ とは難しい.

本研究では，このような性質を持つ単語の解析の手始めとして, ソーシャルメディアにおいて 辞書に掲載されていない意味で使用される場合があることが分かっている単語を対象に，ソー シャルメディア中の文に出現する単語の一般的ではない用例の検出に取り組む。ここで，単語 の用法が一般的かそうでないかというような情報を多くの語に対し大量にアノテーションする コストは非常に大きいと考えられることから，本研究では教師なし学習の朹組みでこの問題に 取り組む，検出の手がかりとして，まず，非一般的用法で使用されている単語は，その単語が 一般的用法で使用されている場合と周辺文脈が異なるであろうことに着目する。具体的には,単語の用法を判断する上で基準とするテキスト集合における単語の用法と, 着目している文中 での用法の差異を計算し，これが大きい場合に非一般的用法と判断する．以下，本稿では単語

の用法を判断する上で基準とするテキスト集合のことを学習コーパスと呼ぶ. 非一般的用法を 適切に検出するためには，学習コーパスとして，一般的用法で使用される場合が多いと考えら れるテキスト集合を用いることが重要であると考えられることから，提案手法では，学習コー パスとして，新聞やインターネットを始めとする様々な分野から偏りなくサンプリングされた テキストの集合である均衡コーパスを使用する。また，提案手法における，学習コーパスと評価用データにおける単語の使われ方の差異の計算には, Skip-gram Negative Sampling (Mikolov, Sutskever, Chen, Corrado, and Dean 2013) によって学習された単語ベクトルを使用する.

## 2 評価データの作成

本研究では，一般的ではない用法が存在する単語を対象として，文中における対象単語が一般的な用法かそうでないかをアノテートしたデータセットを新たに作成した. 作成したデータ セットは, コンピュータ, 企業・サービス名, ネットスラングのドメインに出現した語から, 非一般的用法として使用されることのある 40 語を含んだデータセットである。データのソースと して Twitterを使用し， 2016 年 1 月 1 日から 2016 年 1 月 31 日に投稿されたツイートを対象と してデータセットを作成した．Twitter をデータのソースとして選択した理由は，Twitterにお いては，ある語が一般的な用法として使われる場合とそうでない場合が混在していると考えた ためである.

データセットの作成に先立ち，以下の条件を全て満たす語を対象語を選定した.

（1）コンピュータ，企業・サービス名，ネットスラングのドメインにおいて一般的ではない 用法として使用される場合があることが分かっている語

(2) ウェブ上に一般的ではない用法の説明が存在している語

(3) 均衡コーパスにおける出現頻度が 100 以上の語

本研究では，コンピュータ，企業・サービス名からそれぞれ 10 語ずつ，ネットスラングから 20 語，合計 40 語を対象語として選定した。選定した 40 語の一覧を表 1 に示す。

データセットの作成においては，まず，選定した 40 語が含まれるッイートに対して形態素解析を行い，選定した単語が一般名詞であると解析されたツイートを無作為に 100 ツイート選択した。形態素解析には， $\mathrm{MeCab}^{2}$ を使用し，IPA 辞書 3 を用いた。次に，選択したツイートに おいて, 選定した単語が一般的な用法として用いられているか, 固有表現の一部となっている か, 一般的ではない用法として用いられているかという判断を 2 人のアノテータによって人手

表 1 選定した 40 語とその一般的ではない用法の説明

うな事例を示す。また，いずれかのアノテータが，与えられた情報だけからはツイート中で使用されている対象語の用法を決定できないと判断したツイート (96ツイート) ${ }^{4}$ は，データセッ トから除外した。アノテーションが一致したツイートのうち, 2 人のアノテータが一般的な用法として用いられていると判断した事例と，一般的ではない用法として用いられている判断し た事例の集合を最終的なデータセットとした ${ }^{5}$. 本アノテーションにおけるカッパ係数は 0.808 であった。表 2 に，作成したデータセットの概要を示す.

作成したデータセットでは，単語ごとにラベルの偏りが見られた。 アノテーションの結果に 基づいて， 40 語を，一般的な用法の事例が多い単語, 非一般的用法として用いられている事例 が多い単語，それ以外の単語の 3 つに分類した。具体的には， 7 割以上が一般的用法としてアノ テーションされた単語を一般的ラベル優勢， 7 割以上が非一般的用法としてアノテーションさ れた単語を非一般的ラベル優勢，それ以外をラベル偏りなしとしてクラス分けを行った．表 3 に，アノテーション対象とした語の一覧をクラスごとに示す。また，表 4 に，各クラスごとに アノテーションされた一般的用法, 非一般的用法の内訳を示す.

作成したデータセットは各単語に対する学習データ数が少ないため, 教師あり学習のための

表 2 作成したデータセットの概要

表 3 アノテーション対象とした 40 語の内訳

\right)\right.\rfloor$ の中の「茸」のような，顔文字の一部となっている事例などが含まれる.

5 固有表現の一部となっている事例を除いたのは, 将来的に固有表現認識を行うことにより機械的に除外できると考 えたためである。
}
表 4 クラスごとのデータセット内訳

学習コーパスとして使用するには，デー夕量の観点から適切ではないと考える。そのため, 本研究では, 教師なし学習に基づいた単語の一般的ではない用法の検出手法を提案し, 本デー夕 セットを評価用のデータセットとして用いる.

## 3 単語の一般的ではない用法の検出

提案手法では，もしある単語が一般的ではない用法として使われた場合，その周辺単語は一般的な用法として使われた場合の周辺単語と異なるという考えに基づき, 単語の一般的ではな い用法の検出を行う。 提案手法は単語の分散表現を活用したものであるため, 本節では, まず,単語の分散表現を学習する手法として広く使われている Skip-gram の説明を行い，その後に提案手法の具体的なモデルの説明を行う.

## 3.1 Skip-gram with Negative Sampling (SGNS)

Skip-gram (Mikolov et al. 2013) とは, 単語の分散表現を学習する手法の一つとして広く使わ れており, 学習コーパスから主に単語の共起情報を学習し, 学習コーパス内に出現した単語をべ クトルとして表現する手法である. Skip-gram では，訓練データにおける単語列を $w_{1}, w_{2}, \ldots$, $w_{T}$, 窓幅を $m$ とした時, $\frac{1}{T} \sum_{t=1}^{T} \sum_{-m \leq i \leq m, i \neq 0} \log p\left(w_{t+i} \mid w_{t}\right)$ が大きくなるように学習される. $W$ を訓練データにおける語彙とした時, $p\left(w_{k} \mid w_{t}\right)$ は次の式によって表される：

$
p\left(w_{k} \mid w_{t}\right)=\frac{\exp \left(v_{w_{t}}^{I N} \cdot v_{w_{k}}^{O U T}\right)}{\sum_{w \in W} \exp \left(v_{w_{t}}^{I N} \cdot v_{w}^{O U T}\right)}
$

Skip-gram は, 着目単語の周辺単語を予測するモデルである. 各単語は入力側の単語ベクトル $v^{I N}$ と出力側の単語ベクトル $v^{O U T}$ で表現され, 確率値の計算には, これらが使用される.

Mikolov et al. (2013) は, Skip-gramの学習時における計算コストを削減するために Skip-gram with Negative Sampling (SGNS) を提案した. SGNS では, 学習コーパス内で単語 $w_{t}$ が $w_{k}$ の 近くに出現していた場合, $\log \sigma\left(v_{w_{t}}^{I N} \cdot v_{w_{k}}^{O U T}\right)+\sum_{n=1}^{N} \mathbb{E}_{w_{n} \sim Z(w)} \log \sigma\left(v_{w_{t}}^{I N} \cdot-v_{w_{n}}^{O U T}\right)$ が大きくな るようにそれぞれの単語に対応するべクトルが学習される。たたし， $\sigma$ はシグモイド関数を表 す. SGNSでは, $N$ 個の単語を確率分布 $Z$ から抽出し, これらを学習における負例単語として
扱う. その結果, 単語 $w_{t}$ と単語 $w_{t}$ の近くに出現した単語 $w_{k}$ については, $\log \sigma\left(v_{w_{t}}^{I N} \cdot v_{w_{k}}^{O U T}\right)$ の値が大きくなるようにそれぞれのべクトルが学習され, 単語 $w_{t}$ と負例単語 $w_{n}$ につては, $\log \sigma\left(v_{w_{t}}^{I N} \cdot v_{w_{n}}^{O U T}\right)$ が小さくなるように学習される.

単語間の類似度を測定するのにあたっては，入力側の単語べクトル $v^{I N}$ 間における類似度を 測る手法が広く用いられている。入力側の単語ベクトル $v^{I N}$ は多くの研究で広く活用されてい るのに対して, Mitra, Nalisnick, Craswell, and Caruana (2016) や Press and Wolf (2017) などの ように，出力側の単語べクトル $v^{O U T}$ を効果的に活用している研究は少ない。一方で, Levy ら (Levy and Goldberg 2014)は, Shifted Positive Pointwise Mutual Information (SPPMI) と SGNS の等価性を示しており，これによると，SGNS において $v^{I N}$ と $v^{O U T}$ を使用することは, SPPMI を学習した際の単語の共起情報を参照することに関連し, これはある着目単語とその周辺単語 のつながりの強さを計算することを意味する．以上より，これまで述べたような入出力単語べ クトルの学習過程およびSPPMI と SGNS の等価性を考慮すると, ある単語 $w_{t}$ が訓練デー夕内 で単語 $w_{k}$ が共起されやすいかどうかを測るためには, 従来の研究で多く見られるような $v_{w_{t}}^{I N}$ と $v_{w_{k}}^{I N}$ を用いた余弦類似度を用いる手法だけではなく, 入力側と出力側の単語ベクトルを用い た $\sigma\left(v_{w_{t}}^{I N} \cdot v_{w_{k}}^{O U T}\right)$ を活用する手法も，単語間の類似度を計算する上では考慮するべきであると 考えられる。

## 3.2 提案手法

本研究では，SGNS の学習メカニズムを考慮して，非一般的用法の検出を試みる。具体的に は, まずSGNS を用いて均衡コーパスから単語の分散表現を学習し, 続いて学習したべクトル を用いて着目単語とその周辺単語のべクトル間の内積値を算出し, その値が小さい場合, その 着目単語の用法は一般的ではないと判断する，均衡コーパスは，言語全体を把握するために偏 りなくサンプリングされたテキストの集合であることから，均衡コーパスを用いることで，単語の用法の一般性がより反映された単語べクトルの学習が行われると考えられ, 上述の内積値 が高い事例は一般的, 低い事例は一般的ではない用法と判断することができると考えられる.図 1 に提案手法の概要を示す.

提案手法では, SGNS によって単語ベクトルを学習し, 学習された着目単語の入力側の単語べ クトル $v^{I N}$ と, 周辺単語の出力側の単語ベクトル $v O U T$ の類似度の加重平均に基づいて, 単語 の非一般的な用法を検出する。この過程で計算される類似度の加重平均を，単語の使われ方に 対する一般性スコアと定義する。一般性スコアとして, 着目単語とその周辺単語との類似度の 加重平均を採用している理由は, 本研究で使用したSGNS の学習過程では, 着目している単語 と距離の近い単語に重みを付けた学習が行われているためである (Levy, Goldberg, and Dagan 2015).

窓幅を $m$, 着目単語との距離を $d$ と定義すると, 加重平均の重み $\alpha$ は, $\alpha=m+1-d$ によっ

図 1 提案手法の概要

て計算される整数値とする。ただし, $d$ は, 着目単語を基準として, 何単語離れているかを表す 整数値である. 文中の着目単語を $w_{t}$ とし, 着目単語の入力側の単語ベクトルを $v_{w_{t}}^{I N}, w_{t}$ を基準として前後 $m$ 単語の単語集合を $\mathbf{w}_{\mathbf{c}}$, 各周辺単語 $w_{j} \in \mathbf{w}_{\mathbf{c}}$ の出力側の単語ベクトルを $v_{w_{j}}^{O U T}$, その重みを $\alpha_{w_{j}}$ と表すと, 提案手法では, 次の式 (1)で計算されるスコアによって, 着目単語 $w_{t}$ が一般的な使われ方かどうかを判断する：

$
\frac{\sum_{w_{j} \in \mathbf{w}_{c}} \sigma\left(v_{w_{t}}^{I N} \cdot v_{w_{j}}^{O U T}\right) \times \alpha_{w_{j}}}{\sum_{w_{j} \in \mathbf{w}_{c}} \alpha_{w_{j}}}
$

ただし，式 (1)における $\sigma$ はシグモイド関数を表す。窓幅内に出現した未知語に対しては，未知語のトークンに対応する単語ベクトル $v_{u n k}^{O U T}$ を用いる。 なお, この $v_{u n k}$ は, 単語べクトルの 学習に使用したコーパス内における低頻度語に対応する単語ベクトルである。式 (1)において, シグモイド関数を使用している理由は，SGNS の学習過程における非線形関数としてシグモイ ド関数が使用されていたためである ${ }^{6}$. 算出された一般性スコアが小さい場合, 着目単語の使 われ方は非一般的であり，また反対に大きい時には，その使われ方は一般的であるとみなす.

## 3.3 比較手法

本研究における提案手法には，3つの特徴がある。一つ目は単語べクトルを学習する際に均衡コーパスを使用する点，二つ目は一般性スコアを計算する際に使用する単語ベクトルとして
^{6}$ https://code.google.com/archive/p/word2vec/
}
$v^{I N}$ だけではなく $v^{O U T}$ も使用する点, 三つ目は一般性スコアの計算に加重平均を採用してい る点である。これらの特徴が非一般的な用法を検出するにあたり有用であるかを，比較実験を 通して検証する。

提案手法では，学習コーパスの用法と評価用データセットにおける用法との差異を一般性ス コアとして計算している。この学習コーパスに含まれる単語の用法が非一般的用法検出を行う 際の基準となるため，検出精度に大きく影響すると考えられる．そこで，本研究では， 4 種類の 異なる性質のコーパスを用意し，どのコーパスで単語ベクトルを学習するのが本タスクにより 適しているかを調査する。表 5 に，各コーパスの内容を示す 7 .

提案手法は，一般的に使用される $v^{I N}$ だけではなく， $v^{O U T}$ も使用している. $v^{O U T}$ の有用性を検証するため, 従来研究 (Neelakantan, Shankar, Passos, and McCallum 2014; Gharbieh, Virendra, and Cook 2016) で用いられている手法と同様に， $v^{I N}$ のみを用いた手法との比較を 行った. この比較手法では, 式 (1)における $\sigma\left(v_{w_{t}}^{I N} \cdot v_{w_{j}}^{O U T}\right)$ を, 余弦類似度 $\frac{v_{w_{t}}^{I N} v_{w_{j}}^{I N}}{\left.\|v_{w_{t}}^{I N}\right.\| \times\left.\|v_{w_{j}}^{I N}\right.\|}$ として 一般性スコアを計算した。さらに, SGNS 以外の手法で学習した単語ベクトルでの実験結果を比較するために，相互情報量を用いて学習した単語ベクトルに対して，特異値分解 (SVD) によっ て次元削減を行った単語べクトルを使用した手法 (Levy et al. 2015; Hamilton, Clark, Leskovec, and Jurafsky 2016) による実験も行った. この時, 式 (1)における $v_{w_{t}}^{I N}, v_{w_{j}}^{O U T}$ は, それぞれ, SVD によって特異值分解されたあとの $t$ 成分, $j$ 成分の値とする. 相互情報量には, Positive Pointwise Mutual Information (PPMI) を使用した。また，SVDを用いた手法においても，一般性スコアの計算には余弦類似度を用いた ${ }^{8}$.

3.2 節で述べたように, 式 (1)の $\alpha$ は, 着目単語を基準とした時の, 周辺単語との距離に対 する重みである。この重み付けの有効性を調査するため，重み付けを行わず，式 (1)において $\alpha=1$ とした場合との比較実験を行った.

これらに加えて, 式 (1)における周辺単語 $\mathbf{w}_{\mathbf{c}}$ から, 機能語である助詞, 助動詞, 接続詞と

表 5 学習に使用したコーパスの内容

^{7}$ Web コーパスの収集には, Kawahara and Kurohashi (2006)の手法を用いた. Wikipedia は， 2016 年 7 月時点 での Wikipedia の記事を https://dumps.wikimedia.org/jawiki/からダウンロードしたものである。新聞について は，毎日新聞，日経新聞，読売新聞を対象とした。

$8 v^{I N}$ のみを用いた手法およびSVDを用いた手法において，類似度関数として余弦類似度の代わりにシグモイド関数を使用した場合においても実験を行ったが，この時の評価値は余弦類似度を用いた場合よりも低い値となった。
}

して使われている単語を除いた条件での実験も行った. 図 1 にも示した通り, 実際のテキスト における周辺単語 $w_{j}$ は, 助詞をはじめとする機能語にもなり得る。しかし, 機能語の単語べ クトルと着目単語の単語べクトルとの類似度は, 着目単語の用法の判断において効果的な要素 ではない可能性が考えられる。 そこで, 周辺単語 $w_{j} \in \mathbf{w}_{\mathbf{c}}$ から機能語を排除した時の部分集合 $\mathbf{w}_{\mathbf{c}^{\prime}} \subseteq \mathbf{w}_{\mathbf{c}}$ を用いて式 (1)を計算するモデルにおいても実験を行った. (Mikolov et al. 2013) は,高頻度語のもつ情報量は低頻度語のもつ情報量よりも少ないという仮定に基づき，Skip-gram の 学習時にサブサンプリングによって学習コーパス中に出現する単語の出現頻度に応じて文中か らコーパス内の単語それぞれを確率的に除外した上で学習を行っているが 9 , 多くの機能語は 高頻度語に該当することから類似した処理であると言える。

さらに，ニューラルネットの層の深さが検出精度に関係するか調査するため, 文脈をべクト ル化する手法として提案されている context2vec (Melamud, Goldberger, and Dagan 2016)との 比較も行う. 提案モデルが 1 層の浅いニューラルネットモデルであるのに対して, context2vec は Bi-directional LSTM (Bi-LSTM) を活用した多層のモデルである. また, Skip-gram が, 着目単語の前後密幅分の周辺単語を用いて着目単語を予測するのに対して, context2vecでは, 入力文の左から着目単語まで，および右から着目単語までを使用して予測を行うという違いがある. context2vec では, 文全体の単語埋め込みを Bi-LSTM に入力し, 着目単語の左側, および右側 の Bi-LSTM の出力層を結合し, 2 層の多層パーセプトロンに入力し, その出力層（文脈ベクト ル）を用いて，着目単語を予測するモデルである，本タスクにおいては，文脈ベクトルと着目単語の単語ベクトルの内積に対してシグモイド関数を適用した値を一般性スコアとして扱う.

## 4 実験

## 4.1 実験設定

単語ベクトルの学習にあたっては, 次元を 300 とした。また, 各コーパスにおいて, 出現頻度が 5 回未満の単語は，<unk>に置き換えて学習を行った. SGNS による単語ベクトルの学習 には, Python ライブラリの一つである gensim (Řehůřek and Sojka 2010)による実装を使用し， ネガティブサンプリングの数を 10 とした. SVDによる単語ベクトルの学習には, Levy et al. （2015）の実装 10 を使用した．学習 epoch 数は 5 とした，また，単語べクトルを学習する際の窓幅は $2,5,10$ としてそれぞれ実験を行った.

context2vec の学習にあたっては， ネガティブサンプリング数を 10 , 最適化手法には Adam (Kingma and Ba 2015) を使用した，学習率は $10^{-3}$ として学習を行った．その他の隠れ層や単
^{9}$ Mikolov et al. (2013) における 2.3 節に詳細が記述されている.

10 https://bitbucket.org/omerlevy/hyperwords
}
表 6 context2vec のパラメータ

語ベクトルの次元などの詳細なパラメータを表 6 に示す.また, 学習の効率化のため, 実験に 使用するコーパスのうち, BCCWJ と Web は中規模, Wikipedia と Newspaper は大規模なコー パスであるとみなし, 中規模コーパスで学習する際には, ミニバッチ数 100 , 学習 epoch 数 10 , 5 回未満の出現頻度の単語を<unk>と置き換えて学習を行い, 大規模コーパスで学習する際に は, ミニバッチ数 500 , 学習 epoch 数 5,10 回未満の出現頻度の単語を<unk>と置き換えて学習を行った。

評価には，テストセットの各事例で計算された一般性スコアを昇順にソートし，一般性スコ アが低い順に非一般的用法として分類した時の平均適合率を使用する。さらに，これらの実験 に加えて， 3.3 節に示した機能語を使用しない場合における実験も行う。また, 誤り分析を行う ため，任意の値を閥値として設定し，計算された一般性スコアが閥値を下回った場合には非一般的用法, それ以外は一般的用法と分類する実験を行った. 間值には, 分類時に非一般的用法 を正例とした時に計算される $\mathrm{F}$ 値が最も大きくとなるような閾値を使用した.

## 4.2 結果

表 7 に実験結果を示す。表 7 における weighted および uniform は, それぞれ，着目単語の周辺単語に対する重み付けを行った場合，行わない場合に対応する。また，ダガー $(\dagger)$ は，提案手法である BCCWJを用いた時の SGNS IN-OUT weighted モデルによる実験結果と，有意水準 $5 \%$ で並べ替え検定を行った際に，統計的有意差が確認できたことを示している．太字は，SGNS IN-OUT，SGNS IN-IN，SVD モデルによって得られた平均適合率のうち，設定された各窓幅 2 , 5,10 ごとでの実験結果を比較した際に最も平均適合率が高いことを示す.

## 4.2.1 各モデルごとの実験結果の比較

表 7 より, 最も高い平均適合率を達成したモデルは, 学習コーパスとして Wikipediaを使用し た時の context2vec であり，その値は 0.845 であった．提案手法である SGNS IN-OUT weighted モデルは，学習コーパスとして BCCWJを使用し，窓幅を 5 と設定した時に最も高い平均適合率 を達成し，その値は 0.839 であった. context2vec を用いた場合の平均適合率は 0.803 から 0.845
表 7 各モデルによる平均適合率

と高い値で安定していることがわかるため, ニューラルネットの層の深さは検出精度に貢献す ると考えられる。実駼結果から，提案手法であるSGNS IN-OUT のような層が浅いモデルでも，単語ベクトルの学習手法, 学習された単語ベクトルの扱い方, 学習コーパスを適切に選択する ことで, 層が深いモデルと同等の性能を達成できることがわかった.

次に，設定された各空幅ごとでの性能を比較する，表 7 において，各モデルによって得られ た平均適合率のうち, 空幅 $2,5,10$ ごとでの実験結果を比較すると, それぞれで最も平均適合率が高かったモデルは, 全て BCCWJを学習コーパスとして使用した際の SGNS IN-OUT モデ ルであった。これより, BCCWJと SGNS IN-OUTを用いることによって，単語ベクトルの学習に使用する窓幅に関わらず高い平均適合率を達成する傾向があるといえる。また，窓幅を 2 と設定した場合の実験結果では, 全 12 モデル中 11 モデルに打いて, 重み付けによる平均適合率の減少が見られた。モデルが参照できる周辺単語が少ない場合では, 重み付けによって着目単語周辺の機能語が強調されてしまい, これが悪影響となって平均適合率が減少した可能性が 高い. この点は, 後述の機能語を使用しないモデルにおける実験結果との関連があると考えら れる。

## 4.2.2 機能語を使用しないモデルにおける実験結果

表 8 に，一般性スコアの計算時に機能語を使用しないモデルにおける平均適合率を示す。多 ガー (†) は, 提案手法である BCCWJを用いた時の SGNS IN-OUT weighted モデルによる実験結果と, 有意水準 $5 \%$ で並べ替え検定を行った際に, 統計的有意差が確認できたことを示している.表 8 より，機能語を使用しない場合においては，提案手法である SGNS IN-OUT weighted モデ

ルが最も高い平均適合率を達成した。これは, 空幅を 5 と設定し, 学習コーパスとして BCCWJ 使用したモデルであり, 平均適合率は 0.857 であった.

表 7 , 表 8 より，一般性スコアの計算時に機能語を使用しないことで，全 76 モデル中 48 モ デルにおいて, 平均適合率の向上が確認された. このうち, 12 モデルにおいて, 機能語を使用 しない場合の平均適合率と，機能語を使用した場合の平均適合率との間に統計的有意差が確認 された.この有意差が確認されたモデルを表 9 に示す. なお, 26 モデルでは, 機能語を使用し ないことで平均適合率の値が減少し， 2 つのモデルでは，平均適合率に変化がなかった．特に， context2vec を用いた 4 モデルでは機能語を使用しないことで平均適合率が減少する傾向にある.

表 8 機能語を使用しないモデルにおける平均適合率

表 9 機能語を使用するモデルと使用しないモデルでの平均適合率に統計的有意差が見られたモデル

 \\

\cline { 2 - 4 } & Wikipedia & 10 &  \\

\cline { 2 - 5 } & Web & 10 & 有り \\

context2vec は，単語埋め込みを行った後，その情報を Bi-LSTM，多層パーセプトロンに入力し 着目単語の予測を行うモデルである。この時に，機能語を使用しないことによって，Bi-LSTM の言語モデルとしての働きを弱め, 結果として予測がうまくいかなかったと考えられる. 最も スコアが向上したモデルは，空幅を 10 と設定し，学習コーパスとして Webを用いた時の SVD weighted モデルであり， 0.144 ポイントの向上が見られた．また，最もスコアが減少したモデル は，学習コーパスとしてWebを用いた時の context2vecで， 0.414 ポイントの減少が見られた.以上の実験結果より，機能語の扱い方を考慮することが平均適合率の向上に貢献する可能性が 高いと考えられる。

次に，設定された各密幅ごとでの性能を比較する。表 8 において，各モデルで得られた平均適合率のうち，窓幅 $2,5,10$ ごとでの実験結果を比較した際に，最も平均適合率が高かったモ デルは，それぞれ BCCWJを学習コーパスとして使用した際のSGNS IN-OUT モデルであり，実験結果の大まかな傾向は 4.2.1 項にあるものと同様であることがわかる.また，窓幅を 2 と 設定した場合の実験結果に着目すると, 重み付けによる平均適合率の減少が見られたモデルは,全 12 モデル中 3 モデルであり，4.2.1 項で見られた重み付けによる悪影響が軽減していること がわかる。これは，空幅が小さい設定においては，機能語による悪影響があったことを示唆し ている。

## 4.2.3重み付けの有無に関する実験結果の比較

表 7 より，重み付けを行うモデル (weighted) と行わないモデル (uniform) 間における平均適合率の変化を調査すると, 36 モデル中 22 モデルが重み付けを行うことによって平均適合率が 向上している。また, 13 モデルでは平均適合率が減少し, 1 つのモデルでは平均適合率の変化 が見られなかった，表 8 に示した機能語を使用しない条件での実験結果では，重み付けを行う ことによって 36 モデル中 30 モデルにおいて平均適合率が向上した. 4 モデルにおいては平均適合率が減少し，2つのモデルでは平均適合率の変化が見られなかった。重み付けの有意性を 調査するため, これらの実験結果に対して検定を行ったところ，重み付けを行うモデルによっ て得られた平均適合率と, 行わないモデルによって得られた平均適合率との間に統計的有意差 が確認されたのは， 72 ペアのうち 36 ペアだった。検定結果を表 10 に示す ${ }^{11}$. 全てのパターン で統計的な有意差は見られなかったものの, 提案手法を使用するにあたっては, 着目単語から より近い周辺単語が本タスクを解く上での手がかりとなっていることがわかった.
$ 機能語」は機能語を使用しないモデルに該当する. チェックマーク $(\checkmark)$ は，重み付けを行うモデルによって得られた平均適合率が，行わないモデルによって得られ た平均適合率よりも統計的に有意であることを表す。ただし，ダブルダガー (‡) は，重み付けを行わないモデルに よって得られた平均適合率が，重み付けを行うモデルによって得られた平均適合率よりも統計的に有意であること を示す.
}

## 4.2.4 各モデルにおける平均適合率の最高値の比較

表 11 に，これまでの実験において各モデルで達成した平均適合率の最高値と実験設定をまと める。ダガー (†)は，提案手法である SGNS IN-OUTによって得られた実験結果と，有意水準 $5 \%$ で並べ替え検定を行った際に，統計的有意差が確認できたことを示している．提案手法であ る SGNS IN-OUT モデルで得られた平均適合率と比較手法で得られた平均適合率との間に，統計的有意差が確認されたのは SVD モデルと SGNS IN-IN モデルであった. これらの結果から，本タスクにおいては， $v^{I N}$ だけではなく $v^{O U T}$ も使用することが平均適合率の向上に寄与して いることがわかる。また，SGNS IN-IN モデルとSVD モデルにおける平均適合率の間で検定を 行ったところ $\mathrm{p}$ 値は 0.089 であった。実験結果では，SGNS を用いた手法の方がより高い平均適合率を達成する傾向にあるが, その差は有意なものではなかった.

続いて，各手法ごとでの実験設定に着目する，SGNS を用いる手法では，学習コーパスとして BCCWJ を使用，重み付けを適用し，機能語を使用しないことで，高い平均適合率を達成する 傾向にある。また，SVD および context2vec を用いる手法では Wikipediaを学習コーパスとし て使用し, 機能語を使用することで最も高い平均適合率を達成している. より高い平均適合率

表 10 重み付けによる統計的有意性の調査

表 11 各モデルにおいて平均適合率が最も高かった時の実験設定

が達成することができる学習コーパスは, 単語ベクトルの学習手法ごとに異なることから, 各手法に適した学習コーパスを選択することが必要であると考えられる。

## 4.3 誤り傾向と正解例・誤り例の分析

これまでの実験では，評価データ中の文書に対して，各手法によって計算された一般性スコ アを用いてソートした時のランキングに対する評価を行った。本節では，誤り分析のため，あ る間値を設定し，計算された一般性スコアが間値を下回った場合には非一般的用法，それ以外 は一般的用法と分類する実験を行った。本実験では，閾值を 0.001 から 1.000 の範囲で 0.001 刻 みで設定し，それぞれの値をもって分類を行った時，分類時に計算される $\mathrm{F}$ 値が最も大きくと なるような閾値を使用した。

表 12 に，各モデルごとで上述の閾値を用いた場合に計算される適合率，再現率， $\mathrm{F}$ 値を示す.太字は，各評価指標において最も性能が高いことを示し， ダガー (†) は，提案手法である SGNS IN-OUT モデルによる実験結果と，有意水準 $5 \%$ で並べ替え検定を行った際に，統計的有意差 が確認できたことを示している。なお，実験には表 11 に示したモデルを使用した．実験結果か ら，提案手法によって得られた $\mathrm{F}$ 值が，各モデルによって得られた $\mathrm{F}$ 值の中で最も高く，その 値は 0.796 であった。また, 適合率が最高値となったモデルは, 提案手法である SGNS IN-OUT であり，再現率が最高値となったモデルは context2vec を用いた手法であった.

次に，表 3 に示したそれぞれのクラスごとに対する評価値を調査する。作成したデータセッ トでは，単語ごとにラべルの偏りが見られ，表 3 では，アノテーション対象とした 40 語がどち らのラベルに偏りがあったか，もしくは偏りがなかったかの 3 クラスを示した. クラスごとで の各評価値の変化を調査するため, 各クラスごとでの適合率, 再現率, $\mathrm{F}$ 値を計算した. なお,実験に使用した䦭値は上述の実験と同値である。これらの結果を表 13 に示す.ダガー $(\dagger)$ は,提案手法である SGNS IN-OUT モデルによる実験結果と，有意水準 $5 \%$ で並べ替え検定を行っ た際に，統計的有意差が確認できたことを示している。非一般的ラベル優勢クラスにおける適合率はそれぞれのモデルにおいて高い傾向にある一方で，一般的ラベル優勢クラスにおける適合率は低い傾向にあり，評価値の偏りが見られた。これらの結果より，全体の $\mathrm{F}$ 値が大きくな るような閥値を設定すると, 多くの人が一般的ではない用法として扱うような単語に対する検

表 12 各モデルによって計算された非一般的ラベルに対する適合率・再現率・F 値

表 13 各クラスごとの適合率・再現率・F 値

出はうまくいくものの, 少数の人のみが使用しているような用法を持つ単語については, 誤検出が多いということがわかった.

続いて，提案手法による実験結果に対する定性的評価を行う，提案手法によって検出できた 一般的ではない用法の例を次に示す.

(i) うちの場合林檎は父が触ったことないし、Android 端末いっぱい買って...

(ii）... 国立駅弁よりすこし高いくらいかなでもそこにいったって好きな研究室いけるとも...

(iii) 光村雨チケ今回何枚取れるかなー久しぶりだから泥率上げてくれるよね?

(iv) ... やっぱり LT で他全員でガン芼してるのが一番強いんじゃないかな

（v) 鯖落ちだあああああああああああああああガチマに潜るなああああああああああ

(i), (ii) の中の「林檎」や「駅弁」は，一般的ラベル優勢の単語に対しても一般的ではない用法を検出することができた例である。また, (iii), (iv) 中の「泥」や「芋」のように，表 2 に示 したような用法とは異なる一般的ではない用法に対しても，これを正しく検出することができ た ${ }^{12}$. (v)の例は, context2vec を用いた手法で検出できなかったが，提案手法において検出が 成功した事例である。 context2vec は入力文全体を考慮する手法であるが，この事例は，全体を 考慮することによって誤りとなった事例だと考えられる。一方で，提案手法は，着目単語の前後密幅分の周辺単語に着目するため, 周辺単語以外の情報に影響されずに, 正しく検出するこ とができたと考えられる。

次に，提案手法によって検出できなかった一般的ではない用法を示す.

(vi) ニコ動で実況者がワードバスケットやってて草

(vii) 55 連でテレーゼ、エクセ、ユイ、虹星 1 。引きは微妙だけど一番欲しかった...

(viii) あ〜、なんたこの気持ち。変なの荣葶。醜い感情は押し殺せばいいか

(ix) 零十サンの規制してしまった時用垢。本垢フォローもよろしくでっす！！

（x）養分辞めたい吸収される側から…する側になるためには…カガ・カネが必要…

(vi)の例のように, 着目単語の周辺単語が少ない場合において, 検出できなかった事例を確認した. しかし, (v)の例のように, 周辺単語が少ないにも関わらず検出できた例も確認されて いるため，周辺単語の情報が少ない場合には，モデルの出力が不安定となると考えられる．次 に, (vii) 中の,「ユイ」,「エクセ」などのように, 着目単語の近くの周辺単語が低頻度語・未知語に該当する場合において，検出できない事例を確認した。提案手法では，未知語が出現した 場合には，予め学習された未知語に該当する単語べクトルを使用しているが，このような事例 に対応するためには, 未知語の性質を考慮した個別な処理等が必要とされる。続いて, (viii), (ix) の例のように, 着目単語の周辺単語として着目単語そのものが出現していた場合に, 検出 に失敗する傾向が見られた。これは, SGNS の学習過程より, 着目単語自身の $v^{I N}$ と $v^{O U T}$ の 内積値が高く計算される傾向にあることから ${ }^{13}$ ，全体的な一般性スコアが高く計算され，これ が要因となって検出に失敗したと考えられる。また， $(\mathrm{x})$ の例は，提案手法で検出できなかった が，context2vec を用いた手法において検出が成功した事例である。提案手法は着目単語から固定空幅分の周辺単語しか考慮しない手法である。そのため, (x)の例のように, 着目単語と離れ た位置にある「カネ」のような, 単語の用法を判断する上で手がかりとなる要素を考慮するこ とができず，検出に失敗したと考えられる，一方で，context2vec は，文脈全体を考慮するモデ ルであるため，検出に成功したと考えられる．

## 4.4 混同行列による誤りの傾向分析

本節では，表 12 に示した実験結果に対して，混同行列を用いた誤りの傾向分析を行う。ここ では，提案手法に加えて，表 11,12 より,これまでの実験で性能が高かった context2vecにおけ る分析も行う．表 14,15 に，それぞれの実験結果に対する混同行列を示す。本タスクにおける 誤りとしては，表中の右上に該当する非一般的用法であるにも関わらずこれを検出できないよ うな「見逃し」と，表中の左下に該当する一般的用法であるにも関わらず非一般的用法として 判断してしまう「誤検出」の 2 パターンが存在する.

表 14 提案手法における混同行列

表 15 context2vecにおける混同行列

$ と $v O U T$ の内積値を計算したところ, ある着目単語自身の $v^{I N}$ と $v^{O U T}$ の内積値は, 着目単語の $v^{I N}$ とそれ以外の単語の $v^{O U T}$ の内積値の平均値よりも高い傾向にあった。該当した事例は，10,000 件中 9,997 件であった。なお，任意の単語自身の $v^{I N}$ と $v^{I N}$ の余弦類似度は常に 1 であるため, SGNS IN-IN モデルにおいても本文中と同様の問題がある.
}
表 14 より，提案手法では，見逃しが 220 件，誤検出が 332 件であった。また，表 15 より，比較手法である context2vec を用いた手法では，見逃しが 192 件，誤検出が 384 件であった. こ れらを比較すると, 提案手法は, 見逃しが多く誤検出が少ない手法, context2vec を用いた手法 は，反対に，誤検出が多く見逃しが少ない手法であると言える.

本タスクにおける誤りパターンである「見逃し」と「誤検出」のどちらがリスクとみなすか は，本研究を適用するアプリケーションに依存する。例として，本研究を一般的ではない用法 の辞書の作成に応用した場合を考える。このような辞書の作成においては，見逃された用法を コーパスから探すことは難しい一方で，誤って一般的ではないと判断された語を人手で確認す ることは容易である。したがって，本研究を一般的ではない用法の辞書作成に応用した場合に は，相対的に「見逃し」が少ない手法が望ましいと考えられる，次に，本研究を一般的ではな い用法も解釈するような対話システムの作成に応用した場合を考える。このような対話システ ムでは，一般的ではない用法を検出できなかった場合と比べ，一般的な用法を誤って解釈した 場合の方が，システムへの信頼性が低下しやすいと考えられる。したがって，対話システムに 応用した場合には「誤検出」の少ない手法の方が望ましいと考えられる。

## 4.5 提案手法・context2vecにおいてともに誤りを出力した事例

本節では， 4.3 節で行った実験結果のうち，提案手法および context2vec を用いた手法におい て, 両方のモデルで共通した誤り事例に対する分析を行う。両モデルにおける共通の誤り事例 は 235 件あり，そのうち，「見逃し」に該当するものが 84 件，「誤検出」に該当するものが 151 件であった，例として，表 16 に，誤りを出力した 20 件を示す.

まず，表中において「見逃し」に該当する (1)～(10) に着目する。（1〜(3) は，着目単語が文 の後半に位置していた事例である。このような事例に対して, 提案手法においては, 扱える周辺単語の情報が少ないため, モデルの出力が不安定となることが検出失敗の要因であると推測 される．context2vec を用いた手法では，入力ツイート中の文脈を考慮することができると考え られるが，周辺単語の情報量の不足による影響が少なからずあったと推測される．また， (4) (6) 中の「シャロン」,「ノンノ」,「グラブル」など, 着目単語の周辺単語として, 学習コーパス 中における未知語または低頻度語に該当する単語が出現した場合に，モデルが正しく検出でき ない傾向が見られた。これは，提案手法および context2vec に限らず，機械学習を用いた手法 における未知語の扱い方に関連する問題だと考えられる。この点については, 例えば固有表現解析, 係り受け解析, 形態素解析などによって得られた結果を追加情報を活用することで, 未知語による悪影響を軽減できる可能性がある. さらに, (7) (8)のように, 着目単語の周辺単語として, 着目単語自身が出現している場合にも検出に失敗しやすいことがわかった。このよ うな場合において， 4.3 節の実験結果では，提案手法による一般性スコアが高く計算される傾向 にあることを示したが，context2vec を用いた手法においても同様の問題があった．また，評価
表 16 提案手法および context2vec を用いた手法において誤りを出力した事例

データ中のアノテーションにはミスが見られ，これによって誤りと判定される事例が確認され た.(9) 中の「尼」は固有表現の一部であり, (10) 中の「安価」は一般的用法として扱われてい ると考えられる。

次に，「誤検出」に該当する $(11) \sim(20)$ に着目する. (11)～(13) は，「見逃し」のパターンと同様に, 着目単語の周辺単語の情報が少ない場合において誤りとなった事例であり,このような 場合には， モデルの出力が不安定となることがわかった，(14)（18)のように，着目単語の周辺単語として，人名や地名などの固有表現が出現した際に，モデルが誤りを出力する事例を確認した。これは，学習モデルにおける未知語や低頻度語の扱い方に関連する問題であると考え られる。この点については, 文脈中に出現する固有表現に関する知識など, 何らかの追加情報 を活用することで，このような事例を正しく判断することができると考えられる。また， (9), (10)の事例と同様に，アノテーションのミスによって誤りと判定されている事例が確認された. (19) 中の「蔵」は固有表現の一部であり, (20) 中の「草」は非一般的用法として扱われている と考えられる。

## 5 関連研究

本研究と関連している自然言語処理の研究分野として, 新語義検出 (新納, 佐々木 2012) や新語義の用例のクラスタリング (Lau, Cook, McCarthy, Newman, and Baldwin 2012) が挙げられ る.しかし, 本研究で扱う表現は, 特定のドメインにおいて語義が変化するという性質を持つ ため, これらの一般的な語義に着目した研究とは枠組みが異なる. また, Bamman, Dyer, and Smith (2014) は, 話者の地域によって, 語の持つ意味が異なるという点に着目し, 状況に応じた 語の意味表現ベクトルを獲得する手法を提案している．本研究も同様に，同一語の用法の違いに 着目しているが, Bamman らが地域ごとの語の使われ方の違いに着目しているのに対し, 本研究 では語の使われ方が一般的であるかそうでないかに着目する。また, Multi-Word Expression や イディオムのような形で表される単語の用法分類も行われてきた (Kiela and Clark 2013; Salehi, Cook, and Baldwin 2015; Li and Sporleder 2010). 本研究では, 単語の用法の一般性という点に 着目しているため, 対象としている現象の性質という点で, これらは本研究とは異なる.

Web 上で使用される単語の一般的ではない用法に関する研究もいくつか存在する. Cook, Lau, McCarthy, and Baldwin (2014) は, 辞書に採録されていないような単語の用法の検出を行って いる. Cook らが Web 上のテキストを対象としているのに対して, 本研究では, ソーシャルメ ディアにおける単語の非一般的用法に着目している. Sboev (2016) は，インターネットにおい てのみ使われる中国語の俗語表現の分析を行った。山田他 (2016) は，有害情報を表す隠語に焦点を当てて，隠語を概念化するフレームワークを提案し，隠語表現の分類を行った．山田らは，隠語の知識を含んだ辞書を作成し，分類タスクを解いたが，作成した辞書のみでは隠語表現の 多様性の対応に不十分であったと報告している。本研究は, 単語の一般的ではない用法の検出 を行うことに主眼をおいているため，表現の分析に重きをおいているSboev の研究とは目的が 異なる。また，山田らが有害情報を表す隠語に着目しているのに対して，本研究では，隠語の みならず，俗語や若者言葉のような，本来の単語の意味が変化して使われるようになった表現 に着目している。加えて, 山田らがドメインに特化した知識を用いているのに対し, 本研究で 提案する手法ではそのような知識を必要としないという違いがある. 松本, 土屋, 芋野, 吉田,北 (2017) は，若者言葉を代表とする俗語を対象として，それを感性評価軸とその俗語が持って いる意味べクトルを用いることによって，俗語を標準語へ変換する手法を提案した．松本らが 着目している単語は, 臆病の意味で使用される「チキン」というように，その表現の意味する 概念に対して感性的要素が含まれるような単語であった。しかし, 本研究で着目している単語 については,「サーバ」の意味で使用される場合の「鯖」など, 必ずしも感性的な印象が付与さ れるとは限らないため, この点で松本らの研究と着目対象とする単語の性質が異なる.

また, 近年, 単語の分散表現を活用した研究は多肢に渡っており, 時間変化による意味変化や 地域による単語の使われ方の変化, 単語の持つ感情極性の変化を分析するような研究でも広く
使われている技術である (Mitra, Mitra, Riedl, Biemann, Mukherjee, and Goyal 2014; Kulkarni, Al-Rfou, Perozzi, and Skiena 2015; Frermann and Lapata 2016; Eisenstein, O'Connor, Smith, and Xing 2010; Hamilton et al. 2016; Yang and Eisenstein 2016). さらに，一般的な多義性を扱う ための分散表現 (Neelakantan et al. 2014; Vilnis and McCallum 2015; Athiwaratkun and Wilson 2017; Fadaee, Bisazza, and Monz 2017) や文脈をうまく表現するための分散表現 (Melamud et al. 2016; Peters, Neumann, Iyyer, Gardner, Clark, Lee, and Zettlemoyer 2018)なども研究されて きたが, 本研究の目的は, ある特定領域で別の意味を持つ単語の検出であるため, これらの研究とは目的が異なる. 本研究で着目する出力側の単語べクトル $v O U T$ を活用した研究は少ない が， $v^{O U T}$ を効果的に使うことで，文書のランキングや (Mitra et al. 2016) 言語モデルの改善 (Press and Wolf 2017; Kobayashi, Okazaki, and Inui 2017)に有効だったと報告されている.ま た, Yamada, Shindo, Takeda, and Takefuji (2017) は本研究で用いたSGNS を単語に対する知識表現も学習できるように拡張し， $v^{I N}$ は単語ベクトルを， $v^{O U T}$ は $v^{I N}$ に対応する単語の知識表現を学習することによって, Semantic Textual Similarity, Entity Linking, そして Factoid 型質問応答の 3 つのタスクにおいて State-of-the-art を達成している.

## 6 まとめ

本研究では, ソーシャルメディアにおいて辞書に掲載されていない意味で使用される場合が あることが分かっている単語を対象に，単語の一般的ではない用法の自動検出を行った. 提案手法では, Skip-gram with Negative Sampling を用いて均衡コーパスから学習した単語べクト ルを用いて, 着目単語の単語べクトルと着目単語の周辺単語の単語ベクトルの内積に対してシ グモイド関数を適用した値の加重平均を, 着目単語の用法の一般性スコアとして扱い, 一般性 スコアが高い場合に一般的, 低い場合に非一般的と判断する.この際, 従来の研究で一般的に 用いられている $v^{I N}$ だけではなく, $v^{O U T}$ を組み合わせて使用した。

事前に選定した 40 語を対象に，与えられた文における用法が一般的であるかそうでないかア ノテーションしたデータセットを用いた評価実験の結果, 均衡コーパスから学習されたべクト ルを使用し, さらに $v O U T$ ベクトルと加重平均を一般性スコアの計算に活用することで, 高い精度を達成できることを示した. この結果, 出力側単語べクトル $v^{O U T}$ が, 文中のある単語とそ の周辺単語を参照するようなタスクにおいて有用であることを可能性を示している．また，着目単語の周辺単語に対して, それらと着目単語との距離に応じて, 単語ベクトルの重み付けを 行うことによって評価値の向上が見られたことから, 着目単語と距離の近い周辺単語が一般的 ではない用法の検出において，より重要な手がかりとなっていると考えられる。 さらに，提案手法においては，一般性スコアの計算時に機能語を使用しないことで評価値の向上が見られた から, 機能語が持つ情報は一般的ではない用法の検出においては重要ではない可能性があると

## 思われる。

本研究は, ソーシャルメディア上で一般的ではない使われ方がされている語の分析の手始め として取り組んだ。本研究で提案した手法を拡張することにより，ソーシャルメディアにおけ る単語の用法の分析に貢献できると期待される。本研究における評価実験は, 作成したデー夕 セットを用いたクローズドな問題設定だったが，提案手法によって計算された一般性スコアに 対して闇值推定を施すことにより，未知のデータから一般的ではない用法を抽出するなど，オー プンな問題設定に対しても適用可能だと考えられる。ソーシャルメディアにおいて, どのくら いの語が非一般的用法で用いられているかの分析や，単語の一般的ではない用法の検出だけで はなく, その意味の自動獲得などが, 本研究のさらなる発展として考えられる.

## 謝 辞

本論文の一部は, The 2017 Conference on Empirical Methods in Natural Language Processing (EMNLP 2017) で発表したものです (Aoki, Sasano, Takamura, and Okumura 2017).

## 参考文献

Aoki, T., Sasano, R., Takamura, H., and Okumura, M. (2017). "Distinguishing Japanese Nonstandard Usages from Standard Ones." In Proceedings of EMNLP '17, pp. 2323-2328.

Athiwaratkun, B. and Wilson, A. (2017). "Multimodal Word Distributions." In Proceedings of ACL '17, pp. 1645-1656.

Bamman, D., Dyer, C., and Smith, N. A. (2014). "Distributed Representations of Geographically Situated Language." In Proceedings of ACL '14, pp. 828-834.

Cook, P., Lau, J. H., McCarthy, D., and Baldwin, T. (2014). "Novel Word-sense Identification." In Proceedings of COLING '14, pp. 1624-1635.

Eisenstein, J., O’Connor, B., Smith, N. A., and Xing, E. P. (2010). "A Latent Variable Model for Geographic Lexical Variation." In Proceedings of EMNLP '10, pp. 1277-1287.

Fadaee, M., Bisazza, A., and Monz, C. (2017). "Learning Topic-Sensitive Word Representations." In Proceedings of $A C L^{\prime}$ '17, pp. 441-447.

Frermann, L. and Lapata, M. (2016). "A Bayesian Model of Diachronic Meaning Change." Transactions of the Association for Computational Linguistics, 4, pp. 31-45.

Gharbieh, W., Virendra, B., and Cook, P. (2016). "A Word Embedding Approach to Identifying Verb-Noun Idiomatic Combinations." In Proceedings of the 12th Workshop on Multiword Expressions, pp. 112-118.

Hamilton, W. L., Clark, K., Leskovec, J., and Jurafsky, D. (2016). "Inducing Domain-Specific Sentiment Lexicons from Unlabeled Corpora." In Proceedings of EMNLP '16, pp. 595-605.

Kawahara, D. and Kurohashi, S. (2006). "Case Frame Compilation from the Web using HighPerformance Computing." In Proceedings of LREC '06, pp. 1344-1347.

Kiela, D. and Clark, S. (2013). "Detecting Compositionality of Multi-Word Expressions using Nearest Neighbours in Vector Space Models." In Proceedings of EMNLP '13, pp. 1427-1432.

Kingma, D. P. and Ba, J. (2015). "Adam: A Method for Stochastic Optimization." In Proceedings of ICLR '15.

Kobayashi, S., Okazaki, N., and Inui, K. (2017). "A Neural Language Model for Dynamically Representing the Meanings of Unknown Words and Entities in a Discourse." In Proceedings of IJCNLP '17, pp. 473-483.

Kulkarni, V., Al-Rfou, R., Perozzi, B., and Skiena, S. (2015). "Statistically Significant Detection of Linguistic Change." In Proceedings of $W W W$ '15, pp. 625-635.

Lau, J. H., Cook, P., McCarthy, D., Newman, D., and Baldwin, T. (2012). "Word Sense Induction for Novel Sense Detection." In Proceedings of EACL '12, pp. 591-601.

Levy, O. and Goldberg, Y. (2014). "Neural Word Embedding as Implicit Matrix Factorization." In Proceedings of NIPS '14, pp. 2177-2185.

Levy, O., Goldberg, Y., and Dagan, I. (2015). "Improving Distributional Similarity with Lessons Learned from Word Embeddings." Transactions of the Association for Computational Linguistics, 3, pp. 211-225.

Li, L. and Sporleder, C. (2010). "Linguistic Cues for Distinguishing Literal and Non-Literal Usages." In Proceedings of COLING '10, pp. 683-691.

Maekawa, K., Yamazaki, M., Maruyama, T., Yamaguchi, M., Ogura, H., Kashino, W., Ogiso, T., Koiso, H., and Den, Y. (2010). "Design, Compilation, and Preliminary Analyses of Balanced Corpus of Contemporary Written Japanese." In Proceedings of LREC '10, pp. 1483-1486.

松本和幸, 土屋誠司, 芋野美紗子, 吉田稔, 北研二 (2017). 感性を考慮した日本語俗語の標準語変換. 人工知能学会論文誌, 32 (1), p. WII-A_1-12.

Melamud, O., Goldberger, J., and Dagan, I. (2016). "context2vec: Learning Generic Context Embedding with Bidirectional LSTM." In Proceedings of CoNLL '16, pp. 51-61.

Mikolov, T., Sutskever, I., Chen, K., Corrado, G. S., and Dean, J. (2013). "Distributed Representations of Words and Phrases and their Compositionality." In Proceedings of NIPS '13, pp. 3111-3119.

Mitra, B., Nalisnick, E. T., Craswell, N., and Caruana, R. (2016). "A Dual Embedding Space Model for Document Ranking." arXiv: 1602.01137.

Mitra, S., Mitra, R., Riedl, M., Biemann, C., Mukherjee, A., and Goyal, P. (2014). "That's Sick Dude!: Automatic Identification of Word Sense Change Across Different Timescales." In Proceedings of ACL '14, pp. 1020-1029.

Neelakantan, A., Shankar, J., Passos, A., and McCallum, A. (2014). "Efficient Non-parametric Estimation of Multiple Embeddings per Word in Vector Space." In Proceedings of EMNLP '14, pp. 1059-1069.

Peters, M. E., Neumann, M., Iyyer, M., Gardner, M., Clark, C., Lee, K., and Zettlemoyer, L. (2018). "Deep Contextualized Word Representations." In Proceedings of NAACL:HLT '18, pp. 2227-2237.

Press, O. and Wolf, L. (2017). "Using the Output Embedding to Improve Language Models." In Proceedings of EACL'17, pp. 157-163.

Řehůřek, R. and Sojka, P. (2010). "Software Framework for Topic Modelling with Large Corpora." In Proceedings of Workshop on NewChallenges for NLP Frameworks, pp. 45-50.

Salehi, B., Cook, P., and Baldwin, T. (2015). "A Word Embedding Approach to Predicting the Compositionality of Multiword Expressions." In Proceedings of NAACL-HLT '15, pp. 977-983.

Sboev, A. (2016). "The Sources of New Words and Expressions in the Chinese Internet Language and the Ways by Which They Enter the Internet Language." In Proceedings of PACLIC '16, pp. 355-361.

新納浩幸，佐々木稔 (2012). 外れ値検出手法を利用した新語義の検出. 自然言語処理，19, pp. 303-327.

Vilnis, L. and McCallum, A. (2015). "Word Representations via Gaussian Embedding." In Proceedings of ICLR' 15 .

山田大，安彦智史，長谷川大，MichalPtaszynski，中村健二，佐久田博司 (2016). ID 交換掲示板における書き込み有害性評価に向けた隠語概念化手法の提案. 言語処理学会第 22 回年次大会発表論文集, pp. 49-50.

Yamada, I., Shindo, H., Takeda, H., and Takefuji, Y. (2017). "Learning Distributed Representations of Texts and Entities from Knowledge Base." Transactions of the Association for Computational Linguistics, 5, pp. 397-411.

Yang, Y. and Eisenstein, J. (2016). "Overcoming Language Variation in Sentiment Analysis with Social Attention." arXiv:1511.06052.

## 略歴

青木 竜哉：2016 年筑波大学情報学群情報メデイア創成学類卒業. 2018 年東京

工業大学工学院博士前期課程修了. 同年より, 同大学院博士後期課程に在籍.

笹野 遼平：2009 年東京大学大学院情報理工学系研究科博士課程修了. 京都大学特定研究員, 東京工業大学助教を経て, 2017 年より名古屋大学准教授. 博士 (情報理工学). 自然言語処理, 特に述語項構造解析に関する研究に従事.言語処理学会, 情報処理学会, 人工知能学会各会員.

高村 大也：1997 年東京大学工学部計数工学科卒業. 2000 年同大大学院工学系研究科計数工学専攻修了 (1999 年はオーストリアウィーン工科大学にて研究). 2003 年奈良先端科学技術大学院大学情報科学研究科博士課程修了. 博士 (工学)。2003 年から 2010 年まで東京工業大学精密工学研究所助教. 2006 年 にはイリノイ大学にて客員研究員. 2010 年から 2016 年まで同准教授. 2017 年より同教授および産業技術総合研究所人工知能センター知識情報研究チー 么研究チーム長. 計算言語学, 自然言語処理を専門とし, 特に機械学習の応用 に興味を持つ。

奥村学：1962 年生. 1984 年東京工業大学工学部情報工学科卒業. 1989 年同大学院博士課程修了. 同年, 東京工業大学工学部情報工学科助手. 1992 年北陸先端科学技術大学院大学情報科学研究科助教授, 2000 年東京工業大学精密工学研究所助教授, 2009 年同教授, 現在は, 科学技術創成研究院教授. 2017 年より, 理化学研究所革新知能統合研究センター (AIP) 客員研究員を兼務.工学博士. 自然言語処理, テキスト要約, 語学学習支援, テキスト評価分析, テキストマイニングに関する研究に従事. 情報処理学会, 電子情報通信学会,人工知能学会, AAAI, ACL, 認知科学会, 計量国語学会各会員.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/