# ニューラル分類器の予測の解釈に基づく 集団に特徴的なテキスト表現の抽出: アメリカ人を例に

渡邊 幸暉 村脇有吾 黒橋禎夫
京都大学大学院情報学研究科
\{k-watanabe, murawaki, kuro\}@nlp.ist.i.kyoto-u.ac.jp

## 概要

本研究では、ある集団に特徴的なテキスト表現を その他の集団との比較により抽出する手法を提案す る。提案手法は、 2 種類のテキストを識別する分類器を訓練したうえで、ニューラルネットの説明手法 に基づいて、分類器の予測に貢献する入力テキスト 中の表現を特定する。具体例としてアメリカの文化 や歴史を背景とした表現に取り組み、データセット の構築や評価実験を行う。

## 1 はじめに

人々の言語使用は、国や社会階層といった自身が 属する集団の文化を反映していると考えられる。そ の性質を解明することで、例えば異文化コミュニ ケーションの支援といった応用が期待できる。

この研究課題への有力な取り組みは、異なる集団 が産出したテキスト同士の比較を通じて差異を解明 するというもので、対照研究あるいは比較研究とよ ばれる [1]。こうした対照研究は、主に社会言語学 を中心としたいわゆる文系の研究者によって進めら れてきた。例えば、ウェブ、新聞記事、聖書といっ た様々な言語資料を比較することで、異なる集団が 用いるテキスト表現の違いを明らかにできる [2]。

従来研究のうち人手による事例分析は、客観性を 担保するのが難しい。また、対象テキストが数十件 から数百件程度にとどまるなど、規模にも限界があ る [3]。コーパスに基づく分析は客観性の問題を改善するが、人手によるアノテーションを必要とする 場合はやはり規模に限界がある。自動分析を行う場合も、単語のような断片的で言語的に表層的な手が かりしか扱えないという課題が残る。

本研究ではこれらの対照研究の課題を解決する ために、説明可能な AIを応用した手法を提案する。
(3) r/NoStupidQuestions $\cdot$ Posted by u/MossLover6465 22 days ago Guys, who is Uncle Sam?

I ain't American and kinda hear about him a lot. Is he a fictional character or he existed at some point?

MrLongJeans $\cdot 22$ days ago

Uncle Sam means the government, like I owe Uncle Sam a third of my paycheck in taxes. He is usually personified in the I Want You recruiting poster from WW2:

図 1 Reddit でのやりとりの一部

出典 : https://www.reddit.com/r/NoStupidQuestions/ comments/z7h6fs/guys_who_is_uncle_sam/

提案手法はデータ駆動型の取り組みにより客観性と 規模性を確保するとともに、近年のニューラルネッ トの強力な文脈処理能力を活用することで、従来の 自動分析では扱うのが難しかったような長いテキス 卜表現を探索的に抽出する。ニューラルネットは高 い性能の代償としてその振る舞いがブラックボック ス化することが問題視されているが [4]、その解決策として説明可能な AI の研究が盛んに進められて いる [5][6]。本研究のキーアイデアは、その成果を 応用し、ニューラルネットが異なる集団による 2 種類のテキストをどのような手がかりを用いて識別し たかを解釈することを通じて、テキスト間の差異の 原因を表現レベルにまで絞り込むことである。

提案手法の具体的な適用事例としてアメリカ人に 着目する。アメリカは第二次世界大戦以来超大国と され [7]、特に冷戦後は唯一の超大国であるとされて いる [8]。国際社会におけるアメリカの存在感は著 しく、文化、経済、科学技術などの分野で他の国々 がアメリカを追随する形で世界が発展している。

こうした背景のもと、アメリカ国内のコンセンサ スが世界のコンセンサスであるかのような言動が見 られることがある。具体的には、アメリカ以外の国 の人がいる場でも、アメリカ人にしか理解できない ような表現が使われてしまう。図 1 は、英語圏の才

ンライン掲示板 Redditで、アメリカ人ではないとい う投稿者がよく耳にするという“Uncle Sam”という 人物について尋ねている様子を示す。この例では、 “Uncle Sam” は特定の人物を指す言葉ではなく、ア メリカ合衆国政府を意味する熟語であることが説明 されている。

このようにアメリカの文化や歴史を背景とする表現を本研究ではアメリカニズムとよぶ (表 A.1)。ア メリカニズムを抽出して提示することにより、アメ リカ以外の国の人に対して意図せずアメリカニズム を使用してしまう事態を回避し、より円滑なコミュ ニケーションが可能になることが期待される。

本研究では、アメリカ人が書いた文と他の英語圈 の国の人が書いた文を比較することで、アメリカニ ズムを抽出する。クローリングによるデータセット 構築、Reddit が SNS であることを利用した対象の効果的な絞り込み、BERT に基づく強力なニューラル 分類器の訓練を行ったうえで、説明手法の適用によ り表現の抽出を行う。抽出例を人手で分析したとこ ろ、実際にアメリカニズムが抽出できていることが 確認できた。

## 2 関連研究

提案手法の基本的なアイデアは Harust ら [9] に由来する。Harust らは英語表現のなかには母語話者に 特徴的なものがあると仮定し、英語母語話者による テキストと第二言語話者によるテキストを比較す ることでそのような表現を抽出した。まず、Reddit の投稿から作成した話者国籍別の英文データセッ ト [10]を利用して、入力されたテキストが英語母語話者のものか第二言語話者のものかを識別する 分類器を作成した。この分類器に対して、説明手法 の1つである contextual decomposition [11]を適用し、分類器の出力スコアに対する入力テキスト中の各表現の貢献を近似的に求めた。このスコアを当該フ レーズの母語話者らしさとみなし、スコアの高いフ レーズを母語話者に特徵的な英語表現の候補とし ている。この分類器の訓練には complementary-label learning [12]を応用した手法が使われており、通常 の2つのラベルに加え、「どちらとも言えない」と いう特殊ラベルが導入されている。

Harust らは言語的な興味から英語母語話者と第二言語話者を比較したのに対し、本研究は文化的な観点からアメリカ人とその他の英語圈の人を対照す る。また、Harust らは分類器をLSTM を用いて構築
MortimerDongle $\cdot 26$ days ago

媐United States of America

Is testing homes for radon and installing vent fans for it uncommon?

\ $\oiint$ Reply Give Award Share Report Save Follow

図 2 Reddit で国籍を表明するタグが使用されている例投稿者がアメリカ国籍であることが表明されている 出典 : https://www.reddit.com/r/AskEurope/comments/ z81amu/comment/iycx57x/

表 1 構築したデータセットの国籍の内訳

したのに対して、本研究はより強力な BERTを用い るなど、様々な点で手法に改良を加えている。

## 3 データセットの構築と絞り込み

## 3.1 データセットの構築

Harust ら [9] は話者国籍別の英語テキストとして Reddit に由来するデータセット [10]を用いた。この データセットは、Reddit 内の一部のコミュニティで 投稿者が自らの国籍をタグ (flair、図 2)で表明して いることを国籍判別の手がかりとして利用してい る。原著者らの目的は、母語識別タスク (例えば英文の書き手がドイツ人であることを判別するなど) だが、アメリカやその他の英語圈の国が収録されて おり、本研究の目的にも利用できる。

このデータセットには投稿本文とその国籍ラベル のみが収録されている。しかし、例えば、Redditが SNS であり、投稿者同士が関係を持っていることを 利用すれば、より高品質にアメリカニズムが抽出で きるかもしれない。こうした動機に基づき、本研究 では独自に Reddit のクローリングを行った。

本研究では、アメリカと、比較対象として英語圏 のその他の 3 力国を対象とした。先行研究 [10] と比較すると、国籍判別の手がかりをを拡大している。投稿者が用いるタグは自由記述だが、先行研究は国名のみに着目していた。これに対し、本研究ではア メリカ国内の州名やその他の地名1)も利用した。こ うしたタグの使用者はより内向きでアメリカニズム を表出する可能性が高いと期待できる。 データセット構築結果を表 1 に示す。州名や地名
 というものもあった。

図 3 分析対象の絞り込みの手順

のタグも利用してことにより、アメリカ国籍の投稿者の投稿を多く収集できていることが分かる。

## 3.2 分析対象の絞り込み

一般に、ある集団の話者が産出したテキストに 必ずその集団に特徵的な表現が出現するとは限ら ない。この問題に対処するために、Harust ら [9] は、母語話者と第二言語話者という 2 つのラベルに加 えて、「どちらとも言えない」という特殊ラベルを 導入し、特徴的な表現が出現しないテキストを吸収 させていた。この目的のために complementary-label learning という機械学習手法を応用していた。

Harust ら [9] はこの 3 值分類器に説明手法を直接適用していたが、本研究ではまず 3 值分類器を使っ て分析対象となるデータを絞り込んだうえで、改め て 2 值分類器を訓練する (図 3)。処理段階を段階的 に行うことで、例えば次節で示すように、Reddit の 特性を利用したデータの質の改善が容易になる。

## 3.3 投稿者同士の関係の利用

Reddit の SNS としての特性は、データの質の改善 に貢献し得る。例えば、アメリカ人同士での交流が 中心の投稿者は、他の国の人との交流が多いアメリ カ人よりもアメリカニズムを表出する可能性が高 い。そこで、投稿者が自分と異なる国籍の投稿者に 対する返信の割合を手がかりとして利用する。具体的には、投稿者に対して国際性スコアを付与する。

投稿者の国際性スコア $=$

その投稿者が自身と異なる国籍の人に返信した数返信先のうち、タグによって国籍が分かっている数 この国際性スコアは、絞り込み用の分類器に追加の 特徵量として与える。

実験では、表 1 のアメリカと、アメリカ以外の国 をまとめたその他の国の識別を行った。分類器と しては BERT [13]を用い、各ラベル 900 万文ずつを

図 4 sampling and occlusion algorithm $の$ 実行例四角で囲われた部分がランダムに変更された文中の語を 表す。

ここでは簡単のため 3 文に対する出力の平均としている。

使って訓練を行った。結果を表 A. 2 に示す。国際性 スコアを付加することで、「どちらとも言えない」 に分類された割合が減った2)にも関わらず、正しく 分類できた割合が増えている。したがって、国際性 スコアは絞り込みの精度向上に貢献していると判断 できる。

図 1 や表 A. 1 で示したアメリカニズムの具体例に ついて、絞り达み前後での登場頻度の変化を表 A. 3 に示す。特に登場回数が数千程度の例については、絞り込みにより、アメリカラベルのテキストにより 偏って出現するようになったことが確認できる。

## 4 分類器の説明手法を使った各表現 のアメリカらしさの評価

## 4.1 分類器の説明手法の利用

本研究で用いる分類器の説明手法は、分類器の出力に対して、入力テキストのどの部分が強く貢献し たかを明らかにする。本研究では、絞り込み後の データを用いて、アメリカとその他の国を識別する 2 値分類器を訓練している。したがって、分類器が アメリカラベルを予測した際、その予測に強く貢献 した大力文中の表現が、アメリカらしい表現、すな わちアメリカニズムであるとみなせる。

テキストの分類器の説明手法は複数提案され ているが、本研究では sampling and occlusion (SOC) algorithm [14]を利用する。ある表現を分析対象とし たとき、原文中のその表現をパディングトークンで 置き換えて再分類を行うと、もとの出力スコアから の差分をその表現の貢献と見なせる。ただし、この スコアの差分はその表現の前後の文脈によって変化 する。SOC は、この文脈依存性を取り除くために、文脈中の語をランダムに変更した場合を考慮して、当該表現の評価値を求める (図 4)。実験では、1つ


の大力に対して 20 文のサンプリングを行った。

## 4.2 分析対象となる表現の取り出し

分類器の説明手法を利用するためには、分析対象 となる表現を指定する必要がある。Harust らは入力文中ののすべての 5-gram までを分析の対象として いたが、これでは明らかに意味をなさない表現が対象に含まれる、長さが 6 以上の表現は分析の対象に できないなどの問題点がある。

そこで、本研究では文に対する句構造解析を適用 し、その結果を用いて表現を取り出す。具体的に は、句構造解析によって得られた構文木の各頂点に ついて、その子孫となる単語列を一つの表現として 利用する。Harust らの手法と比べて、明らかに意味 をなさない表現が含まれない、長さが 6 以上のもの も取り出せるなどの利点がある3)。

## 4.3 既知のアメリカニズムを用いた分析

アメリカニズムの抽出は探索的なタスクであり、定量的な評価自体が挑戦的な課題である。そのた め、まずは簡易的な評価として、既知のアメリカニ ズムを含む文に対する提案手法の振る舞いを調査 した。

説明手法を適用する 2 值分類器としては BERTを 用い、アメリカとその他の国の各ラベル 900 万文を 用いて訓練した。注目する表現に対して、そのアメ リカラベルへの貢献度から他の国のラベルへの貢献度を引いたものを評価値として用いる。この評価値 が正であればアメリカらしい表現、負であれば他の 国らしい表現であると評価されたことになる。

結果を表 A. 4 に示す。上の 3 例は図 1 や表 A. 1 で 見たアメリカニズムの例、一番下は他の国のラベル に含まれるイギリスに特徴的な表現の例である。実際の評価値はアメリカニズムの例に対して正、イギ リスに特徴的な表現で負となっていることが確認で きる。

## 4.4 抽出結果の人手評価

次に、提案手法が抽出した表現を人手で評価し た。 3.2 節で説明したデータセットのうち 250 万文 に対して、4.2 節で述べた手順で分析対象表現を列挙し、各表現に対して説明手法を適用して評価値を 求めた。各表現の頻度を集計し、10 回以上出現す

3）例えば "I owe Uncle Sam a third of my paycheck in taxes." とい う文の場合、5-gram までで表現を取り出した際の候補は 45 個になるのに対し、句構造解析を用いると 19 個となる。
る表現を対象としたところ、約 127,800 個の表現を 得た。このうち頻度上位 $1 \%$ から 100 個の表現をラ ンダムに選んで人手で評価した。長い表現のうちど の部分を抽出すべきかは判断が難しいため、アメリ カらしい表現が含まれていれば正解と判定した。な お、本論文の著者は全員が日本に住む日本語話者で あるため、見逃したアメリカニズムがある可能性は 否定できない。

調査の結果、100 個中 51 個がアメリカらしい表現であった。このうち、アメリカ国内の固有名詞が 2 個 (Buick や Grunhub)、アメリカ英語の綴り (イギ リス英語の favour や honour に対する favor や honor など)を含む表現やアメリカ的な言い回し (home improvement store や、イギリス英語の grocery shop に 対する grocery store) が 35 個であった。小切手の意味の check にはアメリカ英語であり、イギリス英語では cheque と綴るが、check という単語自体はイ ギリス英語でも用いられる。提案手法は writing a check という、check の語義が特定できる形の表現を 抽出しており、ニューラルネットの高い文脈処理能力がうかがえる。 51 個のうち残り 14 個が、アメリ カの文化や歴史を色濃く反映した、狭義のアメリカ ニズムと判断できるものであった (表 A.5)。この結果は、探索的用途において提案手法がアメリカニズ ムの効率的発見に利用可能であることを示唆する。

正解と判定しなかった 49 個のうち 7 個は college を含む表現だった。college とよばれる機関自体は英語圏に広く存在するが、Reddit 上ではアメリカの機関の存在感が大きく、他の国での用法を頻度上圧倒 した可能性がある。

## 5 おわりに

本研究では、ある集団に特徴的なテキスト表現を テキストの分類器の説明手法を活用して抽出する手法を提案し、その具体な適用事例として、アメリカ 人に特徴的な表現であるアメリカニズムを抽出し た。分析対象をアメリカに特徴的な表現が含まれる ものに絞り込むことで、アメリカニズムの出現頻度 に大きな偏りが発生して分析がしやすくなること を示し、実際の説明手法の適用で良好な結果が得ら れることを確認した。また、提案手法を実行した結果、評価值が高かったものからアメリカニズムを発見することに成功した。今後は、別の対象研究への 提案手法の適用などについても検討したい。

## 参考文献

[1] 井上優. 対照研究について考えておくべきこと. 一橋日本語教育研究, Vol. 3, pp. 1-12, 2015.

[2] 河正一. 社会言語学的調査の状況一言語行動に関 する日韓対照研究を中心に一. 計量国語学, Vol. 31, No. 8, pp. 572-588, 2019.

[3] 佐々木倫子. 言語の対照研究と言語教育. 日本語科学, Vol. 3, pp. 127-134, 1998.

[4] Yavar Bathaee. The artificial intelligence black box and the failure of intent and causation. Harvard Journal of Law \& Technology, Vol. 31, No. 2, pp. 890-938, 2018.

[5] Riccardo Guidotti, Anna Monreale, Salvatore Ruggieri, Franco Turini, Fosca Giannotti, and Dino Pedreschi. A survey of methods for explaining black box models. ACM Comput. Surv., Vol. 51, No. 5, pp. 1-42, 2018.

[6] Venessa Buhrmester, David Münch, and Michael Arens. Analysis of explainers of black box deep neural networks for computer vision: A survey. Mahine Learning and knowledge extraction 2021, pp. 966-989, 2021.

[7] William T. R. Fox. The Super-Powers; The United States, Britain, and the Soviet Union- Their Responsibility for Peace. New York: Harcourt, Brace and Company., 1944.

[8] Ian Bremmer. These are the 5 reasons why the U.S. remains the world's only superpower, 2015. https://time.com/ 3899972/us-superpower-status-military/.

[9] Oleksandr Harust, Yugo Murawaki, and Sadao Kurohashi. Native-like expression identification by contrasting native and proficient second language speakers. In Proceedings of the 28th International Conference on Computational Linguistics, 2020.

[10] Ella Rabinovich, Yulia Tsvetkov, and Shuly Wintner. Native language cognate effects on second language lexical choice. Transactions of the Association for Computational Linguistics, Vol. 6, pp. 329-342, 2018.

[11] W. James Murdoch, Peter J. Liu, and Bin Yu. Beyond word importance: Contextual decomposition to extract interactions from LSTMs. In International Conference on Learning Representations, 2018.

[12] Takashi Ishida, Gang Niu, Weihua Hu, and Masashi Sugiyama. Learning from complementary labels. In Advances in Neural Information Processing Systems, 2017.

[13] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), 2019.

[14] Xisen Jin, Zhongyu Wei, Junyi Du, Xiangyang Xue, and Xiang Ren. Towards hierarchical importance attribution: Explaining compositional semantics for neural sequence models. In International Conference on Learning Representations, 2020 .

## A 参考情報

表 A. 1 アメリカニズムの例

 & 形勢が逆転する様 \\

表 A. 2 絞り込み分類器の学習結果

 &  \\

表 A. 3 データの絞り込みによる、データ中のアメリカニズムの登場回数の変化 (括弧内は残存率)

表 A. 4 Reddit 上の実際の投稿文に対する、説明手法の適用結果

表 A. 5 分類器の説明手法による評価値が高かった表現から発見されたアメリカニズム

 &  &  \\


 渡邊 幸暉 村脇有吾 黒橋禎夫 京都大学大学院情報学研究科 \{k-watanabe, murawaki, kuro\}@nlp.ist.i.kyoto-u.ac.jp  