# 日本語のシ接続とシテ接続との対応から見た 韓国語の接続語尾「-고」と「-ㅅ」」の使い分けの提案

滝澤宇大 ${ }^{1}$ 西口純代 $^{2}$
1 小樽商科大学商学部商学科 2 小樽商科大学言語センター

## 概要

日本語の「〜 (し)て」に対応する韓国語の一当とー서 の使い分けの紛らわしさを解消するための方法、考 え方の提案を日本語の中止形接続と絡め、検討した。一胥とー众の様々な用法の例文をシ接続とシテ接続 $\mathrm{i}$ で訳し、接続の自然さや文が表す意味を考察した結果、一甹がシ接続、ー서がシテ接続と似た機能を持つ ことがわかった。これにより、前後節に関連性があ る接続における、関連性の強さの差を主張すること ができた。似た紛らわしい用法において関連性がよ り強い方には-서、関連性が弱いと言える方には-고 を用いるという考え方を提案した。

## 1 はじめに

本稿では日本語の「〜(し)て」に対応する韓国語 の接続語尾-고と-서使い分けの誤用について取り 上げる。「〜(し)て」には多くの用法があり、日本語ではその用法および意味を一つ一つ理解し意識的 に使い分ける必要がないが、韓国語では-ㄱと一서 使い分けなければならない。韓国語学習者の使い分 けの誤用の傾向と要因を分析した結果を踏まえ、日本語の中止形接続を絡めた使い分けの方法を提案す る。

## 1.1 「-고」と「-서」の用法の分類永原 (2017)は日本語の「〜 (し)て」と韓国語の一贡、一釡の対応について以下のようにまとめている。

「(1)並列 : -고と対応

(2)時間的継起 (先行、順序): -고、 - 어서と対応

(3)起因的継起(原因・理由): -어서と対応

(4)きつかけ(契機): -고と対応

(5)付帯状態(同時進行、手段・方法、条件)

: -어서と対応する場合が多いが、

一部〈様態〉を表す一ㄱ. を含む」

(永原, 2017, p. 170)

この分野に関する先行研究においてはそれぞれの用法の分類が研究者ごとに異なる部分があるが、本稿 では基本的にこの永原の分類に従った。

## 1.2 日本人学習者の誤用の傾向

日本人の韓国語学習者を対象にこの使い分けの理解度を測るテストを実施したところ、以下の 4 つの ことがわかった。

〈1〉[並列]、[原因・理由]といった-ㄱー一ㅅそれぞ れの中心的な意味の理解度は高い。

〈2〉時間的継起の [順序]の-고と [先行]の一利におけ る「前後節の関連性の有無」による使い分けの考え 方"が学習者によく浸透している。

〈3>中心的な意味から外れ、テキスト等に掲載されな い用法 ([きっかけ] [付帯状態])の理解度が低く、こ れらの用法にも時間的継起における使い分けの考え 方を適用してしまうと誤用が生じる。

〈4〉[原因・理由]の一利と［きっかけ]のの-고 [手段・方法 $]$ の一利と [様態 $]$ の一고いった似たような用法 における使い分けが学習者にとって紛らわしく誤用 が多い。

以上を踏まえて、〈4〉の似た用法がそれぞれどう違 うのか示し、その違いが学習者に浸透している $<2>$ の考え方と共通することを示すことができれば、学習者にとって理解しやすい、紛らわしさを解消する 方法といえる。また実施したテストの内容と結果に ついては付録の表 1 を参照されたい。

## 2 日本語の中止形接続との対応

## そもそも日本語の「して」は動詞「する」の連用形「し」に接続助詞の「て」がついた形である。「学校に行って、勉強する」のような前節と後節の接続 がテ形接続と呼ばれるのに対し、「学校に行き、勉

強する」のように「て」をつけずに連用形のままマ ス形でつなぐ形は連用中止接続、中立形接続などと 呼ばれる。どちらも文を中止する機能を持った中止形である。本稿ではテ形接続を「シテ接続」、連用中止接続を「シ接続」と呼ぶ。益岡(2012)はシ接続 は「単純列挙(並列)の表示を基本とし、場合によっ て連用関係の一部 (継起/因果)の意味を含意」し、シ テ接続は「広義連用関係の主要な意味領域である「並列・時間・論理 (広義因果) ・様態」の意味を包括的 に表す」としている(p.4)。一巫がシ接続、一ㅅがシテ 接続にそれぞれ対応し、似たような機能を持つので はないかと考え、次の検証を行った。

## 2. 1 検証

一ㄱとー서で接続されるそれぞれの用法の韓国語の 例文を、シ接続とシテ接続で訳し、どちらが適当で より自然な文章になるか、その接続がどう言った意味を表すかを考察したただしここでの不自然さとは、 シ接続が書き言葉的で、シテ接続が話し言葉的な文体であることからくる不自然さではなく、文があら わす意味の不自然さや接続の不自然さとする。自然 な接続に○、どちらの接続でも自然な場合、よりふ さわしい接続と考えられればその接続に）、やや不自然な文には $\triangle$ 、明らかに不自然なものにはメをつ けた。

## [並列]

a. 여름”은 "덥고"겨울은 추워요.

夏は<暑く()/暑くて $(\bigcirc)>$ 、冬は寒いです。

b. 남편은 영화를 봤고 처는 쇼핑했어요.

夫は映画を $<$ 見 $(X) /$ 見て $(\bigcirc)>$ 、私は買い物をしま した。

$\mathrm{b}^{\prime}$. 저는 쇼핑했고 남편은 영화를 "봈어요.

私は買い物をくし（○)/して（○)>、夫は映画を見ま した。

c. 배가 아프고 머리도 아파요."

お腹が＜痛く()/痛くて $(\bigcirc)>$ 、頭も痛いです。

[並列 $]$ の用法は韓国語では-走のみが対応する用法 であるが、シ接続もシテ接続も用いることができた。 ただ益岡 (2012)は[並列]の領域で両者(シ接続とシ テ接続) は競合関係にあるとしながらも「同類の事態」や「関係する複数の事態を分立・対立する」単純列挙では、「同次元的な共存関係を示すことから、中立系接続が優先される (p. 4 5)」(中立形接続=シ接続)としている。確かに、話し言葉において並列の 用法でもシテ接続が多用されるため不自然な感じが しないが、ここでの「て」は単なる接続の機能だけ を担ったもので、前件と後件の並列感、羅列感は連用形の部分が担っているといえる。そのため [並列] の接続においてはシテ接続よりもシ接続がより適し ていると考える。また「見る/寝る/着る/来る」など のように連用形が一拍のものにはシ接続は一般的に 用いられにくくシテ接続が用いられるため、例文(1) のb’はシ接続が不自然な文になった。

## [継起 (順序/先行)]

a. 오늘은 “친구를 만나고 영화관에 "갔”어요."

今日は友達に<会い $(\bigcirc) /$ 会って $(\bigcirc)>$ 、映画館に行 きました。

b. 오늘은 "친구를 만나서 영화관에 "갔어요.

今日は友達に<会い $(\bigcirc) /$ 会って $(\bigcirc)$ >、映画館に行 きました。

c. 저녁을” 먹고륵을" 먹었”어요.

夕飯をく食べ $(\bigcirc) /$ 食べて $(\bigcirc)>$ 、薬を飲みました。 d.아침밥을 "먹고 회사에 가요.

朝ごはんを $<$ 食べ $(O) /$ 食べて $(O)>$ 、会社に行きま す。

e.도서관에 가서 공부헤요.

図書館にく行き $(O) /$ /行って $(\bigcirc)>$ 、勉強します。

f.은행에서 "돈"을 찾아서 책을" 샀"어요."

いました。

[継起]の用法において韓国語では関連性のない前後の動作を時間的に羅列した[順序]では-ㄱ、前件が 後件の動作の前提になるなど前後に関連性のある動作を接続した[先行]ではーㅅを用いる。(2)の例文にお いて、a, c, d がーㄱ用いる[順序]、b, e, f が-서用 いる [先行]の例文である。どの文においてもシ接続 とシテ接続を用いることができ不自然な文にはなら なかったが、どちらを用いるかによって表す意味に 違いもみられた。aが「その友達とは別れて映画館 に行ったこと」を表すのに対し、bは「その友達と 映画館に行ったこと」を表し、この意味の違いを韓国語では-ㄱー서で使い分ける。しかしシ接続、シ テ接続のどちらで訳しても両方の意味を受け取るこ とはできた。c とdにおいても、どちらの接続でも 前後の動作をただ順序付ける文になったが、シテ接続を用いると「て」の完了の意味がより強く出た。

そのため前後の順序を強調する「〜してから」の意味を表したい場合はシテ接続が適していると言える。 ただ韓国語においてはそのどちらの表現でも一甹を 用いる。e と fにおいても、シテ接続を用いると「(行 って)そこで」、「(おろして)そのお金で」というよ うに前件が後件のための動作である意味、前後の結 びつきの強さを受け取ることができたが、シ接続で はそれが薄まった。益岡(2015)は「よく考えてお返事いたします。」を例に挙げ、継起の用法について 「先後関係が明瞭な場合はテ形が優先される (p.4)」 としている。たしかにシ接続に比べてシテ接続を用 いた方が前後節の順序が明確化する。このように継起の用法においては、シ接続がー고、シテ接続がー스 それぞれ対応するとは言い切れなかった。

## [原因・理由/きっかけ]

a. 많이 먹어서 배가 불러요.

たくさん $<$ 食べ $(\triangle) /$ 食べて $(\bigcirc)>$ 、お腹がいっぱい です。

b. 너무"바빠서 공부 못했어요.

あまりにく忙しく $(\triangle) /$ 忙しくて $(O)>$ 、勉強できま せんでした。

c. 친구가 합격했다는 소식"을 들고 놀랐어요.

友達が合格したという知らせをく聞き $(\bigcirc) /$ 聞いて (○)>、驚きました。

[原因・理由]における用法では $\mathrm{a}, \mathrm{b}$ が-서、c は永原（2017）において[原因・理由] と区別される［きっか け]としてー고゙用いられる例文である。[きっかけ] に分類される文においても前件が後件の原因・理由 になっている、という考え方により [原因・理由]の -서 [きっかけ]の-고区別が日本人学習者にとっ て難しい。a, b はシ接続を用いると前後が切れて繋 がりがやや不自然な文になった。 c においてもシテ 接続の方が前後に因果関係を強く感じることができ たが、シ接続が不自然な文にはならず[継起]の意味 が強く出た文として成立した。[原因・理由]の文 (a, b)がシ接続にすると前後の結びつきが切れて不自然になったのに対し、[きっかけ]の文 (c)ではシ接続で前後の結びつきが切れても影響なく文として成立した。このことから [原因・理由]に比べると[きっ かけ]は前後の結びつきが弱いという考え方ができ る。シ接続が成立するかしないかという点から [原因・理由] と [きっかけ] の用法における前後節の結び つきの強さに違いがあると言う考え方ができた。こ
れは二つの用法における-고と-서使い分けの紛ら わしさを解消する手段の一つになりうると考える。

## [付帯状況 (手段 - 方法/様態)]

a. 걸어서 "학교에" 가요.

<歩き $(X) /$ 歩いて $(\bigcirc)>$ 、学校に行きます。

b. 버스를 타고 학교에 가요.

バスに<乘り $(\bigcirc) /$ 乗って (○)>、学校に行きます。

c. 알바이트를 해서 돈을 "모았어요.

アルバイトをくし $(\triangle) /$ して $(\bigcirc)>$ 、お金を貯めまし た。

d. 고무창갑을 끼고 설거지를 "해요.

ゴム手袋をくはめ $(\bigcirc) /$ はめて（○)>、皿洗いをしま す。

e. 의자에 앉아처 책을 "읽어요.

椅子にく座り $(\bigcirc) /$ 座って () >、本を読みます。

$\mathrm{e}$ ‘의자에 앉고 그 다음 책을" 읽어요.

椅子に<座り ()/座って $(\bigcirc)>$ 、その次に本を読み ました。

f. 하루총일"서서"일했어요."

一日中 $<$ 立ち $(\times) /$ 立って $(\bigcirc)>$ 、働きました。

最後に [手段・方法]、[様態]を付帯状況としてまと めて考察する。この二つの用法において日本人学習者にとって紛らわしかったのが、「乗って行く」は[様態]の-고、「歩いて行く」は[手段・方法]の一利とい うように、どちらも「行く」方法であると考えられ るところで接続を使い分けなければならない点だっ た。「乗って行く」は乗り込んだ時点で「乗る」動作が終了しつつ「乗っている」状態が「行く」動作 と共に持続しているとして、「歩く」と「行く」が 同時の動作と考えられる「歩いて行く」とは区別さ れる。しかし、一代が用いられる「座って本を読む」 も座った時点で「座る」動作が終了しつつ「座って いる」状態が「読む」動作と共に持続していると考 えられるため、ーㅅもも[様態]の用法があると言える。以降、 [様態]の一贡と区別するため「[様態(姿勢) $]$ の一ㅅ」と表記する。ただ、[様態(姿勢) ]の一代を継起の [先行]の用法に含めている先行研究が多い。-ㅅ が用いられる [手段・方法]の例文 a, c、[様態(姿勢) ] の例文 $\mathrm{f}$ おいてシ接続を用いると、a, f は文が成立せず、 $\mathrm{c}$ も前後のつながりが不自然になった。宮崎(2015)は「歩いて行く」などの手段、「立って仕事をする」などの姿勢を表す接続について、「従属度が高く副詞に近づいているものは、第 1 中止形に
置き換えられない(p. 183)」としている。b, d の[様態]の一丛をシ接続で訳すとただ動作の前後を結ぶ継起の意味を受け取れるのに対し、シテ接続では「バ スに乗るというく手段で〉学校に行く」、「ゴム手袋 をはめた〈状態で〉皿洗いをする」というように前後 の意味関係が強調されるように受け取れる。[様態 (姿勢) ]の-서の例文 e も、単に「椅子に座る」動作 と「本を読む」動作の時間的な前後関係を表す文と しても「椅子に座ったく状態で〉本を読む」という 意味を表す文としても捉えられる。後者の意味を表 すにはやはりシテ接続がふさわしい。前者の動作の 順序を強調する場合は、f” のように「”之 다음(その 次に)」などの表現を追加し一贡で接続したほうが適切である (継起の [順序])。以上のことから [手段・方法]、[様態(姿勢) $]$ の一付にはシテ接続が対応すると 言える。また[様態] の-고、シ接続でもシテ接続 でも自然な文が成立するが、「前件の動作の結果を 持続した状態で」という[様態]の意味をより明確に 表すにはシテ接続が適当である。宮崎(2015)で「従属度が高い」と述べられている[手段・方法] と [様態] (姿勢)は、単なる時間的な前後関係を表す文とし ても成立する[様態]に比べて前後の結びつきがより 強いと言える。

## 2.2 考察・主張

全体を通して、シ接続では前件と後件の繋がり の強さが現れにくく、シテ接続を用いると前後節の 意味関係がより表面化して現れた。これに加え一杢 の用法においてシ接続で訳して不自然な文になる ものがなく、一付の用法においてシテ接続で訳して 不自然な文になるものもなかったという結果も踏 まえると、[順序]の-고と[先行]の-서の使い分けだ けでなく他の紛らわしい用法においても、一고-서 で前後節の結びつきの強さに差があるという主張が できる。日本人学習者にとって特に紛らわしかった のが［きっかけ］の-고［原因$\cdot$理由] の-서の使い分 け、 $[$ 様態 $]$ の一正と $[$ 手段・方法 $]$ の一众の使い分けで ある。上述したように、[きっかけ]、[様態]の一ㄱは どちらもシ接続で訳しても継起、単なる時間的な前後関係を叙述する文として成立するが、[原因・理由] 、 [手段・方法]の一众はシ接続で訳すと不自然な文とな った。このことから［きっかけ］と[原因・理由]、[様態] と[手段・方法]ではそれぞれ前後節の結びつきの 強さに差があることが言える。結びつきがより強い と言える[原因・理由]、［手段・方法］はどちらも-
서を用いる用法であり、時間的継起の [順序]の一走と [先行]の-서の使い分けにおける、[先行]は前後の関連性が高いという考え方と共通する。

この [順序 $]$ と [先行]の使い分けの方法を他の用法 にも適用してしまうことで誤用が起きると先に述べ た。しかしその誤用は、[きっかけ]や[手段・方法]、 [様態]といった中心的な意味から外れる用法の分類 がテキストにまとめられないことによって生じるも のである。そのため、ーㄱと-서の用法の分類を絞る ことなく提示し、その上で[原因・理由] と[きっか け]、[手段・方法] と [様態]それぞれの使い分けを今回示した前後節の結びつきの強さの差で説明する ことで、学習者の紛らわしさを解消しうると考える。 これは学習者に浸透している、「前後の関連性の有無」という[順序 $]$ の-고と[先行]の-서の使い分けに おける考え方と共通するため、学習者にとってより 理解しやすいものであると言える。

## 3 まとめ・おわりに

本稿で述べてきたことをまとめると以下のように なる。

・「一妇での接続は前後の関連性をなくすため、関連性のある前後は一ㅅで接続する」という認識が浸透しているということ。

・一贡がシ接続と、ー서がシテ接続と似た機能を持つ ということ。

・前後節に関連性があるのに一夛を用いる[きっか け]、[様態]の用法について、それぞれ似た用法で ある一财の [原因・理由] と [手段・方法]に比べると 前後の結びつきの強さが弱いと言えること。（前後 の結びっきの強さに差があるということ。)

・一ㄱとー서の用法の分類を絞ることなく提示し、そ の上で[原因・理由] と [きっかけ]、[手段・方法]と [様態]それぞれの使い分けを前後節の結びつきの強さ に差があるという点で使い分けを説明するべきと いうこと。

この分野におけるほとんどの先行研究において一 고くㅅは日本語の「て」に対応するとしているため、一甹と-서に連用中止接続 (シ接続) とテ系接続(シテ 接続)を対応させることによる、使い分けの説明の主張はされてこなかった。それに加え、これまでの先行研究のように動詞の種類や目的語の移動などに触 れた難しい説明に比べて、学習者にとって理解しや すい使い分けの説明の提案ができたと考える。

## 参考文献

1. 永原歩 (2017) 「韓国語の接続語尾「-고 ko」と 「-아서 aseo/어서 eoseo」の誤用と

習得」『東京女子大学紀要論集』67:159-183.

2. 金秀美 (2013)「韓国語の「고 오다」と「아 오다」

について」『慶応義塾外国語教育研究』10:23-42

3. 崔チョンア (2018)「韓国語テキストにおける

「-eoseo」形と「-go」形について一日韓対照研究の

観点からの提案一」『言語文化論叢』22:1-29.

4. 孫禎慧 (2005) 「日本語を母語とする韓国語学習者 の誤用分析-해서形と하고形を中心に一」『朝鮮学報』 195.

5. 八野友香 (2011) 「付帯状況を表すシテに関する一考察」『日語日文學研究』77:357-375.

6. 宮崎聡子 (2015)「日本語母語話者及び日本語学習者による動詞中止形の使用状況-「YNU 書き言葉コー バス」の調查を通じてー」『岡山大学社会文化科学研究科紀要』39:179-194.

7. 益岡隆志 (2012) 「日本語の中立形接続とテ形接続 の競合と共存」第 31 回中日理論言語学研究会. 同志社大学大阪サテライト・オフィス, 2012 年 10 月 21 日。

8. 生越直樹・専喜澈 (2018)『ことばの架け橋[改訂版]』白帝社.

9. 魏聖銓 (2018)『韓国と日本-くらべて学ぶ中級韓国語-』朝日出版社.

10. 金順玉・阪堂千津子 (2017)『もつとチャレンジ！韓国語』白水社.

11. Kpedia. (オンライン) https://www. kpedia. jp

## A 付録

表 1

 &  & $80 \%$ \\

＜テスト受験者について＞

対象者 : 日本の大学において第二外国語として韓国語の履修経験がある学生。

学年 : 大学 2 年生 10 名、 3 年生 5 名、 4 年生 5 名、計 20 名。

韓国語学習歴: 1 年目 1 名、 2 年目 11 名、 3 年目 5 名、 4 年目 2 名、それ以上 1 名。


# Masked Language Model を用いた語群から語の連想の検討

相馬佑哉，堀内靖雄，黒岩眞吾
千葉大学
yuya10101@chiba-u.jp, \{hory, kuroiwa\}@faculty.chiba-u.jp

## 概要

本稿では, Masked Language Model を用いて 5 つの 刺激語から 1 つの正解連想語を予測させるタスクの 検討を行った.使用したモデルはBERTおよびgMLP である。対象とした語連想タスクでは, 刺激語・連想語ともに名詞のみを用いていることから，本稿で 新たに学習したモデルでは MASK するトークンを 名詞に限定した．実験では「富士山、浜名湖、... うなぎから連想する都道府県は MASK です。」等の 文を与え，MASKに連想語が出力されるようにした。 この際，MASK の前後に鍵括弧「」を付与すること も検討した. 実験の結果, MASK の前後に「」を付与寸ることで最も高い正答率 49\%（上位 5 語以内に 正解が含まれる率 $72 \%$ ）が得られた。

## 1 はじめに

本稿では日本語 Wikipedia で学習した BERT[1]と gMLP[2]を用いて語群から語の連想を行った. 本稿 における語連想とは，単語を 5 つ与えて（刺激語）,連想する単語（連想語）を 1 つ回答させるタスクで ある.

複数の刺激語から 1 つの連想語を出力する研究と して, 米谷ら[3], 白川ら[4], 芋野ら[5]の研究がある.米谷らは感覚判断システム, 白川らはコンテキスト を考慮した関連エンティティ, 芋野らは語概念連想 を用いて，各々人間の連想を模擬できるかの検証を 行った.これらに対し, 我々は BERTを用いて 1 つ の刺激語から複数の連想語を出力する研究[6][7]を 行ってきた。一方で, 近年, BERT の学習タスクで ある Masked Language Model（以下，MLM と表記） において，タスクに対応する単語を MASKすること でそのタスクの精度を向上させる手法が提案されて いる[8][9]. そこで, 本稿では複数の刺激語から 1 つ の連想語を出力する課題に BERT を代表とする MLM の適用を試みる. 具体的には, 「<刺激語 $1>$ 、 <刺激語 5>から連想する都道府県は MASK で す。」等の文を与え，MASK に連想語が出力されるよ うにした。また，本稿の語連想では名詞のみを扱う
ため, 通常の BERT に加え，名詞のみを MASK して 学習させた BERT と gMLP を用いて, 複数の刺激語 から 1 つの連想語を出力する実験を行った。

## 2 語群から語の連想課題

本稿では, 実験に用いる語連想課題として『CD 版 そのまま使える失語症教材 2』[10] 中の教材の『名詞の想起』より，5つの語から特定の語を想起させ る『まとめる語想起』を利用した. 例を以下に示す.次の言葉から連想する都道府県はどこですか。富士山 浜名湖 茶畑 みかんうなぎ $\rightarrow$ 静罔県実験では, 『まとめる語想起』 132 題のうち, 20 代男子大学生 3 人の解答が正解の連想語 (以下, 正解語）と一致し，なおかつ 3.3 のモデルで正解語が 1 つのMASKトークンで出力可能な 87 題を採用した. また, 課題の種類ごとに『上位下位』『部分全体』『都道府県』等の 13 カテゴリに分類した（筆者らによる 独自の分類)，課題の詳細を表 1 に示す.

## 3 Masked Language Model

本稿では MLMとしてBERTと gMLPを使用した。

## 3.1 BERT

BERT[1] Bidirectional Encoder Representations from Transformers であり, Transformer をベースに構成されたモデルである．BERT は 2 つのタスクで学習を行い,その 1 つである Masked Language Modeling は「トマトの色は赤色である」を「トマトの色は MASK である」のように単語を MASK し, その単語 を予測するタスクである. 12 層の Transformer 層の 後で, 1 層の全結合線形層により正解ラベル (単語) のスコアが大きくなるように学習する.

## $3.2 \mathrm{gMLP$}

gMLP[2]は Transformer $の$ Attention 機構の特徴で あるトークン間の情報を学習できる点を MLP (Multi-Layer Perceptron) で表現したモデルであり, Attention の代替として SGU（Spatial Gating Unit）を 採用したモデルである. 入出力層を BERT と同一に することで，MLM タスクを解くことができる.

## 3.3 実験で使用する MLM

実験では, (1)東北大学 乾・鈴木研究室の Wikipedia で訓練済み日本語 BERT モデル(BERT-base_mecabipadic-bpe-32k_whole-word-mask)[11]（東北大 BERT と表記)，(2)Wikipedia データセットを用いて MASK する単語を名詞に限定して学習した日本語 BERT モ デル (名詞のみ BERT と表記), (3)日本語 gMLP モ デル（名詞のみ gMLP と表記）を使用した. モデル の詳細を付録・表 3 に示す. なお, (1)は Next Sentence Prediction（NSP）も学習を行っているが，(2)と(3)は MLMのみで学習を行った。

## 4 MLM を用いた語連想手法

本稿では，MLM を用いて MASK が連想語となる 文 (以下, 連想文と表記)を作成して実験を行った。以下に作成した文の例を示す.

<刺激語 1 >、<刺激語 2 >、<刺激語 3 >、<刺激語 4 > く刺激語 5 >から連想する都道府県はMASKです。正解語が『静岡県』の場合, 刺激語 1 5 には富士山 や浜名湖等の単語が入り, MASK は連想語が入るト ークンとなる。また, 本項では刺激語と連想語とし て名詞のみを用いるため, MASK として予測された 単語のらち名詞（代名詞を除く）のみを出力する.

表 1 に実験で使用した連想文を示す.表中の『 $\bigcirc 』$ は刺激語を表す。この連想文は文献[10]を基に作成 した. また, 文献[6]において連想結果が改善された ことに鑑み, 本稿では, 表 1 に加え MASK に鍵括弧「」を付与した連想文も使用した.以下に例を示す。 <刺激語 1 >、<刺激語 2 >, <刺激語 3 >、《刺激語 4 > く刺激語 5>から連想する都道府県は 「MASK」です。

## 5 語群から語の連想実験

表 1 で示した連想文を用いて,「」の有無の両パ夕 ーンで語群から語の連想実験を行った。

## 5.1 実験結果

表 2 に実験結果を示す. 表はモデルの連想語上位 1 語, および 5 語以内に正解語が出力された課題の 数の割合を正答率として示したものであり, 正答率 の最大值は 1 である. カテゴリ欄のカッコ内は各カ テゴリの課題の総数である. 上位 1 語で最も高い正答率は「」有の BERT と名詞のみ gMLP の 0.49 であ り, 約半数を正解した. また, 上位 5 語以内で最も 高い正答率は「」有の名詞のみ gMLP の 0.72 である.同様の設定で 1 つの刺激語から複数の連想語を出力 させた実験[6]では, 人間の連想語上位 4 語と一致し た数は最大でも平均 $0.6 / 4.0$ 語であり,複数の刺激語 から 1 つの連想語を出力するタスクの方が精度が高 いと言える。

また,「」を付与することで, 全てのモデルで正解語が 1 位に出力されやすくなった. 東北大 BERT で は「」の付与によって正解語が 1 位に出力された課題が 28 題, 1 位に出力されなくなった課題が 3 題 であり, 符号検定（有意水準 5\%）により, 連想結果 が改善されたと言える。また, 名詞のみ gMLP では 改善 21 題, 改悪 3 題であり, 符号検定（有意水準 $5 \%)$ により, 同様に連想結果が改善されたと言える.一方で，モデル間の正答率に有意差はなかった。

## 表 1 実験で使用する連想文

 \\

表 2 連想語上位 1 語に正解語が出カされた課題数の割合（カッコ内は上位 5 語以内）

 &  &  &  &  &  \\

## 5.2 結果の分析

全てのモデルで「」の付与により正答率が改善し たことから，まずは「」の効果について分析する。

「」の付与で連想結果が特に改善されたモデルの 1 つが東北大 BERT であり, 特に色カテゴリで正答率が $0.13 \rightarrow 0.75$ （8 題中 1 題 $\rightarrow 6$ 題）に上昇した.正解語が赤の課題では「」の付与により, 上位 5 語 が『黄色赤 青 緑ピンク』 $\rightarrow$ 『赤 青 緑 黄色 ピンク』となった.「」無でも色の単語は出力され ているが, 8 題中 7 題で 1 位に黄色が出力された.黄色が出力されやすい要因を分析するために, 刺激語を含めない文『連想する色は MASK です。』を入力した. その結果, 『黄色 水色 青赤 カラー』の 順で出力された.この結果から，『〜連想する色は MASK です。』のMASK として黄色が出力されや すいと考えられる. 黄色が出力されやすい要因をさ らに調査するために, 日本語 Wikipedia での出現頻度を調べたところ, 最も高い色は赤であり（黄色は 6 位), 黄色が出力されやすい要因は頻度ではなか った. そこで, Attentionについて調査した. 図 1 に Attention を可視化した図を示す.「」無では MASK 周辺の単語である『色』『は』『です』への Attention が大きく,「」を付与することで,『は』『です』への Attention が小さくなった（図 $1 \mathrm{a} \rightarrow$ b）。これにより，黄色の出力が抑制され正解語の赤
が 1 位に出力されるようになったと考えられる。他 の色においても，「」の付与により，『は』『です』 への Attention は小さくなった. 一方で, 図 1 のよ うな刺激語への Attention の変化は殆ど無かった。

東北大 BERT では国カテゴリも同様に「」の付与 によって正答率が $0.25 \rightarrow 1.00$ (4 題中 1 題 $\rightarrow 4$ 題) に上昇した. 正解語がアメリカの課題では『世界中以下 アメリカ 世界 日本』 $\rightarrow$ 『アメリカ 合衆国 ニューヨーク ホワイトハウス 世界』となってい た.「」無の不正解では, 国名以外の単語が正解語 よりも上位に出力された. 色の分析と同様に刺激語 を含めない文『連想する国は MASK です。』を入力 すると『日本語 実名 以下 日本 不明』が出力され た.このことから，『連想する国は』に対して色と は異なり, 国名以外の単語も出力されやすいと言え る. 上記の文に「」を付与した連想文では『日本 アメリカ 中国 ロシアイタリア』となり, 国名が 出力されやすくなっていた. Attention を調査した ところ，「」の付与によって刺激語への Attention が 大きくなっていた。また, 色カテゴリと同様に「」 の付与によって MASK の前後の単語『は』『です』 への Attention が小さくなっていた. しかし, 『国』 への Attention に大きな変化は無く, 国名が出力さ れやすくなった. 国名が出力されやすくなった理由 については，今後より詳細に分析していく.

a.「」無

b.「」有

図 1 東北大 BERT での正解語が赤の課題における最終 Transformer 層の Attention. 12 色は各々 の Attention Head を表し，色の濃さは Attention の大きさを表している. [MASK]から各トークンに 向かう線の色は Attention Head の色を混合したものである. [12]

次に，「」の付与で連想結果が改善された名詞の み gMLP では，特に使ってすることカテゴリで正答率が $0.00 \rightarrow 1.00 （ 2$ 題中 0 題 $\rightarrow 2$ 題）に上昇し た. 正解語が洗濯の課題では「」の付与により『無理 危険 不可 苦手 禁止』 $\rightarrow$ 『洗濯 安心 仕事 便利 安全』となった.

次に，名詞のみ BERT の結果について分析する.名詞のみ BERT では,「」の有無による正答率の差 が東北大 BERT より小さく $(0.34 \rightarrow 0.44)$, 特に国力 テゴリでは正答率が変化しなかった $(1.00 \rightarrow 1.00)$. アメリカの課題では「」の付与で『アメリカメキ シコ 日本 カナダ フランス』 $\rightarrow$ 『アメリカ 日本 カナダ メキシコ フランス』となり，「」の有無に 関わらず，国名のみが出力されている。これに対 し，東北大 BERT では「」の付与で『世界中 以下 アメリカ 世界 日本』 $\rightarrow$ 『アメリカ 合衆国 二ュ ーヨーク ホワイトハウス 世界』となっており，こ の変化が名詞のみで学習することによる特徴である と考えられる。

なお，モデルや「」の有無に関わらずスポーツカ テゴリ（野球, 水泳, バレーボール, サッカー）で は正答率が高かった。これは，スポーツに関連した 名詞が日本語 Wikipedia 内で出現頻度が高いことに 要因があると考えられる。

## 6 おわりに

本稿では，MLM として BERT と gMLP を用いて 語群から語の連想実験を行った。連想課題として 5 つの刺激語から 1 つの連想語を回答するタスク (例:富士山 浜名湖 茶畑 みかん うなぎ $\rightarrow$ 静岡県）を使用し，MASKに連想語が入る連想文を作成した。実験では東北大 BERT に加え，MASK するトークンを 名詞に限定して学習した BERT と gMLP を使用し, MASK に鍵括弧「」を付与した場合の検討も行った。実験の結果，「」を付与した東北大 BERT と名詞のみ gMLP で最も高い正答率 $49 \%$ が得られた。また，上位 5 語以内に正解が含まれる割合は約 7 割であった。本稿の結果から，MASK の前後に「」を付与する 手法は，複数の刺激語から 1 つの連想語を出力する 場合でも有効であることがわかった。さらに，BERT を名詞のみで学習させることで，正答率が向上する ことも確認できた（ただし，「」の付与によりその効果は失われる)。これらのことから, 学習の段階で名詞・固有名詞に「」を付与することで，語連想タス クの精度向上が期待できる。また, Transformer の代替モデルである gMLP の精度も高かったことから， gMLP の精度向上の要因を分析するとともに，今後 はgMLPを用いた自由連想タスクも検討する。

## 謝辞

本研究を進めるに当たり, 乾・鈴木研究室の訓練済 み日本語 BERT モデルをお借りしました. モデルを 公開してくださったことに厚く御礼を申し上げ，感謝の意を表します. 本研究は JSPS 科研費 JP20K11860, JP21K02052 の助成を受けたもので す.

## 参考文献

1. Jacob Devlin, et al. BERT: Pre-training of Deep Bidirectional Transformers for Language

Understanding. s.1. : arXiv preprint arXiv:1810.04805, 2018.

2. Hanxiao Liu, et al. Pay Attention to MLPs. s.l. : arXiv preprint arXiv: 2105.08050, 2021.

3. 米谷彩, 渡部広一, 河岡司. 語の共起情報を考慮した感覚連想メカニズムに関する研究. 情報処理学会 研究報告 2005-NL-166, 2005.

4. 白川真澄, 中山浩太郎, 原隆浩, 西尾章治郎.複数語句から構成されるコンテキストを考慮した連想関係の抽出. DEIM Forum 2011 F3-1, 2011.

5. 芋野美紗子, 吉村枝里子, 土屋誠司, 渡部広一. 語概念連想を用いた複数単語からの連想語生成手法の提案. 言語処理学会第 18 回年次大会

(NLP2012), 2012.

6. 相馬佑哉, 堀内靖雄, 黒岩眞吾. 人間と BERT の語から語の連想の比較. 言語処理学会第 27 回年次大会(NLP2021), 2021.

7. 相馬佑哉, 堀内靖雄, 黒岩眞吾. 検索画像を介在させた語から語の連想模擬法の検討. 第 20 回情報科学技術フォーラム(FIT2021), 2021.

8. Yu Sun, et al. ERNIE: Enhanced Representation through Knowledge Integration. s.l. : arXiv preprint arXiv: 1904.09223, 2019.

9. Hao Tian, et al. SKEP: Sentiment Knowledge Enhanced Pre-training for Sentiment Analysis.

ACL2020, 2020.

10. 鈴木勉 宇野園子監修. CD 版そのまま使える 失語症教材 2. エスコアール, 2022 出版予定.

11. 東北大学乾・鈴木研究室. Pretrained Japanese BERT models. (引用日: 2022 年 01 月 14 日.) https://github.com/cl-tohoku/bert-japanese.
12. Jesse Vig. A Multiscale Visualization of Attention in the Transformer Model. Florence, Italy : Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics: System Demonstrations", 2019.

## A 付録

表 3 実験で使用するモデルの詳細

 & \multicolumn{2}{|c|}{} \\

## 表 4 連想課題の例

 \\

表 5 東北大 BERT での色カテゴリにおける連想語上位 5 語


# 制約抽出のための対訳コーパスを用いた 半教師ありクロスリンガル用語推定

澤田悠治 1 小田悠介 ${ }^{2,3}$
1 奈良先端科学技術大学院大学 情報科学領域
${ }^{2}$ LegalForce Research 3 東北大学データ駆動科学・AI 教育研究センター
sawada.yuya.sr7@is.naist.jp yusuke.oda@legalforce.co.jp

## 概要

機械翻訳では，専門用語や固有名詞に対しては曖昧性の少ない適切な翻訳が求められる. 推論時に単語選択を強制する手法が研究されているが，このと き与える語彙は人手によるため，強制する必要のあ る語彙を自動獲得する手法の開発が望まれる. 本研究では，機械翻訳モデルに与える制約を抽出するた めの用語推定モデルを考え，対訳コーパスの大量の ラベルなしデータと少量のシードデータを用いた 半教師あり固有表現認識モデルを提案する. ASPEC の日英翻訳データを日英の固有表現認識コーパス として使った評価害験により, 半教師ありモデルに よって英語の用語抽出精度が向上すること, 単語ア ライメントを素性に加えることでさらに精度が向上 することを確認した。

## 1 はじめに

機械翻訳の性能は，BLEU などの訳出全体の傾向 を測定する指標において向上し続けていることが知 られている [1]. 一方で，訳抜けや翻訳内容の曖昧 さといった，局所的な翻訳の制御に関する問題が依然として残っている. 特に，専門用語や固有名詞に 対しては曖昧性の少ない適切な翻訳が求められ, 特定語彙の翻訳内容を考慮した手法が提案されている $[2,3,4]$. これらの手法では, 特定の語彙を目的言語側の訳出時の制約として使用し, 制約に含まれる単語を必ず出力するようモデルが制御されている。し かし，制約として使用する語彙は予め人手で作成す る必要があり，翻訳言語対ごとの制約の作成は膨大 な人手コストを要するため現実的ではない。また，専門用語は日々追加されるため，人手による辞書の 使用にはメンテナンスのコストが必要となる.

そこで本研究では，機械翻訳モデルに与える制約
を自動的に抽出するための固有表現認識を応用し た用語推定モデルを提案する。従来法の固有表現認識モデルは教師あり学習の設定に基づいており，1 万から 10 万文程度の教師データを使用する。しか し，対訳コーパスは各言語で 100 万文程度の規模か らなり，既存の固有表現認識コーパスのように人手 で用語をアノテーションすることは困難である。本研究では，そのようなアノテーションを持たない対訳コーパスからの用語の抽出を想定し，少量の教師 データと固有表現誌識を組み合わせた半教師あり学習の枠組みを提案する。具体的には，単言語の固有表現認識モデルとして隠れマルコフモデル纪基づく 手法を使用し，単語アライメントの結果に基づいて モデルのラベル遷移を制限する機構を導入する. 科学技術論文の対訳コーパスである ASPEC[5] の日英翻訳データを用いた実験では，提案手法が両言語で 教師あり学習モデルと比較可能な精度で抽出可能で あることが分かった。

## 2 用語推定モデル

本研究で用いる手法の概要を図 1 亿示す. 本手法 は，原言語と目的言語それぞれの固有表現認識モデ ルと単語アライメントモデルの二つのモジュールで 構成されており，以下のステップに従って用語を推定する。

1. 初期パラメータの設定

2. 単言語の半教師あり固有表現認識モデルの学習

3. 固有表現認識モデル同士の単語アライメント

4. 単語アライメントを導入したモデルの再学習

固有表現認識モデル $[6,7]$ と単語アライメントモデ ル [8] はどちらも bigram の隠れマルコフモデル（以下HMM）による推定を行う．半教師あり固有表現認識モデル (ステップ 1,2 ) と単語アライメント機構 の導大（ステップ 3,4 ）についてそれぞれ説明する。

図 1 提案手法の概要図

## 2.1 半教師あり固有表現認識

半教師あり固有表現認識モデルとして用いる bigram HMM では，語数 $N$ からなる単語系列 $w_{1: N}$ とラベル系列 $z_{1: N}$ に対して，HMM の遷移確率 $\tau$ と 出現確率 $\omega$, 開始確率 $\psi$ をそれぞれ以下のように定義する.

$
\begin{aligned}
z_{i} \mid z_{i-1}=t, \tau^{(z)} & \sim \operatorname{Mult}\left(\tau^{(z)}\right) \\
w_{i} \mid z_{i}=t, \omega^{(z)} & \sim \operatorname{Mult}\left(\omega^{(z)}\right) \\
z_{1}=t, \psi^{(z)} & \sim \operatorname{Mult}\left(\psi^{(z)}\right)
\end{aligned}
$

ここで， $z_{i}$ と $w_{i}$ は各時点 $i(1 \leq i \leq N)$ のラベル と単語を表し, Mult( $\cdot$ は多項分布を表す. 本研究で は，HMM の潜在変数 $z_{i}$ を品詞と用語ラベル（BIO 方式）のタプルとし，用語と品詞がラベルづけされ たシードデータと品詞のみがラベルづけされた対訳コーパスから品詞と用語ラベルを同時に推定す る. 用語ラベルは数千文程度の規模であれば比較的容易に作成可能であり，品詞ラベルは Spacy ${ }^{1}$ や Sudachi[9] といった既存ツールから高精度に予測可能である. 各パラメータにはデータの特徴を反映さ せるために，事前分布をそれぞれ個別のアルゴリズ ムで設定した。まず，各単語がどの品詞となりうる かは用語かどうかを推定する手がかりになるため，品詞と用語ラベルのタプルの遷移確率と開始確率を シードデータ上の数え上げを元に設定する2). 出現確率については，対訳コーパス中の全ての語彙に対 して事前確率を求めるため，各単語でなりうる品詞 と用語ラベルのタプルに対して一様に確率を付与す る.モデルのパラメータはEMアルゴリズムで推定

1) https://spacy.io/

2） $\mathrm{O}$ ラベルから I ラベルへの遷移や $z_{0}$ で I ラベルとなるよう な無効なパターンはシードデータで出現しないため, これら のパターンが起きる確率は 0 になる。
し，事後分布による推論は Viterbi アルゴリズムを使用する.

## 2.2 単語アライメントを考慮した HMM

対訳文では，一方の言語で固有表現の意味に曖昧性があっても，片方の言語では意味ごとに異なる固有表現として明記される場合がある $[10,11]$. 例え ば“本（Ben）”は中国語で稀に外国人の名前を翻訳 する際に使用されるが，英語では人名である場合は “Ben”，それ以外の意味では別の単語が用いられる。本研究はこのような対訳文の用語の記述の違いを 利用し，単語アライメントを素性として使用する。 また，対訳文のアライメントでは，同じ品詞や同じ 用語ラベルであるかはアライメントの手がかりに なるため，単語系列と予測したラベル系列を組み合 わせた（単語，品詞，用語ラベル）の三つ組のタプ ルからなる系列を入力としてモデルを学習する．具体的には，語数 $N$ からなる原言語側のタプルの系列 $z_{1 \cdot N}^{s r c}$ と語数 $M$ からなる目的言語側のタプルの系列 $z_{1: M}^{t g t}$ から対応関係にあるぺア $\left(z_{i}^{s r c}(1 \leq i \leq N)\right.$, $z_{j}^{t g t}(1 \leq j \leq M)$ ) を予測し，以下の式よりアライメ ント行列 $\gamma_{i}(t)$ を作成する.

$
\forall i, t \gamma_{i}(t)= \begin{cases}1 & \text { if } \gamma_{i}(t)=z_{i}^{s r c} \\ 1 & \text { if } \gamma_{i}(t)=z_{j}^{t g t} \\ 0 & \text { otherwise }\end{cases}
$

ここで, $\gamma_{i}(t)=1$ は $\gamma_{i}(t)$ が単語ぺアの各単語で予測された用語ラベルであることを表す。単語アライ メントモデルは教師なしの単語アライメントツール である GIZA++ ${ }^{3)}$ を使用し，HMM の各パラメータは IBM Model 1 の lexical translation probability を初期化

表 1 WAT2021 Restricted Translation Task から作成した固有表現認識データセット

に使用した").

単語アライメントモデルから作成したアライメ ント行列を用いて，EM アルゴリズムにアライメン トの素性を導入する。アライメントの素性を考慮に 入れた EM アルゴリズムを Algorithm1 に示す. ここ で，品詞の集合を $T$ とすると， $t$ は品詞の集合 $T$ と 用語ラベルの集合の直積の要素 $(t \in T \times\{B, I, O\})$ で ある。 2.1 節と同様に，シードデータから取得した HMM の初期パラメータ $\tau, \omega, \psi$ に対して, 語数 $N$ で 構成された文 $w_{1: N}$ の前向き確率 $\alpha_{i}(t)$ と後向き確率 $\beta_{i}(t)$ を計算する（2-3 行目）。そして，それぞれの 確率に対してアライメント行列 $\gamma_{i}(t)$ とのアダマー ル積をとり，アライメントからなり得ない用語ラべ ルに対しての出現確率をゼロとした確率の近似值

$\hat{\alpha}_{i}(t) ， \hat{\beta}_{i}(t)$ を計算する（6-7 行目）.これらの近似值を元に事後確率を計算し，全ての文に対して実行 した事後確率の平均を次回のパラメータとして更新 する。

## 3 評価実験

## 3.1 データセット

本研究では，実際に対訳コーパスを使用した 制約抽出の評価を行うため，WAT2021 Restricted Translation Task[1] の評価データを使用した。本タス クでは，ASPECの用語や固有名詞に対する翻訳性能 の評価に焦点を当て，翻訳時の制約として用いる用語が各文でまとめられている。そこで，ASPEC の 用語リストが作成されている dev, devtest, testファ イルから固有表現認識データセットを作成し，それ ぞれシード，開発用，テスト用として使用する。作成したデータセットの基本情報を表 1 にまとめる.学習用データとして用いるラベルなしデータセット は ASPEC の train-1 ファイルのみを使用し， train-1, dev, devtest, test ファイルそれぞれに対して品詞情報 を付与した. 日本語の単語分割と品詞タグ付けは Sudachi ${ }^{5)}$ ，英語の単語分割と品詞タグ付けは Moses tokenizer')と Spacy をそれぞれ使用した.

## 3.2 評価方法

日英の全ての用語に対する始点と終点の一致につ いて，適合率・再現率及びそれらの調和平均（F 值） で評価する。シードのみを使用して学習した教師あ り HMM をベースラインとし，用語ラベルなしデー タ（train-1）を用いて学習した単言語モデル（アラ イメントなし）および両言語のアライメントを素性

5） 単語分割にはモード Aを使用した.

6) https://github.com/moses-smt/mosesdecoder/blob/ master/scripts/tokenizer/tokenizer.perl

表 2 WAT2021 Restricted Translation Taskによる実験結果

 \\
& \\
正解 & 高運動領域, テンソル, ベクトル, 偏極分解能 \\
ベースライン & $3 \mathrm{He}, 3 \mathrm{H}$, 高運動領域, $270 \mathrm{MeV}$, ベクトル偏極分解能, 全角度領域 \\
+ アライメント (再学習 2 回目) & $3 \mathrm{He}, 3 \mathrm{H}$, 高運動領域, $270 \mathrm{MeV}, 200 \mathrm{MeV}$, \\
& 標記反応のテンソル及びベクトル偏極分解能, 全角度領域 \\

表 3 提案手法による出力例

に加えたモデルと比較する。また, 初期の学習段階 では固有表現認識モデルの誤りからアライメントに も誤りが生じると考えられるため, 固有表現認識モ デルとアライメントの学習を交互に 2 回繰り返し,再学習した結果についても示す. ベースライン, 提案手法のどちらも開発データで最も高い $\mathrm{F}$ 値を示し た 4 エポック目のモデルを採用した.

## 3.3 実験結果

実験結果を表 2 に示す. 英語では，用語ラベルな しデータを加えて学習すると $\mathrm{F}$ 值が 3.7 ポイント， アライメントの素性を加えるとさらに 2.8 ポイント 増加した. ASPEC の日英翻訳データは日本語をピ ボットとして作成されており, 英語では表現を簡略化して訳される事例が存在する。例えば，“低侵襲で機能障害が非常に少ない”という文が英語では "simple and postoperative function can be maintained" $と$訳されており, 日本語と英語で文章のニュアンスが 異なる。また，“口腔癌患者”が “patients”と訳され るなど，一部の単語が省略されることで用語か一般的な記述かが曖昧になる事例も存在する. このよう な事例に対して，用語ラベルなしの学習データとア ライメントの素性を加えることで，各単語が用語か どうかの曖昧さが改善されたと考えられる. 日本語 を対象にした設定では，提案手法はベースラインを 上回らなかったものの, 英語と同様にアライメント の素性を加えることで $\mathrm{F}$ 値が 2.5 ポイント増加し,再現率についてはべースラインと比べて 1.6 ポイン
ト上回った.

実際に各モデルから出力された用語の例を表 3 に 示す. アライメントの素性を加えて再学習したモデ ルでは，“200MeV” や“全角度領域”のような制約以外の用語らしい単語列が抽出されている. ASPEC には WAT2021 Restricted Translation Task の制約リス トに入っていない用語があり，ベースラインでは制約リストに入った用語のみが抽出されるよう最適化 されている傾向が見られる. 提案手法は“標記反応 のテンソル及びベクトル偏極分解能” のように用語 の範囲同定には改善の余地があるものの, 用語らし い単語列を抽出する上ではベースラインより好まし い結果が得られたと考えられる。

## 4 まとめ

機械翻訳に与える語彙制約を自動抽出するための 用語推定モデルを提案した。具体的には，対訳コー パスを用いた半教師あり学習による固有表現認識の 枠組みと，HMMを用いた固有表現認識モデル上で 単語アライメントによりラベル遷移を制限する機構 を提案した. ASPEC 日英翻訳データを用いた実験 の結果，英語で教師あり学習による HMM を上回る 精度を示し, 日本語でも正解以外の用語と思われる 単語が制約として抽出される傾向が見られた. 今後 の課題としては, 用語の範囲同定の精度改善や既存 の制約リストの高品質化が挙げられる. 本論文で採用したモデルよりも高性能な手法の適用も考えられ [12][13], これらによる性能の改善にも取り組む.

## 参考文献

[1] Toshiaki Nakazawa, Hideki Nakayama, Chenchen Ding, Raj Dabre, Shohei Higashiyama, Hideya Mino, Isao Goto, Win $\mathrm{Pa} \mathrm{Pa}$, Anoop Kunchukuttan, Shantipriya Parida, Ondřej Bojar, Chenhui Chu, Akiko Eriguchi, Kaori Abe, Yusuke Oda, and Sadao Kurohashi. Overview of the 8th workshop on Asian translation. In Proceedings of the 8th Workshop on Asian Translation (WAT2021), pp. 1-45, 8 2021.

[2] Guanhua Chen, Yun Chen, Yong Wang, and Victor O.K. Li. Lexical-constraint-aware neural machine translation via data augmentation. In Proceedings of IJCAI 2020: Main track, pp. 3587-3593, 72020.

[3] Matt Post and David Vilar. Fast lexically constrained decoding with dynamic beam allocation for neural machine translation. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 1314-1324, New Orleans, Louisiana, 62018.

[4] Katsuki Chousa and Makoto Morishita. Input augmentation improves constrained beam search for neural machine translation: NTT at WAT 2021. In Proceedings of the 8th Workshop on Asian Translation (WAT2021), pp. 53-61, 8 2021.

[5] Toshiaki Nakazawa, Manabu Yaguchi, Kiyotaka Uchimoto, Masao Utiyama, Eiichiro Sumita, Sadao Kurohashi, and Hitoshi Isahara. ASPEC: Asian scientific paper excerpt corpus. In Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC'16), pp. 2204-2208, 52016.

[6] Guillaume Lample, Miguel Ballesteros, Sandeep Subramanian, Kazuya Kawakami, and Chris Dyer. Neural architectures for named entity recognition. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 260-270, 62016.

[7] Jason P.C. Chiu and Eric Nichols. Named entity recognition with bidirectional LSTM-CNNs. Transactions of the Association for Computational Linguistics, Vol. 4, pp. 357-370, 2016.

[8] Stephan Vogel, Hermann Ney, and Christoph Tillmann. $\mathrm{Hmm}$-based word alignment in statistical translation. In Proceedings of the 16th conference on Computational linguistics, 81996

[9] Kazuma Takaoka, Sorami Hisamoto, Noriko Kawahara, Miho Sakamoto, Yoshitaka Uchida, and Yuji Matsumoto. Sudachi: a Japanese tokenizer for business. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), 52018.

[10] Mengqiu Wang, Wanxiang Che, and Christopher D. Manning. Joint word alignment and bilingual named entity recognition using dual decomposition. In Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 10731082, 82013.

[11] Wanxiang Che, Mengqiu Wang, Christopher D. Manning, and Ting Liu. Named entity recognition with bilingual constraints. In Proceedings of the 2013 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 52-62, 62013.

[12] Ke M. Tran, Yonatan Bisk, Ashish Vaswani, Daniel Marcu, and Kevin Knight. Unsupervised neural hidden Markov models. In Proceedings of the Workshop on Structured Prediction for NLP, pp. 63-71, 112016.

[13] Ying Luo, Hai Zhao, and Junlang Zhan. Named entity recognition only from word embeddings. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 8995-9005, 112020.


# 辞書の階層構造埋め込み学習における 日本語辞書定義文の効果的な利用

石井佑樹 佐々木稔
茨城大学工学部情報工学科
\{18t4005h, minoru. sasaki. 01$\} @ v$ c. ibaraki. ac.jp

## 概要

語義曖昧性解消における, 既存の知識グラフベー スの学習手法は, 単語間関係を用いてモデル学習が 行われるが, 1 単語における語義の階層関係を用い た学習は行われていない. また, 日本語辞書の定義文を適用しても語義の階層関係の判定精度が悪く,知識グラフ埋め込み学習による効果を十分に得られ ないことが課題となっている. 本研究では, 日本語辞書における語義の階層関係を判定するモデルの判定精度を向上させるための辞書記述の編集方法を分析する. 分析の結果, 無編集の辞書を学習させた場合の精度は $60.9 \%$ であるが, 編集を施した場合は精度が $83.3 \%$ となりモデルの性能向上が確認できた. このモデルから知識グラフ埋め込みシステムの性能向上が期待できる.

## 1 はじめに

語義曖昧性解消は, 文中の多義語に対して, 文中 でどの語義が使われているのかを識別するタスクで ある. 現在までに語義ラベル付けのコストを必要と しない知識グラフベースによるアプローチが数多く 研究されている.これに関連する研究として, GlossBERT[1], BEM[2]といった語義定義文と教師 あり学習を組み合わせた手法, EWISE[3]， EWISER [4]といった知識データの単語間関係を用 いた手法が存在する。しかし，これらの手法におい て, 単語における語義の階層関係を用いたモデル学習は行われていない。また, EWISE システムにおい て日本語辞書定義文を原文のまま用いて語義の階層関係を学習させると、生成されたモデルの関係判定精度が低く知識情報を十分に学習できていないこと が判明した. 岩波国語辞典では「《名詞に付けて》」

「((形))」といった用法表現, 品詞表現のみ記述され
た定義文が存在する。このような定義文は辞書内で 複数存在し尚且つ内容が重複してしまうため, 語義 の階層関係の学習を阻害してしまうと考えられる。 この課題に対して, 既存の単語間関係に加えて語義 の階層関係を学習することと, 語義の階層関係判定 モデルの精度を向上させる日本語辞書内容の編集・変更方法を分析することで，知識グラフ埋め込みシ ステムの性能向上に繋がることを目的とする.

本研究では, 知識グラフの情報をどれ程埋め込む ことができるのか調査するため，知識データにおけ る 3つ組データの関係判定の精度を求めることので きる EWISE システムの知識グラフ埋め込み学習を 利用する. 段階的に編集・変更した日本語定義にお ける関係判定精度の比較を行う。

## 2 語義の階層関係判定システム

日本語辞書における語義の階層関係を判定するの に EWISE システムの知識グラフ埋め込みシステム を用いる．語義の階層関係判定システムを図 1 に示 す.

図 1 語義の階層関係判定システム

## 2.1 定義文エンコーダ

定義文エンコーダでは，BiLSTM Max エンコー ダ[5]が採用されている，定義文を BiLSTM に入力 し, 出力を Max Pooling して得られた固定長の表現 が定義文エンコーダの出力となる.

## 2.2 語義間関係判定モデル

語義間関係判定モデルは，2つの日本語定義文の 分散表現を入力として受け取り定義文間の階層関係 を判定するモデルである.この語義間関係判定モデ ル ConvE[6]が用いられる. ConvE のスコアリング 関数 $\psi_{l}\left(e_{h}, e_{t}\right)$ は式(1)で表される. 通常知識グラフ は， 2 つの実体 $(h, t)$ と 1 つの関係 $(l)$ からなる $N$ 個の 3 つ組 $(h, l, t)$ の集合 $K$ から構成される. $h$ はへッドエ ンティティ $t$ はテールエンティティである. 式(1) は 3 つ組 $(h, l, t)$ に対するスコアリング関数である.

$
\psi_{l}\left(e_{h}, e_{t}\right)=f\left(\operatorname{vec}\left(f\left(\left[\overline{e_{h}} ; \overline{e_{l}}\right] * w\right)\right) W\right) e_{t}
$

式(1)において， $e_{h}$ 及び $e_{t}$ は実体のパラメータ， $e_{l}$ は 関係のパラメータ, $\bar{x}$ は $x$ の 2 次元変形, $w$ は 2 次元畳み込みフィルタ, $\operatorname{vec}(x)$ は $x$ のベクトル化， $W$ は 線形変換， $f$ は正規化線形ユニットである. 対象の ヘッドエンティティhに対して，グラフ内の各実体 をテールエンティティとしてスコア $\psi_{l}\left(e_{h}, e_{t}\right)$ を計算する。式(2)に示すように，スコアにシグモイド 関数を適用することで 3 つ組 $(h, l, t)$ の適正性を示す 推定値 $p$ を得る.

$
p=\sigma\left(\psi_{l}\left(e_{h}, e_{t}\right)\right)
$

## 2. 3 モデルの学習

定義文エンコーダ及び語義間関係判定モデルの学習の流れを図 2 に示す。学習データは語義の階層関係を記述した知識データと語義定義文 ID に紐づけ られた語義定義文を用いる。語義定義文は形態素に 分解され, 各形態素の分散表現が定義文エンコーダ に入力される。形態素の分散表現は fastText[7]や GloVe[8]を用いて事前学習された表現を利用する。語義間関係は語義間関係判定モデル内の埋め込み層 によって埋め込みベクトルに変換される. 語義間関係判定モデルのパラメータは語義の階層関係の 3 つ 組 $(h, l, t)$ のを学習させた初期モデルのパラメータ を初期値とする。また，定義文エンコーダを学習す るため式(1)を式(3)に修正する。

$
\psi_{l}\left(e_{h}, e_{t}\right)=f\left(\operatorname{vec}\left(f\left(\left[\overline{q(h)} ; \bar{e}_{l}\right] * w\right)\right) W\right) e_{t}
$

$q($.$) は定義文エンコーダであり，ヘッドエンティテ$ イはその実体の定義をエンコードしたものである.

式(3)から出力された推定值 $p$ とラベルを元にモデル のパラメータを更新する．損失関数には式(4)に示 すバイナリ交差エントロピーを用いる. $L_{C}=-\frac{1}{N} \sum_{i}\left(t_{i} \cdot \log \left(p_{i}\right)+\left(1-t_{i}\right) \cdot \log \left(1-p_{i}\right)\right)$

$t_{i}$ は 3 つ組 $(h, l, t)$ が適正の場合 1 , それ以外の場合 は 0 となる. $p_{i}$ は式(3)で示したスコアの推定値で ある.

4.1 節に学習データ, 形態素の分散表現, 4.3 節に モデルの評価方法の詳細を示す.

図 2 モデル学習の流れ

## 3 定義文の編集及び変更

## 3.1 定義文の編集

EWISE で利用される WordNet[9]の 3 つ組データ に対応させるため岩波国語辞典の編集を行う。

## 3.1. 1 定義文の ID 付け及び語義の階層関係

岩波国語辞典の定義文 IDを，複合語番号を除い て見出し語番号 $(1 \sim 5$ 桁 $) \cdot$ 大分類番号 $(1$ 桁 $) \cdot$ 中分類番号 $(1$ 桁 $) \cdot$ 小分類番号 $(1 \sim 2$ 桁 $)$ をこの順で結合 した番号として ID 付けをする。

語義の階層関係は，岩波国語辞典の分類方法から 上位概念，下位概念の 2 つの関係を学習させること にする。語義同士の関係は図 3 に示すような木構造 の関係にある。木構造の親は子の上位概念となり，子は親の下位概念となる．3つ組データを記録する 際は，辺でつながれているノード同士の関係のみを 記録する。

図 3 語義の階層関係の具体例 (ノード内数字は辞書 ID の右三桁と対応する)

## 3.2 定義文の変更

3 つ組の知識データの関係判定精度を高めるため に，以下の設定 A・B・(1)（5)を提案する.

## 3. 2.1 語義説明の無い定義文の削除 $A \cdot B$

定義文が 2 重括弧「(( ))」,2 重山括弧「《》」,亀甲括弧「〔]」の表現のみで記述される単語定義があり，これらは単語語義を説明しないため定義文そのものを削除する．削除した場合，以降の節の 変更と異なって 3 つ組の知識データの総数に影響を 与える. 岩波国語辞典を編集しないA, 単語語義を 説明しない定義文を削除した設定 Bについて実験を 行い, 精度の高い設定を以降の節の変更に引き継ぐ。具体例として, 設定 B においては図 5 に示した赤字 の部分を削除することになる.

## 3. 2.2 辞書内表現 - 記号の削除・置換, 全角英字を半角英字に置換，用例文内のハイフン 「一」の置換 (ひらがな置換) (1)・(1)*

2 重括弧「(( ))」表現， 2 重山括弧「《》」表現, 山括弧「<>」, これら3 種類の表現は見出 し語の属性, 用法, 分類を示すものであり定義文か ら削除した。亀甲括弧「〔〕」」表現については， WordNet の定義文に同様の表現が存在するが，カテ ゴリ名が必要かどうかを確認するため削除した設定 (1)*設ける．定義文の分散表現を得る際に記号は 余分な単語表現となってしまうため削除, 置換し

で，置換した記号は「マ」を「。」，「【】」を 「『』」の 2 種類である. また, 辞書内の全角英字 を半角にした。辞書内では用例文を記述している が，用例文に含まれている見出し語の部分がハイフ ン「一」で置き換えられている.このハイフン

「一」を見出し語(ひらがな)で置換した。

## 3. 2.3 用例文内のハイフン「一」の置換 (一対一置換) (2)

ひらがなの場合は同音意義の単語が存在するため,正確な分散表現を得るには漢字に変換して記述する のが好ましい. 見出し語は同訓異字が多く, 対応す る漢字が複数存在するため, 一対一で置換できる単語のみを漢字に置換した。

## 3. 2.4 追記情報の削除(3)

定義文内では，定義文の追記情報は単語の直接の 語義になりえない表現が多く存在する．以下に削除 した内容を示す.
- 「マ」から続く文は, 対象単語の語義を超えた範井での説明がなされる.

・派生｜から続く文は送り仮名の派生を示す.

・読み仮名を削除するため, 全角括弧「（）」で囲 まれた内容がひらがなのみの場合削除する.
- 半角括弧「( )」で囲まれた内容は, 辞書内の図番号及び注釈番号を示す.

## 3.2.5 全角括弧「（）」表現を削除(4)

(4)では，内容に構わず全角括弧「（）」で囲まれ た内容を削除する。

## 3.2.6 部分的な用例文の削除(5)

岩波国語辞典における鍵括弧「「」」で囲まれた 用例文は，見出し語が取り除かれた文章となってい る場合が存在する。取り除かれている場合は，文を 補完することが難しく不完全な用例文が残ってしま う．不完全な用例文を削除するため，定義文を句点 で区切った一文が鍵括弧「「」」で囲まれている場合，その用例文を全て削除する.

## 4 実験

## 4. 1 実験データ

・語義の階層関係を記述した知識データ 岩波国語辞典より，定義文の $\operatorname{ID}(h, t)$ 及び語義の 階層関係 $(l)$ を $h, l, t$ の順で記録した 3 つ組の学習デ 一夕を利用する。岩波国語辞典から階層関係を記録 した 3 つ組は無編集の設定 A の場合 24040 組, 単語語義説明の無い定義文を削除した設定 B の場合 10842 組得られた. それぞれ得られた 3 つ組学習デ ータを $8: 1: 1$ の割合で, 訓練, 開発, テストデー タに分けている.

・語義定義文

知識データの定義文 ID に紐づけた語義の定義文 を実験データとして利用している. 定義文の分かち 書きは MeCab と mecab-ipadic-NEologd を用いた. ま た，定義文における形態素の分散表現は 2021 年 10 月 10 日に更新された日本語 Wikipedia の全ページ記事のダンプデータをコーパスに fastText, GloVe を用 いて事前学習された表現を利用する.
表 1 実験結果

} & \multicolumn{4}{|c|}{ fastText } & \multicolumn{4}{|c|}{ GloVe } \\

全語彙(定義文に含まれる語彙の総数), 単語ベクトル数(分散表現が得られた単語数), 割合(語彙ベクトル数/全語彙)

## 4.2 各学習のハイパーパラメータ

以下各学習のハイパーパラメータよりデフォルト 値から変更したものを示す.

定義文エンコーダ及び語義間関係判定モデル学習時 は，バッチサイズを 64 に変更，学習回数は 160 回 に設定. 初期モデルの学習回数は 300 回に設定, GloVe の事前学習は学習を考慮する周辺単語数を 10 , 分散表現の次元数を 300 に設定した.

## 4. 3 評価方法

語義間関係判定モデルの評価方法には MRR （Mean Reciprocal Rank）を用いている。MRR はラ ンキング評価指標の一つであり，語義間関係判定モ デルから出力された関係推定値を対象としてモデル を評価する。今回の場合 MRR は式(5)で求められ る.

$
M R R=\frac{1}{|U|} \sum_{u \in U} \frac{1}{k_{u}}
$

$u$ 対象となる 3 つ組, Uは全 3 つ組, $k_{u}$ は対象と なる 3 つ組に対して関係が正しく判定された実体が 出現した順位を表す.

## 5 実験結果

実験結果を表 1 に示す. 単語語義を説明しない定義文の削除が効果的であり, 辞書内表現の削除, 追記情報の削除, 等の変更を加えた場合にも僅かに判定精度が向上した.単語語義を説明しない定義文を削除した場合に精度向上が大きく向上した. このような定義文は活用形を示す内容が大半で，一字一句内容が同じ定義文 が複数存在することになる。定義文の重複を避ける ことで精度が向上したと考えられる。

定義文を変更することで，定義文全体に含まれる 語彙数及び単語分散表現の初期值を得られる単語数 に影響があるが，単語ベクトル数や語彙数の多さに かかわらず対象の語義の説明に不必要だと判断でき る表現は取り除いても構わないと考えられる.

特に精度が下がった設定(5)では, 補完不可な用例文の削除が難しく精度が下がってしまったと考えら れ，完全な辞書の定義文を利用するには人為的な修正が必要になる.

また, fastText の単語分散表現で学習させるこ とで, GloVe と比べ僅かに精度が向上したことか ら，サブワード情報を用いて学習された単語表現が 大域的な共起情報を用いて学習した単語表現より判定精度を上げることが分かった。

## 6 おわりに

実験の結果，定義文の語義に対して説明の役割を 持たない表現を削除・変更し学習することで，階層関係判定モデルの性能向上に有益であることが明ら かになった. 今後は, 本研究で得られた階層関係判定モデルから知識グラフ埋め込みシステムの性能向上が期待できるため，知識グラフ埋め込みシステム を利用した語義曖昧性解消の実験を行うことで，こ の手法がどれほど有効か研究を行う予定である.

## 参考文献

1. Huang, L., Sun, C., Qiu, X. and Huang, X. "GlossBERT: BERT for Word Sense Disambiguation with Gloss Knowledge.” In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3509-3514, 2019.

2. Blevins, T. and Zettlemoyer, L. "Moving Down the Long Tail of Word Sense Disambiguation with Gloss Informed Bi-encoders", In Proceedings of the 58th Association for Computational Linguistics (ACL2020), pp. 1006-1017, 2020.

3. Sawan, K. Sharmistha. J. Karan, S. and Partha T."Zeroshot word sense disambiguation using sense definition embeddings." In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 5670-5681, 2019.

4. Bevilacqua M. and Navigli R. "Breaking Through the (80\%) Glass Ceiling: Raising the State of the Art in Word Sense Disambiguation by Incorporating Knowledge Graph Information." In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (ACL2020), pp. 2854-2864, 2020.

5. Alexis, C. Douwe, K. Holger S. Loïc, B. and Antoine, B. "Supervised learning of universal sentence representations from natural language inference data." In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pages 670 680, Copenhagen, Denmark. Association for Computational Linguistics, 2017.

6. Tim, D. Pasquale, M. Pontus, S. and Sebastian, R.

"Convolutional 2d knowledge graph embeddings." In

Thirty-Second AAAI Conference on Artificial

Intelligence, 2018.

7. Piotr, B. Edouard, G. Armand, J. and Tomas, M. "Enriching Word Vectors with Subword Information." In Transactions of the Association for Computational Linguistics, Volume 5, pp. 135-146, 2016.

8. Jeffrey, P. Richard, S. and Christopher, M. "GloVe: Global Vectors for Word Representation.” In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 1532-1543, 2014.

9. George, M. "Wordnet: a lexical database for english." Communications of the ACM, 38(11):39-41, 1995.

## 付録

本文 3.2 節で示した設定の具体例を以下に示す. これらの語義定義文は岩波国語辞典第五版から引用 した.

図 A 設定 $B$ の具体的な変更例(赤字を削除する)

図 B 設定(1)の具体的な変更例

図 C 設定(2)の具体的な変更例

図 D 設定(3)の具体的な変更例(赤字を削除する)

図 E (4)の具体的な変更例(赤字を削除する)

図Ｆ（5)の具体的な変更例 (赤字を削除する)

単語分散表現の事前学習に利用したWikipedia コ 一パスは以下から入手した。

https://ja.wikipedia. org/wiki/Wikipedia:\%E3\%83 $\% 87 \% \mathrm{E} 3 \% 83 \%$ ВС\%Е3\%82\%BF\%Е3\%83\%99\%Е3\%83\%BC\%Е3\%82\% В9\%ЕЗ\%83\%80\%Е3\%82\%A6\%ЕЗ3\%3\%В3\%Е3\%83\%AD\%Е3\%83\%В C\%E3\%83\%89


# 英日翻訳のための Positional Encoding を用いた正則化手法

岡佑依 田中貴秋永田昌明
日本電信電話株式会社 コミュニケーション科学基礎研究所
\{yui.oka.vf, takaaki.tanaka.tb, masaaki.nagata.et\}@hco.ntt.co.jp

## 概要

日常会話などで使用される話し言葉，すなわち自由発話における翻訳では，データセット量が少な い，語順の自由度が高いといった問題があり高品質 な翻訳のためにはまだ多くの課題が残っている. 本研究では，句単位の摄動を用いた正則化手法によっ てモデル内で様々な書き言葉文を表現し学習するこ とで翻訳精度の改善を試みる.この句単位の摂動は トークンではなく Positional Encoding に付与するこ とで欠陥文をサンプリングする.

## 1 はじめに

近年，機械翻訳はニューラルネットワークに よって大きく発展した. 特に, Transformer[1]は SelfAttention, Multi-Head Attention, Positional Encoding と いう独自の機構を利用して，高い精度の翻訳結果を 残した。これは英日翻訳でも同様で，高い精度の翻訳が可能である.しかしながら，日常会話などで使用される話し言葉話における翻訳では，データセッ トが少ない，間投詞や言い淀みなどを含む，などと いった問題があり書き言葉の翻訳と比べると翻訳精度はかなり低い。さらに, 日本語など語順の自由度 が高い言語では，話し言葉は書き言葉と比べ語順の 自由度が大きく異なる傾向にある。

一方，摄動を用いた正則化手法 $[2,3,4]$ は，モデル の頑健性の向上に有効であることが示されており，複数の正則化手法を組み合わせることで，推論時の 精度をさらに向上させることが知られている. 例え ば， Word Dropout や Word Replacement などの手法で は，トークン単位の摂動を入力文または出力文に加 えることで欠陥文をサンプリングして学習する.こ れらのトークン単位の摂動は学習中に欠陥文をモデ ル内で表現しており，欠陥文から目的言語文を予測 するよう学習することと同じであると考えられる.

本研究では，英日翻訳における書き言葉の翻訳精度を向上させることを目的とし，Positional Encoding

図 1 提案手法における位置表現の直感的な例. 通常の位置表現とは異なり，，パソコンで，の出現位置がずれた欠陥文同等の位置表現をする。

部分に句単位の摂動を付与することで学習中に欠陥 のある文を表現し，頑健性を向上させることを試み た. 図 1 亿提案手法の直感的な例を示す. 整数範囲 の離散的な摂動を付与することで句単位での摂動を 表現し，IBM Models 3 や 4[5] で作成される欠陥文同等の位置情報を表現する。この時，トークン単位 ではなく，句単位の摂動を付与することで，意味的 に不完全な欠陥文を生成するのではなく，語順が入 れ替えられた文を生成する．実験結果から，話し言葉・書き言葉の英日翻訳において若干の BLEU の改善が見られた。

## 2 関連研究

## 2.1 摄動を用いた正則化手法

正則化手法は，機械学習で過学習を防ぐために使 われる. NMT においても同様であり，モデルのパ ラメータの過学習を防ぐために，損失関数に特定の 項を足し合わせる手法や，入力にノイズ，すなわち 摂動を付与し正確な文を予測するよう学習する手法 などが用いられている。本稿では摄動を用いた正則化手法について述べる。

Gal ら [3] は，確率的にトークンの埋め込みをゼロ ベクトルに確率的に置き換える Word Dropout 法を提案した. Bengio ら [2] は，入力トークンをエンコー ダ側またはデコーダ側のスケジュールドサンプリン グしたトークンに置き換える Word Replacement 法を 提案した。しかし，このようなサンプリングした別

図 2 提案手法による位置表現の例. 通常はトークンごとに絶対的位置表現 $p o s$ を決定するが (1 行目)，提案手法では摄動範囲 $[-1,+1]$ 内で確率的に句単位の摂動 per を決定し（2 行目）通常の絶対位置表現 pos に足し合わせる. (最終行目).

トークンを摂動として使用する手法では，摂動を計算する計算量がかかり学習時間が長くなる傾向があ る. 高瀬ら [4] は，単純な正則化手法を様々に組み 合わせて，学習時間を比較した.その結果，比較的単純な手法である Word Dropout や Word Replacement およびそれらを組み合わせた手法が，計算速度だけ でなく翻訳精度においても従来の Transformerを上回ることがわかった。

## 2.2 Positional Encoding

Sinusoidal Positional Encoding (以下, SPE) は, Transformer のエンコーダ・デコーダ両者において各埋め 込み表現に対し，文中における絶対位置を足し合わ せることで位置情報を与える役割を持つ. その時足 し合わせる值は正弦関数と余弦関数の式で表され る. トークンの位置を pos, 埋め込み表現の次元数 を $d$ とすると $i$ 番目の次元の埋め込み表現に足し 合わせる SPE は以下の式 $(1,2)$ で表される. このと き，偶数次元は正弦関数，奇数次元は余弦関数で定義される.

$
\begin{gathered}
S P E_{(p o s, 2 i)}=\sin \left(\frac{p o s}{10000^{\frac{2 i}{d}}}\right) \\
S P E_{(p o s, 2 i+1)}=\cos \left(\frac{p o s}{10000^{\frac{2 i}{d}}}\right)
\end{gathered}
$

また，上記のような式ではなく，完全に学習可能な Embedding で絶対位置を表現し，同じように各単語埋め込み表現に足し合わせる Position Embedding と いう位置表現手法も存在する。

Relative Position Representation（以下，RPE）は，文中における各単語の相対的な位置を表現する [6]. SPE が各単語埋め込みに足し合わせるのに対し, Self-Attention 内部で表現する.

## 3 提案手法

従来の手法ではトークン単位で摄動を付与してい た.しかし，自然な文をサンプリングするにはトー クン単位ではなく句単位で摂動を付与する方が適切 であると考えられる。一方で従来の手法はトークン 単位の摂動でありながら翻訳精度の改善が期待でき るため従来の手法と組合せな可能な手法を提案す る. 本研究では，SPE内のトークン位置 $p o s$ にトー クン単位ではなく句単位の整数摂動を付与するこ とで日本語の書き言葉文に近い欠陥文をモデル内で 表現する手法を提案する。図 2 に提案手法の位置表現例を示す. SPEに摂動を組み込むことで，他の正則化手法と同様にNMT の頑健性を向上させること ができ，また，モデル構造中の位置表現を操作する ため他の正則化手法と補完することが期待される. さらに，トークン単位ではなく句単位で摂動を付与 することで書き言葉文に近い文を表現し学習するこ とで書き言葉における翻訳での精度向上が期待され る. 提案手法はSPEを拡張した式 $(3,4)$ で表される.

$
\begin{aligned}
& \operatorname{perSP} E_{(p o s, 2 i)}=\sin \left(\frac{p o s+p e r}{10000^{\frac{2 i}{d}}}\right) \\
& \operatorname{perSPE_{(pos,2i+1)}}=\cos \left(\frac{p o s+p e r}{10000^{\frac{2 i}{d}}}\right) \text {, }
\end{aligned}
$

ここで, per は一様分布からの整数摂動である. また，開始トークンの per は常に 0 とする. 例え ば，摄動範囲が $[-1,+1]$ の場合，開始トークンを除 いて $-1,0,+1$ の整数がランダムに決定する. [7] で提案されている on-the-fly subword sampling のように，摂動は文・エポック毎にサンプリングされ，文・エ ポック毎に異なる SPE が各トークンに付加される.摂動は学習中にのみ付与され, 生成時は通常の SPE を使用する。

## 4 実験

実験は大きく次の 3 ステップに分けて行った. (1) まず事前実験として PE の Ablation study を行った. これはエンコーダ・デコーダどちらに摂動を付与す るべきか，それとも従来のまま絶対位置を付与する べきか検討するために行った. (2) 次に話し言葉に おける実験を行った. (3) 最後に書き言葉において も同様に効果があるのかを検証するために書き言葉 における実験を行った。

データセット 英日翻訳の実験のためのデータ セットには，書き言葉の実験には対訳コーパス ASPEC[8], 話し言葉の実験には IWSLT2017[9], 加え て JParaCrawl[10] からランダムに選択した 400 万文 を用いた. ASPEC は $1,783,817$ 文対の学習データ, 1,790 文対の開発データ, 1,812 文対のテストデータ からなり, 今回学習には 100 万文対の学習データで ある train-1.txt のみを使用した. IWSLT2017 はオリ ジナルの 232,423 文対の学習データから Moses[11] の clean-corpus-n.perl 1)を使いクリーニングを 行った 9,250 文対を学習データとして用い, 開発に は dev2010 の 871 文対，テストには tst2015 の 1,194 文対を使用した. JParaCrawl はオリジナルの 1,000 万分からランダムに 400 万文抽出し学習データとし て使用した. 英語及び日本語の入出力はサブワード とし, Sentencepiece[12]を使いトークナイズを行っ た. このとき, 語彙サイズは 16,000 とし, 言語間で 共有した。

実験設定 実装には fairseq[13] を用いた。バッチ サイズは実験 4.1 において 2048, 実験 4.2 において 8192 にした. それ以外のハイパーパラメータは全 てにおいて [1] と同じにした.

摂動 英日翻訳の目的言語側，すなわち日本語側で句構造の解析を行い, 解析結果から句単位の 摂動を付与する. MeCab[14]を使って形態素解析 を行い，MeCab が出力した品詞列に対して正規表現で句単位に区切るルールを定義し, nltk[15] の RegexpParser でチャンキングを行った. このチャ ンキングは学習時に行うと学習時間が膨大となるた め, 学習データ作成時に行いチャンキング結果を目的言語文と共にモデルに渡すことでベースラインと 変わらない速度での学習を行った. 摄動範囲は全て において $[-1,+1]$ に統一し，一様分布に基づいて選択

表 1 ASPEC 英日翻訳における BLEU

される.

評価 翻訳文の評価手法には機械翻訳の自動評価 として一般的な BLEU[16] を用い，sacreBLEU[17]で 計算した.

## 4.1 事前実験

摂動をエンコーダ・デコーダどちら側に付与する べきなのか検証するため，エンコーダ側，デコーダ 側それぞれにおいて通常の SPE(絶対位置)，RPE(相対位置) を付加しない場合の実験を行った. 本研究 では [18] と同様, Query と Key のみに適用する簡略化された RPE を用いた. 実験結果を表 1 に示す.

エンコーダに SPE を付加しない場合，デコーダ における SPE の有無関係なしに大きく BLEU が下 がった. 一方で，デコーダ側の SPE の有無は翻訳精度に大きく影響を与えることはなかった．RPE の場合でも同様の傾向が見られた. したがってエンコー ダ側の絶対的な位置表現が翻訳精度に大きく影響を 与えていることがわかる.

## 4.2 話し言葉・書き言葉における実験

表 3 ASPEC 英口翻訳における BLEU

話し言葉における実験 事前実験から，エンコー ダ側にはSPEによる絶対的な位置情報を与えた方が 良く, デコーダ側の SPE の位置情報の与え方には改善の余地があると考えられた. そこでデコーダ側に 提案手法を適用し実験を行った. IWSLT2017 データ セットと JParaCrawl データセットを使った英日翻訳

の結果を表 2 に示す. 通常, 話し言葉の翻訳では,話し言葉のデータセットのみでの fine-tuning を行う が，この実験結果では fine-tuning は行っていない.結果から，提案手法がベースラインと比べて 0.8 ポ イント BLEU が向上したことがわかる. また，デ コーダ側にSPE を与えなかった場合，ベースライン と比べて 0.1 ポイント BLEUが下がった.

書き言葉における実験 話し言葉と同様に，デ コーダ側に提案手法を適用し実験を行った. 表 3 に ASPEC データセットを使った書き言葉における実験結果を示す. 結果より, ベースラインと比べると 0.4 ポイントの BLEU の向上が見られた. また，デ コーダ側にSPE を与えなかった場合, ベースライン と比べて 0.1 ポイント BLEUが下がった.

## 5 考察

事前実験 事前実験の結果から，デコーダの位置表現が翻訳精度に大きく影響を与えるとは考えに くい. 生成時, Transformer は自己回帰的に生成を行 $い$, 生成した前の単語 (時刻 $\mathrm{t}$ 単語) から次の単語 (時刻 $\mathrm{t}+1$ の単語) の予測を行うようデコーダの Self-Attention ではマスクを行う．このように時系列 に沿った生成を行うため, 位置情報は必要ではない と考えられる。また，絶対位置表現，相対位置表現両方において同じ傾向であったことから，位置表現 の違いやどこで位置情報を足し合わせるかは精度に 大きく関係しないと考えられる。

提案手法 話し言葉，書き言葉における実験では 翻訳精度の改善が見られた. さらに, デコーダ側で SPE を付与しない時と比べても翻訳精度の改善が 見られた. デコーダ側の位置表現が必須でないなら ば，位置表現において正則化を行うことで若干の改善が可能であることを示唆している. 若干の改善し か見られなかったのは，デコーダ側の位置情報が翻訳精度にそれほど大きな影響を与えないことが原因であると考えられる。このように単語埋め込みに 直接作用する摂動を用いた正則化手法 $[2,3,4]$ と比 べると大きく改善するとは言い難いが，提案手法は これらの手法と組み合わせが容易に可能であるた め, 組み合わせることで更なる精度の改善が期待で きる.

トークン単位の摂動 また，先行研究のように句単位ではなくトークン単位で摂動を付与した場合，翻訳精度が改善するのか実験を行った. 表 1 と同じ パラメータで実験を行った結果を表 4 に示す.トー表 4 ASPEC 英日翻訳においてトークン単位の摄動を付与した場合の実験結果. perSPE の摂動範囲はすべて [-2, +2] である.

クン単位の摂動を付与した場合でも若干の翻訳精度の改善 (+0.4 の BLEU の改善) が見られた. また, SPEをデコーダに付与しない場合と比較しても若干 の改善が見られた, これはデコーダ側では絶対位置 を付与するのではなく, 正則化を行う提案手法を適用することで翻訳の改善が見込めることを示すと考 えられる。一方で，エンコーダに摂動を付与したと き翻訳精度がベースラインより下がったことから， エンコーダ側ではやはり絶対的な位置表現をしたほ うがよいと考えられる.

## 6 まとめ

本稿では，書き言葉における英日翻訳のため，句単位の摂動を Positional Encoding に付与する正則化手法を提案した. 実験結果から，書き言葉・話し言葉における英日翻訳それぞれにおいて若干の翻訳精度の改善が見られた。一方で，他の正則化手法と 比べると精度の改善が小さいという問題点もある.今後の課題としては，他正則化手法との組み合わせ の検証，他ランダムシードでの検証などが挙げら れる.

## 参考文献

[1] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. CoRR, Vol. abs/1706.03762, , 2017.

[2] S. Bengio, Oriol Vinyals, Navdeep Jaitly, and Noam M. Shazeer. Scheduled sampling for sequence prediction with recurrent neural networks. In NIPS, 2015.

[3] Yarin Gal and Zoubin Ghahramani. A theoretically grounded application of dropout in recurrent neural networks. In Daniel D. Lee, Masashi Sugiyama, Ulrike von Luxburg, Isabelle Guyon, and Roman Garnett, editors, Advances in Neural Information Processing Systems 29: Annual Conference on Neural Information Processing Systems 2016, December 5-10, 2016, Barcelona, Spain, pp. 1019-1027, 2016.

[4] Sho Takase and Shun Kiyono. Rethinking perturbations in encoder-decoders for fast training. In Proceedings of the 2021 Conference of the North American Chapter of
the Association for Computational Linguistics: Human Language Technologies, pp. 5767-5780, Online, June 2021. Association for Computational Linguistics.

[5] Peter F. Brown, Stephen A. Della Pietra, Vincent J. Della Pietra, and Robert L. Mercer. The mathematics of statistical machine translation: Parameter estimation. Computational Linguistics, Vol. 19, No. 2, pp. 263-311, 1993 .

[6] Peter Shaw, Jakob Uszkoreit, and Ashish Vaswani. Selfattention with relative position representations. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers), pp. 464-468, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[7] Taku Kudo. Subword regularization: Improving neural network translation models with multiple subword candidates. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 66-75, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[8] Toshiaki Nakazawa, Manabu Yaguchi, Kiyotaka Uchimoto, Masao Utiyama, Eiichiro Sumita, Sadao Kurohashi, and Hitoshi Isahara. Aspec: Asian scientific paper excerpt corpus. In Nicoletta Calzolari (Conference Chair), Khalid Choukri, Thierry Declerck, Marko Grobelnik, Bente Maegaard, Joseph Mariani, Asuncion Moreno, Jan Odijk, and Stelios Piperidis, editors, Proceedings of the Ninth International Conference on Language Resources and Evaluation (LREC 2016), pp. 2204-2208, Portorož, Slovenia, may 2016. European Language Resources Association (ELRA).

[9] Mauro Cettolo, Marcello Federico, Luisa Bentivogli, Niehues Jan, Stüker Sebastian, Sudoh Katsuitho, Yoshino Koichiro, and Federmann Christian. Overview of the iwslt 2017 evaluation campaign. 2017.

[10] Makoto Morishita, Jun Suzuki, and Masaaki Nagata. JParaCrawl: A large scale web-based English-Japanese parallel corpus. In Proceedings of The 12th Language Resources and Evaluation Conference, pp. 3603-3609, Marseille, France, May 2020. European Language Resources Association.

[11] Philipp Koehn, Hieu T. Hoang, Alexandra Birch, Chris Callison-Burch, Marcello Federico, Nicola Bertoldi, Brooke Cowan, Wade Shen, Christine Moran, Richard Zens, Chris Dyer, Ondrej Bojar, Alexandra Constantin, and Evan Herbst. Moses: Open source toolkit for statistical machine translation. In ACL, 2007.

[12] Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for Neural Text Processing. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[13] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A fast, extensible toolkit for sequence modeling. In Proceedings of NAACL-HLT 2019: Demonstrations,
2019.

[14] Taku Kudo. Mecab : Yet another part-of-speech and morphological analyzer. http://mecab.sourceforge.net/, 2005.

[15] Steven Bird and Edward Loper. NLTK: The natural language toolkit. In Proceedings of the ACL Interactive Poster and Demonstration Sessions, pp. 214-217, Barcelona, Spain, July 2004. Association for Computational Linguistics.

[16] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[17] Matt Post. A call for clarity in reporting BLEU scores. In Proceedings of the Third Conference on Machine Translation: Research Papers, pp. 186-191, Belgium, Brussels, October 2018. Association for Computational Linguistics.

[18] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. Journal of Machine Learning Research, Vol. 21, No. 140, pp. 1-67, 2020.


# 日本語法律 BERT を用いた判決書からの重要箇所抽出

菅原祐太宮崎 桂輔 山田寛章 徳永健伸
東京工業大学 情報理工学院
\{sugawara.y.ag@m, miyazaki.k.am@m, yamada.h.ax@m, take@c\}@.titech.ac.jp

## 概要

本研究では判決書からの重要箇所抽出タスクに おいて，法律分野の文書のみで事前学習を行った BERT，日本語 Wikipedia で事前学習された BERT か ら追加の事前学習を行なった BERTを用い，その性能を汎用日本語 BERT と比較検証した. 実験より,法律分野に特化した BERT モデルを用いることで，汎用日本語 BERT を超える性能があることを確認 した.

## 1 はじめに

裁判の記録である判決書は情報技術の発達により 電子化され，人々が参照できるようになっている.判決書にはその判決に至るまでの詳細な議論が記録 されており, 他の新聞記事や科学技術文書に比べて 内包される文が長く複雑な文となっている. 法律に 関する仕事している人々は関連事件の調査に膨大な 時間を費やしており，判決書に対する情報アクセス の容易化・効率化は重要な問題となっている. 判決書から重要箇所を自動的に抽出することができれ ば，判決書の効率的な調査や判決書要旨の作成の大幅な効率化が見込める. また，判決書はその長い文書長から，全文を自動要約モデルに入力することは 現実的ではないため, 本研究で行うような重要箇所抽出は自動要約の前処理としても有用である.

近年，大規模な事前学習によって汎用的な言語モ デルを構築するアプローチが普及している。なかで も BERT は様々なタスクで利用され，各タスクに応 じて fine-tuningを行うことで高い性能を実現してい る [1]. 更に，BERT は事前学習において，特定ドメ インのデータを用いて学習することで, 同ドメイ ンでの性能が高まることが報告されている $[2,3]$. Chalkidis らは、EU、英国、米国における英語で書か れた法律ドメインの文書のみで事前学習を行なっ た BERT，汎用ドメインのデータで事前学習された BERT に対してさらに法律ドメインの文書で追加事前学習を行なった BERT の 2 つの LEGAL-BERT を 構築した [4]. これらの LEGAL-BERT は, 法律ドメ インのテキスト分類と系列ラベリングのタスクに おいて，汎用ドメインで事前学習を行った BERT よ りも高い性能を達成している. 日本の判決書からの 重要箇所抽出においても，法律分野の文書データに よって BERT の事前学習を行った上で fine-tuning を 行うことで, Wikipedia等で事前学習された BERT よ りも高い性能を発揮することが期待できる。

そこで本研究では, (1) 法律分野の文書のみで事前学習を行った BERT，(2) 日本語 Wikipedia で事前学習された BERTをさらに法律分野の文書を用いて 追加事前学習を行った BERTを用い, 日本の判決書 からの重要箇所抽出タスクにおける性能を，汎用日本語 BERT と比較検証する。

## 2 関連研究

日本における判決書からの重要箇所抽出の研究と して，阪野らはSVMを用いて要旨の内容に該当す る箇所を判決文から自動的に抽出する手法を提案し ている [5]. 山田らは抽出型要約の一環として判決書の修辞役割（例：結論，法律の引用等）分類を行 い，文脈を考慮した階層型 RNNをべースとするモ デルを用いる手法を提案している [6].

英国における判決書を対象として，Hachey らは抽出型要約において, 機械学習を用いて修辞役割分類 を分別したうえで要約生成を行っている [7]. Tran らは修辞役割分類に対し，CNN または BiLSTM を 用いたモデルを提案している [8].

また，ドメイン固有のテキストデータに関するこ れまでの研究により, ドメイン固有の言語モデルを 作成することの重要性が指摘されている. 汎用ドメ インのデータで事前学習された BERT のモデルに 対して，さらに特定ドメインに特化したデータで 追加事前学習を行うことで，様々な専門ドメイン に対応したモデルが作られている. Lee らは大規模 なバイオ分野の文献を用いて事前学習させること

で，バイオ分野に特化した BioBERT を作成した [2]. BioBERT は Wikipedia 等で事前学習された BERT や 他のモデルに比べて，バイオ分野のテキストマイニ ングのタスクでより高い性能を達成している。ま た, Beltangy らは科学関連のコーパスに対して事前学習を行ったSciBERT 導入し, テキスト分類と系列レベリングのタスクで性能改善が報告されてい る [3]. 法律分野において, Chalkidis らは法律ドメ インの文書のみで事前学習を行なった BERT，汎用 ドメインのデータで事前学習された BERT に対し てさらに法律分野の文書で追加事前学習を行なっ た BERT の 2 つの LEGAL-BERT を構築した. 2 つ の LEGAL-BERTを用いて，3つの法律分野のデータ セットに対しテキスト分類と系列ラベリングのタス クを解いた結果, ほとんどのタスクで LEGAL-BERT が汎用ドメインで事前学習した BERT より高い性能 を達成している。これらは全て英語に限定したもの であるが，近年は他言語に対して事前学習を行なっ たモデルが構築されている. 特に法律文書に関し ては，Stella らがフランス語の法律文書に特化した juriBERT，Mihai らはルーマニア語の法律文書に特化した jurBERT をそれぞれ構築している $[9,10]$.

本研究では日本語 Wikipedia による BERT [11], 宮崎らが構築した法律文書に特化した BERT[12]をそ れぞれ用いて，性能を比較する。

## 3 実験

## 3.1 用いたコーパス

本研究では，株式会社 LIC より提供された日本の 民事事件判決書を日本語法律分野コーパスとして 用いる. 各判決書には法律知識を有する作業者が 判例として重要な記述と思われる箇所を特定した 注釈（重要箇所）が付与されている。コーパスは全 84,900 件の判決書から成る. 実験のためにコーパス を訓練データ，開発データ，テストデータに 8:1:1 の割合で分割した. 重要箇所が元から付与されてい ない，または適切に付与されていなかった文書を除外し, 最終的に訓練データ 67,870 件, 開発データ 8,490 件，テストデータ 8,490 件を得た。

## 3.2 前処理

民事事件判決書のコーパスに対し，データの前処理および文分割, 形態素分割を行った. まず，行頭 に出てくる見出し番号（例：(一）や（ア）など）を表 1 コーパス中の重要箇所を含む文の割合 [\%]

表 2 データセットの詳細 (重要文抽出)

削除し，インデントに使われている全角スペースも すべて削除した，次に文分割を行った．句点の直後 に括弧閉じが存在する場合のみを例外として扱い， それ以外のすべての改行及び句点を文末とした. 次 に JUMAN++ [13] を用いて文を形態素に分割した。

## 3.3 重要文抽出タスクの設定

一文中の重要箇所の割合と，それらの文がコーパ ス全体に占める割合の関係を表 1 に示す。この表か ら，重要箇所が付与された文のうち9割は文全体が 重要箇所となっており, 文の一部だけが重要箇所と なっていても，重要箇所が文に占める割合が十分に 大きいことが分かる. そのため, 本実験では重要箇所を含む文全体を重要文とみなして，重要文抽出の データセットを構築する.

作成したデータセットの特徴を表 2 に示す. 1 文書あたりの平均文数が大きく, 平均文書長が長いこ とが分かる.

## 3.4 実験設定

本研究では，ある文が重要箇所か否かを当てる二値分類タスクを解く．評価指標として精度，再現率， $\mathrm{F}$ 值を用いる。

実験には 3 つの異なる BERT の事前学習済みモデ ルを用い，それぞれを本重要箇所抽出タスクに対し て fine-tuning した上で実施する. 用いる事前学習済 みモデルは，京都大学が公開した日本語 Wikipedia によって学習した日本語 BERT[11], 宮崎ら [12] に よって BERTを日本語法律分野コーパスを用いて一 から事前学習した JLBERT-SC, 既存の日本語 BERT に日本語法律分野コーパスによる追加事前学習をお こなった JLBERT-FP である。なお，JLBERT-SC 及
表 3 サブワード化時のデータセット（日本語 BERT）

*長文：512トークンを越える文

表 4 サブワード化時のデータセット（JLBERT-SC）

び JLBERT-FP の事前学習に用いられた文書と本実験で用いるテストデータ中の文書との間に重複は ない.

訓練，開発，テストデータにおいて，重要箇所と なる文の総数が文全体の総数の約 $6 \%$ ほどとなって おりデータセットに含まれるインスタンスのクラス が占める割合に偏りがある。これに対処するために 損失関数の重みの値を工夫する．損失関数として使 う BCEWithLogitsLoss は

$
l_{c}=-w_{c}\left[y_{c} \cdot \log \sigma\left(x_{c}\right)+\left(1-y_{c}\right) \cdot \log \left(1-\sigma\left(x_{c}\right)\right)\right]
$

と表される。 $w_{c}$ はクラス $\mathrm{c}$ にける重み（ハイパー パラメータ),$y_{c}$ はラベル (今回の場合 0 か 1),$x_{c}$ は推定値を表す.この時，クラスにおける重み $w_{c}$ を

$
w_{c}=\frac{\text { クラスの学習データ数 }}{\text { 全クラスの学習データ数の和 }}
$

とすることで損失への寄与率に差が出ないようにす ることができると考えられる。

またサブワードによるトークン化を行う際，日本語 BERT と JLBERT-FP では元の日本語 Wikipedia を 用いた事前学習時に構築された既存の語彙を用い た. JLBERT-SC では日本語法律分野コーパス [12] を用いて事前学習した際に構築した語彙を用いた。 この時のデータセットの詳細を表 3,4 に示す. 法律文書に特化した語彙リストを参照した方が日本語 BERT の語彙リストを参照した場合よりも，平均文書長が小さくなっていることが分かる. 学習と推論 の際，512トークンを超える文に関しては文の初め から 512 トークンまでを入力として用い, 以降は削除した.

全ての BERT において optimizer は AdamW, 学習率 $1 e-5$, バッチサイズ $\in\{16,32\}$, エポック数表 5 各モデルの性能（マクロ平均値）

表 6 各モデルの性能（ミクロ平均値）

$\in\{3,4\}$, ドロップアウト 0.5 に設定し学習した. ベースラインモデルとして, 2 層からなる BiLSTM を用いた重要箇所抽出器を構築した。 optimizer は SGD, 学習率 0.01 , バッチサイズ $\in\{32,64\}$, エポッ ク数 15 で学習した. トークン化は日本語 BERT と JLBERT-FP に習い既存の日本語 BERT の語彙を用い て BPE 適用した. 単語埋め込みの次元数 200 , 中間層の次元数を 100 とした. また，損失関数である CrossEntropyLoss に対し BERT と同様の重みづけを 行った.

## 4 実験結果

重要箇所抽出の結果を表 5,6 に記す. ベースラ インである BiLSTM に比べて, 全ての事前学習済 みモデルが高い性能を出していることが分かる. また，マクロ平均に関して，F 値が JLBERT-SC と JLBERT-FP は日本語 BERT と比べて高い性能を出し ている (JLBERT-SCでは 0.15, JLBERT-FPでは 0.148 の上昇). 同様にミクロ平均に関しても高い性能を 出している. これは英語法律文書に特化した BERT においても同様の性能向上が見られている [4]. 今回はクラス間の比率の差が大きい不均衡データで あったが，損失関数の重み付けの工夫を行いドメイ ンに特化した BERT を構築することでドメイン固有 のタスクにおいて性能が向上することがわかる.

また，入力制限である 512 トークンを超える文に 対して BERT が上手く推論できているかどうかを評価した。文書全体から 512 トークン以下の文と 512 トークンを越える文をそれぞれ 500 個ずつランダム にサンプリングして，各 BERT におけるミクロ平均 の $\mathrm{F}$ 値を算出する方法を計 10 回繰り返しその平均
表 7 文長におけるモデルの性能差（ $\mathrm{F}$ 值）

を取った. その結果を表 7 に示す. 表 5,6 に示した ものと同様に，JLBERT-SC と JLBERT-FP が汎用日本語 BERT よりも高い性能が出ていることが分か る.また，512 トークンを超える文における $\mathrm{F}$ 值が 512 トークン以下の文と表 6 の $\mathrm{F}$ 值よりも大きな值 となっており，512トークンを超える文に対して十分な認識性能を持っていることが分かる.

## 5 おわりに

本研究では判決書からの重要箇所抽出タスクに おいて, 汎用日本語 BERT と法律分野に特化した BERT モデルを適用しその性能を検証した. その結果，法律分野の文書のみで事前学習を行った BERT，日本語 Wikipedia で事前学習された BERT をさらに 追加事前学習を行なった BERT の両方で汎用日本語 BERT を越える性能があることを確認した. 今後の 課題としては，今回のモデルは文脈を考慮していな いため，文脈を考慮した階層型モデルの提案とその 実装，最終的に抽出した文を抽象型要約タスクに応用することが考えられる。

## 謝辞

本研究で使用した判決書データは株式会社 LIC から提供を受けたものである。本研究は，JST， ACT-X，JPMJAX20AM の支援を受けたものである.

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018.

[2] Jinhyuk Lee, Wonjin Yoon, Sungdong Kim, Donghyeon Kim, Sunkyu Kim, Chan Ho So, and Jaewoo Kang. BioBERT: a pre-trained biomedical language representation model for biomedical text mining. 092019.

[3] Iz Beltagy, Kyle Lo, and Arman Cohan. Scibert: Pretrained language model for scientific text. In EMNLP, 2019.

[4] Ilias Chalkidis, Manos Fergadiotis, Prodromos Malakasiotis, Nikolaos Aletras, and Ion Androutsopoulos. LEGALBERT: The muppets straight out of law school. In Findings of the Association for Computational Linguistics: EMNLP 2020, pp. 2898-2904, Online, November 2020. Association for Computational Linguistics.
[5] 阪野慎司, 松原茂樹, 吉川正俊. 機械学習に基づく判決文の重要箇所特定. 言語処理学会年次大会発表論文集, pp. 1075-1078, 名古屋, 2006.

[6] 山田寛章, Simone Teufel, 徳永健伸. 見出し情報を考慮した階層型 $\mathrm{rnn}$ による日本語判決書のための修辞役割分類. 言語処理学会年次大会発表論文集, pp. 37-40, 2018.

[7] Ben Hachey and Claire Grover. Extractive summarisation of legal texts. Artificial Intelligence and Law, Vol. 14, No. 4, pp. 305-345, 2006.

[8] Vu D. Tran, Minh L. Nguyen, Kiyoaki Shirai, and Ken Satoh. An approach of rhetorical status recognition for judgments in court documents using deep learning models. In 2019 11th International Conference on Knowledge and Systems Engineering (KSE), pp. 1-6, 2019.

[9] Stella Douka, Hadi Abdine, Michalis Vazirgiannis, Rajaa El Hamdani, and David Restrepo Amariles. JuriBERT: A masked-language model adaptation for French legal text. In Proceedings of the Natural Legal Language Processing Workshop 2021, pp. 95-101, Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[10] Mihai Masala, Radu Cristian Alexandru Iacob, Ana Sabina Uban, Marina Cidota, Horia Velicu, Traian Rebedea, and Marius Popescu. jurBERT: A Romanian BERT model for legal judgement prediction. In Proceedings of the Natural Legal Language Processing Workshop 2021, pp. 86-94, Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[11] 柴田知秀, 河原大輔, 黒橋禎夫. Bert による日本語構文解析の精度向上. 言語処理学会 第 25 回年次大会,名古屋, 2019 .

[12] 宮崎桂輔, 菅原祐太, 山田寛章, 徳永健伸. 日本語法律分野文書に特化した bert の構築. 言語処理学会 第 28 回年次大会, 2022.

[13] Arseny Tolmachev and Sadao Kurohashi. Juman++ v2: A practical and modern morphological analyzer. 言語処理学会 第 24 回年次大会, 岡山, 2018.


# 単語と文書の関係によるグラフを用いた文書分類

中嶋宽武 ${ }^{1}$ 佐々木稔 ${ }^{1}$
1 茨城大学工学部情報工学科
\{18t40641, minoru. sasaki. 01\}@vc. ibaraki. ac. jp

## 概要

グラフ構造を利用した文書分類の手法の一つに RoBERTaGCNがある。RoBERTaGCNは、20NG、R8、 Ohsumed、MR の 4 つのデータセットによる文書分類において、既存手法の中で最高の性能を誇ってい る。しかし、RoBERTaGCN は、文書-単語ノード間 の関係と単語ノード間の関係は各ノード間の重みと して表現し考慮しているが、文書ノード間の関係は 考慮できていない。そこで、文書の分散表現のコサ イン類似度を文書ノード間の重みとしてグラフに追加することで、RoBERTaGCN の精度向上を試みた。実験の結果、RoBERTaGCN に対して、20NG で $0.67 \%$ 、 Ohsumed で $1.19 \%$ の分類性能の向上を確認できた。

## 1 はじめに

自然言語処理のタスクに文書分類がある。文書分類とは、与えられた文書に対して、事前に定義され たラベル群から適切なラベルを推定するタスクのこ とであり、その技術は、人間が文書を分類する作業 を自動化するための技術として実社会でも応用され ている。

文書分類の手法に RoBERTaGCN がある。 RoBERTaGCN は BERT の大量ラベルなしデータを 活用した大規模事前学習によって得られた知識と、 GCN のトランスダクティブ学習の利点を組み合わ せた手法である。この手法は、20NG、R8、Ohsumed、 MR の 4 つのデータセットによる文書分類において、既存手法の中で最高の性能を誇っている。

しかし、RoBERTaGCN は、文書ノードと単語ノー ド間の関係と単語ノード間の関係は各ノード間の重 みとして表現し考慮しているが、文書ノード間の関係は考慮できていない。そこで、文書ノード間の関係をノード間の重みとしてグラフに追加することで
RoBERTaGCN の精度向上を試みた。具体的には、各文書を BERT モデルに入力し、その最終の隠れ層に おける CLS ベクトルを得る。そして各文書の CLS ベクトルのコサイン類似度を計算し、それらを文書 ノード間の重みとして追加した。これにより、文書 ノード間の関係を考慮したグラフが作成でき、 RoBERTaGCN の各データセットにおける正答率を 上回ることを期待した。

コサイン類似度の閾値を 0.5 と $0.95 \sim 0.995$ まで の間 0.005 刻夕で設定して実験を行うことで、提案手法の性能を評価するとともに、各データセットに おける最適なコサイン類似度の閾値についても検討 を行った。

## 2 関連研究

Kipf ら[1]は、置み込み操作によって局所的に特徴量を抽出する畳み込みニューラルネットワーク (CNN）を、グラフデータに応用できるようにした GCN を提案した。Kipf らの GCN による文書分類は 2017 年当時、最高の精度で分類することができてい た。

Yao ら[2]は、文書分類のタスクに、GCNを適用し た手法である TextGCN を提案した。TextGCN は文書ノードと単語ノードを同一のグラフ(異種グラフ)上に表現し、それを $\mathrm{GCN}$ へ入力としている。 TextGCN は 2018 年当時、文書分類タスクにおいて state-of-the-art を達成した。

Yuxiao ら[3]は、BERT の大量ラベルなしデータを 活用した大規模事前学習によって得られた知識と、 GCN のトランスダクティブ学習の利点を組み合わ せた手法である BertGCN ${ }^{i}$ を提案した。BertGCN では、各文書を BERT に入力して、その出力から文書べク トルを抽出し、それを文書ノードの初期表現として 文書と単語の異種グラフとともに GCNへ入力する。

BertGCN は現在、文書分類タスクにおいて state-ofthe-art を達成している。

## 3 提案手法

提案手法の動作概要図を図 1 に示す。まず、文書 を入力として単語と文書の異種グラフを構築する。次に、そのグラフ情報（重み行列と初期ノード特徴行列）をBERT と RoBERTaGCN に入力し、それぞ れにおける予測結果を得る。最後に、それぞれの予測結果の線形補間を計算し、その結果を最終的な予測として採用する。尚、 3.1 節の内容が本研究におけ る RoBERTaGCN の改良点であり、3.2 節と 3.3 節の 処理は RoBERTaGCN に準拠している。

図 1 : 提案手法の動作概要図

## 3.1 異種グラフ構築

単語ノードと文書ノードを含む異種グラフを構築する。まず、ノード $i, j$ 間のエッジの重みを以下式 (1)のように定義する。単語ノード間のエッジの重み には自己相互情報量（PPMI）を使用する。単語ノー ドと文書ノード間のエッジの重みにはtfidf値を使用 する。RoBERTaGCN では、文書ノード間のエッジの 重みは定義していなかったが、本研究では、各文書 ベクトルの類似度を文書ノード間の重みとして定義 する。具体的には、各文書を BERT に入力し、その 最終の隠れ層から各文書の先頭に追加した特殊トー クンである[CLS]における重みである CLS ベクトル を得る。そして各文書の CLS ゙゙クトルのコサイン類似度を計算し、予め設定した閾値を超える類似度を 文書ノード間の重みとして付加する。

$A_{i, j}=\left.\{\begin{array}{cc}\text { COS_SIM }(i, j), & i, j \text { are documents }(i \neq j) \\ P P M I(i, j), & i, j \text { are words }(i \neq j) \\ T F-I D F(i, j), & \text { is document } j \text { is word } \\ 1, & i=j \\ 0, & \text { otherwise }\end{array}\right.$

次に、GCN に入力する初期ノード特徴行列を作成 する。BERT を用いて文書埋め込み表現を取得し、
それらを文書ノードの入力表現として扱う。文書ノ 一ドの埋め込み表現 $X_{d o c}$ は、文書数 $n_{d o c}$ と埋め込み 次元数dを用いて $X_{d o c} \in \mathbb{R}^{n_{d o c} \times d}$ で表される。総じて、初期ノード特徴行列は以下式(2)で与えられる。

$
X=\left(\begin{array}{c}
X_{\text {doc }} \\
0
\end{array}\right)_{\left(n_{d o c}+n_{\text {word }}\right) \times d}
$

## 3.2 GCN への入カと学習

式(1)と(2)で示したノード間のエッジの重みと初期ノード特徵行列を GCN に入力し、学習を行う。第 $i$ 層の出力特徴行列 $L^{(i)}$ は式(3)で計算される。

$
L^{(i)}=\rho\left(\tilde{A} L^{(i-1)} W^{(i)}\right)
$

$\rho$ は活性化関数であり、 $\tilde{A}$ は正規化された隣接行列 である。 $W^{i} \in \mathbb{R}^{d_{i-1} \times d_{i}}$ は第 $i$ 層における重み行列で ある。 $L^{(0)}$ は $X$ であり、モデルの入力特嘚行列にな っている。GCN の出力は文書ノードの最終表現と して扱われ、分類のためにその出力は Softmax 関数 に入力される。 $\mathrm{GCN}$ の出力による予測は以下式(4) で与えられる。

$
Z_{G C N}=\operatorname{softmax}(g(X, A))
$

## 3. 3 BERT と RoBERTaGCN による予測の補間

BERT 埋め込み表現を直接扱う補助分類器で RoBERTaGCN を最適化することにより、より高速な 収束と性能向上につなげている。具体的には、文書埋め込み表現 $X$ と重み行列 $W$ を softmax に直接送り 込むことで BERT による補助分類器を作成する。補助分類器による予測は以下式(5)で与えられる。

$
Z_{B E R T}=\operatorname{softmax}(W X)
$

そして、RoBERTaGCN からの予測である $Z_{G C N}$ と BERT (補助分類器) からの予測である $Z_{B E R T}$ で線形補間を行い、その線形補間の結果を最終的な予測と して採用する。線形補間の結果は以下式(6)で与えら れる。

$
Z=\lambda Z_{G C N}+(1-\lambda) Z_{B E R T}
$

$\lambda$ はつの予測の間のトレードオフを制御し、 $\lambda=1$ の場合は完全な RoBERTaGCN モデルを使い、 $\lambda=0$ の場合は BERT モジュールのみを使用することを意味する。 $\lambda \in(0,1)$ の場合、両方のモデルから予測の バランスを取ることができ、RoBERTaGCN のモデル をより最適化することができる。 $\lambda=0.7$ が $\lambda$ 最適值であることが Yuxiao らの実験によって明らかに されている。

## 4 実験

コサイン類似度の閾値を 0.5 と $0.95 \sim 0.995$ までの 間 0.005 刻みで設定して実験を行うことで、提案手法の分類性能を評価するとともに、各データセット における最適なコサイン類似度の閾値についても検討を行った。

## 4. 1 データセットについて

文書分類の実験において、よく用いられる英文コ ーパスである 20NG、R52、R8、Ohsumed、MR の 5 つをデータセットとして採用した。以下表 1 に各デ ータセットの文書数や平均単語数、訓練データ数と テストデータ数を示す。

表 1 : 各データセットの情報

 &  &  \\

各データセットについて以下 2 の項目の前処理 を施し実験を行った。

・ストップワードの除去

・記号の除去

各文書を特徴づける単語のみを残すこと、また、単語数を減らしメモリを節約することの両方を目的 として、ストップワードと記号を除去した。

## 4.2 実験結果

コサイン類似度の閾値ごとの実験結果を、もとの RoBERTaGCN での正答率と合わせて表 2 に示す。 ×とした項目は、メモリ不足によって実験が完了で きなかった項目である。また、Ohsumedについては、閾值 0.99 以上と 0.995 以上、閾値 0.975 以上と 0.98 以上の実験で、追加される CLS ベクトルのコサイン 類似度のエッジの数が同じであったため、まとめて 表記した。各データセットにおける CLS ベクトルの コサイン類似度の值の分布については付録に表形式 で示した。どのデータセットにおいても特定の閾値 において、元の RoBERTaGCN の分類性能を上回る ことが確認できたが、R8、R52、MR については元の RoBERTaGCN の性能を上回っている閾值が 1 つか
ら2つ程度となっており、安定的な分類性能の向上 が見られなかった。一方、20NG では、 0.95 から 0.995 までのどの閾値においても元の RoBERTaGCN の分類性能を上回っており、Ohsumed でも、大方の閾値 において元の RoBERTaGCN の分類性能を上回った。際立った結果としては、閾值 0.975 において $20 \mathrm{NG}$ で $0.67 \%$ 、閾值 0.965 において Ohsumed で $1.19 \%$ 、元の RoBERTaGCN の分類性能を上回ることが確認 できた。

表 2 : コサイン類似度の閾値ごとの実験結果

 & MR \\

\cline { 1 - 4 } 0.98 & 89.60 & 98.54 & 93.96 & 88.29 \\

\cline { 1 - 4 } 0.995 & 89.51 & $\mathbf{9 8 . 8 1}$ & 93.26 & 88.31 \\

## 5 考察

以下表 3 に、各データセットにおいて追加された 各種エッジの数とコサイン類似度の平均値を示す。

表 3 : エッジの数とコサイン類似度の平均值

 &  &  \\

×とした 20NG のコサイン類似度のエッジはコサ イン類似度を計算している途中でメモリ不足となり、
重みを付加し終えることができなかった。閾値を 0.5 に設定した実験では、20NG と R52、MR のデータセ ットにおいてメモリ不足により、実験が完了できな かった。また、実験が完了できた R8、Ohsumed にお いても、元の RoBERTaGCN の分類性能を大きく下回る結果となった。いずれの理由も追加する文書ノ ード間のエッジの重みの数が膨大になってしまった ことが原因と考えられる。どのデータセットにおい ても CLS ベクトルのコサイン類似度のエッジの数 が、pmi エッジや tf-idf エッジの 2 倍以上となってい る。また、CLS ベクトルのコサイン類似度の平均値 がいずれのデータセットにおいても 0.8 0.85 の間に あることから、同じジャンルではない文書ノード間 のエッジの重みも相当数追加され、それがノイズに なってしまっていると考えられる。

表 1 の各データセットの平均単語数と表 2 の実験結果を分析すると、提案手法は元の RoBERTaGCN と比較して、平均単語数が多いデータセットほどよ り高い分類性能を得やすいことが分かる。これは、平均単語数が多いほど、文書の CLS ベクトルにそれ らの文書の特徴がよく反映され、同じジャンルの文書ノード間により多くコサイン類似度の重みが追加 されたためと考える。反対に、平均単語数が少ない ほど、文書の CLS ベクトルに差が表れにくくなり、違うジャンルの文書の CLS ベクトルのコサイン類似度が高く出てしまい、違うジャンルの文書のノー ド間の重みにコサイン類似度の重みが追加されてし まったことが、分類性能が思うように上がらなかっ た要因であると考えられる。

表 2 において、分類性能の最高値を示している CLS ベクトルのコサイン類似度の間值における、追加されたエッジの数の割合を計算した。以下表 4 に 計算結果を示す。

表 $4:$ 追加されたエッジの数の割合

 &  &  \\

追加されたエッジの数の割合と分類性能に関係性 は見えてこないため、今後は、文書ノード間に追加 する重みを CLS ベクトルのコサイン類似度の閾値 で決定するのではなく、コサイン類似度の値の上位 ○といった基準での実験を行い、文書ノード間の エッジの数と分類性能の関係を明らかにする必要が ある。

## 6 おわりに

本論文では、文書ノード間のエッジの重みとして 文書の CLS ベクトルのコサイン類似度を付加する ことで RoBERTaGCN を改良でき、元の RoBERTaGCN の分類性能を上回ることを確認した。特に、提案手法は長い（平均単語数の多い）文書に 対して特に有効であることが実験によって示された。

今後は、提案手法と BertGCN の相性や、GCN で はなく代わりに GAT を用いた場合の分類性能につ いても、実験を行って確認していきたい。

## 参考文献

1. Kipf, T. N., and Welling, M. 2017. Semi-supervised classification with graph convolutional networks. In ICLR. 2. Liang Yao, Chengsheng Mao, and Yuan Luo. 2019. Graph Convolutional Networks for Text Classification. In AAAI-19.

3. Yuxiao Lin, Yuxian Meng, Xiaofei Sun, Qinghong Han, Kun Kuang, Jiwei Li and Fei Wu. 2021. BertGCN: Transductive Text Classification by Combining GCN and BERT.

## A 付録


# 手・指の動きを伴う子どもの反応を対象とした 絵本レビュー分析・絵本の類型化と発達心理学文献との比較*

笠松 美歩 1 宇津呂 武仁 ${ }^{1}$ 齋藤 有 ${ }^{2}$ 石川由美子 ${ }^{3}$
}

1 筑波大学大学院 システム情報工学研究科 2 聖徳大学 児童学部 3 宇都宮大学 共同教育学部
## 概要

本論文では, 日本最大級の絵本・北童書 専門サ イト「絵本ナビ」に投稿された，絵本に対するレ ビューを情報源とすることで，絵本に対する子ど もの認知発達的反応および絵本の分類を行う. 特 に，本論文では，絵本読み聞かせ場面を描写したレ ビューから手・指の動きを伴う子どもの反応を大規模に収集し, それらの反応における特徴に応じて絵本の特徴が類型化できること, およびその類型化結果を示す.

## 1 はじめに

発達心理学は, 子どもの発達メカニズムを解明す ることを目的とする学問分野である.この分野にお いて, 絵本の読み聞かせは子供の発達に大きな影響 を与えるとされており, 有力な研究対象の一つと なっている. 絵本読み聞かせ場面における認知発達的反応と, そこで用いられる絵本の種類との関係を 解明することは, こうした研究の発展に大きく貢献 できると考えられるが, 発達心理学において, この 関係の追求は十分にはなされていない. その理由と して, この追求に必要不可欠である大規模なデータ の収集・分析が, 現在の発達心理学における研究手法では困難であるという点が挙げられる．従来の発達心理学の研究手法は, 実際の絵本読み聞かせ場面 の映像を収録し，その内容を人手で一つ一つ分析す るというものであり，データの規模を拡大するため には, 膨大な時間と労力が必要となる. そこで, 本論文では, 日本最大級の絵本 - 児童書専門サイト 「絵本ナビ」1)に投稿された, 絵本に対するレビュー を情報源とすることで, 絵本に対する子どもの認知発達的反応および絵本の分類を行う.

本論文では，0 4 歳の手・指の動きを伴う子ども の反応について, 子どもの反応の分析を行う. 手指の動きを伴う子どもの反応は認知発達と関連があ るとされ, 発達心理学では多数の研究事例のある重要な反応にも関わらず，絵本を用いた研究事例はき わめて少ない。それに対し，本論文では，絵本読み 聞かせ場面を描写したレビューから手・指の動きを 伴う子どもの反応を大規模に収集し，それらの反応 における特徴に応じて絵本の特徴が類型化できるこ と, およびその類型化結果を示す.

## 2 絵本レビューサイト「絵本ナビ」

本論文では, 絵本情報サイト「絵本ナビ」に読者 が書き込んだレビュー(以降，レビュー)を分析の対象とする。絵本ナビは，絵本および児童書約 89,700 タイトルに関する出版社, 著者, あらすじなどの基本情報の他, 大量のレビュー (2021 年 12 月現在で 約 42 万 2 千レビュー) が書き込まれる国内最大級 の絵本および児童書に特化した情報サイトである.多くのレビューにおいて, 絵本の読み手 (以降, レ ビュアー)の感想や行動を描写した記述と，聞き手 である子どもの反応を描写した記述が混在してい る. 文献 $[13,14]$ では, 絵本ナビ中のレビューを人手分析し, 絵本に対する子どもの反応の描写が含ま れる割合について報告している。特に，文献 [14]で は，手・指を用いたジェスチャーに焦点を当て，子 どもの認知発達的事例の類型化を人手で行なってい る. そして, それらの類型と, 発達心理学分野にお けるこれまでの知見との間で比較分析を行なった。一方，本論文では，手・指を用いたジェスチャーに 焦点を当て, 絵本レビューより抽出される子どもの 認知発達的反応およびその際に用いられた絵本タイ トルを分析するとともに，事例数の規模について推定を行い, 発達心理学分野における従来からの知見 と, 絵本レビューから収集可能な定量的情報との間 の比較分析を行うことを目的としている.
表 1 認知発達的反応 (手・指の動きを伴う反応) の類型

(a) 身振りを伴う子どもの反応

 &  & 代表的な呼称 & 反応類型の概要 & レビュー中の例 & 文献中の例 \\

(b) その他の手・指の動きを伴う子どもの反応

 & 反応類型番号 & 反応類型の概要 & レビュー中の例 \\

## 3 発達心理学における身振りを伴う 子どもの反応特徵の類型

発達心理学においては, 手・指を含んだ身体の動 きを伴う反応のうち, 身振りと呼ばれる反応が主 に扱われ，それらを類型化して分析を行っている.発達心理学文献における主な身振りの類型に関し て, 本論文中での類型の通し番号 (反応類型番号) $\cdot$概要・発達心理学文献における代表的な呼称・レ ビューおよび文献中の例を表 1(a)に示す.これらの 類型のうち, 反応類型番号がRL から始まる類型は,発達心理学文献・レビュー中両方に出現する類型で あり, 反応類型番号が $\mathrm{L}$ から始まる類型は, 発達心理学文献にのみ出現する類型である. また, 本論文 において調査した, 各類型を扱った発達心理学文献数を，表 2(a) に示す。

## 4 レビュー中の子どもの認知発達的反応の分析

本論文では, 絵本レビュー中に描写されている 手・指の動きを伴う子どもの反応を，まず表 1 (a) に おける身振りの類型に分類した。この過程におい て, これらの類型には分類不可能な反応が多数見つ かった. 発達心理学における身振りとは, 空間的情報や身体の動きに関する情報を表現する動き [2] で あり，ここには，絵本そのものを操作するなど，何 かを表現することを意図しない動きは含まれない. しかし, 絵本レビューには, こうした何かを表現す ることを意図しない手・指の動きを伴う反応が多数含まれている。そこで，これらをその特徴に基づい てグルーピングし, 独自に類型 $\mathrm{R} 1 \sim \mathrm{R} 8$ を作成した.表 1(b) に, これらの類型の本論文中での類型の通し 番号 (反応類型番号) ・概要・レビュー中の例を示す.絵本レビュー中の手・指の動きを伴う子どもの反応 を, 表 1 に示す類型に分類した場合の, 各類型にお ける年齢別の反応頻度 (「指さす」以外については 観察サンプル数 10 での推定値, 「指さす」について は観測サンプル数 20 での推定値) および反応表現種類数を表 2(b), および，表 2(c) に示す.

## 5 絵本の分類および発達心理学文献 の調査

4 節において類型化された反応に基づいて, 絵本 の類型化を行った結果, 表 3 に示す類型が得られ た.この類型化によって作成された類型は 40 であ り，そこに含まれる手・指の動きを伴う子どもの反応の頻度は 826 , 反応表現種類数は 91 であった。ま

た, 同種の反応が含まれる発達心理学文献について も調査し, その結果を, 表 3 の「同種の反応に言及 している発達心理学論文・書籍」欄に示す. 同種の 反応に言及している発達心理学文献が見つかった類型は 40 の絵本類型のうち 6 類型であり, 文献数は 11 であった.

## 6 おわりに

本論文では, 従来の発達心理学研究における方式 とは異なり, 絵本のレビューが書き込まれるサイト を情報源として, 絵本に対する子どもの認知発達的反応が描写された絵本レビューを分析対象とす る方式を提案した。具体的に，本論文では，絵本レ ビュー中の手・指の動きを伴う子どもの反応に関し て, それらの反応および絵本の類型化を行い, 発達心理学文献との比較を行った. その結果, 子どもの 反応における特徴に応じて絵本の特徴を類型化する ことができた。表 2 発達心理学文献およびレビューにおける 各反応類型の分布

(a) 各反応類型を含む発達心理学文献数

} & \multicolumn{2}{|c|}{ |反応事例の描写なし } & 4 & 3 & 6 & 0 & 3 & 1 & 2 & 6 \\

(b) 各反応類型のレビュー中の頻度分布 (推定値)

(c) 各反応類型のレビュー中の反応表現種類数分布

表 3 絵本レビュー中の子どもの認知発達的反応 (手・指の動きを伴う反応) に基づく絵本の分類および

 & 絵本の特徵 &  & 説明 &  & 頻度 & 絵本タイトル &  \\

{[1]}\end{array}\right.$} \\

## 参考文献

[1] Ş. Özçalişkan and S. Goldin-Meadow. Do parents lead their children by the hand? Journal of Child Language, Vol. 32, No. 3, pp. 481-505, 2005.

[2] 小林春美, 佐々木正人. 新・子どもたちの言語獲得.大修館書店, 2008.

[3] J. M. Iverson, O. Capirci, and M. C. Caselli. From communication to language in two modalities. Cognitive Development, Vol. 9, No. 1, pp. 23-43, 1994.

[4] E. Nicoladis. Some gestures develop in conjunction with spoken language development and others don't: Evidence from bilingual preschoolers. Journal of Nonverbal Behavior, Vol. 26, No. 4, pp. 241-266, 2002.

[5] L. Acredolo and S. Goodwyn. Symbolic gesturing in normal infants. Child Development, pp. 450-466, 1988.

[6] 藤井美保子. コミュニケーションにおける身振りの 役割. 教育心理学研究, Vol. 47, No. 1, pp. 87-96, 1999.

[7] Ş. Özçalişkan, D. Gentner, and S. Goldin-Meadow. Do iconic gestures pave the way for children's early verbs? Applied Psycholinguistics, Vol. 35, No. 6, pp. 1143-1162, 2014.

[8] 山本正志, 山本博香. 1 健常幼坚における身ぶりの発達. 聴能言語学研究, Vol. 10, No. 1, pp. 8-15, 1993.

[9] E. Bates, D. Thal, K. Whitesell, L. Fenson, and L. Oakes. Integrating language and gesture in infancy. Developmental Psychology, Vol. 25, No. 6, p. 1004, 1989.

[10] 高井直美, 高井弘弥. 初期シンボル化における身ぶ り動作と音声言語との関係. 発達心理学研究, Vol. 7, No. 1, pp. 20-30, 1996.

[11] 山本正志, 山本博香. 健常幼览における身ぶりの発達 (2). 聴能言語学研究, Vol. 13, No. 3, pp. 205-212, 1996.

[12] 平澤順子. 保育所 1 歳児クラスの絵本の読み聞かせ 場面における自発的身ぶりの検討. 日本女子大学大学院紀要, Vol. 24, pp. 113-122, 2018.

[13] 上原宏, 馬場瑞穂, 宇津呂武仁. 発達心理学の観点か ら見た絵本レビュー中の子供の反応の分析. 言語処理学会第 21 回年次大会論文集, pp. 832-835, 2015.

[14] H. Uehara, M. Baba, and T. Utsuro. Analyzing developmental characteristics of infants' finger/hand gestures text analysis of picture book reviews 一. 言語処理学会第 23 回年次大会論文集, pp. 430-433, 2017.


# テレビ字幕データを用いた感情分析による 「ある日の日本の気分」推定に関する研究

イーフエイチー1 ${ }^{1}$ 望月 源 $^{2}$
${ }^{1}$ 東京外国語大学 言語文化学部 ${ }^{2}$ 東京外国語大学 大学院総合国際学研究院
\{yee. hueichi.s0, motizuki\}@tufs. ac. jp

## 概要

本研究は感情分析を用いて，とある日の日本社会全体がその日の出来事からどのような情緒的な雾囲気になっていたのか，いわば「日本の気分」を推定 することを目的とする. テレビ字幕データの中から 日々のニュース字幕を取り出し, 日本語感情分析ラ イブラリ oseti により計測した各文の感情スコアを 集計することで, ある日の感情を推測する. 2019 年 10 月から 2020 年 12 月 31 日までの期間を対象に実際に日付ごとの感情分析によるスコアがどのように 変化したのかを考察する。

## 1 はじめに

本研究は感情分析を用いて，とある日の日本社会全体がその日の出来事からどのような情緒的な雾囲気になっていたのか, いわば「日本の気分」を推定 することを目的とする。過去の一連のニュースに関 するテキストを分析することによって，過去の，と ある期間の日本社会がどんな雰囲気なのか, あるい は現在の社会の雰囲気がどんななのか, 具体的に世間の「雰囲気」を数值化する. 数值化した結果から， とある期間の「日本の気分」を可視化する [1].

この目的を達成するため, 本研究では, テレビの ニュース番組の字幕データを利用し， 1 日単位での 感情分析によるスコアを抽出する. 1 年 2 ケ月とい う比較的長い期間のデータを分析することによって，時間と共に日付ごとの感情分析によるスコアがどの ように変化したのかを考察する.

## 2 調査方法

## 2.1 使用データについて

本研究では, 東京外国語大学計算言語学研究室で 収集整備している「日本語テレビ字幕コーパス」を用いる[2]. このコーパスは, 東京都の地上波デジタ ルテレビ放送に付与されたクローズドキャプション (字幕)データを収集し, 不要な情報を除去した後に,字幕表示のために断片化した文を 1 文にまとめたう えで字幕表示のタイミング情報を付与したものであ り, 以下の特徴がある.
- 2012年 12 月から 2021 年 9 月の時点で 518,960 番組, 179,268,965 文, $1,945,899,573$ 形態素.
- 各テキスト(番組)はテレビ局の番組情報に基 づいて, アニメ/特撮, スポーツ, ドキュメ ンタリー／教養, ドラマ, ニュース／報道, バラエティ, 映画, 音楽, 劇場 $/$ 公演, 趣味 ／教育, 情報／ワイドショー, 福祉, および, その他の 13 種類に分類されている.

本研究ではこのコーパスの中から，2019 年 10 月 1 日から 2020 年 12 月 31 日までの「ニュース/報道」 の 16,362 テキストを字幕データとして使用する.

## 2.2 データ分析の方法

## 2. 2.1 感情分析ツール

感情分析では，単語や用語ごとに「ポジティブ」「ネガティブ」の極性を定めた「感情極性辞書」を 用いることが多い. 代表的な日本語の感情極性辞書 として「日本語評価極性辞書」がある.この日本語評洒極性辞書は,「日本語評価極性辞書(用語編)」[3] と「日本語評価極性辞書(名詞編)」[4]に分類されて いる. 用言編と名詞編の全表現には「ポジティブ」「ネガティブ」の評価極性が振り分けられており，用言編にはさらに「客観的」「主観的」の振り分け もある. 本研究では, この日本語評価極性辞書をデ ータとして用いた日本語感情分析ライブラリ「oseti v.0.2」[5]を用いる. oseti は 1 文ごとの感情スコアを 計算するツールとして GitHubにて公開されている. 1 文を入力すると, 文内の表現のスコアの平均值を
計算し, 文全体としての感情スコアを-1から 1 の範囲で出力する.ポジティブなスコアは肯定的な感情, ネガティブなスコアは否定的な感情, 丁度ゼロとな るスコアはどちらでもないということを指す.

また, oseti は否定的な文脈が現れるとネガティブ な極性を付ける。例えば，「お金」と「希望」は単独ではポジティブな極性である表現だが「お金も希望もない」という文ではポジティブな極性が取り消 され, ネガティブな極性になるため, 文全体のスコ アはネガティブな値となる. 本研究ではコーパス内 の各文の感情スコア計算に oseti を用いる。

## 2. 2.2 感情分析方法

とある日の「日本の気分」を表す数値の計算に当 たって，まずは式 1 の「合計スコア」を導入する.

合計スコア $s c r_{\text {total }}$ はその日のポジティブな文のス コア $s c r_{p}$ の総計とネガティブな文のスコア $s c r_{n}$ の総計を足し合わせたものであり，その日に放送された 全部の文のスコアを足し合わせたものである.

$
s c r_{\text {total }}=\sum_{p \in \text { positive }} s c r_{p}+\sum_{n \in \text { negative }} s c r_{n}
$

ここで positive はポジティブな文の集合, negative はネガティブな文の集合をそれぞれ表す.

式 1 では，肯定的な感情を持つ文と否定的な感情 を持つ文はスコアが打ち消し合う関係にある。

一方, 肯定的な感情と否定的な感情がお互いに打 ち消し合う関係にあるのかについては，疑問も生じ る. 例えば，ある日に， 1 件の非常に悲しいニュー ス(スコアを 5.0 とする)と, 5 つの少しだけ嬉しいニ ユース(各スコアを-1.0 とする)があったとする. 合計 スコアの考え方では, 5.0-(1.0x5)=0.0 となり, その日 の感情は全体として「どちらでもない」ということ になる。しかし, 実際にその日に重大な出来事が発生しており, 人々は起きた物事に強い感情を持って いたはずなので尺度としてしっくりこない部分もあ る. そこで，極性によらず社会の感情の強さを図る 「感情の強度(1)」scr $r_{e s 1}$ を導入する(式 2).

$
s c r_{e s 1}=\sum_{p \in \text { positive }} s c r_{p}+\sum_{n \in \text { negative }}\left|s c r_{n}\right|
$

感情の強度(1)とは，その日のネガティブスコアを 絶対値にし，ポジティブスコアに足し合わせたもの
である. 両方のスコアが同等に高い日があった場合，合計スコアではゼロに近くなるが，感情の強度(1)で は反対に高くなる。評価極性に関係なく，その日の 感情の動きの強さが分かる尺度となっている。

ただし, 感情の強度(1はデータの量に強く左右さ れる。一般に，ニュースが多い日にはスコアを計算 する文数も多くなるため，値が大きくなり，少ない 日には值が小さくなる。そこで，データの量の影響 を軽減する「感情の強度(2)」scr $e_{e s 2}$ を導入する(式 3).

$s c r_{e s 2}=\frac{\sum_{p \in \text { positive }} s c r_{p}+\sum_{n \in \text { negative }}\left|s c r_{n}\right|}{N}$

感情の強度(2)とは, 感情の強度(1を総文数 $\mathrm{N}$ で割 ったものである. 1 日のニュースの量に応じて感情 の強度が調整されるため, 感情の強度(1)に比べてデ 一夕量の影響が少ない尺度となっている。

本研究では, 1 日ごとのテレビ字幕データを以上 の 3 つの計算方法で計算し，比較する。

## 3 感情データの可視化と分析

## 3.1 合計スコアのグラフ化

2019 年 10 月から 2020 年 12 月のデータについて, 1 日ごとの感情を合計スコアで計算した結果を図 1 に示す. 図 1 で，横軸は日付を示し，縦軸は合計ス コアを示す.

## 図 1 合計スコアの推移

期間全体の合計スコアの平均は 89.3 だった. 合計 スコアが最も高かった日は 2020 年 11 月 4 日で 2,161.8 だったが特に大きなニュースはなかった. 一方, 最も低かった日は 2019 年 10 月 12 日で $-2,471.0$ だった.この日は, 過去最高クラスの台風 19 号が伊豆半島に上陸した. より詳細に，期間中に多くの人 に影響を与える出来事が起きた日と合計スコアの対
応を比較する。

2019 年 10 月 1 日には消費税率が引き上げられた が合計スコアは 578.3 であり, その後の日付のスコ アと大きく変わらなかった. 同月 12 日，25 日には 台風が日本に上陸し, スコアが急減した. 12 日は期間中最低の-2,471.0で, 25 日も前日までのポジティ ブスコアとは異なり急減して-1,083.3 だった. 合計 スコアからは，消費税率の話題は社会の感情を大き く左右することはなかったが, 台風の話題は非常に 強いネガティブな影響を及ぼしたと考えられる。

2020 年 2 月 3 日にクルーズ船ダイヤモンドプリン セスが日本に停泊し, 13 日に新型コロナウィルスに よる初めての死亡者が確認され, 19 日にはクルーズ 船からの下船が開始した. 2 月 3 日と 19 日の合計ス コアはそれぞれ 188.8 と 124.7 だった. 新型ウイル ス感染拡大のニュースに対し, 社会は否定的な感情 を抱くと予想されたものの，この両日の合計スコア はポジティブだった. しかし, 合計スコアの全体的 な傾向から見ると, その後の 2 月下旬ごろから数ヶ 月ネガティブな期間が続く. 2 月初頭の時点では,新型ウイルスに関する報道は他の話題と比べてまだ 少なかったか, 言葉の使い方が楽観的だったか, 社会の新型ウイルスに対する印象が悪い方向に根付い てはいなかったのではないかと推測される。

2020 年 4 月 7 日に新型コロナウイルスの感染拡大 により, 第一回目の緊急事態宣言が発表された. 5 月 4 日に緊急事態宣言の約 1 か月間の延長が発表され, 5 月 25 日に全国で解除された. 4 月 7 日の合計スコ アは-549.057, 5 月 4 日は $18.734,5$ 月 25 日は 116.262 だった. 緊急事態宣言が発表された当初, 合計スコ アは全体的に低く, 図 1 ではネガティブなスコアが 連続した期間が多く, 緊急事態宣言が発表された当日の合計スコアもネガティブだった. しかし, 時間 が経つにつれて合計スコアが上がり，5月 4 日には 合計スコアはややポジティブで緊急事態宣言が全面解除した 5 月 25 日になると合計スコアがさらにポ ジティブになった.

合計スコアでは, 同じ評価極性の日が長い期間連続する傾向にある. 2019 年 11 月 13 日から 2019 年 12 月 27 日までの 45 日間連続でポジティブスコアが 続いた. その他, 39 日間ポジティブスコアが続いた 2020 年 10 月 11 日から 2020 年 11 月 18 日までの期間と, 33 日間連続でネガティブスコアが続いた 2020 年 3 月 26 日から 2020 年 4 月 27 日までの期間など が見られた. より大きな傾向としては, 2019 年 10 月終わりから 2020 年 2 月までと, 2020 年 9 月から 12 月はポジティブな傾向, 2020 年 3 月から 6 月と 2020 年 7 月から 8 月にネガティブな傾向が見られた.

## 3.2 感情の強度(1)のグラフ化

同一期間の感情の強度(1)で計算した結果を図 2 に 示す. 図 3 に期間中の文の数を示す.

図 2 感情の強度(1)の推移

図 3 文の数

期間内で, 感情の強度(1)は平均で 3,864.1 だった.値が最も高かった日は 2020 年 4 月 7 日で $7,220.5$ だ った. 最も低かった日は 2020 年 1 月 3 日で 701.6 だ った. 同じ期間で文の数は平均で 8,407 文だった.文の数が最も高かった日は 2020 年 4 月 7 日で 15,167 文だった. 文の数が最も低かった日は 2020 年 1 月 3 日で 1,561 文だった. どちらの場合も, 值の最大,最小の日とニュース量の多少が完全に一致する．感情の強度(1)ははュースの量が強く影響しているこ とがわかる. 図 2 と図 3 では, 形が一致するところ が大きい. 図 3 では文の数が非常に多かった日が 5 日のうち, 4 日は感情の強度(1)も多かった. その 4 日 は, 緊急事態宣言が初めて宣言された 2020 年 4 月 7 日, 豪雨により避難指示が出た 2020 年 7 月 7 日, 台風 10 号が沖縄県に上陸した 2020 年 9 月 7 日と, ア メリカ大統領選挙の結果が日本で発表された 2020
年 11 月 4 日である. どの日も報道されたニュース の量も多く，感情の強度(1)も文の数も多かった。大きな傾向としては, 感情の強度(1)はニュースの量 に影響され易い。しかし，とある日に「ニュースの 量が多かった」ということは, 評価極性に関係なく,報道する価値があるニュースが多かったとも言える。 そうなると, 感情の強度(1)はどの日に重大出来事が 起きたかの特定に役立つと考えられる.

## 3.3 感情の強度(2)のグラフ化

同一期間の感情の強度(2)で計算した結果を図 4 に 示す.

図 4 感情の強度(2)の推移

感情の強度(2は平均で 0.459 だった. 値が最も高 かった日は 2020 年 4 月 7 日で, 0.508 だった. 最も 低かった日は 2020 年 1 月 3 日で， 0.291 だった. 全数値の中で, 感情の動きが弱かった下位 $5 \%$ は 0.417 より低く, 強かった上位 $5 \%$ は 0.488 より高かった.感情が強かった日で, 合計スコアがポジティブな日 が 3 日, ネガティブな日は 23 日あった. 一方, 感情 が弱かった日で, 合計スコアがポジティブな日は 17 日, ネガティブな日は 7 日だった. 感情の強度(2)が 高く感情が強かった日は合計スコアがネガティブな 傾向にあった. 反対に, 感情の強度(2)が低く感情が 弱かった日は合計スコアがポジティブな傾向にあっ た. 分析期間のデータを参考にする限り, 否定的な 感情は肯定的な感情よりも強い感情を呼び起こすと 考えられる。

重大な出来事の発生と感情の強度(2)照らし合わ せると, 感情が強かった日もあれば, 弱かった日も ある. 新型ウイルスの初めての死亡者が発表された 日の 2020 年 2 月 13 日の直後に感情が強く, 14 日, 16 日, 17 日の感情の強度(2)が強かった. また, 台風 19 号が上陸した 2019 年 10 月 12 日の辺りに 10 月 9 日，12 日，13 日と 14 日にも感情の強度(2)が強かつ た.しかし, 台風 21 号が上陸した 2019 年 10 月 25日は当日の感情の強度(2)が 0.478 でごく平均的な数值だった．同じ台風に関するニュースであっても、感情の強度(2に必ず反映するとは限らない。

## 4 おわりに

本研究では, テレビのニュース番組の字幕データ を利用し, 1 日単位での感情分析によるスコアを抽出し, とある日の「日本の気分」の数値化を試みた.

3 つの数值化のうち, 合計スコアでは, とある日 に重大出来事が起きたかを特定するより，数日，数 ケ月などある程度長い期間での社会の雾囲気を調べ ることに向いていた. 2020 年の新型コロナウイルス 感染状況における報道の変容について, 岸本らの分析がある[6]. 岸本らの考察と図 1 の値が次のように 非常に良く符号する.

「未知のウイルスが海外から日本へと徐々に身近 に迫る様子が報道され, 視聴者の関心は上昇傾向し ていた（図 1 で感染が始まった初期 : 2020 年 1 月 4 $\sim 3$ 月 18 日が該当）. 第一波に入ると, 緊急事態宣言により生活環境は一変し, コロナ報道は活発化し た. 初の感染拡大や活発なコロナ報道により、視聴者の関心はピークに達していた（図 1 で第一波 : 3 月 19 日〜6 月 21 日が該当）」（第一波が収束する と）「コロナ報道はやや落ち着き始めていた」「第二波に入ると, 東京の感染者数報道が中心となるが、視聴者の関心は変化しなかった (図 1 で第二波: 8 月 8 日 11月 3 日が該当）」

感情の強度(1はデータの量に左右されることが多 いが，何らかの重大なできごとが発生した日を示す 指標としての可能性がみられた. 感情の強度(2)はデ 一夕量の影響は受けにくいが, 感情が強くかつ肯定的な日と，感情が弱くかつ否定的な日を検知する性能が限られており, 重大な出来事の発生した日は特定しにくい.

とある日に重大出来事が起きたとして, その出来事についての報道が当日だけに限られることは少な く, その後も報道が続く. そのため, 出来事が起き た当日以降でも感情の強さがピークアウトすること もある.今後より正確に，とある日の感情を掴むた めに, 強い感情が連続する期間内で共通する単語を 重大な出来事を表す話題として, 話題ごとにニュー スをまとめ, 最初に報道された日を探し出すような システムの実現が考えられる。これにより, 特定の 日の重大な出来事とその時の「日本の気分」をより 正確に検知できる可能性がある.

## 謝辞

本研究は JSPS 科研費 JP19H04224, JP20H00096 の

助成を受けたものです.

## 参考文献

[1] イーフエイチー, テレビ字幕データを用いた感情分析による「ある日の日本の気分」推定に関する 研究, 卒業論文, 東京外国語大学,3. 2022.

[2] Hajime Mochizuki and Kohji Shibano, Building Very Large Corpus Containing Useful Rich Materials for Language Learning from Closed Caption TV, World

Conference on E-Learning in Corporate, Government, Healthcare, and Higher Education, Volume 2014, No. 1, pp. 1381-1389, Association for the Advancement of Computing in Education (AACE), 10. 2014.

[3] 小林のぞみ、乾健太郎、松本裕治、立石健二、福島俊一、意見抽出のための評価表現の収集、自然言語処理、Vol.12、No.3、pp.203-222、2005.

[4] 東山昌彦、乾健太郎、松本裕治、述語の選択選好性に着目した名詞評価極性の獲得、言語処理学会第 14 回年次大会論文集、pp.584-587、2008.

[5] 池上 有希乃、oseti v.0.2、2019、 https://github.com/ikegami-yukino/oseti（最終アクセ ス 2022.1.5)

[6] 岸本大輝、井原史渡、栗原聡、新型コロナウイ ルスの感染状況に対するテレビ報道の特徴と報道変容の分析、人工知能学会全国大会（第 35 回）, pp.1-4, 2021.

## A 付録

図 1 合計スコアの推移

図 4 感情の強度(2)の推移


# 大規模マスク言語モデルの文法誤り認識能力

木村 学 1 永田 亮 $^{2}$ 塙 一晃 ${ }^{3,4}$
${ }^{1}$ GRAS グループ株式会社 2 甲南大学 ${ }^{3}$ 理研 AIP 4 東北大学
manabu.kimura @ gras-group.co.jp nagata-nlp2022 @ ml.hyogo-u.ac.jp.
kazuaki. hanawa @ riken.jp

## 概要

本稿では，マスク言語モデルベースの文法誤り検出手法についてその誤り検出能力を調査する. 実 データ及び設計された人工データの実験から，仮説 (i)「言語モデルは，母語話者コーパスからの事前学習の際に，ある種類の文法誤りを認識するために必要な文法の知識を得ている.」，仮説 (ii)「言語モデ ルは，ごく少数の訓練データで finetune するだけで，事前学習時に獲得する文法知識を誤り検出ルールに 変換し，文法誤り検出に対する高い汎化能力を獲得 している.」が示唆されることを示す.

## 1 はじめに

近年，BERT [1]のような，大規模なコーパスで事前学習されたマスク言語モデルが，自然言語処理の 幅広いタスクにおいて，性能を飛躍的に向上させる ことが示されてきた.これらの結果は「文法誤り検出」でも効果的であることを示唆している. しかし ながら，文法誤り検出の見地での研究は他のタスク よりも圧倒的に少ない. 実際，言語モデルは母語話者によって生成された言語データ（本稿は英語に特化する）から学習されているので，言語学習者に よって生成された言語データには能力を発揮しない のではないか，文法誤りについての知識が存在しな いのではないかという疑問が生じる。

実際のところは，文法誤りの検出と訂正のタスク で言語モデルの性能は，少数ではあるが報告されて いる $[2,3,4,5]$. これらの研究は文法誤りの検出と 訂正のタスクで言語モデルの効果を検証している が，言語モデルが誤り検出/訂正に何故有効であるの かという疑問は解決されないままである.

本稿では，リサーチクエスチョン「母語話者コー パスから事前学習された言語モデルは fintune によっ て誤り検出タスクに何故効果を発揮するのか？」へ の答えを計算機実験や結果の詳細な分析から経験

図1訓練データ量と性能の関係（訓練/評価データ: FCE）

的に探る。具体的には，図 1 で示すように，finetune の訓練データ量の変化と検出性能 $F_{1.0}$ の関係を非言語モデルベースの手法と比較することで調査する.同図では，非言語モデルベースの手法が全ての訓練 データで達成する $F_{1.0}$ を，5-10\%の訓練データ量で BERT ベースの手法は達成する結果を得ている（詳細は 5 節に記述する)。さらに，BERT ベースの手法 は 500 文程度で $F_{1.0}$ の上昇が飽和し始めている.こ れは，BERT ベースの手法に，概要で述べた仮説 (i) (ii) が成り立つことを示唆する．実際の学習者の誤 りを含む実データ，設計された誤りを含む人工デー タの両者で実験を行い，この仮説を支持する結果や 分析を報告する。

## 2 関連研究

マスク言語モデルは文法誤り検出/訂正に適用さ れてきた. 文献 $[2,3]$ は誤り検出の手法が言語モデ ルの利用で再現率と適合率が高まることを示してい る. 文献 [6] は文法誤り検出に BERT ベースの文脈埋め込みを使用し，他の埋め込み手法と比較してい る. 彼らは，BERT ベースの文脈埋め込みが効果的 であることを示しているが，本研究のように BERT の finetune は行っていない. 文献 $[4,5]$ は文法誤り
訂正で性能を同様に改善している. 本稿はこれまで の研究で報告されてきた誤り検出の能力が，何故そ してどういう場合に獲得するのかを，実験や結果の 詳細な分析から経験的に探る。

言語モデルの言語知識を調査する研究は様々なも のが存在する $[7,8,9]$. 一般的なアプローチは，文脈が与えられたときに，言語モデルが不適切な単語 よりも適切な単語に高い確率を与えるかを評価する ものである. 調査対象の言語知識は，構文的/意味的知識から一般常識に及ぶ. 本稿はこれら従来研究と は異なり，学習者コーパスに実際に出現する誤りを 対象にし，マスク言語モデルの汎化性能を調査する （例えば，主語に前置詞が付随する文法誤りや自動詞/他動詞の使用に関する文法誤りなどを扱う).

## 3 文法誤りデータ

本稿では，検証に実データと人エデータを使用 する.

実データは，英語学習コーパス，FCE [11] と解説文付き ICNALE [10] 使用する．FCE は，学習者の 文とその誤りを訂正した文が含まれている。誤りタ グについては，ERRANT [13]を用いて取得した. 解説文付き ICNALE は，トピック「アルバイト」及び 「喫煙」についての英語学習者のエッセイ文が集め られた ICNALE [12] に，誤りの解説文が付与された ものである ${ }^{1)}$. ICNALE では，解説文付き ICNALE に収録されている前置詞誤りを検出対象とした。な お，これらのコーパスは誤りがない文も含んでいる ことに注意されたい.

人工データは AQUAINT Corpus に含まれる 19982000 年の New York Times [14]を使用し，次の誤りを 加えることで生成する。

前置詞置換不定詞 to 不定詞の to が for に置き換 わっている誤り (例：to read $\rightarrow$ * for read)

動詞句主語 主語として使用された動詞句 (例：To learn English is easy. $\rightarrow *$ Lean English is easy.)

前置詞十主語 前置詞を伴う主語 (例: The cafe serves good coffee. $\rightarrow *$ In the cafe serves good coffe.)

他動詞十前置詞 前置詞を伴う他動詞 (例：We discussed it. $\rightarrow *$ We discussed about it.)

自動詞十目的語 目的語を伴う自動詞 (例:We agree with it. $\rightarrow$ *We agree it.)

以上は構文解析の結果から自動生成できる。一文あ

1）説明の簡略化のため，解説文付き ICNALE も以後 ICNALE と呼ぶ.
たりは一つの誤りとし，前処理として $\mathrm{spaCy}^{2}$ をか けることで，構文解析の結果を得る ${ }^{3}$ ．ただし，誤 り文を生成する際には次のように制限を設けてい る.ランダムに加える前置詞は, at, about, to, in, with の 5 種類とした.ただし，前置詞置換不定詞のみ，常に to を forに置き換えた. 他動詞十前置詞で誤 りを加える他動詞は，訓練/開発データでは answer, attend, discuss, inhabit, mention, oppose, resemble のみ を，評価データは approach, consider, enter, marry, obey, reach, visit のみとした. 同様に，自動詞十目的語で 誤りを加える自動詞は，訓練データと開発データで は agree, belong, disagree, relateのみを，評価データで は apply, graduate, listen, specialize, worry のみとした. したがって，対象とする自動詞と他動詞は，訓練/開発データと評価データとの間で重複しない.

実験では，訓練データの文数と検出性能との関係 を調べるためにランダムに文をサンプリングする.実データの FCE と ICNALE については，その数を 100，300，500，1,000，3,000，5,000，10,000，全文と 変化させている。開発データと評価データは，訓練データの変化に関わらず別の固定した文を用い る（開発データと評価データの具体的な統計量は付録 B に示す)。なお，訓練，開発，評価データには，学習者の誤りがない文も含まれている.

人工データの訓練データは，誤りの種類毎に $2^{k}(1 \leq k \leq 10)$ 文をランダムにサンプリングするこ とで，10 個の訓練データのセットを用意する．開発 データについては誤りの種類毎に 200 文をランダム に選択する。評価データについては同様に誤りの種類毎に 200 文をランダムに選択し，さらに，誤りを 加えていない他の 200 文を追加した。実データと同様に，開発データと評価データは訓練データの変化 に関わらず固定されている。

## 4 文法誤り検出手法

本稿で扱う文法誤り検出の問題を次のように定

それぞれ表記する。 さらに対応するラベルの系列を $\left.\{l_{i}\right.\}_{i=1}^{N}$ と定義する. ここで， $l_{i}$ は $w_{i}$ に対応するラべ ルである. ラベルは，データによって次の (i)，(ii) のいずれかを仮定する。(i) 実データの場合：文法誤 りが有るか無いかのみを扱い，ラベルをそれぞれ $\mathrm{E}$及び C と定義する. (ii) 人工データの場合 : 文法誤

2) https://spacy.io/

3）信頼できる構文解析結果を得るため，文は長さが 3 トーク ン以上かつ 26 トークン以下のものだけ選ぶ.

図 2 訓練データ量と $F_{1.0}$ の関係（訓練データ：ICNALE 喫煙，評価データ：ICNALE アルバイト）

りについての 5 種類と誤りの無いことを扱い，6種類のラベルを定義する. このとき，文法誤り検出を $\left.\{w_{i}\right.\}_{i=1}^{N}$ が与えられた時に最適なラベルの系列 $\left.\{l_{i}\right.\}_{i=1}^{N}$ を予測する問題とする.

本稿で調査する BERT ベースの手法は，以下の流 れで処理する。

(1) サブワード化: 全ての $w_{i}$ をサブワード $\left.\{s_{j}\right.\}_{j=1}^{M}$ に変換する. 一般にサブワードの総数 $M$ は，入力の単語の系列の総数 $N$ と異なる.

(2) エンコード： $\left.\{s_{j}\right.\}_{j=1}^{M}$ を BERT により，埋め込み ベクトル $\left.\{\boldsymbol{b}_{j}\right.\}_{j=1}^{M}$ にエンコードする.

(3)トークン分類: 最適なラベルを以下で計算する.

$
l_{i}=\arg \max \operatorname{softmax}\left(\boldsymbol{W} \boldsymbol{b}_{j}\right)
$

ここで， $\boldsymbol{W}$ は $k \times h$ の行列で， $k$ は 2 か 6 (5 種類の誤りと正しいラベルの数）のどちらかであ る. 入力の単語の系列と対応するサブワードの 系列の長さは異なる. 各予測 $l_{i}$ に対し, 対応す る単語 $w_{i}$ の先頭のサブワードをエンコードし た $\boldsymbol{b}_{j}$ のみ考慮する4).

比較手法の一つとして，BiLSTM ベースの誤り検出手法を選ぶ. 処理は BERT ベース手法と基本的 に同じであるが，次の点が異なる。ステップ (2) で BERT の代わりのエンコーダとして BiLSTM を使用 する. ステップ (1) で $\left.\{w_{i}\right.\}_{i=1}^{N}$ を, 各単語 $w_{i}$ に対応 する埋め込みべクトルの系列 $\left.\{\boldsymbol{e}_{i}\right.\}_{i=1}^{N}$ に変換する. ここで，各埋め込みベクトル $e_{i}$ は通常の単語埋め 込みと文字べースの埋め込みを結合したべクトル である．文字べースの埋め込みは [15] に従い，別の BiLSTM を用意し各単語の文字を変換することで行

4）他に末尾を考慮するなどできるが，素朴に先頭を選ぶ.
う. 以後，この手法を BiLSTM ベース手法と呼ぶ.

また，BERTの finetuneの効果がどの程度あるかも 調査する。すなわち，BERT ベースの手法の BERT 部分を finetune 時に固定し, 出力層のみを訓練デー タで調整するといったことも比較のため行う. 以上 の手続きの手法を BERT 固定手法と呼ぶ.

各モデルの訓練は異なるランダムのシードによっ て 5 回行う. 次節で報告する性能の値 $\left(F_{1.0}\right.$, 再現率) は 5 回の結果の平均値である. 評価に使用する モデルは，開発データで $F_{1.0}$ が一番高いエポックの モデルを採用する．最大エポック数などの主要なハ イパーパラメタは付録 A. 2 に掲載する.

## 5 性能評価

## 5.1 実データの場合

まず，実データ FCE についての訓練データ量と $F_{1.0}$ との間の関係を本稿 1 ページ目の図 1 に示す5). BERT ベース手法は 500 文程度の訓練データ量で $F_{1.0}$ の上昇が飽和し始めている。一方，BiLSTM ベース手法は，全訓練データでも BERT ゙ース手法 が 300-500 文で達成できる $F_{1.0}$ の値に留まってい る. 以上の結果は, BERT ベース手法の高い汎化能力を示している. また, BERT 固定手法の性能は高 くない.これは深層学習モデルで自由に学習できる パラメータ数が制限され，データから誤り検出する ルールを上手く獲得できていないためと考えられ る. 言い換えると，BERT は全体のパラメータを少量の訓練データで fintune することで，誤りの検出 ルールの多くを獲得できている可能性がある.

同様のことが ICNALE でも確認できる. なお,図 2 では訓練データが「喫煙」，評価データ「アル バイト」とアウトドメイン設定にも関わらず BERT ベース手法は高い汎化能力を示していることは注目 に值する（他の ICNALE の結果は付録 B に示す. ）.

さらに, 図 1 の検出結果を誤りの種類毎に分け て，再現率についてプロットし直した ${ }^{6)}$. その結果 を図 3 に示し考察する. SPELL 以外の全ての誤りに おいて，BiLSTM ベース手法はほぼ線形に改善して いる一方で BERT ベース手法は早い段階で性能が

5）ここで，図を描くための詳細な設定は付録 A に示す. 各 プロット点の訓練データ数は 3 節で述べたとおりである.

6）誤りの種類毎の再現率は，モデルの検出結果を ERRANT を使って分類し計算している。誤りの種類のうち PUNCT 及 び OTHER，そして発生頻度が 150 以下の誤りの種類は，紙面の関係で取り除いている.

図 3 誤り種別の訓練データ量と再現率の関係 (左：BERT ベース手法, 右：BiLSTM ベース手法, 訓練/評価データ: FCE)

図 4 誤りの種類毎の訓練データ量と $F_{1.0}$ の関係 (BERT ベース手法，訓練\&評価データ：人工データ）

限界に近づいている。さらに，BERT ベース手法の 500 文のときの再現值は，BiLSTM ベース手法が全訓練データで達成する値をほとんどの誤りの種類で 上回っている. この結果は，BERT に様々な文法知識が内在することを示唆する.

## 5.2 人エデータの場合

実データで示した BERT ベースの誤り検出手法の 汎化能力を人工データで精査する. 図 4 に，人工 データでの訓練データ量と $F_{1.0}$ との関係を誤りの 種類毎に示す. 自動詞 $十$ 目的語を除いて，16 文程度の少数のデータで性能が十分に高くなっている。例えば，前置詞十主語は 16 文の訓練データだけで $F_{1.0}$ が 0.8 を超えている. 一般的に，任意の名詞が 主語になりえ，その出現位置も多岐にわたるため，動詞のような品詞，主語のような文の構造の概念が 無いと検出が難しいタスクである. 従って, BERT が品詞や文の構造といった言語知識を保持している こと，それを少数の訓練データの fintune によって文法誤りの検出ルールに変換していることを示唆し ている。他動詞十前置詞でも 16 文の訓練データだ けで $F_{1.0}$ が 0.8 を超えており，同様の議論が繰り返 される．今回の問題設定では，訓練データに現れな い動詞の誤りを検出しなければならない（対象の自動詞/他動詞について訓練データと評価データの間 で重複がない）ため，前述の言語知識に加え，各動詞の属性（自動詞，他動詞）を保持していないとこ の種類の誤りを検出することは難しい. それにも関 わらず BERT ベース手法は，他動詞十前置詞の誤り （例：*mention in）を訓練データで見ただけで，同じ 種類の誤り（例：*visited in Atlanta）を認識できてい る. 以上の観測から，BERT が言語的知識を持つこ と， finteune によって誤り検出のルールに変換でき るという概要で述べた仮説が示唆される。

## 6 おわりに

本稿では，文法誤りを認識する大規模マスク言語 モデルの能力を調査した. 本稿の知見は次の 2 点に 要約される。 (1) BERT ベースの誤り検出手法は汎化性能が非言語モデルよりも高いことを実データで の実験で示し，500 文程度の訓練データで性能が飽和し始めることを示した。(2) 人工データと実デー タの実験を通じて，仮説 (i)「言語モデルは，母語話者コーパスからの事前学習の際に，ある種類の文法誤りを認識するために必要な文法の知識を得て いる.」，仮説 (ii)「言語モデルは，ごく少数の訓練 データで finetune するだけで，事前学習時に獲得す る文法知識を大量の誤り検出ルールに変換し，文法誤り検出に対する高い汎化能力を獲得している.」 を支持する結果を示した。

## 謝辞

本研究の一部は，JST，さきがけ，JPMJPR1758 の 支援を受けたものである.

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proc. of 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, 2019.

[2] Yong Cheng and Mofan Duan. Chinese grammatical error detection based on BERT model. In Proceedings of the 6th Workshop on Natural Language Processing Techniques for Educational Applications, pp. 108-113, Suzhou, China, December 2020. Association for Computational Linguistics.

[3] Masahiro Kaneko and Mamoru Komachi. Multi-head multi-layer attention to deep language representations for grammatical error detection, 2019.

[4] Masahiro Kaneko, Masato Mita, Shun Kiyono, Jun Suzuki, and Kentaro Inui. Encoder-decoder models can benefit from pre-trained masked language models in grammatical error correction. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 4248-4254, Online, July 2020. Association for Computational Linguistics.

[5] Bohdan Didenko and Julia Shaptala. Multi-headed architecture based on BERT for grammatical errors correction. In Proceedings of the Fourteenth Workshop on Innovative Use of NLP for Building Educational Applications, pp. 246-251, Florence, Italy, August 2019. Association for Computational Linguistics.

[6] Samuel Bell, Helen Yannakoudakis, and Marek Rei. Context is key: Grammatical error detection with contextual word representations. In Proceedings of the Fourteenth Workshop on Innovative Use of NLP for Building Educational Applications, pp. 103-115, Florence, Italy, August 2019. Association for Computational Linguistics.

[7] Bai Li, Zining Zhu, Guillaume Thomas, Yang Xu, and Frank Rudzicz. How is BERT surprised? layerwise detection of linguistic anomalies. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 4215-4228, Online, August 2021. Association for Computational Linguistics.

[8] Allyson Ettinger. What BERT is not: Lessons from a new suite of psycholinguistic diagnostics for language models. Transactions of the Association for Computational Linguistics, Vol. 8, pp. 34-48, 2020.

[9] Alex Warstadt, Alicia Parrish, Haokun Liu, Anhad Mohananey, Wei Peng, Sheng-Fu Wang, and Samuel R. Bowman. BLiMP: The benchmark of linguistic minimal pairs for English. Transactions of the Association for Com- putational Linguistics, Vol. 8, pp. 377-392, 2020

[10] Ryo Nagata, Kentaro Inui, and Shin'ichiro Ishikawa. Creating Corpora for Research in Feedback Comment Generation. In Proc. of the 12th Language Resources and Evaluation Conference, pp. 340-345, 2020.

[11] Helen Yannakoudakis, Ted Briscoe, and Ben Medlock. A new dataset and method for automatically grading ESOL texts. In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, pp. 180-189, Portland, Oregon, USA, June 2011. Association for Computational Linguistics.

[12] Shinichiro Ishikawa. A new horizon in learner corpus studies: The aim of the ICNALE project, pp. 3-11. University of Strathclyde Publishing, Glasgow, 2011.

[13] Christopher Bryant, Mariano Felice, and Ted Briscoe. Automatic annotation and evaluation of error types for grammatical error correction. In Proceedings of 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 793-805, 2017.

[14] David Graff. The aquaint corpus of english news text, 2002.

[15] Alan Akbik, Duncan Blythe, and Roland Vollgraf. Contextual string embeddings for sequence labeling. In Proceedings of the 27th International Conference on Computational Linguistics, pp. 1638-1649, Santa Fe, New Mexico, USA, August 2018. Association for Computational Linguistics.

[16] Alan Akbik, Tanja Bergmann, Duncan Blythe, Kashif Rasul, Stefan Schweter, and Roland Vollgraf. FLAIR: An easy-to-use framework for state-of-the-art NLP. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (Demonstrations), pp. 54-59, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.
表 2 実データセットの統計

## A 他の実験設定

## A. 1 実験で使用するモデル/ツール

BERT ベース手法で使用する BERT モデルは huggingface が提供する bert-base-uncased を用いる. BiLSTM ベース手法で使用する BiLSTM の実装及び埋め込みべクトルは, FLAIR [16] が提供 するものを使用する. 埋め込みべクトルのう ち，単語の埋め込みはコード上で“WordEmbeddings('en')”と実装する学習済みべクトル，文字列埋め込みは “FlairEmbeddings('news-forward')” 及び “FlairEmbeddings('news-backward')”を使用する.

## A. 2 ハイパーパラメタ設定

 \\

表 1 に実験の主要なハイパーパラメタを示す. 留意すべき点は，訓練に人工データを使用するとき，文の数は最小で 10 文程度なのでバッチサイズはさ らに小さい 5 を使用することである.

## B 実データや実験結果の補足

表 2 に，実験で使用した実データのコーパスの統計量を示す.

本文で報告できなかった，ICNALE についての 実験結果を示す.トピック「アルバイト」,「喫煙」 についての訓練データ量と $F_{1.0}$ の関係をそれぞれ 図 5，6 に示す.トピック「アルバイト」で訓練し 「喫煙」で評価したアウトドメイン設定の結果を図 7 に示す. 全ての図が 5.1 節で実験/考察した FCE と 同様の傾向を示している.

図 5 訓練データ量と性能の関係（訓練/評価データ： ICNALE アルバイト)

図 6 訓練データ量と $F_{1.0}$ の関係（訓練/評価データ： ICNALE 喫煙)

図 7 訓練データ量と性能の関係（訓練データ：ICNALE アルバイト，評価データ：ICNALE 喫煙）