# スタイルの違いに注目した脚本から小説への変換に関する一考察

内田 美友 ${ }^{1}$ 望月 源 $^{2}$
${ }^{1}$ 東京外国語大学 言語文化学部 ${ }^{2}$ 東京外国語大学 大学院総合国際学研究院
\{uchida. miyu. s0, motizuki\}@tufs. ac. jp

## 概要

本論文では，脚本を小説化するシステムの構築を 検討するため，実際に人手により演劇脚本 38 本を 元にした小説化の作業を行い「両者の構造的・形式的な相違点, および含まれる情報の違いはなにか」

「機械的に変換できるところはどこか」「機械的に 変換できないところはどこか」について考察する.脚本から小説への書き換えは，情報が少ない側から 多い側への変換となり, 脚本特有の表現形式からど のように情報を補完しつつ変換するかが問題となる。

## 1 はじめに

小説の作成方法の一つに，演劇やドラマ，映画な どの原作脚本からのノベライズがある. 同じ作品を 異なるメディアで楽しめることから人気があるが，脚本から小説への書き換えには特有の難しさがある。小説の書き方に触れた文献 $[4,5,6,7]$ 比べても書き 方に明確な決まりがあるわけではなく, 比較的自由 であるが，脚本との間には，その形式や構造に大き な違いが見られる. 図 1 に同じ内容を表した脚本と 小説の例を示す.

図 1 同じ内容を表す脚本と小説の例

図 1 で，脚本と小説には次の違いがみられる.
- 台詞の発話者の明示方法 :

脚本では発話者を台詞の前に書いているの
に対し，小説では発話者を台詞の前に書く 形式は用いられていない.
- 鉤括弧使用の有無 :

脚本では，台詞に対し「」を用いないが，小説では，「」が使用されている.
- 助詞「が」「は」の使用の有無 :

脚本では主語を提示するための助詞「が」

「は」が使用されておらず，主語のあとに

「，」を入れている. それに対し，小説で は使用されている。

このように，同じ内容であっても，脚本と小説に は異なる構造や使用する単語などの相違があり，表現方法が異なっている.

また, 脚本では，感情やアクション，気持ちは通常書かれず，舞台で演じる役者や演出家によって考 えられることを前提にしている。一方，小説は文字情報だけですべてを完結させるという前提で書かれ ている。一般に，記述される表現の量に「脚本<小説」という関係が成り立つ.

そのため，脚本を小説化するには，内容を保持す るだけでなく，両者の違いを踏まえた上で，脚本に は記述されない情報を小説では補完する必要も生じ る.しかしながら, 脚本の小説化という観点から,両者の形式的，構造的な類似点や相違点を調査し，変換に必要な知識について研究を行うことは，これ まであまり試みられてこなかった。

そこで，本研究では，実際に演劇で用いられてい る脚本を用いて，小説への変換を人手によって行う. この小説化の作業を記録し，調査することで，「両者の構造的・形式的な相違点，および含まれる情報 の違いはなにか」「機械的に変換できるところはど こか」「機械的に変換できないところはどこか」に ついて，考察する[1].

## 2 関連研究

本研究の逆, 物語小説から演劇台本への自動書き 換えのシステム構築を念頭に置いた研究として，金子らの研究がある[2]. 金子らは，台詞とその話者

を特定するタスク，台本のト書きに採用すべき動詞句を抽出しその動作主を特定するタスク，小説内の 場面の区切りを認識するタスク，実際に台本に採用 する場面を選択するタスク，と段階的に分けて自動書き換えシステムのためのアノテーション方法を提案している．金子らが取り組んでいる小説から台本 への変換では，小説に情報として多く含まれる場面 の中から台本にとってより重要な場面を選択する，情報の絞り込みにひとつの重点がある。一方, 我々 の研究では, 情報の少ない脚本から小説一の変換に おいて, 適切な表現を補うための情報の補完に重点 がある. また, 金らの研究では, 日本の昔話を原本 として，台詞とト書きを抽出し，台詞の話者を特定 する方法を提案している[3].

## 3 書き換えの実施と分析

## 3.1 書き換えの条件

本研究では, 調查対象として筆者のうち 1 名が所属している演劇サークル「劇団ダダン」のメンバ 一が書いた脚本を使用する。本研究のために執筆者 9名による 38 本の脚本の提供を受けた。一覧を付録 A に示す. 9 名のうち 1 名は脚本家として仕事を行 つており, 残りの 8 名は大学のサークル活動の一環 として脚本を執筆している. 8 名はいわゆる「アマ チュア」であるが, 本研究の調查では脚本内の「台詞」「卜書き」「場面転換」の違いがはっきりと分 かれば十分であると考えられる。この点において， プロとアマチュアの間に大きな書き方の違いはない.

書き換えは普段から演劇に関わり脚本に関する知識を有する大学生 1 名が次の方針で行なった.

(1)変換対象は脚本に書かれていることのみに限定し, 想像し補わなければならない感情やアクショ ン, 人物の気持ちなどは対象外とする。(2)小説化 で用いる表現を多彩にすることはせず，もっとも一般的な言葉を用いる. 結果として小説としては表現 が「薄味」なものになる可能性があるが，この点に ついて，今回の調查では考慮の対象外とする。

## 3.2 自動的・機械的な変換が可能なもの

今回の小説化作業において, 比較的容易に, 自動的・機械的な変換が可能と考えられる変換パターン として次の 11 点が確認された。
1. 台詞の表現
「人物が「」と言った」

脚本では「登場人物名十スペース」の次を台詞と 認識し，「登場人物名が「（台詞）」と言った。」 という形を基本として変換できる.

2. 卜書きの「現在形を過去形に変更」と「動作主の後ろに助詞の追加」

卜書き内で「登場人物名十読点 ～動詞現在形」 であれば，動詞の動作主は登場人物であると判断し，小説では, 動詞を過去形にし, 「登場人物名（が| は）した」という形を基本に変換できる.また，登場人物が複数の場合は人物名を「と」でつなぐ.

3. 動作主の提示がないト書き

ト書き内の動作について, 動作主となる登場人物名が明記されていない場合, 必ず直前の台詞の発言者が動作主となる．そのため，書き換えでは，前の 台詞の発言者を動作主として補えば良い.

4. 卜書きの体言止めの変換

脚本ではなるべく簡潔に表現するため, 体言止め が多用される。小説では体言止めは作者が何らかの 効果を狙うための表現技法として使用される場合を 除き，基本的には使用されない，体言止めの違いに 応じて次のような変換パターンがある.

4-1「電話中」など「〜中」で終わる場合，「を している」に変換する.

4-2「動詞(連体形) +人物名」は, 「人物名+が +動詞（現在進行形）」に変換する.

4-3「形容詞 (連体形) +人物名」は, 「人物名 +は十形容詞（終止形）」に変換する.

4-4 「サ変名詞」の場合，「サ変名詞十した」に 変換する．例：登場 $\rightarrow$ 登場した

4-5「動作の対象格となる名詞」は, 呼応する述語（過去形）を補完する．例：ため息一ため息をつ いた

4-6「形容詞 (連体形) +名詞」は, 「形容詞 +名詞十で」に変換する．例：悲しい顔一悲しい顔で

5. 登場人物名と台詞の間の指示書き

脚本中の台詞には，（）で指示書きがなされる場合がある。この指示は，「該当する台詞を次の動作 を交えながら発言せよ」という意味合いを持つ。こ の場合，指示の動作主は台詞の発言者であるが，（） の中の文言は台詞ではないため，地の文として扱え るように変換し, 人物名十助詞と台詞の間に挿入す る。細かく次のパターンに分かれる。

5-1「人物名（〜ながら）」、「人物名は〜なが ら」

5-3 「人物名（～連用形）」 $\rightarrow$ 「人物名は～」

5-4「人物名（～動詞（連用形以外））」「人物名は〜動詞（連用形）」例：人物名（笑う） $\rightarrow$ 人物名は笑って

5-5「人物名（サ変名詞）」「「人物名はサ変名詞 + して」

5-6「人物名（動作の対象格となる名詞）」 $\rightarrow$「人物名は十名詞を十呼応する述語（連用形）」例 : 人物名（ため息）～人物名はため息をついて

+ 名詞で」例 : 人物名 (小声) $\rightarrow$ 人物名は小声で

6. 台詞の後に（）で指示書きがある場合

この場合は，「台詞を言った後に（）内の動作を せよ」との指示であると考えられる.

6-1 動詞の終止形で（）内の指示が終了している 場合, 前の台詞に続けて「と言う＋と, + 動詞（過去形）で終わる指示書き」

6-2（）内が漢字 1 文字であれば漢字を使用して 作られる動詞を連用形に書き換え，「ながら」とい う2つの動作・状態が並行して行われる意を示す接続助詞を挿入する．例 そんなあ（涙） $\rightarrow$ 「そんな あ」と泣きながら言った。

7. 台詞の途中に（）で指示書きがある場合

この場合指示を実行するタイミングは（）前の台詞を言い終わつた直後という明確な決まりがみられ る.

7-1（）内の指示に動作主が提示されていない場合

動作主は台詞の発言者であるとして（）内の指示 の前にある台詞で一度台詞のかぎかっこを閉じ，指示内の動詞及び形容詞, 形容動詞を連用形に直して 接続する. その後, 再びかぎかっこを提示して台詞 を再開させる，という形で変換する。

7-2（）内の指示で動作主が提示されている場合.

「と言うと」を挿入したのち, 各パターンの変換方式に合わせて変換を行う. 発言者とは違う動作主 に対する指示が終了した時点で句点を打ち, 発言者 を改めて提示したのち残りの台詞を続けるという形 をとる。

8. 下書き内で動作が連続する場合

脚本では, 1 行のト書きに書かれる動作が 2 つ以上 になる場合もある。

8-1 同一人物が 2 回連続で指示を受ける場合, 1 つ 目の指示にある動詞を連用形にして文を繋げる。例 : 人物 $\mathrm{A}$ ，テレビをつける，嬉しそうな顔一人物
A はテレビをつけ，嬉しそうな顔をした

8-2 異なる登場人物への指示が 1 行内で繰り返さ れている場合，主語を示す動詞は双方に対比の「は」 を使用し，指示 1 つ目の動詞を連用形にして繋げる。例 : 人物 $\mathrm{A}$ ，立ち去る，人物 $\mathrm{X}$ ，安堵する $\rightarrow$ 人物 $\mathrm{A}$ は立ち去り，人物 Xは安堵した。

9. 卜書き内で場所の指示がある場合場面がどこで展開されているか，という場所情報を 提示する際は，単語のみで表される場合と，「にて」「で」など場所を表す助動詞を伴う場合の 2 パター ンに別れることが多い.

9-1 単語のみの場合, 場所を表す助動詞を加えた うえで，その後に続くト書きに接続する形で変換す る. 例 : 研究講義棟 $\rightarrow$ 研究講義棟で

9-2 場所を表す助動詞を使用している場合は，そ のままその後に続くト書きに接続して変換する.

10. 沈黙に関する表現

沈黙に関する表現は，台詞で表現するパターンとト 書きで表現するパターンの 2 パターンがみられた.

10-1 台詞での表現の場合, 三点リーダーのみで 表現される。この場合, 多くは特定の人物が他の登場人物からの呼びかけに意図的に答えない状況であ る.そのため, 対比の助詞「は」を使用し，「沈黙 している」を付加する。例：「人物名………」

$\rightarrow$ 「人物名は沈黙している」

10-2 ト書きでの表現では「沈黙」とだけ書かれ ていることが多い.この場合, 特定の人物が他の登場人物からの呼びかけに意図的に答えない状況であ るのに加え，場にいる他の全員も発言しないことを 提示したい状況であることが多い．そのため，「沈黙ののち」と動作主（=誰が沈黙しているか）を提示しない形に変換する.

11. 場面転換の合図

脚本も小説も場面を立てながら物語を展開してい くため, 場面転換を示す文言が存在する. 脚本は

$「 1$ 場， 2 場…」もしくは「1 幕, 2 幕…․と,小説は「 1 章, 2 章…․と区切られることが多い.幕，また場という文言が出てきたら「章」に変更す る.

## 3.3 自動的・機械的な変換が難しいもの

今回の小説化作業において自動的・機械的な変換 が難しいパターンとして次の 3 点が確認できた.

1. 音の表現
脚本には，音の表現として，言語表現ではなく,舞台効果として音響指示, つまりどんな種類の音を 出すかの指示が書いてあることが多い. 小説への書 き換えにあたっては， 書きの指示する音を具体的 にどのように言語で表現すればよいかを別途考える 必要がある.

2. 登場人物名でないが，人物を表す表現

「2 人」「全員」「〜たち」のように, 登場人物名と完全一致しないが登場人物の誰かを指す言葉が 用いられることもある。書き換えシステムを実装す る場合には，この点について照応解析が必要になる。

3. 舞台用語の排除

脚本では舞台上の演出を示すために特殊な用語 （舞台用語）を使うことがある．舞台用語の中には そのまま小説向けに変換しても, 小説としては自然 ではないものがある．脚本を小説に変換するらえで 舞台用語を適切な語に置き換えるなど処理が必要に なる。例えば，照明に関する「明転」「暗転」，動作に関する「ハケる」「入り（いり）」，位置に関寸る「上手」「下手」などの舞台用語は脚本におい ては意味があるが，そのまま小説に含めるのは適切 でない.

## 3.4 その他, 表記のゆれ

脚本は構造的に「台詞」「ト書き」「場面転換」 がきちんと区別できれば成立し, どう区別するかに は比較的自由度がある. そのため, 同じことを表現 していたとしても著者によって書き方が違う, いわ ゆる表記ゆれが見られる. さらに, 個人の間でも書 き方が確立しておらず表記ゆれが存在していること も確認された. 今回調查した9名の著者に見られた 主な表記ゆれは以下のものだった.

1.「台詞」の表記ゆれ

本論文では「登場人物名十スペース」で台詞と認識することを標準としているが，台詞の書き方には ゆれがある. 今回の 9名の執筆パターンに見られた のは以下の 3 パターンだった.

登場人物名 + スペース + 台詞 $\cdots \cdots . . .4$ 名

登場人物名 $+\lceil$ 台詞」…..4 名

登場人物名 + : + 台詞 $\cdots \cdots \cdots 1$ 名

2.「卜書き」の表記ゆれ

本論文では「登場人物名十読点」でその行を卜書 きだと認識することを標準としているが，今回の 9 名の執筆パターンにみられたのは以下の 4 パターン
だった.

登場人物名 + 読点 + 指示……7 名

登場人物名十助詞「が」「は」+指示……1名

登場人物名 $+：+$ 指示 $\cdots \cdots \cdots 1$ 名

また， ト書きのみ 1 段字下げするか否かも異なっ ていた，字下げするのが 3 名, しないのが 6 名であ った. 字下げをしない 6 名のうち, ト書き全体を（） で井い台詞との区別を行っていたのが 2 名であった.

3. 指示書きの曖昧性

3.2 節で「台詞の後に（）で指示書きがある場合」 は「台詞を言い終わったあとにこの動作を実行せよ」 となるとしたが，指示の解釈が「該当する台詞を次 の動作を交えながら発言せよ」を意図している事例 も存在した。

これまで脚本の人による解釈ではこうした表記ゆ れは問題視されておらず，上演する人間・団体が実際に脚本を読み前後の文脈を類推してきた。しかし ながら，書き換えシステムを実装する場合には表記 ゆれを解消する仕組みが必要になる。

## 4 おわりに

本論文では，これまであまり試みられてこなかっ た, 脚本の小説化という観点から, 脚本と小説の形式的, 構造的な類似点や相違点を調査し, 変換に必要な知識についての報告を行った.

特に, 脚本において頻出する台詞やト書きの表現 を区分し，小説への自動的・機械的な変換がやりや すい表現とその変換パターンの分析を行なった. ま た, 逆に, 変換の難しい表現とその理由の分析を行 なった. さらに, 脚本の著者たちに見られる表記の ゆれにも言及した。

本来, 情報量の少ない脚本から情報量の多い小説 への変換では, 台詞から感情やアクション, 気持ち を推測しなければならない. より魅力的で良質な小説への書き換えでは，脚本に書かれていない事柄を 推測したり，「解釈」を加えることも必要になる. この点について文学的, 芸術的な要素が分析者の主観のみによって加わわることを避けるため，今回は 一般的な表現に限定したが，豊かな表現として，言 い換える際の最適な言葉の選択や，より深いレベル での脚本における表現技法を小説化に取り入れるた めの分析にも踏み込む必要がある.

## 参考文献

[1] 内田美友, スタイルの違いに注目した脚本から小説への変換に関する一考察, 卒業論文, 東京外国語大学, 3.2022 .

[2] 金子遥渚, 松吉俊, 内海彰, 小説から演劇台本への 書き換え過程のアノテーション, 言語処理学会第 26 回年次大会発表論文集, F5-1, pp.1141-1144, 3.2020.

[3] 今誠一, 吉田文彦, 菊池浩明, 中西祥八郎, 昔話の自動シナリオ化システムの構築, 言語処理学会第 11 回年次大会発表論文集, P3-9, pp.317-320, 3.2005

[4] 小森陽一, 富山太佳夫, 沼野充義, 兵藤裕己,松浦寿輝, 『物語から小説へ』「岩波講座 文学 3 」,岩波書店，2002。

[5] 中村真一郎, 小説入門人生を楽しくする本,光文社, 1962.

[6] 大岡昇平, 現代小説作法, 第三文明社, 1972.

[7] 永江朗，「なるには Books 33」『作家になるに は』，ぺりかん社, 2004.

## A 付録

## 使用脚本一覧

公演時間は文字数をもとにして計算されたものである.


# 複数意図のエンティティクエリに対する 絞り込み検索のためのクエリ生成法の提案

豊田 樹生 齋藤 純 小松 広弥 熊谷 賢 菅原 晃平
ヤフー株式会社
\{itoyota, junsait, hkomatsu, kenkumag, ksugawar\}@yahoo-corp.jp

## 概要

本論文では複数意図を持つエンティティクエリに 対する絞り込み検索のためのクエリ生成に取り組 む. 複数の正例生成器とラベル未付与事例生成器を 組み合わせることで訓練事例を自動生成することを 提案する.クエリの組の CRR(Cumulative Reciprocal Rank) の差を含めた複数の素性を用いて Random Forest[4] による PU(Positive Unlabeled) 学習を行う.提案手法により CRR の差を単独で用いる場合より も $\mathrm{F}$ 值が 4.4 ポイント向上することを示す.

## 1 はじめに

ウェブ検索においては，しばしば複数意図を持つ エンティティクエリ [11]が発行される. 例えば，メ ディア作品名のクエリ “ゆるキャン $\triangle$ ”では, 漫画・ ドラマ・アニメなどの複数の意図がある. 人物名の クエリ “森麻季” では, アナウンサーや歌手などの 複数の意図がある.このようなクエリに対して，そ れぞれの意図に対応した絞り込み検索をできるよう することは検索体験を向上させるうえで重要であ る. 先行研究の複数意図クエリのブレンド検索 [12] や関連クエリの自動補完 [10] はエンティティクエリ を考慮したモデリング・評価が十分であるとは言い 難い。そこで，本論文では次のような貢献を行う：

(i)複数意図のエンティティクエリに対して絞り込 み検索を行えるようにするための再検索クエリ の生成方法として, 検索ログに蓄積された元ク エリ・再検索クエリの組を順位付けして利用す ることを提案する。

(ii)複数のラベル生成器を用いた訓練事例の自動生成法を提案し, PU(Positive Unlabeled) 学習を行 えることを示す.

(iii)Random Forest[4] により学習を行い，単独のラ ベル生成器を用いた場合と比較して $\mathrm{F}$ 值が 4.4 ポイント向上したことを報告する.

## 2 問題設定

元クエリ $q_{a}$ に対して, 再検索クエリ $q_{b}$ の順位付 けされたリストを生成する。

このとき, 次のクエリの要件を全て満たす候補の みを選択する：1) $q_{a} ， q_{b}$ はいずれもエンティティ クエリである 2) $q_{a}$ は複数のエンティティを指して いる 3) $q_{b}$ は特定のエンティティを指す意図の絞り 込みのクエリである

## 3 挑戦的課題

本タスクの挑戦的課題を次に示す：

意図の絞り込みではない再検索の除外 1) 力点の変化 を判定できなければならない。例えば“アガサクリ スティ” $\rightarrow$ “アガサクリスティねじれた家”の場合は 付加された“ねじれた家” に力点が変化している. こういった組は除外するべきである．2) 周辺語を含 まない部分一致はクエリの表層だけでは判定が難し い，例えば“東京” “東京タワー”の場合は意図を 絞り込んでいるわけではないため除外するべきであ る。一方, 同じ部分一致でも取り違える可能性の高 い組は絞り込みのための再検索として残す必要が

などが挙げられる.

知識外の再検索候補の順位付け 所与の知識ベースに 格納されているエンティティが再検索先の候補とし て最もふさわしくなるとは限らない。例えば“RHP” というクエリでは “バイトル RHP”(ホームページ作成サービス) などが再検索クエリの候補として挙げ られる。しかし, これと対応するエンティティは Wikipedia などの知識べースには格納されていない.

## 4 フレームワーク

図 1 に提案手法のフローチャートを示す.手順は 次のとおりである。まず，検索ログを二種類取得す る。一つ目は素性抽出用のログである。あらかじめ
学習時に参照するための素性を保存しておく. 二つ 目は順位付け対象となる元クエリおよび再検索クエ リの組を取得するためのログである (4.1 節)。この ログから取得された順位付け対象のクエリの組に対 し, 複数のラベル生成器を用いて正例とラベル未付与の事例とに分割する (4.2 節, 4.3 節). さいごに, $\mathrm{PU}$ 学習 [4] を行い, 順位付けのための回帰器の学習 およびそれを用いた予測確率の付与を行う (4.4 節).

図 1: フローチャート

## 4.1 検索ログの取得

ウェブ検索のセッションログ1)を取得する。この ログから再検索クエリ $q_{b}$ の発行された時刻 $t\left(q_{b}\right)$ と 元クエリ $q_{a}$ の発行された時刻 $t\left(q_{a}\right)$ の差が 30 秒以内のもののみを抽出する.

## 4.2 正例生成器

次の 3 つの正例生成器を提案する：

4.2.1 元クエリに対するエンティティリンカー 元クエリを内製のエンティティリンカー $[14,15,16]$ の入力とし, エンティティ ID を出力す る. 知識ベースからエンティティ ID と紐づく正式名称を取得する. 元クエリが正式名称に対する部分一致文字列になっている場合は元クエリ, 正式名称 の組を正例とする.

## 4.2.2クエリの組に対するエンティティリンカー元クエリと再検索クエリの組を内製のエンティ ティリンカー $[14,15,16]$ の入力とし, それぞれのエ ンティティ ID を取得する. 元クエリと再検索クエ リでそれぞれ異なるエンティティ IDを出力してい る組を残す2).さいごに，次の条件をすべて満たす 組を正例とする：1) 人物エンティティ間，または， メディア作品間の遷移である 2) 元クエリに周辺語

1） セッションとは, ある特定のユーザーが一定時間内に発行 した一連のクエリとそれに伴うユーザ行動のことを指す。

2）同一 ID を指す再検索クエリが複数ある場合は生起確率の最 も高い候補を選択する
は含まれない3)3) 遷移前後で主要語と周辺語の入れ 替わりが起きていない

## 4.2.3クェリの組に対する CRR の差

クエリの組に対する CRR(Cumulative Reciprocal Rank)[5] の差 $\triangle C R R$ はクエリ自動補完の分野におい てしばしば用いられる指標である $[10,12]^{4)}$. 本論文 では $\triangle C R R$ を次のように表現する：

$
\Delta C R R=\sum_{d \in D_{b}}\left(\frac{1}{r\left(q_{b}, d\right)}-\frac{1}{r\left(q_{a}, d\right)}\right)
$

ここで $D_{b}$ は再検索クエリ $q_{b}$ によってクリック されうる文書の集合, $r\left(q_{b}, d\right)$ は再検索クエリ $q_{b}$ に 対する文書 $d$ の順位, $r\left(q_{a}, d\right)$ は元クエリ $q_{a}$ に対す る文書 $d$ の順位である.

元クエリ $q_{a}$ では上位に順位付けできなかった文書を再検索クエリ $q_{b}$ が上位にできれば $\triangle C R R$ は正 の值をとる.このとき再検索クエリ $q_{b}$ はユーザー にとって役に立ったとみなすことができる [12].

本論文では, $r\left(q_{b}, d\right)$ および $r\left(q_{a}, d\right)$ の順位は所与のクエリに対するクリック先文書の CTR(Click Through Rate) の順位によって算出する5). CTR の算出に用いられた文書の延べ数が各 10 以上，かつ,再検索クエリ側の文書の延べ数が元クエリ側の延 べ数の $10 \%$ 以上, かつ, $\triangle C R R$ が 0 より大きく 1.5 以下の場合に元クエリ・再検索クエリの組を正例と する。 $\triangle C R R$ に対するしきい值の決定方法の詳細は 5.5 節で述べる.

## 4.3 ラベル未付与事例生成器

次のラベル未付与事例生成器を提案する：

生成器 1 元クエリがあいまいさ回避ぺージ6) と対応 するエンティティの名称と一致する事例をラベル未付与とする

生成器 2 クエリの組に対する正例の生成時 (4.2.2 節) に正例と判定されなかった事例のうち周辺語を含ま ず ID が異なるクエリの組をラベル未付与とする

生成器 $3 \quad \Delta C R R$ による正例の生成時 (4.2.3 節) に正例 と判定されなかった事例をラベル未付与とする

3）元クエリの主要語が空白で区切られている場合, 空白の後 の文字列は周辺語とはしない

4）順位に対数を適用した重みづけ [10]，セッション後半のク リック先を利用したスコア補正 [12] などいずれも派生的な $\triangle C R R$ の定義をしている

5）本論文では滞在時間による足切りは行わない

6) https://w.wiki/4dcg

ここで，すでに正例と判定されていた事例につい てはラベル未付与とはせず正例とした.

## 4.4 PU 学習

本論文では次のように PU 学習 [7] を行う. まず ラベル未付与の事例に対してラベルを付与する：

1) 正例およびラベル未付与の事例を訓練用とテス ト用の 2 つに分割する．2）訓練用の正例およびラべ ル未付与の事例を入力とし, ラベル付与確率の回帰器を生成する.3) テスト用の正例に対してこの回帰器を適用し, ラベル付与確率 $g(x)$ の平均 $c$ を求め る. 4) テスト用のラベル未付与の事例に対して回帰器を適用し $w(x)=p(y=1 \mid x, s=0)$ の重みによりラ ベリングを行う. ここで $w(x)$ は定数 $c$ への依存を 持つ.5) テスト用の事例と訓練用の事例を入れ替 え，2 4 のステップを行う.

全ての事例にラベルが付与されたら二分割交差検定を行い，各テスト用事例に対して付与された予測確率を順位付けに用いる。

## 4.4.1 素性

PU 学習の際に用いる素性を表 1 に示す.

表 1: 素性

 \\

$\mathrm{i}$ 取得期間のログでの生起回数が合計 10 未満である場合は除外

以下，詳細が必要な素性について説明する：

クェリの分散表現クエリログからトークン数 が 2 以上のレコードを抽出し, トークンの生起回数に基づくShifted Positive PMI の行列 $X$ を生成 する.この行列に Randomized SVD[6,8] を適用し $X=U \Sigma V^{*}$ を得る. ここで， $U, V$ は直交行列， $\Sigma$ は特異値の対角行列である。トークンの分散表現に行列 $W^{S V D_{\alpha}}=U(\Sigma)^{\alpha}$ を用いる [9] ${ }^{7) 8)}$ 。クエリの分散表現はトークンの分散表現の加算により生成する9).

## 5 評価

## 5.1 データセット

各データセットの詳細を次に示す：

参照用素性 2021 年 11 月 01 日 11 月 30 日までの期間のセッションログを用いて素性を抽出した。

内製のエンティティリンカー 2021 年 12 月 01 日付け のモデル (モデルの訓練には 12 月 01 日付けの内製知識ベース [13] および 12 月 01 日以前の直近 1 年間 のヤフー検索のクリックログを利用)

順位付け対象事例 2021 年 12 月 17 日 12月 23 日ま での期間に発行された元クエリと再検索クエリの 組. 4 章で示した操作により順位付け対象事例に対 して確率を付与した ${ }^{10)}$.このときの素性は前述の参照用素性を利用した. ${ }^{11)}$

開発・評価事例 順位付け対象事例のうち元クエリに 対するエンティティリンカーの推定結果の一位が あいまいさ回避エンティティと対応し, かつ, 元 クエリあたりの再検索クエリの異なり数が 50 以上 の事例のみを残した。まず元クエリ 100 事例を非復元抽出し,この元クエリを含む組を評価用とし た。評価用として使用されなかった組から $\triangle C R R$ が $[0.5,2.0]$ の範囲の 0.25 刻みで各 10 事例ずつ非復元抽出した.この計 70 事例を開発用事例とした.

## 5.2 比較手法

比較手法を次に示す ${ }^{12)}:$

RF Random Forest[4]によりPU 学習を行った. Spark MLlib 2.4.6を使用. Randomized SVD には Criteo Spark-RSVD ${ }^{13)}$ を使用.

DCRR 素性抽出用ログの期間に計算した $\triangle C R R$ の値 を適用した。このときしきい値を 1.5 に設定した。

7） パラメータは $\alpha=1.0$, negative-sampling の值 $k=5.0$ に設定

8）クエリ発行時間間隔の制約を一旦解除してトークンの生起回数を計算した。制約下で生起しないトークンの分散表現は 除外した。

9）クエリが 1 トークンで構成される場合は，クエリの分散表現はトークンの分散表現と等しくなる.

10） 正例は $1,225,010$ 事例, ラベル未付与事例は 9,036,884 事例 であった。PU 学習前にランダムオーバーサンプリング [1] に より両方の数を均等にした。

11）紙面の都合により本論文では交差検定の結果について取り 扱わないが，時系列データなどに対する交差検定の手法はい くつか提案されている。予測対象の直近の区間の素性は利用 しないという点で noDepCV[3] に近い手法といえる.

12）評価事例に対する DCRR 以外の正例生成器 (4.2.1 節, 4.2.2

節) の正例生成数はゼロであったため比較手法から除外した

13) https://github.com/criteo/Spark-RSVD

## 5.3 評価方法

2022 年 1 月 5 日にヤフー検索 ${ }^{14)}$ に対してクエリ を発行した。これらの事例に対して次の 3 段階のス コアを付与した : 1.0：クエリの要件 (2 章)を満た し, かつ, 検索結果 1 2 ページ目のいずれかの文書 に対応している. 0.5 ：クエリの要件を満たさない が，検索結果 1 ページ目の上位 5 件以内の文書と対応している. 0.0 ：上記以外

表 2 にクエリの要件の具体例を示す.

表 2: クエリ要件の具体例。下線部は元クエリ。

## 5.4 正例生成器 $(\Delta C R R)$ のしきい值の設定

開発事例に対して 3 段階のスコアを付与した $(5.3$節). このとき $\mathrm{F}$ 值が最大となったしきい值 1.5 を設定した15).

## 5.5 評価結果

評価事例に対して 3 段階のスコアを付与した $(5.3$節). 付与結果をもとにして適合率, 再現率, $\mathrm{F}$ 値を 計測した. 表 3 に結果を示す. 適合率@3 について DCRR がRF 12.4 ポイント上回った. 再現率@3 および F 值について，RF が DCRR をそれぞれ 12.3 ポイント, 4.4 ポイント上回った.

表 3: 適合率, 再現率, $\mathrm{F}$ 值. Bootstrap 検定 [2] ではいずれ の差分も統計的に有意 $(p<0.05)$ であった.

表 4 に順位付け結果の例を示す．RF はクエリ“花鳥風月”に対して知識外の花鳥風月 (ビール) も含め て順位付けできた。また，クエリ“山頭火”に対し て周辺語を含まない部分一致の再検索クエリである “種田山頭火”も含めて順位付けできた。

表 4: 順位付け結果. 下線かつ太字はスコア 1.0 , 下線のみ はスコア 0.5 , 下線無しはスコア 0 . 左から順に $1,2,3$ 位

 \\

14) https://search.yahoo.co.jp

15）このときの $\mathrm{F}$ 值は 0.735

## 5.6 素性の重要度の分析

Random Forest[4] の出力した分散に基づく素性の 重要度の上位 25 件を図 2 に示す。上位を独占した のは $\triangle C R R$ 関連の素性であった。 $\triangle C R R$ 自身の值 DeltaCRR $\left(q_{a}, q_{b}\right)$ よりもその算出に関わったクリッ ク先の文書数の比率 DeltaCRRRatio $\left(q_{a}, q_{b}\right)$ の方が 重要という結果となった。この素性は暗黙的に候補間での相対的な再検索クエリの人気度を包含してい るため, これが重要だったのではないかということ が考えられる。次点は検索補助関連の素性という結果となった。上位の $\operatorname{Assist}\left(q_{a}\right)_{16}, A \operatorname{sist}\left(q_{b}\right)_{14}$ は同一素性でもベクトルの位置が異なっている．元クエリ と再検索クエリでは注目するべき検索行動が異なる ということが示唆される。クエリの分散表現関連の 素性は上位 25 件内に確認できなかった。この理由 としては, 正例生成器において $\Delta C R R$ とエンティ ティリンカーの判定の論理和を利用したため, 本来 クエリの意味の観点からは正例に算入するべきでは ない事例 (e.g., “XXX 店舗” の構成の再検索クエリを 含む組) が一律に正例として混じってしまい，回帰器の学習時にこの素性が利用される場面が限定的に なってしまったのではないかと考えられる。

図 2: 素性の重要度. 添え字はベクトルでの位置 (0-base).

## 6 おわりに

本論文では複数の正例生成器とラベル未付与事例生成器を組み合わせることで訓練事例を生成す ることを提案した。 $\triangle C R R$ を単独で用いる場合より も，複数の素性を用いた Random Forest[4] による順位付けのほうが $\mathrm{F}$ 值が 4.4 ポイント向上することを 示した。

## 参考文献

[1]Gustavo EAPA Batista, Ronaldo $\mathrm{C}$ Prati, and Maria Carolina Monard. A study of the behavior of several methods for balancing machine learning training data. ACM SIGKDD explorations newsletter, Vol. 6, No. 1, pp. 20-29, 2004

[2]Taylor Berg-Kirkpatrick, David Burkett, and Dan Klein. An empirical investigation of statistical significance in NLP. In Proceedings of the 2012 Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning, pp. 995-1005. Association for Computational Linguistics, 2012.

[3]Christoph Bergmeir and José M Benítez. On the use of cross-validation for time series predictor evaluation. Information Sciences, Vol. 191, pp. 192-213, 2012.

[4]Leo Breiman. Random forests. Machine learning, Vol. 45, No. 1, pp. 5-32, 2001.

[5]Allison JB Chaney, David M Blei, and Tina EliassiRad. A probabilistic model for using social networks in personalized item recommendation. In Proceedings of the 9th ACM Conference on Recommender Systems, pp. 43-50, 2015.

[6]Paul G Constantine and David F Gleich. Tall and skinny qr factorizations in mapreduce architectures. In Proceedings of the second international workshop on MapReduce and its applications, pp. 43-50, 2011.

[7]Charles Elkan and Keith Noto. Learning classifiers from only positive and unlabeled data. In Proceedings of the 14th ACM SIGKDD international conference on Knowledge discovery and data mining, pp. 213-220, 2008.

[8]Nathan Halko, Per-Gunnar Martinsson, and Joel A Tropp. Finding structure with randomness: Probabilistic algorithms for constructing approximate matrix decompositions. SIAM review, Vol. 53, No. 2, pp. 217-288, 2011.

[9]Omer Levy and Yoav Goldberg. Neural word embedding as implicit matrix factorization. Advances in neural information processing systems, Vol. 27, pp. 2177-2185, 2014.

[10]Umut Ozertem, Olivier Chapelle, Pinar Donmez, and Emre Velipasaoglu. Learning to suggest: a machine learning framework for ranking query suggestions. In
Proceedings of the 35th international ACM SIGIR conference on Research and development in information retrieval, pp. 25-34, 2012.

[11]Jeffrey Pound, Peter Mika, and Hugo Zaragoza. Adhoc object retrieval in the web of data. In Proceedings of the 19th international conference on World wide web, pp. 771-780. ACM, 2010.

[12]Milad Shokouhi, Marc Sloan, Paul N Bennett, Kevyn Collins-Thompson, and Siranush Sarkizova. Query suggestion and data fusion in contextual disambiguation. In proceedings of the 24th international conference on world wide web, pp. 971-980, 2015.

[13]Tomoya Yamazaki, Kentaro Nishi, Takuya Makabe, Mei Sasaki, Chihiro Nishimoto, Hiroki Iwasawa, Masaki Noguchi, and Yukihiro Tagami. A scalable and plug-in based system to construct a production-level knowledge base. In Proceedings of the 1st International Workshop on Challenges and Experiences from Data Integration to Knowledge Graphs co-located with the 25th ACM SIGKDD International Conference on Knowledge Discovery \&Data Mining, 2019.

[14]豊田樹生, 小松広弥, 熊谷賢, 菅原晃平. ウェブ検索クエリのための部分一致文字列に対するエン ティティ名称予測モデルの提案. 言語処理学会第 27 回年次大会発表論文集, pp. 590-594, 2021.

[15]豊田樹生, 土沢誉太, 築地毅, 菅原晃平, 野口正樹. dishpam: A distributable seeded hierarchical pachinko allocation model. 言語処理学会第 26 回年次大会発表論文集, pp. 217-220, 2020.

[16]豊田樹生, 夜久真也, 石川葉子, 土沢誉太, Kulkarni Kaustubh, Bhattacharjee Anupam, 宰川潤二. ウェブ 検索クエリに対する周辺語を考慮した教師なし エンティティリンキング. 言語処理学会第 25 回年次大会発表論文集, pp. 81-84, 2019.


# 人エデータでの事前学習によるニューラル機械翻訳の性能向上

田村弘人平澤寅庄 金輝槡 岡照晃 小町守
東京都立大学
\{tamura-hiroto, hirasawa-tosho, kim-hwichan\}@ed.tmu.ac.jp
\{teruaki-oka, komachi\}@tmu.ac.jp

## 概要

転移学習において非言語データで事前学習するこ とで，言語情報以外のどのような特性が転移される かの研究が行われている $[1,2,3,4]$. ニューラル機械翻訳 (NMT) においては Aji ら [5] が人エデータで 事前学習した場合，事前学習なしのモデルよりも高 い性能を示したと報告している。しかし彼らはそれ ぞれ 1 種類の人工データ，事前学習法でしか実験し ていない. 本研究では様々な特性を持つ人工データ を用意し，2つの目的関数を用いて事前学習した場合の NMT での性能を比較調査する。また転移学習 に対する ablation studyを行い，各事前学習データ，事前学習法でモデルの各コンポーネントへの影響を 調査した. 結果として, トークンの頻度情報を持た せた人工データで事前学習したモデルは，実データ で事前学習したものよりも高い性能を示した.

## 1 はじめに

転移学習は NMT の性能向上に効果的な手法であ り，特に少資源状況において顕著な性能改善が見ら れる $[6,7,8,9,10]$. 言語情報の知識転移が性能向上 の主な貢献とされる一方，様々なタスクにおいて人 エデータで事前学習することで，言語情報以外のど のような特性が転移されるかが調査されている。

Chiang と Lee [3] は Transformer [11] ベースの言語 モデルで，事前学習データ内の意味以外のどのよう な特性が下流タスクの性能に影響するかを調査し た. 人工データで事前学習し GLUE [12] タスクでの 性能を評価した結果，事前学習なしの場合よりも高 い性能を示した. Transformer ベースの系列変換モデ ルでは Krishna ら [4] が要約タスクにおいて，人工 データで事前学習したモデルが実データで事前学習 した場合に匹敵する性能を示したと報告している。

Aji ら [5] は NMT において，人工データを用い た自己符号化で事前学習することで事前学習なしの
モデルよりも高い翻訳性能を示し，特に少資源言語対において顕著な性能向上が見られた. しかし彼ら の実験はランダムな数字列で構成された人工データ でのみ実験しており，他の特性を備えた人工データ での実験は未調査である。また事前学習法として自己符号化を採用しているが，他の学習法での翻訳性能に対する影響も未知である.

そこで本研究では，下流タスクをNMT として 様々な種類の人工データを用いて事前学習するこ とで，NMT でどのような特性を持った人工データ が翻訳性能に効果的かを調査する。 また事前学習法 として，自己符号化と MAsked Sequence to Sequence pre-training (MASS) ${ }^{1)}$ [9] を選択し，事前学習法ごと の人工データの特性の影響も調査する。さらに転移学習に対して ablation studyを行い，事前学習時の データセットや学習法ごとにモデルのどのコンポー ネントの転移が性能に貢献しているか，反対にどれ をファインチューニングした方が良いかを調査す る. 本研究での主な貢献は以下の通りである：

1. 対訳データが少資源の場合，人工データでの事前学習により，事前学習なしのモデルよりも高 い性能を示した2).

2. 事前学習法が自己符号化の場合，トークンの頻度情報を含めた人工データで事前学習すると，実データの場合よりも高い性能を示した。

3. 事前学習法が MASS の場合，人工データでの学習は不十分であり実データで訓練する必要があ ることを示した。

4. Ablation study により事前学習法が自己符号化 の場合，頻度情報を学習した encoders が下流夕 スクの主な性能の要因であることを明らかに した.

1） MASS は Song ら [9] によって提案された系列変換の masked language model であり，多量の単言語データで事前学習するこ とで特に少資源 NMT で顕著な性能向上が確認されている。

2）多資源状況では性能向上が見られなかったため，対訳デー タを 3 万文対， 10 万文対として実験を行った.

## 2 事前学習データ

## 2.1 実データ

本研究では英語からドイツ語への翻訳タスクに おける人工データを用いた事前学習の影響を分析 する. ファインチューニング時に使用する対訳デー タは WMT14 [13] の英独翻訳タスクから獲得して いる.そのため事前学習に用いる英語, ドイツ語 データもドメインの観点から同じくWMT14 の対訳 データから抽出し, 各言語の単言語データとして 扱った。

English (En) 全対訳データの英語側から，ファイ ンチューニング時に使用する訓練データと重複しな い文をランダムに抽出する。

German (De) “English” と同様にドイツ語データ を抽出する。

English + German (En + De) "English", "German"で のデータサイズが約 5,000 万トークンになるように， それぞれの言語データから文を抽出し，混合する。

## 2.2 人エデータ

本研究で使用する人工データは全て数字列で構成 される. 具体的には，0から（ファインチューニン グに使用する対訳データの語彙サイズ - 1）の範囲 の整数が人工データの語彙に含まれる ${ }^{3}$. 系列長は 全て 128 である.

Random 各数字は語彙の一様分布から独立に抽出され，系列が作成される.

Unigramファインチューニングで使用する対訳 データから unigram 分布を作成し, その分布に沿っ て数字を独立に抽出し系列を作成する。

Zipf Zipf 分布（式 1）から独立に各数字が抽出さ れ，系列が作成される。

$
f(k ; s, N)=\frac{1 / k^{s}}{\sum_{n=1}^{N}\left(1 / n^{s}\right)}
$

ここで $N$ はトークンの要素数, $k$ はトークンの頻度順位， $s$ は分布を特徴付ける指数であり, $s$ が小さい ほど滑らかな分布になる. 本実験では $s=1.0$ とし た. “Unigram”では対訳データから分布を求めてい るが，この手法では一切実データを用いていない.

表 1 異なる対訳データサイズにおける, 事前学習法,事前学習データごとのテストセットでの BLEU スコア. “N/A” は事前学習なしのモデルを表す。“AE” は自己符号化を表す。

## 3 実験設定

事前学習データのデータサイズは約 1 億トーク ンである.ファインチューニングに使用する対訳 データは全対訳データ約 450 万文対からランダムに 3 万文対と 10 万文対を抽出し，それぞれのデータサ イズでNMT モデルの訓練を行った。開発セットは newstest2013，テストセットは newstest2014を使用し た. 全ての実データは $\mathrm{Moses}^{4}$ [14] で正規化，トー クン化し，その後 BPE [15] でサブワード化を行っ た. BPE の語彙サイズは対訳データが 3 万文対, 10 万文対の場合それぞれ 8,000，16,000である。また 事前学習時に使用する実データは上で学習した語彙 を用いてサブワード化する。

全ての実験は Song ら [9] のコード5)を用いて行っ た. モデルは Transformer (base)を使用し，事前学習済モデルの重みで初期化後, ファインチューニング を行った。初期化の際，語彙の割り当ては frequency assignment [5]を採用している。主なハイパーパラ メータは付録 A に示す. 事前学習の更新回数は 10 万ステップである. ファインチューニング時は early stopping を採用しており，開発セットでのロスが 10 エポック間減少しなかった場合，訓練を終了する。事前学習は各データセットで 1 回だけ行い，ファイ ンチューニングと事前学習なしのモデルの訓練は 異なるシードで 3 回行った. 評価は SacreBLEU6) 7) [16] を用いて, case-sensitive BLEUを計算した. 報告する全てのスコアは 3 つのシードでの平均値で ある.
+tok.13a+version.1.5.1
}

## 4 結果

表 1 にファインチューニング時の各対訳データサ イズにおける，事前学習法，事前学習データごとの テストセットでの BLEU スコアを示す.

対訳データサイズ：3万事前学習法が自己符号化の場合は, 全ての事前学習データで，事前学習な しの場合よりも性能向上が見られる（貢献 1). 実 データで事前学習したモデルは “Random”よりは良 い性能であるが，下から 2 つの人工データでのモデ ルより低い性能を示している。 “Unigram” と “Zipf" は頻度情報のみを考慮したデータセットであること から，頻度情報のみを学習することで十分な性能が 発揮できることを示している (貢献 2). 事前学習法 が MASS の場合は，人工データで事前学習したモデ ルは事前学習なしのものよりも高い性能ではある が，実データで事前学習したモデルが人工データで の事前学習よりも明らかに高い性能を示している。実データは共起性や構造性など頻度以外の情報も含 んでいる。よって MASS では頻度情報は性能に貢献 するが，頻度以外の情報も学習することで更なる性能向上が達成されることを示している（貢献 3).

対訳データサイズ：10万 自己符号化の場合，全 ての事前学習データで，事前学習なしの場合よりも 性能が悪化しており, どのデータでも同程度のスコ アが得られる. MASS の場合も全事前学習データ で，事前学習なしの場合よりも低いスコアしか達成 できないが，人工データよりも実データで事前学習 した方が良いという傾向はデータサイズが 3 万の時 と同じである.これらから対訳データサイズが 10 万の場合は, 各事前学習法, 事前学習データで性能向上が見られなかった.

以上の結果から 5 節では対訳データサイズを 3 万 とし, 各事前学習法, 事前学習データによるモデル の各コンポーネントへの影響を分析する。

## 5 分析

4 節では各事前学習法により，実データで訓練 した場合と, 人工データでの場合とで異なる結果 を確認した．これを受け，事前学習データが “En” と “Zipf” の場合の各事前学習法での挙動を確認す る. 具体的にはモデルを embeddings (emb), encoders (enc), cross-attentions (x-attn), decoders ( $\mathrm{dec})^{8}$ の の大きく

8） emb は encoder 側と decoder 側, 両方の embeddings を対象と している. enc, dec は self-attentions と layer-norms, feed-forwardnetworksを含む．x-attn は layer-norms を含む.表 2 各コンポーネントを転移した時の，事前学習法，事前学習データごとのテストセットにおける BLEU スコア. “ $\checkmark$ は該当するコンポーネントを転移していることを意味する。

4 つのコンポーネントに分けて転移学習に対する ablation studyを行う.

表 2 に選択的に各コンポーネントを転移し，ファ インチューニングした時の BLEU スコアを示す。ま た，表 3 に全てのコンポーネントを転移した後，あ る部分のみをフリーズしてファインチューニングし た場合の BLEU スコアを示す.

emb の転移の影響 表 2 から事前学習法が自己符号化の場合，embのみを転移した場合を除いて emb の影響はわずかである。emb 以外を全て転移した場合では，全てのコンポーネントを転移した場合より も高い性能を出している (8 行目)。一方で事前学習 データが “En”の時，“Zipf”の場合に比べて emb は 性能に貢献している (1,9行目). 表 3 から，embを フリーズすると両事前学習データとも性能が悪化し ているが，“Zipf”よりも “En”の方が悪影響を受け ている。これは embの重みを enc 側と dec 側とで共有しており，“En”の場合 emb は英語に最適化され ているが，ドイツ語の emb としても使用されている ためである。これに対し “Zipf”では言語横断的な頻度情報のみを $\mathrm{emb}$ は学習しているため性能悪化が小 さいと考えられる．以上から，自己符号化では $\mathrm{emb}$ の情報を少しは転移しているが，ファインチューニ ングで重みが再学習されると考えられる。 そして，主な性能貢献は emb 以外のコンポーネントの影響に よるものであり, それはトークンの頻度の学習で達
成されると推測できる.

MASS の場合，表 2 より明らかに embを転移する と性能向上している。特に事前学習データが “En” だと “Zipf”よりも emb の性能に対する貢献が強い と確認できる。表 3 から embをフリーズした時，両事前学習データとも性能が悪化しているが, “En” よりも “Zipf” の方が悪影響を受けている。これは “En”では文脈的な emb が得られたが, “Zipf” では無理に文脈的な embを獲得しようとして低品質なもの が生成されてしまったからだと考えられる。

enc の転移の影響 自己符号化の場合，表 2 から 事前学習データに依らず enc の転移が性能に貢献し ていることが確認できる（5 8 行目). 表 3 から両事前学習データともに encをフリーズしても何も フリーズしない場合と同程度の性能を出している. よって enc の学習は頻度情報のみで十分であり, 主 な翻訳性能の貢献に繋がると考えられる（貢献 4).

MASS の場合，表 2 より事前学習データが “En” では enc が性能に貢献しているが，“Zipf”では他 のコンポーネントの場合と同程度のスコアである （10 12 行目). 表 3 からは encをフリーズした場合,他のコンポーネントをフリーズした場合よりも低い スコアが見られる. これは MASS で enc が学習した 表現は NMT で必要とされる表現とは異なり，NMT での再学習が必要であることを示している. また事前学習データが “Zipf” の時は大幅な性能低下が見ら れるため, 頻度情報のみでは enc の学習は上手く行 われない。よって MASS では, enc は共起性や構造性を持つ実データでの事前学習が必要であり, 下流 タスクで enc を再学習する必要がある。

x-attn の転移の影響 自己符号化の場合，表 2 か ら事前学習データによらず x-attn のみを転移すると 大幅に性能が下がるため，他のコンポーネント（特 に enc）と組み合わせる必要がある，これはトークン の対応がそのトークン自身とで取られており，NMT で求められるトークンの対応とかけ離れた表現が 学習されているためと考えられる. また, 表 3 でフ リーズしても比較的性能が下がらないのは, 事前学習済み enc と組み合わせているためと考えられる。

MASS の場合，表 2 から “En”ではかなり低いス コアが見られる (3行目).これは英語からドイツ語 へのトークンの対応が学習されていないためと考 えられる。一方で “Zipf”だと大きなスコアの変動は 見れられない。“Zipf”データはトークンが独立に抽出されるため, MASS での学習であまり偏りのない表 3 全てのコンポーネントを転移した後，各部分をフ リーズした時の, 事前学習法, 事前学習データごとのテ ストセットにおける BLEU スコア. “ $x ”$ は該当するコン ポーネントをフリーズしていることを意味する。

トークン同士の対応分布が獲得できたためと考えら れる. 表3でのフリーズの結果は自己符号化と同様 に，事前学習済み enc と組み合わせているため比較的性能が下がらないと考えられる.

$\operatorname{dec}$ の転移の影響 自己符号化の場合，表 2 より 両事前学習データともに同程度のスコアを出してい る（4,12 行目）。表 3 より decをフリーズした場合， enc, x-attn に比べ性能が下がるが，両事前学習デー タで同程度のスコアである. よって decでも頻度の 学習が行われているが，下流タスクで再学習する必要がある.

MASS の場合は表 2 からは両事前学習データとも に同程度のスコアである (4, 12 行目). 表 3 より enc の場合と同様に, “Zipf" で訓練したものは “En”より も性能が低いため実データで学習する必要がある.

## 6 おわりに

本研究では実データ，人工データを自己符号化と MASS の 2 つの事前学習法で訓練し NMT での性能 を調査した。自己符号化の場合は，トークンの頻度 を考慮したデータセットで学習したモデルが実デー タでのものよりも高い性能であったが，MASS では 実データで学習する必要があることを示した.

また転移学習に対する ablation study を行い，モデ ルの各コンポーネントが各事前学習データ, 事前学習法により受ける翻訳性能への影響を調査した。自己符号化の場合, 事前学習データの種類に関わらず embeddings 以外のコンポーネントが主な性能に貢献 しており, encoders がトークンの頻度情報を学習す るだけで高い性能が発揮されることを示した. 一方 MASS では実データで学習することで embeddings が性能に大きく貢献することを示した。

今後の展望として, MASSでも人工データでの事前学習で高い性能を出せるような, 共起性, 構造性 を考慮した人工データの作成を目指している。

## 参考文献

[1] Isabel Papadimitriou and Dan Jurafsky. Learning Music Helps You Read: Using transfer to study linguistic structure in language models. In EMNLP, 2020.

[2] Cheng-Han Chiang and Hung yi Lee. Pre-training a language model without human language. arXiv preprint arXiv:2012.11995, 2020.

[3] Cheng-Han Chiang and Hung yi Lee. On the transferability of pre-trained language models: A study from artificial datasets. arXiv preprint arXiv:2109.03537, 2021.

[4] Kundan Krishna, Jeffrey Bigham, and Zachary C. Lipton. Does pretraining for summarization require knowledge transfer? In Findings of EMNLP, 2021.

[5] Alham Fikri Aji, Nikolay Bogoychev, Kenneth Heafield, and Rico Sennrich. In neural machine translation, what does transfer learning transfer? In ACL, 2020.

[6] Barret Zoph, Deniz Yuret, Jonathan May, and Kevin Knight. Transfer learning for low-resource neural machine translation. In EMNLP, 2016.

[7] Raj Dabre, Tetsuji Nakagawa, and Hideto Kazawa. An empirical study of language relatedness for transfer learning in neural machine translation. In PACLIC, 2017.

[8] Ye Qi, Devendra Sachan, Matthieu Felix, Sarguna Padmanabhan, and Graham Neubig. When and why are pre-trained word embeddings useful for neural machine translation? In NAACL, 2018.

[9] Kaitao Song, Xu Tan, Tao Qin, Jianfeng Lu, and Tie-Yan Liu. MASS: Masked sequence to sequence pre-training for language generation. In ICML, 2019.

[10] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. In ACL, 2020.

[11] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, and Illia Polosukhin. Attention is all you need. In NeurIPS, 2017.

[12] Alex Wang, Amanpreet Singh, Julian Michael, Felix
Hill, Omer Levy, and Samuel R. Bowman. GLUE: A multi-task benchmark and analysis platform for natural language understanding. In ICLR, 2019.

[13] Ondrej Bojar, Christian Buck, Christian Federmann, Barry Haddow, Philipp Koehn, Johannes Leveling, Christof Monz, Pavel Pecina, Matt Post, Herve Saint-Amand, Radu Soricut, Lucia Specia, and Aleš Tamchyna. Findings of the 2014 workshop on statistical machine translation. In WMT, 2014.

[14] Philipp Koehn, Hieu Hoang, Alexandra Birch, Chris Callison-Burch, Marcello Federico, Nicola Bertoldi, Brooke Cowan, Wade Shen, Christine Moran, Richard Zens, Chris Dyer, Ondřej Bojar, Alexandra Constantin, and Evan Herbst. Moses: Open Source Toolkit for Statistical Machine Translation. In ACL, 2007.

[15] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In ACL, 2016.

[16] Matt Post. A call for clarity in reporting BLEU scores. In WMT, 2018.

## A ハイパーパラメータ

表 4 に本実験で設定した主なハイパーパラメータを示す. word-mask 率は MASS で事前学習を行う際，入力系列をどれだけマスクするかの割合である.

表 4 各事前学習法ごとの事前学習時 (PT) とファインチューニング時 (FT) のハイパーパラメータ.

 & & 4,096 &  & クン & \\


# 明示的及び暗默的データを活用した Twitter における 体験的ストレスの特定

飯田静空 原一夫
山形大学 理学部
s180572@st.yamagata-u. ac.jp kazuo. hara@gmail.com

## 概要

ストレスは社会問題となっており, Twitter 上で は多くの人の愚痴や悩みが日々呟かれる。しかし, ストレスの表現方法は人によって異なるため，どれ ほどの人がストレスを抱えているのかを把握するこ とは困難である。そこで本研究では，ツイートをし た人自身が経験したストレス(体験的ストレス)を示 すツイートを検出する分類器を構築した。具体的に は，「ストレス」という言葉を明示的に含むデータ と，ストレスの内容を暗黙的に含むデータの 2 種類 を利用することでBERT を訓練した．実験の結果，我々の手法は単体データのみの学習よりも高い精度 で体験的ストレスを検知でき，モデルが両データの 特徴を学習できていることを分析により示した。

## 1 はじめに

ストレス社会という言葉があるように，現代でス トレスは深刻な社会問題となっている. Twitter をは じめとするマイクロブログ上でも多くの人々の不平不満や心配事が日々散見され，最近では COVID-19 の影響によるストレスの増加が確認されている[1].

その一方で, Twitter 上において何人のユーザーが ストレスに苦しんでいるのかを我々が把握すること は困難である。なぜなら，ツイート(以下「発言」と 呼ぶ)におけるストレスの表現方法は人によって異 なるからである．多くのユーザーは，「ストレス」 という言葉を使わずに自身のストレス状態を報告す る(図 1 発言例 1 ). そのため「ストレス」という言葉 が明示的に書かれた発言のみを数えたとしても，ユ ーザーが経験している全ストレスを考慮することは できない. さらに「ストレス」という言葉が明示的 に書かれていたとしても，発言をしたユーザー自身 が経験したストレス(以下「体験的ストレス」と呼ぶ) を必ずしも表すとは限らない(図 1 発言例 2).発言例1. ) 上司に怒られてイライラする怒

「ストレス」という言葉を含んでいないが,上司に対しての怒りを表しているため, ストレスを感じている可能性がある.

発言例2. ) 猫ちゃんが心配. . . 昨日からストレス のせいか体調が悪いみたいで早く帰る

図 1 発言のストレス表現が異なる例

本研究では, Twitterに現れる体験的ストレスの量 を総合的に把握するために，発言中に体験的ストレ スが含まれるかどうかを判断する分類器を構築する。 そのために我々は，「ストレス」と「\#ストレス」の 言葉を含む発言から作成した 2 種類のデータを利用 した。一つは「ストレス」という言葉を明示的に含 むデータで，「今日も仕事か. ..とてもストレスなん だが…」のような発言である。これを明示的データ と呼ぶ。もう一つはストレスの内容を暗黙的に含む データで，「隣マジでうるさいからキレそう」のよ うな発言である。これを暗黙的データと呼ぶ。我々 は全ての発言から体験的ストレスを検出するために，

「ストレス」の言葉を含まない暗黙的データから体験的ストレスを分類する実験を行った。しかし，暗黙的データはその性質上，データ数を増やすことが 難しい，そこで我々は，収集が容易な明示的データ も使い, 2 つのデータの特徴を BERT[2]に fine-tuning で学習させる方法を提案した. 実験と分析の結果,我々の提案手法は暗黙的データのみを使用した場合 よりも高い精度で体験的ストレスを分類でき，両デ 一タの特徴をモデルが学習できていることを示した。

## 2 関連研究

ストレスは，人や環境との相互作用によって引き 起こされる苦痛の認識と定義される［3]。ストレス

には主観的な側面があるため, 物理的信号である脳波[4]や音声データ[5]などの特徵でストレスを調査寸る研究がある. しかし, 物理的な測定には莫大な コストや時間がかかる。加えて，ストレスを感じる 期間は人によって異なるため[6], この方法では生活 で時々刻々と変化する精神状態の把握は難しい.

このような理由から, 最近ではマイクロブログ上 に現れるストレスを分析する研究が行われている。

Doan ら[7]は Twitter 上の明示的データで訓練した SVM を使うことで, 米国の地理ごとにストレス分析 を行った. 他方で, Turcan ら [8, 9]は Reddit という米国で人気のあるマイクロブログから暗黙的データを 作成した. そして BERT[2]を使い, 感情分類とのマ ルチタスク学習を行うことで体験的ストレスの分類精度を向上させた. しかし, これらの研究では明示的データか, 暗黙的データかのどちらか一方のデー タしか使用してはいない, それらとは対照的に, 我々 は両方のデータを活用することでその有効性を示す.

## 3 データ

## 3.1 体験的ストレスの定義

分類器を構築するために，我々はデータを作成す る必要がある. そのために, 本研究の分類基準であ る体験的ストレスの定義を行う. 本研究では, 以下 の 2 点を満たす発言を体験的ストレスと判断した.

1. ストレスを受けた対象が発言の作者である こと

「ストレス」という言葉で，発言者自身のス トレスが明記されてあることとした。 ストレス を受けた対象が「発言者以外の人」，「人以外 の生物」，またはその発言内に「引用」された 形で他者がストレスを示す発言は除かれる.

2. 発言をした時点でストレスに感じているこ と/ストレスの体験性を損なわないこと

発言者が発言した時点でストレスに感じてい ることとした. 発言者が発言した時点の時制か ら考え，「過去」，「未来」，「習慣」を表す 発言を除く.また，ストレスの体駼性を損なう

「仮定」「疑問」, 「推論」, 「共感」,「願望」,「呼びかけ」,「応答」,「助言」,「否例)定」，「噂」，「主張」を表す発言も除く。

今はストレスで体調死んどる (体験的ストレス) みんなはストレスなのかな? (非体験的ストレス)

## 3. 2 明示的及び暗默的データの作成

始めに，明示的データを作成した手順を述べる。我々は Twitter API を使い，2021 年 7 月 29 日 02:21:00 から 09:42:56 の間で「ストレス」という 言葉を含む発言を収集した. その結果, 6535 の発言 を取得することが出来た. その後, 集めた発言に前処理を行った. 方法としてはリツイートと重複した 発言の削除, URL 部分の削除と, 半角, 全角スペー スの切り詰め, リプライを表す発言では「@リプライ 先のユーザー名」までの部分を削除するといった処理である. そして， 3.1 で述べた基準のもと体験的 ストレスを含む発言には 1 ，含まない発言には 0 の ラベル付けを一人のアノテータが行った. ラベル付 けには質問紙 $[10]$ を使って判断する方法などがある が，本研究では「ストレス」という言葉の明記を， ストレス反応の根拠として信頼した.

続いて，暗黙的データを作成した手順を述べる。我々は明示的データと同じ方法で, 2021 年 10 月 1 日 00:00:00 から 27 日の 23:59:59 の期間で「\#スト レス」を含む発言を収集した．その結果，5861の発言を取得することが出来た. その後集めた発言に前処理を行った. 前処理の方法は明示的データの場合 と共通しているが，今回は「ストレス」という言葉 を含んでいないデータを作成したいため，新たに次 の処理を追加した。まず，「\#」部分はストレスを直接示す情報となるため,「\#」以下の部分を削除した。次に, 収集したデータに「ストレス」の単語を含ん だ発言も存在したため,この単語の部分も削除した. これにより文脈が不自然になった発言は，不自然な 表現部分を削除することで文脈を自然な形に直した。

前処理前の例) 最近、コロナで旅行いけないの本当に

## ストレス!! \#ストレス\#旅行

前処理後の例) 最近、コロナで旅行いけない!!

前処理をした後, 明示的データの場合と同じ人物が ラベル付けを行った.アノテータは 3.1 の定義をも とにラベルを付けるが，今回はデータに「ストレス」 という言葉が含まれていない.そのため定義の 1 は，発言内容が作者の体験であるという基準に変更した。

作成したデータの内訳を表 1 に示す. 明示的デー 夕は, 短期間で比較的数の多いデータを作成できた. しかし, 暗黙的データでは発言内容の重複が原因で,収集した発言の $81 \%$ が削除される結果となった.
表 1 作成したデータの内訳

表 2 明示的データでの分類実験の結果

## 4 実験

## 4.1 明示的データによる分類実験

4.2 の提案手法で使用するモデルを選定するため に，我々はまず明示的データのみを使い，体験的ス トレスである発言を検知する実験を行った. モデル には， Transformer[11]に基づくニューラルネットワ ークモデルの BERT[2]を使用した。発言をサブワー ドと文字単位に分割し，BERT へ入力する場合をそ れぞれ比較した. 前者を $\mathrm{BERT}_{\text {subword }}$, 後者を $\mathrm{BERT}_{\text {char }}$ と名付ける. ベースラインには Naïve Bayes を選ん だ. データは 8:2 の割合で訓練用とテスト用に分け, 10 分割交差検証によってハイパーパラメータを調整した。ハイパーパラメータの調整は, BERT の最終層と全結合層の間の Dropout を\{0.3, 0.5\}, 学習率 を\{1e-5, 2e-5, 3e-5, 4e-5, 5e-5\}の中からグリッドサー チにより行った.Optimizerには AdamW[12]を使い， バッチサイズは GPU の制限上 64 とした. 10 エポッ クが終了した時点でのモデルをテスト用のデータを 使い, precision, recall, F1, accuracy の指標から評価し た. BERT のモデルには, 東北大学が公開している 事前学習済みモデルを使用した。

テストデータにおける各モデルの最良な結果を表 2 に示す。まず，BERT のモデルは Naïve Bayes より も全ての評価指標でより良い結果であることが分か る. BERT は文脈を考慮できるモデルとされており，独立な仮定に基づくモデルよりも複雑な分類が可能 であると考えられる. また $\mathrm{BERT}_{\text {subword }}$ は $\mathrm{BERT}_{\text {char }}$ と 比べ, recall 以外の全ての指標でより良い結果であっ た.この実験では, BERT へサブワードに分割した テキストを入力とする方が適していたと考えられる.

## 4.2 暗黙的データによる分類実験

図 2 提案手法

4.1 では, 明示的に「ストレス」と書かれてある発言を分類できるモデルを構築した。しかし，我々の 目標は Twitter 上の全発言に出現する体験的ストレ スを検知することである。そのため，次に暗黙的デ 一タを使った分類実験を行う。

暗黙的データは 3.2 で述べた発言内容の重複とい う理由から，データ数を増やすことが難しい，そこ で我々は, 明示的及び暗黙的データの両方を使う手法を提案する. 図 2 に我々の提案手法を示す. まず BERT を明示的データにより訓練することで, 訓練済みモデルを出力する．次にこのモデルを暗黙的デ 一タで fine-tuning を行い，BERT を再訓練する。こ こで出力されたモデルを $\mathrm{BERT}_{\text {proposed }}$ と名付ける.

ベースラインに暗黙的データのみを使って学習し

は, 4.1 で最良の結果であった $\mathrm{BERT}_{\text {subword }}$ を暗黙的 データにより fine-tuning することで構築した. デー タは 5:5 の比率で訓練用とテスト用に分け, 5 分割交差検証でハイパーパラメータを調整した。ハイパ ーパラメータ，Optimizer，及びバッチサイズは明示的データの場合と同じ設定である. 最大を 10 エポ ックとして, 最も高いaccuracy のエポック時点の各 モデルを評価した。

表 3 は各モデルの最良の結果を示している.

い結果であることが分かる. 次に $\mathrm{BERT}_{\text {proposed }}$ が学習 によりどのような特徴をとらえたのかを分析する。

## 4.3 分析

が学習後に着目した部分の変化に関する分析を行っ た. LIME とは，あるモデルへの入力ベクトルの空間に摂動を与え, 出力に対しての局所的な線形近似 を行うことで，入力語の影響度を測定できるモデル である. J-LIWC は心理学者による信頼性や妥当性検
表 4 学習前後で BERT が判断根拠とする項目 (上から LIME の出力語を多く含む順に並んでいる)

表 3 暗黙的データでの分類実験の結果

証がされている言語, 心理的項目を含んだ日本語の 辞書である. 4 で学習後の $\mathrm{BERT}_{\text {subword }}$ と $\mathrm{BERT}_{\text {proposed }}$ で，ラベル 1 と 0 の判断根拠となる LIME の出力ス コアの高い 5 語を各データから抽出し, J-LIWC の 各項目ごとに含まれる語を数え, 多い順に項目を算出した. データには, 4.1 と 4.2 で分割したテスト用 をそれぞれ使用した. 表 4 はその結果を示している.

まず，ラベル 1 を判断する際のトップ 10 に入っ

間」,「助動詞」,「動因」の項目に違いが生じた. BERT $_{\text {subword }}$ でのこれらの項目順位が高い理由は，い ずれも「ストレス」という単語を項目内の語として 含んでいることが挙げられる. 明示的データではど の発言にも「ストレス」という言葉が出現するため,我々はこの単語が判断根拠にはなりづらいと予想し ていた。しかし, 実際にこれらの項目の詳細な内訳 を見ると「ストレス」の出現数が項目中の半分以上 を占めていた. これは, 同じ単語でも BERT が文脈 に応じて判断根拠とするか否かを使い分けているた めであると我々は考えている. $\mathrm{BERT}_{\text {proposed }}$ で「時間」 の項目の詳細な内訳を見ると，「今日」「た」「最

においても同様であった。しかし, $\mathrm{BERT}_{\text {proposed }}$ では

ほど上昇しており, 学習前後での細かな違いが確認 された.このように変化した理由の詳細な分析は今後の課題であるが，「時間」の項目語にラベル 1 の 判断根拠としてより重みがついたことが分かる. $\mathrm{BERT}_{\text {proposed }}$ では「助動詞」の項目がラベル 1 で 8 番目，ラベル 0 で 7 番目に高かった。一方で BERT $_{\text {subword }}$ ではラベル 0 の判断根拠にしかなってお らず，暗黙的データでは助動詞をラベル 1 の判断根拠にする割合が強まった. ラベル 1 の「動因」で は，共通して「仕事」という言葉が一番多かった. これは，仕事に関連した語がストレスを示す傾向が あるという先行研究と一致する[15]. また，「悪 い」「怖い」といったネガティブな動因が占めるこ とも共通していた。しかし， BERT $_{\text {proposed }}$ で二番目 に多い単語が「旦那」であり，妻が夫の愚痴を言う 発言の特徴を新たに学習したことが分かった. ラべ ル 0 でトップ 10 の項目は全て一致しており，順位 が若干変動する結果となった. ラベル 0 の基準は両 データで同じであったため，これは妥当な結果であ る。以上のように，モデルが両データの共通，非共通な特徴を学習したことが確認された。

## 5 おわりに

本研究では, 明示的に「ストレス」と書かれてあ る発言と暗黙的にストレスの内容を含む発言の両デ 一タを使い，発言者がストレスに感じている発言を 検出する分類器を構築した．実験と分析の結果，

我々の手法は単体データのみの場合よりも高い精度 で発言者のストレスを分類可能であり，両データの 特徴を学習することが有効であることを示した。

今後の研究として，「ストレス」，「\#ストレ ス」の言葉を含まず，ストレスの自覚なしに発せ られた発言に対しても, この手法で構築した分類器 が適用可能かどうかを調査していきたい.

## 参考文献

1. Sachin Thukral, Suyash Sangwan, Arnab Chatterjee, and Lipika Dey. Identifying pandemic-related stress factors from social-media posts--effects on students and young-adults. arXiv preprint arXiv:2012.00333. 2020

2. Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proc. of NAACL, pp.4171-4186. 2019.

3. Sheldon Cohen, Gregory E. Miller, and Bruce Rabin. Psychological Stress and Antibody Response to Immunization: A Critical Review of the Human Literature. Psychosomatic Medicine, Vol. 63 - Issue 1 - pp.7-18. 2001.

4. Fares Al-Shargie, Masashi Kiguchi, Nasreen Badruddin, Sarat C. Dass, and Ahmad Fadzil Mohammad Hani. Mental stress assessment using simultaneous measurement of eeg and fnirs.

Biomedical Optics Express, Vol. 7 - Issue 10 pp.3882-3898. 2016.

5. Xin Zuo, Tian Li, and Pascale Fung. A multilingual natural stress emotion database. In Proc. of LREC, pp.1174-1178. 2012.

6. American Psychological Association. What's the difference between stress and anxiety?

(引用日: 2022 年 1 月 8 日.)

https://www.apa.org/topics/stress/anxiety-difference.

7. Son Doan, Amanda Ritchart, Nicholas S Perry, Juan

D Chaparro, and Mike Conway. How Do You \#relax

When You're \#stressed? A Content Analysis and

Infodemiology Study of Stress-Related Tweets.

JMIR Public Health Surveill, Vol. 3 - Issue 2 - e35.

2017.

8. Elsbeth Turcan, and Kathleen McKeown. Dreaddit:

A Reddit Dataset for Stress Analysis in Social

Media. In Proc. of EMNLP, pp.97-107. 2019.

9. Elsbeth Turcan, Smaranda Muresan, and Kathleen McKeown. Emotion-Infused Models for Explainable Psychological Stress Detection. In Proc. of NAACL, pp.2895-2909, 2021.

10. Sharath Chandra Guntuku, Anneke Buffone, Kokil Jaidka, Johannes C. Eichstaedt, and Lyle H. Ungar.
Understanding and measuring psychological stress using social media. CoRR, abs/1811.07430, 2018.

11. Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in Neural Information Processing Systems, pp.6000-6010. 2017.

12. llya Loshchilov, and Frank Hutter. Decoupled Weight Decay Regularization. arXiv preprint arXiv:1711.05101. 2017

13. Marco Túlio Ribeiro, Sameer Singh, and Carlos Guestrin. "Why should I trust you?": Explaining the predictions of any classifier. In Proc. of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, pp.11351144. 2016.

14. Tasuku Igarashi, Shimpei Okuda, and Kazutoshi Sasahara. Development of the Japanese Version of the Linguistic Inquiry and Word Count Dictionary 2015 (J-LIWC2015). PsyArXiv Preprints: 10.31234/osf.io/5hq7d. 2021

15. Huijie Lin, Jia Heinie, Quan Guo, Yuanyuan Xue, Qi Li, Jie Huang, Lianhong Cai, and Ling Feng. UserLevel Psychological Stress Detection from Social Media Using Deep Neural Network. In Proc. of ACM MM, pp.507-516. 2014.

## A 付録

## A. 1 予備調查

我々は，「ストレス」と「\#ストレス」という言葉を含んだ各発言の一日あたり収集可能な発言量を 調査をした。まず, Twitter API を使用して 2021 年 10月 1日 00:00:00 から 27 日 23:59:59までの期間で「ストレス」と「\#ストレス」という言葉を含 んだ各発言を収集した。その後，日ごとに発言量の 集計を行った. 図 3 と図 4 はその結果の棒グラフを 表している.

縦軸の目盛りが 100 倍異なることから分かる通 り，「ストレス」と「\#ストレス」の発言では，一日あたりの発言量が大きく異なる.「ストレス」と いう言葉を含んだ発言は一日に平均して 37,738の 発言を収集できたが，「\#ストレス」の場合は一日 に平均して 217 の発言しか収集することができなか った. このことから，「ストレス」の言葉を含んだ 発言の方が，短期間で大規模な量のデータを収集出来ることが分かる.

## A. 2 ハイパーパラメータ

4,1と 4.2 の実験におけるハイパーパラメータの チューニング結果を表 5 と表 6 に示す.

表 $5 \quad 4.1$ におけるハイパーパラメータ

$
\text { チューニングの結果 }
$

表 64.2 におけるハイパーパラメータ

図 3 「ストレス」の言葉を含む発言に おける一日あたりの発言量

図 4 「\#ストレス」の言葉を含む発言に おける一日あたりの発言量


# 固有名詞に注目した Transformer による雑談対話モデルの構築

郭 恩孚 ${ }^{1}$ 南泰浩 ${ }^{1}$
1 電気通信大学大学院
enfu.guo@uec.ac.jp minami.yasuhiro@is.uec.ac.jp

## 概要

ユーザーの提示する固有名詞にうまく注目するた め、本研究では、対話モデルの事前学習において、固有名詞をマスクし、マスクされた部分を予測する 固有名詞マスク学習を用いる対話モデルを提案す る。モデルを用いて、発話の自然性と応答性を評価 する実験を行った結果、固有名詞マスク学習を用い る提案手法のモデルがベースラインモデルと比べ、自然性スコアで 0.45 ポイント、固有名詞応答スコア で 0.54 ポイントの向上を示し、提案手法の有用性を 確認した。

## 1 はじめに

日常会話において、人は相手が提示した固有名詞 について応答することで、対話がより円滑に行え る。近年、雑談対話モデルの研究が進み、生成され る発話を一文としてみると、自然な発話を生成でき つつある。しかし、対話の接続性に関して「固有名詞について応答する」という観点からみると、無関係の固有名詞での応答や、固有名詞を無視する応答 など、ユーザーの発話に含まれる固有名詞にうまく 注目できていないことが問題点として挙げられて いる。

本研究の関連研究としては、ランダムマスク学習 [1] とシングル応答生成学習 [2] を事前学習として用 いる雑談対話モデルを構築することが挙げられる。 ランダムマスク学習とは、トークンレベルでの学習 を行うため、トークンをランダムに置き換え、元の 文を復元する学習である。シングル応答生成学習と は、句レベルでの学習を行うため、入力された発話文に対する応答文を生成する学習である。

ランダムマスクでの学習では、トークン分割方法 によって、一つの固有名詞が複数のトークンに分割 され、固有名詞の復元の学習がうまくいかない場合 がある。そこで、本研究では、固有名詞により注目 するため、事前学習において、固有名詞をマスクし、元の文を復元する学習を提案する。実験により、そ の有用性を検証した。ここでの事前学習時の概念図 を図 1 に示す。図に示すように、事前学習では、固有名詞マスクだけではなく、ランダムマスク、シン グル応答生成も実施する。

図 1 事前学習時の概念図

## 2 対話学習データ

本研究では Wikipedia[3]、CC-100[4]、ツイートの 3つのソースを用いて、学習コーパスを構築した。

各データソースに対して、以下の条件に該当する データを除外するクリーニング処理を行った。ま た、単語の分割には MeCab[5] を用いた。

・URL・絵文字などを含む文

・日本語・英語以外の言語のシンボルを含む文

・日本語が含まれない文

・同じ表現が連続で出現する文

・不適切表現が出現する文

クリーニング処理後の各データに基づいて、下記 の学習コーパスを構築した。

・Wiki コーパス：Wikipedia データ

・CC-100コーパス：CC-100データ

・ツイートリプライコーパス：ツイートとそのリ プライのペアデータ

・ツイート疑似対話コーパス：ツイートとそのリ プライからなるリプライチェーン

構築したコーパスのうち、Wikiコーパス、CC-100 コーパス、ツイートリプライコーパスを用いて事前学習を行う。また、ツイート疑似対話コーパスを用

いて Fine-tune を行う。各コーパスのデータ数を表 1 に示す。

## 3 学習および評価設定の詳細

本研究は 3 つ事前学習: ランダムマスク学習、 シングル応答生成学習、固有名詞マスク学習、で 事前学習を行った。事前学習後、ツイート疑似対話コーパスを用いて Fine-tune を行った。事前学習 と Fine-tune の学習時、入力文脈からトークンへの 分割はSentencePiece[6] を用いた。この時、クリー ニング処理後の 2,000 万のツイートから、語彙数が 32,000、文字カバー率が $99.995 \%$ となるように学習 を行った。

## 3.1 ランダムマスク

トークンレベルで学習するため、ランダムマスク 学習を設定した。ランダムマスク学習では、入力 トークンの 15\%を [MASK] トークンに置き換え、元 の文を復元する。

## 3.2 シングル応答生成

Suchin ら [7] の研究により、Fine-tune 時のデータ と同じドメインのデータを用いて事前学習するこ とで、モデルの性能が向上することが報告されてい る。本研究では、その結果を踏まえて、ツイートと リプライツイートのペアで、ツイートを入力とし、 リプライツイートをターゲット発話とするシングル 応答生成学習を設定した。シングル応答生成学習で は、入力からターゲット発話を生成する。

## 3.3 提案手法：固有名詞マスク

SentencePiece は Byte Pair Encoding (BPE)を用い て、トークン分割を行っている。この分割では、辞書サイズが圧縮される一方、一つの固有名詞が複数 のトークンに分割され、ランダムマスク学習だけで は、固有名詞を生成する学習がうまくいかない場合 がある。この問題に対処するため、本研究では、対話モデルが文脈の中にある固有名詞を陽に捉えられ るよう、固有名詞マスク学習を提案する。固有名詞 のマスク学習は、入力文を事前に Mecab で形態素解析を行い、入力文にあるすべての固有名詞を事前に [MASK] トークンに置き換えた上で、トークン分割 し、元の文を復元する。

## 3.4 Fine-tune

一般に、生成型雑談対話モデルでは、過去の発話履歴を考慮する、応答を生成する必要がある。連続する対話を含む対話コーパスで事前学習済み モデルを Fine-tune することで、発話履歴を考慮し て応答生成できると考えられる。そこで、本研究 では、収集したツイートデータから、一連のリプ ライ関係にあるツイートを抽出した。ツイートと その一連のリプライに該当するツイートをリプ ライがなくなるまで抽出し、リプライチェーンを 作成し、ツイート疑似対話コーパスを作成した。例えば、一つのリプライチェーンに $n$ 個のツイー トである場合、入力とターゲット発話のペアは $\left[\left(t_{1}, t_{2}\right),\left(t_{1}-t_{2}, t_{3}\right),\left(t_{1}-t_{2}-t_{3}, t_{4}\right), \ldots,\left(t_{1}-\ldots-t_{n-1}, t_{n}\right)\right]$ となる。

## 3.5 評価時の応答生成設定

モデルが生成する発話は自然性と多様性の両方を 満たすことが望ましい。本研究では Beam Search に より提案モデルから発話を生成した、そのパラメー タを表 2 に示す。繰り返し同じ表現が出現する発話 の生成を防ぐため、生成された系列中にすでに出現 した N-gram を出現させないようにした。さらに、「そうですね」といった無難な発話を繰り返し応答 しないように、difflib の SequenceMatcher を用いて、現在の生成候補と過去のモデル発話と比べ、類似度 が 0.7 以上の発話は候補から除外した。

以上の設定により、多様性を満たすことができ る。加えて、候補中、perplexity が比較的小さな発話 を選択することで、自然性を満たすこともできる。

## 4 実験

## 4.1 実験設定

モデルアーキテクチャについて、先行研究 [8] で は、シンプルな Transformer Encoder-Decoder モデル

が Transformer Encoder のみのモデルよりよい性能を 示すことが報告されている。その結果を踏まえて、本研究でもシンプルな Transformer Encoder-Decoder モデルを使用した。モデル設定の詳細を表 3 に 示す。

表 3 モデル設定

## 4.1.1 事前学習

事前学習では、2. で構築した Wiki コーパス、 CC100 コーパス、ツイートリプライコーパスを利用 した。学習毎の Encoderへの入力形式、Decoder から の出力の形式の例を表 4 に示す。学習の Optimizer には Adafactor[9] を用い、学習率を 1e-4、warmup stepを 1000 にそれぞれ設定し、目的関数には label smoothed cross entropy を使用した。

## 4.1.2 Fine-tune

Fine-tune では、2. で構築したツイート疑似対話 コーパスを利用した。Encoderへの入力は、話者情報を表す $[\mathrm{SPK}]$ トークンを導入し、過去の全発話 を入力する。ユーザーの発話に該当する部分の先頭に [SPK1] トークン、モデルの発話に該当する部分の先頭に [SPK2] トークンを用いた。入力のテン プレートを表 5 に、入力の例を表 6 に示す。また、 Feed-Forward Network および Attention の dropout 率を 0.1 に設定し、学習の Optimizer には事前学習時と同様に Adafactor を使用した。学習率を 1e-4、warmup step を 2000 にそれぞれ設定し、目的関数には label smoothed cross entropy を用いた。

## 4.2 実験結果および分析

固有名詞マスク学習を実施していないモデルを ベースラインモデルとし、固有名詞マスク学習を実施した提案モデルと比較するため、実験参加者 7 名 でそれぞれ 5 会話について評価した。評価者と異な る実験参加者とモデルを使った対話システムの会話では、実験参加者に 2 つの固有名詞を提示し、 10 ターン以上継続した対話となるよう指示した。ま
た、評価では、下記の軸について 5 段階（1：とても そう思わない〜 5: とてもそう思う）評価とした。

-自然性：対話全体が自然か
- 固有名詞応答 (1)：実験参加者が提示した 1 つ 目の固有名詞について応答できているか
- 固有名詞応答 (2)：実験参加者が提示した $2 \supset$目の固有名詞について応答できているか

自然性の評価結果を図 2 に、応答の評価結果を図 3 と図 4 に示す。また、各軸のスコアの平均を表 7 に示す。さらに、各軸の平均スコアに有意な差があ るかどうかを検定した。有意水準を 0.05 、帰無仮説 を「各軸の平均スコアに差がない」とした。その検定結果を表 8 に示す。

図 2 自然性の評価結果

図 3 固有名詞応答 (1) の評価結果

図 4 固有名詞応答 (2) の評価結果

表 8 により、各軸の $\mathrm{P}$ 値は有意水準の 0.05 より小 さいため、結果は有意であり、「各軸の平均スコア
表 4 各事前学習学習の入出力形式の例 (トークナイズ後)

表 5 Fine-tune 時の入力形式のテンプレート 雑談:[SPK1] ユーザーの発話: $U_{1}[\mathrm{SEP}]$ [SPK2] モデ ルの発話 $S_{1}$ [SEP][SPK1]...[SEP][SPK2]

表 6 Fine-tune 時の入力例 (トークナイズ後)雑談: [SPK1] みんなで 浅草 に行くの だよ [SEP] [SPK2] めちゃくちゃ楽しそう やん [SEP] [SPK1]食べ 歩きする [SEP] [SPK2]

に差がない」という帰無仮説は棄却された。

表 7 により、事前学習時に固有名詞マスク学習を 設定した提案モデルがベースラインモデルより自然性、固有名詞応答 (1) と (2) のスコアがともに向上す ることが確認できた。ユーザーが提示した固有名詞 により注目し、応答することで、対話全体の自然性 も上がったと考えられる。

提案モデルとベースラインモデルによる生成例を 図 5 に示す。ユーザーが提示した「鬼怒川温泉」と いう固有名詞について、ベースラインモデルでは、「そうですね。」といった無難な応答を生成している ことに対して、提案モデルでは「鬼怒川温泉」とい う固有名詞を含んだ、「鬼怒川温泉、有名ですね」と いう応答を生成している。

今回の評価では実験参加者に 1 対話で提示した 2 つの固有名詞に対する発話の分析を行った。

図 3 と表 7 みると、ユーザーが提示した 1 つ目の 固有名詞について、応答スコアが 0.45 ポイント向上 している。図 4 と表 7 みると、ユーザーが提示した 2 つ目の固有名詞について、応答スコアが 0.63 ポイ ント向上している。

過去の対話履歴をモデルの入力としているため、過去の発話が直前の発話のノイズになる場合もある ことを考えると、上記の結果により、固有名詞マス ク学習を事前学習時に設定することで、実験参加者 が 2 つ目の固有名詞を提示する時、提案モデルは 1

表 7 モデルの評価結果

 &  \\

提案モデル & $\mathbf{3 . 6 5}$ & $\mathbf{3 . 8 2}$ & $\mathbf{3 . 4 0}$ \\

表 8 モデルの評価の検定結果

図 5 モデルによる生成例

つ目の固有名詞から 2 つ目の固有名詞に注目を切り 替えることができ、固有名詞マスク学習の有用性を 確認できた。

## 5 おわりに

ユーザーが提示した固有名詞に注目する対話モデ ルを構築した。固有名詞に注目するため、事前学習時に、入力文脈に含む固有名詞を [MASK] トークン に置き換え、元のトークンを予測する固有名詞マス ク学習を提案した。実験により、提案手法の人手評価を行い、固有名詞マスク学習を設定したモデルの 自然性、固有名詞応答スコアを評価した結果、提案手法の有用性を確認できた。

事前学習時固有名詞マスク学習を実施することに より、対話モデルがより会話文脈中に含まれた固有名詞に注目できることがわかった。一方で固有名詞 マスク学習において、学習データに含まれなかった 固有名詞については、会話中に注目しておらず、そ れらに注目するようモデルの構築は今後の課題で ある。

## 参考文献

[1] Yu Sun, Shuohuan Wang, Shikun Feng, Siyu Ding, Chao Pang, Junyuan Shang, Jiaxiang Liu, Xuyi Chen, Yanbin Zhao, Yuxiang Lu, Weixin Liu, Zhihua Wu, Weibao Gong, Jianzhong Liang, Zhizhou Shang, Peng Sun, Wei Liu, Xuan Ouyang, Dianhai Yu, Hao Tian, Hua Wu, and Haifeng Wang. Ernie 3.0: Large-scale knowledge enhanced pretraining for language understanding and generation, 2021.

[2] 杉山弘晃, 成松宏美, 水上雅博, 有本庸浩, 千葉祐弥, 目黒豊美, 中嶋秀治. Transformer encoder-decoder モデル による趣味雑談システムの構築. 人工知能学会研究会資料言語・音声理解と対話処理研究会, Vol. 90 , p. 24, 2020.

[3] Wikimedia Foundation. Wikimedia downloads. 2021.

[4] Alexis Conneau, Kartikay Khandelwal, Naman Goyal, Vishrav Chaudhary, Guillaume Wenzek, Francisco Guzmán, Edouard Grave, Myle Ott, Luke Zettlemoyer, and Veselin Stoyanov. Unsupervised cross-lingual representation learning at scale. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, Online, July 2020.

[5] Taku Kudo, Kaoru Yamamoto, and Yuji Matsumoto. Applying conditional random fields to Japanese morphological analysis. In Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing, pp. 230-237, Barcelona, Spain, July 2004. Association for Computational Linguistics.

[6] Taku Kudo and John Richardson. Sentencepiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. Vol. abs/1808.06226, 2018.

[7] Suchin Gururangan, Ana Marasović, Swabha Swayamdipta, Kyle Lo, Iz Beltagy, Doug Downey, and Noah A. Smith. Don't stop pretraining: Adapt language models to domains and tasks. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, Online, July 2020.

[8] Stephen Roller, Emily Dinan, Naman Goyal, Da Ju, Mary Williamson, Yinhan Liu, Jing Xu, Myle Ott, Kurt Shuster, Eric Michael Smith, Y-Lan Boureau, and Jason Weston. Recipes for building an open-domain chatbot. Vol. abs/2004.13637, 2020

[9] Noam Shazeer and Mitchell Stern. Adafactor: Adaptive learning rates with sublinear memory cost. Vol. abs/1804.04235, 2018 .


# 主観と客観の感情極性分類のための日本語データセット

宮内 裕人 1 鈴木 陽也 ${ }^{1}$ 秋山 和輝 ${ }^{1}$ 梶原 智之 ${ }^{1}$ 二宮 崇 ${ }^{1}$
武村 紀子 ${ }^{2}$ 中島悠太 ${ }^{2}$ 長原一 2
1 愛媛大学 2 大阪大学
\{miyauchi,suzuki,k_akiyama\}@ai.cs.ehime-u.ac.jp
\{kajiwara,ninomiya\}@cs.ehime-u.acjp
\{takemura,n-yuta, nagahara\}@ids.osaka-u.ac.jp

## 概要

本研究では、Plutchik の基本 8 感情の強度および 感情極性を注釈付けした日本語の感情分析のための データセットを構築し、公開した。60 人のアノテー タから収集した合計 35,000 件の SNS 上の投稿につ いて、書き手自身の主観的な感情と読み手による客観的な感情の両方をラベル付けした。本稿では、喜 びや悲しみなどの基本感情とポジティブまたはネガ ティブの感情極性の間の関係を明らかにし、感情極性分類のベンチマークの結果を報告する。

## 1 はじめに

感情分析は、対話システム [1] やソーシャルメ ディアマイニング [2] など多くの応用を持つ主要 な自然言語処理タスクのひとつである。感情分析 の先行研究では、テキストからの感情極性の推定 （Sentiment Analysis）および基本感情の分類（Emotion Detection）の2つのサブタスクが扱われてきた。前者はポジティブまたはネガティブの感情極性を対象 とするものであり、後者は喜びや悲しみなどの 4 種類から 8 種類ほどの基本感情 $[3,4]$ を対象とする。

表 2 に示すように、感情分析の先行研究は、感情極性（Sentiment）を扱うか基本感情（Emotion）を扱 うか、また、テキストの書き手の感情（主観感情） を扱うかテキストの読み手の感情（客観感情）を扱 うかという点で、多様な研究が行われてきた。しか し、これらを包括的に扱った先行研究は存在しない ため、感情極性と基本感情の間の関係や、書き手の 感情と読み手の感情の間の関係は明らかではない。

本研究では、日本語のSNS テキストに対して主観 と客観の両方の立場から基本感情の強度を付与した WRIME [5] を拡張し、表 1 のように同じテキストに 対して主観と客観の両方の立場から感情極性のラべ表 1 本研究で構築したデータセットの例

傘盗まれたんだけど！！

悲

 &  &  &  &  &  &  & &  \\

ルを追加した。本研究で構築した日本語の感情分析

## 2 感情分析データセットの構築

## 2.1 主観的アノテーション

クラウドソーシングのランサーズ2)を用いて、60 人の主観注釈者を雇用した。注釈者の性別の内訳 は、男性が 21 人、女性が 39 人である。また、年齢 の内訳は、 20 代が 28 人、 30 代が 22 人、 40 歳以上が 10 人である。主観注釈者は、SNS 上での自身の過去 の投稿に対して、Plutchik の 8 感情 [3] の強度をそれ ぞれ 4 段階（無・弱・中・強）で付与するとともに、感情極性を 5 段階（強いポジティブ・ポジティブ・ ニュートラル・ネガティブ・強いネガティブ）で付与した。ただし、テキストからの感情分析という目的のために、画像付きの投稿や URL 付きの投稿は 対象外とした。各注釈者は 100 件から 1,000 件まで の投稿にラベルを付与しており、合計で 35,000 件の 投稿を収集した。全ての主観注釈者は、自身が提供 する全ての投稿に対して、感情強度と感情極性の両方のラベルを付与した。投稿時期については特に制

表 2 感情分析データセットの一覧

表 3 Quadratic Weighted Kappaによる注釈者間のアノテーションの一致率

限を設けなかったが、結果として 2010 年 8 月から 2020 年 11 月までの 10 年間の範囲の投稿が集まっ た。なお、投稿 1 件あたり 10 円の報酬を支払った。

収集した感情極性ラベルの品質を評価するため に、注釈者ごとに 30 件の投稿を無作為抽出した。評価者（大学生 1 人）は、投稿内容と感情極性ラべ ルを見て、以下の基準で各投稿を 4 段階評価した。

・3: 付与されたラベルに完全に同意できる

・2 : 付与されたラベルに概ね同意できる

・1: 付与されたラベルに同意しにくい

・0：付与されたラベルに全く同意できない

評価結果を注釈者ごとに平均すると、最低 1.9 点、最高 2.8 点で平均 2.4 点であった。なお、 0 点の投稿 は存在しなかった。平均 2 点を下回る注釈者は 4 人 いたが、著しく低品質な注釈者は見られなかった。

## 2.2 客観的アノテーション

同じくランサーズを用いて、3人の客観注釈者を 雇用した。注釈者の内訳は、 30 代の女性が 2 人と 40 代の女性が 1 人である。客観注釈者は、2.1 節で収集した 35,000 件の全投稿に対して、主観注釈者と同様に感情強度と感情極性の両方をラベル付けした。
ただし、主観注釈者がテキストの書き手である自身 の感情を付与した一方で、客観注釈者は読み手であ る自身がテキストから想像する書き手の感情を付与 した。なお、投稿 1 件あたり 3 円の報酬を支払った。収集したラベルの品質を評価するために、 Quadratic Weighted Kappa ${ }^{3)}$ [12]を用いて注釈者間の 一致率を計算した。表 3 の上段に、客観注釈者の アノテーションの一致率を示す。怒りの感情は $\kappa>0.6$ の substantial agreement、信頼の感情は $\kappa<0.4$ の fair agreement であるが、 8 感情の全体としては $0.5<\kappa<0.6$ の moderate agreement を確認できた。感情極性についても、 moderate から substantial な一致を確認できた。

## 3 データセットの分析

表 3 の下段に、主観注釈者と客観注釈者の間のア ノテーションの一致率を示す。先行研究 [5] と同様 に、 8 感情において、主観注釈者と客観注釈者の間 の感情強度の一致率は客観注釈者間の一致率よりも 全体的に低い。本研究で新たに付与した感情極性に

表 4 注釈者ごとの感情極性ラベルの分布

表 5 主観と客観の感情極性ラベルの混同行列（\%）

表 6 感情強度と感情極性のピアソン相関係数

おいても、同様の傾向が見られた。以降では、本研究で新たに付与した感情極性について調査する。

## 3.1 主観と客観の感情極性ラベルの分布

表 4 に、注釈者ごとの感情極性ラベルの分布を示 す。主観注釈者の感情極性ラベルは、ニュートラル が最も多く、強いポジティブおよび強いネガティブ の極端なラベルは比較的少ない。 3 人の客観注釈者 にはそれぞれ異なる特徵が見られたが、平均すると 主観注釈者と似た傾向が見られた。ただし、強いポ ジティブおよび強いネガティブの極端なラベルは少 なく、ネガティブのラベルが多い。

表 5 に、主観注釈者の感情極性ラベルと客観注釈者の感情極性ラベルの平均値の混同行列を示す。主観注釈者が強いポジティブと回答した投稿におい て、客観注釈者はその $70.5 \%$ をポジティブと回答し た。また、主観注釈者が強いネガティブと回答した 投稿において、客観注釈者はその $80.2 \%$ をネガティ ブと回答した。なお、主観注釈者と客観注釈者の感情極性の正負が異なる割合は $3.9 \%$ から $8.8 \%$ と充分 に少ない。以上から、客観注釈者は主観注釈者の感情極性の正負を適切に推定できるが、感情極性の強度は弱めに見積もる傾向があることがわかった。

## 3.2 感情強度と感情極性の関係

表 6 に、感情強度と感情極性のピアソン相関を示 す。この表から、各感情がポジティブな感情なのか ネガティブな感情なのかがわかる。この分析から、 Plutchik の 8 感情のうち、喜び・期待・信頼の 3 つは ポジティブな感情、悲しみ・怒り・恐れ・嫌悪の 4 つはネガティブな感情であると言える。表 7 主観と客観の感情極性の一致率

また、複数の感情が共起する投稿においては、主観注釈者による感情極性のラベルと客観注釈者に よる感情極性のラベルの一致率が高まることがわ かった。本分析では、主観の感情強度に従ってデー タセットを以下のように 3 分割した。

・無感情 : 全ての感情強度が無または弱

・単一感情： 1 つの感情強度のみが中または強

・複数感情 : 2 つ以上の感情強度が中または強

表 7 に、感情の共起と主観客観の感情極性の一致率 の関係を示す。無感情の投稿よりも単一感情の投稿 の方が主観の感情極性と客観の感情極性の一致率が 高く、単一感情の投稿よりも複数感情が共起する投稿の方がさらに高い一致率を持つことがわかる。

## 4 感情極性分類の実験

2 節のデータセットを用いて、感情極性 $(-2 \cdot-1 \cdot$ $0 ・ 1 ・ 2 ） を$ 推定する 5 値分類の評価実験を行う。

## 4.1 実験設定

データセットは、 40 人 30,000 件の訓練用データ、 10 人 2,500 件の検証用データ、 10 人 2,500 件の評価用データに重複なく分割して実験する。感情極性分析モデルの性能は、正解率 (Accuracy)、平均絶対誤差 (MAE)、Quadratic Weighted Kappa (QWK) の 3 つ の指標によって自動評価する。主観注釈者が付与し
表 8 感情極性分類の実験結果

た感情極性ラベル（主観データ）を用いる評価と、 3 人の客観注釈者が付与した感情極性ラベルの平均值（客観データ）を用いる評価の両方を実施する。本実験では、以下の 3 種類の分類器を用いる。

$\cdot$BoW+LogReg：Bag-of-Words による素性抽出と ロジスティック回帰による分類を行う。単語分割には MeCab（IPADIC-2.7.0)4) [13]を用いる。
- BERT (Wikipedia) ${ }^{5}$ ：Wikipedia を用いて事前訓練された日本語 BERTを感情極性分類タスクの ために再訓練し、 $\boldsymbol{y}=\operatorname{softmax}(\boldsymbol{h} \boldsymbol{W})$ として感情極性を推定する。ただし、 $\boldsymbol{h}$ は BERT の [CLS] トークンから得られる素性べクトルである。
- BERT (SNS) ${ }^{6}$ ：SNS テキスト上で事前訓練され た日本語 BERTを本タスク用に再訓練する。

BoW+LogReg の実装には、scikit-learn ${ }^{7)}$ [14]を使用 する。ハイパーパラメータCは、 $\{0.01,0.1,1,10,100\}$ の中から検証用データにおける最適値を選択する。 BERT の実装には、Transformers ${ }^{8}$ [15] を使用する。 バッチサイズは $32 、$ ドロップアウト率は 0.1 、学習率は 2e-5、最適化は Adam [16] として、3 エポック の early-stopping を適用する。

## 4.2 実験結果

実験結果を表 8 に示す。BoW+LogReg よりも BERT の性能が高く、訓練データと評価データのド メインが一致する BERT (SNS) が最高性能を達成し た。また、客観データにおける評価よりも主観デー タにおける評価の方が全体的に性能が低く、主観的 な感情極性の推定がより難しいことがわかる。

表 8 の上段では、主観データを用いて訓練したモ

デルで主観データにおける評価を実施し、客観デー タを用いて訓練したモデルで客観データにおける 評価を実施した。下段には、主観データを用いて訓練した主観 BERT (SNS) による客観データにおける 評価および客観データを用いて訓練した客観 BERT (SNS) による主観データにおける評価の結果を示 す。この結果から、評価対象に関わらず、客観デー タを用いて訓練したモデルの性能が一貫して高いこ とがわかる。先述のように、書き手の感情極性（主観データ）の推定は難しいため、単純な訓練では十分な性能が得られなかったものと考えられる。

## 5 おわりに

本研究では、日本語の感情分析のためのデータ セット ${ }^{1}$ ） [5] を拡張し、約 2 倍の規模（35,000 件）へ の拡大と感情極性ラベルのアノテーションを行っ た。基本 8 感情と感情極性の両方を付与した感情分析コーパスは日本語としては初であり、これらの感情ラベルをテキストの書き手による主観的な立場と 読み手による客観的な立場の両方からアノテーショ ンしたのは英語など他の言語を含めても初の取り組 みである。本コーパスを用いることで、テキストと 感情に関する包括的な分析が可能になった。

調査の結果、喜び・期待・信頼の 3 感情はポジ ティブな感情、悲しみ・怒り・恐れ・嫌悪の 4 感情 はネガティブな感情であることが明らかになった。 また、複数の感情が共起するテキストは、単一の感情のみが含まれるテキストよりも、読み手にとって 書き手の感情を読み取りやすいこともわかった。感情極性分類の実験結果からは、書き手による主観的な感情極性の推定が、読み手による客観的な感情極性の推定よりも難しいことがわかった。今後の 課題として、基本感情の強度推定とのマルチタスク 学習や、投稿履歴などを考慮した個人特化によっ て、主観的な感情極性分類の性能を改善したい。

## 謝辞

本研究は、文部科学省による Society 5.0 実現化研

究拠点支援事業（JPMXP0518071489）の助成を受け たものです。

## 参考文献

[1] Ryoko Tokuhisa, Kentaro Inui, and Yuji Matsumoto. Emotion Classification Using Massive Examples Extracted from the Web. In Proceedings of the 22nd International Conference on Computational Linguistics, pp. 881-888, 2008.

[2] Stefan Stieglitz and Linh Dang-Xuan. Emotions and Information Diffusion in Social Media - Sentiment of Microblogs and Sharing Behavior. Journal of Management Information Systems, Vol. 29, No. 4, pp. 217-248, 2013.

[3] Robert Plutchik. A General Psychoevolutionary Theory of Emotion. Theories of Emotion, Vol. 1, pp. 3-31, 1980.

[4] Paul Ekman. An Argument for Basic Emotions. Cognition and Emotion, Vol. 6, No. 3-4, pp. 169-200, 1992.

[5] Tomoyuki Kajiwara, Chenhui Chu, Noriko Takemura, Yuta Nakashima, and Hajime Nagahara. WRIME: A New Dataset for Emotional Intensity Estimation with Subjective and Objective Annotations. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 2095-2104, 2021.

[6] Andrew L. Maas, Raymond E. Daly, Peter T. Pham, Dan Huang, Andrew Y. Ng, and Christopher Potts. Learning Word Vectors for Sentiment Analysis. In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, pp. 142-150, 2011.

[7] Richard Socher, Alex Perelygin, Jean Y. Wu, Jason Chuang, Christopher D. Manning, Andrew Y. Ng, and Christopher Potts. Recursive Deep Models for Semantic Compositionality Over a Sentiment Treebank. In Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing, pp. 1631-1642, 2013.

[8] Klaus R. Scherer and Harald G. Wallbott. Evidence for Universality and Cultural Variation of Differential Emotion Response Patterning. Journal of Personality and Social Psychology, Vol. 66, No. 2, pp. 310-328, 1994.

[9] Saif Mohammad, Felipe Bravo-Marquez, Mohammad Salameh, and Svetlana Kiritchenko. SemEval-2018 Task 1: Affect in Tweets. In Proceedings of The 12th International Workshop on Semantic Evaluation, pp. 1-17, 2018.

[10] Carlo Strapparava and Rada Mihalcea. SemEval-2007 Task 14: Affective Text. In Proceedings of the Fourth International Workshop on Semantic Evaluations, pp. 70-74, 2007.

[11] Yu Suzuki. Filtering Method for Twitter Streaming Data Using Human-in-the-Loop Machine Learning. Journal of Information Processing, Vol. 27, pp. 404-410, 2019.

[12] Jacob Cohen. Weighted Kappa: Nominal Scale Agreement Provision for Scaled Disagreement or Partial Credit. Psy- chological Bulletin, Vol. 70, No. 4, pp. 213-220, 1968.

[13] Taku Kudo, Kaoru Yamamoto, and Yuji Matsumoto. Applying Conditional Random Fields to Japanese Morphological Analysis. In Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing, pp. 230-237, 2004.

[14] Fabian Pedregosa, Gaël Varoquaux, Alexandre Gramfort, Vincent Michel, Bertrand Thirion, Olivier Grisel, Mathieu Blondel, Peter Prettenhofer, Ron Weiss, Vincent Dubourg, Jake Vanderplas, Alexandre Passos, David Cournapeau, Matthieu Brucher, Matthieu Perrot, and Édouard Duchesnay. Scikit-learn: Machine Learning in Python. Journal of Machine Learning Research, Vol. 12, No. 85, pp. 28252830, 2011.

[15] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Remi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander Rush. Transformers: State-of-the-Art Natural Language Processing. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 38-45, 2020.

[16] Diederik P. Kingma and Jimmy Lei Ba. Adam: A Method for Stochastic Optimization. In Proceedings of the 3rd International Conference on Learning Representations, 2015.


# 共想法談話のテーマと修辞機能の関連についての分析

田中弥生
国立国語研究所
yayoi@ninjal.ac.jp
}

小磯花絵
国立国語研究所
koiso@ninjal.ac.jp
}

大武美保子
理化学研究所
}

mihoko.otake@riken.jp
## 概要

本発表は、高齢者の会話支援手法「共想法」の テーマに基づく談話を、修辞機能分析の分類法に よって分析し、テーマと修辞機能の関連を検討した ものである。先行研究の分析結果を、より整備され たデータによって確認した。「共想法」を構成する 「話題提供」パート (独話)と「質疑応答」パート(会話) の分析から、テーマに共通する修辞機能がある 一方でテーマに依存する修辞機能もあること、テー マの特徴は「質疑応答」より「話題提供」において 強く見られることが明らかになった。

## 1 はじめに

本発表は、高龄者の会話支援手法「共想法」の テーマに基づいて語られる談話を、修辞機能分析の 分類法によって分析し、テーマと修辞機能の関連を 検討したものである。共想法は、(1) あらかじめ設定されたテーマに沿って、自身で準備した写真やイ ラストとともに話題を数人の高齢者が持ち寄り、(2)参加者全員のもち時間を均等に決めて、話題提供 する時間（独話）と、質疑応答する時間（会話）に 分けるという 2 つのルール沿って「話す」「聞く」「質問する」「答える」のバランスをとりながら行わ れる [1]。

先行研究では、共想法のテーマによって多用され る修辞機能が異なることを明らかにした $[2,3]$ 。ま た、同一テーマであっても「話題提供」パートと 「質疑応答」パートでは異なる特徴があることや、 さらにテーマやパートによらない個人差があること も明らかになっている。しかし、先行研究では分析 データの参加者のバランスが十分に図られておらず 参加者の影響が排除されていないという問題があっ た。そこで本研究では、参加者のバランスを考慮し たデータを対象に、テーマと修辞機能の関係を明ら かにすることを目的とする。

これまで「修辞ユニット分析」 $[4,5]$ の分類法に
よって様々な談話の分析を行い、目的や話題内容、状況による、脱文脈化程度の様相の検討を行なって きた $[6,7,8]$ が、本研究では、「修辞機能分析 $]^{1)} の$分類法を用いる。修辞という語は隠咏などの技巧や 技術などの意味合いで用いられるが、本研究では、我々が話したり書いたりする際に、意識的にせょ無意識的にせよ、表現を選び、その結果として生じる 機能を修辞機能と考える。修辞機能分析によって、修辞機能とともに脱文脈化指数か明らかになる。文脈や脱文脈という用語は研究分野によって使われる 意味が異なるが、本研究では脱文脈化度を、コミュ ニケーションが行われている「今ここ」の時空とそ の発話内容との時間的・空間的距離の程度、とする。

## 2 分析対象と分析方法

## 2.1 分析対象

本発表では、固定された1グループ4名のメン バーによる 3 テーマの合計 72 分のデータを用いて、先行研究の結果を確認することとした。参加者は 1 つのテーマにつき 2 枚の写真 ( 2 つの話題)を準備し て話す。1テーマに $2 \times 4$ 名、合計 8 つの話題があ り、3テーマで合計 24 の話題が本発表の分析対象と なっている。「話題提供」パートは 1 つの話題 1 分 で、参加者は 2 分の間に続けて2つの話題を話す2)。参加者 4 名の「話題提供」が終わると「質疑応答」 (1つの話題が 2 分、 2 つで合計 4 分) が行われる。

本研究の実験全体では、1グループ4名で 6 グ ループ合計 24 名の参加があり3)、会話は 12 テーマ で 1 回ずつ全 12 回行われた。このデータは、共想法が参加者の認知機能に与える影響を検証するため に実施されたランダム化対照群付き比較試験を通じ

1）修辞ユニット分析を日本語文法の枠組みで検討し修正を加 えたもので、現在手順書を作成中である。

2） 基本的に 1 つの話題が 1 分であるが、今回のデータの中に 2 つの話題の時間配分がうまくいかなかったと思われるケー スが見られた。

3） 久席の場合は代替メンバーが参加した。

て得られたものである。参加者は、共想法に参加す る介入群と、共想法が開催されるのと同じ頻度で実験会場に通所するのみの対照群とにランダムに分け られた。介入群参加者の共想法における会話を文字起こししたデータを分析した。介入群の実験条件は 同一で、対照群の実験条件を雑談に参加することと した場合の検証結果については、文献 [9] に報告さ れている。

## 2.2 分析方法

修辞機能分析 ${ }^{4}$ の分類法によって、1. 分析単位と なるメッセージ (概ね節)に分割してその種類から分析対象を特定し、2. 発話機能、時間要素、空間要素 を認定し、その組み合わせから、3. 修辞機能の特定 と脱文脈化指数の確認を行う。

## 2.3 分析対象の特定

分析単位の「メッセージ」は、概放節に相当し、「主節」(単文と主節)、「並列」(主節以外で節の順番 を変更することが可能な並列節、従属度の低い従属節)、「従属」(従属度の高い従属節)、「定型句類」(相槌や定型句、述部がなく復元ができないものや挨拶 など)の 4 種類に分類する。基本的に「主節」と「並列」をこの後の分析対象とする。

## 2.4 発話機能・時間要素・空間要素の認定

「主節」及び「並列」と認定されたメッセージにつ いて、発話機能 (提言・命題) ・時間要素 (述部の時制 : 現在 - 過去 -未来意志的 -未来非意志的 - 仮定 $\cdot$習慣恒久) ・空間要素 (述部に対する主体や主題 : 参加・状況内 - 状況外・定義)を認定する。表 1 に示 したように、これらの組み合わせから、修辞機能と 脱文脈化指数が特定される。時間要素は「今」から の時間的距離を、空間要素は「ここ・わたし」から の空間的距離を示す。今ここわたしに近い修辞機能【行動】の脱文脈化指数が [1] で最も低く、空間的に も時間的にも遠い【一般化】[14]が最も高い。

以下に分類例を示す。

1)まあ、あの、普段、私、大体出かけるときは腕時計してますんで、

〔発話機能: 命題 \& 時間要素: 習慣・恒久 (大体出 かける時は腕時計してますんで) \&空間要素 : 参加 (私)】 $\rightarrow$ 【自己記述】 $[07]$

4）修辞ユニット分析 $[4,5]$ を日本語文法の枠組みで修正した もので、現在手順書を作成中である。表 1 発話機能・時間要素・空間要素からの修辞機能と脱文脈化指数の特定

} & & & & & & &  \\

2) まあ、あの、きょうは腕時計を初めて外したよ うな形になりますけど、

〔発話機能：命題\&時間要素：現在 (きょうは・一・外したような形になります) \&空間要素 : 参加 ( $\phi=$私) 〕5) $\rightarrow$ 【実況】[02]

3) ま、これから、だ、だんだん慣れていきたいと 思います。

〔発話機能: 命題 \& 時間要素: 未来意志的 (慣れて いきたい) \&空間要素 : 参加 $(\phi=$ 私 $)$ 】 【計画】 [04]

2 名の作業者によってアノテーションを行い、判断が分かれたものは筆者の 1 人が決定した。

## 2.5 予想される特徴

それぞれのテーマから予想される特徴は次のとお りである。テーマ「好きなもの」は個人の嗜好に関 わる話題のため空間的距離のレベルが低い修辞機能 が用いられるのに対し、テーマ「近所の名所」は一般的な話題のため脱文脈化度の高い修辞機能が用い られることが予想される。またテーマ「新しく始め ること」は、個人的な計画であれば【計画】[04] が 用いられるが、現在から先への話題のため「今」か ら離れて時間的距離のレベルが高い修辞機能が用い られることも予想できる。

## 3 分析結果

表 2 は、 3 つのテーマの「話題提供」と「質疑応答」のパート別の修辞機能の出現度数である。

テーマと修辞機能との関係を調べるために、パー トごとに多重対応分析を行った6)。分析には R の

5） $\phi=$ 省略されている語を復元している。

6）出現頻度が 10 以下でほとんど出現しない修辞機能は除外し た。
表 2 各テーマの修辞機能と脱文脈化指数の出現

図 1 「話題提供」の修辞機能の多重化対応分析結果 (図ではテーマを略して＜名所＞のように表示)

$\mathrm{mca}$ 関数を用いた。「話題提供」パートの結果を図 1 に、「質疑応答」パートの結果を図 2 に示す。

図 1 から「話題提供」における特徴として次のこ とがわかる。

・3つのテーマのほぼ中心に【説明】[13]が位置 しており、【説明】[13]がいずれのテーマとも共起しやすい。

・テーマ「好きなもの」は【自己記述】[07]と【観測】[08] が共起しやすい。

・テーマ「近所の名所」では【状況外回想】[10] が共起しやすい。

・テーマ「新しく始めること」では【計画】[04] と【状況内回想】[03]が共起しやすい。【自己記述】[07]も関わりがある。

第1軸

図 2 「質疑応答」の修辞機能の多重化対応分析結果 (図ではテーマを略して＜名所＞のように表示)

図 2 の「質疑応答」パートでは、「話題提供」パー トと比べて 3 つのテーマが近接しており、修辞機能 との関係において各テーマが類似した傾向にあるこ と、個々の話題にのみ関連の深い修辞機能は見られ ないこと、「話題提供」パートと同様に【説明】[13] がいずれのテーマにも近接していることが確認さ れた。

このように、「質疑応答」パートより「話題提供」 パートの方がテーマに依存した修辞機能の特徴がよ り現れやすいと言える。

## 4 考察

3 節では、共想法による談話では【説明】[13]が ベースとなっていることが確認できた。本節では、 それ以外の修辞機能がテーマとどのように関わるか について、「話題提供」パートを中心に確認する。

## 4.1 テーマ「好きなもの」

参加者が好きなものを紹介する際には、【自己記述】[07] と【観測】[08] が多く用いられている。以下に例を示す。

4) あの、このカメラはまだ買って半年ぐらいしか たってないんです。

〔発話機能: 命題 \& 時間要素: 習慣 - 恒久 \& 空間要素: 状況内】 $\rightarrow$ 【観測】[08]

5) もうそれも、年間 2000 枚ぐらい撮るんで、

〔発話機能: 命題 \& 時間要素: 習慣・恒久 \& 空間要
素 : 参加】 $\rightarrow$ 【自己記述】[07]

6) 保存、整理が大変ですね。

〔発話機能: 命題 \& 時間要素: 習慣・恒久 \& 空間要素: 状況外】 $\rightarrow$ 【説明】[13]

個人的な話題のため空間的距離が発話者に近く (空間要素「参加」)、なおかつ趣味・嗜好に関わる 内容のため時間的距離に関わらない（時間要素「習慣・恒久」）性質が特定されたといえる。図 1 におい て【説明】 [13] に比べて距離が近いため、好きなも のを語る際には、そのものについて説明するより、自分とそのものの関わりを述べていることがうかが える。

## 4.2 テーマ「近所の名所」

「近所の名所」というテーマでは、予測したよう に【説明】[13] が他のテーマより多く用いられてい る他、【状況外回想】 [10] が多く、4名のうち 3 名の 「話題提供」で出現している。1名は7)のように、撮影時の状況を述べているが、他の 2 名は 8)9)10)の ように歴史的な状況を含めて解説していた。名所と いう歴史的価値のあるものがテーマであるために、【状況外回想】 [10]が使用されたことがうかがえる。

7) 巫女さんがちょっと手伝って一緒に写させてく れました。

〔発話機能: 命題 \& 時間要素: 過去 \& 空間要素: 状況外了 $\rightarrow$ 【状況外回想】[10]

8) この一、お坊さんの教育のための学校が、昔 あったらしいんですね。

〔発話機能: 命題 \& 時間要素: 過去 \& 空間要素: 状況外】 $\rightarrow$ 【状況外回想】[10]

9) お坊さんが、もう何十人っていうか、何百人も いたらしくて。

〔発話機能: 命題 \& 時間要素 : 過去 \& 空間要素: 状況外 $\rightarrow$ 【状況外回想】[10]

10) それで、だから旃檀林という名前が付いている らしいです。

〔発話機能: 命題 \& 時間要素 : 習慣・恒久 \& 空間要素: 状況外】 $\rightarrow$ 【説明】[13]

## 4.3 テーマ「新しく始めること」

「新しく始めること」では、図 1 より【計画】[04] が最も特徴的であるとされ、他の 2 つのテーマとは 異なる様子が明らかになった。また、テーマが先の 話題であるために出現を予測していなかった【状況内回想】[03] については、4名の参加者全員が用い ていた。例えば「富士塚巡り」をしょうとしている 参加者の場合、次のように 2 年ほど前に神社で本を 入手したことから述べている。

11)なかなかその、富士山が載ってる本はないん で。

〔発話機能: 命題 \& 時間要素: 習慣・恒久 \& 空間要素: 状況外】 $\rightarrow$ 【説明】[13]

12)たまたまこれが見つかったんで、

〔発話機能: 命題 \& 時間要素: 過去 \& 空間要素: 状況内】 $\rightarrow$ 【状況内回想】[03]

13) 全部行けるとこは行ってみたいなと思って、思ってます。

〔発話機能: 命題 \& 時間要素: 過去 \& 空間要素: 状況外】 $\rightarrow$ 【状況外回想】[10]

14)それで、だから旗檀林という名前が付いている らしいです。

〔発話機能: 命題 \& 時間要素: 未来意志的 \&空間要素: 参加】 $\rightarrow$ 【計画】[04]

このように、新しく始めるにあたり、これまでの 経緯を述べたりすでに開始していることを述べたり するために【状況内回想】[03]が用いられることが わかった。ここから、「新しく始めること」という テーマは、必ずしも先のことのみでなく、さまざま な脱文脈化度の発話を生じさせることが可能なこと がうかがえた。

## 5 おわりに

本発表では共想法のテーマに基づいて語られる 談話について、テーマと修辞機能の関連を検討し た。先行研究 $[2,3]$ では、設定されるテーマによっ て用いられる修辞機能に特徴が見られたが、参加メ ンバーのバランスが十分でなかったため、本発表で は固定された参加メンバーによる整備されたデー タを用いて、先行研究で示唆された傾向を再検証し た。「話題提供」(独話) と「質疑応答」(会話)の分析 から、両パートともテーマに共通する修辞機能【説明】[13]があること、「話題提供」パートではテーマ に特徴的な修辞機能が見られるが、こうした特徴は 「質疑応答」パートではあまり見られないことが明 らかになった。

今後は、今回分析したグループの 12 回分すべて の談話を分析し、個人差なども考慮に入れてテーマ と修辞機能との関係を詳細に検討する予定である。

## 謝辞

本研究は JSPS 科研費 JP19K00588, JP18KT0035, JP20H05022, JP20H05574, JST 研究費 JPMJCR20G1, JPMJST2168, JPMJPF2101 の助成を受けたものです。共想法に参加頂いた方に感謝申し上げます。

## 参考文献

[1] 大武美保子. 介護に役立つ共想法: 認知症の予防と回復のための新しいコミュニケーション. 中央法規出版, 2012.

[2] 田中弥生 - 小磯花絵 - 大武美保子. 共想法談話の脱文脈化観点からの検討. 言語処理学会第 27 回年次大会発表論文集, pp. 569-573, 2021.

[3] 田中弥生・小磯花絵・大武美保子. 脱文脈化の観点か ら見た共想法に基づく高齢者談話の分析. 国立国語研究所論集, Vol. 22, pp. 137-155, 2022.

[4] 佐野大樹. 日本語における修辞ユニットの方法と手順 ver.0.1.1一選択体系機能言語理論 (システミック理論）における談話分析一（修辞機能編）, 2010.

[5] 佐野大樹・小磯花絵. 現代日本語書き言葉における修辞ユニット分析の適用性の検証－「書き言葉らしさ・話し言葉らしさ」と脱文脈化言語・文脈化言語の関係 - . 機能言語学研究, Vol. 6, pp. 59-81, 2011.

[6] 田中弥生・佐尾ちとせ・宮城信. 児童作文の評価に向 けた脱文脈化観点からの検討. 言語処理学会第 27 回年次大会発表論文集, pp. 750-755, 2021.

[7] 田中弥生・浅原正幸・小磯花絵. 手順説明談話におけ る脱文脈化の諸相. 言語処理学会第 26 回年次大会発表論文集, pp. 720-723, 2020.

[8] 田中弥生・小磯花絵. 脱文脈化の観点からみる職場に おける取引先との談話の特徴. 言語資源活用ワーク ショップ発表論文集. 国立国語研究所, 2020.

[9] Mihoko Otake-Matsuura, Seiki Tokunaga, Kumi Watanabe, Masato S. Abe, Takuya Sekiguchi, Hikaru Sugimoto, Taishiro Kishimoto, and Takashi Kudo. Cognitive intervention through photo-integrated conversation moderated by robots (picmor) program: A randomized controlled trial. Frontiers in Robotics and AI, Vol. 8, p. 54, 2021.


# 文脈による危険度変化の予測のためのデータセット構築

勝又友輝 ${ }^{1}$ 竹下昌志 ${ }^{1}$ ジェプカ・ラファウ ${ }^{2}$ 荒木健治 ${ }^{2}$
1 北海道大学大学院情報科学院
2 北海道大学大学院情報科学研究院
katsumata.yuki.v3@elms.hokudai.ac.jp
\{takeshita.masashi,rzepka,araki\}@ist.hokudai.ac.jp

## 概要

人工知能にも我々人間と同じょうな道徳的判断が できるシステムが必要である．しかし，現状の人工知能は，状況や文脈に応じた道徳的判断は困難であ る. 例えば，「リング場でボクサーが人の顔を殴る」 より「居酒屋でボクサーが人の顔を殴る」方が危険 な行動であることを，人間は常識を持っているため 簡単に判断できるが，人工知能には難しい. 本研究 ではこの問題を解決するため，文脈によって変化す る人間の行動の危険度予測のためのデータセットを 構築する. 人手で動詞を元に人間の行動の文を作成 し，7 段階の危険度のアノテーションを行う．また，構築したデータセットを用いて，危険度予測の実験 も行う。

## 1 はじめに

近年，人工知能の発展により，Siri や Pepper など のコミュニケーションエイジェントが登場し，我々 の生活には人工知能が欠かせない存在となってきて いる. さらに，人工知能は履歴書の審査や融資の承認まで，様々な領域でますます権限を委ねられつつ ある。このような時代の変化に伴い，人工知能を有効に扱うためには，人間と同じょうに道徳的判断の できるシステムが必要である.

しかし，人工知能が道徳的判断をするにはまだ課題が多い. 物事に対する道徳的判断は状況や文脈に よって変動してしまう，人間は常識的な知識を持っ ているためこのような変化を捉えることができる が，人工知能はそのような常識を持っていない。そ のため，状況や文脈などが変わった時に，人間と同 じような判断をすることが難しい. 人工知能への道徳的判断システムの導入には，文脈に依存した判断 ができるようにすることが必要とされる．また，道徳的に正しいか否かという評価軸は不一致が起こり表 1 データセットの例, 危険度スコアは安全（1）から 危険（7）までの 7 段階とする

やすいという問題もある。人間でさえ意見が割れて しまうケースもあるため，人工知能が正しい判断を するのは困難である.

本研究では，これらの背景から，常識的な知識に よる部分が大きく評価が一意に決まりやすい，人間 の行動の危険度予測というタスクを提案する。この タスクでは，文脈が変化しても人工知能が人間と同等の危険度予測を行えることを目標とする。しか し，現状では，人間の行動の危険度を予測するため の日本語のデータセットは存在しない。そこで本研究では，本タスクのためのデータセットを構築し た.このデータセットは，表 1 のように人間の行動 の文とその行動の評価が 7 段階の危険度で構成され ている. 文脈が変化しても正しい判断を行えること を目指すため，動詞と主語は固定させ，動詞の目的語や文脈を追加する形で文を作成し，対象や状況が 変化しても人間と同等の危険度予測ができるかを確認できるようにする。また，構築したデータセット を用いて，人間の行動の危険度予測の実験も行う。

なお，本研究での危険の定義は，「文が表す状況 に登場する人物に，肉体的もしくは精神的に苦痛や 傷害を与える可能性があること」とする.

## 2 関連研究

近年，人工知能に常識的な知識を持たせる研究や 道徳的判断をさせる研究がさかんに行われている。

Maarten らは，常識的な推論に不可欠な推論知識 をまとめた ATOMIC というデータセットを構築し た [1]. ATOMIC は，「もしあるイベントが起こった ら何が起こるか」という推論関係の知識で構成さ
れている。例えば，“if $\mathrm{X}$ pays $\mathrm{Y}$ a compliment, then $\mathrm{Y}$ will likely return the compliment" といった知識であり, このような推論関係を 87 万件まとめており，この 種の知識グラフとしては最大のものである.

Rzepka らは，文脈を考慮した道徳的判断の研究を 行った [2]. この研究では, 日本語のコーパスで学習させた BERT モデル [3] を用いて「殴る」が文末 に来るような文を生成した. そして，その文の表す 行為が道徳的に許せるかどうかを人手で評価し，そ れを BERT が予測するという実験を行った。

しかし, Rzepka らの研究で生成されたデータセッ トには 3 つ問題がある. 第一に，日本語 BERT モデ ルを用いて「殴る」という一つの動詞から生成され た文は 50 文であり，データの量が不十分である.第二に, 日本語 BERT モデルを用いて生成する方法 では不自然な文が生成されることがある. 第三に，道徳的に正しいという評価軸は評価者の中で不一致 が起こりやすいという問題である.

本研究では，これらの問題の改善を目指し，道徳的判断という評価軸を改め，人間の行動の危険度予測というドメイン特化のタスクを提案する。また，現実的にあり得る人間の行動の文を得るため，クラ ウドソーシングを主に用いて，人間の行動の文を約 2 万文作成，危険度のアノテーションを行う．

## 3 データセット構築

本研究では，次の手順で，動詞を元に人間の行動 の文を作成，および 7 段階の危険度のアノテーショ ンを行う。

1. 関連研究から，危険な行動になり得る動詞のリ ストを作成する。(3.1節)

2. 高頻度な述語項構造から，それぞれの動詞の主語を決定する。(3.2 節)

3. 主語と述語の組み合わせを基に対象語を人手に て穴埋めしてもらい，危険である例，危険でな い例の文を作成する。（3.3 節）

4. 作成した文に，さらに文脈を付け加え，文の数 を増加させる．（3.4 節）

5. 作成した文が表す人間の行動を，人手にて 7 段階で危険である可能性が高いか評価する。 (3.5 節)

以降では，各手順の設定や方法について説明 する。

## 3.1 動詞の決定

まず，危険な行動，危険でない行動，どちらにも なり得ると考えられる動詞のリストを作成する. 動詞のリストの作成に当たって，2つのデータを基に する.

1 つ目は，Alshehri らによる研究 [4] で定めた，物理的な危害を示すために使われるアラビア語の動詞 のリストである. Alshehri らは，ソーシャルメディ アにおける危険な発言の理解と検出のために，発言が危険か否かのラベルがついたデータセットの 構築に取り組んだ。本研究では, Alshehri らがデー タセット構築のために作成した 56 個の動詞（例： “kill”，“hit”) のリストを翻訳して活用する.

また，2つ目は，日本語 Wikipediaエンティティベ クトル $[5]^{1)}$ の頻出動詞である. 日本語 Wikipedia エ ンティティベクトルとは，日本語版 Wikipedia の本文全文から学習した，単語，および Wikipedia で記事となっているエンティティの分散表現ベクトルで ある．また，頻出動詞の抽出には，日本語形態素解析システムである JUMAN[6] を使用する。

以上の 2 つのデータより，危険な行動，危険でな い行動，どちらにもなり得ると著者が判断した動詞 のみを抜粋し， 25 個の動詞のリストを作成する. 25 個のうち, Alshehri らの動詞のリストから 12 個，日本語 Wikipedia エンティティベクトルの頻出動詞か ら 13 個である. 作成した動詞のリストを表 2，3 に 表す.

表 3 日本語 Wikipedia エンティティベクトルの頻出動詞 のリストから抽出した動詞

## 3.2 主語の決定

次に，動詞のリストを基に，それぞれの動詞の主語を決定する．主語の決定には，京都大学格フレー ムを用いた [7]. 格フレームとは，用言とそれに関係する名詞を用言の各用法ごとに整理したものであ り，京都大学格フレームは，Webテキストから自動構築した大規模格フレームである。これには，先ほ

ど定めた 25 個の動詞のそれぞれの頻出主語が記さ れている。これを基に, 日本語 Wikipedia エンティ ティベクトルの人物を表す頻出名詞上位 50 件の中 から，それぞれの動詞の頻出主語上位 5 件を選択す る.ここで抽出対象を上位 50 件に絞った理由は主語の一般性を高めるためである。例えば，「カメラ マンが—をを切る」の対象語には「シャッター」や 「電源」などの危険でない単語が入りやすく, 危険 な自然文と危険でない自然文の両方を獲得するこ とは難しい，そこで，抽出対象を上位 50 件（例：「父」，「子供」）にすることで，このような問題の解決を試みる。

また、日本語 Wikipedia エンティティベクトルの 名詞から抽出する名詞が人物か否かを判別するため に，JUMANを用いる。

以上より，それぞれの動詞に対して 5 件の主語 を抽出した。例を挙げると，「殴る」という動詞は，「男」，「父」，「人」，「先生」，「女」という主語，「食べ る」という動詞は，「人」，「子供」「客」，「娘」，「自分」という主語となった。

## 3.3 対象語の穴埋め

主語と述語を基に，クラウドソーシングサービ ス2)を通じて， 18 人のアノテーター（詳細は付録 $\mathbf{A}$ に示す）に現実的にありうる人間の行動の文の作成 を依頼する．1 人あたり危険そうな例，危険ではな さそうな例をそれぞれ 125 文（動詞 25 個にそれぞ れの頻出主語 5 個），合計 250 文の作成を依頼する。例えば，「子供が—を吒く」という文を与え，危険 そうな例として「子供が友達の頬を吅く, 危険で はなさそうな例として「子供がタンバリンを印く」 といったような文を作成してもらう。

文作成依頼の際のルールは付録 B に載せる。結果，重複した例，ルールに合致しない例を除き， 3,165 文の人間の行動の文が作成された.

## 3.4 文の拡張

作成した 3,165 文を元に，対象語の穴埋めと同様 にクラウドソーシングサイトを通じて，文脈を増や し，現実的にありうる人間の行動の文の作成を依頼 する. 66 人のアノテーター（詳細は付録 $\mathbf{C}$ に示す） に 1 人あたり危険そうな例，危険ではなさそうな例 をそれぞれ 150 文ずつ，合計 300 文の作成を依頼す る. 文作成依頼の際のルールは付録 D に載せる。ア

2) https://crowdworks.jp/
ノテーションの結果，元の 3,165 文から 18,427 文が 作成され、元の文と合わせて合計 21,592 文となった.

## 3.5 危険度のアノテーション

最後に，作成した文が表す人間の行動に対して，危険度のアノテーションを行う，文作成の際とは異 なるアノテーターにより，7 段階で危険である可能性が高いか，安全である可能性が高いかのタグ付け を行う。作成した 21,592 文を 1 文につき 3 人ずつ,計 81 人のアノテーター（詳細は付録 $\mathbf{E}$ に示す）に，危険度のタグ付けを依頼する。また，アノテーショ ンのスコアは，図 1 ように安全（1）から危険（7） までの 7 段階とする.

図 1 危険度アノテーションの評価スコア

アノテーションを行った結果，付けられた危険度 スコアの分布は表 4 のようになった.

表 4 評価の分布. 評価の総数と文の総数（21,592 文）は 一致しないが，これは 1 文につき 3 人ずつ評価を行った ためである.

表 4 より，スコアが 3 または 4 である文が少ない という結果になった。これは，文作成の際に，危険 そうな例，危険ではなさそうな例という形で，文を 作成したため，どちらとも言えないような中間の値 が少なくなったと考えられる.

また，文ごとに評価の標準偏差を求め，評価者に よるばらつきがどれくらいかを確認する．文ごとに 標準偏差を左から降順に整列させたグラフを図 2 に 示す. 標準偏差の平均は 0.777 となった. 1 未満と いう結果となり，全体的に評価のばらつきは大きく なく評価者の中で不一致があまり起きていないこ とが確認できた. しかし，図 2 より，評価のばらつ きが大きいものも存在したため，標準偏差が 2 以上 のデータは信用できないデータとして除外した. 結果，標準偏差の平均は 0.692 となり，より信頼でき るデータとして予測実験に使用する人間の行動の 文とその行動の危険度の組み合わせは 20,453 件と なった.

図 2 文ごとに標準偏差を計算し，左から降順に整列させ たグラフ.

## 4 危険度予測の実験

機械学習による危険度予測実験の精度を検証す るため, LSTM, Bidirectional LSTM（以下，BiLSTM とする）, BERT の3つのモデルによる回帰分析 を行う. LSTM と BiLSTM のエンベディングには， One-hot 表現と日本語 Wikipedia エンティティベクト ルを使用する．BERT のモデルとしては，約 1,800 万文を含む日本語 Wikipedia コーパスで事前学習さ れた BERT-base モデル3)を用いる.

危険度スコアの正解値は 3 人の評価者の中央値,平均値，2つの場合で実験する. それぞれ構築し たデータセットを評価値ごとに層化抽出法を用い て8:1:1 に分割し, 学習データ, 開発データ, テス トデータとした.データセットの詳細は付録 F に 示す.

また，回帰分析の評価には，一般に広く用いられ ている 2 つの精度評価指標 4 ), 平均絶対誤差（Mean Absolute Error, 以下，MAE とする）と二乗平均平方根誤差 (Root Mean Squared Error, 以下，RMSE とす る）を用いる。

MAE とは，正解値と予測値との誤差の絶対値を 平均したものである. これは，データの数を $n$ ，正解値を $y$, 予測値を $f$ としたとき，式(1)のように 表せる.

$
M A E=\frac{1}{n} \sum_{i=1}^{n}\left|f_{i}-y_{i}\right|
$

次に，RMSE とは，正解値と予測値との誤差の二乗を平均して平方根をとったものである.これは， MAE より正解値と予測値との誤差が大きい例の影

響を受けやすいという特徴がある．式 (2) のように 表せる.

$
R M S E=\sqrt{\frac{1}{n} \sum_{i=1}^{n}\left(f_{i}-y_{i}\right)^{2}}
$

## 5 実験結果

表 5, 6, 7 に実験結果，例を示す.

表 5 危険度の正解値を評価の中央値にした場合の実験結果，最も高い精度を太字で示す.

表 6 危険度の正解値を評価の平均値にした場合の実験結果，最も高い精度を太字で示す.

表 7 危険度の正解値を評価の中央値にした場合の BERT の実験結果の例

表 5，6 より，全体では BERT が最も良い精度と なった. 表 7 の例では，文脈の違いによる危険度変化の正確な予測がされた。

## 6 おわりに

本研究では，文脈によって変化する人間の行動の 危険度予測のためのデータセットを構築した. 人間の行動の文とその行動の危険度の組み合わせが 20,453 件となった.また，機械学習を用いた回帰分析による予測を行った. 実験の結果，BERTを用い た予測が最も精度が高いことが明らかとなった。

今後は，予測の精度を上げるため，他のモデルと の比較検討を行う必要がある.

また，データセットについても，さらなる検討を すべきである．文が表す人間の行動から，連想され る状況や行動を踏まえた予測の検討も重要であると 考える。 ある行動を基に次に起きる事象を予測する ことは，文脈の考慮にも繋がり，予測の精度を上げ ることに貢献できると考えられる。 そのため，因果関係の知識やシナリオを追加して，データセットを 拡張することを今後検討していきたい。

## 謝辞

本研究は JSPS 科研費 17K00295 の助成を受けたも

のです.

## 参考文献

[1] Maarten Sap, Ronan Le Bras, Emily Allaway, Chandra Bhagavatula, Nicholas Lourie, Hannah Rashkin, Brendan Roof, Noah A. Smith, and Yejin Choi. Atomic: An atlas of machine commonsense for if-then reasoning. AAAI, 2019.

[2] Rafal Rzepka, Sho Takishita, and Kenji Araki. Bacteria lingualis on bertoids - concept expansion for cognitive architectures. Technical Report of JSAI Special Interest Group for Artificial General Intelligence, 2020.

[3] Devlin, Jacob, Chang, Ming-Wei, Lee, Kenton, Toutanova, and Kristina. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, 2019.

[4] Ali Alshehri, El Moatez Billah Nagoudi, and Muhammad Abdul-Mageed. Understanding and detecting dangerous speech in social media. Proceedings of the 4th Workshop on Open-Source Arabic Corpora and Processing Tools, 2020.

[5] 鈴木正敏, 松田耕史, 関根聡, 岡崎直観, 乾健太郎. Wikipedia 記事に対する拡張固有表現ラベルの多重付与. 言語処理学会第 22 回年次大会 (NLP2016), 2016.

[6] Hajime Morita, Daisuke Kawahara, and Sadao Kurohashi. Morphological analysis for unsegmented languages using recurrent neural network language model. Proceedings of EMNLP 2015: Conference on Empirical Methods in Natural Language Processing, 2015.

[7] 河原大輔, 黒橋禎夫. 黒橋禎夫：高性能計算環境を用 いた web からの大規模格フレーム構築. 情報処理学会 自然言語処理研究会, 2006 .

## A 3.3 節の対象語の穴埋めのアノ テーター情報 \\ 20 代から 60 代の男性 7 名，女性 11 名

## B 3.3 節の対象語の穴埋めのルール

・埋める部分は，物や人を問わず，実体のある もの（非抽象的対象）とし，また代名詞（例：「私」，「彼」，「彼女」）は使ってはいけない.

・修飾語十名詞の形」でも良い（例：「母親の 肩」，「腐ったみかん」，「污い水」)
- 「名詞句十に十名詞句」，「名詞句十から十名詞句」の形はできるだけ避け, 目的語が一つにな るようにする。

・主語と同じ意味のものを使ってはいけない. （例：「女性が【女】を殴る」）

## C 3.4 節の文拡張のアノテーター

## 情報

20 代から 60 代の男性 21 名，女性 45 名

## D 3.4 節の対象語の穴埋めのルール

・元の文と全く同じ文は書いてはいけない.
- 元の文の単語は変えずに，文脈を増やして文を 作成する.

・文の終わりに文脈を増やしてはいけない

・危険そうな例，危険ではなさそうな例のどちら かが，どうしても思いつかない場合は空欄に する.

## E 3.5 節の危険度評価のアノテー ター情報 \\ 20 代から 60 代の男性 38 名，女性 43 名

## F 実験に用いたデータセットの詳細

表 8 評価の中央值の分布

表 9 評価の平均値の分布


# 旭川市における方言の消失

野村綾応 ${ }^{1}$ 西口純代 ${ }^{2}$
1 小樽商科大学 商学部経済学科 ${ }^{2}$ 小樽商科大学 言語センター
ao1008mukku1231@icloud.com nishiguchi@res. otaru-uc. ac. jp

## 概要

近年、インターネットやソーシャルネットワーク サービスの普及により日本語の標準化が進んでいる。 そして、この時代の変化は新語の導入などによる日本語の変化と共に、方言の多くを死語に変化させて いる。そこで、本稿は実際のアンケートをもとに、旭川市における死語へ変化する規則性と今後死語に なりうる可能性の高い語句を検討した。アンケート の結果、(1) 死語になるには祖父母が使わなくなった 方言は使うことがない (2) 今後死語になりうる可能性のある方言は、「おばんです」「じょっぴんかる」

「なまら」「こわい」であることを提唱する。

## 1 方言と北海道

## 1.1 方言の定義

オンライン『意味解説辞典』によれば、教科書な どに記載してある文字や新聞、ニュースなどで話さ れている言語は「標準語」であり、その国の標準と して認められた公的な場面で使われている言語のこ とを指し、日本は現在東京の言葉が「標準語」の基 となっている。それに対し、「方言」とはある地方 だけに使われている言語のことを指す。例えば、「さ びお」、「うるかす」などがある。また、標準語と 違う訛りのある言葉も方言と呼び、方言はその地域 だけの言葉で、いくつかの地域によって区分され、 それぞれの方言の特徵が異なっている。

## 1.2 北海道の歴史

北海道はかつて蝦夷地とよばれており、13 世紀頃から本州の江戸時代にかけてはアイヌ民族独自の

文明があった。しかし、箱館戦争が終わると新政府 は蝦夷地を北海道と任命し、開拓史を設置した。明治 7 年に屯田兵制度を設け、本州より多くの人が押 し寄せたため、北海道には本州の文化や言語が持ち 込まれた。その中でも東北地方の方が多く、他にも 北陸、関西地方がありかなりの影響を受けた。その 証として、広島県の人々が北海道に移り渡り北広島 を作り、奈良県の十津川村の人々が新十津川村を作 るなど北海道には多くの人が移り住んだことから、多くの言語や方言が持ち込まれたことが分かる。 ii

## 1.3 北海道における標準語化

九州の 2 倍の敷地面積を誇る北海道は地域ごとに 方言が違う。例えば、内陸の部の旭川や札幌では標準語に近い言葉が話されており、函館などの沿岸部 などでは津軽弁や東北の方言が話されている。これ は、札幌や旭川などの内陸部では沿岸部から多くの 人が集まってきたため、独自の方言ではコミュニケ ーションが取れず、必然的に共通語になったと考え られる。

## 1.3 旭川市を研究対象地域にした理由

前記の通り旭川市は北海道の中でも標準語化が進 んだ都市であるため、方言がどのように世代間で推移したか考察できると判断したためある。筆者の野村が旭川市生まれであるため、研究しやすくアンケ ートも取りやすいと考えたためでもある。

北広島市 - Wikipedia（最終閲覧日 2022 年 1 月 12 日）新十津川町 | 札幌開発建設部（mlit. go.jp）（最終閲覧日 1 月 12 日）

## 2 検証と考察

## 2. 1 家族間（旭川市在住）における方言の

## 消失

言語の習得は両親や祖父母に影響されることが

表 1 アンケート結果 方言の推移

これは渡瀬昌彦『方言の地図帳』をもとに作成した ものであり、選んだ方言は無作為である。一番左の 列が標準語であり、左から 2 列目が旭川に住む明治生まれ話者が使っていた言葉、3列目は野村の祖父、 4 列目は野村の父、 5 列目は野村自身が用いる言葉 である。まずは上から 3 行目の「しあさって」と 10 行目の「じゃがいも」に注目してもらいたい。明治生まれ話者は「しあさって」を「やなあさって」と 話すが、野村の祖父は「しあさって」と話しており、明治から昭和初期にかけて変化している。また、「じ やがいも」も同様に変化している。そして、一度標準語に変化したものは平成生まれの野村まで続いて いる。そもそも野村はこの研究をするまで「じゃが いも」と「しあさって」に方言があったことすら知 らなかった。このことから方言が祖父母などの 2 世多い。そこで世代間でどういった言葉の変遷がある のか確かめることにした。表 1 がアンケートの結果 である。
表 2 旭川出身者 8 名のアンケート結果表 2.1 インフォーマント 1

表 2.2 インフォーマント 2

表 3.3 インフォーマント 3

表 4.4 インフォーマント 4

表 5.5 インフォーマント 5

表 6.6 インフォーマント 6

表 2.7 インフォーマント 7

表 2.8 インフォーマント 8

アンケートを行っていくうえで、死語になる可能性 があるものをあるルールをもとにまとめた。上記よ り 2 世代前が方言を話さないと今後死語になる可能性が高いとして、対象者とその両親、2世代にわた って使われない方言は次世代において死語になる可能性が高いとして青く記し、対象者のみが使わなく

なった方言は 2 世代後に死語になる可能性があると して橙色に記し、どの世代も使っていないものは死語と記した。このアンケートより「疲れた」を意味 する「こわい」、「とても」を意味する「なま ら」、「こんばんは」を意味する「おばんです」、鍵をかけることを意味する「じょっぴんかる」はみ な青色、橙色もしくはすでに使っておらず死語にな っていることが分かった。

## 3 今後の展望

今回、旭川市において「なまら」、「こわい」、「おばんです」、「じょっぴんかる」の４つの言葉 が死語になる可能性が高いと考えたが、「なまら」 は全国的に周知されているし、近年方言を守ろうと するすばらしい活動が多く進められており、また SNS の普及により珍しい言葉を使えばすぐに世に出回るので簡単に死語になると断定はできない。その ため今後はより長期的なスパンでの調查が必要であ る。

## 参考文献

1. 渡瀬昌彦（2019）『方言の地図帳』、講談社、東京.

2. 高知大学教育学部方言学研究室「日本語方言に ついて解説一方言楽の館」（最終閲覧日 2021 年 11 月 22 日）

http://ww4. tiki.ne. jp/ rrockcat/kougi01.htm1


# 決算短信からの業績要因文の抽出に向けた 業績発表記事からの訓練データの生成

大村和正 ${ }^{1}$ 白井 穂乃 ${ }^{2}$ 石原 祥太郎 ${ }^{2}$ 澤 紀彦 2
1 京都大学大学院情報学研究科 2 株式会社日本経済新聞社
omura@nlp.ist.i.kyoto-u.ac.jp
\{hono.shirai, shotaro.ishihara, norihiko.sawa\}@nex.nikkei.com

## 概要

決算短信からの業績要因文の抽出には一定の需要 があり，業績に関わる要因が記述された文を高精度 に抽出することができれば投資支援として非常に有用である。本稿では，業績発表記事から単純なルー ルで訓練データを生成し, 決算短信からの業績要因文の抽出に向けた深層学習モデルを構築する。提案手法はデータ構築が容易であるという特徴を持ち，再現率の高い抽出モデルが構築されることを示す.

## 1 はじめに

ウェブの普及に伴って日々膨大な情報が電子デー タとして蓄積されるようになり, 各々の需要に合わ せて必要な情報を抽出する技術はますます重要に なっている $[1,2]$. このような場面の一例として，決算短信からの業績要因文の抽出 $[3,4]$ がある.

決算短信とは，上場企業が決算発表を行う際に開示する，当期の業績等をまとめた書類である. 投資家は決算短信に記載された情報から企業の動向を推測し投資行動の参考にするため，決算短信は極めて 重要な情報源である。一方で，決算発表が義務付け られている上場企業の数は約 4,000 企業にのぼり， その多くは年に 4 回決算発表を行うため，これらの 決算短信を把握するには多大な労力を要する．企業 の動向の判断材料となる，業績に関わる要因が記述 された文を自動抽出することができれば，負荷軽減 および即時性の観点から投資家への支援として非常 に有用であると考えられる。

本研究では，中山らの定義 [5] を参考に，決算短信に含まれる文を以下のように分類定義する.

業績文 当期の業績変化のみを述べた文

要因文 文内で当期の業績変化と明示的に関連付け られていないが，要因であると判断される文表 1 ある企業の決算短信と業績発表記事の例 (決算短信 は定性的情報から，業績発表記事は冒頭 1 段落を拔粋).

<企業名>が 28 日発表した 2020 年 9 11 月期の連結決算 は，純利益が前年同期比 3.6 倍の 110 億円だった. 9〜 11 月期として過去最高となる。気温低下で秋冬物の販売が 好調だったほか，值下げの抑制で粗利が改善した. 新型 コロナウイルス禍を受けた巣ごもり消費で, 部屋着やイ ンテリア商品などの需要も堅調だった。

業績要因文 文内で当期の業績変化とその要因が述 べられた文

その他 注記など，上記のいずれにも該当しない文. この中で，業績要因文および要因文の抽出を目的と する．例えば，表 1 上段の一文目は「売上が大幅に 増加」という業績変化とその要因が文内で関連付け て述べられているため，業績要因文である。

本稿では，決算短信からの業績要因文の抽出に向 けて，業績発表記事から深層学習モデルの訓練デー タを生成する手法を提案する。業績発表記事とは，決算発表後に第三者 (記者) によって作成される決算短信の要約記事である．表 1 下段のように，業績発表記事には当期の業績と記者が重要だと判断した 業績要因が簡潔に記述されており，要因の分類基準 の学習に適している。また，重要文を学習できるた め，業績発表記事を模した決算サマリー1)の自動生成への応用を視野に入れることができる。

提案手法では，業績発表記事から定性的な文を単純なルールで判別し，これを要因文として学習す る. データ生成を工夫することで，再現率の高い抽出モデルが構築されることを実験的に示す.

## 2 関連研究

酒井らは，手がかり表現と企業キーワードによる 業績要因文の抽出手法を提案した $[6,4]$. 手がかり 表現は「好調でした」のような，業績要因となる状態や変化を表す用言的な表現と定義され，業績発表記事または決算短信から以下の手順で獲得する。

1. 少数の手がかり表現を人手で与え，その手がか り表現に係る文節を取得する。

2. 取得した文節のうち，様々な手がかり表現に 一様に係るものを抽出する (共通頻出表現と 呼ぶ)。

3. 共通頻出表現が係る文節を取得し，その中で 様々な共通頻出表現が一様に係るものを新たな 手がかり表現として獲得する.

4. 上記の操作を一定回数繰り返す.

例えば，2 で係り先の一様性を測る時は，共通頻出表現の候補 $f$ が手がかり表現 $c$ に係る確率 $P(f, c)$ に もとづくエントロピー $H(f)$ を用いる。これらは次の ように計算される.

$
\begin{aligned}
P(f, c) & =\frac{\#(f, c)}{\sum_{c^{\prime} \in C} \#\left(f, c^{\prime}\right)} \\
H(f) & =\sum_{c^{\prime} \in C}-P\left(f, c^{\prime}\right) \log _{2} P\left(f, c^{\prime}\right)
\end{aligned}
$

ただし, $\#(f, c)$ は $f$ が $c$ に係る回数, $C$ は手がかり表現の集合であり，係り先が一様であるほど $H(f)$ が高 くなる.3でも同様に係り元の一様性を測る.

企業キーワードは商品名や部門名など，各企業に とって重要な名詞句を指す. ある企業 $t$ の決算短信集合 $S(t)$ における名詞句 $n$ の重要度 $W(n, S(t))$ を次の ように定義し，これをもとに自動獲得する。

$
W(n, S(t))=t f(n, S(t)) \times \log _{2} \frac{N}{d f(n)} \times H(n, S(t))
$

ただし， $t f(n, S(t))$ は $S(t)$ における $n$ の頻度，df(n) は $n$ を含む決算短信がある企業数， $N$ は収集した決算短信の企業数, $H(n, S(t))$ は $S(t)$ における $n$ の出現確率にもとづくエントロピーである． $S(t)$ を 1 つの文書とみなした時の tf-idf が大きく, $S(t)$ の中で満遍な く現れる単語ほど重要度が高くなる。

業績要因文の抽出時は，手がかり表現を含み，そ の係り元に企業キーワードを含む文を抽出する. マッチングベースの手法であり，再現率が低いとい う問題が指摘されている [7].

中山らは，業績要因文を定義し，酒井らの手法を 発展させて文間の結束性を考慮する業績要因文の抽表 2 評価データの統計.

出手法を提案した [5]. 文間の談話関係や語の重複 を手がかりに抽出結果を更新することで，精度を改善している。

酒井らは，前述の手法を深層学習モデルの訓練 データの自動生成に応用することで，より再現率の 高い業績要因文の抽出手法を提案した [7]. 決算短信から確信度の高い業績要因文の候補を抽出し, こ れを訓練データとして利用するため，適合率を落と さず再現率を向上させている．本稿では，業績発表記事から分類基準を学習することを目的としてお り，この点で若干異なる。

## 3 提案手法

提案手法では，業績発表記事から定性的な文を 「要因文」，定量的な文を「業績文」として抽出する ことで訓練データを自動生成する，定性的であるか 否かは文中に数字を含むか否かという単純なルー ルで判別する．具体的には以下のような手順で訓練 データを自動生成する.

1. 業績発表記事を文単位に分割し，各文に対し て，数字を含む文を「業績文」，含まない文を 「要因文」と自動でラベル付けする。

2. 冒頭 1 段落に含まれる業績文と要因文を適当な 接続語2)でつなぐことで疑似的な業績要因文を 生成する.

2 について，表 1 下段の例から「気温低下で秋冬物 の販売が好調だったほか，值下げの抑制で粗利が改善したことにより<企業名>が 28 日発表した 2020 年 9〜11 月期の連結決算は，純利益が前年同期比 3.6 倍の 110 億円だった.」といった文が生成される.

## 4 実験

## 4.1 データ構築

業績発表記事の取得 手がかり表現の獲得および 深層学習モデルの訓練に利用する業績発表記事は,

表 3 訓練データの統計.

株式会社日本経済新聞社が提供するニュース配信 サービス「日経電子版 $」^{3}$ から取得した. 具体的に は，2016年 1 月 1 日から 2020 年 12 月 31 日までの 5 年間を対象とし，メタデータのトピック情報に「企業決算」ラベルが付与されているものを取得した.取得された記事の総数は 3,322 件, 総文数は 43,893 文， 1 文あたりの平均文字数は 39.8 文字であった.

決算短信の取得 企業キーワードの抽出および各手法の評価に利用する決算短信は，公開されている 決算短信から抽出したテキストを保存している内製 のデータベースから取得した. 業績発表記事の取得時と同様に 2016 年 1 月 1 日から 2020 年 12 月 31 日 までの 5 年間を対象とした. 取得されたデータのう ち，タイトルに「決算短信」の文字列を含まないも のや本文が 6,000 文字未満4) のものなどを除き，最終的に 6,067 件の決算短信を獲得した.

獲得された決算短信のテキストデータには表を無理矢理テキスト化した乱雑な文字列を含むため，酒井らの手法 [4] を参考に次のようなクレンジングを 行った.

1. テキストを句点「。」で分割する.

2. 分割された文字列のうち，350 字以下のものを 文として抽出する。
3. 350 字より多いものは全角スペースまたは下駄 (E) で分割し，分割された末尾の文字列が 350 字以下であれば，それを文として抽出する。

評価データの作成 獲得した決算短信から開発用 に 5 件，テスト用に 20 件を無作為に抽出し, ${ }^{5}$ ) 各文 に対して「業績要因文または要因文である」か否か のアノテーションを行った. この評価は著者らが人手で行い，3 人以上の合意があったものを正例とし た. 評価結果を表 2 に示す.

## 4.2 実装の詳細

決算短信には次期の業績予想や注記など，当期の 業績に関する定性的情報と無関係な文が数多く含ま

れる.このような文を事前に除外するために，各文 に次のようなルールを適用した。

1. 文末の節が過去形でない文は「業績要因文また は要因文でない」

2.「努めました」「はかりました」「まいりました」 のいずれかで終わる文は「業績要因文または要因文でない」

3.「店舗数」の文字列を含む文は「業績要因文ま たは要因文である」

これらのルールでラベル付けできなかった文に対

し，ルールのみ・ベースライン・提案手法の 3 つの 設定でラベルを予測した. 精度は自動でラベル付け された文を含めて算出した。

ルールのみ 上記のルールを満たさない文は全て 「業績要因文または要因文である」とする。ルール そのものの影響を定量的に測るために行う。

ベースライン 本実験では，手がかり表現と企業 キーワードによる業績要因文の抽出手法 $[6,4]$ を ベースラインとした. 2 節の手順に従って，業績発表記事 3,322 件から手がかり表現を，決算短信 6,067 件から企業キーワードを獲得した. 文節および係り 受けの解析には $\mathrm{KNP}[8]^{6)}$ を利用した. 使用した手が かり表現の数は 202 個であった.

手がかり表現は「好調だった」のように付属語を 含みうるため，常体の文章 (業績発表記事) から獲得 した手がかり表現を敬体の文章 (決算短信) とのパ ターンマッチにそのまま用いるのは適切でないと 考えられる。そのため，JUMAN 辞書の代表表記 [9] を用いて手がかり表現を正規化した際の精度も検証 した.

提案手法 3 節の手法を適用し, 深層学習モ デルの訓練データを構築した. 文分割は pythontextformatting ライブラリ7)を利用した. 訓練データ の統計を表 3 に示す.

素朴にこの訓練データを用いると，数字を手がか りとするモデルが構築されてしまうと考えられる. これに対処するため，業績文に含まれる数字を空文字列に置換して [10] 訓練した時の精度も検証した。

業績要因文の分類モデルとして BERT[11]を用い た. BERT の事前学習モデルは, 日本語 Wikipedia で事前学習した NICT BERT 日本語 Pre-trained モデ ル8)を利用した. fine-tuning は Devlin らが提案した

表 4 テストデータに対する実験結果. 提案手法については, 異なる 3 つのシード値で fine-tuning した結果の平均と標準偏差を記載している。

表 5 開発データに対する BERT モデルの誤分類例。「業績要因文または要因文である」ことを「正」，そうでないことを 「負」と表現した．また，著者らが要因と判断した部分を太字で表示している。

 \\

単文分類の設定 [11] で行い，要因文および擬似的な 業績要因文を正例，業績文を負例とする２値分類を 学習した。ハイパーパラメータの詳細は付録 A. 2 に 記載した. 開発データに対する精度をエポックごと に調べ， $\mathrm{F}$ 值が最も高かった時のパラメータでテス トデータに対する精度を検証した。

## 4.3 実験結果

テストデータに対する実験結果を表 4 に示す. ベースライン手法は，正規化した手がかり表現を用 いることで適合率・再現率ともに向上している.こ れは，文体のミスマッチにより抽出できない業績要因文が数多く存在する一方で，業績発表記事の情報 が決算短信からの業績要因文の抽出にある程度有用 であることを示している.

提案手法は，擬似的な業績要因文を訓練データに 加えることで再現率が大きく向上している. 業績発表記事では業績とその要因が別々の文に分けて記述 されることが多いため, 決算短信に特徴的な「文内 で要因を述べてから業績を述べる」パターンが擬似的な業績要因文によって学習されたと考えられる.

また，数字を空文字に置換するデバイアシングの 有無に着目すると，これによって適合率が多少向上
していることが分かる．数字以外に着目させること で，定量的な文と定性的な文がより判別できるよう になったと考えられる。

## 4.4 定性的分析

開発データの分類結果をもとに提案手法のモデル が誤分類する文の傾向を分析した．誤分類の例を表 5 に示す.

・国家的もしくは世界的な経済状況を述べた文

・定性的ではあるが，取り組みとして弱いために 要因文と評価されなかった文

・定量的な表現を多く含む文 が誤分類される傾向にあった。

## 5 おわりに

本稿では，業績発表記事から訓練データを生成 し，決算短信から業績に関わる要因が記述された文 を抽出する深層学習モデルの構築に取り組んだ，今後の課題としては, データ構築手法の改善や評価 データの拡張，決算短信を訓練データに利用した場合との比較などが挙げられる。また，抽出精度の改善と並行して，極性の予測や決算短信を要約した決算記事の生成手法も検討したい。

## 参考文献

[1] Susumu Akamine, Daisuke Kawahara, Yoshikiyo Kato, Tetsuji Nakagawa, Kentaro Inui, Sadao Kurohashi, and Yutaka Kidawara. WISDOM: A Web Information Credibility Analysis Systematic. In Proceedings of the ACL-IJCNLP 2009 Software Demonstrations, pp. 1-4, Suntec, Singapore, August 2009. Association for Computational Linguistics.

[2] Junta Mizuno, Masahiro Tanaka, Kiyonori Ohtake, JongHoon Oh, Julien Kloetzer, Chikara Hashimoto, and Kentaro Torisawa. WISDOM X, DISAANA and D-SUMM: Large-scale NLP Systems for Analyzing Textual Big Data. In Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics: System Demonstrations, pp. 263-267, Osaka, Japan, December 2016. The COLING 2016 Organizing Committee.

[3] 西沢裕子, 酒井浩之. 企業の決算短信 pdf からの業績要因の自動抽出. 電子情報通信学会技術研究報告 $=$ IEICE technical report : 信学技報, 2013.

[4] 酒井浩之, 西沢裕子, 松並祥吾, 坂地泰紀. 企業の決算短信 pdf からの業績要因の抽出. 人工知能学会論文誌, Vol. 30, No. 1, pp. 172-182, 2015.

[5] 中山祐輝, 津々見誠, 村上浩司. 文間の結束性に基づ く決算短信における業績要因文の抽出. 言語処理学会第 25 回年次大会, 2019.

[6] Hiroyuki Sakai and Shigeru Masuyama. Cause Information Extraction from Financial Articles Concerning Business Performance. IEICE Transactions on Information and Systems, No. 4, pp. 959-968, 2008.

[7] 酒井浩之, 松下和暉, 北島良三. 学習データの自動生成による決算短信からの業績要因文の抽出. 知能と 情報, Vol. 31, No. 2, pp. 653-661, 2019.

[8] Sadao Kurohashi and Makoto Nagao. A Syntactic Analysis Method of Long Japanese Sentences Based on the Detection of Conjunctive Structures. Computational Linguistics, Vol. 20, No. 4, pp. 507-534, 1994.

[9] 黒橋禎夫. 言語のセマンティックス. 人工知能, No. 6, pp. 718-723, 2006.

[10] Brendan Kennedy, Xisen Jin, Aida Mostafazadeh Davani, Morteza Dehghani, and Xiang Ren. Contextualizing Hate Speech Classifiers with Post-hoc Explanation. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, July 2020.

[11] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), 2019.

## A 実装の詳細の補足

## A. 1 ベースライン

手がかり表現のシードは酒井らの手法 $[6,4]$ にな らい，「が好調」と「が不振」の2つを利用した.ま た，手がかり表現は用言の節，共通頻出表現は体言 の節に限定し，数字を含むものは除外した. 共通頻出表現および手がかり表現の獲得に関するエントロ ピーの閾值のパラメータ $\alpha, \beta$ は $\{0.5,0.625,0.75\}$ の 3 通りを試し，最終的に 0.625 に設定した.また，2節 で述べたステップ 1～3 は 3 回繰り返した. 獲得さ れた手がかり表現の例を表 6 に示す。

表 6 手がかり表現の獲得例. 括弧内は Juman 辞書の代表表記 [9]を表す.

改善した (改善/かいぜん)

伸ばした (伸ばす/のばす)

堅調だった (堅調だルけんちょうだ)

拡大し (拡大/かくだい)

増えている (増える/ふえる)

苦戦した (苦戦くくせん)

伸び悩んだ (伸び悩む/のびなやむ)

悪化した (悪化/あっか)

減少し (減少/げんしょう)

低迷している (低迷/ていめい)

## A. 2 提案手法

ハイパーパラメータの詳細は表 7 のとおりであ る. 業績発表記事に対して過学習すると, 決算短信 に対する抽出精度が悪化すると考えられるため，学習率を一般的な値より低く設定している。

表 7 パイパーパラメータの詳細.

 \\


# 生化学分野のフルペーパーを対象としたリンキングと索引付け

辻村有輝 井田龍希 三輪誠 佐々木裕
豊田工業大学
\{sd18602,sd18006, makoto-miwa, yutaka.sasaki\}@toyota-ti.ac.jp

## 概要

2021 年 8 月に開催された BioCreative VII Track 2 に 参加した. Track 2 は論文全体からの固有表現抽出, リンキング，Indexing の3つのタスクから構成され，各タスクごとにニューラルモデルと，TF-IDF ベー スの Indexing モデルを構築して臨んだ. リンキング では省略形の解決により性能向上が確認された.ま た，構築したニューラル Indexing モデルは TF-IDF ベースのモデルに比べエラー伝播に弱く，パイプラ イン設定では TF-IDF ベースのモデルより低い識別性能となることが分かった.

## 1 はじめに

医学・生化学分野の大規模文献検索システムであ る PubMed [1] において，最もよく検索に使用され るのが化学用語である. 文献中の化学用語を自動抽出し，主要トピックを見つけて索引付けできるよう になれば，検索システムの利用者にとって大きな助 けとなり，また後続の言語処理システムにおける有用な情報となる。BioCreative VII Track 2 [2] はより 高性能な化学用語の抽出・索引付けアルゴリズムの 研究を目的としたコンペティション形式のワーク ショップトラックであり，参加者はアノテーション 付与された 150 件の論文全体からのエンティティ 抽出，リンキング，および Indexing タスクに取り組 む. 本稿では，BioCreative VII Track 2 における参加結果と，そこで使用したモデルについて述べる。な お，本稿の内容は BioCreative VII workshop にて報告 した結果 [3] を日本語で再構成したものである.

## 2 関連研究

## 2.1 BioCreative VII Track 2

BioCreative VII workshop [4] は生化学分野を対象と した種々の情報抽出タスクを扱うコンペティション 形式のワークショップである. 対象テーマ別に 5 つ
のトラックに分かれており，特に Track 2 [2] では生化学分野の論文全体からの固有表現抽出，リンキン グおよび Indexing を扱う.

## 2.1.1 固有表現抽出

固有表現抽出は，文献中に出現するエンティティ を抽出する問題である。本トラックで扱うエンティ ティは生化学用語である. 本トラックのユニークな 点として，抽出対象が論文全体であることが挙げら れ，図表のキャプションなどに登場するエンティ ティも抽出対象となる。論文はセクションやキャプ ションといった区切りに分割され，出現するエン ティティのスパンがタグ付けされている. 本トラッ クでは各エンティティは必ず連続した 1 つのスパン のみで構成される. 公式の評価指標はエンティティ スパンに対する $\mathrm{F}$ 値である。

## 2.1.2 リンキング

リンキングは文書中に出現するエンティティと データベースに登録されたエントリーの対応をと るタスクである．本トラックでは抽出された生化学用語それぞれに対し MeSH シソーラス [5] 全体から 対応する概念を割り当てる. MeSH シソーラスには 2021 年 8 月当時で 348,240 件の概念が登録されてい る. また，本トラックでは一つのエンティティ表層 が複数の概念の組み合わせとなりうるマルチラベル 分類の設定になっている．該当する概念が存在しな い場合があり，その場合は一致なしを表すラベルを 付与する．公式の評価指標は $\mathrm{F}$ 値であるが，正解数等はエンティティ表層単位ではなく，論文単位でま とめたユニーク概念集合に対して計測される.

## 2.1.3 Indexing

Indexing は文献に対する索引となる特に重要な話題を抽出するタスクである．本トラックでは各論文 ごとに索引となる MeSH シソーラスの概念クラス 集合を予測する形で行う，正解概念は，論文中で直
表 1 BioCreative VII Track 2 Indexing タスクの訓練コーパ スにおける各条件での正解クラスの網羅数

接出現したエンティティのほか，そのエンティティ をより一般化した上位概念となることもある。訓練 コーパスにおける，各区分に分けた時の正解クラ スの網羅数を表 1 に示す.ここで親子関係は MeSH Tree 構造における上位下位関係である。表のとお り，多くの正解クラスは論文中に直接出現し，また 直接出現した概念クラスの親クラスを含めること で，全正解クラスの約 $94 \%$ 網羅できる. 公式の評価指標は $\mathrm{F}$ 値である。

## 2.2 二段階学習を用いたニューラルリンキ ングモデル

我々は医療文書におけるリンキングを扱った N2C2 2019 workshop において，リンキングを分類問題として解くニューラルネットワークベースのリ ンキングモデルを構築した [6]. 入力はリンキング 対象のエンティティ表層であり，大規模事前学習済 み言語モデルである SciBERT [7]を用いて入力エン ティティをベクトル表現へエンコードする. このエ ンティティ表現と各概念の埋め込みベクトルのコ サイン類似度をとることで類似度スコアを計算し，温度付きソフトマックス関数を適用することで，各概念の予測確率を得る. 確率が最大となった概念ク ラスをモデルの最終的な予測として採用する．学習 は, 訓練コーパスに加えて, データベースの登録名 を用いて作成した追加の訓練事例により行う。これ により訓練コーパスに出現しない概念クラスにつ いても学習できるようにする. モデルの学習では, データベースからの訓練事例にのみ出現する概念ク ラスの訓練正解率が向上しないアンダーフィット の問題が発生する.このため，正解率が向上しなく なった段階で，出力層の重みをエンティティ表現か ら得た疑似的な収束值に上書きし, その後さらに追加の学習を行うことでこの問題に対処する.

## 3 提案手法

我々は BioCreative VII Track 2 の各タスクに対し， それぞれニューラルネットワークベースのモデル を構築し取り組んだ。また，Indexing に関しては
TF-IDFベースの手法も構築した.

## 3.1 固有表現抽出

固有表現抽出は, BILOU (Beginning, Inside, Last, Outside, Unit) スキーマによるエンティティ位置の系列ラベリング問題として解いた. 使用したモデルは SciBERT ベースのモデルで, 入力はサブワード分割 されたセクション一つであり, 出力は各サブワード の BILOU タグである. 入力を SciBERT でエンコー ドし, SciBERT の最終層の表現ベクトルを全結合層 による出力層への入力として, この出力にソフト マックス関数を適用することで，BILOU タグの確率分布を得る. 出力層の入力ベクトルにはドロップ率 $20 \%$ のドロップアウトを適用する．学習アルゴリズ ムには Adam を使用する。1 セクションに含まれる サブワード数が SciBERT の最大入力系列長を超え る場合，ストライド幅 128 で最大系列長に収まるよ うに分割する. デコード時には Viterbi アルゴリズ ムを使用し確率が最大となるタグ系列を選ぶ.

## 3.2 リンキング

リンキングでは先行研究 [6] のモデルをベースラ インとして使用した. 元々の訓練コーパスに加え, MeSH シソーラス上の全概念の各登録名について,対応する概念クラスを正解とする訓練事例を作成し 訓練に用いた。また，BC5CDR データセット [8] の 訓練，開発，テストセット全ても訓練事例として追加して利用した。省略形は Ab3P [9] によりあらかじ め正規化し，入力に用いた.

## 3.3 Indexing

Indexing タスクにおいては，TF-IDFベースのモデ ルと, ニューラルネットワークベースのモデルを構築した. どちらのモデルも候補とする概念クラスに 対して，それが索引対象かどうかを二値分類する形 で予測を行う. 候補クラスは論文中に出現した概念 クラスと, その概念の MeSH Tree 構造における親概念の集合である.

## 3.3.1 TF-IDF モデル

このモデルは, 各概念クラスの TF-IDF の值に対 して，設定した間値を超えるかどうかで索引対象 となるかどうかを判断する. TF-IDF の值は各論文中の出現したエンティティ表層の数から計算する.親概念の出現回数は, 子概念の出現回数の合計で

図1 ニューラル Indexing モデルの概観.

あり，親概念自身も直接出現する場合はそれも合算する. 親概念としての出現回数から計算された TF-IDF と, 直接の出現数のみから計算した (子概念 としての）TF-IDFでは，それぞれ別の閾値を使って 索引対象の識別を行う. 親概念が直接出現する場合 は，両種の閾値判定を行い，いずれかでも閾値を超 えた場合は索引対象とする. 閾値は $\mathrm{F}$ 值が最大とな るようにチューニングする.

## 3.3.2 ニューラル Indexing モデル

図 1 に提案するIndexing モデルの概観を示す. 初 めに，論文中に直接出現する各概念とその親概念ク ラスごとに言及集合をまとめ，各概念のバッグを作成する。親概念クラスのバッグは，その概念の子概念の言及と，直接の出現がある場合はそれらを加え た集合となる. 各言及はサブワードに分割し, 前後 4 サブワードまでの文脈を付け加える. エンティ ティの表層と文脈の間には，特殊トークン $[\mathrm{BOM}]$, [EOM] を挿入しスパンの境界を表す. エンティティ の表層が 9 サブワードを超える場合，これに収まる ように中央のトークンを特殊トークン [SHORT] で 置き換える (例: 図 1 中段の言及)．また，言及が バッグにおける子概念のものである場合，それを表 す特殊トークン [CSEP] と，バッグの概念に対応す る辞書登録名を付け加える (例：図 1 最下段の言及)。以上の工程で作成した言及バッグをモデルの入力 とし, そのバッグに対応する概念クラスが索引対象 かどうかの二値分類によって Indexingを行う.

モデルは各言及を SciBERTによりエンコードし， その最終層の表現ベクトルに対してトークンレベル のアテンション機構を適用することで言及表現を得 る.これらにさらに言及レベルのアテンション機構 を適用してバッグ表現を計算し, 全結合層とシグモ イド活性化関数によって索引対象である確率值を得表 2 固有表現抽出の結果.

る. アテンション機構にはマルチヘッドアテンショ ン [10]を用いた. 損失関数には負の対数尤度を使 い，最適化アルゴリズムには Adamを採用した.

## 4 実験

## 4.1 実験設定

BioCreative VII Track 2 で提供される訓練コーパス 150 論文のうち，120 論文を訓練セット，30 論文を 開発セットとして分割し, 開発セットにおける各評価指標が最大になるようにチューニングを行った. チューニングには Optuna [11]を使用した. テスト 用のモデルの学習には 150 論文全てを訓練データと して使用し，固有表現抽出，リンキング，Indexing の順にパイプラインで予測を行った. テスト用のリ ンキングモデル, Indexing モデルの学習時の入力に は，それぞれアノテーションに基づいた正しいスパ ン・概念ラベルを使用した. 各ニューラルモデル は, 同一の設定で 5 回モデルの学習を行い, 各出力確率の平均をとる形でアンサンブルを行った. 実装には PyTorch 1.8.1を利用し，GPU での計算には GeForce RTX 3090 を用いた.

## 4.2 実験結果

## 4.2.1 固有表現抽出

表 2 に固有表現抽出の実験結果を示す. 投稿した モデルはトラック参加者全体の中央値から $0.89 \%$ ポ イント低い $\mathrm{F}$ 値であった. 使用されたモデルの多く
表 3 開発セットにおけるリンキングの結果. “-OW”は 重み上書きとその後の追加学習の不利用を表す. “+Ab3P” および “+BC5CDR” は Ab3P と BC5CDR の利用を表す.

表 4 テストセットにおけるリンキングの結果.

が BERT [13] ベースのモデルであった. 参加チーム は合計 15 チームであり, 11 位のスコアだった.

## 4.2.2 リンキング

表 3 にリンキングタスクにおける各モデルの開発スコアを示す. 本データにおいては重み上書きの 利用による性能向上は, 先行研究 [6] で報告された もの比べあまり大きくない. 特に，BC5CDR データ セットを使用した場合は，重み上書きを使わずとも ほとんど同じ $\mathrm{F}$ 值を得られた。これは, 追加の学習 データによって学習が容易になり，重み上書きの導入の目的であるアンダーフィットが起こりづらかっ たためだと考えられる. Ab3Pによる省略形の解決 では常に性能が向上した. BC5CDR データセットの 利用による性能向上は比較的小さく，Ab3P を利用 する場合はほとんど差が生まれない結果となった.

表 4 にテストセットにおけるリンキングのスコア を示す. 各参加者が採用したシステムには，ニュー ラルベースのものと，ルールベースおよびルールと ニューラルのハイブリットのモデル各種が見受けら れた. 最高位のスコアを獲得したチームは，ルール ベースでリンキングを行ったのち，リンク先を見つ けられなかったエンティティをニューラルベースの モデルで補うシステムであった [14]. 参加チームは 合計 15 チームであり，うち 2 チームは固有表現抽出タスクには参加していない. 提案システムは全体 で 4 位であった.表 5 開発セットにおける Indexing の結果. “スパン・概念”は，モデルの入力がアノテーションに基づくか (“Gold”)，パイプラインにより得られた予測結果であるか (“Pipeline”)を表す.

## 4.2.3 Indexing

表 5 に開発セットにおける Indexing のスコアを示 す. 表のとおり，ニューラルモデルは与えられるエ ンティティのスパンと概念ラベルが正しいのであれ ば TF-IDF よりも高い F 值を得ることができるが， パイプラインの設定の時は大きくスコアを落とし， エラー伝播の影響を受けやすい。これは，ニュー ラルモデルの入力にはスパンの境界情報を利用し ているためにスパンのずれが直接入力に影響を与 える一方，TF-IDF モデルの入力は出現数のみであ り，エラー伝播の影響が小さいためだと考えられ る. 表 6 にテストセットにおける Indexing のスコア を示す。提案モデルのテストセットのスコアは，開発セットにおけるパイプラインの設定と同等のス コアになった. 最高位を記録したチームのモデルは PubMedBERT と特徴量を組み合わせた二値分類モデ ルであった [15]. Indexing タスクは前 2つのタスク を解いたうえで取り組む必要があり，時間的な制約 もあって最終的な参加チームは 4 チームと前 2 の タスクより少ない.また，我々を含めた 3 チームは 公式の提出期限後の追加実験としての提出である.我々は 3 位のスコアであった。

## 5 おわりに

本論文では，BioCreative VII Track 2 を対象に構築 したモデルを評価した. 今後の課題として，ニュー ラル Indexing モデルのエラー伝播の問題を改善する ことが挙げられる.

## 謝辞

本研究は JSPS 科研費 JP20K11962 の助成を受けた ものです.

## 参考文献

[1] National Library of Medicine. PubMed, 1996. https: //pubmed.ncbi.nlm.nih.gov/.

[2] Robert Leaman, Rezarta Islamaj, and Zhiyong Lu. The overview of the NLM-Chem BioCreative VII track. In BioCreative VII Challenge Evaluation Workshop, pp. 108-113, 2021.

[3] Tomoki Tsujimura, Ryuki Ida, Isanori Oiwa, Makoto Miwa, and Yutaka Sasaki. TTI-COIN at BioCreative VII Track 2. In BioCreative VII Challenge Evaluation Workshop, pp. 156-161, 2021.

[4] BioCreative VII, 2021. https:// biocreative.bioinformatics.udel.edu/events/ biocreative-vii/biocreative-vii/.

[5] National Library of Medicine. MeSH. https://www. ncbi.nlm.nih.gov/mesh/.

[6] 茂里憲之, 辻村有輝, 三輪誠, 佐々木裕. 二段階学習と 概念クラスを用いた医療固有表現の正規化. 言語処理学会第 26 回年次大会発表論文集, pp. 1487-1490, 2020.

[7] Iz Beltagy, Kyle Lo, and Arman Cohan. SciBERT: A Pretrained Language Model for Scientific Text. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3615-3620, 2019.

[8] BioCreative V, 2015. https://biocreative. bioinformatics.udel.edu/tasks/biocreative-v/ track-3-cdr/.

[9] Sunghwan Sohn, Donald C Comeau, Won Kim, and W John Wilbur. Abbreviation definition identification based on automatic precision estimates. BMC Bioinformatics, Vol. 9, No. 402, 2008.

[10] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is All You Need. In Proceedings of the 31st International Conference on Neural Information Processing Systems, p. 6000-6010, 2017.

[11] Takuya Akiba, Shotaro Sano, Toshihiko Yanase, Takeru Ohta, and Masanori Koyama. Optuna: A Next-generation Hyperparameter Optimization Framework. The 25th ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD’ 19), pp. 2623-2631, 2019.

[12] Hyunjae Kim, Mujeen Sung, Wonjin Yoon, Sungjoon Park, and Jaewoo Kang. Improving Tagging Consistency and Entity Coverage for Chemical Identification in Full-text Articles. In BioCreative VII Challenge Evaluation Workshop, pp. 140-143, 2021.

[13] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceed- ings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, 2019.

[14] Tiago Almeida, Rui Antunes, João Figueira Silva, João Rafael Almeida, and Sérgio Matos. Chemical detection and indexing in PubMed full text articles using deep learning and rule-based method. In BioCreative VII Challenge Evaluation Workshop, pp. 119-123, 2021.

[15] Arslan Erdengasileng, Keqiao Li, Qing Han, Shubo Tian, Jian Wang, Ting Hu, and Jinfeng Zhang. A BERT-Based Hybrid System for Chemical Identification and Indexing in Full-Text Articles. In BioCreative VII Challenge Evaluation Workshop, pp. 130-134, 2021.