# 『現代日本語書き言葉均衡コーパス』に対する MIP に基づく比喻表現情報の付与

加藤祥 ${ }^{1}$ 菊地礼 ${ }^{2}$ 浅原正幸 ${ }^{3}$
${ }^{1}$ 目白大学 ${ }^{2}$ 中央大学 ${ }^{3}$ 国立国語研究所
s.kato@mejiro.ac.jp

## 概要

日本語比喻表現の実態調査を目指し，『現代日本語書き言葉均衡コーパス』に対し, 手作業で比喻表現情報付与を行った.作業対象は均衡性のある新聞・書籍・䧱誌の 34 万語とし, 言語対照のために MIP 及び MIP VU に基づく比喻表現情報付与を進めた。中村(1977)の基準を用いて，結合や種別を付与したほか，一般的な読み手による印象評定情報も付与した.本稿は, 作業と作業結果の基礎統計を報告する。

また，BNC に MIP に基づく情報付与を行った VU Amsterdam Metaphor Corpus との対照についても報告する.

## 1 はじめに

現在までのところ, 日本語の比喻表現に関しては,均衡性のあるデータに基づく実態的な調査が大規模に行われているとは言い難い。主に文学作品を用いた日本語比喻表現の収集は, 中村(1995)[1]の『比喻表現辞典』の 8,201 例をはじめ, レトリックに関する事典やデータベースなどに見られるが，均衡性を有した大規模な収集は行われていないためである.比喻表現の同定手法は, 選択選好(Willks ら, 2013[2]), 具象度(Turney ら, 2011[3]), 意味空間モデルの使用(Mao ら, 2018[4], Liu, 2020[5])などが考案されているものの, 大規模な日本語比喻表現を収集,調查した例としては, 現在まで, 人手による中村 (1977) [6]が最も網羅的であると考えられる。同書は,現代日本語との対照や検証の求められるデータであるが，文学作品から収集した用例に基づく日本語比喻表現の収集手順が整備された実態調査資料である.主に近現代の文学作品 50 編から比喻的な表現を含むと判定した 2 万の用例を収集し, 比喻表現を構成する要素の結合 (慣用から意味的なずれのある場合) について 5,537 類型（B 型把握）を整理したほか,何らかの言語形式として比喻の把握に影響していた 359 の比喻指標要素（A 型把握），場面や文脈との関わりにおいて比喻となる 2,434 の文脈比喻類型 (C 型把握）を示している。本書で設定された手順と類型データは, 日本語比喻表現用例の収集に有効と考えられる。

しかし，言語対照の可能性のためには，比喻情報付与の基準として提唱された MIP（The Pragglejaz Group(2007) [7]）に基づく VU Amsterdam Metaphor Corpus の MIP VU を援用し, 日本語における比喻情報の付与手順を整備することが有用であろう．MIP による日本語比喻表現の自動検出を目標とした宮澤ら(2016) [8]の試みでは，新聞記事に含まれる 1,100 文の動詞と目的語について 2 名の作業者により試行した際，VU Amsterdam Metaphor Corpus の結果よりも判定摇れが生じたと報告される。よって, 日本語比喻表現の実態調査を目指すためには，判定基準を整備することはもちろん, 複数の作業者の判定摇れの確認のみならず，一般的な読者に比喻と認識されるのかという判定なども必要と考えられる.

そこで, 日本語比喻表現の実態調査を目指し, 情報付与の手順を整備するとともに，均衡性のある日本語コーパスに対し網羅的な比喻表現情報の付与を行うことを目指した。具体的には，『現代日本語書き言葉均衡コーパス (以降 BCCWJ)』の分類語彙表番号が付与された新聞（以降 PN）・雑誌（PM）・書籍 (PB) サンプル (347,094 語, 以降 BCCWJ-WLSP,加藤ら 2019a[9]b[10]）を作業対象とし， MIP VU の手順に基づいて，中村(1977) [6]の基準や類型を用いた情報付与を行う．BCCWJ-WLSP は，文脈上の語義が人手で付与されているため, 本比喻性の判断作業に利用することができる。 さらに，一般的な読み手による判定情報をクラウドソーシングにより大規模に収集する。

日本語比喻表現の実態調查が可能となれば，VU Amsterdam Metaphor Corpus などにおける英語メタフ

アーなどとの対照や, 比喻に関する理論検証が可能となることが期待される.

## 2 比喻情報付与作業

## 2.1 比喻情報付与手順

VU Amsterdam Metaphor Corpus は, BNC-Baby コ一パスから抽出した 4 レジスタ約 19 万語について, Steen ら(2010) [11]が The Pragglejaz Group(2007)の比喻情報付与手順である MIP（Metaphor Identification Procedure）を拡張した MIP VU によってメタファー の判定（MRW; Metaphor Related Word）を付与したものである.また, Semino ら(2005) [12]が特定コー パスで示したメタファー類型 (combining と mixing) や, MIP からの拡張として付与された MFlag (指標)，概念マッピング情報（擬人化）を用いた比喻の種別分類も試みられている.

よって, 本稿の作業は, MIP を用いて比喻性に関わると判定された短単位を抽出し, VU Amsterdam Metaphor Corpus を参照した MRW としてマークすることにより進めることとした. BCCWJ-WLSP は, 作業対象範囲の全ての自立語には分類語彙表番号, 助動詞には用法が，人手で文脈上該当する意味において付与されており, 選択制限違反の判断時に参照可能である. このほかの参照資料及び付与する日本語の比喻情報としては, 中村(1977) [6]の指標, 比喻種別，結合等を援用することとしたほか，動詞の選択制限確認には宮島(1972) [13]の格情報, 語義及び歴

用いた。

なお, 本手順は, 加藤ら(2020) [14]の指標比喻デー タベースを構築した際にも同様に比喻表現の認定を手作業で行うことにより, 実作業による微調整を加えながら整備を進めたものであり, 概要は以下の通りであるii.

(1) 当該形態素が文脈上，比喻表現に関わるかどうか判定する. 比喻表現に関わると判断された場合は，当該形態素をマークする.

(2) 比喻表現の喻辞と被喻辞を抽出するとともに,把握の根拠として,
- $\mathrm{A}$ 型 : 比喻表現の認識に関わった「何らかの言語形式」に該当する短単位の範囲に

「MFlag（指標）」を付与する.
- B 型：異質性を読んだ「結合」（選択制限違反 $\left.{ }^{i i i}\right)$ が確認できれば「結合」を記述する.結合または異質な表現の該当部には，比喻表現の種別として，結合（何らかの類似性に基づく転換，隠喻）・換喻（事物・事象の隣接性という類縁関係に基づく質的転換）・提喻（類と種という類的転換）および結合比喻の下位分類（擬人化・具象化などiv) を付与する.

(3)「結合」の構成要素に分類語彙表番号を付与する.（意味上は別の分類番号が付与されているため, 選択制限違反となる番号を再付与する)

(4) 用例 (文脈の把握が可能な 2 3 文程度まで) および個別の「結合」に一般の日本語母語話者の判定を付与する.

## 2.2 付与した比喻情報例

BCCWJ の対象範囲に付与した情報は以下の通りである。一部に付与漏れや作業中の部分が残るが，概ね情報付与が終了している（2021 年 12 月現在).
- 比喻を構成する要素の結合類型と分類語彙表番号 : 手順(2)の B 型および(3)
- 種別情報（擬人化・具象化などの隠喻（類似性の転換）における概念マッピング，換喻，提喻など) : 手順(2)の B 型
- 指標となった言語形式, その他比喻に関わると考えられる語句 : 手順(1)および(2)の A 型
- 比喻度（クラウドソーシングによる数十名規模の被験者実験による判定結果 (加藤・浅原別発表[15]）として，0～5の 6 段階の平均值を示す）：手順(4), 以下に付与した評定値を示す.

（自）自然さ

iii 選択制限違反の判断に際しては，参照可能な語義情報を活用する（詳細は加藤ら(2020)の 3.1 節（pp.861-

862)).

iv 付与した種別の詳細は, 加藤ら(2020)の 3.5 節内「種

別」（p.868）.

（わ）わかりやすさ

（古）古さ

(新）新しさ

（比）比喻性

情報付与結果例を以下に示す。例文中の【】内はMRWとしてマークされている部分を示す.

[ ] 内は分類語彙表番号であり, 比喻性の判定された要素の結合には, 文脈上の BCCWJ-WLSP と異なる場合, 再付与した番号 (類型化のために固有名詞等は概念化も行った）を記述してある.

(1) 今年から家の場所や危険個所の【確認に重点を置く】。(PN1a_00002)

［1.3062に 1.3070 を 2.1513］（具象化）

（自） 4.25 （わ） 4.05 （古） 2.30 （新） 1.65 （比） 1.75

(2)こんな英語のことわざが書かれた【額に出会っ】 たのです。(PB11_00013)

[1.4570 に 2.1550]（擬人化）

(自) 2.35 (わ) 2.20 (古) 1.75 (新) 1.00 (比) 1.30

(3) 急速な変化に【戸惑う声もある】。(PN1a_00005) ［2.3067 1.3061/1.3061 が 2.1200］（換喻）

（自） 4.00 （わ） 3.55 （古） 2.70 (新） 1.50 (比） 2.35

(4)【メーカー】は (中略) 容器を【作る】ことになるだろう。(PM23_00007)

[1.2450 が 2.3860］（換喻）

（自） 3.75 （わ） 3.50 (古) 1.80 (新) 2.05 (比) 0.65

(5) 浦和レッズ一柏レイソルのサテライト（二軍）

【戦】(PN2c_00002)（提喻）

（自） 3.60 (わ） 3.15 (古) 1.65 (新) 2.35 (比) 1.25

(6) 大きな【ギャップが生まれ】ている(PN2c_00006) [1.1830 が 2.5710］（擬生）

（自） 3.85 （わ） 3.80 (古） 1.9 (新） 2.20 (比） 1.95

(7)【脚が棒になる】まで歩き回ります(PM51_00077) ［1.5603 が 1.4150 に 2.1500］（転換・慣用）

（自） 4.35 （わ） 4.50 (古） 3.30 (新) 0.65 (比) 4.45

## 3 結果

## 3.1 比喻情報付与結果

比喻情報付与結果（データ画面例は付録の図1を参照）を示す. 表1では，レジスタ別に語数および，結合（選択制限違反）数と比喻性に関わるとマークされた語 (MRW) 数, 指標 (MFlag) 数を示している. なお, 表 1 は結合（選択制限違反）数を示したが,作業者が選択制限違反を認めなかった場合（換喻や提喻などは比喻性の判断が作業者によって摇れる場合もある）や結合の取得しにくい指標比喻などの場合，結合が取得されていないことがある。また，複数の種別が記載されている場合もあるため, 比喻表現数は結合数と一致するものではない.

## 表1 比喻情報付与結果の統計

新聞 (PN) において結合数が最も多いが, MRW としてマークされた語数は雑誌 (PM) が最も多い. 書籍（PB）では結合と MRW のどちらも少なく, 比喻表現が少ない傾向が確認される。また，比喻指標として抽出された要素は結合の確認された比喻表現における 3\%程度と僅かであり, いわゆる直喻の出現頻度は比喻表現中においても低い割合であることがわかる。

表 2 には，レジスタ別の比喻表現種別を示す。

表 2 レジスタ別の比喻表現種別の統計

表 2 では, 1 つの結合に対し「文脈・慣用」などのように複数種別が記載されていた場合， 2 つ目までを取得して集計した。新聞は換喻や提喻が他レジスタよりも多い傾向があり，いわゆる隠喻（類似性に基づく転換）も最も多く取得されており，比喻表現の取得される頻度が高い. 但し, 文脈比喻は少ない傾向にある.雑誌はいわゆる隠喻の頻度が高いが，慣用表現はやや低く, 文脈比喻が多く見られる傾向が確認されている。書籍は, 種別の分布としては雑誌に似るものの, 雑誌との違いとして, 慣用表現の割合がやや高い傾向がある.

また,類似性に基づく転換(いわゆるメタファー)

の下位種別を表 3 に示す。新聞から取得されるメ夕ファー表現の 7 割が具象化であるため, 一般的に比喻表現とは意識されにくいと考えられる．新聞は，慣用表現の出現頻度も高い（表 2 参照）ことから， いわゆる文章技巧的な比喻表現が出現しにくいことが, 新聞の特徵と考えられる. 反対に, 書籍では擬人化のようにわかりやすい比喻表現の頻度が高いともいえる。しかし，一般的な読み手による評定値では, (3)や(7)のような慣用的な用例において自然さやわかりやすさとともに比喻性が高く, (4)のような換喻用例において比喻性が低く評定される傾向が見られる. (2)や(6)のような擬人 (生) 化の用例は比喻性の高さが期待されるが, (2)のようにわかりやすさの低い例では，比喻性も低く評定される傾向がある。

(1)のような具象化や(5)のような提喻の例からも, わかりやすさが比喻性に影響する可能性が考えられる。

## 表 3 種別「類似性（隠喻）」の下位種別の統計

## 3.2 英語コーパスとの対照

Steen ら(2010)の BNC-baby に情報付与した VU Amsterdam Metaphor Corpus と対照することが可能である。表 4 に，BNC-babyvi と BCCWJviiの付与結果をあわせて示す. なお, Steen ら(2010)は, borderline case を“WIDLII’と分けて示している.ここでは，BCCWJ の付与結果についても，作業者間で合意のなかった比喻表現に関わる短単位（1 名または 2 名のみが MRW としてマークした短単位) について, WIDLII に分類してある。

表 4 英語コーパスと本稿コーパス

M-Flag（指標）は，英語コーパスと同程度の割合となっていたが，MRW としてマークされた語数には差が見られる。本作業は短単位へのマークであることや，日英語の品詞差により，単純に対照することはできないが，作業者間の摇れや作業漏れの可能性も考えられるため, 付与作業漏れの整備とともに,今後確認を進める予定である.

## 4 おわりに

BCCWJ の約 34 万語に比喻表現情報の付与を行った．MIPに基づいた比喻表現抽出を行うことで，他言語の比喻表現情報付与コーパスとの対照が可能である. 作業対象には, 文脈情報として NDC の補助分類や新聞記事内容や種別の情報が付与されているため，種類の異なるコーパスとも，該当部分の対照が可能となっている.

また，比喻表現に関する情報として，種別や印象評定等を付与しており, 日本語比喻表現の実態調査に有用なデータと期待される.

$ 但し, BCCWJ の PNについては, 記事情報が付与されており（加藤ら 2021），新聞においても記事の内容や種類によって比喻表現の分布には差異が見られる.
}

## 謝辞

本研究は JSPS 科研費 JP18K18519 の助成を受けたものです.

## 参考文献

1. 中村明.『比喻表現辞典』, 1995 年, 角川学芸出版. 2. Willks, Yorick, Galescu, Lucian, Allen, James, and Adam Dalton. "Automatic Metaphor Detection using Large-Scale Lexical Resources and Conventional Metaphor Extraction," Proceedings of the Workshop on Metaphor in NLP, 2013, 36-44.

3. Turney, Peter D., Neuman, Yair, Assaf, Dan, and Yohai Cohen. "Literal and Metaphorical Sense Identification through Concrete and Abstract Context," Proceedings of the 2011 Conference on Empirical Methods in Natural Language Processing, 2011, 680690.

4. Mao, Rui, Lin, Chenghua, and Guerin, Frank, "Word Embedding and WordNet Based Metaphor Identification and Interpretation", Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), 2018, 1222-1231. 5. Liu, Jerry, O'Hara, Nathan, Rubin, Alexander, Draelos, Rachel, and Rudin, Cynthia. "Metaphor Detection Using Contextual Word Embeddings From Transformers", Proceedings of the Second Workshop on Figurative Language Processing, 2020, 250-255. 6. 中村明.『比喻表現の理論と分類』国立国語研究所報告 57, 1977 年, 秀英出版.

7. Pragglejaz Group. "MIP: A Method for Identifying Metaphorically Used Words in Discourse," Metaphor and Symbol 22, 1, 2007, 1-39.

8. 宮澤彬, 吉田奈央, 宮尾祐介.「日本語メタファ ーコーパス作成のためのガイドライン」『言語処理学会第 22 回年次大会発表論文集』, 2016 年, 150153.

9. 加藤祥, 浅原正幸, 山崎誠. 「『現代日本語書き言葉均衡コーパス』新聞・書籍・雑誌データの助動詞に対する用法情報付与」『日本語学会 2019 年度春季大会予稿集』, 2019 年 a, 161-166.

10. 加藤祥, 浅原正幸, 山崎誠.「分類語彙表番号を付与した『現代日本語書き言葉均衡コーパス』の新聞・書籍・雑誌デー夕」『日本語の研究』2019 年 b, 15( 2): 134-141.

11. Steen, Gerard J., Dorst, Aletta G., Herrmann, Berenike, Kaal, Anna, Krennmayr, Tina, and Trijntje Pasma. A Method for Linguistic Metaphor Identification; From MIP to MIPVU, John Benjamins Publishing Company, 2010.

12. Semino, Elena. The Metaphorical Construction of Complex Domains: The Case of Speech Activity in English, Metaphor and Symbol 20, 1, 2005, 35-69. 13. 宮島達夫. 『動詞の意味 - 用法の記述的研究』国立国語研究所報告 43, 1972 年, 秀英出版.

14. 加藤祥，菊地礼，浅原正幸.「『現代日本語書き言葉均衡コーパス』に基づく指標比喻データベー

ス」『自然言語処理』2020 年, 27(4):853-887.

15. 加藤祥, 浅原正幸. 「『現代日本語書き言葉均衡コーパス』に対する印象評定情報付与」『言語処理学会第 28 回年次大会発表論文集』, 2022 年, 発表予定.
付録

図 1 情報付与結果の例（作業画面）


# 文脈による危険度変化の予測のためのデータセット構築

勝又友輝 ${ }^{1}$ 竹下昌志 ${ }^{1}$ ジェプカ・ラファウ ${ }^{2}$ 荒木健治 ${ }^{2}$
1 北海道大学大学院情報科学院
2 北海道大学大学院情報科学研究院
katsumata.yuki.v3@elms.hokudai.ac.jp
\{takeshita.masashi,rzepka,araki\}@ist.hokudai.ac.jp

## 概要

人工知能にも我々人間と同じょうな道徳的判断ができるシステムが必要である．しかし，現状の人工知能は，状況や文脈に応じた道徳的判断は困難である. 例えば，「リング場でボクサーが人の顔を殴る」 より「居酒屋でボクサーが人の顔を殴る」方が危険な行動であることを，人間は常識を持っているため簡単に判断できるが，人工知能には難しい. 本研究ではこの問題を解決するため，文脈によって変化する人間の行動の危険度予測のためのデータセットを構築する. 人手で動詞を元に人間の行動の文を作成し，7 段階の危険度のアノテーションを行う．また，構築したデータセットを用いて，危険度予測の実験も行う。

## 1 はじめに

近年，人工知能の発展により，Siri や Pepper などのコミュニケーションエイジェントが登場し，我々の生活には人工知能が欠かせない存在となってきている. さらに，人工知能は履歴書の審査や融資の承認まで，様々な領域でますます権限を委ねられつつある。このような時代の変化に伴い，人工知能を有効に扱うためには，人間と同じょうに道徳的判断のできるシステムが必要である.

しかし，人工知能が道徳的判断をするにはまだ課題が多い. 物事に対する道徳的判断は状況や文脈によって変動してしまう，人間は常識的な知識を持っているためこのような変化を捉えることができるが，人工知能はそのような常識を持っていない。そのため，状況や文脈などが変わった時に，人間と同じような判断をすることが難しい. 人工知能への道徳的判断システムの導入には，文脈に依存した判断ができるようにすることが必要とされる．また，道徳的に正しいか否かという評価軸は不一致が起こり表 1 データセットの例, 危険度スコアは安全（1）から危険（7）までの 7 段階とする

やすいという問題もある。人間でさえ意見が割れてしまうケースもあるため，人工知能が正しい判断をするのは困難である.

本研究では，これらの背景から，常識的な知識による部分が大きく評価が一意に決まりやすい，人間の行動の危険度予測というタスクを提案する。このタスクでは，文脈が変化しても人工知能が人間と同等の危険度予測を行えることを目標とする。しかし，現状では，人間の行動の危険度を予測するための日本語のデータセットは存在しない。そこで本研究では，本タスクのためのデータセットを構築した.このデータセットは，表 1 のように人間の行動の文とその行動の評価が 7 段階の危険度で構成されている. 文脈が変化しても正しい判断を行えることを目指すため，動詞と主語は固定させ，動詞の目的語や文脈を追加する形で文を作成し，対象や状況が変化しても人間と同等の危険度予測ができるかを確認できるようにする。また，構築したデータセットを用いて，人間の行動の危険度予測の実験も行う。

なお，本研究での危険の定義は，「文が表す状況に登場する人物に，肉体的もしくは精神的に苦痛や傷害を与える可能性があること」とする.

## 2 関連研究

近年，人工知能に常識的な知識を持たせる研究や道徳的判断をさせる研究がさかんに行われている。

Maarten らは，常識的な推論に不可欠な推論知識をまとめた ATOMIC というデータセットを構築した [1]. ATOMIC は，「もしあるイベントが起こったら何が起こるか」という推論関係の知識で構成さ
れている。例えば，“if $\mathrm{X}$ pays $\mathrm{Y}$ a compliment, then $\mathrm{Y}$ will likely return the compliment" といった知識であり, このような推論関係を 87 万件まとめており，この種の知識グラフとしては最大のものである.

Rzepka らは，文脈を考慮した道徳的判断の研究を行った [2]. この研究では, 日本語のコーパスで学習させた BERT モデル [3] を用いて「殴る」が文末に来るような文を生成した. そして，その文の表す行為が道徳的に許せるかどうかを人手で評価し，それを BERT が予測するという実験を行った。

しかし, Rzepka らの研究で生成されたデータセットには 3 つ問題がある. 第一に，日本語 BERT モデルを用いて「殴る」という一つの動詞から生成された文は 50 文であり，データの量が不十分である.第二に, 日本語 BERT モデルを用いて生成する方法では不自然な文が生成されることがある. 第三に，道徳的に正しいという評価軸は評価者の中で不一致が起こりやすいという問題である.

本研究では，これらの問題の改善を目指し，道徳的判断という評価軸を改め，人間の行動の危険度予測というドメイン特化のタスクを提案する。また，現実的にあり得る人間の行動の文を得るため，クラウドソーシングを主に用いて，人間の行動の文を約 2 万文作成，危険度のアノテーションを行う．

## 3 データセット構築

本研究では，次の手順で，動詞を元に人間の行動の文を作成，および 7 段階の危険度のアノテーションを行う。

1. 関連研究から，危険な行動になり得る動詞のリストを作成する。(3.1節)

2. 高頻度な述語項構造から，それぞれの動詞の主語を決定する。(3.2 節)

3. 主語と述語の組み合わせを基に対象語を人手にて穴埋めしてもらい，危険である例，危険でない例の文を作成する。（3.3 節）

4. 作成した文に，さらに文脈を付け加え，文の数を増加させる．（3.4 節）

5. 作成した文が表す人間の行動を，人手にて 7 段階で危険である可能性が高いか評価する。 (3.5 節)

以降では，各手順の設定や方法について説明する。

## 3.1 動詞の決定

まず，危険な行動，危険でない行動，どちらにもなり得ると考えられる動詞のリストを作成する. 動詞のリストの作成に当たって，2つのデータを基にする.

1 つ目は，Alshehri らによる研究 [4] で定めた，物理的な危害を示すために使われるアラビア語の動詞のリストである. Alshehri らは，ソーシャルメディアにおける危険な発言の理解と検出のために，発言が危険か否かのラベルがついたデータセットの構築に取り組んだ。本研究では, Alshehri らがデー タセット構築のために作成した 56 個の動詞（例： “kill”，“hit”) のリストを翻訳して活用する.

また，2つ目は，日本語 Wikipediaエンティティベクトル $[5]^{1)}$ の頻出動詞である. 日本語 Wikipedia エンティティベクトルとは，日本語版 Wikipedia の本文全文から学習した，単語，および Wikipedia で記事となっているエンティティの分散表現ベクトルである．また，頻出動詞の抽出には，日本語形態素解析システムである JUMAN[6] を使用する。

以上の 2 つのデータより，危険な行動，危険でない行動，どちらにもなり得ると著者が判断した動詞のみを抜粋し， 25 個の動詞のリストを作成する. 25 個のうち, Alshehri らの動詞のリストから 12 個，日本語 Wikipedia エンティティベクトルの頻出動詞から 13 個である. 作成した動詞のリストを表 2，3 に表す.

表 3 日本語 Wikipedia エンティティベクトルの頻出動詞のリストから抽出した動詞

## 3.2 主語の決定

次に，動詞のリストを基に，それぞれの動詞の主語を決定する．主語の決定には，京都大学格フレー ムを用いた [7]. 格フレームとは，用言とそれに関係する名詞を用言の各用法ごとに整理したものであり，京都大学格フレームは，Webテキストから自動構築した大規模格フレームである。これには，先ほ

ど定めた 25 個の動詞のそれぞれの頻出主語が記されている。これを基に, 日本語 Wikipedia エンティティベクトルの人物を表す頻出名詞上位 50 件の中から，それぞれの動詞の頻出主語上位 5 件を選択する.ここで抽出対象を上位 50 件に絞った理由は主語の一般性を高めるためである。例えば，「カメラマンが—をを切る」の対象語には「シャッター」や 「電源」などの危険でない単語が入りやすく, 危険な自然文と危険でない自然文の両方を獲得することは難しい，そこで，抽出対象を上位 50 件（例：「父」，「子供」）にすることで，このような問題の解決を試みる。

また、日本語 Wikipedia エンティティベクトルの名詞から抽出する名詞が人物か否かを判別するために，JUMANを用いる。

以上より，それぞれの動詞に対して 5 件の主語を抽出した。例を挙げると，「殴る」という動詞は，「男」，「父」，「人」，「先生」，「女」という主語，「食べる」という動詞は，「人」，「子供」「客」，「娘」，「自分」という主語となった。

## 3.3 対象語の穴埋め

主語と述語を基に，クラウドソーシングサービス2)を通じて， 18 人のアノテーター（詳細は付録 $\mathbf{A}$ に示す）に現実的にありうる人間の行動の文の作成を依頼する．1 人あたり危険そうな例，危険ではなさそうな例をそれぞれ 125 文（動詞 25 個にそれぞれの頻出主語 5 個），合計 250 文の作成を依頼する。例えば，「子供が—を吒く」という文を与え，危険そうな例として「子供が友達の頬を吅く, 危険ではなさそうな例として「子供がタンバリンを印く」 といったような文を作成してもらう。

文作成依頼の際のルールは付録 B に載せる。結果，重複した例，ルールに合致しない例を除き， 3,165 文の人間の行動の文が作成された.

## 3.4 文の拡張

作成した 3,165 文を元に，対象語の穴埋めと同様にクラウドソーシングサイトを通じて，文脈を増やし，現実的にありうる人間の行動の文の作成を依頼する. 66 人のアノテーター（詳細は付録 $\mathbf{C}$ に示す） に 1 人あたり危険そうな例，危険ではなさそうな例をそれぞれ 150 文ずつ，合計 300 文の作成を依頼する. 文作成依頼の際のルールは付録 D に載せる。ア

2) https://crowdworks.jp/
ノテーションの結果，元の 3,165 文から 18,427 文が作成され、元の文と合わせて合計 21,592 文となった.

## 3.5 危険度のアノテーション

最後に，作成した文が表す人間の行動に対して，危険度のアノテーションを行う，文作成の際とは異なるアノテーターにより，7 段階で危険である可能性が高いか，安全である可能性が高いかのタグ付けを行う。作成した 21,592 文を 1 文につき 3 人ずつ,計 81 人のアノテーター（詳細は付録 $\mathbf{E}$ に示す）に，危険度のタグ付けを依頼する。また，アノテーションのスコアは，図 1 ように安全（1）から危険（7） までの 7 段階とする.

図 1 危険度アノテーションの評価スコア

アノテーションを行った結果，付けられた危険度スコアの分布は表 4 のようになった.

表 4 評価の分布. 評価の総数と文の総数（21,592 文）は一致しないが，これは 1 文につき 3 人ずつ評価を行ったためである.

表 4 より，スコアが 3 または 4 である文が少ないという結果になった。これは，文作成の際に，危険そうな例，危険ではなさそうな例という形で，文を作成したため，どちらとも言えないような中間の値が少なくなったと考えられる.

また，文ごとに評価の標準偏差を求め，評価者によるばらつきがどれくらいかを確認する．文ごとに標準偏差を左から降順に整列させたグラフを図 2 に示す. 標準偏差の平均は 0.777 となった. 1 未満という結果となり，全体的に評価のばらつきは大きくなく評価者の中で不一致があまり起きていないことが確認できた. しかし，図 2 より，評価のばらつきが大きいものも存在したため，標準偏差が 2 以上のデータは信用できないデータとして除外した. 結果，標準偏差の平均は 0.692 となり，より信頼できるデータとして予測実験に使用する人間の行動の文とその行動の危険度の組み合わせは 20,453 件となった.

図 2 文ごとに標準偏差を計算し，左から降順に整列させたグラフ.

## 4 危険度予測の実験

機械学習による危険度予測実験の精度を検証するため, LSTM, Bidirectional LSTM（以下，BiLSTM とする）, BERT の3つのモデルによる回帰分析を行う. LSTM と BiLSTM のエンベディングには， One-hot 表現と日本語 Wikipedia エンティティベクトルを使用する．BERT のモデルとしては，約 1,800 万文を含む日本語 Wikipedia コーパスで事前学習された BERT-base モデル3)を用いる.

危険度スコアの正解値は 3 人の評価者の中央値,平均値，2つの場合で実験する. それぞれ構築したデータセットを評価値ごとに層化抽出法を用いて8:1:1 に分割し, 学習データ, 開発データ, テストデータとした.データセットの詳細は付録 F に示す.

また，回帰分析の評価には，一般に広く用いられている 2 つの精度評価指標 4 ), 平均絶対誤差（Mean Absolute Error, 以下，MAE とする）と二乗平均平方根誤差 (Root Mean Squared Error, 以下，RMSE とする）を用いる。

MAE とは，正解値と予測値との誤差の絶対値を平均したものである. これは，データの数を $n$ ，正解値を $y$, 予測値を $f$ としたとき，式(1)のように表せる.

$
M A E=\frac{1}{n} \sum_{i=1}^{n}\left|f_{i}-y_{i}\right|
$

次に，RMSE とは，正解値と予測値との誤差の二乗を平均して平方根をとったものである.これは， MAE より正解値と予測値との誤差が大きい例の影

響を受けやすいという特徴がある．式 (2) のように表せる.

$
R M S E=\sqrt{\frac{1}{n} \sum_{i=1}^{n}\left(f_{i}-y_{i}\right)^{2}}
$

## 5 実験結果

表 5, 6, 7 に実験結果，例を示す.

表 5 危険度の正解値を評価の中央値にした場合の実験結果，最も高い精度を太字で示す.

表 6 危険度の正解値を評価の平均値にした場合の実験結果，最も高い精度を太字で示す.

表 7 危険度の正解値を評価の中央値にした場合の BERT の実験結果の例

表 5，6 より，全体では BERT が最も良い精度となった. 表 7 の例では，文脈の違いによる危険度変化の正確な予測がされた。

## 6 おわりに

本研究では，文脈によって変化する人間の行動の危険度予測のためのデータセットを構築した. 人間の行動の文とその行動の危険度の組み合わせが 20,453 件となった.また，機械学習を用いた回帰分析による予測を行った. 実験の結果，BERTを用いた予測が最も精度が高いことが明らかとなった。

今後は，予測の精度を上げるため，他のモデルとの比較検討を行う必要がある.

また，データセットについても，さらなる検討をすべきである．文が表す人間の行動から，連想される状況や行動を踏まえた予測の検討も重要であると考える。 ある行動を基に次に起きる事象を予測することは，文脈の考慮にも繋がり，予測の精度を上げることに貢献できると考えられる。 そのため，因果関係の知識やシナリオを追加して，データセットを拡張することを今後検討していきたい。

## 謝辞

本研究は JSPS 科研費 17K00295 の助成を受けたも

のです.

## 参考文献

[1] Maarten Sap, Ronan Le Bras, Emily Allaway, Chandra Bhagavatula, Nicholas Lourie, Hannah Rashkin, Brendan Roof, Noah A. Smith, and Yejin Choi. Atomic: An atlas of machine commonsense for if-then reasoning. AAAI, 2019.

[2] Rafal Rzepka, Sho Takishita, and Kenji Araki. Bacteria lingualis on bertoids - concept expansion for cognitive architectures. Technical Report of JSAI Special Interest Group for Artificial General Intelligence, 2020.

[3] Devlin, Jacob, Chang, Ming-Wei, Lee, Kenton, Toutanova, and Kristina. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, 2019.

[4] Ali Alshehri, El Moatez Billah Nagoudi, and Muhammad Abdul-Mageed. Understanding and detecting dangerous speech in social media. Proceedings of the 4th Workshop on Open-Source Arabic Corpora and Processing Tools, 2020.

[5] 鈴木正敏, 松田耕史, 関根聡, 岡崎直観, 乾健太郎. Wikipedia 記事に対する拡張固有表現ラベルの多重付与. 言語処理学会第 22 回年次大会 (NLP2016), 2016.

[6] Hajime Morita, Daisuke Kawahara, and Sadao Kurohashi. Morphological analysis for unsegmented languages using recurrent neural network language model. Proceedings of EMNLP 2015: Conference on Empirical Methods in Natural Language Processing, 2015.

[7] 河原大輔, 黒橋禎夫. 黒橋禎夫：高性能計算環境を用いた web からの大規模格フレーム構築. 情報処理学会自然言語処理研究会, 2006 .

## A 3.3 節の対象語の穴埋めのアノ テーター情報 \\ 20 代から 60 代の男性 7 名，女性 11 名

## B 3.3 節の対象語の穴埋めのルール

・埋める部分は，物や人を問わず，実体のあるもの（非抽象的対象）とし，また代名詞（例：「私」，「彼」，「彼女」）は使ってはいけない.

・修飾語十名詞の形」でも良い（例：「母親の肩」，「腐ったみかん」，「污い水」)
- 「名詞句十に十名詞句」，「名詞句十から十名詞句」の形はできるだけ避け, 目的語が一つになるようにする。

・主語と同じ意味のものを使ってはいけない. （例：「女性が【女】を殴る」）

## C 3.4 節の文拡張のアノテーター

## 情報

20 代から 60 代の男性 21 名，女性 45 名

## D 3.4 節の対象語の穴埋めのルール

・元の文と全く同じ文は書いてはいけない.
- 元の文の単語は変えずに，文脈を増やして文を作成する.

・文の終わりに文脈を増やしてはいけない

・危険そうな例，危険ではなさそうな例のどちらかが，どうしても思いつかない場合は空欄にする.

## E 3.5 節の危険度評価のアノテー ター情報 \\ 20 代から 60 代の男性 38 名，女性 43 名

## F 実験に用いたデータセットの詳細

表 8 評価の中央值の分布

表 9 評価の平均値の分布

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 共想法談話のテーマと修辞機能の関連についての分析

田中弥生
国立国語研究所
yayoi@ninjal.ac.jp
}

小磯花絵
国立国語研究所
koiso@ninjal.ac.jp
}

大武美保子
理化学研究所
}

mihoko.otake@riken.jp
## 概要

本発表は、高齢者の会話支援手法「共想法」のテーマに基づく談話を、修辞機能分析の分類法によって分析し、テーマと修辞機能の関連を検討したものである。先行研究の分析結果を、より整備されたデータによって確認した。「共想法」を構成する 「話題提供」パート (独話)と「質疑応答」パート(会話) の分析から、テーマに共通する修辞機能がある一方でテーマに依存する修辞機能もあること、テー マの特徴は「質疑応答」より「話題提供」において強く見られることが明らかになった。

## 1 はじめに

本発表は、高龄者の会話支援手法「共想法」のテーマに基づいて語られる談話を、修辞機能分析の分類法によって分析し、テーマと修辞機能の関連を検討したものである。共想法は、(1) あらかじめ設定されたテーマに沿って、自身で準備した写真やイラストとともに話題を数人の高齢者が持ち寄り、(2)参加者全員のもち時間を均等に決めて、話題提供する時間（独話）と、質疑応答する時間（会話）に分けるという 2 つのルール沿って「話す」「聞く」「質問する」「答える」のバランスをとりながら行われる [1]。

先行研究では、共想法のテーマによって多用される修辞機能が異なることを明らかにした $[2,3]$ 。また、同一テーマであっても「話題提供」パートと 「質疑応答」パートでは異なる特徴があることや、 さらにテーマやパートによらない個人差があることも明らかになっている。しかし、先行研究では分析データの参加者のバランスが十分に図られておらず参加者の影響が排除されていないという問題があった。そこで本研究では、参加者のバランスを考慮したデータを対象に、テーマと修辞機能の関係を明らかにすることを目的とする。

これまで「修辞ユニット分析」 $[4,5]$ の分類法に
よって様々な談話の分析を行い、目的や話題内容、状況による、脱文脈化程度の様相の検討を行なってきた $[6,7,8]$ が、本研究では、「修辞機能分析 $]^{1)} の$分類法を用いる。修辞という語は隠咏などの技巧や技術などの意味合いで用いられるが、本研究では、我々が話したり書いたりする際に、意識的にせょ無意識的にせよ、表現を選び、その結果として生じる機能を修辞機能と考える。修辞機能分析によって、修辞機能とともに脱文脈化指数か明らかになる。文脈や脱文脈という用語は研究分野によって使われる意味が異なるが、本研究では脱文脈化度を、コミュニケーションが行われている「今ここ」の時空とその発話内容との時間的・空間的距離の程度、とする。

## 2 分析対象と分析方法

## 2.1 分析対象

本発表では、固定された1グループ4名のメンバーによる 3 テーマの合計 72 分のデータを用いて、先行研究の結果を確認することとした。参加者は 1 つのテーマにつき 2 枚の写真 ( 2 つの話題)を準備して話す。1テーマに $2 \times 4$ 名、合計 8 つの話題があり、3テーマで合計 24 の話題が本発表の分析対象となっている。「話題提供」パートは 1 つの話題 1 分で、参加者は 2 分の間に続けて2つの話題を話す2)。参加者 4 名の「話題提供」が終わると「質疑応答」 (1つの話題が 2 分、 2 つで合計 4 分) が行われる。

本研究の実験全体では、1グループ4名で 6 グループ合計 24 名の参加があり3)、会話は 12 テーマで 1 回ずつ全 12 回行われた。このデータは、共想法が参加者の認知機能に与える影響を検証するために実施されたランダム化対照群付き比較試験を通じ

1）修辞ユニット分析を日本語文法の枠組みで検討し修正を加えたもので、現在手順書を作成中である。

2） 基本的に 1 つの話題が 1 分であるが、今回のデータの中に 2 つの話題の時間配分がうまくいかなかったと思われるケー スが見られた。

3） 久席の場合は代替メンバーが参加した。

て得られたものである。参加者は、共想法に参加する介入群と、共想法が開催されるのと同じ頻度で実験会場に通所するのみの対照群とにランダムに分けられた。介入群参加者の共想法における会話を文字起こししたデータを分析した。介入群の実験条件は同一で、対照群の実験条件を雑談に参加することとした場合の検証結果については、文献 [9] に報告されている。

## 2.2 分析方法

修辞機能分析 ${ }^{4}$ の分類法によって、1. 分析単位となるメッセージ (概ね節)に分割してその種類から分析対象を特定し、2. 発話機能、時間要素、空間要素を認定し、その組み合わせから、3. 修辞機能の特定と脱文脈化指数の確認を行う。

## 2.3 分析対象の特定

分析単位の「メッセージ」は、概放節に相当し、「主節」(単文と主節)、「並列」(主節以外で節の順番を変更することが可能な並列節、従属度の低い従属節)、「従属」(従属度の高い従属節)、「定型句類」(相槌や定型句、述部がなく復元ができないものや挨拶など)の 4 種類に分類する。基本的に「主節」と「並列」をこの後の分析対象とする。

## 2.4 発話機能・時間要素・空間要素の認定

「主節」及び「並列」と認定されたメッセージについて、発話機能 (提言・命題) ・時間要素 (述部の時制 : 現在 - 過去 -未来意志的 -未来非意志的 - 仮定 $\cdot$習慣恒久) ・空間要素 (述部に対する主体や主題 : 参加・状況内 - 状況外・定義)を認定する。表 1 に示したように、これらの組み合わせから、修辞機能と脱文脈化指数が特定される。時間要素は「今」からの時間的距離を、空間要素は「ここ・わたし」からの空間的距離を示す。今ここわたしに近い修辞機能【行動】の脱文脈化指数が [1] で最も低く、空間的にも時間的にも遠い【一般化】[14]が最も高い。

以下に分類例を示す。

1)まあ、あの、普段、私、大体出かけるときは腕時計してますんで、

〔発話機能: 命題 \& 時間要素: 習慣・恒久 (大体出かける時は腕時計してますんで) \&空間要素 : 参加 (私)】 $\rightarrow$ 【自己記述】 $[07]$

4）修辞ユニット分析 $[4,5]$ を日本語文法の枠組みで修正したもので、現在手順書を作成中である。表 1 発話機能・時間要素・空間要素からの修辞機能と脱文脈化指数の特定

} & & & & & & &  \\

2) まあ、あの、きょうは腕時計を初めて外したような形になりますけど、

〔発話機能：命題\&時間要素：現在 (きょうは・一・外したような形になります) \&空間要素 : 参加 ( $\phi=$私) 〕5) $\rightarrow$ 【実況】[02]

3) ま、これから、だ、だんだん慣れていきたいと思います。

〔発話機能: 命題 \& 時間要素: 未来意志的 (慣れていきたい) \&空間要素 : 参加 $(\phi=$ 私 $)$ 】 【計画】 [04]

2 名の作業者によってアノテーションを行い、判断が分かれたものは筆者の 1 人が決定した。

## 2.5 予想される特徴

それぞれのテーマから予想される特徴は次のとおりである。テーマ「好きなもの」は個人の嗜好に関わる話題のため空間的距離のレベルが低い修辞機能が用いられるのに対し、テーマ「近所の名所」は一般的な話題のため脱文脈化度の高い修辞機能が用いられることが予想される。またテーマ「新しく始めること」は、個人的な計画であれば【計画】[04] が用いられるが、現在から先への話題のため「今」から離れて時間的距離のレベルが高い修辞機能が用いられることも予想できる。

## 3 分析結果

表 2 は、 3 つのテーマの「話題提供」と「質疑応答」のパート別の修辞機能の出現度数である。

テーマと修辞機能との関係を調べるために、パー トごとに多重対応分析を行った6)。分析には R の

5） $\phi=$ 省略されている語を復元している。

6）出現頻度が 10 以下でほとんど出現しない修辞機能は除外した。
表 2 各テーマの修辞機能と脱文脈化指数の出現

図 1 「話題提供」の修辞機能の多重化対応分析結果 (図ではテーマを略して＜名所＞のように表示)

$\mathrm{mca}$ 関数を用いた。「話題提供」パートの結果を図 1 に、「質疑応答」パートの結果を図 2 に示す。

図 1 から「話題提供」における特徴として次のことがわかる。

・3つのテーマのほぼ中心に【説明】[13]が位置しており、【説明】[13]がいずれのテーマとも共起しやすい。

・テーマ「好きなもの」は【自己記述】[07]と【観測】[08] が共起しやすい。

・テーマ「近所の名所」では【状況外回想】[10] が共起しやすい。

・テーマ「新しく始めること」では【計画】[04] と【状況内回想】[03]が共起しやすい。【自己記述】[07]も関わりがある。

第1軸

図 2 「質疑応答」の修辞機能の多重化対応分析結果 (図ではテーマを略して＜名所＞のように表示)

図 2 の「質疑応答」パートでは、「話題提供」パー トと比べて 3 つのテーマが近接しており、修辞機能との関係において各テーマが類似した傾向にあること、個々の話題にのみ関連の深い修辞機能は見られないこと、「話題提供」パートと同様に【説明】[13] がいずれのテーマにも近接していることが確認された。

このように、「質疑応答」パートより「話題提供」 パートの方がテーマに依存した修辞機能の特徴がより現れやすいと言える。

## 4 考察

3 節では、共想法による談話では【説明】[13]がベースとなっていることが確認できた。本節では、 それ以外の修辞機能がテーマとどのように関わるかについて、「話題提供」パートを中心に確認する。

## 4.1 テーマ「好きなもの」

参加者が好きなものを紹介する際には、【自己記述】[07] と【観測】[08] が多く用いられている。以下に例を示す。

4) あの、このカメラはまだ買って半年ぐらいしかたってないんです。

〔発話機能: 命題 \& 時間要素: 習慣 - 恒久 \& 空間要素: 状況内】 $\rightarrow$ 【観測】[08]

5) もうそれも、年間 2000 枚ぐらい撮るんで、

〔発話機能: 命題 \& 時間要素: 習慣・恒久 \& 空間要
素 : 参加】 $\rightarrow$ 【自己記述】[07]

6) 保存、整理が大変ですね。

〔発話機能: 命題 \& 時間要素: 習慣・恒久 \& 空間要素: 状況外】 $\rightarrow$ 【説明】[13]

個人的な話題のため空間的距離が発話者に近く (空間要素「参加」)、なおかつ趣味・嗜好に関わる内容のため時間的距離に関わらない（時間要素「習慣・恒久」）性質が特定されたといえる。図 1 において【説明】 [13] に比べて距離が近いため、好きなものを語る際には、そのものについて説明するより、自分とそのものの関わりを述べていることがうかがえる。

## 4.2 テーマ「近所の名所」

「近所の名所」というテーマでは、予測したように【説明】[13] が他のテーマより多く用いられている他、【状況外回想】 [10] が多く、4名のうち 3 名の 「話題提供」で出現している。1名は7)のように、撮影時の状況を述べているが、他の 2 名は 8)9)10)のように歴史的な状況を含めて解説していた。名所という歴史的価値のあるものがテーマであるために、【状況外回想】 [10]が使用されたことがうかがえる。

7) 巫女さんがちょっと手伝って一緒に写させてくれました。

〔発話機能: 命題 \& 時間要素: 過去 \& 空間要素: 状況外了 $\rightarrow$ 【状況外回想】[10]

8) この一、お坊さんの教育のための学校が、昔あったらしいんですね。

〔発話機能: 命題 \& 時間要素: 過去 \& 空間要素: 状況外】 $\rightarrow$ 【状況外回想】[10]

9) お坊さんが、もう何十人っていうか、何百人もいたらしくて。

〔発話機能: 命題 \& 時間要素 : 過去 \& 空間要素: 状況外 $\rightarrow$ 【状況外回想】[10]

10) それで、だから旃檀林という名前が付いているらしいです。

〔発話機能: 命題 \& 時間要素 : 習慣・恒久 \& 空間要素: 状況外】 $\rightarrow$ 【説明】[13]

## 4.3 テーマ「新しく始めること」

「新しく始めること」では、図 1 より【計画】[04] が最も特徴的であるとされ、他の 2 つのテーマとは異なる様子が明らかになった。また、テーマが先の話題であるために出現を予測していなかった【状況内回想】[03] については、4名の参加者全員が用いていた。例えば「富士塚巡り」をしょうとしている参加者の場合、次のように 2 年ほど前に神社で本を入手したことから述べている。

11)なかなかその、富士山が載ってる本はないんで。

〔発話機能: 命題 \& 時間要素: 習慣・恒久 \& 空間要素: 状況外】 $\rightarrow$ 【説明】[13]

12)たまたまこれが見つかったんで、

〔発話機能: 命題 \& 時間要素: 過去 \& 空間要素: 状況内】 $\rightarrow$ 【状況内回想】[03]

13) 全部行けるとこは行ってみたいなと思って、思ってます。

〔発話機能: 命題 \& 時間要素: 過去 \& 空間要素: 状況外】 $\rightarrow$ 【状況外回想】[10]

14)それで、だから旗檀林という名前が付いているらしいです。

〔発話機能: 命題 \& 時間要素: 未来意志的 \&空間要素: 参加】 $\rightarrow$ 【計画】[04]

このように、新しく始めるにあたり、これまでの経緯を述べたりすでに開始していることを述べたりするために【状況内回想】[03]が用いられることがわかった。ここから、「新しく始めること」というテーマは、必ずしも先のことのみでなく、さまざまな脱文脈化度の発話を生じさせることが可能なことがうかがえた。

## 5 おわりに

本発表では共想法のテーマに基づいて語られる談話について、テーマと修辞機能の関連を検討した。先行研究 $[2,3]$ では、設定されるテーマによって用いられる修辞機能に特徴が見られたが、参加メンバーのバランスが十分でなかったため、本発表では固定された参加メンバーによる整備されたデー タを用いて、先行研究で示唆された傾向を再検証した。「話題提供」(独話) と「質疑応答」(会話)の分析から、両パートともテーマに共通する修辞機能【説明】[13]があること、「話題提供」パートではテーマに特徴的な修辞機能が見られるが、こうした特徴は 「質疑応答」パートではあまり見られないことが明らかになった。

今後は、今回分析したグループの 12 回分すべての談話を分析し、個人差なども考慮に入れてテーマと修辞機能との関係を詳細に検討する予定である。

## 謝辞

本研究は JSPS 科研費 JP19K00588, JP18KT0035, JP20H05022, JP20H05574, JST 研究費 JPMJCR20G1, JPMJST2168, JPMJPF2101 の助成を受けたものです。共想法に参加頂いた方に感謝申し上げます。

## 参考文献

[1] 大武美保子. 介護に役立つ共想法: 認知症の予防と回復のための新しいコミュニケーション. 中央法規出版, 2012.

[2] 田中弥生 - 小磯花絵 - 大武美保子. 共想法談話の脱文脈化観点からの検討. 言語処理学会第 27 回年次大会発表論文集, pp. 569-573, 2021.

[3] 田中弥生・小磯花絵・大武美保子. 脱文脈化の観点から見た共想法に基づく高齢者談話の分析. 国立国語研究所論集, Vol. 22, pp. 137-155, 2022.

[4] 佐野大樹. 日本語における修辞ユニットの方法と手順 ver.0.1.1一選択体系機能言語理論 (システミック理論）における談話分析一（修辞機能編）, 2010.

[5] 佐野大樹・小磯花絵. 現代日本語書き言葉における修辞ユニット分析の適用性の検証－「書き言葉らしさ・話し言葉らしさ」と脱文脈化言語・文脈化言語の関係 - . 機能言語学研究, Vol. 6, pp. 59-81, 2011.

[6] 田中弥生・佐尾ちとせ・宮城信. 児童作文の評価に向けた脱文脈化観点からの検討. 言語処理学会第 27 回年次大会発表論文集, pp. 750-755, 2021.

[7] 田中弥生・浅原正幸・小磯花絵. 手順説明談話における脱文脈化の諸相. 言語処理学会第 26 回年次大会発表論文集, pp. 720-723, 2020.

[8] 田中弥生・小磯花絵. 脱文脈化の観点からみる職場における取引先との談話の特徴. 言語資源活用ワークショップ発表論文集. 国立国語研究所, 2020.

[9] Mihoko Otake-Matsuura, Seiki Tokunaga, Kumi Watanabe, Masato S. Abe, Takuya Sekiguchi, Hikaru Sugimoto, Taishiro Kishimoto, and Takashi Kudo. Cognitive intervention through photo-integrated conversation moderated by robots (picmor) program: A randomized controlled trial. Frontiers in Robotics and AI, Vol. 8, p. 54, 2021.


# 生化学分野のフルペーパーを対象としたリンキングと索引付け

辻村有輝 井田龍希 三輪誠 佐々木裕
豊田工業大学
\{sd18602,sd18006, makoto-miwa, yutaka.sasaki\}@toyota-ti.ac.jp

## 概要

2021 年 8 月に開催された BioCreative VII Track 2 に参加した. Track 2 は論文全体からの固有表現抽出, リンキング，Indexing の3つのタスクから構成され，各タスクごとにニューラルモデルと，TF-IDF ベー スの Indexing モデルを構築して臨んだ. リンキングでは省略形の解決により性能向上が確認された.また，構築したニューラル Indexing モデルは TF-IDF ベースのモデルに比べエラー伝播に弱く，パイプライン設定では TF-IDF ベースのモデルより低い識別性能となることが分かった.

## 1 はじめに

医学・生化学分野の大規模文献検索システムである PubMed [1] において，最もよく検索に使用されるのが化学用語である. 文献中の化学用語を自動抽出し，主要トピックを見つけて索引付けできるようになれば，検索システムの利用者にとって大きな助けとなり，また後続の言語処理システムにおける有用な情報となる。BioCreative VII Track 2 [2] はより高性能な化学用語の抽出・索引付けアルゴリズムの研究を目的としたコンペティション形式のワークショップトラックであり，参加者はアノテーション付与された 150 件の論文全体からのエンティティ抽出，リンキング，および Indexing タスクに取り組む. 本稿では，BioCreative VII Track 2 における参加結果と，そこで使用したモデルについて述べる。なお，本稿の内容は BioCreative VII workshop にて報告した結果 [3] を日本語で再構成したものである.

## 2 関連研究

## 2.1 BioCreative VII Track 2

BioCreative VII workshop [4] は生化学分野を対象とした種々の情報抽出タスクを扱うコンペティション形式のワークショップである. 対象テーマ別に 5 つ
のトラックに分かれており，特に Track 2 [2] では生化学分野の論文全体からの固有表現抽出，リンキングおよび Indexing を扱う.

## 2.1.1 固有表現抽出

固有表現抽出は，文献中に出現するエンティティを抽出する問題である。本トラックで扱うエンティティは生化学用語である. 本トラックのユニークな点として，抽出対象が論文全体であることが挙げられ，図表のキャプションなどに登場するエンティティも抽出対象となる。論文はセクションやキャプションといった区切りに分割され，出現するエンティティのスパンがタグ付けされている. 本トラックでは各エンティティは必ず連続した 1 つのスパンのみで構成される. 公式の評価指標はエンティティスパンに対する $\mathrm{F}$ 値である。

## 2.1.2 リンキング

リンキングは文書中に出現するエンティティとデータベースに登録されたエントリーの対応をとるタスクである．本トラックでは抽出された生化学用語それぞれに対し MeSH シソーラス [5] 全体から対応する概念を割り当てる. MeSH シソーラスには 2021 年 8 月当時で 348,240 件の概念が登録されている. また，本トラックでは一つのエンティティ表層が複数の概念の組み合わせとなりうるマルチラベル分類の設定になっている．該当する概念が存在しない場合があり，その場合は一致なしを表すラベルを付与する．公式の評価指標は $\mathrm{F}$ 値であるが，正解数等はエンティティ表層単位ではなく，論文単位でまとめたユニーク概念集合に対して計測される.

## 2.1.3 Indexing

Indexing は文献に対する索引となる特に重要な話題を抽出するタスクである．本トラックでは各論文ごとに索引となる MeSH シソーラスの概念クラス集合を予測する形で行う，正解概念は，論文中で直
表 1 BioCreative VII Track 2 Indexing タスクの訓練コーパスにおける各条件での正解クラスの網羅数

接出現したエンティティのほか，そのエンティティをより一般化した上位概念となることもある。訓練コーパスにおける，各区分に分けた時の正解クラスの網羅数を表 1 に示す.ここで親子関係は MeSH Tree 構造における上位下位関係である。表のとおり，多くの正解クラスは論文中に直接出現し，また直接出現した概念クラスの親クラスを含めることで，全正解クラスの約 $94 \%$ 網羅できる. 公式の評価指標は $\mathrm{F}$ 値である。

## 2.2 二段階学習を用いたニューラルリンキ ングモデル

我々は医療文書におけるリンキングを扱った N2C2 2019 workshop において，リンキングを分類問題として解くニューラルネットワークベースのリンキングモデルを構築した [6]. 入力はリンキング対象のエンティティ表層であり，大規模事前学習済み言語モデルである SciBERT [7]を用いて入力エンティティをベクトル表現へエンコードする. このエンティティ表現と各概念の埋め込みベクトルのコサイン類似度をとることで類似度スコアを計算し，温度付きソフトマックス関数を適用することで，各概念の予測確率を得る. 確率が最大となった概念クラスをモデルの最終的な予測として採用する．学習は, 訓練コーパスに加えて, データベースの登録名を用いて作成した追加の訓練事例により行う。これにより訓練コーパスに出現しない概念クラスについても学習できるようにする. モデルの学習では, データベースからの訓練事例にのみ出現する概念クラスの訓練正解率が向上しないアンダーフィットの問題が発生する.このため，正解率が向上しなくなった段階で，出力層の重みをエンティティ表現から得た疑似的な収束值に上書きし, その後さらに追加の学習を行うことでこの問題に対処する.

## 3 提案手法

我々は BioCreative VII Track 2 の各タスクに対し， それぞれニューラルネットワークベースのモデルを構築し取り組んだ。また，Indexing に関しては
TF-IDFベースの手法も構築した.

## 3.1 固有表現抽出

固有表現抽出は, BILOU (Beginning, Inside, Last, Outside, Unit) スキーマによるエンティティ位置の系列ラベリング問題として解いた. 使用したモデルは SciBERT ベースのモデルで, 入力はサブワード分割されたセクション一つであり, 出力は各サブワードの BILOU タグである. 入力を SciBERT でエンコー ドし, SciBERT の最終層の表現ベクトルを全結合層による出力層への入力として, この出力にソフトマックス関数を適用することで，BILOU タグの確率分布を得る. 出力層の入力ベクトルにはドロップ率 $20 \%$ のドロップアウトを適用する．学習アルゴリズムには Adam を使用する。1 セクションに含まれるサブワード数が SciBERT の最大入力系列長を超える場合，ストライド幅 128 で最大系列長に収まるように分割する. デコード時には Viterbi アルゴリズムを使用し確率が最大となるタグ系列を選ぶ.

## 3.2 リンキング

リンキングでは先行研究 [6] のモデルをベースラインとして使用した. 元々の訓練コーパスに加え, MeSH シソーラス上の全概念の各登録名について,対応する概念クラスを正解とする訓練事例を作成し訓練に用いた。また，BC5CDR データセット [8] の訓練，開発，テストセット全ても訓練事例として追加して利用した。省略形は Ab3P [9] によりあらかじめ正規化し，入力に用いた.

## 3.3 Indexing

Indexing タスクにおいては，TF-IDFベースのモデルと, ニューラルネットワークベースのモデルを構築した. どちらのモデルも候補とする概念クラスに対して，それが索引対象かどうかを二値分類する形で予測を行う. 候補クラスは論文中に出現した概念クラスと, その概念の MeSH Tree 構造における親概念の集合である.

## 3.3.1 TF-IDF モデル

このモデルは, 各概念クラスの TF-IDF の值に対して，設定した間値を超えるかどうかで索引対象となるかどうかを判断する. TF-IDF の值は各論文中の出現したエンティティ表層の数から計算する.親概念の出現回数は, 子概念の出現回数の合計で

図1 ニューラル Indexing モデルの概観.

あり，親概念自身も直接出現する場合はそれも合算する. 親概念としての出現回数から計算された TF-IDF と, 直接の出現数のみから計算した (子概念としての）TF-IDFでは，それぞれ別の閾値を使って索引対象の識別を行う. 親概念が直接出現する場合は，両種の閾値判定を行い，いずれかでも閾値を超えた場合は索引対象とする. 閾値は $\mathrm{F}$ 值が最大となるようにチューニングする.

## 3.3.2 ニューラル Indexing モデル

図 1 に提案するIndexing モデルの概観を示す. 初めに，論文中に直接出現する各概念とその親概念クラスごとに言及集合をまとめ，各概念のバッグを作成する。親概念クラスのバッグは，その概念の子概念の言及と，直接の出現がある場合はそれらを加えた集合となる. 各言及はサブワードに分割し, 前後 4 サブワードまでの文脈を付け加える. エンティティの表層と文脈の間には，特殊トークン $[\mathrm{BOM}]$, [EOM] を挿入しスパンの境界を表す. エンティティの表層が 9 サブワードを超える場合，これに収まるように中央のトークンを特殊トークン [SHORT] で置き換える (例: 図 1 中段の言及)．また，言及がバッグにおける子概念のものである場合，それを表す特殊トークン [CSEP] と，バッグの概念に対応する辞書登録名を付け加える (例：図 1 最下段の言及)。以上の工程で作成した言及バッグをモデルの入力とし, そのバッグに対応する概念クラスが索引対象かどうかの二値分類によって Indexingを行う.

モデルは各言及を SciBERTによりエンコードし， その最終層の表現ベクトルに対してトークンレベルのアテンション機構を適用することで言及表現を得る.これらにさらに言及レベルのアテンション機構を適用してバッグ表現を計算し, 全結合層とシグモイド活性化関数によって索引対象である確率值を得表 2 固有表現抽出の結果.

る. アテンション機構にはマルチヘッドアテンション [10]を用いた. 損失関数には負の対数尤度を使い，最適化アルゴリズムには Adamを採用した.

## 4 実験

## 4.1 実験設定

BioCreative VII Track 2 で提供される訓練コーパス 150 論文のうち，120 論文を訓練セット，30 論文を開発セットとして分割し, 開発セットにおける各評価指標が最大になるようにチューニングを行った. チューニングには Optuna [11]を使用した. テスト用のモデルの学習には 150 論文全てを訓練データとして使用し，固有表現抽出，リンキング，Indexing の順にパイプラインで予測を行った. テスト用のリンキングモデル, Indexing モデルの学習時の入力には，それぞれアノテーションに基づいた正しいスパン・概念ラベルを使用した. 各ニューラルモデルは, 同一の設定で 5 回モデルの学習を行い, 各出力確率の平均をとる形でアンサンブルを行った. 実装には PyTorch 1.8.1を利用し，GPU での計算には GeForce RTX 3090 を用いた.

## 4.2 実験結果

## 4.2.1 固有表現抽出

表 2 に固有表現抽出の実験結果を示す. 投稿したモデルはトラック参加者全体の中央値から $0.89 \%$ ポイント低い $\mathrm{F}$ 値であった. 使用されたモデルの多く
表 3 開発セットにおけるリンキングの結果. “-OW”は重み上書きとその後の追加学習の不利用を表す. “+Ab3P” および “+BC5CDR” は Ab3P と BC5CDR の利用を表す.

表 4 テストセットにおけるリンキングの結果.

が BERT [13] ベースのモデルであった. 参加チームは合計 15 チームであり, 11 位のスコアだった.

## 4.2.2 リンキング

表 3 にリンキングタスクにおける各モデルの開発スコアを示す. 本データにおいては重み上書きの利用による性能向上は, 先行研究 [6] で報告されたもの比べあまり大きくない. 特に，BC5CDR データセットを使用した場合は，重み上書きを使わずともほとんど同じ $\mathrm{F}$ 值を得られた。これは, 追加の学習データによって学習が容易になり，重み上書きの導入の目的であるアンダーフィットが起こりづらかったためだと考えられる. Ab3Pによる省略形の解決では常に性能が向上した. BC5CDR データセットの利用による性能向上は比較的小さく，Ab3P を利用する場合はほとんど差が生まれない結果となった.

表 4 にテストセットにおけるリンキングのスコアを示す. 各参加者が採用したシステムには，ニュー ラルベースのものと，ルールベースおよびルールとニューラルのハイブリットのモデル各種が見受けられた. 最高位のスコアを獲得したチームは，ルールベースでリンキングを行ったのち，リンク先を見つけられなかったエンティティをニューラルベースのモデルで補うシステムであった [14]. 参加チームは合計 15 チームであり，うち 2 チームは固有表現抽出タスクには参加していない. 提案システムは全体で 4 位であった.表 5 開発セットにおける Indexing の結果. “スパン・概念”は，モデルの入力がアノテーションに基づくか (“Gold”)，パイプラインにより得られた予測結果であるか (“Pipeline”)を表す.

## 4.2.3 Indexing

表 5 に開発セットにおける Indexing のスコアを示す. 表のとおり，ニューラルモデルは与えられるエンティティのスパンと概念ラベルが正しいのであれば TF-IDF よりも高い F 值を得ることができるが， パイプラインの設定の時は大きくスコアを落とし， エラー伝播の影響を受けやすい。これは，ニュー ラルモデルの入力にはスパンの境界情報を利用しているためにスパンのずれが直接入力に影響を与える一方，TF-IDF モデルの入力は出現数のみであり，エラー伝播の影響が小さいためだと考えられる. 表 6 にテストセットにおける Indexing のスコアを示す。提案モデルのテストセットのスコアは，開発セットにおけるパイプラインの設定と同等のスコアになった. 最高位を記録したチームのモデルは PubMedBERT と特徴量を組み合わせた二値分類モデルであった [15]. Indexing タスクは前 2つのタスクを解いたうえで取り組む必要があり，時間的な制約もあって最終的な参加チームは 4 チームと前 2 のタスクより少ない.また，我々を含めた 3 チームは公式の提出期限後の追加実験としての提出である.我々は 3 位のスコアであった。

## 5 おわりに

本論文では，BioCreative VII Track 2 を対象に構築したモデルを評価した. 今後の課題として，ニュー ラル Indexing モデルのエラー伝播の問題を改善することが挙げられる.

## 謝辞

本研究は JSPS 科研費 JP20K11962 の助成を受けたものです.

## 参考文献

[1] National Library of Medicine. PubMed, 1996. https: //pubmed.ncbi.nlm.nih.gov/.

[2] Robert Leaman, Rezarta Islamaj, and Zhiyong Lu. The overview of the NLM-Chem BioCreative VII track. In BioCreative VII Challenge Evaluation Workshop, pp. 108-113, 2021.

[3] Tomoki Tsujimura, Ryuki Ida, Isanori Oiwa, Makoto Miwa, and Yutaka Sasaki. TTI-COIN at BioCreative VII Track 2. In BioCreative VII Challenge Evaluation Workshop, pp. 156-161, 2021.

[4] BioCreative VII, 2021. https:// biocreative.bioinformatics.udel.edu/events/ biocreative-vii/biocreative-vii/.

[5] National Library of Medicine. MeSH. https://www. ncbi.nlm.nih.gov/mesh/.

[6] 茂里憲之, 辻村有輝, 三輪誠, 佐々木裕. 二段階学習と概念クラスを用いた医療固有表現の正規化. 言語処理学会第 26 回年次大会発表論文集, pp. 1487-1490, 2020.

[7] Iz Beltagy, Kyle Lo, and Arman Cohan. SciBERT: A Pretrained Language Model for Scientific Text. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3615-3620, 2019.

[8] BioCreative V, 2015. https://biocreative. bioinformatics.udel.edu/tasks/biocreative-v/ track-3-cdr/.

[9] Sunghwan Sohn, Donald C Comeau, Won Kim, and W John Wilbur. Abbreviation definition identification based on automatic precision estimates. BMC Bioinformatics, Vol. 9, No. 402, 2008.

[10] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is All You Need. In Proceedings of the 31st International Conference on Neural Information Processing Systems, p. 6000-6010, 2017.

[11] Takuya Akiba, Shotaro Sano, Toshihiko Yanase, Takeru Ohta, and Masanori Koyama. Optuna: A Next-generation Hyperparameter Optimization Framework. The 25th ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD’ 19), pp. 2623-2631, 2019.

[12] Hyunjae Kim, Mujeen Sung, Wonjin Yoon, Sungjoon Park, and Jaewoo Kang. Improving Tagging Consistency and Entity Coverage for Chemical Identification in Full-text Articles. In BioCreative VII Challenge Evaluation Workshop, pp. 140-143, 2021.

[13] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceed- ings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, 2019.

[14] Tiago Almeida, Rui Antunes, João Figueira Silva, João Rafael Almeida, and Sérgio Matos. Chemical detection and indexing in PubMed full text articles using deep learning and rule-based method. In BioCreative VII Challenge Evaluation Workshop, pp. 119-123, 2021.

[15] Arslan Erdengasileng, Keqiao Li, Qing Han, Shubo Tian, Jian Wang, Ting Hu, and Jinfeng Zhang. A BERT-Based Hybrid System for Chemical Identification and Indexing in Full-Text Articles. In BioCreative VII Challenge Evaluation Workshop, pp. 130-134, 2021.


# 決算短信からの業績要因文の抽出に向けた 業績発表記事からの訓練データの生成

大村和正 ${ }^{1}$ 白井 穂乃 ${ }^{2}$ 石原 祥太郎 ${ }^{2}$ 澤 紀彦 2
1 京都大学大学院情報学研究科 2 株式会社日本経済新聞社
omura@nlp.ist.i.kyoto-u.ac.jp
\{hono.shirai, shotaro.ishihara, norihiko.sawa\}@nex.nikkei.com

## 概要

決算短信からの業績要因文の抽出には一定の需要があり，業績に関わる要因が記述された文を高精度に抽出することができれば投資支援として非常に有用である。本稿では，業績発表記事から単純なルー ルで訓練データを生成し, 決算短信からの業績要因文の抽出に向けた深層学習モデルを構築する。提案手法はデータ構築が容易であるという特徴を持ち，再現率の高い抽出モデルが構築されることを示す.

## 1 はじめに

ウェブの普及に伴って日々膨大な情報が電子デー タとして蓄積されるようになり, 各々の需要に合わせて必要な情報を抽出する技術はますます重要になっている $[1,2]$. このような場面の一例として，決算短信からの業績要因文の抽出 $[3,4]$ がある.

決算短信とは，上場企業が決算発表を行う際に開示する，当期の業績等をまとめた書類である. 投資家は決算短信に記載された情報から企業の動向を推測し投資行動の参考にするため，決算短信は極めて重要な情報源である。一方で，決算発表が義務付けられている上場企業の数は約 4,000 企業にのぼり， その多くは年に 4 回決算発表を行うため，これらの決算短信を把握するには多大な労力を要する．企業の動向の判断材料となる，業績に関わる要因が記述された文を自動抽出することができれば，負荷軽減および即時性の観点から投資家への支援として非常に有用であると考えられる。

本研究では，中山らの定義 [5] を参考に，決算短信に含まれる文を以下のように分類定義する.

業績文当期の業績変化のみを述べた文

要因文文内で当期の業績変化と明示的に関連付けられていないが，要因であると判断される文表 1 ある企業の決算短信と業績発表記事の例 (決算短信は定性的情報から，業績発表記事は冒頭 1 段落を拔粋).

<企業名>が 28 日発表した 2020 年 9 11 月期の連結決算は，純利益が前年同期比 3.6 倍の 110 億円だった. 9〜 11 月期として過去最高となる。気温低下で秋冬物の販売が好調だったほか，值下げの抑制で粗利が改善した. 新型コロナウイルス禍を受けた巣ごもり消費で, 部屋着やインテリア商品などの需要も堅調だった。

業績要因文文内で当期の業績変化とその要因が述べられた文

その他注記など，上記のいずれにも該当しない文. この中で，業績要因文および要因文の抽出を目的とする．例えば，表 1 上段の一文目は「売上が大幅に増加」という業績変化とその要因が文内で関連付けて述べられているため，業績要因文である。

本稿では，決算短信からの業績要因文の抽出に向けて，業績発表記事から深層学習モデルの訓練デー タを生成する手法を提案する。業績発表記事とは，決算発表後に第三者 (記者) によって作成される決算短信の要約記事である．表 1 下段のように，業績発表記事には当期の業績と記者が重要だと判断した業績要因が簡潔に記述されており，要因の分類基準の学習に適している。また，重要文を学習できるため，業績発表記事を模した決算サマリー1)の自動生成への応用を視野に入れることができる。

提案手法では，業績発表記事から定性的な文を単純なルールで判別し，これを要因文として学習する. データ生成を工夫することで，再現率の高い抽出モデルが構築されることを実験的に示す.

## 2 関連研究

酒井らは，手がかり表現と企業キーワードによる業績要因文の抽出手法を提案した $[6,4]$. 手がかり表現は「好調でした」のような，業績要因となる状態や変化を表す用言的な表現と定義され，業績発表記事または決算短信から以下の手順で獲得する。

1. 少数の手がかり表現を人手で与え，その手がかり表現に係る文節を取得する。

2. 取得した文節のうち，様々な手がかり表現に一様に係るものを抽出する (共通頻出表現と呼ぶ)。

3. 共通頻出表現が係る文節を取得し，その中で様々な共通頻出表現が一様に係るものを新たな手がかり表現として獲得する.

4. 上記の操作を一定回数繰り返す.

例えば，2 で係り先の一様性を測る時は，共通頻出表現の候補 $f$ が手がかり表現 $c$ に係る確率 $P(f, c)$ にもとづくエントロピー $H(f)$ を用いる。これらは次のように計算される.

$
\begin{aligned}
P(f, c) & =\frac{\#(f, c)}{\sum_{c^{\prime} \in C} \#\left(f, c^{\prime}\right)} \\
H(f) & =\sum_{c^{\prime} \in C}-P\left(f, c^{\prime}\right) \log _{2} P\left(f, c^{\prime}\right)
\end{aligned}
$

ただし, $\#(f, c)$ は $f$ が $c$ に係る回数, $C$ は手がかり表現の集合であり，係り先が一様であるほど $H(f)$ が高くなる.3でも同様に係り元の一様性を測る.

企業キーワードは商品名や部門名など，各企業にとって重要な名詞句を指す. ある企業 $t$ の決算短信集合 $S(t)$ における名詞句 $n$ の重要度 $W(n, S(t))$ を次のように定義し，これをもとに自動獲得する。

$
W(n, S(t))=t f(n, S(t)) \times \log _{2} \frac{N}{d f(n)} \times H(n, S(t))
$

ただし， $t f(n, S(t))$ は $S(t)$ における $n$ の頻度，df(n) は $n$ を含む決算短信がある企業数， $N$ は収集した決算短信の企業数, $H(n, S(t))$ は $S(t)$ における $n$ の出現確率にもとづくエントロピーである． $S(t)$ を 1 つの文書とみなした時の tf-idf が大きく, $S(t)$ の中で満遍なく現れる単語ほど重要度が高くなる。

業績要因文の抽出時は，手がかり表現を含み，その係り元に企業キーワードを含む文を抽出する. マッチングベースの手法であり，再現率が低いという問題が指摘されている [7].

中山らは，業績要因文を定義し，酒井らの手法を発展させて文間の結束性を考慮する業績要因文の抽表 2 評価データの統計.

出手法を提案した [5]. 文間の談話関係や語の重複を手がかりに抽出結果を更新することで，精度を改善している。

酒井らは，前述の手法を深層学習モデルの訓練データの自動生成に応用することで，より再現率の高い業績要因文の抽出手法を提案した [7]. 決算短信から確信度の高い業績要因文の候補を抽出し, これを訓練データとして利用するため，適合率を落とさず再現率を向上させている．本稿では，業績発表記事から分類基準を学習することを目的としており，この点で若干異なる。

## 3 提案手法

提案手法では，業績発表記事から定性的な文を 「要因文」，定量的な文を「業績文」として抽出することで訓練データを自動生成する，定性的であるか否かは文中に数字を含むか否かという単純なルー ルで判別する．具体的には以下のような手順で訓練データを自動生成する.

1. 業績発表記事を文単位に分割し，各文に対して，数字を含む文を「業績文」，含まない文を 「要因文」と自動でラベル付けする。

2. 冒頭 1 段落に含まれる業績文と要因文を適当な接続語2)でつなぐことで疑似的な業績要因文を生成する.

2 について，表 1 下段の例から「気温低下で秋冬物の販売が好調だったほか，值下げの抑制で粗利が改善したことにより<企業名>が 28 日発表した 2020 年 9〜11 月期の連結決算は，純利益が前年同期比 3.6 倍の 110 億円だった.」といった文が生成される.

## 4 実験

## 4.1 データ構築

業績発表記事の取得手がかり表現の獲得および深層学習モデルの訓練に利用する業績発表記事は,

表 3 訓練データの統計.

株式会社日本経済新聞社が提供するニュース配信サービス「日経電子版 $」^{3}$ から取得した. 具体的には，2016年 1 月 1 日から 2020 年 12 月 31 日までの 5 年間を対象とし，メタデータのトピック情報に「企業決算」ラベルが付与されているものを取得した.取得された記事の総数は 3,322 件, 総文数は 43,893 文， 1 文あたりの平均文字数は 39.8 文字であった.

決算短信の取得企業キーワードの抽出および各手法の評価に利用する決算短信は，公開されている決算短信から抽出したテキストを保存している内製のデータベースから取得した. 業績発表記事の取得時と同様に 2016 年 1 月 1 日から 2020 年 12 月 31 日までの 5 年間を対象とした. 取得されたデータのうち，タイトルに「決算短信」の文字列を含まないものや本文が 6,000 文字未満4) のものなどを除き，最終的に 6,067 件の決算短信を獲得した.

獲得された決算短信のテキストデータには表を無理矢理テキスト化した乱雑な文字列を含むため，酒井らの手法 [4] を参考に次のようなクレンジングを行った.

1. テキストを句点「。」で分割する.

2. 分割された文字列のうち，350 字以下のものを文として抽出する。
3. 350 字より多いものは全角スペースまたは下駄 (E) で分割し，分割された末尾の文字列が 350 字以下であれば，それを文として抽出する。

評価データの作成獲得した決算短信から開発用に 5 件，テスト用に 20 件を無作為に抽出し, ${ }^{5}$ ) 各文に対して「業績要因文または要因文である」か否かのアノテーションを行った. この評価は著者らが人手で行い，3 人以上の合意があったものを正例とした. 評価結果を表 2 に示す.

## 4.2 実装の詳細

決算短信には次期の業績予想や注記など，当期の業績に関する定性的情報と無関係な文が数多く含ま

れる.このような文を事前に除外するために，各文に次のようなルールを適用した。

1. 文末の節が過去形でない文は「業績要因文または要因文でない」

2.「努めました」「はかりました」「まいりました」 のいずれかで終わる文は「業績要因文または要因文でない」

3.「店舗数」の文字列を含む文は「業績要因文または要因文である」

これらのルールでラベル付けできなかった文に対

し，ルールのみ・ベースライン・提案手法の 3 つの設定でラベルを予測した. 精度は自動でラベル付けされた文を含めて算出した。

ルールのみ上記のルールを満たさない文は全て 「業績要因文または要因文である」とする。ルールそのものの影響を定量的に測るために行う。

ベースライン本実験では，手がかり表現と企業キーワードによる業績要因文の抽出手法 $[6,4]$ をベースラインとした. 2 節の手順に従って，業績発表記事 3,322 件から手がかり表現を，決算短信 6,067 件から企業キーワードを獲得した. 文節および係り受けの解析には $\mathrm{KNP}[8]^{6)}$ を利用した. 使用した手がかり表現の数は 202 個であった.

手がかり表現は「好調だった」のように付属語を含みうるため，常体の文章 (業績発表記事) から獲得した手がかり表現を敬体の文章 (決算短信) とのパターンマッチにそのまま用いるのは適切でないと考えられる。そのため，JUMAN 辞書の代表表記 [9] を用いて手がかり表現を正規化した際の精度も検証した.

提案手法 3 節の手法を適用し, 深層学習モデルの訓練データを構築した. 文分割は pythontextformatting ライブラリ7)を利用した. 訓練データの統計を表 3 に示す.

素朴にこの訓練データを用いると，数字を手がかりとするモデルが構築されてしまうと考えられる. これに対処するため，業績文に含まれる数字を空文字列に置換して [10] 訓練した時の精度も検証した。

業績要因文の分類モデルとして BERT[11]を用いた. BERT の事前学習モデルは, 日本語 Wikipedia で事前学習した NICT BERT 日本語 Pre-trained モデル8)を利用した. fine-tuning は Devlin らが提案した

表 4 テストデータに対する実験結果. 提案手法については, 異なる 3 つのシード値で fine-tuning した結果の平均と標準偏差を記載している。

表 5 開発データに対する BERT モデルの誤分類例。「業績要因文または要因文である」ことを「正」，そうでないことを 「負」と表現した．また，著者らが要因と判断した部分を太字で表示している。

 \\

単文分類の設定 [11] で行い，要因文および擬似的な業績要因文を正例，業績文を負例とする２値分類を学習した。ハイパーパラメータの詳細は付録 A. 2 に記載した. 開発データに対する精度をエポックごとに調べ， $\mathrm{F}$ 值が最も高かった時のパラメータでテストデータに対する精度を検証した。

## 4.3 実験結果

テストデータに対する実験結果を表 4 に示す. ベースライン手法は，正規化した手がかり表現を用いることで適合率・再現率ともに向上している.これは，文体のミスマッチにより抽出できない業績要因文が数多く存在する一方で，業績発表記事の情報が決算短信からの業績要因文の抽出にある程度有用であることを示している.

提案手法は，擬似的な業績要因文を訓練データに加えることで再現率が大きく向上している. 業績発表記事では業績とその要因が別々の文に分けて記述されることが多いため, 決算短信に特徴的な「文内で要因を述べてから業績を述べる」パターンが擬似的な業績要因文によって学習されたと考えられる.

また，数字を空文字に置換するデバイアシングの有無に着目すると，これによって適合率が多少向上
していることが分かる．数字以外に着目させることで，定量的な文と定性的な文がより判別できるようになったと考えられる。

## 4.4 定性的分析

開発データの分類結果をもとに提案手法のモデルが誤分類する文の傾向を分析した．誤分類の例を表 5 に示す.

・国家的もしくは世界的な経済状況を述べた文

・定性的ではあるが，取り組みとして弱いために要因文と評価されなかった文

・定量的な表現を多く含む文が誤分類される傾向にあった。

## 5 おわりに

本稿では，業績発表記事から訓練データを生成し，決算短信から業績に関わる要因が記述された文を抽出する深層学習モデルの構築に取り組んだ，今後の課題としては, データ構築手法の改善や評価データの拡張，決算短信を訓練データに利用した場合との比較などが挙げられる。また，抽出精度の改善と並行して，極性の予測や決算短信を要約した決算記事の生成手法も検討したい。

## 参考文献

[1] Susumu Akamine, Daisuke Kawahara, Yoshikiyo Kato, Tetsuji Nakagawa, Kentaro Inui, Sadao Kurohashi, and Yutaka Kidawara. WISDOM: A Web Information Credibility Analysis Systematic. In Proceedings of the ACL-IJCNLP 2009 Software Demonstrations, pp. 1-4, Suntec, Singapore, August 2009. Association for Computational Linguistics.

[2] Junta Mizuno, Masahiro Tanaka, Kiyonori Ohtake, JongHoon Oh, Julien Kloetzer, Chikara Hashimoto, and Kentaro Torisawa. WISDOM X, DISAANA and D-SUMM: Large-scale NLP Systems for Analyzing Textual Big Data. In Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics: System Demonstrations, pp. 263-267, Osaka, Japan, December 2016. The COLING 2016 Organizing Committee.

[3] 西沢裕子, 酒井浩之. 企業の決算短信 pdf からの業績要因の自動抽出. 電子情報通信学会技術研究報告 $=$ IEICE technical report : 信学技報, 2013.

[4] 酒井浩之, 西沢裕子, 松並祥吾, 坂地泰紀. 企業の決算短信 pdf からの業績要因の抽出. 人工知能学会論文誌, Vol. 30, No. 1, pp. 172-182, 2015.

[5] 中山祐輝, 津々見誠, 村上浩司. 文間の結束性に基づく決算短信における業績要因文の抽出. 言語処理学会第 25 回年次大会, 2019.

[6] Hiroyuki Sakai and Shigeru Masuyama. Cause Information Extraction from Financial Articles Concerning Business Performance. IEICE Transactions on Information and Systems, No. 4, pp. 959-968, 2008.

[7] 酒井浩之, 松下和暉, 北島良三. 学習データの自動生成による決算短信からの業績要因文の抽出. 知能と情報, Vol. 31, No. 2, pp. 653-661, 2019.

[8] Sadao Kurohashi and Makoto Nagao. A Syntactic Analysis Method of Long Japanese Sentences Based on the Detection of Conjunctive Structures. Computational Linguistics, Vol. 20, No. 4, pp. 507-534, 1994.

[9] 黒橋禎夫. 言語のセマンティックス. 人工知能, No. 6, pp. 718-723, 2006.

[10] Brendan Kennedy, Xisen Jin, Aida Mostafazadeh Davani, Morteza Dehghani, and Xiang Ren. Contextualizing Hate Speech Classifiers with Post-hoc Explanation. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, July 2020.

[11] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), 2019.

## A 実装の詳細の補足

## A. 1 ベースライン

手がかり表現のシードは酒井らの手法 $[6,4]$ にならい，「が好調」と「が不振」の2つを利用した.また，手がかり表現は用言の節，共通頻出表現は体言の節に限定し，数字を含むものは除外した. 共通頻出表現および手がかり表現の獲得に関するエントロピーの閾值のパラメータ $\alpha, \beta$ は $\{0.5,0.625,0.75\}$ の 3 通りを試し，最終的に 0.625 に設定した.また，2節で述べたステップ 1～3 は 3 回繰り返した. 獲得された手がかり表現の例を表 6 に示す。

表 6 手がかり表現の獲得例. 括弧内は Juman 辞書の代表表記 [9]を表す.

改善した (改善/かいぜん)

伸ばした (伸ばす/のばす)

堅調だった (堅調だルけんちょうだ)

拡大し (拡大/かくだい)

増えている (増える/ふえる)

苦戦した (苦戦くくせん)

伸び悩んだ (伸び悩む/のびなやむ)

悪化した (悪化/あっか)

減少し (減少/げんしょう)

低迷している (低迷/ていめい)

## A. 2 提案手法

ハイパーパラメータの詳細は表 7 のとおりである. 業績発表記事に対して過学習すると, 決算短信に対する抽出精度が悪化すると考えられるため，学習率を一般的な値より低く設定している。

表 7 パイパーパラメータの詳細.

 \\


# 単語の長さと構成要素を考慮した単語レベルの摄動

平岡 達也 ${ }^{1}$ 高瀬 翔 $^{1}$
内海 慶 ${ }^{2}$ 欅 惇志 ${ }^{2}$ 岡崎 直観 1
1 東京工業大学 2 デンソーアイティーラボラトリ
\{tatsuya.hiraoka@nlp., sho.takase@nlp., okazaki@\}c.titech.ac.jp
\{kuchiumi, akeyaki\}@d-itlab.co.jp

## 概要

本稿では，単語置換による摂動のシンプルな改善手法として, 単語の長さを考慮した単語置換 （WR-L）と, 単語の構成要素を考慮した単語置換 （CWR）を提案する. WR-L では，置換対象の単語の長さをもとにしたポアソン分布から置換後の単語を選択する. CWRでは, 置換対象の単語の構成要素（部分文字列・重複文字列）加置換後の単語を選択する. 評価実験により, WR-L と CWRが文書分類と機械翻訳の性能向上に寄与することを示す.

## 1 はじめに

単語置換による単語レベルの摂動は，自然言語処理で広く用いられる $[1,2]$. 一般的な単語置換 $[3,4]$ では，入力文中の単語を語彙に含まれるランダムな単語に置換する。これは単語を一様分布からサンプリングする単純な手法であるが，敵対的摂動のような複雑な摂動と同程度に効果的であることが知られている[2]. しかし, 従来の単語置換では置換対象の単語とは無関係な単語を頻繁に選択することになる.そのため，掑動を加える単語の割合を高く設定すると, 文中の殆どの単語が無関係な単語に置換されてしまい，モデルの性能に悪影響を及ぼす。摂動を活用するためには，何度も試行を繰り返して八イパーパラメータを慎重に設定する必要がある.

単語レベルの摂動の異なるアプローチとして，サブワード正則化 $[5,6,7]$ が挙げられる. サブワード正則化では，事前に作成した言語モデルに基づいて，学習エポックごとに異なる単語分割をサンプリングしてモデルの学習を行う. サブワード正則化は単語分割をサンプリングするため, 元の文と無関係な単語は採用されない. しかし, 単語分割のサンプリングには複雑な処理を要するため, 単語置換に比べると摂動の処理に時間がかかるという問題点が

図 1: “up/da/tion”に含まれる単語“da”を CWR - L によって置換する場合の概要.

ある.また，サブワード正則化は単語置換と比較して，性能向上が限定的となることがある.

本稿では，単語置換とサブワード正則化の折衷案として，高速かつ効果的な単語レベルの摂動手法を提案する。提案手法では，単語置換によるサンプリングの対象となる語彙を，置換対象の単語の (1) 長さと (2) 構成要素によって制限する。単語の長さを用いたアプローチ (1) では，置換対象の単語の長さに応じて単語のサンプリングに用いる分布を重み付けする。単語の構成要素を用いたアプローチ (2) では，サンプリングの対象となる語彙を，置換対象の単語を構成する要素に制限する。これらの工夫により，置換対象の単語が無関係な単語に置き換えられることを防ぎ，ハイパーパラメータの変更に対しても頑健にタスクの性能が向上するような単語レベルの摄動を実現する。さらに，提案手法では単語分割のサンプリングを行わないため，サブワード正則化よりも高速に摂動処理を実行できる．評価実験により，提案手法が文書分類と機械翻訳において性能の向上に寄与することを確認する。

## 2 提案手法

提案手法の説明の前に, 一般的な単語置換の概要を説明する. $I$ 個の単語からなる文 $x=$ $x_{1}, \ldots, x_{i}, \ldots, x_{I}$ に対して, 単語置換では確率 $a$ で選択した単語 $x_{i}$ を $\tilde{x_{i}}$ に置き換える。

$
\begin{aligned}
\tilde{x}_{i} & \sim Q_{V} \\
x_{i} & =\left.\{\begin{array}{lll}
\tilde{x_{i}} & \text { with probability } & a \\
x_{i} & \text { with probability } & 1-a
\end{array} .\right.
\end{aligned}
$

ここで $Q_{V}$ は，語彙 $V$ の全体に対する一様分布であり，a は置換の頻度を設定するためのハイパーパラメータである．本稿では，確率 $a$ で選択された $x_{i}$ を置換対象の単語, $\tilde{x_{i}}$ を置換後の単語と呼ぶ.

## 2.1 長さを考慮した単語置換（WR-L）

従来の単語置換では, 置換対象の単語の長さによらず，単語のサンプリングを行う. この問題を解決するために，置換対象の単語の長さに近い長さの単語を優先的に選択するような単語置換 (Word Replacement using Length: WR-L) を提案す $る^{1)}$. WR-L では，置換対象の単語の長さが平均となるようなポアソン分布2)を用いて $Q_{V}$ を重み付けし，以下の確率を用いて単語をサンプリングする。

$
p\left(\tilde{x}_{i} \mid x_{i}\right)=\frac{\operatorname{Poisson}\left(L_{\tilde{x}_{i}} ; \lambda=L_{x_{i}}\right)}{Z} .
$

ここで $L_{x_{i}}$ は単語 $x_{i}$ の文字数, $Z$ は確率の合計を 1 とするための正規化項である.

## 2.2 構成要素を考慮した単語置換 (CWR)

従来の単語置換では一様分布を用いているため,置換対象の単語とは無関係な単語が頻繁にサンプリングされる．これを解決するために，置換対象の単語の構成要素を考慮した単語置換 (Compositional Word Replacement: CWR）を提案する.

CWR では，単語のサンプリングを行う語彙 $V$ を，置換対象の単語の構成要素 (部分文字列と重複文字列）からなる $S_{x_{i}}$ に制限する。具体的には，置換対象の単語を構成する部分文字列と, 置換対象の単語の一部を含む重複文字列に語彙を制限する．例えば図1のように, “up/da/tion”に含まれる“da”という単語を置換対象とすると，部分文字列は“” “” “a”

1）置換後の単語の長さの分布を付録図 4 に示した.

2）ポアソン分布を用いたノイズは，自然言語処理の離散的な入力を用いた学習に適していると考えられる [8].表 1: 単語置換の例. 太字は置換された単語を示す.

の 2 種類，重複文字列は “updat”, “at,”, 'ation,” の 3 種類である. 制限された語彙 $S_{x_{i}}$ に対して，一様分布 $Q_{S_{x_{i}}}$ から置換後の単語をサンプリングする.

各単語ごとに，学習データ全体の単語分割候補を用いて重複文字列を事前に計算しておく.このとき，異なる文脈で用いられる単語であっても，単語ごとに重複文字列を共有する。例えば，単語 “ $\mathrm{da}$ ”が “up/da/tion”と “pan/da”の 2 つの文脈で用いられている場合，この単語の重複文字列は “pan/da” に含まれる “and” と, “up/da/tion” に含まれる “updat”, “at”, “ation” の合計 4 種類から構成される ${ }^{3}$ ).

また, WR-L と CWR は同時に利用してもよい. この場合，CWRによって制限されたサンプリングのための語彙 $S_{x_{i}}$ の一様分布に対して, ポアソン分布を用いた重み付けを行う。

## 3 実験

提案手法の有効性を確かめるために，文書分類と機械翻訳で実験を行う，比較対象の手法として，単語レベルの摂動を用いない場合（Vanilla）と，通常の単語置換による摄動（WR）を用いる. さらに，他の単語レベルの摂動として以下の手法を用いる.

サブワード正則化（SR）では，各学習エポックごとに言語モデルから単語分割をサンプリングして用いる. 本稿では, SentencePiece [5]を利用した.

Word Dropout (WD) では, (2) 式の $\tilde{x_{i}}$ として分散表現がゼロベクトルであるトークンを使用する [11].

Unknown Token Replacement (UTR) では，(2) 式の苃として未知語トークンを使用する [12].

Language Model (LM) では，ランダムに選択した単語を言語モデルに基づいてサンプリングした単語に置換する。言語モデルには SentencePieceを用い，これを利用できない設定では単語の頻度数え上げによって作成したユニグラム言語モデルを用いる.
}$ を求める処理の概要を付録のアルゴリズム 1 に示した.
}
表 2: 文書分類での実験結果（5 回試行の平均 F1 値）.太字は手法間で最大値を示し，下線は WR を有意（マクネマー検定で $p<0.05 ）$ に上回ることを示す.

表 3: 機械分類での実験結果（3 回試行の平均 SacreBLEU 値 [9]）。太字は手法間で最大値を示し，下線は WR を有意（Bootstrap Resampling [10] で $p<0.05 ）$ に上回ることを示す.

提案手法である WR-L と CWRに加えて，これらを組み合わせた手法を CWR-L と表記する. 各手法による単語置換の例を表 1 に示した. これらの摄動手法のうち，SR 以外は式 (2) で説明したハイパー パラメータ $a$ によって単語置換の割合を制御する. SR では，言語モデルの分布を制御するハイパーパラメータ $b$ を用いる ${ }^{4)}$.すべてのデータセットにおいて, ハイパーパラメータの候補は 0.1 から 0.9 (0.1 間隔）とし，検証データを用いて最適値を決定した。

## 3.1 文書分類

実験設定: 文書分類の実験では， 3 言語を用いた 9 件のデータセットを利用する．Twitter(En), Twitter(Ja), Weibo(Zh), はそれぞれ英語, 日本語, 中国語によるショートテキスト SNS での感情分析データセットである. Rating と Genre は, Amazon [13], 楽天市場 [14], JD.com [15] のレビューデータセットから作成した英語, 日本語，中国語のレート予測とジャンル予測タスクである. 日本語と中国語のデータセッ卜は，それぞれ MeCab [16] と jieba [17] で事前分割

を行った。その後，すべてのデータセットについて SentencePiece で単語分割を行った. 語彙の規模は,感情分析データセットで $16 \mathrm{~K}$ ，その他のデータセットで $32 \mathrm{~K}$ である. 文書分類器には BiLSTM をべー スとした手法 [18] を用いた. 英語のデータセットについては, HuggingFace [19] による BERT-base [20] を用いた実験も行う $(+B E R T))^{5}$ ).

実験結果: 表 2 に手法ごとの文書分類の性能を示した. 結果より，提案手法である WR-L はベースとなっている WR を 12 件のデータセットで上回ることが示された。また，提案手法の組み合わせである CWR-L により，複数のデータセットで性能の向上が得られることも分かった. CWR-L の平均スコアは他の手法よりも高く, WR-L は CWR-L と同程度である。一方で，置換対象の単語の構成要素だけを考慮する CWR は，複数のデータセットで他の手法の性能を下回った。ここから，単語の長さを考慮する WR-L によって文書分類の性能向上が得られ，さらに単語の構成要素の考慮を組み合わせることで (CWR-L)，より高い性能が得られることが示唆され

る. ベースライン手法間の比較では，WR と LMが高い性能を示す一方で，SR は多くのデータセットで性能を向上させることができなかった.

## 3.2 機械翻訳

実験設定: 機械翻訳では Transformer [21]を用い， Fairseq [22] による IWSLT 設定を利用した。単語レベルの摂動は低資源での実験設定で効果的であると報告されているため [5]，IWSLTコーパスのうち， De-En, Vi-En, Zh-En ペアの双方向について実験を行う。単語分割には SentencePieceを用い，語彙の規模は各言語ごとに $32 \mathrm{~K}$ とした. ただし，中国語については jieba による事前分割を行った。

実験結果: 表 3 に, 手法ごとの機械翻訳の性能を示した. 表において，SR の性能は他のベースラインに比べて高いことがわかる. CWR はSRよりも単語置換の制約が緩いが，実験結果よりSR と同程度の性能に達することがわかった. さらに, WR-Lも SR よりも高い性能に達しており, CWR-Lは3ペアで最も高い性能に達している. これらの実験結果から，機械翻訳において単語分割を考慮した摂動（SR， CWR）が効果的であり，さらに単語の長さを考慮することも性能の向上に寄与することが示された.

## 4 分析

## 4.1 ハイパーパラメータの影響

ハイパーパラメータが各手法に与える影響を調べるために， 3.1 節で用いたデータセットでの平均性能をハイパーパラメータの値 $(a, b)$ ごとに測定した. 図 2 より, CWR-Lは多くの $a$ の値で他の手法よりも性能が高いことが示された. WR と LM はべー スライン間で高い性能を示しているが，大きい $a$ の値を用いると性能が低下する。一般的に使用される小さい $a$ の值において, WR-L の最高性能は WR よりも高く, LM と同程度である. ここから, LM, WR, WR-Lはハイパーパラメータに敏感であり, 慎重なハイパーパラメータの設定が必要であると言える.CWR は摂動を用いない場合（Vanilla）と同程度であるが，CWR と CWR-L はともに，a の値によらず比較的安定した性能を示している。これは語彙の制限によって, 置換の割合が大きくても元の文の情報を失わないためである.ここから，語彙を制限する CWRによってハイパーパラメータに対する頑健性が得られ，単語の長さを考慮する（-L）ことでさ

図 2: 文書分類の9データセット（BERT を除く）でのハイパーパラメータごとの $\mathrm{F} 1$ 値の平均.

図 3: Amazon データセットの学習データにおける $10 \mathrm{~K}$ 文あたりの処理速度（10 回試行の平均）.

らなる性能向上が得られると結論付けられる.

## 4.2 処理速度

本研究では，高速で効果的な摂動の手法の開発も目的としている. 本節では, Amazon データセットの学習データ ( 96,000 文, 文平均 84.91 文字) での摂動の処理速度を比較する。

図 3 に，各手法の 10 回試行での処理速度の平均時間を示した. 提案手法は語彙の制約や長さによる分布への重み付けを行うため，WR や LM よりもわずかに処理速度が低下している。一方で，明示的に単語分割のサンプリングを行う必要がないため, SR よりも高速に摂動処理を実行できる。ここから，提案手法（特に CWR-L）は性能向上と処理速度の観点から優れた摄動の手法であると結論付けられる.

## 5 おわりに

本稿では, 高速で効果的な単語レベルの摂動手法を提案した. 実験結果より，提案手法が文書分類と機械翻訳の性能向上に寄与することが分かった. CWR-L はハイパーパラメータを慎重に選ばずとも高い性能を達成しつつ，サブワード正則化よりも高速に摂動処理を実行できる優れた手法である.

## 謝辞

この成果は, 国立研究開発法人新エネルギー・産業

技術総合開発機構 (NEDO) の委託業務 (JPNP18002)

の結果得られたものです.

## 参考文献

[1] Sosuke Kobayashi. Contextual augmentation: Data augmentation by words with paradigmatic relations. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers), pp. 452-457, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[2] Sho Takase and Shun Kiyono. Rethinking perturbations in encoder-decoders for fast training. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 5767-5780, Online, June 2021. Association for Computational Linguistics.

[3] Samy Bengio, Oriol Vinyals, Navdeep Jaitly, and Noam Shazeer. Scheduled sampling for sequence prediction with recurrent neural networks. In Proceedings of the 28th International Conference on Neural Information Processing Systems-Volume 1, pp. 1171-1179, 2015.

[4] Xiang Zhang and Yann LeCun. Text understanding from scratch. arXiv preprint arXiv:1502.01710, 2015.

[5] Taku Kudo. Subword regularization: Improving neural network translation models with multiple subword candidates. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 66-75, 2018.

[6] Tatsuya Hiraoka, Hiroyuki Shindo, and Yuji Matsumoto. Stochastic tokenization with a language model for neural text classification. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 1620-1629, 2019.

[7] Ivan Provilkov, Dmitrii Emelianenko, and Elena Voita. BPE-dropout: Simple and effective subword regularization. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 18821892, Online, July 2020. Association for Computational Linguistics.

[8] Masaaki Nagata. Automatic extraction of new words from Japanese texts using generalized forward-backward search. In Conference on Empirical Methods in Natural Language Processing, 1996.

[9] Matt Post. A call for clarity in reporting BLEU scores. In Proceedings of the Third Conference on Machine Translation: Research Papers, pp. 186-191, Brussels, Belgium, October 2018. Association for Computational Linguistics.

[10] Philipp Koehn. Statistical significance tests for machine translation evaluation. In Proceedings of the 2004 conference on empirical methods in natural language processing, pp. 388-395, 2004.

[11] Yarin Gal and Zoubin Ghahramani. A theoretically grounded application of dropout in recurrent neural networks. Advances in neural information processing systems, Vol. 29, pp. 1019-1027, 2016.

[12] Huaao Zhang, Shigui Qiu, Xiangyu Duan, and Min Zhang. Token drop mechanism for neural machine translation. In Proceedings of the 28th International Conference on Computational Linguistics, pp. 4298-4303, Barcelona, Spain (Online), December 2020. International Committee on Computational Linguistics.

[13] Ruining He and Julian McAuley. Ups and downs: Modeling the visual evolution of fashion trends with one-class collaborative filtering. In proceedings of the 25 th international conference on world wide web, pp. 507-517, 2016.

[14] Rakuten, Inc. Rakuten dataset. Informatics Research Data Repository, National Institute of informatics. (dataset)., 2014.

[15] Yongfeng Zhang, Min Zhang, Yi Zhang, Guokun Lai, Yiqun Liu, Honghui Zhang, and Shaoping Ma. Dailyaware personalized recommendation based on feature-level time series analysis. In Proceedings of the 24th international conference on world wide web, pp. 1373-1383, 2015.

[16] Taku Kudo. Mecab: Yet another part-of-speech and morphological analyzer. http://taku910.github.io/mecab/, 2006.

[17] Sun Junyi. jieba. https://github.com/fxsjy/jieba, 2013.

[18] Peng Zhou, Zhenyu Qi, Suncong Zheng, Jiaming Xu, Hongyun Bao, and Bo Xu. Text classification improved by integrating bidirectional $1 \mathrm{stm}$ with two-dimensional max pooling. In Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics: Technical Papers, pp. 3485-3495, 2016.

[19] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Rémi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander M. Rush. Transformers: State-of-the-art natural language processing. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 38-45, Online, October 2020. Association for Computational Linguistics.

[20] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018.

[21] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. Advances in neural information processing systems, Vol. 30, pp. 5998-6008, 2017.

[22] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A fast, extensible toolkit for sequence modeling. In Proceedings of NAACL-HLT 2019: Demonstrations, 2019.
表 4: 各手法・各データセットごとの実験（表 2，表 3）で用いたハイパーパラメータの值. それぞれの值は検証データで選択した。

## A データセット

3.1 節では，文書分類の実験のために 9 つのデー タセットを用いた. Twitter $\left.(E n)^{6}\right)$ と Weibo $(Z h)^{7)}$ については，配布されているデータセットをそのまま用いた. Twitter(En) のサンプル数は 100,000 件, Weibo(Zh) は 671,052 件である. その他のデータセットについては，以下の通り作成した。

Twitter(Ja) $)^{8}$ : Twitter API を用いて 352,554 件のツイートを収集し，そのうち感情ラベルが一つのみ付与された 162,184 件 (ポジティブ 10,319 件，ネガティブ 16,035 件，ニュートラル 135,830 件) を実験に利用した。

(a) WR

(a) WR-L図 4: Amazon データセットでの (a)WR と (b)WR-L による単語置換における，置換対象の単語と置換後の単語の長さの分布. WR-L は WR-L は置換対象の単語の長さに似た長さの単語を頻繁に用いる.

Rating\&Genre(En): 配布されている Amazon データセットのうち，サンプル数の量が十分にある 24 の商品ジャンルのレビューから 5,000 件ずつサンプリングした. このとき，レビューの長さは 200 単語以下になるように制約を設けた。単語数はスペース区切りでカウントし，最終的なサンプル数は 120,000 件である.

Rating\&Genre(Ja): 配布されている楽天市場のデー タセットのうち，サンプル数の量が十分にある 21 の商品ジャンルのレビューから 5,000 件ずつサンプリングした. 最大文字数は 100 文字とし，最終的に 525,000 件のサンプルを使用した.

Rating\&Genre(Zh): 配布されている JD.com のデータセットのうち，サンプルの量が十分にある 13 の商品ジャンルのレビューから 6,000 件ずつサンプリングした. 最大文字数は 100 文字とし，最終的に 390,000 件のサンプルを使用した.

すべてのデータセットは学習，検証，評価データとして 8:1:1 に分割して実験に用いた。また，Rating と Genre タスクはそれぞれ同じデータから作成した.


# 言語モデルに対するトークンのキャンセルアウト手法の比較

鈴木淳平 1 菅原朔 2 相澤彰子 1,2
1 東京大学 2 国立情報学研究所
junpei0827kouyou@g.ecc.u-tokyo.ac.jp \{saku,aizawa\}@nii.ac.jp

## 概要

言語モデルへの入力文内の特定のトークンの影響を入力から取り除く手法である「キャンセルアウト (cancel out)」は，モデルの推論解釈や得られた解釈の良さの評価のために有効な技術である. しかし既存研究では，キャンセルアウト手法の評価方法が確立されておらず，利点や欠点を相互に比較することが困難であった。本研究ではそれらの性能を直接的に評価するために，1) キャンセルアウトしたトークンの復元可能性, 2) 性別情報のキャンセルアウトによるジェンダーバイアスの緩和効果について実験を行う. また，複数のトークンによる置き換えに基づく既存のキャンセルアウト手法を，置き換えをより多様にすることで改善できることを示す.

## 1 はじめに

言語モデルへの入力文内の特定のトークンの影響を取り除く手法である「キャンセルアウト」は，それらのトークンがある時とない時のモデルの出力を比較することで，その部分の重要性を測って解釈に用いたり [1], モデルの出力に関する解釈が与えられた時に，その解釈に基づいて文の一部をキャンセルアウトしてモデルの出力の変化を見ることで解釈を評価したりする $[2]$ ことなどに役立つ. 図 1 は,理想的なキャンセルアウトの具体例である．映画のレビューの感情分析を学習したモデルに対し, 元の “This is a good movie.”を入力すると positive に判定され，“good”をキャンセルアウトした後の入力に対しては, neutral と判定されている. したがって, これらの予測を比較することで “good” が positive のラベルに寄与していると解釈できる.

最も単純なキャンセルアウトは，対象のトークンを文から取り除くことであるが，自然言語においては文法的に不適格な入力を作り得る. そこで既存研究では, 特殊なトークンで置き換えたり （Zero Vector, Mask token），注意機構 [3] を持つモデ

This is a good movie. $\xrightarrow{\text { model }} \bullet$ positive
This is a $\xi^{\cdots-\gamma}$ movie. $\xrightarrow{\text { model }}$ neutral

図 1 “good”のキャンセルアウト，映画のレビューの感情分析モデルに元の入力を入れると positive と判定され， “good”をキャンセルアウトすると neural と判定されることから，“good”が positive の根拠であると解釈される.

ルに対しては，対象のトークンへの注意を抑制する（Attention Mask）手法が考えられてきた.また， キャンセルアウト後の入力が，モデルが学習した訓練データに対して分布外にならないように実際にその箇所に出現しやすいトークンで置き換える手法も提案されている（Weighted Marginalize） [1].

キャンセルアウト手法の評価は, キャンセルアウトを用いた解釈手法の性能が向上することを示して間接的に行われることがある [1]. しかし，解釈手法の評価自体が，現状確立されたものがなく，何を評価しているかが明示されないことが多いことも指摘されている [4]. また, 解釈手法を統一的に評価するためのベンチマークが提案されているが [2], このベンチマークは評価指標の計算にキャセルアウトを伴うので，キャンセルアウトを含む解釈手法の評価には使えない可能性がある。他にも，キャンセルアウト後の入力がどれくらいタスクの学習データに対して分布外になってしまうかを測るものもあるが [5]，そもそもキャンセルアウトがうまくいっておらず，モデルが周辺文脈から十分に元の情報を復元できている可能性が考慮されていない. 例えば,図 1 において，キャンセルアウト後の文をモデルに入力した時に，モデルがそこには元々 “good"があったと予測できてしまう場合にはキャンセルアウトが機能していないと考えられる.

そこで本研究では，モデルに対して対象のトークンをどれだけキャンセルアウトできているかという観点から各手法を比較する。まず 3 節で，文脈から各位置のトークンを予測するように学習されてい

る masked language model （MLM）に対してキャンセルアウト後の入力を与え, キャンセルアウトしたはずのトークンをどれくらい予測できるかを比較する. さらに，対象のトークンの箇所にどれくらい高い確信度を持っているかも比較する. 次に 4 節で, キャンセルアウトの応用として, BIOS [6] という個人の経歴から職業を予測するデータセットに対し, どれくらいモデルにジェンダーバイアスをかけずに学習できるかを比較することで，キャンセルアウト手法の性能を確かめる. 結果として，2 節で提案する, Weighted Marginalize の周辺化トークンをより多様化した Uniform Marginalize が，3 節と 4 節の実験で最もキャンセルアウトの効果が高いことを示す.

## 2 キャンセルアウト手法

本研究では， 2.1 節に示す既存の 4 つのキャンセルアウト手法 [5]，および新たに提案する Uniform Marginaize と呼ぶ手法（2.2 節）を比較する. ${ }^{1}$ ）

## 2.1 既存のキャンセルアウト手法
- Zero Vector: 対象のトークンの embedding を全要素が 0 のベクトルで置き換える.
- Mask Token: 対象のトークンを MASK トークンで置き換える。
- Attention Mask: 対象のトークンに対する attention maskを 0 にして，他のトークンの中間ベクトルの計算時に参照されないようにする.
- Weighted Marginalize: 以下の式 1 のように，対象のトークンを一旦 MASK トークンで置き換えて MLM に入力し, 語彙内の各トークンに対する尤度を得て，上位 $k$ 個のトークンで置き換えた後の入力に対するモデルの出力をそれぞれの置き換えトークンの尤度で周辺化する. [1]

$
\begin{aligned}
p\left(y \mid \boldsymbol{x}_{-i}\right) & =\sum_{x^{\prime} \in V} p_{M}\left(y, x^{\prime} \mid \boldsymbol{x}_{-i}\right) \\
& =\sum_{x^{\prime} \in V} p_{M}\left(y \mid x^{\prime}, \boldsymbol{x}_{-i}\right) p_{L}\left(x^{\prime} \mid \boldsymbol{x}_{-i}\right) .
\end{aligned}
$

$y$ は予測候補のラベル， $\boldsymbol{x}_{-i}$ は $i$ 番目のトークンをキャンセルアウトしたい入力文， $V$ は尤度の上位 $k$ トークン, $p_{M}$ はモデルの予測確率, $p_{L}\left(x^{\prime} \mid \boldsymbol{x}_{-i}\right)$ は, $\boldsymbol{x}$ の $i$ 番目を MASKトークンで置き換えて BERT[7]等の言語モデルに入力した時の $x^{\prime}$ の尤度である.

1）以降では，入力文はトークン列に分割され，それぞれ対応する token embedding に変換されることを仮定する。また， MASKトークンを用いた MLM によって事前学習され，注意機構を持つようなモデルを対象にする。 [7].
Mask Token

This is a [MASK] movie.

Marginalize

This is a new movie.

This is a TV movie.

This is a lost movie.

This is a good movie.

This is a bad movie.
Likelihood P(positive /_) Uniform Likelihood

図 2 Weighted Marginalize と Uniform Marginalize の違い. “This is a good movie”の “good”をキャンセルアウトする場合. まず [MASK] で置き換えて，MLM に入力し候補を得る. Weighted では，各候補の尤度とモデルの出力で周辺化し，Uniformでは一様分布として周辺化する。

表 1 BIOS の例. 下線部は性別を表す代名詞と人物名.経歴/性別/職業

Peter also has substantial experience representing clients in government investigations, including criminal and regulatory investigations, and internal investigations conducted on behalf of clients. / male / attorney

Dianne is registered with the Psychology Board of Australia, the Clinical College of the Australian Psychological Society, and she is a Medicare Provider . / female / psychologist

## 2.2 提案手法: Uniform Marginalize

Weighted Marginalize では，キャンセルアウト対象のトークンの MLM による予測確率が 1 に近い時,新しい入力が元の入力と意味的に変わらない可能性がある。そこで, 式 1 の $p_{L}\left(x^{\prime} \mid \boldsymbol{x}_{-i}\right)$ を， $\frac{1}{N}(N$ は周辺化に使うトークン数） で置き換えることで，候補トークンを一様に扱う周辺化を提案する（Uniform Marginalize）. 図 2 に両者の違いを示す. Weighted Marginalize では尤度の高いものほど重視されて， Uniform Marginalize では一様に扱われる。

## 3 情報の復元可能性

本節では，キャンセルアウトした情報をモデルがどれくらい復元できてしまうかを尤度を用いて評価し各手法を比較する．実験では，Stanford Sentiment Treebank v2（SST2） [8] と BIOS [6]を用いる. SST2 は，映画のレビューに対して，positive か negative かのラベルを予測するタスクである．BIOS は，個人の経歴に関する文が大力として与えられ，27 個の職業から 1 つ予測するタスクである。また，表 1 の例のように，経歴内で直接的に性別を表す代名詞と人物名の部分もアノテートされている。

## 3.1 元のトークンの予測確率

SST2 と BIOS のテストデータそれぞれから，ランダムに 9,000, 5,000 トークンずつ選んで，それぞれの

図 3 SST2 におけるキャンセルアウトしたトークンの尤度の分布. 横軸が尤度, 縦軸が相対度数.

手法でキャンセルアウトし，MLM に入力して元のトークンの尤度を測定する. Weighted Marginalize と Uniform Marginalize に関しては，式 1 の $p_{M}$ を MLM の元のトークンの予測確率として周辺化（計算コストの都合上，周辺化候補のトークン数は 10）を行った. Original Token は，元の入力をそのまま入れたときのベースラインである.

SST2 に関しての結果が図 3 である. BIOS に対しての結果は付録 A の図 5 である. 同様の傾向が観察されたため, 以下の考察は SST2, BIOS に共通である。まず Original Token は，入れたトークン自身の尤度の値の分布は高い値に偏っている. Attention Mask も同様の傾向である. Mask Token, Weighted Marginalize は元のトークンを完全に復元できる場合と全くできない場合で左右に割れた. 二つの分布の形が似ているのは以下の理由だと考えられる。 Mask Token において高い尤度で元のトークンが予測できた例に対しては, Weighted Marginalize においても，周辺化時に元のトークンが高い尤度を持つ. さらに，その時の式 1 の $p_{M}$ は, MLMに元のトークンをそのまま入れたときの自身の確率であるため，結局元のトークンの確率が高くなるためである. つまり，Mask Token で元のトークンが予測しやすい状況においては（ヒストグラムの右端）， Mask Token と Weighted Marginalize はほとんど同じ処理をすることになる. 対して, Uniform Marginalize, Zero Vector の順で，元のトークンは予測しづらくなっている. このことから，2 節で述べた狙い通り, Weighted Marginalize より周辺化候補を多様化させた Uniform Marginalize の方が，元のトークンをモデルが復元できてしまう（キャンセルアウトが機能しない）ことを防ぐことができることがわかった.

図4SST2におけるキャンセルアウト箇所の最大尤度の分布. 横軸が尤度，縦軸が相対度数.

## 3.2 キャンセルアウト箇所の最大尤度の 分布

キャンセルアウトされた箇所に，モデルがどれくらい確信を持って推論しているのかを比較するために， 3.1 節と同様にトークンをそれぞれの手法でキャンセルアウトして，MLM に入力した時の一番尤度の高いトークンの尤度を測定する．SST2 の結果が図 4 で BIOS の結果が付録 A の図 6 である. Weighted Marginalize と Uniform Marginalize に関しては，式 1 の $p_{M}\left(y \mid x^{\prime}, \boldsymbol{x}_{-i}\right)$ を， $x^{\prime}$ で置き換えた時のその箇所の一番高い尤度とした ${ }^{2}$. 結果としては, Zero Vector 以外は，かなり高い尤度に偏っており， Mask Token, Attention Mask はキャンセルアウトしても，そこには何らかのトークンであるとモデルが確信を持って計算していることになる。その高い尤度を持つトークンが元のトークン自身や，類義語である場合にはキャンセルアウトが機能しない. Marginalize の二手法に関しては，候補トークンで周辺化した結果高い尤度に偏っている. つまり一回のキャンセルアウトを考えると，どの候補に対しても最も高い尤度が 1 に近く，さらに 3.1 節の Original Token の結果を踏まえると，置き換えた候補のトー クン自身の尤度がそれぞれ一番高くなっていることが多いと考えられる。

3.1 節と 3.2 節の結果をまとめると, Uniform Marginalize は，各置き換え後の文に対しては置き換えたトークンの情報を強く持たせることができ（モデルが置き換えられたトークンに高い確信を持つ) ，置き換えの多様性によって元のトークンが容易に予測できてしまうことを防ぐといえる.

2）図 2 の例であれば，“This is a new movie.”を MLM に大力した時の new の部分で最も高い尤度，他の候補トークンでも同様に最も高い尤度を計算して，平均を計算する（周辺化する).

## 4 バイアスのキャンセルアウト

BIOS は web 上で経歴データを集めており，職業ごとの男女のデータ数の偏りが大きいためモデルがバイアスを学習してしまうことが指摘されている [6]. 3) そこで，BERTを BIOS に fine-tuning する時に，各データで，直接性別を表す代名詞や人物名をキャンセルアウトした状態で学習させた時に，どれくらい学習後のモデルがジェンダーバイアスを持っているかを比較する．比較方法は，BIOS を提案している論文 [6] に従って，テストデータにおいて各職業ごとに，女性のデータと男性のデータでの真陽性率の差分（式 2 の $G a p_{f, y}$ ）と, 訓練データにおける女性率（female rate）との相関をみる。この相関が高いほど訓練データにおける偏りを学習していることになる。

$
\begin{aligned}
T P R_{g, y} & =P\left(Y^{\prime}=y \mid G=g, Y=y\right) \\
G a p_{f, y} & =T P R_{f, y}-T P R_{m, y}
\end{aligned}
$

$Y^{\prime} ， Y$ は職業で $Y^{\prime}$ が予測ラベル， $Y$ が正解ラベル， $G$ はジェンダーで男 $(m)$ か女 $(f)$ かである.

## 4.1 学習時の Uniform Marginalize

代名詞と人物名の Uniform Mariginalize は次のように行う。まず全ての代名詞と名前を MASK トー クンに置き換える. この状態で MLM に入力して 1 個目の MASK に対応する部分の尤度の高い二つのトークン（A, B）を得る. 次に，最初の MASKトー クンを A で置き換えた状態で MLM に入力して 2 個目の MASK に対応する一番尤度の高いトークンを得てそれで置き換える。以降全ての MASK トークンが埋まるまで繰り返す.さらに，1個目の MASK トークンを B で置き換えたものに対しても同様に最後まで埋める。学習時は，こうして得た二つの置き換え後の文（s1, s2）をモデルに入れ，それぞれに対し各ラベルの予測確率を出し，平均したものを最終的な予測確率として勾配の計算に使う. 置き換えの例は付録 Cに示す。

## 4.2 結果

本実験では, Original Token（元の学習データのまま訓練）, Zero Vector, Mask Token, Attention Mask, Uniform Marginalize を比較対象とした. ここでは, 3 節の実験で Mask Token と作用が似ていること,

表 2 手法ごとの相関係数, $\mathrm{p}$ 値, テストデータの正解率.

Uniform Marginalize の方が置き換えに多様性があることから, Weighted Marginalize は含めていない.

各手法について，テストデータにおける各職業の女性率と男女の真陽性率の差（式 2）の相関係数の値を比較した結果を表 2 に示す。まず元の学習データのまま訓練した Original Token は, 相関係数が 0.838 となり強くバイアスを学習してしまっている. ${ }^{4)}$ Zero Vector, Attention Mask に関しては相関係数の値が Original Token の場合と比べてほとんど変化せず，キャンセルアウトが機能していない. Uniform Marginalize, Mask Token $の$ 順に相関係数が改善できており, Uniform Marginalize が最もキャンセルアウトの効果が高いことがわかる. 両者において，テストデータでの正解率が顕著に下がっているのは, BIOS を解くのに性別情報が有用であり，これが使えなくなると予測難易度が上がるからだと考えられる. 今後の課題として, 性別情報がないと予測が難しいタスクを新たに構築することで，詳細な分析が可能になることが期待される.

Uniform Marginalize においては, 4.1 節における置き換えを具体的に見てみると（付録 $\mathrm{C}$ 節)，s1，s2 で片方が男性を表す名詞，もう片方が女性を表す名詞になっていることが多く，それによって予測時に性別を使わないように学習できたと考えられる。 しかしそれでも相関が出てしまう理由としては，BIOS を提案している研究 [6] で指摘されているように，代名詞や名前以外にも “mother” や “husband” 等ジェンダーを表す単語が存在することが挙げられる。

## 5 おわりに

本研究では，直接キャンセルアウト手法を比較する方法を提案するとともに，置き換え候補の多様化を狙った Uniform Marginalize がキャンセルアウトに有効であることを示した，今後は，品詞ごとに置き換え方を適切に変えたり，複数箇所同時にキャンセルアウトすることの影響を調べたりして，より正確なキャンセルアウト手法を追求したい.

## 謝辞

本研究は JSPS 科研費 JP21H03502 および JST さき

がけ JPMJPR20C4 の支援を受けたものです.

## 参考文献

[1] Siwon Kim, Jihun Yi, Eunji Kim, and Sungroh Yoon. Interpretation of NLP models through input marginalization. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 31543167, Online, November 2020. Association for Computational Linguistics.

[2] Jay DeYoung, Sarthak Jain, Nazneen Fatema Rajani, Eric Lehman, Caiming Xiong, Richard Socher, and Byron C. Wallace. ERASER: A benchmark to evaluate rationalized NLP models. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 4443-4458, Online, July 2020. Association for Computational Linguistics.

[3] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Proceedings of Advances in Neural Information Processing Systems, Vol. 30, 2017.

[4] Alon Jacovi and Yoav Goldberg. Towards faithfully interpretable NLP systems: How should we define and evaluate faithfulness? In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, $\mathrm{pp}$. 4198-4205, Online, July 2020. Association for Computational Linguistics.

[5] Peter Hase, Harry Xie, and Mohit Bansal. The out-ofdistribution problem in explainability and search methods for feature importance explanations. In Proceedings of the Advances in Neural Information Processing Systems, Vol. 35, 2021.

[6] Maria De-Arteaga, Alexey Romanov, Hanna Wallach, Jennifer Chayes, Christian Borgs, Alexandra Chouldechova, Sahin Geyik, Krishnaram Kenthapadi, and Adam Tauman Kalai. Bias in bios: A case study of semantic representation bias in a high-stakes setting. In Proceedings of the Conference on Fairness, Accountability, and Transparency, pp. 120-128, 2019.

[7] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[8] Richard Socher, Alex Perelygin, Jean Wu, Jason Chuang, Christopher D. Manning, Andrew Ng, and Christopher Potts. Recursive deep models for semantic compositionality over a sentiment treebank. In Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing, pp. 1631-1642, Seattle, Washington, USA, October 2013. Association for Computational Linguistics.

## A BIOS における復元可能性

以下の図 5 が 3.1 節の実験の BIOS に対する結果である。考察は,3.1 節を参照.

図 5 BIOS におけるキャンセルアウトしたトークンの尤度の分布. 横軸が尤度, 縦軸が相対度数.

以下の図 6 が 3.2 節の実験の BIOS に対する結果である．考察は,3.2 節を参照.

図 6 BIOS におけるキャンセルアウト箇所の最大尤度の分布. 横軸が尤度, 縦軸が相対度数.

## B BIOS のジェンダーバイアス

図 7 が 4.1 節で，元の学習データで BERT を訓練したときの，テストデータにおける各職業の女性率と男女間の真陽性率の差の関係である。相関係数は 0.838 であり，強くバイアスがかかっている.

## C Uniform Marginalize の置き換え

4.1 節の Uniform Marginalize における置き換えの具体例を表 3 に示す. 元の “Dianne”が “She”と “He”,元の “she”が “she”と “he” に置き換えられた. 大部分の例に対し，このように男性を表す名詞で置き換えたものと，女性を表す名詞で置き換えたものが一つずつ作られた。

図 7 Original Token における女性率と性別間の真陽性率の差の関係

表 3 Uniform Marginalize における置き換えの例. 元の "Dianne" が "She" と "He"，元の "she" が "she”と "he"に置き換えられた。

経歴

Dianne is registered with the Psychology Board of Australia, the Clinical College of the Australian Psychological Society, and she is a Medicare Provider .

She is registered with the Psychology Board of Australia, the Clinical College of the Australian Psychological Society, and she is a Medicare Provider

He is registered with the Psychology Board of Australia, the Clinical College of the Australian Psychological Society, and he is a Medicare Provider.


# スタイル変換のためのスタイルを考慮した Seq2Seq 事前訓練

松浦 駿平梶原 智之二宮崇
愛媛大学大学院理工学研究科
matsu@ai.cs.ehime-u.ac.jp \{kajiwara, ninomiya\}@cs.ehime-u.ac.jp

## 概要

特定のタスクやドメインに特化した事前訓練が，近年盛んに研究されている。本研究では，インフォーマルな文をフォーマルに言い換えるスタイル変換に焦点を当て，本タスクに特化した事前訓練の手法を提案する．提案手法では，事前訓練の際にスタイルを学習するために，出力文のスタイルを表現する特殊トークンを入力文の文頭に加える．英語のスタイル変換タスクにおける実験の結果，自動評価と人手評価の両方で提案手法の有効性を確認した.

## 1 はじめに

近年，様々な自然言語処理タスクにおいて，深層学習に基づくアプローチが主流となっている. 高品質な深層学習モデルを得るためには，大規模なラべル付きコーパスやパラレルコーパスを用いた訓練が有効である。しかし，アノテーションのコストのために，多くの自然言語処理タスクは少資源問題に悩まされている. 本研究で扱うスタイル変換タスク [1] も，数万文対という小規模なパラレルコーパスしか使用できず，少資源問題が深刻なタスクのひとつである。他のタスクと同様に，スタイル変換タスクにおいても，マルチタスク学習 [2] やデータ拡張 [3] などの少資源対策の手法が研究され，現在では BART [4] などの事前訓練された汎用モデルの再訓練 [5-8] がデファクトスタンダードとなっている.

特定のタスクやドメインに特化した事前訓練の有効性も，広く知られている。例えば，診療記録 [9] や科学技術論文 [10] などのドメインに特化した事前訓練モデルや，生成型要約 [11] や言い換え生成 [12] などのタスクに特化した事前訓練モデルは，対象のタスクやドメインにおいて高い性能が報告されている.しかし, 事前訓練の際にテキストのスタイルについて明示的に学習するスタイル変換タスクに特化した事前訓練は，これまで研究されていない。本研究では，事前訓練の際にスタイルに関する知識を獲得するために，出力文のスタイルを表現する特殊トークンを入力文の文頭に追加した上で， BART と同様のノイズ除去自己符号化の事前訓練を行う。 GYAFC コーパス [1] を用いたインフォーマルな英文からフォーマルな英文へのスタイル変換の実験の結果，スタイル・同義性・流暢性の全ての人手評価の項目において，提案手法は通常の BART の事前訓練よりも有効であった。

## 2 関連研究

## 2.1 事前訓練の先行研究

大規模な生コーパスを用いて事前訓練された Transformer [13] が，多くの自然言語処理タスクで優れた性能を達成している。言語理解や言語生成の応用タスクにおいて，Transformer エンコーダをマスク言語モデリングのタスクで事前訓練した BERT [14] や Transformer デコーダを言語モデリングのタスクで事前訓練した GPT-2 [15] が，広く使用されている。本研究で扱う系列変換タスクにおいても，様々な事前訓練モデル $[16,17]$ が提案されている. スタイル変換タスク $[7,8]$ では, 語句の穴埋めなどのノイズ除去自己符号化のタスクで事前訓練された BART [4] が優れた性能を達成している。本研究では，BART の汎用的な事前訓練をスタイル変換タスクに特化させ，事前訓練の際にスタイルに関する知識を獲得することでスタイル変換の性能改善を目指す.

## 2.2 スタイル変換の先行研究

シェイクスピアの英文をモダンに変換するスタイル変換 [18] や難解な英文を平易に変換するスタイル変換 [19] など，様々なスタイルを対象とするスタイル変換が研究されている。本研究では，インフォー マルな英文をフォーマルに変換するフォーマルさに関するスタイル変換 [1] に取り組む。

図 1 提案手法

フォーマルさに関するスタイル変換のために使用できる GYAFC [1] は 5 万文対の小規模なパラレルコーパスであるため，多くの少資源対策の手法が提案されてきた. 大規模なパラレルコーパスを利用できる機械翻訳とのマルチタスク学習 [2] や，自動生成された擬似的な単言語パラレルコーパスを用いる事前訓練 [3,12], GPT-2 [15] の再訓練 [5,6] などが成功を収め, BART [4] の再訓練 $[7,8]$ が現在の最高性能を達成している．本研究では，スタイルを明示的に訓練するように BART の事前訓練を改良する.

## 3 提案手法

本研究では，BART [4] の事前訓練をスタイル変換タスクのために改良する。語句の穴埋めを行う事前訓練の際に, 入力文の文頭にスタイルラベルの特殊トークンを付与することにより, 出力文のスタイルを制御する。これにより, 従来の BART の事前訓練では考慮していないテキストのスタイルに関する知識の獲得を目指す。

提案手法の概要を図 1 に示す. 本手法では，まず，各文のスタイルを表現するために，スタイルラベル付きの事前訓練用コーパスを作成する（3.1 節)．次に，作成したコーパスを用いて BART と同様の事前訓練を行う (3.2 節). 最後に, 事前訓練で学習したスタイルラベルを利用し，目的のスタイル変換用パラレルコーパス上で再訓練を行う（3.3 節）.

## 3.1 スタイルラベル付きコーパスの作成

まず，スタイル分類器を用いて，事前訓練に用いる生コーパスの各文をソーススタイルの文とター ゲットスタイルの文に分類する。 その後，ソーススタイルの確率が高い文とターゲットスタイルの確率が高い文をそれぞれ同じ文数だけ抽出する. 最後に，モデルがソーススタイルの文とターゲットスタイルの文を識別できるようにするために，各文の文頭にスタイルを示すラベルを特殊トークン（図19 <F>や<I>）として追加する.
スタイル分類器には，フォーマルさのラベル付きコーパスを用いて訓練した分類器 [20] や言語モデルに基づく分類器 [2] など，任意の分類器を適用できる. 本研究では, 事前訓練された RoBERTa [21]を GYAFC [1]のラベル付きコーパス上で再訓練する.

## 3.2 事前訓練

3.1 節のコーパスを用いて, Transformer モデル [13] を事前訓練する．事前訓練のタスクには，BART [4] と同様の語句の穴埋めを採用する. つまり, 入力文の一部の語句をマスクして入力し，元の文を復元するノイズ除去自己符号化の事前訓練を行う。また，入力文の文頭のスタイルラベルはマスク処理の対象外とし，出力文にはスタイルラベルを含めない。 BART と同様に，ミニバッチは約 512 トークンとなるように複数文を連結して構成する。ただし，同じスタイルの文のみでミニバッチを構成し，スタイルラベルはミニバッチの先頭に 1 つだけ付加する.

提案手法の事前訓練では，モデルはソースまたはターゲットの各スタイルラベルが付与された入力文から当該スタイルの文の生成を学習する. この事前訓練により，スタイルラベルによって出力文のスタイルを制御可能なモデルを得られると期待できる.

## 3.3 再訓練

再訓練には，スタイル変換用のパラレルコーパスを用いる。ただし，事前訓練時に学習したスタイルラベルを引き続き利用するために，パラレルコーパスの入力文の文頭にもスタイルラベルを付加する。

## 4 評価実験

## 4.1 実験設定

モデルスタイル変換器は fairseq $^{1)}$ [22]を用いて実装し, bart-base ${ }^{2}$ [4] と同じ構造の Transformer [13]

1) https://github.com/pytorch/fairseq

2) https://github.com/pytorch/fairseq/tree/main/ examples/bart
表 1 GYAFC コーパスの文対数

を採用した。 スタイル分類器は huggingface ${ }^{3)}[23]$ を用いて実装し，事前訓練済みの RoBERTa4) [21]を採用した. スタイル分類器の訓練には, バッチサイズを 32 文，学習率を 1e-5 とし，GYAFC コーパス [1] のフォーマル文とインフォーマル文を 2 值分類するようにクロスエントロピー損失最小化の訓練を 5 エポック行った. GYAFC の検証用データで分類器の性能を評価したところ，88\% の正解率を持つ高品質なスタイル分類器を構築できた。

事前訓練事前訓練のための生コーパスには, CC100 [24] の英語コーパスを使用した。コーパス全体にスタイル分類器を適用し，フォーマルな確率およびインフォーマルな確率の高い順に 5 千万文ずつを抽出した合計 1 億文を用いて事前訓練を行った. なお，これらの文はフォーマル確率またはインフォーマル確率が 0.9 を超えており，充分にフォー マルまたは充分にインフォーマルな文である，スタイルラベルとして，フォーマルな文の文頭には<F $\mathrm{F}$ ， インフォーマルな文の文頭にはくI>の特殊トークンをそれぞれ追加した．前処理として，Moses ${ }^{5}$ [25] によって normalize および tokenizeを行い，語彙サイズ 3 万でサブワード分割 ${ }^{6}$ [26] を行った.

事前訓練には BART [4] と同様の語句の穴埋め夕スクを採用し，マスク確率およびポアソン分布の $\lambda$ は 0.35 とした. バッチサイズは 512 文, Dropout 率は 0.1 とし, エンコーダとデコーダで埋込層を共有した. 最適化には Adam を用い，ラベル平滑化クロスエントロピー損失最小化の訓練を 50 万ステップ行った. なお，ラベル平滑化のハイパーパラメータは $\epsilon=0.2$ とした. 学習率スケジュールには Inverse Square Root Decay を用い，最大の学習率は 5e-4，Warmup ステップは 1 万とした.

再訓練再訓練のためのパラレルコーパスには GYAFC [1]を使用し，インフォーマルな英文をフォーマルに言い換えるスタイル変換を行った。 GYAFC には, 表 1 に示すように Entertainment \& Music

表 2 BLEUによる自動評価

（E\&M）および Family \& Relationships（F\&R）の2つのドメインのパラレルコーパスが含まれる. 先行研究 $[2,7,27]$ と同様に，2つのドメインの訓練用デー タを合わせて両ドメインの訓練に用いた. 前処理として, Mosesによって normalize および tokenizeを行い，事前訓練と同じサブワード分割を行った.

再訓練では，バッチサイズは 1,024 トークン, Dropout 率は 0.1 とし, エンコーダとデコーダで埋込層を共有した。最適化には Adamを用い，検証用データにおける perplexity が 5 エポック改善されなくなるまでラベル平滑化クロスエントロピー損失最小化の訓練を行った. なお，ラベル平滑化のハイパーパラメータは $\epsilon=0.1$ とした. 学習率スケジュールには Inverse Square Root Decay を用い，最大の学習率は 3e-5, Warmup ステップは 500 とした.

推論モデルの評価時には，ビーム幅 5 のビーム探索を行った. また，シード值による影響を緩和するために，シード值の異なる４つのモデルをアンサンブルして出力文を生成した.

比較手法スタイルラベルを用いる事前訓練の有効性を検証するために，事前訓練を行わない Transformer およびスタイルラベルを用いない BART と比較した. Transformer ベースラインは, 提案手法と同じモデル構造であるが，GYAFC のパラレルコーパスのみを用いて訓練する．BART ベースラインは，提案手法と同じモデル構造であり，同じコー パスを用いて事前訓練および再訓練を行うが，事前訓練の際にスタイルラベルを使用しない。

評価自動評価と人手評価の両方で各モデルの性能を評価した。自動評価には SacreBLEU7) [28] を用いた。人手評価には Amazon Mechanical Turk ${ }^{8}$ を使用し, 米国在住， $98 \%$ の承認率，5,000 件以上のタスク承認歴を持つアノテータを 5 人雇用9) した. 評価用データの中からドメインごとに 100 文の合計 200 文を無作為抽出し, 入出力間の同義性・出力文の流暢性・出力文のスタイルのフォーマルさの 3 つの観

表 4 人手評価の平均値

点から人手評価を行った. 先行研究 [7] に従い，同義性を $[1,6]$ の 6 段階，流暢性を $[1,5]$ の 5 段階，スタイルを $[-3,3]$ の 7 段階で人手評価した.

## 4.2 実験結果

表 2 に自動評価の結果を示す。事前訓練を行わない Transformer ベースラインと比較して，BART ベー スラインおよび提案手法が顕著に高い性能を示した.また，提案手法は BART と比べて統計的に有意 $（ p<0.05 ）$ に BLEU が向上したことから，スタイルを考慮する事前訓練の有効性を確認できた。

表 4 に人手評価の結果を示す. 同義性・流暢性・ スタイルの全ての指標において，提案手法が比較手法たちを上回る評価を得た。これらの実験結果から，事前訓練の際に明示的にテキストのスタイルを考慮する提案手法の有効性が，自動評価と人手評価の両方で明らかになった。

## 5 分析

## 5.1 小規模なパラレルコーパスでの再訓練

より小規模なパラレルコーパスしか使用できない設定における提案手法の有効性を検証する． 4 節の実験では，GYAFC に含まれる 2 のトトメインの訓練用データを合わせた約 10 万文対を用いて再訓練を行ったが，本節ではこれを 5 万文対および 1 万文対に無作為抽出して削減する. 4 節の実験と同様に，シード值の異なる 4 つのモデルをアンサンブルして出力文を生成し，BLEUによる自動評価を行う.

図 2 に，再訓練に用いる文対数を削減した際の性能の変化を示す。再訓練用のパラレルコーパスを 5 万文対や 1 万文対に削減した場合も，提案手法は一

図 2 小規模なパラレルコーパスによる再訓練

貫して Transformer および BART のベースライン性能を上回る. また，10万文対のデータで再訓練した BART ベースラインと比較して，5万文対のデータで再訓練した提案手法は両ドメインにおいて 0.1 ポイント高いBLEUを達成しており，提案手法が少資源の設定においても有効であることを確認できた。

## 5.2 生成文の定性評価

表 3 に各モデルの出力例を示す. Transformer は入力文と意味の異なる文を生成しているが，BART と提案手法は入力文の言い換えの生成に成功している。また，提案手法は BART とは異なり，guys を men, hot を attractiveへと言い換えており，表 4 で示したとおり，よりフォーマルな文を生成している。

## 6 おわりに

本研究では，事前訓練の際にテキストのスタイルを明示的に学習するために，出力文のスタイルを表現する特殊トークンを文頭に追加する事前訓練の手法を提案した. そして，英語のフォーマルさに関するスタイル変換での害験を通して，提案手法の有効性を自動評価と人手評価の両方で示した. 今後の課題として，他のスタイルや言語にも適用したい.

## 謝辞

本研究は JST（ACT-X，課題番号：JPMJAX1907） の支援を受けたものです.

## 参考文献

[1] Sudha Rao and Joel Tetreault. Dear Sir or Madam, May I Introduce the GYAFC Dataset: Corpus, Benchmarks and Metrics for Formality Style Transfer. In Proc. of NACCL, pp. 129-140, 2018.

[2] Xing Niu, Sudha Rao, and Marine Carpuat. Multi-Task Neural Models for Translating Between Styles Within and Across Languages. In Proc. of COLING, pp. 1008-1021, 2018.

[3] Yi Zhang, Tao Ge, and Xu Sun. Parallel Data Augmentation for Formality Style Transfer. In Proc. of ACL, pp. 3221-3228, 2020.

[4] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension. In Proc. of ACL, pp. 7871-7880, 2020.

[5] Yunli Wang, Yu Wu, Lili Mou, Zhoujun Li, and Wenhan Chao. Harnessing Pre-Trained Neural Networks with Rules for Formality Style Transfer. In Proc. of EMNLP, pp. 3573-3578, 2019.

[6] Yunli Wang, Yu Wu, Lili Mou, Zhoujun Li, and WenHan Chao. Formality Style Transfer with Shared Latent Space. In Proc. of COLING, pp. 2236-2249, 2020.

[7] Kunal Chawla and Diyi Yang. Semi-supervised Formality Style Transfer using Language Model Discriminator and Mutual Information Maximization. Findings of EMNLP, pp. 2340-2354, 2020.

[8] Huiyuan Lai, Antonio Toral, and Malvina Nissim. Thank you BART! Rewarding Pre-Trained Models Improves Formality Style Transfer. In Proc. of ACL, pp. 484-494, 2021.

[9] Emily Alsentzer, John Murphy, William Boag, Wei-Hung Weng, Di Jindi, Tristan Naumann, and Matthew McDermott. Publicly Available Clinical BERT Embeddings. In Proc. of Clinical NLP Workshop, pp. 72-78, 2019.

[10] Iz Beltagy, Kyle Lo, and Arman Cohan. SciBERT: A Pretrained Language Model for Scientific Text. In Proc. of EMNLP-IJCNLP, pp. 3615-3620, 2019.

[11] Jingqing Zhang, Yao Zhao, Mohammad Saleh, and Peter Liu. PEGASUS: Pre-training with Extracted Gapsentences for Abstractive Summarization. In Proc. of ICML, pp. 11328-11339, 2020.

[12] Tomoyuki Kajiwara, Biwa Miura, and Yuki Arase. Monolingual Transfer Learning via Bilingual Translators for Style-Sensitive Paraphrase Generation. In Proc. of AAAI, pp. 8042-8049, 2020.

[13] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin. Attention is All you Need. In Proc. of NIPS, 2017.

[14] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proc. of NACCL, pp. 4171-4186, 2019.

[15] Alec Radford, Jeff Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. Language Models are Unsu- pervised Multitask Learners. 2019.

[16] Kaitao Song, Xu Tan, Tao Qin, Jianfeng Lu, and Tie-Yan Liu. MASS: Masked Sequence to Sequence Pre-training for Language Generation. In Proc. of ICML, pp. 59265936, 2019.

[17] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer. Journal of Machine Learning Research, Vol. 21, No. 140, pp. 167, 2020.

[18] Wei Xu, Alan Ritter, Bill Dolan, Ralph Grishman, and Colin Cherry. Paraphrasing for Style. In Proc. of COLING, pp. 2899-2914, 2012.

[19] Fernando Alva-Manchego, Carolina Scarton, and Lucia Specia. Data-Driven Sentence Simplification: Survey and Benchmark. Computational Linguistics, Vol. 46, No. 1, pp. 135-187, 2020.

[20] Ellie Pavlick and Joel Tetreault. An Empirical Analysis of Formality in Online Communication. Transactions of the Association for Computational Linguistics, Vol. 4, pp. 61-74, 2016.

[21] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. RoBERTa: A Robustly Optimized BERT Pretraining Approach. arXiv:1907.11692, 2019.

[22] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A Fast, Extensible Toolkit for Sequence Modeling. In Proc. of NAACL, pp. 48-53, 2019.

[23] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Remi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander Rush. Transformers: State-of-the-Art Natural Language Processing. In Proc. of EMNLP, pp. 38-45, 2020.

[24] Guillaume Wenzek, Marie-Anne Lachaux, Alexis Conneau, Vishrav Chaudhary, Francisco Guzmán, Armand Joulin, and Edouard Grave. CCNet: Extracting High Quality Monolingual Datasets from Web Crawl Data. In Proc. of LREC, pp. 4003-4012, 2020.

[25] Philipp Koehn, Hieu Hoang, Alexandra Birch, Chris Callison-Burch, Marcello Federico, Nicola Bertoldi, Brooke Cowan, Wade Shen, Christine Moran, Richard Zens, Chris Dyer, Ondřej Bojar, Alexandra Constantin, and Evan Herbst. Moses: Open Source Toolkit for Statistical Machine Translation. In Proc. of ACL, pp. 177-180, 2007.

[26] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural Machine Translation of Rare Words with Subword Units. In Proc. of ACL, pp. 1715-1725, 2016.

[27] Tomoyuki Kajiwara. Negative Lexically Constrained Decoding for Paraphrase Generation. In Proc. of ACL, pp. 6047-6052, 2019.

[28] Matt Post. A Call for Clarity in Reporting BLEU Scores. In Proc. of WMT, pp. 186-191, 2018.


# 面白いアナグラムとはどんなアナグラムか

土井 遥 ${ }^{\dagger}$ 山本 優衣奈 $2 \dagger$ 佐藤 理史 ${ }^{3}$
1 名古屋市立向陽高等学校
2 三重県立桑名高等学校
3 名古屋大学大学院工学研究科
ssato@nuee.nagoya-u.ac.jp

## 概要

アナグラムとは、「言葉の綴りの順番を変えて別の語や文を作る遊び」である。本稿では、表記と読みの組からなる入力に対して、アナグラム候補を順位付きで出力するシステムを示す。さらに、システムで生成した大量のアナグラム候補の中から「面白い」と思えるアナグラムを収集・分類し、「面白いアナグラムとはどんなアナグラムか」という問いに対して、ひとつの仮説を提示する。

## 1 はじめに

アナグラムとは、「言葉の綴りの順番を変えて別の語や文を作る遊び [1]」である。日本語のアナグラムは、読み (ひらがな文字列) の順番を変えて作るのが一般的であり、たとえば、「時計 / とけい」から 「毛糸/けいと」を作ることが、これに相当する。

ひらがな文字列の並べ替えは、機械的に可能であり、容易である。たとえば、 7 文字のひらがな文字列の並べ替えは、 $7 !=5040$ 個存在する。しかしながら、その中で日本語として意味をなすものは限られており、「面白い」ものとなると、さらに限られている。それゆえ、面白いアナグラムを作ることは知的なパズルであり、ある種の創作とみなすことができる。

鈴木ら [2] は、あらかじめ用意した文節集合に含まれる文節をつなげて、アナグラムを生成する方法を提案・実装した。しかし、この生成法には意味的適格性の判定が陽に含まれておらず、意味の通るアナグラムは出力のほんの一部に限られた。後続研究 [3] では、係り受けペアの一般化による意味的適格性判定が試みられ、一定の効果が見られたが、根本的な解決には至らなかった。本研究では、「面白いアナグラムを作る」ことを

$\dagger$ Equal contribution

図 1 アナグラム生成システム

研究目標として掲げ、有望な候補を順位付きで出力するシステムの実現を試みる。さらに、システムで生成した大量のアナグラム候補の中から「面白い」 と思えるアナグラムを収集・分類し、「面白いアナグラムとはどんなアナグラムか」という問いに対して、ひとつの仮説を提示する。

## 2 アナグラム生成システム

図 1 に、今回実装したアナグラム生成システムの概要を示す。生成手順は、おおきく、(1) 候補リスト作成と、(2) ランキングの 2 つのステップから構成される。

## 2.1 候補リスト生成

候補リスト生成では、与えられた入力から、アナグラムの候補リストを作成する。入力は、表記 (日本語文字列) とその読み (ひらがな文字列1) ${ }^{11}$ ) の組である。なお、入力それ自身は、生成する候補リストにかならず含める。

1) 本研究における「ひらがな」は、JISコード (ISO-2022-JP) の 0x2421 から 0x2473 までの 83 文字のうち、小書の「わ」と 「み・总」の 3 文字を除いた 80 文字である。

## 2.1.1読みの並び替え

候補リスト作成の最初のステップは、読み(ひらがな列) の並べ替えを求めるステップである。たとえば、入力「名古屋大学/なごやだいがく」は、読みの長さが 7 で、すべての文字が異なるので、 $7 !=5,040$ 個の並べ替えが得られる。

このステップでは、ひらがな列として適切なもののみ生成する。具体的には、以下の制約を課す。

1. 拗音「ゃ・ゅ・よ」は、ア行を除くイ段の文字「き・し・ち・に・ひ・み・り・ぎ・じ・ぢ・び・ ぴ」の直後の文字としてのみ採用する。

2. 撥音「ん」、促音「っ」、小書き文字「あ・い・う・ え・お」は、並べ替え文字列の先頭の文字として採用しない。

このため、「東京大学/とうきょうだいがく」の読みは 9 文字であるが、「う」が 2 回現れ、「ゃ」は「き」 の直後にしか配置できないため、生成される並べ替えは 9 ! ではなく、 $8 ! / 2=20,160$ 個となる。

## 2.1.2 かな漢字変換

次のステップでは、かな漢字変換システムを利用して、得られたそれぞれのひらがな列を日本語文字列 (かな漢字文字列) に変換する。かな漢字変換システムには、MeCab[4] と MeCab-skkserv[5] のかな漢字変換辞書を利用した。

一般に、かな漢字変換では、複数の変換候補が考えられるが、ここでは、それぞれのひらがな列に対して、変換結果をひとつだけ生成する。

## 2.1.3 フィルタリング

候補生成の最後のステップでは、以下に示す $2 \supset$ のフィルタを順に適用し、候補を絞り込む。

読みの不一致フィルタかな漢字変換によって得られた日本語文字列の標準的な読みが、変換前のひらがな文字列と一致しない場合、読みアナグラムとしての完全性に欠ける。そこで、日本語文字列の読みを形態素解析システム $\mathrm{MeCab}$ (IPA 辞書) を用いて取得し、かな漢字変換前のひらがな列と一致しない場合は、その候補を削除する。このフィルタにより、大力「名古屋大学/なごやだいがく」に対する候補は 5,040 個から 4,184 個に絞られる。

文字 n-gram フィルタ文字 n-gram に基づいて、日本語文字列としての可能性が著しく低いものを候補から削除する。具体的には、国立国語研究所が公開している日本語の文字 n-gram データ [6] から、文字 2-gram は頻度が 101 回以上の 1,384,419 種類、文字 3-gram は頻度が 11 回以上の 39,670,672 種類を採用し、このリストに存在しない文字 2-gram および文字 3-gram を含む候補をリストから削除する。このフィルタによって、「名古屋大学 / なごやだいがく」では、4,184 個の候補が 387 個に絞られる。

## 2.2 ランキング

ランキングでは、候補リスト生成で得られたそれぞれの候補にスコアを付与し、スコア順にソートした候補リストを出力する。

## 2.2.1 スコアの定義

入力 $I$ に対する候補 $C$ のスコアを、以下の式で定義する。

$
\operatorname{score}(C, I)=\operatorname{GPT}-2(C . h)-\operatorname{penalty}(C, I)
$

ここで、 $I$ と $C$ は、いずれも表記 (日本語文字列) と読み (ひらがな文字列) の組であり、GPT-2(C.h) は、候補の表記 C.hに対する GPT-2 [7] の龙度を表す。 penalty $(C, I)$ は、候補と入力の類似性に基づくぺナルティを表す。

## 2.2.2 尤度計算

候補表記の、日本語として妥当性 (文法的適格性と意味的整合性) を GPT-2 の尤度によって見積もる。 GPT-2 の実装としては、公開されている日本語用の実装 [8] の medium モデルを利用した。

## 2.2.3候補と入力の類似性ペナルティ

尤度のみでランキングすると、ほとんどの場合、入力自身が最上位の候補となる。さらに、「名古屋大学」に対して「大学名古屋」や「名古屋大工が」 のように入力の一部を色濃く残した候補が上位に来ることが多い。これらの候補の順位を下げるため、入力との類似性に基づくペナルティを導入した。

ペナルティの計算は、次のように行う。ペナルティの値は、候補 $C$ と入力 $I$ の表記の類似度 $\operatorname{sim}_{h}$ と読みの類似度 $\operatorname{sim}_{y}$ の和に 10 を掛けた値と定義する。

$
\operatorname{penalty}(C, I)=10 *\left(\operatorname{sim}_{h}(C, I)+\operatorname{sim}_{y}(C, I)\right)
$

表記の類似度は見た目の類似度、読みの類似度は音の類似度に相当し、見た目と音の両方を考慮することを意図している。
表 1 「名古屋大学/なごやだいがく」に対する上位 10 件

2 つの文字列 $X$ と $Y$ の類似度は、両者に共通する文字 n-gram の割合として計算する。

$
\operatorname{sim}(n, X, Y)=\frac{\operatorname{dup}(\mathrm{n}-\operatorname{gram}(X), \mathrm{n}-\operatorname{gram}(Y))}{\min (|\mathrm{n}-\operatorname{gram}(X)|,|\mathrm{n}-\operatorname{gram}(Y)|)}
$

ここで、 $\mathrm{n}-\operatorname{gram}(X)$ は文字列 $X$ に含まれる文字 n-gram のリストを、|・はリストの要素数を表す。関数 $\operatorname{dup}(A, B)$ は、 2 つのリスト $A, B$ に共通して現れる要素の個数を表す。ただし、 $A$ または $B$ に同一要素が複数存在し、かつ、それらが $A$ と $B$ に共通して現れる場合、共通して現れる個数としては、少ない方の個数を採用する。たとえば、 $A$ に「なご」が 2 回現れ、 $B$ に 1 回現れる場合は、「なご」が共通して現れる個数としては 1 を採用する。このような計算により、上記の $\operatorname{sim}$ の値域は $[0,1]$ となる。

表記の類似度は、文字 3-gram と文字 2-gram の類似度の平均値とする。

$
\operatorname{sim}_{h}(C, I)=\frac{1}{2}(\operatorname{sim}(3, C . h, I . h)+\operatorname{sim}(2, C . h, I . h))
$

一方、読みの類似度は、文字 4-gram と文字 3-gram の類似度の平均値とする。

$
\left.\operatorname{sim}_{y}(C, I)\right)=\frac{1}{2}(\operatorname{sim}(4, C . y, I . y)+\operatorname{sim}(3, C . y, I . y))
$

ここで、 $h$ は表記文字列を、 $y$ は読み文字列を表す。 このように、表記と読みで $n$ の值を変更するのは、一般に、読み文字列の方が長くなるからである。 なお、式 (2) の定数 10、式 (4) の定数 3 と 2、式 (5) の定数 4 と 3 は、実際のデータを観察して定めた。

## 3 出力例

入力「名古屋大学/なごやだいがく」に対する出力の上位 10 件を、表 1 に示す。なお、表記と読みに含まれる区切りは、かな漢字変換の際に得られる単語区切りである。出力された候補の中では、「嫌だな語学/いやだなごがく」(4 位)、「嫌な語学だ/ いやなごがくだ」(6位)、「語学嫌だな/ごがくいやだな」 (8 位)が面白い。

## 4 面白いアナグラムとは

機械的に生成したアナグラム候補は、おおきく次のように分類できる。

1. アナグラムとは認められないもの (日本語として不自然なもの)

2. アナグラムと認められるもの (日本語として自然なもの)

(a) 特に面白くないアナグラム

(b) 面白いアナグラム

今回採用したアナグラム生成アルゴリズムでは、日本語文字列としての可能性が著しく低いものを文字 n-gram フィルターで排除するが、日本語文字列らしさは、GPT-2 の尤度としてスコア化しているだけである。そのため、ランキングの下位には、日本語として不自然なものが多数含まれる。

日本語として自然な語・句・文は、アナグラムとして認定できる。しかしながら、その中で「面白い」 と思えるアナグラムは限られている。

面白いアナグラムとはどのようなアナグラムか。 これを調査するために、普通名詞 6,750 語に対して、網羅的にアナグラム候補を生成した。入力として採用した語は、 $\mathrm{MeCab}$ 用の IPA 辞書に収録されている、読みの長さが 6 文字から 9 文字の普通名詞全てである。こうして得られた出力を調査 (目視)して、著者らが面白いと思うアナグラムを収集し、それらの分類を試みた。以下では、その分類を示し、付録にその実例を示す。なお、これらの分類は排他的分類ではない。複数の分類に属するアナグラムも存在し、それらは面白さの度合いが高い。

## 4.1 単独で面白いアナグラム

単独で面白いアナグラムとは、アナグラム自身に面白さを感じるものである。言い換えるならば、元となった語 (入力) が何だったかに依存しない面白さである。

文形式となるアナグラム完結した文 [付録 (1)] あるいは、それに準ずる形式のアナグラムは、面白いと感じることが多い。文は、ある事態を表す形式であり、読み手は、その事態を想起することが容易である。端的に言えば、具体的なイメージが湧きやすい。そのイメージに我々は反応し、面白いと感じるのではないだろうか。
意外性がある複合語となるアナグラム意外性がある複合語となる場合 [ 付録 (2)] も面白い。これらの複合語は実際には存在しないが、あってもおかしくないという意味で、我々の好奇心を刺激するのであろう。

ナンセンス系アナグラム単体で面白いアナグラムの分類のひとつとして、「ナンセンス系」と名付けたアナグラムがある [付録 (3)]。このタイプのアナグラムでは、思いもよらなかった意外な組み合わせに、想像力が刺激されるのだろう。

オノマトペを含むアナグラムオノマトペを含むアナグラム [付録 (4)] が生成されることは比較的少ない。つまり、希少性がある。オノマトペには臨場感があり、イメージを想起させる効果がある。そのような効果も、面白さに寄与しているのだろう。

評価や感情を表す形容詞を含むアナグラム評価や感情を表す形容詞を含むアナグラム [付録 (5)] は、面白いと感じることが多い。これは、面白さの評価が、感覚・感情に基づく評価であることが関係しているのかもしれない。

## 4.2 入力との関連で面白いアナグラム

入力との関連で面白いアナグラムとは、「この入力からこんなアナグラムが作れるのか」という驚き、あるいは、巧みさに面白さを感じるアナグラムである。

入力と関連するアナグラムアナグラムが入力と何らかの意味で関連する場合 [付録 (6)]、面白いと感じることが多い。人間がアナグラムを作る場合、入力と関連するアナグラムを作ることは、かなり難しい。そのため、制作者のスキルの高さ (巧みさ)を評価するのだろう。

入カとアナグラムがひと続きの文となるその特殊な場合として、入力とアナグラムで、ひと続きの文を構成できる場合 [付録 (7)] がある。

ダジャレ系アナグラムダジャレ系アナグラム [付録 (8)] とは、元の語と音は似ているのに、意味的にはまったく関係ないアナグラムである。そのギャップに面白さを感じる。

入力とギャップがあるアナグラム入力との意味的ギャップが面白いアナグラムもある [付録 (9)]。何だかよくわからないところが、逆に面白いのだろう。

## 4.3 面白さを感じる要因

以上、我々が面白いと感じるアナグラムを見てきた。これらを整理すると、我々が面白いと感じるアナグラムは、おおよそ次のように総括できよう。

1. 具体的なイメージを想起しやすいアナグラム

2. 驚きや意外性があるアナグラム、想像力や好奇心を喚起するアナグラム

3. 入力と強く関連するアナグラム、入力との落差がはげしいアナグラム

この総括からわかるように、面白さの要因はひとつではない。いくつかの要因が組み合わさると、面白さが際立ってくる。つまり、面白さを捉えるためには、複数の軸を考える必要がある。

今回得られたアナグラムの中で、最も面白いと判断したもののひとつは、次のアナグラムである。

他力本願 /たりきほんがん

$\rightarrow$ 本気が足りん/ほんきがたりん

【他力本願、本気が足りん】

このアナグラムは、アナグラムが文形式となり、入力とアナグラムがひと続きの意味の通る文となる。さらに、「足りん」と話し言葉的になって臨場感を醸し出し、面白さを際立たせている。

## 5 おわりに

本稿では、入力に対するアナグラムの候補を順位付きで出力するシステムを示すとともに、システムが生成した候補から「面白いアナグラム」を収集・分類し、面白さを醸し出す要因を分析した。

本研究により「面白いアナグラムを作る」という目標は、かなり達成できたと考える。生成した面白いアナグラムの一部を付録に示したが、これ以外にも数百個の面白いアナグラムが得られている。次の目標は、「面白いアナグラムを選ぶ」能力の実現であるが、本稿で示した「面白いアナグラム」の整理と分類は、その足掛かりになろう。

## 謝辞

本稿の内容は、名大 MIRAI GSC（http://www. iar.nagoya-u.ac.jp/miraigsc/) の第 2 ステージで行った研究が元となっている。

## 参考文献

[1] 新村出（編）. 広辞苑第七版. 岩波書店, 2018.

[2] 鈴木啓輔, 佐藤理史, 駒谷和範. 文節データベー スを用いた日本語アナグラムの自動生成. 第 10 回情報科学技術フォーラム (FIT-2011), RF-009,第 2 分冊, pp. 97-102, 2011.

[3] 鈴木啓輔, 佐藤理史, 駒谷和範. アナグラム生成における文節列の意味的適格性の判定法の検討. 言語処理学会第 18 回年次大会発表論文集, pp. 1308-1311, 2012.

[4] MeCab: Yet Another Part-of-Speech and Morphological Analyzer,（2021-12 閲覧）. https:// taku910.github.io/mecab/.

[5] mecab-skkserv,（2021-12 閲覧）. http://chasen. org/\%7Etaku/software/mecab-skkserv/.

[6] GSK2020-C「国語研日本語ウェブコーパス」n-gram データ・頻度表，（2021-12 閲覧）。 https://www.gsk.or.jp/catalog/gsk2020-c/.

[7] openai/gpt-2,（2021-12 閲覧）.https://github. com/openai/gpt-2.

[8] gpt2-japanese, (2021-12閲覧).https://github. com/tanreinama/gpt2-japanese.

## 付録 面白いアナグラムの具体例

## 文形式となるアナグラム

(1) a. 頭でっかち/あたまでっかち

$\rightarrow$ ちまたで悪化/ちまたであっか

b. 功労賞 /こうろうしょう

$\rightarrow$ 売ろうコショウ/うろうこしょう

c. 生殺与奪 / せいさつよだつ

$\rightarrow$ いつ左折だよ/いつさせつだよ

d. 連尺商い/れんじゃくあきない

$\rightarrow$ あれ禁句じゃない/あれきんくじゃない

e. セラミックエンジン/せらみっくえんじん

$\rightarrow$ えっ自民落選/えっじみんらくせん

意外性がある複合語となるアナグラム

(2) a. サウンドトラック/さうんどとらっく

$\rightarrow$ 皿うどん特区/さらうどんとっく

b. 緞帳役者/どんちょうやくしゃ

$\rightarrow$ やんちゃ食堂/やんちゃしょくどう

c. 相対性理論 / そうたいせいりろん

$\rightarrow$ 総理生態論/そうりせいたいろん

ナンセンス系アナグラム

(3) a. 一日千秋/いちじつせんしゅう

$\rightarrow$ セイウチ出陣/せいうちしゅつじん

b. 般若心経 / はんにゃしんぎょう

$\rightarrow$ 社運は人魚/しゃうんはにんぎょ

c. 蜀江の錦 / しょっこうのにしき

$\rightarrow$ キノコに失笑/きのこにしっしょう

d. 蝸牛角上 / かぎゅうかくじょう

$\rightarrow$ 食うか授業か/くうかじゅぎょうか

e. 反対称律 / はんたいしょうりつ

$\rightarrow$ 両親はタイツ/りょうしんはたいつ

## オノマトペを含むアナグラム

(4) a. 一宿一飯/いっしゅくいっぱん

$\rightarrow$ 行く一瞬パッ/いくいっしゅんぱっ

b. 一昨昨週 / いっさくさくしゅう

$\rightarrow$ サクサク一周 /さくさくいっしゅう

c. 胸突き八丁/むなつきはっちょう

$\rightarrow$ 千夏は今日ムッ/ちなつはきょうむつ

d. ニッポンチャレンジ/にっぽんちゃれんじ

$\rightarrow$ レンジにちゃっぽん/れんじにちゃっぽん

e. 似た者夫婦 / にたものふうふ

$\rightarrow$ うふふのモニタ/うふふのもにた

評価や感情を表す形容詞を含むアナグラム

(5) a. 第一人称/だいいちにんしょう

$\rightarrow$ 超いい男子に/ちょういいだんしに

b. 骨粗鬆症 /こつそしょうしょう

$\rightarrow$ 少々そこつ/しょうしょうそこつ

c. ジャイアントパンダ/じゃいあんとぱんだ

$\rightarrow$ ジャパンだと安易/じゃぱんだとあんい

d. 風林火山/ふうりんかざん

$\rightarrow$ うんざり花粉/うんざりかふん

e. 乾坤一擲 / けんこんいってき

$\rightarrow$ インコって危険 /いんこってきけん

## 入力と関連するアナグラム

(6) a. 総合大学/そうごうだいがく $\rightarrow$ そういう語学だ/そういうごがくだ

(「大学」と「語学」)

b. 知識工学 / ちしきこうがく

$\rightarrow$ 講師が鬼畜/こうしがきちく

(「知識工学」と「講師」)

c. 最年少 /さいねんしょう

$\rightarrow$ うん最初ね/うんさいしょね

(「最年少」と「最初」)

d. 名題役者 / なだいやくしゃ

$\rightarrow$ 医者役だな/いしゃやくだな

(「役者」と「医者役」)

e. 方角違い/ほうがくちがい

$\rightarrow$ 北緯が違う/ほくいがちがう

(「方角」と「北緯」)

入力とアナグラムがひと続きの文となる

(7) a.一日中/いちにちじゅう

$\rightarrow$ 知事に注意/ちじにちゅうい

【一日中、知事に注意】

b. 百科事典 / ひゃっかじてん

$\rightarrow$ 光ってんじゃ/ひかってんじゃ

【百科事典、光ってんじゃ】

c. 相思相愛/そうしそうあい

$\rightarrow$ 試合早々/しあいそうそう

【試合早及、相思相愛】

d. 健康上 / けんこうじょう

$\rightarrow$ 好条件 /こうじょうけん

【健康上、好条件】

e. 器械体操 / きかいたいそう

$\rightarrow$ 競う大会 /きそうたいかい

【器械体操、競う大会】

ダジャレ系アナグラム

(8) a. 香典返し/こうでんがえし

$\rightarrow$ 公園で餓死/こうえんでがし

b. 亜成層圏 / あせいそうけん $\rightarrow$ 麻生政権 / あそうせいけん

c. 山河襟帯/さんかきんたい

$\rightarrow$ サンタ解禁/さんたかいきん

d. 猿の腰掛/さるのこしかけ

$\rightarrow$ 酒のコルシカ/さけのこるしか

e. 交感神経/こうかんしんけい

$\rightarrow$ 更新関係/こうしんかんけい

入力とギャップがあるアナグラム

(9) a. 天地神明 / てんちしんめい

$\rightarrow$ メンチ進呈 /めんちしんてい

b. 全知全能 / ぜんちぜんのう

$\rightarrow$ 膳所の運賃 /ぜぜのうんちん

c. 栄枯盛衰 / えいこせいすい

$\rightarrow$ せこい水泳/せこいすいえい

d. 猿の腰掛/さるのこしかけ

$\rightarrow$ 今朝のコルシカ / けさのこるしか

e. 酒池肉林/しゅちにくりん

$\rightarrow$ チリに君主/ちりにくんしゅ