# 単語正規化による表記ゆれに頑健な BERT モデルの構築

勝田 哲弘 ${ }^{1}$ 林 政義 ${ }^{1}$ 山村 崇 ${ }^{1}$ Tolmachev Arseny ${ }^{1}$
高岡一馬 1 内田佳孝 1 浅原 正幸 ${ }^{2}$
1 株式会社ワークスアプリケーションズ・エンタープライズ
2 人間文化研究機構 国立国語研究所
katsuta_a@worksap.co.jp

## 概要

近年、様々な自然言語処理タスクで大規模な事前学習済みの言語モデルである BERT による飛躍的な 精度向上が示されている。しかし、日本語テキスト には同一の語が複数の表記で出現することが多く、英語テキストでの学習と比べその影響は自明では ない。そこで我々は形態素解析器による単語正規化 を行い、表記ゆれを考慮した BERT モデルの構築を 行った。また下流タスクにおいて、提案手法が表記 ゆれに対して出力の一貫性を保ちつつ、正規化をし ない従来の BERT モデルと同程度の精度であること を示した。

## 1 はじめに

大規模な事前学習済みの言語モデル BERT [1] を 利用することで自然言語処理の様々なタスクで飛躍的な精度向上が示されている。その一方、Ribeiro ら [2] は BERT モデルが同義語による摂動などで精度 を低下させることを実験の中で示している。

日本語テキストには同一の語が複数の表記で出現 することが多い。「引っ越し」「引越し」のように部分文字列を共有するものだけでなく、「酢橘」「すだ ち」のように全く異なる文字列に変化するものもあ り、同義語と同様にモデルへの影響が予想される。 BCCWJ を対象とした調査では WEB・書籍上で約 1 割の語に表記ゆれが存在する [3]。

そこで我々はコーパスの前処理として形態素解析器 Sudachi [4] の単語正規化を利用し、表記ゆれに頑健な BERT モデルの構築を行った。また、下流タス クで表記ゆれによる出力の一貫性を担保しつつ正規化をしない BERT モデルと同程度の精度であること を示した。

現在、chiTra ${ }^{1)}$ として Sudachiを利用した単語正規化の機能をもつ Hugging Face ${ }^{2}$ 互換のトークナイ ザーを公開している。今後は本研究で提案する表記 ゆれに頑健な事前学習済み BERT モデルを公開する 予定である。

## 2 関連研究

BERT [1] は平文から 2 つの事前学習タスク (Masked Language Model, Next Sentence Prediction)を 学習し、様々な応用タスクに適応して精度向上に貢献している。事前学習モデルの評価では GLUE [5] やSQuAD2.0 [6] が用いられることが多く、複数の自然言語処理のタスクで評価される。Ribeiro ら [2] は ソフトウェアエンジニアリングの動作テストから着想を得て、モデルを評価するためのチェックリスト を提案している。その中でも Invarianceでは入力の 変化に対して出力がどれだけ不変であるかを評価し ている。入力に対して同義語による置換を行うと彼 らが実験で使用した BERT モデルでは $13.1 \%$ 予測結果のゆれが生じることが示されている。この結果 から日本語における表記ゆれも予測結果に影響を与 えると推測される。

## 3 Sudachi による単語正規化

Sudachi 形態素辞書では表記ゆれに対応するため 登録語ごとに正規化表記が付与されている。この正規化表記を用いて単語正規化を行う。例として以下 のようなものが正規化の対象となる。
- 送り違い：打込む $\rightarrow$ 打ち込む

・字種：かつ井 $\rightarrow$ カツ井
- 異体字：附属 $\rightarrow$ 付属

・誤用：シュミレーション $\rightarrow$ シミュレーション

・縮約：ちゃあ $\rightarrow$ ては

・翻字 ： test $\rightarrow$ テスト

表 1 各正規化による出力例

表 2 実験で使用した日本語 Wiki-40B の学習データの統計値

・活用形：泳い（だ） $\rightarrow$ 泳ぐ（た）
- 可能動詞：泳げる $\rightarrow$ 泳ぐ

ただし、「あく」から「空く、開く、明く」など曖昧性解消を必要とする正規化は行われない。

この正規化には活用形や可能動詞の正規化も含ま れており、単純に利用するとこれらの情報が失われ てしまう。このような強い正規化は事前学習や下流 タスクに悪影響を与える可能性がある。そこで正規化の強さの影響をみるために、下記 4 つのルール毎 に学習を行い、正規化の適用範囲を調整する。

## surface

正規化をせず入力をそのまま出力する

## normalized_and_surface

入力単語の内、活用語は見出し語を、それ以外 は正規化表記を出力する

## normalized_conjugation

入力単語を全て正規化表記で出力し、活用形の ある「動詞、助動詞、形容詞」は活用語尾を入力の活用形に合わせる

## normalized

入力単語を全て辞書の正規化表記で出力する それぞれのルールを適用した出力例を表 1 に示 す。normalized_conjugationでは「とどけ」を「届け」 に正規化を行いつつも活用情報を残しているが、 normalized の出力では動詞の活用情報は表層から消 えていることが見て取れる。

## 4 BERT モデルの事前学習

## 4.1 コーパスのクリーニング

事前学習用コーパスとして、比較のため既に公開されている日本語 BERT の事前学習モデルで も用いられているWikipediaを使用した。ただし、 Wikipedia 中のページには十分なテキストが含まれ
ていない不要な非コンテンツ（曖昧さ回避・リダイ レクト・削除済み・非エンティティ）も存在してい る。そこで、これらの非コンテンツのページが除去された日本語 Wiki-40B [7] を用いた。実験では、 Wiki-40B を段落ごとに分割して 1 文書として扱い、文書内のテキストに対して文分割を適用した。文分割器には、Bunkai ${ }^{3)}[8]$ を用いた。

Raffel ら [9] は、下流タスクに有用ではないと考 えられる定型文や不快な言葉（NG ワード）、ソース コードなどをテキストから除外することで、下流夕 スクにおける事前学習モデルの精度が向上するこ とを報告している。本実験ではこれに倣ってクリー ニング処理を適用した。詳細は付録の表 6 に示す。 NG ワードとして、C4 [9] で用いられているリスト4) と稲葉 [10] が用いたリストから、著者 2 名によって NG ワードとして妥当だと考えられる 210 語を選定 し利用した。

表 2 に、本実験で使用した事前学習用データセッ トの統計值を示す。Train データに対してクリーニ ング処理を適用すると、総文書数が元の半分になっ ている一方で、総文数は約 $21 \%$ しか減少していな い。これは、1、2 文からなる文書が元のデータセッ ト中に多く出現していたためと考えられる。

## 4.2 事前学習

WordPiece による語彙の学習及び BERT の事前学習の際に 3 節で述べた 4 つの正規化手法を適用し、 それぞれのモデルごとに WordPiece による 32,000 語 の選定とその語彙でサブワード化されたコーパスで の事前学習を行った。形態素解析には SudachiPy ${ }^{5}$

3) https://github.com/megagonlabs/bunkai

4) https://github.com/LDNOOBW/

List-of-Dirty-Naughty-Obscene-and-Otherwise-Bad-Words/ blob/master/ja

5) https://github.com/WorksApplications/sudachi.rs/tree/ develop/python

を使用して C 単位で解析している。

BERT の事前学習は NVIDIA の実装6)を利用し、 NVIDIA RTX A6000 4 枚使用して学習した。学習 は 2 段階で行われ phase 1 では max_lengthを 128 と して学習し、phase2では max_lengthを 512 に拡張し て再学習した。使用したハイパーパラメータを表 3 に示す。

## 5 実験設定

## 5.1 評価対象

本実験では正規化による下流タスクへの影響及び 入力の表記化に対する頑健性の評価を行うために 以下の 2 つについて調査する。

## 下流タスクへの影響

正規化を行った影響を調査するため、 4.2 節で構築した BERT モデルごとに下流タスクで fine-tuning した際の精度を評価する。下流タスクについては 5.3 節で後述する。

fine-tuning およびハイパーパラメータの探索範囲 については BERT 元論文 [1] に従った。

## 表記ゆれに対する頑健性の評価

提案手法において入力に表記ゆれが発生しても出力が変化しないケースの量を評価する。下流タスク のテストデータの文章を正規化することで表記ゆれ を疑似的に生成し、表記ゆれの有無でモデルの出力 がどの程度変化するかを計測する。

自然な表記ゆれを生成するため、正規化手法 には提案手法中で正規化の度合いが最も弱い normalized_and_surfaceを用いる。

6) https://github.com/NVIDIA/DeepLearningExamples/tree/ master/TensorFlow2/LanguageModeling/BERT

## 5.2 ベースライン

ベースラインとして、公開されている日本語BERT モデルから、東北大 BERT $^{7}$ ) (cl-tohoku/bert-basejapanese-whole-word-masking)、京大 BERT[11] (BASE WWM 版)、NICT BERT（BASE BPE あり）の 3 つ を比較に用いた。それぞれの詳細を付録の表 7 に 示す。

## 5.3 評価タスク

日本語の言語モデルの評価においては英語での GLUE や SQuAD のような基準となるタスク群がな いため、類似する日本語のデータセットとして以下 の3つを用いる。

## Multilingual Amazon Reviews Corpus (Amazon) [12]

文章分類タスクとしてアマゾンが公開している データセットを用いる。ここでは日本語のサブセッ トのみを対象とし、レビュー本文から評価の星数 （1-5）を推定する。評価指標には精度 (Acc) および 平均二乗誤差 (MSE) を用いる。

## 京都大学常識推論データセット (KUCI) [13]

常識推論タスクとして京都大学が公開している データセットを用いる。これは文脈文に続く内容と して最も適切な文を 4 つの選択肢から選ぶタスクで ある。本データは Juman++による形態素解析が行わ れているため、前処理として生文に戻す。評価指標 には精度 (Acc) を用いる。

## 解答可能性付き読解 (RCQA) [14]

読解タスクとして東北大が公開しているデータ セットを用いる。これは質問・解答・文章の組に対 し、文章から解答を推定できるかのスコアが付与さ れたデータである。ここでは NICT BERT ${ }^{8}$ の評価実験設定にならい、解答可能性スコアが 2 未満のもの を解答なしとして SQuAD2.0 形式のデータへと変換 し、データの年代によって 2009 年までを訓練、2009 年代を開発、2010 年以降を評価データと分割して用 いる。評価指標には出力と正解単語列の完全一致率 (EM) および F1 スコア (F1)を用いる。

## 6 結果と考察

表 4 に下流タスクでの精度を示す。提案モデルは 正規化の有無に関わらず既存モデルと同程度の精度 を達成している。全体的に NICT-BERT が良い性能

表 4 各タスクでの性能

ベースラインモデルと今回学習したモデルのそれぞれで最も性能が良いものを太字で示している。

表 5 入力の normalized_and_surface 正規化による出力変化 $(\%)$

数値は、出力が変化したサンプル（うち元々正答であったもの、正規化後に正答となったもの）。 いずれも総サンプル数に対する割合。なお出力変化の総計には誤答から誤答への変化も含まれる。

となっているが、これは NICT-BERT の事前学習時 の訓練量が多く、より学習が進んでいることによる ものと思われる。

提案モデルに注目すると、各タスクについて正規化ありのモデルのいずれかが surface モデルと同等以上の性能を達成しており、正規化を行うことによ る精度への悪影響は起こっていないことが確認され た。しかしどの正規化手法の性能が高くなるかは夕 スクによって異なっており、汎用的に精度を向上さ せる手法の特定にまでは至らなかった。

表 5 に正規化による疑似表記ゆれを施した入力を 与えた時の各モデルの出力変化を示す。surface モデ ルではサンプルのおよそ 5-10\%で出力が変化してお り、4-8\%ではタスクにおける正誤も変化している。各タスクで良い性能であった既存モデルでも同様の 傾向が確認でき、通常の学習では表記ゆれには対応 しきれないことが推測できる。

提案手法ではモデルに含まれる正規化機能によ り、これらの出力変化に対する頑健性を得ることが できている。

## 7 まとめ・今後の予定

今回の実験では正規化手法ごとの性能はタスクに よって上下した。文書分類、常識推論、読解のタス クについて評価したが、品詞推定などより文法を考慮する必要のあるタスクなどでも正規化の影響を 調査したい。また、タスクに依らず良い性能となる 正規化手法は存在するのか、特定のタスクに合わせ た手法の選択は可能かといったことや同義語、フィ ラーの処理など正規化の適用範囲を広げることによ る影響についても調査したい。

今回利用した表記渒れ生成方法は、提案手法に やや有利なものになっている。手法やデータセット を工夫することでより適切な表記ゆれへの頑健性の 評価を行いたい。

本研究では単語正規化を考慮した表記ゆれに頑健 な BERT モデルの構築を行った。そして、下流タス クで表記ゆれによる出力の一貫性を担保しつつ正規化をしない BERT モデルと同程度の精度であること を示した。

学習に使用したスクリプトは GitHub で公開して いる9)。今後、学習したモデルも公開する予定であ る。本実験では、Wiki-40B を使用して BERT の事前学習をおこなった。言語モデルの学習はより大規模 なコーパスであるほど良いとされており [15]、今後本提案手法の正規化を適用した国語研日本語ウェブ コーパス (NWJC) [16] で学習した BERT モデルを公開する予定である。

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[2] Marco Tulio Ribeiro, Tongshuang Wu, Carlos Guestrin, and Sameer Singh. Beyond accuracy: Behavioral testing of NLP models with CheckList. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 4902-4912, Online, July 2020. Association for Computational Linguistics.

[3] 小椋秀樹. コーパスに基づく現代語表記のゆれの調査一 bccwj コアデータを資料として一. 第 1 回コー パス日本語学ワークショップ, pp. 321-328, 2012.

[4] Kazuma Takaoka, Sorami Hisamoto, Noriko Kawahara, Miho Sakamoto, Yoshitaka Uchida, and Yuji Matsumoto. Sudachi: a japanese tokenizer for business. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), Paris, France, may 2018. European Language Resources Association (ELRA).

[5] Alex Wang, Amanpreet Singh, Julian Michael, Felix Hill, Omer Levy, and Samuel R. Bowman. GLUE: A multitask benchmark and analysis platform for natural language understanding. In International Conference on Learning Representations, 2019.

[6] Pranav Rajpurkar, Robin Jia, and Percy Liang. Know what you don't know: Unanswerable questions for SQuAD. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 784-789, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[7] Mandy Guo, Zihang Dai, Denny Vrandečić, and Rami AlRfou. Wiki-40B: Multilingual language model dataset. In Proceedings of the 12th Language Resources and Evaluation Conference, pp. 2440-2452, Marseille, France, May 2020. European Language Resources Association.

[8] Yuta Hayashibe and Kensuke Mitsuzawa. Sentence boundary detection on line breaks in Japanese. In Proceedings of the Sixth Workshop on Noisy User-generated Text (W-NUT 2020), pp. 71-75, Online, November 2020. Association for Computational Linguistics.

[9] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. Journal of Machine Learning Research, Vol. 21, No. 140, pp. 1-67, 2020.

[10] 稲葉通将. おーぷん 2 ちゃんねる対話コーパスを用 いた用例ベース対話システム. 第 87 回言語・音声理解と対話処理研究会 (第 10 回対話システムシンポジ ウム), 人工知能学会研究会資料 SIG-SLUD-B902-33, pp. 129-132, 2019.

[11] 柴田知秀, 河原大輔, 黒橋禎夫. Bert による日本語構文解析の精度向上. 言語処理学会第 25 回年次大会発表論文集, 2019.

[12] Phillip Keung, Yichao Lu, György Szarvas, and Noah A. Smith. The multilingual Amazon reviews corpus. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 4563-4568, Online, November 2020. Association for Computational Linguistics.

[13] Kazumasa Omura, Daisuke Kawahara, and Sadao Kurohashi. A method for building a commonsense inference dataset based on basic events. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 2450-2460, Online, November 2020. Association for Computational Linguistics.

[14] 鈴木正敏, 松田耕史, 岡崎直観, 乾健太郎. 読解による 解答可能性を付与した質問応答データセットの構築. 言語処理学会第 24 回年次大会発表論文集, 2018.

[15] Tom Henighan, Jared Kaplan, Mor Katz, Mark Chen, Christopher Hesse, Jacob Jackson, Heewoo Jun, Tom B Brown, Prafulla Dhariwal, Scott Gray, et al. Scaling laws for autoregressive generative modeling. arXiv:2010.14701, 2020.

[16] Masayuki Asahara, Kikuo Maekawa, Mizuho Imada, Sachi Kato, and Hikari Konishi. Archiving and analysing techniques of the ultra-large-scale web-based corpus project of ninjal, japan. Alexandria, Vol. 26, No. 1-2, pp. 129-148, 2014.

## A 付録

## A. 1 コーパスのクリーニング

4.1 節で行っているクリーニング処理を以下に示す。

表 6 学習コーパスのクリーニング処理一覧

## A. 2 比較対象のモデル詳細

5.2 節でべースラインとして採用したモデルの詳細を以下に示す。

表 7 モデル詳細

## A. 3 正規化の例

5.1 節で表記ゆれの生成に用いた normalized_and_surface による正規化の例を以下に示す。

表 8 normalized_and_surfaceによる正規化

3 つ目の例でコバルトの元素記号"Co"が"CO"に変換されるなど、不適切な変換も含まれる。


# 日本語固有表現抽出における BERT-MRC の検討

橋本航 ${ }^{1}$ 笛木正雄 1,2 黒木裕鷹 1 高橋寛治 1
${ }^{1}$ Sansan 株式会社 2 東工大工学院経営工学系
\{wataru.hashimoto, fueki, kuroki, ka.takahashi\}@sansan.com

## 概要

固有表現抽出は，テキスト中から人名や組織名 などの固有表現を抽出する技術である。近年は， BERT を始めとした事前学習モデルをべースとした アプローチの発展が著しい. 中でも BERTを用いた 機械読解 (Machine Reading Comprehension; MRC) と して固有表現抽出を解くモデルである BERT-MRC は，複数の英語データセットにおいて最高性能を示 している。本稿では，日本語データセットを対象 にして BERT-MRC の精度検証やエラー分析を行い，有効性を検討した. その結果，BERT-MRC は精度と しての有効性は確認されなかったものの, 固有表現抽出と機械読解形式とれぞれの場合で有効性を示す ケースを確認することができた.

## 1 はじめに

固有表現抽出 (Named Entity Recognition; NER) は， テキスト中から人名や組織名など固有表現を抽出す る，自然言語処理において基礎的かつ重要な技術で ある. 固有表現抽出は個人情報のマスキングや文書 からの情報抽出などに用いられ，Sansan 株式会社が 提供する営業 DX サービス「Sansan」1) や名刺アプリ $\lceil\text { Eight }\lrcorner^{2}$ においてもニュース記事中から抽出した企業名をキーとしてニュース配信に用いている.

近年は，事前学習済みの言語モデルである BERT[1]を始めとした様々な言語モデルを固有表現抽出タスク向けにファインチューニングし，優れた 性能を示す例が数多く報告されている。その中で も，2019 年に提案された，固有表現抽出を機械読解形式で解くモデルである BERT-MRC[2] は, 複数の 英語データセットにて当時の最高性能を示したモ デルである. BERT-MRC は 1 つのトークンに複数の ラベルが割り当てられる場合も考慮する nested-NER にも利用可能など，拡張性の高いモデルである．機

械読解形式で固有表現抽出を解く場合，固有表現の 各ラベルは質問文と紐付けられ，対象文から質問文 に対応する固有表現が抽出される。. 例えば，抽出対象の文が「Sansan 株式会社は、Eight を提供する。」 であり，質問文が「会社名や企業名を含む法人を探 せ」の場合，「Sansan 株式会社」が抽出される。機械読解形式で解く利点として，ラベルを構成するトー クン列が持つ意味的な情報を活用できる点がある.

しかし，BERT-MRC は英語では優れた性能を示す ことがわかっているものの，日本語での有効性は明 らかになっていない. 本稿では, 日本語に対する固有表現抽出タスクにおいて精度検証やエラー分析を 行い，日本語での BERT-MRC の有効性を検討する.

## 2 関連研究

本章では固有表現抽出に関連する研究について述 べる. 固有表現抽出では，同じトークンでも文脈に よってラベルが異なる場合があるため，系列におけ る過去と未来の双方向の依存性を考慮したモデルが 主流である. Huang ら [3] は BiLSTM-CRFによる固有表現抽出を行っている．BiLSTM は，過去と未来 の双方向について，それぞれ隠れ表現を得るモデル である. Akbik ら [4] は，BiLSTM-CRF に入力する 表現として，語自身の意味表現だけでなく文脈上の 使われ方を考慮した新しい単語埋め込みを入力する 手法を提案し，高い性能を示している.

近年は事前学習済み言語モデルの導入が進ん でおり，その顕著な例が BERT である. BERT は Transformer[5]をべースとし, Masked Language Model および Next Sentence Prediction による双方向の事前学習を導入した事前学習モデルであり, 固有表現抽出をはじめとした様々な自然言語処理タスクに応用可能である. また，BERT C CRF 層を組み合わせた BERT-CRFにより，BERTを用いた固有表現抽出モ デルと比較して精度向上することが報告されており [6]，日本語における BERT-CRF の有効性も確認され ている [7].

さらに，自然言語処理タスクを機械読解形式で解 く方法も提案されており，Li ら [8] は機械読解形式 で関係抽出を行い，大幅に精度が向上したことを報告している. 本稿では，機械読解形式で日本語固有表現抽出タスクを行った場合の有効性を検討する。

## 3 実験及び評価

## 3.1 モデル

本稿では，比較対象となる通常の固有表現抽出モ デルとして BERT-CRF，機械読解形式で解くモデル として BERT-MRC を用い実験を行った。

## 3.1.1 BERT-CRF

BERT-CRF は，BERTを用いた固有表現抽出の出 カラベルの遷移が正しくなるように制約をかけたモ デルである. 入力系列のトークン数を $n$ ，ラベルの 数を $K$ ， 入力系列を $\mathbf{X}=\left.\{\mathbf{x}_{1}, \mathbf{x}_{2}, \ldots, \mathbf{x}_{n}\right.\}$, 出力ラベル $を \mathbf{y}=\left.\{y_{1}, y_{2}, \ldots, y_{n}\right.\}$ とすると，遷移を考慮した系列 のスコア $s(\mathbf{X}, \mathbf{y})$ は以下のように書ける.

$
s(\mathbf{X}, \mathbf{y})=\sum_{i=0}^{n} A_{y_{i}, y_{i+1}}+\sum_{i=1}^{n} P_{i, y_{i}}
$

ここで $A \in \mathbb{R}^{(K+2) \times(K+2)}$ はラベル間の遷移行列， $P_{i, y_{i}}$ はトークン $i$ における出力 $y_{i}$ の確率である. 目的関数は式 (1) のスコア関数を用いた対数尤度関数 で表わせ，最大化するように学習を行う。

$
\log p(\mathbf{y} \mid \mathbf{X})=s(\mathbf{X}, \mathbf{y})-\log \left(\sum_{\hat{\mathbf{y}} \in \mathbf{Y}_{\mathbf{X}}} e^{s(\mathbf{X}, \hat{\mathbf{y}})}\right)
$

ここで $\mathbf{Y}_{\mathbf{X}}$ は $\mathbf{y}$ がとりうる全系列の集合である。 $\mathbf{Y}_{\mathbf{X}}$ の要素数は膨大であるため, 式 (2) の最大化には ビタビアルゴリズムを用いる.

## 3.1.2 BERT-MRC

BERT-MRC は，固有表現抽出を質問に対する 回答に該当するスパンを抽出する機械読解形式で解くモデルである. BERT-MRC では，入力 を質問文と抽出対象文を結合したトークン列 $\left.\{[\mathrm{CLS}], q_{1}, q_{2}, \ldots, q_{m},[\mathrm{SEP}], x_{1}, x_{2}, \ldots, x_{n}\right.\}$ を BERT に 入力し, 対象文のトークンのベクトル表現行列 $E \in \mathbb{R}^{n \times d}$ を得る. ここで $m$ は質問文のトークン数, $d$ は BERT の最終層の出力ベクトルの次元である.得られた $E$ を用いて，そのトークン位置がスパンの表 1 固有表現抽出のデータ例 (IOB2 フォーマット)

表 2 機械読解形式のデータ例

 \\

始点か否かを予測する。

$
P_{\text {start }}=\operatorname{softmax}\left(E \cdot T_{\text {start }}\right) \in \mathbb{R}^{n \times 2}
$

ここで $T_{\text {start }} \in \mathbb{R}^{d \times 2}$ は重みパラメータである. ス パンの終点に対しても同様の予測を行う.

また，上記の予測結果を用いるだけでは質問文に 対応する回答のスパンが一意に定まらない可能性が ある．そのため，スパンの始点と終点のマッチング についても予測を行い，これらを統合することで質問文に対するスパンを出力する。

$
P_{i_{\text {start }}, i_{\text {end }}}=\operatorname{sigmoid}\left(W \cdot \operatorname{concat}\left(E_{i_{\text {start }}}, E_{i_{\text {end }}}\right)\right)
$

ここで $W \in \mathbb{R}^{1 \times 2 d}$ は重みパラメータである.

## 3.2 実験設定

データセットとして，ストックマーク株式会社 が提供する Wikipedia の日本語固有表現抽出データ セット [9] を用いた。学習データ，開発データ，テ ストデータの比率が 8:1:1 になるようにデータを分割した。また，当該データセットを固有表現抽出お よび機械読解のタスクへ適用するため，それぞれ表 1，表 2 のように整形を行った. 固有表現抽出のラ ベルのフォーマットとして IOB2 フォーマットを用
表 3 固有表現ラベルに対応する質問文

表 4 BERT-CRF と BERT-MRC の固有表現抽出における固有表現ラベルごとの結果

## BERT-CRF BERT-MRC

いた.また，BERT の事前学習済みモデルとして東北大の日本語 BERT モデルを使用した. ${ }^{3)}$

BERT-CRF については，不正な遷移4)に対応す るパラメータを-100で初期化した状態で学習を 行った.

BERT-MRC については， negative sampling を導入 して学習を行った.ここでいう negative sample と は，質問文に対応する固有表現が対象文中に存在し ないデータのことであり, negative sampleを間引い て学習するのが negative sampling である. 固有表現抽出を機械読解形式で解く場合，1文に対してラべ ルの個数分の質問文を生成する。そのため，文に よっては該当するラベルがない事例が生成される ことになるケースが多い. negative sampleが多い場合，学習が効率的に進まないため, negative sampling が必要である. 本稿では, positive sample (質問文に 対応する固有表現が対象文に存在するデータ) に対 して negative sample の比率が 1.5 倍になるよう学習

3） https://github.com/cl-tohoku/bert-japanese

4）不正な遷移とは，例えば「B-組織名 $\rightarrow$ I-人名」のような， IOB とラベルが一致せず起こりえない遷移を指す.
データからサンプリングし学習を行った. また，各固有表現ラベルに対応する質問文の一覧を表 3 に示 す. 質問文は [9] の各ラベルを参考にして作成した。

## 3.3 評価方法

評価指標として Precision(適合率), Recall(再現率), F1(F-measure)を用いた. トークン列に対して正しい ラベルが付与できたか否かを基にして算出を行っ た.また，固有表現抽出タスクにおいて BERT-MRC と BERT-CRF の性能を同一条件で比較するため, BERT-MRC を固有表現抽出向けの精度評価ができ るように出力結果の後処理を行った. 具体的には, BERT-MRC では各固有表現ラベルごとに独立に推定 が行われるため、flat-NER（1つのトークンに 1 つの ラベルのみを割り当てる固有表現抽出）向けに変換 する後処理が必要となる. 本稿では，人名 >法人名 >政治的組織名 > その他の組織名 > 地名 > 施設名 >製品名 >イベント名の優先順位をつけて各トークン にラベル付けを行った.

## 3.4 結果

BERT-CRF および BERT-MRC の結果を表 4 に示 す. それぞれのラベルにおけるすべての評価指標に おいて，BERT-CRF の方が良い性能を示した. 各評価指標のスコアを比較しても差が大きいものも見 られることから，日本語の固有表現抽出（flat-NER） においては，機械読解形式のモデルよりも通常の固有表現抽出モデルを用いた方が良いことがわかる.

## 3.5 エラー分析

本セクションでは，BERT-MRC および BERT-CRF のエラー事例を示し考察を行う。まず，BERT-MRC において正しく抽出されなかったが BERT-CRF では 正しく抽出された例の抜粋を表 5 に示す.

表 5 では，BERT-CRF においては鉤括弧内の固有表現を抽出できているが，BERT-MRC では抽出でき ていないことを示している. 鉤括弧内に何らかの固有表現が含まれているのは今回しようしたデータ セットにおいて数多く見られ，実際にテストデータ の全 534 件において鉤括弧が含まれるものは 137 件存在する. その中でも鉤括弧内がすべて固有表現で ある 83 件において BERT-MRC は 69 件正解してい たのに対し，BERT-CRF は 77 件正解していた. 本事例において BERT-MRC が BERT-CRF と比較し正 しく抽出できていないことが，日本語固有表現抽出 においては固有表現抽出モデルに劣後している理由 の 1 つであると考えられる。

次に，BERT-CRF において正しく抽出されなかっ たが BERT-MRC では正しく抽出された例の抜粋を 表 6 に示す. こちらは，ラベル名に対応する質問文「政治的組織名、政党名、政府組織名、行政組織名、軍隊名、国際組織名を探せ」と抽出した固有表現「最高裁」が意味的に近い事例であり, 日本語にお いても BERT-MRC が有効である領域であるといえ る. 本結果から，対象としたい固有表現とより対応 するように質問文を改善すれば，精度が向上する可能性があると考えられる。

## 4 おわりに

本稿では固有表現抽出を機械読解形式で解くモデ ルである BERT-MRC を日本語に対する固有表現抽出に適用した. 精度としては通常の固有表現抽出と して解くモデルには劣後し, その原因の一つとして 今回使用した日本語固有表現抽出データセットの文表 5 BERT-MRC のエラー例

表 6 BERT-CRF のエラー例

中に鉤括弧が多いためであることが確認された. 一方で，日本語においても対象文における固有表現と 質問文の意味が近い場合は機械読解形式が機能する ことも確認された. 今後は, nested-NER や zero-shot の問題設定における日本語固有表現抽出の検討が課題である.

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers). Association for Computational Linguistics, 2019.

[2] Xiaoya Li, Jingrong Feng, Yuxian Meng, Qinghong Han, Fei Wu, and Jiwei Li. A unified MRC framework for named entity recognition. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics. Association for Computational Linguistics, 2020.

[3] Zhiheng Huang, Wei Xu, and Kai Yu. Bidirectional lstm-crf models for sequence tagging. CoRR, Vol. abs/1508.01991, , 2015.

[4] Alan Akbik, Duncan Blythe, and Roland Vollgraf. Contextual string embeddings for sequence labeling. In Proceedings of the 27th International Conference on Computational Linguistics. Association for Computational Linguistics, 2018

[5] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. V. Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems. Curran Associates, Inc., 2017.

[6] Fábio Souza, Rodrigo Nogueira, and Roberto Lotufo. Portuguese named entity recognition using bert-crf. arXiv preprint arXiv:1909.10649, 2020

[7] 田川裕輝, 西埜徹, 谷口元樹, 谷口友紀, 大熊智子. 生成された読影所見の自動評価に向けた固有表現認識 とモダリティ推定. 言語処理学会 第 26 回年次大会, 2020.

[8] Xiaoya Li, Fan Yin, Zijun Sun, Xiayu Li, Arianna Yuan, Duo Chai, Mingxin Zhou, and Jiwei Li. Entity-relation extraction as multi-turn question answering. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics. Association for Computational Linguistics, 2019.

[9] 近江崇宏. Wikipediaを用いた日本語の固有表現抽出 のデータセットの構築. 言語処理学会 第 27 回年次大会, 2021.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 語義の例文を使用した語義曖昧性解消の有効性分析

関谷洸佐々木稔
茨城大学工学部情報工学科
\{18t4052h, minoru.sasaki.01\}@vc.ibaraki.ac.jp

## 概要

本研究は、語義曖昧性解消システムである BEM [1]において、WordNet3.0 [2]に表記されている語義の 例文を使用することの有効性について分析する。具体的には、BEM に語義の例文を入力し、出力される 単語埋め込み表現列の中から、[CLS]ベクトルまたは 対象単語ベクトルを取り出し、語義の埋め込み表現 として使用する。実験では、開発セットを含む六つ の評価セットのうち、五つの評価セットで $\mathrm{F}$ 値が低下し、一つの評価セットで $\mathrm{F}$ 値が向上した。

## 1 はじめに

語義曖昧性解消とは、文中にある多義語が、どの 語義を表しているのかを識別するタスクである。多 くの語義曖昧性解消システムは、学習データの不均衡により、出現頻度の高い語義（MFS）に対しては 精度が高いが、出現頻度の低い語義（LFS）に対して は精度が低いという問題がある。これまでの研究で、語義曖昧性解消システムに辞書の語義定義文などの 語彙情報を組み込むことで精度が向上することが示 されている [3][4]。語義定義文は LFS にも効果的で あることが分かっているが、依然として MFS と LFS の間には大きな差がある。Blevinsらが提案したBEM では、複数の事前学習されたエンコーダを共同でフ アインチューニングすることで、MFS と LFS の間 にある大きな精度差を大幅に縮小した。しかし、 BEM では、システムに組み込む語彙情報が語義定義文しか使用されていないため、辞書の情報をさらに 加えることで語義の特徴を効果的に表現できる可能性がある。

そこで本研究では、BEM に新しい語彙情報として 語義の例文を組み込む手法を提案し、語義曖昧性解消における語義の例文の有効性を検証する。

## 2 関連研究

Blevins らによる BEM は、対象単語と周囲の文脈
を表現する context encoder と、語義定義文を表現す る gloss encoder で構成され、対象単語とその語義を 同じ埋め込み空間で表現している。この二種類のエ ンコーダは、事前学習済みモデルである BERT [5]で 初期化され、共同でファインチューニングされる。 この手法は、先行研究である Raganato ら [6]が示し た英語の All-words Word Sense Disambiguation の結果 を上回る。本研究では、BEM において、新しい語義 の埋め込み表現として語義の例文の埋め込みを作成 し、モデルの学習を行った。

BERTとは、Google の Jacob Devlin らが提案した 自然言語処理モデルである。BERT は、文章を双方向から学習することが可能であるため、従来のモデ ルとは違い、文脈に依存した出力を行うことができ る。

## 3 BEM

BEM のモデル構造を図 1 に示す。

BEM は、対象単語と周囲の文脈を表現する context encoder と、語義定義文を埋め込む gloss encoder の二 つの独立したエンコーダによって構成されている。 これらのエンコーダは、各トークンが正しい語義の 表現の近くに埋め込まれるように学習される。また、各エンコーダは、事前学習から取得した語義情報を 活用するために、BERT で初期化された deep transformer network である [7][8]。

BEM は、文脈を含む対象単語と語義定義文を独立 してエンコードする [9][10]ように設計されており、 これらの各モデルは、BERT-base で初期化される。 context encoder $T_{c}$ は、語義曖昧性解消の対象単語 $w$ を含む用例文 $c$ を入力として受け取る。ここでの $c$ は、 $c=c_{0}, c_{1}, \cdots, w_{i}, \cdots, c_{n}$ である。context encoder からは文脈を考慮した単語埋め込み表現列 $r$ が出力 される。単語埋め込み表現列 $r$ にある対象単語ベク トル $r_{w_{i}}$ を対象単語の表現とする。次式で表す $r_{w_{i}}$ は、 $T_{c}$ によって出力された $i$ 番目の表現を意味する。

$
r_{w_{i}}=T_{c}(c)[i]
$

BERT トークナイザによって複数のサブワードにト ークン化された単語については、サブワード部分の 平均的な表現によって、単語を表現する。例えば、 $j$ 番目から $k$ 番目までのトークンが $i$ 番目の単語の サブワードに対応する場合、次式のように単語を表現する。

$
r_{w_{i}}=\frac{1}{k-j} \sum_{l=j}^{k}\left(T_{c}(c)[l]\right)
$

gloss encoder $T_{g}$ は、語義 $s$ を定義する語義定義文 $g_{s}=g_{0}, g_{1}, \cdots, g_{m}$ を入力として受け取る。gloss encoder が出力する単語埋め込み表現列の中から、先頭の表現である[CLS]ベクトルを取り出し、語義の表現 $r_{s}$ とする。語義の表現 $r_{s}$ は、次式のように表され る。

$
r_{s}=T_{g}\left(g_{s}\right)[0]
$

次式で示すように、context encoder によって出力 された用例文の対象単語ベクトル $r_{w}$ と gloss encoder によって出力された対象単語の語義ベクトル $r_{s}$ の ドット積をとることで、対象単語 $w$ の各候補語義 $s \in S_{w}$ をスコア付けする。 $S_{w}$ は、対象単語 $w$ のす べての候補語義を意味する。

$
\phi\left(w, s_{i}\right)=r_{w} \cdot r_{s_{i}}
$

ここでの $i$ は、 $i=0, \cdots,\left|S_{w}\right|$ である。評価の際、対象単語の語義は各候補語義の中でスコアが最も高い語義に推定される。

対象単語 $w$ の各候補語義のスコアで、損失関数で ある cross-entropy loss を使用し、BEM を学習する。対象単語と語義のペア $\left(w, s_{i}\right)$ が与えられた場合、シ ステムの損失関数は次式で表わされる。

$
\mathcal{L}\left(w, s_{i}\right)=-\phi\left(w, s_{i}\right)+\log \sum_{j=0}^{\left|s_{w}\right|} \exp \left(\phi\left(w, s_{i}\right)\right)
$

[CLS]ベクトル

対象単語ベクトル

ドット積を求め 評価値とする

図 1 BEM のモデル構造

## 4 提案手法

本研究では、BEM に新しく語義の例文を入力し、対象単語の語義推定を行う。主に三種類の語義の例文の表現方法を使用して BEM の学習を行い、作成 した三種類のモデルと元の BEM で精度の比較を行 う。

## 4.1 語義の例文の[CLS]ベクトルを使用し た語義曖昧性解消

語義の例文の[CLS]ベクトルを使用したモデルの 構造を図 2 に示す。

ある語義に対し、複数の例文が存在する場合はそ の中の一つを取得する。取得した語義の例文を gloss encoder に入力し、出力された単語埋め込み表現列の 中から[CLS]ベクトルを取り出す。取り出した[CLS] ベクトルを新しい語義の埋め込タ表現として使用す る。context encoder によって出力された用例文の対象単語ベクトルと gloss encoderによって出力された 語義定義文、語義の例文の二種類の語義ベクトルの ドット積をとり、各候補語義のスコア付けをする。各候補語義の中でスコアが最も高い語義を対象単語 の語義に推定する。

図 2 語義の例文の[CLS]ベクトルを使用した モデル

## 4.2 語義の例文の対象単語ベクトルを使用した語義曖昧性解消

語義の例文の対象単語ベクトルを使用したモデル の構造を図 3 に示す。

ある語義に対し、文中に対象単語を含む例文が存在する場合はその中の一つを取得する。例えば、対
象単語が「review」の場合、例文中に「review」と同型の単語がある例文を取得する。取得した語義の例文を context encoder に入力し、出力された単語埋め 込み表現列の中から対象単語ベクトルを取り出す。取り出した対象単語ベクトルを新しい語義の埋め込 み表現として使用する。context encoder によって出力された用例文の対象単語ベクトルと gloss encoder によって出力された語義定義文、context encoder に よって出力された語義の例文の二種類の語義ベクト ルのドット積をとり、各候補語義のスコア付けをす る。各候補語義の中でスコアが最も高い語義を対象単語の語義に推定する。

図 3 語義の例文の対象単語ベクトルを使用した モデル

## 4.3 語義の例文で語義定義文のベクトル

## を更新した語義曖昧性解消

語義の例文で語義定義文のベクトルを更新したモ デルの構造を図 4 に示す。

ある語義に対し、複数の例文が存在する場合はそ の中の一つを取得する。また、語義に対し例文が存在しない場合、代用として語義定義文を語義の例文 として使用する。取得した語義の例文をgloss encoder に入力し、出力された単語埋め込み表現列の 中から [CLS]ベクトルを取り出す。取り出した[CLS] ベクトルを新しい語義の埋め込み表現として使用す る。語義定義文で各エンコーダをファインチューニ ングした後、語義の例文でファインチューニングを 行い、語義べクトルを更新する。

対象単語ベクトル

[CLS]ベクトル

したcontext encoderで 文脈ベクトルに変換

図 4 語義ベクトルを更新したモデル

## 5 実験

## 5.1 実験データ

本研究で使用したデータは、Raganato らが作成し た WSD フレームワークである [6]。学習データとし て、WordNetから手動で語義をアノテーションされ た大規模なデータセットである SemCor [11]コーパ スを使用する。SemCor は、33,362 個の語義をカバー する 226,036 個のアノテーションされた例を含む。開発セットとして SemEval-2007(SE07) [12]データセ ットを使用する。評価セットとして、Senseval-2(SE2) [13]、 Senseval-3(SE3) [14]、 SemEval-2013(SE13) [15]、 SemEval-2015(SE15) [16]を使用する。本システムで 使用する語義定義文、語義の例文はすべて WordNet3.0 から取得している。

## 5.2 実験設定

BEM、4.1 節、4.2 節、4.3 節で示したモデルを表 1 にまとめる。これらのモデルの $\mathrm{F}$ 值を比較し、語義 の例文の有効性を分析する。

表 1 BEM と本研究で提案するモデル

 \\

本研究で提案するモデルは、実行時間に制限があ

る Google Colaboratory で実行している。また、最も

$\mathrm{F}$ 値が高いモデルのみを保存し学習を再開するため、

モデルによって学習回数が異なる。BEM1 は 14、 BEM2 は6、BEM3 は 17 回学習を行う。

## 5.3 評価方法

5.1 節で示した実験データを使用し、各モデルの $\mathrm{F}$值を求める。5.1 節で示した評価セットに加え、開発 セットを含むすべての評価セットを連結させた ALL データセットを評価セットとして使用する。

## 5.4 実験結果

開発セットを含む六つの評価セットでの BEM、 BEM1、BEM2、BEM3 の F 値を表 2 に示す。BEM と 語義の例文を使用した BEM1、BEM2、BEM3 を比べ ると、Senseval-3 評価セットを除くすべての開発セ ット・評価セットで BEM の方が、F 值が高い。 Senseval-3 評価セットでは、BEM2 の 78.1\%が最高値 であり、BEM に比べ $0.7 \%$ 向上している。

表 2 各モデルの $\mathbf{F}$ 值

## 6 考察

## 6.1 語義の例文の[CLS]ベクトル

BEM において、語義の例文の[CLS]ベクトルを使用した語義曖昧性解消は、元の BEM による語義曖昧性解消に比べて、すべての開発セット・評価セッ トで $\mathrm{F}$ 值が低下した。このことから、語義の例文の [CLS]ベクトルを語義の埋め込み表現として使用す るとシステムに悪影響を与えると考えられる。

## 6.2 語義の例文の対象単語ベクトル

BEM において、語義の例文の対象単語ベクトルを 使用した語義曖昧性解消は、開発セットと一つの評価セットを除き、語義の例文を使用したモデルの中 で最も $\mathrm{F}$ 值が高い。このことから、BEM で語義の例文を使用寸る場合、語義の例文を対象単語ベクトル で表現することが最も有効であると言える。対象単語ベクトルが最も良かった要因としては、語義の例文は語義定義文とは違い、語義の意味ではなく、語義の使用方法を表しているためだと考えられる。こ
れにより、文中に語義との類似度が低い単語などが あり、[CLS]ベクトルでは $\mathrm{F}$ 值が低くなったと考え られる。また、元の BEM による語義曖昧性解消に 比べて、Senseval-3 評価セットでは $\mathrm{F}$ 值が僅かに高 くなり、それ以外の開発セット・評価セットでは低 くなっている。このことから、語義の例文の対象単語ベクトルはシステムに悪影響を与えるが、使用方法を工夫寸れば有効であると予想している。例えば、対象単語が「review」の場合、review の過去形である 「reviewed」や複数形である「reviews」なども対象単語として使用するといった方法が考えられる。

## 6.3 語義ベクトルの更新

BEM で使用していた語義定義文による語義べク トルを語義の例文で更新した語義曖昧性解消は、元 の BEM による語義曖昧性解消に比べて、すべての 開発セット・評価セットで $\mathrm{F}$ 值が低下した。このこ とから、語義定義文による語義べクトルを語義の例文で更新すると、システムに悪影響を与えると考え られる。本研究では、語義の例文の[CLS]ベクトルを 使用して語義ベクトルを更新しているが、対象単語 ベクトルを使用して語義ベクトルを更新するといっ た手法も考えられる。

## 7 おわりに

本研究では、語義曖昧性解消システムである BEM において、WordNet3.0から取得した語義の例文を新 しい語義の埋め込み表現として使用した。また、 BEM と語義の例文を使用した BEM を比較し、語義 の例文の有効性の分析を行った。語義の例文を使用 すると全体的に性能が低下したが、語義の例文の対象単語ベクトルを使用したモデルでは、Senseval-3 評価セットにおいて、 $\mathrm{F}$ 値が僅かに上昇することが 確認できた。よって、語義の例文は BEM に悪影響 を与えるが、語義の例文の使用方法を工夫すれば有効であると予想している。

今後の課題としては、語義の例文の対象単語ベク トルを使用する際、対象単語と同型のものだけでな く、複数形や過去形に変形しているものも対象にす るなど、抽出方法の検討が挙げられる。その他にも、多義語の語義の数が多い場合のみ語義の例文を使用 するなど、語義の例文の使用方法の工夫も考えてい る。

## 参考文献

1. BlevinsTerra, ZettlemoyerLuke. Moving Down the Long Tail of Word Sense Disambiguation with Gloss Informed Bi-encoders. : the 58th Association for Computational Linguistics (ACL2020), 2020. ページ: pp. 1006-1017. .

2. George A Miller. 1995. Wordnet: a lexical database for english. Communications of the ACM, 38(11):39-41.

3. Fuli Luo, Tianyu Liu, Zexue He, Qiaolin Xia, Zhifang Sui, and Baobao Chang. 2018a. Leveraging gloss knowledge in neural word sense disambiguation by hierarchical co-attention. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pages 1402-1411, Brussels, Belgium. Association for Computational Linguistics.

4. Fuli Luo, Tianyu Liu, Qiaolin Xia, Baobao Chang, and Zhifang Sui. 2018b. Incorporating glosses into neural word sense disambiguation. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 2473-2482, Melbourne, Australia. Association for Computational Linguistics.

5. Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. 2019. Bert: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pages 4171-4186.

6. Alessandro Raganato, Jose Camacho-Collados, and Roberto Navigli. 2017b. Word sense disambiguation: A unified evaluation framework and empirical comparison. In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics: Volume 1, Long Papers, pages 99-110.

7. Andy Coenen, Emily Reif, Ann Yuan, Been Kim, Adam Pearce, Fernanda Viegas, and Martin Wattenberg. 2019. Visualizing and measuring the geometry of bert. arXiv preprint arXiv:1906.02715.

8. Christian Hadiwinoto, Hwee Tou Ng, and Wee Chung Gan. 2019. Improved word sense disambiguation using pre-trained contextualized word representations. In Proceedings of the 2019 Conference on Empirical
Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pages 5300-5309.

9. Jane Bromley, Isabelle Guyon, Yann LeCun, Eduard Sackinger, and Roopak Shah. 1994. Signature verification using a" siamese" time delay neural network. In Advances in neural information processing systems, pages 737-744. 10. Samuel Humeau, Kurt Shuster, Marie-Anne Lachaux, and Jason Weston. 2019. Poly-encoders: Transformer architectures and pre-training strategies for fast and accurate multi-sentence scoring. arXiv preprint arXiv:1905.01969.

11. George A Miller, Claudia Leacock, Randee Tengi, and Ross T Bunker. 1993. A semantic concordance. In Proceedings of the workshop on Human Language Technology, pages 303-308. Association for Computational Linguistics.

12. Sameer Pradhan, Edward Loper, Dmitriy Dligach, and Martha Palmer. 2007. Semeval-2007 task-17: English lexical sample, srl and all words. In Proceedings of the fourth international workshop on semantic evaluations (SemEval-2007), pages 87-92.

13. Martha Palmer, Christiane Fellbaum, Scott Cotton, Lauren Delfs, and Hoa Trang Dang. 2001. English tasks: All-words and verb lexical sample. In Proceedings of SENSEVAL-2 Second International Workshop on Evaluating Word Sense Disambiguation Systems, pages 21-24.

14. Benjamin Snyder and Martha Palmer. 2004. The english all-words task. In Proceedings of SENSEVAL-3, the Third International Workshop on the Evaluation of Systems for the Semantic Analysis of Text.

15. Roberto Navigli, David Jurgens, and Daniele Vannella. 2013. Semeval-2013 task 12: Multilingual word sense disambiguation. In Second Joint Conference on Lexical and Computational Semantics (* SEM), Volume 2: Proceedings of the Seventh International Workshop on Semantic Evaluation (SemEval 2013), pages 222-231.

16. Andrea Moro and Roberto Navigli. 2015. Semeval2015 task 13: Multilingual all-words sense disambiguation and entity linking. In Proceedings of the 9th international workshop on semantic evaluation (SemEval 2015), pages 288-297.


# 早押しクイズのパラレル問題の自動生成

橋元佐知 佐藤理史 宮田玲 小川浩平
名古屋大学大学院工学研究科
hashimoto.sachi@d.mbox.nagoya-u.ac.jp

## 概要

本稿では、日本語の早押しクイズの「パラレル問題」を自動生成する方法を提案する。この方法で は、アノテーション済みの既存のパラレル問題を利用し、その一部の要素を置換することによって、新 たな問題を作成する。置換する要素には、対比ぺ ア、答の上位概念、問題の対象ドメイン、の 3 種類 がある。これらの置換先の候補として、特定のカテ ゴリに対するワードリストや対比ペアリストを準備 しておく。本システムを用いて、これまでに、500 問以上の新たなパラレル問題を作成した。

## 1 はじめに

答が一意に定まるクイズ問題は、これまで質問応答 $(\mathrm{QA})$ システムの開発において、しばしば用いら れてきた [1][2]。日本でも、クイズを題材にした日本語 QA データセット JAQKET[3] が開発され、これ を用いた質問応答システムのコンペティションも行 われた [4]。

このようなデータセットの構築のためには、大量 のクイズ問題が必要となるが、良質のクイズ問題を 作成することは、それほど容易ではない。問題文と その答を作ることが最初の関門であるが、それ以外 にも「裏取り」と呼ばれる答の正当性・一意性を確認する作業や、問題の難易度の適切さを確認する作業が必要であり、かなりの知力と労力、経験を必要 する [5]。QA システムが目指しているのは、クイズ 問題を解く能力の実現であるが、クイズ問題を作る ためには、それとは異なる知的能力が必要である。実際、クイズ問題作成は、ある種の創作という側面 を持ち、日本ではクイズ作家とよばれる人達やクイ ズ制作専門会社が存在する。

コンピュータによるクイズ問題自動生成の目的 は、単に QA システム開発用のデータセット構築の ために留まらない。良質のクイズ問題の自動生成が 可能となれば、クイズ大会やクイズ番組への問題提供など商用利用の道が開ける。さらに、教育現場で の活用を想定したクイズ問題の自動生成の研究もい くつか存在する [6][7]。

本稿では、日本語の早押しクイズの「パラレル問題」を対象に、クイズ問題を自動生成する方法を提案する。

## 2 パラレル問題の構造と特徵

本研究が対象とする「パラレル問題」とは、 アイルランドの首都はダブリンですが、アイス ランドの首都はどこでしょう？

のような、「〜は〜ですが、〜は何でしょう？」と いう形式の問題である。その基本構造を図 1 に示す $[8]$ 。パラレル問題は 4 つのパート $(\mathrm{A}, \mathrm{B}, \mathrm{C}, \mathrm{D})$ と答 $(W)$ から構成され、各パートはそれぞれ中核要素 $(X$, $Y, Z, Q)$ を持つ。これら以外にも、中核要素の上位概念や問題の対象ドメインが含まれる場合もある。本研究で扱う問題の構成要素の一覧を表 1 に示す。

パラレル問題の最大の特徴は、 $X$ と $Z$ (あるいは、 まれに $Y$ と $Q(=W))$ が、何らかの対比軸になってい ることである [5]。本稿では、この対比軸の分類を 対比関係と呼ぶ。この対比関係の種類は限られてい る (表 2)。例えば、「アイルランド $(X)$ の首都はダブ リンですが、アイスランド $(Z)$ の首都はどこでしょ う？」という問題では、「アイルランド」と「アイス ランド」が音・表記の類似という観点で対比関係を なす。「日本で一番 $(X)$ 高い山は富士山ですが、二番目 $(Z)$ に高い山は何でしょう？」という問題では、「一番」と「二番目」が連続という観点で対比関係を なす。「アイルランド $(X)$ の首都はダブリンですが、中国 $(Z)$ の首都はどこでしょう？」や「日本で一番 $(X)$ 高い山は富士山ですが、三番目 $(Z)$ に高い山は 何でしょう？」という問題は、対比関係が不自然で あり、パラレル問題として不適切である。

パラレル問題のもうひとつの特徵は、前半部 $(\mathrm{AB}$ パート) と後半部 (CD パート) が並行的となる点で ある。つまり、 $X-Y$ の関係と $Z-Q(=W)$ の関係は、

図 1 パラレル問題の基本構造

表 1 パラレル問題の構成要素

同一である。例えば、「アイルランド $(X)$ の首都は ダブリン $(Y)$ ですが、アイスランド $(Z)$ の公用語は 何 $(Q)$ でしょう？」という問題は、「アイルランド首都-ダブリン」と「アイスランドー公用語-アイス ランド語」という関係が一致しないため、パラレル 問題として不適切である。

## 3 問題文生成の基本戦略

前節で述べた 2 つの特徴は、パラレル問題を作る 際に満たすべき制約となる。この 2 つの制約を満た す問題を作る方法として、既存のパラレル問題を利用し、その一部の要素を置換する方法を採用する。置換する要素には、いくつかの選択肢がある。

## 3.1 対比ペアを置換する

問題文に含まれる対比ぺア $(X$ と $Z$ )を別の対比ぺ アに置換することにより、新たな問題を作ることが できる。以下にその概略を示す。

1. 元となる問題を選択する。

例:「アイルランドの首都はダブリンですが、ア イスランドの首都はどこでしょう？ (答: レイ キャビク)」

2. 置換元の対比ぺアを抽出し、問題をフレームに 一般化する。

フレーム $=X$ の首都は $Y$ ですが、 $Z$ の首都はど こでしょう？ (答: $W$ )

$X, Z=$ アイルランド, アイスランド

3. 置換先の対比ペアを決定する。

$X, Z=$ オーストリア, オーストラリア

4. 問題作成に必要な答要素 $(Y$ と $W)$ を決定する。

 \\

$Y=$ ウィーン,$W=$ キャンベラ

5. フレームに要素を代入し、問題を完成させる。「オーストリアの首都はウィーンですが、オー ストラリアの首都はどこでしょう？ (答: キャン ベラ)」

ここで、ステップ 3 と 4 の実現がポイントとなる。 ステップ 3 では、フレームに代入できる置換先対比ぺアを選択する必要がある。置換元の対比ペアと 同種の対比ペア、つまり、語のカテゴリ (上記の例 では「国名」) が同一であり、対比関係の種類 (「音・表記の類似」) が同一であるような対比ぺアを選択 すれば、フレームに代入できる可能性が高い。加え て、対比関係の種類が「対義 (『最初に』と『最後 に』)」の場合は、これを「連続(『最初に』と『次 に』)」に置換することにより、問題を作れる場合も ある。

ステップ 4 で答要素 $(Y$ と $W)$ を決定することは、「オーストリア (オーストラリア)の首都はどこで しょう」という問題を解くことに等しい。つまり、 ステップ 4 を実現するには、クイズ問題を解く方法 を適用すればよい。

## 3.2 対比ペア以外の要素を置換する

対比ペア以外の要素 $(y, D)$ の置換によっても、新 たな問題を作ることができる。以下にその概略を 示す。

1. 元となる問題を選択する。

例：「日本で最も大きいトンボはオニヤンマで すが、最も小さいトンボは何でしょう？(答: ハッチョウトンボ)」

2. 置換元要素を選択し、問題をフレームに一般化 する。

フレーム $=$ 日本で最も大きい $y$ は $Y$ ですが、最 も小さい $w(=y)$ は何でしょう？ (答: $W$ ) $y=$ トンボ

3. 置換先要素を決定する。 $y$ ニカマキリ

4. 問題作成に必要な答要素 $(Y$ と $W)$ を決定する。

図 2 パラレル問題自動生成システムの構成

$Y=$ オオカマキリ,$W=$ ヒナカマキリ

5. フレームに要素を代入し、問題を完成させる。

「日本で最も大きいカマキリはオオカマキリで すが、最も小さいカマキリは何でしょう (答: ヒ ナカマキリ)

基本的な流れは、対比ペアの置換の場合と同じで あり、置換元要素の選択 (ステップ 2) と置換先要素 の決定 (ステップ 3) のみが異なる。ステップ 3 で は、置換元の語と同じカテゴリの語を選択すると、 フレームに代入できる可能性が高い。

なお、上記の例では、答要素 $Y$ の上位概念である $y(=w)$ を置換したが、ドメイン $D$ の置換 (「日本 $\rightarrow$ 世界」)によっても、新しい問題を作ることがで きる。

## 3.3 自動化への準備

上記の方法を自動化するために、次の準備を 行う。

1. 追加アノテーション

既存のパラレル問題には、すでに構成要素 (表 1) がアノテーションされているが [8]、それ に加えて、各要素に国名などのカテゴリ情報を 付与する。さらに、対比ペアには、対比関係の 種類の情報を付与する。

2. ワードリスト・対比ペアリストの作成

付与したカテゴリに対して、そのカテゴリに属 する語を集めたリストや対比ペアリストを作成 する。

## 4 パラレル問題自動生成システム

作成したパラレル問題自動生成システムの全体像を図 2 に示す。本システムの入力はアノテーショ ン済みのパラレル問題であり、前節に示した流れに 沿って、新たなパラレル問題を作成・出力する。以下では、置換先の候補となる、ワードリストと対比 ペアリストの作成法、および、答要素 $(Y, W)$ の決定法を説明する。

## 4.1 ワードリストの作成

問題の構成要素 $(X, Z, D, y)$ のカテゴリに対する ワードリストの作成には、次の 2 種類の方法を使用 した。ワードリストに収録する語は、原則として、日本語版 Wikipedia の記事タイトルに限定した。

## 1. 記事冒頭文を利用した同一カテゴリ語の収集

Wikipedia 記事の最初の 1 文 (記事冒頭文) が類似していたり、その文の最後の名詞句が同一で あれば、それらの記事のタイトルは同一カテゴ リに属する可能性が高い。この性質を利用して 特定のカテゴリに属する語を収集する。具体的 には、既存のパラレル問題から特定のカテゴリ に属する語の具体例を収集し、それを出発点と して、そのカテゴリに属する語を収集する。記事冒頭文の類似性判定には、TF-IDF の重み付 き Bag-of-Words のコサイン類似度を用い、値が 0.65 以上である場合に、同一カテゴリに属する と判定する。

2.「○○の一覧」ページからの抽出

Wikipediaの「○○の一覧」ページでまとめられ ている項目を収集する。

作成したワードリストの語に対して、ローマ字読 み（訓令式）を追加した。また、「略称」「人物の愛称」などのカテゴリでは、「機関・機構の略語」「歴史上の人物の幼名」のような下位のカテゴリを設 け、各語に正式名称等の情報を追加した。

対比ぺアを構成する要素 $(X, Z)$ では 78 種類のカ テゴリが存在するが、これまでに 11 種類のカテゴ リのワードリストを作成した。それ以外の要素 $(D$, $y)$ では、13 種類のカテゴリ中、 2 種類のカテゴリの ワードリストを作成した。

## 4.2 対比ペアリストの作成

対比ペアリストは、次の 2 種類の方法で作成した。

1. ワードリストから作成する (音・表記の類似)特定のカテゴリに対するワードリストから、音 や表記が類似するぺアを次の方法で収集し、そ のカテゴリの対比ぺアリストを作る。

(a) 表記および音 (ローマ字読み) の編集距離 が、それぞれの文字列の平均長の $1 / 2$ を超 えないペアを抽出する。

(b) 得られたぺアのリストを、音の編集距離が 小さい順 (同一の場合は、表記の文字列長 の差が小さい順) にソートする。

(c) ソートされたリストの先頭から、ペアを順 に取得する。ただし、既に取得したぺアに 含まれる語を含むぺアは取得しない。

## 2. 既存のパラレル問題から収集する (対義・連続)既存のパラレル問題から、カテゴリが「属性・程度」か「属性・順序」で、かつ、対比関係が 「対義」である対比ぺアを「対義ペアリスト」 に、対比関係が「連続」である対比ぺアを「連続ペアリスト」に収録する。この 2 つの対比ぺ アリストは、対比関係の種類が「対義」の問題 から、「連続」の問題を生成する際に使用する。

## 4.3 答要素の決定

作成する問題の答要素 $(Y, W)$ の決定には、次の 2 つの方法を使用する。以下では、答要素 $Y$ を決定す る方法を示すが、 $W$ の決定法も同様である。

## 1. ワードリストに情報が存在する場合

ワードリストの情報をそのまま利用する。例え ば、「GDP は $Y$ の略ですが」という問題文が得 られ、ワードリストに「GDP」の正式名称の情報がある場合は、その正式名称を $Y$ として採用 する。

## 2. 検索エンジンを利用する

Yahoo! 検索エンジンで、得られた問題文の A パートを完全一致で検索する。検索結果の上位 10 件のスニペットを取得し、(1) 入力した問題文の直後から句読点まで、(2) 句読点から入力 した問題文の直前まで、(3) 入力問題文以外の 太字部分、を抽出して、答候補とする。次に、得られた答候補を、問題文の $\mathrm{A}$ パートの末尾 に追加して、完全一致で再び検索を行い、最も ヒット数の多かった答候補を $Y$ とする。表 3 生成したパラレル問題数

カテゴリの括弧内の数字は、そのカテゴリの対比ペアリスト またはワードリストに要素数を表す。生成数の括弧内の数字 は、生成で利用した既存の問題の数を表す。

## 5 生成例と考察

本システムで実際に作成できたパラレル問題の数 を表 3 に、生成例を付録 $\mathrm{A}$ に示す。

表 3 からわかるように、今回取り組んだカテゴリ の多くでは、少数の既存の問題から、数十問の新し い問題を生成することができた。より多くのカテゴ リに対して、ワードリストや対比ペアリストを準備すれば、さらに多くの問題を生成することがで きる。

ただし、表 3 は正しく $Y$ や $W$ を求められた問題 の生成数であり、システムが出力した問題の 4 割程度が不適切な問題であった。不適切な問題には、問題の答が存在しないか、複数存在するために、誤っ た $Y$ や $W$ が出力されたものが多かった。例えば、 フレーム「X(国名) の国の鳥は $Y$ だ」を利用して生成された問題文

スロバキアの国の鳥は $Y$ ですが、スロベニアの

国の鳥は何でしょう？(答: $W$ )

では、スロバキアとスロベニアがどちらも国鳥を定 めていないため、答を求めることができず、誤った $Y$ や $W$ が出力された。

今後は、より多くのカテゴリやフレームを利用し た問題の生成や、適切な問題の生成精度の向上、生成された問題の評価に取り組みたい。

## 参考文献

[1] David Ferrucci, Eric Brown, Jennifer Chu-Carroll, James Fan, David Gondek, Aditya A. Kalyanpur, Adam Lally, J. William Murdock, Eric Nyberg, John Prager, Nico Schlaefer, and Chris Welty. Building Watson: An overview of the DeepQA project. AI

Magazine, Vol. 31, No. 3, pp. 59-79, Jul. 2010.

[2] Pedro Rodriguez, Shi Feng, Mohit Iyyer, He He, and Jordan L. Boyd-Graber. Quizbowl: The case for incremental question answering. CoRR, 2019.

[3] 鈴木正敏, 鈴木潤, 松田耕史, 西田京介, 井之上直也. JAQKET: クイズを題材にした日本語 QA データセットの構築. 言語処理学会第 26 回年次大会発表論文集, pp. 237-240, 2020.

[4] AI 王〜クイズ AI 日本一決定戦〜，（202201 閲 覧）. https://sites.google.com/view/ nlp2021-aio/.

[5] 伊沢拓司. クイズ思考の解体. 朝日新聞出版, 2021.

[6] Naoshi Sakamoto. Automated generation of fill-inthe-blanks-type quizzes using wikipedia. International Journal of Computer Theory and Engineering, Vol. 9, No. 5, pp. 367-373, 2017.

[7] 史佳奥原, 雄一清, 康之田原, 昭彦大須賀. Linked data を用いた俯瞰的な多肢選択式問題自動生成手法の提案. 情報処理学会論文誌, Vol. 60, No. 10, pp. 1738-1756, oct 2019.

[8] 橋元佐知, 佐藤理史, 宮田玲, 小川浩平. 競技 クイズ・パラレル問題の基本構造と文型. 言語処理学会第 27 回年次大会発表論文集, pp. 1420-1424, 2021.

## A パラレル問題の生成例

## A. 1 対比ぺアの置換による生成例

## A.1.1 対比関係「対義」を「連続」に置換する生成例

元の問題 1 年で最初に来る二十四節気は「小寒」ですが、最後に来る二十四節気は何でしょう？(答: 冬至)

生成問題 1 年で最初に来る二十四節気は「小寒」ですが、次に来る二十四節気は何でしょう？(答: 大寒)

## A.1.2 音・表記の類似ぺアの置換による生成例

 \\

## A. 2 対比ぺア以外の要素の置換による生成例

 \\


# 物体構成要素間の階層的な注意を用いた画像キャプション生成

平川 幸佑，田村 晃裕，加藤恒夫
同志社大学 大学院理工学研究科
\{ctwf0106@mail4, aktamura@mail, tsukato@mail\}.doshisha.ac.jp

## 概要

画像キャプション生成タスクでは，Faster R-CNN のような物体検出器により抽出した物体の特徴べ クトルを用いるモデルが高い精度を達成している。従来モデルでは Transformer Encoder の自己注意機構 において物体間の関連を捉えられる。しかし，物体間の関連は学習の中で自動的に学習されるため，位置が近い物体同士が纏まりやすいという傾向は陽 にモデルに取り入れられていない. そこで本研究で は， Transformer Encoder において隣接する物体間の 関連を階層的に捉える自己注意機構「構成要素注意機構」を提案する。

## 1 はじめに

近年, ニューラルネットワーク $(\mathrm{NN})$ に基づいた画像キャプション生成の研究が盛んに行われている. NN に基づくキャプション生成は Encoder-Decoder モ デル [1]が主流であり，CNNを用いて畳み込んだ画像の各領域への注意を学習する視覚的な注意機構に 基づくモデルが高い精度を実現している [2]. また， Faster R-CNN[3] などの物体検出器により抽出された 画像上の物体や顕著な領域を用いることで，物体の 位置やサイズを考慮したキャプション生成モデルが 提案されている [4]. この従来モデルでは Encoder の 自己注意機構において物体間の関連を捉えられる。 しかし，物体間の関連は学習の中で自動的に学習さ れるため，位置が近い物体同士が䌂まりやすいとい う傾向は陽にモデルに取り入れられていない.

そこで本研究では，Transformer に基づく画像キャ プション生成モデルの Encoder において，隣接する 2 つの物体構成要素間の緹まりを捉えながら物体間 の関連を階層的に捉える自己注意機構「構成要素注意機構」を提案する. 構成要素注意機構により隣接する物体構成要素同士を階層的に維めていくこ とで，位置が近い物体同士を関連づけられるため，
キャプション生成の精度向上が期待できる.

MSCOCO 2014 captions データセット [5] を用いた 画像キャプション生成タスクによる評価実験の結果，Transformer をべースとした古典的な画像キャプ ション生成モデルに提案の構成要素注意機構を導入することで，有意な性能改善を確認できた。一方 で, Object-Relation-Transformer[4] に構成要素注意機構を導入した場合，評価指標のスコアはわずかに向上したが，有意差は確認できなかった。

## 2 関連研究

2.1 節で Transformer について説明する. 2.2 節で は，本研究でベースモデルとして利用する，物体検出により抽出した物体間の関連を Encoder で捉える Object-Relation-Transformer について説明する.

## 2.1 Transformer

Transformer[6] は, 入力系列を潜在表現へと変換 し，変換した潜在表現から出力系列を生成する Encoder-Decoder モデルである. Encoder と Decoder はそれぞれ Encoder レイヤと Decoder レイヤを複数個スタックすることで構成される. Encoder レイヤ は自己注意層と全結合層の 2 つのサブレイヤで構成され, Decoderレイヤは自己注意機構と全結合層, ソース・ターゲット注意機構の 3 つのサブレイヤで 構成されている．各サブレイヤ間には，残差接続と 層正規化が適用される. 自己注意機構は $H$ 個の同一のヘッド (マルチヘッド)で構成され，各へッドの 計算には式 (1) の縮小付き内積注意が用いられる.

$
\operatorname{head}_{i}(Q, K, V)=\operatorname{softmax}\left(\frac{Q K^{T}}{\sqrt{d_{k}}}\right) V
$

ここで， $Q, K, V$ はそれぞれquery, key，value に 対応しており,$d_{k}=d_{\text {model }} / h て ゙ あ る . ~ d_{\text {model }}$ は元々 の入力の埋め込み次元である. query と key の内積 により算出した各要素の類似度を softmax により確率化することで，要素間の関係の強さを表すスコア

を算出する. このスコアと value との内積を算出す ることで，query の各要素と関係の強い valueの各要素の重み付き加重和による特徵が抽出できる. 式 (1) は各へッドで独立に計算され，式 (2)のように $H$個のヘッドの出力を 1 つのベクトルに連結し, 重み 行列 $W^{O}$ と乗算される.

$
\operatorname{MultiHead}(Q, K, V)=\operatorname{Concat}\left(\operatorname{head}_{1}, \ldots, \text { head }_{H}\right) W^{O}
$

また，全結合層は式 (3)により行われる。

$
\operatorname{FFN}(x)=\max \left(0, x W_{1}+b_{1}\right) W_{2}+b_{2}
$

ここで $, W_{1}, b_{1}$ と $W_{2}, b_{2}$ は全結合層の重みとバイ アスである.

Transformer は再帰や畳み込みを用いていないた め, 入力系列や出力系列の各要素の位置情報を捉え ることができない. そこで Encoder と Decoderでは，埋め込み層の後で $\sin$ 関数と $\cos$ 関数を用いた位置 エンコーディングを行い, 各要素の位置情報を付加 する. ただし，物体検出ベースの画像キャプション 生成 Transformer の場合，入力となる特徵ベクトル の並びは画像における位置に基づくものではない. そのため，エンコーダでは位置エンコーディングを 用いた埋め込み処理を行っていない.

## 2.2 Object-Relation-Transformer

Object-Relation-Transformer[4] は 2.1 節で紹介した Transformer Encoder の注意機構で, 物体間の相対的 な位置やサイズの比率を組み込んだ幾何学的注意を 計算する. まず，画像中の 2 つの物体 $m$ と $n$ の中心座標 $\left(x_{m / n}, y_{m / n}\right)$, 幅 $\left(w_{m / n}\right)$, 高さ $\left(h_{m / n}\right)$ から変位へ クトル $\lambda(m, n)$ を式 (4) により算出する.

$\lambda(m, n)=\left(\log \left(\frac{d_{x}}{w_{m}}\right), \log \left(\frac{d_{y}}{h_{m}}\right), \log \left(\frac{w_{n}}{w_{m}}\right), \log \left(\frac{h_{n}}{h_{m}}\right)\right)$

ここで $, d_{x}=\left|x_{m}-x_{n}\right|, \quad d_{y}=\left|y_{m}-y_{n}\right|$ である. そし $\tau$ ，幾何学的注意重みを式 (5) により算出する。

$
\omega_{G}^{m n}=\operatorname{ReLU}\left(\operatorname{Emb}(\lambda) W_{G}\right)
$

ここで， Emb は，Transformer の sin 関数と $\cos$ 関数 による位置エンコーディングを行う関数である。位置エンコーディングの結果は重みべクトル $W_{G}$ と 乗算することでスカラー值に変換し, 非線形関数 ReLUを適用する. その後, 幾何学的注意重み $\omega_{G}^{m n}$ は，式(6)によりオリジナルの注意機構に組み込む。

$
\omega^{m n}=\frac{\omega_{G}^{m n} \exp \left(\omega_{A}^{m n}\right)}{\sum_{l=1}^{N_{I}} \omega_{G}^{m l} \exp \left(\omega_{A}^{m l}\right)}
$

図 1 構成要素注意機構を導入した自己注意機構 ここで， $\omega_{A}^{m n}$ は query と keyの縮小付き内積により 算出された行列の要素である. また， $N_{I}$ は画像中 の物体の個数である. 最終的なへッドの出力は式 (7) になる。

$
\text { head }_{i}(Q, K, V)=\Omega V
$

ここで, $\Omega$ は $\omega^{m n}$ を要素に持つ $N_{I} \times N_{I}$ 行列である.

## 3 提案手法

従来の物体検出ベースの Transformer モデルは, Encoder の自己注意機構で物体間の関連を捉える。 しかし，その関連は学習の中で自動的に学習される ため, 近い位置の物体同士が緥まりやすい傾向は陽 にモデルに取り入れられていない. そこで本研究で は，Transformer Encoder で隣接する物体間の関連を 階層的に捉える構成要素注意機構を提案する.

構成要素注意機構を組み込んだ Transformer Encoder の自己注意機構の概略図を図 1 に示す. 図 1 において, 赤い部分が提案の構成要素注意機構に 関する部分である. 以降， 3.1 節で構成要素注意機構について説明し, 3.2 節で構成要素注意機構を画像キャプション生成 Transformer モデルへ組み込む 方法を説明する。

## 3.1 構成要素注意機構

構成要素注意機構は，Transformer の自己注意機構において文の句構造を捉えるために提案された Constituent Attention[7] を画像キャプション生成モデ ルに応用したものである. 構成要素注意機構では，隣接する物体間の関連を表す隣接注意スコアに基づ き，特定範囲の物体が同じ構成要素に属する確率を 表す構成要素事前確率を階層的に求める. そして， その構成要素事前確率で自己注意機構を条件付ける ことで，自己注意機構において隣接する要素間をよ り関連付けることが可能になる。

図 2 物体集合の系列化の例

提案手法では，まず，物体検出器により検出され た物体の集合を物体系列に変換する。この際，画像中で隣接する物体は物体系列においても隣接するよ うに系列化する，具体的には，図 2 のように，各物体の中心座標に基づき，原点から距離が近い順に物体を並べる。この物体系列を基に構成要素事前確率 を計算することで，隣接する物体同士を同じ構成要素として関連づけることが可能になる。

構成要素注意機構は物体系列に対して，まず，物体 $o_{i}$ が右隣りの物体 $o_{i+1}$ と左隣りの物体 $o_{i-1}$ に 結びつく確率を式 (8) のように算出する. ただし， $s_{i, i+1}$ と $s_{i, i-1}$ は, それぞれ, $o_{i}$ が $o_{i+1}$ と $o_{i, i-1}$ に結 びつく度合いを表すスコアであり，式 (9) の通り，縮小付き内積注意により算出される。

$
\begin{gathered}
p_{i, i+1}, p_{i, i-1}=\operatorname{softmax}\left(s_{i, i+1}, s_{i, i-1}\right) \\
s_{i, i+1}=\frac{q_{i} \cdot k_{i+1}}{d}, s_{i, i-1}=\frac{q_{i} \cdot k_{i-1}}{d}
\end{gathered}
$

ここで, $q_{i}$ は $o_{i}$ の queryであり, $k_{i-1}$ と $k_{i+1}$ は，それ ぞれ, $o_{i-1}$ と $o_{i+1}$ の keyである. また, $d=d_{\text {model }} / 2$ である.

その後， $o_{i}$ と $o_{i+1}$ が結びつく度合いを表す隣接注意スコアを，式 (10) の通り， $p_{i, i+1}$ と $p_{i+1, i}$ の 2 つの 確率の幾何平均により求める.

$
\hat{a}_{i, i+1}=\sqrt{p_{i, i+1} \times p_{i+1, i}}
$

そして，この隣接注意スコアを，式 (11)のように階層的に取り込んだ構成要素注意スコアを求める. 構成要素注意スコア $a_{i, i+1}$ は物体 $o_{i}$ と隣接物体 $o_{i+1}$ が 同じ構成要素に属する度合いを表している。

$
a_{i, i+1}^{l}=a_{i, i+1}^{l-1}+\left(1-a_{i, i+1}^{l-1}\right) \hat{a}_{i, i+1}^{l}
$

ここで， $a^{l}$ は $l$ 層目の構成要素注意スコア， $\hat{a}^{l}$ は $l$層目の隣接注意スコアである. 初期状態では各物体 は異なる構成要素とみなし， $a^{0}=0$ とする。

構成要素注意スコア $a_{i, i+1}$ を算出後, 算出した $a_{i, i+1}$ をもとに，式 (12) のように構成要素事前確率 $C_{i, j}$ を算出する. $C_{i, j}$ は物体 $o_{i}$ から $o_{j}$ までが同じ 構成要素である確率を表す.

$
C_{i, j}=e^{\sum_{k=i}^{j-1} \log \left(a_{k, k+1}\right)}
$

この構成要素事前確率を用いて，式 (13) のように自己注意を条件づけることで，隣接する関連の高い物体をより注目させる。

$
E=C \odot \operatorname{softmax}\left(\frac{Q K^{T}}{\sqrt{d_{k}}}\right)
$

ここで， $C$ は $C_{i, j}$ を要素とする行列である.

## 3.2 構成要素注意機構の導入

構成要素注意機構（式 (13)）のみを用いると，隣接しないが関連度の高い物体が注目されない問題が 生じ得る。例えば，図 2 において，物体 “ 0 ” と物体 “1”が関連ある物体であっても，構成要素注意機構 では関連強いと判定できずに正しいキャプション を生成できない可能性がある。 そこで提案モデルで は，図 1 のように，Transformer Encoder の各ヘッド で通常の自己注意機構と構成要素注意機構を結合 し，2つの自己注意を考慮する．各ヘッドでの演算 と最終的なマルチヘッドの出力はそれぞれ式 (14),式 (15) の通りである. 式 (14) の head ${ }_{i}$ は式 (1) や式 (7) で計算されるものである.

$
\hat{\text { head }}_{i}(Q, K, V)=\operatorname{Concat}\left(\operatorname{head}_{i}(Q, K, V), E V\right)
$

$\operatorname{MultiHead}(Q, K, V)=\operatorname{Concat}\left(\hat{\text { head }}_{1}, \ldots, \hat{\operatorname{head}}_{H}\right) W^{O}$

## 4 実験

## 4.1 実験設定

本研究では， MSCOCO 2014 captions データセッ ト [5] を用いて，提案手法の有効性を検証した。 MSCOCO データセットは，82,783 件の訓練用画像 と 40,504 件の開発用画像, 40,775 件のテスト画像か らなる。各画像には最低 5 つのキャプションが付 けられている。本実験では，Karpathy ら [8] に倣い，開発用画像のうち 5,000 件をモデル開発用，5,000 件をテスト用，残りを訓練用画像に足し，113,287 件を学習に用いた。また，入力に用いる特徴マップ は, Herdade ら [4] に倣い, Anderson ら [9] が公開し ている事前学習済みの bottom-up attention model によ り抽出した MS COCO 画像の領域特徵群1)を採用し た. Transformer のパラメータ設定は，Vaswani ら [6] に倣い, Encoder, Decoder レイヤは 6 個スタックし， ヘッド数は $8 ， d_{\text {model }}$ は 512 とした. また，モデル の最適化手法は Adam， ウォームアップステップを

20,000，バッチサイズを 15 とし，クロスエントロ ピー誤差を損失関数として 30 エポック学習を行っ た. キャプション文はビームサイズ 2 のビームサー チで生成した。

提案の構成要素注意機構（CSA）の効果を確認す るため, 通常の画像キャプション生成 Transformer モデル（T), Object-Relation-Transformer（ORT），そ れぞれのモデルに構成要素注意機構を導入したモ デル（T+CSA，ORT+CSA）の性能を比較した. 各モ デルで 3 回ずつ学習した後, テストデータに対す る性能の平均值と最大值で比較した. 評価指標は, BLEU-n[10] と METEOR[11], CIDEr-D[12] を用いた.

## 4.2 実験結果

それぞれのモデルの性能を表 1 に示す. なお，「*」はベースラインモデル（T／ORT）との差が，対応ありの両側 $\mathrm{t}$ 検定で有意（有意水準 $5 \%$ ）であっ たことを表す. Transformer と構成要素注意機構を導入した Transformer を比較すると，Bleu4 スコアにお いては，平均值で 0.7 ポイント，最大値で 0.4 ポイ ントの向上が確認できた. CIDEr-D スコアにおいて も, 平均值で 1.6 ポイント, 最大値で 1.7 ポイント の向上し，有意な改善を確認できた.

Object-Relation-Transformer と構成要素注意機構を 導入した Object-Relation-Transformerを比較すると， Bleu4 スコアにおいては, 平均値, 最大值共に 0.3 ポ イントの向上が確認できた. CIDEr-D スコアにおい ても, 平均で 0.4 ポイント, 最大値で 0.6 ポイント の向上が確認できた. しかし，これらの結果に対し て対応ありの両側 $\mathrm{t}$ 検定を行った結果，有意水準 $5 \%$ でいずれの指標においても有意差を確認できなかっ た.

## 4.3 考察

提案の構成要素注意機構で算出した自己注意の例 を図 3, 4 に示す. 各画像において, 枠内の画像が

図 3 構成要素注意機構で算出した注意の例 (1 層目)

図 4 構成要素注意機構で算出した注意の例 (6 層目)

鮮明なほど，その画像に対する注意が高くなること を示す.ここで，一番右上の緑枠は注目する物体,赤枠は緑枠より原点から遠い物体，青枠は緑枠より 原点に近い物体であり，緑枠に隣接する両隣 3 個の 物体を表している。

これらの図より, 右上の緑枠の腕に関して, 1 層目では，周辺のスプーンや持ち手に注意が向き，最上層では，左の女性も 1 つの要素として纏めている ことが確認できる。このことから，構成要素注意機構は，周辺の物体を緹めながら階層的に注意を計算 できたことが分かる.

## 5 おわりに

本研究では， Faster-R-CNNのような物体検出器に より獲得した物体や顕著な領域の特徴ベクトルを 用いた画像キャプション生成 Transformer モデルに 対して，画像上で隣接する物体を物体構成要素の緾 まりとして階層的にとらえる自己注意機構「構成要素注意機構」を提案した. MSCOCO データを用 いた実験結果より，Transformer に構成要素注意機構を導入することで，統計的に有意にキャプショ ン生成性能を改善できることが確認できた。一方， Object-Relation-Transformer に構成要素注意機構を導入した場合も，いくつかの評価スコアが向上した が，検定の結果，有意ではなかった. 今後は，構成要素注意機構で行う物体群の系列化の方法を変更す るなどして，提案モデルの性能を改善させたい.

## 参考文献

[1] Oriol Vinyals, Alexander Toshev, Samy Bengio, and Dumitru Erhan. Show and tell: A neural image caption generator. In Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 3156-3164, 2015.

[2] Kelvin Xu, Jimmy Ba, Ryan Kiros, Kyunghyun Cho, Aaron Courville, Ruslan Salakhudinov, Rich Zemel, and Yoshua Bengio. Show, attend and tell: Neural image caption generation with visual attention. In International conference on machine learning, pp. 2048-2057. PMLR, 2015.

[3] Shaoqing Ren, Kaiming He, Ross Girshick, and Jian Sun. Faster r-cnn: Towards real-time object detection with region proposal networks. In Advances in neural information processing systems, Vol. 28, pp. 91-99, 2015.

[4] Simao Herdade, Armin Kappeler, Kofi Boakye, and Joao Soares. Image captioning: Transforming objects into words. In Advances in neural information processing systems, 2019.

[5] Tsung-Yi Lin, Michael Maire, Serge Belongie, James Hays, Pietro Perona, Deva Ramanan, Piotr Dollár, and C Lawrence Zitnick. Microsoft coco: Common objects in context. In European conference on computer vision, pp. 740-755. Springer, 2014.

[6] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in neural information processing systems, pp. 5998-6008, 2017.

[7] Yaushian Wang, Hung-Yi Lee, and Yun-Nung Chen. Tree transformer: Integrating tree structures into self-attention. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLPIJCNLP), pp. 1061-1070, November 2019.

[8] Andrej Karpathy and Li Fei-Fei. Deep visualsemantic alignments for generating image descriptions. In Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 31283137, 2015.
[9] Peter Anderson, Xiaodong He, Chris Buehler, Damien Teney, Mark Johnson, Stephen Gould, and Lei Zhang. Bottom-up and top-down attention for image captioning and visual question answering. In Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 6077-6086, 2018.

[10] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th annual meeting of the Association for Coтpиtational Linguistics, pp. 311-318, 2002.

[11] Michael Denkowski and Alon Lavie. Meteor universal: Language specific translation evaluation for any target language. In Proceedings of the ninth workshop on statistical machine translation, pp. 376380, 2014.

[12] Ramakrishna Vedantam, C Lawrence Zitnick, and Devi Parikh. Cider: Consensus-based image description evaluation. In Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 4566-4575, 2015.


# アクセント単位形の推測を用いた日本語複合語のアクセント句の合成

青柳詠美 ${ }^{1}$ 小島正樹 ${ }^{2}$
${ }^{1}$ 東京薬科大学院 生命科学研究科 ${ }^{2}$ 東京薬科大学 生命科学部
\{s168002, mkojima\}@toyaku. ac. jp

## 概要

現在のテキスト合成音声システム [1] [2]では複合語句内において、話者による強調表現は再現できな いという問題がある。そこで本研究ではNHKアクセ ント辞典 [3] に掲載されているアクセント単位形に 着目し、コンピュータで推測したアクセント単位形 と話者の指定する強調から実際に発生しうるアクセ ント句を推定するアルゴリズムを作成した。まず話 し言葉コーパス (CSJ）[4]に掲載されている長単位 の複合語を対象に、アクセント核の位置からアクセ ント単位形を推定するモデルを作成する。そのモデ ルとCSJのBI ラベルから予測される強調に基づいて アクセント句を合成し、コーパス内のアクセント句 を再現できるか評価する。

## 1 はじめに

近年は様々なテキスト合成音声システム(text to speech)が開発され、AIアナウンサーや自動音声案内 システムなど、人に情報を伝える重要な技術になり つつある。本研究では複合語に着目することで、伝 え手が意図した韻律の音声を提供できる TTS の研究・開発に貢献することを目標とする。

## 1.1 強調を含めたアクセント合成とは

龃踣なく情報を伝達するためには、意味に対して 正確なアクセント句を提供することが重要である。 しかし上記に挙げた先行研究は共に実際に強調した か否かは入力值や特徴量にはなっていない。これは 話者による強調を含んだ表現は再現できないため、 システムでは正確なアクセントが付与された音声が 提供できているとは言い難い状況である。

具体的には以下の例がある。

「長野新幹線車両センター」という場所が現実に 存在するが、この建物は北陸新幹線の建設の際に建設された歴史を考慮すると構文解析は[長野][新幹線車両センター]である。しかし「長野新幹線」という固有名詞は存在する(かつて呼称として東京-長野間 を「長野新幹線」と呼んでいた)ため、この知識がな ければ[長野新幹線][車両センター]年捉えられても 文法上の誤りではない。この単語であれ、他の似た ような構文構造の単語であれ、システム利用者が後者のアクセント句を出力することを想定していない とは否定できない。

どちらの構文構造も文法上取ることが可能である。 またアクセント辞典の記載では単語によっては、時代変化によって複合語の意味要素が薄れ、一つの単語として振る舞うようになる例も存在し、その変化 は境目がなく、意味構造を持った発音と一つの単語 として振る舞う発音の両方が見受けられる場合があ るという指摘もある。

このことから一時的にかかり受け解析の予測等で 確率として高い一つの回答に絞る事は可能であるが、 どちらの選択肢も用意し、係り受けといった専門知識がなくてもユーザーが容易に選択できるように選択できる TTS の必要性を考えた。

そこで NHK アクセント辞典に掲載されているア クセント単位形に着目した。アクセント単位形は複合語のアクセント位置の考え方の一つである。強調時と強調以外のアクセント変化を説明する事が可能 になるため、上記に挙げた構文変化に伴うアクセン 卜変化を説明できると考えた。

本研究ではこのアクセント単位形をコンピュータ で推測し、アクセント単位形と話者の指定する強調 から実際に発生しうるアクセント句を推定するアル ゴリズムを作成した。その上でコーパス内のアクセ ント句を再現できるか評価する。

## 2 実験方法

## 2. 1 構築システムの概要

アクセント核の位置からアクセント単位形予測器 を作成した。具体的にはアクセント核とアクセント 単位形の関係からルールを作成して、自作でラベル 化、 $\mathrm{CRF}$ (条件付き確率場:機械学習)で学習した。次

に強調を含めたアクセント予測実験を行なった。具体的には、上記アクセント単位形推定モデルと強調位置を入力値としてコーパス内の音韻を再現できる か実験した。

## 2. 2 アクセント単位形の推測実験

まず、アクセント単位形を推測するために複合後 のアクセント核の位置を入力值としたアクセント単位形を決定するアルゴリズムを以下の図のように作成した。

1. 該当アクセント核が平板型以外なら、次の単位とアクセント単位は独立 (1) 2. 該当アクセント核が平板型で、次の単位も平板型ならアクセント単位は独立 (1) 3. 該当アクセント核が平板型で、次の単位は平板型以外ならアクセント単位は継続 (0) 4. 該当単位が最終単位ならアクセント単位は独立 (1)

図 1 アクセント単位形決定アルゴリズム

次に、日本語話し言葉コーパス (CSJ)のコア文章 201 講演を対象に短単位が 2 つ以上で構成され、各品詞(自立語のみ) にエントリーされている長単位を 抽出し、テストデータ: 訓練+検証データを $2: 8$ に分

と結合する (0)・しない(1)を推定した。CRF (条件確率場:Conditional Random Fields) [5] [6] とはある入力値に予め付与したラベルの確率分布を計算するこ とで予測する機械学習のアルゴリズムの一種である。今回は特徴量に書く品詞情報や読夕情報、表層形情報を入力し、アクセント単位形が次の単位と結合す る（0）かしない(1)か単語末表現 (EOS)かをラベルと して出力した。EOS は単語末に確実に出現するよう に設定したため、事実上アクセント単位形の結合可否 $(0,1)$ の二値問題である。条件によって学習形態素数が異なるため別途表で示す。

評価には代名詞、副詞以外では 4-fold grid search を行い、正則化関数は Macro $\mathrm{f}$ 値の高かった L1を、ハイパーパラメータ ( $-\mathrm{c}$ オプション)は $[0,0.01,0.05,0.1,0.5,1,5]$ から最も Macrof $\mathrm{f}$ 値の高 かった 1 を評価に用いた。代名詞、副詞ではデー夕数が少なかったため、交差検定は行わず、訓練デー タと検証データで上記と同様にハイパーパラメータ の調整を行った。特徴量は該当単位 2 つ前から 2 つ 先までの trigram、unigram、該当単位 1 前から 1 つ先までの bigramを特徴量とした。

 &  &  \\

## 表 1 各条件における学習形態素数一覧

品詞情報を用いる場合は Unidic[7]のものを用い て、CSJ に記載されている[表層形, 品詞 (LUWPOS), 活用の種類 (LUWCon jugateType), 活用形 (例: 未然形 LUWCon jugateForm), その他の情報 1 (助詞の種類を 示すLUWMiscPOSInfo1）のUnidic で相当する部分を 抜き出して一単位として入力值とした。 Unidicへの変換には Mecab (0.996) [8]で変換を行い、辞書にはアクセントの位置が記載されている Unidic (unidic-cwj-2.3-2.0)を用いた。

## 2.3 アクセント句予測実験

アクセント単位形の推測結果とCSJのBI ラベルを 用いて、コーパスに記載された実際に発生したアク セント句を再現できるかを実験した。以下は本実験 での BI ラベルの解釈である。

BI ラベルとは実際の音のピッチから判断された”次の単位との結合度”を示す[9]。

## 図 2 本実験での BI ラベルの解釈

ベースラインの規則由来のアクセント合成には以下のものを使用した。作成には複合語のアクセント 規則 (匂坂, 佐藤, 1983) や数詞のアクセント規則 (宮崎, 1984）、OPEN J TALK[1]、TASET[2][10]を参考に した。

全ての条件で形態素解析に Mecab(ver0.96) と Unidic (ver2.3.0)辞書を用いた。

## 3 結果と考察

本結果は昨年情報処理学会で発表した名詞句のア クセント単位形推定実験の結果[11]も同時に載せて いる。

$\cdot$sur_la:表層形のみが学習データ

$\cdot$sur_pho_la:表層形と読みが学習データ

$\cdot$sur_pos_la:表層形と読みと品詞情報が学習デー タである条件を示している。

## 3.1 品詞ごとにアクセント単位形推定モデ ルを作成した結果

品詞ごとにアクセント単位形を学習させた結果を 付録 A-1 の図に載せる。どの品詞もアクセント単位形 1 ラベルの $\mathrm{f}$ 值より 0 ラベルの $\mathrm{f}$ 值が低いという 結果になった。またデータが少ない副詞は 0 ラベル が学習できなかった。

動詞等活用形がある品詞も今回は実験の対象のた め、品詞情報を付与した場合のアクセント単位形推定結果をまとめたが、どの品詞も結果が悪化したか 大幅な改善は見られなかった。

## 3.2 品詞ごとの実験の考察

副詞の 0 ラベルの $\mathrm{f}$ 值や他の品詞の $\mathrm{f}$ 値の改善の ため、データを他の組成が似た品詞と合わせる学習 を試みた。理由として以下の表がある。これは本実験で用いたコーパス内(長単位)で各品詞のどの品詞 SUW(短単位)が多いか、種類ごとに分類したグラフ となっている。

図 3 本実験範囲での各品詞組成

副詞は単独で似たような組成の品詞が見つからな いが、副詞自身を除けば他の品詞が満遍なく存在す ると考えると、品詞隔てなく学習することで副詞内
の他品詞の学習が進むのではと考えた。

## 3.3 全ての品詞を含めて推定モデルを作成

## した結果

全ての品詞を含めてアクセント単位形を学習させ た結果を付録 A-2 の図に載せる。表層形のみ、読み 追加の条件で副詞は 0 ラベルも含めて学習できたが 品詞情報を入れると 0 ラベルの正解例がなく $\mathrm{F}$ 值が 計算できなかった。また表層形のみの学習で接続詞 の 0 ラベルが学習できなかった。これは組成表から 考えると接続詞は助詞が多いために他品詞から助詞 を含むような例が少なかったためが考えられる。な お、読みを入れた条件や品詞情報を入れた条件では 0 ラベルは学習可能であることがわかった。全体的 に他品詞を含めて学習していると品詞情報を入れて もアクセント単位形の推測 $\mathrm{F}$ 値は 0 ラベル、 1 ラベ ルともに大幅に上がらないという結果になった。

## 3. 4 アクセント句合成実験結果・考察

次に上記で作成したアクセント単位形推定モデル を用いてアクセント句の推定実験を行った。実験結果について、品詞ごとにアクセント単位形を推定し たモデルを用いた条件のものを付録 A-3 の図に、品詞を全て含めてアクセント単位形を推定したモデル を用いた条件のものを付録 A-4 の図に載せる。

品詞全体を俯瞰して、コーパス内に $1+\mathrm{p}$ (強調する けれどアクセント句は切れないに該当する単語が 見られない品詞も多く、たまたまコーパスに無かつ たのか、本当に日本語としてそう言う事例がないの か疑問が生じた。事例がない場合はアクセント句の 合成においてアクセント単位形を考えるまでもない ということになる。これは今後検討が必要である。

また両方の実験でベースラインにした規則による 強調指定よりもアクセント句の正解率が低い結果は なかった。このことはアクセント単位形の考え方が 他品詞にも使える可能性が考えられる。

アクセント単位形の推測実験同様、品詞情報の付与によるアクセント句の正解率が大幅に改善したと いう例はなかった。

## 3.5 品詞ごとの考察

以下は各品詞の考察である。主だったものを載せ る。

[名詞/代名詞]
品詞情報を付与してもアクセント単位形の推測、 アクセント句の正解率ともに改善が見られなかった。 これは名詞句というものは品詞情報が変化しないた め恩恵を受けにくいためと考えられる。また、数詞 なしの条件において、規則でアクセント句を推定し たものは $1+\mathrm{p}$ (強調あるもののアクセント句は結合:0 ラベルによるもの)の推測で結果が良いことが分か った。これは提案手法のアクセント単位形の 0 ラベ ルの推測成績が悪いことが起因していると考えられ る。提案手法の各条件でアクセント単位形推定タス クの $\mathrm{f}$ 值が異なっていたが、この差はアクセント句合成実験では影響せず、ほぼ同じ正解率を示した。

## [動詞/形容詞]

名詞、代名詞のときとは異なり、全体を通してア クセント単位形推測で全品詞同時学習時の結果が良 い傾向が得られ、アクセント句推測実験の BI ラベル 2〜のタスクで正解率の上昇に寄与していると考え られる。

## [形状詞]

単独学習での品詞情報込みの学習結果のアクセン ト単位形の 0 ラベルの推測能力の低いとき、BI ラベ ル 2 の正解率の低下しており、品詞一括学習だと改善しているため、 0 ラベルの推測の正確性がアクセ ント句の正確な合成に重要であることが言える。

## [副詞]

データ数の不足から副詞単体でのアクセント単位形 0 ラベルの学習は困難であった。副詞の品詞特性 としては、副詞の連続(例:ぶるぶるぶるぶる)とそれ 以外(例:一生懸命、必ずしも、比較的)に分かれ、副詞の連続以外には名詞や形状詞が含まれていた。こ のため、品詞を分けずにアクセント単位形を学習し た場合には、副詞単独ではアクセント単位形の 0 ラ ベルが十分に学習できなかったものが、全品詞を学習させると 0 ラベルも判別できるようになったと考 えられる。

## 4 まとめ

アクセント単位形の推測モデルを用いてアクセン 卜句の推定を行った。全品詞を俯瞰して、アクセン 卜単位形の推測タスクの $\mathrm{F}$ 值、特にアクセント単位形の結合を示す 0 ラベルの推定結果が悪いと、アク セント句の正解率が悪くなる結果となった。 またアクセント単位形の考え方は既存手法よりアク セント句の正解率が上がったため、アクセント句の 推定において提案手法は有用である。

## 5 今後の課題

今回の研究の条件下では以下の 3 つの課題が存在 する。

## 5.1 実験条件について

今回は複合語を入力したときの結果であり、文の 中でどのような品詞条件で、あるいは構文条件で出現したかについて全く考慮していない。例えば、あ る文章中では 1 単位形として出現する単語が特定の 構文条件で 2 単位形に分割する現象があったとして も、今回の実験で表現することは不可能である。こ のため、文単位で入力した際のアクセント単位形が どう変化するかを学習させる、あるいは単語の特徴量に品詞情報以外の文中での振る舞いを示す値を含 めることが必要であると考えられる。

## 5.2 実験データについて

正確なアクセント核は人手でないと付与ができな い。特に平板型のアクセント定義はキャリア文との 接合した際のアクセント変化で判断するため、とあ る文章を入力、発話したときに必ずしも判定できる とは限らない。こう言った事情から多量のアクセン 卜単位形に関するラベルを用意する事は現実的では ない。既に短単位でアクセント核が付与されている コーパス等のデータは限られるため、今後ラベルの 正解率やアクセント句の正確な推定を行うにあたり、機械学習の中でデータ不足を補える方法を検討する 必要がある。

## 5.3 学習単語単位について

今回、学習する単語単位をUnidic (CSJ の SUW) に 固定した。本研究では人手で付与された正確なアク セント核の位置を利用したいという意図で採用した が、先行研究ではサブワード [12] [13] という概念が あり、文法に準拠した単語分割が計算機にとってア クセント単位形を推測しやすいかは検討材料である。分割した際のアクセントの位置について解決した上 で、Unidic 以外の単語分割での検討をしていきたい。

## 参考文献

1. Open JTalk

http://open-jtalk. sourceforge. net/

2. TASET Tokyo Accent Sandhi Estimation Toolkit, https://sites. google.com/site/suzukimasayu ki/accent

3. NHK 放送文化研究所・編『NHK 日本語発音アクセ ント新辞典』2016 年

4. 国立国語研究所『日本語話し言葉コーパス (CSJ)』 https://pj.ninjal.ac.jp/corpus_center/csj/

5. J. Lafferty, A. McCallum, and F. Pereira,

"Condi- tional random felds: Probabilistic models for seg- menting and labeling sequence data," Proc. 18th In- ternational Conference on Machine Learning (ICML), pp. 282-289, 2001.

6. CRF++, Yet Another CRF toolkit

https://taku910. github. io/crfpp/
7. Unidic, https://unidic.ninjal.ac.jp

8. MeCab, Yet Another Part-of-Speech and Morphological Analyzer

https://taku910. github. io/mecab/

9. 五十嵐 他 ” 報告書『日本語話し言葉コーパス の構築法』第 7 章 韻律情報”，国立国語研究所報告 No. 124 (2006)

10. 鈴木 他, ” 条件付き確率場を用いた日本語東京方言のアクセント結合自動推定”，電子情報通信学会論文誌 D Vol. J96-D No. 3 pp. 644-654, 2013

11. 青柳 他 “アクセント単位形の推測を用いた日本語複合名詞のアクセント句の合成” 情報処理学会第 83 回全国大会学生セッション _7N-02. 2021

12. 工藤拓『実践・自然言語処理シリーズ 第 2 巻形態素解析の理論と実装』(株式会社近代科学社者) 2018 年

13. SentencePiece

https://github. com/google/sentencepiece

## A 付録

A-1 アクセント単位形学習結果(品詞ごと)

A-2 アクセント単位形学習結果(品詞一括)

*印のタスクはBIラベル1+pおよび2に該当する単語が存在しなかった。**印のタスクはBIラベル1+pに該当する単語が存在しなかった。***印のタスクはBIラベル1+pの正解率が0だった。

A-3 アクセント句推定実験(品詞ごと学習モデル)

全品詞学習モデルによるアクセント句推定実験

A-4 アクセント句推定実験 (全品詞学習モデル)


# 英日機械翻訳における既存の評価指標の線形結合による性能評価

中屋和樹 ${ }^{1}$ 川又泰介 ${ }^{1}$ 松田源立 ${ }^{1}$
${ }^{1}$ 成蹊大学 理工学部
us182092@cc. seikei.ac.jp \{kawamata,matsuda\}@st. seikei.ac.jp

## 概要

機械翻訳の自動性能評価指標として様々な手法が 提案されているが、特に構文が大きく異なる英日間 の翻訳では、どの手法が優れているかについて明確 に評価することは困難であった。本研究では同一の 英文に対する Google 翻訳と DeepL の出力和文を実験用データとし、DeepL の結果の方が翻訳性能が高 いと仮定した。そして、その 2 出力文を正確に判別 できる指標を優れた指標であるとみなした。実験で は、BLEU 等の n-gram ベースの指標、MER 等の編集距離ベースの指標、BERTScore 等の分散表現ベー スの指標等を用いて、その判別の正解率を比較した。 さらに、SVMによりそれらの評価指標を線形結合し た場合の正解率も比較した。その結果、異なる系統 の評価指標を線形に組み合わせることで、判別の正解率を向上させることができることを示した。

## 1 はじめに

近年、深層学習の発展に伴いニューラルネットワ ークを用いた機械翻訳モデルの研究が盛んに行われ ている[1]。これら翻訳モデルの精度を測るには、人手評価との相関が高い自動評価指標が必要となる。現在、自動評価指標のディファクトスタンダードは BLEU スコア[1]であり、機械翻訳の論文において提案システムと既存システムの比較に用いられること が多い。しかし、BLEU は弱点が多く指摘されてい る。例えば、参照文の局所的な n-gram をモデル出力文が保持していた場合、意味が通っていなくても高 い評価を与えてしまう [2]。構文が似ている言語間で は翻訳モデルがこのような出力をすることは少ない が、日英翻訳のような構文が大きく異なる言語間で は頻繁に見られる。また、意味的に近い語彙の言い 換えが発生した際に対応することができないので、低い評価になってしまうこともある[3]。語彙の言い 換えはどの言語でも起こりうることであり、これに 対応できなければ翻訳モデルに対する正しい評価が
できない。評価指標の優劣を決めることは非常に難 しく、BLEU が発表されて以降、様々な自動評価指標が提案されており、上記の BLEU の弱点に対応で きるものもある。しかし、それらの指標はそれぞれ が長所と短所を持っており、最適な指標というのは 定まっていない。

現在翻訳ツールで有名なものは「Google 翻訳[4]」 と「DeepL[5]」であるが、DeepL の方が Google 翻訳 に比べて、読みやすく、理解しやすい文章を出力す るとされている[6]。そこで、本研究では、ある評価指標をもとに Google 翻訳と DeepLを判別できれば、 その評価指標は良いものであると仮定した。そして、同一英文群に対する Google 翻訳と DeepL の出力和文群について様々な翻訳評価指標の値を算出し、判別の正解率を比較した。次に、それらを特徴量とし て線形 SVM で最適な組み合わせを学習し、どのよ うな組み合わせが良い指標となるかを調査した。さ らに、それらの分析結果と具体的な出力文と照らし 合わせることで、それぞれの評価指標の長所・短所 の考察を行う。

## 2 先行研究

本研究では、様々な観点から見た評価尺度を利用 する。本節ではそれらについての簡単な説明を行う。今回用いる評価指標の全体的な分類を表 1 に示す。

表 1 本研究で用いる評価指標

## 2. 1 n-gram ベース
- BLEU BLEU は現在、機械翻訳の自動評価指標と して最も用いられている。2002 年にオリジナルの論文が発表されて以来、改良された BLEUがいくつか 出ているが、今回は BLEU+1[7]を用いる。基本的な
考えとしては、モデル出力文と参照文の n-gram の一致度によって翻訳の精度を評価する指標である。

$\cdot$ROUGE ROUGE-n 2003 年に Chin ら[8]によっ て発表された指標であり、元々は要約タスク専用の 評価指標である。具体的には、参照文とモデル出力文について Recall と Precision を計算し、最後に F1 値を計算することによって、ROUGE スコアとして いる。ROUGEn の $\mathrm{n}$ は使用する n-gram を表してお り、本研究では ROUGE1 とROUGE2 を用いた。
- RIBES RIBES は 2011 年に平尾ら[2]によって発表された翻訳評価指標であり、順位相関係数を利用 した評価指標である。

## 2.2 編集距離ベース
- WER WER(Word Error Rate)は通常は音声認識の 評価指標として用いられているものであり、入力文 に対する誤ったトークン数の割合で表される
- MER MER(Match Error Rate)は WER の問題点を 解決するために、2004 年に Andrew ら[9]によって提案された。具体的には、WER の式の分母に挿入数を 追加する。
- CER CER(Character Error Rate)は基本的な考え方 は WER と同じで、編集距離に基づいたエラー率を 計算する。WER はトークン単位での変換を行うが、 CER では文字単位(Character)での変換を行う。

## 2.3 分散表現ベース
- WMD WMD(Word Mover's Distance)[10]は、分散表現を用いて最適輸送問題を解くことにより、2つ の文書の類似度を測る評価指標である。
- WRD WRD (Word Rotator's Distance)は 2020 年に 横井ら[11]によって発表された WMD の改良版であ り、コサイン類似度を利用している。

$\cdot$BERTscore BERTscore は 2020 年に Tianyi ら[12] によって提案された、 2 つの文書間の類似度をはか る指標である。具体的には、 2 文の分散表現ベクト ル集合により、Precision、Recall、F 值を計算する。本研究では $\mathrm{F}$ 值を採用した。

## 3 実験設定

・翻訳データ評価指標を計算するためには、翻訳 した文に対する正解データ(リファレンス)が必要と なる。よって、対訳コーパスである ASPEC コーパス [13]の文章データを用いた。学習データ・開発デー 夕・開発試験データ・試験データの 4 種類があるが、今回は試験データ(1812 文)全てを選択した。 ・翻訳ツール先述の通り「Google 翻訳」「DeepL」 を利用した。前者は googletrans[14]、後者は手動で文章を入力して翻訳した。

・分散表現 一部の評価指標を計算する際には分散表現が必要となる。今回は、ボキャブラリ数を 32000 に設定し、JParaCrawl コーパス[15]を用いて事前学習 を行った Transformer[16]のデコーダ層の分散表現を 用いた。モデル自体は fairseq[17]で公開されている ものである。

・トークナイザ トークナイザは文章をトークンに 分割する処理を行うものである。本研究では Sentencepiece[18] と MeCab[19]を用い、各々について 評価指標を計算した。ただし、CERについては文字単位のためトークナイザは不要であり、分散表現ベ 一スの指標についてはSentencepieceのみを利用した。

$\cdot$評価指標評価指標としては、表 1 に示した 10 種類についてSentencepieceを適用したものを採用した。 さらに、n-gram ベースの全てと編集距離ベースの WER と MER については MeCabを適用したものも 採用し、計 16 種類となった。

・線形学習モデル 線形 SVM を利用した。具体的 には、文レベルでそれぞれの評価指標の值を算出し、 それらを特徴量として学習を実行し、Google 翻訳と DeepL の線形 SVM による 2 值判別を行った。デー 夕は、学習データ $90 \%$ (1631 文)とテストデータ 10\%(181 文)に分割した。また、学習の際に Optuna[20] を用いることにより、学習データのみでハイパーパ ラメータをチューニングした。

## 4 結果と考察

## 4. 1 評価指標間の相関

図 1 は、Google 翻訳と DeepL の 3624 件の全出力文上で各評価指標間の相関係数行列を計算し、ヒー トマップで表したものである。相関係数は最低でも 0.5 以上であり、互いにある程度の相関を持つことは 確かめられた。それ以外にも以下のような関係性が 観察できた。第一に、RIBES_Sent とRIBES_MeCab は n-gram ベースでありながら、BLEU やROUGE と の相関が低く、代わりに編集距離系の WER や MER と相関が高い。これは RIBES がユニグラムの一致を 図りつつも、その順番を重視した評価指標であるか らだと考えられる。編集距離系の評価指標は先頭か ら順番に置換・削除・挿入を行なっていくため、語

図 1 各評価指標の相関係数行列

順に対して厳しい評価をする。Google 翻訳は英語を 直訳したような文章になることが多く、人手で翻訳 したものと比べると、内容が反対になっていること がある。よってこのような文章に対して、編集距離系は高いエラー率(低い評価)を出力し、RIBES では 順位相関係数が負になった(低い評価)ため、比較的相関が高くなったのだと考えられる。第二に BLEU_Sent と BLEU_MeCab は相関が高い評価指標 に違いがあり、前者は n-gram+Sent、分散表現、編集距離 + Sent、後者は $\mathrm{n}$-gram $+\mathrm{MeCab}$ 、編集距離+MeCab表 32 つ組み合わせた場合の判別正解率

と相関が高くなっている。分散表現ベースの評価指標は全てSentencepieceでトークナイズしていること から、同じトークナイザでトークナイズして算出し た評価指標は相関が比較的高くなると考えられる。

## 4. 2 判別正解率

表 2 は、特徴量を 1 個のみ(各指標単体)とし、線形 SVM で閾値のみを学習した時の判別正解率であ る。WER_Sent が最も高い正解率であった。表 3 に 2 つの評価指標を特徴量として組み合わせの重みを 学習した場合の正解率を上位 5 位まで示す。表 4 に 3 個もしくは 4 個の評価指標を特徴量とした場合の 正解率を上位 10 位まで示す。この結果から、評価指標単体より複数の評価指標を組み合わせた方が正解率が向上することが分かる。表 4 における各評価指標の登場回数を見ると、BERTscore が 7 回、 ROUGE1_Sent が 6 回、RIBES_MeCab が 6 回で上位 となる。これらの評価指標は表 3 にも頻繁に登場し ている。図 1 の結果とも併せて考えると、分散表現 ベースである BERTscore、単純な n-gram ベースであ る ROUGE1、n-gram ベースではあるが編集距離べー スと性質が近い RIBES の組み合わせがより有効な 評価指標となることが示された。以上が統計的な結果であるが、具体的な文例での組み合わせの有効性 については、付録 Aにて紹介している。

## 4.3 まとめ

本研究によって得られた結果も踏まえた各評価指標の特徴(長所と短所)を表 5 に示す。現在最も使用 されている BLEU は、直感的に理解できプログラミ ングもしやすいが、クリティカルな短所が多いため、率先して使用すべきではないと考えられる。もしngram 系を使用するのであれば、ユニグラムのみでも ある程度評価はできるため、ROUGE1 や RIBES が 良いと考えられる。編集距離系の評価指標は、表 2 より WER_Sent の正解率が一番高いこと、表 4 より
表 $43 、 4$ つ組み合わせた場合の精度

 \\

WER_Sent と MER_Sent が上位に現れていることか ら、WER と MER は翻訳評価指標として用いること が可能であると考えられる。ただし、表 5 より、語順の維持に強く依存することに注意する必要がある。 また結果から RIBES で代用可能である可能性があ るが、さらなる分析が必要である。

分散表現系の評価指標は、分散表現に大きく依存 するという短所があるが、語彙の言い換えに対応可能であり、また、単語アラインメントを得られると いう大きなメリットがある。特に BERTscore はアラ インメントが WMD や WRD に比べて容易に計算可能であり、 4.2 節において良い評価指標であるという ことが判明している。よって、分散表現系は BERTscore を用いるのが良いと考えられる。

## 5 終わりに

本研究では、英日翻訳のコーパスに置いて様々な 翻訳性能の評価指標を調查し、それらを特徴量とし て Google 翻訳と DeepL の線形 SVM による 2 值判別を行った。その結果、異なる種類の評価指標を線形に組み合わせることで判別正解率が向上すること が判明した。さらに各評価指標の特徴について考察 した結果、n-gram ベースでは ROUGE1、RIBES、編集距離ベースでは WER、MER、分散表現ベースでは BERTscore を用いるのが良い、という結論が得られ た。今後はデータセットの拡張、指標の追加と実験 を通して、より適切な評価指標の構築を目指す予定 である。

## 謝辞

本研究は JSPS 科研費 JP21K12036 の助成を受けたも のである。

## 参考文献

1. Kishore Papineni et al. "BLEU: a Method for Automatic Evaluation of Machine Translation". In: ACL, Philadelphia, July, 2002, pp. 311-318

2. 平尾努 他 “RIBES：順位相関に基づく翻訳の自動評価法”言語処理学会 第 17 回年次大会 発表論文集 (2011 年 3 月)

3.http://cr.fvcrc.i.nagoyau.ac.jp/ sasano/pdf/snlp2019sasano.pdf (2022 年 1 月 11 日 アクセス)

4. https://translate.google.co.jp/?hl=ja (2022 年 1 月 11

日 アクセス)

5. https://www.deepl.com/ja/translator (2022 年 1 月 11

日 アクセス)

6. Ahmad Yulianto "Google Translate vs. DeepL: A quantitative evaluation of close-language pair translation" In: AJELP, ISSN 2289-8689 / e-ISSN 22898697, Vol 9 No. 2 (2021), 109-127

7. Graham Neubig “文レベルの機械翻訳評価尺度に関 する調査” Information Processing Society of Japan 2013

8. Chin-Yew Lin and Eduard Hovy "Automatic Evaluation of Summaries Using N-gram Co-Occurrence Statistics " In: Processing of HLT-NAACL, 2003, pp. 7178

9. Andrew C. Morris el at. "From WER and RIL to MER and WIL: improved evaluation measures for connected speech recognition " In: INTERSPEECH 2004-ICSLP 10. Matt J.Kusner et al. "From Word Embeddings To Document Distances "In: Processing of the 32th International Conference on Machine Learning, Lile, France, pp. 957-966 2015

11. 横井祥 他“単語埋め込みのノルムと方向ベク トルを区別した文書最適輸送コスト” The 34th

Annual Conference of the Japanese Society for Artificial Intelligence, 2020

12. Tianyi Zhang et al. "BERTSCORE: EVALUATING TEXT GENERATION WITH BERT " In: ICLR 2020

13. https://form.jst.go.jp/enquetes/aspec_order_sampleJT (2021年 6 月 24 日 受付)
14. https://pypi.org/project/googletrans/ (2020 年 1 月

11 日 アクセス)

15. 森下睦 他 “JParaCrawl: 大規模 Web ベース日英対訳コーパス”言語処理学会 第 26 回年次大会発表論文集 (2020 年 3 月)

16. Ashish Vaswani et al. "Attention is all you need." In: CoRR, Vol. abs/1706.03762, 2017.

17. https://github.com/pytorch/fairseq (2022 年 1 月 11 日 アクセス)

18. https://github.com/google/sentencepiece (2022 年 1 月

11 日 アクセス)

19.https://github.com/neologd/mecab-ipadic-neologd

(2022 年 1 月 11 日 アクセス)

20. https://github.com/optuna/optuna (2022 年 1 月 11 日 アクセス)

## 付録 A. 具体的な文例における評価指標の組み合わせの効果

表 A. 1 RIBES、BERTscore、MER を加えることで判別可能となった文の例(指標の単位は全て\%)

 &  & & & & \\

図 A. 1 BERTscore の Recall(上)と Precision(下)によるアラインメント(赤が正解、黒が不正解を示す)

ここでは表４の３行目の BLEU_Sent + RIBES_MeCab + BERTscore + MER_Sent の組み合わせに着目する。表 A. 1 に BLEU_Sent のみで見分けることができず、他の評価指標を追加して見分けることができるようにな った文の例を示す。

表 A. 1 のリファレンスは大まかなパーツに分けると、「解説し」「検討した」となる。DeepL では、少々他の語彙の言い換えがあるものの、色をつけた順番通りに翻訳されており、意味の通じるものになっている。一方、Google 翻訳は「解説し」の部分は訳されているものの、「説明します」と完結しており、「検討した」 の部分を翻訳できていない。よって、今回の文は Google 翻訳が一部無視しているので、評価には少し差が出 るはずである。RIBES_MeCab、BERTscore、MER_Sentを見てみると、どれもDeepL の方に高評価をしてい るが、BLEU_Sent はほとんど同じ評価になっており、区別をすることができていない。

それぞれの評価指標の値について表を見ながら考察する。RIBES_MeCab、BERTscore、MER_Sentについて、 これらが Google 翻訳と DeepL に差をつけることができているのは上記の久損部分に起因しており、 RIBES_MeCab では前半部分の評価値に欠損部分の評価值を加えるか否かで、MER_Sent では欠損部分の挿入操作の増加により、差をつけて評価することができていると考えられる。BERTscore は両者の区別ができて いるものの、その差が $5 \%$ と若干小さい。これは最終的な評価に $\mathrm{F}$ 值を用いているためであると考えられる。図 A. 1 に BERTscore の Precision と Recall による単語アラインメントを示す。Precision はある程度適切なアラ インメントができているが、Recall は久損している後半部分が無理やり前半部分へとアラインメントされて いるため、最終的に Recall 値が上がってしまい、Google 翻訳と DeepL での差があまり大きくならなかったと 考えられる。それでも、両者をある程度区別することはできている。


# 自然言語とソースコード間の対訳コーパス向け Data Augmentation 手法の提案

秋信 有花 ${ }^{1}$ 小原 百々雅 ${ }^{2}$ 梶浦照乃 ${ }^{2}$ 倉光 君郎 ${ }^{2}$
${ }^{1}$ 日本女子大学大学院 理学研究科 2 日本女子大学 理学部
m1616003ay@ug.jwu.ac.jp kuramitsuk@fc.jwu.ac.jp

## 概要

本論文では，自然言語とソースコード間の対訳 コーパス向けの Data Augmentation (DA) 手法と，そ れを実現するDA Dール Multieseを提案する。近年，深層学習ベースのコーディング支援は関心を 集めるテーマとなっているが，学習データとなる NL-code 対訳コーパスの不足は重要な課題である。本研究では，構文木への変換が可能であるという ソースコードの形式的な性質を活用した DA 手法を 新たに提案する。実験では, Multiese によって増強 された NL-code 対訳コーパスを用いることで，自然言語からソースコードを生成するコード生成 AI モ デルを，高い精度で構築可能であることを示した。

## 1 はじめに

社会のデジタル化が進む昨今，プログラミングは より身近な技能へとなってきている。しかし，プロ グラミングは誰もが自由自在にできるものではな く，プログラムの書き方がわからず，挫折してしま う人も少なくない．そこで，我々は，自然言語を用 いたプログラミング支援の実現に向け，日本語記述 から Python コードを生成するニューラル機械翻訳 モデルであるコード生成 AI モデルの構築に取り組 んでいる $[1,2]$. ユーザは，プログラムの書き方が 思い出せない箇所をコード生成 AI モデルに対して 自然言語で与えることで，それに相当する正しい コードを得ることができる.

しかし，コード生成 $\mathrm{AI}$ モデルの学習データとな るソースコードとその対訳をぺアとした NL-code 対訳コーパスのデータ資源は限られている [3]. 先行研究では，ソースコードのデータ資源として， GitHub などのオープンソース上のソースコードが 使われてきたが $[4,5]$ ，これらには対訳などは含ま れていない.ソースコードの対訳は，ソースコード内のコメントとして付与されることもあるが，そ の対訳の粒度はコーダーによって様々である。そ のため，これらのコメントを抽出し，対訳として ソースコードとマッピングするだけでは，NL-code 対訳コーパスとして不十分である。また，整備済み の NL-code 対訳コーパスもいくつか公開されている が，これらのほとんどは人手で対訳が付与されたも のである．そのため，データセット数は数百から数千程度と限られており，深層学習のネットワークモ デルに直接適用することは難しい.

そこで，本研究では，NL-code 対訳コーパスの不足を解消すべく，自然言語とソースコード間の対訳 コーパス向けの Data Augmentation (DA) 手法を提案 する. 我々の DA 手法の特徴は，プログラミング言語の構文に基づくソースコードの合成と DA 記法の 導入による自然言語表現の増強である。我々は，こ の二つの特徴を実現する DA ツール Multiese を実装 し，人手で作成した NL-code 対訳コーパスのデータ セット数を 177 ペアから 14,721 ペアまで増強させる ことができた．また，実験では，Multiese によって 増強された NL-code 対訳コーパスを用いてコード生成 AI モデルを学習し，NL-code 対訳コーパスの合成によるコード生成 $\mathrm{AI}$ モデルの精度の変化を確か めた.

本論文では，NL-code 対訳コーパス向け DA 手法 とDA ツール Multieseを提案し，実験結果とともに 報告する。本論文の残りの構成は以下の通りであ る. 2 節では提案する NL-code 対訳コーパス向け DA 手法について述べる。 3 節では実装した DA ツー ル Multiese について述べる. 4 節では実験について 述べる. 5 節では関連研究を概観し，6節で本論文 をまとめる.

図 1 コード生成 AI モデルと back-translation

## 2 NL-code 対訳コーパス向け DA

Data Augmentation (DA) は，学習データに加工など の処理を部分的に施すことで，データ量を水増しす る手法である. 本節では，本研究で着目したDA 手法の一つである back-translation について概説したの ち, 本研究の提案である NL-code 対訳コーパス向け DA 手法について述べる.

## 2.1 Back-translation

Back-translation は，機械翻訳向けの DA 手法であ る. Back-translation では，目的とする翻訳モデルの ソース言語とターゲット言語を逆にした逆翻訳モ デルを別途学習する. 学習された逆翻訳モデルに対 して，ターゲット言語の単言語コーパスを入力し, ソース言語の対訳を生成することで，擬似的な対訳 コーパスを構築する. コード生成 AI モデルに対し て back-translation をナイーブに適用すると，図 1 に 示すように, Python コードから日本語記述を生成 する back-translation モデルを別途学習することにな る. 一般的な back-translation と異なる点は, 逆翻訳 モデルのソース言語が，木構造への変換が可能なプ ログラミング言語になることである.

## 2.2 NL-code 対訳コーパス向け DA 手法

本研究では，逆翻訳モデルのソース言語がプログ ラミング言語である点に着目し, プログラミング言語の性質を活用した DA 手法を新たに提案する. 図 2 は，NL-code 対訳コーパス向け DA 手法のコンセ プトを示したものである. 提案手法の特徴は, ソー スコードの任意長の expression片に対して与えられ た対訳から，ボトムアップで NL-code 対訳コーパス を合成する点である.

NL-code 対訳コーパス向け DA 手法では，まず人手で複数の日本語訳を付与した NL-code 対訳コーパ スを用意する。このとき，既存の対訳コーパスを再利用することも可能である.

図 2 NL-code 対訳コーパス向け DA 手法

## $\mathrm{x \% \mathrm{n}$}

$x \% 2==0$

$\mathrm{x}$ が偶数かどうか

$\mathrm{x}$ は 2 で割り切れるかどうか

次に，用意した NL-code 対訳コーパスに対して， プログラミング言語の文法に基づくアノテーショ ン記法を導入する. Expression 片の前後に来る可能性のある構文を @enot アノテーションのように与 える。

すると，アノテーションに基づき，表１のように 前後の文言が生成される。提案手法では，最初に与 えられた expression 片からボトムアップで対訳を合成することになるが，木構造のトップに相当する コードまでは生成しない。これは，Transformerなど のネットワークモデルでは, 複雑な木構造を扱うこ とが困難であるという考察に基づいている [6].

提案手法のもう一つの特徴は, DA 記法の導入に よる，自然言語表現の増強である。はじめに用意し た NL-code 対訳コーパスに対して，以下のような記法を追加することで，自然言語の表現を拡張できる ようにしている.

$x \% 2==0$ @@not @@if

@type(x, 変数) が偶数 [かどうか|であるかどうか] $\mathrm{x}$ は 2 で [割り切れる割ることができる]かどうか

上記の例には，二種類の DA 記法を含んでいる.

図 3 Multiese による日本語 Data Augmentation

一つ目は，類義語置換である. [かどうか|であるか どうか]のように定義された複数の類義語を組み合 わせることで，複数の自然言語記述を生成する。二 つ目は，変数名やリテラルに対する型情報の付与で ある. @type(x，変数) のように変数名とその型情報をぺアとして明示することで，変数名の前後に型情報を付与，もしくは付与しないパターンを生成 する. DA 記法を付与する手間はかかるものの，複数のDA 記法を組み合わせることで，様々な表現パ ターンへの拡張が実現できる.

## 3 DA ツール: Multiese

Multiese は，NL-code 対訳コーパス向け DA 手法を 実現するための DA ツールである. 図 3 は, Multiese が NL-code 対訳コーパスを合成するまでの流れを 示したものである。まず，DA 記法を含んだ自然言語記述は，抽象構文木 (AST) へと変換される. その 後，構文木のタグ情報に基づき，複数の自然言語表現をルールベースで生成する. 最後に，それらを元 のソースコードとペアにし， NL-code 対訳コーパス として出力する.

抽象構文木への変換は，PEG (Parsing Expression Grammar)[7] パーザジェネレータ PEGTree[8] と, 形態素解析器 Janome を組み合わせることで実装して いる. PEGTree で DA 記法に基づいた構文木に変換 した後, Janome で品詞タグを付与する. 品詞タグを 付与することで，語順の入れ替えや助詞の一部変更 などの DA 処理を，DA 記法なしに実現している.

## 4 実験

我々は, Multiese によって増強された NL-code 対訳コーパスを用いてコード生成 AI モデルを構築し， コードの生成例やその精度を確かめた。本節では， コード生成 $\mathrm{AI}$ モデル構築の流れとその結果につい表 2 実験に使用したデータセット

てまとめる.

## 4.1 データセットと前処理

我々は 3 種類の人手で作成した NL-code 対訳コー パスを用意し，そのうちの 2 種類に対して NL-code 対訳コーパス向け $\mathrm{DA}$ 手法を適用した. 表 2 は，実験で使用した NL-code 対訳コーパスをまとめたも のである. Euler ${ }^{11}$ は， "Project Euler4" の問題を解く ための Python コードに対し, 人手で日本語対訳が 付与された, Web 上で公開されているデータセット である [9]. AOJ と DS は，コード生成 AI モデルの 学習にあたり, 我々が人手で作成した NL-code 対訳 コーパスである. AOJ は， Aizu Online Judge ${ }^{2}$ に提出 された Python コードのうち，成績上位 100 人の公開コードを全て収集し，expression 単位のコード片 に対して日本語訳を付与したデータセットである。 DS は，データサイエンスに関するテキスト教材か ら，pandas や matplotlib などデータ分析でよく使用 されるライブラリの APIを採取し，人手で対訳を付与したデータセットである. AOJ-DA と DS-DA は， AOJ，DS に対してアノテーションやDA 記法を加 え，Multiese によってデータセット数を増強したも のである.

コード生成 $\mathrm{AI}$ モデル学習前には, トークナイズ と，変数名・リテラルの特殊トークン化への置き換 えを前処理として行った，トークナイザは，日本語 には Janome を使用し, Python コードはカッコやピ リオドなどの記号の前後に空白を挿入した.

## 4.2 コード生成 AI モデルの学習

コード生成 $\mathrm{AI}$ モデルの学習には, Transformer を 使用した. Transformer の各種パラメータは，エン コーダとデコーダの層数をそれぞれ 6 ， ヘッド数を 8，バッチサイズを 128 ，単語エンベッディング次元数と隠れ層次元数をそれぞれ 512 とした. また，損失関数にはクロスエントロピー，オプティマイザに

表 3 コードの生成例

 & $\langle A\rangle=\operatorname{int}($ input ()$)$ & sorted ( $\langle A\rangle$, input ( )) & $x$ \\

は Adam を使用した. 学習回数は, 検証用データの 損失值が最小となった時点で打ち切りとした.

## 4.3 実験結果 (1)：コードの生成例

表 3 は，ホールドアウト法で作成したテストデー タの入力文とその正解コード，コード生成 AI モデ ルによって生成されたコード，それに対する正誤を まとめたものである. はじめに，入力文の自然言語表現を確認すると，AOJ-DA，DS-DA 共に，Multiese によって自然な文章を合成できたことが確認でき る. 次に, 正解コードと生成コードを比べると, DA 適用前の NL-code 対訳コーパスを使用した場合の 生成コードは，API名や構文が間違っているものが 多く含まれる。一方, AOJ-DA や DS-DAを使用した 場合の生成コードは，AOJ やDS と比べると間違い も少なく, 様々な種類の Python 構文の生成を害現 した.

## 4.4 実験結果 (2) : コードの正解率

表 4 はコード生成 AI モデルから生成されたコー ドの BLEU スコアと正解率をまとめたものである.正解率は，コード生成 $\mathrm{AI}$ モデルから生成された コードと正解コードを比較し，構文的にも解釈的 にも正しいコードを人手によって検証し, その比率を示している. テストデータが多い場合は， サ ンプリングによる統計的解析を行っている. AOJ と AOJ-DA, DS と DS-DAを比較すると, Multiese に よって増強した NL-code 対訳コーパスを使用するこ とで，高い精度のコード生成 AI モデルの構築を実現できたことが確認できる.

## 5 関連研究

Data Augmentation は，深層学習モデルの精度向上 に向けて，学習データを水増しする手法である．DA は, 元々画像処理の分野で研究されてきた手法で あったが $[10,11]$, 近年では, 自然言語処理や音声処理などの様々な分野でも取り入れられている [12].表 4 生成されたコードの正解率

自然言語処理における DA 手法の先行研究とし て，低頻度語や，対訳コーパスのソース文とター ゲット文の両方に含まれる語彙を，別の単語で置き 換える手法が提案されている. 我々の提案手法の特色は，DA 手法をソースコードに対して適用した点 と，自然言語表現を多様化するためのルールベース の DA 記法を取り入れた点である. 我々の手法は， ソースコードの木構造に変換可能な点を活かした新 たなアプローチであるといえる.

## 6 むすびに

本研究では，NL-code 対訳コーパスの不足を解消 すべく，自然言語とソースコード間の対訳コーパス 向けの Data Augmentation (DA) 手法を提案した. 提案手法を用いることで，人手で作成した NL-code 対訳コーパスのデータ数を 177 ペアから 14,721 ペア までに増強させた。また，増強された NL-code 対訳 コーパスを用いることで，高い精度のコード生成 AI モデルの構築を実現した.

今後は，大きく分けて二つの課題に取り組んでい きたいと考えている。一つ目は，DA 記法を必要と しない DA 処理の実現である．類義語などの定義が 必要となる部分を，自動で置換可能なアーキテク チャを目指す. 二つ目は，ソースコードの構文の多様化である. 現状では, 最初に与えた expression 単位のコーパスとアノテーション記法に依存している ため，考えられるソースコードの記述パターンに対応しきれない。自然言語記述とソースコード両方を 拡張可能な新たな手法を探究していきたい.

## 参考文献

[1] 秋信有花, 梶浦照乃, 小原百々雅, 倉光君郎. 自然言語 を用いたコーディング支援の実現に向けたニュー ラル機械翻訳ベースのコード生成. 情報処理学会第 136 回プログラミング研究発表会 (PRO136), 2021.

[2] Yuka Akinobu, Momoka Obara, Teruno Kajiura, Shiho Takano, Miyu Tamura, Mayu Tomioka, and Kimio Kuramitsu. Is neural machine translation approach accurate enough for coding assistance? In Proceedings of the 1st ACM SIGPLAN International Workshop on Beyond Code: No Code, BCNC 2021, p. 23-28, New York, NY, USA, 2021. Association for Computing Machinery.

[3] Antonio Valerio Miceli Barone and Rico Sennrich. A parallel corpus of python functions and documentation strings for automated code documentation and code generation. In Proceedings of the Eighth International Joint Conference on Natural Language Processing (Volume 2: Short Papers), pp. 314-319, Taipei, Taiwan, November 2017. Asian Federation of Natural Language Processing.

[4] Mark Chen, Jerry Tworek, Heewoo Jun, Qiming Yuan, Henrique Ponde de Oliveira Pinto, Jared Kaplan, Harri Edwards, Yuri Burda, Nicholas Joseph, Greg Brockman, Alex Ray, Raul Puri, Gretchen Krueger, Michael Petrov, Heidy Khlaaf, Girish Sastry, Pamela Mishkin, Brooke Chan, Scott Gray, Nick Ryder, Mikhail Pavlov, Alethea Power, Lukasz Kaiser, Mohammad Bavarian, Clemens Winter, Philippe Tillet, Felipe Petroski Such, Dave Cummings, Matthias Plappert, Fotios Chantzis, Elizabeth Barnes, Ariel Herbert-Voss, William Hebgen Guss, Alex Nichol, Alex Paino, Nikolas Tezak, Jie Tang, Igor Babuschkin, Suchir Balaji, Shantanu Jain, William Saunders, Christopher Hesse, Andrew N. Carr, Jan Leike, Josh Achiam, Vedant Misra, Evan Morikawa, Alec Radford, Matthew Knight, Miles Brundage, Mira Murati, Katie Mayer, Peter Welinder, Bob McGrew, Dario Amodei, Sam McCandlish, Ilya Sutskever, and Wojciech Zaremba. Evaluating large language models trained on code. 2021.

[5] Luis Perez, Lizi Ottens, and Sudharshan Viswanathan. Automatic code generation using pre-trained language models. arXiv preprint arXiv:2102.10535, 2021.

[6] Zeyu Sun, Qihao Zhu, Yingfei Xiong, Yican Sun, Lili Mou, and Lu Zhang. TreeGen: A tree-based transformer architecture for code generation. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 34, pp. 89848991, 042020.

[7] Bryan Ford. Parsing expression grammars: A recognitionbased syntactic foundation. In Proceedings of the 31st ACM SIGPLAN-SIGACT Symposium on Principles of Programming Languages, POPL '04, pp. 111-122, New York, NY, USA, 2004. ACM.

[8] Kuramitsulab/pegtree: A peg parser generator with tree annotation. https://github.com/KuramitsuLab/ pegtree. (Accessed on 01/09/2021).

[9] Hiroyuki Fudaba, Yusuke Oda, Koichi Akabe, Graham Neubig, Hideaki Hata, Sakriani Sakti, Tomoki Toda, and Satoshi Nakamura. Pseudogen: A tool to automatically generate pseudo-code from source code. In
2015 30th IEEE/ACM International Conference on Automated Software Engineering (ASE), pp. 824-829. IEEE, 2015.

[10] Connor Shorten and Taghi M Khoshgoftaar. A survey on image data augmentation for deep learning. Journal of Big Data, Vol. 6, No. 1, pp. 1-48, 2019.

[11] Agelos Kratimenos, Kleanthis Avramidis, Christos Garoufis, Athanasia Zlatintsi, and Petros Maragos. Augmentation methods on monophonic audio for instrument classification in polyphonic music. In 2020 28th European Signal Processing Conference (EUSIPCO), pp. 156-160. IEEE, 2021.

[12] Steven Y Feng, Varun Gangal, Jason Wei, Sarath Chandar, Soroush Vosoughi, Teruko Mitamura, and Eduard Hovy. A survey of data augmentation approaches for nlp. arXiv preprint arXiv:2105.03075, 2021.


# 論文要旨を捉えたスライド生成における 割り当て問題の適用

久保谷 善記 ${ }^{1}$ 品川政太朗 ${ }^{2}$ 山本晋太郎 $^{1}$ 鈴木亮太 $^{3}$ 森島繁生 ${ }^{4}$
1 早稲田大学 2 奈良先端科学技術大学院大学
3 産業技術総合研究所 4 早稲田大学理工学術院総合研究所
yoshikikubotani@akane.waseda.jp sei.shinagawa@is.naist.jp
s.yamamoto@fuji.waseda.jp ryota.suzuki@aist.go.jp shigeo@waseda.jp

## 概要

論文の要点を自身の目的に合わせてプレゼンテー ションスライドにまとめることは，情報の発信や共有といった観点から重要性を増してきているが，試行錯誤を求められ労力がかかる問題がある. そこで 本研究では， スライド作成者が，タイトルを指定す ることで，インタラクティブに論文からスライドテ キストを作成できるシステムの実現を目指す。本シ ステムは，与えられたスライドタイトルから論文の 本文を検索して抽出するモジュールと，検索した文章を端的に要約するモジュールで構成される.こ のような要件を満たす既存手法である Document to Slide (D2S) と比べて, 提案手法では検索文のスライ ドへの割り当てを考慮することで，スライド間での テキストの内容の重複を抑えることに成功した。

## 1 はじめに

要点をまとめて情報発信を行う道具として，プレ ゼンテーションスライド（スライド）と呼ばれる紙芝居形式の資料を作成することが日常的に行われ てきている. 例えば，学会などの研究集会の場で は，研究者は自身の研究成果を発表するために，論文を提出するだけでなく，スライドを用いた口頭発表により研究の要点を伝えることが求められる. ま た，学問分野全体において論文の数が増え続けてお り [1]，論文の著者ではない人々が，論文の要点をス ライドにまとめ, 勉強会の場や Web 上で発信するこ とで，効率的に知見を共有し合うといったことが行 われてきている。近年では, Qiita ${ }^{1)}$ のスライド機能 や, SlideShare ${ }^{2)}$ といった Web 上での共有プラット フォームが充実しており，誰でも手軽にスライドに

1) https://qiita.com/

2) https://www.slideshare.net/
よる知識共有ができるようになってきている.

しかし，論文などの技術的文書のスライド作成 は，経験と技能が求められる，具体的には，発信者 （スライド作成者）がどのような選考・目的を持っ て論文の情報を発信するのか，口頭発表による説明 を前提とするか否か，発表時間やスライドのページ 数に制限があるかどうか，想定する読者・聴衆はど の程度その論文についての前提知識を持つか，など の条件を考慮する必要がある. これらはスライド作成に慣れていない初心者には難しい作業であり，経験を積んだ熟達者でも，一度大枠を作成した上で前述の条件を参照して微調整を繰り返したり，時には 条件自体を修正して作り直すといったことを行う. つまり，スライド化の作業は少なくない労力をかけ て試行錯誤を繰り返す必要のある作業だと言える。

本研究では，このようなスライド作成の難点を低減する方法として，論文をスライド化したいスライ ド作成者が，目的に合わせてスライドのタイトルや キーワードのみを設定するだけで，それらの条件に 沿って半自動で論文をスライド化するインタラク ティブなシステムを提案する．本システムの最終的 な目標は，スライド作成者がこのシステムを使うこ とによって，論文をどのようにスライド化するか手軽に試行錯誤しながらたたき台を作成できるように なることである.

このようなインタラクティブなスライド生成シス テムに求められる要件には，(1)スライドに記載され るテキストが，スライド作成者によって指定された タイトルに沿っていること，(2)そのテキストが端的 にまとまっていること, (3)内容の重複が必要以上に 起こっていないこと，の三つが挙げられる．論文の 図や文章のスライドへの配置の仕方も最終的には考慮すべき重要な課題であるが，たたき台として大ま

かな構成を決めるための試行錯誤の段階では考慮し なくとも大きな影響が無いと考え, 本研究ではテキ ストのみに着目する。

スライドのタイトルに沿ったテキストを生成す るためには，タイトルと論文本文の内容の相関を適切に測りとり, 関連する文章のみを論文から抽出す る検索器が必要である. また, 端的にまとまったテ キストを生成するには原文の重要な情報をとらえ つつ冗長な部分を排除する要約モデルが求められ る. スライドタイトルに相関のある文章を論文か ら抽出し, 要約したテキストを生成する手法とし て Document to Slide (D2S) [2] が提案されているが， ページ間で過分に検索文が重複されてしまうという 問題があり, 本研究の要求である, 必要以上に内容 の重複がないことを満たせない. そこで，本研究で はページ間の内容の重複を解消しつつ要約スライド を生成する手法を提案する。本研究では検索部分で 新たに組合せ最適化の割り当て問題を解くことで，異なるスライド間で内容が被らないようにスライド を生成できることを示す.

## 2 関連研究

プレゼンテーションを自動で生成しようとする 研究は 2000 年ごろから存在する. 初期のスライド 生成の研究では, 文章の形態素に着目してテキスト からスライド用の箇条書きテキストを生成する研究 [3] や，指定したトピックで Web サイトを検索し てルールベースでスライドテキストを作成する研究 [4] など，ヒューリスティックな設計に依存する モデルが主流であった. また，後年には論文からの スライド生成に対象を絞った研究 [5-7] も登場した. これらの研究では，主に回帰モデルを用いて論文内 の文章間の重要度をスコアリングし, 整数線形計画法（ILP）によってスコアが最大となるような文章 を抽出してスライドのテキストとしていた. 深層学習が主流となった近年では，文章の重要度を得るモ デルとして畳み込みニューラルネットワークやリカ レントニューラルネットワークを使用する研究 [8] が現れたほか, 系列データの相関を捉えることに長 けた self-attentionを用いた言語モデルを利用した研究 $[2,9]$ も存在する.

## 3 提案手法

はじめに，スライドタイトルに沿った内容を論文 から抽出し，それらを端的にまとめたテキストを

図 1: D2S の文埋め込みモデルの概要図

生成する，という目的のため本研究が参考にした Document to Slide (D2S) [2] を説明する.

D2S におけるスライド生成は，スライドページの タイトルをクエリとして論文内の関連する文章を検索する段階と，検索した文章をスライドに載せる上 で適切な長さに要約する段階の 2 段階に分かれてい る. 前半の文章検索の部分では，まずスライドのタ イトルとテキストを用いて文の埋め込み表現を獲得 する文埋め込みモデルを対照学習し, 推論時にはス ライドのタイトルと論文内の文章を入力して類似度 を計測する。この文埋め込みモデルには，学術的な 文書に特化して事前訓練を行なった SciBERT [10] を 採用し, 出力の CLS トークンを $\mathrm{FC}$ 層により 128 次元に圧縮することで埋め込み表現とした. 図 1 に文埋め込みモデルの概要を示す. その後, 各スライド タイトルごとに $\cos$ 類似度の値が高い文章上位 10 個を抽出し，検索結果とする．後半の要約では，検索された文章からスライドに載るテキストを生成で きるように BART [11]をファインチューニングして 使用する。

しかし，D2S の検索のように類似度の高いものを 常に 10 個取得する方法だと, 同じ文章が複数のス ライドタイトルと結び付けられてしまう可能性があ る.これは異なるスライドページで同じ内容が何度 も述べられることを意味しているため検索の仕方と して不適切である. 本研究ではこの検索部分に制約条件付きの割り当て問題を追加することで，スライ ドタイトルに関連する論文内の文章の重複を抑える
方法を提案する．この割り当て問題は，次のように 定式化する.

各スライドのタイトル $q_{i} \in \mathbb{Q}$ に対して，論文内の 文章 $s_{j} \in \delta$ を割り当てることを考える.このとき,前述の SciBERT を用いて，論文の各文・その文章の 属するセクションタイトル・スライドのタイトルの 分散表現 $E_{s}, E_{t}, E_{q}$ を作成する.

$
\begin{aligned}
E_{s} & =\operatorname{linear}_{s}\left(\operatorname{SciBERT}\left(s_{j}\right)\right) \\
E_{t} & =\operatorname{linear}_{s}\left(\operatorname{SciBERT}\left(t_{j}\right)\right) \\
E_{q} & =\operatorname{linear}_{q}\left(\operatorname{SciBERT}\left(q_{i}\right)\right)
\end{aligned}
$

ここで $t_{j}$ は, 論文内の文章 $s_{j}$ が属するセクショ ンのタイトルを表す. 式 (1)-(3)で計算した分散表現をもとに，スライドタイトルと論文の文章間の $\cos$ 類似度は $c_{i, j}$ は次式 (4)のように計算される。

$
c_{i, j}=\left(0.75 E_{s}+0.25 E_{t}\right) \cdot E_{q}
$

また，割り当てるか否かのバイナリ変数を $x_{i, j} \in\{0,1\}$ とすると, 最適化時の目的関数は以下の ように定義できる.

$
\sum_{j} \sum_{i} c_{i, j} x_{i, j}
$

この最適化問題の目的は，重複を抑えつつスライ ドタイトルに関連する論文内の文章を割り当てるこ とであるため，以下の二つの制約を加える。

$
\begin{array}{ll}
\sum_{i} x_{i, j} \leq N & \text { for } \forall j \\
\sum_{j} x_{i, j} \leq M & \text { for } \forall i
\end{array}
$

式 (6) の制約は一つの文章が 3 個以上のスライド に割り当てられないようにする制約，式 (7) の制約 は一つのスライドに割り当てられる文章の最大数を 10 個にする制約である. 本研究では $N=3, M=10$ として実験を行った。

## 4 実験設定

提案手法の有効性を確かめるため，2つの実験を 行った. 1つ目の実験は，指定されたスライドタイ トルから，論文中の関連する文章を検索して抽出す るモジュールの性能を評価するための実験である.各スライドタイトルにつき，上位 10 件の文章を検索する場合と, 割り当て問題を最適化した場合で抽出される文章とで比較した. 評価指標には, 既存手法と同様に逆ドキュメント頻度（IDF）によって重 み付けした ROUGE スコア [2] (付録 A)を用い, 論文表 1: 抽出結果の IDF 重み付け ROUGE スコア

表 2: 生成テキストの ROUGE スコア

内でキーワードとなる単語を抽出できているかどう かを確かめた。

2つ目の実験は, 両手法によって最終的に生成さ れるスライドの文章を評価することで，システム全体としての性能を評価するための実験である．実際 に両手法によって抽出された文章を用いて要約モ デルを訓練し, 生成されたテキストと人手で作ら れたスライドテキストとの類似度を ROUGE スコ アで比較した. また, 生成されたテキストの内容 の重複具合を調べるため, 事前訓練済みの Sentence BERT [12] を用いて, 生成されたスライドのテキス 卜同士の内容重複度を式 (8) で計算した。

$
\text { 内容重複度 }=\frac{1}{n} \sum_{i}^{n} \max _{\left(e_{j}^{(i)}, e_{k}^{(i)}\right) \in S_{i}, j \neq k} \cos \left(e_{j}^{(i)}, e_{k}^{(i)}\right)
$

内容重複度は，生成したスライド集合から算出す る. $i$ 番目の論文から生成したスライド集合 $S_{i}$ の全 てのテキストを Sentence BERT でベクトル化し，こ の中の 2 組のベクトル $\left(e_{j}^{(i)}, e_{k}^{(i)}\right)$ の中で, 最も $\cos$ 類似度が高い組合せを， $n$ 報の論文で平均する. 内容重複度は，0 に近いほどスライド間での内容の重複 が少なく, 1 に近いほど重複が多いことに対応する.

## 5 結果

論文中の文章検索モジュールの性能を評価した結果を表 1 に示す. 各スライドタイトルごとに $\cos$ 類似度が上位 10 件の文章を抽出する手法（D2S）で は, Recall が優位であった一方で, Precision では提案手法の割り当て問題最適化による抽出が優位で あった。

上位 10 件を抽出する場合に対して，割り当て問題最適化による Recall が下がったのは, 割り当て問題の適用によって, 論文のスニペット数の数が限ら
表 3: 提案手法により重複が抑えられた例（Ziqiang ら [13] の論文を使用）

## [ページ 2] “Seq2seq Summarization”というタイトルのスライドに対する結果

 &  \\

れている場合に，スライド数あたりに割り当たるス ニペット数が減少したためであると考えられる．実際に平均抽出数は D $2 \mathrm{~S}$ が 10 件であるのに対し，割 り当て問題最適化の場合は 8.5 件であった.

2 つ目の実験結果を表 2 に示す. ROUGE スコア による評価では，既存手法の方が人手のスライドテ キストの内容を再現できていたことがわかる. しか し，個々の生成文の結果を見ると，提案手法により スライド間での生成テキストの重複が削減できた ケースが確認できた。表 3 にその一例を示す. この 表では，ある論文のスライド 2 ページ（ページ 2 と ページ 4）に対して，既存手法と提案手法が生成し たテキスト，および実際に人手によって作成された テキストを比較している。ここで，システムが提案 するテキストが人手のスライドテキストの内容と一致する部分には，内容ごとに別色で色付けをしてい る。また，太字の部分はスライド間での内容の重複 を表している。

実際に，ページ 2 とページ 4 で上位 10 件の文章を 抽出した場合の生成結果を比べると，太字部分に明 らかな重複が見られる．結果として，既存手法では ページ 2，ページ 4 の両方で実際のスライドテキス 卜の内容を再生できていないことがわかる. 一方で 提案手法では，ページ２の結果には実際のスライド テキストと一致する内容は見られないものの，ペー表 4: 生成テキストの内容重複度

ジ 4 では高い精度で人手のスライドテキストの内容 を再生できていた。

また，両手法の内容重複度の平均値を表 4 に示 す. 提案手法は単語・フレーズ単位では人手のスラ イドテキストを既存手法に比べて再現できていない が，内容の重複を抑えることに成功していることが 分かる.

## 6 おわりに

本研究では，初心者経験者を問わず労力のかかる スライドテキストの生成を，論文から半自動的に行 うシステムを目指し，生成されたスライドの内容重複を抑える手法を提案した．実験では， $\cos$ 類似度 を用いたスコアリングをもとに割り当て問題の最適化を行うことで，重複の少ないスライドテキストの 生成することに成功した。一方で, ROUGE スコア による生成テキストの評価では既存手法にやや劣っ ており課題が残る. 今後の発展としては，抽出する 論文の文章の長さを情報量や文脈を考慮して調整す ることや，文章の重複ではなく内容の重複を排除す る検索手法を提案することが考えられる。

## 参考文献

[1] Lutz Bornmann and Rüdiger Mutz. Growth rates of modern science: A bibliometric analysis based on the number of publications and cited references. Journal of the Association for Information Science and Technology, Vol. 66, No. 11, pp. 2215-2222, 2015.

[2] Edward Sun, Yufang Hou, Dakuo Wang, Yunfeng Zhang, and Nancy X.R. Wang. D2S: Document-to-Slide Generation Via Query-Based Text Summarization. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, 2021.

[3] Tomohide Shibata and Sadao Kurohashi. Automatic Slide Generation Based on Discourse Structure Analysis. In International Conference on Natural Language Processing, Vol. 3651, pp. 754-766, 2005.

[4] Mostafa Shaikh, Mitsuru Ishizuka, and Md Tawhidul Islam. 'Auto-Presentation': a multi-agent system for building automatic multi-modal presentation of a topic from World Wide Web information. In IEEE/WIC/ACM International Conference on Intelligent Agent Technology, pp. 246-249, 2005.

[5] Yue Hu and Xiaojun Wan. PPSGen: Learning-Based Presentation Slides Generation for Academic Papers. Knowledge and Data Engineering, IEEE Transactions on, Vol. 27, pp. 1085-1097, 2015.

[6] A. Ashray Bhandare, Chetan J. Awati, and Sonam Kharade. Automatic era: Presentation slides from Academic paper. International Conference on Automatic Control and Dynamic Optimization Techniques, pp. 809-814, 2016.

[7] Sida Wang, Xiaojun Wan, and Shikang Du. Phrase-based presentation slides generation for academic papers. In Thirty-First AAAI Conference on Artificial Intelligence, pp. 196-202, 2017.

[8] Athar Sefid, Jian Wu, Prasenjit Mitra, and C. Lee Giles. Automatic Slide Generation for Scientific Papers. In SciKnow@K-CAP, 2019.

[9] Tsu-Jui Fu, William Yang Wang, Daniel McDuff, and Yale Song. DOC2PPT: Automatic Presentation Slides Generation from Scientific Documents. arXiv preprint arXiv:2101.11796, 2021.

[10] Iz Beltagy, Kyle Lo, and Arman Cohan. SciBERT: Pretrained Language Model for Scientific Text. In Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, pp. 3615-3620, 2019.

[11] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7871-7880, 2020.

[12] Nils Reimers and Iryna Gurevych. Making Monolingual Sentence Embeddings Multilingual using Knowledge Distillation. In Empirical Methods in Natural Language
Processing. Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing, 2020.

[13] Ziqiang Cao, Wenjie Li, Sujian Li, and Furu Wei. Retrieve, Rerank and Rewrite: Soft Template Based Neural Summarization. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics, 2018.

## A IDF 重み付け ROUGE スコア

4 で言及した，逆ドキュメント頻度（IDF）によっ て重み付けされた ROUGE スコアの計算式を追記し ておく. $\operatorname{idf}(w, D)$ をある単語 $w$ のドキュメント $D$ に対する IDF， $|D|$ を $D$ に含まれる文章の総数， $n_{w}$ を単語 $w$ が $D$ のうち何個の文章に含まれるかの回数とするとき，IDFにより重み付けされた ROUGE スコアは次式 (9)-(12) のように計算される.

$
\begin{aligned}
& \operatorname{idf}(w, D)=\log \left(\frac{|D|}{1+n_{w}}\right)+1 \\
& \operatorname{IDF}_{\text {Recall }}=\frac{\sum_{w \in T_{k}^{\text {slide }} \cap T_{l}^{\text {picked }}} \operatorname{idf}(w, D)}{\sum_{w \in T_{k}^{\text {slide }}} \operatorname{idf}(w, D)}
\end{aligned}
$

$
\begin{aligned}
& \mathrm{IDF}_{\text {F-measure }}=\frac{2 \cdot \mathrm{IDF}_{\text {Recall }} \cdot \mathrm{IDF}_{\text {Precision }}}{\mathrm{IDF}_{\text {Recall }}+\mathrm{IDF}_{\text {Precision }}}
\end{aligned}
$

ここで今回の設定では，ドキュメント $D$ は論文で ある.また， $T_{k}^{\text {slide }}$ は人手によって作成されたスライ ドのテキストに含まれる単語集合を， $T_{l}^{\text {picked }}$ は検索 モジュールによって抽出された論文の文章に含まれ る単語集合を表している。


# 自殺念慮防止のための心理カウンセリング補助システム開発に 向けた対話データの作成と前処理

二瀬颯斗 $\dagger$ 牧野晃平 $\dagger$ 石崎優人 櫻井昌佳
一般社団法人 ZIAI
\{hayato_futase, kohei_makino, yuto_ishizaki, masayoshi_sakurai\}aziai.jp

## 概要

先進国の中で日本における死因が自殺である割合 が高く，自殺を防止する取り組みが重要である。本研究では，人が自殺しょうとする思慮である自殺念慮を持たないように相談を受ける心理カウンセリン グに注目する．現状では一部の相談者しかカウンセ リングを受けられていないという問題を解決するた めに, AIチャットボットなどの補助システムの開発 を目指す.ここではその基盤として，心理カウンセ リングの対話データを匿名化し, 基礎的な解析を行 う。解析では相談者とカウンセラーの発話の特性を 確認するために発話中の単語の解析を行い，ハイリ スクな相談者の傾向を確認するために相談者の性別 などの属性との関係性を調査した。

## 1 序論

現代において自殺は社会問題の一つとなってお り，日本は先進国の中でも特に死因全体のうち自殺 が占める割合が高く，自殺を低減するための取り組 みは急務である [1]. 近年では，平成十八年に制定 された自殺対策基本法に基づいて対策が進み，学校 における自殺対策として自殺予防教育 [2] や金銭的 な困窮による対策 [3] など，多岐にわたる試みが行 われている $[4,5]$. このような試みの成果として自殺による死亡者数は減少しているが，令和二年度で は約 21,000 人が自殺で亡くなっており，依然として 先進国の中では自殺者数が多い.

このような中で，自然言語処理の観点ではSNSを 利用して自殺しそうなユーザを検出する試みが行わ れている $[6,7]$. これらの取り組みは明確な自殺念慮を持つ人を検出する問題設定であり，心理状態の 回復が難しくなるため, 自殺念慮が明確化する前の 処置として，心理カウンセリングが重要となる.

図 1 心理カウンセリング対話データの例

インターネットの利用が一般的になった現代で は，医療機関での受診が必要で，金銭的負担や心理的ハードルが高い対面のカウンセリングに対して，気軽に相談可能なオンラインでのチャット形式のカ ウンセリングにおける相談者が増加している．その ため，オンラインチャット方式では相談者が多いた めカウンセラーの数が足りておらず，カウンセリン グを受けられる相談者は相談申し込みをした人数の 半分以下しかいないという問題点がある. オンライ ンチャット方式では，深刻な場合だけでなく自殺に つながりうるような小さな悩み相談も受け付けてお り， 心理カウンセリングの受け血を増やすことで自殺に思い至る人自体の数自体の削減につながる.

本研究では，自然言語処理技術によって心理カウ ンセリングを補助するために，AIチャットボットや ハイリスクな相談者を検知するシステムなどを開発 することで，カウンセリングの受け皿を増やすこと を目標とし，その基盤として図 1 のような実際の心理カウンセリングの対話データの前処理・解析を行 う．前処理では，心理カウンセリングの対話データ という特性上，個人情報が多分に含まれるため，個
人を直接特定できるような情報を匿名化処理によっ てマスクする．また，解析では発話中の単語の分析 によって相談者とカウンセラーの発話の特徴を確認 した. さらに，相談者の性別などの属性がどのよう な傾向を持つか調査し, さらにハイリスクな相談者 がどのような属性を持ちやすいのかを解析する.

本研究の貢献は以下の点である.

・ 心理カウンセリング対話データに対して，正規表現と固有表現抽出器を用いて匿名化する部分 を特定し，匿名化を施した。

・ 心理カウンセリングの対話データの基礎的な解析として，発話中の単語を分析してカウンセ ラーと相談者の特徴を掴み，ハイリスクな相談者の傾向を性別などの相談者の属性で特徵づけ られることを確認した。

## 2 関連研究

自然言語処理による自殺予防のための取り組みと して，ツイートのような SNS の投稿から自殺するか どうか検知するような取り組みが行われており，近年では注目度が上がって, Twitter のユーザのうち実際に自殺や自殺未遂をした人のツイートを辿って自殺する人かどうかを検知するワークショップも開催 された [8]. 他にもツイートから自殺傾向を検出す るためのコーパスを構築する研究 $[6,7]$ は存在する が，自然言語処理分野では自殺念慮を予防するため の研究は行われていない。

## 3 心理カウンセリング対話データ

本研究では実際に悩みを抱えた相談者が心理カウ ンセラーに相談した際のデータを分析する。 データ は NPO 法人東京メンタルヘルス・スクエア1)によっ て運営されているSNS を利用した相談窓口である こころのほっとチャットで蓄積された対話を利用す る.こころのほっとチャットは毎日正午から 12 時間程度, LINE, Twitter, Facebook および専用のウェ ブチャットで相談を受け付けている。 カウンセラー は自殺念慮の高い相談者を手動で選択して，優先的 にカウンセリングを行う．カウンセラーは相談のた めに利用する情報として性別・年代・職業・相談回数・相談内容の事前記述を確認する。

データは 2018 年から 2021 年までの相談が蓄積さ れたもので，全てで 17,095 件の対話が含まれてい

1) https://www.npo-tms.or.jp/
る.それぞれの対話では，相談者とカウンセラーが 一対一のオンラインチャット形式で 50 分間発話交換を行う．対話中にカウンセラーは監督者に助言を 仰ぐことができる. 図 1 に示した対話データ2)のよ うに，カウンセラーが確認した相談者の ID・現在 までの合計相談回数・性別・年代・職業の属性，力 ウンセラーが対応する前に相談者によって入力さ れた相談内容, そして実際に相談した際の対話が含 まれ，全ての発話に対してタイムスタンプが付与さ れている. 更に，自殺しそうな可能性が高い人や公的機関への通報に至ったなど，ハイリスクな相談者 （ハイリスク者）に対しては相談を受けたカウンセ ラーによってラベル付けがされており，その理由も 同時に付与されている. 相談者の情報やラベル付け した理由など，選択肢があるフィールドが持ちうる 値は付録の表 3 に示した.

## 4 匿名化

図 1 のように，個人を特定し得る情報をUser] や [Province] のような特殊トークンに置き換える匿名化処理を行う. 具体的には，名化対象が発話に含ま れるかどうかを正規表現やヒューリスティクスに よって抽出し, 固有表現抽出器および正規表現に よって特定された文字列を特殊トークンに置換す る.ここでは個人情報の中でも，情報単体で個人を 特定可能な直接識別情報と複数の情報を利用するこ とで個人を識別できる間接識別情報のうち，直接識別情報を匿名化することに注力する．直接識別情報 と間接識別情報の内容と匿名化後の対話データの発話における特殊トークンを付録の表 4 に示す.

直接識別情報の匿名化は，SNS ID，住所，電話番号，郵便番号，メールアドレスは正規表現，相談者名はヒューリスティクス・正規表現・固有表現抽出器のすべてを用いて匿名化対象を特定する. 固有表現抽出器は自然言語処理ライブラリ GiNZA[9]のも のを利用した. 発話を特定するための正規表現は それぞれの匿名化対象ごとに作成した. SNS ID は，発話中に半角英数字が 6 文字以上かつ SNS の名称 （Facebook やフェイスブック）があるかを条件とし た. 住所や電話番号，郵便番号，メールアドレスは 形式が決まっているため，形式に当てはまるものを 正規表現で記述した.

発話中の相談者名の特定は，ランダムに抽出した

2）例は個人情報保護の観点から実際の対話を公開することは できないため，ダミーで作成したデータである.

図 2 相談者とカウンセラーの発話の単語長の度数分布

1,000 件の人手による対話の統計から得られた，以下の三つ知見を利用したアルゴリズムを用いる.

1. カウンセリングのはじめの発話 3 ターン以内に カウンセラーは相談者に呼び名を尋ねるケース が $69.9 \%$ である.

2. 相談者が相談者自身のカウンセリング上の名前 を含む発言を一度以下しかしないことがほとん どである.

3. 相談者のカウンセリング上の名前が SNS 上の 名前の一部と一致するケースが $54.1 \%$ あるる。

このアルゴリズムによる相談者名特定のカバレッジ は $87.7 \%$ であった.

## 5 解析

本節では基礎的な解析として，まず相談者とカウ ンセラーの発話の傾向をつかむために単語や trigram に着目した解析を行う．次に，相談者とハイリスク 者の傾向をつかむために，年齢などの属性ごとに統計をとり，傾向を確認する．最後に属性とハイリス ク者がタグ付けされた理由がどのような相関がある かを解析する。

## 5.1 対話の統計

心理カウンセリング対話データは 17,095 件の対話で構成され，675,777 件の発話が含まれる。一対話あたりの発話数は平均 39.5, 標準偏差 21.6, 最大值 331, 最小値 2 であった. 5-20 分程度で平均 42 発話の対面形式で行うカウンセリングと比較すると [10]，チャット形式は対話者はお互いの表情や身振 りなどテキスト以外の情報が分からないため，相談者やカウンセラーは比較的長い時間をかけて言葉を 選んでいるという特徴が確認できた。

次に相談者とカウンセラーの発話の違いを確表 11 対話あたりのハイリスク者とハイリスクでない 者の trigram の平均分析 ( $\mathrm{t}$-検定において，*は $\mathrm{p}$ 值 $<0.05$ と なった有意な値である)

認するために単語単位の解析を行う．分かち書き には日本語の形態素解析エンジン $\left.\mathrm{MeCab}^{3}\right)$ と辞書 mecab-ipadic-NEologd[11,12,13] を利用する。まず図 2 に示した 1 発話あたりの単語数の度数分布から,相談者はカウンセラーよりも比較的発話が短いこと が確認できる．一方で，カウンセラーは極端に単語数が少ない発話を避けていた. 実際の対話を人手で 確認すると，相談者は一言や短文の発話が多く，カ ウンセラーは話を聞いていることが伝わるように内容を確認していたり，伝わりやすいように詳しい内容を記述するような発話が確認できた。

次にハイリスク者の発話表現の傾向を見るため に，相談者の trigramをハイリスク者とそうではな い人で比較する。 ハイリスク者の対話 124 件と，そ れ以外から，trigram の辞書が十分大きくなり，八イ リスク者数とのスケールとトレードオフがとれる 数である 1,000 件をランダムにサンプルして利用し た. それぞれの trigram が全体の trigram の top-K 含まれる割合の平均を表 1 に示す. trigram の種類は 296,926 種類あり，top100の trigram のほとんどは文末表現や接続表現であった. top10 以内・top100 以内 trigram の割合と trigram の種類において，ハイリ スクでない者と比べるとハイリスク者が有意に高い ことが分かる. さらに top100 以内の trigram のカバ レッジの平均はハイリスク者とそうではない者そ れぞれ，24.22，29.92（p<0.01）となった.これらの ことから，ハイリスク者はハイリスクでない者より も，一般的な発話表現を用いず，語彙も少ないこと が確認できた。

## 5.2 相談者の統計

相談者全体とハイリスク者はどのような属性であ るかの傾向を統計値から確認する。属性ごとの度数 とハイリスク者の人数と全体のうちハイリスク者が 占める割合を表 2 に示した.「その他・答えたくな い」，というラべルは「その他」と短縮した。まず，性別に着目すると，女性の方が男性の約五倍もの相

表 2 相談者の属性ごとの度数とハイリスク者の人数 （HR）と割合

談者がいる一方で，ハイリスク者の割合は男性の方 が約二倍となっている. このことから女性の方が気軽に相談できており，男性は比較的悪化してからの 相談が多い傾向が読み取れる．年齢別では， $20 \sim 29$歳の SNS を頻繁に利用する層が最も相談が多く, 年齢が高くなるにつれて相談者数が減少する傾向が 確認できる。 ハイリスク者は学生が多い〜19才と 40～49 歳に多いことが確認できる. 職業別に見る と，～19才の相談者は学年に分けることができる.小学生は相談者数が少ない一方で中高生に比べて八 イリスク者の割合は高い.これは学年が上がるごと に相談窓口までたどり着く人数が増え, 気軽に相談 できていることを示唆している。自立した生活が始 まり人生における選択が多い大学生等や, 金銭的に 余裕が無くなりやすい仕事無しについてはハイリス ク者の割合が高く, これらの層では思い悩んで重篤化してからの相談が多いことを示唆している.

## 5.3 ハイリスク者の解析

次にハイリスク者とタグ付けされた理由と属性の 相関関係を確認する．性別および年齢に対する相関関係については付録の図 4,5 に，職業に対する相

図 3 職業とハイリスク者の理由の相関関係

関関係は図 3 に示した.まず小学生に着目すると,児相通報や虐待といった学童期に直面しやすい要因 が確認できる. 思春期に当たる中高学生は家出のよ うな行動だけでなく, 自殺リスクに発展している. また，学生は親子関係が密になりやすいため，虐待 のリスクにも発展している. 大学生等や仕事有りの ような自立することが求められる場合では自殺リス クが大部分を占めるようになる。仕事無しの場合で は，警察通報や心中念慮など重大な事案が確認でき る.このようなハイリスク者の傾向から，それぞれ の職業において相談内容に特徴があることを示唆 しており，この対話データを利用して AI チャット ボットなどの心理カウンセリング補助システムを開発するにあたって考慮する必要がある.

## 6 結論

本研究では，自殺防止の取り組みの一環として，根本的に自殺念慮自体を予防するために，心理カウ ンセリングの受け皿を増やすためのシステム開発 を目指す. その基盤として心理カウンセリング対話 データを個人情報保護のための匿名化を行い，基礎的な解析を行った. 解析では相談者とカウンセラー の発話の特徴と，相談者の属性ごとにハイリスクな 相談者がどのような傾向を持つかを確認した. 今後 はこの対話データを利用して，AIチャットボット やカウンセラーの業務を補助するシステムを開発 する。

## 謝辞

本研究で利用した心理カウンセリング対話データ

は NPO 法人東京メンタルヘルス・スクエアから提供していただいたものです. 担当していただいた温間隆志様および提供に携わっていただいた皆様に感謝申し上げます.

## 参考文献

[1] 厚生労働省 社会 - 援護局 総務課自殺対策推進室. 令和 2 年度我が国における自殺の概況及び自殺対策 の実施状況, 2021. 閲覧日：2022 年 1 月 9 日.

[2] 川島大輔. 学校での自殺予防教育の現状と今後の課題. 社会と倫理, Vol. 34, pp. 49-58, 2019.

[3] 竹島正. 自殺対策の経緯とこれから. 予防精神医学, Vol. 2, No. 1, pp. 40-47, 2017.

[4] 松本寿昭, 若林佳史, 小森田龍生, 小牧奈津子, 松山博光, 安田和子, 田所満理奈, 反町吉秀. 予防に向け た自殺の要因に関する研究. 人間生活文化研究, Vol. 2013, No. 23, pp. 198-202, 2013.

[5] 澤原光彦, 北村直也, 末光俊介, 青木省三. 若者の自殺予防 (<特集>現代の若者のメンタルヘルス). 心身医学, Vol. 55, No. 12, pp. 1353-1359, 2015.

[6] Bridianne O'Dea, Stephen Wan, Philip J. Batterham, Alison L. Calear, Cecile Paris, and Helen Christensen. Detecting suicidality on twitter. Internet Interventions, Vol. 2, No. 2, pp. 183-188, 2015.

[7] Atika Mbarek, Salma Jamoussi, Anis Charfi, and Abdelmajid Ben Hamadou. Suicidal profiles detection in twitter. In Proceedings of the 15th International Conference on Web Information Systems and Technologies, WEBIST 2019, p. 289-296, Setubal, PRT, 2019. SCITEPRESS Science and Technology Publications, Lda.

[8] Sean MacAvaney, Anjali Mittu, Glen Coppersmith, Jeff Leintz, and Philip Resnik. Community-level research on suicidality prediction in a secure environment: Overview of the CLPsych 2021 shared task. In Proceedings of the Seventh Workshop on Computational Linguistics and Clinical Psychology: Improving Access, pp. 70-80, Online, June 2021. Association for Computational Linguistics.

[9] 松田寛. Ginza - universal dependencies による実用的日本語解析. 自然言語処理, Vol. 27, No. 3, pp. 695-701, 2020.

[10] Verónica Pérez-Rosas, Xinyi Wu, Kenneth Resnicow, and Rada Mihalcea. What makes a good counselor? learning to distinguish between high-quality and low-quality counseling conversations. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 926-935, 2019.

[11] Sato Toshinori. Neologism dictionary based on the language resources on the web for mecab, 2015.

[12] Taiichi Hashimoto Toshinori Sato and Manabu Okumura. Operation of a word segmentation dictionary generation system called neologd (in japanese). In Information Processing Society of Japan, Special Interest Group on
Natural Language Processing (IPSJ-SIGNL), pp. NL229-15. Information Processing Society of Japan, 2016.

[13] Taiichi Hashimoto Toshinori Sato and Manabu Okumura. Implementation of a word segmentation dictionary called mecab-ipadic-neologd and study on how to use it effectively for information retrieval (in japanese). In Proceedings of the Twenty-three Annual Meeting of the Association for Natural Language Processing, pp. NLP2017B6-1. The Association for Natural Language Processing, 2017.

## 付録

心理カウンセリング対話データにおける相談者の 属性とハイリスクとしてタグ付けされた理由が取り うる値を表 3 に，匿名化の対象とした語句の詳細を 表 4 に示した.

図 4 に示した性別とハイリスク者の理由の相関関係では，相談者数が多い女性の方が多岐にわたる理由でハイリスク者としてタグ付けされているが，共通している理由の部分に関してはあまり傾向に差異 が見られなかった. 図 5 の年齢とハイリスク者の理由を比べた場合については, 学生の割合が多い〜 19 才については職業別の学生を集約したような形に なっている. 相談者が多い 20〜29 歳が最もハイリ スクな相談者が多い一方で， $30 \sim 39$ 歳，40４9 歳 においては相談者数が減少しているにもかかわら ずあまりハイリスクな相談者が変わっていない. ま た，40４9歳においては心中念慮を持つ人がおり，家族単位で困窮してしまう様子が確認できる。

表 3 対話データ中のフィールドの選択肢

 \\

表 4 匿名化対象とその特殊トークン

図 4 性別とハイリスク者の理由の相関関係