# BPersona-chat:
A Coherence-Filtered Japanese-English Dialogue Corpus

Yunmeng Li $^{1}$ Jun Suzuki ${ }^{1,3}$ Makoto Morishita ${ }^{2,1}$ Kaori Abe ${ }^{1}$
Ryoko Tokuhisa ${ }^{1}$ Ana Brassard ${ }^{3,1}$ Kentaro Inui $^{1,3}$
${ }^{1}$ Tohoku University ${ }^{2}$ NTT ${ }^{3}$ Riken AIP
li.yunmeng.r1@dc.tohoku.ac.jp
}

\begin{abstract}
Researchers have focused on translating casual texts such as chats in different forms from formal texts in recent years. We strive to improve the accuracy of chat translation while obtaining smooth and natural translations; however, the parallel corpora used for chat translation models are still very limited. In this research, we translated the existing monolingual dialogue corpora, Persona-chat and JPersona-chat, to construct a Japanese-English dialogue corpus named BPersona-chat. To ensure the quality of the corpus, we filter out incoherent dialogues from the Persona-chat dataset via crowdsourcing. Finally, we applied BPersona-chat to classifiers that can judge whether a pair of chats is accurate and natural for evaluations.
\end{abstract
## 1 Introduction

With the development of natural language processing technology, machine translation models have gained sound performances in translating official documents such as news, academic papers, and legal files for languages with abundant resources. In recent years, researchers have turned their attention to translating colloquial dialogues with the existing methods for document translation. However, it has been pointed out that the sentence-level system and the document-level system are not entirely qualified for translating chats due to the unique characteristics of chats such as multi-speakers or information omitted [1,2]. Considering the differences between documents and dialogues, when translating chats, we also have to pay attention to the coherence of dialogues in addition to the correctness of words and grammar. Hence, we need to evaluate chat translation based not only on the traditional BLEU [3] score but also on the coherence and consistency in the flow of chats. Consequently, we built classifiers to evaluate the transla-

Figure 1 An example of evaluating a bilingual chat. The classifier is predicting the type of $2 \mathrm{~A}$ referring to $1 \mathrm{~A}, 1 \mathrm{~B}$ and $2 \mathrm{~B}$.

tion of chats to improve the performance of chat translation in our previous research [4].

In the previous research, we trained Japanese-English classification models to evaluate whether the translated response is accurate and coherent with respect to the chat flow. Figure 1 shows the system for translating and evaluating the translated response between two speakers using English and Japanese. In this system, 1B is the translation of $1 \mathrm{~A}$ provided by a human, and $2 \mathrm{~A}$ is the translation of $2 \mathrm{~B}$ provided by a human or generated by a machine translation model. The classifier can predict the type of $2 \mathrm{~A}$ with the reference data $1 \mathrm{~A}, 1 \mathrm{~B}$, and $2 \mathrm{~B}$, which are from the parallel corpus.

To test the performance of our classifiers, we first applied the in-domain test data from OpenSubtitles2018 [5, 6]. Nevertheless, the classifiers did not show strong agreement when predicting the human-translated data. Considering the quality and characteristics of OpenSubtitles2018, we decided to apply out-of-domain test data to check the performance of the classifiers.

Unfortunately, parallel corpora capable of chat translation are very limited. In particular, parallel corpora containing chats, such as OpenSubtitles, also contains numerous other types of data that are not suitable for evaluating chat translation. There are topical question-and-answer dialogue parallel corpora from past research, including data
with specific scenes and topics. Nevertheless, the topic of the dialogue is too strong to fit in our precondition of casual conversations. Therefore, to achieve our purpose, we decided to build a parallel dialogue corpus for evaluation in this research.

In order to solve this problem, we translated the existing monolingual corpus into bilingual to build a Japanese-English parallel dialogue corpus, named BPersona-chat. Since Persona-chat has noises, we selected understandable and coherent dialogues from the monolingual dataset through crowdsourcing for chat translation to ensure the quality.

To test the performance, we applied the BPersona-chat data to the classifiers. As a result, most human-translated data can be correctly recognized as coherent translations by the classifiers. The total accuracy is at most $95.57 \%$, which is $12.65 \%$ higher than the highest accuracy from our previous results. The accuracy of the human-translated dialogue is at most $97.17 \%$. These results show the performance and generality of our built classifiers. At the same time, they also show the correctness and coherence of the parallel data we built.

## 2 Related Work

To build an ideal parallel dialogue corpus containing high-quality chats, we surveyed existing dialogue corpora. We listed the existing corpora with a focus on their topics, domains, and languages.

BConTrasT and BMELD In the chat translation task of WMT2020 ${ }^{1}$ [1], the organizers provided participants with an English-German parallel corpus, BConTrasT, containing the dialogue data only. The corpus is based on the Taskmaster-1 corpus [7], originally monolingual English language. It includes task-based dialogues in six domains, for example, ordering the pizza or making reservations. The organizers selected a subset of this dataset and translated it into German at the AI-powered Human-refined translation company, Unbabel $2^{2)}$.

Similar to BConTrasT, the BMELD dataset [2] is based on the English dialogue dataset in the MELD [8]. The authors crawled the corresponding Chinese translations from MELD and then manually post-edited them according to the dialogue history of the native Chinese speakers.

Table 1 An example of an incoherent chat from Persona-chat [10].

Business Scene Dialogue Corpus The Business Scene Dialogue (BSD) [9] corpus is a Japanese-English business conversation corpus that includes half of the monolingual scenarios initially written in Japanese and the other half written initially in English.

Persona-chat and JPersona-chat The Persona-chat dataset [10] contains multi-turn dialogues conditioned on personas. Each dialogue was performed between two crowdsourcing workers assuming artificial personas. The persona given to each worker is described by three to five profile sentences, such as "I like to ski," "I am an artist," "I eat sardines for breakfast daily."

Similarly, the JPersona-chat dataset [11], which includes multi-turn conditioned on given personas. is collected in Japanese.

In existing parallel dialogue corpora, dialogue data in BConTrasT and BSD occurred in a specific topic scene, such as meal ordering or business negotiation. We found that some dialogues were similar in Q\&A format or formal texts that did not meet our standard casual conversations. However, the need for casual conversation data in BMELD is mainly in Chinese, therefore unsuitable for the models we trained in previous research [4]. For our motivation, we believe that Persona-chat and JPersona-chat are the most appropriate to build new Japanese-English parallel dialogue corpora. Note that dialogues in both corpora do not have a set topic context despite having a set personality premise. Most of these speakers discussed a given personality trait, including but not limited to self-introduction, hobby, and others.

## 3 Methods and Experiments

## 3.1 Crowdsourcing

We found that Persona-chat contains low-quality conversational data when we manually checked them. These
data have incoherent parts of dialogues, unnatural change of topics, misunderstandings in the foreword, leading to an inability to continue chatting. Table 1 shows an example of incoherent chat from Persona-chat. The noise will significantly impact our results since we want to construct a dialogue database that features a natural and smooth chat with translations. Hence, we prioritized rating Personachat data with crowdsourcing.

We expected to eliminate incoherent or unnatural conversations when rating the Persona-chat data for subsequent translation work finally. However, it is hard to define "incoherence" clearly due to the complexity of the dialogue. In this research, we opted to focus on the overall dialogue from macro vision instead of treating a tiny error as incoherent. We assumed that if there are incongruent connections that influence dialogue comprehension, dialogue is incoherent. To make the crowdsourcing task easier to understand, we informed the workers with the following rules:

We defined "not meshing well (incoherent)" as
- questions are ignored,
- there are unnatural topic changes,
- one is not addressing what the other said,
- responses seem out of order,
- or is hard to follow in general.

Minor issues (grammar or spelling errors) are acceptable when they do not affect chat flow.

Based on these criteria, we invited crowdsourcing workers to label incoherent chats. We chose Amazon Mechanical Turk as our platform for crowdsourcing. As the Persona-chat we wanted to filter is in English, we set the basic qualification types to confirm that they were native English speakers or had adequate English proficiency, living in an English environment for prolonged periods. Since dialogues are ambiguous and the benchmark rules of this experiment are subjective, we first performed a qualification round before conducting a full round of experiments. We excluded some workers whose criteria were outliers by comparing workers' scores. We also ensured that workers entering the full round had positive and effective feedback using the control question. In the full round, we selected 1,500 dialogue datasets from Persona-chat. For each crowdsourcing task, we gave five chats to ten workers. If a worker marks a chat as not-meshing, it is recorded as one point of negative comments; otherwise, it is recorded as one point of positive comments. Finally, we selected high-quality dialogue data from the top 200 conversations with the highest positive ratings. These 200 conversations were marked as good by at least seven of the ten workers.

## 3.2 Translating

We obtained the top-ranked 200 chats considered natural and smooth by crowdsourcing workers from the 1,500 dialogues of Persona-chat.

The top 200 chats are coherent with easy-to-follow flows compared to those rated less. Table 2 shows one of the top 200 chats that were rated higher by crowdsourcing workers and translated by professional translators afterward. For constructing the Japanese-English bilingual corpus, we translated 200 chats from Persona-chat and 250 chats from JPersona-chat. We commissioned professional translators who are proficient in both Japanese and English to ensure the quality of the translation. To ensure that translators could take into account the correctness of translation and the coherence of dialogue, we put the following precautions for translators.

First, we asked translators to translate the chats based on the personas (profile sentences) to ensure the tone and role preference was similar to the original utterances. Secondly, considering the characteristics of the Japanese language, we allowed translators to modify the translated dialogue in English to keep it remain fluent and natural. For example, they could append subjects and phrases, or change the tone of sentences, as shown in Table 3. Finally, we requested translators to avoid translationese. Translators could choose appropriate English words instead of direct transliteration when encountering specific Japanese words. For example, “サラサラした髮” can be translated as "smooth hair". Same for translation from English to Japanese. As a result, we obtain a parallel corpus with 450 dialogues, named BPersona-chat. In total, there are 5,708 utterances.

## 4 Results and Analysis

In the previous research, when applying classifiers on the test data extracting from OpenSubtitles2018, the classifiers could not correctly predict $2 \mathrm{~A}$ that were taken from the corpus, which were supposed to be translated by human translators [4]. We consider the behavior is possibly related to the low quality of OpenSubtitles2018. Accord-

Table 2 An example of the top 200 coherent chat from Persona-chat, rated by crowdsourcing workers.

Table 3 An example of adding sentences and changing tones when translating the original Japanese dialogue to English.

Table 4 Accuracy of classifiers on predicting whether $2 \mathrm{~A}$ is model-translated or human-translated with two datasets.

ing to our previous research, data from OpenSubtitles2018 might contain utterances in one pair that is not a chat but a speech; there might be just a single speaker instead of two speakers or multiple speakers. In addition, the utterances may not initially be in Japanese or English. This is because the OpenSubtitles2018 is a corpus of multi-lingual movie subtitles. Data in OpenSubtitles2018 does not have to come from English movies or Japanese movies. Furthermore, the subtitles are collected using the OpenSubtitles website ${ }^{3)}$, which means the subtitles do not have to be translated by professional translators. Considering the above reasons, the low quality of OpenSubtitles2018 may influence the test results.

Regarding the quality and contents of OpenSubtitles2018, we applied BPersona-chat to the classifiers to confirm the performance. As the classifiers can only predict a pair of utterances instead of the full dialogue, we split each dialogue into 5, 229 pairs of two utterances.

The prediction results on BPersona-chat are shown in Table 4. Compared to the highest accuracy $82.92 \%$ in the previous research, the highest accuracy with BPersonachat is $95.57 \%$, which is $12.65 \%$ higher.

With respect to the accuracy for the human-translated label, the highest accuracy with BPersona-chat (97.17\%) significantly outperformed that with OpenSubtitles 2018 $(72.77 \%)$. Also, the highest accuracy for model-translated label with BPersona-chat (95.70\%) has slightly higher accuracy than that with OpenSubtitles2018 (93.38\%).

Overall, BPersona-chat can be used for evaluating Japanese-English chat translation systems as out-ofdomain data. The classifiers we have created before can gain good results with BPersona-chat on predicting the human-translated chats.

## 5 Conclusion and Future Work

In conclusion, we built a Japanese-English parallel dialogue corpus, BPersona-chat. The BPersona-chat is translated by professional translators based on Persona-chat and JPersona-chat. Compared to task-oriented dialogue datasets, such as BConTrast and Business Scene Dialogue, the BPersona-chat is a chit-chat dialogue corpus containing colloquial chats in Japanese and English. To ensure the chats from Persona-chat are high-quality casual chats, we evaluated 1,500 chats from it and picked the top 200 chats via crowdsourcing. Finally, we applied the data to the classifiers we had built before. Compared to our previous results, we gained a significant improvement on predicting the human-translated data with BPersona-chat.

## Acknowledgements

This work was supported by JSPS KAKENHI Grant Number JP19H04425 and JP20J21694.

## References

[1] M. Amin Farajian, António V. Lopes, André F. T. Martins, Sameen Maruf, and Gholamreza Haffari. Findings of the WMT 2020 shared task on chat translation. In Proceedings of the Fifth Conference on Machine Translation, pp. 65-75, 2020.

[2] Yunlong Liang, Fandong Meng, Yufeng Chen, Jinan Xu, and Jie Zhou. Modeling bilingual conversational characteristics for neural chat translation, 2021.

[3] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[4] Yunmeng Li, Ryo Fujii, Makoto Morishita, Jun Suzuki, and Inui Kentaro. Towards detecting errors: Classifying model-generated output in chat translation. In Proceedings of NLP2021, pp. A3-4, 2021.

[5] Pierre Lison and Jörg Tiedemann. OpenSubtitles2016: Extracting large parallel corpora from movie and TV subtitles. In Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC'16), pp. 923-929, 2016.

[6] Pierre Lison, Jörg Tiedemann, and Milen Kouylekov. OpenSubtitles2018: Statistical rescoring of sentence alignments in large, noisy parallel corpora. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), pp. 1742-1748, 2018.

[7] Bill Byrne, Karthik Krishnamoorthi, Chinnadhurai Sankar, Arvind Neelakantan, Daniel Duckworth, Semih Yavuz, Ben Goodrich, Amit Dubey, Andy Cedilnik, and Kyu-Young Kim. Taskmaster-1: Toward a realistic and diverse dialog dataset, 2019.

[8] Soujanya Poria, Devamanyu Hazarika, Navonil Majumder, Gautam Naik, Erik Cambria, and Rada Mihalcea. Meld: A multimodal multi-party dataset for emotion recognition in conversations, 2019.

[9] Mat̄̄ss Rikters, Ryokan Ri, Tong Li, and Toshiaki Nakazawa. Designing the business conversation corpus. In Proceedings of the 6th Workshop on Asian Translation, pp. 54-61, Hong Kong, China, November 2019. Association for Computational Linguistics.

[10] Saizheng Zhang, Emily Dinan, Jack Urbanek, Arthur Szlam, Douwe Kiela, and Jason Weston. Personalizing dialogue agents: I have a dog, do you have pets too?, 2018.

[11] Hiroaki Sugiyama, Masahiro Mizukami, Tsunehiro Arimoto, Hiromi Narimatsu, Yuya Chiba, Hideharu Nakajima, and Toyomi Meguro. Empirical analysis of training strategies of transformer-based japanese chit-chat systems, 2021.

Figure 2 A preview of Amazon Mechanical Turk Working Screen. There are five chats in total.

## A Appendix

## A. 1 Detail of Crowdsourcing

Figure 2 shows the working screen of Amazon Mechanical Turk workers. The instruction of the task is shown at the top of the page. In total, there are five chats per assignment. Each chat has a checkbox question at the bottom. If the worker thinks the chat is not meshing well, she or he can tick on the checkbox. At the bottom of the page, there is a check question to check the validity of answers. In the end, workers can write down their advice through the feedback box.


# 選択体系機能言語学に基づく日本語敬語コーパスの構築と検証

Muxuan Liu 小林一郎
お茶の水女子大学
\{liu.muxuan, koba\}@is.ocha.ac.jp

## 概要

日本語は，話者間の社会的地位によって発話文の 表現が異なり，それは敬語の使い方の違いに顕著に 現れている。日本語は，他の外国語と違い多くの敬語の種類が存在し，機械翻訳や対話システムにおい て，その意味の違いを正しく処理を行うことはとて も重要である。しかし，社会的立場を踏まえて敬語 を取り扱うようなコーパスは未だ存在しない. 本研究では，このような背景を踏まえ，社会集団の価値 や共通の認識に基づいた状況下における言語使用を 表現する選択体系機能言語学に則り, 社会的地位関係の情報を含む敬語コーパス（KeiCO コーパス）を 構築した.また，BERTを用いた識別課題を行い，構築したコーパスの性能を検証した。

## 1 はじめに

現代日本語には，「-なさる」「おに゙゙-なさる」など の尊敬語や，「おにご-する」「おにご-申し上げる」など の謙譲語が存在する.このような敬語の表現に着目した機械処理の研究はすでに多く行われてい る [1-5]. 敬語には決まった文法変換規則があるた め，この文法規則を用いて簡単な敬語の訂正や補助的なシステムを作ることが可能である.しかし，現実生活においての敬語の使い方は複雑であり, 敬語 の生成は, 話者間の社会的地位, 親密さ, 場面など を考慮する必要がある. 敬語の使用について，大規模コーパスを用いて多くの用例から敬語使用の実態 を分析するのが一般的だが，実際，言語使用域，対話者間の社会的な役割関係, 対話の手段など, 社会集団の言語使用に関する詳細な情報を含むコーパス が存在しない, それゆえ, 社会的要因を考慮して適切な敬語を使用する機械学習モデルを構築すること は容易ではない.

そこで本研究では，これらの問題点を踏まえ，社会集団における言語使用の観点から言語分析を行 う選択体系機能言語学に基づき, より詳細な社会的要因に関する分析情報を含む日本語敬語コーパ ス（KeiCO コーパス）の構築と検証を試みる.また，構築した KeiCOコーパスを一つの言語資源として 公開する予定である.

## 2 選択体系機能言語学

選択体系機能言語学 (Systemic Functional Linguistics, SFL：詳細は付録 A. 1 を参照）では，言語体系 は，意味層，語彙・文法層，表現層というそれぞれ 異なる種類の記号体系が同心円的に階層性を成し， コンテクストによって包括されているとされ，社会集団の価値や共通の認識に基づいた状況下における 言語使用を表現する包括的なモデルとなっている (付録：図 2 参照)、コンテクスト層は，言語の使用域を示す「活動領域（フィールド）」，話者間の社会的関係を示す「役割関係 (テナー)」, 使用する媒体 を示す「伝達様式（モード）といった3つの特性 の下，状況を定義している，言語体系には，それら コンテクストの 3 つの特性それぞれに対応する観念構成的意味, 対人関係的意味，テキスト形成的意味 の 3 つのメタ機能が働いており，選択体系網からの 言語資源の選択に制約を与えることによって, 状況 に適した発話が形成される. 本研究では, 言語生成時に含まれる隠れた情報を得るために，各文に対し て，上記 3 点のコンテクスト要素を含む注釈を付与 している.とくに，取り扱う敬語は，対人関係的意味を反映して語彙・文法層内に記される叙述の選択体系網から選択された素性に基づき表出される。

図 1 に叙述の選択体系網を示す. 本研究では，こ の選択体系網に定義される素性を，敬語コーパスへ の注釈として用いる。

## 3 KeiCOコーパス

日本語敬語コーパス「KeiCOコーパス」の構築に おいて，敬語に関する書籍 [6] やインターネット上 の記事などから敬語表現を含む原文として収集し， クラウドソーシングにより日本語母語話者のアノ

図 1 : 叙述の選択体系網

テータ 40 名に，SFLの素性を注釈として敬語のレ ベルの付与を依頼した. 各アノテータには約 75 の 原文が割り当てられ，原文の意味を維持しつつ，で きる限り他の敬語レべルに書き替えてもらった．書 き換えが難しい箇所は空欄のままを許可する指示を した．また，書き換え後の文に指定した敬語のレべ ルを参考にレベルスコアを付けてもらった．上記の 作業を終えた後, さらに 20 名の日本語母語話者の アノテータに注釈の正しさを検証を依頼し, 明らか な誤りは手作業での修正を求めた.

このように作成したコーパスは 10,007 文からな り，敬語を処理する機械学習や統計解析のための コーパスとして，また，日本語学習用教材などとし て利用可能である.

表 1 に，KeiCO コーパスの概要を示す. 1 行目は SFL の叙述に関する選択体系網の素性が注釈として 示されている。1列目のコーパス文に対して，それ ぞれの注釈は， 0 または 1 の値が付与されている． 1 はその注釈に該当することを示し，0 はその逆を示 している. 各注釈の詳細な定義を，3.1 節に示す.

## 3.1 構成とアノテーション

KeiCO コーパスでは，各文に対して，敬語のレべ ル，書き言葉，話し言葉，尊敬語，謙譲語，丁寧語 と言語使用域（フィールド）の 7 種類の注釈が付与 されている．詳細な定義を以下に示す.

## 3.1.1 敬語のレベル

敬語の選択は，主として役割関係（テナー）に反映して行われる。テナーには，社会的地位による上下関係（例，上司と部下，先生と生徒，等）や人間関係の親密さ（例，友人，知り合い，等）といった 社会的対人関係も含まれる。
これにより，コーパス中に表現される相手への尊敬の程度は，テナーによって規定可能であると考え る. KeiCO コーパスでは，尊敬の程度をテナーを反映した 4 つのレベルを設定した．各レベルを以下の ように定義する.

Level 1 : 最高レベルの尊敬度 ニュースや，非常 にフォーマルな講演，正式的なビジネスメールなど でよく使われる敬語のレベルである．最高レベルの 尊敬度に属する文では，日本語の文法規則に従い，動詞が尊敬や謙譲を表す形に変形されることや，そ れ自体が尊敬の意味を持つ言葉が使われることが一般的である. また，尊敬語と謙譲語を組み合わせた 敬語連結の形にもなり得る.

Level 2 : 第ニレベルの尊敬度ビジネスレター,一般的な学術・ビジネス講演, サービス業などで広 く使われる. 文法規則に従い，動詞が尊敬や謙譲を 表す形に変形されるが，敬語連結の形が少ない.

Level 3 : 第三レベルの尊敬度 複雑な動詞変形は 使われず，殆どが丁寧語や美化語のみ使われる。

Level 4 : 第四レベルの尊敬度 敬語は全く使用さ れない. レベル 3 よりもカジュアルな表現で，美化語や省略語，ネット用語が登場することもある。

## 3.1.2 書き言葉・話し言葉

敬語はテナーの影響のみならず，伝達様式（モー ド）の影響により，選択される表現が異なる。モー ドには，広義的に多様な伝達媒体によるものもその 範疇に含まれ，SNS，電話，メールなどが挙げられ るが，狭義的に話し言葉と書き言葉だその範疇とみ なされる．KeiCO では文章の敬語校正などのタスク にも適応性があるように，モードに対する素性を書 き言葉と話し言葉と定義し注釈付を行なった. 一般 に，書き言葉は「だ・である調」，話し言葉は「で す・ます調」であると言われている。しかし，現実 の場面，例えばビジネスメールの作成などでは，そ のような決まりはない。様々な用途へのコーパスの 適応性を高めるために，KeiCO コーパスでは書き言葉に略語や方言を含まず，文法規則に従い，文語的 な表現が多い言葉と定義した。また，話し言葉は略語や方言，感嘆詞なども含んだ口語的表現が使われ る言葉と定義した ${ }^{1)}$.

1）森山 [7]によれば，書き言葉と話し言葉の境界は曖昧であ り，人それぞれ定義が異なるという．実際に，日本語母語者 にとっても，外国人日本語学習者にとっても，適切な使い分 けは容易なことではない
表 1: KeiCO コーパスの概要

 & 1 & 1 & 0 & 0 & 1 & 0 & 相談 \\

## 3.1.3 尊敬語・謙譲語・丁寧語

SFL の叙述に関する選択体系網の素性に基づき，尊敬語，謙譲語と丁寧語の 3 つの尊敬表現を注釈と して利用する．尊敬語は，話し手が話題の主体であ る人物を尊重する意思を表現し・尊敬される人の行動，物，名前にも使われる．謙譲語は，話し手が自分の言動を一段下に下げ，聞き手に敬意を示す意思 を示す. 丁寧語は，主に「です・ます」など助動詞 の語尾編かを促し，話題を美化し，言葉に敬意を込 めるために使われる.

## 3.1.4 活動領域

活動領域（フィールド）は，言語の使用域を示し，会話の場面，あるいは，話題を意味する．敬語は， ビジネス文書や講演会など特定の活動領域において その使用が影響される。そのことを考慮し，KeiCO コーパスでは注釈に具体的な活動領域を示す注釈を 付与している. 現在, KeiCO コーパスでは 122 の種類の活動領域をその選択肢としている。(付録：表 5 参照)

## 4 KeiCO コーパス解析

KeiCO の特徴的統計量を表 2 に示す.

## 4.1 統計的分析

KeiCO おける語彙の使用について，最も基礎的な 情報である延べ語数と異なる語数を確認し， $K$ 特性値を求めた。

$K$ 特性値 (characteristic $K$ ) は，ユール [8] によって 提案された語彙の豊富さを示す指標であり，数値が 小さいほど語彙の豊富さが高いことを示す． $K$ 特性值は, 単語の出現頻度がポアソン分布に従うと仮定
している.いま, 延べ語数が $N$, 異なり語数が $V$ であ る文章の中に， $m$ 回出現した単語数を $V(m, N)$ とし た時， $K$ 特性値は式（1）で定義される.

$
K=10^{4} \times \frac{\sum_{\text {all } m}\left[m^{2} V(m, N)\right]-N}{N^{2}}
$

KeiCO において，敬語のレベルの上昇とともに $K$特性値は高くなるが，レベル 2 の短文数が他のレべ ルに比べ少ないため，レベル 2 は他のレベルより語彙の豊富さが高いと言う結果となった. また，語彙 に関する使用について，硬い印象のある漢語に注目 し， 1 文に含まれる漢語の平均数を求めた. 結果と して，敬語レベルの上昇により漢語の使用量が増え ていくことが確認できた.

## 4.2 敬語素性の分類精度

KeiCO コーパスを用いて，コーパス内の注釈に対 する分類精度を検証した．分類モデルは，東北大学 で構築された汎用日本言語モデル $\mathrm{BERT}_{B A S E}{ }^{2)}$ を使用し，KeiCO コーパスを用いてファインチューニン グされ作成されている。 KeiCOコーパス全体を学習 データ，検証データ，評価データに $6: 2: 2$ の割合 で分割し，エポック数を 30 とした。

表 3 に，KeoCO コーパスの各素性に対する分類精度を表す。コーパスから $0.01,0.1,1$ (total) の割合（約 100 文,1000 文,10000 文）でランダム抽出し, データ量から分類精度への影響を確認する。

結果として，話し言葉，尊敬語，謙譲語，丁寧語 は高い分類精度を収める一方で，敬語レベル，書き 言葉はやや低い精度になった. また，データ量が 10 倍に増加する平均精度増加率について，敬語レべ ル，尊敬語，丁寧語は高い一方，書き言葉，話し言

2) https://huggingface.co/cl-tohoku/bert-base-japanese
表 2: レベル別の統計結果

 & 延べ語数 & 異なり語数 & $k$ 特性値 \\

Level 2 & 2046 & 16.4 & 2.1 & 33476 & 3897 & 136.23 \\
Level 3 & 2694 & 15.2 & 1.8 & 40980 & 4448 & 130.28 \\
Level 4 & 2683 & 13.5 & 1.6 & 36233 & 4315 & 129.80 \\

表 3: KeiCO コーパスにおける各素性の分類精度 (10 回平均)

葉，謙譲語は非常に低い増加率になった。その中，特に話し言葉は負の平均精度増加率になっている.

尊敬語，丁寧語 尊敬語，丁寧語について，分類精度, 平均精度増加率が高い理由は, 文法的特徴が 文中に表出しているため，特徴の識別が容易であっ たためと考える。

話し言葉，謙譲語今回，コーパス中，話し言葉 と謙譲語が一方のラベルに偏っているため (付録：表 4 参照), 分類モデルがうまく学習できなかったこ とが平均精度増加率が低い原因に繫がったと考えて いる。

敬語レベル 3.1.1 節で述べたように，敬語のレベ ルは細かく 4 つに分類されるため，他の 2 值分類タ スクより精度が劣ったと考えることも自然である。 また高い精度増加率はコーパス中のレベルがバラン スよく数が揃えられ，タスクの精度向上に貢献でき たとも言える。

書き言葉 3.1.2節で述べたように，書き言葉と話 し言葉の境界は曖昧であり明確な注釈づけは難し い. 分類精度向上のためには，複数のアノテータの コンセンサスを用いるなど工夫が必要だと考える.

## 5 おわりに

本研究は，選択体系機能言語学に基づき，話し手 と聞き手の社会的地位の情報を反映した，日本語敬語コーパス「Keicoコーパス」を作成した．KeiCO コーパスは，様々な活動領域の下での話者間の社会的役割を踏まえ，伝達様式も考慮して，コーパスに 注釈付がされており, 汎用性の高い言語資源とし $\tau$, 機械翻訳の精度の向上, 日本語作文の自動評価・自動修正や文体変換など，様々なタスクに役に 立つことを期待している．今回，未対応の課題とし て，(1) 各ラベルの短文数が均衡ではない点, (2) 書 き換えた文の中には，敬語のレベルに合わせた難易度となる適切な語彙に変換されなかったものもある ため，語彙の豊富さに関しては再検討の余地がある 点，などが挙げられる。今後，KeiCO コーパスの短文数を増やし，名詞の書き換えなどを重点的に行う つもりである.

## 参考文献

[1] 李国慶, 吉野孝. 外国人向け敬語文理解支援システム の開発. 電子情報通信学会技術報告, pp. 7-12, 2015.

[2] 飛鳥井元晴, 岸義樹. 敬語文章変換システムの作成. 第 77 回全国大会講演論文集, Vol. 2015, No. 1, pp. 177-178, 2015.

[3] 徳丸瑞稀, 川村華峰, 岡村奈々花, 仲山友海, 中野美由紀. ルールベースに基づくビジネスシーンにおける 敬語変換手法の検討. 情報処理学会第 82 回全国大会, pp. 409-410, 2020.

[4] P Resmi and C Naseer. A deep learning approach for polite dialogue response generation. In proceedings of the International Conference on Systems, Energy Environment (ICSEE) 2019, August 16, 2019.

[5] Tong Niu and Mohit Bansal. Polite dialogue generation without parallel data. CoRR, Vol. abs/1805.03162, , 2018.

[6] 坂本達, 西方草志. 敬語のお辞典. 三省堂, 2009.

[7] 森山卓郎. 話し言葉と書き言葉を考えるための文法研究用語・12 (特集 スキル話しことばと書きこと ばー新・言文一致のエクササイズ). 国文学 解釈と教材の研究, Vol. 48, No. 12, pp. 15-22, oct 2003.

[8] George Udny Yule. The Statistical Study of Literary Vocabulary. Cambridge: At the University Press, 1944.

[9] 小林一郎. 意味へのアプローチ：ハリデー言語学の 観点から. 認知科学, Vol. 24, No. 1, pp. 8-15, 2017.

[10] 角岡賢一, 飯村龍一, 五十嵐海理, 福田一雄, 加藤澄.
機能文法による日本語モダリティ研究 (龍谷大学国際社会文化研究所叢書). くろしお出版, 2016.

## A 付録

## A. 1 選択体系機能言語学

選択体系機能言語学 (Systemic Functional Linguistics, SFL）は，文化人類学者の Malinowski の考えにロンド ン言語学派の Firth が影響を受け, Firth に師事した M.A.K.Halliday によって確立された言語理論である。他 の言語学と SFL との大きな違いは，多くの言語学が多様な意味を包括的に扱うことを避け，言語の意味の取り 扱いを限定し，文法の側面に焦点をあてるのに対して， SFL はその理論の中に社会集団の中における文化的背景までを含むコンテクストを導入し，社会の中における 言語の機能面から言語体系の考察を行なっていることで ある. SFLにによって示される言語体系を図 2 に示す.言語体系の各層は選択体系網と呼ばれる選択肢からな るネットワークによって言語資源に関する選択の制約が 表現されている。また，階層間は実現規則（realization

図 2: 選択体系機能言語学による言語体系 statements）と呼ばれる制約条件によって有機的に連結されている．SFLによる選択体系網を使った言語資源 の体系化とその選択の手続きが，そのまま文生成のアルゴリズムとして適用可能とみなされ，1980 年代には 「システミック文法」と呼ばれて自然言語文生成の主要な言語理論として用いられた.

表 4: KeiCO コーパスにおける各素性の割合

表 5: KeiCO コーパス内の活動領域一覧

 & 47 \\

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 『日本語日常会話コーパス』の設計と特徴

小磯花絵 ${ }^{1}$ 天谷 晴香 ${ }^{1}$ 石本 祐一 ${ }^{1}$ 居關 友里子 ${ }^{1}$ 臼田 泰如 ${ }^{1}$ 柏野和佳子 ${ }^{1}$川端 良子 ${ }^{1}$ 田中 弥生 ${ }^{1}$ 伝 康晴 ${ }^{2}$ 西川 賢哉 1 渡邊 友香 ${ }^{1}$

1 国立国語研究所 2 千葉大学

\{koiso, h-amatani,yishi, iseki, usuda, waka, kawabata\}@ninjal .ac.jp

\{yayoi,nishikawa,yuwatanabe\}@ninjal.ac.jp den@chiba-u.jp
## 概要

本稿では 2022 年 3 月に一般公開する 200 時間規模の『日本語日常会話コーパス』(CEJC) の設計と 特徴について報告する. CEJC は多様な場面・多様 な話者による現実の日常会話をバランスよく格納 し，映像まで含めて公開する点に特徴のあるコーパ スである. CEJC 全体には音声・映像・転記・形態論情報（長短二種）が，うち 20 時間については更に係 り受け情報, 談話行為情報, 韻律情報が提供される.

## 1 はじめに

2016 年度より国立国語研究所共同研究プロジェ クト「大規模日常会話コーパスに基づく話し言葉の多角的研究」では 200 時間規模の『日本語日常会話コーパス』(Corpus of Everyday Japanese Conversation, CEJC）の構築を進めてきた [1]. CEJC は，(1) 日常生活で交わされる会話を対象とするこ と，(2)多様な場面・多様な話者による会話をバラン スよく格納すること，(3) 映像まで含めて公開する ことを特徴とする. 大規模な日常会話を映像まで含 めて公開するのは世界的に見ても新しい取り組みで ある. 2018 年に 50 時間のデータをモニター公開し $[2,3]$, 広く研究に活用されてきたが，2022 年 3 月に 200 時間全体を本公開する. 2 節と 3 節で CEJC 本公開版の設計と特徴をそれぞれ報告する。

## 2 CEJC の設計

## 2.1 収録法

多様な会話をバランスよく収録するために， British National Corpus の話し言葉のパートの収録法 $[4,5]$ を参考に次の 2 つの方法で会話を収録した。

個人密着法 性別・年齢をバランスさせた協力者 40 名に，できるだけ多様な場面・話者との会話を収録してもらった. CEJC 200 時間のうち約 185 時間をこの収録法で収集した（表 1).

特定場面法 個人密着法で収録された会話のバラン スを検証し，不足する会話の種別を特定した上 で [6]，その不足を補うために，仕事中の会議会合を約 10 時間，中高生の雑談・打合せ等を約 5 時間，計 15 時間をこの収録法で収集した。

表 1 調査協力者の属性と収録データの規模

} & \multicolumn{3}{|c|}{ 男性 } & \multicolumn{3}{|c|}{ 女性 } \\

## 2.2 コーパスの構成

CEJC の構成を図 1 に示す.

 &  \\

図 1 CEJC の構成
表 2 収録に用いた機材と公開時の映像・音声ファイルの形式

*1 基本収録で複数の映像ソースがある場合，1つの映像データとして合成したものも公開（図 2 参照）

$* 2$ 基本構成 3 台の場合. 他の構成の場合には異なることがある.

*3 会話全体の音声データに問題がある場合，個々人の音声を合成した音源を公開

200 時間に対して，映像・音声データ，転記テキ スト，短単位情報（人手修正），長単位情報（自動解析）を提供する。また個人密着法で収録した会話 の中から 20 時間を選別してコアとし，人手修正・付与した複数のアノテーションを提供する。規模 は，200 時間全体について，会話数 577，延べ話者数 1675 名, 異なり話者数 862 名, 約 240 万語（短単位）,コア 20 時間について，会話数 52 ，延べ話者数 169 名，異なり話者数 135 名，約 25 万語である.

## 2.3 映像・音声データ

収録に用いた機材と公開時のファイル形式を表 2 に示す. 図 2 にあるように，原則最大 3 台のカメラ を用いて収録した. これら複数の映像を 1 つに合成 した映像も作成して提供する．移動時の収録には 1 台のカメラを用い，周囲の様子などを中心に記録し た. 電話会話などで映像がないこともある. 音声に ついては，各話者が身に付けた IC レコーダーによ り当該話者の音声を記録すると同時に，会話の場の 中心に置いた IC レコーダーで会話全体の音声を記録した. 会話全体の音声データに問題がある場合,個々人の音声を合成した音源を作成して公開する。映像・音声データについては収録の状況等により久損もある。収録の詳細は [7]を参照のこと。

図 2 映像データの例. 左の映像は PIXPRO SP360 で，右上下の映像は GoPro 2 台で撮影したもの.

## 2.4 転記テキスト

転記テキストは, 発話単位 [8] と転記単位（発話単位を知覚可能なポーズなどにより区切った単位） という 2 種類の単位を採用し，ELAN / Praatを活用 し映像・音声を参照しながら作成した。漢字仮名ま じり表記を基本とし，言いさしや言い間違い，非語彙的な母音の延伸，笑いなどを表すタグによって会話に生じる諸現象を表現する [9]. 発音の情報につ いては次節「形態論情報」を参照のこと。

## 2.5 アノテーション

形態論情報 形態論情報として短単位情報と長単位情報を提供する $[10,11]$ 。短単位情報は，転記 を対象に形態素解析器 MeCab と形態素解析用辞書 UniDic で解析した上で，コーパス全体を対象に人手修正した．語彙素・語形が一意に同定できない語 （例：色紙「シキシ／イロガミ」）は音を聴取した上 で特定した。転記のタグを利用して得られる言い間違いを含む実際の発音（例：「(Wジューリョー|柔道)」であれば「ジューリョー」）の情報も提供する。長単位情報は，人手修正された短単位情報を基本に 自動解析した上で，コア 20 時間分を人手修正した.

係り受け情報コアを対象に，発話単位を範囲に 文節間の係り受け関係の情報を自動で付与した上で 人手修正した. BCCWJ-DepPara の基準 [12] に準じ，通常の係り受けの "D"，フィラーや言いよどみなど 係り先が決められないものの"F" などのラベルを付与した [13].

談話行為情報 コアを対象に，ISO 24617-2 [14]を ベースに日常会話用に整備した基準に基づき, 発話単位ごとに人手で付与した [15]. 各発話が担う談話機能の情報,および関係を結ぶ発話間の関係を示す 依存関係情報が提供される．前者は意味的・語用論

図 3 性別・年齢ごとの延べ話者数と語数（短単位）の分布

的レベルの情報（例：質問，応答，注意獲得，感謝） と，インタラクションレベルの情報（例：修復，会話の開始・終結）からなる.

韻律情報 コアに含まれる157名の主たる話者 （店員など一時的に会話に参加するものを除く）の うち，方言の使用状況や音声の質を考慮して 151 名 を選別した上で，『日本語話し言葉コーパス』用に 整備した X-JToBI [16] の簡略版に準拠して韻律情報 を付与した [17]. アクセント句・イントネーション 句の境界情報や，句末の音調などが提供される.

会話・話者に関するメタ情報 会話に関するメタ 情報として，会話形式，話者数，会話が行われた場所，会話中の活動，話者間の関係性，備考情報が，話者に関するメタ情報として，年齢（5 歳刻み)，性別，出身地（都道府県，外国の場合は国)，居住地 (同)，職業，協力者からみた関係性（個人密着法の み），備考情報が提供される。

検索システム 全文検索システム「ひまわり」が 同梱されるほか，オンライン検索システム「中納言」 での検索環境（音声再生機能付き）も提供される.「ひまわり」では観察支援システム FishWatchr を統合することで，検索した箇所や転記テキストの任意 の位置の映像を簡単に閲覧することができる [18].

## 2.6 データ公開方針

映像・音声・転記テキストの公開に際し，同意書 に記した条件に基づき，個人情報等の観点から次の 通り加工した. 話者の名前, 所属組織名, 自宅 - 所属組織の住所・電話番号，マイナンバーなどの個人識別符号，および本人が公開を希望しない箇所は，転記テキストで仮名あるいは「*」で伏せ字化し，該当箇所の音声をビープ音で置換した。映像につい ては，収録・公開の同意を得た話者については顔に ボカシなどの処理は加えずに公開する．ただし，名札など個人情報を含むものや収録・公開の同意を得
ていない第三者の容貌などが写り込んだ場合につい ては，肖像権や個人情報保護法などを参考に法的・倫理的な観点から問題を整理した上で公開方針を定 め，必要と判断した箇所にボカシ処理を加えた. 公開方針の詳細は [19]を参照のこと。

## 3 CEJC の特徵

## 3.1 話者の属性

100 時間の会話を対象とする『名大会話コーパス』 は，現在公開されている日本語母語話者の会話コー パスの中では最も規模の大きなものだが，話者の大半が女性であり約半数が 20 代と，話者の性別・年齢 に強い偏りが見られる [3]. CEJC はこうした偏りが 生じないよう，2.1 節で言及した通り協力者の選定 や収録法などを工夫した。そこで本節では，CEJC に収められている話者の属性（性別・年齢）に偏り がないかを検証する。

性別・年齢ごとに見た延べ話者数と語数の分布を 図 3 に示す. CEJC の大半を占める個人密着法では,成人の調査協力者を中心に，友人や同僚，家族など との会話を収録しているため，必然的に協力者と同世代の話者が多く含まれることになる。図 3 から， 20 代以上の成人について，40 代・50 代の男性が若干少なく女性が多いなどの多少の違いは見られる ものの，いずれの世代の男女とも約 100 人以上の話者， 15 万以上の語を含んでおり，概ねバランスよく 収録できていることが分かる。一方，未成年者につ いては成人と比べて数が少ない，個人密着法が成人中心の収録法であるため，特定場面法により中高生 を対象に友達同士の雑談や部活動の打合せなど 5 時間弱の会話を補ったことから，少なくとも 10 代に ついてはある程度含まれているが，10歳未満のデー タはかなり限られる。そこで未成年者のデータ拡充 のために，2022 年度より，子どもを主対象とする映像付きコーパスを構築するプロジェクトを新たに開

図 4 会話形式・会話の人数・場所・活動に関する CEJC と行動調査の比較：会話件数で見た場合

図 5 会話形式・会話の人数・場所・活動に関する CEJC と行動調査の比較 : 会話時間で見た場合

始する予定である [20].

## 3.2 会話の属性

CEJC の構築に先立ち，普段われわれがどのよう な種類の会話をどの程度行っているかの指標を得る ために，会話行動調査を実施した [21]. 調査では，約 250 人の成人を対象に，起床から就寝までの間に 行った全ての会話について，いつ，どこで，誰と，何をしながら，どのような種類の会話を行ったか， などをたずねた。本節ではこの調査結果と比較しな がら CEJC のバランスについて検証する.

図 $4 \cdot 5$ に，会話形式・場所・活動・会話の人数に 関する CEJC と行動調査の分布を示す. 図 4 は会話 の件数で見た場合，図 5 は会話の総時間で見た場合 の比較である。なお活動については 1 つの会話に複数付きうるため重複して算出している.

会話形式 図 4 の件数で見ると, CEJC では行動調査よりも雑談が少し多く用談相談は少ない傾向だ が，図 5 の時間で見るとバランスよく収録できてい ることが分かる ${ }^{(1)}$.

会話の人数 会話形式とは逆に，会話の人数につ いては，件数で見るとバランスよく収録できている が，時間で見ると CEJC は行動調査より 5 人以上の 会話の時間が短い傾向が見られる. [21] から，5人以上の場合，1～5 時間の長い会話が多く含まれるこ とが分かっているが，CEJC では多くの会話を収録 しバリエーションを確保するために，収録会話を上

(1) 行動調査から現実の日常生活では 5 分未満の短い用談相談 が多く，必然的に会話の件数に対し総時間は短くなる.限約 1 時間としている.こうした選定基準が 5 人以上の会話時間の抑制につながっている.

場所・活動 場所と活動について, CEJCでは行動調査よりも，自宅・職場での家事雑事・仕事中の 会話が若干少なく，飲食店などの商業公共施設や友人宅・実家などの室内での私的活動（友人との付き 合いやレジャー活動，課外活動等）中の会話が多い 傾向が見られる． 2.1 節で述べたように，個人密着法での収録状況を検証し，職場での仕事中の会話が 行動調査よりも少ない傾向にあったことから，特定場面法において仕事中の会議会合約 10 時間を収録 した.この増補によりかなりの改善が見られたが，行動調査と同水準となるには致らなかった. なお,自宅での会話数・会話時間が行動調査よりも少ない 傾向が見られるが，これはコーパス中の会話のバリ エーションを増やすために，あえて自宅での会話を 減らしたことによる.

このように行動調査と比べて若干の差はあるもの の，会話の形式，会話の人数，場所，活動の観点か ら CEJC は総じて多様な会話をある程度バランスよ く格納していると言うことができるだろう。

## 4 おわりに

本稿では 2022 年 3 月に公開する CEJC の設計と 特徴について報告した. オンライン検索システム 「中納言」での無償公開と，映像・音声・転記・アノ テーション等を含むコーパス全体の有償公開を行 う. 詳細については以下を参照されたい。

https://www2.ninjal.ac.jp/conversation/cejc.html
謝辞本研究は国語研共同研究プロジェクト「大規模日常会話コーパスに基づく話し言葉の多角的研究」の成果を報告したものである．会話収録にご参加くださった皆さまに感謝します.

## 参考文献

[1] 小磯花絵, 居關友里子, 臼田泰如, 柏野和佳子, 川端良子, 田中弥生, 伝康晴, 西川賢哉.『日本語日常会話コーパス』の構築. 言語処理学会第 23 回年次大会発表論文集, pp. 775-778, 2017. https://www.anlp.jp/proceedings/ annual_meeting/2017/pdf_dir/B5-4.pdf.

[2] 小磯花絵, 天谷晴香, 石本祐一, 居關友里子, 臼田泰如, 柏野和佳子, 川端良子, 田中弥生, 伝康晴, 西川賢哉. プロジェクト報告書 3 『日本語日常会話コーパス』モニター公開版コーパス の設計と特徴. 2019. https://www2.ninjal.ac.jp/ conversation/report/report03.pdf.

[3] 小磯花絵, 天谷晴香, 居關友里子, 臼田泰如, 柏野和佳子, 川端良子, 田中弥生, 伝康晴, 西川賢哉. 『日本語日常会話コーパス』モニター版の設計・評価・予備的分析. 国立国語研究所論集, Vol. 18, pp. 17-33, 2020. http://doi.org/10.15084/00002540.

[4] S. Crowdy. The BNC spoken corpus. In G. Leech, G. Myers, and J. Thomas, editors, Spoken English on computer: Transcription, mark-up and application, pp. 224235. Longman, Harlow, U.K., 1995.

[5] Lou Burnard and Guy Aston. The BNC handbook. Edinburgh University Press, Edinburgh, U.K., 1998.

[6] Hanae Koiso, Yasuharu Den, Yuriko Iseki, Wakako Kashino, Yoshiko Kawabata, Ken'ya Nishikawa, Yayoi Tanaka, and Yasuyuki Usuda. Construction of the Corpus of Everyday Japanese Conversation: An interim report. In Proceedings of the 11th edition of Language Resources and Evaluation Conference, pp. 4259-4264, Miyazaki, Japan, 2018. https://aclanthology.org/ L18-1672.

[7] 田中弥生, 柏野和佳子, 角田ゆかり, 伝康晴, 小磯花絵. 『日本語日常会話コーパス』の構築: 会話収録法に着目して. 国立国語研究所論集, Vol. 14, pp. 275-292, 2018. http://doi.org/10.15084/00001424.

[8] JDRI. 発話単位ラベリングマニュアル version 2.1, 2017. http://www.jdri.org/resources/ manuals/uu-doc-2.1.pdf.

[9] 臼田泰如, 川端良子, 西川賢哉, 石本祐一, 小磯花絵.『日本語日常会話コーパス』における転記の基準と 作成手法. 国立国語研究所論集, Vol. 15, pp. 177-193, 2018. http://doi.org/10.15084/00001602.

[10] 小椋秀樹, 小磯花絵, 冨士池優美, 宮内佐夜香, 小西光, 原裕. 『現代日本語書き言葉均衡コーパ ス』形態論情報規程集 第 4 版（上）, 2011. http: //doi.org/10.15084/00002855.

[11] 小椋秀樹, 小磯花絵, 冨士池優美, 宮内佐夜香, 小西光, 原裕. 『現代日本語書き言葉均衡コーパ ス』形態論情報規程集 第 4 版（下）, 2011. http: //doi.org/10.15084/00002856.
[12] 浅原正幸, 松本裕治. 『現代日本語書き言葉均衡コー パス』に対する文節係り受け・並列構造アノテー ション. 自然言語処理, Vol. 25, No. 4, pp. 331-356, 2018. https://doi.org/10.5715/jnlp.25.331.

[13] 浅原正幸, 若狭絢。『日本語日常会話コーパス』に対 する係り受け情報アノテーション. 言語処理学会第 28 回年次大会発表論文集, 2022.

[14] ISO 24617-2. Language resource management — semantic annotation framework (SemAF) — Part 2: Dialogue acts, 2012.

[15] Yuriko Iseki, Keisuke Kadota, and Yasuharu Den. Characteristics of everyday conversation derived from the analysis of dialog act annotation. In Proceedings of the 22nd Conference of the Oriental COCOSDA, pp. 1-6, 2019. https://ieeexplore. ieee.org/document/9041235.

[16] 五十嵐陽介, 菊池英明, 前川喜久雄. 韻律情報. 日本語話し言葉コーパスの構築法, pp. 347-453. 国立国語研究所, 2006.

[17] 小磯花絵, 菊池英明, 山田高明. 『日本語日常会話 コーパス』への韻律ラベリングーラベリングの設計 と日常会話の韻律の特徴一. 人工知能学会研究会資料, Vol. SIG-SLUD-B903, pp. 34-39, 2020.

[18] 山口昌也.「日常会話コーパス」活用環境の構築. 言語資源活用ワークショップ 2018 発表論文集, 2018. http://doi.org/10.15084/00001668.

[19] 小磯花絵, 伝康晴. 『日本語日常会話コーパス』デー 夕公開方針 : 法的・倫理的な観点からの検討を踏ま えて. 国立国語研究所論集, Vol. 15, pp. 75-89, 2018. http://doi.org/10.15084/00001597.

[20] 小磯花絵, 居關友里子, 柏野和佳子, 角田ゆかり, 田中弥生, 宮城信. 子どもの会話コーパスの構築に 向けて. 言語資源活用ワークショップ発表論文集, Vol. 5, pp. 157-163, 2020. http://doi.org/10.15084/ 00003155.

[21] 小磯花絵, 土屋智行, 渡部涼子, 横森大輔, 相沢正夫, 伝康晴. 均衡会話コーパス設計のため の一日の会話行動に関する基礎調査. 国立国語研究所論集, Vol. 10, pp. 85-106, 2016. http: //doi.org/10.15084/00000810.


# UD_English-EWT とのつきあい方

金山博 大湖 卓也
日本アイ・ビー・エム株式会社東京基礎研究所
\{hkana, ohkot \}@jp.ibm.com

## 概要

Universal Dependencies (UD) の各言語のコーパス は、構文解析器の訓練と評価の両面で広く使われて いる。英語のコーパスの中で最も頻繁に使われてい る UD_English-EWT は、作成の経緯から、口語的な 文や書き誤り、特殊な文字列なども含まれており、訓練・評価の両面で支障がある。本稿では、現状の データの性質と問題点を紹介するとともに、メタ データを用いてノイズを除去したコーパスを用いて 構文解析器を訓練した際の変化を調べる。

## 1 はじめに

Universal Dependencies (UD) $[9,10]$ は、多言語の構文構造を表現するために、17 種の品詞タグと 37 種 の関係ラベルを用いた依存構造を定義し、それに 基づいたツリーバンク（以下ではコーパスと記す） を作成する世界的なプロジェクトである。 2021 年末現在、122 言語に対する 217 種のコーパスが公開されており、Stanza[11]、UDPipe[14]、Spacy[4] や Trankit[8] などの構文解析器 (文区切り・単語区切 り・品詞タグ付け・依存構造解析）の訓練および評価に用いられている。

UD のコーパスは、一つの言語に対して複数個が 存在し得るため、「UD_言語名-種別」の形式で名付 けられている。日本語の場合は UD_Japanese-GSD, UD_Japanese-BCCWJなどのコーパスが公開されて おり [17]、それぞれ文体、サイズ、作成の経緯やラ イセンス形態が異なっており、利用者は目的に応じ て使い分けることになる。

英語のコーパスは現在 11 種が公開されているが、 そのうち UD_English-EWT（以下 UD-EWT）が主た るコーパスス ${ }^{1)}$ として作成・利用されてきていた。現在も github 上 $^{2}$ でアノテーションのあり方について

1）2017 年以前はUD_English（無印）として事実上の英語の標準コーパスであった。

2) https://github.com/UniversalDependencies/UD_ English-EWT/表 1 EWT コーパスのジャンルと文数。

アクティブな議論が続いており、改良やバグ修正が 行われている。しかしながら、2 節に記すような経緯もあり、英語のメインとなるコーパスとしては質 と量の面で課題が残っている。

本稿では、UD-EWT を訓練や評価に利用するにあ たっての注意点を挙げるとともに、コーパスを変換 して書き誤りを減らすことによる解析器の性能向上 を試みる。

## 2 EWT コーパスの成り立ち

English Web Treebank (EWT) は、2012 年より LDC3) で公開されているコーパスであり、様々なジャンル の web 上のテキストデータに対して OntoNotes コー パス [5] に類似した形式の項構造のアノテーション を付与したものである。EWT が作られたきっかけ は、OntoNotes やPenn Treebank [7] の中で主に使われ るデータが、Wall Street Journal (WSJ) などのニュー ス記事であり、現実世界の言語現象を充分に反映で きていないという問題に対処するためである。そこ でEWT は、表 1 のように複数の分野からテキスト を収集した。但し、EWT の文数は約 1.7 万文と、 10 万文以上に拡張された OntoNotes v5 と比べると遙か に小さい。

ニュース記事と異なる分野のテキストが含まれ ることにより、現れる構文要素の分布にも特徴があ る。WSJ と比較して、倒置や通貨表現が出現する割合は半分以下である一方で、呼格や間投詞は 20 倍以上出現すると報告されている [13]。また、ドイツ 語、フランス語などの欧米言語のコーパスにおいて

3) Linguistic Data Consocium.
名詞句となっている文や、文末にピリオド等が無い 文の割合が極端に小さいのと比べ、UD-EWT では比較的バランスが取れていることが観察された [18]。

EWT は後に Stanford Dependencies [2] の依存構造 の形式に変換され [13]、さらに UD の CoNLL-U フォーマットに変換され、UD-EWT として公開され ている。その後、拡張依存構造が加えられ [12]、現在に至る。

WSJ のコーパスに対する品詞タグ付けタスクの 精度は 2010 年の段階で $97 \%$ 以上と飽和状態にあり [6]、くだけた文体などの難しい事象が残っているテ キストが、その後のシェアドタスク [16] の題材とし て好適であった。また、UD の初期より商用利用が 可能な CC BY-SA のライセンス形式で配布された数少ないコーパスであった4)ことも、UD-EWT の普及 を進めたと考えられる。

2015 年の UD v1 の公開以来、アノテーションに ついては多数の改良がなされてきた。特に 2017 年 の UD v2 が導入された際には大幅な変更が加えら れた。一方で、文の追加・削除や文区切りはほぼフ リーズされており、2021 年公開の UD v2.8 で連続す る空白が取り除かれたなど軽微な変更に留まって いる。

## 3 コーパス内の事象

EWTコーパスは表 1 に示したような複数のジャ ンルのテキストを含むため、Penn Treebankなど ニュース記事から作成されたコーパスには稀であっ た現象が見つかる。

まず、インフォーマルな文体として、表 2 の (1) のように機能語を簡略化したものや、さらには前置詞の “to”を “2”, “for”を “4" と書く事象などが見ら れる。コーパス上ではこれらの lemma は正しい表記に変換されている。また、"gotta”は (2) のように 複数語トークン (MWT) として表現され、その構成要素の lemma は本来の “get”, "to” となっている。(3) のような文末のスマイリーがある場合、関係ラベル discourse を用いて文の主辞に係る。

(4) は “your”を“ur”と表記した例であるが、その lemma が “you” であることと関係ラベルを用いて所有格代名詞であることが表現されている。同じ “ur” でも (5) のように“you are”を縮めた場合もあり、解析の際には文脈に応じて判断しなければならない。

表 2 UD-EWT の中でインフォーマルな文体に見られる 語の例。ここでは CoNLL-U フォーマットのうち ID、表層、lemma、UPOS、係り先、関係ラベルのみを示す。

表 3 書き誤りの例。

さらに、表 3 の例のような書き誤りが見られる。 (6) は典型的なスペルミスであり、(7) はアポストロ フィが欠落している5）。(8) は、アノテーション自体は正常だが、原文では“decidewhether”と空白が欠落していた。逆に (9) は、動詞 “survive” の途中に空白が挿入され “surv ive”となっていた部分へのアノ テーションで、UD の規約に従って goeswith のラべ ルで繋がれる 2 語となっている。(10) は連続する 5 語のうち 3 語にスペルの誤りがある6)。

ウェブサイトの URL（EWTに 194 件出現）や e メールアドレス (10件) の場合、空白が含まれないの で一語として認識することは容易7) だが、ファイル 名（60 件以上）には “Sanders Letter 4_28_00.doc” のように空白を含むものもあり、一語とみなすか否 かなどはコーパス内でも摇れがある。

また、特に e メール由来のコーパスには、区切り 線 “-- - - - - - - - - - - - --”や、“| | Tana.Jones@xxy｜｜｜yzz.com ｜｜”のような表の 一部と思われるものなど、自然言語を逸脱したもの も数多く見受けられる。

5）これが書き誤りなのか、書き手の意図した文体なのかを区別する明確な基準は無い。

6）解読するアノテータさんの苦労が偲ばれる。

7）コーパスにアノテーションを付与する際にも、また構文解析器にとっても。

## 4 EWT コーパスの問題点

本節では、3 節で紹介したような事象により、 コーパスを構文解析器の訓練や評価に用いる際に弊害が生じるケースを指摘する。

## 4.1 標準形への訂正による問題

表 2 , 表 3 で見たように、くだけた記法や書き誤り があった場合、正しい8) 形を想定した単語区切りや lemma がアノテートされて、それに基づいた品詞や 依存構造が付与されている。

この原文と単語区切りのぺアを用いて単語区切り を訓練すると、(8)のようなケースにより、空白が 無くても単語を区切ろうとするモデルが作成され る。UDPipe v1 [15] を UD-EWT v2.9 で訓練させたと ころ、“McDonalds”を “McDonald”と“s”に分割でき るようになっていた ${ }^{9)}$ 一方で、英字と数字が混在す る製品名などの文字列が過剩に分割される傾向が あった。

より大きな問題となるのが lemma の扱いである。本来は活用語の原形を与えるためのもので、辞書で 対応するか、未知語に対して規則を作るか訓練させ ることにより解決する (英語の場合、's’’ ’ed'を 外すなど)。UD-EWT の lemma にスペルチェッカー の要素が含まれているため、モデルが複雑になる ほか、予期しない副作用が起きる。UDPipe のモデ ルで UD-EWT のテストデータを解析した結果の中 では、“canon”に対して“canion”、“fares”に対して “fary”という lemmaを与えるなど、深刻なエラーが 生じていた。

## 4.2 文区切り推定の困難さ

UD-EWT には文書や段落を区切る情報が付与さ れているが、ニュース記事の例 (11) やe-メールの例 (12) の中には、以下のような単位がそれぞれ一つの 段落として含まれている。

(11) Photo from Technology News Wiki Media Foundation, the group behind the Wikipedia ...

(12) Best regards, John Smith

(11) は “Photo from Technology News" が一つめの 文、それ以降が次の文となっているが、表層上は句読点などの手がかりは入っていない。(12)も、“Best

regards,"が一つの文となっており、名前の部分は別 の文となっている。元の「現実世界の」文書に存在 した HTML タグや改行などが失われていると推測 されるが、これらを文区切りのタスクとして解決 することは困難である。(12) と類似するケースは UD-EWT の訓練・テストデータの双方に含まれるの で、訓練させることはできるが、その結果のモデル は UD-EWTへのバイアスがかかったものと言える。

## 4.3 MWT の特殊性

UD-EWT v2.6 以前では、トークンと語は一対一で 対応していたが、UD-EWT v2.7 以降で複数語トーク ン (MWT) が導入され、“I'm” や“don't” などの縮退形が 1 トークン・2 語として扱われるようになった。 しかし、その他にも、(5)のように空白を持たない が複数の語に分割されるケースも MWT となってい るため、トークナイズ・単語区切り・文の正規化な どの処理が混在する状況となっている。これは、ド イツ語・フランス語等の UDにおいて MWTが前置詞十冠詞の縮退形に限られているのと異なる。特 に、MWT は文字毎のオフセットや空白の有無を表現する手段が無いので、利用の際には注意が必要で ある。

## 5 ノイズ除去の実験

UD-EWT v2.8では、書き誤りや空白の欠落といっ たノイズがある場合に本来の表記を示す情報が MISC フィールドに付加され、v2.9 ではそれがさら に拡充された。この情報を利用すれば、UD-EWT に 含まれるこの種のノイズを除去することができる。本節では、ノイズを除去したコーパスで解析器を訓練した場合の変化を調べる。

## 5.1 コーパスの変換

UD-EWT の dev ブランチ（2021 年 12 月 20 日現在）の訓練・検証データに対して、表 4 (作例) の ように、 3 種類の変換を行う。まず、MISC フィール ドで CorrectForm が指定されている場合（訓練デー タ中に 533 件存在)、表層形をその表記に改める。 また、CorrectSpaceAfter=Yes が存在する場合（同 81 件)、直後に空白を挿入する。goeswith ラベルで繋 がる 2 語（3 語以上や、XPOS タグが ADD の場合を 除く) に対しては、それらを 1 語に結合して、原文 の空白を除去する (同 39 件)。このようにして各語 の表層部分と、文全体の表層形も書き換えることに
表 4 ノイズ除去の例。MISC フィールドと goeswith ラベルを用いて左（品詞タグは省略）から右に変換する。

より、ノイズを除去したコーパスを作成し、これを UD-EWT-clean と呼ぶ。

## 5.2 モデルの再訓練と実験結果

UD-EWT v2. 9 と、UD-EWT-clean を用いて、以下 の 3 つの解析器の訓練を行った。

・UDPipe v1 [15] のトークナイザー、品詞タグ付 け、係り受け解析。UD v2.5 の訓練に使われた パラメータと embedding を使用。

・BERT [3] を用いた内製の品詞タグ付け器10)。
- Stanza [11] v1.3 の、トークナイザー、MWT、 lemma、品詞タグ付け、係り受け解析のモデル。 それぞれを以下の 3 つのデータで評価する。

EWTUD-EWTv2.9のテストデータの 2,077 文。 news 上記のうち、ニュース記事からなる 284 文。 ON OntoNotes コーパスを UD 形式に変換 [1] した コーパスのテストデータ 9,971 文。

UD の各指標 (F1 值)を表 5 に示す。UDPipe にお いては、ノイズ除去により EWT のテストデータ上 の一部の評価值は微減してしまった。これは、EWT のテストデータ中の訓練データと類似した事象に対応できなくなったためだと思われる。一方、EWTと は独立に作られた ON のデータでは、UDPipe, BERT PoS では全指標においてノイズ除去による効果が 出ている11）。比較的インフォーマルな文が少ない news については EWT とON の中間程度となってい る。なお、全体的に、Lemma についてはノイズ除去 の効果が大きい。これは、書き誤りの要素を排除す ることにより 4.1 節で見たようなエラーが防げてい ることによる。但し、Stanza の結果はUDPipe と逆 の傾向にある。この原因は調査中である。

10）単語区切り済みの入力に対してXPOS を付与する。

11）EWT の訓練・テストデータの性質によらずに性能を比較 できるので、この結果は特に重要だと考えている。表 5 UD EWT v2.9 と clean で訓練した際の結果。太字は 有意差をもって高い側の値を示す。

## 6 まとめ

本稿では、UD_English-EWT のコーパスについて、 その成り立ちや含まれる事象、そして分析を難しく する要素を紹介した。また、書き誤り等のノイズを 除去したコーパスを作成し、それを解析器の訓練に 用いたところ、解析器と評価データによっては、ノ イズを除去することにより性能が高まることがわ かった。UD-EWTに閉じて訓練・テストを行うシェ アドタスクの状況と異なり、実用の場面を考慮して 構文解析器を設計・評価する際には、コーパスの性質や問題点を考慮して、ベンチマークの方法に留意 する必要があることが示唆される。

## 参考文献

[1] Marie-Catherine de Marneffe, Bill MacCartney, and Christopher D. Manning. Generating typed dependency parses from phrase structure parses. In Proceedings of the Fifth International Conference on Language Resources and Evaluation (LREC'06), Genoa, Italy, May 2006. European Language Resources Association (ELRA).

[2] Marie-Catherine De Marneffe and Christopher D Manning. Stanford typed dependencies manual. Technical report, Technical report, Stanford University, 2008.

[3] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[4] Matthew Honnibal, Ines Montani, Sofie Van Landeghem, and Adriane Boyd. spaCy: Industrial-strength Natural Language Processing in Python, 2020.

[5] Eduard Hovy, Mitchell Marcus, Martha Palmer, Lance Ramshaw, and Ralph Weischedel. OntoNotes: The 90\% solution. In Proceedings of the Human Language Technology Conference of the NAACL, Companion Volume: Short Papers, pp. 57-60, New York City, USA, June 2006. Association for Computational Linguistics.

[6] Christopher D. Manning. Part-of-speech tagging from 97\% to 100\%: is it time for some linguistics? In Proceedings of the 12th international conference on Computational linguistics and intelligent text processing - Volume Part I, CICLing'11, pp. 171-189, Berlin, Heidelberg, 2011. Springer-Verlag.

[7] Mitchell P. Marcus, Beatrice Santorini, and Mary Ann Marcinkiewicz. Building a large annotated corpus of English: The Penn Treebank. Computational Linguistics, Vol. 19, No. 2, pp. 313-330, 1993.

[8] Minh Van Nguyen, Viet Dac Lai, Amir Pouran Ben Veyseh, and Thien Huu Nguyen. Trankit: A light-weight transformer-based toolkit for multilingual natural language processing. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: System Demonstrations, pp. 80-90, Online, April 2021. Association for Computational Linguistics.

[9] Joakim Nivre, Marie-Catherine de Marneffe, Filip Ginter, Yoav Goldberg, Jan Hajič, Christopher Manning, Ryan McDonald, Slav Petrov, Sampo Pyysalo, Natalia Silveira, Reut Tsarfaty, and Daniel Zeman. Universal Dependencies v1: A multilingual treebank collection. In Proceedings of the 10th International Conference on Language Resources and Evaluation (LREC 2016), Portorož, Slovenia, 2016.

[10] Joakim Nivre, Marie-Catherine de Marneffe, Filip Ginter, Jan Hajič, Christopher D. Manning, Sampo Pyysalo, Sebastian Schuster, Francis Tyers, and Daniel Zeman. Universal Dependencies v2: An evergrowing multilingual treebank collection. In Proceedings of the 12th Language Resources and Evaluation Conference (LREC 2020), pp.
4034-4043, Marseille, France, May 2020. European Language Resources Association.

[11] Peng Qi, Yuhao Zhang, Yuhui Zhang, Jason Bolton, and Christopher D. Manning. Stanza: A python natural language processing toolkit for many human languages. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: System Demonstrations, pp. 101-108, Online, July 2020. Association for Computational Linguistics.

[12] Sebastian Schuster and Christopher D. Manning. Enhanced English Universal Dependencies: An improved representation for natural language understanding tasks. In Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC'16), pp. 23712378, Portorož, Slovenia, May 2016. European Language Resources Association (ELRA).

[13] Natalia Silveira, Timothy Dozat, Marie-Catherine de Marneffe, Samuel Bowman, Miriam Connor, John Bauer, and Christopher D. Manning. A gold standard dependency corpus for English. In Proceedings of the Ninth International Conference on Language Resources and Evaluation (LREC-2014), 2014.

[14] Milan Straka. UDPipe 2.0 prototype at CoNLL 2018 UD shared task. In Proceedings of the CoNLL 2018 Shared Task: Multilingual Parsing from Raw Text to Universal Dependencies, pp. 197-207, Brussels, Belgium, October 2018. Association for Computational Linguistics.

[15] Milan Straka, Jan Hajič, and Jana Straková. UDPipe: trainable pipeline for processing CoNLL-U files performing tokenization, morphological analysis, POS tagging and parsing. In Proceedings of the 10th International Conference on Language Resources and Evaluation (LREC 2016), Portorož, Slovenia, 2016. European Language Resources Association.

[16] Daniel Zeman, Filip Ginter, Jan Hajič, Joakim Nivre, Martin Popel, and Milan Straka. CoNLL 2018 Shared Task: Multilingual Parsing from Raw Text to Universal Dependencies. In Proceedings of the CoNLL 2018 Shared Task: Multilingual Parsing from Raw Text to Universal Dependencies, Brussels, Belgium, 2018.

[17] 浅原正幸, 金山博, 宮尾祐介, 田中貴秋, 大村舞, 村脇有吾, 松本裕治. Universal Dependencies 日本語コーパ ス. 自然言語処理, Vol. 26, No. 1, pp. 3-36, 2019.

[18] 金山博, 岩本蘭, 村岡雅康, 大湖卓也, 宮本晃太郎. 名詞句の処理に頑健な構文解析器. 言語処理学会第 27 回年次大会予稿集, March 2021.


# 訪問場所表現グラウンディングのためのアノテーション

大友寬之 ${ }^{1}$ 大内啓樹 1,2 星野智紀 ${ }^{1}$ 井手佑翼 ${ }^{1}$ 渡辺太郎 ${ }^{1}$
1 奈良先端科学技術大学院大学 2 理化学研究所
\{otomo.hiroyuki.ob7, hiroki.ouchi\}@is.naist.jp
\{hoshino.tomoki. ho6, ide.yusuke.ja6, taro\}@is.naist.jp

## 概要

新たなタスク「訪問場所表現グラウンディング」 を提案する. 文章中の人物が訪れた場所の言語表現 を抽出し，地図上にグラウンディングすることを目的とする。ここれが可能になれば，旅行プランニング など多様なアプリケーションへの展開が期待でき る.その第一歩として, 本稿ではデータセット構築 のためのアノテーション基準を策定する．実際にア ノテーション実験を行い，比較的高い作業者間アノ テーション一致率が得られることがわかった.

## 1 はじめに

古来から人間は地球上のさまざまな場所を訪れ， その記憶を自然言語で書き留めてきた。旅行記や紀行文はその代表であり，訪れた場所での個人的な経験や感想が記述される.これらの文書を計算機に よって読み解き, 訪問場所に関する言語表現と地図上の位置を紐付け，そこで個人が何を経験したのか を抽出できれば，旅行プランニングや観光地ナビ ゲーションをはじめ多様なアプリケーションへ有効活用できる情報源になると期待できる．特に昨今の コロナ禍により壊滅的な打撃を受けた観光業の再興 のため, 位置情報と紐づく主観情報（その場所の体験談や感想）は重要な役割を担う。

本研究では，訪問場所を表す言語表現を地図上へ グラウンディングすることを見据え，そのデータ セット構築のためのアノテーション基準を策定す ることを目的とする．具体的には，旅行ブログを対象テキストとし, 著者が実際に訪れた場所（地名や 施設名）を複数の作業者にアノテーションしてもら う.ここで重要なのは，「著者が実際にその場所を 訪れたかどうか」の判断である.この判断には周辺文脈を読み解く必要があり，時には明示的に書かれ ていない情報を推測しないと正確に判断できない事例も少なくない. そこで，作業者間のアノテーショ
ン一致率を算出し，どのような事例でアノテーショ ンの一致/不一致が生じるかを分析する. 実験結果 として, 全体では比較的高い一致率が得られること がわかった。事例分析の結果，個人の経験に関する 言及と一般的な言及が同一文中に混在する場合に不一致が起きやすくなることがわかった.

## 2 訪問場所表現グラウンディング

## 2.1 問題設定と技術的焦点

本稿で提案するタスク「訪問場所表現グラウン ディング」を図 1 に示す. 大力文章中で著者が訪れ た場所を表す場所参照表現を抽出（ラベリング）し，地図上の適切な位置（緯度・経度）に紐付けること （グラウンディング）を目的とする。例えば図 1 に おいて，著者は「西本願寺」と「銀閣寺」を訪れてお り，それらを地図上にグラウンディングしている.

本タスクの技術的なポイントは，著者が実際にそ の場所を訪れたか否かの判定にある。つまり，著者 の行動の事実性を文脈から判断する必要がある．例 えば図 1 中の「京都」は，場所を参照する言語表現 であるが，著者の訪問経験を意味しているわけでは なく，一般的な事実への言及であるため，地図には グラウンディングしない.

ここで，あるタイプのテキストには位置情報が付与されていることもあり，わざわざ本タスクを行う 必要はないのではないかという指摘もありうる. た しかに Twitter などのマイクロブログテキストには 位置情報が付与されている場合もある. しかしなが ら，位置情報付きツイートの割合は 1 パーセントに 満たないという報告がある [1]. また，著者が発信 している場所と文章中で言及している場所は異なる 場合も多く, これは本質的な問題である。これらの 問題を鑑みると，場所参照表現を正確に抽出し，地図上に紐付けるためのタスク設計およびデータ整備，システム開発は有用であると言える。

図 1 訪問場所表現グラウンディングの概略図

## 2.2 先行研究との関係

関連する研究分野の一つに「場所参照表現解析 (Geoparsing, Toponym Resolution)」[2, 3, 4, 5, 6] が挙 げられる。このタスクでは，テキスト中に現れる場所参照表現を抽出し, 各表現に位置情報（緯度・経度）を付与する．典型的には位置情報付き地名・施設名辞書を用いることを前提とし，該当する項目を 場所参照表現で辞書引きして位置情報を取得するた め，エンティティリンキング (Entity Linking) [7] の 一種として捉えることもできる. これらの基本設定 に加え，本研究では著者が実際にその場所を訪問し たかどうかを問題とする。この新たな視点の導入に よって，場所参照表現の周辺文脈をより正確に読み 解かなければタスクを解くことはできない．特に，前述したような図 1 中の「京都」の例のように，事実性 (時制，アスペクト，モダリティ）を正確に解析 し，一般的な言及なのか著者の実体験に関する言及 なのかを峻別する必要がある．このような点から，従来の場所参照表現解析と比べ，本タスクでは意味解析の要素が色濃く要求される点が特色である.

もう一つの関連研究分野として「経験マイニン グ (Experience Mining)」 [8, 9, 10] が挙げられる.こ のタスクでは，商品やサービスなどの事物の利用に 関する個人の経験を文章から抽出する．経験マイニ ングでも事実性解析などの意味解析が重要を役割 を担う点は我々の提案タスクと共通する。しかしな がら，我々の提案タスクは経験マイニングには収ま らない問題を含んでいる。それは地図へのグラウン ディングである．テキストの世界と地図の世界を繋 ぐマルチモーダル処理を目的とする点が明確に異な る. 将来的には，訪問場所における個人の経験や感想を地図上に重ね合わせて表示することによって，拡張地図 (Augmented Map) の生成を目指す。そのた めの第一歩として，本稿では訪問場所参照表現のア ノテーションを行う.

## 3 アノテーション実験

本節では，訪問場所参照表現の人手によるアノ テーション実験を行い，作業者間アノテーション一致率をはじめとする種々の分析を行う。

## 3.1 アノテーションの概要

アノテーション作業として，(1) 場所参照表現の 抽出と (2) その場所に訪れたと文中で言及している か否かを表すラベルを付与する。一つ目の作業で は，文章中に現れる地名・施設名などの場所参照表現のテキスト範囲を文字単位で同定する。二つ目の 作業では，同定済みの場所参照表現の指し示す場所 を，文章の著者が実際に訪れ，かつ，文中で訪れて いることに言及している場合はVISIT のラベルを付与し，それ以外は OTHER のラベルを付与する。

## 3.2 アノテーションの手順

2 名のアノテーション作業者が実際の作業を行っ た. データとして，KNB コーパス [11]を利用した. KNB コーパスは 249 記事，4,186 文から構成される 解析済みブログコーパスであり，係り受けや固有表現などのアノテーション情報が含まれる。また， KNB コーパスに含まれる記事は，京都観光，携帯電話，スポーツ，グルメのいずれかのテーマで執筆 されている. 本稿では京都観光に属する 81 件の記事の内，「旅行記」に該当する記事 29 件をアノテー ション対象の文章とした．KNB コーパスに含まれ る各記事の 1 行目はテーマ名とタイトルを表してお り，2 行名以降が本文を表している．そこで，旅行記 29 件の各記事の 2 行目以降をアノテーション対象とし，全体の文数は 455 となった. アノテーショ ンツールとして doccano1)を用いた。なお，アノテー ション作業中に場所参照表現かどうかわからない表現があった場合，検索エンジンを用いて調べてよい こととした.

表 1 アノテーションされたラベルの数

作業者 A 作業者 B

表 2 作業者間アノテーション一致率 ( $\mathrm{F}_{1}$ 値)

VISIT OTHER VISIT+OTHER

$\begin{array}{lll}78.33 & 69.71 & 75.00\end{array}$

## 4 結果と考察

表 1 は，2名の作業者によってラベル付けされた VISIT と OTHER の数を表している.

## 4.1 作業者間アノテーション一致率

表 2 は作業者間のアノテーション一致率を表し ている. 本実験では，一致率として $\mathrm{F}_{1}$ 値を採用す る. $\mathrm{F}_{1}$ 值を算出するにあたり，2 名の作業者による アノテーションのラベルおよびスパンの両方が一致 していれば真陽性（True Positive）とみなす。表 2 中 のVISIT は，アノテーション結果が VISIT のラベル について一致率を調べた結果であり, OTHER も同様 である。また，表 2 中の VISIT+OTHER は，VISIT と OTHER の両方のラベルの一致率について調べた結果 である.

この結果は比較的高い数値であると解釈できる.本アノテーション作業では「実際に著者がその場所 を訪れたか」の判断がポイントとなるが，これは事実性（時制，アスペクト，モダリティ情報）の認識 に深く関わる。この認識は個人の主観によって摇れ る。例えば関連するものとして，日本語 TimeBank のアノテーション作業が挙げられ，概ね 6 割ほどの 作業者間アノテーション一致率であったとの報告が ある [12]. もちろん, 本稿でのアノテーション作業 と異なるため公平な比較はできないが，全体でも 7 割を超える一致率であり，最も重要な VISIT の一致率は 8 割に迫るため悪くない数値であると言える。

## 4.2 固有表現の再現率

実際に本アノテーション（場所参照表現の抽出と ラベル付与）を自動化する場合，シンプルな方法と して，第一段階目で場所参照表現を抽出し，続い て第二段階目で抽出済み場所参照表現をVISIT や OTHER に分類するといった二段階処理（これは典型表 3 固有表現の再現率

的な Entity Linking や Entity Typing と同じ方法）が考 えられる。そこで本節では，第一段階目の場所参照表現抽出のために，一般的な固有表現抽出システム を用いるとどの程度場所参照表現を抽出できるか， その再現率の目安を付けるための分析を行う. さら に，固有表現抽出システムとの比較のため，人手 による固有表現のアノテーションの再現率も確認 する.

本稿では固有表現抽出システムとして spaCy2)の ja_core_news_lg $\mathrm{g}^{3}$ を用い，モデルの予測結果のうち， FAC，LOC，GPE，ORGのいずれかのラベルを自動付与 された言語表現のみをシステム出力（以下，自動 NER）とした。なお，FAC，LOC，GPE，ORG以外のラ ベルとして予測されたアノテーションは全体の $3 \%$程度であり，システム出力に含まれない．また，人手によってラベル付けされたデータセットとして， KNB コーパスの固有表現アノテーションを用いた.固有表現アノテーションのうち，ラベルが LOCATION もしくは ORGANIZATION の言語表現をシステム出力 （以下，人手 NER）とした. 作業者 2 名によるアノ テーションを正解データとして各アノテーションで 再現率を計算し，その平均を本節で報告する。

表 3 はラベルごとの再現率を表している。自動 NER において，VISIT+OTHER の再現率が 7 割程度と いう結果から，固有表現抽出システムが抽出できて いない場所参照表現が 3 割程度存在することがわか る. 言い換えると，一般的なサイズの固有表現デー タセットを用いた NER モデルの学習・構築では十分に場所参照表現を抽出できないことが示唆され た.したがって，場所参照表現の追加アノテーショ ンデータを用いた NER モデルのファインチューニ ングや，地名・施設名辞書を用いた新たな手法を考案することによって, 場所参照表現の抽出精度を高 めていくことが今後の技術的課題である。

## 4.3 事例の分析

本節では，アノテーション結果のより詳細な分析 を行い，現状の到達点や改善点を洗い出す． 2 名の

(a) アノテーションが一致した例

日曜日友人二人を誘って、 ${ }_{\text {VISIT/VISIT }}^{\text {伏見 }}$ の酒蔵見学に行ってきた。朝 10 時、京阪中書島駅で降りて、 5 分程歩 くと、月桂冠大倉記念館がある。

VISIT/VISIT

(b) アノテーションが不一致だった例

嵐山 に行くのには、寮の前から 嵐山 行きのバスが都合よく出ているので、それに乗っかればいい だけだが、この際、 $\underset{\text { OTHER/OTHER }}{\text { 京都 }}$ の路面電車もぜひ試してみたいと考えて、京福電鉄を使うルートで行くことに した。

(c)一方の作業者のみによってラベルが付与された例

作業者によってアノテーションされた各事例を，(a) アノテーションが一致した例, (b) 不一致だった例, (c)一方の作業者のみによってラベルが付与された 例に分類する. アノテーションが一致した例は 234 件, 不一致だった例は 52 件, 一方の作業者のみに よってラベルが付与された例は 52 件確認された.表 4 の上段に示すように，基本的な場所参照表現の 抽出とラベル付与は作業者間で概ね一致しているこ とが確認された.

表 4 の中段に，作業者間でアノテーションの判断 に不一致が起きた事例を示す.ここでは，文の前半 では地名に関する一般的なことを述べているが，後半では著者の経験に言及している。つまり，文頭の 「嵐山に行くのには」の部分は一般的なことを述べ ている。一方, 文末の「行くことにした。」という述語は著者の経験を述べており, その目的語はゼロ代名詞として扱われている（省略されている）が「嵐山」である.このように，異なる述語との兼ね合い を正確に読み解く必要があるような事例では, 作業者間でVISIT，OTHER のどちらを付与するか判断が 分かれやすい傾向が見られた。

表 4 の下段に，一方の作業者のみによってラベル が付与される事例を示す。「五十塔」は「仁和寺」の 敷地内に存在する目立つランドマークである。この ようなランドマークに対してもアノテーションする かどうかの判断が作業者間で分かれたと考えられ る. 類似の例として，「東大寺」の敷地内にある「大仏」や「渋谷駅前」の「ハチ公」などが考えられる。 これらの例のように，ある施設の敷地（領域）内に存在するランドマークもアノテーションするか否か を明確化する必要性が示唆された。

## 5 おわりに

本稿では，新たなタスク「訪問場所表現グラウン ディング」を提案し，そのためのアノテーション実験を行った. 結果として，アノテーション作業者間 で比較的高い一致率を得ることができた。また，事例の分析によって, アノテーション基準のさらなる 明確化の必要性も示唆された. 今後, これらの知見 をもとにアノテーション基準を改善した後，大規模 なテキストへのアノテーション作業に取り掛かり，本タスクのデータセットを構築する予定である.

## 謝辞

本研究は JSPS 科研費 JP19K20351 の助成を受けた ものである.

## 参考文献

[1] Stuart E Middleton, Lee Middleton, and Stefano Modafferi. Real-time crisis mapping of natural disasters using social media. IEEE Intelligent Systems, Vol. 29, No. 2, pp. 9-17, 2013.

[2] Jochen L Leidner. An evaluation dataset for the toponym resolution task. Computers, Environment and Urban Systems, Vol. 30, No. 4, pp. 400-417, 2006.

[3] Jochen L Leidner. Toponym resolution in text: Annotation, evaluation and applications of spatial grounding of place names. Universal-Publishers, 2008.

[4] Grant DeLozier, Jason Baldridge, and Loretta London. Gazetteer-independent toponym resolution using geographic word profiles. In Twenty-Ninth AAAI Conference
on Artificial Intelligence, 2015.

[5] Koji Matsuda, Akira Sasaki, Naoaki Okazaki, and Kentaro Inui. Annotating geographical entities on microblog text. In Proceedings of The 9th Linguistic Annotation Workshop, pp. 85-94, Denver, Colorado, USA, June 2015. Association for Computational Linguistics.

[6] Davy Weissenbacher, Arjun Magge, Karen O'Connor, Matthew Scotch, and Graciela Gonzalez-Hernandez. SemEval-2019 task 12: Toponym resolution in scientific papers. In Proceedings of the 13th International Workshop on Semantic Evaluation, pp. 907-916, Minneapolis, Minnesota, USA, June 2019. Association for Computational Linguistics.

[7] Wei Shen, Jianyong Wang, and Jiawei Han. Entity linking with a knowledge base: Issues, techniques, and solutions. IEEE Transactions on Knowledge and Data Engineering, Vol. 27, No. 2, pp. 443-460, 2014.

[8] Kentaro Inui, Shuya Abe, Kazuo Hara, Hiraku Morita, Chitose Sao, Megumi Eguchi, Asuka Sumida, Koji Murakami, and Suguru Matsuyoshi. Experience mining: Building a large-scale database of personal experiences and opinions from web documents. In 2008 IEEE/WIC/ACM International Conference on Web Intelligence and Intelligent Agent Technology, Vol. 1, pp. 314-321. IEEE, 2008.

[9] Keun Chan Park, Yoonjae Jeong, and Sung Hyon Myaeng. Detecting experiences from weblogs. In Proceedings of the 48th Annual Meeting of the Association for Computational Linguistics, pp. 1464-1472, Uppsala, Sweden, July 2010. Association for Computational Linguistics.

[10] Yunzhong Liu, Yi Chen, Jiliang Tang, and Huan Liu. Context-aware experience extraction from online health forums. In 2015 International Conference on Healthcare Informatics, pp. 42-47. IEEE, 2015.

[11] 橋本力, 黒橋禎夫, 河原大輔, 新里圭司, 永田昌明. 構文・照応・評価情報つきブログコーパスの構築. 自然言語処理, Vol. 18, No. 2, pp. 175-201, 2011.

[12] Masayuki Asahara, Sachi Yasuda, Hikari Konishi, Mizuho Imada, and Kikuo Maekawa. BCCWJ-TimeBank: Temporal and event information annotation on Japanese text. In Proceedings of the 27th Pacific Asia Conference on Language, Information, and Computation (PACLIC 27), pp. 206-214, Taipei, Taiwan, November 2013. Department of English, National Chengchi University.


# JGLUE: 日本語言語理解ベンチマーク

栗原健太郎 ${ }^{1}$ 河原大輔 1 柴田知秀 2
1 早稲田大学理工学術院 2 ヤフー株式会社
${ }^{1}$ \{kkurihara@akane., dkw@\}waseda.jp
${ }^{2}$ tomshiba@yahoo-corp.jp

## 概要

計算機による言語理解を目指して、複数種類の言語理解タスクを包括的に解くことによってモデル を評価、分析することが盛んに行われている。英語の言語理解ベンチマークである GLUE [1]を先駆 けとして、中国語版の CLUE [2] やフランス語版の FLUE [3] などの英語以外の言語でもベンチマーク の公開が進んでいる一方で、日本語においてはこの ようなベンチマークは存在しない。本研究では、一般的な日本語理解能力を測ることを目的とし、翻訳 を介することなく、日本語で一から言語理解ベンチ マーク JGLUE を構築する。JGLUE によって日本語自然言語処理における言語理解研究の促進を図る。

## 1 はじめに

高性能な言語理解モデルの研究開発が目下、活発 に行われている。言語理解モデルの改良には、言語理解の能力を様々な観点から評価し分析するための ベンチマーク (データセット群) が必要である。英語 においては、GLUE (General Language Understanding Evaluation) [1] が構築、公開されている。GLUEであ る程度の高スコアを達成できる言語理解モデルが開発されると、より難易度の高いベンチマークとして SuperGLUE [4] などが構築され、ベンチマーク構築 と言語理解モデル開発の好循環が生まれている。

このような英語における言語理解研究活性化の潮流に乗じて、中国語版の CLUE [2]、フランス語版の FLUE [3]、韓国語版の KLUE [5] などの各言語にお けるベンチマークの構築や、XGLUE [6] などの多言語ベンチマークの構築が進んでいる。

日本語においては、現在のところ、GLUE のよう なベンチマークは存在せず、多言語ベンチマークに おいても日本語データは少数しか含まれていない。個々の日本語データセットは構築されているが、翻訳を介した構築手法を用いているか、特定のドメイ

ンを対象にしているものが多い。例えば、JSNLI [7] や JSICK [8] などは、英語のデータセットからの機械翻訳あるいは人手翻訳によって構築されている。 いずれの翻訳手法でも翻訳文の不自然さや日本との 文化差が大きな問題となる。また、JRTEコーパス [9] や運転ドメイン QA データセット [10] は、ホテ ルレビューや運転行動を対象としたデータセットで あり、一般的なドメインの言語理解能力を測るのに は向かない。

本研究では、一般的な日本語理解能力を測るこ とを目的とし、翻訳を介することなく、日本語で 一から言語理解ベンチマーク JGLUE を構築する。 JGLUE は、文章分類、文ペア分類、QA の 3 種類の タスクから構成し、GLUE および SuperGLUE のタス クを幅広くカバーするように設計した (表 1)。本べ ンチマークによって日本語における言語理解研究が 活性化することを期待する。

## 2 JGLUE の構築

JGLUE は、表 1 のとおり、文章分類、文ペア分類、 QAのタスクから構成する。以下では、各タスクの データセットの構築方法について説明する。各デー タセットの構築はクラウドソーシング1)を用いて行 う。ただし、文章分類タスクの一つである JCoLA (日本語容認性判断データセット) [11] は東京大学大関研究室から提供される予定であり、本稿では説明 しない。

1) Yahoo!クラウドソーシング  を用いた。

図 $1 \mathrm{JSTS}$ ・JNLI の構築フロー (画像の出典: いらすとや , ONWA イラスト )

表 2 JSTS・JNLI の例: 由来について、A, B, C はそれぞれ (JSTS-A, JNLI-A), (JSTS-B), (JSTS-C, JNLI-C) に含まれる文ぺアであることを示す。

## 2.1 MARC-ja

文章分類タスクの一つとして、多言語商品レ ビューコーパス MARC (Multilingual Amazon Reviews Corpus) [12] を使用してデータセットを構築する。

MARC は、通信販売サイト「アマゾン」における 商品レビューとそれに対する 1～5 の 5 段階の評価 をまとめたコーパスであり、英語や日本語などの 複数言語で公開されている。JGLUE においては、 MARC の日本語部分を使用し、容易に判断可能な問題にするために、 5 段階の評価のうち 3 を除く 4 つ の評価について、1,2を“negative”、4,5を“positive” に変換して用いた 2 值分類タスクとする。

MARC における問題点として、positive な内容の レビューに対して低評価がついている場合など、内容と評価が乘離したデータが含まれている場合が あることが挙げられる。これらのデータには、レ ビュー内容と明らかに異なるラベルが割り振られる ため、データセットの品質を低下させる。

評価に用いる dev/test データについては高品質な ものにするために、 positive, negative 判定タスクをク ラウドソーシングで実施する。多数決により正解ラ
ベルを振り直すとともに、票が割れる事例について は除去する。

評価指標には精度 (acc) を用いる。

## $2.2 \mathrm{JSTS \cdot \mathrm{JNLI}$}

文ペア分類タスクについては、意味的類似度計算 (Semantic Textual Similarity, STS) データセット JSTS および自然言語推論 (Natural Language Inference, NLI) データセット JNLI を構築する。

STS は文ペアの意味的な類似度を推定するタス クである。正解の類似度は、 0 (意味が完全に異な る)～ 5 (意味が等価) の間の値として付与されるの が一般的である。NLI は、前提文と仮説文の文ペア が与えられたときに、前提文が仮説文に対してもつ 推論関係を認識するタスクである。推論関係とし ては「含意 (entailment)」「矛盾 (contradiction)」「中立 (neutral)」の 3 值で定義されるのが一般的である。

STS, NLI タスクは GLUE において、それぞれ STS-B [13], MultiNLI [14] データセットが含まれてい る。日本語では、NLI データセット SNLI (Stanford NLI) [15] を機械翻訳した JSNLI [7]、STS/NLI データ セット SICK [16] を人手翻訳した JSICK [8] がある。

しかし、1節で述べたように、これらには翻訳に由来する問題があるため、本研究では日本語で一から 構築する。

JSTS と JNLI の文ペアは基本的に、YJ Captions Dataset [17] (以下、YJ Captions と呼ぶ) から抽出す る2)。SICK や JSICK と同様に、JSTS と JNLIを構成 する文ペアの大部分は重複しており、同じ文ぺアに 対する類似度と推論関係の関係を分析することがで きる。JSTS における類似度は STS-B と同様に $0 \sim 5$ の実数値とし、JNLI における推論関係は MultiNLI などと同様に上記の 3 值とする。

JSTS と JNLI の構築フローを図 1 に示す。基本的

ションを文ペアとし、クラウドソーシングによっ て類似度 (図 1 の JSTS-A) および entailment と neutral の NLI 事例 (図 1 の JNLI-A) を得る。しかし、ある 画像に対する 2 つのキャプションからは類似度の低 い文ぺアと contradiction 関係をもつ文ぺアを収集す ることが難しいという問題がある。そこで、異なる 画像に対するキャプションから類似度の低い文ペア を収集し(図1のJSTS-B)、contradiction 関係につい ては、あるキャプションに対して矛盾する文をワー カに作文してもらうことによって収集する (図19 JNLI-C)。作文で収集した contradiction 関係の事例に ついてもワーカに類似度を付与してもらう (図1の JSTS-C)。

以上の手続きによって獲得した JSTS-A, B, C の 3 つで JSTS、また JNLI-A, C の 2 つで JNLIを構築し た。表 2 に JSTS と JNLI の例を示す。

JSTS の評価指標には、STS-B と同様に Pearson お よび Spearman 相関係数を用いる。JNLI の評価指標 には、MultiNLI と同様に精度を用いる。

## 2.3 JSQuAD

QA タスクとして機械読解タスクの一つで ある SQuAD の日本語版と、次節で説明する CommonsenseQA の日本語版を構築する。

機械読解タスクは文書を読み、それに関する質問 に対して答えるというタスクである。多くの機械読解評価セットは英語で構築されているが、その他の 言語での機械読解評価セット ( [20] など) や多言語 の評価セット ( [21] など) が構築されている。

2) YJ Captions は MS COCO Caption Dataset [18] の日本語版で、 MS COCO [19] に含まれる画像に日本語のキャプションを 5 文 ずつクラウドソーシングで付与することによって構築されて いる。
[タイトル] 東海道新幹線

1987 年（昭和62 年）4月 1 日の国鉄分割民営化によ り、JR東海が運営を継承した。西日本旅客鉄道 (JR西日本) が継承した山陽新幹線とは相互乗り入れが行わ
れており 2020 年 (令和 2 年) 3 月現在、東京駅新大阪駅間の所要時間は最速 2 時間 21 分、最高速度 $285 \mathrm{~km} / \mathrm{h}$ で運行されている。

質問: 2020 年、東京〜新大阪間の最速の所要時間は 答え: 2 時間 21 分

質問: 東海道新幹線と相互乗り入れがされている路線 はどこか?

答え: 山陽新幹線

図 $2 \mathrm{JSQuAD}$ の例

問題: 電車に人が乗り降りする場所を何という？

選択肢: 駅, 鉄道会社, 線路, 空港, 港

図 3 JCommonsenseQA の構築フロー

日本語ではクイズを対象にした機械読解評価セッ ト [22] や運転ドメインの評価セット [10] が構築さ れているが、一般ドメインのものはない。そこで、 Wikipediaを用いて一般ドメインの評価セットを構築する。構築は基本的に SQuAD 1.1 [23] にならう。

まず、 $\left(\mathrm{ayuki}^{3}\right.$ )を用いて、高品質な記事 10,000 記事を選出し、そこからランダムに 822 記事を選ぶ4)。次に、記事を段落に分割し、ワーカに各段落を提示 し、段落を理解できれば答えられるような質問と その答えを書いてもらう。図 2 に JSQuAD の例を 示す。

評価指標は SQuAD にならい、Exact match (EM) と $\mathrm{F}^{5}$ をを用いる。

## 2.4 JCommonsenseQA

JCommonsenseQA は、CommonsenseQA [24] の日本語版データセットであり、常識推論能力を評価する ための 5 択 QA 問題で構成する。JCommonsenseQA は、CommonsenseQA と同様に、知識ベース Concept-

3） Nayuki は Wikipedia 内のハイパーリンクに基づき、記事の 品質を推定するものである。https://www.nayuki.io/

4）例えば「熊本県」「フランス料理」などの記事がある。

5）英語では F1 は単語単位で計算されているが、日本語で形態素単位で計算すると採用する形態素解析器によって值が異 なってしまうので文字単位で計算する。
表 3 JGLUEによる各種モデルの評価結果

 & \multicolumn{2}{|c|}{} &  & \multicolumn{2}{|c|}{} & \multicolumn{2}{|c|}{} \\

Net [25]をシードとし、クラウドソーシングを用い て構築する。ConceptNet は、2つの概念 (concept) と、 その間の関係 (relation)を表す 3 つ組からなる多言語知識ベースである。3つ組は方向性を持ち、例え ば (新幹線, AtLocation, 駅) のように、(source concept, relation, target concept)として表される。

JCommonsenseQA の構築フローを図 3 に示す。ま ず、source と、それに対して同じ relationを持つ target 3 つからなる集合 (Question Set, QS) を ConceptNet から 収集する。次に、各 $\mathrm{QS}$ に対して、1つの target のみ が解答となる問題文の作成と、 2 つの誤り選択肢の 追加をクラウドソーシングで行う。

評価指標には CommonsenseQA と同様に精度を用 いる。

## 3 JGLUE を用いたモデル評価

## 3.1 実験設定

実験に用いた事前学習モデルを付録の C に示す。 ファインチューニングはタスク/データセットに応 じて以下のように行った6)。

・文章分類タスクと文ペア分類タスク: [CLS] トークンに対する分類/回帰問題を解く。
- JSQuAD: 各トークンに対して答えのスパンの開始/終了となるかどうかの分類問題を解く7)。

-JCommonsenseQA: 質問と各選択肢を連結し、多肢選択式問題を解く。

dev セットで最適なハイパーパラメータを探索し、最適なハイパーパラメータで test セットで性能を算出した。実験に用いたハイパーパラメータを付録の

6）Hugging Face 社の transformers を用いた。https://github. com/huggingface/transformers

7） XLM-RoBERTa BASE と XLM-RoBERTa LARGE $^{2}$ はトークナイザ として Unigram 言語モデルを利用しており、トークンの区切 りと答えのスパンの開始/終了が一致しないことが多く、性能 が出ないため対象から除いた。
D に示す。

## 3.2 結果

表 3 に各種モデルのスコアならびにヒューマン スコアを示す。ヒューマンスコアはデータ構築と同様、クラウドソーシングを用いて算出した。モデ ルの性能の比較は以下のようにまとめることがで きる。

・全般的には XLM-RoBERTa これは LARGE サイズであることと、事前学習のテキストとして Wikipedia よりも大規模な Common Crawl を使っていることが考えられる。

・基本単位について、サブワード単位と文字単位 を比較すると一貫してサブワード単位の方が精度が高い。

$\cdot$ JCommonsenseQA は Wikipedia には記載され にくい常識的な知識を要求することから、 Common Crawl を用いたモデルの精度が高い。

・JCommonsenseQA 以外についてはべストなモデ ルは人間のスコアと同等または超えている。

公開されているモデルは事前学習のテキスト、学習時間、トークナイザなどの条件が異なるため、精度向上にどの要素が効いているか、厳密には判断で きない。今後、他の条件を揃えて例えばトークナイ ザのみを変えた場合の比較などを行う予定である。

## 4 おわりに

本論文では日本語における言語理解ベンチマー ク JGLUE の構築について述べた。JGLUE v1 は 2022 年 3 月に公開する予定である。JGLUE を用いて、事前学習モデルの包括的な評価や、より難しい評価 データの構築が進むことを期待している。今後は GLGE [26] のような生成系タスクや FLEX [27] のよ うな Few-shot タスクのデータセットなどを構築する 予定である。

## 謝辞

本研究はヤフー株式会社と早稲田大学の共同研究 により実施した。

## 参考文献

[1] Alex Wang, Amanpreet Singh, Julian Michael, Felix Hill, Omer Levy, and Samuel Bowman. GLUE: A multi-task benchmark and analysis platform for natural language understanding. In EMNLP2018 Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP, pp. 353-355, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[2] Liang Xu, Hai Hu, Xuanwei Zhang, Lu Li, Chenjie Cao, Yudong Li, Yechen Xu, Kai Sun, Dian Yu, Cong Yu, Yin Tian, Qianqian Dong, Weitang Liu, Bo Shi, Yiming Cui, Junyi Li, Jun Zeng, Rongzhao Wang, Weijian Xie, Yanting Li, Yina Patterson, Zuoyu Tian, Yiwen Zhang, He Zhou, Shaoweihua Liu, Zhe Zhao, Qipeng Zhao, Cong Yue, Xinrui Zhang, Zhengliang Yang, Kyle Richardson, and Zhenzhong Lan. CLUE: A Chinese language understanding evaluation benchmark. In COLING2020, pp. 4762-4772, Barcelona, Spain (Online), December 2020.

[3] Hang Le, Loïc Vial, Jibril Frej, Vincent Segonne, Maximin Coavoux, Benjamin Lecouteux, Alexandre Allauzen, Benoit Crabbé, Laurent Besacier, and Didier Schwab. FlauBERT: Unsupervised language model pre-training for French. In LREC2020, pp. 2479-2490, Marseille, France, May 2020. European Language Resources Association.

[4] Alex Wang, Yada Pruksachatkun, Nikita Nangia, Amanpreet Singh, Julian Michael, Felix Hill, Omer Levy, and Samuel Bowman. SuperGLUE: A stickier benchmark for general-purpose language understanding systems. In $\mathrm{H}$. Wallach, H. Larochelle, A. Beygelzimer, F. d'Alché-Buc, E. Fox, and R. Garnett, editors, Advances in NeuralIPS, Vol. 32. Curran Associates, Inc., 2019.

[5] Sungjoon Park, Jihyung Moon, Sungdong Kim, Won Ik Cho, Ji Yoon Han, Jangwon Park, Chisung Song, Junseong Kim, Youngsook Song, Taehwan Oh, Joohong Lee, Juhyun Oh, Sungwon Lyu, Younghoon Jeong, Inkwon Lee, Sangwoo Seo, Dongjun Lee, Hyunwoo Kim, Myeonghwa Lee, Seongbo Jang, Seungwon Do, Sunkyoung Kim, Kyungtae Lim, Jongwon Lee, Kyumin Park, Jamin Shin, Seonghyun Kim, Lucy Park, Alice Oh, Jung-Woo Ha, and Kyunghyun Cho. KLUE: Korean language understanding evaluation. In Thirty-fifth Conference on NeuralIPS Datasets and Benchmarks Track (Round 2), 2021.

[6] Yaobo Liang, Nan Duan, Yeyun Gong, Ning Wu, Fenfei Guo, Weizhen Qi, Ming Gong, Linjun Shou, Daxin Jiang, Guihong Cao, Xiaodong Fan, Ruofei Zhang, Rahul Agrawal, Edward Cui, Sining Wei, Taroon Bharti, Ying Qiao, Jiun-Hung Chen, Winnie Wu, Shuguang Liu, Fan Yang, Daniel Campos, Rangan Majumder, and Ming Zhou. Xglue: A new benchmark dataset for cross-lingual pre-training, understanding and generation, 2020.

[7] 吉越卓見, 河原大輔, 黒橋禎夫. 機械翻訳を用いた自然言語推論データセットの多言語化. 情報処理学会研究報告 第 244 回自然言語処理研究会, pp. 1-8, 2020.

[8] 谷中瞳, 峯島宏次. JSICK: 日本語構成的推論・類似度データ セットの構築. 人工知能学会全国大会論文集, Vol. JSAI2021, pp. 4J3GS6f02-4J3GS6f02, 2021.

[9] Yuta Hayashibe. Japanese realistic textual entailment corpus. In LREC2020, pp. 6827-6834, Marseille, France, May 2020. European Language Resources Association.

[10] Norio Takahashi, Tomohide Shibata, Daisuke Kawahara, and Sadao Kurohashi. Machine comprehension improves domainspecific Japanese predicate-argument structure analysis. In MRQA2019, pp. 98-104, Hong Kong, China, November 2019.

[11] 染谷大河, 大関洋平. 日本語版 CoLA の構築. 言語処理学会第 28 回年次大会, 2022.

[12] Phillip Keung, Yichao Lu, György Szarvas, and Noah A. Smith. The multilingual Amazon reviews corpus. In EMNLP2020, pp. 4563-4568, Online, November 2020.

[13] Daniel Cer, Mona Diab, Eneko Agirre, Inigo Lopez-Gazpio, and Lucia Specia. Semeval-2017 task 1: Semantic textual similarity multilingual and crosslingual focused evaluation. In SemEval2017, 2017.

[14] Adina Williams, Nikita Nangia, and Samuel Bowman. A broadcoverage challenge corpus for sentence understanding through inference. In NAACL2018, pp. 1112-1122, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[15] Samuel R. Bowman, Gabor Angeli, Christopher Potts, and Christopher D. Manning. A large annotated corpus for learning natural language inference. In EMNLP2015, pp. 632-642, Lisbon, Portugal, September 2015. Association for Computational Linguistics.

[16] Marco Marelli, Stefano Menini, Marco Baroni, Luisa Bentivogli, Raffaella Bernardi, and Roberto Zamparelli. A SICK cure for the evaluation of compositional distributional semantic models. In LREC2014, pp. 216-223, Reykjavik, Iceland, May 2014. European Language Resources Association (ELRA).

[17] Takashi Miyazaki and Nobuyuki Shimizu. Cross-lingual image caption generation. In ACL2016, pp. 1780-1790, 2016.

[18] Xinlei Chen, Hao Fang, Tsung-Yi Lin, Ramakrishna Vedantam, Saurabh Gupta, Piotr Dollar, and C. Lawrence Zitnick. Microsoft COCO captions: Data collection and evaluation server, 2015.

[19] Tsung-Yi Lin, Michael Maire, Serge Belongie, Lubomir Bourdev, Ross Girshick, James Hays, Pietro Perona, Deva Ramanan, C. Lawrence Zitnick, and Piotr Dollár. Microsoft COCO: Common objects in context, 2015.

[20] Yiming Cui, Ting Liu, Wanxiang Che, Li Xiao, Zhipeng Chen, Wentao Ma, Shijin Wang, and Guoping Hu. A span-extraction dataset for Chinese machine reading comprehension. In EMNLPIJCNLP2019, Hong Kong, China, November 2019.

[21] Patrick Lewis, Barlas Oguz, Ruty Rinott, Sebastian Riedel, and Holger Schwenk. MLQA: Evaluating cross-lingual extractive question answering. In ACL2020, Online, July 2020.

[22] 鈴木正敏, 松田耕史, 岡崎直観, 乾健太郎. 読解による解答可能性を付与した質問応答データセットの構築. 言語処理学会第 24 回年次大会, 2018.

[23] Pranav Rajpurkar, Jian Zhang, Konstantin Lopyrev, and Percy Liang. SQuAD: 100,000+ questions for machine comprehension of text. In EMNLP2016, pp. 2383-2392, Austin, Texas, November 2016.

[24] Alon Talmor, Jonathan Herzig, Nicholas Lourie, and Jonathan Berant. CommonsenseQA: A question answering challenge targeting commonsense knowledge. In NAACL2019, Minneapolis, Minnesota, June 2019.

[25] Robyn Speer, Joshua Chin, and Catherine Havasi. Conceptnet 5.5: An open multilingual graph of general knowledge. AAAI2017, Vol. 31, No. 1, Feb. 2017.

[26] Dayiheng Liu, Yu Yan, Yeyun Gong, Weizhen Qi, Hang Zhang, Jian Jiao, Weizhu Chen, Jie Fu, Linjun Shou, Ming Gong, Pengcheng Wang, Jiusheng Chen, Daxin Jiang, Jiancheng Lv, Ruofei Zhang, Winnie Wu, Ming Zhou, and Nan Duan. GLGE: A new general language generation evaluation benchmark. In ACLIJCNLP 2021 Findings, Online, August 2021.

[27] Jonathan Bragg, Arman Cohan, Kyle Lo, and Iz Beltagy. FLEX: Unifying evaluation for few-shot NLP. In NeurIPS2021, 2021.
表 4 事前学習モデルの詳細

 & 日本語 Wikipedia \\

## A JCommonsenseQA の例

JCommonsenseQA の例を図 4 に示す。

問題: 会社の最高責任者を何というか?

選択肢: 教師, 部長, 社長, 部下, バイト

問題: スープを飲む時に使う道具は何？

選択肢:スプーン,メニュー, 血, フォーク,はし

図 4 JCommonsenseQA の例

## Ｂ各データセットのラベル分布

MARC-ja, JSTS, JNLI のラベルの分布を表 5 - 7 に 示す。

## C 事前学習モデル

実験に用いた事前学習モデルの詳細を表 4 に 示す。

## D ハイパーパラメータ

実験に用いたハイパーパラメータを表 8 に示す。

表 8 実験に用いたハイパーパラメータ

(中括弧内の数字はハイパーパラメータサーチをして最適 なものを選んだことを示す)

## E 学習データ量を変えた時の精度変化

学習データ量を 0.75 倍、 0.5 倍に変えて精度がど のように変わるかを調べた。モデルは最も精度がよ かったモデルを利用した。結果を図 5 に示す。いず れのデータセットでも精度はほぼ飽和しており、構築した学習データ量が十分であることがわかる。

図 5 学習データ量を変えた時の精度変化 (dev セット)


# 症例報告を対象とした個人情報匿名化のための 病名の識別と評価

細谷 健登 北橋 竜雄
株式会社インテック
\{hosoya_kento, kitahashi_tatsuo\}@intec.co.jp

## 概要

本稿では, データ利活用を見据えて, 営業日報など のテキストデータから個人情報に相当する用語を識別, 除去することを目的に症例報告コーパスを用い て, 固有表現認識による病名識別精度の改善および 実用性を重視した固有表現認識の評価方法について 提案する. 固有表現認識を個人情報の匿名化に活用 する際には, 精度が $100 \%$ とはならない以上, 人の手 による確認作業が必要になるため, そのことを前提 としてどれだけ目的の固有表現の存在を示せるかの 評価指標を提案する. 症例報告のような専門的な内容のコーパスにおける固有表現認識の改善方法とし て,そのドメインコーパスのみを用いた分散表現の モデルを作成し, 固有表現認識の学習に加えること で精度を向上させる手法を提案する。

## 1 はじめに

近年様々な分野において, 営業日報やコールセン ターの応対記録, 臨床データなどのテキストデータ の利活用が進んでいる, しかし, 個人情報の取り扱い や情報漏えい防止に関する各種法令およびガイドラ インが強化されていく中で, データの活用には個人情報や機微情報の匿名化が必要となっている. 構造化データの場合は個人情報の位置の特定は比較的容易のため, $\mathrm{k}$-匿名化 [1] 等の確立された手法で自動的 に行うことは可能である.一方,テキストデータのよ うな非構造化データの場合, どこに個人情報が埋め 込まれているかわからないため, 匿名化するには手作業で行わなければならないが, その作業負荷は大 きい. これがテキストデータの利活用が進まない一 つの要因となっている. これらの作業の負荷軽減の ために, 個人情報の自動マスキングというタスクの コンペティションが行われる [2] など, 固有表現認識 の活用が求められている.本研究では, 機微情報として病名に注目した固有表現認識を行う. 病名は非常にセンシティブな情報 であるため, 機微情報として扱う必要性があるため である. 機微情報である病名を自動的に識別するこ とにより, 匿名化の作業負荷軽減を図ることができ る.しかし, 人名や地名などは固有表現認識のための データセットが充実し始めているが [3], 病名につい てはそのようなデータセットが少なく,一般的に使用することのできる固有表現認識のためのコーパス は確立されていない. 本研究においては, 病名の識別 のため, 奈良先端科学技術大学院大学ソーシャル・ コンピューティング研究室 (SOCIOCOM) より提供 される MedTxt-CR: 症例報告 (Case Reports) コーパス [4] を用いて病名の固有表現認識モデルを構築し,さ らにモデルの精度向上のための手法を提案する。

固有表現認識を個人情報の識別に活用する際に，課題となる点として精度の問題がある. 個人情報の 識別では限りなく $100 \%$ に近い精度が求められるが,固有表現認識の精度を $100 \%$ にすることは困難であ り, 実際に固有表現認識を活用する場合には, 人の目 で確認するという作業が必要となる [5]. 一般的に使用される固有表現認識の精度評価では, 固有表現の アノテーションを正確に予測できた場合のみが正解 となり,その正解数に応じて精度の計算を行う. しか し, 個人情報を匿名化する場合は, 予測したアノテー ション位置が完全である必要性は高くない. 予測し たい部分の一部でもアノテーションされていれば，手作業で修正することは容易であるためである. そ のため本稿では, より実用性を重視し, どれだけ目的 の固有表現の存在を示せるかについての固有表現認識の評価方法を提案する。

## 2 関連研究

## 2.1 固有表現認識

固有表現認識は文中の固有表現の位置を識別し， それらのラベルを予測する自然言語処理技術であ る. 固有表現とは人名, 地名, 団体名などの固有名詞 や，時刻や数量などのあらかじめ定義された表現の 総称である. 文書中の固有表現を正しく認識するこ とは, 情報抽出や情報検索などの自然言語処理の応用において重要となる.

固有表現認識の多くの研究は系列ラベリングによ る手法に基づいており，近年では BERT[6]を用いた 事前学習によるニューラル言語モデルを用いた BIO タグ付けによる手法において高い精度が確認されて いる.

## 2.2 MedTxt-CR: 症例報告 (Case Reports) コーパス

MedTxt-CR: 症例報告 (Case Reports) コーパスは, J-Stage でオープンアクセス公開されている症例報告論文 PDF から OCR 抽出したテキストのコーパス である [4]. OCR エラーによる非文を削除した OCR 抽出テキスト全文書 (3148 件), および単語レベルの OCR エラー修正・NERアノテーション [7] 済みの頻度バランスサブセット (224 件) が提供されているお り, NER アノテーションは病名/症状, 臟器/部位, 特徵/尺度, 変化, 時間表現など, 症例にかかわる様々な アノテーションがされている. 本研究では, 特に病名の識別に注目するため, NERアノテーション済み のテキストから病名/症状のアノテーションのみを 残し, その他のアノテーションを除去したものを用 いる.

## 3 実験

ニューラル固有表現認識の精度は文字や単語の埋 め込みの手法に影響される. 本実験では単語埋め込 みの手法を変化させ, 固有表現認識モデルを作成す る.また, 本研究における, 固有表現認識モデルには,固有表現認識タスクにおいて高い精度が報告されて いる, Bi-LSTM + CRF[8] を用いる。

## 3.1 ベースラインモデル

ベースラインモデルとして, 埋め込み表現に文字 ベースの言語モデルを使って単語分散表現を構築す る Akbik らの手法 (Flair embedding)[9] を用いる。ま た比較のため, 一般的に高い精度が出るとされる Flair embedding と BERT の分散表現を組み合わせた
ものでも実験を行う.ここで, BERT の事前学習モデ ルとしては情報通信研究機構 データ駆動知能シス テム研究センターより公開されている NICT BERT 日本語 Pre-trained モデル BPE あり [10]を使用する.

## 3.2 提案手法: ドメインコーパスのみを用 いた分散表現の作成

BERT 等の事前学習モデルを用いる手法の場合,事前学習モデルの学習には大量のデータが必要にな るため, 基本的に Wikipedia など, 一般的に見られる テキストを使用して学習が行われている. しかし, 症例報告のようなあるドメインに特化したコーパスを 用いる場合, そのドメイン内でのみ見られる単語が 多く使用されており, 事前学習モデルでは補い切れ ないという問題がある. 本研究ではその問題の解決 のために, 入力する単語埋め込みに事前学習モデル の分散表現に加え, ドメインコーパスのみを用いて 学習した分散表現を加えることで精度の向上を図 る. ドメインコーパスにおける分散表現の学習には Word2Vec[11]を用いる. 本実験では, 下記の通りに 入力する単語埋め込みを組み合わせたもので実験を 行う.
- Flair embedding + Word2Vec
- BERT + Word2Vec
- Flair embedding + BERT + Word2Vec

## 3.3 症例報告コーパスの追加アノテー ション

学習データ量を増やすため, OCR 抽出テキスト全文書から NERアノテーション済みの頻度バランス サブセットに使用されていない文書を取り出し, 手動でアノテーションを行った. アノテーションの手 がかりとして, SOCIOCOM で提供される万病辞書 （MANBYO_202106）を用いた形態素解析結果 [12], および標準病名マスター病名検索結果 [13] を元に実施した. 今回追加でアノテーションしたのは 159 件 である.ここでアノテーションしたコーパスを学習 データに追加し, ベースモデルと同様の手法で学習 を行った。

## 3.4 提案評価指標

本実験で作成したモデルの評価指標として, F1 值に加えて実用性を重視した評価指標 (正解指示率) を用いる. 正解指示率では, テストデータのア ノテーションにおいて,一部でもアノテーションが されている場合には正解としてカウントする. テス
を識別

## 正解 長与甲型肝硬変と急性アルコール性肝炎と判明した。 \\ 予測 長与甲型肝硬変と急性アルコール性肝炎と判明した。

(c) 1 つの正解部分を 2 つに分けて識別

正解 長与甲型肝硬変と急性アルコール性肝炎と判明した。

予測 長与甲型肝硬変と急性アルコール性肝炎と判明した。

(d) 2 つの正解部分をまとめて識別

図1 正解指示率において正解とするアノテーション例 トデータ内の正解アノテーション数を $N_{c}$, 予測し たアノテーション数を $N_{p}$ とし, 正解アノテーショ ンを $s_{c i}\left(b_{c i}, e_{c i}\right)\left(i=1,2, \ldots, N_{c}\right)$, 予測したアノテー ションを $s_{p j}\left(b_{p j}, e_{p j}\right)\left(j=1,2, \ldots, N_{p}\right)$ と表すとす る.ここで $, b, e$ はそれぞれアノテーションの開始位置, 終了位置である. このとき, 正解指示率 Score は

$
\begin{aligned}
\text { Score } & =\frac{\sum_{i=1}^{N_{c}} f\left(s_{c i}, S_{p}\right)}{N_{c}} \\
S_{p} & =\left.\{s_{p 1}, s_{p 2}, \ldots, s_{p N_{p}}\right.\} \\
f\left(s_{c i}, S_{p}\right) & = \begin{cases}1 & \exists s_{p j}\left(b_{p j}, e_{p j}\right) \in S_{p} \\
& :\left(b_{c i} \leq b_{p j} \leq e_{c i}\right) \cup\left(b_{c i} \leq e_{p j} \leq e_{c i}\right), \\
0 & \text { otherwize }\end{cases}
\end{aligned}
$

と表される.

図 1 に正解指示率で正解とするアノテーションの 例を示す.

## 4 結果

表 1 に固有表現認識の結果を示す. ※を付与した ものが提案手法である。

ベースラインの手法と比較すると埋め込みの手法を複数組み合わせた場合は精度が高くなること がわかる. F1 值について比較すると, 提案手法であ る Flair+W2V, BERT+W2V の結果は, Flair+BERT に は劣るものの, ベースラインを上回る精度となり, Flair+BERT+W2V と 3 つを組み合わせた場合が最も 高いという結果になった. また, 正解指示率について 比較すると, Flair+BERT, および BERT+W2V が同等 の値で最も高いという結果となった.表 1 実験結果

新たにアノテーションをしたデータを追加した場合の結果については, F1 值および正解指示率ともに 減少するという結果となった.これは, 提供されて いる NER アノテーション済みの頻度バランスサブ セットと新規でアノテーションしたデータでアノ テーションの規準が統一されていなかったためであ ると考えられる。

## 5 おわりに

本稿では症例報告コーパスにおける病名の識別モ デルの構築と実用のための固有表現認識の評価指標 を提案した. 症例報告コーパスでの病名の識別では，単語埋め込みにドメインコーパスより学習した分散表現を追加することで, 固有表現認識の精度を向上 させる手法を提案した. 固有表現認識の評価におい て正解指示率を用いることで, どの程度目的の固有表現の存在を示すことができるのかの指標となるた め, 匿名化に必要なタスクについても固有表現認識 モデルの有用度を示すことができる。

個人情報の匿名化について実用化を意識した場合 の課題として, まず提案評価指標においての精度を 100\%に近づける必要がある. そのための今後の展望 として, モデルの学習方法工夫だけでなく, 辞書や ルールベースの手法を組み合わせることでより精度 を向上させることが挙げられる. また, データの不足 を補うために, 同基準によるアノテーションデータ を拡充するための作業フローの整備をしていく必要 があると考えられる。

## 謝辞

本研究を行うにあたり, 症例報告コーパスのデー タを提供いただいた奈良先端科学技術大学院大学 ソーシャル・コンピューティング研究室の皆様に心 より感謝いたします。

## 参考文献

[1] Pierangela Samarati and Latanya Sweeney. Protecting Privacy when Disclosing Information: k-Anonymity and its Enforcement through Generalization and Suppression. Technical report, Computer Science Laboratory, SRI International, 1998.

[2] Nishika 株式会社. 判例の個人情報の自動マスキ ングコンペ振り返り,2021. https://note.com/ nishika_inc/n/n78447a423abe\#N58Rd.

[3] 近江崇宏. Wikipedia を用いた日本語の固有表現抽出 のデータセットの構築. 言語処理学会 第 27 回年次大会, 2021.

[4] MedTxt-CR: 症例報告 (Case Reports) コーパス, 2020. https://sociocom.naist.jp/medtxt/cr/.

[5] 荒牧英治, 奥村学. 医療言語処理. コロナ社, 2017.

[6] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding, 2019.

[7] Shuntaro Yada, Ayami Joh, Ribeka Tanaka, Fei Cheng, Eiji Aramaki, and Sadao Kurohashi. Towards a Versatile Medical-Annotation Guideline Feasible Without Heavy Medical Knowledge: Starting From Critical Lung Diseases. Proceedings of The 12th Language Resources and Evaluation Conference, pp. 4567-4574, 2020.

[8] Zhiheng Huang, Wei Xu, and Kai Yu. Bidirectional LSTMCRF Models for Sequence Tagging, 2015.

[9] Alan Akbik, Duncan Blythe, and Roland Vollgraf. Contextual String Embeddings for Sequence Labeling. Proceedings of the 27th International Conference on Computational Lingistics, pp. 1638-1649, 2018.

[10] NICT BERT 日本語 Pre-trained モデル, 2020. https: //alaginrc.nict.go.jp/nict-bert/.

[11] Tomas Mikolov, Kai Chen, Greg Corrado, and Jeffrey Dean. Efficient Estimation of Word Representations in Vector Space, 2013

[12] 万病辞 書 Manbyo-Dictionary, 2021. https:// sociocom.naist.jp/manbyou-dic/.

[13] 標準病名マスター病名検索, 2021. http://www. byomei.org/Scripts/Search/index_search.asp.


# 入れ子型固有表現に対する変分情報ボトルネック法の適用

原田宥都 渡辺太郎
奈良先端科学技術大学院大学
\{harada.yuto.hq4, taro\}@is.naist.jp

## 概要

大規模に事前学習された言語モデルは豊富な意味情報や構文情報を学習しているが，個々のタスクで それらの全ての情報が必要であるとは限らない. 本研究では，言語モデルの持つ情報のうち，特定の夕 スクで重要な情報を取り出す手法として「変分情報 ボトルネック法」を用い，これを特に「入れ子型固有表現認識タスク」に適用するための手法を提案す る. 実験を通して，提案モデルでは入力特徴の次元 を削減することで予測精度が向上することを確認 した. また分析の結果，入れ子レベルの深さに応じ て，固有表現の予測に重要な情報が異なることを示 した.

## 1 はじめに

ELMo [1] や BERT [2] など，巨大な言語資源を用 いて訓練された大規模な言語モデルは，特定のタス クに依存しない方法で学習が行われているが，それ らは言語に関する汎用的な表現を獲得しているた め，近年では様々なタスクにおける最先端の性能に 貢献している。

汎用的な埋め込み表現は様々なタスクに役立つ一方で，次元数の大きいものが多く，特定のタスクに おいてはそのような大きな次元数は必要がない可能性もある。タスクを解く上で重要な情報のみを取り 出し，適切な次元数へ圧縮することができれば，モ デルが入力特徴にフィットしやすくなり，性能が向上することが期待される。また，残された情報を分析することで，そのタスクにおいてどのような情報 が重要なのか，という知見を得ることができ，更な る性能向上に役立てることができる。

本研究では，自然言語処理タスクの一つである入 れ子型固有表現認識を対象として, 事前学習済み言語モデルに含まれる情報についての調査を行う.

入れ子型固有表現とは，一つの固有表現が，内部 に複数の固有表現を含んでいるものを指す. 図 1 に

図13層に入れ子になった固有表現の例

示した例のように，それぞれの固有表現が階層的な 構造となっているため，より内側の入れ子レベルの 固有表現はスパンが短く，より外側の入れ子レベル の固有表現はスパンが長いという特徴を持つ. 本研究では，異なる入れ子レベルにおいて予測に必要な 情報はそれぞれ異なるのではないか，という仮定を 置き，各入れ子のレベルにおいて，予測に必要な情報を単語埋め込みから保存する手法を提案する。提案手法では，単語埋め込みから特定の情報のみを 保存するために，変分情報ボトルネック法 [3] を用 いる.

変分情報ボトルネック法とは，情報ボトルネック の原理に基づくアイデアであり，ニューラルネット ワークの入力表現を，予測精度を保ちながら次元圧縮することのできる手法である。

本研究では，この変分情報ボトルネック法をエン コーダとして利用し，入れ子型固有表現認識に適用 した. 3 種類の提案モデルについて実験による性能評価を行い，2つの提案モデルがベースラインの性能を上回った. また学習したエンコーダの分析を通 して，各入れ子レベルにおいて予測に重要な情報が どのように異なるかを可視化することができた.

## 2 関連研究

## 2.1 入れ子型固有表現認識

入れ子型固有表現認識 (Nested Named Entity Recognition, Nested-NER）は，情報抽出のタスクの一 つであり，[4]によって提案され，近年盛んに研究 されている。例えば既存のアプローチとして，入れ
子構造を明示的に捉えるようなモデル設計をした 特徴べースのアプローチが存在している $[5,6,7,8]$. また，レイヤードモデルを用いたアプローチ $[9,10]$ も有効であることが分かっている.これらの研究で は，入れ子を扱わない一般的な NER モデルを積み 重ねることで，段階的に大きな固有表現を抽出する ことにより，入れ子になった固有表現を扱うことが できる. [11]ではさらにレイヤードモデルにおける 誤差の伝搬などの問題にも対処し, 最先端の性能を 達成している.

## 2.2 情報ボトルネック法

情報ボトルネック法（Information Bottleneck）と は，情報理論の分野に起源を持つ手法であり，近年 では機械学習において利用されている。 ある信号 $x \in X$ から別の信号 $y \in Y$ を予測する際に，予測に 無関係である冗長な情報を取り除いた $X$ の圧縮表現 $T$ を見つけることが目的であり, 次のように記述 できる.

$
\mathscr{L}_{I B}=\beta I(X, T)-I(T, Y)
$

$I(-,-)$ は相互情報量を示している.これは， $I(X, T)$ をなるべく最小化しながら $I(Y, T)$ を最大化 すること，つまり, 圧縮表現 $T$ が $X$ についての情報 を最大限破棄しつつも，T が $Y$ を予測するために必要な情報は最大限保持するということを意味して いる.

## 2.3 変分情報ボトルネック法

[3] において (1) の効率的な変分推定が提案されて おり，以下のように導出されている。

$\mathscr{L}_{V I B}=\beta \underset{x}{\mathbb{E}}\left[\operatorname{KL}\left[p_{\theta}(t \mid x), r(t)\right]\right]+\underset{t \sim p_{\theta}(t \mid x)}{\mathbb{E}}\left[-\log q_{\phi}(y \mid t)\right]$

ここで $r(t)$ は $p(t)$ の変分近似、 $q_{\phi}(y \mid t)$ は $p(y \mid t)$ の変分近似である。 $p_{\theta}(t \mid x)$ と $q_{\phi}(y \mid t)$ は独自のパラ メータセットを持つニューラルネット，つまりエン コーダとデコーダであることを意味している.

## 2.4 情報ボトルネック法の自然言語処理へ の応用例

情報ボトルネック法は，近年，自然言語処理の分野においても様々な問題解決やモデルの分析の手法 として利用されている。構文解析 [12], 要約 [13],低資源の状況における言語モデルの正則化 [14], Transformer モデルの各層の間でトークンの表現がど のように変化しているかの分析 [15]，といった事例 がある．特に，変分情報ボトルネック法を構文解析 タスクに適用した [12] は，特定のタスクのために単語埋め込み表現を専門化させるという汎用性の高い 手法であり, 本研究ではこれを参照し，変分情報ボ トルネック法を入れ子型固有表現認識タスクに適用 する.

## 3 提案手法

## 3.1 ベースライン

我々の入れ子型固有表現認識モデルは，基本的な ニューラル・レイヤード・アーキテクチャである Layered-BiLSTM-CRF モデル [10] を参考にしている.図 2 に概要を示したが，それぞれの入れ子レベルに 対応して系列ラベリングモデルを学習させ，それら をパイプライン的に積み重ねることで，入れ子型の 固有表現を認識する。

ベースラインモデルにおいては，文中の単語は BERT によって単語埋め込み表現へマッピングさ れ，1層目の入力として用いられる． 2 層目以降に おいては，下の層の BiLSTM の出力を受け取り，入力として用いる.

## 3.2 変分情報ボトルネック法の適用

本研究では，テキスト $x$ が，事前学習済み言語モ デルによって得られた $M$ 次元のべクトル表現とし て人力されるものとする $\left(x \in \mathbb{R}^{M}\right)$. また，圧縮表現 $t$ も $N$ 次元のベクトルであるとする $\left(t \in \mathbb{R}^{N}\right) . x$ から圧縮表現 $t$ へマッピングする VIB エンコーダ $p_{\theta}(t \mid x)$ は, [3] と同じく, 平均 $\mu(x, \theta)$ 分散 $\sigma^{2}(x, \theta)$ を持つ $\mathrm{N}$ 次元の正規分布で与えられるとし，デコー ダ $q_{\phi}(y \mid t)$ は softmax 関数を通して得られるカテゴリ カル分布として,$f(t, \phi)$ とおく. $r(t)$ はデフォルト で正規分布 $\mathcal{N}(0,1)$ とする. この時，式 2 の右辺の 第一項は $\mathcal{N}\left(\mu, \sigma^{2}\right)$ と $\mathcal{N}(0,1)$ との KL ダイバージェ ンスなので

$
\beta \mathrm{KL}[p, r]=-\frac{\beta}{2}\left(|\mu|^{2}+N\left(\sigma^{2}-\log \sigma^{2}-1\right)\right)
$

となり, 式 2 の右辺の第二項は， $x, y$ をデータから， $t$ を再パラメータ化トリック [16] によってサンプル することで，

$
\operatorname{CrossEnt}(f(\mu(x, \theta)+\sigma(x, \theta) \epsilon, \phi), y)
$

## Model 2

## Model 3

Baseline

図 2 提案モデルのアーキテクチャの概要

となる.ここで $\epsilon \sim \mathcal{N}(0,1)$ である.

## 3.3 提案モデル

モデル 1 : 低層モデル 低層モデルでは，VIB エ ンコーダによる埋め込み表現 $r_{1}$ を 1 層目にのみ入力するため, 1 層目の BiLSTM の出力 $h_{1}$ と 2 層目以降の出力 $h_{i}$ は

$
\begin{array}{r}
h_{1}=\operatorname{BiLSTM}\left(r_{1}\right) \\
h_{i}=\operatorname{BiLSTM}\left(h_{i-1}\right)
\end{array}
$

となる. この場合，VIB エンコーダは， 1 層目の固有表現を予測するために必要な情報をなるべく残す ように学習する．そのため，上の層になるほど VIB エンコーダの影響は薄れる。

モデル 2 : 独立モデル 独立モデルでは, 全ての 層で VIB エンコーダによる埋め込み表現のみを用い

$
h_{i}=\operatorname{BiLSTM}\left(r_{i}\right)
$

となる。この場合，各層で異なる VIB エンコーダを 学習するため, VIB エンコーダはその層において必要な情報のみを保存するように学習する。
モデル 3 : 独立十伝搬モデル 独立十伝搬モデル では，VIB エンコーダによる圧縮表現を全ての層に 入力し，2 層目以降は下の層 BiLSTM の出力を用い るため， 1 層目の BiLSTM の出力 $h_{1}$ と 2 層目以降 の出力 $h_{i}$ は

$
\begin{array}{r}
h_{1}=\operatorname{BiLSTM}\left(r_{1}\right) \\
h_{i}=\operatorname{BiLSTM}\left(h_{i-1}, r_{i}\right)
\end{array}
$

となる.この場合， 2 層目以降の VIB エンコーダ は，下の層から伝搬してくる情報と，本当にその層 で必要な情報の差分を保存するように学習する。

## 4 実験

## 4.1 実験設定

データセット 提案モデルを ACE2005コーパス [17] 上で評価した.

入れ子型固有表現認識のデータセットとして用い られるコーパスとしては他にも GENIA コーパスな どが知られるが，深い入れ子レベルを持つ固有表現 が多く存在しているため，ACEコーパスを採用して いる。また，学習用データとして用いるには数が少 ないため，入れ子レベル 4 以上の固有表現は今回は

図 3 Integrated Gradients による VIB エンコーダにおける単語重要度の可視化の例

表 1 提案モデルの性能比較（F1-score）

用いなかった. コーパスの統計についての詳細は，表 A（付録）に示した.

パラメータ設定 BiLSTM-CRF のハイパーパラ メータとして，バッチサイズを $100 ，$ 隠れユニット の数を 200，学習率を 0.0045 とした。また VIB エン コーダについて，圧縮比率 $\beta$ を 0.00001 ，学習率を 0.0001 とした. 圧縮次元数 $d$ は $384,192,96,12$ を試 した.

## 4.2 結果と考察

各提案モデルの F1 スコアによる性能の比較を表 4.1 に示す. 提案モデルは全て 192 次元に圧縮した 場合の結果である. それぞれのベースラインと比較すると，モデル 1 （低層モデル）とモデル 3（独立十伝搬モデル）が，いずれもベースラインの性能 を上回っている. 特にモデル 1 において性能が改善 されているのは，大きな次元数を持つ入力特徵適切 な次元数へ圧縮することが，性能の改善に有用であ るからだと考えられる. モデル2（独立モデル）は 他のモデルに性能が劣るが，下の層から受け渡され る情報がなくともある程度の精度は維持できるとい うことがわかった. レイヤー 2 , レイヤー 3 におい ては，いずれもモデル 3 のスコアが最も高く, ベー スラインを大幅に改善している。これは，それぞれ の層において，下の層からの情報だけでは不足して いる部分を VIB エンコーダによる入力が補った影響 であると考えられる。

Integrated Gradients[18] を用いて，モデル 2 で学習済みの VIB エンコーダの挙動を可視化した結果の一例を図 3 に示している。 それぞれの VIB エンコーダ
は各層のラベルを予測するために必要な情報のみを 残すように学習しており，テキストへのハイライト は入力単語の重要度を算出したものである. モデル 1 では特に名詞一単語，またそれを導くような冠詞 に強く着目すること，モデル 2 では長めのスパンを 持つ名詞句や，それらを導くような単語に強く着目 すること, モデル 3 ではモデル 2 の特徴に加えて,助動詞や動詞などの文構造に関わる情報を捉え，そ れらの重要度を低く付けること，といったそれぞれ の傾向があることを確認した.

また，Conductance[19]を計算することにより， VIB エンコーダが BERT の情報から破棄した部分と 残した部分をヒートマップとして可視化した例を，図 B(付録)として示している. それぞれの列は約 50 例の単語を, 行は VIB エンコーダに BERT 出力層が 入力された直後の 768 のニューロンにおける特徴の 重要度を表している。 それぞれのレイヤーにおいて のみ着目される特徴がある，とする仮定は，このよ うなヒートマップを通して定量的に評価することが 可能であり，これについては現在調査中である.

## 5 おわりに

本研究では，変分情報ボトルネック法を入れ子型固有表現認識に適用するための手法を提案した. 提案モデルは，大規模な言語モデルによる埋め込み表現を適切に次元圧縮することで，ベースラインの性能を改善することができた。また，残された情報を Integrated Gradients や Conductance といった手法よっ て分析・可視化することで，タスクにとって必要な 情報はどのようなものであるかについての知見を得 ることができ，解釈性の向上に寄与した.

## 謝辞

本研究は JSPS 科研費 JP20K23325 の助成を受けた ものである.

## 参考文献

[1] Matthew E. Peters, Mark Neumann, Mohit Iyyer, Matt Gardner, Christopher Clark, Kenton Lee, and Luke Zettlemoyer. Deep contextualized word representations. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 2227-2237. Association for Computational Linguistics, June 2018.

[2] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186. Association for Computational Linguistics, June 2019.

[3] Alex Alemi, Ian Fischer, Josh Dillon, and Kevin Murphy. Deep variational information bottleneck. In Proceedings of the International Conference on Learning Representations, 2016.

[4] Jenny Rose Finkel and Christopher D. Manning. Nested named entity recognition. In Proceedings of the 2009 Conference on Empirical Methods in Natural Language Processing, pp. 141-150. Association for Computational Linguistics, August 2009.

[5] Bailin Wang, Wei Lu, Yu Wang, and Hongxia Jin. A neural transition-based model for nested mention recognition. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 10111017. Association for Computational Linguistics, OctoberNovember 2018.

[6] Wei Lu and Dan Roth. Joint mention extraction and classification with mention hypergraphs. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 857-867. Association for Computational Linguistics, September 2015.

[7] Aldrian Obaja Muis and Wei Lu. Labeling gaps between words: Recognizing overlapping mentions with mention separators. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 2608-2618. Association for Computational Linguistics, September 2017.

[8] Bailin Wang and Wei Lu. Neural segmental hypergraphs for overlapping mention recognition. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 204-214. Association for Computational Linguistics, October-November 2018.

[9] Beatrice Alex, Barry Haddow, and Claire Grover. Recognising nested named entities in biomedical text. In Biological, translational, and clinical language processing, pp. 65-72. Association for Computational Linguistics, June 2007.

[10] Meizhi Ju, Makoto Miwa, and Sophia Ananiadou. A neural layered model for nested named entity recognition. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Compu- tational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 1446-1459. Association for Computational Linguistics, 2018.

[11] Jue Wang, Lidan Shou, Ke Chen, and Gang Chen. Pyramid: A layered model for nested named entity recognition. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 5918-5928. Association for Computational Linguistics, 2020.

[12] Xiang Lisa Li and Jason Eisner. Specializing word embeddings (for parsing) by information bottleneck. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 2744-2754, Hong Kong, China, 2019. Association for Computational Linguistics.

[13] Peter West, Ari Holtzman, Jan Buys, and Yejin Choi. BottleSum: Unsupervised and self-supervised sentence summarization using the information bottleneck principle. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3752-3761. Association for Computational Linguistics, 2019.

[14] Rabeeh Karimi Mahabadi, Yonatan Belinkov, and James Henderson. Variational information bottleneck for effective low-resource fine-tuning. In International Conference on Learning Representations, 2021.

[15] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. V. Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc., 2017.

[16] Diederik P. Kingma and Max Welling. Auto-Encoding Variational Bayes. In 2nd International Conference on Learning Representations, ICLR 2014, Banff, AB, Canada, April 14-16, 2014, Conference Track Proceedings, 2014.

[17] Christopher Walker, Stephanie Strassel, Julie Medero, and Kazuaki Maeda. Ace 2005 multilingual training corpus. In Linguistic Data Consortium, Philadelphia 57., 2006.

[18] Mukund Sundararajan, Ankur Taly, and Qiqi Yan. Axiomatic attribution for deep networks. In Proceedings of the 34th International Conference on Machine Learning, Vol. $\mathbf{7 0}$ of Proceedings of Machine Learning Research, pp. 3319-3328, 2017.

[19] Kedar Dhamdhere, Mukund Sundararajan, and Qiqi Yan. How important is a neuron? In ICML, 2019.

## A 付録: ACE2005 コーパスの統計的

詳細

## B 付録：VIB エンコーダにおける ニューロンの重要度の可視化