# Knowledge-Augmented Figure Caption Generation

Zhishen Yang $^{1}$, Raj Dabre ${ }^{2}$, Hideki Tanaka ${ }^{2}$, Naoaki Okazaki ${ }^{1}$
School of Computing, Tokyo Institute of Technology ${ }^{1}$
National Institute of Information and Communications Technology 2
zhishen.yang@nlp.c.titech.ac.jp \{raj.dabre, hideki.tanaka\}@nict.go.jp
okazaki@c.titech.ac.jp
}

\begin{abstract}
In scholarly documents, figures are mediums for communicating scientific findings to readers in a straightforward way. Automating the generation of figure captions helps authors write informative captions that make communicating scientific findings easier to understand. In this study, figure captioning is treated as a knowledge-enhanced captioning task. To this end, we create SciCap+ by extending the large-scale SciCap dataset [1] with mention-paragraphs (paragraphs mentioning figures) and OCR tokens. Experimental results show that the mentions-paragraphs, as additional contextual knowledge, significantly improve the caption generation quality compared to the figure-only baseline. Datasets and models will be publicly released.
\end{abstract
## 1 Introduction

Figures in scientific papers provide visual representations of complex information that help to share scientific findings with readers efficiently and straightforwardly. The standard practice for scientific writing is to write a caption for each figure, accompanied by paragraphs with detailed explanations. Helping authors write appropriate and informative captions for figures will improve the quality of scientific documents, thereby facilitating scientific communication. In this study, we focus on automating the generation of captions for figures in scientific papers.

Scientific figure captioning is a variant of the image captioning task with two unique challenges: 1. Figures are not natural images: In contrast to natural images, visual objects are texts and data points in scientific figures. 2. The captions of the figures should explain: Instead of simply identifying objects and texts in the figures, the caption should contain an analysis that the authors intend to present and highlight findings.

Caption:

Fig. 7. (a) Speedup of CHEETAH over GAZELLE for computing ReLu. (b) Comparison of communication cost for ReLu.

## Mention-paragraph:

Fig. 7 plots the speedup and communication cost as a function of the output dimension. Similarly, CHEETAH achieves an outstanding speedup with much smaller communication cost, independent of the output dimension, compared with GAZELLE. .....

Figure 1 An example figure [2] with its captions and mention-paragraph and the text tokens recognized via OCR. Without referring to the mention-paragraph and the OCR tokens to tie the figure and the mention, we cannot have a proper interpretation of the data presented in the figure, which is communication cost comparison and speed up of CHEETAH over GAZELLE.

The previous study [1] defines the scientific figure captioning task as the figure-to-caption task. Their experiments report relatively lower automatic evaluation scores, indicating considerable room for improvement. Intuitively, humans need to have sufficient background knowledge to interpret figures. As figure 1 shows, only by looking at the figure, we do not know what "comm.(KB)" stands for; therefore, lacking the knowledge to write informative captions is challenging. However, the mention-paragraph contains "communication cost" and this is also present in the caption, indicating that such background knowledge should help in writing accurate captions.

Based on above observations, we hypothesized that gen-

Figure 2 The overall workflow of the data augmentation for creating the SciCap+ dataset. For each figure in the SciCap+, we extracted its mention-paragraphs and OCR tokens (OCR texts and bounding boxes).

erating appropriate captions is infeasible without adding context knowledge to the caption generation model. This context takes two forms: background knowledge of running text and OCR tokens in a figure, which should help provide additional context to the model. We then presented scientific figure captioning as a multimodal summarization task and used the M4C captioning model [3] (a model that uses multimodal knowledge to generate captions) as a starting point to investigate the scientific figure captioning task. The experimental result of automatic evaluation demonstrates that using knowledge embedded across modalities, especially in the form of mention-paragraphs and OCR tokens, significantly boosts performance.

## 2 Problem Formulation

[1] pose scientific figure captioning as an image captioning task as: Given a figure $I$, the model generates a caption $C=\left[c_{0}, c_{1}, \ldots, c_{N}\right]$. However, we reframe this task as a knowledge-augmented image captioning task that requires knowledge extracted from text and vision modalities. Given a scientific figure $I$ and knowledge extracted from text and vision modality: $K_{\text {text }}=\left(M_{t}, O_{t}\right)$, and $K_{\text {vision }}=\left(I_{v}, O_{v}, O_{p}\right)$, where $M_{t}$ and $O_{t}$ are text features extracted from paragraphs that mention figures (mentionparagraphs) and OCR texts. $I_{v}$ and $O_{v}$ are visual features obtained from figures and OCR texts. $O_{p}$ represents locations of OCR texts in figures. We define the figure caption

Table 1 Statistics of the SciCap+ dataset.

generation task as modelling the conditional probability: $P\left(C \mid I, K_{\text {text }}, K_{\text {vision }}\right)$.

## 3 SciCap+ Dataset

SciCap is a large-scale figure-caption dataset comprising graph plots extracted from 10 years of collections of arXiv computer science papers. We used around 414k figures from SciCap and augment each figure with its mentionparagraphs and OCR tokens with metadata. This section details the data set creation and data augmentation processes. Figure 2 shows the overall workflow behind the creation of the SciCap+.

Data Statistics We split figures at the document level and kept all original captions and figures (graph plots, with/without sub-figures). For a figure, we kept only the first paragraph that mentions it in the body text. Table 1 shows statistics of the SciCap+ dataset.

Mention-paragraph Extraction We first obtained papers in PDF format from Kaggle arXiv dastaset ${ }^{1)}$. The reason for using PDFs is that not all papers have source

1) https://www.kaggle.com/datasets/Cornell-University/ arxiv

Figure 3 Score distribution on correlations between mentionparagraph, OCR tokens and figure captions. Both evaluators judged most of the figures with at least moderate correlations with captions.

files and some are complicated to parse. After obtaining PDFs, we used PDFFigures $2.0[4]^{2)}$ to extract the body text of each paper. PDFFigure 2.0 is a tool that extracts figures, captions, tables, and text from scholarly PDFs in computer science. In scholarly documents, authors label figures with numbers (e.g. Figure 1. Fig. 1). For a figure, we used its figure number in a regular expression to locate a paragraph that mentions it.

OCR Extraction The SciCap dataset also provides texts extracted from figures as metadata, but does not provide location information for each text. To include location information for each text in a figure, we used Google Vision OCR API to extract text tokens from each figure with its coordinates of bounding boxes.

## 3.1 Dataset Quality Evaluation

We conducted human evaluations of the SciCap+ where we checked the mention-paragraphs and OCR tokens extraction quality. The aim was to establish whether the mention-paragraphs and OCR tokens were extracted correctly and relevant to the figure and its caption. To this end, we randomly selected 200 figures from the training set and for each figure, we asked two human evaluators to give scores of 1-5 (1 represents no relevance and 5 is highly relevant) for relevance between a caption of a figure and its mention-paragraphs and OCR tokens.

Figure 3 shows the distributions of the relevance scores. We can observe that two evaluators gave most of the figures (evaluator 1: $64 \%$ and evaluator 2: $79.5 \%$ ) with relevance scores greater than 3 and a cohen kappa score of 0.28. This evaluation result indicates that the mentionparagraphs and OCR tokens have a satisfactory extraction

2) https://github.com/allenai/pdffigures2 quality and that the annotators considered most of them as relevant to the figure and its caption. However, the two annotators seem to have a relatively lower agreement $(0.28)$ regarding which figures and captions are relevant to their mention-paragraphs and OCR tokens. We attribute this to the fact that evaluations of figure captions are highly subjective.

## 4 Experimental Results

This section reports experimental results using M4CCaptioner [3] as the baseline model to study the challenge of scientific figure captioning using the SciCap+ dataset. Please refer to the appendix for implementation and training details.

## 4.1 Main Result

The experimental results in table 2 demonstrate that using the mention-paragraph and OCR tokens significantly improves scores on all five metrics compared to the figureonly baseline. The experimental results align with our hypothesis that scientific figure captioning is a knowledgeaugmented image captioning task, OCR tokens and knowledge embedded in mention-paragraphs help in composing informative captions.

We established a baseline M4C-Captioner (Figure only) with figures as the only input modality to the M4CCaptioner model in row \#1. This baseline is in the nonknowledge setting. Therefore, low scores in all metrics show that the model needs knowledge of other modalities. Using the mention only in row \#2 shows that the mention certainly contains a lot of useful information, as evidenced by the increase in performance. When OCR features are added to the figure input in row \#3, scores for all metrics have significant gains compared to the figureonly baseline, but are still weaker than when only mentions are used. This motivates the combination of mentions and OCR features and in row \#4, compared to the figure-only baseline and figure-OCR-only baseline, the performance further improves. Perhaps the most interesting result is in row \#5 where we only use the mentions and OCR features but not the figure and get the best performance, particularly for SPICE and CIDEr, albeit comparable to when the figure is included in row \#4. All these results indicate that explicitly extracted multimodal knowledge helps to compose informative captions.

Table 2 Automatic evaluation scores of M4C-captioning on SciCap dataset. Aggregate knowledge from text and vision modalities significantly boosts the model performance compared to the figure-only baseline.

## 4.2 Ablation Studies

We first performed an ablation study on figures by removing visual feature vectors, the CIDEr score increases slightly, indicating that the visual feature is more like noise for the model. This is likely because the Resnet- 152 visual encoder we used was not trained on figures.

We enriched the representations of the OCR features by adding text, visual, and spatial features. Ablation studies aim to reveal impacts of each OCR token feature. All comparisons are with row \#4 even though row \#5 gives slightly better scores. With OCR features completely removed in row \#6, the CIDEr scores decrease by 5.3. Using only OCR spatial features in row \#7, the CIDEr score dropped by 7.8. Removing OCR spatial features in row \#8, the CIDEr scores dropped by 1.2. Upon removal of OCR visual features in row \#9, the CIDEr score is close to removing spatial features.

The above ablation study indicates that the enriched OCR contributes to the informativeness of generated captions. Unlike OCR features, where appearance features are helpful to the model, removing visual features of figures increases CIDEr scores, further indicating that we need a specific vision encoder for figures to provide meaningful features.

## 5 Related Work

Unlike natural image captioning, figure captioning has been less explored. SciCap [1] is the most recent work on scientific figure captioning, comprising a large-scale scientific figure captioning dataset that includes figures from academic papers in arXiv dataset. Before SciCap,
FigCAP [5] [6] and FigureQA [7] are two figure captioning datasets, but their figures are synthesized. We decided to extend and study on SciCap dataset, since its figures are from real-world scientific papers.

The closest multimodal task to figure captioning is image captioning. Recent works on integrating texts in natural images for visual question answering and image captioning tasks are based on transformer architecture augmented with a pointer network $[8,9]$. The transformer enriches representations by integrating knowledge from both text and visual modality. The pointer network dynamically selects words from the fixed dictionary or OCR tokens during generation.

## 6 Conclusion

In this paper, we focus on scientific figure captioning as a knowledge augmented image captioning task. We transform the SciCap dataset [1]into SciCap+, by augmenting figures with their mention-paragraphs and OCR tokens. We then benchmark SciCap+ using the M4C-Captioner as the baseline model to utilize knowledge across three modalities: mention-paragraphs, figures, and OCR tokens. The experimental results reveal that using knowledge significantly improves evaluation metric scores. The release of the SciCap+ dataset promotes the further development of scientific figure captioning. For future work, we are interested in how to use multimodal pretraining strategies in this task.

## Acknowledgment

These research results were partly obtained from the commissioned research (No. 225) by National Institute of Information and Communications Technology (NICT), Japan, and partly obtained from the first author's internship research under NICT.

## References

[1] Ting-Yao Hsu, C Lee Giles, and Ting-Hao Huang. SciCap: Generating captions for scientific figures. In Findings of the Association for Computational Linguistics: EMNLP 2021, pp. 3258-3264, Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[2] Qiao Zhang, Cong Wang, Chunsheng Xin, and Hongyi Wu. Cheetah: An ultra-fast, approximation-free, and privacypreserved neural network framework based on joint obscure linear and nonlinear computations. arXiv preprint arXiv:1911.05184, 2019.

[3] Oleksii Sidorov, Ronghang Hu, Marcus Rohrbach, and Amanpreet Singh. Textcaps: a dataset for image captioning with reading comprehension. In European conference on computer vision, pp. 742-758. Springer, 2020.

[4] Christopher Clark and Santosh Divvala. Pdffigures 2.0: Mining figures from research papers. In 2016 IEEE/ACM Joint Conference on Digital Libraries (JCDL), pp. 143-152. IEEE, 2016.

[5] Charles Chen, Ruiyi Zhang, Eunyee Koh, Sungchul Kim, Scott Cohen, Tong Yu, Ryan Rossi, and Razvan Bunescu. Figure captioning with reasoning and sequence-level training. arXiv preprint arXiv:1906.02850, 2019.

[6] Charles Chen, Ruiyi Zhang, Eunyee Koh, Sungchul Kim, Scott Cohen, and Ryan Rossi. Figure captioning with relation maps for reasoning. In Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision (WACV), March 2020.

[7] Samira Ebrahimi Kahou, Vincent Michalski, Adam Atkinson, Ákos Kádár, Adam Trischler, and Yoshua Bengio. Figureqa: An annotated figure dataset for visual reasoning. arXiv preprint arXiv:1710.07300, 2017.

[8] Ronghang Hu, Amanpreet Singh, Trevor Darrell, and Marcus Rohrbach. Iterative answer prediction with pointeraugmented multimodal transformers for textvqa. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2020.

[9] Oleksii Sidorov, Ronghang Hu, Marcus Rohrbach, and Amanpreet Singh. Textcaps: a dataset for image captioningwith reading comprehension. 2020.

[10] Amanpreet Singh, Vedanuj Goswami, Vivek Natarajan, Yu Jiang, Xinlei Chen, Meet Shah, Marcus Rohrbach, Dhruv Batra, and Devi Parikh. Mmf: A multimodal framework for vision and language research. https: //github.com/facebookresearch/mmf, 2020.

[11] Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and deto- kenizer for neural text processing. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[12] Iz Beltagy, Kyle Lo, and Arman Cohan. SciBERT: A pretrained language model for scientific text. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3615-3620, Hong Kong, China, November 2019. Association for Computational Linguistics.

[13] Piotr Bojanowski, Edouard Grave, Armand Joulin, and Tomas Mikolov. Enriching word vectors with subword information. TACL, Vol. 5, pp. 135-146, 2017.

[14] Jon Almazán, Albert Gordo, Alicia Fornés, and Ernest Valveny. Word spotting and recognition with embedded attributes. IEEE transactions on pattern analysis and machine intelligence, Vol. 36, No. 12, pp. 2552-2566, 2014.

[15] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[16] Satanjeev Banerjee and Alon Lavie. Meteor: An automatic metric for mt evaluation with improved correlation with human judgments. In Proceedings of the acl workshop on intrinsic and extrinsic evaluation measures for machine translation and/or summarization, pp. 65-72, 2005.

[17] Chin-Yew Lin. Rouge: A package for automatic evaluation of summaries. In Text summarization branches out, pp. 74-81, 2004.

[18] Ramakrishna Vedantam, C Lawrence Zitnick, and Devi Parikh. Cider: Consensus-based image description evaluation. In Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 4566-4575, 2015.

[19] Peter Anderson, Basura Fernando, Mark Johnson, and Stephen Gould. Spice: Semantic propositional image caption evaluation. In European conference on computer vision, pp. 382-398. Springer, 2016.

## A Appendix

## A. 1 Implementation and Training

Our implementation of M4C-Captioner is based on the MMF framework [10] and Pytorch. The implementation allows users to specify diverse pre-trained encoders for each modality, which can be fine-tuned or frozen during training. The M4C-captioner itself has $D=768$ hidden dimension size, $K=4$ transformer layers and 12 attention heads. We used sentencepiece [11] to obtain a dictionary of 32000 subwords built from both mention-paragraphs and OCR tokens. This is used as the M4C-captioner's vocabulary. We followed the BERT-BASE hyperparameter setting and trained from scratch.

Regarding the encoders that feed features to M4Ccaptioner, we used pre-trained Resnet-152 as the figure's vision encoder. For each figure, we applied a 2D adaptive average pooling over outputs from layer 5 to obtain a global visual feature vector with a dimension of 2048 . Layers 2, 3 and 4 layers were fine-tuned during training. For mention-paragraph features, SciBERT [12] was used to encode ${ }^{3)}$ it into 758-dimensional feature vectors. The number of vectors equals the number of sub-word tokens in the mention-paragraph, which we limit to 192. The mention-paragraph encoder is also fine-tuned during training. Finally, for OCR tokens, we use both text and visual features. We selected FastText [13] as the word encoder and Pyramidal Histogram of Characters (PHOC) [14] as the character encoder. Regarding the visual feature encoder of OCR tokens, we first extracted Faster R-CNN fc6 features and then applied fc 7 weights to it to obtain 2048-dimensional appearance features for bounding boxes of OCR tokens. The $\mathrm{fc} 7$ weights were fine-tuned during training. We kept a maximum of 95 OCR tokens per figure.

We trained a model on a GPU server with 8 Nvidia Tesla V100 GPUs. Training a model with a complete set of features took 13 hours. During training, we used a batch size of 128. We selected CIDEr as the evaluation metric. The evaluation interval is every 2000 iterations, we stop training if CIDEr score does not improve for 4 evaluation intervals. The optimizer is Adam with a learning rate of 0.001 and $\epsilon=1.0 \mathrm{E}-08$. We also used a multistep learning rate schedule with warmup iterations of 1000 and a warmup factor of 0.2. We kept the maximum number of decoding steps at the decoding time as 67.

For evaluation, we used five standard metrics for evaluating image captions: BLEU-4 [15], METEOR [16], ROUGE-L [17], CIDEr [18] and SPICE [19]. Since figure captions contain scientific terms which can be seen as uncommon words, among all five metrics, we are particularly interested in CIDEr since it emphasizes them.

3) We only used the first 3 layers of SciBERT for lightweightness.


# 日本語の若者言葉における助詞$\cdot$助動詞短縮形の使用と エネルギーの節約

平澤陸斗 ${ }^{1}$ 西口純代 ${ }^{2}$
${ }^{1}$ 株式会社 SALTO ${ }^{2}$ 小樽商科大学 言語センター
h.r19990926@icloud.com
nishiguchi@res. otaru-uc. ac. jp

## 概要

日本語の会話文では、助詞や助動詞の一部分の短縮が多く見られる。先行研究では、会話の中で短縮語を用いる要因は大きく4つあると主張されている。本稿では実際の会話データをもとに、助詞や助動詞 が短縮される要因と背景について再検討した。検証 の結果、短縮化にはスピード化、言語の自由化、娛楽化、帰属化の 4 つの要因に対応する効果はあまり 見られなかった。実際には、エネルギーの消費を少 なくすることを狙って短縮化を行っている、またそ の過程で 4 つの効果が副産物的に得られることがあ る、ということを提唱する。助詞・助動詞の短縮の真 の要因を「エネルギーの節約」であると主張する。

## 1 短縮語

## 1.1 短縮語とは

本稿の目的は、日本語の日常会話で、語句の短縮 がどの程度行われているかを分析し、その性質から、単語を短縮して話すことにどのような要因があるか を研究することである。短縮語は、類似するものに 略語・省略語があり、非常に曖昧な概念である。文献やウェブサイトによってその定義にわずかな差異 があるため、本稿では短縮語を次のように定義した。短縮語とは、本来の意味を保ったまま、文字数や拍数、発音にかかる時間が短縮される語のことを指す。 また、短縮語と省略語は区別して研究を進めること とする。短縮とは会話の中に現れるある語の形を変

え短くすることを意味する。一方省略とは、その語 を完全に取り除くことを意味する。

（1）あなたは今夜、何をしているの？

(2) 今夜、何してるの?

(2)は同じ内容である(1)をもとに、語の省略と短縮 を行って作成した文章で、「しているの」が「して るの」に短縮されている。一方、省略されている単語は、主語の「あなた」、助詞の「は」「を」であ る。このように、意味と形を保ったまま文字を少な くすることを短縮、その語自体を取り除くことを省略とする。短縮語が使用される状況については、基本的に敬語表現を用いない、いわゆる「タメ口」が 許される関係性の話者同士の会話でよく見られる。丁寧な表現が求められる場面や、会話を行う人同士 の関係が対等でなくかつ、「タメロ」が許されない 状況では、短縮語の使用は回避されることが多い。

## 1.2 短縮語の例

短縮語の例として、付録の会話データの中から抽出したものをまとめたものを表 1 にした。会話デー タから確認された短縮語とその原型を記している。原型とは、短縮語をより丁寧な言い方に修正し、口語の形にしたものである。また原型の語句を品詞分解して「・」で区切り、その右側に品詞の種類を、原型の品詞分解の順番に対応させる形で表記した。

表 1 : 短縮語の例

## 1.3 短縮語に関する先行研究

## 1.3.1 短縮語が使用される要因

瀬沼（2005）は米川(1998）を参照し、会話の中で 短縮語や省略語が使用される要因は 4 つあるとして いる。「1つ目に現代社会のスピード化である。現代はあらゆる面でスピードを求められる。限られた 時間内で効率よく，大量のものをこなすことが求め られている。そのような中で若者は，話し办自体を 速くするだけではなく，言葉を縮めて，会話促進の ために言葉の省略が進んだ(米川1998)。」日常で好 きなだけ時間を取って、遅いスピードで会話ができ る場合は多くない。時間的な余裕がないため一つの 会話にかけられる時間自体も短く、会話を促進する 機能には非常に多くの需要があると考えられる。

「2つ目の要因としては，現代社会は自由を求めて きた。その結果，個人の自由が拡大した一力で，自己を含めてあらゆる事柄の意味があいまいになった り，価值を見失い，アイデンティティーを失った。 そのような中で，事柄を言語化することが困難にな った。また，仮に言語化しても意味はあいまいで浮遊している。そういう言葉は軽く, 扱い方も軽い。 そこから言葉がどんじん省略化されていったと考え られる(米川 1998)。」「3つ目の要因は言葉の㚭楽化である。若者は会話を楽しむために使う。したが って既存の語だけでは，会話は盛り上がらない。そ こで言葉を省略して，従来の語とは違った語感を持 たせて，おもしろさを出し，会話を盛り上げている という(米川 1998)。」婃楽性を持つ単語は、一定の
リズム感とキャッチ一さを備えている。ル動詞(尾谷 2019)は英語・日本語・人名などあらゆる言葉を 2 モーラに短縮した後、語末にルをつけることで動詞化するものだ。同じモーラ数と、短縮によるキャ ッチ一さがあり、若者の間で使われることが多い (玉岡 2010)。「4つ目の要因としては、仲間内で通 じる言葉で仲間意識を高めているということも考え られる(米川 1998)。」

このように、言葉を短縮させることには、4つの 要因があり、短縮語の使用はそれに対応する効果が 発揮されることが期待される。特に若者言葉には、自由な表現が非常に多く含まれており、新語や流行語、JK 語などの多くは、若者が発信源である。

## 1.3.2 乱れとしての短縮語

若者の言葉の乱れはよく指摘される。ら抜き言葉は 有名な現象の一つだ。船木(2002)によれば、ら抜き 言葉は動詞の語幹の「られる」接続を「ら」を抜い て可能を表現する語法で、助動詞の「られる」の短縮語である。本稿で扱う短縮語は、乱れとしての短縮語なのであろうか。それとも新しい日本語の一部 なのであろうか。坂本(2001)は、言葉の乱れは、自分の規範と異なる言葉遣いを見聞きした時に発せら れるもので、相手や第三者の発した言葉遣いが、自分の考える規範と異なっていると考えたときに、相手や他人を批判する時に使われるものだとしてい る。1.1 で述べたように、会話で短縮語が使用され るのは、対等な関係同士での会話である。このよう な場合に、相手の言葉に、自分の規範から外れた言葉遣いを見聞きすることは少ない。あっても、わざ

わざ批判するほどの言葉遣いであることは稀であ る。本稿で扱う短縮語は、言葉の乱れと指摘される 種類の語法ではなく、話し言葉として頻繁に使われ る新しい語法である。

## 2 検証

## 2.1 日常会話の検証

短縮語の使用をより詳しく調べるための検証を行 った。一つの話題について普段と同じ言葉遣いで大学生に会話をしてもらう。日常的な会話とするため に、話題はトレンドワードや興味・関心を持ってい る趣味などの話題を選択してもらった。二人で 1 分間を目安にし、会話がひと段落したタイミングで終了する。1 分間を大きく超えた場合は、1 分前後で 区切りの良い場所で編集し会話を記録し、会話時間 が 2 分を超えないように設定した。音声を録音し、文字に起こしたものを付録 A に記す。一回目の検証を(1)、二回目の検証を(2)というように表記する。

## 2.2 検証結果の分析

計 7 回の検証のうち、短縮回数は 41 回で、最も多 く短縮された品詞は助動詞の 27 回だった。「〜し ている」を「〜してる」に短縮する形が最も多く見 られた。会話時間の平均約 1 分 22 秒あたりの短縮語の出現回数は 5.86 回で、一度の会話に約 6 回短縮語が使用される。一方的な会話では聞き手の応答 は「うん」「そうなんだ」など、単調で文字数の短 い返答が多かった。返答に対する間や、「あ一」

「その〜」「なんか」などの壳長表現も多く見られ た。仲間内にのみ伝わる短縮語は見られず、全てが 日本語のネイティブスピーカーであれば意味がわか る表現であった。短縮語によって笑いが起こった り、会話が盛り上がったりすることはなく、短縮語 に媅楽を意識する姿勢は見られなかった。短縮語が 使用される要因として先行研究で 4 つ要因が挙げ られたが、今回の検証では、短縮語に対応する効果 は見られなかった。ただ、短縮することによって、単純に文字数が減少し、時短、スピード化に関して は一定の効果が得られることが分かった。表 2 は 短縮回数を品詞別に集計し、 7 種類の短縮が確認さ れ最も短縮が多いのは助動詞であった。

表 $2:$ 検証結果のまとめ 単位（回）

 &  \\

## 2.3 検証結果の考察

スピード化の観点から一定の効果が見られたが、短縮語によって短くなった時間も 1,2 文字分の時間であって、スピード化を図るために短縮語が使用 されたわけではない。助動詞や助詞の短縮は、会話上なくても伝わる文字を短縮したにすぎない。短縮語の使用で会話のスピードが速くなっても返答に対 する間や穴長表現が当然あり、会話の時間自体を短 くしようという意図は見られなかった。つまり日常会話で、短縮により文字数を短くし会話を早く終わ らせたり、効率を高めようとしたりする目的はない と考えられる。短縮の要因は別にあることが推測さ れる。では、なぜ短縮は行われるのだろうか。語句 の短縮、特に助動詞や助詞の短縮は、単なる「言い やすさ」を無意識的に優先して短縮を行っているの ではないだろうか。そしてそれが、口語における短縮語使用の要因なのではないだろうか。

## 3 結論

## 3.1 エネルギーの節約

以上の検証と考察を踏まえて、日本語会話の中で語句の短縮が起こる要因は、「エネルギーの節約」で

あると考える。会話が最低限成立する範囲内で、文字数を節約しエネルギーを節約しようとしており、 そこには、長く話したがらないということが関係し ている。特に 10，20代の話者は、極力少ない文字数で会話をしようとする。親が子供に対して質問 をした際に、「うん」や「知らん」、「あ、そう」 と淡白な返答をすることがよくある。反抗期や、適当に会話を流してもいい関係であったり、長い文字数をかけて会話をしたくないという姿勢が、若者に ありがちであると考えられる。日常会話の中で、話題が解決・完結せずに次の話題に流れていくことも ある。瀬沼（2005）も若者の話を聞かない態度に言及しており、「講義の場などでも、学生たちに話を 聞く気はない」「話を聞いていないだけでなく聞く 姿勢や態度すら持っていない」としている。学生同士の会話では「自分が発言したいために、「ってい うか」を使い無理やり自分の話に変えているのも特徵である(坂本 2001)。別の話題が流れ込んだり、

相手の質問に答えずに話題が終了したりする事態が 頻繁に起こり、適切な順序を踏んだ会話自体も、減少傾向にある。言葉が足らず、意図が伝わらなかつ た場合は聞き返したり、後に説明を付け加えたりす ることで会話を成立させようとする。一度の自分の 番にすべてを話すのではなく、ラリー数を増やして コミュニケーションを取るという方法に移行してき ている。語句を短縮することで得られる効果のため でなく、会話にかかるエネルギーを節約しようとし て文字を短縮させた結果、そのような効果も副産物的に得られるようになったのではないかと考える。

## 3.2 文字による会話

SNS の普及により、画面上で、文字で、やり取り をする機会が圧倒的に多くなった。「LINE」をは じめとする SNS は今や、コミュニケーションツー ルとして日常生活に必要不可欠で、やり取りをより 快適に行うには、簡潔な文章にすることが必要だ。玉岡（2010）が「携帯電話での電子メールの普及に 関係がありそうである。長い文を短い短縮語的な表現に置き換えることは、携帯電話での電子メールの 発信に好都合である。」と述べるように、書き言葉 でこそ、短縮語は非常に多く使用される。承知した ことを表すなら「おけ」、了解したら「りょ」また は「り」と、これほどの文字数でも相手に意図を伝 えることが可能だ。このような書き言葉は、話し言葉にも影響を与えている。LINEで「今何して
る？」や「やっぱ今日行かんわ」と、対等な関係性 の相手には短縮語を使用する。日常で機会を増した 書き言葉は話し言葉にも伝染し対面の会話でも「お け」や「りよ」などと話すようになる。書き言葉で 短縮語を使用する理由も、単純に文字を打つことに かかる労力を減らすためだ。文字を打ちこむのと発音するのでは、文字を打ち込むほらが時間も労力も かかる。話し言葉で使う理由も労力つまり、「エネ ルギー」の節約であることは十分に考えられる。

## 3.3 外来語短縮形成の定説

外来語短縮形成は、外来語で長い文字の名詞を、そ の一部分を抜き出し短縮語を形成するものだ。「イ ンフレーション」を「インフレ」、「ハイテクノロ ジー」を「ハイテク」と短縮する。窪薗（2010） は、「これまでの研究に共通しているのが，短縮形 は短ければ短いほど良い（the shorter, the better）と いう考えである。つまり, 短縮語形成は基本的に省 エネ, 経済性 (economy) の原理によって引き起こ されているから, 出力形が短くなるほど, その原理 に合致すると考える。」と述べている。会話を行う 当事者同士が意味を把握しているなら、「インフ レ」、「ハイテク」のほうが言いやすく、会話でも 疲れない。助詞や助動詞の短縮も同じ原理で、わざ わざ「〜していますか？」と長く発話するよりも

「〜してる?」と尋衩たほうが言いやすく、疲れな い。また、余計に気を遣うようなニュアンスも含ま ず、エネルギーを節約している。

## 4 まとめ

日本語会話における短縮語使用の要因を、「エネル ギーの節約」であると主張した。一度に長い文字数 や時間をかけたくないという傾向があるということ と、そもそも会話自体に力をかけたくない傾向があ るということが根拠である。また、SNS の普及・発達や、それによる若者文化が他の世代にも浸透 し、コミュニケーションひいては言葉のあり方にま で影響を及ぼすようになってきた。その中で短縮語 の使用は、現代の会話に必要な「言いやすさ」と

「使いやすさ」を備えた最適な言語となりうる。ま た、言葉が変動的・流動的であるように、短縮語も 時代が進むにつれて形やあり方が変化していくもの だと考えられる。そのため、今後も継続的に言葉の 変化について調查や検証を続け、敏感に最先端の言葉を注視していくべきだと考える。

## 謝辞

本論文作成に当たって、小樽商科大学夜間主西口 ゼミのメンバーの協力に感謝する。

## 参考文献

1. 尾谷昌則(2019)「ル動詞を構文論の観点から見直寸」『日本言語学会第 158 回大会予稿集』387-392. 2. 䆶薗晴夫(2010)「語形成と音韻構造: 短縮語形成 のメカニズム」『国語研プロジェクトレビュー』3, 17-24, 国立国語研究所.

3. 坂本恵(2001)「言葉の乱れをどう考えるか」『麒麟』10, 86(1)-78(9), 神奈川大学.
4. 瀬沼文彰(2005)「若者言葉をフィールドワークす る」『コミュニケーション科学』22, 295-323, 東京経済大学.

5. 玉岡賀津雄(2010)「新しく作られた短縮語使用に 関する世代間比較」『ことばの科学』23, 85-99, 名古屋大学言語文化研究会.

6. 船木久範(2002)「いわゆるら抜き言葉の現況とそ の考察」『日本文學誌要』65, 117-127, 法政大学国文学会.

7. 米川明彦(1998)『若者語を科学する』東京 : 明治書院.

品詞分解に使用したツール

「日本語品詞分解ツール」

## A 付録

検証(1)

A: 20 代 男性 大学生 北海道出身・在住

B:20 代 男性 大学生 北海道出身・在住

話題 : Apple について（2021 年 10 月 20 日）

A:Apple 好き?

B: どっちかというと、憧れてるイメージある。iPhone とかMac とか持っ てないから。そういうの持ってみたいなとは思ったりはする。

A:あー、なるほど。

B:Apple 使ってる?

$\mathrm{A}:$ 朝に食べたりとか?

B:、、。

A:ごめん、今のボケ。

B:あ、そうなの、ごめん。

$\mathrm{A}$ : 今使ってるの、iPadなんよね。

B: iPadってなんか知的な人が使うイメージあるよね。

A:そんなことないよ。

B: iPadってなんか、アンドロのタブレットに比べて、重いって聞いたこ とあるんだけど、わかる?

A:わかんないな。今までアンドロイド使ったことなかったから。逆に使 ったことある？

$B$ :タブレット持ってるね。

$\mathrm{A}$ :へえ一。

会話時間：1 分 38 秒

## 検証(2)

A:20代 男性 大学生 北海道出身・在住

B：20代 男性 大学生 北海道出身・在住

話題 : コロナ（2021 年 10 月 20 日）

$\mathrm{A}$ : 前さ、なんか「ラーメン共和国」っていう札幌エスタの 10 階にある ラーメン屋で、俺働いてたんだけどさ、

B:うん。

A:なんかそんときに、冬祭りの時期っていうのもあって、なんか中国人 の観光客が、もうほんと、めちゃくちゃ多く来てたんだよね。

B:、、、、。

A:で、なんか、うちの店のみんなが、コロナになんじやねえかなってめ っちや心配してたんだよね。

B:そうなんだ。

A:そうそうそう。

B: 大変だったね

A:そうなのさ。までも、そんときあんまりコロナの話題とかもなってな かったから、結構大丈夫じやねえかなって思ってたんだけど、なんか今 だったら、もうすごいコロナって怖いもんって感じするよね、B。 B:そうだね
A:だよな。なんか、どう思う B は?

B:そうだね、最近はコロナ減っては来てるけど、やっぱりワクチン打っ た方がいいのか、打たない方がいいのかってとこが結構心配かな。

A:あ一、確かにね。それは言えてるわ。俺もそう思う。

B:ありがとう。

A：(笑い声)

会話時間：1 分 37 秒

検証(3)

A：20 代 女性 大学生 北海道出身・在住

B：20 代 女性 大学生 北海道出身・在住

話題 : ハイキュー！！について（2021年 10 月 27 日）

A：『ハイキュー！！』見たよ。

B:どこまで見た?

$A ： 2$ 期全部見て、、

B: 早い!

A:そう、50 話見た！

B：(笑い声）。結構かかるじやんそれ。

$A: 3$ 期の 3 話目。

$\mathrm{B}: 3$ 期ってなんのやつ?

$\mathrm{A}$ : 白鳥沢学園。

B：あ、そっか、おけ。

B:Aが好きなキャラは?

A：うちは、ケンマが好き。

B:あー、Bは、クロオが好き。あの、、

A:ケンマの横ね。

B:そうそうそう。

A:人気だよね。

B:そうだよね。え、あのさ、『ハイキュー！！』展行かない？来月。

A:いいよ、一緒に行こう。

B: 先に予約しないといけないのさ。

A:それ8日まででしょ？

B:そうそうそう。

A:え、行く。行こ行こ。空けるわ

B:行く人探してたんだよね、ずっと。

A：え、全然行く。それまでに全部見るわ。そしたら。

$\mathrm{B}$ :そう、早く見て。でも $\mathrm{B}$ はあとマンガ 4 巻分余ってんだよね。会話時間：1 分 6 秒

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 医療縮約表現
## 一 医療記録に含まれる句や節に相当する合成語 —

\author{
相良かおる ${ }^{1}$ 黒田航 ${ }^{2}$ 東条佳奈 ${ }^{3}$ 西嶋佑太郎 ${ }^{4}$ \\ 麻子軒 ${ }^{5}$ 山崎誠 ${ }^{6}$ \\ ${ }^{1}$ 西南女学院大学 ${ }^{2}$ 杏林大学 ${ }^{3}$ 大阪大学 ${ }^{4}$ 医師 ${ }^{5}$ 関西大学 6 国立国語研究所
}

## 概要

医療記録には，句や節に相当する合成語が使われ ている. 我々は，これらを「医療縮約表現」と名付 け, 語末要素の異なる 822 要素の医療縮約表現を選定し，語構造と意味の分析を行っている.

本発表では，多様な文字種と略語を含む医療縮約表現の語例を示し, 「臨時一語」との関わりと特徴 を概観する。

## 1 はじめに

医療記録には，2 種類の合成語が含まれる。一つ は「テント上下転移性腫瘍」のような複合語であ り，もう一つは「治療終了後」や「両下肢感覚低下」のような句および「主語十述語（SV）」の構造を持つ節に相当する合成語である。これらの合成語を対象とする実態調查は殆ど行われていない.

このような背景から, 我々は複合語の語構造解析 に着手した。具体的には, 複合語 7,087 語を医療の 観点からみた語構成要素に分割した後, 得られた語構成要素 6,633 種に 41 種の意味ラベルを付与し 「実践医療用語_語構成要素語彙試案表 Ver.2.0 $\mathrm{i}$ （以下, 試案表 Ver.2.0）を公開した[1].試案表 Ver. 2.0 では，医療の知識がなくても語分割位置の推定ができるように分類語彙表[2]の項目 を含む複合語を対象とした. これら語構成要素 6,633 種は, 専門用語のみの語構成要素からなる複合語の語構造解析に利用できる.

しかし, 医療の観点からみた語構成要素の分割で は, 複合語「テント上下転移性腫瘍」の語構成要素 は「テント上下」「転移性」「腫瘍」の 3 要素とな り，「テント」「上」「下」「転移」は含まれな い.「転移」が抽出できれば，専門用語からなる複合語「腎癌骨転移」の語構造解析において「転移」
を利用できる。複合語から全ての語構成要素を抽出 することができれば，複合語の語構造解析の効率は 向上する。

そこで, 複合語から網羅的に語構成要素を抽出す ることを目的とした語構成要素の認識法「並列分散式の形態素解析（PDMA）」と, PDMA で得られ た結果を近似して記述する記法「複層化語構成解析 （MLMA）」を考案した. 本手法については, 黒田が発表する[3].

本発表では，「医療縮約表現」について述べる。

医療記録には，「グル音良好（グル音が良好であ

る）」「白血球減少 grade1（白血球の減少は grade1 である）」「全身浮腫（+）（全身の浮腫があ

る）」など，記号を含む複数の単語を一語化した表現がある. 我々はこのような合成語を「医療縮約表現」（以下，縮約表現）と呼んでいる. 現在, 語末要素が「抜糸」や「穿刺」などのサ変動詞語幹,

「染み出し著明」の「著明」や「グル音良好」の

「良好」などの形容動詞語幹，「圧迫止血中」の

「中」や「発赤程度」の「程度」などの副詞可能名詞である縮約表現 5,690 種を選定し, その内, 語末要素が異なる 822 種について語構造解析と意味分類 を行っている. なお, 縮約表現 5,690 種の約 7 割 に，試案表 Ver. 2.0 にある語構成要素が含まれてい る[4].

## 2 多様な文字種を含む縮約表現

以下に縮約表現と, 縮約前の単語列の例を示す.

## 英数字を含む縮約表現

(1)「2\%キシロカインE8 万倍含有」

単語列 : $2 \%$ キシロカインは $\mathrm{E}$ (エピレナミン)

の 8 万倍（希釈液）を含有
^{i}$ https://www.gsk.or.jp/catalog/gsk2020-g/
}

(2) 「生食 $5 \mathrm{cc}$ フラッシュ ${ }^{\mathrm{ii}}$ 後」

単語列: 生理食塩水 $5 \mathrm{cc}$ でフラッシュした後」

(3) 「CRP ${ }^{\mathrm{iii}}$ 陰性化 $\left.{ }^{\mathrm{iv}}\right.\rfloor$

単語列: CRP（C-reactive protein）が陰性化した

(4) (a) $\left.\lceil\mathrm{NST}^{\mathrm{v}}\right.$ 再検」

単語列 : ノンストレステスト (non-stress test) の再検査

(b) $\left.\lceil\mathrm{NST} T^{\mathrm{vi}}\right.$ 回診」

単語列: NST（nutrition support team）の回診

## カタカナを含む縮約表現

(5) 「オムツ交換」

単語列：オムツの交換

「おむつ（御衸褓）」は和語であるが，カタ カナが使われる場合がある（表 1）.

表

(6)「グル音良好」

単語列：グル音viiiは良好

(7)「オペオリix済み」

単語列 : オペのオリエンテーション済み

(8)「ラパロ㚴腎摘」

単語列 : ラパロによる左の腎蔵の摘出

## 漢字と記号による縮約表現

（9）「漿液性浸出液十」「漿液性浸出液个」

単語列：漿液性浸出液xiが増加

（10）「ドレーン排液漿液性 $\rightarrow$ 抜去」

ii フラッシュ（flush）：点滴ラインの管内の薬液を 洗い流すこと。

iii CRP（C 反応性蛋白）：体内で炎症反応や組織破壊が起きた時に血中に現れる蛋白質のこと.

iv 陰性化：検査で反応が無くなること。

v ノンストレステスト：胎坚が出産時のストレスに 耐えうる体力の有無を調べるテストをいう。

${ }^{v i}$ NST：栄養サポートチームのこと。

vii 「医師経過記録」「看護経過記録」「他職種共有経過記録」は，それぞれ異なる 3 病院から提供を 受けた若名加工済みの 1 年間の記録データである. BCCWJ での頻度は, 国立国語研究所が提供する Web アプリケーション「中納言」により求めた.単語列：ドレーンからの排液が漿液性なため （ドレーン）を抜去

## 漢字のみの縮約表現

(11)「末梢冷感著明」

単語列 : 末梢の冷感が著明

(12)「回腸直腸吻合術 ${ }^{x i}$ 後」

単語列：回腸直腸吻合術の後

(13) 「気切閉創|xiij

単語列 : 気切（気管切開）の閉創をする

## 3 外来語の略語

縮約表現の語構成要素には，「オペオリ」「ラパ 口」などの外来語の略語が含まれる.

言語学では, 語の一部を切り落としたり, 切り捨 てたりして意味や品詞を変えずに単語を短くするプ ロセスを「クリッピング (clipping) 」と言う [5].

「略語」とは，語の一部（語構成要素）を何らか の方法で縮約・省略した形であり，略語においては 基本的にもとの語の意味は保存されており，その簡便な代用の語形として用いられる[6]. 「クリッピ ング」も外来語における「略語」も元の語の意味に 影響しないことが前提となる。

縮約表現は，(4) “NST” のような原語から作ら れた略語や，和製英語から作成されたものなどがあ る. (7)「オペオリ」を例にとると，「手術前オリ エンテーション」の英語は “preoperative orientation”であり，専門の辞書に立項されてい る.これらの接尾辞を省略すると “preoper orient” となる。従って「オペオリ」は「手術(operation)」 と「オリエンテーション(orientation)」の和製英語 2 要素からなる多項省略xiv と考えられる。

viii グル音 : グルグルという腸蠕動音のこと

ix オペオリ：手術前オリエンテーション（英語 :

preoperative orientation) のこと.

$x$ ラパロ : 腹腔鏡下 (laparoscopic) 手術のこと.

xi 漿液性浸出液 : 傷口からにじみ出てくる無害の 薄い黄色透明な体液のこと。

xii 回腸直腸吻合術 : 手術名で，回腸と直腸を吻合

する手術のこと。

xiii 閉創：手術創を縫合などで閉じること。

xiv 多項省略 : 複合語を作っている各要素の一部分 を省略すること
中川秀太（2015）は，漢語・外来語の略語を作る 段階および使用段階での問題をあげている[7].

(1) 語形が復元しにくい

(2) 同音異義語が増える

(3) 同音語の連想と誤解

(4) 音の響きがよくない

(5) 重要な要素が抜け落ち, それに気づきにくくな る

(6) 耳で聞いてわかりにくく，聞き誤りの恐れがあ る

(7) 略語なのか普通の熟語なのか判断しにくい

(8) 重言が生じる恐れ

これらの内，(4)「NST」は，隣接する語構成要素により意味が確定し, (2)の同音異義語の問題を 持つ.

ところで，(8)「ラパロ左腎摘」の「ラパロ（腹腔鏡）」の原語は, “laparoscopic” であり,「腹腔鏡下手術」の原語は, “laparoscopy assisted surgery” である。一方，別の手術法である開腹術の 英語は “laparotomy” である. 従って略語「ラパ 口」からは, 元の意味が判断できず, (2)同音異義語 と(3)同音語の連想と誤解の問題を持つ.

このように縮約表現の要素には，「オペオリ」の ように省略形の略語からなる複合語と考えられるも のや，「ラパロ＝腹腔鏡下手術」のように専門用語化したものが含まれ, また, 略語が隠語として使わ れる場合もある. 従って, 医療の知識なしに外来語 の略語を分類するのは困難である．

なお森岡健二（1988）は, 「外来語は, 原語の形態素を無視した省略が多く, その場合には一種の暗号のニュアンスを帯びてくる」と述べている[8].

## 4 慣用的な使用と表記の摇れ

縮約表現には，(9)「漿液性浸出液＋」「漿液性浸出液个」のように多様な表現がある. そして同じ病院, 同じ診療科内で統一された表記が使われる訳で はない.

表 2 は， 3 施設 3 種類の医療記録での「グル音」 と同義語「腸蠕動音」の使用頻度の割合である.表 3 は,「オぺ後」「手術後」「ope 後」の出現割合である. 出現割合は異なるが, 複数の施設およ び医療記録で使われていることが見て取れる.また「オペオリ」「オペオリエンテーション」「手術前 オリエンテーション」「術前オリエンテーション」 も 3 施設の医療記録に出現する. このことから複数 の施設において, 多様な表現が定着し, 表記の摇れ の問題を抱えていることが分かる.

 &  &  \\

## 5 縮約表現の意味分類

複合語同様に，縮約表現も意味のある語に分割で きる。例えば「人工呼吸」と「鼻翼呼吸」を単語に 分割すると，「人工／呼吸」「鼻翼／呼吸」となる。

「呼吸」は生理的現象であり，右側主要部の規則に 従えば，共に「呼吸」の種類を表す。しかし視点を 変えて医療の観点から見ると「人工呼吸」は「医療行為」となり，「鼻翼呼吸」は「症状」または「状態」となる.

試案表 Ver. 2.0 では医療分野での利活用を考え, 医療の観点からみた語単位に分割し，意味ラベルを付与している. 従って「人工呼吸」には意味ラベル「医療行為」を, 「鼻翼呼吸」には「症状, 状態」を付与している.

縮約表現においても, 医療の観点からみた語分割 を行い，意味ラベルを付与する。例えば「生食」の 意味ラベルは「化学物質」となる.

このように，試案表 Ver. 2.0 における意味ラベル は, 縮約表現の語構成要素の意味分類に利用できる.

一方,「ラパロ」は，「医療行為」の意味ラベル を付与しても，専門家の暗黙知を要する。原語の異 なる「NST」などの略語については, 略語を一要素 とするか隣接する要素を含めて一要素とするかの分

割位置と意味分類の検討が必要である.

## 6 表現の定型化

選定した縮約表現 5,690 語の語末要素には, 分類語彙表[2]に掲載されている語が 833 種ある.

語例の頻度が最も高い語末要素は「後」で 311 語 あり, 前要素は「開始」「摄取」「投与」「手術」 など多様である.

次いで頻度の高い語末要素「施行」（176 語）の 前要素は, 「退院オリ」「心エコー」「胃洗浄」

「薬物療法」「骨髄検査」など主に「医療行為」を 示す要素となっている. また, 「開始」（142 語）

の前要素は「抗がん剂」「全粥」「酸素吸入」な

ど, 「薬剤」「食品」「医療行為」を示す要素とな っている.

このように, 同じ意味領域内で特定の語例に用例 が集中し，表現の定型化がみられる[9].

## 7 臨時一語との関わり

「医療縮約表現」は, 複数の単語連続を一語化し て，記録作成の際に作られるという点で，林四郎 （1982）や石井正彦（1993）等の「臨時一語」と重 なる点が多い.ここでは「縮約表現」と「臨時一語」の関わりについて述べる.

林四郎（1982）は, 辞書に恒常的な語として登録 されることのない, その場限りのものとして臨時に 作られる複合語を「臨時一語」としている[10].石井正彦（1999）は，「臨時一語」を林のいう 「臨時一語」の内，「文章を作る際に，その場で臨時的に作られる合成語」とし[11], 以下の要件を満 たすものとしている.

(1) 複数の単語が臨時的に結びついたものである

(2) 複合語である

(3) 複数の文節連続をその内部構造に持つ

(4) もとの単語連続に復元することができる

医療記録には，「口底からの喠液流出良好」のよ うに文の中で縮約表現が使われる場合もあるが，「白血球減少 grade1」「皮膚 : 全身浮腫 $(+) 」$

また医療記録では，縮約表現に先行してそれぞれに 対応する単語列を含む文が出現することはなく, 記録者の頭の中で文を短縮化していると考えられる。

文例 : 口腔内治療は外来十かかりつけ歯科医で 十分可能であり，退院の方針．気切閉創し，一般食問題なく摂取できれば OK
そして，「グル音良好」「末梢冷感著明」「オぺ オリ済み」など, 表現が定着し, 慣用的に複数の施設，医療記録で使われるものがある。

文章における臨時一語の多酓の調査によれば，新聞のリード文，科学技術抄録文，新聞の社会面，高校の「世界史」の教科書, 新聞の社説, テレビニュ 一スに臨時一語が多いとされる[12]. これらの読者 は，不特定多数であるのに対し，医療記録の閲覧者 は医療行為者当人または，医療関係者で，言語使用域は，医療分野に限定される。

縮約表現の中には「気切閉創」のように複合語

「気管切開」の一部の要素を省略した多項省略

「気切」と単語「閉創」が連結されたものがある.

そして医療関係者は「気切」を「気管切開」の略語 としてではなく, 単語として認識し, 使用している 場合もある。

従って, 縮約表現は「臨時一語」の特徴と重なる 部分が多いものの, 単語列への復元が困難なものが あること，慣用的に使われ定着したものや，定型化 した表現など「臨時性」とそぐわない性質があるこ とから，我々はこれらを「医療縮約表現」と命名し 解析を行っている.

## 8 おわりに

医療記録に含まれる句や節に相当する「医療縮約表現」の語例を紹介した。

現在, 語末要素の異なる縮約表現 822 語の医療の 観点からみた語分割を行う中で，「NST」を 1 要素 とするか「NST 回診」を 1 要素とするかのような分割単位の検討を行っている段階である．従って「単語列への復元が困難」な理由が，適切な要素に分割 できていないためなのか, 分割した後の意味的な関係性が把握できないためなのかを明らかにする迄に は至っていない.

また, 異なる言語使用域の資料, 例えば法律文書 や日記などにおける縮約表現の調査は行っておらず，単語だけでなく多項省略が含まれるなどの特徴が，医療縮約表現特有の言語的特色であるか否かについ ても分かっていない.

今回の縮約表現 822 語の解析では記号を含むもの は扱っていないが，(9)「漿液性浸出液十」「漿液性浸出液个」の「+」や「个」は, 「増：増加」「上：上昇」などの漢字形態素に対応しており,これらの 調査も今後の課題としたい.

## 謝辞

本研究は JSPS 科研費 JP18H03499, JP21H03777 の

助成を受けたものです.

## 参考文献

[1] 東条佳奈, 黒田航, 相良かおる, 高崎智子, 西嶋佑太郎, 麻子軒, 山崎誠, 実践医療用語_語構成要素語彙試案表 Ver. 2.0 の構築，言語資源ワークショッ プ 2022, 2022

[2] 国立国語研究所, 分類語彙表 増補改訂版, 大日本図書, 2004.

[3] 黒田航, 相良かおる, 東条佳奈, 西嶋佑太郎, 麻子軒, 山崎誠, 要素の重複と不連続性を扱える抽出型の語構成要素解析一医学用語の並列分散型形態素解析, 言語処理学会第 29 回年次大会,2023. (発表予定)

[4] 山崎誠，黒田航，東条佳奈，西嶋佑太郎，麻子軒,相良かおる，医療記録における縮約表現の量的構造一医療用語との比較一，言語資源ワークショップ 2022, 2022.

[5] Denis Jamet, A morphonological approach to clipping in English Can the study of clipping be formalized?, Lexis Jornal in English Lexicology, p.15-31, 2009.

[6] 日本語学会, 日本語学大辞典, 東京堂出版, p.996, 2018.

[7] 中川秀太, 漢語・外来語の略語, 日本語学, 34 (2) p.30-41，明治書院, 2015.

[8] 森岡健二, 略語の条件, 日本語学, 07-10, p.4-12, 1988.

[9] 東条佳奈，黒田航，相良かおる，西嶋佑太郎，麻子軒，山崎誠，医療記録における縮約表現の分析，言語資源ワークショップ 2022, 2022.

[10]林四郎, 臨時一語の構造, 日本語学 131 集 p.15-25, 1982.

[11] 石井正彦, 文章における「臨時一語化」と「脱臨時一語化」一脱臨時一語化の形式を中心に一, 日本語研究, 19 p.1-15, 東京都立大学, 1999.

[12] 石井正彦, 臨時一語と文章の凝縮, 国語学, 173 集 p.104-91, 1993.

[14] 森岡健二, 略語の条件, 日本語学, 07-10, p.4-12, 1988.


# 『日本語歴史コーパス』への形容詞の語義 ・用法情報の追加

山崎 誠 ${ }^{1}$ 村田 菜穂子 $^{2}$ 前川 武 $^{3}$ 村山 実和子 ${ }^{4}$
${ }^{1}$ 国立国語研究所 研究系 ${ }^{2}$ 大阪国際大学 基幹教育機構
${ }^{3}$ 大阪国際大学短期大学部 ライフデザイン学科 ${ }^{4}$ 日本女子大学 文学部
yamazaki@ninjal.ac.jp nmurata@oiu.jp tmaekawa@oiu.jp murayamam@fc. jwu. ac.jp

## 概要

これまで公開されてきた『日本語歴史コーパス』 [1]（以下「CHJ」という）には，時代名などのコー パス情報, 品詞などの形態論情報, 本文種別などの 本文情報, ジャンルなどの作品情報, 作者などの作者情報, ページ番号などの底本情報, 底本の該当箇所へのリンクなどの外部リンクが収録されているが，語義や用法などの情報は付与されていない.

そのため, 語義や用法についての分析を行うには,個々の研究者が独自にデータを作成するよりほかな かった. しかし, それでは非効率的であるため, 本研究では, CHJに形容詞の語義情報と用法情報を追加するためのデータを作成し, その応用例を示すこ ととした.

## 1 はじめに

CHJ に対する語義情報の付与については，池上 （2017）[2]が CHJ（平安時代編）に出現する形容詞 22 語を対象に外部リンクにあるジャパンナレッジ ジ新編全集の当該ぺージの現代語訳を参考に『日本古典対照分類語彙表』[3]の分類語彙表番号を付与寸 る試みを行っている。その後, 浅原ら（2017）[4]は 同様の手法で平安時代の 4 作品について古典対照分類語彙表番号のアノテーションを行い, その過程で 構築された「古典対照分類語彙表番号 - UniDic 語彙素番号対応表」[5]および整備済の「分類語彙表番号 - UniDic 語彙素番号対応表」[6]を用いて浅原ら （2022）[7]は、分類語彙番号を自動で付与する工夫 を行い CHJ の全データに対して網羅的・体系的に 『日本古典対照分類語彙表』の分類語彙表番号およ び『分類語彙表増補改訂版』[8]の分類語彙表番号を 付与している.

形容詞の用法については, 土岐 (2017) [9]が平安文学作品の会話文における動詞, 形容詞の用法 (連体法，準体法，終止法）について量的な分析を行っ ている.

ここで紹介した「分類語彙表番号」は統語分類で ある類を示す 1 析の数字と意味分類である分類項目 を示す 4 桁の数字をピリオドでつないだものである. ただし, 『日本古典対照分類語彙表』の分類語彙表番号はピリオドのない 5 桁の数字となっている.

例えば, 『日本古典対照分類語彙表』では, 見出 し語「あかし (明・赤)」に対する意味分類として，

$「 33420$ (人柄) $/ 35010$ (光) $/ 35020$ (色)」が割り 当てられている. 先頭の「3」は形容詞・副詞・連体詞などの「相」を表し, 次の 1 棪は部門と呼ばれ，

「5」は「自然」を表すというように，階層的な構造 になっている.

この分類語彙表番号は大まかな意味分類を捉える という目的では重宝されるものだが，元となる分類語彙表の粒度に左右され, 語義に識別にも限度があ るため, 今回は, 分類語彙表番号を用いずに, 独自 の手法で語義分類, 用法分類を試みたので, その分類手順と分類した語義・用法の応用例としていくつ かの分析結果を報告する.

なお, 本原稿は, じんもんこん 2021 およびじんも んこん 2022 で発表した内容[10]を基に新たな要素を 追加したものである.

## 2 語義・用法情報の追加方法

CHJ の語義・用法情報の追加は，池上，浅原らと 同様, CHJ のコーパス情報の「サンプル ID」と「開始位置」をユニークなキーとしたアノテーションデ 一タの形で行う．このアノテーションデータのイメ ージは表 1 のようなものになる.

表 1 語義・用法アノテーションデータ

 & (四〕(3)数値・程度 & 連体用法 \\

## 3 データの範囲

コーパス検索ツール「中納言」 [11]を利用して CHJ から品詞が形容詞のものを抜き出し（短単位および 長単位），その中から「奈良」「平安」「鎌倉」「室町」「江戸」「明治」「大正」のいずれの時代にも 1 例以上出現し, かつ, その形容詞が構成する複合語の数が異なりで 5 以上あるもの 16 語の中から「深 い」「憂い」「恥ずかしい」「高い」「安い」「難 い」「痛い」「悲しい」「良い」「悪しい」の 10 語を分類の対象とし（ただし，用法分類については 前半の 5 語のみ）, $\mathrm{CHJ} の$ 用例としては, 平安時代 および鎌倉時代の用例を対象に， 1 語あたりの用例数は 100 とし, 用例が 100 未満の場合は全数とした.

## 4 語義分類の手順

当初は『デジタル大辞泉』の分類に従って語義分類を行ったが, その後評価した結果, 古典語の語義 のカバー範囲に不安があることから, 古典語の語義 のカバー範囲が広い『日本国語大辞典』(ジャパン ナレッジ， 2022 年 7 月〜8 月アクセス）の分類に従 うこととした. 『日本国語大辞典』にないものは,作業者が語義を付与した. また, 小学館『日本古典文学全集』（ジャパンナレッジ）記載の現代語訳を 参考にした.

この語義分類については, すべて手作業にて行っ た. 形容詞全体を対象とするには膨大な数の用例を 処理しなければならず，当然，自然言語処理による 自動処理が望ましいが，現時点でのプロジェクトメ ンバー内に専門家がいないことや, 自動化のための 学習用データがまだ不足していることから, まずは 試行的に対象を限定して手作業にて行うこととした.

## 5 用法分類の手順

用法については，小田[11]，土岐を参考にして詳細 な分類基準を策定した，その策定にあたっては，当該形容詞の前後の語の品詞・活用形の情報を参照す ることで，基準を明確にすることを試みた。なお，前後の語の形態論情報については，「中納言」の「イ ンラインタグを使用」という機能を利用し, 当該形容詞の前後に現れる語の品詞 (中分類) ・活用形 (小分類）の情報を同時に抽出している。

活用形ごとの分類基準を付録 A に示す.

## 6 応用例

次に, CHJ に追加された語義・用法情報の応用例 を示す。まず，「中納言」を用いて CHJから形容詞 のデータをダウンロードする. 次に，「サンプル ID」十「開始位置」をキーに語義・用法アノテーション データと照合し, 語義・用法情報を付与したコーパ スデータを作成する。その後は，Excel の機能を用 いて集計・分析を行う.以下に応用例を 4 つ挙げる. 1 つ目は語義分類の結果を平安時代と鎌倉時代で比較したもの，2 つ目は，用法分類の結果を平安時代 と鎌倉時代で比較したもの，3つ目は語義と用法の 関連，4つ目はジャンルと用法の関連である。

## 6. 1 語義分類の時代間比較

10 語のうち, (1)「深い」「憂い」「高い」「難い」 は時代間の差がほとんどない，(2)「恥ずかしい」は 平安時代には [気詰まり］や［気おくれ］が多用さ れるのに対して,鎌倉時代になると大幅に減少し [決 まりが覀い]が主流となる，(3)「痛い」は平安時代 では [精神的苦痛] が多いのに対して，鎌倉時代は [肉体的苦痛]がほとんどである，(4)「悲しい」は 平安時代，鎌倉時代とも [嘆かわしい] が主だが，鎌倉時代では[興味深い]の意が新たに生じている，

(5)「良い」は平安時代では [正当・善］［適当・相応］が主であるのに対して，鎌倉時代には [優れる］ が圧倒的に多くなる，(6)「悪しい」は平安時代では ［邪悪・不正］［けしからぬ］［機嫌が悪い］がほ ぼ均等に使われているのに対し，鎌倉時代では［邪悪・不正］［けしからぬ］が中心となっていくこと などがわかった。

特徴的な例として「恥ずかしい」「痛い」「悲し い」のデータをそれぞれ表 2～表 4 に示す.

表 2 「恥ずかしい」の語義分類

表 3 「痛い」の語義分類

表 4 「悲しい」の語義分

## 6.2 用法分類の時代間比較

用法分類については，「深い」「憂い」「恥ずか しい」「高い」「安い」の 5 語のみの分類だが，「深 い」「憂い」「高い」については時代間の差はほと んどなく, 「恥ずかしい」では, 終止法と副詞法の 比率が鎌倉時代に増えること, 「安い」では, 平安時代ではほとんどが「安からず」の形で用いられて いたのに対し, 鎌倉時代になると, 連体法と副詞法 が合わせて 50\%まで増えることがわかった。

特徴的な例として，「恥ずかしい」と「安い」の データをそれぞれ表 5 と表 6 に示す.

なお, 「5 用法分類」で詳細な分類基準を策定し たと書いたが，その後一部基準の見直しが必要とな ったため, これ以降の用法に関しては, 代表的な用法の 1.連体法, 2.終止法, 3.副詞法と 4.その他に集約した形での分類結果を示すこととする.

## 表 5 「恥ずかしい」の用法分類

表 6 「安い」の用法分類

## 6.3 語義と用法の関連

「深い」「憂い」「恥ずかしい」「高い」「安い」 の 5 語の語義と用法の関連については, (1)「深い」 は，全体としては平安時代，鎌倉時代とも連体法と副詞法で 70\%以上を占め, 終止法がほとんどないが，個別の語義としては，平安時代には「空間的距離」 や「関わり方」の意ではほとんどが連体法である， (2)「憂い」は平安時代，鎌倉時代とも 60\%以上が連体法, 終止法が $10 \%$ 程度, 副詞法がほとんどない, (3)「恥ずかしい」は, 平安時代には連体法が $8 \%$,終止法が 16\%，副詞法が 18\%と 3 用法合わせて $40 \%$強であるのに対して，鎌倉時代にはそれぞれ $4 \%$ ， 26\%，32\%と連体法が少なく, 終止法と副詞法が増 える，(4)「高い」は，全体としては平安時代，鎌倉時代とも連体法と副詞法で 60\%以上を占め, 終止法 がほとんどないが，個別の語義としては，平安時代 には「身分・地位」の意ではほとんどが連体法であ り，「声・音が大きい」の意ではほとんどが副詞法 である，(5)「安い」は，連体法，終止法，副詞法の 3 用法を合わせても 5\%であったのに対し, 鎌倉時代 になると，終止法は変わらず，連体法と副詞法を合 わせて 50\%を占めるようになる，などがわかった。特徴的な例として，「深い」の平安時代および鎌倉時代の語義と用法の関連をそれぞれ表 7 と表 8 に,「恥ずかしい」の平安時代および鎌倉時代の語義と 用法の関連をそれぞれ表 9 と表 10 に，「安い」の平安時代および鎌倉時代の語義と用法の関連をそれぞ れ表 11 と表 12 に示す.

表 7 「深い」の平安時代の語義と用法の関連

表 8 「深い」の鎌倉時代の語義と用法の関連

表 9 「恥ずかしい」の平安時代の語義と用法の 関連

10 「恥ずかしい」の鎌倉時代の語義と用法の 関連

表 11 「安い」の平安時代の語義と用法の関連

表 12 「安い」の鎌倉時代の語義と用法の関連

## 6.4 ジャンルと用法の関連

「深い」「憂い」「恥ずかしい」「高い」「安い」 の 5 語のジャンルと用法の関連については, いずれ の語も 1 つか 2 つのジャンルに多用されていて，そ れが全体の傾向に表れていることがわかった.

そこで，全語を合わせて全体としての傾向を見る と, 平安時代は, 歌集や歌物語では連体形が多く,作り物語や日記では連体法と副詞法が多いこと, 鎌倉時代は歌集では連体形が多く, それ以外は連体法 と副詞法が多いこと, また, 時代・ジャンルを問わ ず終止法の比率が低いことなどがわかった.

以下，5 語を合わせた全体での平安時代および鎌倉時代のジャンルと用法の関連をそれぞれ表 13 と 表 14 に示す.

表 13 平安時代のジャンルと用法の関連

表 14 平安時代のジャンルと用法の関連

## 7 おわりに

これまで,形容詞 10 語の平安時代と鎌倉時代の用例に対して語義の分類を, 形容詞 5 語の平安時代と 鎌倉時代の用例に対して用法の分類を行ってきたが，本研究の目的としては, 最終的に古代から現代に至 る形容詞の通時的な語義の変遷や用法の変遷のプロ セスを明らかにするところにあり，全体の構想から するとまだまだデータが不十分である.

今後は, 自然言語処理による自動化も視野に入れ て, さらに対象となる語や時代範囲を増やしていき たい.

また, 用法分類については, 助動詞や助詞が後続寸る場合を 1 つの用法としていたが，これについて は，再度機能面からの見直しを行いたい。

## 謝辞

本研究は JSPS 科研費 JP21K00279，20K13059 の助成を受けたものである.

## 参考文献

1. 国立国語研究所 (2021) 『日本語歴史コーパス』 バージョン2021.3（引用日：2023 年 1 月 10 日）

https://clrd.ninjal.ac.jp/chj/

2.『日本語歴史コーパス 平安時代編』出現形容詞 に対する古典分類語彙表番号アノテーション. 池上尚. : 言語処理学会 第 23 回年次大会 発表論文集, 2017.

3. 宮島達夫／鈴木泰／石井 久雄／安部清哉編.日本古典対照分類語彙表. : 笠間書院, 2014.

4. 『日本語歴史コーパス』4 作品に対する分類語彙表番号付与とその分析. 浅原正幸, 加藤祥, 鈴木泰,池上尚. : 日本語学会 2018 年度秋季大会プログラム 予稿集, 2018.

5. 国立国語研究所(2020)『古典対照分類語彙表分類番号-UniDic 語彙素番号対応表』(ver.0.8.0).

(引用日：2023 年 1 月 10 日.)

https://github.com/masayu-a/WLSP2UniDic_historical

6. 国立国語研究所(2020)『分類語彙表番号－UniDic 語彙素番号対応表』(ver.1.0.2).（引用日：2023 年 1

月 10 日.) https://github.com/masayu-a/wlsp2unidic

7. 分類語彙表番号を付与した『日本語歴史コーパ ス』データ. 浅原正幸, 池上尚, 鈴木泰, 市村太郎,近藤明日子, 加藤祥, 山崎誠. : 日本語学会 2022 年度春季大会プログラム予稿集, 2022.

8. 国立国語研究所編. 国立国語研究所資料集 14 分類語彙表 増補改訂版. : 大日本図書, 2004

9. 平安和文会話文における連体法、準体法、終止法 の比較分析. 土岐留美江. : 愛知教育大学研究報告.

人文・社会科学編 66, 2017.

10. 形容詞の通時的語義・用法データベースの作成,山崎誠, 村田菜穂子, 前川武, 村山実和子. : じ んもんこん 2021 論文集, 2021. 形容詞の通時的語義・用法データベースの構想と進捗状況. 山崎誠,村田菜穂子, 前川武, 村山実和子. : じんもんこ ん 2022 論文集, 2022.

11. 国立国語研究所 コーパス検索アプリケーショ ン「中納言」（バージョン2.7.0, データバージョン 2022.10）。（引用日： 2023 年 1 月 10 日.)

https://chunagon.ninjal.ac.jp/
12. 小田勝. 古典文法総覧. : 和泉書院, 2015

## A 付録 活用形ごとの分類基準

} & a.連体用法 & 連体修飾語を形成する \\


# 要素の重複と不連続性を扱える抽出型の語構成要素解析並列分散型形態素解析の提案

黒田 航 ${ }^{1}$ 相良 かおる ${ }^{2}$ 東条 佳奈 ${ }^{3}$ 麻 子軒 ${ }^{4}$ 西嶋 佑太郎 ${ }^{5}$ 山崎 誠 ${ }^{6}$
1杏林大学 2 西南女学院大学 ${ }^{3}$ 大阪大学 4 関西大学 5 医師 6 国立国語研究所

## 概要

重複や不連続な語構成要素を持つ医療用語を対象 に，それらを効果的に認識するための抽出型の構成要素認識法を二種類提案する。一つ目は完全並列分散型の語構成解析法 PDMA で，もう一つは PDMA より性能が劣るがアノテーションが楽な MLMA で ある.『実践医療用語_語構成要素試案表 Ver. 2』の サンプル 15 事例の解析を元に, 語構成要素認識 に一般的に使用されている句構造解析 (PSA) の平均認識率が，PDMA が認識できる要素の $65 \%$ 程度, MLMA の 70\%程度である事を示した.

## 1 はじめに

医療 (関連) 用語には複雑な医学用語が数多く含ま れる.こうした用語を含む文章の意味処理をしたい なら，これらの用語の高性能な解析が必須である.解析が高性能であるためには，精度が高いだけでな く，被覆率が十分に高くなければならない。これ は，言語処理の究極の目的が内容理解であり，その 中間目標が高性能検索であり，その実現手段が高性能解析であるという処理間の依存構造を考えると，当然の帰結である. この観点からすると, 医療用語 を含めた専門用語の語構成解析にそれなりの先行研究 $[1,2,3,4,5]$ があるにもかかわらず，被覆率が十分に高くないが故に，十分な成果が得られていると は言いがたい。低被覆率の証拠は §4 で示す。

低被覆率の理由は単純であると同時に, 根本的な ものである. どの手法も用語の構成要素を所与の語 の分割によって得ようとしているが，医療用語の形態素は部分的に重複している度合いが高く, 重複 を許さない分割では，必要な要素が取りこぼされ る. 例えば『実践医療用語_語構成要素試案表 Ver. 2』1) [6] に収録されている7,087 事例からほぼランダ ムに選んだ 99 事例中，重複が生じている事例は少

なくとも 73 事例である2) (付録 Aを参照).

語構成要素の認識の (単なる精度向上ではなく) 被覆率の向上を目標を含めれば，理想的な実装法は，要素の認識を非排他的に行う多層抽出式が望ましい とわかる。本論に先立って次の事を確立しておく: 3$)$

(1)複合語 $c$ の語構成要素の認識は, $c$ の分割 (segmentation) でなく, $c$ 中の有意味な部分文字列の (可能な限り) 網羅的な抽出 (extraction) の 方が望ましい。

この後の本論で，(1)の目標を実現する語構成要素抽出法の実装例として，並列分散形態論解析 (Parallel Distributed Morphological Analysis: PDMA) を紹介する (§2). それに続けて，PDMA が与える 結果をそれなりの性能で近似する簡便なアノテー ション方法 (複層化形態論解析 (MLMA)) を紹介し (§3)，MLMA と通常の句構造解析 (Phrase Structure Analysis: PSA) の性能を，PDMA の結果をべースラ インにして比較する (§4). 最後に §5 で考察と展望 を述べる。

## 2 語構成要素認識の並列分散化

医療用語には構成関係が複雑な複合語が頻出す る。例えば (2)のような疾患名がそうである:

(2)先天冠状動脈異常

これを形態素解析した結果は (3) である (ここでは MeCab +UniDic 2.1.2 の解析結果を示した):

(3)先天/冠状/動脈/異常

この解析の実質は有意味な要素 ( $\approx$ 形態素)への分

2) 第一著者の非公式の調査では形態素重複の発生率は一般 に，学術用語で一般用語より高いが，医療用語での出現率の 高さは異例である.

3）最適でない分割の悪影響は，単語分かち書きが所与でな い言語 (例えば日本語) で深刻な問題であるが，単語分か ち書きをする言語が形態素の重複から免れていると考え るのは妥当でない. 英語のような言語でもカッコ入れの 逆理 (bracketing paradox) [7] はそれなりの頻度で起こって いる. 例は generative grammarian の意味の構成が (generative (grammarian)) ではなく, ((generative grammar) -ian) である事.
割である. だが，なぜ分割なのか？それは構成素解析が適正解析 (proper analysis) [8] と同一視されてい るからである.

では，なぜ適正解析でなければならないのか？ それは，産物が連結 (concatenation) で元に戻せる からである．ただ，自然言語で要素合成法が連結でなければならない根拠は弱い. 重ね合わせ (superposition) であっていけない理由は，どこにも ない $[9,10]$.

実際，「(自然) 言語の複合的な単位は要素の連結で 得られる」という (現実反映の保証のない) モデル化 が処理上の問題を幾つも発生させている. 適正解析 を想定した解析には辞書使用の単位や境界認定アル ゴリズムを変えても回避できない次の難点がある.

(4) a. 複数の構成要素の間に要素の共有 (= 重複) がある場合，それを認識できない。

b.不連続な構成要素を認識できない。

一般用語の解析では (4) は (見かけは大して) 問題 にならない. だが，医療用語を始めとする専門用語 の語構成解析では深刻な問題が生じる. 実例とし て (4) の制限を取り外した解析を図 1 に示した。こ のような結果を得る解析法を並列分散形態論解析 (PDMA) と呼ぶ事にする.

図 1 (2)の PDMA [serialized 列のビット列で降順ソート]

図 1 中の表で，手作業で入力しなければならない のは，i) 成語性，ii) 要素数，iii) 構成性を表わす $0 / 1$ の値のみで，他要素は指定値から自動生成される4).図中の表は (2) の構成要素が次だと規定している.

(5) a. 要素数 1: 異常, 脈, 冠状, 先天

b. 要素数 2: 先天異常, 動脈, 脈異常,

c. 要素数 3: 動脈異常, 先天動脈異常

d. 要素数 4: 冠状動脈異常, 先天動脈異常

e. 要素数 5: 先天冠状動脈異常 $[=$ 全体 $]$

図中の表を得るための PDMA のアルゴリズム:

(6) a. 対象語 $w$ を文字に分割する

4) 要素数の自動算出も理論的には可能だが，Excel の作業 シート上で実装するのは手間である。 b.w を構成する要素ごとに，その部分に 1 を 付与し、非部分に 0 を付与する.

c.これらを，より大きな単位を得るように再帰的に結合を繰り返す。が，この際，i) 重複を避けない，ii) 不連続な構成を認める.

PDMA の結果は FCA を使った語構成解析法 [11] と互換である。それを示す結果を図 2 に示した. こ の Hasse 図は, [ $\ldots$ 異常], [ ... 脈... ] , ... [ [先天冠状動

*〉,〈.*常.*〉を属性とする形式文脈から生成された ものである．重複している構成要素，不連続な構成要素を含めた構成要素の部分/全体関係が網羅的で 体系的に表わされている5).

図 2 (1) の該当部分の FCA [より単純な様子は束の上に, より複雑な要素は束の下に配置される]

## 3 厳密な並列分散解析の近似解

§2 で解説した PDMA は，語構成要素の取りこぼ し = 偽負例 (false negatives) の発生を理論的に 0 にで きる手法である. それ故に，語構成要素の認識過剰 = 偽正例 (false positives) の発生を心配しなければな らない。ただ，偽正例の抑制は教師あり学習で実現 できるので，これは PDMA の弱みというょり強み だろう。 それに対し, 偽負例の発生 $=$ 真正例の不足 は機械学習でも補う事が難しい。

ただ，PDMA はアノテーションの方法としては非現実的に複雑でもある。そのため，被覆率が 100\% に達していなくても，それなりの被覆率で PDMA の結果を近似できる簡便なアノテーション手法があ ると都合が良い。その手法を次に紹介する。

## 3.1 構成関係の多重アノテーション

句構造解析 (PSA) では要素の始まりと終わりに標識を付ける。この用途には通常，次のように“[”と “]”の対が使われる。
(7)a. [[動脈] 硬化]
b. [動脈 [硬化]]

このような記法は頻繁に用いられるものだが，二つ 難点がある．第一の難点は， §1 で述べたように，形

態素の重複や不連続性を扱えない事である. 第二の 難点は，語構成の主従関係と医療用語としての意味的な主要部と修飾部 (あるいは述語/項構造)を正し く反映している保障がない事である。上の (7) の $\mathrm{a}$, $\mathrm{b}$ のいずれが妥当な解析なのかは二点目に依存し，一方を選び，それを一貫して使用しなければならな い. ただ，この方針を複数の作業者の間で統一する のは，実地の観点からすると難しい。

相良ら $[12,13,14]$ の目的は, 言語学的な意味での 医療用語の語構成を知る事に加えて，専門用語と して述語/項構造関係を明示する事である.その理解の下では，上の例で言えば，[硬化] が病名の主要部で，[動脈] が病変の起きている場所 (事態性名詞 [硬化] の一種の項) であるという意味関係も明示し たい.このために，医療用語の意味的主要部の標識 づけは，言語学的な意味での主要部と概念的に区別 し，別の基準で認定されるべきである.

この要件を満足するために，意味的主要部 $m_{0}$ か ら $m_{n}$ までの遠心拡大構造を“く”と“>”の対を使っ て i) $<m_{n}<\ldots<m_{0} \gg \gg$ や ii) $\ll<m_{0}>\ldots>m_{n}>$ で 標識する ${ }^{6)}$.この表記では，“動脈硬化” の解析結果 は<動脈<硬化>>である. 同様に, “冠状動脈硬化”の解析結果は (8)である.

(8)<冠状<動脈<硬化 >>>

この解析は，この病変が 硬化 (症)>の一種で，ま た 動脈硬化 (症)>の一種である事を記述している.

その一方，解析 (8) は [冠状動脈] という構成要素 を取りこぼしている。対応づけありの境界記号が 一種類しかない場合, 解析精度と被覆率が両立し ないジレンマを避けようがない。それを避ける方法は，i) §2 で示したように，境界指定を根本から 定義し直すか，ii) 複数次元の構成関係を並列化し， それぞれに別の境界記号を使う事である。二つ目 の案の実装例を，複層化形態論解析 (Multi-Layered Morphological Analysis: MLMA) と呼ぶ事にする.

境界記号の優先順位をく...>， $\ldots$. . $],\{\ldots\},(\ldots)$ と定めた上であれば，多重構造アノテーションのア

6) 第一著者が調査した限りでは，日本語の意味解析ではi) が支配的な構造であり， ii) は “非-”, “脱-”, “前-”のような 否定性の接頭辞の作用を記述する時にのみ現われる。i) は 右枝分かれ構造であるので，補足があった方が良いだろう。 < ..>>で右枝分かれが支配的なのは，主要部後置型言語で は統語構造と語形成論で左枝分かれが支配的なのと矛盾し ているように見えるが，ここでは意味的要素の作用域 (一種 の依存関係)を記述しており，撖密には語構成を記述してい る訳ではないのが，その乘離の理由である。論を一般化する と, 統語解析の結果 (例えば句構造) と意味解析の結果は (多 くの期待に反して) 一致するとは限らない.
ルゴリズムは次の通り:

(9) a.Step 1: 用語の (通常右端にある) 主要部 $A$ を $<\ldots>$ で括り出し，それを元に修飾構造 を遠心的に再帰的に認定する。

b.Step 2: この境界認定で認識されない構成要素がある場合， $A$ の左側に別の遠心構造の 中心 $B$ を見つけ，[...] を使って遠心構造 を指定する。

必要に応じて，\{..\}，( ...)を使って Step 1, Step 2 と同様に解析する. 現実的には, 3 重以上 の多重性が必要な場合，§2 で記述した図 1 に例示した PDMA の利用を考える方が無難である

## 3.2 実例

この解析法を事例 (10) に適用すると，(11)を得る.

(10)冠状動脈硬化症

(11) a.Step 1: < 冠状 < 動脈 < 硬化 < 症 >>>> b.Step 2: <[冠状 < [動脈 <[硬化]]] < 症 >>>> c.Step 3: <[冠状<[動脈 $\}<[$ 硬化]]] $<$ 症 >>>> d.Step 4: (...) で認定すべき要素なし

NB: Step 3 は $[\{$ 冠状 $)<[$ 動脈 $\}<[$ 硬化 $]]]<$症 >>>> と等価

(11c)のような MLMA の結果は可読性が低く，そ のままでは利用可能性が低い，そのため，このよう なアノテーションから構成要素を網羅的に自動抽出 する Perl スクリプト7)を用意した。それで (11c)の 構成要素を抽出した結果は次である:

図 3

(11c) を元にした語構成要素の自動抽出結果

## 4 PDMA と MLMA と PSA の比較

## 4.1 比較 1

性能比較の概要を掴んでもらうために，事例 (10) の PMDA の結果と MLMA の結果と PSA の結果を 比較する。事例 (10) の MLMA と PSA として，そ

れぞれ $<[\{($ 冠状 $)<[\{$ 動 $<[$ 脈 $\}\}<$ 硬化 $]] k$ 症 $>>>>$ と [[ 冠状 [ 動脈 ]][ 硬化 [ 症 ]]] を考え, PDMA が認識 するどの要素をそれらが認識するかを評価する。 PDMA と MLMA の偽正例を人手除去したものを， PDMA.filtered と MLMA.filtered とする.

図 4 (10)の PDMA.filtered をベースラインとした MLMA と PSA の被覆率の比較

図4にある通り, MLMA.filtered はPDMA.filtered の 要素を $100 \%$ 認識するが, PSA は (不連続な要素を含 まない事例の解析でも) PDMA.filtered, MLMA.filtered の要素をそれぞれ $70 \%$ しか認識しない.

## 4.2 比較 2

比較 1 と同じ手法で，他の事例で性能比較した結果が図 5 の表である (被覆率は PDMA.filtered の個数 に対する割合)．IDは『実践医療用語_語構成要素試案表 Ver. 2』[6] の行番号，Term はその ID を持つ事例である. ID が空欄の場合，理由を Note に示した.

図 5 PDMA と MLMA と PSA の 16 事例の被覆率の比較

PSA の平均認識率は, 対 PDMA.filtered $の$ 比較 (PSA.rate1) で $65 \%$ 程度, 対 MLMA.filtered $の$ 比較 (PSA.rate2) で $70 \%$ 程度だった. 認識率が検索の成功率だと解釈すれば，PSA は明らかに低性能である。

## 5 議論

## 5.1 関連研究

PDMA は並列分散型の統語解析 Parallel Distributed Parsing (PDP) [15] を語構成解析に適用したものであ
る. MLMA の方法論は Autolexical Syntax (AS) [16] と類似している。ただし類似性は表面的なものに過 ぎない. AS の想定は統語論と形態論の部門単位の 並列化であり，形態論内，あるいは統語論内の解析 の並列化ではない.

## 5.2 過剩認識の問題と機械学習との関連

図 1 に例示した解析は，作成に手間がかかる。そ の理由で，性能が劣っていても MLMAのような簡易版や PSA の方が望ましいと思う人がいるかも知 れないが，そうではない．PMDAでない解析では偽負例を原理的に回避できず，語構成解析が用語抽出 だと考えた場合，欠点となる。

PDMA は逆に，解析で偽正例が生じる可能性を心配しなければならない程，解析精度は高い。偽正例 を回避する手順の本質は成語性の問題であり，専門的知識がない者にこれが容易に実現できないのは仕方がない。ただ，成語性の判定は，候補の列挙より は遥かに楽な作業である。

真正例を取りこぼさず，偽正例の個数を専門知識 を持った者による事後検証によって 0 に近づける 事ができたとすると，図 1 中の表にあるような解析結果は, 複合語 $c$ が与えられた時の $c$ の構成要素認識の正例と負例の混合となる。この特性を利用すれ ば，機械学習 (例えば Deep Learning)を使って，専門用語の構成要素認識を自動化できる見込みは十分に ある。PDMA は確かに遂行にそれなりの手間はかか るが，それに見合った性能を備えている。

## 5.3 専門用語の語構成は特別な例外か？

専門用語の語構成論には並列分散解析が必要かつ 有用という主張が本稿の骨子であるが，次の疑問が 発展的に生じる. Q1. 非専門用語の語構成論に並列分散解析は不要なのか? Q2. 並列分散解析が必要な のは，語構成論に限定されるのか？

Q1 の答えが否なのは，専門用語と非専門用語 の境界が曖昧である事から明らかである。非専門用語で並列分散解析の必要性が低いのは，語の内部構造の複雑度が専門用語に較べて低いからである。

Q2への答えは Q1への答えに関係している。内部構造の複雑度が並列分散解析の必要性を増すのであ れば，文の規模でも要素が並列分散解析が必要な複雑度を持っていると考えるのが自然である．それが 不要に見えるのは，主流言語理論に目を晦まされ，現実の複雑性を見損なっているからではないか？

## 謝辞

本研究は JSPS 科研費 JP21H03777 の助成を受けた ものである.

FCA は Concept Explorer 1.3 (http://conexp. sourceforge.net)で実行した.

## 参考文献

[1] 小山照夫, 大江和彦. 医学専門用語の構造解析. 学術情報センター紀要, 第 6 巻, pp. 115-124. 1994.

[2] 山田恵美子, 松本裕治. 専門用語の内部構造解析. 言語処理学会第 15 回年次大会発表論文集, pp. 340-343, 2009.

[3] 山田恵美子, 松本裕治. 文字係り受けに基づく専門用語の内部構造表現と解析. 研究報告音声言語情報処理 (SLP), Vol. 2009, No. 20, pp. 1-6, May 2009.

[4] 内山清子, 岡照晃, 東条佳奈, 小野正子, 山崎誠, 相良 かおる. 実践医療用語の語構成要素抽出の試み. 言語資源活用ワークショップ発表論文集, 第 3 巻, pp. 463-467. 国立国語研究所, 2018.

[5] 麻子軒, 黒田航, 相良かおる, 東条佳奈, 西嶋佑太郎,山崎誠. 実践医療用語における語構成要素の結合順序に関する量的調査. 計量国語学会第 66 回大会発表論文集, 2021 .

[6] 東条佳奈, 黒田航, 相良かおる, 高崎智子, 西嶋佑太郎, 麻子軒, 山崎誠. 実践医療用語_語構成要素語彙試案表 ver.2.0 の構築. 言語資源ワークショップ, 2022.

[7] Andrew Spencer. Bracketing paradoxes and the English lexicon. Language, Vol. 64, pp. 663-682, 1988.

[8] Charles C. Fries. Meaning and linguistic analysis. Language, Vol. 30, No. 1, pp. 57-68, 1954.

[9] Kow Kuroda. "Pattern Lattice" as a model for linguistic knowledge and performance. In Proceedings of the 23rd Pacific Asia Conference on Language, Information and Computation, Vol. 1, pp. 278-287, 2009.

[10] 黒田航, 長谷部陽一郎. Pattern Lattice を使った (ヒト の) 言語知識と処理のモデル化. 言語処理学会第 15 回大会発表論文集, pp. 670-673, 2009.

[11] 黒田航, 相良かおる. 医療用語の is-a オントロジー構築の FCA を使った効率化. 言語処理学会第 28 回年次大会発表論文集, pp. 705-709, 2022.

[12] 相良かおる. 実践医療用語における語構成要素の意味ラベルについて. 言語処理学会 第 27 回年次大会発表論文集, pp. 559-562, 2021.

[13] 相良かおる, 山崎誠, 麻子軒, 東条佳奈, 小野正子, 内山清子. 実践医療用語の語構成要素: 意味を基準と した分割. じんもんこん 2019 論文集, 2019.

[14] 相良かおる, 小野正子, 高崎智子, 東条佳奈, 麻子軒,山崎誠. 実践医療用語の語構成と意味: 語構成要素語彙表試案表の作成にむけて.じんもんこん 2020 論文集, 2020.

[15] Kow Kuroda. Arguments for Parallel Distributed Parsing: Toward the integration of lexical and sublexical (semantic) parsings. In Proceedings of the 24th Pacific Asia Conference on Language, Information and Computation, pp. 455-462. Institute of Digital Enhancement of
Cognitive Processing, Waseda University, 2010.

[16] Jerrold M. Sadock. Autolexical Syntax: A Theory of Parallel Grammatical Representations. University of Chicago Press, 1991.

## A 重複のサンプルデータ

表 1 見本中の重複の有無 (抜粋)

 &  &  &  &  \\

表 1 は調査に用いたサンプル 99 のうち，ページ に収まる 81 例を示した。

ID は『実践医療用語_語構成要素試案表 Ver. 2』の 行番号 (= ID).

重複の値が 1 のものは確実に重複ありの事例, 0.5 のものは $<\ldots>$ の設定次第で重複ありの事例，0の ものは重複なしの事例. 值が 1 事例の割合は $0.74 \%$ (= 73/99). 值が 0 より大きい事例の割合は $0.78 \%$ (= 77/99).

## B FCA の概要

## B. 1 FCA は何をする道具か？

FCA は属性によって定義された対象を自動分類 するためのアルゴリズムの一つである。それは概念 (concept)を次のように形式化する事で実現される.

(12)

a.(形式的) 概念 $c$ とは，外延 $o$ と内包 $a$ の対 である (記号で書けば, $c:=(o, a)$ ).

$a^{\prime}$.ただし，外延 $o$ と内包 $a$ はそれぞれ，対象 の全体集合 $O$ と属性の全体集合 $A$ の部分集合とする.

$\mathrm{b} . c_{i}$ と $c_{j}$ は，〈一方が他方を含む〉という関係について順序構造をなし, $c_{i}, c_{j}$ を要素 にもつ概念の全体集合 $C$ に束構造 (lattice) がある.

要するに, FCA は，概念を (12a)のように (数学的に) 定義した上で，概念間の関係を (12b) が 定義する束構造として明示化する手順である.

もっと一般的な理解では, 対象の集合 $O=$ $\left.\{o_{1}, \ldots, o_{n}\right.\}$ があり，それらを記述する属性の集合 $A=\left.\{a_{1}, \ldots, a_{m}\right.\}$ が (暫定的に) 定められた時， $O$ と $A$ の直積 $O \times A$ に真理値を割り当てる. これが表現 する状態を離散的に自動分類するためのアルゴリズ ムの一つが FCA である.

## B. 2 FCA の実行例

図 6 は形式文脈として表 2 を与え, 結果として得 られる Hasse 図である。

表 2 太陽系の惑星の FCA を使った分類

 \\

Venus & 1 & 0 & 0 & 1 & 0 & 0 & 1 \\
Earth & 1 & 0 & 0 & 1 & 0 & 1 & 0 \\
Mars & 1 & 0 & 0 & 1 & 0 & 1 & 0 \\
Jupiter & 0 & 0 & 1 & 0 & 1 & 1 & 0 \\
Saturn & 0 & 0 & 1 & 0 & 1 & 1 & 0 \\
Uranus & 0 & 1 & 0 & 0 & 1 & 1 & 0 \\
Neptun & 0 & 1 & 0 & 0 & 1 & 1 & 0 \\
Pluto & 1 & 0 & 0 & 0 & 1 & 1 & 0 \\

図 6 (2)を形式文脈として構築した Hasse 図


# JMedRoBERTa: 日本語の医学論文にもとづいた 事前学習済み言語モデルの構築と評価

杉本 海人 1,3 壹岐 太一 $2,3 *$ 知田 悠生 ${ }^{1,3}$ 金沢 輝一 3 相澤 彰子 1,3
1 東京大学大学院 2 総合研究大学院大学
3 国立情報学研究所
}

\{kaito_sugimoto, iki, chida, tkana, aizawa\}@nii.ac.jp
## 概要

英語圈において，医学論文で事前学習を行った言語モデルが，医療ドメインの様々なタスクで有効で あることが示されている。日本語では診療記録で事前学習を行った UTH-BERT [1] が公開されているも のの，医学論文を用いたものは存在しない. そこで 本研究では, 日本語の医学論文で事前学習した言語 モデルである JMedRoBERTaを提案する。評価実験 の結果, JMedRoBERTa は医療ドメインタスクにお いて UTH-BERT と同等またはより高い性能を発揮 するほか，一般ドメインタスクにおいても比較的高 い精度を示すことを確認した．また，複数トークナ イザの比較から，トークナイザの差によりモデルが 得意とするタスクが異なる傾向が示唆された.

## 1 はじめに

近年，医療ドメインに特化した事前学習済み言語モデルを構築する研究が盛んである. 英語圈で は，医学論文データベース PubMed ${ }^{1)}$ や診療記録デー タベース MIMIC-III [2] にもとづき, BioBERT [3], ClinicalBERT [4], BlueBERT [5], PubMedBERT [6] な どのモデルが提案されている.こうしたモデルは，医学用語の自動抽出 [7] や表記摇孔解消 [8], 医学論文の検索 [9] など，幅広いタスクに応用されている。 また，日本語のモデルとしては，診療記録を用いて 事前学習を行った UTH-BERT [1] が存在する.

診療記録が患者情報の記録に主眼を置くのに 対し, 医学論文は基礎研究から症例報告まで幅広 い内容を扱うのが特徴である。したがって, 医学論文で事前学習を行うことにより, 診療記録から は得られない知識を獲得できる可能性がある。ま た, 英語のモデルの研究では, 医学論文で事前学習

1) https://pubmed.ncbi.nlm.nih.gov/
された PubMedBERT が診療記録で事前学習された ClinicalBERT よりも下流タスクでの性能が高い例が 見られる [6,7]. こうした背景から，日本語の医学論文を用いたモデルの事前学習が有益だと考える.

本研究では約 $1.8 \mathrm{~GB}$ （約 1,100 万文）の日本語の 医学論文データを用いて RoBERTa [10] のフルスク ラッチ学習を行う．モデルのトークナイザに関して は，分かち書きを前処理として行う場合と行わない 場合の双方を試す. 学習したモデルを 4 つの医療ド メインタスク（2つが医学論文に関するもの，2つ が診療記録に関するもの)，および JGLUE [11] に含 まれる5つの一般ドメインタスクで評価する.

評価実験の結果，提案モデルが医学論文に関する タスクで UTH-BERT よりも高いスコアを示したほ か，診療記録に関するタスクでも UTH-BERT に並 ぶスコアを示した. また，分かち書きを行わないモ デルは行うモデルよりも概ね高いスコアを示した が，一部のタスクにおいては逆の結果が見られた. さらに，複数の一般ドメインタスクにおいて，提案 モデルは一般ドメインの言語モデルに匹敵するスコ アを示した. 提案モデルを我々は JMedRoBERTa と 名付け，付録 A に示したリンクで公開している.

## 2 JMedRoBERTa の構築

## 2.1 フルスクラッチ学習・追加学習

あるドメインに特化した言語モデルを作成したい 場合，既存の一般ドメインの言語モデルに追加で事前学習を行う流儀と，フルスクラッチで事前学習を 行う流儀の 2 種類が知られている $[12,13,14]$. 膨大 な医学用語を含む医療ドメインにおいては，フルス クラッチ学習モデルである PubMedBERT [6] が追加学習モデルである BioBERT [3] に比べて多くの医学用語を語彙に含み，複数の医療ドメインのタスクで

示し，そうでない場合は，トークナイザによって分割された後のトークン群を示す. なお，[UNK] は対応するトークン が存在しないことを表し，\#\#⿲前のトークンと結合して単語をなすことを表す。

 &  \\

より高い性能を発揮している.この結果を踏まえ,本研究でもフルスクラッチ学習を行う.

## 2.2 学習用データ

本研究では，大規模な日本語の医学論文データを 用いる．各データには論文の抄録（アブストラク ト）のテキストのほか，その論文が属する分野や索引語（キーワード）等のラベルが付与されている.一部のデータは論文の本文のテキストを含む。それ らのうち, JMedRoBERTa の事前学習には抄録およ び本文のテキストを用いる。また，その他のデータ は評価タスクに使用する。詳細は付録 B に示す.

モデルの事前学習で用いるテキストのサイズは,合計で約 $1.8 \mathrm{~GB}$ （約 1,100 万文）である. なお，テ キストは事前に半角文字を全角文字に正規化する。

## 2.3 トークナイザの訓練

英語と異なり日本語では単語間の空白文字が存在 しないため，トークナイザの構築において，分かち 書きを前処理として行うべきか否かが焦点の一つと なる.この違いは, モデルの下流タスクの性能へも 一定の影響を与えることが確認されている $[15,16]$.本研究では，分かち書きを行うトークナイザとし て万病 WordPiece トークナイザを，分かち書きを 行わないトークナイザとして SentencePiece トー クナイザを訓練する. 両者ともに語彙数は 30,000 とする. 万病 WordPiece トークナイザは, $\left.\mathrm{MeCab}^{2}\right)$ を用いて入力文を単語列に分かち書きした後, WordPiece [17] によりサブワード化を行うものであ る. MeCab の辞書選択においては，通常用いられ る ipadic に加えて，大規模な病名辞書である万病辞書 [18] を使う。これにより, 病名が分かち書き の時点で複数の単語列に分割されることを防ぐ.

一方, SentencePiece トークナイザは, SentencePiece [19]（Unigram モデル）により, 文から直接サブワー ド化を行うものである. 出現頻度の高い文字列はひ とかたまりのトークンとして処理されるため，医学論文において頻度の高い医学用語は, 分割されずに 1トークンとして扱われることが期待される.

表 1 はトークナイザの訓練によって得られた JMedRoBERTa の語彙を, 日本語 Wikipedia で事前学習された東北大 BERT $^{3}$ )，および日本語の診療記録 で事前学習された UTH-BERT の語彙と比較したも のである. JMedRoBERTaが多様な医学用語を語彙 に含むことを裏付けている。

## 2.4 モデルの事前学習

Liu ら [10] は，Next Sentence Prediction タスクの削除やマスク位置の動的な変更などにより BERT [20] の事前学習がさらに効果的になることを指摘し, 改良された BERT 型言語モデルを RoBERTa と名付け た. 本研究では RoBERTa の事前学習手法を採用す る. 2.3 節で挙げた 2 種類のトークナイザそれぞれ に関してモデルの事前学習を行い，「万病 WordPiece モデル」「SentencePiece モデル」を作成する. 訓練設定の詳細は付録 C に記載する。

## 3 医療ドメインタスクによる評価

## 3.1 タスク・データセットの概要

医学論文の分野分類 抄録テキストから分野を予測するタスクである。2.2 節で示した学習用データ のうち事前学習に用いていないものから，分野が 1 つだけラベル付けされた医学論文のデータをラン ダムに 100,000 件抽出し, $8: 1: 1$ で訓練用・バリデー

3) https://huggingface.co/cl-tohoku/ bert-base-japanese-whole-word-masking
表 2 医療ドメインタスクにおける評価結果. 各モデルのスコアは，異なるランダムシードを用いた 5 回の実験結果の平均値である。太字は全モデルにおける最も高いスコア，下線は2種類の JMedRoBERTaのうちより高いスコアを示す。

 &  \\

ション用・テスト用とする．訓練におけるラベルの 種類数は 111 である.

医学論文の索引語への副標目の付与 論文に付与 された索引語に対して副標目 (サブヘディング)4)を 付与するタスクである. 論文の抄録と索引語のペア を入力し，適切な副標目を候補の中から複数予測す るマルチラベル分類として定式化する. データ作成 の詳細は付録 D に示す. なお，予測候補の副標目は 訓練用データに出現する 26 語とする。

診療記録の固有表現抽出 NTCIR-11 MedNLP-2 [21]の Task 1 を用いた評価を行う.このタスクで は，入力である診療記録から病状および時間表現を 抽出する．訓練データ，テストデータにおける診療記録の数はそれぞれ 102 件，49 件である。

診療記録への病名コード付与 NTCIR-12 MedNLPDoc [22] の Task 1 を用いた評価を行う. このタスクでは，診療記録から対応する複数の ICD-10 病名コード5)を予測する。訓練データ，テス トデータにおける診療記録の数はそれぞれ 200 件, 78 件である．なお，テストデータは 3 人のアノテー タによって病名コードが付与されており，3人全員 が付与したコードのみを含むデータは SURE，これ に加えて 2 人以上が付与したコードも含むデータは MAJOR，これに加えて誰か 1 人が付与したコード も含むデータは POSSIBLE と名づけられている.

4）副標目とはある索引語がどのような文脈で使われているか を示す副次的なキーワードである．例えば「精神障害」とい う索引語に対し「薬物療法」という副標目を加えて検索する ことで，薬物を用いた精神障害の治療法に関する文献のみを 調べることができる.

5) https://www.cdc.gov/nchs/icd/icd10.htm

## 3.2 実験設定

医学論文の分野分類と診療記録の固有表現抽出の 2つのタスクは，それぞれ通常の分類問題，系列ラ ベリング問題として処理する.

副標目付与タスクは一度に各ラベルの有無を二値分類するマルチラベル分類として扱う. 評価の際, macro-F1 はテストデータにおいて出現しない副標目 を無視して 20 副標目を対象に算出する.

病名コード付与タスクは，診療記録と病名の類似度学習を行うことで解く. 詳細は付録 Eに示す. 評価の際は，シェアードタスクに倣い本研究でも，予測と正解ラベルのコードが完全に一致する場合に 正解とみなす LV4 (Exact match)，コードの前 3 文字 が一致する場合に正解とみなす LV3 (Rough match), コードの大分類が一致する場合に正解とみなす LV0 (Category match)の 3 種類でそれぞれ評価を行う.

## 3.3 結果

表 2 に結果を示す。医学論文に関する 2 つのタス クにおいては, JMedRoBERTaの 2つのモデルが東北大 BERT や UTH-BERT よりも高いスコアを示して いる。さらに，診療記録の固有表現抽出においては 万病 WordPiece モデルが，診療記録への病名コード 付与においては SentencePiece モデルが UTH-BERT に匹敵するスコアを示している。これらから，医学論文を用いた事前学習が医療ドメインの幅広いタス クにおいて有効であることが示唆される.

JMedRoBERTaの 2つのモデルの間では, 固有表現
表 3 JGLUE の dev セットにおける評価結果. JMedRoBERTa のスコアは，異なるランダムシードを用いた 3 回の実験結果の平均值である. JMedRoBERTa 以外のモデルのスコアは, JGLUE の GitHub リポジトリに掲載された base モデルの値 である. 下線は 2 種類の JMedRoBERTaのうちより高いスコアを示す。

 &  \\

抽出を除いて SentencePiece モデルが万病 WordPiece モデルよりも高いスコアを示している。これは，分 かち書きを行わないSentencePiece モデルは日本語 の単語境界を越えたトークンを語彙に多く含み ${ }^{6}$,同一の文書をより少ないトークン数で表現できるこ とが影響している可能性がある。一方で，固有表現抽出に関しては, 固有表現のアノテーションが単語境界に従って行われる場合が多く，分かち書きを行 う万病 WordPiece モデルに有利だと考えられる.

## 4 一般ドメインタスクによる評価

## 4.1 タスク・データセットの概要

日本語言語理解ベンチマーク JGLUE [11] に含 まれる，以下の 5 つのデータセットを用いる： MARC-ja（ネガポジ分類による感情分析タスク）, JSTS（意味的類似度計算タスク）, JNLI（自然言語推論タスク), JSQuAD（抽出型機械読解タスク）, JCommonsenseQA（常識推論を要求する選択肢型機械読解タスク).

## 4.2 実験設定

JGLUE の GitHub リポジトリ7)に公開されている データ（v1.1）をもとに実験を行う. データ内のテ キストは事前に全角文字に正規化する。

## 4.3 結果

表 3 に結果を示す. JSTS や JNLI において， JMedRoBERTa は一般ドメインで事前学習を行った 他の言語モデルに匹敵する高いスコアを出してい

6）例えば「可能性が示唆された」や「有意差は認められな かった」といったフレーズが語彙に含まれている.

7) https://github.com/yahoojapan/JGLUE

8）例えば JNLIにおける majority baseline は 0.553 であり， JMedRoBERTa のスコアはそれよりも十分に高い.言語理解において特に基本的なタスクであり，ドメ インにかかわらず学習可能であることを示唆してい る. 一方で MARC-ja において，JMedRoBERTa は予測を全て positive と返した場合のスコア（0.855）に なっており, 分類そのものに失敗している. また, JCommonsenseQA においても一般ドメインの言語モ デルに比べるとスコアを大きく下げている.これら は医学論文に記述されない日本語の性質や常識を問 うものであるため，自然な結果である。

JSQuAD については, 万病 WordPiece モデルに 限って見ると, JMedRoBERTa は他の言語モデルに 匹敵するスコアを出している。すなわち，JSQuAD は一般ドメインでの読解評価を目指して構築された データセットであるが，特定のドメインで事前学習 されたモデルでも容易に解けることを意味する. ${ }^{9)}$

## 5 まとめ

本稿では, 日本語の医学論文にもとづく事前学習済み言語モデル JMedRoBERTa の構築と評価につ いて述べた. 医療言語処理の様々な領域において JMedRoBERTa が広く活用されることを期待する.

今後の方向性として，医学論文の引用関係を事前学習で用いた BioLinkBERT [23] や, 医学オントロ ジーの知識を事前学習で用いた DRAGON [24] のよ うなモデルを日本語でも作成することが挙げられ る.また，言語モデルのフルスクラッチ学習には大量の計算リソースが必要になるのが課題である. そ こで，計算コストを抑えつつ，モデルを追加学習よ りも効果的にドメイン特化させる exBERT [25] のよ うなアプローチを日本語で試すことも考えられる。

9） SentencePiece モデルは万病 WordPiece モデルに比べてスコ アを大きく落としている.これは， 3.3 節の固有表現抽出夕 スクにおいて SentencePiece モデルがスコアを落とした原因 と同様，トークンの区切りと解答のスパンの開始終了位置が 一致しないことによるものである. なお，JGLUE の著者ら も XLM-RoBERTa に対して同様の報告をしている.

## 謝辞

本研究は, JST の AIP 日独仏 AI 研究 (課題番号 JPMJCR20G9）および学際大規模情報基盤共同利用・共同研究拠点 (JHPCN)（課題番号：jh221004)の 支援を受けた. 本研究成果の一部は，データ活用社会創成プラットフォーム $\mathrm{mdx}$ を利用して得られた.

## 参考文献

[1] Yoshimasa Kawazoe, Daisaku Shibata, Emiko Shinohara, Eiji Aramaki, and Kazuhiko Ohe. A clinical specific BERT developed using a huge Japanese clinical text corpus. PLOS ONE, Vol. 16, No. 11, pp. 1-11, 112021.

[2] Alistair EW Johnson, Tom J Pollard, Lu Shen, Li-wei H Lehman, Mengling Feng, Mohammad Ghassemi, Benjamin Moody, Peter Szolovits, Leo Anthony Celi, and Roger G Mark. MIMIC-III, a freely accessible critical care database. Scientific data, Vol. 3, No. 1, pp. 1-9, 2016

[3] Jinhyuk Lee, Wonjin Yoon, Sungdong Kim, Donghyeon Kim, Sunkyu Kim, Chan Ho So, and Jaewoo Kang. BioBERT: a pre-trained biomedical language representation model for biomedical text mining. Bioinform., Vol. 36, No. 4, pp. 1234-1240, 2020.

[4] Emily Alsentzer, John Murphy, William Boag, Wei-Hung Weng, Di Jindi, Tristan Naumann, and Matthew McDermott. Publicly available clinical BERT embeddings. In Proceedings of the 2nd Clinical Natural Language Processing Workshop, pp. 72-78, Minneapolis, Minnesota, USA, June 2019.

[5] Yifan Peng, Shankai Yan, and Zhiyong Lu. Transfer learning in biomedical natural language processing: An evaluation of BERT and ELMo on ten benchmarking datasets. In Proceedings of the 18th BioNLP Workshop and Shared Task, pp. 58-65, Florence, Italy, August 2019.

[6] Yu Gu, Robert Tinn, Hao Cheng, Michael Lucas, Naoto Usuyama, Xiaodong Liu, Tristan Naumann, Jianfeng Gao, and Hoifung Poon. Domain-specific language model pretraining for biomedical natural language processing. ACM Trans. Comput. Heal., Vol. 3, No. 1, pp. 2:1-2:23, 2022.

[7] Yongwei Zhang, Rui Cheng, Lu Luo, Haifeng Gao, Shanshan Jiang, and Bin Dong. SRCB at the NTCIR-16 RealMedNLP Task. In NTCIR-16, 2022.

[8] Shogo Ujiie, Hayate Iso, and Eiji Aramaki. Biomedical entity linking with contrastive context matching. CoRR, Vol. abs/2106.07583, , 2021.

[9] 吉井瑞貴, 竹下昌志, ジェプカ・ラファウ, 荒木健治.論文の構造とタイトルを独立して考慮した医学論文検索モデルの提案. ことば工学研究会: 人工知能学会第 2 種研究会ことば工学研究会資料, Vol. 67, pp. 1-8, 122021.

[10] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. RoBERTa: A Robustly Optimized BERT Pretraining Approach. CoRR, Vol. abs/1907.11692, , 2019.
[11] Kentaro Kurihara, Daisuke Kawahara, and Tomohide Shibata. JGLUE: Japanese general language understanding evaluation. In LREC 2022, pp. 2957-2966, Marseille, France, June 2022.

[12]壹岐太一, 金沢輝一,相澤彰子. 学術分野に特化した 事前学習済み日本語言語モデルの構築. 第 139 回情報基礎とアクセス技術研究発表会, 2020.

[13] Masahiro Suzuki, Hiroki Sakaji, Masanori Hirano, and Kiyoshi Izumi. Construction and Validation of a PreTraining and Additional Pre-Training Financial Language Model. In SIG-FIN 28, pp. 132-137, 2022.

[14] Keisuke Miyazaki, Hiroaki Yamada, and Takenobu Tokunaga. Cross-domain analysis on Japanese legal pretrained language models. In AACL-IJCNLP 2022 (Findings), pp. 274-281, Online only, November 2022.

[15] 築地俊平, 新納浩幸. Tokenizer の違いによる日本語 BERT モデルの性能評価. 言語処理学会第 27 回年次大会, 2021.

[16] 井上誠一, Nguyen Tung, 中町礼文, 李聖哲, 佐藤敏紀.日本語 GPT を用いたトークナイザの影響の調査. 言語処理学会第 28 回年次大会, 2022.

[17] Mike Schuster and Kaisuke Nakajima. Japanese and Korean voice search. In ICASSP 2012, pp. 5149-5152, 2012.

[18] Kaoru Ito, Hiroyuki Nagai, Taro Okahisa, Shoko Wakamiya, Tomohide Iwao, and Eiji Aramaki. J-MeDic: A Japanese disease name dictionary based on real clinical usage. In LREC 2018, Miyazaki, Japan, May 2018.

[19] Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In EMNLP 2018: System Demonstrations, pp. 66-71, Brussels, Belgium, November 2018.

[20] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In NAACL-HLT 2019, pp. 4171-4186, June 2019.

[21] Eiji Aramaki, Mizuki Morita, Yoshinobu Kano, and Tomoko Ohkuma. Overview of the NTCIR-11 mednlp2 task. In NTCIR-11, 2014.

[22] Eiji Aramaki, Mizuki Morita, Yoshinobu Kano, and Tomoko Ohkuma. Overview of the NTCIR-12 mednlpdoc task. In NTCIR-12, 2016.

[23] Michihiro Yasunaga, Jure Leskovec, and Percy Liang. LinkBERT: Pretraining language models with document links. In ACL 2022, pp. 8003-8016, Dublin, Ireland, May 2022.

[24] Michihiro Yasunaga, Antoine Bosselut, Hongyu Ren, Xikun Zhang, Christopher D. Manning, Percy Liang, and Jure Leskovec. Deep bidirectional language-knowledge graph pretraining. In NeurIPS 2022, 2022.

[25] Wen Tai, H. T. Kung, Xin Dong, Marcus Comiter, and Chang-Fu Kuo. exBERT: Extending pre-trained models with domain-specific vocabulary under constrained training resources. In EMNLP 2020 (Findings), pp. 14331439, Online, November 2020.

[26] Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In ICLR 2015, 2015.

## A モデルの公開リンク

本研究で作成した事前学習済みモデルは以下のリンク で公開されており, Hugging Faceの Transformers ライブラ リを経由して呼び出すことができる。

・万病 WordPiece モデル（語彙数 $30,000 ）$ :

https://huggingface.co/alabnii/ jmedroberta-base-manbyo-wordpiece
- SentencePiece モデル（語彙数 30,000 ）：

https://huggingface.co/alabnii/ jmedroberta-base-sentencepiece

なお，本文では言及しなかったが，本研究ではモデル の語彙数の影響を調査するため，他の条件を揃えて語彙数 50,000 のモデルも並行して構築し, 評価した. これら は以下のリンクで公開されている。

・万病 WordPiece モデル（語彙数 50,000）：

https://huggingface.co/alabnii/ jmedroberta-base-manbyo-wordpiece-vocab50000
- SentencePiece モデル（語彙数 50,000 ）:

https://huggingface.co/alabnii/ jmedroberta-base-sentencepiece-vocab50000

ただし，語彙数の差によるタスク性能への影響は（トー クナイザの差による影響と比べると）ごくわずかであり，語彙数の多いモデルの方がどのタスクでも性能が高い, または低いというような一貫した影響は見られなかった。

## B 学習用データの詳細

本研究では，JST から提供を受けた 2 種類の非公開デー タを学習に用いる.

1 つは，論文の抄録のみを含むデータである．このデー タから，JST 分類コードが「医学」に該当するデータ10)の 和文抄録のみ抽出する．その上で，データをランダムに 8:1:1 に分割し, それぞれ train, validation, test セットとす る. train セットはトークナイザの訓練用，およびモデル の事前学習の訓練用とし, validation セットはモデルの事前学習のバリデーション用とする. test セットはモデルの 評価データセットの構築にのみ使う. もう 1 つは，論文 の抄録に加えて本文を含むデータである.このデータか ら，同様に医学論文データの和文抄録・本文のみ抽出し,全てトークナイザおよびモデルの訓練に使う.

モデルの事前学習で用いるテキストのサイズは，前者 が約 1.6GB（約 1,000 万文），後者が約 $0.2 \mathrm{~GB}$ (約 140 万文) である.

## C 事前学習の訓練詳細

## C. 1 ハイパーパラメータ

表 4 に，JMedRoBERTa の事前学習におけるハイパーパ ラメータ一覧を示す.

10）https://jdream3.com/service/science/life.htmlの「大分類：医学 (L0700)」を参照.表 4 ハイパーパラメータの一覧

## C. 2 その他の訓練のエ夫

万病 WordPiece モデルにおいては，事前学習のマスク穴埋めタスクの際に，1つの単語に対応する複数のサブワー ドは全てマスクする Whole Word Masking を採用する。ま た, 学習の高速化のため, 単精度浮動小数点数 (FP32) と 半精度浮動小数点数（FP16）を組み合わせた自動混合精度（Automatic Mixed Precision：AMP）演算を導入する。

## D 副標目付与タスクのデータ作成

## 詳細

はじめに 2.2 節で示した論文データのうち事前学習に用 いていないものから，（抄録，索引語，副標目集合）の組 を抽出する（副標目集合は空でもよい）。次に，このまま では副標目集合が空の事例数が多いため，全ての索引語 について副標目集合が空の抄録を取り除く．最後に，索引語のカテゴリでフィルタリングを行い医学に特に関係 する索引語を含む組だけを残す。このようにして得られ る 359,434 件の組を，抄録が分割をまたがないという条件 のもと，6:2:2 で訓練用・バリデーション用・テスト用に 分割する.

## E病名コード付与タスクの訓練詳細

まず，訓練データのラベルである病名コードを標準病名マスター11）を用いて病名に変換し，（診療記録，病名） の組を作成する。そして，同一の組に含まれる診療記録 と病名の埋め込みの距離が近くなるよう対照学習を行う。 なお，埋め込みは各モデルの [CLS]トークンに対応する 最終出力層から得る.また，対照学習における負例は，訓練バッチ内の異なる 2 つの組から 1 つずつ取得した診療記録と病名のペア (in-batch negatives) とする.

推論時は，入力の診療記録に対して最も埋め込みの近 い病名を順に出力し，標準病名マスターを用いて病名 コードに変換する（最終的に異なる 10 個の病名コードを 予測とする．


# 接尾辞を持つ単語の語義定義文とその分散表現の分析

須山晃平 佐々木稔
茨城大学 工学部 情報工学科
}

\{18t4050x, minoru. sasaki.01\}@vc. ibaraki.ac.jp
## $\cdot$概要

単語の語義定義文は、使用頻度が高い単語につい ては精度が高いが、使用頻度が低いものについては 精度が低いという課題がある。この論文では、自然言語処理モデルの一つである Sentence-BERT[1]モデ ルを用いて、接尾辞を持つ単語 godhood と意味的類似性の高い単語を導出した。また、膨大な語彙を持 つ英語版 Wiktionary[2]の語義定義文を用いることで、意味的類似性の検索の精度の向上を図った。

## - 1 はじめに

本研究では、英語版ウィクショナリーの記事の内容を機械可読にした辞書である ENGLAWI を用いて、接尾辞を持つ英単語の語義定義文において、分散表現を取ることで定義文の精度について分析した。

## - 1.1 研究の背景と目的

Sajous ら[3]は、ENGLAWI の定義文で学習した FastText モデル[4]と LSTM アーキテクチャ[5]の 2 つ のモデルを用いて、英単語 godhood と意味的類似性 の高い上位 10 個の単語をそれぞれ求めた。図 1 は、 Sajous らが行った実験によって求められた、2つの モデルにおける godhood の上位 10 個の近傍語であ る。図 1 に示したように、この実験により得られた 単語の中には、接尾辞"-hood"を含む単語が FastText モデルには 5 個、LSTM アーキテクチャでは 3 個存在しているが、この中には fatherhood や motherhood など、godhood とは意味的類似性のない単語が含ま

図 $1: \operatorname{godhood}$ の上位 10 個の近傍語[3]

れていた。"-hood"のような接尾辞は、語基に別の意味を添加するものであるため、単語の意味において は補助的な役割を果たす。ENGLAWI の語義定義文 では、接尾辞を持つ単語の語義定義文に特徴的な記述の形式が存在することがある。表 1 は、godhood を 含む 5 つ接尾辞"-hood"を含む単語とそれらの単語 の ENGLAWI における語義定義文を示したものであ る。これらの単語は、接尾辞"-hood"に対応する記述 (The state of being)による影響を強く受けたために、同じ接尾辞を持つ単語の類似度が高くなるという問題があつた。

この問題に対処するために、本論文では、高精度 で文章の意味的類似性の検索が可能な SentenceBERT モデルを用いることを提案する。この Sentence-BERT モデルを用いて、ENGLAWI の語義定
表 1 : 接尾辞”-hood"を含む語の語義定義文

義文から godhood との意味的類似性が高い単語を求 めることにより、意味的類似性の検索の精度が向上 するかどうかを研究した。

また、接尾辞を含む低頻度の単語について、 ENGLAWI の定義文の分散表現を求め、その値を他 の文章と比較・分析する。

## - 2 関連研究および関連手法

## - 2. 1 Sentence-BERT

Sentence-BERT は、自然言語処理モデルである BERT [6]を改良したモデルであり、2019 年に Nils Reimers と Iryna Gurevych により提案された[1]。こ の Sentence-BERT は、学習済みの BERT モデルに Siamese Network を組み合わせてファインチューニ ングすることで文章の分散表現を求める手法である。複数の文章を用いた意味的類似性の検索などのタス クにおいて、BERT モデルを使用すると精度が低い という課題が存在する。Sentence-BERT では、この課題に対処するために、Siamese Network と Triplet 損失関数を用いることで、 2 つの文章の類似度を効率的に求めることができるようになる。また、SentenceBERT を用いることによって、BERT を用いた文章間 の類似性判定の精度を維持しながら、文章の意味的類似性の検索が可能である[7]。

## - 2. 2 Wiktionary

Wiktionary は、2002 年に開始した、多言語に対応 したオンライン上の辞書である。ある 1 つの単語や 熟語、フレーズを見出し語とする記事があり、各記事には、見出し語の語義定義文のほか、語源や発音、例文などが収録されている。Wiktionary には、180 以上の言語に対応したヴァージョンがあり、その中で 記事数が最多である英語版 Wiktionary には 700 万以上の記事がある。

## - 2. 3 ENGLAWI

ENGLAWIは、2020 年に Franck Sajous らにより提案されたもので、英語版 Wiktionary の記事の内容を XML で暗号化することにより、機械が記事の内容を 読み取ることを可能にした辞書である。ENGLAWI における単語の語義定義文を利用して意味的類似性 の検索をすることにより、Wiktionary 上の語義定義文における意味的類似性の検索が可能となる。

## . 3 提案方法

本研究では、Sentence-BERT モデルを用いて、 ENGLAWI の語義定義文の分散表現を求めることに より、godhood と意味的類似性の高い上位 10 個の単語を求めた。 1 つの見出し語が複数の語義定義文を 持つ場合は、各定義文と godhood の定義文とのコサ イン類似度を求め、すべての類似度の値を平均した ものをその見出し語の類似度とした。

## .4 実験

## - 4. 1 実験方法

Omkiran Malepati [8]が提案したプログラムを基に、 ENGLAWI に収録されたすべての見出し語における すべての語義定義文の分散表現を Sentence-BERT モ デルを用いて抽出し、godhood の語義定義文（The state of being a god; divinity)の分散表現とのコサイン 類似度を取ることで、godhood と他の ENGLAWI の 見出し語との意味的類似性を求めた。見出し語が複数の定義文を持つ場合は、その見出し語のすべての 定義文との類似度をそれぞれ取ったものを平均した。

## - 4.2 実行結果

表 2 は、Sentence-BERT モデルを用いて求められ た、godhood と意味的類似性の高い上位 10 個の見出

し語と godhood とのコサイン類似度を表したもので ある。表 3 は、表 2 で示された 10 個の単語の ENGLAWI における語義定義文である。表 3 におい て、 godlike は、"Having characteristics of a god." と”Characteristics of a god.”の 2 つの語義定義文を持 っており、表 1 における godlike のコサイン類似度 の値は、2つの語義定義文それぞれと godhood の語義定義文との類似度の平均を取ったものである。

## 表 $2: \operatorname{godhood$ の上位 10 個の近傍語}

## 表 3 : ENGLAWI の語義定義文 (Sentence-BERT)

 \\

## . 5 考察

表 4 は、図 1 で示した、FastText とLSTM を用い て導出された godhood の近傍語のうち表 1 にない 16 個の単語の ENGLAWI における定義文である。

## 表 4 : ENGLAWI の語義定義文 (FastText, LSTM)

 \\

表 2 の語義定義文で示したように、Sentence-BERT モデルを用いて導き出された godhood の上位 10 個 の近傍語の語義定義文には、表 4 で示した語義定義文の多くとは異なり、"god"や"divinity"といった単語 が含まれている。これらの単語は、godhood の ENGLAWI の語義定義文である”The state of being a god; divinity”において元の単語（god）の意味を表す 部分 (a god; divinity)に含まれている。これは、 godhood の語義定義文において、「〜の状態」などの 意味を持つ接尾辞”-hood"の意味を表す部分（The state of being）よりも、元の単語の意味を表す部分が 重視され、接尾辞による影響を受けなかったことを 意味する。したがって、Sajous ら [3]が 2 つのモデル を用いて行われた実験の結果よりも、意味的類似性 の精度が向上しているといえる。

表 5 は、表 2 で示した godhood の上位 10 個の近傍語について、Wikipedia の単語の利用頻度のファイ

し語の Wikipedia 上における出現回数を表したもの

出し語は、Wikipedia における出現回数が 2 回以下で ある、すなわち、単語の利用頻度のファイルに記載 がない単語である。また、ens entium は 2 単語で構成される見出し語のため、出現回数がより少ない entium の出現回数を示した。

表 5 に示したように、godhood の上位 10 個の近傍語のうちの 7 個の単語で出現回数が 1 桁であった。 このことから、膨大な語彙を持つ英語版の Wiktionary を用いることにより、利用頻度の高い単語だけでなく、低頻度の単語に対しても高い精度で 意味的類似性を求めることができる。

http://redac.univ-tlse2.fr/lexiques/englawi.html

ii 2022 年 8 月 29 日現在の Wikipedia のすべての記事の中 で計 3 回以上出現する単語 274 万語余の単語と出現回数表 5 : 見出し語の出現回数

## . 6 まとめ

本研究では、自然言語処理モデルである SentenceBERT を用いて、ENGLAWI の語義定義文の分散表現から定義文どうしのコサイン類似度を求めること により、godhood と意味的類似性の高い単語を求め た。実験の結果、"god”や”divinity"といった単語が語義定義文に含まれる単語が上位 10 単語を占め、接尾辞”-hood”を含む単語が 1 つのみであったことから、意味的類似性の検索の精度が、低頻度語を含めて向上したことが確認された。

今後の課題として、本研究で用いた ENGLAWI は、 2017 年 6 月 1 日現在の英語版 Wiktionary のデータを 基に作成されているので、現在の語義定義文が ENGLAWI に記載された内容と異なる見出し語が存在するため、より新しい語義定義文を用いることで 意味的類似性の検索の精度が向上するかどうかなど が挙げられる。

をまとめたテキストファイルである。以下のページから ダウンロード可能である。

https://github.com/IlyaSemenov/wikipedia-wordfrequency/blob/master/results/enwiki-2022-08-29.txt

## - 参考文献

[1] Nils Reimers, Iryna Gurevych. Sentence-BERT:

Sentence Embeddings using Siamese BERT-Networks. Empirical Methods in Natural Language Processing and International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), 3982-3992, 2019.

[2] Wiktionary, the free dictionary, 2002. https://en.wiktionary.org/wiki/Wiktionary:Main_Page, 2022-06 閲覧

[3] Franck Sajous, Basilio Calderlone, Nabil Hathout. ENGLAWI: From Human- to Machine-Readable Dictionary. Proceedings of the 12th Conference on Language Resources and Evaluation (LREC 2020), 30163026, 2020.

[4] Piotr Bojanowski, Edouard Grave, Armand Joulin, Tomas Mikolov. Enriching Word Vectors with Subword Information. Transactions of the Association for Computational Linguistics, 5:135-146, 2017.

[5] Sepp Hocheriter, Jürgen Schmidhuber. Long ShortTerm Memory. Neural Computation, 9 (8):1735-1780, 1997.

[6] Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), 4171-4186, 2019.

[7] enzo.【入 門 】 Sentence BERT, 2022. https://zenn.dev/en2enzo2/articles/a574b52bb8d116

[8] Omkiran Malepati. Sentence Similarity with BERT, 2021. https://medium.com/@,omkiran/sentencesimilarity-with-bert-49bcd250c1bc


# Investigating parallelograms inside word embedding space using various analogy test sets in various languages

Rashel Fam Yves Lepage
早稲田大学大学院 情報生産システム研究科
fam.rashel@fuji.waseda.jp yves.lepage@waseda.jp
}

\begin{abstract}
The idea of using analogy to assess the quality of word embedding spaces implies the existence of parallelograms between the four terms of an analogy. We investigate the presence of analogy parallelograms in various word embedding spaces for various languages by relying on analogies contained in several analogy test sets. In this paper, we report a negative result: no parallelogram is found. We also discuss another possibility to approach the word as a small $\mathrm{n}$-sphere instead of being a point inside the embedding space. Thus an analogy is formed as a parallelogram between four $\mathrm{n}$-spheres.
\end{abstract
## 1 Introduction

Previous works, like [1] and [2], claimed that there are linguistic regularities in word embedding spaces, and even sentence embeddings [3]. These regularities emerge as parallelograms on hyperplanes in the embedding space. Figure 1 presents an illustration of the claim where the four terms in an analogy make a parallelogram in the embedding space.

This claim was challenged by [4]. When the space is curved as in differential manifolds, the equality $\vec{D}=$ $\vec{C}+\vec{B}-\vec{A}$ will not hold for the analogy $A: B:: C: D$. They proposed a parallelogramoid procedure using geodesic shooting and parallel transport to explain the analogical relation between words along curvatures in Riemannian

Figure 1 Parallelograms in word embedding space. Figure copied from [1] manifolds.

In this paper, we perform an investigation of analogies that possibly exist in word embedding spaces. To investigate the existence of parallelograms in embedding spaces, we perform experiments in discovering the analogies contained in various analogy test sets. We explore embedding spaces and try to extract all analogies from these analogy test sets.

## 2 Extraction of analogies from word embedding space

In the following section, we describe how the parallelogram defines an analogy and the implication of the definition on how we can extract analogies from a word embedding space.

## 2.1 Analogy as parallelogram

Figure 1 shows that linguistic regularity between four words, which is an analogy, makes a parallelogram. This parallelogram implies that there is an equality between ratios on the left hand and on the right hand of the analogy. For example, for the analogy man:woman :: king: queen, we should have the equality between the ratios of man:woman and king: queen (blue arrows in Fig. 1). In addition, to make a parallelogram, equality in the other direction is necessary: man: king $=$ woman : queen. This is also true for analogy between other objects than words, like numbers. There is an equality be-

Figure 2 Parallelogramoid procedure on a Riemannian manifold. Figure copied from [4]
tween the ratios $2: 4$ and $3: 6$ for the analogy $2: 4:: 3: 6$ (because of the properties of subtraction, the equality $2: 3$ and $4: 6$ is implied).

Unfortunately, previous works, like [1, 5], did not use this definition to solve the analogical equation: coin the word $D$ given the tree words, $A, B$ and $C$. After calculating the vector $\vec{D}$ from $\vec{A}, \vec{B}$ and $\vec{C}$, they will take vector $\vec{D}^{\prime}$ which is the closest vector to $\vec{D}$. This is a relaxation of the claim that an analogy is a parallelogram. Prior to this, our intuition is that it will be very hard to have a true parallelogram inside the word embedding space.

Table 1 shows the result of a preliminary experiment on solving analogical equation of man : woman :: king : $x$ using three different pre-trained embedding models: fastText, word2vec and SENNA. This experiment was done in various languages: Belarussian (bel), Chinese (zho), French (fra), German (deu), Indonesian (ind), Javanese (jav), Sundanese (sun) and Thai (tha). The answers are checked by native speakers of the language. Results show that all of the answers are incorrect, except for French (fastText and word2vec), German (fastText) and Thai (fastText and word2vec).

 &  & - & - \\

Table 1 Solution of analogical equation man:woman :: king:x in various languages using various pre-trained embedding models. A dagger mark $(\dagger)$ shows a correct answer according to human judgement (5 times out of 14). A hyphen ('-') means that there was no available pre-trained model for that particular language at the time the experiments were conducted.

## 2.2 Notions on analogy and extraction of analogical clusters

An analogy between four words, $A, B, C$ and $D$, is noted as $A: B:: C: D$. The condition for an analogy to hold is an equality between the ratios. as shown in Formula (1).

$
A: B:: C: D \stackrel{\Delta}{\Longleftrightarrow}\left.\{\begin{array}{l}
A: B=C: D \\
A: C=B: D
\end{array}\right.
$

The ratio between two words, $A$ and $B$, is defined as the difference of the vector representations of the words: $A: B \triangleq \vec{A}-\vec{B}$. We thus replace Formula 1 by Formula 2 . With the difference between vectors, similarly as with numbers, the two equalities in the right part of Formula (2) are equivalent.

$
A: B:: C: D \stackrel{\Delta}{\Longleftrightarrow}\left.\{\begin{array}{l}
\vec{A}-\vec{B}=\vec{C}-\vec{D} \\
\vec{A}-\vec{C}=\vec{B}-\vec{D}
\end{array}\right.
$

Based on that, an analogical cluster is defined as a group of word pairs with the same ratio. This is basically the same as categories found in analogy test sets like capitalcommon-countries, currency, etc. (see Section 3).

$
\begin{aligned}
A_{1} & : B_{1} \\
A_{2} & : B_{2} \\
& \vdots \\
A_{n} & : B_{n}
\end{aligned} \quad \stackrel{\Delta}{\Longleftrightarrow} \quad \forall(i, j) \in\{1, \ldots, n\}^{2},
$

## 3 Data

There are two main resources used in this work: pretrained word embedding models and analogy test sets. We investigate whether the analogies contained in analogy test sets emerge as true parallelograms in pre-trained word embedding spaces.

## 3.1 Pre-trained word embedding models

We use fastText [6] pre-trained models. They provide models in various languages which allow us to compare across different languages. The models were trained on Common Crawl and Wikipedia using CBOW with positionweights. The models we used were trained in 300 dimensions, with character $\mathrm{n}$-grams of length 5 , a window of size of 5 and 10 negative samples.

Let us now turn to the distribution of values inside the vector. We sample 1,000 vectors from the embedding model. For each dimension of the vector, we calculate the mean and standard deviation. Figure 3 plots the means of values for the 300 dimensions of the fastText pre-trained model for English. We observe that the graph roughly follows a Gaussian distribution centered around zero. The error bars in the figure show the standard deviation of the mean. These error bars are not visible in the figure because most of the standard deviations are around 0.05 , which is very small.

Figure 3 Distribution of fastText's vector means for each dimension with their standard deviation

## 3.2 Analogy test sets

We survey several analogy test sets that are publicly available. Table 2 shows the language availability of different analogy test sets.
- Google analogy test set ${ }^{1)}[7]$ is probably the first analogy test set widely used since the emerging popularity of word embedding models. It contains general knowledge questions, like country-capital, and morphological questions, like singular-plural form of nouns. The analogy test set is originally only available in English.
- fastText analogy test $\operatorname{set}^{2}$ [8] is provided alongside the pre-trained models. The test set follows the format of its predecessor, Google analogy test set, and is available in French, Hindi and Polish.
- Bigger Analogy Test Set or usually called as BATS ${ }^{3}$ ) [9] is a bigger and more balance analogy test set in comparison to Google and fastText analogy test set. The analogy test set is also available for Japanese with the version called jBATS ${ }^{4}$ [10].
- Multilingual Generation of Analogy Datasets $(\text { MGAD })^{5)}[11]$ is an analogy test set extracted from Universal Dependency treebanks. Thus, the analogical questions are restricted only to morphological phenomena. It is available in Hindi, Russian and Ara-

bic.

Table 2 Survey on the availability of analogy test sets

## 4 Experimental protocol

The purpose of our experiment is to investigate the existence of parallelograms inside the embedding spaces. We rely on analogy test sets as our ground truth. We investigate whether analogies contained in the analogy test sets actually make parallelograms. As the analogy test sets are already organised into categories, we check whether ratios in analogies that belong to the same categories are actually the same, i.e, whether one category makes one analogical cluster.

We carry out experiments in extracting analogical clusters from sets of words contained in each category of an analogy test set. Words are represented as vectors given by a pre-trained word embedding model. The extracted analogical clusters are expected to be similar to the categories contained in the analogy test set. To extract the analogical clusters, we use two different approaches.

The first approach relies on the strict definition of analogies where the equality of ratios has to hold in order to have an analogy. The algorithm to extract analogies from a given set of words is already presented elsewhere, such as [12,13]. However, to ensure the equality of ratios, these techniques apply only to natural numbers (integer values). We convert the real values found on the vector dimensions into integer values by approximation, up to a certain precision after the decimal point. Formula (4) illustrates the approximation on a vector, with a precision of 3 .

$
\left(\begin{array}{c}
0.1435 \\
0.3496 \\
\vdots \\
0.1180
\end{array}\right) \Longrightarrow\left(\begin{array}{r}
143 \\
349 \\
\vdots \\
118
\end{array}\right)
$

The second approach involves a common clustering algorithm. We perform DBSCAN clustering algorithm to cluster ratios. The reason behind it is the scalability and
the geometry used (distances between points) which is aligned with the constraint that we use here with analogy. In this work, we use the implementation provided by scikit-learn ${ }^{6)}$ library.

## 5 Results and analysis

The results give no parallelogram found between words in the analogical test sets, as represented by vectors in any of the pre-trained embedding spaces considered, was found. This observation, which constitutes a negative result, gives support to the construction proposed in [4]. We also achieved the same result by using DBSCAN clustering algorithm.

## 5.1 A word as an area in the space

The analogy test sets are mainly used to assess the quality of a word embedding space. The test sets demand the embedding space to follow certain linguistic regularities, which are claimed to be semantical. However, in practice, some heuristics and tricks are introduced while performing the analogy task. For example, deleting the words included in the problem itself (the term $A, B$ and $C$ ) from the candidates of the solution. Word $D$ is enforced to be different than words $A, B$ and $C$ even when the true vector $D$ that is calculated by the algorithm is closer to any of these words.

We propose that we should think of a word not as a point, but rather as a small $\mathrm{n}$-sphere in the embedding space. By adopting this approach, we may find that this small n-sphere for a word may includes several words. The visibility and representation of the meaning of a word in the embedding space is extended by the proximity of the words in the neighbourhood. Thus, the analogy is now formed by the four small $n$-spheres instead of just four points in the embedding space. Here, we can imagine that the words king, duke, prince, count, etc. may have their extended $\mathrm{n}$-sphere intersect or even inside each other. This makes the heuristics and tricks that we have done before sound natural.

## 5.2 Hypernymy and hyponymy

Capitalising on the approach of a word as a small $n$ sphere, here, we may get another explanation of how the embedding space outputs the solution which is the hyper- nymy or hyponymy of the true answer. For example, we may get one of the king's names instead of the word king itself. This varies depending on the corpus on which the embedding space is trained on. The discussion comes to whether there is any feature for the degree of generality of a word in embedding spaces; whether distributional semantics captures hyponymy and hyponymy. [14, 15] provides experiments on several datasets to observe whether hypernymy structures exist and are preserved inside the embedding space.

## 5.3 Task of analogy

Let us now reflect back on the task of analogy. It is important for us to ask ourselves again what are better analogies to design. One possible approach to answer that is to extract all possible analogies from a word embedding space. We need to have a critical view or be able to analyse these extracted analogies to draw conclusions about their validity of acceptability. Of course, we have to be more precise about the task at hand. If the goal is to assess the quality of the embedding space, then it is strictly demanded that the previously mentioned tricks are not fair.

## 6 Conclusion

By relying on analogies contained in analogy test sets, we investigated the existence of parallelograms inside a word embedding space model, fastText. The experiment consists in rediscovering the analogies by extracting analogies defined as the equality of ratios between the four terms. This implies that we only want true parallelograms. Experimental results showed that no analogy can be extracted from the word embedding spaces. We then applied a common clustering algorithm, DBSCAN, to extract the analogies. This way we allow for a loose parallelogram. This result supports the construction proposed in [4] where parallelograms for analogies are claimed not to exist in differential manifolds. Instead, they propose that analogies should follow the Ricci curvature rather than making parallelograms. In this paper, we discussed another way to approach the representation of a word in the embedding space: a word is not a point but a small area (n-sphere).
6) https://scikit-learn.org/stable/modules/clustering.
html

space. a word is not a point but a small area (n-sphere).

## Acknowledgement

The work reported here was supported by a JSPS Grant, Number 21K12038 (Kakenhi C), entitled "Theoretically founded algorithms for the automatic production of analogy tests in NLP”.

## References

[1] Tomas Mikolov, Wen-Tau Yih, and Geoffrey Zweig. Linguistic regularities in continuous space word representations. In Proceedings of the 2013 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACLHLT-2013), pp. 746-751, Atlanta, Georgia, June 2013. Association for Computational Linguistics.

[2] Omer Levy and Yoav Goldberg. Linguistic regularities in sparse and explicit word representations. In Proceedings of the Eighteenth Conference on Computational Natural Language Learning, pp. 171-180, Ann Arbor, Michigan, June 2014. Association for Computational Linguistics.

[3] Xunjie Zhu and Gerard de Melo. Sentence analogies: Linguistic regularities in sentence embeddings. In Proceedings of the 28th International Conference on Computational Linguistics, pp. 3389-3400, Barcelona, Spain (Online), December 2020. International Committee on Computational Linguistics.

[4] Pierre-Alexandre Murena, Antoine Cornuéjols, and JeanLouis Dessalles. Opening the parallelogram: Considerations on non-euclidean analogies. In Proceedings of the 26th International Conference (ICCBR-2018), pp. 597611, Stockholm, Sweden, 072018.

[5] Jeffrey Pennington, Richard Socher, and Christopher D. Manning. Glove: Global vectors for word representation. In Empirical Methods in Natural Language Processing (EMNLP), pp. 1532-1543, 2014.

[6] Tomas Mikolov, Edouard Grave, Piotr Bojanowski, Christian Puhrsch, and Armand Joulin. Advances in pre-training distributed word representations. In Proceedings of the International Conference on Language Resources and Evaluation (LREC 2018), 2018.

[7] Tomás Mikolov, Kai Chen, Greg Corrado, and Jeffrey Dean. Efficient estimation of word representations in vector space. In Yoshua Bengio and Yann LeCun, editors, 1 st International Conference on Learning Representations, ICLR 2013, Scottsdale, Arizona, USA, May 2-4, 2013, Workshop Track Proceedings, 2013.

[8] Edouard Grave, Piotr Bojanowski, Prakhar Gupta, Armand Joulin, and Tomas Mikolov. Learning word vectors for 157 languages. In Proceedings of the International Conference on Language Resources and Evaluation (LREC 2018), 2018.

[9] Anna Gladkova, Aleksandr Drozd, and Satoshi Matsuoka. Analogy-based detection of morphological and semantic relations with word embeddings: What works and what doesn't. In Proceedings of the NAACL-HLT SRW, pp. 4754, San Diego, California, June 12-17, 2016, 2016. ACL.
[10] Marzena Karpinska, Bofang Li, Anna Rogers, and Aleksandr Drozd. Subcharacter Information in Japanese Embeddings: When Is It Worth It? In Proceedings of the Workshop on the Relevance of Linguistic Structure in Neural Architectures for NLP, pp. 28-37, Melbourne, Australia, 2018. Association for Computational Linguistics.

[11] Mostafa Abdou, Artur Kulmizev, and Vinit Ravishankar. MGAD: Multilingual generation of analogy datasets. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), Miyazaki, Japan, May 2018. European Language Resources Association (ELRA).

[12] Yves Lepage. Analogies between binary images: Application to Chinese characters. In Henri Prade and Gilles Richard, editors, Computational Approaches to Analogical Reasoning: Current Trends, pp. 25-57. Springer, Berlin, Heidelberg, 2014.

[13] Rashel Fam and Yves Lepage. A study of the saturation of analogical grids agnostically extracted from texts. In Proceedings of the Computational Analogy Workshop at the 25th International Conference on Case-Based Reasoning (ICCBR-CA-2017), pp. 11-20, Trondheim, Norway, June 2017.

[14] Zheng Yu, Haixun Wang, Xuemin Lin, and Min Wang. Learning term embeddings for hypernymy identification. In Proceedings of the 24th International Conference on Artificial Intelligence, IJCAI'15, p. 1390-1397. AAAI Press, 2015.

[15] Ivan Sanchez and Sebastian Riedel. How well can we predict hypernyms from word embeddings? a dataset-centric analysis. In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics: Volume 2, Short Papers, pp. 401-407, Valencia, Spain, April 2017. Association for Computational Linguistics.