# 日本語の若者言葉における助詞$\cdot$助動詞短縮形の使用と エネルギーの節約

平澤陸斗 ${ }^{1}$ 西口純代 ${ }^{2}$
${ }^{1}$ 株式会社 SALTO ${ }^{2}$ 小樽商科大学 言語センター
h.r19990926@icloud.com
nishiguchi@res. otaru-uc. ac. jp

## 概要

日本語の会話文では、助詞や助動詞の一部分の短縮が多く見られる。先行研究では、会話の中で短縮語を用いる要因は大きく4つあると主張されている。本稿では実際の会話データをもとに、助詞や助動詞が短縮される要因と背景について再検討した。検証の結果、短縮化にはスピード化、言語の自由化、娛楽化、帰属化の 4 つの要因に対応する効果はあまり見られなかった。実際には、エネルギーの消費を少なくすることを狙って短縮化を行っている、またその過程で 4 つの効果が副産物的に得られることがある、ということを提唱する。助詞・助動詞の短縮の真の要因を「エネルギーの節約」であると主張する。

## 1 短縮語

## 1.1 短縮語とは

本稿の目的は、日本語の日常会話で、語句の短縮がどの程度行われているかを分析し、その性質から、単語を短縮して話すことにどのような要因があるかを研究することである。短縮語は、類似するものに略語・省略語があり、非常に曖昧な概念である。文献やウェブサイトによってその定義にわずかな差異があるため、本稿では短縮語を次のように定義した。短縮語とは、本来の意味を保ったまま、文字数や拍数、発音にかかる時間が短縮される語のことを指す。 また、短縮語と省略語は区別して研究を進めることとする。短縮とは会話の中に現れるある語の形を変

え短くすることを意味する。一方省略とは、その語を完全に取り除くことを意味する。

（1）あなたは今夜、何をしているの？

(2) 今夜、何してるの?

(2)は同じ内容である(1)をもとに、語の省略と短縮を行って作成した文章で、「しているの」が「してるの」に短縮されている。一方、省略されている単語は、主語の「あなた」、助詞の「は」「を」である。このように、意味と形を保ったまま文字を少なくすることを短縮、その語自体を取り除くことを省略とする。短縮語が使用される状況については、基本的に敬語表現を用いない、いわゆる「タメ口」が許される関係性の話者同士の会話でよく見られる。丁寧な表現が求められる場面や、会話を行う人同士の関係が対等でなくかつ、「タメロ」が許されない状況では、短縮語の使用は回避されることが多い。

## 1.2 短縮語の例

短縮語の例として、付録の会話データの中から抽出したものをまとめたものを表 1 にした。会話デー タから確認された短縮語とその原型を記している。原型とは、短縮語をより丁寧な言い方に修正し、口語の形にしたものである。また原型の語句を品詞分解して「・」で区切り、その右側に品詞の種類を、原型の品詞分解の順番に対応させる形で表記した。

表 1 : 短縮語の例

## 1.3 短縮語に関する先行研究

## 1.3.1 短縮語が使用される要因

瀬沼（2005）は米川(1998）を参照し、会話の中で短縮語や省略語が使用される要因は 4 つあるとしている。「1つ目に現代社会のスピード化である。現代はあらゆる面でスピードを求められる。限られた時間内で効率よく，大量のものをこなすことが求められている。そのような中で若者は，話し办自体を速くするだけではなく，言葉を縮めて，会話促進のために言葉の省略が進んだ(米川1998)。」日常で好きなだけ時間を取って、遅いスピードで会話ができる場合は多くない。時間的な余裕がないため一つの会話にかけられる時間自体も短く、会話を促進する機能には非常に多くの需要があると考えられる。

「2つ目の要因としては，現代社会は自由を求めてきた。その結果，個人の自由が拡大した一力で，自己を含めてあらゆる事柄の意味があいまいになったり，価值を見失い，アイデンティティーを失った。 そのような中で，事柄を言語化することが困難になった。また，仮に言語化しても意味はあいまいで浮遊している。そういう言葉は軽く, 扱い方も軽い。 そこから言葉がどんじん省略化されていったと考えられる(米川 1998)。」「3つ目の要因は言葉の㚭楽化である。若者は会話を楽しむために使う。したがって既存の語だけでは，会話は盛り上がらない。そこで言葉を省略して，従来の語とは違った語感を持たせて，おもしろさを出し，会話を盛り上げているという(米川 1998)。」婃楽性を持つ単語は、一定の
リズム感とキャッチ一さを備えている。ル動詞(尾谷 2019)は英語・日本語・人名などあらゆる言葉を 2 モーラに短縮した後、語末にルをつけることで動詞化するものだ。同じモーラ数と、短縮によるキャッチ一さがあり、若者の間で使われることが多い (玉岡 2010)。「4つ目の要因としては、仲間内で通じる言葉で仲間意識を高めているということも考えられる(米川 1998)。」

このように、言葉を短縮させることには、4つの要因があり、短縮語の使用はそれに対応する効果が発揮されることが期待される。特に若者言葉には、自由な表現が非常に多く含まれており、新語や流行語、JK 語などの多くは、若者が発信源である。

## 1.3.2 乱れとしての短縮語

若者の言葉の乱れはよく指摘される。ら抜き言葉は有名な現象の一つだ。船木(2002)によれば、ら抜き言葉は動詞の語幹の「られる」接続を「ら」を抜いて可能を表現する語法で、助動詞の「られる」の短縮語である。本稿で扱う短縮語は、乱れとしての短縮語なのであろうか。それとも新しい日本語の一部なのであろうか。坂本(2001)は、言葉の乱れは、自分の規範と異なる言葉遣いを見聞きした時に発せられるもので、相手や第三者の発した言葉遣いが、自分の考える規範と異なっていると考えたときに、相手や他人を批判する時に使われるものだとしている。1.1 で述べたように、会話で短縮語が使用されるのは、対等な関係同士での会話である。このような場合に、相手の言葉に、自分の規範から外れた言葉遣いを見聞きすることは少ない。あっても、わざ

わざ批判するほどの言葉遣いであることは稀である。本稿で扱う短縮語は、言葉の乱れと指摘される種類の語法ではなく、話し言葉として頻繁に使われる新しい語法である。

## 2 検証

## 2.1 日常会話の検証

短縮語の使用をより詳しく調べるための検証を行った。一つの話題について普段と同じ言葉遣いで大学生に会話をしてもらう。日常的な会話とするために、話題はトレンドワードや興味・関心を持っている趣味などの話題を選択してもらった。二人で 1 分間を目安にし、会話がひと段落したタイミングで終了する。1 分間を大きく超えた場合は、1 分前後で区切りの良い場所で編集し会話を記録し、会話時間が 2 分を超えないように設定した。音声を録音し、文字に起こしたものを付録 A に記す。一回目の検証を(1)、二回目の検証を(2)というように表記する。

## 2.2 検証結果の分析

計 7 回の検証のうち、短縮回数は 41 回で、最も多く短縮された品詞は助動詞の 27 回だった。「〜している」を「〜してる」に短縮する形が最も多く見られた。会話時間の平均約 1 分 22 秒あたりの短縮語の出現回数は 5.86 回で、一度の会話に約 6 回短縮語が使用される。一方的な会話では聞き手の応答は「うん」「そうなんだ」など、単調で文字数の短い返答が多かった。返答に対する間や、「あ一」

「その〜」「なんか」などの壳長表現も多く見られた。仲間内にのみ伝わる短縮語は見られず、全てが日本語のネイティブスピーカーであれば意味がわかる表現であった。短縮語によって笑いが起こったり、会話が盛り上がったりすることはなく、短縮語に媅楽を意識する姿勢は見られなかった。短縮語が使用される要因として先行研究で 4 つ要因が挙げられたが、今回の検証では、短縮語に対応する効果は見られなかった。ただ、短縮することによって、単純に文字数が減少し、時短、スピード化に関しては一定の効果が得られることが分かった。表 2 は短縮回数を品詞別に集計し、 7 種類の短縮が確認され最も短縮が多いのは助動詞であった。

表 $2:$ 検証結果のまとめ単位（回）

 &  \\

## 2.3 検証結果の考察

スピード化の観点から一定の効果が見られたが、短縮語によって短くなった時間も 1,2 文字分の時間であって、スピード化を図るために短縮語が使用されたわけではない。助動詞や助詞の短縮は、会話上なくても伝わる文字を短縮したにすぎない。短縮語の使用で会話のスピードが速くなっても返答に対する間や穴長表現が当然あり、会話の時間自体を短くしようという意図は見られなかった。つまり日常会話で、短縮により文字数を短くし会話を早く終わらせたり、効率を高めようとしたりする目的はないと考えられる。短縮の要因は別にあることが推測される。では、なぜ短縮は行われるのだろうか。語句の短縮、特に助動詞や助詞の短縮は、単なる「言いやすさ」を無意識的に優先して短縮を行っているのではないだろうか。そしてそれが、口語における短縮語使用の要因なのではないだろうか。

## 3 結論

## 3.1 エネルギーの節約

以上の検証と考察を踏まえて、日本語会話の中で語句の短縮が起こる要因は、「エネルギーの節約」で

あると考える。会話が最低限成立する範囲内で、文字数を節約しエネルギーを節約しようとしており、 そこには、長く話したがらないということが関係している。特に 10，20代の話者は、極力少ない文字数で会話をしようとする。親が子供に対して質問をした際に、「うん」や「知らん」、「あ、そう」 と淡白な返答をすることがよくある。反抗期や、適当に会話を流してもいい関係であったり、長い文字数をかけて会話をしたくないという姿勢が、若者にありがちであると考えられる。日常会話の中で、話題が解決・完結せずに次の話題に流れていくこともある。瀬沼（2005）も若者の話を聞かない態度に言及しており、「講義の場などでも、学生たちに話を聞く気はない」「話を聞いていないだけでなく聞く姿勢や態度すら持っていない」としている。学生同士の会話では「自分が発言したいために、「っていうか」を使い無理やり自分の話に変えているのも特徵である(坂本 2001)。別の話題が流れ込んだり、

相手の質問に答えずに話題が終了したりする事態が頻繁に起こり、適切な順序を踏んだ会話自体も、減少傾向にある。言葉が足らず、意図が伝わらなかつた場合は聞き返したり、後に説明を付け加えたりすることで会話を成立させようとする。一度の自分の番にすべてを話すのではなく、ラリー数を増やしてコミュニケーションを取るという方法に移行してきている。語句を短縮することで得られる効果のためでなく、会話にかかるエネルギーを節約しようとして文字を短縮させた結果、そのような効果も副産物的に得られるようになったのではないかと考える。

## 3.2 文字による会話

SNS の普及により、画面上で、文字で、やり取りをする機会が圧倒的に多くなった。「LINE」をはじめとする SNS は今や、コミュニケーションツー ルとして日常生活に必要不可欠で、やり取りをより快適に行うには、簡潔な文章にすることが必要だ。玉岡（2010）が「携帯電話での電子メールの普及に関係がありそうである。長い文を短い短縮語的な表現に置き換えることは、携帯電話での電子メールの発信に好都合である。」と述べるように、書き言葉でこそ、短縮語は非常に多く使用される。承知したことを表すなら「おけ」、了解したら「りょ」または「り」と、これほどの文字数でも相手に意図を伝えることが可能だ。このような書き言葉は、話し言葉にも影響を与えている。LINEで「今何して
る？」や「やっぱ今日行かんわ」と、対等な関係性の相手には短縮語を使用する。日常で機会を増した書き言葉は話し言葉にも伝染し対面の会話でも「おけ」や「りよ」などと話すようになる。書き言葉で短縮語を使用する理由も、単純に文字を打つことにかかる労力を減らすためだ。文字を打ちこむのと発音するのでは、文字を打ち込むほらが時間も労力もかかる。話し言葉で使う理由も労力つまり、「エネルギー」の節約であることは十分に考えられる。

## 3.3 外来語短縮形成の定説

外来語短縮形成は、外来語で長い文字の名詞を、その一部分を抜き出し短縮語を形成するものだ。「インフレーション」を「インフレ」、「ハイテクノロジー」を「ハイテク」と短縮する。窪薗（2010） は、「これまでの研究に共通しているのが，短縮形は短ければ短いほど良い（the shorter, the better）という考えである。つまり, 短縮語形成は基本的に省エネ, 経済性 (economy) の原理によって引き起こされているから, 出力形が短くなるほど, その原理に合致すると考える。」と述べている。会話を行う当事者同士が意味を把握しているなら、「インフレ」、「ハイテク」のほうが言いやすく、会話でも疲れない。助詞や助動詞の短縮も同じ原理で、わざわざ「〜していますか？」と長く発話するよりも

「〜してる?」と尋衩たほうが言いやすく、疲れない。また、余計に気を遣うようなニュアンスも含まず、エネルギーを節約している。

## 4 まとめ

日本語会話における短縮語使用の要因を、「エネルギーの節約」であると主張した。一度に長い文字数や時間をかけたくないという傾向があるということと、そもそも会話自体に力をかけたくない傾向があるということが根拠である。また、SNS の普及・発達や、それによる若者文化が他の世代にも浸透し、コミュニケーションひいては言葉のあり方にまで影響を及ぼすようになってきた。その中で短縮語の使用は、現代の会話に必要な「言いやすさ」と

「使いやすさ」を備えた最適な言語となりうる。また、言葉が変動的・流動的であるように、短縮語も時代が進むにつれて形やあり方が変化していくものだと考えられる。そのため、今後も継続的に言葉の変化について調查や検証を続け、敏感に最先端の言葉を注視していくべきだと考える。

## 謝辞

本論文作成に当たって、小樽商科大学夜間主西口ゼミのメンバーの協力に感謝する。

## 参考文献

1. 尾谷昌則(2019)「ル動詞を構文論の観点から見直寸」『日本言語学会第 158 回大会予稿集』387-392. 2. 䆶薗晴夫(2010)「語形成と音韻構造: 短縮語形成のメカニズム」『国語研プロジェクトレビュー』3, 17-24, 国立国語研究所.

3. 坂本恵(2001)「言葉の乱れをどう考えるか」『麒麟』10, 86(1)-78(9), 神奈川大学.
4. 瀬沼文彰(2005)「若者言葉をフィールドワークする」『コミュニケーション科学』22, 295-323, 東京経済大学.

5. 玉岡賀津雄(2010)「新しく作られた短縮語使用に関する世代間比較」『ことばの科学』23, 85-99, 名古屋大学言語文化研究会.

6. 船木久範(2002)「いわゆるら抜き言葉の現況とその考察」『日本文學誌要』65, 117-127, 法政大学国文学会.

7. 米川明彦(1998)『若者語を科学する』東京 : 明治書院.

品詞分解に使用したツール

「日本語品詞分解ツール」

## A 付録

検証(1)

A: 20 代男性大学生北海道出身・在住

B:20 代男性大学生北海道出身・在住

話題 : Apple について（2021 年 10 月 20 日）

A:Apple 好き?

B: どっちかというと、憧れてるイメージある。iPhone とかMac とか持ってないから。そういうの持ってみたいなとは思ったりはする。

A:あー、なるほど。

B:Apple 使ってる?

$\mathrm{A}:$ 朝に食べたりとか?

B:、、。

A:ごめん、今のボケ。

B:あ、そうなの、ごめん。

$\mathrm{A}$ : 今使ってるの、iPadなんよね。

B: iPadってなんか知的な人が使うイメージあるよね。

A:そんなことないよ。

B: iPadってなんか、アンドロのタブレットに比べて、重いって聞いたことあるんだけど、わかる?

A:わかんないな。今までアンドロイド使ったことなかったから。逆に使ったことある？

$B$ :タブレット持ってるね。

$\mathrm{A}$ :へえ一。

会話時間：1 分 38 秒

## 検証(2)

A:20代男性大学生北海道出身・在住

B：20代男性大学生北海道出身・在住

話題 : コロナ（2021 年 10 月 20 日）

$\mathrm{A}$ : 前さ、なんか「ラーメン共和国」っていう札幌エスタの 10 階にあるラーメン屋で、俺働いてたんだけどさ、

B:うん。

A:なんかそんときに、冬祭りの時期っていうのもあって、なんか中国人の観光客が、もうほんと、めちゃくちゃ多く来てたんだよね。

B:、、、、。

A:で、なんか、うちの店のみんなが、コロナになんじやねえかなってめっちや心配してたんだよね。

B:そうなんだ。

A:そうそうそう。

B: 大変だったね

A:そうなのさ。までも、そんときあんまりコロナの話題とかもなってなかったから、結構大丈夫じやねえかなって思ってたんだけど、なんか今だったら、もうすごいコロナって怖いもんって感じするよね、B。 B:そうだね
A:だよな。なんか、どう思う B は?

B:そうだね、最近はコロナ減っては来てるけど、やっぱりワクチン打った方がいいのか、打たない方がいいのかってとこが結構心配かな。

A:あ一、確かにね。それは言えてるわ。俺もそう思う。

B:ありがとう。

A：(笑い声)

会話時間：1 分 37 秒

検証(3)

A：20 代女性大学生北海道出身・在住

B：20 代女性大学生北海道出身・在住

話題 : ハイキュー！！について（2021年 10 月 27 日）

A：『ハイキュー！！』見たよ。

B:どこまで見た?

$A ： 2$ 期全部見て、、

B: 早い!

A:そう、50 話見た！

B：(笑い声）。結構かかるじやんそれ。

$A: 3$ 期の 3 話目。

$\mathrm{B}: 3$ 期ってなんのやつ?

$\mathrm{A}$ : 白鳥沢学園。

B：あ、そっか、おけ。

B:Aが好きなキャラは?

A：うちは、ケンマが好き。

B:あー、Bは、クロオが好き。あの、、

A:ケンマの横ね。

B:そうそうそう。

A:人気だよね。

B:そうだよね。え、あのさ、『ハイキュー！！』展行かない？来月。

A:いいよ、一緒に行こう。

B: 先に予約しないといけないのさ。

A:それ8日まででしょ？

B:そうそうそう。

A:え、行く。行こ行こ。空けるわ

B:行く人探してたんだよね、ずっと。

A：え、全然行く。それまでに全部見るわ。そしたら。

$\mathrm{B}$ :そう、早く見て。でも $\mathrm{B}$ はあとマンガ 4 巻分余ってんだよね。会話時間：1 分 6 秒


# 医療縮約表現
## 一 医療記録に含まれる句や節に相当する合成語 —

\author{
相良かおる ${ }^{1}$ 黒田航 ${ }^{2}$ 東条佳奈 ${ }^{3}$ 西嶋佑太郎 ${ }^{4}$ \\ 麻子軒 ${ }^{5}$ 山崎誠 ${ }^{6}$ \\ ${ }^{1}$ 西南女学院大学 ${ }^{2}$ 杏林大学 ${ }^{3}$ 大阪大学 ${ }^{4}$ 医師 ${ }^{5}$ 関西大学 6 国立国語研究所
}

## 概要

医療記録には，句や節に相当する合成語が使われている. 我々は，これらを「医療縮約表現」と名付け, 語末要素の異なる 822 要素の医療縮約表現を選定し，語構造と意味の分析を行っている.

本発表では，多様な文字種と略語を含む医療縮約表現の語例を示し, 「臨時一語」との関わりと特徴を概観する。

## 1 はじめに

医療記録には，2 種類の合成語が含まれる。一つは「テント上下転移性腫瘍」のような複合語であり，もう一つは「治療終了後」や「両下肢感覚低下」のような句および「主語十述語（SV）」の構造を持つ節に相当する合成語である。これらの合成語を対象とする実態調查は殆ど行われていない.

このような背景から, 我々は複合語の語構造解析に着手した。具体的には, 複合語 7,087 語を医療の観点からみた語構成要素に分割した後, 得られた語構成要素 6,633 種に 41 種の意味ラベルを付与し 「実践医療用語_語構成要素語彙試案表 Ver.2.0 $\mathrm{i}$ （以下, 試案表 Ver.2.0）を公開した[1].試案表 Ver. 2.0 では，医療の知識がなくても語分割位置の推定ができるように分類語彙表[2]の項目を含む複合語を対象とした. これら語構成要素 6,633 種は, 専門用語のみの語構成要素からなる複合語の語構造解析に利用できる.

しかし, 医療の観点からみた語構成要素の分割では, 複合語「テント上下転移性腫瘍」の語構成要素は「テント上下」「転移性」「腫瘍」の 3 要素となり，「テント」「上」「下」「転移」は含まれない.「転移」が抽出できれば，専門用語からなる複合語「腎癌骨転移」の語構造解析において「転移」
を利用できる。複合語から全ての語構成要素を抽出することができれば，複合語の語構造解析の効率は向上する。

そこで, 複合語から網羅的に語構成要素を抽出することを目的とした語構成要素の認識法「並列分散式の形態素解析（PDMA）」と, PDMA で得られた結果を近似して記述する記法「複層化語構成解析 （MLMA）」を考案した. 本手法については, 黒田が発表する[3].

本発表では，「医療縮約表現」について述べる。

医療記録には，「グル音良好（グル音が良好であ

る）」「白血球減少 grade1（白血球の減少は grade1 である）」「全身浮腫（+）（全身の浮腫があ

る）」など，記号を含む複数の単語を一語化した表現がある. 我々はこのような合成語を「医療縮約表現」（以下，縮約表現）と呼んでいる. 現在, 語末要素が「抜糸」や「穿刺」などのサ変動詞語幹,

「染み出し著明」の「著明」や「グル音良好」の

「良好」などの形容動詞語幹，「圧迫止血中」の

「中」や「発赤程度」の「程度」などの副詞可能名詞である縮約表現 5,690 種を選定し, その内, 語末要素が異なる 822 種について語構造解析と意味分類を行っている. なお, 縮約表現 5,690 種の約 7 割に，試案表 Ver. 2.0 にある語構成要素が含まれている[4].

## 2 多様な文字種を含む縮約表現

以下に縮約表現と, 縮約前の単語列の例を示す.

## 英数字を含む縮約表現

(1)「2\%キシロカインE8 万倍含有」

単語列 : $2 \%$ キシロカインは $\mathrm{E}$ (エピレナミン)

の 8 万倍（希釈液）を含有
^{i}$ https://www.gsk.or.jp/catalog/gsk2020-g/
}

(2) 「生食 $5 \mathrm{cc}$ フラッシュ ${ }^{\mathrm{ii}}$ 後」

単語列: 生理食塩水 $5 \mathrm{cc}$ でフラッシュした後」

(3) 「CRP ${ }^{\mathrm{iii}}$ 陰性化 $\left.{ }^{\mathrm{iv}}\right.\rfloor$

単語列: CRP（C-reactive protein）が陰性化した

(4) (a) $\left.\lceil\mathrm{NST}^{\mathrm{v}}\right.$ 再検」

単語列 : ノンストレステスト (non-stress test) の再検査

(b) $\left.\lceil\mathrm{NST} T^{\mathrm{vi}}\right.$ 回診」

単語列: NST（nutrition support team）の回診

## カタカナを含む縮約表現

(5) 「オムツ交換」

単語列：オムツの交換

「おむつ（御衸褓）」は和語であるが，カタカナが使われる場合がある（表 1）.

表

(6)「グル音良好」

単語列：グル音viiiは良好

(7)「オペオリix済み」

単語列 : オペのオリエンテーション済み

(8)「ラパロ㚴腎摘」

単語列 : ラパロによる左の腎蔵の摘出

## 漢字と記号による縮約表現

（9）「漿液性浸出液十」「漿液性浸出液个」

単語列：漿液性浸出液xiが増加

（10）「ドレーン排液漿液性 $\rightarrow$ 抜去」

ii フラッシュ（flush）：点滴ラインの管内の薬液を洗い流すこと。

iii CRP（C 反応性蛋白）：体内で炎症反応や組織破壊が起きた時に血中に現れる蛋白質のこと.

iv 陰性化：検査で反応が無くなること。

v ノンストレステスト：胎坚が出産時のストレスに耐えうる体力の有無を調べるテストをいう。

${ }^{v i}$ NST：栄養サポートチームのこと。

vii 「医師経過記録」「看護経過記録」「他職種共有経過記録」は，それぞれ異なる 3 病院から提供を受けた若名加工済みの 1 年間の記録データである. BCCWJ での頻度は, 国立国語研究所が提供する Web アプリケーション「中納言」により求めた.単語列：ドレーンからの排液が漿液性なため （ドレーン）を抜去

## 漢字のみの縮約表現

(11)「末梢冷感著明」

単語列 : 末梢の冷感が著明

(12)「回腸直腸吻合術 ${ }^{x i}$ 後」

単語列：回腸直腸吻合術の後

(13) 「気切閉創|xiij

単語列 : 気切（気管切開）の閉創をする

## 3 外来語の略語

縮約表現の語構成要素には，「オペオリ」「ラパ口」などの外来語の略語が含まれる.

言語学では, 語の一部を切り落としたり, 切り捨てたりして意味や品詞を変えずに単語を短くするプロセスを「クリッピング (clipping) 」と言う [5].

「略語」とは，語の一部（語構成要素）を何らかの方法で縮約・省略した形であり，略語においては基本的にもとの語の意味は保存されており，その簡便な代用の語形として用いられる[6]. 「クリッピング」も外来語における「略語」も元の語の意味に影響しないことが前提となる。

縮約表現は，(4) “NST” のような原語から作られた略語や，和製英語から作成されたものなどがある. (7)「オペオリ」を例にとると，「手術前オリエンテーション」の英語は “preoperative orientation”であり，専門の辞書に立項されている.これらの接尾辞を省略すると “preoper orient” となる。従って「オペオリ」は「手術(operation)」 と「オリエンテーション(orientation)」の和製英語 2 要素からなる多項省略xiv と考えられる。

viii グル音 : グルグルという腸蠕動音のこと

ix オペオリ：手術前オリエンテーション（英語 :

preoperative orientation) のこと.

$x$ ラパロ : 腹腔鏡下 (laparoscopic) 手術のこと.

xi 漿液性浸出液 : 傷口からにじみ出てくる無害の薄い黄色透明な体液のこと。

xii 回腸直腸吻合術 : 手術名で，回腸と直腸を吻合

する手術のこと。

xiii 閉創：手術創を縫合などで閉じること。

xiv 多項省略 : 複合語を作っている各要素の一部分を省略すること
中川秀太（2015）は，漢語・外来語の略語を作る段階および使用段階での問題をあげている[7].

(1) 語形が復元しにくい

(2) 同音異義語が増える

(3) 同音語の連想と誤解

(4) 音の響きがよくない

(5) 重要な要素が抜け落ち, それに気づきにくくなる

(6) 耳で聞いてわかりにくく，聞き誤りの恐れがある

(7) 略語なのか普通の熟語なのか判断しにくい

(8) 重言が生じる恐れ

これらの内，(4)「NST」は，隣接する語構成要素により意味が確定し, (2)の同音異義語の問題を持つ.

ところで，(8)「ラパロ左腎摘」の「ラパロ（腹腔鏡）」の原語は, “laparoscopic” であり,「腹腔鏡下手術」の原語は, “laparoscopy assisted surgery” である。一方，別の手術法である開腹術の英語は “laparotomy” である. 従って略語「ラパ口」からは, 元の意味が判断できず, (2)同音異義語と(3)同音語の連想と誤解の問題を持つ.

このように縮約表現の要素には，「オペオリ」のように省略形の略語からなる複合語と考えられるものや，「ラパロ＝腹腔鏡下手術」のように専門用語化したものが含まれ, また, 略語が隠語として使われる場合もある. 従って, 医療の知識なしに外来語の略語を分類するのは困難である．

なお森岡健二（1988）は, 「外来語は, 原語の形態素を無視した省略が多く, その場合には一種の暗号のニュアンスを帯びてくる」と述べている[8].

## 4 慣用的な使用と表記の摇れ

縮約表現には，(9)「漿液性浸出液＋」「漿液性浸出液个」のように多様な表現がある. そして同じ病院, 同じ診療科内で統一された表記が使われる訳ではない.

表 2 は， 3 施設 3 種類の医療記録での「グル音」 と同義語「腸蠕動音」の使用頻度の割合である.表 3 は,「オぺ後」「手術後」「ope 後」の出現割合である. 出現割合は異なるが, 複数の施設および医療記録で使われていることが見て取れる.また「オペオリ」「オペオリエンテーション」「手術前オリエンテーション」「術前オリエンテーション」 も 3 施設の医療記録に出現する. このことから複数の施設において, 多様な表現が定着し, 表記の摇れの問題を抱えていることが分かる.

 &  &  \\

## 5 縮約表現の意味分類

複合語同様に，縮約表現も意味のある語に分割できる。例えば「人工呼吸」と「鼻翼呼吸」を単語に分割すると，「人工／呼吸」「鼻翼／呼吸」となる。

「呼吸」は生理的現象であり，右側主要部の規則に従えば，共に「呼吸」の種類を表す。しかし視点を変えて医療の観点から見ると「人工呼吸」は「医療行為」となり，「鼻翼呼吸」は「症状」または「状態」となる.

試案表 Ver. 2.0 では医療分野での利活用を考え, 医療の観点からみた語単位に分割し，意味ラベルを付与している. 従って「人工呼吸」には意味ラベル「医療行為」を, 「鼻翼呼吸」には「症状, 状態」を付与している.

縮約表現においても, 医療の観点からみた語分割を行い，意味ラベルを付与する。例えば「生食」の意味ラベルは「化学物質」となる.

このように，試案表 Ver. 2.0 における意味ラベルは, 縮約表現の語構成要素の意味分類に利用できる.

一方,「ラパロ」は，「医療行為」の意味ラベルを付与しても，専門家の暗黙知を要する。原語の異なる「NST」などの略語については, 略語を一要素とするか隣接する要素を含めて一要素とするかの分

割位置と意味分類の検討が必要である.

## 6 表現の定型化

選定した縮約表現 5,690 語の語末要素には, 分類語彙表[2]に掲載されている語が 833 種ある.

語例の頻度が最も高い語末要素は「後」で 311 語あり, 前要素は「開始」「摄取」「投与」「手術」 など多様である.

次いで頻度の高い語末要素「施行」（176 語）の前要素は, 「退院オリ」「心エコー」「胃洗浄」

「薬物療法」「骨髄検査」など主に「医療行為」を示す要素となっている. また, 「開始」（142 語）

の前要素は「抗がん剂」「全粥」「酸素吸入」な

ど, 「薬剤」「食品」「医療行為」を示す要素となっている.

このように, 同じ意味領域内で特定の語例に用例が集中し，表現の定型化がみられる[9].

## 7 臨時一語との関わり

「医療縮約表現」は, 複数の単語連続を一語化して，記録作成の際に作られるという点で，林四郎 （1982）や石井正彦（1993）等の「臨時一語」と重なる点が多い.ここでは「縮約表現」と「臨時一語」の関わりについて述べる.

林四郎（1982）は, 辞書に恒常的な語として登録されることのない, その場限りのものとして臨時に作られる複合語を「臨時一語」としている[10].石井正彦（1999）は，「臨時一語」を林のいう 「臨時一語」の内，「文章を作る際に，その場で臨時的に作られる合成語」とし[11], 以下の要件を満たすものとしている.

(1) 複数の単語が臨時的に結びついたものである

(2) 複合語である

(3) 複数の文節連続をその内部構造に持つ

(4) もとの単語連続に復元することができる

医療記録には，「口底からの喠液流出良好」のように文の中で縮約表現が使われる場合もあるが，「白血球減少 grade1」「皮膚 : 全身浮腫 $(+) 」$

また医療記録では，縮約表現に先行してそれぞれに対応する単語列を含む文が出現することはなく, 記録者の頭の中で文を短縮化していると考えられる。

文例 : 口腔内治療は外来十かかりつけ歯科医で十分可能であり，退院の方針．気切閉創し，一般食問題なく摂取できれば OK
そして，「グル音良好」「末梢冷感著明」「オぺオリ済み」など, 表現が定着し, 慣用的に複数の施設，医療記録で使われるものがある。

文章における臨時一語の多酓の調査によれば，新聞のリード文，科学技術抄録文，新聞の社会面，高校の「世界史」の教科書, 新聞の社説, テレビニュ一スに臨時一語が多いとされる[12]. これらの読者は，不特定多数であるのに対し，医療記録の閲覧者は医療行為者当人または，医療関係者で，言語使用域は，医療分野に限定される。

縮約表現の中には「気切閉創」のように複合語

「気管切開」の一部の要素を省略した多項省略

「気切」と単語「閉創」が連結されたものがある.

そして医療関係者は「気切」を「気管切開」の略語としてではなく, 単語として認識し, 使用している場合もある。

従って, 縮約表現は「臨時一語」の特徴と重なる部分が多いものの, 単語列への復元が困難なものがあること，慣用的に使われ定着したものや，定型化した表現など「臨時性」とそぐわない性質があることから，我々はこれらを「医療縮約表現」と命名し解析を行っている.

## 8 おわりに

医療記録に含まれる句や節に相当する「医療縮約表現」の語例を紹介した。

現在, 語末要素の異なる縮約表現 822 語の医療の観点からみた語分割を行う中で，「NST」を 1 要素とするか「NST 回診」を 1 要素とするかのような分割単位の検討を行っている段階である．従って「単語列への復元が困難」な理由が，適切な要素に分割できていないためなのか, 分割した後の意味的な関係性が把握できないためなのかを明らかにする迄には至っていない.

また, 異なる言語使用域の資料, 例えば法律文書や日記などにおける縮約表現の調査は行っておらず，単語だけでなく多項省略が含まれるなどの特徴が，医療縮約表現特有の言語的特色であるか否かについても分かっていない.

今回の縮約表現 822 語の解析では記号を含むものは扱っていないが，(9)「漿液性浸出液十」「漿液性浸出液个」の「+」や「个」は, 「増：増加」「上：上昇」などの漢字形態素に対応しており,これらの調査も今後の課題としたい.

## 謝辞

本研究は JSPS 科研費 JP18H03499, JP21H03777 の

助成を受けたものです.

## 参考文献

[1] 東条佳奈, 黒田航, 相良かおる, 高崎智子, 西嶋佑太郎, 麻子軒, 山崎誠, 実践医療用語_語構成要素語彙試案表 Ver. 2.0 の構築，言語資源ワークショップ 2022, 2022

[2] 国立国語研究所, 分類語彙表増補改訂版, 大日本図書, 2004.

[3] 黒田航, 相良かおる, 東条佳奈, 西嶋佑太郎, 麻子軒, 山崎誠, 要素の重複と不連続性を扱える抽出型の語構成要素解析一医学用語の並列分散型形態素解析, 言語処理学会第 29 回年次大会,2023. (発表予定)

[4] 山崎誠，黒田航，東条佳奈，西嶋佑太郎，麻子軒,相良かおる，医療記録における縮約表現の量的構造一医療用語との比較一，言語資源ワークショップ 2022, 2022.

[5] Denis Jamet, A morphonological approach to clipping in English Can the study of clipping be formalized?, Lexis Jornal in English Lexicology, p.15-31, 2009.

[6] 日本語学会, 日本語学大辞典, 東京堂出版, p.996, 2018.

[7] 中川秀太, 漢語・外来語の略語, 日本語学, 34 (2) p.30-41，明治書院, 2015.

[8] 森岡健二, 略語の条件, 日本語学, 07-10, p.4-12, 1988.

[9] 東条佳奈，黒田航，相良かおる，西嶋佑太郎，麻子軒，山崎誠，医療記録における縮約表現の分析，言語資源ワークショップ 2022, 2022.

[10]林四郎, 臨時一語の構造, 日本語学 131 集 p.15-25, 1982.

[11] 石井正彦, 文章における「臨時一語化」と「脱臨時一語化」一脱臨時一語化の形式を中心に一, 日本語研究, 19 p.1-15, 東京都立大学, 1999.

[12] 石井正彦, 臨時一語と文章の凝縮, 国語学, 173 集 p.104-91, 1993.

[14] 森岡健二, 略語の条件, 日本語学, 07-10, p.4-12, 1988.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 『日本語歴史コーパス』への形容詞の語義 ・用法情報の追加

山崎 誠 ${ }^{1}$ 村田 菜穂子 $^{2}$ 前川 武 $^{3}$ 村山 実和子 ${ }^{4}$
${ }^{1}$ 国立国語研究所 研究系 ${ }^{2}$ 大阪国際大学 基幹教育機構
${ }^{3}$ 大阪国際大学短期大学部 ライフデザイン学科 ${ }^{4}$ 日本女子大学 文学部
yamazaki@ninjal.ac.jp nmurata@oiu.jp tmaekawa@oiu.jp murayamam@fc. jwu. ac.jp

## 概要

これまで公開されてきた『日本語歴史コーパス』 [1]（以下「CHJ」という）には，時代名などのコー パス情報, 品詞などの形態論情報, 本文種別などの本文情報, ジャンルなどの作品情報, 作者などの作者情報, ページ番号などの底本情報, 底本の該当箇所へのリンクなどの外部リンクが収録されているが，語義や用法などの情報は付与されていない.

そのため, 語義や用法についての分析を行うには,個々の研究者が独自にデータを作成するよりほかなかった. しかし, それでは非効率的であるため, 本研究では, CHJに形容詞の語義情報と用法情報を追加するためのデータを作成し, その応用例を示すこととした.

## 1 はじめに

CHJ に対する語義情報の付与については，池上 （2017）[2]が CHJ（平安時代編）に出現する形容詞 22 語を対象に外部リンクにあるジャパンナレッジジ新編全集の当該ぺージの現代語訳を参考に『日本古典対照分類語彙表』[3]の分類語彙表番号を付与寸る試みを行っている。その後, 浅原ら（2017）[4]は同様の手法で平安時代の 4 作品について古典対照分類語彙表番号のアノテーションを行い, その過程で構築された「古典対照分類語彙表番号 - UniDic 語彙素番号対応表」[5]および整備済の「分類語彙表番号 - UniDic 語彙素番号対応表」[6]を用いて浅原ら （2022）[7]は、分類語彙番号を自動で付与する工夫を行い CHJ の全データに対して網羅的・体系的に 『日本古典対照分類語彙表』の分類語彙表番号および『分類語彙表増補改訂版』[8]の分類語彙表番号を付与している.

形容詞の用法については, 土岐 (2017) [9]が平安文学作品の会話文における動詞, 形容詞の用法 (連体法，準体法，終止法）について量的な分析を行っている.

ここで紹介した「分類語彙表番号」は統語分類である類を示す 1 析の数字と意味分類である分類項目を示す 4 桁の数字をピリオドでつないだものである. ただし, 『日本古典対照分類語彙表』の分類語彙表番号はピリオドのない 5 桁の数字となっている.

例えば, 『日本古典対照分類語彙表』では, 見出し語「あかし (明・赤)」に対する意味分類として，

$「 33420$ (人柄) $/ 35010$ (光) $/ 35020$ (色)」が割り当てられている. 先頭の「3」は形容詞・副詞・連体詞などの「相」を表し, 次の 1 棪は部門と呼ばれ，

「5」は「自然」を表すというように，階層的な構造になっている.

この分類語彙表番号は大まかな意味分類を捉えるという目的では重宝されるものだが，元となる分類語彙表の粒度に左右され, 語義に識別にも限度があるため, 今回は, 分類語彙表番号を用いずに, 独自の手法で語義分類, 用法分類を試みたので, その分類手順と分類した語義・用法の応用例としていくつかの分析結果を報告する.

なお, 本原稿は, じんもんこん 2021 およびじんもんこん 2022 で発表した内容[10]を基に新たな要素を追加したものである.

## 2 語義・用法情報の追加方法

CHJ の語義・用法情報の追加は，池上，浅原らと同様, CHJ のコーパス情報の「サンプル ID」と「開始位置」をユニークなキーとしたアノテーションデ一タの形で行う．このアノテーションデータのイメ ージは表 1 のようなものになる.

表 1 語義・用法アノテーションデータ

 & (四〕(3)数値・程度 & 連体用法 \\

## 3 データの範囲

コーパス検索ツール「中納言」 [11]を利用して CHJ から品詞が形容詞のものを抜き出し（短単位および長単位），その中から「奈良」「平安」「鎌倉」「室町」「江戸」「明治」「大正」のいずれの時代にも 1 例以上出現し, かつ, その形容詞が構成する複合語の数が異なりで 5 以上あるもの 16 語の中から「深い」「憂い」「恥ずかしい」「高い」「安い」「難い」「痛い」「悲しい」「良い」「悪しい」の 10 語を分類の対象とし（ただし，用法分類については前半の 5 語のみ）, $\mathrm{CHJ} の$ 用例としては, 平安時代および鎌倉時代の用例を対象に， 1 語あたりの用例数は 100 とし, 用例が 100 未満の場合は全数とした.

## 4 語義分類の手順

当初は『デジタル大辞泉』の分類に従って語義分類を行ったが, その後評価した結果, 古典語の語義のカバー範囲に不安があることから, 古典語の語義のカバー範囲が広い『日本国語大辞典』(ジャパンナレッジ， 2022 年 7 月〜8 月アクセス）の分類に従うこととした. 『日本国語大辞典』にないものは,作業者が語義を付与した. また, 小学館『日本古典文学全集』（ジャパンナレッジ）記載の現代語訳を参考にした.

この語義分類については, すべて手作業にて行った. 形容詞全体を対象とするには膨大な数の用例を処理しなければならず，当然，自然言語処理による自動処理が望ましいが，現時点でのプロジェクトメンバー内に専門家がいないことや, 自動化のための学習用データがまだ不足していることから, まずは試行的に対象を限定して手作業にて行うこととした.

## 5 用法分類の手順

用法については，小田[11]，土岐を参考にして詳細な分類基準を策定した，その策定にあたっては，当該形容詞の前後の語の品詞・活用形の情報を参照することで，基準を明確にすることを試みた。なお，前後の語の形態論情報については，「中納言」の「インラインタグを使用」という機能を利用し, 当該形容詞の前後に現れる語の品詞 (中分類) ・活用形 (小分類）の情報を同時に抽出している。

活用形ごとの分類基準を付録 A に示す.

## 6 応用例

次に, CHJ に追加された語義・用法情報の応用例を示す。まず，「中納言」を用いて CHJから形容詞のデータをダウンロードする. 次に，「サンプル ID」十「開始位置」をキーに語義・用法アノテーションデータと照合し, 語義・用法情報を付与したコーパスデータを作成する。その後は，Excel の機能を用いて集計・分析を行う.以下に応用例を 4 つ挙げる. 1 つ目は語義分類の結果を平安時代と鎌倉時代で比較したもの，2 つ目は，用法分類の結果を平安時代と鎌倉時代で比較したもの，3つ目は語義と用法の関連，4つ目はジャンルと用法の関連である。

## 6. 1 語義分類の時代間比較

10 語のうち, (1)「深い」「憂い」「高い」「難い」 は時代間の差がほとんどない，(2)「恥ずかしい」は平安時代には [気詰まり］や［気おくれ］が多用されるのに対して,鎌倉時代になると大幅に減少し [決まりが覀い]が主流となる，(3)「痛い」は平安時代では [精神的苦痛] が多いのに対して，鎌倉時代は [肉体的苦痛]がほとんどである，(4)「悲しい」は平安時代，鎌倉時代とも [嘆かわしい] が主だが，鎌倉時代では[興味深い]の意が新たに生じている，

(5)「良い」は平安時代では [正当・善］［適当・相応］が主であるのに対して，鎌倉時代には [優れる］ が圧倒的に多くなる，(6)「悪しい」は平安時代では ［邪悪・不正］［けしからぬ］［機嫌が悪い］がほぼ均等に使われているのに対し，鎌倉時代では［邪悪・不正］［けしからぬ］が中心となっていくことなどがわかった。

特徴的な例として「恥ずかしい」「痛い」「悲しい」のデータをそれぞれ表 2～表 4 に示す.

表 2 「恥ずかしい」の語義分類

表 3 「痛い」の語義分類

表 4 「悲しい」の語義分

## 6.2 用法分類の時代間比較

用法分類については，「深い」「憂い」「恥ずかしい」「高い」「安い」の 5 語のみの分類だが，「深い」「憂い」「高い」については時代間の差はほとんどなく, 「恥ずかしい」では, 終止法と副詞法の比率が鎌倉時代に増えること, 「安い」では, 平安時代ではほとんどが「安からず」の形で用いられていたのに対し, 鎌倉時代になると, 連体法と副詞法が合わせて 50\%まで増えることがわかった。

特徴的な例として，「恥ずかしい」と「安い」のデータをそれぞれ表 5 と表 6 に示す.

なお, 「5 用法分類」で詳細な分類基準を策定したと書いたが，その後一部基準の見直しが必要となったため, これ以降の用法に関しては, 代表的な用法の 1.連体法, 2.終止法, 3.副詞法と 4.その他に集約した形での分類結果を示すこととする.

## 表 5 「恥ずかしい」の用法分類

表 6 「安い」の用法分類

## 6.3 語義と用法の関連

「深い」「憂い」「恥ずかしい」「高い」「安い」 の 5 語の語義と用法の関連については, (1)「深い」 は，全体としては平安時代，鎌倉時代とも連体法と副詞法で 70\%以上を占め, 終止法がほとんどないが，個別の語義としては，平安時代には「空間的距離」 や「関わり方」の意ではほとんどが連体法である， (2)「憂い」は平安時代，鎌倉時代とも 60\%以上が連体法, 終止法が $10 \%$ 程度, 副詞法がほとんどない, (3)「恥ずかしい」は, 平安時代には連体法が $8 \%$,終止法が 16\%，副詞法が 18\%と 3 用法合わせて $40 \%$強であるのに対して，鎌倉時代にはそれぞれ $4 \%$ ， 26\%，32\%と連体法が少なく, 終止法と副詞法が増える，(4)「高い」は，全体としては平安時代，鎌倉時代とも連体法と副詞法で 60\%以上を占め, 終止法がほとんどないが，個別の語義としては，平安時代には「身分・地位」の意ではほとんどが連体法であり，「声・音が大きい」の意ではほとんどが副詞法である，(5)「安い」は，連体法，終止法，副詞法の 3 用法を合わせても 5\%であったのに対し, 鎌倉時代になると，終止法は変わらず，連体法と副詞法を合わせて 50\%を占めるようになる，などがわかった。特徴的な例として，「深い」の平安時代および鎌倉時代の語義と用法の関連をそれぞれ表 7 と表 8 に,「恥ずかしい」の平安時代および鎌倉時代の語義と用法の関連をそれぞれ表 9 と表 10 に，「安い」の平安時代および鎌倉時代の語義と用法の関連をそれぞれ表 11 と表 12 に示す.

表 7 「深い」の平安時代の語義と用法の関連

表 8 「深い」の鎌倉時代の語義と用法の関連

表 9 「恥ずかしい」の平安時代の語義と用法の関連

10 「恥ずかしい」の鎌倉時代の語義と用法の関連

表 11 「安い」の平安時代の語義と用法の関連

表 12 「安い」の鎌倉時代の語義と用法の関連

## 6.4 ジャンルと用法の関連

「深い」「憂い」「恥ずかしい」「高い」「安い」 の 5 語のジャンルと用法の関連については, いずれの語も 1 つか 2 つのジャンルに多用されていて，それが全体の傾向に表れていることがわかった.

そこで，全語を合わせて全体としての傾向を見ると, 平安時代は, 歌集や歌物語では連体形が多く,作り物語や日記では連体法と副詞法が多いこと, 鎌倉時代は歌集では連体形が多く, それ以外は連体法と副詞法が多いこと, また, 時代・ジャンルを問わず終止法の比率が低いことなどがわかった.

以下，5 語を合わせた全体での平安時代および鎌倉時代のジャンルと用法の関連をそれぞれ表 13 と表 14 に示す.

表 13 平安時代のジャンルと用法の関連

表 14 平安時代のジャンルと用法の関連

## 7 おわりに

これまで,形容詞 10 語の平安時代と鎌倉時代の用例に対して語義の分類を, 形容詞 5 語の平安時代と鎌倉時代の用例に対して用法の分類を行ってきたが，本研究の目的としては, 最終的に古代から現代に至る形容詞の通時的な語義の変遷や用法の変遷のプロセスを明らかにするところにあり，全体の構想からするとまだまだデータが不十分である.

今後は, 自然言語処理による自動化も視野に入れて, さらに対象となる語や時代範囲を増やしていきたい.

また, 用法分類については, 助動詞や助詞が後続寸る場合を 1 つの用法としていたが，これについては，再度機能面からの見直しを行いたい。

## 謝辞

本研究は JSPS 科研費 JP21K00279，20K13059 の助成を受けたものである.

## 参考文献

1. 国立国語研究所 (2021) 『日本語歴史コーパス』 バージョン2021.3（引用日：2023 年 1 月 10 日）

https://clrd.ninjal.ac.jp/chj/

2.『日本語歴史コーパス平安時代編』出現形容詞に対する古典分類語彙表番号アノテーション. 池上尚. : 言語処理学会第 23 回年次大会発表論文集, 2017.

3. 宮島達夫／鈴木泰／石井久雄／安部清哉編.日本古典対照分類語彙表. : 笠間書院, 2014.

4. 『日本語歴史コーパス』4 作品に対する分類語彙表番号付与とその分析. 浅原正幸, 加藤祥, 鈴木泰,池上尚. : 日本語学会 2018 年度秋季大会プログラム予稿集, 2018.

5. 国立国語研究所(2020)『古典対照分類語彙表分類番号-UniDic 語彙素番号対応表』(ver.0.8.0).

(引用日：2023 年 1 月 10 日.)

https://github.com/masayu-a/WLSP2UniDic_historical

6. 国立国語研究所(2020)『分類語彙表番号－UniDic 語彙素番号対応表』(ver.1.0.2).（引用日：2023 年 1

月 10 日.) https://github.com/masayu-a/wlsp2unidic

7. 分類語彙表番号を付与した『日本語歴史コーパス』データ. 浅原正幸, 池上尚, 鈴木泰, 市村太郎,近藤明日子, 加藤祥, 山崎誠. : 日本語学会 2022 年度春季大会プログラム予稿集, 2022.

8. 国立国語研究所編. 国立国語研究所資料集 14 分類語彙表増補改訂版. : 大日本図書, 2004

9. 平安和文会話文における連体法、準体法、終止法の比較分析. 土岐留美江. : 愛知教育大学研究報告.

人文・社会科学編 66, 2017.

10. 形容詞の通時的語義・用法データベースの作成,山崎誠, 村田菜穂子, 前川武, 村山実和子. : じんもんこん 2021 論文集, 2021. 形容詞の通時的語義・用法データベースの構想と進捗状況. 山崎誠,村田菜穂子, 前川武, 村山実和子. : じんもんこん 2022 論文集, 2022.

11. 国立国語研究所コーパス検索アプリケーション「中納言」（バージョン2.7.0, データバージョン 2022.10）。（引用日： 2023 年 1 月 10 日.)

https://chunagon.ninjal.ac.jp/
12. 小田勝. 古典文法総覧. : 和泉書院, 2015

## A 付録 活用形ごとの分類基準

} & a.連体用法 & 連体修飾語を形成する \\


# 要素の重複と不連続性を扱える抽出型の語構成要素解析並列分散型形態素解析の提案

黒田 航 ${ }^{1}$ 相良 かおる ${ }^{2}$ 東条 佳奈 ${ }^{3}$ 麻 子軒 ${ }^{4}$ 西嶋 佑太郎 ${ }^{5}$ 山崎 誠 ${ }^{6}$
1杏林大学 2 西南女学院大学 ${ }^{3}$ 大阪大学 4 関西大学 5 医師 6 国立国語研究所

## 概要

重複や不連続な語構成要素を持つ医療用語を対象に，それらを効果的に認識するための抽出型の構成要素認識法を二種類提案する。一つ目は完全並列分散型の語構成解析法 PDMA で，もう一つは PDMA より性能が劣るがアノテーションが楽な MLMA である.『実践医療用語_語構成要素試案表 Ver. 2』のサンプル 15 事例の解析を元に, 語構成要素認識に一般的に使用されている句構造解析 (PSA) の平均認識率が，PDMA が認識できる要素の $65 \%$ 程度, MLMA の 70\%程度である事を示した.

## 1 はじめに

医療 (関連) 用語には複雑な医学用語が数多く含まれる.こうした用語を含む文章の意味処理をしたいなら，これらの用語の高性能な解析が必須である.解析が高性能であるためには，精度が高いだけでなく，被覆率が十分に高くなければならない。これは，言語処理の究極の目的が内容理解であり，その中間目標が高性能検索であり，その実現手段が高性能解析であるという処理間の依存構造を考えると，当然の帰結である. この観点からすると, 医療用語を含めた専門用語の語構成解析にそれなりの先行研究 $[1,2,3,4,5]$ があるにもかかわらず，被覆率が十分に高くないが故に，十分な成果が得られているとは言いがたい。低被覆率の証拠は §4 で示す。

低被覆率の理由は単純であると同時に, 根本的なものである. どの手法も用語の構成要素を所与の語の分割によって得ようとしているが，医療用語の形態素は部分的に重複している度合いが高く, 重複を許さない分割では，必要な要素が取りこぼされる. 例えば『実践医療用語_語構成要素試案表 Ver. 2』1) [6] に収録されている7,087 事例からほぼランダムに選んだ 99 事例中，重複が生じている事例は少

なくとも 73 事例である2) (付録 Aを参照).

語構成要素の認識の (単なる精度向上ではなく) 被覆率の向上を目標を含めれば，理想的な実装法は，要素の認識を非排他的に行う多層抽出式が望ましいとわかる。本論に先立って次の事を確立しておく: 3$)$

(1)複合語 $c$ の語構成要素の認識は, $c$ の分割 (segmentation) でなく, $c$ 中の有意味な部分文字列の (可能な限り) 網羅的な抽出 (extraction) の方が望ましい。

この後の本論で，(1)の目標を実現する語構成要素抽出法の実装例として，並列分散形態論解析 (Parallel Distributed Morphological Analysis: PDMA) を紹介する (§2). それに続けて，PDMA が与える結果をそれなりの性能で近似する簡便なアノテー ション方法 (複層化形態論解析 (MLMA)) を紹介し (§3)，MLMA と通常の句構造解析 (Phrase Structure Analysis: PSA) の性能を，PDMA の結果をべースラインにして比較する (§4). 最後に §5 で考察と展望を述べる。

## 2 語構成要素認識の並列分散化

医療用語には構成関係が複雑な複合語が頻出する。例えば (2)のような疾患名がそうである:

(2)先天冠状動脈異常

これを形態素解析した結果は (3) である (ここでは MeCab +UniDic 2.1.2 の解析結果を示した):

(3)先天/冠状/動脈/異常

この解析の実質は有意味な要素 ( $\approx$ 形態素)への分

2) 第一著者の非公式の調査では形態素重複の発生率は一般に，学術用語で一般用語より高いが，医療用語での出現率の高さは異例である.

3）最適でない分割の悪影響は，単語分かち書きが所与でない言語 (例えば日本語) で深刻な問題であるが，単語分かち書きをする言語が形態素の重複から免れていると考えるのは妥当でない. 英語のような言語でもカッコ入れの逆理 (bracketing paradox) [7] はそれなりの頻度で起こっている. 例は generative grammarian の意味の構成が (generative (grammarian)) ではなく, ((generative grammar) -ian) である事.
割である. だが，なぜ分割なのか？それは構成素解析が適正解析 (proper analysis) [8] と同一視されているからである.

では，なぜ適正解析でなければならないのか？ それは，産物が連結 (concatenation) で元に戻せるからである．ただ，自然言語で要素合成法が連結でなければならない根拠は弱い. 重ね合わせ (superposition) であっていけない理由は，どこにもない $[9,10]$.

実際，「(自然) 言語の複合的な単位は要素の連結で得られる」という (現実反映の保証のない) モデル化が処理上の問題を幾つも発生させている. 適正解析を想定した解析には辞書使用の単位や境界認定アルゴリズムを変えても回避できない次の難点がある.

(4) a. 複数の構成要素の間に要素の共有 (= 重複) がある場合，それを認識できない。

b.不連続な構成要素を認識できない。

一般用語の解析では (4) は (見かけは大して) 問題にならない. だが，医療用語を始めとする専門用語の語構成解析では深刻な問題が生じる. 実例として (4) の制限を取り外した解析を図 1 に示した。このような結果を得る解析法を並列分散形態論解析 (PDMA) と呼ぶ事にする.

図 1 (2)の PDMA [serialized 列のビット列で降順ソート]

図 1 中の表で，手作業で入力しなければならないのは，i) 成語性，ii) 要素数，iii) 構成性を表わす $0 / 1$ の値のみで，他要素は指定値から自動生成される4).図中の表は (2) の構成要素が次だと規定している.

(5) a. 要素数 1: 異常, 脈, 冠状, 先天

b. 要素数 2: 先天異常, 動脈, 脈異常,

c. 要素数 3: 動脈異常, 先天動脈異常

d. 要素数 4: 冠状動脈異常, 先天動脈異常

e. 要素数 5: 先天冠状動脈異常 $[=$ 全体 $]$

図中の表を得るための PDMA のアルゴリズム:

(6) a. 対象語 $w$ を文字に分割する

4) 要素数の自動算出も理論的には可能だが，Excel の作業シート上で実装するのは手間である。 b.w を構成する要素ごとに，その部分に 1 を付与し、非部分に 0 を付与する.

c.これらを，より大きな単位を得るように再帰的に結合を繰り返す。が，この際，i) 重複を避けない，ii) 不連続な構成を認める.

PDMA の結果は FCA を使った語構成解析法 [11] と互換である。それを示す結果を図 2 に示した. この Hasse 図は, [ $\ldots$ 異常], [ ... 脈... ] , ... [ [先天冠状動

*〉,〈.*常.*〉を属性とする形式文脈から生成されたものである．重複している構成要素，不連続な構成要素を含めた構成要素の部分/全体関係が網羅的で体系的に表わされている5).

図 2 (1) の該当部分の FCA [より単純な様子は束の上に, より複雑な要素は束の下に配置される]

## 3 厳密な並列分散解析の近似解

§2 で解説した PDMA は，語構成要素の取りこぼし = 偽負例 (false negatives) の発生を理論的に 0 にできる手法である. それ故に，語構成要素の認識過剰 = 偽正例 (false positives) の発生を心配しなければならない。ただ，偽正例の抑制は教師あり学習で実現できるので，これは PDMA の弱みというょり強みだろう。 それに対し, 偽負例の発生 $=$ 真正例の不足は機械学習でも補う事が難しい。

ただ，PDMA はアノテーションの方法としては非現実的に複雑でもある。そのため，被覆率が 100\% に達していなくても，それなりの被覆率で PDMA の結果を近似できる簡便なアノテーション手法があると都合が良い。その手法を次に紹介する。

## 3.1 構成関係の多重アノテーション

句構造解析 (PSA) では要素の始まりと終わりに標識を付ける。この用途には通常，次のように“[”と “]”の対が使われる。
(7)a. [[動脈] 硬化]
b. [動脈 [硬化]]

このような記法は頻繁に用いられるものだが，二つ難点がある．第一の難点は， §1 で述べたように，形

態素の重複や不連続性を扱えない事である. 第二の難点は，語構成の主従関係と医療用語としての意味的な主要部と修飾部 (あるいは述語/項構造)を正しく反映している保障がない事である。上の (7) の $\mathrm{a}$, $\mathrm{b}$ のいずれが妥当な解析なのかは二点目に依存し，一方を選び，それを一貫して使用しなければならない. ただ，この方針を複数の作業者の間で統一するのは，実地の観点からすると難しい。

相良ら $[12,13,14]$ の目的は, 言語学的な意味での医療用語の語構成を知る事に加えて，専門用語として述語/項構造関係を明示する事である.その理解の下では，上の例で言えば，[硬化] が病名の主要部で，[動脈] が病変の起きている場所 (事態性名詞 [硬化] の一種の項) であるという意味関係も明示したい.このために，医療用語の意味的主要部の標識づけは，言語学的な意味での主要部と概念的に区別し，別の基準で認定されるべきである.

この要件を満足するために，意味的主要部 $m_{0}$ から $m_{n}$ までの遠心拡大構造を“く”と“>”の対を使って i) $<m_{n}<\ldots<m_{0} \gg \gg$ や ii) $\ll<m_{0}>\ldots>m_{n}>$ で標識する ${ }^{6)}$.この表記では，“動脈硬化” の解析結果は<動脈<硬化>>である. 同様に, “冠状動脈硬化”の解析結果は (8)である.

(8)<冠状<動脈<硬化 >>>

この解析は，この病変が硬化 (症)>の一種で，また動脈硬化 (症)>の一種である事を記述している.

その一方，解析 (8) は [冠状動脈] という構成要素を取りこぼしている。対応づけありの境界記号が一種類しかない場合, 解析精度と被覆率が両立しないジレンマを避けようがない。それを避ける方法は，i) §2 で示したように，境界指定を根本から定義し直すか，ii) 複数次元の構成関係を並列化し， それぞれに別の境界記号を使う事である。二つ目の案の実装例を，複層化形態論解析 (Multi-Layered Morphological Analysis: MLMA) と呼ぶ事にする.

境界記号の優先順位をく...>， $\ldots$. . $],\{\ldots\},(\ldots)$ と定めた上であれば，多重構造アノテーションのア

6) 第一著者が調査した限りでは，日本語の意味解析ではi) が支配的な構造であり， ii) は “非-”, “脱-”, “前-”のような否定性の接頭辞の作用を記述する時にのみ現われる。i) は右枝分かれ構造であるので，補足があった方が良いだろう。 < ..>>で右枝分かれが支配的なのは，主要部後置型言語では統語構造と語形成論で左枝分かれが支配的なのと矛盾しているように見えるが，ここでは意味的要素の作用域 (一種の依存関係)を記述しており，撖密には語構成を記述している訳ではないのが，その乘離の理由である。論を一般化すると, 統語解析の結果 (例えば句構造) と意味解析の結果は (多くの期待に反して) 一致するとは限らない.
ルゴリズムは次の通り:

(9) a.Step 1: 用語の (通常右端にある) 主要部 $A$ を $<\ldots>$ で括り出し，それを元に修飾構造を遠心的に再帰的に認定する。

b.Step 2: この境界認定で認識されない構成要素がある場合， $A$ の左側に別の遠心構造の中心 $B$ を見つけ，[...] を使って遠心構造を指定する。

必要に応じて，\{..\}，( ...)を使って Step 1, Step 2 と同様に解析する. 現実的には, 3 重以上の多重性が必要な場合，§2 で記述した図 1 に例示した PDMA の利用を考える方が無難である

## 3.2 実例

この解析法を事例 (10) に適用すると，(11)を得る.

(10)冠状動脈硬化症

(11) a.Step 1: < 冠状 < 動脈 < 硬化 < 症 >>>> b.Step 2: <[冠状 < [動脈 <[硬化]]] < 症 >>>> c.Step 3: <[冠状<[動脈 $\}<[$ 硬化]]] $<$ 症 >>>> d.Step 4: (...) で認定すべき要素なし

NB: Step 3 は $[\{$ 冠状 $)<[$ 動脈 $\}<[$ 硬化 $]]]<$症 >>>> と等価

(11c)のような MLMA の結果は可読性が低く，そのままでは利用可能性が低い，そのため，このようなアノテーションから構成要素を網羅的に自動抽出する Perl スクリプト7)を用意した。それで (11c)の構成要素を抽出した結果は次である:

図 3

(11c) を元にした語構成要素の自動抽出結果

## 4 PDMA と MLMA と PSA の比較

## 4.1 比較 1

性能比較の概要を掴んでもらうために，事例 (10) の PMDA の結果と MLMA の結果と PSA の結果を比較する。事例 (10) の MLMA と PSA として，そ

れぞれ $<[\{($ 冠状 $)<[\{$ 動 $<[$ 脈 $\}\}<$ 硬化 $]] k$ 症 $>>>>$ と [[ 冠状 [ 動脈 ]][ 硬化 [ 症 ]]] を考え, PDMA が認識するどの要素をそれらが認識するかを評価する。 PDMA と MLMA の偽正例を人手除去したものを， PDMA.filtered と MLMA.filtered とする.

図 4 (10)の PDMA.filtered をベースラインとした MLMA と PSA の被覆率の比較

図4にある通り, MLMA.filtered はPDMA.filtered の要素を $100 \%$ 認識するが, PSA は (不連続な要素を含まない事例の解析でも) PDMA.filtered, MLMA.filtered の要素をそれぞれ $70 \%$ しか認識しない.

## 4.2 比較 2

比較 1 と同じ手法で，他の事例で性能比較した結果が図 5 の表である (被覆率は PDMA.filtered の個数に対する割合)．IDは『実践医療用語_語構成要素試案表 Ver. 2』[6] の行番号，Term はその ID を持つ事例である. ID が空欄の場合，理由を Note に示した.

図 5 PDMA と MLMA と PSA の 16 事例の被覆率の比較

PSA の平均認識率は, 対 PDMA.filtered $の$ 比較 (PSA.rate1) で $65 \%$ 程度, 対 MLMA.filtered $の$ 比較 (PSA.rate2) で $70 \%$ 程度だった. 認識率が検索の成功率だと解釈すれば，PSA は明らかに低性能である。

## 5 議論

## 5.1 関連研究

PDMA は並列分散型の統語解析 Parallel Distributed Parsing (PDP) [15] を語構成解析に適用したものであ
る. MLMA の方法論は Autolexical Syntax (AS) [16] と類似している。ただし類似性は表面的なものに過ぎない. AS の想定は統語論と形態論の部門単位の並列化であり，形態論内，あるいは統語論内の解析の並列化ではない.

## 5.2 過剩認識の問題と機械学習との関連

図 1 に例示した解析は，作成に手間がかかる。その理由で，性能が劣っていても MLMAのような簡易版や PSA の方が望ましいと思う人がいるかも知れないが，そうではない．PMDAでない解析では偽負例を原理的に回避できず，語構成解析が用語抽出だと考えた場合，欠点となる。

PDMA は逆に，解析で偽正例が生じる可能性を心配しなければならない程，解析精度は高い。偽正例を回避する手順の本質は成語性の問題であり，専門的知識がない者にこれが容易に実現できないのは仕方がない。ただ，成語性の判定は，候補の列挙よりは遥かに楽な作業である。

真正例を取りこぼさず，偽正例の個数を専門知識を持った者による事後検証によって 0 に近づける事ができたとすると，図 1 中の表にあるような解析結果は, 複合語 $c$ が与えられた時の $c$ の構成要素認識の正例と負例の混合となる。この特性を利用すれば，機械学習 (例えば Deep Learning)を使って，専門用語の構成要素認識を自動化できる見込みは十分にある。PDMA は確かに遂行にそれなりの手間はかかるが，それに見合った性能を備えている。

## 5.3 専門用語の語構成は特別な例外か？

専門用語の語構成論には並列分散解析が必要かつ有用という主張が本稿の骨子であるが，次の疑問が発展的に生じる. Q1. 非専門用語の語構成論に並列分散解析は不要なのか? Q2. 並列分散解析が必要なのは，語構成論に限定されるのか？

Q1 の答えが否なのは，専門用語と非専門用語の境界が曖昧である事から明らかである。非専門用語で並列分散解析の必要性が低いのは，語の内部構造の複雑度が専門用語に較べて低いからである。

Q2への答えは Q1への答えに関係している。内部構造の複雑度が並列分散解析の必要性を増すのであれば，文の規模でも要素が並列分散解析が必要な複雑度を持っていると考えるのが自然である．それが不要に見えるのは，主流言語理論に目を晦まされ，現実の複雑性を見損なっているからではないか？

## 謝辞

本研究は JSPS 科研費 JP21H03777 の助成を受けたものである.

FCA は Concept Explorer 1.3 (http://conexp. sourceforge.net)で実行した.

## 参考文献

[1] 小山照夫, 大江和彦. 医学専門用語の構造解析. 学術情報センター紀要, 第 6 巻, pp. 115-124. 1994.

[2] 山田恵美子, 松本裕治. 専門用語の内部構造解析. 言語処理学会第 15 回年次大会発表論文集, pp. 340-343, 2009.

[3] 山田恵美子, 松本裕治. 文字係り受けに基づく専門用語の内部構造表現と解析. 研究報告音声言語情報処理 (SLP), Vol. 2009, No. 20, pp. 1-6, May 2009.

[4] 内山清子, 岡照晃, 東条佳奈, 小野正子, 山崎誠, 相良かおる. 実践医療用語の語構成要素抽出の試み. 言語資源活用ワークショップ発表論文集, 第 3 巻, pp. 463-467. 国立国語研究所, 2018.

[5] 麻子軒, 黒田航, 相良かおる, 東条佳奈, 西嶋佑太郎,山崎誠. 実践医療用語における語構成要素の結合順序に関する量的調査. 計量国語学会第 66 回大会発表論文集, 2021 .

[6] 東条佳奈, 黒田航, 相良かおる, 高崎智子, 西嶋佑太郎, 麻子軒, 山崎誠. 実践医療用語_語構成要素語彙試案表 ver.2.0 の構築. 言語資源ワークショップ, 2022.

[7] Andrew Spencer. Bracketing paradoxes and the English lexicon. Language, Vol. 64, pp. 663-682, 1988.

[8] Charles C. Fries. Meaning and linguistic analysis. Language, Vol. 30, No. 1, pp. 57-68, 1954.

[9] Kow Kuroda. "Pattern Lattice" as a model for linguistic knowledge and performance. In Proceedings of the 23rd Pacific Asia Conference on Language, Information and Computation, Vol. 1, pp. 278-287, 2009.

[10] 黒田航, 長谷部陽一郎. Pattern Lattice を使った (ヒトの) 言語知識と処理のモデル化. 言語処理学会第 15 回大会発表論文集, pp. 670-673, 2009.

[11] 黒田航, 相良かおる. 医療用語の is-a オントロジー構築の FCA を使った効率化. 言語処理学会第 28 回年次大会発表論文集, pp. 705-709, 2022.

[12] 相良かおる. 実践医療用語における語構成要素の意味ラベルについて. 言語処理学会第 27 回年次大会発表論文集, pp. 559-562, 2021.

[13] 相良かおる, 山崎誠, 麻子軒, 東条佳奈, 小野正子, 内山清子. 実践医療用語の語構成要素: 意味を基準とした分割. じんもんこん 2019 論文集, 2019.

[14] 相良かおる, 小野正子, 高崎智子, 東条佳奈, 麻子軒,山崎誠. 実践医療用語の語構成と意味: 語構成要素語彙表試案表の作成にむけて.じんもんこん 2020 論文集, 2020.

[15] Kow Kuroda. Arguments for Parallel Distributed Parsing: Toward the integration of lexical and sublexical (semantic) parsings. In Proceedings of the 24th Pacific Asia Conference on Language, Information and Computation, pp. 455-462. Institute of Digital Enhancement of
Cognitive Processing, Waseda University, 2010.

[16] Jerrold M. Sadock. Autolexical Syntax: A Theory of Parallel Grammatical Representations. University of Chicago Press, 1991.

## A 重複のサンプルデータ

表 1 見本中の重複の有無 (抜粋)

 &  &  &  &  \\

表 1 は調査に用いたサンプル 99 のうち，ページに収まる 81 例を示した。

ID は『実践医療用語_語構成要素試案表 Ver. 2』の行番号 (= ID).

重複の値が 1 のものは確実に重複ありの事例, 0.5 のものは $<\ldots>$ の設定次第で重複ありの事例，0のものは重複なしの事例. 值が 1 事例の割合は $0.74 \%$ (= 73/99). 值が 0 より大きい事例の割合は $0.78 \%$ (= 77/99).

## B FCA の概要

## B. 1 FCA は何をする道具か？

FCA は属性によって定義された対象を自動分類するためのアルゴリズムの一つである。それは概念 (concept)を次のように形式化する事で実現される.

(12)

a.(形式的) 概念 $c$ とは，外延 $o$ と内包 $a$ の対である (記号で書けば, $c:=(o, a)$ ).

$a^{\prime}$.ただし，外延 $o$ と内包 $a$ はそれぞれ，対象の全体集合 $O$ と属性の全体集合 $A$ の部分集合とする.

$\mathrm{b} . c_{i}$ と $c_{j}$ は，〈一方が他方を含む〉という関係について順序構造をなし, $c_{i}, c_{j}$ を要素にもつ概念の全体集合 $C$ に束構造 (lattice) がある.

要するに, FCA は，概念を (12a)のように (数学的に) 定義した上で，概念間の関係を (12b) が定義する束構造として明示化する手順である.

もっと一般的な理解では, 対象の集合 $O=$ $\left.\{o_{1}, \ldots, o_{n}\right.\}$ があり，それらを記述する属性の集合 $A=\left.\{a_{1}, \ldots, a_{m}\right.\}$ が (暫定的に) 定められた時， $O$ と $A$ の直積 $O \times A$ に真理値を割り当てる. これが表現する状態を離散的に自動分類するためのアルゴリズムの一つが FCA である.

## B. 2 FCA の実行例

図 6 は形式文脈として表 2 を与え, 結果として得られる Hasse 図である。

表 2 太陽系の惑星の FCA を使った分類

 \\

Venus & 1 & 0 & 0 & 1 & 0 & 0 & 1 \\
Earth & 1 & 0 & 0 & 1 & 0 & 1 & 0 \\
Mars & 1 & 0 & 0 & 1 & 0 & 1 & 0 \\
Jupiter & 0 & 0 & 1 & 0 & 1 & 1 & 0 \\
Saturn & 0 & 0 & 1 & 0 & 1 & 1 & 0 \\
Uranus & 0 & 1 & 0 & 0 & 1 & 1 & 0 \\
Neptun & 0 & 1 & 0 & 0 & 1 & 1 & 0 \\
Pluto & 1 & 0 & 0 & 0 & 1 & 1 & 0 \\

図 6 (2)を形式文脈として構築した Hasse 図


# JMedRoBERTa: 日本語の医学論文にもとづいた 事前学習済み言語モデルの構築と評価

杉本 海人 1,3 壹岐 太一 $2,3 *$ 知田 悠生 ${ }^{1,3}$ 金沢 輝一 3 相澤 彰子 1,3
1 東京大学大学院 2 総合研究大学院大学
3 国立情報学研究所
}

\{kaito_sugimoto, iki, chida, tkana, aizawa\}@nii.ac.jp
## 概要

英語圈において，医学論文で事前学習を行った言語モデルが，医療ドメインの様々なタスクで有効であることが示されている。日本語では診療記録で事前学習を行った UTH-BERT [1] が公開されているものの，医学論文を用いたものは存在しない. そこで本研究では, 日本語の医学論文で事前学習した言語モデルである JMedRoBERTaを提案する。評価実験の結果, JMedRoBERTa は医療ドメインタスクにおいて UTH-BERT と同等またはより高い性能を発揮するほか，一般ドメインタスクにおいても比較的高い精度を示すことを確認した．また，複数トークナイザの比較から，トークナイザの差によりモデルが得意とするタスクが異なる傾向が示唆された.

## 1 はじめに

近年，医療ドメインに特化した事前学習済み言語モデルを構築する研究が盛んである. 英語圈では，医学論文データベース PubMed ${ }^{1)}$ や診療記録デー タベース MIMIC-III [2] にもとづき, BioBERT [3], ClinicalBERT [4], BlueBERT [5], PubMedBERT [6] などのモデルが提案されている.こうしたモデルは，医学用語の自動抽出 [7] や表記摇孔解消 [8], 医学論文の検索 [9] など，幅広いタスクに応用されている。 また，日本語のモデルとしては，診療記録を用いて事前学習を行った UTH-BERT [1] が存在する.

診療記録が患者情報の記録に主眼を置くのに対し, 医学論文は基礎研究から症例報告まで幅広い内容を扱うのが特徴である。したがって, 医学論文で事前学習を行うことにより, 診療記録からは得られない知識を獲得できる可能性がある。また, 英語のモデルの研究では, 医学論文で事前学習

1) https://pubmed.ncbi.nlm.nih.gov/
された PubMedBERT が診療記録で事前学習された ClinicalBERT よりも下流タスクでの性能が高い例が見られる [6,7]. こうした背景から，日本語の医学論文を用いたモデルの事前学習が有益だと考える.

本研究では約 $1.8 \mathrm{~GB}$ （約 1,100 万文）の日本語の医学論文データを用いて RoBERTa [10] のフルスクラッチ学習を行う．モデルのトークナイザに関しては，分かち書きを前処理として行う場合と行わない場合の双方を試す. 学習したモデルを 4 つの医療ドメインタスク（2つが医学論文に関するもの，2つが診療記録に関するもの)，および JGLUE [11] に含まれる5つの一般ドメインタスクで評価する.

評価実験の結果，提案モデルが医学論文に関するタスクで UTH-BERT よりも高いスコアを示したほか，診療記録に関するタスクでも UTH-BERT に並ぶスコアを示した. また，分かち書きを行わないモデルは行うモデルよりも概ね高いスコアを示したが，一部のタスクにおいては逆の結果が見られた. さらに，複数の一般ドメインタスクにおいて，提案モデルは一般ドメインの言語モデルに匹敵するスコアを示した. 提案モデルを我々は JMedRoBERTa と名付け，付録 A に示したリンクで公開している.

## 2 JMedRoBERTa の構築

## 2.1 フルスクラッチ学習・追加学習

あるドメインに特化した言語モデルを作成したい場合，既存の一般ドメインの言語モデルに追加で事前学習を行う流儀と，フルスクラッチで事前学習を行う流儀の 2 種類が知られている $[12,13,14]$. 膨大な医学用語を含む医療ドメインにおいては，フルスクラッチ学習モデルである PubMedBERT [6] が追加学習モデルである BioBERT [3] に比べて多くの医学用語を語彙に含み，複数の医療ドメインのタスクで

示し，そうでない場合は，トークナイザによって分割された後のトークン群を示す. なお，[UNK] は対応するトークンが存在しないことを表し，\#\#⿲前のトークンと結合して単語をなすことを表す。

 &  \\

より高い性能を発揮している.この結果を踏まえ,本研究でもフルスクラッチ学習を行う.

## 2.2 学習用データ

本研究では，大規模な日本語の医学論文データを用いる．各データには論文の抄録（アブストラクト）のテキストのほか，その論文が属する分野や索引語（キーワード）等のラベルが付与されている.一部のデータは論文の本文のテキストを含む。それらのうち, JMedRoBERTa の事前学習には抄録および本文のテキストを用いる。また，その他のデータは評価タスクに使用する。詳細は付録 B に示す.

モデルの事前学習で用いるテキストのサイズは,合計で約 $1.8 \mathrm{~GB}$ （約 1,100 万文）である. なお，テキストは事前に半角文字を全角文字に正規化する。

## 2.3 トークナイザの訓練

英語と異なり日本語では単語間の空白文字が存在しないため，トークナイザの構築において，分かち書きを前処理として行うべきか否かが焦点の一つとなる.この違いは, モデルの下流タスクの性能へも一定の影響を与えることが確認されている $[15,16]$.本研究では，分かち書きを行うトークナイザとして万病 WordPiece トークナイザを，分かち書きを行わないトークナイザとして SentencePiece トー クナイザを訓練する. 両者ともに語彙数は 30,000 とする. 万病 WordPiece トークナイザは, $\left.\mathrm{MeCab}^{2}\right)$ を用いて入力文を単語列に分かち書きした後, WordPiece [17] によりサブワード化を行うものである. MeCab の辞書選択においては，通常用いられる ipadic に加えて，大規模な病名辞書である万病辞書 [18] を使う。これにより, 病名が分かち書きの時点で複数の単語列に分割されることを防ぐ.

一方, SentencePiece トークナイザは, SentencePiece [19]（Unigram モデル）により, 文から直接サブワー ド化を行うものである. 出現頻度の高い文字列はひとかたまりのトークンとして処理されるため，医学論文において頻度の高い医学用語は, 分割されずに 1トークンとして扱われることが期待される.

表 1 はトークナイザの訓練によって得られた JMedRoBERTa の語彙を, 日本語 Wikipedia で事前学習された東北大 BERT $^{3}$ )，および日本語の診療記録で事前学習された UTH-BERT の語彙と比較したものである. JMedRoBERTaが多様な医学用語を語彙に含むことを裏付けている。

## 2.4 モデルの事前学習

Liu ら [10] は，Next Sentence Prediction タスクの削除やマスク位置の動的な変更などにより BERT [20] の事前学習がさらに効果的になることを指摘し, 改良された BERT 型言語モデルを RoBERTa と名付けた. 本研究では RoBERTa の事前学習手法を採用する. 2.3 節で挙げた 2 種類のトークナイザそれぞれに関してモデルの事前学習を行い，「万病 WordPiece モデル」「SentencePiece モデル」を作成する. 訓練設定の詳細は付録 C に記載する。

## 3 医療ドメインタスクによる評価

## 3.1 タスク・データセットの概要

医学論文の分野分類抄録テキストから分野を予測するタスクである。2.2 節で示した学習用データのうち事前学習に用いていないものから，分野が 1 つだけラベル付けされた医学論文のデータをランダムに 100,000 件抽出し, $8: 1: 1$ で訓練用・バリデー

3) https://huggingface.co/cl-tohoku/ bert-base-japanese-whole-word-masking
表 2 医療ドメインタスクにおける評価結果. 各モデルのスコアは，異なるランダムシードを用いた 5 回の実験結果の平均値である。太字は全モデルにおける最も高いスコア，下線は2種類の JMedRoBERTaのうちより高いスコアを示す。

 &  \\

ション用・テスト用とする．訓練におけるラベルの種類数は 111 である.

医学論文の索引語への副標目の付与論文に付与された索引語に対して副標目 (サブヘディング)4)を付与するタスクである. 論文の抄録と索引語のペアを入力し，適切な副標目を候補の中から複数予測するマルチラベル分類として定式化する. データ作成の詳細は付録 D に示す. なお，予測候補の副標目は訓練用データに出現する 26 語とする。

診療記録の固有表現抽出 NTCIR-11 MedNLP-2 [21]の Task 1 を用いた評価を行う.このタスクでは，入力である診療記録から病状および時間表現を抽出する．訓練データ，テストデータにおける診療記録の数はそれぞれ 102 件，49 件である。

診療記録への病名コード付与 NTCIR-12 MedNLPDoc [22] の Task 1 を用いた評価を行う. このタスクでは，診療記録から対応する複数の ICD-10 病名コード5)を予測する。訓練データ，テストデータにおける診療記録の数はそれぞれ 200 件, 78 件である．なお，テストデータは 3 人のアノテー タによって病名コードが付与されており，3人全員が付与したコードのみを含むデータは SURE，これに加えて 2 人以上が付与したコードも含むデータは MAJOR，これに加えて誰か 1 人が付与したコードも含むデータは POSSIBLE と名づけられている.

4）副標目とはある索引語がどのような文脈で使われているかを示す副次的なキーワードである．例えば「精神障害」という索引語に対し「薬物療法」という副標目を加えて検索することで，薬物を用いた精神障害の治療法に関する文献のみを調べることができる.

5) https://www.cdc.gov/nchs/icd/icd10.htm

## 3.2 実験設定

医学論文の分野分類と診療記録の固有表現抽出の 2つのタスクは，それぞれ通常の分類問題，系列ラベリング問題として処理する.

副標目付与タスクは一度に各ラベルの有無を二値分類するマルチラベル分類として扱う. 評価の際, macro-F1 はテストデータにおいて出現しない副標目を無視して 20 副標目を対象に算出する.

病名コード付与タスクは，診療記録と病名の類似度学習を行うことで解く. 詳細は付録 Eに示す. 評価の際は，シェアードタスクに倣い本研究でも，予測と正解ラベルのコードが完全に一致する場合に正解とみなす LV4 (Exact match)，コードの前 3 文字が一致する場合に正解とみなす LV3 (Rough match), コードの大分類が一致する場合に正解とみなす LV0 (Category match)の 3 種類でそれぞれ評価を行う.

## 3.3 結果

表 2 に結果を示す。医学論文に関する 2 つのタスクにおいては, JMedRoBERTaの 2つのモデルが東北大 BERT や UTH-BERT よりも高いスコアを示している。さらに，診療記録の固有表現抽出においては万病 WordPiece モデルが，診療記録への病名コード付与においては SentencePiece モデルが UTH-BERT に匹敵するスコアを示している。これらから，医学論文を用いた事前学習が医療ドメインの幅広いタスクにおいて有効であることが示唆される.

JMedRoBERTaの 2つのモデルの間では, 固有表現
表 3 JGLUE の dev セットにおける評価結果. JMedRoBERTa のスコアは，異なるランダムシードを用いた 3 回の実験結果の平均值である. JMedRoBERTa 以外のモデルのスコアは, JGLUE の GitHub リポジトリに掲載された base モデルの値である. 下線は 2 種類の JMedRoBERTaのうちより高いスコアを示す。

 &  \\

抽出を除いて SentencePiece モデルが万病 WordPiece モデルよりも高いスコアを示している。これは，分かち書きを行わないSentencePiece モデルは日本語の単語境界を越えたトークンを語彙に多く含み ${ }^{6}$,同一の文書をより少ないトークン数で表現できることが影響している可能性がある。一方で，固有表現抽出に関しては, 固有表現のアノテーションが単語境界に従って行われる場合が多く，分かち書きを行う万病 WordPiece モデルに有利だと考えられる.

## 4 一般ドメインタスクによる評価

## 4.1 タスク・データセットの概要

日本語言語理解ベンチマーク JGLUE [11] に含まれる，以下の 5 つのデータセットを用いる： MARC-ja（ネガポジ分類による感情分析タスク）, JSTS（意味的類似度計算タスク）, JNLI（自然言語推論タスク), JSQuAD（抽出型機械読解タスク）, JCommonsenseQA（常識推論を要求する選択肢型機械読解タスク).

## 4.2 実験設定

JGLUE の GitHub リポジトリ7)に公開されているデータ（v1.1）をもとに実験を行う. データ内のテキストは事前に全角文字に正規化する。

## 4.3 結果

表 3 に結果を示す. JSTS や JNLI において， JMedRoBERTa は一般ドメインで事前学習を行った他の言語モデルに匹敵する高いスコアを出してい

6）例えば「可能性が示唆された」や「有意差は認められなかった」といったフレーズが語彙に含まれている.

7) https://github.com/yahoojapan/JGLUE

8）例えば JNLIにおける majority baseline は 0.553 であり， JMedRoBERTa のスコアはそれよりも十分に高い.言語理解において特に基本的なタスクであり，ドメインにかかわらず学習可能であることを示唆している. 一方で MARC-ja において，JMedRoBERTa は予測を全て positive と返した場合のスコア（0.855）になっており, 分類そのものに失敗している. また, JCommonsenseQA においても一般ドメインの言語モデルに比べるとスコアを大きく下げている.これらは医学論文に記述されない日本語の性質や常識を問うものであるため，自然な結果である。

JSQuAD については, 万病 WordPiece モデルに限って見ると, JMedRoBERTa は他の言語モデルに匹敵するスコアを出している。すなわち，JSQuAD は一般ドメインでの読解評価を目指して構築されたデータセットであるが，特定のドメインで事前学習されたモデルでも容易に解けることを意味する. ${ }^{9)}$

## 5 まとめ

本稿では, 日本語の医学論文にもとづく事前学習済み言語モデル JMedRoBERTa の構築と評価について述べた. 医療言語処理の様々な領域において JMedRoBERTa が広く活用されることを期待する.

今後の方向性として，医学論文の引用関係を事前学習で用いた BioLinkBERT [23] や, 医学オントロジーの知識を事前学習で用いた DRAGON [24] のようなモデルを日本語でも作成することが挙げられる.また，言語モデルのフルスクラッチ学習には大量の計算リソースが必要になるのが課題である. そこで，計算コストを抑えつつ，モデルを追加学習よりも効果的にドメイン特化させる exBERT [25] のようなアプローチを日本語で試すことも考えられる。

9） SentencePiece モデルは万病 WordPiece モデルに比べてスコアを大きく落としている.これは， 3.3 節の固有表現抽出夕スクにおいて SentencePiece モデルがスコアを落とした原因と同様，トークンの区切りと解答のスパンの開始終了位置が一致しないことによるものである. なお，JGLUE の著者らも XLM-RoBERTa に対して同様の報告をしている.

## 謝辞

本研究は, JST の AIP 日独仏 AI 研究 (課題番号 JPMJCR20G9）および学際大規模情報基盤共同利用・共同研究拠点 (JHPCN)（課題番号：jh221004)の支援を受けた. 本研究成果の一部は，データ活用社会創成プラットフォーム $\mathrm{mdx}$ を利用して得られた.

## 参考文献

[1] Yoshimasa Kawazoe, Daisaku Shibata, Emiko Shinohara, Eiji Aramaki, and Kazuhiko Ohe. A clinical specific BERT developed using a huge Japanese clinical text corpus. PLOS ONE, Vol. 16, No. 11, pp. 1-11, 112021.

[2] Alistair EW Johnson, Tom J Pollard, Lu Shen, Li-wei H Lehman, Mengling Feng, Mohammad Ghassemi, Benjamin Moody, Peter Szolovits, Leo Anthony Celi, and Roger G Mark. MIMIC-III, a freely accessible critical care database. Scientific data, Vol. 3, No. 1, pp. 1-9, 2016

[3] Jinhyuk Lee, Wonjin Yoon, Sungdong Kim, Donghyeon Kim, Sunkyu Kim, Chan Ho So, and Jaewoo Kang. BioBERT: a pre-trained biomedical language representation model for biomedical text mining. Bioinform., Vol. 36, No. 4, pp. 1234-1240, 2020.

[4] Emily Alsentzer, John Murphy, William Boag, Wei-Hung Weng, Di Jindi, Tristan Naumann, and Matthew McDermott. Publicly available clinical BERT embeddings. In Proceedings of the 2nd Clinical Natural Language Processing Workshop, pp. 72-78, Minneapolis, Minnesota, USA, June 2019.

[5] Yifan Peng, Shankai Yan, and Zhiyong Lu. Transfer learning in biomedical natural language processing: An evaluation of BERT and ELMo on ten benchmarking datasets. In Proceedings of the 18th BioNLP Workshop and Shared Task, pp. 58-65, Florence, Italy, August 2019.

[6] Yu Gu, Robert Tinn, Hao Cheng, Michael Lucas, Naoto Usuyama, Xiaodong Liu, Tristan Naumann, Jianfeng Gao, and Hoifung Poon. Domain-specific language model pretraining for biomedical natural language processing. ACM Trans. Comput. Heal., Vol. 3, No. 1, pp. 2:1-2:23, 2022.

[7] Yongwei Zhang, Rui Cheng, Lu Luo, Haifeng Gao, Shanshan Jiang, and Bin Dong. SRCB at the NTCIR-16 RealMedNLP Task. In NTCIR-16, 2022.

[8] Shogo Ujiie, Hayate Iso, and Eiji Aramaki. Biomedical entity linking with contrastive context matching. CoRR, Vol. abs/2106.07583, , 2021.

[9] 吉井瑞貴, 竹下昌志, ジェプカ・ラファウ, 荒木健治.論文の構造とタイトルを独立して考慮した医学論文検索モデルの提案. ことば工学研究会: 人工知能学会第 2 種研究会ことば工学研究会資料, Vol. 67, pp. 1-8, 122021.

[10] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. RoBERTa: A Robustly Optimized BERT Pretraining Approach. CoRR, Vol. abs/1907.11692, , 2019.
[11] Kentaro Kurihara, Daisuke Kawahara, and Tomohide Shibata. JGLUE: Japanese general language understanding evaluation. In LREC 2022, pp. 2957-2966, Marseille, France, June 2022.

[12]壹岐太一, 金沢輝一,相澤彰子. 学術分野に特化した事前学習済み日本語言語モデルの構築. 第 139 回情報基礎とアクセス技術研究発表会, 2020.

[13] Masahiro Suzuki, Hiroki Sakaji, Masanori Hirano, and Kiyoshi Izumi. Construction and Validation of a PreTraining and Additional Pre-Training Financial Language Model. In SIG-FIN 28, pp. 132-137, 2022.

[14] Keisuke Miyazaki, Hiroaki Yamada, and Takenobu Tokunaga. Cross-domain analysis on Japanese legal pretrained language models. In AACL-IJCNLP 2022 (Findings), pp. 274-281, Online only, November 2022.

[15] 築地俊平, 新納浩幸. Tokenizer の違いによる日本語 BERT モデルの性能評価. 言語処理学会第 27 回年次大会, 2021.

[16] 井上誠一, Nguyen Tung, 中町礼文, 李聖哲, 佐藤敏紀.日本語 GPT を用いたトークナイザの影響の調査. 言語処理学会第 28 回年次大会, 2022.

[17] Mike Schuster and Kaisuke Nakajima. Japanese and Korean voice search. In ICASSP 2012, pp. 5149-5152, 2012.

[18] Kaoru Ito, Hiroyuki Nagai, Taro Okahisa, Shoko Wakamiya, Tomohide Iwao, and Eiji Aramaki. J-MeDic: A Japanese disease name dictionary based on real clinical usage. In LREC 2018, Miyazaki, Japan, May 2018.

[19] Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In EMNLP 2018: System Demonstrations, pp. 66-71, Brussels, Belgium, November 2018.

[20] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In NAACL-HLT 2019, pp. 4171-4186, June 2019.

[21] Eiji Aramaki, Mizuki Morita, Yoshinobu Kano, and Tomoko Ohkuma. Overview of the NTCIR-11 mednlp2 task. In NTCIR-11, 2014.

[22] Eiji Aramaki, Mizuki Morita, Yoshinobu Kano, and Tomoko Ohkuma. Overview of the NTCIR-12 mednlpdoc task. In NTCIR-12, 2016.

[23] Michihiro Yasunaga, Jure Leskovec, and Percy Liang. LinkBERT: Pretraining language models with document links. In ACL 2022, pp. 8003-8016, Dublin, Ireland, May 2022.

[24] Michihiro Yasunaga, Antoine Bosselut, Hongyu Ren, Xikun Zhang, Christopher D. Manning, Percy Liang, and Jure Leskovec. Deep bidirectional language-knowledge graph pretraining. In NeurIPS 2022, 2022.

[25] Wen Tai, H. T. Kung, Xin Dong, Marcus Comiter, and Chang-Fu Kuo. exBERT: Extending pre-trained models with domain-specific vocabulary under constrained training resources. In EMNLP 2020 (Findings), pp. 14331439, Online, November 2020.

[26] Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In ICLR 2015, 2015.

## A モデルの公開リンク

本研究で作成した事前学習済みモデルは以下のリンクで公開されており, Hugging Faceの Transformers ライブラリを経由して呼び出すことができる。

・万病 WordPiece モデル（語彙数 $30,000 ）$ :

https://huggingface.co/alabnii/ jmedroberta-base-manbyo-wordpiece
- SentencePiece モデル（語彙数 30,000 ）：

https://huggingface.co/alabnii/ jmedroberta-base-sentencepiece

なお，本文では言及しなかったが，本研究ではモデルの語彙数の影響を調査するため，他の条件を揃えて語彙数 50,000 のモデルも並行して構築し, 評価した. これらは以下のリンクで公開されている。

・万病 WordPiece モデル（語彙数 50,000）：

https://huggingface.co/alabnii/ jmedroberta-base-manbyo-wordpiece-vocab50000
- SentencePiece モデル（語彙数 50,000 ）:

https://huggingface.co/alabnii/ jmedroberta-base-sentencepiece-vocab50000

ただし，語彙数の差によるタスク性能への影響は（トー クナイザの差による影響と比べると）ごくわずかであり，語彙数の多いモデルの方がどのタスクでも性能が高い, または低いというような一貫した影響は見られなかった。

## B 学習用データの詳細

本研究では，JST から提供を受けた 2 種類の非公開デー タを学習に用いる.

1 つは，論文の抄録のみを含むデータである．このデー タから，JST 分類コードが「医学」に該当するデータ10)の和文抄録のみ抽出する．その上で，データをランダムに 8:1:1 に分割し, それぞれ train, validation, test セットとする. train セットはトークナイザの訓練用，およびモデルの事前学習の訓練用とし, validation セットはモデルの事前学習のバリデーション用とする. test セットはモデルの評価データセットの構築にのみ使う. もう 1 つは，論文の抄録に加えて本文を含むデータである.このデータから，同様に医学論文データの和文抄録・本文のみ抽出し,全てトークナイザおよびモデルの訓練に使う.

モデルの事前学習で用いるテキストのサイズは，前者が約 1.6GB（約 1,000 万文），後者が約 $0.2 \mathrm{~GB}$ (約 140 万文) である.

## C 事前学習の訓練詳細

## C. 1 ハイパーパラメータ

表 4 に，JMedRoBERTa の事前学習におけるハイパーパラメータ一覧を示す.

10）https://jdream3.com/service/science/life.htmlの「大分類：医学 (L0700)」を参照.表 4 ハイパーパラメータの一覧

## C. 2 その他の訓練のエ夫

万病 WordPiece モデルにおいては，事前学習のマスク穴埋めタスクの際に，1つの単語に対応する複数のサブワー ドは全てマスクする Whole Word Masking を採用する。また, 学習の高速化のため, 単精度浮動小数点数 (FP32) と半精度浮動小数点数（FP16）を組み合わせた自動混合精度（Automatic Mixed Precision：AMP）演算を導入する。

## D 副標目付与タスクのデータ作成

## 詳細

はじめに 2.2 節で示した論文データのうち事前学習に用いていないものから，（抄録，索引語，副標目集合）の組を抽出する（副標目集合は空でもよい）。次に，このままでは副標目集合が空の事例数が多いため，全ての索引語について副標目集合が空の抄録を取り除く．最後に，索引語のカテゴリでフィルタリングを行い医学に特に関係する索引語を含む組だけを残す。このようにして得られる 359,434 件の組を，抄録が分割をまたがないという条件のもと，6:2:2 で訓練用・バリデーション用・テスト用に分割する.

## E病名コード付与タスクの訓練詳細

まず，訓練データのラベルである病名コードを標準病名マスター11）を用いて病名に変換し，（診療記録，病名） の組を作成する。そして，同一の組に含まれる診療記録と病名の埋め込みの距離が近くなるよう対照学習を行う。 なお，埋め込みは各モデルの [CLS]トークンに対応する最終出力層から得る.また，対照学習における負例は，訓練バッチ内の異なる 2 つの組から 1 つずつ取得した診療記録と病名のペア (in-batch negatives) とする.

推論時は，入力の診療記録に対して最も埋め込みの近い病名を順に出力し，標準病名マスターを用いて病名コードに変換する（最終的に異なる 10 個の病名コードを予測とする．


# 接尾辞を持つ単語の語義定義文とその分散表現の分析

須山晃平 佐々木稔
茨城大学 工学部 情報工学科
}

\{18t4050x, minoru. sasaki.01\}@vc. ibaraki.ac.jp
## $\cdot$概要

単語の語義定義文は、使用頻度が高い単語については精度が高いが、使用頻度が低いものについては精度が低いという課題がある。この論文では、自然言語処理モデルの一つである Sentence-BERT[1]モデルを用いて、接尾辞を持つ単語 godhood と意味的類似性の高い単語を導出した。また、膨大な語彙を持つ英語版 Wiktionary[2]の語義定義文を用いることで、意味的類似性の検索の精度の向上を図った。

## - 1 はじめに

本研究では、英語版ウィクショナリーの記事の内容を機械可読にした辞書である ENGLAWI を用いて、接尾辞を持つ英単語の語義定義文において、分散表現を取ることで定義文の精度について分析した。

## - 1.1 研究の背景と目的

Sajous ら[3]は、ENGLAWI の定義文で学習した FastText モデル[4]と LSTM アーキテクチャ[5]の 2 つのモデルを用いて、英単語 godhood と意味的類似性の高い上位 10 個の単語をそれぞれ求めた。図 1 は、 Sajous らが行った実験によって求められた、2つのモデルにおける godhood の上位 10 個の近傍語である。図 1 に示したように、この実験により得られた単語の中には、接尾辞"-hood"を含む単語が FastText モデルには 5 個、LSTM アーキテクチャでは 3 個存在しているが、この中には fatherhood や motherhood など、godhood とは意味的類似性のない単語が含ま

図 $1: \operatorname{godhood}$ の上位 10 個の近傍語[3]

れていた。"-hood"のような接尾辞は、語基に別の意味を添加するものであるため、単語の意味においては補助的な役割を果たす。ENGLAWI の語義定義文では、接尾辞を持つ単語の語義定義文に特徴的な記述の形式が存在することがある。表 1 は、godhood を含む 5 つ接尾辞"-hood"を含む単語とそれらの単語の ENGLAWI における語義定義文を示したものである。これらの単語は、接尾辞"-hood"に対応する記述 (The state of being)による影響を強く受けたために、同じ接尾辞を持つ単語の類似度が高くなるという問題があつた。

この問題に対処するために、本論文では、高精度で文章の意味的類似性の検索が可能な SentenceBERT モデルを用いることを提案する。この Sentence-BERT モデルを用いて、ENGLAWI の語義定
表 1 : 接尾辞”-hood"を含む語の語義定義文

義文から godhood との意味的類似性が高い単語を求めることにより、意味的類似性の検索の精度が向上するかどうかを研究した。

また、接尾辞を含む低頻度の単語について、 ENGLAWI の定義文の分散表現を求め、その値を他の文章と比較・分析する。

## - 2 関連研究および関連手法

## - 2. 1 Sentence-BERT

Sentence-BERT は、自然言語処理モデルである BERT [6]を改良したモデルであり、2019 年に Nils Reimers と Iryna Gurevych により提案された[1]。この Sentence-BERT は、学習済みの BERT モデルに Siamese Network を組み合わせてファインチューニングすることで文章の分散表現を求める手法である。複数の文章を用いた意味的類似性の検索などのタスクにおいて、BERT モデルを使用すると精度が低いという課題が存在する。Sentence-BERT では、この課題に対処するために、Siamese Network と Triplet 損失関数を用いることで、 2 つの文章の類似度を効率的に求めることができるようになる。また、SentenceBERT を用いることによって、BERT を用いた文章間の類似性判定の精度を維持しながら、文章の意味的類似性の検索が可能である[7]。

## - 2. 2 Wiktionary

Wiktionary は、2002 年に開始した、多言語に対応したオンライン上の辞書である。ある 1 つの単語や熟語、フレーズを見出し語とする記事があり、各記事には、見出し語の語義定義文のほか、語源や発音、例文などが収録されている。Wiktionary には、180 以上の言語に対応したヴァージョンがあり、その中で記事数が最多である英語版 Wiktionary には 700 万以上の記事がある。

## - 2. 3 ENGLAWI

ENGLAWIは、2020 年に Franck Sajous らにより提案されたもので、英語版 Wiktionary の記事の内容を XML で暗号化することにより、機械が記事の内容を読み取ることを可能にした辞書である。ENGLAWI における単語の語義定義文を利用して意味的類似性の検索をすることにより、Wiktionary 上の語義定義文における意味的類似性の検索が可能となる。

## . 3 提案方法

本研究では、Sentence-BERT モデルを用いて、 ENGLAWI の語義定義文の分散表現を求めることにより、godhood と意味的類似性の高い上位 10 個の単語を求めた。 1 つの見出し語が複数の語義定義文を持つ場合は、各定義文と godhood の定義文とのコサイン類似度を求め、すべての類似度の値を平均したものをその見出し語の類似度とした。

## .4 実験

## - 4. 1 実験方法

Omkiran Malepati [8]が提案したプログラムを基に、 ENGLAWI に収録されたすべての見出し語におけるすべての語義定義文の分散表現を Sentence-BERT モデルを用いて抽出し、godhood の語義定義文（The state of being a god; divinity)の分散表現とのコサイン類似度を取ることで、godhood と他の ENGLAWI の見出し語との意味的類似性を求めた。見出し語が複数の定義文を持つ場合は、その見出し語のすべての定義文との類似度をそれぞれ取ったものを平均した。

## - 4.2 実行結果

表 2 は、Sentence-BERT モデルを用いて求められた、godhood と意味的類似性の高い上位 10 個の見出

し語と godhood とのコサイン類似度を表したものである。表 3 は、表 2 で示された 10 個の単語の ENGLAWI における語義定義文である。表 3 において、 godlike は、"Having characteristics of a god." と”Characteristics of a god.”の 2 つの語義定義文を持っており、表 1 における godlike のコサイン類似度の値は、2つの語義定義文それぞれと godhood の語義定義文との類似度の平均を取ったものである。

## 表 $2: \operatorname{godhood$ の上位 10 個の近傍語}

## 表 3 : ENGLAWI の語義定義文 (Sentence-BERT)

 \\

## . 5 考察

表 4 は、図 1 で示した、FastText とLSTM を用いて導出された godhood の近傍語のうち表 1 にない 16 個の単語の ENGLAWI における定義文である。

## 表 4 : ENGLAWI の語義定義文 (FastText, LSTM)

 \\

表 2 の語義定義文で示したように、Sentence-BERT モデルを用いて導き出された godhood の上位 10 個の近傍語の語義定義文には、表 4 で示した語義定義文の多くとは異なり、"god"や"divinity"といった単語が含まれている。これらの単語は、godhood の ENGLAWI の語義定義文である”The state of being a god; divinity”において元の単語（god）の意味を表す部分 (a god; divinity)に含まれている。これは、 godhood の語義定義文において、「〜の状態」などの意味を持つ接尾辞”-hood"の意味を表す部分（The state of being）よりも、元の単語の意味を表す部分が重視され、接尾辞による影響を受けなかったことを意味する。したがって、Sajous ら [3]が 2 つのモデルを用いて行われた実験の結果よりも、意味的類似性の精度が向上しているといえる。

表 5 は、表 2 で示した godhood の上位 10 個の近傍語について、Wikipedia の単語の利用頻度のファイ

し語の Wikipedia 上における出現回数を表したもの

出し語は、Wikipedia における出現回数が 2 回以下である、すなわち、単語の利用頻度のファイルに記載がない単語である。また、ens entium は 2 単語で構成される見出し語のため、出現回数がより少ない entium の出現回数を示した。

表 5 に示したように、godhood の上位 10 個の近傍語のうちの 7 個の単語で出現回数が 1 桁であった。 このことから、膨大な語彙を持つ英語版の Wiktionary を用いることにより、利用頻度の高い単語だけでなく、低頻度の単語に対しても高い精度で意味的類似性を求めることができる。

http://redac.univ-tlse2.fr/lexiques/englawi.html

ii 2022 年 8 月 29 日現在の Wikipedia のすべての記事の中で計 3 回以上出現する単語 274 万語余の単語と出現回数表 5 : 見出し語の出現回数

## . 6 まとめ

本研究では、自然言語処理モデルである SentenceBERT を用いて、ENGLAWI の語義定義文の分散表現から定義文どうしのコサイン類似度を求めることにより、godhood と意味的類似性の高い単語を求めた。実験の結果、"god”や”divinity"といった単語が語義定義文に含まれる単語が上位 10 単語を占め、接尾辞”-hood”を含む単語が 1 つのみであったことから、意味的類似性の検索の精度が、低頻度語を含めて向上したことが確認された。

今後の課題として、本研究で用いた ENGLAWI は、 2017 年 6 月 1 日現在の英語版 Wiktionary のデータを基に作成されているので、現在の語義定義文が ENGLAWI に記載された内容と異なる見出し語が存在するため、より新しい語義定義文を用いることで意味的類似性の検索の精度が向上するかどうかなどが挙げられる。

をまとめたテキストファイルである。以下のページからダウンロード可能である。

https://github.com/IlyaSemenov/wikipedia-wordfrequency/blob/master/results/enwiki-2022-08-29.txt

## - 参考文献

[1] Nils Reimers, Iryna Gurevych. Sentence-BERT:

Sentence Embeddings using Siamese BERT-Networks. Empirical Methods in Natural Language Processing and International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), 3982-3992, 2019.

[2] Wiktionary, the free dictionary, 2002. https://en.wiktionary.org/wiki/Wiktionary:Main_Page, 2022-06 閲覧

[3] Franck Sajous, Basilio Calderlone, Nabil Hathout. ENGLAWI: From Human- to Machine-Readable Dictionary. Proceedings of the 12th Conference on Language Resources and Evaluation (LREC 2020), 30163026, 2020.

[4] Piotr Bojanowski, Edouard Grave, Armand Joulin, Tomas Mikolov. Enriching Word Vectors with Subword Information. Transactions of the Association for Computational Linguistics, 5:135-146, 2017.

[5] Sepp Hocheriter, Jürgen Schmidhuber. Long ShortTerm Memory. Neural Computation, 9 (8):1735-1780, 1997.

[6] Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), 4171-4186, 2019.

[7] enzo.【入門 】 Sentence BERT, 2022. https://zenn.dev/en2enzo2/articles/a574b52bb8d116

[8] Omkiran Malepati. Sentence Similarity with BERT, 2021. https://medium.com/@,omkiran/sentencesimilarity-with-bert-49bcd250c1bc


# Investigating parallelograms inside word embedding space using various analogy test sets in various languages

Rashel Fam Yves Lepage
早稲田大学大学院 情報生産システム研究科
fam.rashel@fuji.waseda.jp yves.lepage@waseda.jp
}

\begin{abstract}
The idea of using analogy to assess the quality of word embedding spaces implies the existence of parallelograms between the four terms of an analogy. We investigate the presence of analogy parallelograms in various word embedding spaces for various languages by relying on analogies contained in several analogy test sets. In this paper, we report a negative result: no parallelogram is found. We also discuss another possibility to approach the word as a small $\mathrm{n}$-sphere instead of being a point inside the embedding space. Thus an analogy is formed as a parallelogram between four $\mathrm{n}$-spheres.
\end{abstract
## 1 Introduction

Previous works, like [1] and [2], claimed that there are linguistic regularities in word embedding spaces, and even sentence embeddings [3]. These regularities emerge as parallelograms on hyperplanes in the embedding space. Figure 1 presents an illustration of the claim where the four terms in an analogy make a parallelogram in the embedding space.

This claim was challenged by [4]. When the space is curved as in differential manifolds, the equality $\vec{D}=$ $\vec{C}+\vec{B}-\vec{A}$ will not hold for the analogy $A: B:: C: D$. They proposed a parallelogramoid procedure using geodesic shooting and parallel transport to explain the analogical relation between words along curvatures in Riemannian

Figure 1 Parallelograms in word embedding space. Figure copied from [1] manifolds.

In this paper, we perform an investigation of analogies that possibly exist in word embedding spaces. To investigate the existence of parallelograms in embedding spaces, we perform experiments in discovering the analogies contained in various analogy test sets. We explore embedding spaces and try to extract all analogies from these analogy test sets.

## 2 Extraction of analogies from word embedding space

In the following section, we describe how the parallelogram defines an analogy and the implication of the definition on how we can extract analogies from a word embedding space.

## 2.1 Analogy as parallelogram

Figure 1 shows that linguistic regularity between four words, which is an analogy, makes a parallelogram. This parallelogram implies that there is an equality between ratios on the left hand and on the right hand of the analogy. For example, for the analogy man:woman :: king: queen, we should have the equality between the ratios of man:woman and king: queen (blue arrows in Fig. 1). In addition, to make a parallelogram, equality in the other direction is necessary: man: king $=$ woman : queen. This is also true for analogy between other objects than words, like numbers. There is an equality be-

Figure 2 Parallelogramoid procedure on a Riemannian manifold. Figure copied from [4]
tween the ratios $2: 4$ and $3: 6$ for the analogy $2: 4:: 3: 6$ (because of the properties of subtraction, the equality $2: 3$ and $4: 6$ is implied).

Unfortunately, previous works, like [1, 5], did not use this definition to solve the analogical equation: coin the word $D$ given the tree words, $A, B$ and $C$. After calculating the vector $\vec{D}$ from $\vec{A}, \vec{B}$ and $\vec{C}$, they will take vector $\vec{D}^{\prime}$ which is the closest vector to $\vec{D}$. This is a relaxation of the claim that an analogy is a parallelogram. Prior to this, our intuition is that it will be very hard to have a true parallelogram inside the word embedding space.

Table 1 shows the result of a preliminary experiment on solving analogical equation of man : woman :: king : $x$ using three different pre-trained embedding models: fastText, word2vec and SENNA. This experiment was done in various languages: Belarussian (bel), Chinese (zho), French (fra), German (deu), Indonesian (ind), Javanese (jav), Sundanese (sun) and Thai (tha). The answers are checked by native speakers of the language. Results show that all of the answers are incorrect, except for French (fastText and word2vec), German (fastText) and Thai (fastText and word2vec).

 &  & - & - \\

Table 1 Solution of analogical equation man:woman :: king:x in various languages using various pre-trained embedding models. A dagger mark $(\dagger)$ shows a correct answer according to human judgement (5 times out of 14). A hyphen ('-') means that there was no available pre-trained model for that particular language at the time the experiments were conducted.

## 2.2 Notions on analogy and extraction of analogical clusters

An analogy between four words, $A, B, C$ and $D$, is noted as $A: B:: C: D$. The condition for an analogy to hold is an equality between the ratios. as shown in Formula (1).

$
A: B:: C: D \stackrel{\Delta}{\Longleftrightarrow}\left.\{\begin{array}{l}
A: B=C: D \\
A: C=B: D
\end{array}\right.
$

The ratio between two words, $A$ and $B$, is defined as the difference of the vector representations of the words: $A: B \triangleq \vec{A}-\vec{B}$. We thus replace Formula 1 by Formula 2 . With the difference between vectors, similarly as with numbers, the two equalities in the right part of Formula (2) are equivalent.

$
A: B:: C: D \stackrel{\Delta}{\Longleftrightarrow}\left.\{\begin{array}{l}
\vec{A}-\vec{B}=\vec{C}-\vec{D} \\
\vec{A}-\vec{C}=\vec{B}-\vec{D}
\end{array}\right.
$

Based on that, an analogical cluster is defined as a group of word pairs with the same ratio. This is basically the same as categories found in analogy test sets like capitalcommon-countries, currency, etc. (see Section 3).

$
\begin{aligned}
A_{1} & : B_{1} \\
A_{2} & : B_{2} \\
& \vdots \\
A_{n} & : B_{n}
\end{aligned} \quad \stackrel{\Delta}{\Longleftrightarrow} \quad \forall(i, j) \in\{1, \ldots, n\}^{2},
$

## 3 Data

There are two main resources used in this work: pretrained word embedding models and analogy test sets. We investigate whether the analogies contained in analogy test sets emerge as true parallelograms in pre-trained word embedding spaces.

## 3.1 Pre-trained word embedding models

We use fastText [6] pre-trained models. They provide models in various languages which allow us to compare across different languages. The models were trained on Common Crawl and Wikipedia using CBOW with positionweights. The models we used were trained in 300 dimensions, with character $\mathrm{n}$-grams of length 5 , a window of size of 5 and 10 negative samples.

Let us now turn to the distribution of values inside the vector. We sample 1,000 vectors from the embedding model. For each dimension of the vector, we calculate the mean and standard deviation. Figure 3 plots the means of values for the 300 dimensions of the fastText pre-trained model for English. We observe that the graph roughly follows a Gaussian distribution centered around zero. The error bars in the figure show the standard deviation of the mean. These error bars are not visible in the figure because most of the standard deviations are around 0.05 , which is very small.

Figure 3 Distribution of fastText's vector means for each dimension with their standard deviation

## 3.2 Analogy test sets

We survey several analogy test sets that are publicly available. Table 2 shows the language availability of different analogy test sets.
- Google analogy test set ${ }^{1)}[7]$ is probably the first analogy test set widely used since the emerging popularity of word embedding models. It contains general knowledge questions, like country-capital, and morphological questions, like singular-plural form of nouns. The analogy test set is originally only available in English.
- fastText analogy test $\operatorname{set}^{2}$ [8] is provided alongside the pre-trained models. The test set follows the format of its predecessor, Google analogy test set, and is available in French, Hindi and Polish.
- Bigger Analogy Test Set or usually called as BATS ${ }^{3}$ ) [9] is a bigger and more balance analogy test set in comparison to Google and fastText analogy test set. The analogy test set is also available for Japanese with the version called jBATS ${ }^{4}$ [10].
- Multilingual Generation of Analogy Datasets $(\text { MGAD })^{5)}[11]$ is an analogy test set extracted from Universal Dependency treebanks. Thus, the analogical questions are restricted only to morphological phenomena. It is available in Hindi, Russian and Ara-

bic.

Table 2 Survey on the availability of analogy test sets

## 4 Experimental protocol

The purpose of our experiment is to investigate the existence of parallelograms inside the embedding spaces. We rely on analogy test sets as our ground truth. We investigate whether analogies contained in the analogy test sets actually make parallelograms. As the analogy test sets are already organised into categories, we check whether ratios in analogies that belong to the same categories are actually the same, i.e, whether one category makes one analogical cluster.

We carry out experiments in extracting analogical clusters from sets of words contained in each category of an analogy test set. Words are represented as vectors given by a pre-trained word embedding model. The extracted analogical clusters are expected to be similar to the categories contained in the analogy test set. To extract the analogical clusters, we use two different approaches.

The first approach relies on the strict definition of analogies where the equality of ratios has to hold in order to have an analogy. The algorithm to extract analogies from a given set of words is already presented elsewhere, such as [12,13]. However, to ensure the equality of ratios, these techniques apply only to natural numbers (integer values). We convert the real values found on the vector dimensions into integer values by approximation, up to a certain precision after the decimal point. Formula (4) illustrates the approximation on a vector, with a precision of 3 .

$
\left(\begin{array}{c}
0.1435 \\
0.3496 \\
\vdots \\
0.1180
\end{array}\right) \Longrightarrow\left(\begin{array}{r}
143 \\
349 \\
\vdots \\
118
\end{array}\right)
$

The second approach involves a common clustering algorithm. We perform DBSCAN clustering algorithm to cluster ratios. The reason behind it is the scalability and
the geometry used (distances between points) which is aligned with the constraint that we use here with analogy. In this work, we use the implementation provided by scikit-learn ${ }^{6)}$ library.

## 5 Results and analysis

The results give no parallelogram found between words in the analogical test sets, as represented by vectors in any of the pre-trained embedding spaces considered, was found. This observation, which constitutes a negative result, gives support to the construction proposed in [4]. We also achieved the same result by using DBSCAN clustering algorithm.

## 5.1 A word as an area in the space

The analogy test sets are mainly used to assess the quality of a word embedding space. The test sets demand the embedding space to follow certain linguistic regularities, which are claimed to be semantical. However, in practice, some heuristics and tricks are introduced while performing the analogy task. For example, deleting the words included in the problem itself (the term $A, B$ and $C$ ) from the candidates of the solution. Word $D$ is enforced to be different than words $A, B$ and $C$ even when the true vector $D$ that is calculated by the algorithm is closer to any of these words.

We propose that we should think of a word not as a point, but rather as a small $\mathrm{n}$-sphere in the embedding space. By adopting this approach, we may find that this small n-sphere for a word may includes several words. The visibility and representation of the meaning of a word in the embedding space is extended by the proximity of the words in the neighbourhood. Thus, the analogy is now formed by the four small $n$-spheres instead of just four points in the embedding space. Here, we can imagine that the words king, duke, prince, count, etc. may have their extended $\mathrm{n}$-sphere intersect or even inside each other. This makes the heuristics and tricks that we have done before sound natural.

## 5.2 Hypernymy and hyponymy

Capitalising on the approach of a word as a small $n$ sphere, here, we may get another explanation of how the embedding space outputs the solution which is the hyper- nymy or hyponymy of the true answer. For example, we may get one of the king's names instead of the word king itself. This varies depending on the corpus on which the embedding space is trained on. The discussion comes to whether there is any feature for the degree of generality of a word in embedding spaces; whether distributional semantics captures hyponymy and hyponymy. [14, 15] provides experiments on several datasets to observe whether hypernymy structures exist and are preserved inside the embedding space.

## 5.3 Task of analogy

Let us now reflect back on the task of analogy. It is important for us to ask ourselves again what are better analogies to design. One possible approach to answer that is to extract all possible analogies from a word embedding space. We need to have a critical view or be able to analyse these extracted analogies to draw conclusions about their validity of acceptability. Of course, we have to be more precise about the task at hand. If the goal is to assess the quality of the embedding space, then it is strictly demanded that the previously mentioned tricks are not fair.

## 6 Conclusion

By relying on analogies contained in analogy test sets, we investigated the existence of parallelograms inside a word embedding space model, fastText. The experiment consists in rediscovering the analogies by extracting analogies defined as the equality of ratios between the four terms. This implies that we only want true parallelograms. Experimental results showed that no analogy can be extracted from the word embedding spaces. We then applied a common clustering algorithm, DBSCAN, to extract the analogies. This way we allow for a loose parallelogram. This result supports the construction proposed in [4] where parallelograms for analogies are claimed not to exist in differential manifolds. Instead, they propose that analogies should follow the Ricci curvature rather than making parallelograms. In this paper, we discussed another way to approach the representation of a word in the embedding space: a word is not a point but a small area (n-sphere).
6) https://scikit-learn.org/stable/modules/clustering.
html

space. a word is not a point but a small area (n-sphere).

## Acknowledgement

The work reported here was supported by a JSPS Grant, Number 21K12038 (Kakenhi C), entitled "Theoretically founded algorithms for the automatic production of analogy tests in NLP”.

## References

[1] Tomas Mikolov, Wen-Tau Yih, and Geoffrey Zweig. Linguistic regularities in continuous space word representations. In Proceedings of the 2013 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACLHLT-2013), pp. 746-751, Atlanta, Georgia, June 2013. Association for Computational Linguistics.

[2] Omer Levy and Yoav Goldberg. Linguistic regularities in sparse and explicit word representations. In Proceedings of the Eighteenth Conference on Computational Natural Language Learning, pp. 171-180, Ann Arbor, Michigan, June 2014. Association for Computational Linguistics.

[3] Xunjie Zhu and Gerard de Melo. Sentence analogies: Linguistic regularities in sentence embeddings. In Proceedings of the 28th International Conference on Computational Linguistics, pp. 3389-3400, Barcelona, Spain (Online), December 2020. International Committee on Computational Linguistics.

[4] Pierre-Alexandre Murena, Antoine Cornuéjols, and JeanLouis Dessalles. Opening the parallelogram: Considerations on non-euclidean analogies. In Proceedings of the 26th International Conference (ICCBR-2018), pp. 597611, Stockholm, Sweden, 072018.

[5] Jeffrey Pennington, Richard Socher, and Christopher D. Manning. Glove: Global vectors for word representation. In Empirical Methods in Natural Language Processing (EMNLP), pp. 1532-1543, 2014.

[6] Tomas Mikolov, Edouard Grave, Piotr Bojanowski, Christian Puhrsch, and Armand Joulin. Advances in pre-training distributed word representations. In Proceedings of the International Conference on Language Resources and Evaluation (LREC 2018), 2018.

[7] Tomás Mikolov, Kai Chen, Greg Corrado, and Jeffrey Dean. Efficient estimation of word representations in vector space. In Yoshua Bengio and Yann LeCun, editors, 1 st International Conference on Learning Representations, ICLR 2013, Scottsdale, Arizona, USA, May 2-4, 2013, Workshop Track Proceedings, 2013.

[8] Edouard Grave, Piotr Bojanowski, Prakhar Gupta, Armand Joulin, and Tomas Mikolov. Learning word vectors for 157 languages. In Proceedings of the International Conference on Language Resources and Evaluation (LREC 2018), 2018.

[9] Anna Gladkova, Aleksandr Drozd, and Satoshi Matsuoka. Analogy-based detection of morphological and semantic relations with word embeddings: What works and what doesn't. In Proceedings of the NAACL-HLT SRW, pp. 4754, San Diego, California, June 12-17, 2016, 2016. ACL.
[10] Marzena Karpinska, Bofang Li, Anna Rogers, and Aleksandr Drozd. Subcharacter Information in Japanese Embeddings: When Is It Worth It? In Proceedings of the Workshop on the Relevance of Linguistic Structure in Neural Architectures for NLP, pp. 28-37, Melbourne, Australia, 2018. Association for Computational Linguistics.

[11] Mostafa Abdou, Artur Kulmizev, and Vinit Ravishankar. MGAD: Multilingual generation of analogy datasets. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), Miyazaki, Japan, May 2018. European Language Resources Association (ELRA).

[12] Yves Lepage. Analogies between binary images: Application to Chinese characters. In Henri Prade and Gilles Richard, editors, Computational Approaches to Analogical Reasoning: Current Trends, pp. 25-57. Springer, Berlin, Heidelberg, 2014.

[13] Rashel Fam and Yves Lepage. A study of the saturation of analogical grids agnostically extracted from texts. In Proceedings of the Computational Analogy Workshop at the 25th International Conference on Case-Based Reasoning (ICCBR-CA-2017), pp. 11-20, Trondheim, Norway, June 2017.

[14] Zheng Yu, Haixun Wang, Xuemin Lin, and Min Wang. Learning term embeddings for hypernymy identification. In Proceedings of the 24th International Conference on Artificial Intelligence, IJCAI'15, p. 1390-1397. AAAI Press, 2015.

[15] Ivan Sanchez and Sebastian Riedel. How well can we predict hypernyms from word embeddings? a dataset-centric analysis. In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics: Volume 2, Short Papers, pp. 401-407, Valencia, Spain, April 2017. Association for Computational Linguistics.


# 『万葉集』漢字本文における漢字の使用頻度集計

西山雄大
株式会社 Helpfeel
nishiyama@helpfeel.com

## 概要

『万葉集』の漢字本文 ${ }^{11}$ を漢字の列として処理し、漢字の出現回数を集計して全巻および各巻での使用頻度を求めた。本文の訓読および解釈に伴う形態素解析による解釈の差異や情報の損失を伴わずに、万葉集テキストを定量的に解析するものである。これによって、万葉集テキストにおける漢字の使用状況を表記様式の特徵として記述することができるとともに、全 20 巻中の巻同士の比較から各巻の性格を記述できることを確認した。

## 1 はじめに

『万葉集』2) は現存する日本最古の歌集であり、奈良時代末に成立したとされる [1]。同じく奈良時代に成立した『古事記』や『日本書紀』などの史書が基本的に漢文で書かれているのに対し、万葉集には編纂までの間に詠まれた和歌が当時の日本語のまま収録されている。また、古今和歌集をはじめとする平安時代以降の歌集が漢字ひらがな交じり文であるのに対し、万葉集は全文が漢字で表記されている。特に漢字の音訓を借りて表音文字としたものは万葉仮名と呼ばれるが、一方で漢字を意味通り訓読させる表意文字としての表記法も存在しており、実際の本文の表記様式は仮名と訓字の両方を含んだ多様なものである [2]。

こうした特色から、万葉集は日本語の歴史研究において重要な文献資料と見なされてきた。数十点にわたる写本に見られる校註や注釈書に加え、江戸時代の国学者や明治時代以降の国語学者による上代日本語研究の歴史を有している。その中には本居宣長 [3] および石塚龍磨 [4] によってなされた万葉仮名の書き分けの収集・分類から、上代日本語の音韻論的な規則性を見出した橋本進吉 [5] の研究もあった。

他方で、巻三・歌番号 9 番の歌に代表される、今なお訓みが定まらない難読歌も存在する 3 )。

## 1.1 訓み下し本文の問題点

言語の歴史的研究は残された文献資料に頼らざるを得ないが、情報化時代において言語研究のための用例を集めるには、それらを収集・整備したコーパスを利用するのが最も強力な方法である [6]。単語情報がタグづけされ、読み・品詞などの形態論情報が付与された本格的なコーパスを構築するためには、歴史的資料の形態素解析が必要となる。しかし古典語は形態素解析の自動化がしにくく [7]、このため古文を対象とした形態素解析は 2010 年代まで実現しなかった。小木曽智信ら [8] の報告によると、古文用の辞書データを作成することでコーパス構築に利用可能な精度の解析が可能となるが、歴史的な日本語資料の形態素解析において精度 $95 \%$ を超えるには約 5 万語の学習用コーパスが必要であった。 2023 年現在、万葉集については国立国語研究所が『日本語歴史コーパス奈良時代編 I 万葉集』[9] をすでに開発・公開している。しかし小木曽智信ら [10]が認める通り、コーパスとして形態論情報を付与し、かつ現代人に読みやすいものとするためには、漢字本文を校訂して漢字ひらがな交じりの訓み下し本文を用意する必要があるが、その際に原文の持つ情報は少なからず失われてしまう。日本語歴史コーパスにおいては、原文の前後文脈つきで検索結果を表示できる原文 KWIC 表示機能によってこの不足を補っている。とはいえ漢字本文における用字例を直接に収集・分類できない以上、特殊仮名遣に代表されるような用字法に関する洞察をコーパスの使用によって直接に得ることは難しいように思われる。

図 1 漢字本文における漢字の使用頻度集計の概念図

## 2 漢字本文における漢字の使用頻度

本稿では漢字ひらがな交じり文に訓み下した本文を形態素解析する代わりに、漢字本文を漢字の列として文字列処理した。ここでは、文字は前後の文字系列にかかわらず一定の確率で出現するものと仮定してある。漢字ひらがな交じり文を用意しないことで訓みや送り仮名といった解釈による差異はなくなり、漢字本文が持つ情報も失われることがない。 さらに、単純な文字列処理なので形態素解析エンジンや学習用コーパスを用いる必要がなく、比較的簡単なスクリプトでプログラマブルに処理が可能である。

文字列処理の結果として、全巻および各巻について漢字ごとの使用頻度を集計した。万葉集は巻によって表記法が異なることが知られており、それらは形態素のレベルではなく用字のレベルで表現されていることから、各字種の使用頻度にも違いが見られることが期待される。なお、巻ごとの頻度には粗頻度ではなく、巻の総文字数で割った調整頻度を用いるべきだろう。また、全巻を通して使用頻度を概観することで、研究上注目すべき字種を抽出することも考えられる。たとえば、用例が極端に少ない漢字を拾い上げ、誤写誤読の可能性を検討したり、書記上の表現意図を問うことが定量的に可能となる。

準備まず、万葉集に収録されている和歌の歌番号や収録巻、漢字本文などを含むテキストを CSV ファイル形式でデータ化した。校訂資料としては、利用に伴うライセンスの問題や利用しやすさの観点から、Wikisource で CC BY-SA 3.0 ライセンスのもとに提供されているテキスト [11]を本稿では利用した。辞書型データの作成つぎに、全 20 巻・総計 4516 首4) の漢字本文について、漢字の用例とその使用回数を計上し、辞書型データに記録した。具体的には Python の辞書型オブジェクトを作成し、漢字一文字をキー、数值型オブジェクトを値として格納するよう準備した。それから漢字本文を一文字ごとに走査し、キーと値のペアが存在しなかった場合は新たに作成し、そのうえで値を加算した。この処理を全巻と各巻とについて行った。

使用頻度表の作成つづいて、集計した漢字について使用頻度表を作成した。全巻、各巻について作成した辞書型データを値の降順でソートし、漢字ごとの粗頻度と調整頻度（\%）を算出した。ここで粗頻度とは漢字の出現回数であり、調整頻度とは粗頻度を全巻または各巻の総文字数で割った値を百分率で表したものである。

## 3 結果

## 3.1 全巻を通しての漢字の使用頻度表

まず、全巻を通して使用の最も多い漢字上位 10 種と、それらの粗頻度・調整頻度を表 1 に示す。

使用回数は「之」が最も多かった。これは写本による校異を考慮しても疑いない結果と思われる。訓みは「し」（音仮名）と「の」（訓仮名）の少なくとも 2 通りあるが、使用頻度表からは用例を判別できない。

つづいて「尔」の使用も際立っている。万葉仮名としての訓みは「に」（音仮名）である。格助詞としての用法が多いものと推測される。

表 1 使用頻度表（全巻、上位 10 種）

4）『国歌大観』の歌番号に従う。数の異同は底本の違いや、長歌（巻六・1010および 1011）および「或本歌」「一云歌」 の取り扱いの違いから生じる。
表 2 使用頻度表（各巻、上位 10 種）

やや頻度を少なくして「者」「乃」「乎」「毛」が後に並ぶ。これらも典型的には「は」「の」「を」「も」 などの格助詞として用いられる万葉仮名である。「者」は訓仮名、その他は音仮名である。

「可」は「か」と音仮名で用いられる一方で、助動詞「べし」としての用例もある。これも使用頻度表からは一概に判別できない。

## 3.2 各巻での漢字の使用頻度表

つづいて、巻ごとに使用の最も多い漢字 10 種と、 それらの調整頻度を表 2 に示す。全巻の結果で上位 10 種にない漢字はセルを桃色でハイライトした。

全巻を通して得られた結果で見た傾向がここでも多くの巻で観察される一方で、巻によってそれらの比率が違っていたり、一部の巻については特徴的な漢字の使用を見て取ることができた。

例として「奈」という漢字を取り上げる。「な」 （音仮名）を表すこの万葉仮名は、巻十四以降の巻数が古い巻において多く使用されていることがわかる。これらは万葉集の成立に近い比較的後期に編纂されたものと推定されている。それに対して巻数だけで見れば比較的若い巻五で第 4 位の使用頻度であることは注目に値する。この巻は前後の巻とは異なる文体の特徴が指摘されており、所収歌の年代や書き手の問題がこれまでにも論じられてきた55。

5）本稿と近い分類をしたものとして山田浩貴 [12] を挙げる。

## 4 まとめと今後の展望

本稿では万葉集の漢字本文を漢字の列として処理し、漢字の出現回数を集計して全巻および各巻での使用頻度を求めた。得られた漢字の使用頻度表は巻ごとに異なる表記体を反映していると考えられる一方で、実際の用例を確かめるには本文や訓みを参照しないといけなかった。

今回は各歌での集計にまで踏み込まなかったため、和歌の総文字数によって漢字の使用頻度を調整することはしなかった。しかし短歌・長歌・旋頭歌といった歌体によって和歌を分類し、巻間で同じ歌体同士の調整頻度を比較すれば、より精確に巻ごとの文体を論じることが可能であると考えられる。

さらに、文字は前後の文字系列にかかわらず一定の確率で出現するものと仮定したが、実際には特定の組み合わせで一定の単語を表すために使われるということがありうる。品詞という単位を考慮に入れるためには形態論情報を付加する必要があり、漢字本文を漢字の列として扱う手法は少なくとも部分的に修正しなくてはならない。

将来の展望として、統計的・確率論的手法を本文の処理に適用し、漢字同士の結びつきをモデル化する方法を探究するとともに、文字列としての扱いやすさを維持したまま訓みや品詞に関する情報を漢字本文に付加するアノテーション手法も検討したい。

## 参考文献

[1] 伊藤博. 1974. 万葉集の構造と成立.

[2] 佐野宏. 2015. 萬葉集における表記体と用字法について。国語国文:84(4)，161-181。

[3] 本居宣長. 仮字の事. 古事記伝， 1 .

[4] 石塚龍磨. 1798. 仮名遣奥山路.

[5] 橋本進吉. 1917. 国語仮名遣研究史の一発見: 石塚達磨の仮名遣奥山路について。帝国文学.

[6] 講義「コーパスを使って日本語の歴史を探る」 （小木曽智信）／言語学レクチャーシリーズ（試験版）Vol. 19 - YouTube. https://www.youtube.com/ watch?v=dEi0kKdyrWk （最終閲覧日：2023 年 1 月 10 日）

[7] 近藤泰弘. 2009. 古典語・古典文学研究における言語処理, pp.472-473. 共立出版.

[8] 小木曽智信ら. 小木曽智信，小町守，松本裕治. 2013. 歴史的日本語資料を対象とした形態素解析.自然言語処理:20(5)，727-748.

[9] 国立国語研究所. 2017. 日本語歴史コーパス奈良時代編I万葉集. https://clrd.ninjal.ac.jp/chj/ nara.html\#manyo（最終閲覧日：2023 年 1 月 10 日）

[10] 小木曽智信, 岡照晃, 中村壮範, 八木豊. 2017.『日本語歴史コーパス』における原文 KWIC 表示機能の実装. 言語資源活用ワークショップ発表論文集:2, 252-257.

[11] 万葉集 - Wikisource. https://ja.wikisource.org/ wiki/万葉集（最終閲覧日：2023 年 1 月 4 日）

[12] 山田浩貴. 2001. 万葉集の付録的巻々：巻五と末四巻. 北海道大学大学院文学研究科研究論集:1, 21-41.


# 人間と機械学習のモデルそれぞれに扱いやすい トークン分割に関する実験と考察

平岡達也岩倉友哉
富士通株式会社
\{hiraoka.tatsuya, iwakura.tomoya\}@fujitsu.com

## 概要

本稿では，NLP における機械学習のモデルの性能が向上するようなトークン分割と，人間に読みやすいトークン分割の関係について議論する．JGLUE に含まれる JCommonsenseQA データセットに対して複数のトークン分割を行い，機械学習のモデルによる正解率と，人間のアノテータによる正解率と回答速度を比較する。分析より，人間に読みやすいトー クン分割と機械学習モデルの正解率が高くなるトー クン分割は必ずしも一致しないことが示唆された.

## 1 はじめに

トークン分割（Tokenization）は，NLP のシステムの性能や結果に影響を与える重要な前処理である $[1,2,3]$. 近年では後段のタスクに応じて，モデルの性能が高くなるようなトークン分割を自動で選択する手法が提案されている $[4,5,6]$. このようなトークン分割は，性能向上という観点から機械学習のモデルに扱いやすいものであると言える。一方で，このトークン分割は必ずしも人間にとって読みやすいものであるとは限らない $[5,6]$. 人間に読みやすいトークン分割から逸脱したものは，メンテナンスやチューニングの難しさに繋がりうる. 例えば，区切りの不一致のために辞書情報が使えなかったり，目視でのエラー分析における解釈の難しさに繋がったりすると考えられる．また，自然言語処理に詳しくないユーザーにとっては，不自然なトークン分割そのものが信頼性低下の原因になりうる。

本研究では，人間と機械のそれぞれに扱いやすいトークン分割について調査を行う。本稿では研究の第一段階として，日本語 $\mathrm{QA}$ タスクにおいて異なるトークン分割がもたらす，機械学習のモデルの正解率への影響と，人間にとっての読みやすさへの影響の関係を調査・分析した内容を報告する。

表 1 各トークナイゼーション手法による分割例

## 2 実験設定

## 2.1 データセット

本研究では, JGLUE [7] に含まれる JCommonsenseQA データセットを用いて実験を行う．本研究実施時点では JGLUE のテストデータが公開されていないため，学習データと検証データのみを使用する。また，QA モデルに用いる文字分散表現の学習と，トークン分割器の学習には日本語 Wikipedia データを用いた1).

## 2.2 比較するトークン分割の手法

本研究では，トークン分割の手法として辞書を用いた手法（MeCab），教師無しで語彙を構築する手法 (Unigram, BPE，MaxMatch)，タスクに応じてトークン分割を最適化する手法 (OpTok)，ランダムなトークン分割（Random）の6つを比較する.

教師なしの手法におけるトークン分割器は，それぞれ語彙の大きさを 64,000 とし，日本語 Wikipedia のタイトルと概要データを用いて学習した. 各手法でトークン分割を行ったテキストの例を表 1 に示した。また，実際に JCommonsenseQA の学習データと検証データに対してトークン分割の処理を行い，出現したトークンの種類数を表 2 にまとめた。それぞれの手法について，以下に説明する。

表 2 トークナイゼーション手法ごとの語彙の規模

MeCab: 辞書を用いたトークン分割（単語分割）手法として， MeCab [8] を用いた. 単語辞書には, UniDic [9]を用いた. 人手で整備された辞書を用いている本手法は，比較する手法間で最も人間に読みやすいトークン分割であると考えられる。

Unigram: ユニグラム言語モデルを用いたトークン分割の手法として, SentencePiece [10] のユニグラムモードを使用した。

BPE: Byte Pair Encoding を用いたトークン分割手法 [11]には，SentencePieceの BPE モードを用いた.

MaxMatch: 最長一致法を用いたトークン分割手法 [12] として，BertTokenizer (WordPiece) を用いた.

OpTok: データセットとモデルに対して正解率が向上するようなトークン分割を自動的に獲得する手法として, OpTok [6] を利用した. ユニグラム言語モデルでのトークン分割を用いて学習した $\mathrm{QA}$ モデル（後述する BiLSTMを用いたもの）に対して，後処理としてトークン分割を最適化した. そのため，語彙はユニグラム言語モデルと一致する。

Random: 単語の長さをサンプリングし，テキス卜を前から順にランダムに分割した. 単語の長さは Wikipediaを MeCabで分割した際の分布に従った.

## 2.3 QA モデル

機械学習のモデルを用いた実験には，Bag-ofWords [13] と BiLSTM [14, 15] の 2 種類の単純な QA の手法を用いる. $N$ 個のトークンからなる問題文 $q=w_{1}, \ldots, w_{N}$ について, 選択肢の単語 $a$ が解答となる確率 $p(a \mid q)$ を次のように計算する（図 1).

$
\begin{aligned}
\mathbf{v}_{q} & =g\left(f\left(\mathbf{v}_{w_{1}}, \ldots, \mathbf{v}_{w_{N}}\right)\right), \\
p(a \mid q) & \sim \mathbf{v}_{q}^{\top} \mathbf{v}_{a} .
\end{aligned}
$

ただし, $f(\cdot)$ はエンコーダー, $g(\cdot)$ はエンコーダーの出力をトークンベクトルの次元数に変換する MLP である. また, $\mathbf{v}_{w_{n}}$ と $\mathbf{v}_{a}$ はいずれもトークンベクトルである. エンコーダー $f(\cdot)$ の処理は Bag-of-Words を用いる場合 $\left(f_{\text {Bow }}\right)$ と, BiLSTM $\left(f_{\text {BiLSTM }}\right)$ を用い

図 $1 \mathrm{QA}$ モデルの概要

る場合でそれぞれ以下のように異なる。

$
f_{\mathrm{BoW}}\left(\mathbf{v}_{w_{1}}, \ldots, \mathbf{v}_{w_{N}}\right)=\frac{\sum_{w \in s} \mathbf{v}_{w}}{N}
$

$f_{\mathrm{BiLSTM}}\left(\mathbf{v}_{w_{1}}, \ldots, \mathbf{v}_{w_{N}}\right)=h\left(\operatorname{BiLSTM}_{\mathrm{QA}}\left(\mathbf{v}_{w_{1}}, \ldots, \mathbf{v}_{w_{N}}\right)\right)$,

ここで $h(\cdot)$ は各出力への最大プーリングである.

トークン分割の差以外の要素による影響を減らすため，トークンベクトルは文字ベクトルから計算する $[16,17] . M$ 文字のトークン $w=c_{1}, \ldots, c_{M}$ のべクトル $\mathbf{v}_{w}$ は，次のように計算する。

$
\mathbf{v}_{w}=h\left(\operatorname{BiLSTM}_{\mathrm{emb}}\left(\mathbf{v}_{c_{1}}, \ldots, \mathbf{v}_{c_{M}}\right)\right)
$

ここで $\mathbf{v}_{c_{m}}$ は $c_{m}$ の文字分散表現である. $\mathbf{v}_{c_{m}}$ と BiLSTM $_{\text {emb }}$ は, 日本語 Wikipedia の全文を言語モデルとして学習し [18], QA の学習時には固定した. $g$ と $f_{\mathrm{BoW}}, f_{\mathrm{BiLSTM}}$ は, QA の学習データで学習した. ハイパーパラメータについて，文字分散表現 $\mathbf{v}_{\mathbf{c}}$ のサイズは 256, BiLSTM $_{\mathrm{emb}}$ と $\mathrm{BiLSTM}_{\mathrm{QA}}$ の隠れべクトル， $\mathbf{v}_{w}$ のサイズは 1,024 , 各 BiLSTM のレイヤ数は 1 とした. 交差エントロピー誤差を用いて Adam [19] で更新を行い，30 エポックの学習のうち検証データでの性能が最も高いモデルを採用した。

## 2.4 人間による読みやすさの収集

## 2.4.1読みやすさの順位付け

異なるトークン分割に対する読みやすさの最も単純なアノテーション方法として，人間による順位付けを行った。実際のアノテーション画面を図 2 に示した. アノテータは，ランダムに並べられた最大 6 つのトークン分割について，区切り方が適切だと思うものから順に並び変えるよう指示される. 本作業は1名のアノテータが担当した。

図 2 読みやすさの順位付けアノテーション画面

晴れている時雨の

降る弱いことをな突然

う? にんとい

図 3 Bag-of-Words によるアノテーション画面

## 2.4.2 Bag-of-Words での回答収集

2.4.1 節のアノテーション方法では, 適切な区切り方の基準がアノテータの知識に強く依存する. 本研究では，タスクを解くうえで各トークン分割がどの程度読みやすいかの情報を収集したい。そのため， この方法では目的が達成できるとは言えない.

そこで，異なるトークン分割を用いたときの QA タスクへの回答時間及び正解率を収集することで，人間に読みやすいトークン分割を分析する ${ }^{2)}$. 具体的には，人間に読みやすいトークン分割は，語順がランダムであっても元の意味を復元しやすいと仮定し, 図 3 のようなアノテーション画面を用いて, Bag-of-worrds形式での回答を行った.

アノテーション時には, 各設問画面の表示から最後に選択肢のボタンを押下するまでの時間を記録する.トークン分割が読みやすいものである場合，この時間が短くなる傾向が見られると期待される。 なお，クラウドワーカーによるアノテーションを行っているため，作業中の行動のすべてを監視することは出来ない，そのため，回答時間が 30 秒を超えるもの3)については，画面を開いた状態で放置した可能性が高いとものとし，集計の対象から除外した.

本作業では，1名のアノテータが問題ごとにすべ

2）画像とテキストを用いた既存調査 [20] に倣った.

3）図 3 の例から分かる通り，平均的な回答時間は 5 秒程度,設問が長いものでも 15 秒程度で回答可能である。

表 3 JCommonsenseQA での正解率 (検証データ). 列内の最大値を太字，最小値を下線でハイライトした。

てのトークン分割の種類について回答する。そのため，異なるトークン分割で問題文を提示しているとはいえ，過去に解いたことのある問題に対して何度か回答を行うことになる。そこで，問題の丸暗記を防ぐために，同じ問題の間隔をある程度あけて（平均 1591.8 件）提示するようにした．また，回答内容の記憶を防ぐために，アノテータへの正答の提示も行わない. 本作業には 6 名のアノテータが参加しており，現時点で全サンプル 10,058 件について各 1 名の回答結果が収集できている。

## 3 結果と分析

## 3.1 読みやすさと機械学習モデルの正解率

QA モデルを用いたときの，各トークン分割手法ごとの正解率を表 3 に示した ${ }^{4)}$. Bag-of-Words を用いたモデルでは BPE，Unigram の順に正解率が高く， BiLSTM を用いたモデルでは Unigram, MaxMatch の順に正解率が高い。また，どちらもモデルも Random, MeCab の順に正解率が低くなっている.表 4 の「読みやすさ」の列には，2.4.1 節の方法で収集した読みやすさの順位付けについて，各トークン分割手法が 1 位となった割合を示した。なお，予稿投稿時点では全サンプルのうち，学習データの 3,302 件のみアノテーションが完了している. 結果より，人手で整備した辞書を用いている MeCab が最も読みやすいことが分かる。一方で，MeCabによるトークン分割は，機械においては Random の次に正解率が低いものである。ここから，人間に読みやすいトークン分割は，必ずしも機械の正解率が高いものとは一致しないと言える。

4） 3 回試行の平均値を報告. OpTokについては，ある学習済みのモデルに対して最適化したトークン分割を，初期化が異なる別の QA モデルの学習に再利用し, 3 回試行を行った. そのため, OpTok を用いた場合の正解率は必ずしも Unigram よりも高い值にならない.

表 4 各トークン分割手法で問題文を区切って提示した際の，読みやすさ 1 位の割合（\%，学習データの 3,302 件）と正解率 (\%)，平均回答時間（単位は秒，正答・回答時間が 30 秒以内のサンプルのみを集計），各サンプルの問題文の平均トークン数. 列内の最大値を太字，最小値を下線でハイライトした.

## 3.2 機械学習モデルと人間の正解率

表 4 の「正解率」の列には，2.4.2 節で説明した方法で収集した人間による正解率をまとめた. データ全体での人間の正解率は MeCab，BPE の順に高い. また，正解率は Random，OpTokの順に低い.

これらの内容から，ランダムなトークン分割は人間にも機械にも扱いにくいと言える。また，人間と機械でトークン分割による正解率の大小関係が異なることから，人間と機械の正解率が高いトークン分割が必ずしも一致しないと言える.

## 3.3 分割と回答時間の関係

表 4 の「平均回答時間」からは，OpTok，Unigram の順に回答時間が短いことが分かる. OpTok は Unigramをベースとして最適化を行ったトークン分割であるため，人間は言語モデルを用いて語彙の構築とトークン分割を行ったテキストを効率的に読むことができると言える. OpTok は Unigram によるトークン分割のうち, 助詞などの高頻度語を更に切り離す傾向がある [6]（表 1）ため, 今回の提示形式において語順の推測がしやすくなり回答時間が短くなっていると考えられる。一方で Randomなトークン分割を用いたときの回答時間は顕著に長く, 読みづらいトークン分割と言うことができる.

MeCab を用いたときの回答時間は，Random の次に長い。これは， MeCabによるトークン分割が Unigram などに比べて細かく, 問題文を表すためのトークン数が多いことに起因すると考えられる（表 4 「平均トークン数」).トークン数が多い場合, 内容を把握するために時間がかかることから，回答時間も長くなると考えられる。実際に全アノテーション内容についての，問題文に含まれるトークン数と回答時間との相関係数は 0.22 であり，弱い正の相関が
ある. 一方で, 平均トークン数が比較的多い OpTok の回答時間が最も短いことから，トークン数以外の要素が回答時間の長さに影響を与えていると考えられる。例えば， MeCabを用いる場合は単語の意味が理解できることから，より内容について長考する傾向にある，などの原因があると考えられる.

## 4 おわりに

本稿では，人間と機械学習のモデルのそれぞれに扱いやすいトークン分割について, 調査と実験の結果を報告した．QA のデータを用いた実験では異なるトークン分割手法を用いて問題文を分割し，機械による正解率を収集した。また，問題文の語順をシャッフルした上で人手でのアノテーションを行い，人間による回答の精度と回答時間を収集した。収集した結果より，機械学習のモデルの正解率が高くなるようなトークン分割は，必ずしも人間による正解率が高くなるものや，人間に読みやすいものに一致するとは限らないことが示唆された。

本研究では引き続きアノテーション作業を進め,人間による正解率や回答時間に関する情報を収集する。また，トークン分割の差が人間の回答に及ぼす影響の調査方法については, 現在の方法では差が大きく表れていないことから，方法の改善が必要である。例えば，問題文に含まれるトークンをフラッシュカード形式で提示した場合の正解率や，アノテータの視線情報を用いたデータ収集などが考えられる. 機械学習のモデル側についても, 実験設定の改善の余地は大いにある．例えば，より現代的な比較を行うためには，大規模言語モデル [21] の事前学習から異なるトークン分割手法を用い，その影響を調査する必要がある. 今後も実験内容の再検討を重ね，人間と機械学習のモデルに扱いやすいトークン分割の差について調査を行う.

## 謝辞

本研究は，JST，ACT-X，JPMJAX21AM の支援を

受けたものです. また，アノテーションの設計では熊野康孝氏と六条範俊氏にご助言いただきました.

## 参考文献

[1] Tatsuya Hiraoka, Hiroyuki Shindo, and Yuji Matsumoto. Stochastic tokenization with a language model for neural text classification. In Proceedings of the 57th Annual Meeting of ACL, pp. 1620-1629, 2019.

[2] Kaj Bostrom and Greg Durrett. Byte pair encoding is suboptimal for language model pretraining. In Findings of ACL: EMNLP 2020, pp. 4617-4624, 2020.

[3] Hoo-Chang Shin, Yang Zhang, Evelina Bakhturina, Raul Puri, Mostofa Patwary, Mohammad Shoeybi, and Raghav Mani. BioMegatron: Larger biomedical domain language model. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on EMNLP, pp. 4700-4706, Online, November 2020. Association for Computational Linguistics.

[4] Xuanli He, Gholamreza Haffari, and Mohammad Norouzi. Dynamic programming encoding for subword segmentation in neural machine translation. In Proceedings of the 58th Annual Meeting of ACL, pp. 3042-3051, Online, July 2020. Association for Computational Linguistics.

[5] Tatsuya Hiraoka, Sho Takase, Kei Uchiumi, Atsushi Keyaki, and Naoaki Okazaki. Optimizing word segmentation for downstream task. In Findings of ACL: EMNLP 2020, pp. 1341-1351, Online, November 2020. Association for Computational Linguistics.

[6] Tatsuya Hiraoka, Sho Takase, Kei Uchiumi, Atsushi Keyaki, and Naoaki Okazaki. Joint optimization of tokenization and downstream model. In Findings of ACL: ACL-IJCNLP 2021, pp. 244-255, 2021.

[7] Kentaro Kurihara, Daisuke Kawahara, and Tomohide Shibata. JGLUE: Japanese general language understanding evaluation. In Proceedings of the Thirteenth LREC, pp. 2957-2966, Marseille, France, June 2022. European Language Resources Association.

[8] Taku Kudo. Mecab: Yet another part-of-speech and morphological analyzer. http://taku910.github.io/mecab/, 2006

[9] 康晴伝, 智信小木曽, 秀樹小椋, 篤山田, 信明峯松, 清貴内元, 花絵小磯. コーパス日本語学のための言語資源 : 形態素解析用電子化辞書の開発とその応用. 日本語科学, Vol. 22, pp. 101-123, 102007.

[10] Taku Kudo and John Richardson. Sentencepiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Proceedings of the 2018 Conference on EMNLP: System Demonstrations, pp. 66-71, 2018.

[11] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In Proceedings of the 54th Annual Meeting of ACL, Vol. 1, pp. P1715-1725, 2016.

[12] Xinying Song, Alex Salcianu, Yang Song, Dave Dopson, and Denny Zhou. Fast wordpiece tokenization. In
Proceedings of the 2021 Conference on EMNLP, pp. 2089-2103, 2021

[13] Jordan Boyd-Graber, Brianna Satinoff, He He, and Hal Daumé III. Besting the quiz master: Crowdsourcing incremental classification games. In Proceedings of the 2012 Joint Conference on EMNLP and CoNLL, pp. 1290-1301, Jeju Island, Korea, July 2012. Association for Computational Linguistics.

[14] Sepp Hochreiter and Jürgen Schmidhuber. Long shortterm memory. Neural computation, Vol. 9, No. 8, pp. 1735-1780, 1997

[15] Alex Graves and Jürgen Schmidhuber. Framewise phoneme classification with bidirectional lstm networks. In Proceedings. 2005 IEEE International Joint Conference on Neural Networks, 2005., Vol. 4, pp. 20472052. IEEE, 2005.

[16] Guillaume Lample, Miguel Ballesteros, Sandeep Subramanian, Kazuya Kawakami, and Chris Dyer. Neural architectures for named entity recognition. In Proceedings of the 2016 Conference of NAACL: HLT, pp. 260-270, 2016.

[17] Chunqi Wang and Bo Xu. Convolutional neural network with word embeddings for chinese word segmentation. In Proceedings of the Eighth IJCNLP, pp. 163-172, 2017.

[18] Matthew E. Peters, Mark Neumann, Mohit Iyyer, Matt Gardner, Christopher Clark, Kenton Lee, and Luke Zettlemoyer. Deep contextualized word representations. In Proceedings of the 2018 Conference of NAACL: HLT, Volume 1 (Long Papers), pp. 2227-2237, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[19] Diederik P Kingma and Jimmy Ba. Adam: A method for stochastic optimization. arXiv preprint arXiv:1412.6980, 2014.

[20] Chunpeng Ma, Aili Shen, Hiyori Yoshikawa, Tomoya Iwakura, Daniel Beck, and Timothy Baldwin. On the effectiveness of images in multi-modal text classification: An annotation study. ACM Trans. Asian Low-Resour. Lang. Inf. Process., oct 2022. Just Accepted.

[21] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018.