# ひめのり：辞書生成機能を備えたワードクラウド作成システム

涉谷 泰蔵 ${ }^{1,2}$ 稲吉 希理 ${ }^{1}$ 西田 健太郎 ${ }^{1}$ 田中朋 1,2
1 日本電気株式会社 2 産業技術総合研究所
\{taizo, kiri.i, ken-nishida, tomotanaka\}@nec.com

## 概要

専門用語辞書生成機能を持つワードクラウド作成システム「ひめのり」を開発した. システムは スマートフォン上でも動作可能な Web インター フェースを持ち，様々な分野の専門家による効率的 な形態素解析辞書の生成を可能にする. 1940 年代 の応用物理学会誌のデータを用いた専門用語抽出実験から，システムによる作業効率の加速効果は手作業に比べ最大で 3 倍程度あることが分かった. 今後 ひめのりが得意なデータセットの特徵を明らかにす るとともに，辞書以外の言語資源の整備機能も追加 していく.

## 1 はじめに

膨大なテキストデータを概観する手法として， ワードクラウドが知られている。 ワードクラウドは 図 1 に示すように文書中に含まれる多数のトーク ン1)を並べた画像であり，重要なトークンほど大き く表示される. ワードクラウドの作成は，トークン リストの抽出とトークン重要度の決定という 2 つの 作業から成り, 素朴には形態素解析器による文書の トークン化とその頻度集計で実現される。高品質な ワードクラウド生成には，トークンの分割単位や重要度に分析者の視点を反映させる必要がある. 例え ば「化合物 半 導体」という短単位のトークンで構成された複合語をどこまで接続するかや，「情報」や 「システム」といったトークンをワードクラウドに 含めるかといった判断は分析者や分野に依存する.

我々は，複合語リストの抽出を分かち書きテキス トにおけるトークン接続（チャンキング）タスクと 捉え, MeCab [1] 用の複合語辞書生成機能を備えた ワードクラウド作成システムを開発している。この システムはスマートフォンでも操作可能なシンプル なインターフェースを特徴とする Web アプリケー

1）何らかの手段で文章を短い単位に分割したときの一つ一つ の言葉のまとまりのこと.
ションであり，トークン同士を接続する糊という意味を込めて「ひめのり」2)と名付けた。ひめのりはテ キスト中に隣接して現れるトークンペアの接続判断 をユーザに迫り，複合語辞書を効率的に生成する。 また，頻出する低重要度トークンを非表示語（ス トップワード）リストに追加するための画面も備え ている。本稿では，ひめのりを紹介するとともに， そのトークン接続タスクの加速効果を実験で明らか にする。また，形態素解析辞書以外の言語資源生成 ツールとしての可能性についても議論する。

図 1 ワードクラウドの例. 2008-2021 年の『自然言語処理』掲載論文のタイトルから作成.

## 2 関連研究

複合語リストの自動抽出に関しては，頻度 [2] や ルール [3] をべースにしたものから BERTを利用し たもの [4] まで様々な研究があり，これらの手法に 分析者の視点を反映させるには，テキストマイニン グ向けのツール [5] や，種々のスパンアノテーショ ンツール [6-10] 等を利用できる. もちろん長単位 の分割に対応した形態素解析器 [11,12] や辞書 [13] も重要な選択肢である。トークン重要度の決定に関 しても様々な手法 $[2,14]$ が提案されている. これら を統合したワードクラウド作成システムは筆者ら の知る限りでは存在しないが，例えばユーザーロー カル社のサービス [15] は複合語リストとストップ ワードリストの入力に対応し，トークン重要度は TF-IDF [16] で決定している.

2）姫糊（ひめのり）は米を原料とした糊のこと。

## 3 システムの詳細

図 2 ひめのりの全体像.

ひめのりは Python と JavaScript で書かれた web アプリケーションであり，非同期処理を利用して 軽快な動作を実現している。ひめのりの全体像を 図 2 に示す.クライアント側には JavaScript ライ ブラリである React [17] を採用し，サーバー側は Python フレームワークである FastAPI [18] を利用し ている.テキストのトークン分割には $\mathrm{MeCab} を ，$ データベースには SQLite [19]を，ワードクラウド の生成には Andreas Mueller 氏の Python ライブラリ WordCloud [20] と Google Noto Fonts [21]をそれぞれ 採用している. 辞書生成の基本的な流れは，分析す るテキストのアップロード，MeCabによるトーク ン分割，トークンおよびトークンペアの出現頻度集計，トークンペアに対するユーザの判断で構成され る.これらを組み合わせることでトークンペアの チャンキングを繰り返し, MeCab 向けのユーザ辞書 を更新し，最終的に複合語辞書を得る。また，ユー ザはストップワードリストを修正することでワード クラウドの見栄えを整えることができる.

ひめのりの機能の肝となるトークンペアに関す る繰り返し処理（周回）というコンセプトについて 図3を用いて説明する. 最初の周回は，文章ごとに 分割された入力テキストデータを MeCabによって トークンに分割し，単一トークンおよびトークン ペアの出現頻度を集計することで始まる。この時, トークンの頻度情報からワードクラウドも作成す る. 次に，頻度順にソートされたトークンペアごと に，接続するかどうかの判断をユーザに促す. 判断画面の例を図 4 に示す. 画面には単一トークンと トークンペアの出現頻度，およびペアを含む文章一覧が表示され，ユーザはこれを参考にペアを辞書・仮辞書・非辞書のどれかに分類する。例えば辞書に 分類されるのは「電子顕微鏡」のような複合語と して成立するぺアである．仮辞書に分類されるのは

図 3 ひめのりによる複合語抽出の流れ.

図 4 ユーザ判断画面.

3 トークン以上からなる複合語の一部である「高温超」(高温超伝導の一部) のような，そのままで は意味を持たないが，より長単位では意味を持ちそ うだと判断されたぺアである. 仮辞書に登録された トークンは，次周のトークンペア集計では繋がった 状態で出てくるため, 次周の判断によってはさらに 長いトークンとなっていく. こういった意味を持た ないトークンペアをユーザ辞書に登録せずに仮辞書に登録することで，ユーザ辞書の無意味な肥大化 を防いでいる。非辞書に入るのは「に よる」のよ うな複合語として成立しないぺアである。一度非辞書に登録されたトークンペアは，次周以降は頻度集計からは除かれる。分類は画面上の該当ボタンのク リックで実行できるが，キーボードの矢印キーでも
実行できる，必要なトークンペアについてのユーザ 判断が終わったら3)，辞書と仮辞書に含まれたト一 クンペアを見出し語とした MeCab のユーザ辞書を 作成する。この際, 品詞は全て名詞とし, 生起コス トは MeCab に分割されないようトークンの文字数 と周回数に基づいて決定される。このユーザ辞書を 利用してテキストを再び分かち書きし，トークンペ アの頻度集計とワードクラウドの生成を行う．新し いユーザ辞書により生成されたワードクラウドは，図 5 に示す画面で直前の周回のワードクラウドと比較され，次周を実行するかの判断をユーザに促す. ここまでの一連の処理が 1 周目に該当する. 2 周目

## 単語と出現頻度

図 5 周回の終了画面.

は，直前の周回で生成されたトークンペアへの判断 をユーザに促すところから始まり，更新されたユー ザ辞書でワードクラウドが生成されて終わる. 図 3 では 2 周目で「高温超伝導」という複合語が辞書に 登録されたことが分かる. この処理を繰り返すこと でトークンペアは徐々に長くなり，最終的にはユー ザが所望する複合語のリストを得ることができる.

ストップワードリストの編集には図 5 に似た別の 画面が用意されている。ユーザはトークンリスト中 のトークンをクリックすることで，動的にストップ ワードリストを変更し，ワードクラウドの変化を確認できる.

## 4 実験

システムの効果を評価するために，ひめのりを利用した場合としない場合それぞれについて 10 分間 のチャンキング作業を設定し，2 分ごとに作業のス

表 1 BIO タグを用いた長単位チャンキングの例。 Token 化合物 半導体超 格子 の無秩序化とその応用

コアを算出した. 対象文書として J-Stage の API で 取得した応用物理学会誌の 1940-1942 年の論文タイ トル 409 件を利用した. このデータセットは古い専門用語が使われており, 特に複合語辞書生成の重要性が大きいと判断したため選ばれた. チャンキング 作業は MeCab と IPADIC 辞書が生成した分かち書き テキスト中のトークンを接続するものとした. 正解 データは，分野固有の専門用語を可能な限り長単位 で接続することを基本方針とし，一人の材料科学者 が用意した．スコア計算には CONLL2003 の固有表現抽出タスク [22] の BIO タグを参考に，適合率，再現率，F1 值を下記のように定義した：

$
\begin{aligned}
\text { 適合率 }(\text { Precision }) & =\frac{\text { 正解との一致タグ数 }}{\text { ユーザの BI タグ数 }}, \\
\text { 再現率 }(\text { Recall }) & =\frac{\text { 正解との一致タグ数 }}{\text { 正解の BI タグ数 }}, \\
\text { F1 値 } & =\frac{2 \times \text { 適合率 } \times \text { 再現率 }}{\text { 適合率 }+ \text { 再現率 }} .
\end{aligned}
$

タグ付けの例を表 1 に示す. この場合，ユーザ入力の適合率，再現率， $\mathrm{F} 1$ 值はそれぞれ $0.8,0.57,0.67$ となる。ひめのりを使用する場合（w/ Himenori）は 2 分ごとにひめのりの周回作業を終了し, 各周回の ユーザ辞書によって分かち書かれた結果を $\mathrm{BIO}$ タ グに変換した ${ }^{4}$ ．ひめのりを使用しない場合（w/o Himenori）は，図6 に示すようにアンダースコアを 分かち書き文字としたデータを用意し，テキストエ ディタを用いた手作業による区切り文字の除去を タスクとした. この際も 2 分ごとに作業を保存し,結果を BIO タグに変換した. 実験は 8 人の材料系研究従事者に対して行った. 被験者はチャンキン グ作業を同じデータセットに対し w/ Himenori, w/o Himenori でそれぞれ 10 分間行った. 作業を行う順番による影響を確認するため，被験者を 4 人ずつ 2 つの群に分けた. 1 つの群は先にツールを利用し (Himenori 1st)，もう一つの群は先にテキストエディ タで作業を行った（Himenori 2nd）。

## 5 結果と考察

作業者群ごとの平均 $\mathrm{F} 1$ 値の推移を図 7 に示す.作業の順番にかかわらず，全ての時間で w/ Himenori

4）初期トークンが分かたれた文章はスコアの計算に含めな かったが，そのような文章は全体の 5 \%程度だった。

図 6 テキストエディタを用いた手動チャンキングタス ク. トークンを区切るアンダースコアを手動で削除する。

図 $7 \mathrm{~F} 1$ 値の推移. 各点は 4 人の作業者の平均値を示す.

の F1 值が w/o Himenori の F1 值を上回っているこ とが分かる. またそれぞれの群において, 後に作業 した結果の F1 值が高く, 先の作業でデータセット の特徵を掴んだことで, 後の作業の処理速度が向上 したと思われる. しかしながらその影響は極わずか であり，専門用語抽出タスクはひめのりによって加速されたと言える。また，w/o Himenori のカーブが 線形なのに対し, w/ Himenori は w/o Himenori より も高い值をとっているが 4 分を過ぎた頃には緩や かな傾きになる. 次に, 図 8 に F1 值の内訳である

図 8 適合率 (Precision) と再現率（Recall）の推移. 各点 は 8 人の作業者の平均値を示す.

適合率と再現率の平均値の推移を示す. 作業の順序 による差は極わずかであったため，2つの作業者群 をまとめた 8 人の結果の平均値を用いた. 適合率 は w/o Himenori は時間によらず高い值を維持するの に対し，w/ Himenori は最初に低い值をとり 4 分以降で一定値となる。この違いが生まれるのは，w/o Himenori では同じ判断を下せる限り時間経過によっ て適合率が変化しないのに対し，w/ Himenori では 始めの周回で仮辞書に追加されたトークンペアに短単位で BIO タグが貼られ適合率が低く出るからであ る.これら仮辞書に登録されたトークンペアは，そ の後の周回でより長単位の BIO タグが貼られるた め，最終的には適合率は上昇する。再現率は，w/o Himenori がゼロ点から線形に上昇するのに対し，w/ Himenori はゼロ点から 2 分までの傾きが大きく, 4 分を過ぎた時点で w/o Himenori の傾きと一致する. w/o Himenori の線形性は単純作業の繰り返しとして 説明できるが，w/ Himenori の傾きの変化は頻出する トークンペアの一括処理による効果が 4 分頃までで なくなることを示唆している．今回設定した実験時間の範囲内では，w/ Himenori の 2 分と w/o Himenori の 6 分の F1 值がほぼ同一であり加速効果は最大で 3 倍程度とも言えるが，より長時間の作業では $\mathrm{F} 1$ 值 が逆転し得る.これはひめのりに有利な処理時間範囲があることを示唆しており，データセットの特徴 とも相関があると考えられる．今後，頻出するトー クンペアの出現頻度の分布などから，ひめのりの得意なデータセットの特徴を示していきたい.

この実験は，LOC や PER 等の分類はしていない ものの，ひめのりの固有表現アノテーションツー ルとしての可能性にも注目して設定された. w/o Himenori の作業はスパンアノテーションと同種の 作業であり，ひめのりによる作業の加速効果が認め られた.今後は辞書生成だけでなく固有表現アノ テーションツールとしての機能も追加し，他のツー ル [6-10]との比較も行いたい.

## 6 おわりに

辞書生成機能を備えたワードクラウド作成器「ひ めのり」を開発し，複合語抽出の時間対効果を実験的に明らかにした. ひめのりを使うことで, 様々な 分野の専門家が自然言語処理の細部を意識すること なく効率的に形態素解析辞書を生成できる。今後は ひめのりと相性の良いデータセットの特徴を明らか にするとともに，固有表現アノテーションツールと しての可能性も探る.

## 謝辞

本論文をまとめるにあたり, 日本電気株式会社の 石川開氏には, 実験の設定や評価について有益な助言をいただきました.

## 参考文献

[1] 工藤拓. MeCab: Yet another part-of-speech and morphological analyzer. https://taku910.github.io/mecab/.

[2] 中川裕志, 湯本紘彰, 森辰則. 出現頻度と連接頻度に 基づく専門用語抽出. 自然言語処理, Vol. 10, No. 1 , pp. 251-258, 2003.

[3] 橋本泰一, 藤井敦. 特許文書のための形態素解析辞書 の構築. 言語処理学会 第 18 回年次大会, 2012.

[4] 五井野㙇也, 濱上知樹. Bertを用いた医療文書からの 固有表現抽出. 計測自動制御学会第 48 回知能シス テムシンポジウム, 2021.

[5] 高間康史, 阿部美里. テキストデータマイニング統合環境を利用した看護記録からの専門用語辞書作成支援ツールの提案. 第 27 回人工知能学会全国大会, 2013.

[6] Pontus Stenetorp, Sampo Pyysalo, Goran Topić, Tomoko Ohta, Sophia Ananiadou, and Jun'ichi Tsujii. brat: a webbased tool for NLP-assisted text annotation. In Proceedings of the Demonstrations at the 13th Conference of the European Chapter of the Association for Computational Linguistics, pp. 102-107, 2012.

[7] Jie Yang, Yue Zhang, Linwei Li, and Xingxuan Li. YEDDA: A lightweight collaborative text span annotation tool. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics, pp. 31-36, 2018.

[8] 山村崇, 嶋田和孝, 吉川和, 岩倉友哉. Tatara: 支援機能を持ったアノテーションツールの構築. 言語処理学会第 25 回年次大会, 2019.

[9] Prodigy $\cdot$ An annotation tool for AI, Machine Learning \& NLP. https://prodi.gy/.

[10] doccano: Open source annotation tool for machine learning practitioners. https://github.com/doccano/ doccano.

[11] 小澤俊介, 内元清貴, 伝康晴. Bccwj 亿基づく長単位解析ツール comainu. 言語処理学会 第 20 回年次大会, 2014 .

[12] Sudachi: A Japanese Tokenizer for Business. https:// github.com/WorksApplications/Sudachi.

[13] 佐藤敏紀, 橋本泰一, 奥村学ほか. 単語分かち書き 用辞書生成システム NEologd の運用-文書分類を例 にして. 情報処理学会研究報告 自然言語処理 (NL), Vol. 2016, No. 15, pp. 1-14, 2016.

[14] Hakan Altınçay and Zafer Erenel. Analytical evaluation of term weighting schemes for text categorization. Pattern Recognition Letters, Vol. 31, No. 11, pp. 1310-1323, 2010.

[15] AI テキストマイニング by ユーザーローカル. https://textmining.userlocal.jp/.

[16] Karen Sparck Jones. A statistical interpretation of term specificity and its application in retrieval. Journal of doc- umentation, Vol. 28, No. 1, pp. 11-21, 1972.

[17] React A JavaScript library for building user interfaces. https://reactjs.org/.

[18] FastAPI framework, high performance, easy to learn, fast to code, ready for production. https://fastapi. tiangolo.com/.

[19] https://www.sqlite.org/.

[20] Andreas Mueller. WordCloud for Python. https:// amueller.github.io/word_cloud/.

[21] Noto Sans Japanese - Google Fonts. https://fonts. google.com/noto/specimen/Noto+Sans+JP.

[22] Erik F. Tjong Kim Sang and Fien De Meulder. Introduction to the CoNLL-2003 Shared Task: Language-Independent Named Entity Recognition. In Proceedings of the Seventh Conference on Natural Language Learning at HLTNAACL 2003, pp. 142-147, 2003.


# アジア三言語における代名詞代用・呼びかけ語の共通項目調査

岡野賢二 ${ }^{1}$ 野元裕樹 ${ }^{1}$ スニサー ウィッタヤーパンヤーノン(齋藤) ${ }^{1}$ トゥザライン ${ }^{1}$ 春日淳 ${ }^{2}$
okanok@tufs.ac.jp nomoto@tufs.ac.jp sunisa@tufs.ac.jp thuzarhlaing@tufs.ac.jp kasugaat@kanda.kuis.ac.jp
1 東京外国語大学 2 神田外語大学

## 概要

本研究の目的はいくつかのアジア諸言語における 代名詞代用と呼びかけ語の使用実態を把握し, その 共通点や相違点を明らかにすることである. 対象言語は日本語, 韓国語, マレーシア語, インドネシア 語, ジャワ語, ベトナム語, タイ語, ビルマ語であ る. 代名詞代用に用いられる語彙は言語ごとに差が あるため, これらの言語間で共通して用いられる語彙を抽出し，記述することとした。

本稿ではそのうち東南アジア大陸部の言語である タイ語i, ベトナム語ii, ビルマ語iiiについての共通項目の調査結果について報告する.

## 1 代名詞代用・呼びかけ語

代名詞代用（pronoun substitutes）とは代名詞では ない語を用い一・二人称代名詞と同様に話し手・聞 き手を指し示すことであり，呼びかけ語（address terms）とは会話において聞き手を同定し, その注意 を引くために使われる語である。

例えば「お母さん, お母さんのお兄ちゃんの名前,何だっけ？」（野元他 2021:64）という日本語の発話内に二度「お母さん」が使われているが，はじめ のものは呼びかけ語であり，もうひとつは代名詞代用である。英語では呼びかけ語には“mom”, “mommy”などの語彙が用いられるが, 二人称代名詞 の代用としての用法を幼坚語以外では持たないとさ れる.

代名詞代用に用いられる語彙には親族名称, 職業名, 固有名などがあるが，一般名詞の中にも敬称を 添えることで使えるようになるものもある（「学生

さん」など）.

また「お姉さん」のような親族名称が親族関係"が ない場合にも用いられる、いわゆる虚構的用法もま た非常によく見られる代名詞代用の一現象であるが， その範囲は言語により様々である。例えばビルマ語 の nilé「(男性にとっての) 弟」やタイ語の nóo 「弟妹」, ベトナム語の em (trai)「弟」は代名詞代用,呼びかけ語として用いることができるが，日本語で は話し手よりも年下の親族名称を用いることはでき ない.

さらに代名詞代用が可能な言語において, 代名詞代用の語彙と呼びかけ語の集合の重なりは大きいこ とが知られている.

このような現象は日本語ばかりでなく, 東アジア から東南アジアに分布する言語に非常によく見られ る現象であり, 個別言語記述研究や語学書等でしば しば言及されている. しかしながらこのような現象 を通言語的な観点から包括的に記述しようとした調査・研究は野元他（2021）以外，管見の限りない.

代名詞代用についての記述が十分でないことは翻訳や外国語学習において深刻な問題を引き起こす.前述の日本語の例をそのまま英語に「入れ替える」 なら，二つの「お母さん」は“mom”, “mommy”ある いは“"mother”と訳されるであろうが，それでは正し い英語にならない. 二つ目は your でなければならず，人称の間違いが生じる。逆に英語から日本語に訳す 場合には適切な代名詞代用がなければ不自然な文と なる場合が想定される. 本研究はより正確で自然な

（機械）翻訳に寄与寸るものである.

## 2 代名詞と代名詞代用

人称代名詞と代名詞代用がどのように違うのかに ついて, 田䆶 (1997:14) は境遇性の有無によって説明している。

例えば，二者間で交わされる会話において，Aの

発言内における「私」は A 自身を，B の発言内にお ける「私」はBを指す. また二人称「あなた」では， どちらの発話であっても発話者の会話の相手を指す. すなわち人称代名詞は「話し手がどちらであるかを 反映するという性質」を持っており，これを境遇性 と呼んでいる。

一方，代名詞代用は一般に境遇性を持たない。上記の例にならえば，A の発言内において「お父さん」 が $\mathrm{A}$ 自身を指すとすれば，B の発話内でも「お父さ ん」は Aを指す. Aが発話しようと Bが発話しよう と「お父さん」が指示する対象は変わらない， すな わち境遇性がない，ということになる。

会話内において特定の人物を指示する語彙が境遇性を持たない，というのは固有名詞（人名）や職業名も同じである。ただ，言語にもよるが，固有名詞 や職業名の場合, 対称 (二人称) や他称 (三人称) に用いることできても, 自称（一人称）に用いるこ とができないなどの制約がある場合がある。 日本語 の例でいうなら「社長」は対称や他称には用いるこ とができても, 通常自称に用いることはできないv. つまり代名詞代用と一言で言っても, 語彙によっ て自称，対称のどちらにも使える場合とそうでない 場合があり，また呼びかけに用いることができるか どうか，に異なりがある。 また上述のように敬称を 添えることによって代名詞代用, 呼びかけとして用 いることができる場合もある.

本研究を進めるに従い, 言語によって代名詞代用・呼びかけとして用いることができる語彙に少な からず差異があることが分かってきた. ただ代名詞代用・呼びかけが通言語的にどのような特徴を有し ているかを把握するために，各言語に共通して用い られる語彙について, 言語ごとの振る舞いの違いを 把握する必要がある. そのため本研究では共通調査項目を設定し，調查をすることにした。

## 3 共通調查項目

共通調查項目は意味概念 (日英語と WordNet synset ID で記述）で, 研究対象言語にそれを表す語彙が存在することを条件として選定した. 選定した 項目は 16 種類 147 項目にわたる. 16 分類とその例

（日本語）は以下の通りvi. 分類は Nomoto et al. （2019）の対人関係意味素性に基づく.

表 共通調査項目の分類と例, 語彙数

 & 7 \\

これらの分類は収集した各言語のデータから抽出 し, 取捨選択した. 本稿執筆時点（2022 年 1 月 10 日）で 8 言語で延べ 1629 語が収集されている. 以下分類について簡単に説明する.

(a) Age は年齢により呼び分けられる語彙である.

(b) Family, (c) Fictional family はいわゆる親族名称だ が，(b)は実際に血縁・姻戚関係があるもの，(c)はそ れがないもので，いわゆる虚構用法である。(a)と(b) は年齢や家族関係において付与されるプロパティで ある.これらは性別により語彙が異なることがほと んどである (「3. 子供」, 「26. 子」, 「34.いと こ」を除くvii) .

(d) Education は教育の場において用いられる身分等を表す語彙, (e) Relationship は社会的人間関係を 表寸語彙, (f) Position は社会的地位の名称, (g) Service は職業を表す語彙, (h) Spiritual は宗教的な 地位・資格等を表寸語彙, (i) Royal は王族を指し示 す語彙である. (d) (i)は Nomoto et al. (2019)の意味素性体系の中の Role 素性の下位区分である.

(j) Anaphor, (k) Quantifier, (l) Demonstrative（指示詞）は人そのものを指示するのではない文法的な語彙である. (m) Proper noun は単独で用いられるもの ばかりでなく, 人名十敬称（田中さん）や人名十お 姉さん（慶子お姉さん）などを含む. (n) Modified NP は修飾部を持つ名詞句で，修飾部には属格名詞（お ばあちゃんの孫），直示（そこのあなた），形容詞 （美しいお姉さん）, 関係節（熱のある人，課題を まだ出していない人）を設定してある.

(o) Misc.は(a)（n)に分類できないものである.ま た(p) Personal Pronoun は代名詞代用ではないが, 共通調査項目を考察する上で基準となること，また自称形式が対称として用いられる場合があったり, 呼 びかけ等に使うことができる場合があること, 言語 によっては人称代名詞に複数の表現があり, それら が閉じたクラスをなしていないと考えられる場合が あるため，これを含めた。

## 4 タイ語, ベトナム語, ビルマ語に おける共通項目調査結果

共通項目の調査として，特に代名詞代用（自称,対称）, 呼びかけの用法があるかどうか, そしてあ る場合にはその例文を実例もしくは作例によって収集することとした，以下はスニサー（2021）, 春日 （2021）, 岡野・トゥザライン（2021）の内容をま とめたものとなる.

vii ここに示す番号は共通調查項目における ID.

## 4. 1 Age

(a) Age について, タイ語は対称と呼びかけのみで の使用に限られる。「3. 子供」については，対象が 複数の場合に限られ, 繰り返し用法 dèk dèk として のみ使用する。 ベトナム語は極めて限定的にしか用 いることができない. 「3. 子供（10 歳くらいまでの 年少者, 男女問わず）」が自称，対称に用いること ができること，「4. お嬢さん（10 代後半から 20 代前半, 女）」「5. 若い男性（10 代後半 20 代，男）」「6. 若い女性（10 代後半～20 代，女）」に呼びか け用法があることのみであった。ビルマ語は呼びか けには一切用いることができないが，すべての項目 を自称，対称に用いることができる.

## 4. 2 Family

(b) Family に分類される語彙は, 三言語とも自称,対称，呼びかけとしてかなり一般的に用いられる.特に「8. 父」「9. 母」「22. 兄」「23. 姉」「24. 弟」「25. 妹」は三言語でほぼ一致しているviii. また両親の兄弟姉妹を表す語彙のも同様である.

ただ「29. 孫」「30. 嫁（息子の妻）」「31，婿（娘 の夫）」「32. 甥」「33. 姪」「34.いとこ」につい ては使用しづらい傾向がみられる。夕イ語の場合,

「29. 孫」を対称で使用する場合, lăan 単独では使用しないが母方の祖父が lăan taa「母方の祖父の孫」 と誰の孫かを分かる表現で使用することがある他，呼びかけは対象が複数の場合に限られ使用する際は 複数の意味を表す繰り返し用法 lăan lăan として使用 する.「30，嫁（息子の妻）」「31. 婿（娘の夫）」「32. 甥」「33. 姪」は，嫌味や怒りといった感情を 込める場合にのみ敬称を付けて用いることができる。 ベトナム語では壳談として呼びかけに Con dâu oi.「お嫁さん」, Con rể ơi.「お婿さん」を用いること があるなど，使用可能性は限定的である．ビルマ語 は対称としてはすべて用いることができるが，「29.孫」「32. 甥」「33. 姪」が呼びかけに用いられる以外は使用できない。

なお「34. いとこ」はべトナム語では完全に使用可能であるが，ビルマ語は対称のみ可能，タイ語は 親族を指し示すことができない。

viii タイ語の場合, 兄弟姉妹 sibling については, 性別を表寸形態を除いた phîi「兄/姉」，nóon「弟/妹」の形で可能.

## 4. 3 Fictional Family

(c) Fictional Family（非親族・虚構用法）における 語彙は Family の場合と同じで, 実際の親族関係にな い人物を指示することができる。

ただ Family とは対照的に「8. 父」「9. 母」は言語によっては使用しづらい傾向が見て取れる。タイ 語において例えば友人の父に対して phôo+父親の名前 $=「 〜$ 父さん」は許容されるが，それ以外のケー スでは用いることができないix. ベトナム語の場合 はホストファミリーや，子を持つ親しい友人間で bố / mẹ - con と呼び合う用法があるものの, やはり限定的である. これに対しビルマ語は全く問題なく使用可能である.

また親の兄弟姉妹を表す語彙はほぼすべてが自称，対称，呼びかけに使用可能である。また祖父母につ いても三言語とも問題なく使用可能となっている.

「53. 子」「54. 息子」「55. 娘」「56. 孫」「57. 嫁 （息子の妻）」「58. 婿（娘の夫）」「59. 甥」「60.姪」「61. いとこ」については各言語での使用可能性についてばらつきが多く, 一定の傾向は見られな い. Familiy の場合よりも, さらにその使用可能性が 低くなる傾向が各言語においてみられる。夕イ語の lûuk chaay「息子」lûuk sǎaw「娘」は前述のとおり悪感情を込めるときのみに親族に対して使用が可能だ が，虚構用法を欠く。 ベトナム語の con rể「婿」con dâu「嫁」も同様に虚構用法を欠く. ビルマ語の場合 は親族に対して使えるが，非親族を指し示す用法と しては対称のみを持つ.また三言語すべてで「61. い とこ」は虚構用法を持たないx.

## 4. 4 その他の分類

上記(a)～(c)以外の分類についても若干述べてお く. (d) Education における「62. 先生」に当たる語彙 は三言語とも自称，対称，呼びかけのいずれにも使 われる. 一方「64. 児童」「65. 生徒」「66. 学生」 はタイ語で対称，呼びかけに使われる他は使用でき ない. なお「63. 教授」はベトナム語では他称と呼 びかけに使用することができ，ビルマ語は使用でき ない.

(e) Relationship の「72. 上司」はタイ語とベトナム

語では対称，呼びかけに用いられるが，ビルマ語で は用法自体を欠く。「73．部下」は三言語いずれも 使用できない. これは Education の「63. 教授」と「66.学生」の分布にほぼ一致する.

## 5 調査結果に対する暫定的考察

(a) Age に属する語彙は今回対象とした言語にお いて一定の傾向は見られなかった. 言語ごとに使用 できる語彙の範囲や，どの人称に用いることができ るか，など，別の言語の調査と合わせて考察する必要があろう。

(b) Family, (c) Fictional Family については三言語に 共通する特徴が見られた. Family では親, 親の兄弟姉妹, 自身の兄弟姉妹を表す語彙については, 自称，対称，呼びかけいずれもほぼすべてで使用可能であ る. 子を表す語彙，婿，嫁，いとこ等については言語毎にばらつきはあるものの，使用できないケース が見られた。

Fictional Family では Family と異なり，親を表す語彙が使えない言語があるが, 祖父母, 親の兄弟姉妹,自身の兄弟姉妹を表す語彙については，Family と同様，自称，対称，呼びかけいずれもほぼすべてで使用可能である．子を表す語彙，婿，嫁，いとこ等に ついては言語毎にばらつきはあるものの, Family よ りもさらに使用できないケースが多く見られた.い くつかの語彙では虚構用法を持たないものもある.

またすべての項目で成り立つわけではないが，呼 びかけの用法を持つ語彙については，その多くが対称としても用いることができる強い傾向があること が観察された。

## 6 おわりに

最初に述べたように，代名詞代用という現象は言語ごとに記述されてきたが，それを複数の言語で対照することはほとんどなされてこなかった。

本研究は多くの言語のデータを同時並行的に扱う ことで代名詞代用という現象についての理論構築を 行う基盤を提供するだけでなく，それぞれの語彙に ついてのより精密な記述を可能にするであろう。ま た WordNet など，他の言語資源との連携をすること で, 本研究で対象としてない言語の記述にも適用で さるであろう。さらには機械翻訳，外国語教育とい った分野においても，より正確で自然なアウトプッ トを生成するためのアルゴリズムやアウトプットの 評価等への応用が期待できる.

## 謝辞

本研究は JSPS 科研費 $20 \mathrm{H} 01255$ 基盤研究(B)(一般)

「代名詞代用・呼びかけ表現の通言語学的研究」の

助成を受けたものです.

## 参考文献

ウィッタヤーパンヤーノン(齋藤), スニサー 「タイ 語での代名詞代用表現・呼びかけ表現に関する考察」.『東京外国語大学 東南アジア学』No.26, 1-23, 2020.「共通

調査項目に基づく調査報告（その 1）タイ語」科研費基盤(B)「代名詞代用・呼びかけ表現の通言語学研究」第 6 回研究会資料, 2021.

詞代用表現・呼びかけ表現の通言語学的研究におけ る共同調査項目検証結果一タイ語に関して一」.『東京外国語大学 東南アジア学』No.27, forthcoming.岡野賢二, トゥザライン 「共通調査項目に基づく 調査報告（その 1）ビルマ語」. 科研費基盤(B)「代名詞代用・呼びかけ表現の通言語学研究」第 6 回研究会資料, 2021.

春日淳 「共通調査項目に基づく調査報告（その 1） ベトナム語」. 科研費基盤(B)「代名詞代用・呼びか け表現の通言語学研究」第 6 回研究会資料, 2021.

田窪行則 1. 「日本語の人称表現」. 田窪行則編『視点と言語行動』くろしお出版, 東京, 13-44, 1997.

Nomoto, Hiroki, Kenji Okano, Sunisa meaning annotation for Asian language corpora: The case of TUFS Asian Language Parallel Corpus (TALPCo)”. 言語処理学会 第 25 回年次大会 発表論文集, 846-849. 2019.

野元裕樹, スニサー ウィッタヤーパンヤーノン(齋藤), 岡野賢二, トゥザライン, 南潤珍, スリ・ブデ イ・レスタリ「代名詞代用・呼びかけ表現研究の 現状: タイ語, ビルマ語, マレー語, インドネシア 語, ジャワ語, 朝鮮語」.『東京:語学研究所論集』 25, 63-78, 東京外国語大学, 2021.


# 日本語母語話者にとっての英単語親密度の調査

藤田早苗小林哲生服部正嗣納谷太
NTT コミュニケーション科学基礎研究所
\{sanae.fujita.zc, tessei.kobayashi.ga, hattori.takashi.cp, futoshi.naya.ke\}@hco.ntt.co.jp

## 概要

我々は、主に学習支援への利用を目的とし、日本語母語話者にとっての英単語親密度を調査した。こ れまで、特に日本語母語話者にとっての英単語親密度データで大規模なものは存在しなかった。本調査 では、世界最大規模の 12,398 語を対象とし、評定 も、どの程度「見たり聞いたりするか」「知ってい る・意味がわかるか」「書いたり話したりできるか」 の 3 観点とする詳しい調査をおこなった。評定者は 日本語を母語とする TOEIC800 点以上の大学生・大学院生 42 人 (評定後のスクリーニング通過は 38 人) で、各自全ての語を評定した。さらに、先行研究と の比較分析を行い、特に英語母語話者との違いを示 した。

## 1 はじめに

単語親密度 (FAM; word familiarity) とは, 語のな じみ深さを数値化したものである $[1,2]$. 単語親密度のデータは，さまざまな用途で使用されている $[3,4,5]$ 。特に、多くの語を含む単語親密度データ があると語彙数の簡便な推定が可能になるため [6]、学習支援への利用も期待できる [7]。本稿では、英語の学習支援への利用を目指して実施した日本語母語話者にとっての英単語親密度の調査について報告 する。

英単語親密度のデータは幾つか存在するが、多く は英語母語話者による評定である $[8,9,10]$ (表 1 , 上部)。G\&L[10] とGlasgowNorms[8] はスコットラン ドの、BristolNorms[9] はイギリスの大学の学生・関係者が 7 段階のリッカート尺度で評定しており、約 1,500 語から 5,000 語程度のサイズである。

しかしながら、日本語母語話者にとっての英単語親密度が英語母語話者と同じような值になるとは限 らない。日本の大学で調査したデータとしては、横川 [11] (以下、Yokokawa)によるものがある。関西 の 10 大学の学生 822 人が 2,999 語の評定を行ってい
るが、 1 人が評定する語は 200 語のみである。大変参考になるデータだが、評定した大学生の英語力が 分からない、語彙数推定の規準にするには調査語が 少ない、同じ評定者によって全語評定されたわけで はない、といった問題がある。

一方、単語親密度に限らなければ日本人英語学習者向けの単語リスト作成の試みは、多く存在する $[12,13]$ 。Ehara[12] は、ALC ${ }^{1)}$ が作成したレベル別語彙リスト SVL120002）（12,000 語）を対象に、意味を知っているかなどの評定を行っている。評定者 は大学生 16 人 15 人は東大生。日本語母語話者 14 人) である。規模が大きい上に全評定者が全語を評定している大変貴重なデータである。ただし、1-5 の評定値が振られているものの ${ }^{3 ）}$ 名義尺度のため、評定平均を算出して単語親密度として利用すること はできない。

大学英語教育学会基本語リスト (新 JACET 8000) [13] は、主に教育者からなる委員会がコーパスや検定教科書を元に語を選定し、出現頻度等を基にラン クを付与したものである。また、 8,000 語からなる 基本語リスト以外に、補正資料として、中学・高校 コミュニケーション支援語彙リスト $(3,000$ 語)、共通学術語彙リスト $(2,200$ 語 $)$ も公開されている。大変丁寧に選定・編集されたデータである。

CEFR-J Wordlist ver.1.6 ${ }^{4}$ ) は、6,868 語 (品詞別だと 7,989 項目) に対し、欧州共通言語参照枠 (CEFR) が 定める 6 レベルのうち $\mathrm{A} 1$ ～B2 の 4 レベルを付与し た語彙リストである。各レベルは $\mathrm{A} 1, \mathrm{~A} 2$ が基礎段階の言語使用者, B1，B2 が自立した言語使用者と なっている。このリストは、中国・台湾・韓国の小

1) https://www.alc.co.jp/

2) https://www.alc.co.jp/vocgram/article/svl/

3）各評定値と説明 : 1: never seen the word before, 2: probably seen the word before, 3: absolutely seen the word before but don't know its meaning/ tried to learn the word before but forgot its meaning, 4: probably know the word's meaning/ able to guess the word's meaning, 5: absolutely know the word's meaning

4）東京外国語大学投野由紀夫研究室. http://cefr-j.org/ index.html よりダウンロード
表 1 英語の親密度調査の比較

 &  \\

中高の主力教科書をベースに構築されている。貴重 なデータだが、 4 レベルなので語彙数推定に利用す るには情報量が足りず、かつ、必ずしも日本人のみ 向けとは限らないという問題がある。

本稿では, 日本語母語話者にとっての英単語親密度を調査する (2 章)。本調査では、評定者の英語力 を統制するため、TOEIC800 点以上を条件とした。対象語は異なりで 12,398 語、各評定者は全語を評定 する。 42 人が全評定を実施したが、評定後に実施し たスクリーニングを通過した 38 人分の評定值から 英単語親密度を計算する。さらに、英語母語話者な どの先行研究と特徴を比較・分析する (3 章)。

## 2 英単語親密度調査方法

評定者 評定者は TOEIC800 点以上の、日本語を 母語とする大学生・大学院生である。TOEIC800 点以上としたのは、親密度に差をつけて評定をするた めには、英語がある程度出来る必要があると考えた ためである。

調査への応募者は 53 人だったが、全語の評定を 終了したのは 42 人だった。さらに、調査後のスク リーニングを通過したのは 38 人 (男性 21 人、女性 17 人) だった。 38 人の TOEIC の平均点は、 896 点 (Listening 455, Reading 441) で、年齢は 18 歳から 25 歳、平均 21.5 歳だった。

調査対象語 学習支援への利用を目指し、英語の 教科書コーパス（NTT で構築中。2018 年購入の小 5-高 3 の検定教科書全 72 冊から、物語と会話部分を 書き起こしたもの）に出現する 4,955 語をまず対象 とした。ただし、数字、記号、固有名詞、 2 文字以下の語、日本語のローマ字表記 (“miso”, “kabuki” な ど) は除いた。

さらに先行研究との比較も視野に、新 JACET 8000[13]、Yokokawa、CEFR-J Wordlist ver1.6に含ま れる語は基本的に調査対象とした ${ }^{5)}$ 。これらのリス トに複合語が含まれる場合には、スペースで分割

5） 's, 'm, 're, 擬似語等は除いた
した語も調査対象とした6）。また、Ehara[12] の公開 データから、日本人 14 人による評定值の平均を便宜的に算出、平均値が 3.07 以上の 9,870 語は対象と した。

また、活用形による親密度の違いを見るために 100 語は活用形を追加した。さらに、スクリーニン グのために 101 語を 2 回提示することとし、のべ 12,500 語 (異なり 12,398 語) を調査対象語とした。

対象語の提示順 調査語はランダムにリストにし た。ただし、2 回提示する語は 1 回目提示から 3000 語以上離れて提示されるようにした。調査では、リ ストの昇順/降順に評定する人を半々とした。なお、事後スクリーニングを通過した 38 名のうち、20 名 は昇順、18 名は降順からの提示だった。

調査手順 手順の概要は次の通りである.

## Step0 インストラクション

評定開始前にオンライン説明会を実施。

## Step1 練習フェーズ（10 語）

最初のログイン時に 1 度だけ実施。

Step2 本番フェーズ (12500 語) (付録の図 7 参照)

同じ評定が 15 回続くとアラートを表示。

調査後 事後スクリーニング

2 回評定させた語の重み付きカッパ係数 $\kappa$ が 0.9 よ り低い評定者を除外。

評定が最も離れている場合を 0 、評定が完全一致で なくともより近い値なら重みを重くして一致度を計算する。

謝金は全ての評定実施とアンケート提出で 4 万円 とした。評定サイトは内製し、スマホでも PCでも 評定結果は自動保存するようにした。調査期間は、 2021.6.28 - 2021.8.16 である。評定のペースは評定者自身に任せた。

評定軸 同じ「親密度 (familiarity)」と名付けら れていても、評定者への尋ね方は先行研究によって

6）例えば、“air force” の場合、“air”と “force”も対象語に追加 する

図 1 一貫性評定例 1: 利用英単語親密度 (NTT)

図 4 ヒストグラム:全調査

図 2 一貫性評定例 2: 除外

図 $5 F A M_{\text {in }}$ と Yokokawa

図 3 一貫性評定例 3: 利用

図 $6 F A M_{k n}$ と GlasgowNorms異なる (表 1)。例えば、 $G \& L$ は見聞きしたり使う程度を尋ねているのに対し、GlasgowNorms は、なじ み (familiar)の程度、Yokokawa は見聞きする程度を 尋ねている。

尋ね方によって、評定結果は異なってくると考え られる。そこで本調査では、 3 通りの尋ね方で評定 を実施した。全ての評定者は、全ての語について、「どの程度見たり聞いたりするか $\left(F A M_{i n}\right)$ 「どの程度知っている・意味が分かるか $\left(F A M_{k n}\right)$ 「どの程度書いたり話したりできるか $\left.\left(F A M_{\text {out }}\right)\right.\rfloor$ という 3 つの観点で 7 段階評定を実施する。

なお、FAM in $Y$ Yokokawa と同じ観点である。 G\&L やGlasgowNorms と完全一致する観点はない が、あえて言うなら前者は $F A M_{\text {in }}, F A M_{\text {out }}$ の混合、後者は $F A M_{k n}$ に近いだろう。

## 3 結果と分析

評定者ごとの結果とスクリーニング 図 1-3 スクリーニングに用いた重複語の評定結果の例を示 す。図 1-3には、重複語の重み付きカッパ係数 $\kappa$ だ けでなく pearson の相関係数 $r$ も記載した。図 1,3 は評定結果を利用、図 2 は除外した例である。図 1 の評定者は $\kappa$ も非常に高く、 $r$ も $0.784 \sim 0.812$ と強
い相関がある。一方、図 2 の評定者は、 $\kappa$ も規準以下で相関も弱い。図 3 の評定者は、 $r$ だけをみると 相関は弱いが、 $\kappa は$ 基準値を超えている。 $r$ が低い のは、評定値が真ん中あたりに集まっている事が原因の一つと考えられる。

スクリーニングの方法と規準は色々考えられる。日本語の令和版単語親密度のクラウド調査 [2] では、 $r \geq 0.5$ を間値としている。ただし、令和版単語親密度調査では、重複語は全体の $5 \%$ であり本調査よ りかなり多い。のべ 12,500 語のうち $5 \%$ 重複させ るなら 595 語を重複させる必要があるが、本調査で は 101 語のみ重複させた。重複語が比較的少ない場合、図 3 のように、一致度は高いが $r$ は高くないと いう場合があり得る。そのため本調査では、より一致度を重視して $\kappa$ を閾値として採用した。

本調査で事後スクリーニングを通過した人は、 42 人中 38 人 $(90.5 \%)$ だった。比較のために、 $r \geq 0.5$ を 閾値として計算してみると通過率は $69.0 \%$ となる。 これは、日本語の令和版単語親密度 [2] のクラウド 調査時の通過率 $(35.6 \%)$ よりはるかに高い。なお、実験室に評定者を集めて調査した平成版の単語親密度 [1] では通過率が $80 \%$ だった。本調査はオンライ ン調査で、かつ、12,500 語と評定語が多いにも関わ
表 2 各単語親密度データとの相関

いずれも $p<0.05$

らず、高い通過率となった。この理由として、オン ライン説明会を実施するなどお互い顔の見える状態 で依頼をしたことや、一般的なクラウド調査より高 い謝金設定としたこと等が考えられる。以降の分析 では、この 38 人の評定の平均を利用する。

評定軸同士の比較 本調査結果のヒストグラムを 図 4 に示す. ヒストグラムの形を比べると、 $F A M_{k n}$ はピークが 5.8 程度と最も高い。一方、FAM $M_{\text {out }}$ のピークは 5 程度で、形もよりなだらかである。 $F A M_{\text {in }} \sim F A M_{\text {out }}$ で差が大きい語は少ないが、例 えば $F A M_{i n}$ と $F A M_{k n}$ で 1 以上差があったのは “policewoman”,"mountaintop” など 57 語だった。いず れも $F A M_{k n}$ の方が $F A M_{i n}$ よりも高く、あまり見聞 きしない語でも分かる場合はあるが、よく見聞きす る語が分からない場合は少ないことが読み取れる。

先行研究との比較 表 2 に各先行研究との間の相関係数を示す。各先行研究が同じ語に対する調査で はないので必ずしも公平な比較ではないが、日本人 で調査した Yokokawa とは強い相関があり、特に、同じ「見聞きする程度」を調査した $F A M_{i n}$ と最も強 い相関が見られた。一方、共通の語の散布図 (図 5) からは、Yokokawa の方が值が低い傾向が見て取れ る。これはYokokawa の調査では大学生の英語力を 統制していないのに対し、本調査では TOEIC800 点以上と統制したためだと考えられる。

英語母語話者での調査と比較しても中程度〜強い 相関が見られる。GlasgowNorms と $F A M_{k n}$ で共通 する語の散布図を図 6 に、両者で差が大きい語を 表 3 に示す. 図6からは、GlasgowNorms の方が若干高めな語は多いが、Yokokawa より対角線上付近 の語が多い、つまり、数値が近い語が多い傾向が 見て取れる。さらに表 3 から、 $F A M_{k n}$ の方が高い 語には、“carp”や“mermaid” など日本でもカタカナ でよく使われる語が多く、日本語の影響が見て取 れた。一方、 $F A M_{k n}$ の方が低い語には、“duvet” や "plaster”のような身の回りのものや、“wee”のよう表 3 GlasgowNorms と $F A M_{k n}$ で差分が大きい語

な子どもであればよく使うであろう語が多く含まれ ていた。こうした違いは母語か第 2 言語かに拠ると ころが大きいと考えられる。

## 4 まとめと今後の課題

本稿では, オンライン調査による信頼度の高い親密度評定方法を提案、日本語母語話者にとっての英単語親密度を調査・分析した。調査した語は異なり で 12,398 語と、英単語親密度調査としては過去最大規模である。評定は 42 人完了したが、最終的に事後スクリーニングを通過した 38 人分の評定值の平均を用いた。評定者は TOEIC800 点以上とした。さ らに、構築した英単語親密度データを先行研究と比較し、特に英語母語話者のデータとの比較により、日本語の影響や母語かどうかの違いによる影響を示 した。

今後は、構築した英単語親密度データを用いた英語の語彙数推定や、語彙数と読解力との関係調査に も取り組みたい。

## 謝辞

この成果の一部は、国立研究開発法人新エネル ギー・産業技術総合開発機構 (NEDO) の委託業務の 結果得られたものです。

## 参考文献

[1]天野 成昭 and 近藤 公久. 日本語の語彙特性. 三省堂, 東京, 1999.

[2]藤田早苗 and 小林 哲生. 単語親密度の再調査と 過去のデータとの比較. In 言語処理学会第 26 回年次大会発表論文集 (NLP-2020), number F4-4, 2020.

[3]若松 千裕, 石合 純夫, 林圭輔, and 相原伸子. 語義聾症例における文字言語の理解過程 -通常見 かけない文字表記語による検討-. 高次脳機能研究 (旧 失語症研究), 36(1):9-19, 2016.

[4]水野 りか and 松井 孝雄. 文字の漢字表記語の意味処理に対する構成漢字の影響と処理順序. 心理学研究, 90(2):201-206, 2019.

[5]高橋三郎. 学齢期の吃音児における語の長 さが吃音頻度に及ぼす影響. 音声言語医学, 59(2):188-193, 2018.

[6]藤田早苗, 菅原 真悟, 小林哲生, 新井庭子, 山田武士, and 新井 紀子. 小学生から高校生に対 する語彙数調査と単語親密度との関係分析. In 言語処理学会第 26 回年次大会発表論文集 (NLP-2020), number E1-3, 2020.

[7]藤田早苗, 服部正嗣, 小林 哲生, and 納谷太. 日本人英語初学者の語彙数推定方法の検討. In 第 34 回人工知能学会全国大会 (JSAI-2020), 2020.

[8]Graham G. Scott, Anne Keitel, Marc Becirspahic, Bo Yao, and Sara C. Sereno. The glasgow norms: Ratings of 5,500 words on nine scales. Behavior Research Methods, 51:1258-1270, 2019.

[9]Hans Stadthagen-Gonzalez and Colin J. Davis. The bristol norms for age of acquisition, imageability, and familiarity. Behavior Research Methods, 38:598-605, 2006.

[10]K. J. Gilhooly and R. H. Logie. Age-of-acquisition, imagery, concreteness, familiarity, and ambiguity measures for 1,944 words. Behavior Research Methods \& Instrumentation, 12:395-427, 1980.

[11]横川博一. 日本人英語学習者の英単語親密度 文字編. くろしお出版, 2006 .
[12]Yo Ehara, Nobuyuki Shimizu, Takashi Ninomiya, and Hiroshi Nakagawa. Personalized Reading Support for Second-Language Web Documents by Collective Intelligence. In the 2010 International Conference on Intelligent User Interfaces (IUI-2010), pages 51-60, 2010.

[13]大学英語教育学会基本語改訂特別委員会, editor.大学英語教育学会基本語リスト 新 JACET8000.桐原書店, 2016.

## 付録 (Appendix)

図 7 調査画面


# 状況別感情極性日本語辞書の作成とその活用

高田 篤志 1 狩野芳伸 ${ }^{2}$ 山崎俊彦 1
1 東京大学大学院 2 静岡大学
a_takada@hal.t.u-tokyo.ac.jp kano@inf.shizuoka.ac.jp
yamasaki@cvm.t.u-tokyo.ac.jp

## 概要

言葉の意味や文脈の多様性に対応できることを目指して、20の異なる状況に対してラベル付けされ た日本語の感情極性辞書 Japanese Situation-dependent Sentiment Polarity Dictionary (SiSP) を作成した。この 辞書は、25,520 の日本語単語からなり、各単語の各状況に対してクラウドワーカーによって 10 件ずつ 極性の投票を行ったものである。このSiSPを用い て、辞書内の各単語の極性、および文脈を考慮した 文中の辞書単語の極性を予測した。いずれの実験で も、状況を考慮しないべースライン辞書に比べて、安定して感情極性の予測を行えることを確認した。

## 1 初めに

顔画像や音声、文章などからそこに込められた人間の感情を理解することは学術的・産業的価値が高 く、これまでも様々な試みがなされてきた。テキス トから感情を解析するためには、一般的に感情極性辞書が用いられる。既存の感情極性辞書の多くは、単語に対してポジティブかネガティブとラベル付 けされているものか、いくつかのクラスカテゴリに 単語を分類しているものが多い。しかし、単語は文脈や状況によって様々な意味を持ち、異なる印象を 与えることがある。例えば「速い」という言葉は、「レーシングカーが速い」という文脈ではポジティ ブな意味となる。一方、友達と歩いていて、その友達の歩くスピードが「速い」という場合ネガティブ な意味となる。現在の感情極性辞書では速いという 単語のみに注目して単一のラベルを付けているた め、このような多様な状況や意味に対応することが できない。またクラスラベルをアノテーションした 感情極性辞書ではカテゴリ内の単語の感情極性の強弱は無視されている。

そこで本研究では、20 種類の状況それぞれに対し て感情極性値ラベルを付与した Situation-dependent
Sentiment Polarity Dictionary (SiSP) を作成した。この SiSP は我々の知る限り状況別に感情極性値をラベリ ングした最初の感情極性辞書である。SiSP は後日 オープンソースで公開する予定である。本論文では SiSP の概要、及び SiSP を用いて行った単語単位で の極性予測と文脈を加味した極性予測の実験結果を 示す。

## 2 関連研究

## 2.1 感情極性辞書

感情極性辞書の多くは、ポジティブかネガティ ブの軸でラベル付けされた単語のリストである。 ポジティブ、ネガティブ問わず感情極性ラベルは 主観的なラベルであるため、人の手でラベルを 付けられることが多い。Linguistic Inquiry and Word Count (LIWC) [1] は 6,000 以上の単語を 125 のカテゴ リに分類した辞書である。Choudhury ら [2] はこの 辞書を用いて、ツイートからうつ病の発症を予測 した。The Affective Norms for English Words (ANEW) lexicon [3] は Valence-Arousal-Dominance (VAD) モデ ルに基づいて Valence, Arousal, Dominance のそれぞ れについて 1 から 9 までのラベルを付けた 1,024 個 の英単語からなる辞書である。

SentiWordNet [4, 5] は WordNet [6] を拡張したもの である。各単語についてポジティブとネガティブ及 びニュートラルについて 0.0 から 1.0 の值でラベル 付けする。ポジティブ、ネガティブ、ニュートラル の各カテゴリのラベルの値の合計が 1 になるように 正規化されている。SentiWordNet の尔点としては多 くの単語がニュートラルに分類されており、明らか にノイズと見なせるラベルが多いことが挙げられ る。本研究で作成した SiSP は 20 種類の状況に対し

ラル (ポジティブでもネガティブでもないがその状況でその単語を使うことはある)、関係ない(その状
況についてその単語を使うことがない)、意味がわ からないの各ラベルが 0 から 1 までの数値で表現さ れている。また一つの単語の一つの状況についてラ ベルの合計值が 1 となるように正規化されている。

## 2.2 固有表現認識

Named Entity Recognition (NER) は文中に含まれる 固有表現を抽出するタスクである。文中の固有表現 （Named Entity）を抽出し、人名、組織名、地名などの 固有名詞と、日付、時間表現、数量、金額などの事前に定義した表現に分類する。NER で頻用される IOB フォーマットでは、固有表現の先頭トークンに は B、非先頭トークンにはIタグを付与し、またど の表現にも属さないトークンには $\mathrm{O}$ と割り振る。例 えば、'Mark Watney visited Mars' という文について、人のタグを'Person', 場所のタグを'Location' とすると Mark は B-Person、Watney は I-Person、visited はどの トークンにも属さないので O、Mars は B-Location と なる。タスクによっては地名を都市、州、国などの 細かい場所として分類するものや人名について政治家や芸能人などのサブカテゴリーを設定するものも ある。代表的なデータセットとして CoNLL2002 と CoNLL2003 [7] が挙げられる。これらのデータセッ トでは、スペイン語、オランダ語、英語、ドイツ語 の新聞記事からなる文に、4 種類のタグ (人物、組織、場所、その他すべての種類の実体）を付与して いる。他にもさまざまな言語のデータセットが公開 されている $[8,9,10,11]$ 。

## 3 SiSP の構築

既存の感情極性辞書では、単語が使用される状況 を反映することができていない。そこで、本研究で は 20 種類の状況を設定した新しい感情極性辞書を 作成した。設定した状況は以下の 20 種類の状況は 以下の 20 種類である: 経済、コミュニケーション、子育て、健康、生存意欲、職、対人関係、家族、緊張、精神状態、仕事、外出、家庭、忙しさ、気力、睡眠、食欲、好奇心、身体的状態、恋愛。これら 20 の 状況は、Social Network Servises (SNS) 等において個人的・社会的な感情や精神状態を分析することを念頭に設定した。今後、必要に応じて状況の多様性を 増やすことは可能である。

辞書に含まれる単語は Takamura ら [12] と Kobayashi ら [13] の辞書から 25,520 語 (それぞれ の辞書から 14,400 語と 11,120 語)を使用した。ラべ
ルの選択肢はポジティブ、ネガティブ、ニュートラ ル(ポジティブでもネガティブでもないがその状況 でその単語を使うことはある)、関係ない (その状況 についてその単語を使うことがない)、意味がわか らないの 5 通りを設定した。 5 つ目の「意味がわか らない」という選択肢は、予備実験において意味が 難解な単語をワーカーに示したときいい加減に選択する傾向が見られたため、それを防ぐ目的で設定 した。

アノテーションは Yahoo! クラウドソーシング サービスを利用し、10 人に各単語、各状況のラベル 付けを依頼した。辞書の品質を保証するために 2 種類のチェック問題を設定し、そのチェック問題に対 して正しく回答できた参加者の回答のみを採用し た。チェック問題を通過した参加者は参加者全体の 40\%であった。SiSP のラベルは、20 の状況に対し て 10 人が投票したものである。したがって、ラべ ルは各単語が各状況に対して肯定的か否定的かとい うバイナリ値を示すものではなく、5つの選択肢へ の投票率となっている。

表 2 は、SiSP の中で状況によってラベルが異なる 単語の例をいくつか示している。「干渉」という単語は、恋愛の状況において (Positive, Negative $)=(0.1$, $0.6)$ であるのに対し、精神状態では $(0.5,0.2)$ になっ ている。「完売」は 経済では Positive $=0.8$ であるが、外出では Positive $=0.1$ となる。「敵意」は人間関係で は Negative $=0.9$ だが、子育てでは Negative $=0.3$ に変化している。

## 4 実験

作成した辞書を用いて、単語の極性予測を行っ た。本研究では 2 種類の設定で実験を行った。 1 つ 目の実験は、個々の単語の極性を独立に予測するこ とである。2つ目の実験は、短文に含まれる単語の 極性を文脈を考慮して予測することである。なお、本稿ではぺージ制限により精神状態についてのみ結果を示す。状況を考慮しないべースラインとして、今回用意した 20 個の状況に対する極性ラベルを加算した上で正規化を行い、5つのラベルの合計値が 1 になるようにした辞書を作成した。

本実験では、ニュートラル、関係ない、意味がわ からないのラベルを統一して Others ラベルとして扱 う。すなわち、ポジティブ、ネガティブ、Others の 3 クラス問題とし、最もラベル値 (投票数) が大きい ものを分類の正解クラスとして扱う。学習データに
表 1 SiSP の諸元

表 2 SiSP の例

は精神状態についてポジティブの単語が 1,118 個、 ネガティブの単語が 3,364 個、Others が 9,624 個含ま れている。

## 4.1 単語単体の極性予測

辞書に含まれる単語を学習データとテストデー タに分割した。辞書の単語をべクトル化するために word2vec [14]を使用した。word2vec の事前学習モデ ルには鈴木らの [15] 事前学習した 300 次元のモデ ルを使用した。このべクトルを入力としてサポート ベクターマシン (SVM) を用いて単語の極性分類を 行った。

分類結果を表 3 左に記す。ポジティブ、ネガティ ブラベルの予測はベースラインに比べて大きく改善 が見られる。Others の予測精度は下がっているが、 これはポジティブとネガティブの予測精度が上がっ たことによる相対的な変化であると考えている。ポ ジティブについての precision と recall の結果は著し く低いものになっている。これは作成したデータ セットについてポジティブのデータが少ないためで あるからと考えられる。またべースラインについて も同様にポジティブに分類されたものはなくほとん ど Others に分類されている。

## 4.2 文章中の単語についての極性予測

次に、文脈情報を考慮した場合の感情極性予測実験を行った。学習・テストデータに twitter APIを用
いて集めたツイートを用いた。未知の単語の極性を 予測する設定にするために、テストデータには収集 した全ツイートの中で 1 回だけ現れる SiSP 単語を 含め、残りを学習データとして用いこの SiSP 単語 の極性を推測させ評価する。一回としたのは、出現頻度の高い SiSP 単語を訓練データに回すことで十分な学習データ量を確保するためである。具体的に は、Twitter API を用いて 20,530 件のツイートを収集 し、SiSP に登録されている単語を 1 つ以上含むツ イートを入力データとして用いた。得られたツイー ト文を形態素解析し、各単語に極性ラベルを付与し た。ツイートには SiSP 単語が含まれることのみで、 その他の単語がなんであるかの情報が付与されてい ないが、SiSP 登録単語以外は Others として扱った。 モデルとしては、BERT [16] の日本語訓練モデルを 使用した。結果は 3 の右側に記されている.ベース ラインと比較すると、ポジティブとネガティブとも に precision, recall, F1 スコアは精神状態の方が優れ た值を示している。また表 3 左と比較すると文章 の文脈情報がモデルの極性予測に役立つことが分 かる。

## 5 考察

単語のみでの極性分析については、Others のラベ ルを持つ単語が非常に多い (ポジティブ: 1,118 , ネガ ティブ:3,364, Others: 9624) であることが精度の低下 の原因であると考えられる。そこで、ポジティブ、

表 4 「精神状態」についての単語の感情極性予測におけるオーバーサンプリングとアンダーサンプリングの効果。

ネガティブのラベルを持つ単語の数が Others ラベル を持つ単語と同じになるように、オーバーサンプリ ングとアンダーサンプリングを行った。word2vec に おけるオーバーサンプリングはポジティブとネガ ティブのデータについて Others のデータと同数に なるまで繰り返した。文中の単語の極性予測のアン ダーサンプリングは Others ラベルの単語のみで構成 される文を除外することで行った。

オーバーサンプリングの結果を表 4 左に示す。表 3 のオーバーサンプリング前の結果を比較すると オーバーサンプリングが precision, recall, F1 スコア の性能改善に大きく貢献していることが分かる。特にポジティブラベルについての改善が著しい (+0.418 ポイント)。ネガティブについて、精神状態 のオーバーサンプリングの precision が全ての設定の 中で最も優れていた。

アンダーサンプリングの結果を表 4 右に示す。表 3 の結果と比較すると、ポジティブ、ネガティブ 共にF1 スコアが向上していることが分かる。また ネガティブについての precision、ポジティブについ ての recall も改善されている。しかし、文脈を考慮 した単語のアンダーサンプリング は、単語のみの オーバーサンプリングほど大きな効果は得られな い。これは、学習データから Others 文のみを除外し たため、正負の単語のバランスがとれていないため と考えられる。

モデルが文脈を考慮して感情極性をしているこ とを示すため、対照実験として単語単位でテスト データを BERT に入力した。その結果を表 5 に示表 5 BERT にて文脈を考慮しない場合の「精神状態」に ついての単語の感情極性予測。

す。表 4 右と比べると一様に性能が下がっており、我々のモデルは文脈を感情極性予測のヒントにして いることが伺える。

## 6 まとめ

本研究では、20 種類の状況を考慮した新しい感情極性辞書である Situation-dependent Sentiment Polarity Dictionary (SiSP) を構築した。単語単体での極性の 予測では、特にネガティブの precision, recall, F1 スコ アがベースラインより大幅に向上する結果を得た。 さらに、学習データセットをオーバーサンプリング することで、予測性能が向上した。また、ツイート を学習データとした未知語の極性予測においても、 ベースラインの手法と比較して状況別の予測が優れ た結果を示した。また、ツイート単位と単語単位の 比較から、入力データの文脈情報も感情極性を推論 する上で重要であることが示された。

本辞書は、20の状況を持つオープンソースの感情極性辞書としては我々の知る限り世界初の試みであ る。今後は、この辞書を他言語に拡張することを考 えている。

## 謝辞

本研究の一部は JST, CREST JPMJCR19F4 および 東京大学大学院情報理工学系研究科の IXT プロジェ クトの支援を受けて行われた。本論文におけるクラ ウドソーシングについては、東京大学大学院情報理工学系の倫理審査委員会から承認を得て行ったもの である。

## 参考文献

[1] James W Pennebaker, Martha E Francis, and Roger J Booth. Linguistic inquiry and word count: Liwc 2001. Mahway: Lawrence Erlbaum Associates, Vol. 71, No. 2001, p. 2001, 2001.

[2] Munmun De Choudhury, Michael Gamon, Scott Counts, and Eric Horvitz. Predicting depression via social media. In Seventh International AAAI Conference on Weblogs and Social Media, 2013.

[3] Margaret M Bradley and Peter J Lang. Affective norms for english words (anew): Instruction manual and affective ratings. Technical report, (Tech. Report C-1). Gainesville: University of Florida, Center for Research in Psychophysiology, 1999.

[4] Andrea Esuli and Fabrizio Sebastiani. Sentiwordnet: A publicly available lexical resource for opinion mining. In Language Resources and Evaluation, 2006.

[5] Stefano Baccianella, Andrea Esuli, and Fabrizio Sebastiani. Sentiwordnet 3.0: an enhanced lexical resource for sentiment analysis and opinion mining. In Language Resources and Evaluation, Vol. 10, pp. 2200-2204, 2010.

[6] George A Miller. Wordnet: a lexical database for english. Communications of the ACM, Vol. 38, No. 11, pp. 39-41, 1995.

[7] Erik F Sang and Fien De Meulder. Introduction to the conll2003 shared task: Language-independent named entity recognition. arXiv preprint cs/0306050, 2003.

[8] Anil Kumar Singh. Named entity recognition for south and south east asian languages: taking stock. In The IJCNLP08 Workshop on Named Entity Recognition for South and South East Asian Languages, 2008.

[9] Khaled Shaalan. A survey of arabic named entity recognition and classification. Computational Linguistics, Vol. 40, No. 2, pp. 469-510, 2014.

[10] Darina Benikova, Chris Biemann, and Marc Reznicek. Nosta-d named entity annotation for german: Guidelines and dataset. In Language Resources and Evaluation, pp. 2524-2531, 2014.

[11] Jakub Piskorski, Lidia Pivovarova, Jan S̆najder, Josef Steinberger, and Roman Yangarber. The first cross-lingual challenge on recognition, normalization, and matching of named entities in slavic languages. In The 6th Workshop on Balto-Slavic Natural Language Processing, pp. 7685, 2017.

[12] Hiroya Takamura, Takashi Inui, and Manabu Okumura. Extracting semantic orientations of words using spin model. In The Association for Computational Linguis- tics, pp. 133-140, 2005.

[13] Nozomi Kobayashi, Kentaro Inui, Yuji Matsumoto, and Kenji Tateishi. Collecting evaluative expressions for opinion extraction. Journal of Natural Language Processing, Vol. 12, No. 3, pp. 203-222, 2005.

[14] Tomas Mikolov, Kai Chen, Greg Corrado, and Jeffrey Dean. Efficient estimation of word representations in vector space. arXiv preprint arXiv:1301.3781, 2013.

[15] 鈴木正敏, 松田耕史, 関根聡, 岡崎直観, 乾健太郎. Wikipedia 記事に対する拡張固有表現ラベルの多重付与. 言語処理学会第 22 回年次大会発表論文集, pp. 797-800, 2016.

[16] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018.

## A 参考情報

表 6: 全ての状況についての単語の極性予測精度


# better off 構文の定着過程に関する認知言語学的考察

大谷直輝
東京外国語大学
otani@tufs. ac. jp

## 概要

本稿では、人手でタグ付けした英語の歴史コーパ ス (COHA) の調查に基づき、I'd be better off $\{\mathrm{dead} / \mathrm{left}$ alone/going home $\}\lceil\{$ 死んだ／一人取り残された/家 に帰った\}ほうがましだ」のような、形式面でも意味面でも不規則性が見られる better off 構文がどの ような過程を経て英語に定着したかを検証するため の仮説を提示する。特に、コーパスのデータを認知言語学の観点から解釈することで、well off（裕福な） の比較級であった、better off に、(1)意味の一般化、

(2)仮想状況の前景化、(3)付加句の補語化という 3 つ の変化が起こった結果、better off 構文が誕生したと 主張する。本研究が提示する仮説は、言語使用から 生じる知識のありようを実証的に考察する学際的な 研究において、自然言語処理の観点から検証される。

## 1 はじめに

現代英語には、(1)のように、形容詞 better off $の$ 叙述用法に非時間的関係 (atemporal relation) [1]を表す 様々な要素が後続し、全体が「〜したほうがましだ」 という意味を表す用法が広範に観察される。

(1) (a) She is better off $\{$ with/without $\}$ me.

(b) I'd be better off at home with all those kids!

(c) Maybe I'd be better off in jail.

(d) He is better off $\{$ buying it/learning it $\}$.

(e) I'd be better off \{left alone/gone from here $\}$.

(f) I'd be better off $\{$ dead/alone $\}$.

(1)では、better off の後に、関係を表す様々な要素 (前置詞句、現在分詞、過去分詞、形容詞、等）が出現 し、主語が望む仮想的な状態を表す。この用法には、 (1d)(1e)(1f)のように、better off に分詞句や形容詞の ような不規則的な要素が後続するものも含まれる。本稿では、歴史的なデータ (Corpus of Historical American English: COHA）[2]に対して認知言語学の 観点から考察することで、better off に補語句が後続 する用法 (以下、better off 構文) がどのように出現・定着したかの過程を示す仮説を提示する。

## 2 better off 構文の特徴

構文文法では、「形式と意味の対からなる構造」 である構文 (Constructions) の体系的なネットワーク が人間の言語知識の中枢を占めると考える $[3,4]$ 。構文は伝統的には形式や意味に不規則性が見られる構造と定義されてきたが、近年、十分な頻度で使用さ れる形式と意味の対も構文として記憶されると主張 されている[5]。ある構造を構文と認定するための具体的な基準として以下の四点が示されている[6]。

(2) (a) 形式面に不規則性が見られる。

(b) 意味面に不規則性が見られる。

（c）表現に独自の制約が見られる。

(d) コロケーションに選好性が見られる。

以下、[7, 8]の文献に基づき、(2)の基準を用いて、 better off の本用法を構文とみなせるかを検討する。

## 2.1 第 1, 2 の基準 : 形式と意味の不規則性

better off には形式面と意味面で不規則性が見られ る。まず、形式的には、形容詞 better off に前置詞句、現在分詞、過去分詞、to 不定詞、形容詞など、補語 として解釈される非時間的関係を表す様々な要素 （XP 句と呼ぶ）が後続する。XP 句は従来の品詞論 では分類できないカテゴリーを構成する。また、XP 句には、(1d)(1e)(1f)の形容詞や分詞句のように、形容詞には後続しない不規則的な要素が現れるものも見 られる。次に、意味的な不規則性については、第一 に、XP 句は、（現状よりもましな）主語の仮想的な 状態を表す。第二に、XP 句が表す事態は必ずしも一般的に好ましいわけではないため、語用論的な誇張 や皮肉が生じやすい。第三に、better off 構文は「〜 したほうがましだ」という非構成的な意味を持ち、全体が非認識モダリティと類似した機能を持つ。

## 2.2 第 3 の基準：表現独自の制約

語源的に better off は形容詞 well off（裕福な）の 比較級であり、他の形容詞と同様に、限定用法（the better off person）と叙述用法 (The person is better off)
が確認できる。一方、better off 構文は通常、叙述用法のみで用いられ、ごく一部の高頻度で用いられる イディオム的な例外以外は、限定用法で用いられる ことはない（the 'better off dead' man）。

## 2.3 第 4 の基準 : コロケーションの選好性

better off 構文には共起する要素に選好性が見られ る。 the British National Corpus (BNC) [9]における better off の叙述用法の全 823 例の調査では、補語句を取る better off 構文が 545 例 (I'd be better off \{dead, left alone, buying it, without you\}など）、補語句を取らな い例が 278 例 (He is better off now. / She is financially better off.など）見られた $[7,8]$ 。補語句有りと補語句無しのグループを比較すると、補語句有りのグルー プは補語句無しのグループとは対照的に、(i) 助動詞 と、(ii) $1 / 2$ 人称主語との共起頻度が高く、better off 構文には選好するパターンがあることが分かった。

表 $11 / 2$ 人称主語と better off $の$ 叙述用法の共起

表 2 助動詞と better off $の$ 叙述用法の共起

また、 $1 / 2$ 人称主語や助動詞と better off 構文が共起 する例を見たところ、提案や勧誘など、発話行為文 で使われる傾向がある点が確認された。

(3) (a) You'd be much better off with someone else. (b) You may be better off going to the RSPCA.

(c) I am better off without you.

## 3 Better off 構文の通時的な調査

本節では、COHA を用いて、どのように better off 構文が英語に定着したかを理論的に考察する。19 世紀の better off には(4)のような用法が見られ、現在の ような補語句を取る用法はほとんど見られない。

(4) (a) He is now better off (than before).

(b) He will be better off financially.

以下に、[10]における COHA の調査に、理論的な考察を加えながら、意味的にも文法的にも特異的な better off 構文が英語に定着した過程を考察する。

## 3.1 データと方法論

COHA は 1810-2009 年のアメリカ英語約 4 億語か らなる通時コーパスである。本研究では、COHAか ら better off の全例 (2642 例) を抽出し、その中から、手作業で叙述用法の better off を抽出 (2527 例) す る。その後、表 3 の変数を各例にコーディングし、変数間の関係を定量的に処理することで、better off が使われる文脈の変化を明らかにする。

表 3 better off にコーディングする変数と値

 \\

図 1 better off に共起する要素の変化

## 3.2 結果

調査の結果、better off には以下のような変化が観察された。第 1 に、better off と than との共起頻度は 一貫して減少していた。第 2 に、better off と認識モ ダリティの助動詞との共起頻度は、1920 年以降、増化した。第 3 に、不規則的な補語句（形容詞と分詞句）が 1950 年以降、増え始めた。さらに、字義的な 意味の割合に注目をすると、19 世紀の better off は多 くが字義的な「裕福」という意味 (例 He is financially better off than her)であったが、2000 年代に入ると、

字義的な意味は $17 \%$ まで減少していた。

## 3.3 考察と仮説の提示

最初に、better off $の$ 字義的用法と better off 構文の 違いをまとめる。形式面では、better off 自体が文の 補語として機能する字義的用法とは異なり、better off 構文では、better off に主語の状態を表す補語句が 後続する。また、字義的用法の better off は、主語が 比較対象より豊かな状態を表すが、better off 構文で は、better off ではなく、その補語句が主語の仮想的 な状態を指し、「その状態の方がましだ」という意味となる。本稿では、better off に後続する要素に再分析 (reanalysis) が起こり、better off 構文が定着す るまでの過程を 4 段階に分けて示す仮説を提示する。

(5) better off 構文が定着するまでの 4 段階

第一段階 : 字義的な「裕福な」の意味

$\downarrow$ 虑味の一般化

第二段階：「より良い」という意味

$\downarrow$ 仮想状況の前景化・比較対象の背景化

第三段階：「一定の条件でより良い」

$\downarrow$ 仮想状況を表す要素の補語化

第四段階：「〜の方がましだ」（構文誕生）本稿では、better off に、(i) 意味の一般化、(ii) 仮想状況（=セッティング1））の前景化、(iii) セッテ イングの補語化、が起こることで、他に類例がな い、主語の仮想的な状態を表す補語句を持つ better off 構文が誕生したと考える。

## 3.3.1 第一段階 : 字義的な意味

第一段階は、better off が well off $の$ 比較級として 「より裕福な」という意味を表す段階である。主語 は比較対象より、経済的に裕福な状態にある。

1) セッティングとは事態が生じる状況と定義される。[11]
(6) (a) I am now better off than before.

(b) John is better off now.

(c) He is financially better off than me.

の人物の状態が比較され、主語が than 句によって明示的に示すことができる比較対象より裕福な状態で あることを表す。

## 3.3.2 第二段階: 意味の一般化

第二段階は、字義的な「裕福な」から「より良い」 へ、意味の一般化が起こる段階である。

(7) (a) You are better off at home.

(b) Well, I think he couldn't come. I am better off with you. And perhaps I can help, too.

(7)の各例では、二つの状態が比べられ、主語の状態 が比較対象に比べて「より良い」ことが示される。

ここでは、better off に後続する at home や with you のような前置詞句が、より良い状態となる状況（つ まり、セッティング）を表している。例えば、(7a)で は「家にいる」、(7b)では「あなたと一緒にいる」と いう状況において、主語は「より良い」状態となる。

## 3.3.3 第三段階 : 仮想状況の前景化

第三段階は、主語が置かれた仮想的な状況（セッ ティング）が前景化される段階である。better off で は二つの状態が比較されるが、一度、「より良い」 という用法が定着をすると、現実のみじめな状態と 比較をして、仮想世界ではより良い状態であること を示す用法が広く見られるようになる。

(8) (a) I would be better off if I worked harder.

(b) You might be better off without her.

(c) You would be better off at home.仮想世界における主語の状況が前景化されているこ とは、better off がモダリティを表す要素（助動詞、法副詞）や if 節との共起が増えたことから示唆され る。また、仮想世界が前景化されると同時に、比較対象となる現状が背景化され、better off $の$ 比較の意味は薄れていく。このことは、than の出現頻度が継続して減っていることから示唆される。

## 3.3.4 第四段階 : セッティングの補語化

第四段階は、再分析が起こり、文の付加句 (adjunct phrase）として主語がより良い状態となる仮想的な セッティングを表していた要素が、主語の仮想的な
状態を表すようになる段階である。この段階では、 better off と後続する要素（＝付加句）の結びつきが 強くなり、[better off 補語句]として再分析されるこ とで、better off 構文が出現すると考えられる。補助記号を用いると再分析は(9b)と(9c)のように表せる。

(9) (a) I'd be better off without you.

(b) I'd be [better off $]_{\text {complement }}[\text { without you }]_{\text {adjunct }}$

(c) I'd be [[better off [without you $\left.]_{\text {complement }}\right]_{\text {complement }}$ (9b)は付加句 (adjunct)の without you を、(9c)は補語句 (complement) の without you を表記したものである。た だし、 better off に後続する要素が補語句であるか付加句であるかは排他的なものではなく、付加句の補語句としての再分析は段階的に進むものである。

この再分析を引き起こす要因として考えられるの が、文脈における語用論的な意味の語彙的意味への 定着である[12]。つまり、(8b)の You might be better off without herを例とすると「彼女がいない状態が(い るよりも）より良い」という意味は、文脈内で「彼女がいない方がまし」な状況を表すことがあるが、同様の文脈で繰り返し用いられることにより、文脈 から生じる「〜の方がましだ」という語用論的意味 は better off XP という句が持つ意味に再解釈される。同時に、better off と後続する要素の結びつきが強く なり、文法面でも再分析が起こったと考えられる。

この再分析は、 better off に助動詞との共起が増え、 than との共起頻度が低くなった 1900 年頃にはすで に進行していたと考えられる。一方、この再分析の 定着をコーパス内で明確な形として捉えられるのは、 better off 後の補語句の中に、不規則的な補語句が増 え始める 1950 年頃である。すなわち再分析によっ て、better off に非時間的な要素を表す補語句が後続 するようになった結果、標準的な文法では不規則的 とみなされる(10)のような、形容詞、分詞句が補語句 の位置に現れる用法が増え始めたと考えられる。

(10) I'd be better off \{dead, left alone, going home\}

## 3.4 better off 構文に関するまとめ

COHA の調査結果に基づいて、better off 構文が誕生した経路をまとめると以下のようになる。

(11) 字義的な better off に意味の一般化が起こり「よ り良い」という意味を表す中で、仮想的な状況 の前景化と比較対象の背景化が起こり、better off に「（仮想的な状況で）より良い」という意味を表す用法が強くなる。次に、better off に再分析が起こり、付加句として機能していた仮想的な状況を表すセッティングが better off との 結びつきを深め、better off の補語として再解釈 されることで、better off 構文が誕生する。

ただし、better off における用法の変化は、 better off 全体ではなく、一部のみに起こるため、現代英語の better off には字義的な意味から better off 構文まで、意味の多層化 (layering) が見られる。[13]

## 4. 学際的な研究に向けて

本稿で提示した仮説は、COHA のデータに基づく 一方で、一般的な言語変化に見られる傾向を重視し て考案したものである。今後、仮説の妥当性につい ては実証的な検証が必要である。以下に 3 点、今後 の課題を挙げる。第一に、本稿では、認知的な自然 さから、意味の一般化の後に、仮想世界の前景化が 起こったと仮定した。ただ、COHA には 1810 年以降 のデータしか含まれておらず、また、1800 年代はデ 一夕数が少ないため、仮想世界の前景化と意味の一般化が起こった順序が異なる可能性も含め、さらに 検証が必要である。また、一般的に文法化は複数の 要素が相互に関連しあいながら同時に進行するもの であるため、各変化の相互作用に関する考察も必要 である。第二に、1900 年以前に現れる少数の不規則的な補語に関する説明が必要である。特に、言語使用域（register）ごとで、better off 構文の定着度の程度が異なる可能性や、高頻度の語彙化した要素 (she would be better off dead than alive $の$ dead than alive な ど）が与える影響について検討する必要がある。第三に、表 1 を見ると、1920 年頃から法助動詞が増え ているように見えるが、この増加に質的な差異があ るかどうかについて、さらに検証が必要である。

最後に、本稿で提示された仮説を実証的に検証す る際の方法の 1 つとして、自然言語処理の技術の応用が考えられる。自然言語処理では、発話された言語データに基づいて、人間が持つ言語知識のありよ うを探るが、これは、「言語使用の中から繰り返し 用いられるパターンが記憶され、類似性に基づいて 抽象化されることで、語彙と文法を含めた言語知識 が創発する」と考える用法基盤モデル[14,15]と理念 を共有する。そのため、発話された言語データから 表層レベルの類似性に基づいて教師なしで一般化さ れたクラスターは、人間が持つ言語知識の近似値と して、本稿の仮説を実証するための収束証拠の 1 つ となる可能性がある。そのため、本稿の仮説は、[16] で自然言語処理の観点から検証を進めていく。

## 謝辞

本研究は JSPS 科研費 19K00657 の助成を受けたも のである。また永田亮氏（甲南大学）には、原稿全体にわたり詳細なコメントをいただいた。

## 参考文献

[1] Ronald W. Langacker. Foundations of Cognitive Grammar I: Theoretical Prerequisites. Stanford University Press. 1987

[2] Mark Davies. Expanding horizons in historical linguistics with the 400-million word corpus of historical American English. Corpora, Vol. 7, No. 2, pp. 121-157, 2012.

[3] Charles J. Fillmore, Paul Kay, and Mary C. O'Connor. Regularity and Idiomaticity in grammatical constructions: The case of let alone. Language 64: pp. 501—538, 1988.

[4] Adele Goldberg. Constructions: A Construction Grammar Approach to Argument Structure. University of Chicago Press. 1995.

[5] Adele Goldberg. Constructions at Work -The Nature of Generalization in Language. Oxford University Press. 2006.

[6] Martin Hilpert. Construction Grammar and Its Application to English. Edinburgh University Press, Edinburgh, 2014/2019

[7] 大谷直輝. 英語の better off 構文について. 日本言語学会第 157 回大会予稿集, pp. 246-251, 2018.

[8] Naoki Otani. A constructional analysis of the 'better off construction' in English. The 15th International Cognitive Linguistics Conference. 2019.

[9] BNC Online: The British National Corpus Online (BNC World Edition). Shogakukan Corpus Network. URL: http://scnweb.jkn21.com/BNC2/

[10] Naoki Otani. The rise of modal meaning: The case of better off. The 11th International Conference on Construction Grammar. 2021.

[11] Ronald W. Langacker. Cognitive Grammar: A Basic Introduction. Oxford University Press. 2008.

[12] Paul J. Hopper and Elizabeth C. Traugott. Grammaticalization, 2nd ed. Cambridge: Cambridge University Press. 2003.
[13] Paul J. Hopper. On some principles of grammaticization. Approaches to Grammaticalization, pp. 17-35. John Benjamins. 1991.

[14] Ronald W. Langacker. A usage-based model. Topics in Cognitive Linguistics, pp. 127-161. John Benjamins. 1988.

[15] Michael Barlow and Suzanne Kemmer. Usage-Based Models of Language. CSLI Publications. 2000.

[16] 永田亮 - 大谷直輝 - 高村大也 -川崎義史. 言語処理的アプローチによる better off 構文の定着過程の説明. 言語処理学会第 28 回年次大会発表論文集.


# 言語処理的アプローチによる better off 構文の定着過程の説明

永田亮 ${ }^{1}$ 大谷直輝 ${ }^{2}$ 高村大也 ${ }^{3}$ 川崎義史 ${ }^{4}$
1 甲南大学 ${ }^{2}$ 東京外国語大学 3 産業技術総合研究所 ${ }^{4}$ 東京大学
nagata-better_off a hyogo-u.ac.jp.

## 概要

本稿では，言語処理的アプローチにより，better off の新しい用法が定着した経緯に関する仮説を検証する。具体的には，コーパス中の用例をクラスタ リングすることで用法変化を定量化し，言語学的な 観点から提示された仮説に一致するかどうかを検証する。その結果は，従来の仮説を大枠で支持する ものの，派生するいくつかの可能性を示唆する．ま た，分類結果に基づき，関連した新たなリサーチク エッションを提示する. 更に，本アプローチの一般的な分析への拡張可能性についても示す.

## 1 はじめに

現代英語の better off は意味的にも統語的にも不規則性がある [1]. 語源的には, better off は well off（裕福な）の比較級とされ, 主に形容詞の叙述用法で 使用される（以降，この用法を字義的用法と表記).次のような例が典型的である：

(1) I am better off than before.（以前より裕福だ）

一方，better off の新しい用法は，

(2) a. You're better off dead. (死んだ方がましだ)

b. You're better off buying it. (買った方がましだ)

のように, 意味的にも統語的にも字義的用法とは異 なる。例文 (2)では，「裕福な」という意味は失わ れ，代わりに「〜した方がましだ」という意味が表 される. 更に，統語の観点からは， better off は be 動詞の補語にもかかわらず，更にそれ自体の補語と解釈できる形容詞 (dead) や分詞 (buying it) をとると いう特殊な構造を示す. 以降では，補語と解釈でき る句を従えるこの用法を新用法と呼ぶことにする。

本稿の主題は，新用法がどのように定着したかを 説明することにあるが，その仮説として次の四段階 を経る大谷の仮説 [2]がある：

(Stage 1) 字義的用法のみが存在する初期段階

(Stage 2) 字義的意味が一般化する段階
(Stage 3) 仮想状況を想定した用例が増加する段階 (Stage 4) 新用法が定着する段階

(Stage 1) では，例文 (1)のような経済的な状況のみ を表す. (Stage 2)では，適用範囲が拡張され，経済的な状況以外に対しても「より良い」という意味を 表すようになる。(Stage 3) では，現状とは異なる仮想的な状況を想定した用例が増える。例えば，You would be better off without her. （彼女がいないほうが よいだろう）のような例である。この例は，「彼女 がいない」という仮想的な状況を想定している. 前段階で適用範囲が拡張されたことで，仮想的な状況 との比較が増えたと考えられている．そのため，非現実的な状況を表す would などの助動詞や if 節との 共起が多くなる。また，仮想的な状況や条件を表す 語句（上の例文では without her）が better off に後続 することも増える。(Stage 4)では, better off に後続 する仮想的な状況や条件を表す語句が，その出現位置のため，主語の仮想的な状態を表す補語として再解釈される. その結果, 文法的に不適格な例文 (2) のような構造が許されるようになる. それに伴い，仮想的な状況が強調され，（仮想的な状況より）「〜 の方がましだ」という意味を表すようになる．以上 のように，この仮説では，字義的用法から出発し，適用範囲が拡張され，更に仮想的な状況を想定した 事例が増え，新用法が定着すると予想する。

本稿では，言語処理的なアプローチで，この仮説 を検証する。具体的には，コーパスから得られる情報のみに基いて better off の事例をクラスタリング し, 用法変化（年代と各用法の頻度）の図として表 す. その図において仮説の各段階が観測されるかを 検証する. 本稿の成果は次の 3 点に要約される. 第一に，検証結果は大谷の仮説に大枠従うものの，細 かい点で別の可能性があることを示す. 第二に，結果の詳細な分析により, 新たな仮説とりサーチク エッションを提示する. 第三に，以上の結果を踏ま えつつ，今回のアプローチに基いた，より一般的な 言語分析の可能性を示す.

## 2 分析方法

分析の基本はクラスタリング結果を用法変化のグ ラフとして表すことにある。横軸と縦軸をそれぞれ 年代と各クラスタ内の事例数としたグラフである.

分析対象として, Corpus of Historical American English (COHA) [3] 中のノイズを除去した CCOHA [4] を用いる。1810〜2010 年代の文書を収録する約 4.7 億語からなる歴史コーパスである。各文書には，作成年とジャンルの情報が付与されている。 付録 A に 示す前処理を施し， better off を含む 2,591 文を得た。

## 2.1 事例のクラスタリング

事例のクラスタリングには， $k$-means++ [5]を用い る. $k$-means++を適用するためには，各事例をべク トルに変換する必要がある. 本研究では，言語モデ ルである BERT（bert-base-uncased）を用いた. 各事例を文単位で BERT に入力し, better off の出現位置 に対応する最終層の隠れ状態を連結してべクトル とした。なお， bert-base-uncased を用いているため，大文字／小文字の区別はされない.

クラスタ数 $k$ は，仮説が想定する四段階に合わ せて４とした．また，次に述べる人手の分類に合 わせ， $k=3$ としたクラスタリングも行った. なお， クラスタ番号の割り当てには任意性があるが，年代 と頻度から決定した. すなわち, 出現年代が古い順 に 1 から番号を割り当てた. 同じ年代で同時に出現 するクラスタについては, 頻度が高い方に若い番号 を割り当てた. 以降では, 表記の煩雑さを避けるた め, 各事例に割り当てられるクラスタ番号をクラス と表記することとする (クラスタそのものに言及す るときはクラスタと表記する).これに合わせて，人手の分類結果もクラスと表記する。

## 2.2 人手による分類

比較のために，人手でも 2,591 事例を分類した文献 [2] を参考に, 次の 3 クラスに分類した。なお,判断に迷う事例および形容詞の叙述用法以外の事例 は，以降の分析では対象外とした（2,591 事例のう ち 24 が該当した).

（説明の都合上，この順で導入するが, ）クラス 3 は新用法に対応する. 判断基準は, better off が形容詞 (例 : dead), 分詞 (例 : learning it), to-不定詞句 （例：to stay here）を従える事例とした。この条件を 満たす事例は全てクラス 3 とした。
クラス 2 は，仮想的な状況を想定した用法に対応 する。文献 [1] に倣い，仮想的な状況を表す語句を 伴う事例とした. 具体的には, would や may などの 助動詞, if 節, probably, maybe などの法副詞を含む 事例をこのクラスとした。

それ以外をクラス 1 とした. 仮説に対応させる と, (Stage 1) と (Stage 2) に属する事例をまとめたク ラスとなる。本来であれば，字義的用法と経済的意味以外に拡張された用法を区別して二つのクラスに 分けるべきであるが，その判別は非常に困難である ため，文献 [2] 従い両者を一つにまとめた。

以上の基準に基づいて，2,591 事例に対して人手 でクラスを割り当てた. 作業は，第一著者と第二著者で独立に行った. 各作業者が独立でシングル チェックを行った.この時点での両者の一致率は 95\%（ $\kappa=0.92 ）$ であった. その後，すり合わせを行 い最終的なクラスを決定した.

## 3 結果

図 1 と図 2 にそれぞれ，クラスタリングノ人手の 分類により得た用法変化の図を示す. 横軸が年代,縦軸が各クラスの事例数に対応する. 両図は非常 に類似するといえる。二つのグラフ間の平均二乗誤差（の平方根）は 8.5 であった1)（人手の分類結果から得た図同士の平均誤差は 2.1)。また，クラス の一致率は $72 \%(\kappa=0.56)$ であった（人同士 $95 \%$ $(\kappa=0.92))$.

仮説の検証に先立ち，クラスタリングの結果が人手の分類に対応するかを確認した．各クラスタの重心 $^{2)}$ に最も近い事例 10 件を観察した。

クラスタ 3 については, 全 10 件とも補語に現在分詞を従える事例であった（一方，クラスタ 1 と 2 については，一件も該当しなかった)，クラスタ 3 の全事例を確認したところ, $83 \%(=430 / 521)$ は, 形容詞，現在分詞，to-不定詞のいずれかを従える用例 であった.したがって，クラスタ 3 は新用法に（ほ ぼ）対応するといえる.

クラスタ 2 についても人の分類基準に対応するこ とが確認できた. 重心最近傍 10 件中 9 件は, would などの助動詞を伴う事例であった. 残り 1 つは, "He believes they are better off here." というものであっ た. 従属節の内容は実際に生じた事象でなく, 主語 が想定する事象であるので，この事例も仮想的な状

図1 クラスタリングを用いて得た用法変化の図 $(k=3)$.

況を表すと解釈することもできる。その他のクラス タ 2 の事例をランダムに 36 件サンプリングしたと ころ $70 \%$ は人手の分類基準を満たす事例であった.

クラスタ 1 は，完全には一致しないが，人間の分類基準に準ずることを確認した. 重心最近傍の 10 件のうちクラス 2,3 の条件を満たすものはそれぞれ 0 件， 3 件であった. ただし，他の二つのクラスタ に比較すると多様な事例を含んでおり, 別の解釈も 存在する可能性もある.

コーパスから得られる情報のみに基いた教師なし 分類（クラスタリング）と人手の分類がよく一致す ることは興味深い. 単語の分布から見ても better off の三クラスは特徴的であることを示唆する.

話を本題に戻し，用法変化の図に基いて仮説の検証を行う. 図 1, 図 2 共に, 1960 年代頃より新用法 であるクラス 3 が増加し始める. この時期以降が新用法が定着した（Stage 4）に対応する．その少し前 の 1910～1950 年代には，クラス 2（仮想的な状況を 表す語句を伴う用例）が増加傾向にある（参考のた めに，比率にした図を付録 B に示す)．ただし，人手で作成した図 2 では，その増加はそれほど顕著で はない. クラス 3 の定着と並行してクラス 2 が増加 しているようにも見える。一方で，2000 年代以降は 若干であるが減少している点も興味深い.

図 3 に，クラスタ数を 4 にした場合の結果を示す.紙面の関係から根拠は付録 B に譲るが，各クラスタ の解釈は次のとおりである．クラスタ 1 から順に， （1）than を伴う典型的な比較の意味が強い用法，（2） than 以外の語句（here など）が後続する用法，(3) 仮想的な状況を表す語句を伴う用法，(4) 新用法と解釈した. 図 3 から，1860 年代ごろまではクラス 1 の 事例が主流であることがわかる（(Stage 1) に対応). その後，クラス 1 は相対的に減少し，代わりにクラ

図 2 人手の分類結果から得た用法変化の図.

ス 2 とクラス 3 が増加する（(Stage 2〜3）に対応).新用法であるクラス 4 が定着する前の 1920～1950 年代に，クラス 3 が増加しているが顕著ではない.

以上の結果は，次のようにまとめられる．用法変化の図は，大谷の仮説を大枠で支持する．特に，字義的用法から仮想的な状況を表す語句を伴う用法，新用法に移行している傾向はどの図でも確認でき る. 一方で，細かい点では仮説に必ずしも一致しな い部分も見られる. 次節で，仮説との差異を考察 する。

## 4 考察

仮説では，仮想的な状況を想定する用法が増えた ことにより，新しい意味と構造が生じたと予想す る. 図 2 では，新用法の better off が生じたのは 1870 年代である。その後，新用法が少数使われる期間が しばらく続く（以降で何度か取り扱うため，この現象をトッピング現象 $\left.{ }^{3}\right)$ と呼ぶことにする). 図では， クラス 2 が増加した 1910〜1950 年代以前にトッピ ング現象として新用法は生じている. このことを考慮すると，1860 年代以前にクラス 2 が増加した（す なわち (Stage 3) が起こった) 可能性も否定できな い. 残念ながら，今回用いた CCOHA では 1860 年代以前の better off の事例が少なく判断がつかない.

また，大谷の仮説とは（Stage 3）と（Stage 4）の 順序が逆になる説も考えられる。すなわち，何らか の別の要因で新用法が生じ，その結果，仮想的な状況を想定する用法が増えたという説である．実際，図 1～ 3 はそのように解釈もできることを前節で見 た. 新用法が生じた別の要因として，ある個人また 一部のグループが新用法を使い始めたということが
 トッピングのように見えるためこのように名付けた.

図 3 クラスタリングを用いて得た用法変化の図 $(k=4)$.

考えられる. 各年代/ジャンルにおける新用法の出現頻度を求めてみると，1900 年代以前は全て文学作品で出現することが確認できた (付録 B の図 5 に頻度情報を示した)。1910 年代には，雑誌，ノンフィ クションにも出現し, その後, 全てのジャンルに広 がる. 事例数が少ないため，推測の域を出ないが作家のような創造的な文章を書く一部の人により新用法が作り出され，他者に広まった可能性もある。

更に，前節でみたように，2000 年代以降になると 仮想的な状況を想定する用法が減少傾向になる. ク ラスタ数 4 の場合，クラス 3 では $62 \%$ の事例が助動詞を伴うが，クラス 4 になると $39 \%$ まで減少する (具体的な頻度は付録 B の表 1 に示した).この現象 は，助動詞が担っていた仮想的な状況が better off に 移行した語彙化 (lexicalization) の例として説明でき る. すなわち，わざわざ助動詞でマーキングせずと も, better off だけで仮想的な状況を想起させられる ようになったということである.この現象は，少な くとも，仮想的な意味を想定する用法が新用法に強 い関りをもつことを示唆する。

以上のように，今回得られた結果は，仮説の精緻化や修正を促す多くの示唆を与える. 現段階では，大谷の仮説から派生した複数の説が考えられ，更な る調査が必要であると結論付けられる．特に，(1)仮想的な状況を想定する用法が増えて新用法が増え たのか，その逆であるのか，（2）そもそも新用法が いつどのように生じたのか，（3）なぜ新用法になる と助動詞との共起が減るのか, というのは新たな疑問であり，今後の更なる研究が待たれる。

## 5 一般の場合への拡張可能性

本節では，今回のアプローチがより一般的な言語 の分析に拡張可能かを考察する. 大前提として，言語モデルの内部を直接観測することは困難であるの
で，結果の解釈には常に注意が必要である。また，今回は解釈可能なクラスタが得られたが，他の現象 に対しても同様のことが成り立つとは限らない.

このように注意すべき点はあるものの，本アプ ローチは様々な言語分析に応用できる可能性があ る. 本稿のように，仮説の検証と修正に用いること ができる. また，何らかのアイデアを思いついた際 に, 用法変化を可視化し, 研究をさらに進めるかど うかの意思決定にも利用できる. 人手の分析は有効 な手段ではあるが，時間とコストがかかる．例え ば, 今回の場合, 第一著者は, 2,519 事例の分類に 20 時間ほど費やした. クラスタリングの場合は十数秒 である. この簡便さと即時性は大きな利点である.

別の有効な応用例として，3節で導入したトッピ ング現象の発見を取り上げる。トッピング現象は，特異点である可能性が高いが，（ある期間内で）低頻度である上に，いつ始まるかは未知であるため,人手で発見することは困難である。一方，今回のア プローチでは視覚的に効率よく発見できる. 少々作為的な例ではあるが，実例として，単語 appleを対象にしたところ 1930～1970 年代にトッピング現象 が発見された (図は付録 C に示した). 1970 年代は Apple Computer Company が創業された時期であり，正に appleが新しい意味を獲得した瞬間である.

以上のように，言語処理的アプローチは，言語学 における質的分析と組み合わせることで，実証性の 高い方法論を提供することができる可能性がある.特に，表層情報のみに基づいた教師なし学習という アプローチは，実際の言語使用を基盤として言語体系を捉えようとする用法基盤モデル $[6,7]$ の考え方 と親和性が高く，今後更なる発展が，言語学，言語処理の両面から期待される.

## 6 おわりに

本稿では，言語処理的なアプローチを用いて better off の新用法に関する仮説の検証を行った. そ の結果，従来の仮説を概ね支持するが，派生するい くつかの可能性があることを示した. また，（1）仮想的な状況を想定する用法が増えて新用法が増えた のか，その逆であるのか，（2）そもそも新用法がい つどのように生じたのか，（3）なせ新用法になると 助動詞との共起が減るのか，という新たなリサーチ クエッションも示した. 更に, 本アプローチの一般的な分析への拡張可能性も示した.

## 謝辞

本研究は JSPS 科研費 18K11456，19K00657 の助成を受けたものである.

## 参考文献

[1] 大谷直輝. 英語の better off 構文について. 日本言語学会第 157 回大会予稿集, pp. 246-251, 2018.

[2] 大谷直輝. better off 構文の定着に関する認知言語学的考察. 言語処理学会第 28 回年次大会発表論文集, 2022.

[3] Mark Davies. Expanding horizons in historical linguistics with the 400-million word corpus of historical American English. Corpora, Vol. 7, No. 2, pp. 121-157, 2012.

[4] Reem Alatrash, Dominik Schlechtweg, Jonas Kuhn, and Sabine Schulte im Walde. CCOHA: Clean corpus of historical American English. In Proc. of the 12th Language Resources and Evaluation Conference, pp. 6958-6966, 2020.

[5] David Arthur and Sergei Vassilvitskii. k-means++: the advantages of careful seeding. In Proc. of 18h Annual ACMSIAM Symposium on Discrete Algorithms, pp. 10271035, 2007.

[6] Ronald W. Langacker. A Usage-based Model. Stanford University Press, Stanford, 1988.

[7] Michael Barlow and Suzanne Kemmer. Usage-Based Models of Language. CSLI Publications, Stanford, 2000.

図 4 人手の分類結果から得た用法変化 (比率).

## A コーパスに対する前処理

今回の分析に合わせて，CCOHA に対して次のよ うな前処理を行った。ノイズと思われる文書は除外 した. 具体的には，「@@年.txt」（例：@@1525.txt） のように年とファイル名と思われる文字列を含む文書は分析対象外とする (この処理により, 全 140,743 文書から 140,665 文書へ減少)。また，文書中のタグ （

など）は除去した.

この結果から， better offを含む文を抽出した. 文脈が短い事例 (better off $の$ 左右の単語数が 5 未満) は対象外とした. 更に，伏字が含まれている文も対象外とした ${ }^{4)}$. その結果，2,591 文を得た. 人手の分類の際に 提示順の影響が出ないように，ランダムに 並べ替えた。

## B クラスタリング結果の詳細

図 4 に，人手での分類結果から得られた用法変化 の図を示す。本文とは異なり，縦軸は各クラスの相対頻度である。

$k=4$ とした場合のクラスの解釈根拠は次の通り である。表 1 に，各クラスにおける than，助動詞 ${ }^{5)}$ ，新用法が出現した割合を示す. 表 1 によると，クラ ス 1 でのみ, than を伴う頻度が圧倒的に高い. これ らの事例は, better off の典型例であるといえる。ク ラス 2 は，than の代わりに別の句 (at home, without it, now など）が後続する事例が増える.このこと は，経済的な意味からより一般的な意味へ拡張され たことを示唆する。ただし，クラス 1 でも，経済的 な意味以外でも使用されている事例も多数存在す るので，大谷の仮説の (Stage 1) と（Stage 2）に完全

4） COHA および CCOHA では，著作権の制限により，一定の 割合で文章の一部が伏字になっている.

5）ここでは，構文解析は行わず，単純に better off の右側／左側に, than/助動詞が出現するかを数えた. これは better off 構文は特殊であり，構文解析がうまくいかないことが多いこと を考慮したためである.なお，ここでは助動詞を can, could, may, might, shall, should, will, would とした.

図 5 年代/ジャンル別の新用法頻度.

図 6 単語 apple におけるトッピング現象.

に対応するわけではない. 更に，表 1 の助動詞の列 に目を向けると，クラス 3 での出現頻度が相対的 に高いことが分かる．興味深い点として，クラス 4 では助動詞の頻度がクラス 3 に比べて低くなって いる; 両者の差は有意である（母比率の差の検定, $p<0.01$ ). この点については, 4 節で考察している.

図 5 に，各年代/ジャンルにおける新用法の出現頻度を示す. 新用法はフィクションから別のジャン ルへ広がっていることが分かる。

## C apple におけるトッピング現象

単語 apple に対してトッピング現象を観察してみ る. 今回のアプローチを用いて用法変化を図示し た $^{6)}$.ただし，クラスタ数は 2 とした. その結果は 図 6に示す通りである。図 6より，1930～1990 年代 にトッピング現象がみられる。

表 1 各クラスで than, 助動詞, 新用法が出現する割合.

6）bert-base-uncased を用いているため，大文字／小文字の情報 は利用していないことに注意されたい。


# 依存型意味論による singular which 疑問文の節埋め込みの分析

船蔵颯
京都大学人間・環境学研究科
funakura. hayate.28p@st.kyoto-u.ac.jp

## 概要

本稿では singular which 疑問文の節埋め込みに対 して依存型意味論 (Dependent Type Semantics)[1,2] による分析を提案する。singular which 疑問文は Uniqueness Presupposition と呼ばれる前提を引き起 こすことが知られている $[3,4]$ 。また、応答的述語 (responsive predicate)の一つである know の補文とし て singular which 疑問文が埋め込まれるときにも Uniqueness Presupposition は引き起こされる [5]。本稿の分析により、これらの現象が依存型意味論で捉 えられることを示す。

## 1 はじめに

平叙文と疑問文のどちらも補文として埋め込む ことができる述語は応答的述語 (responsive predicate) と呼ばれる [6]。例えば know は応答的述語のひとつ である。

(1) a. John knows Sue danced.

b. John knows which student danced.

さらに、応答的述語は平叙文を補文とする場合と、疑問文を補文とする場合とでそれぞれ異なる意味を 持つわけではないことが (2)により示唆される [7]。

(2) Alice knows/realized/reported that Ann left and Bill knows/realized/reported which other girls left.

([7]より引用)

以上を背景として、応答的述語が平叙文と疑問文の いずれも補文としてとりうることを、複数の意味を 仮定せずに捉えることは、形式意味論における課題 の一つとなっている [7]。

上述の課題に関連する現象として、疑問文埋め 込み構文 $x V s Q$. において引き起こされる前提の 問題が挙げられる。singular which 疑問文 which $N \varphi$ ?は Exactly one $N \varphi$. を前提とする $[3,4]$ 。また、know
が singular which 疑問文を補文として埋め込むと きにも同様の前提が観察される [5]。 singular which 疑問文が引き起こすこのような前提は Uniqueness Presupposition と呼ばれ、疑問文埋め込みの意味論 で取り組まれている現象の一つである $[4,5]^{1)}$ 。 Uniqueness Presupposition の例を (3) に示す。

(3) a. Which student danced? presupposes Exactly one student danced.

b. John knows which student danced. presupposes Exactly one student danced.

ここでいう singular which 疑問文は、疑問詞 which の 直後に単数形の名詞が現れる形の疑問文である。

依存型意味論は Martin-Löf の依存型理論 [8] に基 づく自然言語の証明論的意味論である。依存型意味論による先行の分析として、疑問文については [9]、応答的述語 know を含む叙実述語 (factive predicate)へ の平叙文埋め込みについては [10] で分析が行われて いるが、著者の知る限りでは singular which 疑問文 とその埋め込みの分析は未着手の問題である。

本稿では singular which 疑問文に対して依存型意味論 (Dependent Type Semantics)[1, 2] による意味表示 を提案する。また、提案した意味表示のもとで (3) の Uniqueness Presupposition が予測されることを示 す (5.1 節)。さらに、平叙文を補文とする know の意味表示 [10] により、 singular which 疑問文を補文とす る場合の Uniqueness Presupposition が予測されるこ とを示す (5.2 節)。

## 2 現象の記述

本章では、本稿で主な説明対象とする現象につい て述べる。そのうちの一つは singular which 疑問文 の引き起こす Uniqueness Presupposition であり、もう 一つは singular which 疑問文が know の補文となると

1）この前提を語用論的前提とみなす見方もある [5]。本稿で は Uniqueness Presupposition を意味論的な前提とみなし、し たがって意味表示に含めることとする。

きに尚も観察される Uniqueness Presupposition であ る。

## 2.1 singular which 疑問文の前提

singular which 疑問文 which $N \varphi$ ?は Exactly one $N \varphi$. を前提とする $[3,4]$ 。

?? Which student danced? presupposes Exactly one student danced.

1 章でも述べた通り、この前提は Uniqueness Presuppositionと呼ばれ、以下では UP と略記する。

## 2.2 叙実述語への疑問文埋め込みによる 前提

上に述べた UP は叙実述語への疑問文埋め込み $x$ knows which $N \varphi$. においても観察される [5]。次に 示すように、 $x$ knows which $N \varphi$. は Exactly one student danced. を含意する。

(4) John knows which student danced. entails Exactly one student danced.

さらに (4) の後件 Exactly one student danced. は、否定、疑問、条件文の前件といった構文のもとでも含意される。すなわち次が成り立つ。

(5) a. John doesn't know which student danced.

b. Does John know which student danced?

c. If John knows which student danced, that's a problem.

entails Exactly one student danced.

このように否定、疑問、条件文の前件といった構文 のもとでも含意が保たれる現象を投射 (projection) と いい、投射が起こるような含意を特別に前提という [11]。以上から Exactly one $N \varphi$. は $x$ knows which $N \varphi$. の前提である。

平叙文の叙実述語への埋め込み構文においても同様の前提が観察される [12]。その例を次に示す。

(6) John knows that Sue danced. presupposes Sue danced.

以上から、 singular which 疑問詞の意味論には少な くとも以下のことが求められる。

1. singular which 疑問文の UPを予測する
2. know が平叙文を補文とする構文 $x$ knows [declarative]. と、疑問文を補文とする構文 $x$ knows [interrogative]. それぞれの前提を、knowに 複数の意味を仮定せずして予測する

## 3 依存型意味論

本章では依存型意味論の理論的基礎である依存型理論の基本的なアイデアを述べ、その後に依存型意味論に固有の特徴の一つである未指定項による前提 の取り扱いについて述べる。

## 3.1 依存型理論

依存型理論は単純型理論に対してח型、 $\Sigma$ 型など を加えたものであり、大きな特徴の一つとして、型 の中に項が現れることができる。また、それぞれの 型の意味は推論規則によって与えられる。本稿で用 いる型の推論規則は付録に掲載している。

カリー・ハワード対応により、型は命題、項は命題の証明と同一視できる。型と命題の対応関係の一部を表 1 に示す。ただし、 $\Sigma$ 型の表記として依存型意味論に固有の表記 $\left[\begin{array}{l}x: A \\ B(x)\end{array}\right]$ を用いている 2$)$ 。

表 1 型と命題の対応

依存型意味論では、自然言語の意味表示に依存型理論の型を用いる。また、統語論として典型的には組み合わせ範疇文法 (Combinatory Categorial Grammar)[13] が採用され、これは本稿でも同様であ る。

## 3.2 未指定項

依存型意味論は上述のような性質を備える依存型理論に対して、前提・照応を表現する演算子として 未指定項 $\varrho_{i}$ を導入する。 $i$ は自然数であり、複数の 未指定項を区別するための添字である。依存型意味論においては、前提は文の意味表示に対する型検査 を通して予測される。

2） 依存型意味論では $\Pi$ 型の表記として $(x: A) \rightarrow B(x)$ がし ばしば用いられるが、本稿ではスペースの都合により $[8]$ の 表記 $(\Pi x: A) B(x)$ を用いる。

図 1 John knows Sue danced. の意味表示導出

図 2 意味表示 (8) の型検査

例として、叙実述語が平叙文を補文とするときの 前提 (7) の依存型意味論による予測 [10] について述 べる。

(7) John knows Sue danced. presupposes Sue danced.

組み合わせ範疇文法 (CCG) による図 1 の導出によ り、(7) の前件 John knows Sue danced. には次の意味表示が与えられる。

(8) $\lambda c \cdot \mathbf{k n}(j o h n)(\mathbf{d}($ sue $))\left(@_{i c} c\right)$

依存型意味論では、文、すなわち CCG カテゴリが $S$ である表現の意味表示は $\delta \rightarrow$ type という型を持つ ことが要求される。この条件は文の felicity condition と呼ばれる [1]。意味表示 (8) が felicity condition を 満たすことの証明は図 2 の通りである。この証明で は次の (9) が閉じていない葉として残っている。

(9) $@_{i}: \delta \rightarrow \mathbf{d}($ sue $)$

付録の規則 (@F) より、(9)を証明するためには先行する談話の証明から $\mathbf{d}($ sue $)$ の証明、つまり、Sue danced. の証明を構成しなければならない。以上の 手続きにより、前提推論 (7) が成り立つことが予測 される。

## 4 依存型意味論における singular which 疑問詞の分析

4.1 叙実述語への疑問文埋め込みによる 前提

singular which 疑問詞に対して、次の意味表示を提案する。

(10) に現れる $\Theta_{i} c:: A$ という形の項は型アノテー ション (type annotation) と呼ばれ、項 $\varrho_{i} c$ の持つ型 が A であるとあらかじめ指定する際に用いられる。

図 3 の導出木により、 singular which 疑問文 (11-a) の意味表示として (11-b) が得られる。

(11) a. Which student danced?
b. $\quad \lambda c . \mathbf{d}\left(\pi_{1}\left(\varrho_{i} c::\left[\begin{array}{l}x: \text { Entity } \\ (\mathbf{s}(x) \times \mathbf{d}(x) \times \\ (\Pi y: \text { Entity })(\mathbf{s}(y) \times \mathbf{d}(y) \\ \rightarrow(y=\text { Entity } x)))\end{array}\right]\right)\right)$

この表示により、2 章で提示した事実が説明され ることを次章にて示す。

## 5 分析の経験的な検証

## 5.1 singular which 疑問文の前提

本節では、 singular which 疑問文の UP が本稿の分析により予測されることを示す。

singular which 疑問文の意味表示 (11-b) が felicity condition を満たすことは図 4 により示される。この 証明では次の (12) が閉じていない葉として残って いる。

(12) $@_{i}: \delta \rightarrow\left[\begin{array}{l}x: \text { Entity } \\ (\Pi y: \text { Entity })(\mathbf{s}(y) \times \mathbf{d}(y) \rightarrow x=\text { Entity } y)\end{array}\right]$

3.2 節での議論と同様に、(11-b) が felicity condition を満たすためには、先行する談話の証明から Exactly one student danced. の証明を構成しなければならな い。以上のようにして、 singular which 疑問文の UP

図 3 Which student danced?の意味表示導出

図 4 意味表示 (11-b) の型検査

## が予測される。

## 5.2 叙実述語への疑問文埋め込みによる 前提

本節では次の前提推論が、本稿の提案により予測 されることを示す。

(13) John knows which student danced. presupposes Exactly one student danced.

(13) の前件 John knows which student danced. の意味表示として次の (14) が得られる。

(14) $\mathbf{k n}(j o h n)\left(\mathbf{d}\left(\pi_{1}\left(@_{i} c:: \begin{array}{l}x: E \text { : Entity } \\ (\mathbf{s}(x) \times \mathbf{d}(x) \times \\ (\Pi y: \text { Entity }(\mathbf{s}(y) \times \mathbf{d}(y) \\ \rightarrow(y=\text { Entity } x)))\end{array}\right]\right)\right)\left(@_{i} c\right)$平叙文埋め込みの場合 (図 2) と同様に、kn の第二引数は型 type を持たなければならない。したがって 次が成り立つ必要がある。

(15) $\mathbf{d}\left(\pi_{1}\left(\varrho_{i} c::\left[\begin{array}{l}x: \text { Entity } \\ (\mathbf{s}(x) \times \mathbf{d}(x) \times \\ (\Pi y: \mathbf{E n t i t y})(\mathbf{s}(y) \times \mathbf{d}(y) \\ \rightarrow(y=\text { Entity } x)))\end{array}\right]\right)\right):$ type

(15)を示す証明は図 4 の部分証明図であることか ら、この場合にも (12) が閉じていない前提として 残る。したがって、(14)が felicity condition を満たす には、先行する談話の証明から Exactly one student danced. の証明を構成しなければならない。以上の ようにして、knowへの疑問文埋め込みによる UP が 予測される。

## 6 おわりに

本稿では singular which 疑問文に対して依存型意味論による意味表示を提案した。本稿で与えた意味表示の下では、 singular which 疑問文の UPを自然に 予測することができる。また、knowが singular which 疑問文を補文とする場合の UP を、平叙文を補文と する know と共通の意味表示の下で予測することが できる。これは、平叙文と補文とする know と、疑問文を補文とする know が共通の意味を持つという 仮説に沿うものである。

singular which 疑問文以外の which 疑問文へと分析 を拡張することは今後の課題の一つである。本稿で は応答的述語の一つである know に関係する前提現象を議論の対象としている。応答的述語の意味論 へ向けたその他の課題として、例えば Predicates of relevance と呼ばれる述語 (care, matter など) の前提パ ターン [14] がある。これらの述語には、補文が平叙文であるときに引き起こされる前提が、補文が疑問文であるときには観察されないという特徴がある。 こうした述語を依存型意味論により捉えることも今後取り組むべき課題である。

## 謝辞

本稿執筆を通して複数回にわたって議論していた だいた京都大学人間・環境学研究科の櫻川貴司准教授に感謝いたします。

## 参考文献

[1]Bekki Daisuke. Representing anaphora with dependent types. In International conference on logical aspects of computational linguistics, pp. 14-29. Springer, 2014.

[2]Bekki Daisuke and Mineshima Koji. Context-passing and underspecification in dependent type semantics. In Modern perspectives in type-theoretical semantics, pp. 11-41. Springer, 2017.

[3]Duží Marie and Číhalová Martina. Questions, answers, and presuppositions. Computación y Sistemas, Vol. 19, No. 4, pp. 647-659, 2015.

[4]Dayal Veneeta. Locality in Wh-quantification: Questions and relative clauses in Hindi. Kluwer Academic Publishers, 1996.

[5]Uegaki Wataru. The existential/uniqueness presupposition of wh-complements projects from the answers. Linguistics and Philosophy, Vol. 44, No. 4, pp. 911-951, 2021.

[6]Lahiri Utpal. Questions and Answers in Embedded Contexts. Oxford University Press UK, 2001.

[7]Uegaki Wataru. The semantics of question-embedding predicates. Language and Linguistics Compass, Vol. 13, No. 1, p. e12308, 2019.

[8]Martin-Löf Per. Intuitionistic Type Theory. Bibliopolis, 1984.

[9]Watanabe Kazuki, Mineshima Koji, and Bekki Daisuke. Questions in dependent type semantics. In Proceedings of the Sixth Workshop on Natural Language and Computer Science, pp. 23-33, Gothenburg, Sweden, May 2019. Association for Computational Linguistics.

[10]Tanaka Ribeka, Mineshima Koji, and Bekki Daisuke. Factivity and presupposition in dependent type semantics. Journal of Language Modelling, Vol. 5, No. 2, p. 385-420, 2017.

[11]The Cambridge Handbook of Formal Semantics. Cambridge Handbooks in Language and Linguistics. Cambridge University Press, 2016.

[12]Wilson Deirdre. Presuppositions on factives. Linguistic Inquiry, Vol. 3, No. 3, p. 405-10, 1972.

[13]Steedman Mark. The syntactic process, Vol. 24. MIT press Cambridge, MA, 2000.

[14]Elliott Patrick D., Klinedinst Nathan, Sudo Yasutada, and Uegaki Wataru. Predicates of Relevance and Theories of Question Embedding. Journal of Semantics, Vol. 34, No. 3, pp. 547-554, 042017.

## 付録

本稿で用いた型および未指定項に関する推論規則の一部を掲載する。ただし $i, j, k$ は自然数であるとする。詳細は [1,2]を参照されたい。

$
\begin{aligned}
& \text { (@F) } \frac{A: \text { type }_{i} \quad A \text { true }}{@_{j}: A} \quad(\text { ann }) \frac{t: A}{(t:: A): A} \\
& \overline{x: A}^{(k)} \quad \overline{x: A}{ }^{(k)} \\
& \text { (חF) } \frac{A: \text { type }_{i} \quad B(x): \text { type }_{j}}{(\Pi x: A) B(x): \text { type }_{\max (i, j)}} \quad \text { (חI) } \frac{A: \text { type }_{i} \quad B(x): M}{\lambda x \cdot M:(\Pi x: A) B(x)}\left(\text { (k) } \quad \text { (חE) } \frac{M:(\Pi x: A) B(x) \quad N: A}{M N: B(x)[N / x]}\right. \\
& \overline{x: A}^{(k)}
\end{aligned}
$

$
\begin{aligned}
& (\Sigma E) \frac{M:\left[\begin{array}{l}
x: A \\
B(x)
\end{array}\right]}{\pi_{1}(M): A} \quad(\Sigma E) \frac{M:\left[\begin{array}{l}
x: A \\
B(x)
\end{array}\right]}{\pi_{2}(M): B(x)\left[\pi_{1}(M) / x\right]}
\end{aligned}
$


# ニューラルネットワークを用いた株価変動に関するコメントの生成

関野伊吹 佐々木稔
茨城大学院 理工学部 情報工学専攻
21nm734a@vc.ibaraki.ac.jp minoru.sasaki.01@vc.ibaraki.ac.jp

## 概要

近年，株価から市況コメントを生成する技術に注目が集まっている.しかし, 現状はアナリストが手作業でコメントを生成している. 本稿では,アナリスト の作業負担を軽减するために，市況コメントに含ま れる「株価変動に関するコメント」を生成する手法 を提案する. 提案手法は、株価の数値変動とそれに対応する記事を学習してコメントを生成し, 用意され た定型文に付与することで, 市況コメントを完成さ せるものである. 実験の結果、生成に用いた特徴量が 有効であり，提案手法は市況コメントを生成できる ことを確認した。

## 1 はじめに

近年，気象・スポーツ・医療・金融など，さまざ まな分野でデータの活用が行われている。しかし， データが大規模であったり,複雑であったりすると、専門知識のない人が理解するのは難しく，専門家で あってもデータを理解し, 重要な要素を抽出するの に時間がかかるという問題がある。このようなデー 夕を有効活用する方法のひとつとして，Data to Text 技術がある。これは，データの概要を人間が解釈し やすいようにテキストで表現する技術で，近年こう いった需要が高まり注目されている。

今回の研究対象である、株価データから市況コメ ントを生成するタスクも，Data to Text 技術の一種で ある. 現在, 市況コメントの生成は, 社会情勢など を調査・分析する専門家であるアナリストが行って いる。彼らは，株価発表後に株価を分析し，市況コ メントを生成している. しかし，アナリストが株価 から市況コメント全文を生成するには，多くの時間 と労力が必要である．そこで，本稿では，アナリス トの市況コメントを生成する労力軽減のために，市況コメントの一部を自動生成する手法を提案する.具体的には，株価数值の値動きとその変動幅に関す る表現を手書きの記事から抽出し，機械学習により 株価の値動きと表現を学習することで，コメントを生成する. 生成されたコメントをあらかじめ用意さ れたフォーマットに当てはめることで，市況コメン 卜における定量的な分析結果を自動生成することが 可能となる。その結果、アナリストは本業である要因分析などに集中できるようになる.

本稿では，日経平均株価の市況コメント生成とい らタスクに基づき，時系列データから様々な特徴を 抽出し，テキスト化を行う。まず，株価データの変化を捉えるために，一定期間の日経 225 データを用意する。次に、市況コメント内の表現を生成できる ように, $\mathrm{NQN}($ 日経クイックニュース)から重要な 12 フレーズを抽出する。これらのフレーズは市況コメ ントの第一文に頻出するものであり，主なフレーズ は「続落」，「続伸」，「反落」，「反落」の 4 つ で、これらに「大幅」、「小幅」という変動幅を表 す表現を加えた計 12 個を使用する.これらのフレ ーズを株価の値動きに対応させることで， 1 つの学習データを作成した。

実験では、学習済みデータを使用して生成された フレーズと実際に手書きで書かれた記事から抽出し たフレーズの比較のために F 值を用い，提案手法が ベースライン手法や先行研究のものと比べて性能が 向上していると確認できた。またフレーズ生成の比較として，米株価の影響がどれほどあるかも同時に 確認した。米株価は市況コメント内でも触れられる 機会が多く，そのほとんどが日経平均株価の変動に 関与しているため精度向上を目指して採用したが，精度はほぼ変わらない，あるいは低下という結果に なった。

## 2 関連研究 $\cdot$ 関連手法

データの要約を人間が解釈しやすいようにテキス トで自動生成する Data to Text 技術については，さ まざまな研究が行われている。例えば、時系列の気象情報から天気予報のテキストを自動生成する研究 [1]，医師や看護師の意思決定を支援する臨床データ からのテキスト生成[2]，一定期間内の学習状況を記
録した時系列データから学生へのフィードバックテ キストを生成する研究[3]などが行われている。これ まで, Data to Text の研究では, 人手で作成したルー ルを用いてテキストを生成することが主流であった。 しかし近年，情報通信技術の発展に伴い，大規模か つ複雑なデータを容易に入手できるようになり，デ 一タとテキストの大規模な対応関係に基づいてテキ ストを生成する機械学習型の手法への関心が高まっ ている。例えば、画像データから説明文を生成する 画像キャプション生成[4]や, 成形された気象データ からの天気予報テキスト生成[5]など，様々なデータ からテキストへの機械学習活用の研究が行われてい る.

市場コメントを生成する技術には，様々な観点か らアプローチがなされている. 例えば, 日経平均株価の値動きに影響を与えたとされる出来事や他の銘柄の情報などの変化要因を生成する技術[6], 日経平均株価のデータに加えて生成する相場コメントの内容を表す話題を入力することで生成する文章を制御 する技術[7], 株価の履歴や時間に依存した表現など の特徴を生成する技術[8]などがある. 今回の論文で 比較する先行研究は, 生成するテキスト全文を機械学習によって生成する手法であり, 本稿では, テキ スト全文ではなく株価の値動きや変動幅を表す単語 を適切に選択し、一部のテキストを生成する技術に 取り組んでいる.

## 3 提案手法

3 節では, 日経平均株価と NQN から, 株価の値動 きや変動幅を表す語句を抽出する方法を紹介する。

## 3.1 概要

図 1 に提案手法のモデルを示す. 提案手法ではま ず，株価データと記事データの対応付けを行うため に, データの成形を行った。記事データにはノイズ となるフレーズが多く含まれているため，生成され る一文のみを抽出する。株価データも同様に，ノイ ズが多いため, 学習しやすい形に成形する. 成形 したフレーズと株価の対応関係を作り、それを使っ て学習を開始する。機械学習には, エンコーダとし て一般的に使われている MLP（Multilayer Perceptron）を使用した. 最後に，学習したデータ を用いて，日米の株価データを含むテストデータを 入力し，フレーズを予測する。そして生成されたフ
レーズを，用意されたフォーマットに代入し、市況 コメントを完成させる．ただし本稿の評価基準とし て使用するのは生成されたフレーズとし,フォーマ ットに代入した全文との比較は行わない.

図 1 :提案手法の概略

## 3.2 データの前処理方法

画像処理, 自然言語処理など様々な分野で機械学習 モデルの汎化やデータからのノイズ除去のために前処理を行うことが一般的である. 本論文でも同様に 前処理を適用している。NQN からフレーズ抽出は 機械的に行い，数値データである日経平均株価終値 のデータに対しては標準化と前日比の差分を用いる 前処理を施した。記事データから抽出するフレーズ に関して，1 日の統計的な市況コメントが生成され る 15:00 代の記事からフレーズを抽出する。フレー ズが複数個ある場合は, 最初に出現したフレーズを その日のフレーズとする。株価データに使用した処理方法の式は以下の二つである。

$
\begin{gathered}
x_{s t d}=\left(x_{i}-\mu\right) / \theta \\
x_{\text {move }}=x_{i}-r_{i}
\end{gathered}
$

(1)では, 学習に用いたデータ $\mathrm{x} 、$ 平均值 $\mu$, 標準偏差 $\theta$ を用いて，標準化を行う。

(2)では, 前日の終值からの価格変化を捉えるため

に, 各タイムステップの価格 $\mathrm{x}$ と前日の終値 $\mathrm{r}$ との 差を計算する，なお，使用する株価のデータは終値 とし, 標準偏差・前日比の前処理したデー夕を同時 に使用することがあるので 3 日分を 1 フレーズに対応させる.

## 3.3 エンコード手法

時系列株価データのエンコード手法の検討とし て, MLP $\mathrm{CNN}, \mathrm{RNN}$ などが考えられる. 先行研究の結果から, MLP をエンコーダとしたモデル がベースラインを含めた他すべてのモデルと比較し

てよいスコアがでると判明している. よって本稿で もMLPをエンコーダとして使用するものとする.

## 4 実験

## 4. 1 データセット

本稿では、株価データとして日経平均株価とダウ 平均株価を，記事データとして NQNを使用する。使用寸るデータは, 2014 年から 2017 年までの 4 年間である。表 1 と表 2 に, 本稿で使用した日経平均株価とダウ平均株価の例を示す. 表 3 に使用した NQN を示す. 日経平均株価・ダウ平均株価はとも に終値を使用し, NQN は生成する式を抽出できる 部分を使用している。

表 1.日経平均株価

表 2.ダウ平均株価

表 3.NQN の一部

 \\

## 4. 2 評価方法

評価は生成したテキストと手書きで書かれた記事 データから抽出したフレーズと比較した $\mathrm{F}$ 值で判断 を行う。またテキスト生成に使用した素性の有効性 を確認するために， 2 種類の前処理方法をそれぞれ 適用したものと 2 つの前処理を同時に使用したもの の計 3 種類の比較を行う. なお, 先行研究では, 生成 されたテキスト全文のうち, フレーズのみの精度も 算出しているため, そちらも比較の対象とする.
これらに加えて, 市況コメントの 2 文目以降で用 いられる米株の影響によっておこる事象のテキスト 自動生成の先駆けとして米株が日経平均株価に与え る影響についての比較も示す.

## 5 実験結果

$\mathrm{F}$ 值による評価の実験結果を表 4 に示す.

表 4. 各 $\mathrm{F}$ 值

## 5. 1 先行研究との差異

先行研究では, 表 3 に表したような記事テキスト 全文を学習し，市況コメントを生成する手法をとつ ており, その中で生成されたフレーズの精度が表 4 の先行研究の闌に示されている. 本稿の結果を見る と, ほぼすべての素性を用いたものでも結果が良く なっている. これは先行研究で使用されているフレ 一ズが多すぎるというのが推察できる. 例えば先行研究では, 株価の価格がいったん下がって上がると いう「反発」というフレーズに対して，「反発」の みではなく「上げに転じる」というフレーズを用い ている.これは文章の流暢性の確保のために行って いることだが，文章としては「反発」，「上げに転 じる」のどちらでも通じると判断し，フレーズの統一化を行った結果, 約 10 パーセント近くの精度向上を確認できた.

## 5.2 米株の影響

手書きの市況コメント本文には一行目に日経平均株価の変動について書かれ， 2 行目以降で米株につ いて触れられることが頻繁にある. その中で記述さ れる中に「前日の米株式市場で主要株価指数がそろ って上昇した流れを受け、(中略) 日経平均株価は反発した。」というような文章が現れる.この文章か らも読み取れるように日経平均株価は米株の影響を 色濃く受けていると推察できるため, 本稿で有効性 の確認を行った. 結果として, 主なフレーズ 4 種類 (続落・続伸・反発・反落)の $\mathrm{F}$ 値はほぼ変わらなか ったものの，小幅・大幅のつくフレーズの生成率が 全体的に増加している. 日経平均株価だけでなく米株価の值を入力したことによってよりフレーズに対 する株価の細分化ができたからだと推察できる.

## 終わりに

本稿では，日経平均株価と NQN を用いて株価の值動きとその変動幅に関するフレーズを抽出し，機械学習によりフレーズと値動きを学習させ，与えられ た株価に対するフレーズを生成することを試みた。生成した表現と元記事から抽出した表現を比較し、 どの学習データが優れているかを $\mathrm{F}$ 值で検証した。結論として，2 種類の前処理を実施した学習データ が, 先行研究の結果を全体的に見ると上回りました. これは，先行研究において類似したフレーズを統一 していたためと考えられる.

また、米株が日経平均株価に与える影響を調べる ために米株価 (ダウ平均株価)を新たな入力として与 えることで，生成率に変化があるかを調べた。結果 として米株価を入力として与えた時, 主なフレーズ の生成率にはあまり影響なかったが，株価の変動幅 を表すフレーズの生成率は全体的に向上していた.

## 参考文献

[1] B. Anja, "Probabilistic Generation of Weather Forecast Texts" Association for Computational Linguistics, pp. 164-171, 2007.

[2] F. Portet, E. Reiter, J. Hunter, and S. Sripada "Automatic Generation of Textual Summaries from Neonatal Intensive Care Data" Artificial Intelligence, Volume173, pp. 789$816,2009$.

[3] D. Gkatzia, H. Hastie, and O. Lemon "Comparing Multilabel Classification with Reinforcement Learning for Summarization of Time-series Data."
Association for Computational Linguistics, pp. 1231-1240, 2014.

[4] O. Vinyals, A. Toshev, S. Bengio, and D. Erhan "Show and Tell: A Neural Image Caption Generator" IEEE, Accession Number: 15524253, 2015.

[5] H. Mei, M. Bansal, and M. R. Walter "What to talk about and how? Selective Generation using LSTMs with Coarse-to-Fine Alignment" Association for Computational Linguistics, pp. 720-730, 2016.

[6] T. Aoki, A. Miyazawa, T. Ishigaki, K. Goshima, K. Aoki, I. Kobayashi, H. Takamura, and Y. Miyao "Generating Market Comments Referring to External Resources” Association for Computational Linguistics, pp. 135-139, 2018. (RELATED WORK/METHODS)

[7] K. Aoki, A. Miyazawa, T. Ishigaki, T. Aoki, H. Noji, K. Goshima, I. Kobayashi, H. Takamura, and Y. Miyao "Controlling Contents in Data-to-Document Generation with Human-Designed Topic Labels", Association for Computational Linguistics, pp. 323-332, 2019.

[8] S. Murakami, A. Watanabe, A. Miyazawa, K. Goshima, T. Yanase, H. Takamura, and Y. Miyao, "Learning to Generate Market Comments from Stock Prices” Proceeding of the 55th Annual Meeting of the Association for Computational Linguistics, pp. 1374-1384, 2017.


# Vaporetto: 点予測法に基づく高速な日本語トークナイザ

赤部晃一 1 神田峻介 1 小田悠介 ${ }^{1,2}$ 森 信介 ${ }^{3}$
${ }^{1}$ LegalForce Research 2 東北大学データ駆動科学・AI 教育研究センター
3 京都大学 学術情報メディアセンター
\{koichi.akabe, shunsuke.kanda, yusuke.oda\}@legalforce.co.jp
forest@i.kyoto-u.ac.jp

## 概要

線形分類モデルによる点予測法に基づくトークナ イザに関し，高速な計算手法を開発し，その実装で ある Vaporetto ${ }^{1)}$ について報告する。本手法では，予測の際に圧縮ダブル配列を用いたオートマトンを採用し，高速な文字列探索を実現する。また，スコア に対して 3 種類の前処理を提案する. 実験の結果,既存の点予測法に基づくトークナイザである KyTea と比較し, 5.4 倍の高速化が確認された.また，提案した前処理手法については，その全てが高速化に 寄与することを確認した.

## 1 はじめに

日本語や中国語など，文中に単語境界を示す区切 り記号を挿入しない言語では，自然言語処理の前処理としてトークン化を行う必要がある。これには大 きく分けて 2 種類の手法が利用される. 1 つは系列予測法と呼ばれ，入力文から辞書に基づくラティス を構築し，語や語間に対して与えられるコストが 最小化される経路を探索する。代表的なものでは MeCab [1] が採用している. もう1つは点予測法と 呼ばれ，入力文のすべての文字間に対し，語の境界 であるか否かを識別モデルによって判別する．代表的なものでは KyTea [2] が採用している.

トークン化は前処理として広く利用されており，大量のテキストを処理するとき，分割の精度だけで なく実行速度も重要である. 本研究では，既存の点予測法に基づくトークン化を，モデルに手を加えず に高速に動作させる手法を提案する.

## 2 点予測法によるトークン化

点予測法では，入力文の各文字境界に対して指定 された幅の窓を考え，ここに含まれる文字列から識

1) https://github.com/legalforce-research/vaporetto
トークンの境界か?

図 1 点予測法に基づくトークン化の例. 括弧内の数字 は，判定箇所に対する各 $n$-gram の相対位置を示す.

別モデルの素性を生成する [3]. KyTea では素性とし $\tau$ ，文字 $n$-gram，文字種 $n$-gram，辞書単語素性の 3 種類を利用して線形分類モデルを学習する。

図 1 は点予測法によるトークン化の例である.こ の例では，入力文として「は、全世界の国民が、」が 与えられ，「界」と「の」の間がトークン境界であ るか否かを文字 $n$-gram 素性を用いて識別している。文字 $n$-gram 素性は，窓に含まれる文字 $n$-gram と， その相対位置の組で表現される. 文字種 $n$-gram に ついても素性の作り方は文字 $n$-gram の場合と同様 だが，各文字をひらがな，カタカナ，漢字，数字， ローマ字，その他の 6 種類に分類し，文字の代わり に文字種記号の配列を利用する. 図 2 は辞書単語素性の例である. この例では，単語辞書に「の」と 「世界」が含まれる場合に，太線で示された文字境界に対してどのような素性が生成されるかを示して いる. KyTea と MeCab の精度面による比較分析は,先行研究 [4] で行われている。

## 3 アルゴリズムの高速化

2 節で示したトークン化手法は，入力文に対する 3 種類のパターン集合を用いたオーバーラップパ ターンマッチと，マッチ箇所に対するスコアの加算 という 2 つの問題に帰着される。

図 3 は，入力文の各文字境界に対してスコアを計

図 2 辞書単語素性の例. 3-gram 以上の場合は, 複数の文字境界について「内側」素性を生成する。

図 $3 n$-gram スコア配列の合計スコア配列への加算の例. ここでは 2 つの $n$-gram に対して括弧内で示された相対位置に応じたスコアが学習されており，スコア計算の際は 各 $n$-gram スコアが合計スコア配列に加算される.

算する例である．窓幅を $W$ とすると，各 $n$-gram に ついて文字境界との相対位置に応じた $2 W-n+1$ 通 りのスコアが学習される。 トークン境界の予測時に は，各 $n$-gram をパターンとして，入力文に対するパ ターンマッチを行い，マッチしたパターンとその位置から，どの文字境界にどのスコアを加算するかを 決定する。

本節では，パターンマッチとスコア計算のそれぞ れの部分について，処理の高速化手法を紹介する。

## 3.1 パターンマッチの高速化

$\mathrm{MeCab}$ に代表される系列予測法に基づくトークナ イザの多くは，パターンマッチにトライ法 [5] を採用している. トライ法によるパターンマッチは，入力文の長さを $N$, パターンの平均長を $K$ としたとき $O(N K)$ 時間で動作する.

一方，提案法では Aho-Corasick (AC) 法 [6] によ るパターンマッチオートマトン (PMA)を採用す る. AC 法は，マッチする解の個数を occ とすると $O(N+o c c)$ 時間で動作し， 3.2 節で提案する高速化手法とも親和性がある．また，PMAを圧縮ダブル 配列 [7] で実装することで高速な解析を実現する.

図 4 「世」「世界」「全世界」を登録した PMA．状態 $s$ は 「全世界」と「世界」を報告する出力状態．点線は Failure リンクを示しており，ルートへの Failure リンクは省略し ている。

## 3.2 n-gram スコアの事前加算

PMA に登録されているパターン集合を $\mathscr{P} と$ し，あるパターン $p \in \mathscr{P}$ の $n$-gram スコア配列を $\boldsymbol{w}_{\text {pattern }}(p)$ とする. AC 法による PMA は, 出力状態 $s$ に到達した際にマッチしたパターン集合 $\mathcal{S}(s) \subseteq \mathscr{P}$ を報告する. 点予測法では PMA が報告 した $\mathcal{\delta}(s)$ について, 全ての $q \in \mathcal{S}(s)$ の $n$-gram スコ ア配列 $\boldsymbol{w}_{\text {pattern }}(q)$ を合計スコア配列に加算するこ とで文字境界のスコアを算出する。例えば図 3 は， $\delta(s)=\{$ 世界, 全世界 $\}$ について, $n$-gram スコア配列 $\boldsymbol{w}_{\text {pattern }}$ (世界) と $\boldsymbol{w}_{\text {pattern }}$ (全世界)を合計スコア配列 に加算する様子を示している.

提案法では，各 $q の n$-gram スコア配列を別々に 加算するのではなく，まとめて加算することで合計 スコアの計算を高速化する．具体的には，各出力状態 $s$ について以下のスコア配列 $\boldsymbol{w}_{\text {state }}(s)$ を定義する.

$
\boldsymbol{w}_{\text {state }}(s):=\sum_{q \in \mathcal{S}(s)} \boldsymbol{w}_{\text {pattern }}(q)
$

PMA が出力状態 $s$ に到達し $\delta(s)$ が報告された際は, $\boldsymbol{w}_{\text {pattern }}(q)$ を参照する代わりに $\boldsymbol{w}_{\text {state }}(s)$ を参照する.

図 4 は，「世」「世界」「全世界」という 3 つのパ ターンを登録した PMAを示している. 出力状態 $s$ は $\delta(s)=\{$ 世界, 全世界 $\}$ を報告する。提案法では, これらの $n$-gram スコア配列を事前に加算し，配列 $\boldsymbol{w}_{\text {state }}(s)$ を状態 $s$ に持たせておくことで合計スコア 配列への加算回数が低減される。

## 3.3 辞書単語素性のスコアの事前加算

辞書中の単語のうち, 文字 $n$-gram 素性の文字列と 厳密一致する単語については辞書から削除し, 辞書単語素性のスコアを事前に文字 $n$-gram 素性のスコ アに加算しておく.これにより, 辞書単語素性 PMA からのパターン報告回数が減少し, 文字 $n$-gram 素
性のスコアと辞書単語素性のスコアをまとめて合計 スコア配列に加算することが可能となる.

## 3.4 文字種 n-gram スコアの事前加算

文字種 $n$-gram によって加算される文字境界のス コアは，窓によって切り出される文字列のみによっ て一意に決まる。そのため, 長さ $2 W$ の系列の全組合せについて事前に計算したスコアを保存してお けば，解析時のパターンマッチとスコアの加算を回避できる. 文字種は高々 6 種類のため, 各文字種に 3 ビットのコード値を割り当てれば，文字種系列は $6 W$ ビットの整数値で表現できる. この整数値を系列の IDとし，計算済みスコアへの参照に用いる。 $W=3$ のとき, 系列の ID は高々 262,144 通りであ り，各スコアを 4 バイトで保持するとメモリ使用量 は $1 \mathrm{MiB}$ とな.

入力文として文字種列 $\left(a_{0}, a_{1}, \ldots, a_{N-1}\right)$ が与えら れたとき，各文字境界についての系列の ID は以下のように表現できる. 文字 $a_{i-1}$ と $a_{i}$ の境界に対応した系列 $A_{i}=\left(a_{i-W}, a_{i-W+1}, \ldots, a_{i+W-1}\right)$ の IDを $\operatorname{Id}\left(A_{i}\right)$ と表記する. $i \notin[0, N)$ な $a_{i}$ は範囲外を表現 する特殊文字として扱い，そのコード值は 0 とする。 このとき, $\operatorname{Id}\left(A_{i}\right)$ は以下の漸化式で記述できる.

$
\operatorname{Id}\left(A_{i+1}\right)=\left(\left(\operatorname{Id}\left(A_{i}\right) \ll 3\right) \mid \operatorname{Cd}\left(a_{i+W}\right)\right) \&\left(2^{6 W}-1\right)
$

ただし, 初項は $\operatorname{Id}\left(A_{-W}\right)=0$ である. 式中の $\operatorname{cd}(a) \in$ $[0,8)$ は文字種 $a$ のコード値, “《”は左シフト演算, “”は OR 演算，“\&”は AND 演算である.

漸化式が示すように, $\operatorname{Id}\left(A_{i}\right)$ を用いて $\operatorname{Id}\left(A_{i+1}\right)$ が 計算できる. すなわち $\operatorname{Id}\left(A_{-W}\right)=0$ を起点とし，文字境界を 1 文字ずつ右に移動しながら, 各系列の ID がビット演算で高速に計算できる. 図 5 は文字種系列の IDをビット演算を用いて計算する例である.

## 4 L1 正則化によるモデルの圧縮

L1 正則化 [8] を利用すれば重みべクトルがスパー スとなり，過学習を防ぎつつ小さなモデルを学習す ることが可能である．線形分類モデルの学習で L1 正則化を行うには，以下の目的関数を最小化する重 みベクトル $\boldsymbol{w}$ を学習する。

$
\min _{\boldsymbol{w}}\|\boldsymbol{w}\|_{1}+C \sum_{i} \xi\left(\boldsymbol{w} ; \boldsymbol{x}_{i}, y_{i}\right)
$

ここで $\xi\left(\boldsymbol{w} ; \boldsymbol{x}_{i}, y_{i}\right)$ は $i$ 番目の入力 $\boldsymbol{x}_{i}$ と出力 $y_{i}$ から 計算される損失関数，C は罰則パラメータである ${ }^{2}$.

LIBLINEAR では目的関数の係数としている.ここでは

図 5 文字種系列のIDを計算する例. 空幅 $W=3$ として いる. 文字種の下の数字は, 各文字種に対応したコード 值を表す. $\mathrm{Cd}(\mathrm{H})=001_{(2)}$ はひらがな, $\mathrm{Cd}(\mathrm{K})=101_{(2)}$ は漢字, $\mathrm{Cd}(\mathrm{O})=110_{(2)}$ はその他の文字種に対応している. 次 の系列 ID は，現在の系列 ID に対するビット演算によっ て求まる。

$C$ が小さいほど罰則項の比重が大きくなり，正則化 をより強くかけることとなる. モデルサイズを小さ くすると, 合計スコアの計算に必要な各スコアの加算回数が減ることに加え, CPU キャッシュの利用頻度も上がり，処理の高速化が期待される. 本研究で は，モデルのサイズと分割速度の関係を調査し，モ デルサイズの調整による高速化も検討する.

## 5 実験

提案法の高速化効果を検証するため，提案法と各種ツールの分割速度の比較を行った. また，正則化係数に応じた精度の比較も行った。

## 5.1 実験設定

点予測法のモデル学習のためのデータセットとし $\tau$, 現代日本語書き言葉均衡コーパス (BCCWJ [9], Ver. 1.1)のうち, 人手で短単位アノテーションされ たコアデータ 60,004 文を利用した. また，辞書とし て UniDic [10] (Ver. 3.1.0)のうち半角空白記号を含ま ない 879,048 語を利用した. 各実験では，BCCWJ の コアデータ 60,004 文を 10 分割して交差検証を行っ た。速度の測定では，分割対象の文を先に RAMに 読み込み，IO 処理にかかる時間は除外した. モデル の学習には LIBLINEAR [11] の L1-regularized L2-loss SVC を利用し, $C=1.0$ とした. また, 窓幅 $W=3$ と し, $n$-gram の最大長は 3 とした.

3 節で提案した各手法の効果を確認するため，各手法を個別に適用した場合とすべて適用した場合の

表 1 分割速度の比較. 単位は [100万文字/秒]. 罰則パラ メータCは 1.0 とした.

速度を測定した. 比較対象として, 既存の点予測法 に基づくトークナイザである KyTea の分割速度を測定した. ${ }^{3)}$

また，学習データやモデルが異なるため単純な 比較はできないが， MeCab と sudachi.rs") によって トークン化した際の実行速度も測定した. MeCabで は IPADIC を利用し, sudachi.rs では SudachiDict-core (Ver. 20210802) による短単位相当の分割を行った.

実験は以下のスペックのマシンを用いてシングル スレッドで実施した.
- CPU: Intel(R) Core(TM) i7-8086K CPU @ 4.00GHz - Memory: 64GiB RAM (L1: 32KiB, L2: 256KiB)

## 5.2 実験結果

## 5.2.1 分割速度の比較

分割速度の比較結果を表 1 に示す. 実験結果によ ると，提案法では素性のスコアの前処理をしない場合でも KyTea の 4 倍以上の速度でトークン化処理を 行うことが可能であり, 圧縮ダブル配列を利用した $\mathrm{AC}$ 法の効果が大きいことが分かる。また， (b)～(d) の各手法を単独で実施した場合と同時に実施した場合のいずれの場合も処理が高速化された事が確認さ れた。

## 5.2.2 L1 正則化, 分割精度, 分割速度の関係

図 6 は，罰則パラメータ $C$ を変化させた際の，分割誤り率と分割速度の関係を示している.Cが小さ い領域では，精度と速度はトレード・オフの関係に あり，正則化を強くするほど精度が下がる一方，分

図 6 罰則パラメータを変化させた際の，分割誤り率と分割速度の関係.

図 7 罰則パラメータを変化させた際の，スコアが 0 でな い $n$-gram の数と PMA の状態数の関係.

割速度は速くなる.しかしながら， $C$ が大きい領域 では正則化が弱まるにつれて分割速度が遅くなるだ けでなく，過学習によって分割誤りも増えている.

次に，図 7 は $C$ を変化させた際の，スコアが 0 で ない $n$-gram の個数と PMA の状態数の関係を示し ている. 正則化を強くするほど， $n$-gram がモデル から削除され PMA が小さくなるが，その際に長い $n$-gram が優先的にモデルから削除され，短い $n$-gram が支配的になることが確認できる.

## 6 まとめ

本研究では，線形分類モデルを用いた点予測法に 基づく日本語のトークン化を，パターンマッチとス コアの加算という 2 つの部分問題に帰着させ，各部分に対して最適化を行った.

提案したアルゴリズムは日本語のトークン化に特化したものではなく，AC オートマトンを利用した 点予測法に一般化することが可能なため，他分野へ の応用も検討したい.

## 参考文献

[1] Taku Kudo, Kaoru Yamamoto, and Yuji Matsumoto. Applying conditional random fields to Japanese morphological analysis. In Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing, pp. 230-237, Barcelona, Spain, July 2004. Association for Computational Linguistics.

[2] Graham Neubig, Yosuke Nakata, and Shinsuke Mori. Pointwise prediction for robust, adaptable Japanese morphological analysis. In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, pp. 529-533, Portland, Oregon, USA, June 2011. Association for Computational Linguistics.

[3] Manabu Sassano. An empirical study of active learning with support vector machines for Japanese word segmentation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 505-512, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[4] 森信介, 中田陽介, Neubig Graham, 河原達也. 点予測 による形態素解析. 自然言語処理, Vol. 18, No. 4, pp. 367-381, 2011.

[5] Edward Fredkin. Trie memory. Communications of the ACM, Vol. 3, No. 9, pp. 490-499, 1960.

[6] Alfred V. Aho and Margaret J. Corasick. Efficient string matching: An aid to bibliographic search. Commun. ACM, Vol. 18, No. 6, pp. 333-340, June 1975.

[7] Susumu Yata, Masaki Oono, Kazuhiro Morita, Masao Fuketa, Toru Sumitomo, and Jun-ichi Aoe. A compact static double-array keeping character codes. Inf. Process. Manage., Vol. 43, No. 1, p. 237-247, January 2007.

[8] Robert Tibshirani. Regression shrinkage and selection via the lasso. Journal of the Royal Statistical Society: Series B (Methodological), Vol. 58, No. 1, pp. 267-288, 1996.

[9] 前川喜久雄. 代表性を有する大規模日本語書き言葉 コーパスの構築 (く特集>日本語コーパス). 人工知能, Vol. 24, No. 5, pp. 616-622, 2009.

[10] 伝康晴, 小木曽智信, 小椋秀樹, 山田篤, 峯松信明, 内元清貴, 小磯花絵. コーパス日本語学のための言語資源 : 形態素解析用電子化辞書の開発とその応用. 日本語科学, Vol. 22, pp. 101-123, oct 2007.

[11] Rong-En Fan, Kai-Wei Chang, Cho-Jui Hsieh, Xiang-Rui Wang, and Chih-Jen Lin. Liblinear: A library for large linear classification. J. Mach. Learn. Res., Vol. 9, p. 1871-1874, June 2008.

[12] Kazuma Takaoka, Sorami Hisamoto, Noriko Kawahara, Miho Sakamoto, Yoshitaka Uchida, and Yuji Matsumoto. Sudachi: a Japanese tokenizer for business. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), Miyazaki, Japan, May 2018. European Language Resources Association (ELRA).

## A データや分割単位の違いによる 速度の比較

表 2 は，分割単位を変更した際の各ツールの速度 を比較したものである. KyTea と Vaporetto では, 学習コーパスとして BCCWJ の短単位 (SUW) と長単位 (LUW) のいずれかを利用し，単語辞書は利用して いない. MeCabでは, SUWとして UniDic, LUW と して IPADIC を利用した. Sudachi では SUWとして UniDic 相当，LUW として固有表現 (NE) 相当のオプ ションを利用した.

表 2 分割速度の比較. 単位は [100万文字/秒].

KyTea, Vaporetto, Sudachi, sudachi.rs では, 分割単位の違いによる速度の大きな変化は確認できない。一方， MeCab では UniDic を使用した場合に IPADIC に比べて 2 倍程度の時間を要していることが確認で きる. MeCabで BCCWJを解析した際の L1 キャッ シュミスの回数を perf コマンドで測定したところ， IPADIC を使用した際は $3.6 \times 10^{6}$ 回であったのに対 し，UniDic を使用した際は $63.1 \times 10^{6}$ 回であった。 UniDic を使用した場合，キャッシュミスが多く発生 していることが速度低下の原因となっていることが 伺える。

## B L1キャッシュミスの頻度

図 8 は，罰則パラメータ $C$ を変化させた際の L1 キャッシュミスが発生する回数を示している. BCCWJ の 60,004 文で 10 交差検証を行った際の，各 セットでの合計値を示した. キャッシュミスの回数 は perfコマンドで測定した。

単語辞書を利用しない場合， $C<0.1$ まではモデ ルサイズが小さいため，キャッシュミスの回数が 1 万回程度で抑えられており，キャッシュが効率的に 利用されていることが伺える. しかし， $C>0.1$ で は次第にモデルがキャッシュに乗り切らなくなり， キャッシュミスの回数が増えていくことが確認で

図 8 罰則パラメータを変化させた際の，L1 キャッシュ ミス回数の変化.

きる.

また，単語辞書を利用する場合は，Cが小さい領域でもキャッシュミスが多く発生していることが確認できる.

## C 窓幅と n-gram サイズを変化させ た際の分割速度と分割精度の関係

表 3 は容幅 $W$ と $n$-gram サイズを変化させた際の,分割速度と分割精度の関係を示している。学習には BCCWJ のみ利用し, 単語辞書は利用していない. $W \geq 4$ の場合, 文字種 $n$-gram のスコアを事前計算す るとメモリを多く消費するため，文字 $n$-gram と同様に PMAを利用している.

表 3 窓幅ごとの分割速度と分割精度. 速度の単位は $[100$万文字/秒].

SUW の場合, $W=n=3$ で精度が上限となり, LUW の場合は $W=n=5$ で精度が上限となっている ことが確認できる.


# 構造的曖昧性に基づく読みづらさの検出

吉田あいり 河原大輔
早稲田大学理工学術院
yoshida-a.waihk@ruri.waseda.jp, dkw@waseda.jp

## 概要

日本語文の読みづらさを定量的に評価することを 目的とし,構造的曖昧性を活用した手法を提案する。漸進的要素を組み入れ, BERT による構文解析の結果を用いて評価する. ベースラインには言語モデル による尤度 (サプライザル)を用いて, 読みづらさの 正解データはクラウドソーシングにより文ぺアに対 して複数人の回答を収集したものを使用する. 2 種類の方法で作成したデータにて評価を行い, 提案手法はベースラインに対して有意な結果を得た。

## 1 はじめに

テキストを読む機会は多く,文が読みやすいこと は消費される時間の短縮以外に読者の理解度の向上 にもつながる. そのため, 文の情報を損なわない読み やすい文が必要とされる. 本研究では執筆支援シス テムにおいて想定される読点の挿入や語順整理と いった文の読みやすさの改良の前段階として, 自動的に読みづらい文を検出することを目的とする。

人間における読みづらさは主に読み時間で評価さ れ, 計算機においては言語モデルを用いて計算され る負の尤度であるサプライザルで評価される [1]. こ れは予想と異なる内容が現れた際に読み負荷が高ま るというサプライザル理論に基づいている $[2,3]$. こ こに日本語特有の要素を考慮することで, 本研究で は日本語に適した読みづらさの検出を目指す。

日本語の逐次的な読みやすさにおける先行研究に て, 先行文脈に係り元が多い文節ほど読みやすいこ とや読み間違いが読み負荷を高めることがわかって いる. 例えば, 文 (1) [4] は「男性を」の部分で再解釈 に要する読み時間が増加する。

（1)警官が犯人を捕まえた男性を...

本研究では構造的曖昧性に着目し, 漸進的構文解析結果と係り先の保留のプロセスを利用して読みづ らさの検出を行う。

## 2 関連研究

## 2.1 読みやすさの分析

人間の読みづらさは読み時間を用いて評価されて おり, 読み時間を主軸とした分析がされる. 日本語の 読み時間データは BCCWJ-EyeTrack が整備され, 先行文脈に係り元文脈が多い要素ほど読み時間が短く なるということが分析されている [5]. また, 日本語 の読解時間と統語・意味カテゴリの対比分析におい ても関連する先行文脈が読み時間の減少に関与する こと [6] や, 文の意味的曖昧性の高さが構造的曖昧性の解消/保留に影響することがわかっている $[4,7]$.他にも個別の言語現象が読み時間に与える影響に対 して分析が行われている $[8,9]$.

これらは読みやすい文における知見ではあるが，統一的な傾向は定かではない. そこでサプライザル 理論に基づいて, 日本語読み時間に関する傾向がサ プライザルが大きいところで読みにくくなるという 傾向に統一的に解釈できるかという仮説検証がなさ れた [10]. 読み時間の様々な傾向がサプライザルで も再現され, 情報量の観点から解釈できることが示 されている。

## 2.2 ガーデンパス効果

読み時間が増加する要素の 1 つとしてガーデンパ ス (GP) 効果がある.これは, 文の理解の途中で一時的に誤った解釈をし, 続きを読んだ際に誤解に気づ いて解釈をし直す事になるが，この再解釈により発生する処理負荷や読み直しにかかるコストにおける 効果である. 文理解の初期段階で曖昧性を解消しよ うとするために, 結果として誤解釈が発生する.この 効果がもたらす構造的曖昧文の性質は言語の構造に より異なることが分析されている [11]. GP 文は最後 まで解釈が曖昧な場合もある. 例えば，「かわいい少女の猫」の「かわいい」が修飾するのはこの部分の みでは決定できない。

## 2.3 単語親密度

本研究では構造要素による読みづらさに着目する ために, 単語難易度による影響を減らす工夫が必要 である. WLSP-familiarity ${ }^{1)}$ は「分類語彙表」増補改訂版データベースに親密度情報を付与したもの [12] であり, 見知らぬ単語による読みづらさを軽減する ためにこれを用いてフィルタリングを行う.

## 2.4 漸進的係り受け解析

人間の言語理解過程には漸進性があり, 音声言語 アプリケーションの基盤技術として漸進的係り受け 解析技術の研究がなされている [13]. 言語処理過程 のデータを構築・分析することにより人間の漸進的係り受け解析能力や入力予測能力の解析がなされて いる $[14,15]$. 逐次処理を行うために, 係り先を未入力部分と見做し, 未大力の中でも同一文節であるの かまで考慮してアノテーションが行われている.人間の言語理解には漸進性がある [16] が, 特に音声で は大力と同時に処理することが求められ, 漸進的言語処理システムが開発されている. 本研究ではテキ ストに漸進性を組み込むことで, GP 効果等の特徴を 考慮する。

## 3 構文解析

読みづらさを検出するために, 構造的に曖昧な文 を示すラベル付きデータなしで活用できる機械学習 を用いた構文解析を行う。

## 3.1 BERT に基づく構文解析

BERT を活用し, 日本語構文解析の精度を向上さ せる手法 (BERTKNP) が提案されている [17]. 構文解析を head [18] の選択と見なすことによりBERTに 1 層追加する形で実装を行っている. 事前学習された モデルを活用することで, 大量の生コーパスを利用 し構文解析の精度向上を達成している。

## 3.2 漸進的構文解析手法

BERT による構文解析に漸進的な視点を入れるこ とで, 人間が読む際の要素を追加する. 単語ごとに係 り受けのアノテーションがなされた文 (Original) に 対して, 単語が 1つずつ入力される過程 (Slided) を考 えていく.ある単語が入力されるまでの部分におけ る, 係り受け構造を学習データとして作成する. 入力

図 1: 漸進的構文構造データ作成

される単語数を 1 ずつずらしていくことで漸進的な データを実現する. 図 1 のように Slided の入力は文 の途中までであり, 未入力部分に係る単語も存在す る. その場合は係り先を特定単語ではなく,未決定 ([UND]) と指定する [14]. 単語ごとにずらして作成 した文は Original に対しての分量が非常に多くなる ため, Slided について過学習を起こす可能性がある. そこで Slided には $\mathrm{n} \%$ の制限を設ける. どの程度漸進的データを追加するべきかとシャッフルの必要性は 予備実験にて確認する.

## 3.3 解析結果

漸進的構文解析において適切な漸進的データ量を 確認するために, 実験の結果を表 1 に示す. 精度は単語単位での精度と文単位の精度の平均の 2 通りで算出した. 加えて [UND] の再現率も測定した. 日本語 BERT は NICT BERT 日本語 Pre-trained モデル2)を使用した. fine-tuning には京都大学テキストコーパス (新聞) と京都大学ウェブ文書リードコーパス (ウェ ブ) の 2 種類を混合したコーパス約 5 万文を使用し，元論文にならい 3 epoch 回した. また, 評価には京大 コーパス約 4,000 文を使用した.

京大コーパスにおいては加工しない BERTKNP が一番精度が高い. 漸進的要素を加えた Slide All (Orig+Slided 100\%) においては元のデータに $5 \%$ 混合 したデータを用いて学習したモデルが一番精度が 良く, 再現率は $50 \%$ 混合した場合が良い值となった。 また, 予測精度と再現率はデータをシャッフルする ことによる悪影響を受けることがわかった. 漸進的 データの追加は精度の向上に直結しない上, 計算資源と時間を消費する. 本研究では, 精度を重視して 5\%のみ追加したデータで fine-tuning したモデルを用 いてこれ以降の実験を進める。

表 1: 漸進的構文解析の精度

表 2: 各データの文ペア数

## 4 実験

## 4.1 正解データ作成と評価方法

読みづらさの正解データを作成するために, 京大 コーパスに前処理として単語親密度によるフィルタ リングを行い, 親密度が負のスコアを持つ形態素を 含む文を除外した. また, 形態素数が 20 に満たない 文も除去し, 形態素数が 20 から 30 のものと 30 以上 のものに分割後, 文長によるソートを行ってから文字数順に 2 文のペアを作成した. これにより, 単語難易度による難読性を排除した上で, 文長だけでなく 形態素数の近い分ペアを作成している.このペア文 の比較による評価を行う. Yahoo!クラウドソーシン グにより 1 ペアに対して 10 人の回答をフィルタリ ングされた 322 文について収集した. 2 文のうちど ちらが構造的に読みづらいかという質問に対して, [文 $\mathrm{A}$, 同等, 文 $\mathrm{B}$ ] の 3 つの選択肢を用意した.

文法構造を考慮した読みづらさとして以下の 2 つ の要素を挙げ,これに基づき評価させた。

1. 複数の解釈ができる

2. 理解に反復が必要となる

収集データから 2 種類の正解データを作成し, そ れぞれのデータにおいて評価を行う.作成された正解データのペア数を表 2 に示す.

多数決 10 人中 $\mathrm{n}$ 人の回答が一致したぺア文を 正解データとする. 例えば, [文 $\mathrm{A}$, 同等, 文 B] の回答数が $[6,3,1]$ の際は, $\mathrm{n}=5$ の場合は文 $\mathrm{A}$ が読みづらい データとして採用され, $\mathrm{n}=7$ の場合は使用しない. 評価は [文 $\mathrm{A}$, 同等, 文 $\mathrm{B}$ ] の全ての精度により行う.

平均 [文 $\mathrm{A}$, 同等, 文 $\mathrm{B}$ ] の回答を $[-1,0,1]$ の数値と 見なして各回答数の和をスコアとする. 閾値 $\mathrm{m}$ を使用し, $[-10,-m),[-m, m],(m, 10]$ をそれぞれの回答 として分類する. $\mathrm{m}$ の値は難易度の判別がつかない 文ペアが十分除かれたものを選択する. 正負でスコ アリングしているため, [文 $\mathrm{A}$, 同等, 文 $\mathrm{B}$ ] の 回答数 が $[2,7,1]$ と $[5,1,4]$ の場合のスコアはどちらも-1 と なる. 従って, 同等である回答が多くとも判別できな いため, 文 $\mathrm{A} \cdot \mathrm{B}$ のどちらが読みづらいかのみを扱 い, 同等なものは除外した精度により評価する。

多数決・平均手法共に, $\mathrm{n} / \mathrm{m}$ を大きくするほど確実 に読みづらい文ぺアを取得できるが, 使用できるぺ ア数が減少するため適当な $\mathrm{n} / \mathrm{m}$ を抽出した.

## 4.2 読みづらさの検出方法

本研究では,作成した漸進的データを用いて学習 した構文解析モデルによる解析結果から係り先が未決定 ([UND]) である数を長さで正規化したものを読 みづらさのスコアとする. 人間の言語理解の漸進性 を取り入れた上で, 係り受け構造の保留により受け る読みづらさを考慮している. 本研究では 2 文のど ちらが読みづらいかまたは同等であるかを正解とし て扱うが, スコアは数値で算出される. そこでスコア の差分を取り, その絶対値が閾値以下のものを同等 である場合として評価する. 間値は精度が最も高く なる値を選んだ。

ベースラインにはサプライザルとして $-\log p(x \mid$ 先行文脈）を使用する. 実装では-log_softmax を使用 した. サプライザルは尤度の反転であり,これが大き いほど読みづらいと言える.これを計算するために 言語モデル $\mathrm{GPT}-2^{3)}$ を利用した.こちらもスコアの差分から同等である場合の評価を行った。

## 4.3 結果

表 3 に各データにおける精度の結果を示す. 正解 は漸進的構文解析が全て正しく付与されたデータを 用いて算出した精度である. 提案手法は多数決と平均どちらのデータに対しても読みづらい文の検出を することができた. 確実に難易度に差があると判断 された文ぺア (多数決 $n=7$, 平均 $m=3$ ) に対しては特 に有意な差が現れた。

3) https://huggingface.co/colorfulscoop/gpt2-small-ja
表 3: 読みづらさ検出の精度

(a) 各単語長でのカウント

(b) 各単語長での累積図 2: [UND] 数の比較

## 5 考察

## 5.1 難しい文と平易な文

構造的に難しいと判別された文の特徴として主語 が省略されているものや, 並列構造等が見られた. 文長が短いために一定数主語が無い文が存在してお り,これらを排除することでより構造に焦点を当て た実験を行うことができると考えられる. また, 長い 名詞句やカタカナは中身を読まずに塊であると判別 できるため簡単と評価される傾向があった.

ここで, 図 2 にて難易度判定により有意な差を得 た文における係り先未決定の動きを見る. 以下の文 (2a) は 10 人中 9 人が読みづらい文として選択し, 1 人が同等であると回答した.

（2）a.しかし、旧民社党は大半の議員が新進党に 参加し、さきがけとの連携も流動的で連携相手は不確定だ。

b.初期の警察署が置かれたセントラル地区の ハリウッド通りには、インド料理店やイン ド系企業が多い。

(2b) は大力に適宜係り先が決定されているが, (2a) は保留されていることがわかり, 文の構造的難易度 により未決定数に差が生じることが確認できる.

## 5.2 読みづらさの正解データ作成

多数決方式の $\mathrm{n}=5$ においては [文 $\mathrm{A}$, 同等, 文 B] の 回答数が $[1,4,5]$ の様な回答が存在し, 小さい $\mathrm{n}$ に対 しては難易度の定まらない文が混在していると考え られる. 平均方式はこの欠点はカバーできるものの，同等の文に対しての評価ができなくなる。

多数決方式にて $\mathrm{n}$ の値により収集される文ペアを 見ていく. $\mathrm{n}=5$ の例として (3), $\mathrm{n}=7$ の例として (4)を 示す. (3a)と (4b) が読みづらい文である.

（3）a.九七年まで村山政権が続くのは安定かもし れないが、確信を持って政治がやれるのか。

b.この時は大分舞鶴がロスタイムに入って追 いつき、抽選で長崎北陽台が決勝に進んだ。

（4） a.同県警では、県警山岳救助隊など約七十人で捜索したが、午後五時、捜索を打ち 切った。

b.本に囲まれ、埋もれ、重みで床が抜けそう だ、と心配するような生活にあこがれて いる。

(3) は文構造が似通っており難易度にさほど差が 感じられないが, (4b) には並列構造が見られ, 係り先 の理解に時間を要する. $\mathrm{n}$ をきくすることで確か に難易度差がある文ぺアを取得している。

## 5.3 校正における活用

構造的曖昧性の絶対評価は難しく, 本研究では 2 文の比較による評価を行った. 難易度のスコアはサ プライサルと提案手法のどちらも各文ごとに付与し ている.そのため読みづらいと判別された文のスコ アの平均・分散における解析が, その文単体での難易度の判別に繋がる.これを用いて難しい文の指摘 を行うことで筆者による修正や自動書き換え等の校正への活用が見込まれる。

## 6 終わりに

日本語構造に着目した読みづらさの検出を行なつ た. 漸進的構文解析による, 未入力文脈への係り構造 を利用することで, サプライザルに比べて構造的に 読みづらい文の検出を行うことができた. 今後は構文解析結果の top-K 比較による構文確率の比較や語義曖昧性への拡張などによる読みづらさの検出を検討する. また, 特定の曖昧性に的を絞った正解データ の用意は困難であり, 収集方法も改善の余地がある.

## 参考文献

[1] Martin Schrimpf, Idan Blank, Greta Tuckute, Carina Kauf, Eghbal A. Hosseini, Nancy Kanwisher, Joshua Tenenbaum, and Evelina Fedorenko. The neural architecture of language: Integrative reverse-engineering converges on a model for predictive processing. bioRxiv, 2020.

[2] John Hale. A probabilistic earley parser as a psycholinguistic model. In Proceedings of the Second Meeting of the North American Chapter of the Association for Computational Linguistics on Language Technologies, NAACL '01, p. 1-8, USA, 2001. Association for Computational Linguistics.

[3] Roger Levy. Expectation-based syntactic comprehension. Cognition, Vol. 106, No. 3, pp. 1126-1177, 2008.

[4] 井上雅勝. 文の意味的曖昧性が構造的曖昧性の解消 と保留に及ぼす影響 (2). 日本認知心理学会発表論文集, Vol. 2011, pp. 74-74, 2011.

[5] 浅原正幸, 小野創, 宮本 エジソン正. Bccwj-eyetrack :『現代日本語書き言葉均衡コーパス』に対する読み 時間付与とその分析. 言語研究, No. 156, pp. 67-96, 2019.

[6] 浅原正幸, 加藤祥. 読み時間と統語・意味分類. 認知科学, Vol. 26, No. 2, pp. 219-230, 2019.

[7] 井上雅勝. 文の意味的曖昧性が構造的曖昧性の解消 と保留に及ぼす影響. 日本認知心理学会発表論文集, Vol. 2010, No. 0, pp. 81-81, 2010.

[8] Masayuki Asahara. Between reading time and clause boundaries in japanese- wrap-up effect in a head-final language一日本語の読み時間と節境界情報一主辞後置言語における wrap-up effect $の$ 検証一. Journal of Natural Language Processing, Vol. 26, pp. 301-327, 06 2019.

[9] Masayuki Asahara. Between reading time and the information status of noun phrases 名詞句の情報の状態 と読み時間について. Journal of Natural Language Processing, Vol. 25, pp. 527-554, 122018.

[10] 栗林樹生, 大関洋平, 伊藤拓海, 吉田遼, 浅原正幸, 乾健太郎. 日本語の読みやすさに対する情報量に基づ いた統一的な解釈. 言語処理学会 第 27 回年次大会発表論文集, pp. 723-728, 2021.

[11] 井上雅勝. ガーデンパス現象に基づく日本語文理解過程の実証的研究. 大阪大学博士論文, 2000.

[12] 浅原正幸. Bayesian linear mixed model による単語親密度推定と位相情報付与. 自然言語処理, Vol. 27, No. 1, pp. 133-150, 2020.

[13] Tomohiro Ohno and Shigeki Matsubara. Dependency structure for incremental parsing of Japanese and its application. In Proceedings of the 13th International Conference on Parsing Technologies (IWPT 2013), pp. 91-97, Nara, Japan, November 2013. Assocation for Computational Linguistics.

[14] 大野誠寛, 松原茂樹. 漸進的係り受け解析の出力構造一人間の文解析過程のアノテーション-. 言語処理学会 第 22 回年次大会 発表論文集, pp. 457-460, 2016.

[15] 後藤亮, 大野誠寛, 松原茂樹. 人間の漸進的言語処理能力の分析. 情報処理学会 第 82 回全国大会, pp. 457-458, 2020.
[16] Gerry Altmann and Mark Steedman. Interaction with context during human sentence processing. Cognition, Vol. 30, No. 3, pp. 191-238, 1988.

[17] 柴田知秀, 河原大輔, 黒橋禎夫. Bert による日本語構文解析の精度向上. 言語処理学会第 25 回年次大会発表論文集, pp. 205-208, 2019.

[18] Xingxing Zhang, Jianpeng Cheng, and Mirella Lapata. Dependency parsing as head selection. In EACL 2017, pp. 665-676, 2017.