# 日本語学習者の単語表記の自動評価に向けて

Dolça Tellols $^{1}$ 徳永 健伸 ${ }^{1}$ 横野 光 ${ }^{2}$
1 東京工業大学 情報理工学院 2 株式会社富士通研究所
\{tellols.d.aa@m, take@c\}.titech.ac.jp yokono.hikaru@fujitsu.com

## 1 はじめに

言語学習者の増加にともない，コンピュータ を使った言語学習支援 (Computer Assisted Language Learning) システムの研究が関心を集めている [1]. また，学習支援と同時に学習者の言語知識や言語能力を自動的に評定することも重要な研究課題であ る. 文法や語彙の全体的な知識だけではなく，より 詳細な要素を測る尺度があれば学習者の言語能力の 長所と短所を正確に把握することができる. その結果を元に学習者はより効率的に勉強でき, 教員も学習者のニーズに合わせた教え方ができる.

本研究は言語学習者の言語能力を構成する一つ の次元である語彙に注目する。語彙は読んだり聞 いたりする時に使う理解語彙と書いたり話したり する時に使う使用語彙に分けられると言われてい る $[2,3,4,5,6]$. 従来，選択肢問題を使って理解語彙を評定する研究は盛んにおこなわれているが [7],使用語彙を評定する研究は少ない。その理由のひと つとして，評定対象の語を学習者に使用させる文脈 を用意することは難しいことがあげられる.

これまでにも，使用語彙のサイズを予測する テストや尺度がいくつか提案されている. 例え ば，文を完成させる Productive Vocabulary Levels Test (PVLT) [2], 語彙頻度リストを使って作文に出てくる 語彙の分布を測る Lexical Frequency Profile (LFP) [8],刺激単語から連想する単語を書かせ，その単語の難易度によってスコアを計算する Lex30テスト [9] な どがある. 本研究では語彙サイズではなく，単語表記の正確さに着目する. 話し言葉の場合，単語表記 の正確さを評価するために発音に注目するべきだ が，書き言葉の場合，言語の特徵によって注目する べき点が異なる．英語のように一つの表記体系しか 使わない言語はこの次元を評価するためにスペルミ スに注目することになる. しかし, 日本語のように 複数の表記体系を持つ言語では，誤字 (スペルミス を含む) だけではなく, 使われている表記体系の適切さも考慮するべきである。本稿では，書き言葉に おいて日本語学習者の単語表記の正確さに関する評価次元を定義し，自動評価に向けて解決すべき課題 について議論する。

## 2 関連研究

本研究は日本語学習者の単語表記の正確さを測 るために誤字と表記体系の適切さを考慮する. 自動評価を目指しているため，キーボード入力を仮定する。キーボード入力における自動タイポ修正 を目指している研究はいくつか存在する. Hagiwara ら [10] は Github ${ }^{1)}$ データを用いて自動的に多言語ス ペルミス・コーパス2)を構築した. Tanaka ら [11] は Wikipedia ${ }^{3}$ の編集履歴を用いて日本語タイポ・デー タセット4)を構築し，タイプ修正のためにエンコー ダーデコーダーモデルを学習した。高橋ら [12] は株式会社リクルートテクノロジーズのデータを使って BLSTM に基づく誤字脱字検出システムを構築した。 そして，Komatsu ら [13] は日本語タイポを分類する ためにアテンション付き LSTM モデルを学習した. これらの関連研究の多くは母語話者のデータを基に している. しかし，日本語学習者の誤り傾向は母語話者と違う可能性があるため, 実際の学習者から得 られたデータも調べる必要がある.

以下，言語学習者データを利用した関連研究を 紹介する. Mizumoto ら [14] は母語話者が修正した 学習者の Lang- $8^{5}$ データを用いて日本語自動誤字修正のための Lang-8 コーパス)を構築した. その後, Koyama ら [15] はこのコーパスの一部にアノテー ションを行なって，エラー修正モデルの評価のため に新たなコーパス7)を構築し，それを用いて Lang-8

コーパスで学習したニューラル機械翻訳と統計機械翻訳モデルを評価した. 同じデータを用いて， Homma ら [16] \& NAR(non-autoregressive) ニューラ ル機械翻訳モデルを学習し評価している。これらの 研究は語彙・文法を併せて修正するモデルを構築し ているが，本研究では語彙，特に単語の表記に注目 する。

誤字に関する研究が多い一方で，表記体系の使い 方を調査した研究は少ない. 高校教科書に出てくる 字の表記体系の割合を示している研究 [17] や時間経過とともに漢字と仮名の使用率がどう変わるかを調査した研究がある $[18,19]$. しかし, その使用率と 学習者の習熟レベルとの関係を調査している研究は 見あたらない。

Takaoka ら [20] は，日本語の表記体系が複雑で正書法が厳密でないため，表記摇れが日本語形態素解析の課題となっていることを議論している.

## 3 単語表記の正確さの定義

本研究では日本語の単語表記の正確さを定義する ため，入力された語が以下の三つのクラスのいずれ かに分類されることを仮定する。

(A) 正解

誤字を含まず適切な表記体系で書いてある 場合.

(B) 不適切な表記体系

漢字表記が適切だと考えられるのに仮名表記さ れているなど，使われている表記体系が不適切 な場合.

(C) 誤字

スペルミス，変換ミスなどのように単語として 成立していない場合.

例えば，「今日は共だちとコンサトにいきたいで す.」の正しい表記は「今日は友だちとコンサート に行きたいです.」である.この中で「今日」は正し いので (A)，「共だち」は「友だち」の誤字 (変換ミ ス)なので (C)，「コンサト」は「コンサート」の誤字 (スペルミス)なので (C),「いきたい」は「行きたい」 と書く方が適切なので (B) にそれぞれ分類できる。

## 4 自動評価に向けての調査

本節では, 単語表記の自動評価に向けて日本語学習者と母語話者のデータを分析し，そのデータを分類するモデルを試作し，分類における問題の分析を行った.

## 4.1 データ

今回分析したデータは東京工業大学に所属して いる 14 人の日本語学習者と 2 人の日本語母語話者 から得られたテキストデータである．学習者集合は 様々なレベル (初級者 4 人, 中級者 5 人，上級者 3 人，超上級者 2 人)，様々な国籍 (中国 4 人，インド ネシア 3 人，台湾 2 人，英国 1 人，サウジアラビア 1 人，米国 1 人，ネパール 1 人，シンガポール 1 人) で構成されている. 学習者のレベルは日本語授業の クラス分けテストの結果を基に分類した.

頭に浮かんだ単語：
1. かさ
6. コート
2. 雨
7. 街
3. $<8 り$
8. 持つ
4. かばん
9. 黒
5. 歩<
10. (無解答)

画像の説明 :

雨が降って色々な人が傘とかばんを持ち、街 の中を歩いている。

図 1 データ収集タスクの例

データは STAIR キャプションデータセット [21] を用いて生成した画像セットについて記述するタス ク (図 1) から得た. 各画像セットの被写体は共通点 を持っており，学習者がテキストを書くための刺激 になる. 学習者には画像セットごとに 3 分以内に頭 に浮かんだ 10 語と画像の説明 (可能な限り 20 字以上)を書かせた. 図 1 中で青字の部分が学習者の入力に相当する. 今回は，10 個の画像セットを使って 得られた合計 144 の応答を使っている. このデータ は Django ${ }^{8)}$ で作り, Heroku ${ }^{9}$ )でデプロイした Web ア プリケーションを通して収集した. アプリ内でブラ ウザーのスペルチェックオートコンプリートとオー トコレクト機能を使えないように設定した。

## 4.2 単語表記分類モデルの試作

本研究では Python(バージョン 3.6.0) と以下のラ イブラリーや APIを使って単語表記の分類を実装 した.

1. pykakasi ${ }^{10)}$, バージョン 1.2.

2. Google CGI API for Japanese Input ${ }^{11)}$.

3. mecab-python ${ }^{12)}$, バージョン 0.996.2(デフォル 卜辞書).

pykakasi は平仮名と片仮名への変換のために使い, Google の API はかな漢字変換のために使った. 日本語では単語の間に区切りがないため，MeCabを用 いて単語分割とフィルタリング (名詞-固有名詞と数以外-，自立動詞，形容詞と副詞だけを考慮する)を 行った.

試作した分類モデルの入力は，図 1 の課題に対 して入力された「頭に浮かんだ単語」と「画像の説明」である. 使っている画像と STAIR キャプショ ンデータセットにある対応しているキャプション (母語話者が書いた)を文脈として扱う。 さらに，語 として成立するかどうかを判断するために『現代日本語書き言葉均衡コーパス $(\mathrm{BCCWJ}) 』 の$ 語彙表 (BCCWJ 長単位語彙表 $)^{13}$ を使った.

学習者の入力を 3 節で述べた単語表記のクラスに 分類する処理を以下に示す. 前処理として，入力か ら空白と改行を削除する。

(1) 入力を Google の API によって変換する.

(2) 4.3.3 節の分析に基づき，文脈を参照し，変換結果に以下の後処理を行う：

－漢字一文字とその次の部分の変換結果を修正する.

一平仮名一文字と漢字一文字の変換を修正 する。

一ある単語の変換結果が複数ある場合，その 中に文脈に表れるものがあればそれを採用 する.

(3) MeCabを使って (2) の結果に単語分割とフィル タリングを行い，単語集合を得る。

(4) 元の入力とそれを平仮名に変換したものを参照 し，(3) で抽出された各単語を次のように分類 する：

10) https://github.com/miurahr/pykakasi/

11) https://www.google.co.jp/ime/cgiapi.html

12) https://taku910.github.io/mecab/

13) https://pj.ninjal.ac.jp/corpus_center/bccwj/
- 単語にローマ字が含まれている場合か，変換ミスと認識された場合か，語彙表に存在 していない場合は (C) に分類する.

一誤字が含まれなくて入力に対して処理され た単語の表記体系に変化があった場合は (B) に分類する.
- それ以外の単語は (A) に分類する.

例えば，入力として「きれいなそらで たこを あそびに そとへいきます。」を与えると，(1)〜 (3) の処理の結果として次の単語集合が抽出できる：「きれい」,「空」，「たこ」，「遊び」，「外」，「行き」，各単語に対して，(4) の処理で「きれい」と「たこ」は クラス (A) に分類され，「空」，「遊び」，「外」と「行 き」はクラス $(\mathrm{B})$ に分類される.

## 4.3 議論

今回の実験は規模も小さく，手法も暫定的なもの なので，これまでにわかった問題点について定性的 な分析を述べる.

## 4.3.1 誤字判断の難しさ

学習者の入力を人手で確認した際，誤字かどうか の判断が困難な事例が見られた。例えば，「じゅ」の ように平仮名で書かれてあるものは学習者が何につ いて言及したかったのかを推測することが難しく，定義したクラスのどれに該当するかを判断すること ができない，誤字かどうかを判断するためには文脈 を考慮することが重要である．例えば，電車の写真 が提示された問題に対してある学習者が「記者」と 書いたとする。これ自体は単語として存在している ため，正確さには問題ないと判断してしまう。しか し，文脈を考慮すると恐らく学習者は「汽車」と書 きたかったのだろうが，かな変換の誤りで「記者」 としてしまったと推測することができる。

また，語彙の誤りなのか文法の誤りなのかの判断 が難しい事例もある．例えば，「飛びる」のような 入力に対して，学習者は「飛ぶ」か「飛べる」を書 きたかったと推測するとこの入力を活用の誤りだと みなして，語彙の正確さに関しては問題がないと判断することもできる。しかし，本来は存在しない単語である「飛びる」を書いたと推測するとこの入力 は語彙に関する誤りとして単語表記の正確さの評価 の際に考慮する必要がある.

「シャレオツ」のような俗語も学習者は入力して おり，このような語を誤字とすべきか，正確な語と

して扱うべきかを決めなければならない。

試作のモデルでは判断が難しかった誤字もいく つかあった。例えば，「たくらん」(学習者は「たく さん」を書きたかったと推測される) が処理の後に 「托，卵」になり誤字として扱えなかった。また，単語分割や変換の問題で判断できなかった誤字には 「レフォーム」(「リフォーム」)，「みなあさん」(「み んなさん」)，「どこ度も」(「どこでも」)，「おとも」 (「とても」)などがあった.

誤字を正確に認識するためにはどの文字列が誤字 であるかがアノテーションされたデータが必要だと 考える。そのデータを用いることで単語分割モデル を改良し，誤字を含む単語の認識率を上げることが できると考えられる。

## 4.3.2 表記体系の適切さの判断の困難性

日本語の表記には平仮名，片仮名と漢字があり，日本語話者は状況に応じてそれらを使い分ける．漢字で書ける語彙は漢字で書く場合が多いが，その表現を柔らかくするため平仮名で書いたり，強調する ために片仮名で書いたりすることもある．それに加 えて，読み手を考えて，文章を読みやすくするため に表記体系を調整することもありえる。例を挙げる

は(母)」，「ひも(紐)」，「わかりません (分かりませ ん)」,「ごみ(ゴミ)」などがある.

単語表記を (B) として判定する際に，その単語単独で判断するのではなく, 入力全体の表記のバラン スも考慮して判定することも考えられる。

## 4.3.3 Google の API の問題点

API から得られる出力が正しい変換結果でない場合がある．例えば，木が写っている画像に対する単語として入力された「き」が「木」ではなく「気」 になり，「むら」が「村」ではなく「ムラ」になり，「よる」は「夜」ではなく「よる」のまま残る，とい うことが起きる。また，文脈によって API の変換結果も異なる場合がある．例を挙げると，「うち」は そのまま入力すると「家」にならないが「うちもき れいとおもいます.」のような入力においては「家」 と変換される.

Google の API が行う単語分割において誤りが発生 することもある．例えば，「この動物は白いと黒い 線があります.」の入力において，「白いと」は「白，糸」になり，「黒い」は「黒，位」になる．また，「楽
しむ活動」は「楽し無活動」になり，「奪うために」 は「奪うた目に」になるといった問題もある。この 問題に対しては，APIの入力に文節区切りの位置を 指定することができるため，別の自動単語分割シス テムの結果に従い，区切りを決めたら API から得ら れる出力が改良できると考えられる。

## 4.3.4 MeCab の単語分割の問題点

平仮名の入力に対しては，単語分割が誤る場合 がある．例えば，「たべもの」(食べ物) は「たべ，も の」になり，「かぞく」(家族) は「か，ぞ，く」にな り，「そと」(外)は「そ，と」になる。

それに加えて，入力に誤字が含まれている場合 も，その誤字の影響で単語分割が誤ることがある.例を挙げると，「りょきょうのためにじゅんびしま す.」(今日のために準備します) という文章を入力 すると「りょ」という誤字のために「り，ょきょう のためにじゅんびします,.」という単語分割を得 る.これを解決するために現在の試作でかな変換を 行なった後で単語分割することを検討している。し かし，今使っているかな変換 API からまだ理想的 な出力は得られない. 別の解決方法としては，アノ テーションされたデータを使い，平仮名で書いてあ る単語と誤字を含む単語を考慮する辞書を準備し,単語分割システムがその辞書を使うようにすること が考えられる。

## 5 おわりに

本稿では，日本語学習者と言語教育関係者を支援 するために，単語表記の正確さを定義し，自動評価 に向けて調査した．単語表記の正確さの定義におい て誤字と表記体系の適切さに注目し，ルールベース での単語表記分類モデルを試作した. 実際に学習者 が作成したデータを用いて評価を行うことで，解決 すべき課題や問題点が明らかになった. 特に，試作 したモデルでは用いたかな変換と単語分割システム の誤りが問題となる.

単語表記の正確さの自動評価に向けて, 今後の課題はスコアの決定，試作した分類モデルの改良とア ノテーションガイドラインの作成である.

## 参考文献

[1] Detmar Meurers and Markus Dickinson. Evidence and interpretation in language learning research: Opportunities for collaboration with computational linguistics. Language Learning, Vol. 67, No. S1, pp. 66-95, 2017.

[2] Batia Laufer and Paul Nation. A vocabulary-size test of controlled productive ability. Language testing, Vol. 16, No. 1, pp. 33-51, 1999.

[3] Stuart Webb. Receptive and productive vocabulary sizes of 12 learners. Studies in Second language acquisition, Vol. 30, No. 1, pp. 79-95, 2008.

[4] Birgit Henriksen. Three dimensions of vocabulary development. Studies in second language acquisition, Vol. 21, No. 2, pp. 303-317, 1999.

[5] Paul Nation. Learning vocabulary in another language. Cambridge University Press, 2001.

[6] John Read. Assessing Vocabulary. Cambridge University Press, 2000.

[7] David Beglar and Paul Nation. A vocabulary size test. The language teacher, Vol. 31, No. 7, pp. 9-13, 2007.

[8] Batia Laufer and Paul Nation. Vocabulary size and use: Lexical richness in L2 written production. Applied linguistics, Vol. 16, No. 3, pp. 307-322, 1995.

[9] Paul Meara and Tess Fitzpatrick. Lex30: An improved method of assessing productive vocabulary in an L2. System, Vol. 28, No. 1, pp. 19-30, 2000.

[10] Masato Hagiwara and Masato Mita. Github typo corpus: A large-scale multilingual dataset of misspellings and grammatical errors. arXiv preprint arXiv:1911.12893, 2019.

[11] Yu Tanaka, Yugo Murawaki, Daisuke Kawahara, and Sadao Kurohashi. Building a Japanese typo dataset from wikipedia' s revision history. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: Student Research Workshop, pp. 230-236, 2020.

[12] 高橋諒, 䒾田和麻, 多田明寛, 石川信行. Bidirectional $1 \mathrm{stm}$ を用いた誤字脱字検出システム. 人工知能学会全国大会論文集一般社団法人 人工知能学会, pp. 3C4J903-3C4J903. 一般社団法人 人工知能学会, 2019.

[13] Ryuki Komatsu, Rin Hirakawa, Hideaki Kawano, Kenichi Nakashi, and Yoshihisa Nakatoh. Study on mistype correction support using attention in Japanese input. In 2020 IEEE International Conference on Consumer Electronics (ICCE), pp. 1-2. IEEE, 2020.

[14] Tomoya Mizumoto, Mamoru Komachi, Masaaki Nagata, and Yuji Matsumoto. Mining revision log of language learning sns for automated Japanese error correction of second language learners. In Proceedings of 5th International Joint Conference on Natural Language Processing, pp. 147-155, 2011.

[15] Aomi Koyama, Tomoshige Kiyuna, Kenji Kobayashi, Mio Arai, and Mamoru Komachi. Construction of an evaluation corpus for grammatical error correction for learners of Japanese as a second language. In Proceedings of The 12th Language Resources and Evaluation Conference, pp. 204-211, 2020.

[16] Hiroki Homma and Mamoru Komachi. Nonautoregressive grammatical error correction toward a writing support system. In Proceedings of the 6th Workshop on Natural Language Processing Techniques for Educational Applications, pp. 1-10, 2020.

[17] Takushi Tanaka. Statistical analysis of Japanese characters. In COLING 1980 Volume 1: The 8th International Conference on Computational Linguistics, 1980.

[18] Dilhara Darshana Premaratne. Is the use of kanji increasing in the Japanese writing system? Electronic Journal of Contemporary Japanese Studies, 2012.

[19] Yuko Igarashi. The changing role of katakana in the Japanese writing system. PhD thesis, 2007.

[20] Kazuma Takaoka, Sorami Hisamoto, Noriko Kawahara, Miho Sakamoto, Yoshitaka Uchida, and Yuji Matsumoto. Sudachi: A Japanese tokenizer for business. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), 2018.

[21] Stair captions: Constructing a large-scale Japanese image caption dataset. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 417-421, Vancouver, Canada, July 2017. Association for Computational Linguistics.


# 多言語モデルの転移学習による日本人英語音声認識

森 滉介HOU, Wenxin篠崎 隆宏

東京工業大学 工学院 情報通信系

www.ts.ip.titech.ac.jp
## 1 はじめに

近年，end-to-end アプローチにより，DNN ベース の単一モデルによる自動音声認識が可能となっ た $[1,2,3]$. 広範なコーパスを学習させたモデルは，人間と同等かそれ以上の音声認識性能を示す。一方，少量の音声データでは，高い認識性能を示すモ デルの学習は難しい. 非ネイティブ話者の発音は母国語の影響を受けやすいため，非ネイティブ音声認識では，同じ母国語を持つ話者の音声をモデルに学習させることが望ましい. それに伴ってモデルに学習させる非ネイティブ話者の音声データが必要と なるが，非ネイティブ話者の数は少ない上に，音声 には不自然な発音が多い。非ネイティブ音声の収集 とラベル付けは，ネイティブ音声に比べて困難であ る [4].

音声データが少ない言語における音声認識手法と して転移学習がある。主流となっている手法では，学習データが豊富な言語の音声をモデルに事前学習させ，認識対象言語の音声でモデルを再学習させ る $[5,6]$. モデルの隠れ層を言語間で共有させるこ とで，言語に依存しない普遍的な音声表現の抽出が 可能となる $[7,8]$. さらに最近では，適応させる言語知識の範囲を拡大し，多言語の音声を end-to-end ネットワークに事前学習させ，低資源言語に対する 音声認識性能を高めている $[9,10]$.

非ネイティブ音声を一種の低資源言語と捉え，転移学習を用いて他の言語知識を適応させる手法が提案されている [11,12]. しかし, これまでの研究で は，非ネイティブ音声認識に適応させる知識は 2 , 3 言語に限られている。そこで本稿では，高精度の 日本人英語音声認識を目的とし，適応させる知識を 多言語に拡張した転移学習アプローチを提案する。

## 2 関連研究

## 2.1 低資源言語音声認識

低資源言語における音声認識手法の一つが転移学習である。 Bukhar らは，事前学習させた多言語モデ ルの最終層を転移先言語で再学習させ，ウイグル語 やベトナム語などの低資源言語に対する WER を改善した [13]. Cho らは，公開コーパスである BABEL から 10 言語の音声を用いて sequence-to-sequence モ デルを学習させ，他の 4 言語に適応させた [8]. Kannan らは，インドにおける 9 言語の音声で学習 させたストリーミング多言語 end-to-end モデルを用 いて，低資源言語であるカンナダ語とウルドゥー語 に対するWERを改善した [14]. Hou らは，42 言語 で大規模な多言語 end-to-end モデルを学習させ， 14 の低資源言語に転移学習させた [10]. そして，多数 の言語を学習させたモデルの適応は，低資源言語の 音声認識に対して優れた性能を発揮することを示し た. 同様に，多言語モデルの活用による低資源言語音声認識の性能改善が報告されている $[15,16,17]$.

## 2.2 非ネイティブ音声認識

非ネイティブ音声認識は，言語学習者が持つス ピーキング能力の自動評価を実現するために必要不可欠である [18]. また，非ネイティブ音声認識は日常業務の中でさまざまな用途で利用されるように なった。国際化した今日の世界では，非ネイティブ 音声の認識技術は重要になっている.

非ネイティブ音声認識では，転移学習によって複数言語間で知識を共有させる。 Duan らは，共通の 隠れ層と独立した出力層からなる DNN にネイティ ブの英語と日本語を学習させて言語横断的な音響 モデルを構築し，日本人英語の音声認識における WER を低減させた [11]. Matassoni らは，イタリア 語，ドイツ語，英語のネイティブ音声で学習させた DNN-HMM 音響モデルを，イタリア人ドイツ語，イ タリア人英語，ドイツ人英語の非ネイティブ音声に

Fine-tuning

図 1 提案手法の概念図. 多数の言語で end-to-end 音声認識モデルを事前学習させ,日本人英語の音声データで fine-tuning する.

転移学習を用いて適応させた [12]. そして，結果と して得られた非ネイティブモデルが，非ネイティブ 音声を直接学習させたモデルの性能を改善すること を示した。

## 3 提案手法

日本人英語の高精度音声認識を目的として，多数 の言語から転移学習させた end-to-end 音声認識モデ ルを採用し，適応させる言語知識を拡張する. 提案手法の概要を図 1 に示す.

## 3.1 多言語音声認識モデル

多言語音声認識モデルには, end-to-end 音声認識 に有効である Conformer [19] と Transformer [20] を 用いる. モデルのエンコーダを 12 個の Conformer ブロックで構築し，デコーダを 6 個の Transformer ブロックで構成する. Conformer と Transformer に よる各ブロックは，256 次元の注意機構ヘッドを 4 つ含み, 2048 次元のフィードフォーワードネッ トワークを持つ. モデルは, Connectionist Temporal Classification (CTC) と注意機構を同時に用いて予測文字をデコードする $[21,9]$. デコードするシンボル のセットは，モデルに事前学習させる全ての言語に 現れる文字セットを含むよう拡張する。これによ り，エンコーダとデコーダのパラメータが全ての言語で共有される多言語モデルの学習が可能となる. モデルは，入力からデコードすべき言語を自動で認識し，予測したテキストを適切な文字セットで出力 する.

## 3.2 日本人英語への転移学習

多言語モデルを日本人英語音声で fine-tuning す る. まず，多言語モデルの学習済みパラメータで日本人英語モデルの全パラメータを初期化する。次 に, 日本人英語音声モデルの出力層に対して, 出力次元数を日本人英語音声のシンボル数に変更し, パ ラメータを乱数で初期化する。 そして, 日本人英語音声をモデルに学習させる. 実験では， 10 言語と 42 言語を学習させた 2 種類の多言語モデルを日本人英語音声認識に適応させ, 日本人英語音声認識に対 して事前学習させる言語数の有効性を調べる。

## 4 実験

## 4.1 データセット

10 言語と 42 言語の多言語モデル学習には， 11 の 公開コーパスを使用した。使用した公開コーパス は, AISHELL [22], Aurora4, Babel, CHiME4, Common Voice [23], Corpus of Spontaneous Japanese (CSJ) [24], Fisher SwitchBoard, Fisher Callhome Spanish, HKUST [25], WSJ, Voxforgeである. 10 言語モデルの学習に は Watanabe らが用いた言語を使用した [9]. また, 42 言語モデルには Hou らが用いた言語を学習させ た [10]. 各多言語モデルの学習に用いた言語を表 1 に示す. また，学習データにおける各言語の発話数 を図 2 に示す。

日本人英語音声認識には King-ASR-048 データを 用いた. King-ASR-048 は， Android と iOS の携帯電話を同時に用いて収集した 2 チャンネルの日本人英

図 2 学習データに含まれている言語と発話数。学習データには, AISHELL [22], Aurora4, Babel, CHiME4, Common Voice [23]，Corpus of Spontaneous Japanese (CSJ) [24]，Fisher SwitchBoard，Fisher Callhome Spanish， HKUST [25]，WSJ, Voxforge の 11 公開コーパスを用いた.

表 1 多言語モデルに学習させた言語. 10 言語モデルの 学習には Watanabe らが用いた言語 [9]を使用し，42 言語 モデルの学習には Hou らが用いた言語 [10] 使用した.

de, en, es, fr, it, ja, nl, pt, ru, zh_ch, am, as, eu, bn, yue, ca, ceb, luo, ka, gn,

42-lingual ht, ig, jv, kab, kk, ku, lo, lt, zh_tw, mn, ps, fa, sw, tl, ta, tt, te, tpi, tr, vi, $\mathrm{cy}, \mathrm{zu}$

語音声データベースである. 静かな屋内で 40 人の 日本人から収集した 10,983 発話が収録されている.収録されている音声データのサンプリング周波数は $16 \mathrm{kHz}$ であり，1 チャンネルあたりの全録音時間は 約 17.9 時間である. 実験では，Android で収集した チャンネルを使用した. 話者が重複しないようデー タを 3 つに分割し，80\%を学習，10\%を検証，10\%を テストに使用した。

## 4.2 詳細設定

モデルの入力には 83 次元の特徴量を用いた. 83 次元特徴量の構成は, 80 次元の MFCC フィルタバ ンクと 3 次元のピッチ特徴量である. 特徴量は， 25 $\mathrm{ms}$ の言を $10 \mathrm{~ms}$ ずつシフトさせて生の音声から抽出した。

モデル学習の最適化アルゴリズムには Adam を 使用した. Adam における学習率 $\operatorname{lr}$ は，学習率パラ メータ $k$, 注意機構の出力次元 $d_{\text {model }}$, 学習ステップ 数 step，ウォームアップパラメータ warmup_step を表 2 多言語モデルの事前学習と fine-tuning におけるパラ メータ設定. 学習とデコードには ESPnetツールキット [26]を使用した。

用いて， $l r=k \cdot d_{\text {model }}^{-0.5} \cdot \min \left(\right.$ step $^{-0.5}$, step $\cdot$ warmup_step $\left.^{-1.5}\right)$

で表される。

学習を高速化するため，多言語モデルの学習に は TSUBAME 3.0 スーパーコンピュータ1)を用いた.学習の並列処理に Pytorch のパッケージ2)を使用し,合計 40 基の NVIDIA TESLA P100 GPU を搭載した 10 台の計算ノード上で多言語モデルを学習させた。多言語モデルの事前学習と fine-tuning におけるパラ メータ設定を表 2 に示す. 多言語モデルや日本人英語モデルの学習とデコードには ESPnet ツールキッ ト [26]を使用した。

1) https://www.gsic.titech.ac.jp/en/tsubame

2) https://pytorch.org/docs/stable/distributed.html
表 3 日本人英語音声を直接学習させたモデル (Directly trained), 英語を事前学習させたモデル (Monolingual), 英語と日本語を事前学習させたモデル (Bilingual), 多言語を事前学習させたモデル (10-lingual/42-lingual) の各話者における性能比較.

表 4 検証セット (dev) とテストセット (test) 全体で算出 した CER と WER の比較.

## 4.3 性能評価

提案手法の有効性を検証するため，日本人英語を 直接学習させたモデル，英語を事前学習させたモデ ル，英語と日本語を事前学習させたモデルと性能を 比較した．英語や日本語を用いた事前学習には，多言語モデル学習データにおける英語と日本語のサブ セットを用いた. モデル性能の評価指標は CER と WER である.

## 5 結果

日本人英語音声を直接学習させたモデル，英語を 事前学習させたモデル, 英語と日本語を事前学習 させたモデル，提案手法の各話者に対する CER と WERを表 3 に示す. また，検証セットとテストセッ ト全体における CER と WER の比較を表 4 に示す.事前学習は, 日本人英語音声認識におけるモデルの 性能を大幅に改善した. 日本人英語音声を直接学習 させたモデル，英語だけ事前学習させたモデル，英語と日本語を事前学習させたモデルのテストセット における CERはそれぞれ 33.5，11.2，10.7であった。

また, 事前学習させたモデルの中で, 多言語を学習させた 10 言語モデルと 42 言語モデルは，英語や日本語で事前学習させたモデルの性能をさらに上回った.これにより, 多言語から学習した広範な音声表現知識の適応が, 日本人英語音声認識に有効で あることが分かった。

さらに, 10 言語モデルと 42 言語モデルを比較し たところ, 10 言語モデルが高い認識性能を示した. 42 言語モデルが学習した音声表現は，モデルのパラ メータ数に対して広範であり，対象言語の音声認識能力を損ねた可能性がある.

## 6 おわりに

本稿では, 多言語モデルを日本人英語音声認識に適応させる転移学習アプローチを提案した. Conformer と Transformer を用いて構築した end-toend 音声認識モデルに多数言語の音声を事前学習さ せ，日本人英語音声で fine-tuning した. 有効性検証 のため, 日本人英語を直接学習させたモデル，英語 を事前学習させたモデル，英語と日本語を事前学習 させたモデルと性能を比較した. その結果，多数の 言語を事前学習させたモデルは，日本人英語音声を 直接学習させたモデルの性能を大幅に改善した. ま た，提案手法は，英語だけ事前学習させたモデル，英語と日本語を事前学習させたモデルの性能を押し 並べて上回った.これらの結果より, 多数の言語か ら学習させた音声表現の適応が, 日本人英語音声認識に有効であることが分かった．今後は，多種類の 言語が持つ特性を構造化し, 日本人英語音声認識に 対して効果的に活用する方法を検討する。

## 謝辞

本研究は，JSPS 科研費 $20 \mathrm{H} 00095$ の助成を受けた ものである.

## 参考文献

[1] T. Hori, S. Watanabe, Y. Zhang, and W. Chan. Advances in joint ctc-attention based end-to-end speech recognition with a deep cnn encoder and rnn-lm. In Proceedings of Interspeech, pp. 949-953, 2017.

[2] A. Zeyer, K. Irie, R. Schlüter, and H. Ney. Improved training of end-to-end attention models for speech recognition. In Proceedings of Interspeech, pp. 7-11, 2018.

[3] C. Chiu, T. N. Sainath, Y. Wu, R. Prabhavalkar, P. Nguyen, Z. Chen, A. Kannan, R. J. Weiss, K. Rao, E. Gonina, N. Jaitly, B. Li, J. Chorowski, and M. Bacchiani. State-of-the-art speech recognition with sequence-to-sequence models. In IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), pp. 4774-4778, 2018.

[4] N. F. Chen, D. Wee, R. Tong, B. Ma, and H. Li. Large-scale characterization of non-native mandarin chinese spoken by speakers of european origin: Analysis on icall. Speech Communication, Vol. 84, pp. 46-56, 2016.

[5] N. T. Vu, D. Imseng, D. Povey, P. Motlicek, T. Schultz, and H. Bourlard. Multilingual deep neural network based acoustic modeling for rapid language adaptation. In IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), pp. 7639-7643, 2014.

[6] S. Tong, P. N. Garner, and H. Bourlard. An investigation of deep neural networks for multilingual speech recognition training and adaptation. In Proceedings of Interspeech, pp. 714-718, 2017.

[7] S. Dalmia, R. Sanabria, F. Metze, and A. W. Black. Sequencebased multi-lingual low resource speech recognition. In IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), pp. 4909-4913, 2018.

[8] J. Cho, M. K. Baskar, R. Li, M. Wiesner, S. H. Mallidi, N. Yalta, M. Karafiát, S. Watanabe, and T. Hori. Multilingual sequenceto-sequence speech recognition: Architecture, transfer learning, and language modeling. In IEEE Spoken Language Technology Workshop (SLT), pp. 521-527, 2018.

[9] S. Watanabe, T. Hori, and J. R. Hershey. Language independent end-to-end architecture for joint language identification and speech recognition. In IEEE Automatic Speech Recognition and Understanding Workshop (ASRU), pp. 265-271, 2017.

[10] W. Hou, Y. Dong, B. Zhuang, L. Yang, J. Shi, and T. Shinozaki. Large-scale end-to-end multilingual speech recognition and language identification with multi-task learning. In Proceedings of Interspeech, pp. 1037-1041, 2020.

[11] R. Duan, T. Kawahara, M. Dantsuji, and H. Nanjo. Cross-lingual transfer learning of non-native acoustic modeling for pronunciation error detection and diagnosis. IEEE/ACM Transactions on Audio, Speech, and Language Processing, Vol. 28, pp. 391-401, 2020.

[12] M. Matassoni, R. Gretter, D. Falavigna, and D. Giuliani. Nonnative children speech recognition through transfer learning. In IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), pp. 6229-6233, 2018.

[13] D. Bukhari, Y. Wang, and H. Wang. Multilingual convolutional, long short-term memory, deep neural networks for low resource speech recognition. Procedia Computer Science, Vol. 107, pp. 842-847, 2017.

[14] A. Kannan, A. Datta, T. N. Sainath, E. Weinstein, B. Ramabhadran, Y. Wu, A. Bapna, Z. Chen, and S. Lee. Large-Scale Multilingual Speech Recognition with a Streaming End-to-End Model. In Proceedings of Interspeech, pp. 2130-2134, 2019.

[15] T. Sercu, G. Saon, J. Cui, X. Cui, B. Ramabhadran, B. Kingsbury, and A. Sethy. Network architectures for multilingual speech representation learning. In IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), pp. 5295-5299, 2017.

[16] S. Toshniwal, T. N. Sainath, R. J. Weiss, B. Li, P. Moreno, E. Weinstein, and K. Rao. Multilingual speech recognition with a single end-to-end model. In IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), pp. 4904-4908, 2018.

[17] A. Datta, B. Ramabhadran, J. Emond, A. Kannan, and B. Roark. Language-agnostic multilingual modeling. In IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), pp. 8239-8243, 2020.

[18] K. Knill, M. Gales, K. Kyriakopoulos, A. Malinin, A. Ragni, Y. Wang, and A. Caines. Impact of asr performance on free speaking language assessment. In Proceedings of Interspeech, pp. 1641-1645, 2018.

[19] A. Gulati, J. Qin, C. Chiu, N. Parmar, Y. Zhang, J. Yu, W. Han, S. Wang, Z. Zhang, Y. Wu, and R. Pang. Conformer: Convolutionaugmented transformer for speech recognition. In Proceedings of Interspeech, pp. 5036-5040, 2020.

[20] L. Dong, S. Xu, and B. Xu. Speech-transformer: A no-recurrence sequence-to-sequence model for speech recognition. In IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), pp. 5884-5888, 2018.

[21] S. Kim, T. Hori, and S. Watanabe. Joint ctc-attention based end-toend speech recognition using multi-task learning. In IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), pp. 4835-4839, 2017

[22] H. Bu, J. Du, X. Na, B. Wu, and H. Zheng. Aishell-1: An opensource Mandarin speech corpus and a speech recognition baseline. In 2017 20th Conference of the Oriental Chapter of the International Coordinating Committee on Speech Databases and Speech I/O Systems and Assessment (O-COCOSDA), pp. 1-5, 2017.

[23] R. Ardila, M. Branson, K. Davis, M. Henretty, M. Kohler, J. Meyer, R. Morais, L. Saunders, F. M. Tyers, and G. Weber. Common voice: A massively-multilingual speech corpus. In Proceedings of the 12th Language Resources and Evaluation Conference, pp. 4218-4222, 2020

[24] K. Maekawa. Corpus of spontaneous Japanese: Its design and evaluation. In ISCA \& IEEE Workshop on Spontaneous Speech Processing and Recognition, 2003.

[25] Y. Liu, P. Fung, Y. Yang, C. Cieri, S. Huang, and D. Graff. Hkust/mts: A very large scale Mandarin telephone speech corpus. In International Symposium on Chinese Spoken Language Processing, pp. 724-735, 2006.

[26] S. Watanabe, T. Hori, S. Karita, T. Hayashi, J. Nishitoba, Y. Unno, N. Enrique Yalta Soplin, J. Heymann, M. Wiesner, N. Chen, A. Renduchintala, and T. Ochiai. ESPnet: End-to-End Speech Processing Toolkit. In Proceedings of Interspeech, pp. 2207-2211, 2018 .

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# BERT を利用した日本語小論文採点支援システムの検討

江島知優
岡山大学工学部
chihiro.100522@s.okayama-u.ac.jp
堀江遼河
岡山大学大学院自然科学研究科
ptmnøudx@s. okayama-u.ac.jp
竹内孔一
岡山大学大学院自然科学研究科
takeuc-k@okayama-u.ac.jp

## 1 はじめに

記述式問題に対する自動採点は近年の大学入試改革等で需要が高まっているのに伴い，様々な手法 が提案されている．英語の文章や外国人が書いた日本語の文章を対象とした研究としては佐藤 [1] のト ランズダクティブ学習や平尾ら [2] の作文自動評価 システムがある. 佐藤は記述式答案の自動採点は学習の過程で評価データの情報を明示的に利用する トランズダクティブ学習を用いることが適切であ ると主張し, 英語で書かれた記述式答案のデータ セットである ASAP-SAS を用いてクラスタリングを したモデルとクラスタリングをしていないモデル およびランダムのモデルとの比較を行い，クラス タリングをしたモデルの精度が最も高いことを示 した. 平尾らは外国人の日本語学習者が書いた作文を集めた GoodWriting データセットを利用して全体・内容・構成・言語の 4 観点で BERT (Bidirectional Encoder Representations from Transformers) [3] を用い た手法と従来の素性を用いた手法との比較を行い， BERTを用いた手法が構成以外の 3 観点で精度が高 いことを示した.

日本人が書いた日本語文章を対象とした研究と しては船山 [4] の確信度推計手法による研究, 内田 ら [5] の項目反応理論に基づく能力推定値を活用し た手法などが挙げられる。船山は代々木ゼミナール の国語長文読解問題データセットを用いて事後確率を用いた確信度推定手法と TrustScore を用いた確信度推定手法を検証し，TrustScore を用いた手法の ほうが精度が高く，また、学習に利用するデータ数 を減らした場合でも TrustScore を用いた手法の精度 が維持されることを示した. 内田らは項目反応理論 （IRT）を用いて客観式問題から求められる受験者の能力推定値を組み込んだ新たな深層学習自動採点モ デルを提案し $\mathrm{t}$ 検定の結果提案手法が従来手法より 有意水準 5\%で高い精度を示したことを確認した。他にも，清野ら [6] による Neural Attention モデルや，大野ら [7] による IDF の評価手法がある。

このように記述式問題の自動採点に対しては多く の研究が行われているがその多くは 100 文字以下の いわゆる短答式記述問題と呼ばれるものを対象と している. 本研究では， 100 文字を超える小論文を ターゲットとして BERT を用いたモデルを作成し，性能の分析を行った。

## 2 小論文自動採点システム

本研究では 1 点から 5 点の各整数値の値をクラス としたクラス分類問題に取り組んだ。図 1 に作成し た BERT モデルの構造を示す. BERT モデルでは，小論文を符号化し冒頭に [CLS] トークンを，末尾に [SEP] トークンを挿入したものが入力として与えら れる. 符号化された本文の長さがモデルが読み取れ る系列長を超えた場合，本文の最大系列長を超えた 部分は削除される。図中の $\mathrm{E}$ は大力の埋め込み表現，を，C [CLS]トークンの隠れべクトルを，Ti は i 番目のトークンの隠れべクトルをそれぞれ表して いる. 今回のモデルでは BERT の最終層の出力は各 クラスに対するべクトルであり，最大のものを推定 した点数としている.

## 3 評価実験

本章では評価実験に使用した小論文やその設問内容，実験結果を説明する。

図 1 BERT を利用した小論文自動採点システム

## 3.1 小論文データ

小論文データとして講義の受講者の解答データを 用いている. 講義は「グローバリゼーションの光と 影」,「自然科学の構成と科学教育」,「東アジア経済 の現状」，「批判的思考とエセ科学」の 4 種類である. これらの答案は人手で 1 点から 5 点までの 5 段階で 採点されており，その点数を正解データとする.

## 3.2 小論文の設問内容

本節では今回の実験に利用した小論文の設問内容 を示す.

講義名 : 「グローバリゼーションの光と影」

問 1 「グローバリゼーションは、世界、または 各国の所得格差をどのように変化させましたか。ま た、なぜ所得格差拡大、または縮小の現象が現れた と考えますか。300 字以内で答えなさい。」

問 2 「多国籍企業は、グローバリゼーションの 進展の中でどのような役割を果たしましたか。多国籍企業の具体例をあげて、250 字以内で答えな さい。」

問 3 「文化のグローバリゼーションは、私たち の生活にどのような影響を与えましたか。また、あ なたはそれをどのように評価しますか。具体例をあ げて、300 字以内で答えなさい。」

講義名：「自然科学の構成と科学教育」

問 1 「科学的」とはどのような条件をみたす必要があるのか 100 字以内で答えよ。」

問 2 「講義で解説した自然科学の二つの側面を 参考に、自然科学が果たす役割について 400 字以内 で論ぜよ。」

問 $3\lceil\lceil$ Scientific and Technological Literacy for All」 の狙いを考慮し、これからの科学教育はどうあるべ
きか 500 字以上 800 字以内で論ぜよ。」

講義名：「東アジア経済の現状」

問 1 「日中韓の相互依存の強さを、データを示 して簡潔に述べなさい。また、相互依存を示す経済協力・協業の具体例をあげ、合わせて 300 字以内で 答えなさい。」

問 2 「「中所得国の罠」の概略を説明し、どうし たらそれを乗り越えることができるか 250 字以内で 説明しなさい。」

問 3 「日中韓には少子化や環境問題など 3 国に 共通する経済問題がある一方、それぞれの国に特有 の課題も多くあります。それぞれの国が抱えている 特徴的な経済問題をあげ、東アジアにおける協調と 対立の構造を 300 字以内で説明しなさい。」

講義名：「批判的思考とエセ科学」

問 1 「「批判的思考」の定義に関連して、「批判的思考」に関する研究で共通に見出される「批判的思考」の 3 つの観点を述べなさい。 100 文字。」

問 2 「講義で紹介した右のグラフを根拠に「長生きするためにはカラーテレビを多く所有すれば良 い」と主張することが妥当ではない理由を 400 字以内で述べなさい。ただし、このようなグラフが形成 される理由の説明を加えること。」

問 3 「各自で「ニセ科学」の可能性があると思 う実例を挙げ、その実例が「ニセ科学」であること を証明するためには、どのような方法で、どのよう な証拠を得て、どのように説明する必要があるのか を論じなさい。また、その実例がニセ科学でも信じ てしまいやすい要因は何かについても考察し、説明 しなさい。ただし、講義で扱った事例以外のものを 挙げること。 500 字以上 800 字以内。」

## 3.3 実験設定

BERT の言語モデルは Mecabを利用した日本語訓練済みの HuggingFaceBERT ${ }^{1}$ を使用した。このモデ ルの語彙サイズは 32,000 である. 今回の害験では 最大シーケンス長とバッチサイズの組み合わせを 2 つ用いた. 1 つは最大シーケンス長が 512 , バッ チサイズが 16 であり，もう 1 つは最大シーケンス 長が 400 ，バッチサイズが 32 である．また，小論文 データの数は「グローバリゼーションの光と影」が 328,「自然科学の構成と科学教育」が 327 , 「東アジ

1) https://github.com/huggingface/transformers

ア経済の現状」および「批判的思考とエセ科学」が 290 であり，そのうち 50 をテストデータ，残りを 訓練データとして利用している. 訓練データのうち 50 個をValidation_dataとしている.

## 3.4 評価尺度

本節では今回作成したシステムの精度を測る方法を示す. 人手で採点した結果と採点支援システ ムの出力した結果を入力とし, Accuracy および重 み付きカッパ係数 (QWK: Quadratic Weighted Kappa) での評価を行う. Accuracy の計算式を式 (1)(2) に 示す.

$
\begin{aligned}
e q(a, b) & = \begin{cases}1 & (a=b) \\
0 & (a \neq b)\end{cases} \\
\text { Accuracy } & =\frac{\sum_{i=1}^{n} e q\left(A_{i}, B_{i}\right)}{n}
\end{aligned}
$

$n$ は小論文のデータ数であり $A_{i}, B_{i}$ は $i$ 番目の点数 データである. Accuracy が 1 に近いほど一致率が 高いと言える。

## 3.5 実験結果

小論文の各設問に対してValidation_Accuracy (Val_Acc) とTest_Accuracy (Test_Acc) および QWK をそれぞれ算出した. 表 1 には最大シーケンス長 512，バッチサイズ 16 で実験した結果を，表 2 には 最大シーケンス長 400 , バッチサイズ 32 で実験を 行った結果を示している. 表中では各講義名につい て「グローバリゼーションの光と影」を「グローバ ル」,「自然科学の構成と科学教育」を「自然科学」,「東アジア経済の現状」を「東アジア」，「批判的思考 とエセ科学」を「批判的思考」とそれぞれ表現して いる

表 1 バッチサイズ 16 でのシステムの評価

表 2 バッチサイズ 32 でのシステムの評価

## 3.6 分析

Accuracy の結果から BERT は従来研究されてい た短答式記述問題に加え, 500 字以上 800 字以下と いった長文記述問題に対しても 5 クラス分類の期待値である 0.2 より高い精度で推定できている. し かし， QWK の値を確認すると特にバッチサイズ 16 の場合に 0.000 といった值が多く見られる. これは BERT の推定値がすべて同じ值になったことを示 す. BERT の問題点として 1 点などの極端な点数を 推定することが難しく, 平均値や最頻値に近い値を 予測する傾向が強いことが挙げられ，この問題点に よりバッチサイズ 16 の QWK が低くなってしまっ たと考えられる. バッチサイズを 32 に変更するこ とで「東アジア経済の現状」や「批判的思考とエセ 科学」のQWK の値には改善がみられる一方で，「自然科学の構成と科学教育」等の QWK 値は低いまま である.このようにバッチサイズの変更によって推定の精度は大きく変動するため今後も検討が必要で ある。

## 4 おわりに

本研究では, HuggingFaceBERT を用いた小論文自動採点システムを作成しAccuracy および QWK に よる性能評価を行った. 平均値に近い値を予測して しまうといった BERT の特性上，推測値がすべて同 じ値になってしまうという問題点も見られたがバッ チサイズを大きくする等の工夫によって精度を改善 することが可能であり，BERT が小論文自動採点に 有効であることを示した.

## 謝辞

本研究の遂行にあたって岡山大学運営費交付金機能強化経費「小論文、エッセイ等による入学試験で の学力の三要素を評価するための採点評価支援シス テムの開発導入」の助成を受けた.

## 参考文献

[1] 佐藤俊. 評価データのクラスタリングを用いた記述式答案自動採点のためのトランズダクティブ学習. 言語処理学会第 26 回年次大会発表論文集, 2020.

[2] 平尾礼央, 新井美桜, 嶋中宏希, 勝又智, 小町守. 複数項目の採点を行う日本語学習者の作文自動評価シス テム. 言語処理学会第 26 回年次大会発表論文集, pp. 1181-1184, 2020.

[3] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding, 2018.

[4] 舟山弘晃. 記述式答案自動採点のための確信度推定手法の検討. 言語処理学会第 26 回年次大会発表論文集, 2020.

[5] 内田優斗, 宇都雅輝. 項目反応理論に基づく能力推定値を活用した短答記述式問題自動採点手法. 言語処理学会第 26 回年次大会発表論文集, 2020 .

[6] 清野光雄竹内孔一.ニューラルネットワークを利用し た日本語小論文の自動採点の検討. FIT2019 講演論文集, 2019.

[7] 大野雅幸, 泉仁宏太, 竹内孔一, 小畑友也, 田口雅弘, 稲田佳彦, 飯塚誠也, 阿保達彦, 上田均. 小論文自動採点 データ構築と理解力および妥当性評価手法の構築. 言語処理学会第 24 回年次大会, pp. 368-371, 2018.


# 修得語彙量の分布の考慮による付随的語彙学習に適した 読解用テキストの選択

江原遥
静岡理工科大学 情報学部
i@yoehara.com

## 1 はじめに

応用言語学分野において，外国語の語彙獲得にお ける付随的学習 (incidental learning) とは, 「語彙習得 が主目的ではない活動の中で，偶発的に語彙が習得 されること」([1]，p.21）である．例えば，テキスト 中に出てきた分からない単語の意味を推測しながら 外国語の語彙を学習する手法がこれにあたる．付随的学習に対して，「語彙習得を主目的とする活動の 中で，語彙を学習すること」([1]，p.21）を「意図的学習」(intentional learning) と呼ぶ. 例えば，いわゆ る単語帳を利用する方法など，単語リストを記憶す ることで外国語の語彙を獲得する方法がこれにあた る. 付随的学習は意図的学習に比べ，外国語の語彙量を増加させるには非効率である一方，文脈の中の 語の使われ方など深い理解を促すとされている.

効率的な付随的学習のためには，学習者にあった テキストを用いることが重要である。既習語のみか らなるテキストでは，新たな語彙修得は起こらな い。一方，理解できない単語が多すぎれば，テキス トの読解そのものに失敗するリスクが高く，付随的学習そのものが起こりづらい. [1] では [2]を参考 に，「目安として、テキスト中の単語のうち、95\%〜 98\%が既知語であれば、文脈から自然に語彙を学習 することが可能になると言われています」と報告 されている（p.22）。言い換えれば，既知語比率が 95\%〜98\%に入っていれば，テキスト中の既知語以外の語（未習語）を効率的に付随的学習できること が応用言語学分野における知見として示されてい る. この結果は, 自然言語処理分野で応用言語学分野の成果として引用されることの [3] ことの多い 「既知語比率がこの範囲に入っていればテキストが 読解できる」[4]という結果よりも，さらに踏み込ん だ語彙修得に直結する結果である.

応用言語学分野でのこの結果は，効率的な付随的学習のためのテキスト選択が投機的な性質を持つ問題である事を示している. 既知語比率の小さいテキ ストを選べば付随的学習による修得語彙量は増える だろうが，既知語比率が間値を下回ると，学習者が テキストを読み進めることができず，付随的学習が 起こらず，修得語彙量が著しく低くなる. 従って，戦略としては，学習者が読解に失敗するリスクを一定に抑えながら，その中で，修得語彙量が最も多そ うなテキストを選択する事が求められる。

応用言語学分野では, この戦略を, 学習者やテキ ストの全体的な傾向に基づいて実現している：具体的には，「学習者は均衡コーパスでの単語頻度の高 い順に語を知っている」という仮定を置くことに よって，学習者やテキストをレベル分けし，学習者 に合ったテキストを選択している。こうした手法は 全体的な傾向はつかめてはいるものの，個々の学習者やテキストの特性を考慮できない。また，修得語彙量がどの程度になるかの予測もできない.

一方，自然言語処理分野やデータマイニング分野 では，こうしたテキスト選択の問題はあまり扱われ ていない. しかし, 語学学習者の既知語判定の問題 については，読解支援やテキスト簡単化の観点か ら，「レベル」という一次元的な尺度に頼らず，個々 の学習者の特性を考慮した精緻な数理モデル化がな されている $[5,6,7,8,9]$. 例えば，どの学習者がどの 単語をどの程度の確率で知っているかを，個々の学習者の得意分野, 単語の意味, 人間の記憶の長さ, といった様々な点を考慮して，かなり正確に予測で きるようになってきている $[10,11,12,13]$.

本稿では，前述の戦略を機械学習の観点から数理的に定式化し，ある学習者があるテキストを読んだ ときの付随的学習による修得語彙量の確率分布を求 める手法を提案する. これにより, 学習者の特性や テキストの特性を考慮し得る，付随的学習のための テキスト選択手法を可能にする。

## 2 問題の例

動機づけのため，例を挙げることで，できるだけ 平易に解こうとしている問題を説明する. [a,b,c,d] の 4 種の単語からなるテキストを考える。頻度は， それぞれ $[93,3,3,1]$ とする. また，今，ある学習者 に注目して, この学習者に対する過去の成績情報な どから，[a,b,c,d] の各単語を知っている確率を機械学習などを使って予測し，入手できるものとし，そ れぞれ $[0.9,0.6,0.5,0.2]$ とする.

この時，応用言語学のテキストカバー率の考え方 によれば，テキスト中の $95 \%$ 以上の単語を知って いれば，テキストを読むことで知らない単語を学習することができる．具体的に，テキストカバー 率が $95 \%$ を超える場合を列挙してみよう．この 例では，単語 a が圧倒的に多いが，単語 a だけで 95\%を超えることはできない，閾値を超えるのは，例えば， $\{\mathrm{a}, \mathrm{b}\} を$ 知っていて，\{c,d\}を知らない場合 があげられる。知っている単語をだけに注目して 書くと，閾値を超える場合は，\{a,b\},\{a,c\}，\{a,b,d\}， $\{a, c, d\},\{a, b, c, d\} の$ 場合である.

さて，この学習者が知っている単語が $\{a, b\}$ にな

考えていることに注意すると，\{a,b\}になる確率は， $0.9 \times 0.6 \times(1-0.5) \times(1-0.2)$ と計算できる. この時，前述の応用言語学の知見 $[1,2]$ は, この学習者がこ のテキストを読むことで，知らない単語 $\{c, d\}$ を自然に修得できるということを示している．したがっ て，知らない側の単語に注目していけば，このテキ ストを読むことで, この学習者が単語 $\{c, d\}$ を新たに 修得できる確率が， $0.9 \times 0.6 \times(1-0.5) \times(1-0.2)$ で あるとも考えることができる．他の場合についても 同様に考えられる．学習者が知っている単語が $\{\mathrm{a}, \mathrm{c}\}$ である確率は，学習者がこのテキストを読むことに よって新たに修得できる単語が $\{\mathrm{b}, \mathrm{d}\}$ である確率と も読み替えられる。

こうして,すべての場合について考え,この学習者 がこのテキストを読むことで $[\mathrm{a}, \mathrm{b}, \mathrm{c}, \mathrm{d}]$ の各単語を修得できる確率を集計していくと， [0,0.18,0.27,0.576] になる。このうち，単語 aについては修得できる確率が 0 になっているが，これは，単語 $\mathrm{a}$ を知らなけ ればそもそもテキストが読めず付随的学習が起こら ないので，付随的学習によって単語 a が修得できる ことはあり得ないことを示している。

さらに，この集計した確率値から，この学習者が
このテキストを読むことで修得できる語数の分布 も求めることができる. 例えば，3単語を修得でき

から， $0.18 \times 0.27 \times 0.576$ のように計算できる. こう して修得できる語数の分布が求められれば，そこか ら，修得できる語数のブレ（分散）も計算できる.修得できる語数のブレが大きいということは，確率的には修得できる語数が少なくなることがあり得る ということである. すなわち, 同程度の語数が修得 できるテキストなら，より修得できる語数のブレが 少ないもの（分散が小さいもの）を選ぶ方が，確実 に語数を増やせる分，学習者にとっては得になる. すなわち，修得できる語数の分布における分散の值 は，学習者にとっての「リスク」と考えることがで きる. このように，修得できる語数の分布が求まれ ば，修得できる語数の平均值のみならず，分散を考慮することで，確実に修得できる語数を増やせるよ うに「リスク」を考慮したテキスト選択が可能と なる.

## 3 提案する定式化

前節の内容を定式化する．今， $I$ 種類の語彙 $\left.\{v_{1}, \ldots, v_{I}\right.\}$ を考え，注目しているテキスト中の $v_{i}$ の個数を $n_{i}$ とする. また, 注目している学習者が $v_{i}$ を知っている確率を $p_{i}$ で表す.この時，テキストカ バー率の間値を $\tau$ とする（前節の例では $\tau=0.95 ）$. この時，テキストカバー率が閾值を超える確率は,次のように表せる。まず，テキスト中の総単語数は $N=\sum_{i=1}^{I} n_{i}$ と表せる. また, 学習者が単語 $v_{i}$ を知っ ている場合に 1 ，そうでなければ 0 になる次の確率変数を考える．ただし， $\left.\{Z_{1}, \ldots, Z_{I}\right.\}$ は互いに独立 とする。

$
Z_{i} \sim \operatorname{Bernoulli}\left(p_{i}\right)
$

この時, 学習者が知っている単語のテキスト中の出現数は $\sum_{i=1}^{I} Z_{i} n_{i}$ であるから，テキストカバー率は $\frac{\sum_{i=1}^{I} Z_{i} n_{i}}{N}$ と表せる. したがって，テキストカバー率 が閾値を超える確率は $P\left(\sum_{i=1}^{I} Z_{i} n_{i} \geq N \tau\right)$ と表せる.

学習者がテキストを読む付属的学習により語 $v_{i}$ を新たに修得する確率は，次のように定式化でき る.テキストを読む付属的学習が起こるためには， テキストが読める必要があるので，テキストカバー 率が間値を超えていなければならない，さらに，語 $v_{i}$ が新たに修得されるためには，学習者は語 $v_{i}$ を 知らないことが必要である．したがって，この確率

は, $P\left(Z_{i}=0, \sum_{i=1}^{I} Z_{i} n_{i} \geq N \tau\right)$ と表せる. この確率を $q_{i}$ とおく.

さらに，このテキストからの付属的学習による修得語数の分布を求めたい.

$
A_{i} \sim \operatorname{Bernoulli}\left(q_{i}\right)
$

とすると, 修得語数の確率変数 $A$ は, $A=\sum_{i=1}^{I} A_{i}$ と 表せる.したがって，A の確率分布を求めれば，修得語数の分布も求まる. ただし, $\left.\{A_{1}, \ldots, A_{I}\right.\}$ は互 いに独立とする。

## 4 解法

前節において，テキストカバー率が閾値を超 える確率 $P\left(\sum_{i=1}^{I} Z_{i} n_{i} \geq N \tau\right)$ や, 修得語数の分布 $A=\sum_{i=1}^{I} A_{i}$ を求めるためには, 異なる成功確率を 持った互いに独立な二項分布の和からなる確率変数 の分布を求める必要がある. 成功確率が等しければ 二項分布の和は再生性を持つが，成功確率が異なる ため，この和は二項分布にはならない。こうした分布は，ポアソンニ項分布と呼ばれる.

$P\left(\sum_{i=1}^{I} Z_{i} n_{i} \geq N \tau\right)$ については，動的計画法を解く ことで求める方法を過去に提案した $[3,14]$. 簡潔 に言えば， $\sum_{i=1}^{I} Z_{i} n_{i}$ が整数であることを利用して， $N \tau$ 以上という条件を，「\{n $\left.n_{1}, \ldots, n_{I}\right.\}$ の部分和が丁度いくつ」という部分和問題に帰着させる. この 部分和問題を, $\left.\ulcorner\left.\{n_{1}, \ldots, n_{i}\right.\}\right.$ までの数で丁度いくつ になるものを作れる確率」からなる DPテーブルに よる動的計画法で解ける. 今回は，それに加えて， $P\left(Z_{i}=0, \sum_{i=1}^{I} Z_{i} n_{i} \geq N \tau\right)$ を求める必要がある. こ ちらは, 動的計画法の DP テーブルの各セルに, そ のセル時点での $\left.\{Z_{1}, \ldots, Z_{I}\right.\}$ の確率値の集計値を記録する拡張を施すことで計算した。なお，ポアソ ン二項分布は，平均と分散を求めるだけであれば， $\sum_{i=1}^{I} p_{i}$ が平均, $\sum_{i=1}^{I} p_{i}\left(1-p_{i}\right)$ が分散となる. 後述 の図 2 を書く際には，この性質を用いて平均と分散 を求めた。

## 5 実験

学習者が知っている単語については，著者がクラ ウドソーシングを用いて過去に公開したデータが ある [11]. 具体的には, クラウドソーシング上の学習者（TOEIC の受験経験があるものに限定）100人 に, 100 問からなる語彙サイズ計測用の単語テスト Vocabulary Size Test(VST) (VST)[15]を受けてもらっ た結果のデータセットである. VST は多肢選択型の

図 1 予測される修得語彙量の分布の例.

テストであり，英文中に埋め込まれた単語の言い換 えとして適切な選択肢を 4 つの選択肢の中から選択 するテストである。語形などから答えが分かってし まわないように，選択肢はすべて文中の文字列をそ のまま選択肢に置き換えても文法的には問題がない 選択肢になるように工夫されている。

単語テストの結果を使って, 各学習者が所与の単語を知っているかどうかを判別する確率的識別器を 作成し, この確率値を式 1 における $p_{i}$ として用い た. 二值判別問題であるため, ニューラルな識別器 を用いることもできるが，今回は識別性能を向上さ せることが目的ではないので，単純なロジスティッ ク回帰を用いて識別器を構成した. 素性としては, COCAコーパスの頻度, British National Corpus (BNC) コーパスの頻度を用いた. ただし，頻度は $-\log ($ 頻度) の形に直して素性として用いた。テキストとし ては，Brown Corpusを用いた。テキスト長さが実験結果に影響しないように, Brown Corpus の 500 件の 各テキストのうち，先頭から 300 語を切り出し，実験に用いた.この 500 件のテキストから, ある学習者の付属的学習に適したテキストを選択すること が，我々の目的である.

付随的学習はテキストを読める必要があるので,好成績の学習者に起こりやすい。まずは, 最も成績 の良かった学習者 (VSTで 96 問正解)を対象に実験 を行った. 図 1 にこの学習者があるテキストを読ん だ時の修得語彙量の分布を 1 つ示す. 図 1 より, 修得語彙量の分布には幅があり，単純に期待値が高い テキストを選べばよいわけではないことがわかる.

各テキストを読む際に予測される修得語彙量の期待値と分散を同時に考慮するため図 2 に図示した.各点は Brown Corpus の各テキストである. 修得語

図 2 各テキストの修得語彙量分布の期待値と分散.

彙量を学習者にとっての利得と考えると, 修得語彙量の期待値が同じであれば，できるだけ修得語彙量 の分散が少ないテキストを選択する方が，確実に語彙を増やせるので，学習者にとっては得となる。す なわち, 図 2 の左上部分が, この学習者にとって最 も効率的に付随的学習を行える文書群である. この ように, 図 2 の縦軸は利得, 横軸の修得語彙量の分散はリスクとみなせ，図 2 は，経済分野で多用され るリスクとリターンの関係図とみなせる。

図 2 のようなリスクとリターンの関係図におい ては, 左上部分が最も低リスクで利得を増やせる選択であり，この部分を効率的フロンティアという.図 2 では，500 件あった選択肢の中から，凸包を用 いて効率的フロンティアに属するテキスト 5 件が選択された. すなわち, 学習者の付随的学習に適した テキストを $1 / 100$ に絞ることができた。この 5 件の 中でどのテキストを選択するかは，学習者がどの程度のリスクをとって語彙量を増やしたいかによって 変わるので学習者に任せる方法が一案である。

効率的フロンティアに含まれるテキストは学習者によってどの程度変わるのだろうか？100 人のう ち, 成績の良い 30 人に対して, 同様に各学習者が 各テキストを読んだ場合に予測される修得語彙量の 分布から効率的フロンティアを求めた. その結果, 10 人以上で，効率的フロンティアに選ばれたテキス トが 7 件あり, 最も多いもので 14 人の効率的フロ ンティアに含まれたテキストがあった. この結果か ら，効率的フロンティアに含まれるテキストは比較的安定していることが見て取れる.

## 6 関連研究と展望

学習者が各単語を知っている確率 $p_{i}$ については,本稿では単語テストを用いて推測する方法を用いた が，スマートフォンの語彙学習アプリなどからも推測することが可能である．例えば，語彙学習と関係 が深い忘却曲線を考慮して，時間によって忘却する 度合いをもモデル化する研究が近年複数なされてい る $[12,13]$. こうした研究では，例えば最後に単語 を学習してからの時間などを $p_{i}$ のモデルに組み入 れ，時間がたつと $p_{i}$ が低くなるようにモデル化し ており，実データとうまくフィットしたという報告 もなされている。こうした手法を組み入れれば，語彙学習アプリのログから直接学習途中の各単語に対 して，各単語を知っている確率 $p_{i}$ が算出できる.

また，今回の文書選択では，「次に付随的学習に 用いるテキスト」を選択したが，将来的な利得の総和を考慮するアプローチも考えられる。このアプ ローチは強化学習でうまく記述できる. 今回のよう なリスクを考慮した選択も，累積報酬の期待值だけ ではなく分布全体の形を考慮して強化学習を行う分布強化学習の理論面で研究されている [16,17].

## 7 おわりに

本研究では，付随的学習による語彙修得に適した テキストを選択するため，応用言語学の知見に基づ き，個々の学習者・個々のテキストに対して付随的学習によって修得される語彙量の推定値を算出する 手法を提案した. 修得語彙量を学習者にとっての利得と考えることで，金融工学などで使われる効率的 フロンティアの考え方を語彙学習支援の研究に導入 した. さらに，多くの学習者の効率的フロンティア に含まれる，付随的学習に適した「お得」なテキス トが存在することを実験的に示した.

今後の課題としては，単語修得アプリのログなど を用いた経時的な評価実験，将来的な利得分布を考慮できる分布強化学習の導入, 単語埋め込みべクト ル空間上の領域の考慮した多義語対応，一度に複数 のテキストを読む場合の複数テキストの選択を現代 ポートフォリオ理論 [18] や整数計画問題を絡めて行 うことなどが挙げられる。

## 謝辞

本研究は JST 戦略的創造研究推進事業 ACT-X （JPMJAX2006）の支援を受けた。

## 参考文献

[1] 中田達也. 英単語学習の科学. 研究社, 2019.

[2] Paul Nation. How much input do you need to learn the most frequent 9,000 words? 2014. Publisher: University of Hawaii National Foreign Language Resource Center.

[3] Yo Ehara. テキストカバー率の確率的拡張に基づく 語彙テストのみからの個人化読解判定. 2019.

[4] I. Nation. How Large a Vocabulary is Needed For Reading and Listening? Canadian Modern Language Review, Vol. 63, No. 1, pp. 59-82, October 2006.

[5] Yo Ehara, Issei Sato, Hidekazu Oiwa, and Hiroshi Nakagawa. Mining Words in the Minds of Second Language Learners for Learner-specific Word Difficulty. Journal of Information Processing, Vol. 26, pp. 267-275, 2018.

[6] John Lee and Chak Yan Yeung. Personalizing Lexical Simplification. In Proceedings of the 27th International Conference on Computational Linguistics, pp. 224-232, Santa Fe, New Mexico, USA, August 2018. Association for Computational Linguistics.

[7] Chak Yan Yeung and John Lee. Personalized Text Retrieval for Learners of Chinese as a Foreign Language. In Proc. of COLING, pp. 3448-3455, August 2018.

[8] John Lee and Chak Yan Yeung. Personalized Substitution Ranking for Lexical Simplification. In Proceedings of the 12th International Conference on Natural Language Generation, pp. 258-267, Tokyo, Japan, October 2019. Association for Computational Linguistics.

[9] John Lee and Chak Yan Yeung. Automatic prediction of vocabulary knowledge for learners of Chinese as a foreign language. In 2018 2nd International Conference on Natural Language and Speech Processing (ICNLSP), pp. 1-4, April 2018.

[10] Yo Ehara, Yusuke Miyao, Hidekazu Oiwa, Issei Sato, and Hiroshi Nakagawa. Formalizing Word Sampling for Vocabulary Prediction as Graph-based Active Learning. In Proc. of EMNLP, pp. 1374-1384, 2014.

[11] Yo Ehara. Building an English Vocabulary Knowledge Dataset of Japanese English-as-a-Second-Language Learners Using Crowdsourcing. In Proc. of LREC, May 2018.

[12] Burr Settles and Brendan Meeder. A Trainable Spaced Repetition Model for Language Learning. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1848-1858, Berlin, Germany, August 2016. Association for Computational Linguistics.

[13] Siddharth Reddy, Sergey Levine, and Anca Dragan. Accelerating human learning with deep reinforcement learning. In NIPS workshop: teaching machines, robots, and humans, 2017.

[14] Yo Ehara. Uncertainty-Aware Personalized Readability Assessments for Second Language Learners. In 2019 18th IEEE International Conference On Machine Learning And Applications (ICMLA), pp. 1909-1916, December 2019.

[15] David Beglar and Paul Nation. A vocabulary size test. The Language Teacher, Vol. 31, No. 7, pp. 9-13, 2007.

[16] 牧野貴樹, 澁谷長史, 白川真一, 浅田稔, 麻生英樹, 荒井幸代, 飯間等, 伊藤真, 大倉和博, 黒江康明, others. これからの強化学習. 2016. Publisher: 森北出版.

[17]森村哲郎. 《第 11 回》リスク考慮型強化学習. 計測 と制御, Vol. 52, No. 9, pp. 818-823, 2013. Publisher: 公益社団法人 計測自動制御学会.

[18] Harry M Markowitz. Foundations of portfolio theory. The journal of finance, Vol. 46, No. 2, pp. 469-477, 1991. Publisher: JSTOR.


# 日本語ツリーバンクからの動詞格フレームの抽出

吉本 啓林テア・バトラー
東北大学
kei@compling. .jp
弘前大学
ajb129@hirosaki-u. ac. jp
}

プラシャント・パルデシ
国立国語研究所
prashant@ninjal.ac.jp

## 1 はじめに

外国人に対する日本語教育が日本社会において重要性を増しているのに対して, 中級以上の非母語学習者用辞書が存在しないことが日本語の学習と普及 にとって大きな障害となっている．発表者たちは日本語としては初めての本格的な統語・意味解析情報 を付加したコーパス (ツリーバンク) である NINJAL Parsed Corpus of Modern Japanese (NPCMJ) の構築を行ってきたが，学習者用辞書の根幹をなす コロケーションの情報をこれから抽出し, 日本語教育体制の不備を補うのに役立てることができる. 本発表では， 12 個の基本動詞を取り上げ，それらの格 フレームのパターンを NPCMJ の特性を生かして抽出, 分析し, 現実のテクストにどのような特徴があ らわれているかを考察する。続いて，日本語の基本動詞全体の格フレーム分析のためにどのような方法 が有効であるかについて検討を行う。

## 2 NPCMJ と基本動詞ハンドブック

NPCMJ は，国立国語研究所共同研究プロジェク トで開発中の，日本語として初めての本格的な文統語・意味解析情報をタグ付けしたコーパスである (Butler and Horn 2017, 吉本・パルデシ 2020).従来，日本語のコーパスは文を文節へと区切った上 で，形態素情報を中心とするアノテーションおよび せいぜいそれに文節間の係り受け情報を加えたもの しか存在しなかった. そのため, 文法研究者が興味 を持つ用例を検索したり，文法情報を抽出するのに は不十分であった。また，外国人に対する日本語教育に役立てるために日本語使用の実態を知りたいと 思っても，得られる知識は限定的であった。これに 対し, NPCMJ では文を句構造に分析した上で，さら に自動意味解析によって得られる述語論理式を利用 して，関係節による修飾等の非境界依存 (unbounded dependency) の関係にある語句間の関連づけも行え る.これにより，例えば関係節中の動詞と修飾され る主名詞との間の格フレーム関係までもが抽出可能
となる。

従来の言語学において, 統語論や意味論上の精密 な理論的研究は少量のデータや作例にもとづいて行 われ，これに対して，コーパスを利用した研究は語彙や形態論に限定される傾向が強かった.NPCMJ の登場により，一定量の実例に裏づけられた理論研究，言い換えれば言語研究における質と量の統合が 可能になる。これにより，日本語教育等の応用面に おいても新しい展開が期待される。

格名詞句，すなわち必須文法役割（主語，直接目的語および間接目的語) を果たす名詞句/助詞句は, NPCMJ においては, 格助詞による同定以外にも，文法役割を当該の句に直接タグ付けすることによって 同定する。日本語において必須文法役割を担う句に は必ずしも格助詞が明示的に付加されるわけではな く，助詞が脱落した裸の名詞句としてあらわれるこ とがある。また係助詞 (とりたて助詞) が付加され た場合，格助詞「が」と「を」は出現せず，「に」に ついては任意である. NPCMJ では,このような場合 を含む全てのデータに対して文法役割がタグ付けさ れている。また，日本語のテクスト中には主語や目的語の省略が頻出するが，NPCMJ ではそれらをゼ ロ代名詞としてタグ付けるので，この場合も格フレ 一ムは正確に把握されることになる。さらに，上記 のように関係節を伴う文等の非境界依存において， また主節中の主語や目的語に従属節中の非明示主語 が一致するコントロール構文においても，当該の文 の自動意味解析が行われることにより，必須文法役割を担う句と述語との関係を突き止めることができ る.このように, NPCMJ は, データにあらわれるす べての述語の格フレームを提供するという点で画期的なコーパスである。

NPCMJ は， 2021 年 1 月の時点で 40,831 文 (560,098 語) の現代日本語テクストのアノテーショ ンが終了し，ウェブ上で公開を行っている(注1). 2022 年 3 月のプロジェクト終了までに約 6 万文のアノテ ーションを完成させる予定である.
『基本動詞ハンドブック』は, 外国人による日本語の学習やその教育に役立てることを目的として,使用頻度の高い日本語基本動詞 125 語の重要な統語的, 意味的, 語彙的特徵を集積したインターネット

なる用法を持つ，いわゆる「多義語」と呼ばれるも のが多いが，『基本動詞ハンドブック』はそれら を, 項の数や格助詞による表示等の統語論的振舞い や意義特徴を手掛かりとして抽出した格フレームご とに分類していることに特色がある。『基本動詞八 ンドブック』は格フレームの他にも, 受動形の有無 やアスペクト等の文法的特徴, 意味拡張, 自他の対 をなす場合にはパートナーである自動詞/他動詞が 何であるか, また類義語との対比等, 基本動詞につ いて体系的に学ぶための便宜を提供している.

『基本動詞ハンドブック』は,『現代日本語書き言葉均衡コーパス (BCCWJ)』(Maekawa et al. 2014)を 利用してデータ収集を行っている. しかし, そのた め先に述べた理由によって, 各基本動詞の有する統語論的特徴について, 精度の高い情報を参照するに は至っていない. 特に，上記のように『基本動詞八 ンドブック』は統語・意味的なアプローチで格フレ ームを規定することにより多義の問題に対処しよう としているが，このことは，全ての述語に格フレー ムを網羅的にタグ付けした NPCMJ とは相性が良 い.

『基本動詞ハンドブック』の記述を NPCMJ を用 いて検証することにより, 前者がどれだけ現実の言語使用の実態をカバーしているかが解明でき，その ことはより精緻な情報を日本語の学習者や教師に提供することにつながると考えられる。

## 3 NPCMJ の用例の分析

## 3.1 概要

NPCMJ を利用した『基本動詞ハンドブック』所収 の動詞の本格的調查の前提として, 一部の動詞を選 んでパイロット・スタディを行った。その対象とし たのは, 以下の 12 個の動詞である. NPCMJ（2021 年 1 月現在）の検索によって得られた用例文の数を ( ) の中に示す.
あたる（71）あてる
(25) , いう
$(1,562)$, おさ まる（6）おちる（67），きこえる（66），さわる (5)，でる（320），ぶつかる（14），みえる（280）， もつ (414)，わかる (395)

まず目につくのは, 同じく基本動詞と言っても， その用例数に大きな開きが存在することである. 用例が数百から千を超える動詞がある一方で,「おさま る」は 6 例，また「さわる」については 5 例しかな い. 後者の 2 つから何か一般的な結論を抽き出すこ とは無理である.この傾向は, NPCMJ プロジェクト において 6 万文のアノテーションが完成してもあま り変わらないと思われる。これは, NPCMJ がツリー バンクとして，比較的少量のテクストに対し集約的 にアノテーションを行う方針を取っているためであ る.しかしながら，かなり大規模なコーパスにおい てすら，十分な検索数の得られない単語の存在する ことが知られている.

また,『基本動詞ハンドブック』では多義性の問題 に対処するために各動詞の語義を重層的に分類して いるが，それらの実例がすべて NPCMJ により提供 されるわけではない. 例えば，「出る」については 6 段階をなして分類が行われているが，そのうち 3 層目である「5．身体部位の突出」や「41．出土・発見」 については, 検索の結果用例は得られなかった。ま た, 検索して得られた語義の用例が $1 \sim 3$ 個程度の 少数にとどまるものはさらに多い.

## 3.2 視覚動詞の対象の表示

本節では，視覚的認知活動を表す動詞「見える」 を取り上げて, NPCMJ からどのような格フレーム 情報が抽出できるかについて考察する。

動詞「見える」は視覚に関わる出来事を表すこと から, それが成り立つ場合には「見る」行為の主体 と「見られる」対象とが存在するはずである.この うち, 主体についてはほとんどの場合明示的に表現 されない.これについては後で述べる。対象の方は 明示されることが多いが，格助詞としては主として 「が」が用いられる.これが主題化されると, 助詞 は「は」となる。通常の文において「が」による主語表示の文と「は」表示の文とでは頻度にきわめて 大きな差はない. これに対し, NPCMJ の検索の結果,「見える」を伴う文の主語表示は, 特異なものであ ることが分った. これは『基本動詞ハンドブック』 における「見える」の多義分類のうち，用例のもつ とも多い「1. 視覚による認識 (非意図的)」に限定 した調查である. NPCMJ の全データ中で, 文の主語 で「が」により表示されているものは 32,530 例, 主語で「は」により表示されているものは 21,741 例で あり, 両者に圧倒的差は無い.これに対し，「見える」

の用例について見ると,「が」表示の主語が 73 例で，「は」表示の 13 例に比べて突出している.

「が」表示の主語が多くなる理由は, 下の例に典型的に見られるように，語られている状況の中で新 しい出来事が生じたことを表すのに使われることが 多いからである.

(1)この装置で, 尖端放電の研究をするつもりだった ところが, 膨張させてみると,白い線が 見えた。

この文では,「白い線が見えた」全体が新情報であり，伝統的な日本語学で言う「現象文」に相当する.

格フレームは格助詞を中心として語られることが 多い.しかし，ここでの「が」の働きは単なる格表示にとどまらない。それは, (「は」の不在を表示す ることによって) 情報構造に関わる積極的な役割を 果たしている. 格フレームの用法について正確な知識を伝えるためには, 文脈的な要因も考慮に入れる ことが重要であることをこの例は示している.

なお，外国人に対する日本語教育の教科書では，以下のように視覚的認識行為の主体を「に」格によ り明示した例文が使用されることがある.

（2）私には細かい字が見えません。

しかし, NPCMJ の検索結果によると,このような 構文の出現頻度はきわめて低い.「見える」の全用例 278 例のうち, 主体が「に」より表示されたものは 4 つあるが，そのうち 2 例は欧文からの翻訳で，才 リジナルの日本語文は 2 例にすぎない.このことは，日本語教育では対象のみが明示された構文を中心に 教えるべきことを示唆している.

## 3.3 理解動詞の格フレーム

理解を表す動詞「分かる」の格フレーム表現は， さらに複雑なものである。以下では, NPCMJ 中の 動詞「分かる」の全用例 387 例中で最大の 280 例 を占める「1. 不明膫な事柄の明確化」に的を絞っ て論じる.

動詞「分かる」の目的語 (理解の内容) を表す名詞句の内部構成—普通名詞をへッドとするか，それ とも節か, 後者の場合はどのような助詞や形式名詞 により導かれるか—および格助詞・係助詞による表示の内訳を表 1 亿示す.表 1：「分かる」の目的語

形式名詞「こと」が導く目的語節は 40 例，「か」 が導く節は 84 例ある. 助詞「の」および「と」が 導く節も含めると 145 例となり, 全体の約 $66 \%$ を 占める.「分かる」の目的語は大半が節によって表 されていることが分かる。また，その格表示に目を 向けると, 内部構成の種類にかかわらず, 格助詞と しては「が」が圧倒的に多い.「を」の使用は 1 例 あるが，この比率の差は母語話者としての直観に一致している.

理解という行為は理解を行う主体と理解の対象で ある内容とを伴い，それぞれ主語と目的語によって 表現される.ところが, 両者の出現頻度には著しい 差がある. 表 2 に示すように，ここで扱う 280 例 のうち, 主語が出現する用例は 63 例, 目的語が出現するのは 217 例である. さらに, 主語と目的語の 両方を伴う文についても興味深い事柄が観察され る. 一般に, 日本語としては有標な語順であるはず の, 目的語が主語に先行する文 (表 2 では「目的語 く主語」で表す) が, 主語が先行する文 (「主語く 目的語」) と比べて, 出現数に大差が無い (16例対 29 例). また, 主語の助詞による表示は, 「目的

表 2：「分かる」の主語と目的語

語く主語」の語順の 16 例中の 14 例を「に」が占 めている (後に係助詞が後続するものを含む).

以上をまとめると，「分かる」の格フレーム表現 の特嘚として，以下が挙げられる。

i. 目的語のみがあらわれる文が多く, 主語の出現は限定的である.

ii. 目的語は節の形式を持つものが多い.

iii. 主語と目的語の両方が出現する文においては,「主語く目的語」と「目的語く主語」の語順 の頻度に大差はなく, 主語はほとんどが「に」 により表示される.

理解を表す「分かる」は主観表現の一種であり，一人称や感情移入の対象となる登場人物を主語とす ることが多く，その場合にしばしば省略されるのは 他の主観表現と同様と考えれらる. 目的語と共起す る主語に「が」でなく「に」が付加される傾向が強 いのは，目的語との混同を避けるためであろう。し かし, なぜ「目的語く主語」の有標な語順となるの かは不明である. 目的語が節で長くなるため, 記憶 の負担を避ける処理上の理由を検討寸べきかも知れ ない.

## 4 検索結果の階層的表示

以上で行った調査から，現実のテクストにおいて 頻出する格フレーム表現を把握するためには，格助詞による表示のみならず, 必須格を担う句の省略や，係助詞が表示する文脈情報, さらには語順や名詞句 の内部構成まで考慮に入れなければならないことが 分かった. そこで, このように複雑な要因を考慮し ながら頻度の高い格フレーム表現の抽出作業を容易 にするために, ツリーバンクの検索結果を要因ごと に階層的に自動的にグループ化するシステムを提案 する. 暫定的な案として, システムによる用例の分類は 3 つの軸に沿って行われ, 各々の軸において階層が深まるにつれて文法上の制約がより強くなり，担当する用例の数は少なくなる.

## I 格表示の軸

i. 動詞 $\rightarrow$ ii. 文法役割の格フレーム $\rightarrow$ iii. 付加句 (adjuncts) の格フレーム $\rightarrow$ iv. ゼロ代名詞の有無 $\rightarrow \quad v$. 格助詞による表示 $\rightarrow \quad v i$. 係助詞による表示

## II 語順の軸

i. 語順未指定 $\rightarrow$ ii. それぞれの語順

## III 名詞句内部構成の軸

i. 名詞句 $\rightarrow$ ii. 名詞をへッドとする句, また は節 $\rightarrow$ iii. (節の場合) こと - 節, の - 節, また はかー節

I～III の軸に共通して, i は, それぞれの動詞が出現する全ての用例に対応する．動詞「会う」を例に 取ると,「I-ii. 文法役割の格フレーム」のレベルでは,〈主語〉または〈主語+目的語〉の格フレームが選択され，それぞれ 1 項述語および 2 項述語としての 用例に対応する. 後者の格フレームは「 $\mathrm{v}$. 格助詞に よる表示」でく主語+目的語-と〉およびく主語+目的語-に〉に分かれる. これら第 $I$ 軸の各階層は, 語順 に関する第 II 軸および名詞句の内部構成に関する 第 III 軸と自由に組み合わせることができる。これ により，3つの軸に分類された要因のどの組み合わ せについてもその頻度を即座に知ることができ，ま た他の組み合わせとの比較も容易である.その結果,頻度の高い格フレームの抽出が簡単に行える。

## 5 おわりに

本稿では，日本語教育への応用を目的として，日本語ツリーバンクからの格フレーム情報抽出のパイ ロット・スタディを行い，抽出を効率的に行うため の方法について考察した. 今後, 格フレーム以外の コロケーションについても検討を広げる予定である.

## 注

1. http://npcmj.ninjal.ac. jp/

2. https://verbhandbook. ninjal. ac. jp/

## 謝辞

本研究は日本学術振興会科研費基盤 (B) 15H03210，基盤 (C) 16K02654，および国立国語研究所共同研究プロジェクト「統語・意味解析コーパ スの開発と言語研究」の助成を受けた。

## 参考文献

Butler, A. and S. W. Horn. (2017) Annotating syntax and lexical semantics with(out) indexing. Proceedings of Logic and Engineering of Natural Language Semantics.

Maekawa, K., et al. (2014) Balanced corpus of contemporary written Japanese, Language

Resources and Evaluation 48(2).

吉本啓・プラシャントーパルデシ（2020）「統語・意味解析情報付き日本語コーパスの構築」KLS

Selected Papers 2: Selected Papers from the 44th Meeting of The Kansai Linguistic Society, pp. 196-211.


# レシピタイトルに現れる借用語 with の特徵 :随伴用法と等位接続表現に着目して

小野雄一
筑波大学 人文社会系
ono.yuichi.ga@u.tsukuba.ac.jp

## 1 はじめに

産出された言語データにはさまざまな言語使用上 の要因が関与する。料理のレシピタイトルを例にと ると，調理者によるユニークな調理過程や使用する 材料の特徴など，様々なアピールポイントが含まれ る。そして，調理者がレシピタイトルを考案する際 には，外国語表現を日本語の語形成規則に基づいて 極めて自然に借用する[1][2]。英語前置詞も頻繁に使用され，例えば in や on に加え，随伴の意味を表す with もまたレシピタイトルの中で使用されている点 が報告されている[2]。また，ほぼ\&(and) と同列に扱 われそうな等位接続表現としてwithが使用されてい る例についても報告されている[3][4]。しかし, 詳し く観察してみると，\&と with との間には，「独立随伴性」という観点で違いがあるのではないかという主張も展開されている。

本研究では, 国立情報学研究所(NII)IDR 事務局が 提供しているクックパッドデータベーズを基礎資料とし，レシピタイトルの背景にある調理過程にも 注目しながら観察をした上で，with の独立随伴性に ついて考察を行う。その上で，この概念は日本語母語話者の中で意識のうちに共有されている知識であ るかどうかを実証するための心理言語学的実験を行 い，この観察の妥当性について検証を行う。

## 2 先行研究

## 2.1 with の借用

「チーズ in ハンバーグ」や「ビーンズ on トース

卜」に出現する in や on と同様に，英語の前置詞 with も日本語のレシピタイトルに出現する。withの 主要な用法には(i)「独立随伴(1a)」, (ii)「道具 (1b)」, (iii)「主原料・主材料(1c)」があるとしてい る[4]。

(1) a. ピクニックから揚げ $\delta$ with Coke (=用法(i))  ${ }^{\mathrm{ii}}$

b. モリ食堂【節分豆茶飯 with 釜】 (=用法(ii))

c. 栗ごはんwith 黒米

(=用法(iii))

(1a)

(1b)

(1c)
これらの withの 3 つの用法は実際に英語で使用さ れているものと（ほぼ）同じものと考えられるた め, 日本語のレシピタイトルで出現している上述の with は，英語の前置詞 with が借用されたものと考 えられる。

(2) a. I was at school with my friends after school. (=用法(i))

b. John broke the vase with a hammer. (=用法(ii))

c. The fish is preserved with salt. (=用法(iii))

ii 本稿であげる URL 情報は, 本稿執筆時（2020 年 12 月 23

日）に確認がとれたものである

これらの 3 つの用法は, 元来は英語の with が取り入 れられ，その後日本語の文法知識，語彙形成規則が 適用され, 日本語の一部として極めて生産的に生成 されるようになったものと考えられ，母語を日本語 とする人であれば，多少のニュアンスの違いや語用論上の意味解釈の差異はあるにしても, 基本的なと ころについては間違いなくその料理の意味を理解で きる。

言語混交(Language Mixing)の研究では, 外国語の 借用が起こる時いわゆる内容語 (名詞, 動詞, 形容詞など)がそのまま取り入れられる場合もある一方，機能語（冠詞，接続詞, 前置詞, 助詞など）も取り 入れられることもある。そして，日本語に取り入れ られたそのような語は日本語の一部となる[3]。その 際に, 借用された英語は日本語文法, 語彙規則の操作を受けるため, 一見したところ「英語としては誤 ったもの」、いわゆる「和製英語」と呼ばれるような ものが多く含まれるが，これはまさに，日本語の文法知識, 語彙形成規則の影響を受けたものであると 考えるべきであり，英語の習熟度とは無関係の現象 なのである。

## 2.2 随伴と等位を表す with の方法

上述の(1a)に該当する随伴用法の他に，以下に挙 げるようなものが観察される。

(3) a. シンプルいずおされつまみ with 梅酒

b. 粉もん WITH ソウルマッコリ

(3a)

(3b)
これらの特徴は, (1a)の「Coke」, (3a)の「梅酒」, (3b)の「ソウルマッコリ」はそれぞれメインの料理 の一部，材料・原料とは考えられず，随伴性として は両者が独立したものと考えられる。ただ，これら の例であれば，with の前後の料理のうちメインは with の前にある方と見るのが自然である一方, with の前と後の料理で，どちらがメインなのか判断が難 しい例も存在している。

(4) a. Oペペロン with ミネストローネO

b. 赤フィッシュカレーWithそうめん  c. 豚肉のしょうが焼き with 十六穀ごはん

$(4 a)$

(4b)

(4c)
これらの例では，どちらか主役とは捉えにくいもの となっている。むしろ,「AとB」の関係, つまり,等位の関係と考えられるものである。等位の関係と いうことであれば, 英語には「and, \&」がという等位接続詞が存在するため，そちらを借用するのが自然 であるという議論があるのは当然である。実際に以下のような用例も存在する。

(5) a. ぶどうジュレ\&杏仁豆腐

b. 初マヨ焼きそば\&ステーキ\&アボカドの

c. 合い挽き肉\&鳥ミンチ\&豆腐ハンバーグ！！

(5a)

(5b)

(5c)随伴性という点から\&を考察すると, (5a)のように両者が接触している場合， $(5 \mathrm{~b})$ のように「独立随伴」的 な場合, そして (5c)は全ての要素が 1 つの料理に取 り込まれているものなど多様である。

さらに，英語の and の使用では見られない，日本
語に取り込まれた\&独特の用法も観察される。

（5）a. 麻婆豆腐\&麻婆もやし

b. 裏ワザ プリン\&杏仁豆腐

(5a)

(5b) $(5 a)(5 b)$ の料理の特徴は, 調理の途中までの過程は同 じであるが，ある段階で $\mathrm{A}$ をいれるか $\mathrm{B}$ をれるか で異なる料理ができることを述べている。いうなら ば途中で投入するものによって A の料理にも B の 料理にもなる，つまり，「Aまたは B」と並べている 場面で\&が使用されているのである。これは，投稿者のコメントで「豆腐はもちろん、豆腐がない時に もやしでやってみたら美味しくて両方ともこの味で 美味しいので』」や「の杏仁豆腐の場合のアーモン ドエッセンスを入れてできあがり。プリンの場合 カラメルソースを作る。砂糖と水を鍋に入れ...」 と記述されていることから明らかである。著者の直感ではこの用法の時に with と置き換えることはでき ない。この理由は, with の場合は独立随伴（つまり その場で両者が存在していなければならない）の時 に使用され，(5a)(5b)の「Aまたは B」のような例の 場合には代わりに\&であれば使用できるという，日本人であれば誰もが共有される知識を無意識的に利用されているからなのではないかと推測する。

## 3 実験

## 3.1 仮説と手続き

今までの観察を整理すると，(1)「with が等位接続的に使用できるのは独立随伴』の場合のみである」, そして，(2)「この知識は日本語の処理に伴う知識で あるため，英語の習熟度とは無関係である」という

仮説へと導く。この仮説を実証するために，英語の 習熟度には差があると考えられる 2 つ大学の大学生 (A 大学 104 名 : 偏差値 50-55; B 大学 51 名：偏差値 65-70）を対象に容認性判断課題を利用した実験を実施した。

実験協力者には，実際に投稿者がつけたレシピ夕 イトルは見せず，料理の写真およびコメントのみを 提示する。その上で, 「A( ) B」に, 「\&, with, (\& を日本語にした)と，か」をランダムに挿入した文を 提示し,「まったく良くない(1)」から「とてもよい(5)」 の 5 段階のスケールから容認性を判断するようにし た。

$
\text { ここで使用した刺激文は以下の通りである。 }
$

(6)

(i) メカジキのソテー（）絶品トマトソース

[随伴]

(ii) アイス de 蒸しケーキ( )レンジぃ

[道具]

(iii) 麻婆豆腐（）麻婆もやし

$
\text { [A または B] }
$

(iv) 時短 ライスバーガー（）ハンバーガーiii

[A または $\mathrm{B}]$

もし仮説が正しければ，我々の予測は，(i), (ii)については 典型的な with の方法であるため, with の用法が優勢にな る。特に, 道具の解釈を持つ(B)は\&には存在しない解釈 であるため, with が優勢になると予測される。また, (i)の 随伴については\&も同様な意味を表すことがあることか ら両者が同程度になるのではないかと予測する。逆に(iii), (iv)については, \&の容認性が上がり, with の容認性は落 ちる，ということを予測する。

## 3.2 結果と考察

実験の結果を以下の表 1 に示す。

この結果を見ると，我々の予測はほぼ正しいもので あるとみることができる。(A)の随伴用法について は，with と\&およびとの間に大きな差が観測できな かったのに対し, (C)(D)については with の容認性は 大きく落ちた。

また, 特に(C)および(D)の用法については, 一元配置分散分析を用いて, with, \&, との用法の平均値の差 の優位性を検定した。その結果を以下の表 2 に示す。

表 2 (C)および(D)の用法に関する差の有意性検定

以上の結果は，借用された\&と同じような等位表現としての with が使用される場合においても「随伴性」という知識に結びついているのに対し，\&の方 が(C)(D)のような「Aまたは B」のような文脈でも使用しているということ，さらに，これらは母語の知識を無意識に利用している点を実証したものと言え よう。

さらに，英語の習熟度がこの結果に影響している かを検討するために，同じデータを習熟度（大学 A /大学 B）とそれぞれの結果（文 1～4）について二元配置分散分析を用いてで検定してみたところ，全て の結果について，群間に有意な差は認められなかっ た。

例を一つだけあげると，(D)「時短 ライスバーガ 一（）ハンバーガー」の場合, with の容認性が他と 比べて大きく低かったが, 大学 $\mathrm{A}($ Level 1)と大学
B(Level2)との間には大きな差が見られなかったこ とを以下の図 1 に示す。

図 1 群間の差の結果

Factor 1,2,3,4 はそれぞれ「と」「か」「\&」「with」 であったが，横軸（群間）には大きな差が見られな かったことがわかる。この結果は。Withの知識の深 さは，今回の判断テストには影響を及ぼしていない ことを示している。

## 参考文献

1. 日本語の料理名に出現する英語前置詞の借用に ついて : Cookpad データと実証実験から見える もの」小野雄一・呼思楽・森野綾香・若松弘子・砂川詩織, 言語処理学会第 23 回年次大会発表論文集 2017 .

2. The Verbal Noun Use of Borrowed English Prepositions in Japanese Recipe Names, Yuichi Ono, Papers from the 36th Conference of the English Linguistic Society of Japan and from the Eleventh International Spring Forum of the English Linguistic Society of Japan (JELS 36), pp. 268-274. 2019.

3. Use of English prepositions as Japanese predicates: A challenge to NLP, Masaharu Shimada \& Akiko Nagano, 『言語処理学会第 23 回年次大会発表論文集』2017.

4. 料理サイトのデータから言語接触理論を考え る : 前置詞 with の借入について. 若松弘子・島田雅晴『IDR ユーザフォーラム』 2017.


# Universal Dependencies の変遷と評価表現抽出への影響

岩本蘭
慶應義塾大学
r.iwamoto@keio.jp
}

金山博
日本アイ・ビー・エム株式会社 東京基礎研究所
hkana@jp.ibm.com

## 1 はじめに

近年, 自然言語処理の研究がいくつかの言語に 偏っていることが問題視されており, 多言語の 言語資源作成やシステムの開発が進められてい る [1]. 100 を超える言語のツリーバンクを提供す る Universal Dependencies(UD) [2,3] は言語間で共通 の $\mathrm{PoS}$ タグや依存構造ラベルをアノテーションに用 いている.UDの目的は言語間の共通性を保ちつつ 個々の言語の性質を表現することであり，UDコー パスで学習した構文解析器は多言語の応用タスクへ の活用が期待されている．UDのアノテーションは 半年ごとに更新されているが，それらの更新が構文解析 [4] や応用タスクに与える影響については十分 な分析がなされていない.

本稿では, 23 言語の UD コーパス ver. 2.0 (2017 年 3 月) - ver. 2.7 (2020 年 11 月) を対象にし, コーパス の更新状況と傾向について分析する．次に UD の それぞれのバージョンのコーパスで訓練した構文解析器 UDPipe [5] を用いて言及単位の評価表現抽出 $[6,7,8]$ を行う. アノテーションの言語をまた がった一貫性がどの程度活用できているか，また コーパスの更新が良い方向に作用しているかどうか を調査することが目的である.

## 2 UD コーパスの更新

UD コーパスの内容の例を表 1 に示す. 本来 10 項目からなるアノテーションのうち評価表現抽出の 際に用いる項目のみを抜き出している。その中から ID を除く6 項目について, 表 2 に示す 23 言語の UD コーパスにおける更新とその影響を分析する.

コーパスの更新の割合を項目別，バージョン別に 分けて図 1 に示す. 比較する 2 つのバージョンの両方に存在する文を抽出し，重複を削除した後，語の 各項目に違いがあった割合を色の濃さで表してい る. UD2.0-2.4 ${ }^{1)}$ ではほぼ全ての言語で活発に更新

1）以降，UD ver 2.x をUD2.x と示す.表 1 UD コーパス (英語) の例. feats の出力は一部省略.

され，品詞タグや依存関係ラベルの変更が多い。そ れに対し UD2.4-2.6ではいくつかの言語内でのアノ テーション方針の大幅な変更や，より詳細な属性を 記述する項目である featsの変更が顕著である.

UD のアノテーション方針に沿って言語間での一貫性を保つことと，その言語の特徵を正確に記述 することのバランスは難しいが，それぞれの言語 で改良を重ねられている。コピュラや助動詞に関 するタグ付けを一例としてとりあげると，英語の UD2.5 では “have been”や “will be” の “be” は VERB から AUX へ変更され，オランダ語 (UD2.4)でも “hebben”('have') に対し同様の変更が見られた。ポル トガル語 (UD2.5) では AUX タグをつけられた多く

表 2 分析した treebank と UD2.6 での文数

図1 各言語, バージョンにおける UD コーパスの更新割合。色が濃いほど更新割合が高い.

の単語が VERB に変更され (“continuar” ('continue"), “deixar” ('leave')), フランス語 (UD2.1) でも AUX タ グが “être” ('be'), “avoir” ('have'), “faire” ('do', 'make'), “pouvoir” ('can') のみに限定され, 他の動詞は VERB とタグ付けされた。このように言語間でのタグ付け の一貫性が向上する変化が観察された。

## 3 実験

我々は異なるバージョンの UD コーパスで訓練し た構文解析器で評価表現抽出 [6] を行い, UDコーパ スの変化が応用タスクに及ぼす影響を分析した。

## 3.1 構文解析器の再学習

UD 準拠の構文解析器として UDPipe 1.2 [5] を用 いた. UD2.0-2.5の構文解析器は UDPipe が配布す る訓練済みモデル ${ }^{2)}$ を用い, 配布モデルが存在しな いUD2.6, UD2. 7 は UD2.5 と同じパラメータを用い て訓練した。簡体字中国語のコーパス UD2.0, UD2.2 は存在しないため評価から外した。構文解析器の 性能評価として LAS (Labeled Attachment Score)を用 いた.

## 3.2 構文構造に基づく評価表現抽出

評価表現抽出では構文木をトップダウンにたど り，極性辞書と符合させながら好評不評の表現とそ の対象を抽出する．依存関係やラベルを見ることに よって, 否定の表現や対象を抽出するための格を正確に捕捉できる仕組みになっている．詳細は [6] を 参照されたい.

2) http://ufal.mff.cuni.cz/udpipe

## 3.3 評価データと評価指標

評価データは先行研究 [6] と同様に，ホテルや携帯電話の言及単位または文単位の注釈付きレビュー を整形し，好評/不評のラベルが付いた文を各言語合計 500 文程度抽出したものを用いた。

システムの適合率は, 出力した極性が正解の極性 と同一である割合，再現率は正解の極性と同じ極性 を持つ評価表現が検出された割合である．総合的な 評価指標として，適合率を重視した F2 值（式 1 で $\beta=2$ としたもの）を用いる. 一般的な $\mathrm{F} 1$ 值 $(\beta=1)$ を用いると，文法構造を意識せずに好評・不評を含 む単語を抽出するアプローチによる数值が高くなる ものの, 適合率が低く実用性と乘離する。

$
F_{\beta}=\left(1+\beta^{2}\right) \frac{\operatorname{prec} \cdot \operatorname{rec}}{\operatorname{prec}+\beta^{2} \cdot \operatorname{rec}}
$

## 4 結果と考察

本節では多言語の構文解析と評価表現抽出の性能 の関係を定量的, 定性的に評価する。

## 4.1 構文解析の性能と評価表現抽出の関係

図 2 に構文解析 (LAS) と評価表現抽出 (F2) の関係 を示す3）．言語ごとにデータセットの作成元が異な るため言語をまたいだ絶対的な数值の比較は難し いが，データセットの分野が原因で評価表現抽出が 難しい言語 (韓国語など) を除けば，言語間の F2 と LAS には大まかな正の相関が存在する.
 ず，辞書との符号ができないため評価には含まない

図 2 UDのバージョンごとのLAS と F2 值

一つの言語内でも LASやF2 值には変化が見ら れ，その変化は辞書などの評価表現抽出の仕組みで はなく, 構文解析器の変更によってのみ発生する. F2 值が 40.0 以上で, UD2.0 と UD2.6 の F2 值に 1.0 以上の差がある言語を比較すると, 9 言語中 7 言語 で UD2.6 のほうがUD2.0よりも F2 值が高い4).つ まりUDコーパスの更新に伴い, 応用タスクの性能 も徐々に向上しているといえる。コーパスの更新に 伴う出力の変化については次に述べる.

## 4.2 UD 更新に伴う変化の観察

ここでは UD のバージョンの変化によって評価表現抽出の結果が変わった例について紹介する。まず 例として挙げる構文解析と評価表現の表記について 説明する。

4）日本語 UD2.6では語の単位が変更されたため F2 值が低い (n12.4) はオランダ語の UD2.4 で訓練した UDPipe に 文を入力し，評価表現を抽出した結果である。ハイ ライトのうち青が好評表現，赤は不評表現を表し，下線は好評/不評表現の対象を表す.オレンジは極性を反転させる否定表現である.

(n12.4) では, 否定の副詞 “niet”'('not') が 評価表現 “groot”('large') に直接係っておらず文全体として極性誤りが生じているが，(n12.5) で は "groot”と “niet”の依存構造が正しいため,否定による極性の反転を検出できている. (fr2.2)

Le maître d' hôtel méprisant et grossier.

DET NOUN ADP NOUN ADJ CCONJ ADJ PUNCT

(fr2.4)

Le maître d' hôtel méprisant et grossier. DET NOUN ADP NOUN ADJ CCONJ ADJ PUNCT

フランス語では UD2.4 で多数の依存関係ラベル や PoS タグが更新され, 構文解析の性能が向上し ている.(fr2.4)の名詞句では, 形容詞 “méprisant” ('contemptuous') が head $の$ 名詞 "maître" ('master') に かかっているため, 不評表現が正しく検出された。

(pt2.5)

(det

A escrita é fácil, fluente e recheada de gírias DET NOUN AUX ADJ PUNCT ADJ CCONJ VERB ADP NOUN

A escrita é fácil, fluente e recheada de gírias DET NOUN AUX ADJ PUNCT ADJ CCONJ VERB ADP NOUN 評価表現抽出では並列構造を示す conj ラベル が重要な働きをする。例えば，(pt2.5), (pt2.6) では いずれも root は “fácil” ('easy')だが，(pt2.6)では “fluente" ('fluent') に conj のラベルが付いているた め, “fluente”も極性表現として正しく抽出されてい る.

(en2.4)

(en2.5)

実際のレビューの中には文体が崩れた文も出現す

る. 英語を例にとると， (en2.5)では，通常大文字で 書かれない “HIGHLY RECOMMEND”を PROPN タ

グと誤判定する例が存在した。UDで訓練した構文解析器を応用タスクで用いる際には，このような入力に対しても頑健であることが望ましい.

同様の問題はドイツ語でも発生している.ドイツ 語では名詞の最初の文字は大文字で記述するが，下 の例のように名詞 “Schneiden” ('sharpness') が小文字 になっていた場合, 構文構造上名詞の可能性しか存在しないにもかかわらず，同じ綴りを持つ動詞の不定形と認識される. つまり, 英語やドイツ語での品詞判定には大文字であるかどうかが少なからず影響 していることがわかる.

$
\text { dep }
$

$
\begin{aligned}
& \text { Opravdu vynikající . } \\
& \text { ADV ADJ PUNCT } \\
& \text { advmod }
\end{aligned}
$

$
\text { (cs2.6) Opravdu vynikající . }
$

特定できない依存関係を指す dep ラベルを減らす こともUDコーパスの課題の一つである. チェコ語 では dep ラベルの比率が他の言語のコーパスよりも 大きいため, 解析結果に頻繁に出現する。(cs2.6)の 出力では正しく advmod のラベルがつけられ, 好評表現が抽出できている.

(ja2.5)

(ja2.6)

また，単語分割の方針変更は応用タスクに大きな 影響を及ぼす。日本語では UD2.6の単語単位が国語研短単位になったことにより, UD2.5 までは不評表現として 1 つのトークンとして検出されていた“不自由”が，(ja2.6)では “不” + “自由”として検出さ れ，極性が反転している．アノテーション方針の変化に合わせて否定の “不” などの処理をシステムに 追加することが正しく極性を検出するために必要で ある。

(zh2.4)

簡体字中国語はリリース時期が今回分析した言語の中では比較的遅く, UD2.5 から正式にリリース された。そのため, UD2.4 の公開時にプレリリース され dev ブランチに存在した簡体字コーパスとの比較を行なった。(zh2.4) で存在した “相当” (“very’)の $\mathrm{PoS}$ タグの出力誤りが (zh2.5) で改善され，極性が正 しく抽出されるようになった。簡体字中国語は LAS が低い言語のうちの一つであり, 今後の改善が期待 される.

## 5 結論

本論文では UD2.0-2.7 での更新を, 構文解析器の 出力の変化が応用タスクに及ぼす影響という観点か ら分析した。 23 言語のUDコーパスは継続的に更新 されており，評価表現抽出の結果はそれぞれのバー ジョンによって異なることが分かった。言語ごとの 出力例から, 品詞タグ付けや依存関係ラベルの中で も否定や conj ラベルが評価表現抽出に影響を与え ることを示した．スタイルが崩れた文に対する頑健性に関わる問題も見られた。UDの各言語の代表的 なコーパス間でドメインが異なり，今回対象とした レビュー文によくみられる，名詞句やスペルミス，大文字小文字や文末のピリオドが無い入力に頑健で ない場合が存在した [9].

UD2. 4 以降はいくつかの言語で更新頻度が低下し ているが，まだ基本的な構文構造の出力において改善すべき点は多い. UD の継続的な更新への期待と， その他の応用タスクでの UD 準拠の構文解析器の性能評価を今後の展望とする.

## 参考文献

[1] Pratik Joshi, Sebastin Santy, Amar Budhiraja, Kalika Bali, and Monojit Choudhury. The State and Fate of Linguistic Diversity and Inclusion in the NLP World. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 62826293, 2020.

[2] Joakim Nivre and Chiao-Ting Fang. Universal dependency evaluation. In Proceedings of the NoDaLiDa 2017 Workshop on Universal Dependencies, pp. 8695, 2017.

[3] Daniel Zeman, et al. Universal Dependencies 2.6, 2020. LINDAT/CLARIAH-CZ digital library at the Institute of Formal and Applied Linguistics (ÚFAL), Faculty of Mathematics and Physics, Charles University.

[4] Daniel Zeman, et al. CoNLL 2017 Shared Task: Multilingual Parsing from Raw Text to Universal Dependencies. In Proceedings of the CoNLL 2017 Shared Task: Multilingual Parsing from Raw Text to Universal Dependencies, pp. 1-19, 2017.

[5] Milan Straka and Jana Straková. Tokenizing, POS tagging, lemmatizing and parsing UD 2.0 with UDPipe. In Proceedings of the CoNLL 2017 Shared Task: Multilingual Parsing from Raw Text to Universal Dependencies, pp. 88-99, 2017.

[6] Hiroshi Kanayama and Ran Iwamoto. How Universal are Universal Dependencies? Exploiting Syntax for Multilingual Clause-level Sentiment Detection. In Proceedings of The 12th Language Resources and Evaluation Conference, pp. 4063-4073, 2020.

[7] 岩本蘭, 金山博. 多言語極性辞書の構築とその 包括的評価. 言語処理学会第 26 回年次大会予稿集, 2020.

[8] 金山博, 岩本蘭. 多言語評価表現抽出を通じた universal dependencies $の$ 検証. 言語処理学会第 26 回年次大会予稿集, 2020.

[9] 金山博, 岩本蘭, 村岡雅康, 大湖卓也, 宮本晃太郎. 名詞句の処理に頑健な構文解析器. 言語処理学会第 27 回年次大会予稿集, 2021.

## A 付録

## A. 1 評価データ

表 3 に評価表現抽出で使用した評価データの情報を示す. 言及単位のアノテーションが付いた多言語の評価データが少ないため, 言及単位と文単位の データをそれぞれ整形して用いた。

## A. 2 構文解析と評価表現抽出

表 4 に言語, バージョンごとの LAS と F2 値を示 す.これは図 2 を表にし, さらに適合率 (prec) と再現率 (rec) の情報を加えたデータである.

表 3 評価データの情報.

表 4 UD のバージョンごとの構文解析 (LAS) と評価表現抽出 (F2) の性能評価.

 & $78.8^{45.3} 16.8$ & 78.4 & $81.0^{47.6} 18.0$ & 78.4 & $81.0^{47.6} 18.0$ & 77.7 & $81.4^{47.2} 17.6$ & 77.4 & $79.5^{47.5} 18.2$ \\


# 通時的な単語の意味変化を捉える単語分散表現の同時学習

相田太一 ${ }^{1}$ 小町守 1 小木曽智信 ${ }^{2}$ 高村大也 ${ }^{3}$ 持橋大地 ${ }^{4}$
東京都立大学 1 国立国語研究所 2 産総研/東京工業大学 3 統計数理研究所 4
aida-taichi@ed.tmu.ac.jp komachi@tmu.ac.jp togiso@ninjal.ac.jp
takamura.hiroya@aist.go.jp daichi@ism.ac.jp

## 1 はじめに

言語は時代とともに変化するものであり、現代社会においても、日々新しい単語が生まれている。既存の単語についても、ある単語が時間の経過ととも に、全く異なる意味で使われる場合も少なくない。例えば、“gay”という単語は元々「陽気な」という意味で用いられていたが、近年では「同性愛」という 意味が主に使われるようになった。このような通時的な単語の意味の変化を捉えることができれば、昔 の時代の文書への分野適応や、辞書学での単語の意味変化に関する記述への利用などが期待できる。

近年では、通時的に学習した単語分散表現を用い て単語の意味変化を検出する手法が数多く提案され ている。Kulkarni ら [1] や Hamilton ら [2] は任意の時期毎に学習した単語分散表現に対して、線形変換に よって対応付けを行う手法を提案した。また、Yao ら [3] によって各時期の単語分散表現を同時に獲得 する手法が提案された。これまでの手法は文脈を考慮していない単語べクトルを用いているため、単語 の用法毎の変化を調査できなかったが、BERT [4] な どの事前学習済み言語モデルによって文脈を考慮し た単語べクトルを生成できるようになった。最近で は英語や日本語などの代表的な言語で事前訓練済み のモデルが公開されたこともあり、BERTを用いた 研究も行われている $[5,6,7]$ 。

しかし、こうした単語の意味変化を通時的に分析 するための手法には、以下のような問題がある。

・単語ベクトル間の関係を線形モデルで表せると いう強い仮定をおいている $[1,2]$

・ハイパーパラメータの設定に敏感である [3]

・公開されているモデルの言語に依存する $[5,6,7]$
- 手法間での定量的な比較が行われている研究が 少ない

こうした問題に対し、線形モデルで表現可能とい

$\mathbf{M}_{A}, \mathbf{M}_{B} \in \mathbb{R}^{V_{W} \times V_{C}}$

$\mathbf{W}_{A}, \mathbf{W}_{B} \in \mathbb{R}^{V_{W} \times d}$図 1: Word2vec と SVD の等価性を利用した時期ごとの単語ベクトルの獲得 PMI-SVD joint の様子.

う仮定やハイパーパラメータに敏感であるという問題を解決するため、我々は Levy ら [8] により示され た Word2vec と特異値分解の等価性を用い、図 1 の ように通時的な単語分散表現を同時に獲得する手法 を提案し、日本語の文書データに対して戦前と戦後 における単語の意味変化を網羅的に分析した [9]。

本研究ではこの手法を拡張し、また実際に意味が 変化した単語のリストを用いることで定量的な評価 を行い、提案手法と先行研究の手法を比較する。(1)定量的な評価を行った結果、提案手法は既存の手法 と同等以上の性能を獲得した。また、(2) 実際に意味の変化した単語に対して定性的な評価を行った結果、事前訓練済みの BERT よりも効果的に意味変化 を捉えていることを示した。

## 2 関連研究

Hamilton ら [2] は、学習した各時期の単語分散表現 $\mathbf{W}_{t}, \mathbf{W}_{t+1}$ を回転行列 $\mathbf{R}$ で対応付ける手法を提案 した。

$
\mathbf{R}(t)=\underset{\mathbf{R}: \mathbf{R R}^{\top}=1}{\operatorname{argmin}}\left.\|\mathbf{W}_{t} \mathbf{R}-\mathbf{W}_{t+1}\right.\|_{F}^{2}
$

ここで、 $\|\cdot\|_{F}$ はフロベニウスノルムである。

また、Yao ら [3] は各時期で獲得した Positive PMI (PPMI) 行列に対して、以下の目的関数を最小化する ことで、各時期の単語分散表現 $\mathbf{W}_{t}$ および文脈語の
分散表現 $\mathbf{C}_{t}$ を同時に獲得する手法を提案した。

$
\begin{array}{r}
\frac{1}{2} \sum_{t=1}^{T}\left.\|\mathbf{M}_{t}-\mathbf{W}_{t} \mathbf{C}_{t}\right.\|_{F}^{2}+\frac{\gamma}{2} \sum_{t=1}^{T}\left.\|\mathbf{W}_{t}-\mathbf{C}_{t}^{\top}\right.\|_{F}^{2} \\
+\frac{\lambda}{2} \sum_{t=1}^{T}\left.\|\mathbf{W}_{t}\right.\|_{F}^{2}+\frac{\tau}{2} \sum_{t=1}^{T-1}\left.\|\mathbf{W}_{t+1}-\mathbf{W}_{t}\right.\|_{F}^{2} \\
+\frac{\lambda}{2} \sum_{t=1}^{T}\left.\|\mathbf{C}_{t}\right.\|_{F}^{2}+\frac{\tau}{2} \sum_{t=1}^{T-1}\left.\|\mathbf{C}_{t+1}-\mathbf{C}_{t}\right.\|_{F}^{2}
\end{array}
$

ここで、 $\gamma, \lambda, \tau$ はハイパーパラメータである。

近年では、文脈を考慮した単語ベクトルを生成で きる事前学習済み言語モデルである BERTを用いた 研究が行われている。単語の語義単位の意味変化を 扱う研究として、単語の語義ごとに辞書の例文から ベクトルを計算するもの [5] や、BERTによって得 られる単語ベクトルを語義単位にクラスタリングす るもの [7] がある。また、単語の代表的な意味の変化を調べる研究として、BERTによって得られるべ クトルを平均することで単語の代表的なべクトルを 獲得するもの[6] がある。本研究では、単語の代表的な意味の変化に着目した比較および分析を行う。

## 3 提案手法

## 3.1 準備：PMI-SVD [8]

まず、基盤となる手法である Levy ら [8] の単語分散表現学習手法について説明する。コーパス全体において、単語 $w$ とその周辺に現れる文脈語 $c$ との共起確率を $p(w, c), w$ と $c$ それぞれの出現確率 を $p(w), p(c)$ としたとき、単語べクトルの学習は、 Shifted Positive PMI (SPPMI)

$
M[w, c]=\max \left(\log \frac{p(w, c)}{p(w) p(c)}-\log k, 0\right)
$

を要素とする $V_{W} \times V_{C}$ の行列 $\mathbf{M}\left(V_{W}\right.$ は対象語の語彙サイズ、 $V_{C}$ は文脈語の語彙サイズを示す）を、 $\mathbf{M} \simeq \mathbf{W C}$ と $d$ 次元に特異値分解したときの $V_{W} \times d$ の行列 $\mathbf{W}$ の各行に等しい [8]。同様に、文脈語べク トルは $d \times V_{C}$ の行列 $\mathbf{C}$ の各列として獲得できる。 $\mathbf{W}$ の列数（および $\mathbf{C}$ の行数） $d$ は単語ベクトルの次元数を示しており、以下本研究では $d=100$ とした。式 (3) の定数 $k$ は Word $2 \mathrm{vec}$ の負例サンプリングにお ける負例数に相当し、以下 $k=1$ とした。

## 3.2 PMI-SVD $_{\text {joint }[9]$}

この方法を拡張すると、時期の違う単語ベクトル を同時に計算することが可能になる。文脈語の分散

$\mathbf{M}_{A}, \mathbf{M}_{B} \in \mathbb{R}^{V_{W} \times V_{C}} \quad \mathbf{W}_{A}, \mathbf{W}_{B} \in \mathbb{R}^{V_{W} \times d}$

図 2: 文脈語の意味変化も考慮する提案手法 PMI-SVD ${ }_{\mathrm{c}}$ の 行列分解の模式図.

表現 $\mathbf{C}$ の各列である文脈ベクトルが変化しないと 仮定すると、時期 A（たとえば明治時代）における $\mathrm{PMI}$ 行列を $\mathbf{M}_{A}$, 時期 B（たとえば平成時代）におけ る PMI 行列を $\mathbf{M}_{B}$ とすれば、 $\mathbf{M}_{A}$ と $\mathbf{M}_{B}$ を縦に結合 した $\mathbf{M}=\left[\mathbf{M}_{A} ; \mathbf{M}_{B}\right]$ も同様に

$
\left[\begin{array}{l}
\mathbf{M}_{A} \\
\mathbf{M}_{B}
\end{array}\right] \simeq\left[\begin{array}{l}
\mathbf{W}_{A} \\
\mathbf{W}_{B}
\end{array}\right][\mathbf{C}]
$

と行列分解することができる（図 1)。このとき $\mathbf{W}_{A}$ および $\mathbf{W}_{B}$ の対応する行が、時期 $\mathrm{A}$ と時期 $\mathrm{B}$ の同じ単語の単語ベクトルとなり、後処理によ 了近似的な対応づけは必要としない [9]。式 (4) の 計算は、 $\mathbf{M}=\mathbf{U} \boldsymbol{\Sigma} \mathbf{V}^{\top}$ と特異値分解を行った後で、 $\mathbf{W}=\mathbf{U} \boldsymbol{\Sigma}^{1 / 2}, \mathbf{C}=\boldsymbol{\Sigma}^{1 / 2} \mathbf{V}^{\top}$ ととることで行える。

## 3.3 PMI-SVD ${ _{\mathrm{c}}$}

上の手法では、時期が経過しても文脈語は意味が 変化しないという仮定を置いていた。この仮定を避 けるために、次に文脈語の意味変化も考慮するモデ ルを提案する。文脈語の意味変化を単純に考慮する のであれば、単語べクトル行列と同じ数の文脈語べ クトル行列を作成すれば良い。しかし、各時期の $\mathrm{PMI}$ 行列 $\mathbf{M}_{t}$ を個別に行列分解するだけでは、時期間での対応が取れない。そこで、通常の行列分解 (式 (4)) の目的関数に、隣接する時期間で文脈語べ クトルが類似しているという制約項を次式で追加 する。

$
\sum_{t=1}^{T}\left.\|\mathbf{M}_{t}-\mathbf{W}_{t} \mathbf{C}_{t}\right.\|_{F}+\tau \sum_{t=1}^{T-1}\left.\|\mathbf{C}_{t+1}-\mathbf{C}_{t}\right.\|_{F}
$

タである。これは Yao ら [3] のモデル（式(2)）と比 べて簡略化されており、ハイパーパラメータの探索 に必要な試行数を大きく減らしつつ、以下のように 実験的にも同等以上の性能を示した。

## 4 実験

擬似的に意味変化を生成したデータおよび、実際 に意味が変化した単語のリストを用いた定量的な評価 [1] により提案手法と既存手法の比較を行った。

## 4.1 データ

日本語と英語のデータを用いて、2つの時期にお ける単語の意味変化について実験を行った。日本語 では、『日本語歴史コーパス』1)の一部として公開さ れている近代雑誌コーパスス2)に「昭和・平成書き言葉コーパス」として構築中の雑誌 (『中央公論』『文藝春秋』)データを追加したものを、戦前 (1895-1944 年）と戦後（1945-1997 年）に分けて用いた。英語 では、Corpus of Historical American English ${ }^{3)}$ (COHA) の 1900 年代と 1990 年代を用いた。

各時期の文書で 100 回以上出現する名詞・動詞・形容詞・副詞を分析対象の単語とした。また、文脈語には分析対象の単語と同じものを用いた。

## 4.2 比較手法

の既存手法を比較した。

回転行列で対応付けを行う（式 (1)）。

PMI-SVD の代わりに Word2Vec skip-gram negative-sampling を訓練する。

-Dynamic Word Embeddings [3]: 式 (2)を最小化 することで各時期の単語分散表現を獲得する。
- BERT [4]: 各時期の各単語を代表するべクト ルは平均によって獲得した [6]。本実験では、 huggingface ${ }^{4)}$ で公開されている事前訓練された BERTを使用した。

## 4.3 評価

最初に、各モデルで語彙中の全ての単語について 2 つの時期間の余弦類似度が低い順にランキングを 行い、リストを作成した。次に、このリストの上位 $k$ 単語と、実際に意味の変化した単語のリストとの 一致率を計算して評価した（Recall@k）。

図 3: 日本語のデータで擬似的に意味の変化する単語を生成し、Recall@kで評価した結果.

表 1: 日本語のデータにおける平均再現率.

## 4.4 擬似的に生成した意味の変化する単語 を用いた比較

まず、簡単な問題として、2つの時期間で意味が 完全に変化する単語を擬似的に生成し [10]、その単語を用いて定量的な比較を行った。擬似的に意味の 変化する単語は、各時期における余弦類似度の絶対值がいずれも 0.01 よりも小さい、なるべく無関係な 単語ペアの集合の中から無作為に 50 ペアを抽出し、後の時期のコーパスの単語（たとえば「虫」）を全 て前の時期の単語（たとえば「中隊」）に置き換える ことで、2つの時期間で完全に意味が変化する単語 を設定した。

日本語のデータにおいて、各手法について上位 1,000 単語までの範囲で Recall@ $\mathrm{k}$ を評価した結果を 図 3 に示す (英語でも同等の結果を確認した)。図 3

## 4.5 実際に意味の変化した単語を用いた 比較

次に、実際に意味が変化した単語を用いて定量的 な比較を行った。日本語では間淵らが作成した単語 リスト [11]を、英語では Kulkarni らが作成した単語 リスト [1]を用いて Recall@kで評価した。日本語の データにおける結果を図 4 に示す。付録 $\mathrm{A}$ に示した ように、英語でも同様の結果となった。図 4 及び表 1 の平均再現率より、提案手法である PMI- SVD $_{\text {joint }}$ は簡単な手法でありながら既存の手法を上回り、事前学習済みの BERT に迫る性能を示した。
表 2: 日本語において意味変化した可能性が高いと予測された上位 10 単語 (1 文字の単語は除く).

図 4: 日本語のデータで実際に意味の変化した単語を用い て Recall@kを評価した結果.

## 5 議論

ここでは、4節で優れた結果を獲得していたBERT

性的な評価 [2]を行った。

まず、日本語について、それぞれのモデルにおい て意味変化した可能性が高いと予測された上位 10 単語を比較した (表 2)。この時、1 文字の単語は除外した。表 2 より、BERT は意味的な変化を捉え、

えていることがわかる。これは、BERT は与えられ た文全体を考慮して単語ベクトルを計算しているの

表 3: 「了解」「要領」という単語と意味の近い各時期の 周辺 5 単語 ( 1 文字の単語は除く).

了解 (理解 $\rightarrow$ 承知)

要領（要点 $\rightarrow$ 処理手段）

ベクトルを獲得しているためだと考える。

次に、実際に意味が変化した単語について、それ ぞれの手法で学習した単語分散表現において対象単語のベクトルに近い 5 単語（1 文字の単語は除く） を比較した。表 3 は「了解」及び「要領」という単

に伴い周辺に「承知」に関する単語が出現し、変化前の「理解」に関する単語と共存する結果になって いるが、BERT は意味が変化する前の戦前に「承知」 に関する周辺単語が出現してしまっている。また、「要領」に関しても同様に、BERT は変化前の戦前か ら「うまく処理する手段」に関する周辺単語が出現 していることがわかる。これは、BERT が時期を意識せずに訓練されており、変化後の単語の語義に強 く影響されてしまったためだと考える。

## 6 おわりに

本研究では、以前の研究で提案した手法と先行研究について定量的・定性的な比較を行った。意味の 変化した単語を用いて定量的な評価を行った結果、提案手法が従来の手法と同等またはそれ以上の結果 を獲得することを示した。また、実際に意味の変化 した単語に対して提案手法と BERT で定性的な比較 を行った結果、提案手法がより効果的に単語の意味変化を捉えていることを示した。

今後は、BERTを分析対象のデータのみで訓練さ せ、対等な条件で性能の比較を行う予定である。ま た、比較する時期を 3 つ以上に増やし、単語の意味変化についてさらに詳細な比較・分析を行いたい。謝辞 本研究は国立国語研究所の共同研究プロジェ クト「現代語の意味の変化に対する計算的・統計力学的アプローチ」、同「通時コーパスの設計と日本語史研究の新展開」および JSPS 科研費 19H00531, 18K11456 の研究成果の一部を報告したものである。

## 参考文献

[1] Vivek Kulkarni, Rami Al-Rfou, Bryan Perozzi, and Steven Skiena. Statistically significant detection of linguistic change. In Proceedings of the 24th International Conference on World Wide Web, WWW'15, p. 625-635, Republic and Canton of Geneva, CHE, 2015. International World Wide Web Conferences Steering Committee.

[2] William L. Hamilton, Jure Leskovec, and Dan Jurafsky. Diachronic word embeddings reveal statistical laws of semantic change. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1489-1501, Berlin, Germany, August 2016. Association for Computational Linguistics.

[3] Zijun Yao, Yifan Sun, Weicong Ding, Nikhil Rao, and Hui Xiong. Dynamic word embeddings for evolving semantic discovery. In Proceedings of the Eleventh ACM International Conference on Web Search and Data Mining, WSDM'18, p. 673-681, New York, NY, USA, 2018. Association for Computing Machinery.

[4] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[5] Renfen Hu, Shen Li, and Shichen Liang. Diachronic sense modeling with deep contextualized word embeddings: An ecological view. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 3899-3908, Florence, Italy, July 2019. Association for Computational Linguistics.

[6] Matej Martinc, Petra Kralj Novak, and Senja Pollak. Leveraging contextual embeddings for detecting diachronic semantic shift. In Proceedings of the 12th Language Resources and Evaluation Conference, pp. 4811-4819, Marseille, France, May 2020. European Language Resources Association.

[7] Mario Giulianelli, Marco Del Tredici, and Raquel Fernández. Analysing lexical semantic change with contextualised word representations. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 3960-3973, Online, July 2020. Association for Computational Linguistics.

[8] Omer Levy and Yoav Goldberg. Neural word embedding as implicit matrix factorization. In Z. Ghahramani, M. Welling, C. Cortes, N. D. Lawrence, and K. Q. Weinberger, editors, Advances in Neural Information Processing Systems 27, pp. 2177-2185. Curran Associates, Inc., 2014.

[9] 相田太一, 小町守, 小木曽智信, 高村大也, 坂田綾香,小山慎介, 持橋大地. 単語分散表現の結合学習による 単語の意味の通時的変化の分析. 言語処理学会第 26 回年次大会 発表論文集, 2020 .

[10] Philippa Shoemark, Farhana Ferdousi Liza, Dong Nguyen, Scott Hale, and Barbara McGillivray. Room to Glo: A systematic comparison of semantic change detection approaches with word embeddings. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 66-76, Hong Kong, China, November 2019. Association for Computational Linguistics.

[11] 間淵洋子, 小木曽智信. 近現代日本語の意味変化分析 のための単語データセット構築の試み. 言語処理学会第 27 回年次大会 発表論文集, 2021.

## A 英語の実験結果

まず、英語データにおける結果を以下に示す。

表 4: 英語において意味変化した可能性が高いと予測された上位 10 単語.

図 5: 英語のデータで擬似的に意味の変化する単語を生成

し、Recall@kで評価した結果.

図 6: 英語のデータで実際に意味の変化した単語を用いて 各手法に対して Recall@kで評価した結果.表 5: 英語のデータにおける平均再現率.

表 6: gayという単語について、各時期のベクトルの周辺 10 単語.

表 7: rockという単語について、各時期のベクトルの周辺 10 単語.

 &  &  &  \\

## B日本語の評価に用いた単語リスト

次に、今回 4.5 節で用いた日本語で実際に意味の変化した単語リストを以下に示す。

適当, 故障, 優勝, 非常, 心持ち, 広告, 了解, 結構, 住居, 主婦, 要領, 全然, 風俗, 障害, 婦人, 貴族, 普通, 設備, 教授, 女性, 情報, 普段, 自然, モデル,とても,衣


# コーパス統計量と読解能力値に基づいた単語の既知率の予測

相原理子 ${ }^{1}$ 石川香 ${ }^{1}$ 藤田早苗 ${ }^{2}$ 新井紀子 ${ }^{3}$ 松崎拓也 ${ }^{1}$
${ }^{1}$ 東京理科大学 理学部第一部 応用数学科
${ }^{2} \mathrm{NTT}$ コミュニケーション科学基礎研究所， ${ }^{3}$ 教育のための科学研究所
\{1417001, 1417009\}@ed.tus.ac.jp, sanae.fujita.zc@hco.ntt.co.jp, arai@s4e.jp, matuzaki@rs.tus.ac.jp

## 1 はじめに

小学校から大学までどの学習段階においても教科書は最も主要な知識源である。よって児童・生徒・学生が教科書をどの程度理解できるか, あるいは逆 に，教科書がその対象読者に理解可能な形で書かれ ているかを知ることは重要である。一方，読解に関 するこれまでの研究から，あるテキストを理解する ためには，そこに含まれる単語の大部分が既知であ ることが必要だと知られている. そこで, 様々な学年の览童生徒にとって, 教科書中の単語がどれくら い既知であるかを正確に知りたい。

この目的の下, 本研究ではコーパス統計量や児童生徒の読解能力スコアを用いて，各単語の既知率を 正確に予測することを試みた。ここで，ある単語の 既知率とはある集団（例えば同学年の児童）におけ る, その単語を知っている人の割合を意味する. 語彙量に従ってテキストの理解度も向上するという結果は様々な実験から知られており, 例えば、Schmitt ら [1] は, テキストの内容を $60 \%$ 以上理解するため には，テキスト中の単語の約 $98 \%$ を把握している必要があるとしている.

特に教科書中の語彙が, その対象である児童生徒 にとってどの程度まで既知であるかは重要な基礎情報だが，これを調査した例は我々の知る限り存在し ない。その主な理由は，教科書中の単語についての 全数調査はもちろんのこと, 十分な量のサンプリン グ調査でも児童生徒への負担が極めて大きく, 現実的でないことであろう，そこで本研究では，コーパ ス統計量などを用いて, 教科書中の各単語の既知率 を正確に予測することが可能かどうかを調查する.

## 2 関連研究

## 2.1 語裹知識予測問題

語彙知識予測問題とは，ある人がある単語を知っ ているかどうかを予測する問題である．例えば，江原 [2] は単語テストに用いる単語を選ぶ際に, 学習者の能力を正確に把握するのに適した項目を選ぶこ とによって，語彙知識予測の性能を向上させる手法 を提案した。この研究では，項目の難易度を正確に 把握することが重要であるが，単語の難易度は，学習者によって異なるため, 項目反応理論の Rasch モ デルを発展させ，学習者にとっての単語の難易度を 計算するモデルを提案している.

## 2.2 単語親密度による語彙数調査

単語親密度とは語のなじみ深さを 1-7 の值で数値化したものであり, 数值が高いほどなじみのある語 であることを示す. 天野ら [3] は 18～29 歳の評定者, 藤田と小林 [4] は 18 35 歳の評定者からこの数値を得ている. 藤田ら [5] はこの単語親密度を用い て小学生から高校生を対象に語彙量調査を行ってい る.この調查により，学年が上がるにつれて，おお む敖語彙量が増大していること，また単語親密度と 各語を知っている人の割合 (既知率) には強い相関 があることが分かっている.ここで注意すべき点は，学年ごとに単語親密度と既知率の関係は異なること, さらに, 特に小学生では同程度の親密度を持つ語の 間でも既知率に大きな差がある場合があることであ る. よって個人の語彙量の推計ではなく, 具体的な 教科書中の語彙のカバー率（既知の単語の率）を推計する際には，単語親密度以外の情報も併用して 個々の語の既知率を正確に推計することが望まれる。

## 3 背景

## 3.1 現代日本語書き言葉均衡コーパス

現代日本語書き言葉均衡コーパス (BCCWJ) は, 短単位で数えて約 1 億語を含む大規模均衡コーパスであ る. BCCWJ は計 13 のレジスターから構成されてい る. 表 1 にレジスターごとの延べ語数（短単位）を 示す（数値はマニュアル [6] に基づく）.
表 1 各レジスターの語数

## 3.2 教育基本語彙

教育基本語彙 $[7]$ とは学習者に教育する基本的な 言葉であり, 国立国語研究所が 7 種の教育基本語彙 をデータベース化したものである. 本研究では, 教育基本語彙に含まれるかどうかとその単語の既知率 との関係を調べた。

## 3.3 リーディングスキルテスト

リーディングスキルテスト（RST） [8] は主として 教科書から採った 1～2 文からなる短いテキストを 用いた読解能力テストである。これまで中高生を中心に，小学生および成人も含め約 20 万人が受検し ている. RST の問題は以下の 6 タイプからなる：係 り受け解析 (DEP), 照応解決 (ANA), 含意関係の認識 (INF), 定義に適合する具体例の選択 (INST), 画像の理解 (REP), 同義文か否かの判定 (PARA). テス 卜結果に従って, 各受検者に対し問題タイプごとに 項目反応理論に基づく能力值が推定される. 本研究 では受検者がある単語を知っているか否かを能力値 をもとに推測することを試みる。

## 4 調査対象とするデータ

## 4.1 藤田らによる語彙調査結果

藤田ら [5] は, 親密度がおよそ $2.0 \sim 6.5$ の単語 およそ 50 語について, 小学校 6 年生から高校 2 年生までの約 2500 名を対象に, 各単語を知っている か否かを調査した. 本研究ではこのデータを調査対象の一つとした. 以下，これを「データ A」と呼ぶ.

## 4.2 語彙テストと RST 能力值データ

小学 6 年生から中学 3 年生までの約 4300 人を対象に語彙テストを行った. テストした単語は 40 単語で, 各被験者はそのうち 10 単語について, 「知っ

図 1 中学高校教科書における単語親密度の分布

図 2 親密度（令和版）と既知率の関係

ている/たぶん知っている/たぶん知らない/知らな い」のうち 1 つを選んだ上で，語義を問う 4 択のテ ストに答えた.「知っている」または「たぶん知って いる」を選び，かつ 4 択のテストに正解した語を「既知」とみなす. 語彙テストに加え DEP, INF, INST, REP の 4 つの RST 問題タイプに対する各被験者の能力値を測定した. 以下，これを「データB」と呼ぶ.

## 5 分析結果

## 5.1 中学校・高校の教科書テキスト比較

図 1 は, 中学校・高校の理科・社会の教科書中の 単語の親密度の分布である. オレンジのヒストグラ ムが中学校, 青のヒストグラムが高校の教科書にお ける分布を表す。具体的な科目としては，中学校理科は理科 3 年 [9], 中学校社会は公民 [10], 高校理科は物理 [11], 高校社会は現代社会 [12] の教科書 を調査した. 図から, 理科の科目どうし, 社会の科目どうしの親密度の分布は比較的似ていることが分 かる。言い換えれば，類似する科目の教科書であれ ば，中学・高校の教科書中の単語の親密度の分布に は大きな差がない.このことから，もし中学生・高校生の間で使用する教科書中の単語カバー率に差が
表 2 学年ごとの各レジスターの線形回帰係数 と自由度調整済み決定係数

あるとすれば, それは中学教科書が高校教科書に比 べ「易しい」単語を多く含むためではなく，主とし て, 同程度の親密度の単語に対する中学生・高校生 の既知率の違いに起因すると予想される。

## 5.2 教育基本語彙 - 単語親密度と既知率

図 2 はデータ A のうち小学校 6 年生を対象とする 結果について, 教育基本語彙に含まれる単語 (赤点) と含まれない単語（黒点）に分けて, 横軸に単語親密度 (令和版), 縦軸に既知率を取った散布図である。教育基本語彙は教育上重要と考えられている語を集 めているため, 特に低い学年では, 同程度の親密度 の単語でも教育基本語彙に含まれるものの方が既知率が高い可能性がある。しかし, 図 2 から分かるよ うにそのような傾向は見られなかった。

## 5.3 単語出現頻度を用いた既知率の予測

図 3 は BCCWJ の 13 個のレジスターごとに, 含ま れる単語の親密度（平成版）の分布を示す（単語延 べ出現数に対する分布). 各レジスターにおける親密度の分布には多少の違いが見られる。

データ A の各テスト語について BCCWJ の各レジ スターにおける出現頻度を調べ，説明変数を各レジ スターでの相対頻度の対数, 目的変数を小学校 6 年生〜高校 2 年生におけるその単語の既知率として,学年ごとに線形回帰を行った. ただし, 頻度が 0 と なるレジスターに対する説明変数の値は, その他の レジスターでの相対頻度の平均値の対数とした。

図 4 読解能力値の違いによる既知率の差

表 2 に，各レジスターに対応する回帰係数及び自由度調整済み決定係数 $\left(R^{2}\right)$ を学年ごとに示す. 表中 で，係数が非ゼロであることが $5 \%$ 有意であるものに は†，10\%有意であるものには†を付した. 非ゼロで あることが有意となる係数がごく少数であり, $R^{2}$ の 值も低いことからモデルのあてはまりは良くない. また，予測値が実測値を上回る単語，下回る単語が 全ての学年でほぼ共通していた.このことからモデ ルの線形性の仮定が妥当でない可能性がある.

また，表 2 の最終行に BCCWJ 全体における相対頻度の対数を説明変数とする場合 (すなわち単回帰の 場合)の自由度調整済み $R^{2}$ を示す.表の最後の 2 行の 比較から, 低い学年ではレジスターを分けた方が回帰の当てはまりが良く，高い学年ではレジスターを 分けない方が良いことが分かる.

## 5.4 読解能力値を用いた既知語予測

各览童生徒の読解能力値を入力値とすることで, ある単語がその坚童生徒にとって既知であるかどう かを予測したい. これが高い精度で可能ならば, 個々 の览童生徒にとっての教科書テキストの単語カバー 率が推計できる。そこで，まず読解能力値と語彙テ スト結果の関係について確認しておく.

図 4 はデータ B について 4 つの能力値ごとに縦軸 に能力値が高い上位 $1 / 4$ の受検者における各テスト 語の既知率, 横軸に能力值が低い下位 $1 / 4$ の受検者 における既知率をとった散布図である。図 4 から，

図 3 BCCWJ のレジスターごとの分布

## 図 5 既知率と既知語予測の平均精度

どの能力値, どのテスト語についても能力値上位 $1 / 4$群における既知率が下位 $1 / 4$ 群におけるそれを上回 っており, 読解能力値と語彙量には関係があること が分かる.

次に, 説明変数を受検者の 4 つの RST 能力値, 目的変数を各受検者にとってテスト語が既知であった (1) か否か $(0)$ として, 個々の単語ごとにロジスティ ック回帰を行った. 受検者を 10 分割した交差検証 を行ったときの平均精度を図 5 に示す. 赤い直線は $y=x, y=1-x$ のグラフで, 全て既知, あるいは 全て未知と予測した場合のベースライン精度を表す。赤線との比較から，既知率 $50 \%$ 付近の単語について は予測精度がベースラインを上回るが，それ以外の 単語についてはベースラインと同等の精度でしか予測できていないことが分かる. すなわち, 4 つの RST 能力値を総合しても, 個々の受検者にとって単語が 既知かどうかを予測することは難しいことが分かる。

さらに, 受検者の 4 つの RST 能力値を説明変数,各受検者にとってテスト語が既知であったか否かを 目的変数とする上記のロジスティック回帰モデルに，説明変数として単語固有のパラメータ (項目反応理 における困難度に相当する)を加えたもの（モデル 1)表 3 困難度あるいは親密度を加えた回帰の結果

} & \multicolumn{4}{|c|}{ RST 能力值 } & \multirow{2}{*}{} & \multirow{2}{*}{} \\

と，単語親密度を加えたもの（モデル 2) について，全テスト語に対するデータをまとめて訓練データと し10 分割交差検証を行った. 結果を表 3 に示す. 単語親密度を説明変数として加えたモデル 2 の平均精度は 0.64 であり, 個々の単語の既知率の推定に用 いるには不十分であることが分かった。

## 5 おわりに

教育基本語彙, BCCWJ での単語出現頻度, および RST 能力値を用いて，ある集団内での単語の既知率 の予測および各受検者にとって単語が既知か否かの 予測を試みた、いずれの予測も難しく，受検者ごと に単語が既知か否かを予測する精度が $70 \%$ を超える ことはなかった．予測精度を上げるためには，受検者に関しさらに情報を加える必要があると考えられ る。例えば，受検者の読書傾向や読書量，また家庭環境などの情報は有用であろう。しかし, 全児童生徒にとっての教科書の単語カバー率を推定するとい う当初目的を考えると，そのような情報を全児童生徒について調查できるかという問題がある.

## 謝辞

教科書データを提供いただいた東京書籍株式会社 に感謝します.本研究の一部は JST, さきがけ, JPMJPR175Aの支援を受けたものである.

## 参考文献

[1] Norbers Schmitt, Xiangying Jiang, and Willian Grabe. The Percentage of Words Known in a Text and Reading Comprehension. Modern Language Journal, 95(1), pp.26-43, 2011.

[2] Yo Ehara, Issei Sato, Hidekazu Oiwa, and Hiroshi Nakagawa. Mining words in the minds of second language learners: learner-specific word difficulty. In Proceedings of COLING, 2012.

[3] 天野成昭, 近藤公久. 日本語の語彙特性. 三省堂, 1999 .

[4] 藤田早苗, 小林哲生. 単語親密度の再調査と過去 のデータとの比較. 言語処理学会第 26 回年次大会, 2020.

[5] 藤田早苗, 小林哲生, 山田武士, 菅原真悟, 新井庭子，新井紀子. 小・中・高校生の語彙調査および単語親密度との関係分析. 言語処理学会第 26 回年次大会, 2020.

[6] 国立国語研究所. 『現代日本語書き言葉均衡コ ーパス』利用の手引. 2015.

[7] 国立国語研究所. 教育基本語彙の基本的研究 : 増補改訂版. 明治書院, 2009 .

[8] Noriko H. Arai, Naoya Todo, Teiko Arai, Kyosuke Bunji, Shingo Sugawara, Miwa Inuzuka, Takuya Matsuzaki, and Koken Ozaki. Reading Skill Test to Diagnose Basic Language Skills in Comparison to Machines. In Proceedings of the 39th Annual Cognitive Science Society Meeting, pp. 1556-1561, 2017.

[9] 岡村定矩ほか. 新編 新しい科学 3 . 東京書籍, 2016.

[10］坂上康俊ほか. 新編 新しい社会 公民. 東京書籍, 2016 .

[11］三浦登ほか. 改訂 新編物理基礎. 東京書籍, 2017.

［12］間宮陽介ほか．現代社会．東京書籍，2017.


# 執筆・翻訳のための制限語彙の構築とその自動化の検討

杉野峰大宮田玲少川浩平佐藤理史
名古屋大学大学院工学研究科
sugino.hodai@c.mbox.nagoya-u.ac.jp

## 1 はじめに

工業製品のマニュアルなど産業文書は、大規模に なることが多い上、製品のリリースに合わせて短期間で完成させることが求められる。また、制作・多言語展開のプロセスには複数の編集会社・翻訳会社 が携わり、表現の一貫性を保つことが難しいという 問題もある。このような課題を解決するための枠組 みとして制限言語がある。制限言語により、構文や 語彙を制限し、曖昧な表現を防ぐことで、テキスト の一貫性や翻訳可能性の向上が期待できる $[1,2]$ 。 ここで肝心なことは、執筆者・編集者・翻訳者が各作業プロセスにおいて共通に参照できるルールや辞書を事前に整備し、その利用を技術的に支援するこ とである。

制限語彙は、制限言語の重要な要素の 1 つであ り、特定のドメイン向けに設計された使用可能な語 のリストのことである $[1,3]$ 。予め、使用できる語 を規定しておくことによって、執筆者間の語彙使用のばらつきを抑制し、文書全体を通した表現の 一貫性を向上させることができる。これまで、主 に産業文書の執筆のために各種の制限語彙が構築 されてきたが $[4,5]$ 、一般に公開されているものは 多くない。公開されている制限語彙の 1 つに ASD Simplified Technical English (ASD-STE 100) [6] があ る。これは、もともと航空宇宙分野の整備マニュア ル用に開発されたもので、現在では産業界で広く使用されている。8つの品詞 (動詞、名詞、形容詞、副詞、冠詞、前置詞、接続詞、代名詞）を対象に、承認語 (approved word) と非承認語 (unapproved word) の リストが提供されている。

我々は、ASD-STE 100 をモデル例と捉え、自動車 の修理書を対象とした日英対訳の制限語彙の構築に 取り組んでいる。ASD-STE 100 は有用な枠組みでは あるが、他の目的、ドメイン、言語に直接移植する ことは容易ではない。また、どの単語を使うべきか については規定されているが、それらをどのように使うかに関する指針は必ずしも十分ではなく、執筆 や翻訳に役立てるには改良の余地がある。さらに、単言語（英語）での提供であるため、多言語に制作 される文書に対しては効果が限定的といえる。

そこで、本稿では、ASD-STE 100 の枠組みを拡張 し、動詞を対象とした執筆・翻訳のための日英対訳 の制限語彙の形式を提案し、人手構築の現状を報告 する (2 節)。提案する制限語彙は、執筆支援や翻訳支援・機械翻訳への応用が考えられる（3 節)。さら に、制限語彙の人手構築で得た知見を踏まえ、構築作業の自動化に取り組んだ結果を報告する（4 節)。

## 2 制限語彙の設計と人手構築

## 2.1 設計

本研究では、執筆や翻訳に特に関わる文の主要な 構成要素であり、なおかつ格などの構文に関する情報を付与できる、動詞を対象とする。

表 1、表 2 に提案する自動車修理書を対象とした 制限語彙の形式を示す。表 1 は承認語、表 2 は非承認語のエントリの例である。この形式は ASD-STE 100 の形式を基に、以下の 3 つの観点から拡張した ものである。

表現文型 各動詞について取りうる格の順序と選択選好（意味カテゴリ） $[7,8]$ の情報を与える。これ らを合わせて動詞の表現文型と呼ぶことにする。日本語では、格順序が比較的自由であり、

1. GTS DLC3 接続する

2. DLC3 GTS を接続する

という 2 文は格の順序が入れ替わっているが、いず れも文法的には正しい。また、これらの違いは必ず しも読者の理解に大きな影響を与えるわけではな い。しかし、一貫性のある文書を作成する観点か ら、格順序を制限し、これらの摇れを取り除くこと は望ましく、テキスト検索の効率や機械翻訳出力の 一貫性の向上にも貢献する。
表 1 承認語のエントリ例

表 2 非承認語のエントリ例

また、選択選好を規定することで、用語集との連携を強化できる。技術文書では、パーツ名などの専門用語の使用頻度が高く、一貫性を保つために用語集で管理することが望ましい。表現文型の格によく 使われる語句の意味カテゴリの情報を付与し、用語集と対応させることで用語集の検索や利用を円滑に する（定義しているカテゴリは付録 $\mathrm{A}$ を参照）。

文書構造/内容要素 我々は、すでに情報の配置 に関するルールとなる修理書の文書構造やそれに対応した内容要素を定めている [9]（一覧は付録 B を 参照)。これらを表現文型を対応させることで、構造と表現が結びつき、表現文型の利用をより円滑な ものにする。

多言語対応 日本語の承認語に対し、多言語の承認語を対応させておくことで翻訳時の辞書として利用でき、目標言語での一貫性を高めることにつなが る。今回は、日本語のエントリを起点に英語の承認語と表現文型を定める。

## 2.2 制限語彙の人手構築

制限語彙構築の基本要件は以下の通りである（構築手順の詳細は、文献 [10]を参照)。

1. 語彙の全集合により当該ドメインのあらゆる内容を表現できる。

2. ある意味内容に対する表現形が 1 つに定まる。

ある意味内容に対する表現形を集めるには、単に 辞書的な類義語を取得するのみでは不十分である。例えば、「使用する」と「着用する」は一見、類義語 ではないが、「この作業では、必ず手袋を使用する こと」と「この作業では、必ず手袋を着用すること」 では、同じ内容を指している。そのため、用例にお ける入れ替え可能性に着目し、その語と入れ替え可能な語があれば、どちらか一方を承認語とする。

現在、トヨタ自動車株式会社から提供を受け た 10 車種 17 タイプの自動車修理書から抽出した $1,053,111$ 文の日本語文（以下、修理書コーパス）を 用いて人手により日本語の制限語彙を構築してい
る。複数の修理書から網羅的に文を抽出しており、当該ドメインを広くカバーしていると考えられる。

自動車修理書で使用される動詞全 852 種類を精査 し、承認語 717 語と非承認語 135 語を規定した。異 なりでは $15.9 \%$ 、延べでは $3.1 \%$ が非承認語であっ た。これは、プロの執筆者、編集者によって作成さ れた文書であっても、さらなる語彙統制の余地があ ることを示唆する。

また、717 の承認語に対して、900 の表現文型を 規定した。全文型により、現時点で修理書コーパス 中の文を延べで $85.2 \%$ カバーしているが、異なりで は $40.3 \%$ のカバレッジにとどまる。これは、数多く 存在する頻度が少ない文型を十分網羅できていない ことを意味する。また、格順序が規定のものと異な るバリエーションは延べで $2.7 \%$ 存在した。

## 3 執筆・翻訳への応用

執筆・翻訳において重要な役割を果たす表現文型 はよく使われる表現である基本形のみが定義され ている。実際に使用する際には、文書構造の位置に よって望ましい形に変形する必要がある。そこで、 そのメカニズムを変形規則として実現した（表現文型の変形規則一覧は付録 B を参照)。以上を踏まえ つつ、具体的な応用について述べる。

## 3.1 執筆支援

文を一から執筆するシナリオでは以下のプロセス からなる執筆支援方法が有効であろう。

1. 書きたい内容に応じた文書構造要素を選ぶ。

2. 文の核となる動詞を入力し、動詞と内容要素に 対応した表現文型を呼び出す。

3. 表現文型のスロットを埋める。

表現文型のスロットを埋める形式で文を書くこと で執筆者間で一貫性を保てる。さらに、文書構造、内容要素、表現文型がトップダウンに対応してお り、文レベルではなく文書レベルでの制限オーサリ ングを支援することが可能になる。
他にも、構築した制限語彙は、既存テキストの診断シナリオにも活用できる。具体的には、非承認語 の使用と、表現文型に違反する格の順序を検出し、 それぞれ正しい表現候補を提案することで執筆者や 編集者を支援できる。

## 3.2 翻訳支援・機械翻訳

$「\{[$ Part $]$ を $\}[$ Part] に $\}$ 交換する」と「replace $\{[$ Part $]$ に \} with $\{[$ Part] を\}」など言語間で表現文型の対応が ある。格要素は対訳用語集として整備しておく。表現文型と用語集は、人手翻訳ではガイドラインとし て使えるだけでなく、的確な変換規則を定めればテ ンプレートベース機械翻訳にも応用できる。

機械翻訳について、あらゆる入力文に対し、表現文型による翻訳を適用できるわけではない。現在、日本語の文型のカバレッジは約 $85 \%$ である。表現文型の数を増やすことで、カバレッジを高めることは 可能であるが、その分適切な管理が難しくなる。そ こで、表現文型でカバーできない表現にはニューラ ル機械翻訳を用いることで、一貫性と柔軟さを兼ね 備えた機械翻訳を実現できると考えている。

## 4 自動構築の検討

制限語彙は有用であるが、人手による構築は時間 や労力がかかる。また、 1000 種類以上の語を対象に 制限語彙の構築を人手で行う中で、見落としも生じ る。完全な自動化は難しいが制限語彙構築の機械的支援が求められる。本節では、承認語、非承認語決定の自動化の検討と実験について報告する。

## 4.1 自動構築手法

2.2 節で述べた制限語彙の構築方針を以下の手続 きとして具体化した。

1. 注目する動詞の類義語を収集する。

2. 注目する動詞の用例を用いて、類義語の入れ替 え可能性を検証する。

3. 入れ替え可能であれば、承認語を 1 つに決定 する。

自動化への課題は、大きく2つある。1つ目は、用例に即した入れ替え可能性をどのように自動で判定するかである。本研究では、BERT [11] ${ }^{1}$ を利用す

る。BERT は同じ語であっても文脈により異なる埋 め込み表現を与えるため、用例に対する入れ替え可能性を測ることに利用できると考えた。

2つ目は、何を基準に承認語を決定するかである。基準としては、例えば、使用頻度、平易さ、体系性 が挙げられる。使用頻度、平易さはそれぞれよく使 われる表現、わかり易い表現に統一するという考え から重要であるといえる。また、辞書としての体系性も重要な要素と考えられる。例えば、「送る」、「受信する」が承認語、「送信する」、「受け取る」が 非承認語であるのは不自然であり、承認語と非承認語の決定は対称的になっていることが望ましい。本来はこのような要素を複合的に考慮すべきである が、今回の自動化では人手構築においても特に重視 した使用頻度を基準とする。

本手法の入力は制限語彙を構築したい文書群、出力は、動詞のみを対象とした承認語のリスト及び非承認語と代替承認語のペアのリストの 2 つである。処理の全体像を図 1 に示す。この処理は対象コーパ ス中における頻度上位の語から順に行う。以下、各 モジュールの詳細を述べる。

(1) 置換候補抽出 対象動詞の代替承認語の候補 として対象コーパス中で対象動詞より出現頻度が多 い動詞から以下のどちらかを満たすものを選ぶ。
- WordNet ${ }^{2}$ における類義語
- $\operatorname{word2\mathrm {vec}^{3})}$ で対象動詞との $\cos$ 類似度が閾値 $\alpha$以上で上位 30 件以内かつ WordNet における対義語でない語

(2) 用例サンプリング 対象動詞を含むコーパス 中の全用例を検証するのは実行時間の点から現実的ではないため、用例のサンプリングを行う。動詞 は複数の用法で使用されることもあり、それらを広 く含むようサンプリングする必要がある。本研究で は、BERT のベクトルを利用した用例のクラスタリ ング [12]を利用する。なお、クラスタ数は未知で あるため、上限クラスタ数を 5 とし、x-means 法に よってクラスタリングを行う。得られたクラスタの 重心に最も近い用例を取得することによって、多様 な用法を含むサンプリングを実現する。

(3) 入れ替え可否判定 Panzer [13]、HaoriBricks3 [14]を利用して、(2)で得た用例 (原文) の動詞を (1) で得た置換候補に置き換えた文（置換文）を生成

2) http://compling.hss.ntu.edu.sg/wnja/

3） Wikipedia で学習したモデルを対象コーパスで追加学習し た。

図 1 制限語彙の自動構築の流れ（動詞「取り替える」と承認語「交換する」が入れ替え可能か判定する例を示す。）

表 3 自動で取得した非承認語と代替承認語のペアに対す る評価結果

する。なお、英語では、同様の処理に pattern [15] を 用いた。次に、入れ替え可否判定のために、BERT ベースの平易化手法 [16] を参考に原文と置換文の動詞部分を [MASK] トークンで置き換えた文を結合し て BERT に入力する。

[MASK] に置換文の動詞が出現する尤度を $p$ 、 [MASK] に原文の動詞が出現する尤度 $p^{\prime}$ として、入 れ替え可能性スコアは以下のように定義する4)。 Score $= \begin{cases}p & (\text { 動詞部分の token 数が異なる場合 }) \\ \frac{p}{1-p^{\prime}} & (\text { 動詞部分の token 数が同じ場合 })\end{cases}$ スコアが候補中で最大かつ閾値 $\beta$ 以上であれば、用例において動詞の入れ替えが可能と判定する。

(2)で得た全ての用例のについて入れ替え可能な 語があれば、それらを代替承認語とし、対象動詞を 非承認語とする。

## 4.2 検証

自動車分野の修理書コーパズ5)を用いて、日本語 と英語で制限語彙の自動構築を行った。

今回は、閾値 $\alpha, \beta$ はともに 0.2 と設定した。自動 で同定した非承認語と代替承認語のペアに対する 評価結果を表 3 に示す。日本語において、人手構築結果（2.2 節）との一致度は $14.1 \%$ と低いが、精度 は $63.6 \%$ と人手構築の判断材料として使える水準で あった。制限語彙の作り方は 1 通りには定まらず、

4） BERT に同じ長さの文を結合した 2 文を入力した場合、 2 文目の [MASK] に対して、1 文目と同じ token を予測する働きが 強まるため、入れ替え可能な他の表現の出現尤度が低くなる。 この BERT の挙動の影響を補正するため、場合分けを行う。

5）日本語は 2.2 節と同じ $1,053,111$ 文、英語は 10 車種 15 タイ プの自動車修理書から抽出した $1,202,738$ 文を利用した。必ずしも人手で構築したものが最良とは言えないこ とを示唆する。特に、人手では承認語としていた動詞の内、自動構築によって新たに 41 件に対し妥当 な代替承認語を獲得することができた。人手と自動構築の違いとして、人手の方が漢語から和語への言 い換えを好む傾向が見られた。また、英語において も、 $68.9 \%$ と日本語と同程度の精度が確認できた。

エラーとして、対義語が代替承認語と判定さ れている事例が複数存在した。原因は、BERT や word2vec が分布仮説の考え方に従っており、同義語 と対義語を十分区別できないためと考えられる。今回は候補抽出の段階で WordNet で獲得できる対義語 は除外したが、それでも多くの対義語が代替承認語 として出力されている。解決策としては、対義語辞書の拡充など対義語判定手法の改良が考えられる。

## 5 おわりに

本稿では、執筆・翻訳作業において制限語彙を有効に活用するために、ASD-STE 100 の枠組みを拡張 し、新たな制限語彙の形式を提案した。本制限語彙 は、執筆・翻訳作業の支援システムへの様々な応用 が可能である。さらに、制限語彙の構築作業の自動化に取り組み、人手作業の支援に利用できる一定の 精度が得られることを確認した。対義語への対処は 今後の課題である。

今後は、表現文型を起点として、執筆・翻訳支援 の枠組みを発展させる。具体的には、(1) 副詞句など の修飾要素の種類と文中での順序を整理すること、 (2) 複文の構成に関して節間接続表現の列挙と規則 を定めることに取り組む。また、これらの要素を執筆や翻訳に活用するためのシステムの開発を行う。

謝辞 研究データの自動車修理書はトヨタ自動車株式会社からご提供いただいた。本研究の一部は科研費（19H05660,19K20628）の支援を受けた。

## 参考文献

[1] Eric Nyberg, Teruko Mitamura, and Willem-Olaf Huijsen. Controlled language for authoring and translation. In Harold Somers, editor, Computers and Translation: A Translator's Guide, pp. 245-281. John Benjamins, Amsterdam, 2003.

[2] Tobias Kuhn. A survey and classification of controlled natural languages. Computational Linguistics, Vol. 40, No. 1, pp. 121-170, 2014.

[3] Kara Warburton. Developing lexical resources for controlled authoring purposes. In Proceedings of LREC 2014 Workshop: Controlled Natural Language Simplifying Language Use, pp. 90-103, 2014.

[4] Linda Means and Kurt Godden. The Controlled Automotive Service Language (CASL) project. In Proceedings of the 1 st International Workshop on Controlled Language Applications, pp. 106-114, 1996.

[5] Kurt Godden. The evolution of CASL controlled authoring at General Motors. In Proceedings of the 3rd International Workshop on Controlled Language Applications, pp. 14-19, 2000 .

[6] ASD Simplified Technical English. Specification ASDSTE100, Issue 7., （2020-12 閲 覧）. http://www. asd-ste100.org.

[7] Philip Resnik. Selectional preference and sense disambiguation. In Proceedings of ACL SIGLEX Workshop on Tagging Text with Lexical Semantics: Why, What, and How?, pp. 52-57, 1997.

[8] Yorick Wilks. An intelligent analyzer and understander of English. Communications of the ACM, Vol. 18, No. 5, pp. 264-274, 1975.

[9] Hodai Sugino, Rei Miyata, and Satoshi Sato. Formalising document structure and automatically recognising document elements: A case study on automobile repair manuals. In Adam Jatowt, Akira Maeda, and Sue Yeon Syn, editors, Digital Libraries at the Crossroads of Digital Information for the Future. ICADL 2019. Lecture Notes in Computer Science, pp. 249-262. Springer, Cham, 2019.

[10] Rei Miyata and Hodai Sugino. Building a controlled lexicon for authoring automotive technical documents. In Proceedings of XIX EURALEX Congress: Lexicography for Inclusion, pp. 171-180, 2020.

[11] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018.

[12] 馬ブン, 田中裕隆, 曹鋭, 白静, 新納浩幸. Bert を利用し た単語用例のクラスタリング. 言語資源活用ワーク ショップ発表論文集, 2019.

[13] 佐野正裕, 佐藤理史, 宮田玲. 文末述語における機能表現検出と文間接続関係推定への応用. 言語処理学会第 26 回年次大会発表論文集, pp. 1483-1486, 2020.

[14] 佐藤理史. HaoriBricks3: 日本語文を合成するための ドメイン特化言語. 自然言語処理, Vol. 27, No. 2, pp. 411-444, 2020.

[15] Tom De Smedt and Walter Daelemans. Pattern for Python. The Journal of Machine Learning Research, Vol. 13, No. 1, pp. 2063-2067, 2012.
[16] Jipeng Qiang, Yun Li, Zhu Yi, Yunhao Yuan, and Xindong Wu. Lexical simplification with pretrained encoders. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 34, No. 05, pp. 8649-8656, 2020.

## A 格要素の意味カテゴリ一覧

## B文書構造、内容要素、表現文型変形規則の対応一覧

内容要素は、文末動詞を含む要素のみを記載している（全要素は文献 [9]を参照のこと）。また、表現文型 は、内容要素のうち、操作、判断、推測、行為、機能、状態、物理、禁止事項のいずれかと対応付けられてい る (2 節参照)。


# 翻訳の主観評価で用いられる表現

西野 竜太郎
グローバリゼーションデザイン研究所
nishino@globalization.co.jp
}

藤田 篤

情報通信研究機構

atsushi.fujita@nict.go.jp

新田順也
エヌ・アイ・ティー
nittaQn-i-t.jp
山本 真佑花
関西大学
}

大西菜奈美

関西大学

山田 優
関西大学
yamada@apple-eye.com

## 1 はじめに

翻訳と翻訳業界が扱う「品質」という言葉とその 定義は常に曖昧さを含んでいたが、近年、これを整理する動きが活発化している。2014 年以降、欧州で は QTLaunchPadにより翻訳品質評価の共通枠組み が策定されてきた。また Fields ら [1] は、Garvin [2] の産業品質の基本概念を参照し、翻訳品質を評価す るアプローチを次の 5 つに分類した。

A.超越的 : 専門家による主観評価

B.ユーザーベース : 最終読者による主観評価

C.プロダクトベース : 客観指標による評価

D.価値ベース：費用を考慮した相対的価値

E.生産ベース：合意した仕様を満たす程度

図 1 は、西野 [3] による 5 分類の関係図である。

図 1 品質評価 5 分類の関係図

ここでは「評価対象の翻訳成果物」が左端に置か れており、それに対して「A. 超越的」、「B. ユーザー ベース」、「C. プロダクトベース」の 3 つから矢印が 伸びている。つまり、翻訳成果物を直接的に評価す る方法はこの 3 つということである。一方で $\mathrm{D}$ と は間接評価になる。

C の下位分類の一つである「エラー評価」は、現在、翻訳業界で活用される客観評価であり、具体例 としては、MQM [4]、国内の JTF 翻訳品質評価ガイ ドライン [5]、翻訳教育用の「みんなの翻訳実習」の 校閲カテゴリ [6] がある。これらは翻訳成果物に含 まれるエラー（文法ミス、用語違反など）に基づく 評価であり、比較的客観性が高く定量評価が可能で あるため、関係者間の合意形成やコミュニケーショ ンの円滑化に寄与する。

B は最終読者やユーザーの視点からの品質評価で ある。具体例としてはアンケート（「この翻訳は分 かりやすいですか？」といった質問）が挙げられ、最終成果物としての翻訳を評価する際に便利であ る。一方で時間等のコストがかかるためか、A や C と比べると頻繁に利用されない。

A は熟練翻訳者などの言語専門家による評価で ある。長年の経験や専門知識に基づく評価であり、実務翻訳の現場ではよく用いられる。しかし「意訳調」や「わかりにくい」といった主観的な表現が用 いられることが多いので、評価者間で結果を共有す ることが困難である。表現の意味が評価者や使用者 によって異なるため、この A で用いられる言葉（主観評価表現）の意味や定義（使用頻度、場面、およ びその言葉に対応する翻訳成果物の現象等）をある 程度明らかにすることができれば、評価者間および 翻訳制作工程における参与者間のコミュニケーショ ンの向上が望めるほか、包括的な翻訳品質評価方法 の確立に寄与する。

そこで筆者らは、主観評価表現に関する調査を翻訳業界の関係者に対して実施し、翻訳業界で【1】ど のような主観評価表現が使われているのか、【2】そ れはどのような意味で用いられているのか（どのよ うな言語現象を指し示すのか)、という 2 点の解明 に取り組んでいる。本論文では【1】に関係する調
査結果の一部を報告する。

## 2 方法

翻訳の主観評価において用いられる表現を調べる ため、まず一般に入手できる翻訳指南書などから主観評価表現に該当すると思われる表現を抽出し、そ の後で質問紙調査によって実際に使用されている表現を見つけるという方法を採用した。日本国内では 和訳（日本語訳）に対する需要が高いことに鑑み、今回は和訳時に用いられる日本語の主観評価表現を 対象にした（つまり英訳に用いる評価表現は除外）。

まず訳文に対する評価が掲載されている文献（付録 A. 1 に記載）を参照し、そこで用いられている評価表現 169 個を抽出した。ただしエラー評価の項目 （文法ミス、用語違反など）に該当する、指示が自明 な表現は除外した。次に、表層的に類似する表現を まとめた。たとえば、意味的に類似すると考えられ る「稚拙」と「幼稚」は別項目として残す一方、「自然」と「自然な」は内容語を共有するためまとめた。 その結果、最終的に 110 個の主観評価表現が残った (表 2)。

続いて、質問紙調査を実施した。対象は業界団体 である一般社団法人日本翻訳連盟（JTF）に所属する 個人会員と、法人会員である機関や企業の構成員と した。前者はフリーランス翻訳者が大部分である一方で、後者には翻訳者のほか、品質保証担当、プロ ジェクト・マネージャー、コーディネーターなどさ まざまな職種の人を含む。質問は次の通りである。

納品後に、翻訳成果物に対する評価（クレーム含む） が行われることがあります。また、クライアントや 翻訳会社からの発注時（または仕様指定時）に「こ んな感じで仕上げてほしい」と指示されることがあ ります。このようなとき、以下の 1～110で示す主観的な言葉が実際に用いられることはありますか?

各主観評価表現に対して、この質問への回答を 「よくある」、「たまにある」、「ない」の3つの中か ら1つを選んでもらう形式とした。また、提示した 110 個以外に実際に使っている主観評価表現があれ ば自由記述欄を通じて列挙してもらった。調査は 2020 年 7 月 1 日〜 15 日に実施した。

## 3 結果

合計で 115 名から回答を得た。回答者の属性は表 1 に示す通りである。

表 2 に調査対象とした 110 個の主観評価表現を示表 1 回答者の属性

 & 21 & $18 \%$ \\

す。分野を通した全体で「よくある」または「たま にある」という回答の割合（以下、使用率）が高い 順に並べており、上位 20 位までは全体での使用率 と、 4 つの専門分野 (A. 金融・経済・法務、B. 医学・医薬、C. 工業・科学技術、D. 特許・知財) の各々に おける使用率も記載している。なお、回答者全員が すべての項目に回答したわけではない。

表 2 より、全体の傾向として専門分野横断的に共通の主観評価表現が用いられていることが分かる。 しかし、各専門分野において、他の 3 分野よりも相対的に使用率が高い表現があることも観察できる。他の 3 分野よりも使用者の割合が有意に（有意水準 5\%）高かった表現を表 3 に示す。使用率の差が大き い順に左から右、上から下に並べている。なお「В.医学・医薬」分野には該当する表現は無かった。

表 4 に、回答者の所属ごとの主観評価表現全体 （質問数 $\times$ 人数）の使用率を示す。回答者が多かつ た「翻訳会社」の所属者と「フリーランス」を対象 とした。なお所属が「フリーランス」の全員が職務 を「翻訳者」と回答した。表 4 より、翻訳会社の所属者の方がフリーランスよりも主観評価表現を使用
表 2110 個の主観評価表現と上位 20 位までの使用率

(ここから 21 位以降。読点が区切りで、中黒は併置)

逐語訳、すっきりした、通じる、ぎこちない、明膫、くどい、きれい、機械的、あいまい、流暢、技術的に正確な、こ なれていない、一読して意味がわかる、意味不明、複雑、口語調、意味のずれた、フォーマル、難解、稚拙、うまい、適訳、無難、しっくりする・しっくりくる、くだけた、堅苦しい、やわらかい、原文に引きずられない、ぴったりの、微妙、粗い、カジュアル、完璧、話し言葉、すっきりしない、つたない、工夫の余地がある、翻訳調、思い切った意訳、安心できる、パーフェクト、たどたどしい、端的、明快、馴染みのない・馴染みがない、筋の通った、書き言葉、理解不可能、文語調、練られた、格調ある・格調高い、読める、馴染みのある・馴染みがある、ぼかした、原文が透け て見える、頭に入らない、ピンとくる、安易、無駄のない、使えそう、通りがよい、リズムある、舌足らず、きれいで ない、頭に入る、練られていない、持って回った、思考の流れを踏まえた、坐りが悪い、幼稚、原文からは思いつかな い、引き締まった、切れ味がよい、悪訳、字訳、重い、超訳、翻訳くさい、パンチがある、雾囲気を損なった、味気な い、面白味を損なった・面白くない、具合が悪い、つまらない、生硬、白々しい、完全無欠、平明達意、荘重、しゃち こばった・しゃちほこばった

表 3 他の 3 分野と比較した場合の分野別による高使用率表現

A. 金融・経済・法務（3 表現）
フォーマル、格調ある・格調高い、書き言葉

C. 工業・科学技術（21 表現）

翻訳調、ピンとくる、話し言葉、やわらかい、堅苦し い、かたい、カジュアル、端的、こなれていない、口語調、フォーマル、格調ある・格調高い、こなれた、ぼか した、坐りが悪い、工夫の余地がある、翻訳くさい、悪訳、引き締まった、幼稚、平明達意

D. 特許・知財 （6 表現）

逐語訳、字訳、不明膫、機械的、技術的に正確な、正し い

する傾向が見られる（5\%水準の有意差あり）。

さらに、翻訳会社とフリーランスという所属で比較した際に、使用の割合が有意に（有意水準 5\%）高 い主観評価表現を抽出した。該当する表現は翻訳会社側のみにあり、48 個あった。付録の表 5 に示す。自由記述として回答された表現のうち、 2 人以

上から挙げられたのは「ニュアンス」と「機械翻訳」のみであった。前者は「ニュアンスが違う」や 「ニュアンスが出せていない」、後者は「機械翻訳の ようだ」や「機械翻訳つぽい」のように使われる。 これら以外を付録の表 6 にまとめた。

## 4 考察

先述の通り、全体で上位に入る表現（表 2）は、専門分野にかかわらず同じような傾向が見られる。 つまり上位の主観評価表現は共通して用いられてい る。ただし表 3 で示した通り、分野ごとに使用率の 高い表現が存在する。詳細を見るとその分野におけ る特徵が浮き彫りになる。A の金融では契約書など 法務文書の特徴を示す「フォーマル」、「格調高い」、
「書き言葉」という表現が見られる。C の工業では マニュアルやマーケティング資料なども含まれるた めか、「話し言葉」、「やわらかい」、「堅苦しい」、「か たい」、「カジュアル」といった硬軟に関わる表現が 他分野よりも多く使われる。また D の特許では「逐語訳」や「字訳」さらに技術に関わる「技術的に正確な」や「不明膫」の使用割合が顕著に高い。

表 4 の結果は、翻訳会社に所属する人の方がフ リーランスよりも主観評価表現の使用者が多いこと を示した。これには 2 つ理由があると推測する。 まず、翻訳成果物の要求事項や品質を語る際に、翻訳会社と発注先のフリーランス翻訳者との間（すな わちプロの翻訳専門家間) では客観評価手法（エ ラー評価）でコミュニケーションが図られる一方 で、翻訳会社と発注元のクライアント (必ずしも客観評価手法に詳しくない）との間では主観評価手法 を用いざるを得ないため、翻訳会社における使用者 が多くなるという点である。もう 1 つ理由は評価対象の単位あるいは粒度である。翻訳会社とフリー ランスとの間では、文法ミスなどをエラー評価で具体的に細かくフィードバックすることがある。一方 で翻訳会社とクライアントとの間では、ファイル一式など納品物全体の評価が伝えられる。全体評価を 伝える際は抽象的な主観評価の方が便利であるた め、翻訳会社における使用者が多いという理由で ある。

## 5 おわりに

翻訳業界において主観評価は重要であり、実際に 広く使われている。しかしこれらの表現は主観的で あるがゆえに、使用者によって意味（指示対象）が 異なる可能性が考えられる。そのため、実際にどの ような主観評価表現が使われているか、各々の意味 が何であるのかが分かれば、関係者間に共通のコ ミュニケーション基盤を構築でき、翻訳品質の向上 にも資する。そこで本論文ではまず、翻訳現場で頻繁に用いられる主観評価表現について調査した。分野を通じた全体では「直訳」、「わかりやすい」、「意訳」、「読みやすい」などの表現の使用率が高かった。 また各専門分野で使用率が高い表現も判明した。

今後は、これらの主観評価表現が「どのような意味で用いられているのか (どのような言語現象を指 し示すのか)」という点について調査を継続する。

## 謝辞

調査に協力していただいた一般社団法人日本翻訳連盟（JTF）および回答者の皆さまに感謝申し上げ ます。

本研究の一部は、日本学術振興会科研費補助金基盤研究（S）「翻訳規範とコンピテンスの可操作化 を通した翻訳プロセス・モデルと統合環境の構築」 （研究課題番号：19H05660）の支援を受けて行われ ました。

## 参考文献

[1] Paul Fields, Daryl Hague, Geoffrey Koby, and Alan Melby. What is quality? A management discipline and the translation industry get acquainted. Revista Tradumàtica, Vol. 12, pp. 404-412, 2014.

[2] David Garvin. What does 'product quality' really mean? Sloan Management Review, 1984.

[3] 西野竜太郎. 翻訳品質のランチボックス：翻訳の 「品質」とは (2).日本翻訳ジャーナル, Vol. 284, pp. 24-25, 2016.

[4] Arle Lommel, Hans Uszkoreit, and Aljoscha Burchardt. Multidimensional Quality Metrics ( MQM ): A framework for declaring and describing translation quality metrics. Revista Tradumàtica, Vol. 12, pp. 455-462, 2014.

[5] 一般社団法人日本翻訳連盟. JTF 翻訳品質評価ガイド ライン,(2020-12-15 閲覧）.https://www.jtf.jp/tq/ pdf/jtf_translation_quality_guidelines_v1.pdf.

[6] 豊島知穂, 藤田篤, 田辺希久子, 影浦峡, Anthony Hartley.校閲カテゴリ体系に基づく翻訳学習者の誤り傾向の 分析. 通訳翻訳研究への招待, Vol. 16, pp. 47-65, 2016.

## A 付録

## A. 1 抽出時に参照した文献

主観評価表現の抽出時に参照した文献を示す。

・安西徹雄『翻訳英文法 一 訳し方のルール』(バベルプレス、2008 年)
- 安藤進『AI 時代の翻訳に役立つ Google 活用テクニック』(丸善出版、2018 年)

・遠田和子『Google 英文ライティング』(講談社、2009 年)
- 倉増一『特許翻訳の基礎と応用』(講談社、2006 年)

・駒宮俊友『翻訳スキルハンドブック』(アルク、2017 年)

・近藤哲史『トライアル現場主義！』(丸善出版、2005)

・沢井昭司・時國滋夫『特許翻訳の実務』(講談社、2014 年)

・柴田耕太郎『翻訳家になろう』(青弓社、2012 年)
- 田辺希久子・光藤京子『プロが教える基礎からの翻訳スキル』（三修社、2008 年）

・中山裕木子『技術系英文ライティング』(日本工業英語協会、2009 年)

## A. 2 翻訳会社で使用率が高い表現

フリーランスと比較した場合に翻訳会社で有意に（有意水準 5\%）使用率が高い表現 48 個を表 5 に示す。使用率の差が大きい順に左から右、上から下に並べている。

表 5 フリーランスと比較した場合に翻訳会社で使用率が高い表現 48 個読みにくい、機械的、兄長、つたない、稚拙、不明膫、不自然、くどい、わかりにくい、ぎこちない、簡潔、複雑、あ いまい、きれい、読みやすい、逐語訳、うまい、丁寧、忠実、たどたどしい、意味のずれた、原文に引きずられた、適切、正しい、尔さわしい、しっくりする・しっくりくる、意味不明、粗い、自然、カジュアル、直訳（直訳的・直訳調）、意味が通じる、通じる、頭に入らない、理解不可能、堅苦しい、こなれていない、難解、流暢、かたい、口語調、明膫、話し言葉、適訳、すっきりしない、ぼかした、字訳、わかりやすい

## A. 3 自由記述で挙げられた表現

自由記述で回答のあった主観評価表現のうち、2 人が回答した「ニュアンス」と「機械翻訳」を除き、整理 した上で 6 に示す。順不同である。

表 6 自由記述で挙げられた主観評価表現（「ニュアンス」と「機械翻訳」は除く）

定訳、文脈に即した、頭でつかちな主語・主部、長い修飾節、同語反復、好み、刺さる、下手だ、分かりづらい、違和感がある、スラスラ読める、一読で理解できる・できない、意味合い、正確、不完全な、不十分な、整然とした・整然 としない、文意に合わない、一般的な表現、どちらの意味にも取れる