# ニューラル文法誤り訂正システムにおける リランキングの改善に向けたオラクル分析

小林 正宗 ${ }^{1}$ 高橋悠進 ${ }^{2}$ 三田雅人 2,3 小町守 ${ }^{2}$
1 芝浦工業大学 2 東京都立大学 3 理化学研究所
dz18636@shibaura-it.ac.jp, takahashi-yujin@ed.tmu.ac.jp,
masato.mita@riken.jp, komachi@tmu.ac.jp

## 概要

ニューラル文法誤り訂正システムは通常，上位 $\mathrm{N}$文 (N-best) の中からビームサーチを行い，スコアの 最も良い文 (1-best)を最終的な出力文として選択す る.しかし, 1-best はシステム性能の観点から必ず しも最良な文とは限らず，システム性能を最大にす る文（オラクル文）を選択することは難しい。この 問題の解決策として，特定の情報を利用して N-best の各文のスコアを再計算し並び替えるリランキング があるが，ニューラル文法誤り訂正においてどのよ うなリランキングが適切かは明らかになっていな い.そこで本研究では，リランキングの改善に向け たオラクル分析を行う．具体的には，オラクル文を 上位にリランキングするためにどのような情報が必要か，といった観点でアノテーションを行い，リラ キングを改善させる可能性のある要素を分析する.

## 1 はじめに

文法誤り訂正は，文法的な誤りを含む文を入力と し，誤りを含まない文へと変換し出力するタスクで ある。近年は，その構造的類似性から，文法誤り訂正タスクを誤りを含む文から誤りを含まない文への 翻訳とみなすニューラル機械翻訳に基づくアプロー チが主流である. ニューラル文法誤り訂正システム は通常，出力のうち上位 $\mathrm{N}$ 文 ( $\mathrm{N}$-best) のビームサー チを行い，スコアの最も良い文 (1-best)を最終的な 出力文として選択する. しかし, 対数尤度の観点か らの 1-best は必ずしも文法誤り訂正の観点からの最良な文とは限らず，N-best の中から文法誤り訂正の 精度を最大にする文を選択することは難しい。

上記のような問題の解決策として，リランキング が注目されている. リランキングは， N-best の各文 のスコアを再計算し並び替える手法であり，元々の

図 1 本研究の概要

オラクル文 : It is useful to the government and people in the law sector. 1-best : It is useful to the government and the people in the law sector

図 2 アノテーションの概要

システムに組み込むことが難しい情報や言語資源を 利用することができる. リランキングは様々な手法 がこれまでに提案されており，Mizumoto ら [1]の統語情報を利用した手法や Chollampatt ら [2] の編集操作と言語モデルの特徴量を利用した手法などがあ る.リランキングにより，N-best の中から文法誤り 訂正精度の高い文を選択することで，文法誤り訂正 システムの性能改善が期待できる。

しかし，ニューラル文法誤り訂正においてどのよ うなリランキングが適切かは明らかになっていな い.ここで， N-best の中からオラクル文を上位に リランキングするにはどのような情報が必要か，と いった問いが自然に提起される。ここでのオラクル 文とは，N-best の中から任意の評価手法において精度が最も高くなるような文を指し，そのときの精度 はそのシステムの理論上の上限値を意味する。ま た，この問いについて調査することは，単にリラン
表 1 アノテーションの分類ラベルと例.太字は誤り箇所，青色のハイライトはアノテーション時の判断根拠となる箇所 をそれぞれ示している。

 \\

キング手法を改善する可能性のある要素を明らかに するだけでなく，最先端システムを対象に調査する ことで，現状のシステムにおける訂正が困難な文法誤りを明らかにすることに繋がると考えられる。

そこで本研究では，上記の問いの答えを調査すべ く, リランキングの改善に向けたオラクル分析を行 う. 本研究のイメージを図 1 に示す. 具体的には, まずはじめに最先端文法誤り訂正システムを対象 として，オラクルを算出し，システムの 1-best とオ ラクル文には大きな差があることを定量的に示す.次に，オラクル文を上位にリランキングするにはど のような情報が必要か，といった観点で人手でアノ テーションを行い，リランキングを改善させる可能性のある要素を明らかにする。

本研究の主要な貢献は以下である。

・分析対象データのうち，8 割がリランキングで 改善する余地があることがわかった. 5 割は文内で解けるものであり，文内の文脈の重要性が 示された. 残りの 3 割は文外の文脈が必要なも のであり，特に前の数文を考慮することは有効 であると示された.

・分析対象データのうち，2 割がリランキングで
の改善が難しいことがわかった. リランキング 手法のみならず，評価手法についても改善の余地がある可能性が示された.

## 2 分析手法

本研究では，オラクル文を上位にリランキングす るために必要となりうる情報を得るために，オラク 几文を正解文とみなしニューラル文法誤り訂正シス テムの 1-best 出力に対してアノテーションを行う.具体的なアノテーションの概要を図 2 に示す.

まず，オラクル文を正解文，1-bestを原文とみな し，文法誤り訂正システムの評価・分析ツールキッ ト ERRANT [3] を用いて 1-best 文の誤り箇所，エ ラータイプ，編集操作を解析する。 次に, ERRANT の解析結果をもとに，1-bestに対してアノテーショ ンを行う．アノテーションは基本的に文を見て行 う．また，アノテーションをする際は文内の文脈で 決まらない時のみ文外の文脈を使用する。

アノテーションの分類ラベルは大分類と小分類 の 2 つに分ける. 大分類と小分類の概要およびそれ ぞれのアノテーションの具体例を表 1 に示す. 大分類の種類は，文内で解ける，文外の文脈が必要，一
般的な知識が必要, 誤りではないの計 4 つである.大分類は，1-best をオラクル文にするための訂正内容を明示するラベルであり，オラクル文に近づける ために最尤なラベルを 1 つアノテーションする。 小分類は，大分類を細分化したラベルであり，文内で 解けるものは ERRANT によるエラータイプ，文外 の文脈が必要なものは文脈幅で細分化を行った. ま た，一般的な知識が必要なものと誤りではないもの は細分化は行わなかった. 小分類は文内の誤り箇所 ごとにアノテーションする.

## 3 実験設定

ベースシステム 実験に使用する文法誤り訂正 システムとして, Kiyono ら [4] のシステムを使用 する. Kiyono らのシステムは文法誤り訂正の代表的なベンチマークである CoNLL2014 [5]，および BEA-2019 [6] において世界最高水準の性能を達成 しており，文法誤り訂正の現状を分析をするうえ で適していると考えられる。具体的には，本研究 では Kiyono らのシステムにおける PRETLARGE+SEE (finetuned) モデルを使用した ${ }^{1)}$. なお，ハイパーパ ラメータは，バッチサイズを $16, \mathrm{~N}$-best の $\mathrm{N}$ に相当 するビーム幅を 10 とし，それ以外を全て Kiyono ら と同じ値に設定した。

データ 本実験では，CoNLL-2013 [7] を分析対象 のデータとして使用する. CoNLL-2013テストセッ トは，CoNLL-2013共通タスクで提供されたデータ セットであり，文法誤り訂正分野では，開発データ として一般的に使用されている. 本実験では，アノ テーションの前に, CoNLL2013テストセットの全 1,381 文の中から 1-best とオラクルが異なるように サンプリングした 70 文に対し，それぞれ ERRANT を用いて 1-best の誤り箇所, エラータイプ, 編集操作の解析を行った.ここでの N-best は, CoNLL2013 テストセットを Kiyono らのシステムに入力した出力のうち, 出力確率の高い上位 10 文である. オラク ル文は, N-best の各文に対して M2Scorer [8] で $\mathrm{F}_{0.5}$ を計算した中で最も $\mathrm{F}_{0.5}$ スコアが高い文である. そ して, サンプリングした 70 文に対し, 大分類, 小分類の順でアノテーションを行った. アノテーション は2名で行った。

表 2 ERRANTによるエラータイプ（上位 5 項目）

表 3 大分類のアノテーション結果

## 4 実験結果

表 2 に ERRANT による 1-best の解析結果を示す. エラータイプのうち，限定詞の誤りが最も多く，次点で動詞の時制，前置詞の誤りが多かった.

表 3 に大分類のアノテーション結果を示す. アノ テーションの妥当性を測るために，2 名のアノテー ターの agreement を測ったところ，62.9\%であった. Cohen's kappa の值は 0.39 で, Landis and Koch [9] の 基準では fair agreement に該当した.

表 4 に小分類のアノテーション結果を示す。文内 で解けるもののうち，動詞の時制の誤りが最も多 く，次点で前置詞，限定詞の誤りが多かった. 文外 の文脈が必要なもののうち，39\%（33 箇所中の 13 箇所）は実際に使用しても解けないものであった.ま た，文外の文脈を使用して解けるもののうち， $85 \%$ （20 箇所中の 17 箇所）は前の文外の文脈を使用する ことで解けることがわかった.

## 5 分析・考察

本節では，リランキングを改善させる可能性のあ る要素を明らかにするために，大分類の 4 つの分類 ラベルごとに 1-best の分析を行う.

文内で解けるもの 文内で解ける 37 文（表 3）と サンプリングした 70 文を，ERRANT によるエラー タイプ上位 5 項目で比較をした. その結果，文内に おける 37 文における限定詞の割合が $15 \%$ 減少して
表 4 小分類のアノテーション結果

いた。そのため，文内の情報では，限定詞の誤りの 訂正が難しいことが考えられる。

文外の文脈が必要なもの 文外の文脈が必要と考 えられる誤り箇所の 61\%（33 箇所中の 20 箇所）が 実際に前後の数文を参照することで解くことができ た.また，後ろの数文よりも前 1 文または前 2 文以前を参照すると解けるものが多いことがわかった。従って，リランキングの際に前後の出力文を考慮す ることは有効であり，特に前の数文を考慮すること はリランキング性能を大きく向上させる可能性が考 えられる。

一般的な知識が必要なもの一般的な知識が必要 なものはサンプリングした 70 文のうち 1 文であっ たことから，常識やイディオムなどの一般的な知識はリランキング性能を向上させる上で必要な要素ではあるが，比較的その重要性は低いことがわ かった.

誤りではないもの 誤りではないものは $20 \%$ 存在 していた. これは，オラクル文に対して 1-best が正当に評価されていないことを示している．つまり， 1-best とオラクル文の文意の差が大きくないにも関 わらず，1-bestを過小評価してしまっている可能性 がある. 従って，リランキング手法のみならず，文法誤り訂正システムの評価手法についても改善の余地があると考えられる。

## 6 関連研究

文法誤り訂正システムの性能向上のために，様々 な N-best のリランキング手法の研究が行われてい る. Mizumoto らはフレーズベース統計的機械翻訳 を使い，品詞や依存関係などの統語情報を活用する ことでリランキング性能を向上した. Chollampatt ら は対数線形モデルを使い，システムの候補文のスコ アに編集操作と言語モデルによる特徴量を追加し, スコアの再計算をする手法を提案した. Hoang ら [10] は統計的機械翻訳システムによる文の修正を有効または無効に分類する分類器を構築し， N-best に 分類器を使うことで各候補文を分類し，スコアを再計算することでリランキングを行った. Liu ら [11] は複数の候補文を用いて文法誤り訂正の品質推定を 行う VERNet を提案し，トークンレベルの品質推定 スコアを用いて高性能のリランキングを実現した。

## 7 おわりに

本研究では，リランキング性能を改善させる可能性のある要素を分析するために，オラクル文を上位 にリランキングするためにはどのような情報が必要かという観点で 1-best に対してアノテーションを 行った. アノテーションの結果より, リランキング において文内の情報を利用することは，動詞の時制 や限定詞，代名詞などの長距離の文脈を必要とする 際に有効であると考えられる。また，文外の文脈を 考慮することが性能を向上させる有効な要素となり うると判明した. さらに，リランキング手法のみな らず，評価手法についても改善の余地がある可能性 が示された。

今後は，本研究で得られた知見を利用することに よる，文内および文外の文脈を利用したリランキン グ性能に関する研究を行いたい。

## 参考文献

[1] Tomoya Mizumoto and Yuji Matsumoto. Discriminative reranking for grammatical error correction with statistical machine translation. In NAACL, 2016.

[2] Shamil Chollampatt and Hwee Tou Ng. A multilayer convolutional encoder-decoder neural network for grammatical error correction. In AAAI, 2018.

[3] Christopher Bryant, Mariano Felice, and Ted Briscoe. Automatic annotation and evaluation of error types for grammatical error correction. In ACL, 2017.

[4] Shun Kiyono, Jun Suzuki, Masato Mita, Tomoya Mizumoto, and Kentaro Inui. An empirical study of incorporating pseudo data into grammatical error correction. In

EMNLP, 2019.

[5] Hwee Tou Ng, Siew Mei Wu, Ted Briscoe, Christian Hadiwinoto, Raymond Hendy Susanto, and Christopher Bryant. The CoNLL-2014 shared task on grammatical error correction. In CoNLL, 2014.

[6] Christopher Bryant, Mariano Felice, Øistein E. Andersen, and Ted Briscoe. The BEA-2019 shared task on grammatical error correction. In BEA, 2019.

[7] Hwee Tou Ng, Siew Mei Wu, Yuanbin Wu, Christian Hadiwinoto, and Joel Tetreault. The CoNLL-2013 shared task on grammatical error correction. In CoNLL, 2013.

[8] Daniel Dahlmeier and Hwee Tou Ng. Better evaluation for grammatical error correction. In ACL, 2012.

[9] J. Richard Landis and Gray G. Koch. The measurement of observer agreement for categorical data. In Biometrics, 1977.

[10] Duc Tam Hoang, Shamil Chollampatt, and Hwee Tou Ng. Exploiting n-best hypotheses to improve an SMT approach to grammatical error correction. In IJCAI, 2016.

[11] Zhenghao Liu, Xiaoyuan Yi, Maosong Sun, Liner Yang, and Tat-Seng Chua. Neural quality estimation with multiple hypotheses for grammatical error correction. In NAACL, 2021.


# 文分割による読みやすさへの影響に関する考察

土井惟成大西恒彰命苫昭平嶋根正輝高頭 俊
株式会社 日本取引所グループ
\{n-doi, n-onishi, s-meitoma, m-shimane, s-takato\}@jpx.co.jp

## 概要

文構造が複雑な長文を読みやすくする方法とし て、長文を複数の短文に分割する文分割 (Sentence Splitting) という手法が挙げられる。本研究では、上場会社開示資料中の文を対象として、人手による長文の文分割が、読みやすさに関する指標にどのよう な影響を及ぼすか考察する。実験では、評価指標と して、サプライザルの総和や係り受け木の深さを利用した。この結果、文分割による長文の文分割に よって、係り受け木の深さが平均 $36 \%$ 程度低減する ことを示した。

## 1 はじめに

東京証券取引所 (以下、東証) は、 3,800 社を超え る企業 (2022 年 1 月時点) が上場している世界最大 の証券市場の一つである。公正で透明な株価形成の 確保の目的から、東証上場会社には、投資家の投資判断に影響を与えうる情報を、東証が運営する Web システム (以下、TDnet) を通じて適時適切に公表する義務が課されている。本稿では、上場会社が TDnetを通じて開示する書類を、開示資料と呼ぶ。

開示資料の規模は膨大であり、2020 年における日本語の開示資料は約 10.6 万文書、総ぺージ数は約 86 万ページに及んでいる。そのため、開示資料の読者にとっては、膨大なデータから投資判断上有用な 情報を取得するために、機械翻訳や自動要約といっ た技術を活用し、情報処理に係る負担を抑えたいと いうニーズがあると推察する。しかしながら、開示資料には長文をはじめとする文構造が複雑な文が多 く、機械的な処理の精度が低くなりやすい [1]。文構造が複雑な長文を読みやすくする方法とし て、長文を複数の短文に分割する文分割 (Sentence Splitting) が挙げられる。開示資料中の文の機械翻訳 による英訳精度の向上を目的とした、人手による前処理手法を検討した研究では、文分割による短文化

図 1 文分割コーパスの作成手順の概要

が特に有効だったことを示した $[2,3]$ 。一方で、文分割によって文にどのような変化が生じているかに ついては、定量的には明らかになっていない。本研究では、開示資料中の文を対象として、人手 による長文の文分割が、読みやすさに関する指標に どのような変化を及ぼすかについて考察する。具体的には、開示資料の一種である $\mathrm{CG}$ 報告書から作成 した日英対訳コーパス（以下、 $\mathrm{CG}$ 報告書対訳コー パス）[2]をもとに、英文における文分割を踏まえつ つ、人手にて原文に文分割を施し、小規模なコーパ スを作成した。本稿では、原文に文分割を施すこと で得られた複数の文を総称して分割文、原文と分割文で構成されるコーパスを文分割コーパスと呼ぶ。文分割コーパスの作成の流れを図 1 に示す。そし て、小規模な文分割コーパスを対象に読みやすさに 関する指標を算出し、それぞれを比較することで、文分割に係る示唆を得ることを目指す。

## 2 関連研究

## 2.1 文分割 (Sentence Splitting)

先行研究 [4] では、開示資料の日英対訳コーパス における、1文に対して英文が複数の文に分割され ている対訳に着目し、その傾向を分析した。具体的 には、 $\mathrm{CG}$ 報告書対訳コーパスから、英文が複数文
表 1 文分割のパターン

 \\

に分割されている対訳を抽出し、和文と英文におけ る文構造の変化を、特許ライティングマニュアル [5]における、言い換えルールカテゴリ 1「短文にす る」の言い換えルールに当てはめた。この文分割の パターンの内容を表 1 に示す。本研究では、当該研究の手順を参考にして、文分割コーパスの作成手順 を策定した。

日本語における機械的な文分割の手法として、係 り受け解析の結果を元に文を適切な箇所で区切り、主語、文末表現、接続詞を補完するという手法が提案されている [6]。この手法は、表 1 における「1. 文節での分割」に相当すると考えられる。また、近年 では、英文における機械的な文分割の手法として、 seq2seq モデルを用いた手法が提案されている [7]。文分割のパターンの網羅や大規模な文分割コーパス の作成によって、日本語の開示資料についても高精度な機械的な文分割が期待できると推察する。

## 2.2 読みやすさの指標

文の読みやすさの指標は、自然言語処理システム の出力結果の品質評価をはじめとして、幅広い用途 で利用されている $[8]$ 。その中でも、内容の理解に 必要なリテラシー (学校教育年数) を表したものが、読みやすさの評価指標として広く利用されている。英語におけるこのような評価指標を推定する手法と して、Gunning Fog Index[9] や Flesch-Kincaid [10] が ある。これらの手法では、文の平均単語数と単語の 複雑性をもとに、米国の学年レベルに対応するスコ アを算出する。また、Schwarm らは、言語モデルの 複雑さ (perplexity) や係り受け木の深さ等の素性の有用性を報告している [11]。日本語を対象とした同様 の評価手法としては、日本語の教科書コーパスに基 づいて導出された、 1 文字ごとの集計値 (unigram)を 用いた Sato らの評価式 [12] や、形態素等を用いた Shibasaki らの評価式 [13] がある。

また、読みやすさの評価指標として、文の読み時間を用いた研究も行われている [14]。近年、日本語の書き言葉の読み時間に係る研究では、新聞記事データの文に読み時間を付与したコーパス (BCCWJ-EyeTrack) が利用されている [15]。文の読 み時間と関連する指標として、サプライザル理論に 基づくサプライザルが指摘されている $[16,17,18]$ 。 Kuribayashi は、BCCWJ-EyeTrackをもとにサプライ ザルのモデリングを行い、人間の文処理の計算モデ ルと言語モデルの関連について報告している [19]。

## 3 データセット: 文分割コーパス

本研究では、先行研究 [2] を踏まえ、 $\mathrm{CG}$ 報告書対訳コーパスをもとにした、人手による文分割コーパ スの作成手順を策定した。CG 報告書対訳コーパス は、2019 年 7 月までに日本語及び英語で開示され た CG 報告書から抽出した、全 591 文対の日英対訳 コーパスであり、和文が 100 文字以上の文で構成さ れている。文分割コーパスの作成手順は次のとおり である。

1. 改行を含む対訳や、原文と英文で文意が均衡し ていない対訳を削除する。

2. 原文 1 文に対して、英文が複数の文に分割され ている対訳文を抽出する。

3. 原文と英文の文構造を比較し、表 1 を元に文分割のパターンを判断する。

4. 英文の文構造を踏まえつつ、文の流暢さと正確 さを損なわないように、原文に文分割を施す。

本研究では、この手順に従って、全 146 文対の文分割コーパスを作成した。文分割コーパスの統計情報を表 3、原文における文字列長の出現頻度の分布 を図 2 に示す。表 3 のとおり、文分割コーパスに含 まれる分割文のパターンは「1. 文節での分割」と 「2. 文節間距離の圧縮」のみであった。これらの文分割の例を表 2 にそれぞれ示す。以下では、手順 4. の文分割で見られた傾向について、文分割のパター ンごとに述べる。

「1. 文節での分割」では、原文と英文で語順が同一であることが多かった。そのため、英文から分割 すべき箇所が判明すれば、当該箇所で文を区切り、主語、文末表現、接続詞を補完することで文分割は 完了した。したがって、人手による文分割の作業と しては、比較的容易であった。なお、本手順におい ては、原文から文意が乘離しない限りにおいて、補足する語句は英文に合わせた。ただし、補足する主
表 2 文分割の例 (分割文における強調箇所は原文との差分を表す)

図 2 文分割コーパスにおける原文の文字列長の分布

語が長過ぎる場合（例：会社名）は、文の流暢さを 優先して、後半の文の主語は省略するといった対応 を行った。

「2. 文節間距離の圧縮」では、原文と英文で語順 が異なるため、文全体の構造を踏まえつつ、節の係 り受けや分割する箇所を検討する必要がある。その 結果として、表 3 のとおり「1. 文節での分割」より も編集距離が大きくなり、文分割の作業としては比較的労力が大きいと言える。

## 4 実験

## 4.1 実験設定

本実験では、文分割コーパスをもとに、原文と分割文に対して読みやすさに関する指標を算出し、そ れぞれの指標の変化を評価する。読みやすさに関 する指標として、文字列長、トークン数、係り受け 木の深さ、サプライザルを採択した。文字列長と トークン数は、文の複雑さを簡易的に測る指標と

して広く使われており、特にトークン数は文の読 みやすさと有意に相関することが報告されている [20,21]。係り受け木の深さは、文構造の複雑さを表 す指標であり、読みやすさとの関連が報告されてい る $[20,11]$ 。サプライザルは、トークンごとの読み 時間に関連すると考えられている指標である [16]。本実験では、文分割によってサプライザルの総和は 低減するという仮説を立て、これを指標として採択 した。なお、読みやすさの指標として、語彙に関連 する指標 (例: 単語の難しさ等) が広く使われるが、文分割では語彙の平易化は行わないことから、これ らの利用は見送った。

トークン数の算出に当たっては、後述するサプ ライザルと同様に、 $\mathrm{MeCab}$ [22] と UniDic を用いて 入力文のトークン化を行った。サプライザルは、 Kuribayashi のコード ${ }^{11}[19]$ を用いてトークン単位の サプライザルを算出し、その総和を指標として用い た。なお、分割文の文字列長、トークン数、サプラ イザルを算出する時は、文境界で分割せず、分割後 の複数の文を 1 つの入力文とした。トークン単位の サプライザルの算出結果の例を図 3 に示す。

係り受け木の深さの算出には、(GiNZA ${ }^{2}$ による係 り受け解析を行った。分割文については、文境界で 分割し、各短文に対して係り受け解析を行い、係り 受け木の深さの最大値を指標として用いた。

## 4.2 実験結果及び考察

原文と分割文における各指標の評価結果を表 4 に 示す。まず、全体的な傾向として、文分割によって 文字列長とトークン数が増加傾向にあった。この理由として、文分割では一文ごとの文字列長やトーク

## 原文:

分割文:

図 3 トークン単位のサプライザルの算出結果の例 (点線 での强調は、文分割によってトークンに変化が生じた箇所の付近を示す)

表 4 各指標の評価結果 (いずれも平均值)

係り受け木深さの増減率

図 4 係り受け木の深さの増減率の分布

図 5 サプライザルの総和の差分の分布

ン数は少なくなるが、全体としては、文分割と共に 行う語句の補完による影響を受け、これらの指標が 増加したものと推察する。

係り受け木の深さは、図 4 のとおり、全体的に浅 くなっており、増減率の平均値は-36.0\%だった。こ の結果は、長文の文分割によって文構造の把握しや すさが向上することと䶡は無く、文分割による読 みやすさへの影響を定量的に示すものと考える。

サプライザルの総和の差分

図 6 サプライザルの総和とトークン数の差分の散布図

一方で、サプライザルの総和を見ると、ほとんど の分割文において上昇していることが確認された。図 5 及び図 6 に、サプライザルの総和の差分とトー クン数の差分の分布を示す。図 6 より、サプライザ ルの総和とトークン数には強い正相関が認められて おり (相関係数: 0.934、 $\mathrm{p}$ 値: <0.001)、サプライザル の総和は文分割によるトークン増加の影響を強く受 けているものと推察する。すなわち、サプライザル の総和は、文分割によるトークン数の増加によって 増加しており、文分割による低減は認められなかっ た。この結果から、文分割による読みやすさの変化 の評価には、各トークンのサプライザルの総和が適 しているとは言えなかった。そのため、文全体の総和ではなく、文節やトークンといった、より細かい 粒度でのサプライザルを通じた分析が、今後の課題 として考えられる。また、今回サプライザルの算出 に用いた言語モデルが、開示資料中の文の言語モデ ルと乘離している可能性もあり、この検証も課題の 一つとして挙げられる。

## 5 おわりに

本研究では、上場会社開示資料中の一種である $\mathrm{CG}$ 報告書を対象として、人手による長文の文分割 による、読みやすさに関する指標への影響について 分析した。実験の結果、長文の文分割によって、係 り受け木の深さが平均 36\%程度低減することを示し た。一方、サプライザルの総和による指標では、文分割による読みやすさへの影響は評価できなかっ た。本研究は、作成した文分割コーパスは 146 文対 と小規模なものであり、試験的な研究であったこと から、データセットの拡充等を通じて、文分割に係 るより広範かつ詳細な分析を検討したい。

## 謝辞

本研究において、東京大学先端科学技術研究セン ターの田中久美子教授に有益なご助言を戴いた。こ こに記して謝意を表する。

## 参考文献

[1] Nobushige Doi, Yusuke Oda, and Toshiaki Nakazawa. TDDC: Timely disclosure documents corpus. In Proceedings of the 12th Language Resources and Evaluation Conference, pp. 3719-3726, Marseille, France, May 2020. European Language Resources Association.

[2] 土井惟成, 大西恒彰, 百石弘澄, 高頭俊, 山藤敦史. 上場企業開示資料の機械翻訳におけるプリエディット の検討. 言語処理学会第 26 回年次大会 (NLP2020), pp. 525-528, 32021.

[3] 土井惟成. プリエディット手法としての産業日本語に関する一考察. In Japio YEAR BOOK 2020, pp. 324-331, 2020.

[4] 土井惟成. 上場会社開示資料の英訳文における文分割に関する考察. In Japio YEAR BOOK 2021, pp. 326-331, 2021.

[5] 一般財団法人日本特許情報機構特許情報研究所. 特許ライティングマニュアル (第 2 版), 第 2 版, 32019.

[6] 美野秀弥, 田中英輝. やさしい日本語ニュースの ための自動文分割. 言語処理学会第 9 回年次大会 (NLP2013), pp. 264-267, 32013.

[7] Shashi Narayan, Claire Gardent, Shay B. Cohen, and Anastasia Shimorina. Split and rephrase. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 606-616, Copenhagen, Denmark, September 2017. Association for Computational Linguistics.

[8] Saku Sugawara, Yusuke Kido, Hikaru Yokono, and Akiko Aizawa. Evaluation metrics for machine reading comprehension: Prerequisite skills and readability. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 806-817, 2017.

[9] Gunning Robert. The technique of clear writing. New York, 1952.

[10] J Peter Kincaid, Robert P Fishburne Jr, Richard L Rogers, and Brad S Chissom. Derivation of new readability formulas (automated readability index, fog count and flesch reading ease formula) for navy enlisted personnel. Technical report, Naval Technical Training Command Millington TN Research Branch, 1975.

[11] Sarah Schwarm and Mari Ostendorf. Reading level assessment using support vector machines and statistical language models. In Proceedings of the 43rd Annual Meeting of the Association for Computational Linguistics (ACL'05), pp. 523-530, Ann Arbor, Michigan, June 2005. Association for Computational Linguistics.

[12] Satoshi Sato, Suguru Matsuyoshi, and Yohsuke Kondoh. Automatic assessment of Japanese text readability based on a textbook corpus. In Proceedings of the Sixth International Conference on Language Resources and
Evaluation (LREC'08), Marrakech, Morocco, May 2008. European Language Resources Association (ELRA).

[13] Hideko SHIBASAKI and Katsuo TAMAOKA. Constructing a formula to predict school grades 1-9 based on japanese language school textbooks. Japan Journal of Educational Technology, Vol. 33, No. 4, pp. 449-458, 2010.

[14] Alan Kennedy, Joël Pynte, Wayne S Murray, and ShirleyAnne Paul. Frequency and predictability effects in the dundee corpus: An eye movement analysis. Quarterly Journal of Experimental Psychology, Vol. 66, No. 3, pp. 601-618, 2013.

[15] Masayuki Asahara. Between reading time and information structure. Proceedings of the 31st Pacific Asia Conference on Language, Information and Computation, pp. 15-24, 2017.

[16] John Hale. A probabilistic Earley parser as a psycholinguistic model. In Second Meeting of the North American Chapter of the Association for Computational Linguistics, 2001.

[17] Roger Levy. Expectation-based syntactic comprehension. Cognition, Vol. 106, No. 3, p. 1126-1177, 2008.

[18] 栗林樹生, 大関洋平, 伊藤拓海, 吉田遼, 浅原正幸, 乾健太郎. 日本語の読みやすさに対する情報量に基づ いた統一的な解釈. 言語処理学会第 27 回年次大会 (NLP2021), pp. 723-728, 32021.

[19] Tatsuki Kuribayashi, Yohei Oseki, Takumi Ito, Ryo Yoshida, Masayuki Asahara, and Kentaro Inui. Lower perplexity is not always human-like. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 5203-5217, Online, August 2021. Association for Computational Linguistics.

[20] 渡邊亮彦, 村上聡一朗, 宮澤彬, 五島圭一, 柳瀬利彦,高村大也, 宮尾祐介. TRF: テキストの読みやすさ解析ツール. 言語処理学会第 23 回年次大会発表論文集, pp. 477-480, 2017.

[21] Emily Pitler and Ani Nenkova. Revisiting readability: A unified framework for predicting text quality. In Proceedings of the 2008 Conference on Empirical Methods in Natural Language Processing, pp. 186-195, Honolulu, Hawaii, October 2008. Association for Computational Linguistics.

[22] Taku. Kudo. Mecab : Yet another part-of-speech and morphological analyzer. http://mecab.sourceforge.net/, 2005 .

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 言語モデルの統語構造把握能力を測定する より妥当な多言語評価セットの構築

神藤駿介 1,2 能地宏 ${ }^{3,2}$ 宮尾祐介 1,2
1 東京大学大学院 情報理工学系研究科
2 産業技術総合研究所人工知能研究センター
${ }^{3}$ LeapMind 株式会社
\{kando.s, yusuke\}@is.s.u-tokyo.ac.jp noji@leapmind.io

## 概要

近年言語モデルの統語構造把握能力を評価する研究が盛んだが，それらは英語テキストを用いたもの に偏っている. 本研究ではそのような評価セットを 生のコーパスから多言語で自動的に抽出する手法 を提案する. 既存研究は依存構造木から評価セット を自動的に抽出するアルゴリズムを提案している が，実際には抽出データのほとんどが統語構造の把握を要しない容易なタスクとなっており, 妥当な評価セットを構築できていたとは言えないことが分 かった. 本研究では, 同じアルゴリズムを用いつつ 評価セットの抽出量を増やすことで, より妥当な評価セット構築を目指す。

## 1 はじめに

近年 [1]を発端に, 言語モデルの統語構造把握能力を評価セットを用いて直接的に測定する研究が盛 んに行われている.そのような評価セットは多くの 場合は以下のような文法的に正しい文と誤っている 文の組（ミニマルペア）から成る:

The farmer near the clerks knows / *know.

評価においては 2 つ文を評価対象の言語モデルに 入力し, 文法的に正しい文により高い確率が付与さ れるかどうかを見る. know の正しい活用形はその 主語（farmer）を正確に把握することによって判断 されるが，この例では farmer が前置詞句で修飾され ており,この文法的な構造を把握できていないとよ り距離的に近い clerks に引きづられて誤った判断を してしまう恐れがある. 評価セット構築およびそれ による言語モデルの評価に関する研究は英語テキス 卜を対象にしたものが数多くあるが $[2,3,4]$, その 結論は大枠では一致している. すなわち, LSTM [5]
をはじめとする単方向モデルの性能には限界がある 一方で，BERT [6] をはじめとする双方向 Transformer 系モデルや RNNG [7] といった階層構造を取り入れ たモデルの性能が高いことが知られている.

これらの研究は多言語でも徐々になされており,評価セットの作成方法としてはテンプレートを元に 構築する手法 [8] と, 依存構造ツリーバンクから自動抽出する手法 [9] がある．前者のアプローチはコ ストが高く, より多様な言語の評価セットを構築す るにあたっては後者のアプローチがより適している が, [9] においては LSTM が十分な性能を有すると いう他の研究と食い違う主張がなされている.

本研究では，まず [9] で公開されている評価セッ トの問題点を指摘し，実際にはLSTM の性能が高い とは言えないこと, RNNGのような階層的なモデル が依然として優位にあることを立証した。既存の評価セットの具体的な問題点は, 統語構造の正確な把握を要しないケースがほとんどを占めており，実際 に構造把握を要するケースの個数は非常に限られて いることである．そこで，構文解析を施したコーパ スを利用してデータ抽出量を大幅に増やすことでそ の問題点を解決し, 言語モデルの統語構造把握能力 をより正当に評価できる妥当な評価セットを構築 する手法を提案する． 3 つの言語での抽出実験の結果, 構造把握を要するケースを最低でも 70 倍程度増やすことに成功した。

研究のモチベーション 我々はRNNG を多言語 で学習する手法を提案し [10], 事前の研究でそれが 5 つの言語の評価セットである CLAMS [8] において 高い性能を記録することを確認した。この手法の適用範囲を模索していくにあたってはより多様な言語 での評価セットが必要であり, 本研究はそれに向け ての第一段階である.

図1: 評価データを抽出できる依存構造木の例

## 2 既存評価セットの問題点の指摘

## 2.1 既存研究 [9] の概要

Gulordava ら [9] は, 依存構造木から評価セットを 自動的に抽出するアルゴリズムを提案している．抽出手順の概略は以下の通りである.

1. 依存構造ツリーバンクを読み込んで各語彙の情報を集計し，品詞表を得る。

2. ツリーバンクから依存関係の距離が比較的長い パターンを有するデータを取り出し，その依存関係に数の一致現象があるとみなされるものだ けを抽出する。

3. 2. で得られたデータについて, 1. で得られた品詞表を参照して依存関係の右側の単語を書き換 えてミニマルペアを作成する.

例えば図 1 の依存構造木において nsubj のラベル に注目すると，エッジで結ばれた二つの単語の数の 素性（Number=Sing）が一致している.これと同じ タイプの依存関係のデータを収集して常に数の素性の一致が観察される場合（つまり Number=Plur と いう一致も十分量存在する場合), このデータは一致現象があるとみなされる。ミニマルペアの作成に ついては, 品詞表を参照して依存関係の右側の単語 “laughs”を Number=Plur の特徵をもつ “laugh”に入れ 替えることでなされる，以下，依存関係の左側と右側の単語をそれぞれ cue / target と呼ぶ.

Gulordava らはこのアルゴリズムを Universal Dependencies (UD) [11] のイタリア語・英語・ヘブラ イ語・ロシア語の訓練セットに適用して得られた評価セットを公開しており1)，これを元に言語モデル の評価を行って LSTM の性能が十分に高いことを主張している.これは自動化に頼らないより妥当性の 高いアプローチで多言語の評価セットを作成してい る [8] とは異なる結論であり，疑問の余地が残る.

colorless 文の作成 ツリーバンクから抽出され た評価セットに加え，各文の内容語を同一品詞 $\cdot$同一素性を持つ別の語にランダムに置き換えた文 を生成する。以下，このランダムな文を colorless 文と呼ぶ. colorless 文は「文法性と意味とは切り離 して考えられる」という説 [12] に基づいて生成され ている。例えば，我々は “Colorless green ideas sleep furiously.”という文を読んだとき，意味は分からな いが文法的には正しいと判断ができる. colorless 文 はこのような文を得る目的で考案されており，モデ ルが語彙情報をもとにタスクを解けなくするように している。一方で colorless 文は述語項構造の制約を 考慮できないという問題点もあり, 本来自動詞であ る “stay”が “It stays the shuttle”というように誤用さ れたケースが生成されることがある.

語彙をベースにしたデー夕選別 最後に，言語モ デルによる評価の妥当性を高めるため，抽出された データの cue と target の間の全ての単語が言語モデ ルで事前に定義された語彙に含まれるケースのみを 抽出する。

## 2.2 Attractor の有無に関する分析

## 2.2.1 概要

我々は [9] の評価セットのデータを attractor の有無によって分類し再度評価を行うことで，評価デー タが統語構造の把握能力をものとして本当に妥当 なものであるかを調査した。attractor とは, cue と target の間にある単語で, cue と品詞は同じで数の素性が異なるものを指す。図 1 においては “boys”が attractor である. attractor は cue よりも target の近く にあるため，LSTM のような単方向のモデルだと attractor に引きづられて target の正しい活用形を間違えてしまう可能性が高まる。したがって, attractor のあるデータは解くのが難しいと言える。一方で attractor の存在しないケースは次の二つに分けられ る: (1) cue と target の間に cue と同じ品詞の単語がな いケース. (2) cue と同じ品詞の単語はあるが，数の 素性が cue と同じケース. (1)の場合は cue と target の品詞の情報のみを手がかりにして解けてしまい, (2) の場合は cue ではなく間の単語を手がかりにし ても解けてしまうことから，いずれにせよ attractor が存在しないケースは統語構造の把握能力を測定 するデータとしては不適格であり，解くのが容易な データであると言える.
表 1: Gulordava らが公開しているデータセットの統計量および言語モデルによる精度. サブキャプショ ンに attractor の無いデータの割合を括弧書きで示し た. 各データを元に合計で 9 個の colorless 文を生成 しているため, 元データのサイズは表記されている 量の 1/10である.

(a) 英語 $(80 \%)$

(b) ヘブライ語 $(73 \%)$

(c) ロシア語 $(95 \%)$

## 2.2.2 実験設定

実験では, Gulordava らが公開している評価セット のうち英語・ヘブライ語・ロシア語について分析を 行う. 評価セットを attractor の個数によって切り分 け，それぞれ言語モデルで評価して精度を比べる。言語モデルとしてLSTM およびRNNG を用いて結果を比べる．LSTM の各パラメタは [13] のものを用 いる. RNNG は [10] に倣って学習する。ただし, 構造は flat なものを用い, 非終端記号には dependency label を付与する. RNNG の訓練データは各言語の Wikipedia 記事を $80 \mathrm{M}$ token だけ取り出して UDify [14] で解析して作成し, LSTM の訓練データも同じ 文を用いる。

## 2.2.3 結果

データ数の統計および言語モデルの精度を表 1 に示す.いずれの言語においても attractor が存在し ないケースが大多数を占めており，なおかついずれ
のモデルもその精度が高いことが見て取れる. 一方 で attractor が存在するケースでは, LSTM はどの言語でも明らかな精度減少が観察される. RNNG は英語とロシア語では attractor があっても高い精度を維持しており, ヘブライ語においてもLSTM より良い 精度を記録している。

以上のことをまとめると, [9] における「LSTM の 文法構造把握能力が高い」という結論は実際には統語構造の把握能力を要しないデータが大多数を占め ているがために導かれたものであり，モデルの性能 を正確に評価するには attractor のあるケースを用い る必要がある.

## 3 構文解析を用いたデー夕拡張

## 3.1 概要

前節では attractor のあるデータを用いて評価を行 うことの重要性について述べたが，表 1 からも見 てとれるように実際には attractor のあるデータは非常に少ない. colorless 文を増やすことも考えられる が，述語項構造が誤った文も生成されてしまうこと から望ましくない. Kasai と Frank [15] は colorless 文 の構文解析の実験を行い，述語項構造が誤っている ことが原因でその性能が悪くなることを指摘してお り，これは言語モデルの評価にも影響を及ぼす懸念 がある。したがって，より評価セットとしての妥当性を高めるに当たっては元の抽出データ量自体を増 やすことが必要となる．そこで我々は UD のデータ から抽出する代わりに，生のコーパスを構文解析す ることで多量のツリーバンクを得てから抽出を行 い，どれくらいデータが抽出できるかを調査した.本実験の目標は評価セットを作成することであるた め, 出来る限り信頼のおける構文解析結果を用いた い. そこで我々は二つの構文解析器の解析結果が一致するとみなせるようなケースだけを取り出すこと で信頼のおけるデータの抽出を試みた。

## 3.2 実験設定

本実験においてはイタリア語・英語・ロシア語の 評価セット抽出を行う．まず各言語の Wikipedia 記事を $100 \mathrm{M}$ token 分用意した。この際，短すぎる文 は長距離の依存関係が存在しないこと，長すぎる文 は解析結果が一致しづらくなることを考慮し，一文あたりの token 数が 9 以上 40 以下のものだけを 取り出すこととした。構文解析には UD をべース
表 2: 評価セットの抽出結果. 評価セット数およびそのうち attractor を含むものの数（4,5 列目）について は， Gulordava らが公開している評価セットのデータ数を括弧書きで示した. attractor の数ごとの統計は付録 の表 3 に示す.

にした構文解析器である Trankit [16] と Stanza [17] を用いた。得られた 2 つの依存構造木において, CoNLL-U format ${ }^{2}$ の 10 のフィールドのうち主要な 4 つ（UPOS, FEATS, HEAD, DEPREL）が全て一致す るものを取り出した。なお，本手法ではサブワード を用いた言語モデルによる評価を見越して，語彙に よる選別は行っていない.

## 3.3 結果

表 2 に抽出できた評価セットの統計量を示す.い ずれの言語においても, attractor のあるケースを評価セットとして十分な数だけ抽出できたと言える. なお, 英語の評価セットが極端に少ないのは, 英語 が形態的に貧弱であるために数の一致現象自体が少 ないことに起因する。

## 4 今後の課題

抽出データを増やすことは出来たが，まだいくつ か課題が残されている.

第一に，抽出した評価セットの質を評価する必要 がある. 解析結果の一致をとることで出来るだけ正確な木構造を得るよう工夫はしているものの，今回 の評価セットはあくまで予測された木構造から得ら れたものであり, 信頼のおけるデータであるとは限 らない，最も直接的に質を評価する方法としてはク ラウドソーシングを用いた人手による評価があり得 る. 間接的な手法としては, n-gram をはじめとする ナイーブな言語モデルが解けないような評価セット となっていることを確かめることも考えられる．加 えて, 今回は二つの解析結果を元により正確な木構造を取り出したが，単一の構文解析器の出力を用い て抽出した評価セットの質が十分に高いこともあり 得る．仮にそうであれば，構文解析の一致をとるス テップは時間的コストが大きい上にデータの抽出量 も減るため不要とみなされることになる.したがっ
て，単一の構文解析器による実験も行ってここの是非を確認する必要があるだろう。

第二に，一つ目の課題と少し被るが，抽出データ を用いて実際に言語モデルを評価する実験が必要で ある. LSTM や RNNG の評価結果が Gulordava らが 公開している gold な木構造から作成されたデータ セットのそれと大きく異なることがあれば，やはり データセット自体の質を疑わなくてはならない。ま た，扱う言語の種類によって言語モデルの性能が変 わってくるのかなどと言った多言語モデリングの観点からの研究にも大きな意義がある.

第三に，本手法を実際に他の言語に適用すること が必要である．実は抽出アルゴリズムを動かすにあ たっては，ツリーバンクによっては何らかの前処理 を施す必要がある．例えば英語の UD のツリーバン クには動詞に Number=Plur という特徴を明示的にア ノテーションしないという決まりがあり，この情報 を前処理で付与しないと評価セットを抽出できなく なってしまう。また，本研究では [9] では取り扱わ れているへブライ語の抽出を行っていないが，これ は既存コードの前処理用のスクリプトが何らかの理由で動作しなかったためである。このように，各言語ごとに自明でない前処理が発生し得るため, 各言語ないしツリーバンクのアノテーション規約はどう なっているのか，より一般にはどのような前処理を 施せば滞りなく抽出できるのかなどを丁寧に調査す る必要がある.

## 5 おわりに

本研究では, 言語モデルの統語構造把握能力を測定するより妥当な多言語評価セットの構築を行っ た。評価セットの質の評価をはじめ今後解決すべき 課題はあるが，この研究を進めていくことで多言語 モデリングにおける新たな評価指標を確立し，分野 に貢献できることを期待する。

## 謝辞

この成果は, 国立研究開発法人新エネルギー・産業

技術総合開発機構 (NEDO) の助成事業 (JPNP20006)

の結果得られたものである. 産総研の $\mathrm{AI}$ 橋渡しク

ラウド $(\mathrm{ABCI})$ を利用し実験を行った。

## 参考文献

[1] Tal Linzen, Emmanuel Dupoux, and Yoav Goldberg. Assessing the ability of LSTMs to learn syntax-sensitive dependencies. Transactions of the Association for Computational Linguistics, Vol. 4, , 2016.

[2] Adhiguna Kuncoro, Chris Dyer, John Hale, Dani Yogatama, Stephen Clark, and Phil Blunsom. LSTMs can learn syntax-sensitive dependencies well, but modeling structure makes them better. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), 2018.

[3] Alex Warstadt, Alicia Parrish, Haokun Liu, Anhad Mohananey, Wei Peng, Sheng-Fu Wang, and Samuel R. Bowman. BLiMP: A benchmark of linguistic minimal pairs for English. In Proceedings of the Society for Computation in Linguistics 2020, 2020.

[4] Jennifer Hu, Jon Gauthier, Peng Qian, Ethan Wilcox, and Roger Levy. A systematic assessment of syntactic generalization in neural language models. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, 2020.

[5] Sepp Hochreiter and Jürgen Schmidhuber. Long shortterm memory. Neural Comput., Vol. 9, No. 8, 1997.

[6] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), 2019.

[7] Chris Dyer, Adhiguna Kuncoro, Miguel Ballesteros, and Noah A. Smith. Recurrent neural network grammars. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, 2016.

[8] Aaron Mueller, Garrett Nicolai, Panayiota Petrou-Zeniou, Natalia Talmina, and Tal Linzen. Cross-linguistic syntactic evaluation of word prediction models. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, 2020.

[9] Kristina Gulordava, Piotr Bojanowski, Edouard Grave, Tal Linzen, and Marco Baroni. Colorless green recurrent networks dream hierarchically. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), 2018.

[10] 神藤駿介, 能地宏, 宮尾祐介. 依存構造から句構造へ の変換による多言語モデリングに向けて. 言語処理学会第 27 回年次大会, 2021 .
[11] Joakim Nivre, Marie-Catherine de Marneffe, Filip Ginter, Jan Hajič, Christopher D. Manning, Sampo Pyysalo, Sebastian Schuster, Francis Tyers, and Daniel Zeman. Universal Dependencies v2: An evergrowing multilingual treebank collection. In Proceedings of the 12th Language Resources and Evaluation Conference, Marseille, France, 2020.

[12] Noam Chomsky. Syntactic Structures. Mouton and Co., 1957.

[13] Hiroshi Noji and Hiroya Takamura. An analysis of the utility of explicit negative examples to improve the syntactic abilities of neural language models. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, 2020.

[14] Dan Kondratyuk and Milan Straka. 75 languages, 1 model: Parsing Universal Dependencies universally. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), 2019.

[15] Jungo Kasai and Robert Frank. Jabberwocky parsing: Dependency parsing with lexical noise. In Proceedings of the Society for Computation in Linguistics (SCiL) 2019, 2019.

[16] Minh Van Nguyen, Viet Dac Lai, Amir Pouran Ben Veyseh, and Thien Huu Nguyen. Trankit: A light-weight transformer-based toolkit for multilingual natural language processing. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: System Demonstrations, 2021.

[17] Peng Qi, Yuhao Zhang, Yuhui Zhang, Jason Bolton, and Christopher D. Manning. Stanza: A python natural language processing toolkit for many human languages. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: System Demonstrations, 2020 .

## A評価セットの attractor 数ごとのデータ数の統計

表 3: 本研究で作成した評価セットおよび Gulordava ら [9] が公開している評価セットの attractor 数ごとのデー 久数の統計.

(a)イタリア語

(b) 英語

(c) ロシア語


# Holographic Embeddings による CCG 構文解析

山木良輔 1 谷口忠大 ${ }^{1}$ 持橋大地 ${ }^{2}$
1 立命館大学 情報理工学部 2 統計数理研究所
\{yamaki.ryosuke,taniguchi\}@em.ci.ritsumei.ac.jp daichi@ism.ac.jp

## 概要

本研究では知識グラフをべクトル空間に埋め込む ための手法である Holographic Embeddings を CCG 構文解析に適用することで，単語分散表現から句や文 の分散表現を再帰的に構成し，文の構成要素間の依存関係を明示的にモデリングする手法を提案する。 そして，提案手法が CCG における Supertagging 精度 の向上に有効であることを示し，さらに句の分散表現を用いることで句に対するカテゴリ割当を直接的 に予測しながら句構造を探索する Span-based Parsing アルゴリズムを導入する．実験結果から，提案手法 は Supertagging 精度において既存モデルを上回る性能を示し，構文解析の精度においても，同じ C\&C パーザを用いる中で世界最高性能を達成した.

## 1 はじめに

自然言語処理において，文の背後に潜む統語構造 を解析する技術として構文解析が存在する. 構文解析は統語的な曖昧性の解消に役立つため，質問応答 や機械翻訳など，様々な自然言語処理アプリケー ションの基盤技術として活用されている. 構文解析 のうち，特に単語間に存在する階層関係・句構造を 明らかにすることに焦点をおいたものとして句構造解析，そして解析に用いられる文法理論の 1 つ として組み合わせ範疇文法 (Combinatory Categorial Grammar, CCG) [1] がある. CCG は語彙化文法の一種であり，文中の各単語に対してその単語の文法的機能を示すカテゴリを与え，それらを組み合わせ規則に従って組み合わせることで統語構造を計算す る.ここで，各カテゴリは $\mathrm{S}$ : 文， $\mathrm{N}$ : 名詞， $\mathrm{NP}$ : 名詞句などの基本カテゴリと"/"，"|" を再帰的に組み 合わせることによって構成され，単語の文法的機能 に関する情報を多く含む. CCG を用いることで単語間の長距離依存関係や並列構造など，自然言語に 存在する複雑な統語構造を簡潔に表現可能であるこ とが知られている。

図 1 埋め込み空間上でのベクトルの再帰的な合成.

CCG では句構造の探索に先立って，各単語に 尤もらしい CCG カテゴリ (Supertag)を割り当てる Supertagging という処理が行われることが一般的 であり，これによって句構造の探索空間が大幅に 削減され，探索効率が向上する [2]. ここで，既存 の Supertagging 手法には LSTM，Transformer などの ニューラルネットワークベースのエンコーダを用い ることで各単語に割り当てられるカテゴリを分類問題として予測するモデル $[3,4]$ や，単語ごとに尤も らしいカテゴリを生成するモデル $[5,6,7]$ が存在す る. 文の構成要素である単語や句の間に存在する依存関係や階層関係のモデリングの観点からみると，既存手法ではこれらの関係をニューラルネットワー クを用いて非明示的にモデリングしているものが 多い.

これに対し，本研究では Holographic Embeddings (HolE) [8] を用いて，図 1 に示すような埋め込み空間上でのベクトルの再帰的な合成を行うことで， Supertagging モデルに単語や句同士の依存関係を明示的に組み込む手法を提案する。また，ベクトルの 再帰的合成によって得られる句の分散表現を活用し た新たな構文解析アルゴリズムを導入し，依存関係 の明示的なモデリングの CCG 構文解析における有用性について検証する。

## 2 Holographic Embeddings

Nickel らは知識グラフをべクトル空間に埋め込む ための手法として Holographic Embeddings [8] を提案

した. 知識グラフは複数の実体と, それらの関係性 を表したエッジから構成されるグラフ構造のデータ であり，知識グラフをべクトル空間上でモデリング するためには, 各実体に付与された分散表現同士の 相互作用を的確に捉えられるべクトルの合成演算子 を設計することが重要となる．HolEではこの合成演算子として巡回相関を採用しており，巡回相関は ベクトル間の相互関係を捉えることに適している.

巡回相関の演算は $\star$ で表され，式 (1)で定義され る. また式 (2)のように高速フーリエ変換 Fおよび その逆変換 $\mathscr{F}^{-1}$ を用いても計算可能であることが知 られている.ここで， $\mathbf{c}_{1}, \mathbf{c}_{2}$ は合成元の $d$ 次元べク トル, $\mathbf{p}$ は合成後の $d$ 次元ベクトル，๑はアダマー ル積， $\overline{F(\cdot)}$ は複素共役をそれぞれ表す。

$
\begin{array}{r}
{[\mathbf{p}]_{k}=\left[\mathbf{c}_{1} \star \mathbf{c}_{2}\right]_{k}=\sum_{i=0}^{d-1} c_{1 i} c_{2(k+i)} \bmod d} \\
\mathbf{p}=\mathbf{c}_{1} \star \mathbf{c}_{2}=\mathscr{F}^{-1}\left(\overline{\mathscr{F}\left(\mathbf{c}_{1}\right)} \odot \mathscr{F}\left(\mathbf{c}_{2}\right)\right)
\end{array}
$

単語と単語, 単語と句, 句と句など，自然言語の文 を構成する要素間の階層関係・依存関係をモデリン グするにあたり，巡回相関には以下のような数学的 に好ましい性質が存在する。
- 非可換な演算である：巡回相関では一般に $\mathbf{a} \star \mathbf{b} \neq \mathbf{b} \star \mathbf{a}$ が成り立つ. この性質は非対称な 依存関係をモデリングするのに向いている。例 えば，"right human"と"human right"という $2 \supset の$名詞句に対して異なる分散表現を合成し，これ らを区別することが可能である。

・結合法則を満たさない：巡回相関では一般に $(\mathbf{a} \star \mathbf{b}) \star \mathbf{c} \neq \mathbf{a} \star(\mathbf{b} \star \mathbf{c})$ が成り立つ. この性質は 句構造解析が明らかにしょうとする自然言語の 階層関係をモデリングするのに重要である。例 えば，"saw a girl with a telescope"という句には 少なくとも 2 つ階層関係・内部構造が考えら れる："((saw (a girl)) (with (a telescope)))", "(saw ((a girl)(with (a telescope $)))) "$ "このような単語列 に対して，分散表現の合成演算が結合法則を満 たさない場合，複数存在しうる階層関係のそれ ぞれを，異なる分散表現として区別することが 可能となる.

以上より，我々は HolE ならびに巡回相関を CCG 構文解析において文中の単語や句の間に存在する依存関係をモデリングするための手法として採用する。

## 3 Holographic CCG

図 2 単語分散表現の再帰的合成.

## 3.1 単語分散表現の再帰的合成

ここでは，CCGの Supertagging モデルにおいて，文の構成要素間に存在する依存関係を明示的にモ デリングするための手法として，巡回相関による単語分散表現の再帰的合成を提案する. 本手法では文中における特定の句を構成している複数の単語の 分散表現を巡回相関によって再帰的に合成するこ とで, 句全体としての分散表現を計算する. 単語分散表現の再帰的合成の概略図を図 2 に示し, 図中の具体例を用いて本手法の概要を説明する。ま ず，入力文 ("My sister loves to eat") を事前学習済み のエンコーダに入力することで各単語のベクトル $\left(\mathbf{v}_{0: 1}, \mathbf{v}_{1: 2}, \cdots, \mathbf{v}_{4: 5}\right)$ を得る. ベクトルの添字 $i: j$ は,入力文中の $i+1$ 番目の単語から $j$ 番目の単語が含 まれる区間 $[i, j]$ を意味する。なお，全ての実験に おいてエンコーダには RoBERTa-large [9]を採用して おり, 各単語は 1024 次元のベクトルに変換される.次に各単語のべクトルを CCG の組み合わせ規則に 従って再帰的に合成することで，文を構成する各句の分散表現を計算する. 例えば，図中の"loves to eat"という動詞句に対応するべクトル $\mathbf{v}_{2: 5}$ は，以下 の通りにベクトルを再帰的に合成することで計算さ れる。

$
\mathbf{v}_{2: 5}=\mathbf{v}_{2: 3} \star \mathbf{v}_{3: 5}=\mathbf{v}_{2: 3} \star\left(\mathbf{v}_{3: 4} \star \mathbf{v}_{4: 5}\right)
$

同様の計算を, 文全体としてのベクトル $\mathbf{v}_{0: 5}$ が得ら れるまで繰り返し行う。

$
\begin{aligned}
\mathbf{v}_{0: 5} & =\mathbf{v}_{0: 2} \star \mathbf{v}_{2: 5} \\
& =\left(\mathbf{v}_{0: 1} \star \mathbf{v}_{1: 2}\right) \star\left(\mathbf{v}_{2: 3} \star \mathbf{v}_{3: 5}\right) \\
& =\left(\mathbf{v}_{0: 1} \star \mathbf{v}_{1: 2}\right) \star\left(\mathbf{v}_{2: 3} \star\left(\mathbf{v}_{3: 4} \star \mathbf{v}_{4: 5}\right)\right)
\end{aligned}
$

なお，巡回相関を再帰的に適用すると合成後のべク トルのノルムが急激に増大し, 数値計算上好ましく ないため, 巡回相関によって合成したべクトルに対 して，式 (3)で表されるノルム制約を加えている.

$
\mathbf{p}^{\prime}= \begin{cases}k \mathbf{p} /(\|\mathbf{p}\|+\epsilon) & \text { if }\|\mathbf{p}\| \geq k \\ \mathbf{p} & \text { otherwise }\end{cases}
$

ただし， p, $\mathbf{p}^{\prime}$ はそれぞれノルム制約の適用前と 適用後のベクトルを表しており,$k$ はノルムの 最大值である. 本研究では, 全ての実験において $k=10^{3}, \epsilon=10^{-12}$ に設定した.

## 3.2 Supertagging

入力文を構成する全ての単語と句に関して，それ らのベクトル $\mathbf{v}_{i: i+1}, \mathbf{v}_{i: j}$ を計算した後, これらを順伝播型ニューラルネットワークに入力することで,単語と句それぞれに関するカテゴリ割当の確率分布 $P_{w}(i, i+1), P_{p}(i, j)$ と, 区間 $[i, j]$ において句が成立 する確率 $P_{s}(i, j)$ をそれぞれ計算する.

$
\begin{aligned}
P_{w}(i, i+1) & =\operatorname{SM}\left(\mathbf{Q}_{w} \sigma\left(L N\left(\mathbf{U}_{w} \mathbf{v}_{i: i+1}+\mathbf{b}_{w}\right)\right)+\mathbf{c}_{w}\right) \\
P_{p}(i, j) & =\operatorname{SM}\left(\mathbf{Q}_{p} \sigma\left(L N\left(\mathbf{U}_{p} \mathbf{v}_{i: j}+\mathbf{b}_{p}\right)\right)+\mathbf{c}_{p}\right) \\
P_{s}(i, j) & =\operatorname{Sigmoid}\left(\mathbf{q}_{s}^{\top} \sigma\left(L N\left(\mathbf{U}_{s} \mathbf{v}_{i: j}+\mathbf{b}_{s}\right)\right)+\mathbf{c}_{s}\right)
\end{aligned}
$

ここで, $\mathbf{Q}_{w}, \mathbf{Q}_{p}, \mathbf{q}_{s}^{\top}, \mathbf{U}_{w}, \mathbf{U}_{p}, \mathbf{U}_{s}, \mathbf{b}_{w}, \mathbf{b}_{p}, \mathbf{b}_{s}, \mathbf{c}_{w}, \mathbf{c}_{p}, \mathbf{c}_{s}$ はモデルの学習対象となる重み行列およびべ クトルであり, $\sigma(\cdot)$ は ReLUによる非線形変換, $L N(\cdot)$ は Layer Normalization， $S M(\cdot)$ はソフトマックス関数, Sigmoid (.) はシグモイド関数をそれぞれ表す. また, 全ての順伝播型ニューラルネットワークにお いて, ReLUによる非線形変換の直後に Dropout 層 を指てている.これらの単語・句に対するカテゴ リ割当の確率分布および句の成立確率が正解に合致 するようにモデルを学習させることで，単語や句の 分散表現が相互に影響を及ぼし合い，結果として構成要素間の依存関係を明示的に与えた状況下での Supertagging モデルの学習が実現される.

モデルの学習には誤差逆伝播法を用いる. まず，単語のカテゴリ割当 $P_{w}(i, i+1)$ の予測誤差 $\mathscr{L}_{w}$ と句 のカテゴリ割当 $P_{p}(i, j)$ の予測誤差 $\mathscr{L}_{p}$ をそれぞれ 交差エントロピー誤差を基準として計算する。ま た, これらに加えて句の成立確率 $P_{s}(i, j)$ の予測誤差 $\mathscr{L}_{S}$ を, 二値交差エントロピー誤差を基準として 計算する. そして, これらの誤差の一部または全部 を逆伝播することでモデルパラメータの最適化を行 う. 例えば，3つの誤差全てを逆伝播する場合，合計誤差の計算およびモデルパラメータの更新は式 (4)，(5)でそれぞれ表される.

$
\begin{array}{r}
\mathscr{L}=\mathscr{L}_{w}+\mathscr{L}_{p}+\mathscr{L}_{s} \\
\theta \leftarrow \theta-\mu \frac{\partial \mathscr{L}}{\partial \theta}
\end{array}
$

ここで， $\mathscr{L}$ は逆伝播される合計誤差， $\theta$ はモデルパ ラメータ， $\mu$ は学習率をそれぞれ表す。

モデルの学習終了後, 開発用データ及びテスト 用データに対して Supertagging を行う際には，ま ず入力文中の各単語をエンコーダを通して分散表現に変換する. そして，これらのべクトルを順伝播型ニューラルネットワークに入力することで $P_{w}(i, i+1)$ を計算し, 各単語に対するカテゴリ割当 の予測を行う。ここで，各単語に対する割当確率が 0.1 以上となるカテゴリ全てを各単語の Supertag と して付与する。

## 3.3 Span-based Parsing

提案手法によって計算される句の分散表現は，句 に対するカテゴリ割当を直接予測しながら句構造の 探索を行う Span-based の構文解析アルゴリズム (以下 Span-based Parsing) に適用可能である. Span-based Parsing は Stern らが PCFG による句構造解析に導入乙 [10], Clark が同様の手法を CCG に適用する ことで大幅な性能向上を達成した [11]. Span-based Parsing では，単語の分散表現から文中の特定の区間・句に対応する分散表現を計算し, その分散表現 を用いて区間が句を形成する確率および，句に対 して割り当てられるカテゴリの予測を行う. 我々 は，CKYアルゴリズムに対して，提案手法における 句のカテゴリ割当の確率分布 $P_{p}(i, j)$ と句の成立確率 $P_{s}(i, j)$ の情報を組み込むことによって，新たな Span-based Parsing アルゴリズムを導入した. 本アル ゴリズムの詳細については付録 A に示す.

## 4 実験

## 4.1 データセット

モデルの学習・評価のためのデータセットには, CCG で一般的に用いられる英語 CCGbank [12] を使用した. CCGbank は Penn Treebank と同じ Wall Street Journal の記事に対して CCG のカテゴリがアノテー ションされたデータセットであり， 24 個 (00-23) の セクションで構成されている. 本実験では既存研究 のデータセット分割方法に従い，セクション 02-21
表 1 CCGbank の統計情報.

表 2 モデルの学習に関するハイパーパラメータ.

を学習用データ，セクション 00 を開発用データ，セ クション 23 をテスト用データとして用いた. デー タセットに関する統計情報を表 1 に示す.

## 4.2 実験条件

モデルの学習に関する各種ハイパーパラメータを 表 2 に示す. Optimizer には AdamW [13] を使用し，学習率は RoBERTa-large のファインチューニング部分 (fine-tune) とその他の部分 (base) で異なる值を設定した。

学習終了後, 提案モデルによって Supertagging が なされた文を事前学習済みの CCG 構文解析モデル である C\&C Parser [14] の入力とすることで構文解析 を行った. また，同様に我々が導入した Span-based Parsing による構文解析も行った.

提案手法の有効性を定量的に評価するにあたり，異なる誤差の組み合わせを用いてモデルの学習を 行った. まず単語レベルでのカテゴリ割当の誤差 $\mathscr{L}_{w}$ のみを学習に用いるモデルをベースラインモデ ルとし，これに対して句の分散表現から計算される 誤差 $\mathscr{L}_{p}, \mathscr{L}_{S}$ の一方，もしくは両方を合計した誤差 を用いるものを提案モデルとする．各モデルを異な る乱数シード値から 8 回ずつ学習させ，ベースライ ンモデルと提案モデルの各種評価指標の値を比較 した.

## 4.3 評価指標

既存研究に従い，モデルの評価指標には Supertagging の精度 (Acc) と構文解析結果から得られる単語間依存関係の情報として Labeled F-score (LF) を用 いた.表 3 開発用データにおける提案法の性能.

表 4 テストデータにおける既存手法との性能比較.

## 5 結果

ベースライン手法と提案モデルそれぞれの開発用 データにおける性能を表 3 に示す. 有意水準 $1 \%$ で 片側 $t$ 検定を行った結果, $\mathscr{L}_{w}+\mathscr{L}_{p}+\mathscr{L}_{s}$ を学習に用い た提案モデルはベースラインモデルを Supertagging 精度と C\&C Parser における Labeled F-score の両者に おいて有意に上回っていることが確認された. さら に, Span-based Parsing は C\&C Parser をさらに上回る 性能を発揮している。

次に，テスト用データにおける既存手法との比較を表 4 に示す. 提案モデルの Supertagging 精度 と C\&C Parser における Labeled F-score は全ての既存手法を上回っており，Span-based Parsing におけ る Labeled F-score も，現状の最高性能モデルである Clark [11]に迫る性能を発揮している.

## 6 おわりに

本研究では，CCG の Supertagging モデルにおいて 文の構成要素間の依存関係を明示的にモデリングす る手法を提案し，また，提案手法から計算される句 の分散表現を活用した Span-based Parsing アルゴリ ズムを導入した。提案手法はベースライン手法を上回る最高性能を発揮し，依存関係の明示的なモデリ ングが CCG 構文解析にとって有効であることを示 した.

本研究の今後の展開としては，現状の教師あり学習手法から教師なし学習手法への拡張や，ロボット のセンサー系から得られるマルチモーダル情報と言語情報の統合への応用などを予定している.

## 謝辞

本研究は, JST, ムーンショット型研究開発事業, JPMJMS2033 の支援を受けたものです.

## 参考文献

[1] Mark Steedman. The Syntactic Process, Vol. 24. MIT press Cambridge, MA, 2000.

[2] Stephen Clark and James R Curran. The Importance of Supertagging for Wide-Coverage CCG Parsing. In COLING 2004: Proceedings of the 20th International Conference on Computational Linguistics, pp. 282-288, 2004.

[3] Ashish Vaswani, Yonatan Bisk, Kenji Sagae, and Ryan Musa. Supertagging with LSTMs. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 232-237, 2016.

[4] Yuanhe Tian, Yan Song, and Fei Xia. Supertagging Combinatory Categorial Grammar with Attentive Graph Convolutional Networks. arXiv preprint arXiv:2010.06115, 2020.

[5] Aditya Bhargava and Gerald Penn. Supertagging with CCG primitives. In Proceedings of the 5th Workshop on Representation Learning for NLP, pp. 194-204, 2020.

[6] Jakob Prange, Nathan Schneider, and Vivek Srikumar. Supertagging the Long Tail with Tree-Structured Decoding of Complex Categories. Transactions of the Association for Computational Linguistics, Vol. 9, pp. 243-260, 2021.

[7] Yufang Liu, Tao Ji, Yuanbin Wu, and Man Lan. Generating CCG Categories. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 35, No. 15, pp. 1344313451, May 2021.

[8] Maximilian Nickel, Lorenzo Rosasco, and Tomaso Poggio. Holographic Embeddings of Knowledge Graphs. In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 30, 2016.

[9] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. RoBERTa: A Robustly Optimized BERT Pretraining Approach. arXiv preprint arXiv:1907.11692, 2019.

[10] Mitchell Stern, Jacob Andreas, and Dan Klein. A Minimal Span-Based Neural Constituency Parser. arXiv preprint arXiv:1705.03919, 2017.

[11] Stephen Clark. Something Old, Something New: Grammar-based CCG Parsing with Transformer Models. arXiv preprint arXiv:2109.10044, 2021.

[12] Julia Hockenmaier and Mark Steedman. CCGbank: a corpus of CCG derivations and dependency structures extracted from the Penn Treebank. Computational Linguistics, Vol. 33, No. 3, pp. 355-396, 2007.

[13] Ilya Loshchilov and Frank Hutter. Decoupled Weight Decay Regularization. In International Conference on Learning Representations, 2019.

[14] Stephen Clark, Darren Foong, Luana Bulat, and Wenduan Xu. The Java Version of the C\&C Parser: Version
0.95. Technical report, University of Cambridge Computer Laboratory, August, 2015.

## A Span-based Parsing アルゴリズム

本研究において我々が導入した Span-based Parsing のアルゴリズムを Algorithm 1 に示す. 簡略化のため,上記アルゴリズムでは，CCG の組み合わせ規則のうち，Binary の規則のみを前提とした場合の処理手順を示 している. 実際，CCG には Type-raising などの Unary の規則が存在するため，上記アルゴリズムに加えて， Unary の規則によって生成されるカテゴリをチャートに追加する必要がある.


# 構成主義による英語語彙学習支援システムの開発
## Developing English Vocabulary Study Support System Based on Constructivism Learning Theory

\author{
バーハ カーマーン \\ 東京電機大学大学院 先端科学技術研究科 \\ 情報通信メディア工学専攻 \\ \{20udc02\}@ms.dendai.ac.jp
}

## 概要

語彙学習は英文読解力を向上される方法の 一つである．英語の語彙力を増やせば増やす ほど，英文を読むときの理解が深まる [1] [2].語彙学習は，多くの学生にとってかなり難し いものである [3] [4]. 本研究では，構成主義の 教育理論とマルチメディア学習の認知理論に 基づき，英文から単語を抽出して語彙学習の 教材を自動で作成できる WCVM システムをウ ェブレスポンシブデザインで開発した.

## 1 はじめに

現代は，急速な情報通信技術(ICT)の進展と ともに，パソコン，タブレットやスマートフ オンなどが普及し，教室内で知識を得るだけ でなく，教室外でも ICT デバイスを介して学 ぶことが可能である。教育改革における総合学習の導入により，構成主義に基づく教育の 重要性がさらに高くなっていくと考えられる [5]. 19 世紀初頭に，Piagetが構成主義を提案し た [6]，構成主義は教師側から一方的に学習者 に知識を教え込むことでなく，学習者中心 へ，「教えること」から「学ぶこと」への転換 を方向づけるものである．学習者が中心で自分自身の経験によって，新しい知識を理解 し，自分だけの知識を構築し，学習者に固有 の活動であると主張する理論である [7] [8].

学習教材は「マルチメディア」つまり絵 (Picture)，文字（Text），音（Sound）などの 単一メディアを 2 種類以上が混在していること が多く，文字だけの単体メディアや音声だけ の授業よりも，勉強のやる気を促し，授業内容を理解することができるのである [9] [10].

マルチメディア学習の認知理論(Cognitive Theory of Multimedia Learning, CTML)について Mayer は学習者がマルチメディアを視聴する際

\author{
宍戸 真
}

東京電機大学大学院 先端科学技術研究科

情報通信メディア工学専攻

\{shishido\}@mail.dendai.ac.jp

に，脳内で起こるプロセス，学習者がマルチ メディアを視聴する際に生じる認知的プロセ スおよび学習者の学習能力を効果的に促進す るマルチメディアを開発するためのガイドラ インを論じたマルチメディア・デザインの原理について提案した理論である [10].

外国語としての英語学習者の読解力を向上 される方法は様々な方法がある，語彙の学習 も読解力を向上される方法の一つである. 英語の語彙力を増やせば増やすほど，英文を読 むときの理解が深まる [1] [2].

従って, 本研究では, 英文を読む前に英単語を学習すると学習者の読解力を向上するこ とを目的として, 構成主義の教育理論とマル チメディア学習の認知理論に基づき，英文か ら英語の単語を抽出して語彙学習の教材を自動で作成し, マルチデバイス対応できる Wordlevel Classification and Vocabulary Meaning (WCVM) システムを開発した。その上で，単語力, 読解力の事前・事後テストの比較と提案したシステムに対する学習者の意識 (students' attitude) のアンケートを調查する.

## 2 先行研究

Piaget が提案した構成主義は学習者を対象に，自分自身の理解を組み立てるようなかたちで 教育すべきであると主張している [6].

Yingyu は構成主義に基づく英単語の意味の 獲得に関して研究した。学習者は構成主義に 基づく英単語を学習するとうまく利用できる ようになり，構成主義の実現可能性と妥当性 を示した [8].

または, Oxford らはリスト内の単語を学習 するよりも文脈化された語彙学習の方が効果的であるという確信した [11].

さらに，S`t`epánka Bilova'は ICT を使用した 協調的かつ個人の語彙構築に関して研究し,

Google ドキュメントと Quizlet の両方が，語彙学習だけでなく, 言語教育にも効率的なツ一 ルであることを示した [12].

## 3 ユーザーインターフェイス デザインとシステム機能 \\ WCVM システムのユーザーインターフェイ スデザインは全て Adobe XD を利用した（図 1 ).

設計したシステム機能は主に 3 つに分けら れる. 第 1 に，英単語の練習アクセスを可能と するための, 英文の形態素解析機能である.

第 2 は, 学習した単語または既知英単語の保存 や削除の機能である．第 3 は，さまざまな種類 の練習問題を利用し英単語を学習する機能で ある. 本研究では学習者が自由に学習教材を 選べるために， 6 種類のスペリング，ディク テーション, 多肢選択問題, 真/偽, マッチン グ，フラッシュカードの練習問題を開発した。全ての練習は学習者が英単語を正しく使う能力とリスニング力を向上させる目的として開発した.

図 1 Adobe XD での My Memory ページの ユーザーインターフェイス

## 4 データベースデザイン

本研究では, User Account Database, English Vocabulary and Meaning Database 及び User Portfolio Database の 3 テーブルデータベースシ ステム内に作成した (図4).

はじめに, User Account Database（図 4）は users という名前でユーザーをシステムのログ イン寸るためのデータを保存されたシステム 開発においては, 形態素解析, 英単語学習教材技術を利用した. users テーブルのフィール ドは id, email, password, firstName, lastName, language または level で構成された（図 2).

次に, English Vocabulary and Meaning Database（図 4）は alc_vocabという名前で ALC12000の英単語のリストに含まれた。
japaneseType フィールドと japaneseMeaning フ イールドは日本語の品質, と日本語の意味に 含まれて, thiaType フィールドと thaiMeaning フィールドは English-Thai Cambridge Dictionary [13] と LINE Dict English-Thai [14] に基づいた夕 イ語の品質, とタイ語の意味に含有した. alc_vocab テーブルのフィールドは id, level, word, japaneseType, japaneseMeaning, thaiType ま たは thaiMeaning を構成した。

最後に, User Portfolio Data は, user_vocab と いう名前でユーザは覚えた単語を保存したデ ータテーブルである. user_vocabテーブルのフ イールドは userId : int(11)または vocabId : int(11) で構成された. id : int（11）を users テーブル の主キーとして定義しましたが，id：int（11） は, userId：int（11）という名前をuser_vocab テーブルでの外部キーとして定義した（図 2） (図3).

図 2 phpMyadmin 5 の ER 図

図 3 一部のデータベース作成 SQL コード

## 5 システム開発

システム開発においては, 形態素解析, 英単語学習教材技術を利用した。

## 5.1 形態素解析技術

英文内にある英単語を抽出するために, 形態素解析の技術を利用する必要がある.

図 4 形態素解析と英語語彙学習システムのシステムアーキテクチャ

染谷が開発した Word Level Checker [15]とい う形態素解析サイト，または水本が開発した New Word Level Checker (NWLC) [16]は ALC12000 の単語データベースに基づいて単語難易度でレベル分けをして，グラフの統計を 出して表示しただけである。システム自体は，他の言語の意味は表示することができず，英単語の練習問題を自動で作成することもでき ない.

本研究では, NLP-compromise と呼ばれる JavaScriptライブラリーで分析し, SLV12000デ 一タベースで検索できる形式に変換した技術 を利用した. NLP-compromiseはFront-End のラ イブラリーで, ユーザー側のデバイスで, 形態素解析を計算する（図 5).

## //take only letter from text -. \\ let text $=$ rawText. $\operatorname{replace(/[0-9] / g, \quad ' \prime)$; \\ //transform text to base form or root word let rootFormText $=n l p($ text $), \operatorname{text}(' \operatorname{root} ')$;}

I/ Put all transformed words into Array object

let rootFormWords $=n l p$, tokenize( rootFormText), terms(), out ('freq');

図 5 JavaScript で形態素解析の一部コード

NLP-compromise は英文内にある英単語を抽出しただけでなく，変形した英単語も原型で 表示することができる．SLV12000の英単語の データベースを検索できるために，変形した 動詞の過去形や進行形は原型にし, 名詞の複数形も単数形で表示する（図 6).

図 6 本研究のシステムでの形態素解析した結果

## 5.2 単語学習システム技術

本研究はウェブサービスやウェブアプリケ ーションで直接ユーザーの目に触れる部分の フロントエンドエンジニア(Front-End)では, パ ソコンだけでなく，スマートフォンやタブレ ットなどのどの端末サイズでも対応でき，正 しく綺麗にユーザーインターフェイスを表示 することができるレスポンシブ ウェブ アプリ ケーション(Responsive web application)を利用し， システム開発した．WCVM システムは HTML CSS JavaScript と CSS フレームワーク (framework)といった Bootstrap 5 のウェブ技術 を利用した。

サーバー側の処理を担当することのバック エンドエンジニア(Back-End)は Php 言語を利用 してバックエンドのコードを開発した。ユー ザーが登録されたメール (e-mail) やパスワー ド(password)のデータは PhpMyadmin5 で管理し た SQL 言語のデータベースを利用した.

## 6. システム利用

初めに，英文を選び，その文章をコピーす る.そして，システムに用意したテキストボ ックス内に貼付する（図 7).または，テキス トボックスの上にある paste ボタンで貼付こと もできる.

図 7 システム内にあるテキストボックス

次に, 形態素解析した後に表示したい意味 の言語（日本語かタイ語）を選び，また ALC12000 に基づいた 12 レベルをレベルドロ ップダウンメニューで選択する. Submit ボタ ンを押した後は，システムは選んだレベルと， それよりも上位レベルの単語 (Unknown Words) を表示し，選択したレベルより下位レベルの 単語を Known Words としてテーブルで表示す る. 表示するテーブルは単語のレベル, 単語,品詞, 意味である. さらに, 学習者は, 英単語の発音を音声で聞くことができる.

練習問題をアクセスする万法は 3 つの方法 でアクセスできる。一つ目の方法は， Unknown Words テーブル内にある練習したい 英単語一つずつを自分自身で選択してから， そのテーブルの下にある Play ボタンで直接に 練習することができる. Play ボタンは 6 種類 の練習を選ぶことができる。

二つ目の方法は, 学習者の Unknown Words ページにアクセスできる (図 8). Unknown Words ページというのはデータベースに保存さ れていない単語しかテーブルで表示されない. そのページから学びたい英単語のレベル及び 練習問題の種類を選ぶことができる。さらに，学ぶ単語数も自分で決められ, もしくはラン ダム (Random) ボタンで英単語をランダムで学習することができる.

図 8 システム内にある Unknown ページ

三つ目は左側にある 6 種類の練習メニュー は直接にアクセスすることもできる．直接に アクセスするとシステムは 5 問の英単語の問題をランダムで英単語の練習問題を作成する.

覚えた単語を保存する方法としては, 形態素解析した後, Unknown Words 内に既知の単語が表示されば，すぐにその単語を選んで保存することができる。 または, 単語練習で学習した後に全て正しく解答すれば，システム が保存ボタンを表示されて保存することもで きる. 保存された単語のデータは学習者の My memory のページにグラフとして結果を表す (図9).

図 9 My Memory のユーザーインターフェイス

## 7. まとめと将来の研究

本研究は, 構成主義 (Constructivism) と CTML 理論に基づく英語語彙学習支援システ ムの開発を行った. 開発においては, 形態素解析やレスポンシブ ウェブ アプリケーション (Responsive web application) といった様々な技術を利用した. 開発したシステムでは, 英文 の形態素解析や 6 種類の単語学習教材を提案 した.

今後の研究に関しては, 学習者が実際に WCVM システムを利用し学習した後, 語彙力 と読解力が向上するかを語彙と読解による事前・事後テストの比較により評価する。その 上で，WCVM システムに対する学習者の意識 のアンケートを調查し，データを分析してま とめる.

## 参考文献

1. The Correlation between EFL Students' Vocabulary Knowledge and Reading Comprehension: A Case Study at the English Education Department of Universitas Kristen Indonesia. ManihurukHotmagasiDavid. Jakarta :発行元不明, 2020 年 February 月, Journal of English Teaching, 第 6 (1) 巻, ページ: 86-95.

2. NunanDavid. Practical English Language Teaching. New York : McGraw-Hill/Contemporary, 2003. ページ: 70.

3. Exploring Second Language Vocabulary Learning in ESL Classes. AlghamdiH.Haifa. Seattle : Canadian Center of Science and Education, 2018 年, English Language Teaching, 第 12 巻, へ ージ: 78-84.

4. Vocabulary Acquisition Style in the ESL Classroom: A Survey on the Use of Vocabulary Learning Strategies by the Primary 3 Learners. Aliceson LindaMohd ShahParilah. Bangi, Malaysia : Scientific Research Publishing, 2020 年, Creative Education, 第 11 巻, ページ: 1973-1987.

5. 構成主義が投げかける 新しい教育. 久保田賢一. 出版地不明 : J-STAGE, 2003 年, コンピュ ータ\&エデュケーション, ページ: 12-18.

6. Cognitive And Social Constructivism: Developing Tools For An Effective Classroom. KatherineC. 出版地不明: Education, 2009 年, 第 v130 巻

7. Constructivist Approach to Learning - An Effective Approach of Teaching Learning. BhattacharjeeJayeeta. 出版地不明: International Research Journal of Interdisciplinary \& Multidisciplinary Studies (IRJIMS), 2015 年, ペー ジ: $65-74$.

8. The Acquisition of Words' Meaning Based on Constructivism. LinYingyu. 出版地不明: Theory and Practice in Language Studies, 2015 年, ページ: 639-645

9. Richard E. Mayer's Multimedia Learning Theory in Second Language Multimedia Design: A Case Study of Redundancy Principle and Modality Principle in second language research. N. HanrattanasakulSawetaiyaramT. 出版地不明: ASJ PSU, 2019 年, 第 30(1) 巻, ページ: 219-229.

10. MayerE.R. Multimedia Learning (2nd ed.).
United Kingdom : Canbridge University Press, 2009.

11. Second Language Vocabulary Learning Among Adults. ScarcellaandOxford. 出版地不明: ScienceDirect, 1994 年.

12. Collaborative And Individual Vocabulary Building Using Ict. BulovánkaS`epa. 出版地不明: Studies in Logic, Grammar and Rhetoric, 2018 年, ページ: 31-48.

13. DictionaryCambridge. Cambridge Dictionary English-Thai Dictionary. Cambridge Dictionary. (オンライン) (引用日: 2021 年 December 月 10 日.) https://dictionary.cambridge.org/dictionary/englishthai/.

14. English-ThaiDictLINE. LINE Dict EnglishThai. LINE Dict English-Thai. (オンライン) (引用日: 2021 年 December 月 10 日.) https://dict.naver.com/linedict/enthdict/dict-forcache?platform=pc\#/enth/home.

15. SomeyaYasumasa. Word Level Checker. Word Level Checker. (オンライン) 2006 年. (引用日: 2021 年 December 月 10 日.) http://someyanet.com/wlc/.

16. MizumotoAtsushi. NWLC. New Word Level Checker (NWLC). (オンライン) 2021 年 June 月 6 日. (引用日：2021 年 Demcember 月 10 日.) https://mizumot.com/nwlc/about.html.


# 雑音のある通信路モデルを用いた句構造解析

原田慎太朗 1 渡辺太郎 $^{1}$ 大内啓樹 1,2
1 奈良先端科学技術大学院大学 2 理化学研究所
\{harada.shintaro.hk4, taro, hiroki.ouchi\}@is.naist.jp

## 概要

構文解析モデルである分類/識別モデルおよび結合モデルは多くの学習データを必要する. しかし、学習データとして利用される Treebank の構築には膨大な人日を必要とするため、低資源下で機能する構文解析モデルが求めらる。これに対して、雑音のあ る通信路モデルを用いた句構造解析モデルを提案 する. 雑音のある通信路モデルは問題を分割してお り、学習に必要なデータ数を抑えることができる.

本研究では、構造が比較的単純な sequence-tosequence モデルで句構造解析を定式化する. 実験結果として、英語および中国語データセットにおい て、本モデルが有効であることを確認した。また、低資源設定においても有効であることを確認した。

## 1 はじめに

構文解析は、単語関係または階層的構造を計算す る問題である. その結果、入力文の解釈性が高まる ため、言語学や自然言語処理における基本的なタス クである．それゆえに研究は盛んであり、多数の高精度かつドメイン特有の句構造解析モデルが提案さ れている。構文解析モデルである分類識別モデル あるいは結合モデルには非常に多くの学習データが 必要である. しかし、構文解析の学習データとして 使用される Treebank の訓練データは、他のデータと 比較すると非常に少ない. さらに、Treebank の構築 および拡張には莫大な時間と言語学的な専門性が必要である.

この課題に対処するために、雑音のある通信路モ デルを用いた句構造解析モデルを提案する. 雑音の ある通信路モデルは、通信路モデルと言語モデルに 分割できる。通信路モデルは入力をうまく説明する 出力を選択ように学習する. これにより、直接モデ ルで起こりうる、入力の一部から出力が予測される という問題を回避でき [1]、その結果、データシフ トに頑健なモデルになる. 言語モデルは、対ではな
いデータから学習可能であり、出力言語における良 さをモデル化できる. 雑音のある通信路モデルは誤 り訂正や音声認識の分野で使用されてきたモデルで あり、近年では深層学習に拡張され [2]、機械翻訳 $[3,4]$ や対話生成 $[5]$ などで優れた性能を発揮してい る. 特に、低資源設定では通常のモデルより大きな 効果を発揮できる.

本研究では、雑音のある通信路モデル用いるにあ たり構文解析を Seq2Seq (sequence-to-sequence) 問題 として定式化する. 英語（PTB: Penn Treebank）お よび 中国語（CTB: Chinese Treebank）における実験、 および、低資源設定における結果より、本モデルが 有効であることを確認した。

## 2 関連研究

構文解析アルゴリズム 句構造解析において、 Chart 型、Transition 型、Seq2Seq 型が代表的なアル ゴリズムとして挙げられる. Chart 型は、各スパン のスコアを計算し、動的計画法を用いて生成可能な 木構造を求める. そのため、高性能であるが文長 $n$ に対して $\Theta\left(n^{3}\right)$ の計算量を持つ. Transition 型は、履歴を考慮した語彙的特徴を持つ Shift-Reduce 操作を 繰り返し選択することにより、木構造を求める. 最先端の性能は持たないが文長 $n$ に対して $O(n)$ の計算量で解析可能である. Seq2Seq 型は Chart 型およ び Transition 型と比較して、モデル設計が比較的簡単である. また、ビームサーチデコーディングを採用することで、出力長 $m$ に対してビームサイズ $k$ で 性能と計算量 $O(\mathrm{~km})$ を調整できる。

Seq2Seq 型は線形化した構文木（S 式）を構成す る開/閉括弧およびラベルを単語と見なすことで定式化される [6]. ここにおける線形化とは、構文木 の終端ノードを記号に置き換える操作である. 線形化手法には様々な方法 $[6,7,8]$ が提案されている が、本研究では代表的な $\mathrm{S}$ 式の線形化 $[6,7]$ を用 いる. その例を表 1 に示す.ここで、表 1 におけ る LBD (Linearized by Dummy)、LBP (Linearized by

Pre-Terminal)、LBT（Linearized by Treminal）はそれ ぞれ線形化手法の名称であり、それぞれ終端ノード をダミ一記号 “XX“、前終端記号、終端記号で置き 換える。さらに、開/閉括弧にもラベルを付ける。

構文解析モデル 構文解析モデルは大きく分け て分類/識別モデルおよび結合モデルに分けられる.分類/識別のモデルは、Transition-based モデル [9]、 Chart-based モデル [10]、Seq2Seq モデル [6,7,11] が 挙げられる. Transition-based モデルと Chart-based モ デルはそれぞれ木構造を構成する操作とラベル付き スパンを識別する。それに対して、Seq2Seq モデル は木構造を構成する線形化された記号を識別する.結合モデルは、木構造を構成するルールの生成確率

成する単語および操作の生成確率をモデル化する 手法 [14] などが挙げられる. 最尤推定、あるいは、 ニューラルネットワークによる学習のために ha 、多くのデータを必要とする。

## 3 雑音のある通信路句構造解析器

本研究では、構文解析を Seq2Seq モデルを用いて 以下のようにモデル化する.

$
P(\boldsymbol{y} \mid \boldsymbol{x})=\sum_{i=1}^{|\boldsymbol{y}|} P\left(y_{i} \mid \boldsymbol{y}_{<i}, \boldsymbol{x}\right)
$

ここで， $\boldsymbol{x}$ は単語列、 $\boldsymbol{y}$ を線形化された記号列、 $|\boldsymbol{y}|$ は出力する記号列の長さであり， $\boldsymbol{y}_{<i}$ は記号 $y_{i}$ より 前の記号列 $x_{1}, \ldots, y_{i-1}$ を表す.ここで、ベイズの 定理 $P(\boldsymbol{y} \mid \boldsymbol{x}) \propto P(\boldsymbol{x} \mid \boldsymbol{y}) P(\boldsymbol{y})$ より、雑音のある通信路モ デルは、線形化された記号列 $\boldsymbol{y}$ から単語列 $\boldsymbol{x}$ を生成 する通信路モデル $P(\boldsymbol{x} \mid \boldsymbol{y})$ と線形化された記号 $\boldsymbol{y}$ の 言語モデル $P(\boldsymbol{y})$ から以下のようにモデル化される.

$
P(\boldsymbol{x} \mid \boldsymbol{y})=\sum_{i=1}^{|\boldsymbol{x}|} P\left(x_{i} \mid \boldsymbol{x}_{<i}, \boldsymbol{y}\right)
$

ここで， $|\boldsymbol{x}|$ は入力文の長さであり， $\boldsymbol{x}_{<i}$ は単語 $x_{i}$ よ り前の単語列 $x_{1}, \ldots, x_{i-1}$ を表す.

雑音のある通信路モデルは、出力から入力を予測 するため低資源設定でも効果を発揮できることが報告されている [2]. そのため、比較的学習データ数の 少ない Treebankでも有効であることが期待できる. さらには、言語モデルで木構造の良さをモデル化す ることが可能である. そのため、既存のモデルとは 異なり、木構造を意識しながらデコーディングする ことで学習時と推論時のズレを抑えることが期待で きる. 事実、先行研究 [15] は直接モデルに木構造の保証するための制約付きデコーディングを導入して いるが、制約無しと比べて精度が低下している。

雑音のある通信路モデルを用いて $\boldsymbol{x}$ から $\boldsymbol{y}$ を生成 するためには、 $\operatorname{argmax}_{\boldsymbol{y}} \log P(\boldsymbol{x} \mid \boldsymbol{y})+\log P(\boldsymbol{y})$ を計算 する必要がある。しかし、通信路モデル $P(\boldsymbol{x} \mid \boldsymbol{y})$ は各候補 $\boldsymbol{y}_{<i}$ に対して条件付きであり、各語彙に対して 別々の順伝搬が必要なため計算量が大きくなる.こ の問題を軽減するに、先行研究 $[2,3,4]$ ではビーム サイズ $k 1$ と $k 2$ を用いた 2 段階のビームサーチを採用しており、直接モデル、通信路モデル、言語モデ ルの線形結合でデコーディングする.

$
\frac{\lambda_{\text {dir }}}{n} \log P(y \mid x)+\frac{\lambda_{c h}}{m} \log P(x \mid y)+\frac{\lambda_{l m}}{m} \log P(y)
$

ここで、 $m$ は入力文の長さであり、 $n$ はこれまで出力した記号の長さである. また、 $\lambda_{d i r} 、 \lambda_{c h} 、 \lambda_{l m}$ は それぞれ、直接モデル、通信路モデル、言語モデル に対する重みを示すハイパーパラメータである.

時間的複雑さは、各部分候補に対して入力全体の スコアリングを繰り返し行うため $O\left(k_{1} k_{2} m n\right)$ になる が、GPUでは並列処理できるため、ほぼ無視できる [3]. ただし、通信路モデルの出力確率の計算的複雑 さは $k_{1} \times k_{2} \times S \times V$ であり、メモリを多く確保する ためにデコーディング時のバッチサイズを大幅に小 さくする必要がある.ここで、 $S$ は入力の最大文長、 $V$ は出力の語彙数である．そのため、GPUで並列化 できる計算量が少なくなり推論速度が低下する。そ こで、先行研究 [4] では語彙数 $V$ を語彙の中で最も 頻度の高い部分集合の数を示すハイパーパラメータ $V^{\prime}$ に置き換えることで計算的複雑さを抑えている.

## 4 実験

実験データは PTB と CTB を用いる. データの分割および前処理は先行研究 [10] に従う．ただし、頻度が 5 未満の単語を未知語として処理した. データ の内訳は表 2 に示す. 先行研究 $[7,11]$ では LSTM モ デルを用いているが、本研究では Seq2Seq モデルと 言語モデルに数多くのタスクで高い性能を発揮する Transformer モデル [16] を用いる. 学習および推論時の設定については付録 $\mathrm{A}$ に記載する。

木構造の評価は $\mathrm{EVALB}^{1}$ )を用いる。今回の構文解析モデルは木構造を構成するためのルールに従わな いため、有効な木構造を保証しない。また、EVALB は無効な木構造を評価対象の母数に含めないため、

1) https://nlp.cs.nyu.edu/evalb/
文 he had an idea 。

$\mathrm{S}$ 式 (S (NP (PRP he)) (VP (VBD had) (NP (DT an) (NN idea))) (. .))

LBD (S (NP XX NP) (VP XX (NP XX XX NP) VP) XX S)

LBP (S (NP PRP NP) (VP VBD (NP DT NN NP) VP) . S)

LBT (S (NP he NP) (VP had (NP an idea NP) VP) . S)

$\mathrm{F}$ 值による比較が難しい。ここで、無効な木構造は 次の通りである：(1) 開括弧と閉括弧の個数が一致 しない.（2）終端記号の個数が入力文に含まれる単語数または字面が一致しない，そこで、無効な木構造を評価対象の母数に含め計算した比較可能な $\mathrm{F}$ 值 （CF: Comparable F-measure）も報告する.

木構造の表現による性能の違いを確認するため に、左側に分解した二分木 (LLBD、LLBP、LLBT) と右側に分解した二分木 (RLBD、RLBP、RLBT）も 用いた. さらに二分木変換後に単鎖を結合すること で、系列長を $3 n$ で統一する. ここで、 $n$ は木構造に 含まれる単語数である。

## 5 結果

簡易化のために、直接モデル、通信路モデル、言語モデルをそれぞれ DIR、CH、LM で表す. 本研究 では、DIR、DIR+LM、DIR+CH+LM という三つのモ デルで実験を行う．また、 $\mathrm{CH}$ の必要性を示すため に、DIR+LM の実験も示す.

## 5.1 定量評価

表 3 と表 4 にそれぞれ PTB と CTB における構文解析の結果を示す. ここで、表 3 と表 4 における CP と CR は比較可能な適合率と再現率を示す. PTB と CTB において、DIR+CH+LM が他のモデルより数多 くの有効かつ質の良い木構造を出力することが確認 できる. 線形化手法について、PTB ではダミ一記号 による線形化手法（LBD）が、CTB では前終端記号 による線形化手法（LBP）が最も良い. 二分木につ いては、PTB と CTB において二分木の有効性には ばらつきがあり、言語または Treebank の特徴に依存 すると考えられる。表 3 PTB における実験結果

## 5.2 定性評価

図 1 にLBP形式のPTBテストセットにおける出力例を示す. DIR および DIR+LM のモデルでは、“all“ の品詞または階層的位置の予測に失敗している。ま た、DIR+LM モデルは、“care of in the music man“を 名詞句として予測してしまい、木構造を正しく出力 することに失敗している。しかし、DIR+CH+LM は 木構造を正しく出力できている。これより、 $\mathrm{CH}$ が DIR およびLM の失敗を修正していることが分かる.

## 5.3 低資源設定における定量評価

雑音のある通信路モデルが低資源設定の句構造解析において有効であるかを調べるためにLBP 形式 のPTB および CTB の訓練データを $10 \%$ 刻みで分割
表 4 CTB における実験結果

してモデル学習した. 結果を図 2 に示す. 低資源設定の PTB と CTB において、DIR+CH+LM の性能が 全体的に高いことが確認できる. また、他のモデル では性能が低下する箇所でも、DIR+CH+LM は頑健 に動作しており、低資源設定においても有効である ことが確認できる.

## 6 おわりに

本研究では、低資源かつ高性能な句構造解析器 の構築を目的に雑音のある通信路を用いた句構造解析器を提案した. 結果、雑音のある通信路を用 いた句構造解析器が PTB および CTB、さらには低資源設定においても有効であることを確認した。 また、Treebankによって有効な線形化手法が異な ることを確認した. 今後の課題として、常に正し い木構造を保証するために制約付きデコーディン グ [11,15]の導入を試みる。また、NPCMJ（NINJAL Parsed Corpus of Modern Japanese) ${ }^{2)}$ や Arabic Treebank など実験データの種類を増やし提案手法の有効性を 検証する。

2) https://npcmj.ninjal.ac.jp/interfaces/

図 1 木構造の比較 (一番目: GOLD、二番目 : DIR、二番目:DIR+LM、四番目 : DIR+CH+LM)

図 2 低資源設定の PTB と CTBにおける実験結果

## 謝辞

本研究は JSPS 科研費 JP19K20351 および JP20K23325 の助成を受けたものである.

## 参考文献

[1] Dan Klein and Christopher D. Manning. Conditional structure versus conditional estimation in nlp models. In Proceedings of the ACL-02 Conference on Empirical Methods in Natural Language Processing - Volume 10, EMNLP '02, p. 9-16, USA, 2002. Association for Computational Linguistics.

[2] Lei Yu, Phil Blunsom, Chris Dyer, Edward Grefenstette, and Tomás Kociský. The neural noisy channel. CoRR, Vol. abs/1611.02554, , 2016.

[3] Kyra Yee, Yann Dauphin, and Michael Auli. Simple and effective noisy channel modeling for neural machine translation. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 56965701, Hong Kong, China, November 2019. Association for Computational Linguistics.

[4] Shruti Bhosale, Kyra Yee, Sergey Edunov, and Michael Auli. Language models not just for pre-training: Fast online neural noisy channel modeling. In Proceedings of the Fifth Conference on Machine Translation, pp. 584-593, Online, November 2020. Association for Computational Linguistics.

[5] Qi Liu, Lei Yu, Laura Rimell, and Phil Blunsom. Pretraining the noisy channel model for task-oriented dialogue. Trans. Assoc. Comput. Linguistics, Vol. 9, pp. 657-674, 2021.

[6] Oriol Vinyals, Ł ukasz Kaiser, Terry Koo, Slav Petrov, Ilya Sutskever, and Geoffrey Hinton. Grammar as a foreign language. In C. Cortes, N. Lawrence, D. Lee, M. Sugiyama, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 28. Curran Associates, Inc., 2015.

[7] Mitchell Stern, Daniel Fried, and Dan Klein. Effective inference for generative neural parsing. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 1695-1700, Copenhagen, Denmark, September 2017. Association for Computational Linguistics.

[8] Daniel Fernández-González and Carlos GómezRodríguez. Enriched in-order linearization for faster sequence-to-sequence constituent parsing. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 4092-4099, Online, July 2020. Association for Computational Linguistics.

[9] Taro Watanabe and Eiichiro Sumita. Transition-based neural constituent parsing. In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 1169-1179, Beijing, China, July 2015. Associ- ation for Computational Linguistics.

[10] Nikita Kitaev and Dan Klein. Constituency parsing with a self-attentive encoder. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2676-2686, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[11] Jun Suzuki, Sho Takase, Hidetaka Kamigaito, Makoto Morishita, and Masaaki Nagata. An empirical study of building a strong baseline for constituency parsing. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 612-618, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[12] Michael Collins. Three generative, lexicalised models for statistical parsing. In 35th Annual Meeting of the Association for Computational Linguistics and 8th Conference of the European Chapter of the Association for Computational Linguistics, pp. 16-23, Madrid, Spain, July 1997. Association for Computational Linguistics.

[13] Slav Petrov and Dan Klein. Improved inference for unlexicalized parsing. In Human Language Technologies 2007: The Conference of the North American Chapter of the Association for Computational Linguistics; Proceedings of the Main Conference, pp. 404-411, Rochester, New York, April 2007. Association for Computational Linguistics.

[14] Chris Dyer, Adhiguna Kuncoro, Miguel Ballesteros, and Noah A. Smith. Recurrent neural network grammars. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 199-209, San Diego, California, June 2016. Association for Computational Linguistics.

[15] Daniel Deutsch, Shyam Upadhyay, and Dan Roth. A general-purpose algorithm for constrained sequential inference. In Proceedings of the 23rd Conference on Computational Natural Language Learning (CoNLL), pp. 482-492, Hong Kong, China, November 2019. Association for Computational Linguistics.

[16] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. arXiv preprint arXiv:1706.03762, 2017.

[17] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A fast, extensible toolkit for sequence modeling. In Proceedings of NAACL-HLT 2019: Demonstrations, 2019.

[18] Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In Yoshua Bengio and Yann LeCun, editors, 3rd International Conference on Learning Representations, ICLR 2015, San Diego, CA, USA, May 7-9, 2015, Conference Track Proceedings, 2015.

[19] Christian Szegedy, Vincent Vanhoucke, Sergey Ioffe, Jonathon Shlens, and Zbigniew Wojna. Rethinking the inception architecture for computer vision. CoRR, Vol. abs/1512.00567, , 2015.
表 5 雑音のある通信路モデルのハイパーパラメータ

## A 学習設定

## A. 1 モデルのハイパーパラメータ

Seq2Seq モデルと言語モデルには、それぞれ Fairseq[17]で提供されている transformer_iwslt_de_en と transformer_lmを用いた.

## A. 2 学習のハイパーパラメータ

モデルの学習における最適化アルゴリズムには Adam[18]を用いた. 目的関数はラベル平滑化交差 エントロピー [19]を用い，平滑化パラメータは 0.1 とした. 全ての実験において、バッチサイズは 4096 単語とし、4GPU でモデルを学習させた. モデルの パラメータ更新回数は 100,000 回とした. また、学習率は 4000 回更新時で $5 \mathrm{e}-4$ となるように線形的に 増加させ、以降は更新回数の平方根の逆数に比例し て減衰させた [16].

## A. 3 推論のハイパーパラメータ

デコーディングに用いたハイパーパラメータを 表 5 に示す. ハイパーパラメータは開発用セットに おいて最も性能が良いものを選択した. なお、ビー ムサイズは 1 から 5 までを 1 刻みで、モデルに対す る重みは 0.1 から 1.0 まで 0.1 刻みで検証した。


# 問い合わせ文章の階層化のための 抽出型要約および係り受け解析を用いた重要箇所抽出

林 岳晴大段 秀顕竹中一秀湯浅 晃大木 環美株式会社 NTTデータ

\{Takeharu.Hayashi, Hideaki.Odan, Kazuhide.Takenaka, Akira.Yuasa, Megumi.Ohki\}@nttdata.com
## 概要

本稿では，問い合わせ文章からの $\mathrm{FAQ}$ 自動抽出 を目的とした段階的なクラスタリングの精度向上に 寄与する，重要箇所の抽出手法を提案する。提案手法では, FAQの構造がカテゴリ＞質問核心＞質問条件と段階的な情報からなることに着想を受け，重要箇所を段階的に自動抽出する．実験により，抽出型要約による重要文抽出, および係り受け解析による 重要文からの質問核心抽出の各ステップで, 8 割以上の性能を達成することを確認した。また，カテゴ リ単位での FAQ 自動抽出において, 従来手法と比較し精度改善が見られることを確認した。

## 1 はじめに

企業の問い合わせ対応業務の効率化には「よくあ る質問（FAQ）」を整備し運用する手段がよくとら れるが，大量にある問い合わせから FAQ を作成す るには膨大な人件費がかかる。そこで， $\mathrm{FAQ}$ 整備の ために, 問い合わせ文章をクラスタリングし FAQを 自動抽出する手法がよく用いられる。

一般的に, FAQ はコンテンツを階層的にまとめる ことで，検索しやすくなると言われている．たとえ ば，カテゴリやサブカテゴリの単位でまとめると， ユーザーは FAQ のカテゴリ検索が可能となる.ま た, シナリオ型チャットボットにおいては, 階層数 を 3〜5 程度にすることが良いとされる. 階層が深 くなりすぎるとユーザーが求める FAQ に辿り着く までの所要時間が増えてしまうため, 階層数を少な く抑えることが良いとされる[1][2].

そのため，カテゴリ>質問核心＞質問条件と問い 合わせを段階的に詳細化できれば，ユーザーは求め る答えに辿り着きやすくなり, 関連質問を体系的に 整理できると考えられる。このように段階的に文章 を集約する方法として，階層型クラスタリングが用
いられているが，入力として問い合わせ文章の全文 を用いるのではなく，カテゴリ・質問核心・質問条件に該当する各部分を用いれば，各階層の集約に不要な情報を排除でき,集約精度の向上が期待できる.

そこで本研究では, 問い合わせ文章からカテゴリ・質問核心・質問条件の各部分を自動抽出する手法を 提案する。さらに抽出した各部分を入力として段階的なクラスタリング（多段階クラスタリング）を行 い, FAQ 自動抽出における精度改善効果を検証する。

## 2 関連研究

問い合わせの構成要素を抽出するには，文節也文同士の関係性に着目する必要がある。このような文章を構造化する手法には，大別して，文章意味理解 を目的としたものと，重要箇所の抽出を目的とした ものがある. 文章意味理解を目的とした研究として，横山ら(2003)[3]は，文間の関係タイプを因果関係や 背景情報など 8 つの関係性で定義し，これらを機械学習手法で自動特定することで文章を構造化する手法を提案している。肥塚ら(2007)[4]は, 述語項構造 の各項に的確な意味役割を付与することを目的とし て, SVM や述語との係り受け関係を用いる手法を提案している。一方，重要箇所を抽出する目的におい ては文書要約に関するタスクとして研究されており，深層学習を用いる手法[5][6]等が近年では数多く報告されている。これらの研究は, 文章の構造を汎用的に定義し解析しようとするものであり，FAQ 自動抽出に向けた文章構造化を目的とはしていない。

FAQ 抽出を行う目的においては，壹岐ら(2018)[7] は, 教師あり学習による抽出型要約を用いて, 不要文の多い問い合わせログから重要箇所を抽出する手法を提案しているが，これは多段階クラスタリング に特化した文章の構造化を目的とはしていない。

そこで本研究では，問い合わせ文章はカテゴリに 関する部分（対象部），質問核心に関する部分（核
心部）, 質問条件など詳細部分（周辺部）から構成 されると定義し, 問い合わせ文章から各部分を自動抽出する手法を提案する.

## 3 問い合わせ文章の構造の定義

筆者らによる事前の分析の結果, 各問い合わせ文章は 3 つの必要情報で構成されることがわかった. この分析から, 問い合わせを以下の構造として定義 する.
- 対象部文章の主題（何について問い合わせて いるか) を示す部分
- 核心部文章の核心（問い合わせている内容は 何か）を示す部分
- 周辺部 $\cdots$ 対象部・核心部以外の, 背景情報や参考情報に該当する部分

また，対象部および核心部を合わせた部分が問 い合わせ文章の重要部分に該当すると考えられる。 これを核文とする。
- 核文…文章中の重要部分 (対象部十核心部)上記の定義をもとに, 問い合わせ文章の構造を解析し, 多段階クラスタリングの入力とすることで,効果的な FAQ が抽出できると考えた。具体的には， FAQ を抽出する際に, 1 階層目では対象部, 2 階層目では核心部, 3 階層目では周辺部と, 多段階クラ スタリングを実行することで，カテゴリ>質問核心 >質問条件の 3 階層ツリー構造として集約できる.

## 4 部分抽出器の生成

3 章で定義した構造を問い合わせ文章から抽出す る流れについて図 1 に示す.

図 1 部分抽出処理の流れ具体的には，次の 2 ステップの処理を行う.

1. 問い合わせ文章を文単位に分割し, 機械学習に より，核文として意味的に重要な文を判定する。核文以外の文を周辺部とする

2. 各核文に対し, 係り受け解析を用いて核心部 を抽出し，核心部以外の文節を対象部とする

## 4.1 核文 $\cdot$ 周辺部の抽出器

文章中からの重要文抽出においては, 抽出型要約 が一般的に用いられ, Yang ら(2019) [8]の BERTSum 等教師あり学習による手法や Kamil ら(2018) [9]の EmbedRank，EmbedRank++等教師なし手法があるが，本手法ではより質問文に特化した石垣ら(2018)[10] の枠組みを参考とする独自手法を用いる。

石垣らは，㔯長な質問文を，より短く理解が容易 な単一文質問に変換することを目的として，抽出型要約の枠組みを提案している. 大量の質問投稿を対象に， 1 文で構成される質問を正例， 10 文以上の文 から構成される質問投稿の各文を負例として，擬似的な教師データを作り，各文を要約に含めるべきか 否かを判定する二値分類モデルの学習に用いている。特徵ベクトルの構築には単語および品詞タグの unigram, bigram, trigram を用い, 分類器にはロジス ティック回帰モデルを用いている。本手法では石垣 らの提案した枠組みを用い，OKWave に投稿された IT カテゴリの質問 441,503 件から, 正例 61,286 件お よび負例 305,719 件を擬似的な教師データとして生成した。そして生成した擬似的な教師データを用い て，問い合わせ文章の各文が核文か周辺部かを判定 する二値分類モデルを学習する．ただし本手法は，特徴ベクトル生成モデルおよび二値分類モデルに関 して石垣らの手法とは異なる。具体的には，以下の モデルを検証し，ベースライン手法と比較する。
- BERT[11]二値分類モデル
- TfidfVectorizer 及び線形回帰モデル
- EmbedRank/EmbedRank++及び線形回帰モデル ベースライン手法としては，先頭の質問文が最も 重要であるとする手法（Lead-Q）[12]を用いる.

## 4.2 核心部 - 対象部の抽出器

抽出された核文を入力として，文節単位で核心部 か対象部かの判定を行う．日本語は Li ら(1976)[13] の提唱した主題優勢言語にあたり, 主題が先で内容 が後の構成を取る場合が多い.この特性を利用して，文の末尾から内容に相当する核心部を抽出し, 核心
部以外の部分を主題となる対象部として抽出する. さらに，問い合わせ文において核心部に当たる部分 の文節間の係り受け構造を見ると, 同様のパターン が多く見られる。 そのため, 核心部として抽出すべ き述語との係り受け関係を予め特定することで，核心部抽出のルールとして設定できると考えた.

IT サービスに関する Enterprise の問い合わせ文章 データセットから， 644 件の問い合わせに対して核心部を人手で分析した結果を表 1 に示す. 核心部の 係り受け構造として頻出するパターンに傾向がある ことがわかった. たとえば, 主語名詞（nsubj）や副詞修飾語 (advmod) が文末の ROOT に直接係る場合 に，核心部となることが多い。これらから一部重複 や短すぎるパターンを除外して, 213 件の係り受け 構造パターンを核心部抽出のルールとして設定した。

なお, 本手法では係り受け解析器として GiNZA[14]を用いている.

表 1 核心部とすべき係り受け構造例

 \\

## 5 評価および試行実験

4 章で提案した構文解析器を用いた部分抽出と,多段階クラスタリングによる $\mathrm{FAQ}$ 自動抽出の実験 を行った。

## 5.1 実験設定

$
\text { データセットには, } 4 \text { 章で用いた IT サービスに }
$

関する問い合わせ文章データセットを用いた。核心部抽出ルールの特定に用いていない 161 件の問い合 わせを対象に部分抽出の評価を行った。また，定性分析のために，公開データである NII の Yahoo!知恵袋データ（第 2 版）の質問本文をサンプリングし て用い，試行実験を行った。

## 5.2 核文抽出の評価

表 2 に核文抽出の評価結果を示す. Acc(sent)は文単位での正解率を, Acc(all)は複数文から構成され る問い合わせ文章のすべての文に対して正解した割合を示す。

表 2 核文抽出の正解率

BERT で特峌量を抽出したモデルがもっとも高い 正解率となり， ベースライン手法（Lead-Q）の精度 を上回った。

## 5.3 核心部抽出の評価

次に，表 3 に核心部抽出の結果を示す.ここで，入力には 5.2 節で抽出した核文を用いた. 8 割以上 の高い精度を達成し, 抽出したルールが妥当である ことを示している.

表 3 核文からの核心部抽出の正解率

## 5.4 部分抽出試行実験

部分抽出の出力例を図 2 に示す. 図 2 の(1)〜(3)の 抽出結果では，対象部は質問カテゴリ，核心部は質問核心, 周辺部は質問条件にそれぞれ対応しており，問い合わせ文章を想定通りに構造化できている.

一方, 抽出した対象部や核心部から, 質問の話題・内容が読み取れないような誤りもあった.たとえば，図 2 の(4)の例では「教えて下さい!!!」の部分のみ 核文と判定されており，主要な箇所を抽出できてい ない。この例では，問い合わせ文章中に，重要箇所 が複数文にまたがっている。核文判定の学習では， 1 文からなる質問文のみを正解として学習している ため，直接的な質問内容のみが核文として判定され てしまったと考えられる。

また, 図 2 の(5)の例は, 核心部抽出の誤り事例で

図 2 部分抽出結果例

ある. 対象部に含まれている「なぜ〜どのように」 の部分は質問の内容核心に当たる部分であり, 本来核心部に含まれるべきである.この例では，核心部 の述部である「作られたのか」に対して，「なぜ」

「誰が」「何のために」「いつ」「どのように」の 複数の文節が本質的な係り受け関係にある. これら をすべて核心部と判定するためには，核心部の係り 受け構造パターンが同一の問い合わせ文章を用いて ルール抽出する必要がある. しかし, 文の途中で補足情報として「（国もそうなのですが，人物名も募集）」が含まれており，本質的な係り受け関係を解析することは困難である. そのため, 問い合わせ文 の文整形を行うことや，「誰が」「何のために」等 の用語を含む文節を核心部として抽出することで，核心部の抽出性能を向上することができると考えて いる。

## 6 多段階クラスタリングへの適用

部分抽出で得られた対象部・核心部・周辺部の各部分を入力とすることで, 多段階クラスタリングに よる FAQ 自動抽出の精度改善効果を検証した。

4 章および 5 章で用いた IT サービスに関する問 い合わせ文章データセットに対して, 次の手順で多段階クラスタリングを行った.

1. 各問い合わせ文章の対象部についてクラスタ リングを行う

2. 各カテゴリクラスタ内の問い合わせ文章の核心部でクラスタリングを行う

上記の手順により，1 階層目がカテゴリレベル， 2 階層目が質問核心レベルとなる FAQ の自動抽出を 実現できる。 ベースライン手法として，カテゴリ・質問核心の両方の階層において, どちらも問い合わ
せ文章の全文を入力とした場合の多段階クラスタリ ングを用いた比較検証結果を表 4 に示す.

カテゴリレベルの集約では，対象部を入力とする 場合が文章全体を入力とするべースラインを上回っ た。一方，質問核心レベルでの集約においては，文章全体を入力とした場合の方が精度が高い結果とな った. 部分抽出の大きな課題は, 5.4 節に示したとお り，核心部抽出において係り受け関係の複雑な文の 解析の難しさであるため，文整形やルールベース手法との組み合わせにより精度を改善できると考えて いる.

表 4 多段階クラスタリングへの適用結果(F1)

 & 0.56 & $\mathbf{0 . 5 5}$ \\

## 7 おわりに

本稿では, 抽出型要約による重要文抽出, および 係り受け解析による重要文からの質問核心抽出の各 ステップで， 8 割以上の性能を達成することを確認 した. また, 部分抽出で得られた対象部・核心部で,多段階クラスタリングによる FAQ 自動抽出を行う と, カテゴリレベルでの集約において若干の精度改善が見られることを確認した。

今後の課題としては, 本手法に加えて, 「誰」「何 のために」等の用語を含む文節を核心部として抽出 する等，ルールベース手法を組み合わせることが考 えられる。また問い合わせ文章からの FAQ 自動抽出に限らず，文書検索や文書要約にも提案手法を適用することが可能であるか検証したい.

## 謝辞

本研究では，国立情報学研究所の IDR データセ ット提供サービスによりヤフー株式会社から提供を 受けた「Yahoo！知恵袋データ（第 2 版）」を使用 させて頂きました.

## 参考文献

[1] -, FAQ チャットボットはシナリオが大事|作り 方・ポイントを解説 | トラムシステム (引用日: 2022 年 1 月 12 日.)

www.tramsystem.jp/voice/voice-3322/

[2] -, 顧客満足度が上がるチャットボットシナリ オの作り方【カスタマーサポート編】(引用日: 2022 年 1 月 12 日.)

[3] 横山憲司, 難波英嗣, 奥村学. Support Vector Machine を用いた談話構造解析. 情報処理学会研究報告 自然言語処理研究会報告, Vol. 2003 No.23, pp. 193-200, 2003.

[4] 肥塚真輔, 岡本紘幸, 斎藤博昭, 小原京子. 日本語フレームネットに基づく意味役割推定. 一般社団法人言語処理学会 自然言語処理, Vol. 2007-14 No.1, pp. 43-66, 2007.

[5] Jingqing Zhang, Yao Zhao, Mohammad Saleh, Peter J. Liu. PEGASUS: Pre-training with Extracted Gapsentences for Abstractive Summarization. arXiv: 1912.08777v3 [cs.CL], 2020.

[6] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Ves Stoyanov, Luke Zettlemoyer. BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension. arXiv: 1910.13461v1 [cs.CL], 2019.

[7] 壹岐太一, 田嶋隼平, 下沢将, 比屋根一雄. $\sim$ ルプデスクの対応記録からの QA リストの半自動抽出. 研究報告知能システム (ICS), 2018.12: 1-8, 2018.

sinclo.medialink-ml.co.jp/blog/chatbot-customersupport-schenario/

[8] Yang Liu. Fine-tune BERT for Extractive Summarization. arXiv: 1903.10318v2 [cs.CL], 2019.

[9] Kamil Bennani-Smires, Claudiu Musat, Andreea Hossmann, Michael Baeriswyl, Martin Jaggi.
Simple Unsupervised Keyphrase Extraction using Sentence Embeddings. arXiv: 1801.04470v3 [cs.CL], 2018.

[10] 横山憲司, 難波英嗣, 奥村学. Distant Supervision による質問集約. 情報処理学会研究報告, Vol.2018-NL-236 No.5, pp. 1-5, 2018.

[11] Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. arXiv: 1810.04805v2 [cs.CL], 2018.

[12] Tatsuya Ishigaki, Hiroya Takamura, Manabu Okumura. Summarizing Lengthy Questions. Proceedings of IJCNLP2017, Vol.1, pp.792-800, 2017.

[13] Li Charles N., Thompson Sandra A. "Subject and Topic: A New Typology of Language". In Charles N. Li. Subject and Topic. New York: Academic Press. 1976.

[14] 松田宽, 大村舞, 浅原正幸. 短単位品詞の用法曖昧性解決と依存関係ラベリングの同時学習.言語処理学会 第 25 回年次大会 発表論文集, 2019.


# クイズビジネスにおける作問作業支援

折原良平 ${ }^{1}$ 鶴崎修功 ${ }^{2}$ 森岡靖太 ${ }^{1}$ 島田克行 ${ }^{1}$ 狭間智恵 ${ }^{1}$ 市川尚志 ${ }^{1}$
1 キオクシア株式会社 2 東京大学大学院
\{ryohei.orihara, yasuhiro.morioka, katsuyuki1.shimada,
chie.hazama, takashi2.ichikawa\}@kioxia.com
htsurusaki1929@gmail.com

## 概要

クイズには、それが使われる場面に応じて、問題文に盛り込むべき情報の質や量が異なるという特徴 があり、近年様々な応用で成功を収めている「大規模コーパスで事前学習した言語モデルのファイン チューニング」というアプローチでは、訓練データ の調達が困難であることが予想される。本稿では、 QuizKnock のサービスである「朝 Knock」風のクイ ズを作問することを題材に、クイズビジネスにおけ る作問作業に機械学習を適用する上での課題と、そ の解決法について考察する。

## 1 はじめに

テレビ番組表サイト「テレビ王国」[1]で「クイ ズ」と検索すると 134 件がヒットする1)ことからも わかるように、クイズは、様々な変遷を遂げつつ [2] も、現代日本のマスメディアにおける主要コンテン ツとしての地位を確立している [3]。その活躍の場 がテレビにとどまらず、オンライン・オフラインの 各種イベントにも広がってきていることと呼応し て、クイズ関連のイベント催行やコンテンツ提供を 基幹ビジネスとする企業も複数出現している [4]。

クイズを活用できる場面は数多い。クイズは 1940 年代にはすでに日本でもラジオコンテンツと してのジャンルを確立していたが、その普及の背景 には、クイズの持つ教育的効果の影響が大きかった [2]。結婚式や組織の㩊親会など、肩ひじ張らない集会における余興として多用されるのはよく経験する ところである。賞品付きのクイズがイベントへの集客促進を狙った企画として使われることも多い。社会課題としての認知症への興味が増す中で、高齢者 の認知機能維持向上を目的とする心理療法も注目さ れるようになっている。その中には、高齢者に過去

1） 2021 年 12 月 8 日に検索実施
の思い出を想起するように働きかける回想法や、参加者の用意した素材について会話を促す共想法があ り [5]、適切に選ばれたクイズが役に立つであろう ことは想像に難くない。実際、精神科病棟でのクイ ズ大会が統合失調症患者の状態を改善したとの報告 を行った医師が、クイズを、認知症まで至らない軽度の認知障害という段階での予防に活用することに 言及している [6]。

一方、様々な場面にクイズが進出していくこと は、それぞれの場面に合った様々な種類の作問能力 が求められることを意味する。結婚式や、高齢者向 け心理療法において、クイズの主題が適切でなけれ ばならないのは自明であるが、ある程度主題の選択 に自由があるケースでも、出題されるクイズが満た すべき条件が明示的・暗示的に存在し、それに沿っ た作問がなされる必要がある。例えば、イベントに 用いられるクイズにおいては、イベント内でクイ ズの果たすべき役割に応じて難易度を調節 2 する必要がある。また、クイズ出題側の意図として、問題 への解答とそれによる解答者の選別というクイズ 本来の機能を超えた効果を狙っている場合もある。 QuizKnock のサービスである「朝 Knock」[7] は、ク イズに接することによりユーザが享受するエンタ テインメントとして、単に正答する喜びにとどまら ず、時事問題に対する興味を喚起し、題材となって いるニュースに関連する学びを与えることを狙っ ている。図 1 は、朝 Knock に掲載されたクイズの例 である。これを見たユーザは、正答を選ぼうとする ほかに、平井氏の来歴を調べたり、「人にやさしい デジタル化」の詳細を知ろうとデジタル庁のホーム ページにアクセスするかもしれない。すなわち、イ ンターネットビジネスのエコシステムにおいて波及力を持つ可能性がある。一方、これが図 2 であった

2） 例えば、余興においては多くの人が参加できるよう簡単に する、競争率の高い賞品を争う場合には難しくする、など。

らどうだろうか。ユーザが潜在的に得られる喜びの 広がりは、図 1 の場合に比べて限定的と言わざるを 得ない。

多彩な作問能力が求められる需要側の事情に対 し、作問作業自体はクイズ作家頼みの高コスト構造 となっているのが現状である。クイズにおいては、 ビジネス化以前にアマチュアクイズ大会の開催にお いても問題の収集に悩んできたという歴史 [2] があ り、需要の増大が供給のひっ迫に拍車をかけている と考えられる。

本稿では、「多様な用途に対して安価に問題を提供する」というクイズビジネスニーズに対しての現実的なアプローチを提案する。

## 1 日付で、新たな中央省庁が発足しました。平井卓也氏が大臣を務め、「誰一人取り残さない、人に優 しいOO化」を掲げる、この省庁は何でしょう。

1. スマート庁

2. デジタル庁

3. IT 庁

図 1 朝 Knock 風クイズの例 [8]

## 1 日付で発足した、新たな中央省庁は何でしょう。

1. .

図 2 朝 Knock 風でないクイズの例

## 2 関連研究

クイズを解答するシステムの研究開発 [9] や、そ のための技術向上を図る取り組み [3] はすでに多数行われており、ここでは取り上げない。

前述の通り、クイズの教育的効果が古くから認識 されていたことから、教育の文脈で学生の理解度を 可視化するツールとしてのクイズを生成する研究が 行われてきた [10]。

奥原ら [11] は、近年の教育で求められている教科・科目間の関連を図った横断的な学習において有効と考えられる、幅広い関連情報を含み全体像をと らえさせるような問題を人手で生成することが高コ ストであることに着目し、Linked Data として与えら れた知識源から問題文と等価な Question Graph を生成する方法を提案した。問題の視点の幅広さ (俯瞰度)を、Question Graph に含まれるべき語句の正答か らの意味的非類似度を使って表現し、俯瞰度が高く なるような工夫がなされている。

Willis ら [12] は、パラグラフを入力すると正答
の候補を抽出しそれを問う問題文を生成する end-to-end システムを提案した。システムはパラグ ラフから正答候補を抽出するモデルと、正答とパ ラグラフから問題文を生成するモデルとからなる。 [12] では、SQuAD データセット [13]を使って前者 を学習し、後者としては学習済みの QG-Net[14]を 用いた。教育の専門家から収集したデータによる検証を通して、システムがベースラインより教育者の 選択に近いことを示した。

一方、クイズには典型的な文としての形式が存在 することから、これを分析することは自動作問に対 し重要な示唆を与える。伊沢 [2] は、早押しクイズ の文型を 25 通りに分類し、その分析を通して、問題 が備えるべき条件と、クイズプレイヤの取りうる戦略について考察した。橋元 [15] は、早押しクイズの 中でも「パラレル問題」と呼ばれる形式に着目し、 エキスパートプレイヤが問題文の途中でも正答でき る理由を考察し、その実装方法を提案した。この中 で、未知の問題を解く能力と、問題を作成する能力 は、本質的に同じであると述べられている。

深層学習に基づく言語生成が広く行われるよう になったことから、その一分野としての質問生成も 勃興しつつある。上で述べた QG-Net もその一つで ある。「朝 Knock」が扱うことの多い時事問題につ いては、Lelks らの研究 [16] がある。ニュース記事 がどれほど人々に理解されているかを計測するた めのツールとしてクイズを用いる、という文脈にお けるクイズの自動生成を扱っており、記事を入力す ると問題文と正答、および外れ選択肢を生成する。 データセットとしては 5,000 記事から人手で作成し た20,000 問のクイズを用いている。アプローチとし ては、要約タスク向けのモデルをクイズデータセッ トでファインチューニングするというもので、シス テムの出力に対する軽微な編集が求められるもの の、ニュースに対する理解度の計測という目的を果 たすことができることを示した。この中で、SQuAD データセットは読解力テストのためのデータセット であって、クイズのためのデータセットとしては必 ずしも適切でないと述べられている。

## 3 学習済み日本語言語モデルのファ インチューニング

上述の [16]のように、大規模コーパスから学習さ れた言語モデルをクイズデータセットでファイン チューニングしてクイズ生成に用いる、というアプ ローチは、日本語については園部による開発例 [17]

がある。これは、Wikipedia の日本語ダンプデータ など約 100GB のデータから学習された日本語 $\mathrm{T} 5$ モ デル [18]をベースにしている。ファインチューニン グの詳細は明らかにされていない。

我々は、園部が $\mathrm{mC4}$ の日本語コーパスなど約 890GB のデータから学習させた日本語 $\mathrm{T} 5$ モデル [19]をべースに、「朝 Knock」を手本にニュース記事

組のデータセット約 220 件によりファインチュー ニングする3)ことを試みた。データの記事と正答を 与えて問題文を出力するタスクにおいて、学習に 用いなかったテストデータ 17 件に対する自動評価指標の値、および、ベースラインとして、ベースの 言語モデルを [18] にした場合4) と、 [17]をファイン チューニングなしにそのまま用いた場合の値を表 1 に示す。表中の「相対長」とは、生成された問題文 の文字列長を ground truth のそれで割った値である。

表 1 自動評価結果

 &  &  &  & BLEU &  \\

{$[18]+$ FT } & 0.615 & 0.396 & 0.548 & 0.235 & 25.9 & 0.999 \\
{$[17]$} & 0.354 & 0.129 & 0.288 & 0.120 & 3.6 & 0.387 \\

生成された問題文に対し、問題文として文法的に 成立しているか、さらに正答を問う意味になってい るかを著者が主観的に評価し、テストデータ全体に 対する割合を計算した結果を表 2 に示す。

表 2 主観評価結果

[17] に比べて独自データセットでファインチュー ニングしたモデルの自動評価スコアが良いのは、テ ストデータに近い訓練データで学習しているので 当然の結果である。[17] は相対長が短い傾向があ り、それが他の自動評価指標に影響している。一方、このタスクを、正答を問う問題文を生成する、 というタスクであると考えると、表 2 からわかるよ うに、[17] の性能は極めて良好である。この結果か ら、[17] のファインチューニングには、正答に対応 する短く簡明な質問文が使われており、それが相対長に表れていると考えられる。

4）本モデルを「[18]+FT」と呼ぶ。
また、[19]+FT と [18]+FT の性能の比較から、ベー スとなる言語モデルの訓練データの規模は、問題文生成の主観評価・自動評価性能に正の相関がある。

[19]+FT の出力結果のうち、正答を問う意味に なっているものの例を表 3、4 に示す。

表 3 ファインチューニング結果の例: 成功

 &  &  \\

これらのうち、表 3 に挙げたものは、クイズ作家 の観点から「朝 Knock」風であると評価されたもの、 4 亿挙げたものはそうでないとされたものである。両者とも指定された正答を問う問題文にはなってい るのだが、前者では、ニュース記事に含まれる情報 が問題文にもバランスよく配され、問題文を読んだ だけで読者にとっての学びがある内容となってい るのに対し、後者は「正答を問う」という最低限の 機能を果たしているに過ぎず、第 1 章で述べた「朝 Knock」に込められた陰の狙いを実現できていない。 こうした課題は、機械学習の観点からは、目的に 合ったファインチューニング用のデータセットを 拡充することで解決されることが期待される。しか し、クイズが多様な場面で用いられる可能性を考え ると、すべての応用において十分な規模のデータ セットが用意できることは考えにくい。また、新規 な応用においては常にデータが不足する状況が予想 される。一方、各応用の「陰の狙い」は仕様化でき る場合があり、その実現は必ずしも機械学習に基づ く必要はないと考えられる。

そこで、本稿では、特定の応用に関して機械学習 モデルの出力が不十分となる場合のケーススタディ として、「朝 Knock」風でない [19]+FT モデルの出力
表 4 ファインチューニング結果の例: 失敗

 &  &  \\

を後処理で改善する方法を提案する。

## 4 後処理

表 3、4 の比較からわかるのは、後者ではニュー ス記事に含まれる情報が問題文に十分に活かせてい ないことである。これを緩和する方法として、2 通 りの後処理を考案した。なお、開発にあたっては、日本語 NLP ライブラリ GiNZA[24] を用いた。

## 4.1 正答の連体修飾節の追加

問題文の情報を増やす方法として、正答に関す る情報を付加することが考えられる。これは、「朝 Knock」の狙いからすれば読者の学びを増やすこと であるし、他の目的のクイズにおいてはヒントを与 えることとも考えられる。具体的な方法の一つとし て、ニュース記事から正答の連体修飾節を抽出し、問題文中で正答に対応する語句の前に置くことが考 えられる。たとえば、表 4 左側の例では、正答「レ トルトカレー」の連体修飾節として「水谷をパッ ケージに起用した」が抽出される。その結果、図 3 に示す問題文が生成される。

## 4.2 導入文の追加

正答以外の語句に関する情報の付加も、読者の学 びを増やしたりヒントを与える効果を持ちうる。具
7 月 26 日、食肉加エのフリーデンが品切れと なった、水谷をパッケージに起用した商品は何で しょう?

図 3 連体修飾節の追加例

体的な方法の一つは、正答に関連する固有表現に関 する情報を表す文を、問題文への導入文として前置 することである。導入文の生成は本質的には要約で あり、既存の要約生成手法を用いることができる。

本研究では、関連固有表現が与えられるという前提で、石原らによるニュース記事要約 [25] で用いら れた抽出型要約の手法を参考に、関連固有表現を含 むニュース記事から導入文を生成する方法を実装し た。[25] は、MMR による文選択と TF-IDFを用いた 文圧縮からなる。本研究では、より多くの情報を付加するという観点から、文選択は関連固有表現を含 む文のうち最も長いものを選択する。文圧縮につい ては、選択された文の構文木から評価関数に従って 部分木を選択するのは [25] と同様であるが、評価関数として TF-IDFではなく、関連固有表現との関連度を利用する。

たとえば、表 4 左側の例では、関連固有表現「水谷」に対して導入文「東京五輪・卓球混合ダブルス で、金メダルを獲得した水谷隼」が抽出される。体言止め文についてのヒューリスティックを適用した 結果、図 4 に示す問題文が生成される。

## 東京五輪・卓球混合ダブルスで、水谷隼が金メダル を獲得しました。さて、7月 26 日、食肉加エのフ リーデンが品切れとなった、水谷をパッケージに起用した商品は何でしょう?

図 4 導入文の追加例

## 5 おわりに

クイズビジネスにおける多様な自動作問へのニー ズと、学習済み言語モデルのファインチューニング に基づくアプローチの現状と課題、および後処理に よる現実的な改善方法について述べた。課題を解決 する方法は本稿で挙げた方法以外にも多数あり、例 えばクイズコミュニティの協力を得てデータセッ 卜を拡充することや、後処理で改善されたクイズを データセットに含めることもあり得るであろう。本稿のような研究が、クイズビジネスの発展に自然言語処理技術が貢献する上での一つのヒントとなるこ とを期待する。

## 謝辞

「朝 Knock」の狙いについて解説頂いた QuizKnock 様に感謝いたします。

## 参考文献

[1] テレビ王国. https://www.tvkingdom.jp/.

[2] 伊沢拓司. クイズ思考の解体. 朝日新聞出版, 2021.

[3] 鈴木潤ほか. ライブコンペティション:「AI 王〜ク イズ AI 日本一決定戦〜」. 自然言語処理, Vol. 28, No. 3, pp. 888-894, September 2021.

[4] 伊沢拓司ほか. ユリイカ 2020 年 7 月号, 特集＊クイ ズの世界. 青土社, 2020.

[5] 大武美保子ほか. 回想法から見た共想法の考察と連携の可能性. 第 24 回人工知能学会大会論文集, 2010.

[6] 精神科医・森隆徳が語る医療に活きるクイズ. http://www.qbik.co.jp/contents/mori_001/, 2019.

[7] 朝 knock. https://web.quizknock.com/tag/\%E6\%9C\% 9DKnock.

[8] 朝 knock. https://web.quizknock.com/ daily-sep2-21, September 2021.

[9] 金山博, 武田浩一. Watson: クイズ番組に挑戦する質問応答システム. 情報処理, Vol. 52, No. 7, pp. 840-849, 2011.

[10] Azevedo P., et al. Exploring NLP and Information Extraction to Jointly Address Question Generation and Answering. In AIAI2020: Artificial Intelligence Applications and Innovations, pp. 396-407, 2020.

[11] 奥原史佳ほか. Linked Data を用いた俯瞰的な多肢選択式問題自動生成手法の提案. 情報処理学会論文誌, Vol. 60, No. 10, pp. 1738-1756, 2019.

[12] Willis A., et al. Key Phrase Extraction for Generating Educational Question-Answer Pairs. In L@S '19: Proceedings of the Sixth (2019) ACM Conference on Learning, pp. 1-10, 2019.

[13] Rajpurkar P., et al. SQuAD: 100,000+ questions for machine comprehension of text. In EMNLP 2016: Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 2383-2392, 2016.

[14] Wang Z., et al. QG-Net: A data-driven question generation model for educational content. In L@S '18: Proceedings of the fifth annual ACM conference on learning at scale, 2018.

[15] 橋元佐知ほか. 競技クイズ・パラレル問題の基本構造と文型. 言語処理学会 第 27 回年次大会, pp. 1420-1424, 2021

[16] Adam D. Lelkes, Vinh Q. Tran, and Cong Yu. Quiz-Style Question Generation for News Stories. In Proceedings of the Web Conference 2021 (WWW '21), 2021.

[17] 園部勲. deep-question-generation. https://github. com/sonoisa/deep-question-generation.

[18] 園部勲. t5-base-japanese. https://huggingface.co/ sonoisa/t5-base-japanese.

[19] 園 部 勲. t5-base-japanese-mC4Wikipedia. https://huggingface.co/sonoisa/ t5-base-japanese-mC4-Wikipedia.

[20]「あつまれどうぶつの森」に“ラジオ体操” が登場！ joy-conを使って体を動かすことも可能. https://game.watch.impress.co.jp/docs/news/ 1359018.html, October 2021.

[21] 志村けんさんの半生をドラマ化 主演・山田裕貴、脚本・演出は福田雄一「志村けんとドリフの大爆笑物語」.https://thetv.jp/news/detail/1055394/, October 2021.

[22] 卓球金メダルで「水谷隼カレー」人気 通販サイト で品切れ...メーカー「リオ以上の反響になるので は」. https://www.j-cast.com/2021/07/27416975. html?p=all, July 2021.

[23] 木星トロヤ群へ探査機 太陽系形成過程の解明目指 す—NA S A. https://www.jiji.com/jc/article? $k=2021101600442 \& g=i n t$, October 2021.

[24] 松田寛. GiNZA - Universal Dependencies による実用的日本語解析. 自然言語処理, Vol. 27, No. 9, September 2020.

[25] 石原祥太郎, 澤紀彦. MMR による文選択と TF-IDF による文圧縮を用いたニュース記事要約. 第 35 回人工知能学会大会論文集, 2021.


# 民事判決のオープンデータ化へ向けた 機械処理による判例仮名化の検証

久本空海城戸祐亮津金澤佳亨僖
株式会社 Legalscape
info@legalscape. co. jp

## 概要

民事判決を公開するためには、個人情報や秘匿情報への配慮が課題となっており、それらの匿名加工 （仮名化）が必要とされる。しかし、大量の判決全 てを人手のみで匿名加工することは現実的に難しい。

我々は判例仮名化を固有表現抽出問題の拡張と捉 え、その自動処理の実現性を検証した。実際の判例 データを用いた実験により、事前学習済み言語モデ ルを使った系列ラベリングで一定以上の性能（適合率 $93.4 \%$ 、再現率 $94.5 \%$ ）が実現可能なことを確認し た。加えて、人手修正の方向性についても検討した。 なお、当発表に関する情報はウェブ上の記事とし ても公開している。

## 1 はじめに

法治国家において判例（裁判所による過去の法律的判断) は、法的安全性のために重要な情報である。 またそのようなデータは、様々な研究や新たなサー ビスの開発にも有益なものである。

日本国における判例は現状、裁判所によって社会的関心が高いと判断されたものがウェブサイト掲載 されているほか、法律系出版社などが一部を独自に 収集し公開している。町村の調查[1]によれば、2017 年に全国の地方裁判所の民事・行政事件の処理済み 件数は約 16 万件だったが、裁判所がウェブ掲載した 判決数はそのうち 44 件（0.03\%）のみであり、民間企業である Westlaw Japan の判例データベースでも 5,033 件（3.02\%）にすぎない。

日本国における民事司法制度改革の流れから 2020 年 3 月、「民事判決のオープンデータ化検討プ ロジェクトチーム (PT) ii」が日弁連法務研究財団 により設置された。これは、政府による民事裁判手
^{i}$ https://note.com/legalscape/n/nf6341940deaa

iihttps://www.jlf.or.jp/work/hanketsuopendata-pt/
}

続き IT 化の取り組みに併せ、民事判決を電子化し公開することを検討するプロジェクトである。この取 り組みには、日本弁護士連合会の関係者や法律系出版社、法学研究者などが構成員として関わり、加え てオブザーバーとして内閣官房や法務省、最高裁も 参加している。

判例のオープンデータ化へ向けて大きな課題とな るのが、個人情報や秘匿情報の取り扱いである。セ ンシティブな情報が含まれうる判決文は、そのまま の形で公開することは難しく、これらの匿名加工 (仮名化）が必要となる。

日本において年間数十万件とも言われる民事判決 の全てを、人手のみで匿名加工することは現実的に 難しい。そのときに、その作業を自然言語処理技術 で（半）自動化するといらことが考えられる。

我々は判例の仮名化を固有表現抽出問題の拡張と して機械処理による検証を行い、一定以上の性能が 実現可能であることを確認した。当発表では各国の 状況や、実際の日本語判例文を用いた実験、そして それを踏まえた民事判決オープンデータ公開を実現 するに当たっての課題について述べる。

## 2 判例の仮名処理

判例の匿名加工処理においては、単に個人情報や 秘匿情報など文中のセンシティブな部分を“黒塗り” すれば十分というわけではない。例えば「原告山田」「被告佐藤」「佐藤が〜」といった文中箇所を、一律に「原告口」「被告田」「ロが〜」と黒塗りして しまうと、各箇所がどの実体を指すかがわからず、閲覧者にとっての利用価値が損なわれてしまう。そ のために、それらが同一実体であることを示すため に“仮名記号”を割り振り「原告 $X\rfloor 「$ 被告 $Y\rfloor 「 Y$ が〜」などと置き換える処理が施されることが多い。 これらの処理を総称して仮名化と呼ぶ。

裁判所や法律系出版社などから現在公開されてい る判例は、人手作業による仮名化が行われている。

しかし、もしこれが年間数十万件というスケールに なると、それら全てを人手のみで実施するのは現実的ではない。そこで検討したいのが、自然言語処理技術の活用による（半）自動化である。

## 2.1 他国での取り組み

米国においては既に Public Access to Court Electronic Records (PACER) iii という公的データ ベースが整備されており、典型的には裁判後 24 時間以内に情報が閲覧可能となる。これは、多くにおい て仮名化がなされていないために可能だと考えられ る（ただし刑事事件では一部の個人情報が除去・編集される ${ }^{\text {iv }) 。 ~}$

多くの国では日本と同様に仮名化の問題が存在す る。近年、その機械処理に取り組んでいる事例もい くつか公開され始めているが、未だどの国において もその仕組みが大規模に実運用されるまでは至って ないようである。

フィンランドでは GDPR（EU 一般データ保護規則） に従うため、統計的手法とルールベース手法を組み 合わせた半自動の個人情報匿名加工システムの開発 が研究機関と法務省により進められている[2]。デン マークからは、法律系出版社による判例の自動匿名加工に関する報告がある[3]。ウルグアイでも、法文書の自動匿名加工に関する検証が報告されている [4]。フランス最高裁判所からは、判例に対する固有表現抽出の精度改善について報告がある[5]。また、匿名加工に直接利用されてはいないが、法領域での 固有表現抽出についてドイツからの報告がある[6,7]。

## 3 日本語判例仮名化の実証実験

当節では 2020 年度に前述の PT で実施した機械処理 による判例仮名化の検証について述べる。

図 1 機械処理の流れ

## 3.1 問題設定

今回の検証では機械処理による仮名化を「1.対象語句の特定」と「2. 語句属性の特定」という 2 つの ステップに分けて処理を行った（図 1）。

1.は、いわゆる固有表現抽出の問題である。この とき、仮名が「漏れた」時にはプライバシーリスク に影響し、逆に仮名「し過ぎた」時には、閲覧者の 利用性や権利一影響する。またこれは単純な分類問題と違い「部分的な誤り（部分的な正解）」もあり える。このようなケースは、例えばもし機械処理後 に人手修正をするのであれば、その生産性へ影響す ることが想定される。これらの観点を踏まえて、単 に「精度 95\%」などというのではなく、適合率・再現率それぞれの値や、完全一致と部分一致での性能 の違いなどを確認していく必要がある。

2.は、関係抽出やエンティティ・リンキング、共参照解析といったタスクと類似したものであり、仮名対象語句ごとに、適切な仮名記号を選択する処理 である。そのとき単に同じ文字列を同じ記号とする のではなく、指し示す実体や、語句の種類を考慮す る必要がある。例えば、同じ「山田」という語句で も、それが同性の別人物であれば別記号を付与する 必要がある。他にも、住所が本籍かそれ以外かによ って仮名化の粒度を区別することもある。これは仮名基準次第であり、今回はある一定の基準をもとに 検証したが、法的要件や利用ニーズによって基準は 変化する。この基準については別途 PT で、法学者 らなどにより議論が進められている。

## 3. 2 データ

今回の検証では、実際の判例原文と、それを人手 により仮名化した文書のペア、計 1,642 件を用意し た。そのらち 100 件ずつを検証セット、評価セット とし、残り 1,442 件（約 15 万行、 1,200 万文字）を モデル学習およびルール作成に利用した。

## 3. 3 手法

予備調查を踏まえ当検証では最終的に、処理ステ ップ 1.にはファインチューンした BERT [8]、2.には ルール処理を用いて仮名化を実施した。

処理ステップ1.について、法文書は一般的な自然言語文書に比べて規則的に書かれていることからま ずはルール記述による処理を試みたが、今回試した
範囲では高い性能には至らなかった。次に $\mathrm{spaCy}^{v}[9]$ による固有表現抽出モデルの学習と検証を行ったが、結果として再現率 $85 \%$, 適合率 $92 \%$ 程度に留まった。加えて spaCy モデルでは言語資源として法律用語一覧（約 1.2 万語）の活用も試みたが、性能への影響 は確認できなかった。これには、そもそも対象判例 データにおいて約 $0.9 \%$ の語のみが該当する法令用語であること、また法律用語自体が仮名対象になる ことはないこと、などが理由として考えられる。

上記の予備検証を経て、最終的に利用したのは次 のようなモデルである。ベースには東北大学による 日本語の事前学習済み BERT (Whole Word Masking) viを用い、それを別途用意した判例文書（仮名後の み) 約 2.5 万件により MaskedLM で 10 万ステップの 継続学習を行った。その後、学習用の判例データに より固有表現抽出モデルをファインチューニングし た。また BERT モデルに加えて、少しの簡単な後処理（当事者セクションのルール解析による原告・被告名の把握、日付や電話番号のパターンによる抽出、 など）も行った。

今回は時間やリソースの都合上、各設定で一つの モデルのみを学習した。異なる初期値から複数のモ デルを学習することによる平均値の確認などをした わけではなく、あくまでも大まかにこの問題設定と 実データでどの程度の性能が達成可能か、どのよう な誤り傾向になるかを確認したのみであることに注意が必要である。

同様に今回は、最高性能の追求を十分に行ったわ けではない。例えば、文字単位ではなく単語単位 BERT の利用や、CRF 層の追加、BERT 以外の言語 モデルの導入などにより、性能向上が達成できる可能性がある。

処理ステップ 2.（語句属性の特定）は、統計的モ デルではなく、基本的にルールベースで実施した。本来、関係抽出や共参照分析といった問題は容易な ものではないが、法律文書においては曖昧な記述は 基本的に無く「山田太郎（以下「山田」という。）」と明示的に述べられているなど、ルールによる処理と相性が良いと言える。今回は具体的な処理として、前述したような明示的記述の利用や、形態素解析器に よる人名フルネームの姓・名への分割、ひらがなや カタカナといった異表記での対応付けなどを行った。
^{v i}$ https://huggingface.co/cl-tohoku/bert-base-japanese-char-whole-word -masking, 簡単の為に文字単位でのモデルを利用
}

## 3. 4 結果

## 表 1 固有表現抽出の性能

処理ステップ 1.（対象語句の特定）の性能を表 1 に示す。のべ仮名箇所数べースで、適合率 $93.4 \%$ (部分正解含め 96.4\%）、再現率 94.5\%（部分正解含め 96.8\%）となった。一方、仮名単語の種類数ベース ではより低い性能となっており（適合率は 5.8 ポイ ント、再現率は 2.7 ポイント低下）、これは出現回数が多い単語における誤りが比較的少ないことを示 している。全体としては約 5 割の判例は修正を全く 必要とせず、必要とする判例でも平均 7 箇所、 3 単語の修正に留まるという結果になった。

## 図 2 学習データ量と固有表現抽出モデル性能

また、学習データ量を減らしたモデルでは、25\% （361 件）程度で最大量（1,442 件）と同程度の性能 に至った（図 2）。単に学習データ量を増加させて も、ここから性能が大幅に向上することは見込めな い可能性が示唆される。この背景には、そもそも法律文書は規則的に記述されていることや、難しい事例は基本的に特殊な固有名詞であって判例データが 増加してもそれらのカバレッジが上がるわけではな いことなどが想定される。

そして1.を完全に正解できた前提では、処理ステ ップ 2.（語句属性の特定）は精度vii98.0\%となった。

## 3. 5 エラー事例

ここでは、どのような誤りの類型があったかの偽事例を示す。これらはあくまで実際の誤り事例を参考にして人為的に作成した疑似的な例であり、実際 の判例文は一切掲載していない。

表 2 固有表現抽出における誤りの疑似例

 \\

処理ステップ 1.（対象語句の特定）での誤り例を 表 2 に示す。人名や企業名に関しては、それが一般名詞ともなり得る場合の誤りが多く見られた。また、 インターネット上でのハンドルネームやスレッド名 は多様に表記され、難易度が高い。住所はスパンが 長くなり、完全な誤りは稀だが部分的な誤りが見ら れた。数値表現は、電話番号などのようにパターン がある程度既知でない場合の誤りが多かった。生年月日は、それが単なる日付表現かどうかは文脈から 汲み取る必要があり誤るケースがあった。

処理ステップ 2.（語句属性の特定）では、以下に 述べる 4 つの誤り類型が確認された。
- 明示的ではない略称：「東京タナ力病院」～「夕 ナ力病院」

-一意に特定できない人名：「田中太郎」「田中二郎」が登場する判例での曖昧性のある「田中」
- 同表記だが区別される名前：「田中が所有する 田中ビル」 $\rightarrow 「$ A が所有する $\underline{B} ヒ ゙ ル 」$
-その他、明示的ではない別表記: ニックネーム （「田中直樹」 $\rightarrow$ 「ナオ」） や（ネットネーム （「田中」 $\rightarrow$ 「tanaka@net」）など

このステップ 2.での誤りは、1.と異なりプライバ シーリスクには影響しない。一方で閲覧者の利便性 には影響しうるが、現在の簡単なルール処理でも 100\%に近い精度が達成できている。そのため、判例 の仮名化においては、ステップ 1.がより難しく重要 な問題だと言える。

## 4 判決オープンデータ化へ向けて

前節で述べた初期検証により、機械処理で 90\%以上の自動仮名化は達成しうることが確認された。

しかし、個人情報への配慮や閲覧者の利便性を考 えると、高性能だから実用可能であるとは必ずしも 言えない。そして機械で処理する限り、ここから性能改善を重ねても 100\%を保証することはできない。 そのため、完全な仮名化には人間のチェックが不可久となるviii

完全な自動化ではなく、機械出力の活用による人間作業の高速化によって大量のデータを処理すると いう方向性が、オープンデータ化へ向けて PT で検討している一案である。そのためには、機械処理の 適合率（仮名過多）を妥協してでも再現率（仮名漏 れ）の誤りを減らすことが有用かもしれない。また、 モデルへの人手修正の適切なフィードバックが効果的かもしれない。加えて、人間が作業しやすいツー ルの開発も非常に重要だと考えられる。

前述した検証結果を踏まえ、我々は判決のオープ ンデータ化へ向けて、機械出力を活用した効果的な 人手修正作業の検証などに引き続き取り組んでいる。

## 5 おわりに

当論文では、民事判決の公開を実現するために必要な仮名化の概要や、各国の状況を解説した。また、 それを固有表現抽出問題の拡張としたとき、実際の 判例文を用いた検証で一定以上の性能（適合率 93. 4\%、再現率 $94.5 \% ）$ が実現可能なことを示した。実際に日本国で民事判決をオープンデータ化する には、人手による機械出力の修正や運用スキーマの 検討など様々な課題があり、その実現へ向けて更な る検証や議論を進めている。
 な修正を必要としない判例公開スキームも検討の余地がある

## 謝辞

当検証の実施にあたって、民事判決オープンデータ 化 PT の構成員にサポートと助言を頂いた。また法律分野での自然言語処理について、名古屋大学の外山勝彦教授、小川泰弘准教授に助言を頂いた。

## 参考文献

1. 民事判決 ネット上で提供 官民で検討、23 年度に も.日本経済新聞，2020 年 6 月 7 日. https://www.nikkei.com/article/DGXMZO60029090V00 C20A6000000.

2. Oksanen, A., Tamper, M., Tuominen, J., Hietanen, A., \& Hyvönen, E. (2019). ANOPPI: A Pseudonymization Service for Finnish Court Documents. JURIX.

3. Povlsen, C., Jongejan, B., Hansen, D.H., \& Simonsen, B.K. (2016). Anonymization of Court Orders. 2016 11th Iberian Conference on Information Systems and Technologies (CISTI), 1-4.

4. Garat, D., \& Wonsever, D. (2019). Towards De-identification of Legal Texts. ArXiv, abs/1910.03739.
5. Barrière, V., \& Fouret, A. (2019). May I Check Again? - A simple but efficient way to generate and use contextual dictionaries for Named Entity Recognition. Application to French Legal Texts. NODALIDA.

6. Leitner, E., Rehm, G., \& Schneider, J.M. (2019).

Fine-Grained Named Entity Recognition in Legal Documents. SEMANTiCS.

7. Leitner, E., Rehm, G., \& Moreno-Schneider, J. (2020).

A Dataset of German Legal Documents for Named Entity Recognition. LREC.

8. Devlin, J., Chang, M., Lee, K., \& Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. ArXiv, abs/1810.04805.

9. Honnibal, M., Montani, I., Van Landeghem, S., \&. Boyd, A. (2020). spaCy: Industrial-strength Natural Language Processing in Python.

10.5281/zenodo. 121230 .


#
より出力されたコードである. 自由回答は品詞付き 形態素を素性番号に変換するが, 同じ形態素であっ ても, 「従業先事業の種類」と「仕事の内容」のどち らに出現したかにより素性番号が異なる.

自動コーディングでは, 第 1 位に予測された結果 に対し, 複数の分類スコア (分離平面からの距離)を 利用し,最も高いレベル A から最も低いレベル $\mathrm{E}$ ま で5段階の「確信度」を付与する. ここで, rank1, rank2 は, それぞれSVMにより第 1 位, 第 2 位に予測され たコードに付随して出力される分類スコアを示す. また, $\alpha, \beta$ は間値で, 2005 年 SSM 調查データセット (12,500 事例) を用いた実験により， $\alpha=3, \beta=0.4$ と した.

A : rank1>=0 かつ rank2 $<0$, rank1-rank2 $>=\alpha$

B : rank1>=0 かつ rank2<0, rank1-rank2< $\alpha$

C : rank $1>=0$ かつ rank $2>=0$

D : rank1<0 かつ rank2 $<0$, rank1-rank $2>=\beta$

E : rank1<0 かつ rank2 $<0$, rank1-rank2 $<\beta$

確信度ごとの正解率 (全事例中, 正解であった事例の占める割合) と出現率 (全事例の中で 該当する 事例が出現した割合）は, 自動コーディングシステ ムが処理した 4 種類の国内・国際標準の職業・産業 コーディングの実験の結果, コーディングの種類や コードの数（約 60 個〜400 個）が異なっていても，安定して「レベル A（約 95\%）>>レベル B（約 70～ $90 \%$ ）>>レベル C>レベル D>>レベル E（約 20\%〜 35\%）」の順で，レベル E は際だって低かった[4].

#
# 2. 3 情報不足の判定

「回答が情報不足」の場合は正解率が低いと考え,職業コーディングにおいては，「確信度が最も低い レベル」を「確信度レベル $\mathrm{E}$ に限定し, これが付与 された場合を情報不足であると判定する。

## 2.4 追加情報の提示と収集

追加情報の提示は, 次の手順による.

あらかじめ 過去の事例から, 自動コーディング システムが予測した結果が不正解であった場合の正解コードを調査し, 混同されやすいコード対の情報 として「不正解コードー正解コード対応表」を作成 しておく.またこの対応表をもとに，混同しやすい 職業を記述した説明文の事例から, 両者を弁別する
のに有効な語を抽出した「不正解コードー正解コー ド并別語表」も作成しておく.

自動コーディングシステムにより第 1 位に予測さ れたコードが不正解であると想定し，これをキーに

「不正解コードー正解コード対応表」を検索し, 対応する正解コードを見つける. 次に, 正解コードと 不正解コードのペアにより「不正解コードー正解コ 一ド弁別語表」を検索し, 該当するぺアの弁別語を 選択肢として提示する.

図 1 は, 初期回答が自動コーディングにより,コ 一ド「628」(鋳物工、鍛造工、金属材料生成作業者) と予測された場合, 「不正解コードー正解コード対応表」により，対応するコードとして，「633」（一般機械器具組立工・修理工），「677」（電気工事・電話工事作業者）「5503」（機械・電気・化学技術者）を見つけ，「不正解コードー正解コード并別語表」により，「628」とこれらのコードとの弁別語で ある「一般機械」,「電気工事」と「電話工事」,「電気技術者」を選択肢として提示した例である.

今回選択肢として提示する語は, [4]により提案さ れた 4 種類のうち最も有効であった方法を用いたが，提示方法の変更は容易である。

図 1 選択肢提示の例（コード「628」の場合）

この選択肢の中から回答者に 1 個以上を選んでも らい, 初期回答に追加する. その際, 適切な選択肢 がない場合またはある場合でも，追加したい情報が あれば，次画面で自由回答を入力できる。

STEP4 で収集された語を初期回答に追加して STEP2 に戻り, 再度自動コーディングを行う. 今回 の実装では, STEP2への戻りを 1 回のみとしたが，繰 り返しの条件について検討する必要がある.

## 3 実験

今回は対面でデータ収集を行っていないため，提案システムのうち情報不足と判断した際に追加のキ ーワード入力を求める部分の有効性を調查する．調
^{\mathrm{i}}$ 自由回答ではなく選択肢とした理由は，回答空間 を大きくしないためである.
}
查は情報を追加した回答と初期回答に対するコーデ イングの状況の比較により行なう。両者の比較は, コーダだけでなく自動コーディングについても行う。 コーダは C 大学「社会調查法」受講生 6 名 (3 年生）で，事前にコードの定義マニュアル[6]を与え, 1 時間のレクチャーを行ったが，大規模調查でコーダ を務める大学院生や研究者ほどには熟練していない.

今回の実験ではすでに正解が分かっているため,回答者が追加すると思われる情報を選択または入力 したため, 実際より正解率が高くなる可能性がある.

## 3. 1 実験設定

実験では, 訓練事例を 2000 年〜2006 年までの JGSS データセット（計 33,711 事例）, 評価事例を JGSS-2008 データセットのうち, 確信度レベルが E と判定された 201 事例（全体の 7.6\%）とした.

以下では, 初期回答を $\mathrm{A}$, 情報を追加した回答を B とよぶ. 情報の追加は, 事例ごとに正解コードを 参照し, 該当する選択肢が提示された場合はこれを チェックし，ない場合は自由回答を入力する方法で 行った. 評価事例は, 寸べての事例についてデータ セット A とデータセット B の 2 種類を用いた. データセット $\mathrm{A}$ ，データセット $\mathrm{B}$ をそれぞれ 6 つ に分割し, サンプル番号順に A1～A6, B1～B6 と名付け, 各々のデータセットについて 1 名がコーディ ングを担当した. 作業の時間帯を前半と後半に分け,前半は 3 名が $\mathrm{A} 1 \sim \mathrm{A} 3$. 別の 3 名が $\mathrm{B} 1 \sim \mathrm{B} 3$, 後半は 前半で $\mathrm{A}$ を担当した 3 名が B4Ｂ6, B を担当した 3 名が A4～A6 を担当した. この作業をデータセット を変えて 2 回行ったため, どのデータセットも異な る 2 名がコーディングを行ったことになる.

コーダには，事例ごとに，「職業コード」と「スト レス度（「1：ほとんどなし（低）」「2：やや感じ た（中）」「3: 非常に感じた（高）」）」，また「1 つのデータセットを処理した開始時刻と終了時刻」 の記入を依頼した。

評価尺度は，コーダについては，正解率，ストレ ス度，処理時間（分）を用い, 1 回目と 2 回目の平均值で評価する。ただし，今回のコーダは熟練してい ないために, 回を重ねる効果が生じる可能性もあり, 1 回目と 2 回目の比較も行う.

自動コーディングについては, 正解率, 提示機能
の有効性を評価する。提示機能の評価は, Bにおける 正解が，システムが提示した選択肢によるものか，自由回答によるものかを調査する。

## 3.2 実験結果

提案システムは，データセット $\mathrm{A}$ に対する自動コ 一ディングの結果, 各事例に対して平均 2.7 個（最大 7 個，最小 2 個）の選択肢を提示できた ${ }^{\mathrm{ii}}$.

## 3.1.1 コーダの正解率

コーダの正解率は, 表 1 に示すように, データセ ット B では平均 $52.7 \%$ (1 回目 $53.7 \%, 2$ 回目 $51.7 \%$ ) で, データセット $\mathrm{A}$ より平均 16.7 ポイント (1 回目 18.4 ポイント, 2 回目 14.9 ポイント）向上した. 1 回目と比較すると, 2 回目は平均 3.9 ポイント向上して いるが, データセット A は 1.5 ポイント向上, デー タセット B は 2.0 ポイント低下しているため, 2 回目 の効果は考えられず，正解率向上におけるデータセ ット B の有効性が認められる。

表 1 コーダの正解状況（平均） 単位: 事例数

## 3.2. 2 コーダのストレス度

コーダのストレス度は，コーダ自身による評価の ために個人差があるが, 表 2 に示すように, データ セット B で 1 つの事例につき平均 0.25 (1 回目 0.30 , 2 回目 0.19）低下した. 1 回目と比較すると, 2 回目は 平均 0.11/事例低下したが（データセットＡは $0.13 /$事例, データセット B は 0.02 /事例)，データセット 間の違いほど大きくないため, ストレス低下におけ るデータセット B の有効性は認められる.

## 3. 2.3 コーダの処理時間

コーダの処理時間は, データセット B で平均 0.3 分/事例（1回目 0.4 分, 2 回目 0.1 分）短縮された. 1 回目と比較すると, 2 回目は平均 0.2 分/事例ほど短縮され（データセットＡは 1.1 分/事例，データセッ ト B は 0.8 分/事例）, 2 回目の効果とデータセット による効果の違いは 0.1 分 (6 秒) 程度である. 職業 コードは 1 つに絞る必要があるため, 情報が増えた ことで判断に迷った可能性が考えられる.

## 3. 2.4 自動コーディングの正解率

システムの正解率は，表 3 に示すように，データ セット A 49.3\%, データセット B は 58.7\%で，い ずれもコーダより高いが，データセット B で向上し た程度は 9.5 ポイントでコーダの方が高い.

表 3 システムの正解状況

単位: 事例数

## 3. 2.5 提案システムの提示機能

コーダ，自動コーディングのいずれにおいてもデ 一タセット B で正解率が向上したが，これには回答者が追加した自由回答による効果もあるため，提案 システムが適切な選択肢を提示したかどうかを評価 するには，データセット B で追加された情報が選択肢であるのか否かを調査する必要がある. データセ ット B では, 選択肢のみが 97 事例 (うち 8 事例は選択肢のみを 2 個追加），自由回答のみが 95 事例，選択肢と自由回答の両方が 7 事例，どちらも追加なし

（初期回答と変わらず）が 2 事例で，選択肢と自由回答はほぼ同数であった.

この状況と, 自動コーディングとコーダの場合に おける正解状況との関連を報告する。まず，自動コ ーディングにおいては，データセット B で正解であ った 118 事例（表 3）に追加された情報は，表 4 に示 すように，選択肢のみが 51 事例 (43.2\%)，自由回答 のみが 64 事例 (54.2\%)，両方が 3 事例（2.5\%）で，選択肢より自由回答の方がやや多い.

表 4 に追加された情報が選択肢のみか自由回答の みか両方かを, 2 つのデータセットにおける正解／不正解の状況ごとに示す. 同様に, コーダにおける 状況を表 5 に示す.表 4 自動コーディングが正解した場合の追加情報

表 5 コーダが正解した場合の追加情報（平均）

データセット $\mathrm{B}$ に追加する情報を選択肢に限定し た場合の正解率は，提案システムは 41.8\%であるが， コーダは平均 $29.1 \%$ (1 回目と 2 回目がほぼ同じ值) と大きく低下している. 該当する選択肢がない場合 は自由回答で補うことができ，その有効性も示され たが，今後の課題として，選択肢の提示機能を向上 させる改善を行う必要がある.

## 4 おわりに

本稿では。社会調査において収集される自由回答 に分類に必要な情報が含まれているか否かについて，職業コーディングを対象に，機械学習を適用した自動コーディングにより調査現場で判断し，不足する と判定した場合は，侯補の情報をその場で回答者に 提示して追加してもらうシステムを提案した。提案 システムは，コーダにおいても自動コーディングに おいても有効性を示した。

今後の課題は次の 3 つである. 1 つ目は，提案シス テムの改善で，例えば，追加情報収集の終了条件の 設定や選択肢提示機能の向上を行う必要がある. 2 つ目は，提案システムに対する調査員や回答者によ る評価である。しかし，昨今の状況から，調査員が 回答者と対面する現地調査が困難となり，これに代 わるものとして, オンライン調查の研究が進み[7],以前と違って学術調査においても多く利用されるよ らになってきた. 提案システムは，オンライン調査 への対応が容易であると考えられるため, 3 つ目と してこの拡張も検討したい.

## 謝辞

2005 年 SSM 調查データの利用に関して, 2005 年

SSM 調査研究会の許可を得た。

日本版 General Social Surveys (JGSS) は, 大阪商業大学 JGSS 研究センター（文部科学大臣認定日本版総合的社会調査共同研究拠点) が, 東京大学社会科学研究所の協力を受けて実施している研究プロ ジェクトである.

## 参考文献

1. 原純輔, 海野道郎. 社会調査演習. 東京大学出版会, 1984.

2. 轟亮, 杉野勇. 入門 - 社会調查法. 法律文化社, 2010.

3. 社会学における職業・産業コーディング自動化シ ステムの活用. 高橋和子, 多喜弘文, 田辺俊介, 李偉. 自然言語処理, 2017 年, 第 24 巻第 1 号. 135-170. 4. 機械学習を適用した自由回答収集時における有効情報追加システムの構想一職業コーディングを例 として一. 高橋和子. データ分析の理論と応用, 2018 年, 第 7 巻第 1 号. 21-42.

5. 機械学習の適用による社会調査現場での追加情報収集支援システム，高橋和子，奥村学，鈴木泰山，清家大嗣. 言語処理学会第 26 回年次大会論文集, 2020.

6. 1995 年 SSM 調査研究会. SSM 産業分類・職業分類（95 年版）修正版. 1995 年 SSM 調查研究会, 2006. 7. 大隈昇, 鳮真紀子, 井田潤治, 小野裕亮. ウェブ 調查の科学 The Science of Web Surveys 調查計画か ら分析まで. 朝倉書店, 2019.

## A 付録

STEP1 初期回答入力用画面の例画面の質問文とプルダウンで表示される選択肢は, 2025 年 SSM 調査の調査票における「職業情報」と「学歴」を 尋ねる部分を Web 用に作成し直した．入力を完了し「次 に進む」ボタンを押すと，確認画面が表示され，サーバ に送信される。記入漏れがある場合は入力を促すメッセ ージが表示される.

付録図 1 初期画面

付録図 2 ID と雇用形態（「地位」）入力

付録図 3 「従業先の事業」「仕事の内容」入力

付録図 4 従業員数（「従業先の規模」）入力

 \\

付録図 6 「学歴」入力