# 機械翻訳における単語埋め込み共有時の問題の 言語埋め込み導入による緩和

毛剣楠 1 松本忠博 1
1 岐阜大学 大学院
z4525087@edu.gifu-u.ac.jp tadggifu-u.ac.jp

## 概要

単語埋め込みの共有はニューラル機械翻訳モデル のパラメータ数を大幅に削減し，翻訳精度を向上さ せる. 本研究では, 単語埋め込み共有時に両言語間 の共通単語が部分的に負の影響を与えることを予備実験から予想し，その緩和ために言語埋め込みを導入して単語埋め込みに加えることを提案する。これ により 2 言語間の共通単語の埋め込みはエンコー ダーとデコーダーで異なる分布を示した，日中，日英言語ぺアの翻訳に対して提案手法を適用したとこ ろ，言語や言語埋め込みの付与方法にもよるが概ね 翻訳精度が向上する傾向が見られた.

## 1 はじめに

強力なアーキテクチャ [1] の登場により，ニュー ラル機械翻訳（NMT）が最も有望な機械翻訳方式 となっており，それに伴って，NMT によるGPUメ モリの必要性が高まっている．従来の NMT モデル $[1,2]$ では，単語埋め込みは NMT モデルの最も重要 なモジュールの 1 つであり，単語埋め込みを用いて 単語の構文的，意味的属性を捕捉する. NMT モデ ルでは一般的に，エンコーダー入力埋め込み，デ コーダー大力埋め込み，デコーダー出力埋め込みの 3 つの行列が使用される. これらの埋め込みはモデ ルパラメータの大部分を占め，トレーニング時に多 くのGPUメモリを占有している.

単語埋め込みの GPUメモリの使用を減らすた めに，NMT 単語の表現に用いるパラメータを減 らすいくつかの方法が提案されている. Press[3] は 単語埋め込みのパラメータを大幅に減らすために 「three-way weight tying」と呼ばれる重みの共有方法 を提案したが，これは実用 NMT の新しい事実上の 標準となった.「three-way weight tying」は3つの単語埋め込みを表すために 1 つの行列を使用し，源言語と目的言語で共通の単語が 1 つの単語ベクトルを 共有する。この方法は源言語と目的言語の共通サブ ワードの NMT にも適用でき，英独仏など，同じ文字が多い言語ペアではうまく機能した [1].

本研究では，単語埋め込み共有が翻訳結果に負の 影響を与えていないか調べるための予備実験を行っ た. 翻訳結果の文中には源言語の単語が存在する場合があった.

また，PCAアルゴリズムを用いて単語埋め込み を可視化し，中一日および英 $\rightarrow$ 日翻訳モデルにお ける単語埋め込みを比較した. 予備実験の結果と PCA 可視化のグラフに基づいて言語的な観点から， Transformer の単語埋め込みの共有が翻訳結果に悪影響を及ぼしていることが予想された。その緩和のた めに，Transformer-base モデルに最大 2048 個の訓練 パラメータを追加する 3 種類の手法を提案し，評価実験を行なった．実験の結果，パラメータの付与の 方法と翻訳対象となる言語，翻訳方向にもよるが，概ね翻訳精度が向上する傾向が見られた。

## 2 予備実験

max-tokens は，1 回のイテレーションで使用され る源言語および目的言語の token の最大数（バッ チサイズ）である. Popel ら [4] の実験結果から， max-tokens が Transformer の翻訳精度に大きな影響 を与えていることが分かった.この影響は，イテ レーション回数の増加によって大きく変化するこ とはない。まず，共通単語の多い言語ペアである中日と，比較のため英日に対して，max-tokens を 1024 に設定して実験1を行った．翻訳結果に存在した源言語の単語の数を表 1 に示す。中日翻訳と比較する と，英日翻訳では間違った単語が大量に出現するこ とはなかった.

図 1 単語埋め込み分布の比較

Mikolov ら [5] によると，単語埋め込みを共有しな い場合でも，異なる言語の単語はべクトル空間にお いて類似した位置に分布することが知られている。我々は，前述の中日・英日翻訳実験での最適モデ ルの単語埋め込みを抽出し, 頻度上位 5000 単語を PCA アルゴリズムを用いて次元削減した後，2 次元 グラフにプロットした. 図 $1^{2)}$ から明らかなように,同一言語に固有単語が分布しているのに対して，共通単語は両言語間に分布しており，英日翻訳と比較 して，中日翻訳ではより多くの共通単語が両言語間 に分布している.

## 3 言語埋め込み

本研究は, 図 1 の中日翻訳と英日翻訳における単語埋め込みの分布，及び BERT[6] におけるセグメン 卜埋め込みの示唆に基づく言語埋め込み（Language

2） ch：中国語固有単語. jp : 日本語固有単語.

$\mathrm{en}$ : 英語固有単語. en $+\mathrm{jp}$ : 英語と日本語の共通単語. $\mathrm{ch}+\mathrm{jp}$ ：中国語と日本語の共通単語.表 1 max-token=1024 の時，翻訳実験結果

Embedding，LE）を提案する. エンコーダーとデ コーダーにそれぞれ異なる言語埋め込みを加え，同一の単語がエンコーダー側とデコーダー側で異なる 表現を持つようにする。提案手法では，コーパス中 の単語を 3 つのクラス3)に分類し，言語埋め込みを どのように付与するかによって 3 つの手法を提案 する.

提案手法 1 エンコーダー側では，源言語固有単語と，源言語・目的言語の共通単語を 2 つに分類し，源言語固有単語の言語埋め込みを 0 （更新なし）と する.デコーダー側では，目的言語固有単語と，源言語・目的言語の共通単語を 2 つに分類し，目的言語固有単語の言語埋め込みを 0 （更新なし）とする. LE はそれぞれエンコーダーとデコーダーの端で計算され，式 (1)のようになる。この時，モデルにお いて増加するパラメータ数は $\left.2 \times 2 \times 512^{4}\right)=2048$ に なり，計算すべきパラメータ数は 1024 になる.

$
\begin{aligned}
& \text { Word }_{L E}^{\text {Encoder }}=\text { Word }_{\epsilon[\mathrm{src}=0, \mathrm{src}+\mathrm{tgt}]} \times L E_{2 \times 512}^{\text {Encoder }} \\
& \text { Word }_{L E}^{\text {Decoder }}=\text { Word }_{\epsilon[\mathrm{tgt}=0, \mathrm{src}+\mathrm{tgt}]} \times E_{2 \times 512}^{\text {Decoder }}
\end{aligned}
$

提案手法 2 エンコーダー側では，源言語固有，源言語・目的言語の共通単語を 1 つに分類する。す なわち，エンコーダーへの入力単語は 1 種類であ る.デコーダー側では，目的言語固有，源言語・目的言語の共通単語を 1 つに分類する. すなわち，デ コーダーへの入力単語は 1 種類である。LE はそれ ぞれエンコーダーとデコーダーの端で計算され，式 （2）のようになる．このとき，モデルが増加するパ ラメータ数は $2 \times 512=1024$ になり，計算すべきパ ラメータ数は 1024 になる.

$
\begin{aligned}
& \text { Word }_{L E}^{\text {Encoder }}=\text { Word }_{\epsilon[(\mathrm{src}, \mathrm{src}+\mathrm{tgt})]} \times L E_{1 \times 512}^{\text {Encoder }} \\
& \text { Word }_{L E}^{\text {Decoder }}=\text { Word }_{\epsilon[(\mathrm{src}, \mathrm{src}+\mathrm{tgt})]} \times L E_{1 \times 512}^{\text {Decoder }}
\end{aligned}
$

提案手法 3 エンコーダー側では，源言語固有単語，源言語・目的言語の共通単語を 2 つに分類する.
)$ クラス 2 : 目的言語に固有の単語 $(t g t)$ クラス 3 : 源言語と目的言語に共通の単語 $(s r c+t g t)$

4) transformer-base の単語埋め込みは 512 次元。
}

提案手法:1

提案手法:2

提案手法: 3

図 2 提案手法. 上の長方形はエンコーダーの言語埋め込み，下の長方形はデコーダーの言語埋め込みである. 長方形左側の円を固有単語の言語埋め込み，長方形右側の円を共通単語の言語埋め込みとする．提案手法ごとに，円に紋様がな い場合はその言語埋め込みが 0 であり，更新しないことを表す. 同一長方形中の円の紋様が同じ場合は，固有単語と共通単語が同じ言語埋め込みを持つことを表す。各円で表される言語埋め込みのサイズは，単語埋め込みのサイズと同じ である.

図 3 モデルへの入力過程. 赤い円は源言語の固有単語埋 め込み，青い円は目的言語の固有単語埋め込み，紫の円 を源言語と目的言語の共通単語埋め込みを表す. 実験に 用いたコーパスにおいて「環境」，「測定」などは共通単語 となった.

デコーダー側では，目的言語固有単語，源言語・目的言語の共通単語を 2 つに分類する. LE はそれぞ れエンコーダーとデコーダーの端で計算され，式 (3) のようになる. このとき，モデルが増加するパ ラメータ数は $2 \times 2 \times 512=2048$ になり，計算すべき パラメータ数は 2048 になる.

$
\begin{aligned}
\text { Word }_{L E}^{\text {Encoder }} & =\text { Word }_{\epsilon[\mathrm{src}, \mathrm{src}+\mathrm{tgt}]} \times L E_{2 \times 512}^{\text {Encoder }} \\
\text { Word }_{L E}^{\text {Decoder }} & =\text { Word }_{\epsilon[\mathrm{tgt}, \mathrm{src}+\mathrm{tgt}]} \times L E_{2 \times 512}^{\text {Decoder }}
\end{aligned}
$

以上の 3 つの提案手法を図 2 に示す.

LE と単語埋め込みの融合方式を式 (4)に示す.

$
\begin{aligned}
& \text { Encoder }_{\text {input }}=\text { Word }_{\text {embedding }}+\text { Word }_{L E}^{\text {Encoder }} \\
& \text { Decoder }_{\text {input }}=\text { Word }_{\text {embedding }}+\text { Word }_{L E}^{\text {Decoder }}
\end{aligned}
$

提案手法の詳しい過程を図示すると図 3 のように なる. エンコーダーとデコーダーの入力単語を単語埋め込みに変換し，それに各単語の LEを加えて，
モデルに入力する.

## 4 翻訳実験

実験では，コーパス中の全角記号を半角記号に変換した後，単語分割を行った. 中国語文はLTP[7]で 単語分割を行い，英語文は Stanza[8] で，日本語文は Ginza[9] で単語分割を行なった. データクリーニン グなど前処理は行っていない. train データを用いて モデルの訓練を行い，中日，日中，英日，日英の 4 つ方向の翻訳実験を行った.

## 4.1 コーパス説明

コーパスには ASPEC-JC および ASPEC-JE[10] を 用いた. ASPEC-JCは，日本の科学論文を手作業で 中国語に翻訳して構築されている. ASPEC-JE は日本語と英語の科学論文の要約から構成されており,大量の英文名詞と数字を含む. 語彙は train データ の単語分割結果に基づいて作成した. 使用データ数 と語彙サイズを表 2 に示す.

表 2 用いた ASPEC コーパスデータ数

## 4.2 実験設定

ベースラインとして使用するモデルの構造は Transformer-base[1] と同じであり，実装には Fairseq[11] を用いた. 学習率は 0.0007 とし, Adam を用いて学習を行なった. max-tokens は 2048 とし た. SEED は 1 に固定し，訓練は 15 万イテレーショ
表 3 BLEU および PPL による評価結果

ン実行した。

提案手法の実験では，3つの提案手法を使い，パ ラメーターはベースライン実験と同じ設定にした.

dev データにおいて valid loss が最小のモデルを保存した。これを最適モデルと呼ぶ. devデータでの Perplexity と test データに対する BLEU スコア（翻訳精度）により最適モデルを評価した。

## 4.3 実験結果

表 3 に BLEU スコアと Perplexity（PPL）を示す.

実験の結果，BLEU スコアは，手法 1 では日英翻訳で 1.01 ポイント向上したが，日中では 0.48 ポイ ント低下した (平均 0.14 ポイント向上). 手法 2 で は中日翻訳で 0.69 向上したほか, すべての翻訳で向上した (平均 0.35 ポイント向上). 手法 3 は中日翻訳で 0.99 ポイント向上したが，英日ではわずかに低下した (平均 0.29 ポイント向上).

中日翻訳におけるベースラインの最適モデルと提案手法 3 の最適モデル中の単語埋め込みを抽出し, PCA アルゴリズムを用いて次元削減して 2D グラフ にプロットしたが，言語埋め込みがエンコーダやデ コーダの入力に与える影響がグラフからははっき りと見えなかった. そこで，単語埋め込みを 512 次元から 3 次元に削減して 3D グラフにプロットした (図4).

この図において, baseline はベースライン実験の単語埋め込み, word_embedding は提案手法 3 の単語埋 め込み, encoder_input は提案手法 3 のエンコーダー 入力, decoder_input は提案手法 3 のデコーダー入力 を表す. ベースライン実験での max-tokens=2048 の ときの単語埋め込みの空間分布は，1024 のとき（2 節）とほぼ同じである.

図 4 を見ると，ベースラインと提案手法 3 には明 らかな違いはない. エンコーダー入力を見てもべー スラインの入力は単語埋め込みであるのに対し, 提案手法 3 の入力は明らかに変化し, 3 次元空間で線形分離可能な状態となった.この変化から，エン コーダーに入力される共通単語に言語埋め込みを付

図 4 ベースラインと提案手法 3 を用いた場合の中日翻訳 の単語埋め込み分布の比較

加すると，共通単語は，単語埋め込み中においてエ ンコーダーの入力言語（中国語）の方にシフトする と考えられる. 同様に，デコーダーに入力される共通単語は，単語埋め込み中ではデコーダーの入力言語（日本語）に傾いている。共通単語は，エンコー ダーとデコーダーにおける単語埋め込みが異なる表現を持つことを示している.

## 5 終わりに

Transformerにおいて単語埋め込みを共有した場合 に，源言語と目的言語の単語埋め込みの分布から，両言語の共通単語が翻訳精度に悪影響を及ぼしてい るのではないかと予想した. 本研究では両言語を区別するための少量のパラメータ（言語埋め込み）を 単語埋め込みと組み合わせて使用すること提案し,評価実験を行なった. その結果, 翻訳対象となる言語と翻訳方法, 言語埋め込み付与の仕方などの条件 により違いはあるが，概ね翻訳精度が向上する傾向 が見られた。

今後は，提案手法による実験結果のばらつきに対 して，さらに頑健な解決策を提案するとともに，文字レベルとサブワードレベルの翻訳実験を行う予定 である.

## 参考文献

[1] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in Neural Information Processing Systems 30: Annual Conference on Neural Information Processing Systems 2017, December 4-9, 2017, Long Beach, CA, USA, pp. 5998-6008, 2017.

[2] Mia Xu Chen, Orhan Firat, Ankur Bapna, Melvin Johnson, Wolfgang Macherey, George Foster, Llion Jones, Niki Parmar, Mike Schuster, Zhifeng Chen, et al. The best of both worlds: Combining recent advances in neural machine translation. arXiv preprint arXiv:1804.09849, 2018.

[3] Ofir Press and Lior Wolf. Using the output embedding to improve language models. In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics, EACL 2017, Valencia, Spain, April 3-7, 2017, Volume 2: Short Papers, pp. 157-163. Association for Computational Linguistics, 2017.

[4] Martin Popel and Ondrej Bojar. Training tips for the transformer model. Prague Bull. Math. Linguistics, Vol. 110, pp. 43-70, 2018.

[5] Tomás Mikolov, Kai Chen, Greg Corrado, and Jeffrey Dean. Efficient estimation of word representations in vector space. In 1st International Conference on Learning Representations, ICLR 2013, Scottsdale, Arizona, USA, May 2-4, 2013, Workshop Track Proceedings, 2013.

[6] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: pre-training of deep bidirectional transformers for language understanding. CoRR, Vol. abs/1810.04805, , 2018.

[7] Wanxiang Che, Yunlong Feng, Libo Qin, and Ting Liu. N-ltp: A open-source neural chinese language technology platform with pretrained models. arXiv preprint arXiv:2009.11616, 2020.

[8] Peng Qi, Yuhao Zhang, Yuhui Zhang, Jason Bolton, and Christopher D. Manning. Stanza: A Python natural language processing toolkit for many human languages. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: System Demonstrations, 2020.

[9] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei $\mathrm{Li}$, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. arXiv e-prints, 2019.

[10] Toshiaki Nakazawa, Manabu Yaguchi, Kiyotaka Uchimoto, Masao Utiyama, Eiichiro Sumita, Sadao Kurohashi, and Hitoshi Isahara. Aspec: Asian scientific paper excerpt corpus. In Nicoletta Calzolari (Conference Chair), Khalid Choukri, Thierry Declerck, Marko Grobelnik, Bente Maegaard, Joseph Mariani, Asuncion Moreno, Jan Odijk, and Stelios Piperidis, editors, Proceedings of the Ninth International Conference on Language Resources and Evaluation (LREC 2016), pp. 2204-2208, Portorož, Slovenia, may 2016. European Language Resources Association
(ELRA).

[11] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A fast, extensible toolkit for sequence modeling. In Proceedings of NAACL-HLT 2019: Demonstrations, 2019.


# 日本語大規模データセットにおける嘘つき検出

青木洋繁
静岡大学情報学部
haoki@kanolab.net
}

狩野芳伸
静岡大学情報学部
kano@inf.shizuoka.ac.jp

## 概要

言語情報のみでの欺瞒・嘘つき検知1は人間に とって難しい. 日本語での対話データを用いた欺瞒・嘘つき検出の研究はこれまでいくつかあったが，非言語情報を主に用いたものが多く, 言語情報のみ を用いたものが筆者の知る限り存在しなかった. ま た,英語で行われた欺瞞・嘘つき検出の研究には言語情報のみの対話データを用いたものがあったが，欺瞒・嘘つきラベルが付けられたデータセットは集 めにくいという特性上,これまで行われてきた研究 で使用されていたデータセットは規模が小さかっ た. そこで本研究では, 日本語の大規模データセッ 卜を用い, 英語の先行研究の手法が日本語のデータ セットにおいても有効かどうかの検証に加え, 深層学習モデルを学習させ, 英語の先行研究の手法と比較した. Accuracy 約 $72.4 \%$ で分類に成功し, 先行研究 よりも安定して嘘つきを検出できた。

## 1 はじめに

言語情報のみの欺暪・嘘つき検知は人間にとって 難しく, 人間はオンラインのテキストコミュニケー ションで, 相手を信頼する傾向があることが分かっ ている [1]. SNS の流行やコロナウイルスの影響でオ ンラインでのコミュニケーションの機会が増えた 今, 言語情報のみの対話データでの嘘つき検出は重要であり, 客観的に対話相手が嘘つきかどうかを判定出来るモデルは有用である。

英語の書き言葉のみの対話データを用いた欺瞒・嘘つき検出の研究はいくつかある [2], [3]. しかし, 日本語の対話データでの欺瞒検知の研究では非言語情報も用いたものが主であった [4], [5], [6]. また,これ までの対話データを用いた嘘つき検出の研究では,嘘付きラベルが付与されたデータの取得が難しいと

いう特性上,小規模なデータが用いられていた。本研究では,インターネット上で行われていた人狼ゲームの人狼 $\mathrm{BBS}^{2}$ のロログを使い, 大きなデータ セットで深層学習モデルを学習させ, 嘘つきを予測 できるモデルの作成を目指す.また, モデルが予測の 際に着目した箇所を可視化し,どのように嘘つきの 特徴を捉えているかを検証する。

## 1.1 人狼ゲームとは

人狼ゲームとは,プレイヤーを騙す人狼陣営と嘘付きを見破る市民陣営にランダムに分け,それぞれ の勝利のために対戦するゲームである. 人狼は夜に なると人間を一人襲撃する. 人狼による襲撃を止め るため, 昼間に村人全員で話し合いを行い,一日に一度, 最も怪しい村人を投票で 1 人選び処刑する. 市民陣営は人狼を全て処刑すれば勝利し, 人狼陣営は市民陣営よりも多くなった時点で勝利する. 市民陣営 には他のプレイヤーの役職を知る事が出来る占い師 などの能力者がおり,市民陣営の勝利に大きく貢献 する.ただし, 役職はランダムに割り振られ,ゲーム が終わるまで正解は明かされないため, 能力者と人狼以外 (人狼同士は打互いを認識している) は, 他の プレイヤーの役職を知る事が出来ない.したがって，人狼陣営は容易に市民陣営を欺くことができ, 市民陣営が勝つためには発言を吟味しながら,嘘つきを 見破る必要がある.

## 2 関連研究

## 2.1 言語心理学の特徵量による嘘つき検出

Girlea ら (2016)[2] は, Barnwell によって収集され た英語版人狼ゲームのログ $(86 \text { ゲーム分 })^{3}$ を用い, これまで言語心理学で提唱されてきた嘘つきの特徴を特徴量として,ロジスティック回帰や Random

2）人狼 BBS のログ: http://ninjinix.com/

3）先行研究で用いられた人狼ゲームのログ: https://www. brenbarn.net/werewolf/logindex.html

Forest 等で騙し役をプレイヤーの全発話単位で予測 し, Random Forest で 90.87\%の精度で嘘つきを予測す ることが出来た. また, logistic 回帰の結果から英語 の嘘つき検出において特に TTR(type token ratio) が 予測に寄与することを示した. ただし，この実験で用 いられたデータは小規模であり (701インスタンス，内 116 インスタンスが騙し役), 言語は英語であった.今回はこの手法を日本語の大規模データセット (人狼 BBS データセット) でも同様に有効か検証し, 深層学習モデルと比較した.

## 2.2 深層学習モデルを利用した欺瞞検知

Peskov(2020) ら [3] は, Diplomacy という国盗り ゲームを実験参加者にプレイさせ, 発話に送り手が 嘘を付いたかのアノテーションと受け手が嘘の発話 に見えたかどうかの双方向のアノテーションを付け たデータセットを作成した. このデータセットを使 い, ロジスティック回帰とニューラルモデルで発話単位での真偽の予測を行った. 結果, 人間のベースラ インと近い精度が得られた. ただし, この研究は, 発話の真偽予測を対象としているため, 対話データ全 てを使い騙し役を予測する本研究と直接比較するこ とは出来ない.

## 3 データセット

## 3.1 人狼 BBS データセット

今回はデータセットに人狼 BBS のログデータを 用いる. 人狼 BBS は電子掲示板上で以前行われてい た人狼対戦ゲームで,インターネット上に過去 10 年分のログデータ (7,264 ゲーム分) が公開されている.初日に襲撃の対象になるコンピュータを含め, 10 人 から 16 人の参加者で 1 ゲーム当たり 1 週間程度で 行われていた. 一日に一度更新があり, そのタイミン グで投票が行われ, 最も怪しい村人の処刑, 人狼の 襲撃, 能力者の能力使用が行われる. 役職の役割等,人狼 BBS についての更に詳しい情報は, まとめサイ ト4)を参照されたい.

人狼 BBS では, 人狼同士が昼間の話し合いの間も 他の村人に気付かれることなく会話をすることがで きるため, 人狼同士連携の取れた高度な嘘が展開さ れていた. 図 1 に人狼 BBS のログの一部を示した. この例では, ジムソンが市民陣営で, カタリナが人狼陣営である。

図 1 人狼 BBS のログの例

図 1 の吹き出し 1 つを 1 発話として, プレイヤー の 1 ゲーム内の全発話を 1 インスタンスとした. 今回はは人狼 BBS の役職の内, 人狼陣営の人狼, 狂人 と市民陣営の村人, 占い師, 霊能者, 狩人を使用した.本研究では, 市民陣営を欺き自陣営の勝利を得よう とする人狼陣営のプレイヤーを「嘘つき」とみなし 二值分類を試みた. 前処理を行った後, 市民陣営を 0 , 人狼陣営を 1 とラベル付けしたところ, 市民陣営 61,839 インスタンス, 人狼陣営 26,977 インスタンス となった.

## 3.2 前処理

web からクロールした人狼 BBS データセットか ら, 不要な文字列 (顔文字, 絵文字, URL, レスアン カー) の削除, 表記ゆれの統一 (半角ひらがな, 半角ア ルファベットに統一), 空白・改行の削除, 数字の 0 へ の変換, モデルが人狼用語 (キャラクター名) に頼っ て予測をしないようにキャラクター名やニックネー ムの<person>トークンへの置換,嘘つき検出に関係 のない部分 (独り言, 人狼同士の対話, 墓地での会話, プロローグ, モノローグ,コンピュータの発話) の削除, 10 発話以下のプレイヤーの削除を行った.

尚, キャラクター名やニックネームは, 人狼 BBS まとめサイトの登場人物のページ5)を参考にしてリ ストアップし,ログデータを見て手作業で更に追加 した. そして, 正規表現を用い, 関係ない箇所が置換 されないように工夫して置換した。

人狼 BBS を何度もプレイしているユーザの特徴 からモデルが予測をしてしまう事を避けるため, 同 じユーザが train:valid:test に跨って出現しないよう

5）人狼 BBS まとめサイト 登場人物: https://wolfbbs.jp/ $\%$ C5\%D\%\%BE\%EC\%BF\%CD\%CA\%AA.html

にデータセットを train:valid:test 8:1:1 に分割し た. 分割後の市民陣営と人狼陣営の数はそれぞれ, train(49,601: 21,447), valid(6,138:2,751) test $(6,100$ : 2,779 ) となった. ここから人狼陣営をオーバーサン プリングして, 市民陣営と人狼陣営が $1: 1$ になるよ うにした. オーバーサンプリング後の統計量を表 1 に示した.

前処理を行ったデータセットから, mecab(ipadic neologd[7]) を使い形態素分割した後, 先行研究 [2] で用いられた言語心理学の特徴量をカウントした データセット,プレイヤー毎に発話をまとめたデー タセットを作成した。

## 4 モデル

## 4.1 Random Forest

先行研究 [2] の言語心理学の特徴量を用いたモデ ルの中で, Random Forest が最も精度が高かったため,本研究では Random Forest を使って先行研究を再現 した. 先行研究 [2] で使用された特徴量の内, 認知的 な複雑さを測るために用いられていた"6 文字より長 い単語"は除外し, 英語の前置詞の数の代わりに助詞 の数を用いた. また, ネガティブ感情語数は東北大の 極性辞書を用いてネガティブ感情語をカウントした ものを用いた. 和らげ・ぼかし表現, 自己参照, 認知語, 動作語, 除外語, 否定語, 動作語, 知覚語は mecab の辞書にあるか確認しながらリストを作り, 発話を 形態素解析した後, リストに存在する語をカウント した. その他の品詞の数は, mecab の形態素解析結果 に応じてそれぞれカウントした. 以下に使用した特徵量をまとめた。
- TTR (type-token ratio)

・ロごもり語の数 (hesitation) $($ えーと,うーん)(14 語)

・ネガティブ感情語数

・形態素数
- 自己参照の数 (私, 僕, おいどん)(45 語)
- 否定語の数 (しない, ない, 違う)(12 語)

・和らげ・ぼかし表現の数 (hedge)(みたいな, 多分, ちょっと)(34 語)

・認知語の数 (信じる, 考える, 思い出す)(50 語)

・動作語の数 (到着する, 走る, 歩く)(31 語)
- 知覚語の数 (触る, 見る, 聞く)(30 語)
- 除外語の数 (以外, その他) $(7$ 語)

・助詞と接続詞の数
- 代名詞の数
- 形容詞の数
- 名詞の数

・動詞の数
- 接続詞の数
- 助詞の数

## 4.2 HAN(Hierarchical Attention Network)

HAN(Hierarchical Attention Network)[8] は, attention 機構を擁した 2 層の bidirectional GRU からなるモデ ルである. 1 層目は単語レベルで 2 層目は文レベル である. 2 層目は, 1 層目の単語の重み付き和を入力 として受け取る (図 2). つまり,一発話ずつ読み,これ までの発話と照らし合わせながらそのプレイヤーが 人狼かどうかを判断する.この処理は, 人間が人狼を プレイするときの処理に似ている. また, 人間が着目 してる箇所と深層学習モデルが着目している箇所を 定量的比較分析した研究で bidirectional LSTM の注目している箇所は人間に近いということが報告され ている [9]. 予測の結果だけでなく, 人間に分かりや すい根拠を attention の可視化等を用いて示せば, 実際に人間が嘘つきを検出するときの助けになると考 え, HANを選択した。

今回, training データと前処理で除外して学習・評価に使用しなかったデータ (プロローグ等) から学習 した Sentencepiece[10](bpe, skip-gram, 語彙数 32,000) を用いて, 発話をサブワードに分割した. サブワー ドの分散表現の獲得には, fasttext[11](200 次元)を用 いた.

## 5 実験

実験の評価は, accuracy, precison, recall, f1 で行っ た. 実験の結果, HAN で Acuracy 約 $72.5 \%$ で分類に成功し, 先行研究の手法を上回った (表 2,3 ). 先行研究 の手法の accuracy が約 $52.4 \%$ に落ちたのは, 英語の データセットで有効であった特徴量が日本語のデー

図 2 Hierarchical Attention Network

タセットには適していなかったこと,データセット のサイズが大きく変わったこと (先行研究のデータ セット: 701 インスタンス, 人狼 BBS データセット: 88,816インスタンス) が考えられる.

表 2 実験結果

表 3 陣営毎の precision, recall, f1, support(HAN)

## 6 モデルが着目した箇所の分析

モデルが重視した箇所を検証するために, モ デルが $90 \%$ 以上の確信度で予測した時, 文の中で attention の重みが一定以上 (発話中のサブワード 全体に均等に割り振った確率以上 ${ }^{6)}$ ) かかってい た trigram の重みを足し合わせ, 重みが大きい順に True Positive(TP), False Positive(FP), True Negative(TN), False Negative(FP) に分けて, 重みの和が大きい順 に並べた。それから, $\mathrm{TP}$ と $\mathrm{TN}$ 特有の trigramを $\mathrm{TP}-(\mathrm{TN}+\mathrm{FP}+\mathrm{FN}), \mathrm{TN}-(\mathrm{TP}+\mathrm{FP}+\mathrm{FN})$ のように差を取り, wordcloud で可視化した. wordcloud を見ると, $90 \%$ 以上の確信度でモデルが人狼陣営だと判定し, 実際に 正解だった時, モデルが着目した箇所は曖昧な当た

6) trigram $の$ threshold $の$ 求めかた

$
\text { threshold }=\frac{3}{\text { 発話長 }-2}
$

り障りのない箇所が多かった (図 3).一方, $90 \%$ 以上 の確信度でモデルが市民陣営だと判定し, 実際に 正解だった時, モデルが着目した箇所には<person> トークン (キャラクター名やニックネーム) が列挙さ れている箇所が多く(図 4), <person>を列挙するのは,他のプレイヤーの役職推定をするときに多いため, プレイヤーが具体的に自分の考えを表明した箇所に モデルが注目していたのだと考えられる.このよう に処理が人間に近い階層型モデルが確信をもって予測して正解した時には, 人間にも分かりやすい基準 (無難な発話ばかりするプレイヤーは人狼)を持って 予測をする傾向がある事が分かった. 更なる可視化 の例は付録に示した。

TP-(TN+FP+FN) (A:werewolf)

図 3 モデルの確信度 $90 \%$ の時の TP 特有の trigram

図 4 モデルの確信度 $90 \%$ の時の $\mathrm{TN}$ 特有の trigram

## 7 おわりに

本研究では, 日本語の大規模データセットを用い,深層学習モデルを学習させ, 先行研究のモデルより も高い精度で嘘つきを検出できるモデルを作成し た. さらに, モデルが予測した時に着目した箇所を可視化すると, 人間にも解釈しやすい基準で分類して いる事が分かった. 今後はこのモデルが一般的な嘘 つきの特徴を捉えられているかを検証するため, 詐欺等のデータでこのモデルが嘘を見抜けるかどう かを検証したい。また、bidirectional GRUを BERT や RoBERTa, Sentence BERT に変更するなど, モデルの 構造を工夫して, HAN に捉えられなかった嘘を捉え られるモデルの構築を目指したい.
本研究を行うにあたり, 人狼 BBS のデータ使用を 許可していただいた ninjin 氏に心より感謝致します.

## 参考文献

[1] Ben Shneiderman. Designing trust into online experiences. Commun. ACM, Vol. 43, No. 12, p. 57-59, dec 2000.

[2] Codruta Girlea, Roxana Girju, and Eyal Amir. Psycholinguistic features for deceptive role detection in werewolf. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 417-422, San Diego, California, June 2016. Association for Computational Linguistics.

[3] Denis Peskov, Benny Cheng, Ahmed Elgohary, Joe Barrow, Cristian Danescu-Niculescu-Mizil, and Jordan BoydGraber. It takes two to lie: One to lie, and one to listen. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 38113854, Online, July 2020. Association for Computational Linguistics.

[4] Yuiko Tsunomori, Graham Neubig, Sakriani Sakti, Tomoki Toda, and Satoshi Nakamura. Comparison of effective features and analysis of questions towards dialogue-based deception detection.

[5] Shohei Takabatake and Kazutaka Shimada. Construction and analysis of liar corpus. http: //www.pluto.ai.kyutech.ac.jp/ shimada/paper/ HCG2017_takabatake.pdf. Accessed: 2022-1-5.

[6] Kenichiro Tsuji, Sho Mitarai, and Nagisa Munekata. Investigation and analysis of utterance information based on the suspects' actual voice of the communications fraud. Proceedings of the Annual Conference of JSAI, Vol. JSAI2021, pp. 3J1GS6a01-3J1GS6a01, 2021.

[7] Sato Toshinori. Neologism dictionary based on the language resources on the web for mecab, 2015.

[8] Zichao Yang, Diyi Yang, Chris Dyer, Xiaodong He, Alex Smola, and Eduard Hovy. Hierarchical attention networks for document classification. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 1480-1489, San Diego, California, June 2016. Association for Computational Linguistics.

[9] Cansu Sen, Thomas Hartvigsen, Biao Yin, Xiangnan Kong, and Elke Rundensteiner. Human attention maps for text classification: Do humans and neural networks focus on the same words? In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 4596-4608, Online, July 2020. Association for Computational Linguistics.

[10] Taku Kudo and John Richardson. Sentencepiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. CoRR, Vol. abs/1808.06226, , 2018.

[11] Piotr Bojanowski, Edouard Grave, Armand Joulin, and Tomas Mikolov. Enriching word vectors with subword

## 付録 A

## A. 1 可視化例

以下に unigram での可視化例を示した (図 5, 6). サブワード・文の重みが threshold よりも大きいときに色付 けされた. unigram での threshold は (2) で決定した.

$
\text { threshold }=\frac{1}{\text { 発話長 }}
$

図 5 TP 確信度 $92.81 \%$ での attention 可視化の例

図 $6 \mathrm{TN}$ 確信度 $99.62 \%$ での attention 可視化の例


# Eコマースにおける検索クエリの整形と 属性値抽出への適用

中山祐輝 Chen Zhao Erick Mendieta 村上 浩司 新里 圭司
楽天グループ株式会社 楽天技術研究所
\{yuki.b.nakayama, chen.a.zhao, erick.mendieta\}@rakuten.com
\{koji.murakami,keiji.shinzato\}@rakuten.com

## 概要

Eコマースでの商品検索の質を向上させるため に，クエリを意味のあるまとまりに整形する研究が 盛んである.しかし, 既存研究のほとんどは, 一つ の操作に絞っており, かつ英語を対象とした研究で

のタスクに応用する試みは，ほぼなされていない。本稿では，三つの操作を考慮する日本語のクエリ整形手法を提案し，実験によってその有効性を示す. さらに, 本手法を $\mathrm{E} コ$ コースの属性値抽出に適用 し，クエリ整形の重要性を示す.

## 1 はじめに

EC サイトでの購買活動が高まり, 商品検索のク エリが膨大に蓄積されている。蓄積されたクエリ は，ユーザの需要把握や，検索の質向上を目的とし たクエリ補完や属性值抽出などのタスクに有効利用 できる. しかし, クエリは語の境界が不適切な場合 があり，検索結果やタスクに悪影響を及ぼす。例え ば，「アディダスマスク」というクエリは，「アディ ダス」というブランドと「マスク」という分野相当 の語が混在しているため, ゼロヒット [1]を引き起 こす可能性がある。一方，「肉口のロとみや」とい うクエリ（は空白）は，「肉のとみや」という店名 を誤って分割しているため, 当該肉店に関連のない 商品が表示される可能性がある.

このような問題を軽減するために， E コマースド メインにおいてクエリの語に表 1 のような操作を行 い，クエリを意味のあるまとまりに整形するするク エリ整形の研究が盛んである $[2,3,4]$. しかし、既存研究の手法には, (1)一つの操作しか対象としない 研究がほとんど, (2) 日本語を対象とした研究はな い, (3) 改良手法を NLP タスクに適用した研究はな

いという三つの課題がある. そこで，本稿では日本語を対象とした三つの操作を考慮するクエリ改良手法を提案する。本稿の貢献は， E コマースドメイン における日本語に対応した全く新しいクエリ改良の 手法を提案し, ベースライン手法と比較して優れた 成果が得られたこと，クエリ改良手法を NLP タス クに応用し, 形態素解析を事前処理に用いた手法と 比べて精度の向上を達成したことである. 我々は，提案手法を NLP タスクとして代表的な属性値抽出 に適用する.

## 2 関連研究

Eコマースにおけるクエリ整形手法として，Salehi ら [5] は，英語を対象としたセグメント化を対象と したクエリ改良の手法を提案した． $\mathrm{Li} ら$ [6] は，中国語を対象としたクエリ改良の手法を提案した。し かし，英語や中国語とは異なり，日本語は分かち書 きされておらず，異なる三つの字種を持つことか ら, 既存手法を日本語のクエリに適用することは困難である. Guo ら [7] は, 表 1 の三つの操作を網羅 したクエリ改良の手法を提案し, 適合判定の IR タ スクに適用した。それに対して，我々は属性値抽出 という NLP の代表的なタスクに焦点を当てる。

Eコーマスの検索クエリを対象とした様々な属性値抽出手法がある．Kozareva ら [8] と Zhai ら [9] は, それぞれ LSTM-CRF に基づく手法と文法規則を用 いて，ブランドと商品ジャンルを認識する手法を 提案した. Jiang ら [10] は, 人手による少数の学習 データに品質改善を施した擬似学習データを追加 することで, 属性值抽出の改善を図った. Cheng ら

[11] は, 人手による少数の学習データで学習された モデルを用いて, 品質の高い擬似データの生成を繰 り返して学習を行うフレームワークを提案した。し かし, クエリ整形という事前処理の観点から精度向上を図った研究はない.

## 3 提案手法

## 3.1 概要

図 1 に提案手法の概観を示す。空白によっ て分割されたクエリの語 $x_{i}$ からなる入力系列 $\boldsymbol{x}=x_{1} \ldots x_{l}$ が与えられた時, 我々の目標は整形さ れた語の系列 $\boldsymbol{y}=y_{1} \ldots y_{L}$ を予測することである. $l$ と $L$ はそれぞれ, 入力系列の語数と出力系列 の語数である. 本研究では, 表 1 にある分割, 結合, セグメント化の三つの操作に焦点を当てる.具体的には, 整形操作の系列 $\boldsymbol{o}=o_{1} \ldots o_{l}$, ただし $o_{i} \in\{$ Split, Merge, Segment, Single $\}$ を予測するタス クを解く.ここで, Single は操作を必要としないク エリの語に割り当てられる. 整形操作の系列が決定 されれば， $\boldsymbol{o}$ を用いて， $\boldsymbol{x}$ を整形後の系列に変換で きる.

Wikipedia のタイトルは，製品名やブランド名な ど Eコーマスに関わる固有表現を多く含み，それら は整形後のクエリ語となる可能性が高い。また, 二 つのクエリ語が頻繁に隣接して共起すれば、それら からなる語も整形後のクエリ語となる可能性が高い と考える．以上の二つの考えに基づいて，まずキー ワードマッチング（3.2 節）によって， $x_{i}$ の操作 $o_{i}$ を Merge,Segment,Single のいずれかに分類する.も しクエリ語が，いずれのキーワードにもマッチしな かった場合は, Uncetain label を暫定的に付与し, 整形後のクエリ $\boldsymbol{x}_{\boldsymbol{r}}$ を入力とした機械学習（3.3 節）に よって Split, Merge, Segment, Single のいずれか に分類される.

## 3.2 キーワードマッチング手法

まずは，以下の手順でクエリ語の系列と収集され たキーワードとのマッチングをとる.

1 oを [Uncetarin,...,Uncertain] に初期化

2 Uncertain ラベルを持つ全ての系列 $x_{i} \ldots x_{j}$ を 取得

3 各系列とキーワードとの最左最長マッチを とる

$4 x_{i} \ldots x_{j}$ がキーワードにマッチすれば, $x_{i} \ldots x_{j}$ に対応する Uncertain ラベルを Merge, Segment, Single のいずれかに更新する

マッチングは，三つのキーワードリストを用いて，信頼性を考慮し以下の順番で行われる。

1. Eコーマスドメインの属性値リスト (ORD) ブ

メインに関連する約 7 万 8 千語からなる属性值のリ ストを構築する。

2. ウィキペディアタイトルと本文のキーワード

(Wiki) 2021 年 3 月時点最新の日本語版ウィキペ ディアダンプと, 2021 年 2 月時点最新の英語版ウィ キペディアダンプから，それぞれ約 190 万のタイト ルと約 1273 万のタイトルを収集する。また， 2021 年 2 月時点最新のからを収集する. さらに, 日本語版ウィキペディアの本文から形態素解析によるトー クン N-gram $(1 \leq N \leq 4)$ を抽出し, 頻繁に隣接し て共起する $\mathrm{N}$-gram ペアをキーワードとして登録し た。二つの $\mathrm{n}$-gram トークン $w_{1}, w_{2}$ の共起度合いを 測る尺度として，式 (1) の相互情報量を用いる.

$
\operatorname{PMI}\left(w_{1}, w_{2}\right)=\log _{2} \frac{N * \operatorname{Freq}\left(w_{1}, w_{2}\right)}{\operatorname{Freq}\left(w_{1}\right) * \operatorname{Freq}\left(w_{2}\right)}
$

$N$ は語の総数であり, freq $\left(w_{1}, w_{2}\right)$ は, $w_{1}, w_{2}$ の順で 両者が隣接して出現する頻度である.

3. クエリ語のトークンリストと接頭辞/接尾辞リ スト（Query） クエリ語内の語の共起性を考慮す る. クエリ語の形態素解析で得られたトークンに対 して，隣接トークンペアの PMI を式 (1) で求め, 間值を上回るペアを収集する.

## 3.3 マッチング結果を考慮した機械学習に

## 基づく手法

3.2 節で整形された Uncertain ラベルを持つクエ リの系列 $\boldsymbol{x}_{\boldsymbol{r}}=x_{1} \ldots x_{m}$ が与えられた時, Uncertain ラ ベルの分類を文字単位の BIOES チャンキングとし て定式化する．具体的には，空白を含む $x_{r}$ の文字系列 $\boldsymbol{c}=c_{1,1} \ldots c_{m, n}$ に対して, 系列 $z=z_{1,1} \ldots z_{m, n}$, $z_{i, j} \in\{B, I, O, E, S\}$ を予測するタスクを解く.ここ で, $c_{i, j}$ は, $i$ 番目のクエリ語内の $j$ 番目の文字で ある. 最後に, 出力系列 $z$ から Uncertain ラベル に対応するクエリ語の部分を抜き出し，ラベルを Split,Merge,Segment,Single のいずれかに更新する. チャンキングの手順は, 文字系列の埋め込み表現 の獲得，マッチング手法の結果を考慮したクエリ 語の埋め込み表現の結合, 全結合, CRF の 4 層か らなる。本稿では前半の二つのステップについて 説明する. まずは, 周辺文字を意識するために，

図 1 提案手法の概観 (ロは空白を表す)

Character-BERT を用いて文字系列の埋め込み表現 $\boldsymbol{H}=\left[\boldsymbol{h}_{[\mathrm{CLS}]}, \boldsymbol{h}_{1,1}, \ldots, \boldsymbol{h}_{m, l}, \boldsymbol{h}_{[\mathrm{SEP}]}\right]$ を獲得する. ここで， $\boldsymbol{h}_{i, j}$ は, 文字 $c_{i, j}$ に対応する Character-BERT による 埋め込み表現である. 次に, クエリ語 $x_{i}$ の埋め込み 表現を， $c_{i, j}$ の埋め込み表現に結合させる. 提案手法では, 以下の二つの理由でキーワードマッチング でマッチしたクエリ語のみの埋め込み表現を考え る.一つ目は，マッチング情報をモデルの素性とし て加えるためである。二つ目は，不適切な埋め込み 表現を避けるためである。一般的に，文字レベルの 系列ラベリングタスクにおいて, 単語の埋め込み表現は Watson ら [12] のように対応する全ての文字に 考慮される。しかし, 「アディダスマスク」のよう な語の境界が不明な問題を扱っているため, 不必要 なクエリ語の埋め込みを文字の埋め込みに結合する 可能性がある. クエリ語 $x_{i}$ の埋め込み表現は, 構成 される文字における埋め込み表現の平均によって得 る.

## 4 評価実験

## 4.1 クェリ整形

日本語のクエリ整形における公開データセット は存在しないため, 楽天市場の商品検索で使用され た 10,239 件のクエリに対して整形操作のスパンを 人手で特定した。10,239 件のクエリのうち， 8,240 件 (学習: 7325 件, 開発: 825 件) は Character-BERT のファインチューニングに用いた. Character-BERT は, 東北大学が提供している事前学習モデル1) を用 いた。また， 999 件のクエリを 3.2 節の PMI の閾値 を決定するために用いた. 残り 1000 件のクエリを評価セット $|Q|$ として用いた（表 2).Guo ら [7] にし

たがい, (2) 式の正解率を評価尺度とした.

$
\frac{1}{|Q|} \sum_{q \in Q} \frac{q \text { 内で整形操作が正解である語の数 }}{\text { クエリ } q \text { の語数 }}
$

表 3 に実験結果を示す.ベースライン手法とし て, 固有表現抽出でよく利用される Character-BERT $\mathrm{CRF}$ を用いた。提案手法の正解率は $88.12 \%$ となり, ベースラインより 4.54 ポイント優れた正解率を達成し, 両側 $\mathrm{t}$ 検定により両者の間には $1 \%$ の統計的有意差があった。また，アブレーションテストを通し てキーワードマッチング手法における各ステップの 有効性を確認した。さらに，全てのクエリ語の埋め 込み表現を追加した場合と比べて，クエリ語の埋め 込み表現の追加をキーワードリストに含まれる語に 限定した場合，正解率が $87.18 \%$ から $88.12 \%$ に向上 し，埋め込み対象のクエリ語を限定したとことの有効性を確認した。

提案手法によって誤った整形操作に分類された 272 のクエリ語に対して分析を行った. 272 語中, 227 語がステージ 1 にで誤りが発生した。そこで, STAGE1 においてキーワードリストのアブレーショ ンテストを行うことで，どのリストが誤りを引き起 こしているかを調査した。 227 語中, 119 語が単一 のリストによって引き起こされた誤りとなり，そ れぞれ ORD が 19 語, Wiki が 37 語, 63 語がクエ リからのキーワードに起因する誤りだった。ORD と Wiki については，キーワードが網羅されておら ず，キーワードの部分一致を引き起こしたことが原因である．例えば，二つのクエリ語「出産」と「祝 い」が一つのクエリ語「出産祝い」に結合されるべ きところが，「出産祝い」がリストに登録されてお らず，「出産」と「祝い」というキーワードにマッ チし, Single ラベルが付与されたため, 結合されな かった。クエリからのキーワードに起因する 63 語

の誤りのうち， 61 語は隣接するトークン間の PMI が意図せず閾値を上まわった結果，両者の結びつき が強くなり, 複数のクエリ語に分割されなかった. ステージ 2 では, 45 件の誤りが発生した. 誤りの傾向として, 「リバーシブル D-86」や「かみつき！ Tレックス」のようなアルファベット，数字，カタカ ナなど様々な字種で構成される商品名が複数のク エリ語に誤って分割されていた。このような複雑な ケースに対応することが今後の課題である.

## 4.2 ブランド抽出

クエリ整形手法をブランド抽出に適用し， $\mathrm{E} コ$ マースドメインにおける提案手法の有効性を検証した.ブランド抽出を文字レベルの系列タギン グ問題として定式化し, 再現性を担保するために FLAIR [13] で公に利用できるモデル2)を用いた. モ デル内の埋め込み層では, 以下の Flair 埋め込みと 単語埋め込みを用いた。

単語埋め込み 楽天市場の商品検索で入力され た 2018 年分のクエリをランダムに 240 万件抽出し, word2vec によって次元数 300 , 最小頻度 100 で事前学習した。

Flair 埋め込み Flair は, 文脈の前後の関係を意識 した強力な文字列の埋め込み手法である [14]. 楽天市場の商品検索で入力された 2018 年分のクエリを ランダムに 100 万件抽出し, 事前学習を行う. 文字列ベクトルの次元数は, 前方からのモデル 2048 次

2) https://github.com/flairNLP/flair/blob/master/

flair/models/sequence_tagger_model.py\#L26元と後方からのモデル 2048 次元を結合した 4096 で ある.

ファインチューニングには，人手による 9000 件 のラベル付きクエリと辞書ベースによって付与さ れた擬似ラベル付き $560 \mathrm{~K}$ のクエリを学習に用い,別途 2,248 件の人手によるラベル付きクエリを開発用セットとした。表 4 に評価データの詳細を示す.表 5 に実験結果を示す. MeCab と Unidic 辞書によ る形態素解析結果をモデルの入力とした場合と比較 して，提案手法を適用したモデルは $\mathrm{F} 1$ スコアで 8.9 ポイントの精度向上を達成した。

表 6 に，クエリ整形の提案手法がブランドの抽出 に成功し, 形態素解析 (MeCab+Unidic) による事前処理が失敗した例を示す。提案手法は，クエリ「カ ネテツロデリカロフーズ」を意味のある一語に結合 させたことで，「カネテツデリカフーズ」をブラン ドとして認識できた。この結果から，提案手法のク エリの整形化によって文脈情報を保持し，かつ不必要な単語埋め込みを避けることができていると考 える。

表 4 ブランド抽出における評価データの基礎情報

表 6 ブランド抽出て提案手法が成功した例（カネテツデ

 & カネテツロデリカロフーズ \\
Results &  &  \\

## 5 おわりに

本稿では， Eコマースにおける三つの操作を考慮 した日本語のクエリ整形手法を提案し，実験によっ てその有効性を示した。また，提案手法をブランド 抽出に適用し, 形態素解析器による事前処理と比較実験を行い，クエリ整形の重要性を示した。誤り事例の解決方策を考案することが今後の課題である.

## 参考文献

[1] Yuki Amemiya, Tomohiro Manabe, Sumio Fujita, and Tetsuya Sakai. How do users revise zero-hit product search queries? In European Conference on Information Retrieval, pp. 185-192. Springer, 2021.

[2] Saša Hasan, Carmen Heger, and Saab Mansour. Spelling correction of user search queries through statistical machine translation. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 451-460, Lisbon, Portugal, September 2015. Association for Computational Linguistics.

[3] Saurav Manchanda, Mohit Sharma, and George Karypis. Intent term selection and refinement in e-commerce queries. arXiv preprint arXiv:1908.08564, 2019.

[4] Sharon Hirsch, Ido Guy, Alexander Nus, Arnon Dagan, and Oren Kurland. Query reformulation in e-commerce search. In Proceedings of the 43rd International ACM SIGIR Conference on Research and Development in Information Retrieval, SIGIR '20, p. 1319-1328, New York, NY, USA, 2020. Association for Computing Machinery.

[5] Bahar Salehi, Fei Liu, Timothy Baldwin, and Wilson Wong. Multitask learning for query segmentation in job search. In Proceedings of the 2018 ACM SIGIR International Conference on Theory of Information Retrieval, ICTIR '18, p. 179-182, New York, NY, USA, 2018. Association for Computing Machinery.

[6] Zhao Li, Donghui Ding, Pengcheng Zou, Yu Gong, Xi Chen, Ji Zhang, Jianliang Gao, Youxi Wu, and Yucong Duan. Distant supervision for e-commerce query segmentation via attention network. In Intelligent Processing Practices and Tools for E-Commerce Data, Information, and Knowledge, pp. 3-19. Springer, 2022.

[7] Jiafeng Guo, Gu Xu, Hang Li, and Xueqi Cheng. A unified and discriminative model for query refinement. In Proceedings of the 31st Annual International ACM SIGIR Conference on Research and Development in Information Retrieval, p. 379-386, 2008.

[8] Zornitsa Kozareva, Qi Li, Ke Zhai, and Weiwei Guo. Recognizing salient entities in shopping queries. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 107-111, Berlin, Germany, August 2016. Association for Computational Linguistics.

[9] Ke Zhai, Zornitsa Kozareva, Yuening Hu, Qi Li, and Weiwei Guo. Query to knowledge: Unsupervised entity extraction from shopping queries using adaptor grammars. In Proceedings of the 39th International ACM SIGIR Conference on Research and Development in Information Retrieval, SIGIR '16, p. 255-264, New York, NY, USA, 2016. Association for Computing Machinery.

[10] Haoming Jiang, Danqing Zhang, Tianyu Cao, Bing Yin, and Tuo Zhao. Named entity recognition with small strongly labeled and large weakly labeled data. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 1775-1789, Online, August
2021. Association for Computational Linguistics.

[11] Xiang Cheng, Mitchell Bowden, Bhushan Ramesh Bhange, Priyanka Goyal, Thomas L. Packer, and Faizan Javed. An end-to-end solution for named entity recognition in ecommerce search. In AAAI, 2021.

[12] Daniel Watson, Nasser Zalmout, and Nizar Habash. Utilizing character and word embeddings for text normalization with sequence-to-sequence models. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 837-843, Brussels, Belgium, October-November 2018. Association for Computational Linguistics.

[13] Alan Akbik, Tanja Bergmann, Duncan Blythe, Kashif Rasul, Stefan Schweter, and Roland Vollgraf. Flair: An easyto-use framework for state-of-the-art nlp. In NAACL 2019, 2019 Annual Conference of the North American Chapter of the Association for Computational Linguistics (Demonstrations), pp. 54-59, 2019.

[14] Alan Akbik, Duncan Blythe, and Roland Vollgraf. Contextual string embeddings for sequence labeling. In Proceedings of the 27th International Conference on Computational Linguistics, pp. 1638-1649, Santa Fe, New Mexico, USA, August 2018. Association for Computational Linguistics.


# 汎用事前学習モデルを用いたアルゴリズムの手続き自動生成

大西朔永 ${ }^{1}$ 椎名広光 ${ }^{2}$
1 岡山理科大学大学院総合情報研究科 2 岡山理科大学総合情報学部
i20im01os@ous.jp shiina@mis.ous.ac.jp

## 概要

プログラム作成においては，プログラムの目的を 必要な処理に分解する論理的思考力が重要となる. しかし，プログラム作成は論理的思考力に加えて， プログラム言語の知識等も同時に必要となる. これ まで，アルゴリズムを考える力である論理的思考力 を養う手続き学習システムを開発してきた. 手続き 学習システムの問題作成等では, 問題文と必要な処理に分解した手続きを大量に作成する必要がある.論理的思考力には汎用知識が必要である場合も多い が，アルゴリズム手続き生成の大規模な学習データ の開発は容易ではない. 本研究では, 汎用事前学習 モデルを用いた問題文からプログラム手続きを生成 する手法を提案する。

## 1 はじめに

小学校では 2020 年からプログラミング教育 [1] が 導入されており，その目的は主に論理的思考力の育成である. 論理的思考力は, 様々な問題を解決する ために必要な処理内容や処理順序を考える能力で ある. 論理的思考力を育成する研究では, 手作業に よるアルゴリズム学習の研究 [2] がある. 我々は論理的思考力を養う手続き学習システム [3] を開発し てきたが，プログラムの概要を表す問題文と手続き が大量に必要となる. 人手によるプログラム手続き の作成は，コストが高く，容易ではない. そこで，我々はこれまでにプログラムのソースコードからプ ログラム手続きを生成する手法 [4]，ソースコード を用いないプログラムの問題文からプログラム手続 きを生成する手法 [5] を提案している.

近年，大規模なデータを用いた大規模な事前学習 モデルの研究が盛んに行われている。そして，その 学習済みモデルを個々のタスクに fine-tuning する手法が提案され, 様々な自然言語処理分野で成果を出 している。一方, 本研究では学習に利用できるデー タは小規模であり, 大規模な事前学習モデルの構築
は困難である．そこで，ソースコードを用いない問題文からのプログラム手続きの自動生成において,汎用事前学習モデルを用いた Seq2Seq[6, 7, 8] を小規模なデータに fine-tuning する手法を提案する.プロ グラム手続きの自動生成には，問題文を必要な手続 きに分解する論理的思考力が必要である. 入力され る問題文から特徴を捉えた分散表現が作成されない と，論理的思考力を発揮できない. 汎用事前学習モ デルは大規模なコーパスから言語理解の能力に加え $\tau$ ，汎用知識も獲得していると考えられる。プログ ラムの問題文からプログラム手続きを生成する手法 に対して, 汎用事前学習モデルを適用することで,生成する手続きの改善を図っている.

また, 本研究では学習に小規模なデータを用い るため，手続き生成タスクの学習による汎用事前学習モデルの fine-tuning が十分でないと考えられ る.そこで，fine-tuning した汎用事前学習モデルを 用いたプログラム手続きの生成手法を提案する．汎用事前学習モデルである BERT[9] 単体の fine-tuning を pre-training と同様の方法で行い，プログラムの問題文というドメインへの適応を先に図る. そして, fine-tuning した BERTを用いてプログラム手続きの 生成タスクを学習することで，タスクへの適応を行 う二段階の手法である.

## 2 関連研究

プログラミング教育の分野において，エラーを可視化する学習支援ツールの研究 [10] や操作ログを用 いた初心者向け教育の研究 $[11,12]$, カードの操作 を基本とした学習システムの研究 [13] が行われてい る. プログラミング力と論理的思考力との相関に関 する分析 [14] では, 論理的思考力と言語能力を必要 とする論理的文章作成力とプログラミング力の関係 を分析し，プログラミング力は論理的思考力を主に 必要とすることが示されている.

汎用事前学習モデルである BERT は，双方向の Transformer[15]を用いたモデルである.トークンの

並び替え前

図 1 手続き学習システム

分散表現を出力する点は Word2Vec[16] と同様であ るが，BERT はコンテキストを考慮した分散表現が 得られる. 日本語に対応した BERT の事前学習モデ ルは幾つか公開されており, 本研究では東北大学の 乾研究室が公開している BERT[17]を利用している.

事前学習済みの BERTをニューラル機械翻訳に利用した研究 [18] では，Transformer ベースの機械翻訳 モデルの Encoder 部分を BERT に置き換えるモデル が提案されている.

## 3 手続き学習システム

プログラムには，プログラムの目的を達成するた めに必要な手続きを正しい順序で記述する必要があ る. 我々は，手続きをプログラムが動作する順序に 並び替える問題を解くことで，論理的思考力を養う システムを開発してきた. 手続き学習システムを図 1 に示す. 手続き学習システムでは，最初にプログ ラムの問題文と必要な手続きを左の画面のように表示する. 例の為替のプログラムでは，問題文と 6 個 の手続きが表示されている。次にユーザは手続きを プログラムが動作する順序に並び替える．右の画面 はユーザが並び替えた後の画面である．最後に手続 きの順序の正解，不正解を表示する。

## 4 プログラム手続きの生成

## 4.1 GRU による Seq2Seq を用いたプログ ラム手続きの生成 (ベースライン)

ベースラインとして，GRU[19]による Seq2Seqを 用いた問題文からプログラム手続きを生成する手法について述べる. プログラムの問題文とプログ ラム手続きを対訳データとして，Seq2Seqを学習す る. GRUによる Seq2Seqを用いた問題文からプロ

図 2 GRU による Seq2Seq を用いた問題文からプログラ ム手続きを生成するモデルの構造

図 3 BERT を用いた問題文からプログラム手続きを生成 するモデルの構造

グラム手続きを生成するモデルの構造を図 2 に示 す.また，モデルの定式化を式 (1) に示す. Encoder では問題文のトークン $T o k_{1}^{E}, \ldots, T o k_{N}^{E}$ を順に入力 し, 問題文全体の特徵を捉えたべクトル $h_{N}$ を作成 する. そして，Decoder がそのベクトル $h_{0}^{\prime}=h_{N}$ を 用いて，問題文に対応するプログラム手続きのトー クン $T o k_{2}^{D}, \ldots, T o k_{M}^{D}$ を生成する. $h_{t-1}^{\prime}$ は GRU の前 の隠れ状態である. ただし，隠れ状態の初期値 $h_{0}^{\prime}$ は Encoder 側の GRU の最後の隠れ状態 $h_{N}$ である.

$
\begin{aligned}
& p\left(\operatorname{Tok}_{2}^{D}, \ldots, \operatorname{Tok}_{M}^{D} \mid \operatorname{Tok}_{1}^{E}, \ldots, \operatorname{Tok}_{N}^{E}\right) \\
= & \prod_{t=2}^{M} p\left(T_{0} k_{t}^{D} \mid h_{t-1}^{\prime}, T_{0} k_{1}^{D}, \ldots, T o k_{t-1}^{D}\right)
\end{aligned}
$

英語と日本語の翻訳等とは異なり，短文 (問題文) から長文 (プログラム手続き)を生成するため，抽象的な情報を具体的な情報に分解する必要がある.事前学習をしていないため，大規模なコーパスから 得られる汎用知識は期待できず，分散表現に含まれ る情報は対訳データに含まれる情報のみとなる。つ まり，生成する際に必要な汎用知識等の情報が不足 し，モデルは問題文をプログラム手続きに分解する 論理的思考力を発揮できないと考えられる.

## 4.2 汎用事前学習モデルを用いたプログラ 厶手続きの自動生成

本研究では，汎用事前学習モデルの BERTを用い た問題文からプログラム手続きを生成する手法を 提案する．BERTを用いた問題文からプログラム手続きを生成するモデルの構造を図 3 に示す. モデル

図 4 BERT の pre-training と同様の方法による BERT 単体 の fine-tuning

図 5 fine-tuning した BERT を用いた問題文からプログラ ム手続きを生成するモデルの構造

の入出力はベースラインの手法と変わらず，プログ ラムの問題文とプログラム手続きを対訳データと して，モデルを学習する. ベースラインの Seq2Seq では GRUを用いた Encoder を使用しているのに対 し，このモデルでは Encoder を BERT に置き換えて いる. 汎用事前学習モデルである BERT はコンテキ ストを考慮した分散表現を作成でき，汎用知識も獲得していると考えられる. BERTを用いることで， Decoder が利用できる分散表現の情報が増え，生成 するプログラム手続きが改善されると考えている.

## 4.3 fine-tuning した汎用事前学習モデル を用いたプログラム手続きの自動生成

汎用事前学習モデルの BERT を用いたプログラム 手続きの生成手法では，プログラム手続きの生成と いうタスクを学習する過程で BERT も fine-tuning し ている。つまり，プログラム手続きの生成という夕 スクへの適応に加えて，プログラムの問題文という 特定ドメインへの適応も同時に行っていると捉える ことができる. 本研究では学習に小規模なデータを 用いるため，プログラムの問題文というドメインへ の適応を先に行うことで更なる改善を図れると考 えている. 本手法では，BERT 単体の fine-tuning を BERT の pre-training と同様の方法で行い，特定ドメ インへの適応を図る. そして, fine-tuning した BERT表 1 生成されたプログラム手続きの BLEU による平均評価

を用いてプログラム手続きの生成というタスクを学習することで，タスクへの適応を行う。

BERT の pre-training と同様の方法による BERT 単体の fine-tuning の概要を図 4 に示す. プログラムの 問題文をコーパスとして, fine-tuning 用のデータを 作成している. fine-tuning の手法は pre-training の手法と同様に, Next Sentence Prediction(NSP) と Masked LMを用いている. また， fine-tuning した BERTを 用いた問題文からプログラム手続きを生成するモ デルの構造を図 5 に示す. ベースラインの Seq2Seq の Encoderをプログラムの問題文というドメインに fine-tuning した BERT に置き換えている.

## 5 各モデルの評価

## 5.1 実験環境

評価するモデルは，ベースラインである GRUを 用いた Seq2Seq，BERTを用いた Seq2Seq, fine-tuning した BERTを用いた Seq2Seq の 3 種類である. デー タセットは，大学の情報科学科の講義で使用された $\mathrm{C}$ 言語のプログラムの問題文とプログラム手続きの ペア 46 個を用いた. 評価方法には，小規模データ である点を考慮し，5-Fold Cross Validationを用いた。各テストの平均を評価値としている。評価指標には 自動機械翻訳評価指標である BLEU[20]を用い，生成したプログラム手続きを評価した。

## 5.2 評価指標 BLEU を用いた評価

生成されたプログラム手続きの BLEU による平均評価を表 1 に示す. Encoder に BERTを用いたモ デルは，GRU の Encoder を用いたモデルと比較し て, BLEU が約 0.06 向上している. 汎用事前学習 モデルである BERT の有効性が確認できた. また， fine-tuning した BERTを用いたモデルでは，BERTを 用いたモデルと比べて，BLEUが約 0.03 向上してい る. あらかじめプログラムの問題文というドメイン に fine-tuning し，タスクの学習と分ける手法が有効 であることが分かる. GRU の Encoder を用いたモデ
表 2 各モデルのプログラム手続きの生成例と評価

 &  & 0.0862 &  & 0.3683 &  & 0.4164 \\

ルと比較すると, BLEUが約 0.09 向上し, 汎用事前学習モデルの効果は大きい.

## 5.3 プログラム手続きの生成例による評価

各モデルのプログラム手続きの生成例と評価を表 2 に示す. GRU の Encoder を用いたモデルは，「整数型変数の宣言」を 6 回繰り返して生成している. 整数値を 2 つ読み込むため, 正しくは fine-tuning した BERT を用いたモデルのように 2 回である. BERT をプログラムの問題文のドメインに fine-tuning した ことで，問題文の特徴を捉える能力が向上したと 考えている。また，GRUの Encoder を用いたモデル は，改行のトークンを繰り返し生成しているため,低いBLEU になっている. 2 つ整数値を比較して 条件分岐をし, 表示する部分の手続きは, GRU の Encoderを用いたモデルでは全く生成できていない. BERTを用いた 2 種類のモデルでは，条件分岐の手続きは生成できていないが，文章の表示は生成でき ている. 全体的には fine-tuning した BERTを用いた モデルが良い生成をしているが，過不足ない手続き の生成には改善が必要である.

## 6 おわりに

本研究では汎用事前学習モデルの BERTを用いた 問題文からプログラム手続きを生成する手法を提案した．BERTを Encoderとして用いることで，汎用知識も含めて問題文の特徴をより捉えた分散表現が得られ, 生成されたプログラム手続きが改善さ れた. さらに, fine-tuning した BERTを用いたプロ
グラム手続きの生成手法を提案した. 本研究では 小規模なデータを用いたため，ドメインとタスク の fine-tuning を分割して行い，ベースラインの GRU を用いた手法と比べ，BLEU で約 0.9 の向上を確認 した. 生成例においては過不足のない手続きの生成には至っていないため, Encoder 側だけでなく, Decoder 側の改善が今後の課題であると考えている.

## 参考文献

[1] Ministry of Education, Culture, Sports, Science and Technology. Elementary school programming education guide (2nd edition). https://www.mext.go.jp/ a_menu/shotou/zyouhou/detail/1403162.htm, 2018. Accessed May. 5, 2020 (in Japanse).

[2] Junko Shinkai, Yoshikazu Hayase, and Isao Miyaji. A trial of algorithm education emphasizing manual procedures. In Gregory Chamblee and Lee Langub, editors, Proceedings of Society for Information Technology \& Teacher Education International Conference 2016, pp. 113-118, Savannah, GA, United States, March 2016. Association for the Advancement of Computing in Education (AACE).

[3] Kohei Sakane, Nobuyuki Kobayashi, Hiromitsu Shiina, and Fumio Kitagawa. Kanji learning and programming support system which conjoined with a lecture. In IEICE Technical Report, Vol. 114 of ET2014-86, pp. 7-12, 2015.

[4] Sakuei Onishi, Akiyoshi Takahashi, Hiromitsu Shiina, and Nobuyuki Kobayashi. Automatic comment generation for source code using external information by neural networks for computational thinking. International Journal of Smart Computing and Artificial Intelligence(IJSCAI), Vol. 4, No. 2, pp. 39-61, 122020.

[5] Sakuei Onishi and Hiromitsu Shiina. Two-stage program procedure generation from problem statements us-
ing the seq2seq combination. In 2021 10th International Congress on Advanced Applied Informatics (IIAI-AAI), pp. 406-412, 2021.

[6] Ilya Sutskever, Oriol Vinyals, and Quoc V Le. Sequence to sequence learning with neural networks. In Advances in Neural Information Processing Systems 27 (NIPS 2014), pp. 3104-3112, 2014

[7] Thang Luong, Hieu Pham, and Christopher D. Manning. Effective approaches to attention-based neural machine translation. In Proceedings of the $\mathbf{2 0 1 5}$ Conference on Empirical Methods in Natural Language Processing, pp. 1412-1421, Lisbon, Portugal, September 2015. Association for Computational Linguistics.

[8] Alexander M. Rush, Sumit Chopra, and Jason Weston. A neural attention model for abstractive sentence summarization. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 379-389, Lisbon, Portugal, September 2015. Association for Computational Linguistics.

[9] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018

[10] Haruki Kanamori, Takahito Tomoto, and Takako Akakura. Development of a computer programming learning support system based on reading computer program. In Sakae Yamamoto, editor, Human Interface and the Management of Information. Information and Interaction for Learning, Culture, Collaboration and Business, pp. 63-69, Berlin, Heidelberg, 2013. Springer Berlin Heidelberg.

[11] Koki Okimoto, Shimpei Matsumoto, Shuichi Yamagishi, and Tomoko Kashima. Developing a source code reading tutorial system and analyzing its learning $\log$ data with multiple classification analysis. Artificial Life and Robotics, Vol. 22, No. 2, pp. 227-237, apr 2017.

[12] Shimpei Matsumoto, Koki Okimoto, Tomoko Kashima, and Shuichi Yamagishi. Automatic generation of c source code for novice programming education. In Masaaki Kurosu, editor, Human-Computer Interaction. Theory, Design, Development and Practice, pp. 65-76, Cham, 2016. Springer International Publishing.

[13] Shimpei Matsumoto, Yusuke Hayashi, and Tsukasa Hirashima. Development of a card operation-based programming learning system focusing on thinking between the relations of parts. IEEJ Transactions on Electronics, Information and Systems, Vol. 138, pp. 999-1010, 08 2018.

[14] Michiko Oba, Kei Ito, and Akio Shimogoori. Analysis of correlation between programming skills and technical writing skills. In IPSJ SIG Technical Report, Vol. 2015IFAT-118, pp. 1-4, 2015.

[15] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in neural information processing systems, pp. 5998-6008, 2017

[16] Tomás Mikolov, Kai Chen, Greg Corrado, and Jeffrey Dean. Efficient estimation of word representations in vec- tor space. In Yoshua Bengio and Yann LeCun, editors, 1st International Conference on Learning Representations, ICLR 2013, Scottsdale, Arizona, USA, May 2-4, 2013, Workshop Track Proceedings, 2013.

[17] 東北大学乾研究 室. cl-tohoku/bertbase-japanese-whole-word-masking . hugging face. https://huggingface.co/cl-tohoku/ bert-base-japanese-whole-word-masking, 2020.

[18] Kenji Imamura and Eiichiro Sumita. Recycling a pretrained BERT encoder for neural machine translation. In Proceedings of the 3rd Workshop on Neural Generation and Translation, pp. 23-31, Hong Kong, November 2019. Association for Computational Linguistics.

[19] Kyunghyun Cho, Bart van Merriënboer, Caglar Gulcehre, Dzmitry Bahdanau, Fethi Bougares, Holger Schwenk, and Yoshua Bengio. Learning phrase representations using RNN encoder-decoder for statistical machine translation. In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 1724-1734, Doha, Qatar, October 2014. Association for Computational Linguistics.

[20] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.


# 単語埋め込みを利用した商品に対するキーワードの予測

山口泰弘 深澤祐援 原島純
クックパッド株式会社
\{ yasuhiro-yamaguchi, yusuke-fukasawa, jun-harashima \}@cookpad.com

## 概要

出品者が商品情報を自由に入力できる EC サービ スでは，入力される商品名の多様性のため，出品さ れた商品がなにであるかを機械的に判断すること は難しい。本研究では，事前学習した単語埋め込み を用いて，予め定義されたキーワード集合の中から 商品名に最も関連するものを予測するモデルを提案する. クックパッドマートの商品を元に作成し たデータセットによる実験の結果，提案手法では Accuracy@5 で $95.8 \%$ の精度でキーワードの予測が 可能になった. また，注意機構を用いることで教師 なしの手法においても Accuracy@5 で 81.0\% の精度 で予測できることがわかった.

## 1 はじめに

出品者が商品情報を自由に入力できる EC サービ スでは商品名や商品説明の表記は出品者によって大 きく異なる。例えば食材を多く扱う EC サービスで あるクックパッドマートでは, 豚の小間切れ肉の商品名について “豚肉小間切れ”, “豚コマ”, “豚小間肉”など複数の表記が存在する。さらに，じゃがい もなどの野菜では “メークイン”や“キタアカリ”と いった品種名が記載される場合も多い。また，ユー ザーの購買意欲を高めるために “産地直送” “タイ ムセール”といったフレーズを含んでいるものもあ る. 検索や推薦といったタスクでは商品のカテゴリ や性質は有用な情報になり得るが，こうした表記の 多様性はその商品のカテゴリを機械的に判別するこ とを困難にする。

そこで本研究では, 事前学習した単語埋め込みに 基づく商品名とキーワードの類似性を利用してキー ワード集合の中から商品に関連するキーワードを割 り当てる機械学習モデルを提案する. 表 1 に本研究 で利用するデータセットの例を示す.データセット はクックパッドマートの商品をもとに作成した商品名とキーワードのペアからなり，モデルは与えられ

表 1 データセットの例

た商品名から対応するキーワードを予測する．本研究ではこのデータセットに基づいて提案手法の有効性を検証する。

## 2 関連研究

EC サービス上の商品名を元に商品をカテゴリに 分類する手法がいくつか提案されている. Cevahir ら [1] は商品を階層化された 2 万以上のカテゴリに 分類するために自己符号化器の近傍などを利用して 階層的に予測を行う分類モデルを提案した。

Chen ら [2] は商品を詳細なカテゴリに分類するた めに，商品名や説明文中の商品カテゴリに相当する 語に着目するニューラル分類器を提案している.

Cevahir らと Chen らの手法はいずれもカテゴリを 分類ラベルとして予測するものであり，商品情報と カテゴリの文字列的・意味的な類似性を直接的に考慮するものではないという点で本研究とは異なって いる.

また，テキストデータから商品の情報を抽出する 先行事例として [3] や [4]がある. これらの手法は 系列ラベリングを用いてテキスト中から属性情報を 抽出する. 本研究は予め定義されたキーワード集合 に分類するという点でこれらの手法とは異なる.

## 3 提案手法

本研究では，事前に定義したキーワード集合の中 から与えられた商品名に最も関連のあるキーワード を予測するモデルを提案する。

図 1 に提案モデルの構造を示す.このモデルでは 商品名とキーワードの類似度を計算し, 商品名との

図 1 キーワード予測モデルの構造

類似度が最も大きいキーワードを選択することで予測を行う. 商品名とキーワードの類似度の計算手順 を次に示す:

1. 商品名・キーワードに対して形態素解析を行い 単語ごとに分割する

2. 商品名・キーワードの各単語を事前に学習した fastText[5] を用いてべクトルに変換する

3. 商品名・キーワードの単語ベクトル列をそれぞ れ Highway BiLSTM により変換する (3.1 節)
4. 3 で変換したべクトルをもとに注意機構を用い て商品名の単語ベクトルをキーワードの単語べ クトルとの類似度で重み付ける (3.2 節)

5. 商品名・キーワードの単語ベクトル列をそれぞ れ平均して商品名ベクトル・キーワードベクト ルを計算する (3.2 節)

6. 商品名ベクトル・キーワードベクトル同士のコ サイン類似度を商品名とキーワードの類似度と する (3.3 節)

## 3.1 Highway BiLSTM (H-BiLSTM)

本研究では学習済み fastText の特徴量を効果的 に利用するために Highway 構造 [6] を導入した BiLSTMをエンコーダーに利用する。ここでは Hightway BiLSTM (H-BiLSTM) を以下のように定義 する. $\boldsymbol{X}=\left(\boldsymbol{x}_{1}, \boldsymbol{x}_{2}, \cdots, \boldsymbol{x}_{T}\right)$ は BiLSTM の入力となる ベクトル系列であり， $\sigma$ はシグモイド関数を表す.

$
\begin{aligned}
\boldsymbol{H} & =\operatorname{BiLSTM}_{\text {highway }}(\boldsymbol{X}) \\
\boldsymbol{G} & =\sigma\left(\operatorname{BiLSTM}_{\text {gate }}(\boldsymbol{X})\right) \\
\boldsymbol{Z} & =\boldsymbol{G} \circ \boldsymbol{H}+(1-\boldsymbol{G}) \circ \boldsymbol{X}
\end{aligned}
$

事前実験の結果から，本研究では商品名・キー
ワードの fastText ベクトル列をパラメータを共有し た同一の H-BiLSTM を用いてエンコードする.

## 3.2 注意機構

商品名には “産地直送” “タイムセール”といっ たキーワードに直接関係のない語彙が含まれている ものが多く存在する。本研究ではこうしたキーワー ドに無関係な単語の影響を小さくするために，注意機構を用いた商品名の単語に対する重み付けの仕組 みを導入する。

商品名 $p$ の $n$ 番目の単語に対する重み $a_{n}$ をキー ワード $k$ の単語とのコサイン類似度を利用して次の ように定義する。

$
a_{n}=\frac{1}{M} \sum_{m=1}^{M} \cos \left(z_{n}^{(p)}, z_{m}^{(k)}\right)
$

ここで $\boldsymbol{Z}^{(p)}=\left(z_{1}^{(p)}, z_{2}^{(p)}, \cdots, z_{N}^{(p)}\right), Z^{(k)}=$ $\left(z_{1}^{(k)}, z_{2}^{(k)}, \cdots, z_{M}^{(k)}\right)$ はそれぞれ H-BiLSTM を通し て計算した商品・キーワードの単語ベクトル系列と する。

商品名とキーワードに対応するベクトルをそれぞ れ以下の定義に従って計算する。

$
\begin{aligned}
\hat{z}^{(p)} & =\frac{1}{N} \sum_{n=1}^{N} a_{n} z_{n}^{(p)} \\
\hat{z}^{(k)} & =\frac{1}{M} \sum_{m=1}^{M} z_{m}^{(k)}
\end{aligned}
$

キーワードの単語列は十分短く，予測に不必要な 単語が含まれることもほとんどないため単語の重み 付けは商品名のみを対象とした。

## 3.3 類似度と損失関数

商品名 $p$ とキーワード $k$ の類似度 $s(p, k)$ は $\hat{z}^{(p)}$, $\hat{z}^{(k)}$ のコサイン類似度で以下のように定義する。

$
s(p, k)=\cos \left(\hat{z}^{(p)}, \hat{z}^{(k)}\right)
$

モデルの学習では商品名と関連するキーワードの ペアからなるデータセット Dを用いて以下の損失関数を最小化する。

$
L=-\sum_{(p, k) \in \mathscr{D}} \log \left(\frac{e^{s(p, k)}}{e^{s(p, k)}+\sum_{k^{\prime} \in \mathcal{N}_{k}} e^{s\left(p, k^{\prime}\right)}}\right)
$

$\mathcal{N}_{k} \subseteq \mathscr{K} \backslash\{k\}$ は全キーワード集合 $\mathscr{K}$ から商品名 $p$ の正例であるキーワード $k$ を除いてネガティブサン プリングを行い得られた負例のキーワード集合を表 す. 対照学習では負例サンプリングにおいて識別困難な事例を優先的に利用することでモデルの性能向上につながることが知られている [7]. 本研究で は，1つの事例に対して負例のキーワード集合の中 から 128 件をランダムに選んで商品名との類似度を 計算し，この中から類似度が最も小さい上位 8 件の キーワードを hard example として損失の計算に利用 した.

## 4 実験

## 4.1 データセット

クックパッドマートに出品されている 8,881 件の 商品に対して食材を表すキーワードの割り当てを人手で行った. 一度アノテーションしたあとで割り当 てたキーワードに対する表記摇れの修正やキーワー ドの統合などの処理をした結果，ユニークなキー ワードの数は 1,350 件となった. アノテーションし たデータセットをランダムに Train, Valid, Test の 3 つに分割し, モデル学習と評価に利用した. データ セットのより詳細な統計情報は付録 A に記す。

## 4.2 比較手法

本研究では以下のモデルを用いて性能の比較を 行った.

TF-IDF 類似度: 商品名・キーワードをそれぞれ 単語分割した後 TF-IDFによるべクトル化を行い, TF-IDF ゙クトルのコサイン類似度が最も大きい商品名・キーワードを対応づける教師なしモデル.
fastText 分類器: 商品名の fastText ベクトル列を平均した商品名べクトルを入力とし, 順伝播型ニュー ラルネットワークを通してキーワードごとにクラス 分類を行う教師ありモデル.

fastText 類似度: 商品名・キーワードの単語ベクト ル列の平均ベクトルを計算し，各ベクトルのコサイ ン類似度が最も大きい商品名・キーワードを対応づ ける教師なしモデル。

fastText 類似度 + 注意機構: 商品名の fastText ベク トルを注意機構で重み付けした後，fastText 類似度 を計算する手法. 提案手法から H-BiLSTM 層を除い たモデルと同等.

H-BiLSTM 類似度: 提案手法から注意機構を除い た教師ありモデル．

H-BiLSTM 類似度 + 注意機構: 本研究の提案手法 である教師ありモデル。

本研究では単語埋め込みとしてクックパッドに公開されている約 350 万レシピのタイトルを用いて学習した fastText モデルを利用した. fastText の詳細は 付録 Bに記す.レシピのタイトルの単語分割には MeCab (Unidic 辞書)を用いた。

各モデルは Train データで学習し, Valid データで ハイパーパラメータの選択と Early Stopping を行い， Test データを用いて精度の比較を行った。

## 5 結果と考察

表 2 Test データに対する実験結果

表 2 に Test データに対する各手法の精度を示す.実験の結果，いずれの指標においても提案手法が最 も高い精度となった。

また教師ありの fastText 分類器と教師なしの fastText 類似度+注意機構の精度を比較すると，いず れの指標でも教師なし注意機構モデルが高い精度 となった.この結果から, 本タスクにおいては単に キーワードをラベルとして予測するよりも注意機構 を用いて商品名とキーワードの類似性を考慮した予測を行うことが重要であると考えられる.

表 3 上位 5 件の予測結果の例

## 5.1 エラー分析

表 3 にモデルの予測結果の例を示す.“ギンダラ/銀だら” や“シルクスイートハさまいも”のように 表記摇れや品種名の記載によってキーワードの文字列が商品名に含まれない場合であっても関連する キーワードを予測できていることがわかる.

一方，“お刺身用生桜海老（台湾産）”の例では“刺身”が最も関連するキーワードとして予測されて いる。また，“紫にんじん”に対する予測結果をみて みると“紫”が含まれるキーワードが多く予測され ていることがわかる. fastText は単語の共起性に基 づいて学習を行うため，“紫”や“刺身”のように多 くのコンテキストで出現する語は他の多くの単語に 対して高い類似度になる傾向がある。この傾向が提案モデルの予測結果にも現れていると考えられる。

## 5.2 注意機構の効果

表 2 から fastText 類似度・H-BiLSTM 類似度のそれ ぞれで注意機構の有無による精度を比較すると，い ずれの指標においても注意機構を用いた場合に精度 が向上した. 特に教師なしの fastText 類似度モデル では注意機構の利用で各指標がそれぞれ $+10 \%$ 程度 の上昇が確認できた。一方，教師ありの H-BiLSTM 類似度モデルでは fastText 類似度モデルの場合ほど 大きな性能向上は見られなかったが，各指標におい $\tau+1 \%$ 程度の改善が見られた. 以上の結果から類似度の計算において注意機構を用いることがキー ワード予測モデルの性能向上につながると考えら れる。

## 5.3 Highway 構造と Hard Negative Sampling

提案手法における Highway 構造と Hard Negative Sampling の影響を調べるために, Highway BiLSTM を通常の BiLSTM に置き換えたものと，キーワード の Negative Sampling をランダムに行ったものでそれ ぞれ実験を行った. 図 2 に学習中の Valid データに 対する Accuracy@5 の推移を示す.
まず Hard Negative Sampling を行った手法で BiLSTM (BiLSTM with HNS) と Highway (H-BiLSTM with HNS) を比較すると，H-BiLSTM の方が高い精度を 達成したものの大きな差は見られなかった。一方 HNS を行わずランダムに負例を選択した手法を比較すると，BiLSTM (BiLSTM with NS) では学習を進 めると Valid データにおける精度が下がる傾向が見 られた。

fastText 類似度+注意機構の教師なしモデルでも 比較的高い精度で予測できることから，学習済み fastText が類似度を測る上で重要な特徴量であるこ とがわかる. Highway 構造により学習済み fastText のベクトルをバイパス可能にすることで, fastText の 特徵量を効果的に学習に活用できると考えられる。

図 2 学習中の Valid データに対する正解率の推移

## 6 おわりに

本研究では学習済み fastText ベクトルを用いて商品名からキーワードを予測する機械学習モデルを提案した。クックパッドマートのデータを用いた実験 の結果，提案手法を用いることで Accuracy@5 95.8\% の精度で予測することができた．また，注意機構を 用いることで教師なしでも比較的高い精度でキー ワードの予測が可能になることが示された。

一方，商品名に出現頻度の高い語が含まれる場合 には上位の予測結果として関連の低いキーワードが 予測されることが確認できた。より高い精度で予測 を行うにはこうした単語埋め込みの特性を考慮した 仕組みが必要になると考えられる。

## 参考文献

[1] Ali Cevahir and Koji Murakami. Large-scale multi-class and hierarchical product categorization for an E-commerce giant. In Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics: Technical Papers, pp. 525-535, Osaka, Japan, December 2016. The COLING 2016 Organizing Committee.

[2] Hongshen Chen, Jiashu Zhao, and Dawei Yin. Fine-Grained Product Categorization in E-commerce. In Proceedings of the 28th ACM International Conference on Information and Knowledge Management, pp. 2349-2352, Beijing China, November 2019. ACM.

[3] Rayid Ghani, Katharina Probst, Yan Liu, Marko Krema, and Andrew Fano. Text mining for product attribute extraction. ACM SIGKDD Explorations Newsletter, Vol. 8, No. 1, pp. 41-48, June 2006.

[4] Huimin Xu, Wenting Wang, Xin Mao, Xinyu Jiang, and Man Lan. Scaling up Open Tagging from Tens to Thousands: Comprehension Empowered Attribute Value Extraction from Product Title. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 5214-5223, Florence, Italy, 2019. Association for Computational Linguistics.

[5] Piotr Bojanowski, Edouard Grave, Armand Joulin, and Tomas Mikolov. Enriching word vectors with subword information. Transactions of the Association for Computational Linguistics, Vol. 5, pp. 135-146, 2017.

[6] Rupesh Kumar Srivastava, Klaus Greff, and Jürgen Schmidhuber. Highway Networks. arXiv:1505.00387 [cs], November 2015. arXiv: 1505.00387 .

[7] Florian Schroff, Dmitry Kalenichenko, and James Philbin. Facenet: A unified embedding for face recognition and clustering. 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 815-823, 2015.

## A データセット統計

本研究で作成したデータセットの統計情報を表 4 に示す. ユニークキーワード数は各サブセットにお けるユニークなキーワードの個数を表す.

表 4 データセットの統計

各キーワードが割り当てられた商品数の頻度分布 を図 3 に示す.この図からキーワードの頻度分布は ロングテールであることがわかる.

図 3 データセット中のキーワードの頻度分布

## B fastText の詳細

fastText の学習ではクックパッド上のレシピタイ トルに対して skip-gramによる学習を行なった。 八 イパーパラメータの設定は Bojanowski ら [5] の実装 における既定値 ${ }^{1)}$ 利用し， 100 次元の単語埋め込 みを学習した。

表 5 学習した fastText における近傍の単語

学習した fastText ベクトルのコサイン類似度を元 に，いくつかの単語の近傍を抽出した結果を表 5 に 示す.この表から, fastText の学習によって表記の 違いや食材と品種名の対応がある程度考慮できてい ることがわかる。一方“紫”や“刺身”といった単語 では，同じコンテキストで使われやすい複数種類の 食材などが近傍にあることがわかった.

1) https://github.com/facebookresearch/fastText/tree/v0. 9.2/python\#train_unsupervised-parameters


# 『現代日本語書き言葉均衡コーパス』に対する印象評定情報付与

加藤祥

目白大学

浅原 正幸
国立国語研究所
masayu-a@ninjal.ac.jp

## 概要

本研究では『現代日本語書き言葉均衡コーパス』 の短単位動詞・長単位自立語・文節を刺激として、一般の方の印象評定情報を収集した。「自然さ」「わ かりやすさ」「古さ」「新しさ」「比喻性」の 5 観点 について「0:まったく違う」から「5:そう思う」の 6 段階評価を行った。これらの印象評定情報に基づい て、既存の代表義情報を線形回帰するモデルを構築 し、コーパスにあてはめることにより典型用例を抽出することを試みた。

## 1 はじめに

本研究では、クラウドソーシングにより、印象評定情報を『現代日本語書き言葉均衡コーパス』に付与したので報告する。

『分類語彙表』に対する単語親密度データベース WLSP-Familiarity $[1,2]^{1)}$ は辞書の見出しを刺激とし て、「知っている」「書く」「読む」「話す」「聞く」の 5 観点について評定値を収集したものである。一方、単語親密度は単語に対する評定値であり、実際に使用されている文脈でどのように捉えられているかが わからないという問題があった。さらに多義語につ いては語義ごとの親密度の判定が困難であった。 そこで『現代日本語書き言葉均衡コーパス』[3] （以下 BCCWJ）の文脈を呈示し、その印象評定情報 を収集したので報告する。具体的には、国語研短単位動詞・国語研長単位自立語・文節単位に「自然さ」「わかりやすさ」「古さ」「新しさ」「比喻性」の 5 観点について 0 (全く違う) 5 (そう思う) の 6 段階評価 を収集した。本稿では、印象評定情報の収集方法を 解説するとともに、データの基礎統計などについて 示す。さらに、代表義情報をこれらの印象評定情報 に基づき回帰することで、コーパス中の典型用例を 抽出することを試みたので報告する。

## 2 関連研究

## 2.1 印象評定情報

NTT データベースシリーズ『日本語の語彙特性』2) は、人間の言語機能の解明を目指し、様々な観点で 語彙の特徴を検証した世界最大規模のデータベース である。『日本語の語彙特性』の中には、そのほか に単語親密度・単語表記の妥当性・単語アクセント の妥当性・漢字親密度・漢字複雑度・漢字の読みの 妥当性・単語心像性などの人の主観的な評定データ のほか、新聞などの語彙の出現頻度に基づく客観的 なデータも収録されている。その中で単語親密度 データベース (平成版) $[4,5]$ は語彙の親密度（なじ みの有無）を収集した先進的な語彙データベースで ある。また、最初の調査から年月を経て、人の語彙 のとらえ方が変遷しつつあるなか、単語親密度デー タベース（令和版）[6] も構築され、世界最大規模の データベースが公開された [7] ${ }^{31}$ 。さらに、単語心像性データベース [8] では、文字刺激・音声刺激に 対する「意味内容を感覚的にイメージする際の容易 さ」の収集が行われた。

国語研では、『分類語彙表』に対する単語親密度 の推定 [1,2] を継続的に進めているほか、種々の語彙表を公開している $[9,10]^{4)}$ 。これらの国語研の語彙データベースは、多義語について人がどのように 語彙をとらえているかについては明らかにできない ものであった。多義語の語義調査を目指し、2021 年 に語義情報を付与されている IPAL 辞書の用例に対 して印象評定情報付与 $[11,12]$ を試験的に行った。本研究では、同研究を BCCWJ に拡張し、日本語の 多義語の印象評定情報の付与を進める。

## 2.2 中心義・基本義・代表義・典型用例

多義語における語義の認定は、当該言語において 定着した意味として、一般的に辞書へ記載されるも のと考えられる。瀬戸 [13]、多義の記述において、中心義の設定、意義の認定、意義関係の明示、意義 の配列を議論する。多義語の語義認定には、関連語 の対応による認定 $[14,15]$ 、個別義認定の分離・統合 テスト [16] などの認定基準が検討されている。

多義語には何らか中心的な意味が存在する [17] と され、中心義・基本義・代表義などと呼ばれる。派生関係を考える場合には歴史的な変化に基づき出現年代順が重要視されるが、多義構造は再編成される ために、現在一般の方が想定する典型性のある中心的な語義が必ずしも歴史的な変化に基づくとは限ら ない。中心的な意味は一様に定められるものではな く、例えば瀬戸 [13] は (i) 文字通り、(ii) 他意義の前提、(iii) 具象性が高い、(iv) 認知しやすい、(v) 想起 しやすい、(vi) 用法上の制約を受けにくい、(vii) 意義展開の起点（接点）となることが多い、(viii) 言語習得の早い段階で獲得される、(ix) 使用頻度が高い の9 特性を挙げている。

言語資源としては、『分類語彙表』増補改訂版の 多義語に対して、専門家により代表義を付与する作業を実施したものがある [18]。BCCWJ に付与され た分類語彙表番号データ [19] からコーパス中の専門家による代表義認定用例が認定できるほか、IPAL 辞書における語義に対しても分類語彙表番号が付与 されていることから、IPAL 辞書における代表義を 認定することも可能である。しかしながら、これら の認定は専門家によるものであり、一般の読み手の 判断とは差のある可能性も考えられる。先に述べた とおり、IPAL 辞書の用例に対して印象評定情報付与 [11]を行っていることから、専門家が代表義と 認定する用例が、一般の読み手がどう捉えるのかに ついて線形回帰により求めることも可能になった [12]。本研究では、この線形回帰式を今回収集した BCCWJ に付与された印象評定情報にあてはめるこ とで、代表義用例および典型用例の抽出を試みる。

## 3 データの収集手法

本節ではデータの収集方法について示す。

収集対象は BCCWJ のうち、短単位に基づいて 語義情報が付与されている BCCWJ-WLSP (書籍, 新聞, 雑誌) [19] と読み時間情報が付与されている
BCCWJ-SPR (書籍, 教科書) [20] とする。

前者の BCCWJ-WLSP は、BCCWJ コアデータの 書籍, 新聞, 雑誌サンプルの一部（約 33 万語）の短単位自立語に対して分類語彙表に基づく語義を 付与したものである。分類語彙表に基づく語義情報と評定情報を対照することを目的として、この BCCWJ-WLSP のサンプルに対して、試験的に短単位動詞と短単位サ変名詞+「為る」を対象として、1 例あたり 20 人の評定値を 2021 年 4 月 5 日〜 5 月 3 日に収集した。さらに長単位自立語に対して、 1 例 あたり 10 人の評定値 ${ }^{5}$ を 2021 年 11 月 17 日〜 12 月 6 日に収集した。

後者の BCCWJ-SPR2 は、BCCWJ のコアデータの 書籍と国語科教科書サンプルを、文節単位の自己 ペース読文法により、読み時間データを収集したも のである。読み時間のふるまいを評定情報で説明す ることを目的として、この BCCWJ-SPR2 のサンプ ルに対して、文節を対象として、1 例あたり 10 人の 評定値を 2021 年 11 月 17 日〜 12月 6 日に収集した。

浮かれ踊りながら【踏み固め】ていた。

5. 何かを他の物事でたとえ (比倹) ていますか。

0 : まつたく違う

$\mathrm{O}_{2}$

$5:$ そう思う

[BCCW] PM12_00011 2110]

図 4 印象評定情報収集画面

評定情報収集画面を図 4 に示す。画面の上に 1 文単位で例文を表示し、判定してもらいたい表現を【
人分の評定值を追加で収集した。

表 1 評定値の収集対象

図 1 評定値の分布（BCCWJ-WLSP : 短単位動詞 : ビン幅 0.05 )

図 2 評定値の分布（BCCWJ-WLSP：長単位自立語：ビン幅 0.10 )

図 3 評定値の分布（BCCWJ-SPR2：文節：ビン幅 $0.10 ）$

で示した。評定値は、「自然さ」「わかりやすさ」「古 さ」「新しさ」「比喻性」の 5 観点について、「0: まっ たく違う」から「5:そう思う」までの 6 段階評価と した。実験協力者は日本の Yahoo! クラウドソーシ ングのアカウントを持つ 20 歳以上の方とし、 1 回答 あたり 1 円相当の謝礼ポイントを支払った。また、 90\%以上について同一の回答をした方を、回答でき ないような処理を随時行った。

## 4 データの基礎統計

図 1, 2,3 に、BCCWJ-WLSP の動詞短単位・BCCWJWLSP の長単位自立語・BCCWJ-SPR2 の文節に対す る表現ごとの平均評定値のヒストグラムを示す。い ずれのサンプルも書籍・新聞・雑誌・教科書などで 公刊されているものなので、自然さとわかりやすさ が高い。また書籍・新聞・雑誌については2001-2005 年に公刊されたものを対象としているが、全体的に 古くも新しくもない傾向が見られた。さらに比喻性
についても低い傾向が見られた。付録の 4 に各評定値の上位・下位事例を示す。

## 5 評定情報に基づく典型用例の推定

 & & & + & & - \\

表 2 瀬戸の中心義特性と本研究の印象評定情報との関係

同様の評定情報をすでに IPAL 辞書用例に付与し ており[11]、この 5 つ組の評定情報から代表義性を 線形回帰する試みが行われている [12]。これは、瀬戸 [13] の中心義特性を印象評定情報として定義しな

おし(表 2)、一般の方の印象評定の組み合わせから、基本義・代表義・典型用例を推定する試みである。同研究では、代表義情報を $5 \sim 1$ の代表義度 6 ) とし て数値化したものを、印象評定値を固定効果とし、用例をランダム効果とした次式による一般化線形混合モデルにより回帰して行った。

代表義度～自然さ+わかりやすさ+古さ+新しさ+比喻性 + (1| 用例 $)$

表 3 IPAL 用例における代表義度の回帰（動詞）[12]

推定した固定効果推定値を表 3 に示す。表 2 の瀬戸の中心義特性との関係では、古さが+(i) 文字通 り、(vii) 意義展開の起点（接点）となることが最も 多い)、新しさが-((ii) 他意義の前提、(ix) 使用頻度 が高い)を想定していたが、得られた推定値は古さ がー、、新しさが+の係数であった。

以下では短単位動詞の評定結果に基づき、より代表義性の高い「典型用例」を抽出することを試み る。具体的には、同研究で得られた次の線形回帰式 をあてはめる：

推定代表義度 (動詞) := $0.012 \times$ 自然さ $+0.033 \times$ わかりやすさ $-0.015 \times$ 古さ $+0.018 \times$ 新しさ $-0.024 \times$比喻性 +1.965

付録の表 4 に短単位動詞に対して検討した推定代表義度上位・下位のものについて示す。表中「出現位置」に S がついているものはサ変動詞「為る」 の用例のうち、サ変名詞が左に隣接するものについ て、連結して呈示したものである。代表義度上位の ものは、現代日本語で定着した外来語が多く見られ た。代表義度下位のものは、「古さ」「比喻性」の評定値が高い用例が多くみられた。

付録の表 5 に多義の短単位動詞「掛かる」(語彙素番号：6016）の分類語彙表番号ごとの平均評定値 (マ クロ平均）を示す。用例数としては「. 16 関係-時間」 が 27 件と最も多く、代表義度も 2.114 と高い水準で あった。一方、代表義度が最も高い「. 31 活動-言語」 は「電話がかかる」の意味だが、用例としては 1 事

$\ulcorner\triangle \perp: 3,\ulcorner\times 」: 2$, その他 (「?」など) $: 1$ とした。例のみであった。近年電話がかかってくることも少 なくなっており、用例数が少なくなることが想定さ れ、いずれ代表義度も低くなる可能性がある。

付録の表 6 に「掛かる」の代表義度上位・下位用例を示す。代表義度上位の用例は「. 11 関係-類」お よび「. 16 関係-時間」であった。代表義度下位の用例は「. 3370 活動-生活-遊楽」(囲碁における用語)、「. 1502 関係-作用-開始」(はじめる)、「. 1513 関係-作用-固定・傾き・転倒など」（覆いかぶさる）などで あった。興味深いことに、本来比喻性のない字義的 な語義である PM29_00003 の例「それ（髪）が【か かっ】た肩先」(. 1513 関係-作用-固定・傾き・転倒 など）の代表義が低い。一方、抽象性の高い「. 1110 関係-類-関係」「. 1600 関係-時間-時間」「. 3730 活動経済-価格・費用」などが代表義度が高く、さらには 本来比喻表現であるのにも関わらず比喻性が低い傾向が見られた。

## 6 おわりに

本研究では、コーパスの用例に対する印象評定 データの構築を行った。BCCWJ の語義が付与され た部分 (BCCWJ-WLSP) と読み時間が付与された部分 (BCCWJ-SPR2) に対して、短単位動詞・長単位・文節単位に、自然さ・わかりやすさ・古さ・新しさ・比喻性の評定値を収集した。さらに、短単位動詞に ついては、得られた印象評定情報から代表義度を線形回帰により推定し、コーパス用例の典型用例抽出 を試みた。

コーパスにおける出現度数と一般的な読み手の評定値とを対照することで、語の生産実体・受容実体 を確認することができる。また、代表義度の推定や 典型用例の抽出は、多義語における中心的な意味・基本的な意味の解明に寄与するほか、文法性・非文法性の判断にも寄与する。さらには、言語学習者に 用例を提示するにあたり、典型用例を提示すること が言語の流暢性の醸成に役立つと考える。

今後、BCCWJ-WLSP における語義との対照を行 うことで、語義の転換が発生している箇所におい て、一般的な読み手が比喻性を感じるかなどを調査 する。さらに、文節単位に付与された印象評定情報 と読み時間とを対照することで、読み時間が変化す る表現を印象評定情報の観点から解明したい。

## 謝辞

本研究は国立国語研究所コーパス開発センター 共同研究プロジェクトの成果です。また、科研費 18H05521,18K18519、国立国語研究所第 4 期共同研究プロジェクト事前準備経費の支援を受けました。

## 参考文献

[1]浅原 正幸. Bayesian linear mixed modelによる 単語親密度推定と位相情報付与. 自然言語処理, 27(1):133-150, 2020.

[2]浅原 正幸. クラウドソーシングによる単語親密度デー 夕の構築 (2021 年版). In 言語処理学会第 28 回年次大会発表論文集, 2022.

[3]Kikuo Maekawa, Makoto Yamazaki, Toshinobu Ogiso, Takehiko Maruyama, Hideki Ogura, Wakako Kashino, Hanae Koiso, Masaya Yamaguchi, Makiro Tanaka, and Yasuharu Den. Balanced corpus of contemporary written japanese. Language Resources and Evaluation, 48:345-371, 2014.

[4]天野 成昭 and 近藤 公久, editors. 単語親密度, NTT デー タベースシリーズ 日本語の語彙特性第 $l$ 巻. 三省堂, 1999.

[5]天野成昭 and 近藤 公久, editors. 単語親密度増補, NTT データベースシリーズ 日本語の語彙特性第 9 巻. 三省堂, 2008 .

[6]藤田早苗 and 小林 哲生. 単語親密度の再調査と過去の データとの比較. In 言語処理学会第 26 回年次大会発表論文集, pages 1037-1040, 2020.

[7]NTT コミュニケーション科学基礎研究所.

[8]佐久間 尚子, 伊集院 睦雄, 伏見 貴夫, 田中正之, 天野成昭, and 近藤 公久. NTT データベースシリーズ 日本語 の語彙特性 第 8 巻 単語心像性. 三省堂, 2008 .

[9]加藤 祥 and 浅原 正幸. 『現代日本語書き言葉均衡コー パス』出版書籍サンプルの NDC 別語彙分布語彙分布. In 言語資源活用ワークショップ 2021, pages 218-225, 2021.

[10]加藤 祥, 森山 奈々美, and 浅原 正幸. 『現代日本語書き 言葉均衡コーパス』新聞記事情報を用いたジャンル別語彙分布. In 言語資源活用ワークショップ 2021, pages 160-170, 2021 .

[11]加藤 祥 and 浅原 正幸. 多義語語義調査を目指した IPAL 形容詞例文への印象評定情報付与. In 言語処理学会第 27 回年次大会発表論文集, pages 1120-1025, 2021.

[12]加藤祥 and 浅原正幸. Ipal 用言例文への印象評定情報付与と代表義 - 典型用例の抽出. 計量国語学, 33(3):178-183, 2021.

[13]瀬戸 賢一. 多義記述の問題点とその解法一日本におけ る正しい多義記述の出発点-. In 日本認知言語学会論文集, pages 507-517, 2019.

[14]国広 哲弥. 意味論の方法. 大修館書店, 1982.

[15]籾山 洋介. 認知意味論のしくみ. 研究社出版, 2002.

[16]松本 曜. 多義性とカテゴリー構造. In 澤田 治美, editor, ひつじ意味論講座, volume 1, pages 23-43. 2010.

[17]瀬戸 賢一.メタファーと多義語の記述. In 楠見 孝, editor, メタファー研究の最前線, pages 31-61. ひつじ書房, 東京, 2007.
[18]山崎 誠 and 柏野 和佳子.『分類語彙表』の多義語に対 する代表義情報のアノテーション. In 言語処理学会第 23 回年次大会発表論文集, pages 302-305, 2017.

[19]加藤 祥, 浅原 正幸, and 山崎誠. 分類語彙表番号を付与 した『現代日本語書き言葉均衡コーパス』の書籍・新聞・雑誌データ. 日本語の研究, 15(2):134-141, 2019.

[20]浅原 正幸. クラウドソーシングによる大規模読み時間 データ収集. In 言語処理学会第 27 回年次大会発表論文集, pages 1156-1161, 2021.
付録：

 & 2.18805 \\

表 4 推定代表義度に基づく典型用例の抽出（短単位動詞）

表 5 短単位動詞「掛かる」語彙素番号:6016 の分類語彙表番号別評定値

 & 41660 & 4.65 & 4.55 & 1.65 & 1.45 & 0.6 &  & 2.1579 \\

表 6 短単位動詞「掛かる」語彙素番号:6016 の推定代表義度上位・下位用例


# ComeJisyoUtf8-3 の誤解析調査
## 一看護師・助産師・管理栄養士国家試験問題文の語分割一

\author{
相良かおる \\ 西南女学院大学 保健福祉学部 \\ sagara@seinan-jo.ac.jp
}

## 概要

実践医療用語辞書 ComeJisyoUtf8-3 の語分割の精度を, 看護師・助産師・管理栄養士国家試験問題文 を解析し調べた。

その結果, 全見出し語が 48,191 語, その内, 未知語成分が 1,108 語 $(2.3 \%)$ ）これらから成る未知語 が 382 語 (異なり 320 語), そして誤解析 (過分割) された登録語の見出し語が 421 語 $(0.9 \%)$ ），当該登録語が 155 語（異なり 47 語）であった.これらに は, 数字や記号を含む登録語の過分割が多くあった.

## 1 はじめに

筆者は，電子化された医療記録データの自然言語処理を支援するために実践医療用語を見出し語とし た分かち書き用辞書 ComeJisyoV1 を 2008 年 11 月に 公開した. その後, 随時更新し, 2021 年 3 月公開の ComeJisyoUtf8-3 の登録語数は約 12 万語となった. なお，門外不出の医療記録に含まれる実践医療用語の語構成や語種構成の実態は不明であるため, 語 の単位認定の規則を定めず，医療従事者が一つのま とまった語としたものを登録している.

ComeJisyoUtf8-3 の登録語は, 看護経過記録, プロ グレスノート, 医師経過記録, 看護師・助産師・管理栄養士の国家試験問題文（1998 年度～2019 年度） から抽出しているが, 利用状況を調べると, 退院サ マリ, インシデントレポート等, 多様な医療文書の 解析に利用されている[1][2]. そして, ComeJisyo の ダウンロード数は 2015 年以降増加している (図1).

Google Scholar で検索語を “ComeJisyo” として検索するとi, 通年での検索件数は 41 件, 期間を 2015 年〜2021 年に絞ると 34 件, “ComeJisyo” と “machine learning”の AND 検索では共に 11 件, “ComeJisyo” と“機械学習” の AND 検索では, 10 件と 8 件とな
り,機械学習に関する研究での利用が増加している.

図 1 ComeJisyo ダウンロード数の推移

なお，筆者が ComeJisyo を公開する目的は，医療施設内，または診療科内で蓄積されたスモールデー 夕の自然言語処理の支援である。

一般に単語分割の評価基準には, 精度, 再現率, F 值が用いられる[3].

$
\begin{aligned}
& \text { 精度 }=\frac{\text { 正しく抽出された単語数 }}{\text { システが出力した単語数 }} \\
& \text { 再現率 }=\frac{\text { 正しく抽出された単語数 }}{\text { 正解の単語数 }} \\
& \mathrm{F} \text { 値 }=\frac{2 \times \text { 精度 } \times \text { 再現率 }}{\text { 精度 }+ \text { 再現率 }}
\end{aligned}
$

しかし, ComeJisyo の登録語には, 「びまん性管内増殖性糸球体腎炎ネフローゼ症候群」のような長 い語と, その部分文字列である「ネフローゼ症候群」が登録されている.

そして, 利用者が必要とする語の単位も, 解析す る医療文書の種類も分からない，従って，利用者に とって有益な精度や再現率を提示することは困難で ある。また，実用目的で医療文書を解析する際に
^{i}$ 検索日：2021 年 12 月 27 日
}

は, 精度や再現率の値に関わらず人手により解析結果の確認・修正が行われると推測される.

そこで本発表では，ComeJisyo の具体的な解析誤 りを示すことが有益だと考え, 看護師・助産師・管理栄養士の 3 種類の国家試験問題の解析結果におけ る未知語と誤解析について述べる.

## 2 用語の定義

本発表で用いる用語を以下に定義する.

登録語 : ComeJisyo または IPA 辞書に登録の語

見出し語: $\mathrm{MeCab}$ の実行で出力された 1 語

未全文字列 :

以下を総称して「未全文字列」という。

(1) 造語成分：「一煮」,「蒸し一」等

(2) 接頭語 $($ 詞) : 「要一」，「同一」等

(3) 接尾語 : 「一時」, 「一語」等

(4) 異義語と解釈された語 :

$
\text { 「よ/だれ」ii } \rightarrow \text { 「だれ（誰）」等 }
$

(5) 古い表現：「安気」等

(6) 不明な文字列：「よ」等

## 過分割 :

以下の 3 種類の分割をいう.

(1) 意味のある語（ComeJisyo または IPA 辞書 の登録語を含む）に分割される

（2）「未全文字列」を含む語に分割される

(3) 数字部分が分割される

(4) 英字文字列の途中で分割される "overflow" $\rightarrow$ "over/flow"

## 誤解析 :

本発表では以下を誤解析という。

(1) 登録語が過分割される

（2） 登録語の異表記（半角/全角，大文字/小文字，か/ヶ等）による未知語成分の出力

（3）句点，読点，記号等の品詞の間違い

## 3 言語資源の概要

本発表では, 2020 年度に実施された第 110 回看護師国家試験 iii, 第 104 回助産師国家試験 ii，第 35

回管理栄養士国家試験ivの問題文（PDF 形式）を UTF-8 形式でデジタル化し，解析データとする.

表 1 に，解析データの文字数, 行数を示す.

表 1 解析データの文字数と行数

図 2 文字種の概要

図 2 は文字種の割合をまとめたものである.

## 4 調査方法

## 4.1 環境

本調查の環境を示す。

形態素解析器: mecab-0.995.exe (MeCab)

システム辞書 : IPA 辞書 iv

ユーザ辞 書: ComeJisyoUtf8-3.dic ${ }^{\text {vi }}$ (ComeJisyo)

ユーザ辞書 2 : NEologd.20200910-u.dic viii (NEologd)

## 4.2 方法

調査の手順を以下に示す.

手順 1. ComeJisyo を用いて解析データを解析手順 2.未知語を構成する見出し語（未知語成

$
\text { 分）を調べる }
$

手順 3. 誤解析された登録語の見出し語（登録語誤解析）を調べる

手順 4. 未知語数と誤解析の登録語数を調べる

## 5 結果

表 2 は，解析結果の概要である。

「未知語成分」には, ComeJisyo または IPA 辞書

の登録語が含まれる（表 3）. 例えば，未知語「脳血管障害後遺症」の部分文字列「脳血管障害」は ComeJisyo の登録語である。この場合の未知語成分 は，「胼血管障害」と「後遺症」の２語となる.

「登録語誤解析」においても，誤解析となった登録語の見出し語が登録語である場合もある（表 4）.

例えば「訪問看護ステーション」の見出し語は「訪問看護」と「ステーション」の 2 語であり，これら は ComeJisyo の登録語である。なお，登録語「二人暮らし」の異表記「2 人暮らし」の見出し語は，

「2」「人」「暮らし」の 3 語であったが，今回， これらは「未知語成分」ではなく「登録語誤解析」 に含めている.

表 2 解析結果（延べ数）の概要

表 3 未知語成分の種別（延べ数）

表 4 登録語誤解析の種別（延べ数）

表 5 未知語と誤解析語の語数

表 5 は，未知語成分からなる未知語と誤解析とな った登録語の語数である.

次章では未知語と誤解析について述べる.

## 6. 未知語の種類と対処法

医療記録文には，一般的な語も含まれる。今回の 未知語 382 語の内, 医療用語以外の語は 134 語であ り，「よだれ」「いきみ」「おそれ」「ハザードマ
ップ」「過干渉」「給水車」「炊飯器」「大気污染物質」「育児介護休業法」「共食」「募魚」「つぶ し粥」等があった。医療記録文の語分割には，これ らの一般的な語を登録した辞書も必要であろう.

今回，無償で利用でき，新語・固有表現に強く、語彙数が多いとされる NEologd をユーザ辞書に追加 して上記 12 語を解析したところ，「大気污染物質」「育児介護休業法」「共食」「惹魚」「つぶし粥」以外の 7 語は，正しく解析された。

## 6.1 品詞情報による未知語の生成

## 連続する名詞の連結

未知語「療養介護」「消化器感染症」の未知語成分「療養」「介護」「消化器」「感染症」は, 全て ComeJisyo の登録語であり，品詞は「名詞，一般」に なっている.このような場合は, 連続する品詞が「名詞,一般」である見出し語を連結することで，未知語 の生成が可能である.

## 接頭語, 接尾語の連結

未知語「最優先」の未知語成分「最（接頭詞,名詞接続）」と「優先（名詞,サ変接続）」もIPA 辞書の登録語であり, この場合は，品詞が「接頭詞名詞接続」の見出し語を後続する品詞「名詞」の見出し語と連結することで未知語の生成が可能とな

る. また，未知語「手洗い場」の未知語成分「手洗 い（名詞, サ変接続）」と「場（名詞,接尾）」も同様に「名詞,接尾」の見出し語を直前の品詞が

「名詞」である見出し語に連結することで未知語の 生成が可能となる.

## 6.2 生成できない未知語

一方，未知語成分が ComeJisyo または IPA 辞書の 登録語であっても語の境界誤り等で異義語として解析された場合, 品詞のみによる未知語の生成ができ ない場合がある．例えば，未知語「よだれ」は，「よ （その他,間投）」と「だれ（名詞,代名詞,一般）」に 解析され, 付与された品詞から未知語を生成するこ とはできない，同様に「お/それ」「かた/まり」

「いき／み」も生成が困難である。また，「くん煙

（名詞,接尾,人名）」と「煙し（形容詞,自立）：ケム シ」から生成することは出来ない。同様に「蒸し器内の」に含まれる未知語「蒸し器」も，未知語成分「蒸し（動詞,自律）」と「器内（名詞,副詞可能）」

からの生成は困難である。

## 7. 誤解析の種類と対処法

## 7.1 品詞情報による対処法

過分割された見出し語全てが登録語であるものに $\lceil\mathrm{SP} / \mathrm{O} 2 」 「$ パンツ／型／おむつ」「訪問／看護業務」「血漿／蛋白質」等があった. これらの品詞は 名詞であることから, 連続するこれらの見出し語を 連結することで，元の登録語を得ることができる.

数字が含まれる登録語は「糖原病／I／型」「3／価／鉄」「2/人」「1／泊」等となった. これらも 数字の品詞が「名詞, 数」で後続する見出し語が「名詞,接尾」であれば，品詞により連結が可能である.

## 7.2 その他の対処法

登録語「二人暮らし」の異表記である「 2 ／人／暮 らし」や，「血漿タンパク質」「血漿たんぱく質」 の異表記である「血漿／蛋白質」が過分割された. これらの表記の摇れは，前処理により表記を統制す ることで回避することができる.

医療記録文には，記号が多く使われる。本解析デ ータにおいても $11 \%$ 以上を占めている（図 2）.

ComeJisyo には，「/ $\mu \mathrm{L} \downharpoonleft 「 \mathrm{mEq} / \mathrm{l}\rfloor\lceil/$ 分」「 $\gamma-$ アミノ酪酸」「 $\mathrm{n}-3$ 系脂肪酸」など記号を含む登録語 が含まれるが，これらの殆どが過分割される。

そして半角記号「/」-」の品詞は「記号」とはなら ず, 「名詞, サ変接続」となり, 品詞規則による訂正 は困難である。また，全角「／」「一」は記号とな るが，登録語「／分」は，正しく解析される場合と 「／」「分」に過分割される場合がある.

同様に句読点の品詞が「記号,句点」または「記号,読点」ではなく「名詞, サ変接続」となる場合がある.従って, 品詞情報で合成語を生成する際には, 記号 や句読点の品詞を確認するか, $\mathrm{MeCab}$ の部分解析viii を利用する等の工夫が必要である.

## 8. まとめ

本発表では， 3 種類の国家試験問題文を解析デー タとし, ComeJisyo の解析結果について述べた.

記号，数字を含む登録語を除き，過分割された見出し語の多くは登録語であり, 付与された品詞情報

viii 制約付き解析(部分解析) https://taku910.github.io/mecab/partial.html

ix ComeJisyo : https://ja.osdn.net/projects/comedic/
から合成語の生成が可能である。なお，解析結果を エディタ等で修正でき，付与された品詞情報を基に 合成語を生成するツール GoMusubi_Ver.2.0 $0^{\mathrm{ix}} 2021$年 4 月に公開している.

単位認定を定めず登録語の多くが合成語である ComeJisyo の持つ問題に「一貫性のない分割」[3][4] がある．今回は「／分」が，「／」と「分」に過分割されるケースがあった．医療記録文は，主語の省略や体言止めが多く，登録語には，合成語とその構成要素も含まれることから, 分割の一貫性は低い。

また，登録語「訪問看護業務」は「訪問／看護業務」と 2 語の登録語に過分割された。しかし意味的 な結合の強さからは「訪問看護／業務」と分割する のが妥当であり，これら 2 語も登録語であるが，意味的な結合の強さを考慮した語分割は, ComeJisyo を用いた解析では望めない.

そこで，合成語 7,192 語を意味的に語構成要素に 分割し，これらに意味ラベルを付与し『実践医療用語_語構成要素語彙試案表 Ver.1.0』xとして, 2021 年 3 月に言語資源協会より公開している.

今後, これらの合成語に意味的な結合の強さによ る語境界を記述した『実践医療用語_語構成要素語彙試案表 Ver.2.0』を公開予定である.

## 謝辞

本研究は JSPS 科研費 JP21H03777, JP18H03499, JP21300099 の助成を受けたものです.

## 参考文献

1. 安道健一郎, 奥村貴史, 小町 守, 松本裕治. 確度に基づく退院時サマリの分析．情報処理学会研究報告, Vol.2019-NL-240, No.2, pp.1-7, 2019.

2. Shinichiroh Yokota, Emiko Shinohara, Kazuhiko Ohe. Can Staff Distinguish Falls: Experimental Hypothesis Verification Using Japanese Incident Reports and Natural Language Processing. Nursing Informatics 2018, Vol.250, pp. 159 -163, 2018.

3. 工藤拓. 形態素解析の理論と実装. 近代科学社. 2018.

4. 高橋 文彦, 颯々野 学. 情報検索のための単語分割一貫性の定量的評価. 第 22 回言語処理学会年次大会, 2016.
^{x}$ GSK2020-G :

https://www.gsk.or.jp/catalog/gsk2020-g/
}


# ニューラル言語モデルの過剰な作業記憶

栗林樹生 1,2 大関洋平 3,4 Ana Brassard ${ }^{4,1}$ 乾健太郎 1,4
1 東北大学 ${ }^{2}$ Langsmith 株式会社 ${ }^{3}$ 東京大学 ${ }^{4}$ 理化学研究所
\{kuribayashi, inui\}@tohoku.ac.jp oseki@g.ecc.u-tokyo.ac.jp
ana.brassard@riken.jp

## 概要

近年，ニューラル言語モデルの分析が盛んに行わ れ，ヒトの言語処理について探求する計算心理言語学の両視点を取り入れた分析も増えた. 例えば言語 モデルとヒトの文処理の振る舞いを直接比較する研究が行われている. 本研究では, どのような計算モ デルがヒトの振る舞いを忠実に再現するかという，計算心理言語学的な関心で研究を行う場合，工学的 な文脈で典型的に活用される LSTM や Transformer 言語モデル $[1,2]$ をのまま用いることが，必ずし も道具立てとして妥当な選択ではないことを指摘す る. 具体的には，ニューラル言語モデルに入力する 文脈を限ることでよりヒトらしい振る舞いが促され ることから，これらのモデルはヒトと比べて過剩な 作業記憶 (同時に処理できる文脈情報) 容量を有して いることを提示する。

## 1 はじめに

ニューラル言語モデルには，自然言語処理分野か らの工学的な関心と, 計算心理言語学からの科学的 な関心が寄せられている。近年では両分野の視点を 融合させた研究も行われ，自然言語処理分野におい て工学的成功を収めたモデルに対して，心理言語学的な視点から，例えばヒトと同様の振る舞いをする か調査するといった試みが盛んである $[3,4,5,6,7]$.

読み活動のモデリング: 本研究では，ヒトの言語処理活動を忠実に再現するモデルを探求することで 構成論的にヒトの言語処理を理解するという認知科学・計算心理言語学の立場をとる. 人工知能・認知科学分野の目標の一つは，ヒトの振る舞いを説明す るモデルを作り，ヒトの理解を深めること (計算心理学) であり [8], 計算心理言語学では特にヒトの逐次的な読み活動 (読み時間など)をモデルの対象とす る [9]. モデル・理解にも様々な段階が存在するが， ここでは，物理学が物体の複雑な運動を簡潔な数式

図 1 サプライザルを条件付ける文脈長 (横軸)を制御し た場合の，ヒトの読み時間との傾向の近さ(縦軸) の変化. 例えば $\mathrm{n}=3$ は， 3-gram サプライザルの結果に対応す る. 縦軸の値 (psychometric predictive power; PPP) が大きい ほど，そのサプライザルがヒトの逐次的読み負荷をうま く説明することを表す.

で説明しようとするように，ヒトが文を一単語ずつ 読む際に示す逐次的な読み負荷を簡潔に説明する理想化されたモデルに関心がある.

自然言語処理技術の発展により，これまで計算 が困難であった量を近似的に求め，読み負荷のモ デルとして検証することが可能になった。例えば $-\log p$ (単語|長い文脈) はその最たる例であり，長 い系列の頻度を数えて值を求めることは現害的でな いが，ニューラル言語モデルを訓練することで，(少 なくとも次の単語の出現を正確に予測するという観点で) 正確な值を算出できるようになった.このよ うな発展も後押しし, 言語モデルや統語解析器が推定するサプライザル $(-\log p$ (単語|文脈 $))$ でヒトの 読み負荷を説明しようとする，予測に基づく説明が
注目を集めた $[10,4]$. ヒトは次の単語の出現を予測 しながら文を読んでおり，予測を裏切られると処理負荷が上がるという説明である。また次なる関心と して，どのようなモデル・アルゴリズムで計算され るサプライザルがヒトの文処理をうまく説明するか が焦点となっている.

作業記憶の乘離: このようなヒトの文処理の機序 を説明する視点からは，近年の強力な言語モデルを 用いて認知モデリングを行うことが必ずしも妥当な 選択ではないことを指摘する。具体的には，工学的 に高い性能を示す LSTM や Transformer がヒトと比 べて過剰な作業記憶 (同時に処理できる文脈情報の 量)をもつことを実験的に示し, むしろ忘却が促さ れる単純な再帰型ニューラルネットワーク [11] や n-gram モデルなどの方が，ヒトの読み活動の計算モ デルとしては妥当である可能性を提示する.

近年のニューラル言語モデル (例えば Transformer [2] に基づくモデル) は数百から数千単語の文脈に同時にアクセスしながら次の単語を予測する 設計であり，帰納バイアスとして非常に強力な作業記憶容量 (同時に処理できる文脈の量) を仮定して いる [3]. それに対して，一般にヒトの作業記憶は 非常に制限されており, 高々 4 つ程度の項目を同時 に処理することが限度などと示唆されている [12].例えば 10 桁程度の電話番号を一度で覚えることが できるヒトはそういないだろう。ヒトの文処理もま た作業記憶の制約を受けていると考えられており，例えば長距離依存により読み負荷が増加すること や [13], 関連する要素がなるべく近くに配置される という言語の一般的な性質を説明する [14].

実験と示唆: ヒトらしい作業記憶の模倣として ニューラル言語モデルに入力する文脈に制限を与え ることで，よりヒトの文処理活動データ (視線停留時間) と近い，ヒトらしい振る舞いが促されるか，文処理活動データの説明力を損なわなかった (図 1). このことから，近年の言語モデルがヒトよりも強力 な作業記憶を持つということを主張する。

本研究では作業記憶の局所性 (遠い情報ほどアク セスが難しい)を仮定し, 直近 $n-1$ 語の文脈から計算されるサプライザル ( $n$-gram サプライザル) とヒ トの読み活動の近さを分析する. 日本語と英語の言語横断的な調査から，高々 3-gram 程度のモデルで 計算されるサプライザルによりヒトの読み活動がう まく説明できる (日本語)，または文脈を限っても説明能力を損なわない (英語)ことが示された.
また，コーパス平均的に妥当な文脈長が定まらな かった英語の結果 (図 1 下) について分析すると，特定の語では長い/短い文脈を考慮したサプライザル が読み時間をうまく説明するといった，統語依存な 傾向が観察された. 特に動詞の読み時間について,主語が離れているほど，長い文脈で読み時間を説明 できた.この傾向は日本語では観察されず，英語に おける主語と動詞の数の一致や，日本語における (主語でなく) 主題の卓越性といった要因が，結果の 言語依存性 (図 1) と関連している可能性がある.

## 2 記憶に基づく説明

文処理の計算論的モデルについて，予測に基づく 説明とは伝統的に対立する形で，記憶に基づく説明が提唱されてきた．記憶に基づく説明では，離れ た文脈情報へのアクセスには負荷がかかるなどの仮説をおいている [13,15]. 言語や現象に応じて予測 と記憶の説明の妥当性は異なっていた $[16,17]$. 本研究は, 読み負荷のモデリングにおける予測と記憶 の両側面の融合を試みた研究とも解釈できる. 本研究で扱う不完全な文脈に基づくサプライザルは両者を融合した指標として近年提唱されてきたもの の [18]，データに基づく検証は限られており，本研究はその妥当性について経験的な証拠を提供した。

また, n-gram モデルは予測と記憶の両側面を反映した典型的なモデルであるものの，特に近年は ニューラル言語モデルの分析におけるべースライン として，頻度ベースの n-gram 言語モデルが登場す ることが多く $[10,4,6]$, 両者はニューラルネットに 基づくかなど複数の軸で仮定が異なるため，サプラ イザルの条件として適切な文脈について分野内で厳密に調査されていなかった. 本研究ではニューラル 言語モデルの入力を制限し，文脈長の観点でのみ切 り分けて分析を行う.

## 3 手法・実験設定

ヒトの逐次的な文処理負荷 (視線停留の長さ) と言語モデルが計算する指標の傾向の近さを測定する.作業記憶の局所性を踏まえ [13]，本研究では，直前 $n-1$ 語を文脈として用いる $n$-gram サプライザルの 認知的妥当性について分析し， $n$ を動かした際の影響を観察する。

不完全な文脈に基づくサプライザル: Left-toright 言語モデル $\theta$ によって計算される不完全な文脈に基づくサプライザルを用いる。言語モデルはサ

ブワードを入力単位としているが，読み時間は単語 (英語) や文節 (日本語) といったより大きな単位に付与されている。読み時間データに従い，本研究では 「語」は英語の単語または日本語の文節を指す。

文中の $i$ 番目のサブワードを $w_{i}, i$ 番目の語を $s_{i}$ とする. 各語は 1 つ以上の連続するサブワー ドで構成される. ある語 $s_{i}=\left[w_{k}, \cdots, w_{l}\right]$ の文脈 $c_{<i}=\left[s_{0}, \cdots, s_{i-1}\right]$ における n-gram サプライザル $I_{\mathrm{n} \text {-gram }}$ を以下のように計算する.

$
\begin{aligned}
I_{\mathrm{n}-\operatorname{gram}}\left(s_{i}, c_{<i}, n\right) & =-\log p_{\theta}\left(s_{i} \mid s_{i-n+1}, \cdots, s_{i-1}\right), \\
& =\sum_{j=k}^{l}-\log p_{\theta}\left(w_{j} \mid w_{m}, \cdots, w_{j-1}\right) .
\end{aligned}
$

ここで， $w_{m}$ は， $s_{i-n+1}$ の開始サブワードを指す.

例えば日本語における 3-gram サプライザルでは，直前 2 文節を構成するサブワード系列を文脈として与 えている。単語や文節のサプライザルは, 確率の連鎖律より，それらを構成するサブワードのサプライ ザルの和として計算する。なお，通常のテキストで 学習した言語モデルを用い，推論時に文脈を制限す ることで $I_{\mathrm{n} \text {-gram }}$ を計算しており, 学習と推論の乘離 については付録 A で議論する。

評価指標: 尺度 $I_{\mathrm{n}-\mathrm{gram}}$ の読み時間に対する説明力を一般化線形混合モデルで測定する. 具体的に は， $I_{\mathrm{n} \text {-gram }}$ とベースライン素性を説明変数とし, 各語の視線停留時間を被説明変数とする回帰モデルを 訓練する (付録 B). 同様に， $I_{\mathrm{n} \text {-gram }}$ を含まないべー スライン素性のみの回帰モデルも訓練し, 両回帰モ デルが示す対数尤度 (当てはまりの良さ)を求める.両対数尤度の差のデータポイント数平均を「ヒトら しさ」の尺度 (psychometric predictive power; PPP)と し，PPPが大きいほど $I_{\mathrm{n}-\mathrm{gram}}$ が読み時間をうまく説明するとみなす。この PPPを n-gram サプライザル を計算する際の文脈長を変えて比較する。具体的に は， $\{2,3,5,7,10,20\}$-gram サプライザルと, 文内の前方文脈すべてを用いる “full” 設定の計 7 設定を比較 する. なお, 本研究の主たる関心は文の統語的処理 であり，文を超えた文脈は考慮しない。

読み時間データ: Dundee corpus (英語) と BCCWJEyeTrack (日本語)を用いて英日横断的な検証を行 う $[19,20]$. はずれ値などを除去し (付録 C), Dundee corpus では 217,876 データポイント, BCCWJEyeTrackでは 9,217 データポイントを用いる. 読み 時間として，first pass duration を対象とする。言語モデル: Transformer/LSTM 言語モデルを利用した $[2,1]$. 詳細は付録 D に記載する。異なる シードで学習した 3 つのモデルの結果の平均と標準偏差を報告する。

## 4 実験: ヒトらしい文脈長

はじめに，コーパス全体の傾向として，読み時間 を平均何語の直前の文脈情報によってうまく説明で きるか調査する (4 節). その後, 長い文脈で条件付 けることの効能を調査する (5 節). 結果から，記憶 のバイアスと統語のバイアスを確認した。

## 4.1 結果

結果を図 1 に示す. 日本語ではある程度短い文脈 に条件づいたサプライザル (3-gram サプライザル) が読み時間をうまく説明でき，英語では文脈を限っ ても認知的妥当性が大きく変化しないことがわかっ た. 英語での妥当性を保ちつつ，日本語での妥当性 を向上させたという点で, 限られた文脈に基づくサ プライザルが言語横断的に妥当な尺度であることが 示唆された．言い方を変えると，文内のすべての文脈をニューラル言語モデルに与えサプライザルを計算する方法では，ヒトの読み活動を説明する上で過剩な文脈を考慮していると言える。

日本語: 日本語では文節 3-gram がもっとも良い PPP を達成し, 文脈を過度に用いて計算されたサプ ライザルはヒトの読み活動から乘離することが示さ れた.このことは, ヒトの逐次的な統語処理の負荷 が局所的な情報で説明できるというひとつの可能性 を示唆する．また非常に荒い紐付けではあるが，作業記憶の限度としてしばしば挙げられる $4 \pm 1$ 項目 という数と 3 文節という数は近しい [12].

英語: 文脈長を変化させても PPP は大きく変化し なかった (図1下). 一つの解釈としては, データポ イントに応じてサプライザルを条件付けるべき適切 な文脈長が異なる可能性があり，コーパス平均的な 傾向で見ると，文脈長を変えても PPP に変化がない ように見えている可能性がある．特に，作業記憶の 制約に反し, 長い文脈で条件付けることが適切であ ると観察されるケースがどのようなものであるか，次節でより詳しく分析していく.

## 5 分析: いつ長い文脈が有効か?

英語における遠い主語の存在が，対応する動詞の 読み時間の説明に必要な文脈長を引き伸ばしている

ことが示唆された。

設定: 4 節では，様々な条件でサプライザルを計算し，視線停留時間を説明する回帰モデルの当ては まりの良さを通して分析を行った. 本節では, 長い 短い文脈条件で付けたサプライザルによる視線停留時間回帰モデル $\left(M_{\text {short }}, M_{\text {long }}\right)$ について，読み時間へ の当てはまりが悪い箇所を調査し比較する. 具体的 には，長い文脈で条件づけたサプライザルを用いた 回帰モデル $M_{\text {short }}$ と, 短い文脈で条件づけたサプラ イザルを用いた回帰モデル $M_{\text {long }}$ が推定するデータ ポイント (語)ごとの残差 (小さいほど回帰式が視線停留時間をうまく説明できている)を観察する。あ るデータポイント集合 $D$ について, 長い文脈を考慮 した $M_{\text {long }}$ による二乗残差平均 $r_{\text {long }}(\mathscr{D})$ が $M_{\text {short }}$ の 示す二乗残差平均 $r_{\text {short }}(\mathscr{D})$ と比べてどれほど小さく なるかを，長い文脈を考慮する有効性とみなす。具体的には， $r_{\text {short }}(\mathscr{D})-r_{\text {long }}(\mathscr{D})$ を $D$ における長い文脈の貢献度 $(C)$ とし, $r_{\text {short }}(\mathscr{D})$ が大きく (当てはまり が悪く),$r_{\text {long }}(D)$ が小さくなる (当てはまりが良い) ほど $C$ は大きくなる。 $M_{\text {short }}, M_{\text {long }}$ として，2-gram と full の設定で当てはめた回帰モデルを用いた。ま た，文脈を考慮することの効果に焦点を当てるた め，文の後方に出現する語に分析対象を限った. ${ }^{1)}$

統語依存距離と記憶: 統語的に関連する前方要素に作業記憶が影響を受けている可能性をあ げる [13]. 例えば, “Ken goes to the school.” と “Ken, who is my brother, goes to the school.”という文におい て, “goes” の処理の際に主語 “Ken” が意識されるの であれば，後者の文における “goes” の読み時間のモ デリングに長い文脈が必要になると示唆される.

本分析では，主語と動詞の依存距離について分析 を行う. ${ }^{2}$ 動詞に対応するデータポイント集合を，対応する主語との依存距離 (何語離れているか) に基 づいて分割し, 各データポイント集合について長い 文脈を考慮することの残差の減少量 Cを観察する。図 2 左より，主語が離れた動詞ほど読み時間のモデ リングにおいて，長い文脈を用いることの有効性が 確認された。このことから, 読み時間が主語と動詞 の関係に強く影響を受けていることが示唆された。

図 2 動詞の読み時間のモデリングにおける，長い文脈の 貢献度 $\mathrm{C}$ と主語との距離の関係.

同様の分析を日本語データで行ったところ，日本語では，主語と動詞の距離と，サプライザルを条件付ける文脈長との間に影響が観察されなかった (図2右).このことから，図 1 における言語依存な 結果は，主語動詞間の長距離依存に対するヒトの振 る舞いの違いと関連していることが示唆された. 英語では，主語と動詞に数の一致が課されているこ と, 日本語が主題卓越言語であるため主語の存在が 読み手にとって意識的なものではないことなどがこ の差異を生む要因として考えられる. 本研究では,記憶 (局所性) と統語のバイアスを外部的に文脈を編集して取り入れたが，どのようなモデル設計，学習 を行うことでこのようなヒトらしい記憶の制約を獲得させることができるかは興味深い.

## 6 おわりに

本研究では，言語モデルに入力する文脈長を制限 した実験から，近年自然言語処理分野で用いられる ニューラル言語モデルが，ヒトに比べて過剩な作業記憶を有している可能性を提示した．特に近年言語 モデルが注目を集め，ヒトの言語処理との比較にも 分野の関心が向いている. もしヒトの逐次的文処理 を純粋に再現し，ヒトの計算論的なモデルを探求す ることが研究の目的であれば，LSTM や Transformer といったモデルよりも，むしろ単純な再帰型ニュー ラルネットワーク [11] や n-gram のようなモデルを 用いることが妥当かもしれない．また，本実験は不完全な文脈に基づくサプライザルの妥当性を経験的 に支持し，読み活動データにおける記憶 (局所性) と 統語的バイアスの相互的な作用を示唆した.

## 謝辞

本研究は JSPS 科研費 JP20J22697，JST さきがけ

JPMJPR21C2 の支援を受けたものである.

## 参考文献

[1] Sepp Hochreiter and Jürgen Schmidhuber. Long ShortTerm Memory. Journal of Neural Computation, Vol. 9, No. 8, pp. 1735-1780, 1997.

[2] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Łukasz Kaiser, and Illia Polosukhin. Attention Is All You Need. In Proceedings of NIPS, pp. 5998-6008, 2017.

[3] Danny Merkx and Stefan L. Frank. Human Sentence Processing: Recurrence or Attention? In Procceding of CMCL 2021, 2020.

[4] Ethan Gotlieb Wilcox, Jon Gauthier, Jennifer Hu, Peng Qian, and Roger Levy. On the Predictive Power of Neural Language Models for Human Real-Time Comprehension Behavior. In Proceedings of CogSci, pp. 1707-1713, 2020.

[5] Ethan Wilcox, Pranali Vani, and Roger Levy. A targeted assessment of incremental processing in neural language models and humans. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 939-952, Online, August 2021. Association for Computational Linguistics.

[6] Tatsuki Kuribayashi, Yohei Oseki, Takumi Ito, Ryo Yoshida, Masayuki Asahara, and Kentaro Inui. Lower perplexity is not always human-like. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 5203-5217, Online, August 2021. Association for Computational Linguistics.

[7] Ryo Yoshida, Hiroshi Noji, and Yohei Oseki. Modeling human sentence processing with Left-Corner recurrent neural network grammars. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 2964-2973, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[8] Stuart C Shapiro. Artificial intelligence (AI). In Encyclopedia of Computer Science, pp. 89-93. John Wiley and Sons Ltd., GBR, January 2003.

[9] M W Crocker. Computational psycholinguistics. Computational Linguistics and Natural Language, 2010.

[10] Adam Goodkind and Klinton Bicknell. Predictive power of word surprisal for reading times is a linear function of language model quality. In Proceedings of CMCL2018, pp. 10-18, 2018.

[11] Jeffrey LElman. Distributed representations, simple recurrent networks, and grammatical structure. Mach. Learn., Vol. 7, No. 2, pp. 195-225, September 1991.

[12] N Cowan. The magical number 4 in short-term mem- ory: a reconsideration of mental storage capacity. Behav. Brain Sci., Vol. 24, No. 1, pp. 87-114; discussion 114-85, February 2001.

[13] Edward Gibson. The dependency locality theory: A distance-based theory of lingustic complexity. Image, language, brain, Vol. 2000, pp. 95-126, 2000.

[14] Edward Gibson, Richard Futrell, Steven P Piantadosi, Isabelle Dautriche, Kyle Mahowald, Leon Bergen, and Roger Levy. How efficiency shapes human language. Trends Cogn. Sci., Vol. 23, No. 5, pp. 389-407, May 2019.

[15] Richard L Lewis and Shravan Vasishth. An activationbased model of sentence processing as skilled memory retrieval. Cogn. Sci., Vol. 29, No. 3, pp. 375-419, May 2005.

[16] Lars Konieczny. Locality and Parsing Complexity. Journal of Psycholinguistic Research, Vol. 29, No. 6, pp. 627-645, 2000.

[17] Samar Husain, Shravan Vasishth, and Narayanan Srinivasan. Strong expectations cancel locality effects: evidence from hindi. PLoS One, Vol. 9, No. 7, p. e100986, July 2014.

[18] Richard Futrell, Edward Gibson, and Roger P. Levy. LossyContext Surprisal: An Information-Theoretic Model of Memory Effects in Sentence Processing. Journal of Cognitive Science, 2020.

[19] Alan Kennedy, Robin Hill, and Joël Pynte. The dundee corpus. In Proceedings of the 12th European conference on eye movement, 2003.

[20] Masayuki Asahara, Hajime Ono, and Edson T Miyamoto. Reading-Time Annotations for "Balanced Corpus of Contemporary Written Japanese". In Proceedings of COLING, pp. 684-694, 2016.

[21] Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for Neural Text Processing. In Proceedings of EMNLP, pp. 66-71, 2018.

## A N-gram サプライザルの正確性

表 1 ニューラル/数え上げ n-gram 言語モデルのパープ レキシティ.サブワードレベルの言語モデルで比較して いる.

本研究では，ニューラル言語モデルはコーパスを適当 なブロックで区切ったチャンクをミニバッチとして訓練 している. 各ミニバッチの先頭周辺では， n-gram 言語モ デルのような学習が行われるが，全体としてみるとその ような訓練事例の数は限られているため，今回のように ニューラル言語モデルで n-gram サプライザルを求めた場合，学習と推論の乘離が想定される. しかしながら，サ ブワードレベルの n-gram サプライザルによって計算され るコーパスのパープレキシティを本実験の設定(ニューラ ル) と数え上げに基づく n-gram 言語モデルで比較すると，本設定の n-gram サプライザルの方が低いことが分かっ た. したがって, 本研究ではニューラル言語モデルが, 先頭数語のみを入力した際にも適切な振る舞いをしている と一旦結論づけた。パープレキシティは読み時間が付与 されたコーパスで測定した。

## B 回帰モデル

読み時間（RT）のモデリングは以下の式で行った：

$
\begin{aligned}
\text { RT } & \sim \text { surprisal + surprisal_prev_1 } \\
& + \text { surprisal_prev_2 + freq } * \text { length } \\
& + \text { freq_prev_1*length_prev_1 } \\
& + \text { screenN + lineN } \\
& + \text { segmentN + }(1 \mid \text { article })+(1 \mid \text { subj }) .
\end{aligned}
$

各素性の概要は表 2 に示す. prev_1 などは, 一単語 まえの該当する素性を示す。前の語のサプライザル (surprisal_prev_1と surprisal_prev_2)は, 周辺の語の 処理負荷が読み時間に影響を与えるスピルオーバー効果 を考慮して含めた．ただし，日本語においては有意な効果が観察されなかったため除いた。

## C データの前処理

英語では以下のいずれかの条件に合致するデータポイ ントを，日本語では (a), (c), (e) のいずれかに合致するデー タポイントを除いた

(a) 読み時間が 0 秒であるか，3 標準偏差から外れている

(b) 句読点が含まれる

(c) 数量を表す文字・語が含まれる

 \\

(d) 句読点・数量の次の語

(e) 読み時間測定時に画面上で各行の最初に提示されて いる表 2 回帰モデルで用いた素性

(f) 読み時間測定時に画面上で各行の最後に提示されて いる

(b) と (f) に関しては，日本語に適用すると「考える。」のよ

うな文末の文節がすべて除かれるため，適用しなかった。

## D＼cjkstart言語モデルハイパーパラメータ

表 3 にニューラル言語モデルのハイパーパラメータを 示す。およそ 500 万文の日本語テキスト (Wikipedia と新聞) と，400万文の英語テキスト (Wikipedia)を学習データ として用い，10万回アップデートした言語モデルを用い た. 日本語テキストは，読み時間データの分割との一貫

 &  &  \\

性を保つため，一度国語研短単位に分割した後，BPEで サブワードに分割した ${ }^{3}$.

表 3 ニューラル言語モデルのハイパーパラメータ. Transformer (上) と LSTM (下).

3） SentencePiece [21] を用い，文字の網羅率を 0.9995 ，語彙数 を 100,000とした.


# 賛成を得やすい文章の機械学習を利用した収集と分析

三木 謙志 1 村田 真樹 2 馬 青 3
1 鳥取大学工学部 電気情報系学科
2 鳥取大学大学院 工学研究科 情報エレクトロニクス専攻
3 龍谷大学 先端理工学部 数理・情報科学課程
1,2 \{b18t2111b@edu.murata@\}tottori-u.ac.jp
${ }^{3}$ qma@math . ryukoku . ac.jp

## 概要

本研究は Yahoo!ニュースのコメント欄を利用して 賛成を得やすい文章の特徴の発見を目的とする. 賛成した人数とコメント時刻の情報を使用し，同じ記事に対する 2 つのコメントのどちらが賛成を得や すい文章かを機械学習を用いて推定させた. 推定さ せた結果，BERT，ME，SVMの順で正解率が高くな り, 一番正解率が高い BERT で 0.7506 となった. 素性分析の結果，賛成を得やすい文章の素性だと納得 できる素性の発見はできていないが，賛成を得にく い文章の素性だと納得できる素性はいくつか発見 した.

## 1 はじめに

本研究は Yahoo!ニュースのコメント欄を利用して 賛成を得やすい文章の特徴の発見を目的とする. 賛成した人数とコメント時刻の情報を使用し, 同じ記事に対する 2 つのコメントのどちらが賛成を得やす い文章かを機械学習を用いて推定させる. 自動分類 のみならず，なぜ自動分類できたかの理由を素性分析の技術を利用し，賛成を得やすい文章にどのよう な特徴があるかを分析する。この分析は賛成を得や すい文章の作成につながると考えている.

## 2 先行研究

文献 [1] では，どういう文章構造が説得力を持つ かを調査している. 文献 [2] では, 政治のスピーチ で説得力のある発話にタグを付与したコーパスを作成している. 文献 [3] では, 説得を行う文章の構造 に関する調査をしている，説得力のある文章は，賛成を得やすい文章と類似するため，これらの研究は 本研究に関連する. しかし，これらの研究は，文章構造や文章のパターンに基づき説得力について分析
を行っている。一方，端らの研究 [4] では，感動を 与える文の作成支援のために感動を与える文の収集 とそれらの分析を行った。研究結果では感動を与え る文に多く出現する単語として，「人生」，「人々」，「我々」，「恋愛」，「喜び」などが確認された. 感動 を与えるということは人の感情を摇さぶる単語で あるので本研究においても注目すべき単語である と考える. 他にも似たような研究として村田らの研究 [5] [6] [7] も存在している.

## 3 提案手法

本研究では，最大エントロピー法 (ME), SVM, BERT の 3 種類の機械学習を利用し，知見獲得を 行う.

## 3.1 ME

最大エントロピー法とは, あらかじめ設定してお いた素性 $f_{j}(1 \leq j \leq k)$ 集合を $F$ とするとき, 式 (1) を満足しながらエントロピーを意味する式 (2) を最大にするときの確率分布 $p(a, b)$ を求め, その確率分布にしたがって求まる各分類の確率のうち, もっと も大きい確率値を持つ分類を求める分類とする方法 である.

$
\begin{array}{r}
\sum_{a \in A, b \in B} p(a, b) g_{j}(a, b)=\sum_{a \in A, b \in B} \tilde{p}(a, b) g_{j}(a, b) \\
\text { for } \forall f_{j}(1 \leq j \leq k) \\
H(p)=-\sum_{a \in A, b \in B} p(a, b) \log (p(a, b))
\end{array}
$

ただし, $A, B$ は分類と文脈の集合を意味し, $g_{j}(a, b)$ は文脈 $b$ に素性 $f_{j}$ があってなおかつ分類が $a$ の場合 1 となり, それ以外で 0 となる関数を意味する.ま

た, $\tilde{p}(a, b)$ は, 既知データでの $(a, b)$ の出現の割合を 意味する。

式 (1) は, 確率 $p$ と出力と素性の組の出現を意味す る関数 $g$ をかけることで出力と素性の組の頻度の 期待値を求めることになっており, 右辺の既知デー タにおける期待値と, 左辺の求める確率分布に基づ いて計算される期待値が等しいことを制約として， エントロピー最大化 (確率分布の平滑化) を行って,出力と文脈の確率分布を求めるものとなっている.

## 3.2 SVM

SVM は，空間を超平面で分割することにより 2 つ の分類からなるデータを分類する手法である. この とき，2つの分類が正例と負例からなるものとする と, 学習データにおける正例と負例の間隔 (マージ ン) が大きいものほどテストデータで誤った分類を する可能性が低いと考えられ，このマージンを最大 にする超平面を求めそれを用いて分類を行う.

## 3.3 BERT

BERT は, Bidirectional Encoder Representations from Transformers の略で，「Transformerによる双方向のエ ンコード表現」と訳され，2018 年 10 月に Google の Jacob Devlin らの論文 [8] で発表された自然言語処理 モデルである．従来の機械学習では，大量のラベル のついたデータを用意させ，処理を行うことで課題 に取り組む。しかし従来の手法に対し，BERT は事前学習でラベルのないデータをはじめに大量に処理 を行う．その後，ファインチューニングで少量のラ ベルのついたデータを使用することで課題に対応さ せる.

## 3.4 データ作成

データの作成には Yahoo!ニュースのコメント闌に ある，時刻と賛成した人数の情報を利用する．1,000 コメント以上投稿されている記事を対象に，コメン トと時刻の情報を収集している. 同じ記事に投稿さ れた 2 つのコメントにおいて，コメント時刻がより 最近, 賛成した人数がより多いという 2 点を満たす コメントを賛成を得やすい文章，もう一方を賛成を 得にくい文章だと定義する. そのような賛成を得や すい文章と賛成を得にくい文章を文章対として大量 に作成する。ただし，一度でも文章対を作成する際 に使用されたコメントは他の文章対では使用しない こととする. 例を以下に揭載する。
・コメント A，賛成:4,234, コメント時刻:4 時間前

・コメント B，賛成: 3,823 ,コメント時刻:2 時間前

・コメント C，賛成:6,923,コメント時刻:8 時間前

・コメント D，賛成:2,182,コメント時刻: 5 時間前

コメント Aを対の一方として文章対を作成する場合，定義に当てはめると文章対として使用できるも う一方はコメント D のみである。コメント Bを対 の一方として利用する場合も同様にコメント Dのみ であり，コメント C は高評価数は一番多いがコメン ト時刻が一番古いためどのコメントとも文章対を作成することはできない.

よってこの４つのコメントで定義に当てはまり，文章対として使用できるコメント対はコメント A と コメント D，コメント B とコメント Dのみである. しかし, 本研究では文章対作成の際に一度使用した コメントは利用しないので文章対として使用できる のはどちらか一つとなっている.このように定義に あてはまる文章対をコメントデータから大量に作成 する。

## 3.5 推定方法

作成した文章対の一方の文章を左側，もう一方を 右側として，左側の文章に"L"を右側の文章に"R"を 付与したものを学習データとする. 文章対を入力と L，"L"，"R"を出力とする．入力が与えられるとそ れに対する出力を推定できるように機械学習 (最大 エントロピー法 (ME)，SVM，BERT) で学習する。

3.4 節の文章対を学習データとした場合の例を以下に示す. 例のように作成した文章対に"L"と"R" と，それに対し文章を反転させたものも同時に学習 データとして使用する.

$
\begin{aligned}
& \text { ・ } \mathrm{L}, \text { コメント } \mathrm{A}, \text { コメント D } \\
& \text { ・R, コメント D, コメント A }
\end{aligned}
$

例のような学習データを機械学習で右側の文章対の場合に左側の"L" or "R"となるように学習する. そして別の右側の文章対を大力しその場合の"L" or "R"を推定する. 左側の文章が賛成を得やすいと判断した場合は"L"を，右側の場合は"R"を出力する。

## 3.6 素性

ME，SVM では文章対において左側の文章にある 単語は「 $\mathrm{L}$ : 単語」, 右側にある単語は「R：単語」と 「コメントの文字数」を素性として利用する. BERT に入力する際は素性の入力は不要なので文章対のみ

を大力している.

「コメントの文字数」の素性は「L: ～以下」,「L: より大きい」,「R：～以下 $\lrcorner, 「 \mathrm{R}$ ： より大きい」と しおり，〜には「10」,「20」.「50」,「100」,「200」, $「 500 」, 「 1,000 」$ のいずれかの数字がコメントの文字数に応じて入る．また，「コメントの文字数」を素性とせずに単語だけを素性とする実験も行ってい る. ME は正規化 $a$ 値, SVM は分離平面を用いて素性分析を行う．MEでは，正規化 $\mathrm{a}$ 值の高いものが 重要な素性となる．SVM では「L：単語」などの 1 単語を入力し, 分離平面からの距離が大きいものが 重要な素性となる. 文章対を用いた BERT の素性分析は困難なため行っていない.

## 4 実験

## 4.1 推定実験

1,000 コメント以上を持つ記事を 300 記事分収集 し，同記事内の賛成数とコメント時刻の 2 つの条件 を満たすコメントから文章対を作成している。対と するコメントの組み合わせは条件を満たすコメン トからランダムに決定している. 作成した 16,342 組の文章対のうち，8,172 組を学習データ，8,170 組 をテストデータとする．BERT では 8,172 組の学習 データのうち，2,045 組を検証データ，6,129 組を訓練データとして実験を行っている。

表 1 は機械学習により"L" or "R"のどちらの文章が 賛成を得やすいかを推定したときの正解率を示して いる.

表 1 機械学習の性能評価

表 1 に示されているように BERT，ME，SVM の 順で正解率が高いことがわかる。一番性能が高い BERT で 0.7506 という正解率を得た. また，今回の 実験では ME，SVM ともに文字数の素性の有無で性能が大きく変化することはなかったが文字数の素性 を利用するほうが正解率がわずかに高くなった.

## 4.2 ME の素性

ME の素性分析の結果で得られた素性の上位 10 個 を表 2 と表 3 に示す。表 $2 \mathrm{ME}$ の素性

表 $3 \mathrm{ME}$ の素性 (文字数素性無し)

表 $4 \mathrm{ME}$ の素性 (文字数素性のみ)

表 2 と表 3 から文字数の素性の有無では賛成を得 やすい文章の素性にはあまり変化が見られなかっ た. ME の文字数素性だけを抜き出したのが表 4 で ある。表 4 からは 100 字より多い文字数の文章が一番賛成を得やすい文量だと読み取れる，

## 4.3 SVM の素性

SVM の素性分析の結果で得られた素性の上位 10 個を表 5 と表 6 に示す.

表 5 SVM の素性

表 6 SVM の素性 (文字数素性無し)

表 7 SVM の素性 (文字数素性のみ)

表 5 と表 6 から読み取れるようにSVM もME と 同様に文字数の素性の有無では賛成を得やすい文章
の素性にはそこまで変化が見られなかった．SVM の文字数素性だけを抜き出したのが表 7 である．表 7 からは 200 字より多い文字数の文章が一番賛成を 得やすい文量だと読み取れる，

## 4.4 素性分析

本研究では素性分析を用いて重要素性の獲得をす る. 4.2 節と 4.3 節の表 2 から表 7 に ME，SVM の機械学習で獲得できた上位 10 素性を掲載している.良い素性とされている「う一ん」，「予防」，「現場」，「任意」などは上位 10 素性に共通して現れている が，これらの単語が要因で賛成を得ているとは考え にくい。逆に悪い素性に共通して現れている「バ 力」，「幼稚」などは抽象的に誰かを批判する単語な のでこれらの単語が含まれている文章は内容がな く，賛成を得にくいのではないかと考えている.

また，ME では 100 文字より大きい文字数の文章 が賛成を得やすいとされ，SVMでは 200 文字より大 きい文字数の文章が賛成を得やすいとされているこ とから，賛成を得やすい文章にはある程度の文字数 が必要になるのではないかと考えている.

## 5 おわりに

本研究では賛成を得やすい文章の特徴の発見を目的としている. Yahoo!ニュース内にある 1,000 コメ ント以上持つ 300 記事からコメント時刻と賛成した 人数の情報を使用し, 同じ記事に対する 2 つのコメ ントを比較する。その際にコメント時刻がより最近 であるコメント，賛成した人数がより多いコメント の 2 点を満たすコメントを賛成を得やすい文章だと 定義する。この 2 点を満たすコメントで文章対を大量に作成し，どちらの文章が賛成を得やすいかを教師あり機械学習を利用し推定させた. 推定させた結果，BERT，ME，SVM の順で正解率が高くなってい る. 一番性能が高い BERT の正解率が 0.7506 となっ た. 素性分析では，賛成を得やすいとされた素性に 納得できる単語はなかったが，賛成を得にくいとさ れた素性には納得できる素性が存在した.

今後は分野によって良い素性は変化するかなどの 分野依存性や高評価だけでなく定義の部分で低評価数も考慮した賛成を得やすい文章の分析を行い，今回の研究と比較し，違いの発見などを目指す.

## 参考文献

[1] 石黒圭. 日本語学習者の作文における文章構成と説得力の関係. 一橋大学国際教育センター紀要, Vol. 8, pp. 3-14, 2017.

[2] Marco Guerini, Carlo Strapparava, and Oliviero Stock. Corps: A corpus of tagged political speeches for persuasive communication processing. Journal of Information Technology \& Politics, Vol. 5, No. 1, pp. 19-32, 2008.

[3] Christian Stab and Iryna Gurevych. Identifying argumentative discourse structures in persuasive essays. In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 46-56, 2014.

[4] 端大輝, 村田真樹, 徳久雅人. 感動を与える文の自動取得と分析. 言語処理学会第 18 回年次大会, pp. 303-306, 2012.

[5] 村田真樹, 西村涼, 金丸敏幸, 土井晃一, 松岡雅裕, 井佐原均. 情報の重要度を決める要因の抽出・分析と重要度の自動推定. 言語処理学会第 14 回年次大会, pp. 907-910, 2008

[6] 村田真樹, 西村涼, 金丸敏幸, 土井晃一, 鳥澤健太郎. ユーザ個人の興味の影響を考慮した情報の重要度を 決める要因の抽出 - 分析. 言語処理学会第 15 回年次大会, pp. 554-557, 2009.

[7] Masaki Murata, Kiyotaka Uchimoto, Masao Utiyama, Qing Ma, Ryo Nishimura, Yasuhiko Watanabe, Kouichi Doi, and Kentaro Torisawa. Using the maximum entropy method for natural language processing: Category estimation, feature extraction, and error correction. Cognitive Computation, Volume 2, Issue 4, pp. 272-279, 2010.

[8] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018


# 高速な契約書レビューのための計算量の削減

小林 尚輝 ${ }^{1}$ 真鍋 陽俊 ${ }^{2}$ 小田悠介 ${ }^{2,3}$
1 東京工業大学 ${ }^{2}$ LegalForce Research
3 東北大学 データ駆動科学・AI 教育研究センター
kobayasi@lr.pi.titech.ac.jp
\{hitoshi.manabe, yusuke.oda\}@legalforce.co.jp

## 概要

契約書には様々な規定や条項が記述されている。関心のある条項を自動で抽出することによって，こ れまで人手で実施されてきたレビューの業務コスト が削減できる。それらの関心のある条項を契約書か ら抽出する情報抽出タスクとして契約書レビューが 取り組まれている。従来研究では，抽出する内容を 質問文とした BERT を用いた質問応答 $(\mathrm{QA})$ モデル が広く使用されている。しかし，契約書のような長 い文書を扱うための sliding window による小さな単位のテキスト（以下，セグメント）への分割と，質問文とセグメントを結合して入力事例とする BERT の構造から, 従来の QA モデルでは BERT による処理回数が膨大となり非効率である。提案手法は，軽量な分類器により各事例が抽出すべきテキストを含 むかを事前に識別することで，性能をほとんど劣化 させることなく, BERT により処理される事例の数 を $44 \%$ 削減した.

## 1 はじめに

契約書は取引の内容を証するために作成され，互 いの権利と義務を明確にする重要な役割を持つ. 契約締結リスクとなりうる規定や条項を契約書に記載 しないために，専門家の手による契約書レビューは 非常に重要な手続きとなる。しかし，数十ページに わたる契約書を専門家の手を借りてレビューするに は高いコストを要する．そこで，自然言語処理技術 を用いた契約書レビューの自動化によるコストの削減が期待されている。

このような背景から，契約書を対象とした研究が 幅広く行われており，契約書レビューは契約書を入力として契約書に含まれる関心のある条項を抽出す る情報抽出タスクとして研究されている。また，関心のある条項は契約書の種類によって異なるため，

図 1 BERT を用いた質問応答モデル

様々なデータセットとそれに応じた抽出項目が提案 されている。取り分け，CUAD [1] は構成する契約書数が多く，アノテーションに多くの時間と費用を 費やしている。 CUAD は契約書に対して，41 種類 の抽出項目（例えば，当事者名を表す Parties や契約締結日を表す Agreement Date など）と各抽出項目に 該当する契約書中のテキストスパンが付与されて いる．その他にも，秘密保持契約のみを対象とした ContractNLI [2] がある. ContractNLI は契約書に対し て 17 通りの仮説が与えられ，それぞれの仮説が契約書中でどのように言及されたかを示す 3 つのラべ ル（含意する/矛盾する/言及されない）と，そのラべ ルの根拠となる契約書中の文が付与されている.

従来研究 $[1,2]$ では BERT [3] を用いた質問応答 (QA) モデルにより契約書に対する情報抽出を行っ ている．BERT は大規模なテキストから事前学習 された言語モデルで，図 1 に示されるように [SEP] トークンで結合された質問文と文書のペアを入力事例（以下，事例）とし，回答となるテキストスパン の始点/終点を推定するように finetune することで質問応答 $(\mathrm{QA})$ タスクで高い性能を達成している.こ こで，契約書を入力文書とし，抽出したい内容に応 じた質問文と合わせて入力することで，BERTによ る契約書を対象とした情報抽出が可能となる。

このとき，BERTが扱える最大長を超える契約書

図 2 QA モデルを用いた契約書レビューの手続き

は sliding window を用いてより小さいセグメントへ と分割されて処理される. BERT を用いた $\mathrm{QA}$ モデ ルによる契約書レビューは，数十ページに及ぶ契約書全体から質問文に該当するテキストスパンを抽出 する。そのため, sliding window により分割された 全セグメントに質問の数だけ BERT を適用する必要 があり大幅に時間がかかる. しかし，抽出すべきテ キストスパンは各質問に対して一つであるため，多 くの事例は回答スパンを含まないという傾向があ る. 実際に，CUADにおける $99.987 \%$ の事例は回答 スパンを内包しない.

そこで，本稿は $\mathrm{QA}$ モデルによる契約書レビュー を高速に行うために事例の削減を行う. 具体的に は, 各事例に対し, 高速な分類器を用いて事例のセ グメントが回答を内包するかどうかの二值分類を行 い，分類器により回答を内包すると判別された事例 のみを QA モデルの入力とすることで BERTにより 処理される事例を削減する。

また，BERTの高速化手法として，重みパラメー タの削減によるモデルサイズの圧縮 [4] が提案され ている.これらの手法と提案法はモデルサイズと処理するデータ量の異なるボトルネックへのアプロー チであり，速度改善において競合しない。

実験では，CUADをデータセットとして用いて， テキストスパンの抽出性能をほとんど損なうことな く44\%の事例を削減した。

## 2 質問応答モデル

本節では BERT を用いた質問応答 $(\mathrm{QA})$ モデルの 説明を行う. 図 1 に示されるように $\mathrm{QA}$ モデルは， トークン列により表現された質問文と文書を [SEP] トークンで結合して BERT の入力とし, 文書側の各 トークンに適用された MLP により回答スパンの先

表 1 CUADと SQuADによる 1 文書あたりの事例数およ び回答を含む事例数とその割合の比較

頭/末尾のスコアを推定する.このときBERT の扱 える最大長を超える文書は sliding windowを用いて セグメントに分解され，各セグメントごとに質問文 と結合されて入力される.

## 3 計算量

本節では 1 契約書あたりの BERT の処理回数から 契約書レビューにおける $\mathrm{QA}$ モデルの計算量を考え る. 図 2 に示されるように，契約書レビューにおけ る抽出項目に対応した $M$ 通りの質問文と契約書に 含まれる $N$ 個のセグメントが与えられ，それらの組 み合わせが BERT に入力される。したがって，質問文とセグメントのペアである事例の数が BERT によ る処理回数となり，事例の数は $M \times N$ 通りとなる.

CUAD から開発データとして抽出した 80 文書を 対象として，1 文書あたりの事例数，および，回答 を含む事例数との割合を算出1)した結果を表 1 に示 す. 比較のために SQuAD [5] の開発データも同様に 算出した.

表より，CUAD の事例数は SQuAD に比べて約 7.4 倍多い。つまり 1 文書あたりの BERTによる処理回数が約 7.4 倍となる。また，CUAD は事例数が多い 一方で，SQuAD に比べ回答スパンを内包する事例数およびその割合が極めて低く，大半の事例が回答 を含まないことがわかる。したがって，全ての事例

1）質問文は 64 トークン， sliding window はセグメントの大き さと stride 幅をそれぞれ 448，および 256 トークンとした.

図 3 LinearSVMを用いた分類器

に一様に BERT を適用する従来の QA モデルによる 契約書レビューは，その計算量の殆どを回答を含ま ない事例に費やすことになり非効率的である。

## 4 計算量を減らすための分類器

回答を含むセグメントを持つ事例はわずかである ため，事前に高速な分類器によって回答を含まない と判別できるならば，QA モデルに入力される膨大 な事例数を減らすことができ，計算量の削減につな がる. したがって，本節では各事例についてそのセ グメントが質問に対する回答を内包するかを分類す るための分類器を提案する. 提案する分類器の概要 を図 3 に示す。

分類器には計算速度の観点から BERT と比較して 高速に動作する LinearSVM を使用する。 QA モデル と一貫した入力形式を扱えるように，分類器の入力 は QA モデルと同様にセグメントと質問文を用い る. セグメントは内包される uni-gram と bi-gram の TF-IDF ベクトル，質問文は Bag-of-Words ベクトル によりベクトル化して分類器の入力とする.

## 5 実験設定

## 5.1 データセット

分類器の学習，評価に用いるデータセットは $\mathrm{CUAD}^{2)}$ を使用した. CUAD は，学習データと評価 データが配布されており，学習データを分割して開発データを用意した。このとき，文書サイズの偏り を軽減するために学習データを文書の長さによって ソートしたのち 10 個のビンへと分割し，各ビンに おいてランダムに $80 \%$ を新しい学習データ，残りの $20 \%$ 開発データとして分割した。

## 5.2 評価尺度

本実験では $\mathrm{QA}$ モデルにより処理される事例を削減して計算量を減らすことが目的であるため，事例

図4 開発データを用いた class weight の変化における性能と削減率の比較

の削減率と $\mathrm{QA}$ モデルの性能の二つにより評価を 行う.

削減率は全ての事例のうち，分類器によって回答 を含まないと分類された事例の割合とする。

$\mathrm{QA}$ モデルの性能は予測したスパンと正解のスパ ンをもとに算出される。ここでは先行研究 [1] に従 い，Precision at 80\% Recall (P@R80) により QA モデ ルの性能を評価する。

## 5.3 ハイパーパラメータ

本実験の LinearSVM には scikit-learn [6] を利用し， クラスごとの正則化係数 $C$ を変化させる class weight の值を開発データにより選択した. class weight は 図 4 の横軸に示される 0.5:0.5 から 0.99:0.01 の 10 通 りから探索した. class weight を変化させたときの開発データによる $\mathrm{QA}$ モデルの性能と削減率を図 4 示 す. 例えば class weight が 0.7:0.3 であれば，回答を 含む，回答を含まないの各クラスに対応する正則化係数 $C$ にそれぞれ 0.7 と 0.3 が掛け合わされる. し たがって，グラフの右側に行くにつれて回答を含む と分類されやすくなる. グラフの右端は分類器を 用いない（全ての事例に回答を含むと分類した場合 と等しい) ベースラインである。

開発データの結果から，性能が高い 0.97:0.03，お よび性能が高く削減率の良い 0.9:0.1 の 2 つの class weight を評価データでベースラインと比較すること とした.

## 6 実験結果

表 2 に評価データによる実験結果を示す。性能と 削減率がトレードオフである傾向は開発データと同様であり，class weight により削減率を制御できてい ることがわかる. 特に，class weight=0.9:0.1 におい て性能が 1.8 ポイント減少するが，44\%の事例を削

図 5 評価データによる class weight $=0.5: 0.5$ を対象としたラベルごとの性能の比較

表 2 評価データによる性能および削減率の比較

減できることを示した. また， class weight=0.97:0.03 において性能がわずかに向上する。これは事前に回答を含まない事例を削減することにより，QA モデ ルが候補として予測するスパンの質が向上したため と考えられる。

図 5 に評価データを用いたラベル毎の性能を示 す. 事例の削減による各ラベルの性能低下の影響を 調べるために，削減率の高い class weight=0.5:0.5 の 分類器をべースラインと比較した. CUAD は 41 種類のラベルがあるが, ベースラインにおける $\mathrm{P} @ \mathrm{R} 80$ の値が 0 ポイントのラベルはグラフから除いた. ラベルは class weight=0.5:0.5 の性能によってソート されており，ラベルによって性能が低下するラべ ルとそうでないラベルがあることがわかる. 性能 の劣化しなかった Governing Law や Agreement Date などのラベルは特定の表現（Governing Law であれ ば"governed by"，Agreement Date であれば月を表す 英単語など）を高い確率でセグメントに含んでお り，N-gramを素性とした分類器で十分に分類可能 であったと考えられる。一方で，性能の劣化したラ ベルは N-gram で捉えられない，例えば，言い換え などの表現が含まれると考えられる.この結果を踏 まえて, 今後の改善として意味の近い単語を類似す るべクトルによって表現できる単語分散表現 $[7,8]$ を素性として用いることが考えられる.

## 7 まとめ

本稿では，BERT を用いた QA モデルによる契約書レビューの高速化のために，BERT の入力事例を 高速な分類器を用いて事前に分類することで QA モ デルの計算量を削減する手法を提案した． CUADを 用いた実験では，分類器のパラメータである class weight によりトレードオフの関係にある削減率と性能を選択できることを示し，評価データにおいては 1.8 ポイントのわずかな性能の低下で $44 \%$ の事例が 削減できることを示した. さらなる今後の改善とし て, 分類器として用いた LinearSVMへの入力となる セグメントや質問文のベクトルを単語分散表現に置 き換えることで言い換えなどに頑健な分類が可能に なると考えられる。

## 参考文献

[1] Dan Hendrycks, Collin Burns, Anya Chen, and Spencer Ball. Cuad: An expert-annotated nlp dataset for legal contract review. NeurIPS, 2021.

[2] Yuta Koreeda and Christopher Manning. ContractNLI: A dataset for document-level natural language inference for contracts. In Findings of the Association for Computational Linguistics: EMNLP 2021, pp. 1907-1919, Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[3] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 41714186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[4] J. S. McCarley, Rishav Chakravarti, and Avirup Sil. Structured pruning of a bert-based question answering model. 2019.

[5] Pranav Rajpurkar, Jian Zhang, Konstantin Lopyrev, and Percy Liang. SQuAD: 100,000+ questions for machine comprehension of text. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 2383-2392, Austin, Texas, November 2016. Association for Computational Linguistics.

[6] F. Pedregosa, G. Varoquaux, A. Gramfort, V. Michel, B. Thirion, O. Grisel, M. Blondel, P. Prettenhofer, R. Weiss, V. Dubourg, J. Vanderplas, A. Passos, D. Cournapeau, M. Brucher, M. Perrot, and E. Duchesnay. Scikit-learn: Machine learning in Python. Journal of Machine Learning Research, Vol. 12, pp. 2825-2830, 2011.

[7] Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg S Corrado, and Jeff Dean. Distributed representations of words and phrases and their compositionality. In C. J. C. Burges, L. Bottou, M. Welling, Z. Ghahramani, and K. Q. Weinberger, editors, Advances in Neural Information Processing Systems, Vol. 26. Curran Associates, Inc., 2013.

[8] Jeffrey Pennington, Richard Socher, and Christopher Manning. GloVe: Global vectors for word representation. In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 1532-1543, Doha, Qatar, October 2014. Association for Computational Linguistics.