# 項目反応理論に基づく難易度調節可能な読解問題自動生成手法

鈴木彩香 1 宇都雅輝 1
1 電気通信大学大学院
\{suzuki_ayaka,uto\}@ai.lab.uec.ac.jp

## 概要

読解問題自動生成とは, 読解対象文からそれに関連する問題を自動生成する技術である。近年では,深層学習を用いた手法により, 柔軟で高品質な問題生成が実現されている.しかし, 従来手法には, 次 の課題がある. 1）問題に対応する答えを生成でき ない.2）学習者の能力に合わせた難易度の問題を 生成できない。これらの問題を解決するために, 本研究では, 項目反応理論を用いて推定される難易度 を考慮して，問題と答えのぺアを生成する手法を提案する。提案手法は事前学習済み深層学習モデル （BERT とGPT-2）を拡張することで実現する。

## 1 はじめに

読解問題自動生成とは, 読解対象文からそれに関連する問題を自動生成する技術であり, 教育分野に おいて読解力の育成・評価を支援する技術の一つと して活用が期待されている。

従来の読解問題自動生成手法は, 人手で設計し たルールやテンプレートを利用する手法が主流で あったが, 適切なルールやテンプレートの作成に は大きなコストを要する $[1,2,3]$. この問題に対 し, 近年では, 深層学習を用いた end-to-end の手法 が多数提案されている $[4,5,6,7,8,9]$. 初期の手法としては, リカレントニューラルネットワーク (Recurrent Neural Networks : RNN) やアテンション に基づく sequence-to-sequence（seq2seq）モデル [6] が提案されてきた。一方で, 近年では, 事前学習済 みの Transformerに基づく手法が多数提案され, 読解対象文に対応した流暢な問題生成を実現している $[5,10,11,12,13]$.

一方で, 問題生成技術を読解力を育成する学習支援として活用する場合, 学習者の能力に合わせた適切な難易度の問題を出題することが効果的である. このような背景から, 近年, 難易度調整可能な問題生成技術がいくつか提案されている $[10,14,15,16]$. しかし，既存手法には次の問題点がある.
1. 読解対象文と答えを与えて問題を生成するた め, 問題とそれに対応した答えの両方を生成す ることはできない.

2. 問題の難易度と学習者の能力の関係を無視して いるため, 学習者の能力にあった適切な難易度 の問題生成を行うことができない.

これらの問題を解決するために, 本研究では, 項目反応理論（Item response theory：IRT）[17]を用い て定量化される難易度値を与えて，問題と答えのぺ アを生成する新たな読解問題自動生成手法を提案す る. 提案手法は, BERT と GPT- 2 に基づく, 2 つの 事前学習済み深層学習モデルを用いて構成する.

## 2 提案手法

本研究では, 読解対象文 $\boldsymbol{w}_{i}=\left.\{w_{i m} \mid m \in\right.$ $\left.\left.\{1, \ldots, M_{i}\right.\}\right.\}$ とそれに関連する問題文 $\boldsymbol{q}_{i}=\left.\{q_{i n} \mid n \in\right.$ $\left.\left.\{1, \ldots, N_{i}\right.\}\right.\}$, およびその問題に対応する答え $\boldsymbol{a}_{i}=\left.\{a_{i o} \mid o \in\left.\{1, \ldots, O_{i}\right.\}\right.\}$ で構成されるデータ セット $\boldsymbol{C}=\left.\{\boldsymbol{w}_{i}, \boldsymbol{q}_{i}, \boldsymbol{a}_{i} \mid i \in\{1, \ldots, I\}\right.\}$ が与えられてい る場合を考える。ここで， $w_{i m}, q_{i n}, a_{i o}$ はそれぞれ $\boldsymbol{w}_{i}, \boldsymbol{q}_{i}, \boldsymbol{a}_{i}$ の $m, n, o$ 番目の単語を表し, $M_{i}, N_{i}$, $O_{i}$ は $\boldsymbol{w}_{i}, \boldsymbol{q}_{i}, \boldsymbol{a}_{i}$ の単語数を表す. また, $I$ はデータ 数を表す. 本研究では, このデータセットに各問題 の難易度を加えたデータセットを次のように作成 し，次節で説明する提案手法の訓練データとする。

1. 各問題に対する正誤反応データの収集: データ セット $C$ に含まれる各問題 $\boldsymbol{q}_{i}$ に対する解答者 の正誤反応データを収集する.ただし，本研究 では人間の解答者を QA (Question Answering) システムで代用する， QA システムとは，読解対象文と問題文を入力して答えを予測するシス テムであり，ここでは $\mathrm{QA}$ システムによる解答 と答え $a_{i}$ の完全一致により正誤判定を行う.

2. IRTを用いた難易度推定: 本研究では問題 の難易度推定に IRTを使用する. IRT は，数理モデルを用いたテスト理論の一つであり，
様々なハイステークス試験で活用されている $[18,19,20]$. IRT では, 学習者の能力と問題の 難易度を関連づけて推定でき, 学習者の能力に あった適切な難易度値の選定が可能である.こ こでは, 最も単純な IRT モデルである次式の ラッシュモデルを利用して, 正誤反応データか ら各問題の難易度値を推定する。

$
p_{i j}=\frac{\exp \left(\theta_{j}-b_{i}\right)}{1+\exp \left(\theta_{j}-b_{i}\right)}
$

ここで, $p_{i j}$ は $i$ 番目の問題における $j$ 番目の解答者の正答確率を表し, $b_{i}$ は $i$ 番目の問題の難易度値, $\theta_{j}$ は $j$ 番目の解答者の能力值を表す. ラッシュモデルでは, $\theta_{j}=b_{i}$ のときに正答確率 が 0.5 となる. 適応的学習では, 一般に正答確率が 0.5 となる問題を与えることが有効とされ ているため, $b_{i}=\theta_{j}$ を難易度値として指定し て，問題を生成することが望ましいといえる。

3. 難易度を含んだデータセットの作成: データ セット $\boldsymbol{C}$ に IRT で推定された難易度値を加えた 新しいデータセット $\boldsymbol{C}^{\prime}$ を作成する。 $\boldsymbol{C}^{\prime}$ は, 読解対象文 $\boldsymbol{w}_{i}$, 問題文 $\boldsymbol{q}_{\boldsymbol{i}}$, 答え $\boldsymbol{a}_{\boldsymbol{i}}$, 難易度値 $b_{i}$ の集合として，以下のように表記できる。

$
\boldsymbol{C}^{\prime}=\left.\{\left(\boldsymbol{w}_{i}, \boldsymbol{q}_{i}, \boldsymbol{a}_{i}, b_{i}\right) \mid i \in\{1, \ldots, I\}\right.\}
$

このデータセット $\boldsymbol{C}^{\prime}$ をい用いて，提案手法では，1）読解対象文と指定した難易度值から答えを抽出する モデルと，2）抽出された答えと読解対象文, 難易度値から問題文を生成するモデル，の２段階で問題生成を実現する．以降で各モデルの詳細を説明する。

## 2.1 難易度調整可能な答え抽出モデル

難易度調整可能な答え抽出モデルでは基礎モデ ルに BERT (Bidirectional Encoder Representations from Transformers）[21]を用いる．BERT は， 1 億以上の パラメータを持つ Transformer ベースの深層学習モ デルを, 33 億語以上の単語を含む文章データセット で事前学習したモデルである. 事前学習は, Masked Language Model と Next Sentence Prediction の二つの 教師なし学習で実現されている. BERT は, 文書の 分類や回帰タスクをはじめとして，系列ラベリング や抽出型文章要約のような文章からの要素抽出タス クにも広く利用されている [22].

本研究では, BERTを基礎モデルとして, 読解対象文と指定した難易度值から答えを抽出するモデルを 構築する. 具体的には, 読解対象文 $w_{i}$ と難易度值 $b_{i}$ を特殊トークンで連結したデータ $[\mathrm{CLS}] b_{i}[\mathrm{SEP}] \boldsymbol{w}_{i}$
を入力として受け取り，読解対象文における答えの 開始位置と終了位置を出力するように BERT の出力層を設計してファインチューニング（追加学習）す る.ここで，ファインチューニングの損失関数は以下で定義する。

$
-\sum_{i=1}^{I} \sum_{m=1}^{M_{i}}\left.\{Z_{i m}^{(s)} \log P_{i m}^{(s)}+Z_{i m}^{(e)} \log P_{i m}^{(e)}\right.\}
$

ここで, $Z_{i m}^{(s)}$ と $Z_{i m}^{(e)}$ は読解対象文 $\boldsymbol{w}_{i}$ 中の $m$ 番目の 単語が答えの開始位置と終了位置である場合にそれ ぞれ 1 を取るダミー変数である. また, $P_{i m}^{(s)}$ と $P_{i m}^{(e)}$ は次式で定義される。

$
\begin{aligned}
& P_{i m}^{(s)}=\operatorname{softmax}\left(\boldsymbol{S} \cdot \boldsymbol{T}_{i m}\right)=\frac{\exp \left(\boldsymbol{S} \cdot \boldsymbol{T}_{i m}\right)}{\sum_{m^{\prime}}^{M_{i}} \exp \left(\boldsymbol{S} \cdot \boldsymbol{T}_{i m^{\prime}}\right)} \\
& P_{i m}^{(e)}=\operatorname{softmax}\left(\boldsymbol{E} \cdot \boldsymbol{T}_{i m}\right)=\frac{\exp \left(\boldsymbol{E} \cdot \boldsymbol{T}_{i m}\right)}{\sum_{m^{\prime}}^{M_{i}} \exp \left(\boldsymbol{E} \cdot \boldsymbol{T}_{i m^{\prime}}\right)}
\end{aligned}
$

ここで， $\boldsymbol{T}_{i m}$ は読解対象文 $\boldsymbol{w}_{i}$ における $m$ 番目の単語に対応する BERT の出力ベクトルを表し, $S$ と $\boldsymbol{E}$ は学習される重みベクトルを表す.

このようにファインチューニングした BERT を用 いた答えの抽出は, 答えの開始位置 $\hat{s}$ と終了位置 $\hat{e}$ を次式で求め，その区間の単語列を読解対象文から 抽出することで行う。

$
\hat{s}=\arg \max _{m} P_{i m}^{(s)}, \hat{e}=\arg \max _{m} P_{i m}^{(e)}
$

## 2.2 難易度調整可能な問題生成モデル

難易度調整可能な問題生成モデルでは基礎モデ ルに GPT-2 (Generative Pre-trained Transformer 2) [23] を用いる。GPT-2 は， 15 億以上のパラメータを持つ Transformer ベースの深層学習モデルを， 800 万以上 の文書データで事前学習した言語モデルである．事前学習は, 現時点までに入力された単語列から次に 出現する単語を逐次的に予測させる Language Model と呼ばれる教師なし学習で実現されている. GPT-2 は, 問題生成タスクを含む様々な文章生成タスクで 広く利用されている。

本研究では，GPT-2 を基礎モデルとした問題自動生成手法 [24] を, 問題の難易度を調整できるよう に拡張する. 具体的には, 読解対象文 $\boldsymbol{w}_{i}$ と答え $\boldsymbol{a}_{i}$,問題文 $\boldsymbol{q}_{i}$, 難易度値 $b_{i}$ を特殊トークンで連結した 以下のデータを学習に用いる.

$
b_{i}<\mathrm{QU}>\boldsymbol{W}_{i}<\mathrm{AN}>\boldsymbol{a}_{i}<\mathrm{AN}>\boldsymbol{W}_{i}^{\prime}<\mathrm{G}>\boldsymbol{q}_{i}
$

ただし， $\boldsymbol{W}_{i}$ と $\boldsymbol{W}_{i}^{\prime}$ はそれぞれ読解対象文 $\boldsymbol{w}_{i}$ 中の答 え $\boldsymbol{a}_{i}$ 以前と以降の単語列を表し，<AN>は答えの開始と終了を表す特殊トークンである．また，〈QU>

とくG>は読解対象文と問題文の開始を表す特殊トー クンである.このデータを用いた GPT-2 のファイ ンチューニングは, 以下の損失関数の最小化により 行う.

$
-\sum_{i=1}^{I} \sum_{n=1}^{N_{i}} \log \left.\{P\left(q_{i n} \mid q_{i 1}, \ldots, q_{i(n-1)}, \boldsymbol{w}_{i}, \boldsymbol{a}_{i}, b_{i}\right)\right.\}
$

ここで,

$
\begin{array}{r}
P\left(q_{i n} \mid q_{i 1}, \ldots, q_{i(n-1)}, \boldsymbol{w}_{i}, \boldsymbol{a}_{i}, b_{i}\right) \\
=\operatorname{softmax}\left(\boldsymbol{G} \cdot \boldsymbol{T}_{\boldsymbol{q}_{i(n-1)}}^{q_{i n}}\right) \\
\quad=\frac{\exp \left(\boldsymbol{G} \cdot \boldsymbol{T}_{\boldsymbol{q}_{i(n-1)}}^{q_{i n}}\right)}{\sum_{v^{\prime}}^{V^{\prime}} \exp \left(\boldsymbol{G} \cdot \boldsymbol{T}_{\boldsymbol{q}_{i(n-1)}}^{q_{i n}}\right)}
\end{array}
$

であり, $V^{\prime}$ は GPT-2 が扱う語彙の総数, $\boldsymbol{T}_{\boldsymbol{q}_{i(n-1)}}^{q_{i n}}$ は単語列 $\boldsymbol{q}_{i(n-1)}=\left(q_{i 1}, \ldots, q_{i(n-1)}\right)$ に続いて単語 $q_{i n}$ を入力した場合の GPT-2 の出力ベクトル, $\boldsymbol{G}$ は学習され る重みベクトルである.

ファインチューニングされたモデルを用いた問題文の生成は, <G>までのデータを入力として与え,次式に従って一単語ずつ生成することで行う.

$
\begin{aligned}
\hat{q}_{i n} & =\arg \max _{v} P\left(v \mid \hat{q}_{i 1}, \ldots, \hat{q}_{i(n-1)}, \boldsymbol{w}_{i}, \boldsymbol{a}_{i}, b_{i}\right) \\
& =\arg \max _{v}\left(\operatorname{softmax}\left(\boldsymbol{G} \cdot \boldsymbol{T}_{\boldsymbol{q}_{i(n-1)}^{v}}^{v}\right)\right)
\end{aligned}
$

## 3 提案手法の有効性評価実験

提案手法の有効性を評価するために，質問応答$\cdot$問題生成タスクで広く利用される SQuAD データ セット [25]を用いて実験を行った. SQuADとは, Wikipedia の様々な記事（読解対象文に対応）に基 づいて作成された 98,169 個の問題とそれに対応す る答えで構成されるデータセットである. このデー タはあらかじめ, 訓練データ $(90 \%)$, テストデータ （10\%）に分割されている．SQuAD データセットを 用いた実験手順は以下の通りである。

1. SQuAD の訓練データを用いて, 精度の異なる 5 つの $\mathrm{QA}$ システム $[21,26,25,27]$ を構築した.
2. 5 つの $\mathrm{QA}$ システムに SQuAD のテストデータ 中の各問題を解答させ, 正誤反応データを収集 した。

3. 得られた正誤反応データを用いて, 式(1)のラッ シュモデルで各問題の難易度値を推定した. 得 られた難易度値は, 6 值 (-3.96, -1.82, - - . 26, $0.88,2.00,3.60)$ であり, 值が小さいほど簡単 な問題であることを意味する.モデルが数值入力を理解しやすいように, 実数值で推定した 難易度値 $(-3.96,-1.82,-0.26,0.88,2.01,3.60)$

図 1 難易度別の正答率

を正の整数值 $(1,29,49,64,79,100 ）$ に線形変換を行なった。

4. 得られた難易度值と SQuAD のテストデータを 統合して，難易度值を加えたデータセットを作成した.このデータセットを $90 \%$ と $10 \%$ に分割 し，90\%を提案手法の訓練データ，10\%を評価用データとした.

5. SQuAD の訓練データを用いて, 難易度を考慮 せずに答え抽出モデルと問題生成モデルを一度 ファインチューニングしたのち, 手順 4 で作成 した提案手法のための訓練データで難易度を考慮したファインチューニングを行なった.

6. 所望の難易度に応じた出力が行えたかを評価す るために，10\%の評価用データ中の読解対象文 に対して，6 パタンの難易度值をそれぞれ与え て生成した問題と答えを用いて，機械による評価と人間による評価を実施した。

## 3.1 機械による評価

上記の実験手順 6 における機械による評価は, 以下の 2 つの観点で行なった。
- 生成された問題の難易度別正答率
- 抽出された答えの難易度別平均単語数 ただし, 正答率の評価には 2 つの $\mathrm{QA}$ システム $[21,26]$ を使用し, 先行研究 $[10]$ と同様に 2 つの $\mathrm{QA}$ システムが正解した場合のみを正答として扱った。

まず，生成された問題の難易度別正答率を図 1 に 示す. 図から, 難易度が高いほど生成された問題に 対する QA システムの正答率が減少する傾向が確認 できる.このことから, 提案した問題生成手法が,指定した難易度を反映した問題生成を行っているこ とが示唆される。

次に，答えの難易度別単語数を図 2 に示す. 図か ら, 難易度が高いほど抽出された答えの平均単語数 が増加する傾向が確認できる。一般に答えの単語数

図 2 難易度別の単語数

表 1 出力された問題と答えの例

読解対象文 Deacons are called by God, affirmed by the church, and ordained by a bishop to servant leadership within the church. They are ordained to ministries of word, service, compassion, and justice. They may be appointed to ministry within the local church or to an extension ministry that supports the mission of the church. ... Deacons serve supports the mission of the church. ... Deacons serve a term of $2-3$ years as provisional deacons prior to their ordination.難易度値 1

問題 Who ordained deacons?

答え bishop

難易度値 100

が多くなるほど難しい問題であると予測できること から，提案手法が指定した難易度を反映した答え抽出を行っていることが示唆される.

また, 出力された問題と答えの例を表 1 に示す.表から，難易度を低く指定すると，単一の用語を答 えとする比較的簡単な問題が生成されたのに対し,難易度を高く指定すると，長めの文章を答えとする 比較的難しい問題が生成されたことがわかる.

## 3.2 人間による評価

人間による評価では, 評価用データからランダム に選択した 10 個の読解対象文について 6 段階の難易度別に生成された答えと問題（合計 60 ペア）を 以下の 4 つの観点に基づいて， 4 人の評定者で採点 した。
- 流暢性 : 文法的な正しさや流暢さの評価. 適当, 不適当, 許容範囲の 3 段階で評価した。
- 内容関連性 : 生成された問題が読解対象文の内容と関連しているかの評価. 適当, 不適当の 2 段階で評価した。
- 解答可能性 : 抽出された答えが生成された問題 の正しい答えとなっているかの評価. 適当, 不適当, 不十分, 過剩の 4 段階で評価した. 不十分は答えを部分的に含むが不足している場合を 表し, 過剰は抽出された答えに余分な部分が含 まれていることを表す.
- 難易度 : 生成された問題の難易度の評価. 1 か

図 3 人間による難易度評価

ら 5 の 5 段階で評価した. 1 が最も簡単な問題 を意味し， 5 が最も難しい問題を意味する.

流暢性, 内容関連性, 解答可能性の結果を表 2 に 示す.なお，表中の「解答可能性」行に記載された 「内容関連」と「内容非関連」の列は, 解答可能性 で不適当と判定された問題のうち，内容関連性が適当/不適当であったものの割合をそれぞれ表す.表 から， 7 割以上の問題が流暢な文法で生成されてお り, 約 9 割の問題が適切に読解対象文の内容を反映 していることがわかる。さらに，約 7 割のケースで 解答可能な問題と答えのペアが生成できており, 不十分/過剩を含めると 8 割以上のケースで少なくと も部分的には対応した問題と答えのペアが生成でき たことがわかる。一方で，解答不適当と判定された 残りの 1.5 割については, 生成された問題と本文の 内容が関連していないことが主要因であった。

次に，難易度の評価結果を図 3 に示す。図から，難易度を高く指定して生成した問題ほど人間評価者 が難しいと判断したことがわかり，人間の主観的難易度にあった問題が生成できたことがわかる。

## 4 おわりに

本研究では, 任意の難易度の問題と答えを自動生成する手法を提案し, 実験から提案手法の有効性を 示した. 今後は，人間を対象にしたデータ収集を行 ない，より厳密な評価実験を行う。

## 参考文献

[1] David Lindberg, Fred Popowich, John Nesbit, and Phil Winne. Generating Natural Language Questions to Support Learning On-Line. In Proc. Natural Language Generation, pp. 105-114, 2013.

[2] Igor Labutov, Sumit Basu, and Lucy Vanderwende. Deep Questions without Deep Understanding. In Proc. the Association for Computational Linguistics and Natural Language Processing, pp. 889-898, 2015.

[3] Michael Heilman and Noah A. Smith. Good Question! Statistical Ranking for Question Generation. In Proc. the North American Chapter of the Association for Computational Linguistics, pp. 609-617, 2010.

[4] Ruqing Zhang, Jiafeng Guo, Lu Chen, Yixing Fan, and Xueqi Cheng. A Review on Question Generation from Natural Language Text. ACM Transactions on Information Systems, 2021.

[5] Ying-Hong Chan and Yao-Chung Fan. A Recurrent BERTbased Model for Question Generation. In Proc. Workshop on Machine Reading for Question Answering, pp. 154162, 2019.

[6] Xinya Du, Junru Shao, and Cardie Cardie. Learning to Ask: Neural Question Generation for Reading Comprehension. In Proc. Annual Meeting of the Association for Computational Linguistics, 2017.

[7] Sandeep Subramanian, Tong Wang, Xingdi Yuan, Saizheng Zhang, Yoshua Bengio, and Adam Trischler. Neural Models for Key Phrase Extraction and Question Generation. In Proc. Machine Reading for Question Answering,, pp. 78-88, 2018.

[8] Yanghoon Kim, Hwanhee Lee, Joongbo Shin, and Kyomin Jung. Improving Neural Question Generation Using Answer Separation. In Proc. the AAAI Conference on Artificial Intelligence, Vol. 33, pp. 6602-6609, 2019.

[9] Xingwu Sun, Jing Liu, Yajuan Lyu, Wei He, Yanjun Ma, and Shi Wang. Answer-focused and Position-aware Neural Question Generation. In Proc. Empirical Methods in Natural Language Processing, pp. 3930-3939, 2018.

[10] Yifan Gao, Lidong Bing, Wang Chen, Michael Lyu, and Irwin King. Difficulty Controllable Generation of Reading Comprehension Questions. In Proc. International Joint Conference on Artificial Intelligence, 2019.

[11] Seungyeon Lee and Minho Lee. Type-dependent Prompt CycleQAG : Cycle Consistency for Multi-hop Question Generation. In Proc. International Conference on Computational Linguistics, 2022.

[12] Manav Rathod, Tony Tu, and Katherine Stasaski. Educational Multi-Question Generation for Reading Comprehension. In Proc. Workshop on Innovative Use of NLP for Building Educational Applications, 2022.

[13] Asahi Ushio, Fernando Alva-Manchego, and Jose Camacho-Collados. Generative Language Models for Paragraph-Level Question Generation. In Proc. Conference on Empirical Methods in Natural Language Processing, 2022.

[14] Yi Cheng, Siyao Li, Bang Liu, Ruihui Zhao, Sujian Li, Chenghua Lin, and Yefeng Zheng. Guiding the growth:
Difficulty-controllable question generation through stepby-step rewriting. In Proc. Annual Meeting of the Association for Computational Linguistics and International Joint Conference on Natural Language Processing, 2021.

[15] Ghader Kurdi, Jared Leo, Bijan Parsia, Uli Sattler, and Salam AI-Emari. A Systematic Review of Automatic Question Generation for Educational Purposes. International Journal of Artificial Intelligence in Education, Vol. 30, pp. 121-204, 2019.

[16] Tahani Alsubait, Bijan Parsia, and Ulrike Sattler. A similarity-based theory of controlling MCQ difficulty. In Proc. International Conference on E-Learning and ETechnologies in Education, pp. 283-288, 2013.

[17] Frederic M Lord. Applications of item response theory to practical testing problems. Routledge, 2012.

[18] Masaki Uto and Maomi Ueno. Empirical comparison of item response theory models with rater's parameters. $\mathrm{He}-$ liyon, Vol. 4, No. 5, pp. 1-32, 2018.

[19] Masaki Uto. A Bayesian many-facet Rasch model with Markov modeling for rater severity drift. Behavior Research Methods, 2022.

[20] Masaki Uto. A multidimensional generalized many-facet Rasch model for rubric-based performance assessment. Behaviormetrika, Vol. 48, No. 2, pp. 425-457, 2021.

[21] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proc. the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 4171-4186, 2019.

[22] Anirudh Srikanth, Ashwin Shankar Umasankar, Saravanan Thanu, and S. Jaya Nirmala. Extractive Text Summarization using Dynamic Clustering and Co-Reference on BERT. In Proc. International Conference on Computing, Communication and Security, pp. 1-5, 2020.

[23] Alec Radford, Jeff Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. Language models are unsupervised multitask learners. OpenAI, 2019.

[24] Megha Srivastava and Noah Goodman. Question Generation for Adaptive Education. In Proc. Annual Meeting of the Association for Computational Linguistics and International Joint Conference on Natural Language Processing, pp. 692-701, 2021.

[25] Pranav Rajpurkar, Jian Zhang, Konstantin Lopyrev, and Percy Liang. SQuAD: 100,000+ Questions for Machine Comprehension of Text. In Proc. Empirical Methods in Natural Language Processing, pp. 2383-2392, 2016.

[26] Zhenzhong Lan, Mingda Chen, Sebastian Goodman, Kevin Gimpel, Piyush Sharma, and Radu Soricut. ALBERT: A Lite BERT for Self-supervised Learning of Language Representations. In Proc. International Conference on Learning Representations, 2020.

[27] Matthew Richardson, Christopher J.C. Burges, and Erin Renshaw. MCTest: A Challenge Dataset for the OpenDomain Machine Comprehension of Text. In Proc. Empirical Methods in Natural Language Processing, pp. 193203, 2013


# ニつの動作を含む重文型命令文を受理するためのサービス指向発話文解析の拡張

但田聖 徳久雅人 木村周平
鳥取大学 工学部
b19t2060u@edu.tottori-u.ac.jp
\{tokuhisa,kimura\}@tottori-u.ac.jp

## 概要

本稿では，2つの動作を一度に命令する発話文を受理 してサービスの提供を行う手法について述べる。スマー トフォンや家電に音声認識を使ったサービス要求の命令 が可能である. 1 つの動作を命令する発話文は受理可能 である.しかし，2つの動作を命令するためには 2 回の 発話が必要となる.

本稿では，車載器に用いられるサービス指向発話文解析器（従来手法）に対して，文分割，分割評価および命令合成を追加することで，2つの動作を含む命令文であっ ても適切にサービスの提供が実現できることを示す.

## 1 はじめに

近年，音声認識を用いた技術が普及している．スマー トフォンや家電に，音声認識を使ったサービス要求の命令が可能になっている.

本研究室では音声命令によって操作可能な車載器の開発を進めている [1].この車載器では，1つの動作のため の命令文しか実行することができない. よって，この車載器に 2 つの動作を命令したい時は，1つずつ動作を命令しなければならず，時間と手間がかかってしまう.

そこで，本稿では車載器で 2 つの動作を含む重文型命令文が実行できるようにすることを目的とする.

## 2 先行研究

文分割についての先行研究，発話文解析についての先行研究，および本稿の位置づけについて述べる.

## 2.1 文分割についての先行研究

先行研究 [2] は, 複雑な文の可読性の向上や解析処理 を目的とした研究である．WEBSPLIT という単純な文 と複雑な文をぺアとするデータセットを提案し，文分割 を可能にしたが，実際に複雑な文の解析に適用できるか の確認は行われなかった。

## 2.2 発話文解析についての先行研究

先行研究 [1] では, ユーザからのサービス要求型発話 を受け取ると，発話文の意図するサービスとメソッドを 発話文解析によって推定し，小型計算機上でサービス結果を出力する研究が行われた. 発話文解析の流れと先行研究の問題点について述べる.

## 2.2.1 発話文解析の流れ

発話文解析の流れを図 1 に示す.

図 1 発話文解析の流れ

発話文解析器がユーザから発話文を受け取ると，パー ジングが行われる． パージングではサービス別に用意さ れた辞書を用いて各語句にタグ付けを行い，「サービス 別タグ付き文」を出力する．次に，意図解析では，オリ ジナルコーパスの事例と「サービス別タグ付き文」の比較を行い，意図クラスを求める．オリジナルコーパスは，「発話文，サービス名，メソッド名・引数」という事例で 構成され，サービス名とメソッド名・引数の組を意図ク ラスとする．比較の際，事例 $i$ とサービス別タグ付き 文」との近さ $d_{1}$ を次式で求めて利用する.

$
d_{1}\left(U, T_{i}\right)=\frac{2\left|U \cap T_{i}\right|}{|U|+\left|T_{i}\right|+\beta}
$

ここで， $U$ はタグ付き文のタグの集合， $T_{i}$ は意図解析用事例 $i$ のタグの集合， $\beta$ は偏りを持たせるパラメータで ある.

近さの降順で意図クラスが得られ，解候補として複数 が出力される.

次に，スロットフィリングでは，得られた解候補の引数に対して代入を行い，得られたスロット值（引数と代入語句の対）を解候補に加えて出力する.

最後に，選択では，解候補のタグの一致率およびス ロットの代入率からスコア $d_{2}$ を次式で求めて利用する.

$
d_{2}\left(U, T_{i}, b, s\right)=\frac{2\left|U \cap T_{i}\right|+b}{|U|+\left|T_{i}\right|+s+\beta}
$

ここで，bはスロットフィリングにおいて代入されたス ロット数であり，s はスロットフィリングにおいて代入 されるべきスロット数である。なお， $U, T_{i}$ おび $\beta$ は 式 (1)と同じである.

スコアの降順で意図クラスおよび引数の具体值が得ら れ, 最高スコアの命令 (サービス名・メソッド名・スロッ 卜値）が選ばれる。命令はサービスの実行部に送られて， ユーザにサービスの提供が行われる．以上の流れで発話文解析を行う。
以下に発話文解析の例を示す.

発話文：鳥取の地図を表示してください

意図クラス：serviceMap.comShow(loc)

解候補のスロット値 : $\mathrm{loc}=$ 鳥取

命令：serviceMap.comShow(loc=鳥取)

## 2.2.2 先行研究の問題点

2 つ動作を含む重文型命令文を先行研究の手法に入力すると， 1 事例につき 1 意図クラスしかオリジナル コーパスに登録されてないため，1つの命令しか実行さ れない． 2 つの動作を含む命令を実行させるには，オリ ジナルコーパスの発話文を組み合わせて命令文を作り， その 1 つの命令文につき動作を 2 つ登録するというア イデアが考えられる。しかし，オリジナルコーパスに登録されている発話文は約 3 千文であり，その組み合わせ は最大で約 9 百万文となる。これではコストが大きす ぎる.

## 2.3 本稿の位置づけ

本稿では，コストを抑えるために，コーパスへの文の 追加ではなく, 車載器の発話文解析器の拡張という手段 をとる。すなわち，文分割を発話文解析の前に行うこと で，2つの動作を含む文を 1 つの動作を含む 2 つの文と し，得られる命令を適切に実行することを試みる。ただ し，本稿では，2つの動作を含む表現を重文型命令文に 限定する。

## 3 提案手法

提案手法は，従来手法 (2.2 節) に対し，「文分割」，「分割評価」および「命令合成」を追加した拡張手法である （図 2)。拡張のねらいは次のとおりである.
- 文分割 $: 1$ 文 1 命令となるように文を分割
- 分割評価：分割/非分割のどちらが意味を波み 取ったかを評価
- 命令合成：単機能な複数命令か，高機能な単一命令かの選択

図 2 拡張された発話文解析器

以下に提案手法における処理の要点を例示する。

重文型命令文に対する文分割の結果を示す.

重文型命令文：地図を表示して音楽をかけてくだ さい

分割後の文 $1:$ 地図を表示してください

分割後の文 2 : 音楽をかけてください

分割評価では，重文型命令文を従来手法で解析した結果，および分割後の文 1 ，文 2 をそれぞれ解析した結果 という 3 つの結果を扱う。地図サービスと仮定すると「音楽」の意味が汲み取られず，音楽サービスを仮定する と「地図」の意味が汲み取られない。一方で分割後では それぞれで意味が汲み取られるため，分割が適切と判定 される.

命令合成については，別の例文で説明する．たとえば，「初音ミクをかけてから鏡音リンをかけてください」と いう場合，命令合成には 2 つの命令が入力され，代替命令が出力される.

命令 1 : serviceMusic.comSearch $(\mathrm{obj}=$ 初音ミク)

命令 2 : serviceMusic.comSearch(obj=鏡音リン)

代替命令：serviceMusic.compPlayList(obj1=初音

ミク，obj2=鏡音リン)

検索再生の命令 2 つよりも，プレイリストの命令 1 つ の方が容易にサービスの実行が行える.

本節では，文分割，分割評価および命令合成について 詳しく述べる。

## 3.1 文分割

文分割は，発話文に特定のワードが含まれている時，特定のワードの前後で単文に分割する．特定のワードの 決定方法，特定のワードの判別方法および文末処理につ いて示す.

## 3.1.1 特定のワードの決定方法

鳥バンクという日本語と英語の意味類型パターン辞書 がある [3].この中では，節間キーワードという主節と従属節をつなぐワードが定義されている．節間キーワード の出現頻度上位 30 件の内，重文型命令文に含まれると 想定されるものを特定のワードとして選出する.

節間キーワードの出現頻度上位 30 件は表 1 の通りと なった.

表 1 中の，「て」，「てから」，「たら」，「ながら」の 4 つ の節間キーワードを特定のワードとして選出した。

## 3.1 .2 特定のワードの判別方法

文分割の判断には，特定のワードの品詞，字面および その前後の単語の品詞で定義される条件を用いる (表 2 ).

発話文を MeCab で形態素解析し，得られた解析結果 と表 2 を比較して文を分割するか判断する。

## 3.1.3 文末処理

文を分割した際，分割後の 1 文目の文末が不完全にな る.その対応として，分割前の文末表現を，分割後の 1 文目の文末に追加するという文末処理を行う．以下に，文末表現が「てください」の時の処理の例を示す.

処理前の分割後の文 1 : 音楽をかけ

処理後の分割後の文 $2:$ 音楽をかけてください 対象となる文末表現は以下のとおりである。

・〜てください|〜でください

・〜ます

・〜です

ここで，「ます/です」による命令文は，ユーザの行動を 車載器に受理させる際に使われる。たとえば，「今から 鳥取駅に行きます」や「10 時に出発です」のように予定 を登録する発話に用いられる。

## 3.2 分割評価

車載器のオリジナルコーパス (先行研究のコーパス) には既に重文型命令文が登録されている。たとえば，「シャッフルして音楽をかけてください」という文があ る.これは音楽の再生モードを変更するという，1 動作 を命令する重文型命令文である．発話文に対して毎回分割を行うと，過剩な分割となる恐れがある。この問題を 分割評価によって防ぐ.

非分割文と分割文のスコアを比較する．非分割文のス コアは $d_{2}$ を用いて求める. 分割文のスコア $d_{3}$ は，分割文の文 1 と文 2 のスコアを転用した值であり，次式を用 いて求める.

$
\begin{aligned}
& d_{3}\left(U_{1}, U_{2}, T_{1}, T_{2}, b_{1}, b_{2}, s_{1}, s_{2}\right)= \\
& \quad \frac{2\left(\left|U_{1} \cap T_{1}\right|-t\right)+2\left|U_{2} \cap T_{2}\right|+b_{1}+b_{2}}{\left|U_{1}\right|-t+\left|U_{2}\right|+\left|T_{1}\right|-t+\left|T_{2}\right|+s_{1}+s_{2}+\beta}
\end{aligned}
$

ここで, $U_{1}, T_{1}, b_{1}, s_{1}$ および $U_{2}, T_{2}, b_{2}, s_{2}$ は式 $(2)$ と同様であり，それぞれ分割後の文 1 および文 2 の值で ある. $\beta$ も同様である. $t$ は文末処理によって追加され た文末表現に対するタグ数である.

もし， $d_{2} \geqq d_{3}$ ならば非分割を採用し，そうでなけれ ば分割を採用する.

## 3.3 命令合成

命令合成の対象となる 2 つの命令の例を以下に示す.命令 1 : serviceMusic.comSearch( $\mathrm{obj}=$ 初音ミク)

命令 $2:$ serviceMusic.comSearch $(\mathrm{obj}=$ 鏡音リン) この 2 つの命令を連続で実行すると 1 曲目の再生が中断 され，2 曲目のみが再生されてしまう。

命令合成では，2つの命令が以下の条件を満たすとき，代替命令を出力する．代替命令は 2 つの命令の動作を含 む高機能な単一命令である.
- 1 つ目の命令が並列処理を行う，かつ

・ 2 つの命令間でリソースの競合がおこる

知識ベースとの照合によって，2つの命令が条件を満 たすか判断する。条件を満たす 2 つの命令と代替命令を 知識べースにまとめた（表 3)，代替命令を用意できない 場合はエラーとする. エラー時は 1 つ目の命令のみを出力するという運用にする.

## 4 実験

追加した処理部の動作の妥当性を確認する. 評価項目 を，命令文の害行誤り率および命令実行の応答時間と する.

## 4.1 実験準備

実験で用いるテストセットとして，テストセット 1～ 4 を用意した．テストセット $1 \sim 3$ をそれぞれ表 $4 \sim 6$ に 示す.

テストセット 1 は，実際に車載器を利用した際に得ら れた発話ログ 1,441 件の中から，組み合わせると重文型命令文となる，連続している 2 つの発話を抜粋したもの である (表 4).

テストセット 2 は，テストセット 1 の 2 つの発話を 3 または 4 つの特定のワードで組み合わせて作った重文型命令文である．各テスト文中にある（）内の|で区切ら れている単語は，それぞれの単語だけを含む文に展開す るという意味で，（）内に 4 つ単語を含む場合は，4つの 重文型命令文が得られる (表 5 ).

テストセット 3 は，並列処理を行う命令文のぺアを組 み合わせた重文型命令文である (表 6).

テストセット 4 は，従来の車載器のオリジナルコーパ スである (表なし, 総文数 3,519 文).

## 4.2 誤り率についての実験

テストセット 2 および 3 を用いることで 2 つの動作を 含む重文型命令文の実行確認を行う．テストセット 4 を 用いることで，元々実行できていたオリジナルコーパス の命令文 (1 動作の文) が実行できること，すなわち，提

案手法に拡張前との互換性があることを確認する。車載器 1 4を用意し, それぞれの車載器で誤り率を 求めた. 車載器 1 は従来の車載器, 車載器 2 は従来の車載器に文分割を追加した車載器, 車載器 3 は文分割・分割評価を追加した車載器, 車載器 4 は文分割・分割評価・命令合成を追加した車載器である. 誤り率は表 7 の通り になった.

テストセット 2 の誤り率は, 車載器 1 では 1.00 とな り, 車載器 $2 \sim 4$ では 0.00 となった. 文分割を追加する ことで重文型命令文を実行できることが確認できた。

なり, 車載器 4 では 0.00 となった. 命令合成を追加す ることによって，並列動作を起こす重文型命令文を適切 に実行できることが確認できた.

テストセット 4 の誤り率は, 車載器 2 では 0.39 とな り, 車載器 $1 ， 3$ および 4 では 0.00 となった. 文分割を 追加することで過剰分割がおきていることが確認できた が，分割評価を追加することで過剩分割が抑えられてい ることが確認できた.

過剩な分割が抑制された命令文を表 8 亿示す. 予定登録の命令や，元々登録されていた重文型命令が分割され ずに車載器 4 で処理できた. なお，車載器 2 で実際に表
8 の文を実行すると求めていないサービスが実行された.

## 4.3 応答時間についての実験

2 つの動作を， 1 つずつ命令した時と，重文型命令に よって一度に命令した時の応答時間を比較するために， テストセット 1 および 2 の平均応答時間を求めた. 結果 は表 9 の通りになった.

テストセット 2 の平均応答時間は, テストセット 1 の 平均応答時間に比べて約 4 秒の短縮が確認できた. 自動車内において操作にかかる時間が 4 秒短縮されることは 有益であると考える。

## 5 おわりに

本稿では, 車載器上で 2 つの動作を含む重文型の命令 に対して実行を可能にした. 手法としては，従来の車載器の発話文解析器に文分割・分割評価・命令合成の 3 つ の処理を追加した. 文分割では, 重文型命令文を分割し,解析可能とした. 分割評価および命令合成では, 文分割 に伴う実装上の問題に対応した．以上より文分割は複雑 な文の解析に有用であることが分かった. さらに，既存 の 1 動作のための解析器が流用できる点も利点である.

本稿では複雑な文を重文型の言い方に限定したが，複雑な文には重文型以外の言い回しも多くある. 今後は重文型の言い方以外の複雑な文にも文分割が有用である か，研究を進めて確認していきたい。

## 謝辞

本研究は JSPS 科研費 JP19K12548 の助成を受けた ものです.

## 参考文献

[1] 徳久 雅人, 木村 周平: 小型計算機におけるサービス指向発話文解析, 自然言語処理, 26(3), pp.545-578, 2019.

[2] Shashi Narayan, Claire Gardent, Shay B. Cohen, and Anastasia Shimorin: Split and Rephrase. Natural Language Processing(EMNLP), pp. 606-616, 2017.

[3] 池原悟, 阿部 さつき, 徳久 雅人, 村上 仁一: 非線形な表現構造 に着手した重文と複文の日英パターン化, 自然言語処理, 11(3), pp.69-95, 2004.


# Neural DTS に対する型検査アルゴリズムの実装の試み

飯沼瑞稀 高橋優太 田上青空 戸次大介
お茶の水女子大学
\{g1920504, takahashi.yuta, tagami.sora, bekki\}@is.ocha.ac.jp

## 概要

現代的な記号推論システムである依存型理論の応用の一つに，自然言語の意味論がある．依存型理論 による自然言語意味論は含意関係認識タスクに応用 されており，その含意関係認識システムの基礎には 型検査アルゴリズムがある．こうした型検査アルゴ リズムは，型理論のような記号推論からなるシステ ムに与えられてきたものであるが，近年，依存型理論による自然言語意味論にはニューラルネットを埋 め込んだシステムが提案されている. 本研究では第一に，そうしたシステムの一つである Neural DTS に 対して型検査アルゴリズムを定式化する. 第二に， WordNet から抽出したデータセットを用いて，埋め 込まれたニューラルネットの精度を型検査の出力を 参照して調べる.

## 1 はじめに

記号推論は，ニューラルネットによる推論・予測 としばしば対比されるが，そうした記号推論を行う ための現代的なシステムの一つとして型理論 (type theory) と呼ばれる論理システムがある. 型理論はも ともと，数学の証明を厳密に表現すること，言い換 えれば数学を形式化することを目的として考案され た [1]. その一方で，命題と型の同型性および証明 とプログラムの同型性を示すカリー・ハワード対応 (Curry-Howard correspondence)を背景に，現代的な型理論はそれが考案された当初からプログラミング言語とも見なされている.

型理論は計算機科学と論理学の共通部分として 研究されてきたが, 型理論の中でも特に依存型理論 (dependent type theory) は, 一般化量化子や照応と いった自然言語の意味論に早くから応用されてきた [2]. 上述のように, 依存型理論は論理システムとも プログラミング言語とも見なすことができる. その ため，自然言語の文がもつ複雑な意味構造を解釈で きる論理システムとして依存型理論を用いるだけで
なく，その計算論的性質もまた自然言語の意味論へ と応用されてきた.

こうして依存型理論は自然言語の意味論に おける理論的選択肢の一つとなり，現在におけ る主要なアプローチとしては，例えば依存型意味論 (Dependent Type Semantics, DTS) [3], the formal semantics using Modern Type Theories [4], Type Theory with Records (TTR) [5] が挙げられる. さらに，依存型理論による自然言語意味論に対する実装も与え られ，こうした実装は，含意関係認識タスクへの 手法を提供している $[6,7,8,9,10]$. ここでの実装に おいて重要になるのは, 型検査アルゴリズム (type checking algorithm) という，プログラム $t$ および型 $A$ が与えられたときに $t$ が型 $A$ をもつかどうかを判定 するアルゴリズムである. カリー・ハワード対応を 踏まえると, このアルゴリズムは, 証明 $t$ と命題 $A$ が与えられたときに $t$ が $A$ の証明であるかどうかを 判定するアルゴリズムともいえる．上述の含意関係認識の手法においては含意判定の場合にその証明が 構成されるため，含意関係認識システムがつくった 証明が，求めている命題の証明になっているかどう か検査する必要がある．この点で, 型検査アルゴリ ズムは含意関係認識システムの基礎になっている.

以上のように，型検査アルゴリズムは，依存型理論を用いた自然言語意味論の基盤であるといえる.従来このアルゴリズムは，もっぱら記号推論システ ムであるような型理論に対して与えられてきた。 そ の一方で，依存型理論を用いた自然言語意味論に は，ニューラルネットを埋め込んだシステムが考案 されている [11,12]. その中でも， [13,14] において 基本構想が説明された Neural DTS は, 自然言語の複雑な意味現象を説明できる従来の DTS の記号推論 を維持しつつ，「犬である」といった述語をニュー ラル分類器に置き換えることによって, ニューラル ネットによる予測を併用する。

本研究では Neural DTS の実装に向けた一歩とし て，まず，DTS の語彙が含む述語を多層パーセプト

ロン (MLP) による分類器で置き換え，得られたシス テムに対する型検査アルゴリズムを実装する．前者 および後者の実装にはともに Haskell を用い，特に MLP の実装には PyTorch の Haskell バインディング である hasktorchを用いる。次に，WordNetから抽出 したデータセットを用いて, 型検査アルゴリズムに 埋め込むニューラルネットの精度を型検査の出力を 参照して調べる.

## 2 先行研究

Type theory with records (TTR) は, DTS と同じく依存型理論による自然言語意味論のフレームワークで あるが，TTR の中にニューラルネットを埋め込んだ システムがすでに考案されている [11,12]. Cooper [11] は, 外界の出来事 (events) や対象を分類するた めにエージェントが学習するような型を TTR が提供できることを示すために，TTR に属する型から ニューラルネット上の出来事の型への写像を与え ている. さらに，ここでの写像に対する Python に よる実装も与えられている. その一方で，こうした ニューラルネット上の出来事の型とニューラル分類器の接続は示唆にとどまっており, 本研究が扱うよ うな学習済み分類器をTTRへ埋め込むことは行わ れていない.

Larsson [12] は，知覚データに関する学習可能な 分類器が埋め込まれた TTR を提案している.ここ での知覚データに関する分類は, DTS における命題 $P_{i}\left(e_{j}\right)$ における分類に対応しており, このバージョ ンの TTR は Neural DTS と共通点を多くもつ. しか し, [12] の目的は，こうした TTR の実装というょり はそれの自然言語の意味論への応用であり, 型検査 アルゴリズムをどう定式化するかという問題につい ては論じられていない.

## 3 提案手法

本研究が提案する手法は, ニューラル分類器をパ ラメータとする型検査アルゴリズムを定義してお き, 型検査を行う際には, 学習済みの分類器をその アルゴリズムに渡すというものである. 以下ではま ず，ニューラル分類器をパラメータとする型検査ア ルゴリズムを定義する (§3.1). 次に, 本研究の型検査アルゴリズムに埋め达まれる MLPを hasktorch に より実装する (§3.2). そして, 以上を組み合わせて, MLP による分類器を呼び出すことのできる，Neural DTS の型検査アルゴリズムを定義する (§3.3).

## 3.1 ニューラル分類器をパラメータとする 型検査アルゴリズム

ニューラル分類器をパラメータとする型検査アル ゴリズムを定義するために，[15] において Haskell によって実装された依存型理論の型検査アルゴリズ ムを，以下の 2 点で改訂する。簡潔さのために，以下ではDTS の語彙に含まれる述語（すなわち 1 項関係）を例にとって説明するが，§4で見るように 2 項関係（および任意の $n$ 項関係）をとることもでき ることに注意されたい.

(i) DTS の語彙に含まれる述語 $P_{i}$ および名前 $e_{j}$ か ら成る型 $P_{i}\left(e_{j}\right)$ へとアルゴリズムを拡張する.

(ii) 型検査アルゴリズムを与える関数 typeChk に, ニューラル分類器をパラメータとして与えて再定義する

まず (i)について説明する. DTS の語彙には述語 と名前が含まれ，名前の型は entity であり，述語 の型は entity $\rightarrow$ type である. DTS では命題の型は type として表されるため, 述語の型は, 名前から命題への関数ということになる。そして, Neural DTS に対する型検査には，述語を名前に適用して得られ る命題 $P_{i}\left(e_{j}\right)$ についての型検査が新たなケースとし て加わる. 例えば，述語が $\operatorname{dog}$ で名前が john のと き，得られる命題は $\operatorname{dog}($ john $)$ となり，これは「John は大である」という命題に対応する. Neural DTS の 型検査に $P_{i}\left(e_{j}\right)$ といった命題のケースを加えるの は, 典型的にはこうした命題がニューラル分類器に よる予測の表現になるからである.

命題 $P_{i}\left(e_{j}\right)$ についての型検査では，大まかに言

題 $P_{i}\left(e_{j}\right)$ が与えられたとき, $\Gamma$ のもとで証拠 $w_{i j}$ が $P_{i}\left(e_{j}\right)$ の証明であるかどうか（つまり，Гのもとで $w_{i j}$ が型 $P_{i}\left(e_{j}\right)$ をもつかどうか）が判定される. た だし， $w_{i j}$ は命題 $P_{i}\left(e_{j}\right)$ のために用意する定項であ る. 以下では, $\Gamma$ のもとで証拠 $w_{i j}$ が $P_{i}\left(e_{j}\right)$ の証明であるかどうかという問いを次のように記号化 する：

$
\Gamma \vdash w_{i j}: P_{i}\left(e_{j}\right) ?
$

次に (ii) について説明する. ニューラル分類器に よって述語を置き換えるという Neural DTS の基本構想に基づき, 命題 $P_{i}\left(e_{j}\right)$ についての型検査は, 述語 $P_{i}$ と名前 $e_{j}$ の one-hot 表現をそれぞれニューラ ル分類器に入力した結果を用いて行う．結果となる 出力が閾値を超えれば名前 $e_{j}$ は述語 $P_{i}$ をみたす

といえるから, 命題 $P_{i}\left(e_{j}\right)$ は証明 $w_{i j}$ をもつとみ なし， $\Gamma \vdash w_{i j}: P_{i}\left(e_{j}\right)$ ? という問いには YES と答え る. 閾值を超えなければ $e_{j}$ は $P_{i}$ をみたさないとい うことであるから，命題 $P_{i}\left(e_{j}\right)$ はそもそも証明をも たず，それゆえこの問いには NO と答える。

以上の説明が示すように，本研究が提案する Neural DTS の型検査では，その途中でニューラル分類器が呼び出される。このことを可能にするため， もともとの型検査関数 typeChk にニューラル分類器 をパラメータとして与える.

ここでの分類器は, 述語の one-hot 表現と名前の one-hot 表現を入力としてとる分類器であるため, パ ラメータの型は以下のようになっている：

$
\text { Tensor }->\text { Tensor }->\text { Tensor }
$

そして, 上でインフォーマルに述べた, 型検査 $\Gamma \vdash w_{i j}: P_{i}\left(e_{j}\right)$ ? 答えを与えるためのアルゴリズ ムを，typeChk のパターンマッチングによる定義の 中で新たに設けるケースにて実装する。

このようにして，[15] の型検査アルゴリズムを 命題 $P_{i}\left(e_{j}\right)$ のケースまで拡張しつつ, 型検査関数 typeChk にニューラル分類器のパラメータを加える ことで，MLPを埋め込める型検査アルゴリズムを定義する.

## 3.2 hasktorch による MLP の実装

§ 3.1 で定義した型検査アルゴリズムと組み合わ せるために, 単純な MLP によるニューラル分類器 を実装する。ここでの実装には， hasktorch の Github リポジトリにある，MLPによる排他的論理和の実装 を参考にしている [16].

本研究において実装する MLP は以下の標準的な 構造をもつ：

埋め込み層 述語の one-hot 表現および名前の onehot 表現をそれぞれ線形層でベクトル空間へ埋 め込み，得られた分散表現を結合する。

隠れ層 結合した分散表現を入力としてとる線形層 を中間層として一つ用意する。

出力層 分類器の出力とするために次元を調整した 線形層を出力層とする。

活性化関数としてはシグモイド関数を用いる。ま た，損失関数としてはバイナリ交差エントロピー誤差を用いる.

以上の構造をもつ MLPを，微分可能プログラム を提供する hasktorch の Parameterized 型クラスを 用いて実装する. また，次節において説明する，こ の MLP による分類器の学習には，初期化関数を提供する Randomizable型クラスを用いている.

## 3.3 型検査アルゴリズムへの MLP の埋め 込み

本研究による提案手法の最後のステップとして, § 3.1 で定義した型検査関数 typeChkに，§3.2 で構成 した MLPを埋め込むことで，目標となる型検査ア ルゴリズムを与える関数 neuralTC を定義する. こ の関数の型は以下のようになる：

neuralTC :: Context $\rightarrow$ TermChk $\rightarrow$ Type $\rightarrow$ IO ()

関数 neuralTC は, 文脈 $\Gamma$, プログラム $t$ そして型 $A$ が与えられると，Гのもとで $t$ が $A$ を型としてもつ かどうかを判定する.この点は, 依存型理論に対す る通常の型検査アルゴリズムと変わらないが，型検査の途中でニューラル分類器を呼び出して, その出力を用いて型検査 $\Gamma \vdash w_{i j}: P_{i}\left(e_{j}\right)$ ?を判定する点で 通常のものとは異なっている.

文脈 $\Gamma$, プログラム $t$ そして型 $A$ を入力として neuralTC に与えると，その計算は次のように進む。

学習フェーズ 以下の手順を1イテレーションと する.

1. データセットの読み込み：数値のリストと して表現されたデータセットから，指定さ れた数だけランダムに要素を選び出す. 次 に，それをテンソルに変換してミニバッチ を構成し，教師データおよび訓練データを 作成する.

2. モデルの更新：訓練データに対する出力と なる予測値と，教師データの正解ラベル の間の誤差を計算し，hasktorch が提供する 関数 runStep により分類器モデルを更新す る. 本研究における分類器は命題 $P_{i}\left(e_{j}\right)$ が 成り立つかどうかを判定するものであるた め，ここでの分類は 2 值分類となり，正解 ラベルは 1 もしくは 0 である.

指定された回数の学習を繰り返したら，変数 trainedに学習済みの分類器モデルを格納する。

型検査フェーズ この段階ではまず，先のフェーズ において得られた学習済みモデル trainedを，型 Tensor -> Tensor -> Tensorをもつニュー

ラル分類器 cls に変換する. そして，入力とし て与えられている文脈 $\Gamma$, プログラム $t$ および 型 $A$ とともにこのclsを，§3.1において定義し た関数 typeChk に与えて，型検査を行う。

以上が，本研究において実装する Neural DTS のため の型検査アルゴリズム neuralTC の概略である.

## 4 実験

WordNet のデータベースを用いて，2つの entity の 間にある関係が成立するかどうかを，それ以外の データから予測する実験を行った。これは例えば 「猫には尻尾がある」といった既知の事実に対する 常識的推論や，関係ネットワークにおけるリンク予測として見ることができる. データセットとして， WordNet から抽出した 40,943 個の entity と 18 個の relation に関する 141,442 個の学習用関係トリプレッ ト，5,000 個のテスト用関係トリプレット，5,000 個 の検証用関係トリプレットを用いた。このデータ セットは [17] において作成されたものである ${ }^{1)}$. 例 えば, (drill, has part, chuck) などのトリプレットが学習データに含まれており，これらを正解データとし て使用した. 不正解データとして, 正解データと同 じ数だけ，正解データに含まれない関係トリプレッ トをランダムに作成した. 実験として, 作成した neuralTC がトリプレット上の関係を正しく予測で きるかという 2 值分類を行った. typeChk では，

1. スコアが閾値以上で，かつ型検査が正常な場合：2つの entityが関係を満たしている

2. スコアが閾値未満で，かつ型検査が正常な場合：関係を満たしていない

3. 型の不整合

の 3 種の返り値があり，このうち1.を正解の予測データ，2. を不正解の予測データとして扱っ た. 学習反復数 50,2 值分類の間値が 0.7 のとき, accuracy $=0.7536$, precision $=0.8064282$, recall $=0.6674$, $\mathrm{f} 1=0.73035675$ となった. 学習反復数を増やした り, 学習パラメータを最適化させたりすることで， より精度は上がると考えられる。

## 5 おわりに

本研究ではまず，Neural DTS に対する型検査アル ゴリズムを定式化した. 次に，このアルゴリズムの

1）[17] は次の French ANR grant の支援を受けたものである： https://www.hds.utc.fr/everest/doku.php?id=en:smemlj12中で呼び出されるニューラル分類器となる MLPを 実装した. 今後は，学習反復数の増加やパラメー タの最適化によって精度の向上を図るとともに, parser と接続し，DTS の基本述語の集合を入力とし てニューラル分類器の学習を行えるようにすること で，Neural DTS の実装を目指す。

## 謝辞

本研究は，JST CREST JPMJCR20D2 の支援を受け たものである.

## 参考文献

[1] Per Martin-Löf. An intuitionistic theory of types. In G. Sambin and Jan M. Smith, editors, Twenty-five years of constructive type theory, Vol. 36 of Oxford Logic Guides, pp. 127-172. Clarendon Press, 1998.

[2] G. Sundholm. Constructive generalized quantifiers. Synthese, Vol. 79, pp. 1-12, 1989.

[3] Daisuke Bekki and Koji Mineshima. Context-passing and underspecification in dependent type semantics. In Stergios Chatzikyriakidis and Zhaohui Luo, editors, Modern Perspectives in Type-Theoretical Semantics, pp. 1141. Springer International Publishing, Cham, 2017.

[4] Stergios Chatzikyriakidis and Zhaohui Luo. On the interpretation of common nouns: Types versus predicates. In Stergios Chatzikyriakidis and Zhaohui Luo, editors, Modern Perspectives in Type-Theoretical Semantics, pp. 43-70. Springer International Publishing, Cham, 2017.

[5] Robin Cooper. Adapting type theory with records for natural language semantics. In Stergios Chatzikyriakidis and Zhaohui Luo, editors, Modern Perspectives in TypeTheoretical Semantics, pp. 71-94. Springer International Publishing, Cham, 2017.

[6] Stergios Chatzikyriakidis and Zhaohui Luo. Natural language inference in coq. J. Log. Lang. Inf., Vol. 23, No. 4, pp. 441-480, 2014.

[7] Koji Mineshima, Pascual Martínez-Gómez, Yusuke Miyao, and Daisuke Bekki. Higher-order logical inference with compositional semantics. In L. Màrquez, C. CallisonBurch, J. Su, D. Pighin, and Y. Marton, editors, Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, EMNLP 2015, Lisbon, Portugal, September 17-21, 2015, pp. 2055-2061. The Association for Computational Linguistics, 2015.

[8] Stergios Chatzikyriakidis and Zhaohui Luo. Proof assistants for natural language semantics. In M. Amblard, P. de Groote, S. Pogodalla, and C. Retoré, editors, Logical Aspects of Computational Linguistics. Celebrating 20 Years of LACL (1996-2016) - 9th International Conference, LACL 2016, Nancy, France, December 5-7, 2016, Proceedings, Vol. 10054 of Lecture Notes in Computer Science, pp. 85-98, 2016.

[9] Koji Mineshima, Ribeka Tanaka, Pascual MartínezGómez, Yusuke Miyao, and Daisuke Bekki. Building compositional semantics and higher-order inference sys-
tem for a wide-coverage japanese CCG parser. In J. Su, X. Carreras, and K. Duh, editors, Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, EMNLP 2016, Austin, Texas, USA, November 1-4, 2016, pp. 2236-2242. The Association for Computational Linguistics, 2016.

[10] Stergios Chatzikyriakidis and Jean-Philippe Bernardy. A wide-coverage symbolic natural language inference system. In Mareike Hartmann and Barbara Plank, editors, Proceedings of the 22nd Nordic Conference on Computational Linguistics, NoDaLiDa 2019, Turku, Finland, September 30 - October 2, 2019, pp. 298-303. Linköping University Electronic Press, 2019.

[11] Robin Cooper. Representing types as neural events. J. Log. Lang. Inf., Vol. 28, No. 2, pp. 131-155, 2019.

[12] Staffan Larsson. Discrete and probabilistic classifierbased semantics. In Proceedings of the Probability and Meaning Conference (PaM 2020), pp. 62-68, Gothenburg, June 2020. Association for Computational Linguistics.

[13] Daisuke Bekki, Ribeka Tanaka, and Yuta Takahashi. Learning knowledge with neural DTS. In Proceedings of the 3rd Natural Logic Meets Machine Learning Workshop (NALOMA III), pp. 17-25, Galway, Ireland, August 2022. Association for Computational Linguistics.

[14] Daisuke Bekki, Ribeka Tanaka, and Yuta Takahashi. Integrating Deep Neural Networks with Dependent Type Semantics. In Roussanka Loukanova, Peter LeFanu Lumsdaine, and Reinhard Muskens, editors, Logic and Algorithms in Computational Linguistics 2021 (LACompLing2021). Springer Cham, to appear.

[15] Andres Löh, Conor McBride, and Wouter Swierstra. A tutorial implementation of a dependently typed lambda calculus. Fundam. Informaticae, Vol. 102, No. 2, pp. 177-207, 2010.

[16] hasktorch: MLP implementation of logical XOR. Accessed Jan. 11, 2023. https://github. com/hasktorch/ hasktorch/tree/master/examples/xor-mlp.

[17] Antoine Bordes, Xavier Glorot, Jason Weston, and Yoshua Bengio. A semantic matching energy function for learning with multi-relational data - Application to word-sense disambiguation. Mach. Learn., Vol. 94, No. 2, pp. 233-259, 2014.


# 子育て支援 QA サイトにおける潜在嗜好変化の時系列推定

住谷祐太 ${ }^{1}$ 富川雄斗 ${ }^{2}$ 伊藤尚紀 ${ }^{2}$ 高橋里司 ${ }^{3}$
1 電気通信大学大学院 情報理工学研究科 情報学専攻 2 電気通信大学 情報理工学域 I 類
3 電気通信大学大学院情報理工学研究科情報・ネットワーク工学専攻
\{sumiya, tomikawa,ito, stakahashi\}@uec.ac.jp

## 概要

ソーシャルメディアを活用した子育て情報の収集が盛んになっている．特に子育てに関する QAコ ミュニティでは，子育て中の母親が質問を気軽に投稿できるため，投稿されるテキストには一般的な情報だけでなく，ユーザが抱える悩みや嗜好が含まれ ていることが多い. それらの特徴量を把握すること はソーシャルメディアマーケティングにおいて重要 な技術課題となる. そこで本研究では，ユーザの潜在嗜好を捉えるための新しいトピックモデルを提案 する. 提案手法では，ユーザの年齢区分や子供の月齢などの補助情報の活用や，嗜好の時間依存性を考慮する．実験では令和 3 年度データ解析コンペティ ションでコネヒト株式会社から提供されたママリの データを使用し，手法の有効性を検証する。

## 1 はじめに

子育て情報の収集・共有を行う QAコミュニティ の一つに，コネヒト株式会社が提供するママリが存在する．ママリでは匿名性を利用して知人には相談 できないような悩みを質問できるため，投稿される 質問はユーザの潜在嗜好を把握する上で有益な情報 だと言える. 子育て特有の事情として，ユーザの嗜好は属性や子供の月齢，時間によって異なると考え られ，従来のユーザ全体を解析の対象とした場合で は十分に嗜好を把握できない問題がある。

関連研究として，ユーザの質問文から潜在嗜好を 推定する手法にトピックモデルが存在し, 自然言語 の潜在的意味解析に広く用いられている. 特に Blei et al. [1] が提案した LDA (Latent Dirichlet Allocation) は，一つの文書に複数の潜在トピックが存在すると 仮定し，そのトピックの分布を離散分布としてモデ ル化する代表的な潜在変数モデルである.

一方で新生児の母親が主なユーザである QAコ ミュニティ上での質問は，文書となる質問文以外に質問者の年齢や居住地域，そして事前に付与される 質問カテゴリタグなどが付与され，それに応じて質問の意図が大きく異なると想定される。また子供を 育てるユーザの場合，月齢に応じて質問内容が変化 していくことも考慮する必要がある．本研究では， ユーザの潜在嗜好を捉えるためにこれらの補助情報 を利用した新しいトピックモデルを提案する.

## 2 提案手法

しいトピックモデルとして，SCTTM (Supervised Correspondence Topic Tracking Model) を提案する. SCTTM では，LDA に対して三つの拡張を行う．は じめに，最初の質問時における子供の月齢を考慮す るようにトピックを学習させるため，連続変数を考慮したトピックを推定できる sLDA [2] を組み込む. SLDA は，学習過程のトピックを説明変数にとり， それらで月齢を線形回帰したときの当てはまりが良 くなるようにトピックと偏回帰係数を逐次的に学習 する.

次に，離散値ラベルの補助情報も考慮してトピッ クを学習させるため, Corr-LDA [3] を取り入れる. Corr-LDA を取り入れることにより，各トピックの 単語分布の推定と同様に，補助情報の分布も推定す る.ここで補助情報の生成に用いられるトピック は，必ず単語を生成したトピックとなるようにモデ ル化するため, 単語と補助情報の対応関係を適切に 学習することができる.

最後に，ユーザの嗜好変化を考慮するための手法 として，TTM [4] を用いたパラメータ推定を行う. TTM は時間情報が付けられた文書集合から，時間変化するトピックを推定する手法であるため，質問文からユーザ個人の潜在嗜好と時間発展を適切に追跡することができる. また TTM はオンライン学習 が可能な点から，日々蓄積されるユーザの質問デー タを効率的に学習できる利点がある. 本研究では,
最初の時刻 $t=1$ で月齢と補助情報に沿ったトピッ クを学習した後, 時刻 $t>1$ 以降はそれらのトピッ クが時間依存して変化するように学習させる.

## 2.1 トピックの生成

全ユーザ数を $U$ ，総時刻を $T$, 全ユーザで観測さ れる総単語の種類を $V$ ，トピック数を $K$ として，あ る時刻 $t$ においてあるユーザ $u$ が生成した文書の単語の組を $\boldsymbol{w}_{t u}=\left(w_{t u 1}, \cdots, w_{t u N_{t u}}\right)$ と表記する. ここ で $N_{t u}$ は時刻 $t$ においてユーザ $u$ が生成した文書に 含まれる単語数である。

トピックモデルでは，ユーザ毎にトピック分布 $\boldsymbol{\theta}_{t u}=\left(\theta_{t u 1}, \cdots, \theta_{t u K}\right)^{\top} \in \mathbb{R}^{K}$ が与えられ, 各要素 $\theta_{t u k}$ は時刻 $t$ でユーザ $u$ の単語にトピック $k$ が 割り当てられる確率を表す. すなわち $\theta_{t u k} \geq 0$, $\sum_{k} \theta_{t u k}=1$ を満たす. 各トピック $k$ には固有の単語分布 $\boldsymbol{\phi}_{t k}=\left(\phi_{t k 1}, \cdots, \phi_{t k V}\right)^{\top} \in \mathbb{R}^{V}$ が存在し, 各要素 $\phi_{t k v}$ は時刻 $t$ のトピック $k$ で単語 $v$ が生成される確率を表す.ここで $\phi_{t k v} \geq 0, \Sigma_{v} \phi_{t k v}=1$ を満たす。

生成過程における各単語 $w_{\text {tun }}$ は, トピック分布 $\boldsymbol{\theta}_{t u}$ にしたがってトピック $z_{t u n}\left(n=1, \cdots, N_{t u}\right)$ が割 り当てられ, その単語分布 $\boldsymbol{\phi}_{t z_{t u n}}$ にしたがって生成 されると仮定する。

## 2.2 トピックの推定

はじめに，ユーザが投稿した質問単語ごとにト ピックをサンプリングする. 本研究では崩壊型ギ ブスサンプリング [6]を用いて，トピック分布，単語分布，補助情報分布のパラメータを周辺化した 周辺同時分布により単語トピックのサンプリング 確率を求める. 時刻 $t=1$ において, ユーザ $u$ の単語 $n$ に割り当てられるトピック $z_{\text {tun }}$ が $k$ となる確率は, 周辺同時分布にベイズの定理を適用するこ とで式 (1)のように求めることができる. 式中の $\backslash t u n$ は, 時刻 $t$ でユーザ $u$ の単語 $n$ に割り当てら れるトピックを除くことを意味する。また $N_{t k n}$ は 時刻 $t$ においてトピック $k$ に単語 $n$ が割り当てら れた個数， $N_{t k}$ はその単語毎の総和を表し, $N_{t u k}$, $M_{t u k}^{i}$ はそれぞれ時刻 $t$ でユーザ $u$ に割り当てられ た単語トピック, 補助情報 $i$ のトピック $k$ の個数 を表す. さらに時刻 $t=1$ では, ユーザ $u$ が持つ連続変数 $y_{u}$ がガウス分布 $\mathcal{N}\left(\boldsymbol{\eta}^{\top} \widetilde{z}_{t u}, \sigma^{2}\right)$ に従い生成さ れると仮定する， $\boldsymbol{\eta} \in \mathbb{R}^{K}$ は線形回帰パラメータ, $\widetilde{z}_{t u}=\left(\frac{N_{t u 1}}{N_{t u}}, \cdots, \frac{N_{t u K}}{N_{t u}}\right)^{\top} \in \mathbb{R}^{K}$ は時刻 $t=1$ における ユーザ $u$ のトピック割合, $\sigma^{2}$ は分散パラメータを表す。

$
\begin{aligned}
& p\left(z_{t u n}=k \mid \mathrm{Z}_{\backslash t u n}, \mathrm{~W}_{t}, \boldsymbol{\alpha}, \beta, \boldsymbol{\eta}, \sigma^{2}\right) \\
& \propto\left(N_{t u k \backslash t u n}+\alpha_{k}\right) \frac{N_{t k w_{t u n} \backslash t u n}+\beta}{N_{t k \backslash t u n}+\beta V} \\
& \times\left(\frac{N_{t u k \backslash t u n}+1}{N_{t u k \backslash t u n}}\right)^{\sum_{i} M_{t u k}^{i}} \\
& \times \exp \left.\{\frac{\eta_{k}}{N_{t u} \sigma^{2}}\left(y_{u}-\boldsymbol{\eta}^{\top} \widetilde{\boldsymbol{z}}_{\backslash t u n}-\frac{\eta_{k}}{2 N_{t u}}\right)\right.\} .
\end{aligned}
$

$\alpha \in \mathbb{R}^{K}, \beta$ はディリクレ分布のパラメータである.便宜上， $\boldsymbol{\theta}_{t u}, \boldsymbol{\phi}_{t k}$ を行列表現したものを $\boldsymbol{\Theta}_{t}, \boldsymbol{\Phi}_{t}$ と 表し， $\boldsymbol{w}_{t u} ， z_{t u}$ をそれぞれ要素毎にまとめた集合を $\mathrm{W}_{t}, \mathrm{Z}_{t}$ と表す. なお式 (1)で条件付き独立となる項 およびその変数については省略している。

時刻 $t>1$ でも同様にトピックのサンプリング 確率を式 (2)のように求めることができる. 式中の $\hat{\boldsymbol{\Theta}}_{t-1}, \hat{\mathbf{\Phi}}_{t-1}$ はそれぞれ $\boldsymbol{\Theta}_{t-1}, \boldsymbol{\Phi}_{t-1}$ の推定値である.

$
\begin{aligned}
& p\left(z_{t u n}=k \mid \mathrm{Z}_{\backslash t u n}, \mathrm{~W}_{t}, \boldsymbol{\alpha}_{t}, \boldsymbol{\beta}_{t}, \hat{\boldsymbol{\Theta}}_{t-1}, \hat{\boldsymbol{\Phi}}_{t-1}\right) \\
& \propto\left(N_{t u k}+\alpha_{t u} \hat{\theta}_{t-1, u k}\right) \\
& \times \frac{N_{t k w_{t u n} \backslash t u n}+\beta_{t k} \hat{\phi}_{t-1, k w_{t u n}}}{N_{t k \backslash t u n}+\beta_{t k}} \\
& \times\left(\frac{N_{t u k \backslash t u n}+1}{N_{t u k \backslash t u n}}\right)^{\sum_{i} M_{t u k}^{i}} .
\end{aligned}
$

$\alpha_{t} \in \mathbb{R}^{U}, \beta_{t} \in \mathbb{R}^{K}$ はディリクレ分布のパラメータを 表し，それ以外に条件付き独立となる項およびその 変数については省略している.

## 3 評価実験

提案手法について実データを用いた検証を行う.検証では子供の月齢を登録している質問数が 5 回， 10 回，20 回のユーザをそれぞれ 250 人ずつ無作為 に抽出し，計 750 人のユーザを用いる．各ユーザが 投稿した質問単語を 9:1 の比率で訓練単語とテスト 単語に分割し，トピック数 $K$ を 5 から 20 まで 5 刻 みに増やした時の各々について, 月齢予測に必要な パラメータとトピック分布 $\boldsymbol{\Theta}_{t}$, 単語分布 $\boldsymbol{\Phi}_{t}$ を学習 する。また，[5]では, Perplexity [1] を用いた最適な トピック数 $K=25$ を求めて，実験を行なっている.

## 3.1 月齢の予測精度の有効性

最初の質問時 $(t=1)$ における, 各ユーザの子供の 月齢をSCTTM による逐次的な線形回帰で予測し， その精度を検証する. モデルはユーザを訓練用とテ スト用に 8:2 で分けて，各トピック数毎に MSEを 用いて 5 分割交差検証で評価し, 表 1 の結果を得
表 1 子供の月齢の予測結果：訓練，テストはそれぞれのデータでの MSE 值を表す.

表 2 平均 Top- $N$-accuracy(\%) による質問単語の予測結果

た. 本研究では月齢予測が有効であることを示すた めに，実験において月齢を考慮しない通常の LDA， RandomForest [7], LightGBM [8] の三つのモデルと比較している。この結果から，訓練ユーザに関して は，LightGBM や RandamForest の MSE の精度が向上しているが，これは過学習を起こしているためで あると考えられる。一方で，テストユーザに関して は SCTTM が他の手法に比べて MSE の精度が向上 していることが確認できる.

## 3.2 質問単語の時系列推定の有効性

各時刻で質問される単語の推定精度を複数のモ デルと比較しながら評価する．比較するモデルは， LDA，TTM，TTM に月齢以外の補助情報を加えた CTTM，提案手法の SCTTM の四つである. 評価指標には次式で定義される Top- $N$-accuracy を採用
する。

$
P\left(w_{t u}=v \mid \hat{\boldsymbol{\Theta}}_{t-1}, \hat{\mathbf{\Phi}}_{t-1}\right)=\sum_{k=1}^{K} \hat{\theta}_{t-1, u k} \hat{\phi}_{t-1, k v}
$

式 (3) は，現時刻 $t$ で観測された単語 $v$ をテスト単語とし，その生成確率を一つ前の時刻 $t-1$ の単語集合から推定されたトピック分布 $\hat{\boldsymbol{\Theta}}_{t-1}$ と単語分布 $\hat{\boldsymbol{\Phi}}_{t-1}$ で予測する. 出力として, 単語 $v$ の生成確率 が上位 $N$ 件に含まれる割合を返す。この值が高い ほど，精度良く単語を予測できていることを意味す る. Top- $N$-accuracy を使い，質問回数が 5 回， 10 回， 20 回のユーザそれぞれについて $N=1,2,3$ 件での平均を，トピック数を変えながら評価した結果を表 2 に示す. この結果から，時間依存性と補助情報，連続変数の月齢を考慮した SCTTM が他のモデルに比 べて高い精度を示していることが確認できる。

## 4 おわりに

ユーザ毎に時間発展して観測される文書と，それ らに対応する補助情報が観測される QA サイトにお けるソーシャルメディアマーケティングにおいて， ユーザの潜在嗜好を推定することは，広告推薦や新 たなユーザコネクションの推薦において重要な技術課題である。本研究では，この技術課題を解決する 新しいトピックモデルである SCTTM を提案した.実験では令和 3 年度データ解析コンペティションに おいてコネヒト株式会社のママリのデータを使い，月齢や補助情報を考慮しつつ，ユーザ毎に時間発展 する嗜好変化を正しく推定できることを示した. ま た，抽出するトピック数を変化させた場合，少ない トピック数に対して時系列推定の精度は良いが，月齢予測の精度が悪いことを確認し，トレードオフの 関係にあることを確認した。両者のバランスがよい トピック数として，20が妥当であることを確認し， [5] での結果と比較すると Perplexy によってトピッ ク数を決定することが最適とは限らないことが分 かった。

本研究で提案した SCTTM は時間発展を考慮でき る他のソーシャルメディアの文書データに対して も適用可能であり，汎用性の高いモデルであると言 える。

## 謝辞

新生児・乳幼児の母親をメインユーザとするポー タルアプリのデータを提供いただいた，コネヒト株式会社様およびデータ解析コンペティション運営の 方々に感謝申し上げます. また，DB サーバの提供 やコンペティション参加の支援をしていただいた電気通信大学情報工学工房および，学術技師の島崎様 に感謝申し上げます。

## 参考文献

[1] D. M. Blei, A. Y. Ng and M. I. Jordan, "Latent dirichlet allocation," Journal of Machine Learning Research, 3, pp. 993-1022, 2003.

[2] J. Mcauliffe and D. Blei, "Supervised topic models," In Proceedings of Advances in Neural Information Processing Systems, 20, pp. 121-128, 2007.

[3] D. M. Blei and M. I. Jordan, "Modeling annotated data," In Proceedings of the 26th Annual International ACM SIGIR Conference on Research and Development in Informaion Retrieval, pp. 127-134, 2003.

[4] T. Iwata, S. Watanabe, T. Yamada, and N. Ueda, "Topic tracking model for analyzing consumer purchase behavior," In Proceedings of the 21 st International Joint Conference on Artificial Intelligence, 9, pp. 1427-1432, 2009.

[5] 住谷祐太, 富川雄斗, 伊藤尚紀, 高橋里司, “SCTTM によるユーザ属性を考慮した潜在嗜好変化の時系列推定”，オペレーションズ・リサーチ，68(2), 2023.

[6] T. L. Griffiths and M. Steyvers, "Finding scientific topics," In Proceedings of the National Academy of Sciences, 101, pp. 5228-5235.

[7] L. Breiman, "Random forests," Machine Learning, 45, pp. 5-32, 2001.

[8] G. Ke, Q. Meng, T. Finley, T. Wang, W. Chen, W. Ma, Q. Ye and T. Y. Liu, "Lightgbm: A highly efficient gradient boosting decision tree," In Proceedings of Advances in Neural Information Processing Systems, 30, pp. 31463154, 2017.


# 日本語話者の項省略判断に関するアノテーションとモデリング

石月由紀子 1,4 栗林樹生 1,2 松林優一郎 1,4 笹野遼平 3,4 乾健太郎 1,4
1 東北大学 ${ }^{2}$ Langsmith 株式会社 3 名古屋大学 4 理化学研究所
yukiko.ishizuki.p7@dc.tohoku.ac.jp
\{kuribayashi,y.m,kentaro.inui\}@tohoku.ac.jp sasano@i.nagoya-u.ac.jp

## 概要

日本語ではしばしば主格や目的格などの項が省略 される．項の省略の可否は構文の妥当性といった制約や母語話者の選好によって判断される場合があ り，母語話者は省略の容認度を潜在的に規定してい ることが想定される. しかしながら，そのような母語話者の判断のモデリングは，既存の省略解析の枠組みには含まれてこなかった. 本研究では，読み手 の省略判断に関するデータの収集と，そのデータを 用いた省略判断モデルの構築を行い，母語話者と自然言語処理モデルの省略判断についてその傾向を 調査した. 収集したデータは BCCWJに対する差分 データとして公開予定 ${ }^{1)}$ である.

## 1 はじめに

日本語は項省略がしばしば発生する言語である。例えば（1a）では，「マックが」を省略した方が自然 であり，一方（1b）では「小塚原の刑場に」を省略 しないほうが自然である2).

(1a) マックは椅子をつかみ、前後逆に置いた。そこ にマックがまたがり、無言で画像に見入った。

(1b) 一六六 $\bigcirc$ 年頃 (万治年間)、幕府は、牢死者や刑死者を弓うため、本所に回向院を立てさせた。 さらに一六六七年（寛文七）、その別院として、小塚原の刑場に建てられたのが、この回向院だ そうな。

本研究ではこのような項の省略判断について，（i） ある項が表出・省略されているべきかという人間の 読み手が下す判断のデータ収集・分析と，（ii）自然言語処理モデルを用いた省略判断予測モデルの構築を行う. 項の省略の可否に関しては統語的な制

図 1 アノテーション作業の外観

約などについて少数の事例のもと議論されてきた $[2,3,4,5]$ が，本研究ではそれらの研究と相補的に，実際に人間の読み手が文章を読んだ際に判断する省略の容認度について比較的大規模なコーパスにアノ テーションする．計算モデルによる省略判断の予測 については，日本語の読みやすさの自動判定・文章執筆支援（項を省略・表出すべきかの自動推薦）と いった応用的出口を見据えるとともに，既存の言語 モデルが談話的な現象である省略判断を行えるのか という学術的な分析として位置づける。

日本人大学生 5 名を対象にしたデータ収集の結果，人間の作業者間での省略判断は概ね一致し，個人差が生じる事例は限定的であることが分かった. また，省略の是非の判断根拠もあわせて追跡する方式で作業を行い，分析の結果，統語的容認性や省略要素の復元可能性といった言語の制約的な部分では 人間の省略判断が比較的一致し，それらでは説明で きない選好の部分では判断が摇れる傾向があった.

言語モデルによる省略判断の予測に関する実験で は，日本語 BERTを用いたモデルを作成し，その性能を調査した。言語の制約的な要因で決まる事例に ついては，モデルは概ね正しい判断を下し，一方で 文の自然さといった選好によって省略の可否が決定 する事例については，言語モデルの予測性能が人間
表 1 省略の程度を説明するものとして想定される因子

 &  \\

の作業者間に対して劣るという結果が得られた.

## 2 省略判断アノテーション

## 2.1 タスク設定とアノテーション基準

日本語母語話者の項省略の容認度とその一致の程度を調査することを目的とし，省略判断のデータを 収集した. 図 1 にアノテーションタスクの外観を示 す. 作業者には文章内のある述語と，それと同一文内にある述語の項が 1 つ示される. 作業者は，指定 された述語の項の表現が省略可能かを判断する。な おこの項は (i) 元の文章でも表出している場合と (ii)元の文章では省略されているが特定の位置に復元さ れている場合の 2 通りがあり，作業者は判断時にど ちらの事例かを知ることはできない. アノテーショ ン対象の述語-項の収集方法は 2.3 節で説明する.

アノテーション基準は，省略に関する言語の制約的性質を予備的に調査した結果を踏まえ，実際に著者らで予備アノテーション作業を行いながら設計し た. まず，判断の程度を定義するにあたり，省略判断を，言語の制約的な性質に基づく強い判断と，作業者のある種の選好に基づくものとに分け，これに 「省略」「表出」の方向を示した 4 值を省略の程度と して定めた. 最終的な人間の判断が制約的な要因に よって説明される場合は「省略（制約）」及び「表出 (制約)」と定義し，選好に基づく要因によってのみ 説明される場合を「省略（選好）」及び「表出（選好)」と定義した. さらに，制約的な要因としてど のような因子があるかについて，省略の潜在的な判断要因を著者内で議論し, 少なくとも制約的な因子 については著者間での判断に摇れがないことを基準 として，表 1 のとおり因子を定めた。ただし，ここ で例外的に因子 3 については，項が表出した文と省略された文のどちらを選ぶかが書き手の表現したい文意によってのみ定まる，読み手には判断不可能な 例の存在が判明したため，新たに「判断不可」とい うラベルを追加し, 最終的に 5 つの程度について作業者に判断させた.

実際の作業では，作業者は 5 つの段階を直接判断 するのではなく，表 1 の各因子に対しての判断を下 すことによって間接的に 5 つの段階を判断する.こ れによって，作業者がどの判断要因を用いて判断し ているのかを分析できるようにした。例えば，1 節 で挙げた例 (1a) については省略するのが自然であ ると判断されるが，判断の根拠は表 1 の 5 つの因子 への判断として次のように記述できる: (因子 1) 項 が省略された場合にも補われるべき情報が定まる， (因子 2) 項の有無は構文的正しさに影響しない，(因子 3) 省略に伴う助詞機能の喪失によって文意が変化しない，(因子 4) 慣習的に省略される項ではない， (因子 5) 文章の流暢さから省略するのが自然. 最終的なラベルはこれらの因子への回答の組み合わせに よって選択される.この場合は，制約に関する因子 (1-4) の組み合わせからは制約としての判断は下さ れず，選好に関する因子（5）で項を省略すべきと 判断したため, 最終的に付与される省略の容認度は 「省略（選好）」となる。

実際の作業時には，その項がどのような潜在的要因を持ち，最終的にどの容認度のラベルが付与され るべきかを質問フローチャートに答えていく形で回答する.このフローチャートが因子に対する回答の 組み合わせから 5 値の容認度ラベルへの対応を定め ている. フローチャートの詳細は付録 $\mathrm{A}$ に示す.

## 2.2 作業手順とインターフェース

作業の具体的手順を説明する．回答には専用の ツールを用いた（付録 B に記載）。作業画面上には，図 1 に概略したように，特定の述語・項が強調され

た文とその前方文脈が提示される．作業者は画面の 上から順に文章を読解し，対象となる項がどの程度省略されるべきかを，その文を読んだ時点までの情報と事前に与えたアノテーション基準に沿って判断 する. 回答後に画面上の「次の問題」ボタンを押す と, 次の対象述語-項までの文章が表示される. 作業者は直前に読んだ文の続きから読み進め, 対象述語 まで読み進めたら問いに回答する作業を繰り返す。 2.1 節で説明した通り，コーパス上での実際の文は 省略判断時に提示されていないが，読み誤ったまま 回答し続ける状況を防ぐため, 判断終了後, 次の事例に進む時点でコーパス上に本来記述されていた文 が提示される. 文内に問うべき項が複数存在する場合は，無作為に1つを作業対象とした. また，既に 回答した事例を遡って回答し直すことは禁止した.

この作業を日本語母語話者 5 名により実施した.本研究では, 作業者数が 5 名と少数のため, 読解力 の水準を揃える目的で同一大学の学生を選出した.事前にアノテーション対象外の文章を用いて訓練作業を実施し，アノテーション基準や作業内容に対す る理解度を確認した後，本実施を行った。

## 2.3 アノテーション対象データ

述語項構造情報が付与されたコーパス，BCCWJDePParaPas [1] の書籍ドメイン 32 文章をアノテー ション対象とした. 対象となる述語-項ぺアのサン プリング手法は付録 C に示す. 同コーパスには文章中で省略されている項に照応関係及び格関係が付与 されているため，省略された項が何かを特定可能で ある.このデータを用いて，項を文中に強制的に表出させた状態でその項の省略可能性を作業者に問 う.この際，項が省略されていた場合は，文中のい ずれかの位置に表出させて作業者に提示する必要が ある. 項をどこへ復元すべきかの情報はコーパスに 付与されていないため, 事前準備として省略された 項をなるべく自然な位置に補った. 作業手順は付録 Dに記載する. 最終的に 1,054 事例の述語-項ぺアを 収集し，これにコーパス上で既に項が表出している ものを加えた 2,392 事例を今回の対象とした.

## 3 アノテーション結果

作業者間の判断の一致度 作業者の省略判断の一致度について, Krippendorff の alpha $^{3}$ ) の値が 0.84 と

3） 3 名以上かつ順序尺度に対応する一致度の尺度で，一般的 には alpha が 0.677 以上であれば高い一致度であるとされる。表 2 データセット内の判断ラベル分布

高く，判断が概ね一致することが確認された [6].

作業結果の集約とラベル分布の分析 得られた 5 名分の判断ラベルについて，省略判断の予測モデル を構築するため 1 つの代表ラベルに集約し，訓練・開発・評価データを作成した ${ }^{4)}$. 集約の際は，省略 （制約）<省略（選好）<判断不可 <表出（選好）<表出（制約）というラベル間の順序を仮定し，5 名 の回答の中央値を判断の代表値とした. 結果とし て，回答の集約時に中央値が「判断不可」に分類さ れる事例は 1 事例のみであったため, 今回の分析で はこの事例を除外し，以降は省略の程度を省略（制約），省略（選好），表出（選好），表出（制約）の 4 値として分析を行う.

集約後のデータセット内のラベル分布を表 2 に 示す. ラベルの割合は表出 (制約) が最も多く（約 45\%），制約と選好の間では制約の事例が全体の約 $75 \%$ を占め，選好の事例は $25 \%$ 程度となった. 加 えて，この集約後のラベルと各作業者のラベルの間 での混同行列を確認したところ (図 2 左), 作業者間の判断の摇れは主に隣接するラベルで見られ，離 れたラベルで摇れることは稀であることが分かっ た. また，表出と省略の間をまたぐ摇れは主に選好 に基づく判断で起こっていることが分かった.

コーパスと作業者判断の比較 読み手と書き手の 判断に差違があるかを分析するため，コーパス中で の表出・省略を正解とした場合に，作業者の判断の 中央値がこれと一致するかを確かめた. 結果とし て，作業者の結果を表出・省略の 2 値予測とみなし た場合のコーパスに対する正解率は 97.0\%であり，例外的な事例はあるにせよ，読み手である作業者と 書き手の省略選択は概ね一致することが示された。

## 4 実験：省略判断モデル

人間の省略判断を現行のニューラル言語モデルが どの程度予測可能か調査する.

図 2 開発データにおける作業者と言語モデルの混同行列. 左図は作業者 5 名の回答とその中央値の混同行列で,值は事例数の平均值. 右図は BERT-large の混同行列.

表 3 作業者間と言語モデルの判断性能 ( $F_{1}$ 値). 作業者間の値は，中央値を正解として各作業者の $F_{1}$ 値を求め, 5 人の値の平均を取ったもので，性能の上限値とみなせる.

## 4.1 実験設定

モデル言語モデルとして日本語 Wikipediaで事前学習済みの Transformer 言語モデル (BERT-basejapanese,BERT-large-japanese ${ }^{5)}$ )を用いた. 対象の述語-項ぺアを含む 1 文と，その前方文脈をモデルの入力とし, 省略判断の 4 カテゴリ \{省略（制約），省略 (選好)，表出（選好），表出（制約）\}の多値分類モ デルを訓練した. モデルの入力と訓練時のハイパー パラメータと詳細は付録 $\mathrm{E} と \mathrm{~F}$ に示す.

評価尺度上記 4 値を名義尺度として $F_{1}$ 值を計算した。順序を考慮した評価は今後の課題とする。

## 4.2 結果

作業者と言語モデルの比較作業者の判断を予測 するモデルを学習した結果を表 3 に示す. 制約によ り可否が定まる事例では相対的に性能が高く，一方 で選好により可否が定まる事例では, 人間の作業者間の $F_{1}$ 值と比べると，モデルの予測性能は劣るこ とが示された。

また，言語モデルの予測に関する混同行列を観察 したところ (図 2 右), 言語モデルでは離れたラべ ル間で選択を誤る事例が人間より多くなる傾向が見 られ, 特に人間が「表出（選好）」を選んでいる事例

に対して「表出 (制約)」のラベルを予測するケース が多く見られた。

要因ごとの分析人間の回答の判断根拠とモデル の正解事例との関連を分析し，言語モデルが予測可能な事例の性質を調査した。 (i) 省略されると補わ れるべき情報が定まらず（因子 1)，その場合に書き 手の意図が伝わらない（因子4）項と，（ii）省略され ても項が一意に定まる事例のうち（因子 1），表出ま たは省略により構文的妥当性が損なわれる（因子 2)項で正答率が高かった. 前者は新情報の項, 後者は 構文の容認性判断で判定される項であり，これらの 項への判断は概ね達成できていると示唆される.

## 5 関連研究

人間と計算モデルの対照 人間と計算モデル間 の判断の比較は, 文の容認性判断のモデリング $[7,8,9,10,11]$ などに始まり, 自然言語処理分野にお いて盛んに行われてきた. 本研究では言語モデルの 追学習で省略判断予測をしており, 言語学的な仮説 に直接答えるものではないが，作成したデータは計算モデルから得られる統計量 (情報量など) との対照 といった言語学的検証にも活用できる.

省略解析 典型的な省略解析 $[12,13,14]$ は，与え られた文の項省略を検知し，省略されている情報を 復元するという問題設定である. 本研究は, 文章中 のある項を省略・表出させるべきかという，実際の 言語運用に焦点を当てた問題設定を導入している。

## 6 おわりに

本研究では，日本語母語話者の項省略判断につい て，コーパスの事例を元に 2,392 事例のデータを収集した.また，このデータを元に項省略判断モデル を構築し, 現行のニューラル言語モデルが人間の判断を予測できるかを分析した.

今回収集したデータは作業者数が 5 名であり，作業者間の判断の差違をより詳細に分析するには至ら なかったが，今後データ規模を拡大し，選好に基づ く判断の摇れについてその因子を分析することや，個人の読解力の差違による判断の摇れの分析，書き 手の文章記述力の差による書き手と読み手の判断 のずれ等の分析も検討していきたい. また，モデル の予測性能を向上させることで，省略判断の予測に 基づく文章の可読性評価や，日本語文章執筆支援と いった技術の開発を目指したい.

## 謝辞

本研究は科研費 JP19K12112 の助成を受けたもの です.

## 参考文献

[1] 浅原正幸, 大村舞. Bccwj-depparapas: 『現代日本語書 き言葉均衡コーパス』係り受け・並列構造と述語項構造・共参照アノテーションの重ね合わせと可視化. 言語処理学会第 22 回年次大会発表論文集, pp. 489-492, 2016.

[2] Satoshi Oku. A theory of selection and reconstruction in the minimalist perspective. University of Connecticut, 1998.

[3] Mamoru Saito. Notes on east asian argument ellipsis. LANGUAGE RESEARCH, Vol. 43, pp. 203-227, 2007.

[4] Serkan Sener and Takahashi Daiko. Argument ellipsis in japanese and turkish. MIT Working Papers in Linguistics 61 : Proceedings of the 6th Workshop on Altaic Formal Linguistics : Department of Linguistics and Philosophy. MIT, pp. 325-339, 2010.

[5] Yuta Sakamoto. Phases and argument ellipsis in japanese. Journal of East Asian Linguistics 2016 25:3, Vol. 25, pp. 243-274, 72016.

[6] Klaus Krippendorff. Computing krippendorff's alphareliability. 2011.

[7] Sebastian Schuster and Tal Linzen. When a sentence does not introduce a discourse entity, transformer-based models still sometimes refer to it. In North American Chapter of the Association for Computational Linguistics, 2022.

[8] James A. Michaelov and Benjamin K. Bergen. Do language models make human-like predictions about the coreferents of italian anaphoric zero pronouns? In International Conference on Computational Linguistics, 2022.

[9] Allyson Ettinger. What bert is not: Lessons from a new suite of psycholinguistic diagnostics for language models. Transactions of the Association for Computational Linguistics, Vol. 8, pp. 34-48, 12020.

[10] Shiva Upadhye, Leon Bergen, and Andrew Kehler. Predicting reference: What do language models learn about discourse models? In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 977-982, Online, November 2020. Association for Computational Linguistics.

[11] Riki Fujihara, Tatsuki Kuribayashi, Kaori Abe, Ryoko Tokuhisa, and Kentaro Inui. Topicalization in language models: A case study on Japanese. In Proceedings of the 29th International Conference on Computational Linguistics, pp. 851-862, Gyeongju, Republic of Korea, October 2022. International Committee on Computational Linguistics.

[12] Ryuto Konno, Yuichiroh Matsubayashi, Shun Kiyono, Hiroki Ouchi, Ryo Takahashi, and Kentaro Inui. An empirical study of contextual data augmentation for Japanese zero anaphora resolution. In Proceedings of the 28th International Conference on Computational Linguistics, pp. 4956-4968, Barcelona, Spain (Online), Decem- ber 2020. International Committee on Computational Linguistics.

[13] Nobuhiro Ueda, Daisuke Kawahara, and Sadao Kurohashi. BERT-based cohesion analysis of Japanese texts. In Proceedings of the 28th International Conference on Computational Linguistics, pp. 1323-1333, Barcelona, Spain (Online), December 2020. International Committee on Computational Linguistics.

[14] Ryuto Konno, Shun Kiyono, Yuichiroh Matsubayashi, Hiroki Ouchi, and Kentaro Inui. Pseudo zero pronoun resolution improves zero anaphora resolution. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 3790-3806, 2021.

## A フローチャート

図 3 アノテーション時に使用したフローチャート

2.1 節で説明する因子に基づいた判断アノテーションを 実現するにあたり，各因子に対応する質問項目への回答 の組み合わせから最終的な省略の程度ラベルを決定する 質問フローチャートを作成した (図 3).フローチャート内 のノードは各因子に対応した質問であり，その回答結果 により次の質問項目が定まるという形式で因子間の依存関係が表現される。最終的に辿り着く終端記号は 5 つの 省略の程度ラベルのいずれかに対応する. フローチャー 卜上の終端記号は，各質問項目への回答の履歴を弁別出来るように便宜上それぞれ異なるアルファベットを割り 当てている．例えば，「項が省略された場合に補われるべ き情報が定まり (解釈可能性)，かつ，項を表出すると構文的に不適切である（構文的妥当性）から，省略の程度は 『省略（制約）』」という判断となる事例は，実際の作業時 にはフローチャートの上から $\mathrm{Q} 1 \rightarrow \mathrm{YES} \rightarrow \mathrm{Q} 2 \rightarrow \mathrm{YES} \rightarrow$ A というパスを辿り，結果として「省略（制約）」のラべ ルが割り当てられる。

## B 作業ツール

図 4 に作業者が利用する作業ツールの実際の画面を示 す. 画面上部には記事 ID，事例 ID，対象となる述語-項ぺ アの情報が示され，画面下部には特定の述語・項が強調 された文とその前方文脈が提示される．作業者は，現在 の事例への判断を終えた後，画面右上にある「 $\rightarrow$ ボタン を押すことで次の対象述語-項に進む. 事例を遡るための ボタンはタスクの制約上存在しない。

図 4 実際の作業画面の例

## C アノテーション対象

本研究ではコーパス上に出現する項のうち，ガ格，ニ 格，ヨ格の項を対象とし，述語については和語の用言を対象とした (「サ変名詞+する」は対象に含まない)。また，機能性の強い述語（ある，なる，やる）を予め除外してい る. 元コーパスでは 1 文の中に複数の述語が含まれる場合があるが，2.1 節や 2.2 節で記したように，作業者に元 コーパスの文と，省略された項を補った文の双方を見せ る可能性が存在する都合上，アノテーション対象の項が 1 文に対して 1 つとなるようにサンプル数を制限した. 1 文 に複数の述語が存在する場合には無作為に対象となる述語と項のペアを決定した。

## D 省略されている項の補填作業

コーパス上で省略されている項を文中に補填する作業 は，省略判断を行う作業者と異なる言語学専攻の大学生 2 名で行い，作業者間の合意のもと挿入位置・表出形を一意に定めた. さらに，別の作業者 1 名によって，この項 の挿入によって不自然な文章となった事例を取り除いた。

## E＼cjkstart言語モデルへの入力系列

使用した 2 つのモデルの入力最大系列長にあわせ，対象述語-項を含む 1 文を入力の最終文とし，この文の文末 から遡って系列長がサブワード 512 トークンとなるよう に前方文脈の単語系列を定めた. 入力系列中では，対象述語と項のトークン列の前後を，それぞれ特殊トークン <unused0>,<unused1> で囲むことで，判断対象となる述語 と項の位置を表した。

## F ハイパーパラメータ

追学習には 4 つの GPU（NVIDIA RTX A6000）を用 いた. BERT-base モデルのバッチサイズは 16 , 学習率は $3 \mathrm{e}-05$, BERT-large モデルのバッチサイズは 8 , 学習率は $5 \mathrm{e}-05$ とした. エポック数については，開発データに対 する損失関数の値が 3 エポック連続で改善しない場合 には早期終了するよう設定した。その他のハイパーパラ メータは Hugging Face Transgformers $の$ TrainingArguments クラズ のデフォルト值に従う.

6) https://huggingface.co/docs/transformers/ main_classes/trainer


# 対訳文を用いた同義語・類義語・対義語の抽出

桝原弘哉 ${ }^{1}$ 村上仁一 ${ }^{2}$
1 鳥取大学大学院 持続性社会創生科学研究科 工学専攻
2 鳥取大学工学部
${ }^{1}$ m22j4052m@edu. tottori-u.ac.jp
${ }^{2}$ murakami@tottori-u.ac.jp

## 概要

従来，同義語・類義語・対義語は，意味に基づい て人の手によって分類される [1]. そのため, 収集 におけるコストが高い. また，自動的なシノニム 抽出の研究 [2][3] は数多く存在する. しかし, 同義語・類義語・対義語が区別されず，総括してシノニ ムと扱われる。 そこで本研究では，コーパス内の同義語・類義語・対義語を区別した形で自動抽出する ことを目的とする．通常，シノニムは意味に基づい て収集されるが，コーパスに「意味」という情報は 存在しない。そこで，「翻訳の対応関係」を「意味」 と仮定し，対訳コーパスからシノニム抽出を行う.

実験の結果，同義語 $94.3 \%$ ，類義語 $78.2 \%$ ，対義語 $60.7 \%$ の精度が得られた. また，提案手法より対義語において辞書に未記載のシノニム抽出にも成功 した.

## 1 はじめに

同義語・類義語・対義語は単語間の関係性を表現 し文意理解において重要である. 対義語も一部類似 した性質を持つことから便宜上，本論文において同義語・類義語・対義語を総合してシノニムと表現す る. 従来，シノニムは意味に基づいた人手による判断で分類 [1] された. シノニム単語を収集したシノ ニム辞書が制作に長い月日を必要とすることから人手分類のコストの高さを示している.

一方で，シノニムを自動抽出する研究 [2][3] は数多くされており手法も様々である. しかし, 同義語・類義語・対義語にそれぞれ区別して抽出してい る研究はあまり見られない. 同義語・類義語と対義語は置き換えることで文意が正反対になるため，区別が特に重要であると考えられる．そのため，本論文では，共通の対訳コーパスからシノニムを区別し た形で自動的に抽出をすることを試みる。

## 2 従来手法

## 2.1 人手による収集

人手収集におけるシノニムは意味を判断基準とし ており，各シノニムの意味は辞書 [1] によって次の ように定義されている.

同義語：語形は異なるが意義はほぼ同じ言葉

類義語 : 意味の類似する単語

対義語：意味の上で互いに反対の関係にある語

## 2.2 自動抽出の研究

## 2.2.1 パターンを用いたシノニム抽出

Chklovski ら [2] は，類似する単語が特定の文法パ ターンで共起する性質に注目した．WordNet から関連性の高い動詞ぺアを収集し, 事前に定義されたパ ターンを使用することで動詞におけるシノニム抽出 を行った。

## 2.2.2 分散表現を用いたシノニム抽出

Li ら [3] は, 類似する単語が単語分散表現の意味空間において近接する性質に注目した．Word2Vec[4] を使用することで単語間の類似性を計算し，スペク トルクラスタリングによって単語をクラスタリング することでシノニム抽出を行った。

## 3 問題点・目的

自動的なシノニム抽出の研究は，人手によるコス トが不要という利点がある。しかし，人手収集とは 異なりシノニム内の明確な区別がないことが多い. その理由として, 本来なら意味基準で分類するシノ ニムを自動抽出においては意味以外の情報を利用し ており，シノニム間の境界の曖昧性を解消できない ためだと考えられる。曖昧性の一つとして, 対義語対はカテゴリーが一部共通する性質から類似性を持 つことが挙げられる。例えば，“白”と“黒”は，色の 明暗から対義語として扱われるが，色という同じカ テゴリーであるため類似する単語とも解釈できる。
以上のことを踏まえて，本研究ではシノニムの自動抽出において同義語・類義語・対義語を区別した 形で抽出することを目的とする。

## 4 提案手法

言葉は「意味」によって単語自体が持つ概念や性質といった知識を他人と共有することができる．知識の共有ができる観点から「翻訳の単語対応」は 「意味」と同等と考えることができる．例えば，“服” という単語は「身につけるもの。きもの.」といっ た意味であるが，日本語を知らない英語話者に対し ては対訳単語である“clothes”を伝えることで，“服” という単語が持つ概念を共有することができる.こ の性質から，共通する翻訳を持つ単語同士は意味が 同じと仮定することで，類似する単語の抽出に対訳単語を利用できると考えられる。

一方，類似単語の一部とみなせる対義語は，同一文において置き換えることで正反対の内容を表現で きる．例えば，“右”と “左”の対義語対において「交差点を右に曲がる.」は “右”を“左”に置き換えるこ とで正反対の文になる。つまり，文脈 (周囲の単語) によって類似性を求められる分布仮説において，対義語が最も類似すると考えられる。

## 4.1 再定義

本研究では，「翻訳における単語対応」を「意味」 とみなすため， 2 言語の翻訳対応を利用したシノニ ムの再定義を行う． 2 言語は日本語-英語である.

## 4.1.1 同義語

・単一カテゴリー内に存在する単語対
- 日本語単語の対が英語訳において完全に共通

例) “病気”と “病”

病気 $=$ disease $=$ 病，病気 $=$ illness $=$ 病

## 4.1.2 類義語

・単一カテゴリー内に存在する単語対

-日本語単語の対が英語訳において一部共通

例）“青”と “緑”

青 $=$ green $=$ 緑，青 $=$ blue $\neq$ 緑

## 4.1.3 対義語

・単一のカテゴリー内に存在する単語対
- 日本語単語の対が英語訳において共通しない

・共通する文脈で置き換え可能

例) “右” と “左”

右 $=$ right $\neq$ 左， 左 $=$ left $\neq$ 右

右に曲がる。，左に曲がる。

## 4.2 変換テーブル

4.1 節の 2 言語を利用した再定義を踏まえると, シノニムの関係に有る単語対それぞれには対訳単語 が存在する。つまり，シノニム抽出には日本語単語 2 対，英語単語語 2 対の計 4 対が必要である. そこ で，変換テーブル [5]を利用する。

図 1 変換テーブル

変換テーブル [5] は単語 4 組の関係性を定義する テーブルである．パターンが共通する 2 組の対訳文 において，パターンの変数に対応する単語が抽出さ れることで生成される。各単語の相対性により「A

例では，「猫が catならば犬は $\operatorname{dog}$ 」である.

## 4.3 Word2Vec

Word2Vec[4] は文脈 (周囲の単語) を用いて単語を 数值化することでベクトル表現を可能にするニュー ラルネットワークの手法である．対義語同士が類似 する文脈で使用される性質から，Word2Vec[4] にお いて対義語同士の類似度は最も高いと考えられる。

## 5 実験方法

## 5.1 実験手順

## 5.1.1 同義語

単語対が翻訳において完全に共通する組み合わせ を抽出する。(表 3 参照)

1. 変換テーブル $\mathrm{ABCD}$ で英語 $\mathrm{B}, \mathrm{D}$ が同一単語,且つ日本語 $A, C$ が別単語の組み合わせを選択

2. 翻訳が複数存在することを考慮して，1. で得ら れた日本語単語 $\mathrm{A}$ につい変換テーブルを利用 し，対応する英単語をすべて収集 $\Rightarrow$ 集合 $A^{\prime}$

3. 2. と同様の処理を 1. で得られた日本語単語 $\mathrm{C}$ についても行う $\Rightarrow$ 集合 $C^{\prime}$

4. 2. と3. で得られた集合 $A^{\prime}$ と集合 $C^{\prime}$ を比較し,完全に一致する組み合わせを同義語として出力

## 5.1.2 類義語

単語対が翻訳において一部共通する組み合わせを 抽出する. (表 4 参照)

1. 変換テーブル $\mathrm{ABCD}$ で英語 $\mathrm{B}, \mathrm{D}$ が同一単語,且つ日本語 $A ， C$ が別単語の組み合わせを選択

2. 翻訳が複数存在することを考慮して，1. で得ら

し，対応する英単語をすべて収集 $\Rightarrow$ 集合 $A^{\prime}$

3. 2. と同様の処理を 1. で得られた日本語単語 $\mathrm{C}$ についても行う $\Rightarrow$ 集合 $C^{\prime}$

4. 2. と 3. で得られた集合 $A^{\prime}$ と集合 $C^{\prime}$ を比較し,共通しない部分がある組み合わせを類義語とし て出力

## 5.1.3 対義語

日本語・英語同士が最も類似する組み合わせを Word2Vec を利用して抽出する。(表 5 参照)

1. 変換テーブル $\mathrm{ABCD}$ で英単語 $\mathrm{B}, \mathrm{D}$ が別単語で あり，日本語単語 $\mathrm{A}, \mathrm{C}$ も別単語である組み合 わせを選択 (Aと B は対訳単語である)

2. Word2Vecを利用し，1. で得られた日本語単語 $\mathrm{A}$ に最も類似する単語を抽出 $\Rightarrow \mathrm{A}^{\prime}$

3. Word2Vec を利用し，1. で得られた英語単語 B に最も類似する単語を抽出 $\Rightarrow \mathrm{B}$ ，

4. 変換テーブル中から $\mathrm{ABA}^{\prime} \mathrm{B}^{\prime}$ となる組み合わせ を検索

5. 1. 4. の処理を $\mathrm{CDC}^{\prime} \mathrm{D}^{\prime}$ の組み合わせでも行う

## 5.2 実験データ・条件

## 5.2.1 変換テーブル

森本 [5] が作成した変換テーブルを使用する. 森本は，電子辞書などの例文から抽出された 163,188 文の単文対訳コーパス [6] を利用して変換テーブル を作成した. 生成された変換テーブルは 701,828 組 である.

## 5.2.2 Word2Vec

Python の gensim[7] を使用する. データの統一を 取るために，変換テーブルと同じ 163,188 文の単文対訳コーパス [6] で学習を行う。各パラメータは, window $=5$, size $=10,000$ とし，英語モデル，日本語モ デルをそれぞれ作成した。

## 6 実験結果

同義語・類義語 ・対義語の各抽出数と人手評価に よる精度を表 2 に示す. ただし，漢字や片仮名を含 む表記ゆれや数字などのノイズは評価に考慮しな い. 評価者は著者 1 人である.

表 2 抽出結果

出力例の一部を表 3 5 に示し，変換テーブルが参照した対訳文を例文として示す.

## 6.1 同義語

 & 值段 &  & $\circ$ \\

例文）

1).価格と値段

野菜の価格が急騰している。

The price of vegetables is soaring.

野菜の值段が下がる.

The price of vegetables drops.

2).秩序と順序

それは新たな秩序の到来を告げた。

That ushered in a new order.

逆の順序におく. Place in the reversed order.

## 6.2 類義語

表 4 類義語

 & ○ \\

例文）

1).お昼と正午

お昼までには，まだ少し間がある。

There's still a little time left until noon.

正午に汽笛が鳴る. The whistle blows at noon.

2).板と委員会

板が歪む. The board is distorted .

委員会は明日開かれる予定だ。

The board is meeting tomorrow .

## 6.3 対義語

表 5 対義語

例文)

1).東と西

風は東へ吹いている. The wind is blowing east.風が西へ吹く. The wind blows west

2).雪と雨

雪がやんだ. The snow has stopped.

雨がやんだ. The rain has stopped.

## 7 考察

## 7.1 不正解の調査

実験結果における不正解対の原因調査により，方式の限界による要因と変換テーブル作成時のパター ンの誤りによる要因に大別された. 同義語は方式限界のみであった。 各要因の割合を表 6 に示す.

表 6 不正解の割合

## 方式限界による要因

同義語・類義語では，英単語は共通するが類似し ない日本語対が抽出された. この問題の原因は単語 の持つ多義性である. 言語間の概念の差異や文脈に より単語の用途が変化するため, 方式限界であると 考えられる。(表 3，表 4 の不正解例を参照)

対義語では，反対の意味が存在しない日本語対が 抽出された. この問題の原因は単語に反対が存在す るかの区別が困難なことである．変換テーブル自体 はパターンが共通する組み合わせを出力しており，組み合わせ自体に類似性は存在しないため，方式限界であると考えられる。(表 5 の不正解を参照)

## パターンの誤りによる要因

森本 [5] の変換テーブルはパターンを利用して作成されており，パターンの誤りが単語対応の誤りに影響を与えている。つまり，パターンの精度を上げ ることで類義語・対義語については抽出精度が向上 すると考えられる。

## 7.2 辞書による評価 (対義語)

実験結果より同義語・類義語と比較し，対義語の 正解率が低い. 原因として，7.1 節で述べた反対の 存在しない単語を抽出していることが考えられる。 そこで，対義語辞典において対義語と定義される単語対に限定して再度精度を調査した。対義語辞書に は， weblio 対義語反対語辞典 $[8]$ を利用した.

表 7 明確に対義語である単語の調査

調査の結果，対義語辞書 [8] において不正解だが，人手評価において正解と判断された対が得られた. また，調査の過程で，実験結果における表 7 に含ま れない対義語が得られた。つまり，対義語辞書にお いて定義されないが，人手評価において正解と判断 される対義語である。それぞれの一部を表 8 ，表 9 に示す。

表 8 辞書で不正解となった対義語

表 9 辞書で定義されない対義語

この結果から, 本研究の提案手法は辞書に記載さ れていない対義語を抽出できたことを示している。

## 8 まとめと今後の課題

従来の研究では，意味基準によって区別されるシ ノニムの曖昧性が解消されない問題があった. そこ で，本研究では，「翻訳の単語対応」を「意味」と 仮定することでシノニムを自動抽出・分類する方法を提案した. 実験の結果，同義語 $94.3 \%$ ，類義語 $78.2 \%$ ，対義語 $60.7 \%$ の精度が得られた。また，対義語において辞書に未記載の単語抽出といった有効性を得られた。

今回，提案した手法では抽出数が不十分であると 考えられる。そのため，精度を損なわずに抽出数を 増加させることを今後の課題とする。

## 参考文献

[1] 新村出, 新村出記念財団. 広辞苑. 岩波書店, 第 6 版, 2008.

[2] Timothy Chklovski and Patrick Pantel. VerbOcean: Mining the web for fine-grained semantic verb relations. In Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing, pp. 33-40, Barcelona, Spain, July 2004. Association for Computational Linguistics.

[3] Li Zhang, Jun Li, and Chao Wang. Automatic synonym extraction using word2vec and spectral clustering. In 2017 36th Chinese Control Conference (CCC), pp. 56295632, 2017.

[4] Tomas Mikolov, Kai Chen, Gregory S. Corrado, and Jeffrey Dean. Efficient estimation of word representations in vector space. In International Conference on Learning Representations, 2013.

[5] 森本世人. 類似度を利用した変換テーブルの精度向上. 言語処理学会 第 27 回年次大会, 2021 .

[6] 村上仁一, 藤波進. 日本語と英語の対訳文対の収集と 著作権の考察. 第一回コーパス日本語学ワークショッ プ, 2012.

[7] Radim Rehurek and Petr Sojka. Gensim-python framework for vector space modelling. NLP Centre, Faculty of Informatics, Masaryk University, Brno, Czech Republic, Vol. 3, No. 2, 2011.

[8] GRAS グループ株式会社. weblio 対義語反対語辞典,（2023-01 閲覧）. https://thesaurus.weblio.jp/ antonym/.


# 汎用言語モデルは日本語の助数辞を理解しているか

小谷野華那 ${ }^{1}$ 谷中瞳 ${ }^{2}$ 峯島宏次 ${ }^{3}$ 戸次大介 ${ }^{1}$
1 お茶の水女子大学 2 東京大学 3 慶應義塾大学
\{koyano.kana, bekki\}@is.ocha.ac.jp hyanaka@is.s.u-tokyo.ac.jp
minesima@abelard.flet.keio.ac.jp

## 概要

日本語には，様々な数量表現の出現形式や助数辞 があり，言語学の理論的研究の対象となっている.英語や日本語で，言語学の分析に基づいた数量表現 コーパス，推論データセットが構築され，汎用言語 モデルが数量表現の理解を必要とする推論をどの程度扱えるかの分析が進められている。しかし，現在 の汎用言語モデルには, 数量表現の推論の扱いに課題がある可能性が示唆されている. 本研究では，そ の原因の一つとして，汎用言語モデルの事前学習時 に，数量表現の振る舞いが正しく学習されないとい う仮説を立て，助数辞がマスクされたテストセット を構築し, 汎用言語モデルが助数辞を正しく予測す るかを調査する．実験の結果，予測結果はテスト文 に含まれる他の数量表現の影響を受けており, 汎用言語モデルは，数量表現の意味を正しく捉えられて いない可能性があることを示した.

## 1 はじめに

日本語には様々な数量表現の出現形式や助数辞があり, 言語学の理論的な研究が進んでい る $[1,2,3,4,5]$. さらに, 日本語の助数辞の違いは,推論に影響を与える。次の例の (1)と (2)は，それ ぞれ「人」「名」という助数辞を含んでいるが，この 2 つの助数辞はどちらも人数を表す助数辞であるた め，(1)と（2）の間には含意関係が成立する。一方， （3）は，「箱」という助数辞を含んでおり，この助数辞は人数を表す助数辞ではないため，（1）と（3）の 間では含意関係が成立しない。

(1) ペットボトルが 3 人分ある.

(2) ペットボトルが 3 名分ある.

(3) ペットボトルが 3 箱分ある.

Koyano et al. [6] では，言語学における日本語の数量表現に関する理論を整理し，日本語の実テキストに 含まれる数量表現にアノテーションを行い，数量表現コーパスを構築した。さらに，数量表現コーパス から数量表現に関する自然言語推論データセットを 構築し, 汎用言語モデルが数量表現の理解を必要と する推論をどの程度予測できるかを調査する実験と 分析を行い，現在の汎用言語モデルは数量表現の推論に課題を残していることを示唆した.

本研究では, 汎用言語モデルにおけて数量表現を 含む推論に課題がある原因として，事前学習時に数量表現の振る舞いが正しく学習されていないという 仮説を立てる。この仮説を検証するために，Koyano et al. [6] の数量表現コーパスを用いて，助数辞をマ スクしたテストセットを構築する。このテストセッ トを用いて，マスクした箇所に入る助数辞を正しく 予測しているかどうかを調査する．汎用言語モデル が正しい助数辞を予測できていれば，助数辞の前後 の文脈は正しく捉えられていると考えられる. そし て, 実験結果から, 汎用言語モデルが日本語の数量表現の助数辞をどの程度捉えられているかを分析 する。

## 2 日本語の数量表現コーパス

Koyano et al. [6] では, NPCMJ [7] から数量表現を 含む文を抽出し，126 文に含まれる 278 件の数量表現にアノテーションを行うことで数量表現コーパス を構築した。この数量表現コーパスでは，数量表現 を 2 つ以上含む文，否定表現または条件節を含む数量表現を 1 つ以上含む文に対して，助数辞，出現形式，用法のアノテーションを行なっている.

助数辞の分類 Koyano et al. [6] では, 飯田 [1,2] による分類辞，単位形成辞，計量辞と，奥津 [3] に よる順序数辞の 4 分類を採用している. 各助数辞の 例と数量表現コーパスに含まれる件数を付録表 8 に 示す.

分類辞には，助数辞単体では使用されないもの (「人」「頭」), 複数の人やものに対して使用される もの (「組」), 汎用的な助数辞（「個」「つ」）が含ま

れる. 単位形成辞は, 何らかの容器を表す普通名詞 (「箱」「セット」) であり, 助数辞としてではなく単独で用いることが可能である。また，より大きなも のの一部を表す助数辞（「切れ」）も含まれる．計量辞は, 重さや距離を表す単位 (「キロ」), 長さを表す 単位 (「メートル」) など，測定のための単位を表す 助数辞である. 順序数辞は, 時間 (「日」「分」) や順序 (「番」「位」)を表す助数辞である. 順序数辞を含 む数量表現は，修飾する名詞が文中に現れないこと が多く, むしろ数量表現自体が名詞としての役割を 果たすといった特徵がある。

数量表現の出現形式 数量表現の出現形式は, 名詞を修飾する数量表現，動詞を修飾する数量表現に よって文中に現れる位置が異なる。また，名詞を修飾する数量表現は，同じ状況を表す文でも，文脈に よって名詞の前に位置する場合（「3人の学生」）や 後ろに位置する場合（「学生 3 人」）などがあり, 出現形式は多様である. Koyano et al. [6] では, 岩田 [5] が用いた 6 タイプと，動詞を修飾する数量表現，イ ベント名詞句を修飾する数量表現, 修飾する名詞が 文中に現れない数量表現, 数量表現を修飾する数量表現，()内の数量表現，イディオム的な数量表現に ついて，6タイプの出現形式を作成し，計 12 タイプ に分類している.

数量表現の用法 数量表現の用法は, 名詞を修飾 する数量表現について, 岩田 [5] が研究対象として いた 1 タイプに 3 タイプを追加した 4 タイプを作成 し，動詞を修飾する数量表現については 4 タイプを 作成している. さらにイベント名詞句を修飾する数量表現, 数量表現を修飾する数量表現, イディオム 的な用法についてのタイプを作成し，計 11 タイプ に分類している。

## 3 実験

## 3.1 テストセット

Koyano et al. [6] の数量表現コーパスの 151 件の数量表現の助数辞をマスクし, テストセットを作成す る. (4) は数量表現コーパス内に含まれる文の例で あり，(5) は構築したテスト文の例である. 数量表現コーパスは，(4)のように<num>タグで囲まれてい る数量表現に対して, 助数辞, 出現形式, 用法がア ノテーションされている. (4) の助数辞は「人」であ るため，この部分を (5)のように [MASK] に置き換 え，<num>タグが無い形式の文を作成する.
(4) 施設の周辺に滞在する外国人研究者や職員は 常時約<num> 3000 人</num>，その家族も 含めると約 1 万人規模の人口増加となる.

(5) 施設の周辺に滞在する外国人研究者や職員は 常時約 $3000[\mathrm{MASK}]$, その家族も含める と約 1 万人規模の人口増加となる.

さらに，各テスト文に対して，正解の助数辞と正解とは異なる助数辞（誤りの助数辞）のペアを作成する. (5) の正解の助数辞は, (4) の助数辞である 「人」とし, 誤りの助数辞は, 同じ分類であるが (5) の [MASK] に入れると意味的に不自然となる助数辞 とする.この例では，「本」を誤りの助数辞とする.誤りの助数辞は, $[\mathrm{MASK}]$ に入れると意味的に不自然になる助数辞を全て人手で選び，テストセットを 構築する。

## 3.2 実験設定

3.1 項で構築したテストセットを用いて，汎用言語モデルが助数辞を正しく予測することができるか を分析する．マスクされた箇所に対する正解の助数辞と誤りの助数辞のそれぞれの予測確率を計算す る. そして，誤りの助数辞よりも正解の助数辞に対 して高い確率で予測した数の割合を正答率として算出して分析する. マスクされた箇所に入る助数辞を 正しく予測しているかという実験は，自然言語推論 タスクとは異なりファインチューニングを行わない で実験を行うため，より直接的に事前学習で何を学習しているのか評価できる手法である.

現在の標準的な汎用言語モデルが助数辞を正しく 予測することができるかを評価するために，東北大 BERT $^{1)}$ と早大 RoBERTa $^{21}$ の評価実験を実施した.

## 3.3 実験結果と考察

東北大 BERT と早大 RoBERTa を用いた評価実験 の助数辞ごとの正答率を表 9 , 数量表現の出現ごと の正答率を表 4, 用法ごとの正答率を表 5 に示す. (テストセットに含まれる各タイプの統計情報は付録表 8 を参照)

助数辞ごとの正答率では, 東北大 BERT と早大 RoBERTa のどちらも単位形成辞の正答率がやや低 いものの，全体としては東北大 BERT は $89.00 \%$, 早大 RoBERTa は $94.04 \%$ と高い正答率だった. 数量表

東北大 BERT が正しい助数辞よりも誤りの助数時を高い確率で予測した例。（）内はモデルの予測確率を示す. テスト文正しい助数辞 誤りの助数辞

(a) これは何を意味するかというと，ある一 [MASK] の産業分野は 必ず一社独占化の道を進む，つまり学問に基づいた本物の技術を作った企業つ(13.72) 社（14.82） （多くの場合，得意技術の異なる複数の連合体）が勝つということである.

(b) 帝国データバンク仙台支店が昨年 12 月下旬に公表した景気見通し調査では, 14 [MASK]を「回復局面」とする企業は $18.4 \%$.

(c) チリは $2[\mathrm{MASK}]$ 連続の再選が禁止され，4年ごとに大統領が代わる.年 $(12.49) \%(12.92)$ チリは 2 期連続の再選が禁止され，4 [MASK] ごとに大統領が代わる.期（17.82）年 (19.28)

(d) 国道38号では赤信号で 1 [MASK] ほど足止めを余儀なくされた.

年（15.60）期（17.17）

分（13.28） ヶ月（17.17）

表 2 早大 RoBERTa が正しい助数辞よりも誤りの助数時を高い確率で予測した例

現の出現形式，用法ごとの正答率は，東北大 BERT はイディオムのみ正答率が低く，その他のタイプで は 8 割以上の正答率だった. 早大 RoBERTa の出現形式，用法ごとの正答率は，どのタイプも高かった.

東北大 BERT が正しい助数辞よりも誤りの助数辞 を高い確率で予測した例を表 1 に示す。（a)は，数量表現の出現形式，用法がイディオムの例である. こ の文の [MASK] の箇所は「ある一つ」というイディ オム的な数量表現であるため,「つ」が正解の助数辞である。この文の「一つ」という数量表現は，数詞を変更すると非文（「ある二つ」は非文）となる ため，イディオムというタイプが付与されている. (a)では，マスクされている箇所の他に「一社」と いう同じ数詞「一」を持つ数量表現が含まれている ため，マスクされている箇所の助数辞として「社」 を高い確率で予測した可能性がある。(b) も同様に，誤りの助数辞「\%」が文内のマスクされた箇所より 後に現れる数量表現「18.4\%」に含まれており，そ の助数辞を正しい助数辞よりも高い確率で予測して いることから，テスト文に含まれる別の数量表現か ら助数辞を予測している可能性がある.

(c)の 1 つ目の例は, $[\mathrm{MASK}]$ に誤りの助数辞「年」 が入った場合「2 年連続の再選が禁止され」となり， この節においては自然な文に見えるが，後続の節を 含めた文では，意味が通らない文になってしまう ((c)の 2 つ目の例も同様). このことから, 東北大 BERT は長い文の意味（節の間の意味関係）を正し く捉えられていない可能性がある.

(d) は，正解の助数辞, 誤りの助数辞ともに時間 （期間）に関する助数辞であるが，人間なら「赤信号 で 1 ヶ月も足止めされることはない」と容易に推測表 3 助数辞ごとの評価実験の結果（正答率）

することができ，「赤信号で 1[MASK] ほど足止めを 余儀なくされた」の助数辞は「分」もしくは長時間 でも「時間」であると推測することができる。しか し，東北大 BERT は「ヶ月」を高い確率で予測して いることから，文脈から時間に関する数量表現だと いうことは予測できても，時間的な常識である時間 の尺度まで考慮して推測することは難しいと考えら れる。

早大 RoBERTa が正しい助数辞よりも誤りの助数辞を高い確率で予測した例を表 2 に示す。（e) は 表 1(c)の 1 つ目の例と同じテスト文である．早大 RoBERTa でも東北大 BERT と同じょうに，誤りの助数辞が文内のマスクされた箇所と異なる数量表現に 含まれているとき，その助数辞を正しい助数辞より も高い確率で予測することがあった。

(f) は，正解の助数辞より誤りの助数辞のほうが高 い確率で予想されているが，どちらも予測確率が低 かった.このテスト文では「です」「ます」といった 助動詞や「が」「の」などの助詞の確率が高かった. このテスト文にはマスクされている箇所以外に数量表現がなく，別の数量表現から予測することができ ないため，助数辞が予測結果の上位にならない可能性がある。
表 4 出現形式ごとの評価実験の結果（正答率）

表 5 用法ごとの評価実験の結果（正答率）

## 4 関連研究

英語における数量表現の研究として，言語モデル の数量表現の扱いに関する調査 [8]がある. Cui et al. [8] は, 多言語で事前学習された言語モデルが, 英語 における様々な数量表現を含む一般化量化子の振る 舞いをどの程度捉えることができるかについて，一般化量化子の理解に特化したベンチマーク GQNLI を構築し，調査を行った．GQNLI で言語モデルを 評価した結果, 言語モデルの最高精度は $48 \%$ であっ た. NLI モデルや質問応答モデルの性能改善におい て，一般化量化子を捉えられないことが課題の一つ となっていることを示した. 日本語における数量表現を扱った研究として, Narisawa et al. [9] による数量表現を含む自然言語推論を解くための実装と評価 がある. Narisawa et al. [9] は，日本語の含意関係認識において数量表現が問題になる事例に焦点を当て 分析を行い，数量表現の規格化のための実装と評価 を行った. Narisawa et al. は，数量表現が出現する文 ペアを 7 つのカテゴリに分類し，正しく含意関係を 判定するために必要な処理について述べている.
マスク穴埋めタスクで汎用言語モデルの分析を 行った先行研究として, 英語では, 事前学習済み言語モデルが否定表現と偽のプライミング（ひっか け）の扱いに課題があることを示した研究 [10] が ある. Kassner et al. [10] は，事前学習済み言語モデ ルが否定表現を理解しているかを分析するために， Birds can [MASK], Birds cannot [MASK] といった, 否定表現を含まない文と含む文を用いて，マスクされ た箇所の上位 3 件の予測単語を調査した. その結果，どちらの文でも同じ単語（上記の例では $f y$ ）が 上位となることから，言語モデルは否定表現を理解 できていないことを示唆した。また，事前学習済み 言語モデルがひっかけの影響を受けるかを分析する ために, Lexus is owned by [MASK], Microsoft? Lexus is owned by [MASK] といった，ひっかけを含めた文 を作成し，マスクされた箇所の上位 3 件の予測単語を調査した. その結果，ひっかけを含む文では， ひっかけ自体やひっかけに関連する単語 (Microsoft, Google) が正解の単語 (Toyota) よりも高い確率で予測されている傾向があることから，言語モデルの単語の予測結果は，ひっかけの影響を受けていること を示した。

## 5 おわりに

本研究では，汎用言語モデルにおいて数量表現を 含む推論の扱いに課題がある原因として，事前学習時に数量表現の振る舞いを正しく学習できていない という仮説を立てた.この仮説を検証するために， Koyano et al. [6] の数量表現コーパスを用いて，助数辞をマスクした文のテストセットを構築し，汎用言語モデルの評価実験を行なった．その結果，汎用言語モデルは 8 割以上の助数辞を正しく予測した。一方で，節の間の意味関係を考慮した単語の予測に は，まだ課題があることを確認した．また，言語モ デルの単語の予測結果は, 文中に現れる他の数量表現や単語の影響を受けており，英語での研究におい て指摘のあった，事前学習済み言語モデルがひっか けの影響を受けるという現象が，日本語数量表現に おいても存在することを確認した。

今後，汎用言語モデルにおける数量表現の扱いの 課題についてさらに調査し, 言語学の理論に基づく 数量表現の分類と推論の関係性や，推論における数量表現のひっかけの影響について分析を進める.

## 謝辞

本研究は JST CREST JPMJCR20D2，JST さきがけ

JPMJPR21C8 の助成を受けたものである.

## 参考文献

[1] 飯田隆. 日本語と論理. NHK 出版, 2019.

[2] Takashi Iida. Japanese semantics and the mass/count distinction. Chungmin Lee, Young-Wha Kim and ByeongUk Yi (eds.), Numerals Classifiers and Classifier Languages (Routledge), pp. 72-97, 22021.

[3] 奥津敬一郎. 拾遺日本文法論. ひつじ書房, 1996.

[4] 矢澤真人. 数量の表現. 金田一春彦, 林大, 柴田武 （編）, 日本語百科事典. 大修館書店, 1988.

[5] 岩田一成. 日本語数量詞の諸相. くろしお出版, 2013.

[6] Kana Koyano, Hitomi Yanaka, Koji Mineshima, and Daisuke Bekki. Annotating Japanese numeral expressions for a logical and pragmatic inference dataset. In Proceedings of the 18th Joint ACL - ISO Workshop on Interoperable Semantic Annotation, 2022.

[7] NINJAL. NINJAL Parsed Corpus of Modern Japanese. (Version 1.0). 2016. https://npcmj.ninjal.ac.jp/.

[8] Ruixiang Cui, Daniel Hershcovich, and Anders Søgaard. Generalized quantifiers as a source of error in multilingual NLU benchmarks. In Proc. of NAACL, 2022.

[9] Katsuma Narisawa, Yotaro Watanabe, Junta Mizuno, Naoaki Okazaki, and Kentaro Inui. Is a $204 \mathrm{~cm}$ man tall or small? acquisition of numerical common sense from the web. In Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 382-391, Sofia, Bulgaria, August 2013. Association for Computational Linguistics.

[10] Nora Kassner and Hinrich Schütze. Negated and misprimed probes for pretrained language models: Birds can talk, but cannot fly. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7811-7818, Online, July 2020. Association for Computational Linguistics.
表 6 早大 RoBERTa の予測結果の上位 10 件に正解の助数辞が含まれない例

表 7 東北大 BERT の予測結果の上位 10 件に正解の助数辞が含まれない例

 \\

表 8 各助数辞の例と数量表現コーパスに含まれる件数

## A 付録：上位 $\mathrm{N$ 件の予測結果}

汎用言語モデルの予測結果の上位 1 件，上位 3 件，上位 5 件，上位 10 件に正解の助数辞が含まれる 確率を表 10 に示す.どの結果も早大 RoBERTa が東北大 BERT よりも正答率が高かった. 東北大 BERT の予測結果では，上位 10 件で予測結果に正解の助数辞が含まれる確率が $90 \%$ を超えるのに対し，早大 RoBERTa の予測結果では, 上位 3 件で予測結果に正解の助数辞が含まれる確率が $90 \%$ を超えるという結果となった.表 9 助数辞, 出現形式, 用法ごとの統計情報

表 10 上位 $\mathrm{N}$ 件に正解の助数辞が含まれる確率


# 金融文書の抽象型要約による投資家向け支援システムの提案

中野凌 ${ }^{1}$ 蓮池隆 $^{2}$
${ }^{1}$ 早稲田大学大学院 ${ }^{2}$ 早稲田大学 創造理工学研究科
ryoku.nkn.18@toki. waseda. jp thasuike@waseda. jp

## 概要

投資家は，決算短信，有価証券報告書，株主招集通知，アナリストレポートといった金融文書を元に 投資先を決定するが，金融文書の量は膨大であり， それらの分析には多大は労力と専門的な知識を要す る. そこで本研究では, 金融文書に対する自動要約技術の適用に着目し，様々な要約モデルを比較する ことで，実用性の有無を検証した。

本研究の貢献は以下の 3 つである.

1. Web スクレイピングによる要約タスクのファイン チューニング用データセットの収集を行った。

2. 収集したデータセットを様々な条件で抽出，ファ インチューニングすることで日本語版 BART モデル の要約タスクにおける精度を定量的に評価した。

3. BART モデルと他の自動要約手法の定量的・定性的な評価によって比較し, 金融文書の抽象型要約に よる投資家向け支援システムを提案した。

## 1 研究背景 - 目的

## 1.1 自動要約技術について

自動要約は, 入力された文章を短くまとめて自動的に出力する技術である。近年，インターネットの 普及や文書の電子化などにより，テキスト媒体にお けるデータが大量に蓄積されているが，その中には 重要性の低い文章も含まれている。そこで自動要約 により重要な箇所のみを抽出することで，人間は文章を読む時間を削減でき, より本質的な内容を吟味 することができる. 社会における自動要約の活用場所として, 広告や雑誌, 求人などの文字数制限のあ る媒体に対する見出し作成や金融文書や法律文書な どからの重要箇所の取得などがあげられる。これら の背景から, 文章要約は自然言語処理のタスクの中 でも重要度が増している. 本研究では, 金融文書に 対する自動要約に着目し, 様々な文章要約モデルを 比較することで，実用性の有無を検証することを目的とする.

## 1.2 一億総株主の課題

日本の個人金融資産構成は長年にわたって預貯金 に偏っており, 欧米諸国に比べて非効率な運用が常態化している. そこで 2022 年, 政府は資金シフトを 促すため, 「一億総株主」といわれるすべての国民 が日本企業への投資家となることを目指す施策を講 じた。これにより，今後，投資を始める人が増加す
ることが予想される。投資家は，決算短信，有価証券報告書，株主招集通知，アナリストレポートとい った金融文書を元に投資先を決定するが，金融文書 の量は膨大であり，それらの分析には多大は労力と 専門的な知識を要する，そのため，投資初心者が大量の金融情報から投資先を選択することはハードル が高く，「一億総株主」に向けての課題点となって いる，そこで，本研究では，企業の金融文書を収集 し，自動要約することで，投資初心者にも分かりや すい金融情報を提供する手法を提案することを目的 とする.

## 2 関連研究と本研究のアプローチ

## 2. 1 金融文書の要約

文章要約には, 抽出型要約と抽象型要約 $の 2$ 種類 がある。抽出型要約は，入力した文章から重要な文章を抜き出して要約文を生成する手法である。抽象型要約は，入力した文章を元に一から文章を生成す る手法である。金融文書に対する抽出型要約の活用 として, 平野ら[1]は，アノテーションの必要のない 別のタスク (銘柄判定，価格変動)を学習させた学習 モデルの Attentionを用いることで, 教師なしで金融文書の重要文判定を行う手法を提案している．抽出型要約は, 確実に元の文章内の正しい内容が出力さ れるというメリットがあるが，デメリットとして，文と文の接続に違和感がある, 要約文の長さを制御 しにくいなどの点がある。そこで，本研究では抽象型要約を用いて金融文書を要約することで違和感が なく読みやすい文章を生成する手法を提案する.

## 2. 2 BART

Bidirectional and AutoRegressive Transformers[2](以下, BART)は Bidirectional Encoder Representations from Transformers[3](以下, BERT) と Generative Pretrained Transformer[4](以下，GPT)の両方のアーキ テクチャを持ち, BERT を Encoder として入力処理 し，エンコーディングされた情報を使用し GPT の Auto-regressive Decoder により文書を生成するモデ ルである. Katsumata ら[5]は BART を用いて英語の 文法誤り訂正タスクを行っており，既存の手法で最 もよい結果が得られたと報告している。また，田中 ら[6]は, 約 1800 万文の日本語 Wikipedia を用いて学習を行った日本語版 BART の事前学習モデルを構築 し, 日本語の入力誤り認識タスクにおいて, 他の校正支援 API と比較して，精度が高いことを確認して

いる.しかしながら，日本語版 BART による要約夕 スクの精度を比較した論文はみられない。そこで，本研究では, 田中らの作成した日本語版 BART の事前学習モデルに対して, 文章要約タスクのファイン チューニングを行い，要約精度の比較を行う。

## 3 提案手法

本研究の提案手法の全体像を図 1 に示す. 提案手法は 4 つのステップから構成される.

図 1. 提案手法の概要図

## 3.1 要約用データセットの収集

BART の文章要約タスクのファインチューニングの ため, 要約前の文章と要約後の文章がぺアになった データセットを構築する必要がある. 本研究では, wikiHow[7]と livedoor[8]の 2 つのサイトから Web ス クレイピングによってデータセットを収集した.

wikiHow はアート・健康・趣味など様々な分野に関 するハウツーが記載されたサイトである。 ハウツー は「タイトル」「方法」「ステップ」から構成され,各見出し文を合わせたものを要約後の文章, その他 の文章を要約前の文章として Web スクレイピング を行い，データセットを構築した。

livedoor は政治, 経済, IT, スポーツなど様々なジ ヤンルのニュース記事を掲載するサイトである．記事ごとに「3 行要約ページ」と「記事詳細ページ」が 存在するため, それらを用いてデータセットを構築 した. ThreeLineSummaryDataset[9]を利用した文章要約データセットの取得により, 2013 年 1 月 2016 年 12 月までに公開された記事を取得した. また, 本研究ではより多くの学習データを収集するため, 2017 年 1 月 022 年 12 月までのデータセットについても ニュース ID を探索することで，新たなデータセッ トの構築を行った. 結果として, 以下の件数の要約 データセットを収集した。

- wikihow : 35,374 件

- livedoor2013 年 2016 年: 101,559 件

- livedoor2017 年 2022 年: 119,741 件

- 上記の全データ合計 : 256,674 件

## 3. 2 BART のファインチューニング

まず, 3.1 節で収集したデータセットの前処理とし て, 要約前の文字数が 1500 文字以内の条件でデータ
を抽出した。これは, 日本語版 BART の事前学習モ デルにおいて, token の長さが 1024 を超えるデータ は処理できないためである。次に，抽出後のデータ に対して, Juman++[10]による形態素解析とセンテン スピースモデル[11]を適用し，前処理済みデータを 作成した. 最後に, 前処理済みデータを train, test, validataion データにおよそ 8:1:1 の割合で分割し，フ アインチューニングを行った.

## 3.3 自動要約結果とモデルの定量的評価

3.2 節のファインチューニング済みモデルを用い て, 自動要約を行った. 表 1 に例として, livedoor のニュース記事の文章を日本語 BARTによる自動要約した結果と livedoor $の 3$ 行要約ページの正解の 要約文を示す. 要約前の文章は, 約 1500 文字にな るため，文字数の都合上省略する。

表 1. 日本語版 BART 抽象型要約の要約例

 &  \\

表 1 より, 抽象型要約で違和感のない文章が生成 されていることが分かる.

次に，ファインチューニング済みモデルの評価のた め，ファインチューニングに用いなかったテスト用 の 108 のデータセットを用いて定量的評価を行っ た. 評価では, 自動要約によって生成した文章と正解の要約文を比較することで定量的なスコアを算出 する. 本研究では, 評価手法として, 以下の 4 種類 を用いた。

- BERTScore : 事前学習された BERT から得られ るべクトル表現を利用して，文書間の類似度 を計算する。

- BLUE : 生成した要約の N-gram 中のどれだけが 正解とする要約に登場するかを計算する。

- ROUGE-N : 2 つの文書館の N-gram 単位での一致度を評価する。

- ROUGE-BE : 文法的な要素間の係り受けを考慮し評価する。

## 3.4 ファインチューニング条件の探索

3.2 節で行ったファインチューニングにおいて, 3.3 節の定量的評価が最もよくなるような条件を探索した。条件は以下の 5 つである.

- 事前学習 BART モデル : base, large

- ファインチューニング学習回数 : $3,5,10$ epoch

- 使用データセット : wikiHow, Libedoor, 両方

- 文字数 : $300 \sim 1000,0 \sim 1500,300 \sim 1500$ 文字

- 文字数圧縮率 : $10 \sim 30,5 \sim 50 \%$
表 2. 日本語版 BART 要約タスクのファインチューニングの条件と定量的評価スコア

} & \multirow{2}{*}{} & \multirow{2}{*}{} & \multirow{2}{*}{} & \multicolumn{2}{|c|}{} & \multicolumn{8}{|c|}{ スコア } \\

表 3. 各自動要約モデルの定量的評価スコア

ここで, 文字数圧縮率は, 3.1 節で取得したデータセ ットから以下の式(1)により計算した。

$
\text { 文字数圧縮率 }=\frac{\text { 要約後文字数 }}{\text { 要約前文字数 }} \times 100
$

上記の 5 つの条件を変化させることで最適なファ インチューニング条件を探索した．探索したファイ ンチューニング条件と定量的評価の結果の一部を表 2 に示す. 表 2 より, wikiHow と livedoor を合わせ たデータセットを要約前文字数 300 1500 文字, 文字数圧縮率 5 50\%で抽出し, BART large モデルで 5epoch 学習したときに最もスコアが高くなること が分かる.

## 4 他手法との比較

## 4.1 比較要約モデルの概要

4 節では, 3.4 節において最もスコアの高い条件 でファインチューニングした BART モデルと他の自動要約手法との比較を行う. 比較の評価指標として, 3.3 節における 4 種類の定量的評価とアンケート調查による定性的評価の 2 通り行った. 比較する要約手法は, 抽象型要約と抽出型要約のそれぞれについ て検証した。他手法の抽象型要約モデルとして, 本研究では, 日本語の事前学習済みモデルが公開され ている T5[12]との比較を行った．T5 はテキストを 入力されるとテキストを出力するという統一的枠組 みで様々な自然言語処理タスクを解く深層学習モデ ルである.また,他手法の抽出型要約モデルとして， LexRank[13] と AutoAbstractor [14] と比較を行った. LexRank は文章からグラフ構造を作り出して重要な文のランキングを作ることで要約する手法である.各文章を TF-IDF を用いて特徴べクトルとして表現 し、コサイン類似度を用いて文章間の類似度を計算 し, 多くの文章と類似度が高い場合、その文章は重要であると判断し，上位 3 文を抽出する. AutoAbstractor は, NLP ベースの要約手法で，入力文書全体の単語の出現頻度から文の重要度を計算す る手法である。 SimilarityFilter 機能を用いて，文章内にある文字列に対し類似性の尺度を使って計算して長な文章を削除したのち, 重要度の高い文を 要約として，上位 3 文を出力した。

## 4. 2 定量的評価

表 3 に 4 種類の自動要約モデルの定量的評価スコ アの結果を示す. T5 > BART $>$ AutoAbstractor > LexRank の順によいスコアとなった。また, 抽象型要約の方が抽出型要約よりも良い結果となった．T5 が最もスコアがよい理由として, T5 の事前学習済み モデルは, Wikipedia の日本語ダンプデータ，OSCAR の日本語コーパス, CC-100 の日本語コーパス合わせ て約 100GB を用いているのに対して，日本語版 BART は約 1800 万分の日本語 Wikipedia の約 3GB を用い た事前学習済みモデルであるため，事前学習済みモ デルの大きさが影響した可能性が高い.

## 4. 3 定性的評価

金融文書を取得するため SharedResearch[15]から 約 1000 1500 字の 3つのアナリストレポートを引用し, BART, T5, AutoAbstractor の 3 つの手法に 対して自動要約を実行した。
次に, 生成された要約文に対して以下の 5 点の定性的評価項目を元にアンケートを作成した.

- 可読性 : 非文法的な繋がりが生じていないか.

- 了解性 : 意味をなさない文となっていないか.

- 忠実性 : 原文とは違う解釈の余地が生じていな いか.

- 十分性：原文に含まれていた別の命題内容や、主題・陳述内容が欠落していないか.

- 非壳長性 : 要約文章に重複する内容がないか. アンケートにおいては, 回答者の答えやすさを考慮し, 可読性と了解性については, 「日本語が自然 かどらか」，忠実性と十分性と非冗長性について

は，「要約文として適切かどうか」という 2 つ項目について調查した。

以下の図 2 は, 「日本語が自然かどうか」につい て, 図 3 は「要約文として適切かどうか」について のアンケート調査結果の棒グラフである. アンケー トの回答者数は 19 人で，3つの手法それぞれで生成された要約文に対して, 日本語が自然だと思う順番に順番を付ける形式で 3 つのアナリストレポート （Q1，Q2，Q3）に対して行った. グラフは，1番目: 3 点, 2 番目: 2 点, 3 番目: 1 点として集計 した棒グラフである.

図 2. 定性的評価【文章の自然さ】棒グラフ

図 3. 定性的評価【文章の自然さ】棒グラフ図 2 より，抽象型要約の方が文章の自然さは高く なる傾向があることがわかる。これは，抽象型要約 のメリットである文章に違和感がなく, 読みやすい という特性と一致している。

図 3 より, 抽象型要約の方が文章の自然さは高く なる傾向があることがわかる。これは, 抽象型要約 のメリットである文章に違和感がなく, 読みやすい という特性と一致している.

## 5 投資家向け支援システムの概要

抽象型文書要約を利用した以下の初心者向け投資先選択支援システムの開発に取り組む.

(1)利用者データの登録・金融文書の要約

利用者は投資にまつわる関心分野などをシステムに 登録後，PDF ファイルや HTML 文書を入力するこ とで，文書に含まれる文章を自動で抽出し，その要約文を得ることができる。

(2)金融文書の収取・投資先のレコメンデーション TDnet などのオープンデータを活用し，金融文書を 収集し，企業ごとにトピックモデルなどを用いた分析を行う。その結果を(1)の利用者に対して提供し,利用者の嗜好や関心を考慮した投資先を提案する協調フィルタリング手法を開発する。

このシステムにより，投資家は企業の経営状況だ けでなく，より幅広い情報によって投資先を選定で きる.

## 6 まとめ

本研究の貢献は以下の 3 つである.

1. Web スクレイピングによる要約用大規模データ セットの収集を行った。

2. 収集したデータセットを様々な条件で抽出，フ アインチューニングすることで日本語版 BART モデ ルの要約タスクにおける精度を定量的に評価した。 3. 金融文書に対して 4 種類の自動要約手法の定量的評価と定性的評価による比較し，金融文書の抽象型要約による初心者向け投資先選択支援システムを 構築することでモデルの有用性を確認した。

今後の展望として, 抽出型要約と抽象型要約を組み 合わせたハイブリッド型の要約手法の提案や金融ド メインに特化したデータセットを用いたファインチ ューニングによる精度の比較を行いたい。また， 5 章の投資家向け意思決定支援システムの構築とシス テムの効果検証を行いたい。

## 参考文献

1. 平野 正徳, 坂地 泰紀, 松島 裕康, 和泉綤, “金融文書のための別タスク学習による教師なし重要文判定”，言語処理学会, pp.569-572,(2020).

2. Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, Luke Zettlemoyer: BART: Denoising Sequence-to-Sequence Pretraining for Natural Language Generation, Translation, and Comprehension, In Proc. of ACL, pp.7871-7880,(2020).

3. Devlin, Jacob, et al. "Bert: Pre-training of deep bidirectional transformers for language understanding.” arXiv preprint arXiv:1810.04805,(2018).

4. Brown, T., et al. Language models are few-shot learners.Advances in Neural Information Processing Systems, 33, pp.1877-1901,(2020).

5. Satoru Katsumata, Mamoru Komachi. “Stronger baselines for grammatical error correction using a pretrained encoder-decoder model” . Asia-Pacific Chapter of the Association for Computational Linguistics , pp.827-832,(2020).

6. 田中 佑, 村脇 有吾, 河原 大輔, 黒橋 禎夫, “日本語 Wikipedia の編集履歴に基づく入力誤りデータ セットと訂正システムの改良” , 言語処理学会論文誌, 28 巻 4 号, pp.995-1033,(2021) 7. wikiHow, “信頼できるハウツーマニュアル”， https://www.wikihow.jp/, 最終アクセス日 2022/9/28 8. livedoor, “ライブドアニュース”， https://news.livedoor.com/，最終閲覧日 2022/10/22 9. ThreeLineSummaryDataset, 3 行要約データセット, https://github.com/KodairaTomonori/ThreeLineSummar yDataset，最終閲覧日 2022/10/22

10. Hajime Morita, Daisuke Kawahara, and Sadao Kurohashi. Morphological analysis for unsegmented languages using recurrent neural network language model. In Proc. of EMNLP, pp. 2292 - 2297.Association for Computational Linguistics,(2015).

11. Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Proc. of EMNLP, pp. 66-71. Association for Computational Linguistics, (2018).
12. Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. Journal of Machine Learning Research, Vol. 21, No. 140, pp. 1-67, (2020).

13. Gunes Erkan, Dragomir R. Radev . LexRank: Graphbased Lexical Centrality as Salience in Text Summarization " J. Artif. Int. Res., vol. 22, no. 1, pp. 457-479, (2004).

14. 自動要約ライブラリ pysummarization, ,

https://code.accel-brain.com/Automatic-Summarization/ ,最終閲覧日: 2022 年 1 月 2 日

15. SharedResearch, https://sharedresearch.jp/ja, 最終閲覧日: 2022 年 1 月 2 日


# A resource of sentence analogies on the level form extracted from corpora in various languages

Rashel Fam Yves Lepage
早稲田大学大学院 情報生産システム研究科
fam.rashel@fuji.waseda.jp yves.lepage@waseda.jp
}

\begin{abstract}
Word analogy datasets are commonly used to assess the quality of word embeddings. As the NLP tasks are going more and more towards sentences and beyond, vector representation of these units is becoming more and more vital to the performance of the system. However, there are not so many datasets available for sentence analogy. In this paper, we release a resource of analogies between sentences extracted from two corpora: Tatoeba and Multi30K. The analogies are extracted in various European languages.
\end{abstract
## 1 Introduction

I like coffee : I like tea :: I like hot coffee : I like hot tea $\Leftrightarrow$

I like hot coffee : I like hot tea :: I like coffee : I like tea $\Leftrightarrow$

I like coffee : I like hot coffee :: I like tea : I like hot tea

Figure 1 Examples of analogy on sentences with their equivalent analogies derived from properties of analogy mentioned in Section 1: symmetry of conformity and exchange of the means.

Analogy is a relationship between four objects: $A, B$, $C$ and $D$ where $A$ is to $B$ as $C$ is to $D$. It is noted as $A: B:: C: D$. As our work relates to strings, $A, B, C$ and $D$ are all strings (sequence of characters). This notation means that the ratio between $A$ and $B$ is similar to the ratio of $C$ and $D$. In another way, an analogy is a conformity of ratios between the four strings, as shown in Formula (1). Figure 1 gives examples of analogy between sentences.

$
A: B:: C: D \stackrel{\Delta}{\Longleftrightarrow}\left.\{\begin{array}{l}
A: B=C: D \\
A: C=B: D
\end{array}\right.
$

In this paper, we adopt the definition of formal analogies between strings of symbols as found in $[1,2,3]$.

## 2 Number of analogies in a text and analogical density

We address the theoretical problem of counting the total number of analogies in a given text. The following section will introduce two main metrics used in this work.

## 2.1 Analogical density

The analogical density $\left(D_{n l g}\right)$ of a corpus is defined as the ratio of the total number of analogies contained in the corpus $\left(N_{n l g}\right)$ against the total number of permutations of four objects that can be constructed by the number of sentences $\left(N_{s}\right)$.

$
D_{n l g}=\frac{N_{n l g}}{\frac{1}{8} \times N_{s}^{4}}=8 \times \frac{N_{n l g}}{N_{s}^{4}}
$

The factor $1 / 8$ in the denominator comes from the fact that there exist 8 equivalent forms of an analogy due to two main properties of analogy:
- symmetry of conformity: $A: B:: C: D \Leftrightarrow C: D::$ $A: B$, and
- exchange of the means: $A: B:: C: D \Leftrightarrow A: C::$ $B: D$.

## 2.2 Proportion of sentences appearing in analogy

We count the number of sentences appearing in at least one analogy $\left(N_{s \_n l g}\right)$ and take the ratio with the total number of sentences in the corpus $\left(N_{s}\right)$ to get the proportion of sentences appearing in at least one analogy $(P)$.

$
P=\frac{N_{s \_n l g}}{N_{S}}
$

## 3 Original corpora

We consider two corpora to use in this work, Tatoeba and Multi30K. These two corpora are available on the web and
already heavily used by the natural language processing community.
- Tatoeba ${ }^{1)}:$ is a collection of sentences that are translations provided through collaborative works online (crowd-sourcing). It covers hundreds of languages. However, the amount of data between languages is not balanced because it also depends on the number of members who are native speakers of that language. Sentences contained in Tatoeba corpus are usually short. These sentences are mostly about daily life conversations.
- Multi30K ${ }^{2)}[4,5,6]$ : is a collection of image descriptions (captions) provided in several languages. This dataset is mainly used for multilingual image description and multimodal machine translation tasks. It is an extension of Flickr30K [7] and more data is added from time to time, for example, $\mathrm{COCO}$ datase $^{3}$ ).

Table 1 provides the statistics on Tatoeba and Multi30K. As an overview, Multi30K has two times number of tokens in a sentence in comparison to Tatoeba, These two corpora can be characterised based on the diversity of the context of the sentence it contains. Multi30K is a corpus with diverse contexts. In comparison to that, sentences contained in Tatoebaare less diverse. Tatoeba is mostly about daily life conversation. We expect that corpus with less diversity of context will share words between sentences more often. Thus, it will have more analogies and higher analogical density.

Let us now compare the statistics between languages. English has the lowest number of types. Finnish, Polish and Czech always have the highest number of types for around two times higher than English across the corpora. We can observe that language with poor morphology has fewer of types and hapaxes. On the contrary, languages with high morphological richness have less number of tokens due to richer vocabulary. These languages also tend to have longer words (in characters). One can easily understand that with richer morphological features we will have a higher vocabulary size. The consequence of this is that the words will be longer. We also observe that a higher number of types means lesser words to repeat (higher Type-Token-Ratio). Thus, the number of tokens

will be lower.

However, we also see that there are some interesting exceptions. In this case, French and German. French has a higher number of tokens than English despite having a higher vocabulary size. The high number variety of function words (propositions, articles, etc.) in French is probably one of the explanations of this phenomenon. As for German, it has a pretty high average length of type in comparison to other languages. This is maybe caused by words in German are originally already longer. German is known to glue several words as a compound word.

## 4 Newly created sentence analogy dataset

## 4.1 Extraction of analogies

To extract analogies from a corpus, we rely on an already existing tool described in [8]. It relies on the equality of ratios as the definition of analogy.

Each sentence in the corpus is represented as a vector shown in Formula (4). We use the notation $|S|_{c}$ which stands for the number of occurrences of token $c$ in string $S$. The number of dimensions of the vector is the size of the alphabet or the vocabulary, depends on the tokenisation scheme (See Section 4.2).

$
A \triangleq\left(\begin{array}{c}
|A|_{t_{1}} \\
|A|_{t_{2}} \\
\vdots \\
|A|_{t_{N}}
\end{array}\right)
$

The conformity between ratios of strings is defined as the equivalent between the two vectors of ratios. See Formula (5).

$
A: B:: C: D \quad \stackrel{\Delta}{\Longleftrightarrow}\left.\{\begin{array}{l}
A: B=C: D \\
A: C=B: D
\end{array}\right.
$

Pairs of strings representing the same ratio can be grouped as an analogical cluster. Please refer to Formula (6). Notice that the order of string pairs has no importance.

$
\begin{array}{ccc}
A_{1}: B_{1} & & \\
A_{2}: B_{2} \\
\vdots & \stackrel{\Delta}{\Longleftrightarrow} & \forall(i, j) \in\{1, \ldots, n\}^{2}, \\
A_{i}: B_{i}:: A_{j}: B_{j}
\end{array}
$

Table 1 Statistics on Tatoeba and Multi30K.

Table 2 Example sentences (lowercased and tokenised) randomly chosen from corpora used in the experiment. Sentences contained in the same corpus are translations of each other in the other languages.

## Example sentences

 &  \\

## 4.2 Tokenisation schemes

The sentence is tokenised using different tokenisation schemes: character, sub-word and word. For sub-word ${ }^{4)}$, we use two popular sub-word models: unigram language model (unigram) [9] and byte-pair-encoding (BPE) [10].

4) github.com/google/sentencepiece
The delimiter used to separate tokens is the space. Underscores denote spaces in the original sentence. The vocabulary size used here for unigram and BPE is 1,000 (1k).

## 4.3 Statistics on the newly created dataset

Each of the corpora is tokenised using four different tokenisation schemes: character, BPE. unigram and word. On top of that, we performed masking with both methods: the least frequent and most frequent. Ablation experiments are carried out on all corpora in six languages depending on the language availability of the corpus.

In this paper, we decided to carry out the experiment on both Tatoeba and Multi30K as these corpora have a different range on both formal and semantic levels. On the formal level, sentences in Tatoeba are short and similar to one another. Multi30K contains more diverse and longer sentences. On the level of semantics, as mentioned in Section 3, Tatoeba contains sentences that focus on the theme of daily conversation. Multi30K, which contains image captions, has a wider range of topics.

Figure 2 (top-left) shows the number of analogical clusters extracted from the corpora with various tokenisations in English. Tatoeba has the highest number of clusters. This meets our hypothesis. It is also reflected in the num-

Tokenisation

Tokenisation

Figure 2 Number of clusters (top-left) and analogies (top-right) extracted from the corpora in English. Below that, Analogical density (bottom-left) and the proportion of sentences appear in analogy (bottom-right) for the corpora in English. Please notice the logarithmic scale on the ordinate for analogical density ( nano (n): $10^{-9}$, pico (p): $10^{-12}$, femto (f): $10^{-15}$. ). The tokenisation schemes on the abscissae are sorted according to the average length of tokens in ascending order.

ber of analogies (top-right). Tatoeba has about 10 times more analogies than Multi30K.

Figure 2 (bottom-left) shows the results on the analogical density of the corpora with various tokenisations. We can immediately observe that Tatoeba corpus steadily has the highest analogical density in comparison to the other corpora. The difference is also pretty far. For example, the gap is around $10^{3}$ between Tatoeba and Multi30K, even more than $10^{5}$ for Europarl. This shows that Tatoeba corpus is really denser than the other corpora despite having the smallest number of sentences. Remember, we have different numbers of sentences between corpora.

Although it is not visible from the graph, we observed that the density slightly gets lower from tokenisation in character towards words. For subword tokenisation, we found that unigram consistently has higher analogical density than BPE on the same vocabulary size. This is probably caused by the unigram having a shorter token length which allows a higher degree of freedom in commutation between tokens.

Similar trends can also be observed in the proportion of analogical sentences. Tatoeba is ten times higher than Multi30K which proves our hypothesis that a corpus which contains similar sentences will have a higher proportion of analogical sentences. As for the tokenisation scheme, we also found that the proportion decreases toward word tokenisation.

## 5 Conclusion

We produced a resource of analogies between sentences extracted from two different corpora, Tatoeba and Multi30K. Both corpora have different characteristics, the one contains mostly daily life conversations, and the other contains a collection of image captions. We also performed experiments in measuring the analogical density of various corpora in various languages using different tokenisation schemes. Corpora with a higher Type-Token-Ratio tend to have higher analogical densities. We naturally found that the analogical density goes down from character to word. We hope the release of such a resource will allow a better way to evaluate the quality of sentence embeddings.

## Acknowledgment

This work was supported by a JSPS grant, number 18K11447 (Kakenhi Kiban C), entitled "Self-explainable and fast-to-train example-based machine translation".

## References

[1] Yves Lepage. Solving analogies on words: an algorithm. In Proceedings of the 17th international conference on Computational linguistics (COLING 1998), Vol. 1, pp. 728734. Association for Computational Linguistics, 1998.

[2] Nicolas Stroppa and François Yvon. An analogical learner for morphological analysis. In Proceedings of the Ninth Conference on Computational Natural Language Learning (CoNLL-2005), pp. 120-127, Ann Arbor, Michigan, June 2005. Association for Computational Linguistics.

[3] Philippe Langlais and François Yvon. Scaling up analogical learning. In Coling 2008: Companion volume: Posters, pp. 51-54, Manchester, UK, August 2008. Coling 2008 Organizing Committee.

[4] Desmond Elliott, Stella Frank, Khalil Sima'an, and Lucia Specia. Multi30K: Multilingual English-German Image Descriptions. In Proceedings of the 5th Workshop on Vision and Language, pp. 70-74. Association for Computational Linguistics, 2016.

[5] Desmond Elliott, Stella Frank, Loïc Barrault, Fethi Bougares, and Lucia Specia. Findings of the Second Shared Task on Multimodal Machine Translation and Multilingual Image Description. In Proceedings of the Second Conference on Machine Translation, Volume 2: Shared Task Papers, pp. 215-233, Copenhagen, Denmark, September 2017. Association for Computational Linguistics.

[6] Loïc Barrault, Fethi Bougares, Lucia Specia, Chiraag Lala, Desmond Elliott, and Stella Frank. Findings of the third shared task on multimodal machine translation. In Proceedings of the Third Conference on Machine Translation: Shared Task Papers, pp. 304-323, 2018.

[7] Peter Young, Alice Lai, Micah Hodosh, and Julia Hockenmaier. From image descriptions to visual denotations: New similarity metrics for semantic inference over event descriptions. Transactions of the Association for Computational Linguistics, Vol. 2, pp. 67-78, 2014.

[8] Rashel Fam and Yves Lepage. Tools for the production of analogical grids and a resource of n-gram analogical grids in 11 languages. In Proceedings of the 11th edition of the Language Resources and Evaluation Conference (LREC18), pp. 1060-1066, Miyazaki, Japan, May 2018. ELRA.

[9] Taku Kudo. Subword regularization: Improving neural network translation models with multiple subword candidates. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 66-75, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[10] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In Proceedings of the 54th Annual Meeting of the Asso- ciation for Computational Linguistics (Volume 1: Long Papers), pp. 1715-1725, Berlin, Germany, August 2016. Association for Computational Linguistics.