# A Framework for Low Resource Language Translation based on SMT and Highly Accurate Word Alignment

Jingyi Zhu ${ }^{1}$ Yizhen Wei ${ }^{1} \quad$ Takuya Tamura $^{1} \quad$ Takehito Utsuro $^{1}$ Masaaki Nagata $^{2}$
${ }^{1}$ Deg. Prog. Sys.\&Inf. Eng., Grad. Sch. Sci.\&Tech., University of Tsukuba
 }^{2}$ NTT Communication Science Laboratories, NTT Corporation, Japan

\begin{abstract}
In this paper, we present a framework using SMT and highly accurate word alignment for low resource language translation. We align words in a parallel sentence pair using SpanAlign, a highly accurate word aligner based on crosslanguage span prediction. Then, we build bilingual phrase tables based on the alignments. For the SMT input, we use both normal-order sentences and pre-ordered sentences. The pre-ordering process is through an order-transform neural network called Pointer Network. The results on the Asian Language Treebank datasets show that the proposed SMT based on high precision alignment outperforms an NMT based on the Transformer in a simulated low resource translation setting using 20,000 parallel sentence pairs.
\end{abstract
## 1 Introduction

Despite Neural Machine Translation(NMT) having achieved a state of the art performance in recent years, it is known as data-driven [1]. To overcome the challenge that exists in small-scale translation or low resource translation tasks, serval researches focus on the approaches such as pre-training with large scale corpus and fine-tuning with small-scale corpus [2], or map the monolingual vector embeddings into a common cross-lingual embedding space [3] [4]. However, these effective methods need a lot of computation [2] or large-sized parallel corpus.

In this paper, we propose a framework based on SMT and highly accurate word alignment to explore the feasibility of low resource language translation. Specifically, the framework does not need a sequence-to-sequence NMT model but uses phrase-by-phrase translation instead. Since we focus on the limitation of the low resource language corpus, we use the Asian Language Treebank corpus, which contains 20,000 parallel sentences as the base corpus. We do the experiments between the directions of the Japanese-
English pair and the Japanese-Chinese pair. We experimentally show that our proposed framework outperforms an NMT based on the Transformer.

## 2 Related Work

Although pre-ordering has often been used in SMTrelated works, some research has recently applied preordering to NMT. Kawara et al. [5] discussed the influence of word order on the NMT model, and concludes that it is important to keep the consistency between the input source word order and the output target word order, to improve the translation accuracy. Murthy et al. [6] proposed a transfer learning approach for NMT, which trains an NMT model on an assisting language-target language pair, improves the translation quality in extremely lowresource scenarios. Nevertheless, those methods both rely on the neural network translation model or separately pretraining a translation model by a large-scale corpus. In contrast, our proposed framework has no neural translation component and we focus on the translation task limited by a small-scale corpus.

## 3 The Framework based on SMT and Word Alignment

This section mainly demonstrates the whole process of the proposed framework, as shown in Figure 1.

First, We fine-tune multilingual BERT using the manually made word alignment data, then we use the word alignment model to align words in the training sentences. The word alignment data is used to train the Moses model, consisting of the phrase table and language model. At last, the original order test data or preordered test data is translated phrase-by-phrase. On the other hand, Figure 1(b) shows the procedure to create pre-ordered test data. The word alignment of the training corpus is also used to train the Pointer Network. Then the trained Pointer Network transforms the original order test data into pre-ordered test
data.

## 3.1 Word Alignment by SpanAlign

SpanAlign [7] is a multilingual BERT [8] based alignment method, which formalizes a word alignment problem as a collection of independent predictions from a token in the source sentence to a span in the target sentence. Because our method relies on high precision alignments to make bilingual phrase tables, and training data for Pointer Network, we apply SpanAlign to extract the alignments from the parallel corpus.

## 3.2 Pre-ordering by Pointer Network

The pre-ordering process transforms the orders of the tokens in a source sentence to those of the tokens in its target sentence before translation is performed. Figure 2 shows an example for transferring Japanese sentence.

The original Pointer Network is an LSTM [9] based neural network, which aims at solving graph theory problems such as the Traveling salesman problem and Convex Hull. An encoding RNN converts the input sequence to a code (blue) that is fed to the generating network (purple) [10]. At each step, the generating network produces a vector that modulates a content-based attention mechanism over inputs. The output of the attention mechanism is a softmax distribution with a dictionary size equal to the length of the input.

Inspired by this, we apply Pointer Network to word order rearrangement like Figure 3. Specifically, we replace the input of Pointer Network with a sequence of the token instead, and then add an embedding layer to represent words with vectors. At decoding time, the decoder predict next pointer probability $p\left(C_{i} \mid C_{1}, \ldots, C_{i-1}, P\right)$ rely on inputs and predicted outputs :

$
\begin{array}{r}
u_{j}^{i}=v^{T} \tanh \left(W_{1} e_{j}+W_{2} d_{i}\right) \quad j \in(1, \ldots, n) \\
p\left(C_{i} \mid C_{1}, \ldots, C_{i-1}, P\right)=\operatorname{softmax}\left(u^{i}\right)
\end{array}
$

where softmax normalizes the vector $u^{i}$ (of length $n$ ) to be an output distribution of inputs. $P$ is the input sentence, and $C_{i}$ is the token of output sentence. $u^{i}$ is the vector. Parameters $v, W_{1}, W_{2}$ are learnable parameters of the output model, and $e_{j}, d_{i}$ represents for the encoder state and decoder state, respectively.

## 3.3 Bilingual Phrase Table based Phrase-byPhrase Translation

Bilingual phrase tables are lists of terms (words or phrases) in one language associated with their translations in a second language. Therefore, Phrase-by-Phrase translation is a process that, for each token in the source sentence, retrieve and output the most appropriate target tokens in the built-up phrase table. In our proposed framework, we replace the GIZA++ ${ }^{1)}$ which is contained in Moses with SpanAlign, to evaluate whether the improvement of alignment accuracy has an impact on the statistical machine translation.

## 4 Experiments

## 4.1 Dataset

We use the ALT (Asian Language Treebank)2) as our main experiment corpus. Here we use English-Japanese and Chinese-Japanese, about $20 \mathrm{~K}$ sentence pairs for each language pair. Parallel data are divided into the training data (18K) and the test data (1K). We use Japanese-English and Chinese-Japanese corpus because the word-order divergence of the two languages is very large and manually made word alignment data is available. We use MeCab ${ }^{3}$ ) and Jieba ${ }^{4)}$ to tokenize Japanese and Chinese sentences into tokens, respectively. The English side is tokenized by tokenizer.perl in the Mosesdecoder.

## 4.1.1 SpanAlign Settings and Fine-tuning

We use the ALT Japanese-English dev data of about 1,000 sentences of word alignment data to fine-tune SpanAlign for Japanese-English. For Chinese-Japanese, we use about 3,000 sentences of word alignment data created by NTT to fine-tune SpanAlign. We follow the parameter as default, while the training batch size is set to 8 and the training epoch is 10 . The average extraction threshold in bidirectional sides is 0.4 .

## 4.1.2 Pointer Network Settings and Training

Training data for the Pointer network are the training data of original order sentences and pre-ordered sentences made by the alignments generated by SpanAlign. We use a

(a)

(b)

Figure 1 Our proposed Framework: (a) is the flow chart, which accepts the normal order sentence or preordered sentence as translation input, (b) is using Pointer Network to do the preordering.

Figure 2 Transform the word order of the source Japanese language to the target English language

Figure 3 Architecture of Pointer Network (the modified Pointer Network accepts the original order sequence as input, and outputs the pre-ordered sequence). 2-layer bidirectional LSTM, with a hidden state of 512 and an embedding state of 128 . And we set the training batch size to 16 , the learning rate to $3 \mathrm{e}-4$, the training epoch is 10 , max sequence length to 120 . After training, the weighted Pointer Network is used to do the pre-ordering operation for test data sentences. We exploit RIBES [11], an efficient measure for automatically evaluating machine translation qualities based on the order of words, to evaluate the performance of the Pointer Network.

## 4.1.3 Phrase-by-Phrase Translation

We use Moses ${ }^{5)}$ to make the phrase table, and the maximum length of each phrase is set to 3 . The difference between our framework and previous pre-ordering of SMT is that we use the original order data pairs to make the phrase table, and we only apply preordering to the test data. We use a trigram LM (Language Model), which is learned by target side sentences contained in the training-part corpus, to ensure the fluency of the output language. For the Japanese to English direction and Chinese to Japanese direction, we compare the translation results between alignments from SpanAlign and Awesome-align [12], which is also based on a pre-trained multilingual language model but does not require manually made word alignment data.

## 4.2 Results

## 4.2.1 Pointer Network Performance

Because there is no ALT Chinese-Japanese manual alignment data exist for evaluation, we only use Japanese

5) https://www.statmt.org/moses/

Table 1 BLEU score between baseline and proposed approach.

and English data to verify the performance of the Pointer Network. Table 2 shows the F1 score between SpanAlign and Awesome-align, demonstrating the high alignment accuracy. Table 3 shows the result of the score of the preordered test data for transferring Japanese order into English order verified by RIBES. Here, we see ALT Japenese manual alignment data as the reference. From the results, Pointer Network trained with tokens extracted from SpanAlign is nearly the same as that of manual alignment. Thus, it can be considered that Pointer Network successfully learned certain language order features which are effective for the pre-ordering task.

Table 2 F1 score of SpanAlign and Awesome-align

Table 3 RIBES result of Pointer Network trained by each approach, of transferring Japanese order into English order

## 4.2.2 Translation accuracy

As a criterion to verify the translation accuracy, we use the BLEU [13] score. And we select Transformer [1] as our baseline. Table 1 shows the accuracy of our proposed method and the accuracy of the baseline. The results show that the proposed method exceeds the NMT model in ev- ery setting. Note that we did not use mert to fine-tune any weight of the translation model and language model. However, for the direction of Japanese, better results were obtained using the original order language as input.

We also tried making the phrase table after reordering the training data, however, the BLEU score is lower than that made by original order data.

## 5 Conclusion and Future Work

In this paper, we proposed a framework for low resource translation without using the sequence-to-sequence neural translation model. We use the normal-order tokens and the pre-ordered tokens as input and translated phrase-byphrase. The results show that both methods exceed the baseline of NMT for high precision alignment. And as the accuracy of alignment extraction increases, the accuracy of translation also increases. In future work, we will continue our experiments with other language pairs, like southeast Asian languages.

## References

[1] A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit, L. Jones, A. Gomez, U. Kaiser, and I. Polosukhin. Attention is all you need. In NIPS, 2017.

[2] Y. Liu, J. Gu, N. Goyal, X. Li, S. Edunov, M. Ghazvininejad, M. Lewis, and L. Zettlemoyer. Multilingual denoising pre-training for neural machine translation. Transactions of the ACL, pp. 726-742, 2020.

[3] Z. Lin, X. Pan, M. Wang, X. Qiu, J. Feng, H. Zhou, and L. Li. Pre-training multilingual neural machine translation by leveraging alignment information. In proc. EMNLP, pp. 2649-2663, 2020.

[4] S. Sen, K. Gupta, A. Ekbal, and P. Bhattacharyya. Mul-
tilingual unsupervised NMT using shared encoder and language-specific decoders. In Proc. 57th ACL, pp. 30833089, 2019.

[5] Y. Kawara, C. Chu, and Y. Arase. Recursive neural network-based preordering for statistical machine translation and its analysis. Journal of Natural Language Processing, Vol. 26, No. 1, pp. 155-178, 2019.

[6] R. Murthy, A. Kunchukuttan, and P. Bhattacharyya. Addressing word-order divergence in multilingual neural machine translation for extremely low resource languages. In Proc. NAACL, pp. 3868-3873, 2019.

[7] M. Nagata, K. Chousa, and M. Nishino. A supervised word alignment method based on cross-language span prediction using multilingual BERT. In Proc. EMNLP, pp. 555-565, 2020

[8] J. Devlin, M. Chang, K. Lee, and K. Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proc. NAACL, pp. 4171-4186, 2019.

[9] S. Hochreiter and J. Schmidhuber. Long short-term memory. Neural Computation, Vol. 9, No. 8, p. 1735-1780, 1997.

[10] O. Vinyals, M. Fortunato, and N. Jaitly. Pointer networks. In NIPS, 2015.

[11] H. Isozaki, T. Hirao, K. Duh, K. Sudoh, and H. Tsukada. Automatic evaluation of translation quality for distant language pairs. In Proc. EMNLP, pp. 944-952, 2010.

[12] Z. Dou and G. Neubig. Word alignment by fine-tuning embeddings on parallel corpora. In proc. 16th EACL, pp. 2112-2128, 2021.

[13] K. Papineni, S. Roukos, T. Ward, and W. Zhu. Bleu: a method for automatic evaluation of machine translation. In Proc. 40th ACL, pp. 311-318, 2002.


# 入力側単言語資源と転移学習の利用による 講演字幕を対象とした英日ニューラル機械翻訳の改善

山岸勇輝秋葉友良 塚田元
豊橋技術科学大学
\{yamagishi.yuki.oj, akiba.tomoyoshi.tk, tsukada.hajime.hl\}@tut.jp

## 概要

本論文では、” Technology, Entertainment, Design (TED)”の講演データに対する英日機械翻訳の 性能向上のための取り組みとして、3つの手法の利用を提案する。第 1 に入力側単言語資源で事前学習 された BERT を機械翻訳に利用する手法、第 2 に事前学習モデルへ入力側単言語資源を利用し追加学習を行う手法、第 3 にドメイン外の大量の対訳コー パスを用いて転移学習を行う手法、を検討した。評価実験の結果、事前学習済みモデルを用いた翻訳モ デルと転移学習を組み合わせることで、Trasformer ベースのベースラインモデルから 4.12Point の大幅 な改善を達成した。

## 1 はじめに

近年では世界規模で開かれる講演会の数も増えて きており、このような場では広く英語を用いて講演 が行われる。そこで英語以外の母語のみを扱う人々 にとって講演データを他言語へ翻訳するということ が必要となる。

研究で広く用いられている字幕付き講演データに TED[1] があるが、実際に TED の講演データの翻訳 を行うと英日翻訳が他言語対に比べて大きく性能 が低いという問題がある。原因としては英日翻訳に は他言語対の翻訳に比べ文法・文構造の違いが大き く、少量の講演データでは NMT の学習に対して十分な量でないことが考えられる。

学習データである対訳コーパスを補うために、 Sennrich ら [2] は出力側単言語コーパスを逆翻訳し て疑似対訳コーパスを作成する手法を提案した。対訳コーパスと比べ単言語コーパスの取得は比較的容易であるため、データ拡張の手法として広く用いら れている。しかし本研究の対象である英日講演翻訳 では、出力側単言語コーパスである日本語講演デー
タは人手で翻訳され作成されているため学習データ 以外の入手が困難である。

本研究では、TED 英日翻訳を対象に、利用可能な 言語リソースを検討した上で、適用可能な手法を用 いて性能改善を試みた。第 1 に、入力側単言語資源 で学習された事前学習済みモデルを翻訳モデルに利用した。また事前学習済みモデルを適用した翻訳モ デルへ、入力側単言語資源を利用した追加学習とド メイン外の対訳コーパスを利用した転移学習を適用 した。

## 2 関連研究

## 2.1 BERT

BERT[3] は 2018 年に Google が発表した自然言語処理モデルである。モデルは双方向の Transformer をベースとしたエンコーダーで、あるトークン 列 (単語またはサブワード)を入力として、入力の 各トークンに対応する分散表現を出力する。事前学習に Masked Language Modeling(MLM) と Next Sentence Prediction(NSP)の2つのタスクを行ってい る。BERT は多くのタスクにおいて高い精度を記録していて、SQuAD や GLUE などの複数のベンチ マークタスクにおいて最先端の性能を達成してい る。現在は、BERT を拡張した RoBERTa[4] や軽量版の ALBERT[5] など様々なモデルが提案されてい る。

## 2.2 BERT を利用した機械翻訳

高橋ら [6] は NMT の入力言語側の単語分散表現 に BERT の出力を用いることで翻訳性能の改善を 達成している。BERT の出力を分散表現に用いるこ とで、従来の単語依存の分散表現ではなく、コンテ キストも考慮された分散表現となり、より文脈に 合わせた翻訳が行えるようになった。Zhu ら [7] は

Transformer のエンコーダ・デコーダにおいて BERT の出力への Attention を利用する BERT-fused NMT モ デルを提案し、翻訳性能が改善することを示した。 このモデルは IWSLT2014 の独英翻訳において最先端の性能を達成している。

## 2.3 転移学習

転移学習を利用した手法として、Firat ら [8] は大量のコーパスで学習した NMT モデルのパラメータ を目的となる少量のコーパスで学習したモデルに転送することによって、少量の対訳コーパスを持つ言語間の翻訳精度を大幅に改善した。

## 3 提案手法

本研究では学習データ以外の日本語講演データ の入手が難しい為、目的言語側の単言語コーパスを 用いる Sennrich らの手法は困難と考えた。学習デー タが不足している場合、データ拡張の手法以外に事前学習済みモデルを用いる手法も広く知られてい る。本研究は、事前学習済みモデルである BERTを 機械翻訳モデルに用いる。また利用可能なコーパス を検討し、英語側講演データとドメイン外の英日対訳コーパスが考えられた。この2つのコーパスを用 いて BERTへの追加学習と翻訳モデルへの転移学習 の手法を行う。

## 3.1 事前学習済みモデルの利用

事前学習済みモデルである BERTを機械翻訳モデ ルへ適用した 2 つのモデルを利用する。1つめに BERT 入力モデルとして高橋らが行った、BERT の 出力を NMT の単語分散表現として利用するモデル を用いる。2つめに Zhu らが提案する BERT-fused モ デルを採用する。

## 3.2 事前学習済みモデルへの追加学習

本研究で用いた BERT は、英語版 Wikipedia と BooksCorpus を用いて事前学習を行ったモデルであ る。これらのデータは様々なドメインを含むもので あるため、講演データを用いた BERTへの追加学習 を行うことで、より講演に適した翻訳が出来るよう になると考える。具体的には英語側講演データを用 いて MLM と NSP の2つのタスクを行う。

## 3.3 転移学習

この手法では翻訳のベースとなる英日対訳コー パスを持つ IWSLT とドメイン外の大量の英日対訳 コーパスを用いて行う。はじめにドメイン外対訳 コーパスで学習を行い英日翻訳モデルの構築を行 う。この時ボキャブラリは IWSLT のみから作成し たものを利用し学習を行う。このモデルを翻訳の ベースとなる IWSLT の開発セットを用いて評価を 行う。BLEU スコアにて評価し、最も高い値を示す モデルを転移学習の初期モデルとして選択する。 IWSLT で学習を行う際 NMT のモデルの初期モデル として選択したモデルを用いることで転移学習を行 い英日翻訳モデルの構築を行う。

## 4 実験

提案手法によって TED の英日講演字幕翻訳への 性能が改善されるかを調査する。

## 4.1 データセット

英日対訳コーパスの学習データとして TED の講演データである IWSLT2017を、転移学習のために ASPEC[9] とJESC[10]の3つのコーパスを利用する。 IWSLT2017 の開発データには $\operatorname{dev} 2010$ をテストデー タには tst2010を使用する。ASPECコーパスは科学技術論文抄録のコーパスで、文単位で様々な抄録 から対訳文を抽出した対訳コーパスである。JESC コーパスはインターネット上からクロールされた映画と TV 番組の字幕データで作成された対訳コーパ スである。

表 1 英日対訳コーパス

BERT への追加学習のための入力側単言語コー パスとして、学習に使用している IWSLT2017 の訓練データ、学習に使用していない IWSLT2012 か ら 2017 までの講演データ、JESC の訓練データ、 IWSLT2017 のテストデータの 4 つを利用する。TED の講演データは英語がオリジナルのデータである ため、過去に公開されているデータを利用すること が可能である。また、追加学習で用いるのは大力側

データとなるため、テストデータを直接追加学習に 利用することが可能である。

表 2 追加学習に利用する入力側単言語資源

## 4.2 実験設定

ベースラインは、RNN $に$ LSTM + Attention 機構 のモデルと Transformer のモデルの 2 つを用いた。翻訳の単位は両モデル共に単語単位での翻訳を行 う。レイヤー数は RNN が 2 層、Transformer が 6 層 で隠れ層の次元数は RNN が 768、Transformer が 512 となっている。Optimizer は両モデル共に Adam を使用しドロップアウトも共に 0.3 となっている。学習済みの BERT は Google が公開している BERT-Base モデル [3] を利用した。 12 層の Transformer で構築 され、隠れ層の次元数は 768 となっている。

## 4.3 実験結果

## 4.3.1事前学習済みモデルの利用

事前学習済みモデルを利用した BERT 入力モデル と BERT-fused モデルの性能を調査する。BERT 入力 モデルの NMT は LSTM を使用した為、ベースライ ン (RNN) からの性能を比較、BERT-fused モデルで は NMT は Transformer を使用する為、ベースライン (Transformer) との比較を行う。

表

事前学習済みモデルを利用したモデルは共にベー スラインモデルからの改善が確認できた。BERT 入力モデルでは、RNN から 2.18Point の改善が見られ た。また BERT-fused モデルでは、Transformer から 1.90Point の改善が見られた。2つのモデルを比較す ると NMT に Transformer を利用する BERT-fused モ デルがより高い性能を示した。

## 4.3.2 事前学習済みモデルへの追加学習

BERT-fused モデルにおける BERTへの追加学習 の効果を調べた。 3 種類のコーパスを用いて、追加学習を行い 4 つの翻訳モデルを構築した。元の BERT-fused モデルと比較した。

## Bf+trainIWSLT

BERT-fused モデルの BERTへ学習データである IWSLT2017 の英語側訓練データを用いて追加学習を 行ったモデル

## Bf+otherIWSLT

学習データを含まない IWSLT の英語側講演データ を用いて追加学習を行ったモデル

## Bf+trainJESC

追加学習に用いる IWSLT のデータは数十万文の少量のデータのため、ドメイン外ではあるが講演に近 く大量のデータを持つ JESC の訓練データを用いて 追加学習を行ったモデル

## Bf+testIWSLT

追加学習は入力側データのみで行えることから、目的としている IWSLT2017 のテストデータを直接用 いて追加学習を行ったモデル

表 4 追加学習の性能の比較 (BLEU)

BERT へ追加学習を行った 4 つのモデル全てで、追加学習を行っていない元の BERT-fused モデルか らの改善は見られなかった。原因として講演データ を用いることでより特定のドメインに BERT を強化 できると考えたが、本来 BERT が持つ汎化性能が低下し翻訳性能の低下に繋がったと考える。

## 4.3.3 転移学習

BERT-fused における転移学習の効果を調べた。転移学習には ASPEC とJESC の 2 つのドメイン外対訳 コーパスを用いて 5 つの翻訳モデルを構築した。元 の BERT-fused モデルと比較した。

Bf+transASPEC

ASPEC を用いて BERT-fused モデルに転移学習を
行ったモデル

## Bf+transJESC

JESC を用いて BERT-fused モデルに転移学習を行っ たモデル

## Bf+transASPEC/JESC

ASPEC と JESC を結合したコーパスを用いて BERTfused モデルに転移学習を行ったモデル

## Bf+transJESC'

JESC の 2 文を 1 文に連結したコーパス $\mathrm{JESC}^{2}$ をを用 いて BERT-fused モデルに転移学習を行ったモデル

## Bf+transASPEC/JESC'

ASPEC と JESC'を結合したコーパスを用いて BERT-fused モデルに転移学習を行ったモデル

表 5 転移学習の性能の比較 (BLEU)

転移学習の手法では ASPEC と JESC の 2 つのコー パスで共に改善が見られ、ASPEC を用いた場合が より大きな改善が見られた。科学技術論文の抄録で ある ASPEC に比べ字幕データである JESC は TED の講演データに近いドメインを持つが、ASPEC よ り大きな改善が見られなかった為、各コーパスの 特徴を調査した。各コーパスでの平均文長を調べ ると JESC は IWSLT2017と ASPEC に比べ半分以下 の文長であることが分かった。そこで JESC の 2 文 を 1 文に連結処理した JESC' を作成し転移学習を 行った。

表 6 各コーパスの平均文長

JESC’を転移学習に用いたモデルは ASPEC のみ を用いる場合よりも高い性能を示した。文長をよ り、IWSLT2017 の学習データに近いものとしたた め、性能の改善に繋がったのではないかと考える。
ASPEC と JESC'を混ぜたデータを用いる転移学習 では更なる性能改善は見られなかった。

表 7 はベースラインである Transformer と最も良 い性能を示した Bf+transJESC'の翻訳例である。 Bf+transJESC' は Transformer で翻訳出来ていなかっ た入力文の単語を正しく翻訳出来るようになってい ることが分かる。

表 7 翻訳の改善例

## 5 おわりに

本研究では TED の講演データである IWSLT2017 を用いた英日翻訳性能の改善を目的に、入力側単言語資源で学習された事前学習済みモデルと入力側 である英語データによる事前学習済みモデルへの 追加学習、また大量のドメイン外の英日対訳コーパ スを利用した転移学習の手法を行った。BERT を用 いた翻訳モデルは既存の RNN、Transformer ベース のモデルからより性能が向上することが確認でき た。BERT-fused モデルにおける BERT への追加学習 は性能の改善は確認できなかった。BERT-fused に おける転移学習の効果は大きく、講演データに近 いドメインを含む JESC コーパスを連結処理し用い た転移学習は最も良い性能が確認できた。最終的 にベースラインである Transformer の BLEU スコア 10.58 から 4.12Point の大幅な改善を達成し 14.70 ま で向上が見られた。提案法で得られた BLEU スコア 14.70 は、IWSLT2018 で報告されているべストスコ ア 10.88[11] と比べてもかなり高いものとなってい る。今後の課題としては、追加学習に用いた入力側単言語資源を疑似的な対訳コーパス作成のために利用しデータ拡張の手法を試みる事や、現在提案され ている様々な BERT モデルを用いることなどが考え られる。

## 謝辞

本研究は JSPS 科研費 19K11980 および $18 \mathrm{H} 01062$

の助成を受けた

## 参考文献

[1] M. Cettolo, M. Federico, L. Bentivogli, J. Niehues, S. Stuker, K. Sudoh, K. Yoshino, and C. Federmann, "Overview of the IWSLT 2017 Evaluation Campaign", In Proceedings of the 14th International Workshop on Spoken Language Translation (IWSLT), 2017.

[2] R. Sennrich, B. Haddow, and A. Birch."Improving neural machine translation models with monolingual data". In Proc. of ACL-2016 (Volume 1: LongPapers), pages 8696, 2016.

[3] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. "BERT: Pre-training of deep bidirectional transformers for language understanding", In North American Association for Computational Linguistics (NAACL),2019.

[4] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, Veselin Stoyanov."RoBERTa: A Robustly Optimized BERT Pretraining Approach", arXiv e-prints, arXiv:1907.11692,2019.

[5] Zhenzhong Lan, Mingda Chen, Sebastian Goodman, Kevin Gimpel, Piyush Sharma, Radu Soricut. "ALBERT: A Lite BERT for Self-supervised Learning of Language Representations", International Conference on Learning Representations, 2020.

[6] 高橋 竜, 秋葉 友良, 塚田 元,"汎用分散表現 BERT を 用いたニューラル機械翻訳の検討", 言語処理学会第 27 回年次大会, 2020

[7] Jinhua Zhu, Yingce Xia, Lijun Wu, Di He, Tao Qin, Wengang Zhou, Houqiang Li, Tie-Yan Liu."Incorporating BERT into Neural Machine Translation",International Conference on Learning Representations, 2020.

[8] O. Firat, K. Cho, and Y. Bengio, "MultiWay, Multilingual Neural Machine Translation with a Shared Attention Mechanism”, ArXiv e-prints,pp.866-875, 2016.

[9] T. Nakazawa, M. Yaguchi, K. Uchimoto, M. Utiyama, E. Sumita, S. Kurohashi, and H. Isahara. "ASPEC: Asian scientific paper excerpt corpus", In Proceedings of the Ninth International Conference on Language Resources and Evaluation (LREC 2016), pp. 2204-2208, 2016.

[10] Reid Pryzant, Youngjoo Chung, Dan Jurafsky, Denny Britz. "JESC: Japanese-English Subtitle Corpus",European Language Resources Association,2018.

[11] Yuto Takebayashi, Chu Chenhui, Yuki Arase, Masaaki Nagata. "Word Rewarding for Adequate Neural Machine Translation",In Proceedings of the 15th International Workshop on Spoken Language Translation,2018.


# Sentence-BERT を利用した FAQ 検索におけるデータ拡張手法

加納 渉
岡山大学大学院自然科学研究科
kano-w@s.okayama-u.ac.jp

## 概要

本研究では，質問応答における類似文章検索につ いて，データ拡張を利用した検索精度向上を検討す る. 質問応答のデータセットは Yahoo!知恵袋データ などが公開されているが，特定の FAQ に対応したシ ステムを作る場合，データセットが十分に集まらな いことも想定される. 本研究では，人手でのデータ 作成に加え，疑似文章生成モデルを利用してデータ 拡張を行い，その検索精度への影響を調べた. 実験 の結果，拡張データを一定量混ぜた場合，わずかに 精度が向上することが確認できた.

## 1 はじめに

質問応答システムでは，同じ単語でも文脈によっ て意味が違ったり，ユーザによって表現方法が変わ るため, 柔軟な質問応答の実現には単語一致のみで は十分ではないことが考えられる．類似文章検索手法としては, 分散表現を用いるものがあり, 分散表現を取得するモデル例として，Word2Vec[1] や Bidirectional Encoder Representations from Transformers (BERT)[2] がある. 分散表現を使用することで単語間 の意味的な距離をべクトルとして測ることができ る. 本研究では，さまざまなタスクで SoTAを達成 し, 文章全体の意味を特徴化できるという機能を持 つ BERTを使用し，類似文章検索を行う。

岡山大学情報統括センターのホームページ及び岡山大学 Moodle 上には, 利用者の質問とその回答が 掲載されている場所がある。このウェブサイトで将来的に質問応答システムを実現するため, 既に寄せ られている質問と回答をデータセットとして機械学習モデルに適用し, 類似文章検索精度を向上させ たい. しかしそのデータ数はあまり多くなく, 質問 もひとつずつしか付属していないため, 検索モデル 構築のためのデータセットとしては不十分なこと， ユーザの入力として想定される表現の幅が少ないこ とが問題点として挙げられる. 本研究では人手によ

\author{
竹内孔一 \\ 岡山大学学術研究院自然科学学域 \\ takeuc-k@okayama-u.ac.jp
}

る質問データに加えて，疑似文章生成モデルで疑似的な質問文を再現し学習データに追加することで，類似質問検索を行った. 以下では，そのデータ拡張手法と，データ追加方法について報告する.

## 2 関連研究

高橋ら [3] はコミュニティベースの Q\&A サイト における確率モデルを利用した類似質問検索手法を 提案した。これは，質問検索では検索対象文書の長 さが短いことを考慮し, 適切に回答文情報を利用す ることで有効性を示した。

中野ら [4] は，対話的情報検索の問い返し文にお いて，質問文の統語構造解析を行い，得られた部分木の一部を欠落させることで曖昧な質問文生成を行 なった. 生成した曖昧質問を利用し，BERTによる 質問応答システムを適用することで，質問応答精度 を向上することができた.

Mass ら [5] は，FAQ 検索において3つのリラ ンカーによる教師なし手法を提案した、ユーザ クエリ-質問文，ユーザクエリ-回答間で BERT の Fine-tuning を行うとともに，質問文の言い換えを作成してさらにクエリ-質問文間 BERTを Fine-tuning することで，既存の教師あり手法と同等以上の性能 を示した。

## 3 データセット作成

本研究で使用するデータは，岡山大学情報統括セ ンターのホームページ及び岡山大学 Moodle から集 め，整形したものである ${ }^{1)}$. 元データの形式は質問 と回答のペアとなっており, その中から学習データ として使用可能な 108 件を抽出したが，データセッ トとして明らかに少ないため，まず研究室の方々に 依頼し，ある質問の回答に結びつくような質問を単語の組及び文章形式でそれぞれ 3つずつ作成した. しかし，人手でのデータ追加はより実用的で自然な 文章を考えることができるが，問題点として時間が

1) https://msgs.ccsv.okayama-u.ac.jp/a/faq.php

かかること，外部に依頼した際のコストがある.

本研究では，人手作成データに加えて疑似的 な質問を Variational AutoEncoder (VAE)[6] によって 生成し, 学習データとして利用する. VAE の基本構造は Encoder と Decoder からなり, その間に 潜在空間を導入する. 潜在空間は確率分布が設定される. 文章生成に使用した VAE モデルを 図 1 に示す. 本モデルは Encoder, Decoder にそれ ぞれ Transformer[7] の Encoder, Decoder ブロック を使用している Transformer-Based Conditional VAE (T-CVAE)[8] を利用して, 入力文章を再現する. 潜在変数には乱数を加えており, 入力文章と少し異な る文章を出力しやすくなる仕組みとなっている.

このモデルに対し，元データの質問部分を用いて BLEU[9] スコアが約 70 程度になるまで学習させ, それぞれの質問について 10 パターンの疑似質問を 生成した. BLEU スコアは語順を考慮しないため, スコアが高くても文章として自然であるか，元文章 をそのまま再現しているかはわからない. 本実験で は生成文章の文法的正しさは問わないものとするた め, 入力文章とほぼ同じであったり, 明らかに文法 が破綻しているものも存在する. 次に BERT に対し て 2 值分類問題で Fine-tuning を行うため，ラベル付 き文章ペアのデータセットを作成する必要がある.詳しくは 4 章で述べる. ここまでで，元データのあ る質問 1 つについて，
- 人手により作成した質問 ○クエリタイプの質問 3 件 (query 1, 2,3)。文タイプの質問 3 件 (sentence1, 2,3)

・VAEで作成した疑似質問 (10 パターン)

が存在する. 元データのタイトル部分を anchor と し，それ以外の人手作成データ，VAE 生成データか ら類似質問 (positive), 非類似質問 (negative) を選び，組み合わせていく。つまり，ある anchor一つに対 ᄂ, (anchor, positive), (anchor, negative) の 2 種類のラ ベル付きデータが作られる. positive pair は，あるタ イトルとそれから作られた人手作成データ，VAE生成データを組み合わせ，negative pair はあるタイト ルと関連のない全ての人手作成データ, VAE 生成 データを組み合わせる。人手作成のうち, query3, sentence3 から作られる positive pair はテストデータ に使用する。

図 1 T-CVAE による文章生成, [8] より引用

## 4 実験

実験として，ある質問に対して最も類似した各回答の質問文を検索できるか評価する．質問と各回答 に属する質問との類似度を計算するために機械学習を利用する。ここでは，2 値分類による BERT の Fine-tuning 及び検索精度評価, 改善手法について述 べる.

## 4.1 実験設定

文やクエリ同士の類似度を評価するモデル図は共通であり, 図 2 に示す.これは Sentence BERT[10]2) と呼ばれる，文章ぺアを利用した学習を行うための モデルである。類似文章ぺアを用いて Fine-tuning を 行うとき，単一の BERT で毎回 2 つの文章を入力す ると計算量は $O\left(n^{2}\right)$ となるため，学習時間が大幅に かかる. Sentence BERT の特徵は, Siamese Network の構造をとっていること，Pooling 層を導入している 点である．2つの入力の埋め込みべクトルを同時に 計算することで，大幅な学習時間短縮を実現してい る. 文献 [10] では,
- Classification Objective Function
- Regressioon Objective Function
- Triplet Objective Function

の 3 つの目的関数が紹介されている. 本研究で は，入力ペアが positive か negative を判定するため， Classification Objective Function を採用している. 以下の実験での BERTはすべて, 日本語 Wikipedia 事前学習済み ${ }^{3}$ を使用し, Baseline は事前学習済み BERT を用いたものを表す. Sentence BERT の Fine-tuning の際のバッチサイズは 16 , epoch は 10 とし, Pooling 手法は文献 [10] で最も高い評価となった MEANを

図 2 実験で使用する Sentence BERT モデル

採用する.

## 4.2 予備実験

予備実験として，元データのタイトル部分と人手作成データ，及び疑似質問を用いて Sentence BERT の Fine-tuning を行った。学習データセットのパター ンは以下の通り。

・人手作成データ
- 人手作成+疑似質問 (1 パターン)
- 人手作成+疑似質問 (3 パターン)
- 人手作成+疑似質問 (5 パターン)
- 人手作成+疑似質問 (10 パターン)

ある positive pairの 1 件に対し, negative pair は 107 件存在する。学習データの positive pair と negative pair の数を合わせるため, 107 件から一つ選ぶ必要 がある. 予備実験での negative pair の選び方はラン ダムとする.

## 4.3 改善手法

改善手法として，ある positive pair に対応する negative pair の候補から，ペアの類似度が一番大き いものを選ぶデータセット，小さいものを選ぶデー タセットをそれぞれ作成し，再度実験を行なった。事前学習済み日本語 BERT による埋め込みべクトル の cosine 類似度を用いるが，そのために BERT の出力をべクトルに変換する必要がある. 本実験では時系列方向に平均をとったべクトルを質問のべクトル とする。

## 4.4 評価手法

Fine-tuning した BERT による埋め込みベクトルを 使用して候補のランキングを出し，精度評価を行 なった. 本研究の場合は，入力にタイトル部分，回表 1 予備実験結果

} & 0.606 & 0.616 & 0.537 & 0.481 \\

答候補は人手作成データの query 3 , sentence 3 から選 ぶ.つまり，一つの入力につき正解が 2 つ存在し ている。評価指標は 1 位正解率，5 位正解率，Mean Reciprocal Rank (MRR) とする [11].

1 位正解率は，回答候補ランキングを出した時，1 位に正解がある割合である.

5 位正解率は，ランキングを上位 5 位まで出した 時，その中に正解がある割合である。今回正解は入力 1 つにつき 2 つあるが，上位 5 位までに 2 つ入つ ていたとしても 1 つしか入っていない場合と評価は 変わらないこととする。

MRR は正解となる回答のランクの逆数をポイ ントとし，その平均をとったものである. つまり, MRR が高いほどランキングの上位に正解が出てい ることになる。今回は上位 5 位までのランキングで 評価し，その中に入っていなければポイントは 0 と する。

## 4.5 結果

予備実験結果を表 1 に示す. 予備実験では，ラン ダムで選んだ negative pairを追加した. Baseline よ りも，人手作成データ及び疑似質問を加えた場合の ほうが精度が高くなっている箇所が見られるもの の，あまり一貫した精度の向上が見られない.

次に，改善手法を適用した場合の実験結果を表 2 と表 3 に示す. 表 2 を見ると negative pair に類似し ていないものを選んだ場合はどの結果においても精度が下がっており，Baseline よりも全てにおいて低 く，特に疑似質問を加えた場合に下がりやすくなっ ているのが読み取れる。

一方，表 3 を見ると，疑似質問を加えたほうが，人手作成データのみよりも精度は良くなる傾向にあ る. 特に，疑似質問を 5 パターン分加えた場合，ど の評価指標においても高い値を得ている。さらに，表 1 において，疑似質問を 5 パターン追加した結果
表 2 negative pair(dessimilar) を選択した場合の実験結果

} & 0.458 & 0.583 & \\

表 3 negative pair(similar)を選択した場合の実験結果

を表 3 の同じ項目で比較すると, negative pair に類似度の一番高いものを選ぶ手法のほうが高い值を示し ている.

## 4.6 考察

以上の実験結果より，人手作成データに加え， VAE によって作成した疑似質問から 2 值分類用デー タセットを作成し，特に negative pair に一番類似度 の高いものを選んだ場合，精度向上を確認できた。一方，表 3 の疑似質問を 10 パターン混ぜた場合を 見ると，この選び方であっても学習データ数を増 やせば精度が上がるわけではないことがわかる。 negative pair に一番類似していないぺアを選んだ場合，ランダム，または類似しているものを選ぶ場合 よりも顕著に精度が下がった. これらの原因とし て，より異なるぺアを学習する回数が増え，最終的 な類似度の近いものを選ぶという，元々のタスクの 目標に適合しない学習が進んでいるためではないか と考えられる。

## 5 まとめと今後の課題

本研究では，類似質問検索において学習データが 十分に得られない場合のデータ拡張手法を提案し た. 学習を行なった VAE で生成した文章を用いて 2 値分類学習用データセットを構築する際, negative pair に類似度の一番高いものを選択した場合に，人手作成データのみよりも精度向上が確認できた。 しかし, 今回は岡山大学情報統括センター，及び Moodle の FAQ のみでの実験のため，その汎用性に ついては検証の余地がある. 今後の課題として, VAE による生成文の品質評価，回答部分の利用， Yahoo!知恵袋などの大規模なデータセットでも実験 を行い，有効性を検証する必要がある。

## 謝辞

本研究でのデータ作成にご協力いただいた竹内研究室の諸氏に感謝する。

## 参考文献

[1] Tomas Mikolov, Kai Chen, Greg Corrado, and Jeffrey Dean. Efficient estimation of word representations in vector space. CoRR, Vol. abs/1301.3781, , 2013.

[2] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186. Association for Computational Linguistics, June 2019.

[3] 高橋輝, 高須淳宏, 安達淳. コミュニティベース Q\&A からの類似質問検索手法. 情報処理学会全国大会講演論文集, 第 72 回, pp. 111-112, 2010.

[4] 中野佑哉, 河野誠也, 吉野幸一郎, 須藤克仁, 中村哲.問い返し質問文生成によって曖昧性解消を行う質問応答システム. 言語処理学会第 27 回年次大会 発表論文集, 2021

[5] Yosi Mass, Boaz Carmeli, Haggai Roitman, and David Konopnicki. Unsupervised faq retrieval with question generation and bert. Association for Computational Linguistics, 2020.

[6] Diederik P. Kingma and Max Welling. Auto-encoding variational bayes. In 2nd International Conference on Learning Representations, ICLR 2014, Banff, AB, Canada, April 14-16, 2014, Conference Track Proceedings, 2014.

[7] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. V. Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc., 2017.

[8] Tianming Wang and Xiaojun Wan. T-cvae: Transformerbased conditioned variational autoencoder for story completion. In Proceedings of the Twenty-Eighth International Joint Conference on Artificial Intelligence, IJCAI19, pp. 5233-5239. International Joint Conferences on Artificial Intelligence Organization, July 2019

[9] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of
machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[10] Nils Reimers and Iryna Gurevych. Sentence-BERT: Sentence embeddings using Siamese BERT-networks. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3982-3992. Association for Computational Linguistics, November 2019.

[11] 磯崎秀樹, 東中竜一郎, 永田昌明, 加藤恒昭. 質問応答 システム. コロナ社, 2009.


# 質問応答におけるユーザ入力表現のドメイン固有の表現への マッピング

TSENG YI KAI $^{1}$ 徳永健伸 ${ }^{1}$ 横野光 ${ }^{2}$
1 東京工業大学 2 明星大学
tseng.y.ab@m.titech.ac.jp take@c.titech.ac.jp hikaru.yokono@meisei-u.ac.jp

## 概要

あるドメインの初心者はそのドメイン固有の用語 を知らないことが多く，別の単語で言い換えること があり，質問応答システムなどを利用する際の問題 になる。この問題に対して，本論文ではBERT を用 いて単語の埋め込みを計算し，コサイン類似度によ り初心者が入力した表現とドメイン固有の表現を対応づける手法を提案する. Minecraftを対象として提案手法の評価を行った。

## 1 はじめに

あるドメインにおいてユーザが問題に遭遇した とき，キーワードを検索エンジンに入力して膨大な 情報から欲しい情報を自分で探すより，自然言語で 質問して回答を得る方が簡単である。しかし，質問者がそのドメインの初心者である場合，ドメイン固有の用語を知らないために，それを他の単語で表現 することがある．そのような表現を含む質問に対し てシステムは適切な回答を返せないことが考えら れる.

そこで本論文では，あるドメインの質問応答シス テムにおいて初心者が使用することを想定し，質問中の表現をドメイン固有の正式な名称に対応づける システムの構築を行う. 具体的なドメインとして有名なコンピュータゲームである Minecraft ${ }^{1)}$ を対象と する.

Minecraft には多様なオブジェクトが存在し，プレ イヤーが取れる行動が多様で自由度が高い。そのた め，何をすれば良いか分からないという初心者ユー ザが多く，コミュニティサイトでは様々な質問のや り取りがなされている.

Minecraft における質問応答システムに関して， Dumont et al. [2016] はコーパスを作成し，質問応答

1) https://www.minecraft.net/
システムの実現可能性を示した．しかし，Minecraft には特有の用語が存在するため, 前述の問題が起こ りうる。例えば，“melon”という物体はスイカのよ うな見た目であることから “watermelon”と，また， スイッチの機能を持つ “lever”を“switch”と言い換え られることがある．既存の質問応答システムはこの ように使用されている表現に対応できない可能性が ある。そこで，例えば “How do I craft a switch?” とい う質問文の “switch” という単語を正式な名称である “lever”に対応づけることで，ドメインの知識をあま り持っていない初心者でも使える質問応答システム の実現を目指す。

このような対応付けを実現するために，単語 の埋め込みを計算し，コサイン類似度により対応する用語を判断する．埋め込みには，Word2Vec [Mikolov et al., 2013], Global vectors [Pennington et al., 2014], BERT [Devlin et al., 2018] といった数多くの手法が使われているが，本論文では文脈を考慮できる BERT を用いて，初心者による表現をより精度よく 正式な名称に対応づける。

## 2 関連研究

本論文で扱う現象は言い換えの一種とみること ができる. Niu et al. [2021] は，質問応答システムの 精度向上を含む幅広い応用を目指し，教師なし学習 によるパラフレーズの生成の手法を提案した．教師 なし学習は手動によるラベル付きの必要がないた め，より簡単に構築できる。 Behrendt and Harmeling [2021] は，BERT を拡張し， ArgueBERT という二つ の文の類似度を計算することによりパラフレーズ を検出するモデルを提案した． Wang et al. [2021] は， ドメイン特有の知識も考慮した上で BERTを用いて パラフレーズを検出する方法を提案した.

これらに対し，提案システムでは事前学習済み BERT の埋め込みを利用し，コサイン類似度により
関連の用語を出力する. Niu らは教師なし学習を 利用するのに対し, 本研究では事前学習済み BERT を用いるため，手動によるラベル付けのみならず Finetuning も必要なく，より簡単に構築できる.

また，Behrendt らと Wang らは文単位でパラフ レーズか否か判定するのに対し，提案システムでは ランキングをもとに質問文の表現に対応するドメイ ン固有の表現を提示する. これは, 初心者による言 い換えは必ずしも正確な言い換えとは限らないた め，類似している用語をいくつか提示することによ り，柔軟に対応できるからである.

## 3 提案システム

図 1 提案システムの概要

提案システムは, 図 1 に示すようにドメイン固有 の表現 (用語) に対して事前にドメインの知識を持つ ユーザが作成したテキスト (ドメインコーパス)を用 いて，その埋め込みを計算しておく。そして，入力 された質問文中の単語に対して，その埋め込みを計算し, ドメイン固有の表現とのコサイン類似度を求 め，ランキングの 1 位のものを対応として出力，ま たは，上位のランキング結果を提示する. テキスト の分割には BERT の tokenizer を用いる.

## 3.1 埋め込み

埋め込みの計算は事前学習済み BERT (bert-base(uncased) ${ }^{2)}$ を用いる. 単語の埋め込みは BERT が出力する 768 次元の最後の隠れ層を使う.

質問文中の表現の埋め込みと用語の埋め込みのコ サイン類似度の計算方法は次の 2 種類を用いる。
- Mean-of-Posts : 各用語 $w$ に対し，ドメインコー パスに出現した $w$ の埋め込みの算術平均を $w$ の埋め込みとし，それと入力単語の埋め込みの コサイン類似度を求める
- Max-Post：各用語 $w$ に対し，ドメインコーパス に出現した $w$ のそれぞれの埋め込みと大力の単語の埋め込みとのコサイン類似度を計算し, そ の最大値を $w$ とのコサイン類似度とする

2) https://huggingface.co/bert-base-uncased

## 3.2 Tokenization

文を BERT に入力する際に， tokenizer を用いて文 をトークンに分割する必要があるが，用語によって tokenizer の動作が異なることがある.

複数形の扱い 単語の複数形に対して 2 種類の 分割が存在する。一部の単語の複数形は単数形と 語尾の-s と 2 個のトークンに分割される. 例えば, “lever” の複数形 “levers” は “lever” と “\#\#s” に分割さ れる.この場合，単数形の埋め込みがそのまま使え るため，“\#\#”を無視して単数形の埋め込みを考慮 すればよい，一方，複数形がそのまま 1 個のトーク ンになる単語も存在する. 例えば, “block”の複数形 “blocks” は “block” と “\#\#s" と 2 個のトークンでは なく，そのまま “blocks” という 1 個のトークンにな る.この場合, 複数形のトークンは単数形のトーク ンと異なるため, 求めた埋め込みに差が出てしま い，単数形の埋め込みのみ考慮すると複数形に対応 できない恐れがある。そこで，用語の複数形にも対応できるように，複数形が単数形と異なるトークン に分割される場合，単数形だけでなく，複数形の埋 め込みも求め, 用語 $w$ との類似度として, $w$ の単数形との類似度と $w$ の複数形との類似度のうち高い方 と選ぶ.

マルチトークン 単語が複数のトークンに分割さ れたり, 複数の単語からなる用語が存在するため, 1 つの表現が複数のトークンで構成されることが ある。例えば, “ender pearl”は “end”, “\#\#er”, “pearl” と 3 個のトークンに分割される。そのため，類似度 の計算においてはマルチトークンの表現への対策が 必要となる. マルチトークンの表現の埋め込みには 次の 2 種類の計算方法を用いる。

・Last-Token：最後のトークンの埋め込みを表現全体の埋め込みとする。
- Mean-of-Tokens : 全てのトークンの埋め込みの 算術平均を全体の埋め込みとする。

## 4 評価

## 4.1 データセット

Minecraft を対象のドメインとして提案システム の評価を行う．考慮する Minecraft の用語としては Dumont et al. [2016] が提案した質問応答コーパスで 列挙された 443 個のエンティティを採用する.いく

つかのエンティティには別称が付いている3)ため， これらの別称を含めて合計 465 個の用語を対象と する.

ドメインコーパスとして Minecraft に関する Reddit の投稿4)を用い，465 個の用語に対する埋め込みを 計算した. Reddit からは 76437 投稿が取得でき，そ の中で 465 語のうち 457 語, 443 エンティティの うち 438 エンティティが 1 回以上出現している. BERT による Minecraft の用語 $w$ の埋め込みを求め る際には $w$ を含む文を入力する必要があるため， Reddit の投稿から $w$ が出現した投稿のタイトルを利用した。また，評価用のデータとして Dumont らも 使用した GameFAQs ${ }^{5}$ という QA サイトの Minecraft に関する質問文のタイトルを用いた。このサイトか らは 986 個の質問が取得できた。

## 4.2 結果と考察

評価データの各表現に対し，457 個の Minecraft の 用語とのコサイン類似度ランキングを作成した. 埋 め込みが有効であれば，評価データの質問文に含ま れる Minecraft の用語に対する類似度ランキングに おいて，その用語自体が 1 位になるはずである。例 えば, “How to get glass?" という質問文の “glass” と いう表現に対して用語の類似度ランキングを作成 すると, “glass” 自体が Minecraft の用語であるため, “glass”がランキングの 1 位になることが期待され る.これを利用し, 埋め込みの有効性を検証する ために, GameFAQs の質問文で合計 598 回出現した 126 種類の用語自体の順位を分析した。

表現間の類似度の計算は 3.1 で言及した Meanof-Posts と Max-Post の 2 種類を用い，マルチトーク ンの表現の埋め込みは 3.2 で言及した Last-Token と Mean-of-Tokens の 2 種類を用い，これらの組み合わ せである 4 種類の手法に対して評価を行った。

各手法において用語自体が 1 位になった割合を 表 1 に，用語の順位の分布と 1 位とならなかった用語の類似度の分布を図 2 に示す。

Max-Post \& Mean-of-Tokens の精度が最も良いが， Max-Post は用語の個々の埋め込みとの類似度を計算 するためストレージや計算能力が必要となる.この 点を考慮すると, Mean-of-Posts \& Last-Token の精度 が良いと見ることができる.

表 11 位になった用語の割合

また，BERT は文脈を考慮した埋め込みを出力 するため，入力の文に誤字が含まれると，得られ る埋め込みが変化し，特に Max-Postを利用する場合ではランキングが大きく変化してしまう。一方， Mean-of-Posts を利用する場合，投稿間の埋め込みの 平均を取るため，安定した埋め込みが得られると考 えられる。

入力の単語と用語が共通語尾を持つ場合，埋め込 みが近くなり，順位上で完全に分離できず， 1 位に ならないことがある.しかし， 1 位ではなくても比較的高い順位に用語が表れていれば，上位の用語を 提示することでユーザに適切な用語の発見を促すこ とができると考えられる。

## Mean-of-Posts \& Last-Token

最下位となった用語の順位は 8 位であった. 用語自体が 1 位にならなかった事例では, 入力の 単語と共通の語尾を持つ用語が上位になった. 8 位になった事例は “Do monsters still attack in creative mode?” であり, 入力の表現は “creative mode” だっ た. 用語との類似度は 0.8186 であり，このときの 1 位は “adventure mode” (類似度 0.8807) だった。 2〜7 位も同様に“mode”という語尾を持つ用語であった.

1 位にならなかった用語の類似度は全て 0.7 以上 と高いため，質問応答システムは 1 位の単語のみな らず，全て類似度の高い用語を関連の用語として ユーザに提示することができる.

## Max-Post \& Last-Token

最下位となった用語の順位は 137 位であった. その事例は "Blockes will no drop blockes after I break them?” という質問文であり，入力の表現は “Block” だった. “Block”という用語自体との類似度は 0.6074 だったが， 1 位が “Spider”(類似度 0.7847)， 2 位が “Mob”(類似度 0.7737) であった。この事例の “Blockes”という単語は, “Block” の複数形と思われ るが，正しい綴りは “Blocks”である。この誤字に より埋め込みが大きく影響されてしまい，正解が

Self similarity whose rank $>1$
(Mean-of-Posts \& Last-Token)

Self similarity whose rank >

Self similarity whose rank $>1$
Mean-of-Posts $\&$ Mean-of-Tokens)

Self similarity whose rank $>1$

図 2 順位の分布 (上図)と 1 位とならなかった用語の類似度の分布 (下図)

得られなかったと考えられる。実際に“Blockes”を “Blocks"に修正すると, “Spider” との類似度が 0.3052 に, “Mob”との類似度が 0.3583 に下がり, “Block”自体との類似度が 0.6288 に上がった. このことか ら，この手法は誤字の影響を受けやすいと言える.

## Mean-of-Posts \& Mean-of-Tokens

最下位となった用語の順位は 5 位であり，Meanof-Posts \& Last-Token と比べると，全体的には良い性能となり，最下位の用語の順位は良くなったが， 1 位でない単語の類似度は低くなった。 入力が“Mob spawners mayhem” という質問文で入力の単語が “Mob”である事例では，Mean-of-Posts \& Last-Token において 1 位が “Mob”(類似度 0.3393 ) であったが， Mean-of-Posts \& Mean-of-Tokens において “Mob” が 2 位となり，1 位がマルチトークンである lava slime(類似度 0.3862 )となった. これは，トークン間の平均 を取ったことにより，埋め込みに食い違いが発生し たと考えられる。

## Max-Post \& Mean-of-Tokens

最下位となった用語の順位は 170 位だった. 順位が極端に低い単語は 170 位と 18 位の 2 個であ り，両方とも入力に誤字が含まれていた. 170 位 は Max-Post \& Last-Token の項で言及した “Blockes” の 例であり，18 位は “Wheather”(“Whether” の誤字) で あった。これらを除外すると，最下位の用語の順位 は 5 位になり，1 位でない単語の類似度は全て 0.7 以上と高くなるため，質問文に誤字が含まれていな ければ，Max-Post \& Mean-of-Tokens による埋め込み は有効であると考えられる。

## 4.3 異なる表現間のマッピング

4.2 では入力表現に対して，対応する Minecraft の 用語が 1 位となることを正解として評価したが，実際に対話システムで使うことを考えると 2 位以下の 候補を利用する可能性もある．そこで，4.2で対象 とした表現を除いた合計 1,310 個 (543 種類) の名詞 を対象としてランキングを作成し， 1 位の用語との 類似度が高い名詞を分析した。

類似度が 0.8 以上になった名詞を確認したとこ ろ, 多くは "game" $\rightarrow$ "the game", "mode" $\rightarrow$ "hardcore mode”といった，用語と共通語尾を持つ名詞であ り, 類似度が 0.7 程度の単語を確認したところ, "circuits" $\rightarrow$ "redstone wire", "farm" $\rightarrow$ "plant" といっ た，関連用語の対応が得られた。また，数は少な かったが，“space” $\rightarrow$ “inventory slot”といった我々が 想定しているような言い換えも得られた。

## 5 おわりに

本論文では，特定ドメインにおける初心者が用い る表現をドメイン固有の表現に対応づけるシステム を提案した。具体的なドメインとして Minecraft を 対象とし，コミュニティサイトのデータを用いて評価を行い，埋め込みを計算する 4 種類の手法を比較 し，その特性や有効性を考察した。

実際の対話システムの環境で，より多くの事例を 収集するために Ogawa et al. [2020] の基盤を用いて 初心者と経験者のペアを組ませて対話を収集し，事例の分析やシステムの改良を行う予定である.

## 謝辞

本研究は JSPS 科研費 JP19H04167 の助成を受 けた。

## 参考文献

M. Behrendt and S. Harmeling. Arguebert: How to improve bert embeddings for measuring the similarity of arguments. In Proceedings of the 17th Conference on Natural Language Processing (KONVENS 2021), pages 28-36, 2021.

J. Devlin, M.-W. Chang, K. Lee, and K. Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018.

C. Dumont, R. Tian, and K. Inui. Question-answering with logic specific to video games. In Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC'16), pages 4637-4643, 2016.

T. Mikolov, K. Chen, G. Corrado, and J. Dean. Efficient estimation of word representations in vector space. arXiv preprint arXiv:1301.3781, 2013.

T. Niu, S. Yavuz, Y. Zhou, N. S. Keskar, H. Wang, and C. Xiong. Unsupervised paraphrasing with pretrained language models. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pages 5136-5150, 2021.

H. Ogawa, H. Nishikawa, T. Tokunaga, and H. Yokono. Gamification platform for collecting task-oriented dialogue data. In Proceedings of the 12th Language Resources and Evaluation Conference, pages 70847093, 2020 .

J. Pennington, R. Socher, and C. D. Manning. Glove: Global vectors for word representation. In Proceedings of the 2014 conference on empirical methods in natural language processing (EMNLP), pages 1532-1543, 2014.

H. Wang, F. Ma, Y. Wang, and J. Gao. Knowledge-guided paraphrase identification. In Findings of the Association for Computational Linguistics: EMNLP 2021, pages 843-853, 2021.


# 司法試験自動解答におけるルールベースと機械学習のシステム構築と アンサンブル

藤田真伎 ${ }^{1}$ 狩野芳伸 ${ }^{1}$
1 静岡大学 情報学部
mfujita@kanolab. net
kano@inf.shizuoka. ac.jp

## 概要

法律分野における自然言語処理技術の利用は，大 きく期待されている応用分野の一つである．究極的 な目標は裁判過程の自動化であり，裁判のコストの 高さや，判決を市民に説明するといった課題に対応 できる可能性がある. 法律分野の自然言語処理技術 に関するワークショップとして，我が国司法試験の 民法分野短答式問題の自動解答を行い性能を競う COLIEE が毎年開催されてきた. 我々は COLIEE の 含意関係認識タスクを対象に，ルールベースのシス テムと機械学習ベースのシステムの実装, 改良を行 い, さらにこの二つのシステムのアンサンブルを行 い，解答性能の向上を確認した。

## 1 はじめに

法律分野の自然言語処理技術に関するワークショ ップとして, 我が国司法試験の民法分野短答式問題 の自動解答を行い性能を競う Competition on Legal Information Extraction and Entailment (以下 COLIEE) [1]が毎年開催されてきた. COLIEE の Task 4 は民法条文一覧と過去問題が与えられ，それをもとにシ ステムを作成し, テスト問題の解答の精度を競うも のである.このタスクは，図 1 のように問題文と その問題を解くのに必要な関連民法条文の二つが与 えられ，問題文が正しいか否かを Yes かNo の二択 で答え,解答の精度を競うものである.

COLIEE 2021 の Task 4 に，我々はルールベース の解答方法を用いるシステム [2]を使用した。他の チームは BERT [3]を中心に使用するチーム [4] [5] [6]や T5 をベースにアンサンブルを行うチーム [7]，グラフニューラルネットワークを用いるチー ム[8]など機械学習ベースのシステムを使用してお り，ルールベースのシステムを使用するチームは 我々のみだった。推論過程がブラックボックスであ
る機械学習ベースのシステムと異なり，ルールベー スのシステムは人間の思考に沿った推論を行うこと ができため，究極的な目標である裁判過程の自動化 の際に重要となる, 説明可能な出力といった面で優 れている.

本論文では，ルールベースのシステムの改良を説明し，また BERT を用いた機械学習ベースのシス テムの実装, 改良を行う。その後, 二つのシステム のアンサンブルを行った結果, 精度が向上した.こ のことから，ルールベースのシステムは説明可能な 出力が可能なだけでなく, 精度向上にも貢献できる ことが確認できた.

図 1 COLIEE Task 4 (含意関係認識) の問題例

## 2 関連研究

ルールベースのシステムの先行研究として星野 [9]のものがあり，これをべースに用いる。これは 文章を構文解析システム [10]で解析し, 解析結果 から節分割をする。 その後, 解析結果を再度使用 し, 各節で主語, 述語, 目的語の節セットを抽出し て解答を行うものである。このシステムは複数のモ ジュールに分かれており，モジュールにより解答方法と精度が異なる。詳細探索モジュールは関連民法条文と問題文節セットが全て一致していたら比較を 行う，曖昧探索モジュールは節セットのうち二つが
一致していたら比較を行うなど比較条件が異なって いる.

2021 年に開催された COLIEE 2021 において,

Task 4 では BERT を用いた北海道大学のチーム [4] が最高の成績を収めた。このチームは, 主に訓練デ 一タの拡張と BERT のアンサンブルによって性能向上を図っている。訓練データの拡張には, 配布さ れる民法条文一覧を使用している，文章を分割する ことでデータ数を増やし, またその文章の一部を否定形にすることで論理を反転させることでもデータ 拡張をしている。また複数の BERT のアンサンブ ルも行っており, 異なるデータで学習させたモデル の中で, 精度の高いものを複数選択し結果をアンサ ンブルすることにより精度を向上させた.

## 3 提案手法

## 3.1 ルールベースのシステムの改良

## 3. 1.1 モジュールの構成

我々が以前に構築したルールベースのシステム [9]を改良し，精度の向上を図る.モジュールの詳細は次項以降で説明する．モジュールごとに解答で きる問題と正答率が異なるため, 正答率の高いモジ ュールから順に解答を行い, 最後に全ての問題に解答できるが正答率の低い全探索モジュールで解答を 行っている. 全探索モジュールで多くの問題に解答 してしまい, 全体の正答率が下がるのが問題点とな っていたため, 多くの問題に解答でき正答率の高い 中間層の項探索モジュールを作成し, 精度向上を図 った. 図 2 がモジュールの構成図である.

図 2 ルールベース改良後モジュール構成図

## 3. 1.2 二重構文解析

既存のシステムでは, 文章を一度構文解析し, 文章を複数の節に分割した後, その構文解析結果を再度使用し, 節ごとの主語, 述語, 目的語の節セット を作成していた. しかし, この方法では文章が長文 の場合に節セットが上手く抽出されない場合や，入 れ子構造に対応できないことがあった. そのため,節分割後に再度構文解析を行い，その結果を節セッ 卜抽出に使用することで上記の問題に対応した.こ の手法は全てのモジュールで使用する.

## 3.1.3 新規節セット

先述の二重構文解析を用いても，節セットが全て 抽出されない場合があった. そのような場合に備え 節セットの抽出方法を改善した。構文解析結果を使用しても節セットが全て抽出されなかった場合, 助詞の「は」や「が」の前に位置する単語を主語に,助詞の「に」と「を」の前に位置する単語を目的語 に設定した。また，比較しやすい節セットの作成の ため，人物名を全て「人」に，「甲」「乙」「丙」 を全て「物」に置き替える処理を追加し，比較を行 いやすい節セットを作成した。

## 3.1. 4 項探索モジュール

先述の新規節セットを用いた新たなモジュールを 作成する.このモジュールを項探索モジュールとし た. このモジュールでは新規節セットと既存の節セ ットの両方を使い，節セット内のどれか一つでも一致したら比較対象とみなし解答を行う. 複数の条文 が一致した場合, 一致数が多いものを優先し, 数が 同じ場合は精度が高いと考えられる既存の節セット で一致したものを優先する。

## 3.2 機械学習ベースのシステムの実装

機械学習手法として BERTを用いた. 14 年分の 過去問題のうち 2 年分を検証データ，残りを訓練デ 一タとして使用したものを 7 回実行し，全ての過去問題を検証に使用した。入力の最大文字列長は 512 とし，それ以上の長さの問題は解答を行わない。

## 3. 2.1 否定形

先行研究 [4]にならい，文末を否定形にすること でデータ拡張を行う. 先行研究では与えられた民法条文一覧のみを否定形にすることでデータ拡張して

いたが，提案手法では過去問題の問題文部分も否定形にすることで更なるデータ拡張を行う。

## 3.2. 2 データセットのリスト化

与えられた関連民法条文は，複数の条文に分かれ ている場合があるため, そのような場合は条文ごと に分割し使用する. 分割後の民法条文と, 問題文を セットにすることでデータ拡張を行う.

## 3. 2.3 置き替え

民法条文の中には，条番号で他の条文を参照する 場合が存在する. そのような場合, 参照先の条文の 情報がないと適切な解答が行えないと考え, 人手で 条番号を実際の条文の内容に置き替えたデータを作成した. また, これにより文章が長くなりすぎ解答 に不利になってしまう可能性も考慮し, 置き替え前 のデータと置き換え後のデータの両方を使用する.

## 3. 2.4 組み合わせ

分割により民法条文部分に必要なデータが含まれ なくなるなる可能性が考えられるため, 分割後のデ 一タから全ての組み合わせで再度民法条文部分を構築し, データ拡張と過不足のない民法条文の作成を 同時に行う.

## 3.2.5 AB 置き換え

過去問題の中には, 人物名がアルファベットで登場する場合があり, そのような問題は解答率が低い 傾向にある. そこで, 問題に二回以上人物名が登場 した場合，それらをアルファベットに置き替えるこ とで訓練データを拡張し, このような問題に対応で きる可能性を向上させた.

## 3. 2.6 解答の決定

推論の際に, 分割された複数の問題が異なる答え を示す場合がある。そのような場合は, Yes と No の解答数を比べ，解答数の多いものをそのモデルの 最終的な解答とする。また，結果のばらつきをなく すため同一の訓練データでモデルを 5 回作成し推論 を行う. その際, 5 個の出力の Yes の数と No の数 を再度比較し, 多いほうを最終的な解答として出力 する.

## 3.3 アンサンブル

ルールベースのシステムと機械学習ベースのシス テムのアンサンブルを行い, 精度の向上を図る. ア
ンサンブルの基準にはルールベースのシステムの上位モジュールを使用し，上位モジュールで解答でき た問題はルールベースのシステムの解答結果を，そ れ以外の問題は機械学習ベースのシステムの解答結果を用いる。どこまでを上位モジュールとするかを 検討するため，全てのパターンでテストを行う．

## 4 結果

## 4. 1 ルールベースのシステムの結果

COLIEE 2021 に提出した, ルールベースのシステ ムの実行結果について記述する。提出時のシステム の H18 R01 の過去の問題, R02 のテスト問題に対す る結果は表 1 のようになった. なお, ベースライン は今回の改良の行う前の, 前年度までのルールベー スのシステムである.

表 1 ルールベースのシステム問題害行結果

 &  &  &  \\

## 4.2 機械学習ベースのシステムの結果

機械学習ベースのシステムで過去の問題, テスト 問題に対し， 5 回ずつモデルの作成，推論を行いそ の結果を統合したものが表 2 である.

表 2 機械学習ベースのシステム問題実行結果

 &  &  &  &  &  \\

## 4. 3 アンサンブルの結果

過去問題,テスト問題の解答についてのアンサン ブルを行う．アンサンブルに用いる結果は，ルール ベースのシステムは表 1 に記載した KIS1 の結果,機械学習ベースのシステムは表 2 の最下段に記載 した全ての提案手法を用いる設定での実行結果を用 いる. なお, COLIEE 2021 提出後にシステムの軽微 な不具合を発見したため，少し修正を加えた。その ためルールベースのシステムの解答結果が少しだけ 異なっている.

結果を表に示したものが表 3 である. 例として，曖昧探索の行に記されている結果は，ルールベース のシステムの詳細探索, 曖昧探索モジュールまでで 解答できた問題についてはルールベースのシステム の解答結果を使用し, 解答できなかったその他の問題については機械学習ベースのシステムの解答結果 を使用する。

表 3 アンサンブルの結果

 &  \\

## 5 結果 $\cdot$ 考察

## 5.1 ルールベースの結果・考察

過去問題 806 問に対し実行した結果, 表 1 からシ

スト問題に対して実行した場合, 訓練データと比べ あまり精度が高くなかった。しかし, 改良前のルー ルベースのシステムであるべースラインの正答率は 0.513 と改良後の KIS1 3 より低くなっていた。この ことから, 改良により精度が低下したのでなく, ル ールベースのシステムが今回のテスト問題と相性が 悪かったと考えられる。

## 5. 2 機械学習ベースの結論・考察

表 2 から提案手法を用いたシステムは用いなか ったシステムより過去問題の解答精度が向上してい た。また，どれか一つの提案手法用いなかったもの は，提案手法を全て用いたものの精度と同等もしく は低下していた。よって全ての提案手法がマイナス には働いていないと考えられる。

テスト問題では提案手法を用いないものの方が精度は高かった。しかし, 提案手法を用いないものの 精度が過去問題と比べかなり高いこと，テスト問題 の問題数の少なさから，提案手法の有効性を否定で きる結果ではないと考え, 有効性については今後さ らなる検討が必要である。

## 5.3 アンサンブルの結論 ・ 考察

表 3 から，詳細探索モジュールのみ，または詳細探索+曖昧探索モジュールのルールベースのシステ ムの解答と，それ以外の問題の機械学習ベースのシ ステムの解答をアンサンブルしたものは，どちらか 一方のシステムの解答のみの場合よりも精度が向上 した. このことから，アンサンブルに使用するルー ルベースのシステムのモジュール選択が適切であれ ば, アンサンブルは非常に有効であると考えられる.

一部の問題のみしか解答できなくとも，高精度で 解答を行えるモジュール，システムがアンサンブル の際には有効であり，そのようなシステムを作成し アンサンブルすることで更なる精度向上が期待でき る.

## 6 おわりに

本論文では，ルールベースのシステムの改良，機械学習ベースのシステムの実装と改良を行い，それ らのアンサンブルを行った。結果，ルールベースの システム改良，アンサンブルで特に精度の向上を確認できた.

アンサンブルによる精度の向上は，精度の高い一 つのシステムだけでなく複数のシステムを使用する ことの有効性を示す結果となった。また，ルールベ ースのシステムを用いたアンサンブルにより精度が 向上したことから，ルールベースのシステムは説明可能な出力といった面のみならず，精度向上にも貢献できることを示せた.

今後は説明可能な出力を考慮しながら, 機械学習 ベースのシステムの改良の有効性の検討，アンサン ブルを前提としたモジュール，システムの実装に取 り組んでいきたい.

## 参考文献

[1] Summary of the Competition on Legal Information Extraction/Entailment (COLIEE) 2021. Juliano Rabelo, Randy Goebel, Yoshinobu Kano, Mi-Young Kim , Masaharu Yoshioka, Ken Satoh. Proceedings of the Eighth International Competition on Legal Information Extraction/Entailment (COLIEE 2021) , 2021 , pp. 1-7.

[2] Predicate's Argument Resolver and Entity Abstraction for Legal Question Answering: KIS teams at COLIEE 2021 shared task. Masaki Fujita, Naoki Kiyota, Yoshinobu Kano. Proceedings of the Eighth International Competition on Legal Information Extraction/Entailment (COLIEE 2021), 2021 , pp. 1524.

[3] BERT: Pre-training of Deep Bidirectional

Transformers for Language Understanding. Jacob Devlin , Ming-Wei Chang , Kenton Lee , Kristina Toutanova. arXiv:1810.04805v2, 2019.

[4] BERT-based Ensemble Methods with Data Augmentation for Legal Textual Entailment in COLIEE Statute Law Task. Masaharu Yoshioka, Yasuhiro Aoki , Youta Suzuki. ICAIL '21: Proceedings of the Eighteenth International Conference on Artificial Intelligence and Law, 2021 , pp. 278-284.

[5] ParaLaw Nets - Cross-lingual Sentence-level Pretraining for Legal Text Processing. Ha-Thanh Nguyen, Vu Tran, Phuong Minh Nguyen, Thi-Hai-Yen Vuong, Quan Minh Bui, Chau Minh Nguyen, Binh Tran Dang, Minh Le Nguyen, Ken Satoh. Proceedings of the Eighth International Competition on Legal Information Extraction/Entailment (COLIEE 2021), 2021 , pp. 54-59.

[6] BM25 and Transformer-based Legal Information Extraction and Entailment. Mi-Young Kim, Juliano Rabelo, Randy Goebel. Proceedings of the Eighth International Competition on Legal Information Extraction/Entailment (COLIEE 2021) , 2021 , pp. 2530. [7] A Pentapus Grapples with Legal Reasoning. Frank Schilder, Dhivya Chinnappa, Kanika Madan, Jinane Harmouche, Andrew Vold, Hiroko Bretz, John Hudzina. Proceedings of the Eighth International Competition on Legal Information Extraction/Entailment(COLIEE 2021), 2021 , pp. 60-68.
[8] Using Contextual Word Embeddings and Graph Embeddings for Legal Textual Entailment Classification. Sabine Wehnert, Shipra Dureja, Libin Kutty, Viju Sudhi, Ernesto W. De Luca. Proceedings of the Eighth International Competition on Legal Information Extraction/Entailment (COLIEE 2021), 2021 , pp. 6977.

[9] Question Answering System for Legal Bar Examination using Predicate Argument Structures focusing on Exceptions. Reina Hoshino, Naoki Kiyota, Yoshinobu Kano. Proceedings of the Sixth International Competition on Legal Information Extraction/Entailment (COLIEE 2019), 2019 , pp. 38-44.

[10] 日本語構文・格・照応解析システム KNP. 京都大学 大学院情報学研究科 知能情報学専攻 黒橋・褚・村脇研究室. (オンライン) (引用日: 2022 年 1 月 6 日.) https://nlp.ist.i.kyoto-u.ac.jp/?KNP.

## 付録 A

## A1 先行研究のシステムのモジュー

## ル概要

ルールベースのシステムの先行研究として星野 のシステムについて関連研究で述べた。星野のシス テムのモジュール構成図は図 A 1 のようになってい る.

図Ａ1 星野のルールベースのシステムモジュー ル構成図

詳細探索モジュールでは, 関連民法条文と問題文 の文末の節を比較し, 主語, 述語, 目的語からなる 節セットが全て一致していた場合のみ比較を行う。曖昧探索モジュールでは, 主語と述語のペア, 又は 述語と目的語のぺアが一致していたときに比較を行 う. 全探索モジュールでは節セットの比較をせずに 推論を行う。

## A2 COLIEE 2021 提出結果

ルールベースのシステムを COLIEE 2021 に提出 した際の，参加チームの結果一覧が表 A 1 である. KIS1 3 は表 1 と一致している.表 A 1 COLIEE 2021 Task 4 各チーム提出結果

 & Accuracy \\
& BaseLine & 57 & 0.5309 \\
HUKB & HUKB-2 & 55 & 0.7037 \\
HUKB & HUKB-1 & 55 & 0.6790 \\
HUKB & HUKB-3 & 54 & 0.6667 \\
UA & UA_parser & 51 & 0.6296 \\
INLP & INLP.Enss5C15050 & 51 & 0.6296 \\
JNLP & INLP.Enss5C15050SilverE2E10 & 51 & 0.6296 \\
JNLP & JNLP.EnssBest & 48 & 0.5926 \\
OVGU & OVGU_run3 & 48 & 0.5926 \\
TR & TR-Ensemble & 48 & 0.5926 \\
TR & TR-MTE & 45 & 0.5556 \\
OVGU & OVGU_run2 & 44 & 0.5432 \\
KIS & KIS1 & 44 & 0.5432 \\
KIS & KIS3 & 44 & 0.5432 \\
UA & UA_1st & 43 & 0.5309 \\
KIS & KIS2 & 43 & 0.5309 \\
UA & UA_dl & 41 & 0.5062 \\
TR & TR_Electra & 36 & 0.4444 \\
OVGU & OVGU_run1 & & \\


# 深層学習モデルは司法試験をどこまで解いているのか :問題分類とそれに基づく分析

清田直希 ${ }^{1}$ 藤田真伎 ${ }^{2}$ 狩野芳伸 ${ }^{1}$
1 静岡大学大学院 総合科学技術研究科 情報学専攻 2 静岡大学 情報学部
nkiyota@kanolab.net mfujita@kanolab.net kano@inf.shizuoka.ac.jp

## 概要

自然言語処理技術の法的応用は重要であるが，テ キストの専門性が高く, 複雑な構文・意味構造の法律文書を処理するのは依然として難しい。司法試験 の自動解答を題材とした COLIEE では，多くの参加 チームが end-to-end の深層学習モデルを提出してお り,一見高いスコアを獲得しているように見えるが, これらのモデルはブラックボックス的な処理のため,解答の根拠を示すことは難しい. 本稿での問題分類 とシステム出力の詳細な比較により、現在のシステ ムは未だ正しい推論過程に基ついた自動解答を行え ていないことが示唆された。

## 1 はじめに

近年，自然言語処理技術は急速に発展し，様々な 分野での活用が期待されている。司法の分野も例外 ではなく，法律文書は文章中の事象を客観的に判断 しなければならないことから，自然言語処理の導入 に期待が高まっている。

本研究では，毎年開催されている我が国の司法試験の自動解答を行うコンテスト型のワークショップ COLIEE タスクシリーズ[1]-[7]で配布されたデータ を対象とする. COLIEE2021[8]で，我々は日本語の 述語項に着目した解答器を作成した. その他のチー ムは，汎用的自然言語処理モデル BERT[9]を使用し た機械学習的なアプローチで自動解答を実現してい た.

法律文書の処理は，専門性の高い言語が多く用い られているうえ，複雑な構文構造や人物関係，言い 換え表現など高度かつ多様な解析技術を必要とする 複合的な要素がある。こうした, 複雑な文書処理に ついて現状の自然言語処理モデルが論理的な解答を 行っているのかを, 問題分類を通して分析した。最後に，この分析に基づいて，説明可能な自動解答モ
デルの実現について論じる

## 2 司法試験の自動解答タスク COLIEE

## 2. 1 COLIEE

COLIEE (Competition for Legal Information Extraction and Entaiment)は, COLIEE 2014，COLIEE 2015 , COLIEE 2016 と人工知能学会国際シンポジ ア (JSAI-isAI)のひとつである JURISIN (法情報学ワ ークショップ)において開催してきた. COLIEE 2017 は法と人工知能に関するトップカンファレンスであ る ICAIL (International Conference of Artificial Intelligence and Law)において開催された. COLIEE 2018 からはカナダ法を用いたタスクが追加された が，本稿では我が国の司法試験を用いたタスクのみ を対象とする。

司法試験は弁護士や裁判官，検察官となろうとす る者を対象に行われる試験である。問題形式は択一問題を含む短答式と論文式に分けられて行われる.試験の科目数については，短答式が憲法，民法，刑法の 3 科目であり，論文式が公法系科目 (憲法及び 行政法に関する分野), 刑事系科目 (刑法及び刑事訴訟法に関する分野), 選択科目 (知的財産法, 労働法 などの中から 1 科目選択する)の 4 科目である.

COLIEE ではこのうち民法短答式試験を対象とし ている. 多択を 2 択にブレークダウンするとともに，解答に関連する条文を検索する情報検索タスク (Information Retrieval)と， 2 択を Yes/No で答える含意関係タスク (Entailment)がある。また，知識源と して民法の全条文を配布し，問題文共々原文の日本語に加え，英語に翻訳したものを配布している。

COLIEE 2021 では, 5 つのタスクが用意され, Task1 と 2 はカナダの判例法を用いたタスクであった. Task3 が情報検索タスク, Task4 が含意関係タスクで あった．以下で各タスクを定式化する。
情報抽出タスクでは, 与えられた問題文 $\mathrm{Q}$ を解答 するのに関連する民法条文のサブセット $\mathrm{S}_{1}, \mathrm{~S}_{2}, \cdots$, $\mathrm{S}_{\mathrm{n}}$ を民法全体から抽出する。

含意関係タスクは，与えられた問題文 $\mathrm{Q}$ を同時に 与えられた民法条文のサブセット $\mathrm{S}_{1}, \mathrm{~S}_{2}, \cdots, \mathrm{S}_{\mathrm{n}}$ が含意するかを解答するタスクである. すなわち, 含意関係にあれば Yes，そうでなければ No と解答する。

Task5 は司法試験の問題文のみを与えられ, 条文検索から解答まで行う Task3 と 4 を組み合わせたタ スクとなっている。本稿では Task 4 を対象とする.

なお, Task 4 と 5 においては 2 択のブレークダウ ンによって, 法律文書を正しく理解していなくても， Yes/No で解答をすれば $1 / 2$ の確率で正解になってし まうため, 解答の論理性が失われる点が課題とされ ている.

## 2.2 分析対象の解答器モデル

本稿では我々が COLIEE 2021 において作成した 解答器である KIS1[10]を分析対象に用いる. この解答器は我々の COLIEE 2020 のモデル[11]をベースに しており, 述語項構造の抽出比較が基盤になってい る. 本モデルは従来のモデルの節セットに加えて,関連条文中には登場しない表現を抽象表現に置き換 え(例 : “甲” $\rightarrow$ “物”), 節分割により節セットの要素 を埋められれなかった場合, 隣接する節の引数を利用して要素を埋める新規節セットを用いている. ま た, 従来では問題文と関連条文の文末の節セットの みが比較対象であったが, 本解答器ではすべての節 セットを比較することができる項探索モデルを実装 した. 本解答器は我々が提出したものの中で最も高 い精度であった。

また, 本稿の分析のためにシンプルな BERT を用 いた解答器(Vanilla BERT モデル)を作成した. 本モ デルは日本語の Wikipedia で訓練されているi. 事前訓練に使用されたテキストファイルは約 1,700 万文 で構成されており, サイズは 2.6GB である. ファイ ンチューニングの際には, COLIEE で出題された過去の問題から作成された 2,164 の訓練データを使用 した.

COLIEE 2021 では 80 問の問題を対象に解答の精度を競った. 我々が分析対象とするモデルは, 述語項ベースの正解が 44 (正答率: .550), vanilla BERT の 正解が 50 (正答率: .625)であった.

## 3 司法試験の問題分類

司法試験を解答するうえでは，背後にある構文構造, 人物の役割と関係性, 論理, 抽象性など多様で 複雑な構造を的確に処理をする必要がある。 どの問題解答にどのような要素技術が必要か, 平成 29 年度以降のテストデータを対象に解答に必要な要素基準 ごとに手作業でマルチラベル分類をした．分類の基準を表 1 に示す. 本節ではうちいくつかの分類基準 を概説する。

## 表 1 COLIEE 司法試験問題の技術別分類基準

分類名分類基準文章の一部を省略している際に，それが何

照応解析 を指しているのかを明確にする際に用い る.「こそあど言葉」のみだけではなく「前文」「同項」なども対象となる

条文検索 条文中に別の条文が指定されている問題

意味役割

付与問題文の中で用いられている名詞が動作主なのか・その動作の対象なのか, 手段な のか等を特定する必要がある問題

## 条件文抽

出・判断問題文・条文のそれぞれの条件文を調べる ことで正誤が判断できる可能性がある問題

係り受け主語と述語の関係 又は文の並列関係に着解析 目する必要がある問題

箇条書き

解析条文で箇条書きが用いられている問題. 主 に箇条書きに書かれているものは条件を 満たす変数とみなしてよいと考える。

法律系用 民法に記載されている文章と司法試験中語事実関での言動についての事実関係を示す必要

係 がある問題

## 否定形解又は「〜できない(不可能)」「〜しなけれ

釈 ばならない(義務)」など「ない」が用いら れていてもその意味が異なる問題法律系の言語ではない一般生活で用いら

一般辞書 れるような事物が出てきている問題(例:冷蔵庫, 会社)

 \\

付与 & 必要がある問題

## 3.1 照応解析

照応解析は，文章中で登場する「これ」や「この」 などの指示内容を明確にする解析である．前述の指示しに加えて，「前章」や「同項」など司法試験特有の指示表現もあり，言語処理においてはその内容 を正しく理解する必要がある.

## 3.2 条件文抽出・判断

条件文抽出・判断は問題文及び条文の条件文を調 べることで正誤判定ができる可能性がある問題であ る. 例えば以下のような問いである。

関連条文 :

第百六十条 相続財産に関しては，相続人が確定し た時, 管理人が選任された時又は破産手続き開始の 決定があった時から六箇月を経過するまでの間は，時効は，完成しない。

問題文 (正答: No) :

相続財産に関しては, 相続財産管理人が選任された 場合でも，相続人が確定するまでの間は，時効は完成しない.

太字の部分が文章中の条件である.この場合, 相続財産の時効不成立の条件が正誤の判断材料になる.関連条文では, 管理人選任時から六箇月間は時効が 完成しないと記載されているのに対し, 問題文では 相続人が確定するまでの間と主張されている.この ように,これらの文は条件が異なっていることから，答えは Noとなる.

## 3.3 法律系用語事実関係

法律系用語事実関係とは, 法的な知識を要する表現の関係性である。例えば，問題文では「売買」，関連条文では「双務契約」と記述されていた場合，前者が後者の包含関係にあることを正しく理解しな ければ関連条文の内容を適用するかどうかを判断で きない。つまり，直接記載されていたり，肯定形や 否定形を入れ替えたりしただけの単純な問題ではな い.

## 3. 4 否定形解釈

否定形解釈は，条文及び問題文の否定形を正しく 解釈したうえで，正誤の判断材料にするタスクであ る. 以下のように条文の内容を否定形に反転した司法試験の問題も見受けられる.

関連条文:

第六百七十五条 組合の債権者は, その債権の発生 の時に組合員の損失分担の割合を知らなかったと きは，各組合員に対して等しい割合でその権利を行使することができる.

問題文 (正答: No):

組合の債権者は, 各組合員に対して, その権利を行使することができない.

このように, 関連条文の内容を否定形にすること で，問題文の主張の正誤も反転する。つまり，この 問題の答えは No となる.

否定形解釈は一見，文末の「ない」を認識できれ ば簡単に評価できるように思えるが，以下のような 問いでは「ない」のみで判断することが難しい.

関連条文：

第六百三十三条 報酬は，仕事の目的物の引き渡し と同時に，支払わなければならない.

問題文 (正答: No) :

請負人は，仕事の目的物の引き渡しを要する場合に は，これを引き渡した後でなければ，報酬を請求す ることができない.

この場合，条文と問題文それぞれに「ない」が用 いられている.しかし, 後者は否定形なのに対して,前者は「義務」を表しているため,この問題の答え は No となる. つまり，この問題を解くためには， これらの「ない」に内在される意味を把握しなけれ ばならない.

## 3.5 人物関係抽出 $\cdot$ 人物役割付与

## 関連条文:

第二百条 占有者がその占有を奪われたときは，占有回収の訴えにより，その物の返還及び損害の賠償 を請求することができる。

問題文 (正答: Yes):

A は自己の所有する工作機械を B に賃貸していた が，B は，工作機械の賃貸借契約継続中に工作機械 をCに窃取された。この場合，Bは，Aから独立し て，Cに対して占有回収の訴えを提起することがで きる.

先に示した例では，問題文を関連条文と単純に比較することは難しく，正しい解答を出すためには A やB といった人物がどんな関係性であり，それぞれ の人物がどのような役割を担っているのかを明らか にする必要がある．この場合，A と B は「賃貸借契約」の関係性である。こうした複数の人物間の関係性を明らかにする必要がある問題には人物関係抽出 のタグをつけた。一方で，A は「賃貸人」，B は「賃借人」となり, 工作機械を「占有」していることに なる。このように，各人物が問題文中でどのような 役割を担っているのかを明らかにする必要がある問題が人物役割付与である.

## 4 説明可能な自動解答に向けた分析

## 4. 1 問題分類別の正答率

表 2 BERT モデルの問題分類別正答率 (COLIEE2021 抜粋)

 &  &  & 艺 &  &  &  \\

表 2 は COLIEE 2021 の他参加チームのうち BERT を用いたモデルと，筆者らが作成した Vanilla BERT と, baseline（全て No と解答した場合）とについて の問題分類別の正答率を抜粋したものである. BERT モデルは古典的な自然言語処理モデルである 筆者らの KIS1 よりも，それぞれの分類で高い正答率であった。

## 4. 2 問題分類別の解答状況

本節では, 実際に出題されたテストデータを基に,問題の分析を行った (問題例については付録 Bを参照). 本問題では先の章で示したように，A や B の役割を明らかにしたうえで，下線部が「債務の目的物 の代償である権利の移転」の法律用語系事実関係で あることもあり，より難易度が高い問題だと考えら れる。使用言語別にみると，日本語モデルは $10 / 12$ に対し，英語モデルは $3 / 6$ であった。しかし本問題 では，英語では “a seller (A)”のように役割が明記さ れており前述のような人物役割の推論過程を省略で きる. 日本語よりも推論が容易にも関わらず，正答率について大きな差が出た点で現状の推論が不十分 なことを示唆できる。

## 5 議論と展望

COLIEE 2021 では 7 割程度の精度を達成した解答器も存在したが，問題分類別の分析を行った結果，同じ技術に分類された問題においても，正答率が安定していなかったため，解答器が法律文書を十分正 しく処理するためにはまだ多くの課題があると考え る．法律分野における実用を想定すると，推論過程 とその根拠を示す必要がある．現状の 2 択式で解答器の精度を計る評価方法については，新たな評価尺度を追加し，ブラックボックス的な処理の弊害を除 きうる説明可能な技術の開発を進めたい.

## 謝辞

本研究は JSPS 科研費 17H06103 の助成を受けたも のです.また，COLIEE のオーガナイザの方々には 本研究に使用したデータを提供していただきました ことを厚く御礼申し上げます。

## 参考文献

[1] "Competition on Legal Information

Extraction/Entailment (COLIEE-14), Workshop
on Juris-informatics (JURISIN) 2014," 2014. http://webdocs.cs.ualberta.ca/ miyoung2/jurisin_ task/index.html.

[2] M.-Y. Kim, R. Goebel, and K. Satoh, "COLIEE-2015 : Evaluation of Legal Question Answering," in Proceedings of the Ninth International Workshop on Juris-informatics (JURISIN 2015), 2015, pp. 1-11, [Online]..

[3] M.-Y. Kim, R. Goebel, Y. Kano, and K. Satoh, "COLIEE-2016: Evaluation of the Competition on Legal Information Extraction and Entailment," in Proceedings of the Tenth International Workshop on Juris-informatics (JURISIN 2016), 2016, pp. 1-13, [Online].

[4] Y. Kano, M.-Y. Kim, R. Goebel, and K. Satoh, "Overview of COLIEE 2017," in Proceedings of the Competition on Leal Information Retrieval and Entailment Work-shop (COLIEE 2017) in association with the 16th International Conference on Artificial Intelligence and Law, 2017, vol. 47, no. no.Icail, pp. 1-8.

[5] M. Yoshioka, Y. Kano, N. Kiyota, and K. Satoh, "Overview of Japanese Statute Law Retrieval and Entailment Task at COLIEE-2018," in Proceedings of the Twelfth International Workshop on Juris-informatics (JURISIN 2018), 2018, pp. 1-12.

[6] R. Goebel, Y. Kano, M.-Y. Kim, J. Rabelo, K. Satoh, and M. Yoshioka, "COLIEE 2019 Overview," in Proceedings of the Competition on Legal Information Retrieval and Entailment Workshop (COLIEE 2019) in association with the 17th International Conference on Artificial Intelligence and Law, Jun. 2019, pp. 1-9.

[7] J. Rabelo, M.-Y. Kim, R. Goebel, M. Yoshioka, Y. Kano, and K. Satoh, "COLIEE 2020: Methods for Legal Document Retrieval and Entailment," in Proceedings of the Fourteenth International Workshop on Juris-informatics (JURISIN 2020), 2020, pp. 1-15.

[8] R. Goebel, Y. Kano, S. Univesity, M. Kim, and J. Rabelo, "Summary of the Competition on Legal
Information Extraction/Entailent (COLIEE) 2021," in Proceedings of the COLIEE Workshop in ICAIL., 2021, pp. 1-7.

[9] J. Devlin, M.-W. Chang, K. Lee, and K. Toutanova, "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding," Oct. 2018, Accessed: Jan. 08, 2020. [Online]. Available: http://arxiv.org/abs/1810.04805.

[10] M. Fujita, N. Kiyota, and Y. Kano, "Predicate's Argument Resolver and Entity Abstraction for Legal Question Answering: KIS teams at COLIEE 2021 shared task," in Proceedings of COLIEE 2021 Workshop on International Conference on Artificial Intelligence and Law (ICAIL 2021), 2021, pp. 15-24.

[11] R. Hayashi, N. Kiyota, M. Fujita, and Y. Kano, "Legal Bar Exam Solver integrating Legal Logic Language PROLEG and Argument Structure Analysis with Legal Linguistic Dictionary," in Proceedings of the Fourteenth International Workshop on Juris-informatics (JURISIN 2020), 2020, pp. 148-161.

[12] M. Yoshioka and Y. Suzuki, "BERT-based ensemble methods with data augmentation for legal textual entailment in COLIEE statute law task," in Proceedings of the COLIEE Workshop in ICAIL., 2021, pp. 78-83.

[13] M.-Y. Kim, J. Rabelo, and R. Goebel, "BM25 and Transformer-based Legal Information Extraction and Entailment," in Proceedings of the COLIEE Workshop in ICAIL., 2021, pp. 25-30.

[14] H.-T. Nguyen et al., "JNLP Team: Deep Learning Approaches for Legal Processing Tasks in COLIEE 2021," in Proceedings of the COLIEE Workshop in ICAIL., 2021, pp. 46-53.

[15] S. Wehnert, S. Viju, D. Shipra, K. Libin, S. Saijal, and W. de L. Ernesto, "Legal norm retrieval with variations of the bert model combined with TF-IDF vectorization," 2021.

## 付録 A COLIEE 2021 formal run の問題分類別正答率

Table 1 COLIEE 2021 Task4 formal run の問題分類別正答率 (チーム名はそれぞれ a1: HUKB-1, a2: HUKB-2, a3: HUKB-3, b1: JNLP.Enss5C15050, b2: JNLP.Enss5C15050SilverE2E10, b3: JNLP.EnssBest, c1: KIS1, c2: KIS2, c3: KIS3, d1:OVGU_run1, d2: OVGU_run2, d3: OVGU_run3, e1: TR-Ensemble, e2: TR-MTE, e3: TR_Electra, f1: UA_dl, f2: UA_parser, g: our Vanilla BERT, h: COLIEE_baselineを表している)

 &  &  &  &  &  &  &  &  &  &  &  &  &  &  &  &  &  &  &  \\

## 付録 B

問題文 (正答: Yes):

A と B は，Ａが所有する骨董品甲を B に 100 万円で売却する旨の売買契約を締結した．売買契約の締結後，B が 代金 100 万円を支払ったが，A が甲を B に引き渡す前に，甲が B の責めに帰すべき事由により焼失した場合にお いて，A が甲の焼失による損害をてん補するために支払われる損害保険金 70 万円を得たときは， B は，A に対し， 70 万円の支払を請求することができる.

(If, after the conclusion of the contract for sale, a buyer (B) pays 1000000 yen for $\mathrm{X}$, but before a seller (A) delivers $\mathrm{X}$ to B, $\mathrm{X}$ is burned-out due to grounds attributable to $\mathrm{B}$, and $\mathrm{A}$ obtains 700,000 yen of the insurance money for damage caused by the destruction of X, B may claim payment of 700,000 yen to A.)

関連条文:

第四百二十二条の二 債務者が，その債務の履行が不能となったのと同一の原因により債務の目的物の代償であ る権利又は利益を取得したときは，債権者は，その受けた損害の額の限度において，債務者に対し，その権利の 移転又はその利益の償還を請求することができる。

(Article 422-2 If the obligor acquires a right or profit as a substitute for the subject matter of the obligation due to the same cause as the one that has rendered the performance of the obligation impossible, the obligee may demand the transfer of the right or reimbursement of the profit from the obligor, to the extent of the amount of damage sustained thereby.)


# グラフ表現による文章の構造情報を用いた機械読解

小坂 直輝 ${ }^{1}$ 小林哲則 ${ }^{1}$ 林 良彦 1
1 早稲田大学理工学術院
kosaka@pcl.cs.waseda.ac.jp

## 概要

本研究では，グラフ構造による文章表現を利用す る機械読解手法を提案する．単語依存構造をべース に文の位置関係や共参照，談話修辞構造を用いて文章全体の構造を表すグラフを生成し，これをグラフ 畳み込みモデルを介して表現する。得られた表現を 事前学習済言語モデルによる文脈表現と併用するこ とで読解問題を解く. 多肢選択型機械読解タスクに おける実験の結果，言語モデル単体を用いた場合や 既存手法と比べて精度向上が確認され，文章全体の 構造をグラフとして表現し利用することの有用性が 示唆された。

## 1 はじめに

近年，BERT [1] や XLNet [2] といった大規模な事前学習済言語モデルが幅広いタスクで高い精度を達成しているが，こうしたモデルは語順や構文情報に 弱いという指摘が存在する [3].

多肢選択型機械読解においても言語モデルと併用 して，文章の構造情報を明示的に与えることで精度向上を実現した研究が現れている ([4]，[5]). 一方で これらの研究では，いずれも用いられている構造情報は限定的であるという問題があり，特に文間の関係や文章全体の構造などはあまり考慮されていな い. 文章構造の適切なグラフ表現形式を明らかする ことを目的とした我々の以前の研究 [6] においても，上記のような上位階層の構造情報は考慮できていな かった.

本研究では，グラフ構造による文章表現を利用す る機械読解手法を提案する。 より具体的には，単語依存構造をべースに文の位置関係や共参照，談話修辞構造を用いて文章全体の構造を表すグラフを生成 し，これをグラフ畳み込みモデルを介して表現した 結果を事前学習済言語モデルによる文脈表現と統合 することにより読解問題を解く. 多肢選択型機械読解のデータセット RACE[7]を用いた実験の結果，言語モデル (BERT) 単体や文章の構造情報を部分的に 利用する既存手法と比べて精度向上が確認され，提案する文章グラフを用いて文章全体の構造情報を明示的に与えることが有用であることが示唆された.

## 2 関連研究

文章の構造情報を事前学習済言語モデルと併用す る形で利用し読解タスクに取り組んだ研究 [4] や [8] では， self-attention network 構造をもつエンコーダで 文章を処理する際に，単語依存構造によりアテン ション計算を明示的に制限してエンコードした表現 を併用することで精度向上を達成している. 本研究 でも単語依存構造グラフを用いるという点で関連が あるが，単語依存関係のみでは文間の意味関係や文章の談話構造といった高い階層の構造情報は考慮で きない。加えて上記研究のようなアテンション計算 に制約を加えるような手法には，依存関係ラベルな どの関係の種別を明示的に利用することはできない という問題もある。さらに高度な意味情報を用いた 研究としては，意味役割付与を行った結果を入力す る文の単語表現に加える形で用いて読解精度向上を 達成した研究 [5] がある.

文章の構造情報をグラフとして表現し読解タスク に取り組んだ研究としては [9] がある. 文章から文内もしくは文間にまたがる因果関係や時間的関係を 表すイベントグラフと呼ばれるグラフを生成し，そ れを既存の機械読解モデルの補助として用いること で精度向上を達成している。また，[10] では抽象的意味表現 (Abstract Meaning Representation: AMR)[11] を用いて，機械読解における文章と QA の文それぞ れから生成したグラフのアライメント計算を行うこ とで読解問題を解いている. これらの研究では文内 に限定されない構造情報を表現したグラフを生成し ているが，高い階層の構造情報の考慮は限定的であ る.また，両研究では事前学習済言語モデルとの比較や併用は行われていない。

文章のグラフ表現を文間関係抽出のタスクに適用

した研究例として [12]がある. この研究では，文の 単語依存構造グラフに対して隣接語や隣接文を繋い だエッジ，共参照解決によるエッジなどを付加する ことにより，エッジに富んだ文章のグラフ表現を生成し，グラフ畳み込みモデルを介し利用している. こうしたエッジの追加は機械読解においても有用だ と考えられ，本研究でも [12] と同様に，文の隣接関係や共参照解決結果を用いたエッジの追加を行う。

以上のように，機械読解をはじめ自然言語タスク において文章の構造情報を明示的に与える研究は複数存在するが，総じて利用されている構造情報は限定的であり，特に文間の関係や文章全体の構造など 上位階層の情報に関しては検討の余地が残されて いる.

## 3 アプローチ

本研究では，読解において対象となる文章全体か らその構造を表す図 1 のようなグラフを生成し，得 られた文章のグラフ表現をグラフ畳み込みモデルを 介して，言語モデルと併用する形で利用することで 読解問題を解く．以下では文章グラフ生成法と構築 した読解モデルについて述べる。

図 1 階層的な文章グラフの概要. level 1 では各文の依存構造を表し， level 2 では文章全体の修辞構造を表す。

## 3.1 文章のグラフ表現生成法

読解問題における文章のグラフ表現の生成におい ては，まず文章中の各文をグラフに変換し，文間に またがるエッジを追加することで各文ごとのグラフ を統合する．さらに談話修辞構造を利用することで 文章全体の構造を表すグラフを構成する。

## 3.1.1 文グラフの生成と統合

ベースとなる各文の表現には， [4] や [8] と同様に 依存構造グラフを用いる。文分割や依存構造解析に
は自然言語解析エンジンの $\mathrm{spaCy}^{11}$ を用い，単語を ノードとしその依存関係をエッジで表現することに より文の構文・意味構造を表す依存構造グラフを作成する.

各文のグラフの統合では，(1) 隣り合う文同士の依存関係グラフの ROOT ノードを隣接文エッジにより 結ぶ，(2) 文統合の目的で特別に導入する HUB ノー ドを介して全ての文をスター状に繋ぐ，(3) 共参照関係にある単語間を結ぶ共参照エッジにより文グラ フを補強する，という 3 つの手段 [6] を適用する。 ここで共参照解決エンジンには neuralcoref ${ }^{2}$ [13]を 用いた.

以上までの段階で生成される文章のグラフ表現の 例を図 2 に示す。

図 2 単語依存構造グラフとその統合

## 3.1.2 RST を利用した文章グラフの生成

図 2 のグラフでは文間の関係や文章全体の構造を 考慮しきれているとは言えない。そこでより高い階層の構造情報を取り入れるために，文章の部分間の 関係を記述するテキスト編成の理論である修辞構造理論 (Rhetorical Structure Theory: RST)[14] に基づい て構成される修辞構造木を利用する。

修辞構造木において，文章は Elementary Discourse Unit (EDU) と呼ばれる基本談話単位に分割され，隣接する談話単位同士は修辞関係によってより大 きい談話単位へと統合されていく，修辞関係には ‘Elaboration’や ‘Condition’など，その関係を表す 様々なラベルが与えられ，その中には因果関係や時間的関係を表すものも含まれる。こうした情報は読解を行う際の推論に有用だと考えられる.

図 3 は読解問題の文章の一部を修辞構造木に変換 した例である. 図 3 では There are two pictures in the room, too. という文を They are on the wall. という文 が精緻化しているという関係が表現されている。こ

図 3 RST に基づく修辞構造木

の文章に対しては部屋の壁には何があるかという質問が存在し，こうした文中の特定の一文のみを見て も答えるのが難しい読解問題の推論において RST の修辞構造は有用だと考えられる。

実際のグラフ生成においては，基本談話単位であ る EDU のノード同士を修辞関係を表すエッジで直接結ぶことによりグラフを構築する． RST パーサー には [15]を用いた. 例えば，図 3 のような修辞構造木は，図４のようなグラフとして表される.

図 4 RST グラフ

## 3.1.3 異なる階層の構造情報の統合

談話修辞構造の利用法としては，単語依存構造を ベースとしたグラフ (図 2) に，さらにエッジを追加 するような形で一つのグラフに統合する手法がまず 考えられる。しかし，単語依存構造と談話修辞構造 はレベルの大きく異なる別々の構造情報であること から，二種類の構造情報を混ぜてしまうことは適切 でない。そこで各 EDU に対し，EDUに含まれる各単語ノードと接続されるような Mini-Hubノードを 導入し，これが EDUノードと対応するようにした。以上により生成される文章グラフは, 図 1 に示した ように大きく二つの階層を持つ. これにより文章が 持つ階層構造も適切に表現できると考えられる.

## 3.2 読解モデル: Graph_RC

本研究で提案する読解問題を解くモデル Graph_RC の概要を図 5 に示す. 多肢選択型読解問題における文章，質問文，回答の選択肢 1 つを与

図 5 読解モデル (Graph_RC)

え，正しい選択肢か否かの評価値を予測し，最終的 に 4 つの選択肢の評価値に softmax を施すことで正 しい選択肢を求める.

Sentence Encoder (言語モデル)への入力は, $[$ CLS $]+$文章 $+[\mathrm{SEP}]+$ 質問＋回答の選択肢 $+[\mathrm{SEP}]$ という 形式で与える. また， 3.1 で述べた手順で文章のグ ラフ表現を生成しておく．言語モデルの出力として 得られる，文脈を考慮したトークンごとの表現を文章グラフの下位階層の単語ノードに初期潜在表現と して与える. ここで，文章グラフの単語ノードに対応するトークンが複数のサブワードトークンに分割 されている場合は，これらの複数のトークンの表現 を平均した結果を用いる。

グラフ畳み込みモデルによる文章グラフのエン コードにおいては，大きく二つの階層をもつグラフ の構造 (図 1) に合わせ，各文の構造を表す下位階層 の部分をエンコードした後，文章構造を表す上位階層の部分をエンコードすることで文章全体の表現 を得る。上位階層のエンコードにおいては，下位階層のエンコードの結果 Mini-Hubノードに集約され た表現をEDUノードの初期表現として与え，畳み 込み演算の後の全 EDU ノードに対し global attention pooling を適用することで文章グラフの表現を得る. こうした階層的な処理により，GCN の畳み込み演算後に多くのノード全てを一度に pooling すること でノードの表現が平均化され情報が失われる影響を 低减する効果が期待できる。

最終的に言語モデルから得られる CLS トークン の表現と，グラフ畳み込みモデルから得られる文章 グラフの表現を結合し，全結合層からなる出力層に 与えることにより，注目している選択肢が回答であ るかを判定する。

## 4 実験

## 4.1 実験設定

多肢選択型の機械読解データセットの中でも比較的データ数が豊富な RACE [7] を用いて評価実験を 行った. RACE においては一つの文章に対して複数 の質問と各質問ごとに 4 つの選択肢が与えられてお り，各質問に対して正しい選択肢を選ぶことが求め られる。

実験においては Sentence Encoder として利用する 言語モデルに BERT [1]を採用し, bert-base-uncased ${ }^{3 \text { ) }}$ と bert-large-cased-whole-word-masking ${ }^{4)}$ の二種類の 事前学習済モデルを fine-tuning する形で利用した.評価指標には正答率を用いた。

図 5 におけるグラフ畳み込みモデルとしては RGCN[16] を用い，下位階層と上位階層は，それぞ れ 6 層, 4 層とした. また, 出力の全結合層は 2 層 とした. BERT の最大系列長は 512 で統一し, [1]を 参考にオプティマイザとして重み減衰に L2 正則化 を適用した adamである adamwを使用した。

## 4.2 結果と考察

表 1 に各モデルの正答率を示す.ここで，Turkers とはランダムにサンプリングされたテストデータに 対する人による正答率の平均であり, 平均的な人の 能力を表す. 一方, Ceiling とは曖昧な問題や正解の ない問題を除いた人間が回答可能と考えられる問題の割合であり，人間による正答率の上限値を近似 する. Graph_RC-base, Graph_RC-large と記したのが 本研究の提案モデルであり, それぞれ言語モデルに BERT-base，BERT-large を採用した結果である。ま た，表の CSFN，SG-Net というモデルは，文章の構造情報を言語モデルに併用する形で用いる既存研究であり，それぞれ言語モデルとして BERT-base, BERT-large を採用している.

表 1 から，BERT 単体を用いた場合と比べて，提案モデル Graph_RC が高い精度を達成したことが分 かる.これにより，文章の構造情報を利用する有効性が確認できた。また意味役割の情報を利用する CSFN や単語依存構造を利用する SG-Net といった 既存手法と比較しても精度向上が確認できたことか ら，文内に限らない異なる階層の構造情報を複合的

表 1 実験結果

に用いることが有効だと考えられる。

Graph_RC のさらなる精度向上のためには，現状 グラフ表現と言語モデルからの文脈表現の結合にお いて単純な concatを適用している部分に, [5] で用 いられているようなゲート機構やアテンションを導入することが考えられる. また現段階では，質問文 や答えの選択肢については文章グラフに含まれてい ないため，これらの情報を適切に文章グラフに組み 込むことも有効であると期待できる。

なお，入力する文章グラフや利用するグラフ畳み 込みモデルの影響について調べるため, Graph_RCbase を用いて，RACE データセットの一部である RACE-M にて条件を変化させて学習・評価した場合 についての分析を Appendix に掲載している.

## 5 おわりに

本研究では，機械読解タスクにおける精度向上を 目的とし，グラフ構造による文章表現を利用する機械読解手法を提案した. 具体的には, 単語依存構造 をべースに，文の位置関係や共参照，談話修辞構造 の解析結果を用いることにより，文レベル，文章レ ベルの 2 つの階層からなる文章のグラフ表現を構成 した. 評価実験の結果，言語モデル単体を用いた場合と比べて精度向上が達成され, 多肢選択型機械読解タスクにおいて，提案する文章グラフを用いて文章の構造情報を明示的に与えることの効果が確認で きた. また既存の文章の構造情報を部分的に利用す る手法との比較や，入力するグラフを変化させての 分析の結果から, 複数の異なる階層の構造情報を複合的に用いることの有用性が示唆された.

今後の課題としては, [17] など別の読解データ セットや [18] などより大規模な言語モデルを用いた 実験が考えられる。

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018.

[2] Zhilin Yang, Zihang Dai, Yiming Yang, Jaime Carbonell, Russ R Salakhutdinov, and Quoc V Le. Xlnet: Generalized autoregressive pretraining for language understanding. Advances in neural information processing systems, Vol. 32, , 2019.

[3] Thang M Pham, Trung Bui, Long Mai, and Anh Nguyen. Out of order: How important is the sequential order of words in a sentence in natural language understanding tasks? arXiv preprint arXiv:2012.15180, 2020.

[4] Zhuosheng Zhang, Yuwei Wu, Junru Zhou, Sufeng Duan, Hai Zhao, and Rui Wang. Sg-net: Syntax-guided machine reading comprehension. In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 34, pp. 9636-9643, 2020.

[5] Qianwei Duan, Jun Huang, and Huiyan Wu. Contextual and semantic fusion network for multiple-choice reading comprehension. IEEE Access, Vol. 9, pp. 51669-51678, 2021.

[6] 小坂直輝, 小林哲則, 林良彦. グラフによるテキス ト表現の機械読解における適用性評価. 人工知能学会全国大会論文集, Vol. JSAI2021, pp. 3J1GS6a053J1GS6a05, 2021.

[7] Guokun Lai, Qizhe Xie, Hanxiao Liu, Yiming Yang, and Eduard Hovy. Race: Large-scale reading comprehension dataset from examinations. arXiv preprint arXiv:1704.04683, 2017.

[8] Shuyi Wang, Hui Song, Bo Xu, and Hongkuan Zhang. Enhancing embedding via two-level features for machine reading comprehension. In China Conference on Knowledge Graph and Semantic Computing, pp. 261-273. Springer, 2020.

[9] Yawei Sun, Gong Cheng, and Yuzhong Qu. Reading comprehension with graph-based temporal-casual reasoning. In Proceedings of the 27th International Conference on Computational Linguistics, pp. 806-817, 2018.

[10] Mrinmaya Sachan and Eric Xing. Machine comprehension using rich semantic representations. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 486-492, 2016.

[11] Laura Banarescu, Claire Bonial, Shu Cai, Madalina Georgescu, Kira Griffitt, Ulf Hermjakob, Kevin Knight, Philipp Koehn, Martha Palmer, and Nathan Schneider. Abstract meaning representation for sembanking. In Proceedings of the 7th linguistic annotation workshop and interoperability with discourse, pp. 178-186, 2013.

[12] Sunil Kumar Sahu, Fenia Christopoulou, Makoto Miwa, and Sophia Ananiadou. Inter-sentence relation extraction with document-level graph convolutional neural network. arXiv preprint arXiv:1906.04684, 2019.

[13] Kevin Clark and Christopher D Manning. Deep reinforcement learning for mention-ranking coreference models.
arXiv preprint arXiv:1609.08667, 2016

[14] William C Mann and Sandra A Thompson. Rhetorical structure theory: A theory of text organization. University of Southern California, Information Sciences Institute Los Angeles, 1987.

[15] Vanessa Wei Feng and Graeme Hirst. A linear-time bottom-up discourse parser with constraints and postediting. In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 511-521, 2014.

[16] Michael Schlichtkrull, Thomas N Kipf, Peter Bloem, Rianne Van Den Berg, Ivan Titov, and Max Welling. Modeling relational data with graph convolutional networks. In European semantic web conference, pp. 593-607. Springer, 2018.

[17] Daniel Khashabi, Snigdha Chaturvedi, Michael Roth, Shyam Upadhyay, and Dan Roth. Looking beyond the surface: A challenge set for reading comprehension over multiple sentences. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 252-262, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[18] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach. arXiv preprint arXiv:1907.11692, 2019.

[19] Petar Veličković, Guillem Cucurull, Arantxa Casanova, Adriana Romero, Pietro Lio, and Yoshua Bengio. Graph attention networks. arXiv preprint arXiv:1710.10903, 2017.

## A Appendix

本節には，Graph_RC-baseを用いて，RACEデータ セットの一部である RACE-M にて条件を変化させ て学習・評価した場合についての分析を記す。

## A.0.1文章グラフを変化させた場合の影響

表 2 入力グラフの比較 (3edge は隣接文, HUB ノード,共参照による文グラフの統合を表す)

入力グラフ 正答率 $[\%]$

Dep, 3edge, RST 68.4

Dep, 3edge $\quad 67.7$

Dep 67.3

入力する文章グラフを変化させた場合の比較を表 2 に示す. 表の上から，提案する文章グラフのすべ ての要素を用いた場合，下位階層の部分のみを用い た場合，下位階層のさらに単語依存構造グラフのみ を用いた場合である. 表 2 から提案する文章グラフ 全体を用いた場合の精度が最も高く複数の構造情報 を複合的に用いることが有用であると考えられる。 また単語依存構造グラフのみを用いた場合と比較し て，3種類のエッジによる統合・補強を行い，文の 位置情報や共参照情報を含んだグラフの方を用いた 場合の方が精度が高いことも確認できたがその精度向上幅は僅かであった. これは文グラフの統合・補強用の 3 種類のエッジが文グラフに含まれる依存構造エッジと比較し少ないためだと考えられる.

表 3 は 1 つの文章グラフに含まれているエッジ の大まかなタイプごとの平均本数を示したもので あるが，文章に含まれる単語数に対応する依存構造 エッジに比べて，文の数に対応する隣接文エッジや HUB 統合エッジ，共参照エッジは本数が少ないこ とがわかる。なお，共参照エッジに関しては今回用 いた共参照解決エンジンが読解問題の文章のような 複数文からなる長い文章に対して十分な精度を達成 できておらず，全ての共参照を捉えきれていなかっ たり，誤った共参照解決が行われている例も見受け られた。そのため異なる共参照解決器を用いて共参照解決自体の精度を向上させることで読解精度向上 に寄与することが期待できる.

表 3 エッジの分布

## A.0.2 GCN を変化させた場合の影響

利用するグラフ畳み込みモデルについて， RGCN[16] と GAT[19] を用いた場合の比較を表 4 に 示す．表から RGCNを用いた場合の方が精度が高い ことがわかり，文章グラフに存在するエッジの向き やラベルといった情報を直接利用できることが精度向上に寄与したと考えられる.

図 6 は文章グラフの上位階層のグラフに利用して いる談話修辞構造の修辞関係を表すエッジの種類 ごとの出現頻度を表したものであり，全部で 19 種類のエッジが存在する。依存構造グラフの依存関係 を表すエッジに関してはその種類はさらに多く計 45 種類のエッジが存在する．RGCNにおける畳み 込み演算の基底数や GAT のアテンション計算にお けるアテンションのマルチヘッドの数といったパ ラメータによっても変化すると考えられるが，こう した細かい関係の考慮は GAT より RGCN の方が優 れていると推測される。一方で図 6 からはRST の エッジの分布には大きな偏りがあることがわかり， これは依存関係エッジでも同様である．RGCNを用 いた場合，エッジの種類数が多すぎると出現頻度の 低いエッジについて十分に学習が行われず精度低下 をまねく可能性も考えられ，また計算コストの増大 といった問題もある。そのため出現頻度の低いエッ ジについては同一のラベルにまとめるなど，文章グ ラフにおけるエッジのラベル付けの仕方についても 検討の余地がある.

表 4 グラフ畳み込みモデルの比較

GAT $\quad 66.0$

図 6 RST エッジの分布


# 共起単語ペアの組合せ最適化を用いた問合せログのクラスタリング

湯浅 晃 野村 雄司
株式会社 NTT データ
}

\{Akira. Yuasa, Yuji. Nomura\}@nttdata.com
## 概要

本稿では企業のコンタクトセンタに蓄積される問合せログを集約し「よくある質問」(FAQ)を作成する ユースケースに焦点を当てたクラスタリング手法を 提案する. 提案手法は「文書カテゴリを表現する特徵的な単語の最適な組合せが選択できれば，それら が含まれる文書群を抽出することで良い集約ができ るのではないか」との着想をもとに問合せログ集約 を最大被覆問題として定式化し，数理最適化により 単語ぺアの組合せを得る. 本実験により, 従来手法 を上回る FAQ 抽出精度が得られ, また, その他の利点として最適クラスタ数が自動的に得られることと，高い解釈性が得られることを確認した。

## 1 はじめに

企業のコンタクトセンタやチャットボットにおい て用いられる FAQ の作成は人手で行われることが 多く, コスト上の課題である. FAQの検索タスクに 関する研究は数多いが, 問合せログからの FAQ 作成に関する研究は比較的少なく, 精度に課題がある ことがわかっている。そこで FAQ を自動抽出する ために，問合せログから類似する問合せを集約する タスクに取り組む。

本タスクの特徴は, 入力が比較的短い問い合わせ 文であり，また出力として実用的な粒度の FAQを 得ることを目的とすることである. ここで実用的な 粒度とは，問い合わせ内容を端的に表し，対応する 回答が得られる粒度を意味する。例えば EC サイト における実用的な粒度の FAQ とは, 「注文」などの 抽象度の高い表現ではなく, 「注文をキャンセルす る手順を教えてほしい」といった表現となる.

本研究では，まず人手によって問合せ文書を集約 する場合に行われる操作を観察した. その結果, 文書中の主題や対象を表す特徴語が抽出され，それら を用いた階層的な分類がなされることに着目した。
そこで「文書カテゴリを表現する特徴的な単語の最適な組合せが選択できれば，それらが含まれる文書群を抽出することで良い集約ができるのではないか」 との着想をもとに，問合せ文書の集約を単語ぺアの 組合せ最適化問題として定式化し, ベイズ最適化お よび線形最適化を用いた手法の検証を行った。

## 2 関連研究

問い合わせログからの FAQ 抽出の全体的な処理 を示した研究として, 飯塚ら[1]は, 抽出的要約, word2vec による文書ベクトル化，孤立文書の除去， および k-means によるクラスタリングといった一連 の手法を示している。個々の処理に関する研究とし て，友松ら[2]は文書のベクトル化における BERT の 使用を提案している。またクラスタリングの代わり にパターン抽出を用いるアプローチとして, 長谷川 ら[3]は，係り受け関係にある 2 語の組をパターンと して扱い，応答文書の長さを考慮した上で，頻度べ 一スの特徴語選択と重要度に基づきパターンを抽出 する手法を提案している.

FAQ 抽出の一連のプロセスの中で, 本稿ではクラ スタリングに焦点を当てて取り組む．なぜなら，抽出的要約や孤立文書の除去といった前段の技術は， ノイズを含むデータセットから真に重要な部分を抽出するためのものであるが，ノイズが含まれない理想的な問い合わせデータセットであっても，実用的 な FAQ を得ることを目的とした場合に，そのクラ スタリングの精度に課題があることがわかっている ためである。これは実験結果を示す表 3 において， ノイズが含まれないデータセットである e-learn, StackFAQ であっても, 既存手法の精度が十分でない ことによって示している.

短いテキストのクラスタリングにおける主要課題 は，単語数が少ないため文書ベクトルが高次元かつ スパースとなることである. この課題に対処するた め単語埋め込みやテキスト拡張の手法が考案されて おり，特に深層学習を用いた手法はデータを低次元

でより適切に分離可能な表現空間にマッピングする 効果的な方法として近年勢いを増している. 深層表現学習とクラスタリングの統合に焦点を当てた研究 は多数あり, Xu ら[4]の STCC においては Word2Vec と K-means を組合せた手法が提案され, その後の Hadifar ら[5]の STA においては，SIF を使用するこ とで単語埋め込みを強化した. Rakib ら[6]の ECIC で は，凝集クラスタリングを用いた後に，各クラスタ に含まれる外れ値を除くサンプルをラベル付きデー 夕とみなす半教師あり学習を反復する手法が用いら れている. Zhang ら[7]の SCCL では対照学習が用い られ, 同一ラベルのサンプルからデータ拡張された サンプルをまとめ上げ，異なるラベルのサンプルか らそれらを押しのける学習方法がとられている。

次に, 頻出アイテムセットに着目寸るアプローチ として, Fung ら[8]の FIHC 法が代表的である. これ は文書集合においてグローバルに頻繁に使用される アイテムセットごとに，アイテムセットを含むすべ ての文書で初期クラスタを構築した後に, クラスタ 内のアイテムセット頻度と, 単一文書内のアイテム セット頻度を考慮し，文書をクラスタに紐付けてい く操作を順次行うものである. その後の発展研究と して Zhang ら[9]の Maximum Capturing 法, Lee ら[10] の OCFI 法等が挙げられる。

## 3 提案手法

## 3.1 手法検討

本研究ではビジネス適用における現実的な制約条件を考慮した上で手法検討を行った。まずベクトル 空間アプローチで高精度が得られている Rakib らの ECIC においては反復学習を行うため, サンプル数が 全体として大きく, またクラスタサイズに偏りが少 ないケースが望ましい. しかし本研究の検証用デー タセットにおいては, 表 1 に示す通り, サンプル数 が 500 から 1,000 件程度と比較的小さく, また Enterprise データセットの標準偏差が非常に大きい ことからもわかるように，実世界の問い合わせデー タにおけるクラスタサイズは概してロングテールの 形をとるため適用が難しいと判断した. Zhang らの SCCL についてはまず対照学習のためのデータ拡張 を行う必要があり, その精度が問題となったため適用を見送った。

次に, Fung らの頻出アイテムセットアプローチの 適用を検討したが，アイテムセットのグローバル頻度と各サンプル文書内における頻度を使用するため,比較的大きな語彙数の文書を扱う必要がある. しか し, 本稿の問題設定においては 1 文書あたり 5-10 語程度と文書内のアイテムセット頻度が十分にとれる ほどの長さではないため適さないと判断した.

このように既存手法については，いずれもデータ セットの特性と手法のミスマッチが問題となった. そこで, 問題を特徴語の組み合わせ最適化問題とし て捉える手法を提案する。

## 3.2 組合せ最適化問題としての定式化

提案手法の核となるアイデアは「文書カテゴリを 表現する特徴的な単語の最適な組合せが選択できれ ば，それらが含まれる文書群を抽出することで良い 集約ができるのではないか」というものである.こ の着想に基づき，以下の定式化を行った。 $N$ 件の問合せ文書の集合である問合せログ $D=$ $\left.\{d_{1}, d_{2}, \ldots, d_{N}\right.\}$ が与えられ，Dに含まれる単語集合 $W=\left.\{w_{1,}, w_{2}, \ldots, w_{M}\right.\}$ から単語ぺアを $L$ 個抽出し,

$\left.\{\left(w_{11}, w_{12}\right),\left(w_{21}, w_{22}\right), \ldots,\left(\left(w_{L 1}, w_{L 2}\right)\right)\right.\} \in W$ と る. 次に抽出した単語ぺアが含まれる文書を $\mathrm{D}$ から 抽出し, その結果得られた文書集合を $\left.\{C_{1}, C_{2}, \ldots, C_{L}\right.\}$ とする.このとき，本問題を最大被覆問題として，目的関数と制約条件を以下の通り設定する.

$
\begin{aligned}
& \max \cdot \sum_{i=1}^{L} \frac{\left|C_{i}\right|}{N} \\
& \text { s.t. } \bigcap_{i=1}^{n} C_{i}=\varnothing \\
& L \leq L_{\max }
\end{aligned}
$

式(1)は目的関数であり，選択された単語ぺアを含む 文書数を全文書数で割ったものであり，変数は単語 ペアの選び方である. 式(2), (3)は制約条件であり,式(2)は各クラスタに含まれる文書集合に重複する 文書が存在しないことを, 式(3)は, クラスタ数しは八 イパーパラメータとして与える最大クラスタ数 $L_{\text {max }}$ 以下とすることを表す.

## 3. 3 評価方法

提案手法はクラスタリングを行っているが，本夕 スクの目的は FAQ 抽出である. そこで評価方法と しては purity や AMI 等を用いたクラスタリング自体の評価ではなく, 人手で定めた正解 FAQ クラス

タがどの程度正しくクラスタリングの結果抽出でき ているかを測ることによる評価を行う。

まず各文書に対して人手で文書内容を考慮した上 でクラスタリングを行い，各クラスタに一意のラベ ルを付与しこれを正解ラベルとした。次に，自動抽出された各クラスタに含まれる文書について，クラ スタ内の同一ラベルの文書数の割合(純度:purity)が 閾值以上を占めるマジョリティとなる正解ラベルを 抽出クラスタの推定ラベルとした。抽出されたクラ スタにおいて，マジョリティとなる正解ラベルが存在しない場合, 推定失敗を意味する推定ラベルを付与した。このようにして得た正解ラベルと推定ラベ ルを用いて，適合率，再現率，および $\mathrm{f} 1$ スコアを算出した。パラメータ設定について，ここでは純度の 閾値は 0.5 を設定した。

## 4 実験設定

データセット Sumikawa ら[11]の e ラーニングデ 一タセット(e-learn), StackFAQ[12]データセット (StackFAQ)および，筆者らの所属企業内部における コンタクトセンタ応対ログデータセット(Enterprise), の 3 種類のデータセットを用いた。各データセット の基礎情報を表 1 に示す.

表 1 データセットの基礎情報

前処理StackFAQデータセットは, Google Cloud Translation APIを用いて英語から日本語に翻訳した。全てのデータセットについて, MeCabを用いて形態素解析を実施し，品詞フィルタ処理として名詞，動詞，形容詞のみを残し，原形化を行った。

最適化ツール 線形最適化においては, 最適化モ デラーとして PuLPiを,ソルバーとして CBC を用い た. ベイズ最適化においては Optunaiiiを使用し, 最適化アルゴリズムは NSGA-IIを用いた。

## 5 実験

## 5.1 予備実験

予備実験では提案手法のポテンシャルを検証する ために, FAQ の抽出精度が従来手法と比較して高く なるような単語ぺアの組合せが存在するか確認した。

ベースラインとして TFIDF+HAC(階層的凝集ク ラスタリング)を用いた．HAC のアルゴリズムは群平均法を，距離尺度はユークリッド距離を用いた。 クラスタ数は, 正解ラベルが既知の前提とし $\mathrm{f} 1$ を最大化するクラスタ数を採用した。またべクトル化手法による比較のために fastText+HAC を検証した。

次に，ベイズ最適化を用いて最適な単語ぺアを探索した. このとき正解クラスタラベルが既知の前提 で，目的関数を正解 FAQ 抽出の $\mathrm{f} 1$ とした. 試行回数を重ねた収束時における FAQ 抽出の $\mathrm{f} 1$ スコアを 表 2 に示す。

表 2 ベースラインおよびベイズ最適化の結果

表 2 に示すようにベイズ最適化による $\mathrm{FAQ}$ 抽出精度はベースラインの TFIDF+HAC を大きく上回っ ている。この結果により，もし適切な単語ぺアの組 み合わせが選択できたとすると，その単語ぺアを含 む文書の集合をクラスタとして抽出することで，高 いFAQ 抽出精度を得られることが確認できた。

## 5.2 本実験

線形最適化 3.2 に示した通り,文書のクラスタリ ングを最大被覆問題として定式化し, 文書カバレッ ジを最大化する単語ぺアの組み合わせを求めた．単語ペア選定におけるハイパーパラメータとして，最小クラスタサイズを 3 とした。これは 3 個以上の文書に含まれる単語ぺアのみが選定対象となることを 意味する．最大クラスタ数をパラメータとして増加 させたときの結果を図 1 に示す. 最適化の各試行に おいていずれの場合も最適解が得られた。また，ク ラスタ数は単語ぺア数が一定となる点で f1 も最大

となるため, その時の単語ぺア数をクラスタ数とし て採用すればよいとわかる.

図 1 線形最適化の実行結果(e-learn)

ベイズ最適化次に，ベイズ最適化手法を用いた 実験を行った. 予備実験では提案手法のポテンシャ ルを測るために正解ラベルが既知の前提で, 目的関数をFAQ 抽出のf1 としたが，本実験では，実ビジ ネス利用を想定し，正解ラベルの情報を使用しない 以下の目的関数を用いた.

$\max . w_{c} \cdot$ Coverage $(C)+w_{o} \cdot$ Overlap $(C)$

$
\begin{gathered}
\text { Coverage }(C)=\sum_{i=1}^{L} \frac{\left|C_{i}\right|}{N} \\
\operatorname{Overlap}(C)=\left(1+\alpha \frac{\bigcap_{k=1}^{n} C_{k}}{\bigcup_{k=1}^{n} C_{k}}\right)^{-1}
\end{gathered}
$

ここで，式(4)の目的関数は，カバレッジスコアと オーバーラップスコアの重み付き和である. 式(6)に 示すオーバーラップスコアは，各クラスタに共通的 に含まれる文書が少ないほど大きい値をとる関数で ある. $w_{c}$ および $w_{o}$ は重みであり,$w_{c}=1$ および $w_{o}=$ 2を用いた。 $\alpha$ はハイパーパラメータであり，9を用 いた。結果を図 2 に示す.

図 2.ベイズ最適化の実行結果(e-learn)図 2 に示すように，試行回数を増やすにしたがっ て目的関数であるトータルスコアは増加し，また f1 スコアも増加し, その後一定に収束している。この ときクラスタ数も一定に収束しており，最適クラス 夕数として得られることがわかる.

最終的な実験結果を表 3 に示す

## 表 3 線形最適化およびベイズ最適化の精度

TFIDF+HAC および fastText+HAC については,実利用を想定すると最適クラスタ数は未知であるこ とを考慮し，クラスタ数を真のクラスタ数の $75 \%$ か ら 125\%までの区間で等間隔に 10 点とり, 10 点の f1 値の平均をとってスコアとした。

表 3 に示すように e-learn および Enterprise データ セットにおいては，線形最適化およびベイズ最適化 を用いた提案手法によりベースラインを上回る精度 が得られた。その他の利点として提案手法では両手法ともに最適クラスタ数が得られ，また単語ペアが 含まれていることがすなわちそのクラスタの特嘚と なるため，高い解釈性が得られることがわかった。

## 6 おわりに

問合せログからの FAQ 抽出を目的として，特徴語の組み合わせ最適化問題として解く手法を提案し た. 本実験では提案手法により従来手法を上回る精度が得られた。また精度以外の利点として, 最適ク ラスタ数が自動的に得られることと，単語ぺアの組 み合わせがクラスタの特徴を示すため高いクラスタ の解釈性が得られることがわかった. 今後の課題と して, FAQ 抽出精度を高めるために，単語ぺア選択 において，問合せ内容と関係のないノイズとなる単語の排除や, 同義語の考慮が必要である。またべイ ズ最適化においては目的関数に凝集性等のクラスタ としての望ましさを考慮した改善が課題となる.

## 参考文献

[1] 飯塚新司, 菊地大介, 宮内秀彰, 高橋毅, and 黒澤隆也. "ヘルプデスクの問合せデータを用 いた FAQ 抽出技術の研究." 日立ソリューシ ヨンズ東日本技報= Hitachi Solutions East Japan technical report 25 (2019): 31-34.

［2]友松祐太; 戸田隆道; 杉山雅和. AI チャットボ ツトのためのチューニング支援システム. In:人工知能学会研究会資料 言語・音声理解と対話処理研究会 90 回. 一般社団法人 人工知能学会, 2020. p. 08.

[3] 長谷川友治, et al. コールセンターにおける大規模質問応答データに基づく FAQ 作成支援 システムの実装. 第 66 回全国大会講演論文集, 2004, 2004.1: 73-74.

[4] Xu, Jiaming, Bo Xu, Peng Wang, Suncong Zheng, Guanhua Tian, and Jun Zhao. "Self-taught convolutional neural networks for short text clustering." Neural Networks 88 (2017): 22-31.

[5] Hadifar, Amir, Lucas Sterckx, Thomas Demeester, and Chris Develder. "A self-training approach for short text clustering." In Proceedings of the 4th Workshop on Representation Learning for NLP (RepL4NLP-2019), pp. 194-199. 2019.

[6] Rakib, Md Rashadul Hasan, Norbert Zeh, Magdalena Jankowska, and Evangelos Milios. "Enhancement of short text clustering by iterative classification." In International Conference on Applications of Natural Language to Information Systems, pp. 105-117. Springer, Cham, 2020.

[7] Zhang, Dejiao, Feng Nan, Xiaokai Wei, Shangwen Li, Henghui Zhu, Kathleen McKeown, Ramesh Nallapati, Andrew Arnold, and Bing Xiang. "Supporting Clustering with Contrastive Learning." arXiv preprint arXiv:2103.12953 (2021).

[8] Fung, Benjamin CM, Ke Wang, and Martin Ester. "Hierarchical document clustering using frequent itemsets." In Proceedings of the 2003 SIAM international conference on data mining, pp. 59-70. Society for Industrial and Applied Mathematics, 2003.

[9] Zhang, Wen, Taketoshi Yoshida, Xijin Tang, and Qing Wang. "Text clustering using frequent itemsets." Knowledge-Based Systems 23, no. 5 (2010): 379-388.

[10] Lee, Cheng-Jhe, Chiun-Chieh Hsu, and Da-Ren Chen. "A hierarchical document clustering approach with frequent itemsets." International journal of engineering and technology 9, no. 2 (2017): 174.

[11] Sumikawa, Yasunobu, Masaaki Fujiyoshi, Hisashi Hatakeyama, and Masahiro Nagai. "Supporting creation of FAQ dataset for E-learning chatbot." In Intelligent Decision Technologies 2019, pp. 3-13. Springer, Singapore, 2020

[12] Karan, Mladen, and Jan Šnajder. "Paraphrasefocused learning to rank for domain-specific frequently asked questions retrieval." Expert Systems with Applications 91 (2018): 418-433.


# 問い合わせログの集約における
## クラスタリングを用いた重要回答抽出

\author{
竹中一秀林 岳晴大段 秀顕湯浅 晃 \\ 株式会社NTT データ
}

\{Kazuhide. Takenaka, Takeharu. Hayashi, Hideaki. Odan, Akira. Yuasa $\}$ @nttdata.com

## 概要

本研究では、問い合わせデータを集約し FAQを 構築するユースケースに焦点を当てた回答候補を提示する手法を提案する。FAQ はコンタクトセンタに て蓄積される質問と回答が対となる問い合わせログ を用いて作成される。本提案手法では、問い合わせ ログの質問を対象にクラスタリングを行い、類似す る質問ごとに集約されたクラスタ内の回答に対し、再度クラスタリングを実施し、複数種類の重要な回答を抽出することで、可読性を保ちつつ、重要な回答を複数抽出できることが確認された。併せて、回答をクラスタリングした際に得られる各クラスタの クラスタサイズが、回答を提示する上での重要性を 示す指標として有効であることが確認された。

## 1 はじめに

近年、企業のコンタクトセンタでは、問い合わせ 対応業務にチャットボット等の対話型 AI システム を活用されている。チャットボットには、ユーザが 選択する質問に対して、あらかじめ設計されたシナ リオに従って回答を提示するシナリオ型と、ユーザ の入力する質問に対して、類似する FAQ を提示す る FAQ 型がある。その中でも FAQ 型のチャットボ ットは、その導入時や運用時において FAQ の作成 に、多大な労力を必要とするという課題がある。そ こで、本稿では FAQ 型のチャットボットに焦点を 当てることにした。

FAQ はコンタクトセンタの問い合わせログに代表される、質問文と回答文が対となるデータから作成される。一般的な手法としては、問い合わせログ の質問文に対してクラスタリングを行い、クラスタ 重心に最近傍の質問文を抽出し、その質問文に紐づ いた回答文とセットで $\mathrm{FAQ}$ 候補とする。FAQ 作成担当者は、得られた FAQ 候補を確認し、内容や文の修正を行うことで最終的な FAQ を完成させる。し かし、この手法では 1 つの質問に対し、 1 つの回答 のみ提示されるため、質問と回答が本来 1 対 $\mathrm{n}$ とな る場合に、適切な回答が得られない可能性がある。質問と回答が 1 対 $\mathrm{n}$ になる場合の FAQ の例として、「ソフトが強制終了されてしまいます。どうすれば よいでしょうか。」という質問に対して回答を作成 する場合には、ソフトバージョンや OS バージョン、 データのバックアップは取得しているか等の幅広い 状況に応じた回答を揃える必要がある。

そこで、本研究では、FAQ 作成の負荷を低減する ことを目的として、可読性を保ちつつ、冗長性を排除し、重要な回答を漏らさないように回答候補を提示する手法を提案する。

## 2 関連研究

本研究では、FAQ 作成における回答文作成支援の ユースケースに焦点を当てている。ここでは、 $\mathrm{FAQ}$抽出に関する関連研究の手法について言及する。

まず、 $\mathrm{FAQ}$ 候補となる QAを抽出する研究として、 マニュアルやガイド等の回答源となる文書から QA セットの作成を行い、問い合わせログから抽出した 代表質問文と類似する QA セットを FAQ 候補とし て提示する土居ら[1]の手法や、特徴的な単語の係り 受けパターンの抽出を行い、頻出するパターンを持 つ QA を抽出する長谷川ら[2]の手法がある。友松ら [3]は問い合わせログの質問文をBERTによって分散表現を獲得し、分散表現のコサイン類似度をもとに 階層クラスタリングを行うことで、類似する質問ご とに集約されたクラスタを作成し、そのクラスタか ら TF-IDF を用いて代表文の選定を行い FAQ の抽出 を行っている。これらの手法は、回答文については、抽出した質問文に紐づいたもののみを使用している ため、複数の回答文候補を抽出するという点で我々 の手法と異なっている。また、壹岐ら[4]は、問い合

わせログから質問文と回答文の抽出を行うことを要約問題として捉え、教師あり学習による抽出型要約 を用いて、不要文の多い問い合わせログの質問文と 回答文の中から本質的な部分文字列を抽出すること で QA の作成を行っている。我々の手法とは、文字列単位ではなく、問い合わせログの回答文単位での 回答抽出を行う点で異なるが、重要な回答文を抽出 するという点では類似しているため、文書要約を用 いた手法を提案手法の比較対象とすることにした。

## 3 提案手法

本研究では、FAQ 作成の負荷を低減することを目的として、重要な回答を複数抽出する手法を提案す る。本章では、その具体的な実現方法について説明 する。

## 3.1 回答抽出の流れ

提案手法の回答文抽出の流れを図 1 に示す。まず、提案手法適用の前提として、問い合わせログの質問 を対象にクラスタリングを行い、各クラスタ重心の 最近傍の質問文が得られているものとする。このク ラスタ重心に最近傍となる質問文を本稿では代表質問文と呼ぶ。得られた質問クラスタ内の回答文を対象にさらにクラスタリングを行う。その結果、類似 する回答ごとに集約されたクラスタが得られる。得 られた回答クラスタの重心に最近傍となる回答文を 代表文としてそれぞれ抽出することで、抽出された 代表質問文に対して、複数の回答候補を取得する。

## 3.2 手法検討

本研究では、FAQ 作成における回答文作成支援の ユースケースに焦点を当て、ビジネス適用における 現実的な制約条件を考慮した上で手法検討を行った。分散表現の取得手法として、BERT 等の大規模言語 モデルは、モデルの学習を行うために、ドメインに 特化した大量の学習データが必要になる。そこで、本研究では、汎用コーパスで学習されたモデルで比較的上質な分散表現が得られることが知られている 手法として[5]、Universal Sentence Encoder(USE)[6]を 用いた。クラスタリングは、階層クラスタリングの らち、分類感度が高い ward 法を選定した。

また比較対象とする文書要約手法については、抽出型文書要約手法の中で一般的に高性能である LexRankを用いた。同クラスタ内の回答文から要約文を抽出し、FAQ 作成において、提案手法とどちらが有力であるか比較を行う。

図 1 提案手法の回答文抽出イメージ

## 4 実験

提案手法の有効性検証のため、既存手法である、抽出した代表質問文に元々紐づいていた回答文のみ 提示する場合と、比較対象とした文書要約手法それ ぞれを用いて、回答文の抽出を行い、FAQ 作成の支援を目的とした場合に、どの手法が有力であるか比較して検証を行った。抽出型文書要約手法 LexRank の実装に関しては python モジュールの sumy を用い た。

## 4. 1 データセット

手法の有効性検証のために、NII $の$ Yahoo!知恵袋 データ(第 2 版)[8]で提供されているデータのうち、質問カテゴリが「企業と経営」かつ、回答は質問者 が選んだベストアンサーの条件で絞込んだものを用 いた。また、実際の問い合わせログは、端的に短く まとめられていることが多いため、質問文の文書長 が 10～50 トークンかつ、回答文の文書長が 10～120 トークンからなる QA をサンプリングした。その結果、データサイズは 4153 件となった。

次に、サンプリングしたデータの質問文を対象に USE + ward 法を用いてクラスタリングを行い、類似 する質問文ごとに集約された各クラスタのベクトル 重心に最近傍の点を代表質問文として、抽出を行っ た。そのうち、クラスタサイズが大きいクラスタか ら 6 件を対象に実験に使用した。各クラスタのクラ スタサイズと抽出した代表質問文を表 1 に示す。
表 1 実験に使用した質問集約のクラスタ

 &  & \multicolumn{1}{|c|}{ 代表質問 } \\

## 4. 2 評価方法

FAQ 作成支援において、有効性を評価するために、 それぞれの手法で出力した回答文を可読性と、回答 として重要な文がどのくらい含まれているかを示す 重要情報包含率の観点で評価を行った。可読性につ いては、表 2 に示す基準で定性的に評価を行った。 また、抽出した回答文に、「文間の内容が矛盾して おり、一貫性が無い」「文間に談話関係が存在せず、無関係である」といった問題がある場合を「不自然 である」と評価し、上述の問題が無い場合には「自然である」と評価した。重要情報包率の算出方法は、抽出した代表質問文から必要となる回答箇所を人手 により正解として定義し、その中で各手法によって 抽出できた割合を算出することで評価した。

## 表 2 可読性の評価基準

## 5 実験結果と評価

提案手法の有効性検証の比較対象として、大量の 文から重要な文を抽出する文書要約アルゴリズムの LexRank[7]を用いた。実験では、質問集約で得られ たクラスタ内の回答文を全て結合した文を入力とし た。また、ハイパーパラメータの出力文数は、出力 された要約文が提案手法の出力した回答文と近しい トークン数になる文数を採用した。

提案手法のクラスタリングを行う際のクラスタ数 については、Silhouette 係数が最大になる場合を採用 した。既存手法については、表 1 で得られた代表文 に紐づいた回答文のみを出力結果として扱った。

実験結果について、可読性の評価結果を表 3、情報含有率の評価結果を表 4 に示す。情報包含率につ いては、各手法ごとに平均化したものを示す。また、実験によって得られた回答文の一部を表 6 に示す。太字部分は重要情報となる箇所、下線部分は可読性 を低下させている箇所を示している。

表 3 可読性評価

 &  & LexRank &  \\

2 & $\bigcirc$ & $\times$ & $\bigcirc$ \\
3 & $\bigcirc$ & $\times$ & $\bigcirc$ \\
4 & $\bigcirc$ & $\times$ & $\bigcirc$ \\
5 & $\bigcirc$ & $\bigcirc$ & $\bigcirc$ \\
6 & $\bigcirc$ & $\bigcirc$ & $\bigcirc$ \\

表 4 重要情報含有率評価

 & LexRank &  \\

表 3 によると、提案手法は可読性については問題 ないことが示されている。LexRank は要約結果を文単位で得るため、文頭に「つまり」「これにより」 があることや、関連性のない文間に「よって」「ゆ えに」等の接続詞があり、文間の論理的な関係が破綻していることが確認された。

表 4 によると、提案手法が最も良い結果となって いる。既存手法の抽出した代表質問文に紐づいた回答 1 件のみでは、情報として不足する場合も少なく なかった。表 6 を例に、既存手法と比較して提案手法では、「特例有限会社は、そのまま存続できます

し、一部例外を除き変更登記する必要もございませ 几。」「特例有限会社から株式会社へ移行すること （商号変更）も出来ます。」との追加の重要文が抽出できていることが確認できる。補足として、既存手法で用いた回答は yahoo 知恵袋に投稿した質問者 が選んだベストアンサーであるが、ベストアンサー は投稿された回答群の中から 1 つ選ばなければいけ ない仕組みであるため、情報として不足していても ベストアンサーに選ばれる場合は十分にある。

## 6 付帯効果と課題

FAQ を作成する上で、複数種類の回答がある場合 に、重要度の高い回答を優先して提示することが重要であると考えられる。この場合、提案手法では、 クラスタサイズが大きいクラスタほど、重要度が高 い文が含まれている傾向を確認したため、重要度を 表寸指標として、回答クラスタサイズを用いること が、有効であると考えられる。また、提案手法の出力結果を文単位で確認したところ、内容が重複する 文があることが判明した。その数を表 5 に示す。出力する回答数が増加するほど、重複文数も増加し、 FAQ 作成担当者が確認する文書量も比例して増加 してしまう。そのため、クラスタリング手法の改善 をすべきであり、それでも対処しきれない場合は文間の類似度を算出してフィルタリングを行うなどの 工夫を行う必要がある。表 5 重複内容文数

 &  & 重複文数 \\

2 & 2 & 1 \\
3 & 2 & 1 \\
4 & 1 & 0 \\
5 & 2 & 0 \\
6 & 1 & 0 \\

## 7 おわりに

本研究では、問い合わせログデータを用いた FAQ 作成の支援を目的とした回答文抽出において、重要 な回答文を複数抽出する手法を提案し、検証・評価 を行った。既存手法や文書要約手法と比較して、提案手法は可読性を保ちつつ、重要な情報を抽出でき ることが確認された。また、精度以外のメリットと して、クラスタサイズ (回答数) を重要度のスコア として提示できる点が挙げられる。

今後の課題として、提示する回答文が多くなる程、内容が重複した不要な文が増えてしまい、FAQ 作成担当者が確認する情報量が増えてしまうため、文間 の類似度を算出してフィルタリングを行うなどの工夫が必要である。

表 6 各手法での回答文抽出結果（クラスタ ID $=3$ の場合）

太字部分は重要情報となる箇所、下線部分は可読性を低下させている箇所を示している。

 &  \\

## 謝辞

本研究では、国立情報学研究所の IDR データセ ット提供サービスによりヤフー株式会社から提供を 受けた「Yahoo！知恵袋データ（第 2 版）」を利用 した。

## 参考文献

［1］土居誉生, 石垣泰地, 小澤仁護, and 稲田徹. ”質問生成ソリューション「なんでも Question」の紹介." SIG-SLUD 5, no. 02 (2019) : 123-124.

[2] 長谷川友治, et al. コールセンターにおける大規模質問応答データに基づく FAQ 作成支援 システムの実装. 第 66 回全国大会講演論文集，2004，2004.1：73-74.

[3]友松祐太; 戸田隆道; 杉山雅和. AI チャット ボットのためのチューニング支援システム. In：人工知能学会研究会資料 言語・音声理解と 対話処理研究会 90 回. 一般社団法人 人工知能学会, 2020. p. 08.

[4] 壹岐太一, et al. ヘルプデスクの対応記録から の QA リストの半自動抽出. 研究報告知能シ ステム (ICS), 2018, 2018.12: 1-8.

[5] PERONE, Christian S.; SILVEIRA, Roberto; PAULA, Thomas S. Evaluation of sentence embeddings in downstream and linguistic probing tasks. arXiv preprint arXiv:1806.06259, 2018.

[6] CER, Daniel, et al. Universal sentence encoder. arXiv preprint arXiv:1803.11175, 2018.

[7] ERKAN, Günes; RADEV, Dragomir R. Lexrank: Graph-based lexical centrality as salience in text summarization. Journal of artificial intelligence research, 2004, 22: 457479.

[8] ヤフー株式会社 (2011)：Yahoo！知恵袋デー 夕 (第 2 版). 国立情報学研究所情報学研究デ 一タリポジトリ. (データセット). https://doi. org/10. 32130/idr. 1.2


# クイズ問題のジャンル推定における機械学習手法の比較・検討

浅野 綾太 ${ }^{1}$ 小林 邦和 $^{2}$
1 愛知県立大学大学院 情報科学研究科 システム科学専攻 2 愛知県立大学 情報科学部
\{im213001, kobayashi\}@cis.aici-pu.ac.jp

## 概要

本研究では, 主にクイズ問題のジャンル推定を取 り扱う. 先行研究として淀川らの研究 [1]を取り上 げる. 淀川らは, 分散表現の獲得に MeCab と fastText を, 機械学習手法としてサポートベクタマシン (以下:SVM) を適用し, 問題文に対するジャンルを推定を行った. しかし, 先行研究では機械学習手法が SVMの 1 種類しか紹介されていなかった. そのた め, 本研究では分類問題を解くその他の機械学習手法やグリッドサーチ, 交差検証を用いて最適な手法 とパラメータを探索した。

結果としては, 単独では先行研究と同じくSVM よるジャンル推定が最高正解率を記録した.

## 1 はじめに

## 1.1 研究背景

クイズとは,一方が問題を出題し,もう一方が答え る「遊び」である.しかし, 問題の解答権を獲得する ことを競争することで競技性が生まれる. そのよう なクイズのことを「競技クイズ」と呼ぶ. そして競技クイズは他の参加者に先んじて解答権を獲得する ために知識を蓄える必要がある. 競技クイズの勉強法の一つに, $\mathrm{Q}$ 宅 ${ }^{1}$ や $\mathrm{BOOTH}^{2}$ ) といったサイトで問題集を購入し, さまざまな問題に触れることで知識 を得るという方法がある.このような勉強法の中で も,「芸能問題だけは正解できるようにしよう」とい うように, ある特定のジャンルに絞って問題を覚え るという方法がある.この場合, 芸能問題のみが掲載 されている問題集を購入しなければならないが,そ のような問題集は少数である. しかし, 市販の問題集 の多くはジャンルが付与されていることは非常に少 ない. 本研究では, 教師あり学習手法を用いてクイズ の問題文からジャンルを推定する.
また, 本稿では便宜上「競技クイズ」のことを「ク イズ」と表現する.

## 1.2 質問応答

ある質問に対する解答を求めるタスクを質問応答 (QA) タスクといい,しばしば実際に使われる問題が 用いられることが多い. 自然言語処理における代表格として,「SQuAD[2]」「TraviaQA[3]」「QANTA[4]」 などが挙げられるが, そのいずれも英語による文書を取り扱っている. 日本語のデータセットとし ては，「解答可能性付き読解データセット [5]」や 「JAQKET[6]」などがある. 実際のクイズ問題を扱っ た事例としては,2011 年 2 月に放映されたクイズ番組「Jeopardy!」で人間のチャンピオンを破った IBM の「Watson」などが挙げられる [7]. 早押しを想定し た解答システムとしては, 橋元ら [8] がある。

## 1.3 先行研究

先行研究として, 淀川らの研究 [1] を取り上げる.訓練データやテストデータには後述のデータセット を用いた. 分散表現の獲得には日本語 wikipwdiaを 用いた fastText を作成して利用した. モデルの訓練に は,クイズの問題文を分かち書きし, 単語の分散表現 を獲得し,300 次元からなる文章の分散表現を得る.訓練データに 300 次元で表された問題文及び解答の 解説文章と対応するジャンルを用いて SVM で学習 する. 訓練データには以下の 2 種類を用いる.

(1)「問題文」のみ

(2)「問題文」と「解答の解説」

(1)では問題文のみを,(2)では, 問題文に対する 解答を wikipedia 9 日本語データベースから説明文を獲得して問題文と結合し,(1)と同じくべクト ル化・モデルの訓練を行う. 結果としては (1)で $40.0 \%,(2) 54.8 \% を と い う$ 正解率が得られた。

2) https://booth.pm/ja

## 2 利用するクイズデータセット

データセットには先行研究 [1] でも使われてい る「abc 13th 17th」と「EQIDEN 2013 2019」という 大会の問題集を用いる ${ }^{3)}$. abc は学生を対象とする 日本最大級のクイズ大会である. EQIDEN は $\mathrm{abc}$ と 同日に行われる, 学業機関別のクイズ大会である. abc/EQIDEN で使用される問題は作成するにあたり 多人数による審査が行われているため, 文章構成の 質が良く, 難易度も比較的低く均等になっている. ま た,ジャンルにおいても偏りが少なくするように製作されている (図 1). そのため, 本研究で行うジャン ル推定をするに当たり信頼性が高いと言える. 問題 の用途は「早押し」「筆記 -4 択」「敗者復活」に分類されるが, 本研究では「早押し」のみを使うこと とする。

図 1 クイズ問題のジャンル比率

なお, 分類問題として取り扱う際に, 開催年度毎に ジャンルが異なるため調整が必要になる. 13th から 15th は表 1 の 12 種類に,16th から 17th は表 2 の 15 種類に分類されている. 本研究では先行研究での 12 種類の分類 (表 3)するように微調整して利用する.表 1 abc13 15th のジャンル分類

表 2 abc16 17th のジャンル分類

表 4 用途別の問題数

## 3 実験方法

## 3.1 tokenizer

文字列を機械的に扱うとき，その文字列を分かち 書きし, 分散表現を獲得する必要がある. 分かち書き には形態素解析エンジンの MeCab と新語・固有表現に強い辞書 NEologd を用いる。

分散表現の獲得には,Doc $2 \mathrm{Vec}$ という手法を利用す る. Doc2Vec は,Word2Vec の単語の分散表現を獲得 する手法の応用である. なお, 本研究ではモデル作成 の時間を省くために学習済みモデルを用いた [9]. 元 となる文章を分かち書きし, 学習済みモデルに入力 すると 300 次元の分散表現が得られる. 数値データ に変換した訓練データを入力データとして機械学習 モデルの訓練を行う.
表 3 本研究におけるジャンル分類

## 3.2 機械学習手法

機械学習には既存アルゴリズムとしてょく知ら れるランダムフォレスト, $\mathrm{k}$-近傍法, ロジスティック 回帰, ナイーブベイズ,SVM, 確率的勾配降下法 (以下:SGD) を用いた他にも,300 次元の入力層, 1000 次元の中間層, 12 次元の出力層からなる 3 層のニュー ラルネットワーク (以下:NN) も用いた. また,これら の手法に対してグリットサーチによるハイパーパラ メータの最適化も行って評価した。

## 3.3 評価

精度の評価にはマクロ平均による正解率 (macroAccuracy)を用いる. 多クラス分類で使う評価指標は,二值分類で用いる混合行列を複数のクラスに対応さ せて算出できる.

たとえば $(A, B, C)$ からなる多クラス 分類を考えたとき, $A$ をPositive, $B$ と $C$ を Negative とした際の $T P, T N, F P, F N$ をそれぞ れ $T P_{A}, T N_{A}, F P_{A}, F N_{A}$ とする.これらを用いて accuary $_{A}$, recall $_{A}$, precision $_{A}, F$ 値 ${ }_{A}$ は式 (1) (4) の ように表すことができる.

$
\begin{gathered}
\operatorname{accuary}_{A}=\frac{T P_{A}+T N_{A}}{T P_{A}+T N_{A}+F P_{A}+F N_{A}} \\
\operatorname{recall}_{A}=\frac{T P_{A}}{T P_{A}+F N_{A}} \\
\text { precision }_{A}=\frac{T P_{A}}{T P_{A}+F P_{A}} \\
F_{A}=\frac{2 \cdot \text { recall }_{A} \cdot \text { precision }_{A}}{\text { recall }_{A}+\text { precision }_{A}}
\end{gathered}
$

これらの値を各クラス毎に計算できる.これらの 平均が次式のマクロ平均である.

$
\operatorname{accuary}_{M}=\frac{\text { accuary }_{A}+\text { accuary }_{B}+\text { accuary }_{C}}{3}
$

Accuracy は不均衡データの評価には適さないこと で知られるが, 本研究での分類問題は偏りが少ない ことから適用する判断をした。

## 4 実験

## 4.1 実験結果

それぞれのモデルでグリッドサーチを行った. $\mathrm{k}$分割交差検証の分割数は $\mathrm{k}=5$, 評価指標はマクロ平均 (macro-Accuarcy) とした.

表 5 機械学習モデルの正解率

## 4.2 考察

単一のモデルでは SVM が最高の正解率を得た. 正解率のみを求めるならば, アンサンブル学習を適用 すれば精度の向上は見込める.ここで, 各モデルにお ける 1 つのジャンルの正解率を表 6 にまとめた. 全体としてはスポーツの正解率が最も高く, 次いで科学, 文学, 地理が次点となった. 一方で, 音楽と芸術の 正解率が 0.60 を下回る分類結果となっている. 特に 音楽と芸術はジャンルとしても非常に近い関係性 にあるといえる. たとえば,JPOP や洋楽は音楽に分類されるが, クラシックは芸術に分類されることが 多い.

また, 実験中に生じた問題を紹介する. クイズの問題には 1 つのジャンルしか付与されていない. 付与 されたラベルを「正解ラベル」, 解答が真に含まれ るジャンルを「真のラベル」とする. データセット 内には表 7 のような問題が含まれており,それらが ノイズになっている可能性がある. そもそもジャン ルの付与は作問者それぞれが個別で行うため, 同じ 問題を作ってもジャンルが異なることがある. たと えば表 7 の 1 番の問題は, 前情報ではスポーツに関 する情報, 後情報と解答は地理に関する情報である. このような問題が含まれることから, マルチラベル 分類の適用が必要と感じた. 従って, 今後はマルチラ ベル分類手法を実装していきたい.
表 6 各機械学習モデルの $\mathrm{F} 1$ 值

表 7 ジャンルに不備がある問題例

 & "チューリッヒ & "スポーツ & 地理 \\

## 5 おわりに

先行研究で紹介したジャンル分類をその他の機械学習手法を試した. 結果としては先行研究でも使わ れたSVM が最高の正解率を記録した. 今後正解率の 向上を目指すならばアンサンブル学習を適用すれば 良いと思う. また, 実験よりマルチラベル分類が必要 であることが分かったため, 今後はマルチラベル分類手法を調査して行きたいと思う。

## 謝辞

本研究で使用したデータセット用のクイズ問題 は, abc/EQIDEN 実行委員会より研究目的での利用許可を頂きました. 記して感謝いたします.

## 参考文献

[1] 伊東栄典淀川翼. 機械学習手法を用いたクイズ問題の ジャンル推定. 火の国情報シンポジウム論文集, Vol. 2020, pp. 1-4, 2020.

[2] Pranav Rajpurkar, Robin Jia, and Percy Liang. Know what you don't know: Unanswerable questions for squad, 2018. https://arxiv.org/abs/1806.03822.

[3] Mandar Joshi, Eunsol Choi, Daniel Weld, , and LukeZettlemoye. Triviaqa: A large scale distantly supervisedchallenge dataset for reading comprehension, 2017.

[4] Pedro Rodriguez, Shi Feng, Mohit Iyyer, He He, and andJordan L. Boyd-Graber. Quizbowl: The case for incrementalquestion answering. Technical report, 2019.

[5] 鈴木正敏, 松田耕史, 岡崎直観, 乾健太郎. 解答可能性付き読解データセット. 言語処理学会第 24 回年次大会 (NLP2018), March 2018.

[6] 鈴木正敏, 鈴木潤, 松田耕史, 西田京介, 井之上直也. Jaqket: クイズを題材にした日本語 qa データセット
の構築. 言語処理学会第 26 回年次大会 (NLP2020), March 2020.

[7] David Ferrucci, Eric Brown, Jennifer Chu-Carroll, JamesFa, David Gondek, Aditya A. Kalyanpur, Adam Lally, J. William Murdock, Eric Nyberg, John Prager, Nico Schlaefer, and Chris Welty. Building watson: An overview of thedeepqa project. Al Magazine, pp. 59-79.

[8] 橋元佐知, 佐藤理史, 宮田玲, 小川浩平. 競技クイズ・ パラレル問題の基本構造と文型. 言語処理学会第 27 回年次大会 (NLP2021), March 2021.

[9] 日本語 WIKIPEDIA で学習した DOC2VEC モデ ル,(2021-12 閲覧). https://yag-ays.github.io/ project/pretrained_doc2vec_wikipedia/.