# テキストセグメンテーションモデルの ドメイン汎化性向上に向けたデータ拡張手法

久島務嗣 1 小林優佳 ${ }^{1}$ 吉田尚水 ${ }^{1}$
永江尚義 ${ }^{1}$ 岩田憲治 ${ }^{1}$
1 株式会社 東芝 研究開発センター
tsuyoshi2.kushima@toshiba.co.jp

## 概要

近年では，大規模コーパスと深層学習を用いた高性能なテキストセグメンテーションモデルが提案さ れている。しかし，既存手法は学習コーパスと異な るドメインのテキストでは顕著に性能が低下する。 コーパスによって使われる名詞が大きく異なり，か つ，名詞に依存したモデルが学習されていること が，このドメイン汎化性低下の原因である可能性が ある。そこで，本稿では名詞置換によるデータ拡張 によって，ドメイン汎化性能の改善を試みる. 実験 の結果, ドメイン外の評価コーパスにおいて, 名詞置換によって平均で $\mathrm{F}$ 值で $6.46, \mathrm{Pk}$ スコアで 1.89 それぞれ改善し，名詞置換の効果を確認した。

## 1 はじめに

書籍や文書といった人によって作られたテキス トは，章立てや段落などの構造を持つ.この構造情報は，高度なテキスト分析において有用である. し かし, 自動化技術の発達によって，音声認識による 音声書き起こしといった，構造を持たないテキスト が大量に存在するようになった。構造を持たないテ キストの分析は容易でないため，高性能なテキスト 構造化技術が求められている. テキスト構造化技術 の 1 つにテキストセグメンテーションがある.これ は，構造を持たないテキストを意味的関連性がある 複数の文のまとまり (セグメント) に分割し，構造化 する技術である．近年では，大規模コーパスと深層学習を用いた手法が提案され $[1,2,3,4]$, 高性能な 構造化が可能となってきている.

しかし，既存手法で高い性能が発揮できるテ キストは学習データと似たテキストに限られる。 Wikipedia や教科書といった，コーパスのテキスト の種類である書式とトピックをドメインとすると，学習データとドメインが異なるテキストでは顕著に 性能が低下する [3]. そのため, 汎用的なモデルの 実現には，ドメイン汎化性の向上が課題である.

このドメイン汎化性が低い原因として，モデルが 学習データの名詞に過学習していることが考えら れる. [3] で使われたコーパスを分析した結果，名詞は語彙の過半数を占め, 学習データの語彙と評価 コーパスの語彙との一致率が他の品詞に比べて低い ことが分かった. したがって，学習データで高い性能を発揮するには，名詞に依存したモデルを学習す る必要があり，さらに，名詞はコーパスによって大 きく分布が異なるため, ドメイン汎化性が低下して いると考えられる. よって，学習データのテキスト 中の名詞を他の名詞に置換することで，特定の名詞 に依存しない推定が可能になり，ドメイン汎化性能 が向上すると期待される.

そこで，本稿では，名詞置換によって拡張した コーパスを使ってテキストセグメンテーションモデ ルを学習することで，モデルのドメイン汎化性を向上させる方法を提案する．また，置換対象とする品詞の比較実験によって, 名詞置換は他の品詞に比べ てモデルの汎化性向上に有効であることを示す.

まず，2 章で関連研究を挙げ，テキストセグメン テーションの課題を詳細に述べる。 3 章で具体的な データ拡張手法を説明し，4 章で実験の詳細，5 章 で結果と考察をそれぞれ述べる. 6 章では最後に本稿のまとめと今後の課題について述べる.

## 2 関連研究

深層学習を用いた既存研究は, Glavǎs ら [1], Lukasik ら [2], Xing ら [3] の研究がある. これらの 研究の学習・評価に用いられるコーパスを表 1 に示 す. Section[5] とWiki-727k[4] は，それぞれ学習デー タ・検証データ・評価データを含むコーパスである。
表 1 コーパス統計量

表 2 品詞別 語彙占有率

Glavǎs らは，Wiki-727kを学習に用い，複数の評価コーパスで評価を行っている. モデルの汎化性評価には，学習データと異なるドメインのコーパスで 評価する必要がある。しかし, Glavǎs らは, Wiki 書式のコーパスと疑似的に生成されたコーパスでしか 評価を行っておらず，モデルの汎化性の評価は十分 でない. Lukasik らも同様に, 十分なドメイン汎化性評価を行っていない。

一方で，Xing らは，Sectionを学習に用い，表 1 の 評価コーパスで評価を行っている. 学習データとド メインが異なる Elements・Wiki-50・Clinical によっ てモデルの汎化性を評価しているが，評価データと 3 つの評価コーパスの性能に乘離がある.

以上の様に，深層学習によってテキストセグメン テーションモデルを学習する既存研究では, モデル の汎化性評価が行われているものが少なく，行われ ていても, 評価データの性能とドメインの異なる コーパスの性能に大きな乘離がある．様々なテキス トに汎用的に利用できるテキストセグメンテーショ ンモデルの開発には，モデルの汎化性を向上し, こ の乘離を埋めることが重要である.

## 3 提案手法

表 1 に示した評価コーパスの, 品詞別の語彙占有率を表 2 に, Section の学習データと各評価コーパス
との品詞別単語一致率を表 3 に，それぞれ示す. 表 2, 表 3 には, 語彙に占める割合の多い品詞上位 4 種 のみを示している（詳細は付録参照のこと）、いず れのコーパスにおいても, 名詞が語彙の過半数を占 めており，学習データの語彙との一致率は名詞が最 も低い。したがって，学習データで高い性能を発揮 するには，名詞に基づいた学習が必要となり，さら に, 他の品詞に比べて, 名詞はコーパスによって分布が大きく異なるため， ドメイン汎化性の低下の原因になっている可能性がある. そこで，学習データ 中の名詞を置換するデータ拡張によって, 名詞に過学習せず，未知の名詞に頑健なモデルが学習され， モデルのドメイン汎化性が向上すると考える.

本稿で提案する名詞置換によるデータ拡張の例を 表 4 に示す. 表 4 の original には置換前のテキスト を， single と rand は 2 つの置換方法の例を，色付き 単語は抽出された名詞を，それぞれ表す. 提案手法 では，テキストから名詞を抽出し，抽出された名詞 を学習データ内の他の名詞に置換する。

名詞の置換方法には, 表 4 に示した rand と single の 2 つの置換方法を検討した. single は，置換先と 置換元の名詞を 1 対 1 で対応付け，その対応に従っ て置換を行う方法である。一方， rand は 1 対 1 の対応付けをせず，名詞が出現する度にランダムに他の 名詞に置換する方法である。したがって， rand は同 じ名詞であっても異なる名詞に置換され得る. 表 4 に示す例では, original には「Aleppo」という名詞が 2 回現れている. singleでは,「Aleppo」に「Gittinger」 が対応付いているため, 2 回とも「Gittinger」に置換されている。一方, rand では, 同じ名詞であっ ても毎回異なる名詞に置換され得るため, 1 回目は 「Gittinger」に，2 回目は「Agustina」に置換されてい る.なお，「Gittinger」と「Agustina」は学習データか ら抽出された名詞である。

また，複数の単語から成る名詞も存在するが，複数語の名詞を置換の単位にすると, single が適用で きないため，置換の単位は 1 つの単語とした。

Gittinger has scarcely been touched by Espares since the modern hypertrophy occupies its ancient Wasserviertel. Gittinger appears in historical inhabitants as an important hypertrophy much earlier than Ariqueanos.

## rand

Gittinger has scarcely been touched by Espares since the modern hypertrophy occupies its ancient Wasserviertel. Agustina appears in historical inhabitants as an important Biodiversität much earlier than Ariqueanos.

## 4 実験

## 4.1 設定

実験に用いるモデルの概要図を図 1 に示す. 図 1 中の $S_{i}$ は文， $\mathbf{t}_{\mathbf{j}}$ は文 $\mathbf{S}_{\mathbf{i}}$ を構成するサブワード， $\mathbf{f}_{\mathbf{i}}$ は文 $S_{i}$ の特徴量， $p_{i}$ は文 $S_{i}$ がセグメント終端であ る確率，をそれぞれ表す。本稿では，文エンコード 用 (前段) とセグメント終端推定用 ( 後段) に $2 \supset$ の事前学習済み BERT を用いる，Hier.BERT[2] を使用した。事前学習済み BERT は，Python のオープン ソースライブラリである transformers ${ }^{1)}$ を使用した。

名詞置換は，エポック開始時に毎回実施した。ま た，名詞置換は $1 / 2$ の確率で行われ，置換するか否 かの判定はテキスト単位で行った. 単語の抽出・品詞の特定には，Python のオープンソースライブラリ である $\mathrm{spaCy}^{2}$ を利用した。

名詞置換の有効性検証のため，動詞も対象とし て実験を行った．動詞は，語彙の占有率が名詞に 次いで高く, 名詞と同様に文の意味に大きくかか わるため，比較対象とした. よって，実験条件は置換方法 2 種 (single $\cdot$ rand) と置換対象 2 種（名詞： NOUN・動詞：VERB）の組み合わせで，NOUN single $\cdot$ NOUN $_{\text {rand }} \cdot$ VERB $_{\text {single }} \cdot$ VERB $_{\text {rand }}$ の 4 種となる。名詞と同様に，動詞も置換の単位は 1 つの単語で ある。また，動詞は，活用を無視して置換すると，意味不明な文になったり，文法的に誤った文となっ てしまう．そのため，動詞の置換は，置換先の動詞 を置換元の動詞に合わせて活用させて置換を行う。 ハイパパラメータの選定には Mosbach ら [8] を 参考にして，学習率は $\left[2 \mathrm{e}^{-6}, 5 \mathrm{e}^{-6}, 1 \mathrm{e}^{-5}, 2 \mathrm{e}^{-5}\right]$ か ら，学習エポック数は $[20,30,40,50]$ から，そ れぞれ検証データでの $\mathrm{F}$ 值が最大になるもの を選択した。また， Warmup も適用し，学習率を 変化させるエポック数は，学習エポック数の

1) https://github.com/huggingface/transformers

2) https://github.com/explosion/spaCy

図 1 モデルの概要図

$[10 \%, 20 \%, 30 \%, 40 \%, 50 \%]$ から検証データでの F 値が最大になるものを選択した。なお，Warmup で は学習率は線形に変化させた。

Lukasik ら [2] は，テキストの文数と文の文字数と を制限し，計算コストを下げた上で Hier.BERT の学習を行っている。本稿でも同様に，文字数を 64 文字，文数を 128 文にそれぞれ制限して学習を行っ た. 文字数が 64 文字を超える場合には，文を分割 し複数の文として前段の BERT に入力し，分割され た文を後段の BERT に入力するときには，分割され た文に同じ位置ラベルを与えて入力した。最後の全結合層に分割された文を入力するときには，分割さ れた文の特徴量を平均した特徴量を入力した. 文数 が 128 文を超える場合には，テキストを分割し，複数の学習データとした．評価時は，窓幅 128 文の窓 を 1 文ずつスライドさせ，各文の推定結果を平均す ることで，最終推定結果を取得した。

## 4.2 評価

学習には Sectionを使用し，評価コーパスには Section の評価データ・Cities・Elements・Wiki-50・ Clinical の 5 つのコーパスを用いた. Section は Wiki 書式で都市と疾患のトピックを含むため，Elements・
表 5 評価結果 ( $\mathrm{F}$ 値 / $\mathrm{P}_{\mathrm{k}}$ スコア)

Wiki-50・Clinical の 3 つのコーパスをドメイン外 （OOD：Out-Of-Domain）として， ドメイン汎化性能 の評価に用いた. Cities はドメイン内のコーパスと なるため評価の対象ではないが，Xing らとの比較の ために評価に用いた。

評価指標には， $\mathrm{F}$ 値と $\mathrm{P}_{\mathrm{k}}$ スコア [9]を用いた。 $\mathrm{P}_{\mathrm{k}}$ スコアは，窓幅 $\mathrm{k}$ 分の検出誤りを許す指標で，テキ ストセグメンテーションモデルの評価によく用いら れる. $\mathrm{P}_{\mathrm{k}}$ スコアは, Python のオープンソースライブ ラリである segeval ${ }^{3)}$ を用いて計算した。

実験は，データ拡張を適用しない baseline と， $\mathbf{N O U N}_{\text {single }} \cdot$ NOUN $_{\text {rand }} \cdot \mathrm{VERB}_{\text {single }} \cdot \mathrm{VERB}_{\text {rand }}$ の 4 条件，合わせての 5 つの実験条件で行った. 各実験条件に対して 5 つの seedで実験を行い，それぞれの 結果の平均に対して評価を行った.

## 5 考察

実験の結果を表 5 に示す.表 5 中の OOD-Ave は OOD とした 3 つのコーパスの平均値を表す. 各条件で最も高い数値を太字で示す.

baseline と 4 つの実験条件の OOD-Aveを比較す

換対象とする品詞の違いによる改善幅の差を比較 すると, NOUN ${ }_{\text {single }}$ と NOUN $\mathbf{r a n d}$ を平均すると, F 值で 6.46, Pk スコアで 1.89 それぞれ改善したが, VERB $_{\text {single }}$ と VERB rand を平均すると, baseline に比 べて性能が劣化した. よって, 名詞を対象として置換するデータ拡張がドメイン汎化性の向上に有効で あることが確認された。

名詞を置換対象とした条件の効果が高かった 原因として, 名詞への過学習が抑えられた可能性

るため，単語に依存しない推定を行う. したがっ て, NOUN ${ }_{\text {rand }}$ の学習データにおける $\mathrm{F}$ 值と Pk ス コアを上回るためには, 名詞に基づいた推定が必要となる. よって, 名詞を置換対象とした条件以外では, NOUN $\mathbf{r a n d}$ 相当の性能に達した後の学習で


は, 名詞への過学習が起こっていると考えられる。 NOUN $_{\text {single }}$ と NOUN ${ }_{\text {rand }}$ の学習データにおける $\mathrm{F}$ 值 と $\mathrm{Pk}$ スコアは, 他の条件よりも劣化しているため,名詞を置換対象とした条件以外では名詞への過学習 が起こっていたと考えられる.これが抑制されたた め, 名詞置換ではドメイン汎化性が向上したと考え られる。これは，名詞への過学習がドメイン汎化性低下の原因になっている仮説を支持する。

一般にテキストセグメンテーションにおいては，名詞の一貫性は重要な判断基準となり得る。そのた め, NOUN rand $^{\text {よりも， NOUN } \text { single }}$ の方が改善幅が 大きいことが期待される。しかし，置換方法による 差が見られないという結果は，モデルが名詞の一貫性を考慮した推定をあまりしていないことを示唆す る.よって，名詞の一貫性を考慮する機構等で，更 にドメイン汎化性の改善ができる可能性がある。

また，個別のコーパスの結果を見ると，Cities と Elements は Xing らの結果を上回っているが, Clinical では，非常に低い結果となった. Clinicalでは，他の コーパスの傾向と異なり, recall よりも precision が 低い結果となっており，セグメント終端の誤検出が 多い（詳細は付録参照のこと）。これは，コーパス の書式によってセグメントの粒度が異なることに起因すると考えられる（表 1)。セグメント分割粒度を 調整可能なモデルによって, Clinical においても適切なセグメンテーションができると考えられる.

## 6 おわりに

本稿では，ドメイン汎化性能の高いテキストセグ メンテーションの実現に向け，名詞置換によるデー 夕拡張手法を提案した. 実験の結果，名詞を置換す るデータ拡張によって，平均して $\mathrm{F}$ 值で $6.46, \mathrm{Pk}$ ス コアで 1.89 それぞれ改善し, 効果を確認した. 評価コーパスの内，2つのコーパスではSOTA 手法を 上回ったが，1 つのコーパスでは非常に低い結果と なった. 名詞の一貫性を考慮する手法や，セグメン 卜粒度を調整可能な手法によって，更にドメイン汎化性能を向上することが今後の課題である.

## 参考文献

[1] Goran Glavǎs and Swapna Somasundaran. Two-level transformer and auxiliary coherence modeling for improved text segmentation. In Proceedings of the 34th Association for the Advancement of Artificial Intelligence, 2020.

[2] Michal Lukasik, Boris Dadachev, Kishore Papineni, and Gonçalo Simões. Text segmentation by cross segment attention. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing, pp. 4707-4716, 2020.

[3] Linzi Xing, Brad Hackinenz, Giuseppe Carenini, and Francesco Trebbi. Improving context modeling in neural topic segmentation. In Proceedings of the 1st Conference of the Asia-Pacific Chapter of the Association for Computational Linguistics and the 10th International Joint Conference on Natural Language Processing, pp. 626$-636,2020$.

[4] Omri Koshorek, Adir Cohen, Noam Mor, Michael Rotman, and Jonathan Berant. Text segmentation as a supervised learning task. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics, pp. 469-473.

[5] Sebastian Arnold, Rudolf Schneider, Philippe CudréMauroux, Felix A. Gers, and Alexander Löser. Sector: A neural model for coherent topic segmentation and classification. Transactions of the Association for Computational Linguistics, Vol. 7, pp. 169-184, 2019.

[6] Harr Chen, S.R.K. Branavan, Regina Barzilay, and David R. Karger. Global models of document structure using latent permutations. In Proceedings of Human Language Technologies: The 2009 Annual Conference of the North American Chapter of the Association for Computational Linguistics, pp. 371-379, 2009.

[7] Jacob Eisenstein and Regina Barzilay. Bayesian unsupervised topic segmentation. In Proceedings of the 2008 Conference on Empirical Methods in Natural Language Processing, pp. 334-343, 2008.

[8] Marius Mosbach, Maksym Andriushchenko, and Dietrich Klakow. On the stability of fine-tuning bert: Misconceptions, explanations, and strong baselines. In International Conference on Learning Representations, 2021.

[9] Doug Beeferman, Adam Berger, and John Lafferty. Statistical models for text segmentation. Machine Learning, Vol. 34, No. 1, pp. 177-210, 1999.

## A 参考情報

表 A. 1 品詞別 語彙分析結果（語彙数/一致率）

表 A. 2 実験結果 詳細


 久島務嗣 1 小林優佳 ${ }^{1}$ 吉田尚水 ${ }^{1}$ 永江尚義 ${ }^{1}$ 岩田憲治 ${ }^{1}$ 1 株式会社 東芝 研究開発センター tsuyoshi2.kushima@toshiba.co.jp  