# 低資源な法ドメイン含意タスクにおけるデータ拡張

伊藤光一 山田寛章 徳永健伸
東京工業大学 情報理工学院
\{ito.k.bo@m, yamada@c, take@c\}.titech.ac.jp

## 概要

法ドメインではアノテーションが高コストのた め学習データが不足する問題がある。本稿では, COLIEE TASK 4 を用いて，ラベル付き学習データの ルールベースによる拡張と，言語モデル事前学習の 際の擬似的な学習データ拡張の効果検証を行う. 実験の結果，提案手法である反対解釈によるデータ拡張手法が最良の性能を示した。

## 1 はじめに

事前学習済み言語モデル BERT[1]により，自然言語処理分野は大いに進歩した. BERTをファイン チューニングすることで，様々なベンチマークタス クにおいて，従来の手法を超える性能が報告され ている．法分野における含意関係認識タスクでも， BERT を使用したモデルが最高スコアを達成してい る [2]. しかし，BERTのような事前学習済み言語モ デルを特定タスクにファインチューニングするに は，一定の規模の学習データが必要となる. これ は，ラベル付き言語資源の少ないドメインでは課題 となっており，法分野も例外ではない，本稿では，日本語法分野含意関係認識タスクを対象として，法律文を用いたルールベースのデータ拡張手法の提案 と検証を行う。

また，法分野などのドメインに特化した事前学習済み言語モデルの入手が困難な場合, Wikipedia 等 で学習された既存モデルをドメイン固有のデータで 追加事前学習を行う必要がある．法分野の場合，ラ ベルなしデータであっても入手が困難であることか ら，ファインチューニングによるドメイン適合にも データ拡張が必要となる. このため, 本稿では, 追加事前学習の際に対照学習を用いた擬似的なデータ 拡張手法の提案と検証も行う.

## 2 対象タスク：COLIEE TASK4

本稿では COLIEE (Competition for Legal Information Extraction and Entailment) 2021[2] の TASK4 を対象夕 スクとする． COLIEE 2021 は，法と人工知能に関す るトップカンファレンス (ICAIL) において開催され た法律情報の抽出と含意に関するコンペティション である. このうち TASK4 では，日本の司法試験の 民法選択式問題を含意タスクと見なしている，具体的には，司法試験の問題文が前件として，関連する 民法条文が仮説として対となり入力として与えられ ており，民法条文が問題文を含意するか否かを解答 する 2 値分類問題となっている. COLIEEでは，過去の司法試験から作成された問題が学習データと して配布され, 開催当時最新の司法試験から作成さ れた問題がテストデータとして使われている。年度 ごとの問題の数，含意ラベルの数を Appendix A. 1 に 示す.

## 3 ルールベースのデータ拡張

## 3.1 COLIEE 2021 SOTA

Aoki ら [3] は，BERT モデルを用い，民法条文を 利用したルールベースによる含意学習データの拡張とアンサンブルを組み合わせることで，COLIEE 2021 年度 TASK4 で最高スコアを記録した。

Aoki らは，図 1 に示すように，論理構造を特定し て民法の各条 $R$ に対して $R$ が含意する文 $S_{i}$ を作成 し， $S_{i}$ を使用して COLIEE の拡張データ $Q_{i}$ を作成 した． $S_{i}$ の作成は，文末及び段落情報を使用して民法を分割し， $R$ 内の参照をルールベースで展開する ことで行う. COLIEE の拡張データ $Q_{i}$ の前件 $P_{Q_{i}}$ として $S_{i}$ を使用する. 仮説 $H_{Q_{i}}$ として $S_{i}$ を与えて 含意ラベルを付与し, 正例とする。 また, 仮説 $H_{Q_{i}}$ として $S_{i}$ の文末をルールベースで否定させた文を 与えて非含意ラベルを付与し，負例とする。

この手法により，正例 2,074 件を含む 4,062 件の

図 1 Aoki らのデータ拡張手法

拡張データを作成する. 本研究では Aoki らのデー タ拡張手法をべースラインとする。

## 3.2 反対解釈を用いた追加拡張

命題論理の体系では命題 $A, B$ に対して $A \rightarrow B$ ならば裏 $\neg A \rightarrow \neg B$ は正しいとは限らない。一方,民法の分野では，「反対解釈 [4]」と呼ばれる概念に よって，ある条件の下での規定がある時，条件を満 たさないものについては反対の規定がされていると 解釈されることがある.

本研究では Aoki らのデータ拡張に加えて反対解釈を用いたデータ拡張を提案する。

反対解釈を用いたデータ拡張の概要を図 2 に示 す. $S_{i}$ に対してさらに辞書を用いて特定の表現を置換することで反対解釈に相当する新たな $S_{i}^{\prime}$ を作成 する. 既存の $S$ に加え作成された $S_{i}^{\prime}$ を $S^{\prime}$ の集合に 加えることで，再拡張された $S^{\prime}$ を生成する。

今回用意したルールでは民法から拡張できた件数が 254 件 (内正例 127 件) と多くなかったため，民法以外も含めた条文集から拡張した 496 件 (内正例 248 件) を使った追加実験も併せて行なった. 条文集で使用した法律を Appendix B に示す.

図 2 反対解釈を使用したデータ拡張手法

## 3.3 拡張データの与え方の変更

Aoki らの拡張データは, 入力文対の前件と仮説 の文末を比べることで正解できる. 本手法では, COLIEE と問題形式を揄えて拡張データの質を高め ることを目的に，図 2 で示すように拡張データの前件 $P_{Q_{i}}$ として条文一条全体 $R$ を与える.

## 4 文埋め込みの事前学習

事前学習済みモデルに対して SimCSE (Simple Contrastive Learning of Sentence Embeddings)[5]を用い た文埋め込み学習をしてから，COLIEE タスクで ファインチューニングする手法を提案する。より よい文埋め込みを獲得することをねらい，SimCSE を用いる。SimCSE は教師あり，教師なし，どちら においても，文埋め込みの良さを測るのに使われ る類似度ベンチマークである STS (Semantic Textual Similarity)[6] において教師なしで優れたスコアを記録した。

一般ドメインでは，大規模なラベル付き NLI デー タセットが日本語でも入手可能 $[7,8,9]$ である一方，日本語法ドメインには同様のデータは存在しない.

そこで，一般ドメインにおける文埋め込み性能向上 のためには，教師あり学習による追加事前学習をす る手法を採用し，法ドメインのデータを用いた文埋 め込み性能の改善には教師なしSimCSE を用いた追加事前学習を採用した. 以下の実験における実験設定は，入力トークン長を 512 へと変更した点を除い てオリジナルの SimCSE と同一である. ただし，条文集以外はオリジナルと同規模の 100 万文を使用 して 1 エポックの学習をおこなったが，条文集を使用した学習は，およそ 1 万文で 100 エポックに変更 した.

オリジナルの SimCSE と対応して，最良のモ デルを選ぶ指標として, JGLUE (Japanese General Language Understanding Evaluation) [7]の JSTS のスピ アマンの順位相関係数を使用した. 125 ステップご とにJSTS の文対をそれぞれモデルに入力し, スピ アマンの順位相関係数が最も大きいステップのモ デルを選ぶ. SimCSEを適用するモデルとして，日本語 WikiBERT ${ }^{1)}$ ，及び JLBERT-FP[10] を使用した. JLBERT-FP は，日本語法分野に特化した BERT モデ ルである.

## 4.1 教師なし文埋め込み学習

SimCSE の教師なし学習は，BERT のドロップア ウトを利用した単純なデータ拡張を使用した対照学習である。同一文に対して擬似的に拡張をした文埋 め込み同士が近く，異なる文に対する文埋め込み同士が遠くなるように学習する。

教師なし学習においては，法ドメインデータの判決書データ，条文集に加えて，一般ドメインデータ の Wikipediaを用いる. 判決書データには平成十二年から令和二年までの民事事件下級審判決 52,967 件 を用いている。判決書データ及び Wikipedia につい ては，ランダムに 100 万文を抽出した. 条文集はお よそ 1 万文を抽出した。

一部手法は一般ドメインデータにおける文埋め込 み学習後に法ドメインデータで文埋め込み学習を しており，実験結果の表 1 において右矢印（）で 示す.

## 4.2 教師あり文埋め込み学習

SimCSE の教師あり学習は，NLI のデータセット を利用した対照学習である．NLI のデータセットは

1) https://github.com/cl-tohoku/bert-japanese より cltohoku/bert-base-japanese-whole-word-masking を使用.前件，仮説ペアに対する含意，非含意がラベリング されたデータセットであり，SimCSE では，前件の 文埋め込みに対し，含意ラベルが付与された仮説の 文埋め込みが近くなるように学習する。

ここでは NLI データセットに，JSNLI[9]を使用し た. SimCSE の構造上, 前件に対して仮説が含意,非含意いずれも存在する三つ組を用意する必要が あったため，JSNLI から 137,563 セットの三つ組を 作成し，学習に使用した。

## 5 実験設定

## 5.1 ファインチューニング

条文と問題文を [SEP] トークンで区切り，BERT に与える。クロスエントロピーロスを使い，エポッ ク数は 5 , 学習率は $1 \mathrm{e}-5$, バッチサイズは 12 , 入 カトークン最大長は 512 である. Aoki らは最大長 256 で実験を行なっていたが，トークン長の分布 (Appendix A.3)から 512 が適切だと判断した.

事前学習済みモデルには，日本語 WikiBERT， JLBERT-FP，及び SimCSE による事前学習済みモデ ルを使用した。

## 5.2 評価

性能指標には正解率 (Accuracy)を用いる. COLIEE 2021 データセットは合計でも 806 件に留まり (A.1)，年度毎のデータの特徴も異なること（A.2） から，モデルの性能評価では以下の方法を取る.

平成十八年度から令和元年度のうち， 1 年度をテ ストデータとし，残りのうち 1 割を検証データ，9割 を学習データとする実験を，各年度について行い計 14 年度分実施することを 1 回の実験と定義する. 1 実験全体のスコアは，マイクロ平均を用いる．各手法について 5 回ずつ実験を行い，その平均を各手法 のスコアとする. 各手法の正解率の平均について,並べ替え検定 (有意水準 $5 \%$, 両側検定) を行った。

## 6 実験結果

実験結果を表 1 に示す. 提案手法 (\#3) によって， ベースライン (\#1) から正解率が向上し，全手法を通 して最高性能となった。一方で，今回提案したデー 夕拡張手法 $(\# 3, \# 4)$ とべースライン $(\# 1)$ との間に統計的な有意差は確認できなかった. ベースライン は，利用する事前学習済み言語モデル及び SimCSE で利用するデータの種類に関わらず，データ拡張な
表 1 手法ごとの評価

JLBERT-FP．*は**に対して有意差を確認．）

しの結果に対して常に高い正解率を示し，統計的な 有意差も確認できた。

SimCSE を用いた手法 (\#5-\#14＃17-\#20) は，い ずれも Aoki らの手法 (\#1) 及び提案手法 (\#3) を下回 る正解率となった.

Aoki らのデータ拡張を適用した場合の性能向上幅 を, 日本語 WikiBERT (\#1,\#2) と JLBERT-FP (\#15,\#16) の間で比較すると, 日本語 WikiBERTを用いた手法 でより大きい. SimCSE 及びデータ拡張をどちらも 用いない手法 (\#2,\#16) の中では，JLBERT-FP が高い 性能を発揮した。

## 7 考察

反対解釈を用いた手法 (\#3) はベースライン (\#1) に対して改善が見られた. しかし, 改善幅が小さ く，統計的な有意差までは確認できなかった。

問題の内容を確認するために令和元年度をテスト データとした実験を抽出して分析した．令和元年度 データにおいて，反対解釈が必要である問題は少な くとも 3 件 (問 3, 問 21 , 問 53) 存在した. 令和元年度データに対する予測結果を手法 \#1,\#3, \#4 間で比較したところ，手法 $\# 1$ では $0 / 3$ 問正解だったのに 対し, 手法 $\# 3$ 及び $\# 4$ では $1 / 3$ 問正解であった ${ }^{2)}$.
このことから反対解釈を用いた拡張は部分的には有効に作用している可能性がある．改善幅が小さい原因は，反対解釈によるデータ拡張量が少なかったこ とが挙げられる. 反対解釈による拡張データはルー ルベースによって作成した. 反対解釈が可能な条文 を厳密に抽出するようにルールを設計したため，本来は拡張に利用可能な条文であっても排除している 可能性がある.

拡張データ件数を確保するため条文集を追加した 手法 ＃4 は，手法 ３３を下回る性能を示した。これは 民法向けに構築した拡張ルールをそのまま他の法典 に適用したことが原因と推測できる。

SimCSE を利用した文埋め込み学習手法は Aoki ら の手法に対して改善が見られなかった. SimCSE に おけるモデル選択の指標が適切でないことが原因と して考えられる. JSTS のような大規模な意味的類似度計算タスクデータセットは日本語法ドメインで は存在しないため, 実験では一般ドメインデータで あるJSTS を用いてモデル選択を行ったが，本来は 法ドメインデータを用いることが望ましい. 法ドメ インにおける低資源問題を回避するため教師なし SimCSE の活用を検証したが，モデル選択に必要な 検証データとして一定量のラベル付き法ドメイン データが確保できない点が，依然としてボトルネッ クとなってしまった.

## 8 結論

本稿では，法ドメインの含意タスクの低資源問題 を回避するため，1) 反対解釈によるデータ拡張手法, 2) SimCSE を用いた文埋め込み学習の利用を検証した.

従来のデータ拡張手法に更に反対解釈によるデー 夕拡張を行うことで，性能が向上することを示し た. 今後は, 反対解釈ルールの拡張や言語生成モデ ルを活用した生成的なデータ拡張の手法の検討を 行う.

一方で，SimCSE の有用性は示せず，教師なし学習であっても検証用データすら不十分なドメインの 場合は最良モデルの選択が難しいことを確認した。

## 謝辞

本研究で使用した判決書データは株式会社 LIC か ら提供を受けたものである. 本研究の一部は，JST， ACT-X，JPMJAX20AM の支援を受けたものである.

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[2] Juliano Rabelo, Randy Goebel, Mi-Young Kim, Yoshinobu Kano, Masaharu Yoshioka, and Ken Satoh. Overview and discussion of the competition on legal information extraction/entailment (coliee) 2021. The Review of Socionetwork Strategies, Vol. 16, No. 1, pp. 111-133, Apr 2022.

[3] Yasuhiro Aoki, Masaharu Yoshioka, and Youta Suzuki. Data-augmentation method for bert-based legal textual entailment systems in coliee statute law task. The Review of Socionetwork Strategies, Vol. 16, No. 1, pp. 175-196, Apr 2022.

[4] 早田幸政. 入門法と憲法. ミネルヴァ書房, 2014.

[5] Tianyu Gao, Xingcheng Yao, and Danqi Chen. SimCSE: Simple contrastive learning of sentence embeddings. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 6894-6910, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[6] Eneko Agirre, Daniel Cer, Mona Diab, and Aitor Gonzalez-Agirre. SemEval-2012 task 6: A pilot on semantic textual similarity. In *SEM 2012: The First Joint Conference on Lexical and Computational Semantics-Volume 1: Proceedings of the main conference and the shared task, and Volume 2: Proceedings of the Sixth International Workshop on Semantic Evaluation (SemEval 2012), pp. 385-393, Montréal, Canada, 7-8 June 2012. Association for Computational Linguistics.

[7] 栗原健太郎, 河原大輔, 柴田知秀. JGLUE: 日本語言語理解ベンチマーク. 言語処理学会 第 28 回年次大会発表論文集, 2022.

[8] 谷中瞳, 峯島宏次. JSICK: 日本語構成的推論 - 類似度データセットの構築. 人工知能学会第 35 回全国大会, 62021.

[9] 吉越卓見, 河原大輔, 黒橋禎夫. 機械翻訳を用いた自然言語推論データセットの多言語化. 情報処理学会第 244 回自然言語処理研究会, 72020.

[10] 宮崎桂輔, 菅原祐太, 山田寛章, 徳永健伸. 日本語法律分野文書に特化した BERT の構築. 言語処理学会第 28 回年次大会 発表論文集, 2022.

## A COLIEE

## A. 1 COLIEE の基本情報

COLIEE の年度ごとの問題数と含意ラベル数を 表 2 に示す.

## A. 2 年度間での傾向の異なり

手法＃1 の実験について年度ごとの結果を表 3 に 示す.

表 3 年度ごとの実験の正解率

## A. 3 トークン長

H18 年から R01 年のデータ 806 個に対するトーク ン長の分布を図 3 に示す. 256 より大きいデータは 118 個，512より大きいデータは 12 個ある.

図 3 トークン長の分布

## B 条文集

反対解釈及び SimCSE で使用した憲法，法律を以下に示す. 以下から成る条文集から 10,488 文を抽出した. e-Gov 法令検索 ${ }^{3}$ のテデータを利用した.

・行政機関の保有する情報の公開に関する法律
- 行政事件訴訟法
- 行政手続法
- 行政不服審査法
- 刑事訴訟法
- 刑法

-個人情報の保護に関する法律
- 国家賠償法
- 戸籍法
- 借地借家法
- 商業登記法
- 商法
- 宅地建物取引業法
- 賃貸住宅の管理業務等の適正化に関する法律

-日本国憲法
- 不動産登記法

・マンションの管理の適正化の推進に関する法律
- 民事執行法
- 民事訴訟法
- 民事保全法
- 民法
- 利息制限法
- 労働関係調整法
- 労働基準法
- 労働組合法

3) https://elaws.e-gov.go.jp/


# 動的時間伸縮法を用いた複数翻訳文書からの対応関係の自動抽出

中屋和樹 ${ }^{1}$ 川又泰介 ${ }^{1}$ 松田源立 ${ }^{1}$
${ }^{1}$ 成蹊大学 理工学部
dm226206@cc. seikei. ac. jp \{kawamata,matsuda\}@st. seikei. ac.jp

## 概要

自然言語処理のタスクを実行する上で、言い換え は非常に重要な技術である。語彙力のある人と同様 に、機械も豊かな表現能力を有することが望ましい。 そのためには、何らかの方法で意味的対応関係にあ る文を集める必要がある。本研究では複数の翻訳者 によって翻訳された文書を対象として、対応関係を 抽出する手法を提案する。具体的には翻訳文書を一定のルールで分割して文章群に変換し、既存の類似度指標によって文書間の距離を計算する。その後、文章を次々と組み合わせて DTW(動的時間伸縮法)[1]を適用し、その値が最小となる時のアライメン 卜を最終的な解とする。海外の文学作品を対象とし た実験の結果、組み合わせ操作を取り入れた DTW の最小化が対応関係の抽出に有効であることが示さ れた。

## 1 はじめに

文章で何かを伝える時、その表現方法は一通りと は限らない。文章を構成するパーツには様々な選択肢が存在し、相手や状況に応じて最適なものを選択 して使うことが重要である。例えば「このスマホは 色々なことが出来ます」という表現は、携帯ショッ プの店員が顧客に対して説明する際には適切だが、

EC サイトの商品説明闌においては「このスマホは 機能面で充実しています」という表現の方が好まし いだろう。このように同一の意味内容を有し、異な る言語表現で表されたものを言い換えという。自然言語処理にはさまざまな応用タスクがあるが、言い 換え技術はそれらのタスクに最も関係のある基礎的技術と言っても良い。

実際に言い換え技術を用いたタスクに取り組む際 は、事前に言い換え事例を大量に集める必要がある。現在までに様々な方法が提案されているが、本研究 では〈複数の翻訳者によって翻訳された文書は豊富 な言い換えを含んでいる〉という考えのもと、海外文学作品を対象として対応関係の抽出を目指す。こ こで「対応関係の抽出」というフレーズを使用した のは、翻訳という行為は翻訳スタイルによる個人差 が生じやすく、必ずしも言い換えとは言い切れない 事例が存在するためである。これまでにも複数の翻訳例を集めて言い換えを獲得する試みは行われてい る[2][3]。しかし、書籍規模の文書での検証を行なつ ており、かつ日本語を対象とした研究は確認できな かった。

[4]ではテトゥン語を対象とした機械翻訳のデー タ収集の手段として、DTWを用いたアライメントを 試みている。テトゥン語のような母語話者の少ない 言語の機械翻訳では、モデル構築以前にデータの枯渴が問題となることがある。そこで松本らは JICA、 UNIFEC によって公開されているテトゥン語と英語 の文書から、テトゥンー英の対訳コーパスを構築し ている。文分割処理を施した後に DTW による文ア ライメントを実行しているが、長さの異なる系列デ 一夕に一度しか適用していないため、 1 対多のよう な対応関係から不適切な対訳が複数抽出される可能性がある。また文章の特徴量として文章長を用いる ことが最適であるかは定かではない。

上記の懸念は、本研究のタスクである翻訳文書か らの対応関係の抽出において中心的な問題となる。原文一文を一文のまま訳す翻訳者もいれば、二つや 三つに分割して訳す翻訳者もいるため、[4]の手法を そのまま適用すると句点を境界として意味が分断さ れる文章に対して適切な対応付けができない。この ような、対応関係の散乱した文章群のアライメント を人手で行うことは容易だが、コスト面からも機械 での自動化が望ましい。そこで文章同士を組み合わ せる操作を行い、機械でも対応付けが可能な機構を 導入する。

本研究の貢献を以下に示す。

- 組み合わせ操作を取り入れた DTW の最小化が 対応関係の抽出に有効であることを示した

- DTW を実行する際の文書間の距離として、文字レベルの Jaccard 係数もしくは SentenceBERT によるユークリッド距離が有効であることを 示した

## 2 関連研究

## 2.1 DTW(動的時間伸縮法)[1]

DTW は二つの時系列データ同士の類似度を動的計画法によって求めるアルゴリズムである。具体的 には、二つの時系列データが与えられた時、DTW は 各系列の点同士の距離を総当たりで計算し、波形の 距離が最短となるような経路を求める。二つの時系列データを $X=\left.\{x_{1}, x_{2},,, x_{m}\right.\} \quad Y=\left.\{y_{1}, y_{2},,, y_{n}\right.\}$ とする と以下のように定式化される。

$
\operatorname{DTW}(X, Y)=\min _{\text {path }}(\operatorname{table}(X, Y, \text { dis, path }))
$

ここでtable()はデータ列 $X, Y$ 及び距離関数 $\operatorname{dis}($ が 与えられた元で生成される DP テーブルであり、 pathは波形間の距離が最短となるような経路を表 す。

## 2.2 文の類似度指標・埋め込み生成モデル

本研究では文章の類似度を評価する指標として、 Jaccard 係数、文ベクトル間のユークリッド距離を用 いる。

Jaccard 係数は集合同士の類似度を測る指標であ り、文字や単語を集合の要素とみなして文同士の評価にも使用することができる。以下に式を示す。

$
\operatorname{Jaccard}(\operatorname{Sent} 1, \operatorname{Sent} 2)=\frac{|\Omega(\operatorname{Sen} t 1) \cap \Omega(\operatorname{Sent} 2)|}{|\Omega(\operatorname{Sen} 1) \cup \Omega(\operatorname{Sen} t 2)|}
$

ここで $\Omega($ Sent)はある文Sentに対する文字レベルの 集合である。

文章をベクトルに変換するモデルを総称して文章埋め込み生成モデルと呼ぶ。現在までに様々な手法 が提案されているが、それらは主にカウントベース の方法、単語ベクトルの加重平均を取るなどして生成する方法、深層学習で直接ベクトルを生成する方法、のいずれかに分類されることが多い。近年は、距離学習によって文章をべクトル空間上に適切にマ ッピングする手法(上記の 3 番目)が主流となってい る。本研究では文章埋め込み生成モデルとして、 fasttext[5]、SentenceBERT[6]を用いる。 fasttext は 2016 年に Facebook が公開した単語埋め 込み生成モデルである。基本的には Word2vec[7]の 技術を踏襲した形となっており、Word2vec と比較し て高速にベクトル生成可能な点が特徴である。本研究では fasttext 9 日本語学習モデルを利用し、得られ たベクトルの平均をとって文べクトルとする。

SentenceBERT は 2019 年に公開された文章埋め込 み生成モデルである。この手法が提案される以前は 文章の類似度を測るために BERT の出力を文べクト ルとして用いることがあったが、文べクトルとして の精度は低いことが知られていた。そこで著者らは BERT に対して距離学習を適用することで、高品質 な文ベクトルの獲得を可能にした。

## 3 提案手法

提案手法ではまず作品を単純なルールに従って分割し、文章群へと変換する。その後、文類似度指標 を用いて文書間の距離を計算し、文章対を key、そ れらの距離を value とした辞書を構築する。最後に、文章を次々と組み合わせて DTW を計算していき、 その値が最小となるアライメントを対応関係にある とみなす。

## 3.1 分割処理

アライメントを計算する前の事前処理として、そ れぞれの作品を文単位に分割する。本研究では以下 の分割ルールを採用した。

- 句点、疑問符、感嘆符、鉤括弧、丸括弧を基本単位として分割する

読点を分割単位とすると、文の粒度が低くなってし まい計算時間の増加につながるため、採用していな い。なお、「（）」のような入れ子構造が存在した 場合、flag 変数を用いることで不適切な分割が行わ れないように処理している。また、作品によっては 鉤括弧や丸括弧が半角や全角になっていたり、ニュ ーラルモデルの Tokenizer で UnKnown トークンと認識されてしまう文字も存在する。そこで NFKC 正規化処理を行い、文字の表記ゆれを一括で修正した。

## 3.2 DTW による対応関係の抽出

以下にアライメントの手順を示す。詳細は図 1 を 参照されたい。

1. 3.1 のルールに従って 2 つの作品を文書群に変換する。(List1、List2 とする)

Step1：ルールに従って分割

文書1 話もありません。
アリスは、なんな゙かとってもつまらなくなってきました。土手の上でお姉さんと並んですわっていても、なにもすることがいからです

List1

文書2

うんさりしてきたところでした。一、二度、お姉さんの䟲んでる本をのぞきこんだけれと、絵もないし会砧もな いのです。

List2

Step2：距離を計算

Key : List1 $\times$ List2の要素

Value : dis(sen1, sen2)*

sen1アリスは、なんだかとってもつまらなくなってきました。

$\operatorname{sen} 2$-、二度、お姉さんの就んでる本をのぞきこんたけれと、絵も
ないし会話もないのでず

sen1アリスは、なんだとってもつまらなくなってきました。

Step3\&Step4：組み合わせ\&最小化

Step5: アライメント結果

図 1 DTWによるアライメント(例文は[8][9]より引用)

2. List1 と List2 の直積を求め、その要素を key、要素を構成する文対の距離を value とした辞書 を構築する。(距離を計算)

3. List1、List2 の要素全てに対し組み合わせ候補を 順番に 2 つ選択して結合する。結合した状態で の List1 と List2 の DTW 值を計算し保存すると ともに、組み合わせた文対とそれらの距離を辞書に追加する。

4. DTW 值が最小となる組み合わせ候補を求め、 その候補を適用する形で List1 もしくはList2を 更新する。

5. DTW 值が下がらなくなるまで 3、4 の操作を繰 り返す。操作が終了した時の DTW によるアラ イメントを求める解とする。

「文を組み合わせて DTW を計算する」という流 れを 1 ループとすると、1 ループ前後での List1 と List2 はそのほとんどが変化しない。よって、DTW の 過程で逐一文章同士の距離計算を行うことは効率の 面で問題がある。よって、最初の段階で辞書を構築
することで、List1×List2 の距離は辞書にアクセスし て取得することが可能となる。組み合わせた文書に 関しては key が存在しないので、随時距離を計算し て辞書に追加すればよい。

## 4 実験設定

## 4.1 データ

不思議の国のアリス[8][9]、白鯨[10][11]、ハックル ベリー・フィンの冒険[12][13]、罪と罰[14][15]、自負 と偏見[16][17]、風と共に去りぬ[18][19]を用いた。今回は多くの作品での適応可能性の調査を行うため、使用する文は前書き等を除いた冒頭付近の範囲に限定した。尚、以降では以下のように作品名を省略し て表記する。

不思議の国のアリス $\rightarrow$ 不思議の国

ハックルベリー・フィンの冒険 $\rightarrow$ ハックルベリー
表 1 実験結果 (結果は 正解対/対の総数 の形式となっている)

## 4.2 評価方法

適切なアライメントが取れているか自動で判定 することは困難であるため、目視でのチェックを行 った。この時、得られた結果に本来組み合わせる必要の無い文章が存在する場合があり、例えば、「」

「」のような会話が複数回連続した文章はそれぞれ 個別にアライメントされることが望ましい。しかし 本研究の目的はあくまでも対応関係の自動抽出であ るため、少なくとも意味関係が等しいことが明らか であれば正しいアライメントとみなした。

## 5 実験

表 1 に 6 作品で実験を行った際のアライメント結果を示す。結果の形式について、(正解対/対の総数) の形式での記載とした。意味関係を適切に考慮して アライメントしつつも、なるべく最小限の組み合わ せ回数で終了することが理想の流れである。よって、最終的に得られる対の総数は多い方が良い。

先行研究で提案されていた文章長(Sent_len)によ るDTW は全ての指標・特徵量において最も抽出精度が悪く、不適切な箇所へのアライメントが顕著に 見られた。これは最終的な List1 と List2 の要素数が 異なっており、正確な一対一の対応関係を抽出でき なかったことが原因である。fasttext はおおむね適切 な対応関係が取れているものの、過度な組み合わせ による長文でのアライメントが散見された。結果的 に他の指標・特徴量に比べて、得られたアライメン トの数が少なくなっている。単語ベクトルは足し合 わせるほど原点に近づく傾向があり、文章を組み合 わせる操作を行なった際に座標が大幅に変化する。 それに伴って波形が大きく変化し、最適化に多くの 組み合わせ操作を要した結果、非常に長い文のアラ イメントが発生したと考えられる。Jaccard 係数と SentenceBERT は両方とも適切に対応関係を抽出で
きており、その数に差はあまり見られない。しかし、 SentenceBERT の方がやや圧縮率が高く、不必要な組 み合わせが行われている傾向が見られた。今回採用 した海外の文学作品は、翻訳者によって翻訳スタイ ルは違うものの、表面的には似た箇所が多い。Jaccard 係数を単語レベルではなく文字レベルの集合で求め ることで、共通して登場する単語に加えてある程度類似した箇所を考慮したアライメントが可能であっ たと解釈できる。SentenceBERT の出力ベクトルを用 いて二文の類似度を比較する方法は、その精度の高 さから近年では頻繁に用いられている。しかし、比較する一方の文に余計な要素を追加すると類似度が 上昇する、など不安定な挙動が確認されることも多 い。今回の実験では、組み合わせ操作を取り入れた ことによって、その挙動の不安定さが結果に現れた 形となった。

以上の内容を踏まえると、日本語の文書からの DTWによる対応関係の抽出において、文字レベルの Jaccard 係数を用いる、もしくは SentenceBERT によ るユークリッド距離を用いる、のいずれかが有効で あると考えられる。

## 6 まとめ

本研究では複数の翻訳者によって翻訳された文書 を対象として、対応関係を抽出する手法を提案した。海外の文学作品を対象とした実験の結果、組み合わ せ操作を取り入れた DTW の最小化が対応関係の抽出に有効であり、DTWを実行する際の文書間の距離 として、文字レベルの Jaccard 係数もしくは SentenceBERT によるユークリッド距離が有効であ ることを示すことができた。本研究では日本語の文学作品を対象として実験を行ったが、今後は DTW の高速化なども視野に入れつつ、他言語への適応可能性も調查したい。

## 謝辞

本研究は JSPS 科研費 JP21K12036 の助成を受けたも のである。

## 参考文献

[1] Sakoe, H. and Chiba, S.: Dynamic Programming Algorithm Optimization for Spoken Word Recognition, IEEE Transaction on Acoustics, Speech, and Signal Processing, Vol. ASSP-26, No. 1, pp. 43-49 1978.

[2] Regina Barzilay and Kathleen R. McKeown. Extracting Paraphrases from a Parallel Corpus. In Proc. of ACL 2001, pp. 50-57, 2001.

[3] Kiyonori Ohtake and Kazuhide Yamamoto. 2003. In Proceedings of the 17th Pacific Asia Conference on Language, Information and Computation, pages 380391, Sentosa, Singapore. COLIPS PUBLICATIONS.

[4] 松元航太郎速水悟 田村 哲嗣“テトゥン語 を対象としたニューラル機械翻訳の研究” 言語処理学会 第 26 回年次大会 発表論文集 pp.1065-1068 2020 .

[5] https://fasttext.cc (2023 年 1 月 12 日アクセス)

[6] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional trans- formers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Pa- pers), pp. 4171-4186. Association for Computational Lin- guistics, June 2019.

[7] Mikolov, T., Chen, K., Corrado, G. and Dean, J.: Efficient Estimation of Word Representations in Vector Space, In Proceedings of ICLR Workshops Track (2013). [8] Lewis Carroll (1865) Alice's Adventures in Wonderland(ルイス・キャロル 河合祥一郎(訳) 不思議の国のアリス+鏡の国のアリス 2 冊合本版(2015)角川文庫 P12)

[9] Lewis Carroll (1865) Alice's Adventures in Wonderland(ルイス・キャロル 多田幸蔵(訳) 不思議 の国のアリス (2012) グーテンベルク 21 P2)

[10] Herman Melville (1851) Moby-Dick (ハーマン・メルヴィル 富田彬(訳) 白鯨(上) (2015)角川文庫)
[11] Herman Melville (1851) Moby-Dick (ハーマン・メ ルヴィル 高村勝治(訳) 白鯨(上) (2011) グーテンベ ルク 2 1)

[12] Mark Twain (1885) Adventures of Huckleberry Finn (マーク・トウェイン 山本長一(訳) マーク・トウェ インコレクション ハックルベリィ・フィンの冒険 (2014) 彩流社)

[13] Mark Twain (1885) Adventures of Huckleberry Finn (マーク・トウェイン 土屋京子(訳) ハックルベリ 一・フィンの冒険 〈上〉 (2014) 光文社古典新訳文庫)

[14] Dostoevskii (1866) Crime and Punishment (ドスト エフスキー工藤精一郎(訳) 罪と罰（上下）合本版 (2021) 新潮文庫)

[15] Dostoevskii (1866) Crime and Punishment (ドスト エフスキー 米川正夫(訳) 罪と罰 上 (2022)角川文庫)

[16] Jane Austen (1813) Pride and Prejudice(ジェイン・ オースティン 小山太一(訳) 自負と偏見 (2016) 新潮文庫)

[17] Jane Austen (1813) Pride and Prejudice (ジェイン・ オースティン 小尾芙佐(訳) 高慢と偏見〈上〉 (2016) 光文社古典新訳文庫)

[18] Margaret Munnerlyn Mitchell (1936) Gone With the Wind (マーガレット・ミッチェル 鴻巣友季子(訳) (2015) 風と共に去りぬ 第 1 巻 新潮文庫)

[19] Margaret Munnerlyn Mitchell (1936) Gone With the Wind (マーガレット・ミッチェル 大久保康雄,竹内道之助(訳) 風と共に去りぬ（一）(2016）グーテンベ ルク 2 1)


# 名詞役割入れ替えに頑健な日本語含意関係認識

雨宮正弥 ${ }^{1}$ 増川哲太 ${ }^{1}$ 仲田明良 ${ }^{1}$ 狩野芳伸 ${ }^{1}$
1 静岡大学情報学部
\{mamemiya, tmasukawa, anakada, kano\}@kanolab. net

## 概要

含意関係認識に必要な要素は、語彙、構文、推論 など様々であるが、たとえば語彙が共通しているが 主語と目的語が入れ替わり文意が変わって矛盾とな るべきような場合、現状の深層学習モデルでは分類性能が著しく低い。本研究では、非矛盾の文章ペア 中の名詞を入れ替えることで矛盾とみなせる文章デ 一タを自動作成し、既存の含意関係認識データセッ トと合わせて BERT をファインチューニングした。学習と評価には、既存の含意関係認識データセット に加え、Wikipedia と新聞記事から抽出したものを組 み合わせて用いた。これにより、従来から高い性能 が報告されているタイプの含意関係認識の性能は保持しつつ、日本語の文内で名詞を入れ替えたときに 意味が変わり矛盾となったかを判別できることを示 した。

## 1 はじめに

含意関係認識は、前提文と仮定文の文ペアについ て、前提文が正しいとしたときに仮定文が正しいと 言えれば含意、間違えていると言えれば矛盾、どち らとも言えない場合は中立と判定するタスクである。日本語では日本語 SNLI データセット (JSNLI) [1],本語構成的推論・類似度データセット（JSICK）[2], Japanese Realistic Textual Entailment Corpus (JRTEC) [3]などの含意関係認識データセットが作成され、事前学習済みの大規模深層言語モデルをファインチュ ーニングすることで 9 割近い分類性能が報告されて いる[1][2][3]。一方で、既存の深層言語モデルによる 日本語の含意関係認識では語順の変化に対応できて いないと報告されている[2]。含意関係認識は実際に は語彙、構文、推論などその認識に必要な要素が様々 であり、それらをまとめた全体性能のみでは性能を 判断しがたい。特に、語彙は共通のまま主語と目的語を入れ替えたような場合、現状の深層学習モデル では分類性能が著しく低い。こうした入れ替え前後
の文意の違いを捉えることは非常に重要であり、実現すれば深層学習モデルの根本的な処理能力の向上 が期待できる。

本研究では、このような文章内で名詞を入れ替え たときに文意が変わる場合に着目し、自動で入れ替 えたデータを生成しファインチューニングに用いる。名詞入れ替えデータの生成においては、入れ替え後 の文の不自然さなどほかの手掛かりで判別できない ように、品詞細分類や格フレームを用いたいくつか のフィルタを適用した。

名詞入れ替えデータと既存の含意関係認識データ とを合わせて学習することで、これまでの含意関係認識の性能を保持しつつ、名詞を入れ替え文意が変 わる文にも対応できることを示した。訓練と評価は、各種の既存含意関係認識データセット、Wikipedia、新聞記事データセットを組み合わせて実行し、デー タセットによるバイアスがないか確認した。

## 2 関連研究

日本語の含意関係認識データセットには、JSNLI [1]、JSICK[2]、JRTEC[3]、RITE[4]、RITE-2[5]、 RITE-Val[6]、Textual Entailment 評価データ[7]など がある。

JSNLI[1]は、英語の大規模含意関係認識データセ ットである SNLI[8]を日本語に翻訳したもので、事前学習済み BERT [9]をファインチューニングし、評価値 0.929 の分類性能を達成した[1]。

JSICK[2]は、多様な言語現象を含む英語の含意関係認識データセットである SICK[10]を日本語に翻訳したもので、事前学習済み BERTをファインチュ ーニングすることで Accuracy 84.0 の正答率を達成 した[2]。また、項（名詞句）の語順を入れ替えても 意味内容が変化しない場合に入れ替えをすると、 10\%程度正答率が下がることを示した。

JRTEC[3]は、根拠付きアノテーションをした含意関係認識データセットで、BERT のファインチュー ニングにより $\mathrm{F}$ 値 92.4 の分類性能を達成している[3]。

RITE[4]、RITE2[5]、RITE-VAL[6]は、NTCIR の shared task で使用されたデータである。RITE-VAL において Ishii らは Macro F1 77.96 を達成している $[11]$ 。

Textual Entailment 評価データ[7]は、クラスが 、

タセットである。また、推論の要因として包含、語彙（体言）、語彙（用言）、構文、推論の 5 つで各 サンプルが分類されている。

## 3 提案手法

含意関係認識と一口にいっても、実際にはさまざ まな要素がある。たとえば Textual Entailment 評価デ ータでは、包含、語彙（体言）、語彙（用言）、構文、推論の 5 つに大きく分類している。

表 1 に Textual Entailment 評価データの含意関係認識の例を示す。なお、Textual Entailment 評価デー

が、他の含意関係認識データセットに合わせ、本研

ラベルとして扱う。

表 1 Textual Entailment 評価データの例

 \\

本研究の目的は、表 1 内の「構文」例に当たる、日本語の文内で名詞を入れ替えたときに、文意が変 わったかどうかを深層言語モデルに判別させること である。原文と名詞を入れ替えた文とのペアを用意 し、原文を前提、入れ替え文を仮定とし、正解ラべ ルを「矛盾」とする含意関係認識タスクとして解く。

文内の任意の名詞ペアを入れ替えてしまうと、日本語として不自然、あるいは単語の並びの頻度が低 いかどうかなどで容易に判別できてしまう可能性が ある。そこで品詞細分類が同じ名詞のみを入れ替え 対象とし、以下で詳述するように、述語とそれが格関係をもつ語(項)を記述した京都大学格フレーム [11]を用いて、入れ替え後もできるだけ日本語とし て成立しうる文になるようにした。
この名詞入れ替えデータと既存の含意関係認識デ ータセットとを組み合わせて学習・評価を行った。

## 3. 1 名詞入れ替えデータの作成

原文となる日本語文章データとして、データ量が 多い日本語 Wikipediaデータiと中日新聞の過去 30 年分の記事データから一部を抽出して使用した。

Wikipedia、新聞記事の各文に対し、以下の 1 から 3 の操作を行い、名詞入れ替えデータを作成した。 40 文字以下の文のみを対象とし、名詞の入れ替えは 1 文につき一度とした。

1. JUMAN++(pyknp 0.6.1) iiで形態素解析をし、文中の名詞を特定する。名詞が連続している場合は 1 つの名詞として扱う。
2. 1 で得られた名詞のうち、品詞細分類が同じ 最初の二つを入れ替えた文を作る。
3. 2 で得られた文を日本語構文解析器 KNP(pyknp 0.6.1) ii [12]で解析し述語と対応す る格を取得した。この結果を京都大学格フレ 一ム Ver 2.0 iii [11]と照らし合わせ、全ての述語と格の組み合わせがデータに存在する場合 のみを採用し、他は除外した。

3.の操作により、入れ替え後の文が日本語として 不自然なものが除かれると期待する。例えば原文「鉛筆で字を書く。」に対し「鉛筆」と「字」を入れ替 えると「字で鉛筆を書く。」と不自然な内容になる が、これを除外することができた。

表 2 に、入れ替え後の結果をWikipedia、新聞記事 それぞれから 100 件サンプリングして目視で検査し た結果を示す。

表 2 名詞入れ替えデータの人手分類の統計

作成した名詞入れ替えデータのうち、入れ替え後も 文意が変わらないサンプル、文意が変わるサンプル、入れ替え後は日本語として不自然なサンプル、の三

種に分類した。ここでいう不自然な文には、構文的 に不自然な場合も含まれている。

表 3 に入れ替え後の事例を挙げる。文意が変わる 例では、「天気」と「季節」が前提と仮説の文で入 れ替わっており、違う文意になっている。文意が変 わらない例では「追加」と「店舗閉鎖」が入れ替え られているが、「追加の店舗閉鎖」と「店舗閉鎖の 追加」は同じ意味なので入れ替え後の文意が変化し ていない。不自然な日本語の例では、 2 つの名詞の 間に助詞「の」が入っているため「お別れの会」全体で一つの名詞と認識されず、「後日お別れ」と「会」 が入れ替わる不自然な結果となった。

表 3 入れ替え文章の例

## 3.2 含意関係認識器

含意関係認識データの先行研究では、含意関係認識器として BERT が最も多く使用されていたため、本研究でも比較のため BERT を用いる。本研究では BERT の事前学習済みモデルをファインチューニン グして含意関係認識器を構築する。入力は「[CLS]仮説 [SEP]前提[SEP]」の形式で、[CLS]に対応する出力を用いて含意、中立、矛盾の 3 クラス分類を行う。

## 4 実験

既存の含意関係認識データだけでファインチュー ニングした BERT と、既存の含意関係認識データに 加えて名詞入れ替えデータで学習した BERTを用い て、含意関係分類タスクを行い評価した。

## 4. 1 データセット

JSNLI と JSICK の 2 つの含意関係認識データセッ 卜と、3.1 の手順で作成した名詞入れ替えデータ

（Wikipedia shuffle および新聞記事 shuffle）を、 BERT ファインチューニングに使う学習データ・テ ストデータとして使用した。表 4 に各データセット の統計を示す。JSNLI と JSICK は訓練データとテス トデータに分けて提供されているため、それぞれの
データ数を記載した。

## 4. 2 実験設定

以下の 4 通りの学習データセットでBERT をファ インチューニングした。名詞入れ替えデータを学習寸る際は、含意のデータ数と矛盾のデータ数が同じ くらいになるよう調整し、ランダムサンプリングし た。
- JSNLI データセットの学習データ

・JSICK データセットの学習データ
- JSNLI データセットの学習データのうち矛盾ラ

ベルからランダムに文ぺア 2 万件を削除したも の) (含意約 17 万、矛盾約 15 万、中立約 17 万) + Wikipedia 入れ替えデータ（矛盾約 2 万）
- JSICK データセット (含意約 1100、矛盾約 800 、中立約 3000）+ Wikipedia 入れ替えデータ（矛盾約 300)

学習データは学習用・検証用で $4: 1$ に分割して学習 した。学習や推論には Hugging Face $の$

BertForSequenceClassification ${ }^{\text {iv } を 、 B E R T ~} の$ 事前学習 モデルは東北大学の乾研究室が公開している

bert-for-japanese-whole-word-maskingvを使用した。学習時のパラメータ設定は付録に記載する。

## 4. 3 実験結果

前節で示した 4 通りの方法でファインチューニン グした BERT について、 4 通りのテストデータセッ トを用い、計 16 通りの評価を行った。テストデータ セットはJSNLIおよびJSICK のテストデータセット に加え、前節で学習に使わなかった Wikipedia 入れ 替えデータ約 14000 件と、新聞記事入れ替えデー夕 10599 件の計 4 種類である。評価結果を表 5 に示す。

表 5 各テストデータに対する評価結果

A:accuracy, P:クラス毎の precision(予盾/含意/中立), R:クラスごとの recall(矛盾/含意/中立)

含意関係認識データセットのみで学習した BERT では、名詞入れ替えデータでの正答率が著しく低い。提案手法である含意関係認識データセットと名詞入 れ替えデータを合わせて学習した BERT は、JSNLI やJSICKテストデータの正答率はほぼ同等であるが、名詞入れ替えデータでの正答率が大幅に向上した。入れ替えデータは矛盾ラベルのみで構成されている が、バランスデータである JSNLI や JSICK でも高い 性能を達成できていることから、単に矛盾のみを回答するのではなく純粋に性能が向上したといえる。

## 5 考察

Wikipedia でファインチューニングした場合に、名詞入れ替えによる矛盾ではなく、Wikipedia 特有の文体などを手掛かりに正答できた可能性があるが、新聞記事による評価も同等の高性能を示しているため、一般に入れ替えの結果となった矛盾関係を認識でき るようになったと考えられる。事前学習データが Wikipedia であるため、既知の文であるために性能が 上がった可能性についても、同様に新聞記事が高性能であることから排除できる。

JSNLI や JSICK の学習データだけでファインチュ ーニングした BERT が、Wikipedia の入れ替えデータ と新聞記事の入れ替えデータにおいて、推論したク ラスの数を表 6 に示す。JSNLI やJSICK だけで学習 した BERT は入れ替えデータでほとんど含意と推論 していたことが分かる。これは、従来手法の学習で は文脈よりも単語に重みづけした推論を行っている からではないかと考えられる。入れ替えデータも含めて学習した BERT が、 Wikipedia や新聞記事の名詞入れ替えデータにおい て不正解となっていた例を表 7 に示す。例のように 格助詞「の」の前後で名詞が入れ替わる例が多く、 その場合「日本の東京」 $\Leftrightarrow$ 「東京の日本」など文意 が変わるものが多い一方で、表 7 の例や表 3 で示し た「文意が変わらない」例のように文意が変わらな いものが入れ替えデータの自動生成の結果に含まれ ており、そのため判別できなかった可能性がある。

表 6 推論したクラスの数

} & \multicolumn{3}{|c|}{ Wikipedia shuffle } & \multicolumn{3}{|c|}{ 新聞記事 shuffle } \\
\cline { 2 - 7 } & 矛盾 & 含意 & 中立 & 矛盾 & 含意 & 中立 \\

表 7 名詞入れ替えデータでの不正解の例

## 6 おわりに

本研究では、名詞を入れ替えた日本語文章データ を作成し、既存の含意関係認識データセットと合わ せてBERT をファインチューニングした。その結果、従来の含意関係認識の性能を保持しつつ、文内で名詞を入れ替えたときにも、意味が変わり矛盾になっ たかどうか判別できるようになった。今後は、文章内で名詞が入れ替わっても意味が変わらない文に対応することや、より長い文でも性能が保てているか をテストし、本研究の提案手法を応用してきたい。

## 謝辞

本研究は JSPS 科研費 JP22H00804，JP21K18115， JP20K20509, JST AIP 加速課題 JPMJCR22U4, および セコム科学技術財団特定領域研究助成の支援をうけ た。中日新聞社より、過去の記事データをご提供い ただいた。ここに深謝申し上げる。

## 参考文献

[1]. 吉越卓見，河原大輔，黒橋禎夫. 機械翻訳を用 いた自然言語推論データセットの多言語化. 情報処理学会 第 244 回自然言語処理研究会, 2020.

[2]. 谷中瞳, 峯島宏次. JSICK: 日本語構成的推論 類似度データセットの構築. 人工知能学会 第 35 回人工知能学会全国大会, 2021 .

[3]. 林部祐太. 知識の整理のための根拠付き自然文間含意関係コーパスの構築. 言語処理学会 第 26 回年次大会, 2020 .

[4]. Hideki Shima, Hiroshi Kanayama, Cheng-Wei Lee, Chuan-Jie Lin, Teruko Mitamura, Yusuke Miyao, Shuming Shi, Koichi Takeda. Overview of NTCIR-9 RITE: Recognizing Inference in TExt. Proceedings of NTCIR-9 Workshop Meeting, 2011. 291-301.

[5]. Hideo Joho, Tetsuya Sakai. Overview of NTCIR-10. Proceedings of the 10th NTCIR Conference, 2013.

[6]. Hideo Joho, Kazuaki Kishida. Overview of NTCIR-11. Proceedings of the 11th NTCIR Conference, 2014.

[7]. 小谷通隆, 柴田知秀, 中田貴之, 黒橋禎夫. 日本語 TextualEntailment のデータ構築と自動獲得した類義表現に基づく推論関係の認識. 言語処理学会 第 14 回年次大会, 2008. 1140-1143.

[8]. Samuel R. Bowman, Gabor Angeli, Christopher Potts, Christopher D. Manning. A large annotated corpus for learning natural language inference. Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, 2015. 632-642.
[9]. Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. 2019. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. Proceedings of NAACL-HLT, 2019. 4171-4186.

[10] Marco Marelli, Stefano Menini, Marco Baroni, Luisa Bentivogli, Raffaella Bernardi, Roberto Zamparelli. A SICK cure for the evaluation of compositional distributional semantic models. Proceedings of the Ninth International Conference on Language Resources and Evaluation, 2014. 216-223.

[11]. Ai Ishii, Hiroshi Miyashita, Mio Kobayashi, Chikara Hoshino. NUL System at NTCIR RITE-VAL tasks. Proceedings of the 11th NTCIR Conference, 2014. 249-254.

[12]. 河原大輔，黒橋禎夫. 高性能計算環境を用いた Web からの大規模格フレーム構築. 情報処理学会研究報告, 2006. 67-73.

[13]. 河原大輔, 黒橋禎夫. 自動構築した大規模格フ レームに基づく構文・格解析の統合的確率モデル.自然言語処理 14 巻 4 号, 2007.67-81

## A 付録

BERT の学習時設定において、最適化手法は AdamW学を使用した。学習時のハイパーパラメータは以下の通 りである。
- Epoch 数 : 10
- 学習率 : $2 \mathrm{e}-5$

・バッチサイズ : 16

vi https://pytorch.org/docs/stable/generated/torch.optim.AdamW.html


# 単語の難易度埋め込みを用いた日本語のテキスト平易化

柳本 大輝 ${ }^{1}$ 梶原 智之 ${ }^{2}$ 二宮崇 ${ }^{2}$
1 愛媛大学工学部 2 愛媛大学大学院理工学研究科
\{yanamoto@ai., kajiwara@, ninomiya@\}cs.ehime-u.ac.jp

## 概要

本研究では、系列変換モデルの埋め込み層を拡張 し、単語埋め込みに加えて単語の難易度埋め込みを 用いることで、日本語のテキスト平易化の性能を改善する。日本語のテキスト平易化のために利用可能 な文の難易度付きパラレルコーパスが存在しないた め、英語の先行研究のように語や文の難易度を考慮 したテキスト平易化を日本語で実現することは難し い。提案手法では、2,000 単語からなる基礎語彙に 注目し、入力単語が平易か否かを考慮する。やさし い日本語コーパスにおける実験の結果、提案手法は 積極的に平易な表現を出力する傾向が見られた。

## 1 はじめに

日本における在留外国人数は年々増加傾向にあ り、その数は今や 290 万人 ${ }^{1) を}$ 超えている。さらに、在留外国人の国籍の多様化も進んでおり、在留外国人の国籍および出身地域の数は約 200 種類 ${ }^{2}$ であ る。そのため、在留外国人をはじめとする日本語非母語話者への情報伝達の際に、各人の母語へ翻訳す ることは困難である。また、2010 年の調査 [1] では、日常生活に困らない言語として日本語を挙げた在留外国人は約 $62 \%$ であり、英語や中国語を大きく上回 ることが報告されている。そこで、緊急時の情報発信や平時の生活情報案内など、様々な場面において やさしい日本語3)での情報提供が推奨されている。

やさしい日本語などの制限言語の生成は、テキス ト平易化 [2] の技術による自動化が期待されている。 テキスト平易化では、文の意味を保持したまま、難解な文を平易に変換する。近年は、テキスト平易化 を同一言語内の機械翻訳の問題として捉え、難解文 と平易文の対からなるパラレルコーパス [3] を用い て系列変換モデルを訓練するアプローチ [4-6] が主

1) https://www.moj.go.jp/isa/content/001381744.pdf

2) https://www.moj.go.jp/isa/publications/press/ 13_00028.html

3）語彙や文法を制限した初学者にも理解しやすい日本語流である。この技術を用いて、所与の日本語文をや さしい日本語へ自動的に変換する日本語のテキスト 平易化の研究 [7-11]が行われている。

しかし、テキスト平易化の多くの先行研究 $[3-5$, 10-14] は、機械翻訳などで用いられる標準的な系列変換モデルを適用し、テキスト平易化タスクの特徴 である難易度を充分に考慮していない。多段階の文 の難易度が付与されたパラレルコーパス $[3,5,15]$ を 利用可能な状況では、難易度を考慮した手法 [16-18] も提案されているが、日本語を含む英語以外の言語 には、そのようなコーパスは存在しない。

日本語には文の難易度が付与されたコーパスは 存在しないものの、単語の難易度が登録された辞書 [19] は複数存在する。そこで本研究では、単語の 難易度を考慮した日本語のテキスト平易化手法を 提案する。提案手法では、やさしい日本語コーパ ス [7-9] に付属の基礎語彙を使用し、Transformer [20] に基づく系列変換モデルにおいて単語埋め込みに 単語難易度の情報を組み込む。やさしい日本語コー パスにおける評価実験の結果、単語難易度の考慮に よってテキスト平易化の性能を改善できた。

## 2 関連研究

テキスト平易化によって、言語障害を持つ人々や 子どものテキスト読解支援 [21-23] および言語学習効率の向上 [24] などの効果が期待できる。ただし、子どもや言語学習者の言語能力は年齢や学習期間な どの影響を受け、複数の段階を持つ。そのため、対象読者を想定してテキストの難易度を制御する手法 が近年盛んに研究されている。

文レベルの難易度を考慮する先行研究では、目標難易度を特殊トークンとして入力文の文頭に付加す る手法 [16] や、出力文の推定難易度と目標難易度の 誤差最小化の訓練を行う手法 [18] が提案されてい る。単語レベルの難易度を考慮する先行研究では、目標難易度の文中で出現しやすい単語の出力を促す 手法 [17] や、難解な文中で出現しやすい単語を出力

図 1 提案手法の概要

しないように強制する手法 [25] が提案されている。 しかし、これらの先行研究では、難易度を考慮す るモデルを訓練するために、多段階の文の難易度が 付与されたパラレルコーパス $[3,5,15]$ を必要とす る。このようなパラレルコーパスは英語以外の言語 では使用できないため、日本語においては難易度を 考慮するテキスト平易化モデルを構築できない。

## 3 前提知識

## 3.1 やさしい日本語コーパスと基礎語彙

日本語のテキスト平易化のための言語資源とし て、やさしい日本語コーパス [7-9] がある。これは、 8.5 万文の日本語文を人手で平易化した日本語のテ キスト平易化のためのパラレルコーパスである。原文は、日英対訳コーパスである田中コーパズ)から 選択されている。このうち、 5 万文対 ${ }^{5}$ は日本語母語話者の大学生によって平易化され、残りの 3.5 万文対6) はクラウドソーシングによって雇用された日本語母語話者によって平易化されたものである。日本語のテキスト平易化の先行研究 $[10,11]$ では、や さしい日本語コーパスを用いて Transformer [20] に 基づくテキスト平易化モデルが構築されている。 やさしい日本語コーパスの作者らは、やさしい日本語として、2,000 単語からなる基礎語彙7)を選定 している。平易化の際には、記号や固有名詞は例外

4) https://github.com/odashi/small_parallel_enja

5) https://www.jnlp.org/GengoHouse/snow/t15

6) https://www.jnlp.org/GengoHouse/snow/t23

7) https://www.jnlp.org/GengoHouse/list/語彙
としつつも、基本的にはこの基礎語彙のみを用い て原文を言い換えている。なお、この基礎語彙は、 UniDic の単語分割基準に従っている。

## 3.2 系列変換モデルと追加特徴量

ニューラル機械翻訳などの深層学習に基づく系列変換モデルの性能を改善するために、埋め込み層に 追加の特徴量を組み込む手法 [26] が提案されてい る。この手法は、品詞タグや係り受けラベルなど、単語埋め込みにおいて明示的に考慮されていない言語的特徵を考慮するために提案されたものである。具体的には、各特徴量に対してそれぞれ特徴べクト ルを作成し、それらを単語埋め込みと連結する。

## 4 提案手法

本研究では、単語の難易度を考慮して日本語のテ キスト平易化に取り組む。 3.2 節で説明した単語埋 め込みにおける追加特徴量を用いて、ある単語が 3.1 節の基礎語彙に含まれるか否かの情報を考慮す る。本手法では、基礎語彙に含まれる単語の生成お よび入力文中の基礎語彙に含まれる単語の出力への 保持を促進し、入力文中の基礎語彙に含まれない単語の出力を抑制することが期待できるため、テキス ト平易化の性能改善が見込める。

提案手法の概要を図 1 に示す。提案手法では、言語学的特徵を考慮する機械翻訳 [26] から着想を得 て、系列変換モデルのエンコーダおよびデコーダに おいて、通常の単語埋め込み層とは別に、新たに 難易度埋め込み層を用意する。難易度埋め込み層
表 1 実験結果

は、ある単語が基礎語彙に含まれるか否かで 2 種類の埋め込みを生成する役割を担う。入力された 単語およびその難易度について、それぞれ異なる 埋め込みを作成し、それらを連結して系列変換モ デルに与える。つまり、エンコーダは単語の系列 $X=\left(x_{1}, \ldots, x_{m}\right)$ と難易度の系列 $G=\left(g_{1}, \ldots, g_{m}\right)$ を 読み込み、エンコーダへの入力埋め込みは

$
E_{\text {enc }}=W x_{i} \| F g_{i}
$

となり、デコーダは推定単語の系列 $\hat{y}=\left(\hat{y}_{1}, \ldots, \hat{y}_{n}\right)$ と推定難易度の系列 $\hat{g}=\left(\hat{g}_{1}, \ldots, \hat{g}_{n}\right)$ を読み込み、デ コーダへの入力埋め込みは

$
E_{\mathrm{dec}}=W \hat{y}_{i} \| F \hat{g}_{i}
$

となる。

ここで、\|はベクトルの連結、 $E$ は $d_{\text {model }}$ 次元の ベクトル、 $W \in \mathbb{R}^{V_{\text {word }} \times d_{\text {word }}}$ および $F \in \mathbb{R}^{V_{\text {grade }} \times d_{\text {grade }}}$ は 単語埋め込み行列および難易度埋め込み行列であ り、 $V$ は語彙サイズ、 $d$ は次元数である。

また、デコーダは、Softmax 層の直前に単語出力用および難易度出力用の 2 つの線形変換層を持つ。 これらの単語出力層および難易度出力層の次元はそ れぞれの埋め込み次元数と一致している。デコーダ の出力は、単語埋め込み次元とそれ以降の次元の 2 つに分かれ、それぞれの出力層に入力される。

単語難易度は、やさしい日本語コーパスにおけ る 2,000 単語の基礎語彙に基づくが、頻出する記号 （句読点、感嘆符、疑問符、括弧）は充分に平易だ と考元、基礎語彙に含めた。図 1 の例では、単語 $x_{i}$ が基礎語彙に含まれる場合は $g_{i}$ として「O」を、単語 $x_{i}$ が基礎語彙に含まれない場合は $g_{i}$ として「X」 を、それぞれ単語難易度として入力している。

## 5 評価実験

提案手法の有効性を検証するために、やさしい日本語コーパスおよび基礎語彙を用いて、日本語のテ キスト平易化の評価実験を行う。

## 5.1 実験設定

データ 本実験では、日本語のテキスト平易化の ためのパラレルコーパスであるやさしい日本語コー
パス [7-9] を使用した。難解文に対して 7 種類の平易文が付与されたマルチリファレンスの 100 文対を 評価データ、その他のシングルリファレンス部分か ら無作為抽出された 2,000 文対を検証データ、残り の 82,300 文対を訓練データとして使用した。

前処理として、難解文および平易文には $\mathrm{Mecab}^{8)}$ [27] による単語分割を行った。基礎語彙と単語分割基準を合わせるために、Mecab の辞書 には UniDicを使用した。

モデルテキスト平易化モデルには Transformer [20] を使用し、Sockeye ${ }^{9)}$ [28]を用いて実装し た。モデルの構成は、層数を 6 層、自己注意機構の ヘッド数を 8、埋め込み次元数を 512、全結合層の 次元数を 2,048 とした。提案手法では、 500 次元を 単語埋め込み、12 次元を難易度埋め込みに割り当 て、それらを結合して 512 次元の埋め込みをモデル に入力した。また、エンコーダおよびデコーダの単語埋め込み層と Softmax 層直前の線形変換の 3 つの パラメタを共有した。

訓練時には、バッチサイズを 4,096 トークンとし、最適化手法として Adam [29] $\left(\beta_{1}=0.9 、 \beta_{2}=0.98 ）\right.$ を使用した。初期学習率は 0.001 に設定し、学習率 スケジューリングとして plateau-reduce を使用した。 また、200 ステップごとに検証用データにおいて SARI [30]を評価し、10 回連続で改善が見られない 場合に訓練を終了する early-stopping を採用した。

評価評価には、テキスト平易化タスクで一般的 に用いられている BLEU [31] および SARI [30] の自動評価指標を使用した。BLEU は、出力文と参照文 を比較し、単語 n-gram の一致度を評価する。SARI は、入力文・出力文・参照文を比較し、単語 n-gram の追加・保持・削除の 3 つの編集操作の適切さを評価する。BLEU および SARI の計算には、自動評価 パッケージである $\operatorname{EASSE}^{10)}$ [32]を使用した。なお、詳細な分析のために、SARIにおける各編集操作の F 値も確認する。

表 2 出力例（太字は基礎語彙に含まれる単語）

 &  \\

また、平易性に関する自動評価として、出力文中 の基礎語彙の割合を算出する。この割合が高くなる と、テキスト平易化モデルは基礎語彙、つまり、や さしい日本語をより多く出力できたと考えられる。参照文における基礎語彙の割合は $73.13 \%$ であった。

## 5.2 実験結果

表 1 に実験結果を示す。シード値を変更しつつ 5 回の実験を行い、その平均値によってテキスト平易化モデルの性能を評価した。提案手法は、ベース ラインと比較して BLEU が 0.04 ポイント、SARI が 0.12 ポイント、それぞれ向上した。語句の追加・保持・削除の編集操作に関しては、特に追加の操作に おいて、ベースラインと比較して 0.32 ポイントと 大きな改善が見られた。基礎語彙の割合について も、提案手法はベースラインを上回った。追加操作 （add）が向上していることと併せて、提案手法は基礎語彙に含まれる単語を積極的に用いて書き換えを 行っていると考えられる。

## 5.3 定性評価

各モデルによる生成文の例を表 2 に示す。上段の 例では、入力文中の「不意」と「来客」の 2 単語が 基礎語彙に含まれていない難解語であり、ベースラ インおよび提案手法のどちらもこの 2 単語を書き換 えた。「来客」については、両モデルとも基礎語彙 に含まれている「客」に書き換えることができた。一方で、「不意」については、ベースラインは「思 わ」「ない」の 2 単語、提案手法は「偶然」に書き換 えた。ベースラインの出力した「思わ」は基礎語彙 に含まれていないが、提案手法は基礎語彙に含まれ る「偶然」を出力できた。

下段の例では、入力文中の「熱心」が基礎語彙に 含まれていない難解語であり、両モデルともこの単語を含む「熱心」「に」の 2 単語に対して書き換えを 行った。上段の例と同様に、提案手法の出力である 「集中」は基礎語彙に含まれており、ベースライン
の出力である「頑張っ」は含まれていない。これら の出力例で確認できるように、提案手法は単語の難易度を考慮しないベースラインよりも、入力文中の 難解な表現を基礎語彙を用いる平易な表現に積極的 に書き換える傾向がある。

## 6 おわりに

本研究では、やさしい日本語コーパスにおける基礎語彙を用いて、単語の難易度を考慮したテキスト 平易化手法を提案した。提案手法では、系列変換モ デルのエンコーダおよびデコーダの埋め込み層を拡張し、単語埋め込みおよび難易度埋め込みの組み合 わせとして表現した。やさしい日本語コーパスにお ける評価実験の結果、提案手法は積極的に平易な表現を出力し、全ての自動評価指標において比較手法 を上回る性能を達成した。

今後の課題として、他の単語難易度辞書を用い て、提案手法によるテキスト平易化モデルの性能向上に取り組みたい。例えば、梶原ら [19] の単語難易度辞書 ${ }^{11}$ では、各単語に初級・中級・上級の 3 段階 の難易度を付与しているため、より詳細な難易度の 情報を得られる可能性がある。また、英語の単語難易度辞書 ${ }^{12)}[33]$ を用いるなど、提案手法の他の言語 への適用にも取り組みたい。

## 謝辞

本研究は国立研究開発法人情報通信研究機構の委託研究（課題番号：225）の助成を受けたものです。

## 参考文献

[1] 岩田一成. 言語サービスにおける英語志向 : 「生活 のための日本語: 全国調査」結果と広島の事例から.社会言語科学, Vol. 13, No. 1, pp. 81-94, 2010.

[2] Fernando Alva-Manchego, Carolina Scarton, and Lucia Specia. Data-Driven Sentence Simplification: Survey and Benchmark. Computational Linguistics, Vol. 46, No. 1, pp. 135-187, 2020.

11) https://github.com/Nishihara-Daiki/lsj

12) https://github.com/mounicam/lexical_simplification

[3] Chao Jiang, Mounica Maddela, Wuwei Lan, Yang Zhong, and Wei Xu. Neural CRF Model for Sentence Alignment in Text Simplification. In Proc. of ACL, pp. 7943-7960, 2020.

[4] Sergiu Nisioi, Sanja Štajner, Simone Paolo Ponzetto, and Liviu P. Dinu. Exploring Neural Text Simplification Models. In Proc. of ACL, pp. 85-91, 2017.

[5] Xingxing Zhang and Mirella Lapata. Sentence Simplification with Deep Reinforcement Learning. In Proc. of EMNLP, pp. 584-594, 2017.

[6] Sanqiang Zhao, Rui Meng, Daqing He, Andi Saptono, and Bambang Parmanto. Integrating Transformer and Paraphrase Rules for Sentence Simplification. In Proc. of EMNLP, pp. 3164-3173, 2018.

[7] 山本和英, 丸山拓海, 角張竜晴, 稲岡夢人, 小川耀一朗,勝田哲弘, 高橋寛治. やさしい日本語対訳コーパス の構築. 言語処理学会第 23 回年次大会, pp. 763-766, 2017.

[8] Takumi Maruyama and Kazuhide Yamamoto. Simplified Corpus with Core Vocabulary. In Proc. of LREC, pp. 1153-1160, 2018.

[9] Akihiro Katsuta and Kazuhide Yamamoto. Crowdsourced Corpus of Sentence Simplification with Core Vocabulary. In Proc. of LREC, pp. 461-466.

[10] 中町礼文, 梶原智之. 事前訓練済み系列変換モデルに 基づくやさしい日本語への平易化. 情報処理学会第 83 回全国大会, pp. 607-608, 2021.

[11] 畠垣光希, 梶原智之, 二宮崇. やさしい日本語へのテ キスト平易化のための訓練データの精選. 第 21 回情報科学技術フォーラム, pp. 293-300, 2022.

[12] Lucia Specia. Translating from Complex to Simplified Sentences. In Proc. of PROPOR, pp. 30-39, 2010.

[13] Sanja Štajner, Hannah Béchara, and Horacio Saggion. A Deeper Exploration of the Standard PB-SMT Approach to Text Simplification and its Evaluation. In Proc. of ACL, pp. 823-828, 2015.

[14] Tomoyuki Kajiwara and Mamoru Komachi. Building a Monolingual Parallel Corpus for Text Simplification Using Sentence Similarity Based on Alignment between Word Embeddings. In Proc. of COLING, pp. 1147-1158, 2016.

[15] Wei Xu, Chris Callison-Burch, and Courtney Napoles. Problems in Current Text Simplification Research: New Data Can Help. TACL, Vol. 3, pp. 283-297, 2015.

[16] Carolina Scarton and Lucia Specia. Learning Simplifications for Specific Target Audiences. In Proc. of ACL, pp. 712-718, 2018.

[17] Daiki Nishihara, Tomoyuki Kajiwara, and Yuki Arase. Controllable Text Simplification with Lexical Constraint Loss. In Proc. of ACL-SRW, pp. 260-266, 2019.

[18] Daiki Yanamoto, Tomoki Ikawa, Tomoyuki Kajiwara, Takashi Ninomiya, Satoru Uchida, and Yuki Arase. Controllable Text Simplification with Deep Reinforcement Learning. In Proc. of AACL, pp. 398-404, 2022.

[19] 梶原智之, 西原大貴, 小平知範, 小町守. 日本語の語彙平易化のための言語資源の整備. 自然言語処理, Vol. 27, No. 4, pp. 801-824, 2020.

[20] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is All you Need. In Proc. of NIPS, pp. 5998-6008, 2017.

[21] John Carroll, Guido Minnen, Yvonne Canning, Siobhan Devlin, and John Tait. Practical Simplification of English Newspaper Text to Assist Aphasic Readers. In Proceedings of the Workshop on Integrating Artificial Intelligence and Assistive Technology, pp. 7-10, 1998.

[22] Jan De Belder and Marie-Francine Moens. Text Simplification for Children. In Proceedings of the SIGIR 2010 Workshop on Accessible Search Systems, pp. 19-26, 2010.

[23] Tomoyuki Kajiwara, Hiroshi Matsumoto, and Kazuhide Yamamoto. Selecting Proper Lexical Paraphrase for Children. In Proc. of ROCLING, pp. 59-73, 2013.

[24] Sarah E Petersen and Mari Ostendorf. Text Simplification for Language Learners: A Corpus Analysis. In Proceedings of the Workshop on Speech and Language Technology in Education, pp. 69-72, 2007.

[25] Tomoyuki Kajiwara. Negative Lexically Constrained Decoding for Paraphrase Generation. In Proc. of ACL, pp. 6047-6052, 2019 .

[26] Rico Sennrich and Barry Haddow. Linguistic Input Features Improve Neural Machine Translation. In Proc. of WMT, pp. 83-91, 2016.

[27] Taku Kudo, Kaoru Yamamoto, and Yuji Matsumoto. Applying Conditional Random Fields to Japanese Morphological Analysis. In Proc. of EMNLP, pp. 230-237, 2004.

[28] Felix Hieber, Michael Denkowski, Tobias Domhan, Barbara Darques Barros, Celina Dong Ye, Xing Niu, Cuong Hoang, Ke Tran, Benjamin Hsu, Maria Nadejde, Surafel Lakew, Prashant Mathur, Anna Currey, and Marcello Federico. Sockeye 3: Fast Neural Machine Translation with PyTorch. arXiv:2207.05851, 2022.

[29] Diederik P. Kingma and Jimmy Lei Ba. Adam: A Method for Stochastic Optimization. In Proc. of ICLR, 2015.

[30] Wei Xu, Courtney Napoles, Ellie Pavlick, Quanze Chen, and Chris Callison-Burch. Optimizing Statistical Machine Translation for Text Simplification. Transactions of the Association for Computational Linguistics, Vol. 4, pp. 401-415, 2016.

[31] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. BLEU: a Method for Automatic Evaluation of Machine Translation. In Proc. of ACL, pp. 311-318, 2002.

[32] Fernando Alva-Manchego, Louis Martin, Carolina Scarton, and Lucia Specia. EASSE: Easier Automatic Sentence Simplification Evaluation. In Proc. of EMNLP, pp. 49-54, 2019.

[33] Mounica Maddela and Wei Xu. A Word-Complexity Lexicon and A Neural Readability Ranking Model for Lexical Simplification. In Proc. of EMNLP, pp. 3749-3760, 2018.


# 擬似データを用いた教師あり学習による語彙平易化

野口 夏希 ${ }^{1}$ 梶原 智之 ${ }^{1}$ 荒瀬 由紀 ${ }^{2}$ 内田諭 ${ }^{3}$ 二宮 崇 1
1 愛媛大学 2 大阪大学 3 九州大学
n_noguchi@ai.cs.ehime-u.ac.jp \{kajiwara, ninomiya\}@cs.ehime-u.ac.jp
arase@ist.osaka-u.ac.jp uchida@flc.kyushu-u.ac.jp

## 概要

本研究では，文平易化のための大規模なパラレル コーパスから語彙平易化のための擬似的なパラレル コーパスを自動抽出し，マスク言語モデルを再訓練 する教師あり学習の枠組みで語彙平易化を行う．語彙平易化のためのパラレルコーパスはアノテーショ ンコストが高いため，千件未満の小規模なものしか 存在しない. そのため先行研究では, パラレルコー パスを用いた語彙平易化モデルの教師あり学習は 検討されていない. 本研究では，擬似的なパラレル コーパスを用いた教師あり学習によって，3つの英語の語彙平易化タスクで最高性能を達成した。

## 1 はじめに

子どもや英語非母語者などの読解支援のために， テキスト平易化 [1] の研究が行われている. テキス ト平易化は, 入力テキストの意味を保持しつつ, 語句や構造を変換して読者にとって理解しやすいテ キストを生成する技術である。単語 [2]・文 [3]・文書 [4] の各単位を対象にテキスト平易化の技術が研究されているが, 本研究では最も基礎的な単語単位 の平易化（語彙平易化）[5] に取り組む.

テキスト平易化モデルを訓練する際には，難解な テキストと平易なテキストの対であるパラレルコー パスを使用する. 文単位では約 50 万文対 [6], 文書単位では約 15 万文書対 [4] の大規模なパラレルコー パスを利用できる一方で，語彙平易化のためのパラ レルコーパスは千件未満の小規模なもの [7-9] しか 存在しない. これは, 語彙平易化のためのパラレ ルコーパスの構築が, 入力文からの難解語の検出,難解語に対する文脈を考慮した言い換え集合の生成，言い換え候補のリランキングなどの複数回のア ノテーションを必要とする高コストなタスクのた めと考えられる。 そのため, 語彙平易化の先行研究 [10-16] では, パラレルコーパスを必要とする教
Much of the water carried by these streams is diverted.

万言い換え候補生成

used, redirected, diverted, channel, poll, less, .

ฤ リランキング

1. redirected, 2. diverted, 3. poll, 4. used, ..

ฤ

Much of the water carried by these streams is redirected.

図 1 語彙平易化

師あり学習の手法は提案されていない.

本研究では，文単位のテキスト平易化のためのパ ラレルコーパス $[6,17,18]$ から少数の単語の置換の みによって平易化されている文対を抽出すること で，語彙平易化のための擬似的なパラレルコーパス を構築する。そして，1万件規模のパラレルコーパ スを用いてマスク言語モデル [19]を再訓練し, 教師 あり学習のアプローチで語彙平易化を行う. 3 種類 の英語の評価用データセット [7-9] を用いた評価実験の結果，教師あり学習によって語彙平易化の性能 を改善でき，最高性能を達成した。

## 2 関連研究

語彙平易化は, 図 1 に示すように， 1 単語が難解語として注釈付けされた入力文が与えられ，文脈を 考慮して難解語の平易な言い換え候補を生成するス テップと，言い換え候補を難易度に基づきリランキ ングするステップの 2 つのサブタスクからなる. 本研究では，前者の言い換え候補の生成に取り組む.

## 2.1 言い換え候補の生成

言い換え候補の生成では，辞書に基づく手法と分散表現に基づく手法が提案されている. 初期の研究 $[10,20]$ では，人手で整備された WordNet $[21]$ な どの辞書を用いて難解語の同義語を収集していた. その後，パラレルコーパス上での単語アライメン ト [22] によって大規模な言い換え辞書を自動構築
表 1 文単位のテキスト平易化のためのパラレルコーパスに含まれる文対の例

 & She is a member of the Democratic Party. & 文長が異なる例 \\

する手法が考案され, 文単位のテキスト平易化のた めのパラレルコーパスを用いる手法 [7] や対訳コー パスを用いる手法 [2] が提案された. しかし, 辞書 に基づく手法は，自動構築であっても網羅性に限界 があり，言い換えの文脈依存性にも対処が難しいた め，現在では分散表現に基づく手法が主流である.

分散表現に基づく手法としては, GloVe [23] や fastText [24]などの単語分散表現の余弦類似度を用 いて難解語の類義語を収集する先行研究 $[13,15]$ が 多い。近年の手法 $[16,25]$ は, 単語穴埋めの事前訓練を行ったマスク言語モデル BERT [19]を用い，文脈を考慮して言い換え候補を生成している．BERT は，文脈を考慮して言い換え候補を生成できる点 と，単語穴埋めの事前訓練が語彙平易化の問題設定 と近い点の 2 つの利点を持つ. そのため, 本研究で も BERTを用いて言い換え候補の生成に取り組む.

## 2.2 言い換え候補のリランキング

このステップでは，難解語との同義性，文脈の中 での流暢性，候補単語の平易性などの観点から，複数の言い換え候補をリランキングし，言い換え単語 を選択する. 初期の研究 $[10,20]$ では, 候補単語の 1-gram 頻度を用いて，平易性の観点からリランキン グを行っていた. その後, 文脈に応じたランキング のために, 難解語の周辺単語も考慮する 5-gram 頻度 [9] も使用されるようになった. さらに，より多様な観点からのリランキングのために，1-gram 頻度 および 5-gram 頻度に加えて, 難解語と候補単語の 間の単語分散表現の余弦類似度（同義性）および候補単語と周辺単語の間の単語分散表現の余弦類似度（流暢性）も考慮する平均ランキング [13] が提案 されている。近年の手法 $[16,25]$ では, 文脈を考慮 する 5-gram 頻度および周辺単語との類似度計算を， BERT の単語穴埋め確率に基づいて改良している.本研究では，言い換え候補の生成に取り組み，リラ ンキングの適用やリランキングの改良による語彙平易化の性能改善については今後の課題とする.

## 3 提案手法

本研究では，文単位のテキスト平易化のための大規模なパラレルコーパス $[6,17,18]$ の中から, 単語単位の変換のみが行われている文対を抽出すること で，語彙平易化のための擬似的なパラレルコーパス を構築する．まず， 3.1 節では，語彙平易化のための 擬似的なパラレルコーパスの構築手順について説明 する. 次に，3.2節では，BERT [19]に基づく語彙平易化モデルの教師あり学習の方法について述べる.

## 3.1 擬似的なパラレルコーパスの構築

表 1 に例示するように, 文単位のテキスト平易化 のためのパラレルコーパスには，語句を置換する平易化, 節を省略する平易化, 文の構造を変更する平易化など，様々な変換をともなう文対が含まれる。 その中で, 少数の単語の置換のみが行われている文対は語彙平易化の事例だと考えられるため，このよ うな文対を以下の手順で抽出する．ただし，難解文 を $C$ 個の単語からなる $X=x_{1}, . ., x_{C}$, 平易文を $S$ 個 の単語からなる $Y=y_{1}, \ldots, y_{S}$ と表記する.

1. 難解文と平易文の文長に差異がある場合，単語 の置換以外の変換が行われている. そこで，文長が異なる（ $C \neq S$ である）文対を除外する.

2. 文長が同じでも，多くの単語が異なる文対は語彙平易化の事例とは考えにくい，そこで，難解文と平易文の間で $i$ 番目の単語同士を比較し,異なる単語 $\left(x_{i} \neq y_{i}\right)$ の個数を数える. これが ゼロまたは $k$ よりも大きい文対は除外する. た だし， $i$ は $0<i \leq C$ の整数である.

## 3.2 語彙平易化モデルの教師あり学習

先行研究 $[16,25]$ と同様に, 入力文および難解語 をマスクした入力文の 2 文を BERT [19] に入力し, マスク部分に対する単語穴埋めの要領で言い換え 候補を生成する. 2 単語を置換する表 1 の 2 文目の 例では，具体的には “[CLS] relax the current standards

? [SEP] [MASK] the current [MASK] ? [SEP]" という トークン列を BERTへ入力する。ここで，[CLS] お よび [SEP] は BERT における特殊トークンであり， それぞれ文頭および文末を意味する。

先行研究 $[16,25]$ における言い換え候補生成では,生コーパス上で事前訓練のみを行った BERTを用 いるが，本研究では事前訓練済みの BERTを 3.1 節 の擬似的なパラレルコーパス上で再訓練してから 用いる. 先ほどの例において，我々の再訓練では， 1 つめの [MASK] に対しては “lower”を，2つめの [MASK] に対しては“limits”を，それぞれ正解単語 として, 事前訓練と同様に単語穴埋めのクロスエン トロピー損失最小化の訓練を行う．このような再訓練を経た BERT は，語彙平易化における言い換え候補の生成に特化したモデルになると期待できる。

## 4 評価実験

提案手法の有効性および訓練ドメインの影響を検証するために， 3 種類の英語の語彙平易化タスクに おいて評価実験を行う。

## 4.1 実験設定

データ 語彙平易化のための擬似的なパラレル コーパスは，文単位のテキスト平易化のための最大規模のパラレルコーパス1)である Wiki-Auto $[6,17]$ お よび Newsela-Auto [6,18] から抽出した. Wiki-Auto は Wikipedia ドメインの 488, 332 文対であり, NewselaAuto はニュースドメインの 394, 300 文対である. 前処理として, Moses Tokenizer ${ }^{2}$ [26] を用いて単語分割および小文字化を行った. 置換された単語数を表 すハイパーパラメタ $k$ は， 1 から 5 までの 5 種類に ついて実験した. 各ドメインで抽出された擬似的な パラレルコーパスの規模を表 2 に示す. なお， $k=1$ の文対中から 500 件ずつ合計 1,000 文対を無作為抽出して検証用セットとし，その他を訓練に用いた。

評価用には，英語の語彙平易化における代表的 なコーパスである LexMTurk ${ }^{3)}$ [7]・BenchLS4) [8]・ $\mathrm{NNSeval}^{5}$ [9] の 3 種類を使用した. LexMTurk は Wikipediaを平易化した 500 件, BenchLS は Wikipedia および英語の均衡コーパス [27-29]を平易化した 929 件，NNSeval は BenchLS から高品質なサブセッ

表 2 語彙平易化の擬似的なパラレルコーパスの文対数

Wiki-Auto (Wikipedia) Newsela-Auto (News)

トを抽出した 239 件である.

モデル 公平な比較のために, モデルは先行研究 $[16,25]$ に合わせて bert-large-uncased-whole-wordmasking ${ }^{6)}$ [19]を使用した. これは, 1,024 次元の埋 め込み層および隠れ層を持つ 24 層 12 注意ヘッドの 事前訓練済み Transformer 符号化器 [30] である. 再訓練には，バッチサイズを 16 文，学習率を $1 e-6$,最適化手法を Adam [31] として，検証用データにお けるクロスエントロピー損失が 3 エポック改善され ない場合に訓練を停止した. なお，表 2 における各 ドメインのパラレルコーパスを用いて，訓練ドメイ ンの異なる 2 種類のモデルを構築した。

## 4.2 評価方法

単語分散表現に基づく Light-LS [13] と，マスク 言語モデルに基づく BERT-LS [16] および SimpleBERT [25] を提案手法と比較する. Light-LS は, 単語分散表現 GloVe [23] の余弦類似度を用いて，難解語 の類義語を言い換え候補として出力する. BERT-LS は，マスク言語モデル BERT [19] の単語穴埋め確率 を用いて，文脈中で難解語の代替となる語を候補と して出力する. SimpleBERT は, 語彙平易化の仕組 みは BERT-LS と同じだが, Simple English Wikipedia および Newsela の平易な英文 [32]を用いて BERT の 追加事前訓練を行うことで，性能を改善している。

先行研究の評価の設定に従い, 語彙平易化モデル によって出力された上位 10 件の候補単語を正解の 言い換え集合と比較する。評価指標には，適合率お よび再現率と，その調和平均である $\mathrm{F}$ 値を用いる.

## 4.3 実験結果

表 3 に実験結果を, 表 4 に各モデルの出力例を, それぞれ示す。擬似的なパラレルコーパスを用いた 教師あり学習によって，提案手法は全てのタスクに おいて最高の $\mathrm{F}$ 値を達成した。

6) https://huggingface.co/bert-large-uncased-wholeword-masking
表 3 実験結果

表 4 出力例（下線は入力文に含まれる難解語，太字は正解と一致する出力）

訓練ドメインに関しては，Newsela で訓練したモ デルよりも Wikipedia で訓練したモデルの方が高い 性能を達成した. 特に，Wikipediaのみを対象とす る LexMTurk においてより大きな性能改善が見られ たため，訓練用コーパスと評価用コーパスのドメイ ンが一致することが重要であることがわかる.

## 4.4 擬似パラレルコーパスの人手評価

訓練データに含まれる置換単語数の最大值 $k$ を増加させるほど訓練データの規模も増加するが，本実験では $k=1$ のときに全てのタスクにおいて最高性能が得られた. つまり, 単純に訓練データ数を増や すことが性能改善に寄与するわけではない.

$k \geq 2$ では, "Linee played predominantly at centre." $\rightarrow$ "Linee played as a centre." のように，複数単語を同時に置換する句の平易化が訓練データに含まれる。 しかし, 語彙平易化の実際の評価データには, 1 単語のみを変換する事例しか含まれないため，これら の事例が訓練に悪影響を与えている可能性がある.

そこで，置換単語数ごとに，Wiki-Auto から 100 件 ずつの訓練事例を無作為抽出し, 適切な語彙平易化 の事例であるか否かの人手評価を実施した. ここ で，適切な語彙平易化の事例とは， $i$ 番目の単語同士が全て置換可能な文対である。なお，置換単語が 複数含まれる場合は，各単語がそれぞれ独立に置換
できる場合を適切な事例とする．複数単語を同時に 置換する事例や，並び替えによって $i$ 番目の単語同士が対応しない事例は，不適切とする。

人手評価の結果, 置換単語数 1 の事例では 69 件,置換単語数 3 の事例では 11 件, 置換単語数 5 の事例では 1 件のみが適切な語彙平易化であった. これ は，3.1 節の単純な規則では，置換単語数の増加と ともにノイズ事例を多く収集してしまうことを意味する．そのため本実験では，訓練ノイズの少ない $k=1$ の設定で最高性能が得られたと考えられる.

## 5 おわりに

本研究では，文単位の大規模なテキスト平易化の ためのパラレルコーパスから語彙平易化のための擬似的なパラレルコーパスを自動抽出することで，初 めて語彙平易化モデルのための教師あり学習を実現 した. 3 種類の英語の語彙平易化タスクにおける評価実験の結果，提案手法が全てのタスクにおいて最高の $\mathrm{F}$ 値を達成した．詳細な分析の結果，訓練デー タと評価データのドメインを一致させることの有効性や，ノイズの少ない 1 単語のみの置換の事例を用 いて訓練することの有効性が明らかになった.

今後の課題として, 単語類似度推定 [33] を用いた 擬似データ収集の高品質化や，リランキングのサブ タスクへの教師あり学習の適用に取り組みたい.

## 謝辞

本研究は JSPS 科研費（基盤研究 B，課題番号： JP21H03564, JP22H00677）の助成を受けたものです.

## 参考文献

[1] Fernando Alva-Manchego, Carolina Scarton, and Lucia Specia. Data-Driven Sentence Simplification: Survey and Benchmark. Computational Linguistics, Vol. 46, No. 1, pp. 135-187, 2020.

[2] Ellie Pavlick and Chris Callison-Burch. Simple PPDB: A Paraphrase Database for Simplification. In Proc. of ACL, pp. 143-148, 2016.

[3] Sergiu Nisioi, Sanja Štajner, Simone Paolo Ponzetto, and Liviu P. Dinu. Exploring Neural Text Simplification Models. In Proc. of ACL, pp. 85-91, 2017.

[4] Renliang Sun, Hanqi Jin, and Xiaojun Wan. DocumentLevel Text Simplification: Dataset, Criteria and Baseline. In Proc. of EMNLP, pp. 7997-8013, 2021.

[5] Gustavo Henrique Paetzold and Lucia Specia. A Survey on Lexical Simplification. Journal of Artificial Intelligence Research, Vol. 60, No. 1, pp. 549-593, 2017.

[6] Chao Jiang, Mounica Maddela, Wuwei Lan, Yang Zhong, and Wei Xu. Neural CRF Model for Sentence Alignment in Text Simplification. In Proc. of ACL, pp. 7943-7960, 2020.

[7] Colby Horn, Cathryn Manduca, and David Kauchak. Learning a Lexical Simplifier Using Wikipedia. In Proc. of ACL, pp. 458-463, 2014.

[8] Gustavo Henrique Paetzold and Lucia Specia. Benchmarking Lexical Simplification Systems. In Proc. of LREC, pp. 3074-3080, 2016.

[9] Gustavo Henrique Paetzold and Lucia Specia. Unsupervised Lexical Simplification for Non-Native Speakers. In Proc. of AAAI, pp. 3761-3767, 2016.

[10] Siobhan Devlin and John Tait. The Use of a Psycholinguistic Database in the Simplification of Text for Aphasic Readers. Linguistic Databases, pp. 161-173, 1998.

[11] Or Biran, Samuel Brody, and Noemie Elhadad. Putting it Simply: a Context-Aware Approach to Lexical Simplification. In Proc. of ACL, pp. 496-501, 2011.

[12] Tomoyuki Kajiwara, Hiroshi Matsumoto, and Kazuhide Yamamoto. Selecting Proper Lexical Paraphrase for Children. In Proc. of ROCLING, pp. 59-73, 2013.

[13] Goran Glavaš and Sanja Štajner. Simplifying Lexical Simplification: Do We Need Simplified Corpora? In Proc. of ACL, pp. 63-68, 2015.

[14] Gustavo Henrique Paetzold and Lucia Specia. LEXenstein: A Framework for Lexical Simplification. In Proc. of ACL, pp. 85-90, 2015.

[15] Gustavo Henrique Paetzold and Lucia Specia. Lexical Simplification with Neural Ranking. In Proc. of EACL, pp. 34-40, 2017.

[16] Jipeng Qiang, Yun Li, Yi Zhu, Yunhao Yuan, and Xindong Wu. Lexical Simplification with Pretrained Encoders. In Proc. of AAAI, pp. 8649-8656, 2020.

[17] William Coster and David Kauchak. Simple English
Wikipedia: A New Text Simplification Task. In Proc. of ACL, pp. 665-669, 2011.

[18] Wei Xu, Chris Callison-Burch, and Courtney Napoles. Problems in Current Text Simplification Research: New Data Can Help. TACL, Vol. 3, pp. 283-297, 2015.

[19] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proc. of NAACL, pp. 4171-4186, 2019.

[20] Jan De Belder and Marie-Francine Moens. Text Simplification for Children. In Proceedings of the SIGIR 2010 Workshop on Accessible Search Systems, pp. 19-26, 2010.

[21] George A. Miller. WordNet: A Lexical Database for English. Communications of the ACM, Vol. 38, No. 11, pp. 39-41, 1995.

[22] Franz Josef Och and Hermann Ney. A Systematic Comparison of Various Statistical Alignment Models. Computational Linguistics, Vol. 29, No. 1, pp. 19-51, 2003.

[23] Jeffrey Pennington, Richard Socher, and Christopher Manning. GloVe: Global Vectors for Word Representation. In Proc. of EMNLP, pp. 1532-1543, 2014.

[24] Piotr Bojanowski, Edouard Grave, Armand Joulin, and Tomas Mikolov. Enriching Word Vectors with Subword Information. TACL, Vol. 5, pp. 135-146, 2017.

[25] Renliang Sun and Xiaojun Wan. SimpleBERT: A Pretrained Model That Learns to Generate Simple Words. arXiv:2204.07779, 2022.

[26] Philipp Koehn, Hieu Hoang, Alexandra Birch, Chris Callison-Burch, Marcello Federico, Nicola Bertoldi, Brooke Cowan, Wade Shen, Christine Moran, Richard Zens, Chris Dyer, Ondřej Bojar, Alexandra Constantin, and Evan Herbst. Moses: Open Source Toolkit for Statistical Machine Translation. In Proc. of ACL, pp. 177-180, 2007.

[27] Serge Sharoff. Open-source Corpora: Using the Net to Fish for Linguistic Data. International Journal of Corpus Linguistics, Vol. 11, No. 4, pp. 435-462, 2006.

[28] Diana McCarthy and Roberto Navigli. SemEval-2007 Task 10: English Lexical Substitution Task. In Proc. of SemEval, pp. 48-53, 2007.

[29] Jan De Belder and Marie-Francine Moens. A Dataset for the Evaluation of Lexical Simplification. In Proceedings of the 13th International Conference on Computational Linguistics and Intelligent Text Processing, pp. 426-437, 2012.

[30] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is All you Need. In Proc. of NIPS, pp. 5998-6008, 2017.

[31] Diederik P. Kingma and Jimmy Lei Ba. Adam: A Method for Stochastic Optimization. In Proc. of ICLR, 2015.

[32] Xingxing Zhang and Mirella Lapata. Sentence Simplification with Deep Reinforcement Learning. In Proc. of EMNLP, pp. 584-594, 2017.

[33] Yuki Arase and Tomoyuki Kajiwara. Distilling Word Meaning in Context from Pre-trained Language Models. In Findings of the Association for Computational Linguistics: EMNLP 2021, pp. 534-546, 2021.


# 単語単位で評価が可能な機械翻訳向け自動評価

高橋洸丞 須藤克仁 中村哲
奈良先端科学技術大学院大学
\{takahashi.kosuke.th0, sudoh, s-nakamura $\}$ is.naist.jp

## 概要

機械翻訳の自動評価として広く用いられている BLEU[1] や COMET[2] などは、文単位で評価スコア を算出するように設計されている。しかし、文単位 の評価は文内部の誤り箇所や誤り度合いを明示でき ないという欠点がある。そこで本研究では、文単位 よりも細かい、単語単位で誤り評価が行われた人手評価データを使用して、単語単位での評価を行い、 その評価結果を基に文単位での評価スコアを算出す る自動評価モデルを提案する。

2021 年の WMT metrics タスクによる実験におい て、提案手法は、従来の文単位でのみ評価を行うモ デルと同等もしくは言語対によっては上回る人手評価との相関が得られた。

## 1 はじめに

自動評価には、(a) 単語単位で誤り計算をした後 に文単位の評価値を算出するモデルや、(b) 人手評価を教師信号として文単位の評価値を直接学習す るモデルがある。前者のモデル (a) として広く使用 されている BLEU、BERTscore[3] は、単語の一致ま たは一致度合いをそれぞれの単語で計算した後に、一致数や一致度合いの合計を文単位の評価値とし ている。しかし、これらのモデルは本質的に文中に 含まれる単語数やトークン数、また機能語の数に よって評価結果が変動してしまう問題がある。さら に、評価素性が字面の一致のみであることもあり、 WMT の metrics タスクにおいて (a) のようなモデル は (b) の自動評価モデルに比べて人手評価との相関 が低い。後者のモデル (b) の BLEURT[4], COMET な どは、XLM (Crosslingual Language Model) [5][6] とい う大規模な事前学習済の transformer[7] エンコーダ を使用したモデルで、評価対象のシステム訳文・参照訳文・原言語文の三つを入力として、エンコーダ を通して得た文べクトルから文単位の人手評価と 同じ評価値を予測するように学習をしている。そし
て、これらのモデルは WMT metrics タスクの 20-22 年度で人手評価との高い相関を記録している。

自動評価システムが文単位の評価性能を向上させ ていく一方で、人手評価は文単位から単語単位へと 変容している。年々と機械翻訳システムの翻訳性能 が向上している為、曖昧な文単位の評価から、より 細かい評価が可能な単語単位の評価へと、WMT の 人手評価が変更された。19 年度まで文単位で人手評価を行う DA (Direct Assessment) [8] を採用してい たが、20 年度からは MQM (Multidimentional Quality Metrics) [9] という単語単位で誤り度合いや誤りの種類を記述する評価手法となり、人手評価の信頼性が 向上した。

本研究は、こうした人手評価の変化を受けて、自動評価でもより細やかな評価を行えるように、単語単位でのエラーの有無、エラースコアを計算する。 また同時に、文スコアに与える各単語の重要度を計算し、それらを基に文単位での評価値も算出するモ デルを提案する。提案手法は単語単位での評価が 可能な上に、実験の結果、文単位のみの評価手法 (ベースライン)と、同程度の人手評価との相関、あ るいは言語対によってはより高い相関値を得ること ができた。

## 2 関連研究

WMT の metrics タスクでは、DA と MQM の二種類の人手評価手法が取り入れられており、DAが WMT15-21 の翻訳結果に、MQM が WMT20-22 の翻訳結果にアノテーションされている。DA は 0-100 の整数値で参照訳文に対して翻訳文の出来を評価す る手法で、高性能な翻訳システムの評価には信頼性 が欠けるとされている [10]。一方で、MQM は翻訳誤りの種類や程度を誤翻訳されている箇所にアノ テーションし、その誤りの種類や程度によって各翻訳文の評価スコアを決定する。

翻訳文の自動評価というタスクでは、MQM の採用によって 21 年度より単語単位の評価が重要視さ

れ始めたが、品質推定のタスクではそれ以前より単語単位での評価が行われてきた。これらの二つのタ スクの違いは、参照訳文の有無であり、本研究は参照訳文付きの翻訳文評価タスクでの使用を想定して いる。

MQM を使用した評価モデルには WMT22 で発表された、COMET22 $\tilde{y}_{\text {tag }}$ [11] や MaTESe[12] がある。 COMET22 $\tilde{y}_{\text {tag }}$ は、これまでの COMET と同様の文単位で評価値を出力する線形層に加えて、単語単位で OK/BAD という誤りの有無を出力する線形層を持ち マルチタスク学習をしている。そして、MaTESe は 単語単位で誤りの有無や、誤り度合いが Major なの か Minor なのかを、BIO ラベルで系列ラベリング問題を解く形で予測するモデルであり、COMET から 文単位のスコア予測の線形層が取り除かれた構造を している。

本研究の提案手法は、これらのモデルと比較する と、以下の点で異なる。

1. 単語単位で誤りの有無と誤りのスコアを共に出力する点

2. 単語単位の誤り予測結果を基に文単位のスコア を計算する点

## 3 提案手法

従来の評価モデルは、文単位の評価しか行えない ので、文中のどこがどの程度誤っているのかを提示 できない。また、COMET22 $\tilde{y}_{\text {tag }}$ などの単語単位評価モデルは、文単位スコアが単語単位スコアに依ら ずに決定されるため、文単位と単語単位で一貫性の ない設計となっている。そこで本研究では、システ ム訳文の単語単位のエラーの有無、エラースコア、 そして文単位のエラースコアをそれぞれ出力する ことができる手法を提案する。提案手法の評価モデ ルは、図 1 のように、システム訳文・原言語文・参照訳文の三つの入力文から、XLMを通したトーク ンごとの embedding を用いて評価を行う。また図 1 内の Transformer に対して、XLM のそれぞれの出力 に、positional embedding と入力の種類によって異な る token type embedding をそれぞれ足し合わせたも のを、[システム訳文, 原言語文, 参照訳文] の順に結合したものを入力する。(図 2)

単語単位のエラーの有無はIO ラベルによって予測され、cross-entropy ロスを用いた学習をする。ま た単語単位のエラースコアは回帰問題として予測さ れ、MSEロスを用いて学習する。そして文単位のエ

図 1 提案手法の全体構造

図 2 提案モデルの transformerへの入力。XLM から出力された分散表現に PE(Positional Embedding) と TE(Token Type Embedding) を足し合わせて、システム訳文・原言語文・参照訳文の順に結合したものを入力する。

ラースコアは、エラーの有無を表現するエラーラベ ルとエラースコア、そしてスコア重みの三つの掛け 合わせによって決定され、MSEロスを用いて学習も 行う。

MQM データの前処理MQM のデータは評価者 によって誤りの位置や誤り度合い・誤りカテゴリも 異なるので、評価者が誤りだと表記した単語ごとに google の MQM の重みスコア (表 1) に従ったスコア を割り振り、同一システム訳文の全評価者分で単語 ごとのスコア平均を取る。このスコア平均を単語単位エラースコアの正解データとして扱い、その中で もスコアが 0 以上の単語についてはエラー有りラべ ルを、スコアが 0 の単語はエラー無しのラベルを付
与し、これを単語単位のエラー識別の正解データと する。また、単語単位ではなく文単位でスコア平均 を取ったものを文単位のエラースコアの正解データ として扱う。

表 $1 \mathrm{MQM}$ の誤り度合いとカテゴリによる重みスコア

## 4 実験

実験は WMT metrics shared taskの 21 年度のデータ を用いて行なった。

## 4.1 実験設定

newstest20 と TED 共に en-de (英-独) と zh-en (中英) の言語対から 9:1 の割合で訓練データと開発 データに分けて使用し、newstest21 の en-de、zh-en の言語対において自動評価の性能評価を行なっ た。性能評価は、ピアソンの相関係数、ケンドー ルの相関係数を用いて文単位の人手評価との相関 を計測し、単語単位での性能評価は予測エラーラ ベルの適合率、再現率、F1, エラースパンの適合率 (HSH) ・再現率 (TSH)[12]を用いて行なった。ま た、モデルの性能比較のために、単語単位のエラー 有無・エラースコアを一切予測せず、直接文スコ アを予測するモデル (ベースライン) も用意した。 さらに、提案手法と同様に単語単位の評価が行え る COMET22 の公開されているモデル1) から, $\tilde{y}_{\text {tag }}$ モデル (COMET22 tagging) と文単位の出力を行う COMET22 のモデル (COMET22 segment) で評価実験 を行なった。COMET22 の両方のモデルは、提案モ デルよりも DA15-20 のコーパスと MQM20 en-ru 言語対のコーパス分、訓練データが多いため、比較対象ではなく、よりよい条件で訓練されたモデルの 参考として用意した。そして COMET22 tagging は、 OK/BAD の予想確率が各単語の出力となっていたの で、その値が 0.5 以上ならエラー有り、未満ならエ ラー無しとして評価した。

## 4.2 実験結果

評価モデルごとの文単位、単語単位のメ夕評価結果をそれぞれ表 2 と表 3 に示す。実験の結果、各言語対において、文スコアのみを直接予測するモデ ルよりも、提案モデルの方がピアソンの相関係数 とケンドールの相関係数が高かった。また en-de、 zh-en の個々の言語対では参考モデルの COMET22 segmentに及ばないものの、2つの言語対をまとめた 状態でのメタ評価は COMET22 segmentを上回った。 そして単語単位のメタ評価では、提案モデルは適合率よりも再現率が高くなっており、それに伴ってエ ラースパンの適合率よりも再現率の方が高くなって いた。さらに、中国語を含んだコーパスにおいて提案モデルは COMET22 tagging よりもエラースパンの 数値がよかった。

## 4.3 誤り度合いによる評価結果の違い

表 1 より、MQM の誤り度合い Major と Minor の 境目は 5.0 と 1.0 である。本節ではより誤り度合い の大きい文スコア 5.0 に着目し、文単位スコア 5.0 以下と 5.0 超えにテストデータを分けたメタ評価を 行なった (表 4, 5, 6, 7)。その結果、提案モデルは、文スコア 5.0 越えの zh-en 言語対を除いて、文スコ アのみを直接予測するベースラインモデルを上回る 相関係数値を示した。そして表 4 と 5 の相関係数の 変化から、COMET22よりも提案モデルは、より誤 り度合いの高い文に対して相関係数が高くなる傾向 があった。

また、単語単位のメタ評価やエラースパンについ ても、エラースコアが高い文に対してエラー予測の 適合率や再現率が高くなった。

## 5 おわりに

本研究では、単語単位でエラーの有無・エラーの 度合いを予測し、それらの予測結果から文単位のス コアを計算する機械翻訳向けの自動評価を提案し た。WMT21 の評価タスク実験の結果、提案手法は ベースラインと比較してピアソンやケンドールの相関係数値を高く維持したまま、単語単位での評価が 行えていることがわかった。また、適合率・再現率 や事例分析の結果、単語単位のエラー予測について は実用段階には少し早いかもしれないが、エラース パンの予測という観点で見ると、半分程度のスパン 予測の適合・再現が可能であることがわかった。
表 2 WMT21 MQM コーパスでのメタ評価。各言語対のピアソン $(\rho)$ 、ケンドール $(\tau)$ の相関係数値を計測した結果

表 3 WMT21 MQMコーパスでの単語エラー予測を適合率 $(\mathrm{P})$ 、再現率 $(\mathrm{R}) 、 \mathrm{~F} 1$ スコア $(\mathrm{F})$ 、エラースパンの適合率 $(\mathrm{HSH})$ 、再現率 (TSH) で計測した結果

表 4 文スコアが 5.0 以下、 0.0 越えの誤りを含む文に対するピアソン $(\rho)$ とケンドール $(\tau)$ の相関係数値

表 5 文スコアが 5.0 越えの誤りを含む文に対するピアソン $(\rho)$ とケンドール $(\tau)$ の相関係数値

表 6 文スコアが 5.0 以下、 0.0 越えの誤りを含む文に対する適合率 $(\mathrm{P})$ 、再現率 $(\mathrm{R}) 、 \mathrm{~F} 1$ スコア $(\mathrm{F})$ 、エラースパンの適合率 (HSH)、再現率 (TSH) で計測した結果

表 7 文スコアが 5.0 超えの誤りを含む文に対する適合率 $(\mathrm{P})$ 、再現率 $(\mathrm{R}) 、 \mathrm{~F} 1$ スコア $(\mathrm{F})$ 、エラースパンの適合率 $(\mathrm{HSH})$ 、再現率 (TSH) で計測した結果

## 謝辞

本研究は JSPS 科研費 $22 \mathrm{H} 03651$ の支援を受けたも のである。

## 参考文献

[1] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a Method for Automatic Evaluation of Machine Translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[2] Ricardo Rei, Craig Stewart, Ana C Farinha, and Alon Lavie. COMET: A neural framework for MT evaluation. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 2685-2702, Online, November 2020. Association for Computational Linguistics.

[3] Tianyi Zhang, Varsha Kishore, Felix Wu, Kilian Q. Weinberger, and Yoav Artzi. Bertscore: Evaluating text generation with bert. In International Conference on Learning Representations, 2020.

[4] Thibault Sellam, Dipanjan Das, and Ankur Parikh. BLEURT: Learning robust metrics for text generation. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7881-7892, Online, July 2020. Association for Computational Linguistics.

[5] Alexis Conneau and Guillaume Lample. Cross-lingual language model pretraining. In H. Wallach, H. Larochelle, A. Beygelzimer, F. d'Alché-Buc, E. Fox, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 32. Curran Associates, Inc., 2019.

[6] Alexis Conneau, Kartikay Khandelwal, Naman Goyal, Vishrav Chaudhary, Guillaume Wenzek, Francisco Guzmán, Edouard Grave, Myle Ott, Luke Zettlemoyer, and Veselin Stoyanov. Unsupervised cross-lingual representation learning at scale. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 8440-8451, Online, July 2020. Association for Computational Linguistics.

[7] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, L ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. Von Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc., 2017.

[8] Yvette Graham, Timothy Baldwin, and Nitika Mathur. Accurate Evaluation of Segment-level Machine Translation Metrics. In Proceedings of the 2015 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 1183-1191, Denver, Colorado, May-June 2015. Association for Computational Linguistics.

[9] Arle Lommel, Hans. Uszkoreit, and Aljoscha Burchardt. Multidimensional Quality Metrics (MQM) : A Framework for Declaring and Describing Translation Quality Metrics. Tradumàtica, No. 12, pp. 455-463, 2014.

[10] Markus Freitag, George Foster, David Grangier, Viresh Ratnakar, Qijun Tan, and Wolfgang Macherey. Experts, errors, and context: A large-scale study of human evaluation for machine translation, 2021.

[11] Ricardo Rei, José Souza, Duarte Alves, Chrysoula Zerva, Ana C Farinha, Taisiya Glushkova, Alon Lavie, Craig Stewart, Luisa Coheur, and André Martins. COMET22:unbabel-ist 2022 submission for the metrics shared task. In Proceedings of the Seventh Conference on Machine Translation. Association for Computational Linguistics, 2022.

[12] Stefano Perrella, Lorenzo Proietti, Alessandro Scirè, Niccolò Campolungo, and Roberto Navigli. MATESE: Machine translation evaluation as a sequence tagging problem. In Proceedings of the Seventh Conference on Machine Translation. Association for Computational Linguistics, 2022

## A 付録

## A. 1 文スコア 1.0 の上下での評価結果の違い

4.3 節では文スコア 5.0 の上下で評価結果の違いを分析したが、本節では文スコア 1.0 の場合の結果を示す (表 8、9、10、7)。文スコア 5.0 の時と同様に、提案モデルはより誤り度合いの高い文に対してメタスコアが よくなっている。

表 8 文スコアが 1.0 以下、 0.0 越えの誤りを含む文に対するピアソン $(\rho)$ とケンドール $(\tau)$ の相関係数値

表 9 文スコアが 1.0 越えの誤りを含む文に対するピアソン $(\rho)$ とケンドール $(\tau)$ の相関係数値

表 10 文スコアが 1.0 以下、 0.0 越えの誤りを含む文に対する適合率 $(\mathrm{P})$ 、再現率 $(\mathrm{R}) 、 \mathrm{~F} 1$ スコア $(\mathrm{F})$ 、エラースパンの適合率 (HSH)、再現率 $(T S H)$ で計測した結果

表 11 文スコアが 1.0 超えの誤りを含む文に対する適合率 $(\mathrm{P})$ 、再現率 $(\mathrm{R}) 、 \mathrm{~F} 1$ スコア $(\mathrm{F})$ 、エラースパンの適合率 $(\mathrm{HSH})$ 、再現率 (TSH) で計測した結果


# 深層距離学習を用いた日本語動詞の意味フレーム推定

矢野 千紘 ${ }^{1}$ 山田康輔 1 笹野遼平 1,2 武田 浩一 1
1 名古屋大学 2 理化学研究所
\{yano.chihiro.j3, yamada.kosuke.v1\}@s.mail.nagoya-u.ac.jp
\{sasano, takedasu\}@i.nagoya-u.ac.jp

## 概要

本研究では，深層距離学習でファインチューニン グした BERT を用いた日本語動詞の意味フレーム推定に取り組む．英語では人手で構築された大規模な フレームリソースである FrameNet が存在する一方 で，日本語では教師データとして利用可能なリソー スが日本語フレームネットなど比較的小規模なもの に限られている。そのため本稿では, 少量だが評価言語で構築された日本語フレームネットを教師信号 として BERT をファインチューニングする手法と，言語間での知識の転移を期待して，他言語だが規模 の大きい FrameNetを教師信号として多言語 BERT をファインチューニングする手法を実施し，各手法 による意味フレーム推定実験の結果を報告する。

## 1 はじめに

人は言葉を理解するにあたり，経験から得た語の 背景知識を利用しているとされる [1]. 意味フレー ム知識とはそれらの背景知識をまとめた知識リソー スのことであり，英語については，大規模なフレー ム知識リソースが人手で整備されている [2]. また,大規模なテキストコーパスから意味フレーム知識を 自動構築することを目的とし, 動詞を喚起する意味 フレームごとにまとめる意味フレーム推定の研究も 行われており, 近年は, BERT [3] などの事前学習済 み言語モデルから得られる文脈化単語埋め込みを利用した手法が多く提案されている $[4,5,6]$. 中でも，山田らの一連の研究 $[7,8]$ では, 動詞ごとにその用例をクラスタリングした後に動詞横断的なクラスタ リングを行うという 2 段階クラスタリングを提案 し, さらに，人手で整備されたフレーム知識を教師 データとして深層距離学習を用いて事前学習済み言語モデルをファインチューニングすることで，高い 精度で意味フレーム推定が可能であることが報告さ れている。
しかし，英語以外の言語において人手で整備され たフレーム知識リソースの規模は限定的であり，自動構築を行う研究もほとんど行われていない. そこ で本研究では, 日本語動詞の意味フレーム推定を 目的とし，山田らの手法 [8] を日本語動詞に適用す る. 日本語への適用に際し, 日本語のフレーム知識 リソースは小規模であることから十分なデータを 学習できず，英語と同様の手法を用いても高い性能 は得られない可能性がある。したがって，日本語の フレーム知識リソースを教師信号としてファイン チューニングした BERT を用いる手法に加え，英語 のフレーム知識リソースを教師信号としてファイン チューニングした多言語 BERTを用いる手法でも意味フレーム推定を行う。

## 2 日本語動詞の意味フレーム推定

本節では，山田らが提案した英語動詞の意味フ レーム推定手法 [8] を紹介した後，日本語への適用方法について検討する。

## 2.1 英語動詞の意味フレーム推定手法

山田らはフレーム推定対象動詞の埋め込みをクラ スタリングすることでフレーム推定を行った. その 際，より高精度なフレーム推定を実現するため，以下の 3 つの工夫を取り入れている.

まず，動詞の表層が持つ情報による影響が過度に 強くなることを防ぐため，対象動詞の BERTによる 埋め込み $v_{\text {word }}$ をそのまま用いるのではなく，その 動詞をマスクトークンに置き換えたときの埋め込み $v_{\text {mask }}$ との加重平均による埋め込み $v_{w+m}$ を対象動詞 の埋め込みとして用いている。この埋め込みは $\alpha$ を 重みとした場合，式 (1)で定義される。

$
v_{w+m}=(1-\alpha) \cdot v_{\text {word }}+\alpha \cdot v_{\text {mask }}
$

また，同じ動詞の用例が過度に多くのクラスタへ 分散してしまうことを防ぐため，一度にすべての埋

め込みをクラスタリングする 1 段階クラスタリング 手法に加えて，動詞ごとに用例のクラスタリングを 行った後に動詞横断的にクラスタリングを行う 2 段階クラスタリング手法を検証している。

さらに，類似した意味フレームの事例が近くに位置し，異なる意味フレームの事例が遠くに位置する 埋め込み表現となるように，人手で整備されたフ レームリソースを教師データとし, 深層距離学習 を用いて BERT のファインチューニングを行って いる. 深層距離学習の手法としては, Contrastive 損失 [9], Triplet 損失 [10], ArcFace 損失 [11], AdaCos 損失 [12] に基づく手法を比較している.

## 2.2 日本語への適用

山田らの手法では英語動詞の意味フレーム推定 に対し，同言語である英語リソースを用いた学習を 行っているが, 日本語のフレーム知識リソースは英語のリソースに比べ規模の面で大きく劣っており，山田らの学習方法が最適であるとは限らない。例え ば日本語フレームネット [13] は FrameNet [2] と比較 して $3.2 \%$ 程度の用例しか含まない. そのため, 事前学習済み言語モデルおよび教師信号として何を用い るべきか検討が必要となる.

事前学習済み言語モデルとしては，大きく分けて 日本語単言語モデルと多言語モデルの 2 つが考えら れる. 同程度の規模であるなら単言語モデルの方が 対象言語の言語モデルとして高性能である可能性が 高いが，フレームの概念は言語間で共通する部分が あるため，多言語モデルも有用な可能性がある.

教師信号としては日本語フレームネットを用い ることで，日本語のフレームに関する直観をそのま ま取り入れることが可能となる一方, 事前学習済み 言語モデルとして多言語モデルを採用した場合は, FrameNetを教師信号とすることで，大規模なフレー ムリソースが活用できると考えられる.

そこで本研究では以下の 4 設定を提案する.

$\mathbf{S}_{J F N}$ 単言語モデルまたは多言語モデルに対し, 日本語フレームネット (JFN) を教師信号とした深層距離学習を実施

$\mathbf{S}_{F N}$ 多言語モデルに対し, FrameNet (FN) を教師信号とした深層距離学習を実施

$\mathbf{S}_{F N \rightarrow J F N}$ 多言語モデルに対し, FN，JFNを順に教師信号とした深層距離学習を実施

$\mathbf{S}_{F N+J F N}$ 多言語モデルに対し， FN，JFNをまとめ て教師信号とした深層距離学習を実施

## 3 実験

提案する学習手法の有効性を検証するため, 日本語動詞のフレーム推定実験を行う.

## 3.1 実験設定

損失 深層距離学習で用いる損失には，山田らに よる英語動詞のフレーム推定実験 [8] において高い 性能を示した Triplet 損失と $A d a C o s$ 損失を用いる. Triplet 損失は距離ベースの損失であり，事例の 3 つ 組に対して，アンカーと負例の距離を，アンカーと 正例の距離より一定のマージン以上遠くなるように 学習する. AdaCos 損失は事例とクラスの距離を近 づける学習を行う ArcFace 損失に対し, 性能がハイ パーパラメーターに依存しないようマージンを省き スケールを動的に決定するようにした損失である.

データセット FrameNet[2], 日本語フレームネッ ト [13] から, 動詞がフレームを喚起する用例を抽出 し，データセットを作成した. このうち、FrameNet から抽出された用例数は 82,610 であった. 評価に 利用する日本語フレームネットについては，多義動詞の割合が一定となるように動詞単位で, 学習デー タ，開発データ，評価データの 3 つのサブセットに 分割し, 3 分割交差検証を行った. 各サブセットの 用例数の平均は 786 であった.

事前学習済みモデル 単言語モデルとして 東北大 BERT ${ }^{1)}$ を，多言語モデルとして multilingual BERT(mBERT) [3] ${ }^{2)}$ を用いた.

比較手法 東北大 BERT に対しては, 深層距離学習を行わない設定 (w/oFT) と $\mathrm{S}_{J F N}$ の 2 つの設定を比較する. $\mathrm{mBERT}$ に対してはさらに $\mathrm{S}_{F N}, \mathrm{~S}_{F N \rightarrow J F N}$, $\mathrm{S}_{F N+J F N}$ を加えた 5 つの設定を比較する. 予備実験 の結果に基づき，JFNのみを学習に用いる場合は 10 epoch, FNを用いる場合は 3 epoch 学習させる.

パラメータ 埋め込み $v_{w+m}$ の重み $\alpha$, クラスタ 数，マージンは開発セットを用いて決定する。この うち， $\alpha$ は 0 から 1 まで 0.1 刻み， Triplet 損失にお いて必要となるマージンは, $\{0.1,0.2,0.5,1.0\}$ から 探索する. バッチサイズは 32 , 学習率は 1e-5 とし,最適化アルゴリズムには AdamW [14]を使用する.

クラスタリング手法 クラスタリングは，1 段階 クラスタリングでは群平均法を，2 段階クラスタリ ングでは 1 段階目に X-means [15], 2 段階目に郡平

1) https://huggingface.co/cl-tohoku/

bert-base-japanese-whole-word-masking

2) https://huggingface.co/bert-base-multilingual-uncased
表 1 日本語動詞を対象としたフレーム推定実験の結果. スコアはいずれも 100 倍したものを記載している.

均法を用いて実施する。

評価方法 評価指標には，クラスタリングの代表的な評価指標の 1 つである B-cubed Precision (BCP), Recall $(\mathrm{BcR})$ ，およびその調和平均である $\mathrm{F}$ 値 $(\mathrm{BcF})$ [16]を使用する。全ての設定において，異なるラン ダムシードで 3 回実験を行い，評価値の平均と標準偏差を算出する.

## 3.2 実験結果

表 1 に実験結果を示す。まず，事前学習済み言語 モデルをそのまま用いた設定 (w/oFT) の性能を比較 すると，mBERT を使った場合よりも東北大 BERT を用いた場合，2 段階クラスタリングよりも 1 段階 クラスタリングを用いた場合の方がそれぞれ高い $\mathrm{BcF}$ となった. 東北大 BERT と 1 段階クラスタリン グを組み合わせた場合の BcF は61.2であった.

教師信号として日本語フレームネットを使った 設定 $\left(\mathrm{S}_{J F N}\right)$ に注目すると，ほとんどの設定において w/oFT より高い BcF を達成しており, 深層距離学習 の有効性が確認できる. 東北大 BERT を使ったモデ ルと mBERTを使ったモデルを比較すると, AdaCos と 2 段階クラスタリングの組み合わせ以外では，東北大 BERT の方が大幅に高い BcF を達成しており，単言語に閉じた実験の場合, 言語モデルも単言語 モデルの方が高い性能となる傾向があると言える。 この設定でもっとも高い BcF となったのは東北大 BERT と 1 段階クラスタリングを組み合わせた場合 で，全実験でもっとも高い 65.9 であった.

続いて，教師信号として FrameNet を使った設定 $\left(\mathrm{S}_{F N}\right)$ に注目すると, 深層距離学習を実施しなかっ た mBERTを使う設定 (w/oFT) と比べ，2 段階クラ スタリングに基づく手法において僅かに性能向上が 見られたものの, 各モデルで最高性能となる設定の $\mathrm{BcF}$ はそれぞれ 59.4，59.3 と大きな差異は確認でき なかった. 教師信号として FrameNet, 日本語フレー ムネットの両方を使った設定 $\left(\mathrm{S}_{F N \rightarrow J F N}, \mathrm{~S}_{F N+J F N}\right)$ を 日本語フレームネットのみ使った設定 $\left(\mathrm{S}_{J F N}\right)$ と比較 すると，もっとも高い BcFである 62.8 を達成した のは $\mathrm{S}_{F N+J F N}$ と 2 段階クラスタリングを組み合わせ たときであったが，性能が低下しているケースもあ り，FrameNetを使うことの有効性は本実験では確認 できなかった.

## 3.3 考察

図 1 に，日本語フレームネットを教師信号とし $\left(\mathrm{S}_{J F N}\right)$, 東北大 BERT に対し深層距離学習による ファインチューニングを行った場合の, 学習前と学習後のフレーム推定対象動詞の埋め込みの変化の 一例を示す。埋め込みは t-SNE [17]を用いて 2 次元 に圧縮して可視化し, 事例数の多い上位 10 フレー ムを喚起する動詞の埋め込みに対応する色を付与 している．学習前の段階でもある程度，喚起するフ レームごとにまとまって分布しているものの，深層距離学習を行うことでその傾向が強くなること が確認できる．たとえば，Statement フレームや Change_position_on_a_scale フレームは学習前は, 他の フレームを喚起する用例と近接して分布しているの に対し，学習後は該当のフレームを喚起する用例だ

東北大BERT (w/oFT)

東北大BERT

(Triplet, $\mathrm{S}_{J F N}$ )
- Statement $\boldsymbol{\nabla}$ Awareness_status * Capability 4 Possession Grasp $\star$ Experiencer_focused_emotion Causation $\Delta$ Intentionally_act +Change_position_on_a_scale $\quad$ Cause_to_make_progress

図 1 深層距離学習前後の東北大 BERT の分布の変化例

けでまとまって分布していることが確認できる.

次に, 図 2 に FrameNet と日本語フレームネット をまとめて教師信号とし $\left(\mathrm{S}_{F N+J F N}\right)$, mBERT に対し 深層距離学習を行った場合の, 学習前と学習後のフ レーム推定対象動詞の埋め込みの変化の一例を，実際の用例とともに示す. 同じフレームに属する用例 ペア (1)と (2), (5)と (6) は，学習前は空間上の離れ た場所に位置しているのに対し, 学習後は近くに位置することが確認できる. このうち，用例ぺア (1) と (2) で喚起語となる動詞は共に「出来る」である が，学習前は用例 (1)のように未然形・連用形で出現した用例群と, 用例 (2) のように終止形・連体形 の一部として出現した用例群とに分かれて分布して いた。また，用例ぺア (5) と (6) で喚起語となる動詞 は共に「持つ」であるが，これらの埋め込みは学習前において，平仮名の「もつ」を含む用例群と漢字 の「持つ」を含む用例群に分かれて分布していた.

一方，用例ペア (7) と (8) の埋め込みは接近せず，学習後も異なるクラスタに属した. これらの用例は 学習前後一貫して，それぞれ同じ動詞「言う」を喚起語とするものの，平仮名で記載された「いう」を 含む用例群と漢字を用いて記載された「言う」を含 む用例群に分かれて分布した．また，平仮名の「い う」を含む用例群の周囲には同じく平仮名の喚起語 を持つ用例が分布しており，文字種の特徴が埋め込 みに強く反映されていた。このような表記摇れは日本語特有の問題であり, FrameNet を教師信号として mBERT に対して深層距離学習を適用した場合に意味フレーム推定の性能向上が確認できなかった一因 である可能性が考えられる。

図 2 深層距離学習前後の mBERT の分布の変化

## 4 おわりに

本稿では山田らの提案した意味フレーム推定手法 を日本語動詞の意味フレーム推定に適用し，性能を 検証した。日本語フレームネットに含まれる用例数 は，山田らが英語動詞の意味フレーム推定に利用し た FrameNet の用例数の $3 \%$ と大幅に少ないにも関わ らず，教師信号として日本語フレームネットを使う 設定では，言語モデルとして日本語単言語モデルで ある東北大 BERT を用いた場合，多言語モデルであ る mBERT を用いた場合，いずれにおいても深層距離学習を行うことで意味フレーム推定性能が向上 することが確認できた。一方，多言語モデルである mBERT を対象に，FrameNet を教師信号として用い る設定では，深層距離学習による性能向上は確認で きなかった.

今後の課題としては，日本語フレームネットのフ レームを付与したデータを増やし，より大規模な 評価セットを用いた実験を行う予定である。また， FrameNet 形式のフレームリソースは，ブラジル語や ポルトガル語，中国語をはじめ，多くの言語を対象 に開発が進んでいる [18] ことから，英語と日本語以外のリソースを用いた実験に取り組みたい.

## 謝辞

本研究は、JST 創発的研究支援事業、JPMJFR216N

の支援を受けたものである。

## 参考文献

[1] Charles J Fillmore. Frame Semantics. Hanshin Publishing Company, 1982.

[2] Josef Ruppenhofer, Michael Ellsworth, Myriam Schwarzer-Petruck, Christopher R Johnson, and Jan Scheffczyk. FrameNet II: Extended theory and practice. International Computer Science Institute, 2016.

[3] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL 2019), pp. 4171-4186, 2019.

[4] Nikolay Arefyev, Boris Sheludko, Adis Davletov, Dmitry Kharchev, Alex Nevidomsky, and Alexander Panchenko. Neural GRANNy at SemEval-2019 task 2: A combined approach for better modeling of semantic relationships in semantic frame induction. In Proceedings of the 13th International Workshop on Semantic Evaluation (SemEval 2019), pp. 31-38, 2019.

[5] Saba Anwar, Dmitry Ustalov, Nikolay Arefyev, Simone Paolo Ponzetto, Chris Biemann, and Alexander Panchenko. HHMM at SemEval-2019 task 2: Unsupervised frame induction using contextualized word embeddings. In Proceedings of the 13th International Workshop on Semantic Evaluation (SemEval 2019), pp. 125-129, 2019.

[6] Eugénio Ribeiro, Vânia Mendonça, Ricardo Ribeiro, David Martins de Matos, Alberto Sardinha, Ana Lúcia Santos, and Luísa Coheur. L2F/INESC-ID at SemEval2019 task 2: Unsupervised lexical semantic frame induction using contextualized word representations. In Proceedings of the 13th International Workshop on Semantic Evaluation (SemEval 2019), pp. 130-136, 2019.

[7] Kosuke Yamada, Ryohei Sasano, and Koichi Takeda. Semantic frame induction using masked word embeddings and two-step clustering. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (ACL-IJCNLP 2021), pp. 811-816, 2021.

[8] 山田康輔, 笹野遼平, 武田浩一. 深層距離学習を用い た動詞の意味フレーム推定. 言語処理学会第 29 回年次大会, 2023.

[9] Raia Hadsell, Sumit Chopra, and Yann LeCun. Dimensionality reduction by learning an invariant mapping. In Proceedings of the 2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR 2006), Vol. 2, pp. 1735-1742, 2006.

[10] Kilian Q Weinberger and Lawrence K Saul. Distance metric learning for large margin nearest neighbor classifica- tion. Journal of machine learning research, Vol. 10, No. 2, 2009.

[11] Jiankang Deng, Jia Guo, Niannan Xue, and Stefanos Zafeiriou. ArcFace: Additive angular margin loss for deep face recognition. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR 2019), pp. 4690-4699, 2019.

[12] Xiao Zhang, Rui Zhao, Yu Qiao, Xiaogang Wang, and Hongsheng Li. AdaCos: Adaptively scaling cosine logits for effectively learning deep face representations. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR 2019), pp. 10823-10832, 2019.

[13] Kyoko Ohara, Seiko Yamaguchi Fujii, Toshio Ohori, Ryoko Suzuki, Hiroaki Saito, and Shun Ishizaki. The japanese framenet project: An introduction. 2004.

[14] Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization. In Proceedings of the 5th International Conference on Learning Representations (ICLR 2017), 2017.

[15] Dan Pelleg and Andrew Moore. X-means: Extending kmeans with efficient estimation of the number of clusters. In Proceedings of the 17th International Conference on Machine Learning (ICML 2000), pp. 727-734, 2000.

[16] Amit Bagga and Breck Baldwin. Entity-based crossdocument coreferencing using the vector space model. In Proceedings of the 36th Annual Meeting of the Association for Computational Linguistics and 17th International Conference on Computational Linguistics (ACL-COLING 1998), pp. 79-85, 1998.

[17] Laurens van der Maaten and Geoffrey Hinton. Visualizing data using t-SNE. Journal of Machine Learning Research, Vol. 9, pp. 2579-2605, 2008.

[18] Collin F. Baker, Michael Ellsworth, Miriam R. L. Petruck, and Swabha Swayamdipta. Frame semantics across languages: Towards a multilingual FrameNet. In Proceedings of the 27th International Conference on Computational Linguistics: Tutorial Abstracts, pp. 9-12, Santa Fe, New Mexico, USA, August 2018. Association for Computational Linguistics.


# 否定スコープ認識における構文構造利用の再検証

吉田 朝飛 ${ }^{1}$ 加藤芳秀 ${ }^{2}$ 松原 茂樹 1,2
1 名古屋大学情報学部 2 名古屋大学情報連携推進本部
yoshida.asahi.y7@s.mail.nagoya-u.ac.jp

## 概要

否定スコープ認識とは，自然言語文に現れる否定要素の影響が及ぶ範囲を特定するタスクである．従来手法の多くは否定スコープ認識に構文構造を利用 していたが，近年の手法はディープラーニングを利用しており，構文構造を利用せずとも従来手法を上回る性能を達成している. 本研究では, 否定スコー プ認識における構文構造の有用性を再検証する. 従来手法で用いられてきた構文解析器を, 解析精度の 高い最新の構文解析器に置き換えて, 否定スコープ 認識の性能を評価する. 精度の高い構文解析器を利用することにより, 従来の手法が最新の手法と同程度の性能を達成できることを確認した。

## 1 はじめに

否定 (negation) は意味を反転させる言語現象であ り，自然言語文において頻繁に出現する。文中の否定を意味する表現，及びその影響範囲を正しく認識 することは，自然言語文を理解する上で必要不可欠 である。NLP 分野において，否定を自動認識する多 くの手法（例えば $[1,2,3]$ ）が提案されてきた.

自然言語文に含まれる否定において，否定の意味 をもつトークンを否定要素 (negation cue), 否定要素 の影響が及んでいる範囲を否定スコープ (negation scope) と呼ぶ. 例えば (1)の英文では, not が否定要素であり, notによって意味が反転する He did, go to school が否定スコープである. なお，以下では例文 における太字と下線はそれぞれ否定要素と否定ス コープを表す.

(1) He did not go to school and stayed home.

一般的に，否定認識 (negation detection) は次のサブ タスクに分けられる.
- 否定要素検出 (negation cue detection)
- 否定スコープ認識 (negation scope detection / negation scope resolution)本研究では，英文の否定スコープ認識に取り組む.

否定スコープ認識の研究は，*SEM 2012 Shared Task [4] で否定認識タスクが取り上げられて以来,活発に行われている。*SEM 2012 Shared Task では,構文構造を利用した否定スコープ認識手法 [1] が トークンレベルの評価で最高性能を達成した [4].一方，近年の研究ではディープラーニングを用いた 手法が中心となっており，構文情報を明示的に利用 せずとも高い性能を達成している $[2,3]$.

ここで注意すべき点は，*SEM2012 Shared Task で は，その当時の構文解析器が使用されている1)こと である. 現在の構文解析器は当時に比べ，解析精度 が大幅に改善されており，それを利用することで，構文構造をべースとした従来手法の性能が向上する 可能性がある．構文構造に基づく手法は，ディープ ラーニングをべースとする手法に比べて解釈性が高 く, システムがどのようなメカニズムで否定スコー プ認識を行っているかを説明しやすいという利点が ある。また，構文べースの手法が否定スコープの認識に利用する構文情報はドメインに依存して変化し ないため，異なるドメインのデータセットに適用す ることが容易であると期待できる.

そこで本研究では, 否定スコープ認識における構文構造の有用性を再検証するために，最新の構文解析器を用いた否定スコープ認識の性能を評価する。実験により，構文に関するヒューリスティックな ルールに基づく従来の手法が，ディープラーニング に基づく手法と同程度の性能を達成できることを確認した。

## 2 先行研究

本節では，Read らが提案した，構文構造を用いて 否定スコープ認識を行う手法 [1] の概要を説明する.本研究ではこの手法をべースにし，否定スコープ認

識における構文構造の有用性を再検証する。

Read らの手法は，否定スコープと構文構造は強 い関連があるという考えに基づき，構文木の部分木 （句）をスコープと対応づけている．例として，以下の文 (2) に対応する図 1 の構文木を考える.

(2) People without a coupon can also enter.

この例において，否定要素 without のスコープは People, a coupon である. このスコープは句 NP と対応している.

Read らの手法は, 文と否定要素が与えられると，次の手順により否定スコープを特定する。

1. 文を構文解析し，否定要素を含む句をそのス コープの候補とする.

2. 否定スコープの候補である句の中から，ルール ベースの手法，もしくは分類器を用いて句を 1 つ選択する。

3. 選択された句を補正し，スコープを決定する.

手順 1 では，否定要素（上の例では without）が 含まれる句（上の例では IN, PP, NP, S）をスコープ の候補とする。手順 2 では，選ばれた候補の中か ら，スコープに対応する句を 1 つ選ぶ. Read らは ルールベースの手法と分類器を用いる手法を提案しているが，ここでは本研究で利用するルール ベースの手法について述べる. 用いるルールは,図 2 に示す Scope resolution heuristics である. Scope resolution heuristics は複数のルールからなり, 図の 上にあるルールから順番に適用される. 例えば， DT//SBAR if SBAR \WHADVP は, 否定要素の品詞が DT であり, その祖先にSBARが存在し, かつそのSBAR の子に WHADVP がある場合に適用され，SBARを 否定スコープに対応する句として選択する. いずれ のルールも適用されない場合には, default scope が 採用される. default scope は, 否定要素から左右へ とスコープをのばしていき，文境界または句読点に 至るまでの範囲を否定スコープとするものである.

否定スコープと句の対応が単純でない場合もあ る. 図 3 に，前述した英文 (1) の構文木を示す.こ の文には等位構造が含まれているが，否定要素であ る not のスコープは接続詞 and，及び 2 番目の等位項 stayed home には及んでいない.この例が示すよ うに，スコープと句を単純に対応させられない場合 がある. 手順 3 の句の補正の処理は, こうした場合 に対応するための処理である. 句の中に含まれる特

図 1 文 (2) の句構造木. 否定要素 without のスコープに 対応する句の候補を太字で示している。

図 2 Scope resolution heuristics. 各行が 1 つのルールに 対応し, ルール適用の優先度は上にあるものほど高い. A/B は B が A の親 (parent) であることを， A//B は B が A の祖先 (ancestor) であることを， $\mathrm{A} \backslash \mathrm{B}$ は B が $\mathrm{A}$ の子 (child) であることを示す. (\#) は，本研究で修正を加えるルール である.

定の要素を句から除外するために，以下の処理を 行う.

・ 句の最初あるいは最後の punctuation（句読点） を除外する。
- 5 つのルールからなる Slackening rulesを適用 し，特定の要素を除外する。

・不連続なスコープに対応するための Post processing を適用する。具体的には，以下の 2 つの処理を行う.
- 等位構造の最後の等位項に否定要素が含 まれる場合，それより前の等位項を除外 する。

一 文全体にかかる副詞的要素 (sentential adverb)を除外する。

例えば，文(1)では句として S が選択され，上述の 処理により，等位接続詞 (CC) の and, CC より後ろ にある等位項に含まれる stayed home, punctuation で あるピリオドが除外される．補正の結果，スコープ

図 3 文 (1)の句構造木. 赤枠で囲った部分は句の補正に よりスコープ候補の句から除外されることを示している。

を正しく認識できる.

## 3 構文構造を用いた手法の再検証

本節では，否定スコープ認識における構文構造の 有用性を再検証する方法を説明する。検証には，2 節で説明した Read らの手法 [1] をべースとして用い る. 3.1 節では，本検証で用いる構文解析器につい て述べる. 3.2 節及び 3.3 節では，本再検証において 修正した，Read らの手法の手順 2 と 3 の処理につい てそれぞれ説明する。

## 3.1 構文解析器の変更

*SEM 2012 Shared Task のデータセット [5] には句構造情報も付与されており，構文構造をべースとし た従来手法の多くが，この情報を利用して否定ス コープ認識を行ってきた.

データセットに付与されている句構造情報は, Charnkak and Johnson Reranking Parser [6]を用いて構文解析されたものである。この構文情報には誤りが 含まれており，Read らが指摘したようにこの誤り が否定スコープ認識の性能に影響を及ぼす可能性 がある. そこで本研究では，より性能の高い構文解析器を使用してデータセットの文を構文解析する。構文解析には，Berkeley Neural Parser [7, 8] と Attach Juxtapose Parser [9] の 2 種類の構文解析器を使用す る. それぞれの構文解析器の性能を表 1 に示す. Penn Treebankでの性能は, Reranking Parser, Berkeley Neural Parser, Attach Juxtapose Parser の順に高くなっ ている.表 1 使用した句構造解析器の性能

## 3.2 Scope Resolution Heuristics の修正

Read らは図 2 の Scope resolution heuristics により スコープに対応する句を特定する処理を行った. Read らの1つ目のルール (図2で (\#)を付したもの) は関係詞節を取り出すことを想定したものだと考え られるが，このままでは正しく機能しない，本研究 ではこのルールを以下のように修正する。

## (3) $\mathrm{RB / / \mathrm{VP} / \mathrm{S} / \mathrm{SBAR}$ if SBAR WHNP}

学習データを用いた予備実験により, Read らの 1 つ 目のルールをそのまま適用する場合よりも，修正し た新たなルールを適用した場合の方が，句と否定ス コープの対応率が高いことを確認している.

## 3.3 補正処理の修正

Read らの手法では 2 節で述べた処理により句の 補正を行っているが，本研究では Slackening rules と Post processing の一部に変更を加える.

Slackening rules については，Read らの 5 つのルー ルに，以下の 1 つのルールを追加する.
- 句の最初にあるカンマで区切られた PP (前置詞句）を除外する.

これは，句の最初にあるカンマで区切られた前置詞句は副詞的に働き，否定スコープに入らないことが 多いという学習データの観察に基づいて作られた ルールである. 文 (4) は，句の最初にある前置詞句 が否定スコープに入らない例である.

(4) In my opinion, he should not go.

Post processing については，2つ目の処理に修正を 加える. Read らは学習データから sentential adverb のリストを作成し，そのリストに含まれる語を除外する処理を行っている. 本研究ではこれを一般化し，「カンマで囲まれた ADVP, INTJ」を sentential adverb とし，カンマと共に除外する。例えば文 (5)
表 2 異なる構文解析器を用いて作成したデータに対する否定スコープ認識の結果

*上段の数值は Read らのルールを 3.2, 3.3 節で述べたように修正した場合の結果，下段の数值はルールを修正しない場合の結果を表す.

では，カンマで囲まれた ADVP である however とそ の両端のカンマが句から除外される.

(5) I do n't think, however, he is guilty.

## 4 実験

否定スコープ認識における構文構造の有用性を再検証するために，構文構造に基づく従来手法を異な る構文解析器を用いて作成したデータに適用する実験を実施した４.1 節で実験の方法を述べ，4.2 節で 実験の結果を述べる.

## 4.1 実験の方法

実験では，*SEM2012 Shared Taskで使用された データセット CD-SCO を用いた. Read らの手法を, 3.2 節及び 3.3 節で示した通りに修正した方法で否定 スコープ認識を行った. CD-SCO に対して Berkeley Neural Parser と Attach Juxtapose Parserにより句構造情報を新たに与え，それぞれの結果を比較した。実験設定は*SEM2012 Shared Task のものと同様で あり，評価指標はスコープレベルの $\mathrm{F}_{1}$ (Scope-level $F_{1}$-measures) とトークンレベルの $F_{1}$ (Token-level $F_{1}$ mearures) である. 評価には*SEM2012 Shared Task で配布された評価プログラムを用いた。

## 4.2 実験結果

異なる構文解析器を使用した場合の否定スコープ 認識の結果を表 2 に示す. 解析精度の高い構文解析器を用いることにより，スコープレベル，トークン レベルのいずれの基準においても否定スコープ認識 の性能が高くなることを確認した。

現時点で最高性能を達成している Khandelwal ら [3] を含め，いくつかの先行研究では，*SEM2012 Shared Task で評価から除外されていた punctuation のトークンを評価に含めている。これらの手法と結表 3 本研究で用いた手法と他の手法との結果比較

## Token-level $\mathbf{F_{1}$}

Method Punctuation Punctuation

* Attach Juxtapose Parser を用いて構文解析したもの.

果を比較するため，punctuation のトークンも含めた $F_{1}$ も測定した. 結果を表 3 に示す. 本研究で検証し た手法の性能は, punctuation を含めた $\mathrm{F}_{1}$ において, Khandelwal らの手法とわずか $0.62 \%$ の性能差に達し ている。これは，高性能の構文解析器を用いること で，構文に関するヒューリスティックなルールに基 づく手法が最高性能のディープラーニング手法に近 い性能を達成できることを示している。

## 5 おわりに

本研究では，否定スコープ認識タスクにおける構文構造の有用性を再検証した。構文構造をべースと する従来手法が解析精度の高い構文解析器を用いる ことで，ディープラーニングをべースとした手法に 近い性能を達成できることを実験により示した。

予測の精度をより高めるために，ルールベースで 行った句を選択する処理に機械学習を導入すること が考えられる。

否定スコープ以外にもスコープのある言語現象が 存在する。例えば， all, any などの量化子 (quantifier) もスコープがあり，その範囲を正しく認識すること は，量化子を含む自然言語文の意味を理解する上で 重要である. 本研究の方式を否定以外のスコープ認識に応用させることも今後の課題である.

## 謝辞

本研究は，一部，科学研究費補助金基盤研究（C）

（No. 22K12148）により実施したものである.

## 参考文献

[1] Jonathon Read, Erik Velldal, Lilja Øvrelid, and Stephan Oepen. UiO1: Constituent-based discriminative ranking for negation resolution. In ${ }^{*}$ SEM 2012: The 1st Joint Conference on Lexical and Computational Semantics, pp. 310-318, Montréal, Canada, 7-8 June 2012. Association for Computational Linguistics.

[2] Federico Fancellu, Adam Lopez, and Bonnie Webber. Neural networks for negation scope detection. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 495-504, Berlin, Germany, August 2016. Association for Computational Linguistics.

[3] Aditya Khandelwal and Suraj Sawant. NegBERT: A transfer learning approach for negation detection and scope resolution. In Proceedings of the 12th Language Resources and Evaluation Conference (LREC'20), pp. 5739-5748, Marseille, France, May 2020. European Language Resources Association.

[4] Roser Morante and Eduardo Blanco. *SEM 2012 shared task: Resolving the scope and focus of negation. In *SEM 2012: The 1st Joint Conference on Lexical and Computational Semantics, pp. 265-274, Montréal, Canada, 7-8 June 2012. Association for Computational Linguistics.

[5] Roser Morante and Walter Daelemans. ConanDoyle-neg: Annotation of negation cues and their scope in conan doyle stories. In Proceedings of the 8th International Conference on Language Resources and Evaluation (LREC'12), pp. 1563-1568, Istanbul, Turkey, May 2012. European Language Resources Association (ELRA).

[6] Eugene Charniak and Mark Johnson. Coarse-to-fine n-best parsing and MaxEnt discriminative reranking. In Proceedings of the 43rd Annual Meeting of the Association for Computational Linguistics (ACL'05), pp. 173-180, Ann Arbor, Michigan, June 2005. Association for Computational Linguistics.

[7] Nikita Kitaev and Dan Klein. Constituency parsing with a self-attentive encoder. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2676-2686, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[8] Nikita Kitaev, Steven Cao, and Dan Klein. Multilingual constituency parsing with self-attention and pre-training, 2018.

[9] Kaiyu Yang and Jia Deng. Strongly incremental constituency parsing with graph neural networks. In Neural Information Processing Systems (NeurIPS), 2020.

[10] Hao Li and Wei Lu. Learning with structured representations for negation scope extraction. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Pa- pers), pp. 533-539. Association for Computational Linguistics, 2018.