# 市民科学でのアノテーション作業支援と 作業者の能力向上支援

星島洸明 1 西村太一 ${ }^{1}$ 亀甲博貴 2 森信介 ${ }^{2}$
1 京都大学大学院情報学研究科 2 京都大学学術情報メディアセンター
\{hoshijima.komei.72x,nishimura.taichi.43x\}@st.kyoto-u.ac.jp
\{kameko,forest\}@i.kyoto-u.ac.jp

## 概要

近年，市民科学を活用した研究プロジェクトが注目されている。このようなプロジェクトは多数の非専門家が作業をすることで少数の専門家のみのときより効率的にプロジェクトを進行させられる特徴がある。報酬を作業の動機とするクラウドソーシングと異なり, 市民科学では作業者は科学や学問への貢献や知的好奇心を動機をしている。 そのため作業者は作業対象への知識の向上を需要として持っており，本論文では成果物の分析をして，作業を通じて作業対象への知識が増えたり作業能力が向上していたりといった情報をフィードバックとして与えることを最終的な目標とする．また，非専門家による成果物の品質にばらつきが生じる場合でも学習データとして有効に活用する。

## 1 はじめに

近年，市民科学を活用した研究プロジェクトが注目されている. 市民科学は非専門家が科学的な調査や研究活動をすることを指し，市民科学の特徵は少数の専門家のみで作業すると時間と費用が膨大にかかるプロジェクトでも多数の非専門家がプロジェク卜に参加すると効率的に作業を進められることである. 多数の人が参加することで効率的に作業を進める方法であるクラウドソーシングでは，インター ネットを通じて不特定多数の人にタスクを依頼し，作業量に応じた報酬を受け取ることが作業に取り組む動機となっている. クラウドソーシングサービスの代表例として Amazon Mechanical Turk が知らており，画像データへのアノテーション作業や画像の内容を描写する文章作成など $[1,2]$ 高い専門的知識や技能を必要としない作業が主に依頼されている。市民科学では作業者の目的は報酬を得ることではな
く, 科学や学問への貢献, 知的好奇心が動機である [3] ため，ボランティア型のクラウドソーシングといえる。クラウドソーシングを利用してデータを収集することは多くの研究でみられるが，対して市民科学が関わるデータ収集の研究はそれほど多くはない [4]. 市民科学のプロジェクトの参加者は動機が知的好奇心にあるため，作業者が作業対象への知識を向上させる需要があると考えられる。 よって作業者の作業によって作成された成果物の分析をして，作業を通じて知識が実際に増えているかのフィードバックを与えることが有用であると考えられる.

市民科学で作業対象が専門的知識を必要とし，作業者の専門的知識の有無を理由に作業への参加を拒まない場合，作業の結果の成果物の品質は一定ではなくなる。作業対象に対して専門的知識を多く有する人は高品質な成果物を作成しやすく，専門的知識をあまり有しない人は高品質な成果物を作成しにくい傾向があると考えられる。市民科学では作業対象に興味を持っているが専門的知識の少ない人が作業に関わっていくことで，作業対象の知識が増える可能性がある.

市民科学のブロジェクトの例として京都大学古地震研究会が 2017 年に公開した市民参加型史料翻刻プロジェクト「みんなで翻刻（地震史料）」[3,5] があげられる．翻刻とはくずし字で書かれている古文書などの歴史史料を一文字ずつ活字に書き起こしていく作業のことを指す。「みんなで翻刻」は web 上で歴史史料を翻刻するためのアプリケーションであり，翻刻作業には研究者だけでなく一般の人々も参加している.

このように，市民科学のプロジェクトでデータに対して人手でラベルを付与することが求められており，タスクに応じた付加情報をつけるアノテーションツールの需要がある．本論文ではモデルの精度向

図 1 作成したアノテーションツールの概要図。

上につながる学習データを作成するために，市民科学のプロジェクトで使用されることを想定したアノテーションツールを作成する.

本論文では市民科学のプロジェクトで非専門家で作業する際に，第一に作業者の能力向上を作業者にフィードバックとして与え, 第二に非専門家の成果物からモデル性能を向上させる学習データを作成することを目的とする。

## 2 関連研究

## 2.1 複数アノテータによるアノテーション

アノテータが複数いる状態で同一のテキストに対して作業をすると，アノテータの数だけのデータが作成される. 各データでラベル付けされる内容は異なり，学習データとして扱うためには各データを一つに集約する必要がある．各データを一つに集約する際にトークン単位で多数決をする手法 [6] が知られている。集約したデータを学習データに加えてモデルを学習し, 未作業のテキストにモデルによる自動ラベリングをすると，モデル精度を向上させるデータが作成できることが知られている [7].

## 2.2 非専門家を含む場合のアノテーション

専門分野に関する知識を有しない非専門家と専門家が同じテキストに対してラベル付けをする場合， まず非専門家がテキストのラベル付けをしてその生成物を専門家が修正することで，アノテーションコーパスを作成するコストを削減しアノテータ間の一致率を向上させることができる [8].

自動ラベリングモデルによる出力結果から人手で修正を加えるアノテーション方法は作業時間を短縮させることができる [9] が，誤った出力結果に影響されてデータが作成される可能性がある [10]. 市民科学のプロジェクトに限らず非専門家によって大規模データセットが作成される場合，非専門家への作業支援は必要であるが，この点を考慮に入れる必要がある.

## 3 課題設定

「みんなで翻刻」のような市民科学のプロジェクトは 2 つの課題を抱えている.1つ目は市民科学の参加者が作業対象の知識を向上させているかをフィードバックとして与えると有用であると考えられるいう点である. クラウドソーシングのワーカー が報酬を動機としているのに対し，市民科学の参加者は科学や学問への貢献や科学的好奇心を動機としている。そのため作業対象の知識を増やしたいという作業者の需要があると考えられる。作業を通じて実際に作業者の知識が増えているかをフィードバックすることで，市民科学に参加する動機をより強固にして，プロジェクト成功や発展につながる可能性がある. 2 つ目は専門的知識が必要とされる分野で作業する際に，作業者の専門的知識に幅がある状態では，作成された成果物の品質にばらつきが生じるという点である．作業者の能力にばらつきがあることを前提に，自動ラベリング結果を表示したり $[11,12]$, 作業者の習熟度とタスクの難易度を考慮にいれてタスクを各作業者に適切に分配したり [13] して，作業を支援することができる．以上のような課題がある中で，市民科学において非専門家が作業する場合，モデルの性能を向上させるような高品質なデータを作成し, 作業者の作業能力が向上しているかをフィードバックとして与えることを本論文の目的とする。

## 4 アノテーションツール

テキスト中の固有表現をアノテーションするツー ルを作成した．本ッールの概要図を図 1 に示し， ツールでラベル付けするときの作業画面を図 2 に示
図 2 アノテーションツールの作業画面.

す. 作業するテキストには学習した自動ラベリングモデルを使用してラベル候補をアノテータに提示する. アノテータはツールによって提示されたラベルの範囲と種類が正確であると判断した場合はそのままにしておき，誤っていると判断した場合は修正する. ツールによって提示されたラベル以外にラベルを付ける必要があるとアノテータが判断すれば新たにテキストにラベルを追加する。ツールはアノテー タが作業開始から作業終了までの時間を測定しており，ラベル付けされたデータとともに測定時間をデータベースに格納する。

## 5 実験

学習したモデルを使用して，ラベル付けする候補をアノテータに提示して，人手でそれを修正することでアノテーション作業の効率化が見られるか実験する。またアノテータによって作成されたデータを元の学習データに追加してモデルを学習し，データ追加前のモデルと性能を比較して評価する.

## 5.1 実験設定

本実験では，固有表現をアノテーション対象とし，対象データセットは料理分野のレシピテキストと歴史資料テキストの 2 つである. 歴史資料テキストは江戸時代に発生した安政江戸地震についてのテキストであり，固有表現タグを付与したデータセットである．料理分野のデータセットを作成するとき文を単語分割し，単語ごとに固有表現タグを付与する. 歴史資料は現代語のテキストと異なる文法，語彙が含まれ，一文ごとの区切りも曖昧であるため，歴史資料のデータセットを作成するときは文を文字単位で分割した後に文字ごとに固有表現タグを付与する．作業支援のための自動ラベリングモデルの学習に使用したデータセットを表 1 に示す. 表中の数字は文数を表す。なお自動ラベリングを学習するために使用した学習データを以降では元データと表 1 作業支援をする固有表現認識モデルの学習に使用したデータ.

表 2 作業支援をする固有表現認識モデルの性能.

呼ぶ.

アノテータは 3 名で，日本語母語話者であり，料理分野，歴史資料分野に関して専門的知識は有していない。以後アノテータ 3 名をそれぞれ $\mathrm{A}, \mathrm{B}, \mathrm{C}$ とする. 各アノテータそれぞれが同じ 200 文にラベル付けをし，200 文のうち 100 文は作業支援あり，100 文は支援なしでラベル付けを行った。なお，レシピテキストでは支援ありの 100 文はアノテータ毎に異なり，歴史資料テキストでは全アノテータで同じ支援ありの 100 文に作業を行った.

固有表現認識モデルは Flair[14] を使用した. 固有表現認識モデルの学習で使用する分散表現は，Flair が提供する文字ベースの日本語の事前学習済み言語モデル [15] を使用して構成した. 以下にモデル学習時の各パラメータを説明する。隠れ層のサイズは 256，学習率は 0.1 ，バッチサイズは 32 ，最大エポック数は 150 とした. 作業支援をするレシピテキストでの固有表現認識モデルの性能と歴史史料テキストでの固有表現認識モデルの性能を表 2 に示す.

## 5.2 評価指標

データ品質の評価には各アノテータの成果物を元の学習データに追加して学習したモデルの性能の測定を行った. データ作成の効率性の評価には作業時間の比較を行った。

## 5.3 実験結果

## 5.3.1 データ作成の効率性

各作業設定で作業にかかった時間の平均を表 3 に示す.レシピテキスト，歴史資料テキストの両デー タセットにおいて，生テキストから人手アノテー ションをする場合より自動ラベリング結果から人手アノテーションをする場合の方が作業時間は短くなった.

アノテータ A

アノテータ B

アノテータ $\mathrm{C}$

図 3 レシピテキストでの成果物の $\mathrm{F}$ 値の移動平均.

アノテータ A

アノテータ B

アノテータ C

図 4 歴史史料テキストでの成果物の $\mathrm{F}$ 値の移動平均.

表 3 作業時間の比較.

## 5.3.2 成果物の品質推移

アノテータが作成した成果物の品質が作業の経過とともに変化するか調べるため, 各アノテータの成果物の $\mathrm{F}$ 值の移動平均を計算した. 各アノテータの成果物を提出順に並べ， $\mathrm{F}$ 值の移動平均を 10 文毎にとった結果を図 $3 ， 4$ に示す.レシピテキストではいずれのアノテータも作業を進めるにしたがって，成果物の $\mathrm{F}$ 値の移動平均は向上していった. 歴史資料テキストではアノテータ A,B では移動平均が向上したが，アノテータ C は減少していった. この結果から，歴史資料テキストではモデルの自動ラベリング性能がレシピテキストほど高くないため，モデルの出力結果を利用した作業者の能力向上が起こりにくかった可能性が考えられる。

## 6 おわりに

本論文では市民科学でアノテーション作業が行われる場面を想定して，自動ラベリングモデルによる作業支援を行った. 成果物の品質推移を測定することで作業能力の変化をフィードバックとして与え, モデル性能を向上させるデータ作成を目的とし，実験を行った. 今後は自動ラベリング結果がラベル毎に異なる信頼度を持つことを考慮して，ラベル毎の信頼度を視覚的に表示するシステムを構築する。

## 参考文献

[1] Jia Deng, Wei Dong, Richard Socher, Li-Jia Li, Kai Li, and Li Fei-Fei. Imagenet: A large-scale hierarchical image database. In 2009 IEEE conference on computer vision and pattern recognition, pp. 248-255. Ieee, 2009.

[2] Tsung-Yi Lin, Michael Maire, Serge Belongie, James Hays, Pietro Perona, Deva Ramanan, Piotr Dollár, and C Lawrence Zitnick. Microsoft coco: Common objects in context. In European conference on computer vision, pp. 740-755. Springer, 2014.

[3] 橋本雄太, 加納靖之, 一方井祐子, 小野英理ほか. 『みんなで翻刻』の運用成果と参加動向の報告. じんもんこん 2020 論文集, Vol. 2020, pp. 39-46, 2020.

[4] Linda See, Peter Mooney, Giles Foody, Lucy Bastin, Alexis Comber, Jacinto Estima, Steffen Fritz, Norman Kerle, Bin Jiang, Mari Laakso, et al. Crowdsourcing, citizen science or volunteered geographic information? the current state of crowdsourced geographic information. ISPRS International Journal of Geo-Information, Vol. 5, No. 5, p. 55, 2016.

[5] みんなで翻刻|歴史資料の参加型翻刻プラット

フォーム. https: //honkoku.org. (参照 2021-12-28).

[6] Filipe Rodrigues, Francisco Pereira, and Bernardete Ribeiro. Sequence labeling with multiple annotators. Machine learning, Vol. 95, No. 2, pp. 165-181, 2014.

[7] An T Nguyen, Byron C Wallace, Junyi Jessy Li, Ani Nenkova, and Matthew Lease. Aggregating and predicting sequence labels from crowd annotations. In Proceedings of the conference. Association for Computational Linguistics. Meeting, Vol. 2017, p. 299. NIH Public Access, 2017.

[8] Mary Martin, Cecilia Mauceri, Martha Palmer, and Christoffer Heckman. Leveraging non-specialists for accurate and time efficient AMR annotation. In Proceedings of the LREC 2020 Workshop on "Citizen Linguistics in Language Resource Development”, pp. 35-39, Marseille, France, May 2020. European Language Resources Association.

[9] Claudia Schulz, Christian M Meyer, Jan Kiesewetter, Michael Sailer, Elisabeth Bauer, Martin R Fischer, Frank Fischer, and Iryna Gurevych. Analysis of automatic annotation suggestions for hard discourse-level tasks in expert domains. arXiv preprint arXiv:1906.02564, 2019.

[10] Karën Fort and Benoît Sagot. Influence of pre-annotation on pos-tagged corpus development. In The fourth ACL linguistic annotation workshop, pp. 56-63, 2010.

[11] Seid Muhie Yimam, Chris Biemann, Richard Eckart de Castilho, and Iryna Gurevych. Automatic annotation suggestions and custom annotation layers in webanno. In Proceedings of 52nd Annual Meeting of the Association for Computational Linguistics: System Demonstrations, pp. 91-96, 2014.

[12] Todd Lingren, Louise Deleger, Katalin Molnar, Haijun Zhai, Jareen Meinzen-Derr, Megan Kaiser, Laura Stoutenborough, Qi Li, and Imre Solti. Evaluating the impact of pre-annotation on annotation speed and potential bias: natural language processing gold standard development for clinical named entity recognition in clinical trial announcements. Journal of the American Medical Informatics Association, Vol. 21, No. 3, pp. 406-413, 2014.

[13] Yinfei Yang, Oshin Agarwal, Chris Tar, Byron C Wallace, and Ani Nenkova. Predicting annotation difficulty to improve task routing and model performance for biomedical information extraction. arXiv preprint arXiv:1905.07791, 2019.

[14] Alan Akbik, Tanja Bergmann, Duncan Blythe, Kashif Rasul, Stefan Schweter, and Roland Vollgraf. FLAIR: An easy-to-use framework for state-of-the-art NLP. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (Demonstrations), pp. 54-59, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[15] Alan Akbik, Duncan Blythe, and Roland Vollgraf. Contextual string embeddings for sequence labeling. In Proceedings of the 27th International Conference on Computational Linguistics, pp. 1638-1649, Santa Fe, New Mexico, USA, August 2018. Association for Computational Linguistics.

[16] Tetsuro Sasada, Shinsuke Mori, Tatsuya Kawahara, and
Yoko Yamakata. Named entity recognizer trainable from partially annotated data. In Conference of the Pacific Association for Computational Linguistics, pp. 148-160. Springer, 2015.
表 4 レシピテキストで部分的アノテーションを使用した固有表現認識モデルの性能.

表 5 歴史資料テキストで部分的アノテーションを使用した固有表現認識モデルの性能.

## A 付録

## A. 1 部分的アノテーションを使用した固有表現認識性能

学習に部分的アノテーションを使用するために， まず複数人で収集したアノテーションを統合する。各アノテーションを使用して，トークン単位で多数決を行い，過半数の場合ラベルを採用して統合したアノテーションデータを作成する。

次に以下の手順で部分的アノテーションを作成し，モデルを学習する. 第一に，アノテーションデータを学習データ，開発データ，テストデータに分割する. 第二に，各固有表現が部分的アノテー ションに含まれるかの全組み合わせを作成する. 第三に，学習データを使用して，固有表現の組み合わせにもとづいた部分的アノテーションを作成する。 レシピテキストの固有表現は 8 個, 歴史資料テキストの固有表現は 4 個あるので，上記の手順でそれぞれ 254 個， 14 個の部分的アノテーションを作成した. 第四に，作成した各部分的アノテーションを元データに追加し, それぞれモデルを学習する. 各モデルを開発データで評価し，最も性能が高いモデルを 1 つ選択する. 第五に，選択したモデルをテストデータで評価する.

実験では部分的アノテーションを学習可能な固有表現認識モデルである PWNER[16] を使用した. 元データに部分的アノテーションを追加して学習したときの固有表現認識モデルの性能を表 4,5 に示す. レシピテキストでは元データにフルアノテーションを加えたとき最も精度が高く, 歴史資料テキストでは元データに部分的アノテーションを加えたとき最も精度が高くなった. この結果から, 部分的アノテーションを使用することでフルアノテーションをそのまま使用するよりもモデルの精度が高くなる場合があることが示された.


# 語順と話者の思考パターンとの関係 一依存方向の分析一
Relation between word order and speaker's thinking pattern -focused on dependency directions-

江原 俥将 (EHARA Terumsa)
江原自然言語処理研究室(Ehara NLP Research Laboratory)
eharate@gmail.com

## 概要

これまで筆者は言語の語順とその言語話者の思考パターンとの関係を種々に研究してきた。語順素性としては動詞と目的語の語順を主として対象としてきたが、本文では動詞と目的語の語順以外に動詞と主語の語順または名詞と形容詞の語順を加えて分析した。2 個の語順素性を用いることで思考パターンの差が主辞前置か主辞後置かの差であるか、1 方向依存か 2 方向依存かの差であるかを明らかにすることができる可能性がある。思考パターンの定量的指標として 3 種類の指標を用いて $\mathrm{t}$ 検定を行った結果、主辞後置か主辞前置かの差の方が 1 方向依存か 2 方向依存かの差より有意性が高いことなどが分かった。

## 1 はじめに

これまで筆者は言語の語順とその言語話者の思考パターンとの関係を種々に研究してきた。語順素性としては動詞 $(\mathrm{V})$ と目的語 $(\mathrm{O})$ の語順を主として対象とし、一部、名詞 $(\mathrm{N})$ と形容詞 $(\mathrm{A})$ の語順を用いてきた。話者集団の思考パターンを測る定量的指標としては、自殺率／他殺率(Ehara, 2015)、Y 染色体 DNA ハプログループの分布(Ehara, 2018)、ミトコンドリア DNA ハプログループの分布(Ehara, 2019)、セロトニントランスポータの対立遺伝子 $\mathrm{S}$ の相対頻度(Ehara, 2021)を用いてきた。

依存文法における語順の捉え方として主辞が前置するか後置するかがある(付録 1 参照)。1 個の語順素性を用いた分析では、前置か後置かの区別しかできないが、2 個の語順素性を用いることで 2 者とも前置であるか 2 者とも後置であるか(1 方向依存)あるいは 2 者で前置と後置が混在するか(2 方向依存)を区別して分析することができる。そこで本文では 2個の語順素性を用いて分析する。そのことで思考パターンの差が主辞前置か主辞後置かの差であるか、 1 方向依存か 2 方向依存かの差であるかを明らかにすることができる可能性がある。

## 2 語順素性

用いる語順素性としては、まず動詞と目的語の語順を選択する。それに加えて動詞と主語(S)の語順および名詞と形容詞の語順を利用する。動詞と目的語の語順は最も重要な語順素性であり、名詞と形容詞の語順は 2 番目に重要な語順素性である(江原, 1995)。動詞と主語の語順を加えたのは、哲学(林, 2003)や場の言語学(岡, 2017)で言う主客分離と主客合一(主客非分離)の概念と関係があるかもしれないからである。

実際の語順データは WALS(Dryer and Haspelmath, 2013)から得た。

## 3 思考パターンの定量的指標

思考パターンの定量的指標としては以下の 3 種類を用いた。

・ $\mathrm{Y}$ 染色体 DNA ハプログループの分布(Y DNA)

・ミトコンドリア DNA ハプログループの分布(Mt DNA)

・セロトニントランスポータの対立遺伝子 $\mathrm{S}$ の相対頻度(S-ratio)

自殺率と他殺率は OV 話者集団と VO 話者集団の間での $\mathrm{t}$ 検定において有意な差が認められなかったため、今回の実験では用いなかった。

具体的なデータの値は 1 節で引用した文献に示さ

れているものを用いた。

## 4 解析方法

表 1 に示す話者集団の組み合わせで思考パターンの各指標の値に対して $\mathrm{t}$ 検定を実施した。 1 方向依存と 2 方向依存の比較では、動詞と目的語の語順を固定し、2 番目の語順素性を変化させて比較した。動詞と目的語の語順を固定したのは、5 節に示すように、OV 集団と VO 集団による指標値の差は既に有意に定まっているからである。

表 1 に示した集団以外に OV VS の集団もあるが今回用いたデータでは 1 例(Tuvaluan)のみであったため分析から除外した。

表 $1 \mathrm{t}$ 検定での話者集団の組み合わせ

(a) 主辞後置と主辞前置の比較

(b) 1 方向依存と 2 方向依存の比較

## 5 解析結果

2 個の語順素性を用いた解析結果を示す前に、動詞と目的語の語順素性のみを用いた結果を表 2 に示す。これらの結果は 1 節で述べた文献に示されているものと同一である。表中の大小記号は $\mathrm{t}$ 検定の結果の方向と有意水準を示している。記号”>”は左側の集団が右側の集団より当該指標において有意に大きいことを示し、記号” <”は逆を示す。記号の数は有意水準の差を示している。”>"は両側 5\%、”>”は両側 $1 \% 、 ”>>” は$ 両側 $0.5 \%$ 示す。

いずれの指標においても OV 言語話者集団の方が $\mathrm{VO}$ 言語話者集団より指標値が有意に大きい。

表 21 個の語順素性を用いた $\mathrm{t}$ 検定の結果

2 個の語順素性を用いた $\mathrm{t}$ 検定の結果の概要を表 3 に示す。結果の詳細は付録 2 に示す。大小記号の意味は表 2 と同一である。

表 3 から以下のことが言える。

-Y DNA 指標は主辞後置か主辞前置かの差の方が 1 方向依存か 2 方向依存かの差より有意性が高い。

- Mt DNA 指標は主辞後置か主辞前置かおよび 1 方向依存か 2 方向依存かのいずれでも有意差がない。

- S-ratio の指標は主辞後置か主辞前置かの差の方が 1 方向依存か 2 方向依存かの差より有意性が高い傾向にある。

・ VO VS(多くは VSO)か VO SV(SVO)かの差は全ての指標で有意差がない。

全般的に主辞後置か主辞前置かの差の方が 1 方向依存か 2 方向依存かの差より有意性が高いと言える。 Mt DNA 指標に有意差がないのは、データ数が少ないためであろう(付録 2 参照)。

表 32 個の語順素性を用いた $\mathrm{t}$ 検定の結果

(a) 主辞後置と主辞前置の比較

(b) 1 方向依存と 2 方向依存の比較

## 6 まとめ

言語の語順と話者集団の思考パターンとの関係を調查した。2 個の語順素性を用いることで、主辞後置か主辞前置かの差、あるいは 1 方向依存か 2 方向依存かの差のどちらが思考パターンにより大きな影響を与えるかを調べた。 $\mathrm{t}$ 検定の結果、前者のほうがより大きな影響を与えることなどが分かった。

http://www.ne.jp/asahi/eharate/eharate/ronbun.files/\{NL P2018 P10-8.xlsx; NLP2019_P2-9.xlsx; NLP2021_P314.xlsx\}
今回の実験では、思考パターンの指標として自殺率／他殺率を対象としなかったが、語順素性以外の素性(経済素性や気候素性など)を加えた分析では語順が自殺率／他殺率に与える影響も見られるので、 それらも含めて 2 個の語順素性を用いた分析を行うことが今後の課題となる。

最後に主客分離と主客合一について考察する。主客分離が動詞を挟んで主語と目的語(客語)が分離する語順(VO SV)によるものであり、主客合一が動詞に対して主語と目的語が同じ側にくる語順(OV SV または VO VS)によるものであるかどうかは興味あることである。しかし今回の分析では、VOSV 集団と VO VS 集団で思考パターンの 3 種類の指標に有意な差が見出されなかった。そこで主客分離と主客合一の思考パターンがこれらの指標に反映していると仮定すると、上記の主張が有意に成り立つことはないことが分かった。

## 参考文献

Matthew S. Dryer and Martin Haspelmath. 2013. The World Atlas of Language Structures Online.

江原暉将. 1995. 多次元尺度法を用いた語順パラメ一夕の間の関係付け.In 言語処理学会第1回年次大会論文集, pages 173-176.
Terumasa Ehara. 2015. Relation between Word Order Parameters and Suicide / Homicide Rates. Jounal of Yamanashi Eiwa College, 13:9-29.

Terumasa Ehara. 2018. Relation between Word Order of Languages and the Entropy of Y-chromosome Haplogroup Distribution of the Speakers' Population. In Proceedings of The 24th Annual Meeting of The Association for Natural Language Processing, pages 1019-1022.

Terumasa Ehara. 2019. Relation between Word Order of Languages and the Entropy of Mitochondrial DNA Haplogroups Distribution of the Speakers' Population. Proceedings of The 25th Annual Meeting of The Association for Natural Language Processing:490493.

Terumasa Ehara. 2021. Relation between Word Order of Languages and Serotonin Transporter Gene. Proceedings of The 27th Annual Meeting of The Association for Natural Language Processing:579584.

林信弘. 2003. 西田幾多郎の純粋経験. 立命館人間科学研究, 5:65-73.

児玉徳美. 1987. 依存文法の研究, p. 196.

岡智之. 2017. 場の観点から日本語の主観性を再考する. 日本認知言語学会論文集, 17:581-587.

## 付録 1 依存文法における主辞と従要素

依存文法における主辞と従要素を文献(児玉，1987)を参考にして作成した。

## 付録 $2 \mathbf{t$ 検定の結果詳細}

（a）動詞と目的語の語順のみを用いた分析

（b）主辞後置と主辞前置の比較

(c) 1 方向依存と 2 方向依存の比較

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# UD Japanese に基づく国語研長単位解析系の構築

松田宽 $\dagger$
†株式会社リクルート Megagon Labs, Tokyo, Japan
hiroshi_matsuda@megagon.ai
大村舞
‡国立国語研究所
\{mai-om, masayu-a\}@ninjal.ac.jp

## 概要

国語研の規程では，長単位は文節内部を自立語部分と付属語部分に分割する形で定義されるが，固有表現や複合辞・連語については個別の規則が適用される。また，長単位品詞は，短単位品詞の「名詞-普通名詞-副詞可能」「動詞-非自立可能」等の用法の曖昧性を，実際の文脈における用法で解決する必要がある. 本研究では, Universal Dependencies に基づく依存構造解析モデルを抎張し, 形態素解析器の短単位出力を長単位化する手法を評価した。同時に，用法に基づく 17 種の UPOS 推定結果，固有表現抽出結果，長単位末尾の形態素情報を組み合わせた長単位品詞判定規則を構築し，従来手法を上回る 97.2 ポイントの長単位品詞推定精度を得た。

## 1 はじめに

日本語の自然言語処理は前段の形態素解析器で入カテキストを単語分割することが多い1). 形態素解析器は単語分割と同時に, 品詞推定, 辞書形・正規形への正規化, 読み付与等を行い, 応用側は形態素解析器から単語と属性情報の列を容易に取得できる. ただし形態素解析器は一般に処理速度を優先する設計をとるため, 文中での実際の単語の使用における意味や統語的役割の曖昧性解消といった計算負荷の高い処理は行われない. また複合語は組み合わせが膨大なため辞書に登録する範囲は制限される。

一方，日本語の文節は文の統語構造や単語の意味を解釈するための重要な手がかりであり，形態素解析器では解決されない品詞曖昧性解消や複合辞認定といった高度な処理では，一般に文節の考慮が必要とされる。国語研長単位 [2] は, 文節から自立語部分と付属語部分を規則的に分割したものに，さらに用法に基づく品詞を付与し, 複合語を単位とする正規化等を施したものである. 本研究では, 形態素解

1）深層学習の素性化には Sentencepiece[1] など形態素解析とは異なる単語分割手法も用いられている.析器と同様の手軽さで利用可能な，国語研長単位に基づいた解析系の構築を目指す.

## 2 長単位境界と品詞認定

日本語 NLP の単語単位は形態素解析器に同梱されている辞書に基づき解析されており，JUMAN 辞書 [3] や UniDic 辞書 [4] に基づくものなどが広く用いられている. 後者の UniDic 辞書は, 国語研内で規定されている国語研短単位 [5] 基づく. 短単位は，字種ごとに定義されている国語研最小単位に基づき，同字種最小単位の 1 回結合までを形態論に基づく語の単位として定義する。国語研では，日本語の一般的な統語分析の単位として用いられる文節境界に基づく単位として，国語研長単位 [2]も定義している。長単位の認定は，文節の認定を行った上で，各文節の内部を規則に従って自立語部分と付属語部分に分割していくという手順で行う. 長単位では，複合的な機能表現を含めて，複合語を構成要素に分割することなく全体で一つとして扱う．短単位と長単位では，品詞認定手法についても異なり，短単位の品詞認定においては, 「可能性に基づく品詞体系」として, 形態に基づいて可能な品詞を枚挙 （例：「名詞-普通名詞-サ変形状詞可能」など）するために統語的な用法の本質的な解決は行わない. 長単位の品詞認定においては，「用法に基づく品詞体系」として，複合化した結果の単位が文脈内でどのように振る舞うかに基づき, 品詞を認定する.

また本研究で用いる Universal Dependencies(UD) [6] はアノテーションする単位として「Syntactic Word を用いること」[6] と定義している. UD Japanese r2.6-2.8 [7] においては，短単位に基づく treebank を構成していたが, 短単位は Syntactic Word としてはふさわしくない点が指摘されている [8]. UD Japanese r2.9 においては，新たに長単位に基づく treebankを構成した [9]. 長単位は前述のとおり Syntactic Word に近いと推定されるが，工学的に有用であるかどうかの検証まではされていない.
長単位解析系として, Comainu [10] が公開されている. Comainu 内部では, MeCab [11] の解析結果の短単位形態素情報を素性化し，さらに CRFで系列ラベリングを行うことで長単位解析を実現している。

spaCy は Universal Dependencies に基づく自然言語処理フレームワークであり，Non-Monotonic Arc-Eager Transition System[12] 2) ベースの parser と transformers モデルの間で Gradientを共有して学習を行うことで高い解析精度を実現している。松田らは，サブトークン結合用の依存関係ラベルを用いて形態素解析器が過剩分割したトークンを依存構造解析と同時にまとめ上げる手法を提案し, 日本語 UD 解析モデルの精度を改善した [13]. 後に, $\operatorname{spaCy}$ にもサブトークン結合専用ラベル subtok を用いたトークンまとめ上げ機能が組み込まれている。

本研究では， spaCy の各種解析機能を使用して，形態素解析器出力の長単位へのまとめ上げを含めた長単位解析モデルを構築した。

## 3 長単位認定モデルの構築

## 3.1 spaCy 日本語モデルの拡張

2021 年 11 月に公開された spaCy 日本語 transformers モデルは， transformers 層に BERT 事前学習済みモデル [14]を使用することで，依存構造解析・固有表現抽出 - UD 品詞推定の各精度を大きく向上した.本研究では， spaCy で長単位解析系を構築するために， spaCy 日本語 transformers モデルに対して次の拡張を行った. 図 1 に spaCyの Pipeline 構成を示す.

形態素解析器複合辞出力モードを指定

学習データの加エ形態素解析器でテキストを再解析，長単位が分割される区間に subtok ラベルを適用 transformers モデル UniDic 短単位+wordpiece $の$ BERT 事前学習済みモデルを指定

長単位解析コンポーネントの追加 merge_subtokens による長単位認定 (subtok 連続区間のまとめ上げ), luw_xpos_taggerによる長単位の正規化+品詞判定

## 3.2 長単位と固有表現の関係

松田らは，UD_Japanese-GSDr2.6 に対して，spaCy が採用する OntoNotes5 の体系に基づく正解固有表現

2）[12] の Table 1 最下部の Left-arc 更新後の状態の記述は誤り. 正しくは $(\sigma, b \mid \beta, \mathbf{A}(s)=b, \mathbf{S})$ となる. また $\mathbf{S}$ は Unshift で $\mathbf{S}(s)=1$ に， Left-arc で $\mathbf{S}(b)=0$ にリセットされる. spaCy の内部実装では Reduce と Unshift は統合 (head 有無で区別) され，さらに文区切りアクション Breakが追加されている。

図 1 spaCy 長単位解析モデルの Pipeline 構成

ラベルを付与した [15]. 本研究では，UD_JapaneseGSD の正解固有表現ラベルと GSDLUW のアライメント処理を行い，長単位ベースの固有表現抽出モデルの学習に使用した. 固有表現抽出結果は長単位品詞判定ルールで参照される。長単位 (LUW) と固有表現 (NE)のスパンの対応関係の統計を表 1 に示す.全固有表現のうち $2 / 3$ は単一長単位と厳密に対応づいているため，アライメント後の固有表現ラベルで学習した長単位固有表現抽出モデルはある程度機能すると期待する。

表 1 長単位区間と固有表現区間の対応

単一LUW が複数 NE に対応 401

固有表現が単一長単位に対応しない文脈の例を表 2 に示す. 長単位が文節構造から統語的規則で認定されるスパンであるのに対して，固有表現は所与のカテゴリ定義に該当する最短のスパンが認定されている. 今後の課題として, この両者の比較から, 固
有表現が文中で様々な接辞類をまとって長単位化する際に，どのような意味の具象化・抽象化が行われるかを分析し, 各固有表現カテゴリの典型的な修飾要素の類型化につなげていきたい.

表 2 固有表現が単一長単位に対応しない例長単位区間固有表現区間

区切り基準の齯齞

形状詞化・副詞化

具象化・抽象化 $\cdot$ 総称化 3 年 3 カ月ぶり

3 年 3 力月

約二百人

二百人

北西大西洋

大西洋

祐介たち

祐介

## 4 長単位正規化規則の構築

形態素解析処理で使用する辞書の多くは，出現形に対応する正規形や辞書形が登録されており，短単位出力であればそれらを使用して正規化を行うことができる。一方，長単位の場合は，用言系の複合辞は最終形態素のみを正規化する等の特別な処理が必要となる. また国語研長単位の正規化の規程は場合分けが複雑なため, 使用する形態素解析辞書に応じた正規形変換処理が必要となる. 本研究では Sudachi 辞書 [16] 向けの変換規則を, 次の 3 レベルの優先度に分けて構築して使用した。

1. CharFallback (上位規則未適用時) 数字とアルファベットの全半角統制・助数詞の正規化

2. Any (上位規則未適用時) \{為る: する, こと: 事, つき:付き,いずれ: 何れ,ただし: 但し $\}$

## 3. Lexical

3-1. Mono (LUW=SUW) \{有る: ある, 居る: いる, 得る:える, 成る: なる, 見る: みる, 出来る:できる, です: だ, 良い: よい, 無い: ない, ここ: 此処, そこ: 其処, どこ: 何処, あそこ: 彼処, あれ: 彼れ, これ: 此れ, それ:其れ,どれ: 何れ,ため: 為,とも: 共, また: 又

3-2. Init (最終 SUW 以外) 活用語以外を正規化

3-3. Last (最終 SUW) \{よる: 因る, おる: 居る $\}$

## 5 長単位品詞判定規則の構築

日本語の活用型は出現頻度が低いものがあり，全ての活用型の品詞タグを備えた treebankを構築することは一般に難しい. UD_Japanese-GSDLUW および UD_Japanese-BCCWJLUW には小椋らの規程集 [2] で定義される活用型のうち「動詞-一般-上一段八行」「助動詞-助動詞-ドス」など 27 種の活用型が含まれていないため, 機械学習べースで長単位品詞推定を行うには, 学習データに出現しない未知の活用型について配慮が必要となる. 本研究では，機械学習モデルの利用を，短単位から長単位へのまとめ上げ，および，Universal Dependencies の用法に基づく 17 種類の UPOS 推定のみに使用し, 長単位品詞 (LUW_XPOS) については簡易な判定規則を構築した. (判定規則の具体例を Appendix A に示す)

判定規則は次の 5 種類の情報を参照可能とした.

LUW_UPOS 長単位に対する UPOS 推定結果

SUW_XPOS 長単位末尾の形態素の短単位品詞

SUW_LEMMA 長単位末尾の形態素の lemma

NE 固有表現抽出結果のカテゴリ

Priority previous SUW_XPOS 長単位末尾形態素よりも優先して考慮する末尾直前の形態素の短単位品詞

長単位品詞判定規則は，GSDLUW・BCCWJLUW とそれらの短単位版との共起統計から人手で抽出し，優先度を次の 5 レベルに分けて実装した。

1. Fallback 最も優先度が低いフォールバックルー ル. LUW_UPOSを参照し，個々のLUW_UPOS に対応する典型的な長単位品詞が存在する場合はそれを適用する. また，可能性に基づく品詞を既定の用法の長単位品詞に変換する規則も適用する. いずれの規則にも該当しない場合は，短単位品詞をそのまま長単位品詞として用いる.

2. NE NE と LUW_UPOS に加えて, PERSON カテゴリでは Priority previous SUW_XPOS まで参照して，名詞-固有名詞の細分類を判定する。

3. Single 長単位が単一 SUW で構成される場合に適用される. SUW_XPOS とLUW_UPOS の組み合わせのみを参照する。

4. Multi 長単位が複数の SUW で構成される場合に適
用される. SUW_XPOS・LUW_UPOS に加え，特に接辞系の品詞の用法判定のためにSUW_LEMMAを参照する。なお，Single と Multiをまとめたものを Base と呼ぶ.

5. Recovery 最も優先度が高いリカバリルール. SUW_XPOS・LUW_UPOS に加え, 必要に応じて SUW_LEMMA まで参照することで，形態素解析器の典型的な誤解析から正しい長単位品詞を得る.

## 6 実験

Comainu と spaCy の長単位解析精度を比較する実験を行った。学習データには UD_JapaneseGSDLUW r2.9(修正版) に固有表現正解ラベルを追加したものを使用し， train セット 7,027 文をモデルの訓練に，dev セット 506 文をパラメータと判定規則のチューニングに， test セットを精度評価に用いた. Comainu のライブラリとモデルはv0.72を用いて評価した。なお, Comainu のモデルを GSDLUW で学習・評価する追加実験では, 公式モデルに比べ全般に若干精度が低下していたため記載を省略した。spaCy は設定ファイルで transformers モデルを指定し, cl-tohoku/bert-base-japanese-v2 および SudachiPy[17] モード Cを指定した. spaCy のモデル学習には GSDLUW を SudachiPy で再解析したものを使用した. この再解析では，1つの長単位が複数形態素に分割される場合，分割区間の主辞を区間末尾のサブトークンとし，各サブトークンは直後のサブトークンに依存する形として，長単位再構成用の subtok ラベルを付与した. これ以外の区切りの不整合は無視し，GSDLUW の区切りを優先して用いた.

長単位トークン認定，長単位正規化，長単位品詞推定の精度比較結果を表 3 に示す。

長単位トークン認定では, Comainu に対して spaCy では誤りが約半分まで低減された。これは， spaCy が transformers を介して文全体の構文構造を考慮したトークンまとめ上げを行っているのに対して, Comainu の CRF モデルは局所文脈しか考慮できないことが制約になっている可能性がある.

長単位正規化においては, spaCyの精度が Comainu を大きく上回った. これは正規系変換規則の効果に加えて, SudachiPy モード C が複合動詞の正規化に対応していることによる貢献が大きい. $\mathrm{spaCy} の$誤解析の大半は英単語・数値・住所だったが，英単語・数値は全半角統制ポリシーが辞書登録語彙に表 3 長単位解析精度の比較

P $\quad \mathrm{F}$ F1

依存していること，住所は SudachiPy モード C が住所全体を一形態素としていることが原因であった. SudachiPy のさらなる改良項目として，活用を維持したままでの正規化，住所と住所以外の解析モードを独立に指定可能にすること，が考えられる。

長単位品詞推定精度は， spaCy に基本判定規則を組み合わせることで Comainu を上回り，さらに誤解析回復規則と固有表現抽出結果を参照する規則を加えることで最良の結果が得られた。

長単位解析精度の差分については，正解トークンを用いた追加実験でも同様の傾向が確認された.

表 4 長単位モデルの依存構造解析精度

表 4 に長単位モデルの依存構造解析精度を示す。長単位品詞判定規則が機能する上で必要な水準の LUW_UPOS 推定精度が得られている. Unlabeled Attachment Score，および，Labeled Attachment Score は一般的な日本語モデルと同水準にあり，長単位へのまとめ上げに使用する subtok ラベルが他の依存関係ラベルと調和して機能していることが伺える。

## 7 まとめ

spaCyを用いた長単位解析系を実装し，長単位トークン認定・長単位品詞推定・長単位正規化において従来手法を大きく上回る精度を得た。依存構造解析はUAS・LAS ともに高水準であった.

## 謝辞

本研究は株式会社リクルート-国立国語研究所共同研究 (研究課題名「日本語版 Universal Dependencies に基づく日本語依存構造解析モデルの研究開発」 2019-2021 年度）によるものです. 長単位解析系の実装にあたって, 理化学研究所の松本裕治先生から多くの助言を頂きました. 本研究で使用した spaCy モデルのべースとなった $\mathrm{spaCy}$ 日本語 transformers モデルは， spaCy 日本語コミュニティー の Gitterを通じて, 参加者の皆様と基本設計を行いました. SudahiPyおよび Sudachi 辞書の利用においては，株式会社ワークスアプリケーションズ・ エンタープライズ徳島人工知能 NLP 研究所の皆様に多大なご協力を頂きました. 本研究の解析モデルは, explosion/spaCy$\cdot$ huggingface/transformers$\cdot$ cl-tohoku/bert-base-japanese-v2・MeCab など高性能なオープンプロダクトを利用することで効率的に実装することができました. 本研究をご支援いただいた皆様に，心より感謝申し上げます。

## 参考文献

[1] Taku Kudo. Subword regularization: Improving neural network translation models with multiple subword candidates. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), Melbourne, Australia, July 2018. Association for Computational Linguistics.

[2] 小椋秀樹, 小磯花絵, 冨士池優美, 宮内佐夜香, 小西光, 原裕. 『現代日本語書き言葉均衡コーパス』形態論情報規程集第 4 版（上）. Technical report, 国立国語研究所内部報告書, 2011.

[3] Hajime Morita, Daisuke Kawahara, and Sadao Kurohashi. Morphological analysis for unsegmented languages using recurrent neural network language model. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 2292-2297. Association for Computational Linguistics, September 2015.

[4] Yasuharu Den, Junpei Nakamura, Toshinobu Ogiso, and Hideki Ogura. A proper approach to Japanese morphological analysis: Dictionary, model, and evaluation. In Proceedings of the Sixth International Conference on Language Resources and Evaluation (LREC'08). European Language Resources Association (ELRA), May 2008.

[5] 小椋秀樹, 小磯花絵, 冨士池優美, 宮内佐夜香, 小西光, 原裕. 『現代日本語書き言葉均衡コーパス』形態論情報規程集第 4 版（下）. Technical report, 国立国語研究所内部報告書, 2011 .

[6] Joakim Nivre, Marie-Catherine de Marneffe, Filip Ginter, Yoav Goldberg, Jan Hajič, Christopher D. Manning, Ryan McDonald, Slav Petrov, Sampo Pyysalo, Natalia Silveira, Reut Tsarfaty, and Daniel Zeman. Universal Dependencies v1: A multilingual treebank collection. In Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC'16). European Language Resources Association (ELRA), May 2016.

[7] Mai Omura and Masayuki Asahara. UD-Japanese BCCWJ: Universal Dependencies annotation for the Balanced Corpus of Contemporary Written Japanese. In Proceedings of the Second Workshop on Universal Dependencies (UDW 2018). Association for Computational Linguistics, November 2018.

[8] Yugo Murawaki. On the Definition of Japanese word. June 2019. arXiv: 1906.09719 [cs.CL].

[9] Mai Omura, Aya Wakasa, and Masayuki Asahara. Word Delimitation Issues in UD Japanese. In Proceedings of the Fifth Workshop on Universal Dependencies (UDW, SyntaxFest 2021), 2021.

[10] 小澤俊介, 内元清貴, 伝康晴. 長単位解析器の異なる品詞体系への適用. 自然言語処理, Vol. 21, No. 2, 2014.

[11] Taku Kudo, Kaoru Yamamoto, and Yuji Matsumoto. Applying conditional random fields to Japanese morphological analysis. In Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing. Association for Computational Linguistics, July 2004.

[12] Matthew Honnibal and Mark Johnson. An improved non-monotonic transition system for dependency parsing. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, Lisbon, Portugal, September 2015. Association for Computational Linguistics.

[13] 松田寛, 大村舞, 浅原正幸. 短単位品詞の用法曖昧性解決と依存関係ラベリングの同時学習. 言語処理学会第 25 回年次大会発表論文集, 2019 .

[14] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1. Association for Computational Linguistics, June 2019.

[15] 松田寛, 若狭絢, 山下華代, 大村舞, 浅原正幸. Ud japanese gsd の再整備と固有表現情報付与. 言語処理学会第 26 回年次大会発表論文集, 2020.

[16] 坂本美保, 川原典子, 久本空海, 高岡一馬, 内田佳孝.形態素解析器『sudachi』のための大規模辞書開発. 言語資源活用ワークショップ 2018 発表論文集, 2018.

[17] Kazuma Takaoka, Sorami Hisamoto, Noriko Kawahara, Miho Sakamoto, Yoshitaka Uchida, and Yuji Matsumoto. Sudachi: a Japanese tokenizer for business. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018). European Language Resources Association (ELRA), May 2018.

## Appendix A 長単位品詞判定規則

長単位品詞判定規則は, Rules_Recovery, Rules_Base, Rules_NE, Rules_Fallback の順に適用し，可能性に基づく品詞が残存する場合は既定の長単位品詞にフォールバックさせる. Rules_Base は，長単位が単一SUWで構成される場合の Rules_Single(33 エントリ) と, 複数 SUW で構成される場合の Rules_Multi(34 エントリ) に分けて管理され，Rules_Recovery (33 エントリ) は形態素解析器の誤解析回復に使用される.

表 5 SUW 情報とLUW_UPOS を参照する長単位品詞判定規則の一部

表 6 Rules_ $N E$ : 固有表現カテゴリに基づく長単位品詞判定規則

表 7 Rules Fallback: LUW_UPOS に基づく長単位品詞判定規則

表 8 実験条件詳細

UD_Japanese-GSDLUW+NE r2.9 (train=7,027 dev=506 test=542 sentence)

UD_Japanese-BCCWJLUW r2.9 (train=40,801 dev=8,427 test=7,881, only used for rule construction)

Comainu 0.72 MeCab 0.996, unidic-mecab 2.1.2

spaCy 3.2.1 SudachiPy 0.6.2, SudachiDict-core 20211220

spacy-transformers 1.1.3 cl-tohoku/bert-base-japanese-v2, fugashi 1.1.1, unidic-lite 1.0.8

GPU RTX8000(48GB) x 2 CUDA 10.0, pytorch 1.9.1, transformers 4.12.5

CPU Xeon E5-2660 v3 x 2 DDR4-2666 32GB x 8, M. 2 NVMe PCIe3.0x4 2TB, Pop!_OS 18.04 LTS


# テキスト生成モデルを利用した 対話型広告におけるシナリオ設計に有用なキーフレーズの抽出

戸田隆道 友松祐太杉山雅和 邊土名朝飛東佑樹 下山翔
株式会社 AI Shift
\{toda_takamichi,tomomatsu_yuta,sugiyama_masakazu\}@cyberagent.co.jp
\{hentona_asahi, azuma_yuki, sho_shimoyama_xb\}@cyberagent.co.jp

## 概要

近年インターネット広告事業において対話型広告が注目を集めている。ユーザーの反応に合わせた柔軟な広告展開が期待されており，バナー広告や SNS などで導入が増えてきている。対話型広告は広告から商品ページに遷移するまでの対話ストーリーを設計する作業が必要になる．ここで設計者が広告する商品の知識を持っていない場合，企業のホームぺー ジやその商品を紹介しているブログなどを参照して，対話ストーリーを考えなければならない。この作業は非常にコストがかかる. 本稿ではテキスト生成モデルを利用して，対話型広告の対話ストーリー 設計の補助となるキーフレーズを抽出する手法を提案し，単純に関連文章からキーフレーズを抽出した場合と比較する。

## 1 背景

現在のインターネット広告事業において主流となっている行動データに基づくターゲティング配信に変わる新たな配信方法として，近年対話型広告が注目を集めている。従来の広告形式には無かった双方向の対話によって，ユーザーの反応に合わせた柔軟な広告展開を期待されており，バナー広告や SNS，メッセンジャーアプリなど，さまざまな媒体で導入されている.

## 1.1 Instagram における広告展開

Instagram は Meta Platforms, Inc. が所有する SNS サービスである。近年，Instagram はユーザー同士の交流に加え, 商品の検索や購入の意思決定に利用されるケースが増えてきており，調査 ${ }^{1}$ によると利用者の 8 割以上がこういった購買行動に利用し

1) https://netshop.impress.co.jp/node/6716

図 1 投稿から対話型広告への誘導

ていることがわかっている.こういった背景から Instagram はショッピング機能を強化しており，現在は写真や動画の投稿から商品ページへの誘導が可能になっている.

## 1.2 対話型広告

Instagram のショッピング機能の 1 つとして対話型広告がある. 対話型広告はダイレクトレスポンス広告とも呼ばれ，配信された広告にスワイプ操作などで反応するとダイレクトメッセージ画面に遷移し，オペレータやボットとの対話を通して商品ぺー ジに誘導することができる機能になっている．従来のインターネット広告では反応すると直接商品ぺー ジに遷移していたが，対話型広告ではユーザーの反応に合わせた商品の絞り込みや商品を購入するモチベーションを上げるための診断対話，加えて対話履歴からリターゲティングを行うことができるという利点がある。

## 1.3 対話型広告の課題

従来のインターネット広告に比べて柔軟な広告展開が可能な対話型広告だが，商品ぺージに遷移するまでの対話ストーリー設計，つまり商品に関する対話を想定し，ユーザーの選択肢やボット側の受け答えの文章を作るという従来のインターネット広告と

は異なる運用作業が必要になる. 設計者が広告する商品やその関連商品を利用している場合はユーザー と同じ目線に立って対話ストーリーを設計することができるが，設計者が広告する商品の知識を持っていない場合，企業のホームページやその商品を紹介しているブログなどを参照して，対話ストーリーを考えなければならない. 例えばファンデーションの対話型広告を設計する場合，「乾燥肌」や「ニキビ肌」など肌質にあった商品をレコメンドするようなストーリーが考えられる。これはファンデーションを日常的に使っている人であれば容易に思いつくストーリーの切り口だが，そうでない人にとってはストーリーの切り口を検討するための事前調査が必要で，場合によっては調査のための検索ワードもわからないケースも想定される.

本研究では対話型広告における対話ストーリーの設計の自動化を目的とし, 本稿では対話ストーリー 設計の補助として，広告する商品に関するキーフレーズの抽出を行う手法を提案する.

## 2 関連研究

オープンドメインな対話を生成する研究として Xiaoyu[1] や Pierre[2], Kun[3] などの研究が挙げられる.これらは雑談のような終わりのない対話を人間らしく自然に行うことを目的としているため, 最終的に特定の商品に誘導したい対話型広告とは目的が異なる。また, 話題を抽出する手法として福永らの研究 [4] が挙げられるが，こちらは対話のクラスタリングによって対話から話題となる発話を抽出するので，特定のワードからそれに関わる話題を抽出したい我々のモチベーションとは異なる.

## 3 提案手法

広告する商品に関する知識がない設計者が対話型広告の対話ストーリーを設計する際の補助となるように，広告する商品に関するキーフレーズの抽出を行う手法を提案する. 運用者はこのキーフレーズを元に対話ストーリーの設計や調査を行う. 手法は関連文章生成と生成文書からのキーフレーズ抽出の 2 段階で構成されている. また手法では広告する商品のジャンルのことをターゲットワードと呼ぶ.

## 3.1 関連文章生成

テキスト生成モデルとして GPT-2[5]を用いて， ターゲットワードで始まる文章を複数生成する。

図 2 提案手法の流れ

Wikipedia のようなテキスト生成モデルの学習リソース自体からキーフレーズを抽出するより多様なキーフレーズが抽出できると考えている. また, 生成時にモデルに与えるワードは「ターゲットワード＋ (格/副/係) 助詞」とする。例えばターゲットワードが「ファンデーション」の場合，「ファンデーションが」「ファンデーションを」のようになる. ターゲットワードのみの場合, ターゲットワー ドを含む複合名詞が生成されることがある. ター ゲットワードに助詞を追加することで，ターゲットワードが主語や目的語になる，つまりターゲットワードがトピックとなる文章が生成されることを期待している.

GPT-2 モデルは rinna 株式会社 ${ }^{2)}$ が公開している事前学習済みモデル3)を利用した。

## 3.2 キーフレーズ抽出

GPT-2 で生成された文章から名詞句を抽出し, 出現頻度が多いものをキーフレーズとする. 文は複数生成される可能性があるが, ターゲットワードで始まる最初の文章に対してのみ抽出を行う。不明トー クンの<unk>やターゲットワード自身を含む名詞句は除外する。

抽出されたキーフレーズは，そのキーフレーズが含まれる生成文と一緒に設計者に提示され, 設計者はキーフレーズや生成文を参考に対話型広告の対話ストーリーを作成する.

## 4 実験

複数のターゲットワードに対して提案手法を適用し，抽出されたキーフレーズを確認する. 生成モデルを利用する優位性を比較するために，抽出元としてターゲットワードの Wikipedia のページ，及びターゲットワードを含む Twitter 投稿を比較する. Twitter 投稿は我々が Twitter $\mathrm{API}^{4)}$ を使って 2021 年の 12 月 23 日に，ターゲットワードごとに 10,000 件ずつ收集したものである.

現在我々が対応している美容業界での広告で使われるファンデーション，アイシャドウ，マニキュアの 3 単語をターゲットワードとする.

それぞれの抽出元から抽出された各ターゲットワードに対するキーフレーズを表 1 , 表 2 , 表 3 に示す.キーフレーズは頻度が多いものから上位 20 件に絞っている。また，購買に関わると思われるキー フレーズを太字で示す.

表 1 ファンデーションの抽出キーフレーズ

## 4.1 考察

Wikipedia では「酸化チタン」や「古代エジプト」 のように，その商品の組成や起源などの購買と関係の無い単語が多く生成されている. 提案手法の GPT-2 はバランス良く多様なキーフレーズが取得できている事がわかる．たとえばファンデーションであれば 1.3 節で例示した肌質，アイシャドウではアイラインの書き方，そしてマニキュアではストーン

4) https://developer.twitter.com/ja/docs表 2 アイシャドウの抽出キーフレーズ

表 3 マニキュアの抽出キーフレーズ

 \\

を使ったアレンジなどのストーリーの切り口が考えられる. Twitter は「Aluce luce」や「DIOR」のようなブランドに関する単語が混ざってしまっているものの比較的良いキーフレーズが抽出できているように見える.ファンデーションにおいては「毛穴」 や「コンシーラー」といった GPT-2 から抽出されたキーフレーズに含まれていないものも抽出できているので，組み合わせることでより多様なキーフレー ズ抽出ができることが期待できる.

手法に限らず，すべての抽出元で「もの」「こと」 のような形式名詞や「何」「時」のような，多くの文章で頻繁に使われるワードが抽出されてしまっている. 今回の抽出では後処理は加えていないが，ター ゲットワードに特別関わらないワードは除外するなどの処理を加えることで，よりよい抽出ができると

## 考えられる。

## 5 まとめと今後の展望

本稿ではテキスト生成モデルを利用して，対話型広告の設計の補助となるキーフレーズを抽出する手法を提案し，テキスト生成モデルを利用せず，単純に関連文章から抽出した場合と抽出されるキーフレーズの違いを比較した。

今後は提案手法が実際の運用の現場で使用されることで，どの程度作業が効率化されるかを評価していきたいと考えている. また手法の改善として以下 3 点を挙げる.

1. 名詞句だけでなく，動詞を含む動詞句を抽出したケースについても確認する。

2. キーフレーズの重要度として，TF-IDF のような頻度のみでなく普遍性を考慮した手法を利用する。

3. 係り受け解析などを利用して，キーフレーズがどのように使われているかの抽出.

運用で使用した場合，実際に本手法で抽出されたキーフレーズをもとに作ったストーリーがどれほどの効果があったかを A/B テストなどで測ることも考えている．実際の広告とどちらが効果があるか，といった部分も評価したい.

## 参考文献

[1] Xiaoyu Shen, Hui Su, Yanran Li, Wenjie Li, Shuzi Niu, Yang Zhao, and Akiko Aizawaand Guoping Long. A conditional variational framework for dialog generation, 2017. https: //arxiv.org/abs/1705.00316.

[2] Pierre Colombo, Wojciech Witon, Ashutosh Modi, James Kennedy, and Mubbasir Kapadia. Affect-driven dialog generation, 2019. https://arxiv.org/abs/1904.02793.

[3] Zhou Yu Kun Qian. Domain adaptive dialog generation via meta learning, 2019. https://arxiv.org/abs/1906. 03520.

[4] 福永隼也, 西川仁, 徳永健伸, 横野光, 高橋哲朗. 対話における話題の抽出を目的とした発話クラスタリング.言語処理学会第 23 回年次大会発表論文集, 2017.

[5] Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. Language models are unsupervised multitask learners, 2019. https://paperswithcode.com/paper/ language-models-are-unsupervised-multitask.


# 時間的常識理解へ向けた効果的なマスク言語モデルの検証

Fei Cheng ${ }^{3}$ 越智 綾子 ${ }^{2}$ 小林一郎 ${ }^{1}$
1 お茶の水女子大学 2 国立国語研究所 3 京都大学
\{g1720512,koba\}@is.ocha.ac.jp, kanashiro.pereira@ocha.ac.jp
\{masayu-a,a.ochi\}@ninjal.ac.jp, feicheng@i.kyoto-u.ac.jp

## 概要

本研究では，時間的常識推論に対する言語モデルの開発に焦点を当て，効果的なマスク言語モデルの検証を行った.ファインチューニングの前に，時間的常識を問う対象のデータセットを用いた Masked Language Modeling (MLM) と Next Sentence Prediction を行い，また，MLMにおいてマスクする対象となるトークンを様々な設定に変更して実験を行なった.実験の結果，対象タスクのトピックに合わせて単語をマスクすることにより，時間的常識を問うタスクにおいて，4,5\%程度の精度の向上を確認できた.

## 1 はじめに

近年，BERT [1] などの事前学習済み言語モデルが幅広い自然言語処理（NLP）タスクで大きな成果を上げているが，これらのモデルは時間推論においてはまだ性能が低い場合と言われている [2]. 特に困難な課題として，時間的常識を扱う推論が挙げられる. 例えば，「旅行に行く」と「散歩に行く」という 2 の事象が与えられたとき，多くの人間は「休暇は散歩よりも長く, 発生頻度も少ない」ということを知っているが，コンピュータは「休㗇は散歩よりも長く，発生頻度も少ない」という時間的常識をもって推論することが困難である.

そこで，本研究では，時間的常識推論に対するモデルの開発に焦点を当て, 先行研究 [3] の継続として時間的常識を理解するための汎用言語モデルの開発を行う. 対象のデータセットを用いた Masked Language Modeling (MLM) と Next Sentence Prediction (NSP) をタスク適応事前学習 (task-adaptive pre-training, TAPT）として実験を行う．また，MLM においてマスクする対象となるトークンを様々な設定に変更することにより，対象タスクを解くのに必要な常識的知識を付加したモデルを提案する.

## 2 提案手法

## 2.1 時間常識推論課題 MC-TACO

本研究では，対象となる課題として MC-TACO [4] を使用する，MC-TACO では，時間特性に関する 5 つの特徴量 (duration, temporal ordering, typical time, frequency, stationarity)を定義しており，自然言語で表現された事象の時間的常識を理解する課題から構成されるデータセットである. 5 の特徴量のいずれかの特性について記述された文章とその文章に関する質問，それに対する答えの候補，各候補に対して正解には yes，不正解には no とラベル付けされたものから構成されており, yes か no かを予測する二値分類のタスクである.

## 2.2 タスク適応事前学習 (TAPT)

BERT は，対象タスクに対してファインチューニングを行うだけで良い性能を発揮するが，事前学習されたモデルと対象課題との間にドメインの不整合がある場合，タスクの精度向上が見込めない場合がある。この問題を解決するために，対象データセッ卜を用いて事前学習を行うことは，事前学習されたモデルをターゲットタスクに適応させるために有用である [5]. これに基づき， MC-TACO データセットを用いて，BERT に対して Masked Language Modeling （MLM）タスクと Next Sentence Prediction（NSP）タスクを実施する。 MLM は，トークンの一部をランダムに特殊なトークン（例えば，[MASK]）に置き換え，モデルにその予測をさせるタスクである．NSP は，与えられた 2 文のペアに対して，一方が他方に続く文かどうかを判断するタスクである。本研究では，MLMにおいて，一般的に使用されるマスクする対象のトークンをランダムに $15 \%$ 選択する方式を任意の基準を採用したものに変更し，課題の精度へ

の影響を精査する．以下に，採用した基準について説明する。

## 2.3 対象タスクのトピック

対象タスクのトピックに関連する語彙をマスクすることにより，対象タスクを解くのに必要な知識を重点的に獲得することを目指す. 今回の対象データセットである MC-TACO は時間的常識を問うタスクであり，モデルは時間に関する常識的知識を獲得する必要がある。この観点から，MLM において，時間関係の単語をマスクすることにより，特に時間に関する知識を獲得することを目指す。

時間関係の単語は，MC-TACO のデータを確認し手動で定義する. 主な内容としては，数字，形容詞/副詞/前置詞 (often, before, after, every など), 時間の単位（hours, years など）である（付録 $\mathrm{A}$ 参照）。

## 2.4 対象タスクの特性

対象とするデータセットの形式に着目したマスク方法を考える．MC-TACO の1 サンプルの入力は，文章十質問十答えで構成されている。このうち，答えの部分がもっとも二値分類タスクの予測結果に関わる部分であり，モデルの学習に重要であるという仮定に基づき，答えの部分を優先してマスクする。

## 2.5 注意機構 (Attention)

注意機構 (Attention) [6] の値が大きい単語に着目したマスク方法を考える。他の単語からの Attention の値が大きい単語は，他の単語からの注目度が高いということになり，入力された単語の中でも文脈の理解に大きく貢献していると考えられる.

## 2.6 損失に対する顕著性 (Saliency)

損失に対する顕著性（Saliency）の値が高い単語に着目したマスク方法を考える. Saliency は各単語の埋め込みべクトルが最終的な判断にどれだけ寄与しているかを表す指標である [7]. Saliency の値が高い単語は入力文の中で重要な単語と言えるため, その値に着目して実験を行う。

Saliency を求める際には損失と単語の埋め込みべクトルの勾配を求めることになるが，今回使用するモデルである BERT [1] の入力を構成する, Token Embeddings, Position Embeddings, Segment Embeddings の 3 種類の埋め込みべクトルのうち，全てを使用する場合と, Token Embeddingsのみを使用する場合の
2 通りで Saliencyを求める. 以下，前者を求め方 1 ,後者を求め方 2 とする.

## 3 実験

TAPT によって精度が改善することを確認した後に，マスクする対象の選び方を変更した実験を行う. また，作成したモデルを MC-TACO 以外のデー タに用いた性能評価を行い，その結果を分析する。

## 3.1 実験設定

MC-TACO でのファインチューニングおよび TAPT を行う際のパラメータの設定を表 1 に示す. MCTACO に対しては, Hugging Face の Transformers ${ }^{1}$ で提供されている分類問題用のモデルである，BertForSequenceClassification モデルを使用する. MLM 及び NSP には，BertForPreTraining モデルを使用する.

 &  &  &  \\

本研究において，モデルには bert-base-uncased を使用し, 評価指標としては Exact Match (EM) と F1 スコアを採用した．EMは各質問に対する全ての答えを正しくラベル付けすることができる確率であり， F1 スコアは適合率と再現率の調和平均である.

## 3.2 実験結果

まず，通常通りファインチューニングを行なった場合と，対象のデータセットを用いた Masked Language Modeling と Next Sentence Prediction を TAPT として実験を行った場合の結果を比較する。なお， ここでのマスク方法はランダムである．結果を表 2 に示す.

ここからの実験結果の記載方法については, MCTACO の評価データを使用した結果と，（）内には 5 分割交差検証を行なった結果を記載している。

こちらに示した通り，TAPTを行うことでべースラインよりも精度が上がることがわかる。

1) https://github.com/huggingface/transformers
表 3 時間関係の単語を優先してマスク

 &  & EM [\%] & F1 [\%] \\

90 & 10 & $44.1(43.3)$ & $71.6(70.1)$ \\
80 & 20 & $\mathbf{4 5 . 1}(\mathbf{4 4 . 3 )}$ & $\mathbf{7 2 . 7}(\mathbf{7 0 . 7 )}$ \\
70 & 30 & $42.9(42.6)$ & $71.9(69.5)$ \\

表 4 答えの部分の単語を優先してマスク

以下に，提案手法における MLM におけるマスクの方法，マスクする単語の選び方を変更し，各実験の結果を示す. なお, 今後の表内において, 表 2 に記載のランダムでマスクした場合の TAPT よりも精度が改善した場合は，太字で結果を記載している。

対象タスクのトピック対象タスクのトピックに関連する時間関係の単語を高い割合でマスクする設定で実験を行なった. 結果を表 3 に示す. 実験の結果，ランダムでマスクした場合よりも精度の向上が確認できた。

対象タスクの特性 MC-TACO の各サンプルの構造に着目して，答えの部分を高い割合でマスクする設定で実験を行なった．結果を表 4 に示す．実験の結果，ランダムでマスクした場合とほぼ同等の精度が確認された。

ここで，答えの中に含まれるかつ時間関係の単語を高い割合でマスクするという，上二つを組み合わせた設定でも実験を行なった。結果を表 5 に示す。実験の結果，ランダムでマスクした場合よりも精度の向上が確認できた. また，二つを組み合わせることにより，単一で基準として採用するよりも精度が向上した.

注意機構（Attention） Attention の値に着目し， 11 番目と 12 番目のレイヤーにおいて, 他の単語からの Attention の値が大きい単語，つまり他の単語からの注目度が高い単語を高い割合でマスクする設定で実験を行なった、レイヤーの選び方については，全 12 層のうち，上のレイヤーの Attention の方が最終的な予測に大きく関係しているのではないかという考えに基づいた．結果を表 6 に示す.

実験の結果，マスクの割合を $15 \%$ に設定した際の精度はランダムでマスクした場合と同等である事が確認できた。損失に対する顕著性（Saliency） 2.6 節で述べた 2 通りの方法で Saliency の值を求め, その值が高い単語上位 15 \%をマスクする設定で実験を行なった。結果を表 7 に示す.

実験の結果，3つの埋め込みベクトルのうち Token Embeddingsのみを使用して Saliencyを求めた場合の精度は，ランダムでマスクした場合より向上することが確認できた。

ここで，Saliency が高い単語に加えて，Saliency が高い単語からの Attention が大きい単語も優先してマスクするという，二つを組み合わせた設定でも実験を行う．これは，単語単体の指標である Saliency に加えて, Attentionを用いることによって単語同士の関係性も考慮するためである。ここでの Saliency は，Token Embedding のみを使用する方法を採用する. 結果を表 8 に示す. 実験の結果，単語単体の Saliency のみを使用した場合よりも精度が少し下がってしまうことが確認された。

汎化性能評価今までは MC-TACO においてモデルの性能評価を行なっていたが，他のデータセッ卜においても性能評価を行い，時間情報処理のための汎用言語モデルとしての汎化性能を評価する。今回は，他のデータセットとして，TimeML $[8,9]$ と MATRES [10] を採用する。時間的常識を問う MC-TACO とは異なり，TimeML はイベントの期間， MATRES はイベントの順番を問うタスクで構成されている。性能評価には，ランダムでマスクをする TAPT によって作成されたモデルと，時間関係の単語をマスクする TAPTによって作成されたモデルを使用する。結果を表 9 に示す.

実験の結果，BERT モデルをそのまま使用した場合と，著者らが作成したモデルで同程度の精度となった.
表 5 答えの中の時間関係の単語を優先してマスク

 &  [\%] &  [\%] & EM [\%] & F1 [\%] \\

100 & 10 & 15.4 & $\mathbf{4 5 . 7}(\mathbf{4 4 . 8})$ & $\mathbf{7 1 . 9 ( 7 2 . 0 )}$ \\
100 & 20 & 24.8 & $43.2(44.3)$ & $71.0(71.5)$ \\
80 & 20 & 22.4 & $44.2(44.1)$ & $71.3(71.3)$ \\

表 6 Attention の値が大きい単語を優先してマスク

表 7 Saliency の值が高い単語を優先してマスク

## 3.3 考察

マスク言語モデルにおけるマスク対象をランダムな選択から様々な設定に基づく選択で実験を行なってきたが，最も結果が良かったのは答えの中の時間関係の単語を高い割合でマスクした場合であり，次に良かったのは，データセット全体において時間関係の単語を高い割合でマスクした場合であった. これらはランダムでマスクした場合よりも高い精度を出している。このことは，マスクする単語を慎重に選択することが性能に影響すること，対象タスクのトピックに合わせて単語を選択しマスクをすることで，タスクを解くのに必要な知識を重点的に獲得できることを示している. また, Saliency の値に着目した実験設定では，Token Embeddingsのみを使用して Saliency の値を計算することによって選択した単語をマスクした場合に，ランダムでマスクする設定よりも精度が向上した. Saliency の値は算術的に求められるものであり，今後も詳しく検討する価値のある手法であると考えている。

一方で，Attention の値に着目した実験設定では， ランダムでマスクした場合と同等程度の性能となった.これは，予測に関する値が高い単語をマスクすることは，ランダムにマスクする場合以上のタスクを解くのに必要な知識の獲得には繋がらない可能性を示唆している。このことは， Transformer の Attention は最終的な識別には大きな貢献をしていないという研究報告 [11] にも合致している.

MC-TACO 以外のデータセットを使用した汎化性表 8 Saliency が高い単語 + Attention が高い単語を優先してマスク

 & EM [\%] & F1 [\%] \\

30 & $44.1(42.9)$ & $71.1(70.3)$ \\

表 9 汎化性能評価

 &  \\

TAPT(random) & 81.9 & $\mathbf{7 2 . 6}$ \\
TAPT (時間関係) & 82.2 & 71.6 \\

能の評価では，精度が改善しなかった。これは作成したモデルが MC-TACO のタスクを解くのに適したものになってしまっているからだと考えられ，現在の手法では汎用性に欠けることがわかった。これに対しては，今後，複数のデータセットのタスクを同時に解くマルチタスク学習などを通じて汎用性を高めることを検討したい.

## 4 おわりに

本研究では, 対象のデータセットを用いた Masked Language Modeling (MLM) と Next Sentence Prediction をタスク適応事前学習（TAPT）として実験を行った.また，MLMにおいてマスクする対象となる単語の選び方を従来のランダムの選択から様々な基準に変更して実験を行なった。提案モデルを難易度の高い multiple choice temporal common-sense (MC-TACO) [4] で評価したところ，標準的なアプローチよりも性能が大幅に向上していることを確認できた。中でも，対象タスクのトピックに合わせて単語をマスクすることにより精度が大きく改善し， タスクを解くのに必要な知識を獲得することができたと考える。今後は，他のデータセットやモデルにおいても同様に精度が向上するよう，汎化性能を高めていきたいと考えている.

## 謝辞

本研究は，科研費（18H05521）の支援を受けた。 ここに謝意を表す。

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[2] Marco Tulio Ribeiro, Tongshuang Wu, Carlos Guestrin, and Sameer Singh. Beyond accuracy: Behavioral testing of nlp models with checklist. arXiv preprint arXiv:2005.04118, 2020.

[3] 木村麻友子 Lis Kanashiro Pereira, 小林一郎. 時間的常識を理解する言語モデルの構築へ向けて. 言語処理学会年次第 27 回大会, pp. 1193-1198, March 2021.

[4] Ben Zhou, Daniel Khashabi, Qiang Ning, and Dan Roth. "going on a vacation" takes longer than "going for a walk": A study of temporal commonsense understanding. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3363-3369, Hong Kong, China, November 2019. Association for Computational Linguistics.

[5] Suchin Gururangan, Ana Marasović, Swabha Swayamdipta, Kyle Lo, Iz Beltagy, Doug Downey, and Noah A. Smith. Don't stop pretraining: Adapt language models to domains and tasks. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 8342-8360, Online, July 2020. Association for Computational Linguistics.

[6] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. 2017.

[7] Jiwei Li, Xinlei Chen, Eduard Hovy, and Dan Jurafsky. Visualizing and understanding neural models in NLP. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 681-691, San Diego, California, June 2016. Association for Computational Linguistics.

[8] Roser Saurí, Jessica Littman, Bob Knippen, Robert Gaizauskas, Andrea Setzer, and James Pustejovsky. Timeml annotation guidelines. Version, Vol. 1, No. 1, p. 31, 2006.

[9] Feng Pan, Rutu Mulkar-Mehta, and Jerry R Hobbs. Extending timeml with typical durations of events. In Proceedings of the Workshop on Annotating and Reasoning about Time and Events, pp. 38-45, 2006.

[10] Qiang Ning, Hao Wu, and Dan Roth. A multi-axis annotation scheme for event temporal relations. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1318-1328, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[11] Goro Kobayashi, Tatsuki Kuribayashi, Sho Yokoi, and Kentaro Inui. Attention is not only a weight: Analyz- ing transformers with vector norms. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 7057-7075, Online, November 2020. Association for Computational Linguistics.

## A 付録

2.3 節に記載している時間関係の単語について，そのリストを記載する。このリストに数字 $(0,1,2, \ldots)$ を追加したものを使用した。

['after', 'afternoon', 'afterwards', 'age', 'ago', 'already', 'always', 'am', 'annually', 'april', 'august', 'before', 'between', 'billion', 'centuries', 'century', 'current', 'currently', 'daily', 'day', 'days', 'decade', 'decades', 'during', 'earlier', 'early', 'eight', 'eternity', 'evening', 'eventually', 'ever', 'every', 'everyday', 'fifteen', 'fifty', 'first', 'five', 'for', 'forever', 'four', 'fourth', 'frequency', 'friday', 'from', 'future', 'hour', 'hourly', 'hours', 'hundred', 'hundreds', 'in', 'january', 'june', 'just', 'later', 'long', 'march', 'midnight', 'millions', 'minute', 'minutes', 'monday', 'mondays', 'month', 'monthly', 'months', 'morning', 'mornings', 'never', 'night', 'noon', 'now', 'often', 'once', 'one', 'overnight', 'past', 'per', 'pm', 'previously', 'prior', 'quickly', 'rarely', 'saturday', 'season', 'second', 'seconds', 'september', 'seven', 'several', 'since', 'six', 'sometime', 'spring', 'still', 'summer', 'sunday', 'ten', 'then', 'third', 'thirteen', 'thirty', 'thousand', 'three', 'time', 'times', 'today', 'tomorrow', 'tuesday', 'twenty', 'two', 'until', 'usual', 'usually', 'wednesday', 'week', 'weekday', 'weekdays', 'weekend', 'weekends', 'weekly', 'weeks', 'when', 'whenever', 'while', 'will', 'within', 'year', 'yearly', 'years', 'yesterday', 'yet', 'zero']

また，本文に記載の実験以外にもいくつかの設定で実験を行なったので，こちらに記載する.

注意機構 (Attention) MC-TACO で通常通りファインチューニングしたベースラインモデルと，今までに作成して精度が改善したモデルとの間で，レイヤー11,12における他の単語からの Attention の値の上がり幅が大きい単語を高い割合でマスクする。これは，精度が改善しているということは Attention の当たり方も改善されており，上がり幅が大きい単語は精度の改善に大きく影響している単語なのではないかという考えに基づいている.今まで作成したモデルとして, 先行研究 [3] で作成したモデル 2つを使用する. Multi-Step Fine-Tuning に SWAG を使用したものと，ランダムでマスクした TAPT である．結

表 102 つの手法間で Attention の値の上がり幅が大きい単語を優先してマスク

 & $40.9(42.1)$ & $69.9(68.2)$ \\

30 & $43.5(42.7)$ & $71.2(70.6)$ \\
45 & $43.0(41.2)$ & $71.0(68.9)$ \\
60 & $42.2(39.9)$ & $71.1(68.4)$ \\

30 & $42.4(42.5)$ & $70.5(69.2)$ \\
45 & $42.3(42.3)$ & $70.8(69.6)$ \\
60 & $41.4(43.6)$ & $69.4(70.1)$ \\

果を表 10 に示す. 今回の実験設定では，ランダムでマスクした場合よりも精度が下がってしまうことが確認された。

損失に対する顕著性（Saliency） Saliency の值が高い単語ではなく，高くも低くもない真ん中の単語を高い割合でマスクする設定でも実験を行なった.結果を表 11 に示す. 実験の結果，精度は上がらず， Saliency に関しては値が高い単語に着目する方が良い結果が出ることがわかった.

表 11 Saliency の值が高くも低くもない単語を優先してマスク


# ドメインに特化した比較的少量のデータによる事前学習済み BERT の 利用可能性 : 鉄鋼業における事例

岩月憲一
日本製鉄株式会社
iwatsuki.pz4. kenichi@jp. nipponsteel.com

## 概要

BERT を特定の業種に特化した場面で用いる際には、汎用のモデル、汎用のモデルに追加学習を施したモデル、フルスクラッチで事前学習したモデルのいずれかの選択肢がある。事前学習を行えば分野に特化したモデルができるが、分野が狭くなるほど用意できるデータは少なくなる。本研究では、鉄鋼業に特化したデータを用いて追加学習・事前学習を行い、ファインチューニングを要する特許分類タスクと、要しない語義曖昧性解消タスクで評価した。実験の結果、学習データが比較的少ないとしても、事前学習したモデルが優位になる場合があることが分かった。

## 1 はじめに

デジタルトランスフォーメーションが叫ばれる中、製造業においても自然言語処理の需要は高まっている。BERT[1]をはじめとする Transformer ベースの言語モデルは、タスクに応じてアーキテクチャを大きく変更することなく高い性能が発揮できる点で魅力的である。

しかし、Wikipedia やウェブコーパス等で事前学習された汎用の言語モデルを特定の業種におけるタスクに適用した場合に十分な性能が発揮されるとは限らない。そのため、学術論文[2]や法律文書[3]を用いて事前学習されたモデルが提案されている。この観点から、業種に特有の文書によって事前学習を行うことが望まれる。

その一方で、データサイズの問題が生じ得る。

BERT 以降、事前学習に用いられるデータサイズは増加している。しかし業種を狭めれば狭めるほど利用可能なデータは少なくなる。したがって、より多くのデータで学習された汎用のモデルを用いるか、 より少ないデータで学習された業種特化型のモデルを用いるということになる。
さらに、汎用の事前学習済みモデルに対してドメインに特化したデータで追加学習を行うことにより性能の向上が見られたという報告がある[4]。よって 3 つ目の選択肢として、追加学習によるモデルを用いることが挙げられる。

本研究では、いずれの選択肢をとるべきか検討するため、鉄鋼業に特化した文書を用いて BERT の事前学習と、日本語の汎用 BERT モデルに対する追加学習を行った。事前学習にあたっては、専門用語の分割が不必要に行われることを防ぐため、 SentencePiece[5]を用いてトークン化を行った。

評価のために、鉄鋼分野の知識を必要とするタスクを 2 つ用意した。1つ目は、特許分類タスクである。これは、ラベル付きの特許抄録を用いてファインチューニングをし、分類の精度を比較するものである。

2 つ目は、教師なし語義曖昧性解消タスク[6]である。BERT はもともとファインチューニングをすることを前提として提案されたモデルであるが、事前学習済みモデルをそのまま用いて文ベクトルを得ることも行われている[7]。企業活動の中で産出される文書に何らかの正解ラベルが付与されていることは少ない上に、専門性が高いためアノテーションコストが大きい。こうした背景から、ファインチューニングを要しないタスクでの評価も行うことにした。 このタスクは、BERT が Masked Language Model （MLM）で学習されていることを踏まえ、曖昧性を持つ語を[MASK]に置き換えて同分野の語が推定されるかを確認するものである。鉄鋼分野において使われる略語のうち、語義が複数あるものを対象にした。

実験の結果、特許分類については事前学習モデル、追加学習モデルともに汎用モデルと同等以上の性能を発揮した。また、語義曖昧性解消については、事前学習モデルが最も良い性能を、追加学習モデルがそれに次ぐ性能を示した。
以上の結果から、比較的少ないデータであったとしても、業種に特化したデータを用いて事前学習モデルを作成することの有用性が示唆された。

## 2 手法

## 2.1 モデル

本研究では、汎用モデル、追加学習モデル、事前学習モデルの 3 つの BERT モデルを使用した。汎用モデルには、cl-tohoku/bert-base-japanese-whole-wordmasking を使用した。このモデルに鉄鋼分野のデー タ（後述）で追加学習を行ったモデルを追加学習モデルとした。

事前学習モデルには、SentencePiece によるトークン化を採用した。これは既存の辞書ベースのトークナイザでは専門用語への対応が難しいと判断したためである。語彙の大きさは 30,000である（汎用モデルの語彙は 32,000 語でありほぼ同等である）。

BERT の実装には huggingface/transformers[8]を使用した。また、事前学習と追加学習ともに MLM のみであり、Next Sentence Prediction は行っていない。

## 2.2 事前学習用データ

事前学習用のデータとして、鉄鋼・非鉄各社の技報および鉄鋼各社の特許公報を使用した。テキストの総量は 767MB であった。汎用モデルは日本語版 Wikipedia によって事前学習されているが、そのデー タサイズは 2.6GB である。 のデータは汎用モデルのデータの 3 割程度の大きさしかない。

日本語版 Wikipedia にも鉄鋼分野の記事は少なからず存在しているが、その総量は全体の 3 割に満たないと考えられる。

## 3 評価タスク

## 3.1 特許分類

本タスクは、特許抄録を入力とし、その特許が属する技術分野を出力する分類タスクである。1つの特許抄録は複数の分野に属しうるため、マルチラべル分類問題である。

今回使用するデータとして、鉄鋼分野に属する 36,415 件の特許抄録を抽出した。このうち約 1 割を評価用データとし、残りを訓練用データとした。それぞれの抄録にラベルが専門家の手によって付与されており、「製鋼-鋼精錬」「鋼管-油井管」などがある。

なお、事前学習モデルおよび追加学習モデルはその事前／追加学習データに特許公報が含まれているが、本タスクのデータと全く同じではなく、一部重複している。

また、入力は先頭の 256 トークンのみを使用しており、それ以降のテキストがある場合は無視されている。

訓練用データを用いて、5 分割交差検証によりパラメータチューニングを行った。その後、評価用デ ータを用いて評価を行った。

評価は、本タスクがマルチラベル分類問題であるため、次の指標により行った。1つ目は、正解率である。1つの文書に対し過不足なくすべてのラベルが正しく推定された場合に正解とみなした。2つ目は、各分類ラベルの $\mathrm{F}$ 值である。これについてはミクロ平均とマクロ平均の両方を算出した。

ファインチューニングは、 3 種類の BERT それぞれに線形層を加えて行った。BERT の出力のうち [CLS]トークンを線形層に入力した。

## 3.2 語義㖟昧性解消

本タスクは、同じ表記であるが語義の異なる言葉の語義を推定するために、ファインチューニングを行わずに BERT の MLM を用いるというものである [6]。先行研究[6]では一般の日本語についての語義曖昧性解消を目的としていたが、本研究ではこれを鉄鋼分野に適用するため、改変を加えた。

タスクの詳細を実例で示す。例えば、ASRという単語には、「自動速度制御」 (Automatic Speed Regulation）という意味と、「自動車破砕後の残留物」 (Automobile Shredder Residue) という意味がある。 いずれの語義であるかは文脈によって判断される。 この 2 語は属する技術分野が異なるため、語義というよりもどの分野の語であるかが分かれば十分である。これを踏まえ、この語を含む文のうち当該語を [MASK]トークンに置き換え、BERT に[MASK]に入る語を予測させる。予測結果として得られた語の示寸技術分野が、元の語の属する技術分野であると推定する。上記の例では、ASRに対して、制御に関す

る語「AGC」（Automatic Gauge Control）が予測されれば制御分野として推定される。

今回は、[MASK]を埋める語として推定された語のうち最も確率の高い 1 語の示す分野が同じである場合に正解とみなした。ただし、元の語と全く同じ語が推定された場合は、どの技術分野かわからないため、次点の語を用いた。

本タスクの対象となる曖昧な語には、略語を用いた。「鉄鋼実務用語辞典」[9]、「鉄の事典」[10]等に収録されている略語から、表記が同じであるが、属する技術分野の異なる略語を 10 件選択した。 1 件につき、2つの技術分野が該当するようにした。

略語を含む文は、各語各技術分野につき 5 文を論文や社内技術文書から抽出した。合計 100 文を用いて本タスクを行った。

本タスクはファインチューニングを必要としないため、事前学習/追加学習済みのモデルに対してそのまま文を入力した。

## 4 結果と考察

## 4.1 特許分類

特許分類の結果を表 1 に示す。いずれの指標でみても、汎用モデルよりも追加学習・事前学習モデルの方がやや上回る結果となった。

表 1 特許分類の結果

図 1 に例としてある特許抄録に各モデルのアテンションの重み（最終層のものの合計）を可視化したものを示す。上から順に汎用モデル、追加学習モデル、事前学習モデルである。背景色が濃い方が重みが大きいことを示している。また、同時にトークン化の違いも見える。事前学習モデルのみ SentencePiece を用いており、「電着塗装後の」や「耐食性に優れた」が 1 つのトークンになっている。これに対し、汎用モデルのトークナイザによるトークンは「電/着/塗装/後/の」や「耐/食/性/に/優れ/た」 とかなり細かくなっている。結果的にこうした重要語の重みが小さくなっている。事前学習に用いたデータが比較的小さいながらも、特許文献に頻出する語句をうまく扱えたことで汎用 BERT と同等以上の性能が出ていると考えられる。

## 4.2 語義曖昧性解消

表 2 に語義曖昧性解消の結果を示す。汎用モデルより追加学習モデル、さらに事前学習モデルが良い性能を示した。

表 3 は、事前学習モデルのみが正解した例である。汎用モデルは、「事故」という語を予測している。

「事故が発生する」という日本語は自然な表現であるが、鉄鋼に関する文脈であることが十分に認識されていないためにこうした推定がなされたものと考えられる。

表 4 は、すべてのモデルが正解した例である。

Barrel per day という単位に対して、3つとも単位を推定できている。このように、鉄鋼分野に限らず広く多分野で使われる語句については、汎用モデルでも十分に正解できることが分かる。

表 5 も、すべてのモデルが正解した例であるが、表 4 の例に比べて鉄鋼分野に寄っている文である。 このように専門的な文脈であっても汎用モデルが正解できる例もある。逆に、表 6 は全てのモデルが不正解となった例であるが、事前学習モデルと追加学習モデルは元素記号を推定しているのに対し、汎用モデルは企業名の文脈と認識している。「インテル」 という語は事前学習モデルの中にはないため、間違えるにしても分野を大きく外すことはない。このように、入力文から分野を推定しにくい場合に汎用モデルは不利である。こうした点から、特定の分野のデータで学習させることの意義が確認できる。

では、追加学習モデルと事前学習モデルではどうか。表 3 や表 6 の誤りの例を見ると、汎用モデルと比較して追加学習モデルは全く関係ない別の分野の語を出してしまうことはある程度避けられていることが分かる。ただし、それでも事前学習モデルには及んでおらず、中間的な性能である。

以上の議論を踏まえると、とりわけファインチュ ーニングを行わずに BERT の文・単語ベクトルを使用する場面にあっては、必ずしも汎用モデルや追加学習モデルが優れるとは限らないと言える。特定の分野に特化した文脈では、全く異なる分野の文脈として捉えられてしまう可能性がある。特定業種に特化したデータで事前学習を行うことで回避できると考えられる。

[CLS] (57)【要約】【課題】電着塗装後の耐食性に優れた槷延鋼板およびその製造方法を提供する。【解決手段】質量 $\%$ で、C：0.015\% $0.08 \% 、 \mathrm{Si}: 1.5 \%$ 以下、Mn: $0.1 \sim 2.5 \% 、 \mathrm{P}: 0.015 \%$ 以下、S: $0.015 \%$ 以下、Al: $0.01 \sim 0.08 \% 、 \mathrm{~N}: 0.009 \%$ 以下、Ti: $0.05 \sim$ $0.2 \%$ を含有し、かつ、下記 A 値が $0 \sim 0.06$ の範囲の組成であり、その他が不可避的不純物からなる鋼板の断面を観察した際に、該鋼板の最表面部から深さ $1 \mu \mathrm{m}$ 、長さ $100 \mu \mathrm{m}$ の断面範囲内に、最長径 $0.05 \mu \mathrm{m}$ 以上の炭化物が 10 個以上 150 個以下存在することを特徵とする電

[CLS] (57) 【要約】【課題】電着塗装後の耐食性に優れた熱延鋼板およびその製造方法を提供する』【解決手段】質量 $\%$ で、C：0.015\%〜 $0.08 \% 、 \mathrm{Si}: 1.5 \%$ 以下、Mn: $0.1 \sim 2.5 \% 、 P: 0.015 \%$ 以下、S: $0.015 \%$ 以下、Al: $0.01 \sim 0.08 \% 、 N: 0.009 \%$ 以下、Til: 0 . $05 \sim$ $0.2 \%$ を含有し、かつ、下記 A 値が $0 \sim 0.06$ の範囲の組成であり、その他が不可避的不純物からなる鋼板の断面を観察した際に、該鋼板の最表面部から深さ $1 \mu \mathrm{m}$ 、長さ $100 \mu \mathrm{m}$ の断面範囲内に、最長径 $0.05 \mu \mathrm{m}$ 以上の炭化物が 10 個以上 150 個以下存在することを特徵とする電着塗装後の耐食性に優れた熱涎鋼板およびその製造方法曰ここに、A 值：C-( Ti/5.5)、CTi はそれぞれの元素の質量％【 [SEP]

[CLS] _(57) 要約課題電着塗装後の耐食性に優れた熱延鋼板およびその製造方法を提供する。解決手段質量\%で、C:0.0 15\% 0.08 \%、Si: $1.5 \%$ 以下、Mn:0 1 2.5\%、P : $0.015 \%$ 以下、 $\mathrm{S}: 0.015 \%$ 以下、Al : 0.01 0.08\%、N:0.00 9 \%以下、Ti : 0.05 0.2\% を含有し、かつ、下記 A 值が $0 \sim 0.0$ の範囲の組成であ

炭化物が 10 個以上 150 個以下存在することを特徵とする電着軽装後の耐食性に優れた熱延鋼板およびその製造方法。ここに、A 値：C- (Ti/5 . 5 )、CTi はZ れぞれの元素の質量\% 選択図なし [SEP]

図 1 特許抄録[11]に対する各モデルのアテンションの重みとトークン化の結果

表 2 語義曖昧性解消の結果

表 3 事前学習モデルのみが正解した例

破砕選別業者はプレスまたはシュレッダー処理を行い，後者では[MASK]が発生する。[12]

$[\mathrm{MASK}]=\mathrm{ASR}$

汎用事故

追加学習

スクラップ

事前学習 (正解) シュレッダーダスト

## 表 4 すべてのモデルが正解した例

処理容量は 70,000[MASK]で出荷はシャトルタン

カーにより行われる。

$[$ MASK] $=$ BPD (=barrel per day)

汎用 (正解) $\mathrm{t}$

追加学習 (正解) $t$

事前学習 (正解) m3

## 表 5 より専門的な文脈であってもすべてのモ デルが正解している例

以上の 2 回の実験結果より、[MASK]から鋳鉄に加炭される炭素量は加炭材の約 $1 / 4$ であり、小型高周波誘導溶解炉での実験結果と差異はなかった。 [14]

$[\mathrm{MASK}]=$ BIC (=bio coke)

汎用 (正解) 石炭

追加学習 (正解) 石炭

事前学習 (正解) コークス表 6 すべて不正解の例

結果は表 2 の通りだが, c-AIC の選択パフォーマンスは AIC や[MASK]のそれと比べて良くなっている. [15]

$[$ MASK] = BIC (= Bayesian information criterion)

汎用インテル

追加学習 Si

事前学習 $\mathrm{Pb}$

## 5 おわりに

本稿では、特定の業種に特化した場面において BERT を用いる際に、汎用のモデル、汎用のモデルに追加学習を施したモデル、特定業種のデータで事前学習をしたモデルのいずれを使用するのが良いかを鉄鋼業を例に検討した。鉄鋼業に特化したテキストデータを用いて事前学習ならびに追加学習を行い、 3 種類のモデルを用意した。

ファインチューニングを要する特許分類タスクと、要しない語義曖昧性解消タスクによって各モデルの評価を行った。実験の結果、特許分類タスクでは事前学習モデルが汎用モデルと同等以上の性能を発揮し、語義曖昧性解消タスクでは汎用モデルよりも追加学習モデルが、さらに事前学習モデルが良い性能を発揮した。

これらの結果から、学習に使えるデータが比較的少ないとしても、特定の業種に特化したモデルを事前学習させることには有用性があると言える。

今後は BERT 以外の言語モデルについても比較検討を加えたい。

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova. 2018. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, 4171-4186.

[2] Iz Beltagy, Kyle Lo, Arman Cohan. 2019. SciBERT: A Pretrained Language Model for Scientific Text. Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, 3615-3620.

[3] 星野玲那, 狩野芳伸. 2020. 司法試験自動解答を題材にした BERTによる法律分野の含意関係認識. 言語処理学会第 26 回年次大会発表論文集, 577-580.

[4] Suchin Gururangan, Ana Marasović, Swabha Swayamdipta, Kyle Lo, Iz Beltagy, Doug Downey, Noah A. Smith. 2020. Don't Stop Pretraining: Adapt Language Models to Domains and Tasks. Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, 8342-8360.

[5] Taku Kudo, John Richardson. 2018. SentencePiece: A simple and language independent subword tokenizer and detokenizer for Neural Text Processing. Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, 66-71.

[6] 新納浩幸, 馬ブン. 2021. BERT の Masked Language Model を用いた教師なし語義曖昧性解消. 言語処理学会第 27 回年次大会発表論文集, 1039-1042.

[7] Han Xiao. 2018. Bert-as-service. https://github.com /hanxiao/bert-as-service

[8] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, ... Alexander Rush. 2020. Transformers: State-of-the-Art Natural Language Processing. Proceedings of the 2020 Conference on Empirical
Methods in Natural Language Processing: System Demonstrations, 38-45.

[9] 鉄鋼新聞社. 2006. 新版鉄鋼実務用語辞典.

[10] 朝倉書店. 2014. 鉄の事典.

[11] 新日本製鐵株式会社. 2006. 電着塗装後の耐食性に優れた熱延鋼板およびその製造方法. 特開 2006-241539.

[12] 山末英嗣，松八重一代，中島謙一，醍醐市朗，石原慶一. 2014. 使用済み自動車から得られる鉄スクラップの関与物質総量. 鉄と鋼, 100(6), 778-787.

[13] 橋本康正. 1984. 海洋における浮遊式$\cdot$移動式生産システムの海外の現況。石油技術協会誌, 49(5), 332-335.

[14] 冨田義弘, 尾鼻美規, 井田民男. 2014. 高周波誘導溶解におけるバイオコークスの加炭材代替効果の検証. スマートプロセス学会誌, 3(5), 289-294.

[15] 庄野宏. 2006. モデル選択手法の水産資源解析への応用. 計量生物学, 27(1), 55-67.


# BERT を用いたニつの辞書の対応付け

河野稜斗
東京農工大学工学部情報工学科
s209679x@st.go.tuat.ac.jp
}

平林照雄
}

東京農工大学生物システム応用科学府

s213645z@st.go.tuat.ac.jp

古宮嘉那子

東京農工大学工学研究院

kkomiya@go. tuat.ac.jp
## 概要

辞書間における対応付けとは，複数の辞書にタグ付けされたコーパスを利用し，辞書同士の対応をとることである. 本研究では，事前学習モデルの BERT を用いて，『岩波国語辞典』の語義と『分類語彙表』の分類番号の対応付けを行う．BERTを用いた対応付け方法として，BERT を使用した教師なしの手法と，BERT の fine-tuning を使用した手法の 2 つを提案する. 実験では， 2 つの提案手法と比較手法として最多出現語義の $\mathrm{F}$ 値を算出し対応の性能を評価した. 実験結果として, 提案手法の両方で比較手法の性能を上回る結果となった.

## 1 はじめに

世の中には国語辞典だけでも多くの種類の辞書が存在するが，それぞれの辞書で語義やその粒度が一致しているとは限らない. 辞書同士で語義の対応をとることにより，語義を整理することができると考える. また, 辞書同士の対応を人の手作業で行った場合，辞書の数が多いほどかなりの時間と人手が必要になる. そのため, 自動的に対応をとることが可能であれば，人員や時間の削減につながる.

そこで本研究では, 対応付けのアプローチ方法に事前学習モデルの BERT を採用し, 『岩波国語辞典』 と『分類語彙表』によりタグ付けされた『現代日本語書き言葉均衡コーパス』 $[1,2,3]$ を利用して, 語義タグと分類番号の対応をとる. BERTを用いた手法として，BERT を使用した教師なしの手法と BERT を fine-tuning した手法を提案する。また，実験では $\mathrm{F}$ 値を対応付けの性能の指標とし，『岩波国語辞典』 の語義と『分類語彙表』の分類番号の対応付けの評価を行う。

## 2 関連研究

近年，事前学習モデルが自然言語処理タスクで最先端の性能を達成している。その中でも，2019 年に Devlin ら [4] によって考案された Bidirectional Encoder Representations from Transformers (BERT) という事前学習モデルが自然言語処理のタスク 11 種類で最高の性能を達成し, 広く使われている. BERT は Vaswani ら [5] によって提案された Transformer を双方向に接続することで構成されている. Transformer は従来の一般的なニューラルモデルで使われる Encoder-Decoder 形式の畳み込みニュー ラルネットワークや再帰ニューラルネットワークを用いず，注意機構のみで構成されたモデルである.現在では，この BERTをもとにした ELECTRA[6] や RoBERTa[7]，ALBERT[8] などのモデルも多く提案されている.

対応付けに関する研究として，Bilingual Word Embeddings（BWE）の単一言語マッピングの手法を用いた研究がある。単一言語マッピングの手法は, あらかじめ 2 言語それぞれで単語の分散表現を作成しておき，言語間で意味が似ている分散表現が近づくように共通べクトル空間に変換することで対応をとる手法である．Mikolov[9] らは，幾何学的関係が言語間で類似していることを主張し，線形射影によってある言語のべクトル空間を別の言語のべクトル空間に変換することの可能性を示唆した. さらに，平林ら [10] は，BWE の単一言語マッピングの手法を用いて, 本研究と同じ岩波国語辞典の語義夕グと分類語彙表の分類番号の対応付けを行った. 語義タグのベクトル空間から分類番号のベクトル空間への線形変換を学習した後, 語義タグの分散表現に学習した線形変換を適用し, 分類番号のベクトル空
間に変換することで対応をとった. また，単語の分散表現の作成には言語ごとに学習した word2 vec を利用している.

## 3 提案手法

本研究では, 『岩波国語辞典』の語義 (以下語義夕グと略す) と『分類語彙表』の分類番号 (以下分類番号と略す)を対応付けするために BERTを用いて，「暫定の対応」をとる。そして，「暫定の対応」を利用することで「確定の対応」をとる.

## 3.1 岩波国語辞典の語義タグ

『岩波国語辞典』では, 単語の語義ごとに表 1 に示すような語義タグが付与されている．語義タグは， [見出し ID]-[複合語 ID]-[大分類 ID]-[中分類 ID]-[小分類 ID] で構成されている. 例として，「手」という単語は表 1 のような意味ごとに異なる語義タグが付与されている. また，本研究において複合語を無視しているため複合語 ID の値は必ず 0 である.

表 1 岩波国語辞典における「手」

 \\

## 3.2 分類語彙表の分類番号

『分類語彙表』とは, 国立国語研究所によって作成された，「語を意味によって分類や整理した類義語集」である。『分類語彙表』のレコード $(1$ つのデー タ) を構成する項目は，「レコード ID 番号/見出し番号ルレコード種別/類/部門/中項目/分類項目/分類番号/段落番号/小段落番号/語番号/見出し/見出し本体/読み/逆読み」となっている。分類番号は，レコードを構成する項目のうち「類/部門/中項目/分類項目」によって表される.

1 つの単語が複数の分類項目に分類されることがあり，その単語は複数の分類番号を持つため多義語であるとみなせる．例えば．「手」という単語は表 2 に示すように「人間」としての意味，「手足・指」としての意味，「方法」としての意味などといった複数の分類項目に分類されるため多義語の 1 つである。表 2 『分類語彙表』における「手」

## 3.3 BERT を用いた暫定の対応付け

「暫定の対応」付けでは，BERTに語義タグもしくは分類番号が付与されている単語を含む文を入力し，タグが付いている単語の分散表現を取得し，対応付けに利用する. BERTを使用した教師なしの手法では，語義タグが付与された単語の分散表現と分類番号が付与された単語の分散表現として，BERT の出力ベクトルを使用し，コサイン類似度による語彙の対応をとる. BERT の fine-tuning の手法では， BERT にタグが付いた 2 文を入力し，(1) 語義タグが付与された単語と (2) 分類番号が付与された単語の BERT の出力ベクトルを連結して最終層の入力とし，(1)(2) が同じ意味かどうかの二值分類を行って fine-tuning を行った。

対応付けにおいて語義タグと分類番号の粒度の違いから，1 つの語義タグに対して複数の分類番号が対応する場合が存在する．対応付けを行っていくにあたり，BERT を使用した教師なしの手法と BERT の fine-tuning を用いた手法で得られる対応は「暫定の対応」となる.

## 3.4 確定の対応

「暫定の対応」を確定させるために「全部列挙」と 「多数決」という 2 つの対応方法を用いる.

(I)全部列挙

語義タグに対応する可能性のある全ての分類番号を対応するものとして扱うことで，語義番号と分類番号の対応をとる方法である.

(II) 多数決

語義タグに対応する可能性のある分類番号の中で，最も多く出現した分類番号を対応するものとして扱うことで，語義番号と分類番号の対応をとる方法である。また，「多数決」の手法においては，最も多く出現した分類番号が複数存在する (同率 1 位) 場合がある。その時は，最も多く出現した複数の分類番号全てを語義タグに対応するものとして扱う.

## 4 実験

本研究では，コーパスとして『現代日本語書き言葉均衡コーパス』 $(\mathrm{BCCWJ})$ を使用して実験を行う. BCCWJ には岩波国語辞典の語義と分類語彙表の分類番号が付与されているが，付与されている部分はごく一部を除き異なっている。また BERT は日本語の Wikipedia のデータを用いて学習された, 東北大学が公開している BERTを用いる. 実験では，東北大学の BERTを用い, 前述の教師なしの手法と fine-tuning を利用した手法を用いて語義タグと分類番号の対応付けを行う. そして, 比較手法として単語に最も付与された『分類語彙表』の分類番号を単語の各語義の分類番号とする最多出現語義 (MFS) を採用し，2つの提案手法と比較する.

## 4.1 BERT の教師なしの手法の対応付け

BERTを使用した教師なしの手法を用いた対応付けでは，以下のステップに従って対応付けを行う。 ここで用いる BERT は fine-tuning していない既存のモデルである.

1. 語義タグが付いている BCCWJ と，分類番号が付いている BCCWJに分けて次の処理を行う。

(a) BCCWJ の中から，語義タグ/分類番号が付いている単語を含む文を取得する。

(b) 取得した文を分かち書きして BERT に入力し，語義タグ/分類番号が付いている単語の分散表現を取得する.

2. 語義タグが付いている単語と分類番号が付いている単語のうち，同じ単語を含む文の集合を作り，文ごとに語義タグが付いている単語を基準に分類番号が付いている単語に対して分散表現のコサイン類似度を求める。そして，コサイン類似度の値が最も大きい分類番号を，基準とした文の単語に付いている語義タグに対応する分類番号 (暫定) とする。
3. 2 で求めた対応は，1つの文に含まれる語義夕グの付いている単語に対しての対応であるため，語義タグが付いている単語を含む文の数だけその単語に対する対応が得られる。 そのため, 2 で求めた対応は暫定としている.

4. 最後に「暫定の対応」を確定させるために「全部列挙」と「多数決」の方法を用いる.

## 4.2 fine-tuning した BERT による対応付け

BERT の fine-tuning の手法では, 語義タグが付いている BCCWJを用いて訓練データを作成し, BERT の fine-tuning を行い，テストデータで語義タグと分類番号が対応しているか否かの二値分類のタスクを解くことで対応付けを行う. この際，同じ単語に対して語義タグが付いた 2 つの文の組み合わせを訓練データとして fine-tuning を行った. 学習時のパラメータは事前実験によって決定し，学習率 0.0001 , epoch 数 30, 最適化関数は SGD，損失関数はクロスエントロピー誤差を用いた。また，開発データおよびテストデータには, 同じ単語に対して語義タグが付いた 1 文と分類番号が付いた 1 文の計 2 文の組み合わせを用いた. それに加えて, 語義タグと分類番号の対応の正解データとして, 『分類語彙表』と『岩波国語辞典第五版タグ付きコーパス 2004』の対応表 [11]を利用した。

訓練データ，テストデータ，開発データの BERT に入力する 2 文の組み合わせやデータの件数， 2 つの文のタグが対応するかどうかの二値の内訳を表 3 に示す.タグ構成は, 1 文目と 2 文目に含まれるタグが語義タグか分類番号なのかを表している. 訓練データには語義タグ同士が同じ語義かどうかの情報のみを利用し，語義タグと分類番号の対応は利用していないことに注意されたい。また，表 3 において，入力する 2 つの語の意味が同じ場合は対応あり，異なる場合は対応なしとした. 訓練データはある単語に付与された語義タグの種類ごとに最大 2 文の代表文をランダムに選択し，その組み合わせで作成する．付録の図 1 に「一緒」を例とした訓練デー タの作成例を示す. テストデータは単語ごとで単語に付与されている語義タグと分類番号の全ての組み合わせで作成する.

表 3 fine-tuning におけるデータの詳細

BERT がテストデータに対して出力する二值分類の值は，語義タグと分類番号の「暫定の対応」であるため，最終的な対応は BERT を使用した教師なしの手法と同様に「全部列挙」手法と「多数決」手法で求める.

## 4.3 対応付けの評価

本研究では，語義タグを基準にして対応する分類番号を定めているため, 語義タグが付与された形態素のみに対しての「確定の対応」に限定して評価を行う. したがって. 語義タグを付与された形態素が分類番号を付与された語彙素に存在しない場合, その語義タグに対する分類番号の対応は「存在しない」として扱うこととした.

評価には $\mathrm{F}$ 値を用いる。 $\mathrm{F}$ 值は予測した結果の評価尺度の 1 つであり, 適合率 (precision) と再現率 (recall) から算出される.

## 5 実験結果

BERTを使用した教師なしの手法と BERT の fine-tuning を用いた手法では，どちらも「暫定の対応」を取った後に「全部列挙」と「多数決」の方法で「確定の対応」を求め，それに対して $\mathrm{F}$ 值を算出した，BERTを使用した教師なしの手法の「全部列挙」と「多数決」に加えて, 比較手法の MFS の対応付けの評価結果を表 4 に示す. そして, BERT の fine-tuning を用いた手法の「全部列挙」と「多数決」, および比較手法の MFS の対応付けの評価結果を表 5 に示す. 表 4 と表 5 の太字の値の部分は, 適合率，再現率， $\mathrm{F}$ 値それぞれで，最も高い値のものを示している. BERTを使用した教師なしの手法で最も高い $\mathrm{F}$ 値は「全部列挙」方法での 0.60 , BERT fine-tuning を使用した手法で最も高い $\mathrm{F}$ 值は「多数決」方法での 0.63 という結果となった. それに対して比較手法の $\mathrm{F}$ 值は 0.50 であった.

表 4 BERT の教師なし手法での対応付けの結果

表 5 BERT の fine-tuning 手法での対応付けの結果

## 6 考察

実験の結果から，BERT を使用した教師なしの手法と BERT の fine-tuning を用いた手法の両方で，比較手法の MFS の結果を上回った。なお，それぞれの提案手法の「全部列挙」と「多数決」の $\mathrm{F}$ 値の差に大きな違いはなかった。

提案手法のどちらの結果も，適合率は「確定の対応」を「多数決」でとる方が「全部列挙」でとるよりも高くなっており，それに対して再現率は「確定の対応」を「全部列挙」でとる方が「多数決」でとるよりも高くなっている. その要因として，「全部列挙」では語義タグに対して「暫定の対応」に出現した分類番号全てを対応するものとして扱っているため対応する分類番号の種類が多い．また「多数決」 では語義タグに対して「暫定の対応」に出現した分類番号の中で最も出現した分類番号を対応するものとして扱っており，対応する分類番号の種類は少ないことが挙げられる。そのため，「全部列挙」と「多数決」で求める対応は両極端になると考えられる.

したがって，「全部列挙」と「多数決」の中間をとる方法，例えば分類番号の出現回数に閾値を設け，一定回数出現した分類番号を対応するものとして扱うなどの方法で「確定の対応」をとることにより， さらに対応付けの性能が高まると考える。

また，本研究で扱った BERT よりもパラメータや次元が大きい BERT-large モデルや，BERT よりも多くのデータで事前学習し, かつ事前学習の回数を増やした RoBERTa モデルを使用することで対応付けの性能向上が見込まれる。

## 7 おわりに

本研究では，対応付けのアプローチ方法に事前学習モデルの BERTを採用し，『岩波国語辞典』と『分類語彙表』によりタグ付けされた『現代日本語書き言葉均衡コーパス』を利用して，語義タグと分類番号の対応をとった. BERTを用いた方法では，既存のモデルを使用する，BERT を使用した教師なしの手法と既存のモデルを fine-tuning した，BERT の fine-tuning の手法を提案し実験を行い評価を行った.実験結果から，BERT の fine-tuning が最も高い性能となり，提案手法は比較手法の MFS を上回る結果だった. 以上のことから『岩波国語辞典』の語義と『分類語彙表』の分類番号の対応付けにおける， BERT の有効性を示した。

## 謝辞

本研究は JSPS 科研費 17KK0002，18K11421 の助成を受けたものです.

## 参考文献

[1] Kikuo Maekawa, Makoto Yamazaki, Toshinobu Ogiso, Takehiko Maruyama, Hideki Ogura, Wakako Kashino, Hanae Koiso, Masaya Yamaguchi, Makiro Tanaka, and Yasuharu Den. Balanced corpus of contemporary written japanese. Language resorces and evaluation, Vol. 48, No. 2, pp. 345-371, 2014.

[2] Okumura Manabu, Shirai Kiyoaki, Komiya Kanako, and Yokono Hikaru. On semeval-2010 japanese wsd task. 自然言語処理, Vol. 18, No. 3, pp. 293-307, 2011.

[3] Sachi Kato, Masayuki Asahara, and Makoto Yamazaki. Annotation of 'word list by semantic principles' labels for the balanced corpus of contemporary written japanese. Proceedings of PACLIC 2018, pp. 247-253, 2018.

[4] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. In North American Association for Computational Linguistics(NAACL).

[5] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in Neural Information Processing Systems, pp. 6000-6010, 2017.

[6] Kevin Clark, Minh-Thang Luong, Quoc V. Le, and Christopher D. Manning. Electra: Pre-training text encoders as discriminators rather than generators. In International Conference on Learning Representations (ICLR).

[7] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach. ArXiv, abs/1907.11692.

[8] Zhenzhong Lan, Mingda Chen, Sebastian Goodman, Kevin Gimpel, Piyush Sharma, and Radu Soricut. Albert: A lite bert for self-supervised learning of language representations. In International Conference on Learning Representations (ICLR).

[9] Tomas Mikolov, Quoc V Le, and Ilya Sutskever. Exploiting similarities among languages for machine translation. arXiv preprint arXiv:1309.4168, 2013.

[10] Teruo Hirabayashi, Kanako Komiya, Masayuki Asahara, and Hiroyuki Shinnou. Automatic creation of correspondence table of meaning tags from two dictionaries in one language using bilingual word embedding. 13th BUCC Workshop at LREC 2020, pp. 22-28, 2020.

[11] 呉佩, 近藤森音, 森山奈々美, 荻原亜彩美, 加藤祥, 浅原正幸.『分類語彙表』と『岩波国語辞典第五版夕グ付きコーパス 2004』の対応表. 言語資源活用ワー クショップ 2019, pp. 337-342, 92019.

## 付録

例 : 一緒(語義夕グの種類 : 2つ)

2485-0-0-1-0
(1)二緒に遊ぶ
(2)二緒に向かう
(3)学校が一緒
$\vdots$

(1)(2)が2485-0-0-1-0の代表文，(4)(5)が2485-0-0-2-0の代表文とすると組み合わせは以下の通りになる.

(1)一緒に遊ぶ（2)一緒に向かラ

(1)一緒に遊ぶ

(4)友達と一緒

1 つの訓練データ

(1)一緒に遊ぶ

(5)あの服と一緒

(2)一緒に向かう

(4)友達と一緒

(2)一緒に向かう

(5)あの服と一緒

(4)友達と二緒

(5)あの服と二緒

同じ(1)
違う(0)
違う(0)
違う(0)
違う(0)
同じ(1)

4つの代表文から2つの

組み合わせを選ぶので，

${ }_{4} C_{2}=6 \supset \omega$

訓練データを作成できる

図 1 訓練データの作成例


# 季語情報付与による俳句自動生成器の改良と評価

加藤智 ${ }^{1}{ }^{\text {竹田晃人 }}{ }^{1}$
1 茨城大学 大学院理工学研究科
$\{21 \mathrm{~nm} 425 n$, koujin. takeda. kt $\} @_{\mathrm{vc} .}$ ibaraki. ac. jp

## 概要

知能情報システムの分野は日進月歩であるが，いまだ人間の「美意識」の表現は苦手としている。これらを言語表現の分野から克服および再現するため,世界で最も短い定型詩である「俳句」と自動文章生成システムを組み合わせた知能情報システム「AI一茶くん」[1][2]が北海道大学を中心に 2017 年から研究されている. 本研究では, 知能情報システムに俳句を学習させる際，歳時記および季語辞典をもとに俳句特有の「季語」に関する情報を同時に与えることで, 俳句固有の「季語」の観点から俳句の生成精度の向上を図ることを目的とし, 俳人の専門的見地から本研究で生成された俳句, 人間の俳句, 先行研究の俳句の比較検討および再評価を行う.

## 1 はじめに

知能情報システムは，人間の「感性」や「美意識」 の表現をいまだ不得意としている. これらを言語表現の分野から克服および再現するため, 世界で最も短い定型詩である「俳句」と自動文章生成システムを組み合わせた知能情報システム「AI一茶くん」 [1][2]が北海道大学を中心に 2017 年から研究されている.

俳句は「季語」という固有の概念によって発達した独自の言語表現を特徴とする文学でありながら,世界で最も短い $5 \cdot 7 \cdot 5$ の計 17 音の定型によって知能情報システムでの再現がしやすく, 俳人による数値的な評価も容易であることから，知能情報システムの機能実証に最適である.

「AI一茶くん」は，任意の一単語や，画像から抽出した一単語から, ニューラルネットワークの一種である LSTM (Long Short-Term Memory)を用いて，俳句を自動で生成することができる. この研究は自動文書作成システムの先進的技術開発及び知能情報システムの機能実証を目的とし, 人間の俳句と人工知能が生成した俳句の差異から「知能とは何か」「人
と機械のコミュニケーションはどのように行われるべきか」という問題について理解を深める研究である[2].

しかし先行研究では, 生成した俳句から季語を一つ以上含むものを抽出し，残りの俳句を大量に内部で捨てているという問題点がある。このような手法上の問題が先行研究での俳句の生成精度が向上しない要因となっていると考えられる.

本研究では, 知能情報システムに俳句を学習させる際,歳時記および季語辞典をもとに俳句特有の「季語」に関する情報を同時に与えることで，俳句固有の「季語」の観点から俳句の生成精度の向上を図ることを目的とし, 俳人の専門的見地から本研究で生成された俳句, 人間の俳句, 先行研究の俳句の比較検討および再評価を行う。

## 2 俳句の自動生成器と学習方法

## 2.1 「俳句」及び「季語」の定義と収集

本研究では, 「季語」を一つ以上含み, 韻律が $5 \cdot 7 \cdot 5$ となる有季定型の俳句を「俳句」と定義し, 自由律俳句および無季俳句については考慮しないこととする. 本研究では現代俳句協会の「現代俳句データベース」[3]の季語の解釈に則って, 季語として現代俳句データベースに立項されている単語を季語とし，傍題は含めないものとする。

季語及び学習の教師となるべき優れた俳句の収集は，現代俳句協会の許可のもと，現代俳句データベ一スから行った。

## 2. 2 動作環境とシステム

システムは python で構築するものとし, 形態素解析エンジン「janome」[4]を用いて俳句を形態素に分割し，マルコフ連鎖によって表現される離散的なべクトル場の状態を, 自然言語処理モデル「word2vec」 [5]で学習するものとする. 俳句自動生成システムは,「前処理」「学習」「出力」の 3 段階に分けられる.
「前処理」の段階では, 形態素解析エンジンを用いて俳句を形態素ごとに分割する. 新しく出現した形態素から順に形態素リストに格納する. そして形態素リストをもとに俳句を単語ごとの ID に変換する.

「学習」の段階では, ベクトルに変換された形態素を入力し, 俳句の文脈上その直後にはどのような形態素が出現するかを学習させる。

「出力」の段階では，学習を行ったシステムに任意の一単語を確率的に与える. そして, 文脈上つぎに出現する確率のある単語から, 5 音または 7 音を越えない単語を選択する． 5 音または 7 音を満たすまでこの操作を繰り返すことで，5・7・5 の俳句が生成される.

本研究では現代俳句データベースをもとに，その単語が季語であるか否かの情報を与える。

## 2.3 手法

人間が恣意的に定義した記号である「言語」をそのまま数値的に扱うことは難しいが，文字や単語をベクトル空間上に埋め込み一つの点として捉える 「単語分散表現」を用いることでこの問題は解決できる。言語を数值的に扱えるということは，すなわち学習・解析することが可能となる. word2vec は, この単語分散表現を用いた 2 層のニューラルネットワークで構成される自然言語処理モデルである. 形態素を空間上の点に置き換え, 形態素間のつながりをベクトル表現で表し, 言語処理を行うことができる.シンプルな構造であるため, 大規模な言語デー 夕による分散表現学習が現実的な計算量で可能となるという特徴がある。

マルコフ連鎖は, 未来の挙動が現在の値だけで決定され, 過去の挙動と無関係であるマルコフ性をもち, とりうる状態が離散的である確率過程を指す.本研究では, 形態素を空間上の点に置き換えるため,空間上の各点及びそれらを結ぶベクトルの状態は，各ステップ時間において離散的である.したがってマルコフ連鎖を用いることができる.

本システムの手法は, 俳句を形態素ごとに分割し,形態素を空間上に点として配置し, 形態素間の共起関係を表現するため, 俳句の文脈において連続して出現する形態素（点）どうしを結ぶベクトルを生成する．空間上のベクトル場が離散的に変化することで学習させることができる.

## 3 出力結果

生成した俳句を一部示す.

・法華寺の花の世は旅かなしめる

・火の山に水の音ある大暑かな

・鶏頭のみんなだまって水握る

のように，俳句として形になっているものも生成された. しかしこのような日本語の文法の観点から成立している句は少なかった。

## ・て穴子の麦の穂触れや残り鴨

・にありしんひては雪に来ん来ぬとる

のように助詞で始まる句や, 不自然に助詞が続く句が多数生成された. これは形態素解析エンジンによって俳句を形態素ごとに分割する際に, 俳句が現代語でなく古語や文語で表現されるために誤りが生じる点や, 付属語で句が始まらないようにする予防をしていなかった点などが原因として考えられる。

## 4 比較検討

本研究で出力された俳句と, 先行研究での俳句,人間の俳句を比較検討する.

人間の俳句については, 作風の偏りが無いよう全国の俳句誌から俳句を収集している「俳誌のサロン」 [6]からランダムに 10 句収集した. 先行研究の俳句については論文から収集する。ただし，「俳誌のサロン」や先行研究の論文に掲載される段階で人間の染意が介在しており, 本研究の俳句の収集についても同様に, 日本語として成立しているものの中から 10 句収集した. したがって，いずれにしても人間の染意が介在している中での比較検討となる.

本研究には, 全国規模で活躍している 5 人の俳人に協力してもらう. 各評価者が計 30 句に $0 \sim 10$ 点の点数をつけることとする. その句の「得点」は，各評価者がつけた $0 \sim 10$ 点の点数の平均值とする.点数の基準については, 全国高等学校俳句選手権大会の採点基準[7]に基づき作成した「本研究の採点基準」にしたがって行う。

本研究俳句 10 句を $\mathrm{A}$ 群，人間の俳句 10 句を $\mathrm{B}$群, 先行研究の俳句 10 句を $\mathrm{C}$ 群とし, それぞれの句に $\mathrm{A}_{1} \sim \mathrm{A}_{10}, \mathrm{~B}_{1} \sim \mathrm{B}_{10}, \mathrm{C}_{1} \sim \mathrm{C}_{10}$ の ID を振る.

次に, $\mathrm{A}$ 群, $\mathrm{B}$ 群, $\mathrm{C}$ 群の句の得点をそれぞれ， $\mathrm{X}_{1}$, $\cdots, \mathrm{X}_{10}, \mathrm{X}_{11}, \cdots, \mathrm{X}_{20}, \mathrm{X}_{21}, \cdots, \mathrm{X}_{30}$ とする. 各句群の平均值は次のようになった。
- A群の得点平均値 5.28 点
- B 群の得点平均値 5.84 点
- C群の得点平均値 5.46 点

各句群の得点平均値は全て 5 点台であり，比較すると, (人間の俳句の得点) > (先行研究の俳句の得点) > (本研究の俳句の得点) となる.

ここで，ウィルコクソンの順位和検定を用いて，各句群の評価に有意差があるかどうか調べる. 本研究では,「本研究の俳句と先行研究の俳句」「本研究と人間の俳句」「先行研究と人間の俳句」3 通りについて，有意水準 5\%で検定を行う。

まず, 本研究の俳句と先行研究の俳句の比較を行う.

帰無仮説を, 「A 群と B 群の得点の母平均に差がある」と定める. A 群, $\mathrm{B}$ 群の得点, $\mathrm{X}_{1}, \cdots, \mathrm{X}_{10}, \mathrm{X}_{11}$, $\cdots, \mathrm{X}_{20}$ を並べ, 得点の高い順に 1 位から 20 位の順位を割り当てる. なお, 得点が同じ場合は平均順位を割り当てる. A 群の句に割り当てられた順位の和を統計量 $T_{\mathrm{a}}$ とする. $\mathrm{B}$ に割り当てられた順位の和を統計量 $\mathrm{T}_{\mathrm{b}}$ とする. データ数がともに 10 のとき，有意水準 $5 \%$ で検定すると， $\mathrm{T}_{\mathrm{a}}$ または $\mathrm{T}_{\mathrm{b}}$ のうち，值の小さいほうが 78 以上 132 以下にあるとき帰無仮説が棄却される.

$\mathrm{A}$ 群の順位和 $\mathrm{T}_{\mathrm{a}}=122.5, \mathrm{~T}_{\mathrm{b}}=87.5$ より, どちらも 78 以上 132 以下のため帰無仮説は棄却され, A 群と B 群の句の得点の母平均に有意差はなかった.

同様に「人間の俳句と先行研究の俳句」「本研究と先行研究の俳句」の比較を, 有意水準 $5 \%$ で行った. 結果を次にまとめる.
- A-B 群: $\mathrm{a}=122.5, \mathrm{~b}=87.5$
- B-C 群: $\mathrm{b}=91.0, \mathrm{c}=119.0$
- A-C 群: $\mathrm{a}=112.5, \mathrm{c}=97.5$

したがって,「人間の俳句」「本研究の俳句」「先行研究の俳句」に得点の有意差は無かった.

## 5 考察と展望

本研究の評価者には, 無記名の俳句に点数を付ける際に，任意で句評を記入してもらった。

本研究の俳句には,「単語から単語への飛躍が大きい.」「単語と単語の『取り合わせ』が成功していれば評価が高く, 失敗していれば意味や景を結べず評価が低くなる.」という評があった。これは単語ごとに生成するモデルに起因しており, 学習デー タを増やすことで『取り合わせ』の成功率を上げることが今後必要であると感じた.

人間の俳句については，「全体的に読める.」「人間臭い.」「単語同士の関係が意味で結ばれていて,機械らしい飛躍は減った.」と評があった.

先行研究の俳句には, 「連語や成句などによる単語自体の意味の希薄さが強い」という評があった.俳句において一般的に成句や連語が成功するのは難しい，例えば，「犬も歩けば棒に当たる」という成句は日本語として自然であるが，「春の空犬も歩けば棒に当たる」という俳句にしたとき，実際に眼前で犬が棒に当たる景が，成句「犬も歩けば棒に当たる」によって打ち消され，「犬」や「棒」という言葉の意味が希薄になるという問題点が生じるからである. $5 \cdot 7 \cdot 5$ の後半になるほど, 全体が日本語として意味が自然になるように, 語の飛躍を減らしたり,連語や成句を選択したりしてしまうLSTMモデルの問題点が顕著に出ている.

本研究の俳句と先行研究の俳句は「機械っぽい」 という同じ評価をもらったものの, 実際は真逆の「機械つぽさ」である. 本研究の俳句には, 1 単語ずつ逐次的に生成するモデルに起因した「日本語としての一句全体の違和感」という意味での「機械っぽさ」 が生じており, 先行研究の俳句には, LSTM を用いるモデルに起因した「全体を日本語として意味を自然にしようとしすぎるあまり，単語の意味が希薄になる」という意味での「機械っぽさ」が生じている. これは，それぞれのシステムモデルの問題点が顕著に現れている。

最後に先行研究においては日本語として破綻しているものに対し, 人為的にフィルタリングを行っているが，これはシステム上で解決できる問題である.今後の研究では, 日本語文法及び俳句の表現上の「型」 の観点からシステムの改良を試みたいと考える.

## 謝辞

採点に協力してくださった俳人の先生方をはじめ，研究を支えてくださったすべての方々に厚く御礼申し上げます。

## 参考文献

1. 米田航紀, 横山想一郎, 山下倫央, 川村秀憲:「LSTM を用いた俳句自動生成器の開発」, Proceedings of the Annual Conference of JSAI JSAI2018(0), 1B2OS11b01-1B2OS11b01, 2018

2. Sapporo AI Lab:「人工知能による俳句の自動生成に関する実証実験「AI 一茶くん」プロジェクト」， https://www.s-ail.org/works/aihaiku/

3. 現代俳句協会：「現代俳句データベース」，
http://www.haiku-data.jp/kigo.php

4. 「Janome v0.4 documentation (ja)」,

https://mocobeta.github.io/janome/

5. 陳博, 㴊田孝康, 泊大貴, 久永忠範:「オープンデ一タの RDF 化のための項目名のクラスタを使用し
た述語のサジェストに関する研究」，情報知識学会誌, Vol.30, No.2, pp.236-241, 2020

6.「俳誌のサロン」http://www.haisi.com/

7. 俳句甲子園実行委員会「『俳句甲子園』における審査基準（2018 年度版）


# 音声認識出力の曖昧性に頑健な音声翻訳のための 音声認識の精度ごとの性能比較

胡 尤佳 ${ }^{1}$ 須藤 克仁 ${ }^{1,2}$ Sakriani Sakti ${ }^{1,2,3}$ 中村 哲 ${ }^{1,2}$
1 奈良先端科学技術大学院大学 2 理化学研究所 革新知能統合研究センター AIP
 }^{3}$ 北陸先端科学技術大学院大学

\{ko.yuka.kp2, sudoh, s-nakamura\}@is.naist.jp; ssakti@jaist.ac.jp
## 概要

音声認識出力の曖昧性は，発音が似ている単語の関係を表していると考えられ，End-to-End 音声翻訳においても，この曖昧性を考慮したモデルが必要となる. 従来研究では, Multi-task 学習の End-to-End 音声翻訳において, 音声認識出力の分布による Sub-task の学習で精度の向上が見られた. 本研究では，音声認識出力の曖昧性に頑健な音声翻訳のためにどのような音声認識モデルが効果的か, また, Main-task と Sub-task の出力の関係について比較し,分析した.

## 1 背景と関連研究

音声翻訳 (Speech Translation; ST) は, 原言語音声を入力として目的言語テキストを出力する技術であり，音声認識 (Automatic Speech Recognition; ASR) と機械翻訳 (Machine Translation; MT) をつなぎ合わせた Cascade モデルと，原言語の音声を直接目的言語のテキストに翻訳する End-to-End モデルが考えられる. 近年ではニューラルネットワークを用いた系列変換技術により End-to-End モデルの研究が進んでいる.しかしながら, End-to-End モデルでは学習に原言語音声と目的言語テキストを用いるためデータが限られ，比較的容易にデータを入手できる Cascade モデルと比較して精度が低くなる傾向がある。

このような End-to-End モデルの精度を向上させるアプローチの 1 つとして, 原言語音声から目的言語テキストへの翻訳に原言語テキストへの音声認識を Sub-task として追加する Multi-task 学習 [1] が挙げられる. しかし, 一般的な Multi-task 学習で使われる cross entropy (CE) loss は, 正解トークンとの損失を計算し, 発音の似た予測結果と, 発音の似ていない予測結果の損失が同じになる可能性があるという問題がある. End-to-End 音声翻訳においてもこのような発音の類似度, 聞き間違えを考慮した翻訳が必要となる.

関連研究として, Osamura ら [2] は, Cascade モデルにおいて, One-hot ベクトルの代わりに，音声認識の事後確率分布を用いて機械翻訳をチューニングし，音声認識の曖昧性に対する頑健性を向上させた. また, Chuang ら [3] は, Multi-task End-to-End 音声翻訳における ASR-task で, 予測単語と正解単語の埋め込みベクトルのコサイン類似度を損失に利用し，意味の類似度の頑健な学習を実現した。

以上から着想を得た上で, 我々は, Multi-task 学習で音声翻訳を学習する際に, 音声認識の事後確率分布を用いた学習をする手法を提案し [4], 音声認識出力の曖昧性に対する頑健性の向上に寄与することを示した. 音声認識の事後確率分布は, 発音が似ている単語が同じようなスコアを持つことが期待され，単語間の発音の類似度の情報を保持する.これを reference として用いることで, 音声認識出力の曖昧性に対して頑健な音声翻訳が学習できたと期待できる. しかし，音声翻訳に利用可能な音声認識モデルの性能や, ST-task と ASR-task の出力の性能の関係が確認されていなかった.

本研究では, 音声認識出力の曖昧性を考慮した音声翻訳において, どのような音声認識モデルが効果的か, また Main-task と Sub-task の出力の関係を比較し，分析した。

## 2 Multi-task End-to-End 音声翻訳

$\mathbf{X}=\left(x_{1}, \ldots, x_{T}\right)$ を原言語の入力音声に対する音響特徴量の系列, $\mathbf{T}=\left(t_{1}, \ldots, t_{N}\right)$ を目的言語テキストのトークン系列, $\mathbf{S}=\left(s_{1}, \ldots, s_{M}\right)$ を原言語テキストのトークン系列とする. $v$ を語彙集合 $V$ の元とすると, $i$ 番目の目的言語記号の事後確率は以下の式で
表される

$
P_{\mathrm{ST}}\left(t_{i}=v\right)=p\left(v \mid \mathbf{X}, t_{<i}\right) .
$

$\mathrm{ST}$ の学習時の損失関数 $\mathcal{L}_{\mathrm{ST}}$ は，CE loss を用いて以下の式で表される

$
\mathcal{L}_{\mathrm{ST}}=-\sum_{i=1}^{N} \sum_{v \in V}^{V} \delta\left(v, t_{i}\right) \log P_{\mathrm{ST}}\left(t_{i}=v\right) .
$

式中の $\delta\left(v, t_{i}\right)$ は， $v=t_{i}$ のとき 1 ，そうでなければ 0 とする.

Encoder により隠れベクトルに変換され，その後 ST-task (Main-task) の Decoder と ASR-task (Sub-task) の Decoder の両方を用いて学習される. $v$ を語彙集合 $V$ の元とすると, $i$ 番目の目的言語記号の事後確率は以下の式で表される

$
P_{\mathrm{ASR}}\left(s_{i}=v\right)=p\left(v \mid \mathbf{X}, s_{<i}\right) .
$

$\mathrm{ASR}$ 学習時の損失関数 $\mathcal{L}_{\mathrm{ASR}}$ は以下の式で表される

$
\mathcal{L}_{\mathrm{ASR}}=-\sum_{i=1}^{M} \sum_{v \in V}^{V} \delta\left(v, s_{i}\right) \log P_{\mathrm{ASR}}\left(s_{i}=v\right) .
$

ST-task の損失関数を $\mathcal{L}_{\mathrm{ST}}$ ，ASR-task の損失関数を $\mathcal{L}_{\mathrm{ASR}} ， \mathcal{L}_{\mathrm{ASR}}$ に対する重みを $\lambda_{\mathrm{ASR}}$ とすると，学習時全体の損失関数 $\mathcal{L}$ は以下の式で表される

$
\mathcal{L}=\left(1-\lambda_{\mathrm{ASR}}\right) \mathcal{L}_{\mathrm{ST}}+\lambda_{\mathrm{ASR}} \mathcal{L}_{\mathrm{ASR}}
$

## 3 実験に用いる手法

以下の二種類の損失関数を，音声認識出力を reference とした soft label から計算される $\mathcal{L}_{\text {soft }}$ として用い，比較，分析をした。また，本稿では， $\mathcal{L}_{\text {soft }}$ に対して，式 4 における $\mathcal{L}_{\mathrm{ASR}}$ を, hard label (正解系列)による CE loss として $\mathcal{L}_{\text {hard }}$ と表す.

## 3.1 ASR-PBL: ASR Posterior-based Loss [5]

ASR-task において，事前学習された ASR の事後確率分布のベクトルを reference として用いる. ASR 事後確率分布は，事前学習された ASR を用いて得られた，各トークンに対するスコアを持ったべクトルの softmax を取り, soft label とする. soft label において $i$ 番目のトークン $v$ のスコアを $P_{\mathrm{soft}}(i, v)$ とすると，提案手法よる損失 $\mathcal{L}_{\text {soft }}$ は以下の式で表される

$
\mathcal{L}_{\text {soft }}=-\sum_{i=1}^{M} \sum_{v \in V}^{V} P_{\text {soft }}(i, v) \log P_{\mathrm{ASR}}\left(s_{i}=v\right) .
$

本実験では， $\mathcal{L}_{\text {ASR }}$ を以下の式として定義し， $\mathcal{L}_{\text {hard }}$ と $\mathcal{L}_{\text {soft }}$ の割合を，重み $\lambda_{\text {soft }}$ で調整できるようにし，

$
\mathcal{L}_{\text {ASR }}=\left(1-\lambda_{\text {soft }}\right) \mathcal{L}_{\text {hard }}+\lambda_{\text {soft }} \mathcal{L}_{\text {soft }} .
$

式 7 の損失を ASR Posterior-based Loss といい，本稿では ASR-PBLと表す.

## 3.2 ASR-SBL: ASR Sequence-based Loss

ASR-PBL では，ASR 事後確率分布を reference として用いていたが，ASR 出力の One-best 系列を reference とした損失も考えることができる. この場合，どの単語とどの単語が間違いやすいかという情報を保持し, 音声認識出力の誤りに対して頑健な音声翻訳が期待できる. $\hat{\mathbf{S}}=\left(\hat{s}_{1}, \ldots, \hat{s}_{M}\right)$ を，ASR モデルによって予測された One-best の原言語テキストのトークン系列とすると， $\mathcal{L}_{\text {soft }}$ は以下の式で表される

$
\mathcal{L}_{\mathrm{ASR}}=-\sum_{i=1}^{M} \sum_{v \in V}^{V} \delta\left(v, \hat{s}_{i}\right) \log P_{\mathrm{ASR}}\left(\hat{s}_{i}=v\right)
$

本実験では，hard loss と式 8 の soft loss を式 7 のように重み付き和で足し合わせた損失を，ASR Sequence-based Loss といい，本稿では ASR-SBL と表す.

## 4 実験

本実験ではデータセットとして, Fisher Spanish Corpus (Spanish-English) [6] と, MuST-C TED-talks (English-German) [7]を用いた。本稿では，それぞれを Fisher, MuST-Cとし，以下の実験をした。
- Fisher: ASR-PBL, ASR-SBL
- MuST-C: ASR-SBL

音響特徴量は，Kaldi [8] により抽出した， 3 次元の pitch が付加された 83 次元の Fbank+pitch を用い, train データは, 音声のスピードを 0.9 倍と 1.1 倍に調整したものを加えた.テキストは MuST-C の目的言語テキスト以外は，句読点，記号を取り除き小文字化し，音響特徴量はフレーム長 3000 ，テキストは文字数が 400 より大きいものを取り除いた. Tokenizer は SentencePiece [9] を用い，最大語彙数を Fisher は 1000，MuST-C は 8000 とした. ASR，ST モデルは ESPnet [10]を用い, Transformer [11]により作成した. ST は, Fisher が batch size: 64, accum grad: 4, MuST-C が batch size: 32, accum grad: 8，それ以外の基本的なモデルの設定は ESPnet のデフォルトの值に従った. ST モデルは, epoch 30 で学習した後, dev データの BLEUスコア [12] が高いモデルを 5つ model averaging し, Fisher では Fisher test, MuST-C では tst-COMMON で評価した. 本穾験では, 式 5,7 における $\lambda_{\mathrm{ASR}}=$ 0.5 , Fisher ASR-PBL: $\lambda_{\text {soft }}=\{0.1,0.3,0.5,0.7,0.9,1.0\}$,

表 1 Fisherにおける soft-0.5, 1.0 での ASR モデルごとの ASR-PBL と ASR-SBL(LSM) の結果.

表 2 MuST-Cにおける soft-0.5,1.0での ASR モデルごとの ASR-SBL(LSM) の結果.

Fisher ASR-SBL: $\lambda_{\text {soft }}=\{0.5,1.0\}$, MuST-C ASR-SBL: $\lambda_{\text {soft }}=\{0.25,0.5,0.75,1.0\}$ とした. $L_{\mathrm{ST}}$ は全て label smoothing weight 0.1 で label smoothing した CE loss(以下，CE-LSM)を用いた. soft label の作成に必要な事前学習された ASR モデルは，実験に用いる soft label の WER が高いものから低いものを用意し，それらから生成された soft labelを用いて ASR-PBL, ASR-SBL の学習に用いた (付録 7.1). ASR-SBL では，CE loss と同様，label smoothing を加えた設定 (ASR-SBL(LSM)) と加えていない設定 (ASR-SBL) で実験した.

## 5 実験結果と分析

Fisher test における ST の BLEU の結果を表 1 に示す. (soft-0.5は $\lambda_{\text {soft }}=0.5$ を意味する。 また, baseline を CE, CE-LSM とし，それらより BLEU が向上したものを太字で示す. ) また，それぞれの FisherのST モデルの $\lambda_{\text {soft }}$ ごとの ST-task BLEU と ASR-task WER の変化を図 1 に示す (全ての図は付録 7.2 を参照). MuST-C (tst-COMMON) における ST の BLEU の結果を表 2 に示す。また，それぞれの MuST-C モデルの $\lambda_{\text {soft }}$ ごとの ST-task BLEU と ASR-task WER の変化を図 2 に示す。

表 1 から，soft-0.5 の ASR-PBL と ASR-SBL において，ほとんどの場合で CE, CE-LSM と比較して精度の向上が見られ, 大体の場合 soft-1.0を上回る結果となった. よって，ASR-SBLが音声認識誤りに頑健なモデルの作成に効果的であることがわかった. 図 1 から，ASR-PBL, ASR-SBL の両方で，soft-0.5 のときに BLEU が一番高い値を取ることが多い結果になった. ASR-SBL に関しては図 1 から，label smoothing を入れた ASR-SBL(LSM) が多くの場合 ASR-SBLを上回ったため，表 1 に ASR-SBL(LSM) のみを記載しているが，label smoothing を入れていない ASR-PBL が ASR-SBL(LSM) と同程度の性能を出すことができていることが分かり，分布レベルの学習によって label smoothing に近い効果も得られていることが予想される. soft-1.0 の結果は，ASR-PBL と ASR-SBL の両方において，Epoch-6 から Attn-CTC-Specaug $へ$ と WER が低いモデルになるにつれて，BLEU が高くなっていることが分かり，誤りが大きすぎるモデルを用いると精度の低下がみられることが分かる。

(a) Epoch-6 BLEU

(c) Epoch-10 BLEU

(e) Attn BLEU

(g) Attn-CTC-Specaug BLEU

(b) Epoch-6 ASR-task WER

(d) Epoch-10 ASR-task WER

(f) Attn ASR-task WER

(h) Attn-CTC-Specaug ASR-task WER図 1 Fisher (Fisher test) の BLEU と ASR-task WER.

図 1 からも，soft-1.0 に注目すると，WERが低いモデルの結果になるにつれて，ASR-task WERが高い状態から下がっていき，BLEU の向上が見られる.

また，Epoch-6, 8, 10 のような WER が高いモデルでの実験に関しても hard loss と混ぜることにより，BLEU の向上が見られ，学習時の label に曖昧性や誤りが perturbation となって加えられることによる効果とみられる。しかし, Attn-CTC や Attn-CTC-Specaug といった, WER が低いモデルに関しては, ASR-PBL の soft-0.5 において BLEU の向上が見られなかった. 図 1 からも, Attn-CTC と Attn-CTC-Specaug の $\lambda_{\text {soft }}$ ごとの ASR-task WER の差は小さくなり収束しているが，それに伴った BLEU の向上は $\lambda_{\text {soft }}$ ごとに見ても確認できなかった. このことは，Fisher が電話の日常会話音声を収録したもので，聞き返しが必要となるような聞き間違えが起こりやすいデータと考えられ，信頼度が高く分

(a) Attn-Specaug BLEU

(c) Attn BLEU

(b) Attn-Specaug ASR-task WER

(d) Attn ASR-task WER図 2 MuST-C (tst-COMMON) の BLEU と ASR-task WER.

布が鋭いものより滑らかな分布が Fisher における ASR-PBL では効果的であると考えられる。

表 2 から，MuST-C では，CEの baseline と比較して BLEU の向上は見られるものの，CE-LSM を上回る結果はなく，soft-0.5 が CE-LSM と同じぐらいの結果になったことがわかる. 図 2 から，ASR-task WER が滑らかで，BLEU の変動があまり見られず，今回実験に用いた soft label に含まれる誤りが少ないことから， hard loss と比較して大きな変化がなかったとみられる。今後はより誤りが多い soft label で学習した場合や，滑らかな分布で学習した場合の精度の変化を調査する必要がある.

## 6 まとめと今後の展望

本研究では，音声認識の事後確率分布，誤りを用いて，End-to-End 音声翻訳を学習する方法で，学習に有効な音声認識の性能は，soft loss のみを用いる場合は，誤りが少ないモデルがより効果的だが， ASR-PBL で hard loss と soft loss を混ぜて使う場合は，誤りがとても少ないモデルだと効果が下がることがわかり，鋭い分布よりも滑らかな分布が有効であることがわかった。また，ST-task の BLEUが高い場合，ASR-task の WER も下がる傾向があることが分かった.

今後の課題として，学習の際に適切な分布がどのような特徴を持っているのかの定量的な調査 (分布の鋭さなど) を考えている．また，本研究では train set の数だけラベルを Decode する必要がある点でコストが高いため，生成ラベルを削減して実現できる手法も考えている.

## 謝辞

本研究の一部は JSPS 科研費 JP21H05054 の助成を

受けたものである.

## 参考文献

[1] Ron J. Weiss, Jan Chorowski, Navdeep Jaitly, Yonghui $\mathrm{Wu}$, and Zhifeng Chen. Sequence-to-sequence models can directly translate foreign speech. In Francisco Lacerda, editor, Interspeech 2017, 18th Annual Conference of the International Speech Communication Association, Stockholm, Sweden, August 20-24, 2017, pp. 26252629. ISCA, 2017.

[2] Kaho Osamura, Takatomo Kano, Sakriani Sakti, Katsuhito Sudoh, and Satoshi Nakamura. Using spoken word posterior features in neural machine translation. Proceedings of the 15th International Workshop on Spoken Language Translation, 181-188, Oct. 2018.

[3] Shun-Po Chuang, Tzu-Wei Sung, Alexander H. Liu, and Hung-yi Lee. Worse wer, but better bleu? leveraging word embedding as intermediate in multitask end-to-end speech translation. In Dan Jurafsky, Joyce Chai, Natalie Schluter, and Joel R. Tetreault, editors, Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, ACL 2020, Online, July 5-10, 2020 , pp. 5998-6003. Association for Computational Linguistics, 2020.

[4] 胡尤佳, 須藤克仁, Sakriani Sakti, 中村哲. 音声認識仮説の曖昧性を考慮する Multi-task End-to-End 音声翻訳. 言語処理学会第 27 回年次大会 (NLP2021), 2021.

[5] Yuka Ko, Katsuhito Sudoh, Sakriani Sakti, and Satoshi Nakamura. ASR Posterior-Based Loss for Multi-Task Endto-End Speech Translation. In Proc. Interspeech 2021, pp. 2272-2276, 2021.

[6] Christopher Cieri, David Miller, and Kevin Walker. The fisher corpus: a resource for the next generations of speechto-text. In Proceedings of the Fourth International Conference on Language Resources and Evaluation, LREC 2004, May 26-28, 2004, Lisbon, Portugal. European Language Resources Association, 2004.

[7] Mattia A Di Gangi, Roldano Cattoni, Luisa Bentivogli, Matteo Negri, and Marco Turchi. Must-c: a multilingual speech translation corpus. In 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 2012-2017. Association for Computational Linguistics, 2019.

[8] Daniel Povey, Arnab Ghoshal, Gilles Boulianne, Lukas Burget, Ondrej Glembek, Nagendra Goel, Mirko Hannemann, Petr Motlicek, Yanmin Qian, Petr Schwarz, et al. The kaldi speech recognition toolkit. In IEEE 2011 workshop on automatic speech recognition and understanding, No. CONF. IEEE Signal Processing Society, 2011.

[9] Taku Kudo and John Richardson. Sentencepiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Proceedings of the
2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, 2018.

[10] Shinji Watanabe, Takaaki Hori, Shigeki Karita, Tomoki Hayashi, Jiro Nishitoba, Yuya Unno, Nelson-Enrique Yalta Soplin, Jahn Heymann, Matthew Wiesner, Nanxin Chen, et al. Espnet: End-to-end speech processing toolkit. Proc. Interspeech 2018, pp. 2207-2211, 2018.

[11] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in neural information processing systems, pp. 5998-6008, 2017.

[12] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th annual meeting of the Association for Computational Linguistics, pp. 311-318, 2002.

[13] Daniel S. Park, William Chan, Yu Zhang, Chung-Cheng Chiu, Barret Zoph, Ekin D. Cubuk, and Quoc V. Le. Specaugment: A simple data augmentation method for automatic speech recognition. In Gernot Kubin and Zdravko Kacic, editors, Interspeech 2019, 20th Annual Conference of the International Speech Communication Association, Graz, Austria, 15-19 September 2019, pp. 2613-2617. ISCA, 2019.

[14] Alex Graves, Santiago Fernández, Faustino J. Gomez, and Jürgen Schmidhuber. Connectionist temporal classification: labelling unsegmented sequence data with recurrent neural networks. In William W. Cohen and Andrew W. Moore, editors, Machine Learning, Proceedings of the Twenty-Third International Conference (ICML 2006), Pittsburgh, Pennsylvania, USA, June 2529, 2006, Vol. 148 of ACM International Conference Proceeding Series, pp. 369-376. ACM, 2006.

[15] Shinji Watanabe, Takaaki Hori, Suyoun Kim, John R Hershey, and Tomoki Hayashi. Hybrid ctc/attention architecture for end-to-end speech recognition. IEEE Journal of Selected Topics in Signal Processing, Vol. 11, No. 8, pp. 1240-1253, 2017.

## 7 付録 (Appendix)

## 7.1 事前学習 ASR モデルの設定

## 7.1.1 Fisher

1. Epoch-6, 8, 10
- Attention で epoch 30 まで学習した際に保存された, epoch $6,8,10$ のモデル.

2. Attn-Specaug
- Attention+SpecAugment [13] で epoch 50 まで学習した中で, dev データの accuracy が最も高かったモデル。

3. Attn
- Attention で epoch 30 まで学習した中で, dev データの accuracy が最も高かったモデル.

4. Attn-CTC
- Hybrid CTC/Attention [14, 15] で epoch 50 まで学習した中で，dev データの accuracy が最も高かったモデル. Attention に対する CTC の重みは 0.3 .

## 5. Attn-CTC-Specaug
- Hybrid CTC/Attention + SpecAugment で epoch 50 まで学習した中で, devデータの accuracy が最も高かったモデル. Attentionに対する CTC の重みは 0.3 .

表 3 Fisherの soft label における WER.

## 7.1.2 MuST-C

Total epoch: 45 / Batch size: 64 / Accum grad: 4

表 4 MuST-C の soft label における WER.

## 7.2 Fisher の BLEU と ASR-task WER (全て の図)

(a) Epoch-6 BLEU

(c) Epoch-8 BLEU

(e) Epoch-10 BLEU

(g) Attn-Specaug BLEU

(i) Attn BLEU

(k) Attn-CTC BLEU

(m) Attn-CTC-Specaug BLEU

(b) Epoch-6 ASR-task WER

(d) Epoch-8 ASR-task WER

(f) Epoch-10 ASR-task WER

(h) Attn-Specaug ASR-task WER

(j) Attn ASR-task WER

(1) Attn-CTC ASR-task WER

(n) Attn-CTC-Specaug ASR-task WER図 3 Fisher (Fisher test) の BLEU と ASR-task WER.


# 目的言語文の固有表現タグ付与に基づく Transformer ニューラル機械翻訳

南端 尚樹，
田村 晃裕,
同志社大学 理工学部
\{cguc1041@mail4, aktamura@mail, tsukato@mail\}.doshisha.ac.jp

## 概要

本研究では，目的言語文の固有表現（NE）をタグの付与により考慮する Transformer に基づくニュー ラル機械翻訳（NMT）モデルを提案する．目的言語文の NEを考慮する従来の NMT は，原言語と目的言語間で対応付いた $\mathrm{NE}$ 部分を，NE の種類を表す記号に置き換えて翻訳を行う。そのため，原言語側と対応付かない目的言語文の NE は考慮できない。 また，NE の構成単語を原言語文の翻訳で考慮できない. そこで本研究では, 目的言語文内の $\mathrm{NE}$ の前後に NE の種類と開始/終了情報を含むタグを追加して翻訳を行う，Transformer NMT モデルを提案する. WMT2014 の英語とドイツ語間のニュース翻訳タスクにおいて提案モデルを評価した結果，目的言語文の NE を考慮しないべースラインの NMT に比べて，英独翻訳では最大 0.09 ポイント，独英翻訳では最大 0.35 ポイント BLUEが向上した.

## 1 はじめに

NLP では古くから機械翻訳の研究が行われており，近年では，NMT の研究が盛んである。NMT の性能改善を目指す研究の流れの一つとして, 原言語文や目的言語文中の単語の品詞や文構造といった言語学的素性を活用する試みが行われている。 その中で，言語学的素性として，人名や地名，組織名といった特定の表現を表す NE に着目し，NEを活用するNMT の研究が行われている $[2,3,4,9]$.

$\mathrm{NE}$ を活用する従来の NMT モデルのほとんどは，原言語文に対する NEの認識（NER）結果を用いる. $\mathrm{NE}$ には複合語が多く存在するため, 原言語文の $\mathrm{NE}$情報を NMT に与えることで原言語文中の単語のチャンク情報を翻訳時に活用できる。 また，多義語に対する NER は翻訳時の語義曖昧性を減らす効果があるという報告もある [9]. しかし，これらの従来モデルは目的言語文の NE を活用していない.

目的言語文の NE を考慮する NMT モデルは， $\mathrm{Li}$ ら [2]により提案されている. この従来モデルは，原言語文と目的言語文の双方で NER を行い，原言語と目的言語間で対応付いた $\mathrm{NE}$ 部分を，その $\mathrm{NE}$ の種類を表す記号 $(\mathrm{NE} \text { 種別記号 })^{1)}$ で置き換えた文をNMT で翻訳する。そのため，原言語文と目的言語文の両方の $\mathrm{NE}$ タガーが必要である. そして，原言語と目的言語間で対応付いた NEしか活用できないため，原言語側と種類や粒度が異なる目的言語文の $\mathrm{NE}$ の情報は失われる。また， $\mathrm{NE}$ 部分は記号に置き換わってしまうため, NE の構成単語を考慮して原言語文を翻訳できない。

そこで本研究では，目的言語文中の $\mathrm{NE}$ の前後に， NE の種類と開始／終了情報を含むタグを付与して翻訳を行う，Transformer NMT モデルを提案する。提案モデルでは，原言語と目的言語間で NER 結果の対応付けを行わずに，目的言語の NER の結果にのみ基づいて目的言語文の NE を活用する。そのため，原言語と目的言語で $\mathrm{NE}$ の種類や粒度が異なっていても，NER で認識された全ての NEを考慮できる. さらに，提案モデルでは目的言語文内の単語を削除しないため，NE の構成単語を考慮した翻訳が可能である.

WMT2014 の英語とドイツ語間のニュース翻訳タスクにおいて提案モデルを評価した結果，目的言語文の NE を考慮しないべースライン NMT に比べて，英独翻訳では最大 0.09 ポイント，独英翻訳では最大 0.35 ポイント BLUE が向上した.

## 2 従来モデル

本節では，目的言語文の $\mathrm{NE}$ 考慮する従来の NMT モデル [2]を説明する。従来モデルは，原言語

1）数値・時間表現を表す「 $\mathrm{N} / \mathrm{T}\lrcorner$ ，地名を表す「 $\mathrm{LOC}\lrcorner ， 人$ 名を表す「PER」の 3 種類の NE 種別記号を使用している.

と目的言語間で対応付いた NEを NE 種別記号で置き換えた文を翻訳する文翻訳機と，NEを独立に翻訳する $\mathrm{NE}$ 翻訳機で構成される。文翻訳機と $\mathrm{NE}$ 翻訳機は，それぞれ，単語レベルと文字レベルの RNN に基づくNMT[1]を用いている.

学習時には，教師データである対訳文の原言語文及び目的言語文に対して NERを行い，認識された $\mathrm{NE}$ 原言語と目的言語間で自動で対応付ける. そして，対応付いた NEを $\mathrm{NE}$ 種別記号で置き換えた対訳文を文翻訳機の教師データ，対応付いた NE の対を $\mathrm{NE}$ 翻訳機の教師データとして使用する.

推論時には，原言語文に対して NERを行い，認識された NEを NE 種別記号に置き換えた文を文翻訳機で翻訳する。また，認識された $\mathrm{NE}$ を $\mathrm{NE}$ 翻訳で翻訳する. そして, 文翻訳機の結果と $\mathrm{NE}$ 翻訳機の結果を統合することで目的言語文を生成する.

この従来モデルには大きく 2 つ問題点がある. 1 つ目は，考慮できる NEが限られることである。従来モデルは，原言語と目的言語間で対応付いた $\mathrm{NE}$ しか活用できないため，原言語側と種類や粒度が異なる目的言語文の NE の情報は失われてしまう.また，原言語の NE タガーが用意できない場合，目的言語の NE タガーが用意できたとしても目的言語の NE を活用することはできない。2つ目は，NE 部分を NE 種別記号に置き換えてしまうため，文翻訳機では NE の構成単語を考慮した翻訳を行えないことである. 翻訳する際の手がかりから $\mathrm{NE}$ の構成単語の情報が失われるので，特に NE を正しく認識できなかった場合， $\mathrm{NE}$ 種別記号に置き換えることで翻訳性能が悪化する可能性がある。

## 3 提案モデル

本研究では，目的言語文中の $\mathrm{NE}$ の前後に，NE の種類と開始／終了情報を含む NE タグを付与して翻訳を行う，Transformer NMT モデルを提案する。図 1 亿提案モデルの概要を示す.

提案モデルでは，学習時に，教師データである対訳文の目的言語文に対して NER を行い，目的言語文内の $\mathrm{NE}$ を特定する. そして, 特定した $\mathrm{NE}$ の前に「<NE 種別>」，後に「</NE 種別>」という $\mathrm{NE}$ タグを付与する. 図 1 では, 「Patric Fresacher」という $\mathrm{NE}$ の前後に，種別が人名である $\mathrm{NE}$ の開始と終了を表す「<PER>」と「</PER>」がそれぞれ付与されている.この NE タグを付与した目的言語文を用いて Transformer NMT[10] を学習する。 推論時は, 学習し

## 学習時

However, Director Patrick

Fresacher seems to have little trust in the text.
Dabei scheint Regisseur Patrick Fresacher dem Text wenig zu vertrauen

Dabei scheint Regisseur <PER> Patrick Fresacher $\langle/ P E R>$ dem Text wenig zu vertrauen

Transformer

## 推論時

図 1 提案モデルの概要図

た Transformer NMT で原言語文を翻訳する。その結果，生成された文に NE タグが含まれている場合は， NE タグを削除した文を目的言語文として出力する。

提案モデルで原言語側の $\mathrm{NE}$ を活用する際は，学習時に，対訳文中の原言語文にも目的言語文と同様に NE タグを付与し，原言語文と目的言語文共に NE タグが付与された対訳文対から Transformer NMT を学習する。推論時には，原言語文に対して NERを行い NE タグを付与してから，学習した Transformer NMT で翻訳を行う。そして，生成した文に NE タグが含まれている場合には，NE タグを削除した文を目的言語文とする.

このように，提案モデルでは原言語の NER に依らず，目的言語のNER で識別された全てのNEを考慮できる。また提案モデルでは，元々の目的言語文の情報に NE の情報が追加される（NE の構成単語の情報が失わない）ため，NER の認識誤りによる悪影響を抑えることができると考えられる。

## 4 実験

## 4.1 実験設定

本実験では，提案モデルの有効性を WMT2014 の英語とドイツ語間のニュース翻訳タスク2)において

表 1 教師データ中の NE の統計量

} & $27.06 \%$ & $34.80 \%$ \\

検証する。提案モデルのベースとする Transformer NMT は，Fairseq[6] の Transformer Base を使用した. この $\mathrm{NE}$ を考慮しないベースモデルと，ベースモデルで原言語のNEのみを考慮するモデル，目的言語の $\mathrm{NE}$ みを考慮するモデル，原言語と目的言語の両言語の $\mathrm{NE}$ 考慮するモデルの 4 つのモデルの性能を評価し，比較する。翻訳性能の評価指標は BLEU（\%）を用いる。ハイパーパラメータは Vaswani ら [10] の設定に従った. 英語文とドイツ語文は BPE でサブワード分割した。語彙は両言語で共有し語彙サイズは 40,000 とした。また学習は，開発データに対する性能が 5 エポック連続で向上しなくなったら終了させた.

NE タガーは Stanza[7] を使用した. 英語の NER モデルは CoNLL-2003 のデータから学習したモデル， ドイツ語の NER モデルは GermEval 2014 のデータから学習したモデルを使用した. 各モデルが認識する $\mathrm{NE}$ は，「LOC（地名全般）」，「ORG（企業，団体，組織など)」，「PER（架空の人物も含む人名）」，「MISC （その他の固有表現）」の 4 種類である. 表 1 に，本実験で使用する教師データにおいて NE タガーで認識された NE の統計量を示す。表 1 より，認識した NE の数は英語の方がドイツ語よりも多いことが分かる.

## 4.2 実験結果

実験結果を表 2 に示す。表 2 より，英独翻訳と独英翻訳の両方で，NE を考慮しないモデルと原言語文の $\mathrm{NE}$ のみを考慮するモデルのどちらに対しても，目的言語文の NE を考慮することで BLEU が改善できることが分かった. また，原言語と目的言語の両言語の NE を考慮したモデルの方が，目的言語の NE のみを考慮したモデルよりも BLEU が高くなった。この結果から，目的言語の NE の情報と原表 2 英独 / 独英翻訳性能

表 $3 \mathrm{NE}$ の有無別翻訳性能

言語の NE の情報を組み合わせることで翻訳性能をより改善できることが分かった。

## 5 考察

## 5.1 評価データでの NE の有無による違い

評価データの参照文に対して NER を行い，評価データを NE を含む文と含まない文に分け，それぞれに対する翻訳性能を調べた。結果を表 3 に示す。

評価の結果，NEを含まない文に対しては，目的言語の $\mathrm{NE}$ 考慮することにより，独英翻訳では BLEU は改善したが英独翻訳では BLEU は低下した. 一方，NEを含む文に対しては，英独翻訳と独英翻訳の両方で，提案モデルはベースラインモデルと同等もしくは高い BLEU となった.このことから，提案モデルは狙い通り NE を含む文に対して有効であることが確認できた．しかし一方で，NEを含まない文に対しては悪影響を及ぼす場合があることが分かった。

## 5.2 NE の再現率

NE に対する翻訳性能を調べるために，各モデルが生成した目的言語文に対して，参照文で出現して
表 4 NE の再現率

表 5 英語 NE タガーとして OntoNotes モデル使用時の独英翻訳性能

いる NE の再現率を調査した．再現率を計算する際は，参照文の NE の文字列がモデルの出力文に含まれている場合に再現できたとみなした. 結果を表 4 に示す. 表 4 では, $\mathrm{NE}$ を構成するサブワード数毎の再現率も示す.

表 4 より，NE 全体の再現率について，英独翻訳においては目的言語文の NEを考慮することで再現率が改善したことが分かる。一方，独英翻訳においては，原言語文の $\mathrm{NE}$ のみを考慮したモデルと比較すると目的言語文の NEを考慮することで再現率が低下した. NE を構成するサブワード数毎の再現率をみると，1 つのサブワードで構成される NE に関しては，全ての設定で，目的言語の $\mathrm{NE}$ を活用することにより再現率が同等あるいは改善している. そして，構成するサブワード数が増えるほど再現率自体が低下し，また，目的言語の $\mathrm{NE}$ を考慮することで悪化しやすくなる傾向があった. これらのことから，提案モデルは，一つのサブワードで構成される $\mathrm{NE}$ の翻訳には有効であることが確認できた。

## 5.3 使用する NER モデルの影響

本節では，提案モデルの有効性が，使用する $\mathrm{NE}$ タガーによりどのように変化するかを考察する。具体的には, 英語の NE タガーとして, OntoNotes コーパスから学習した Stanza の NER モデルを使用した際の提案モデルの独英翻訳性能を評価する. OntoNotes モデルは, CoNLL03 モデルが認識する「LOC $\lrcorner, 「 \mathrm{ORG}\lrcorner ， 「 \mathrm{PER}\lrcorner$ に加えて，数を表す 「CARDINAL」や日付表現を表す「DATE」など，合計 18 種類の $\mathrm{NE}$ を認識する. 本実験の教師デー タに対して認識された $\mathrm{NE}$ 部分の総サブワード数は 14,310,222, NE を含む文数は 2,532,606であり, CoNLL03 モデルと比較して認識された NE の割合は大きくなった.

評価結果を表 5 に示す. 表 5 より，英語の $\mathrm{NE}$ タガーとして OntoNotes モデルを使用した場合でも，目的言語文の $\mathrm{NE}$ 考慮する有効性を確認できた。 このことから，提案モデルは NER で使用する NE の種類によらず，翻訳性能の改善に効果があることが分かった. ただし, OntoNotes モデルに変更することで認識された $\mathrm{NE}$ の割合は増えたにもかかわらず，原言語の $\mathrm{NE}$ 考慮した場合においては CoNLL03 モデルを使用した場合の方が有効であった. 使用する $\mathrm{NE}$ タガーと提案モデルの有効性の関係に関するより詳細な調査は今後行っていきたい.

## 6 おわりに

本研究では，目的言語文の NE の情報をタグの付与により考慮する Transformer に基づく NMT モデルを提案した．WMT2014 の英独／独英ニュース翻訳タスクにおいて，提案モデルにより翻訳性能が改善できることを確認した．また，実験結果を分析することで，提案モデルは，一つのサブワードで構成される $\mathrm{NE}$ の翻訳に有効であることを確認した. 今後は複数のサブワードで構成される NE に対しても有効なモデルに改良していきたい.

## 参考文献

[1] Dzmitry Bahdanau, Kyunghyun Cho, and Yoshua Bengio. Neural machine translation by jointly learning to align and translate. In Proceedings of the 3rd International Conference on Learning Representations, 2015.

[2] Xiaoqing Li, Jinghui Yan, Jiajun Zhang, and Chengqing Zong. Neural name translation improves neural machine translation. In Proceedings of the 14th China Workshop on Machine Translation, pp. 93-100. Springer, 2018.

[3] Zhongwei Li, Xuancong Wang, Ai Ti Aw, Eng Siong Chng, and Haizhou Li. Named-entity tagging and domain adaptation for better customized translation. In Proceedings of the Seventh Named Entities Workshop, pp. 41-46, 2018.

[4] Maciej Modrzejewski, Miriam Exel, Bianka Buschbeck, Thanh-Le Ha, and Alexander Waibel. Incorporating external annotation to improve named entity translation in NMT. In Proceedings of the 22nd Annual Conference of the European Association for Machine Translation, pp. $45-51,2020$.

[5] Graham Neubig, Zi-Yi Dou, Junjie Hu, Paul Michel, Danish Pruthi, and Xinyi Wang. compare-mt: A tool for holistic comparison of language generation systems. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (Demonstrations), pp. 35-41, 2019.

[6] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A fast, extensible toolkit for sequence modeling. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (Demonstrations), pp. 48-53, 2019.

[7] Peng Qi, Yuhao Zhang, Yuhui Zhang, Jason Bolton, and Christopher D. Manning. Stanza: A python natural language processing toolkit for many human languages. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: System Demonstrations, pp. 101-108, 2020.

[8] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1715-1725, 2016.

[9] Arata Ugawa, Akihiro Tamura, Takashi Ninomiya, Hiroya Takamura, and Manabu Okumura. Neural machine translation incorporating named entity. In Proceedings of the 27th International Conference on Computational Linguistics, pp. 3240-3250, 2018.

[10] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in neural information processing systems, pp. 5998-6008, 2017.