# 新規用途探索を目的とした技術文書からの材料情報抽出

有馬隆広 大熊智子 出羽達也
旭化成株式会社
\{arima.tf, okuma.td, izuha.tb\}@om.asahi-kasei.co.jp

## 概要

近年，材料分野において自然言語処理技術に大き な期待が寄せられている。その中でも特に強いニー ズとして新規材料の用途探索がある.とりわけ，ま だ工業製品で汎用的に採用されていない新規材料に は様々な用途が想定されるため, 用途探索は材料開発の現場において重要度の高い業務である. 本稿で は，用途探索が必要な新規材料の例として金属有機構造体 (MOF) を対象にした特許文書の要旨を題材 にする。特許文書から材料名と発明の用途を固有表現抽出によって取得し，その結果にもとづいて本夕 スクの課題について議論する。

## 1 はじめに

材料分野において自然言語処理技術への大きな期待が寄せられている. 特許文書や学術論文から材料 に関わる情報を抽出して知識べースに新規化合物を 登録することや，材料の合成プロセスを抽出して実験を支援することが望まれている。さらに，この分野特有のニーズとして用途探索がある. 特にまだ汎用的に利用されていない次世代の新素材にはその素材の持つポテンシャルにもとづき様々な用途が想定 されるため, 研究開発の現場において重要度の高い 業務である.

このような背景から，技術文書からの材料情報の 抽出は国内外で取り組まれてきた。 上述のような知識ベースの構築や実験プロセスの自動抽出を目的と した辞書やコーパスが公開されてる. しかし，その 抽出対象は主に材料，物性，操作に関するものであ りここで対象とする用途に関する情報の抽出に取り 組んだ事例は殆どない.

本稿では，材料開発における用途探索業務の支援 を目指して，英文特許文書からの情報抽出を行う.用途探索が必要な新規材料の例として金属有機構造体（MOF）を対象にした特許文書の要旨を題材にす る. 図 1 に示すように材料と用途を示す表現にアノ

図 1 特許文書における材料（material）と用途（usage）

テーションを行った. 用途と材料の情報抽出には BERT と BERT+CRFを用いた. 評価実験の結果にも とづき，本タスクの課題について議論する。

## 2 関連研究

特許文書から有用な情報を抽出する試みは以前か ら取り組まれてきた. [1] では特定の構文パターン を用意することによって技術の応用について書か れた部分を「特徴表現」として抽出している。しか し，その対象にはどのような技術を使ったものなの かなどは含まれておらず，「特徴表現」自身も限定的な範囲に留まっている.このようにあらかじめパ ターン記述や教師データなどを作成しない情報抽出手法として [2] がある. この手法では請求項間の語 の重なりを考慮して発明の新規な部分をキーワード として抽出するが，本研究では発明中に出現する材料のすべてとその用途を網羅的に抽出することを目的としている.

一方で，材料分野の技術論文を対象にした言語資源がいくつか公開されている. [3] では技術論文か ら材料の合成プロセスの情報を抽出するためのコー パスを構築している. このコーパスでは材料とそ れに対する操作や数量などの個有表現とそれらの 関係がアノテーションされている。BioCreativeIV[4] では主に創薬支援を目的とした化学物質と病名など の固有表現を含むコーパスが公開されており，この コーパスを使った固有表現抽出の取り組みがある [5].

材料分野における言語資源としてコーパスだけで

なく知識ベースやオントロジーも開発されている.

日本化学物質辞書（日化辞）は有機化合物のデータ ベースであるが検索可能な形式で Web 上で公開さ れている [6]. [7] では日化辞を含む様々なデータ ベースの情報を対象にした複合名詞の抽出によって 化合物情報の可視化を行っている.

しかし，いずれも言語資源に含まれる情報の大半 は材料そのものであり用途に対してアノテーション を行ったコーパスは存在しない. 本研究ではこれま でにない新たな取り組みとして材料だけではなくそ れによってもたらされる機能である用途に対してア ノテーションを行ったコーパスを構築し情報抽出を 行う.

## 3 コーパス

## 3.1 対象データ

本研究では米国で出願された特許のうち “metal organic framework"もしくは “coordination polymer” を 含み,さらに 'application', 'purpose', 'use' のいずれかの 語を含む特許の要旨のテキストを取得した。これら の条件はテキスト中に MOF を使った発明の用途が 明記されているものを選別するために設定した. さらに，その中から 350 件をサンプリングし， 1) MOF を使った発明ではなく MOF の製法に関するも の, 2)MOF に関連しないもの, 3) 用途についての記載がないもの，のいずれかに該当する特許を目視で 確認して除外した. その結果, 最終的に 263 件の文書が得られた。

## 3.2 仕様

## 3.2.1 アノテーションの方針

アノテーションは材料分野に関する知識を有する 1 名が brat ${ }^{1}$ 上で行った.

名詞句 今回設定した 2 種類のタグはなるべく体言に対して付与する. また，文頭の冠詞や前置詞な どはタグの範囲に含めないようにする. 副詞や形容詞が材料を示す名詞句を修飾している場合にはそれ らが材料名にとって必須の構成要素になりうるかど うかを個別に判断するよう指示した。これは例え ば “inorganic nanoparticles” において 'inorganic' が形容詞であっても材料名の中心的な意味を表す場合が あるからである。一方で，複合名詞に関してはなる

1) https://brat.nlplab.org/

図 2 並置表現を対象にしたアノテーションの範囲 ベく広くタグの中に含めるようにした。

述語表現を含む句 usage には述語や項を含む ような表現も存在するため、そのようなフレー ズもアノテーションの対象とした. ただし、 "sensing platform for detecting the presence or amount of target nucleic acid, particularly HIV-1 ds-DNA” における “particularly HIV-1 ds-DNA” のように補足的な副詞節はその範囲に含めないようにした。

並置表現材料分野に限らず，特許には並置表現 が多く含まれる，今回のアノテーションでは，接続詞で並列になっている名詞句が形容詞句によって均等に修飾されている，あるいは並列する修飾成分が 同一の名詞句を修飾している場合は分離せず，そう でないものは別々のタグを付与することにした。こ の方針の具体例を図 2 に示す. (1)はエンティティの 中心となる名詞句が複数の修飾を受けているため接続詞 'and’を含む名詞句全体に一つのタグを付与し ている2).しかし，(2)のケースのように名詞句がそ れぞれ独立して出現する場合には個別にタグを付与 する方針とした。

## 3.2.2 material

材料を指す表現は分子や化合物から複数の材料に よって作られた物質まで粒度の異なる様々なエン ティティがある．本稿ではそれらの粒度の区別はせ ず一律に material タグを付与した。これは，本研究 の最終的なゴールがマテリアルズ・インフォマティ クスを目的とした実験設定の抽出を目指すものでは なく，用途探索を目的とした発想の支援にあるため である。従って下記のような表現が material のアノ テーション対象に含まれる。

元素記号/化学式 先行研究では 'Au', 'Ag' など の元素記号や 'CO2', 'N(C1-6-alkyl)2' などの化学式 が材料として抽出されている。さらに，'-NH2’のよ うに官能基を示す化学式も存在する。

2）discontinuous なタグを付与することも考えられるが今回は アノテーション作業の負荷を考慮して仕様に入れなかった
物質の構造 $/$ 形態 /総称 今回，情報抽出の対象にした MOF のように，特定の物質を指すのでは なく物質の構造や形態あるいは物質の総称を指す 表現もアノテーションの対象にした。具体的には 'fluid', 'mixture', 'ligand', 'polymer', などである.

物質の一部 エンティティの中には物質全体を指 すのではなく，その一部を指す表現が含まれる。例 えば ‘membrane'，'layer’や ‘surface’などがこれに相当する.

一般名詞 化学記号や化学式ではなく一般名詞と して記述されている材料も多い. 'copper' や 'silver' などよく用いられている金属は一般名詞で記載され ている.

物質の役割 物質そのものを指すのではなく，そ の物質が合成プロセスにおいて担う役割を指すエン ティティが存在する. 'catalyst' や 'reactor', 'media' などがこれにあたる. ただし，実際にアノテーショ ンを行うとこのような物質の役割が用途として書か れていることもあった. 今回はその発明が提供す る機能かどうかによって material と usage の判断を 行ったが，今後はより明確な基準を設定する必要が ある.

## 3.2.3 usage

用途を表す表現は下記に示すように比較的長いフ レーズである場合がある.

装置特許文書であるため, 'battery' や 'sensor’’ な どの装置を指す表現が比較的多い，今回のアノテー ションでは MOF が直接関わらないものであっても タグを付与した。

動作 "remove the contaminants from a stream of electronic gas" や “separating hydrogen molecules” など具体的な動作と対象についての記述がある。このように 具体的な動作を記述する場合はエンティティという よりも述語と項から構成されるフレーズであること も多い。

## 3.3 統計情報

表 1 に本実験で作成したコーパスの統計量を示 す. usage に比べて material の数が 5 倍以上多いの は，一つの用途に対して複数の材料が用いられるこ とが考えられる．また異なり数の割合が usage の方 が高い。これは要旨の中であっても，特許では同じ 材料に対する記述が繰り返し現れる傾向があること に起因している。表 1 コーパスの統計量

図 3 エンティティの長さ（語数）の分布

図 3 に material と usage のエンティティを構成す る単語数の分布を示す. material はエンティティを 構成する語の数が多くなるほど頻度が低くなる傾向 があるが，usage は語数によらず比較的頻度が一定 である。これは物質名が主である material に比べて usage の表現が多様であることを示している.

## 4 実験

アノテーションでは，特許の要約テキストを対象に，文に含まれる単語に対して固有表現ラベル material, usage を付与した. 固有表現抽出は系列ラべ リングタスクとして取り組み，アノテーションを付与したデータセットを 6:2:2 の割合で訓練・開発・評価に分割して使用した。具体的には，対象テキス トをモデルへ入力して各トークンの分散表現を得，分散表現を全結合層に入力して得られた結果を更に $\mathrm{CRF}$ 層へと入力することで各トークンに対する固有表現ラベルを判定する．モデルとしては，BERT に全結合層のみ追加したモデルと，BERT に全結合層と $\mathrm{CRF}$ 層を追加したモデルの 2 種類をベース ラインとして検討し，どちらのモデルにおいても BERT $_{\text {base }}$ を利用して fine-tuning を行った ${ }^{3)}$.

3） パラメータは以下の通り。最大系列長:512，バッチサイ ズ:8, エポック数:5, 学習率:1e-5, 最適化アルゴリズム:Adam
表 2 固有表現抽出の実験結果

material usage

## 5 実験結果と考察

## 5.1 実験結果

表 2 に固有表現抽出の実験結果を示す. どちら の固有表現カテゴリにおいても，BERT と比較し て BERT+CRF の方がより高い性能を示している. material の $\mathrm{F}$ 值は 0.77 という一般的な専門用語抽出 とほぼ同等の性能が得られた。しかし, usage は $\mathrm{F}$值が 0.5 にも満たない性能であり固有表現抽出とい うタスク設定が適切だったのか再考する必要があ る. usage の方が material よりも抽出精度が低い理由として，訓練データに含まれる数が少ないこと や，エンティティの長さが比較的長いことが挙げら れる。

## 5.2 エラー分析

抽出エラーについて，スパンとラベルの誤りにど のような傾向があるかを観察した.

スパンの誤り傾向 スパンの誤りに比較的多く見 られたのは, 図 4 に示すように usage タグの一部に material が含まれているとその部分だけを material と誤って推定してしまうケースである. 今回はアノ テーション作業の負荷を考えて入れ子構造を仕様に 入れなかったがこのようなエラーを回避するために は検討する必要がある. またエンティティがスパン の途中で切れる・スパンの途中から始まる・途中で 2 つに区切られるケースについては，コーパスに含 まれる全エンティティ数が十分な量でないことで訓練データに含まれる文字数が比較的長いエンティ ティの数も少なくなったことによると考えられる.

ラベルの誤り傾向 スパンは一致しているが usage でなく material に誤るケースがある.このエ ラーは文脈によって材料名にも用途名にもなり得る 単語が存在することに起因すると考えられる。

## 6 おわりに

本稿では材料の新規用途探索を行うための第一歩 として，特許文書中に含まれる材料名とその用途に 対してアノテーションを行った. その結果, 材料名

図4 固有表現抽出結果と正解のギャップ

と用途はいずれもその出現形態や内容が多岐にわた り，特に用途は体言では無い表現も多いことが分 かった. また，BERT による抽出実験によって材料名については固有表現抽出と同じ方式で実用的な精度に達する見込みがあることを示した。但し，用途 については同じ方式で抽出することが難しく，文分類などの別のタスク設定を検討する必要があると思 われる。

今後は本研究の最終的な目的である用途探索に向 けたテキストマイニングをユーザと共に実施し，今回行った情報抽出の有用性や必要な精度などを検証 したい.

## 参考文献

[1] 西山莉紗, 竹内広宣, 渡辺日出雄, 那須川哲哉. 新技術 が持つ特徴に注目した技術調査支援ツール. 人工知能学会論文誌, Vol. 24, No. 6, pp. 541-548, 2009.

[2] Shoko Suzuki and Hiromichi Takatsuka. Extraction of keywords of novelties from patent claims. In Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics, 2016.

[3] Sheshera Mysore, Zachary Jensen, Edward Kim, Kevin Huang, Haw-Shiuan Chang, Emma Strubell, Jeffrey Flanigan, Andrew McCallum, and Elsa Olivetti. The materials science procedural text corpus: Annotating materials synthesis procedures with shallow semantic structures. In Proceedings of the 13th Linguistic Annotation Workshop, 2019.

[4] Biocreative IV, $2014 . \quad$ https://biocreative. bioinformatics.udel.edu/resources/biocreative-iv/ chemdner-corpus/.

[5] 渡邊大貴, 田村晃裕, 二宮崇, 牧野拓哉, 岩倉友哉. 化学分野の固有表現抽出のための化合物名を含む文の言 い換え学習を用いたマルチタスク学習手法. 自然言語処理, Vol. 29, No. 2, pp. 294-313, 2022.

[6] NBDC 版日化辞 rdf. http://dbarchive.biosciencedbc. jp/jp/nikkaji/desc.html.

[7] Kazunari Tanaka, Tomoya Iwakura, Yusuke Koyanagi, Noriko Ikeda, Hiroyuki Shindo, and Yuji Matsumoto. Chemical compounds knowledge visualization with natural language processing and linked data. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), 2018.


# 舶用ディーゼル機関に関する問い合わせ対応用 チャットボットのための類義語辞書の自動生成

美尾樹 ${ }^{1}$, 小原孝介 ${ }^{1}$, 多村新平 ${ }^{1}$, 今上博司 ${ }^{1}$, 佐藤功一 ${ }^{1}$, 滝澤一樹 ${ }^{1}$, 竹内孔一 ${ }^{2}$
${ }^{1}$ 株式会社三井 E\&S マシナリー ${ }^{2}$ 岡山大学大学院 自然科学研究科
\{tatsuru-mio, oharak, tamura_s, hiro4, kochan, kazuki_takizawa\}@mes.co.jp,
takeuc-k@okayama-u. ac. jp

## 概要

技術的な問い合わせへの対応を行うチャットボッ トが必要とする, 特定の分野における類義語を記述 した辞書データを，自然言語処理技術を利用して自動生成する。マニュアルや実際の問い合わせ記録か ら word2vec 埋め込みモデルを作成し, 同コーパスに 含まれる名詞の分散表現を得た。これらの名詞の間 で類似度が高いものを 2 段階で判定することで，チ ヤットボット用の類義語データを作成する.

## 1 はじめに

舶用ディーゼル機関は，多数のパーツからなる巨大で複雑な機械であり, 過酷な条件で用いられるこ とから, 適切なメンテナンスは欠かせない.しかし， これらの機関は世界各地で昼夜問わず稼働しており，様々なタイミングで発生するトラブルに対し, 技術的な支援を必ずしもタイムリーに提供できていない． さらに, 洋上のような孤立した場所でトラブルが発生した場合, この問題はより深刻になる。

一方で，トラブルに関する問い合わせの内容は必 ずしも高度な内容ではなく, 中にはマニュアルやフ ローチャートを参照すれば対応できてしまうものも 含まれる。こうした問い合わせへの対応を自然言語処理技術の活用により自動化できれば，アフターサ 一ビス担当者のスケジュールや時差に囚われず，夕 イムリーな回答が可能となる. さらに, 定型的な対応が可能なトラブルに対応する負担を軽減すること で，重点的な対応が必要な案件にリソースを振り向 けることが可能となり, 全体としてのアフターサー ビスの質を高めることが可能となると期待できる.技術的な問い合わせへの対応を自動化するにあた っては，従来通りの自然言語による質問が可能なチ ヤットボットを用いるのがサービスの質を維持する [1]ためにも望ましい. 近年, チャットボットの普及 は徐々に進んでおり，現在では対話に用いるデータ
を読み込ませるだけで活用できるパッケージ化され た製品も利用可能となっている[1]. しかしながら， これらのソフトウェアは一般的な分野に対するテキ ストを処理するように調整されており，本研究対象 の船用機関のように高度に技術的で，かつ狭い分野 のテキストを扱うためには，その分野の類義語デー タや専門用語データを与えることが望ましい。しか し，専門家にとって専門用語は日常用いる言葉であ るため用語であると意識することや，網羅的に書き 出すことは簡単ではない.

先行研究において文書に対して word2vec を適用 することで文脈が類似している類義語を獲得する手法が提案されている(例えば[3]). 専門分野の文書に word2vec を適用し，得られたべクトル間の類似度を 利用することで専門分野における類義語を獲得する ことが期待できる.

そこで, 社内に蓄積されてきた専門的な内容の文章データ(コーパス)を形態素解析し, 抽出した単語 を基にチャットボット用辞書データを作成すること を試みた。本稿ではその日本語の類義語辞書データ の自動作成について述べる。

## 2 手法

## 2. 1 コーパス

本手法で用いたコーパスは，（1）ディーゼル機関及び周辺装置の取扱説明書ならびに（2）技術的な 問い合わせとそれに対する返答の電子メール記録に 由来する. (1)の取扱説明書は pdf 形式や docx 形式 のファイルとして存在し, 分量は少ないながらも様式・文章ともに整っている。内容の網羅性・正確性 も比較的高く，重要な専門用語も多く含むものであ ることが期待される．学習で利用できるようにテキ スト部のみを抽出したところ，これらのデータは約 4 MB の大きさとなった (UTF-8, 以下同様)。(2)は,実際のトラブルや整備に関する問い合わせと，それ
(a)

(b)

図 1. (a) 各 word2vec モデルの $t_{\mathrm{w}}=0.7,0.8,0.9$ における抽出類義語数 (b) 各モデルにより抽出された 類義語及び類義語グループ数 (dim.: ベクトル次元数, ep.: エポック数)

に対する回答や提案などを記録した，約 11 年に渡 る電子メールのやり取りである。こちらについては 様式に個人差があり，誤字・脱字もしばしば見られ る.しかし, これらはチャットボットが対応すべき 業務そのものの生の記録であり，分量も比較的大き い $(22 \mathrm{MB})$ ことから, 実践的なデータとしての役割が 期待される．和文・英文が混在していることから，仮名・漢字を含む文のみを抽出し，ルールベースの 処理でメール特有の無関係な記述 (署名や引用され たメールのヘッダを書き出したものなど)を削除し た上で用いた. 最終的に両テキストは合体させ, 約 26 MB の単一のコーパスとした.

## 2.2 複合名詞のリスト

上記のコーパスから，類義語の候補となるすべて の複合名詞を取得した. まず辞書として UniDic (cwj3.1.0)を用いて MeCabによる形態素解析を行い，一続きになっている名詞を収集した.この際, UniDic の詳細な品詞体系を活用し，専門用語によくみられ る長い複合語を収集できるようにした。

## 2.3 単語の埋め込み

類似度算出のための単語埋め込みモデルの構築に は， 2.1 のコーパスで訓練された word2veciを使用し た. 以降, 単語間の類似度の算出にはコサイン類似度を用い, 複数単語からなる語については, 構成す る単語のベクトルの単純な和を語全体のベクトルと した.

なお，当初は複数単語からなる語を含む未知語の

扱いに便利な fastText ${ }^{\mathrm{ii}}$ を使用することも試みたが， おそらくコーパスのサイズ不足のため語の意味的な 類似度を正しく算出できなかった。

## 2. 4 類義語ペアの判定

複合名詞リストの複合語を構成する単語同士の類似度を，上記の埋め込みモデルでのコサイン類似度 として 2 段階で算出し, 類義語と判定される語のぺ アを求めた. 判定の第 1 段階では，リストに含まれ る名詞句のうち, 共通の単語を含むもの同士の類似度を算出し, 一定の閾値 $t_{\mathrm{p}}$ より高ければ第 2 段階に 移る. 第 2 段階では複合名詞の間で共通しない単語同士の類似度を算出し, 一定の閾値 $t_{\mathrm{w}}$ より高ければ これらの単語を類義語ペアと認める.

例を挙げると, 複合名詞のリストに「スティック 防止」と「固着防止」があったとき，まず「スティ ツク防止」と「固着防止」の類似度が $t_{\mathrm{p}}$ より大きく, かつ両名詞句で共通しない「スティック」と「固着」 の類似度も $t_{\mathrm{w}}$ より大きければ，「スティック」と「固着」を類義語と見なすことになる。

## 2.5 類義語グループの出力

全類義語ぺアを辺とするグラフにおいて，各連結成分の頂点の集合を 1 つの類義語グループとする. つまり，ある単語から類義語ぺアをたどって結びっ くすべての単語を類義語グループとする．最終的に これを人手で修正することで，本稿の目的であるチ ヤットボット用類義語辞書を得た.

## 3 実験結果

以上の手順において, $t_{\mathrm{p}}=0.6$ とし, $t_{\mathrm{w}}=0.7,0.8,0.9$ として結果を比較した。また, 類似度の算出に用い る word2vec モデルについても, ベクトル次元数とエ ポック数が異なるものを 4 種用いて比較した.

結果の評価には, 出力された類義語グループのう ち, 妥当と判断されたグループの数と, それに含ま れる単語の総数を用いた。なお，この手法では数十以上の単語が含まれる巨大な類義語グループが出力 されることがあるが，これは類義語辞書作成者の負担を軽減するのに役立たないため妥当ではないと判定した.このようなグループは $t_{\mathrm{w}}$ を高くすることに よって小さなグループに分かれ，活用できるように なる可能性がある.

まず，各モデル・間値 $t_{\mathrm{w}}$ について抽出できた類義語数を図 1a に示した. 次元数・ベクトル数ともに大 きくしたモデル(dim. 300 ep. 50)では，技術的な類義語は抽出されなかった. 残りの 3 つのモデルをエポ ック数の観点から比較すると, エポック数の小さい モデル(5 エポック)では $t_{\mathrm{w}}=0.8$ の時に最も多くの類義語が抽出できているのに対し, エポック数の大き いモデル(100 次元 50 エポック)では $t_{\mathrm{w}}=0.7$ の時に最大になっていることが分かる. これは, エポック数 を深くするほど，類似度が低く算出される傾向を反映していると考えられる. 次元数の観点から比較す ると, 100 次元のモデルはエポック数を増やしても 結果が大きく変化しないのに対して，300 次元のモ デルは全く類義語を抽出できなくなってしまってい る.これは, 今回のコーパスの規模に対して 300 次元が過剰で，過学習を引き起こしたためと考えられ， コーパス数に合ったモデルを使用することの重要性 を示しているii.

を排してモデルごとに集計したものを図 $1 \mathrm{~b}$ に示し た. 語数で見てもグループ数で見ても傾向は変わら ず， 100 次元 5 エポックのものが最も良い結果を示 していることが分かった. しかし, これら 3 のモ デルの結果をさらに統合し, 全モデルの全条件で得 られた類義語の数を求めると, 74 グループ 179 語が 得られた. これはどのモデル単独よりも大きく, 各
モデルがそれぞれ異なった類義語の抽出に成功して いたことを示している。これによれば，条件を変え ながら複数モデルで抽出を行うことで，さらに多く の類義語を得られる可能性があり, より網羅的な類義語辞書を作成する上で役立てられる。

最後に, 得られた類義語グループの例を挙げると (運航, 運行, 航海, 航行, 運転), (ブザー, ゴング), (解放, 開放)などがあった. 第 1 の例は船舶の運航に 関連する語群で，舶用ディーゼル機関にとっては重要かつ近い意味を持った語であるといえる. 第 2 の 例は一見奇妙に思えるが，実際に警告音としてゴン グが用いられている箇所があることから, 狭い分野 での特有の類義語の抽出に成功していることを表し ている. 第 3 の例は同義語ではなく誤字に近いもの だが，電子メールのやり取りでは「開放」を「解放」 と表記する例が非常に頻繁に見られ，その実態を反映した結果になっているといえる。チャットボット に入力する際もこの表記ゆれが発生する可能性は高 く，登録しておいた方が利用者にとって便利である と考えられる。

## 4 まとめ

製品の取扱説明書と，製品に関する技術的な問い 合わせの電子メール記録から単語の埋め込みモデル を作成することで， 150 語以上の類義語の抽出に成功した. この際, モデルのパラメータを変更するこ とで異なった類義語が得られることも明らかになっ た. 今後は, 今回作成した類義語辞書をチャットボ ットに登録して運用を開始するとともに，チャット ボットの運用ログから未登録の類義語を発見するこ とで，継続的に性能を改善できる機構を開発してい きたいと考えている.

## 参考文献

[1] 木下, 薦田, 藤原. チャットボットを用いた社内情報サービス管理方式. FIT2020.

[2] 独立行政法人情報処理推進機構 AI 白書編集委員会「AI 白書 2019」(2019)

［3]伴, 高橋, 位野木. word2vec を用いた同義語辞書自動作成手法の提案と適用評価, 情報処理学会第 81 回全国大会，5N-04（2019）


# BERT を利用したチャットボットの Q\&A データ自動作成

小原孝介 ${ }^{1}$, 美尾樹 ${ }^{1}$, 多村新平 ${ }^{1}$, 今上博司 ${ }^{1}$, 佐藤功一 ${ }^{1}$, 滝澤一樹 ${ }^{1}$, 竹内孔 ${ }^{2}$
}

1 株式会社三井 E\&S マシナリー 2 岡山大学大学院 自然科学研究科

 }^{1}\left.\{}.$ oharak, tatsuru-mio, tamura_s, hiro4, kochan, kazuki_takizawa\}@mes.co.jp, ${ }^{2}$ takeuc-k@okayama-u.ac.jp
## 概要

本稿では，メールの文章を利用してチャットボッ 卜に搭載する $\mathrm{Q} \& \mathrm{~A}$ データを半自動的に作成するた めの手法を提案する. BERT を利用して Q\&A データ 作成に必要な語句の推論モデルを作成し, Q\&Aデー 夕作成に必要な語句を推論した. また, 語句の推論結果から Q\&A データの Answer となる文章を作成 した場合，過去の応対記録を含む文章が作成されて いることを確認した。

## 1 はじめに

舶用ディーゼル機関は船上で昼夜問わず稼働して おり，技術者に対して日々舶用ディーゼル機関の部品・システムに関する様々な問い合わせが行われて いる. 現在, 技術者が舶用ディーゼル機関に関する 問い合わせに対して主にメールで回答しているため，技術者が不在になると回答を受けるまでに大幅に時間がかかることがある.この不便性を解消するため に，チャットボットを利用した問い合わせ内容を自動回答するシステムを導入している。

チャットボットは質問文を入力するもしくは質問 リストから質問を選択していくと, 対応する回答が 自動的に出力されるプログラムであり，カスタマー サポートや社内問い合わせ等, 様々な場面で使用さ れている[1]. 過去のメールでの問い合わせ事例から 市販のチャットボット向けに Q\&A データを作成で きれば, 顧客は 24 時間いつでもトラブルシュート等 に対応することが可能となり, 当社の舶用ディーゼ ル機関のアフターサービスに対する顧客満足度を向上させることができる.
しかし, 舶用ディーゼル機関を構成する部品・シ ステムは多種多様であるため，自動で回答するチ中 ットボットを実現するためには過去の問い合わせメ 一ルから大量の $\mathrm{Q} \& \mathrm{~A}$ データ作成に必要な文章を抽出する必要があり, 人力で全てを行うには膨大な時間が必要となる。

先行研究では蓄積された文書の再利用に関する手法について様々なアプローチが展開されている．例 えば書内の固有表現を同義語とともに考慮する方法[2川村]や機械学習と人手による整備方法が提案 されている[3 加藤]. また社内でチャットボットを利用した枠組も提案されている[4木下],

本研究では先行研究を参考に $\mathrm{Q} \& \mathrm{~A}$ データ作成に 必要な固有表現に対して深層学習モデルである BERT[5]を利用し，製品に関する問い合わせメール から大量の $\mathrm{Q} \& \mathrm{~A}$ データを半自動的に作成する方法 を提案する。

## 2 メールデータ

弊社ではアフターサービス向上のために, 舶用デ ィーゼル機関に関する当社から送信したメールは全 て自社のサーバーに保管している。メールは質問，回答，再質問，再回答，など複数の内容で構成され ていることが多い. また, 顧客と技師とが直接やり 取り寸るパターンの他に顧客，営業，技師とがやり 取りするパターン存在する。

Q\&A データ作成に利用するメールの例を図 1 に 示す.メールの種類は主に 3 種類存在する.

## ・メール例 1：全て日本語のメール

全て日本語で記載されたメールの例を図 1 に示す.日本人同士で問い合わせ・トラブルに関する議論を

 \\

図 1 Q\&Aデータ作成に使用するメールの種類

行うと,メールは全て日本語で記載される。

・メール例 2: 全て英語のメール

全て英語で記載されたメールの例を図 1 に示す.外国人と問い合わせ・トラブルに関する議論を行う

と,メールは全て英語で記載される.

・メール例 3: 一部の内容が英語のメール

営業, 代理店等が外国人から技術的な問い合わせ もしくはトラブルに関するメールを受け取った時，技術者に受け取ったメールを転送する．転送された メールを基に日本人同士が議論を行うと，メールに は日本語と英語が混在する。

## 3 Q\&A データ作成プロセス

Q\&A データの作成プロセスは下記の通りである.

1. メールの語句に対するラベル付け

メールの語句に対して下記のラベルを付ける.

対象：機器の部品名

事態: 対象の状態

- 処置：事態に対する対応内容

2. 事前学習済み BERT を FineTuning する。

3. FineTuning したモデルを利用して語句の推論を 行う.

4. 推論結果を利用して $\mathrm{Q} \& \mathrm{~A}$ データを作成する.「対象」もしくは「事態」と推論した語句を Question とし，「処置」と推論した語句を含む文章をつなぎ合
わせて Answer の文章とする.

## 4 検証結果

ラベル (対象，事態，処置) の推論結果と推論結果を利用して Q\&A データの Answer となる文章を 作成した例をこの節で示す.

## 4.1 ラベルの推論結果

表 1 に推論結果が ground truth と同じになった語句の一例を示す. 表 1 に示す語句は短い語句もしく はメールで数多く記載されている語句である。これ らの語句は学習データに数多く含まれるため, 推論結果が ground truth と同じになったと考えられる。

表 2 に推論結果が ground truth と異なる語句の一例を示す. 推論結果が ground truth と異なるパターン は下記の通りである。

(1) ground truth としている語句が全く推論されて いない.

(2)「○○の $\times \times$ が $\triangle \triangle$ である」等，助詞や修飾語 を含むことで語句が長くなることがあり，推論し た際に語句の間違い・不足が発生する.

(3) ground truth では 2 語にラベル付けしているが，推論結果は 1 語になる場合 (例 ground truth:「舶用」-対象「ディーゼル」-対象，推論結果：「舶用 ディーゼル」-対象) となる.

 \\

— : Answer文を作成する際に使用した文章 $\square$ : 処置と推論

図 2 ラベルの推論結果から作成した Answer の例

(4) 語句の一部が推論されていない (例 ground truth：部品上部の面，推論結果：部品)，もしくは 推論結果に余分な語句が含まれている(例 ground truth: 表示システム, 推論結果: 画面表示システ 厶)

表 1 推論結果が ground truth と同じになった語句

表 2 推論結果が ground truth と異なる例

 \\

## 4.2 ラベルの推論結果を使用した回答文の作成例

「処置」と推論した語句を含む文章を抽出し，抽出 した文章をつなげることで Q\&A の Answer の文章 を作成した. ラベルの推論から Answer の文章を作成した例を図 2 に示す.メールに記載されている文章を結合して Answer を作成したので，作成した Answer の文章は過去の応対記録を含む文章となっ ている.

## 5 まとめ

BERT を利用してチャットボットへ搭載する Q\&A データの半自動的に生成する手法を提案した. Q\&A データ作成に必要な語句を推論した結果, 短い語句 やメール内に頻繁に出現している語句は正確に推論 されていることを確認した。一方，助詞を含む長い 語句や語句の一部が正しく推論されていない例が存在するため, 助詞や修飾語を含まない語句を推論モ デルに学習させることで正確に語句を推論できる様 にする予定である。

## 参考文献

[1] 独立行政法人情報処理推進機構 AI 白書編集委員会「AI 白書 2019」(2019)

[2] 川村. 共起情報を利用した不具合事象の同義表現獲得. 情報処理学会 Vol.2019-NL-241 (2019)

[3] 加藤, 田中. ユーザフィードバックによる固有表現抽出の精度改善. FIT2020.

[4] 木下, 藨田, 藤原. チャットボットを用いた社内情報サービス管理方式. FIT2020.

[5] Devlin, et. al. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding, Proceedings of NAACL-HLT, pp. 4171-4186 (2019)


# 日本語情報抽出タスクのための LayoutLM モデルの評価

西脇 一尊 1 大沼 俊輔 1 門脇 一真 ${ }^{1}$
1 株式会社日本総合研究所
\{nishiwaki.kazutaka, onuma. shunsuke, kadowaki .kazuma\}@jri.co.jp

## 概要

本研究では，文書のレイアウト情報を活用して 学習・推論を行う LayoutLMを日本語コーパスを 用いて学習を行い，情報抽出タスクにおける性能 の検証を行った. 実験では Wikipedia 記事を用いて LayoutLM の事前学習を行い，2 種類の情報抽出夕 スクのための Fine-tuning を行った. ベースラインの BERT との性能比較を行った結果，一方のタスクに おいてレイアウト情報が性能向上に寄与することが 確認できた。本稿では一連の学習と評価タスクにお ける LayoutLM と BERT の性能について報告を行う.

## 1 はじめに

テキストから意味内容を構造化された形式に変換 する情報抽出技術は，日々大量に作成・更新される テキストに含まれる情報を利活用する上で重要であ る. 電子媒体や紙媒体といった媒体を問わず，文書 には人間が情報を理解しやすくするためのレイアウ トが施されている場合が多い. しかし, 多くの情報抽出に関する研究ではテキスト内容から学習した言語モデルを用いており，特に日本語におけるレイア ウト情報を活用した情報抽出の研究は，英語を対象 とした研究と比べ活発には行われていない.

本研究では，LayoutLM [1]を日本語コーパスを用 いて事前学習を行い, BERT [2] との情報抽出タスク における性能を比較することで, 日本語の情報抽出 タスクにおける LayoutLM の性能を評価する。

## 2 関連研究

本研究で取り扱うレイアウト情報とは，文書に含 まれる単語のその文書中での位置を指す．以下で は，レイアウト情報を考慮できる言語モデルである LayoutLM の概要と, 情報抽出に関する取り組みの 例として, Wikipedia 記事からの情報抽出・構造化を 目的とするプロジェクトについて述べる.

## 2.1 LayoutLM

LayoutLM [1] は，レイアウト情報を考慮できる 言語モデルの 1 つとして知られている. これは BERT [2] のアーキテクチャにトークンの文書中にお ける位置を表現する 2-D Position Embedding を追加 することで，文書のレイアウト情報を考慮できるよ うにした言語モデルである. LayoutLM では,

1. マスクされたトークンを文脈とレイアウト情報から推論を行う Masked Visual-language Model (MVLM)

2. 文書画像をマルチラベル分類1)することで文書 レベルの特徴を学習する Multi-label Document Classification (MDC)

の 2 つの手法を用いて事前学習を行っているが， MDC は必須ではないとされている.

レイアウト情報を学習した LayoutLM は，スキャ ンされた文書やレシート等を元にしたデータセット において Semantic labeling や Slot filling の性能が向上することが報告されており，日本語においても帳票や請求書での情報抽出の精度が既存手法よりも向上することが報告されている2）3）。しかし，日本語 においては一般利用可能な LayoutLM の事前学習済 みモデルが公開されておらず，観測できる範囲では LayoutLM を活用した取り組み事例は限られている.

## 2.2 森羅プロジェクト

森羅プロジェクト [3] は, Wikipedia に記載されて いる知識を計算機が扱えるよう構造化することを目的としているプロジェクトである. 7 回目の評価夕 スク開催となる森羅 20224)では,

1. Wikipedia 記事を拡張固有表現 [4] の階層定義に

1）ラベルの一例 : メール, ニュース記事, 請求書, 論文

2) https://cinnamon.ai/ideas/2021/01/18/20210118. research_006/

3) https://tech.layerx.co.jp/entry/2022/11/24/130000

4) https://2022.shinra-project.info
基づき定義されたカテゴリに分類するタスク

2. カテゴリ毎に定義されている属性値を抽出する タスク

3. 属性值テキストと意味的に一致する Wikipedia 記事との紐付けをするタスク

の 3 タスクが実施されている. 本研究では 2 の属性值抽出タスクを LayoutLM の性能評価に用いる.

## 3 評価タスク設定

日本語での LayoutLM の性能を評価するにあたり，以下の 2 種類の評価タスクを設定した. 以下ではこ れらのタスクについて述べる。

## 3.1 森羅 2022 - 属性値抽出タスク

属性値抽出タスクは，カテゴリ別に分類された Wikipedia 記事から各カテゴリ毎に定義された属性 に基づいて，その特徴を表す属性値を抽出するタス クである．例えば，「スターバックス（カテゴリ：企業名)」の記事から，「創業国」の属性値として“ア メリカ合衆国”というテキストを抽出する。この夕 スクは固有表現抽出と類似しているが，異なる点と して抽出対象の属性がカテゴリや文脈に応じて変化することが挙げられる．例として，「ホセ・コン トレラス (カテゴリ：人名)」の記事では, “アメリ 力合衆国” のテキストは文脈に応じて「国籍」また は「居住地」の属性値とされる. また，属性はカテ ゴリを跨いで重複する場合もあり，例えば「地位職業」という属性は「人名」と「キャラクター名」の 2 種類のカテゴリにおいて設定されている.

森羅 2022 の属性値抽出タスクは，属性値抽出の 対象となる 178 カテゴリに該当する Wikipedia 記事 から属性値を抽出するタスクとなっている．学習用 データでは重複を除くと計 1,700 種類の属性が使用 されている. アノテーションされた記事の件数は 1 カテゴリあたり平均 111 件である.

## 3.2 契約書からの情報抽出

Web ページ以外の文書を対象とする情報抽出性能 について評価するために，企業間の契約書中に記載 されている契約締結日，契約開始・終了日，契約締結社名等の 7 種類の情報を抽出するタスクを設定 した.

このタスクで用いるデータセットは，契約書デー タを取り扱う企業から提供された機密情報を含まな いテンプレートをコーパスとしている。このコーパ
スに対して社名・日付・契約内容といった記載が必要な部分に対してアノテーションを行い，ランダム に選択した実在する企業名やダミーの日付・金額表現等を挿入することで独自に作成されたものであ る.このデータセット（以後，ダミー契約書）の特徵として，「契約金額」を指し示す表現として「金額」「委託料」「請求金額」などの表記摇れや，「業務委託契約」「請負契約」「秘密保持契約」等複数の契約書の種別が存在することが挙げられる.

## 4 実験手順

## 4.1 事前学習データセット

森羅 2022 で配布された 2019 年版 Wikipedia の全記事データ（約 110 万記事分）を用いた.トークン と座標情報の系列を取得するために，まず各記事 データの HTML をブラウザで描画 ${ }^{5}$ し， その画面に 表示されたテキストを別途トークナイズしてから，各トークンのブラウザ上での描画位置（座標情報） を取得した ${ }^{6}$ ) また，LayoutLM ではレイアウト情報 を 0 から 1,000 の範囲に正規化する必要があるため,併せて body 要素全体の座標情報も取得している.

## 4.2 Fine-tuning データセット

属性値抽出タスク 森羅 2022 で配布されている 2019 年版 Wikipedia 記事の一部と, 対応する属性値 のアノテーションを用いた.

事前学習データセットの構築時と同様の手順で，各記事からトークンと座標情報の系列を取得した.本実験では系列ラベリング問題として属性値抽出 タスクを解くため，属性値のアノテーションをオフ セット形式から IOB2 形式に変換し系列に組み込ん だ. この時, オフセット区切りとトークンの区切り が合致しない場合，オフセット区切り位置を含む （より長い範囲が選択される）ようラベルを作成し ている。また，同じテキストに複数のアノテーショ ンがされている場合，配布されたアノテーション ファイルを先頭から読み込んだ際に最初に参照する 属性値を採用した.

アノテーションデータは 9:1 の割合で分割し，そ れぞれを学習・検証データとして用いた. テスト データとして, 森羅 2022 評価タスクのリーダー

5）描画環境：Google Chrome 106.0.5249.119, Ubuntu 20.04.5 LTS，画面サイズ $1,280 * 854$

6）事前に各トークンを nowrap 值を指定した span 要素で囲 み，各要素の BoundingClientRect を座標情報として用いた

図 1: 「研究」が 1 つのトークンであり，「研」と「究」の 間に行折り返しがされた際の「研究」トークンの座標情報の取得イメージ

ボード提出用として指定されている 2021 年版の Wikipedia 記事に対して，同様の手順でトークンと 座標情報の系列を抽出したものを用いた.このテス トデータの正解データは非公開であるため，テスト データでの性能評価はリーダーボード上の公開スコ アをもとに行った.

各ページの系列長が LayoutLM の上限入力長であ る 512 トークンを超える場合，一定の重複範囲（本実験では 128 トークンと設定）を持たせたスライ ディングウィンドウによりデータを分割した.

契約書からの情報抽出タスク 3.2 節で作成した ダミ一契約書の PDF は，PyMuPDF7)を用いて，

1. テキスト全文

2. 文字単位の座標情報と正解ラベル8)

3. 契約書 1 ページ毎のサイズ

の 3 点を抽出した. 1 のテキスト全文はトークナイ ズし，トークンに含まれる各文字の座標情報から トークンの座標情報を求めた。トークン中に行の折 り返しが生じた場合には，折り返し後に続く文字の 高さと幅から折り返しがなかった時の座標情報を算出した。このときの座標情報の取得イメージを図 1 に示す。

本実験では系列ラベリング問題として契約書から の情報抽出タスクを解くため，トークンを構成する 文字に正解ラベルが付与されている場合，対応する ラベルに B タグ・I タグを設定することで IOB2 形式のラベルを作成した. また，トークンの座標情報

7) https://pymupdf. readthedocs.io/en/latest/

8） 3.2 節でダミーデータを挿入する際に情報種類毎に異なる 色を指定しておき，PyMuPDFで取得した色情報をもとに文字毎の正解ラベルを判定した. なお，色情報はモデルの学習 や推論に利用しない
は 3 の契約書ページサイズを用いて 0 から 1,000 の 範囲に正規化をした。

データセットは 8:1:1 の割合で分割し，それぞれ を学習・検証・テストデータとして用いた。

属性値抽出タスクのデータセットと同様に，系列長が 512 トークンを超える場合はスライディング ウィンドウによりデータを分割した。

## 4.3 LayoutLM の事前学習

BERT-base に相当するパラメータサイズの LayoutLM の事前学習を行った．BERT と共通するパ ラメータは東北大 乾研究室が公開している日本語版 BERT ${ }^{9}$ ) の重みで初期化し，2-D Position Embedding はランダムな值で初期化した。

評価タスクにて用いる Wikipedia やダミー契約書 は，文書毎に大きなレイアウトの差異がなく情報抽出に有用な特徴を学習することは難しいと考えたた め，本実験では MVLM のみ実施し MDC は実施しな かった.

ハイパーパラメータは学習ステップ数 100,000 ,学習率 5e-5，バッチサイズ 256 とした。なお，学習率は 1,000 ステップまで Warmup を行い，そこから 線形に減衰させた。

学習は 8 基の NVIDIA A100 SXM4 を用いて行っ ており，後述の Fine-tuning や推論にも同環境を用 いた.

## 4.4 評価のための Fine-tuning

4.3 節で学習した LayoutLM とべースラインの BERT の Fine-tuning は, Hugging Face [5] が公開して いるスクリプト10）をべースに実装した。いずれの モデルも，ハイパーパラメータはグリッドサーチ11) を行い，検証データにおいて最良の micro-F1を達成 したモデルを評価に採用した.

属性値抽出タスクにおいて, LayoutLM と BERT の 性能差が Wikipedia 記事を用いた学習ステップ数の 差によるものではないことを確認するため，事前学習済み BERT に加元，2019 年版 Wikipedia 記事を用 いて 100,000 ステップの Masked Language Model [2] による追加学習を行った BERT+100K モデルを用意

5. 各分割の推論結果をマージ

図 2: 1,200 トークン長のテストデータをスライディング ウィンドウで分割し，推論結果をマージする処理の イメージ. ウィンドウ幅はモデルに入力する際の [CLS] と $[S E P]$ 分を差し引いた値である

し，3つのモデルそれぞれで Fine-tuning を行い性能 を比較した。

## 4.5 テストデータでの推論

スライディングウィンドウによりテストデータが 分割された場合，ウィンドウに含まれる重複範囲は 2 回推論が行われる. 重複範囲の前半は前側ウィン ドウの，後半は後ろ側のウィンドウの推論結果を採用し，最終的に各ウィンドウでの推論結果をマージ して推論結果としている (図2参照).

また，属性值抽出タスクにおいて，3 モデルの推論結果いずれにおいても以下の後処理を行った.

・推論結果 top-5 のうち，カテゴリに存在しない 属性を無視した上で logit が最大の推論結果，ま たは O タグを出力する

・同じ属性の I タグ同士の間に 5 トークン未満の 連続した O夕グが含まれている場合，Oタグを I タグに変換する ${ }^{12)}$

・O タグ，もしくは異なる属性の B またはI タグ に続くIタグを Bタグに変換する

## 5 実験結果

属性値抽出タスク属性値抽出タスクにおける各 モデルの検証データによる実験結果，およびテスト データによる推論結果の公開スコアを表 1 に示す.

契約書からの情報抽出タスク 契約書からの情報抽出タスクにおける各モデルの検証・テストデータ

12）属性値抽出タスクにおいて，属性値中の記号や助詞等が O タグとされる傾向があったため表 1: 属性値抽出タスクにおける実験結果．太字は最良の スコアを表す

 & \multicolumn{2}{c}{ テストデータ } \\
macro-F1 & micro-F1 \\

BERT & 63.03 & 54.75 & 60.14 \\
BERT+100K & 63.27 & 54.82 & 61.28 \\

表 2: 契約書からの情報抽出タスクにおける実験結果.太字は最良のスコアを表す

 &  \\

BERT & $\mathbf{9 7 . 9 4}$ & $\mathbf{9 8 . 6 9}$ \\

による実験結果を表 2 に示す.

## 6 考察

属性値抽出タスクにおいて LayoutLM はベース ラインモデルの性能を上回っているが，これは LayoutLM がレイアウト情報からトークン列が同じ 行や箇条に記述されていることを手がかりに推論す ることができた可能性がある．レイアウト情報が抽出に影響を及ぼしたと考えられる例を付録 $\mathrm{A}$ に記載 する。

契約書からの情報抽出タスクにおいて LayoutLM はベースラインモデルの性能をわずかに下回った が，これは LayoutLM の事前学習を Wikipedia コー パスを用いて行ったためモデルが Wikipedia 記事に 過剰に適合してしまい，ダミ一契約書での性能が BERT と比べて劣った可能性がある。

## 7 おわりに

本研究では，日本語 Wikipedia 記事を用いて LayoutLM の事前学習を行い，2 種類の日本語情報抽出タスクにおける LayoutLM の性能を調査した。 LayoutLM は，契約書からの情報抽出では期待され た性能向上が見られなかったが，Wikipedia 記事か らの属性值抽出タスクの性能が向上したことが示さ れ，日本語文書における情報抽出のアプローチの 1 つとして有望であることがわかった.

今後の展望として，LayoutLMv2 [6] 等の画像情報 も考慮して学習するモデルの利用について検討す る.また，事前学習のデータセットを契約書等の文書に変更した際の性能評価や，有価証券報告書等の レイアウト情報が情報抽出に寄与する可能性のある 文書においてのモデルの性能を調査する。

## 謝辞

本研究は産総研の $\mathrm{AI}$ 橋渡しクラウド（ABCI）を 利用したものです.

## 参考文献

[1] Yiheng Xu, Minghao Li, Lei Cui, Shaohan Huang, Furu Wei, and Ming Zhou. LayoutLM: Pre-training of text and layout for document image understanding. In Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery \& Data Mining, KDD '20, pp. 1192-1200, 2020.

[2] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, 2019.

[3] Satoshi Sekine, Akio Kobayashi, and Kouta Nakayama. SHINRA: Structuring wikipedia by collaborative contribution. In AKBC, 2019.

[4] Satoshi Sekine, Kiyoshi Sudo, and Chikashi Nobata. Extended named entity hierarchy. In Proceedings of the Third International Conference on Language Resources and Evaluation (LREC'02), 2002.

[5] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Remi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander Rush. Transformers: State-of-the-art natural language processing. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 38-45, 2020.

[6] Yang Xu, Yiheng Xu, Tengchao Lv, Lei Cui, Furu Wei, Guoxin Wang, Yijuan Lu, Dinei Florencio, Cha Zhang, Wanxiang Che, Min Zhang, and Lidong Zhou. LayoutLMv2: Multi-modal pre-training for visually-rich document understanding. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 2579-2591, 2021.

## A 付録

Wikipedia からの属性値抽出タスクにおいて，レイアウト情報が抽出においてポジティブ・ネガティブに 影響を及ぼしたと考えられる例を示す. なお，付録中の図に含まれるスクリーンショットの一部は Google Chrome 上で幅 $1,280 p x$ で描画したものを用いている.

## A. 1 レイアウト情報がポジティブに影響を及ぼしたと考えられる例

「Adobe Director」『フリー百科事典 ウィキペディア日本語版』. 2017 年 3 月 18 日 (土) 11:14 UTC の一部ス クリーンショットを図 $3 \mathrm{a}$ と，ハイライト箇所における系列ラベリングの結果を図 $3 \mathrm{~b}$ に示す. 系列ラベリン グ結果中のハイライト箇所の通り，LayoutLM のみ正しく “Macromedia Director 7 Shockwave Studio”を単一の 属性值として抽出できた。これは，レイアウト情報から Shockwave Studio のテキストが前方のテキストと同 じ行であることを理解していることから一続きの属性值として抽出できた可能性がある.

## バージョン履歴[編集]
- 1985年 MacroMindVideoWorks
- 1987年 MacroMind VideoWorks II
- 1988年 MacroMind Director 1.0
- 1988年 MacroMind Director 2.0
- 1989年 MacroMind Director 3.0

・1993年 Macromedia Director (バージョン3.1.3)
- 1993年 Macromedia Director 4
- 1996年 Macromedia Director 5
- 1997年 Macromedia Director 6
- 1998年 Macromedia Director 7
- Macromedia Director 7 Shockwave Studio
- Macromedia Director 7 Lite
- 2000年 Macromedia Director 8

(a)「Adobe Director」のスクリーンショット一部（ハイライトに よる強調は著者によるもの）

(b) ハイライト箇所に対する系列ラベリング結果

図 3: レイアウト情報が抽出性能にポジティブに影響を及ぼしたと考えられる例

## A. 2 レイアウト情報がネガティブに影響を及ぼしたと考えられる例

「海軍乙航空隊」『フリー百科事典 ウィキペディア日本語版』 2018 年 5 月 9 日 (水) 07:34 UTC の一部ス クリーンショットを図 $4 \mathrm{a}$ と，ハイライト箇所における系列ラベリングの結果を図 $4 \mathrm{~b}$ に示す. 系列ラベリン グ結果中のハイライト箇所の通り，LayoutLM のみ文章中に現れる “鹿屋飛行場”を属性値として抽出できな かった. 一方で，同ページ内の左寄せされた “鹿屋飛行場” は正しく抽出できている。これは，学習データ に含まれる「基地」の属性値が左寄せの箇条書きで書かれることが多く，レイアウト情報からページの右側 に寄ったテキストを属性値として認識できていない可能性がある.

\begin{abstract}
九州海軍航空隊
九州海軍航空隊 (きゅうしゅうかいぐんこうくうたい) は、昭和19年7月10日に編成された最初の乙航空隊のひとつ。鹿屋飛行場を拠点とし、西日本各地の飛行場を管轄した。沖綶の戦いでの特攻作戦、以後の本土防衛防空作戦に多く関与している。練習航空隊の実施部隊化、練習基地の実施部隊転用などで规模も抎大し、昭和20年3 月20日より「司令官」を隊長とした。20年春以降の乙航空隊細分化によって、管轄区は九州南部に縮小した。

## 主な航空基地
- 鹿屋飛行場 国分飛行場 $\cdot$ 出水飛行場 $\cdot$ 串良飛行場 $\cdot$ 笠之原飛行場 $\cdot$ 岩川飛行場
\end{abstract}

(a)「海軍乙航空隊」のスクリーンショット一部（ハイライトによる強調は著者によるもの）

(b) ハイライト箇所に対する 系列ラベリング結果

図 4: レイアウト情報が抽出性能にネガティブに影響を及ぼしたと考えられる例


# 日本語 T5を用いた Entity 辞書の メンション候補自動獲得手法の提案と評価

上田 直生也 ${ }^{1}$ 岡 照晃 ${ }^{1}$ 杉山 雅和 ${ }^{2}$ 邊土名 朝飛 ${ }^{2}$ 小町 守 1
1 東京都立大学 2 株式会社 AI Shift
ueda-naoya@ed.tmu.ac.jp, teruaki-oka@tmu.ac.jp
\{sugiyama_masakazu, hentona_asahi\}@cyberagent.co.jp
komachi@tmu.ac.jp

## 概要

本稿では Entity 辞書エントリのメンション候補を 自動獲得する手法を提案する. タスク指向型の音声対話システムの Entity Linking は， Entity 辞書を知識 ベースとして用いる. Entity 辞書はユーザの発話パ ターンに対応するために，表記摇れや通称，略称な どメンション候補登録が必要となるが，構築にコス トがかかる問題がある。提案手法は，日本語 $\mathrm{T} 5$ を Wikipedia から獲得した見出し語とその同義語対で ファインチューニングし，メンション候補生成モデ ルを構築した. 実験の結果，メンション候補を自動獲得した Entity 辞書を用いると，人手によるメ ンション候補を登録した Entity 辞書と同等の Entity Linking 性能を得られるとわかった。

## 1 はじめに

本稿が扱うタスク指向型の音声対話システムは ユーザ発話に対して応答を生成する. 適切な応答生成の実現には，ユーザ発話に含まれる商品名や 店舗名などの Entity を正確に認識する必要がある. Entityを正確に認識する手法として，テキスト中に 含まれる Entityを知識ベース上に存在するエントリ と紐づける Entity Linking がある. 実際の処理の流 れは，入力されたユーザ発話を自動音声認識シス テムによりテキスト化する。テキストに含まれる Entityを Entity Linking システムを通して，知識べー スにある適切なエントリに紐づける（図1を参照）.

知識ベースには Entity 辞書を用いる. Entity 辞書 は，エントリとそのメンション候補が登録された辞書であり，ユーザの多様な発話パターンに対応する ために，表記摇れや通称，略称などの様々なフレー ズがメンション候補として登録される。しかしなが

図 1 : 想定する音声対話システムのフローチャート

ら，Entity 辞書は Entity Linking を行いたい各ドメイ ンに対して人手で構築する必要があるため，メン ション候補の登録には多大なコストがかかるという 問題がある.

同義語対を自動獲得する手法に関しては，これ まで様々な研究が行われてきた $[1,2,3]$. しかしな がら，タスク指向型の音声対話システムにおける Entity Linking で用いられる Entity 辞書では，ユーザ の多様な発話パターンに対応するために，表記摇れ や通称，略称などの様々なフレーズがメンション候補として必要である。 そのようなメンション候補は 既存手法では獲得することは対象としていない. ま た前述の手法 $[1,2,3]$ では取得したいエントリに関連するドメインにおける大量のコーパスが必要とな る. タスク指向型の音声対話システムの場合，対象 となるドメインのコーパスが少量しか存在しない 場合もあり，メンション候補を獲得できないなどと いった問題がある。

そこで本研究では, Entity 辞書におけるエントリ のメンション候補を自動獲得する手法を提案する。提案手法は, Wikipedia から獲得した見出し語とそ の同義語対を T5 [4] で学習することにより，メン ション候補生成モデルを構築する，入力されたエン トリに対して出力されたメンション候補集合を用い ることで, Entity 辞書のエントリに対するメンショ ン候補を登録した. 実験では，福井県の道路交通情報に関するシステム主導型の対話ログデータと教師 なし Entity Linking システム [5] を使用する. 提案手法でメンション候補を自動獲得した Entity 辞書と人手によるメンション候補登録が行われた Entity 辞書 で精度を比較し，提案手法の有効性を示した。

## 2 関連研究

入力単語に対する同義語獲得は，これまで様々な 研究が行われてきた. 大野ら [6] や Tam ら [7], 柏岡 ら [8] は Wikipedia のエントリーリダイレクトを用い た同義語の獲得を行っている. これらの研究では， Wikipedia のエントリ名とリダイレクト先の見出し 語が同義関係にあることに着目し, 同義語対として 獲得している. しかし, この手法では Wikipedia に 存在しないエントリの同義語は獲得できない問題が ある. 提案手法では獲得した同義語対で言語モデル をファインチューニングし, Wikipedia に存在しな い単語に対してもメンション候補を生成できるモデ ルを構築する。

Transformer [9] 系統の言語モデルを用いて，同義語獲得を行った研究がある. Shen ら [1] は Encoder モデルである BERT [10]を用いることで, Entity と その同義語の集合に対して，新たな同義語を獲得す る手法を提案している. Transformer 系統の言語モデ ルを用いることで同義語獲得を行うといった点では 本研究と同じだが，Encoder-Decoder モデルでメン ション候補を生成した点と Entity に対する同義語の 集合があらかじめ存在しないといった点で異なる.

伴ら [2] は Word2Vec [11] を用いた同義語辞書自動構築手法を提案している. 提案手法は, 抽出対象 である要求仕様書を用いて学習した Word2Vec モデ ルを用いて, 要求仕様書から同義語候補を獲得する ことで同義語辞書を自動構築している. また，酒井 ら [3] は名詞間類似度を考慮することにより原型語 に対する略語を獲得する手法を提案している。これ らの手法では，特定のエントリに対する同義語を獲得するために，大量のドメインデータが必要とな表 1: Wikipedia から獲得した 見出し語とその同義語対の例

る。一方，本研究ではメンション候補を獲得したい エントリに関連する大量のドメインデータが存在し ないという設定の下, Entity 辞書のメンション候補 の自動登録に取り組む.

## 3 手法

本研究では，先行研究 $[6,7,8]$ の手法で獲得され た Wikipedia の見出し語とその同義語対は, 誤表記 や表記ゆれなど広義での同義語が含まれていること に着目した。そのデータを用いて Encoder-Decoder モデルである T5 [4] をファインチューニングした. ファインチューニングすることで，モデルによる誤表記や表記摇れのパターンを踏まえたメンション候補の生成を期待する。

## 3.1 Wikipedia の見出し語と同義語対の 獲得

Wikipedia の見出し語とその同義語対は，先行研究 $[6,7,8]$ と同様の手法で獲得した. 日本語 Wikipedia のダンプデータ 1) としては 2022 年 4 月 25 日時点のもの使用した. 獲得した同義語対にはタイ プミスなどの再現性が低い誤りが存在した. そのた め，各見出し語に対して Wikipedia 全体で 1 回しか 出現しなかった同義語対は, 再現性のないメンショ ン候補として取り除いた. 本研究で獲得した見出し 語とその同義語対の例を表 1 に表す.

## 3.2 メンション候補生成モデル

本研究では，入力されるエントリに対してメン ション候補を自動生成するメンション候補生成モ デルを構築した. Wikipedia の見出し語を入力とし， その同義語対を出力する形式で日本語 $\mathrm{T} 5$ モデルを ファインチューニングすることにより構築する。

出力では，一つのエントリに対して複数のメン

表 2: Wikipedia データセットにおける エントリ数と同義語対の数

ション候補を獲得するため，サンプリングによる 生成を行った。これにより，多様なメンション候補の獲得ができる. サンプリング手法としては， Temperature サンプリングや Top-K サンプリング, Top-p サンプリング [12] が存在する. 本研究では, Temperature サンプリングを用いて，メンション候補 の生成を行う2).

## 4 実験

## 4.1 データ

本研究では，3.1 の手法で構築した Wikipedia の 見出し語とその同義語対のデータセットを用いた. データセットは訓練データと評価データに分割し た. データセットに含まれるエントリ数と同義語対 の数を表 2 に示す. Entity Linking を行う対象として は，福井県の道路交通情報に関するシステム主導型の対話ログデータを用いた [5]. 対話ログデータ は，紐づけ対象となる Entityが正解ラベルとして与 えられる。データセットに含まれるユーザ発話数 は 2,225 件，紐付け対象となる Entity 数は 214 件で ある.

## 4.2 実験設定

チューニングした. ファインチューニングには， Huggingface の公開している Transformers ${ }^{4)}$ のスクリ プトを用いた。 パラメータは学習率を 0.001 ，バッ チサイズを 16 ，エポック数を 10 ，最大系列長を 128 と設定し，10エポック目のモデルを使用した. 全て の入力や出力は SentencePiece [13] を用いてサブワー ド分割を行った。サブワードの語彙サイズは 32,000 に設定した。

2）多様な出力を行う理由として，多様な出力から適している ものを選択するような用途も考えられるためである. これ は，人手による辞書作成では，多様なドメインでメンション 候補を作成できるほど知識を持つと限らないからである。

3) https://huggingface.co/megagonlabs/

t5-base-japanese-web

4) https://github.com/huggingface/transformers表 3: Entity 辞書の統計量

メンション候補の生成では，Entity 辞書の各エン トリに対し 50 個のメンション候補を出力させた. メンション候補集合から重複を取り除き，Entity 辞書に追加した. また, Temperature（T）は，0.1１.0 の間で 0.1 ずつ変動させた. シード値による性能変動が大きいため，複数のシード値で実験を行い， その平均値を結果として示す. シード値は 2022, 2032，2042，2052，2062とした.

メンション候補が登録されていない Entity 辞書 (登録なし)，人手によるメンション候補登録を行っ た Entity 辞書 (人手登録)，メンション候補を自動登録した Entity 辞書（自動登録）を用いた際の Entity Linking 性能について比較を行う，それぞれの Entity 辞書に登録される平均メンション候補数と人手登録 されたメンション候補のカバー率を表 3 に示す。

## 4.3 評価手法

内的評価として，Wikipedia から獲得した見出し 語とその同義語対を真とした場合の評価を行った.完全一致を真陽性とみなした Precision，Recall，F1 スコアを算出して評価を行う．外的評価として，各 Entity 辞書を用いた際の Entity Linking 性能で評価を 行った. Entity Linking システムとしては，音声類似度を考慮した教師なし Entity Linking システム [5] を 用いる。評価指標は Precision at 1（P@1）を用いた。

## 4.4 実験結果

各 Entity 辞書を用いた実験結果を表 4 に示す. 実験の結果, 内的評価では Temperature が小さいほど Precision が高くなり，大きいほど Recall が高くなる という結果が得られた。これは，表 6 が示すよう に Temperature が大きいほど多様なメンション候補 を生成したためである。また，外的評価における 結果では， $\mathrm{T}=0.8$ のとき最も性能の平均値が高くな り，P@1で $84.4 \%$ であった. この結果は人手による メンション候補登録した Entity 辞書を用いる場合と
表 4: 実験結果

比較しても， $-0.5 \%$ となっており，本手法によりメ ンション候補登録した Entity 辞書は人手によるメン ション候補登録した Entity 辞書と同等の性能を得ら れるとわかった. 特に $\mathrm{T}=1.0$ のとき, 最も内的評価 における Recall が高かった Entity 辞書を用いた場合 (Best）の Entity Linkingの P@ 1 は 85.8\%となってお り, 人手でメンション候補登録した Entity 辞書の Entity Linking 性能を上回る結果となった。

## 4.5 考察

内的評価と外的評価の相関 内的評価における Recall と外的評価における $\mathrm{P} @ 1$ の相関を調べた.図 2 は各シード值ごとの内的評価における Recall と 外的評価における $\mathrm{P} @ 1$ をプロットした結果である. ピアソンの積率相関係数を計測したところ， 0.868 となり，強い正の相関があることが確認できた. 結果から，内的評価における Recall と外的評価におけ る P@1には相関があり，メンション候補を自動登録した Entity 辞書の良さは内的評価における Recall を評価することで確認できることを示した。

事例分析 表 5 亿提案手法で構築した Entity 辞書 を用いた Entity Linking が登録なしや人手登録した 辞書と比べて改善・悪化した事例数を示す. Entity Linking が改善される事例が多数存在する一方で,悪化している事例も確認される. Appendix の表 7 と 表 8 にメンション候補を自動登録したことにより

図 2: 内的評価と外的評価における相関 （各シード値ごとの性能をプロットしたときの結果）

Entity Linking が改善・悪化した事例を示す. 改善し た事例では “(主 6) 福井四ヶ浦線” のメンション候補として “県道 6 号” が登録される. そのため, “県道 6 号福井 自然が” の入力に対して, 正しい Entity を返したことが確認できる。このように提案手法を 用いることで Entity 辞書に良いメンション候補が登録され, 正しい Entity が出力できる。一方, 悪化し た事例では “(県 109) 南横地芦原線” のメンション候補として “熊本空港線” が誤って登録される. その ため，“えっと空港”の入力に対して，誤った Entity Linking がされたことが確認できる.

このように, 全体における Entity Linking 性能は向上しているが，個別の事例では誤ったメンション候補の登録による Entity Linking の悪化が確認される. そのため, 生成されるメンション候補をフィルタリ ングする手法などを開発することにより，メンショ ン候補が自動登録された Entity 辞書を用いた Entity Linking の性能が改善すると考えられる.

## 5 おわりに

本研究では, Entity 辞書のエントリにおけるメン ション候補を自動的に獲得する手法を提案した. 実験の結果，提案手法でメンション候補を自動獲得し た Entity 辞書を用いる Entity Linking は，人手でメン ション候補登録した Entity 辞書を用いる場合と同等 もしくはそれ以上の性能を得ることができることを 示した. また, Entity 辞書の質は Wikipedia データに 対する Recall を用いることで評価することが可能で あることを示した. 今後は Entity 辞書を改善するた め, 生成されたメンション候補を自動でフィルタリ ングする手法を検討する。

## 参考文献

[1] Jiaming Shen, Wenda Qiu, Jingbo Shang, Michelle Vanni, Xiang Ren, and Jiawei Han. SynSetExpan: An iterative framework for joint entity set expansion and synonym discovery. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 8292-8307, Online, November 2020. Association for Computational Linguistics.

[2] 伴凌太, 高橋宏季, 位野木万里. word2vec を用いた同義語辞書自動作成手法の提案と適用評価. 情報処理学会第 81 回全国大会, pp. 265-266, 2019.

[3] 酒井浩之, 増山繁. 略語とその原型語との対応関係の コーパスからの自動獲得手法の改良. 自然言語処理, Vol. 12, No. 5, pp. 207-231, 2005.

[4] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei $\mathrm{Li}$, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. Journal of Machine Learning Research, Vol. 21, No. 140, pp. 1-67, 2020.

[5] 邊土名朝飛, 尸田隆道, 友松祐太, 杉山雅和, 東佑樹,下山翔. ユーザ発話と Entity の音声類似度を考慮し た Entity Linking 手法の検討. 人工知能学会全国大会論文集, Vol. JSAI2022, pp. 4Yin255-4Yin255, 2022.

[6] 大野潤一, 柴木優美, 山本和英. Wikipedia のエント リーリダイレクト間を対象にした同義関係抽出. 言語処理学会第 17 回年次大会, pp. 296-299, 2011.

[7] Derek Tam, Nicholas Monath, Ari Kobren, Aaron Traylor, Rajarshi Das, and Andrew McCallum. Optimal transportbased alignment of learned character representations for string similarity. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 5907-5917, Florence, Italy, July 2019. Association for Computational Linguistics.

[8] 柏岡秀紀. Wikipedia のリダイレクトから得られる 同義語の分析. 言語処理学会第 13 回年次大会, pp. 1094-1096, 2007.

[9] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Proceedings of the 31st International Conference on Neural Information Processing Systems, p. 6000-6010, 2017.

[10] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, 2019.

[11] Tomas Mikolov, Kai Chen, Greg Corrado, and Jeffrey Dean. Efficient estimation of word representations in vector space. CoRR, Vol. abs/1301.3781, , 2013.

[12] Ari Holtzman, Jan Buys, Li Du, Maxwell Forbes, and Yejin Choi. The curious case of neural text degeneration. In International Conference on Learning Representations, 2020.

[13] Taku Kudo and John Richardson. SentencePiece: A sim- ple and language independent subword tokenizer and detokenizer for neural text processing. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, Brussels, Belgium, November 2018. Association for Computational Linguistics.

## A 改善・悪化した事例数

表 5: 提案手法で構築した Entity 辞書を用いることで Entity Linking が改善・悪化した事例数 （最も内的評価における Recall が高かった Entity 辞書（Best）との比較）

## B 出力例

表 6: 各 Temperature におけるメンション候補生成例

(“(県 142) 松島若葉線”をエントリとして入力したときの出力結果)

 \\

表 7: メンション候補登録により Entity Linking が改善した例

表 8: メンション候補登録により Entity Linking が悪化した例


# 投稿レシピの材料表における文字の隣接強度をもとにした 助数詞および計量器の抽出

但馬康宏 1
1 岡山県立大学
tajima@cse.oka-pu.ac.jp

## 概要

本研究では , 投稿型レシピデータの材料表につい て, 光こに出現する助数詞および計量器の抽出を行 う. 一般にレシピの材料表に出現する語句は述語を 含まず，文章となっていない場合がほとんどであ り，既存の形態素解析手法では正しく語句の理解が できない.しかし，数値と助数詞以外にも計量器や 注意書きなど自然言語の出現が避けられず語句の解析が必要である . 本研究では出現する文字列の接合強度を定義し, 語句の出現回数から求めることによ り，辞書を用いずに解析を行う．本手法による解析 で , 助数詞および計量器に対しておよ光 8 割程度の 正答率を得た。

## 1 はじめに

近年のウェブサービスにおいてレシビ情報と炎の コンテンツ利用は非常に盛んであり，食に関する関心の高まりとともに光の重要性は今後も増加してい くものと思われる.一方，投稿情報によるデータの 集積という性質上，統一的な記述ができず，情報の 加工, 知識の抽出という観点からはむずかしい問題 が多い.レシピ情報の加工に関しては, グラフとし て調理過程を扱うもの [1] , オントロジーの作成 [2] など樣々な観点から研究が行われている. 本研究で は，材料表に出現する助数詞と計量器を辞書を使わ ずに抽出する.これは栄養価の計算では必須の処理 であり，食材の正しい分量を理解することは重要な 課題である. 辞書を使わない言語処理は未知語の抽出 [3] やキーワード抽出 [4] などがあるが必ずしも 多くない.

本研究では出現する文字列の接合強度を定義し，語句の出現回数から求めることにより, 辞書を用い ずに助数詞および計量器の抽出を行う. 光の結果，助数詞で 9 割, 計量器 7 割程度の正答率を得た。

## 2 材料表の構成と分量表現

本研究では,クックパッドより提供されている データ [5]を用いた. 材料表は表 1 の形式である．食材名は材料の名前であり，同じ食材に関しても投

稿者により多樣な表現が存在する．本研究で注目す るのは , 分量の部分であり, 表の例のとおり数値に 助数詞がつく形が基本であるが，觉の前後に計量器 や修飾語が付く場合が多い.また，数値を含まず 「少々」「お好みで」などの語句のみの場合もある。

本研究では材料表の分量表現について，数値が出現する項目の助数詞および計量器の抽出を行う.

## 3 助数詞および計量器の表現

分量表現のうち数値が出現するものに限ると, 助数詞は数値の直後に出現し, 計量器は数値の直前に 出現することが多い.しかし助数詞には光の後に修

なる場合があり，数値の前の計量器には前後に修飾語が付き「大さじ山盛り」や「ほぼ小さじ」などと なる場合がある．これらの修飾語は複数付く場合も あり，形態素解析のような分割が必要となる．しか し，文章として記述されてはいないため一般の形態
素解析器などでは誤分割が多くなる. 形態素解析器自体を分量表現に適した辞書と学習により構成する ことも考えられるが，正解データの準備など多大な 労力を必要とする。

そこで本研究では, 出現文字の統計情報から形態素の切れ目を推定するアルゴリズムを提案し, 分量表現に対して効果的であることを示す. 具体的に は，文字列の中の文字間の接続強度を定義し，少の 值が文字列全体で偏りがなく設定できる位置を形態素の切れ目とし, 分割を行う.

まず，助数詞および計量器の含まれる文字列とし て, 分量表現中に出現する最初の数値に着目し, 光 の数値の直前に出現するかな漢字文字列を $w_{p}$ と し，直後に出現するかな漢字文字列を $w_{s}$ とする.以後， $w$ はこの文字列 $w_{p}$ もしくは $w_{s}$ を表すものと し,$w$ を分割することを考える。

## 4 隣接強度に注目した形態素分割

図 1 および本節にて本研究における隣接強度の算出方法を示す.

## 4.1 データと出現確率の定義

分割を行いたい文字列を $w$ とし, 以後 $c_{0}$ から $c_{n-1}$ の $n$ 文字から成るとする $\left(w=c_{0} c_{2} \cdots c_{n-1}\right)$. ま た, 文字列を先頭から $m$ 文字目を後半の先頭とし て, 前半と後半に分割する様子を $[0, m, n]$ として表 す. 例えば $w=c_{0} c_{2} \cdots c_{n-1}$ を先頭から 2 文字まで を前半 $\left(c_{1} c_{2}\right)$ とし，光れ以後を後半 $\left(c_{3} c_{4} \cdots c_{n-1}\right)$ と して分割する場合は $[0,3, n]$ と表現される. 複数の 分割の場合も同樣に, 各分割の先頭の文字がもと の文字列の何文字目であるかを並べたものとする．例えば $w=c_{0} c_{2} \cdots c_{n-1}$ を 2 文字ごとに分割する場合は , $\left[0,2,4, \cdots, 2\left.\lfloor\frac{n-1}{2}\right.\rfloor, n\right]$ と表現される.さらに，分割 $\left[0, m_{1}, m_{2}, \cdots, m_{k}, n\right]$ を分割された部分文字列 で表現する場合は $\left(v_{0}, v_{1}, \cdots, v_{k}\right)$ のように表現す る.ここで $v_{i}$ は $c_{m_{i}} c_{m_{i}+1} \cdots c_{m_{i+1}-1}$ となる文字列で ある。

分割対象文字列 $w$ を集めたデータを $W$ と表す。 これには同じ文字列が複数回出現することもある.本研究では $W$ に含まれる文字列の部分文字列の統計情報を利用する.データ $W$ における $w$ の出現数 を $D_{w}$ と表す. すべての $w \in W$ について，觉の部分文字列のすべてを集めたものを $V$ とする. $V$ にも頻出の部分文字列は複数回出現するものとする. 文字列 $v \in V$ の $V$ におる出現数を $C_{w}$ と表す.文字列 $v \in V$ について, $v$ の出現確率を

$
P(v)=\frac{C_{v}}{|V|}
$

と定め, $x \notin V$ である文字列 $x$ については $P(x)=0$ とする.

文字列 $u$ について光の長さを $|u|$ とする.あ る $w=c_{1} c_{2} \cdots c_{n} \in W$ を仮定し, $u$ が $w$ の部分文字列として出現する回数を $k_{u, w}$ とする.すな わち, $k_{u, w}=\left|\left.\{i \mid c_{i} c_{i+1} c_{i+|u|}=w\right.\}\right|$ である.さらに $k_{u}=\sum_{w \in W} k_{w, u}$ とする.これはデータ全体で文字列 $u$ が出現する回数である.

ふたつの文字列 $u, v$ について，隣接出現確率を以下のように定める .

$
P(u, v)=\frac{k_{u v}}{\sum_{x \in V} k_{u x}}
$

これは, すべての部分文字列の隣接回数を分母と し,$u$ と $v$ か隣接して出現する回数の割合である.

## 4.2 隣接強度の定義

分割対象文字列 $w \in W$ および光の分割 $\left(v_{0}, v_{1}, \cdots, v_{k}\right)$ について, $v_{i}$ と $v_{j}(0 \leq i, j \leq k)$ の隣接強度を以下のように定義する。

$
\begin{aligned}
\operatorname{score}\left(v_{i}, v_{j}\right)= & \left|v_{i}\right| P\left(v_{i}\right) \cdot\left|v_{j}\right| P\left(v_{j}\right) \\
& \cdot \sum_{u \in V} P(u)\left(\frac{2 P\left(v_{i}, u\right) P\left(u, v_{j}\right)}{P\left(v_{i}, u\right)+P\left(u, v_{j}\right)}\right)
\end{aligned}
$

これは 1 行目の出現確率の積で, 分割位置の前後の 出現文字列 $v_{i}, v_{j}$ が形態素として正しい分割である かを評価している.すなわち，光れ光れの出現確率 が高ければその分割は正しい分割となっている可能性が高く，まちがった位置で分割した場合は $v_{i}$ か $v_{j}$ があまり出現しない妙な文字列となっている可能性が高いためである.また 2 行目の総和の項は $v_{i}$ の後ろおよび $v_{j}$ の前に光れ光れ $u$ を隣接させた場合の調和平均と $u$ 自身の出現確率の積を考慮するこ とにより，出現率の高い $u$ に対して前後ともに接続性が良い場合に強度が上がるように定義した.この 項により，より形態素らしいものと接続する分割位置が高く評価されるため, 不自然な分割位置を淘汰 する効果が見込まれる。

## 5 複数の分割位置を選択する方法

前節による分割手法は分割する場合にどのような 位置で分割するべきかを判断する基準であるが , 分

隣接強度

$
r\left(w_{1}, w_{2}, u\right)
$

$
\operatorname{score}\left(w_{1}, w_{2}\right)=\left|w_{1}\right| \mathrm{P}\left(w_{1}\right)\left|w_{2}\right| P\left(w_{2}\right) \cdot \sum_{u \in V} r\left(w_{1}, w_{2}, u\right)
$

分割全体の隣接強度が最も強い分割とする

図 1 隣接強度の算出方法

割がない全体をひとつの形態素としたほうが良いか どうかの判定はできない. 以下のアルゴリズムを用 いて, 対象記号列全体をひとつの形態素であるかど うかを判定する。

[単一形態素判定アルゴリズム]

1. データ $w$けおる判定対象文字列を $w \in W$ と する。

ありかつ $P(v)>P(w)$ ならば,$w$ は複数の形態素から成り立つものとして，分割を行う。
3. $P(v) \leq P(w)$ ならば, $w$ 全体でひとつの形態素 であると判断する。

複数の形態素からなる文字列の場合は, $w$ に対す
る分割の中から，分割の隣接強度が最も高いものを 求め, $w$ を分割する.ここで分割の隣接強度は，光 れぞれの分割位置の隣接強度の調和平均によって求 められる.

[分割の隣接強度算出アルゴリズム]

1. 判定対象文字列 $w$ と算出対象の分割を $\left(v_{0}, v_{1}, \cdots, v_{k}\right)$ とする.

2. すべての $0 \leq i \leq k-1$ について, $s_{i}=$ $\operatorname{score}\left(v_{i}, v_{i+1}\right)$ とする.
3. $s_{i}(0 \leq i \leq k-1)$ の調和平均を分割の隣接強度 $S$ とする。

以上をまとめると，以下のアルゴリズムで $w \in W$ から助数詞および計量器の抽出が行える.

[全体アルゴリズム]

1. 単一形態素判定アルゴリズムを実行する．
2. $w$ がひとつの形態素の場合 :

・ $w$ が数値の直前に出現するもの $w_{p}$ ならば，計量器とする.

・ $w$ が数值の直後に出現するもの $w_{s}$ ならば，助数詞とする.
3. $w$ が複数の形態素からなる場合 : $w$ に対するす べての分割について, 光の分割の隣接強度 $S$ を 求める。

4. 前ステップで最も高い隣接強度を持つ分割を $\left(v_{0}, v_{1}, \cdots, v_{k}\right)$ とする.

・ $w$ が数値の直前に出現するもの $w_{p}$ ならば， $v_{k}$ を計量器とする.

・ $w$ が数值の直後に出現するもの $w_{s}$ ならば， $v_{0}$ を助数詞とする.

## 6 評価実験

本手法を用いて分量表現の前後に出現する語句の 解析を行った . 以下に実験に用いたデータの詳細を 示す.

レシピ総数

食材名総数 $=$ 分量表現総数

$w_{p}$ の異なり数

$w_{p}$ のすべての部分文字列の異なり数

$w_{s}$ 異なり数

$w_{s}$ のすべての部分文字列の異なり数 $1,715,595$

$12,300,740$

7,388

85,966

22,080

213,435

実験の結果，数値の前に隣接する語句は，分割を 行わないと 7,000 種類ほどであるが , 分割後はおよ 光 5,000 種類と大きな減少が見られた.このことか ら, 本手法による分割が適切な形態素を抽出してい ることがわかる．

次に数値の前に接続する文字列 $w_{p}$ に関して, 出現数が多い上位 100 種類の語句に対して, 本手法に より計量器が抽出できたかを確認する．

正しく計量器が抽出できた項目数 58/100

「大」「さじ」など細かくしすぎたもの 29/100

光の他不正解 13/100

計量器をうまく抽出できた例として，「大さじ山盛り」を (大さじ，山盛り) と分解した.また,一般の形態素解析ではふたつに分割されることの多い 「ティースプーン」などは単独で分割されない結果 となった . 分割に失敗する例としては「小さし」な ど誤記と思われる表現に対しては (小,さ，し)と分割する結果となった.「みじん切り小さじ」に対し
ては (みじん切り，小さじ）と分割されたが「刻ん で大さじ」に対しては（刻んで，大，さじ）となり，修飾語によっても結果が変化することがあった．

同樣に数值の直後に接続する文字列 $w_{s}$ に関して，出現数が多い上位 100 この中で本手法により助数詞 が抽出できたかを確認する．

正しく助数詞が抽出できた項目数 $97 / 100$不正解 3/100

うまく抽出ができた例として，「本分」を(本，分）と分割し，「程度」を (程度) のまま分割されな い結果となった．不正解は「つまみ」「かけら」「つ かみ」であり，乥れ光れ（つ，ま，み)（かけ，ら） (つ，か，み）となった。

比較実験として，部分文字列の出現数のみに着目 したスコア

$
\operatorname{score}\left(v_{i}, v_{j}\right)=\left|v_{i}\right| P\left(v_{i}\right) \cdot\left|v_{j}\right| P\left(v_{j}\right)
$

を用いた分割抽出も行った . この実験でも前記と 同樣に出現数上位 100 個の $w_{p}$ に対して性能を計測 した.

ると性能が低下することがわかる. 特に完全に形態素の境界でない部分を分割する不正解が増えている ことから本研究による提案手法の有効性が示され た . 一方，数値の後に接続する $w_{s}$ に対する性能は 変化しなかった。

## 7 おわりに

本研究により文字列間の隣接強度を出現数から定義することにより,レシピの分量表現を形態素解析 を行った . 光の結果, 助数詞および計量器の抽出に おいて文字列の出現数のみの場合より性能向上が確認できた . 今後の課題として，材料表の食材名に応 じて異なる助数詞の間の分量変換や数値の入ってい ない「少々」「適量」などの分量表現の理解が挙げら れる。

## 謝辞

本研究では、国立情報学研究所のIDR データセッ ト提供サービスによりクックパッド株式会社から 提供を受けた「クックパッドデータセット」を利用 した.

## 参考文献

[1] 山肩洋子, 今堀慎治, 森信介, 田中克己. ワークフロー 表現を用いたレシピの典型性評価と典型的なレシピ の生成. 信学論, Vol. J99-D, No. 4, pp. 378-391, 2016.

[2] H. Nanba, Y. Doi, T. Takezawa, K. Sumiya, and M. Tsujita. Construction of a cooking ontology from cooking recipes and patents. In Proceedings of Workshop on Smart Technologyfor Cooking and Eating Activities : CEA2014 (CEA 2014), pp. 507-516, 2014.

[3] 森信介, 長尾眞. $\mathrm{n}$ グラム統計によるコーパスからの 未知語抽出. 情報処理学会論文誌, Vol. 39, No. 7, pp. 2093-2100, 1998.

[4] 白井智, 鳥井修, 金井達德. 反復文字列階層グラフによ る文書からのキーワード自動抽出. 日本データベース 学会 Letters, Vol. 4, No. 1, pp. 1-4, 2005.

[5] クックパッド株式会社 (2015). クックパッドデー 夕. 国立情報学研究所情報学研究データリポジトリ. (データセット), 2015.


# 対訳データを使わないマルチリンガル表現学習に 必要な分布構造とは何か

李凌寒 1 鶴岡慶雅 1
1 東京大学大学院 情報理工学系研究科
\{li0123,tsuruoka@logos.t.u-tokyo.ac.jp

## 概要

複数の言語にまたがって意味を表現したべクトル を獲得するマルチリンガル表現学習アルゴリズム には、対訳データを用いないものがある。これらの アルゴリズムが言語間の対応を発見するために利用しているのは、自然言語の分布構造の類似性であ る。この分布構造とは具体的にどのようなものだろ うか? 本稿では、代表的なマルチリンガル表現学習 アルゴリズムとして、Skip-gram + VecMap と Masked Language Modeling (MLM)を取り上げ、それらが利用している分布構造を、局所的/大局的なものという 観点から区別して分析する。

## 1 はじめに

人間が異なる言語間の対応関係を理解するために は、2つの言語を明示的に結びつける情報が必要で ある。第二言語学習者にとっては、対訳辞書や教科書の対訳文が、その役目を担うだろう。また、多言語環境で生活する人々は、現実世界の物事との対応 を通して、2つの言語の対応関係を発見することが できる。一方で、ニューラルネットワーク (NN) は、人間とは異なる方法で言語間の対応を発見できるこ とが知られている。

Skip-gram などのアルゴリズムで学習した異なる 言語の単語ベクトル空間は、線形変換によって対応 づけられることが知られており [1]、その変換は対訳 データを使わずに発見することができる $[2,3]$ 。ま た、Transformer と Masked Language Modeling (MLM) を用いて文脈化単語べクトルを学習する際に、異な る言語のコーパスを混ぜて使うだけで、各言語の対応するフレーズのベクトル表現が近づく現象が報告 されており[4]、この効果は各言語に共通の語彙が 存在しない場合でも観察される $[4,5]$ 。これらの表現学習アルゴリズムが、言語間対応発見のための手

図 1 実験フレームワークの概略図。

がかりにできるのは、単語の分布構造の類似性であ る。異なる言語圏であっても、人間は共通の認知基盤を持ち [6]、またいくつかの話題を共有している ため、そうした共通性が言語の分布構造に反映され ていると考えることができる。

それでは、具体的にどのような分布構造が、アル ゴリズムの言語間対応発見の手がかりに使われて いるのだろうか。この問いを明らかにすることで、 NN の自然言語の捉え方に関する理解を深め、未だ に謎の多い $\mathrm{NN}$ という技術を上手く扱えるようにな ることに繋がる。本研究では、調査するアルゴリ ズムとして、Skip-gram + VecMap [3] および、Masked Language Modeling (MLM)を用いた手法を取り上げ る。分析では、学習データとして、分布構造を改変 したソース言語とターゲット言語のテキストを使 い、得られたマルチリンガルベクトルを言語横断テ キスト検索のタスクで評価する（図 1)。ここから、学習データの持つ分布構造の、アルゴリズムの言語間対応発見における必要性を調べることができる。

本稿では分析の観点として、ある単語の周囲数単語だけを含む局所的な分布と、周囲の文を含めた大局的な分布の、2つの分布の対比に注目する。実験 の結果、Skip-gram + VecMap は、自然言語の局所的/大局的な分布のいずれかだけを手がかりにして言語間対応関係を学習できる一方で、MLM は、大局的 な分布のみでは言語間対応を捉えられず、局所的な 分布が必要であることが示唆された。

## 2 対訳データを使わないマルチリン ガル表現学習

本論文の分析対象となるマルチリンガル表現学習手法は、入力として、ソース言語 $S$ のテキスト コーパス、ターゲット言語 $T$ のコーパスを受け取 り、それら言語のマルチリンガルベクトル表現モデ ルを得るアルゴリズムとして定式化できる。ここで は、Skip-gram + VecMap と Masked Language Modeling (MLM)の2つの手法を取り上げる。

## 2.1 Skip-gram + VecMap

Skip-gram [7] で学習されるモデルは、語彙 $V$中の 1 単語に 1 つのベクトルを割り当てる静的単語ベクトルである。学習時には、コーパス 中の単語列 $\left[w_{1}, \ldots, w_{L}\right]$ から、ターゲット単語 $w_{t}$ と、その周囲 $l$ 単語の範囲に存在する文脈語 $\left.\{w_{t-l}, . ., w_{t-1}, w_{t+1}, \ldots, w_{l}\right.\}$ の組が取り出され、ター ゲット単語のベクトルから、文脈語を予測するタス クでモデルを最適化する。本実験では、文脈空のサ イズを $l=5$ 、学習するべクトルの次元を $d=300$ と 設定し、学習は gensim¹) のデフォルトハイパーパラ メータで 15 エポック行った。

それぞれの言語のコーパスから別々に、Skip-gram による単語ベクトルを学習した後に、ソース言語の 単語ベクトルをターゲット空間上に写像すること で、マルチリンガルなベクトル空間を得る。このと き、ソース言語とターゲット言語のベクトル空間は 構造が類似していることが多く、線形変換によっ て揃えることができることが分かっている [1]。対訳辞書 $D=\left.\{\left(w_{1}^{S}, w_{1}^{T}\right), \ldots,\left(w_{N}^{S}, w_{N}^{T}\right)\right.\}$ が存在する場合 は、変換行列を $\boldsymbol{Z} \in \mathbb{R}^{d \times d}$ を、以下の最小二乗問題 を解くことで得られる。

$
\underset{\boldsymbol{Z}}{\arg \min } \sum_{i=1}^{N}\left.\|\boldsymbol{Z} \boldsymbol{w}_{i}^{S}-\boldsymbol{w}_{i}^{T}\right.\|^{2}
$

ここで、 $\boldsymbol{w}_{i}^{S}, \boldsymbol{w}_{i}^{T}$ は、ソース言語とターゲット言語 の、対応する単語のベクトルである。加えて、変換 の品質を向上させるために, 学習後のベクトルには ノルム正規化 $[8,9]$ を施し、 $\boldsymbol{Z}$ には直交行列となる ような制約 $\boldsymbol{Z}^{\top} \boldsymbol{Z}=\boldsymbol{I}$ を課している。

VecMap [3] は、このような変換行列 $\boldsymbol{Z}$ を、対訳 データなしで獲得する手法である。まず、 $\boldsymbol{W}^{S}, \boldsymbol{W}^{T}$ の統計情報から単語対訳辞書 $D_{0}$ を自動で構築す る。ここで利用する統計情報は、単語ベクトル同

1) https://radimrehurek.com/gensim/士の類似度の分布であり、これは言語に関わらず 似ていることが観察されている。単語べクトルを 集めた行列 $\boldsymbol{W} \in \mathbb{R}^{|V| \times d}$ の、類似度分布べクトルは $\operatorname{sorted}\left(\sqrt{\boldsymbol{W} \boldsymbol{W}^{\top}}\right)$ として計算される。ここで、sorted は、行ごとにベクトルの成分をソートする操作を表 す。同様に、類似度分布べクトルをソース言語と ターゲット言語について求め、ソースとターゲット 間で最近傍探索を行い、最も近い単語同士で単語対訳辞書 $D_{0}$ を構築する。

以後、自動で構築した対訳辞書 $D_{t}$ を用いて 式 1 を解き、写像行列 $Z_{t}$ を獲得するステップと、写像後のソース単語ベクトル $\boldsymbol{Z}_{t} \boldsymbol{W}^{S}$ とターゲット単語ベ クトル $\boldsymbol{W}^{T}$ 同士で最近傍探索を行い、新たな対訳辞書 $D_{t+1}$ を構築するステップを繰り返し、写像行列 の精度を高めて最終的な写像行列 $\boldsymbol{Z}$ を獲得する。

## 2.2 Masked Language Modeling

MLM [10] で学習されるモデルは、単語列 $\left[w_{1}, \ldots, w_{L}\right]$ を受け取り、それぞれの単語に対応 する文脈化べクトル $\left[\boldsymbol{h}_{w_{1}}, \ldots, \boldsymbol{h}_{w_{L}}\right]$ を出力するエン コーダである。学習時には、入力単語列にランダム にノイズを適用し、ノイズを適用された単語の出力 ベクトルから、元の単語を予測するタスクを解く。 マスク付き言語モデリング自体には、言語間の対応 を発見するような明示的な処理は存在しないにも関 わらず、学習データに複数の言語を用いるだけで、各言語のフレーズの対応が取れるようなべクトルが 学習され、これは言語間で語彙が共有されなくても 起こる $[4,5]$ 。本実験のエンコーダには、隠れ層の 次元が 512、層の数が 6 の Transformerを用い、MLM の学習は Adam を学習率 $1 e-4$ で用いて、バッチサ イズ 128 で 3 エポック行った。

## 2.3 言語間対応が学習される条件とは何か

これらのアルゴリズムが、言語間の対応を発見す るために使用しているのは、単語の分布構造の類似性だと考えられる。したがって、ソース言語とター ゲット言語の分布構造にずれが生じる場合、言語間対応の学習精度は悪化する場合がある。たとえば、 ソース言語とターゲット言語の言語学的な隔たりが 大きい場合や、コーパスのドメインが異なる場合で ある [11]。この傾向は学習アルゴリズムによって異 なり、MLM は静的単語べクトルベースの手法に比 べて、コーパスのドメインの違いには比較的頑健で あることが知られている [4]。これは学習アルゴリ

ズムによって、対応関係発見に用いている分布構造 が異なることが示唆しているが、その具体的な構造 は明らかになっていない。本研究では、各アルゴリ ズムが、どのような分布構造を手がかりにして言語間の対応関係を発見しているのかを調査する。

## 3 分析実験

本実験では、テキストの分布構造を改変すること で、アルゴリズムの構造への依存性を調べる。

## 3.1 学習データ

本実験は、ソース言語とターゲット言語の分布構造の差に注目するものではなく、両言語の分布構造 が一致しているという前提の元で、言語間対応発見 の必要条件となる分布構造を調べることが目的であ る。そこで、ここでは分布構造が一致しているが、共通の語彙を持たない別々の言語として、英語と、英語の語彙 IDをずらしたものを採用する。英単語 の語彙を $V$ 、トークン $w \in V$ のソース言語における IDを $\operatorname{id}(w)$ としたとき、ターゲット言語における ID は $\operatorname{id}(w)+|V|$ が割り当てられる。

学習データとして、英語 Wikipedia のダンプファ イルからランダムにサンプルした 100M 記事を用 いた。前処理として、まず記事中のテキストに文分割・単語分割を施した後、記事をまたがずに、完全な文のみを含む 128 トークン以内のセグメ ントに分割する。単語分割には事前訓練済みの bert-base-uncased2 ${ }^{2}$ のサブワードレベルのトーク ナイザを用いた。Skip-gramを訓練する際は、セグ メントを分割前に戻し、moses のトークナイザ3)を 用いて単語レベルに再分割した。このセグメント が、表現学習アルゴリズムに与える系列データの 1 単位となる。この処理によって、合計約 548 万のテ キストセグメントを得た。これらのデータをランダ ムに半分ずつに分割し、ソース言語とターゲット言語のコーパスとする。実験では、このデータをその まま使用した学習と、分布構造を改変して学習を 行った場合の結果を比較する。

## 3.2 言語間対応の評価

学習したマルチリンガルなベクトル表現モデル が、どれくらい正確にソース言語とターゲット言語 の対応関係を発見しているかを評価するために、言

2) https://huggingface.co/bert-base-uncased

3) https://github.com/moses-smt/mosesdecoder/blob/ master/scripts/tokenizer/tokenizer.perl語横断テキスト検索タスクを用いる。このタスク は、対訳テキストデータ $\left.\{\left(s_{1}^{(S)}, s_{1}^{(T)}\right), \ldots,\left(s_{N}^{(S)}, s_{N}^{(T)}\right)\right.\}$ が与えられ、モデルは、ソース言語のテキスト $s_{i}^{(S)}$ から、対応するターゲット言語のデータ $s_{i}^{(T)}$ を全 ターゲットテキスト中から探し当てるものである。

今回のベクトル表現モデルは、それぞれのテキ スト $s$ をべクトル表現 $s$ にエンコードして、コサ イン類似度に基づく最近傍探索によって検索する。 Skip-gram + VecMap から獲得したモデルは、テキス ト中の単語 $s=\left[w_{1}, \ldots, w_{L}\right]$ をそれぞれべクトルに変換し、それらを平均して得たべクトル $\frac{1}{L} \sum_{i}^{L} \boldsymbol{w}_{i}$ を用 いて検索を行う。マスク付き言語モデリングで学習 したエンコーダからも同様に、テキスト中の単語の 文脈化べクトルを平均したべクトルを用いる。マル チリンガルエンコーダのベクトル表現の対応は、最終層よりも中間層の方が良いため、結果ではエン コーダの第 4 層から抽出した結果を示す。評価スコ アには平均逆順位を用いた。

## 3.3 大局的な分布と局所的な分布

テキスト中の単語分布は、文書のトピックや文法 といった複数の要因で決まる。ここでは、大局的な 分布と、局所的な分布の 2 つの区別に注目する。こ こでいう大局的な分布とは、それぞれの単語が、文 または周辺の文といった広い範囲を見たときに、ど のような単語と共起するかの分布である。大局的な 分布は、その単語がよく現れる話題を反映している と考えることができる [12]。一方で、局所的な分布 は、より狭い数単語近傍にどのような単語が現れる かを指す。これは単語の話題的な意味に加えて、文法的な性質にも関連して決定される。

こうした分布に関する情報を除去する処理とし て、以下のデータ改変操作を導入する。

Corpus Shuffle は、コーパス中のトークンを、 セグメントの境界を無視してランダムにシャッフ ルする。シャッフル後は、セグメントの長さと数が シャッフル前と同じになるようにコーパスを分割す る。この操作により、コーパスは大局的な分布およ び局所的な分布のどちらも失い、アルゴリズムがア クセスできる意味のある統計情報は、トークンの頻度情報だけになる。

Sentence Shuffle はトークンを、セグメント内 でランダムにシャッフルする。この操作により、 データは局所的な分布を失うが、セグメント内での 共起情報という大局的な分布は残る。

N-gram Shuffle はコーパス中のトークンを Ngram ごとのブロックに分け、そのブロックを保った ままセグメントの境界を無視してランダムにシャッ フルする。シャッフル後は、セグメントの長さと数 がシャッフル前と同じになるようにコーパスを分割 する。この操作により、コーパスは大局的な分布を 失うが、 $N$-gram の局所的な分布は残る。本実験で は、 $N$ の大きさを 3 に設定した際の結果を示す。

以上の改変を加えたコーパスで学習した結果と、 もともとのコーパスからの結果を表 1 に示す。

表 1 分布構造を改変したコーパスで訓練したマルチリン ガルベクトルモデルを、言語横断テキスト検索タスクで 評価した際の平均逆順位を 100 倍にして示している。

まず、これらのアルゴリズムは、明示されずとも 言語の対応関係を発見でき、それには一定の分布構造が必要であることを確認する。改変を加えてい ないデータを用いた場合 (Original) は、各アルゴリ ズムともに 80 ポイントを上回るスコアを示してお り、テキスト分布のみから高い精度で対応関係が発見されていることが分かる。一方で、コーパス全体 をシャッフルして分布構造を無くした場合 (Corpus Shuffle)は、ほぼゼロに近いスコアを示し、頻度情報 だけでは言語間対応を発見できないことが分かる。

次に、大局的/局所的な構造のどちらかだけでも、各アルゴリズムが対応関係を発見できるかを見て いく。大局的な構造を除去し、局所的な構造だけ を残した場合 (3-gram Shuffle) は Skipgram + VecMap と MLM ともに、改変前 (Original) に近いスコアを 示している。つまり、これらのアルゴリズムには言語の局所構造さえあれば、言語の対応関係が発見で きるということである。セグメント中のトークンを シャッフルして、大局的な構造だけを残した場合 (Sentence Shuffle)は、Skipgram + VecMap は94.1 ポイ ントと、改変前 (Original) とほぼ変わらないスコア を示している一方で、MLM は 0.4 とほぼゼロに近 い值を示している。つまり、大局的な分布構造だけ が与えられた場合、Skip-gram + VecMap は対応関係 を発見できるが、MLM はできない。

原理的には、局所的/大局的な分布構造のいずれか の情報があれば、言語間の対応関係は発見可能であ ることを Skip-gram + VecMap の結果は示している。
しかしなぜ MLM は、大局的な分布構造だけでは対応関係をべクトル空間上に反映しないのだろうか。明示的な訓練信号なしで異なる言語のべクトル空間の共有が起こるメカニズムとして、タスクの学習 の際にパラメータの効率的な活用をするインセン ティブが働いているとする説がある。この説の根拠 は、モデルのパラメータを大きくすると、モデルの 発見する対応関係の精度が悪化するという観察で ある [13]。もしかしたら、大局的な構造だけを持つ データでの MLM は、パラメータ使用を効率化する インセンティブが働かないほどに、タスクが単純で ある可能性が考えられる。大局的な分布構造のみに 基づいてマスクのついた単語を予測するタスクは、局所的な構造が保存されている場合に比べて、正解 を絞り込むことが原理的に難しくなっている。実際 に、MLM の 3-gram Shuffle と Sentence Shuffle の収束時の訓練損失の値を比べると、それぞれ 2.3 と 5.4 ポイント前後を示している。後者の収束時の損失が 高いことは、タスクを解くための学習できる知識の 上限が限られていることを示しており、これがべク トル空間の共有が起こらないことにつながっている と推測される。4)

## 4 おわりに

本研究では、対訳データを使わないマルチリンガ ル表現学習アルゴリズムが、どのような単語の分布情報を用いて、異なる 2 つ言語の対応関係を発見しているかを調査した。結果として、Skip-gram + VecMap は、大局的な分布構造さえあれば言語の対応関係を発見できるのに対して、MLM は局所的な 分布構造がなければ、言語の対応関係を発見できな いことが明らかとなった。

今後の研究では、暗黙的な言語の対応関係を発見 するメカニズムを明らかにする必要がある。このた めには多言語データ、Transformer、MLM に限る必要はなく、より広い視点から、潜在構造が類似する 異なるデータで学習する際に、ニューラルネット ワークの中間表現共有がどのように起こるかを考え ることも有用であると思われる。

4） MLM に用いる Transformer のエンコーダのパラメータ数 を減らし、隠れ層サイズ 128、層の数 3 とした設定で評価を 行ったが、対応関係発見の精度改善は見られなかった。また 位置埋め込みがノイズとなり、対応関係の発見を妨げている 可能性を考え、位置埋め込みを使用しないエンコーダで学習 した場合も、結果は同じであった。大局的な分布のみでも、 MLM で言語の対応関係が発見される条件が存在するかどう かを明らかにすることは、今後の課題としたい。

## 参考文献

[1] Tomas Mikolov, Quoc V. Le, and Ilya Sutskever. Exploiting similarities among languages for machine translation. ArXiv, Vol. abs/1309.4168, , 2013.

[2] Guillaume Lample, Alexis Conneau, Marc Aurelio Ranzato, Ludovic Denoyer, and Herve Jegou. Word Translation without Parallel Data. In Proceedings of the 6th International Conference on Learning Representations, Vancouver, Canada, 2018.

[3] Mikel Artetxe, Gorka Labaka, and Eneko Agirre. A robust self-learning method for fully unsupervised crosslingual mappings of word embeddings. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 789-798, Melbourne, Australia, 2018.

[4] Alexis Conneau, Shijie Wu, Haoran Li, Luke Zettlemoyer, and Veselin Stoyanov. Emerging Cross-lingual Structure in Pretrained Language Models. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 6022-6034, Online, 2020.

[5] Stephen Mayhew Karthikeyan K, Zihan Wang and Dan Roth. Cross-Lingual Ability of Multilingual BERT: An Empirical Study. In Proceedings of the 8th International Conference on Learning Representations, Addis Ababa, Ethiopia, 2020.

[6] Hyejin Youn, Logan Sutton, Eric Smith, Cristopher Moore, Jon F. Wilkins, Ian Maddieson, W. Bruce Croft, and Tanmoy Bhattacharya. On the universal structure of human lexical semantics. Proceedings of the National Academy of Sciences, Vol. 113, pp. 1766 - 1771, 2015.

[7] Tomas Mikolov, Kai Chen, G. Corrado, and J. Dean. Efficient Estimation of Word Representations in Vector Space. In International Conference on Learning Representations, 2013

[8] Mikel Artetxe, Gorka Labaka, and Eneko Agirre. Learning principled bilingual mappings of word embeddings while preserving monolingual invariance. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 2289-2294, Austin, Texas, 2016.

[9] Chao Xing, Dong Wang, Chao Liu, and Yiye Lin. Normalized Word Embedding and Orthogonal Transform for Bilingual Word Translation. In Proceedings of the 2015 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 1006-1011, Denver, Colorado, 2015 .

[10] Jacob Devlin, Mingwei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1, pp. 4171-4186, Minneapolis, Minnesota, 2019.

[11] Anders Søgaard, Sebastian Ruder, and Ivan Vulić. On the limitations of unsupervised bilingual dictionary induction. In Proceedings of the 56th Annual Meeting of the As- sociation for Computational Linguistics (Volume 1: Long Papers), pp. 778-788, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[12] Omer Levy and Yoav Goldberg. Dependency-based word embeddings. In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 302-308, Baltimore, Maryland, June 2014. Association for Computational Linguistics.

[13] Philipp Dufter and Hinrich Schütze. Identifying elements essential for BERT's multilinguality. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 4423-4437, Online, November 2020. Association for Computational Linguistics.


# マルチラベル分類のための重みつき非対称損失関数

安田有希 宮墒太郎 後藤淳
日本放送協会 放送技術研究所
\{yasuda.y-hk, miyazaki.t-jw, goto-j. fw\}@nhk.or.jp

## 概要

単一のテキストに複数のラベルを付与するマルチ ラベルテキスト分類は、自然言語処理で重要なタス クの一つであるが、大きな課題としてラベルの出現頻度が不均衡であることが挙げられる。学習データ 中にあまり出現しない低頻度ラベルは、ポジティブ サンプル数が極端に少なく、ほとんどの入力がネガ ティブサンプルである。そのため、モデルは低頻度 ラベルをほとんどネガティブサンプル由来の損失 から学習することになる。本研究では、ラベルの共起重みと出現頻度重み、ネガティブサンプル由来の 損失値を抑制する重みを組み合わせる手法を提案 する。実験の結果、Reuters-21578 では、micro-F1 で 0.911 と SOTAを上回る性能を達成した。

## 1 はじめに

マルチラベルテキスト分類 (MLTC) は、自然言語処理の中でも重要な課題の一つであり、今日実世界 の様々な場面で適用されている。たとえば、法律文書の分類 [1]、カルテによる自動診断 [2] が挙げ られる。MLTC では文書 $x_{i} \in X$ に対して、事前に 定義されたラベルから適切なラベルのサブセット $y_{i} \in\{0,1\}^{C}$ を付与するタスクである $[3,4]$ 。なお、 ここで $X$ は文書の集合であり、 $C$ は事前に定義さ れたラベルの総数である。MLTC においてべンチ マークとして広く利用されている Reuters-21578[5] のデータのサンプルを図 1 に示す。

 \\
Labels 1 & cocoa \\

Labels 2 & sorghum, oat, barley, corn, wheat, grain \\

図 1 Reuters-21578 のデータ例

図 2 Reuters-21578 におけるラベル分布

MLTC の特徴として、ラベルの頻度がロングテー ル分布に従う不均衡データセットが挙げられる。一例として、図 2 に Reuters-21578 の各ラベルの頻度分布を示す。図 2 が示すとおり、低頻度ラベルはポ ジティブサンプルから学習することは稀であり、殆 どの場合ネガティブのサンプルから学習する。これ は、Imbalanced learning と呼ばれ、機械学習の分類問題における大きな課題の一つである [6,7]。

この課題を解決するために、画像分類分野では損失値に重み付けを行うような様々な損失関数手法 が提案されている $[8,9,10]$ 。さらに、これらの手法 は自然言語処理分野にも流用され、効果を発揮して いる [11]。本研究では、ラベルの共起情報をもとに した重みとラベルの頻度から構成された重み、ネガ ティブサンプルの影響を軽減する重みを組み合わ せ、不均衡データセットの影響を抑制するような損失関数を提案する。

## 2 関連研究

Class-Balanced Loss (CBL)[8] は、データセット内 の各ラベルの出現数に反比例する重みを構築して損失値に重み付けする手法である。つまり、出現数の 多いラベルの損失值ほど抑制されるような重みを構築するため、各ラベル間での損失值のバランスが調整される。しかしながら、CBLでは同一のラベルに おけるポジティブサンプル由来の損失とネガティブ サンプル由来の損失のバランスは考慮されない。マ

ルチラベル分類では、ラベル空間が大きいタスクを 取り扱うことも多いため、学習サンプルにおいてモ デルが計算する損失值のほとんどが、ネガティブラ ベル由来の損失値である。つまり、ラベル間の重み 調整だけでは偏ったネガティブサンプルの影響を取 り除けず、ポジティブサンプルに対しても意味のあ る学習が難しくなってしまう。

この課題を解決するために Distribution-Balanced Loss (DBL)[9] が提案されている。DBL は、損失值を調整する重みと Negative-Tolerant Regularization (NTR) 手法を統合して構成される。重みはバッチ内 のラベル出現数の逆数とデータ全体のラベル出現数 の逆数の比を求めることで算出される。また、NTR はモデルの出力からその逆数とハイパーパラメータ によって算出される値を引くことによってネガティ ブサンプルの学習を抑制することを実現している。 すなわち、モデルの出力が一定の値を下回ると急激 に損失値を低下させることができる。ただし、DBL では学習のために事前定義しなければならないハイ パーパラメータが非常に多く、データ量が多い傾向 にある MLTC では探索のコストが非常に高い。

学習中のネガティブサンプルの影響を緩和するた めの別の手法として、非対称的な形を持った重みを 損失值に適用する Asymmetric Loss (ASL)[10] が提案 されている。ASL のコンセプトとして、以下の 2 点 が挙げられる。それは Focal Loss (FOC)[12] におけ る減衰率 $\gamma$ を正負のサンプルで分離する Asymmetric Focusing 手法と学習が十分に進んだネガティブ サンプルの損失値を完全に破棄する Asymmetric Probability Shifting 手法である。つまり、ラベルの正負をもとにした損失値への重み付けと意味のあるサ ンプルからの学習の選択を同時に行う。ASLでは、 ネガティブサンプルに適用される $\gamma_{-}$をポジティブ サンプルに適用される $\gamma_{+} よ り も$ 高く設定すること で、ネガティブサンプルに対するモデルの出力が小 さい場合に損失值を抑制する一方で、ポジティブサ ンプルの損失値は不当に抑制されないような学習を 実現している。ただし、ASL はネガティブサンプル の影響の抑制に高い効果を発揮する一方で、データ セット内で多く出現する高頻度ラベルの影響を抑制 できない。

## 3 提案手法

近年の多くの損失関数の提案は MLTC で多大な成果を収めているが、頻度もしくはラベルの正負とい

図 3 本研究における提案手法の概要図

う一面的な観点でしか重みが構築されていない。そ こで、本研究ではラベル間の頻度の差を緩和する重 みとネガティブサンプルの影響を抑制する重み、低頻度ラベルのサンプル数の少なさを緩和する重みを 統合した手法を提案する。データの中で多数派であ る低頻度でネガティブなサンプルに対しては $\gamma$ の値 を上げることで損失値を抑制する。一方で、少数派 である高頻度ラベルでネガティブなサンプルに対し ては $\gamma$ の値を下げることで損失値の抑制を緩和す る。さらに、トレーニングデータから抽出されたラ ベルの共起表現をもとにした Label Smoothing を行 うことによって低頻度ラベルのサンプル数の少なさ を補い、モデルの過学習を抑制することを狙う。本提案手法の概要図を図 3 に示す。

## 3.1 Class Balancing モジュール

Class Balancing モジュールではトレーニングデー タ全体のラベル分布から各ラベルに適用する重みを 計算する。本提案手法では、CBL で提唱されている ラベルの出現数をもとにした重み $r^{c b}$ から重み $\hat{r}^{c b}$ を構築する。 $\hat{r}^{c b}$ は、CBL と同様に損失値全体の重 み付けを行うと同時に、後に説明する Asymmetric Focusing モジュールにおいて $\gamma$ を調整する役割も持

つ。 $\hat{r}^{c b}$ は以下のように定義される。

$
\begin{aligned}
r^{c b} & =\frac{(1-\beta)}{1-\beta^{n_{y}}}, \\
\hat{r}^{c b} & =\frac{r^{c b} n_{y}}{\sum^{i} r^{c b}} .
\end{aligned}
$

ここで、 $n_{y}$ は各ラベルの出現数、 $0 \leq \beta<1$ は重み の強度を調整するハイパーパラメータである。

## 3.2 Asymmetric Focusing モジュール

Asymmetric Focusing モジュールでは ASL と同様 に、ポジティブサンプルとネガティブサンプルの それぞれに適用する重み $(1-p)^{\gamma_{+}},\left(p_{m}\right)^{\gamma_{-}}$を計算 する。このうち、ネガティブラベルに適用される $\gamma_{-}$と Class Balancing モジュールで構築された重み $\hat{r}_{c b}$ を掛け合わせる。提案手法 Asymmetric Loss with Weight Combination (ASLWC) における損失は以下の ように定義される。

$
\begin{aligned}
\text { Loss } & =\hat{r}^{c b}\left[-y L_{+}-(1-y) L_{-}\right] \\
L_{+} & =(1-p)^{\gamma_{+}} \log (p), \\
L_{-} & =\left(p_{m}\right)^{\gamma_{-} r_{-}^{c b}} \log \left(1-p_{m}\right), \\
p_{m} & =\max (p-m, 0) .
\end{aligned}
$

ここで、 $0 \leq \gamma_{+}<\gamma_{-}$はハイパーパラメータである。 また、式 6 は Asymmetric Probability Shifting 手法で あり、モデルの出力確率が非常に低い場合、ネガ ティブサンプルによる影響を完全に破棄するための 処理である。

## 3.3 Label Smoothing モジュール

Class Balancing と Asymmetric Focusing による重み 調整では、低頻度ラベルに対応する入力サンプルの 少なさは本質的に解決されない。本提案手法では Label Smoothing 手法 [13]をもとに、事前確率として ラベルの共起情報を設定した Label Smoothing を行 う。本提案手法における Label Smoothing は以下の ように定義される。

$
\begin{aligned}
y^{\prime} & =(1-\alpha) y+\alpha u(y) \\
u(y) & =\operatorname{norm}\left(\sum_{i=1, y_{i}=1}^{C} P P M I_{i j}\right)
\end{aligned}
$

ここで、 $0<\alpha<1$ は Smoothing の度合いを決定す るハイパーパラメータである。さらに、norm は正規化関数であり、Min-Max Normalization 手法を用い る。また、PPMI はトレーニングデータの各ラベル の共起回数から計算された正の自己相互情報量行列
を示す。通常の Label Smoothing では式 7 の項 $u(y)$ は一様分布 $\frac{1}{C}$ が定義されるが、本提案手法の Label Smoothing では、ポジティブラベルとデータセット 内で共起するラベルを関連ラベルとみなし、関連ラ ベルにのみ Ground Truth Value を分配する。これに よって、本来は正負の判定をするためだけの式 3 内 の項 $y 、(1-y)$ を共起情報が加味された重みとして 扱うことができる。

## 4 実験

提案手法の有効性を検証するために、ベースラ イン手法との比較実験を行った。ベースライン 手法の損失関数として Binary Cross-Entropy (BCE)、 FOC[12]、CBL[8]、CBL-NTR[11]、DBL[9]、ASL[10] を用いた。このうち、CBL-NTR と DBL は Reuters21578 において State-of-the-art である。

## 4.1 データセット

本実験では、ベンチマークとして Reuters-21578[5] と AAPD[14]、20 Newsgroups[15] を用いた。それぞ れのデータセットの統計情報を表 1 に示す。なお、

Reuters-21578 に関して、本実験では modApté 分割 [16]を使用して、トレーニングデータとテストデー タに分割した。また、Reuters-21578、20 Newsgroups はともに検証データが事前に定義されていないた め、学習データを 9:1の比率でランダムに分割し、検証データを構築した。

表 1 データセット概要

Reuters-21578 は、1987 年にロイターのニュースワ イヤーに揭載された経済分野のニュース記事から構成されており、ラベルの分布が非常に不均衡という 特徵がある。AAPD は、科学論文のリポジトリであ る arXiv に公開された論文のアブストラクトから構成されており、実験に利用されたデータセットの中 で中程度の不均衡さを持つ。20 Newsgroups は複数 のドメインから構成されるニュース記事を集めた データセットで、ラベル分布が均衡のとれたデータ セットである。
表 2 実験結果

## 4.2 実験設定

本実験では、分類モデルとしてニューラルネット ワークを用いた。RoBERTa[17] で大力サンプルを文章の特徴量に変換するエンコーダ部分と、文章の特徵量から各ラベルのスコアを出力する 2 層の Feed Forward Networks (FFNN) から構成されるモデルを 使用した。モデルは Pytorch[18] と Transformers[19] を用いて実装し、最適化手法として RoBERTaには AdamW[20]を適用し、FFNNにはRAdam[21]を適用 した。各比較手法で共通のハイパーパラメータの 学習エポックは 50 エポック、ドロップアウト率 は 0.1、RoBERTa の学習率は $2 \times 10^{-5}$ 、FFNN の学習率は $2 \times 10^{-3}$ 、出力閾値は 0.5 であった。また、各手法の固有のハイパーパラメータに、それぞ れ FOC は $\gamma=2 、 \operatorname{CBL}$ は $\beta=0.9 、$ DBL は $\beta=10.0$、map $-\gamma=0.9 、$ ASL $\gamma_{+}=1 、 \gamma_{-}=4 、$ ASLWC は $\alpha=0.3 、 \beta=0.3 、 \gamma_{+}=1 、 \gamma_{-}=4$ と設定した。本実験では、各手法の実験は異なるランダムシードで 5 回評価を行い、表 2、表 3 には評価値の平均を記載 した。

## 4.3 評価指標

本実験では、評価指標として Macro-f1、Micro-F1 を用いた。なお、出現頻度が下位三分の一であるラ ベルを低頻度ラベルとして定義し性能を比較した。

## 4.4 結果

本実験の結果を表 2 に示す。Reuters-21578と AAPD において、すべてのラベルを用いた指標で 本提案手法が比較手法を上回ったことが確認され た。なお、Reuters-21578 においては SOTA である CBL-NTR と DBLを超える精度が確認された。一方 で、20 Newsgroups において提案手法を含む重み調整の手法が BCE の精度を超えなかったことが認め
られた。なお、すべてのデータセットにおける各ラ ベルグループごとの結果は付録 A に記載した。

## 4.5 議論

Reuters-21578 と AAPD はどちらもラベルの頻度 に偏りがあり、その影響をモデルに与えやすいデー タセットである。一方で、20 Newsgroups はラベル の不均衡の度合いが弱く、相対的には低頻度ラベル であっても 1000 件程度のサンプル数が確保されて いる。このことから、表 2 を鑑みると本提案手法は ラベルの不均衡の度合いがある程度強いデータに有効である可能性がある。

表 2 の低頻度ラベルの結果から、Reuters-21578 と AAPD において本提案手法が低頻度ラベルの精度を 向上させている。このことから、本提案手法におい て低頻度ラベルの精度向上が全体のラベルの分類精度の向上につながったのではないかと推察できる。 つまり、本提案手法によってラベルの不均衡による 影響を他の提案手法に比べて緩和できている可能性 がある。

## 5 おわりに

マルチラベルテキスト分類では、ラベルの出現頻度に偏りがあるデータにおいて、低頻度ラベルの精度が低いという課題が存在する。そこで、本研究で はラベルの共起情報をもとにした重みと出現頻度の 重み、ネガティブサンプルの損失を抑制する重みと を組み合わせる手法を提案した。実験結果より、提案手法がラベル分布の偏りが強いデータセットに おいてべースラインを上回ることが確認された。ま た、提案手法が低頻度ラベルの精度を改善している ことから Imbalanced learning の問題を緩和できる可能性がある。今後の展望として、より幅広いベンチ マークデータセットでの検証と既存の大規模モデル への適用による手法の頑健性の検証が挙げられる。

## 参考文献

[1] Ilias Chalkidis, Emmanouil Fergadiotis, Prodromos Malakasiotis, Nikolaos Aletras, and Ion Androutsopoulos. Extreme multi-label legal text classification: A case study in EU legislation. In Proceedings of the Natural Legal Language Processing Workshop 2019, pp. 7887, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[2] Clare Amanda and King D. Ross. Knowledge discovery in multi-label phenotype data. In Principles of Data Mining and Knowledge Discovery, pp. 42-53, Berlin, Heidelberg, 2001. Springer Berlin Heidelberg.

[3] Min-Ling Zhang and Zhi-Hua Zhou. A review on multilabel learning algorithms. IEEE Transactions on Knowledge and Data Engineering, Vol. 26, No. 8, pp. 18191837, 2014.

[4] Tsoumakas Grigorios and Katakis Ioannis. Multi-label classification: An overview. International Journal of Data Warehousing and Mining, Vol. 3, No. 3, pp. 1-13, 2007.

[5] Philip J. Hayes and Steven P. Weinstein. CONSTRUE/TIS: a system for content-based indexing of a database of news stories. In Proceedings of the The Second Conference on Innovative Applications of Artificial Intelligence, IAAI '90, pp. 49-64. AAAI Press, 1990.

[6] Haibo He and Edwardo A. Garcia. Learning from imbalanced data. IEEE Transactions on Knowledge and Data Engineering, Vol. 21, No. 9, pp. 1263-1284, 2009.

[7] Wang Yaqing, Yao Quanming, Kwok T. James, and Ni M. Lionel. Generalizing from a few examples: A survey on few-shot learning. ACM compututing Ssrveys, Vol. 53, No. 3, pp. 1-34, 2020.

[8] Cui Yin, Jia Menglin, Lin Tsung-Yi, Song Yang, and Belongie Serge. Class-balanced loss based on effective number of samples. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 9268-9277, June 2019.

[9] Wu Tong, Huang Qingqiu, Liu Ziwei, Wang Yu, and Lin Dahua. Distribution-balanced loss for multi-label classification in long-tailed datasets. In Andrea Vedaldi, Horst Bischof, Thomas Brox, and Jan-Michael Frahm, editors, Proceedings of the European Conference on Computer Vision, pp. 162-178, Cham, 2020. Springer International Publishing.

[10] Ridnik Tal, Ben-Baruch Emanuel, Zamir Nadav, Noy Asaf, Friedman Itamar, Protter Matan, and Zelnik-Manor Lihi. Asymmetric loss for multi-label classification. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pp. 82-91, October 2021.

[11] Yi Huang, Buse Giledereli, Abdullatif Köksal, Arzucan Özgür, and Elif Ozkirimli. Balancing methods for multilabel text classification with long-tailed class distribution. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 8153-8161, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.
[12] Lin Tsung-Yi, Goyal Priya, Girshick Ross, He Kaiming, and Dollár Piotr. Focal loss for dense object detection. In Proceedings of the IEEE International Conference on Computer Vision, pp. 2999-3007, 2017.

[13] Szegedy Christian, Vanhoucke Vincent, Ioffe Sergey, Shlens Jon, and Wojna Zbigniew. Rethinking the inception architecture for computer vision. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 2818-2826, 2016.

[14] Yang Pengcheng, Sun Xu, Li Wei, Ma Shuming, Wu Wei, and Wang Houfeng. SGM: Sequence generation model for multi-label classification. In Proceedings of the 27th International Conference on Computational Linguistics, pp. 3915-3926, Santa Fe, New Mexico, USA, August 2018. Association for Computational Linguistics.

[15] Ken Lang. Newsweeder: Learning to filter netnews. In Proceedings of the Twelfth International Conference on Machine Learning, pp. 331-339, 1995.

[16] Chidanand Apté, Fred Damerau, and Sholom M. Weiss. Automated learning of decision rules for text categorization. ACM Trans. Inf. Syst., Vol. 12, No. 3, pp. 233-251, July 1994.

[17] Zhuang Liu, Wayne Lin, Ya Shi, and Jun Zhao. A robustly optimized BERT pre-training approach with post-training. In Proceedings of the 20th Chinese National Conference on Computational Linguistics, pp. 1218-1227, Huhhot, China, August 2021. Chinese Information Processing Society of China.

[18] Paszke Adam, Gross Sam, Massa Francisco, Lerer Adam, Bradbury James, Chanan Gregory, Killeen Trevor, Lin Zeming, Gimelshein Natalia, Antiga Luca, Desmaison Alban, Kopf Andreas, Yang Edward, DeVito Zachary, Raison Martin, Tejani Alykhan, Chilamkurthy Sasank, Steiner Benoit, Fang Lu, Bai Junjie, and Chintala Soumith. Pytorch: An imperative style, high-performance deep learning library. In H. Wallach, H. Larochelle, A. Beygelzimer, F. d'Alché-Buc, E. Fox, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 32. Curran Associates, Inc., 2019.

[19] Wolf Thomas, Debut Lysandre, Sanh Victor, Chaumond Julien, Delangue Clement, Moi Anthony, Cistac Pierric, Rault Tim, Louf Remi, Funtowicz Morgan, Davison Joe, Shleifer Sam, von Platen Patrick, Ma Clara, Jernite Yacine, Plu Julien, Xu Canwen, Le Scao Teven, Gugger Sylvain, Drame Mariama, Lhoest Quentin, and Rush Alexander. Transformers: State-of-the-art natural language processing. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 38-45, Online, October 2020. Association for Computational Linguistics.

[20] Loshchilov Ilya and Hutter Frank. Decoupled weight decay regularization. In International Conference on Learning Representations, 2019.

[21] Liyuan Liu, Haoming Jiang, Pengcheng He, Weizhu Chen, Xiaodong Liu, Jianfeng Gao, and Jiawei Han. On the variance of the adaptive learning rate and beyond. In International Conference on Learning Representations, 2020 .

## A ラベル頻度グループ別の結果

実験に使用したデータの頻度グループ別の結果を表 3、表 4、表 5 にそれぞれ示す。データセット中のラベ ルを出現頻度順に並べたときの上位を High、中位を Middle、下位をLow に分割し、性能を比較した。なお、各グループのラベル数は均等になるように分割し、Reuters-21578 と AAPD、20 Newsgroups の各グループはそ れぞれ 30 件、 18 件、 11 件のラベルから構成されている。

表 3 頻度グループごとのラベルにおける実験結果 (Reuters-21578)

表 4 頻度グループごとのラベルにおける実験結果 (AAPD)

表 5 頻度グループごとのラベルにおける実験結果 (20 Newsgroups)

20 Newsgroups


# スケール不変な木構造棒折り過程に基づく 無限階層トピックモデル

江島舟星 ${ }^{1}$
1 ハーバード大学大学院 政治学科
shuseieshima@g. harvard.edu
}

持橋大地 2
2 統計数理研究所
daichi@ism.ac.jp

## 概要

階層的トピックモデルは、多様なトピックを木構造で整理するために活用されてきた。しかし既存手法では、木が深くなるにつれて各トピックの平均確率が指数的に小さくなり、似通ったトピックが多数推定されてしまう。本研究ではこの課題に対し、ス ケール不変木構造棒折り過程を用いた階層的トピッ クモデル (ihLDA) を提案する。提案手法はトピック 生成時にその親を考慮することで、トピック平均確率の減衰を抑え、深い木構造の推定を可能にする。 また、提案手法は木構造棒折り過程の階層化でもあ る。提案手法が、ニューラルモデルを含む既存手法 より 2 つの指標で優れることを実験的に確認した。

## 1 はじめに

トピックモデルは文章の要約、注釈、分類のため に幅広く用いられているが $[1,2,3,4]$ 、大規模コー パスから数千ものトピックを推定できるモデルが登場したことで $[5,6,7,8]$ 、大量のトピックを解釈す る必要性が高まった。

階層的トピックモデルは、トピックの階層的構造 もコーパスから学習することで、トピックの整理 と解釈を助けるものである $[9,10,11,12,13,14,15]$ 。 しかし既存手法では、用いられる確率が小さく、似通ったトピックー単語分布を持つ多数のトピックが 推定される。これは確率的モデルだけでなく、近年 のニューラルモデルにおいても共通の現象である。

トピックの平均確率が減衰する原因は、階層モデ ルで用いられる棒折り過程 [16] が、各トピックの平均確率を木が深くなるにつれ指数的に小さくするこ とにある。既存手法では推定される木構造を一定の 深さで打ち切るなどのヒューリスティックに基づ き、トピックの減衰を防いできた。

これに対し本研究は、スケール不変な木構造棒折
り過程と、それに基づく無限階層トピックモデル (ihLDA) を提案し、以下の 3 点を実現する。

1.トピック生成時にその親を考慮し、トピック平均確率の減衰を抑えた深い木構造の推定

2. 木構造棒折り過程 (TSSB) [11] の階層ベイズ化

3. 木構造に属する全てのトピックを数え上げる必要のない、効率的なサンプリング

棒折り過程を用いる既存手法に提案手法を取り 入れることは容易であり、本研究は確率的モデル、 ニューラルモデル双方の改善に資するものである。

## 2 木構造棒折り過程

木構造棒折り過程 (TSSB)[11] は、2つの棒折り過程を [16] を組み合わせ、理論的には無限の深さと幅 を持つトピック木を図 1 のように実現する。

階層的トピックモデルは潜在トピック $\boldsymbol{\epsilon}=\boldsymbol{\epsilon}_{1} \epsilon_{2} \ldots$ を各文書の各単語に割り当てる。深さ $|\epsilon|$ のトピッ ク $\boldsymbol{\epsilon}$ は先祖と子を持ち、 $\{\boldsymbol{\kappa}: \boldsymbol{\kappa}<\boldsymbol{\epsilon}\}$ が先祖集合を表 す。また、 $\boldsymbol{\epsilon}$ の親は $\boldsymbol{\epsilon}^{\prime} て ゙ 、 \boldsymbol{\epsilon}$ の子は $\{\boldsymbol{\epsilon} k: k \in 1,2,3, \ldots\}$ で示す。

TSSB におけるトピック $\boldsymbol{\epsilon}$ の確率 $\pi_{\epsilon}$ は、

$
\pi_{\epsilon}=v_{\epsilon} \prod_{\kappa<\epsilon}\left(1-v_{\kappa}\right) \cdot \prod_{\kappa \leq \epsilon} \phi_{\kappa}, \phi_{\epsilon k}=\psi_{\epsilon k} \prod_{j=1}^{k-1}\left(1-\psi_{\epsilon j}\right)
$

で表される。式 (1) の第 1 項はトピック $\epsilon$ が縦方向 に止まる確率であり、続く積は $\boldsymbol{\epsilon}$ の先祖を縦方向に は通過しつつ、横方向では $\epsilon$ とその先祖に止まる確率である。縦横方向に止まる確率は、ベータ分布に 従うとする。

$
v_{\boldsymbol{\epsilon}} \sim \operatorname{Be}\left(1, \alpha_{0}\right), \psi_{\boldsymbol{\epsilon}} \sim \operatorname{Be}\left(1, \gamma_{0}\right) .
$

$\alpha_{\epsilon}=\alpha_{|\epsilon|} \cdot \lambda^{|\epsilon|-1}, 0 \leq \lambda \leq 1$ と定め、深いほど単語が止 まりやすくする。以下、 $\alpha_{\epsilon}$ を $\alpha$ と記す。

図1 木構造棒折り過程 [11]。青の区間はその幅に比例した確率 $\pi$ のトピックを、角括弧は各トピックの経路を、黒線 は親子関係を、 $\psi$ は横方向の棒折り過程を示す。右図はトピックのみを抜き出したものである。

(a) TSSB [11]

(b) スケール不変 TSSB (提案手法)

$\alpha_{0}=3.5, \gamma_{0}=2, \lambda=0.25$

図 2 TSSB [11] (a) とスケール不変 TSSB (b)。青の区間は その幅に比例したトピックを示す。(a)(b) は同じハイパー パラメータから生成された木構造であるが、(b) の提案手法は確率 $\pi_{\epsilon}$ が小さすぎるトピックを生成しない。

Level $\ell$

図 3 深さ $\ell$ における横方向の平均分割確率。 3 つの異な る確率を持つ木の根を提案手法では示した。提案手法の 減衰は、TSSB よりも遅い。 $\gamma_{0}$ の値は 0.8 に固定した。

## 3 スケール不変木構造棒折り過程

TSSB は階層的トピックモデルに用いられるが $[14,15] 、 木$ 構造が深くなるほどトピックの平均確率が指数的に小さくなるという問題を抱えている。図 2(a) に示されるように、 3 段目、 4 段目のトピッ クの確率はより上部のトピックと比べて小さい。

このような TSSB の性質は、横方向パラメータ $\psi_{\epsilon}$ が深さに関わらず同じ平均確率を持つために生じ る。付録 A が示す通り、深さ $\ell$ における横方向の平均分割確率は $\mathbb{E}[\phi \mid \ell] \approx 1 /(2 \gamma+1)^{\ell}$ であり、深さ $\ell$ が 分母の指数にある。このため、図 3 の点線が示すよ うな指数的な減衰が生じてしまう。

そこで本研究では、式 (2)の $\gamma_{0}$ を親ノード $\boldsymbol{\epsilon}^{\prime}$ から

$
\psi_{\boldsymbol{\epsilon}} \sim \operatorname{Be}\left(1, \phi_{\boldsymbol{\epsilon}^{\prime}} \gamma_{0}\right)
$

としてスケールを修正する。ここで根ノードにおい
ては $\phi_{\boldsymbol{\epsilon}^{\prime}}=1$ である。以下 $\gamma=\phi_{\boldsymbol{\epsilon}^{\prime}} \gamma_{0}$ と表記する。

式 (3) で鍵となるのは、親トピック $\boldsymbol{\epsilon}^{\prime}$ における横方向の分割確率 $\phi_{\epsilon^{\prime}}$ を用いて、その子トピックの相対的な棒の長さ $\psi_{\epsilon}$ を求めている点である。これに よって、付録 $\mathrm{A}$ に示した通り、深さ $\ell$ での平均的な 棒の長さを $\mathbb{E}[\phi \mid \ell] \approx 1 /(2 \gamma+1 / \mathbb{E}[\phi \mid \ell-1])(\ell \geq 2)$ と し、深さ $\ell$ に対してスケール不変となる分割を実現 した。図 3 の実線が提案手法であるスケール不変木構造棒折り過程 (スケール不変 TSSB) を表している。

図 2(b) にこのスケール不変 TSSB からのサンプル を、(a)と同じハイパーパラメータを用いて示した。提案手法を用いると、木構造が深くなってもトピッ クの確率が小さくなりにくいことがわかる。

## 4 スケール不変木構造棒折り過程に 基づく無限階層トピックモデル

トピックモデルは、文書-トピック分布とトピッ ク一単語分布の組み合わせであり、本論文が提案す るihLDA は、スケール不変 TSSB を前者に、階層 Pitman-Yor 過程 [17]を後者に用いる。

文書-トピック分布それぞれのトピックが用い られる確率は文書ごとに異なるが、トピック自体は 全ての文書で共有されなければならない。このため 本研究は、スケール不変 TSSB を階層木構造棒折り 過程 (HTSSB) [18] に適用する。図 4 の通り、HTSSB は親 TSSB から子 TSSB を各文書に対して階層的に 生成する。

図 4 HTSSB は親 TSSB から子 TSSB を階層的に生成す る。子TSSB は各文書の文書-トピック分布である。

HTSSB は階層ディリクレ過程 (HDP)[19]を式 (2) と (3) の縦横方向のパラメータに適用する。HTSSB での親子関係を示すために、チルダ記号を用い て子 TSSB のトピック $\boldsymbol{\epsilon}$ に対応する親 TSSB のト

$v_{\epsilon} \sim \operatorname{Be}\left(a \tau_{\tilde{\epsilon}}, a\left(1-\sum_{\kappa \leq \tilde{\epsilon}} \tau_{\kappa}\right)\right) 、 \tau_{\epsilon}=v_{\epsilon} \prod_{\kappa<\epsilon}\left(1-v_{\kappa}\right)$ 、横方向の確率は $\psi_{\boldsymbol{\epsilon} k} \sim \operatorname{Be}\left(b \phi_{\tilde{\boldsymbol{\epsilon}} k}, b\left(1-\sum_{j=1}^{k} \phi_{\tilde{\boldsymbol{\epsilon}} j}\right)\right)$ となり、各文書の木構造は式 (1) から求まる。子 TSSB での トピックの割り当てが、HTSSB によって親 TSSB に も影響することに留意しなければならない。

トピックー単語分布 階層 Pitman-Yor 過程 (HPY)[17] によって、深さに応じてトピックの 専門性を高めつつ、親子トピックに意味的な関連性を持たせることができる。 $H_{\boldsymbol{\epsilon}}$ をトピック $\boldsymbol{\epsilon}$ のトピックー単語分布とすると、この事前分布が Pitman-Yor 過程に従い $H_{\epsilon} \sim P Y\left(d_{|\epsilon|}, \theta_{|\epsilon|}, H_{\epsilon^{\prime}}\right)$ となる。 これを根ノード $H_{[1]} \sim \mathrm{PY}\left(d_{0}, \theta_{0}, H_{0}\right)$ に至るまで繰り 返し、 $H_{0}=1 / V$ と単語数 $V$ を用いて一様分布を考え る。トピックー単語分布の木構造は文書-トピック分布の親 TSSB と同じであり、各文書の各トピックで 対応するトピックー単語分布が保証されている。

生成過程 ihLDA の生成過程は、次の通りである。

1. 親 TSSB $\tilde{\pi}$ の生成。 $\pi$ は TSSB とする。

2. トピック一単語分布 $H_{\epsilon}$ を HPYを使って $\widetilde{\pi} の$ 各 トピックに対して生成。

3. 各文書 $d$ に対して文書分布 $\boldsymbol{\pi}^{(d)} \sim \operatorname{HTSSB}(\widetilde{\pi})$ を 生成。

4. 文書 $d$ の $i$ 番目の単語に対し、トピックを $z_{d i} \sim \pi^{(d)}$ と生成し、次に単語 $w_{d i} \sim H_{z d i}$ を生成する。

## 5 モデルの推論

トピック木構造に関わる式 (2)と (3) の縦横パラ メータを推定するために、ディリクレ過程表現の一 つである中華料理街過程 [20]を用いる。トピック $\boldsymbol{\epsilon}$ において、 $n_{0}(\boldsymbol{\epsilon})$ が縦方向の停止数を、 $m_{0}(\boldsymbol{\epsilon})$ が横方向の停止数を、 $n_{1}(\boldsymbol{\epsilon})$ が縦方向の通過数を、 $m_{1}(\boldsymbol{\epsilon})$ が横方向の通過数を表すとする。また $n(\boldsymbol{\epsilon})=n_{0}(\boldsymbol{\epsilon})+n_{1}(\boldsymbol{\epsilon})$ 、 $m(\boldsymbol{\epsilon})=m_{0}(\boldsymbol{\epsilon})+m_{1}(\boldsymbol{\epsilon})$ と定義する。するとデータと他 のパラメータで条件づけたパラメータの期待値がそ れぞれ $\widehat{v}_{\boldsymbol{\epsilon}}=\mathbb{E}\left[v_{\boldsymbol{\epsilon}} \mid\right.$ rest $]=\left(1+n_{0}(\boldsymbol{\epsilon})\right) /(1+\alpha+n(\boldsymbol{\epsilon}))$ と $\widehat{\psi}_{\boldsymbol{\epsilon}}=\mathbb{E}\left[\psi_{\boldsymbol{\epsilon}} \mid\right.$ rest $]=\left(1+m_{0}(\boldsymbol{\epsilon})\right) /(1+\gamma+m(\boldsymbol{\epsilon}))$ となる。 ここで式 (1)を用いることで、 $\pi_{\epsilon}$ の事後確率の期待值が求まる。さらに HTSSB においても同様に、文書 $d$ における縦横パラメータの事後確率の期待値が

$
\begin{aligned}
\mathbb{E}\left[v_{\boldsymbol{\epsilon}}^{(d)} \mid \mathrm{rest}\right] & =\frac{a \tau_{\tilde{\boldsymbol{\epsilon}}}+n_{0}(\boldsymbol{\epsilon})}{a\left(1-\sum_{\kappa<\tilde{\boldsymbol{\epsilon}}} \tau_{\kappa}\right)+n(\boldsymbol{\epsilon})}, \\
\mathbb{E}\left[\psi_{\boldsymbol{\epsilon} k}^{(d)} \mid \mathrm{rest}\right] & =\frac{b \phi_{\tilde{\boldsymbol{\epsilon}}}+m_{0}(\boldsymbol{\epsilon} k)}{b\left(1-\sum_{j=1}^{k-1} \phi_{\tilde{\boldsymbol{\epsilon}}^{\prime} j}\right)+m(\boldsymbol{\epsilon} k)}
\end{aligned}
$

であることがわかる。親 TSSB の停止・通過回数の 更新については、付録 B に詳述した。

次に、トピックの割り当てについてはレトロスぺ クティブサンプリング [21] と二分探索を組み合わ せたギブスサンプリングを用いた。スライスサンプ リングは現在のトピックと、ランダムに選ばれたト ピックを比較するため、任意の $u \sim \operatorname{Unif}[0,1)$ に対応 するトピックを見つけることさえできれば、全ての トピックを数え上げる必要がなく効率的である。付録 C に具体的なアルゴリズムを示した。

HPY のパラメータ推定は原論文 [17] に従い、そ の他はスライスサンプリング $[22,23]$ を用いた。

## 6 実験

設定 実験には BBC News [24]、20News [25]、独自のWikipedia コーパスを用いた。文書数はそれぞ れ 2,225、18,828、50,513であり、ランダムに選んだ $80 \%$ 訓練データとした。

比較対象は nCRP [9]、rCRP [12]、TSNTM [14]、 nTSNTM [15] で、それぞれ既定值を用いたが、10,000 イテレーションに 2 週間以上かかったモデルは結果 から除外した。全てのモデルを同一基準で比較する ために、各トピックは少なくとも 100 語に割り当て られているものとした。

量的比較 既存研究で用いられているトピック固有性 (TU)[26, 27, 15]、平均重複 (AO)[15] に加えて、新しく木構造多様性 (TD) を提案する。TU は大きい ほどトピックが平均的に固有の単語を上位語に持 ち、AO は小さいほど親子の上位語の重複が少ない。 ただし親子トピックは意味的な重なりを持つはずな ので、上位語の重複が低いとき解釈性が高いかは慎重に検討せねばならない。TD は子トピックの固有性を親トピックの重要性で重み付けしたもので、以下のように定義する。

$
\mathrm{TD}=\sum_{\boldsymbol{\epsilon} \in \mathscr{T}} w_{\boldsymbol{\epsilon}} \frac{\left|\mathscr{V}_{\mathscr{C}(\boldsymbol{\epsilon})}\right|}{u|\mathscr{C}(\boldsymbol{\epsilon})|} ; w_{\boldsymbol{\epsilon}}=\frac{|\mathscr{D}(\boldsymbol{\epsilon})|}{\sum_{\boldsymbol{\kappa} \in \mathscr{T}}|\mathscr{D}(\boldsymbol{\kappa})|}
$

ここで、 $\mathscr{C}(\boldsymbol{\epsilon})$ は $\boldsymbol{\epsilon}$ の子トピックの集合、 $\mathscr{D}(\boldsymbol{\epsilon})$ は $\boldsymbol{\epsilon}$ の子孫の集合、 $\mathscr{V}_{\mathcal{N}}$ はトピック集合 $\mathcal{N}$ の上位 $u$ 語か ら重複を除いた単語集合である。TDが大きいほど、子トピックが固有の単語を含む。

表 1 に各指標を $5,10,15$ の上位語数で計算した平均をまとめた。提案手法は TD と TU で既存手法を 上回り、割り当てが 100 語未満のトピックを含めて も高い性能を示している (括弧内の値)。既存の確率的手法 (nCRP と rCRP) は、木が深さ 3 で打ち切られ

} & \multicolumn{3}{|c|}{ 木構造多様性 (TD) (†) } & \multicolumn{3}{|c|}{ トピック固有性 $(\mathrm{TU})(\uparrow)$} & \multicolumn{3}{|c|}{ 平均重複 $(\mathrm{AO})(\downarrow)$} & \multicolumn{3}{|c|}{ トピック数 } \\

表 1 量的比較結果。比較のため 100 語未満にしか割り当てられなかったトピックを除外したが、提案手法については除外前の值を括弧内に示した。

図 $5 \mathrm{BBC}$ コーパスを用いた深さ 6 の木の上位語。色付きの枝を図 6 でさらに説明している。

ているにも関わらず大量のトピックを推定した。

図 6 図 5 の左から 1 番目(赤)、3番目(青)、4番目(緑)の 枝のトピックー単語確率。固有名詞の確率はノードが深い ほど高く、一般的な単語はノードが浅いほど高い。

木構造と上位語図 5 に推定された深さ 6 の木と 上位語を、図 6 にいくつかのトピックー単語確率を 示した。固有名詞の確率はノードが深いほど高く、一般的な単語の確率はノードが浅いほど高い。また それぞれの枝が固有のテーマを表していることが読 みとれる。

## 7 関連研究

既存研究では確率の小さなトピックが作られ ることを防ぐために、深さ 3 の浅い木のみの推定 や $[9,12,13]$ 、経験則に基づくトピック生成の制約 $[14,15]$ がなされてきた。これに対し提案手法は、深 い木構造でも打ち切りなしに妥当なトピック数を推定できる (表 1 の括弧内)。また提案手法はTSSB の 階層モデルであるから、単語を生成するトピックが 既存のモデルのように文書ごとに制約されることが ない $[9,10,13]$ 。

階層的トピックモデルは様々なモデルに拡張され ており [28, 29, 30, 31, 32]、棒折り過程を使う既存手法に提案手法を容易に反映させることができる。

## 8 結語

既存の階層的トピックモデルには深くなるにつれ てトピックの確率が指数的に減衰する問題があっ た。親トピックを考慮することでこの問題を解消す る提案手法は、棒折り過程を用いる既存モデルにも 広く応用可能である。実験は 2 つの指標で提案手法 がニューラルを含む既存手法を上回ることを示し、定性的な検証でも $\ell \geq 4$ の深い木の推定が行えるこ とがわかった。

一方、本研究で用いたギブスサンプリングは近似 を伴う既存手法 [33] よりも遅いことがわかってい る。将来的には分散アルゴリズムや変分推論を組み 合わせ、より大規模なコーパスを処理できるように したい。また、本研究の教師なし学習で推定される 木構造を利用者の考える分類と一致させるため、非階層的トピックモデルで提案されている半教師あり 学習 $[34,35]$ を取り入れることも今後の課題である。

## 参考文献

[1] David M. Blei, Andrew Y. Ng, and Michael I. Jordan. Latent Dirichlet allocation. Journal of Machine Learning Research, Vol. 3, pp. 993-1022, 2003.

[2] David M. Blei and John D. Lafferty. Dynamic topic models. In Proceedings of the 23rd International Conference on Machine Learning, 2006.

[3] Jonathan Chang and David M Blei. Hierarchical relational models for document networks. The Annals of Applied Statistics, Vol. 4, pp. 124-150, 2010.

[4] Margaret E. Roberts, Brandon M. Stewart, and Edoardo M. Airoldi. A model of text for experimentation in the social sciences. Journal of the American Statistical Association, Vol. 111, pp. 988-1003, 2016.

[5] Aaron Q Li, Amr Ahmed, Sujith Ravi, and Alexander J Smola. Reducing the sampling complexity of topic models. In Proceedings of the 20th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, pp. 891-900, 2014.

[6] Hsiang-Fu Yu, Cho-Jui Hsieh, Hyokun Yun, S V N Vishwanathan, and Inderjit $S$ Dhillon. A scalable asynchronous distributed algorithm for topic modeling. In Proceedings of the 24th International Conference on World Wide Web, pp. 1340-1350, 2015.

[7] Jinhui Yuan, Fei Gao, Qirong Ho, Wei Dai, Jinliang Wei, Xun Zheng, Eric P. Xing, Tie Yan Liu, and Wei Ying Ma. LightLDA: Big topic models on modest computer clusters. In Proceedings of the 24th International Conference on World Wide Web, pp. 13511361, may 2015.

[8] Jianfei Chen, Kaiwei Li, Jun Zhu, and Wenguang Chen. WarpLDA: A cache efficient $\mathrm{O}(1)$ algorithm for latent Dirichlet allocation. Proceedings of the VLDB Endowment, Vol. 9, , 2016.

[9] David M. Blei, Thomas L. Griffiths, Michael I. Jordan, and Joshua B. Tenenbaum. Hierarchical topic models and the nested Chinese restaurant process. In Proceedings of the 16th International Conference on Neural Information Processing Systems, pp. 17-24, 2003

[10] David M. Blei, Thomas L. Griffiths, and Michael I. Jordan. The nested Chinese restaurant process and bayesian nonparametric inference of topic hierarchies. Journal of the ACM, Vol. 57, No. 2, pp. 1-30, feb 2010.

[11] Ryan P. Adams, Zoubin Ghahramani, and Michael I. Jordan. Treestructured stick breaking for hierarchical data. In Proceedings of the 23rd International Conference on Neural Information Processing Systems, pp. 19-27, 2010.

[12] Joon Hee Kim, Dongwoo Kim, Suin Kim, and Alice Oh. Modeling topic hierarchies with the recursive Chinese restaurant process. In Proceedings of the 21 st ACM international conference on Information and knowledge management, pp. 783-792. ACM Press, 2012.

[13] John Paisley, Chong Wang, David M. Blei, and Michael I. Jordan. Nested hierarchical Dirichlet processes. IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 37, No. 2, pp. 256-270, feb 2015.

[14] Masaru Isonuma, Junichiro Mori, Danushka Bollegala, and Ichiro Sakata. Tree-structured neural topic model. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 800-806, 2020.

[15] Ziye Chen, Cheng Ding, Zusheng Zhang, Yanghui Rao, and Haoran Xie. Tree-structured topic modeling with nonparametric neural variational inference. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing, pp. 2343-2353, 2021.

[16] Jayaram Sethuraman. A constructive definition of dirichlet priors. Statistica Sinica, Vol. 4, No. 2, pp. 639-650, 1994.

[17] Yee Whye Teh. A Bayesian interpretation of interpolated Kneser-
Ney. Technical report, National University of Singapore School of Computing, 2006

[18] 持橋大地, 能地宏. 無限木構造隠れ Markov モデルによ る階層的品詞の教師なし学習. 情報処理学会研究報告 2016-NL-226, 2016.

[19] Yee Whye Teh, Michael I Jordan, Matthew J Beal, and David M Blei. Hierarchical dirichlet processes. Journal of the American Statistical Association, Vol. 101, No. 476, pp. 1566-1581, 2006.

[20] John Paisley and Lawrence Carin. Hidden markov models with stick-breaking priors. IEEE Transactions on Signal Processing, Vol. 57, No. 10, pp. 3905-3917, 2009.

[21] Omiros Papaspiliopoulos and Gareth O. Roberts. Retrospective Markov chain Monte Carlo methods for Dirichlet process hierarchical models. Biometrika, Vol. 95, No. 1, pp. 169-186, 2008.

[22] Radford M Neal. Slice sampling. The Annals of Statistics, Vol. 31, pp. 705-767, 2003 .

[23] Daichi Mochihashi. Unbounded slice sampling. ISM Research Memorandum No. 1209, 2020.

[24] Derek Greene and Pádraig Cunningham. Practical solutions to the problem of diagonal dominance in kernel document clustering. In Proceedings of the 23rd International Conference on Machine learning, pp. 377-384. ACM Press, 2006.

[25] Ken Lang. NewsWeeder: Learning to filter Netnews. In Proceedings of the Twelfth International Conference on Machine Learning, pp. 331-339, 1995.

[26] Feng Nan, Ran Ding, Ramesh Nallapati, and Bing Xiang. Topic modeling with Wasserstein autoencoders. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, 2019.

[27] Corentin Masson and Syrielle Montariol. Detecting omissions of risk factors in company annual reports. In Proceedings of the Second Workshop on Financial Technology and Natural Language Processing, pp. 15-21, 2020.

[28] Su Jin Shin and Il Chul Moon. Guided HTM: Hierarchical topic model with dirichlet forest priors. IEEE Transactions on Knowledge and Data Engineering, Vol. 29, No. 2, pp. 330-343, feb 2017.

[29] Yueshen Xu, Jianwei Yin, Jianbin Huang, and Yuyu Yin. Hierarchical topic modeling with automatic knowledge mining. Expert Systems with Applications, Vol. 103, pp. 106-117, aug 2018.

[30] Ming Yang and William H. Hsu. HDPauthor: A new hybrid author-topic model using latent Dirichlet allocation and hierarchical Dirichlet processes. In Proceedings of the 25th International Conference Companion on World Wide Web, pp. 619-624, 2016.

[31] Xi Zou, Yuelong Zhu, Jun Feng, Jiamin Lu, and Xiaodong Li. A novel hierarchical topic model for horizontal topic expansion with observed label information. IEEE Access, Vol. 7, pp. 184242184253, 2019.

[32] Masaru Isonuma, Junichiro Mori, Danushka Bollegala, and Ichiro Sakata. Unsupervised abstractive opinion summarization by generating sentences with tree-structured topic guidance. Transactions of the Association for Computational Linguistics, Vol. 9, pp. 945961, 2021.

[33] Diederik P Kingma and Max Welling. Stochastic gradient vb and the variational auto-encoder. In Proceedings of the 2nd International Conference on Learning Representations, Vol. 19, p. 121, 2014.

[34] Jagadeesh Jagarlamudi, Hal Daumé III, and Raghavendra Udupa. Incorporating lexical priors into topic models. In Proceedings of the 13th Conference of the European Chapter of the Association for Computational Linguistics, pp. 204-213, 2012.

[35] Shusei Eshima, Kosuke Imai, and Tomoya Sasaki. Keyword assisted topic models. arXiv 2004.05964, 2020.

## A 階層 TSSB でのトピック平均確率

棒降り過程 $\phi_{k}=v_{k} \prod_{j=1}^{k-1}\left(1-v_{j}\right), v_{k} \sim \operatorname{Be}(1, \gamma)$ に おいて、 $v_{k}$ の平均確率は $\mathbb{E}\left[v_{k}\right]=1 /(1+\gamma)$ であるか ら、 $k$ 番目に折られた棒の平均確率は以下となる、

$
\mathbb{E}\left[\phi_{k}\right]=\frac{1}{1+\gamma}\left(\frac{\gamma}{1+\gamma}\right)^{k-1}=\frac{1}{\gamma}\left(\frac{\gamma}{1+\gamma}\right)^{k} .
$

次に棒折り過程におけるトピックの平均確率は、

$
\begin{aligned}
\mathbb{E}[\phi] & =\sum_{k=1}^{\infty} \mathbb{E}\left[\phi_{k}\right] \cdot \phi_{k} \\
& \approx \sum_{k=1}^{\infty} \mathbb{E}\left[\phi_{k}\right]^{2} \\
& =\sum_{k=1}^{\infty}\left(\frac{\gamma}{\gamma+1} \cdot \frac{1}{\gamma}\right)^{2} \\
& =\frac{1}{\gamma^{2}} \sum_{k=1}^{\infty}\left(\frac{1}{\left(1+\frac{1}{\gamma}\right)^{2}}\right)^{k} \\
& =\frac{1}{2 \gamma+1}
\end{aligned}
$

となる。ここでは $\phi_{k}$ の平均を近似として用いた。棒折り過程を用いると、深さ $\ell$ におけるトピックの 平均確率は

$
\mathbb{E}[\phi \mid \ell]=\mathbb{E}[\phi \mid \ell-1] \cdot \mathbb{E}[\phi] \approx \frac{1}{(2 \gamma+1)^{\ell}},
$

となる。最初の等号は深さ $\ell-1$ での棒が更に深さ $\ell$ において折られることを示している。 3 節に示した 提案手法では、平均確率が

$
\begin{aligned}
\mathbb{E}[\phi \mid \ell] & =\mathbb{E}[\phi \mid \ell-1] \cdot \mathbb{E}[\phi] \\
& \approx \mathbb{E}[\phi \mid \ell-1] \cdot \frac{1}{2(\gamma \cdot \mathbb{E}[\phi \mid \ell-1])+1} \\
& =\frac{1}{2 \gamma+1 / \mathbb{E}[\phi \mid \ell-1]} \text { for } \ell \geq 2 .
\end{aligned}
$

となる。木構造の根 $(\ell=1)$ においては $\mathbb{E}[\phi \mid \ell=1]=$ $1 /(2 \gamma+1)$ である。木構造が深くなっても、トピック の平均確率が指数的に小さくなることはない。

## B HTSSB での停止・通過回数

単語 $w$ が子 TSSB のトピック $\epsilon$ で縦方向の停止を した場合、 $a v_{\tilde{\boldsymbol{\epsilon}}} /(a+n(\boldsymbol{\epsilon}))$ に比例する確率で親 TSSB の対応ノード $\tilde{\boldsymbol{\epsilon}}$ を更新し、 $n(\boldsymbol{\epsilon}) /(a+n(\boldsymbol{\epsilon}))$ に比例する 確率で子 TSSB の $\boldsymbol{\epsilon}$ のみを更新する。横方向につい ても同様に $b \psi_{\tilde{\boldsymbol{\epsilon}}} /(b+m(\boldsymbol{\epsilon}))$ に比例する確率で親 TSSB の対応ノード $\tilde{\boldsymbol{\epsilon}}$ を更新し、 $m(\boldsymbol{\epsilon}) /(b+m(\boldsymbol{\epsilon}))$ に比例す る確率で子 TSSB の $\boldsymbol{\epsilon}$ のみを更新する。

## C 推論アルゴリズム

トピックの探索と割り当ては以下の通りである。

## D 評価指標の詳細

トピック固有性 (TU) 定義は $\mathrm{TU}=$ $|\mathcal{T}|^{-1} \sum_{\boldsymbol{\epsilon} \in \mathscr{T}}\left(u^{-1} \sum_{u^{\prime}=1}^{u} n\left(u^{\prime}, \boldsymbol{\epsilon}\right)^{-1}\right)$ である。ここで $\mathscr{T}$ は推定されたトピック集合、 $n\left(u^{\prime}, \boldsymbol{\epsilon}\right)$ は $\boldsymbol{\epsilon}$ の $u^{\prime}$ 番目 の上位単語が、全てのトピックでの上位 $u$ 語に登場 した回数である。TU が大きいほどトピックの固有性が高い。

平均重複 (AO) $\mathrm{AO}$ は親子トピック間で上位 $u$ 語 の重複を平均し、 $\mathrm{AO}=|\mathscr{T}|^{-1} \sum_{\epsilon \in \mathscr{T}}\left|\mathscr{V}_{\epsilon} \cap \mathscr{V}_{\epsilon^{\prime}}\right| \cdot u^{-1}$ と定義される。ここで $\mathscr{V}_{\epsilon}$ は $\epsilon$ の上位 $u$ 語である。低い $\mathrm{AO}$ は親子関係の単語の重複が少ないことを示す。