# 傾聴の応答で繰り返される語句の検出性能の向上

川本稔己長谷川駿上垣外英剛船越孝太郎奥村 学
東京工業大学
kawamoto@lr.pi.titech.ac.jp

## 1 はじめに

対話において相手の話を聞いているという意思表示を行うことは円滑なコミュニケーションを行う上 で重要である。その手段として, ジェスチャや発話 をすることが挙げられる. ジェスチャの具体例は領 くことや首をかしげることであり，発話だと相槌を 打つことが代表的である. 相棺以外にも相手の発話 に賛同を示すために話し手が使用した語句を反復し 発話をする時がある．以下に例を示す。

話し手: 僕はやっぱり野球は無理だなと思いまし てね.

聞き手: 野球は無理でしたか.

この例では，話し手の発話に含まれる「野球は無理」が応答で反復され，賛同を示している. このよ うな応答を繰り返し応答という。人が傾聴するとき と同様に，対話システムに傾聴をさせる際にも相槌 だけではなく繰り返し応答も行うことで会話をより 円滑に進める事が出来る．その生成を行うにはどの 語句を反復するかを決めることが必要である. よっ て，本稿では話し手の発話の中から繰り返し応答に 用いられる文節を検出する研究に取り組む.

伊藤ら [1] は個々の文節に関する素性を主に用い てSVM で検出する手法を示しているが，発話にお ける文節間の関係を十分に考慮していない。この問題を解決するために，本稿では文節間の関係を捉え ることが可能な BERT [2]を使用する。 さらに，発話をまたぐ文脈を考慮する目的で直前の話し手の発話も入力として用いる。

一般に繰り返し応答に対するデータを大量に準備することは難しい，その理由としては，賛同を示 す発話の一種類である繰り返し応答が対話時に多用されるものではないという点が挙げられる. その ため，本稿では傾聴対話コーパス [3] の話し手の発話を用いて，その発話に対して取りうる繰り返し応答のバリエーションを人手でクラウドソーシング表 1 先行研究で使用された素性一覧文節の主辞の品詞文節の主辞の品詞細分類

文節の主辞の活用形

文節の機能語の品詞

文節の機能語の品詞細分類

文節の機能語の活用形

文節の形態素数が以下の 4 分類のいずれであるか (1, 2, 3-6, 7 以上)

文節が属する節境界単位の種類

節境界単位内で先頭から何番目の文節か

文節が固有名詞を含むか否か

文節が数詞を含むか否か

文節が固有表現を構成する形態素を含むか否か IREX の分類について，文節がその固有表現を構成する形態素を含むか否か 文節内に内容語が存在し，文節の重要度 $I$ が全形態素の中央値 13.56 より大きいか否か 直前の文節の最後の形態素がフィラーか否か

サービスを用いて作成することによりデータを用意 する。

作成したデータを対象とした評価実験の結果，提案手法はベースラインである SVM を用いた手法よ り 24 ポイント高い $\mathrm{F}$ 值を達成した. それにより文脈を考慮した提案手法の有効性を確認できた。

## 2 先行研究

伊藤らは，文節ごとに与えられる素性を元に各文節が繰り返し語句を含む文節であるかを，分類器を 用いて分類している。その際に用いられている素性 を表 1 に示す.

先行研究から, 特に固有表現・フィラーの後の語句，重要度が高い語句は繰り返しの対象になりや すいことが分かっている. 固有表現の抽出および IREX タグの付与には CaboCha[4] が用いられてい る. フィラーの直後の語句は話し手が言いよどみし た後に発言したものであり，比較的重要な意味を持 つと考えられる。語句の重要度は以下の指標で計ら れている。

$
I\left(w_{i}\right)=\log _{2} \frac{\sum_{j} F\left(w_{j}\right)}{F\left(w_{i}\right)+1}
$

ここで， $w_{i}$ は形態素， $F\left(w_{i}\right)$ は『日本語話し言葉 コーパス』短単位語彙表 ver $\left.1.0^{1}\right)$ における $w_{i}$ の出現頻度である. 語の異なり総数は 42,545 , 語の総頻度 $\sum_{j} F\left(w_{j}\right)$ は 7,479, 773 である. 素性 14 の文節の重要度 $I$ は, 文節に属する内容語の重要度 $I$ のうち最大のものとした.

## 3 提案手法

本節では文節間の関係を捉え，発話をまたぐ文脈 を考慮し，繰り返し文節を検出する手法を提案す る. 図 1 に提案モデルの概要を示す.

提案手法では, 事前学習された，日本語を対象とした Bidirectional Encoder Representations from Transformers (BERT)2)をエンコーダとして使用する. BERT を使うことで文節間の関係を捉えることが可能となる．入力には，発話をまたぐ文脈を考慮する ために, 話し手の対象発話 $W=\left(W_{1,1}, \ldots\right)$ と対象発話 の直前の話し手の発話 $W^{*}=\left(W_{1,1}^{*}, \ldots\right)$ を用いる. 以後話し手の対象発話を SP, 対象発話の直前の, 同じ 話し手の発話を PreSP と呼ぶ (例は 4.1 節を参照).入力順序は時系列に沿い, PreSP の後 SP とする. 発話の前後には発話の開始記号として<CLS>, 発話 の終端記号としてくSEP>を挿入する。なお，BERT は特徴量抽出のみに利用し, fine-tuning は行ってい ない.

次に，予め分割しておいた文節ごとに，文節が表現しているべクトルを得る。そのために BERT で エンコードした検出対象発話の単語単位のベクト ルを，文節ごとに self-attentive span extractor[5]を利用して文節単位のベクトルに変換した. そうして 得たベクトル $h_{i}^{s}$ に表 1 に示す素性を結合し, MLP (multi-layer perceptron)の入力とした. MLP は最終層 に sigmoid 関数を使用しているので，出力は $[0,1]$ の 連続値になる。その値に対する閾値を使用して二值に分類する. 閾値は開発データを用いて最適化 した.

## 4 データ

本節では人手で繰り返し応答を作成し，繰り返し 対象語句を含む文節のタグ付けを行う手順について 説明する。

繰り返し応答は傾聴時に多く出現することから，話し手の発話についてはデータとして高齢者と介護

士による傾聴対話 [3] を用いた。この対話は，話し 手となる高齢者と聞き手となる介護士が情報案内お よび傾聴を行うコーパスである。本コーパスの発話 の総数は 9716 である.

## 4.1 繰り返し応答データの作成

繰り返し応答のデータをある程度の量用意する ためにクラウドソーシングを利用して繰り返し応答を人手で作成した. ${ }^{3}$ クラウドソーシングには Lancers")を使用した. 具体的な手段としては，デー タの話し手の発話で, 内容語 (名詞, 動詞, 形容詞,副詞のいずれか)を含む文に対して以下のような設問を提示した. 内容語を特定するために必要な形態素解析器には $\mathrm{MeCab}^{5}$ を用いた. 作成してもらう際 には，50 個の設問を 1 つのパートとし，合計 36 個 のパートをそれぞれ 3 名に依頼した。したがって作成者はのべ 108 名である. 以下が作成作業時に提示 された設問と発話の例である. 以後，聞き手の発話 をLIと呼ぶ.

Q: 下線が引いてある $\mathrm{SP}$ の語句を使い応答文 を作成してください，それ以前の対話は文脈理解に使用してください.

PreSP: はい私の名前が.

LI: 何が出るんです？釣った大きさ？

SP: 大きさとかね，そういう何匹釣ったとか， そんなん.

以上の設問に対する 3 名からの回答が以下である.

A-1: 何匹釣ったとかということが出ているのです ね.

A-2： 釣った魚の大きさとか数の情報がでるのです ね.

A-3: 大きさと何匹釣ったかとかですか.

これらの例では下線の話し手の文で使われている 内容語「大き」・「何」・「匹」・「釣っ」を一つ以上含 む繰り返し応答が作成できていることがわかる.

そして，提示した話し手の文と，人手で作成され た，上のような 3 文のうち 1 文をランダムに選択 し，それらを文対とする。以降，本稿においてLIと は作成した応答とする。

図 1 提案手法で使用するニューラルネットワークの構造. BERTには時系列順に話し手の対象発話 (SP) とその直前の話 し手の発話 (PreSP)を入力する．MLPの入力には，文節ごとに SpanExtractor を使用したべクトルに表 1 の素性を追加し ている.

その結果 1760 の文対が得られた。

## 4.2 繰り返し対象語句を含む文節のタグ 付け

4.1 節で得られた文対に対して, 繰り返し対象 となっている語句を含む SP の文節を以下の手続 きで同定しアノテーションした. 文節の分割には CaboCha を用いた.
- LI 中と一致している内容語を含む SP の文節を 繰り返し対象となる文節とする。

$\cdot$同じ内容語に対して複数の文節がある場合は,他の繰り返し対象となる文節に最も近いものを 選択する。他の繰り返し対象文節が存在しない 場合は，最初に出現したものを選択する。

以下にタグ付けの例を示す. 下線の箇所が繰り返 し対象となる語句を含む文節である。なお，スラッ シュは文節間の区切りを表す。

SP: それまではねね，/ちょっと/今儿ばらく终眠中 です.佟眠さしても/うてます.

LI: 冬眠明けが/楽しみです.

## 5 実験

先行研究では，SPを節単位に分割し，繰り返し対象文節を 1 つも持っていない節は実験対象から除外
している.しかし，対話システムやチャットボット で実際に繰り返し応答を生成する際には，節よりも 文が理解の単位として重要であり，また，繰り返し 文節が存在しない文も対象として実験を行うことが 望ましい. そこで本稿では, 先行研究の再現という 目的で，参考として先行研究と同じ節単位での実験 も行うが，文単位で実験を行う。

## 5.1 節単位での実験

先行研究の実験設定に沿うように，SPを節境界 で分割し, 繰り返し対象文節を 1 つも持っていない 節は実験の対象から除外した.このため実験対象の 節には必ず 1 つ以上の繰り返し対象文節が含まれ る. 節境界の検出には節境界解析ツール CBAP[6] を 用いた.

上述したように，節には必ず少なくとも 1 つ繰り 返し文節が含まれるという設定であるので, 繰り返 し対象となる文節を検出する際，繰り返し対象文節 と判定される文節が $1 \supset も な い$ 節については, 二值分類する際のスコアが最大の文節を繰り返し対象文節とする。

## 5.2 文単位での実験

本設定では文を一つの単位とみなす。また，傾聴 において繰り返し応答をしない場合も存在する方が 自然である. よって，一つも繰り返し対象文節と判定されるものがない場合も，節単位での実験のよう に，後処理は行わないこととする。これにより，先行研究より自然な実験設定になる.

## 5.3 実験概要

実験には 4 節で作成したデータを用いた. データ のサイズを表 2 に示す. 実験では訓練データ: 開発 データ: テストデータ $=3: 1: 1$ として 5 分割交差検証をモデルの初期値を変更して 3 回ずつ実験し，計 15 回の平均を実験結果とした.

繰り返し対象文節を正解とし，正解に対する再現率・適合率・F 値により評価した. 再現率・適合率・ F 値はそれぞれ，

$
\begin{aligned}
& \text { 再現率 }=\frac{\text { 正しく検出できた繰り返し対象文節数 }}{\text { 正解の絽り返し対象文節数 }} \\
& \text { 適合率 }=\frac{\text { 焉しく検出できた繰り返し対象文節数 }}{\text { 数返対象として検出された文糗数 }} \\
& F \text { 值 }=\frac{2 * \text { 再現率 } * \text { 適合率 }}{\text { 再現率 }+ \text { 適合率 }}
\end{aligned}
$

のように計算される.

ベースラインには Support Vector Machine (SVM) に よる先行研究を用いた. 表 1 の素性に基づいた先行研究の再現を可能な限り行った. SVM は scikit-learn ライブラリ6)の SVMを，初期設定されたハイパー パラメータに基づいて使用した. 節単位での実験 は, 先行研究からの本手法による改善を確認するた めに行うので， ベースラインであるSVM と提案手法の 2 種類のモデルで比較を行う.

文単位の実験においてはその 2 種類に加えて, ablation study として提案手法の入力にPreSP を組み 込まない w/o PreSP，提案手法の MLP の入力に表 1 の素性を追加しない w/o 素性, そのどちらも組み込 まない w/o PreSP and 素性の 3 種類の設定下でも実験を行った.

6) https://scikit-learn.org/stable/表 3 実験結果（節単位）（\%）

表 4 実験結果（文単位）（\%）

## 5.4 実験結果

節単位での実験結果を表 3，文単位での実験結果 を表 4 にそれぞれ示す。

節単位では，ベースラインのSVM の F 値が $57.59 \%$ であったのに対し提案手法の $\mathrm{F}$ 值が $68.39 \%$ となり, 約 11 ポイントの向上を確認した. これは 先行研究と同様の設定において提案手法が有効であ ることを示している.

文単位では，ベースラインの SVM の F 值が $32.01 \%$ であったのに対し提案手法の $\mathrm{F}$ 値が $56.21 \%$ となり，約 24 ポイントと大幅に向上したことが確認された. その上で, 提案手法と提案手法 w/o PreSP を比較すると, PreSPを入力に加えることで発話を またぐ文脈を考慮することが出来ていることがわか る. また，提案手法と提案手法 $\mathrm{w} / \mathrm{o}$ 素性を比較する と，素性を入れた手法がより高い $\mathrm{F}$ 值を得ているこ とから, 先行研究の素性はSVM だけでなく提案手法においても効果的であることが分かる.

## 6 おわりに

本稿では，文節間と発話間の文脈を考慮すること で傾聴の応答で繰り返される語句の検出性能を向上 させる手法を提案した。提案手法は従来の手法とは 異なり，BERTを用いることで文節間の関係を考慮 している。その上で直前の話し手の文（PreSP）を 加えることで発話をまたぐ文脈を考慮することが可能であり，また，MLPの入力に先行研究の素性を結合することによりさらなるスコアの向上も実現して いる. 実験の結果, $\mathrm{F}$ 値の大幅な向上が確認された.今後は本手法で検出した繰り返しとなる語句を用 いて，傾聴における応答の生成を目指したい.

## 参考文献

[1]伊藤, 村田, 大野, 松原. 傾聴を示す応答で繰り返される 語りの語句の検出. 言語処理学会, 2019.

[2]Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018.

[3]Yoshino, Tanaka, Sugiyama, Kondo, and Nakamura. Japanese dialogue corpus of information navigation and attentive listening annotated with extended iso-24617-2 dialogue act tags. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), 2018.

[4]工藤拓, 松本裕治. チャンキングの段階適用による日本語係り受け解析. 情報処理学会論文誌, Vol. 43, No. 6, pp. 1834-1842, 2002.

[5]Kenton Lee, Luheng He, Mike Lewis, and Luke Zettlemoyer. End-to-end neural coreference resolution. arXiv preprint arXiv:1707.07045, 2017.

[6]丸岡, 柏岡, 熊野, 田中. 節境界自動検出ルールの作成と 評価. 言語処理学会, 2004.


# ルールベースと生成ベースを融合した雑談対話の発話生成手法

薛強
神戸大学システム情報研究科
xueqiang@kobe-u.ac.jp
}

滝口 哲也
神戸大学システム情報研究科
takigu@kobe-u.ac.jp
}

有木 康雄

神戸大学システム情報研究科

ariki@kobe-u.ac.jp
## 1 はじめに

オープンドメイン雑談対話システムの発話生成手法は主に三種類ある。一つ目は、手作業によるルー ルに従って作動するルールベースである。二つ目 は、大量テキストデータから、現在の入力の応答と して相応しいテキストを検索する検索べースであ る。三つ目は、会話形式のテキストデータを用いて 機械学習により学習した生成モデルを用いて、発話 を生成する生成べースである。

近年、生成ベースモデルの研究が主流となってい る。その中で、Microsoft が開発した大規模な対話 データを使った対話生成モデルである DialoGPT[6] や、Googleが開発した膨大なパラメータを持つ対話生成モデルである Meena[7] などの、attention 機構 を持つ transformer[5] ベース対話モデルが知られて いる。

しかし、生成ベース型の対話システムで生成した 応答文は、多様性は高いが適切な生成内容を制御す ることが難しいため、自然性が低いという問題があ る。一方、ルールベース型の対話システムで生成し た応答文は、自然性は高いが事前設定した応答文 が限られているため、多様性が低いという問題が ある。

本研究では、雑談対話システムにおいて出力する 応答文を前半と後半に分け、それぞれルールベース と生成ベースで生成することで、自然性が高くかつ 多様性が高い応答文を生成する手法を提案する。

## 2 関連研究

ルールベースと検索ベースの融合型対話システム として、目黒らは、ユーザ発話がルールを用いて返答すべき発話か否かを識別することで，ルールベー

図 1 従来システムのアーキテクチャ

ス型対話システムと統計的発話生成手法との融合に 基づく対話システムを提案した [1]。

ルールベースと生成ベースの融合型対話システ ムとして、我々は感情と欲求に基づく融合型雑談対話システムをこれまでに提案している [2]。図 1 に 示すように、このシステムの言語計画部では、ユー ザの発話に対して、まずルールベースと生成ベース により複数の応答文を生成し、次に言語出力部でど の応答文を返答すべきかを判断する。このシステム は、ルールベース型の対話システムとして取り扱う ことができ、生成べースの役割が低く、応答文の多様性が低いという問題があった。

提案システムは, このシステムのアーキテクチャ を発展させたものであり、感情と欲求に基づくルー ルベースを採用している。

## 3 提案手法

ルールベースの発話生成手法では、生成する応答文の多様性に問題がある。これを改善するため、提案手法は，発話を全て事前に設定するのではなく、発話の前半部分のみを事前に設定し、これを受け

図 2 提案システムのアーキテクチャ

て, 多様性が高い発話生成手法である生成ベースに より、発話の後半部分を生成するものである。

後半の生成ベースの発話生成では、停止トークン を認識するまで単語または単語の一部であるトーク ンを順番に生成することから、発話の後半部分を連続的に生成することが可能になる。また、生成べー スでは、ルールベースで生成した適切な応答に基づ いて生成できるため、生成する応答文の自然性も改善できると考えられる。

提案手法の対話システムは、図 2 のようなアーキ テクチャーになっている。まず，ルールベースモデ ルでは、ユーザの発話文に対して、感情生成部と段階欲求部が出力した感情と欲求の値により、手作業 で設定したパタンを用いて前半の応答文を生成す る。生成ベースモデルでは、テキスト対話文を学習 データとして学習させたニューラルネットワークモ デルを用いて、応答文を生成する。このとき、ルー ルベースモデルで生成した前半の応答文の一部を、生成ベースモデルの入力として、停止トークンを認識するまで連続に生成ベースモデルで後半の応答文 を生成する。

図 3 に示すプロセスのように、従来の生成ベース モデルは，入力文に対して開始トークン、応答文を 構成する各トークン、停止トークンの順番で応答文 を生成する。提案システムの言語出力部における生成ベースモデルは，最初に入力されるのが入力文だ けではなく、開始トークンと前半の応答文を構成し ている各トークンも入力される。モデルはそれらの 入力に対して、後半の応答文を構成している各トー クン、停止トークンの順番で応答文を生成する。

## 4 実験および結果

実験では、まず大量のテキスト対話文を生成ベー スモデルに学習させ、そのモデルを用いて生成内容 の制御手法を評価することで、提案手法の有効性を

図 3 生成ベースモデルの生成プロセスの違い

表 1 制御手法の評価

明らかにする。次に、提案手法を用いた融合型雑談対話システムと、従来の融合型雑談対話システムの 比較実験を行う。

融合型雑談対話システムの生成ベースモデルと して、100M パラメータ数を持つ DIaloGPT モデルを 用いている。学習データは Twitter で収集した 10 万 の対話文である。デコーダ戦略は最も生起確率が高 い上位 $\mathrm{k}$ 個のトークンから確率的に選択する top-k sampling[3]、及び生起確率が最大のトークンから順番に取り、確率の和を計算し、和が $\mathrm{p}$ 以下のトーク ンから確率的に選択する top-p sampling[4] 手法を用 いている。ルールベースモデルでは、感情と欲求の 種類と値により、全部で応答文 100 文を事前設定 した。

## 4.1 制御手法の評価実験

生成ベースモデルの出力として、与えられたター ゲット応答文とシステム応答文の適切性の関係につ いて、機械翻訳評価手法である BLEU を用いて、評価実験を行った。評価実験の結果を表 1 に示す。值 が大きいほど良い評価であることを意味する。生成 モデルは、DialoGPT- $N$ T で表している。ここで、 $N$ とは生成ベースモデルに与えられたトークンの数 である。与えられたトークン数の増大により、生成 ベースモデルがよりターゲット応答文の内容に近づ くことが分かった。4つのトークンが与えられたと きに、約半分の生成内容は与えられた応答文と関係 があった。
表 2 各対話システムの対話例

## 4.2 対話システムの比較実験

生成ベースモデル DialoGPT、従来システム、提案 システムで生成した発話例を表 2 に示す。赤色部分 は提案システムの生成ベースにより、生成した後半 の応答文である。サンプリングのデコーダ戦略を用 いているため、提案システムの二つ異なる対話例を 挙げ、それぞれ提案システム 1 と提案システム 2 で 表している。

第一の対話例では、ユーザ発話に対して認識した 感情と欲求がない場合であり、ルールベースで応答 を出力することができず、生成べースのみで応答を 生成したため、三つのシステムが同じ応答を生成し ている。

第二と第三の対話例では、ユーザ発話に対して認識した感情と欲求がある場合であり、従来システム と提案システムのルールベースが作動する。従来シ ステムは多様性がない同じ応答文を生成する一方、提案システムでは, 自然性が高い前半の応答文の内容に基づいて、多様性が高い後半の応答文を生成で きていることが分かる。

第三の対話例では、時間情報によって欲求が食欲 になったため、ルールベースモデルはもう一つの応答文を生成している。

## 5 おわりに

本稿では、ルールベースモデルと生成ベースモ デルにより各々, 前半と後半部分の応答文を生成
する、発話生成手法を提案した。提案手法により、 ルールベースモデルで応答文を全て設定する必要が なくなり、ルールベースを構築するコストが減少で きると考えられる。

今後、異なるルールベースモデルを用いて比較実験を行う予定である。また、提案手法で生成した応答文の多様性を向上させるため、応答文を前後に分 けるのではなく、品詞や意味などに沿って分ける手法を研究する予定である。

## 参考文献

[1] 目黒豊美, 杉山弘晃, 東中竜一郎, 南泰浩. ルールベー ス発話生成と統計的発話生成の融合に基づく対話システムの構築. The 28th Annual Conference of the Japanese Society for Artificial Intelligence, ,2014.

[2] 薛強, 滝口哲也, 有木康雄. 感情・欲求に基づく主観性を持つ雑談対話システム. 言語処理学会第 26 回年次大会発表論文集,2020 年 3 月.

[3] Angela Fan, Mike Lewis and Yann Dauphin. Hierarchical Neural Story Generation, 2018; arXiv:1805.04833.

[4] Ari Holtzman, Jan Buys, Li Du, Maxwell Forbes and Yejin Choi. The Curious Case of Neural Text Degeneration, 2019; arXiv:1904.09751.

[5] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser and Illia Polosukhin. Attention Is All You Need, 2017; arXiv:1706.03762.

[6] Yizhe Zhang, Siqi Sun, Michel Galley, Yen-Chun Chen, Chris Brockett, Xiang Gao, Jianfeng Gao, Jingjing Liu and Bill Dolan. DialoGPT: Large-Scale Generative Pretraining for Conversational Response Generation, 2019; arXiv:1911.00536.

[7] Daniel Adiwardana, Minh-Thang Luong, David R. So, Jamie Hall, Noah Fiedel, Romal Thoppilan, Zi Yang, Apoorv Kulshreshtha, Gaurav Nemade, Yifeng Lu and Quoc V. Le. Towards a Human-like Open-Domain Chatbot, 2020; arXiv:2001.09977.


# ニューラル対話モデルの自動評価に向けた 対照応答対評価セットの試作

岡野功士朗 1 川村真也 ${ }^{2}$ 鈴木優 $^{1}$ 加藤恒夫 ${ }^{2}$ 田村晃裕 ${ }^{2}$ 呉剣明 ${ }^{3}$

1 同志社大学大学院理工学研究科 2 同志社大学理工学部 ${ }^{3}$ KDDI 総合研究所

ctwf0136@mail4.doshisha.ac.jp
## 1 はじめに

非タスク指向型対話における応答生成は正解 が一つしかないわけではないが，文脈を適切に踏 まえたものであることが望ましい. 注意機構付き Encoder-Decoder RNN[1] や Transformer[2] によって比較的流暢な応答が生成されている. しかしながら，非タスク指向型対話における応答品質の自動評価手法は確立されていない. 応答の仕方は多様であるた め，コーパスから抽出した応答文を参照する BLEU のような指標は主観評価値との相関が低いことが報告されている [3]. この課題に対して，対話相手か らの問い掛けとの関係も評価する指標 [4], 主観評価と統計的な評価を統合した指標 [5], さらには, 対話応答の品質は対話のやりとりからしか評価できな いとしてインタラクティブに評価する手法 [6] など が提案されている.

一方，文レベルの翻訳品質が向上した機械翻訳で は，一連の文章を翻訳する場合に前後の翻訳文間の 意味的な整合性が新たな課題となっている. この場合も，文脈に関わる意味的な整合性を BLEU で測る のは難しく， Sennrich らは，機械翻訳システムが生成する翻訳文の言語的な傾向を分析するために自身 が提案した対照翻訳対 [7]を発展させ，英仏翻訳に おいて前方照応代名詞の翻訳と語彙選択の一貫性 を評価する評価セットを提案している [8]. さらに，文脈を考慮した英露翻訳において，頻出する典型的 な誤りを分析し，その誤りに関する翻訳モデルの性能を評価するための対照翻訳対を設計している [9].英日翻訳では，永田らが共参照と一貫性を評価する 対照翻訳対を設計している [10]. これらの対照翻訳対は, 対訳コーパスから抽出した正解翻訳文に必要最小限の誤りを加えて誤り文とし，正解翻訳文と誤
り文に対して翻訳モデルが算出する生成確率の比較 において正解翻訳文の方が高い割合を測ることでモ デル性能を定量化する.

本研究では，非タスク指向型対話システムにおけ る応答品質の自動評価に向けて，文脈を考慮した機械翻訳の評価のための対照翻訳対 [9] に倣い，対照応答対を提案する。大規模な雑談対話コーパスから 学習したニューラル対話モデルが生成する応答文の 誤り傾向を分析し，頻度の高い 3 種類の誤りを加え た対照応答対を試作した. 作成した対照応答対評価 セットを用いて性能差がある 3 種類のニューラル対話モデルを評価し，主観評価で測った性能差が対照応答対評価セットによる自動評価値と整合するか検証した。

## 2 対照応答対の作成手順

文脈を考慮した機械翻訳を評価するための対照翻訳対の設計手順に倣い，まずニューラル対話モデル が生成する応答文の誤り分析を行い，その結果を踏 まえて頻度の高い誤りを含む対照応答対を作成し，評価する。具体的には以下の手順で進める。

1. 誤り分析: ニューラル対話モデルが生成した多数の応答文に対して，自然であるか否かを人手 で 2 値分類する. 自然でないと判定された応答文を誤りの種別に分類し，各誤り種別の頻度を カウントする.

2. 対照応答対作成：対話コーパスに含まれる正し い文に，頻度の高い誤りを加えて誤り文とし，正しい文と組み合わせて対照応答対（ペア）と する.このときの誤り文は，正しい文に含まれ る形態素の最小限の置換によって作成する.

3. モデル評価：評価対象のニューラル対話モデル で，対照応答対の正しい文と誤り文の生成確率
表 1 定義した誤りラベルとその概要

図 1 Double Attention モデル

図 2 各評価者の誤りラベル使用割合

を算出し，正しい文の生成確率の方が誤り文の 生成確率よりも高いペアの割合を，モデルの正解率とする.

以降，手順 1 の誤り分析を第 3 節に，手順 2 の対照応答対作成を第 4 節に，手順 3 のモデル評価を第 5 節に記述する。

## 3 ニューラル対話モデルによる 応答文の誤り分析

非タスク指向型対話は女性同士の雑談を対象に した. 大規模な雑談対話コーパスとして，クラウド ソーシングを用いて作成した架空の 20 代女性 2 名「吉田さん」と「佐々木さん」の間の仮想雑談コーパ スを用いた。二人のペルソナを細かく規定し，クラ ウドワーカーの間で共有することで，一貫性のある 雑談を約 168 万発話分集めている. 吉田さんと佐々木さんの雑談は交互に最大 10 ターン続くので，比較的長い文脈に対する応答の整合性を評価すること も可能である．今回は「吉田さん」の対話モデル用 に対照応答対評価セットの試作と評価を行うため，同コーパスより学習データ約 110 万文，検証データ 約 6.4 万文，評価データ約 6.4 万文を抽出した.

「吉田さん」の対話モデルとして，GRU ベースの 注意機構付き Encoder-Decoder モデルとその変形版 の 2 種類を用いた。前者のモデル構造を図 1 に示 す. 1 つ前の吉田さん自身の発話と直前の佐々木さ んの発話を別の Encoderに入力し，Decoder は $2 \supset$ の Encoder の隠れ層に対してそれぞれ注意機構を用 いるので Double Attention モデルと呼ぶ。変形版は 図に示していないが，2つの注意機構のいずれによ り強い注意を向けるかを考慮する機構を加えたもの である。モデル学習はクロスエントロピ誤差を損失関数とする教師あり学習で行った。

検証データから無作為抽出した 1500 種類の対話文脈に対して，上記の 2 種類のニューラル対話モデ ルで応答文を生成した。応答生成は相互情報量最大化を基準にして行っている [11]. 計 3000 種類の応答文に対して，著者ら 3 名が誤り分析を行った. 最初に 3 名それぞれが，応答が文脈に照らして自然で あるか否かを基準に 2 值分類した。次に，自然でな いと考えた応答文を対象に各評価者がその原因を分析し，その結果を評価者間で擦り合わせることで最終的に表 1 に示す 10 種類の誤りラベルを定義した.

評価者 3 名が，自然でないと考えた応答文は全体

した誤りラベルの割合を図 2 に示す. 頻度の高い ものから，文脈上不適切な内容語を含む誤り (ICW, $28.9 \%$ ), 助詞の誤り (FNC, 9.8\%), 文末表現の誤り (ESE, $8.9 \%$ )であった. そこで，頻度上位 3 種類の誤 りに関わるモデル性能評価のための対照応答対を作成することにした。なお，誤り分析の詳細について は文献 [12]を参照されたい。
表 2 内容語を置換した対照応答対の例

## 4 対照応答対評価セットの試作

## 4.1 内容語を置換した対照応答対

文脈上不適切な内容語を含む誤り (ICW) に対応す る対照応答対は，正しい文に含まれる文脈上重要な 名詞を他の名詞に置換して誤り文とした. 置換後の 語として単に言語確率の低い語を選択してしまうこ とを避けるため, 同じコーパスから bi-gram 言語モ デルを学習し, 置換後の語を 1)bi-gram 言語確率が 置換前の名詞と同等になる名詞 (Equally-likely, EL), 2)bi-gram 言語確率が最大の名詞 (Most-likely, ML), の 2 種類の基準で選択した. 具体的には，正しい文 $W=\left.\{w_{1}, \ldots, w_{n}\right.\}$ 中の単語 $w_{i}(1 \leq i \leq n)$ を置換する 場合, EL の置換後の語は式 (1), ML の置換後の語 は式(2)によって選択する。

$\hat{w}_{i}=\arg \min \left[\left.\{\log \frac{P\left(v \mid w_{i-1}\right)}{P\left(w_{i} \mid w_{i-1}\right)}\right.\}^{2}+\left.\{\log \frac{P\left(w_{i+1} \mid v\right)}{P\left(w_{i+1} \mid w_{i}\right)}\right.\}^{2}\right]$

$
\hat{w}_{i}=\arg \max \left.\{\log P\left(v \mid w_{i-1}\right)+\log P\left(w_{i+1} \mid v\right)\right.\}
$

ただし，置換後の語は，コーパス中に 2 回以上出現 する名詞を候補として, Encoder に入力される語は 除外して選択する. 表 2 に内容語を置換した対照応答対 (ML) の例を示す.

## 4.2 文末表現を置換した対照応答対

図 2 で $8.9 \%$ 占めた文末表現の誤り (ESE) に対応する対照応答対を作成するため，誤りを細かく分類した結果を表 3 に示す.「平叙文と疑問文の反転」 とは，コーパス中の正しい文が平叙文であるのに対表 4 文末表現を置換した対照応答対の例

吉田私はカレーは甘口なんです

佐々木 カレーは辛いのは苦手ですか?

吉田(正しい文) そうなんですよね〜

吉田(誤り文) そうなんですか?

表 5 助詞を置換した対照応答対の例

してモデル応答が疑問文の場合，またはその逆の誤 りを指す。「肯定文と否定文の反転」も同様である.「省略された主語の変化」とは，例えば対話相手の 彼氏がいない発言に対して“彼氏募集中ですょ”と いう応答を返す誤りを指す。彼氏を募集するのは対話相手であるため，“彼氏募集中ですね”という応答が正しい。このように文末表現の違いにより，省略された主語が変化する場合にこの誤りラベルを用 いる。「共感表現の欠如」とは，「ですよね」のよう な共感を含む応答が期待される場合に「ですよ」の ような共感が含まれない表現が現れる場合を指す.「願望表現の欠如」も同様である。「時制の誤り」は 時制，「動詞の誤り」は生成された動詞が文脈的に 誤っている場合を指す。

頻度上位の 2 種類「平叙文と疑問文の反転」と 「肯定文と否定文の反転」それぞれの 2 方向の誤り， すなわち「平叙 $\rightarrow$ 疑問 $」$, 「疑問 $\rightarrow$ 平叙 $」$, 「肯定 $\rightarrow$否定」，「否定 $\rightarrow$ 肯定」の計 4 種類の誤りを人手で 付与した. 表 4 に文末表現を置換した対照応答対の 一例を示す。

## 4.3 助詞を置換した対照応答対

助詞を置換した対照応答対も，文末表現を置換し た対照応答対と同様に人手で作成した. 内容語の置換と同様に bi-gram 言語モデルを用いた自動作成も 試みたが，置換後の語として文脈・文法的に適切な 助詞しか候補として挙がらなかったために人手で作成した. 作成時の注意点として, 置換後も同じ深層格（動作主格・対象格など）になる助詞を選択しな いようにルールを設けた。例えば，「私は学生です」 という正しい文の主語「私」に続く助詞「は」を，「が」に置換した「私が学生です」は誤り文にならな い，そこで，明らかに誤りとなる助詞に置換するよ うにした. 表 5 に助詞を置換した対照応答対の一例 を示す。
表 63 種類のモデルが生成した応答文の適切性に関する 主観評価値の割合

## 5 対照応答対評価セットの評価実験

## 5.1 比較対象のニューラル対話モデルと主観評価による応答文の品質

内容語を置換した対照応答対を EL, ML で 350 ぺ アずつ，文末表現を置換した対照応答対を 231 ペア (内訳：平叙 $\rightarrow$ 疑問 89 ，疑問 $\rightarrow$ 平叙 51 ，肯定 $\rightarrow$ 否定 66，否定 $\rightarrow$ 肯定 25)，助詞を置換した対照応答対を 100 ペアの計 1031 ペアを作成した.

この対照応答対評価セットが，対話モデルの応答性能を正しく反映できるか評価するために， 3 種類 のニューラル対話モデルを用意した。
- Double Attention: 第 3 節の誤り分析に用いた 2 つの Encoderとそれぞれに対する注意機構をも つモデル.
- Single Attention: 佐々木さんの直前の発話用の Encoder 1つと注意機構をもつモデル. 吉田さ んの一つ前の発話は考慮できない.
- No Attention: 佐々木さんの直前の発話用の Encoderを持つが，注意機構は持たないモデル。

Single Attention モデル, No Attention モデルは, Double Attention モデルをベースに性能を劣化させたモデル なので，生成される応答文の品質は順に低くなると 予想されるが，それを確認するために主観評価を実施した.

主観評価には，評価データから無作為抽出した 1200 セットについて，各モデルが生成した応答文を 用いた.まず応答の適切性について，1:応答が不適切，2:どちらともいえない，3:応答が適切の 3 段階 で評価してもらった. 次に，1:の不適切な応答につ いて，1）文脈上不適切な内容語を含む誤り (ICW), 2）文末表現の誤り (ESE), 3) 助詞の誤り (FNC), に 該当するかチェックしてもらった. 各モデル 1200 個の応答文について， 1 応答文あたり 5 名の評価者 に評価してもらったため，各モデル 6000 の主観評価値を得た。応答文の適切性に関する 3 段階評価 の割合を表 6 に示す. No Attention, Single Attention, Double Attention の順に，適切な応答は増加し，不適切な応答は減少した．ただし，適切な応答の差分は表 7 不適切と判定された応答文に対して評価者が該当す

表 8 対照応答対評価セットならびにサブセットに対する 3 種類のモデルの正解率

$2.5 \%$ に収まった. 評価者が不適切と判定した応答文に対して該当するとされた 3 種類の誤りラベル の割合を表 7 に示す. No Attention, Single Attention, Double Attention の順に，文脈上不適切な内容語を含 む誤り (ICW) は減少したが，助詞の誤り (FNC) は逆 に増加した。文末表現の誤り (ESE) は 3 種類のモデ ルで僅かな差であった。

## 5.2 対照応答対による評価結果比較

対照応答対評価セット全体と各サブセットに対す る正解率を表 8 に示す. 評価セット全体 (ALL) に対 する正解率は，No Attention, Single Attention, Double Attention の順に上昇したが，サブセットに対する正解率は表 7 に示した主観評価による誤りラベルの割合と整合するものと整合しないものがあった. 内容語を置換した対照応答対について，ELでは正解率 が高すぎて，モデルの性能を測るよい指標になって いないと考えられる。これに対して，MLでは正解率が $80 \%$ 前後となり，モデルの性能を測るのに適当 な值を示している. 文末表現を置換した対照応答対 については，主観評価ではモデル間の差が小さかっ たが，正解率は Double Attention モデルが高かった.助詞を置換した対照応答対については，主観評価で は Double Attention モデルの誤りが僅かに多かった が，正解率は Double Attention モデルが高かった.

## 6 おわりに

本稿では，ニューラル対話モデルの自動評価に向 けた対照応答対評価セットを試作した. ニューラル 対話モデルの性能を粗く評価できる感触は得られた が，評価セットのサイズを大きくするとともに，よ り多くのモデルを用いて検証を進める必要があると 考えている。 さらに，非タスク指向型対話モデルと いってもドメインは様々に異なるため，対照応答対 の自動生成を検討する予定である.

## 参考文献

[1]A. Sordoni, M. Galley, M. Auli, C. Brockett, Y. Ji, M. Mitchell, J. Nie, J. Gao and B. Dolan, "A Neural Network Approach to Context-Sensitive Generation of Conversational Responses", in Proc. NAACL-HLT 2015, pp. 196-205, 2015.

[2]A. Vaswani, N. Shazeer, N. Parmer, J. Uszkoreit, L. Jones, A. Gomez, L. Kaiser and I. Polosukhin, "Attention Is All You Need”, in NIPS 2017, pp. 5998-6008, 2017.

[3]C. Liu, R. Lowe, I. Serban, M. Noseworthy, L. Charlin and J. Pineau, "How NOT to Evaluate Your Dialogue System: An Empirical Study of Unsupervised Evaluation Metrics for Dialogue Response Generation", in Proc. EMNLP 2016, pp. 2122-2132, 2016.

[4]C. Tao, L. Mou, D. Zhao and R. Yan, "RUBER: An Unsupervised Method for Automatic Evaluation of Open-Domain Dialog Systems" arXiv:1701.03079, 2017.

[5]T. Hashimoto, H. Zhang and P. Liang, "Unifying Human and Statistical Evaluation for Natural Language Generation”, in Proc. NAACL 2019, pp. 1689-1701, 2019.

[6]A.Ghandeharioun, J. Shen, N. Jaques, C. Ferguson, N. Jones, A. Lapedriza and R. Picard, "Approximating Interactive Human Evaluation with Self-Play for Open-Domain Dialog Systems", in NIPS 2019, pp.13658-13669, 2019.

[7]R Sennrich, "How Grammatical is Character-level Neural Machine Translation? Assessing MT Quality with Contrastive Translation Pairs", in Proc. EACL, pp.376-382, 2017.

[8]R. Bawden, R. Sennrich, A. Birch and B. Haddow, "Evaluating Discourse Phenomena in Neural Machine Translation”, in Proc. NAACL-HLT 2018, pp. 1304-1313, 2018.

[9]E. Voita, R. Sennrich and I. Timov, "When a Good Translation is Wrong in Context: Context-Aware Machine Translation Improves on Deixis, Ellipsis, and Lexical Cohesion”, in Proc. ACL 2019, pp.1198-1212, 2019

[10]永田, 森下, “日本語から英語への文脈翻訳テストの提案”, 言語処理学会第 25 回年次大会, 2019 .

[11]J. Li, M. Galley, C. Brockett, J. Gao and B. Dolan, "A Diversity-Prompting Objective Function for Neural Conversation Models, in Proc. NAACL-HLT 2016, pp. 110-119, 2016.

[12]鈴木, 加藤, 田村, 呉, 楊, 服部, “ニューラル対話モデル の自動評価に向けた応答文の誤り分析”, 電子情報通信学会総合大会 2021, 発表予定.


# STILTs を適用した機械読解による Wikipedia 記事の構造化

石井 愛
日本ユニシス株式会社 総合技術研究所
ai.ishii@unisys.co.jp

## 1 はじめに

自然なコミュニケーションで問題解決に導いてい く人に寄り添う AI を実現するためには，人の言葉 の文脈を理解することや，人の常識や知識を共有す ることが必要とされる. より大規模で体系だった知識ベースの整備が望まれる中で，森羅プロジェクト [1]では, Wikipediaを機械可読な構造に変換する構造化を目指している. 既存の知識べースの一貫性の課題を解決するため，森羅では，あらかじめ定義され た名前のオントロジーである「拡張固有表現」[2]（以降，ENE）にWikipedia 記事を分類し，ENE に定義 されている属性に対応する値を記事中から抽出する.森羅では, ENE に定義されている属性に対応する値 を記事中から抽出する部分を「日本語 Wikipedia 構造化タスク」として, 評価型ワークショップを開催 し, 同時に参加者のシステムによるリソース構築を 進めている.

本稿では, 日本語 Wikipedia 構造化タスクを, 機械読解タスクとして定式化し, BERT[3]の事前学習モ デルを用いて解くシステムにおいて, STILTs[4] と呼 ばれる中間タスクを用いる手法を提案する。提案手法は，スパースなデータセットにおいて，限られた GPU リソース上で実行可能で, かつ機械読解の性能 を向上させる効果的な学習を可能とする．評価実験 では，中間タスクを用いない場合と比較し，提案手法の有効性を検証する。

## 2 日本語 Wikipedia 構造化タスク

日本語 Wikipedia 構造化タスクは, Wikipedia 記事 のカテゴリごとに ENE に定義されている属性に対応する値を Wikipedia 記事中から抽出するタスクで ある. たとえば「企業名」カテゴリでは, 属性とし て「正式名称」,「事業内容」など 34 種類の属性が ENE で定義されている[5]. あらかじめ各カテゴリに 分類された Wikipedia 記事と, 属性値の記事中の出現箇所をアノテーションした教師データが与えられ， それをもとに未アノテーションの記事を含むすべて
の記事から属性値を抽出する。そのうち非公開の 100 記事を用いて評価が行われる[6].

2019 年に開催された「森羅 2019-JP」では, 記事数の多いカテゴリを中心とした JP-5 グループの，人名, 市区町村名, 企業名, 化合物名, 空港名の 5 力 テゴリおよび，地名グループと組織名グループから なる 28 カテゴリが対象とされた. アノテーション データは, JP-5 は各カテゴリ約 1000 記事, 地名およ び組織名は各カテゴリ約 200 記事である. 属性值は, 1 記事内に複数存在する場合や, 一つも存在しない 場合がある. JP-5 のアノテーションデータにおける，一つの記事内の属性値の個数を平均すると, 最大の 属性で 46.8 , 最小の属性で 0.03 , カテゴリごとの中央値は $0.53 \sim 1.03$ であり，属性によっては非常にス パースなデータである.

## 3 関連研究

日本語 Wikipedia 構造化タスクと直接関連が強い 固有表現抽出において，Li ら[7,8]は，BERT を用い た機械読解手法で他の手法よりも良い精度を達成し ている[9].これまで開催された日本語 Wikipedia 構造化タスクにおいても，DrQA[10]を応用した機械読解システム[11]や RoBERTa[12]を用いた機械読解シ ステム[13]が良い成績を収めている $[1,6]$. 評価型夕 スクの結果の分析では, 属性值が単語ではなく文で 記載されやすい「製造方法」などの属性の抽出，お よび訓練データが少ないカテゴリにおける属性値の 抽出で精度が伸びないことが課題として示された。訓練データが少ないカテゴリにおいては，カテゴリ 間で共通する属性が存在するため，[13]のシステム のようにカテゴリを横断して学習を行うことの有効性が示唆されている[6]. ただし, BERT や RoBERTa のような事前学習モデルを用いて多数あるカテゴリ を横断して学習を行うには，大きな GPU リソース が必要となる.
表 1 機械読解用に変換したデータの例

 \\

機械読解は, 質問と, 解答のための情報源となる テキスト (パッセージ) を入力として，解答となる 情報をパッセージから抽出するタスクである。機械読解システムは, 質問に答えるだけでなく, 与えら れたパッセージに解答となる情報が含まれていない 場合にそれを判断する必要がある. 解答できない問題を含む機械読解のデータセットである SQuAD 2.0[14]において, Retrospective Reader[15]は, パッセ ージに解答が含まれているかどうかを 2 値分類する タスクと，パッセージから解答を抽出する機械読解 タスクに役割をわけ, 別々のモデルで学習, 予測し た結果を統合することで, 良い精度を達成している。

BERT のような事前学習モデルの性能をさらに改善する方法の一つとして, 最初に中間タスクで事前学習モデルをファインチューニングしてから, 対象 とするターゲットタスクで再度ファインチューニン グする手法が提案されている[4,16-18]. これらの手法はSTILTs と呼ばれている.ターゲットタスクごと に事前学習モデルを一から作成することは計算コス トが非常に高いため, 計算コストが低く実装が容易 な手法として注目されている.

## 4 提案手法

## 4.1 提案手法の概要

日本語 Wikipedia 構造化タスクを, Wikipedia 記事内のパッセージから質問（属性名）の値となる解答 （属性値）出力する, 解答できない問題を含む機械読解タスクとして解く. 本タスクのデータセットで は属性によって属性値が一つも含まれない記事が多数存在し, さらに記事をパッセージに分割するため 解答できない問題が非常に多くなる. そこで, 解答
できない問題を除外し，グループ内の全カテゴリを 横断して学習する中間タスクを用いることを提案す る. 解答できない問題を除外することでデータ件数 を削減し, 限られた GPU リソース上で実行可能と する. カテゴリを横断して学習することで，訓練デ 一タが少ないカテゴリにおいて類似するカテゴリか らの学習結果が得られること, 解答可能かどうかの 判断は行わないことで役割分担ができ, 効果的な学習が行われることを狙う，中間タスクでファインチ ユーニングしたモデルを用いて対象のカテゴリのみ で学習するターゲットタスクでは，解答できない問題も含めて学習する.

提案手法は Retrospective Reader[15] と同様に役割 をわけて学習を行うが，別々のモデルではなく中間 タスクとした点と, 解答可能かどうかの判断をする 2 值分類タスクではなく機械読解タスクとする点で 異なる. 予備調查の結果から, 2 值分類タスクの場合, 正解データに抽出する箇所の情報が含まれない ため, 学習の際の情報量が不足すると考えられたた めである.

BERT の出力は, [13]を参考に, 各単語の $\mathrm{BIO}$ 夕 グとする，BIO夕グは固有表現抽出においてよく用 いられる正解ラベルで, B, I, O は, それぞれ単語 が解答の先頭，内側，外側にあることを示すもので ある。

## 4.2 機械読解用データセットへの変換

Wikipedia 記事内を，HTML タグを分析して小見出しごとに区切ったものをパッセージpとし, $p$ の 範囲内に含まれる属性値のデータから属性を質問 $q$, 属性值を解答 $A=a_{1}, a_{2}, \ldots, a_{k}$ とするデー夕に変換する. $p$ に属性値が含まれない属性は $k=0$ とな る. $a_{i}$ は $p$ 内における開始・終了位置情報および,解答の文字列である. 表 1 に機械読解用に変換し たデータの例を示す. pは HTML タグ中のオプショ ン部分を空白で置き換える処理を行って作成する.

## 4.3 機械読解モデル

BERT を用いた機械読解モデルは， $(p, q, A)$ を入力として, 各単語の $\mathrm{BIO}$ タグを出力する. 中間夕 スクとターゲットタスクのモデルは共通である.

BERT への入力系列は, 質問 $q$ の単語トークン列 $\mathrm{q}=q_{1}, q_{2}, \ldots, q_{m}$ およびパッセージ $p$ の単語トークン 列 $\mathrm{x}=x_{1}, x_{2}, \ldots, x_{n}$ を以下のように連結したものと する.
表 2 データ件数

} & \multicolumn{3}{|c|}{} \\

$\left.\{[\mathrm{CLS}], q_{1}, q_{2}, \ldots, q_{m},[\mathrm{SEP}], x_{1}, x_{2}, \ldots, x_{\mathrm{n}}\right.\}$

ここで, [CLS], [SEP] は BERT の特別なトークン である. 単語トークン系列 $\mathrm{x}=x_{1}, \ldots, x_{j}, \ldots, x_{n}$ に対応する BERT の最終層の隠れ状態べクトル $T_{\mathrm{x}}$ を力 とする分類層で，ラベルごとのスコア $S_{\mathrm{x}}=$ $S_{x_{1}}, \ldots, S_{x_{j}}, \ldots, S_{x_{n}}$ を出力する. $S_{x_{j}}$ が最も大きいラべ ルを予測ラベル $y_{x_{j}}^{\prime}$ とし, 正解ラベル $\mathrm{y}=y_{x_{1}}$,

$\ldots, y_{x_{j}}, \ldots, y_{x_{n}}, y_{x_{j}} \in\{\mathrm{B}, \mathrm{I}, 0\}$ との交差エントロピー 誤差を用いて BERT のファインチューニングを行 い，単語トークンごとに 3 値に分類する問題を解 く. 予測時には予測ラベルy'がB, Iの系列となった単語トークン列を解答候補とし, 単語トークン列およ び単語トークン列のラベルのスコアの平均値をスコ アとして出力する.

また，BERT の入力系列には長さの制限があり，最大トークン長以内に収める必要がある. 入力系列 が最大トークン長よりも長くなる場合, [SEP]の後 ろの系列を，設定したトークン数（ストライド）分 ずらしながら複数の入力系列を生成する.

## 4.4 解答候補のルールによる整形

機械読解モデルが出力する解答候補は, 以下のル ールで整形する.
- 解答文字列前後の HTML タグの削除
- 空文字および漢字以外で 1 文字の解答を除外
- HTML タグ，および記号のみの解答を除外

## 5 実験

## 5.1 実験設定

モデルの構築には，公開されているBERTの事前学習済みモデルである「NICT BERT 日本語 Pretrained モデル BPEあり」[19]（以降，NICT BERT モデル) を利用した. 解答可能性付き読解データセ
ット[20]を利用した既存の日本語BERTモデルとの 比較[21]において, 最も高い性能となったモデルで ある.システムの実装は，BERTのpytorchの実装 [22]利用した。いくつかのカテゴリにおける事前調查の結果から, バッチサイズは 32 , 学習率は $2 \mathrm{e}-$ 05 , トークンの最大長は 384 , ストライドは 128 とし た. エポック数は最大值を 10 とし，Devセットにお いて精度が最も良いモデルを選択した. 入力文字列 はNICT BERTモデルの仕様に合わせ，MeCab-Juman 辞書[23]で形態素に分割後, subword-nmt[24]で生成 された語彙を用いてsubwordに分割してトークン化 した.

## 5.2 データセット

森羅 2019-JP においてシステム開発用に配布され たアノテーションデータを, 提案手法の入力形式に 変換した．データセットは訓練（以降 Train），検証 (以降 Dev)，テスト(以降 Test)それぞれ， $85 \%$ ， $5 \% ， 10 \%$ の割合で分割し，Trainでモデルの訓練， Dev でモデル選択, Test でモデルの評価を行った.生成した BERT 用の入力系列の Train, Dev, Test の 件数を表 2 に示す. 中間タスクのデータセット は，グループ内のすべてのカテゴリを横断したデー タセットである．表 2 で示したように，Train と

Dev から解答できない問題を除外することで，おお よそ 10 分の 1 程度のデータ件数になった。

## 5.3 評価指標

森羅のスコアラー[25]にて算出される属性ごとの F値のマイクロ平均を, 各カテゴリの評価指標とす る. 地名および組織名に関しては, グループに含ま れるカテゴリごとのF值のマイクロ平均をさらに平均した値を用いる。

## 6 結果と考察

## 6.1 提案手法の有効性

提案手法の有効性を評価するため, 森羅2019-JP における非公開の 100 記事を用いた評価型ワークシ ヨップでの評価との比較結果をを表 3に示す. 他の システムと比較し, 提案手法は, JP-5の5カテゴリ および地名, 組織名の平均值において, 他の手法 を0.01から0.12上回る結果となった。
$ 全カテゴリの結果が提出されたチームの結果を掲載.
}
表 3 他の手法との比較結果

 &  & Tanaka &  \\

表 4 中間タスクの有効性の評価

} & 空港名 & 0.819 & $\mathbf{0 . 8 3 0}$ \\
\cline { 2 - 4 } & 市区町村名 & 0.630 & $\mathbf{0 . 6 6 1}$ \\
\cline { 2 - 4 } & 企業名 & 0.590 & $\mathbf{0 . 6 0 8}$ \\
\cline { 2 - 4 } & 化合物名 & 0.518 & $\mathbf{0 . 5 8 1}$ \\
\cline { 2 - 4 } & 人名 & 0.750 & $\mathbf{0 . 7 5 1}$ \\

表 5 抽出が難しい属性についての調査結果

 & 属性名 &  &  \\

## 6.2 中間タスクの有効性

中間タスクの有効性を評価するため, 以下のモデ ルの比較結果を表 4亿示す.
- BERT モデル:中間タスク無しでカテゴリご とにファインチューニングするモデル
- 提案手法: 中間タスクでファインチューニン グ後に，カテゴリごとにファインチューニン グするモデル

表 4のとおり, 提案手法はBERTモデルと比較し て，寸べてのカテゴリで結果が改善した．訓練デー 夕件数が少ない地名および組織名においても，中間 タスクが有効であることが示された.次に，抽出が難しい属性について抽出能力を向上 させることができたかどうかを検証する．抽出が難 しい属性として，解答文字列長の平均が 100 文字以上の属性を対象として調査した結果を表 5亿示す.提案手法はBERTモデルと比較して，調查したすべ ての属性で結果が改善した。地名および組織名の「名前の謂れ」,「地名の謂れ」という属性は, 正解デ 一夕が1カテゴリに平均60件前後と少なく，かつ，解答文字列長は長いことから，特に抽出が難しい属性である。中間タスクにおいて，グループ内の複数 のカテゴリの正解データを用いることができたこと が精度の改善につながったと考える。また，化合物名の「製造方法」や，市区町村名の「地名の謂孔」 については, JP-5グループ内に同じ属性は存在しな いにもかかわらず，精度が向上している，中間タス クにおいて解答できない問題を除外したことで，解答可能かどうかの判断はターゲットタスクにまかせ ，機械読解能力を効果的に学習できたと考える.

## 7 おわりに

本論文では，日本語Wikipedia構造化タスクを，解答できない問題を含む機械読解タスクとして定式化 し，中間タスクを用いたBERTによる機械読解シス テムを提案した，中間タスクでは，解答できない問題を除外することでデータ件数を削減し，複数の力 テゴリを横断した学習を可能とした。解答が含まれ ているかどうかの判断をターゲットタスク学習時の みにする施策と，複数のカテゴリを横断することで 正解データが少ない属性に対応する施策が有効に働 き，これまでの手法よりも優れた性能を達成するこ とが示された。しかしながら, 生成した知識データ を利用するには，データ件数の少ないカテゴリや属性の抽出精度をさらに改善していく必要がある．類似度の高い属性を集めて学習するなどの工夫を今後 の課題としたい.

## 謝辞

本研究は, 森羅プロジェクトからデータを提供し ていただいて実施しました。森羅プロジェクトの皆様，意見交換させていただいたプロジェクト参加者 の皆様に感謝を申し上げます。

## 参考文献

1. SATOSHI, Sekine, KOBAYASHI, Akio and NAKAYAMA, Kouta. SHINRA: Structuring Wikipedia by Collaborative Contribution. In : AKBC. 2019.

2. SEKINE, Satoshi. Extended Named Entity Ontology with Attribute Information. In : LREC. 2008.

3. DEVLIN, Jacob, CHANG, Ming-Wei, LEE, Kenton and TOUTANOVA, Kristina. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In : NAACL. 2019.

4. PHANG, Jason, FÉVRY, Thibault and BOWMAN, Samuel R. Sentence Encoders on STILTS: Supplementary Training on Intermediate Labeled-data Tasks. ArXiv, 2018. ArXiv ID: 1811.01088v2

5. 拡張固有表現階層 定義 Version 8.0.0. http://1iat-

aip. sakura. ne. jp/ene/ene8/definition_jp/

6. 小林暁雄, 中山功太, 安藤まや and 関根聡. Wikipedia構造化プロジェクト「森羅2019-JP」. In：言語処理学会第26回年次大会(NLP2020). 2020.

7. LI, Xiaoya, FENG, Jingrong, MENG, Yuxian, HAN, Qinghong, WU, Fei and LI, Jiwei. A Unified MRC Framework for Named Entity Recognition. In : ACL. 2020

8. LI, Xiaoya, SUN, Xiaofei, MENG, Yuxian, LIANG, Junjun, WU, Fei and LI, Jiwei. Dice Loss for Data-imbalanced NLP Tasks. In : ACL. 2020

9. LI, Jing, SUN, Aixin, HAN, Jianglei and LI, Chenliang. A Survey on Deep Learning for Named Entity Recognition. 2020. arXiv:1812. 09449

10. CHEN, Danqi, FISCH, Adam, WESTON, Jason and BORDES, Antoine. Reading Wikipedia to Answer Open-Domain Questions. In : BARZILAY, Regina and KAN, Min-Yen (eds.), ACL. 2017.

11. 石井愛. 機械読解によるWikipediaからの情報抽出. In ：言語処理学会第25回年次大会 (NLP2019). 2019.

12. LIU, Yinhan, OTT, Myle, GOYAL, Naman, DU, Jingfei, JOSHI, Mandar, CHEN, Danqi, LEVY, Omer, LEWIS, Mike, ZETTLEMOYER, Luke and STOYANOV, Veselin. RoBERTa: A Robustly Optimized BERT Pretraining Approach. 2019. arXiv:1907. 11692

13. 中山功太. RoBERTaを用いたQA式属性値抽出システ ム. In：森羅2019-JP 最終報告会資料。2019

14. RAJPURKAR, Pranav, JIA, Robin and LIANG, Percy. Know What You Don' $t$ Know: Unanswerable Questions for SQuAD. In : ACL. 2018.

15. ZHANG, Zhuosheng, YANG, Junjie and ZHAO, Hai. Retrospective Reader for Machine Reading Comprehension. arXiv. 2020. arXiv:2001. 09694.

16. WANG, Alex, HULA, Jan, XIA, Patrick, PAPPAGARI, Raghavendra, MCCOY, R. Thomas, PATEL, Roma, KIM, Na joung, TENNEY, Ian, HUANG, Yinghui, YU, Katherin, JIN, Shuning, CHEN, Berlin, VAN DURME, Benjamin, GRAVE, Edouard, PAVLICK, Ellie and Bowman, Samuel R. Can You Tell Me How to Get Past Sesame Street? Sentence-Level Pretraining Beyond Language Modeling. In : ACL. 2019.

17. CLARK, Christopher, LEE, Kenton, CHANG, MingWei, KWIATKOWSKI, Tom, COLLINS, Michael, TOUTANOVA, Kristina and ALLEN, Paul G. BoolQ: Exploring the Surprising Difficulty of Natural Yes/No Questions. In : NAACL-HLT. 2019

18. SAP, Maarten, RASHKIN, Hannah, CHEN, Derek, LEBRAS, Ronan and CHOI, Yejin. SocialIQA: Commonsense Reasoning about Social Interactions. EMNLP-IJCNLP. 22 April 2019

19. NICT BERT 日本語 Pre-trained モデル. https://alaginrc. nict. go. jp/nictbert/index. html

20. 鈴木正敏, 松田耕史, 岡崎直観 and 乾健太郎. 読解 による解答可能性を付与した質問応答データセット の構築. In ：言語処理学会第24回年次大会 (NLP2018). 2018.

21. Experiments_on_RCQA. https://alaginrc. nict. go. jp/nictbert/Experiments_on_RCQA. html

22. WOLF, Thomas, DEBUT, Lysandre, SANH, Victor, CHAUMOND, Julien, DELANGUE, Clement, MOI, Anthony, CISTAC, Pierric, RAULT, Tim, LOUF, Rémi, FUNTOWICZ, Morgan and BREW, Jamie. HuggingFace's Transformers: State-of-the-art Natural Language Processing. 2019. arXiv:1910. 03771

23. KUDO, T. MeCab: Yet Another Part-of-Speech and Morphological Analyzer.

http://chasen. org/taku/software/mecab/.

24. GitHub - rsennrich/subword-nmt: Unsupervised Word Segmentation for Neural Machine Translation and Text Generation. https://github. com/rsennrich/subword-nmt

25. GitHub-k141303/shinra_jp_scorer：森羅2020夕ス ク用のスコアラー.

https://github.com/k141303/shinra_jp_scorer


# 文献抄録中の主題材料に着目した超伝導材料に関する情報抽出

山口京佑 ${ }^{1}$ 旭 良司 ${ }^{2}$ 佐々木裕 ${ }^{1}$
1 豊田工業大学
2 株式会社 豊田中央研究所
${ }^{1}$ \{sd19453, yutaka.sasaki\}@toyota-ti.ac.jp,
${ }^{2}$ ryoji.asahi@chem.material.nagoya-u.ac.jp

## 1 はじめに

近年物質科学の分野では，機械学習をはじめとす る情報科学のアプローチを物質科学に適用すること で，属人的な知見に依存しない効率的な材料探索を 目指すマテリアルズインフォマティクス (Materials Infomatics; MI) の研究が活発化している [1]. MI に おいては所望の材料および物質特性に関する大量 のデータが必要となるが，現状ではその多くが関係 データベースのような形で構造化されておらず，開発を進める上でのボトルネックとなっている.

超伝導材料は医療機器やリニア新幹線といった幅広い分野へ応用されている材料であり, 物質科学に おいて重要な材料の一つである．銅酸化物系の高温超伝導体 [2] が発見されて久しいが，実応用に向け ては転移温度や臨界磁場がより高く，加工しやすい 材料が必要とされている $[3,4]$.

本研究では，文献抄録から超伝導材料に関する情報をスロット抽出するシステムの構築を目指す. 本研究の概要を図 1 に示す. システム構築に際して, まずは抄録 1,000 件に対して抽出したい超伝導材料情報を注釈付けし，教師データを作成する。提案シ ステムは固有表現・関係・イベント抽出モデルと主題材料分類モデルの 2 つのニューラルネットワーク と，これらの予測結果を統合して最終的なスロット 抽出を行うルールベースのモジュールで構成され る. 作成した教師データを基に 2 つのモデルを独立 に学習し, 予測時にはパイプラインでつなげて運用 する.

## 2 超伝導情報の注釈付け

我々の先行研究 [5] において，超伝導材料に関す る文献抄録 1,000 件に対して7つの固有表現クラス を注釈付けした。本研究ではこれを拡張する形で，

図 1 本研究の概要

超伝導材料に固有の情報である転移温度とドーピン グ情報を関係付けし，これらを対応する材料組成に 紐づけることでスロット抽出を行う。抄録 1 件に注釈付けした例を図 A. 1 に示す. 本研究で特に重要な 固有表現クラスは以下の 3 つである。その他のクラ スに関しては表 A. 1 を参照されたい。

Element "Ti", "oxygen", " $\mathrm{YBa}_{2} \mathrm{Cu}_{3} \mathrm{O}_{7}$ " といった元素名や化合物名を対象とする．2.1 節と 2.2 節で述べ る転移温度・ドーピング情報の紐づけ対象である。

Doping: “doping", "substitute", "addition”などの ドーピング操作を表すエンティティを対象とする。本研究ではイベントトリガーとして再定義される.

Value: “ $45 \%$ ” “ $95 \mathrm{~K}$ ”といった単位まで含めた 定量表現全般を対象とする。

超伝導材料に固有の情報を抽出するにあたり，本研究では上記に加えて新たにSC クラスを定義した。

SC: 超伝導を意味する “superconductivity” や超伝導への転移温度を表す “Tc” など，超伝導特性に関 するエンティティを対象とする。

## 2.1 転移温度の注釈付け定義

物質科学における定量情報は多くの場合，属性名 と属性値の関係で整理できる。これらの間の等価性を表す関係クラスとして Equivalent を定義した。

ここで Equivalent は属性名から属性値に対して注釈付けされ，文内の関係のみを対象とする. 転移温度の場合，文献中では “ $T_{c}=95 K$ ” のように記述され ることが多く，抽出したい属性名は固有表現クラス SC に，属性値は Value に属する。

## 2.2 ドーピング情報の注釈付け定義

文献中でのドーピングに関する情報はイベントの 枠組みで定義可能である．例として“Zn doping into the $\mathrm{CuO}_{2}$ plane” を仮定すると，この場合 “doping” が イベント発生を表すトリガーとなり，イベント引数として “Zn”が材料へ添加物であるドーパント， “ $\mathrm{CuO}_{2}$ ” がドーパントの受け入れ先であるサイトと 解釈できる. これを踏まえ, 本研究では先行研究 [5] で固有表現クラスとして定義した Doping をイベン トトリガークラスとして再定義し，イベントロール クラスとして Dopant と Siteを新たに定義した.

## 2.3 超伝導材料情報の注釈付け定義

本研究では固有表現クラス Element に属する材料組成に対して転移温度・ドーピング情報を紐づけ る形でスロット抽出を行う。これらを紐づけるた めの関係クラスとして Target を定義した. ただし Target は転移温度・ドーピング情報から材料組成に 対して注釈付けされ，文内のみを対象とする。

ここで問題となるのが，材料組成と転移温度・ ドーピング情報が文を跨いで言及される場合であ り，文内の関係を対象とする Target による紐づけ のみでは情報の取りこぼしが発生してしまう。本研究では，抄録において文献の主題となる材料に関す る事実や実験結果が集約して述べられている場合が 多い事実に着目し，抄録中の主題材料を特定した上 で転移温度・ドーピング情報を紐づける方法を提案 する。

主題材料の特定は Element エンティティを対象に それぞれが文献の主題であるか否かを判定する二値分類問題として設定し, 注釈付けは Element エン ティティの内，主題材料であるものを新たに定義し た固有表現クラス Main で上書きする形で行う．な お，転移温度・ドーピング情報の主題材料への紐づ けは 3.3 節で述べるルールに従って行われる.

抄録中では材料組成に対するドーピングの結果 として転移温度が記述される場合がある.この場合 ドーピングが転移温度を条件付けしていると解釈で き，この時成り立つ関係クラスとして Conditionを

図 2 主題材料分類モデルの概要

定義した。ただしCondition は転移温度からドーピ ングのイベントトリガーに向かって注釈付けされ，文内の関係のみを対象とする。

## 3 提案システム

提案システムは固有表現・関係・イベントを抽出

ルネットワークと，これらの結果を統合しスロット 抽出するルールベースのモジュールで構成される.以下ではそれぞれについて詳しく述べる。

## 3.1 固有表現・関係・イベント抽出

本研究では固有表現・関係・イベントの同時抽出手法である DyGIE++ [6] を用いる. DyGIE++は各タ スクを解く手掛かりとなる情報を相互にグラフ伝搬 する機構により，それぞれのエンドタスクで高い抽出性能を実現している．原著論文ではこれら 3 つの タスクの補助タスクとして共参照解析も同時に解い ているが，本研究では共参照を注釈付けしていない ため，このタスクは対象外とした。

## 3.2 主題材料分類

DyGIE++で抽出されたElement エンティティを対象に，それぞれが主題材料であるか否かの二値分類問題を解く. 提案モデルの概要を図 2 に示す.

主題材料を特定する上では抄録全体の文脈を考慮 する必要があるため，モデル入力は文単位ではなく 抄録全体とする。単語埋め込み手法は BERT [7] を 長い系列長が扱えるように改良した Longformer [8] を用いる. 入力系列を $T=\left.\{x_{1}, x_{2}, \ldots, x_{L}\right.\}$ とすると， Longformer の表現ベクトルは以下で表される.

$
\boldsymbol{x}_{1}, \boldsymbol{x}_{2}, \ldots, \boldsymbol{x}_{L}=\text { Long former }\left(x_{1}, x_{2}, . ., x_{L}\right)
$

$
\text { ただし, } \boldsymbol{x}_{i} \in \mathbb{R}^{d} \text { である. }
$
次に抄録中の各 Element エンティティについて， スパンを構成する全トークンの表現ベクトルの要素平均を以下のように計算し，スパン表現 $g_{i}$ を得る.

$
\boldsymbol{g}_{i}=\frac{1}{n-m+1} \sum_{j=m}^{n} \boldsymbol{x}_{j}
$

ただし， $m, n$ はそれぞれスパン $\boldsymbol{g}_{i}$ の先頭トークン インデックス，末尾トークンインデックスであり， $0 \leq m \leq n \leq L$ である.

さらにスパン表現 $\boldsymbol{g}_{i}$ を以下の式で計算すること で，スパンが主題材料である確率 $p_{i}$ を得る. $p_{i}$ が 0.5 よりも小さい場合には「主題材料でない」，大き い場合には「主題材料である」としてモデルの予測結果が得られる.

$
p_{i}=\operatorname{Sigmoid}\left(\boldsymbol{w}^{t}\left(\operatorname{ReL} U\left(\boldsymbol{g}_{i}\right)\right)\right)
$

ただし， $w \in \mathbb{R}^{d}$ である.

学習時は損失関数としてバイナリ交差エントロ ピー損失 (Binary Cross Entoropy Loss; BCELoss) を用 い，パラメータ更新は Longformer を含めたネット ワーク全体に対して抄録単位で行う。

## 3.3 ルールによるスロット抽出

DyGIE++と主題材料分類モデルにより抽出され た情報は事前に定義したルールにより，材料組成・ ドーパント・サイト・転移温度の４つからなるス ロットとして抽出される。大まかなルールは以下の 通りである。

1. Condition クラスで関係付けされた転移温度と ドーピング情報をスロットに埋める

2. Target クラスで関係付けされた材料組成と転移温度・ドーピング情報をスロットに埋める
3. 2 で紐づけされなかった転移温度・ドーピング 情報について，最も近いMainエンティティを 対応する材料組成とみなしてスロットに埋める

## 4 実験

作成した注釈付きコーパスを 10 分割して訓練 データ 800 件，検証データ 100 件，テストデータ 100 件の組み合わせを 10 パターン用意し，提案シス テムの学習と評価を行った. コーパス全体の解析結果を表 A.2, 表 A.3，表 A. 4 に示す。なお，以下で述べ る表中の評価スコアは 10 個のモデルの平均および 標準偏差である.

## 4.1 固有表現・関係・イベント抽出の評価

実験は著者実装のモデル1)を用いて行った．実験設定の詳細を表 A. 5 に示す. 各タスクの評価結果は それぞれ表 1 , 表 2 , 表 3 の通りである.

表 1 より本研究で重要な 3 つの固有表現クラス Element, Value, SC は高い精度で抽出できていること が分かる. 表 2 の関係クラスの評価はエンティティ ペアの固有表現クラスと関係クラスの予測結果が正 しい場合のみ真陽性とした。 スロット抽出を行う上 で特に重要な Target は $\mathrm{F}$ 值が $77.1 \%$ という結果と なった. 表 3 の Total はイベント全体の評価であり， トリガーと引数の固有表現クラス，トリガーと引数間のイベントロールが全て正しい場合を真陽性と してカウントした. Total のスコアが高いのは全体 としてドーパントがサイトの約 4.5 倍の出現回数あ り，ドーパントの精度に引っ張られていることに起因している。

## 4.2 主題材料分類の評価

ここではモデルへの入力として人手で注釈付けし た正しいElement を与えた場合と，DyGIE++が予測 したElementを与えた場合の 2 通りで評価した. 実験設定を表 A. 6 に，評価結果を表 4 に示す.

人手による正解の Element 情報を与えた場合は， $\mathrm{F}$ 值が平均で $83.9 \%$ という結果となった (Gold). こ の結果が主題材料分類モデルの本来の分類性能であ る. DyGIE++による予測結果の Element 情報を与え た場合には， $\mathrm{F}$ 值が平均で $75.7 \%$ という結果となっ た (DyGIE++) 。表 1 から DyGIE++の Element の予測精度は $89.4 \%$ であるため，この分の誤差が含まれた スコアとなっている。

## 4.3 End-to-End でのスロット抽出の評価

ここではまず，注釈付きコーパスをルールで変換 した際の主題材料への紐づけ精度の検証を行った。 ランダム選択した 200 件を対象にルールによる主題材料への紐づけで抽出されたスロットが正しいかを

変換であることが分かった. これを踏まえ，ここで は注釈付きコーパスに対してルールを適用して得ら れたスロットを正解として扱うこととした。得られ たスロットの解析結果を表 A. 7 に示す.

上記の正解スロットに対して，材料組成への明

1) https://github.com/dwadden/dygiepp
示的な紐づけを行う DyGIE++のみを用いて得られ たスロットの抽出精度 (Rel. only) と, これと併せて 材料組成への暗黙的な紐づけを行う主題材料分類 モデルを用いて得られたスロットの抽出精度 (E2E: End-to-End)を表 5 に示す.

Rel. only と E2Eを比較すると再現率が 2 倍近く 向上しており，主題材料を用いた暗黙的な紐づけが 効果的であることが明らかとなった. 一方で適合率 は， Rel. onlyよりも E2E の方が若干低下しており，主題材料へ暗黙的に紐づけする場合よりも明示的 な紐づけを行う場合の方が正確性が高くなるだろ うという直感に従う結果が得られた. E2E の $\mathrm{F}$ 值は $64.7 \%$ となり,これが提案システムにおける最終的 なスロット抽出精度である。

## 5 関連研究

Tshitoyan ら [9] は，無機材料全般に関する文献抄録 330 万件を用いて word2vec [10]を学習し, 単語間 のベクトル表現の類似度が高いもの同士を調査する ことで文献中に埋め込まれた知識を獲得するアプ ローチを提案している。

Weston ら [11] は無機材料に関する抄録を，山口ら [5] は超伝導材料に関する抄録を対象に，材料名や 分析手法といった材料全般に共通する固有表現抽出 の取り組みを報告している。

大西ら [12] は学術文献から材料設計で重要となる プロセス・構造・特性に関するエンティティとその 相関関係を遠距離教師あり学習の枠組みで抽出する 手法を提案している. 抽出されたエンティティとそ れらの相関関係は知識グラフとして整理される。

ChemDataExtractor [13] は論文中の見出し・パラグ ラフ・キャプション・表を対象として, 化学組成と それに紐づく属性情報を抽出する手法である. 具体的には，まず品詞情報と固有表現を機械学習を用い て取り出し, それらの情報を基にテキストを句構造解析することで所望の情報を抽出する流れとなって いる. 句構造解析では人手で定義したルールが用い られている。

超伝導に関する学術文献に ChemDataExtractor を 適用した研究として [14] が報告されている.ここで は磁性・超伝導特性を発現する材料とその転移温度 を抽出し，それを元に機械学習を用いた転移温度の 予測モデルが提案されている. また，別のアプロー チで同様の超伝導材料とその転移温度のペア情報を 抽出する研究として [15]が報告されている. これら
の先行研究では, 本研究が抽出対象としているドー ピングに関する情報は扱われていない。

## 6 おわりに

本研究では文献抄録中で記述される超伝導材料に 固有の情報として，定量情報である転移温度と実験操作であるドーピング情報をそれぞれ関係抽出とイ ベント抽出の枠組みでタスク化し，これらを関係抽出と主題材料情報を用いて対応する材料組成に紐 づけることにより，スロット抽出システムを構築し た. End-to-End のスロットの抽出精度として F 值約 64\%が得られることを世界で初めて明らかにした。今後の主な課題として, スロット情報の拡張と文書 レベルでのシステム構築が挙げられる。

## 参考文献

[1]Rampi Ramprasad, Rohit Batra, Ghanshyam Pilania, Arun Mannodi-Kanakkithodi, and Chiho Kim. Machine learning in materials informatics: recent applications and prospects. npj Computational Materials, Vol. 3, No. 1, pp. 1-13, 2017.

[2]J.G Bednorz and K.A. Müller. Possible hightc superconductivity in the ba-la-cu-o system. Zeitschrift für Physik B Condensed Matter, Vol. 64, No. 2, pp. 189-193, 1986.

[3]Malozemoff et al. High-temperature cuprate superconductors get to work. Physics Today, Vol. April, pp. 41-47, 2005.

[4]Foltyn et al. Materials science challenges for hightemperature superconducting wire. Nature Mater., Vol. 6, pp. 631-642, 2007.

[5]Kyosuke Yamaguchi, Ryoji Asahi, and Yutaka Sasaki. SCCoMIcs: A superconductivity corpus for materials informatics. In Proceedings of the 12th Language Resources and Evaluation Conference, pp. 6753-6760, Marseille, France, May 2020. European Language Resources Association.

[6]David Wadden, Ulme Wennberg, Yi Luan, and Hannaneh Hajishirzi. Entity, relation, and event extraction with contextualized span representations. In EMNLP/IJCNLP, 2019.

[7]Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: pre-training of deep bidirectional transformers for language understanding. In Jill Burstein, Christy Doran, and Thamar Solorio, editors, Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, NAACL-HLT 2019, Minneapolis, MN, USA, June 2-7, 2019, Volume 1 (Long and Short Papers), pp. 4171-4186. Association for Computational Linguistics, 2019.

[8]Iz Beltagy, Matthew E. Peters, and Arman Cohan. Longformer: The long-document transformer. arXiv:2004.05150, 2020.

[9]Vahe Tshitoyan, John Dagdelen, Leigh Weston, Alexander Dunn, Ziqin Rong, Olga Kononova, Kristin A Persson, Gerbrand Ceder, and Anubhav Jain. Unsupervised word embeddings capture latent knowledge from materials science literature. Nature, Vol. 571, No. 7763, pp. 95-98, 2019.

[10]Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg S Corrado, and Jeff Dean. Distributed representations of words and phrases and their compositionality. In C. J. C. Burges, L. Bottou, M. Welling, Z. Ghahramani, and K. Q. Weinberger, editors, Advances in Neural Information Processing Systems, Vol. 26, pp. 3111-3119. Curran Associates, Inc., 2013.

[11]L. Weston, V. Tshitoyan, J. Dagdelen, O. Kononova, A. Trewartha, K. A. Persson, G. Ceder, and A. Jain. Named entity recognition and normalization applied to large-scale information extraction from the materials science literature. Journal of Chemical Information and Modeling, Vol. 59, No. 9, pp. 3692-3702, 2019. PMID: 31361962.

[12]Takeshi Onishi, Takuya Kadohira, and Ikumu Watanabe. Relation extraction with weakly supervised learning based on process-structure-property-performance reciprocity. Science and technology of advanced materials, Vol. 19, No. 1, pp. 649-659, 2018.

[13]Matthew C Swain and Jacqueline M Cole. Chemdataextractor: a toolkit for automated extraction of chemical in- formation from the scientific literature. Journal of chemical information and modeling, Vol. 56, No. 10, pp. 1894-1904, 2016.

[14]Callum J Court and Jacqueline M Cole. Magnetic and superconducting phase diagrams and transition temperatures predicted using text mining and machine learning. npj Computational Materials, Vol. 6, No. 1, pp. 1-9, 2020.

[15]Luca Foppiano, Thaer Dieb, Akira Suzuki, and Masashi Ishii. Proposal for automatic extraction framework of superconductors related information from scientific literature. 電子情報通信学会サービスコンピューティング研究会 2019 年度第一回研究会, 第 43 回 MaDIS 研究交流会合同研究会, 2019.

## A 付録

図 A. 1 抄録 1 件に注釈付けした例

表 A. 1 その他の固有表現クラス

表 A. 2 固有表現クラスの解析結果

表 A. 3 関係クラスの解析結果

表 A. 4 Doping イベントの解析結果

表 A. 5 DyGIE++の実験設定

エポック 50

最適化手法 AdamW

学習率 $5 \mathrm{e}-4$

ターゲットタスク 関係抽出

スパン長さ 10

表 A. 6 主題材料分類モデルの実験設定 エポック 30

最適化手法 AdamW

学習率 $2 \mathrm{e}-5$

表 A. 7 ルールにより抽出されたスロットの解析結果


# 単語制約を用いた概念ネットワークの改良

本田 涼太* ${ }^{*}$ 村田 真樹*2 馬 青*3
*1 鳥取大学 工学部 電気情報系学科
*2 鳥取大学大学院 工学研究科情報エレクトロニクス専攻
*3 龍谷大学 先端理工学部 数理・情報科学課程
$* 1, * 2\{$ b17t2096a@edu. , murata@\}tottori-u.ac.jp
${ }^{* 3}$ qma@math. ryukoku.ac.jp

## 1 はじめに

近年，インターネットの普及等により電子テキス トが増加している。これら大量の電子テキストから 有用な情報を効率的に取り出す技術が求められてい る.そこで言語テキスト処理技術を用いテーマキー ワードとなる単語を入力することで，電子テキスト や新聞データ等のメディアから入力単語の概念にか かわる概要情報を抜き出し概念ネットワークの研究 が進められた。

これまでの研究で, 概念ネットワークの構築に際 して，大竹ら [1] は， TF-IDF 法を用いて概念ネット ワークの構築手法を提案した。また，土遠ら [2] は，概念ネットワークに出現した単語にテーマキーワー ドと無関係な単語があることに着目し, これら無関係な単語を出現させないために，「テーマ限定抽出法」を提案した。

しかし, これまでの研究では, 関連する単語を概念ネットワークとして表示する際に，単に TF-IDF 值が大きい単語を取り出して, ネットワークを構築 しているため，よく似た内容の単語であっても離れ て出現することがあった.

そこで本研究では, この概念ネットワークの構築 において，Word2vec[3] を用いてある単語から発展 するネットワークの単語を同種の単語に制約する。 そのようにすることでネットワークをより見やすく するように改良する. 本研究の目的は，ネットワー クの構築において出現する単語を同種の単語に制約 し，より見やすいネットワークを構築することであ る. 単語制約を行いよく似た単語を近くに配置する ことで見やすくしたネットワークの一例を図 1 に示 す. 図 1 では,「ビデオカメラ」と「レンズ」，「パソ コン」と「スマートフォン」という似た意味の単語
が近くに配置されて，見やすくなっている。

図 1 単語制約したネットワークの一例

## 2 先行手法

本節では，これまでの概念ネットワークに関する 研究において用いられた手法について述べる.

## 2.1 ネットワーク構築の手順

まず, 大竹らが提案したネットワークの構築手法 を述べる.

手順 1 構築したいネットワークの主となる単語を テーマキーワードとして設定する.

手順 2 キーワードとなる単語を含んだ記事群を抽出 し，その記事群から形態素解析を用いて名詞のみを 抽出する。その際，一文字，ひらがなのみ，数字の みの単語を除外する。

手順 3 手順 2 で抽出された単語の出現頻度を調べ,上位 100 単語をノード候補とする。

手順 4 得られたノード候補の中から，TF-IDF 法を用 い，値の大きな上位 5 単語をネットワークのノード として選定する。TF-IDF 法については 2.2 節にて述 ベる.

手順 5 手順 2 から手順 4 を繰り返して概念ネット ワークを拡張する。

## 2.2 TF-IDF 法

ネットワークの構築において，ノードを選定する 際に利用した TF-IDF 法について述べる.この節で は入力データの電子テキストを新聞データとして 説明する. TF とは単語頻度 (Term Frequency) のこと であり, 入力データにおいて, 単語 $\mathrm{t}$ が出現した頻度のことをいう。また, DF は文書頻度 (Document Frequency) のことであり, 単語 $\mathrm{t}$ がある記事群 A に おいて出現した記事の数のことをいう． $\mathrm{N}$ を記事群 A の総記事数として, TF-IDF 法を用いたノードの選定式を式 (1)に示す.

$
w=t f * \log \left(\frac{N}{d f}\right)
$

## 2.3 テーマ限定抽出法

土遠らは，大竹らの構築したネットワークにテー マ限定抽出法を導入した. テーマ限定抽出法とは, 2.1 節の手順 2 において, 記事を抽出する際に, テー マキーワードと現在のキーワードの両方を含む記事 を抽出するようにしたものである. そうすることに より，テーマキーワードと関連性のない，または，関連性が薄いと考えられる単語が取り出されにくく なる.

## 3 提案手法

本節では, 本研究の提案手法である, 単語制約を 用いてネットワークを構築するという点について述 ベる.

## 3.1 Word2vec を用いた単語制約

単語制約には, Google 社が開発した Word2vec 内 にある「単語のクラスタリング」を利用する.

単語のクラスタリングとは, Word2vec にテキス トデータを学習させ，単語をベクトル化し，そのべ クトルのコサイン類似度を求め類似度の高い単語を まとめて単語のクラスタを作り，各クラスタにクラ スタ番号を割り当てるものである.このクラスタ番号が一致している単語群を似た意味を持つ単語と する。

## 3.2 単語制約を用いたネットワーク構築の手法

本研究では, 2.1 節で述べた概念ネットワーク構築の手法に，2.3 節で述べたテーマ限定抽出法と, 3.1 節で述べた単語制約の手法を加えてネットワー
クの構築を行う.この構築の手法を以下に示す.

手順 1 Word2vec の単語のクラスタリング機能を用い て，単語をクラスタ番号ごとにまとめる.

手順 22.1 節の手順 2 で得られたノード候補の単語 の中ですでに出現している単語を除き，各単語の TF-IDF 值を計算する.

手順 3 TF-IDF 值を計算した後に TF-IDF 值の大きい 順に単語を並べ，各単語のクラスタ番号を取り出 し, クラスタ番号ごとに単語をまとめる。(図 2)

手順 4 クラスタ番号が同じ単語ごとに TF-IDF 値を 計算し，TF-IDF 値が大きい順にクラスタ番号を並 ベる.

手順 5 手順 4 で求めた TF-IDF 值が上位 5 位までのク ラスタ番号を持つ単語を抜き出し，上位のクラスタ 番号に所属する単語から順に 5 個までネットワーク に表示させる.

このうち, 手順 4 で述べた TF-IDF 値の計算方法 として, TF-IDF 合計值法と TF-IDF 最大值法の 2 通 りを提案する。TF-IDF 合計値法は，クラスタ番号 が同じ単語ごとにそれらの単語の TF-IDF 值を足 し，その合計值上位 5 位までのクラスタ番号に所属 する単語をネットワークに表示させる方法である. TF-IDF 最大值法は, クラスタ番号が同じ単語ごと にそれらの単語の TF-IDF 值の最大の値を探し，そ の最大値上位 5 位までのクラスタ番号に所属する単語をネットワークに表示させる方法である.

また，これら 2 つの計算方法の計算の一例を図 3 に示す.

ノード候補の単語

図 2 手順 3 の概要

図 $3 \mathrm{TF}$-IDF 值の計算例

## 4 実験と評価

## 4.1 実験データ

本実験では， 2.1 節で述べた従来手法と， 3.2 節で 述べた 2 つの提案手法の合わせて 3 つの手法で概念ネットワークを構築した。まず，単語制約を行う ために, Word2vecに学習させるデータとして, 毎日新聞 12 年分 (2007〜2018) のデータ (1,166,761 記事) を使用した。単語のクラスタリングを行う際，クラ スタ数は 5,000 とした。ネットワークを構築する際 のデータとして 2018 年の毎日新聞の記事 $(88,032$ 記事)を使用した。また，テーマキーワードとして 20 個の単語を選定した。

## 4.2 実験結果と評価基準

構築したネットワークについて次の 2 つの観点か ら評価した。

## 4.2.1 有用性

ネットワークに出現した単語がテーマキーワード の概念を理解するのに役に立つかという観点で評価 した．具体的な評価点を以下に示す.
- 出現した単語について, あまり知らなかった事柄を知れた場合や，キーワードの概念を知るう えで役に立つと判断した場合.

・それぞれが知っている単語であっても，ノード のリンクによって新たな情報が得られる場合,意外な関係性である場合.

以上の 2 点に該当する箇所を，それぞれのテーマ キーワードで計測した結果を表 1 に示す.

## 4.2.2 見やすさ

ネットワークの見やすい部分があるかという観点 で評価した。具体的な評価点を以下に示す.

・似た意味の単語が並んで出現していることによ り，見やすくなっている場合．情報がまとまっ ていると考えられる場合.

・似た意味の単語が並んでいることにより, 知 らなかった単語でも， web 検索等をして並んで いる単語が同じような意味であると判断した 場合.

以上の 2 点に該当する箇所を，それぞれのテーマ キーワードで計測した結果を表 2 に示す.表 1 各テーマキーワードと役に立つ単語の数

 &  \\

表 2 各テーマキーワードと似た意味の単語が並んで、見 やすくなっている部分の数

 &  \\

役に立つ単語:非核，憲法，ロシアとシリア 見やすくなっている部分:首脳と首相

図 4 従来手法によるネットワーク

表 1 より, 役に立つ単語の数の平均は, 従来手法の 3.15 個に対して, TF-IDF 合計值法が 3.25 個と 上回った.しかし, TF-IDF 最大值法は 3.05 個と下回った. また, 表 2 より, 見やすい部分の平均は,従来手法が 1.15 個であるのに対して，TF-IDF 合計值法が 3.05 個, TF-IDF 最大值法が 2.55 個といずれ も上回った.この結果より, TF-IDF 合計値法が有用性, 見やすさの観点からもっともよい方法である と考える。

また，構築したネットワークの一例として，テー マキーワードを「安全保障」として構築したネット ワークを以下に示す。従来手法によるネットワーク を図 4 に， TF-IDF 合計值法を用いたネットワーク を図 5 に， TF-IDF 最大值法を用いたネットワーク を図 6 にそれぞれ示す。また，それぞれの図の下に そのネットワークにおいて役に立つ単語と，似た意味の単語が並び見やすくなっている部分を列挙して いる.

## 5 おわりに

本研究では, 概念ネットワーク構築の際に Word2vecを利用した単語制約を用いて，似た意味 の単語を近くに配置し，ネットワークを見やすくす ることを目的とした。役に立つ単語の平均は，従来手法が 3.15 個で TF-IDF 合計值法が 3.25 個, TF-IDF 最大值法が 3.05 個と, 従来手法と比べても情報量が 減少することを抑え, 見やすい部分の平均は, 従来手法が 1.15 個に対して，TF-IDF 合計值法が 3.05 個, TF-IDF 最大值法が 2.55 個と，似た意味の単語が並 んで見やすくなっている部分は増えた。また，提案

役に立つ単語:非核，憲法

見やすくなっている部分:米国と中国と日本，首脳と首相， シリアとトルコ，締結と署名，ロシアとウクライナ

図 5 TF-IDF 合計值法を用いたネットワーク

役に立つ単語:非核，憲法

見やすくなっている部分:米国と中国と日本，首脳と大統領と首相, 合意と一致, 問題と課題

図 6 TF-IDF 最大值法を用いたネットワーク

手法のなかでは，TF-IDF 合計值法を用いたネット ワークのほうが，より見やすいネットワークを構築 していることが分かった.

## 参考文献

[1]大竹竜太, 村田真樹, 徳久雅人. 大規模テキストデータを 用いた社会構造ネットワークの自動抽出. 言語処理学会第 19 回年次大会発表論文集, pp. 798-801, 2013.

[2]土遠雄大. テキスト処理に基づく概念ネットワークの構築における無関連ノードの扱い. 鳥取大学卒業研究発表会論文, 2013.

[3]Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg S. Corrado, and Jeff Dean. Distributed representation of words and phrases and their compositionality. Advances in Neural Information Processing Systems 26, pp. 3111-3119.


# 日本語文章における Katz K Mixture Model の分析

服部 祥大 ${ }^{1}$ 吉田 光男 ${ }^{2}$ 梅村 恭司 ${ }^{1}$
1,2 豊橋技術科学大学 情報・知能工学系
 }^{1}$ hattori.shota.mu,umemura $\} @$ tut.jp
${ }^{2}$ yoshida@cs.tut.ac.jp

## 1 はじめに

文書中における語の繰り返し出現を表現するモデ ルとして，Katz K Mixture Model が存在する。このモ デルは，文章中に語がちょうど $k$ 回出現する確率を 推定することができる [1].

文章中における語の繰り返しは，語の持つ意味と 深く関わっていることが知られている。 ある文章に 語が 1 回以上出現した場合に，その文章に語が 2 回以上出現する条件付き確率は反復度と呼ばれ，固有名詞や専門用語，キーワードなどにおいて高くなる [2]. 更に，日本語のような語の境界の情報を持たな い言語においても，部分文字列の反復度を用いるこ とで語の境界を特定し，キーワード抽出を行うこと が可能である [3]. また，Katz K Mixture model にお ける語の再出現の条件付き確率が一定であるという 仮定をもとにして，条件付き確率が，繰り返しの回数に応じて単調増加しないものをテンプレートに使用される語句として抽出する試みも行われている [4].

これらの手法を利用するためには文書頻度を求 める必要がある. この文書頻度を効率的に計算する アルゴリズムが存在し，コーパス中のすべての部分文字列に対して文書頻度を求めることができる [5]. このアルゴリズムを用いることでコーパス中の語を 網羅的に調査することが可能となる.

Xu らは Katz K Mixture Model の仮定によって発生 する問題に対応することで，推定の精度が向上する ことを報告している [6]. この報告は英字新聞コー パスにおいて実験・観察を行った結果に基づいてお り, 日本語で同様の現象が生じるかは確認されてい ない。そのため，本論文では英字新聞コーパスにお いて確認された振る舞いが日本語コーパスにおいて も生じているかを確認し, 日本語においても同様の 改善が可能であるかを調査した結果を報告する.日本語では，英語と言語の構造が異なり，特に代名詞が使われることが少ないことから，語の繰り返 しの出現はより顕著であると考えられる．また，今回の実験では，コーパスに百科事典である Wikipedia を用いており，百科事典は特定の項目に対する説明 の集合である。そのため, 主題となりうる語の繰り 返しは，新聞よりも顕著になると考えられる。

この 2 点から, Wikipedia 日本語版における実験で は, 繰り返しが多いときに問題となる Katz K Mixture Model における仮定について，より考慮するべきで あると考えられる．本論文では，英字新聞の場合と 同じようにこの仮定が問題となることを確認した。

## 2 Katz K Mixture Model

Katz K Mixture Model は 3-way classification をもと に考案されている [1]. 3-way classification とはある 語に対して文章を

unrelated 語が出現せず，語と文章が関係ない non-topical 語が出現し，語が文章の主題ではない topical 語が出現し，語が文章の主題である

の 3 つに分類するもので，これらの文章の比率 が Katz K Mixture Model のパラメータとなる.ここ で，non-topical な文章と topical な文章の分類は，主題となる語は著者によって繰り返し用いられる という仮定をもとに，語が 1 回のみ出現する文章 が non-topical に分類され，複数回出現する文章は topical に分類される。また，topical な文章における 語の再出現の条件付き確率は一定であると仮定さ れ, モデル化される. このとき, non-topical の文書 を特別扱いしない，2 パラメータモデルも提案され ている.

Xu らは繰り返しの条件付き確率が一定値として 扱われることで，non-topical な文章において語が偶然に繰り返す場合が見落とされていると考え，再出現の条件付き確率について調査を行った。調査によ

り，形容詞や代名詞，接続詞などの機能語では上記 の仮定が成り立つが，固有名詞などの内容語では，語の繰り返しが多いほど再出現の条件付き確率は高 くなり，大きな出現数で安定する傾向にあることが 分かった. また，この結果を元にして語の出現回数 が少ない場合に対応する減衰係数と, 分布の末尾に 対応する減衰係数を組み合わせることで頻度推定の 精度が高まることが示された。

本論文で使用する記号の定義を以下に示す。これ らの記号は Xu らの論文に従っている。

 \\

以降は $w$ を省略して $c f や d f(k)$ のように表記を する。

Xu らの論文において Katz の 3 パラメータモデル は次の式で表されている.

$
\begin{aligned}
& P(t f(D)=k) \\
& =(1-\alpha) \delta_{k, 0}+\alpha \times(1-\gamma) \times \delta_{k, 1} \\
& \quad+\frac{\alpha \times \gamma}{\beta+1}\left(\frac{\beta}{\beta+1}\right)^{k-2} \times\left(1-\delta_{k, 0}-\delta_{k, 1}\right) \\
& \delta_{i, j}= \begin{cases}1 & \text { iff } i=j \\
0 & \text { otherwise }\end{cases}
\end{aligned}
$

パラメータは次の式で推定される.

$
\begin{aligned}
\hat{\alpha} & =\frac{d f(1)}{N} \\
\hat{\gamma} & =\frac{d f(2)}{d f(1)} \\
\hat{\beta} & =\frac{c f-d f(1)-d f(2)}{d f(2)}=\frac{c d f(3)}{d f(2)}
\end{aligned}
$

ここで

$
\frac{\beta}{\beta+1}=\frac{c d f(3)}{c d f(2)}
$

が topical な文章における再出現の条件付き確率とな り，この減衰係数に従って繰り返し回数が多くなる ほど語が丁度 $k$ 回出現する確率が減少していく。

2 パラメータモデルでは, その減衰係数は次の式 で表される.

$
\frac{\beta}{\beta+1}=\frac{c d f(2)}{c f}
$

## 3 実験

本論文の実験ではコーパスとして日本語 Wikipedia のダンプデータ（総記事数 $1,225,965$ 件） を使用し，本文の抽出には WikiExtractor.pyを用い た.また，長い文章が多い Wikipedia の本文をその まま使用すると語が偶然に繰り返すことが多く発生 し, 条件付き確率の分布の様子を確認することが難 しくなってしまったため, 本文の最初から 4 段落目 までを対象とすることで文章長の制限した.

$\mathrm{Xu}$ らと同じように条件付き確率を $P(k+1 \mid k), 1 \geq$ $k \geq 8$ において観察するため, 分析の対象とする語 は $d f(9) \geq 2$ かつ $d f(k+1) \neq d f(k)$ を満たすものと した.

## 3.1 機能語と内容語の分布の違い

機能語と内容語の間では，再出現の条件付き確率 の分布の様子が異なると，Xu らは報告している.日本語コーパスにおいても同様の特徴があるか確認 するため，いくつかの機能語と内容語について条件付き確率の分布を求めた. それぞれの分布を図 1 と 図 2 にプロットする.

Katz は，語が一回だけ使用されている non-topical な状態から，語が繰り返し使用される topical な状態 へと変化する確率が $P(2 \mid 1)$ であり $, P(k+1 \mid k), k \geq 2$ は topical な状態のときにどの程度の確率で, 語が 再度使われるかの確率であるとしている. 図 1 を確認すると，機能語では，分布の末尾部分が不安定に なっていることを無視すれば，殆どの語の条件付き

図 $1:$ 機能語の条件付き確率の分布

図 2: 内容語の条件付き確率の分布

確率がおおよそ $\mathrm{x}$ 軸に水平であり，Katz K Mixture Model の仮定に沿っているといえる。

図 2 の内容語では, $P(2 \mid 1)$ が $P(3 \mid 2)$ と比べて明 らかに小さいことが確認できる。 また， $P(3 \mid 2)$ と $P(4 \mid 3)$ を比較すると $P(4 \mid 3)$ の方が大きな値をとって おり, 出現回数 $k$ が増えるとともに, $P(k+1 \mid k)$ の值 が徐々に大きくなり，安定していくことが分かる. これは，繰り返し出現の回数が大きくなるほど，偶発的な再出現が減り, 主題となる再出現の影響が大 きくなるためである.この条件付き確率の振る舞い は Katz K Mixture Model における条件付き確率が一定値であるという仮定とは一致していない.

## 3.2 減衰係数と条件付き確率の比較

より詳しく内容語の条件付き確率の分布について 調査する. 142 個の内容語においてそれぞれのモデ ルの減衰係数と条件付き確率の平均値, 中央値, 第 1 ・第 3 四分位数を比較したグラフを図 3 に示す. す べての統計值において 3.1 で確認された結果と同様 に， $P(2 \mid 1)$ の確率が $P(k+1 \mid k), k \geq 2$ と比較してか なり小さいことが分かる。また，条件付き確率は繰
り返し回数に応じて大きくなっていき一定の值で落 ち着く傾向にあることが確認できる。これは，語の 繰り返し回数が少ない場合には偶然に語が繰り返す ことの影響が残っており, 繰り返し回数が多くなる ほどに主題に関連した繰り返しの影響が大きくなっ ていくことが理由であると考えられる。ここで，2 パラメータモデルの減衰係数である $c d f(2) / c f$ を条件付き確率と比較すると $P(k+1 \mid k), k \geq 2$ はこのモ デルにおいて実際の値よりも小さく見積もられてい ることがわかる．同様に 3 パラメータモデルの減衰係数である $c d f(3) / c d f(2)$ においては $P(3 \mid 2)$ が過大 に見積もられる一方で， $P(k+1 \mid k), k \geq 3$ が実際の値 よりも小さく見積もられている.

それぞれの語に対する減衰係数と $P(2 \mid 1), P(3 \mid 2)$ の比較をを図 4 にプロットする．殆どの語におい て $d f(3) / d f(2)$ が， $c d f(2) / c f$ と $c d f(3) / c d f(2)$ の間 に存在することが確認でき，日本語においても Katz の 3 パラメータモデルは繰り返しの確率 $P(3 \mid 2)$ を高 く見積もり過ぎているということが示された。

Xu らは，特に $P(3 \mid 2)$ について， un-topical な状態 と topical な状態の双方の影響を受けているとして， $\mathrm{k}$ に応じて減衰係数が変化するモデルを構築する ことでより実際の分布に近いモデルを作成した [6].

## 4 おわりに

本論文では，日本語において Xu らが提案したモ デルを Katz K Mixture Model の代替として使用する ことが適当であるか検討した。

結果から，日本語においても語の再出現確率が実際の値よりも高く見積もられる問題が存在すること が確認され，Xu らが提案したモデルによって，推定精度の改善が見込めることがわかった。

これから，日本語において Xu らのモデルを用い ることで精度の改善が実際に行えるかなどを調査し たい.

(a) 平均値

(c) 第 1 四分位数

(b) 中央値

(d) 第 3 四分位数

図 3: 条件付き確率 $P(k+1 \mid k)$ の統計值と減衰率の比較

図 4: 語ごとの条件付き確率と減衰率の比較

## 参考文献

[1] SLAVA M. KATZ. Distribution of content words and phrases in text and language modelling. Natural Language Engineering, Vol. 2, No. 1, p. 15-59, 1996.

[2] Kenneth W. Church. Empirical estimates of adaptation: The chance of two noriegas is closer to $p / 2$ than $p^{2}$. In $C O L-$ ING 2000 Volume 1: The 18th International Conference on Computational Linguistics, 2000.

[3] 武田善行, 梅村恭司. キーワード抽出を実現する文書頻度分析. 情報処理学会研究報告. NL, 自然言語処理研究会報告, Vol. 146, pp. 27-32, 2001.

[4] 藤原大輔, 高瀬暁央, 梅村恭司. テンプレートを構成す る名詞の Katz モデルによる抽出の試み. 情報処理学会研究報告, 2007-NL-180, No. 25, pp. 145-149.

[5] Kyoji Umemura and Kenneth Church. Substring Statistics. In Computational Linguistics and Intelligent Text Processing, pp. 53-71, 2009.

[6] Yinghui Xu and Kyoji Umemura. Improvements of katz k mixture model. Journal of Information Processing, Vol. 12, pp. 131-155, 2005.


# キャプション生成時低品質データ事前検知の試み

大畑和也 ${ }^{\dagger}$ 長澤駿太 $\ddagger$ 北田俊輔 $\ddagger$ 彌冨仁
$\dagger$ 法政大学 理工学部 応用情報工学科
†法政大学 大学院 理工学研究科応用情報工学専攻
\{kazuya.ohata.2b@stu., iyatomi@\}hosei.ac.jp
\{shunta.nagasawa.2u, shunsuke.kitada.8y\}@stu.hosei.ac.jp

## 概要

視覚障がい者支援は画像キャプション生成タスク の効果的な応用の 1 つである。しかしながら、従来研究の多くは一般物体認識用途の対象物が明瞭に 写っている高画質の画像データを学習に用いてお り、実用的な研究は発展途上である。近年、視覚障 がい者支援を目的とし、障がい者自身の撮影による VizWiz Image Caption Dataset が発表されたが、ブレ や見切れなどにより適切なキャプション生成が困難 な画像が少なくない。被支援者は利用時に生成キャ プションの妥当性が判断できないため、不適切な キャプションは大変不都合となる。我々は、適切な キャプション生成が困難な画像に対し利用者に再度撮影を促すことが実用上重要と考え、事前検知の可能性について検証した。本稿では、最先端のキャプ ション生成手法である AoANet が適切なキャプショ ンを生成できない画像の事前検出を試みた。最先端手法を含む様々な深層学習モデルによる検証を行っ たが、現時点ではこうした画像の事前検出は画像の みでは容易でないことが分かった。

## 1 はじめに

画像キャプション生成は、モデルに画像内の物体 の関係性を学習させ、人間が理解可能な自然言語の 形で出力するタスクであり、テキストベースの画像検索や、視覚障がいを持つ人への支援など幅広い 応用が考えられる。近年では深層学習を元にした 画像キャプション生成の研究が盛んに取り組まれ ており、Vinyals ら [1]が提唱した convolutional neural network (CNN) と long short-term memory (LSTM) [2] を使用したモデルが優れた性能を示し、類似する手法が多く用いられてきた。最近では注意機構を利用 したモデルが成功を収めており、 Huang ら [3] は注意機構の着目箇所が適切かを測ることでより有用な情報を得る Attention on attention network (AoANet) モ デルを提案した。AoANet は、一般物体検出や認識 タスクの他、画像キャプション生成研究によく利用 されている MSCOCO データセット [4]を元にした キャプション生成において他の多くのモデルを上回 る最先端の成果を実現している。MSCOCO データ セットは、物体や人間の行動が画像中に大きく映っ ている上、光源等の撮影環境も適切な画像で構成 されており、一般物体検出・認識タスクの他、画像 キャプション生成の研究によく利用されている。

画像キャプション生成の視覚障がい者支援の応用として、深層学習を元にした歩道上での安全ナビ ゲーションシステムの構築が提案されている [5]。 このシステムでは解析対象の画像が、影などの光源 の影響や回転している場合に性能が著しく低下する ことが報告されており、それら撮影状況を考慮した データセットの利用などが必要である。

視覚障がい者支援の実応用を見据えた深層学習モ デルの学習のために、VizWiz データセット [6] が公開されている。これは視覚障がい者が撮影した画像 をもとにキャプションがアノテーションされてお り、実際に近い環境の画像群が得られるが、画像中 のブレやボケといった必ずしも画像の品質が良いと は言えないデータが含まれている。こうした品質の 優れない画像から適切なキャプションを生成するこ とは一般的に難しく、また、視覚障がい者ナビゲー ションシステムのような応用例では、誤った推論が 事故に繋がる恐れがある。

本研究では視覚障がい者の支援を目的に、解析対象画像が、キャプション生成に適しているかを画像識別により事前判断できるかについて検証する。不適切画像と事前に判断できれば、システム利用者に 画像の再取得を促せるため実用上大変有意義であ る。本研究では最先端の性能を記録している画像 キャプションモデル AoANet [3]を利用し、まず一般

(a) $\mathrm{MSCOCO}$

(b) VizWiz図 1: MSCOCO と VizWiz の違い

的な画像キャプションモデルの学習に用いられてい る MSCOCO データセットと、実世界の障がい者支援を目的とした VizWiz データセットの差について、比較および議論する。その後、画像のみからの高精度なキャプション生成の可否の予測について、近年高いスコアを記録している複数の先端的な画像認識 モデルを用いて検証する。

## 2 MSCOCO と VizWiz データセット

本検証ではまず最先端のキャプション手法の 1 つ である AoANet [3] を用い、画像キャプションモデ ルの学習に広く用いられている MSCOCO [4] デー タセットと実世界の障がい者支援を目的とした VizWiz [6] データセットについて、キャプション生成の難易度の差の観点から比較した。

## 2.1 データセットの比較

図 1 に MSCOCO と VizWiz の画像の違いを示す。

MSCOCO MSCOCO [4] は Flickr 上の画像から複数の物体がはっきりと写った画像から構成され るデータセットである。 MSCOCO には一枚の画像に 1 から 5 つ程度のキャプションが付随し、 MSCOCO2014 では学習用に 82,783 枚、検証用に 40,504 枚の画像が含まれている。

VizWiz VizWiz [6] は2 2 示すように画像に欠陥 がないものの他にはボケ、見切れ、明暗の差が激し い、対象が不明膫、回転のような特徴を持つ画像が 含まれており、上記の MSCOCO と比べタスクの難易度が高いとされるデータセットである。VizWiz においても MSCOCO と同様に 1 枚の画像に複数 キャプションが付随しており、学習用に 23,431 枚、検証用に 7,750 枚の画像が含まれている。

図 2: VizWiz データセットの低品質画像の例

図 3: MSCOCO [4] と VizWiz [6] 検証データの CIDEr スコア分布

## 2.2 キャプション生成性能の比較

AoANet は、注意機構により抽出した画像中の重要な領域の情報を元に、良好なキャプションを生成可能な技術である。図 3でこのモデルの推論により 得られた文章を、画像キャプション生成の評価指標 である CIDEr スコア [7]を用いて評価し、VizWiz お よび MSCOCO データセットによる分布の違いを比較した。

VizWiz (平均 CIDEr スコア 53.6) ではスコアの低 いキャプションが生成される割合が MSCOCO (平均 CIDEr スコア 127.2) と比較して高かった。図 4 に低 スコアとなる画像とキャプションの例を示す。カレ ンダーを PC のモニターと推論するといった見当違 いの結果を予測している、0から10にかけてのスコ アを記録するものの割合が最も多くなった。

## 3 キャプション不適画像の事前検出

本研究は視覚障がい者支援のため、VizWizデータ セットで学習した AoANetが生成するキャプション の妥当性を画像のみから予測可能かを検証する。本枠組みの全体像を図 5 に示す。具体的には、近年優

図 4: 低スコアとなる画像と正解キャプション、推論キャプションの例

図 5: 提案するキャプション生成時低品質データ事前検出システムの全体像

れた画像認識能が報告されている複数の深層学習モ デルを利用し、AoANetが生成するキャプションの CIDEr スコアが低い画像つまりキャプション不適画像を検出することを目的とする。

不適画像の推定に用いた画像認識モデルは以下の 6 種類及び、比較のためにランダム推定を用いた。

1. ImageNet [8] 事前学習済みの ResNeXt50 [9]

2. Instagram 事前学習済み ResNeXt101 [10]

3. ImageNet $21 k$ 事前学習済み ResNet50

4. ImageNet21k 事前学習済み ResNet50 (高解像度版)

5. ImageNet21k 事前学習済み VisionTransformer (ViT) base [11]

6. ImageNet21k 事前学習済み VisionTransformer (ViT) large [11]

7. ランダムに検出対象ラベルとする推定

## 4 実験

## 4.1 実験詳細

評価用データセット キャプション不適画像を判断する深層学習モデルを学習させるために、VizWiz の検証用データセット (7,750 枚) に対して AoANet が推定したキャプションの CIDEr スコアに基づき、高スコアクラス (high score 群) と低スコアクラス (low score 群) のラベルを生成した。これらの生成結果に対して、学習用: 検証用 $=8: 2$ に分割した。

前処理とデータ拡張 前処理として画像を事前学習済みモデルの入力サイズと一致するようにリサイ ズした。その後 ImageNet の RGB の平均值と標準偏差を用いて画像の正規化を施した。データ拡張とし てランダムに画像を左右反転させる水平反転、およ び画像を $-30^{\circ} \sim 30^{\circ}$ の間で回転させた。

学習と評価 学習時には、誤差関数には交差エン トロピー誤差を利用し、学習回数は 100 エポックと した。評価指標には、precision、recall、F1を用いた。

## 4.2 モデル比較による実験

本実験では、図 3 のスコア分布より、CIDEr スコ アが下位約 $35 \%$ を占める 20 以下の画像を対象とし、低品質クラスとしてそれらの検出を試みた。表 1 に 低スコアクラス画像の検出能結果を示す。今回の実験では ResNeXt50 が一番高い結果を示したが、最先端のViT モデルを含めいずれのモデルも適切な検出 が行えていない結果となった。なお、モデルの特性 の違いを明らかにするために結果は precision, recall のバランス調整のための閾値調整などは行わず、モ デルの出力そのままに基づく結果を記載した。また ViT large 以外のモデルにおいて、学習データに対し ては推定精度が十分に高いが、検証データの場合に 大幅に下がってしまう過学習が見られた。

## 5 考察

本実験においては、先端的な画像識別手法を使用 してもキャプション生成が難しい低スコア画像の 検出能は低く、単純なランダム推定と同様かそれ以下の結果しか得られなかった。入力される画像が光源の影響を強く受けていたり、ボケていたりする場合などの根本的な悪条件画像の場合、適切なキャプ ション生成は望めず、CIDEr スコアは大幅に低下す る傾向にある。本実験ではこうした画像の検出が期待されたが、実験結果に掲載していない、より浅い ネットワークも含めて成果は得られなかった。その
表 1: 異なるモデルを用いた入力画像に対する品質判断結果の比較

$\dagger$ 期待値

理由として光源やボケの影響で本来認識すべき物体 を別のものと認識してしまったことが原因として挙 げられる。また、物体が見切れている画像では全体 が写っていないために正しく認識できなかったと考 えられる。

## 6 結論

本稿では VizWiz Image Caption Dataset を用い推論時に低スコアとなってしまう入力画像事前検出の 提案と調査を行なった。様々な先端モデルの適用や データ拡張手法を適用したが、本実験の範囲におい ては、効果的な結果は得られなかった。学習時に多 くのモデルにおいて過学習が確認されたため、より 多くの学習画像の導入を検討するとともに今後も有効なデータ拡張の手法を探すなど、検出精度を高く する研究を続けていきたい。

## 参考文献

[1] Oriol Vinyals, Alexander Toshev, Samy Bengio, and Dumitru Erhan. Show and tell: A neural image caption generator. In Proc. of the IEEE conference on computer vision and pattern recognition, pp. 31563164, 2015.

[2] Sepp Hochreiter and Jürgen Schmidhuber. Long short-term memory. Neural computation, Vol. 9, No. 8, pp. 1735-1780, 1997.

[3] Lun Huang, Wenmin Wang, Jie Chen, and XiaoYong Wei. Attention on attention for image captioning. In Proc. of the IEEE International Conference on Computer Vision, pp. 4634-4643, 2019.

[4] Tsung-Yi Lin, Michael Maire, Serge Belongie, James Hays, Pietro Perona, Deva Ramanan, Piotr
Dollár, and C Lawrence Zitnick. Microsoft coco: Common objects in context. In Proc. of the European conference on computer vision, pp. 740-755. Springer, 2014.

[5] Faruk Ahmed, Md Sultan Mahmud, Rakib AlFahad, Shahinur Alam, and Mohammed Yeasin. Image captioning for ambient awareness on a sidewalk. In 2018 1st International Conference on Data Intelligence and Security (ICDIS), pp. 85-91. IEEE, 2018.

[6] Danna Gurari, Yinan Zhao, Meng Zhang, and Nilavra Bhattacharya. Captioning images taken by people who are blind. In Proc. of the European conference on computer vision, pp. 417-434. Springer, 2020.

[7] Ramakrishna Vedantam, C Lawrence Zitnick, and Devi Parikh. Cider: Consensus-based image description evaluation. In Proc. of the IEEE conference on computer vision and pattern recognition, pp. 4566-4575, 2015.

[8] Jia Deng, Wei Dong, Richard Socher, Li-Jia Li, Kai $\mathrm{Li}$, and $\mathrm{Li}$ Fei-Fei. Imagenet: A large-scale hierarchical image database. In Proc. of the IEEE conference on computer vision and pattern recognition, pp. 248-255. Ieee, 2009.

[9] Saining Xie, Ross Girshick, Piotr Dollár, Zhuowen Tu, and Kaiming He. Aggregated residual transformations for deep neural networks. In Proc. of the IEEE conference on computer vision and pattern recognition, pp. 1492-1500, 2017.

[10] Dhruv Mahajan, Ross Girshick, Vignesh Ramanathan, Kaiming He, Manohar Paluri, Yixuan Li, Ashwin Bharambe, and Laurens van der Maaten. Exploring the limits of weakly supervised pretraining. In Proc. of the European Conference on Computer Vision (ECCV), pp. 181-196, 2018.

[11] Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner, Mostafa Dehghani, Matthias Minderer, Georg Heigold, Sylvain Gelly, et al. An image is worth $16 \times 16$ words: Transformers for image recognition at scale. CoRR preprint arXiv:2010.11929, 2020.


# マルチタスク学習を用いた系列変換タスクの品質推定

喜友名朝視顕吉村 綾馬 金子正弘 小町守
東京都立大学
\{kiyuna-tomoshige,yoshimura-ryoma, kaneko-masahiro\}@ed.tmu.ac.jp,
komachi@tmu.ac.jp

## 1 はじめに

品質推定（Quality Estimation: QE）の目的は，人手 による参照文を利用せず，タスクに応じて設計され た評価項目に対して，システムの出力文を自動評価 することである． QE の性能は，人手評価との相関係数で評価するのが一般的である．QE の手法とし て，人手評価値付きのデータセットを用いて人手評価値に最適化する教師あり手法があり，高い性能を 示している $[1,2]$. しかし一般に, 教師あり手法で 用いるデータセットの作成には多大なコストが必要 であるため，表 1 に示すように，学習に利用できる データセットのサイズが小さいという問題がある. そのため，モデルの性能は，ドメインやデータセッ トに対して一貫性がない $[10]^{1}$.

本研究では，この問題に取り組むために，複数の タスクの $\mathrm{QE}$ のデータセットを用いるマルチタスク 学習手法として，3種類の方法を提案した：(1) 1つ のタスクのすべての評価項目のデータを用いる手法，(2) すべてのタスクのすべての評価項目のデー タを用いる手法, (3) 複数のタスクの同じ評価項目 のデータのみを用いる手法.

複数の系列変換タスク（文法誤り訂正，言い換え 生成，テキスト平易化，スタイル変換）の $\mathrm{QE}$ で実験を行い，学習時のドメイン（in-domain）に加え，学習時と異なるドメイン (out-of-domain) でメタ評価を行った結果，多くのタスクと評価項目の組につ いて，マルチタスク学習により性能が向上した. 特 に，訓練データのサイズが小さいテキスト平易化 の文法性および意味保存性に関する $\mathrm{QE}$ において， in-domain と out-of-domain $の$ 両方で大幅に性能が向上した。一方，性能が最も良い手法は，評価項目に より異なることがわかった。

1） ニュースやフォーラムといったトピックの違いだけでなく,出力したシステムの違いも含めてドメインと呼ぶ.

## 2 関連研究

## 2.1 系列変換タスクの QE

$\mathrm{QE}$ の教師あり手法で用いるデータセット（表 1） にはそれぞれ，いくつかの評価項目に関する人手評価値が付いている。その評価項目は，タスクに固有のものと，タスク間で共通しているものがある. Yamshchikov と Shibaev [6] は，言い換え生成とスタ イル変換強度の 2 つのタスクに共通している意味保存性に関して, 13 種類の自動評価尺度を調査した。

文法誤り訂正における人手評価值付きデータセッ 卜を用いた文法性の QE 手法は，Napoles ら [11] が 提案している. Yoshimura ら [12] は，文法性だけで なく流暢性や意味保存性の 3 項目の人手評価付き データセットを作成した. 大量のラベルなしデータ を使って事前学習された BERT [13] を用いて，各評価項目について，人手評価に最適化する教師あり学習を行った。

これまでの研究では単一タスクの単一の評価項目 についての人手評価値のみを用いているのに対し，本研究では, 複数の評価項目あるいは複数のタスク のデータセットを用いて，人手評価に最適化する教師あり手法を提案する. また，本研究でも事前学習 モデルされた BERTを用いる.

機械翻訳タスクも系列変換タスクの一つである.機械翻訳タスクの $\mathrm{QE}$ の場合，原文とシステムの出力文を入力するが，これらは言語が異なる. 本研究 では，入力を単一言語（英語）に揃えるため，機械翻訳タスクの人手評価値付きのデータセットは除外 した.

## 2.2 マルチタスク学習

Liu ら [14] は, 事前学習モデルとマルチタスク学習 を用いる，Multi-Task Deep Neural Network (MT-DNN) を提案し，自然言語理解タスクで実験を行い性能が

向上することを示した. また，ドメイン適応の実験 を行い，学習済みの MT-DNN は学習済みの BERT よりも少量のデータで高い性能に達することを示 した.

自然言語理解タスクの GLUEベンチマーク [15] は 9つのタスクから成る. そのうち，3つは文対が意味的に等価であるかを判定するタスクであり，4つ は自然言語推論タスクである。 Liu らは GLUE ベン チマークについて，タスクの情報を考慮せずすべて のデータを用いて共通のモデルを作成した。一方，本研究では複数の系列変換タスクの $\mathrm{QE}$ について， すべてのデータを用いる手法の他に，タスクまたは 評価項目が同じデータのみを用いる手法を提案す る。共通点のあるデータを明示的に選択すること で，タスク間または評価項目間に共通する特徴に着目しやすくなり精度が向上することが期待できる。

## 3 QE のためのマルチタスク学習

本研究では， $\mathrm{QE}$ のための，複数の評価項目ある いは複数のタスクのデータセットを用いるマルチタ スク学習手法として，次の 3 つを提案する。

・単一のタスクの，すべての評価項目のラべ ルを用いてマルチタスク学習を行う手法 (single-task, multi-aspect: mlt-aspect)

$\cdot$すべてのタスクの，単一の評価項目のラベル のみを用いてマルチタスク学習を行う手法 (multi-task, single-aspect: mlt-task)

・すべてのタスクの，すべての評価項目のラ ベルを用いてマルチタスク学習を行う手法 (multi-task, multi-aspect: all)

複数のデータセットを用いて学習を行うため，モ デルには，マルチタスク学習を行う MT-DNN [14]を 用いる. マルチタスク学習にはいくつかの手法があ るが，MT-DNN は一般的に用いられている [16] ハー ドパラメータ共有 [17] による手法を採用している. ハードパラメータ共有の場合，モデルは図 1 に示す ように，タスク間で共有される層とタスク固有の出

図 1 MT-DNN の概略図.

力層に分けられる。一部の層を共有し，複数のタス クに対して同じパラメータを使うことで，タスク間 で共通する特徴に着目することができるようにな り，特定のタスクに過学習しにくくなる。

モデルの入力 $X$ は，先頭に入力の先頭を表す特殊 トークン，各文の末尾に文の区切りを表す特殊トー クンを追加して，各文を連結した系列である，入力 が 1 文の場合も同様である。

$\Theta$ を MT-DNNの学習パラメータ， $\Theta_{\text {shared }} \subset \Theta を タ$ スク間で共有される層の学習パラメータとする，夕 スク間で共有される層は文符号化器 $\operatorname{Enc}\left(\cdot ; \Theta_{\text {shared }}\right)$ で ある. 文符号化器 $\operatorname{Enc}\left(\cdot ; \Theta_{\text {shared }}\right)$ は, 入力 $X$ に対し,文脈埋め込みべクトル $\operatorname{Enc}\left(X ; \Theta_{\text {shared }}\right)$ として, 入力 の先頭を表す特殊トークンの文脈埋め込みべクトル を返す、タスク $t$ の出力層は，タスク $t$ の入力 $X_{t}$ の 文脈埋め込みべクトル $\operatorname{Enc}\left(X_{t} ; \Theta_{\text {shared }}\right)$ に対し, 評価値 $\operatorname{Score}_{t}\left(X_{t} ; \Theta_{t}\right)^{2)}$ として，タスク固有のパラメータ ベクトル $\boldsymbol{w}_{t}$ との内積を返す：

$
\operatorname{Score}_{t}\left(X_{t} ; \Theta_{t}\right)=\boldsymbol{w}_{t}^{\mathrm{T}} \cdot \operatorname{Enc}\left(X_{t} ; \Theta_{\text {shared }}\right) .
$

ただし， $\Theta_{t}$ は $\Theta_{\text {shared }} \cup w_{t}$ である.

ミニバッチ確率的勾配法を用いて，単一タスク $t$ のミニバッチ $b_{t}$ ごとにモデルのパラメータ $\Theta_{t}$ を更

2) 簡単のため, $\operatorname{Score}_{t}\left(\operatorname{Enc}\left(X_{t} ; \Theta_{\text {shared }}\right) ; \Theta_{t}\right)$ を $\operatorname{Score}_{t}\left(X_{t} ; \Theta_{t}\right)$ と 表記する。
新する.これにより，モデルは各タスクの目的関数 の合計におおよそ最適化される. タスク $t$ の目的関数 $L_{t}\left(\Theta_{t}\right)$ は，データセットに付いている人手評価值 $y_{t}$ と, モデルの推定値 $\operatorname{Score}_{t}\left(X_{t} ; \Theta_{t}\right)$ との二乗誤差である：

$
L_{t}\left(\Theta_{t}\right)=\frac{1}{\left|b_{t}\right|} \sum_{\left(X_{t}, y_{t}\right) \in b_{t}}\left(y_{t}-\operatorname{Score}_{t}\left(X_{t} ; \Theta_{t}\right)\right)^{2}
$

あるタスクと評価項目の組を，MT-DNNにおける 1つのタスクとみなし, QE のためのマルチタスク学習を行う. 以下の 2 段階で学習を行い，文または文対から対応する評価項目の評価値を推定する回帰モ デルを作成する.

1. 文符号化器 $\operatorname{Enc}\left(\cdot ; \Theta_{\text {shared }}\right)$ を BERT [13] などの 事前学習済みモデルで初期化し, 目的関数 $\sum_{t \in T} \sum_{b_{t} \in B_{t}} L_{t}\left(\Theta_{t}\right)$ に従い, 学習を行う.
2. 1 で作成したモデルに対して, 目的関数 $\sum_{b_{t^{\prime}} \in B_{t^{\prime}}} L_{t^{\prime}}\left(\Theta_{t^{\prime}}\right)$ に従い，再学習を行う.

ただし， $T$ は学習に用いるタスクの集合， $B_{t}$ はタス ク $t$ のミニバッチの集合， $t^{\prime}$ は目的のタスク（主タ スク）である.

## 4 評価実験

## 4.1 実験設定

本実験では， 4 種類の系列変換タスクの，人手評価值が付いているデータセットを用いて，マルチタ スク学習による $\mathrm{QE}$ の有効性を検証する. 各データ セットの評価項目と, 文または文対の数は表 1 のと おりである。また，評価項目が同じでも，タスクに より評価値の範囲が異なる. 各データセットの詳細 は付録 $\mathrm{A}$ を参照. モデルの入力は, 文法誤り訂正の ときは文，その他のタスクのときは文対とする。

MT-DNN は，著者らによって公開されている実装3)を用いた. モデルの詳細は付録 $\mathrm{B}$ を参照.

各手法の性能の評価（メタ評価）には，人手評価值とのピアソンの積率相関係数を用いる. 文法誤り 訂正の out-of-domain はシステム単位，その他は文単位で評価を行う。

## 4.2 比較手法

初期化済みの MT-DNNに対し，単一のタスク，単一の評価項目のラベルのみを用いて fine-tuningを行 うベースライン手法 (single-task, single-aspect: sgl)

と提案手法を比較する。

## 4.3 実験結果

表 2 に各評価項目ごとの実験結果を示す. 言い換 え生成の意味保存性とテキスト平易化の平易性を除 くすべてのタスクと評価項目の組において， mlt-task または all が最も高い性能を示した. 特に, 訓練デー タのサイズが最も小さいテキスト平易化の文法性ま たは意味保存性に関して，大幅な改善が見られた。 このことは，複数の評価項目あるいは複数のタスク のデータセットを用いるマルチタスク学習が $\mathrm{QE}$ に 有用であることを示唆しており，マルチタスク学習 が低リソース問題の解決に役立つことがわかる.

大幅な改善が見られたテキスト平易化の out-ofdomain における，人手評価値（human）と各手法に よる評価値を表 3 に示す. 文法性と意味保存性につ いては，人手評価との相関係数が高い手法ほど，モ デルによる評価値と人手評価値との差が小さいこ とがわかる. 文法性では, mlt-task が human と最も 近く, 意味保存性では, mlt-task や all が human と近 い. 平易性については，システムの出力をあまり正 しく評価できていないことがわかる.

## 5 考察

マルチタスク学習の有効性が確認できたタスクと 評価項目の組. テキスト平易化の意味保存性と, スタイル変換の意味保存性およびスタイル変換強度 では, all が最も良く, 各タスクの文法性は mlt-task が最も高い性能を示した. これらは, 複数のドメイ ンやデータセットを用いたことによる，学習に利用可能な言語表現の増加が直接，性能の改善に結びつ いた結果であると考えられる。

文法性に関しては，mlt-aspect は sgl より性能が高 いことから，文法性以外の評価項目のデータを用 いた場合のマルチタスク学習の有効性は示されて いる.しかし, all は mlt-taskより性能が低い。これ は，言い換え生成のデータセットの訓練データの量 が最も多いことを考慮すると, all により意味保存性 が支配的になったことが要因の 1 つであると考えら れる. その場合, 補助タスクのデータセットの量を 調整したり, 補助タスクの損失を小さくしたりする 必要があるだろう. スタイル変換強度で all の性能 が最も高いという実験結果は, スタイル変換強度も 文法ではなく意味を扱う評価項目であることから， all は意味保存性が支配的であるという仮説と整合
表 2 各評価手法の各評価項目の評価值と人手評価との相関係数. 開発データにおけるピアソンの積率相関係数の上位 10 個の平均値.

表 3 テキスト平易化の out-of-domain における各評価項目の人手評価および各手法による評価値. 赤字は原文とシステ ム出力の差分を示す. 評価値は human / sgl / mlt-aspect / mlt-task / all の順である.

 \\
システムの出力  \\

such attempt to tackle the fallout of a property crash fell short of expectations. \\
システムの出力 Spain 's government tried to plug. The fourth such attempt fell short.

文法性 2 / 1.93 / 1.84 / 1.95 / 1.76 意味保存性 1 / 1.90 / 1.52 / 1.42 / 1.38 平易性 $1 / 3.10$ /2.84 / - 3.14

する.

マルチタスク学習の有効性が確認できなかった タスクと評価項目の組. 言い換え生成の意味保存性，テキスト平易化の平易性では，マルチタスク学習の有効性が示せなかった. 言い換え生成の意味保存性については，主タスクの訓練データのサイズが 大きく，本実験で用いた補助タスクが悪影響を及ぼ した可能性がある. テキスト平易化の平易性につい ては，平易性以外の評価項目の量を増やすと性能が 悪化していることから，平易性以外の評価項目の データを活用することは難しいと言える.

## 6 おわりに

本研究では，系列変換タスクの $\mathrm{QE}$ に取り組み, マルチタスク学習手法を3つ提案した. 4 つのタス クのデータセットを用いた実験の結果，多くのタス
クと評価項目の組について，マルチタスク学習によ り性能が向上した．特に，訓練データのサイズが小 さいテキスト平易化の文法性および意味保存性に関 する $\mathrm{QE}$ いいて，大幅に性能が向上した. 一方で， 3つの手法はいずれも，言い換え生成の意味保存性 とテキスト平易化の平易性では改善が見られなかっ た。また，性能が最も良い手法は，評価項目により 異なることがわかった.

今後は，提案手法が全体的な改善に至らない要因 を分析し，また，内積が負となる勾配を射影する手法 [18] や，入力の先頭にタスクと評価項目を区別す る特殊トークンを追加し出力層を一つにする手法 [19] などを行いたいと考えている.

## 参考文献

[1] 嶋中宏希, 梶原智之, 小町守. 事前学習された文の分散表現を用いた機械翻訳の自動評価. 自然言語処理, Vol. 26, No. 3, pp. 613-634, 2019.

[2] Elizaveta Yankovskaya, Andre Tättar, and Mark Fishel. Quality estimation and translation metrics via pre-trained word and sentence embeddings. In Proceedings of WMT, pp. 101-105, 2019.

[3] Michael Heilman, Aoife Cahill, Nitin Madnani, Melissa Lopez, Matthew Mulholland, and Joel Tetreault. Predicting grammaticality on an ordinal scale. In Proceedings of ACL, pp. 174-180, 2014.

[4] Roman Grundkiewicz, Marcin Junczys-Dowmunt, and Edward Gillian. Human evaluation of grammatical error correction systems. In Proceedings of EMNLP, pp. 461-470, 2015.

[5] Daniel Cer, Mona Diab, Eneko Agirre, Iñigo LopezGazpio, and Lucia Specia. SemEval-2017 task 1: Semantic textual similarity multilingual and crosslingual focused evaluation. In Proceedings of SemEval, pp. 1-14, 2017.

[6] Ivan P. Yamshchikov, Viacheslav Shibaev, Nikolay Khlebnikov, and Alexey Tikhonov. Style-transfer and paraphrase: Looking for a sensible semantic similarity metric. arXiv:2004.05001, 2020.

[7] Sanja Štajner, Maja Popović, Horacio Saggion, Lucia Specia, and Mark Fishel. Shared task on quality assessment for text simplification. In Proceeding of QATS, pp. 22-31, 2016.

[8] Goran Glavaš and Sanja Štajner. Event-centered simplification of news stories. In Proceedings of RANLP, pp. 71-78, 2013

[9] Remi Mir, Bjarke Felbo, Nick Obradovich, and Iyad Rahwan. Evaluating style transfer for text. In Proceedings of NAACL, pp. 495-504, 2019.

[10] Marina Fomicheva, Shuo Sun, Lisa Yankovskaya, Frédéric Blain, Francisco Guzmán, Mark Fishel, Nikolaos Aletras, Vishrav Chaudhary, and Lucia Specia. Unsupervised quality estimation for neural machine translation. TACL, Vol. 8, pp. 539-555, 2020.

[11] Keisuke Sakaguchi, Courtney Napoles, Matt Post, and Joel Tetreault. Reassessing the goals of grammatical error correction: Fluency instead of grammaticality. TACL, Vol. 4, pp. 169-182, 2016.

[12] Ryoma Yoshimura, Masahiro Kaneko, Tomoyuki Kajiwara, and Mamoru Komachi. SOME: Reference-less submetrics optimized for manual evaluations of grammatical error correction. In Proceedings of COLING, pp. 65166522, 2020.

[13] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of NAACL, pp. 4171-4186, 2019.

[14] Xiaodong Liu, Pengcheng He, Weizhu Chen, and Jianfeng Gao. Multi-task deep neural networks for natural language understanding. In Proceedings of ACL, pp. 4487-4496, 2019.

[15] Alex Wang, Amanpreet Singh, Julian Michael, Felix Hill,
Omer Levy, and Samuel Bowman. GLUE: A multi-task benchmark and analysis platform for natural language understanding. In Proceedings of BlackboxNLP, pp. 353355,2018

[16] Sebastian Ruder. An overview of multi-task learning in deep neural networks. arXiv:1706.05098, 2017.

[17] Rich Caruana. Multitask learning: A knowledge-based source of inductive bias. In Proceedings of ICML, p. 41-48, 1993.

[18] Tianhe Yu, Saurabh Kumar, Abhishek Gupta, Sergey Levine, Karol Hausman, and Chelsea Finn. Gradient surgery for multi-task learning. arXiv:2001.06782, 2020.

[19] Melvin Johnson, Mike Schuster, Quoc V. Le, Maxim Krikun, Yonghui Wu, Zhifeng Chen, Nikhil Thorat, Fernanda Viégas, Martin Wattenberg, Greg Corrado, Macduff Hughes, and Jeffrey Dean. Google's multilingual neural machine translation system: Enabling zero-shot translation. TACL, Vol. 5, pp. 339-351, 2017.

[20] Hwee Tou Ng, Siew Mei Wu, Ted Briscoe, Christian Hadiwinoto, Raymond Hendy Susanto, and Christopher Bryant. The CoNLL-2014 shared task on grammatical error correction. In Proceedings of CoNLL, pp. 1-14, 2014.

[21] Ralf Herbrich, Tom Minka, and Thore Graepel. TrueSkill ${ }^{\mathrm{TM}}$ : A Bayesian skill rating system. In B. Schölkopf, J. C. Platt, and T. Hoffman, editors, NIPS, pp. 569-576. 2007.

## A データセット

文法誤り訂正 in-domain のデータセットは，GUG (“Grammatical” versus “Un-Grammatical” ) データセット [3] である. このデータセットには，学習者が書いた文に対して，文法性の人手評価値（1 から 4 の離散値） が付いている.

out-of-domain のデータセットは，CoNLL 2014 Shared Task [20] のデータセットおよび，それに対して Grundkiewicz et al. (2015) [4] の人手評価を用いた. このデータセットは，入力文 1,312 文と，それに対する 12 システムの訂正結果を含む. Grundkiewicz らは，人手で文ごとに評価した少量のデータを用いてレーティン グアルゴリズムである TrueSkill [21]を用いて訂正システム単位の人手評価スコアを算出した. 相関係数は，入力を含む 13 システムごとの評価値の平均値と，Grundkiewicz et al. (2015) の Table 3c の人手評価値を用いて 計算した。

言い換え生成 in-domain のデータセットは，STS (Semantic Textual Similarity) ベンチマーク [5] である. こ のデータセットには，意味保存性の人手評価值（0 から 5 の連続値）が付いている.

out-of-domain のデータセットは，Yamshchikov and Shibaev (2020) [6] である．このデータセットには，意味保存性の人手評価値（1 から 5 の連続値）が付いている.

テキスト平易化 in-domain のデータセットは，QATS (Quality Assessment for Text Simplification) データセッ

ト [7] である．このデータセットには，複数のシステムの出力文に対して，文法性，意味保存性，平易性の人手評価値（bad，ok，good の 3 值）が付いている. 本実験では，bad，ok，good それぞれ 1，2，3として 扱った. また，学習用の 505 文対のうち，8 割を学習用，2 割を開発用に利用した. 本実験で学習に用いた データセットのうち，テキスト平易化のデータセットが最も小さい.

out-of-domain のデータセットは，Glavaš and Štajner (2013) [8] である．このデータセットには，文法性，意味保存性，平易性の人手評価値（1から 3 の離散値）が付いている.

スタイル変換 使用したデータセットは，Mir et al. (2019) [9] である。このデータセットには，複数のシス テムの出力文に対して，文法性，意味保存性，スタイル変換強度の人手評価值（1 から 5 の連続値）が付いて いる．スタイル変換強度は，あるスタイルに対する入力文と出力文のスタイルの違いの度合いを示す指標で あり，同じスタイルの場合は 1，完全に異なるスタイルの場合は 5 となる. Mir et al. (2019) で考慮するスタ イルは感情である. 本実験では，8 割を学習用， 1 割を開発用， 1 割を評価用に利用した.

## B モデル

MT-DNN は，著者らによって公開されている実装4)を用いた．MT-DNN の文符号化器の初期化に使用する 事前学習済みモデルは， transformers 2.3.0年）の bert-base-cased を用いた．MT-DNN の各ハイパーパラメー タは，以下の組合せに対してグリッドサーチを行い，開発データにおけるピアソンの積率相関係数が最も大 きいモデルを選択した。その他のハイパーパラメータは既定値を用いた。
- 最大トークン数 $\in\{128,256\}$

・バッチサイズ $\in\{8,16\}$
- 学習率 $\epsilon \in\{2 e-5,3 e-5,5 e-5\}$

・エポック数 $\in\{1, \ldots, 20\}$


# 論文の要旨からのタイトル生成における キーワードと分野別 fine-tuning の効果

金野佑太
茨城大学 工学部
17t4039x@vc.ibaraki.ac.jp
}

古宮嘉那子
茨城大学 理工学研究科
kanako.komiya.nlp@vc.ibaraki.ac.jp

## 1 はじめに

本稿では、Encoder-Decoder モデルにより論文の要旨からタイトルの生成を行う際に、論文の要旨に キーワードを追加する手法と、論文の分野ごとに fine-tuning する手法の効果について検証する。訓練 データに、論文の要旨のみを使用したモデル、論文 のキーワードのみを使用したモデル、論文の要旨と キーワードを使用したモデルの合計 3 つのモデルを 作成し、スコアの比較を行った。また、様々な学会 に投稿された論文のデータを用いてモデルを作成 し、電子情報通信学会と日本建築学会に投稿された 論文のデータを使用して fine-tuning を行った。テス トデータには、電子情報通信学会、日本建築学会、情報処理学会、土木学会、高分子学会の 5 つの学会 のデータを使用した。評価には要約用の評価指標で ある ROUGEを用いた。

実験の結果、論文の要旨にキーワードを追加する ことで ROUGE スコアの改善は見られなかったが、論文の分野ごとに fine-tuning することでROUGE ス コアの向上が見られた。

## 2 関連研究

文書要約の研究はこれまでに多く行われてお り、様々なモデルが考案されている。See ら [1] は、 Pointer を介して入力系列から単語をコピーする Pointer-Generator と、入力系列中の要約された内容 を追跡する Coverage Vector を使用するモデルを提案 した。その結果、要約の不正確さと単語の繰り返し 出力を低減することを示した。本研究では、キー ワードを利用した文書要約の効果を検証している。 キーワードを利用した文書生成の研究には、[2] が ある。また、本研究では論文のタイトルと要旨を研究に用いているが、これらから特徴語を抽出する研究には [3] がある。

## 3 提案手法

## 3.1 Encoder-Decoder モデルによる論文要旨からのタイトル生成

本稿では、Encoder-Decoder モデルによる論文の 要旨からのタイトル生成において、論文の要旨に キーワードを追加する手法と、論文の分野ごとに fine-tuning する手法の効果について検証する。

システムの入力には論文の要旨を単語分割した系列データを使用する。単語分割には形態素解析器で ある $\mathrm{MeCab}^{1)}$ を使用した。Encoder では入力となる 系列データが Embedding 層で単語分散表現へと変換 され、RNN 層により隠れ状態ベクトルが算出され る。RNN 層では LSTM を利用し、Forward LSTM 層 と Backward LSTM の 2 層を持つ BiLSTM を使用し た。Decoder では隠れ状態べクトルと単語分散表現 を用いてタイトルとなるターゲット系列が生成さ れる。

## 3.2 論文のキーワードの追加

本実験では、Encoder-Decoder モデルへの入力とし て、論文のキーワードの果たす効果について検証す る。本研究で使用した入力データの形態は以下の 3 通りである。

・要旨のみ

・キーワードのみ

・要旨とキーワード

要旨は MeCabを用いて単語分割した系列データ、 キーワードはキーワードのリストを空白区切りの系列データとして扱う。

論文の要旨にキーワードを追加するのは、タイト ルにほぼ必須とも言える重要な単語が欠落すること を防ぐ効果を期待している。

## 3.3 分野別 fine-tuning

本実験では、論文の分野ごとに fine-tuning するこ とによる論文要旨からのタイトル生成の効果につい て検証する。

3.2 節で述べた要旨のみを入力データとしたモデ ルに対して、特定の分野の論文を訓練データとして fine-tuning を行った。要旨のみを入力データとした モデルは複数の分野の論文を訓練データとして作成 するため、これを General モデルとする。実験では、 General モデルと fine-tuning したモデルの ROUGE ス コアを比較する。

論文の分野ごとに fine-tuning を行うのは、タイト ルを生成したい論文の分野が既にわかっているとき に同じ分野の論文で訓練されたモデルの方が高い精度を出すことを期待している。

## 4 実験

## 4.1 モデル

モデルの構築には、See らの実装を参考にしたモ デルである OpenNMT BRNN(1layer, emb128, hid512) モデルのパラメータを使用した。実験では LSTM を用いた Attention 付き Encoder-Decoder モデルを使用した。Encoder-Decoder ともに単語ベクトルサイ ズを 128、次元数を 512 とする 1 層 LSTM を使用 した。Encoder では双方向 LSTM(Bidirectional LSTM) を使用し、各方向の次元数をそれぞれ 256 とした。 Attention 層には Bahdanau ら [4] の注意機構 MLP を 使用した。最適化アルゴリズムには adagrad を使用 し、学習率を 0.15 にした。そして、モデルがソース から単語をコピーするためのコピー機構を導入し た。また、実装にはオープンソースのニューラル機械翻訳及びニューラルシーケンス間学習のための ツールである OpenNMT ${ }^{2}$ を使用した。

## 4.2 データセット

実験に使用するコーパスに NII Testbeds and Community for Information access Research (NTCIR ${ }^{3}$ ) はが提供するデータセット NTCIR-1 と NTCIR-2を 用いた。NTCIR-1 と NTCIR-2 はそれぞれ学会発表 データベースからデータを収集したもので、論文の 要旨やタイトル、主催学協会名や著者が付与した

表 1 学会別のコーパス (組数)

表 2 キーワードに関する実験に使用するコーパス (組数)

キーワードのリストなどが含まれている。

論文のキーワードに関する実験では、学習、開発、テストに使用するデータは学会別に分割した。 データ数が多かった上位 5 つの学会である、電子情報通信学会、日本建築学会、情報処理学会、土木学会、高分子学会とその他の学会に対してそれぞれ分割を行った。使用したデータの組数は表 1 に示す。全体ではその他の学会を含め 69 個の学会が存在す る。また、キーワードが付与されていない論文デー タも存在するため、キーワードありのデータは全て のデータよりも数が少なくなっている。

各学会の学習、開発、テストデータの分割の仕方 は以下の通りである。電子情報通信学会と日本建築学会のテストデータは fine-tuning 用としても使用す るため割合が多くなっている。
- 電子情報通信学会 $=(4: 1: 5)$
- 日本建築学会 $=(4: 1: 5)$
- 情報処理学会 $=(3: 1: 1)$
- 土木学会 $=(3: 1: 1)$
- 高分子学会= $=(3: 1: 1)$

-その他の学会 $=(4: 1: 0)$

要旨のみ、キーワードのみ、要旨とキーワードを 入力とするモデルに使用するデータの組数は表 2 に 示す。

分野別 fine-tuning の実験に使用する学会はデータ 数が多い上位 2 つの学会である電子情報通信学会と 日本建築学会を使用する。fine-tuning には、General モデルの学習データと開発データ以外のデータを 使用した。fine-tuning 用の電子情報通信学会と日本建築学会のデータは 5 分割し、3:1:1 の割合で学習
表 3 分野別 fine-tuning の実験に使用するコーパス (組数)

データ、開発データ、テストデータとして使用し、 5 分割交差検定を行った。テストデータには General モデルと同様に 5 つの学会のデータを使用した。実験に使用したデータの組数は表 3 に示す。括弧内は General モデルの作成に使用するデータ数である。

## 4.3 評価

評価には、テキスト要約用の評価指標である ROUGE[5]を使用した。ROUGEには様々なバリ エーションがあるが、本実験では以下の 3 つの指標 を用いる。

## - ROUGE-1
- ROUGE-2
- ROUGE-L

ROUGE-N(N=1,2,...) は N-gram 単位での単語の一致率で評価する手法である。ROUGE-N のスコアは 再現率と適合率の調和平均である $\mathrm{F}$ 値に等しい。再現率は、正解データの単語数のうち予測データと一致した単語数の割合を表し、式 (1)のように計算で きる。また、適合率は、予測データの単語数のうち 正解データと一致した単語数の割合を表し、式 (2) のように計算できる。ただし、Count ${ }_{\text {macth }}$ は正解 データと予測データの n-gram が一致している場合 に 1 を返す関数であり、ref は参照要約である正解 データ、sum は候補要約である予測データを表す。

$
\begin{aligned}
& \frac{\sum_{S \in \text { ref }} \sum_{\text {gram }_{n} \in S} \text { Count }_{\text {match }}\left(\text { gram }_{n}\right)}{\left.\sum_{S \in \text { ref }} \sum_{\text {gram }_{n} \in S} \operatorname{Count} \text { gram }_{n}\right)} \\
& \frac{\sum_{S \in \text { sum }} \sum_{\text {gram }_{n} \in S} \operatorname{Count}_{\text {match }}\left(\text { gram }_{n}\right)}{\left.\sum_{S \in \text { sum }} \sum_{\text {gram }_{n} \in S} \operatorname{Count} \text { gram }_{n}\right)}
\end{aligned}
$

ROUGE-L は、正解データと予測データで一致 する最大のシーケンス Longest Common Subsequence （LCS）で評価する手法である。ROUGE-L のスコア は ROUGE-N と同様に再現率と適合率の調和平均に

等しい。単語数が $m$ の正解データXと単語数が $n$ の予測データ Yを用いて、再現率と適合率はそれぞ れ式 (3) と式 (4) のように計算できる。ただし、LCS は2つの一致する最大のシーケンス長を表す。

$
R_{l c s}=\frac{L C S(X, Y)}{m}
$

$
P_{l c s}=\frac{\operatorname{LCS}(X, Y)}{n}
$

論文のキーワードに関する実験では、要旨のみ、 キーワードのみ、要旨とキーワードの 3 つのモデル に対してスコアの比較を行った。電子情報通信学会、日本建築学会、情報処理学会、土木学会、高分子学会をテストデータとし、各テストデータに対し て ROUGE スコアを算出してマイクロ平均をとった ものを最終的なスコアとして使用した。

分野別 fine-tuning の実験では、General モデルと 電子情報通信学会で fine-tuning したモデル、日本建築学会で fine-tuning したモデルの比較を行う。 fine-tuning したモデルは 5 分割交差検定を行ってい るため、 5 回分の平均をとったものを最終的なスコ アとして使用した。

## 5 実験結果

表 4 に要旨のみ、キーワードのみ、要旨とキー ワードをそれぞれ入力としたモデルの ROUGE スコ アを示す。R1F、R2F、RLF はそれぞれ ROUGE-1、 ROUGE-2、ROUGE-LのＦ值を表す。R1F、R2F、RLF すべてにおいて、要旨のみ、要旨とキーワード、 キーワードのみの順に ROUGE スコアが高い結果と なった。

次に、表 5 に General モデルと電子情報通信学会 で fine-tuning したモデル、日本建築学会で fine-tuning したモデルのテストデータ別の ROUGE スコアを示 す。電子情報通信学会で fine-tuning したモデルは、電子情報通信学会をテストデータとしたときが最 もスコアが高く、General モデルの電子情報通信学会のスコアを R1F が 0.017、R2F が 0.009、RLF が

0.020 上回った。また、日本建築学会で fine-tuning し たモデルは、日本建築学会をテストデータとしたと きが最もスコアが高く、General モデルの日本建築学会のスコアを R1F が 0.042、R2F が 0.014、RLFが 0.033 上回った。

## 6 考察

入力にキーワードを利用することによる ROUGE スコアの向上は見られなかった。キーワードを利用したモデルの訓練データは少なくなっているが、 97.6\%以上に当たる量を利用しており、その差は僅 かなため大きな影響があるとは考えづらい。実験で はモデルの学習に要約に適したオプションを使用し たが、キーワードのみを入力としたモデルを学習す る際は、文章生成に適したオプションを使用するこ とで ROUGE スコアが改善されるのではないかと考 えられる。また、要旨とキーワードを入力としたモ デルは、キーワードを直接入力に組み込むのではな く、出力に組み込めるようにモデルを変更すること でROUGE スコアが改善される可能性がある。その 際は、実際にキーワードがタイトルにどの程度含ま れているかを調査し、どのくらいの効果があるのか を検証する必要がある。

論文の分野別 fine-tuning をすることによって ROUGE スコアの向上が見られた。つまり、ある学会の論文データで fine-tuning したモデルはその学会 の ROUGE スコアを向上させることができる。ま
た、電子情報通信学会で fine-tuning したモデルは、情報処理学会のスコアを R1F が 0.011、RLF が 0.013 上回り、日本建築学会で fine-tuning したモデルは、電子情報通信学会のスコアを R1F が 0.021、R2F が 0.022、RLFが 0.022 下回った。この結果から、論文 の分野別 fine-tuning には、他の分野のスコアも大き く変化させることが確認できた。しかし、電子情報通信学会と情報処理学会のように分野が似ている学会であってもスコアの向上に大きく寄与しないこと もあり、どの分野にどのような相関があるのかなど を明確に示すには至らなかった。

## 7 おわりに

本研究では、LSTMを用いて Attention付き EncoderDecoder モデルにより論文の要旨からタイトル生成 を行い、論文の要旨にキーワードを追加する手法 と、論文の分野ごとに fine-tuning する手法の効果を 検証した。実験の結果、論文の要旨にキーワードを 追加することで ROUGE スコアの改善は見られな かったが、論文の分野ごとに fine-tuning することで ROUGE スコアの向上が見られた。

今後の展望としては、実際にキーワードがタイト ルにどの程度含まれているかを調査してどのくらい の効果があるのかを検証し、その上でキーワードを 直接出力に組み込めるようにモデルを変更するなど が考えられる。分野別 fine-tuning においてはそれぞ れの分野の相関性を求め、類似する分野の論文デー タを利用することでより大規模なデータで実験を行 うことなどが考えられる。

## 謝辞

本研究は、茨城大学の特色研究加速イニシアティ ブ個人研究支援型「自然言語処理、データマイニン グに関する研究」に対する研究支援およびJSPS 科研費 17KK0002 の助成を受けたものです。

## 参考文献

[1]Liu P.J. See, A. and C.D. Manning. Get to the point: Summarization with pointer-generator networks. ACL, p. 1073-1083, 2017.

[2]張浩達, 上垣外英剛, 高村大也, 奥村学. 複数の言語モデ ルを考慮したキーワードからの広告文生成. 第 34 回人工知能学会全国大会論文集, pp. 2H6-GS-9-04, 2020.

[3]菊地真人, 山内達登, BUI Tuan Thanh, 梅村恭司. 特徴語抽出の精度改善に向けた反復度と条件付き確率の比較. 第 34 回人工知能学会全国大会論文集, pp. 4Rin1-53, 2020.

[4]Cho K. Bahdanau, D. and Y. Bengio. Neural machine translation by jointly learning to align and translate. ICLR, 2014.

[5]Chin-Yew Lin. Rouge: A package for automatic evaluation of summaries. $A C L$, p. 74-81, 2004.


# 文末からのトップダウン係り受け解析との同時実行に基づく 日本語文の語順整序と読点挿入

宮地航太 $\dagger 1 \quad$ 大野 誠寛 $\dagger 2 \quad$ 松原 茂樹 $\dagger 1$
$\dagger 1$ 名古屋大学 $\dagger^{2}$ 東京電機大学
miyachi.kota@j.mbox.nagoya-u.ac.jp

## 1 まえがき

日本語は，語順が比較的自由であるとされている が，実際には語順に関して選好が存在している。そ のため，文法的には間違っていないものの読みにく い語順を持った文が作成されることがある．また読点についても同様に，読みやすい文を作成するため には適切な位置に読点を打つ必要がある. 例えば,以下の文 1 は読みにくいが，文 2 のように文節を並 べ替え，読点を挿入すれば読みやすくなる [1].

文 1 私は家を都会に憧れ出た。

文 2 私は, 都会に憧れ家を出た。

語順整序や読点挿入に関する研究は，推敲支援 や文生成などに応用でき，いくつか行われてい る [2-15]. その中でも, 語順や読点と係り受けとの 相互依存的な関係に着目し, 係り受け解析と語順整序や読点挿入を同時実行する手法が存在する. 大野 ら [16] は係り受け解析と語順整序の同時実行を実現している。ただし，大野らの手法では読点挿入 を対象としていない。これに対し, 宮地ら [17] は, Shift-Reduce アルゴリズムを拡張することにより，係り受け解析と語順整序に読点挿入を加えた 3 つの 処理を同時実行する手法を提案している。しかし，宮地らの手法では文頭から局所的に解析を行ってい るため, 2 文節の語順を決定する際に各文節の係り 先の情報をほとんど用いることが出来ておらず，そ の精度は十分とはいえない.

そこで本論文では，推敲支援のための要素技術と して，読みにくい語順をもった日本語文に対して，文末からトップダウンに, 係り受け構造と語順, 読点位置を同時的に決定する手法を提案する. 本手法 では，係り受け解析と語順整序，読点挿入を同時実行する対象を入力文の文末から各文節までの部分文節列とすることにより, 語順の判断材料として各文節の係り先の情報を利用できるようにする.これ
は，読みにくい入力文であっても非文でなければ，係り受けの後方修飾性を満たすことから, 各文節の 係り先がその対象部分文節列内に存在するためであ る。また，本手法は，各部分文節列に対する係り受 け構造と語順, 読点位置を 2 分木で表現することに より，そのあらゆる組合せを簡潔に探索する。

## 2 先行研究

係り受け解析は一般に, 入力文の語順や読点が適切でない場合，精度が低下する $[3,16,18]$. 一方，読 みやすい語順や読点とするために最初に語順整序や 読点挿入をそれぞれ単独で実行すると，係り受け情報が利用できず，それらの精度は低下すると考えら れる。また, 語順が変われば, 適切な読点位置も変 わる [3]. このように係り受けと語順, 読点位置は 互いに依存しているといえる．従って，入力文の語順と読点を読みやすく整形するという問題に対する アプローチとしては，係り受け解析，語順整序，読点挿入を同時実行する手法が有望である.

この考えに基づき，宮地ら [17] はこれら 3 つの 処理の同時実行手法を提案している.この手法は, Shift-Reduce アルゴリズムを拡張し，入力文中の局所的な 2 文節に着目して, それらの間の係り受け関係の有無や語順，読点有無を同時的に決めることを 文頭から繰り返す。一般に語順整序は, 係り受け構造が付与されていることを前提に，係り受けの非交差性と後方修飾性を保つため, 同じ係り先を持つ文節同士において行われ，その係り先の情報を利用す る [2]. しかし宮地らの手法では，文頭から解析を 進め, 対象となる 2 文節の間で考えられる係り受け 関係有無, 語順, 読点有無の組合せのみを候補とし て検討するため，それらの係り先が同じである否か を考慮しない。そのため語順整序の性能が損なわれ ていると考えられる。

そこで本研究では, 文末からのトップダウン係り
受け解析を拡張し, 文末から各文節までの部分文節列に対して係り受け構造, 語順, 読点位置の 3 項組 からなる構造を同定することを，文頭まで繰り返す という戦略を採用する. 文末から各文節までの部分文節列は, 後方修飾性から必ず閉じた係り受け構造 をもつため, 考えられる係り受け構造の各候補上で 同じ係り先を持つ文節同士だけを語順入替の対象と することが自然に可能となる.

## 3 提案手法

本手法では, 意味は伝わるものの読みにくい語順 を持った文が入力されることを想定し，その文に対 して, 係り受け解析を行うと同時に, 読みやすい語順と読点位置を同定する．入力文の文末から順に解析していき，文末から各文節までの部分文節列にお ける係り受け構造と語順, 読点位置を決定すること を繰り返す，という戦略により， 1 文に対する係り 受け解析, 語順整序, 読点挿入の同時実行を実現す る. 本節では, まず 3.1 節で, 入力文に対して係り 受け構造, 読みやすい語順と読点位置を決定するア ルゴリズムについて述べる。次に， $\mathrm{A}$ 節では，アル ゴリズムの中で確率を計算する際に用いる確率モデ ルについて述べる.

## 3.1 アルゴリズム

本手法では, 係り受け構造と語順, 読点位置を 2 分木により表現することにより，そのあらゆるパ ターンを効率的に探索する。その 2 文木は次のよう に作る.

・各ノードに文節を割当てる.

・係り受け関係のあるノード間をエッジで結び,各エッジにはその下側のノードの直後に読点が ある [1] か否か $[0]$ を示すラベルを持たせる。

・各ノードの左の子には, そのノードの文節に係 る文節のうち, 最も文末に近い文節（係り受け 木における長子）を配置する。

・各ノードの右の子には, そのノードの文節と同 じ係り先を持つ文節のうち, そのノードの直前 に位置する文節（係り受け木における直弟）を 配置する。なお，係り受け木において兄弟関係 にある（すなわち，係り先が同じ）文節間の上下関係は，文末側に位置するほど年上であると する。

例えば， 1 節で示した文 2 における係り受け構造と

係り受け木(多分木)

2分木図12 分木での表現例

語順, 読点位置を 2 分木で表現すると図 1 のように なる。

本手法では, 次の手順で入力文の文節列を末尾か ら順に処理する。

1. 入力文節列を入力語順でキューに格納する.

2. キューから文末文節を取り出して 2 分木の根と する．更に 1 つ文節を取り出し，根の左の子の 位置に挿入し，根との間のエッジの読点有無ラ ベル（すなわち，この文節の直後の読点有無） を同定することにより，２分木を生成する.

3. キューから 1 つ文節を取り出し, その文節を既 に構築済みの 2 分木に挿入する形で新たな 2 分木を生成する. その際, 既に構築済みの 2 分木 を前提として，係り受けの構文的制約上，挿入可能な位置や，新たに読点有無ラベルを判定す ベきエッジのラベル值の組合せを考え，それら を新たな 2 分木の候補とし, 最適な 2 分木を選択する。この候補の生成については3.1.1で述 べる。また，この候補選択のための確率モデル については付録 A に示す。
4. 3 を繰り返し，キューが空になれば終了する.

## 3.1.1 係り受け構造, 語順, 読点位置の候補

前述した手順 3 における 2 分木の候補は, まず，既存の 2 分木の中で，新たにキューから取り出した 文節を挿入できる位置を考え，次に，それらの各位置に挿入した各 2 分木において，新たに読点有無ラ ベルを判定する必要があるエッジを考えることによ り生成する。

文節列 $B_{i+1: n}=b_{i+1} \cdots b_{n}$ に対する 2 分木に対し て，新たな文節 $b_{i}$ を挿入できる位置は，入力語順で も出力語順でも係り受けの後方修飾性と非交差性を 共に満たすという制約に基づき決まるが，2 分木の 性質から簡単に調べ上げることができる。具体的に は，次の位置に限られる。
- 直前に挿入されたノード $b_{i+1}$ の左右の子
- $b_{i+1}$ から根 $b_{n}$ に至る経路上の各エッジ
- $b_{i+1}$ から根 $b_{n}$ に至る経路上の各ノード $\left(b_{n}\right.$ は 除く) から，右の子のみを辿って右の子を持た ないノードに行きつくまでの各エッジと，その 行きついたノードの右の子

なお，あるエッジに $b_{i}$ を挿入するとは，そのエッ ジの両端にあるノードの間に新たなノード $b_{i}$ を挿入することを意味する.

次に，上述の各位置に $b_{i}$ を挿入した 2 分木の各々 において，新たに読点有無ラベルを判定する必要が あるエッジとは,
- 新たに挿入したノード $b_{i}$ から上下に延びる各 エッジ（ただし，子を持たない場合は上に延 びるエッジのみ)

・ $b_{i}$ から右の子のみを辿って，右の子を持たない ノードに至る経路上の各エッジ，
- $b_{i}$ から根 $b_{n}$ に至る経路上の各ノード $\left(b_{i}\right.$ と係 り受け木において兄弟関係にあるノードと, $b_{n}$ は除く）から，右の子のみを辿って右の子を持 たないノードに行きつくまでの各エッジ

である.これらは，文節 $b_{i}$ の直前直後，及び， $b_{i}$ の 挿入によって係り受け距離が伸びる各文節の直後を 表す.ただし，既に読点有と判定されているエッジ はそのままとする.

## 3.2 アルゴリズムの動作例

図 2 に 1 節の文 1 を入力として与えられ, 文 2 を 出力するときのアルゴリズムの動作例を示す. ス テップ 1 では入力文「私は家を都会に憧れ飛び出し た。」が文節ごとにキューに格納される．ステップ 2 ではキューから文末文節「出た。」が取り出され根 とし, 文節「憧れ」が取り出され根の左の子とする. またこれらを結ぶエッジの読点有無を同定する。ス テップ 3-a では文節「都会に」がデキューされる. このとき既存の 2 分木に対して「都会に」が挿入さ れる位置の候補は 3 箇所存在する。各位置に挿入し た 2 分木において読点有無を新たに判定するエッジ のラベルが?で示されている.「都会に」は「憧れ」 に係るため，(1)が選択され，また「都会に」と「憧 れ」の間には読点は打たれない. ステップ 3-bでは 文節「家を」がデキューされる。このとき 2 分木に 対して「家を」を挿入できる位置は 5 箇所存在す る.「家を」は「出た。」に係り, また, 適切な語順

図 2 アルゴリズムの動作例

は「憧れ」の後であるため(5)が選択され，(5)に挿入 した場合の 2 分木においてラベルが?となっている エッジについて読点有無を同定し, 今回はいずれも 読点無となる. ステップ 3-c では文節「私は」がデ キューされる. このとき既存の 2 分木に対して「私 は」を挿入できる位置は 4 箇所存在する。「私は」は 「出た。」に係り, また, 適切な語順は先頭であるた め(2)が選択される，(2)に挿入した場合の 2 分木に おいてラベルが?となっているエッジについて読点有無を同定し，今回は「私は」と「都会に」を結ぶ エッジ（「私は」の直後）に読点が打たれる．キュー が空になったためステップ 4 でアルゴリズムが終了 し, 1 節の文 2 が出力される.

## 4 評価実験

読みにくい日本語文の語順整序および読点挿入に おける本手法の性能を評価するため, 新聞記事を用 いた実験を実施した．新聞記事中の文から擬似的に 作成した読みにくい語順の文に対して本手法を適用 し, 元の文の語順と読点をどの程度再現できるかに より評価した。

## 4.1 実験概要

評価用データには宮地ら [17] と同じ手順で作成さ れた読点付きの読みにくい語順の文データ 1,000 文 を用いた. A. 1 の各確率を推定するための機械学習 モデルには勾配ブースティングマシン（GBM）を採用し, そのツールとして LightGBM ${ }^{1)}$ を用い，パラ メータチューニングには Optuna2)を使用した. 学習 には，京大テキストコーパス Ver.4.0 [19]のうち, 評価用データの作成に用いた文を除く 35,404 文を用 いた.

語順整序の評価では，文献 [16] と同様に，文単位正解率（語順整序後の語順が元の文と完全に一致し ている文の割合）と 2 文節単位正解率（2 文節ずつ 取り上げたときの文節の順序関係が元の文のそれ と一致しているものの割合）を測定した。読点挿入 の評価では, 正解文と語順が完全一致している文の みを対象として, 文献 [18] と同様に, 京大コーパス の読点を正解とした場合の再現率と適合率を測定 した.

比較手法には宮地ら [17]の手法を用意した.

## 4.2 実験結果

実験結果を表 1 に示す. 提案手法は, 比較手法と 比べて, 語順整序の 2 文節単位正解率や読点の再現率, 適合率, $\mathrm{F}$ 値において高い值を達成しており,本手法の有効性が確認された. 本手法による語順整序及び読点挿入が正解と完全に一致した例を図 3 に 示す. 読みにくい語順を持った入力文に対して，読 みやすい語順に修正した上で正しく読点が挿入でき ている.

## 5 まとめ

本論文では，読みにくい語順の文に対して係り受 け解析, 語順整序, 読点挿入を文末からトップダウ

## 入力文 :

独身時代は自分の手帳を持ち、びっしりと、仕事の日程やおけいこ己゙と、テニススクール、食事会の予定な どが書き込まれていた。

比較手法：

独身時代は仕事の持ち、おけいこごと、手帳をびっし りと日程やテニススクール自分の食事会の予定などが 書き込まれていた。

提案手法（正解）：

独身時代は自分の手帳を持ち、仕事の日程やおけいこ ごと、テニススクール、食事会の予定などがびっしり と書き込まれていた。

図 3 語順整序及び読点挿入の成功例

ンに同時実行する手法を提案した。評価実験の結果, 本手法の有効性を確認した. 今後は, 確率の推定に用いる素性や機械学習手法を見直すことによ り，精度向上を図りたい。

謝辞 本研究は, 一部, 科研費 No. 26280082, No. 19K12127により実施した。

## 参考文献

[1] 日本語記述文法研究会. 現代日本語文法 7. くろしお 出版, 2009.

[2] 内元清貴, 村田真樹, 馬青, 関根聡, 井佐原均. コーパ スからの語順の学習. 自然言語処理, Vol. 7, No. 4, pp. 163-180, 2000.

[3] 村田匡輝, 大野誠寛, 松原茂樹. 読点の用法的分類に 基づく日本語テキストへの自動読点挿入. 電子情報通信学会論文誌, Vol. J95-D, No. 9, pp. 1783-1793, 2012.

[4] Allen Schmaltz, Alexander M Rush, and Stuart M Shieber. Word ordering without syntax. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing, pp. 2319-2324, 2016.

[5] 横林博, 菅沼明, 谷口倫一郎ほか. 係り受けの複雑さ の指標に基づく文の書き換え候補の生成と推敲支援への応用. 情報処理学会論文誌, Vol. 45, No. 5, pp. 1451-1459, 2004.

[6] Katja Filippova and Michael Strube. Generating constituent order in german clauses. In Proceedings of the 45th Annual Meeting of the Association of Computational Linguistics, pp. 320-327, 2007.

[7] Karin Harbusch, Gerard Kempen, Camiel Van Breugel, and Ulrich Koch. A generation-oriented workbench for performance grammar: Capturing linear order variability in german and dutch. In Proceedings of the 4th International Natural Language Generation Conference, pp. 9-11, 2006.

[8] Geert-Jan M Kruijff, Ivana Kruijff-Korbayová, John Bateman, and Elke Teich. Linear order as higher-level decision: Information structure in strategic and tactical generation. In Proceedings of 8th European Workshop on Natural Language Generation, pp. 74-83, 2001.

[9] Eric Ringger, Michael Gamon, Robert C Moore, David M Rojas, Martine Smets, and Simon Corston-Oliver. Linguistically informed statistical models of constituent structure for ordering in sentence realization. In Proceedings of the 20th International Conference on Computational Linguistics, pp. 673-679, 2004.

[10] James Shaw and Vasileios Hatzivassiloglou. Ordering among premodifiers. In Proceedings of the 37th Annual Meeting of the Association for Computational Linguistics, pp. 135-143, 1999.

[11] 鈴木英二, 島田静雄, 近藤邦雄, 佐藤尚ほか. 日本語文章における句読点自動最適配置. 情報処理学会全国大会講演論文集, Vol. 50, No. 3, pp. 185-186, 1995.

[12] 熊野明, 吉村裕美子, 野上宏康ほか. 自然な日本語生成のための指針. 情報処理学会全国大会講演論文集, Vol. 41, No. 3, pp. 165-166, 1990.

[13] Agustin Gravano, Martin Jansche, and Michiel Bacchiani. Restoring punctuation and capitalization in transcribed speech. In Proceedings of 2009 IEEE International Conference on Acoustics, Speech and Signal Processing, pp. 4741-4744, 2009.

[14] Wei Lu and Hwee Tou Ng. Better punctuation prediction with dynamic conditional random fields. In Proceedings of the 2010 Conference on Empirical Methods in Natural
Language Processing, pp. 177-186, 2010.

[15] Yuqing Guo, Haifeng Wang, and Josef Van Genabith. A linguistically inspired statistical model for chinese punctuation generation. ACM Transactions on Asian Language Information Processing, Vol. 9, No. 2, pp. 1-27, 2010.

[16] 大野誠寛, 吉田和史, 加藤芳秀, 松原茂樹. 係り受け解析との同時実行に基づく日本語文の語順整序. 電子情報通信学会論文誌, Vol. J99-D, No. 2, pp. 201-213, 2016.

[17] 宮地航太, 大野誠寛, 松原茂樹. 係り受け解析との同時実行に基づく日本語文の語順整序と読点挿入. 言語処理学会第 26 回年次大会発表論文集, pp. 243-246, 2020.

[18] 宮地航太, 大野誠寛, 松原茂樹. 読みにくい語順の文 への読点の自動挿入. 言語処理学会第 25 回年次大会発表論文集, pp. 1308-1311, 2019.

[19] 黒橋禎夫, 長尾眞. 京都大学テキストコーパス・プロ ジェクト. 言語処理学会第 3 回年次大会論文集, pp. 115-118, 1997.

[20] 内元清貴, 関根聡, 井佐原均. 最大エントロピー法に 基づくモデルを用いた日本語係り受け解析. 情報処理学会論文誌, Vol. 40, No. 9, pp. 3397-3407, 1999.

## A 候補選択のための確率モデル

入力文の文節列を $B=b_{1}, \cdots, b_{n}$ とし, 3.1 節のアルゴリズムのステップ 3 において, 文節 $b_{i}(1 \leq i<n-1)$ がデキューされたとす る.このとき, 文節列 $B_{i: n}=b_{i}, \cdots, b_{n}$ に対す る 2 分木 $S_{i: n}$ を $\operatorname{argmax} P\left(S_{i: n} \mid B\right)$ により決定す る.ここで, $S_{i: n}$ は, 語順整序後の語順 $O_{i: n}=$ $\left.\{o_{i, i+1}, o_{i, i+2}, \cdots, o_{i: n-1}, o_{i+1, i+2}, \cdots, o_{x, y}, \cdots, o_{n-2, n-1}\right.\}$,読点位置 $C_{i: n}=\left.\{c_{i}, c_{i+1}, \cdots, c_{x}, \cdots, c_{n-1}\right.\}$, 係り受 け構造 $D_{i: n}=\left.\{d_{i}, d_{i+1}, \cdots, d_{x}, \cdots, d_{n-1}\right.\}$ の三項組と して定義され,$S_{i: n}=\left.\langle O_{i: n}, C_{i: n}, D_{i: n}\right.\rangle$ と書く. ここ で $o_{x, y}(i \leqq x<y<n)$ は, 文節 $b_{x}$ と $b_{y}$ の間の順序関係を表し， $b_{x}$ が $b_{y}$ より文頭側に位置するか $\left(o_{x, y}=1\right)$, 否か $\left(o_{x, y}=0\right)$ の 2 值をとる. また $c_{x}(i \leqq x<n)$ は, 文節 $b_{x}$ の直後に読点が有るか $\left(c_{x}=1\right)$, 無いか $\left(c_{x}=1\right)$ の 2 值の值をとる. 最後 に $d_{x}(i \leqq x<n)$ は, 文節 $b_{x}$ を係り元とする係り受 け関係とする。

## A. 1 確率モデル

ある $S_{i: n}=\left.\langle O_{i: n}, C_{i: n}, D_{i: n}\right.\rangle$ に対する $P\left(S_{i: n} \mid B\right)$ を，下式により計算する。

$
\begin{gathered}
P\left(S_{i: n} \mid B\right)=P\left(O_{i: n}, C_{i: n}, D_{i: n} \mid B\right) \\
=\sqrt[3]{P\left(O_{i: n} \mid B\right) * P\left(D_{i: n} \mid B, O_{i: n}\right) * P\left(C_{i: n} \mid B, O_{i: n}, D_{i: n}\right)} \\
\times \sqrt[3]{P\left(D_{i: n} \mid B\right) * P\left(O_{i: n} \mid B, D_{i: n}\right) * P\left(C_{i: n} \mid B, O_{i: n}, D_{i: n}\right)} \\
\times \sqrt[3]{P\left(O_{i: n} \mid B\right) * P\left(C_{i: n} \mid B, O_{i: n}\right) * P\left(D_{i: n} \mid B, O_{i: n}, C_{i: n}\right)}
\end{gathered}
$

上式の最右辺における各確率は, 2 文節間の語順 $o_{x, y}$ は他の 2 文節間の語順とは互いに独立であり, かつ, 係り受け関係 $d_{x}$ も他の係り受け関係とは独立 であり, かつ, 読点位置 $c_{x}$ は直後の読点位置を除 く, 他の読点位置とは独立であると仮定すると, 以下のように近似できる.

$
\begin{gathered}
P\left(O_{i: n} \mid B\right) \fallingdotseq \prod_{x=i}^{n-2} \prod_{y=x+1}^{n-1} P\left(o_{x, y} \mid B\right) \\
P\left(D_{i: n} \mid B, O_{i: n}\right) \fallingdotseq \prod_{k=i}^{n-1} P\left(d_{k} \mid B, O_{i: n}\right) \\
P\left(C_{i: n} \mid B, O_{i: n}, D_{i: n}\right) \fallingdotseq \prod_{k=1}^{n-i} P\left(c_{n-k} \mid B, O_{i: n}, D_{i: n}, C_{n-k+1: n}\right)
\end{gathered}
$

$
\begin{gathered}
P\left(D_{i: n} \mid B\right) \fallingdotseq \prod_{k=i}^{n-1} P\left(d_{k} \mid B\right) \\
P\left(O_{i: n} \mid B, D_{i: n}\right) \fallingdotseq \prod_{x=i}^{n-2} \prod_{y=x+1}^{n-1} P\left(o_{x, y} \mid B, D_{i: n}\right) \\
P\left(C_{i: n} \mid B, O_{i: n}\right) \fallingdotseq \prod_{k=1}^{n-i} P\left(c_{n-k} \mid B, O_{i: n}, C_{n-k+1: n}\right) \\
P\left(D_{i: n} \mid B, O_{i: n}, C_{i: n}\right) \fallingdotseq \prod_{k=i}^{n-1} P\left(d_{k} \mid B, O_{i: n}, C_{i: n}\right)
\end{gathered}
$

## A. 2 機械学習に用いる素性

$P\left(o_{x, y} \mid B, D_{i: n}\right)$ を推定する際には, 文献 [16] で語順を推定する際に用いられた素性のうち, 読点に関 する素性を除く全ての素性を用いる. $P\left(o_{x, y} \mid B\right)$ の 推定では, $P\left(o_{x, y} \mid B, D_{i: n}\right)$ の推定時に使用した素性 のうち，係り受け情報を使うことなく取得可能な素性を用いる. $P\left(d_{x, y} \mid B, O_{i: n}, C_{i: n}\right)$ を推定する際には,文献 [20] で係り受けを推定する際に用いられた素性 のうち，括弧に関する素性を除く全ての素性を用い る. $P\left(d_{x, y} \mid B, O_{i: n}\right)$ の推定では, $P\left(d_{x, y} \mid B, O_{i: n}, C_{i: n}\right)$ の推定時に使用した素性のうち, 読点に関する情報 を使うことなく取得可能な素性を用いる。 $P\left(d_{x, y} \mid B\right)$ の推定では, $P\left(d_{x, y} \mid B, O_{i: n}\right)$ の推定時に使用した素性のうち, 語順に関する情報を使うことなく取得可能な素性を用いる. $P\left(c_{x, y} \mid B, O_{i: n}, D_{i: n}\right)$ を推定する 際には, 文献 [3] で用いられた素性のうち, 推定す る文節境界より文頭側の係り受け情報と読点に関す る情報を使うことなく取得可能な全ての素性を用い る. $P\left(c_{x, y} \mid B, O_{i: n}\right)$ の推定では, $P\left(c_{x, y} \mid B, O_{i: n}, D_{i: n}\right)$ の推定時に使用した素性のうち，係り受け情報を使 うことなく取得可能な素性を用いる.