# 自発的な独話における可読性向上のための 言い直し表現を検出・修正するシステム

島森瑛貴 1 阪本浩太郎 2 渋木英潔 2 森辰則 1
1 横浜国立大学大学院 ${ }^{2}$ 株式会社 BESNA 研究所
simamori-eiki-vj@ynu.jp sakamoto@besna.institute
shib@besna.institute tmori@ynu.ac.jp

## 概要

本稿では日本語の自発的な独話における言い直 し現象の分析を元に、言い直しの検出と修正を行う システムを構成した。はじめに分析に準拠したべー スラインシステムを作成し、その評価を行った。実験の結果、適合率は 0.046 、再現率は 0.300、F1 值は 0.080 であった。考察の結果、言い直しの範囲推定 の方針と名詞連接の判定が不十分であったことが 明らかとなった。これらの課題を改善し再び評価を 行った。実験の結果、クローズドテストでの適合率

テストでの適合率は 0.235 、再現率は $0.400 、 \mathrm{~F} 1$ 値は 0.296、と大幅に改善した。

## 1 はじめに

新型コロナウイルスの感染に伴い現在は生活の 様々な場面でオンライン化が進んでいる。そのよう な現代では人の発話を書き起こしテキストとして読 む場面が増えた。話し言葉の書き起こしは、編集さ れていない状態では「言い直し表現」が頻出する。言い直し表現は書き言葉には出現しないため可読性 を下げる要因となりうる。我々はそれらの現象を適切に検出・修正するシステムを開発し、可読性の向上に貢献することを目標としている。

本稿では日本語の自発的な独話に出現する言い直 しを検出・修正するシステムを提案し評価を行う。

## 2 関連研究

話し言葉の言い直しを扱う代表的なモデルとして RIM(Repair Interval Model)[1] が存在する。RIM は言 い直し部を被修復部、言い淀み区間、修復部の 3 つ の部分に分割し, これらがこの順に出現することで 一つの言い直しを行っていると仮定している。丸山ら [2] は RIM に基づき『日本語話し言葉コー パス』[3]（Corpus of Spontaneous Japanese 以下，CSJ とする）に出現する言い直し表現について言語学的 な観点から分類した。この分類は処理の対象が形態素未満、形態素以上単語未満、一文節、二文節以上 など様々であるため機械的な処理にそのままこの基準を用いることは難しい。そのため工学的な観点か ら、処理の方法と対応する分類を行う必要がある。

話し言葉における言い直しを検出する先行研究は [4][5] ど゙がある。下岡らの手法 [4] は高梨ら [6] で 定義された言い直しのタグを正解として言い直しの 検出を行っている。また推定された箇所について、係り受け情報を用いて削除する範囲の同定について 検討している。しかし、形態素の繰り返し情報など を素性としたSVMを用いて任意の文節が言い直し であるかを判定しており、言い直しを捉える特定の モデルを作成していない。また、高梨ら [6] は「同一の内容を指し示している対等な文節」をのみを言 い直しと定義して CSJにアノテーションしており、我々の扱いたい問題が含まれていない。

藤井らの手法 [5] は言い直し部を分割したモデル を作成し、言い直しの検出・修正を行っている。し かし、そのモデルはフィラーや言い淀みの存在を仮定しており、それらが存在しない言い直し表現につ いては検出ができない。

以上から日本語の自発的な発話に出現する言い 直し全般について分析し、検出・修正するような研究はこれまで行われていない。そこで我々は島森ら [7] で言い直しを再定義し、機械的に扱える単位に 対して分析を行った。

島森ら [7] では「言い直し」を「同一の対象に複数回参照する表現のうち、同一の面を参照している もの」であると定義した。また、言い直し表現の組 のうち、最後に言い終えている箇所を「言い直し
先」と、それ以外の箇所を「言い直し元」と定義し た。この 1 つ以上の言い直し元と 1 つの言い直し先 から 1 つの言い直し組を構成する。本稿でもこの用語を使用する。さらに、この言い直しの定義に基づ いて、日本語話し言葉コーパス CSJ[3] を用いて以下 の 3 つの仮説を検証し、1つの調査が行われている。仮説 1. 言い直し先は言い直し元よりも後に発話 されていることから重要であり残すべき 仮説 2. 言い直し元は言い直し先の自立語を含む 仮説 3. 削除の対象となる箇所は一文節以下調査 1 . 言い直し表現組の間に入る最長の文節数

## 3 システムの構成

本稿では島森ら [7] の分析に基づき日本語話し言葉中に出現する言い直しを検出・修正するシステム を提案する。本研究における言い直しの検出・修正 とは、話し言葉の書き起こし中に出現する言い直し 表現の組を検出し、適切に削除することを指す。検出・修正の方針をそれぞれ以下に示す。

## 3.1 検出の方針

仮説 2 の検証結果によれば、言い直し元と言い直 し先は共通の自立語を持つことが多いことが明らか となった。そこで、ある自立語 $\mathrm{A}$ を含む文節 $\mathrm{S}$ にお いて、同様の自立語 $\mathrm{A}$ を持つ文節 $\mathrm{T}$ が検索範囲内に 存在すれば $(\mathrm{S}, \mathrm{T})$ の組を言い直し組とする。調査 1 の結果によれば言い直し組は 15 文節以上離れない ため、検索範囲を 15 文節とする。

## 3.2 修正の方針

言い直しとして検出した組は、言い直し元か言い 直し先のいずれか、もしくはその両方を削除するこ とで修正する。仮説 1 の検証結果によれば基本的に は言い直し元を削除することで修正ができると明 らかになったため、それを修正の基本方針とする。 しかし仮説 3 から 2 文節以上を削除することもあ ると判明した。従って、修正にあたっては削除範囲 (多くの場合では言い直し元の範囲) を正確に推定す ることが必要である。そこで言い直し組 $(\mathbf{S}, \mathbf{T})$ の候補において、言い直し元とされた文節 $S$ を起点と して、実際の言い直し元の範囲を推定する。すなわ ち、係り受け木の部分木のうち、i) 文節 $S$ を含み、 かつ、ii) 言い直し先とされた文節 $\mathrm{T}$ 以降の文節に係 るものを言い直し元とするという方針で修正できる という仮説を立てて検証する。「隣の方には住宅街
の隣にはデパートを作らないので」という例を用い てこの方針について説明する。

係り受け解析器 CaboCha を用いてこの文を係り受 け解析すると以下の結果が得られる。

隣の

この例では「隣の方には」が言い直し元、「住宅街 の隣には」が言い直し先とすることが正解であり、「住宅街の隣にはデパートを作らないので」と修正 されるべきである。上記の方針を適用すると、「隣 の」が $\mathrm{S} 、 「$ 隣には」が $\mathrm{T}$ となる。 $\mathrm{S}$ を含む係り受け の部分木のうち、 $\mathrm{T}$ 以降の文節に係るものは「隣の 方には」となる。よって、これが範囲の推定を行っ た後の言い直し元となるので、これを削除すると正 しく修正できる。なお、この例では「住宅街の隣の 方にはデパートを作らないので」のように、言い直 し組の文節を融合して修正することもできるが本研究ではそのような修正は行わない。

## 4 言い直し元の範囲を推定する仮説 についての検討

システム全体の評価前に上記仮説を検証する。

## 4.1 対象・結果

日本語話し言葉コーパス [3] のコア講演 177 講演 に出現した言い直し組全 1453 件を分類したコーパ ス (島森ら [7] で作成)を用いる。その中の言い直し 元または言い直し先が 2 文節以上である 617 件を目視で調査した。分析の結果、仮説に基づいて推定で きたものが 303 件、推定できなかったものが 314 件 だと明らかになった。

## 4.2 考察

仮説の方針に従って正しく範囲を推定できなかっ たものの内訳は以下のとおりである。

(1)名詞が連続する 180 件

(2)範囲推定後の言い直し元の範囲以前から言い直 し元が始まる 23 件

(3)編集表現を持つ 97 件

(4)言い直し先の文節に係る 14 件

上記 (1) に当てはまる文を以下に示す。 スペクトル女性の音声スペクトルがこのような ものであった

これは、既存の係り受け解析器が名詞を言いかけ た言い直しを正しく解析できていないことに起因す る。この文を CaboCha で解析した例を以下に示す。

この例では「スペクトル女性の」が一文節だと判断され、「スペクトル」だけ削除されるべきところ 「スペクトル女性の」が削除される。そこで、これ らを異なる文節として扱う必要がある。次の 5 章で 評価するシステムでは対象とせず、 5 章の考察で明 らかとなった他の問題と共に 6 章で係り受け構造を 変換する前処理を行い、7 章で評価する。

上記 (2)に当てはまる文を以下に示す。

## たまに見るいつも見る犬がいる

この例では「たまに見る」が削除され「いつも見る 犬がいる」と修正されるべきである。しかし言い 直し元として検出されるのは初めに出現する「見 る」であり、言い直し元以前の文節は推定範囲外で あるため「たまに」が削除されない。仮にこの例文 が「私が見るいつも見る犬がいる」だとすると、初 めの「見る」だけを削除するのが正しい。このよう に、言い直し元より前の文節が言い直しに含まれる かを判断するタスクは、係り受けの情報だけでなく 文の意味を理解する必要があるため非常に難しい。 そのため、本稿ではこの例は扱わない。

上記 (3) に当てはまる文を以下に示す。

愛していますと言うか好きな

この例では編集表現「と言うか」を持つ「愛してい ますと言うか」を削除し「好きな」と修正するべき である。この編集表現は言い直し先の文節「好き な」に係るため仮説は成り立たない。しかし以前の 調査から編集表現を含む文節はその文節を削除する と修正できることが明らかとなったため、編集表現 を持つ文節があるときはその文節を削除するという 規則をシステムに追加する。上記 (4) に当てはまる文を以下に示す。

解説の意味の解説者の解説の意味の

この例では初めの「解説の意味の」を削除し「解説者の解説の意味の」と修正するべきである。しか し、言い直し元から係る一連の文節「解説の意味 の」が、言い直し先である「解説の意味の」に係る ため仮説が成り立たない。このように言い直し元の 文節が言い直し先に係るようなときは他の規則を用
いて範囲を推定する必要がある。これは今後の課題 とし、本稿では扱わない。

## 5 システムの評価

4 章で検証した範囲推定の方針をシステムに利用 し、 3 章で提案したシステムを評価する。

## 5.1 対象・結果

分析の対象には CSJ のコア講演 177 講演を用い る。CSJによって文末タグが付与されている箇所で 文単位に分割した。得られた文数は 9261 件、言い 直し組は 1705 件であった。上記の分析と同じ講演情報を使用したが言い直し組の数が増加している。 これはデータを分析し直したときに、コーパス作成時に見落としていたものを追加したためで、言い直 しの定義は変化していない。

システムの評価は、システムが削除すると判断し た個所に IOB2 形式のラベルを文字単位で振り、削除単位ごとに一致しているかを調べ適合率、再現率、 $\mathrm{F} 1$ 值を求めた。評価の結果によると、適合率は 0.046、再現率は $0.300 、 F 1$ 值は 0.080 であった。

## 5.2 考察

本システムを評価した結果によると適合率が非常 に低いことが明らかとなった。適合率低下の大きな 要因には不適切な検索範囲と名詞連接の 2 つがあっ た。以下にそれぞれ修正を誤った例を示し考察す る。例では、システムが削除した個所をく〉で囲う。

## 5.2.1 不適切な検索範囲

誤検出が増えた原因として言い直し候補の検索範囲に文節数を利用したことが挙げられる。

取り敢えず失業保険もくありますし>七か月ぐら いは<収入が>あるんでねしばらくは親の収入に 頼らなくても大丈夫です。

上記の例には本来言い直しと判断されるべきものは ない。しかし、「ある」と「収入」といった自立語が 共通している文節が言い直しとして判断されてい る。削除された文節はそれぞれ「失業保険もある」「収入がある」「収入に頼る」と異なる節を構成して いるため、言い直しでないと人が判断することは容易である。そこでシステムが同様の構造を理解する ことで誤検出を減らせると考えた。そこで 6 章で、検索範囲として節境界を利用することを提案する。

## 5.2.2 名詞連接

名詞連接とは名詞が続くことを指す。言い直しが 発生すると、上述した「スペクトル女性の」のよう に意図しない名詞連接が生じ、正しく構文解析が行 われないことが多い。また以下のように、複合語と して扱いたいものとの区別も難しい。

<被験者情報は>被験者から個別で聴取した

上記の例には本来言い直しと判断されるべきもの はない。しかし「被験者情報は」と「被験者から」 が言い直しとして判断されている。「被験者情報」 を複合語と判断できれば誤検出の減少を期待でき る。そこで 6 章では、名詞連接が、言い直しによる 意図しないものか、複合語かを正しく判断し、言い 直しであれば正しい係り受け構造に変更する前処理 について検討する。

## 6 システムの改善

5 章の考察をもとに提案システムを改善する。

## 6.1 節境界の利用

同一節内のみを対象とするように言い直し組の検索範囲を変更する。節境界の推定には日本語節境界推定プログラム CBAP[8]を利用する。

## 6.2 係り受け構造の修正を行う前処理

名詞連接を正しく扱うために、システムが言い直 しを検出・修正する前に係り受け構造を変更するよ うな前処理を行う。文中に出現する名詞連接は、複合名詞の場合と、「スペクトル女性」のように名詞 のみの言い直しの後に名詞から始まる文節が続く場合がある。本研究では後者を積極的に言い直しとし て認識したい。そこで、あらかじめ複合名詞の候補 を見つけ言い直しの対象から外し、それ以外の名詞連接について言い直しの可能性を確認する。具体的 には名詞連接のうち、同一講演で複数登場するも のは、複合名詞として不可分な一つの名詞として 扱う。その後、複合名詞でない名詞連接の係り受け を変更する。具体的には名詞 A(A1) と名詞 B の連接があり、 $\mathrm{AB}$ と同一節内で $\mathrm{A}$ を持つ他の文節 (A2) が存在したとき、A1 の係り先を A2 の係り先に合 わせる。上記の「スペクトル女性の音声スペクトル がこのようなものであった」の例では「スペクトル (A1) 女性 (B)」という連接に対して「音声スペクト ル (A2)が」という文節が同一節内に存在するため以下のように係り受けを変更する。

## 7 改良したシステムの評価

## 7.1 対象・結果

改良したシステムを評価する。評価方法はベース ラインシステムの時と同様である。クローズドテス トではベースラインシステムの評価と同じデータ を用いる。オープンテストでは非コア講演 40 講演 を用いる。 5 章と同様の文分割を行い、文数は 1996 件、言い直し組は 297 件であった。

クローズドテストの結果は表 1 に、オープンテス トの結果は表 2 に示す。

表 1 クローズドテスト

表 2 オープンテスト

## 7.2 考察

節境界と前処理を利用することで精度が向上し た。しかし改善後でもうまく修正できなかったもの も存在する。例えば CBAP が口語的な節境界を正し く判断できていないものがあった。新たに節境界の 規則を追加することを検討している。他にも「リン ゴを食べ食べました」のような動詞の言い直しは修正できていなかった。動詞の後には何らかの節境界 が付与されることが多く、検索範囲から外れるため である。また、講演中に一度しか出現しない複合語 も多数存在しており、それらは言い直しによる意図 しない名詞連接と同列に扱われていた。そのため、名詞連接の判定も不十分で今後の課題である。

## 8 まとめ

本稿では日本語話し言葉の言い直し現象を検出、修正するシステムを提案し、その評価を行った。上記の課題に加えて、異なる語彙を用いた言い直しを 判定するために類似性を判定することや、言い直し の範囲をより正確に推定するために並列構造を組み 込むことが今後の課題である。

## 参考文献

[1] Christine Nakatani and Julia B Hirschberg. A speech-first model for repair detection and correction. 31st Annual Meeting of the Association for Computational Linguistics, Vol. 13, No. 1, pp. 46-53, 1993.

[2] 丸山岳彦, 佐野信一郎. 自発的な話言葉に現れる言い 直し表現の機能的分析. 言語処理学会第 13 回年次大会発表論文集, pp. 1026-1029, 2007.

[3] 国立国語研究所. 『日本語話し言葉コーパスの構築法』. 国立国語研究所報告 No.124, pp. 1-552, 2006.

[4] 下岡和也, 河原達也, 内元清貴, 井佐原均. 『日本語話 し言葉コーパス』における自己修復部 (d タグ)の自動検出および修正に関する検討. 情報処理学会研究報告音声言語情報処理（SLP）, Vol. 2005, No. 50, pp. 95-100, 2005

[5] 藤井はつ音, 岡本紘幸, 斎藤博昭. 日本語話し言葉にお ける自己修復の統計モデル. 言語処理学会第 10 回年次大会発表論文集, pp. 2-7, 2004.

[6] 内元清貴, 丸山岳彦, 高梨克也, 井佐原均. 『日本語話 し言葉コーパス』における係り受け構造付与. 国立国語研究所平成 15 年度公開研究発表会予稿集, 2003.

[7] 島森瑛貴, 阪本浩太郎, 渋木英潔, 森辰則. 自発的な独話における可読性向上のための言い直し表現の定義 と分析. 言語処理学会第 27 回年次大会発表論文集, pp. 365-370, 2020

[8] 丸山岳彦, 柏岡秀紀, 熊野正, 田中英輝. 節境界自動検出ルールの作成と評価. 言語処理学会第 9 回年次大会発表論文集, pp. 517-520, 2003.


# 段落構造を利用した BERT に基づく事前学習

湯浅 亮也 谷和樹 田村晃裕 加藤恒夫
同志社大学 理工学部
}

\{cguc0095@mail4, cguc1070@mail4, aktamura@mail, tsukato@mail\}.doshisha.ac.jp
## 概要

本研究では，文書の段落構造を利用した BERT に 基づく事前学習手法を提案する. 従来の BERT ベー スの事前学習手法では，通常，文単位の連続性を学習する。また，文書における各文の位置づけは考慮 しない。一方，Wikipedia 文書などの文書では，文は 段落単位でまとめられ，各段落は見出しによって整理されている。そこで本研究では，段落単位のまと まりとつながり及び見出し情報を考慮した事前学習手法を提案する. livedoorニュースコーパスを用い た文書分類タスクで評価した結果，従来の BERT と 比較して，統計的に有意な性能改善（ $\mathrm{F}$ 值のマクロ 平均が $+0.77(\%) ）$ を確認した。

## 1 はじめに

近年，NLP の分野では，大規模コーパスから単語 や文などのテキストの汎用的な分散表現を事前に 学習する事前学習手法が数多く提案されている. 特 に，BERT をべースとした事前学習手法を活用する ことで，様々な NLP タスクにおいて最高精度が更新されている.

従来の BERT ベースの事前学習では，通常，文単位でトークンのまとまりを捉え，文間の接続関係や 文脈を考慮した単語や文の分散表現を事前学習す る $[1,3,4,8]$. 一方，Wikipedia 文書を筆頭に，事前学習で使われる文書の中には，文が段落単位でまと められ，各段落が見出しによって整理されている文書が多い. Wikipedia の記事「機械学習」の概略を図 1 に示す. 図 1 の文書では，記事の内容が「 1 概要」 や「1.1 定義」といった見出しで整理されており，各内容は「段落 $\mathrm{A}\lrcorner$ や「段落 $\mathrm{B}\lrcorner$ のような段落単位の まとまりで記述されている。しかし，従来の BERT ベースの事前学習ではこのような段落単位の情報や 見出し情報を活用できない.

そこで本研究では，段落単位のまとまりとつなが り及び見出し情報を考慮する，文書の段落構造に基
1 概要

1.1 定義

【段落 A】

【段落 B】

1.2 変数の種類

2 教師あり学習

2.1 概要

2.1.1 訓練フェーズと汎化フェーズ

【段落 C】

図 1 Wikipedia 文書の例（機械学習）

づく BERT による事前学習手法を提案する。具体的 には，BERTへの入力を段落単位にし，2つの段落 が連続するかを判定する事前学習を行うことで，段落単位のまとまりとつながりを反映した分散表現 を学習する．また，段落が見出しに属するかを判定 する事前学習を行うことで，各段落の見出しを反映 した分散表現を学習する．段落同士の連続判定及び 段落の見出しへの所属判定は，Sentence-BERT[5] の Classification Objective Function を用いて分類問題を 解くことで実現する.

livedoor ニュースコーパスを用いた文書分類夕 スクで提案の事前学習手法を評価した結果，従来 の BERT を用いた場合よりも $\mathrm{F}$ 値のマクロ平均が $0.77 \%$ \%) 高くなり，統計的に有意な性能改善を確認 した.

## 2 従来手法

## 2.1 BERT

BERT[1] は Transformer Encoder[6] に基づくモデル であり，様々な NLP タスクにファインチューニン グ可能で汎用的な分散表現を獲得するための事前学習モデルである。大量のラベルなしテキストから 事前学習された分散表現を用いて，目的のタスクに

図 2 Sentence-BERT (Classification Objective Function) モデ ルの概要図

ファインチューニングすることにより，学習時間の 短縮や目的タスクの教師データが少量であっても高精度を達成することが可能である.

事前学習では，ラベルなしテキストデータを用い $\tau$, Next Sentence Prediction (NSP) と Masked Language Model（MLM）の 2 つの教師なし学習を行う. NSP では，同時に 2 つの文を入力し，入力された 2 文 が連続するか否かの分類問題を解くことで，文の 接続関係を考慮した分散表現を得る．MLMでは，入力トークンをランダムにマスクし，マスク前の トークンを推定する問題を解くことで，文脈を考慮 した分散表現を学習する。これらの事前学習では，入力の先頭に [CLS]トークン，各文の最後に [SEP] トークンを付与し，[MASK] トークンを用いてマス クした入力系列を使用する (例：[CLS] the man went to [MASK] store [SEP] he bought a gallon [MASK] milk [SEP] ）. NSP では [CLS] トークンの分散表現に基づ き 2 值分類を行う。

この事前学習では，Wikipedia や BookCorpus [9] の 文書を学習データとして用いている。これらの文書 は，本来，段落単位でまとめられ，各段落が見出し によって整理されている. しかし, 従来の事前学習 では，見出し情報は陽に利用しておらず，また，文 より大きい単位（段落など）のまとまりやつながり を捉えることが困難である。

## 2.2 Sentence-BERT

Sentence-BERT [5] は事前学習済み BERTを Siamese Network で用いてファインチューニングすることで，文の埋め込み表現を獲得する手法である. 事前学習済み BERT モデルの出力側に文の分散表現を取 り出すための pooling 層を加えたモデルを Siamese Network 内の共有モデルとして使う．先行研究では pooling 層の演算として，CLS，MEAN，MAXの 3 種類が提案されている. CLS は [CLS] トークンの分散表現，MEAN は全トークンの分散表現の平均ベク トル，MAX は全トークンの分散表現に対して各特徵量の最大のものを取る max-over-time 演算を行っ たべクトルを文の分散表現とする。この Siamese Network モデルを文間の類似性に基づき学習する.使用する学習データに応じて, 分類問題, 回帰問題, Triplet Loss で学習する方法が提案されている.

後述の提案手法では, Classification Objective Functionを用いた分類問題で学習する Sentence-BERT を利用する。モデルの概要を図 2 に示す.この Sentence-BERT は， 2 文 A, B を BERT に個別に入力 し, pooling 層で各文の分散表現を取り出す。その 後, 求めた 2 つの分散表現と要素ごとの差の絶対值ベクトルを結合し，結合したべクトルに基づき softmax classifier で 2つの入力文が連続するか否かの 2 値分類を行う（式 (1)）.

$
\operatorname{softmax}\left(W_{t}(\mathbf{u}, \mathbf{v},|\mathbf{u}-\mathbf{v}|)\right)
$

ここで $\mathbf{u}$ と $\mathbf{v}$ ，それぞれ，文 $\mathrm{A} と \mathrm{~B}$ の分散表現で あり,$W_{t}$ は学習される重み行列である.

## 2.3 その他の事前学習手法

BERT の派生モデルとして, XLNet [8] や RoBERTa [4], ALBERT [3] などの多くの事前学習モデルが提案されている. XLNet の事前学習で は，NSPを廃止し，[MASK] トークンは使用せず にトークンの予測順序を入れ替える permutation language modeling を学習している. RoBERTa $の$ 事前学習でも NSP が廃止されている。また, ALBERT の 事前学習では，NSP の代わりに，文章の順序を予測 する sentence-order prediction を行っている.

これらの従来モデルにおいても，段落単位での連続性は学習されておらず，また，見出し情報が活用 されていない.

図 3 段落構造を利用した事前学習モデルの概要図

## 3 段落構造を利用した事前学習

本節では文書の段落構造を利用した BERT による 事前学習手法を提案する. 事前学習で用いる文書の 多くは，文が段落単位でまとめられ，各段落が見出しによって整理されている. そこで提案手法で は，段落単位のまとまりとつながり及び見出し情報 を反映した分散表現を事前学習する．具体的には， BERTへの入力を段落単位にし， 2 つの段落が連続 するか否かを推定する連続判定と, 段落が見出しに 所属するか否かを推定する所属判定を行う.

提案手法の概要を図 3 に示す. モデル構造は 2.2 節で説明した Classification Objective Function を用い た Sentence-BERTを利用する. 図 3 の全ての BERT の重みは共有されており，pooling 層は MEANを用 いる. そして, 段落同士の連続判定及び段落の見出 しへの所属判定は Classification Objective Function を 用いて 2 値分類問題として解く.

段落同士の連続判定は, 図 3 の中央の softmax classifier で行う. 2 つの段落 A と B に対して，BERT と pooling 層で各段落の分散表現を抽出する. その 後, 式 (1)を用いて，段落 A の次に段落 B が繋がる か否かの 2 值分類を行う. 式 (1)における $\mathbf{u}$ と $\mathbf{v}$ は， それぞれ，前方段落（段落 A）と後方段落（段落 B） の分散表現となる. この事前学習では, 本来の文書内で連続する 2 つの段落の後方段落を，50\%の確率 で，異なる文書から無作為に取り出した段落に置き 換えたデータを学習データとする。

段落同士の連続性を 2.1 節で説明した BERT の NSP ではなくSentence-BERT の構造で学習した理由は，各段落を個別に BERT の入力にすることで， [CLS]トークンを段落同士の接続関係を表すべクト ルではなく，各段落の分散表現として事前学習する ためである.

段落の見出しへの所属判定は, 図 3 の左右の softmax classifier で行う. 2 つの段落 A，B と 2 つの 見出し A，B に対して，BERT と pooling 層で分散表現を抽出する。その後，式 (1)を用いて，段落 A が 見出し A に，段落 B が見出し B に所属するか否か をそれぞれ 2 值分類する。式 (1)における $\mathbf{u} と \mathbf{v}$ は，

分散表現となる。この事前学習では, 本来の文書内 に存在する見出しと段落の対に対して，見出しを， $50 \%$ の確率で，異なる文書にある異なる見出しに置 き換えたデータを学習データとする。

ここで，Wikipedia 文書の見出しは予め決められ ておらず，文書作成者が任意の名前を付けられるこ とに注意されたい，任意の見出しが出現する可能性 があるため，提案手法では，予めクラスを仮定した 多クラス分類ではなく，段落が見出しに属するか否 かの 2 クラス分類で見出し情報を取り込む.

## 4 実験

従来の BERT モデルと提案手法により事前学習 された BERT モデルを，それぞれ， livedoorニュー スコーパス1)を用いた文書分類タスクでファイン チューニングし，その文書分類性能を比較すること により，提案の事前学習手法の有効性を検証する。

## 4.1 実験設定

事前学習 本実験では，段落間の連続判定と段落 の見出しへの所属判定の両方を導入した提案の事前学習モデルに加えて，段落間の連続性判定のみ導入 した事前学習モデル，段落の見出しへの所属判定の みを導入した事前学習モデル，従来の BERT モデル を事前学習モデルとして用いた場合の性能を評価 する。

従来の BERT モデルは, 東北大学 BERT の bertbase-japanese-whole-word-masking ${ }^{2}$ を使用した. そ の他の提案手法の事前学習モデルは，従来の BERT モデルを初期値として，Wikipedia $の$ jawiki-latestpages-articles.xml.bz2 ${ }^{3)}$ を用いて 3 節で提案した方法 で学習した. 見出しへの所属判定で用いる見出し

1) https://www.rondhuit.com/download.html\#ldcc

2) https://huggingface.co/cl-tohoku

3) https://dumps.wikimedia.org/jawiki/latest/
表 1 livedoorニュースコーパス

は，段落が属する最上位の見出しを用いた。例え ば，図 1 においては，段落 A と段落 B の見出しは 「概要」, 段落 C の見出しは「教師あり学習」とした. sentence-transformers ${ }^{4}$ のライブラリを用いて実装し， BERTへの最大入力長は 512 とした. その他のパラ メータは, Sentence-BERT[5] の実験設定に倣い, エ ポック数を 1 , 学習率を $2 \mathrm{e}-5$ とし, 最適化手法には Adam [2] を用いて, 学習データ全体の $10 \%$ に対して warm-upを行った.

ファインチューニング 本実験の評価は, livedoor ニュースから収集されたニュースコーパスを用い た多クラス文書分類で行う.このデータセットは 7,367 件の記事で構成されている. 従来研究 [10] に 倣い，各記事の収集元である記事サイトをクラスと する. クラス数は 9 である. 表 1 に各クラスの記事数を示す. また，各記事はURL，日付，タイトル，本文で構成されているが，本研究では，タイトルと 本文を結合したテキストからクラスを分類する。

文書分類モデルは，事前学習した BERT の出力側に, [CLS]トークンの分散表現に基づき softmax classifier でクラスを決める出力層を加えたモデルで ある. この文書分類モデルを，多クラス文書分類 タスクでファインチューニングする。 なお，提案手法の事前学習モデルにおいては, Sentence-BERT の構成要素のうち, 事前学習した BERT 部分を使 う. simple-transformers ${ }^{5}$ のライブラリを用いて実装 した. 最大入力長さは 256 とし, エポック数, 学習率，バッチサイズは，それぞれ，100，2e-5，32とし た.その他のパラメータは, simple-transformers ライ ブラリのデフォルトの値を用いた.

4) https://github.com/UKPLab/sentence-transformers

5) https://github.com/ThilinaRajapakse/simpletransformers表 2 実験結果

## 4.2 実験結果

評価は 5 分割交差検証で行った. 交差検証では, 1 fold をテストデータとし, 残りの 4 fold の内, $80 \%$ を学習データ，20\%を開発データとした。評価指標 には $\mathrm{F}$ 值のマクロ平均を用いた。

表 2 に実験結果を示す. 表 2 より, 従来の BERT モデルと比較して，提案の 3 つの事前学習モデル は，いずれも高い分類性能を達成できることが確認 できた. また，3つの提案のモデルの中で，段落同士の連続判定と見出しへの所属判定の両方を導入し たモデルが最も高い性能を達成した. 最高性能を達成した提案モデルと従来の BERT モデルを用いた場合の文書分類結果の差に対して符号検定を行った 結果，有意水準 $1 \%$ で有意であった. このことから，段落同士の連続性や見出し情報を考慮して分散表現 を事前学習することは，文書分類タスクで有効であ ることが確認できた. また，段落の連続性の情報と 見出し情報のそれぞれを考慮するよりも，両方を考慮した方が結果が良いことから, 段落同士のまとま りと見出し情報の両方が，文書の特徴を求める際の 重要な手がかりになることが実験的に確認できた。

## 5 おわりに

本研究では，事前学習に用いる文書は段落でまと められており，各段落は見出しによって整理されて いることに着目し, これら 2 つの特徴を利用した BERT に基づく事前学習手法を提案した. 提案手法 では, BERTに段落単位で大力し, 2 つの段落の連続判定と段落の見出しへの所属判定による事前学習を 行うことで，段落情報をテキストの分散表現の事前学習に取り入れた. 提案の事前学習手法を, livedoor ニュースコーパスを用いた文書分類タスクで評価し た結果, 従来の BERT と比較して, 統計的に有意に 高い性能が実現できることを確認した。

今後は，NLPのベンチマーク評価である GLEU [7] など，文書分類タスク以外で，提案の事前学習モデ ルの有効性を確認したい。

## 謝辞

本研究の一部はトランスコスモス株式会社との共同研究により得られたものである. 本研究を支援し てくださった，トランスコスモス株式会社の伊藤和真氏，及川秀俊氏，濱田充男氏，大林弘明氏に感謝申し上げます。また，本研究を進めるにあたり貴重 な助言をしてくださった，愛媛大学の二宮崇先生，梶原智之先生，秋山和輝氏に感謝を申し上げます.

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[2] Diederik P Kingma and Jimmy Ba. Adam: A method for stochastic optimization. arXiv preprint arXiv:1412.6980, 2014.

[3] Zhenzhong Lan, Mingda Chen, Sebastian Goodman, Kevin Gimpel, Piyush Sharma, and Radu Soricut. Albert: A lite bert for self-supervised learning of language representations. arXiv preprint arXiv:1909.11942, 2019.

[4] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach. arXiv preprint arXiv:1907.11692, 2019.

[5] Nils Reimers and Iryna Gurevych. Sentence-BERT: Sentence embeddings using Siamese BERT-networks. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3982-3992, Hong Kong, China, November 2019. Association for Computational Linguistics.

[6] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in Neural Information Processing Systems 30, pp. 5998-6008. 2017.

[7] Alex Wang, Amanpreet Singh, Julian Michael, Felix Hill, Omer Levy, and Samuel Bowman. Glue: A multi-task benchmark and analysis platform for natural language understanding. In Proceedings of the 2018 EMNLP Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP, pp. 353-355, 2018.

[8] Zhilin Yang, Zihang Dai, Yiming Yang, Jaime Carbonell, Russ R Salakhutdinov, and Quoc V Le. Xlnet: Generalized autoregressive pretraining for language understanding. Advances in neural information processing systems, Vol. 32, , 2019.
[9] Yukun Zhu, Ryan Kiros, Rich Zemel, Ruslan Salakhutdinov, Raquel Urtasun, Antonio Torralba, and Sanja Fidler. Aligning books and movies: Towards story-like visual explanations by watching movies and reading books. In Proceedings of the IEEE international conference on computer vision, pp. 19-27, 2015.

[10] 菊田尚樹, 新納浩幸. Bertを用いた文書分類タスクへ の mix-up 手法の適用. 第 27 回言語処理学会年次大会, pp. 599-602, 2021.


# 事前学習モデルを用いた音声認識結果からの固有表現抽出

今藤誠一郎 ${ }^{1}$ 上田 直生也 ${ }^{1}$ 岡 照晃 ${ }^{1}$
杉山 雅和 ${ }^{2}$ 邊土名 朝飛 ${ }^{2}$ 小町守 1
1 東京都立大学 2 株式会社 AI Shift
\{kondo-seiichiro, ueda-naoya\}@ed.tmu.ac.jp, teruaki-oka@tmu.ac.jp
\{sugiyama_masakazu, hentona_asahi\}@cyberagent.co.jp,
komachi@tmu.ac.jp

## 概要

本研究では自動音声認識 (Automatic Speech Recognition; ASR）結果からの固有表現抽出（Named Entity Recognition; NER）に取り組む. 認識結果は音声認識誤りや, 略称や別称による未知の固有表現を含む. そ れらを頑健に汲み取る手段の一つとして, 事前学習 モデルを使った文脈の考慮が挙げられる. 大量のテ キストで学習された事前学習モデルの中には, 様々 な文脈情報が獲得されていると期待できる. 本研究では, 事前学習済み BERT と T5を用い, 福井県の 道路交通情報に関する対話システムの履歴に対し NER を行なった. 辞書マッチに基づく単純な手法よ り, BERT と T5 は高精度な抽出が可能であることを 確認した. T5 は未知の固有表現1)についても抽出で きる傾向が見られた。

## 1 はじめに

音声対話システムはユーザーの発話を入力とし， それに自然言語で応答を返す. 本研究ではユーザー の質問や要求などに対して情報を提供するタスク指向対話に取り組む. タスク指向対話の実現には, 地名や人名などの固有表現を正確に認識する必要が ある. 現在の音声対話システムはユーザーの発話を 自動音声認識（ASR）でテキストに変換し, そのテ キストを処理するのが一般的である. 固有表現の認識もこのテキスト処理の中で行われる. 現在我々が 行っている固有表現の認識も, ASRテキストに対し てタスクごとに作成した辞書に基づいてリンキング を行うことで実現している（図1を参照）. 現状は システム主導の対話が主であり, 発話内容の多くが

1）辞書に対象となる語は含まれているが略語や音声認識誤り が含まれていないという意味の未知の固有表現と,そもそも辞書に対象となる語が含まれていないという意味の未知の固有表現があるが, 本研究ではそれらを区別しない.

図 1 : 想定する音声対話システムのフローチャート

固有表現のみである場合が多いため, ASR テキスト をそのままリンキングするのみで事足りる場合が多 い. しかし今後の展望としてユーザー主導のシステ ムを想定する場合, ユーザーは自由な発話をするた め, 固有表現の抽出が課題といえる.

テキストにおける固有表現抽出（NER）に関 してはこれまでさまざまな研究が行われてきた $[1,2,3,4]$. 辞書に基づいてマッチングをとる手法や ルールベースに基づく手法 [1], 系列ラベリングタス クとして機械学習を用いる手法 $[2,3,4]$ などが提案 されている.これらの先行研究では, 人手で書かれた テキストを対象としてきた.このようなテキストと は異なり, ASR テキストは音声認識誤りを含むこと が想定される. したがって従来の手法, 特に辞書べー スやルールベースのもの以上に困難なタスク設定と なっている.

本研究ではテキスト処理部の機能向上を目指し, ASR テキストに対する NER に取り組む. 音声認識結果を処理する場合, End2End で処理した方が良い という先行研究 [5] もあるが, ここでは, モジュール やリソースの柔軟な交換を可能にするため, ASR は 既存のものを利用するという制約の下で行う. ASR テキストを扱うにあたって, 抽出の対象となる固有
表現自体に音声認識誤りが生じることも多いため,文脈に基づくNER を目指す. 文脈の情報を活用する のに, 大量の文を用いて学習されている事前学習モ デルが有効ではないかという考えの下, 大規模事前学習モデルである BERTを用いて NER に取り組む. またノイズの多いテキストには系列ラベリングより も Seq2Seqとして取り組んだ方が良いとの報告 [6] もあるため, エンコーダーデコーダーの事前学習モ デルである T5を用いた実験も行う.

## 2 関連研究

## 2.1 事前学習モデルを用いた NER

事前学習モデルを用いた NER はこれまでにも取 り組まれている. 現在, 事前学習モデルとして広く 利用されている BERT [7] を提案した Devlin らは, CoNLL-2003 の NER タスク [8] において, BERT が fine-tuning を行うことで当時の SoTA 手法と同等の 性能を発揮できることを示した. また, Phan ら [9] は T5 [10] に医学文献を用いてドメイン適合を施し， NER を行なった。

## 2.2 音声認識結果における NER

Wang [11] らは ASR の予測候補上位 $\mathrm{N}$ 個の埋め达 み表現を合成し, 事前に持っている辞書の各固有表現の埋め込み表現とのドット積を利用することで固有表現を獲得した. 本研究では ASR の予測候補のう ち最上位のみを用いる設定で実験を行う. また辞書 に基づいて NER を行う際には, 簡単のため埋め込み 表現は用いず string match で行なった.

英語を対象にニューラルモデルを用いて音声認識結果から NERに取り組んだ研究がある. Arushi ら [12] は ASR による音声認識誤りを含むテキストか ら, 音声通話のための人名抽出タスクに取り組んだ. テキスト情報のみではなく音素情報や ASR から得 られる候補の上位 $\mathrm{N}$ 個, 利用者の所属に関する情報 を用いる手法を提案した. その結果, ノイズを多く含 むようなテキストからの NER で recall を大きく改善 できることを示した. Yadav ら [13] は音声をテキス 卜に変換してから固有表現を抽出するのではなく, $\mathrm{RNN}$ モデルで音声スペクトルから直接固有表現を 表すラベル付きテキストを End2End で出力する研究 を行なった. その結果, より頑健に固有表現を抽出で きるようになると主張している. 本研究では, ASR モデルのアーキテクチャーは変更できず, 予測結果
の最上位以外は利用できないという設定の下, ASR から得られた日本語文の NER にニューラルモデル を用いて取り組む。

日本語の音声認識結果における NER に関する研究は隠れマルコフモデルや SVM を用いたモデルで 見られた. 長谷川ら [14] は音声認識結果から未知の NER に取り組んだ. 隠れマルコフモデルの学習にお いて, 誤り語を特定のシンボルに置き換え, 固有表現 クラス付きの bi-gram の学習および誤りを考慮した クラスの導入を提案した. 須藤ら [15] は ASR テキス トでSVMを学習する際に, ある単語が正しく認識 できているかを表す二値の素性を組み込むことで precisionを向上させられることを示した. 一方, 本研究では音声認識誤りを含むテキストから後続タスク に繋げるため, 固有表現を recall 重視で抽出すること を目的としここれに事前学習モデルを利用する。

湯野川ら [16] はコールセンターにおいて ASR で 書き起こされた日本語テキストにBERTを用いた系列ラベリングにより, 顧客入電意図の抽出を行なっ た. 本研究でも固有表現の抽出を目的に BERT で系列ラベリングを行うとともに, T5を用いた実験も 行う.

## 3 手法

本研究では音声認識誤りを含む ASR テキストか らの NER 評価用のデータとして道路交通情報に関 するデータを用いる. それに伴い, 道路と住所に関す る固有表現の抽出を行う. 前提条件として出力した いラベル（道路と住所）は指定できるものとする。

BERT を用いた抽出 系列ラベリングタスクとし て NER に取り組む. サブワード単位に分割されたテ キストに, 固有表現の先頭に B, 内部・終端に I, 固有表現以外に O のラベルを付与する BIO モデルでラ ベリングを行う. 概略図を図 2 に示す. 道路情報に関 するラベルは “ $\{B$ ，I $\}$-route”, 住所情報に関するラ ベルは“ $\{B ， I\}$-address”として扱う．ラベルを指定 するにあたり, 文頭に “route” または “address”トーク ンを付与し,ラベルとして“B-label”を与える.

T5 を用いた抽出 質問応答タスクとして NER に 取り組む. 文頭に特殊タグを付与したテキストを入力文として与え, 特殊タグに対応する固有表現を出力する.このとき, 抽出された各固有表現の末尾には ラベルがハイフンで連結され, 付与されるような設定となっている. 概略図を図 3 に示す. 道路情報に関 するラベルは “道路名”, 住所情報に関するラベルは
固有表現ラベル

図 2: BERT を用いた NER

図 3: T5を用いた NER

“住所名”として扱う．ラベルを指定するにあたり，文頭に“道路名を抽出せよ:”または “住所名を抽出 せよ:”という特殊タグを付与する.

## 4 実験

## 4.1 データ

本研究では福井県の道路交通情報に関するシステ ム主導型の対話ログを用いNERを行なった. 対話ロ グは発話者が道路名や住所名を発話していると期待 されるターンのものを用いた. 抽出したい固有表現 の辞書が与えられており,この辞書には固有表現と それに対する一部の別称や略称, 音声認識誤りが登録されている（図 1 中の固有表現辞書）. 運用上,こ の辞書を用いて辞書マッチで NER が成功したデー タ（match）と,失敗したデータ（fallback）（表 1）の 両方を NER の対象テキストとして扱った. match の データは辞書マッチでラベル付けを行い2), fallback のデータに関しては, 人手アノテーションで住所と 道路に関する固有表現にラベル付けを行なった3). match を, 低コストで入手できて基本的には辞書マッ

2）明らかに意味的に誤っているラベルに関しては人手でラベ ルを取り除いた。

3）このアノテーションでは音声認識誤りも考慮して行なった. また,辞書にエントリーされていない固有表現に対しても福井県に実在する場合には抽出対象として扱った. 表 1 に示すよ うに抽出すべき固有表現がそもそもテキスト中に存在してい ない場合と, 音声認識誤りや辞書のエントリー不足のために抽出できなかった場合が混在している.表 1: match と fallback のデータ例

(下線部が固有名詞)

 \\

チで抽出できるデータ, fallbackを入手にコストがか かり基本的には辞書マッチで抽出できないデータと して扱う（4.4）. fallbackにはアノテーションの際に 福井県に実在するか否かの基準でアノテーションを 行なったため, match とラベルがついている単語の基準に相違がある.

出力するラベルを指定するという設定に合わせ て, 各文の先頭に提案手法ごとの前処理を施す. 利用 したデータ数について Appendix の表 3 に示す.

## 4.2 実験設定

辞書に基づいた string match, 事前学習モデルであ る BERT, T5 による 3 通りの NER について比較を行 う. BERT モデルは東北大の公開しているモデル4)を 利用し, token-classification 形式の fine-tuning を行なっ た. パラメーターはバッチサイズを 8 , エポック数を 3 , 最大系列長を 258 と設定した. また, $\mathrm{T} 5$ モデルは Megagon Labs の公開しているモデル5) に fine-tuning を行なった. パラメーターは学習率を 0.0005 , バッチ サイズを 8 , エポック数を 20 , 最大系列長を 128 と設定した.いずれも fine-tuning には, Huggingface の公開している Transformers $\left.{ }^{6}\right)$ のスクリプトを用いた.

## 4.3 評価方法

完全一致を真陽性とみなした precision, recall, F1 スコアを算出して評価を行う. また match と fallback のラベル付け基準には相違がある（4.1）ため, それ ぞれのテストセットを別々に評価する. match の評価は辞書マッチで抽出できる固有表現を抽出できる のか, fallback の評価は辞書に含まれない固有表現を 抽出できるのかを示す指標とする.

また本研究における NER は下流タスクで entity linking を行うことを想定している.このとき, 抽出 した固有表現が本来よりも短い場合, 下流タスクに

表 2: string match, BERT, T5 による実験結果

（“c_”: 固有表現をリファレンスよりも長く予測した場合に真陽性としてスコア計算し直したときの結果）

おいて linking が不可能になる可能性が考えられる.一方で, 本来よりも長く抽出した場合の entity linking における問題は軽微であると考える. 従って, 固有表現をカバーできている場合は真陽性とみなすが, カ バーできていない部分一致は偽陽性とみなした評価 も行う. 例えばリファレンスの“8号線”という固有表現にラベルが付与されていた場合, “国道 8 号線” の抽出は認めるが, “8 号” のみの抽出は認めない.

## 4.4 実験結果と考察

学習データに match と fallbackを両方用いた場合 と matchのみを用いたときの, match と fallback それ ぞれのテストセットにおける実験結果を表 2 に示す. BERT と T5 それぞれの NER 結果の実例を Appendix に掲載する。

辞書マッチ match のデータに関してはデータ 自体が辞書マッチで作成されているため recall が 100 となる. precision が 100 にならないのは match の データを作成する際に明らかに間違ってラベルが付 けられていたものを人手で取り除いたため（4.1）で ある. 一方で fallback のデータに関してはどの評価指標においても 50.0 以下であり, 固有表現を十分に 抽出できていないといえる. 本研究ではこのような データに事前学習モデルを用いた NER がどの程度機能するのかを調査した。

BERT match のテストデータに関しては F1 スコ アで 0.8 ポイント下回るものの, 辞書マッチで抽出 できる固有表現は BERTでも同等に抽出できている といえる. c_F1 では 99.2 ポイントの精度であり, 後続タスクのための NER として望ましい結果である。 fallback のデータに関しては, 辞書マッチと比較して matchのみで学習した場合+20.2 ポイント, fallback も含めて学習した場合+43.3 ポイントであることが確認できる. 特に recall のスコアの向上が顕著に見ら れることから, BERT を用いることで辞書マッチで は抽出できなかった固有表現を抽出できていること がわかる. 学習データに match のデータの半分程度 の fallback のデータを加えることで, より大きなスコ アの向上が見られるが, これは match のデータに含 まれない未知語に対しても学習が行われたためだと 考えられる。

T5 T5に関しても BERT 同様の傾向がみられる. match のテストデータに関しては,BERT と同程度の 性能を出せており, 辞書マッチと同等に抽出できて いる. fallback のデータに関しては, match のみで学習 を行うと precision が低くなった. しかし学習データ に fallback のデータを加えることで precision は改善 され, BERT と比較しても F1 スコアで+4.6 ポイント であり，より意図通りに抽出することができた。

## 5 おわりに

本研究では事前学習モデルである BERT と T5 を 用いて, 音声認識結果に対する NER に取り組んだ.実験の結果, 辞書マッチで作成したデータに関して は事前学習モデルを用いても概ね良好に抽出でき た. また学習データに人手アノテーションしたデー タを追加することで, 辞書に含まれていない固有表現に関しても抽出できることを確認した. 今後はよ り文脈を利用することで, 未知の固有表現を含むノ イジーなテキストから頑健に固有表現を抽出するた めの fine-tuning の方法を含めた工夫、例えば固有表現をマスクしたデータを学習データに追加するとい うような検討を行なっていく。

## 参考文献

[1] 竹元義美. 辞書およびパターンマッチルールの増強 と品質強化に基づく日本語固有表現抽出. 情報処理学会論文誌, Vol. 42, No. 6, pp. 1580-1591, 2001.

[2] John D. Lafferty, Andrew McCallum, and Fernando C. N. Pereira. Conditional random fields: Probabilistic models for segmenting and labeling sequence data. In Proceedings of the Eighteenth International Conference on Machine Learning, p. 282-289, 2001.

[3] 内元清貴, 馬青, 村田真樹, 小作浩美, 内山将夫, 井佐原均. 最大エントロピーモデルと書き換え規則に基 づく固有表現抽出. 自然言語処理, Vol. 7, No. 2, pp. 63-90, 2000.

[4] 山田寛康, 工藤拓, 松本裕治. Support Vector Machine を用いた日本語固有表現抽出. 情報処理学会論文誌, Vol. 43, No. 1, pp. 44-53, 2002.

[5] Motoi Omachi, Yuya Fujita, Shinji Watanabe, and Matthew Wiesner. End-to-end ASR to jointly predict transcriptions and linguistic annotations. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 1861-1871, 2021.

[6] Stefan Constantin, Jan Niehues, and Alex Waibel. Incremental processing of noisy user utterances in the spoken language understanding task. In Proceedings of the 5th Workshop on Noisy User-generated Text (W-NUT 2019), pp. 265-274, 2019.

[7] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, 2019.

[8] Erik F. Tjong Kim Sang and Fien De Meulder. Introduction to the CoNLL-2003 shared task: Language-independent named entity recognition. In Proceedings of the Seventh Conference on Natural Language Learning at HLTNAACL 2003, pp. 142-147, 2003.

[9] Long N. Phan, James T. Anibal, Hieu Tran, Shaurya Chanana, Erol Bahadroglu, Alec Peltekian, and Grégoire Altan-Bonnet. SciFive: a text-to-text transformer model for biomedical literature. CoRR, Vol. abs/2106.03598, , 2021.

[10] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. Journal of Machine Learning Research, Vol. 21, No. 140, pp. 1-67, 2020.

[11] Haoyu Wang, John Chen, Majid Laali, Kevin Durda, Jeff King, William Campbell, and Yang Liu. Leveraging ASR $\mathrm{N}$-Best in Deep Entity Retrieval. In Proceedings of the Interspeech 2021, pp. 261-265, 2021.

[12] Arushi Raghuvanshi, Vijay Ramakrishnan, Varsha Embar, Lucien Carroll, and Karthik Raghunathan. Entity resolution for noisy ASR transcripts. In Proceedings of the 2019 Conference on Empirical Methods in Natural
Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLPIJCNLP): System Demonstrations, pp. 61-66, 2019.

[13] Hemant Yadav, Sreyan Ghosh, Yi Yu, and Rajiv Ratn Shah. End-to-end named entity recognition from English speech. In Proceedings of the Interspeech 2020, pp. 4268-4272, 2020.

[14]長谷川隆明, 林良彦. 隠れマルコフモデルに基づく音声認識結果からの固有表現抽出. 言語処理学会第 9 回年次大会, pp. 533-536, 2003.

[15] Katsuhito Sudoh, Hajime Tsukada, and Hideki Isozaki. Incorporating speech recognition confidence into discriminative named entity recognition of speech data. In Proceedings of the 21 st International Conference on Computational Linguistics and 44th Annual Meeting of the Association for Computational Linguistics, 2006.

[16] 湯野川八雲, 久保優騎. BERT によるコールセンタロ グからの顧客入電意図抽出. 第 92 巻, p. 04, 2021.

## A データセット

表 3: 実験に利用したデータ情報

(発話数と各ラベルが付与された単語数)

## B 出力例

表 4: match のデータにおける NER 失敗例

T5 で抽出に成功して BERT で失敗した例, BERT で抽出に成功して T5 で失敗した例, 両方で失敗した例を, match と fallback それぞれのデータセットについて表 4 および表 5 に示す.

match のテストデータは辞書マッチに基づいて作成されているため, リファレンスには吉田郡や田尻町が含 まれていないが,これらは実際には福井県に存在する地名であり, 実際には抽出した方が良い例となっている. “イチゴった一”は “158 号線”のことを“いちごっぱ” と発話することがあり,それを認識誤りしたものと考え られる.このような例は BERT も T5 も抽出が難しいことが確認できる.

fallback に示す “青年の道” は学習データには含まれていないが, 実際に福井県に存在する道路名である. T5 が抽出できたのは, 末尾についている “道”という単語から道路名であると予測したためと考えられる. T5 の みがこのような文脈から予測をできた理由として, モデル構造の違いと事前学習時のデータ量の違いが考え られるが，この要因の特定は今後の研究課題である. BERT と T5 の両方が“高みの（方の）”を住所を表す固有表現として抽出しているが, 方向を表すような表現から文脈的にこれらのモデルが固有表現を抽出しょう としたことが推測される。


# 英語の言語モデルに内在する種差別的バイアスの分析

竹下昌志
北海道大学大学院情報科学院
takeshita.masashi@ist.hokudai.ac.jp
}

ジェプカ・ラファウ
北海道大学大学院情報科学研究院
rzepka@ist.hokudai.ac.jp
}

荒木健治

北海道大学大学院情報科学研究院

araki@ist.hokudai.ac.jp
## 1 はじめに

自然言語処理 (NLP) 分野において，単語埋め込み に内在する社会的バイアスが研究されている $[1,2]$.例えば，単語埋め込みを用いて「男が医者なら女は $\mathrm{X}$ という類推を行うと，Xには「看護師」が入ると 予測される [3]. このようなバイアスはダウンスト リームタスクに影響を及ぼす。例えば共参照解決に おいて，ステレオタイプ的な事例（例：「彼女は看護師である.」) での精度は反ステレオタイプ的な事例 （例:「彼女は医者である.」）での精度より高い [4].

既存研究で対象とされている社会的バイアスの 属性は，ジェンダー $[3,5,6]$ ，人種 $[6,7]$ ，宗教や民族 [6] などであり，これらはすべて人間のアイデン ティティを想定している。しかし，非ヒト動物を対象としたバイアス研究は存在しない.

本稿ではテンプレート文と Masked Language Model (MLM) を用いて，英語の事前学習済みの言語モデ ルに内在する非ヒト動物に対するバイアス，すなわ ち種差別的バイアスを調査する。

本稿で調査するバイアスは Blodgett ら [2] の分類 にしたがってステレオタイプ化 (stereotyping) とす る. システムの動作が有害なステレオタイプ化であ るとは，システムが「特定の社会集団について否定的な一般化を広める」[2, p.5456] ことである. ただ し，我々は社会集団に非ヒト動物たちも含める。

## 1.1 倫理的考察：非ヒト動物と NLP 技術

本稿の研究目的に対して，二つの批判が考えられ る. 第一の批判は, 非ヒト動物に有害なバイアスが 存在するとしても，それは倫理的に問題ない，とい うものである。しかし我々は利益に対して平等に配慮すべきであり，利益を持つ者が誰であるかによっ
て差別するべきではない $[8, \mathrm{p} .40]$ 。また平等に配慮 する義務を認めないとしても，非ヒト動物が何らか の道徳的配慮に值する存在であることはほとんどの 人が認めるだろう。もしそうであるならば，彼女ら/彼らに有害なバイアスの研究は重要である.

第二の批判は，仮に非ヒト動物が何らかの道徳的配慮に値するとしても，非ヒト動物は NLP 技術を 直接利用しないため，NLP 技術は非ヒト動物に害を 及ぼさない，というものである.

しかし，我々は二つの理由から，NLP 技術の種差別的バイアスの研究は重要であると考える.

第一に，我々の言語は我々の思考に影響を与える [9] ため，否定的なバイアスを内在する NLP 技術の 利用は，我々自身がもつ否定的なバイアスを強化す る可能性がある.こうした否定的なバイアスの強化 は特定の社会集団に対する差別を生み出す可能性が ある [10].そのため，NLP 技術に内在する否定的な バイアスは，特定の社会集団，つまり非ヒト動物集団に対して間接的に害を与える可能性がある.

第二に，単語埋め込みに内在するバイアスは我々 の認知や社会構造に内在する社会的バイアスを反映している [5]．したがって単語埋め込みやコーパ スに内在する種差別的バイアスを分析することで，我々の認知や我々の社会がもつ種差別的バイアスの 分析に貢献できると考える.

以上の理由から，我々は，NLP技術に内在する種差別的バイアスの研究は重要であると考える.

## 2 関連研究

## 2.1 Masked Language Models (MLMs)

MLM は，入力文中のマスクされたトークンに入 る確率を予測する言語モデルである．代表的なモ

デルとして BERT [11] がある. BERT は Transformer [12]を用いた大規模言語モデルであり，MLMを目的 としたタスクと Next Sentence Prediction (NSP) の二種類の事前学習タスクを行う．MLM では，入力文を トークンに分割し，その一部をランダムに<MASK> トークンに置換し，<MASK>トークンに入る単語の 予測を目的としてモデルを学習させる. NSP では，二つの文を入力とし，第二文が第一文に続く文であ るか否かの分類を目的としてモデルを学習させる.

また，BERT の改良モデルとして RoBERTa [13] が 提案されている. RoBERTaは，BERT と比較してよ り大きなモデルとコーパスを用いて事前学習を行っ たモデルである。また BERT と異なり，事前学習で は MLMのみを行う。

## 2.2 単語埋め込みに内在する社会的バイ アス

既存研究で, Word2Vec [14] などの単語埋め込 みや，BERT などの文脈化単語埋め込みに社会的バイアスが内在していることが示されている $[3,5,7,15,6]$. 既存研究では, 文脈化単語埋め込み の社会的バイアスの評価はテンプレート文を用いて 行われている $[15,16]$. テンプレート文を用いるこ とで，評価対象の属性以外の属性を入力することな く，その属性の社会的バイアスを評価できる。

Kurita らは BERT などの MLM のバイアス評価方法を提案した [15]. 評価方法は次の通りである。

1. 以下のようなテンプレート文を用意する.

例: “<TARGET> is a $<$ ATTRIBUTE $>$.

2. <TARGET>を<MASK>で置換し, 確率 $p_{t g t}=$ $\mathrm{P}(<\mathrm{MASK}>=<$ TARGET $>\mid$ 文) を計算する.

3. <TARGET>と<ATTRIBUTE>の 両方を <MASK>で 置 換 し, 確率 $p_{\text {prior }}=$ $\mathrm{P}(<\mathrm{MASK}>=<$ TARGET>|文) を計算する。
4. $\log \frac{p_{\text {tgt }}}{p_{\text {prior }}}$ によって関連度を計算する.

Kurita らはこの方法によって，BERT が社会的バイ アスを内在することを示した。

しかし，単語埋め込みに内在する種差別的バイア スを分析した研究は存在しない。本稿では MLMs に内在する種差別的バイアスを調査する。

## 2.3 種差別と言語

種差別 (speciesism) とは「自身の種のメンバーの 利益を支持し，そして他の種のメンバーの利益には 反対する偏見ないし偏った態度」 $[8, \mathrm{p} .41]$ のことで
ある. 利益を持つ主体としての非ヒト動物はヒトと 平等に配慮されるべき存在であり $[8, \mathrm{p} .40]$ ，我々は 非ヒト動物に対する差別的行動をやめるべきであ る.しかし我々は, 肉食や動物実験を代表として，非ヒト動物に差別的である $[8$, ch.2, 3] .

また我々は，言語使用においても非ヒト動物をヒ ト以下の存在またはモノとして扱っている。例えば 「彼女/彼はチ*ンだ」1）という表現は，その人が臆病 であることを示しているが，この表現は，その人を 臆病であると侮辱すると同時に，䳕一般に対しても 侮辱する [17] . 非ヒト動物をモノとして扱う例と しては，非ヒト動物を“it” “something”とよぶこ とや，非ヒト動物を指す関係詞に“that”や"which" を用いることなどがある [18]．以上のように英語 には種差別的表現がみられ，このようなバイアスが MLMs に反映されている可能性がある。したがって 本稿では英語の MLMs を対象とする。

我々の思考は言語に影響を受ける [9] ため，種差別的言語の使用は非ヒト動物に対する種差別の維持 につながると考えられる [18]．したがって，我々は 種差別的言語の使用を避けるべきである2).

## 3 評価方法

本章では BERT と RoBERTa に内在する種差別的 バイアスの評価方法を説明する．本稿では，(1)テ ンプレート文を変えることで<MASK>トークンに 入る単語の確率がどれほど変化するかを調べ，ま た (2)<MASK>トークンを置換したテンプレート文 に対する感情分析を行うことによって，MLMs に内在する種差別的バイアスを評価する. 本稿で使用す るモデルは BERT $\left._{\text {LARGE-uncased }}{ }^{3}\right)$ と RoBERTa $\left._{\text {LARGE }}{ }^{4}\right)$ で ある。また本稿で使用する非ヒト動物の一般名は， North American Meat Institute の統計5) で用いられる 食肉名に対応する “cow”, “cattle”, “pig”, “chicken”,

1）本稿の文が将来的に言語モデルの学習に使われる可能性を 考慮し，有害なバイアスにつながる可能性のある文をアスタ リスク（*）によって隠している．ただし，この文が有害なバ イアスにつながるのは現在の社会が種差別的だからであり，理想的には有害であってはならない [17] .

2）我々は以下の非種差別的言語のガイドラインにしたがっ て本文を記述している . 我々は,非種差別的言語の使用を推奨する.

3）https://huggingface.co/bert-large-uncased [閲覧日: 2021 年 1 月 5 日

4）https://huggingface.co/roberta-large [閲覧日：2021 年 1 月 5 日]

5) https://www.meatinstitute.org/index.php?ht=d/sp/i/ $47465 /$ pid/47465 [閲覧日 $: 2021$ 年 1 月 5 日]
“sheep", “turkey”とする.

## 3.1 確率変化によるバイアス評価

## テンプレート文の基本形を

<PRONOUNS> is a <NAME> <RELATIVE> is $<$ MASK>

とする.ここで<PRONOUNS>には代名詞が， <NAME>には非ヒト動物の一般名が，<RELATIVE> には関係代名詞が入る. 我々は<PRONOUNS>と <RELATIVE>を変えることで，<MASK>に入る単語の予測確率の変化によって<NAME>について のバイアスを評価する。我々は，<PRONOUNS>と <RELATIVE>について，以下の組み合わせを用いる。

・ヒト文
- She is a <NAME> who is <MASK>.

$-H e$ is a $<$ NAME> who is <MASK>.
- モノ文
- This is a <NAME> which is <MASK>.
- That is a <NAME> which is <MASK>.
- It is a $<$ NAME> which is <MASK>.
- This is a <NAME> that is <MASK>.
- That is a $<$ NAME $>$ that is $<$ MASK>.

- It is a $<$ NAME $>$ that is <MASK>.

ヒト文では一般に人間に使われる“she”, “he”, “who” を用い，モノ文では一般にモノに使われる“this”， “that”，“it”，“which”を用いる。モノ文での代名詞は 三人称しかないため，ヒト文でも三人称の “she” と “he”のみを用いた。

バイアスを以下の手順で評価する。まずヒト文と モノ文のそれぞれで，<MASK>に入る確率の平均を 各単語ごとに計算する。次に，ヒト文とモノ文での 平均確率を各単語ごとの変化率を計算し，<NAME> に対する単語の関連度を評価する。ここで確率 A か ら確率 Bへの変化率は $\frac{B-A}{A}$ とする.

## 3.2 感情分析によるバイアス評価

本稿では Google Cloud sentiment model ${ }^{6)}$ を用いて， <MASK>トークンを置換した文の感情分析を行うこ とでバイアスを評価する。我々は Hutchinson ら [16] にしたがって，以下の手順でバイアス評価を行う。

1. テンプレート文 “A <NAME> is <MASK>.”の <NAME>を非ヒト動物の一般名に置換する.

6) https://cloud.google.com/natural-language/docs/ reference/rest/v1beta2/documents/analyzeSentiment [閲覧日：2021 年 1 月 5 日]表 1. RoBERTa において，モノ文からヒト文に変え て確率が下がる単語を，変化率順に 15 個示す. これらの単語はモノ文で偶然以上の確率で予測された単語である。

2. 置換した文のくMASK>に入る単語を MLM を用 いて予測する。

3. <MASK>を，<MASK>に入る確率が高い上位 $\mathrm{N}$ 個（ $\mathrm{N}=10 ）$ 単語に置換し，かつ<NAME>を “person”に置換した文 (“A person is <MASK に 入る単語>.”) に対して感情分析を行う.

4. 置換された文が否定的な感情をもつと予測され た頻度を計算する。

ステップ 3 において，感情分析時に非ヒト動物の名前を “person” に置換することで，感情分析における 非ヒト動物の名前の影響をなくすことができる。

## 4 実験結果

## 4.1 確率変化によるバイアス評価

RoBERTa での実験結果を表 1,2 に示す. BERT で の実験結果は付録 A に載せる．表 1 はモノ文からヒ ト文に変えて確率が下がる単語を，表 2 はヒト文か らモノ文に変えて確率が下がる単語を示している。

表 1 から，モノ文からヒト文に変えて<MASK> に入る確率が下がる単語には，“dried”（乾燥され た)，“processed”（処理された），“peeled”（皮を剥が れた)，“slaughtered”（屠殺された）など，食べ物と
表 2. RoBERTa において，ヒト文からモノ文に変え て確率が下がる単語を，変化率順に 15 個示す。 これらの単語はヒト文で偶然以上の確率で予測された単語である.

して扱われていることや食肉処理の工程を示す単語 が多いことがわかった.

一方，表 2 から，ヒ卜文からモノ文に変えて <MASK>に入る確率が下がる単語には, “Married" （結婚した), “Lesbian” (レズビアン), “divorced” (離婚した), “Transgender” (トランスジェンダー) など, セクシャリティや結婚に関する単語が多いことがわ かった. またその他の単語も '-er’’ ‘-ist’ などを含 み，人間の職業を表す単語が多いことがわかった。

図 1. くMASK>トークンを置換した文が否定的な感情をもつと予測された割合.

## 4.2 感情分析によるバイアス評価

次に Google Cloud sentiment model を用いた感情分析によるバイアス評価の結果を図 1 に示す. 図 1 か ら，BERT と RoBERTaが提示した文は半分以上の割合で否定的な感情をもつと予測された。また，提示 された文が肯定的な感情をもつと予測されることは ほぼなく（全 60 文中，BERT で 7 文，RoBERTa で 5 文)，その他の文は感情值が 0 であり，中立的であっ た.したがって，これらの言語モデルは非ヒト動物 に対して否定的な感情語を関連付けている。また “chicken” と “turkey” 以外で，RoBERTa は BERT より 否定的な感情文を提示した.この結果は，既存研究 $[6,19]$ の結果と同様に, RoBERTa は BERT に比べて より強いバイアスをもっていることを示唆する.

## 5 考察

言語モデルが我々の言語使用を反映しているなら ば，表 1,2 で示された結果は，非ヒト動物をモノの ように扱う場合とヒトのように扱う場合とで我々の 記述の仕方が異なることを示唆する．特に表 1 の結果は，我々が非ヒト動物をモノのように記述する場合には，彼女ら/彼らを食べ物のように扱うが，一方 で彼女ら/彼らをヒトのように記述する場合にはそ うではないことを示唆すると考えられる。これらの 結果は，種差別的言語の使用による非ヒト動物に対 する種差別の維持 [18]，および言語が我々の思考に 影響を与えること [9]を支持する。

また図 1 より，言語モデルが非ヒト動物に対して 否定的な感情を関連付けていることがわかった。こ のような言語モデルの動作は非ヒト動物に対する有害なステレオタイプ化につながると考えられる。

## 6 まとめ

本稿では事前学習済みの言語モデルに内在する非 ヒト動物に対する種差別的バイアスの分析を行っ た.その結果，非ヒト動物をモノのように記述する と彼女ら/彼らを食べ物に関連づけることがわかっ た. また，言語モデルは非ヒト動物に対して否定的 な感情を関連付けていることがわかった。このよう な言語モデルの動作は非ヒト動物に対する有害なス テレオタイプ化につながると考えられる。

今後の課題として,，他の NLP 技術やコーパスに 含まれる種差別的バイアスの分析を行う。また言語 モデルの種差別的バイアスの緩和を試みる。

## 参考文献

[1] Tony Sun, Andrew Gaut, Shirlyn Tang, Yuxin Huang, Mai ElSherief, Jieyu Zhao, Diba Mirza, Elizabeth Belding, Kai-Wei Chang, and William Yang Wang. Mitigating gender bias in natural language processing: Literature review. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 1630-1640, Florence, Italy, July 2019. Association for Computational Linguistics.

[2] Su Lin Blodgett, Solon Barocas, Hal Daumé III, and Hanna Wallach. Language (technology) is power: A critical survey of "bias" in NLP. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 5454-5476, Online, July 2020. Association for Computational Linguistics.

[3] Tolga Bolukbasi, Kai-Wei Chang, James Zou, Venkatesh Saligrama, and Adam Kalai. Man is to computer programmer as woman is to homemaker? debiasing word embeddings. Curran Associates Inc., 2016.

[4] Jieyu Zhao, Tianlu Wang, Mark Yatskar, Vicente Ordonez, and Kai-Wei Chang. Gender bias in coreference resolution: Evaluation and debiasing methods. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers), pp. 15-20, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[5] Aylin Caliskan, Joanna J Bryson, and Arvind Narayanan. Semantics derived automatically from language corpora contain human-like biases. Science, Vol. 356, No. 6334, pp. 183-186, 2017.

[6] Tao Li, Daniel Khashabi, Tushar Khot, Ashish Sabharwal, and Vivek Srikumar. UNQOVERing stereotyping biases via underspecified questions. In Findings of the Association for Computational Linguistics: EMNLP 2020, pp. 3475-3489, Online, November 2020. Association for Computational Linguistics.

[7] Thomas Manzini, Lim Yao Chong, Alan W Black, and Yulia Tsvetkov. Black is to criminal as caucasian is to police: Detecting and removing multiclass bias in word embeddings. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 615-621, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[8] Peter Singer. Animal Liberation. Vintage Digital, 2015, （戸田清訳『動物の解放 改訂版』, 人文書院, 2011）.

[9] Lera Boroditsky. How language shapes the way we think. Open Educational Resources Collection, 2018.

[10] Michela Menegatti and Monica Rubini. Gender bias and sexism in language. In Oxford Research Encyclopedia of Communication. 2017.

[11] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the
Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[12] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in neural information processing systems, pp. 5998-6008, 2017.

[13] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach. arXiv preprint arXiv:1907.11692, 2019.

[14] Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg Corrado, and Jeffrey Dean. Distributed representations of words and phrases and their compositionality. In Proceedings of the 26th International Conference on Neural Information Processing Systems - Volume 2, NIPS' 13, p. 3111-3119, Red Hook, NY, USA, 2013. Curran Associates Inc.

[15] Keita Kurita, Nidhi Vyas, Ayush Pareek, Alan W Black, and Yulia Tsvetkov. Measuring bias in contextualized word representations. In Proceedings of the First Workshop on Gender Bias in Natural Language Processing, pp. 166172, Florence, Italy, August 2019. Association for Computational Linguistics.

[16] Ben Hutchinson, Vinodkumar Prabhakaran, Emily Denton, Kellie Webster, Yu Zhong, and Stephen Denuyl. Social biases in NLP models as barriers for persons with disabilities. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 54915501, Online, July 2020. Association for Computational Linguistics.

[17] Joan Dunayer. Sexist words, speciesist roots. Animals and women: Feminist theoretical explorations, pp. 11-31, 1995.

[18] Joan Dunayer. English and speciesism. English Today, Vol. 19, No. 1, p. 61-62, 2003.

[19] Nikita Nangia, Clara Vania, Rasika Bhalerao, and Samuel R. Bowman. CrowS-pairs: A challenge dataset for measuring social biases in masked language models. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 19531967, Online, November 2020. Association for Computational Linguistics.

## A 付録

表 3. BERT において，モノ文からヒト文に変えて確率が下がる単語を，変化率順に 15 個示す。 れらの単語はモノ文で偶然以上の確率で予測 された単語である。

表 4. BERT において，ヒト文からモノ文に変えて確率が下がる単語を，変化率順に 15 個示す。こ れらの単語はヒト文で偶然以上の確率で予測 された単語である.


# 知識グラフ埋め込みの PU 学習

垣渕太成 $* 1$ 林克彦 $\dagger 2$ 駒谷和範 $\$ 1$
1 大阪大学 産業科学研究所
2 群馬大学 社会情報学部

## 1 はじめに

知識グラフは，事実（Fact）を集積した巨大な データセットであり, Fact は, Entity $e$ とその間の Relation $r$ の三つ組 (Triple) 形式 $\left(e_{i}, r_{k}, e_{j}\right)$ で表現さ れる.ここで前者の Entity は Subject，後者は Object と呼ばれる。知識グラフの多くは Fact の欠損を含 み，これを自動予測する知識グラフ補完は実用上重要なタスクである。そして，知識グラフ埋め込みは このタスクに対する有効なアプローチの一つと考え られている。埋め込みの学習は Logistic 損失や Cross Entropy（CE）損失に基づいて，Fact とそれ以外の Triple を分類するように行うのが一般的である.

知識グラフでは Fact 以外の Triple の正負が不明で あるため，知識グラフ埋め込みの学習を行うには負例をどう定義するかが重要となる. 既存の学習法で は，Factの Subject あるいは Object を別の Entity に 入れ替えた Tripleを負例として定義する方法がよく 用いられている. しかし, この負例の定義が正確で ある保証はなく，潜在的な Factを負例として扱って しまう危険が常に伴う．また，Factの近傍のみを学習対象とするため，局所的で偏った学習を行う問題 も指摘できる．分野ではモデルの性能を Fact 近傍の ランキングで評価することが主流であるため，これ らの問題は顕在化してこなかったが，本来，知識グ ラフ補完の性能を評価するには与えられた Triple が Fact か否かを判定する分類評価が適切である。

そこで，本稿ではまず，従来の学習法によるモデ ルの分類性能を再調査する. 図 1 は Kinship データ セットに対する既存モデルの性能を PR（Precision and Recall）曲線で示しており，この結果は, Precision が早期に下がって，分類性能が極めて低いことを示 している。これは負例が正例と判定される割合が高 いことに起因するもので, この結果から, 従来の学

図 1 Kinship データセットの Fact から 3 割を除いて, CE 損失による既存の埋め込み学習（RESCAL モデルを使用） を行い，除いた Fact に対して PR 曲線を計算した。

習法における負例の定義を根本的に見直す必要性が あると結論付けられる。

よって, 本稿では, PU (Positive and Unlabeled)学習の知見を用いた知識グラフ埋め込みの新たな 学習法を提案する. PU 学習では, 正例以外全て Unlabeled であるデータセットに一部正例が含まれ ていると仮定した上で正と負への二値分類を行う ため，明示的な負例を定義する必要がない．本稿 では知識グラフ埋め込みの代表的なモデルである RESCAL を用い，Alternating Least Square（ALS）に よる最適化法を定式化した. これを既存手法と比較 したところ，分類精度の大きな向上が見られた.

## 2 関連研究

## 2.1 知識グラフ埋め込みの学習

初期には二乗誤差損失を用いて ALS で最適化す る手法 [1] が提案されたが，これには Unlabeled な データを全て負例として扱うという欠点がある.現在, 事前知識 [2] や敵対学習 [3] によって Fact 近傍で負例の可能性が高い Triple をサンプリングし, Logistic 損失や $\mathrm{CE}$ 損失に基づいて学習を行う方法 が一般的となっている。しかし，任意の知識グラフ

に対して正確な負例を定義する方法は自明でない.

## 2.2 PU 学習

PU 学習 [4] は, 正例と Unlabeled で構成される データセットに対して, Unlabeled に一部正例が含ま れている状況を仮定し，正負の二値分類を行うもの で，土地被覆分類 [5] など，負例の抽出が難しい状況で利用されている. 文献 [6] は正負のラベルの誤 りを考慮した上での学習に取り組んでいる。正例に 誤りはないが，負例のデータに正クラスが誤って混在している状況は PU 学習の仮定と等しい. 文献 [7] は，行列分解における PU 学習に取り組んでおり,本研究はそのテンソル分解への拡張とも言える.

## 3 知識グラフ埋め込みの PU 学習

## 3.1 記法

ベクトル，行列，テンソルをそれぞれ小文字の太文字 $\boldsymbol{a}$, 大文字の太文字 $\boldsymbol{A}$, カリグラフィック体 $\mathcal{A}$ で表す. 行列 $\boldsymbol{A}$ の $\mathrm{i}$ 番目の行ベクトルを $\boldsymbol{a}_{i}^{T}$, 行列 の各要素を $a_{i j}$, テンソルの各要素を $x_{i j k}$ で表す. $X_{[i::]}, X_{[: j:]}, X_{[:: k]}$ はそれぞれテンソル $1,2,3$ 次元の $i, j, k$ 番目のスライスを表す. また $\operatorname{vec}(\boldsymbol{A})$ は行列 $\boldsymbol{A}$ のベクトル表示 $\left(a_{11}, \ldots, a_{1 n}, \ldots, a_{m 1}, \ldots, a_{m n}\right)^{T}$ であ る. 行列のフロベニウスノルムを $\|\cdot\|_{F}, \otimes$ はクロ ネッカー積, $x_{n}$ はテンソルの $n$ モード積を表す.

## 3.2 従来法

知識グラフ埋め込みでは Fact の分布を近似する 潜在的な特徴表現の獲得を目指す、以下では, Fact の集合を $\mathcal{F}$, Entity の集合を $\mathcal{E}$ ，Relation の集合を $\mathcal{R}$ で表す.このとき，知識グラフは二値のテンソル $X \in\{0,1\}^{|\mathcal{E}| \times|\mathcal{R}| \times|\mathcal{E}|}$ の形で表現でき, 各要素 $x_{i j k}$ は $\left(e_{i}, r_{k}, e_{j}\right) \in \mathcal{F}$ なら 1 , そうでなければ 0 をる.

RESCAL モデルでは Entity $e_{i}$ を $d$ 次元の縦ベクト ル $\boldsymbol{e}_{i}$, Relation $r_{k}$ を $d \times d$ 次元の行列 $\boldsymbol{R}_{k} \in \mathbb{R}^{d \times d}$ で 表現し，隣接行列 $X_{[:: k]}$ を以下のように近似する.

$
\chi_{[\because k]} \approx \boldsymbol{E} \boldsymbol{R}_{k} \boldsymbol{E}^{T}(k=1,2, \ldots,|\mathcal{R}|) .
$

Triple に対するスコア関数は以下となる.

$
\theta_{i j k}=\boldsymbol{e}_{i}^{T} \boldsymbol{R}_{k} \boldsymbol{e}_{j}
$

他にも様々なモデルが提案されているが，RESCAL は表現力が完全であり [8], 現在でも標準的なモデ ルとして使用されている [9].一般的な知識グラフ埋め込みでは，スコア関数に 対する損失を $\ell\left(\theta_{i j k}, x_{i j k}\right)$ として目的関数は以下の ように定義される.

$L=\sum_{\left(e_{i}, r_{k}, e_{j}\right) \in \mathcal{F}} \ell\left(\theta_{i j k}, 1\right)+\sum_{\left(e_{i}, r_{k}, e_{j}\right) \in \mathcal{D}^{-}} \ell\left(\theta_{i j k}, 0\right)$

where

$\mathcal{D}^{-}=\left.\{\left(e_{i^{\prime}}, r_{k}, e_{j}\right) \mid e_{i^{\prime}} \in \mathcal{E} \wedge e_{i^{\prime}} \neq e_{i} \wedge\left(e_{i}, r_{k}, e_{j}\right) \in \mathcal{F}\right.\}$

$\cup\left.\{\left(e_{i}, r_{k}, e_{j^{\prime}}\right) \mid e_{j^{\prime}} \in \mathcal{E} \wedge e_{j^{\prime}} \neq e_{j} \wedge\left(e_{i}, r_{k}, e_{j}\right) \in \mathcal{F}\right.\}$.

$\mathcal{D}^{-}$は学習で負に分類される Triple の集合であ る.これは正例以外の定義可能な Triple 全て を含むわけではなく, $\operatorname{Fact}\left(e_{i}, r_{k}, e_{j}\right)$ に対して, $\left(e_{i}, r_{k}, ?\right),\left(?, r_{k}, e_{j}\right)$ となるものだけが含まれる.

## 3.3 知識グラフ埋め込みの PU 定式化

$\mathrm{PU}$ 学習 $[6,7]$ の知見を用いて, 知識グラフ埋め込 みの新たな学習法を定式化する．知識グラフに本来存在する Fact数から $\rho$ の割合でランダムに欠損が起 こると仮定する。 すなわち $\rho$ は，真の Fact の集合を $\hat{\mathcal{F}}$, 現在の集積されている Fact の集合を $\mathcal{F}$ として $\rho=1-|\mathcal{F}| /|\hat{\mathcal{F}}|$ と定義される. $\hat{\mathcal{F}}$ に基づいて損失関数 $\ell$ で分類した場合の損失を近似するような損失関数 $\tilde{\ell}$ 定義し, 目的関数は以下のように修正できる.

$
\begin{aligned}
& L=\sum_{\left(e_{i}, r_{k}, e_{j}\right) \in \mathcal{F}} \tilde{\ell}\left(\theta_{i j k}, 1\right)+\sum_{\left(e_{i}, r_{k}, e_{j}\right) \notin \mathcal{F}} \tilde{\ell}\left(\theta_{i j k}, 0\right) \\
& \text { where }\left.\{\begin{array}{c}
\tilde{\ell}\left(\theta_{i j k}, 1\right)=\frac{\ell\left(\theta_{i j k}, 1\right)-\rho \ell\left(\theta_{i j k}, 0\right)}{1-\rho} \\
\tilde{\ell}\left(\theta_{i j k}, 0\right)=\ell\left(\theta_{i j k}, 0\right)
\end{array}\right.
\end{aligned}
$

知識グラフ $\hat{\mathcal{F}}$ に対応するテンソルが $\hat{X} ， そ の$ 要素を $\hat{x}_{i j k}$ とすると, 損失について以下の等式が成り立つ.

$
\mathbb{E}\left[\tilde{\ell}\left(\theta_{i j k}, x_{i j k}\right)\right]=\mathbb{E}\left[\ell\left(\theta_{i j k}, \hat{x}_{i j k}\right)\right]
$

知識グラフにおいて $\rho$ の値は不明だが， ハイパーパ ラメータとして与えた $\rho$ が実際に Fact の欠損してい る割合と等しい時，欠損を含まない知識グラフを学習した場合の損失に近似できる。

## 3.4 ALS による最適化

本研究では, 損失 $\ell$ に二乗誤差 $\left(x_{i j k}-\theta_{i j k}\right)^{2}$ を採用し，ALSによる最適化を行う。このとき，

$
\tilde{\ell}\left(\theta_{i j k}, 1\right)=\left(\theta_{i j k}-\frac{1}{1-\rho}\right)^{2}-\frac{\rho}{(1-\rho)^{2}}
$

と書ける。第二項目は定数項であるから，

$\operatorname{argmin} L=\operatorname{argmin}\left[\sum_{x_{i j k}=1}\left(\theta_{i j k}-\frac{1}{1-\rho}\right)^{2}+\sum_{x_{i j k}=0} \theta_{i j k}^{2}\right]$

図 2 AUC-PR と $\rho$ の関係 (Kinship).

が成立する. よって，要素が 0 と $1 /(1-\rho)$ のテンソ ル分解の問題に帰着する. 以下では，この二値のテ ンソル $X^{\prime}$ を $X^{\prime}:=1 /(1-\rho) X$ と定義する.

ALS は行列・テンソル分解において使用されるア ルゴリズムであり，分解する行列の片方を固定した 上でもう一方の行列をコスト関数の偏微分が 0 にな るよう更新し，これを交互に繰り返す.

本研究では RESCAL モデルを使用した. 正則化項を加えたコスト関数と ALS 更新式を以下に示す.

$
L=\frac{1}{2} \sum_{k}\left.\|X_{[:: k]}^{\prime}-\boldsymbol{E} \boldsymbol{R}_{k} \boldsymbol{E}^{T}\right.\|_{F}^{2}+\lambda\left(\|\boldsymbol{E}\|_{F}^{2}+\sum_{k}\left.\|\boldsymbol{R}_{k}\right.\|_{F}^{2}\right)
$

更新式

$
\begin{aligned}
& \boldsymbol{E} \leftarrow\left[\sum_{k} \mathcal{X}_{[:: k]}^{\prime} \boldsymbol{E}_{k}+\mathcal{X}_{[\because: k]}^{\prime T} \boldsymbol{E}_{k}^{T}\right]\left[\sum_{k} \boldsymbol{B}_{k}+\boldsymbol{C}_{k}+\lambda \boldsymbol{I}\right]^{-1} \\
& \quad \text { where } \boldsymbol{B}_{k}=\boldsymbol{R}_{k} \boldsymbol{E}^{T} \boldsymbol{E} \boldsymbol{R}_{k}^{T}, \boldsymbol{C}_{k}=\boldsymbol{R}_{k}^{T} \boldsymbol{E}^{T} \boldsymbol{E} \boldsymbol{R}_{k} \\
& \boldsymbol{R}_{k} \leftarrow\left(\boldsymbol{Z}^{T} \boldsymbol{Z}+\lambda \boldsymbol{I}\right)^{-1} \boldsymbol{Z}_{\operatorname{vec}}\left(\mathcal{X}_{[\because k]}^{\prime}\right)
\end{aligned}
$

where $\boldsymbol{Z}=\boldsymbol{E} \otimes \boldsymbol{E}$.

ALS を用いる利点として，大規模な知識グラフへの 対応が挙げられる. 文献 [10] では，知識グラフのス パース性を利用し 300 万の Entity，40の Relation，お よび 7000 万の Fact で構成される知識グラフの埋め 込みに成功している。

## 4 実験

## 4.1 分類精度の評価

3 節で提案した PU 学習に基づく定式化を実験的に検証する. 使用したデータセットは Kinship と

図 3 AUC-PR と $\rho$ の関係 (UMLS).

UMLS で，共に Fact が全て集積されておりそれ以外 の Triple は全て負例である性質を持つ [11].

データセットから Fact をランダムに一定割合 $\{0.1,0.3,0.5,0.7\}$ 除き残りを学習に与え，それ以外 の全 Triple に対し分類精度をテストする．検証の目的は以下の三つである.

1. PU 学習により分類精度は向上するか.
2. $\rho$ と除いた正例の割合の関係. 両者が等しい時 に分類精度が最も高くなるか.

3. 従来法との比較.

目的 1,2 の検証のため，ハイパーパラメータ $\rho$ ごと に AUC-PR の值を調べた（図 2,3）。ここで，次元数 100 , 正則化項 $\lambda=0.0001$ で固定し 10 分割交差検証 を行った. Factを除いた割合によらず， $\rho>0.0$ の適当な值で $\rho=0.0$ （PUなし）と比較して分類精度が 向上している。一方, 理論的には除いた正例の割合 に対し $\rho$ が等しい場合（図赤点）で AUC が最も高く なることが予想されるが，そのような傾向は得られ なかった。一般的な分類問題と異なり知識グラフ埋 め込みでは潜在的な特徴表現を通じて各 Triple のス コアが相互に影響を及ぼすため，理論通りの学習が 行われてない可能性があり，知識グラフ埋め込みに より適した PU 学習の定式化は今後の課題である.

続いて従来法と提案手法を比較する。従来法にはRESCAL モデル，目的関数に式 (1)，損失関数に Sigmoid Cross Entoropyを用いて SGD （Stochastic Gradient Descent）で最適化を行った。 ハイパーパラメータは次元数 $d \in\{30,50,100\}$,学習率は $\eta \in\{0.005,0.003,0.001\}$ から Grid Search を行った. Epochは 50 で固定したが，モデル
表 1 AUC-PR の手法ごとの比較 (Kinship).

表 2 AUC-PRの手法ごとの比較（UMLS）.

は，学習データ以外の一部 Factを対象として Epoch ごとにランキングによる評価を行い，最 も精度が高いものを使用した. 実装はhttps: //github.com/ibalazevic/TuckERにRESCAL を加えた1). 実験結果を表 1,2 に示す. どの設定で も提案手法が従来法より優れた分類精度を示した。

## 4.2 学習範囲による影響の分析

表 1,2 では従来法と比較して PUなしの ALS $(\rho=0.0)$ も高い分類精度を示している. 全 Tripleを 学習する ALS に対し, 従来法は Fact と負例の一部の み学習している. この違いが分類に与える影響を調査するため, 従来法が学習において負に分類する範囲を Negative Area，学習を行わない範囲を Unlearned Area として，それぞれの分類精度を AUC-PR で評価 した (図 4) ${ }^{2)}$. 二つの領域における正例と負例の比率を合わせるため, Unlearned Area で負例をランダ ムにサンプリングしテストした．従来法では，限ら れた範囲の学習によって Triple 全体における Fact の 補完が可能であるとされてきたが，Unlearned Area ではほとんど分類ができていない. ALS での分類精度はこれと比較して高い。これは ALS が Unlearned Area の学習を行っているので直感的だが, それで も値が高くないのは, これらの Triple は近傍に正例 を持たないため学習が困難だからだと考えられる。 また Negative Area でも ALS の方が分類精度が高く, Unlearned Area の学習が特徴表現を通じ Fact の補完 に重要な情報を与えていると考えられる。

図 4 目的関数式 (1) が負例として学習する Triple (Negative Area）と学習をしない Triple (Unlearned Area) を分け, AUC-PR で評価. 左は(1) に基づく従来法, RESCAL-ALS $(\rho=0.0)$ による学習.

図 5 Factを 0.8 除いた Kinship における正例負例のスコ アの分布. PU なし $\rho=0.0$ (左) と PU あり $\rho=0.3$ (右).

## 4.3 PU 学習が与える影響の分析

PU 学習なしの ALS に対して PU ありの ALS が高 い分類精度を示しており，特に正例を除いた割合が 高い時その差が大きい. PU の影響を調査するため,正例を 0.8 の割合除いて，学習に与えてない正例と 負例のスコアの分布を $\rho=0.0$ と $\rho=0.3$ で比較した (図 5 $)^{3)} \cdot \rho=0.0$ では Fact 以外を全て負に分類する ためスコアが非常に低い値に密集しており正例と負例のスコアに差を持たせることができておらず分類精度が低い（AUC-PR=0.075），一方 $\rho=0.3$ ではスコ アの密集が防がれ正例と負例のスコアに差が生まれ ており，分類精度が向上している（AUC-PR=0.378）。

## 4.4 実験まとめ

従来法は学習範囲が局所的という問題があり，分類精度が非常に低いのに対し，ALS はこの問題を回避している。また PU 学習を用いることで ALS によ る埋め込みの分類精度が向上した. 一方 PU 学習の 理論に適合しない結果もあり，より知識グラフに適 した PU 定式化は今後の課題である.

3）引き続き次元数 100 , 正則化項 $\lambda=0.0001$ を使用.

## 参考文献

[1] Maximilian Nickel, Volker Tresp, and Hans-Peter Kriegel. A three-way model for collective learning on multirelational data. In Proceedings of the 28th International Conference on International Conference on Machine Learning, ICML'11, p. 809-816, Madison, WI, USA, 2011. Omnipress.

[2] Antoine Bordes, Nicolas Usunier, Alberto Garcia-Duran, Jason Weston, and Oksana Yakhnenko. Translating embeddings for modeling multi-relational data. In C. J. C. Burges, L. Bottou, M. Welling, Z. Ghahramani, and K. Q. Weinberger, editors, Advances in Neural Information Processing Systems, Vol. 26, pp. 2787-2795. Curran Associates, Inc., 2013.

[3] Zhiqing Sun, Zhi-Hong Deng, Jian-Yun Nie, and Jian Tang. Rotate: Knowledge graph embedding by relational rotation in complex space. In 7th International Conference on Learning Representations, ICLR 2019, New Orleans, LA, USA, May 6-9, 2019. OpenReview.net, 2019.

[4] Charles Elkan and Keith Noto. Learning classifiers from only positive and unlabeled data. In Proceedings of the 14th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, KDD ’08, p. 213-220, New York, 2008. Association for Computing Machinery.

[5] Qinghua Guo Wenkai Li and Charles Elkan. A positive and unlabeled learning algorithm for one-class classification of remote-sensing data. IEEE Transactions on Geoscience and Remote Sensing, Vol. 49, No. 2, pp. 717-725, 2011.

[6] Nagarajan Natarajan, Inderjit S Dhillon, Pradeep K Ravikumar, and Ambuj Tewari. Learning with noisy labels. In C. J. C. Burges, L. Bottou, M. Welling, Z. Ghahramani, and K. Q. Weinberger, editors, Advances in Neural Information Processing Systems 26, pp. 1196-1204. Curran Associates, Inc., 2013.

[7] Cho-Jui Hsieh, Nagarajan Natarajan, and Inderjit $S$ Dhillon. Pu learning for matrix completion. In Proceedings of the 32nd International Conference on International Conference on Machine Learning - Volume 37, ICML'15, p. 2445-2453. JMLR.org, 2015.

[8] Yanjie Wang, Rainer Gemulla, and Hui Li. On multirelational link prediction with bilinear models. In Sheila A. McIlraith and Kilian Q. Weinberger, editors, Proceedings of the Thirty-Second AAAI Conference on Artificial Intelligence, (AAAI-18), the 30th innovative Applications of Artificial Intelligence (IAAI-18), and the 8th AAAI Symposium on Educational Advances in Artificial Intelligence (EAAI-18), New Orleans, Louisiana, USA, February 2-7, 2018, pp. 4227-4234. AAAI Press, 2018.

[9] Daniel Ruffinelli, Samuel Broscheit, and Rainer Gemulla. You CAN teach an old dog new tricks! on training knowledge graph embeddings. In 8th International Conference on Learning Representations, ICLR 2020, Addis Ababa, Ethiopia, April 26-30, 2020. OpenReview.net, 2020.

[10] Maximilian Nickel, Volker Tresp, and Hans-Peter Kriegel. Factorizing yago: Scalable machine learning for linked data. In Proceedings of the 21st International Conference on World Wide Web, WWW '12, p. 271-280, New York,
NY, USA, 2012. Association for Computing Machinery.

[11] Théo Trouillon, Christopher R. Dance, Johannes Welbl, Sebastian Riedel, Éric Gaussier, and Guillaume Bouchard. Knowledge graph completion via complex tensor factorization. CoRR, Vol. abs/1702.06879, , 2017.


# 単語の重要度に応じてパラメタ数可変な単語分散表現の学習

露木浩章 小川哲司哲則林良彦
早稲田大学理工学術院
tsuyuki@pcl.cs.waseda.ac.jp

## 1 はじめに

本研究では単語分散表現の圧縮を目的として，単語の重要度に応じてパラメタ数を可変とするゲート 機構を提案しその有効性を評価する。

ニューラルネットワークを用いた自然言語処理モ デルにおいて，単語ベクトルは単語の意味を表す特徵量の役割を果たす。しかし，モデルの精度向上の ために単語ベクトルの次元サイズや語彙サイズを大 きくすると，必要メモリ量が膨大となりモバイル端末上での処理が困難である．メモリコストの問題を 解決しモバイル端末上で実行できれば，データの送受信コストやユーザデータの情報漏洩リスクを低減 できる. また既存研究より，単語ベクトルのパラメ タ冗長性を排除することは，必要メモリ量の削減だ けでなく，過学習の抑制に基づくモデルの精度向上 にも寄与することが分かっている [1].

単語ベクトルのパラメタ数が膨大な場合，出現回数が少ない統計的に信頼性の低い単語を<unk>に置換する前処理が用いられる。しかし，感情分析にお ける感情語のようにタスクにおいて重要な役割を 持つ単語 (重要語) を置換するとモデルの精度低下 につながる。例えば，IMDB コーパス [2]を用いた 感情分析の予備実験では出現回数が 2 回以下の語 を<unk>に置換すると，置換しない場合と比べて感情語が 1098 個減り，0.9 ポイント識別精度が低下し た. 本研究では，識別に寄与する重要語に多くのパ ラメタを割り振り，寄与しない非重用語には少ない パラメタを割り振ることで，モデルの精度を落とす ことなく単語べクトルのパラメタ数を削減する手法 を提案する。

パラメタ数の少ない単語同士は似たべクトルに なりやすいため，提案法は感情語を<unk>に置換せ ずに残したまま，感情分析に寄与しない非重要語を <unk>に置換する機能を果たす. 実験の結果，提案法はモデルの精度を落とすことなく従来法を上回る圧縮率を達成した。また，感情分析タスクで学習す ると長いコードが割り当てられた語彙の中に感情語 が多く存在することを確認した。

## 2 関連研究

単語ベクトルに要するメモリ量を削減する手法は 語彙サイズを減らす手法と単語あたりの必要メモリ 量を減らす手法の 2 つに大別できる。

語彙サイズを減らす手法として Byte Pair Encoding (BPE) [3] が存在する。 BPE は目的コーパスにお ける出現回数に応じてサブワード分割する．BPE は OOV 問題を解決でき，語彙サイズも低減できる強力な手法だが，文中に含まれるトークン数が増加す ることから，文べクトルを構成する際に用いられる LSTM や Self-attention Network における計算量や必要メモリ量が増大しやすい。

単語あたりの単語ベクトルに要するメモリ量を削減する手法として量子化を用いた重み共有法が用い られる．全単語間で共有されるパラメタの内，入力単語に適切なパラメタを選択する離散値のコードを 学習する. Neural Compressor (NC) [4] は最大值 K の 自然数からなる長さ $\mathrm{M}$ のコードに基づき， $\mathrm{M} \times \mathrm{K}$ の コードブック ( Decoder) から M 個の基底ベクトルを 抜き出し，その和によって単語べクトルを再構成す る手法である．各単語に割り当てられた離散値コー ドに要する bit 数が小さくなり，単語ベクトルの高 い圧縮率を達成した． Near-loss-Binarization (Bin) [5] では離散値コードをバイナリ化し，さらに高い圧縮率を達成した．NCと Binではいくつかのコーパス で元の単語ベクトルよりも圧縮語の単語ベクトル の方がタスクの精度が高くなることが報告されて いる。これは単語間で重みを共有することで低頻度語の学習が容易になったためであると考えられる。本研究と同様にバイナリコードの長さを単語ごと に可変とする手法として AdaComp [6] が存在する. AdaComp では $(32,16,6,4)$ のように長さの異なるバ

図 1 可変長コードを学習するニューラルネットワークの 図. 点線は gumbel softmax と Sign 関数の計算を表す.

イナリコードを扱う AutoEncoderを 4 つ用意し，単語ごとに使用する AutoEncoder を選択する手法であ る.しかし，異なるコード長を持つ単語間で異なる コードブック (Decoder) が用いられることから，NC やBin で重要とされている重み共有が一部行われて いない。また，コード長の種類を増やすと学習パラ メタ数が増大し過学習しやすくなる. 本研究では異 なるコード長を持つ単語間でも同じコードブックを 使用することで，重み共有を実現する。また，学習 パラメタ数を増やさずにコード長の種類を増やす事 が可能なためより細かいコード長の調整が可能で ある.

## 3 提案法

本節では，本研究で提案する手法について述べ る。提案法は学習済みの単語ベクトル GloVe [7] か らバイナリコードを得る AutoEncoder の機構 ( 3.1 節) と, 入力単語ベクトルに応じて選択された長さ 以上の要素をバイナリコードから削除するゲート機構 ( 3.2 節) からなる.

## 3.1 バイナリコードの学習

バイナリ制約のある AutoEncoder を使用する。学習済み単語ベクトルを入力とする AutoEncoderを学習した後，得られた中間特徵量を入力単語ベクトル のバイナリベクトル，Decoderを単語間で重み共有 されるコードブックとして用いる. $x \in \mathbb{R}^{d}$ を入力単語ベクトル,$m$ をバイナリコードの最大コード長と するとき単語べクトルを以下のように再構成する.

$
\hat{x}=W_{\text {dec }}\left(\Phi\left(W_{\text {enc }} x+b_{\text {enc }}\right) \circ g\right)+b_{\text {dec }}
$

$W_{e n c} \in \mathbb{R}^{d \times m} と W_{d e c} \in \mathbb{R}^{m \times d}, b_{e n c}, b_{d e c}$ は Encoder と Decoder の学習パラメタである. 関数 $\phi(\cdot)$
と $g$ は Encoder の出力をバイナリ化する関数とコー ド長を可変とするゲート機構である．関数 $\phi(\cdot)$ とし て以下の式 2 を用いる.

$
\Phi\left(h_{i}\right)=\operatorname{ReLU}\left(\operatorname{Sign}\left(h_{i}\right)\right)= \begin{cases}+1 & \left(x_{i} \geq 0\right) \\ 0 & \text { otherwise }\end{cases}
$

関数 $\phi(\cdot)$ は 1 と 0 からなるバイナリコードを出力 するが関数 $\operatorname{sign}(\cdot)$ の微分値は 0 になるため誤差逆伝播法による学習ができない．そこで上位から伝搬してきた微分値をそのまま下位の層に伝搬する Straight-Through Estimator (STE) [8] を適用する.

## 3.2 コード長を可変とするゲート機構

単語ベクトルを Encoderを通してバイナリコード に変換した後， 入力単語に適切な長さまでバイナリ コードを消去するゲート機構 $g$ を適用する.

$
g=\operatorname{cumsum}(\alpha)=\sum_{i \leq m}^{m} \alpha_{i}
$

$\alpha$ はある 1 つの要素のみ 1 で他の要素が 0 な one-hot ベクトルであり, $\operatorname{cumsum}(\cdot)$ は累積和の関数である. $\alpha$ において 1 がたつ要素の要素番号がその単語の コード長を表している. 微分可能な形で one-hot べ クトルを学習するために Gumbel Softmax [9]を用い て， $\alpha$ を以下のように計算する.

$
\begin{aligned}
\alpha_{i} & =\operatorname{softmax}_{\tau}\left(\log \beta_{i}+G_{i}\right) \\
& =\frac{\exp \left(\left(\log \beta_{i}+G_{i}\right) / \tau\right)}{\sum_{j=1}^{m} \exp \left(\left(\log \beta_{j}+G_{j}\right) / \tau\right)}
\end{aligned}
$

式 4 の $G_{i}$ は Gumbel 分布 $-\log (-\log ($ Uniform $[0,1]))$ からサンプリングされるノイズであり， $\tau$ は温度パ ラメタである． $\beta$ は単語べクトルを入力とする 2 層 のニューラルネットワーク $\mathrm{f}(\cdot)$ によって計算する.

$
\beta=\mathrm{f}(x)=\operatorname{softplus}\left(W \tanh \left(W^{\prime} x+b^{\prime}\right)+b\right)
$

$W \in \mathbb{R}^{d \times d}$ と $W^{\prime} \in \mathbb{R}^{d \times d}, b, b^{\prime}$ は学習パラメタで ある．実験では $\tau=0.1$ とした。

## 3.3 目的関数

単語ごとにバイナリコードの長さを可変とするモ デルの学習によって，目的タスクにおける重要語に は長いコードを，非重用語には短いコードを割り当 てる。このとき，コーパスによってはすべての単語 のコード長が最大長に収束するおそれがあるため， コード長に関する制約項を加えた。目的タスクにお ける学習の目的関数を以下の式 6 に示す.

$
L=L_{\text {task }}+\lambda_{2} \frac{1}{m} \sum_{i=0}^{m} g_{i}
$
表 1 各タスクに用いたコーパスのサイズ.

式 6 の第一項 $L_{\text {task }}$ は各タスクにおける目的関数で ある. 第二項はコード長に関する制約項である． $\lambda_{2}$ は定数であり，実験では 0.0001 とした.

先行研究 [6] から事前学習の導入によって目的夕 スクにおけるモデル精度が向上することが明らかに なっている. 本研究では再構成誤差に基づく事前学習をした後に目的タスクにパラメタを適応させた。事前学習の目的関数を以下の式 7 に示す.

$
L_{\text {pre }}=\frac{1}{m} \sum_{i=0}^{m}\left(x_{i}-\hat{x_{i}}\right)^{2}+\frac{\lambda_{1}}{2}\left.\|W_{\text {dec }} W_{e n c}-I\right.\|^{2}
$

$\lambda_{1}$ は定数であり，実験では 0.01 とした. 式 7 の第一項は入力単語ベクトルの再構成誤差, 第二項はバイ ナリコードの各要素が異なる観点の情報を Encode し, 浱性を減らすような正則化項である. 事前学習のとき $W_{\text {dec }}$ と $W_{\text {enc }}$ は同じパラメタとなるようパ ラメタを共有した．また，事前学習時はモデルから ゲート機構を取り除いた。

## 4 実験

## 4.1 実験設定

再構成誤差による事前学習と目的タスクにおける fine-tuning の 2 ステップの学習を行った. コードの 最大長 $m$ は 32，64，128の 3 種を比較した。異なる コード長に設定された 4 つの AutoEncoder を用いる AdaComp [6] については $(\mathbf{1 2 8}, 64,32,16),(\mathbf{6 4}, 32,16,8)$, $(\mathbf{3 2}, 16,8,4)$ の 3 種を比較手法とした.

コードの事前学習 300 次元の単語ベクトル GloVe ${ }^{1)}$ を使用した. 目的タスクにおける fine-tuning を前提としていない手法と公平な比較を行うため，実験では目的タスクに fine-tuning した GloVeを学習済みの単語ベクトルとして用いた。学習には Adam を使用し学習率は 0.001 , バッチサイズは 64 とした.

タスク適応したコードの学習 評価に用いたタス クを表 1 に示す. 学習には GloVe 中に存在する語彙 のみを使用した. 学習の高速化のため DBpedia [12]

は単語ベクトルの平均を，それ以下のタスクでは 2 層からなる LSTM の各タイムステップ出力の平均を 文ベクトルとした，LSTM のユニット数は 450，識別層として 1 層のニューラルネットワークを使用し た. 学習には Adam を使用し学習率は DBpedia のみ 0.0001，それ以外のタスクには 0.001 を用いた，バッ チサイズは 64 とした.

## 4.2 実験結果

最大バイナリコード長を変えて実験したときの識別精度と圧縮率を表 2 に示す. 表 2 より, DBpedia 以外のタスクにおいタスクで圧縮前の単語ベクト ル GloVe finetuneよりも圧縮語の単語ベクトルの方 がタスクの識別精度が高い。同様の結果は先行研究 $[4,5,6]$ でも報告されており, 強い正則化による 効果だと考察されている.コードブック (Decoder) の重み共有により低頻度語の学習が簡単になっ た点，識別タスクにおいて区別する必要のない単語 (Tom と Mary 等) がバイナリ化によってより近い ベクトルとなり後段の LSTM の学習が容易になった 点が理由として考えられる. DBpedia は多くの学習 データを用いた学習が行えるため, 正則化が必要な かったと考えられる. 小規模コーパスにおけるモデ ルの学習において過学習を防ぐ正則化は重要であ り，単語ごとにコード長を可変とする提案法はこの 正則化の効果をタスクの非重要語に対してより強め るものである.

コード長を可変とする手法 (AdaComp，Ours) は コード長固定の手法 Bin よりも高い精度を示した.特に提案法は AdaComp よりも精度が高く, 圧縮率も高くなった. 次の 2 つの点から精度が向上し たと考えられる.1つ目はより多様なコード長を 選択できる点である. AdaComp はコード長ごとに AutoEncoderを用意するために，コード長の種類を 増やすとパラメタが増えて学習が難しくなる．提案法はパラメ夕数はそのままに最大コード長と同じ数 だけコード長の種類を用意できるため，より細かく 冗長性を排除できる. 2 つ目は重み共有により学習 が容易になった点である．異なるコード長を持つ単語間での重み共有により低頻度語学習の効率化が精度向上につながったと考えられる. DBpedia コーパ スにおいて，コード長を可変とする提案法は Bin と 比較して圧縮率が大きく向上した。語彙サイズが大 きいコーパスほど，多くの非重要語が出現するため より多くのパラメタを消去できためである.
表 2 各タスクにおけるバイナリコードを用いる手法の実験結果.

図 2 各コード長が割り当てられた語彙と感情語の平均出現回数.

## 5 コード長の分析

提案法を学習した結果得られたバイナリコードに ついて，2つの分析をした. 提案モデルの学習には SST5コーパスを用いた.

コード長と語彙の出現回数 各コード長が割り当 てられた語彙と感情語について，SST5コーパスに おける出現回数の平均を図 2 に示す. 感情語は感情語辞書 [13]に含まれている語のうち SST5 コーパス に出現した語を使用した. 図 2 より, 出現回数の多 い語には長いコードが割り当てられる傾向がある が, 出現回数の多い語がコード長 14 や 20 から 24 あ たりに特に多く存在していることがわかった. 個々 のバイナリコードを見ると"the"や"on"のように文の 感情極性に依存しないが出現回数の多い語がコー ド長 14 や 20 から 24 に多く存在していた. 対して, コード長ごとの感情語の平均出現回数の違いに傾向 は確認できなかった。

図 3 各コード長が割り当てられた語彙のうち，感情語の 比率.

コード長と感情語の比率 各コード長が割り当て られた語彙のうち，その語が感情語である比率を 図 3 に示す. 長いコードほど感情語の比率が高くい ことがわかった. 提案法によって感情語のような タスクにおける重要語に長いコードが割り当てら れる。

## 6 おわりに

本研究では単語分散表現の圧縮を目的として，単語ごとのパラメタ数を可変とするゲート機構を提案 した. 提案法はモデルの精度を落とすことなく従来法を上回る圧縮率を達成した。感情分析タスクにお いて感情語に多くのパラメタ (長いコード) が割り当 てられていたことから，提案するゲート機構の導入 によって，期待通りにタスクにおける重要語に多く のパラメタを割り振られ非重要語には少ないパラメ タを割り振られることが分かった.

## 参考文献

[1] Maximilian Lam. Word2bits - quantized word vectors. arXiv:1803.05651v3, 2018

[2] Andrew L. Maas, Raymond E. Daly, Peter T. Pham, Dan Huang, Andrew Y. Ng, and Christopher Potts. Learning word vectors for sentiment analysis. In $A C L, 2011$.

[3] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In $A C L, 2016$.

[4] Raphael Shu and Hideki Nakayama. Compressing word embeddings via deep compositional code learning. In ICLR, 2018.

[5] Julien Tissier, Christophe Gravier, and Amaury Habrard. Near-lossless binarization ofword embeddings. In $A A A I$, 2019.

[6] Yeachan Kim, Kang-Min Kim, and SangKeun Lee. Adaptive compression ofword embeddings yeachan. In $A C L$, 2020.

[7] Jeffrey Pennington, Richard Socher, and Christopher Manning. Glove: Global vectors for word rep- resentation. In EMNLP, 2014.

[8] Geoffrey E. Hinton. Neural networks for machine learning.coursera, video lectures. 2013.

[9] Eric Jang, Shixiang Gu, and Ben Poole. Categorical reparameterization with gumbel-softmax. In ICLR, 2017.

[10] Richard Socher, Alex Perelygin, Jean Y. Wu, Jason Chuang, Christopher D. Manning, Andrew Y. Ng, and Christopher Potts. Recursive deep models for semantic compositionality over a sentiment treebank. In EMNLP, 2013.

[11] Ellen M Voorhees and Dawn M Tice. The trec-8 question answering track evaluation. In TREC, 1999.

[12] Xiang Zhang, Junbo Zhao, and Yann LeCun. Characterlevel convolutional networks for text classification. In NIPS, 2015.

[13] Minqing Hu and Bing Liu. Mining and summarizing customer reviews. In $K D D, 2004$.


# 極座標を用いた階層構造埋め込み

岩本蘭
慶應義塾大学
r.iwamoto@keio.jp
}

小比田涼介
日本アイ・ビー・エム株式会社 東京基礎研究所
kohi@ibm.com

## 1 はじめに

実世界の階層構造を表現することは自然言語処理 の多くのタスクにとって重要である $[1,2]$. 近年単語の階層構造を埋め込んだ分散表現の研究が活発に 行われ $[3,4]$ ，その中でも双曲空間を用いた分散表現が話題になった $[5,6,7]$. 双曲空間は体積が原点 からの距離に応じて指数関数的に広がるため低次元で階層構造を表現するのに適している. しかし双曲埋め込みを用いる際には応用タスクのモデルも 双曲空間で動作するように変更する必要があり [8], ユークリッド空間で学習された多くの手法を活用 することが難しい [9]. そこで我々は汎用性の高い ユークリッド空間で分散表現を学習する。

本稿では極座標を用いて単語を図 1 のよう に低次元のユークリッド空間に埋め込む Polar Embedding について述べる. Polar Embedding では 単語の抽象度を半径 (原点からの距離) で，類似度を角度で表現する。極座標の特徵を活かしな がら角度を最適化するために Welsch 損失 [10] と Stein Variational Gradient Descent (SVGD) [11]を用い る. WordNet の link prediction タスクで性能評価を行 い, Polar Embedding は低次元ユークリッド空間で学習された既存の分散表現より高精度を達成し, 双曲空間の分散表現と同等の性能を達成した。

## 2 Polar Embedding

Polar Embedding では極座標の半径と角度を用いて 単語を表現する．本節ではまず極座標での単語べク トルの定義について述べ，その後角度の最適化につ いて述べる。

ユークリッドノルムを $\|\cdot\|$, 半径を $r_{\text {max }} \in \mathbb{R}$ とす る. 単語 $w$ は $n$ 次元の開球 $\mathscr{W}^{n}=\left.\{\mathbf{w} \in \mathbb{R}^{n} \mid\|\mathbf{w}\|<\right.$ $\left.r_{\max }\right.\}$ 内の極座標べクトル $\mathbf{w}=\left(r, \theta, \varphi^{1}, \varphi^{2}, \ldots, \varphi^{n-2}\right)$ で表現される. ここで $r \in\left(0, r_{\max }\right), \theta \in[0,2 \pi), \varphi^{k} \in$ $(0, \pi), k=1,2, \ldots, n-2$ である. 例えば， 3 次元極座標での角度は図 2 のように表される。

図 1: Polar Embedding の概要. 半径を用いて単語の 抽象度を，角度を用いて類似度を表現する。

## 2.1 半径

半径 $r$ は単語の抽象度を表す. 一般的には具体的 な単語のほうが抽象的な単語よりも多いため, 具体的な単語を空間の中心から離れた場所に配置する ことで空間を効率的に使う．例えば，“bulldog”や “wooden chair" より “mammal" や“furniture” のほうが 抽象度が高いため $r$ を小さく設定する. 半径 $r$ は頻度情報などを用いて定めることができる. 本論文で は $r$ は学習せず，WordNet 内のエッジや，その単語 と上位下位ぺアとなる単語の多さから求める.

## 2.2 角度

角度 $\left(\theta, \varphi^{k}\right)$ は単語の類似度を表す. 既存の分散表現と同様に，類似した意味を持つ語同士は近く， そうでない語は遠くなるように角度を学習する。極座標は図 3 のように角度の範囲が制限されているた め, $r=1$ とすると, $\theta$ は円周上で， $\varphi^{k}$ は半円上で最適化される。

2 つの単語 $w_{i}, w_{j}$ があるとき, $\theta$ は図 3 の左図のよ うに $[0,2 \pi)$ の円周上を動く. $\theta_{w_{i}}$ と $\theta_{w_{j}}$ の距離は円周上の短いほうの弧とし，以下のように定義する。

$
d\left(\theta_{w_{i}}, \theta_{w_{j}}\right)=\min \left(2 \pi-\left|\theta_{w_{i}}-\theta_{w_{j}}\right|,\left|\theta_{w_{i}}-\theta_{w_{j}}\right|\right)
$

角度 $\varphi^{k} \in(0, \pi)$ は図 3 の右図のように半円上を動 き, $\varphi_{w_{i}}^{k}$ と $\varphi_{w_{j}}^{k}$ の距離は次式で表す.

$
d\left(\varphi_{w_{i}}^{k}, \varphi_{w_{j}}^{k}\right)=\left|\varphi_{w_{i}}^{k}-\varphi_{w_{j}}^{k}\right|, \forall k \in\{1, n-2\}
$

図 2: 3 次元極座標で の角度の定義

意味が似ている単語ぺアの角度はそれぞれの次元 において，上で定義した距離を小さくする方向に最適化される。極座標での角度の最適化には少し工夫 を加える必要がある. 低次元ユークリッド空間の超球面，つまり小さな空間で角度を最適化する場合，単語が空間内の一部分に集中しすぎないよう補正を 加え，限られた空間を効率的に使いたい，それを実現するための最適化手法を紹介する。

## 2.3 角度の最適化

本節では角度の最適化について述べる. デカルト 座標と異なり，極座標の角度は次元ごとに値域が制限されている。一般的に用いられる二乗誤差関数 $y=x^{2}$ は, 図 4 の黒い線で示すように $x$ が大きいほ ど $y$ が大きくなり，すでに距離が十分離れている単語に対しても単語を遠ざける力が強い. そのため, negative sampling の際に単語が互いに遠ざかりすぎ て角度が值域の端にたまってしまう，すなわち単語 が極に集中する現象が生じる. 低次元空間を有効に 使うためには，空間内に単語がばらけて分布するよ うにしたい。単語をばらけたままにしながら最適化 を行うために, 図 4 の青い線で示す Welsch 損失 [10] と，単語の分布を超球面上での一様分布にする Stein Variational Gradient Descent (SVGD [11]) を用いる.

Welsch 損失 Welsch 損失 $\mathscr{L}_{w}(d)$ は図 4 の青線の ように角度の勾配に制限があり， $d$ が大きいと勾配 は小さくなる。そのため単語同士が似ていない，つ まりすでに十分角度の差が大きい時には更新の値が 小さくなる仕組みになっている.

Welsch 損失は次のように定義される.

$
\mathscr{L}_{w}(d)=\frac{c^{2}}{2}\left[1-\exp \left(-\frac{d^{2}}{2 c^{2}}\right)\right]
$

$d$ は式 1 で示した 2 つの単語のある次元の角度の差, $c$ はパラメータである. 勾配は次式で表される.

$
\frac{\partial \mathscr{L}_{w}(d)}{\partial d}=\frac{d}{2} \exp \left(-\frac{d^{2}}{2 c^{2}}\right)
$

図 4: Welsch 損失 (青) と二乗誤差関数 (黒) の概形 (左) と勾配 (右)

SVGD 低次元のユークリッド空間をより効率的 に使う，つまり単語の類似関係を表現しつつ $(r=1$ としたときに) 超球面上に単語をばらつかせるため にSVGDを用いる。

SVGD では再生核ヒルベルト空間 $\mathscr{H}^{d}$ で理想分布 $p$ と現在の分布 $q$ の Kernelized Stein Discrepancy (KSD) $S(\cdot, \cdot)$ を次式のように定義し, KSD を最小化 することによって KL divergence を最小化する。

$
\mathcal{S}(q, p)=\max _{\phi \in \mathscr{\mathscr { H } ^ { d }}}\left.\{\mathbb{E}_{x \sim q}\left[\mathscr{A}_{p} \phi(x)\right]\right.\}
$

ここで $A_{p} \phi(x)=\phi(x) \nabla_{x} \log p(x)+\nabla_{x} \phi(x)$ であり, 式 5 の最適解は次のように得られる。

$
\phi_{p}^{*}\left(x^{\prime}\right)=\mathbb{E}_{x \sim q}\left[\kappa\left(x, x^{\prime}\right) \nabla_{x} \log p\left(x^{\prime}\right)+\nabla_{x} \kappa\left(x, x^{\prime}\right)\right]
$

$\kappa: ~ X \times X \rightarrow \mathbb{R}$ は一定の条件を満たす正定值 カーネルであり, 例えば $\mathrm{RBF}$ カーネル $\kappa\left(x, x^{\prime}\right)=$ $\exp \left(-\gamma\left.\|x-x^{\prime}\right.\|^{2}\right)$ が当てはまる. SVGD は Welsch loss を用いた訓練の試行回数ごとに行われる. 超球面上に単語が一様に分布するときのそれぞれの次元 の角度分布 (理想分布) を数式で表すことは難しいの で, Gaussian Mixture model (GMM) で近似した分布 を理想分布として用いる。

## 3 実験

我々は WordNet の mammal/noun subtree [12]を用 いて分散表現を学習した. Polar Embedding の定性的/定量的評価と，角度の最適化に用いた Welsch 損失と SVGD の効果について検証した。

## 3.1 データセット

mammal/noun subtree は WordNet のツリーから単語 ペアを抽出したデータセットで，単語ペア $\left(w_{i}, w_{j}\right)$ の間にエッジが存在するとき， $w_{i}$ は $w_{j}$ の上位語で ある. mammal subtree には 6540 ペア, noun subtree に は 743300 ペアが含まれる. 双曲空間の分散表現の 定量評価として多く用いられる link prediction [5,13]

図 5: WordNet mammal subtree で学習した Polar embedding表 1: WordNet noun subtree での link prediction タスクの結果. (E) と $(\mathrm{H})$ はユークリッド空間と双曲空間を表す.

は， noun subtree の単語ペアの間にエッジが存在す るかを予測することで，分散表現が単語間の階層構造をどの程度埋め込んでいるかを検証するタスクで ある.

まず mammal subtree で 2 次元の Polar Embedding を学習し定性的評価を行い，その後 noun subtree を 用いて link predictionを行った.

## 3.2 実験設定

ここでは Polar Embedding の実験設定について述 べる. Polar Embedding では半径 (抽象度) と角度 (類似度) は別々のパラメータで表されるため, 半径 $r$ を WordNet のエッジの深さから求め, 角度をエッジ でつながった単語ぺアの集合から学習した。

半径の設定 WordNet $の \mathrm{mammal} /$ noun subtree $の$ データセット全体からエッジの深さを推定する $r^{g}$ と, 訓練データの単語ペアのみからエッジの深さを 推定する $r^{e}$ を作成した. 単語 $w_{i}$ の半径 $r^{e}$ は, エッ ジの数 $e_{i}$ を用いて $r_{i}^{e}=1-z\left(\log \left(e_{i}+1\right)\right)$ と定義し, $r^{g}$ は階層中の子の数 $l_{i}$ とツリ一の最大高さ $h_{i}$ を用 いて $r_{i}^{g}=1-z\left(h_{i}+\log \left(l_{i}+1\right)\right)$ と定義する. $z$ は正規化関数であり $, r^{e}, r^{g}$ とも 0,1 の範囲をとる.

直感的に表現すると, $r^{g}$ のほうがより多くの情報 から半径を作成していて，ツリーの根の近くにあり 多くの子を持つ単語の抽象度が高い. それに対して $r^{e}$ では多くの単語とつながっている単語の抽象度が 高い. 実用的には $r$ は頻度情報など単語の抽象度を 表す他の尺度でも代用することができる。

角度の学習 角度を学習する際にはエッジでつな がった語同士は positive sample, そうでない語のぺア
は negative sample とした. mammal subtree では 2 次元 (角度の次元は 1), noun subtree では既存研究に倣 い 5 次元と 10 次元 (角度の次元は 4 または 9)の分散表現を学習した。

評価関数 ある単語ぺアが上位下位関係にあるか どうかには，単語の抽象度と類似度の両方が関係す ると仮定する．そこで，まず次のように類似度を評価する関数 $s_{a}$ と単語の抽象度 (半径) の差を評価す る関数 $s_{r}$ の 2 つを用意した。

$
\begin{aligned}
s_{a}\left(w_{i}, w_{j}\right) & =\frac{f\left(w_{i}\right) \cdot f\left(w_{j}\right)}{\left.\|f\left(w_{i}\right)\right.\|\left.\|f\left(w_{j}\right)\right.\|} \\
s_{r}\left(w_{i}, w_{j}\right) & =\left|r_{i}-r_{j}\right|
\end{aligned}
$

$f$ は極座標からデカルト座標への変換 [14]を表す. ある単語ペアの間にエッジが存在するとき，2つの 単語 $w_{i}$ と $w_{j}$ のなす角 (類似度) が一定以上小さく, 2 つの単語の半径の差 (抽象度の差) が一定以上大き いと仮定する. エッジが存在するかどうかの分類は $s_{a}$ と $s_{r}$ を組み合わせ， validation データを用いて決定した閾値 $\tau$ を用いて次式のように判定した。

$
s\left(w_{i}, w_{j}\right)= \begin{cases}1 & \text { if } s_{a}\left(w_{i}, w_{j}\right)>1-\tau s_{r}\left(w_{i}, w_{j}\right)^{2} \\ 0 & \text { otherwise }\end{cases}
$

## 4 結果と分析

## 4.1 Mammal Subtree

WordNet mammal subtree で 2 次元の Polar Embedding を学習した結果を図 5 に示す。単語は角度の偏りな く分布し, 様々な階層構造を見つけることができる。例えば, “cat”と “dog”は “carnivore”の下位語であり，

(a) 二乗誤差

(b) Welsch 損失

(c) Welsch 損失 + SVGD

図 6: WordNet noun subtree で学習した 5 次元分散表現の 2 次元部分

“carnivore”から見た扇形の中に存在する.さらに “dog” の下位語である “hunting dog” “terrier” との 階層関係や “lion” と “wildcat” が “cat” の下位語であ ることが読み取れる。種の階層性も埋め込まれてお $り$ ，例えば "aquatic mammal" $\rightarrow$ "cetacean" $\rightarrow$ "seal", “dolphin”という関係性や "primate" $\rightarrow$ "monkey" $\rightarrow$ "gorilla”, “ape”といった関係性が読み取れる. 抽象度の差を考慮せず，類似度のみを考慮したい場合は 既存の分散表現と同様に $\cos$ 類似度で単語間の関係 を評価すればよく，Polar Embedding では用途に応じ て類似度と抽象度を組み合わせることができる。

## 4.2 Noun Subtree

WordNet noun subtree での link prediction の結果を 表 1 に示す. 性能評価として F1 スコアを用い，比較手法としてユークリッド空間の分散表現 (Order, Cone, Disk) とユークリッド距離を最小化する分散表現 (Simple) [13], 双曲空間の分散表現 (Poincaré, Cone, Disk) [4, 5, 13] を用いた.

5 次元の場合では Polar Embedding は $r^{g}, r^{e}$ どちら の場合でも既存手法より優れた性能を発揮してい る. また, 訓練に使用したエッジの割合が小さい時 は，ユークリッド空間よりも双曲空間の分散表現 とも同等の性能である. 10 次元の時には他のユー クリッド空間の分散表現と大きな差はないが同等 の性能を達成している. これらの結果から, Polar Embedding は低次元 (5 次元) のユークリッド空間で の性能は十分高いが，次元が増加した時の性能の伸 び率の改善が今後の課題であることがわかる.

次に Welsch 損失と SVGD が角度の最適化に与え た影響を 5 次元の Polar Embedding を用いて分析し た.まず $r$ と $\theta$ の 2 次元のみを図 6 に示す. 二乗誤表 2: Welsch 損失と SVGD の評価実験.

差 (図 6a)のみで学習した際は単語が左右に寄って いるが, Welsch 損失 (図 6b)を用いると単語の分布が 二乗誤差よりはばらけているのがわかる. Welsch 損失 $+\operatorname{SVGD}$ (図 6c)では円周上に一様に分布している.

定量評価を表 2 に示す. link prediction で訓練エッ ジ $10 \%, r=r^{g}$ の設定で行った実験では, Welsch 損失を用いた場合二乗誤差よりも性能が高く，SVGD と Welsch 損失を両方用いたほうがさらに高い F1 ス コアを達成している。これらの結果から，低次元の ユークリッド空間を有効に使うことが性能の向上に 寄与していると考えられる。

## 5 結論

本論文では単語を極座標で表現する Polar embedding を提案した. 単語の抽象度を半径で，類似度を角度で表現することにより抽象度と類似度 を分けて最適化し，極座標で角度をうまく最適化 するために Welsch 損失と SVGDを用いた。単語が 極周辺に集まりすぎる現象を防ぐことで低次元の ユークリッド空間を有効に活用した提案法は， link prediction タスクで既存手法のユークリッド空間で 作成された分散表現を上回る精度を達成した. 今後 の展望として教師無し学習や高次元への拡張，半径 の学習が挙げられる.

## 参考文献

[1]Oktie Hassanzadeh, Debarun Bhattacharjya, Mark Feblowitz, Kavitha Srinivas, Michael Perrone, Shirin Sohrabi, and Michael Katz. Answering binary causal questions through large-scale text mining: An evaluation using cause-effect pairs from human experts. In IJCAI, 2019.

[2]Alon Talmor, Jonathan Herzig, Nicholas Lourie, and Jonathan Berant. CommonsenseQA: A question answering challenge targeting commonsense knowledge. In $A C L$, page 4149-4158.

[3]Luke Vilnis and Andrew McCallum. Word Representations via Gaussian Embedding. In ICLR, 2015.

[4]Ivan Vendrov, Ryan Kiros, Sanja Fidler, and Raquel Urtasun. Order-Embeddings of Images and Language. In ICLR, 2016.

[5]Maximillian Nickel and Douwe Kiela. Poincaré Embeddings for Learning Hierarchical Representations. In NeurIPS, pages 6338-6347. 2017.

[6]Bhuwan Dhingra, Christopher Shallue, Mohammad Norouzi, Andrew Dai, and George Dahl. Embedding Text in Hyperbolic Spaces. In Proceedings of the Workshop on GraphBased Methods for Natural Language Processing, pages 5969, 2018.

[7]Alexandru Tifrea, Gary Becigneul, and Octavian-Eugen Ganea. Poincare Glove: Hyperbolic Word Embeddings. In ICLR, 2019.

[8]Octavian Ganea, Gary Becigneul, and Thomas Hofmann. Hyperbolic neural networks. In S. Bengio, H. Wallach, H. Larochelle, K. Grauman, N. Cesa-Bianchi, and R. Garnett, editors, NeurIPS, pages 5345-5355. 2018.

[9]Lun Du, Zhicong Lu, Yun Wang, Guojie Song, Yiming Wang, and Wei Chen. Galaxy Network Embedding: A Hierarchical Community Structure Preserving Approach. In IJCAI, pages 2079-2085, 2018.

[10]John E. Dennis and Roy E. Welsch. Techniques for nonlinear least squares and robust regression. Communications in Statistics - Simulation and Computation, 7(4):345-359, 1978.

[11]Qiang Liu, Jason Lee, and Michael Jordan. A kernelized stein discrepancy for goodness-of-fit tests. In ICML, pages 276-284, 2016

[12]George A. Miller. WordNet: A Lexical Database for English. Coтmиn. ACM, 38(11):39-41, 1995.

[13]Octavian.-E. Ganea, Gary. Becigneul, and Thomas. Hofmann. Hyperbolic Entailment Cones for Learning Hierarchical Embeddings. In ICML, pages 1646-1655, 2018.

[14]LE Blumenson. A derivation of n-dimensional spherical coordinates. The American Mathematical Monthly, 67(1):6366, 1960


# 機械翻訳のためのチェックリスト

星野 翔
株式会社みらい翻訳 *
shhshn.shohoshino@gmail.com

## 1 はじめに

ニューラル機械翻訳（NMT）の進歩は翻訳精度 の向上に必ずしも結びついていない。一般に NMT の出力は流暢性 fluency が高いが、正確性 adequacy に難があると言われており [1]、統計的機械翻訳 (SMT) の出力より正確性が悪化する場合すらある。 その原因のうちに、過剰生成 over-generation や過少生成 under-generation と呼ばれる現象がある。 NMT の出力には過不足があり、入力にない情報を 過剰に出力したり、入力にある情報を欠落させるこ とがある。SMT では、入力を組み替えて出力を構成していたため、これら現象は原理上発生しにく かった。

こうした膠着状態からの脱却を目指して、我々は 新しいタスク「機械翻訳のためのチェックリスト」 を提案する。このタスクの目的は、参照訳を用い ず、機械翻訳の入出力から文レべルの自明な誤りを 検出することで、翻訳精度を底上げすることであ る。具体的には、NMT で数多く報告される過剩生成・過少生成を検出するが、誤訳 mistranslation は 検出しない。このチェックリストには二通りの利用方法があり、1. NMT に適用することで最低限の質 を担保できるし、2. 対訳データに適用することで対訳ノイズを発見できる。またブラックボックスの NMT を対象として、特定のアーキテクチャに依存 しない。後者の利用方法のように対象システムが NMT でなくとも良い。出力のスコア化はチェック リストの対象外である。

従来、機械翻訳の誤り検出のタスクとしては、主 に自動評価、誤り分析、品質推定 (QE) の三種類が 用いられている。1. 自動評価は、出力と参照訳の近 さをスコア化するタスクで、BLEU [2] が代表的な 尺度である。2. 誤り分析 $[3,4,5]$ は、参照訳に基づ き出力の誤りを分類するタスクで、スコア化を目的

としない点で提案手法に最も近い。3. $\mathrm{QE}[6,7]$ は、参照訳を用いず出力を評価するタスクで、文レベル では HTER [8] に基づき出力の後編集に必要な回数 をスコア化する。このように、従来研究とチェック リストは似て異なる目的を持つため、新しいタスク として提案する。

## 2 提案手法

ここから我々によるチェックリストの実装案であ る、単語アライメントに基づくチェックリストを説明する。提案手法では、NMT の入出力の他に、単語アライメントが利用可能であると仮定する。単語 アライメント利用の是非は後述するが、基本的に対訳データで単語アライメントを教師なし学習し、 force align によって予測する。単語はサブワード [9] またはバイト [10] でも良い。

つまり NMT の入力または対訳データの原言語文 （以下、入力）を $\mathcal{X}=\left[x_{1}, \ldots, x_{X} \mid X \in \mathbb{Z}\right] 、$ NMT の 出力または対訳データの目的言語文 (以下、出力) を $\mathcal{Y}=\left[y_{1}, \ldots, y_{Y} \mid Y \in \mathbb{Z}\right]$ 、さらに入出力間の単語 アライメントを $\mathcal{A}=\{(f, e) \mid 1 \leq f \leq X \wedge 1 \leq e \leq Y\}$ と定義する。提案手法には三つ組 $(\mathcal{X}, \mathcal{Y}, \mathcal{A})$ が与え られ、 0 または 1 を出力して終了する。文レベルで 何らかの誤りを検出できれば 1 を出力し、誤りを全 く検出できなければ 0 を出力する。

提案手法は、基本的な考え方として、なるべく再現率が高くなる検出方法を目指す。そうでなければ チェックリストとしての信頼性を損うためである。 そこで具体的には、過剩生成・過少生成の検出を 1 .反復、2. 中断、3. 過剰生成、4. 過少生成の四つの サブタスクに細分化する。そして個々の性能を測定・改善することで、チェックリスト全体としての 性能の向上を試みる。各サブタスクへの取り組み方 を以下順に説明する。

## 2.1 反復

過剩生成の特殊ケースで、あるフレーズが繰り返 し出力される現象を仮に反復 repetition と呼ぶ。反復は、入力に繰り返しが含まれない限り、出力に繰 り返しが含まれるか否かで検出できる。1)

つまり入出力について、繰り返しが含まれる出力 $\mathcal{Y}^{\prime}=\left[y_{1}, \ldots, y_{i}, \ldots, y_{j}, y_{i}, \ldots, y_{j}, \ldots, y_{Y^{\prime}} \mid 1 \leq i, j \leq\right.$ $\left.Y^{\prime}\right]$ が空集合にならず、一方で繰り返しが含まれる 入力 $\mathcal{X}^{\prime}=\left[x_{1}, \ldots, x_{k}, \ldots, x_{l}, x_{k}, \ldots, x_{l}, \ldots, x_{X^{\prime}} \mid 1 \leq\right.$ $\left.k, l \leq X^{\prime}\right]$ が空集合になり、同時に成り立たないも のとする。このとき 1 を出力する。

## 2.2 中断

過少生成の特殊ケースで、入力のごく一部分に 相当する情報しか出力されない現象を仮に中断 termination と呼ぶ。中断は、入出力の長さ比が極端に変化しない限り、入出力の長さ比に閾値を設け ることで検出できる。2)

つまり入力の単語数 $X$ と 出力の単語数 $Y$ を見比 べて、長さ比の閾値 $r \in \mathbb{R}$ について $\frac{Y}{X} \leq r$ ならば中断とみなし 1 を、 $\frac{Y}{X}>r$ ならば 0 を出力する。間值 $r$ は提案手法のハイパーパラメータであり、本研究 では事前実験で性能が良かった $r=0.5$ を用いる。

## 2.3 過剰生成と過少生成

入力に含まれない情報の出力を過剩生成、入力に 含まれる情報の出力での欠落を過少生成と呼ぶ。例えば、湧き出しは過剩生成であり、訳抜けは過少生成である。過剩生成・過少生成の検出は難しいた め、まず反復・中断を取り除く。その上で、信頼性 の高い単語アライメントが利用可能であると仮定 し、単語アライメントを用いて判定する。

## 2.3.1 過剩生成

過剰生成では、入力に含まれない出力情報の有無 を単語アライメントで判定する。しかし、単語アラ イメントが null の単語を誤判定する可能性がある。例えば、英語の冠詞 the などストップワードが該当 する。そこで安全幅 $n \in \mathbb{Z} を$ 設けて、前後 $n$ 単語を 含むフレーズ全体が null かどうかで判定する。

1）OpenNMT [11] に似た機能が実装されているが、翻訳精度低下の恐れがある NMT ビーム探索中の検出ではなく、出力後の検出を目的としたい。

2）目的が異なるが、入出力の長さ比を用いて NMT ビーム探索を補正する手法 [12] が提案されている。
つまり $\mathcal{Y}^{\prime \prime}=\left[y_{1}, \ldots, y_{e}, \ldots, y_{Y^{\prime \prime}} \mid 1 \leq e \leq Y^{\prime \prime} \wedge\right.$ $\left.\left(f, e^{\prime}\right) \notin \mathcal{A} \wedge e-n \leq e^{\prime} \leq e+n\right]$ が空集合でなければ 1 を出力する。安全幅 $n$ も提案手法のハイパーパラ メータであり、本研究では事前実験で性能が良かっ た $n=3$ を用いる。

## 2.3.2 過少生成

過少生成では、出力に含まれない入力情報の有無 を単語アライメントで判定する。過少生成でも、過剩生成と同じく共通の安全幅 $n$ を用いて、前後 $n$ 単語を含むフレーズ全体が null かどうかで判定する。

つまり $\mathcal{X}^{\prime \prime}=\left[x_{1}, \ldots, x_{f}, \ldots, x_{X^{\prime \prime}} \mid 1 \leq f \leq X^{\prime \prime} \wedge\right.$ $\left.\left(f^{\prime}, e\right) \notin \mathcal{A} \wedge f-n \leq f^{\prime} \leq f+n\right]$ が空集合でなければ 1 を出力する。

## 2.4 単語アライメント利用の是非

このような利用に耐えうる信頼性の高い単語ア ライメントの入手は難しい。NMT で一般的なアテ ンションは単語アライメントではない。そのため NMT と単語アライメントをジョイントないしマル チタスクで学習する研究 $[13,14]$ がある。提案手法 では、特定の手法に依存しないために、別途学習・予測された単語アライメントが与えられると仮定 する。

こうしてチェックリストの準備が整ったため、実世界のデータを用いてその性能と有効性を明らかに する。

## 3 実験

## 3.1 実験設定

提案手法を NMT の出力および対訳データへそれ ぞれ適用し、チェックリストとしての利用に耐えう るか検証する。単語アライメントの信頼性の観点 で、NMT の出力は対訳データより難易度が高くな ると予想される。そのため、適用対象を 1 . 単語ア ライメントの学習に使用した対訳データ、2. その 他の対訳データ、3. NMT の出力 と三種別に細分化し有効性を検証する。提案手法の評価方法として は、性能の定量化が難しいため、人手で定性的に分析する。

NMT は、fairseq v0.10.2 [15] と英独翻訳モデ ル [16] を組み合わせて使用する。WMT2018 [17] の ニュース分野で良い成績を収めた訓練済みの翻訳モ デルが一般公開されており、再現実験が容易なため

 &  &  &  \\

中断 & 0 & 13 & 5 \\
過剰生成 & 35,472 & 14 & 3 \\
過少生成 & 38,034 & 18 & 2 \\
検出せず & $5,149,766$ & 2,958 & 2,988 \\

表 1 提案手法によるチェックリストの対象と実験結果

対象に選定する。もちろん他の機械翻訳システム・翻訳モデルでも構わない。単語アライメントは、fast_align [18] を使用し て WMT2018 の学習データから教師なし学習する。性能向上のため、英独と独英の両方向で学習し、最後に grow-diag-final-and ヒューリスティックを 使用して多対多 many-to-many の単語アライメント に仕上げる。学習データ以外については force align で予測し、同様の手順で多対多の単語アライメント を出力する。

実験データは、同じく WMT2018 の学習データ （以下 wmt18）と評価データ（以下 news18）に加え て、開発データとして WMT2012 [19] の評価データ （以下 news12）を使用する。データ作成方法など実験設定の詳細は付録 A で説明する。

## 3.2 実験結果

表 1 に、提案手法によるチェックリストの出力結果をデータ種別とサブタスク別に示す。四つのサブ タスクの何れでも誤りを検出できなかった場合は 「検出せず」に分類した。提案手法は約 $1 \%$ のデータ で文レベルの誤りを検出した。

まずデータ種別による違いとして、反復・中断 の有無があった。本研究では NMT の出力である news18 に反復が発生しなかったが、対訳データ中 に反復の対訳ノイズが存在していた wmt18 では検出に成功した。反対に、news18 では中断が発生し たが、wmt18では検出できなかった。

次にサブタスクによる違いとして、wmt18 での反復・中断の少なさに対して、過剰生成・過少生成の 多さが際立った。単語アライメントの利用により対訳ノイズの大半を過剩生成・過少出力に分類できた
ことが要因と考えられるが、一方でストップワード の誤検出も多く、過剩生成・過少生成をさらに細分化する必要性も示唆される。

図 1 に、対訳データでの実際の検出例を示す。例 えば、wmt18 の反復では、文全体が繰り返されてい る明らかな対訳ノイズを検出できた。また news12 での中断では、英語入力に対して独語出力が不自然に短い対訳ノイズを検出できた。また wmt18 と news12 の両方で過剰生成・過少生成を検出できてい る。特に news12 の過少生成では、一見「Poland」を 「Pole」と訳せているが、「Polen」と訳すべきだった と考えられる。このように、提案手法の有効性を確認できたものの、チェックリストとしての性能には まだまだ改善の余地がある。

## 3.3 議論

チェックリストの性能を地道に改善していくこと で当初の目的である NMT の翻訳精度の底上げを実現できるだろうか。提案手法は単語アライメントが 利用可能であるという強い前提を置いているが、こ の問題設定にいささか無理があるとも言える。仮に 完璧な単語アライメントを利用できれば、NMT の 自動評価は事実上完成するし、また NMT そのもの を学習し直すことができるため、機械翻訳と同等以上に難しい部分問題を前提としている疑いがある。

このような疑問には以下のように応えたい。まず 機械翻訳の評価そのものは人間にとっても難しい [20] が、単語アライメントを人手で作成するタスク の一致率は比較的高く、教師なし学習による機械化 もある程度進んでいる。そのため、単語アライメン 卜は機械翻訳やその評価より難易度が低い部分問題 と言える。また実世界では、NMT の誤訳検出にも 増して、NMT の信頼性に直結する過剩生成・過少生成の検出が喫緊の課題となっている。そのため 我々は、過剩生成・過少生成の検出を目的とする単語アライメントの利用を妥当な落とし所と考える。

## 4 関連研究

機械翻訳の自動評価には、n-gram の適合率に基 づくBLEU [2] や SacreBLEU [21] が広く用いられて いる。また順位相関係数に基づく Birch と Osborne [22] や Isozaki ら [23] の研究がある。単語アライメ ントに基づく手法としては、松尾ら [24] の研究が ある。

機械翻訳の誤り分類では、人手分類のための Vilar

} & 独語出力 & Neue Bilder von DOFUS 2.0 ! Neue Bilder von DOFUS 2.0 ! \\

図 1 提案手法によるチェックリストの文レベル誤り検出例

ら [3] の研究がある。また自動的な誤り分類のため

の Popović ら [4] や Akabe ら [5] の研究がある。

機械翻訳における参照訳を用いない $\mathrm{QE}[6,7]$ に は、単語レベルと文レベルの 2 つのタスクがあるが、文レベルでは HTER [8] を予測する。具体的な手法としては predictor-estimator に基づく POSTECH [25] などが用いられる [26]。参照訳を用いず評価す る点において、我々のチェックリストも志は同じで ある。

NMT における誤り検出の取り組みとしては、訳抜けの検出に NMT のアテンション及び逆翻訳を利用する後藤と田中 $[27]$ の研究がある。さらに対訳 データの訳抜けを NMT のアテンションや単語アラ イメントから検出し、反復回数を人手で検出する後藤ら $[28]$ の研究がある。

## 5 おわりに

本研究は機械翻訳のためのチェックリストという 新しいタスクを考案し、その実装案として、単語ア ライメントに基づく手法を提案した。実世界での英独 NMT 翻訳モデルと対訳データを用いた実験で、提案手法のチェックリストとしての有効性を示し た。提案手法の限界として、自明ではない誤訳を検出できず、また NMT への対処療法となっている欠点があり、今後の研究が待たれる。このチェックリ ストが有効活用されることで、将来的に NMT の翻訳精度が底上げされることを願う。

## 参考文献

[1] Philipp Koehn and Rebecca Knowles. Six challenges for neural machine translation. In Proceedings of the First Workshop on Neural Machine Translation, pp. 28-39, 2017.

[2] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-

Jing Zhu. BLEU: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, 2002.

[3] David Vilar, Jia Xu, Luis Fernando D'Haro, and Hermann Ney. Error analysis of statistical machine translation output. In Proceedings of the Fifth International Conference on Language Resources and Evaluation, pp. 697-702, 2006

[4] Maja Popović and Hermann Ney. Towards automatic error analysis of machine translation output. Computational Linguistics, Vol. 37, No. 4, pp. 657-688, 2011.

[5] Koichi Akabe, Graham Neubig, Sakriani Sakti, Tomoki Toda, and Satoshi Nakamura. Discriminative language models as a tool for machine translation error analysis. In Proceedings of the 25th International Conference on Computational Linguistics: Technical Papers, pp. 1124-1132, 2014.

[6] John Blatz, Erin Fitzgerald, George Foster, Simona Gandrabur, Cyril Goutte, Alex Kulesza, Alberto Sanchis, and Nicola Ueffing. Confidence estimation for machine translation. In Proceedings of the 20th International Conference on Computational Linguistics, pp. 315-321, 2004.

[7] Lucia Specia, Marco Turchi, Nicola Cancedda, Nello Cristianini, and Marc Dymetman. Estimating the sentencelevel quality of machine translation systems. In Proceedings of the 13th Annual conference of the European Association for Machine Translation, pp. 28-35, 2009.

[8] Matthew Snover, Bonnie Dorr, Richard Schwartz, Linnea Micciulla, and John Makhoul. A study of translation edit rate with targeted human annotation.

[9] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics, pp. 1715-1725, 2016.

[10] Changhan Wang, Kyunghyun Cho, and Jiatao Gu. Neural machine translation with byte-level subwords. In Proceedings of the Thirty-Fourth AAAI Conference on Artificial Intelligence, pp. 9154-9160, 2020.

[11] Guillaume Klein, Yoon Kim, Yuntian Deng, Jean Senellart, and Alexander Rush. OpenNMT: Open-source toolkit for neural machine translation. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics: System Demonstrations, pp. 67-72, 2017.

[12] Yilin Yang, Liang Huang, and Mingbo Ma. Breaking the beam search curse: A study of (re-)scoring methods and stopping criteria for neural machine translation. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 3054-3059, 2018.

[13] Lemao Liu, Masao Utiyama, Andrew Finch, and Eiichiro Sumita. Neural machine translation with supervised attention. In Proceedings of the 26th International Conference on Computational Linguistics: Technical Papers, pp. 3093-3102, 2016.

[14] Sarthak Garg, Stephan Peitz, Udhyakumar Nallasamy, and Matthias Paulik. Jointly learning to align and translate with transformer models. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, pp. 4453-4462, 2019.

[15] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A fast, extensible toolkit for sequence modeling. In Proceedings of the 2019 Conference of the North
American Chapter of the Association for Computational Linguistics: Demonstrations, pp. 48-53, 2019.

[16] Sergey Edunov, Myle Ott, Michael Auli, and David Grangier. Understanding back-translation at scale. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 489-500, 2018.

[17] Ondřej Bojar, Christian Federmann, Mark Fishel, Yvette Graham, Barry Haddow, Philipp Koehn, and Christof Monz. Findings of the 2018 conference on machine translation (WMT18). In Proceedings of the Third Conference on Machine Translation: Shared Task Papers, pp. 272-303, 2018.

[18] Chris Dyer, Victor Chahuneau, and Noah A. Smith. A simple, fast, and effective reparameterization of IBM model 2. In Proceedings of the 2013 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. $644-648,2013$.

[19] Chris Callison-Burch, Philipp Koehn, Christof Monz, Matt Post, Radu Soricut, and Lucia Specia, editors. Proceedings of the Seventh Workshop on Statistical Machine Translation, 2012.

[20] Yvette Graham, Timothy Baldwin, Alistair Moffat, and Justin Zobel. Continuous measurement scales in human evaluation of machine translation. In Proceedings of the 7th Linguistic Annotation Workshop and Interoperability with Discourse, pp. 33-41, 2013.

[21] Matt Post. A call for clarity in reporting BLEU scores. In Proceedings of the Third Conference on Machine Translation: Research Papers, pp. 186-191, 2018.

[22] Alexandra Birch and Miles Osborne. LRscore for evaluating lexical and reordering quality in mt. In Proceedings of the Joint Fifth Workshop on Statistical Machine Translation and MetricsMATR, pp. 327-332, 2010.

[23] Hideki Isozaki, Tsutomu Hirao, Kevin Duh, Katsuhito Sudoh, and Hajime Tsukada. Automatic evaluation of translation quality for distant language pairs. In Proceedings of the 2010 Conference on Empirical Methods in Natural Language Processing, pp. 944-952, 2010.

[24] 松尾潤樹, 小町守, 須藤克仁. 単語分散表現を用いた単語ア ライメントによる日英機械翻訳の自動評価尺度. 情報処理学会研究報告, Vol. 2016-NL-229, No. 20, pp. 1-7, 2016.

[25] Hyun Kim, Jong-Hyeok Lee, and Seung-Hoon Na. Predictor-estimator using multilevel task learning with stack propagation for neural quality estimation. In Proceedings of the Second Conference on Machine Translation, pp. 562-568, 2017 .

[26] Fábio Kepler, Jonay Trénous, Marcos Treviso, Miguel Vera, and André F. T. Martins. OpenKiwi: An open source framework for quality estimation. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics: System Demonstrations, pp. 117-122, 2019.

[27] 後藤功雄, 田中英輝. ニューラル機械翻訳での訳抜けした 内容の検出. 言語処理学会 第 23 回年次大会 発表論文集, pp. 1018-1021, 2017.

[28] 後藤功雄, 美野秀弥，山田一郎. 訳抜けを含む訓練データ と訳抜けのない出力とのギャップを埋めるニューラル機械翻訳. 言語処理学会 第 26 回年次大会 発表論文集, pp. 1412-1415, 2020.

表 2 WMT2018英独ニュース翻訳での再現実験結果

## A 付録: 実験設定詳細

翻訳モデルとして、Facebook の公開データ3）を使用した。このデータにはアンサンブル用モデルと、翻訳結果修正用 source copy filtering モデルが含まれているが、このうち wmt18.model1.pt のみ使用した。前処理やハイパーパラメータは同梱の手順 wmt18.shに従った。

参考までに、表 2 に WMT2018 評価データでの SacreBLEU 值を報告する。我々の再現実験以外の值は、翻訳モデル [16] 著者らの報告結果4）を借用した。本研究は実験の都合でアンサンブルと source copy filtering を 使用しなかったが、著者らの SacreBLEU 值 44.94 に対して 44.80 と、ほぼ同等の性能を再現できたと考える。

単語アライメントの学習では、fast_align の最新版5）を使用して、基本的にジョイントモデル用の手順 $\left.{ }^{6}\right)$ に従った。しかしながら事前実験でチェックリストへの悪影響があったため、サブワード（BPE）を使用し なかった。