# 機械翻訳モデルの頑健性評価に向けた言語現象毎データセットの 構築と分析

藤井 諒 $\dagger \cdot$ 三田 雅人 ${ }^{\dagger, \dagger}$ - 阿部香央莉 $\dagger \cdot$ 塙 一晃 ${ }^{\dagger \dagger, \dagger} \cdot$

ニューラル機械翻訳 (NMT) の登場により, ニュース記事など文体の整った入力に
対する翻訳の品質は著しく向上してきた. しかし, ソーシャル・ネットワーキング.
サービス (SNS) に代表されるユーザ生成コンテンツ (UGC) を対象とした NMT の
翻訳には依然として多くの課題が残されている。異文化・多言語交流の促進に向け
た機械翻訳システムの活用には，そうした特異な入力を正確に扱うことのできる翻
訳モデルの構築が不可欠である。近年では, UGC における翻訳品質の向上に向け
たコンペティションが開催されるなどその重要性は広く認知されている。一方で,
UGC に起因するどのような要因が機械翻訳システムの出力に悪影響を及ぼすのか
は明らかでなく, 偏在するユーザコンテンツの翻訳に向けた確かな方向性は依然と
して定まっていない。そこで本研究では，言語現象に着目した日英機械翻訳システ
ムの頑健性測定データセット PheMT を提案する．特定の言語現象を含む文に特化
したデータセットにより，当該表現の翻訳正解率，および正規化に基づく翻訳品質
の差分を用いた精緻なエラー分析を可能にする。構築したデータセットを用いた評
価により，広く商用に利用される機械翻訳システムを含む，最先端のNMT モデル
においても十分に扱えない，対処すべき言語現象の存在を明らかにする。
キーワード：機械翻訳, ソーシャルメディア, 頑健性, データセット

## Phenomenon-wise Evaluation Dataset Towards Analyzing Robustness of Machine Translation Models

\author{
Ryo Fujil ${ }^{\dagger}$, Masato Mita $^{\dagger \dagger, \dagger}$, Kaori Abe ${ }^{\dagger}$, Kazuaki Hanawa ${ }^{\dagger \dagger, \dagger}$, \\ Makoto Morishita ${ }^{\dagger \dagger, \dagger}$, Jun Suzuki ${ }^{\dagger, \dagger \dagger}$ and Kentaro Inui ${ }^{\dagger, \dagger \dagger}$
}

\begin{abstract}
Neural Machine Translation (NMT) has shown drastic improvement in its quality when translating clean input such as text from the news domain. However, existing studies suggest that NMT still struggles with certain kinds of input with considerable noise, such as User-Generated Contents (UGC) on the Internet. To make better use of NMT for cross-cultural communication, one of the most promising directions is to develop a translation model that correctly handles these informal expressions.
\end{abstract}

Though its importance has been recognized, it is still not clear as to what creates the large performance gap between the translation of clean input and that of UGC. To answer the question, we present a new dataset, PheMT, for evaluating robustness of MT systems against specific linguistic phenomena in Japanese-English translation. We provide more fine-grained error analysis about the behavior of the models with the accuracy and relative drop in translation quality on the contrastive dataset specifically designed for each phenomenon. Our experiments with the dataset revealed that not only our in-house models but even widely used off-the-shelf systems are greatly disturbed by the presence of certain phenomena.

Key Words: Machine Translation, Social Media, Robustness, Dataset

## 1 はじめに

ニューラル機械翻訳 (Neural Machine Translation, NMT) の発展 (Luong et al. 2015; Vaswani et al. 2017)により，ニュース記事のような文体の整った入力に対する翻訳品質は著しく向上し，一部の言語対においては既に人間の翻訳に匹敵するレベルにまで到達したと言われている (Hassan et al. 2018; Barrault et al. 2019). しかし，そのめざましい発展をもってしても，ソー シャルメディアに見られるようなユーザ生成コンテンツ (User-Generated Contents, UGC) に対する NMT の適用可能性は依然として極めて限られている (Michel and Neubig 2018).

一方で，ソーシャルメディアなどの普及に伴い，UGC が我々の日常生活に与える影響は非常に大きなものとなっている。例えば，それらのサービスへの投稿はユーザの購買行動の決定にも重大な影響を及ぼすことが報告されている1、そのような背景において, Berard et al. (2019a) は Foursquare 2 に寄稿されたレストランのレビューに着目し, 異文化交流の促進に向けて実応用を見据えた翻訳タスクを設計した。

近年では UGC に対して頑健な翻訳システム構築への関心の高まりと共に, ソーシャルメディア上のテキストの翻訳精度を競うコンペティションも開催されている (Li et al. 2019). 当該コンペティションにおいて，翻訳の評価は従来の機械翻訳出力に対する評価と同様に，あるひとつの包括的なデータセットに対してひとつの全体スコアを付与する手法で行われている（図 1a）. しかし，我々はこの評価における改善は必ずしもモデルの頑健性を説明していないと考える.例えば，訓練データ規模の異なる 2 つのモデル出力に対して BLEU スコアの比較を行い，スコアの改善をもってあらゆる事象に対する頑健性を結論付けることは危険である。UGCにおける機械翻訳システムの性能向上への端緒を見出すためには，翻訳品質の低下を招く要因を明らかにし，実際にそれらが改善されていることを示すことのできる確かな基盤が必要である.

(a) 一般的な評価

(b) 現象毎データセットによる評価

図 1 一般的な機械翻訳評価の手法と我々のデータセットによる現象毎評価の比較.

そこで本研究では，機械翻訳システムの精緻な評価に向けた第一歩として日英機械翻訳に焦点を当て, 日本語ユーザコンテンツに含まれる特定の言語現象が出力に及ぼす影響を調査する.具体的には，既存の評価データセットに対して，新たに固有名詞，名詞の省略，口語表現，異表記の 4 つの言語現象に着目したアノテーションを付与することで，言語現象毎評価データセッ

ト PheMT (Phenomenon-wise Dataset for Machine Translation Robustness) を構築した（図 1b）。文中の特定の表現に注目することにより，ある言語現象を正しく扱えるかどうかを翻訳正解率を用いてより直接的に測定することを可能にした。 また，ある現象がモデルに及ぼす影響は，その現象の存在を取り除いた場合との差分により評価できるというアイデアのもと，人手による当該表現の正規化を行った。原文と正規化後の文を入力した際の評価指標の差異の測定により，個々のモデルが元来有する表現能力の違いに起因する影響を取り除き，当該表現が翻訳文全体の品質に与える影響を測定する。構築したデータセットを用いた評価と分析を通して， UGC という限定されたドメインにおいても依然として十分に翻訳することのできない対処すべき現象が存在することを明らかにする。

本論文の貢献は以下の 2 点である.

（1）日英機械翻訳における詳細なエラー分析のための第一歩として，日本語ユーザコンテンツに頻繁に現れる言語現象に着目した評価データセットを構築した.

（2）構築したデータセットを用いた評価と分析により，広く商用に利用される機械翻訳システムを含む最先端の NMT モデルにおいても，依然として多くの課題が残されていることを明らかにし，今後の機械翻訳評価における一つの方向性として言語現象毎評価の可能性を示した。

## 2 関連研究

機械翻訳分野において，入力文中のノイズに頑健なシステムの構築に対する関心が高まっている.これに対して, Michel and Neubig (2018) は UGC の代表例となるオンラインディスカッ

ことで英日翻訳を対象とした MTNT (Machine Translation of Noisy Text) データセットを構築した。彼らは，MTNT データセットの原言語文が既存の他の機械翻訳ベンチマークと比較して誤植（タイポ）や文法誤りなどのノイズを多く含むことを明らかにすると共に， ベースラインモデルによる翻訳実験の結果から UGCに対する翻訳の難しさを示した。また，このデータセットは近年開催された機械翻訳システムの頑健性に関するコンペティションにおいても，訓練および評価のために用いられた4.

しかし, MTNTデータセットには，ニュースの見出しのように文語調なものから，隠語を含む特定コミュニティ内の崩れた会話まで多種多様な文体やドメインが含まれている。また，付加された翻訳文においても，その解釈の難しさから未訳や誤訳を含むものが一定数存在し, 品質は玉石混淆であると言える。このようなデータセットを評価基盤として，機械翻訳における代表的な評価指標である BLEU スコア (Papineni et al. 2002)を用いた比較を行った場合，スコアの改善が実際にどれほどノイズに対する頑健性に起因するのかを推定することは難しい．事実，コンペティションにおいて最も良いスコアを獲得したチームである Berard et al. (2019b) は，UGCに頻出する大文字・小文字の混同に対処するため各単語の先頭にタグを付与するなどの工夫を行い，人手評価をもって入力に対する頑健性が向上することを示したが，BLEU スコアを用いた評価では，単に訓練データ中からぺアとして不十分なものを取り除くコーパスフィルタリングが最も改善に寄与したと報告している。コーパスフィルタリングは, データ駆動の機械翻訳システムにおいては不可欠な技術であるものの (Koehn et al. 2018; Junczys-Dowmunt 2018), これはパラレルコーパスの構築にあたって生じたノイズへの対処を目的としており, 本質的に入力に対する頑健性を対象としてはいない. したがって，現状のデータセットおよび評価をもって UGC という特異な入力に対するシステムの優位性を帰結することは早計であり，真に頑健な機械翻訳システムの構築に向けては，低コストで再現性が高く継続的な改善を実現可能な評価基盤を築くことの重要性は高いと考える. これらの問題意識のもと, 本研究では入力に見られる特殊な言語現象に対する改善を重点的に測定できるような評価用データセットを構築することを目的とする。

言語現象という観点から誤訳の原因究明を目指すアプローチは，誤植 (Heigold et al. 2018; Belinkov and Bisk 2018; Karpukhin et al. 2019; Niu et al. 2020)，文法誤り (Nagase et al. 2011;

Sennrich 2017; Anastasopoulos et al. 2019) からジェンダーバイアスの存在 (Stanovsky et al. 2019)に至るまで広く受け入れられている。例えば, Isabelle et al. (2017) は英語からフランス語への翻訳において, 主述の一致など構造の差異から生じる 20 種類以上の細分類を言語現象的観点から設定し，当該箇所の翻訳精度によりモデルを評価した。モデルの汎化性能の測定においては様々な性質のデータを用いて評価することが一般的であり，それぞれが単一の言語現象を対象とした少数データセットによる分析, という彼らの提案は機械翻訳システムに対する理解を促進する上で新たな側面を提供したと言える。一方で，彼らの手法は人手による絶対評価を要するため, 言語学に関する高度な知識を持った公平な評価者の選定や評価データの拡張において課題がある.

この問題に対し, Sennrich (2017) は対照データセットによる相対比較を用いた自動評価のアプローチを提案した. この研究では, それぞれの入力文に対し, 正解の参照訳とその一部を改変した対照的な参照訳を作成し，モデルが正解に対して高い生成確率を与えることができた文の割合をもって評価が行われた。 後に, Bawden et al. (2018)は同様の手法を用いて，先行文脈を利用した機械翻訳における照応代名詞の影響を検証した。しかし, 彼らが指摘するように, この手法はモデルが 2 つの参照訳を正しく順位付けできた場合にも，最も尤度の高い生成文が誤りを含まないことは保証しない. さらに, これらの手法は入力に曖昧性のない整った文を想定しているため, そのような特徴を有しないUGC の分析に適用することは難しいという問題がある.

一方で，対照的なのは必ずしも参照訳である必要はない. Heigold et al. (2018)は，誤植を模した人工的な誤りをルールにより作成し入力文に加えることで, 入力文中の誤りの存在がモデルの翻訳品質の低下にどれだけ寄与するかを調査した。さらに, Belinkov and Bisk (2018), Karpukhin et al. (2019) はウェブサイトの編集履歴を用いることで，人間が生成しやすい誤りの分布を再現し, 検証の範囲を自然な誤りに拡張した. しかし, これらの研究では誤りは疑似的なものであり，実際に人間が記述したテキストに対するモデルの頑健性は検証されていない.これに対して, Anastasopoulos et al. (2019) は文法誤りに対するべンチマークである JFLEGコー パス (Napoles et al. 2017) に翻訳文を付与することで，人間が生成した誤りを直接入力文として用いた，彼らは，テスト時に含まれる誤りと同種の誤りを含む訓練事例を用いてモデルを学習することで，他種の誤りを加えて学習したモデルに比べ高い精度を達成することを示した.

このように，機械翻訳システムの頑健性に関して特定の観点に着目した研究は多く行われている.しかし，これらの工夫をもってしてもなお, 我々が取り組む UGC の翻訳においては, ニュース記事などを翻訳する場合に比べて著しい品質の低下が見られる。この背景には, UGC に特有の難しさが体系的に分類されていないことや，UGC を模したデータへの変換が極めて難しいことがあげられる。これに対して，我々はUGCに頻繁に見られる言語現象の定義を行い, UGC 上の文からそれらの現象を取り除く正規化を行う事で対照データセットを作成する.

また，先行研究の多くは文字体系を共有する比較的近い言語対を対象としており，我々の知る限りでは日本語-英語のような類似しない言語対における詳細なエラー分析のための基盤は未た構築されていない。しかし, 固有名詞の翻字に示されるように, 文字体系を共有しない言語対に特有の問題も生じるため，取り扱う言語対に応じた柔軟な拡張が必要であると考えられる.我々のデータセットが，この極めて難しい言語対の翻訳に対する新たなアプローチの一助となることを期待する。

## 3 現象毎データセットの構築

本節では現象毎データセット構築の手順について説明する。我々は，UGCにおける機械翻訳システム評価のための既存のベンチマークである MTNTデータセットに新たに言語現象のアノテーションを行うことでデータセットを構築した。図 2 に一連の手順の概要を示す。データセットの構築は主に, 品質担保のための事前デー夕選定と現象該当箇所の抽出および正規化の 2 つの段階から成る。まず 3.1 節では，翻訳品質の基準となる十分性スコアの定義と，MTNT データセットに対する人手のアノテーションを行った結果として得られたスコアの分布について考察する．後述する 3.2 節では，評価の対象とする言語現象の定義および，表現の抽出と正規化の手順について実例を交えて展開する.

## 3.1 品質担保のための事前データ選定

現象毎データセットを構築するにあたっては，現象を含む文を収集しそこに新たに翻訳を付与する方法と, 既存のパラレルデータに現象のアノテーションを行う方法の 2 つが考えられる.

図 2 現象毎データセット構築の流れ。
前者の方法には，原言語に含まれるニュアンスや文体を目的言語にも保持するかという観点から参照訳をコントロール可能であるという利点がある．例えば，「かわいいいい」のような表現では cute, cuuuute のいずれもが正解となり得るため, それぞれの形式にどの程度対応可能であるかを個別に把握することの重要性は高い。しかし，UGCに対して高品質な翻訳を大規模に付与する方法は自明ではなく，このようにボトムアップにデータセットを構築することは高いコストを伴う，そのため，我々は既存のベンチマークである MTNT データセットにラベルを付与し, 分類・正規化を行うことでデータセットの構築を試みた。ここで，MTNTデータセットでは各言語対に対して翻訳方向毎にデータセットが用意されている。このことから，我々は対訳にはニュアンスの保持を期待しないものとしてデータセットの構築・分析を行った。また， MTNT データセットを複数の現象に細分類する場合, 評価用データの文数は限られているため,個々の現象データセットが極めて少ない文数に分割されてしまう恐れがある。そこで，我々は MTNT データセットの訓練および開発用データを含めた全データを，評価用データ (PheMT) として用いることにした. しかし, 通常, 訓練データは規模が大きいため人手による品質の評価を経ていない場合が多く，実際に人手で数件確認した限りでも，MTNTデータセットの訓練データには多くの未訳や誤訳が含まれていた。そこで，我々は翻訳品質の基準として十分性スコアを定義し，MTNT データセット中の全文に対し，クラウドソーシングを用いて評価を行うことで現象毎データセットの品質を担保することにした.

十分性スコアの付与に先立って，まず簡単なルールベースのフィルタリングを行った. 具体的には，最低限の品質を満たさない文対として，(i) 対話コーパスのフィルタリングのために定義された不適切語リスト ${ }^{5}$ 中の単語を含む (ii) 原言語文と目的言語文が一致する（未翻訳） (iii)他の文対と完全に一致するのいずれかを満たすものを除外した. さらに，アノテーションタスクの平易化のため (iv) 一方もしくは両方の言語が 1 語のみ，もしくは 80 語以上からなるものを除外した。フィルタリングの適用後, 残った文対について 1 (不適切) -5 (適切かつ流暢) の 5 段階のリッカート尺度で分類するタスクを行った。

各スコアへの分類基準の策定にあたっては，機械翻訳システムの出力を人手評価する際に一般的に用いられる，適切性 (adequacy) と流暢性 (fluency) の 2 つの観点 (White et al. 1994; Li et al. 2019)を用いた. しかし，我々が今回評価対象とする翻訳文は人手で生成されたものであるため，流暢性に関してはある程度担保されていると考えるのが自然である。そこで，流暢性の観点として翻訳語（機械翻訳らしさ）を参照し（Graham et al. 2019; Freitag et al. 2020), 表 1 に示す 5 段階の基準を設定した。

タスクの実行に際し，翻訳文の人手評価は本来目的言語の母語話者を評価者として行われるべきであるが，UGCの文意を正確に把握するためには当該言語に対する高度な理解を必要とす

るため, 英語が堪能な 10 名の日本語母語話者に評価を依頼した ${ }^{6}$. 評価者によるスコアのぶれを低減するため, 1 文あたり 3 名の評価者を割り当て, 平均をもって各文の十分性スコアとした.

図 3 に本タスクによって付与された MTNT データセットの各分割に対する十分性スコアの分布を示す。この結果から，青色および黄色で示される学習，開発用セットにおけるスコアの分布が，評価用に作成された他の分割（テスト，ブラインドセット7）に比べ，低スコア側で高くなったことがわかる．このことは，評価デー夕を単純に拡張する事が招く品質の低下と，フィルタリングの必要性を示唆していると言える。現象毎データセットの構築にあたっては，両言語により伝わる情報を等価と見なすことのできる，平均スコアが 4.0 以上の文対のみを用いることとした. 表 2 には十分性スコアの各スコア帯における原文と翻訳文の一例を示す.

また，我々はこれらのアノテーションが妥当かつ信頼性の高いものであるかを検証するため， アノテーションの一致率を調查するとともに，一部の文対に対して英語母語話者により同様の品質評価を実施した。まず，アノテータ間一致率について，順序尺度に最適化されていることや，欠損値を含むデータにも適用可能なことから Krippendorff の alpha 係数 (Krippendorff 2011)を

表 1 翻訳十分性スコアの評価基準.

図 3 MTNT データセットの各分割に対する十分性スコアの分布.
^{6} 1$ 名あたりの担当文約 2,200 文に対し，標準報酬を 2 万円に設定した， 10 名の募集に対し， 80 名以上の応募者の中から，職業としての翻訳経験，海外在留経験，もしくは同等のスキルを有するワーカを選出した.

7 コンペティションにおいてシステムの順位を決定するために用いられたデータセット．評価期間の終了まで参加者には公開とされた。
}

表 2 十分性スコアの各スコア帯における翻訳文例.

測定した結果, 一致率の值は 0.32 となった。これは, Landis and Koch (1977)の基準において fair agreement（まずまずの一致）とされる値であり，一致率としては少し低いと考えられる.原因としては，評価対象文である MTNT データセットの翻訳が人手で生成されていることから意味の等価性に重点を置いた評価基準を設定したものの，実際には機械翻訳にかけたような流暢でない翻訳文も散見され，文法性の許容範囲に主観の入る余地が生まれてしまったことが想定される。さらに，各ワーカの付与したスコアの分布に着目すると，10名のワーカの平均点の範囲は 3.32-4.44 点と広いものの, 四分位範囲は 0.46 点に収まっていた。これは, 図 4 に示すように評価対象文の大多数に高い点数を付与するようなワーカの存在に起因すると考えられる. そこで, スコアの平均が最も高い・低い各 2 名の結果を外れ値として除外し, 再度 alpha 係数を測定したところ，值は moderate agreement（中等度の一致）となる 0.48 まで向上した. ワー カの質には依然として議論の余地が残るものの, 利用可能な文数とのトレードオフにより信頼性の高い部分集合を用いるなど品質の調整は可能である.

次に，妥当性に関して，具体的にはクラウドワーカによる平均点が 4.0 以上・未満の文からそれぞれ 50 文対を無作為に取り出した合計 100 文対に対して，翻訳業を生業とする英語母語話者にクラウドソーシング実施時と同様の指針を提示して評価を依頼した。評価の結果を図 5 に示す. 図から，平均点が 4.0 以上であった 50 文対に対して新たに 3 点以下が付与されたものは 7 文対であり， 4.0 未満の 28 文対に対して 4 分の 1 と少ないことから評価の妥当性は保たれていると考えられる。また，表 3 にはとりわけ点数の低かった 3 文対とその判断の根拠（原文）を示す。この結果から，スコアに乘離が生じた例の中には文脈情報の不足により評価が困難なものも多いように思われる。文章単位の情報が利用可能な状況では改善の余地はあるものの，そのような例を完全に取り除くことは難しいと考えられる。

以上の結果を踏まえ，言語現象の評価に用いる文を可能な限り多く確保するため，今回の実験ではアノテーションの信頼性によるフィルタリングは行わなかった。その結果，条件を満たした文数は評価対象とした 7273 文の約 $57.1 \%$ にたる 4152 文であった．また，訓練デー夕を評価のために用いる際のもう一つの問題点として，複数の翻訳文を持つ原言語文の存在があげられる。特に，MTNTデータセットはその構築過程において，一連の発言であるコメント単位で翻訳を行い，文単位に自動で分割する処理を経るため，アラインメントの誤りに起因する重

図 4 各ワーカの付与した十分性スコアの分布.

複部分を多く含む特徴がある。そこで，我々は原言語文を空白で区切った際の最初の分割が同一のものを集計し, 最も高いスコアが付与された一文のみを参照訳として保持することで対処した. これにより, 現象ラベルの付与対象は 3896 文となった.

図 5 平均点 4.0 以上・未満の各 50 文対に対する英語母語話者による品質評価.

 \\

表 3 低スコアが付与された文対とその判断の根拠.

## 3.2 評価データセットの構築手法

(i) 言語現象ラベルの定義評価の対象とする言語現象のラベルを定義するにあたって，我々は UGC に特有のどのような要因が他の言語処理タスクにおいて問題となっているかを調査した. Sasano et al. (2013)は日本語形態素解析の文脈において，インターネット上のテキストに含まれる標準的でない綴りの影響に着目している，彼らは，母音の長音化や小文字化などのルールを人手で設計し，ルールに基づいた正規化適用後の表現が事前定義済みの語彙に含まれる場合に，形態素ラティスに追加することで解析誤りを抑制できることを報告した。さらに，同様のルー ルに基づいて作成した正規-崩れ文字列パターンのシードデータからアラインメントを学習することで，より複雑な崩れ表記にも対応できることが示されている (斉藤他 2014). また, ニュー ラルネットワークを利用したテキスト正規化モデルにおいても，疑似データの作成時に類似のルールを適用することで精度の向上が確認されている (Ikeda et al. 2016). しかし, これらの崩れ表記が機械翻訳などの言語横断的タスクに及ぼす影響は未だ十分に検討されていない. そこで，我々はこれらの先行研究に倣い，口語表現および異表記の 2 種類の現象ラベルを定義した.

さらに，我々はUGC を含む様々なテキストにおいて頻繁に見られる固有名詞および名詞の省略の 2 種類の現象に着目した。固有表現が機械翻訳システムに及ぼす影響については翻字や転写の文脈で注目を浴びつつある (Shao and Nivre 2016; Rosca and Breuel 2016; Ugawa et al.

2018). 我々は，これらの現象が実際に UGCにおいてどれだけ現れるかを検証するため，予備実験として MTNT データセットの訓練データから無作為に取り出した 500 文に対するアノテー ションを行った，実験の結果から，名詞の省略について全体の $10 \%$ 以上，固有名詞については $40 \%$ 以上の文に含まれる極めて頻出の現象であることが分かった.

我々は，以上の 4 種類の現象について最新の機械翻訳システムに及ぼす影響を調査する。各ラベルの具体的な定義とその分類例を表 4 に示す.

(ii) 該当表現の抽出と正規化言語現象毎データセットの構築にはクラウドソーシングを用いた。問題の難易度およびワーカ間の一致率を考慮し，アノテーション手順を各文への現象ラベルの付与, 該当表現およびアラインメントの抽出, 正規化の 3 つの段階に分けてデータセットを構築した，また，回答の品質を担保するため，すべてのタスクにはチェック設問を設け，各設問に対しチェック設問を通過した 5 名のワーカの回答を集約した。

初めに，3.1 節の十分性スコアにより選定したMTNT データセット中の文対に対して，原言語（日本語）文を表 4 に定義する 4 種類の現象ラベルに分類するタスクを行った（図 2 Step1）.各設問は，ある文に対して各現象の有無をチェックする 4 つの小設問からなる. ワーカの過半数にあたる 3 名以上が同一の現象に対して「含む」と回答した場合のみ，その現象を含むと見なした。

続いて，現象ラベルとその該当表現の対応づけを行った（図 2 Step2）。具体的には，日本語文と現象ラベルのぺア 1 つに対し, 最大 5 箇所を本文中の形式で抜き出すタスクとして設計した.つまり，前述の分類タスクにおいてある文が複数の現象を含むと分類された場合, 注目する現象毎に別の設問として取り扱われる。また，抽出された各表現について目的言語中から対応する表現（アラインメント）の抜き出しを行った。これらのタスクに対する回答は過半数の完全一致が得られたもののみを使用した。

 \\

表 4 言語現象ラベルの定義と分類例.

さらに，各現象の影響を取り除き対になる評価文を作成するため，抽出された表現の正規化を行った（図 2 Step3）。ここで「正規化」とは，表 4 の定義に従い辞書中の表記から逸脱した表現を，対応する標準形の表現に書き直すことを意味する。つまり，ある現象に分類される表現に対し，その現象に分類される理由を取り除くような逆向きの変形を適用する。例えば，名詞の省略に分類される「アプデ」という表現は，この表現を名詞の省略ではなくするような変形，つまり省略元の表現への書き換えにより「アップデート」に正規化される．同様に，長音記号の挿入により口語表現となる「ねむーーい」という表現は，長音記号を除去することで「ねむい」に正規化される。ここで，口語表現と異表記は標準形と同音であるか否かにより定義上排他的であるものの，一部の口語表現では正規化適用後により一般的な漢字表記（上記例「眠い」）を持つ異表記に転化する場合も見られた。このような例では， 口語表現の範囲外となる漢字化は行わないよう指示し, 当該現象の切り分けを行った. また, 同一の表現が複数の現象に分類される場合には, 注目する現象毎に当該現象のみを取り除くような正規化を行う。例えば,「すまほ」という表現は，名詞の省略と異表記に分類されるべき表現であるが，これはそれぞれ 「すまーとふおん」「スマホ」に正規化されると期待される。なお，実際にはこのような複合はあまり見られなかった。

我々は, これらのタスクの結果を集約し, 該当表現を正規化後の表現に置き換えることで, （原文, 正規化後文, アラインメント，参照訳）の４つ組としてデータセットを構築した。この際, 同一の現象ラベルに属する表現が一文中に複数含まれる場合には, 当該文が複数回評価されることによる過剰評価の影響を防ぐため，評価データから削除した。なお，「標準形」という概念が存在しない固有名詞に関しては，正規化タスクは行わず，原文とアラインメントを用いて評価を行うこととした。一連の手順により構築したデータセットの一例を表 5 に示す。また，各現象データセットの構成文数，ユニークな表現数，および正規化前後の文字単位による編集距離は表 6 のとおりであった. この結果から， 口語表現や異表記は構成文数に対するユニークな表現の割合が高く，変化のパターンには多様性があることが窥える。また，口語表現は異表記に比べて正規化による編集距離が小さく, 推論時の表層的な手がかりの利用可能性が品質の改善に寄与することが期待される.

## 4 翻訳モデル

本節では，構築したデータセットによる評価および分析の対象とした翻訳モデルについて説明する．我々は訓練データの規模や前処理の方法が異なる 5 種類のモデルを用意し，それぞれ 5 つの乱数シードで実験を行った，表 7 に各モデルの主な特徴, 表 8 には学習に用いたデー夕セットの内訳を示す.また, 実験は我々が独自に訓練したモデルに加え, Google 翻訳などの商用翻訳システムに対しても行った。実際にユーザからの入力を受け付けることで改善が行われ

表 5 構築したデータセット中の文例. Orig., Norm., Ref. はそれぞれ, MTNT データセット中の原文,正規化タスク適用後の文，参照訳を表す。

表 6 各現象データセットの構成文数.

表 7 各内製モデルの主な特徴. LARGE, CAT の両モデルには同一の BPE モデルを適用した.

表 8 訓練データセットの内訳.

る商用のシステムでは，UGCに対する頑健性がより高いことが期待される．そのようなシステムに対して実験を行うことで，より重要性の高い現象の存在を明らかにすると共に，質の高い翻訳を得るためにユーザが行うことのできる工夫としての正規化の有用性を確認する.

まず，訓練デー夕の規模のみが異なる 2 つモデルの比較を通して，ある現象が大規模なデー 夕の収集により解決されうるかどうかを調査する。評価指標の差分による頑健性の評価に改善が見られない場合, 前処理やモデリングにおいて特別な工夫を要する現象であり，より重要性が高いと考えることができる. SMALL モデルは WMT 2019 にて開催されたコンペティションにおいて訓練データとして公式に提供された TED talks, KFTT (Kyoto Free Translation Task), JESC (Japanese-English Subtitle Corpus)の 3 つのデータセットを用いて学習したモデルである. 一方で, LARGE モデルにはこれらのデータに加え, 現在一般に利用可能な日英パラレルコー パスとして最大規模である JParacrawl v2.0 (Morishita et al. 2020)を用いた. また，データセットの前処理として, JESC にあたる部分の英語文がすべて小文字で記述されていたため, TED talks, KFTT, MTNT データセットを用いて学習したmosesツールキット (Koehn et al. 2007)の recaser を適用することで，文字種情報の復元を行った。さらに，文中の unicode 絵文字および顔文字を特殊トークンに置換し，後処理において復元を行った (Murakami et al. 2019). また,翻訳時にコピーされることが望ましいユーザ名についても同様の処理を適用した 8 . トークンの単位にはサブワードを用い, sentencepiece (Kudo and Richardson 2018)により，両言語共有で語彙数が 32,000となるように Byte-Pair-Encoding (BPE)を適用した (Sennrich et al. 2016).

続いて, トークンの分割単位がモデルの頑健性に及ぼす影響を調べるため, LARGE モデルの訓練データに異なる分割を適用してモデルの学習を行った. CHAR モデルは，入出力を文字の系列と見なすことで，原言語側の一連の文字の並びから目的言語側の異なる文字の並びへの翻訳を行う (Wang et al. 2015). 数值やコードスイッチングを適切に扱うため, ここでも両言語の語彙は共有とした. 先行研究において, 文字べースの翻訳モデルは BPEを用いたモデルに比べ

誤植などの誤りに対する頑健性が高いことが示されている (Durrani et al. 2019). 我々は, UGC を取り扱う上でも分割手法の差異が翻訳品質に影響を及ぼすかについて改めて確認する.

さらに，我々のデータセットによる評価が，特定の現象に対する工夫を反映できることを検証するため, 残る PROn, CATの 2 モデルについては, 原言語（日本語）側に特殊な前処理を施した。具体的には, 日本語形態素解析ツールキット MeCab (Kudo et al. 2004)を用いて取得した各形態素の読みを結合することで発音べースのコーパスを作成し，これを用いて学習を行った。日本語ではすべての単語の読みは表音文字であるひらがなまたはカタカナを用いて表すことができるが，PRON モデルの訓練には MeCabの標準出力であるカタカナに変換されたデータを用いた。この前処理は，特に異表記に対する頑健性の向上を目的としている．中でも，異表記の定義に含まれるひらがな・カタカナの混同に適切に対処することを期待した．例えば，表 4 中の「アリガトウ」という表現は通常ひらがなで記述されるが，発音への変換を経ることで同一の表現（アリガトウ）に集約することが出来る.これにより，推論時に未知の表現が減少し，翻訳品質が改善すると考えられる。さらに，このような音声的情報は同音異義語の翻訳曖昧性解決にも有効であることが示されている (Liu et al. 2019).

一方で, CAT モデルでは通常のコーパスと発音ベースのコーパスの結合コーパスを用いて学習を行った。コーパスの結合の方法には，それぞれのコーパス中の文を別々の文として縦方向に結合する方法と，〈sep>などの特殊トークンを用いて同一文内で横方向に結合する方法が考えられるが，このモデルでは前者の方法を採用した ${ }^{9}$. また，発音べースのコーパスに相当する部分をさらにひらがなに転写し，LARGE モデルと同一の BPE モデルを用いてサブワードに分割した. 元文と発音に転写された文の 2 文から同一の目的言語文を出力するように学習を行う事で，一般的でない表記から生じる予期しない分割に対しても頑健な表現を得ることを期待した.

すべてのモデルには fairseqツールキット (Ott et al. 2019) に実装された Transformer-base アーキテクチャを用い，ハイパーパラメータは Murakami et al. (2019)の設定に準じた。また,広く商用に利用されている機械翻訳システムとして, Google 翻訳 ${ }^{10}$, および DeepL 翻訳 ${ }^{11} の 2$ つのシステムの出力結果についても分析を行った12.

## 5 現象毎評価

本節では，構築した現象毎データセットを用いた評価によりニューラル機械翻訳システムの現状を概観する。具体的には，MTNTデータセット中の原文と正規化後の文のそれぞれをモデ

ルに入力し, 単一参照訳 BLEU (Papineni et al. 2002; Post 2018), およびアラインメントを用いた翻訳正解率の差分をもって評価を行う。それぞれの文は評価対象とする現象の有無の一点においてのみ異なるため, 任意の評価指標によるスコアの差分の大きさは, 当該現象がモデルに与える影響の大きさと考えることができる。この際, 同一の差分であればスコアの絶対值が小さい場合により影響が大きいという直感のもと，差分を正規化後のスコアで除算した (Niu et al. 2020)．つまり，原文に対する翻訳を $x_{\text {orig }}$, 正規化後の文に対する翻訳を $x_{\text {norm }}$, 参照訳またはアラインメントを $y$ ，翻訳文と参照訳（アラインメント）を受け取りスコアを返す任意の評価指標を $\operatorname{score}(x, y)$ としたとき，頑健性スコア RoBUST は以下のように定義される.

$
\operatorname{RoBUST}=\frac{\operatorname{score}\left(x_{\text {orig }}, y\right)-\operatorname{score}\left(x_{\text {norm }}, y\right)}{\operatorname{score}\left(x_{\text {norm }}, y\right)} \times 100
$

頑健性スコア ROBUST は, 正規化後の入力に対して到達可能な翻訳品質に対する相対的な品質の低下（上昇）と捉えることが出来る．我々は BLEU スコアのような文レベルの評価指標に加え，局所的な翻訳可能性を測定する正解率を相補的に用いることで，現状のモデルにおける改善点を明らかにするためのより詳細な分析を提供する。続く 5.1 節では定量評価, 5.2 節では定性評価の結果を示す.

## 5.1 定量評価

内製モデル表 9 および 10 にはそれぞれ，現象毎データセットに対する我々のモデルの BLEU スコア，当該箇所の翻訳正解率を示す。この結果から，訓練デー夕規模が小さい場合（SMALL モデル）は, 正規形の存在する名詞の省略, 口語表現, 異表記のすべての現象において, 原文

表 9 我々のデータセットにおける BLEU スコアの測定結果（内製モデル）＊５ シードの平均値 $\pm$ 標準偏差．Orig. は原文, Norm. は正規化後の文に対するスコアを表す．RoBusT は式 (1)による。

表 10 我々のデータセットに打ける正解率 (\%) の測定結果（内製モデル）＊５ シードの平均値 $\pm$ 標準偏差. Orig. は原文, Norm. は正規化後の文に対するスコアを表す. RoBusT は式 (1)による.

入力時に品質の低下が見られることがわかった. さらに, 特に評価指標に正解率を用いた場合, SMALL モデルの名詞の省略に対する頑健性スコアが他のモデルに比べ著しく低いことが確認された。固有名詞や名詞の省略では, LARGE モデルにおいて原文入力時の正解率も大幅に向上したことから，訓練データを拡充しカバー率を向上することである程度対処可能な現象であると考えられる。しかし，一般に正規化により翻訳文の品質が低下することは考えにくく，正のスコアを示す頑健性スコアの解釈には疑問も残る。これに対して，我々は正規化後に翻訳文の品質が低下する例にはどのようなものがあるかを確かめるため，名詞の省略データセットの細分類を行った，その結果，省略形がアルファベットの頭字語である場合に，特に LARGE モデルで正規化前の入力に対する正解率が高く，それ以外の入力のパターンでは正解率の低下が確認された。これは，主に参照訳中にそのまま現れることの多い頭字語が，正規化により過剰に説明されてしまい表層の一致が取れなくなってしまったことに起因すると考えられる。しかし，実際には PCの翻訳が personal computerでも問題ないように，頭字語の翻訳には複数の正解が許容される場合がある。従って，正規化後の上界はより高いと考えられ LARGE モデルにおいても依然として課題は残されていると言える.

口語表現と異表記の 2 現象に注目すると，LARGE モデルは，BLEU スコアにおいて SMALL モデルよりも 2-3 ポイント程度優位であるものの, この改善は頑健性の向上に起因するものではないと考えられる。 中でも， 口語表現の正解率について，正規化後の入力にさえ SMALL モデルがより高い値を示したことは注目に値する。このことは, これらの現象が最先端の翻訳モデルにおいても十分に扱うことが難しく，データセットの拡充に加えて特別な対処を必要とすることを示唆している。
続いて，トークンの分割単位が各現象への頑健性に及ぼす影響を確認する。LARGE モデルと CHAR モデルに対する結果の比較から，文字べースの分割は特に口語表現に対する頑健性を向上させることが確認できる。これは， 3.2 節で述べたとおり，口語表現データセットの正規化前後の編集距離が他のデータセットに比べ小さいことに起因すると考えられる. 先行研究における誤植と同様，周囲の文字が大きな手がかりとなるような現象に対しては，文字単位に分割することの有用性が確認できる。しかし, 同時に BLEU スコアの絶対値や正規化後の表現に対する正解率において減少も見られることから, 現象の存在が明らかである場合を除いては BPEに基づく分割が優位であるように思われる。一方で, 異表記については一種の綴りの誤りと見なすことができるため，文字単位で扱うことによる頑健性の向上を期待したがその改善は限定的であった. これは, 一般にある単語内の数文字の変化からなる誤植や口語表現に対して, 単語単位で生じる異表記の問題としての難しさを示唆していると言える。

また，我々のデータセットによる評価が，特定の現象に対する頑健性に感受性を有するかについて, PRON モデルの結果から確認する。表 9 から, 原文入力時の BLEU スコアに注目すると，一般に PRON モデルは流暢性において他のモデルよりも劣ることがわかる。一方で，このモデルにおいて頑健性の向上が期待される異表記のスコアに注目すると, 同量のデータで学習した 3 モデル中では最小の $-3.90,-26.47$ ポイント（BLEU, 正解率）となった. スコアが大きく改善した一因には，表音文字への統一により表現力が低下したことに起因する正規化後の正解率低下も考えられるものの, 原文入力時の $10 \%$ に迫る改善は従来の自動評価では見いだせない解決策を切り拓く可能性の一例であると言える.

これに対して CAT モデルは, 原文入力時の異表記の正解率について大幅な向上を達成しながら，同時に BLEU スコアの低下も抑えている点で PRON モデルの流暢性の問題を克服したモデルであると言える。正解率は全モデル中最大の $28.34 \%$ 示し, LARGE モデルからは $15 \%$ 以上の飛躍が見られた（表 10）また，口語表現に注目すると，BLEU スコアではLARGE モデルから大幅な向上は見られないものの, 正規化の適用により翻訳できる表現の割合に違いが生じていることがわかる。これは， 3.2 節で述べたように口語表現と異表記における階層性に起因すると考えられ, 同様に CAT モデルの異表記に対する頑健性を支持していると言える. このような改善が見られた理由としては，ひらがな化から生じる予期しない分割に対する適応可能性の向上があげられる。日本語では多くの高頻度の機能語は数文字のひらがなから構成される。そのため, ひらがな化された表現は単一の語としてではなく, より高頻度の機能語を生成するように分割されてしまう場合がある (Sasano et al. 2013). 発音に転写したコーパスの混合により，意図しない機能語を含む難しい系列からも正しい出力を行うように強いることで，共起関係がよりうまく捉えられたと考えられる。この結果から，UGCを取り扱う際には起こりうる言語の変化に対してその特性などからの考察を行う事が重要であることが窺える.

表 11 我々のデータセットにおける BLEU スコアおよび正解率の測定結果（商用システム）。＊Orig. は原文, Norm. は正規化後の文に対するスコアを表す．ROBUST は式 (1)による.

商用システム驚くべきことに，広く商用に利用される機械翻訳システムをもってしても，我々の異表記データセットに対する評価の結果からは改善の余地が見られることがわかった（表 11）.結果から，双方のシステムで原文入力時に比べ正解率で約 $15 \%$, BLEU スコアについても最大 2.3 ポイントの大きな低下が確認された. つまり, 我々がユーザとしてこれらのシステムを用いる上では，複数の表記を許容できる表現についても，より一般的な表記に置き換える一工夫で，得られる翻訳の質を大きく高めることができると言える。また，BLEU スコアにおいて優れているシステムは必ずしも正解率で勝ってはいなかった．例えば，名詞の省略に対する DeepL 翻訳の正解率は Google 翻訳に比べ 2.0 ポイント低かったものの, 同一のデータセットにおいて BLEU スコアでは 1.7 ポイント高い値を示した. これは， 2 つのシステムが未知の表現に面した際の異なる挙動に由来すると考えられる，我々の実験では，DeepL 翻訳が一般的でない表現を省略することで全体の翻訳を流暢に保つのに対し，Google 翻訳はモデルの以後の出力に悪影響を及ぼすようなフレーズであっても何らかの出力を行う傾向が見られた．実用上は，あるシステムの適合率と再現率のどちらが重視されるべきかは応用先に依存する. 現象毎の観点の提供に加え, 適合率に基づく BLEU と再現率に基づく正解率の二面からの評価を行うことは, モデルの選択に大いに役立つと考える.

## 5.2 定性評価

本節では，モデルによって生成された出力が正規化の有無によりどのように変化したかを分析する．表 12 は我々のモデルによる実際の出力の一例である.

表中の例 (a)にはひらがなで記述された一般的でない表現「ぎゃくたい」が漢字（虐待）に置換された場合の出力の変化を示す。この例において，LARGE モデルでは原文を入力した際，誤って want to というフレーズを出力してしまった。このような出力となった理由として, 当該表現が BPE モデルによって4つのトークンに過度に分割されていたことがあげられる。特に, しばしば願望を表す助動詞として用いられる「たい」という分割の存在によりこのような
(a) 異表記

(b) 名詞の省略

(c) 固有名詞

表 12 内製モデルによる実際の出力例。*\{正規化前 / 正規化後 $\}$

誤訳が生じたと推測される。一方で， CAT モデルでは入力文は同一の BPE モデルで分割されているにも関わらず，ひらがなの入力に対しても正しい訳である abuse を出力することができた. 多くの場合，助動詞「たい」に先行する文字は「したい」や「食べたい」のように「い」または「え」の子音で構成される，発音ベースのコーパスを加えることにより，願望の意味で用いられない熟語中の「たい」などの負例が十分数出現したため, 出力が改善したと考えられる.異表記は日本語のように多様な文字を用いる言語に特有な現象であるものの, 類似の問題はアルファベットを用いる言語にも存在する。例えば (a)の例は, 単語の一部が既存の他の単語に連想されることで生じた誤りであるが, 誤植の一部では同様の問題が生じる。そのような場合に，その表現が誤りであることを文脈から正しく判断し，正確な翻訳を行う事は現在の翻訳システムにとって大きな課題である.

次の例 (b) は名詞の省略データセット中の例である。この例では, LARGE モデルは原文中の表現「サバゲー」を，誤って「サバ」と「ゲー」の二語の組みあわせとして翻訳している。一方で CAT モデルでは, 同様に正しく翻訳することはできなかったものの, 対象の表現をアルフアベットへ転写することで対処した。この結果から， CAT モデルはサバとゲームが共起しにくいといった情報をよりうまく捉えているように思われる。また，データセット中には「生保」の

ようにある表現が文脈に応じて複数の表現の省略となりうる例 13 も存在した. こういった曖昧性に対してモデルをさらに頑健にするためには，単語や文内に限らずより広い文脈を考慮することが求められていると言える.

最後に (c) の例では, 文中の「平昌」という固有名詞をSMALL モデルは扱うことができなかったのに対し， LARGE モデルは正しく翻訳することができた。これは，訓練データを新たに加えたことでテストデータ中に既知の固有名詞が増加したことに由来すると考えられるが，我々は訓練データの規模の増大が固有名詞に対するモデルの頑健性を説明する理由として必ずしも十分ではないと考えている。その理由として，固有名詞にはある時期を境とした出現頻度の変化が生じやすいことがあげられる。例えば，「平昌」という表現を例にあげると，これは同所でオリンピックが開催された 2018 年前後の記事を含むコーパスでは出現数が大幅に増加することが見込まれる。SMALL モデルの訓練に使用されたコーパスは 2018 年以前に作成されたものであることから，当該表現の相対的な出現数の少なさが翻訳を困難にしたと考えられる．我々は，日々新たに生まれる未知の固有名詞に対して真に頑健なシステムを評価するためには，評価データが訓練データよりも常に時系列的に新しくなるように分割を行うべきだと考える。しかし，現実的には入手可能ないかなる訓練データよりも新たなデータを作成することは不可能である。そのため，このような要因の存在を認識し留意した上で，我々のデータセットを用いた評価を固有名詞に対する一定の指針として用いることは有意だと考える.

## 6 考察

## 6.1 WMT コンペティション参加システムの現象毎分析

現象毎データセットの潜在的な活用事例を探るため，我々は WMT 2019 にて行われた機械翻訳システムの頑健性に関するコンペティションに投稿されたシステム出力の現象毎分析を行った. コンペティションの公式サイトト ${ }^{14} より$ ，MTNT データセットのブラインドセットにあたる部分について 5 つのシステムの出力をダウンロードした。 その後, 構築したデータセットよりブラインドセットに由来する部分を抽出し，評価の対象となる固有名詞 136 文，名詞の省略 48 文，口語表現 21 文と異表記 11 文を得た。システム出力には，それぞれの文に対し 3 名の翻訳者による人手評価で 1 （非常に悪い）-100（非常に良い）のスコアが付与されている (Li et al. 2019). 我々は，3名のスコアの平均を翻訳文のスコアとし，各現象データセットに対して平均を取ることで，モデルのある現象に対する人手評価スコアを算出した.

図 6 には，各現象に対する人手評価スコアと翻訳正解率の相関を示す。図より，特に固有名

(a) 固有名詞

(b) 名詞の省略

(c) 口語表現

(d) 異表記

図 6 WMTコンペティション投稿システム出力に対する人手評価スコアと翻訳正解率の相関。 $r$ はピアソンの積率相関係数を表す。

詞と名詞の省略について人手評価と正解率の間にはピアソンの積率相関係数 $r>0.9$ の非常に強い正の相関があることがわかった，正解率という，文中の局所的な翻訳可能性に注目した指標が文全体の翻訳品質と高い相関を示したことは注目に値する。これは，人間が翻訳の良さを判断する上で特定の表現をより重点的に考慮する可能性を示唆している. ひとつの理由としては，人間にとって翻訳文中に固有名詞が含まれるかどうかの判断は容易であることがあげられる.こうした表現の訳抜けは，他の表現の訳抜けに比べて評価への影響が大きいと考えられる.一方で，今回比較したシステムは個々の性能差も大きいことから，相関が現象に関連する部分のみに起因すると帰結することは難しい，今後の方向性としては，類似の性能を示すモデルを用いて同様の検証を行うとともに，他の評価指標との相補的な利用を模索し，よりよい人手評価の近似について検討することが考えられる。

## 7 おわりに

本研究では, 日英機械翻訳システムの精緻な評価に向けた第一歩として，ユーザ生成コンテンツに着目した言語現象毎評価データセットを提案した。具体的には, 固有名詞, 名詞の省略,口語表現, 異表記の 4 つの現象に対するモデルの頑健性について評価・分析を行った.

分析の結果，広く商用に利用される翻訳システムを含む多くのモデルが，異表記を含む入力に対して不安定であることがわかった。これは, 現在の主流であるモデルや訓練デー夕の大規模化が異表記のような特異な入力に対する頑健性の十分条件ではなく, 異文化・多言語交流を促進する翻訳システムの構築に向けては特別な工夫を要することを示唆している.

また，過去に開催されたコンペティションにおけるシステムの人手評価スコアを用いて，現象毎に人手評価と翻訳正解率の相関関係を調査した。実験の結果, 特に固有名詞と名詞の省略について両者の間に非常に強い正の相関が見られたことから，従来の適合率に基づく評価に加えて，我々の評価を用いることで人手評価をよりよく近似する可能性を確認した.
我々は，機械翻訳システムのさらなる発展のため構築したデータセットを公開している 15 .我々のデータセットが，より実用的な機械翻訳システムの構築に向けて，機械翻訳コミュニティを一歩前進させるための先駆けとなることを期待する.

## 謝 辞

本論文の内容の一部は, The 28th International Conference on Computational Linguistics (COLING 2020) で発表されたものです (Fujii et al. 2020). また, 本研究の一部は JSPS 科研費 JP19H04162，JP20J21694 の支援を受けて行いました，本論文の執筆にあたり，有益なコメントを頂きました査読者，担当編集委員の皆様に感謝申し上げます.

## 参考文献

Anastasopoulos, A., Lui, A., Nguyen, T. Q., and Chiang, D. (2019). "Neural Machine Translation of Text from Non-Native Speakers." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 3070-3080.

Barrault, L., Bojar, O., Costa-jussà, M. R., Federmann, C., Fishel, M., Graham, Y., Haddow, B., Huck, M., Koehn, P., Malmasi, S., Monz, C., Müller, M., Pal, S., Post, M., and Zampieri, M. (2019). "Findings of the 2019 Conference on Machine Translation (WMT19)." In Proceedings of the 4th Conference on Machine Translation (Volume 2: Shared Task Papers, Day 1), pp. 1-61.

Bawden, R., Sennrich, R., Birch, A., and Haddow, B. (2018). "Evaluating Discourse Phenomena in Neural Machine Translation." In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 1304-1313.

Belinkov, Y. and Bisk, Y. (2018). "Synthetic and Natural Noise Both Break Neural Machine Translation." In 6th International Conference on Learning Representations, ICLR 2018.

Berard, A., Calapodescu, I., Dymetman, M., Roux, C., Meunier, J.-L., and Nikoulina, V. (2019a). "Machine Translation of Restaurant Reviews: New Corpus for Domain Adaptation and Robustness." In Proceedings of the 3rd Workshop on Neural Generation and Translation, pp. 168-176.

Berard, A., Calapodescu, I., and Roux, C. (2019b). "Naver Labs Europe's Systems for the WMT19 Machine Translation Robustness Task." In Proceedings of the 4th Conference on Machine Translation (Volume 2: Shared Task Papers, Day 1), pp. 526-532.

Durrani, N., Dalvi, F., Sajjad, H., Belinkov, Y., and Nakov, P. (2019). "One Size Does Not Fit All: Comparing NMT Representations of Different Granularities." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 1504-1516.

Freitag, M., Grangier, D., and Caswell, I. (2020). "BLEU Might Be Guilty but References Are Not Innocent." arXiv, abs/2004.06063.

Fujii, R., Mita, M., Abe, K., Hanawa, K., Morishita, M., Suzuki, J., and Inui, K. (2020). "PheMT: A Phenomenon-wise Dataset for Machine Translation Robustness on User-Generated Contents." In Proceedings of the 28th International Conference on Computational Linguistics, pp. 5929-5943.

Graham, Y., Haddow, B., and Koehn, P. (2019). "Translationese in Machine Translation Evaluation." arXiv, abs/1906.09833.

Hassan, H., Aue, A., Chen, C., Chowdhary, V., Clark, J., Federmann, C., Huang, X., JunczysDowmunt, M., Lewis, W., Li, M., Liu, S., Liu, T.-Y., Luo, R., Menezes, A., Qin, T., Seide, F., Tan, X., Tian, F., Wu, L., and Zhou, M. (2018). "Achieving Human Parity on Automatic Chinese to English News Translation." arXiv, abs/1803.05567.

Heigold, G., Varanasi, S., Neumann, G., and van Genabith, J. (2018). "How Robust Are Character-Based Word Embeddings in Tagging and MT Against Wrod Scramlbing or Randdm Nouse?" In Proceedings of the 13th Conference of the Association for Machine Translation in the Americas (Volume 1: Research Papers), pp. 68-80.

Ikeda, T., Shindo, H., and Matsumoto, Y. (2016). "Japanese Text Normalization with EncoderDecoder Model." In Proceedings of the 2nd Workshop on Noisy User-generated Text (WNUT), pp. 129-137.

Isabelle, P., Cherry, C., and Foster, G. (2017). "A Challenge Set Approach to Evaluating Machine Translation." In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 2486-2496.

Junczys-Dowmunt, M. (2018). "Dual Conditional Cross-Entropy Filtering of Noisy Parallel Corpora." In Proceedings of the 3rd Conference on Machine Translation: Shared Task Papers, pp. 888-895.

Karpukhin, V., Levy, O., Eisenstein, J., and Ghazvininejad, M. (2019). "Training on Synthetic Noise Improves Robustness to Natural Noise in Machine Translation." In Proceedings of the
5th Workshop on Noisy User-generated Text (W-NUT 2019), pp. 42-47.

Koehn, P., Hoang, H., Birch, A., Callison-Burch, C., Federico, M., Bertoldi, N., Cowan, B., Shen, W., Moran, C., Zens, R., Dyer, C., Bojar, O., Constantin, A., and Herbst, E. (2007). "Moses: Open Source Toolkit for Statistical Machine Translation." In Proceedings of the 45th Annual Meeting of the Association for Computational Linguistics Companion Volume Proceedings of the Demo and Poster Sessions, pp. 177-180.

Koehn, P., Khayrallah, H., Heafield, K., and Forcada, M. L. (2018). "Findings of the WMT 2018 Shared Task on Parallel Corpus Filtering." In Proceedings of the 3rd Conference on Machine Translation: Shared Task Papers, pp. 726-739.

Krippendorff, K. (2011). "Computing Krippendorff's Alpha-Reliability.".

Kudo, T. and Richardson, J. (2018). "SentencePiece: A Simple and Language Independent Subword Tokenizer And Detokenizer for Neural Text Processing." In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71.

Kudo, T., Yamamoto, K., and Matsumoto, Y. (2004). "Applying Conditional Random Fields to Japanese Morphological Analysis." In Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing, pp. 230-237.

Landis, J. R. and Koch, G. G. (1977). "The Measurement of Observer Agreement for Categorical Data." Biometrics, 33 (1), pp. 159-174.

Li, X., Michel, P., Anastasopoulos, A., Belinkov, Y., Durrani, N., Firat, O., Koehn, P., Neubig, G., Pino, J., and Sajjad, H. (2019). "Findings of the First Shared Task on Machine Translation Robustness." In Proceedings of the 4th Conference on Machine Translation (Volume 2: Shared Task Papers, Day 1), pp. 91-102.

Liu, H., Ma, M., Huang, L., Xiong, H., and He, Z. (2019). "Robust Neural Machine Translation with Joint Textual and Phonetic Embedding." In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 3044-3049.

Luong, T., Pham, H., and Manning, C. D. (2015). "Effective Approaches to Attention-based Neural Machine Translation." In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 1412-1421.

Michel, P. and Neubig, G. (2018). "MTNT: A Testbed for Machine Translation of Noisy Text." In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 543-553.

Morishita, M., Suzuki, J., and Nagata, M. (2020). "JParaCrawl: A Large Scale Web-Based English-Japanese Parallel Corpus." In Proceedings of The 12th Language Resources and

Evaluation Conference, pp. 3603-3609.

Murakami, S., Morishita, M., Hirao, T., and Nagata, M. (2019). "NTT's Machine Translation Systems for WMT19 Robustness Task." In Proceedings of the 4th Conference on Machine Translation (Volume 2: Shared Task Papers, Day 1), pp. 544-551.

Nagase, T., Tsukada, H., Kotani, K., Hatanaka, N., and Sakamoto, Y. (2011). "Automatic Error Analysis Based on Grammatical Questions." In Proceedings of the 25th Pacific Asia Conference on Language, Information and Computation, pp. 206-215.

Napoles, C., Sakaguchi, K., and Tetreault, J. (2017). "JFLEG: A Fluency Corpus and Benchmark for Grammatical Error Correction." In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics: Volume 2, Short Papers, pp. 229-234.

Niu, X., Mathur, P., Dinu, G., and Al-Onaizan, Y. (2020). "Evaluating Robustness to Input Perturbations for Neural Machine Translation." In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 8538-8544.

Ott, M., Edunov, S., Baevski, A., Fan, A., Gross, S., Ng, N., Grangier, D., and Auli, M. (2019). "fairseq: A Fast, Extensible Toolkit for Sequence Modeling." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (Demonstrations), pp. 48-53.

Papineni, K., Roukos, S., Ward, T., and Zhu, W.-J. (2002). "BLEU: a Method for Automatic Evaluation of Machine Translation." In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318.

Post, M. (2018). "A Call for Clarity in Reporting BLEU Scores." In Proceedings of the 3rd Conference on Machine Translation: Research Papers, pp. 186-191.

Rosca, M. and Breuel, T. (2016). "Sequence-to-sequence Neural Network Models for Transliteration." arXiv, abs/1610.09565.

斉藤いつみ, 貞光九月, 浅野久子, 松尾義博 (2014). 正規-崩れ文字列アライメントと文字種変換を用いた崩れ表記正規化に基づく日本語形態素解析. 言語処理学会第 20 回年次大会発表論文集, pp. 777-780. [I. Saito et al. (2014). Seiki-Kuzure Mojiretsu Araimento to Mojishu Henkan wo Mochiita Kuzurehyoki Seikika ni Motozuku Nihongo Keitaiso Kaiseki. Proceedings of the 20th Annual Meeting of the Association for Natural Language Processing].

Sasano, R., Kurohashi, S., and Okumura, M. (2013). "A Simple Approach to Unknown Word Processing in Japanese Morphological Analysis." In Proceedings of the 6th International Joint Conference on Natural Language Processing, pp. 162-170.

Sennrich, R. (2017). "How Grammatical is Character-level Neural Machine Translation? Assess-
ing MT Quality with Contrastive Translation Pairs." In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics: Volume 2, Short Papers, pp. 376-382.

Sennrich, R., Haddow, B., and Birch, A. (2016). "Neural Machine Translation of Rare Words with Subword Units." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1715-1725.

Shao, Y. and Nivre, J. (2016). "Applying Neural Networks to English-Chinese Named Entity Transliteration." In Proceedings of the 6th Named Entity Workshop, pp. 73-77.

Stanovsky, G., Smith, N. A., and Zettlemoyer, L. (2019). "Evaluating Gender Bias in Machine Translation." In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 1679-1684.

Ugawa, A., Tamura, A., Ninomiya, T., Takamura, H., and Okumura, M. (2018). "Neural Machine Translation Incorporating Named Entity." In Proceedings of the 27th International Conference on Computational Linguistics, pp. 3240-3250.

Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., and Polosukhin, I. (2017). "Attention is All you Need." In Advances in Neural Information Processing Systems 30, pp. 5998-6008.

Wang, L., Isabel, T., Chris, D., and Alan W., B. (2015). "Character-based Neural Machine Translation." arXiv, abs/1511.04586.

White, J. S., O'Connell, T. A., and O'Mara, F. E. (1994). "The ARPA MT Evaluation Methodologies: Evolution, Lessons, and Future Approaches." In Proceedings of the 1st Conference of the Association for Machine Translation in the Americas, pp. 193-205.

## 略歴

藤井諒：2019 年東北大学工学部電気情報物理工学科を卒業, 同年より東北大学情報科学研究科博士前期課程に在籍中（2021 年 3 月修了予定）。多言語処理に関心があり主に機械翻訳に関する研究に従事している。

三田雅人：理化学研究所革新知能統合研究センター自然言語理解チームテクニカルスタッフ. 2016 年奈良先端科学技術大学院大学情報科学研究科博士前期課程修了。日本マイクロソフト株式会社のエンジニアを経て, 2018 年より現職. 同年, 東北大学情報科学研究科博士後期課程に進学. 文法誤り訂正を中心とした自然言語処理による言語学習／教育支援に関心がある。言語処理学会, ACL 各会員.

阿部香央莉：2020 年東北大学大学院情報科学研究科博士前期課程修了. 現在,
東北大学情報科学研究科博士課程取得に向け研究を進めている. 2020 年度日本学術振興会 DC1 採択. 多言語処理を伴う機械翻訳や言語類型学的観点からの言語処理分析に関心がある。言語処理学会, ACL 各会員.

塙一晃 : 理化学研究所革新知能統合研究センター自然言語理解チームテクニカルスタッフ. 2019 年東北大学大学院情報科学研究科博士前期課程修了.同年より現職. 2020 年東北大学大学院情報科学研究科博士後期課程に進学.主に自然言語処理に関する研究に従事. 言語処理学会, ACL 各会員.

森下睦：NTT コミュニケーション科学基礎研究所研究員. 2017 年奈良先端科学技術大学院大学情報科学研究科博士前期課程修了. 同年より現職. 主に機械翻訳, 言語資源構築に関する研究に従事. 言語処理学会, 情報処理学会, ACL 各会員.

鈴木潤：2001 年から 2018 年まで日本電信電話株式会社コミュニケーション科学基礎研究所研究員 (主任研究員/特別研究員). 2005 年奈良先端科学技術大学院情報科学研究科博士後期課程修了. 現在, 東北大学デー夕駆動科学・AI 教育研究センター教授.

乾健太郎: 東北大学大学院情報科学研究科教授. 1995 年東京工業大学大学院情報理工学研究科博士課程修了. 同大学助手, 九州工業大学助教授, 奈良先端科学技術大学院大学助教授を経て, 2010 年より現職. 2016 年より理化学研究所 AIP センター自然言語理解チームリーダー兼任. 情報処理学会論文誌編集委員長, 同会自然言語処理研究会主査, 言語処理学会論文誌編集委員長等を歴任, 2020 年より言語処理学会副会長.

$(2020$ 年 10 月 27 日 $\quad$ 受付 $)$
$(2020$ 年 12 月 28 日再受付 $)$
$(2021$ 年 2 月 4 日採録)


# テキストベクトルの重みづけを用いた タスクに対する単語分割の最適化

平岡 達也 $\dagger \cdot$ 高瀬 翔 $\dagger \cdot$ 内海 慶 ${ }^{\dagger} \cdot$ 欅 惇志 $\dagger+$ ・岡崎 直観 $\dagger$

これまでの自然言語処理において単語分割は，後段タスクに依存しない前処理として行 われてきた。そのため，単語分割済みのデータを用いて後段タスクを学習し，後段モ デル性能を評価するまで単語分割が適切であったかはわからない。この問題を解決す るため本稿は後段タスクに応じて適切な単語分割を行うための新たな手法を提案する。本稿で提案する手法 $(\mathrm{OpTok}=$ Optimizing Tokenization) は後段タスクの学習損失値 に基づいて，適切な単語分割の確率が高くなるように更新される。OpTok は文書分類 のように文べクトルを計算に用いるタスクに使用することが可能であり，実験結果より 提案手法は感情分析や Textual Entailment などの文書分類の性能向上に寄与し, 中国語, 日本語, 英語の三言語に適用可能であることを確認した。さらに，近年注目を集め ている BERT に対して提案手法を適用することで, さらなる性能の向上が得られるこ とを確認した。

キーワード : 単語分割, 文書分類
## Optimizing Word Segmentation for Downstream Tasks by Weighting Text Vector

\author{
Tatsuya Hiraoka ${ }^{\dagger}$, Sho Takase ${ }^{\dagger}$, Kei Uchiumi ${ }^{\dagger \dagger}$, Atsushi Keyaki ${ }^{\dagger \dagger}$ and \\ NAOAKI OKAZAKI ${ }^{\dagger}$
}

In traditional NLP, we tokenize a sentence as a preprocessing, and thus the tokenization is unrelated to a downstream task. To address this issue, we propose a novel method to explore an appropriate tokenization for the downstream task. Our proposed method, Optimizing Tokenization (OpTok), is trained to assign a high probability to such appropriate tokenization based on the downstream task loss. OpTok can be used for any downstream task which uses a sentence vector representation such as text classification. Experimental results demonstrate that OpTok improves the performance of sentiment analysis, genre prediction, rating prediction, and textual entailment. The results also show that the proposed method is applicable to Chinese, Japanese, and English. In addition, we introduce OpTok into BERT, the state-ofthe-art contextualized embeddings, and report a positive effect on the performance.

Key Words: Word Segmentation, Tokenization, Text Classification

## 1 はじめに

入力文を単語の系列へと変換する単語分割は自然言語処理における重要な処理である．中国語や日本語のように単語境界をスペースなどで明示しない言語を処理する場合は，一般的に入力となる自然文を単語列へと分割する必要がある。また英語のようにスペースで単語区切りを明示する言語であっても，単語よりも小さい適切な単位に再分割を行うことがタスクを解く上で重要である (Peng and Dredze 2015, 2016; Sennrich et al. 2016; He and Sun 2017; A and Augenstein 2020; Bollegala et al. 2020).

従来の自然言語処理において単語分割は，モデルの学習の前に行い，学習を通して変更されることがない不可逆的な前処理として行われてきた。図 1(a)に示すように，学習済みの単語分割モデルを用いて入力文を単語列へと変換し，これを後段タスクを解くためのモデル（後段モデル）へと入力するという処理過程が一般的である。この単語分割では, 学習済みの単語分割モデルに基づいて入力文を尤もらしい単語列へと分割する。しかし，そのようにして得られた単語分割が後段タスクを解く上で有効であるかは不明であり，実際にその単語分割を用いて学習した後段モデルの性能を比較してみなければ単語分割の評価はできない.

近年の研究では，単語分割をサンプリングし，様々な単語分割を用いて後段タスクを学習することで，後段モデルの性能が向上することが示されている (Kudo 2018; Hiraoka et al. 2019; Provilkov et al. 2019). このような方策は未知語や表記摇れに頑健な後段モデルを作成するという点において優れているが，後段タスクそのものに単語分割を最適化するという点については考慮されていな

(a) 従来の不可逆な単語分割

(b) 後段タスクへの単語分割の最適化（提案手法）

図 1 自然言語処理における (a) 従来の不可逆な単語分割と, (b) 本稿で提案する後段タスクに対して単語分割を最適化する手法の概要. 提案手法は後段タスクの学習損失値を用いて, 後段タスクの性能が向上するような単語分割が得られるように単語分割モデルを直接最適化する.

い. 後段タスクに適した単語分割が獲得できれば，後段モデルの性能のさらなる向上が得られると期待される。

また，複数の単語分割の候補を同時に使用することで，単語分割に起因する後段タスクの性能低下を防ぐ方法も提案されている (Chen et al. 2017; Zhang and Yang 2018; Yang et al. 2018).この方法では，LSTM (Hochreiter and Schmidhuber 1997)をべースとした機構を用いて，入力文について可能なあらゆる単語分割を考慮しながら文べクトルを計算する。この方法は単語分割の失敗が後段タスクへ伝搬することを防ぐことができるが，可能なあらゆる単語分割について毎回計算を行う必要があるため計算コストが大きい.

これまでのアプローチとは異なり, 本研究では後段タスクを学習するために適切な単語分割を,後段タスクの学習と同時に自動で獲得することを目的とする。本稿では図 1(b)に示すように，後段タスクとそれを学習する後段モデルに基づいて単語分割モデルを最適化する新たな手法を提案する. 提案手法は, 入力文の複数の単語分割候補を用いて文べクトルを作成し, 後段モデルへと入力する．後段モデルの学習損失値が下がるように単語分割モデルを更新することで，単語分割モデルは後段タスクを解くために有用な単語分割候補を出力するように学習される。

提案手法は，入力文を文べクトルへと変換して利用する様々なタスクに利用することが可能である。本稿では中国語，日本語，英語における文書分類の複数タスクで実験を行い，提案手法の有効性を確認した。さらに，提案手法は大規模コーパスで事前学習を行ったエンコーダーに対しても適用可能であることを示す。様々なタスクで性能の向上が報告されている事前学習済みエンコーダー である BERT (Devlin et al. 2018)に対して提案手法を適用し，その性能が向上することを実験により示す.

## 2 提案手法: OpTok

## 2.1 手法概要

本稿では，後段タスクに対して単語分割を最適化する新たな手法 (OpTok: Optimizing Tokenization) を提案する。提案手法は後段タスクを学習する上で適切な単語分割，すなわち後段タスクの性能が向上するような単語分割を学習する。形式的には, 提案手法は入力文 $s$ を語彙に含まれる単語 $w \in V$ の系列 $s^{\prime}=w_{1} \ldots w_{i} \ldots w_{I}$ へと変換する. ここで $I$ は文に含まれる単語の個数である。また， $q(\cdot)$ を後段タスクの評価関数， $z$ を後段タスクの正解データ， $f(\cdot)$ をニューラルネットワークを用いた後段モデルとしたとき，本研究の目的は後段タスクのスコアが最大となるような $s^{\prime}$, すなわち $\operatorname{argmax}_{s^{\prime}}\left(q\left(z, f\left(s^{\prime}\right)\right)\right)$ を求めることである.

OpTokを後段タスクのスコア $\left(q\left(z, f\left(s^{\prime}\right)\right)\right)$ に基づいて学習することで, $\operatorname{argmax}_{s^{\prime}}\left(q\left(z, f\left(s^{\prime}\right)\right)\right)$ を満たすような単語分割 $s^{\prime}$ を獲得する。 すなわち, 単語分割を前処理として行ってから後段モデルを学習するという従来のパイプライン式の学習とは異なり, 本研究では単語分割モデルである提案手

図 2 提案手法による, 3-best 分割を用いた文べクトル $\boldsymbol{h}_{s}$ の計算の概要（学習時）。評価時は従来と同様, 1-best 分割を用いた文べクトルの計算を行う．実線による矢印は誤差逆伝播法によって微分可能な処理を表す. Embedding のパラメータは更新可能だが，本稿での実験では更新を行わない． Encoder はニューラルネットワークを用いたエンコーダーで，分割済みの単語列を文べクトルへと変換する様々なモジュールを使用することができる。また, Downstream Model は後段タスクを解くためのニューラルネットワークであり，文書分類の場合は MLP などを用いる。

法と後段モデルを同時に最適化する。 ある文に対して, OpTokは複数の単語分割の候補を出力し,候補のうち後段タスクのスコアが高くなるような単語分割に高い確率を割り当てるように学習を行う。評価時にはその時点の OpTokのパラメータに基づき, 最も確率の高い単語分割を出力し, 後段モデルへと入力することで計算コストを削減する.

図 2 は提案手法である OpTokによる学習時の計算の概要を示している. OpTok はニューラル言語モデルを持ち, そのパラメータに基づいて $N$-best の単語分割を求める。各単語分割候補はニュー ラルエンコーダーで文べクトルへと変換され，さらに文べクトルは単語分割候補の確率に基づいて重み付けされる。各単語分割候補の文ベクトルの重み付き和を, 通常の文ベクトルと同様に後段モデルへと入力する。後段モデルの学習損失値に対して誤差逆伝搬法を用いることで, OpTok は後段タスクの性能が向上するような単語分割に対して高い確率を付与するように学習される。 かくして提案手法は, 後段モデルの学習と同時に $\operatorname{argmax}_{s^{\prime}}\left(q\left(z, f\left(s^{\prime}\right)\right)\right)$ を満たすような $s^{\prime} を$ 求める. 本章では，これらの処理を順に説明する。

## 2.2 ニューラルユニグラム言語モデル

OpTok は単語の確率 $p(w)$ をニューラルユニグラム言語モデルを用いて次のように計算する.

$
\begin{aligned}
d_{w} & =\operatorname{MLP}\left(\boldsymbol{v}_{w}\right) \\
p(w) & =\frac{\exp \left(d_{w}\right)}{\sum_{\hat{w} \in V} \exp \left(d_{\hat{w}}\right)} .
\end{aligned}
$

ここで MLP は学習可能なパラメータを持つ多層パーセプトロン, $\boldsymbol{v}_{w}$ は単語 $w$ の分散表現である.

学習を安定させるために，本研究ではユニグラム確率の平滑化を行う (Kudo 2018). 具体的に

は，ハイパーパラメータ $\alpha$ を用いて $p^{*}(w)=\frac{p(w)^{\alpha}}{\sum_{\hat{w} \in V} p(\hat{w})^{\alpha}}$ と平滑化したユニグラム確率を用いる.平滑化された単語のユニグラム確率を用いて文の確率を次のように計算し，これに基づいて文を単語列へと分割する。

$
p\left(s^{\prime}\right)=\prod_{w \in s^{\prime}} p^{*}(w)
$

単語分割に用いる語彙 $V$ は, 予め適当な大きさになるように初期化する。語彙に含まれる単語の初期化には, 配布されている学習済みの単語分割モデル (Kudo 2006; Yang et al. 2017) や, 教師なし単語分割手法 (Goldwater et al. 2006; Mochihashi et al. 2009; Sennrich et al. 2016) を用いて獲得された語彙を使用することができる。本研究では，ニューラルネットワークを用いた自然言語処理において広く使用されている教師なし単語分割手法である SentencePiece (Kudo and Richardson 2018)を用いて語彙の初期化を行う.

## 2.3 単語分割を最適化するための機構

学習時, OpTok は複数の単語分割候補の文ベクトルを計算し, 各単語分割候補の確率によってそれらを一つの文べクトルへと変換する。

まず，ある入力文 $s$ の $N$-best の単語分割候補 $s_{1}^{\prime}, \ldots, s_{n}, \ldots, s_{N}^{\prime}$ を求める. $N$-best の単語分割は, 2.2 節で得られた単語確率に対して Forward-DP Backward-A*アルゴリズム (Nagata 1994)を適用することで得られる.

次に，それぞれの単語分割候補 $s_{n}^{\prime}$ を文ベクトル $\boldsymbol{h}_{s_{n}^{\prime}}$ へと変換する.

$
\boldsymbol{h}_{s_{n}^{\prime}}=g\left(s_{n}^{\prime}\right)
$

ここで $g(\cdot)$ は単語列を一つのベクトルへと変換するニューラルエンコーダーで, CNN や BiLSTM,注意機構などを用いたものを想定している。なお, ニューラルエンコーダーに入力する単語分散表現は, ニューラルユニグラム言語モデル（2.2 節）で使用したものと共有することで，学習が安定することが経験的に分かっている.

最後に, 入力文の最終的な文べクトル $\boldsymbol{h}_{s}$ として, 式 (3) で求めた各単語分割候補の確率を用いて各文ベクトルの重み付き和を計算する。

$
\begin{gathered}
a_{n}=\frac{p\left(s_{n}^{\prime}\right)}{\sum_{m=1}^{N} p\left(s_{m}^{\prime}\right)} \\
\boldsymbol{h}_{s}=\sum_{n=1}^{N} a_{n} \boldsymbol{h}_{s_{n}^{\prime}}
\end{gathered}
$

自然言語処理で一般的に使用される注意機構と同様, 各単語分割候補の文べクトルに対する重みは
$\sum_{n=1}^{N} a_{n}=1$ を満たすように正規化される 1.

このようにして計算した文べクトル $h_{s}$ は，通常のニューラルエンコーダーを用いて計算された文べクトルと同じように使用することができる，例えば， $\boldsymbol{h}_{s}$ をラベルサイズのベクトルへと変換する MLP に入力することで，ニューラル文書分類器を作成することができる．文べクトル $\boldsymbol{h}_{s}$ を後段モデルに入力して計算された正解ラベルとの交差エントロピー損失を用いてモデル全体を更新することで，OpTokの持つニューラルユニグラム言語モデルは後段タスクに有用な単語分割に対して高い確率を付与するように学習される。評価時には，ビタビアルゴリズム (Viterbi 1967)によって最も確率の高い単語分割を求めることで, OpTokにより学習されたタスクに適した単語分割を得ることができる。

なお, 本研究は複数の単語分割候補を用いて後段モデルの学習を行うという点において, サブワード正則化との関係が深い. サブワード正則化 (Kudo 2018)では, 学習損失値をサブワード分割の期待値によって重みづけることで, 複数のサブワード分割を考慮した後段モデルの学習を目的としている。一方で提案手法の式 (4) では, 単語分割の確率によってエンコードされた文べクトルを重みづけすることで, 複数の単語分割を用いた後段モデルの学習を行う。また, 提案手法ではサブワード正則化とは異なり, 単語分割の確率を求めるための言語モデルのパラメータが学習と同時に更新される点で異なっている.

## 2.4 語彙の制約

タスクに対して適切な単語分割を求める時, 単語長がより長く後段タスクに特徴的な単語を用いて単語分割を行うことが一つの局所最適解となる。これは Length Bias 問題 (Lafferty et al. 2001; Kudo et al. 2004) として知られており，提案手法のように単語分割の確率をユニグラム確率の積で計算する場合は, トークン数が少なくなるような単語分割, すなわち単語長が長い単語を多く含む単語分割が優先的に選ばれてしまう，本研究においては，学習時にこうした低頻度かつ長い単語を用いることが後段モデルの過学習につながり, 後段タスクの性能低下を引き起こす.これを防ぐため, 本研究では学習時の語彙の規模に対して制約を導入する．具体的に，OpTokは各ミニバッチ学習ごとに本来の語彙 $V$ から単語をサンプリングすることで, $\left|V^{\prime}\right|<|V|$ となるように単語数が制限された語彙 $V^{\prime}$ (制限付き語彙と呼ぶ）を作成し，これを用いてミニバッチ学習を行う。ここで制限付き語彙のサイズ $\left|V^{\prime}\right|$ はハイパーパラメータであり, 本来の語彙 $V$ からの単語のサンプリングには平滑化されたユニグラム確率 $p^{*}(w)$ を使用する（2.2 節）。また, 長さが 1 の単語は必ず $V^{\prime} に$ 含まれるように制約を設け, 制限付き語彙 $V^{\prime}$ に含まれる単語の確率をノーマライズすることで, 新たなユニグラム確率を得る. OpTok は本来の語彙 $V$ に含まれる全ての単語について単語分散表現を保持するが，サンプリングによって $V^{\prime}$ から除外された単語は未知語として扱う． $V^{\prime}$ はミニバッ

チ学習ごとに作成し直すため, ユニグラム確率が高い単語ほど頻繁にサンプリングされ，パラメー 夕の更新機会が与えられる。評価時には, 式 (2) によって得られる学習済みの単語のユニグラム確率に基づいて上位 $\left|V^{\prime}\right|$ 単語を $V$ から選択して使用する。

高頻度な単語は一般的に単語長が短いため, サンプリング後の $V^{\prime} には$ 短い単語が多く含まれる。 これにより，提案手法の学習時に長く特徴的な単語を含まない単語分割を使用することができ, 結果として短く汎用的な単語を用いた単語分割を採用することが可能となる。この処理は Continuous Cache を用いた語彙削減手法に由来している (Grave et al. 2016; Kawakami et al. 2017).

また，このようにサンプリングによって制限付き語彙を作成することで，ミニバッチごとに学習時の $N$-best の単語分割候補が多様化し, サブワード正則化を用いた後段モデルの学習が可能となる. 2.2 節で導入したユニグラム確率の平滑化のためのハイパーパラメータ $\alpha$ を用いることで, 単

率の分布は一様分布に近くなり， $V^{\prime}$ を構成する単語はより多様なものになる.

## 2.5 言語モデルの性質の維持

OpTok による単語分割の最適化は後段タスクの損失関数のみに依存しているため, OpTok のユニグラム言語モデルは学習コーパスに含まれる単語の頻度を反映したものから乘離してしまう可能性がある。一方で, 学習コーパスの単語頻度を反映したユニグラム言語モデルが要求される場面もある．例えば本研究においては，ラベルに偏りのあるデータを扱う場合に，少量ラベルに偶然現れた低頻度語を獲得する可能性がある。言語モデルがこうした低頻度の単語に高い確率を与えた場合, 2.4 節で導入した語彙のサンプリングが N-best の多様性を失わせ, 局所解から抜け出しにくくなることが考えられる。

これを防ぐためには，OpTokのユニグラム言語モデルが実際の単語の頻度をある程度反映したものである必要がある。そのような場合には, 次のように教師なし単語分割とニューラル EM アルゴリズム (Deligne and Bimbot 1995; Liang and Klein 2009; Tran et al. 2016)に基き，入力文 $s$ について言語モデルを更新するための損失関数を用いることができる.

$
\mathcal{L}_{s}^{\operatorname{lm}}=-\sum_{n=1}^{N} a_{n} \sum_{w \in s_{n}^{\prime}} \log p^{*}(w)
$

$\mathcal{L}_{s}^{\operatorname{lm}}$ と後段タスクの損失値の重み付き和に対して誤差逆伝搬を用いることで，言語モデルの性質を維持しつつ単語分割の最適化を行う. 文書分類の場合であれば，入力文に対する予測ラベルと正解ラベルとの交差エントロピー損失 $\mathcal{L}_{s}^{\mathrm{cl}}$ を用いた次の重み付き和に対して最適化を行う.

$
\mathcal{L}_{s}=\mathcal{L}_{s}^{\mathrm{cl}}+\mu \mathcal{L}_{s}^{\mathrm{lm}},
$

ここで $\mu$ はハイパーパラメータであり，より大きな $\mu$ を用いるほど OpTok に含まれるニューラル

ユニグラム言語モデルは学習デー夕における単語の出現頻度を反映したものになる。

## 3 実験

本研究ではタスクに応じて単語分割を最適化することで，後段タスクの性能の向上を目指す. 本章では提案手法である OpTokを複数の文書分類タスクに適用し，その効果を評価する。

## 3.1 データセット

テキストを入力とし，そのラベルを予測する文書分類によって，提案手法 OpTok の評価を行う.提案手法が言語によらず有効であることを確認するために，中国語，日本語，英語のデータセットを用いる。本研究ではタスクに応じて適切な単語分割を学習する手法を提案しているため，インフォーマルな文体を多く含み，単語分割の差が文書分類の性能差として出やすいと考えられる SNS コーパスを用いた感情分析タスクを用いる。また，中国語，日本語，英語において，同一のテキストに対して二つのタスクが設定されているデータセットを用いることで，提案手法がタスクごとに異なる単語分割を学習できているかを確認する。さらに，二つの入力文を用いる Textual Entailment タスクを用いることで，提案手法が複数の入力を必要とするタスクであっても適用できることを確認する。各データセットについて，順に説明する。

$\operatorname{Weibo}(\mathbf{Z h})^{2}$ は， 中国語の SNS から作成された感情分析タスクのデータセットである. 各テキストには Positive・Negative のいずれかのラベルが付与されている。配布されているデータはすでに前処理として単語分割が行われているため, デトークナイズとしてスペース記号を除去して使用する.

Twitter $(\mathrm{Ja})^{3}$ は，日本語の SNS から作成された感情分析タスクのデータセットである。本データセットは家電機器などの製品に関するテキストを収集し，対象の製品について Positive・Negative $\cdot$ Neutral ・ Both of Positive and Negative・Unrelated の５つのラベルが各テキストに最低 1 つ付与されている. 配布されているデータのうち 2018 年夏の時点で 352,554 件にアクセスでき，本研究ではこれらのうち Positive・Negative・Neutral の 3 ラベルのうちいずれか 1 つのが付与されたテキストのみを使用して実験を行う。

Twitter(En) 4 は英語の SNS から作成された感情分析タスクのデータセットで，各テキストは Positive・Negative のいずれかのラベルが付与されている. 本研究の実験では，小文字化などの前処理を行わずに用いる.

SNLI (Bowman et al. 2015) は自然言語処理において広く使用されている Texutual Entailment 夕スクのデータセットで, 英語で記述されている。二つの文の含意関係を分類するタスクであるため,

本データセットの入力は 2 文となる，本データセットを，提案手法が複数の入力を必要とする夕スクに適用可能であることを検証するために使用する。学習・検証・評価にはそれぞれデフォルトの分割を用い，既存研究に倣ってラベルが付与されたデータのみを使用する.

Amazon: Genre\&Rating(En) は Amazon product data ${ }^{5}$ を用いて作成した英語のデータセットである。元となるコーパスは 24 種の製品ジャンルについてユーザーのレビューが収録されており，各レビューにはユーザー自身が設定した 1 から 5 までのレートが付与されている。本研究では，各製品ジャンルから 5,000 件ずつサンプリングし，レビューテキストを入力としたジャンル予測タスクとレート予測タスクとして使用する。本データセットは同一のテキストに対して二つのタスクが設定されているため, 提案手法がタスクに応じて異なる単語分割を学習できているかを検証することができる。テキストの長さはレビューごとに大きく異なるため，スペース記号区切りで 200 単語を上限とし，これを超えないようにレビューテキストをサンプリングした.

JD.com: Genre\&Rating(Zh) は, 中国の電子商取引サイトである JD.com に投稿されたレビュー を用いて作成された中国語のデータセットである (Zhang et al. 2015)6. 各レビューには商品のジャンルと，ユーザーが設定した 1 から 5 までのレートが付与されている. Genre\&Rating(En)データセットと同様にして, レビューデータセットからジャンル予測タスクとレート予測タスクを作成した. 充分なサンプル数を持つ 13 ジャンル7を選択し，各ジャンルごとに 30,000 件ずつ，レートが均等になるようにレビューデータをサンプリングした，使用するレビューテキストは，その文字数が 3 から 100 に収まるようにサンプリングを行った.

Rakuten: Genre\&Rating(Ja) は, 日本の電子商取引サイトである楽天市場に投稿されたレビュー を用いて作成された日本語のデータセットである (Rakuten 2014). 各レビューには商品のジャンルとユーザーが設定した 1 から 5 までのレートが付与されている. JD.com から作成したデータセットと同様に，充分なサンプル数を持つ 21 ジャンル8 を選択し，各ジャンルと各レートからそれぞれ 5,000 件ずつレビューデータをサンプリングした. 2015 年のレビューデータを使用し，レビュー本文の文字数が 100 に収まるようにサンプリングを行った.

SNLI 以外のタスクについては，8:1:1 となるようにデータセットをランダムに分割し，それぞれ学習・検証・評価データセットとして使用する，Genre\&Rating タスクについても同様に，ジャンル比が等しくなるような制約のもとランダムに 8:1:1 に分割した。なお，ジャンル予測タスクとレート予測タスクでは同じデータの分割を使用する。表 1 に感情分析データセットの概要を示し

た.また, 英語のジャンル・レート予測タスクについては表 2 にジャンルとレートのサンプル件数を示した。

表 1 感情分析タスクのデータセット概要.

表 2 Amazon product data から作成した Genre\&Rating 予測タスクのデータセット概要

## 3.2 実験設定

OpTok のニューラルユニグラム言語モデルについて, 式 (1) の MLP として 2 層のパーセプトロンを使用する。式 (4)の $\boldsymbol{h}_{s^{\prime}}$ を計算するためのエンコーダー $g(\cdot)$ として, 注意機構と線形層を接続したエンコーダー (Attention) と，BiLSTM と線形層を接続したエンコーダー (BiLSTM) の二種類を用意した。これは提案手法がエンコーダーの種類によらず性能の向上に寄与することを確認するためである。注意機構を用いたエンコーダーでは，単語列の分散表現の重み付き和を線形層に入力することで文べクトルを計算する。また，BiLSTM を用いたエンコーダーでは，分割された単語列の分散表現を BiLSTM に入力し, その出力の Max-Pooling を線形層に入力することで文べクトルを計算する。これらの処理において，活性化関数として $\tanh を$ 線形層の前後に使用した。それぞれのエンコーダーの計算の概要を図 3 に示した.

文書分類の後段モデルとして 3 層の MLP を使用し，文べクトルをラベルサイズのベクトルへと変換する。この時, MLPへの入力となる文ベクトルに $50 \%$ のドロップアウトを適用した. SNLIについては, text と hypothesisの双方に対して同じエンコーダーを使用し, それぞれの出力のべクトル結合を文べクトルとして後段モデルへと入力する.

提案手法との比較には，広く使用されている単語分割モデルである SentencePiece (Kudo and Richardson 2018)を用いる。具体的には，SentencePieceによって分割された単語列を文べクトルへと変換し, 後段モデルへと入力する。 すなわち, 提案手法のうちニューラルユニグラム言語モデル

(a) Attention エンコーダー

(b) BiLSTM エンコーダー

図 3 実験で使用するエンコーダーの概要. 単語分割済みの文 $s^{\prime}$ に含まれる単語の系列 $w_{1}, w_{2}, w_{3}$ に対応する単語分散表現 $\boldsymbol{v}_{w_{1}}, \boldsymbol{v}_{w_{2}}, \boldsymbol{v}_{w_{3}}$ について，それぞれのエンコーダーで文べクトル $\boldsymbol{h}_{s^{\prime}}$ を計算する処理の概要を示す.

を SentencePiece に置き換え，入力文を分割するモデルをベースラインとする．複数の研究によって, 決定的な単語分割ではなく確率的な単語分割を用いて後段モデルを学習するサブワード正則化によって性能の向上が得られることが示されている (Kudo 2018; Hiraoka et al. 2019; Provilkov et al. 2019)，そのため, 本研究においてもサブワード正則化を用いた SentencePiece をべースラインモデルとして使用する.

SentencePiece のモデルは各データセットの学習データを用いて学習した。語彙のサイズは $8 \mathrm{~K}$, 16K, 24K, 32K を探索し, Twitter(Ja)とTwitter(En), Genre\&Rating(Zh)については $16 \mathrm{~K} を$ 選択し, Weibo(Zh)とSNLI, Genre\&Rating(En), Genre\&Rating(Ja)については 32Kを選択した. また, 学習済みの SentencePieceの語彙を用いて提案手法 OpTokの語彙を初期化し，ニューラルユニグラム言語モデルについても SentencePiece によって推定された単語確率との KL ダイバージェンスが小さくなるように事前学習し初期化した。

単語分散表現は各データセットの学習データを用いて双方向言語モデルで事前学習し, 文書分類の学習時には固定した. 後段タスクに対して適切な単語分割は事前学習時に不明であるため, 双方向言語モデルは SentencePiece によるサブワード正則化を用いて学習した. Genre\&Rating タスクについては, 同じ単語分散表現を用いて学習を行った. 全てのデータセットについて, 外部データによる事前学習は行っていない.

提案手法とベースライン手法を用いた文書分類の学習には, 正解ラベルに対する交差エントロピー損失を用いる。 パラメータの最適化には Adam (Kingma and Ba 2014)を用い, PyTorchのデフォルトの設定を用いた。

OpTok と SentencePiece の双方で使用する単語確率の平滑化のためのハイパーパラメータ $\alpha$ は既存研究 (Kudo 2018) に倣い $\alpha=0.2$ とした. 提案手法の学習において, $N$-best 分割については $N=3$, 制限付き語彙の大きさ $\left|V^{\prime}\right|$ は本来の語彙の大きさの半分とした. すなわち, Twitter(Ja)と Twitter(En), Genre\&Rating(Zh)については $\left|V^{\prime}\right|=8,000$, Weibo(Zh), SNLI, Genre\&Rating(En), Genre\&Rating(Ja)については $\left|V^{\prime}\right|=16,000$ である. 評価時には，学習された言語モデルに基づいて上位 $\left|V^{\prime}\right|$ 単語を語彙として選択し，1-best 分割を用いてラベルの予測を行う。本節の実験では提案手法の効果を調べるために，言語モデルの性質を維持するための損失関数への重みは $\mu=0$ とした。本稿における全ての実験結果について，事前学習部分を除く全ての学習可能パラメータをランダムに初期化し, 5 回の試行結果の平均 F1 値を報告する。また, 文書分類の最大学習エポックは 20 とし, 各試行において検証データで最大性能となるモデルを選択し, 評価データで評価を行った.

提案手法の実装と実験に使用したソースコードは GitHubにて公開している9.

## 3.3 実験結果

OpTok と SentencePiece による単語分割手法を用いて後段モデルを学習し，その実験結果を表 3 に示した. SentencePiece については，提案手法における制限付き語彙と本来の語彙それぞれと同じ大きさの語彙を持つ設定 (SentencePiece, SentnecePiece x2) で実験を行った.

実験結果より，多くの各言語・各タスクの組み合わせにおいて提案手法は文書分類の性能向上に寄与することを確認した。また多くの実験設定において, OpTokの性能は SentencePieceのどちらの語彙の大きさの設定による性能よりも高いことが示された。注意機構を用いたエンコーダーと， BiLSTM を用いたエンコーダーのどちらを使用した場合であっても，提案手法は SentenecePiece による単語分割を用いた手法の性能を上回ることから，提案手法は使用するエンコーダーに関わらず従来の単語分割手法と比べて性能の向上に貢献することを確認した． SNLIにおける実験結果からは, 複数の入力文を要求するタスクであっても提案手法を用いることで性能向上に寄与することが示された，さらに，OpTok はインフォーマルな表現を多く含むデータセット（SNSでの感情分析と Genre\&Rating タスク）に限らず，SNLIのようにフォーマルな表現を含むデータセットであっ

(a) 感情分析タスクと SNLI での実験

(b) レビューデータを用いた実験

表 3 文書分類での実験結果。太字は各データセットでの最大値を表す。|vocab| は SencencePiece/SentencePiece x2 それぞれの語彙の大きさを表し, これは OpTokの制限付き/本来の語彙の大きさと同じである.

ても性能向上に貢献することが確認された.

提案手法は評価時に本来の語彙の半分の大きさの語彙のみを使用している。このことから，提案手法はタスクを解くために有用な語彙を選択することで，語彙削減に貢献していると考えることができる.

注意機構によるエンコーダーを用いた Rating (En) タスクでは，提案手法による性能の低下が確認された。これは表 2 に見られるような, ラベルの極端な偏りに起因すると考えられる，注意機構によるエンコーダーは BiLSTM によるエンコーダーに比べて単語の並びを考慮しないため，文べクトルに与える単語分割の影響が大きい。また， Rating(En)においてレートが 5 となるような高評価レビューを検出するためには，肯定的なキーワードを認識できれば良い。これにより，OpTok は easy-positive である高評価レビューに特徴的なキーワードのみを有用な語彙として選択し, 低評価レビューの検出に有効な単語を語彙から落としてしまっているために性能が低下したと考えられる。こうしたラべルの偏りに起因する性能の低下については, 偏りを考慮して学習を行うような損失関数 (Li et al. 2020b) を採用することで防ぐことが可能であると考えられる.

## 4 分析

## 4.1 単語分割のみによる性能向上

3.3 節の結果からだけでは, 性能向上が提案手法で単語分割モデルと後段モデルを同時に最適化したことに起因するものであるかは不明瞭である。 そこで, 本節では単語分割の最適化そのものが,後段タスクの性能向上に貢献しているかを調べる。単語分割の最適化のみの影響を調べるために,文書分類を OpTok に含まれるニューラルユニグラム言語モデルのみで学習する。 すなわち，後段モデルと OpTok に含まれるニューラルエンコーダーのパラメータをランダムに初期化し, 固定することで単語分割の更新のみによる性能向上を確認する。ニューラルユニグラム言語モデルのパラメータのみを更新し, 学習損失值と検証デー夕における $\mathrm{F} 1$ 值の推移を観察し, 単語分割の最適化によって性能の向上が得られることを確認する。

本実験を 3 節で用いた Twitter(Ja) データセットにおいて行い，その結果を図 4 に示した. 図 4 は学習データにおける損失值と検証データにおける $\mathrm{F} 1$ 值について, それぞれ学習開始時の値からの差をエポックごとに示した。図より, 学習エポックの増加に伴って学習損失值が下がり, 検証デー 夕における $\mathrm{F} 1$ 値は上昇している。このことから，提案手法は後段タスクの損失関数を用いて，その性能が向上するような学習ができていることが示された。また，この結果は 3.3 節における全体的な性能の向上に単語分割の最適化手法そのものが寄与していることを示唆している.

## 4.2 タスク指向の単語分割

提案手法によって獲得される単語分割が後段タスクに応じて異なる物であるかを調べる。本節では，3章での実験で用いた英語・中国語・日本語の Genre\&Rating タスクにおいて，提案手法がどのような単語分割を学習したかを定性的に分析する。なお, Genre\&Rating タスクに用いたデー タセットは同一のテキストに対して異なる二つの後段タスクが設定されている。また，本節では BiLSTM によるエンコーダーを用いた実験設定によって得られた単語分割を比較する.

表 4 はジャンル予測タスクとレート予測タスクにおいて, 提案手法が学習した言語モデルに基づ

図 4 Twitter(Ja) データセットでの, OpTokによる単語分割の更新のみを用いた性能の推移. 検証データでの F1 值と学習データでの損失値について, 学習開始時の値からのエポックごとの差の推移を示す.

表 4 提案手法を用いた Genre\&Rating データセットの学習において，学習開始時に比べてユニグラム確率が大きく向上した単語の上位 15 件.

き，学習開始時に比べてユニグラム確率が大きく上がった単語の上位 15 件を示す. 表より，提案手法によって学習を行ったニューラルユニグラム言語モデルは, ジャンル予測・レート予測のそれぞれで有用と考えられる単語に対して高い確率を与えるように更新されていることがわかる．例えば英語の Amazon データセットにおいて「zombie」という単語はジャンルを予測するために重要な手がかりとなり，「bad」はレート予測に有効であると考えられる.

また, 中国語の JD.com データセットにおいては,「车」「衣」などのジャンル予測に有用とみられる単語や，「清」「差的」などのレート予測に有用な単語の確率がそれぞれ上昇していることが確認できる.

日本語の Rakuten データセットでは，「污れ」「足」などの単語の確率がジャンル予測タスクでの学習で上昇し，レート予測タスクでは「とても」「気になる点」などの単語の確率が上昇している.レビューでは「星 4 つ」のように，レートを直接明記する例も存在しており, 日本語のレート予測の学習で「星」という単語の確率が上昇している点も特筆すべきである.

中国語と日本語のジャンル予測タスクでは, それぞれ「的」「了」や「が」「の」のような機能語の確率が大きく上昇している。これは，ジャンル予測タスクにおいて名詞を適切に切り出すことが性能の向上につながり，その区切りを判別するために機能語が有効であるためだと考えられる.

これらの結果から, OpTokは後段タスクを解く上で有効と考えられる単語をより多く使用して単語分割を行うモデルとして学習されることが確認された。なお, 2.5 節で説明した通り, 本実験では言語モデルの性質を維持するような損失関数を用いていないため, 学習済みの各単語の確率が極端な値になる場合がある。

検証デー夕に含まれる入力文のうち，提案手法によって獲得された後段タスクごとの単語分割の差が顕著である英語，中国語，日本語それぞれの例を表 5 に示した，表において， SentencePiece は語彙の規模を $16 \mathrm{~K}$ としたモデルの単語分割の結果を示し, 提案手法は $32 \mathrm{~K}$ の語彙を用いて学習し単語のスコアが高い上位 $16 \mathrm{~K}$ 単語を用いた単語分割の結果を示した.

英語のジャンル予測タスクに対して最適化を行った場合は「book / s」のように，ジャンルを予測するために重要であると考えられる単語の屈折語尾を切り落とす単語分割が見られる。これにより, 屈折によらず「book」という単語を認識できるため, 正しいラベルである Bookジャンルを適切に予測することができると考えられる。一方でレート予測タスクに対して最適化を行った場合は 「interest / ing」のように，レートを予測するために有用であると考えられる「interest」という単語を適切に捉えるために，その派生語尾を切り落とす分割が見られる。これにより，「interested」 や「interests」といった単語を「interest / ing」と同じように捉えることができ，レート予測の性能向上をもたらすと考えられる。また，ジャンル予測で学習された単語分割は「interesting」を分割せず，レート予測では「books」を分割していない.

中国語の例においても，ジャンル予測とレート予測によって獲得された単語分割の差が確認できる. ジャンル予測で学習したモデルでは「指纹」や「操作」など，正しいジャンルである「携帯電

 \\

表 5 異なるタスクにおいて，提案手法 OpTokによって獲得された単語分割の例と, ベースラインである SentencePiece による単語分割の例. 同じテキストに対して, ジャンル予測とレート予測の異なるタスクを学習した．手法間で特筆すべき分割の差が見られる箇所を太字で示した.

話/デジタル」を予測するために有用な単語を分割せずに残している一方で, ジャンル予測に不要と考えられる「不好」は分割して語彙から落としていることがわかる. 対してレート予測で学習したモデルは「不好」を連結し，「指纹」や「操作」を語彙から落としている。さらに，中国語の否定極性表現である「一点都」を切り出すことで，「一点都不」や「一点都没」などの表現を統一的に認識できるように学習できている。また, SentencePieceでは単語として認識していた「防指纹」 や「而且」について, 提案手法ではどちらも使用していない点が特徴的である。「防指纹」は耐指紋コーティングを表すが，使用したデータセットでは単純に「指纹」について触れるレビューが多く，そのほとんどが「防指纹」を含むレビューと同じジャンルであるために語彙削減として「防指纹」を語彙から落としたと考えられる。また「而且」は「また」などを表す接続詞で，ジャンル予測とレート予測の双方において意味を持たない単語であり，語彙から削除されたと考えられる.

日本語の例では, ジャンル予測で学習したモデルは「メイク」を連結しており，レート予測で学習したモデルは「ませんでした」という否定フレーズを連結することで，それぞれのタスクに応じた分割が獲得されていることが確認できる。特に単語「メイク」は $32 \mathrm{~K}$ の語彙の規模を持つ SentencePiece モデルには含まれているが，16K のモデルには含まれていないため SentencePiece では「メ/イ/ク」と分割されている。一方で, $32 \mathrm{~K}$ の語彙をもとに提案手法で $16 \mathrm{~K}$ 単語を選択した場合は「メイク」という単語が含まれているため, 分割に使用することができている。この結果は，提案手法を用いた素性選択がタスクを考慮したものであることを示唆している。

これらの事例より提案手法は英語, 中国語, 日本語において, 後段タスクに応じて適切な単語分割を獲得していることが確認された.

## 4.3 PMI を用いた素性選択との関係

本研究は後段タスクに対して適切な語彙を選択するという側面において，これまでの自然言語処理で研究されてきた素性選択との関わりが深い。本節ではレビューデータを用いた実験を通して，文書分類のタスクにおけるラベルと単語の PMI を用いた素性選択手法 (Sebastiani 2002; Church and Hanks 1990)に関する比較を行う.

まず提案手法による文書分類の性能と，PMI を用いて素性選択を行う手法の文書分類の性能を比較する．PMI を用いた素性選択では，以下の二つの指標で単語とラベルの共起スコアを計算した (Xu et al. 2007).

$
\begin{aligned}
\operatorname{PMI}(w, l) & =\log \frac{p(l \mid w)}{p(l)} \\
\operatorname{PMI}_{\text {max }}(w) & =\max _{l \in L} \operatorname{PMI}(w, l) \\
\operatorname{PMI}_{\text {ave }}(w) & =\sum_{l \in L} p(l) \operatorname{PMI}(w, l)
\end{aligned}
$

ここで $w$ は単語， $l$ は文書分類のラベル集合 $L$ に含まれるラベルである。また, PMI のスコアは学習データ中の全ての文字 N-gram を対象として計算する。実験では SentencePiece で学習した $32 \mathrm{~K}$ の語彙に含まれる単語について $\mathrm{PMI}_{\max }(w)$ と $\mathrm{PMI}_{\mathrm{ave}}(w)$ を計算し，それぞれの指標でスコアの高い上位 $16 \mathrm{~K}$ 単語を選択した。ただし未知文字を防ぐために，長さが 1 の単語は必ず語彙に含まれるように選択を行った。さらに，選択した語彙をもとにEM アルゴリズム (Deligne and Bimbot 1995; Liang and Klein 2009; Kudo and Richardson 2018)を用いて単語の出現確率を推定し, サブワード正則化を用いた文書分類の学習を行った。文書分類の学習には， 3 章の実験で用いた BiLSTM エンコーダーによる分類器を使用し，その結果を表 6 に示した。結果より，SentencePiece で作成した語彙から PMI を用いて素性選択を行う手法の性能は, SentencePieceの $16 \mathrm{~K}$ 語彙を用いた手法や提案手法の性能を下回っている。ここから，PMIのみを用いた素朴な素性選択に比べて SentencePiece を用いた言語モデルベースでの素性選択や，提案手法によるモデルのパラメータを考慮した語彙の選択が性能向上に寄与することがわかった.

表 6 SentencePieceによる $32 \mathrm{~K}$ 語彙から PMI を用いて16K 単語を素性選択した手法と, SentencePiece による単語分割手法, 提案手法のレビューデー夕における文書分類での実験結果.

表 7 SentencePiece と提案手法それぞれの単語分割において，単語分割済み文中に含まれる単語のうち正解ラベルとの PMI が最も高い単語の PMI スコアの平均，数値が高いほど，正解ラべルに特徴的な単語を多く含む単語分割であることを表す。

次に, SentencePiece を用いた単語分割と提案手法による単語分割を PMI の観点から比較する.正解ラベルとの PMI が高い単語が含まれているかどうかは，その単語分割が文書分類タスクに対して適切なものであるかを測る指標になると考えられる。そこで，ある文 $s$ を単語分割した $s^{\prime}$ に含まれる単語のうち, 最もその文の正解ラベル $l$ との PMI が高い単語の PMI スコアの平均, $\frac{1}{|D|} \sum_{s^{\prime} \in D} \max _{w \in s^{\prime}} \operatorname{PMI}(w, l)$ を用いて, SentencePiece と提案手法の単語分割を比較する. ここで $D$ は単語分割済みの学習データである。このスコアが高いほど，単語分割済みの文が正解ラベルに特徴的な単語を含んでいることを示す. SentencePiece と提案手法それぞれの単語分割についてこのスコアを計算した結果を表 7 に示した．表より，提案手法による単語分割は SentencePiece に比ベてこのスコアの値が高く, 各文の正解ラベルに特徴的な単語を用いた単語分割が行えていることが確認された。

これらの検証結果から，言語モデルベースの SentencePiece や提案手法に比べて, PMI のみを用いた素性選択手法は性能向上に貢献しないことが分かった. 一方で, 提案手法は SentencePiece の単語分割に比べて, 正解ラベルとの PMI が高くなるような単語を用いた単語分割を学習できていることが分かった. ここから，提案手法は SentencePiece による言語モデルベースの素性選択の性質を残しつつ，正解ラベルとの関係が深い素性を選択することで，性能の向上が得られていると考えられる。

## 4.4 ハイパーパラメータによる影響

本研究では提案手法の OpTok について, 語彙の大きさの制限と $N$-best 分割, 言語モデルの性質の維持について三つのハイパーパラメータを導入した。本節では, これらのハイパーパラメータが性能に与える影響について，感情分析タスクを用いて分析する。

図 5a は制限付き語彙の大きさが各言語の性能に与える影響について報告したものである。制限付き語彙の大きさを本来の語彙に対して $25 \%, 50 \%$ （デフォルトの実験設定）, $75 \%, 100 \%$ と変化させ，感情分析タスクにおける性能の変化を分析した，図では 5 回の試行による平均 $\mathrm{F} 1$ 値について, 表 3 で報告した値からの差を示した. 図より, 語彙の大きさを $50 \%$ に縮小する設定が日本語と英語において最も性能が高く，語彙を制限することで提案手法の性能が向上することが確認され

- - - Weibo(Zh) - - Twitter(Ja) - - Twitter(En)

(a) 制限付き語彙の大きさによる性能の差

(b) $N$ による性能の差

図 5 提案手法で用いる語彙の大きさ $\left|V^{\prime}\right|$ と分割候補の数 $N$ を異なる値にした時の性能. 表 3 で報告した感情分析タスクの F1 值からの差を示す.

た。一方で，図より制限付き語彙の大きさを小さくするほど，中国語での性能が低下することが示された。結果より Weibo $(\mathrm{Zh})$ データセットにおいて， $32 \mathrm{~K}$ の大きさを持つ本来の語彙のうち全体 (100\%) を用いることで F1 値が 93.14 に到達することがわかった。これは表 3 で報告した OpTok の F1 値よりも 0.32 高い数値である。この結果は, 中国語のように文字種が非常に多い言語において，語彙の大きさを制限することで後段タスクを解くための有用な単語を語彙に含めることができず，学習と評価の双方で未知語を多く発生させてしまうことに起因すると考えられる，中国語に関するこの分析は, 既存研究で報告されている分析とも合致する (Hiraoka et al. 2019).

図 5bは OpTokのハイパーパラメータのうち, 単語分割候補の数を表す $N$ が感情分析タスクに与える影響を示している。図より全ての言語において $N=3$ を用いる設定が最も性能が高く, $N$ を大きくすることで性能が低下する傾向にあることが示された．提案手法を用いた学習では $N$-best に含まれる全ての単語分割を用いてエンコーダーと後段モデルを学習する一方で, 評価時には 1-best 分割を用いるという学習と評価時のギャップが，この傾向を引き起こしていると考えられる。より大きな $N$ を設定することで，文書分類のための後段モデルである MLP は複数の単語分割についての文べクトルの重み付き和を用いて学習を行う。一方で評価時には 1-best の単語分割による文べクトルのみが入力され, このギャップのために性能が低下すると考えられる。

2.5 節では OpTok で獲得される言語モデルの性質を維持するためのハイパーパラメータ $\mu$ を導入した，大きい $\mu$ を設定することで，式 (8)における言語モデルの性質を保つための損失值 $\mathcal{L}_{s}^{\operatorname{lm}}$ が学習に与える影響が大きくなり, OpTokのニューラルユニグラム言語モデルはコーパスに含まれる単語の頻度を反映したものになる． 3 章の実験では提案手法の効果を調べるために $\mu=0$ と設定していたが，本節では異なる $\mu$ を設定することで言語モデルの性質が維持されることと，これが感情分析タスクに与える影響を調べる。図 $6 \mathrm{a}$ は異なる $\mu$ を用いて学習した OpTok を用いて学習データを1-best 分割し，そのパープレキシティを示したものである。より大きな $\mu$ を用いること

(a) $\mu$ によるパープレキシティの差

(b) $\mu$ による性能の差

図 6 提案手法において, 言語モデルの性質を維持するための損失値の重み $\mu$ による性能の差と, 学習デー 夕のベスト分割に対するパープレキシティの差.

でパープレキシティが下がる傾向にあることが確認され, OpTokのニューラルユニグラム言語モデルが学習データにおける単語の出現頻度を反映したものになっていることがわかる。また，中国語，日本語，英語において，異なる $\mu$ を用いて学習したモデルの性能を図 $6 \mathrm{~b}$ に示した，図では，表 3 で報告した値 $(\mu=0)$ からの差を示している。結果より，言語モデルの性質を保つことが性能に与える影響は言語ごとに異なることがわかる。 中国語と日本語では，適切な $\mu$ を設定することで性能の向上が見られ， $\mu$ が大きすぎる場合には性能が低下することが確認された。一方で英語では $\mu$ の値による一貫した傾向は見られなかった。こうした $\mu$ による性能の差は, 各言語間にある単語分割の曖昧性の差によって引き起こされていると考えられる。中国語と日本語は単語境界を明示しないため単語分割の曖昧性が大きく, 同じ文字列が異なる文脈に現れることが多い. そのため, 適切に $\mu$ を選択して言語モデルの性質を保持することで極端なスコアを持つ単語が減り, 単語分割に一貫性が得られるために性能が安定すると考えられる。一方で英語は事前にスペース記号で単語境界を明示する言語であるため単語分割の曖昧性が小さく, 言語モデルの性質を保持することによる影響が少ないと考えられる。

## 4.5 BERT への応用

大規模なコーパスを用いて事前学習を行った言語モデルを活用した自然言語処理に関する研究が多く手掛けられている。こうした事前学習済みの言語モデルは文べクトルを出力するエンコーダー として使用することができ，提案手法のエンコーダーとして使用することができる．本節では，多くの自然言語処理のタスクで性能の向上が報告されている BERT(Devlin et al. 2018)について，提案手法を適用し Twitter(En)と Genre\&Rating(En) データセットでの評価を行う.

3 章での実験設定のうち, 提案手法に用いるニューラルエンコーダーを BERTへと変更し, 同様

表 8 英語で記述されたデータセットにおける $\mathrm{BERT}_{\text {base }}$ を用いた実験結果（F1 値）。手法間での最高値を太字で示した.

の実験を行う，本実験で使用する BERT モデルとして， HuggingFace ${ }^{10}$ が配布している BERT base を利用した，前述の実験と同様に単語分散表現のみを固定し，その他のパラメータを fine-tune する. BERT $_{\text {base }}$ のために用意されているトークナイザは WordPiece に基づいており，最長一致アルゴリズムでの単語分割を前提としているため各単語の確率は配布されていない。そこで本実験では EM アルゴリズム (Deligne and Bimbot 1995; Liang and Klein 2009; Kudo and Richardson 2018) を用いて，配布されている語彙に含まれる単語の確率を各データセットの学習データについて推定し, これを提案手法のニューラルユニグラム言語モデルの初期値とした. 配布されている $\mathrm{BERT}_{\text {base }}$ の語彙には各データセットに出現しない単語が多く含まれており，制限付き語彙を使用することで

のパラメータの fine-tune については AdamW (Loshchilov and Hutter 2017)を用い, OpTok に含まれるニューラルユニグラム言語モデルのパラメータについては Adamによる更新を行う.

致アルゴリズムを用いて WordPieceでの分割を行ったデータを用いている。+Sampling tokenization による実験では，上述したEM アルゴリズムによる単語確率の推定値を用いて， SentnecePiece によるサブワード正則化と同様に確率的な単語分割を用いた学習を行った。

実験結果より，事前学習済みの BERT を用いることで表 3 で報告した値に比べ，どのデータセットでも性能が向上することが確認された。 さらに，提案手法である OpTok に BERT を組み込むことで，オリジナルの BERT や確率的な単語分割を用いて学習する手法の性能を上回ることがわかった. 以上の結果から，OpTok は自然言語処理で広く使われている事前学習モデルを組み达んだモデルであっても，単語分割を最適化することで性能の向上に寄与することが示された.

## 5 関連研究

ニューラルネットワークを用いた自然言語処理において，単語分割の観点から処理性能の向上を目指す研究は数多く手掛けられてきた。単語分割に起因する処理性能の低下を防ぐ方法として, 複

数の単語分割を同時に使用する手法が挙げられる。ニューラルネットワークを用いた枠組みにおいては，LSTM の系列処理をラティス状に拡張することで，複数の単語分割を入力として受け取る手法が提案されている (Chen et al. 2017; Zhang and Yang 2018; Yang et al. 2018). これにより,様々な単語分割の可能性を同時に考慮しながら夕スクの学習が可能となり，中国語の教師あり単語分割タスクや固有表現抽出タスクで性能の向上が報告されている。また, Transformer の枠組みで単語分割の複数の可能性をラティスとして考慮する手法も提案されており, 中英翻訳タスク (Xiao et al. 2019) や中国語の固有表現抽出タスク (Li et al. 2020a) での性能向上が報告されている. これらの手法は複数の単語分割候補を同時に使用することで，決定的な単語分割の失敗による性能低下を防ぐことができる.

確率的な単語分割を行うサブワード正則化 (Kudo 2018; Kudo and Richardson 2018) では, 学習エポックごとに単語分割を言語モデルにしたがってサンプリングすることで複数の単語分割候補を用いたモデルの学習を行う。これにより，一つの学習事例を複数の単語分割を用いて学習するデー 夕拡張として性能の向上に繋がるだけでなく, 未知の文字列に対してもロバストなモデルを学習することが可能である. SentencePiece によるサブワード正則化を用いることで，ニューラル機械翻訳の複数の言語対において性能の向上が得られることが報告されている. BPE-dropoutによるサブワード正則化では，Byte Pair Encoding を用いたサブワード分割におけるトークンの結合処理をランダムにスキップすることで，複数の単語分割候補を生成する (Provilkov et al. 2019). 言語モデルを用いずに単語分割のサンプリングを行うことで，より多くの単語分割候補を用いてモデルを学習することができ，機械翻訳タスクにおける性能の向上が報告されている．また，教師なし単語分割手法をサブワード正則化に組み迄むことで，学習が進むに従って確率的な単語分割から決定的な単語分割へとスケジューリングし，学習性能を安定させる手法も提案されている (Hiraoka et al. 2019).

タスクに対して最適な単語分割を求める試みは, 主に機械翻訳分野において研究されてきた。 アラインメントモデルのようにシンプルな機械翻訳手法を基準としてソース言語とターゲット言語の単語分割を決定することで，より複雑な機械翻訳モデルにおいても性能向上が見られることが報告されている (Xu et al. 2008; Chung and Gildea 2009; Nguyen et al. 2010; Mermer et al. 2013).近年の研究では，ニューラル機械翻訳における単語分割の最適化が試みられている. Incremental BPE は, Byte Pair Encoding によるサブワード分割の適切な分割粒度を，ニューラル機械翻訳器の損失値を用いて自動決定する手法である (He et al. 2020). Dynamic Programming Encoding による単語分割では, Seq2Seq モデルを用いた文字列から単語列への変換手法 (Chan et al. 2016)を拡張し, ソース言語からターゲット言語を出力する上でより適切な単語分割を選択する手法を提案した (He et al. 2020). 我々の研究はこれらの既存研究と比較し, 様々なニューラルエンコーダー に適用可能である点と, 後段タスクに対する学習損失值からの誤差逆伝搬のみを用いて, 人手で設定した基準を用いず直接的に単語分割を後段タスクに対して最適化するという点で異なっている.

また工藤 (2005) では，形態素解析器による単語分割の確率を用いて Bag-of-Wordsベクトルの重みづけを行うことでテキスト分類タスクの性能向上を報告している。提案手法はニューラルネットワークを用い，単語分割の確率そのものをタスクとモデルに対して最適化するという点において， この手法を拡張したものであると捉えることができる。

## 6 おわりに

本稿では，後段タスクに対して単語分割を最適化する手法であるOpTokを提案した．OpTokを後段モデルに接続し, 一般的な後段タスクの学習と同様にパラメータを更新することで, 後段タスクを解く上で有用な単語分割が学習される。実験結果より，提案手法は後段タスクに応じて適切な単語分割を獲得し, 複数の言語における文書分類において性能の向上に起用することが確認された. また，提案手法の分析を通して，OpTokを用いることで後段タスクを学習するための損失関数のみを用いて単語分割の最適化を行うことができ，これが性能の向上をもたらすことを示した。 さらに英語のデータセットでは OpTok に BERT を組み込むことによる性能の向上を確認し，大規模コー パスで事前学習された言語モデルを用いた自然言語処理についても，提案手法が適用可能であることを示した。

提案手法は文べクトルを使用する様々な自然言語処理に適用することができるが，系列ラベリングや生成を伴うタスクに使用することは難しい，今後の研究では，単語の生成を伴うタスクに対しても提案手法を適用できるように拡張を施し，機械翻訳タスクや文書要約タスクでの実験と分析を行う。

## 謝 辞

本研究成果は, 国立研究開発法人情報通信研究機構 (NICT) の委託研究により得られたものです.また本論文の内容の一部は Findings of ACL: EMNLP 2020 に採択されたものです (Hiraoka et al. 2020).

## 参考文献

A, P. and Augenstein, I. (2020). "2kenize: Tying Subword Sequences for Chinese Script Conversion." arXiv preprint arXiv:2005.03375.

Bollegala, D., Kiryo, R., Tsujino, K., and Yukawa, H. (2020). "Language-Independent Tokenisation Rivals Language-Specific Tokenisation for Word Similarity Prediction." arXiv preprint arXiv:2002.11004.

Bowman, S., Angeli, G., Potts, C., and Manning, C. D. (2015). "A Large Annotated Corpus for Learning Natural Language Inference." In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 632-642.

Chan, W., Zhang, Y., Le, Q., and Jaitly, N. (2016). "Latent Sequence Decompositions." arXiv preprint arXiv:1610.03035.

Chen, X., Shi, Z., Qiu, X., and Huang, X. (2017). "DAG-based Long Short-Term Memory for Neural Word Segmentation." arXiv preprint arXiv:1707.00248.

Chung, T. and Gildea, D. (2009). "Unsupervised Tokenization for Machine Translation." In Proceedings of the 2009 Conference on Empirical Methods in Natural Language Processing: Volume 2-Volume 2, pp. 718-726. Association for Computational Linguistics.

Church, K. and Hanks, P. (1990). "Word Association Norms, Mutual Information, and Lexicography." Computational linguistics, 16 (1), pp. 22-29.

Deligne, S. and Bimbot, F. (1995). "Language Modeling by Variable Length Sequences: Theoretical Formulation and Evaluation of Multigrams." In 1995 International Conference on Acoustics, Speech, and Signal Processing, Vol. 1, pp. 169-172. IEEE.

Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. (2018). "Bert: Pre-training of Deep Bidirectional Transformers for Language Understanding." arXiv preprint arXiv:1810.04805.

Goldwater, S., Griffiths, T. L., and Johnson, M. (2006). "Contextual Dependencies in Unsupervised Word Segmentation." In Proceedings of the 21st International Conference on Computational Linguistics and the 44th annual meeting of the Association for Computational Linguistics, pp. 673-680. Association for Computational Linguistics.

Grave, E., Joulin, A., and Usunier, N. (2016). "Improving Neural Language Models with a Continuous Cache." arXiv preprint arXiv:1612.04426.

He, H. and Sun, X. (2017). "F-Score Driven Max Margin Neural Network for Named Entity Recognition in Chinese Social Media." In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics: Volume 2, Short Papers, pp. 713-718.

He, X., Haffari, G., and Norouzi, M. (2020). "Dynamic Programming Encoding for Subword Segmentation in Neural Machine Translation." arXiv preprint arXiv:2005.06606.

Hiraoka, T., Shindo, H., and Matsumoto, Y. (2019). "Stochastic Tokenization with a Language Model for Neural Text Classification." In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 1620-1629.

Hiraoka, T., Takase, S., Uchiumi, K., Keyaki, A., and Okazaki, N. (2020). "Optimizing Word Segmentation for Downstream Task." In Findings of the Association for Computational Lin-
guistics: EMNLP 2020, pp. 1341-1351, Online. Association for Computational Linguistics. Hochreiter, S. and Schmidhuber, J. (1997). "Long Short-term Memory." Neural Computation, 9 (8), pp. 1735-1780.

Jang, E., Gu, S., and Poole, B. (2016). "Categorical Reparameterization with Gumbel-softmax." arXiv preprint arXiv:1611.01144.

Kawakami, K., Dyer, C., and Blunsom, P. (2017). "Learning to Create and Reuse Words in OpenVocabulary Neural Language Modeling." In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), Vol. 1, pp. 1492-1502.

Kingma, D. P. and Ba, J. (2014). "Adam: A Method for Stochastic Optimization." arXiv preprint arXiv:1412.6980.

工藤拓 (2005). 形態素周辺確率を用いた分かち書きの一般化とその応用. 言語処理学会全国大会論文集 NLP-2005. [T. Kudo (2005). Keitaiso Shuhen Kakuritsu o Mochiita Wakachi-Gaki no Ippan-ka to Sono Ouyou. Proceedings of the 11th Annual Meeting of the Association for Natural Language Processing].

Kudo, T. (2006). "MeCab: Yet Another Part-of-Speech and Morphological Analyzer." http: //taku910.github.io/mecab/.

Kudo, T. (2018). "Subword Regularization: Improving Neural Network Translation Models with Multiple Subword Candidates." In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 66-75.

Kudo, T. and Richardson, J. (2018). "SentencePiece: A Simple and Language Independent Subword Tokenizer and Detokenizer for Neural Text Processing." In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71.

Kudo, T., Yamamoto, K., and Matsumoto, Y. (2004). "Applying Conditional Random Fields to Japanese Morphological Analysis." In Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing, pp. 230-237, Barcelona, Spain. Association for Computational Linguistics.

Lafferty, J. D., McCallum, A., and Pereira, F. C. (2001). "Conditional Random Fields: Probabilistic Models for Segmenting and Labeling Sequence Data." In ICML.

Li, X., Yan, H., Qiu, X., and Huang, X. (2020a). "FLAT: Chinese NER Using Flat-Lattice Transformer." arXiv preprint arXiv:2004.11795.

Li, X., Sun, X., Meng, Y., Liang, J., Wu, F., and Li, J. (2020b). "Dice Loss for Data-imbalanced NLP Tasks." In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 465-476, Online. Association for Computational Linguistics.

Liang, P. and Klein, D. (2009). "Online EM for Unsupervised Models." In Proceedings of Human Language Technologies: The 2009 Annual Conference of the North American Chapter of the Association for Computational Linguistics, pp. 611-619.

Loshchilov, I. and Hutter, F. (2017). "Decoupled Weight Decay Regularization." arXiv preprint arXiv:1711.05101.

Mermer, C., Saraclar, M., and Sarikaya, R. (2013). "Improving Statistical Machine Translation using Bayesian Word Alignment and Gibbs Sampling." IEEE Transactions on Audio, Speech, and Language Processing, 21 (5), pp. 1090-1101.

Mochihashi, D., Yamada, T., and Ueda, N. (2009). "Bayesian Unsupervised Word Segmentation with Nested Pitman-Yor Language Modeling." In Proceedings of the Joint Conference of the 47th Annual Meeting of the ACL and the 4th International Joint Conference on Natural Language Processing of the AFNLP: Volume 1-Volume 1, pp. 100-108. Association for Computational Linguistics.

Nagata, M. (1994). "A Stochastic Japanese Morphological Analyzer using a Forward-DP Backward-A* N-best Search Algorithm." In Proceedings of the 15th conference on Computational linguistics-Volume 1, pp. 201-207. Association for Computational Linguistics.

Nguyen, T., Vogel, S., and Smith, N. A. (2010). "Nonparametric Word Segmentation for Machine Translation." In Proceedings of the 23rd International Conference on Computational Linguistics, pp. 815-823. Association for Computational Linguistics.

Peng, N. and Dredze, M. (2015). "Named Entity Recognition for Chinese Social Media with Jointly Trained Embeddings." In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 548-554.

Peng, N. and Dredze, M. (2016). "Improving Named Entity Recognition for Chinese Social Media with Word Segmentation Representation Learning." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 149-155.

Provilkov, I., Emelianenko, D., and Voita, E. (2019). "BPE-Dropout: Simple and Effective Subword Regularization." arXiv preprint arXiv:1910.13267.

Rakuten, Inc. (2014). "Rakuten Dataset." Informatics Research Data Repository, National Institute of informatics. (dataset). https://doi.org/10.32130/idr.2.0.

Sebastiani, F. (2002). "Machine Learning in Automated Text Categorization." ACM computing surveys (CSUR), 34 (1), pp. 1-47.

Sennrich, R., Haddow, B., and Birch, A. (2016). "Neural Machine Translation of Rare Words with Subword Units." In Proceedings of the 54th Annual Meeting of the Association for

Computational Linguistics (Volume 1: Long Papers), Vol. 1, pp. P1715-1725.

Tran, K. M., Bisk, Y., Vaswani, A., Marcu, D., and Knight, K. (2016). "Unsupervised Neural Hidden Markov Models." In Proceedings of the Workshop on Structured Prediction for NLP, pp. 63-71.

Viterbi, A. (1967). "Error Bounds for Convolutional Codes and an Asymptotically Optimum Decoding Algorithm." IEEE transactions on Information Theory, 13 (2), pp. 260-269.

Xiao, F., Li, J., Zhao, H., Wang, R., and Chen, K. (2019). "Lattice-based Transformer Encoder for Neural Machine Translation." arXiv preprint arXiv:1906.01282.

Xu, J., Gao, J., Toutanova, K., and Ney, H. (2008). "Bayesian Semi-supervised Chinese Word Segmentation for Statistical Machine Translation." In Proceedings of the 22nd International Conference on Computational Linguistics-Volume 1, pp. 1017-1024. Association for Computational Linguistics.

Xu, Y., Jones, G. J., Li, J., Wang, B., and Sun, C. (2007). "A Study on Mutual Informationbased Feature Selection for Text Categorization." Journal of Computational Information Systems, 3 (3), pp. 1007-1012.

Yang, J., Zhang, Y., and Dong, F. (2017). "Neural Word Segmentation with Rich Pretraining." In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 839-849.

Yang, J., Zhang, Y., and Liang, S. (2018). "Subword Encoding in Lattice LSTM for Chinese Word Segmentation." arXiv preprint arXiv:1810.12594.

Zhang, Y., Zhang, M., Zhang, Y., Lai, G., Liu, Y., Zhang, H., and Ma, S. (2015). "Daily-aware Personalized Recommendation Based on Feature-level Time Series Analysis." In Proceedings of the 24th International Conference on World Wide Web, pp. 1373-1383.

Zhang, Y. and Yang, J. (2018). "Chinese NER Using Lattice LSTM." In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1554-1564.

## 略歴

平岡達也：2017 年早稲田大学教育学部卒業. 2019 年奈良先端科学技術大学院大学情報科学研究科卒業, 修士 (工学). 同年 4 月より東京工業大学情報理工学院博士後期課程に在学中. 言語処理学会, ACL 各会員.

高瀬翔：2012 年東北大学工学部卒業. 2014 年東北大学大学院情報科学研究科博士前期課程修了. 2017 年東北大学大学院情報科学研究科博士後期課程修了.博士 (情報科学)。NTTコミュニケーション科学基礎研究所でのリサーチアソ

シエイト, 東京工業大学での研究員を経て, 2020 年 4 月より東京工業大学助教.自然言語処理の研究に従事. 言語処理学会, ACL 各会員.

内海慶：2006 年筑波大学大学院図書館情報学メディア研究科博士前期課程修了. 修士 (情報学). 同年 2013 年ヤフー株式会社にて自然言語処理の研究開発に従事. 2013 年株式会社デンソーアイティーラボラトリ入社. 2021 年現在, 同社在職中. 自然言語処理の研究に従事. 言語処理学会会員

欅惇志: 株式会社デンソーアイティーラボラトリアソシエイトリサーチャ. 博士 (工学). 2014 年奈良先端科学技術大学院大学情報科学研究科博士後期課程修了．2012 2014 年日本学術振興会特別研究員 (DC2). 2013 年マイクロソフト・リサーチアジアリサーチインターン． 2014～2019 年東京工業大学情報理工学院助教. 2016 2017 年シンガポール国立大学客員研究員. ACM, 電子情報通信学会, 日本データベース学会, 言語処理学会, 人工知能学会各会員.

岡崎直観: 2007 年東京大学大学院情報理工学系研究科博士課程修了. 東京大学大学院情報理工学系研究科 - 特任研究員, 東北大学大学院情報科学研究科准教授を経て, 2017 年 8 月より東京工業大学情報理工学院教授. 言語処理学会, 人工知能学会, 情報処理学会, ACL 各会員.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/