# 数値気象予報からの天気予報コメントの自動生成

村上聡一朗 $\dagger \cdot$ 田中 天 $\dagger \cdot$ 萩行 正嗣 ${ }^{+\dagger} \cdot$ 上垣外英剛 $\dagger \cdot$船越孝太郎 $\dagger \cdot$ 高村 大也嵃・奥村 学 $\dagger$

本研究では, 数値気象予報のシミュレーション結果から天気予報コメントを自動生成 するタスクに取り組む. 天気予報コメントの生成タスクには, (i) 様々な物理量の数値変化を考慮する必要がある, (ii) コメントの配信時刻や対象エリアに依存した表現が使 われる，(iii) 天気予報コメントにおいて情報の有用性が重要視されている，といった 特徴的な課題がある. 本研究では, 数値気象予報のシミュレーション結果, 気象観測値，コメントのメ夕情報を入力として，上記の特徴を捉えた上でテキスト化するため の Data-to-Text モデルを提案する。また，天気予報コメントにおける情報の有用性の 向上のために, 晴天や雨などの気象情報を表す「天気ラベル」を予測する内容選択モデ ルを導入し, 予測結果をテキスト生成時に考慮することで有用な情報を明示的に記述で きるようにした. 実験では, 自動評価と人手評価を行い，提案モデルはベースラインに 対して情報の有用性の観点で最も優れていることを示した.

キーワード：Data-to-Text, 自然言語生成, ニューラルネットワーク
## Generating Weather Comments from Numerical Weather Prediction

\author{
Soichiro Murakami ${ }^{\dagger}$, Sora Tanaka ${ }^{\dagger}$, Masatsugu Hangyo ${ }^{\dagger \dagger}$, Hidetaka \\ Kamigaito $^{\dagger}$, Kotaro Funakoshi ${ }^{\dagger}$, Hiroya Takamura ${ }^{\dagger, \dagger \dagger}$ and Manabu Okumura ${ }^{\dagger}$
}

This research investigates the task of generating weather-forecast comments from simulation results of numerical weather prediction. This task has the following requirements. (i) The changes in numerical values for various physical quantities must be considered; (ii) the weather comments should be dependent on delivery time and area information; and (iii) the comments should provide useful information for users. To meet these requirements, we propose a data-to-text model, incorporating three types of encoders for numerical forecast maps, observation data, and metadata. We also introduce weather labels representing weather information, such as sunny or rain, in our model to describe useful information explicitly. Furthermore, we conducted automatic and human evaluations. The results indicate that our model exhibits the best performance when compared with baseline models in terms of informativeness.

Key Words: Data-to-Text, Natural Language Generation, Neural Networks

## 1 はじめに

近年の天気予報は，ある時点の気象観測データと大気の状態に基づいて，風や気温などの時間変化 を数理モデルによりコンピュータで計算し，将来の大気の状態を予測する数値気象予報 (Numerical Weather Prediction; NWP) が主流となっている. ウェザーニュース1や Yahoo! 天気 ${ }^{2}$ の天気予報サ イトでは，数値気象予報に基づき作成された天気図や表デー夕と共に，気象情報をユーザーに分か りやすく伝えるための天気予報コメントが配信されている。これらの天気予報コメントは，数值気象予報や過去の気象観測デー夕，専門知識に基づいて気象の専門家により記述されている。また，天気予報サイトでは，特定のエリアや施設周辺に限定して天気予報を伝えるピンポイント天気予報 が一般的になっている。一方で，全国の天気予報コメントを作成するのは手間がかかる上に，専門的な知識を要するため作業コストが高い。そのため, 自然言語生成の分野では，天気予報コメント の自動生成タスクについて長年取り組まれている (Goldberg et al. 1994; Belz 2007).

本論文では，数值気象予報のシミュレーション結果から天気予報コメントを生成する夕スクに取 り組む。これまで取り組まれてきた天気予報コメント生成の研究では，数值気象予報のシミュレー ション結果から気象の専門家の知識と経験に基づき作成した構造化データを用いた研究が中心で あったが (Reiter et al. 2005; Sripada et al. 2004; Liang et al. 2009), 本研究では, 数値気象予報 の生のシミュレーション結果を用いる。これは, 気象の専門家が数値気象予報から天気予報コメン トを記述する実際のシナリオに近い設定であり，天気予報コメントの作成作業の自動化においても 有用であると考える.

ここで, 図 1 を用いて, 天気予報コメントの生成における特徴的な 3 つの問題について説明する.

まず，第一の問題は，コメントを記述する際に降水量や海面更正気圧等の複数の物理量とそれ ぞれの時間変化を考慮しなければならないことである. 例えば，図 1 では，降水量や雲量といった 複数の物理量の時間変化に応じて, 日差しが出た後に雲が広がり雨が降ることについて言及されて いる．次に，第二の問題は，天気予報コメントは，対象となる地域やコメントの配信時刻, 日付と いったメ夕情報に基づいて記述されることである。例えば，午前中に配信される天気予報コメント では，図1のように，配信日当日の日中から夕方にかけた天気に言及することが多く，夕方以降に 配信される天気予報コメントでは，配信日当日の夜から翌日の日中の天気に言及する傾向がある.最後に, 第三の問題は, 天気予報サイトのユーザーは天気予報コメントの情報の有用性（以降では,情報性と呼称する）を重要視している点である。特に，「晴れ」「雨」「曇り」「雪」といった気象情

配信日時: 4 月 6 日 午前 $5: 51$, 東京

今日は日差しが届く時間がありますが、雲が広がりや すくて夕方以降は雨が段々と降り出します。外出時に 雨が降っていなくても傘を持ってお出かけ下さい。

図 1 数値気象予報のシミュレーション結果と天気予報コメントの例

報は，ユーザーの服装や予定に大きな影響を与えることから明示的に記載する必要がある. 例えば，図 1 では, 降水量, 雲量, 気圧など, 記述すべき内容はいくつか考えられるが, 雨や傘の情報はユー ザーの行動に大きな影響を与えるため，主に雨や傘の情報に焦点を当てている.

これらの問題に対して, 本研究では数値気象予報のシミュレーション結果から天気予報コメン トを生成するための Data-to-Text モデルを提案する，第一の問題に対しては，多層パーセプト ロン (Multi-Layer Perceptron; MLP) や畳み込みニューラルネットワーク (Convolutional Neural Network; CNN) を用いて様々な物理量を捉え，それらの時間変化を双方向リカレントニューラル ネットワーク (Bidirectional Recurrent Neural Network; Bi-RNN) を用いて考慮する. 第二の問題 については，エリア情報やコメントの配信時刻，日付などのメ夕情報を生成モデルへ取り入れるこ とでこれらの情報を考慮する，第三の問題について，本研究では「晴れ」「雨」「㫫り」「雪」に関 する気象情報をユーザーにとって重要な情報と定義し, これらを適切に言及するための機構を提案 する。具体的には，言及すべき重要な情報を明示的に記述するために，数値気象予報のシミュレー ション結果から「晴れ」「雨」「量り」「雪」の気象情報を表す「天気ラベル」を予測する内容選択モ デルを導入し，予測結果をテキスト生成時に考慮することで，生成テキストの情報性の向上に取り 組む。

実験では，数値気象予報のシミュレーション結果，気象観測データ，および，人手で書かれた天気予報コメントを用いて提案手法の評価を行った。自動評価では，人手で書かれた天気予報コメン トと生成テキストの単語の一致度合いを評価するための BLEU および ROUGE，また，生成テキス

トにおいて天気ラベルが正確に反映されているかを評価するための $\mathrm{F}$ 值を使用し，提案手法がベー スライン手法に比べて性能が改善することを確認した. さらに，人手評価では，提案手法はべース ライン手法と比較して, 天気予報コメントの情報性が向上していることが示された.

## 2 関連研究

時系列数値データや構造化データといった非言語データを人間にとって分かりやすく説明するた めに，様々なドメインにおいて Data-to-Text タスクの研究が取り組まれている。例えば，バスケッ トボールの試合における選手のスタッツやボックススコアからなる表データから試合要約テキスト を生成する研究 (Wiseman et al. 2017; Puduppully et al. 2019), 日経平均株価からなる時系列数值データから株価の概況テキストを生成する研究 (Murakami et al. 2017; Aoki et al. 2018, 2019), レストランの概要を表すメタ情報から説明テキストを生成する研究 (Novikova et al. 2017) などが 行われている。本研究で取り組む気象シミュレーションからの天気予報コメントの生成タスクは, Data-to-Text タスク (Gatt and Krahmer 2018)の一種である.

一般的に Data-to-Text タスクは，（i ）入力データの中で言及すべき内容を選択する内容選択 (content selection), ( ii ) 選択した内容をどのように言及するかを表す内容プラン (content plan)を 作成するための内容プランニング (content planning), (iii) 実際のテキストを生成する表層化 (surface realization)の３つのサブタスクにより構成される (Gatt and Krahmer 2018). 従来, これらのサ ブタスクは，知識や経験に基づくルールベース (Kukich 1983; Reiter and Dale 1997; Reiter et al. 2005) や過去のデータから各サブタスクの規則を獲得する機械学習ベース (Duboue and McKeown 2001, 2003; Barzilay and Lapata 2005)などの手法により，それぞれ個々に取り組まれてきた。一方, 近年では, 情報通信分野の発展によりウェブから大規模デー夕の収集が容易になったことで, 入力 データと出力テキストのぺアから機械学習によりテキスト生成規則を自動的に獲得する End-to-End な手法が広く用いられている (Liu et al. 2018; Iso et al. 2019). 特に最近では, 機械翻訳分野で 提案されたニューラルネットワークに基づくエンコーダ・デコーダモデル (Bahdanau et al. 2015; Sutskever et al. 2014; Cho et al. 2014) を用いた手法に注目が集まっており，様々な Data-to-Text タスクにおいて有用性が報告されている (Sha et al. 2018; Mei et al. 2016; Lebret et al. 2016). 本研究では, 近年取り組まれているこれらの研究と同様に, 天気予報コメント生成タスクを数値気象予報のシミュレーション結果から天気予報コメントを生成する系列生成タスクとして考え, エン コーダ・デコーダを用いた手法を提案する.

天気予報コメントは，一般的なユーザー向けの天気予報コメントと専門的な天気予報コメントの 2 種類に大別できる. 一般的なユーザー向けの天気予報コメントとは, ウェザーニュースや Yahoo!天気といった天気予報サイトで配信されている一般ユーザー向けの天気予報コメントのことを表す. また, 専門的な天気予報コメントとは, 海運や農業, 航空業界といった特定の業界向けの専門的な
天気予報コメントのことである，そのため，天気予報コメントは，対象とするユーザーや業種によっ て書かれる内容は様々である。例えば，一般的なユーザー向けの地域の天気予報コメントの生成の 研究 (Kerpedjiev 1992; Liang et al. 2009) では, 雲の量や雨の時間帯, 風の強さ, 気温といった幅広い観点について言及する天気予報コメントの生成を対象としている。一方，海運や海洋石油施設 を対象とした海上の天気予報コメントの生成の研究 (Kittredge et al. 1986; Reiter et al. 2005) で は，海上の風の強さや波の高さを中心に言及するコメントの生成を対象としている。本研究では, ウェザーニュースや Yahoo!天気などの天気予報サイトで配信されている一般的なユーザー向けの 天気予報コメントの生成を対象としている.

天気予報コメントの自動生成タスクは，Data-to-Text の分野において長年取り組まれている課題 の 1 つである (Belz 2007; Angeli et al. 2010; Mei et al. 2016). これまでの研究において，天気予報コメント生成タスクを対象としたデータセットである, 図 2 の SUMTIME-METEO (Sripada et al. 2003) や図 3 の WEATHERGov(Liang et al. 2009) といったデータセットが公開され，様々な 研究で広く用いられている。これらのデータセットは，数值気象予報のシミュレーション結果を専門家の知識・経験に基づき修正した表やデータベース形式の構造化データと天気予報コメントのテ キストデータから構成されている。SUMTIME-METEO は, SUMTIME と呼ばれる時系列デー 夕の概況テキストの生成技術に関する研究プロジェクト (Sripada et al. 2002)において作成された

気象データ:

天気予報コメント:

図 2 SUMTIME-METEO の例
気象データ:

skyCover $($ date $=2009-02-07$, label $=$ Tonight, time $=17-30$, mode $=50-75)$

temperature $($ date $=2009-02-07$, label $=$ Tonight, time $=17-30, \min =-6$, mean $=-1, \max =8$ )

windDir $($ date $=2009-02-07$, label $=$ Tonight , time $=17-30$, mode $=\mathrm{S})$

windSpeed (date $=2009-02-07$, label $=$ Tonight, time $=17-30, \min =2$, mean $=3, \max =5$, mode $=0-10$ )

天気予報コメント:

"Mostly cloudy, with a low around -6. South wind around 5 mph becoming calm."

## 図 3 WEATHERGOV の例

北海における海洋石油施設向けの海洋気象を対象としたデータセットである ${ }^{3}$. 本データの特徴とし て，図 2 のように，海上の風や波の高さに関する時系列データと風や波などのそれぞれの物理量に 対する人手で書かれた短文テキストから構成されていることが挙げられる。また，WEATHERGOV は，米国の都市を対象とした天気予報配信サイト Weather.gov ${ }^{4}$ から収集されたデータセットであ る. 本デー夕の特徴としては, 図 3 のように, 気温や風向き，雲量等に関するデータベース形式の 構造化データとそれらの物理量全体について概況する天気予報コメントから構成されていることが 挙げられる。また，WEATHERGOVの天気予報コメントの多くは，ルールベースに基づくシステ ムにより自動生成されたテキストやそれらを人手で修正したテキストであることから，一般的な天気予報サイトにおける天気予報コメントと比べて単調な文章であることが知られている (Wiseman et al. 2017).

本研究では，これまでの天気予報コメント生成に関する研究で扱われてきたSUMTIME-METEO やWEATHERGOV といった構造化データではなく, 数値気象予報のシミュレーション結果, および,雨量, 日照時間等の気象観測値といった時系列数値データを入力として考える。これは，気象の専門家が天気予報コメントを記述する際にこれらの時系列数値データを参照するという実際のシナリ オを模したタスク設定となっている。このように，数値気象予報のシミュレーション結果や気象観測値等の生データを入力として考えることで，天気予報コメントの自動生成タスクにおいて次の 2 つの利点があると考えられる。まず， 1 つ目に，気象の専門家が参照する数値気象予報のシミュレー ション結果や気象観測値等の生データは情報量が多く, SUMTIME-METEO や WEATHERGOV のようにデータを構造化することで情報量が落ちることが懸念されるが, 生データを用いることで,含まれる情報を全て活用することが可能となる．2つ目に，数值気象予報のシミュレーション結果 から人手またはシステムを介して事前に構造化データを作成するという手間がないため，天気予報
^{4}$ https://www.weather.gov/
}

コメントの作成作業の自動化やシステム構成の簡易化の観点から有用である。これは, 我々がテレ ビや新聞で目にする一般的な天気予報の情報（例えば，量り時々雨）においても同様である。一般的 な天気予報の情報の一部は, 気象庁の予報官や気象会社の気象予報士といった専門家が数値気象予報の結果や観測値等に基づいて作成しているため，これらをシステムの入力として前提した場合，人手を介した作業が必要となり，天気予報コメントの作成作業の自動化において障壁になることが 懸念される. そのため, 本研究では, 一般的な天気予報の情報や構造化データを入力として使用し ていない5.

一方で, 本研究で扱う気象デー夕は, これまでの研究で扱われてきた構造化データと形式が大きく 異なることから, 従来研究で提案されてきた構造化データからテキスト生成するための Table-to-Text 技術 (Mei et al. 2016; Wiseman et al. 2017; Ma et al. 2019) を時系列数値データへ直接的に適用 することが難しい場合がある。加えて，Data-to-Text 生成の分野全体においても，時系列数値デー 夕からのテキスト生成に関する取り組みは限られている (Gatt and Krahmer 2018)。したがって,本タスクの第一の問題として挙げた複数の物理量からなる時系列数値データを捉えてテキスト化す るためのエンコード/デコード手法の考案・検証が求められる.

また, Data-to-Text 生成の分野において, 本研究で取り組む第二および第三の問題に関連する 研究はいくつか取り組まれている (Li et al. 2016; Murakami et al. 2017; Puduppully et al. 2019; Wang et al. 2020; Ma et al. 2019; Lebret et al. 2016). 例えば，第二の問題として挙げた，テキス トの配信時刻や日付, エリア等のメ夕情報に基づきテキストが書かれる特徴については, 時系列株価データの市況コメントを生成する Data-to-Text 生成課題において，テキストのメ夕情報（時間帯情報）を表す埋め込みべクトルをデコーダに組み込むことでメ夕情報を捉えた単語列を生成でき ることが報告されている (Murakami et al. 2017). この研究は, Li et al. (2016) が行ったエンコー ダ・デコーダモデルを用いた対話システムの研究で，デコーダにペルソナ情報を与えることで，指定したペルソナの特徴を捉えた単語列が生成が可能になるという報告に基づいた取り組みとなって いる. 本研究では, これらの研究に倣い, テキストの配信時刻や日時, エリア等のメ夕情報を表す埋 め込みべクトルをモデルへ組み込むことで，メ夕情報を捉えた天気予報コメントの生成に取り組む。

第三の問題として挙げた, ユーザーにとって天気予報コメントの情報性は重要であるという特徴は,配信テキストの信憑性やユーザー満足度などの観点から，本研究で取り組む天気予報コメント生成 に限らず Data-to-Text 生成の分野全体において極めて重要な課題である。そのため, Data-to-Text 生成の分野において, 入力データの事実に基づく正確なテキスト生成に関する研究が注目されてい る. 特に, 近年のエンコーダ・デコーダモデルに基づくテキスト生成モデルでは, 内容選択や内容プ ランニングを明示的に行う外部機構を導入することでテキストの情報性向上に取り組む動きが盛ん

になっており，有用性が報告されている (Puduppully et al. 2019; Wang et al. 2020; Ma et al. 2019; Lebret et al. 2016). 例えば, Table-to-Text タスクの研究では, 表データに含まれる固有名詞や数詞等を正確に記述するためにコピー機構 (Luong et al. 2015) を導入する手法 (Lebret et al. 2016) や, 表データの中で言及すべき内容を予測し, 明示的に生成モデルに組み込む手法 (Ma et al. 2019),表データの中から言及すべきエンティティや数字の情報抽出し，これらを基に作成した内容プラン を生成モデルへ導入することで正確かつ一貫性のあるテキストを生成する手法 (Puduppully et al. 2019) などが提案されている。しかしながら，これらの手法では，表から単語をコピーするための コピー機構や表から言及すべき内容を予測する分類器や情報抽出システムのように, Table-to-Text タスク特有の外部機構が必要となる。また，これらの分類器や情報抽出システムを学習するために は，表データとテキストの単語一致に基づいて教師データを事前に作成する必要がある (Wiseman et al. 2017)，そのため, 本研究で取り組む時系列数值データからのテキスト生成タスクでは, これ らの研究と入力データの性質が大きく異なるため, Table-to-Text タスク特有の外部機構の導入が 困難となる。このような状況を踏まえ，本研究では，入力データを参照せずにテキスト側から言及 すべき内容を抽出することにより，内容選択を明示的に行う分類器のための教師データを作成する。 これにより，外部機構として内容選択を行う分類器の学習が可能となった．なお，以降では，外部機構として内容選択を行う分類器のことを内容選択モデルと呼称する.

## 3 気象データの概要

天気予報コメントは, 気象の専門家が数値気象予報や過去の気象観測データ, 気象の専門知識を 基に記述している. これに従い，本研究では数值気象予報のシミュレーション結果である数値予報 マップと気象観測データを使用した. 本章では, これらの詳細について解説する.

## 3.1 数値予報マップ

数値予報マップとは，数値気象予報モデルを大規模コンピュータで三次元シミュレーションした 結果から，地表部分を取り出した二次元面データである．本研究では，数値気象予報モデルの一種 である全球数値予報モデル (Global Spectral Model; GSM) を用いて計算された日本周辺の数值予報マップを使用する．表 1 に本研究で使用する日本周辺の数値予報マップの概要を示す. 数値予報 マップは，気圧や気温，風向きなどの各物理量の 1 時間ごとの予測数値が 84 時間先まで格納され た時系列数値データである。気象庁が作成している日本周辺の数値予報マップには, 北緯 20 度か ら 50 度, 東経 120 度から 150 度の範囲で $20 \mathrm{~km}$ ごとに格子点が設定されており, 合計 $151 \times 121$ の 格子点から構成されている。また, 各格子点には各物理量の予測数値が格納されている。例えば,気圧の場合は $1021.01 \mathrm{hPa}$ ，気温の場合は $258.52 \mathrm{~K}$ 等の数値が含まれている.

図 4 に降水量, 海面更正気圧, 気温, 中層雲量を日本周辺の地図上に可視化した数値予報マップ

表 1 数值予報マップの概要

図 4 数値予報マップの例

の例を示す. 今回使用した数値予報マップでは, 数値気象予報のシミュレーションの起点となる時刻の 0 時間後（直後）から 84 時間後までの各物理量の予測数値が含まれているが，図 1 では 0 時間後から 12 時間後, 24 時間後の予測数値を可視化している。また, 可視化した数値予報マップ上 の色の濃淡は予測数値の大きさを表している. 例えば，中層雲量の色が濃い箇所は雲量が多いこと を表し，色が薄い箇所は雲量が少ないことを表している。

## 3.2 気象観測データ

気象観測データとして, 気象庁の地域気象観測システム ${ }^{6}$ (automated meteorological data acquisition system; AMeDAS) から収集された観測値を使用した。AMeDAS は，全国の約 1,300 地点 に設置されており，10 分毎の降水量，気温，風，日照時間を計測している。図 5 に所沢」エリ アの AMeDAS による 10 分毎の観測値データの例を示す. 図 5(a) および図 5(b) はそれぞれ 2014 年 6 月 7 日, 2014 年 12 月 2 日 の午前 9 時から翌午前 8 時 50 分に観測された 10 分毎の降水量 (precipitation), 気温(temperature), 風 (wind speed), 日照時間 (sunshine duration)である。こ
^{6}$ https://www.jma.go.jp/jp/amedas/
}

時刻

(a) 2014 年 6 月 7 日午前 9 時から翌午前 8 時 50 分

(b) 2014 年 12 月 2 日午前 9 時から翌午前 8 時 50 分

図 5 「所沢」エリアにおける 10 分毎の観測値の例

こで，降水量は 10 分間における雨量 $(\mathrm{mm})$, 日照時間は 10 分間における日照時間（分）を表して いる.

## 4 提案手法

近年, Data-to-Text タスク (Mei et al. 2016; Lebret et al. 2016) や動画キャプション生成 (Yao et al. 2015; Long et al. 2018) などのさまざまな系列生成タスクにおいて，機械翻訳分野で注目され ているニューラルネットワークに基づくエンコーダ・デコーダモデル (Sutskever et al. 2014; Cho et al. 2014) を用いた研究が提案され，有用性が示されている。本研究では, 天気予報コメントの生成を, 数值予報マップからなる時系列データから単語系列を生成する系列生成タスクとして考え,注意機構付きのエンコーダ・デコーダモデル (Bahdanau et al. 2015) を用いた手法を提案する.

図 6 に提案モデルの概要を示す. 提案モデルでは, 数値予報マップからなる時系列デー夕 $\boldsymbol{g}=$ $\left(g_{i}\right)_{i=1}^{|\boldsymbol{g}|}$, 降水量や気温などの過去の観測データ $\boldsymbol{a}=\left.\{a_{i}\right.\}_{i=1}^{|\boldsymbol{a}|}$, 配信日時や対象エリア等のコメント に関するメ夕情報 $\boldsymbol{m}=\left.\{m_{i}\right.\}_{i=1}^{|\boldsymbol{m}|}$ の 3 種類のデータを入力とし, 天気予報コメント $\boldsymbol{w}=\left(w_{i}\right)_{i=1}^{|\boldsymbol{w}|}$ 扮 よび言及すべき重要な情報を表す天気ラベル $\boldsymbol{l}=\left.\{\left.l_{i}\right|_{i=1} ^{|\boldsymbol{l}|}\right.$ を出力とする. ここで， 入力デー夕の $g_{i}$, $a_{i}, m_{i}$ は，数値予報マップ，降水量や日照時間等の観測データを表す数値ベクトル，エリア名や配信日時等のメ夕情報を表す埋め込みべクトルをそれぞれ表す. また, 出力データの $w_{i}$ および $l_{i}$ は,生成テキストにおける単語および天気ラベルを表している.

数値予報マップからなる時系列データのエンコーダとして，数值予報マップに含まれる気圧や雲量といった様々な物理量から特徴を抽出するために MLP また CNN を使用し，Bi-RNNにより時系列情報を考慮する。気象観測データおよびメ夕情報のエンコーダには，MLP を使用する．また，入力データから言及すべき重要な情報を選定する内容選択モデルとして, エンコーダの出力状態べ

図 6 提案モデルの概要

クトルを入力とする MLP を使用する。天気予報コメントのための単語生成デコーダとして，機械翻訳や文書要約等の系列生成タスクで広く用いられている RNNLM (Mikolov et al. 2010)を使用 する。以降では，提案モデルの詳細について説明する。

## 4.1 エリアごとの数値予報マップの抽出

天気予報コメントの作成において，コメント作成者は日本周辺全体の数値予報マップを参照する が，各エリアごとのコメントを記述する際には，主に対象エリア周辺の気象情報に着目して記述す ることが一般的である. そこで本研究では, 各エリアの天気予報コメントは対象エリア周辺の数值気象予報に深く関係しているという仮定のもと， $151 \times 121$ の格子点からなる日本周辺全体の数値予報マップから，緯度・経度の位置情報を基に対象エリアを中心とする $5 \times 5$ のマップを抽出し，各エ リアの気象情報として利用する。抽出した各エリアの数値予報マップは，対象エリアを中心とした 10,000 平方 $\mathrm{km}$ のマップとなる.

ここで，図 7 に東京を対象エリアとし，日本全体の数値予報マップからエリア周辺の数値予報 マップを抽出した例を示す. 図 7 の例は, 降水量 (Prec.), 海面更正気圧 (Pres.), 気温 (Temp.),総雲量 (Clo), 上層雲量 (h-Clo), 低層雲量 (l-Clo.), 中層雲量 (m-Clo.), 相対湿度 (Hum.), 東西風 (x-win.), 南北風 (y-win.) の 10 種類の物理量について, 24 時間先まで 3 時間ごとの計 9 タイム ステップからなる数値予報マップを表している，数値予報マップに含まれる各物理量の予測値は, 1 年間の各物理量の予測値の平均および標準偏差を用いて標準化している。また，各物理量の色の 濃淡は, 予測値の大きさを表している。 すなわち, 図 7 の 21-24 時間後（タイムステップ 7 から 8) の降水量 (Prec.) の色の濃さは， 降水量の予測値が高いことを示している.

図 7 日本全体の数値予報マップから抽出した東京エリア周辺の数値予報マップ

## 4.2 数値予報マップのエンコード手法

本研究では，天気予報コメント生成タスクを，図 7 に示す時系列の二次元面データである数値予報マップから単語系列を生成する系列生成タスクとして考える。これは, 時系列の二次元画像デー 夕からなる動画の説明テキスト（キャプション）を生成する動画キャプション生成タスクと類似し たタスクとして考えることができる，そこで，本研究では，動画キャプション生成タスクにおいて 一般的な CNN または MLP を数値予報マップのエンコーダとして採用し，それらの有用性を比較検証する。

## 4.2.1CNN を用いたエンコード手法

画像認識や動画キャプション生成タスクでは，入力の動画像の特徴を抽出する手法として CNN が広く使われている. 本研究でも同様に，エリア毎の数値予報マップから数値の特徴や物理量間の 関係を獲得するために CNN を用いて特徵抽出を行う．また，画像の場合，CNNでは画像の RGB 情報から特徴を抽出するために入力チャネルとして 3 チャネル (Red, Green, Blue) を使用してい るが, 本研究の場合は, 数値予報マップに含まれる 10 種類の物理量を考慮するために 10 チャネル を用いて特徴抽出を行う。

## 4.2.2MLP を用いたエンコード手法

画像認識や動画キャプション生成では, 位置不変性の観点から CNN を用いて特徴抽出を行うこ とが一般的である.しかし, 本研究の場合，エリアごとに抽出した数値予報マップを入力としてお り，着目しているエリアは常にその中心に位置しているため，マップ上の位置をそのまま考慮した

モデルの方が適している可能性が考えられる。そのため本研究では, CNN の代替として MLP を用 いた特徴べクトルの抽出方法についても検証する。具体的には， 10 種類の物理量ごとに $5 \times 5$ の予測値を入力するために $10 \times 5 \times 5$ 個のユニットの入力層を持つ MLP を用いて特徴抽出を行う.

## 4.2.3数値予報マップにおける時系列情報の考慮

複数の物理量からなる数値予報マップの時系列的な変化を捉えて天気予報コメントとしてテキス ト化するために，前述の CNN または MLP によりエンコードされた数値予報マップを Bi-RNNへ 入力する，具体的には，まず，前述の CNN または MLP を用いたエンコード手法により，各タイ ムステップ $i$ の数值予報マップ $g_{i}$ から 特徴ベクトル $h_{i}^{g}$ を取得する. 次に，数值予報マップにお ける時系列情報を考慮するために，各タイムステップの特徴ベクトルを Bi-RNN によりエンコー ドし, それぞれの出力ベクトル $h_{i}^{g}$ を獲得する。最後に, 時系列デー夕全体の変化を捉えるために, Bi-RNN の出力ベクトルの先頭と末尾を下記の式のように結合し, $h^{g}$ を獲得する:

$
h^{g}=\left[h_{1}^{g} ; h_{|\boldsymbol{g}|}^{g}\right],
$

ここで, [;] はべクトルの連結演算子を表す.

## 4.3 気象観測データの導入

天気予報コメントは，数値気象予報と過去の気象観測デー夕を基に記述されることから，本研究 では AMeDASにより収集された気象観測データも入力として使用する，具体的には，まず，降水量や日照時間などの過去 24 時間の時系列の観測値からなる数値べクトル $a_{i}$ をそれぞれ MLP によ りエンコードし, 特徴ベクトル $h_{i}^{a}$ を取得する，次に，各観測データに関する特徴ベクトルを下記 の式のように結合し, $h^{a}$ を獲得する：

$
h^{a}=\left[h_{1}^{a} ; h_{2}^{a} ; \cdots ; h_{|\boldsymbol{a}|}^{a}\right] .
$

## 4.4 メタ情報の導入

気象の専門家が天気予報コメントを記述する際には，コメントが書かれる時間帯の情報やエリア 特有の情報を考慮して記述することが一般的である．例えば，午前中または午後に配信される天気予報コメントでは，以下の天気予報コメント (a)，（b)のように配信時刻に依存する表現が使われる。

(a) 今日（土）は日差しが届いても、気温は低空飛行で身体の芯まで凍える寒さ。

（b）明日は雲の間から時々日差しが届きます。

また，天気予報コメントの対象エリアとして，例えば東京都の場合は，「新宿，世田谷，八王子，町田，お台場，大島，三宅島」などの複数エリアに分けられており，それぞれのエリアの特徴（例

えば，海辺，山間部）が反映されたコメントが配信されている。具体的には，海辺が近いエリアに 対しては，以下の天気予報コメント (c)のように，エリアに依存する表現が用いられる.

(c) 波も穏やかでマリンレジャーも楽しめそうです。

そこで本研究では，このような表現を生成するために，配信日時（月，日，曜日，時刻）や対象工 リア名（新宿，横浜，石垣島等）といった天気予報コメントのメ夕情報を導入する．具体的には， まず，配信日時やエリア名から作成した単語埋め込みべクトルを作成する。次に，それらの埋め込 みべクトルを MLPによりエンコードすることで各メ夕情報の特徵べクトル $h_{i}^{m}$ を獲得する．最後 に，全てのメ夕情報 $\boldsymbol{m}$ を捉えた出力べクトル $h^{m}$ を下記の式のように作成する：

$
h^{m}=\left[h_{1}^{m} ; h_{2}^{m} ; \cdots ; h_{|\boldsymbol{m}|}^{m}\right] .
$

これまで説明した以上が提案モデルの入力データである数値予報マップ, 気象観測データ，メ夕情報のエンコード手法である。これらの手法で獲得した各特徵ベクトル $h^{g}, h^{a}, h^{m}$ から, 下記の 式に基づき内容選択モデルおよび単語生成デコーダの初期状態を設定する：

$
s_{0}=\operatorname{ReLU}\left(M L P\left(\left[h^{g} ; h^{a} ; h^{m}\right]\right)\right) .
$

## 4.5 内容選択モデルによる天気ラベルの予測

天気予報コメントでは，天気予報コメントの情報性とその正確さが重要な要素となる．しかし，機械翻訳や文書要約等でも広く使われているニューラルネットワークに基づく生成モデルは, 入力 データや出力単語系列における長期的な依存関係を捉えることに課題があり，入力デー夕に含まれ る重要な情報を失うといった問題があることが知られている。例えば，ニューラルネットワークを 用いた機械翻訳モデルでは, 原文に含まれている内容が訳文で抜けている訳抜けという課題が広く 知られている (Tu et al. 2016). このような課題は, ニューラルネットワークに基づくテキスト生成システムを実世界へ適用する上での障壁となるため, 解決が求められる.このような課題に対し て Data-to-Text タスクの分野では, 生成テキストの情報性を向上させることを目的に, 生成テキス トの内容を表す明示的なラベルを導入する手法 (Aoki et al. 2019) や表データに含まれる事実・内容そのものを予測しテキスト生成に導入する手法 (Ma et al. 2019; Puduppully et al. 2019), 入力 データと生成テキストに含まれる情報の類似性に関する損失関数を用いる手法 (Wang et al. 2020) などが提案されており，それらの有用性が示されている。

本研究では, これら近年の生成テキストの情報性向上に着目した研究から着想を得て, 生成モデ ルが入力データから言及すべき重要な情報を選定するための外部的な機構を導入し, 生成テキスト における情報性の向上に取り組む。具体的には, Ma et al. (2019) や Puduppully et al. (2019) らの 手法のように，入力デー夕において言及すべき内容を予測する内容選択モデルを導入し，それらの
予測結果を明示的に生成モデルへ導入する手法を提案する。これにより，内容選択モデルは生成モ デルが重要な情報を言及するための補助的な外部機構として作用し，情報性の高いテキストが生成 できるようになることを期待する。しかし，入力データの言及すべき内容を予測する内容選択モデ ルを構築するためには，入力データの言及すべき内容を表す教師データが必要となる。そのため, Ma et al. (2019) や Puduppully et al. (2019) らが取り組む Table-to-Text タスクの場合，表データ と参照テキストにおける表層的な単語の一致に基づいて言及すべき内容を表す教師データを作成し ている (Wiseman et al. 2017)。一方, 本研究で取り組む数値気象予報からの天気予報コメント生成タスクのように，入力データが数値データとなる場合，入力データとテキストの単語一致による 手法の適用が困難なため, 入力と出力テキストの単語一致に依存しない教師データ作成方法が求め られる。そこで本研究では，入力データに依存せずに出力テキスト側から言及すべき内容を抽出す ることにより，内容選択モデルのための教師データを作成する.

以降では, 内容選択モデルの教師データの作成方法, 内容選択モデルの学習および推論方法につ いて説明する。

## 4.5.1 内容選択モデルの教師データの作成

天気予報コメントを参照するユーザーは，主に晴れや雨などの気象情報に高い関心を持っている ことがほとんどである。そこで，このような気象情報を天気コメントの「天気ラベル」と定義し，「晴れ」,「雨」,「曇り」，「雪」の 4 種類の天気ラべルを導入する。本研究では，言及すべき重要な 情報であるこれらの天気ラベルを内容選択モデルにより予測し，テキスト生成時に天気ラベルの予測結果を考慮することで情報性の向上を試みる。

本研究では，内容選択モデルの教師デー夕を作成するために，表 2 に定義した各天気ラベルの手 がかり語に基づいて天気予報コメントから天気ラベルを抽出する7 . 具体的には，天気コメントに手 がかり語のいずれかが含まれる場合，その天気予報コメントでは該当する気象情報を言及している とみなし，天気ラベルを紐付ける，例えば，以下の天気コメント (d) には，手がかり語である「日

表 2 天気ラベルと対応する手がかり語

差し」,「雲」,「雨」,「傘」が含まれているため,「晴れ」,「曇り」,「雨」の 3 つの天気ラベルが紐付 けられる。

（d）今日は日差しが届く時間がありますが、雲が広がりやすくて夕方以降は雨が段々と降り出 します。外出時に雨が降っていなくても傘を持ってお出かけ下さい。

手がかり語に基づいて内容選択モデルの学習デー夕を作成するための本手法は簡易的ではあるも のの，本研究で取り組む天気予報コメントの生成タスクにおいて，次の 2 点の利点があると考えら れる。まず， 1 点目として，数値予報マップのような時系列数値データと天気予報コメントを人手 やルール等により明示的に紐付けることは困難であるが，本手法では天気予報コメントのみを参照 するため，人手やルールによる天気ラベルを対応付けすることができる． 2 点目として，数値予報 マップにおいて言及すべき内容をアノテーションするためには，気象の専門知識が必要となるが,本手法の場合はテキストのみを参照するため, 専門知識がない場合でも比較的容易に重要な情報を 判定できるという点である. 一方，手がかり語に基づくラベル付けは単語レベルで判定しているた め, 本来テキストで言及されている意図とは異なるといった正確性に関して懸念が生じる. そこで, ランダムにサンプリングされた 100 件の天気予報コメントに対して上記の方法で天気ラベルの付与 を行い，5人の評価者により正確性を評価した。その結果，全体の $96 \%$ の天気ラベルが適切である と判定されたことから，ほとんどの事例で正確性に問題がないことが分かった.

## 4.5.2 内容選択モデルの学習および推論方法

次に，上記の方法で作成した教師データを用いて内容選択モデルを学習する方法について説明す る. 内容選択モデルは, 数値予報マップ, 気象観測データ, メタ情報 $(\boldsymbol{g}, \boldsymbol{a}, \boldsymbol{m})$ をエンコードし た結果を受け取り, 各天気ラベル $\left(l_{\text {sunny }}\right.$ 等 $)$ を予測する二値分類器である. 内容選択モデルは,各天気ラベルごとに言及するべきか否か判定する。 内容選択モデルの学習時には，学習デー夕の天気予報コメントから抽出した天気ラベルを用いて，各天気ラベルに対する内容選択モデルを学習す る. 推論時には， 3 種類の入力データ $(\boldsymbol{g}, \boldsymbol{a}, \boldsymbol{m})$ から各天気ラベル $\left(l_{\text {sunny }}\right.$ 等）を予測する。ま た，生成テキストの情報性の向上を目的として，天気予報コメントの生成時には，テキストで言及 すべき内容を表す内容選択モデルの予測結果を単語生成デコーダへ導入する.

## 4.6 天気予報コメントの生成

天気予報コメントの生成に使用する単語生成デコーダとして, 機械翻訳や文書要約等の系列生成夕ス クで広く用いられている RNNLM を使用する. RNNとして, Gated Recurrent Unit (GRU)(Chung et al. 2014) を用いる. また, 単語生成デコーダには, 図 6 のように, 一般的に用いられる入力デー 夕に対する注意機構 (Wiseman et al. 2017; Chen et al. 2019)（図中では省略）だけでなく，内容選択モデルが予測した天気ラベルに対する注意機構を備える。これにより，テキスト生成において
重要な情報を明示的に記述するために導入する天気ラベルを考慮することが期待できる.

単語生成デコーダでは，夕イムステップ $t$ における単語 $w_{t}$ の生成確率は, 下記の式により計算 される：

$
\begin{gathered}
p\left(w_{t} \mid w_{<t}, \boldsymbol{g}, \boldsymbol{a}, \boldsymbol{m}, \boldsymbol{l}\right)=\operatorname{softmax}_{w_{t}}\left(W_{s} s_{t}^{w}\right) \\
s_{t}^{w}=G R U\left(w_{t-1}, s_{t-1}^{w}, c_{t}\right) .
\end{gathered}
$

ここで $, w_{t-1}, \quad s_{t-1}^{w}$ はタイムステップ $t-1$ における出力単語および単語生成デコーダの内部状態を表す. $W_{s}$ は重みパラメータである。また，夕イムステップ $t$ におけるべクトル $c_{t}$ は， 3 種類 の入力データ $(\boldsymbol{g}, \boldsymbol{a}, \boldsymbol{m})$ と天気ラベル $\boldsymbol{l}$ それぞれの文脈べクトル $\left[c_{t}^{g} ; c_{t}^{a} ; c_{t}^{m} ; c_{t}^{l}\right]$ を結合した文脈べク トルである. 例えばタイムステップ $t$ における天気ラベル $\boldsymbol{l}$ に対する文脈ベクトル $c_{t}^{l}$ は, 下記の式 により導出される：

$
\begin{aligned}
c_{t}^{l} & =\sum_{i=1}^{|l|} \alpha_{t, i}^{l} s_{i}^{l} \\
\alpha_{t, i}^{l} & =\frac{\exp \left(\eta\left(s_{t-1}^{w}, s_{i}^{l}\right)\right)}{\sum_{j=1}^{|l|} \exp \left(\eta\left(s_{t-1}^{w}, s_{j}^{l}\right)\right)}
\end{aligned}
$

ここで, $s_{i}^{l}$ は天気ラベル $l_{i}$ に対する内容選択モデルの内部状態ベクトルであり,$\alpha_{t, i}^{l}$ は, $t$ 番目の出力単語と天気ラベル $l_{i}$ に対する内容選択モデルの内部状態ベクトルのアライメントスコアを表す.式 8 におけるスコア関数 $\eta$ には，MLPを用いた，また，その他の文脈ベクトル $c_{t}^{g}, c_{t}^{a}, c_{t}^{m}$ は, 式 7,8 と同様に導出できることに注意されたい.

## 5 実験設定

## 5.1 データセット

実験には，株式会社ウェザーニューズ8のピンポイント天気サービスから収集された 2014 年から 2015 年の天気予報コメント 57,412 件を利用した。このうち， 2014 年に配信された 28,555 件のコ メントを学習データ，2015 年に配信された 14,464 件，14,393 件をそれぞれ開発デー夕，評価デー 夕として使用した. また, 数値予報マップのデータとして, 京都大学生存圈研究所が運営する生存

プ 2,715 件を利用した。このうち， 2014 年に配信された 1,344 件の数值予報マップを学習データ， 1,326 件，1,329 件をそれぞれ開発データ, 評価データとして利用している. ここで, これらの合計

が数值予報マップの合計数である 2,715 件と一致していないが，これは，開発および評価データの 天気予報コメントは 2015 年のデータからサンプリングしており，異なるエリアの数値予報マップ を日本全体の 1 つのマップからそれぞれ抽出して使用しているためである。なお，天気予報コメン トとそれに対応する抽出された数値予報マップはエリアごとに固有のものであり，開発用およびテ スト用の天気予報コメントは重複していない。また，数值予報マップと天気予報コメントの対応付 けはそれぞれの配信時刻に基づき実施した。具体的には，天気予報コメントは既に配信された数値予報マップに基づき作成されるため，天気予報コメントの配信日時より以前に配信された数値予報 マップのうち，コメントの配信日時に直近の数値予報マップをコメントと対応付けしている.

天気予報コメントでは，翌日までの天気について言及していることから， 24 時間先までの 3 時間ごとで合計 9 タイムステップからなる数値予報マップ $\boldsymbol{g}$ を使用した。また, AMeDASにより収集された観測データとして，降水量，気温，風速，日照時間の過去 24 時間の 10 分ごとの合計 144 タイムステップからなる観測値を使用した．各エリアの観測データは，天気予報コメントの対象エ リアとそれぞれ 1 対 1 対応している。天気予報コメントのメ夕情報として，配信日時（月，日，曜日，時刻）およびエリア名（東京，熊本 等）を使用した。

## 5.2 ハイパーパラメータ

本研究では数値予報マップ，観測値データ，メタ情報の三種類の入力データを扱うため, それぞ れに対するエンコーダが必要となる．数値予報マップのエンコーダには，レイヤ数が 1 層の MLP と Bi-GRU を用い，活性化関数は Tanhを使用した。また，観測値データとメタ情報のエンコーダ には，レイヤ数が 1 層の MLP を使用し, 活性化関数は Tanhとした. デコーダには, テキスト生成 タスクにおいて一般的に用いられている RNNLMを使用した. RNNには, レイヤ数が 2 層の GRU を使用した. 単語埋め込みべクトルおよび数値予報マップのエンコーダの内部状態の次元数は 512 ,観測值データおよびメ夕情報のエンコーダの内部状態の次元数は 64, デコーダの内部状態の次元数 は 512 とした.

ミニバッチのサイズは 200 , 損失関数には交差エントロピー, モデルパラメータの最適化手法に は Adam (Kingma and Ba 2015) を使用した. 学習率は 0.001, 学習時のエポック数は 25 に設定し た. 推論時には，ビームサーチによりテキスト生成を行い，ビーム幅は 5 とした，実験結果では，学習における全 25 エポックのうち開発データに対するロスが 3 エポック連続で改善しない場合は 早期終了し, その時点で開発データに対して最もロスが低いモデルを評価対象とし, 自動評価およ び人手評価の結果を報告する.

また，近年の言語生成タスクでは Transformer (Vaswani et al. 2017) を用いた手法や事前学習モ デル (Devlin et al. 2019; Kale and Rastogi 2020; Raffel et al. 2020)の導入が一般的となっている. しかし, 生成タスクの予備検証において Transformer ベースの手法との比較を実施した結果, RNN を上回る結果が得られなかったため, 提案モデルでは RNNベースの手法を採用している. 加えて,
提案モデルでは，事前学習を行わない場合であっても一定の学習効果を得られることが分かったた め, 事前学習モデルの導入は行っていない.

## 5.3 評価指標

実験では，自動評価指標と人手評価により評価を実施した，実際に配信された天気予報コメン トと生成テキストの単語の一致度合いを測る目的として, テキスト生成の研究で広く用いられてい る BLEU-4(Papineni et al. 2002)と ROUGE-1(Lin 2004)を使用した.これは，気象の専門家によ り記述され，実際に配信されている天気予報コメントには，晴れや雨といったユーザーにとって重要な情報が含まれていることが一般的であるためである. BLEU-4 の計測には SacreBLEU ${ }^{10}$ (Post 2018)，ROUGE-1の計測には rouge ${ }^{11}$ 使用した。また, ROUGE-1 のスコアとして， $F_{1}$ スコア を報告する。

しかしながら, 生成テキストと参照テキストに含まれる情報が類似していたとしても語彙表現が 異なる場合には, 参照テキストとの単語の一致率に基づく BLEU や ROUGE といった自動評価指標では適切に評価できないことが懸念される。 そこで，語彙表現が異なる場合でもテキストに含ま れる情報の正確さを検証するために, 参照テキストおよび生成テキストから表 2 に示す手がかり語 に基づき抽出された天気ラベルの適合率 (Precision), 再現率 (Recall) およびそれらの調和平均で ある $F_{1}$ スコアに基づく評価を実施した。これにより，生成テキストにおける内容選択の正確性を 評価することができる.

人手評価では，一般ユーザーの視点から天気予報コメントを品質を評価するために，クラウド ソーシングを用いて情報性, 一貫性, 文法性について， 5 人の評価者により 3 段階の評価を実施し た. 表 3 に人手評価指標の概要を示す. 情報性の評価では, システムの入力として使用した数値予報マップや気象観測データは使用せず，実際に配信された天気予報コメントを正解テキストとして 提示し，それらと生成テキストを比較した上で評価を行うよう依頼した。これは，専門家ではない 評価者にとって, これらの専門性の高いデー夕を理解した上で評価することは困難であると考えた ためである，また，天気予報コメントの評価では，「晴れ」や「雨」といった天気予報のそれぞれの 内容だけでなく，「晴れのち雨」などの天気の移り変わりについても正確に言及できているかを 評価する必要がある．しかし，前述の天気ラベルに基づく内容選択の評価では, 生成テキストから 抽出された天気ラベルを独立に評価するため, 天気の移り変わり（抽出された天気ラべルの順序） を考慮することが難しい. そのため，情報性の評価では，正解テキストと生成テキストを合わせて 提示することで, 天気予報の内容（晴れ，雨）だけでなく，天気の移り変わり（晴れのち雨）に関 して評価に考慮されることを期待している。ここで, 情報性に関する 3 段階の評価では, 重要な情報の全てまたは一部だけ含まれている場合であっても内容に誤りがあれば 1 となることに注意され

 &  \\

表 3 人手評価指標

たい.

一貫性の評価では，生成テキストにおける内容や文のつながりの自然さを評価対象としている.例えば，内容の一貫性が欠けている例として，「今日は一日中晴れるため、折りたたみ傘が必要で す。」のように内容の辻褄が合わない場合が挙げられる. また, 文のつながりが不自然な例としては 「午前は晴れます。そのため、午後からは雨が降るのでご注意下さい。」といった例が挙げられる.

人手評価には, 評価データからランダムに抽出した 40 件の天気予報コメントを使用した. なお,各天気ラベルの有用性を検証するために，各天気ラベルが紐づくコメントが 10 件以上になるように 抽出を行っている. 各コメントに対して 5 人全ての評価者で評価を実施した. また，人手評価で比較するモデル間の差の統計的有意性を検定するために， ウィルコクソンの符号順位検定 (Wilcoxon 1945)を用いた。

## 5.4 比較モデル

表 4 に実験に使用したモデルの概要を表す. 実験では, 数値予報マップのエンコード手法の検討 として，CNN または MLP をエンコーダとしたモデル $(2,3)$ を比較する。また，本研究で提案した 天気ラベルを予測する内容選択モデルの有用性を確認するために，内容選択モデルを導入したモデ ル (4) と導入しないモデル $(2,3)$ を比較する.

さらに, 生成テキストの情報性向上を目的に, Wang et al. (2020)が提案した内容一致制約損失 (content-matching constraint loss)を検証した. 内容一致制約とは, Data-to-Text タスクにおいて,入力データと出力テキストに含まれる情報の類似性は高いという着想から，入力データを表す状態 ベクトルと出力テキストを表す埋め込みべクトルの距離を近づける制約である. Wang et al. (2020) は，損失関数として二乗誤差を用いることにより，これら２つのべクトルの距離を近づける制約を 提案し, 有用性を示した. 本研究では, Wang et al. (2020)の手法を参考に, 内容一致制約損失を

表 4 実験に使用したモデルの概要

提案モデルへ導入する．具体的には，言及すべき内容を選択する内容選択モデルの予測結果を生成 テキストへ反映させることで生成テキストの情報性を向上させることを期待して，内容選択モデル の出力状態ベクトルと生成テキストを表す埋め込みベクトルの二乗誤差を計算する損失関数を導入 した. ここで，内容一致制約を導入するモデルをモデル (6) とし， モデル (4) と比較することで有用性を検証する。また，実験では，メ夕情報の導入による効果を確認するために，メ夕情報埋め込 みベクトルを用いないモデル (5) も合わせて比較した.

天気ラベルを導入するモデル $(4,5,6)$ では, 内容選択モデルの性能が生成テキストの品質に影響 を与えることが考えられる。つまり，内容選択モデル自体の性能を改善にすることで，生成テキス トのさらなる品質向上が期待できる。そこで，実験では，参照テキストから抽出した “正解”の天気ラベルを用いるモデル (7)を導入した。これにより，天気ラべルの導入により期待できる品質向上の上限を検証することができる。また，表 4 における「天気ラベル」列の「予測」，「正解」は， それぞれ分類器により予測された天気ラべル，または，参照テキストから抽出した正解の天気ラべ ルであることを表している。

また, その他の比較手法として, 知識や経験に基づくルールベース手法 (Kukich 1983) や類似する 過去の問題の解法に基づいて新たな問題の解法を類推する枠組みである事例べース推論 (Adeyanju 2012) が考えられる。しかし，多数のルールやテンプレートの作成に専門知識と膨大な作業時間を 要するルールベース手法を数値気象予報のシミュレーション結果のような複雑な数値デー夕へ適用 することは現実的ではない. 一方, 事例べース推論は, 現在の数值気象デー夕に類似する過去の数値気象データの抽出ができれば，その過去の気象データに対する天気予報コメントを現在の気象デー 夕に対する天気予報コメントとして活用することが可能であると考えられる．そこで実験では，数値気象データへの適用がより実現性の高い事例べース推論を比較手法として採用した. Adeyanju （2012）は，風に関する予報コメントの生成タスクにおいて，事例ベース推論を用いた手法を提案し ている. Adeyanju (2012) らの研究では, クエリとなる現在の風向きや風の強さを基に, 事例デー

タベースから過去の類似事例を抽出し，現在のクエリに対する天気予報コメントを作成している。本研究では，Adeyanju (2012)の手法を参考に，数値予報マップ，気象観測值およびメ夕情報をク エリとして事例データベースから類似事例を抽出し，現在のクエリに対する天気予報コメントを作成する，具体的には，まず，クエリである数值予報マップ，気象観測值，および，メ夕情報12から 1 つの数值べクトルを作成する．次に，事例データベースに含まれる事例についても同様に数值べ クトルを作成し，クエリとのコサイン類似度を計算する。最後に，現在のクエリと最も類似する過去の事例を抽出し, 抽出された過去事例に紐づく天気予報コメントを現在のクエリに対する天気予報コメントとして採用する。事例データベースには，5.1 節の学習データを用いた。つまり，与え られた評価データに対する天気予報コメントを，上記の手順に基づいて学習データの類似事例から 抽出することになる。表 4 において，事例ベース推論に基づく手法をモデル (1)とする.

## 6 実験結果

表 5 に生成テキストと参照テキストの単語一致率に基づく BLEU および ROUGE スコア，およ び，生成テキストと参照テキストのそれぞれから抽出した天気ラベルに関する適合率 $(\mathrm{P} \%)$, 再現率 $(\mathrm{P} \%), F_{1}$ スコア $\left(\mathrm{F}_{1} \%\right)$ による評価結果を示す。表 5 では, 各モデルの重みパラメータの初期値を変更させて, 3 回実行した際の平均スコアを報告する.

## 6.1 数値予報マップのエンコード手法の比較

まず，数值予報マップのエンコード手法の検討として，CNN または MLP を数値予報マップのエ ンコーダとして採用したモデル (2), (3) を比較する。表 5 の BLEU および ROUGE による自動評価において，MLP をエンコーダとするモデル (3) と CNN をエンコーダとして用いるモデル (2) で

表 5 各モデルの評価データに対する自動評価スコア

は，2つのエンコーダ間において顕著な差は見受けられなかった。一方，表 5 に示す，生成テキス トから手がかり語により抽出した天気ラべルに対する適合率，再現率， $F_{1}$ スコアの評価では，特に 「雨」と「雪」において，モデル (3) がモデル (2) を上回るスコアが得られた. この結果から, MLP をエンコーダとして用いるモデル (3) は, CNN を用いるモデル (2) に比べて，天気予報コメントに おいて重要な情報である「雨」や「雪」について適切に言及できていることが推察できる。

以降の実験では，天気ラベルに基づく評価において MLP を用いるモデル (3) がモデル (2)を上回っていることから, モデル (3) をベースモデルとし, 各コンポーネントの有用性を検証する.

## 6.2 内容選択による生成テキストへの影響

次に，生成テキストの情報性向上を目的として導入した，内容選択モデルを検証するために，本 コンポーネントを導入したモデル (4) と導入しないモデル (3) を比較する. 表 5 に示す, 生成テキ ストから手がかり語に基づき抽出した天気ラベルに関する $F_{1}$ スコアについて，内容選択モデルを 導入したモデル (4) は，導入しないモデル (3) に比べてスコアが大きく向上していることを確認で きた. 特に，「晴れ」，「雪」の $F_{1}$ スコアについては約 $5 \%$ の改善が確認できており，これらの気象情報を生成テキストにおいて適切に言及できていることが推察できる。これらの結果から, 本研究 で導入した内容選択モデルのように，入力データから言及すべき内容を明示的に選択する外部機構 を導入することで，生成テキストの情報性が改善することが確認できた。

また, 表 5 の各天気ラベルに関する自動評価スコアは, 生成テキストで各気象情報についてどの 程度適切に言及できているかを表す指標であるが，提案モデルの単語生成デコーダは内容選択モデ ルの予測結果を参照するため, これらのスコアは内容選択モデルの精度に依存していると考えられ る。つまり，内容選択モデルの精度が高い場合は生成テキストの情報性の向上を期待できるが，内容選択モデルの精度が低い場合は生成テキストへの悪影響が懸念される。そこで追加検証として，内容選択モデルの精度を評価し，その分類精度の生成テキストへの影響を調查した。表 6 に内容選択モデル単体の予測精度を示す. 表 6 の内容選択モデルの精度と, 表 5 に示すモデル (4) の生成 テキストにおける内容選択の精度を比較すると, それぞれの予測精度は概ね匹敵していることが分 かった. このことから, モデル (4) は内容選択モデルの予測結果を概ね反映できていることが推察

表 6 評価デー夕に対する内容選択モデルの予測精度

できる。しかし, 現状では, モデル (4) の生成テキストにおける内容選択の精度は, 内容選択モデ ル単体による予測精度よりも約 $3 \%$ 程度低いことから，内容選択モデルの導入によりさらなる精度向上の余地があると考えられる。 そのため, 今後の課題の 1 つとして, 内容選択モデルの予測結果 を生成テキストへ十分に反映するための仕組みを導入することにより，生成テキストにおける内容選択の精度をさらに向上させることなどが考えられる。

## 6.3 内容一致制約の効果

内容選択モデルの予測結果と生成テキストを表す埋め込みベクトルの距離を近づけることで生成 テキストの情報性が向上することを期待して導入した内容一致制約 (Wang et al. 2020)の効果に ついて検証する，具体的には，内容一致制約を導入したモデル (6) と導入しないモデル (4)を比較 する。

まず，表 5 の BLEU および ROUGE による自動評価では，内容一致制約を導入したモデル (6) は導入しないモデル (4) に対してわずかな改善に留まっていることが分かった．また，表 5 の内容選択に関する自動評価スコアでは，ほとんど改善が見受けられなかった. これらの結果から，内容一致制約による生成テキストの情報性改善の効果は限定的であることが推察できる.

## 6.4 メタ情報の導入による生成テキストへの影響

次に，生成モデルが天気予報コメントの配信される時間帯や対象エリアに依存する表現を用いて テキスト生成することを期待して導入したメ夕情報埋め込みべクトルの効果について検証する. 具体的には，メ夕情報を用いたモデル (6) とそれを用いないモデル (5)の比較を行う.

表５の BLEU およびROUGE による自動評価では，メ夕情報を導入したモデル (6) はそれを用 いないモデル (5) と比べて, わずかにスコアが向上することを確認できた. しかしながら, 生成テ キストと参照テキストの単語の一致率に基づくBLEU や ROUGE といった自動評価スコアだけで は， モデル (6) がモデル (5) に比べてメ夕情報に依存する表現を適切に生成できているか判断する ことが難しい. そこで，天気予報コメントの配信時刻やエリアなどのメ夕情報に依存する表現につ いて，参照テキストと比較して正しく出力できているか評価を実施した．具体的には, 参照テキス トに含まれるメ夕情報の依存表現について，提案モデルより生成されたテキストにおいても適切に 言及できているか評価する。

表 7 にメ夕情報に依存する表現を参照テキストと比較して生成テキストにおいて適切に言及でき ているかを表す $F_{1}$ スコア，適合率 $(\mathrm{P} \%)$ ，および，再現率 $(\mathrm{R} \%)$ の自動評価結果を示す. 表 7 に おける $\Delta_{F_{1}}$ は， $F_{1}$ スコアに関するモデル (6) とモデル (5) の差分を表している。また，表 8 に学習データ，開発データ，評価データの天気予報コメントにおける各依存表現の出現回数を示す.こ れらの評洒対象として選定した依存表現は, 開発データを参考に人手により抽出している.この結果によると, 天気予報コメントのメ夕情報として与えたモデル (6) はメ夕情報を考慮しないモデル

表 7 各依存表現に対する自動評価スコア

(5)に比べて，配信時刻に依存する「今日，明日」や，曜日に依存する「(月)，(火)」，月に依存す る「春，夏」などの表現に対する $F_{1}$ スコアが大きく向上していることを確認できた. 同様に，エ リアに依存表現する表現においても $F_{1}$ スコアが全体的に向上していることが確認できた. しかし，評価データにおいて比較的出現回数が少ない依存表現（山，山間）については変化が見受けられな かった。また，選定した依存のうち，エリアに依存する表現である「高波，台風」について精度劣化が見受けられた. 表 8 に示すように，この 2 つの依存表現は共起している回数が多い. そのため, メ夕情報をモデルへ与えたことで台風または高波のいずれかを言及する精度が低下し，他方の依存表現に対する精度も劣化したことが考えられる。

以上の結果から，生成モデルヘメ夕情報を導入することにより，多くの事例において，メ夕情報

表 8 各依存表現の各データにおける出現回数

に依存した表現を適切に生成する性能が改善することが確認できた. 一方で，いくつかの依存表現 においては性能劣化が見受けられたことから今後の改善が求められる.

## 6.5 事例ベース推論に基づく手法との比較

エンコーダ・デコーダモデルに基づく提案モデルの有用性を検証するために，比較手法として導入した事例ベース推論に基づく手法 (Adeyanju 2012) と提案モデルの比較を行う．表 5 におけるモ デル (1) が事例ベース推論に基づいたモデルの自動評価結果である．表 5 の BLEU および ROUGE に基づく自動評価において, 提案モデルであるモデル (3)や (6) は, 事例ベース推論に基づく手法 であるモデル (1) よりも大幅に上回るスコアが得られた. この結果からエンコーダ・デコーダモデ

ルに基づく提案モデルは，事例ベース推論に基づくモデル (1)よりも参照テキストに類似した天気予報コメントを生成できていることが推察できる。一方で，生成テキストにおける内容選択の正確性を表す各天気ラベルの精度においては，事例ベース推論に基づくモデル (1) は提案モデルである モデル (3) や (6) よりもスコアが劣ってはいるものの，比較的高いスコアを得られていることが分 かった。つまり，事例ベース推論に基づくモデル (1) の生成テキストは，提案モデルと比べて参照 テキストとの類似性はやや劣るものの，適切な内容選択ができていることが推察できる.

上記の結果から，数値予報マップ，気象観測値，メ夕情報をクエリとした事例ベース推論に基づ くモデル (1) では, 最も類似度が高い事例を事例データベースから抽出することで, 内容選択の正確性が高い天気予報コメントが得られることが分かった。このことを踏まえると，最も類似度が低い 事例が抽出された場合には，生成テキストにおける内容選択の正確性は低くなることが予想される. そこで追加検証として，クエリに類似した事例を事例データベースから抽出する際に用いる類似度 と生成テキストにおける内容選択の正確性の関係性を調査した。具体的には，クエリに類似した事例を事例データベースから抽出する際に，最も類似度が高い事例を抽出する場合のモデル $(1)_{\text {max }}$ と最も類似度が低い事例を抽出する場合のモデル $(1)_{\min }$ を比較する。ここで，最も類似度が高い事例を抽出した場合のモデル $(1)_{\max }$ は，表 5 におけるモデル (1) と同じモデルであることに注意さ れたい. 表 9 に各モデルの自動評価結果を示す.これら 2 つのモデルを比較すると, クエリに最も 類似度が高い事例を事例データベースから抽出した場合のモデル (1) max は，クエリに最も類似度 が低い事例を抽出した場合のモデル $(1)_{\min }$ よりも大幅に自動評価スコアが向上していることが分 かった.これらの結果からも, 事例データベース推論に基づく手法において, 最も類似度が高い事例を事例データベースから抽出することで，内容選択の正確性が高い天気予報コメントを得られる ことが確認できた。

また，表 10 に事例ベース推論に基づくモデル $(1)_{\text {max }}$ およびモデル $(1)_{\min }$ による生成テキストの 例を示す。表 10 における「正解」は，評価デー夕における一事例であり，2015 年 7 月 23 日（木曜）午前 0 時 22 分に実際に配信された天気予報コメントである. モデル $(1)_{\max }$ およびモデル $(1)_{\min }$ の それぞれの生成テキストは，数値予報マップ，気象観測値，メ夕情報からなるクエリの類似度に基 づいて事例データベースから抽出された天気予報コメントである。まず，クエリに最も類似度が高 い事例を用いたモデル $(1)_{\max }$ の生成テキストは, 正解テキストと同様に，雨と曇り空について言

} & \multicolumn{4}{c}{ 雨 } & \multicolumn{4}{c}{ 曇り } & & \multicolumn{3}{c}{ 雪 } \\
& & & $\mathrm{P} \%$ & $\mathrm{R} \%$ & $\mathrm{~F}_{1} \%$ & $\mathrm{P} \%$ & $\mathrm{R} \%$ & $\mathrm{~F}_{1} \%$ & $\mathrm{P} \%$ & $\mathrm{R} \%$ & $\mathrm{~F}_{1} \%$ & $\mathrm{P} \%$ & $\mathrm{R} \%$ & $\mathrm{~F}_{1} \%$ \\

$(1)_{\min }$ & 4.4 & 34.6 & 49.8 & 53.5 & 51.6 & 48.5 & 36.4 & 41.6 & 47.0 & 40.0 & 43.2 & 0.0 & 0.0 & 0.0 \\

表 9 事例ベース推論に基づくモデルの評価デー夕に対する自動評価スコア
及できていることが確認できた。一方，クエリに最も類似度が低い事例を用いたモデル $(1)_{\min }$ の生成テキストでは，「今日は冬晴れの一日。お出かけ日和」のように，正解テキストとは異なった内容が言及されている．これは，モデル $(1)_{\min }$ では，正解の気象データと最も類似度が低い事例の天気予報コメントを生成テキストとして用いるため，言及される内容は必然的に正解テキストと大き く異なることが要因となっている. 以上の結果からも, 事例べース推論に基づく手法において, 事例データベースから抽出する際の類似度によって生成テキストで言及される内容およびその正確性 が変化することが確認できた.

## 6.6 人手評価結果

表 11 に人手評価の結果を示す. 表 11 における, †は統計的に有意差があることを示す $(p<0.05)$. また，「事例数」列は，人手評価デー夕 40 件のうち，各天気ラベルを含む事例の件数を表している. ここで，各天気予報コメントには図 1 の事例のように 1 つ以上の天気ラベルが含まれることに注意 されたい.

人手評価結果によると, 本研究で提案した天気ラベルの予測タスクにより明示的な内容選択を行 うモデル (6) は, 明示的な内容選択を行わないモデル (3) に比べて, 統計的有意に情報性が優れて いることが分かった．これは，表 5 の自動評価結果から明らかになったように，提案モデル (6) は

モデル 生成テキスト（配信日時: 2015 年 7 月 23 日（木曜） 午前 0 時 22 分）

今正解今は雨が降りやすく、お出かけには企が必須となりそうです。日差しはほとんどなくても湿気
たっふの空気でムシムシと感じる一日に。

(1) $)_{\max }$ 今日の朝は雨が降りやすく傘を持ってお出かけをして下さい。昼間は雲が多くスッキリとしない 空模様。帰宅の時には傘の置き忘れに注意して下さい。

(1) $)_{\text {min }}$ 今日は冬晴れの一日。お出かけ日和ですが、冷たい風がピューッと吹くので、暖かくしてお出か

表 10 事例べース推論に基づく手法の生成テキスト

表 11 人手評価の結果

モデル (3) よりも生成テキストにおける内容選択の正確性が高いことが要因として考えられる.

一方で，文章全体の一貫性の観点においては，両モデルのスコアは十分に高いものの，モデル (6) はモデル (3) よりも劣ることが分かった. これは, 生成テキストに含まれる情報量が増えたことで, それらの一貫性を担保することが難しくなったことが要因として考えられる。この問題の対策とし ては，テキストで言及する内容を予測する内容選択だけではなく，それらをどのような順序で言及 するかを考慮するための内容プランニングを明示的に実施することが挙げられる (Wiseman et al. 2017; Iso et al. 2019). また，モデル (6) の生成テキストでは，以下に示す事例 (e)のように文と 文のつながりの不自然さに起因して一貫性スコアが低く評価された事例13も確認された。この例で は，1文目と 2 文目を繋ぐ接続詞として「ただ」が使われていることで， 1 文目から推察できる内容（段々と日差しが届いて晴れるため、午後から過ごしやすくなる事）に対して, さらに 2 文目で 補足している状況となり，文のつながりに不自然さが生じていたことが原因として考えられる.

（e）今日は朝まで雨が降りますが、段々と日差しが届いてお出かけ日和になります。たた、昼間は過ごしやすい体感になりそうです。

表 $12 ， 13 ， 14$ に各モデルの出力例と実際に配信された正解の天気予報コメントの例を示す. 表

 \\

表 12 「豊橋」エリアに配信された天気予報コメントと各モデルの生成テキスト

 \\

表 13 「白糠」エリアに配信された天気予報コメントと各モデルの生成テキスト

13 一貫性の平均スコアは 1.8 .

 \\

表 14 「東京」エリアに配信された天気予報コメントと各モデルの生成テキスト

12，13，14 における I, C, G はそれぞれ，情報性(Informativeness), 一貫性 (Consistency), 文法性 (Grammaticality)に関する評価者 5 人の平均スコアを表す. 表 12 では, 各モデルの生成テキスト において正解テキストと同様に雲について言及できているものの, モデル (3) の生成テキストでは 正解テキストでは言及されていない雨について記述されている. この結果から, モデル (3) の生成 テキストは誤った情報が含まれていると判断され，モデル (6) よりも情報性のスコアが低く付けら れたと考えられる，表 13 では，各モデルの生成テキストでは日差しや気温の低下について言及で きている. 一方, モデル (6) は正解テキストと同様に雪についても言及できているが, モデル (3)で は雪ではなく, ニワカ雨と言及している.このことから, 表 13 におけるモデル (3) の生成テキスト は，情報性が低いと判断されたことが考えられる. 表 14 では, モデル (6) は正解テキストと同様に 日差しや雨について言及できているため比較的高い情報性のスコアが付けられている。一方，モデ ル (3)では, 日差しについては言及できているものの, 雨についての記述は含まれていない. その ため, モデル (3) の生成テキストはモデル (6)よりも情報性が低いと判断されたことが考えられる.

また, 情報性の評価では, 正解テキストと生成テキストを比較して評価を行っているが, 正解テ キストの何を重要な情報とみなすかは評価者ごとに結果が分かれる可能性がある. 例えば，以下の 正解テキスト (f) と生成テキスト $(\mathrm{g})$ では，生成テキストに対して評価者 5 名のうち 3 名からは 3 , 2 名からは 2 の評価結果が得られた. この事例において, 正解テキストと比較して生成テキストで 言及されていない差分となる情報は, 風や気温に関する情報であるため, 2 名の評価者は風や気温 に関する情報も重要な情報とみなし, 生成テキストに対して 2 を付与したことが推察できる.

（f） 今日（木）は晴れたり曇ったり。ニワカ雨の可能性もあるので、お出かけの際は折りたた み傘があると安心です。風が吹くと涼しい〜肌寒いくらいの体感になります。

（g）今日（木）は日差しが届いても、ニワカ雨の可能性があります。お出かけの際は折りたた み傘があると安心です。

## 7 おわりに

本研究では, 数値気象予報のシミュレーション結果から天気予報コメントを生成するための Datato-Text モデルを提案した. 天気予報コメント生成タスクには, (i) 複数の物理量からなる時系列数值データの考慮する必要がある，(ii) コメントが書かれる時間帯や対象エリアに依存した表現が用 いられる, (iii) 天気予報コメントにおいて情報性が重要である，といった課題があり，本研究では それぞれの課題に対して手法を提案した. 実験では, 自動評価および人手評価によって提案手法の 有用性を示した。

今後の課題として 2 点挙げる。まず， 1 点目の課題として, 人手評価において, 提案モデルの生成テキストの情報性の向上は見受けられたものの，わずかな劣化が観測された一貫性の課題が挙げ られる。この課題の解決策として, 生成テキストの情報性向上を目的とした, 入力データからの内容選択だけではなく，それらの内容をどのような順序で言及するかを考慮するための内容プランニ ングを導入する方法などが考えられる。

2 点目の課題として, 生成モデルの入力データとして使用した気象データの入力形式の検討が 挙げられる. 本研究では, 入力データとして, 数值気象予報のシミュレーション結果の生データ である数値予報マップを使用したが，これらのデータを基に作成された SUMTIME-METEO や WEATHERGOV などの構造化データを用いる方法も考えられる.これらの構造化デー夕は, 数値予報マップといった生データに比べて情報量が落ちることが懸念されるものの，人手や機械により情報が整理された上で構造化されているため, 重要な情報を選定する内容選択の問題がより簡単にな る可能性が考えられる。また, その他にも, 生データや構造化データのいずれかだけでなく, 両者 を組み合わせた入力形式も考えられる。そのため, 今後の課題として, 天気予報コメントの生成夕 スクにより適した気象データの入力形式やそれらの組み合わせを検討したい.

## 謝 辞

本論文の一部は, The 16th Conference of the European Chapter of the Association for Computational Linguistics (EACL2021) で発表したものです (Murakami et al. 2021).

## 参考文献

Adeyanju, I. (2012). "Generating Weather Forecast Texts with Case Based Reasoning." International Journal of Computer Applications, 45, pp. 35-40.

Angeli, G., Liang, P., and Klein, D. (2010). "A Simple Domain-Independent Probabilistic Approach to Generation." In Proceedings of the 2010 Conference on Empirical Methods in

Natural Language Processing, pp. 502-512. Association for Computational Linguistics.

Aoki, K., Miyazawa, A., Ishigaki, T., Aoki, T., Noji, H., Goshima, K., Kobayashi, I., Takamura, H., and Miyao, Y. (2019). "Controlling Contents in Data-to-Document Generation with Human-Designed Topic Labels." In Proceedings of the 12th International Conference on Natural Language Generation, pp. 323-332. Association for Computational Linguistics.

Aoki, T., Miyazawa, A., Ishigaki, T., Goshima, K., Aoki, K., Kobayashi, I., Takamura, H., and Miyao, Y. (2018). "Generating Market Comments Referring to External Resources." In Proceedings of the 11th International Conference on Natural Language Generation, pp. 135-139. Association for Computational Linguistics.

Bahdanau, D., Cho, K., and Bengio, Y. (2015). "Neural Machine Translation by Jointly Learning to Align and Translate." In Proceedings of the 3rd International Conference on Learning Representations.

Barzilay, R. and Lapata, M. (2005). "Collective Content Selection for Concept-to-Text Generation." In Proceedings of the conference on Human Language Technology and Empirical Methods in Natural Language Processing, pp. 331-338. Association for Computational Linguistics.

Belz, A. (2007). "Probabilistic Generation of Weather Forecast Texts." In Proceedings of the 2007 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 164-171. Association for Computational Linguistics.

Chen, S., Wang, J., Feng, X., Jiang, F., Qin, B., and Lin, C.-Y. (2019). "Enhancing Neural Data-To-Text Generation Models with External Background Knowledge." In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, pp. 3022-3032. Association for Computational Linguistics.

Cho, K., van Merrienboer, B., Gulcehre, C., Bahdanau, D., Bougares, F., Schwenk, H., and Bengio, Y. (2014). "Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation." In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing, pp. 1724-1734. Association for Computational Linguistics.

Chung, J., Gulcehre, C., Cho, K., and Bengio, Y. (2014). "Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling." In NIPS 2014 Workshop on Deep Learning, December 2014.

Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. (2019). "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics:

Human Language Technologies, Volume 1, pp. 4171-4186. Association for Computational Linguistics.

Duboue, P. A. and McKeown, K. R. (2001). "Empirically Estimating Order Constraints for Content Planning in Generation." In Proceedings of the 39th Annual Meeting of the Association for Computational Linguistics, pp. 172-179, Toulouse, France. Association for Computational Linguistics.

Duboue, P. A. and McKeown, K. R. (2003). "Statistical Acquisition of Content Selection Rules for Natural Language Generation." In Proceedings of the 2003 Conference on Empirical Methods in Natural Language Processing, pp. 121-128.

Gatt, A. and Krahmer, E. (2018). "Survey of the State of the Art in Natural Language Generation: Core Tasks, Applications and Evaluation." Journal of Artificial Intelligence Research, 61 (1), pp. 65-170.

Goldberg, E., Driedger, N., and Kittredge, R. I. (1994). "Using Natural-Language Processing to Produce Weather Forecasts." IEEE Expert, 9 (2), pp. 45-53.

Iso, H., Uehara, Y., Ishigaki, T., Noji, H., Aramaki, E., Kobayashi, I., Miyao, Y., Okazaki, N., and Takamura, H. (2019). "Learning to Select, Track, and Generate for Data-to-Text." In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 2102-2113. Association for Computational Linguistics.

Kale, M. and Rastogi, A. (2020). "Text-to-Text Pre-Training for Data-to-Text Tasks." In Proceedings of the 13th International Conference on Natural Language Generation, pp. 97-102, Dublin, Ireland. Association for Computational Linguistics.

Kerpedjiev, S. M. (1992). "Automatic Generation of Multimodal Weather Reports from Datasets." In 3rd Conference on Applied Natural Language Processing, pp. 48-55. Association for Computational Linguistics.

Kingma, D. P. and Ba, J. (2015). "Adam: A Method for Stochastic Optimization." In Proceedings of the 3rd International Conference on Learning Representations.

Kittredge, R., Polguere, A., and Goldberg, E. (1986). "Synthesizing Weather Forecasts From Formatted Data." In Proceedings of the 11th International Conference on Computational Linguistics.

Kukich, K. (1983). "Design of A Knowledge-Based Report Generator." In Proceedings of the 21st Annual Meeting of the Association for Computational Linguistics, pp. 145-150. Association for Computational Linguistics.

Lebret, R., Grangier, D., and Auli, M. (2016). "Neural Text Generation from Structured Data with Application to the Biography Domain." In Proceedings of the 2016 Conference on

Empirical Methods in Natural Language Processing, pp. 1203-1213. Association for Computational Linguistics.

Li, J., Galley, M., Brockett, C., Spithourakis, G., Gao, J., and Dolan, B. (2016). "A PersonaBased Neural Conversation Model." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics, pp. 994-1003. Association for Computational Linguistics.

Liang, P., Jordan, M., and Klein, D. (2009). "Learning Semantic Correspondences with Less Supervision." In Proceedings of Association for Computational Linguistics and International Joint Conference on Natural Language Processing, pp. 91-99. Association for Computational Linguistics.

Lin, C.-Y. (2004). "ROUGE: A Package for Automatic Evaluation of Summaries." In Text Summarization Branches Out, pp. 74-81, Barcelona, Spain. Association for Computational Linguistics.

Liu, T., Wang, K., Sha, L., Chang, B., and Sui, Z. (2018). "Table-to-Text Generation by Structure-Aware Seq2seq Learning." In Proceedings of the 32nd AAAI Conference on Artificial Intelligence, pp. 4881-4888.

Long, X., Gan, C., and de Melo, G. (2018). "Video Captioning with Multi-Faceted Attention." Transactions of the Association for Computational Linguistics, 6, pp. 173-184.

Luong, T., Sutskever, I., Le, Q., Vinyals, O., and Zaremba, W. (2015). "Addressing the Rare Word Problem in Neural Machine Translation." In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 11-19. Association for Computational Linguistics.

Ma, S., Yang, P., Liu, T., Li, P., Zhou, J., and Sun, X. (2019). "Key Fact as Pivot: A Two-Stage Model for Low Resource Table-to-Text Generation." In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 2047-2057. Association for Computational Linguistics.

Mei, H., Bansal, M., and Walter, M. R. (2016). "What to Talk about and How? Selective Generation using LSTMs with Coarse-to-Fine Alignment." In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 720-730. Association for Computational Linguistics.

Mikolov, T., Karafiát, M., Burget, L., Černocký, J., and Khudanpur, S. (2010). "Recurrent Neural Network Based Language Model." In Proceedings of the 11th Annual Conference of the International Speech Communication Association, pp. 1045-1048. International Speech

Communication Association.

Murakami, S., Tanaka, S., Hangyo, M., Kamigaito, H., Funakoshi, K., Takamura, H., and Okumura, M. (2021). "Generating Weather Comments from Meteorological Simulations." In Proceedings of The 16th Conference of the European Chapter of the Association for Computational Linguistics, pp. 1462-1473. Association for Computational Linguistics.

Murakami, S., Watanabe, A., Miyazawa, A., Goshima, K., Yanase, T., Takamura, H., and Miyao, Y. (2017). "Learning to Generate Market Comments from Stock Prices." In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1374-1384. Association for Computational Linguistics.

Novikova, J., Dušek, O., and Rieser, V. (2017). "The E2E Dataset: New Challenges for End-toEnd Generation." In Proceedings of the 18th Annual Meeting of the Special Interest Group on Discourse and Dialogue, Saarbrücken, Germany. arXiv:1706.09254.

Papineni, K., Roukos, S., Ward, T., and Zhu, W.-J. (2002). "BLEU: A Method for Automatic Evaluation of Machine Translation." In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318. Association for Computational Linguistics.

Post, M. (2018). "A Call for Clarity in Reporting BLEU Scores." In Proceedings of the 3rd Conference on Machine Translation: Research Papers, pp. 186-191, Belgium, Brussels. Association for Computational Linguistics.

Puduppully, R., Dong, L., and Lapata, M. (2019). "Data-to-Text Generation with Content Selection and Planning." In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 33, pp. 6908-6915.

Raffel, C., Shazeer, N., Roberts, A., Lee, K., Narang, S., Matena, M., Zhou, Y., Li, W., and Liu, P. J. (2020). "Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer." Journal of Machine Learning Research, 21 (140), pp. 1-67.

Reiter, E. and Dale, R. (1997). "Building Applied Natural Language Generation Systems." Natural Language Engineering, 3 (1), pp. 57-87.

Reiter, E., Sripada, S., Hunter, J., Yu, J., and Davy, I. (2005). "Choosing Words in ComputerGenerated Weather Forecasts.” Artificial Intelligence, 167 (1-2), pp. 137-169.

Sha, L., Mou, L., Liu, T., Poupart, P., Li, S., Chang, B., and Sui, Z. (2018). "Order-Planning Neural Text Generation From Structured Data." In Proceedings of the 32nd AAAI Conference on Artificial Intelligence, pp. 5414-5421.

Sripada, S., Reiter, E., and Davy, I. (2004). "SumTime-Mousam: Configurable Marine Weather Forecast Generator." Expert Update, 6, pp. 4-10.

Sripada, S., Reiter, E., Hunter, J., and Yu, J. (2003). "Exploiting a Parallel TEXT - DATA corpus." In Proceedings of Corpus Linguistics, pp. 734-743.

Sripada, S. G., Reiter, E., Hunter, J., Yu, J., and Davy, I. P. (2002). "Modelling the Task of Summarising Time Series Data Using KA Techniques." In Macintosh, A., Moulton, M., and Preece, A. (Eds.), Applications and Innovations in Intelligent Systems IX, pp. 183-196, London. Springer London.

Sutskever, I., Vinyals, O., and Le, Q. V. (2014). "Sequence to Sequence Learning with Neural Networks." In Proceedings of the 27th International Conference on Neural Information Processing Systems, pp. 3104-3112.

Tu, Z., Lu, Z., Liu, Y., Liu, X., and Li, H. (2016). "Modeling Coverage for Neural Machine Translation." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 76-85, Berlin, Germany. Association for Computational Linguistics.

Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., and Polosukhin, I. (2017). "Attention Is All You Need." In Guyon, I., Luxburg, U. V., Bengio, S., Wallach, H., Fergus, R., Vishwanathan, S., and Garnett, R. (Eds.), Advances in Neural Information Processing Systems 30, pp. 5998-6008. Curran Associates, Inc.

Wang, Z., Wang, X., An, B., Yu, D., and Chen, C. (2020). "Towards Faithful Neural Table-toText Generation with Content-Matching Constraints." In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 1072-1086. Association for Computational Linguistics.

Wilcoxon, F. (1945). "Individual Comparisons by Ranking Methods." Biometrics Bulletin, 1 (6), pp. 80-83.

Wiseman, S., Shieber, S., and Rush, A. (2017). "Challenges in Data-to-Document Generation." In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 2253-2263. Association for Computational Linguistics.

Yao, L., Torabi, A., Cho, K., Ballas, N., Pal, C., Larochelle, H., and Courville, A. (2015). "Describing Videos by Exploiting Temporal Structure." In Proceedings of the 2015 IEEE International Conference on Computer Vision, pp. 4507-4515. IEEE Computer Society.

## 略歴

村上聡一朗 : 2015 年熊本高等専門学校専攻科電子情報システム工学専攻修了. 2017 年東京工業大学大学院博士前期課程修了. 2019 年より, 東京工業大学工学院博士後期課程に在籍. 自然言語処理，特に自然言語生成に関する研究開発に従事.
言語処理学会会員.

田中 天：2016 年大阪大学工学部電子情報学科修了. 2019 年東京工業大学大学院博士前期課程修了.

萩行 正嗣：2014 年京都大学大学院情報学研究科知能情報学専攻博士後期課程修了. 博士 (情報学). 同年より現職. 自然言語処理の研究に従事. 言語処理学会会員，情報処理学会会員. AI 防災協議会常務理事.

上垣外英剛：2012 年東京工業大学情報工学科卒業. 2014 年東京工業大学大学院総合理工学研究科知能システム科学専攻博士前期課程修了. 2017 年東京工業大学大学院 総合理工学研究科知能システム科学専攻博士後期課程修了. 博士 (工学).同年 NTT コミュニケーション科学基礎研究所入所. 2018 年より東京工業大学科学技術創成研究院未来産業技術研究所助教. 自然言語処理分野の研究に従事.情報処理学会, 言語処理学会, ACL 各会員.

船越孝太郎：2005 年東京工業大学大学院情報理工学研究科計算工学専攻博士後期課程修了。博士（工学）。2006 年より（株）ホンダ・リサーチ・インスティチュー ト・ジャパンリサーチャー. 2017 年より京都大学大学院情報学研究科知能情報学専攻特定准教授. 2020 年より東京工業大学科学技術創成研究院未来産業技術研究所准教授. 自然言語処理およびマルチモーダル対話システムに関する研究 に従事. 言語処理学会, 人工知能学会, 情報処理学会各会員.

高村 大也：1997 年東京大学工学部計数工学科卒業. 2000 年同大大学院工学系研究科計数工学専攻修了 (1999 年はオーストリアウィーン工科大学にて研究). 2003 年奈良先端科学技術大学院大学情報科学研究科博士課程修了. 博士 (工学). 2003 年から 2010 年まで東京工業大学精密工学研究所助教. 2006 年にはイリノ イ大学にて客員研究員. 2010 年から 2016 年まで同准教授. 2017 年から 2021 年 3 月まで同教授. 2017 年から産業技術総合研究所人工知能センター知識情報研究チーム研究チーム長.

奥村学：1962 年生. 1984 年東京工業大学工学部情報工学科卒業. 1989 年同大学院博士課程修了. 同年, 東京工業大学工学部情報工学科助手. 1992 年北陸先端科学技術大学院大学情報科学研究科助教授, 2000 年東京工業大学精密工学研究所助教授，2009 年同教授，現在は，科学技術創成研究院教授． 2017 年より,理化学研究所革新知能統合研究センター (AIP) 客員研究員を兼務. 工学博士.


# 学会記事
## 自動並列化深層学習ミドルウェアRaNNC

田仲 正弘 ${ }^{\dagger}$ ・田浦健次朗 ${ }^{\dagger \dagger}$ ・塙敏博

## 概要

近年，ニューラルネットワークのパラメータ数や学習データの規模は急速に拡大している.大規模ニューラルネットワークを大量の学習データで学習するには，多数のGPUを用いた並列処理が有効であるが，パラメータが極めて多いニューラルネットワークの場合，一般的な深層学習フレームワークに実装された並列化方式であるデータ並列では，パラメータがGPU のメモ リに収まらないという問題がある。本稿では，そうした大規模ニューラルネットワークの学習 を目的に著者らが開発した, 自動並列化深層学習ミドルウェア RaNNC (Rapid Neural Network Connector)を紹介する．RaNNC は，ニューラルネットワークを分割して複数のGPU に配置す るモデル並列と，データ並列のハイブリッドによる並列化を自動化できる。 既存の類似フレー ムワークと比較すると, ニューラルネットワーク定義のコードで並列化の実装が不要になり,並列化を意識せずに書かれた既存コードでも，隠れ層サイズやレイヤ数などを増加させた際に，必要に応じて自動的に並列化される。また, 著名な既存フレームワークが Transformer 系ネッ トワークの構造の特徴を利用して並列化しているのに対し, RaNNC の並列化は特定の構造に 依存しないため, より幅広い種類のニューラルネットワークに適用可能である.

## 1 大規模ニューラルネットワーク学習の課題

近年の深層学習の研究で, ニューラルネットワークの学習パラメータの増加によって学習性能が向上することが知られている (Kaplan et al. 2020). 実際に, この数年で発表されたニュー ラルネットワークの規模は, 劇的に拡大している。例えば, 2018 年に発表され, 言語処理分野で のブレークスルーとなった BERT-Large (Devlin et al. 2019) は， 3.4 億個のパラメータを持ち,発表当時としては最大規模のニューラルネットワークであった。しかし，そのわずか 2 年後に は，BERT-Largeの約 500 倍である 1,750 億ものパラメータを持つ GPT-3 (Brown et al. 2020) が発表されている。またパラメータ数と共に, 学習デー夕も大幅に大規模化している.

深層学習では，高速化のために GPU に代表されるアクセラレータが広く用いられるが，大規

模なニューラルネットワークを, 大量の学習データを用いて学習する場合, 複数の GPU を用い て並列計算を行うのが一般的である。深層学習の並列化方式としては，以下に述べるデータ並列とモデル並列の二つの方式が知られている.

データ並列では，複数ある GPU のそれぞれに，ニューラルネットワークの全体を複製する.入力となるミニバッチは, 事例の単位で分割され, 異なる GPU で並列に処理される. データ 並列は，実装が容易で実行効率も高いため, 多くの深層学習フレームワークで実装されている. ただしデータ並列では，ニューラルネットワーク全体を複製するため，極めてパラメータ数が 多い場合, 1 枚の GPU に全てのパラメータが収まらず，バッチサイズをできる限り小さくして も，学習が実行できないという問題がある.

一方, モデル並列では, ニューラルネットワークを分割し, 複数の GPUに配置する．各 GPU は，ニューラルネットワークのパラメータの一部分のみを持つため，パラメータの多いニュー ラルネットワークでも学習できる．GPU1 枚にパラメータが収まらない場合には，モデル並列 の利用が必須となるが，どのようにニューラルネットワークを分割するかによって，学習の実行効率が大きく異なる。

大規模ニューラルネットワーク学習をモデル並列で実現するフレームワークとして, MegatronLM (Shoeybi et al. 2019) 及び Mesh-TensorFlow (Shazeer et al. 2018) が知られている. しかし いずれのフレームワークでも，通信オーバヘッドを低減し高い実行効率を得るには，ニューラル ネットワークや計算機環境の特性を熟知した上で，並列計算用の特殊な演算モジュールを用い てニューラルネットワークの定義を記述する必要があり，利用のハードルが高いという問題が ある。またこれらのフレームワークでは, BERT 等の Transformer (Vaswani et al. 2017) 系ネッ トワークの特徵を利用することで，通信オーバーヘッドを小さくし，効率の良い並列化を実現 しているが，一般的には，通信オーバーヘッドによる速度低下が，並列処理による高速化効果 を上回ることが多い，そのため，実質的には Transformer 系のネットワークにしか適用できず，実際に動作するコードも，BERT や GPT についてしか提供されていないという問題もある.

## 2 自動並列化深層学習ミドルウェア RaNNC

本稿では，前述のような既存フレームワークの課題を解決し，大規模ニューラルネットワー クの学習を容易に実行するために著者らが開発した自動並列化深層学習ミドルウェア RaNNC (Rapid Neural Network Connector) を紹介する. RaNNC は現在, GitHubで公開されている1. ライセンスは MIT ライセンスとしており，商用目的を含め，無償で利用できる．

RaNNC は, 代表的な深層学習フレームワークである PyTorch (Paszke et al. 2019) のために
^{1}$ https://github.com/nict-wisdom/rannc
}
記述されたニューラルネットワーク定義を与えると, 自動的にニューラルネットワークの分割 を決定し，モデル並列とデータ並列を併用した並列分散学習を実現する。そのため，新規に書 かれるニューラルネットワーク定義コードだけでなく，既存のものも含め，並列化を意識せず に書かれたニューラルネットワーク定義のコードをそのまま使用できる。隠れ層サイズやレイ ヤ数等の設定のみを変更し，GPU1 枚またはデー夕並列のみでは動作しない規模まで学習パラ メータを増やしても，RaNNC を使用していれば，GPUメモリに収まるように自動で並列化し て学習することが可能である.

図 1 に RaNNC の利用例を示す。始めに，学習するニューラルネットワークとパラメータの更新に用いる optimizer を宣言する ( 1,2 行目)。ここまでは，一般的な PyTorch のコードと同じ である。次の行で，ニューラルネットワークと optimizer を RaNNC に渡す（3 行目）。RaNNC を使用するために最低限変更が必要なのは，この 1 行だけであり，以降は一般的な PyTorch の 使用法と同じである。このように RaNNC は，ニューラルネットワークの定義において並列化 のための記述が不要なため, 容易に大規模ニューラルネットワークを学習できる.

図 2 に，RaNNCによるニューラルネットワーク分割の概要を示す. RaNNC は，ニューラル ネットワーク定義を計算グラフに変換した後，計算グラフを複数の部分グラフに分割する（図中 では，矩形は計算，楕円は値を示している）。また，デー夕並列とモデル並列を組み合わせた八 イブリッド並列を行うため，部分グラフのそれぞれについて，データ並列の並列度を設定する。図に示すように，RaNNCでは，部分グラフごとに異なるデー夕並列の並列度を設定できる.

図 1 RaNNC の利用例

図 2 RaNNC によるネットワーク分割
部分グラフへの分割とデータ並列の並列度は，各部分グラフの必要メモリが GPU のメモリ に収まるようにするとともに，パイプライン並列と呼ばれる方式で実行速度が最適化されるよ うに決定する，詳細については，著者らの論文 (Tanaka et al. 2021)を参照されたい.

## 3 評価実験

RaNNC の速度を評価するため，モデル並列による学習を行う関連フレームワークとの比較実験を行った。比較対象として, Megatron-LM, GPipe (Huang et al. 2018), PipeDream-2BW (Narayanan et al. 2020)を用いた．実験には，NVIDIA V100を 8 枚備えたサーバを最大 4 台 (100 Gbps の InfiniBand で相互接続) を用いた.

隠れ層サイズを 2048 （原論文の 2 倍）とした BERT について，レイヤ数を変化させながら，事前学習の実行速度を調査した結果を図 3 (a)に示す. GPUを 32 枚用い，GPUごとのバッチ サイズは 8 とした. レイヤ数が 256 の場合で，学習パラメータ数は 129 億となる。なお, GPipe のオリジナルの実装では TensorFlowを使用しており，またデー夕並列とモデル並列の併用が不可能なため, RaNNC との比較が困難であった。 そこで, PipeDream-2BW の著者らによって開発された，PyTorchを用い，かつデー夕並列とモデル並列の併用が可能な実装2を用いた.

この実験では, Megatron-LM と比較して, 約 5 倍の大きなネットワークまで学習できることが 確認できた ${ }^{3}$. また比較可能な規模のネットワークでは, ほぼ同等の速度となった. PipeDream2BWは，RaNNCよりも幾分高速であることが確認されたが，高速化の目的で勾配の集約のた

(a) 大規模BERTの事前学習 (系列長512)

(b) 大規模ResNet

図 3 大規模ニューラルネットワーク学習の速度比較

めの通信を非同期化しているため, parameter staleness (Ho et al. 2013) と呼ばれる問題により,学習精度低下の可能性があるという難点がある.

また，画像分類等に用いられる ResNet (He et al. 2016) について，原論文で示された 50 レ イヤ・101レイヤ・152レイヤのそれぞれの設定について, 畳み込みレイヤのフィルタサイズ をオリジナルの 8 倍に拡大し, 学習速度を比較した。もっともパラメータが多い 152 レイヤの 設定では， 37 億パラメータとなる。前述の通り， Megatron-LM は Transformer 系のニューラル ネットワークにしか適用できないため, 本実験には使用していない。またBERT の学習におけ る評価に用いた PipeDream-2BW や GPipeの実装は，BERT に特化されており，ResNet で動作させることができなかった．そのためこの比較では，PyTorch を用いたGPipeの実装である torchgpipe 4 を用いた． torchgpipe はモデル並列のみに対応し，データ並列と併用できず，また 複数サーバの GPU を利用できない。そのため，サーバ 1 台（GPU 8 枚）を用いたモデル並列 で実行した。

図 3 (b) に学習速度の比較を示す. サーバ 4 台（GPU 32 枚）とサーバ 1 台（GPU 8 枚）の 2 通りを実行し，GPU 1 枚あたりのバッチサイズは 16 とした。図に示すように，デー夕並列で は学習不可能な規模のネットワークにおいて，GPipe より顕著に高速に動作することが確認で きた。

## 4 今後の展望

冒頭で挙げた GPT-3 の発表以降も, 各国で競うように超大規模ニューラルネットワーク学習の試みが進められており，NAVER が学習した韓国語の言語モデル HyperCLOVA ${ }^{5}$ (2040 億 パラメータ), Google が発表した Switch Transformers (Fedus et al. 2021)（最大 1.6 兆パラメー 夕), 中国語・英語のテキストに加えて画像を学習データに用いた Wu Dao 2.06 (1.7 兆パラメー 夕）などが報告されている。こうした大規模化の傾向に止まる兆しはなく, 大規模ニューラル ネットワーク学習の重要性は今後ますます増していくと思われる.

利用可能な計算資源の制限のため, これらの超大規模ニューラルネットワークには及ばない ものの, 本稿の執筆時点で, RaNNC を用いて約 800 億パラメータ規模の BERT（BERT-Large のパラメータ数の約 230 倍以上）の学習が可能なことを確認できている． RaNNCを用いること で，並列化を一切考慮していないコードを用いながら， 1000 億パラメータ近いニューラルネッ トワークを自動的に分割して並列化できることは，作り込みによって実現される他のモデル並列の技術と比較して優位であると言える。今後も更なる大規模化と高速化のための機能強化を
^{5}$ https://naver-ai-now.kr/

6 https://gpt3demo.com/apps/wu-dao-20
}
継続して進め, 近日中に GPT-3（1750 億パラメータ）規模のニューラルネットワークの学習を 実現する予定である.

RaNNC はすでに実利用の段階にあり， 50 億パラメータまで大規模化した BERTを，情報通信研究機構 (NICT) が持つ $1.5 \mathrm{~TB}$ の巨大日本語コーパスを用いて学習し, 従来の BERT-Largeを 上回る性能を確認している。前述の既存フレームワークと異なり，RaNNC は Transformer 以外 のニューラルネットワークにも適用可能であるため, 今後は，敵対的学習で事前学習したCNN と BERT を組み合わせた BERTAC (Oh et al. 2021)を初めとする，より複雑なニューラルネッ トワークについても適用を進める。また，学習したモデルは，NICTがこれまで開発してきた 大規模 Web 情報分析システム WISDOM X ${ }^{7}$ や，高齢者介護支援用マルチモーダル音声対話シス テム MICSUS 8 等のシステムに組み込んでいく. 従来は, 350 GB の日本語コーパスから学習さ れた BERT-Large を用いてきたが，パラメータ数と事前学習に用いるコーパスを大幅に増加し た BERT モデルを使用することで，これらの応用システムにおいても，更なる性能向上が期待 される.

## 参考文献

Brown, T. B., Mann, B., Ryder, N., Subbiah, et al. (2020). "Language Models are Few-Shot Learners." arXiv preprint, arXiv:2005.14165.

Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. (2019). "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding." In Proceedings of the 17th Annual Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL-HLT 2019), pp. 4171-4186.

Fedus, W., Zoph, B., and Shazeer, N. (2021). "Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity." arXiv preprint, arXiv:2101.03961.

He, K., Zhang, X., Ren, S., and Sun, J. (2016). "Deep Residual Learning for Image Recognition." 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR 2016), pp. $770-778$.

Ho, Q., Cipar, J., Cui, H., Kim, J. K., Lee, S., Gibbons, P. B., Gibson, G. A., Ganger, G. R., and Xing, E. P. (2013). "More Effective Distributed ML via a Stale Synchronous Parallel Parameter Server." In the 26th International Conference on Neural Information Processing Systems (NIPS'13), pp. 1223-1231.

Huang, Y., Cheng, Y., Bapnao, A., et al. (2018). "GPipe: Efficient Training of Giant Neural Networks using Pipeline Parallelism." arXiv preprint, arXiv:1811.06965.

Kaplan, J., McCandlish, S., et al. (2020). "Scaling Laws for Neural Language Models." arXiv preprint, arXiv:2001.08361.

Narayanan, D., Phanishayee, A., Shi, K., Chen, X., and Zaharia, M. (2020). "Memory-Efficient Pipeline-Parallel DNN Training." arXiv preprint, arXiv:2006.09503.

Oh, J.-H., Iida, R., Kloetzer, J., and Torisawa, K. (2021). "BERTAC: Enhancing Transformerbased Language Models with Adversarially Pretrained Convolutional Neural Networks." In Proceedings of the Joint Conference of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (ACL-IJCNLP 2021), pp. 2103-2115.

Paszke, A., Gross, S., Massa, F., et al. (2019). "PyTorch: An Imperative Style, High-Performance Deep Learning Library." In Advances in Neural Information Processing Systems 32 (NIPS 2019), pp. 8024-8035.

Shazeer, N., Cheng, Y., Parmar, N., et al. (2018). "Mesh-TensorFlow: deep learning for supercomputers." In Advances in Neural Information Processing Systems 31 (NIPS 2018), pp. 10435-10444.

Shoeybi, M., Patwary, M., Puri, R., LeGresley, P., Casper, J., and Catanzaro, B. (2019). "Megatron-LM: Training Multi-Billion Parameter Language Models Using Model Parallelism." arXiv preprint, arXiv:1909.08053.

Tanaka, M., Taura, K., Hanawa, T., and Torisawa, K. (2021). "Automatic Graph Partitioning for Very Large-scale Deep Learning." In Proceedings of the 35th IEEE International Parallel and Distributed Processing Symposium (IPDPS 2021), pp. 1004-1013.

Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., et al. (2017). "Attention is All you Need." In Advances in Neural Information Processing Systems 30 (NIPS 2017), pp. 5998-6008.

## 略歴

田仲 正弘：2009 年京都大学情報学研究科社会情報学専攻博士課程修了後, 情報通信研究機構 (NICT) に勤務. 現在, NICT デー夕駆動知能システム研究セ ンター・主任研究員．大規模自然言語処理のための分散並列処理ミドルウェ アの研究開発に従事.

田浦健次朗：1992 年東京大学理学部情報科学科卒業. 同専攻 修士課程, 博士課程, 助手, 1999 年 7 月-2000 年 6 月 米国カリフォルニア大サンディエゴ校客員研究者（在外研究員）などを経て，2001 年東京大学大学院情報理工学研
究科電子情報学専攻 講師. 2015 年より同専攻教授（現在に至る）。 2018 年 4 月より東京大学情報基盤センター長. プログラミング言語, 並列, 分散処理,高性能計算の研究に従事.

塙 敏博：1998 年慶應義塾大学大学院理工学研究科計算機科学専攻博士課程修了後, 東京工科大学工学部情報工学科/コンピュータサイエンス学部講師 を経て, 2007 年筑波大学計算科学研究センター研究員, 2008 年筑波大学シス テム情報工学研究科准教授, 2013 年東京大学情報基盤センター特任准教授, 2015 年同准教授，2020 年同教授（現在に至る）、計算機アーキテクチャ，高性能相互結合網, 高性能計算, GPU コンピューティング等に関する研究に 従事.

鳥澤健太郎：1992 年東京大学理学部情報科学科卒. 1995 年東京大学大学院理学系研究科情報科学専攻助手. その後, 北陸先端科学技術大学院大学助教授等 を経て, 2008 年より情報通信研究機構 (NICT) 勤務. 現在, NICT フェロー, ユニバーサルコミュニケーション研究所・副所長, 及びデー夕駆動知能シス テム研究センター・主管研究員. 自然言語処理の研究に従事. 日本学術振興会賞, 文部科学大臣表彰科学技術賞, Twitter Data Grants など受賞.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 学会記事
## NLP 若手の会 (YANS) 第 16 回シンポジウム 一オンライン開催における施策について一

\author{
高瀬翔 $\dagger$
}

## 1 はじめに

本稿では 2021 年 8 月 30 日および 31 日に開催されました, NLP 若手の会（以下 YANS と表記）第 16 回シンポジウムの内容や運営について，委員長を務めました高瀬が記します．特に， オンライン開催となった第 16 回シンポジウムにおける, 議論の活発化や参加者の交流の促進を 目指した様々な施策に焦点を当てます. YANS の理念や目的, 歴史については人工知能学会誌 の記事 (海野 他 2017) や自然言語処理の記事 (高瀬 2021)を参照いただけますと幸いです.

## 2 第 16 回シンポジウム概要

オフラインでの開催予定からオンライン開催に切り替えた昨年の第 15 回シンポジウムとは異 なり, 第 16 回シンポジウムは当初からオンライン開催として企画していました. この 1 年で蓄積されたオンライン開催に関する知見を活かした様々な施策を導入したことに加え，チュート リアルやハッカソンの開催も鑑みて，第 16 回シンポジウムは 2 日間の開催としました ${ }^{1}$. 参加者数は 221 人, 発表件数は 71 件でした. 過去 5 年における参加者数, 発表件数の平均はそれぞ れ 209 人, 63 件でして, どちらも平均よりは多くなりました. 参加者のおよそ半分が学士課程,修士課程の学生でして, 研究室に所属したての方も多かったのではないかと思います。参加者数, 発表件数の推移は図 1 に示したとおりです2.

第 16 回シンポジウムではチュートリアルとして, 筑波大学の馬場雪乃氏, 奈良先端科学技術大学院大学の渡辺太郎氏に講演いたたききました. 馬場雪乃氏の講演「Human-in-the-loop 機械学習」ではクラウドソーシングにおける各ワーカーの信頼度の推定や, ワーカーの予測の集合を学習する手法, クラウドソーシングの活用方法についてお話しいただきました． 渡辺太郎氏の講演「Back to the noisy channel」では，機械翻訳の歴史を概観し，人手による出力の制御などを

図 1 YANS シンポジウムにおける, 参加者数・発表数の推移.

容易にするため，現在主流のニューラル機械翻訳から雑音のある通信路モデル (Noisy Channel Model) へ回帰する試みについて紹介いただきました。 どちらの講演も資料が公開されています ので，ご参照いただければと思います3 3

第 16 回シンポジウムではチュートリアルと懇親会に Zoom を, ポスター発表のセッションに は Gather (gather.town) を利用しました。また，参加者間の交流を促す施策の一環としてハッ カソンを開催しました。続く節ではポスター発表, ハッカソン, 懇親会について詳しく説明し ていきます.

## 3 ポスター発表

YANS シンポジウムでは主に萌芽的な研究の発表を募集しています。このため, 議論のしや すいであろうポスター発表の形式を採用してきました. 多人数で議論を行う形式はオンライン では難しく, ツールの選定は今年も頭を悩ませましたが，今回のシンポジウムでは Gather を 採用しました. Gather はオンライン上のマップにアバターを配置し, 近辺のアバター同士でコ ミュニケーションを取ることのできるツールです. マップ上にはアバターがアクション可能な オブジェクトを設置することができ，例えばポスターボードを置くことで，ポスター発表の会場を作成することができます。第 16 回シンポジウムで実際に使用した Gather のポスター会場 を図 2 に示しています。図 2 において，アバターがポスターボード周辺の色が濃くなっている 部分にいる場合, ポスターを閲覧し, 発表者（や他の聴講者）と議論することが可能となりま す。本シンポジウム以外にも，ACL や NeurIPS など，この 1 年間での国際会議においては，ポ スター発表会場として Gatherが広く使われていた印象があります.

Gatherでのポスター発表はアバターを通して直感的にポスターを見て回れます。会場内を動
^{3}$ https://yans.anlp.jp/entry/yans2021report
}

図 2 Gather を使用したポスター発表セッションの様子.

くことで様々なポスターが目に入るので，意識していない発表に出会えることは利点と考えて います。また，各発表に聴講者がいるかを視覚的に確認できる点も聴講する際の心理的な障壁 を緩和していると考えています。

Gatherでのポスター発表は概ね好評でしたが，聴講者の反応が見えづらいという声がありま した。これは聴講者がカメラをオフにしていて顔が見えないということであり，Gather 特有の 問題ではなく，オンラインにおける発表についてまわる問題かと思います。参加者全員がカメ ラをオンにすれば解決可能な問題にも思えますが，自室で参加しているなどプライバシーの問題，固定回線ではないなど通信が不安定な問題のように，個々の環境による事情があり，安易 にカメラのオンを全参加者に求めて良いものかは個人的には難しい問題と考えています.

## 4 ハッカソン

共同作業を通じて参加者間で交流を行い，また，研究開発を学んでもらう機会としてハッカ ソンを開催しました. シンポジウムへの参加登録時に，ハッカソンへの参加を希望された方に ついて, 研究開発の経験年数や所属などのバランスを考慮し，チームを編成しました。また, シンポジウム参加者からハッカソンに使用するデータの募集を行い，理研 AIP の森羅を用いた Wikipedia からの属性值抽出をタスクとしました，期間としては，例年はシンポジウム期間中 に行っていたのですが，ハッカソン参加者も発表に集中できるよう，シンポジウム前の 2 週間 で行うこととしました。加えて，参入しやすくなるようべースラインを用意する，競い合って いることが分かりやすくなるようリーダーボードを用意するなどの工夫を行いました。 ハッカ ソンの結果については運営委員，および，参加した 5 チームそれぞれの発表がまとめてありま す, シンポジウムの開催報告ぺージをご参照ください4.
^{4}$ https://yans.anlp.jp/entry/yans2021report
}

## 5 塈親会

YANS シンポジウムは参加者の相互交流および成長の場を提供することを目的としています.参加者アンケートを見ても，参加者との交流を目的として参加している方が最も多いです。し かしながら, オンライン会議では参加者同士の偶然の出会いや雑談が発生する機会が少なくな りがちです. 特に近年のシンポジウムでは参加者の半数が修士課程以下の学生であり, 初対面同士が非常に多く, きっかけがないと話しづらい状況と考えています.

交流のきっかけとして, ここ数年のシンポジウムの懇親会では所属の異なる参加者同士が同 じ卓に着くよう，運営委員側で座席を指定していました。しかしながら, 初対面同士ですと席 を隣り合わせにしても話しづらいという問題がありました。これを解消するため, 第 16 回シン ポジウムでは, 参加者の希望するトピックに応じて懇親会の卓を作成しました．例えば参加登録時に機械翻訳について議論したいと申し出た場合，同様に機械翻訳について議論を希望して いる別所属の参加者数名と同一の卓となるよう調整しました. さらに，複数トピックで多数の 参加者と意見が交わせるよう，上記の卓を 15 分ごとに更新するようにしました．実装として は，Zoomのブレイクアウトルームに各卓の名前を記入しておき，参加者には事前に配布したス ケジュールに従って各ブレイクアウトルームのセッション（各トピックの卓）に入ってもらう ようにしました.

参加者アンケートを見ると，本懇親会が交流に効果的だったという意見が多く，良い体験が できたと好評のようです。一方で，ひとつの卓についている時間が 15 分というのは少し短いと いう意見もあり，時間については調整の余地があるように思われます。見ず知らずの人と話し 続けるというのは負担が大きく, また, 個人的な体感としては, 各卓での進行を務めたからか, 2 時間5喋り続けて非常に疲れたので，さらに時間を延ばすことは難しいのではと感じています が，他の委員や参加された方の意見を元により良くしていければと考えています.

## 6 おわりに

本稿では NLP 若手の会第 16 回シンポジウムにおける施策について記しました. オンライン での学会では参加者間の交流が難しいという意見をよく耳にしますが，これを解消する一助と なりましたら幸いです。

1 年以上に渡るコロナ禍でいくつかの学会に参加し, また, YANS シンポジウムの運営を通し て，オフラインでの環境をオンラインに実現しようとするのではなく，目的や理念を問い直す ことが重要であると感じました. YANS に関しては, 元来シンポジウムの最中に開催していた

ハッカソンについて，オンライン開催ではシンポジウム期間中の密な議論は難しかろうという 点は作業期間をシンポジウム前とする一因となりました。また，懇親会におけるトピックごと に卓を用意し次々と移動するという施策も，移動が数クリックで可能なオンラインの方がオフ ライン開催よりも容易に運用できるかと思います。これらは参加者間の交流の場を提供すると いう YANS シンポジウムの目的に照らし合わせ，オンラインで可能な方法を模索した結果，実現しました．将来的にオフラインでの開催が可能となった場合には, オンライン開催で好評で あった施策について，導入可能なものは取り入れられれば良いと考えています.

とは言ったものの, 自分の委員長としての任期は今年度いっぱいとなっています6. YANS シ ンポジウムは毎年様々な施策が出ているように, 各回の委員長および運営委員によって異なる 様相となります.これからの YANS がどのようになっていくのかは, 自分としても楽しみです.

## 謝 辞

本稿の執筆にあたり，2021 年度に高瀬と共に YANS 委員長を務められた，萩行正嗣さんに有益な助言をいただきました.

## 参考文献

高瀬翔 (2021). NLP 若手の会 (YANS) シンポジウム。自然言語処理, 28 (1), pp. 253-258.

[S. Takase (2021) . Report on the Symposiums of Young Researcher Association for NLP

Studies. Journal of Natural Language Processing, 28 (1), pp. 253-258.].

海野裕也, 岡崎直観, 西川仁, 中澤敏明 (2017). NLP 若手の会. 人工知能, 32 (2), pp. 266-267. [Y.

Unno et al. (2017). Young Resercher Associassion for NLP Studies. Journal of the Japanese Society for Artificial Intelligence, 32 (2), pp. 266-267.].

## 略歴

高瀬翔：2012 年東北大学工学部卒業. 2014 年東北大学大学院情報科学研究科博士前期課程修了. 2017 年東北大学大学院情報科学研究科博士後期課程修了. 2020 年 4 月より東京工業大学助教. 博士 (情報科学). 言語処理学会, ACL 各会員.


# 学会記事
## 機械翻訳研究の科学的信頼性：品質評価方法の分析

\author{
Benjamin Marie ${ }^{\dagger}$ 藤田 篤 $\dagger \cdot$ Raphael Rubino ${ }^{\dagger}$
}

本稿では, 2021 年 8 月に開催された ACL-IJCNLP 2021 において Outstanding Paper Awardを 受賞した我々の論文 "Scientific Credibility of Machine Translation Research: A Meta-Evaluation of 769 Papers" (Marie et al. 2021)の内容の一部を，日本語で紹介する.

## 1 動機と方法

技術の性能向上や応用・実用の可否などを検討する上で，当該技術の評価は不可欠である.機械翻訳 (MT) 技術の研究・開発においては, MT システムが生成する訳出物（以下，MT 訳） の品質の評価を通じた間接的な評価が行われてきた. BLEUスコア (Papineni et al. 2002)の出現以降，人間の翻訳者によって別途作成された（複数の）参照訳との比較に基づく自動評価が，安価・高速・客観的な評価方法としてMTに関する研究を加速させた。近年のMT 技術に関す る研究論文（以下，MT 論文）は典型的に，(1) MT の品質を向上させる手法を提案し，(2) 当該手法による MT 訳の品質を自動評価尺度を用いて評価し，(3) それが既存の手法で得られる MT 訳の品質よりも高いことをもって提案手法の優位性を示す, という論理展開で構成される。 しかしながら，上記の (2)や (3) の方法が適切でない論文が査読を経て出版されていたり，論文 の查読過程で査読者から不適切な提案・要求がなされたりする場合がある。これらから，論文 の著者や査読者の間で，評価方法の是非についての認識が一貫していないことが示唆される.

そこで我々は，MT 技術の品質評価に関するガイドラインの構築を目指し，MT のコミュニ ティによる查読を経て出版された $\mathrm{MT}$ 論文において用いられた品質評価方法を分析した。まず， ACL 主催の ACL，NAACL，EACL，EMNLP，CoNLL，AACLにおいて 2010 2020 年に出版 された MT 論文を, ACL Anthology ${ }^{1}$ から収集した。そして, 2 種類以上の MT 訳の品質を比較 している 769 件について, 次の 6 種類の情報を付与した22.

A1. 品質評価に用いているすべての自動評価尺度（亜種は一括）

A2. 人手評価を行っているか否か

A3. 自動評価尺度のスコアの比較時に統計的仮説検定を行っているか否か

図 1 各自動評価尺度（5 件以上の論文で用いられた尺度に限る）および人手評価を含む MT 論文の割合. “Other”はそれら以外のすべての自動評価尺度すべてを, “Human”は人手評価を指す。

A4. 先行研究で報告されている自動評価尺度のスコアをコピーして示しているか否か

A5. 自動評価のツールとして SacreBLEU (Post 2018)を用いているか否か

A6. 比較している複数の MT システムが同一のデータを用いていることを確認しているか否か

## 2 憂慮すべき傾向

769 件の MT 論文に対して付与した上述の 6 種類の情報を分析することで，科学的に信頼で きない結論を導きかねない，4つの傾向が明らかになった.

## 2.1 BLEUスコアへの過度な偏向

A1 と A2 の情報を整理した結果を図 1 に示す.ほぼすべて (98.8\%)の MT 論文が BLEU スコ アを用いていた. BLEUスコアの限界についてはよく知られており (Callison-Burch et al. 2006; Reiter 2018; Mathur et al. 2020), 以前は TER (Snover et al. 2006) や METEOR (Banerjee and Lavie 2005) などの他の自動評価尺度も併用されていた。しかしその割合は高くはなく, BLEU スコアのみを用いた MT 論文の割合は全体の $74.3 \% ， 2019 \sim 2020$ 年に限れば $82.1 \%$ にる。ま た, 2010 年以降少なくとも 108 種類の自動評価尺度（亜種は一括，今回の分析対象の中では 29 種類）が提案され，人間による評価との相関が BLEU スコアよりも高いことをもって「優れて いる」という主張がなされてきた。それにもかかわらず，提案者以外によって評価に用いられ たものは RIBES (Isozaki et al. 2010) と chrF (Popović 2015)の 2 種類のみであった.

このように, 多くのMT 研究者がBLEUスコア以外の自動評価尺度を無視している．科学的な 合意形成はなされていないにもかかわらず BLEU スコアの差について語る際 “small”, "large”, （統計的な意味に限らず）“significant”などの表現が頻繁に用いられていることから，BLEU ス コアの差は解釈しやすい, 先行研究との比較が容易である, などと認知されていることが推察さ

図 2 自動評価尺度のスコアの比較時に統計的仮説検定を行っている MT 論文の割合.

れる。論文の査読過程で，論文の主旨とは関係ない文脈でも BLEU スコアを示すことや，BLEU スコア以外の自動評価尺度についての言及を削除することが求められる場合もある.

すでに多くの研究者によって指摘されているように，BLEU スコアだけでなく，より適切な 自動評価尺度を併用すべきである。

## 2.2 消えゆく統計的仮説検定

統計的仮説検定は，実験結果が偶然ではないことを確認するための標準的な作法である．MT の研究においては，主に自動評価尺度のスコアの差が有意であることを確認する手段 (Koehn 2004; Riezler and Maxwell 2005) として統計的仮説検定が用いられてきた。しかしながら，A3 の情報（図 2）を見ると，自動評価尺度のスコアの比較時に統計的仮説検定を行っている MT 論文の割合は, 最も多い年でも $65 \%$ に過ぎない。さらに, 2016 年以降, その割合が急激に下がっ ている。つまり, 近年多くのMT 論文が自動評価尺度のスコアの有意差を確認することなく結論を出しており，論文の査読過程でもそれを問題視していない，ということである.

もちろん，統計的仮説検定も万能ではない (Wasserstein et al. 2019). それでも，検定を行わ ないよりは信頼できるし，無視することを正当化する理由にはならない.

## 2.3 安直にコピーされる自動評価尺度のスコア

A4 と A5 の情報を整理した結果を図 3 に示す. 先行研究で報告されている自動評価尺度のス コア（大抵は BLEU スコア）をコピーするという行為が 2015 年以降急増しており，その割合は 2019～2020 年には $40 \%$ 近くに上る. しかしながら, これらのスコアが本当に比較可能であるか 否かは必ずしも確認されていない．BLEUスコアは，他の多くの自動評価尺度のスコアと同様 に，MT 訳と参照訳の前処理の方法などによって大きく異なりうる．Post (2018)は, 多くのMT 論文が前処理に関する詳細を報告しておらず，自動評価尺度のスコアも適切に比較できていな いことを指摘し，SacreBLEUを提案した．しかしながら，SacreBLEU は 2020 年でも $40 \%$ 弱の MT 論文でしか用いられていない. SacreBLEUの “signature”を報告していない論文も多い.

先行研究で報告されている自動評価尺度のスコアをコピーする場合, 報告されていない尺度

図 3 先行研究における自動評価尺度のスコアをコピーしている MT 論文 ("Copied scores"), SacreBLEU を用いている MT 論文 ("SacreBLEU”), 自動評価尺度のスコアをコピーしつつも SacreBLEUを 用いずに評価を行っている MT 論文 ("Copied w/o SacreBLEU") の割合.

図 4 同一ではないデー夕を用いて訓練された MT システムを比較している論文の割合.

は比較できないため BLEU スコアへの偏向が加速してしまう（2.1 節）し，MT 訳がないため統計的仮説検定も行えない（2.2 節）。また，SacreBLEU の “signature”が同一であればスコアは 比較可能であると言われているが，MT システムの訓練に用いられたデータの非同一性（2.4 節） に対しては無力である. 自動評価尺度のスコアのコピーは避けるべきである。

## 2.4 同一でないデータに基づく公平でない比較

科学研究における作法の一つに，評価対象以外の変数を固定して行う対照実験がある．MT システムのアーキテクチヤや訓練手法を提案する際は，評価実験に用いるデータおよびその前処理（フィルタリング，分かち書きのツールやパラメ夕，大文字小文字の処理など）を比較手法間で統一する必要がある。そうでなければ，自動評価尺度のスコアの差異が手法の違いとデー 夕の違いのどちらに依拠するのかを見分けられない.

先行研究で報告されている自動評価尺度のスコアをコピーしている MT 論文に対して A6 の 情報を付与したところ，データの同一性を確認しているものは 3 件のみであった. 不公平な比較を行っている論文の割合（対象を限定しているため，この値は下限値）を図 4 に示す. 2019 ～ 2020 年の MT 論文のうち $38.5 \%$ が，同一でないデータを用いて訓練された異なるシステムを 比較していた。すなわち, これらの MT 論文における結論は, 評価に瑕疵があるため科学的に は裏付けられていない.

同一のデータに基づく公平な比較を行うには，結局は自動評価尺度のスコアをコピーするこ とを止め，我々自身が比較手法を再現するのが確実である。その際の手間や計算コストは，前処理済のデータや手法の実装を公開・共有することによって軽減できる。また，論文の査読過程で対照実験としての適切さを厳格に審査することも不可欠である.

図 5 我々のガイドラインに照らしたときの得点の分布と平均値.

## 3 MT 研究の評価手法のメタ評価ガイドライン

上述の 4 つの問題は，先行研究でも指摘されており，かつ容易に回避できるものである. し かしながら，多くのMT 論文が 1 つ以上の問題を含んでおり，複数の問題を含む MT 論文の割合も年々増加している。

現状よりもいくらか科学的で建設的な議論を行うための一助となることを期待し, 我々は,上述の 4 つの問題をふまえた簡単なガイドライン（4 点満点の採点手法）を作成した.

（1） MT の評価の際に，人間による評価との相関が BLEU スコアよりも高い自動評価尺度を 用いているか? あるいは人手評価を行っているか?

(2) 自動評価尺度のスコアの有意差を, 統計的仮説検定を用いて確認しているか?

（3）自動評価尺度のスコアを他の論文などからのコピーせず，自ら算出しているか? やむを 得ずコピーした場合, 比較可能であることを担保しているか?

（4）手法の優位性を検証する場合，同一のデー夕を用いた適切な対照実験を行っているか? （特定のデータや前処理に特化した手法についてはこの限りではないので，是とする）

このガイドラインは, 自動評価尺度のスコアに基づく評価を行う MT 論文向けのものである. MT 論文の著者自身，また学会などのプログラム委員によって，論文の信頼性評価に利用でき る。本研究で分析した全論文の得点分布を図 5 に示す. MT 論文の信頼性は年々劣化している ものの, 2020 年に 4 点満点の論文が 7 件あったことは興味深い.

## 4 今後の展望

本研究で分析した点以外にも，評価に用いられる言語対の偏り（特に英語を含む場合が極端 に多い), ベースラインの適切さ (Denkowski and Neubig 2017) など, MT の評価における問題

は多々存在する。今後はこれらについての分析も予定している。また, ACL 以外の機械学習や 人工知能に関する会議で発表された MT 論文における傾向も調査したい，末筆になるが，MT 以外の自然言語処理の各分野においても，同様のメ夕分析が行われることを期待している.

## 謝 辞

本稿で報告した内容の一部は, 科研費若手研究『Neural Machine Translation for User-Generated Content』（課題番号：20K19879）ならびに科研費基盤研究 (S)『翻訳規範とコンピテンスの可操作化を通した翻訳プロセス・モデルと統合環境の構築』（課題番号：19H05660）の支援を受けた.

## 参考文献

Banerjee, S. and Lavie, A. (2005). "METEOR: An Automatic Metric for MT Evaluation with Improved Correlation with Human Judgments." In Proceedings of the ACL Workshop on Intrinsic and Extrinsic Evaluation Measures for Machine Translation and/or Summarization, pp. 65-72.

Callison-Burch, C., Osborne, M., and Koehn, P. (2006). "Re-evaluating the Role of BLEU in Machine Translation Research." In Proceedings of the 11th Conference of the European Chapter of the Association for Computational Linguistics (EACL), pp. 249-256.

Denkowski, M. and Neubig, G. (2017). "Stronger Baselines for Trustable Results in Neural Machine Translation." In Proceedings of the 1st Workshop on Neural Machine Translation, pp. 18-27.

Isozaki, H., Hirao, T., Duh, K., Sudoh, K., and Tsukada, H. (2010). "Automatic Evaluation of Translation Quality for Distant Language Pairs." In Proceedings of the 2010 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 944-952.

Koehn, P. (2004). "Statistical Significance Tests for Machine Translation Evaluation." In Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 388-395.

Marie, B., Fujita, A., and Rubino, R. (2021). "Scientific Credibility of Machine Translation Research: A Meta-Evaluation of 756 Papers." In Proceedings of the Joint Conference of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (ACL-IJCNLP), pp. 7297-7306.

Mathur, N., Baldwin, T., and Cohn, T. (2020). "Tangled up in BLEU: Reevaluating the Evaluation of Automatic Machine Translation Evaluation Metrics." In Proceedings of the 58th

Annual Meeting of the Association for Computational Linguistics (ACL), pp. 4984-4997.

Papineni, K., Roukos, S., Ward, T., and Zhu, W.-J. (2002). "BLEU: A Method for Automatic

Evaluation of Machine Translation." In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 311-318.

Popović, M. (2015). "chrF: Character n-gram F-score for Automatic MT Evaluation." In Proceedings of the 10th Workshop on Statistical Machine Translation (WMT), pp. 392-395.

Post, M. (2018). "A Call for Clarity in Reporting BLEU Scores." In Proceedings of the 3rd Conference on Machine Translation (WMT): Research Papers, pp. 186-191.

Reiter, E. (2018). "A Structured Review of the Validity of BLEU." Computational Linguistics, 44 (3), pp. 393-401.

Riezler, S. and Maxwell, J. T. (2005). "On Some Pitfalls in Automatic Evaluation and Significance Testing for MT." In Proceedings of the ACL Workshop on Intrinsic and Extrinsic Evaluation Measures for Machine Translation and/or Summarization, pp. 57-64.

Snover, M., Dorr, B., Schwartz, R., Micciulla, L., and Makhoul, J. (2006). "A Study of Translation Edit Rate with Targeted Human Annotation." In Proceedings of the 7th Biennial Conference of the Association for Machine Translation in the Americas (AMTA), pp. 223-231.

Wasserstein, R. L., Schirm, A. L., and Lazar, N. A. (2019). "Moving to a World Beyond " $p<$ $0.05 "$ ". The American Statistician, 73 (sup1), pp. 1-19.

## 略歴

Benjamin Marie: 2016 年フランス・Paris-Sud University で Ph.D. を取得. 同年より NICT 先進的音声翻訳研究開発推進センター研究員。主に機械翻訳を 含む多言語処理の研究に従事.

藤田篤：2005 年奈良先端科学技術大学院大学情報科学研究科博士後期課程修了. 博士 (工学)。2014 年より NICT 先進的音声翻訳研究開発推進センター 主任研究員. 主に言い換え表現の生成と認識, 機械翻訳の研究に従事.

Raphael Rubino: 2011 年フランス・Avignon University で Ph.D. を取得. 2019 年より NICT 先進的音声翻訳研究開発推進センター研究員, 2021 年より同主任研究員. 主に機械翻訳, テキスト品質評価, 機械学習の研究に従事.


# 学会記事
## 文脈化単語埋め込みを利用した動詞の意味フレーム推定

\author{
山田康輔†
}

## 1 はじめに

本稿では，ACL-IJCNLP 2021 Findings に採択された論文 “Verb Sense Clustering using Contextualized Word Representations for Semantic Frame Induction" (Yamada et al. 2021b) (以下，論文 1)，およびACL-IJCNLP 2021 の本会議に採択された論文 "Semantic Frame Induction using Masked Word Embeddings and Two-Step Clustering" (Yamada et al. 2021a) (以下, 論文 2）について解説する。これらは共にフレーム知識の自動構築の第一段階となる動詞の意味 フレーム推定タスクに関する論文である。論文 1 では，同一フレームを喚起する動詞の用例ク ラスタリングにおける文脈化単語埋め込みの有用性の検証を行い，論文 2 では，動詞横断的な 意味フレーム推定タスクを高精度で解く手法を提案している，以降では，本研究の動機を述べ た後，論文 1 と 2 の研究概要とその研究過程について紹介する.

## 2 研究動機

人は言葉を理解するとき，これまでの経験から得た単語の背景知識を利用している。たとえ ば，「シェフが料理を振る舞う」と言われれば「誰かが誰かに何かを提供している」という状況 を想像し，「紳士のように振る舞う」と言われれば「誰かがある特定の様子で行動している」と いう状況を想像する。「振る舞う」という同じ単語に対してその前後の文脈に応じて単語の意味 の違いを理解し，さらに「誰かに提供している」や「誰かが行動している」のような状況を理解するのに必要とされる事柄を補完し，その言葉を理解している。フレーム知識とは，このよ うな状況などを示す言葉を理解するための単語の背景知識をフレームとして定義し，フレーム を喚起する述語とフレームの要素となる項をまとめている。このような知識は, 計算機がテキ ストを理解する際にも有用であるだろう，実際，述語構造解析や共参照解析，談話構造解析な どの主にテキストを文単位で理解する意味解析に有用であり，さらに，単語間の知識や状況間 の知識などと組み合わせることで強力な知識リソースを構築できると考えられる。

これまでに構築されてきたフレーム知識は大きく 2 種類存在する. 1 つは人手で整備されて いる意味役割付きのもので, FrameNet (Baker 2014) などが挙げられる. FrameNet は述語横断

的にフレームをまとめ, 深層格に基づき項の意味役割を定義しているが，アノテートコストが かかるため, カバレッジに限界がある。もう1つは大規模コーパスから自動構築されたもので,京大格フレーム (河原, 黒橋 2005) などが挙げられる. 京大格フレームは主語を示すガ格など表層格に基づき述語単位でフレームをまとめ，大規模でカバレッジが高いが，述語ごとに独立で あり，意味役割が付与されておらず，述語の意味的な同義性や項構造の解析に必要な情報が十分とは言えない。そこで，述語横断的かつ深層格ベースの意味役割を含む，より豊かなフレー ム知識を大規模コーパスから自動構築することが求められている.

最近では, BERT (Devlin et al. 2019) などの文脈化単語埋め込みが登場し, 質問応答や自然言語推論など多くの NLP タスクを高精度に解けるようになってきている。文脈化単語埋め込み は, 1 つの単語に対して 1 つの埋め込みではなく, 同じ単語であっても文脈に応じて異なる埋 め込みを獲得できる。このため，テキスト中の単語の意味の違い，すなわち動詞が喚起するフ レームの違いや項の意味役割の違いを的確に捉えられているのではないかと考えた。これらの 背景から文脈化単語埋め込みを利用し，大規模コーパスから意味フレームを自動構築する研究 に取り組んでいる。

## 3 論文 1：文脈化単語埋め込みの有用性の検証

## 3.1 研究概要

本研究では, 数多く提案されている文脈化単語埋め込みが述語の文脈に応じて喚起しうる意味フレームをどれほど識別できるかを検証した。具体的には，フレーム知識リソースの各用例内の動詞の文脈化埋め込みを獲得し，その埋め込みに基づき，動詞ごとでクラスタリングを行っ た。そのクラスタリング結果を用いて，同一動詞の用例内の動詞のフレーム識別性能，および 動詞が喚起しうるフレーム数推定性能を評価した。

フレーム識別実験では, 双方向の Transformer ベースのモデル (BERT, RoBERTa, XLNet, ALBERT) が高い性能を示し， 動詞が喚起する意味フレームの違いをかなり識別できることを 確認した。一方で, 双方向の LSTM ベースのモデル (ELMo) や一方向の Transfomer ベースの モデル (GPT-2) はあまり意味フレームの違いを捉えられていないことを確認した．また，上記 の結果を分析し，フレームの間に関係があるもの，すなわち類似したフレームを識別しにくい ことを実験的に示した。

フレーム数推定実験では， ベイズ情報量規準 (BIC) の調整版である adjusted-BIC を用いて検証した。人手でアノテートされたフレーム数に対する推定されたフレーム数を評価したところ， $50 \%$ から $60 \%$ の正解率で， 0.2 から 0.5 程度の弱い相関が確認された. 得られた結果から, ある 程度は推定できるが文脈化単語埋め达みの利用方法やクラスタリング方法などをさらに検討す る必要があるという結論に至った。

## 3.2 研究過程

本研究は, BERT が用例内の動詞が喚起するフレームの違いを識別できるかの検証から始まっ た. 最初は簡単な検証として，FrameNetの用例を動詞ごとでまとめ，BERT を用いてその動詞 の文脈化埋め込みを獲得し，可視化を行った。幸運にも，この可視化結果が想像以上に同義性 や多義性を良好に識別していることがわかった（論文内の動詞 “support”の例）その後，他の 文脈化単語埋め込みがどれくらいフレームの識別ができるかが気になり，検証した。この結果 も，BERT 派生モデルはせいぜい BERT と同じくらい，ELMo や GPT-2 はあまりうまくいかな いだろうという想定通りの結果が得られた。

ここまでは順調に進んだ，識別結果をどう定量的に示すかという問題にぶつかった．特に，各動詞で識別候補のフレーム数，すなわちクラスタ数の決定が難しかった．なぜなら，実験は 複数のフレームに定義される動詞のみを対象にしていたが，実際には特定のフレームしか喚起 しない動詞も存在しており，どのような評価方法を採用すべきか悩んだ。最終的には，フレー ム識別とフレーム数推定を別タスクとし，検証することでまとまった。そして，フレーム識別実験はアノテートされたフレーム数を与えるようにし，解釈しやすい実験設定にすることがで きた。実際, このタスク分けは査読者に好印象を与えることに成功した.

## 4 論文 2: 動詞横断的な意味フレーム推定

## 4.1 研究概要

本研究では, 動詞横断的な意味フレーム推定タスクを高精度に解く手法を提案した.この夕 スクを扱う従来手法 (QasemiZadeh et al. 2019) では, 動詞の文脈化埋め込みを用いて動詞横断的に一度にクラスタリングを行っていた. しかし，このような手法は 2 つの問題点がある。

1 つは動詞の文脈化埋め込みが動詞の表層的な情報に大きく影響されていることである，図 1の左側は, FrameNetから "get”と “acquire” の用例を抽出し, 各動詞の BERT の埋め込みを 2 次元圧縮して可視化したものである。図 1 から分かるように，GETTINGフレームを喚起する "get”の埋め込みは, 同じ GETTING フレームを喚起する“acquire”の埋め込みの近くに分布する 傾向が見られるが，各動詞が喚起するフレーム間よりも表層的な動詞間の差の方が大きいこと が確認できる。これを改善するために，BERT の事前学習時に使用する [MASK] トークンの埋 め込みであるマスクされた単語埋め込みを用いる方法を提案した。図 1 の右側がマスクされた 単語埋め込みの可視化結果である。マスクを用いることで動詞の表層的な情報を隠すことがで き，同じフレームを喚起する埋め込みが近い位置に分布していることが確認できる。提案法で は動詞の文脈化埋め込みとマスクされた単語埋め込みを線形補間した埋め込みを利用している.

もう 1 つは動詞横断的に一度にクラスタリングを行うことによって，同じフレームを喚起す る動詞の用例が多くの異なるクラスタに分けられてしまうことである．たとえば，ある動詞で

図 1 FrameNet の "get”と“acquire" の用例と各動詞が喚起するフレーム (上), 動詞 (左) とマスクされ た動詞（右）の BERT による埋め込みの 2 次元マッピング. ■と＋は用例中の "get"と "acquire" の埋め迄み，各色は動詞が喚起するフレーム Arriving, Transition_to_state, Getming フレー ムを示す.

図 22 段階クラスタリングの概要. "get”（左上）と “acquire”（左下）の用例を対象とした 1 段階目の クラスタリング，2 段階目の動詞横断的なクラスタリング（右）を示す.【と＋は用例中の "get" と“acquire”の埋め込みを表す。

獲得した埋め込みの中に外れ値となる埋め込みがある場合, その動詞が喚起する可能性のない フレームのクラスタに属してしまう。これを解決するために，2 段階クラスタリングを用いた 手法を提案した，具体的には，同じ動詞の用例をその意味に応じてクラスタリングを行い，そ の後, 動詞横断的にクラスタリングを行う. 図 2 がその手法の概要である. FrameNet を用いた 実験で提案手法が有用であることが確認された.

## 4.2 研究過程

本研究は，論文 1 をまとめた後，特定の動詞の文脈に応じたフレームの識別ではなく，動詞横断的に意味フレームを推定することを目標に開始した。このタスクは SemEval 2019 のタスク 2 で取り組まれており, ELMo や BERT の埋め込みでクラスタリングしたものがスコアの高い 手法となっていた。これを踏まえて，ひとまずBERT の動詞の文脈化埋め込みを用いた手法を ベースラインとして，そのスコアを超える手法を考えることにした.

当初, 動詞の文脈化埋め込みは, 動詞の表層情報を持つ埋め込みと, フレームを識別する情報を持つ埋め込みを混ぜ合わせたような埋め込みであると考えていた。このため，動詞の文脈化埋め込みと動詞の表層情報のみの埋め込みの差分を取ることで，フレームを識別する情報の みを持つ埋め込みを生成する方法を検討していた，たとえば，あらゆる動詞の用例を “get”に 置き換えて, その “get”の埋め込みを平均し, “get”の表層情報のみの埋め込みを獲得しようと した.しかし，これは狙い通りの埋め込みにはならず，無作為な埋め込みとなり失敗した.

その後, 動詞の表層情報をなくしたいと考えながら，BERT の論文を読み返したとき，事前学習時に用いられる $[\mathrm{MASK}]$ が周囲の文脈のみを考慮していることに気づいた。ここからマス クされた単語埋め込みを用いることを思いついた。そのときに得られた結果がまさに図 1 の右側の結果であり，マスクされた単語埋め込みを用いたクラスタリングを行えば， ベースライン を超えられる気がしていた。しかし，見事に失敗した。なぜなら，マスクされた単語埋め込み は全体的に類似するためクラスタリングが難しく，とりあえず動詞ごとでまとまる方が意味フ レームごとでまとまるからである.

ここからマスクされた単語埋め込みを生かすクラスタリング方法を検討し直した. しばらく 考えていたとき, 先行研究の 1 つが 2 段階でクラスタリングしていることをヒントに, 論文 1 の動詞の識別実験とマスクされた単語埋め込みをある程度集約して使用したいという考えが合 わさった. その結果, 動詞ごとで用例のクラスタリングをした後, 動詞横断的にクラスタリン グをする 2 段階クラスタリング手法を思いつき，先行研究および手法の有効性を示すべースラ インを超える手法であることを示すことに成功した，最終的に，マスクされた単語埋め込みに 加え，動詞の文脈化埋め込みも考慮した埋め込みを利用し，更なる性能が向上を確認した.

## 5 おわりに

本稿で解説した論文内では, 動詞の意味フレーム推定タスクにおける文脈化単語埋め込みの 利用方法やクラスタリング方法を検討および提案している. マスクされた埋め込みも考慮した 動詞の文脈化埋め込みはパラメータを調整することで文脈の影響と語の影響を調整できる。ま た，2段階クラスタリング手法は階層的なクラスタリングの設定で, クラスタ数の検討のみで利用できる。これらは本タスクに限らず汎用的な手法であるため, 何かの参考になれば嬉しい.
現在, 著者はフレーム知識自動構築に向けて, 次の段階であるフレーム内の意味役割推定と 項の意味役割の推定に取り組んでいる。最終的には生コーパスからフレーム知識を教師なし手法による自動構築を目標としている。また，英語をべースに研究を進めているが，日本語のフ レーム知識を自動構築しようと考えている。このフレーム知識自動構築プロジェクトに興味を いただけたら幸いである。

## 参考文献

Baker, C. F. (2014). "FrameNet: A Knowledge Base for Natural Language Processing." In Proceedings of Frame Semantics in NLP: A Workshop in Honor of Chuck Fillmore (19292014), pp. 1-5, Baltimore, MD, USA.

Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. (2019). "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL-HLT 2019), pp. 4171-4186.

河原大輔, 黒橋禎夫 (2005). 格フレーム辞書の漸次的自動構築. 自然言語処理, 12 (2), pp. 109-131.

[D. Kawahara and S. Kurohashi (2005). Gradual Fertilization of Case Frames. Journal of Natural Language Processing, 12 (2), pp. 109-131.].

QasemiZadeh, B., Petruck, M. R. L., Stodden, R., Kallmeyer, L., and Candito, M. (2019). "SemEval-2019 Task 2: Unsupervised Lexical Frame Induction." In Proceedings of the 13th International Workshop on Semantic Evaluation (SemEval 2019), pp. 16-30.

Yamada, K., Sasano, R., and Takeda, K. (2021a). "Semantic Frame Induction using Masked Word Embeddings and Two-Step Clustering." In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (ACL-IJCNLP 2021), pp. 811-816.

Yamada, K., Sasano, R., and Takeda, K. (2021b). "Verb Sense Clustering using Contextualized Word Representations for Semantic Frame Induction." In Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021 (ACL-IJCNLP 2021 Findings), pp. 4353-4362.

## 略歴

山田 康輔：2019 年名古屋大学工学部電気電子情報工学科卒業. 2021 年同大学院情報学研究科博士前期課程修了. 現在, 同博士後期課程に在籍.