# 入力拡張と制約付きデコーディングによる語彙制約付き機械翻訳

帖佐 克己 $\dagger \cdot$ 森下 睦 $\dagger \cdot$ 永田 昌明 $\dagger$
}

語彙制約付き機械翻訳は，翻訳文に含まれてほしいフレーズが指定された際に，そ れらのフレーズを含む文を生成するという制約の下で機械翻訳を行うタスクである。本論文では翻訳モデルの入力系列の拡張によってビームサーチによる語彙制約付き デコーディングの探索を効率化する手法を提案する．日英および英日翻訳での実験 により，提案手法が従来手法と比べて少ない計算コストで高い翻訳精度を実現でき ることを確認した。また，自動抽出されたノイズの多く含む語彙制約に対しても語彙制約付き機械翻訳手法を適用する手法を提案し，日英翻訳での実験によって一般的な機械翻訳手法と比べて高い精度が達成可能であることを示した。

キーワード：機械翻訳, 語彙制約, 対訳辞書
## Combining Input Augmentation and Constrained Decoding for Lexically-Constrained Neural Machine Translation

\author{
Katsuki Chousa $^{\dagger}$, Makoto Morishita $^{\dagger}$ and Masaaki Nagata ${ }^{\dagger}$
}

Lexically constrained machine translation is a task wherein the translation model is required to output translated sentences that contain all specified phrase constraints. In this paper, we propose a method for improving the efficiency of lexically-constrained decoding by extending the input sequence of the model. The results of experiments performed on En $\leftrightarrow$ Ja indicate that the proposed method achieves higher translation accuracy with less computational cost than do the conventional methods. Furthermore, we propose a method for automatically extracting noisy lexical constraints by using the lexical constraint machine translation method. Experiments on Ja $\rightarrow$ En show that the proposed method can achieve a higher level of accuracy than do general machine translation methods.

Key Words: Machine Translation, Lexical Constraints, Bilingual Dictionary

## 1 はじめに

語彙制約付き機械翻訳は，翻訳文に含まれてほしいフレーズが指定された際に，それらのフ レーズを含む文を生成するという制約の下で機械翻訳を行うタスクである。近年のニューラル 機械翻訳 (Neural Machine Translation; NMT) の発展 (Luong et al. 2015; Vaswani et al. 2017) に よって機械翻訳による翻訳文の品質は著しく向上したが, 語彙制約付き機械翻訳のような, モデ ルの出力する翻訳文を人手でコントロールする手法に対する NMT の適用に関してはまだ課題 が残されている。図 1 に語彙制約付き機械翻訳の例を示す. 従来の機械翻訳モデルでは指定し た語句を用いた翻訳が出来なかったのに対して，語彙制約付き機械翻訳モデルでは与えられた制約語句を反映させた翻訳を実現する。この際の制約語句は人手で与えられることが多い．訳語 を指定した翻訳ができることで，法務や特許等における翻訳において非常に重要とされる専門用語や適切な名詞などの翻訳での訳語の一貫性を実現することができる。また, 後編集のような人間が修正の指示を与えながら翻訳を行う，インタラクティブな翻訳にも応用可能である。さら に, 近年複数のワークショップにおいて語彙制約付き機械翻訳のシェアードタスク (Nakazawa et al. 2021; Alam et al. 2021) が開催されており，非常に注目を浴びているタスクである.

語彙制約を満たすために NMT モデルの出力をコントロールすることに取り組んだ研究はい くつか提案されており, Chen et al. (2020)に従うとそれらの手法は制約の取り扱い方によって

たすべての制約語句がモデルの出力に含まれることを保証する．従来手法は，ビームサーチに よる制約付きデコーディングで全ての制約語句を含む系列の候補を探索することで，このハー ド制約を満たすことを達成している (Hokamp and Liu 2017; Post and Vilar 2018).これらの手法はすべての制約を満たすことを保証する一方で, 従来の NMT と比べて大きい計算量を必要 とする。また，入力される文によっては制約をすべて満たす出力系列の探索に失敗してしまい，従来の NMT よりも翻訳精度が低くなってしまう。一方で，ソフト制約による手法はすべての

光線一致に基づく定常波の幾何光学的理論を展開した。

## MT Output:

A geometrical optics theory of stationary waves based on ray matching is developed.

## Constraints:

geometric-optical theory, standing wave, ray coincidence

## Constrained MT Output:

A geometric-optical theory of standing wave based on ray coincidence is developed.

図 1 語彙制約付き機械翻訳の例
語彙制約が翻訳文に含まれることを保証しない．従来手法では，NMT モデルへ入力される原言語文を編集や拡張することで出力系列の探索などを用いずに制約語句を出力する方法が試み られている (Song et al. 2019; Chen et al. 2020). Song et al. (2019)はフレーズテーブルを用い,原言語文中の制約語句に対応する部分に対してその制約語句で置換したり抻入したりすること で，モデルの入力系列を編集する手法を提案している。また， Chen et al. (2020) は，原言語文 の末尾に制約語句を結合してモデルの入力系列を拡張する手法を提案している. これらの手法 は, 出力候補を決定する際に探索アルゴリズムを用いないためハード制約の手法に比べて高速 に動作する一方で，いくつかの制約語句が出力されない可能性がある.

これらの従来手法に対し, 我々は与えられた制約がすべて出力に含まれるという制約条件 (ハー ド制約）の下で語彙制約付き機械翻訳の速度と精度を向上するために, 翻訳モデルへの入力系列 の拡張によって制約付きデコーディングの探索を改善する手法を提案する. 本提案手法は, 翻訳モデルにおいてソフト制約の下で語彙制約を実現する手法と探索アルゴリズムにおいてハー ド制約の下で語彙制約を実現する手法を組み合わせた初の試みである。日英および英日翻訳で の実験により，提案手法がハード制約を満たした上で，従来手法と比べて少ない計算コストで 高い翻訳精度を実現できることを確認した。なお，本手法は，WAT 2021 Restricted Translation Task (Nakazawa et al. 2021)の日英/英日翻訳の両方において 1 位を獲得した.

また, 従来は人手で作成された語彙制約に対する語彙制約付き機械翻訳が主に研究されてき た. 原言語文に対して事前に語彙制約を作成して語彙制約付き機械翻訳を行う場合には，制約語句を辞書などから自動的に抽出することで人手での作成に比べてコストが削減できると考え られる。しかし, 自動抽出された制約語句にはノイズとなる語句が含まれることが考えられる。前述の語彙制約付き機械翻訳手法は与えられる制約語句が必ず翻訳文に含まれることを仮定し ているため，自動抽出された語彙制約をそのまま用いると翻訳精度が低下することが想定され る。そこで本論文では，自動抽出されたノイズを含む語彙制約に対しても語彙制約付き機械翻訳を適用するために，与えられた語彙制約の任意の組み合わせに対する翻訳候補にリランキン グ手法を用いることで最適な翻訳文を選択する手法を提案する。対訳辞書から自動抽出した語彙制約による日英翻訳での実験により，制約の与えられない一般的な機械翻訳手法に対して翻訳精度が改善できることを確認した.

## 2 語彙制約付き機械翻訳

$S$ トークンからなる原言語の入力文を $X=\left(x_{1}, x_{2}, \ldots, x_{S}\right), T$ トークンからなる目的言語の 参照訳文を $Y=\left(y_{1}, y_{2}, \ldots, y_{T}\right)$ とする. 従来の機械翻訳タスクでは， $X$ から $Y$ の系列変換と いう問題を以下の条件付き確率 $p(Y \mid X)$ を最大化する目的言語文を探索することで翻訳文を生
成する。

$
p(Y \mid X)=\prod_{t=1}^{T} p\left(y_{t} \mid y_{<t}, X\right)
$

これに対して語彙制約付き機械翻訳タスクでは, 語彙制約を表す $N$ 個の語句のリスト $C=$ $\left(C_{1}, C_{2}, \ldots, C_{N}\right)$ がさらに与えられ，その制約語句を全て含んだ目的言語文を出力する必要があ

の条件付き確率を最大化する問題として定義される.

$
p(Y \mid X, C)=\prod_{t=1}^{T} p\left(y_{t} \mid y_{<t}, X, C\right)
$

ただし，ここで与えられる制約語句のリスト $C$ は参照訳中の出現順序とは独立であり，ランダ ムな順序で与えられる。

## 3 提案手法

本論文の提案手法は制約付きデコーディング手法（3.1 節）での探索を翻訳モデルへの入力系列の拡張手法（3.2 節）によって改善し, ハード制約下で予測に必要な計算時間の削減と翻訳精度の向上を実現させるものである． 3.1 節および 3.2 節では提案手法の要素となる 2 の先行技術について紹介する.

また，従来の語彙制約付き機械翻訳手法が取り扱っていた語彙制約は人手や参照訳を使用す ることで作成されてきたが，実際にすべての原言語文を翻訳する際には参照訳は利用できず人手で制約を作成するのにはコストがかかることから語彙制約の自動抽出が望まれる。そこで,本論文では自動抽出されたノイズの多く含む語彙制約に対しても語彙制約付き機械翻訳手法を 適用するための手法を 3.3 節で提案する.

## 3.1 ビームサーチによる語彙制約付きデコーディング

本研究が目的とするハード制約における語彙制約付き機械翻訳タスクでは, 必ず翻訳文が語彙制約を満たす必要がある。そこで提案手法では，デコーディング時に語彙制約付きデコーディ ング (lexically constrained decoding; LCD) と呼ばれる手法 (Hokamp and Liu 2017; Post and Vilar 2018) を用いる．この手法は，語彙制約を考慮したビームサーチによって出力文の探索を 行う手法である. ビームは制約の個数と同じ数の bankに分割され, 各 bank は制約語句の個数 と対応づけられる. 各タイムステップの各出力候補はその候補が満たしている制約の個数に対

応する bankへ追加される。これにより，最終的に与えられた制約語句の数と等しい bank から 出力候補を取り出すことで，語彙制約を満たした翻訳文が得られることが保証される.

一方で，LCDではビームを語彙制約の個数に分割するため，制約の個数が増加するに応じて 必要なビームサイズが大きくなり，そのために従来の NMT と比べて計算量が大きくなってし まう。この問題に対して, Post and Vilar (2018) は各 bankの容量をタイムステップ毎に動的に 決定することで計算量の削減を行う手法を提案している。しかし，我々が行った日英翻訳にお ける事前実験ではビームサイズを 60 まで大きくしないと語彙制約を満たす出力候補の探索に失敗するケースも確認されており，まだ改良の余地が大きい。また，探索が失敗するケースでは NMT モデルが事前に設定した最大文長まで文を生成するため，単語の繰り返し等を多く含むよ うな非文が生成されてしまい，結果として翻訳精度の低下に繋がるという問題がある。

## 3.2 入力拡張による語彙制約を考慮したNMT

前述の LCD の問題を解決するために，提案手法では Lexical-Constraint-Aware NMT (LeCA) (Chen et al. 2020) と呼ばれる，原言語文と制約語句を結合することによって入力系列を拡張す る手法を用いる，翻訳モデルへの入力系列は，区切りとなるシンボルである〈sep〉で原言語文 $X$ と制約語句のリスト $C$ 中の各語句 $C_{i}$ を連結することにより，以下のように作成される.

$
\left[X,\langle\text { sep }\rangle, C_{1},\langle\text { sep }\rangle, C_{2}, \ldots, C_{N},\langle\text { eos }\rangle\right]
$

ここで, $\langle\mathrm{eos}\rangle$ は文の終端を表すシンボルである.

一般の対訳コーパスには制約語句の情報が含まれていないため，モデルの学習に際しては制約語句を新たに付与する必要がある。そこで学習時に式 3 の入力系列を作成するために, Chen et al. (2020) では参照訳中から擬似制約語句を動的にサンプリングする手法を提案している．制約語句のサンプリングは，初めに制約単語の個数 $k$ をサンプリングした後に，参照訳中から $k$個の単語をランダムに抽出することで行われる。ここで，制約単語の個数 $k$ は 0 から制約語句 の最大個数 $K$ までの間から，ハイパーパラメータとして与えられる確率分布に従ってサンプリ ングされる. $k=0$ の場合には制約語句が与えられない設定となるが, これは制約が課されな い際の翻訳精度を保つことを目的としている。

また，LeCA は Transformer (Vaswani et al. 2017) をべースとしたモデルであるが，式 3 に示 した入力系列をそのままモデルに入力すると原言語文と各制約語句を区別することができない. そこで，LeCAでは入力系列の入力表現に変更を加える，入力表現は図 2 に示すように, token embeddings と positional embeddings, segment embeddings の3つから構成される. positional embeddings の上では入力系列内で位置情報が重複するのを避けるため, 各制約語句への位置イ ンデックスは原言語文の最大長から始まる値を割り当てる。また，原言語文と各制約に異なる値 を割り当て, segment embeddings としてモデルへと入力する. さらに, pointer networkによる

図 2 LeCA モデルの入力表現

copy mechanism (Vinyals et al. 2015; See et al. 2017) を導入する. これにより， 入力系列のトー クンをそのままコピーする形で出力できるため, 制約語句の生成を助けることが期待できる.

LCD では翻訳モデルが各トークンの生成確率を計算する際に語彙制約の情報を使用しない.一方で，LeCA ではすべての制約語句が翻訳文中に含まれることが保証されない。そこで，本研究では LeCAによる入力系列の拡張によって LCD の探索を改善することにより，翻訳精度を 維持もしくは向上させながら制約を常に満たした訳出を行うことを保証することのできるモデ ルを提案する．LeCAを用いることによってデコーディング時よりも早いタイミングでどのよ うな制約語句が存在しているのかという情報を翻訳モデルに与えることができるため，翻訳モ デルが翻訳文中のどの位置で制約を出力するべきかをより適切に決定できるようになり，後段 の LCDによる探索が効率化することが期待できる.

## 3.3 自動で抽出した制約語句に対する語彙制約付き機械翻訳

本論文では，前述の翻訳手法の改善に加えて，対訳辞書などから自動で抽出された制約語句 を用いて語彙制約付き機械翻訳を行う手法を提案する. 特許や科学技術論文などの固有名詞を 多く含むドメインの文書の翻訳では過去の翻訳結果から作成される翻訳メモリや対訳辞書を用 いることが多く，そのため対訳辞書から自動で抽出した制約語句によって語彙制約付き機械翻訳を行うというユースケースが考えられる。一方で，制約語句を自動で抽出する場合には抽出 された制約語句にノイズとなる語句が含まれることが考えられる。前節までで述べた語彙制約付き機械翻訳手法は与えられる制約語句が必ず参照訳中に含まれることを仮定しているため, そのまま自動抽出された制約語句の全てを語彙制約として語彙制約付き機械翻訳手法を適用す ると間違った語句が必ず翻訳文に含まれることになり, むしろ語彙制約を使用しない一般的な 機械翻訳手法よりも翻訳精度が低下することが想定される。この問題に対して本論文では, 制約語句にノイズが含まれる状況において語彙制約付き機械翻訳を用いる手法を提案する.

提案手法では，自動抽出された制約語句のリストのべき集合に対して語彙制約付き機械翻訳 を行い, その翻訳結果に対してリランキング手法を用いて最も良い翻訳文の候補を選択するこ

とで，自動抽出された制約語句に対する語彙制約付き機械翻訳を実現する。まず，自動抽出さ れた制約語句のリスト $C$ のべき集合の各要素を語彙制約として語彙制約付き機械翻訳を行う. このとき作成される語彙制約は $2^{|C|}$ 個となり，その各語彙制約からそれぞれ複数の翻訳文の候補が得られる。次に，得られた翻訳文の候補から適切な語彙制約による翻訳文を抽出するため に翻訳結果に対してリランキング用のスコアを計算し，そのスコアが最も良いものを翻訳文と して選択する。これにより，自動抽出された制約語句のリスト $C$ からノイズとなる制約語句を 取り除いた，適切な語彙制約による翻訳文を候補として用いることができる.

## 4 人手で作成した語彙制約による評価実験

3.2 節で述べた提案手法の有効性を評価するため, 日英翻訳 $(\mathrm{Ja} \rightarrow \mathrm{En})$ および英日翻訳 $(\mathrm{En} \rightarrow \mathrm{Ja})$ を対象として，人手で作成した語彙制約による制約付き機械翻訳の精度評価を行った。評価お よび分析の対象としたモデルは以下の通りである.
- BASE: 語彙制約を用いないべースラインモデル
- BASE+LCD: BASE および LCD (Post and Vilar 2018)
- LeCA: Lexical-Constraint-Aware NMT (Chen et al. 2020)
- LeCA+LCD: LeCA および LCD (提案手法)

## 4.1 データセット

学習および評価に使用する対訳コーパスとして ASPEC (Nakazawa et al. 2016)を用いた。ま た, 開発用および評価用セットの語彙制約として, 二言語話者が科学技術用語を抽出すること で作成された, WAT 2021 Restricted Translation Task (Nakazawa et al. 2021)のデータを使用 した. ASPEC に含まれる対訳文対の数を表 1 に示す. ASPEC は英語及び日本語の科学技術論

 &  &  &  \\

Dev & 1,790 & $2.81(1.89)$ & $2.85(1.91)$ & $7.19(5.63)$ & $6.98(5.67)$ \\
DevTest & 1,784 & $3.19(2.16)$ & $3.23(2.18)$ & $7.90(6.03)$ & $7.73(6.30)$ \\
Test & 1,812 & $3.21(2.10)$ & $3.26(2.14)$ & $8.07(5.87)$ & $7.79(6.12)$ \\

表 1 ASPEC および WAT 2021 Restricted Translation Taskデータセットの統計情報. 制約語句に関す る值では各文対に対する平均個数および平均単語数とそれらの分散を示す. 英語の単語分割には Moses, 日本語の単語分割には MeCab + NEologd を用いた.
文から作成されたコーパスであり，300万文の対訳文対から構成されている．ASPEC の対訳文は自動で対訳文対応付けした際のスコアが高い順に整列されているため，コーパスの末尾に ある文対はノイズが多く含まれていることが考えられる。 そこで，本研究では Morishita et al. (2017) に従って, 最初の 200 万文のみを対訳文対として使用することとした. また, 最後の 100 万文対に関してはそれぞれの言語における擬似対訳コーパスの作成のための単言語データとした (Sennrich et al. 2016a). 疑似対訳コーパスを作成する方法としては, Morishita et al. (2019)の分析および我々の事前実験に基づき，英日翻訳では目的言語文から翻訳（逆翻訳; back-translation） (Sennrich et al. 2016b)を行った. モデルの学習に利用するデータには, 事前実験の結果に基づ き，英日翻訳では ASPEC 上位 200 万文と残りの 100 万文から作成した疑似対訳デー夕，日英翻訳では ASPEC 上位 200 万文のみを用いた。

学習時に作成される疑似制約語句は参照訳中からサブワードではなく単語の単位でサンプリン グされるため, サブワードへの分割の前に文の単語分割を行う必要がある。 そこで，本研究では 英語と日本語の両方の文に対して単語分割を行った．英語の単語分割には Moses toolkit (Koehn et al. 2007) に含まれているトークナイザを用いた。日本語の単語分割には MeCab (Kudo 2006) を使用した. MeCabの辞書としてよく使用されるものとして，デフォルトで利用されるipadic と Sato (2015)による mecab-ipadic-NEologdがある. mecab-ipadic-NEologd は多くの新語や 固有表現を含む辞書であり，ipadicでは正しく分割できない固有表現や専門用語をより適切に 扱うことができると考えられる．固有表現や専門用語は語彙制約として多く与えられることが 想定されるため，日本語の単語分割に際して mecab-ipadic-NEologd を用いることは品質の高 い疑似制約語句の作成につながることが期待できる。辞書の違いによる翻訳精度および制約語句の一貫性への影響に関しては, 4.4 .2 節で比較評価を行う.

目的言語が英語の場合，制約語句が大文字で始まっているかどうかによって生成結果が影響 されるのを避けるためにMoses truecaser を使用した。

単語分割後, sentencepiece (Kudo and Richardson 2018) を用いてサブワードへの分割を行っ た. Morishita et al. (2019)によると, Transformerによる ASPECの翻訳の際の語彙サイズは,一般的に用いられている値（例: 32,000）よりも小さいサイズ（例: 4,000）のほうが実験的に高 い翻訳精度を達成すると報告されている。一方で，LCD を使用する際には制約語句のサブワー ド数を減らせるために大きい語彙サイズが適していると考えられる。これは，制約語句のサブ ワード数が増加すると LCDが必要とするビーム幅が増加し, 訳出にかかる時間が増加するため である。本研究では，事前実験において最も良い結果を達成した，日本語と英語合わせて 32,000 トークンの語彙サイズを採用した。

また, 学習データから過度に長いものや文長が異なる文対を削除するため, Moses の clean-corpus-n

スクリプトによるクリーニングを行っだ．

## 4.2 モデル

提案手法の有効性を確認するためのベースラインモデルには Transformer (big) (Vaswani et al. 2017）を用いた. Kiyono et al. (2020) に基づき，ベースラインモデルの詳細な設定およびハイ パーパラメータは表 2 に示したものを用いた。本実験で使用したモデルはべースラインモデル をべースとして作成しており，特に明記していない場合の設定およびハイパーパラメータはベー スラインモデルの值に準じている。モデルの実装には fairseq (Ott et al. 2019)を用いた.

LeCA の学習に際して疑似制約の最大個数 $K$ は 14 とし, 単語数 $k$ は以下の分布に従ってサ ンプリングを行った.

$
p(k)= \begin{cases}0.4 & (k=0) \\ 0.6 / 14=0.04 & (1 \leq k \leq 14)\end{cases}
$

また，モデルの更新回数は，英語が制約の場合には 10,000 ステップ，日本語が制約の場合には 12,000 ステップとした，LeCA と LCD を組み合わせた際のビームサイズは，事前実験で 30 よ り大きくしても精度の改善がほとんど見られなかったため, $k=30$ を用いた.

語彙制約を用いた場合のモデルアンサンブルの効果についても検証した。モデルアンサンブ ルの実施方法としては，まず初めにそれぞれ異なる乱数のシード値から 8 個のモデルの学習を 行った。その後, 各タイムステップにおいてそれらのモデルのトークンの生成確率の平均を計算し，その値を基にビームサーチによるデコーディングを行った.

表 2 ベースラインモデルの設定およびハイパーパラメー夕

最後に，翻訳文中の制約語句と対応する箇所に対して後処理を行った。これは，サブワード 分割などの影響によって与えられた制約語句と表層が完全に一致しない状態で訳出されてしま うケースがあるためである。具体的には，翻訳文上で完全一致しない制約語句に対して，以下 の手順で翻訳文中の制約語句に対応する箇所を制約語句に置換することにより行った.

(1) ハイフン等の記号の前後の空白の削除や半角の記号を全角に変換する

（2）表層の完全一致で翻訳文中に見つからない制約語句に対して，翻訳文と制約語句の両方 を小文字に変換及び空白を削除した状態で翻訳文の制約語句に対応する箇所を検索し， その情報に基づいて翻訳文の一部を与えられた制約語句に置換する。

（3）制約語句の一部が未知語となってしまっている場合が存在する²ため, (2) の処理での検索でも制約語句に対応する箇所が見つからない場合には，制約語句の任意の部分文字列 を未知語を表す特殊トークンに置き換えた後に (2) と同様の処理で置換を行う.

## 4.3 評価尺度

語彙制約付き機械翻訳モデルの評価は翻訳文の翻訳精度および語彙制約の生成の間の一貫性という観点に基づいて行った。翻訳精度の尺度には, 自動評価尺度として BLEU (Papineni et al. 2002)，人手評価尺度として source-based direct assessment (DA) (Cettolo et al. 2017; Federmann 2018) および source-based contrastive assessment (CA) (Sakaguchi and Van Durme 2018; Federmann 2018) を用いた. 特に明記していない場合, BLEU の計算には sacrebleu (Post 2018)を用いた ${ }^{4}$.

語彙制約と生成の一貫性を測る尺度としては, Term\% (Susanto et al. 2020; Chen et al. 2020)5 およびSent\%という 2 つの尺度を用いた．Term\%およびSent\%は以下のように定義される。

$
\begin{aligned}
\text { Term } \% & =\frac{\text { 翻訳文中に正しく生成された制約語句の数 }}{\text { データセット中の全ての制約語句の数 }} \times 100 \\
\text { Sent } \% & =\frac{\text { 語彙制約を完全に満たす翻訳文の数 }}{\text { データセット中の参照訳数 }} \times 100
\end{aligned}
$

## 4.4 実験結果

各手法による翻訳精度及び制約語句の訳出の一貫性の変化を確認する４.4.1 節ではモデルの 構成の違い，4.4.2 節では日本語を制約語句とする際の単語分割に使用する辞書の違いを比較し,評価尺度のスコアの変化から語彙制約付き機械翻訳および提案手法にとって最適な設定につい
^{5}$ Chen et al. (2020) では copy success rate (CSR) という名前で同じ評価尺度が用いられている.
}

て検証する。また，4.4.3 節ではそれまでの比較によって判明した最適な設定によるモデルの翻訳精度を示し, その結果から事前学習およびアンサンブルの効果についても確認する。最後に, 4.4.4 節において, 自動評価尺度で最も翻訳精度が高かったシステムに対する人手評価を行い, その結果を確認する.

## 4.4.1 モデルの構成の違いによる翻訳精度および一貫性の比較

翻訳文と制約語句の間で表層が一致するようにするための後処理を行う前の, 各モデルの翻訳精度及び一貫性の結果を表 3 に示す。まず，LCDのみを用いた手法 (BASE+LCD) では，BASE にくらべてTerm\%およびSent\%の大幅な改善が見られた。この時, ハード制約を満たすはずの LCD を適用しても BASE+LCD の一貫性スコアが $100 \%$ なっていないが，これはトークナイズ 時の正規化などが原因でスコアが減少しており，前述の後処理を適用することでスコアを $100 \%$ にすることができることを確認している (4.2 節).

一方で, BASE+LCD の翻訳精度が $\mathrm{Ja} \rightarrow \mathrm{En}$ において BASE と比べて減少してしまっているこ とがわかる。この際に生成された翻訳文を確認したところ，いくつかの文では制約語句と同じ 意味だが表層が異なるフレーズが訳出された後に同じ単語やフレーズを大量に繰り返しており， その結果として翻訳精度が減少していた。これは，NMT モデルが制約語句と同じ意味だが表層が異なるフレーズを先に訳出した際に，制約語句に対応する原言語のフレーズは翻訳済みと いう扱いになってしまうので制約語句の出力確率は高くならず出力されづらくなるが, その一方で LCD はすべての制約を満たすまで生成を続けるようにモデルに強制するため，その結果と してトークンの繰り返しが発生してしまうのだと考えられる。また，BASE+LCD を用いて全 ての制約語句の生成を成功させるためには, ビームサイズを 60 以上にしないとビームサーチ時 に探索失敗してしまうということも確認されたため, 非常に翻訳時の計算コストが大きくなっ た。これは，翻訳モデルが語彙制約を知らないために制約語句に対する生成確率が高くならな い場合が存在し，小さいビームサイズでは語彙制約を含む翻訳候補を探索できないことが原因 だと考えられる。

表 3 後処理を行う前の各モデル構成の翻訳精度および語彙制約の生成の一貫性スコア.*が付いている 值は後処理によって $100 \%$ になった値を表す.
次に, LeCA の結果に着目すると, 高い翻訳精度と一貫性スコアを達成していることがわか る。LeCA および BASE + LCDへの入力は同じ原言語文と制約語句の 2 つであるが，BASE $+\mathrm{LCD}$ に比べて翻訳精度は大きく向上していることがわかる。しかし，LeCA は語彙制約を満たすこ とを保証しない手法であることから，一貫性スコアに関しては BASE+LCD よりも減少したも のとなっている.

これらの手法に対して，提案手法である LeCA+LCD では小さいビームサイズで全ての語彙制約を満たしながらも翻訳精度の向上を達成することができている。このことから， NMT モデ ルに原言語文と語彙制約の両方を入力することで，モデルが適切なタイミングで制約語句に対 して高い出力確率を割り当てることができるようになり，その結果として語彙制約付きデコー ディングによる出力候補の探索が効率的に行われるようになり，翻訳精度の向上やビームサー チの減少に繋がるのではないかと考えられる。

## 4.4.2 単語分割時の辞書の違いによる翻訳精度および一貫性の比較

LeCA の学習時に作成される疑似制約語句は参照訳中から単語の単位でランダムにサンプリ ングされるため, 単語の分割単位が学習に大きく影響を与えると考えられる. 特に, 分かち書 きがされていない日本語では，使用する辞書などによって大きく単語の分割単位が変化する. そのため, 日本語が語彙制約として与えられる $\mathrm{En} \rightarrow \mathrm{Ja}$ において, 単語分割の際の辞書の違い により LeCA の翻訳精度および一貫性スコアがどのように変化するかを確認した。単語分割に は MeCabを用い，比較する辞書としてはデフォルトの辞書である ipadic と固有表現を多く含 む mecab-ipadic-NEologd の 2 種類を用いた。

表 4 に各辞書を使用した際の LeCA の翻訳精度および一貫性スコアの結果を示す. ipadicを 使用した場合に比べて mecab-ipadic-NEologd を用いたモデルのほうが翻訳精度および一貫性 スコアが大きく向上している。このことから, mecab-ipadic-NEologdのような新語や固有表現が多く含まれる辞書を用いる方がそれらの単語が 1 単語として分割されるため, 日本語にお ける LeCAの学習に適しているということが確認できた。そのため, 本研究における日本語の 単語分割には MeCabと mecab-ipadic-NEologdの組み合わせを用いた.

表 $4 \mathrm{En} \rightarrow \mathrm{Ja}$ における単語分割の際の辞書の違いによる LeCA の翻訳精度および一貫性スコアの変化

## 4.4.3自動評価尺度による翻訳精度の評価

表 5 に評価用データセットに対する各システムの自動評価尺度による翻訳精度を示す ${ }^{6}$.こ の結果より，提案手法 (d) は BASE (a) に対して BLEU スコアで En $\rightarrow \mathrm{Ja}$ が+ 10.85 ポイント， $\mathrm{Ja} \rightarrow \mathrm{En}$ が+14.03 ポイントと, 大幅に翻訳精度が向上していることがわかる. また, 既存の語彙制約付き機械翻訳手法である LCD (b) および LeCA (c) に対しても精度が向上している.こ れより，入力系列の拡張による語彙制約を考慮したNMT とビームサーチによる語彙制約付き デコーディングを組み合わせることで，さらに効果的な語彙制約付き機械翻訳が実現できるこ とが確認できた。

次に，後処理による翻訳精度の影響について確認する。後処理を行っていない表 3 の結果と 比較すると, $\mathrm{En} \rightarrow \mathrm{Ja}$ では翻訳精度が向上しているが $\mathrm{Ja} \rightarrow \mathrm{En}$ では翻訳精度が減少していること が確認できる。これは後処理が，目的言語が日本語の場合には制約語句に含まれる未知語が正 しく復元されるなどの影響で翻訳精度の向上に寄与し，英語の場合には正規化の有無やトーク ン単位が一致しなくなるなどで翻訳精度が減少してしまう原因となっていると考えられる。

最後に, その提案モデルのアンサンブルの効果について検証する。結果より，8 個のモデルを アンサンブルすることにより，単一のモデルの翻訳精度に対して大幅な翻訳精度の検証が見ら れた（表 $5(\mathrm{~d}),(\mathrm{e})$ ).このことから，語彙制約付きデコーディングとの組み合わせにおいても モデルのアンサンブルは翻訳精度の改善に寄与することが確認できる。

## 4.4.4 人手評価尺度による翻訳精度の評価

表 6 に，4.4.3で最も高い精度を達成したモデル（表 $5(\mathrm{e})$ ）に対する人手評価尺度による翻訳

表 5 翻訳精度の自動評価尺度による結果． En $\rightarrow \mathrm{Ja}$ の結果に，MeCabによる単語分割を基にした BLEU スコアを示している.太字で示される値は各列において最も高い値を表す.

表 6 翻訳精度の人手評価尺度による結果

精度の評価結果を示す7．提案手法により作成したモデルでは，人間によって翻訳が行われた参照訳よりも両方の尺度において高い翻訳精度が実現できている。特に，オリジナルのデータの 翻訳方向と同じである $\mathrm{Ja} \rightarrow \mathrm{En}$ の設定においても参照訳を上回る精度を達成していることから，目的言語側で適切な語句を制約語句として選択することができる場合には，語彙制約付き言語生成によって人間と同等の翻訳精度を達成することができる可能性が示唆される.

## 4.5 分析

これまでの実験により適切な語彙制約が与えられる設定では提案手法によって高い翻訳精度 が達成できるということが確認できた。しかし, 以下の点に関しては依然として疑問が残る.
- 提案手法がなぜ先行研究と比べて有効であるのかという点（4.5.1 節）
- 提案手法によって計算効率はどの程度向上したのかという点 (4.5.2 節)
- 制約語句の性質によって翻訳精度が改善もしくは悪化するのかという点 (4.5.3 節)本節ではこれらの疑問点に関して, さらなる分析を行った。

## 4.5.1 実際の翻訳結果の例に基づく分析

提案手法がなぜ先行研究と比べて有効であるのかを確認するため, 先行研究である BASE + LCD では翻訳に失敗してしまうが提案手法の LeCA+LCD では正しく翻訳が行えるケースを用いて 分析を行う. 表 7 に ASPEC の評価用セットから選択したそのようなケースの翻訳例を示す. ここで，表中の下線部は制約語句と完全一致するフレーズ，波線部は制約語句と同じ意味で表層が異なるフレーズを表す。結果より明らかであるように，BASE+LCD は同様のフレーズを繰 り返し生成しており，語彙制約を満たしている一方で翻訳には失敗してしまっている。特に， superconductivity single phrase auto-transformerという制約語句の生成が上手く行われ

 \\

表 7 翻訳例：下線部は制約語句と完全一致するフレーズ，波線部は制約語句と同じ意味で表層が異なる フレーズを示す.

ていないように思われる。この問題は, BASE+LCDが与えられた制約語句と非常に似た意味た が表層が異なるフレーズの superconducting single - phase transformer（表 7 波線部）を 早い段階で生成してしまい，制約語句の情報を知らない翻訳モデルはその制約語句に対応する 原言語の表現が翻訳されたとしてしまうのに対して，実際には制約が満たされていないために LCD が訳文の生成を終了させないようにモデルに出力を強制することから発生しているのでは ないかと考えられる。このような翻訳結果は BASE+LCD の出力に多く見られており, このこ とが BASE に比べて翻訳精度が低下している点やビームサイズを大きくする必要がある点の原因となっていると思われる。

一方で, 提案手法である LeCA+LCD は語彙制約を満たした上での翻訳に成功している。こ のことから，入力として語彙制約を受け取る LeCA は制約語句に対して他の単語よりも高い生成確率を付与する，または他の単語の生成確率を適切に下げることができるため，提案手法が より制約を満たした文の生成に効果的であるということが示唆される.

## 4.5.2 ビームサイズの変化による翻訳精度の変化

提案手法のビームサイズによる影響を確認するため，ビームサイズを変化させた際に提案手法の翻訳精度がどのように変化するかの分析を行う。図 3 に，英日翻訳におけるビームサイズ を変化させた際の BLEU スコアを示す。3.1節でも述べた通り，BASE+LCDではビームサイズ

図 3 英日翻訳におけるビームサイズを変化させた際の BLEU スコア

を 60 以上まで大きくしないと語彙制約を満たす出力候補の探索に失敗するケースが確認され た。これに対して, LeCA+LCDではビームサイズを非常に小さく設定した際においても語彙制約を満たすことができ，さらに翻訳精度も改善することができている。この結果より, LeCA の出力確率による翻訳候補のスコアリングは LCD による探索をより効率化させ，LeCA と LCD を組み合わせた手法を用いることで予測にかかる計算時間を減少させることができることが示唆される。

## 4.5.3制約語句の性質による翻訳精度の変化

本節では, 制約語句の性質によって翻訳精度がどのような影響を受けるのかについて分析を 行う。前節までの結果より, 科学技術用語のような適切な制約語句を与えることができれば，語彙制約付き機械翻訳によって高い翻訳精度が達成できることが確認できた. しかし，科学技術用語以外で一般にどのような制約語句が翻訳精度の向上に寄与するのかは明らかではなく，同様に制約語句が科学技術用語以外になった場合の語彙制約付き機械翻訳手法の有効性も明らか ではない，そこで本節では，参照訳文中から言語学的な役割を持つ様々な語句を抽出し，それ らの語句を語彙制約とした際の役割ごとの翻訳精度の変化を確認する。

語句の役割には品詞・句構造木・固有表現の夕グを採用した。品詞および固有表現は spaCy の RoBERTa ベースのパイプライン8を使用してタグ付けを行った. また, 句構造解析には Berkeley

Neural Parser (Kitaev and Klein 2018)9を用いた. タグ付けされたすべての語句に対して，その 語句を制約として与えた場合及び与えない場合の 2 通りで LeCA+LCDを用いて翻訳を行い，属性別でそれぞれの BLEUを計算した。

表 8 に品詞タグ，表 9 に句構造タグ，表 10 に固有表現タグにおける，役割別の翻訳精度の変化を示す. 品詞・句構造ではほとんどの夕グ，固有表現ではすべての夕グで語彙制約として与 えた際に翻訳精度の改善が見られた。夕グ付けの際のエラーを考慮してスコアの分散が小さい と思われる 100 文以上抽出されている夕グに着目すると, 品詞では基数 (CD) や限定詞 (DT),前置詞 (IN), 形容詞 (JJ), 人称代名詞 (PRP\$, PRP), 副詞 (RB), 動詞 (VBD, VBG, VBN, $\mathrm{VBP}, \mathrm{VB}, \mathrm{VBZ})$ などの幅広いタグで翻訳精度の改善が見られる。特に動詞に関連するタグで は精度改善の幅が大きく, これは動詞が活用などで表現が変化しやすいことから参照訳の表現 と同じ表現で翻訳器が訳出することが難しいために語彙制約として与えることで訳出表現が一意に定められることが原因として考えられる。一般名詞 (NN，NNS) に関しても精度が向上し ている一方で, 固有名詞 (NNP) では精度が向上していないという結果になっている．実際の出力結果から固有名詞が制約として与えられていて BLEUが低下しているものを確認すると，多 くは制約語句の一部が大文字や小文字になっていることによりスコアの減少を招いていた. 目的言語が英語の場合には制約語句が大文字で始まっているかどうかによって生成結果が影響さ れるのを避けるために truecase を行っており，翻訳モデルの出力した文を detruecase する際に 語彙制約全体もしくは最後の 1 文字が大文字にならないことがあるため，その結果として大文字で与えられることの多い固有名詞では翻訳精度が少し低下していると考えられる。実際に， すべて事前に小文字に変換して大文字と小文字の違いを無視した状態で評価を行ったところ， BLUE が制約なしでの翻訳では 32.9 ポイントであるのに対して制約付きの翻訳では 33.4 ポイン トとなり, 0.5 ポイントの改善が確認できた。

## 5 自動で抽出した語彙制約による評価実験

3.3 節で提案した, 自動抽出した語彙制約に対する翻訳候補のリランキングによる語彙制約付 き機械翻訳手法の有効性を確認するため，日英翻訳を対象として対訳辞書から自動抽出した語彙制約による語彙制約付き機械翻訳の精度評価を行った。

## 5.1 対訳辞書

語彙制約を抽出するために用いる対訳辞書として, 汎用的な辞書である EDR 日英対訳辞書 $(\mathrm{EDR}-\mathrm{JE})^{10}$ および日英翻訳システム ALT-J/Eの対訳辞書 (池原 他 1987)を用いた. 対訳辞書

表 8 品詞夕グ別での制約の有無による BLEU の比較. 太字は同じ属性で BLUE スコアが高い方を示す.

表 9 句構造タグ別での制約の有無による BLEU の 比較.太字は同じ属性で BLUE スコアが高い 方を示す.

表 10 固有表現夕グ別での制約の有無による BLEU の比較.太字は同じ属性で BLUE スコアが 高い方を示す。

のエントリに関しては文脈に応じて訳語が変化するものや見出し語の検索性が低いものなどが 存在しノイズとなるため, 以下の要素に当てはまるエントリに対してフィルタリングを行った.
- 名詞/名詞句以外の語句を含むエントリ
- 長さが 1 の語句からなるエントリ

$\cdot$ 原言語側の単語に対して複数の訳語が存在するエントリ

語彙制約の抽出は, 対訳辞書の原言語側の語句から作成したTrie 木 11 を用いて原言語文中に含ま れるエントリを検索し, 原言語側の語句の長さが最長となるエントリを選択することで行った. この際, 対訳辞書と原言語文との間で形態素の単位を揃えるために，各エントリの原言語側の語句は MeCab+NEologd によって事前に分かち書きを行ったものを用いた。また，語彙制約のオラ クルとして人手で作成された語彙制約 (オラクル制約) である WAT 2021 Restricted Translation Taskのデータを使用した.

## 5.2 モデル

評価に用いる翻訳モデルとしては以下のものを選択した.
- Transformer (big)
- LeCA + \{EDR-JE, ALT-J/E $\}$
- LeCA+LCD $+\{$ EDR-JE, ALT-J/E $\}$
- LeCA+LCD + 人手制約 (WAT2021)

翻訳モデルの学習および評価に使用する対訳コーパスには ASPEC を用いた。各モデルの詳細 な設定およびハイパーパラメータは 4 節と同様のものを用い，新たにモデルを作成した．翻訳文と制約語句の間で表層が一致するようにするための後処理，およびモデルのアンサンブルに 関しては行わなかった。

辞書から抽出した制約に対しては $|C|$ 個の制約語句を全て使用したものから生成文の上位 30 文，及び $2^{|C|}$ 通りの語彙制約からそれぞれ上位 30 文を集めたものを翻訳候補として用いた。ま た，制約なしもしくは人手制約に対しては上位 30 文を翻訳候補として用いた。翻訳候補のリラ ンキングの際に用いるスコアには以下の 3 つのスコアをそれぞれ用いた.
- Generation: 翻訳モデルの出力する翻訳候補の尤度
- Reranker: 原言語文と翻訳候補からリランキングモデルの計算するスコア
- SBLEU: 翻訳候補と参照訳との間の文レベルの BLEU

リランキングモデルには， Marie and Fujita (2018)の分析に基づき，文末から文頭へと翻訳文 を生成する Right-to-Left 翻訳タスクを Trasnformer (big) で学習したモデルを使用した。その 際のリランキングのスコアとしては入力された翻訳候補を force decoding した際の尤度を用い た．また，SBLEUは参照訳を利用するため実際の翻訳時には利用できないが，理想的なリラン キングができた際の翻訳結果と考えられるため使用した。

## 5.3 評価尺度

各辞書から抽出した語彙制約の特徴を分析するため, 以下の尺度に基づいて各辞書の評価を 行った。
- 制約語句の原言語側での単語数 / 原言語文の単語数 (source token match; ST)
- 参照訳に含まれる制約語句数 / 全ての制約語句数 (bilingual term match; BT)

・ 各文に対して与えられた制約語句が1つでも参照訳に含まれる割合 (Lax)
- 各文に対して与えられた全ての制約語句が参照訳に含まれる割合 (Strict)
- 制約が与えられない文の割合 (no constrained sentence; NoCons)

また，各手法の評価には翻訳精度の自動評価尺度である BLEUを用いた．また，制約語句が 与えられた文が翻訳結果にどの程度使用されているかを調べるために，リランキングによって
選択された翻訳文中の制約語句が与えられた翻訳文の割合 (Constrained Sentence Ratio) を用 いた。

## 5.4 実験結果

## 5.4.1 対訳辞書によって自動抽出された語彙制約の持つ特徵

各辞書に対する評価結果を表 11 に示す。エントリ数に着目すると ALT-J/Eのほうが規模が 大きく，それに従って制約が与えられない文の割合である NoConsに関しては非常に小さく, 原言語側の単語に対する辞書のヒット率である ST や自動抽出された制約語句が 1 つでも参照訳 に含まれる割合である Laxは高くなっている。一方で, 参照訳に含まれる制約語句の割合であ る BT やすべての制約語句が参照訳に含まれる割合である Strict に関しては EDR-JE のほうが 高いという結果を示している。このことから，EDR-JEは抽出できる語彙制約の数は多くない もののその語句が正しい割合は比較的高く, 逆に ALT-J/E は制約語句の精度は比較的低いが語彙制約が多く抽出できるという特徴を持つと考えられる.

## 5.4.2対訳辞書により作成した語彙制約を用いた際の翻訳精度の評価

対訳辞書により自動抽出した語彙制約を用いた際の各手法の翻訳精度を表 12 に示す.

まずはじめに， $|C|$ 個の制約語句を全て使用した翻訳を行った際の翻訳精度に着目すると， リランキングの方法によらずベースラインである一般的な機械翻訳手法に対して LeCA および LeCA+LCD の翻訳精度が低下していることが確認できる。これは, 自動抽出された制約語句に はノイズとなる語句が含まれるため，そのまま語彙制約付き機械翻訳手法を適用すると間違っ た語句が翻訳文に含まれてしまうことが原因であると考えられる.

次に， $2^{|C|}$ 通りの語彙制約から翻訳を行った際の翻訳精度に着目すると， $|C|$ 個の制約語句を すべて使用した際の語彙制約付き機械翻訳手法に対して, リランキングの方法によらず $2^{|C|}$ 通 りの語彙制約を用いた手法による翻訳が高い翻訳精度を実現していることが確認できる。この ことより, 自動で抽出したノイズの多い制約語句に対して本論文で提案した制約語句のリスト のべき集合の各要素に対して語彙制約付き機械翻訳を行う方法が有効であることが考えられる.

表 11 辞書の違いによる語彙制約の評価

表 12 対訳辞書により作成した語彙制約を用いた際の各手法の翻訳精度. $2^{C}$ は $C$ のべき集合を示す.

表 13 対訳辞書により制約語句の理想的な抽出ができた際の各手法の評価

また，翻訳モデルの出力する尤度をスコアとする Generation では, ベースラインである一般的 な機械翻訳手法に対して, EDR-JE や ALT-J/Eでの語彙制約による LeCA および LeCA+LCD の翻訳精度が低くなっているが，リランキングモデルによるスコアを用いる Reranker ではべー スラインに対して LeCA や LeCA+LCD が翻訳精度を向上させることができている。これは, Generation では語彙制約付き機械翻訳手法の生成確率が与えられた語彙制約に影響されて大小 することやモデルへの入力が異なるのにも関わらずその尤度を 1 つのスコアとして比較してい るが，Reranker ではリランキングモデルの入力が原言語文のみであるので各翻訳候補に対する 入力が同じになるため尤度を比較するのに向いているということが理由の 1 つとして考えられ る.このことより，対訳辞書などから自動で抽出したノイズの多い語彙制約に対しても本論文 で提案した翻訳候補のリランキングを用いることで，一般的な機械翻訳手法と比べて語彙制約付き機械翻訳手法で翻訳精度を改善できることが確認できる。 さらに，SBLEUではベースライ ンに対して語彙制約付き機械翻訳手法が非常に高い翻訳精度が達成できていることから, 理想
的なリランキングに近づけば近づくほど翻訳精度を大きく改善することができることも予想さ れる。

一方で，人手制約による LeCA+LCD の結果を見ると Reranker よりも Generation のほうが 高い翻訳精度を達成している。これは，今回使用した人手制約で与えられる固有名詞や専門用語などの生成確率は学習データに含まれていないことが多く，そのような制約語句を含む翻訳候補へのリランキングモデルのスコアが低下してしまうことが考えられ，ノイズのない人手制約では Rerankerの翻訳精度が低下してしまうということが考えられる。

次に, Constrained Sentence Ratio について着目すると, Reranker や SBLEU ではリランキ ングで制約なしの翻訳文が選択されていることがわかる。 Generation ではリランキングで選択 された翻訳文の過半数以上が語彙制約が与えられた上での翻訳であるのに対して, Reranker や SBLEU ではそのような文の割合が大きく減少している。特に, 表 11 の Lax の値と比較して Reranker や SBLEU の割合が低いことから，いくつかの翻訳に関しては参照訳に含まれている 制約語句が与えられたとしても語彙制約なしで翻訳した結果が選択されていることがわかる. また,この結果からも，Generation では語彙制約付き機械翻訳手法の生成確率が与えられた語彙制約に対して高い生成確率を割り当てており，語彙制約を使用した翻訳候補に対して高いス コアを割り当てていることが示唆される.

最後に, 辞書について着目すると, 語彙制約が多く抽出できる ALT-J/Eが Constrained Sentence Ratio に関してはより高い割合となっており, ALT-J/Eの方が語彙制約付きでの翻訳結果が多 く使用されている。一方で, 翻訳結果に関しては Generation では EDR-JEのほうが高い精度を 達成しており, Rerankerでは ALT-J/E と EDR-JEで大きな差はないという結果になっている. また，SBLEUでは逆に ALT-J/Eのほうが高い精度を達成していることから，リランキングが 高精度に行える環境下では制約語句の精度は比較的低くとも語彙制約が多く抽出できる辞書の ほうが適していることが予想される.

## 5.4.3対訳辞書により制約語句の理想的な抽出ができた際の各手法の評価

所与の対訳辞書から理想的な語彙制約が抽出できた際の翻訳精度を評価した. ここで, 理想的 な語彙制約とは抽出された制約語句にノイズとなる語句が含まれていない語彙制約を指し, 対訳辞書により自動抽出した制約語句の中から参照訳に含まれる語句だけを選択することで作成 した. 対訳辞書を用いて語彙制約を自動抽出する場合にはノイズとなる制約語句によって翻訳精度が低下する恐れがあったため, 制約語句のリストのべき集合を語彙制約とする方法をとっ ていた.これに対して, この理想的な語彙制約にはノイズとなる制約語句が含まれないため,本評価では抽出された制約語句を全て用いる語彙制約付き機械翻訳を行った. その後, 得られ た翻訳文の候補に対してリランキングを行った。結果を表 13 に示す.

表 12 の結果と比較すると, Generation と Rerankerのほとんどの設定で翻訳精度が向上して

いることがわかる。したがって，語彙制約の抽出の精度を向上させることによって翻訳精度を 改善させられることが示唆される。一方で，SBLEU の値を見ると表 12 の結果よりも低下して いることがわかる。これは，本評価では語彙制約付きの翻訳しか行っていないため, リランキ ングの対象には制約なしでの翻訳候補が含まれないことが原因として考えられる．前節の結果 から，いくつかの翻訳に関しては参照訳に含まれている制約語句が与えられたとしても語彙制約なしで翻訳した結果のほうが高い翻訳精度を達成すると考えられ，そのため SBLEU に関し ては翻訳精度が低下してしまっていると思われる。

## 6 関連研究

Hokamp and Liu (2017) は Grid Beam Search (GBS) と呼ばれる,ビームサーチを拡張して 翻訳モデルに与えられた制約語句を出力させることを強制する手法を提案している。この手法 では，各出力ステップにおいて，ビームを制約の個数と同じ数だけの bankに分割し， $n$ 個の 制約を満たした候補の中から上位 $k$ 個の候補を $n$ 番目の bankに割り当てる。この方法で探索 を進めると，語彙制約をすべて満たした翻訳候補は制約の個数に対応するビームに含まれるよ うになる，一方で，ビームサイズが各入力文の制約の個数に応じて変化するため, 複数の文を 並列して翻訳することが難しくなる。これに対して, Post and Vilar (2018) は Dynamic Beam Allocation (DBA) と呼ばれる, 固定のビームサイズから各 bankに対して動的にサイズを割り当 ててデコーディングを効率化する手法を提案している。しかし, これらの論文における実験で 用いられている制約語句の単語数は本論文で扱ったデータと比べると小さく, 我々の実験では これらの手法は本論文で扱ったデータのようなケースでは上手く機能しないことが確認された.

Song et al. (2020)や Chen et al. (2021)は制約語句と原言語文との間の単語アラインメント に基づいた制約付き機械翻訳手法を提案している。このアラインメントはアテンション機構の 重み (Garg et al. 2019) や追加のアテンションヘッドの値から導出され, 翻訳モデルが原言語の どの単語を翻訳しようとしているかという情報から制約語句を訳出するタイミングを決定する. しかし, これらの手法の学習には, 語彙制約に加えて原言語文と制約語句の間の正解の単語ア ラインメントが必要になる. そのような情報が利用できない場合には自動単語アラインメント 手法 (e.g. GIZA++, Fast-Align) 等を使用する必要があるが, そのアラインメントのエラーの せいで翻訳精度が低下してしまうことが予想される。

Susanto et al. (2020) では全てのトークンを並列に生成する Non-Autoregressive NMT (NAT) に基づいた高速な語彙制約付き機械翻訳手法を提案している。この手法では, 各出力ステップ でトークンの插入および削除を行う Levenshtein Transformer (Gu et al. 2019)を用いており，与 えられた制約語句を出力の初期状態として翻訳を始める。この論文では与えられた語彙制約の 順序は参照訳中に出現する順序と同じであると仮定しているが，一方で本論文で用いたデー夕

のように制約語句の参照訳中での出現順序の情報が利用できないことのほうが一般的だと考え られる，その場合には，制約の個数の階乗個ある全ての順序で翻訳を行ってリランキングする 必要があるため, 非常に計算回数が大きくなってしまう，また，NAT に基づく手法は従来の Autoregressive NMT による方法よりも依然として翻訳精度が低い.

また，いくつかの先行研究では入力系列を語彙制約で拡張する手法を提案している．Song et al. (2019) は統計的機械翻訳で用いるフレーズテーブルを用い, 原言語文のうち制約語句に対応する部分に対してその制約語句で置換したり挿入したりすることで入力系列を拡張する手法 を提案している。また, Chen et al. (2020)は原言語文の末尾に制約語句を結合するという非常 にシンプルだが効果的な手法を提案している。これらの手法はこれまで紹介した手法と比べて 高速に動作するが，一方でこれらの手法によって全ての語彙制約が満たされた翻訳結果が得ら れることが保証されない. さらに, Song et al. (2019)はフレーズテーブルの品質に翻訳精度や 語彙制約が満たされる割合が大きく影響されてしまう.

## 7 まとめ

本論文では翻訳モデルの入力系列の拡張によってビームサーチによる語彙制約付きデコーディ ングを効率化した語彙制約付き機械翻訳手法を提案した．ASPECによる日英および英日翻訳 での実験により，提案手法が従来手法と比べて少ない計算コストで高い翻訳精度を実現するこ とを確認した．また，対訳辞書などを用いて自動抽出されたノイズの多く含む語彙制約に対し ても語彙制約付き機械翻訳手法を適用するために，与えられた語彙制約の任意の組み合わせに 対する翻訳候補にリランキング手法を用いることで最適な翻訳文を選択する手法についても提案し, 日英翻訳での実験において一般的な機械翻訳手法とくらべて高い翻訳精度が達成可能で あることを示した.

今後の課題としては，高精度に語彙制約の自動抽出を行う手法の検討が挙げられる。語彙制約付き機械翻訳手法に与える語彙制約は翻訳する言語対やドメインに大きく依存すると考えら れ，すべての言語対やドメインに対して人手で語彙制約を作成するのはコストを要するために 自動化が望まれる。しかし，制約語句の自動抽出を行う手法についてはまだほとんど取り組ま れておらず，対訳辞書や対訳コーパスから作成したフレーズテーブルを用いて制約語句を作成 することが考えられるが，その方法は自明ではない13，今後は，対訳コーパスから語彙制約を 自動的に抽出していく方法や人間と対話的に翻訳していく過程において語彙制約を構築する手法などを検討していく．また， 3.3 節の手法は制約語句数のべき乗のオーダの計算量がかかるた

め, 制約語句数が増えると計算コスト面で問題となることも考えられる。この計算コスト面の 問題に関しては制約語句の抽出の方法や方法ごとの制約語句数などに大きく影響されるため, その分析および高速化についても今後の課題である.

## 謝 辞

本論文の執筆にあたり，有益なコメントを頂きました査読者，担当編集委員の皆様に感謝申 し上げます.

## 参考文献

Alam, M. M. I., Kvapilíková, I., Anastasopoulos, A., Besacier, L., Dinu, G., Federico, M., Gallé, M., Jung, K., Koehn, P., and Nikoulina, V. (2021). "Findings of the WMT Shared Task on Machine Translation Using Terminologies." In Proceedings of the 6th Conference on Machine Translation, pp. 652-663, Online. Association for Computational Linguistics.

Cettolo, M., Federico, M., Bentivogli, L., Niehues, J., Stüker, S., Sudoh, K., Yoshino, K., and Federmann, C. (2017). "Overview of the IWSLT 2017 Evaluation Campaign." In Proceedings of the International Workshop on Spoken Language Translation (IWSLT), pp. 2-14.

Chen, G., Chen, Y., and Li, V. O. (2021). "Lexically Constrained Neural Machine Translation with Explicit Alignment Guidance." Proceedings of the AAAI Conference on Artificial Intelligence, 35 (14), pp. 12630-12638.

Chen, G., Chen, Y., Wang, Y., and Li, V. O. (2020). "Lexical-Constraint-Aware Neural Machine Translation via Data Augmentation." In Bessiere, C. (Ed.), Proceedings of the 29th International Joint Conference on Artificial Intelligence, IJCAI-20, pp. 3587-3593. International Joint Conferences on Artificial Intelligence Organization. Main track.

Chousa, K. and Morishita, M. (2021). "Input Augmentation Improves Constrained Beam Search for Neural Machine Translation: NTT at WAT 2021." In Proceedings of the 8th Workshop on Asian Translation (WAT), pp. 53-61, Online. Association for Computational Linguistics.

Federmann, C. (2018). "Appraise Evaluation Framework for Machine Translation." In Proceedings of the 27th International Conference on Computational Linguistics: System Demonstrations, pp. 86-88, Santa Fe, New Mexico. Association for Computational Linguistics.

Garg, S., Peitz, S., Nallasamy, U., and Paulik, M. (2019). "Jointly Learning to Align and Translate with Transformer Models." In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Lan-
guage Processing (EMNLP-IJCNLP), pp. 4453-4462, Hong Kong, China. Association for Computational Linguistics.

Gu, J., Wang, C., and Zhao, J. (2019). "Levenshtein Transformer." In Wallach, H., Larochelle, H., Beygelzimer, A., d'Alché-Buc, F., Fox, E., and Garnett, R. (Eds.), Advances in Neural Information Processing Systems 32, pp. 11179-11189. Curran Associates, Inc.

Hokamp, C. and Liu, Q. (2017). "Lexically Constrained Decoding for Sequence Generation

Using Grid Beam Search." In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1535-1546, Vancouver, Canada. Association for Computational Linguistics.

池原悟, 宮崎正弘, 白井諭, 林良彦 (1987). 言語における話者の認識と多段翻訳方式. 情報処理学会論文誌, 28 (12), pp. 1269-1279. [S. Ikehara et al. (1987). Speaker's Recognition and Multi-level-translating Method Based on It. Transaction of Information Processing Society of Japan (IPSJ), 28 (12), pp. 1269-1279.].

Kingma, D. and Ba, J. (2015). "Adam: A Method for Stochastic Optimization." In Proceedings of the 3rd International Conference on Learning Representations (ICLR).

Kitaev, N. and Klein, D. (2018). "Constituency Parsing with a Self-Attentive Encoder." In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2676-2686, Melbourne, Australia. Association for Computational Linguistics.

Kiyono, S., Ito, T., Konno, R., Morishita, M., and Suzuki, J. (2020). "Tohoku-AIP-NTT at WMT 2020 News Translation Task." In Proceedings of the 5th Conference on Machine Translation, pp. 145-155, Online. Association for Computational Linguistics.

Koehn, P., Hoang, H., Birch, A., Callison-Burch, C., Federico, M., Bertoldi, N., Cowan, B., Shen, W., Moran, C., Zens, R., Dyer, C., Bojar, O., Constantin, A., and Herbst, E. (2007). "Moses: Open Source Toolkit for Statistical Machine Translation." In Proceedings of the 45th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 177-180.

Kudo, T. (2006). "MeCab: Yet Another Part-of-Speech and Morphological Analyzer." http: //mecab.sourceforge.net.

Kudo, T. and Richardson, J. (2018). "SentencePiece: A Simple and Language Independent Subword Tokenizer and Detokenizer for Neural Text Processing." In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71.

Luong, T., Pham, H., and Manning, C. D. (2015). "Effective Approaches to Attention-based Neural Machine Translation." In Proceedings of the 2015 Conference on Empirical Methods
in Natural Language Processing, pp. 1412-1421, Lisbon, Portugal. Association for Computational Linguistics.

Marie, B. and Fujita, A. (2018). "A Smorgasbord of Features to Combine Phrase-Based and Neural Machine Translation." In Proceedings of the 13th Conference of the Association for Machine Translation in the Americas (Volume 1: Research Track), pp. 111-124, Boston, MA. Association for Machine Translation in the Americas.

Morishita, M., Suzuki, J., and Nagata, M. (2017). "NTT Neural Machine Translation Systems at WAT 2017." In Proceedings of the 4th Workshop on Asian Translation (WAT), pp. 89-94.

Morishita, M., Suzuki, J., and Nagata, M. (2019). "NTT Neural Machine Translation Systems at WAT 2019." In Proceedings of the 6th Workshop on Asian Translation (WAT), pp. 99-105.

Nakazawa, T., Nakayama, H., Ding, C., Dabre, R., Higashiyama, S., Mino, H., Goto, I., Pa, W. P., Kunchukuttan, A., Parida, S., Bojar, O., Chu, C., Eriguchi, A., Abe, K., and Oda, Yusuke Kurohashi, S. (2021). "Overview of the 8th Workshop on Asian Translation." In Proceedings of the 8th Workshop on Asian Translation, Bangkok, Thailand. Association for Computational Linguistics.

Nakazawa, T., Yaguchi, M., Uchimoto, K., Utiyama, M., Sumita, E., Kurohashi, S., and Isahara, H. (2016). "ASPEC: Asian Scientific Paper Excerpt Corpus." In Proceedings of the 10th International Conference on Language Resources and Evaluation (LREC'16), pp. 2204-2208, Portorož, Slovenia. European Language Resources Association (ELRA).

Ott, M., Edunov, S., Baevski, A., Fan, A., Gross, S., Ng, N., Grangier, D., and Auli, M. (2019). "fairseq: A Fast, Extensible Toolkit for Sequence Modeling." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL HLT), pp. 48-53.

Ott, M., Edunov, S., Grangier, D., and Auli, M. (2018). "Scaling Neural Machine Translation." In Proceedings of the 3rd Conference on Machine Translation (WMT), pp. 1-9.

Papineni, K., Roukos, S., Ward, T., and Zhu, W.-J. (2002). "Bleu: A Method for Automatic Evaluation of Machine Translation." In Proceedings of 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA. Association for Computational Linguistics.

Post, M. (2018). "A Call for Clarity in Reporting BLEU Scores." In Proceedings of the 3rd Conference on Machine Translation: Research Papers, pp. 186-191, Brussels, Belgium. Association for Computational Linguistics.

Post, M. and Vilar, D. (2018). "Fast Lexically Constrained Decoding with Dynamic Beam Allocation for Neural Machine Translation." In Proceedings of the 2018 Conference of the

North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 1314-1324, New Orleans, Louisiana. Association for Computational Linguistics.

Sakaguchi, K. and Van Durme, B. (2018). "Efficient Online Scalar Annotation with Bounded Support." In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 208-218, Melbourne, Australia. Association for Computational Linguistics.

Sato, T. (2015). "Neologism Dictionary Based on the Language Resources on the Web for Mecab." https://github.com/neologd/mecab-ipadic-neologd.

See, A., Liu, P. J., and Manning, C. D. (2017). "Get To The Point: Summarization with PointerGenerator Networks." In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1073-1083, Vancouver, Canada. Association for Computational Linguistics.

Sennrich, R., Haddow, B., and Birch, A. (2016a). "Improving Neural Machine Translation Models with Monolingual Data." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 86-96.

Sennrich, R., Haddow, B., and Birch, A. (2016b). "Improving Neural Machine Translation Models with Monolingual Data." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 86-96.

Song, K., Wang, K., Yu, H., Zhang, Y., Huang, Z., Luo, W., Duan, X., and Zhang, M. (2020). "Alignment-enhanced Transformer for Constraining NMT with Pre-specified Translations." In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 34, pp. 8886-8893.

Song, K., Zhang, Y., Yu, H., Luo, W., Wang, K., and Zhang, M. (2019). "Code-Switching for Enhancing NMT with Pre-Specified Translation." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 449-459, Minneapolis, Minnesota. Association for Computational Linguistics.

Susanto, R. H., Chollampatt, S., and Tan, L. (2020). "Lexically Constrained Neural Machine Translation with Levenshtein Transformer." In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 3536-3543, Online. Association for Computational Linguistics.

Szegedy, C., Vanhoucke, V., Ioffe, S., Shlens, J., and Wojna, Z. (2016). "Rethinking the Inception Architecture for Computer Vision." In 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 2818-2826.

Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., and Polosukhin, I. (2017). "Attention Is All You Need." In Advances in Neural Information Processing Systems 31 (NIPS), pp. 5998-6008.

Vinyals, O., Fortunato, M., and Jaitly, N. (2015). "Pointer Networks." In Cortes, C., Lawrence, N., Lee, D., Sugiyama, M., and Garnett, R. (Eds.), Advances in Neural Information Processing Systems, Vol. 28. Curran Associates, Inc.

## 略歴

帖佐 克己：NTTコミュニケーション科学基礎研究所社員. 2020 年奈良先端科学技術大学院大学先端科学技術研究科博士前期課程修了. 同年より現職. 主 に機械翻訳に関する研究に従事. 言語処理学会, ACL 各会員.

森下睦：NTTコミュニケーション科学基礎研究所研究員. 2017 年奈良先端科学技術大学院大学情報科学研究科博士前期課程修了. 同年より現職. 2022 年東北大学大学院情報科学研究科博士後期課程修了. 博士 (情報科学). 主に 機械翻訳に関する研究に従事. 言語処理学会, 情報処理学会, ACL 各会員.

永田 昌明：NTTコミュニケーション科学基礎研究所上席特別研究員. 1987 年京都大学大学院工学研究科修士課程修了. 同年, 日本電信電話株式会社入社.主に機械翻訳の研究に従事. 電子情報通信学会, 情報処理学会, 人工知能学会, 言語処理学会, ACL 各会員.


# BioVL2 データセット：生化学分野における一人称視点の 実験映像への言語アノテーション

西村 太一 ${ }^{\dagger}$ ・迫田航次郎 $\dagger$ ・牛久 敦 $\dagger$ ・橋本 敦史 ${ }^{\dagger}$ ・奥田奈津子 ${ }^{+\dagger}$ ・小野富三人 $+t+$ ・龟甲博貴 $+t+t \cdot$ 森信介

本論文では，生化学分野における一人称の実験映像データセットである BioVL2 デー タセットを提案する．BioVL2 データセットは生化学における 4 種類の基本的実験に 対し, それぞれ 8 動画撮影した合計 32 , 総時間 2.5 時間の映像からなるデータセッ トである。各映像はプロトコルと紐づいており, 言語アノテーションとして (1) 視覚 と言語の対応関係のアノテーション, (2) プロトコル中に現れる物体の矩形アノテー ションの 2 種類のアノテーションを付与している。構築したデータセットの応用例 として，本研究では実験映像からプロトコルを自動生成する課題に取り組んた。定量的，定性的な評価の結果，開発した手法はフレームに映っている物体名をそのま まプロトコルとして出力する弱いベースラインと比較して, 適切なプロトコルを生成できることを確認した。なお, BioVL2データセットは研究用途に限定してデータ セットを公開する予定である*。

キーワード : 生化学分野, プロトコル，視覚と言語の融合研究
## BioVL2: An Egocentric Biochemical Video-and-Language Dataset

Taichi Nishimura $^{\dagger}$, Kojiro Sakoda $^{\dagger}$, Atsushi Ushiku ${ }^{\dagger}$, Atsushi Hashimoto ${ }^{\dagger \dagger}$, Natsuko Okuda ${ }^{\dagger \dagger \dagger}$, Fumihito Ono $^{\dagger \dagger \dagger}$, Hirotaka Kameko ${ }^{\dagger \dagger \dagger}$ and Shinsuke Mor ${ }^{\dagger \dagger \dagger \dagger}$

In this study, we propose an egocentric biochemical video-and-language dataset called BioVL2 comprising eight videos for each of four experiments, with a total duration of 2.5 hours for all 32 samples. Each video corresponds to a protocol and two types of linguistic annotations are provided: (1) video-and-text alignment and (2) bounding boxes linked to objects in the protocol. As an application of the BioVL2 dataset, we consider the task of generating a protocol from an experimental video. Our experimental results show that the proposed system can generate better protocols than a

weak baseline designed to output objects appearing in the video frames. The BioVL2 dataset will be released for research purposes only.

Key Words: Biochemical Domain, Protocols, Vision-and-Language

## 1 はじめに

科学は再現性の危機に瀕している. 生化学や生命科学などの薬品を用いた化学実験を行う研究分野においては， $75 \%$ から $80 \%$ 以上の研究者が他の研究者の実験結果を再現することができ なかった経験があると報告している (Baker 2016)，化学実験で再現性を担保する上で鍵となる のがプロトコルである。プロトコルは人がある実験を再現するために必要な操作を時系列順に 記述した文書である（図 1）、プロトコルには, 試薬や装置などの操作対象の物体名と, 対応す る操作方法が動詞で，実験を再現するのに必要十分な記述がされている ${ }^{1}$ 。加えて，必要であれ ば物体の量や，操作する時間，あるいは操作の様態が副詞で記述されていることもある．例え

図 1 BioVL2データセットの概要. (a) の視覚と言語の対応関係のアノテーションに加え， (b) プロトコ ル中に現れる物体の矩形アノテーションを付与している.
^{1}$ 自明である物体名に関しては省略されることもある，例えば，図 1 の手順 2 では手順 1 の成果物を指しているが，明示的に記述してはいない.
}

ば, 図 1 の手順 3 の "Thoroughly resuspend pellet with $250 \mu \mathrm{L}$ of Cell Resuspension Solution" では, pellet, Cell Resuspension Solution という物体名の記述があり, resuspendという操作方法が動詞で記述されている. 加えて, Thoroughly という副詞や $250 \mu \mathrm{L}$ という量に関する記述 もある.こうしたプロトコルに従って実行することで，理想的には実験を再現することができ るはずだが，操作に抜け漏れがあったり，操作の詳細が記述されていなかったりといった問題 があると，他の研究者が実験を再現することが困難になる.

こうした再現性の危機に関する問題に対する有望な解決となりうるのが, 視覚と言語の融合研究である. 例えば，撮影した実験映像とプロトコルの組から，映像の操作シーンとプロトコ ルの各手順の対応関係を推定できれば，手順ごとに視覚的に操作を確認できる．あるいは，作業映像を入力としてプロトコルを自動生成できれば研究者がプロトコルを書く負担を軽减する ことができる.このように，化学実験を対象とした視覚と言語の融合研究は実験プロトコルの 参照時と作成時の両方の負担を軽減し, 実験再現性の向上に資するであろう.

こうした有用性はあるものの, 実験映像を対象とした視覚と言語の融合研究の数は多くない (Naim et al. 2014, 2015). その原因の1つに，実験映像を撮影し公開することが困難な点にあ る. 現に, Naim らの研究で利用しているデータセットは公開されていない. そのため, 我々 はこの目標に向けた第一歩として, 生化学分野を対象として実験映像を収集し, 言語アノテー ションを付与したBioVL2 データセットを構築し研究コミュニティに公開する（図 1）. 具体的 には以下の 2 種類のアノテーションを作業映像に付与する.

(1) 視覚と言語の対応関係のアノテーション. プロトコルを動詞ごとに分割した文のそれぞ れに対して（本論文ではこれを特に手順と呼ぶ），映像の中で手順が実施されている区間 （以下，イベントと呼ぶ）を付与する。このアノテーションは従来の視覚と言語の融合研究 (Zhou et al. 2018a; Krishna et al. 2017) と同様であり, 映像キャプショニング (Xu et al. 2016; Nishimura et al. 2021a) や映像と視覚の対応関係の推定 (Naim et al. 2014, 2015)な どの応用研究に活用できる。

（2）プロトコル内に現れる物体の矩形アノテーション．映像中の各フレームごとに，プロト コル中の物体が写っていて，かつ実験者の手と接触があった場合に物体の矩形情報を付与する.これにより, 映像中の空間的な分析 (例: 何が写っているか, どういう状態か) や実験者の動作分析が可能になる。また, 前述のアノテーションと合わせてプロトコル 中の物体名と映像中の物体との対応関係の推定 (Zhou et al. 2019b) などの応用研究にも 利用できる。

これらのアノテーションの付与を行うことで, 映像からのプロトコル生成や手順を入力とし たシーン検索が可能となる。こうした検索が行えると，初学者に対する教育効果や作業補助が 期待でき，実験の再現性の向上につながる，また，データがさらに集まるようになれば，最終的にはプロトコルからのロボット操作などのより挑戦的, かつ有用性が高い課題にも取り組む

ことが可能になる. 本研究で提案する BioVL2 データセットはこうした生化学実験を対象とし た言語と視覚の融合研究への第一歩である.

BioVL2 データセットの収集において意識した設計は，一人称視点のカメラを用いることで，研究者への撮影の負担を最小限にしたことである。実験の度に大掛かりな撮影環境を構築して いては，日々実験を行う研究者らは撮影に負担を感じ，結果データセットのサイズはスケール しない．研究者らが自ら撮影に取り組めるように，できるだけ研究者への負担が少ない設計を 考える必要がある。この点で，三人称カメラは撮影の度に広範な実験空間をカバーするのに複数台の設置が必要で, 故障のリスクが高くなる他, 同時撮影などの手間が発生する。一人称カ メラは広範な実験空間をカバーしつつも，生化学分野の研究者が手軽に撮影可能である。これ が一人称カメラを用いた理由である。こうして撮影を行った結果，全 32 の実験映像とそのアノ テーションからなるデータセットを構築した.

得られた BioVL2 データセットを用いて，その応用として本論文では実験映像からプロトコル を生成する課題に取り組む．実験映像の数は他の映像キャプショニングのデータセット (Krishna et al. 2017; Zhou et al. 2018a; Xu et al. 2016) と比較すると少なく, こうした課題で提案されて いる End-to-end な深層学習モデルを本課題に直接適用することは困難である. そのため, 本研究では, Ushiku ら (Ushiku et al. 2017) によって提案された手順書生成モデルを活用する。この モデルは本研究と同様, 少量の料理映像 (20 映像) に対して適用できるように外部リソースを活用しながら学習できるよう設計されている。このモデルにいくつかの改良を施し, BioVL2デー タセットの実験映像からプロトコル生成を生成する課題に取り組む。定量的, 定性的評価の結果，モデルは弱いべースラインと比較して，適切なプロトコルを生成できることを確認する。

本論文で述べる BioVL2 データセットは (Nishimura et al. 2021b) にて発表した BioVL データ セットの拡張である。具体的には，(1) 映像の数を 16 から倍の 32 へ増加させたこと， (2) 映像 への矩形アノテーションを追加で行ったことの 2 点の拡張を行った. さらに, (Nishimura et al. 2021b) では行わなかった，実験映像からプロトコルを生成する課題に取り組んだことも本研究 の追加の貢献である. BioVL データセットと同様, BioVL2 データセットは研究用途に限り公開する予定である².

## 2 関連研究

関連研究を大きく分けて 2 つの観点から説明する。第一に，作業映像と言語アノテーション の観点から，第二に，生物学の諸分野を対象とした自然言語処理，および視覚と言語の融合研究の観点から本研究の位置付けについて述べる.

## 2.1 作業映像と言語アノテーションからなるデータセット

## 2.1.1 Web 上の作業映像を対象とした研究

ある目的に向かい処理を進める行動系列を理解するために, 作業映像を対象とした研究は近年活発に取り組まれている。作業映像の理解の手がかりとして, 言語情報をアノテーションする方法がよく採用され，様々なデータセットが提案されてきた．数ある分野（例：料理, 家具の組み 立て）の中で，最も注目を集めてきたのは料理分野である。この分野は Web 上でデー夕を集め やすく, 物体や動作の種類が多様であることから，長年にわたり研究者の注目を集め続けてきた (Nishimura et al. 2021a; Zhou et al. 2019b; Wang et al. 2021). 料理分野で提案された映像と言語アノテーションからなるデータセットのうち, 最も大規模なデータセットは YouCook2 (Zhou et al. 2018a) データセットである。このデータセットは YouTube 上の料理映像を 89 のカテゴリ に分けて収集し，映像に対し料理を達成する上で重要なイベントのアノテーションを行い，各 イベントに対し手順を付与したデータセットとなっている。そして, 映像の密キャプショニン グ (Krishna et al. 2017; Zhou et al. 2018b), 作業映像における質問応答 (Wang et al. 2021), 作業映像からの手順書生成 (Nishimura et al. 2021a) など様々な研究におけるべンチマークデータ セットとしてもよく用いられている。また, 料理分野に続き, メイクアップ映像を YouTube か ら収集し同様のアノテーションを付与したデータセットである YouMakeup (Wang et al. 2019) も提案されている.

特定の分野に限定せず，作業映像一般を収集し言語アノテーションを付与する取り組みも行 われている. Howto100M (Miech et al. 2019) はその中でも最も大規模なデータセットであり, 1 億の作業映像と言語の組からなるデータセットである。なお, Howto100M に付与している言語アノテーションは，映像に付与しているナレーションを言語アノテーションとして自動的に 収集し付与したものである。

## 2.1.2 一人称視点の作業映像を対象とした研究

Web 上の映像の多くは視聴者のために編集されていることが多く, 作業を行う上で必要な行動の全てが映像中に現れるわけではない，例えば，冷蔵庫から材料を取り出すシーンや，ミキ サーで混ぜるなどの時間がかかるシーンは編集で切り取られやすい.こうしたシーンも含めた 作業行動全体の理解のために, 近年, 一人称視点の未編集映像を収集する取り組みが行われて きた. 料理分野における代表的なデータセットとして, EPIC-KITCHENデータセット (Damen et al. 2018) がある. このデータセットは, 32 の参加者の料理を行う過程を一人称視点のカメ ラを使って撮影したもので，合計 100 時間, 700 映像からなり, 各映像には全ての人間の動作 が言語情報でアノテーションされている（例：冷蔵庫を開ける，じゃがいもを切るなど）。他に も，おもちゃの車の組み立てを行うためのデータセットとして Assembly101 データセット (Sener et al. 2022) が提案されている. このデータセットは合計 513 時間, 4,321 映像からなるデータ

セットであり, EPIC-KITCHENS データセットと同様に動作情報のアノテーションとして言語 アノテーションが行われている.

BioVL2 データセットは, 生化学分野における一人称視点の作業映像と言語アノテーションか らなるデータセットであると位置付けられる。前述したデータセットと比較すると撮影した映像数は少ないが，今後の生化学分野における実験映像理解の研究において有用である.

## 2.2 生物学の諸分野を対象とした自然言語処理，および視覚との融合研究

生物学およびその諸分野 (生化学, 分子生物学) において, 再現性の観点からも人工知能技術 を適用することのニーズは高い（例：プロトコルから実験映像を検索，プロトコルからロボッ トの実験実行). 以下では, 自然言語処理，および視覚との融合研究に関する先行研究を挙げ,本研究の位置づけを明確にする.

## 2.2.1 自然言語処理

生命科学を対象とした代表的なデータセットとして, GENIA コーパス (Kim et al. 2003)があ る.これは, 生命科学論文のアブストラクトに対して, 品詞情報や構文木, 固有表現などの計 6 種類のアノテーションが付与されたデータセットである. Kulkarni ら (Kulkarni et al. 2018) は, 生物学のプロトコルを処理するためのデータセットである Wet Lab Protocol データセット （WLPデータセット）を提案した. 生物学のプロトコルを機械可読な動作グラフ表現 (Kiddon et al. 2015) に変換することがこのデータセットの目的であり,https://www.protocols.io/か ら収集した全 622 のプロトコルについて，固有表現のアノテーション（bio-Named Entity，以下 b-NE と呼ぶ），加えてそれらの関係性（例えば，ある薬品をどのように操作するといった 述語項構造のヲ格に当たる関係）を閉路のない有向グラフで表現するアノテーションを付与し ている。そして，このアノテーションの根のノードがプロトコルの最終成果物を表している。 EMNLP2020 併設のワークショップ The 6th Workshop on Noisy User-generated Text (W-NUT) では，このデータセットをもとに共有タスクとして取り組まれ，固有表現認識および関係抽出 の課題において多くの手法が提案されている (Knafou et al. 2020; Singh and Wadhawan 2020; Sohrab et al. 2020). 本研究において, WLP データセットのb-NEタグのアノテーション基準 は BioVL2 データセットのプロトコル中の動詞のタグ付けや, 物体名の抽出などにおいて参考に している。また，節 4 において，手順書生成のための文生成モデルの事前学習においても WLP データセットを活用している.

## 2.2.2言語と視覚の融合研究

自然言語処理技術のみでの発展と比較すると, 言語と視覚の融合研究の数は多くはない. Naim ら (Naim et al. 2014, 2015) はプロトコルと実験映像を入力としてプロトコル中の手順と動画の
区間について対応関係を獲得する課題に対し, (Naim et al. 2014) では IBM モデル (Brown et al. 1993)をもとに, (Naim et al. 2015) では条件付き確率場 (Lafferty et al. 2001)をもとにして教師 なしで学習する手法を提案している．Naim らの研究との本研究の差分は主に以下の 3 点にあ る. 第一に, 前述した研究ではデータセットを公開していないが, BioVL2データセットは公開 する点. 第二に，プロトコルの種類数，映像数ともに Naim らのそれを上回る点（BioVL2 デー タセットが 4 種類 8 動画に対し, Naim らのデータセットは 3 種類 2 動画). 第三に, 本研究で はデータセットの応用課題として, 言語と視覚の対応関係の獲得ではなく, 実験映像からの手順書生成を行う点である.

## 3 BioVL2 データセット

本節では，構築した BioVL2 データセットについて説明する。まず，データセットの構築方法について述べ，次に統計情報およびアノテーションの一致率を報告する.

## 3.1 データセットの構築

## 3.1.1 実験映像の撮影

撮影環境について．1 名の研究者（女性）の協力を得て実験映像の撮影を行った。図 2 に撮影途中の光景およびカメラからの視点を示す. カメラには Panasonic HX-A500を使用している が, このカメラは十分に軽量であり, 実験の邪魔にならないように配慮している。撮影におけ る実験は普段実験を行うのと同じように行動してもらうことを依頼した.

撮影する実験について．生化学分野の有名かつ基礎的な実験である PCR, ミニプレップ法,

(a)

(b)

図 2 (a) 実験映像の撮影風景. (b) 撮影途中の一人称カメラの視点.

DNA 抽出，アガロースゲル作成の 4 種類の実験に焦点を当てて映像を撮影した. 1 の実験あ たり 8 の映像を撮影した。この際，DNA 抽出に関しては方法がエタノール沈殿法およびフェ ノールクロロホルム法の 2 通りの方法があるため，それぞれ 4 映像ずつ収録している。合計 32 の映像からなるデータセットである ${ }^{3}$.

映像の前処理について，いくつかの実験映像については，研究者が待機しなければならない 手順が存在する（例：遠心分離機で 5 分遠心する）。こうした待ち時間には, 研究者はカメラを 外し待機しており，手順の内容とは関係がない。そのため，本研究では映像の前処理としてこ うした時間を手動で取り除いている。

## 3.1.2 映像と言語の対応関係のアノテーション

著者のうち 1 名がアノテータとして映像と言語の対応関係のアノテーションを行った。実験 を実施した研究室で使われているプロトコルはイラストなどを用いて視覚的に表現されており，明確な文書化はされていなかった，そのため，実験者に実験内容を口頭で説明してもらい，それ を文字で書き起こしたものをプロトコルとして利用した．次に，プロトコルを動詞ごとに分割 し, 手順列を得た. 例えば, “Invert 4 times to mix and add $10 \mu \mathrm{l}$ of Alkaline Protease Solution." という記述については, "Invert 4 times to mix” と “add $10 \mu$ lof Alkaline Protease Solution." と いう文の 2 つの手順に分割した. この時，接続詞（ここでは and）については消去するよう指示 した. ここでは, 代名詞や省略については特別な処理を行ってはいない. 次に，アノテータは 映像を視聴し，各手順の開始時間，終了時間を決定してイベントのアノテーションを付与した。 この時, 開始時刻と終了時刻にできるだけ曖昧さが残らないように，手順対象の物体を持った 時から，手順対象の物体を手放すまでの間をイベントとしてアノテーションした．表 1 に PCR のアノテーション結果の例を示す。節 1 で述べた通り，プロトコルの手順には，操作対象の物体名と操作に関する動詞を持ち, 必要に応じて副詞や量, 時間, 数などの情報が追加で記述さ れる。

## 3.1.3プロトコル内に現れる物体の映像矩形アノテーション

さらに, 別のアノテータがプロトコル中に現れる物体の映像矩形アノテーションを行った. このアノテータも著者のうちの 1 名である。映像から 4 秒ごとにフレームを抽出し 4 , 各フレー ムに対して (1) 手が物体と触れている状態にあり，かつ (2) 触れている物体がプロトコル中に存

在する場合において，その物体を矩形で囲い，物体名と紐づけるアノテーションを施している （図 3）。なお，これらの物体名はWLP データセット中の物体名に基づく固有表現に該当するも のをプロトコルから抽出し利用している。この時, 節 3.1.2 のアノテーション結果を参照しなが ら矩形アノテーションを行っている。なお，イベントのみに矩形アノテーションを行っている

表 1 PCR を対象としたアノテーション結果の一例．表の値は秒数を示す。なお，商標登録マーク ® は 表では記載しているが，データセットの実際のプロトコルには含まれていない.

図 3 矩形アノテーションツールのアノテーション画面. ツールはブラウザからアクセスできるように開発されている。（A)にはプロトコル中に現れる物体が列挙されており，(B)にて矩形アノテーショ ンを行う。(C) にて前後のフレームについて移動できる.

のではなく，映像全体にアノテーションを行っている点は注意されたい．映像中のイベント以外の区間においても物体をアノテーションしておくことで，幅広い応用（例：映像からのプロ トコル生成）や映像の分析に利用することを想定している.

## 3.2 統計情報

次に，構築したBioVL2 データセットについて統計情報を言語側，映像側それぞれの観点か ら述べる。この結果より, 両側面において BioVL2 データセットは多様な実験を収録したデー タセットであることを示す.

## 3.2.1 プロトコル

表 2 に言語側の統計情報を示す。手順あたりの単語数と比較すると，手順数は実験ごとに大 きく異なることが分かる。これは，BioVL2 データセットの手順の多様性を表している，中で も最も手順数が多かった実験はミニプレップ法であり，最も少ないのはフェノールクロロホル ム法であることが分かる．物体の種類数についてはこれと同様の傾向を示しているが，動詞の 種類数については最も種類が少ないのは PCRであった。言語の多様性を検証するために，あ る実験にユニークな動詞と物体の種類数を調査した（表 3 ）。この結果と表 2 の右 2 列を比較す ると, 物体の種類数は一致するのに対し, 動詞の種類数は著しく下がっている.このことから,

表 2 言語側の統計情報. 各値について, 平均と標準偏差を示している. ミニプレップ法とアガロースゲ ル作成について，同じ実験を行ってはいるが，一部の手順が状況に応じて飛ばされている．そのた め，標準偏差が 0 にならない点は注意が必要である.

表 3 他の実験には現れない，ある実験にユニークな物体の種類数および動詞の種類数.

BioVL2 データセットでは動詞については全実験を通して共通のものが現れる一方，物体につい ては実験ごとに固有の表現を持っていることが分かる。よって，物体に対する言語の多様性は あると言える。

## 3.2.2 実験映像

表 4 に各実験ごとの映像の長さ（秒数）について，図 4 に手順に紐づいたイベントの長さ（秒数）についての統計情報を示す。この結果から, 映像やイベントの長さの観点からも, BioVL2 データセットは多様性に富んでいることが分かる。映像全体の長さが最も長いのはエタノール 沈殿法であり (平均 399 秒), 最も短いものは PCRである（平均 254 秒）。また, イベントごと

表 4 実験ごとの映像の長さの統計情報. 表の値は平均と標準偏差を示す.

図 4 手順に紐づいたイベントの長さ（秒数）の割合. $d$ は秒数を示す.

の長さに着目すると, ミニプレップ法はイベントの $72.4 \%$ は 10 秒以下の手順で構成されている 一方，フェノールクロロホルム法は $50.0 \%$ のイベントが 30 秒以上の長いイベントを占めている.

## 3.2 .3 矩形アノテーション

表 5 に少なくとも 1 つ以上矩形アノテーションを行ったフレームが何枚存在したかについて，表 7 にアノテーションした矩形の数についての統計情報を示す. また, 表 6 に矩形アノテーショ ンに紐づく物体を b-NE タグのカテゴリ種類に分類した上での統計情報を示す。b-NE夕グの物

表 5 矩形アノテーションしたフレーム数の統計情報.

表 6 矩形アノテーションに紐づく物体を b-NE タグのカテゴリ種類に分類した上での統計情報. 実験ごと にユニークな物体を数え上げ報告している. b-NE夕グのうち, 物体に基づく固有表現には Reagent, Location, Device, そして Seal があるが, Seal は BioVL2 データセットの物体名に該当するものが 存在しなかった。そのため, 本アノテーションにおいては Reagent, Location, Deviceのみ数えた 結果を示している.

表 7 矩形アノテーションの統計情報.
体に基づく固有表現には Reagent, Location, Device, そして Sealがあるが, Seal は BioVL2デー タセットの物体名に該当するものが存在しなかった。 そのため, Reagent, Location, Deivceの み数えた結果を示している。この表より, Reagent が最も多く, ついでLocation, そしてDevice が最も少ないことが分かる．表 5 より，アノテーションするフレーム数には実験ごとに違いが あることが分かる．最もアノテーションをしたフレームの割合が大きいのはフェノールクロロ ホルム法であり, 最も小さいのはミニプレップ法である，表 7 に着目すると，概ねフレームあ たり矩形を 1 つアノテーションしていることが分かる。 また, ミニプレップ法はアノテーショ ンするフレームの割合は最も低いものの, アノテーションしている矩形の数は最も多いことも 分かる.

## 3.3 一致率の計算

アノテーション結果の品質を確かめるため, 前節でアノテーションを実施した者とは別のア ノテータにアノテーションを依頼し一致率を計算した。映像と言語の対応関係のアノテーショ ンに関しては著者のうち 1 名が, 映像矩形アノテーションについては著者とは別の 1 名が行っ た.この時の作業指示については全て節 3.1.2, 節 3.1.3 と同様である. 全ての映像に対してア ノテーションを再度行うことはコストが高いため, 実験ごとに 1 つランダムに映像を選択し，ア ノテーションを依頼した，以下，アノテーションの種類ごとに一致率を報告する.

## 3.3.1映像と言語の対応関係のアノテーション

撮影した実験の経験者に映像と言語の対応関係のアノテーションを依頼し，その結果と節 3.1 .2 の結果を比較して一致率を計算した。ここでは一致率の指標として 2 つイベントの時間的な 重なりを表現する temporal Intersection over Union (tIoU)を利用した. 表 8 に一致率の結果を 示す.この結果より，すべての実験において $\mathrm{tIoU}$ は平均 $75 \%$ 超えていることが分かる．言語情報と映像を入力としたイベント検索課題 (Lei et al. 2020)において, tIoUが 0.7 を超えた時正解とみなして再現率を計算している。この基準から述べると，75\%は高い値であると考えられ， アノテーションの品質は十分であることが分かる.

表 8 視覚と言語の対応関係アノテーションの一致率. 表の値は tIoU の平均値を示す.

(a)

(b)

図 5 (a) 物体ごとの AP および mAP の結果. (b) 物体ごとの True positive（真陽性）と False positive (偽陽性) の数.

## 3.3.2プロトコル内に現れる物体の映像矩形アノテーション

節 3.3.1とは別のアノテータに映像への矩形アノテーションを依頼し，節 3.1.3の結果と比較 して一致率を計算した. ここでは, 物体検出 (Ren et al. 2016)の評価尺度としてよく用いられる mean Average Precision (mAP) を用いた (Cartucho et al. 2018; Everingham et al. 2012)。新た にアノテーションした方を予測結果, 節 3.1.3 の結果を正解とみなして mAP の計算を行った ${ }^{5}$.

図 5 に mAP の結果と真陽性と偽陰性の分布を示す。 mAP は $72.73 \%$ となった. 物体検出課題における最新モデル (Carion et al. 2020; Zhu et al. 2021)の mAP が 0.6 から 0.7 の間であり,実用的な性能に達していることを考えると, この值は高いと考えられ，アノテーションの品質 は十分であることが分かる。一方で，多くの物体の AP が 0.7 を超えているものの AP が低い物体もあることが分かる。最も APが低かったのは new_tube である。元々のアノテータはある手順以降の，新しいtubeのみアノテーションを付与しているのに対し，新たにアノテーションを 行った者はすべての tube にアノテーションを付与していることが原因であった. このように，複数のインスタンスを文脈に応じて呼び分ける必要があるが, new どの修飾語に応じた適切 なアノテーション方法は今後検討の余地がある.

## 4 応用例：実験映像からのプロトコル自動生成

構築した BioVL2 データセットの応用課題の一例として, 実験映像からプロトコルを自動生

成する課題に取り組む. BioVL2 データセットの映像の数は 32 と少なく, 深層学習をもとにし た映像キャプショニングモデル (Krishna et al. 2017; Zhou et al. 2018b) を適用することは困難 である。少量の作業映像を対象とした手順書生成手法として，我々は Ushiku ら (Ushiku et al. 2017）の手法を活用する. この研究では料理映像を対象に，以下の５つのプロセスで手順書を生成する手法を提案している。 (1) Faster-RCNN (Ren et al. 2016)によって各フレームに対して物体認識を行い，(2) 認識した物体の中からレシピ固有表現 (笹田 他 2015)（recipe-Named Entity,以下 $\mathrm{r}-\mathrm{NE})$ に該当する物体のみを抽出する。そして，(3) 連続する部分フレームの認識結果を 統合して r-NE 列を得る。(4) あらかじめ大量のレシピで事前学習させておいた r-NE 集合から 文を生成するモデル（(Ushiku et al. 2017) では LSTM を使用）を用いて，(3)の r-NE 列ごとに 文を生成する。最後に，(5) 生成した文集合の中からレシピとして最も尤もらしい組み合わせを ビタビアルゴリズムを用いて探索しレシピとして出力する。本手法の特徴的な点として，物体名以外の視覚情報を活用しない点にある。r-NEと対応する文の組み合わせは, 固有表現認識器 を用いれば Web 上から大量に収集し，文生成モデルの事前学習を行うことができる。こうして 学習したモデルと物体認識器を併せて利用することで, 少数の映像からでもレシピを生成する ことができる.

BioVL2 データセットでこの手法を適用するにあたり，以下の 2 点の変更を加えた.
- 本研究では (1)と (2)の処理を行う代わりに, 矩形アノテーション結果を後段の処理に利用している。料理分野では矩形アノテーションがあれば映像中の物体認識はある程度行 うことができるが (Hashimoto et al. 2014), 本研究で対象とする生化学分野においては物体を正しく認識することは困難であることが推察できる。例えば図 6 において Primer 1 と Primer2 の認識を 1 枚のフレームから行うことは困難である。なぜなら，これらの物体は小さく認識が難しいだけでなく，外観も類似しているからである。映像を通して見

(1) Primer1

(1) Primer2

図 6 (1) Primer1を操作している画像と (2) Primer2を操作している画像.

ると作業者はこれらの物体を使い分けていることが分かるが，1枚のフレームだけから この識別を行うことは人にとってもほとんど不可能である。そのため, 本研究では矩形 アノテーションの結果を入力としてプロトコルを生成する課題に取り組む。この課題設

況を想定している。

・ 文生成の事前学習モデルには LSTM ではなくTransformer (Vaswani et al. 2017)を用い る. Transformer は機械翻訳, 文書要約 (Liu and Lapata 2019), 画像キャプショニング (Cornia et al. 2020) など多くの文生成課題において LSTM よりも良い性能を発揮してお り, 本課題においても有用であると考えられる. さらに, Transformer にコピー機構 (See et al. 2017）を導入するモデルも検討する．これは，入力の矩形アノテーションの物体情報を含む文を生成しやすくするためである．また，モデルの事前学習を行うデータセッ トとして，WLPデータセット (Kulkarni et al. 2018)を活用する.

この変更を加えた手法の概要を図 7 に示す。以下，手法の詳細について順に説明する。ここ で, 矩形アノテーションが 1 つ以上存在するフレーム列を $\boldsymbol{F}=\left(f_{1}, f_{2}, \ldots, f_{n}, \ldots, f_{|\boldsymbol{F}|}\right)$ とする.

図 7 実験映像からのプロトコル生成手法.
我々の課題では，各フレームごとにアノテーション済みの物体名を用いて， b-NE 列を獲得す る。例えば，図 7 では，DNA engine や (DNA engine, Template) が該当する。そして，事前学習した文生成モデルを用いて, b-NE 列ごとにプロトコル候補文を生成する（図 7 では, “Set it in DNA engine" が該当). 最後に，プロトコル候補文の中から，プロトコルとして最も尤もら しい組み合わせを Viterbiアルゴリズムを用いて探索し出力する.

## $4.1 \mathrm{~b-\mathrm{NE}$ 列の獲得}

処理 $(3)$ にならい, フレーム列の部分列 $f_{n}^{n+(l-1)}$ ( $l$ は部分列の長さ) に対し, 固有表現列を 与える。与えられた固有表現列をバイオ固有表現 (b-NE) 列と呼ぶ. 矩形アノテーションが1つ 1 つが b-NEであるとみなすと， $n$ 番目のフレーム $f_{n}$ は b-NE 集合 $\mathcal{E}_{n}$ を持つ. この時，部分フ レーム列 $f_{n}^{n+(l-1)}$ に含まれる b-NE 集合は $\mathbf{e}_{n}^{l} \in \mathcal{E}_{n} \times \mathcal{E}_{n+1} \times \ldots \times \mathcal{E}_{n+(l-1)}$ として定式化する $(\times \text { は集合のデカルト積 })^{6}$. 例えば, 図 7 の $l=1$ の例では, $\mathbf{e}_{n}^{l}$ はDNA engineのみ, $l=2$ の 例では, (DNA engine, Template) となる。部分列 $l$ について, Ushiku らと同様に $l=1,2,3$ の b-NE列を構築する。

## $4.2 \mathrm{~b-\mathrm{NE}$ 列からのプロトコル候補文生成}

## 4.2.1 文生成モデルの事前学習

次に, b-NE 列 $\mathbf{e}$ からプロトコルの候補文を生成する。これは, 入力の b-NE 列に対して, その情報を保持したまま，適切な動詞や前置詞などを補完しつつ文を出力する課題である．図 8 に WLP データセットを用いた文生成モデルの事前学習についての概要を示す. モデルは Transformer をべースにした自己回帰型エンコーダデコーダモデルにコピー機構を加えている．入力とし てb-NE列を [CLS] という特殊トークンを先頭に， [SEP] トークンで区切って結合した単語列 $\boldsymbol{X}=\left(x_{1}, x_{2}, \ldots, x_{i}, \ldots, x_{|\boldsymbol{X}|}\right)\left(x_{i}\right.$ は $i$ 番目の単語 $)$ に対し, 出力文を $\boldsymbol{Y}=\left(y_{1}, y_{2}, \ldots, y_{j}, \ldots, y_{\mid} \boldsymbol{Y}_{\mid}\right)$ （ $y_{j}$ は $j$ 番目の単語）とする. Transformer エンコーダを $E(\cdot)$, Transformer デコーダを $D(\cdot)$ と すると, エンコーダの出力ベクトル列 $\boldsymbol{H}=\left(h_{1}, h_{2}, \ldots, h_{i}, \ldots, h_{|\boldsymbol{X}|}\right)$, デコーダの $j$ 番目の単語 に対応する出力べクトル $o_{j}$ は以下のように計算する.

$
\begin{aligned}
\boldsymbol{H} & =E(\boldsymbol{X}) \\
o_{j} & =D\left(\boldsymbol{Y}_{<j}, \boldsymbol{H}\right)
\end{aligned}
$

ここで， $\boldsymbol{Y}_{<j}$ は $j$ 番未満の部分単語列を表す. 図 8 にあるように，エンコーダの出力はデコー ダの Source-target attention 層へ入力される. また, エンコーダとデコーダの単語の分散表現
^{6}$ Ushiku らの手法では, Faster RCNN の物体検出結果をもとに, デカルト積を用いて r-NE 列を構築することで，検出誤りにも頑健にフレーム部分列を表現することを試みている。本研究では，人手でアノテーションしたb-NE を後段の処理に使っているが，従来手法の b-NE 列の獲得方法を踏襲している.
}

図 8 Transformer 文生成モデル．物体名を入力として対応する文を出力するように学習する．

層は別々に最適化しており，デコーダ側には位置エンコーディングが加算されているが，エン コーダ側は集合のエンコードであることを考慮してこれを加えていない点は注意されたい.

本研究の設定では, 入力の物体名は出力に必ず含まれるため, それを陽にモデル化すること でより正しく文生成を行えるようになると考えられる。これを加味するために，コピー機構を モデルへ導入する。 エンコーダの出力 $\boldsymbol{H}$ とデコーダの出力 $o_{j}$ を用いて, 注意確率 $\beta_{j}^{i}$ を以下の ように計算する。

$
\beta_{j}^{i}=\frac{\exp \left.\{\left(o_{j}\right)^{\top} W_{c} h_{i}\right.\}}{\sum_{k} \exp \left.\{\left(o_{j}\right)^{\top} W_{c} h_{k}\right.\}}
$

ただし， $W_{c}$ は線形層を表す。次に， b-NE列から単語を選択するか，語彙の単語を選択するか の確率をコピーゲート $g_{j}\left(0 \leq g_{j} \leq 1\right)$ を以下のように計算する.

$
g_{j}=\sigma\left(W_{g}\left[o_{j} ; \sum_{m} \beta_{j}^{m} h_{m}\right]+b_{g}\right)
$

ここで, $[\cdot], \sigma(\cdot), W_{g}, \quad b_{g}$ はそれぞれべクトルの結合関数，シグモイド関数，線形層の重みお よびバイアスを表す. $g_{j}$ を用いて，単語の予測分布 $p\left(y_{j} \mid y_{<j}, \boldsymbol{H}\right)$ は以下のように計算する.

$
p\left(y_{j} \mid y_{<j}, \boldsymbol{H}\right)=\left(1-g_{j}\right) p_{v o c}\left(y_{j} \mid y_{<j}, \boldsymbol{H}\right)+g_{j} \sum_{i: x_{i}=y_{j}} \beta_{j}^{i}
$

ここで, $p_{v o c}\left(y_{j} \mid y_{<j}, \boldsymbol{H}\right)$ は語彙中の単語 $y_{j}$ の確率分布を表す. 入力と出力の組 $(\boldsymbol{X}, \boldsymbol{Y}) \in \mathcal{D}(\mathcal{D}$ は学習データ全体を表す) について, 以下の負の対数尤度 $\mathcal{L}(\theta)$ を最小化するように学習を行う.

$
\mathcal{L}(\theta)=-\sum_{(\boldsymbol{X}, \boldsymbol{Y}) \in \mathcal{D}} \log p(\boldsymbol{Y} \mid \boldsymbol{X} ; \theta)
$

ここで, $\theta$ はモデルの学習可能なパラメータ全体を表す.

## 4.2.2 b-NE 列からのプロトコル候補文生成およびスコアの算出

WLP データセットで事前学習したモデルを用いて, 節 4.1 で獲得した b-NE 列から文を生成 する。また，後段のプロトコル出力の探索のために，生成したプロトコル候補文のそれぞれに ついて, 生成した文の尤もらしさをスコアとして得る。具体的には, $n$ 番目のフレーム, 長さ $l$ の b-NE列 $\mathbf{e}_{n}^{l}$ に対し, 以下の式に則ってスコアを求める.

$
\operatorname{Score}\left(\mathbf{e}_{n}^{l}\right)=\prod_{i=1}^{N} p\left(d_{i} \mid d_{1}, d_{2}, \ldots, d_{k-1} ; \mathbf{e}_{n}^{l}\right)
$

ここで, $d_{i}$ は出力文の $i$ 番目の単語を示し, $N$ は単語列の長さを示す.

## 4.3 プロトコルの出力

生成した文集合の中から，プロトコルとして最も尤もらしい系列を選択しプロトコルを出力す る. 各文に対して与えるスコア $S \operatorname{core}\left(\mathbf{e}_{n}^{l}\right)$ の和が最大となるようにフレーム列を選択する.こ こで，2つのヒューリスティックを導入する．第一に， 1 人の研究者が 2 つの作業を同時に行う ことはほとんど不可能であるため, プロトコル手順の候補に対応する部分フレーム列は重なっ てはならないこととする。第二に，同じ手順が複数回登場することはないとし，プロトコル中 に一度登場した手順のスコアを 0 とする。この第二の仮定のもとでは, 手順候補のスコアが変化しうるため, 全探索を行ってプロトコルを出力するべきである. しかし, スコアの変化は同一文の生成時のみに限定され，頻繁に発生するものではないと考えられるため，ビタビアルゴ

リズム (Viterbi 1967)を用いて時間方向に沿って探索を行う。手順候補のスコアを高めるため の経路を選択した結果を結合してプロトコルとして出力する。スコアが高ければ高いほど，プ ロトコルとして尤もらしいと考える。

## 5 評価

前節で説明した手法を BioVL2 データセットに適用してプロトコルを生成し評価を行った。以下では，実験設定について，利用したデータセット，モデルのハイパーパラメータなどの詳細設定, そして評価尺度の点から述べる。次に, 生成したプロトコルの定量的, 定性的な評価結果を報告する。評価の結果, 我々はある程度正しくプロトコルを自動生成できていることを 確認する。

## 5.1 実験設定

## 5.1.1 データセット

文生成モデルの学習において, b-NE 集合と文の対からなるデータセットが必要である。デー タセットのサイズの観点から BioVL2 データセットを学習に用いることは困難であるため, 十分なサンプル数がある WLP データセット (Kulkarni et al. 2018)を学習に利用する．WLP デー タセットの各文には b-NEのアノテーションが行われているが，矩形アノテーションを付与し た物体が, Reagent, Location, およびDeviceのいずれかである点を踏まえ（表 6), 本研究では 特に Reagent, Location, Deviceの 3つのタグを用いる. また, BioVL2 データセットの手順あ たりの単語数は平均 10 単語以下である点を考慮し（表 2)，(1) 文に前述した 3 つのタグのいず れかが含まれない，あるいは (2) 単語数が 20 を超える文については学習データと検証データか ら削除する. さらに，表 6 では Device は数が少ないことを加味して（Location の $\frac{1}{4}$ ), フィル タリングの (1)について, Reagent と Location のいずれかが含まれないケースも検討する。な お, フィルタリングの効果については，節 5.2 にて考察する．表 9 に上記のフィルタリング を行わなかった場合と，行った場合の WLP データセットの統計情報を示す.このデータセッ トで学習した文生成モデルを用いて, BioVL2 データセットを評価データとして用いた.

## 5.1.2 詳細設定

文生成モデルの学習において, スペース区切りで文を単語に分割し, 訓練データ内で頻度が 5 回以下のものは未知語として処理した. 結果, 語彙サイズは 1,827 となった. Transformerの 隠れ層のサイズは 768 , 層数は 2 , Multi-head attention のヘッド数は 12 に設定した. 位置エン コーディングには (Vaswani et al. 2017) と同様の方法を用いる. また, Transformer の学習には BERT (Devlin et al. 2019)の学習で行われているように, Adam (Kingma and Ba 2015)を学習

表 9 WLP データセットの統計情報，全ての b-NE タグを利用した場合，物体に基づく固有表現のみを 利用した場合, そして Reagent と Location のみを利用した場合について, 20 単語以上の文をフィ ルタリングするか，しないかの両ケースにおける統計を示している。データセットの分割は元の WLP データセットの分割に従っており，評価データは本研究においては利用していない. BioVL2 データセットを評価データとして用いているためである.

率を $\alpha=0.0001, \beta_{1}=0.9, \quad \beta_{2}=0.999, \mathrm{~L} 2$ 重み減衰率を 0.01 に設定し, 最初の 5 エポックを ウォームアップとした. 最大エポックは 50 に設定し, バッチサイズは 16 , WLPデータセット の検証用データを用いて損失関数の値が最小になったモデルを評価に用いた。

## 5.1.3 評価尺度

文の自動評価尺度として広く利用される BLEU (Papineni et al. 2002), METEOR (Banerjee and Lavie 2005), ROUGE-L (Lin and Och 2004)を用いて評価を行った. BLEUの $N$ について は $N=1,2,3,4$ の值を評価結果として報告する7. なお, 本研究で利用する手法によって生成さ れたプロトコルは必ずしも正解のプロトコルと同じ手順数になるとは限らないため, 手順レべ ルでの評価は不可能である。そのため, 本研究ではすべての手順を結合し, 正解のプロトコル との文書レベルでの評価結果を報告する。

## 5.2 定量的評価

文生成モデルとして, ベースラインモデル（入力の b-NE 列をプロトコルとして出力するモデ ル), Transformerのみのモデル, Transformerにコピー機構を加えたモデル (以下, Transformer+ コピー機構と呼ぶ）との間で比較を行う. 表 10 に文の自動評価尺度による結果を示す.この結果より以下の 4 点のことが明らかとなった.

第一に，正しいプロトコルの生成には文生成モデルの学習が必須であることである．べース ラインモデルに比べて Transformer モデルの性能が高いことから，このことが確認できる．第二 に, WLPデータセットは BioVL2 データセットの文生成に適用可能だということである. WLP データセットは生物学のプロトコルを収集したものであり，生化学分野のプロトコルを対象と した BioVL2 データセットとは分野がやや異なる (生化学は生物学の一分野).しかし, BioVL2

表 10 文の自動評価尺度による評価結果.太字は最も結果が良い値を示す.

データセットの語彙の $83 \%$ は WLP データセットに現れ，両者のデータセットに大きな差はな いことが分かる。第三に，Transformer+コピー機構は Transformer のみの文生成モデルよりも 概ね良い性能を発揮することが分かる。これは，矩形アノテーションを付与した物体を正し 生成文に反映できているからと考えられる，第四に，学習に用いた b-NE夕グの種類はモデル の性能に大きく影響を与えることである。全ての b-NE タグを学習に利用したモデル（フィル タリングなし）と，その他のモデルを比較すると後者のモデルは前者のモデルの性能を大きく 上回った．また，Reagent, Location, Deviceのみを学習に用いたモデル（フィルタリングなし） と Reagent と Location のみを学習に用いたモデル（フィルタリングなし）を比較すると後者の モデルが概ね良い結果となった。これは，BioVL2データセットに含まれる物体には Reagent と Location が大きい割合を占めるためと考えられる。一方，単語数によるフィルタリングには大 きな性能の変化は見られなかった。

## 5.3 定性的評価

図 9 に Transformerのみ, Transformer+コピー機構, そして正解のプロトコルの比較結果を 示す. 節 1 で述べた通り，プロトコルとして正しい点であるためには，生成した各手順は正し

PCR

Transformerのみ

Transformer + コピー機構

正解のプロトコル

図 9 生成したプロトコルと正解のプロトコルの比較（実験は PCR）。利用したモデルは，表 10 中の 「Reagent, Location, Deviceのみ学習に利用, 単語数によるフィルタリングあり」. 各プロトコル の中央列は選択したフレームを示す。ここで，各フレームの下には入力となる b-NE 列を表示して いる。商標登録マーク ® は論文中では図中には記載しているが，実際の生成文および正解の文に は含まれていない.

く操作対象の物体を記述できており，かつ対応する動詞が正しくあらねばならない．また，必要に応じて副詞, 量や時間に関する表現を追加で記述して作業者が再現できる形であらねばな らない. Transformerのみのモデルの場合, 正しく物体を予測できている手順も存在する一方で (例：手順 1 の sterile water), 概ね物体の言語化において失敗していることが分かる. 例えば, Primer1, Primer2, PrimeSTARßなどの単語については正しく言及できていない. 一方で, コ ピー機構を Transformer に加えることにより，これらの物体の言及にある程度正しく生成でき ていることが分かる（例：手順 2 における Primer1, 手順 3 における Primer2, 手順 4 における PrimeSTAR@など)，以上の結果を踏まえると，プロトコルとして必要な要件の中で，物体に 関する生成という点では，コピー機構を加えることが有用であることが分かる.

限界点. コピー機構を入れることである程度正しくプロトコルを生成できるようになった一方で，このモデルには 2 点の限界点がある。第一に，動詞の生成である。図 9 の手順 1 において Prepare という動詞を生成しているが，正確には Add を生成するべきである．本研究の手法に は視覚情報は物体以外入力に与えていないため, 動詞を正しく生成できるかは文生成モデルに 依存する. この点は信頼性の高いプロトコル生成の点で提案手法が不十分な点の 1 つであろう.第二に，全ての物体が必ずしも生成したプロトコル中に含まれるとは限らない点である。図

9 の正解の手順 6 において “DNA engine” という単語が文中に存在するが, 生成したプロトコル の中にはこれが含まれていない，与えた物体を全て言語化することは正しくプロトコルの生成 する上で重要であり，この点は今後の課題である.

第三に, 数や量についての正しい生成が挙げられる。図 9 中では 1 volume や 1 minutes, 3001 などの量や時間に関する表現が生成されていることが分かるが，これらの量は実際には適切で はない 8 。これも，映像の情報を活用していないことの明確な限界点であり, 動詞の生成と同じ く正しい時間や量が生成されるかどうかは生成モデルに依存する。この量に関する記述も正し いプロトコル生成の点で提案手法の不十分な点であろう，今後，映像の情報を活用した文生成 を行っていく必要がある.

## 5.4 物体と動詞の自己相互情報量の観点からの文生成モデルの挙動の考察

図 9 中の Transformer+コピー機構において, 手順 2 や手順 3 において, 物体のみしか与えて いないにも関わらず，正しく動詞 “Add”を生成できている。前述した通り，これは文生成モデ ルに依存しているが，ある物体が決まれば正しい動詞を生成できるといったことは起こり得る たろうか. この点を明らかにするために，WLP データセットの訓練データにおける頻度が最も 高い 10 の動詞，および物体とその出現頻度，および自己相互情報量 (PMI) が高い物体，および 動詞の上位 5 件を計算した。

$
\mathrm{PMI}(\text { 物体 }, \text { 動詞 })=\log _{2} \frac{P(\text { 物体 }, \text { 動詞 })}{P(\text { 物体 }) P(\text { 動詞 })}=\log _{2} \frac{C(\text { 物体 }, \text { 動詞 }) N}{C(\text { 物体 }) C(\text { 動詞 })}
$

ここで， $C(\cdot)$ はある物体か動詞の単語の数，またはその両方が共起する文の数を示す. $N$ は訓練データ中の全ての単語数を示す。表 11,12 にその結果を示す。その結果，ある物体に対して

表 11 WLPデータセットの訓練デー夕における，頻度が最も高い 10 の動詞とその出現頻度および PMI が高い物体上位 5 件。低頻度な単語は PMI が過剩に高くなる傾向があるため，頻度が 11 以上の 物体の上位 5 件を報告している.
^{8} \mathrm{PCR}$ 実験においてプロトコルには量は記述されていない. PCR はキットによって試薬の量などがあらかじめ決め られているため，実験者はそれを順に操作していくだけとなっている.
}

PMI の値が極端に高い物体が存在するわけではなく，上位 5 件は概ね同程度の値を示した。動詞からみた物体についても同様である。このことから，ある動詞あるいは物体に対し，特定の 物体や動詞が一意に定まることはないと考えられる。ではなぜ図 9 にて正しい動詞を生成でき たのであろうか. 1 つの考えられる仮説として，モデルは高頻度な動詞を生成しやすいことがあ る. 実験において, Primer1 や Primer2 は文生成時に未知語として処理されている ${ }^{9}$. しかし, add はもっとも頻度が高い動詞であるので，図 9 ではこれを出力したものではないかと考えら れる。

## 5.5 プロトコルの手順数と性能についての考察

表 13 に生成したプロトコルと正解のプロトコルの間の実験ごとの手順数と文の自動評価尺度

表 12 WLP データセットの訓練データにおける，頻度が最も高い 10 の物体とその出現頻度および PMI が高い動詞上位 5 件。低頻度な単語は PMI が過剩に高くなる傾向があるため，頻度が 11 以上の 動詞の上位 5 件を報告している.

 &  & BLEU1 & BLEU2 & BLEU3 & BLEU4 & METEOR & ROUGE-L \\

表 13 生成したプロトコルと正解のプロトコルの実験ごとの手順数，および文の自動評価尺度の結果. な お，ここで用いたモデルは表 10 中の「Reagent, Location, Deviceのみ学習に利用，単語数によ るフィルタリングあり」である.

の結果を示す. 最も手順数の差が最も小さいのは PCR とフェノールクロロホルム法, 最も差が 大きかったのはミニプレップ法であった。手順数の差は小さい方が理想的である。一方で，文 の自動評価尺度による評価では手順数の差が大きいミニプレップが最も良い性能を示している。生成したプロトコルの手順数が多くなるほど, 文書で見た時の単語数が増加し, 正解と比較し て一致する n-gram が増加する。このことが，文書レベルでの評価を行った時に手順数が最も多 いミニプレップが, 正解との手順数に差はあれど評価結果が高くなる理由であると考えられる.今後, プロトコル生成の評価として，手順数の差も考慮に入れた評価, 正しい動詞や物体が生成したプロトコル中に現れるかどうかといった，プロトコルの質をその要件と照らし合わせた 評価を行う仕組みを検討する必要がある.

## 6 おわりに

本研究は生化学分野における一人称の実験映像データセットである BioVL2 データセットを 構築した．BioVL2データセットは生化学における 4 種類の基本的な実験に対し，それぞれ 8 動画撮影した合計 32 映像からなるデータセットであり，言語アノテーションとして (1) 視覚と言語の対応関係のアノテーション, (2) プロトコル中に現れる物体の矩形アノテーションの 2 種類 のアノテーションを付与している。構築したデータセットを用いて, 応用課題として実験映像 からプロトコルを自動生成する課題に取り組んだ。 その結果，ある程度正しくプロトコルを生成できることを確認した．今後，BioVL2 データセットは研究用途に限り公開予定である。この データセットを通して生化学分野における人工知能技術の発展が進むことを強く望む.

## 謝 辞

本研究は JSPS 科研費 JP21J20250，JP20H04210，JP21H04910 の助成を受けたものです。ま た，本研究を進めるにあたって，オムロンサイニックエックス株式会社の牛久祥孝氏からは 有益なコメントを頂きました。本論文に内容の一部は The 4th Workshop on Closing the Loop Between Vision and Language (CLVL21) で発表したものです (Nishimura et al. 2021b).

## 付録

## A WLP データセットで定義されたタグの種類

表 14 に WLP データセットで定義された全てのタグ，それらが属するカテゴリ，そしてそ

 & 物体に基づく固有表現 &  \\

表 14 WLPデータセットで定義されたタグ.

の説明を示す. 元論文 (Kulkarni et al. 2018)の定義によると，夕グのカテゴリは動作を表すも の（表中の Action），物体に基づく固有表現を示すもの（表中の Reagent から Sealまで），測量 に基づく固有表現（表中の Amount から $\mathrm{pH}$ まで），そして品詞に基づく固有表現 (Modifier と Mention) に分類されている.

## B tIoU の計算

イベント $\mathrm{A}$ ，イベント $\mathrm{B}$ 開始時間と終了時間の組からなり，その区間 $A, B$ とする， 2 つの イベントの tIoU は以下の式で計算できる.

$
\operatorname{toU}(A, B)=\frac{|A \cap B|}{|A \cup B|}
$

ここで， $|A \cap B|$ と $|A \cup B|$ はそれぞれイベント区間の積集合と和集合を表す.

## 参考文献

Baker, M. (2016). "1,500 Scientists Lift The Lid on Reproducibility." Nature, 533, pp. 452-454.

Banerjee, S. and Lavie, A. (2005). "METEOR: An Automatic Metric for MT Evaluation with Improved Correlation With Human Judgments." In Proceedings of ACL Workshop IEEMMTS, pp. 65-72.

Brown, P. F., Pietra, S. A. D., Pietra, V. J. D., and Mercer, R. L. (1993). "The Mathematics of Statistical Machine Translation: Parameter Estimation." Computational Linguistics, 19, pp. 263-311.

Carion, N., Massa, F., Synnaeve, G., Usunier, N., Kirillov, A., and Zagoruyko, S. (2020). "Endto-End Object Detection with Transformers." In Proceedings of ECCV, pp. 213-229.

Cartucho, J., Ventura, R., and Veloso, M. (2018). "Robust Object Recognition Through Symbiotic Deep Learning In Mobile Robots." In Proceedings of IROS, pp. 2336-2341.

Cornia, M., Stefanini, M., Baraldi, L., and Cucchiara, R. (2020). "Meshed-Memory Transformer for Image Captioning." In Proceedings of CVPR, pp. 10578-10587.

Damen, D., Doughty, H., Farinella, G. M., Fidler, S., Furnari, A., Kazakos, E., Moltisanti, D., Munro, J., Perrett, T., Price, W., and Wray, M. (2018). "Scaling Egocentric Vision: The EPIC-KITCHENS Dataset." In Proceedings of ECCV, pp. 753-771.

Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. (2019). "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding." In Proceedings of NAACL-HLT, pp. 4171-4186.

Everingham, M., Gool, L. V., Williams, C. K. I., Winn, J., and Zisserman, A. (2012). "The PASCAL Visual Object Classes Challenge 2012 (VOC2012) Results." http://www. pascal-network.org/challenges/VOC/voc2012/workshop/index.html.

Hashimoto, A., Sasada, T., Yamakata, Y., Mori, S., and Minoh, M. (2014). "Kusk Dataset: Toward A Direct Understanding of Recipe Text and Human Cooking Activity." In Proceedings of Ubicomp, pp. 583-588.

Kiddon, C., Ponnuraj, G. T., Zettlemoyer, L., and Choi, Y. (2015). "Mise en Place: Unsupervised Interpretation of Instructional Recipes." In Proceedings of EMNLP, pp. 982-992.

Kim, J.-D., Ohta, T., Tateisi, Y., and Tsujii, J. (2003). "GENIA Corpus - A Semantically Annotated Corpus for Bio-textmining." Bioinformatics, 19, pp. i180-i182.

Kingma, D. P. and Ba, J. (2015). "Adam: A Method for Stochastic Optimization." In Proceedings of ICLR.

Knafou, J., Naderi, N., Copara, J., Teodoro, D., and Ruch, P. (2020). "BiTeM at WNUT 2020 Shared Task-1: Named Entity Recognition over Wet Lab Protocols using an Ensemble of Contextual Language Models." In Proceedings of WNUT, pp. 305-313.

Krishna, R., Hata, K., Ren, F., Fei-Fei, L., and Niebles, J. C. (2017). "Dense-Captioning Events
in Videos." In Proceedings of ICCV, pp. 706-715.

Kulkarni, C., Xu, W., Ritter, A., and Machiraju, R. (2018). "An Annotated Corpus for Machine Reading of Instructions in Wet Lab Protocols." In Proceedings of NAACL-HLT, pp. 97-106. Lafferty, J., McCallum, A., and Pereira, F. C. (2001). "Conditional Random Fields: Probabilistic Models for Segmenting and Labeling Sequence Data." In Proceedings of AAAI, pp. 282-289. Lei, J., Yu, L., Berg, T. L., and Bansal, M. (2020). "TVR: A Large-Scale Dataset for VideoSubtitle Moment Retrieval." In Proceedings of ECCV, pp. 447-463.

Lin, C.-Y. and Och, F. J. (2004). "Automatic Evaluation of Machine Translation Quality using Longest Common Subsequence and Skip-bigram Statistics." In Proceedings of $A C L$, pp. 605-612.

Liu, Y. and Lapata, M. (2019). "Hierarchical Transformers for Multi-Document Summarization." In Proceedings of ACL, pp. 5070-5081.

Miech, A., Zhukov, D., Alayrac, J.-B., Tapaswi, M., Laptev, I., and Sivic, J. (2019). "HowTo100M: Learning a Text-video Embedding by Watching Hundred Million Narrated Video Clips." In Proceedings of ICCV, pp. 2630-2640.

Naim, I., Song, Y., Liu, Q., Kautz, H., Luo, J., and Gildea, D. (2014). "Unsupervised Alignment of Natural Language Instructions with Video Segments." In Proceedings of AAAI, pp. 1558-1564.

Naim, I., Song, Y. C., Liu, Q., Huang, L., Kautz, H., Luo, J., and Gildea, D. (2015). "Discriminative Unsupervised Alignment of Natural Language Instructions with Corresponding Video Segments." In Proceedings of NAACL, pp. 164-174.

Nishimura, T., Hashimoto, A., Ushiku, Y., Kameko, H., and Mori, S. (2021a). "State-aware Video Procedural Captioning." In Proceedings of ACMMM, pp. 1766-1774.

Nishimura, T., Sakoda, K., Hashimoto, A., Ushiku, Y., Tanaka, N., Ono, F., Kameko, H., and Mori, S. (2021b). "Egocentric Biochemical Video-and-Language Dataset." In Proceedings of $C L V L$, pp. 3129-3133.

Papineni, K., Roukos, S., Ward, T., and Zhu, W.-J. (2002). "BLEU: A Method for Automatic Evaluation of Machine Translation." In Proceedings of ACL, pp. 311-318.

Ren, S., He, K., Girshick, R., and Sun, J. (2016). "Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks." IEEE Transactions on Pattern Analysis and Machine Intelligence, 39, pp. 1137-1149.

笹田鉄郎, 森信介, 山肩洋子, 前田浩邦, 河原達也 (2015). レシピ用語の定義とその自動認識のた めの夕グ付与コーパスの構築. 自然言語処理, 22, pp. 107-131. [T. Sasada et al. Definition of Recipe Terms and Corpus Annotation for their Automatic Recognition. Journal of Natural

Language Processing, 22, pp. 107-131.].

See, A., Liu, P. J., and Manning, C. D. (2017). "Get To The Point: Summarization with PointerGenerator Networks." In Proceedings of ACL, pp. 1073-1083.

Sener, F., Chatterjee, D., Shelepov, D., He, K., Singhania, D., Wang, R., and Yao, A. (2022). "Assembly101: A Large-Scale Multi-View Video Dataset for Understanding Procedural Activities." In Proceedings of CVPR, pp. 21096-21106.

Singh, J. and Wadhawan, A. (2020). "PublishInCovid19 at WNUT 2020 Shared Task-1: Entity Recognition in Wet Lab Protocols using Structured Learning Ensemble and Contextualised Embeddings." In Proceedings of WNUT, pp. 273-280.

Sohrab, M. G., Duong, K., Miwa, M., and Takamura, H. (2020). "mgsohrab at WNUT 2020 Shared Task-1: Neural Exhaustive Approach for Entity and Relation Recognition Over Wet Lab Protocols." In Proceedings of WNUT, pp. 290-298.

Ushiku, A., Hashimoto, H., Hashimoto, A., and Mori, S. (2017). "Procedural Text Generation from an Execution Video." In Proceedings of IJCNLP, pp. 326-335.

Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, L., and Polosukhin, I. (2017). "Attention is All You Need." In Proceedings of NeurIPS, pp. 5998-6008.

Viterbi, A. (1967). "Error Bounds for Convolutional Codes and An Asymptotically Optimum Decoding Algorithm." IEEE Transactions on Information Theory, 13, pp. 260-269.

Wang, S., Zhao, W., Kou, Z., Shi, J., and Xu, C. (2021). "How to Make a BLT Sandwich? Learning VQA Towards Understanding Web Instructional Videos." In Proceedings of WACV, pp. 1130-1139.

Wang, W., Wang, Y., Chen, S., and Jin, Q. (2019). "YouMakeup: A Large-Scale DomainSpecific Multimodal Dataset for Fine-Grained Semantic Comprehension." In Proceedings of EMNLP-IJCNLP, pp. 5133-5143.

Xu, J., Mei, T., Yao, T., and Rui, Y. (2016). "MSR-VTT: A Large Video Description Dataset for Bridging Video and Language." In Proceedings of CVPR, pp. 5288-5296.

Zhou, L., Kalantidis, Y., Chen, X., Corso, J. J., and Rohrbach, M. (2019a). "Grounded Video Description." In Proceedings of CVPR, pp. 6578-6587.

Zhou, L., Louis, N., and Corso, J. J. (2019b). "Weakly-Supervised Video Object Grounding from Text by Loss Weighting and Object Interaction." In Proceedings of BMVC.

Zhou, L., Xu, C., and Corso, J. J. (2018a). "Towards Automatic Learning of Procedures From Web Instructional Videos." In Proceedings of AAAI, pp. 7590-7598.

Zhou, L., Zhou, Y., Corso, J. J., Socher, R., and Xiong, C. (2018b). "End-to-End Dense Video Captioning With Masked Transformer." In Proceedings of CVPR, pp. 8739-8748.

Zhu, X., Su, W., Lu, L., Li, B., Wang, X., and Dai, J. (2021). "Deformable DETR: Deformable Transformers for End-to-End Object Detection." In Proceedings of ICLR.

## 略歴

西村太一：2019 年九州大学芸術工学部卒業, 2020 年京都大学大学院情報学研究科修士課程修了. 現在同大学博士課程. 修士 (情報学)、マルチメディア,自然言語処理，コンピュータビジョンの研究に従事. 言語処理学会学生会員.学術振興会特別研究員 (DC1).

迫田航次郎：2020 年神戸大学工学部卒業. 2022 年京都大学大学院情報学研究科修士課程修了。修士 (情報学)。言語処理学会学生会員.

牛久 敦: 2017 年京都大学大学院情報学研究科修士課程修了. 修士 (情報学).

橋本 敦史：2005 年京都大学工学部卒業, 2006 年経産省 Vulcanus in Europe プ ログラム国費奖学生. 2013 年京大大学院情報学研究科にて博士（情報学）取得. 現在オムロンサイニックエックス株式会社研究員. 主に, 料理や組立作業を対象として, 未来予測に基づく人と機械のインタラクションに関する研究などに従事. IEEE, IEICE, IPSJ 各会員.

奥田奈津子：2012 年神戸大学発達科学部卒業. 2016 年より大阪医科大学 (現 大阪医科薬科大学) 医学部生命科学講座生理学教室に研究補助員として入職.現在, 主たる実験動物ゼブラフィッシュの維持管理と分子生物学研究補助に 従事.

小野富三人：1991 年東京大学医学部卒業. 国立国際医療研究センターの研修医 を経て, 1996 年東京大学医学部博士課程修了. 学術振興会特別研究員, ニュー ヨーク州立大学ポスドク，フロリダ大学助教授，NIH 室長をへて 2014 年より 大阪医科大学（現大阪医科薬科大学）生理学教室教授. 神経系を中心とした 生理学の研究に従事. 日本生理学会, 北米神経科学会会員.

亀甲 博貴 : 2018 年東京大学大学院工学研究科博士課程修了. 博士 (工学). 同年より京都大学学術情報メディアセンター助教. 自然言語処理, ゲーム $\mathrm{AI}$ 等 に関する研究に従事. 言語処理学会, 情報処理学会各会員.

森信介：1998 年京都大学大学院工学研究科電子通信工学専攻博士後期課程修了. 同年日本アイ・ビー・エム株式会社入社. 2007 年より京都大学学術情報メディアセンター准教授. 2016 年同教授. 現在に至る. 計算言語学ならび に自然言語処理の研究に従事. 博士 (工学). 1997 年情報処理学会山下記念研究賞受賞. 2010 年, 2013 年情報処理学会論文賞受賞. 2010 年第 58 回電気科学技術奨励賞. 言語処理学会, 情報処理学会, 日本データベース学会各会員.

\author{
(2022 年 5 月 13 日 受付) \\ (2022 年 7 月 26 日 再受付) \\ (2022 年 8 月 30 日 採録)
}

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/