# レシピ用語の定義とその自動認識のための タグ付与コーパスの構築

笹田 鉄郎 $\cdot$ 森 信介 ${ }^{\dagger} \cdot$ 山肩 洋子计・前田 浩邦 $^{+\dagger \dagger}$ ・河原 達也 ${ }^{\dagger}$

自然言語処理において, 単語認識 (形態素解析や品詞推定など) の次に実用化可能な 課題は，ある課題において重要な用語の認識であろう。この際の重要な用語は，一般に単語列であり, 多くの応用においてそれらに種別がある。一般的な例は, 新聞記事における情報抽出を主たる目的とした固有表現であり，人名や組織名，金額な どの 7 つか 8 つの種別（固有表現クラス）が定義されている.この重要な用語の定義 は, 自然言語処理の課題に大きく依存する．我々はこの課題をレシピ（調理手順の 文章）に対する用語抽出として，レシピ中に出現する重要な用語を定義し, 実際に コーパスに対してアノテーションし, 実用的な精度の自動認識器を構築する過程に ついて述べる。 その応用として, 単純なキーワード照合を超える知的な検索や, 映像と言語表現のマッチングによるシンボルグラウンディングを想定している。この ような背景の下, 本論文では, レシピ用語タグセットの定義と, 実際に行ったアノ テーションについて議論する。また, レシピ用語の自動認識の結果を提示し, 必要 となるアノテーション量の見通しを示す.

キーワード：固有表現認識，用語抽出，レシピ，コーパス，アノテーション
## Definition of Recipe Terms and Corpus Annotation for their Automatic Recognition

\author{
Tetsuro Sasada ${ }^{\dagger}$, Shinsuke Mori ${ }^{\dagger}$, Yoko Yamakata ${ }^{\dagger \dagger}$, Hirokuni Maeta ${ }^{\dagger \dagger \dagger}$ \\ and Tatsuya Kawahara ${ }^{\dagger}$
}

In natural language processing (NLP), recognizing important terms after word recognition (word segmentation, part-of-speech tagging, etc.) is practical. In general, terms are word sequences and are classified into different types in many applications. A famous example is the named entity that aims to extract information from newspaper articles. This has seven or eight types (named entity classes) such as person name, organization name and amount of money. The definition of important terms depends heavily on the NLP task. We chose term extraction from recipes (cooking procedure texts) as our task. We discuss a process to define terms and types, annotate corpus, and construct a practically accurate automatic recognizer of recipe terms. The recognizer can potentially be applied to search functions that are more intelligent than simple keyword match and symbol grounding researches, wherein we can match videos

and language expressions. Based on these backgrounds, in this study, we discuss the definition of a tag set for recipe terms and real annotation work. Furthermore, we present the experimental results of automatic recognition of recipe terms and provide an insight into the number of annotations required for realizing a certain degree of accuracy.

Key Words: Named Entity Recognition, Term Extraction, Recipe, Corpus, Annotation

## 1 はじめに

自然言語処理において, 単語認識（形態素解析や品詞推定など）の次に実用化可能な課題は,用語の抽出であろう。この用語の定義としてよく知られているのは, 人名や組織名，あるいは金額などを含む固有表現である。固有表現は，単語列とその種類の組であり，新聞等に記述される内容に対する検索等のために 7 種類（後に 8 種類となる）が定義されている (Chinchor 1998; Sekine and Isahara 2000). 固有表現認識はある程度の量の夕グ付与コーパスがあるとの条件の下，90\%程度の精度が実現できたとの報告が多数ある (Borthwick 1999; Lafferty, McCallum, and Pereira 2001; Sang and Meulder 2003).

しかしながら，自然言語処理によって自動認識したい用語は目的に依存する。実際, IREXにおいて固有表現の定義を確定する際もそのような議論があった (江里口 1999). 例えば，ある企業がテキストマイニングを実施するときには，単に商品名というだけでなく，自社の商品と他社の商品を区別したいであろう。このように，自動認識したい用語の定義は目的に依存し，新聞からの情報抽出を想定した一般的な固有表現の定義は有用ではない。したがって，ある固有表現の定義に対して，夕グ付与コーパスがない状態から $90 \%$ 程度の精度をいかに手早く実現するかが重要である.

昨今の言語処理は，機械学習に基づく手法が主流であり，様々な機械学習の手法が研究されている。他方で, 学習データの構築も課題であり, その方法論やツールが研究されている (自然言語処理特集号編集委員会 2014). 特に, 新しい課題を解決する初期は学習データがほとんどなく, 学習データの増量による精度向上が, 機械学習の手法の改善による精度向上を大きく上回ることが多い. さらに，目的の固有表現の定義が最初から明確になっていることは稀で，夕グ付与コーパスの作成を通して実例を観察することにより定義が明確になっていくのが現実的であろう。本論文では, この過程の実例を示し, ある固有表現の定義の下である程度高い精度の自動認識器を手早く構築するための知見について述べる.

本論文で述べる固有表現は，以下の条件を満たすとする。

条件 1 単語の一部だけが固有表現に含まれることはない.

一般分野の固有表現では, 「訪米」などのように, 場所が単語内に含まれるとすることも
考えられるが，本論文ではこのような例は，辞書の項目にそのことが書かれていると仮定する。

条件 2 各単語は高々唯一の固有表現に含まれる.

一般分野の固有表現では，入れ子を許容することも考えられる (Finkel and Manning 2009;

Tateisi, Kim, and Ohta 2002) 例えば,「アメリカ大統領」という表現は, 全体が人物を表し「アメリカ」の箇所は組織名を表すと考えられる。自動認識を考えて広い方を採ることとする.

以上の条件は, 品詞タグ付けに代表される単語を単位としたタグ付けの手法を容易に適用させるためのものである。その一方で，日本語や中国語のように単語分かち書きの必要な言語に対しては，あらかじめ単語分割のプロセスを経る必要があるという問題も生じるが，本論文では単語分割を議論の対象としないものとする.

本論文では，題材を料理のレシピとし，さまざまな応用に重要と考えられる単語列を定義し， ある程度実用的な精度の自動認識を実現する方法について述べる。例えば，「フライ返し」という単語列には「フライ」という食材を表す単語が含まれるが，一般的に「フライ返し」は道具であり,「フライ返し」という単語列全体を道具として自動認識する必要がある. 本論文ではこれらの単語列をレシピ用語と定義してタグ付与コーパスの構築を行い, 上述した固有表現認識の手法に基づく自動認識を目指す.レシピ用語の想定する応用は以下の 2 つであり, 関連研究（2.3 節）で詳細を述べる。

## 応用 1 フローグラフによる意味表現

自然言語処理の大きな目標の一つは意味理解であると考えられる。一般の文書に対して意味を定義することは未だ試行すらほとんどない状況である。しかしながら，手続き文書に限れば， 80 年代にフローチャートで表現することが提案され，ルールベースの手法によるフローチャートへの自動変換が試みられている (Momouchi 1980)。同様の取り組みをレシピに対してより重点的に行った研究もある (浜田, 井手, 坂井, 田中 2002). 本論文で述べるレシピ用語の自動認識は，手順書のフローグラフ表現におけるノードの自動推定として用いることが可能である.

応用 2 映像とのアラインメント

近年，大量の写真や映像が一般のインターネットユーザーによって投稿されるようになり，その内容を自然言語で自動的に表現するという研究が行われている．その基礎研究と

して，映像と自然言語の自動対応付けの取り組みがある (Rohrbach, Qiu, Titov, Thater, Pinkal, and Schiele 2013; Naim, Song, Liu, Kautz, Luo, and Gildea 2014). これらの研究における自然言語処理部分は，主辞となっている名詞を抽出するなどの素朴なものである. 本論文で述べるレシピ用語の自動認識器により, 単語列として表現される様々な物体や動作を自動認識することができる.

これらの応用の先には, レシピの手順書としての構造を考慮し, 調理時に適切な箇所を検索して提示を行う，より柔軟なレシピ検索 (Yamakata, Imahori, Sugiyama, Mori, and Tanaka 2013) や, レシピの意味表現と進行中の調理動作の認識結果を用いた調理作業の教示 (Hashimoto, Mori, Funatomi, Yamakata, Kakusho, and Minoh 2008) がより高い精度で実現できるであろう.

本論文では，まずレシピ用語のアノテーション基準の策定の経緯について述べる。次に，実際のレシピテキストへのアノテーションの作業体制や環境, および作業者間の一致・不一致について述べる. 最後に, 作成したコーパスを用いて自動認識実験を行った結果を提示し, 学習コーパスの大きさによる精度の変化や，一般固有表現認識に対して指摘されるカバレージの重要性を考慮したアノテーション戦略の可能性について議論する。本論文で対象とするレシピテキストはユーザ生成コンテンツ (User Generated Contents; UGC) であり，そのようなデータを対象とした実際のタグ定義ならびにアノテーション作業についての知見やレシピ用語の自動認識実験から得られた知見は，ネット上への書き込みに対する分析など様々な今日的な課題の解決の際に参考になると考えられる。

## 2 関連研究

1 節で述べたとおり，我々の提案するレシピ用語夕グ付与コーパスは，レシピテキストが単語に分割されていることを前提としている。本節では，まずレシピテキストに対する自動単語分割の現状について述べる。次に，系列ラベリングによるレシピ用語の自動認識手法として用いる，一般的な固有表現認識手法について説明する。最後に，レシピ用語の自動認識結果の応用について述べる.

## 2.1 レシピテキストに対する自動単語分割

本論文で提案するレシピ用語夕グ付与コーパスは, 各文のレシピ用語の箇所が適切に単語に分割されていることを前提としている。したがって, コーパス作成に際しては, 自動単語分割 (森, Neubig, 坪井 2011) や形態素解析 (松本 1996; 工藤, 山本, 松本 2004; 松本, 黒橋, 山地, 妙木, 長尾 1997) などを前処理として行い, レシピ用語の箇所のみを人手で修正することが必要となる. 自動単語分割器や形態素解析器をレシピテキストに適用する際に問題となるのは, 分野の特殊性に起因する解析精度の低下である。実際, 文献 (森 2012)では, 『現代日本語書き言葉均衡コーパス』(Maekawa, Yamazaki, Ogiso, Maruyama, Ogura, Kashino, Koiso, Yamaguchi, Tanaka,

り，学習コーパスと同じ分野のテストコーパスに対する精度 $(99.32 \%)$ よりも大きく低下することを報告している。この文献ではさらに， 10 時間の分野適応作業を行い，精度が $97.05 \%$ に向上したことを報告している。
本論文で詳述するレシピ用語タグ付与コーパスの構築に際しては, レシピ用語となる箇所の単語境界付与も行うことになる 1 . この作業を実際に行う際には，まず前処理としてレシピテキストに対する自動単語分割を行い，その後人手でレシピ用語となる箇所を確認しながら夕グ付与を行っている。しかしながら，レシピ用語とならない箇所への単語境界情報付与はアノテー ションコストの増加を避けるため行っていない。したがって, 自動単語分割の学習コーパスとしては，文の一部（レシピ用語となる箇所）にのみ信頼できる単語境界情報が付与されており， レシピ用語以外の箇所においては信頼性の低い単語境界情報を持つ部分的単語分割コーパスとみなすことができる．部分的単語分割コーパスも学習コーパスとすることが可能な自動単語分割器 (森他 2011) を用いる場合は, 我々のコーパスにより, 自動単語分割の精度も向上すると考えられる。

## 2.2 固有表現認識

一般分野の固有表現タグ付与コーパスとして，新聞等に人名や組織名などの夕グを付与したコーパスがすでに構築されている (Grishman and Sundheim 1996; Sekine and Isahara 2000). 1 節で述べたように，本論文で述べる固有表現は単語列であり，コーパスに対するアノテーションでは, 以下の例が示すように IOB2 方式 (Tjong, Sang, and Veenstra 1999) を用いて各単語にタグが付与される.

99 /Dat-B 年/Dat-I 3 /Dat-I 月/Dat-I カルロス/Per-B ゴーン/Per-I 氏/O が日産/Org$\mathrm{B}$ の $/ \mathrm{O}$ 社長 $/ \mathrm{O}$ に $\mathrm{O}$ 就任 $/ \mathrm{O}$

ここで, Dat は日付, Per は人名, Org は組織名を意味し, それぞれに最初の単語であることを意味する B (Begin) や同一種の固有表現の継続を意味する I (Intermediate) が付与されている. さらに, O (Other) はいずれの固有表現でもないことを意味する. 本論文では, 各単語に付与されるタグをIOB2 タグと呼ぶ。また，単語列に与えられる固有表現クラスを固有表現夕グ（上の例では Dat や Per など）と呼ぶこととする. したがって, IOB2 タグの種類数は固有表現夕グの 2 倍より 1 多い。これは本論文で取り扱うレシピ用語に関しても同様であり，それぞれを IOB2 タグ・レシピ用語タグと記述する。

自動固有表現認識は, 系列ラベリングの問題として解かれることが多い (Borthwick 1999; Lafferty et al. 2001; Sang and Meulder 2003) . 一般分野の固有表現認識に対しては, 1 万文程度の学習コーパスが利用可能な状況では， $80 \% \sim 90 \%$ の精度が得られると報告されている。

レシピの自然言語処理においては, これら一般的分野の固有表現タグセットは有用ではない.出現する人はほぼ調理者のみであり, 人名や組織名は出現することはない. 人工物のほとんどは，食材と道具であり，これらを区別する必要がある，数量表現としては，継続時間と割合を

含む量の表現が重要である。 さらに，一般分野における固有表現タグセットとの重要な差異として，調理者の行動や食材の挙動・変化を示す用言を区別・認識する必要 (Hamada, Ide, Sakai, and Tanaka 2000) が挙げられる. このような分析から，我々はレシピ用語のタグセットを新たに設計した。レシピ用語の定義については，次節以降で詳述する。ただ，多くの固有表現抽出の研究を踏襲し, レシピ用語は互いに重複しないこととし, レシピ用語の自動認識の課題に対しては，一般的分野の固有表現認識と同様の手法を用いることが可能となるようにした.

## 2.3 レシピ用語の自動認識の応用

レシピを対象とした自然言語処理の研究は多岐にわたる。ここでは，我々のコーパスが貢献できるであろう取り組みに限定して述べる。

山本ら (山本, 中岡, 佐藤 2013) は, 大量のレシピに対して食材と調理動作の対を抽出し, 調理動作の習得を考慮したレシピ推薦を提案している。この論文では，レシピテキストを形態素解析し，動詞を調理動作とし，予め用意した食材リストにマッチする名詞を食材としている.食材に対しては，複合語が考慮されており，直前が名詞の場合にはこれを連結する。この論文での食材と調理動作の表現の認識は非常に素朴であり，未知語の食材名に対応することができないことや，食材が主語となる動詞（レシピテキストに頻出）を調理動作と誤認するなどの問題点が指摘される。

Hamada ら (Hamada et al. 2000) は, レシピを木構造に自動変換することを提案している。変換処理の第一段階として, 食材や調理動作の認識を行っている。しかしながら，認識手法は予め作成された辞書との照合であり，頑健性に乏しい.

以上の先行研究では，いずれも，食材や調理動作等をあらかじめリストとして用意することで問題が生じていると考えられる。我々の提案するレシピ用語夕グ付与コーパス，およびそれ

である。加えて，レシピ用語の自動認識には，これを実際に行っている調理映像とのマッチングなどの興味深い応用がある ${ }^{3}$ (三浦, 高野, 浜田, 井手, 坂井, 田中 2003). 映像処理の観点からは，調理は制御された比較的狭い空間で行われるので，カメラなどの機材の設置が容易であり，作業者が 1 人であるため重要な事態はほぼ 1 箇所で進行し，比較的扱いやすいという利点がある．実際，映像処理の分野では，実際に調理を行っている映像を収録しアノテーションを行っている (橋本, 大岩, 舩冨, 上田，角所，美濃 2009)。あるレシピのレシピ用語の自動認識結果と当該レシピを実施している映像の認識結果とを合わせることで，映像中の食材や動作の名称の推定や, テキスト中の単語列に対応する映像中の領域の推定（図 1 参照）を含む自然言語


図 1 レシピテキストと調理映像のマッチング例

処理以外の分野にも波及する研究課題を実施する題材となる。 さらに, 本論文で詳述するコー パス作成に関する知見は，レシピ以外の分野の手順文章においても，映像との統合的処理や新たな機能を持つ検索などの実現の参考になると考えられる。

## 3 レシピ用語タグセットの定義

2.2 節で述べたとおり, レシピテキストのように，新聞とは異なる利用目的をもつ言語資源を取り扱う場合, 一般的な固有表現の定義は有用ではない。そこで我々はレシピを用いて調理を行う際に必要となるレシピ用語を分類, 定義した。本節で述べるレシピ用語の一部は先行研究 (Hamada et al. 2000) で用いられていた表現分類を踏襲しているが，コーパス構築を行う過程で，先行研究における分類だけではカバーできないと判断したレシピ中の重要表現を新しく定義し, 追加した. レシピ用語タグの一覧を表 1 に示す. 実際のコーパス構築においては各単語にIOB2 タグ（2.2 節参照）を付与するという形で COOKPAD先公開しているレシピの中から無作為抽出で選択した 436 レシピにアノテーションを行った。構築したコーパスの詳細を表 2 に示す。なお, 後述する評価実験ではコーパスを学習・テストに分割して実験を行うため, 表 2 には分割後の詳細を示している。また，アノテーションを行ったコーパス中のレシピ用語タグ付与数の分布, ならびにタグごとの平均単語長と最大単語長を表 3 に示す. 以下では, 8 種類のレシピ用語タグについて個別に例を挙げながら述べる。なお, 本節以降では簡単の為 IOB2 夕グ形式を用いた表記ではなく，「例）/パイ生地/Fを/焼/Acく」のように，「/単語列/レシピ用語タグ名」の形式でレシピ用語タグの範囲を示し，例文を記述する.
^{4}$ http://cookpad.com
}
表 1 レシピ用語タグ一覧

表 2 レシピ用語タグ付与コーパス

表 3 付与したレシピ用語タグの統計

## 3.1 F: 食材

レシピテキストにおいては調理対象である食材，ならびに調理を行うための道具が主な人工物として記述される。中でも食材は調理における動作の目的語, 食材の変化や状態の遷移の主語となるため, レシピに記述された手続きの要素として過不足無く抽出されることが望ましい. また，レシピにおいては，中間食材や食材の集合を番号や記号・代名詞によって表現する事例が多い，以上を踏まえ，以下に挙げる単語列を『F: 食材』と定義した。

食材

例）/チーズ/F

例）/ごま油/F

## 中間食材

例） $/$ 生地/F

例）/サルサソース/F

## 食材の一部

例）/じやがいも/F の/皮/F

例）/水分/F を/切/Ac る

## 調理の完成品

例）/卵焼き/F

例）/チーズケーキ/F

## 記号 ・代名詞

例） $/ 1 / \mathrm{F} /$ フライパン/T に/流し入れ/Ac る

例）お/鍋/Tの/中身/Fが/ぐつぐつ/Afしてきたら

商品名

例）/とろけるチーズ/F

例）/薄切りベーコン/F

## $3.2 \mathrm{~T$ : 道具}

鍋, 蓋, 包丁、コンロなど，調理道具や器等を道具表現とする。手や指などの体の一部も道具表現になる場合がある，食せない，量が変化しない点以外は『F: 食材』のルールを踏襲する.

例） $/ 3$ 分/D /レンジ/Tを/L/Acてから

ただし,「『T: 道具』(する)」という表現は，後述する『Ac: 調理者の動作』となりうる。この場合には, 『Ac: 調理者の動作』のアノテーションを優先する.

例） $/ 3$ 分/D /レンジ/Acする

以下に示す「弱火」の例では「コンロ」「鍋」といった調理に必要な道具が明示されていないが，実際の調理ではそのような道具を用いて調理する意味を含んでいるため，道具とする。

例）/弱火/Tで/煮/Ac る

以下の「水」や「手」も道具とする。

例）/水/T で/洗/Acって

例）/手/Tで/洗/Acって

## 3.3 Ac: 調理者の動作 / Af: 食材の変化

『Ac: 調理者の動作』は調理者を主語にとって調理者が行う動作を示す用言であり, 『Af: 食材の変化』は『F: 食材』を主語として食材の変化を示す用言である. 『Ac: 調理者の動作』と 『Af: 食材の変化』は異なるレシピ用語として定義されるが, アノテーションの際には両者を混
同しやすい事例が頻出するため，本項でまとめて例を述べる。いずれも，同一性判定を容易にするために，活用語尾を含めない．動作を修飾する，「よく」「ざっくり」などの副詞表現も，同様の理由によりレシピ用語としない.

調理者が行う動作を示す用言を『Ac: 調理者の動作』とする.

例）/フライパン/T を/温め/Ac る

『F: 食材』を主語としてその変化を示す用言を『Af: 食材の変化』とする.

例） /沸騰/Afし始めたら

使役・否定の助動詞を伴う場合のみ,これらの助動詞語幹までを含めて『Ac: 調理者の動作』 とする．受動の助動詞を伴う場合，主語が『F: 食材』であれば実際には調理者を主語として『F:食材』を対象とした調理行動を行っているとし, 『使役, 否定』の場合と同様に助動詞語幹までを含め『Ac: 調理者の動作』とする。なお，本論文でタグ付与の対象としたレシピテキストにおいて『F: 食材』を主語とした受動態の事例は確認されなかったため, 以下では使役・否定の事例のみを挙げる。

例） / 沸騰させ/Ac たら

例）/沸騰しな/Afいように

目的語など格助詞で示される「項」を含めない.

例）/皮/Fを/む/Acいて

複合動詞は全体を調理動作とする。

例）/ふる/Acっておいた/薄力粉/Fを/振るいいれ/Ac

開始や完了などをあらわす補助的な動詞は含まない.

例）/惹込/Acんでいく

例）/惹た/Afってくる

動詞派生名詞やサ変名詞などの事態性名詞も動作とする.

例）/ねぎ/Fを/みじん切り/Acする。

例）/ねぎ/Fを/みじん切り/Sfに/する/Ac.

『F: 食材』で述べたように，商品名など，実際に行わない用言は『F: 食材』に含める.

例）/とろけるチーズ/F

例）/水溶き/Ac /片栗粉 $/ \mathrm{F}$

## $3.4 \mathrm{Sf:$ 食材の様態}

レシピテキストでは, 調理の進行度合いや食材の変化を伝えるために個々の時点における食材の様態が記述される. 『Ac: 調理者の動作』や『Af: 食材の変化』の影響によって食材が変化する（した）状態を表す表現を『Sf: 食材の様態』とする.

例）/柔らか/Sfく/な/Afるまで/者/Acる
例）/色/Sf が/変わ/Afる

以下の例に示すように, 『Sf: 食材の様態』は, 見た目, 大きさ, 分量などの様々な単語を含んでおり，一つのレシピ用語を構成する単語数が多くなりやすい。このため,

・ アノテーションを行う際に作業内容の一貫性を担保しにくい
- 未知の『Sf: 食材の様態』が多く出現する

という問題が発生する。この問題の詳細については 3.8 節で後述する.

例）/やっと手を入れられるくらい/Sf のお/湯/F

例）/にんじん/Fを/だいたい薄さ $5 \mathrm{~mm} / \mathrm{Sf}$ に/切/Ac る

## 3.5 St: 道具の様態

用意された道具様態の初期状態を表す表現，並びに Ac や Afの影響で遷移する（した）状態を表す表現を St とする。

例）/弱火/St の/フライパン/T で/炒め/Ac る

例）/オーブン/T を/150 度/St に/予熱/Ac する

『St: 道具の様態』は, 『 $\mathrm{T}$ : 道具』の例

例）/弱火/T で/煮/Ac る

と混同しやすいが，文中で調理過程における道具が明示され，その道具の状態を示している表現を『St: 道具の様態』と定義する.

## 3.6 D: 継続時間

加熱時間や冷却時間など，加工の継続時間を示す。数字と単位のほか，それらに対する修飾語句も含める.

例） $/ 12 \sim 15$ 分間/D / 煮込/Ac みます

例） $/ 5$ 分 <らい/D

例） $/ 2$ 日後くらい/Dが/食べ時/Afです!

## $3.7 \mathrm{Q$ : 分量}

食材の一部を用いた調理動作を行う場合，その一部が量として表される場合にその表現を『Q:分量』とする．数字と単位のほか, それらに対する修飾語句も含める.

例） $/$ 人参 $/ \mathrm{F} / 3 \sim 4 \mathrm{~cm}$ くらい/Q を/鍋/Tに/入れ/Ac

例） $/$ 酒/F /大さじ $2 / \mathrm{Q}$ を/加え/Ac

## 3.8 レシピ用語タグの付与が困難な事例

1 節で述べたように，本論文においてアノテーションの対象とするレシピテキストは推敲が乏しく，レシピとは関係のない内容も多く含まれる。このため, 本節で述べたレシピ用語の定義を用いて実際にアノテーションを行うと，レシピ用語タグを付与するべきか否かの判断に迷う部分が出現する．とくに，夕グ付与数の多いレシピ用語タグほど，レシピ用語となる表現のバリエーションも多く，その分アノテーション作業に時間を要すると考えられる（夕グ付与数の分布は表 3 を参照）．以下では，レシピ用語夕グを付与する際にアノテーションの困難であった事例を列挙し，現状でのアノテーション処理を述べる.
- 入れ子：表 3 の平均単語数と最大単語数からわかるとおり, 『Sf: 食材の様態』, 『D: 継続時間』, 『St: 道具の様態』, 『Q: 分量』は他のレシピ用語タグと比較して長い単語列となりやすく, 以下の例のように入れ子構造が発生することがある.

例）/やっと/手/Tを入れられるくらい/Sfのお/湯/F このような場合は, より長い単語列のレシピ用語タグ（上述した例では『Sf: 食材の様態』）を優先し，アノテーションを行う.
- 調理と関係のない記述：食事の感想など, 調理とは直接関係の無い記述に調理に関連する表現が出現することがある．例えば，レシピ中に出現する用言のほとんどは『Ac: 調理者の動作』もしくは『Af: 食材の変化』であるが，上述した理由によりそれ以外の用言も存在する.これらの表現にはレシピの検索や構造の把握といった応用においては優先度が低く，また作業者への負担が大きくなるため，すべてＯ夕グを付与する．また人名や地域名といった, 調理とは直接関係のない固有名詞に関しては, 本節で述べた各レシピ用語タグの付与対象となる単語列の一部となっていない限り O タグを付与する.
- 他のレシピ ID の参照：まれに他のレシピIDを参照して調理手順や材料を示す事例が見られるが，これらのレシピ IDには $\mathrm{O}$ タグを付与し，1つのレシピのみでアノテーション作業を完結させる.
- 記述内容の一部だけが実際の調理に対応付けられる：「〜ならば, 〜する」,「〜する（または〜する)」といった仮定表現や括弧表現などには, 実際に行われない調理行動を含めた表現が複数レシピに記述されることがある。この場合は，実際に行われる調理行動は不明であり，また，一般的な固有表現認識の手法ではそれらを区別することはできない. このような事例では，すべての表現にレシピ用語夕グを付与する.

例）/フライパン/Tに/グレープシードル/F（または/オリーブオイル/F）をひいて

## 4 レシピ用語の自動認識

固有表現認識タスクは，各単語に対してIOB2 タグを推定する, 系列ラベリング問題として解くことが一般的であり, SVM や点予測などを用いた手法が提案されている (山田, 工藤, 松本 2002; Mori, Sasada, Yamakata, and Yoshino 2012).

本節では, 点予測による IOB2 タグ推定と動的計画法による経路探索による手法 (Mori et al. 2012）を用いてレシピ用語の自動認識実験を行い, 作成したコーパスの精度を評価する。また,学習コーパスに現れない未知のレシピ用語の推定事例についての事例を示し, 議論する。本実験のための学習コーパスならびにテストコーパスとして， 3 節で述べたレシピ用語夕グ付与コー パスを用いる（表 2 参照）.

## 4.1 レシピ用語の自動認識と精度評価

本節では点予測によるレシピ用語の自動認識手法 (Mori et al. 2012) について概説し, 自動認識実験の結果と考察を述べる。まず，IOB2 タグの付与された学習コーパスを用いてロジスティック回帰に基づく識別器 (Fan, Chang, Hsieh, Wang, and Lin 2008) を構築し，テストコー パスの各単語 $w_{i}$ に対応する IOB2 タグ $t_{j}$ ごとの確率 $s_{i, j}$ を以下の式により推定する.

$
s_{i, j}=P_{L R}\left(t_{j} \mid \boldsymbol{x}^{-}, w_{i}, \boldsymbol{x}^{+}\right)
$

$\boldsymbol{x}^{-}=\cdots x^{-2} x^{-1}, \boldsymbol{x}^{+}=x^{+1} x^{+2} \cdots$ はそれぞれ単語 $w_{i}$ の前後の文字列を示す. 本論文で用いるロジスティック回帰識別器の素性の一覧を表 4 に示す. 表中の $c(x)$ は $x$ に対応する文字種（漢字, 平仮名, 片仮名, 数字, アルファベット，記号）を得る関数である.

次に，IOB2 タグを用いた固有表現はI夕グから始まらない等のタグ制約を適用しながら，各単語までの経路の中で確率最大となるようにIOB2 タグを順に選んでいくことで最適経路を決定し, 自動認識器の最終的な出力とする (図 2 参照).

学習コーパスの量を 5 段階に調節して自動認識実験を行った結果を表 5 に示す.また, レシ

表 4 ロジスティック回帰に基づく識別器の素性一覧

ピ用語タグ別の評価として, 各タグごとのカバレージを図 3 に，自動認識精度（ $\mathrm{F}$ 値）を図 4 に示す. ここで, 表 5 , 図 3 , 図 4 におけるカバレージは, テストコーパスに出現する IOB2 夕グあるいはレシピ用語タグのうち，学習コーパスにも出現したタグの割合（頻度を加味する.） である。また，表 5 における IOB2 夕グ推定精度は，テストコーパス中のIOB2 タグに対する，自動認識システムが出力した IOB2 タグの一致率を示し, レシピ用語タグの自動認識精度は F 値を示している.

表 5 から，一般分野の固有表現認識と同様に，学習コーパスの増加に伴い自動認識精度が向上していることが分かる. また, 学習コーパスの分量が少量の状態で, 学習コーパスのテストセットカバレージが $50 \%$ 程度の場合であっても，自動認識精度は $70 \%$ 以上の水準を達成しており，レシピ用語タグ付与コーパスを用いた固有表現認識手法が有効に機能していることがわかる. 特に, 『D: 継続時間』に関しては, 図 3 と図 4 の該当夕グ部分より, $10 \%$ 程度の低いカバー 率しか達成できていない学習コーパスを利用した場合においても $70 \%$ 以上の自動認識精度を達成可能であることがわかる。この要因として，『D: 継続時間』が数詞と単位からなる単語列に付与されるレシピ用語タグであるために，文字並びに文字種を素性とした固有表現認識が効果的に機能していることが考えられる.

次に, 図 4 から, 『F: 食材』, 『T: 道具』, 『Ac: 調理者の動作』, 『Af: 食材の変化』, の 4 種類のタグについては，一般分野の固有表現認識精度（1万文程度の学習コーパスで $80 \% \sim 90 \% ）$ と同

図 2 ロジスティック回帰による夕グ確率付与と最適経路（太字部分）の探索図

表 5 IOB2 タグ推定精度とレシピ用語タグの自動認識精度とカバレージ

図 3 レシピ用語タグごとのカバレージ

図 4 レシピ用語タグごとの自動認識精度

程度であり，すでに比較的高い精度が達成されていることがわかる. 『Sf: 食材の様態』に関しては, 『T: 道具』と同程度のアノテーション数があるにも関わらず精度は $70 \%$ 程度にとどまっている。この要因として, 『Sf: 食材の様態』には機能語や別のレシピ用語タグの一部がしばしば含まれており, 長い単語列となっている（3.8 節を参照）ことが自動認識を困難にしているということが考えられる。『St: 道具の様態』,『D: 継続時間』,『Q: 分量』については, 『D: 継続時間』のみ $90 \%$ 超えているが，他の 2 種類に関しては $60 \% \sim 70 \%$ の精度である．また，表 1 か

ら，上述した 3 種類のタグは他のタグに比較して学習コーパス中のアノテーション数が不十分であることがわかる，今後は，これらの夕グに対するアノテーションを増加させることで容易に精度を向上させることが可能であろう．また，レシピ以外の分野における固有表現認識タスクにおいても，本実験で示したようにタグごとの検討を行って優先的にアノテーションするべきタグを選択し, 効率的に固有表現認識器を構築することが可能である.

## 4.2 未知のレシピ用語タグの推定事例

本節では, 上述のレシピ用語の自動認識実験において，テストセットにおける未知のレシピ用語に対し，正しくタグが推定されているかどうかについて，その事例を示し，議論する．以下に示す自動推定結果の例では, 学習セットに現れなかった未知のレシピ用語を太字で示す.
- 未知の『Sf: 食材の様態』が出現する場合, 二格を伴う場合や食材の切り方を示す場合には, 識別器によって適切にタグ推定が行われている。

例）/サイコロ切り/Sfにする/Ac.

その一方で, 3.8 節で述べた『Sf: 食材の様態』のような長い単語列となるレシピ用語夕グの自動推定精度は下がる傾向にある. 以下の例において, 正しい『Sf: 食材の様態』の範囲は「1 2 $\mathrm{mm}$ 位」であるが, 自動推定では「1２」と誤って推定されている.

例） $/ 1 \sim 2 /$ Sf $\mathrm{mm}$ 位で.

テストセットでは現れなかったが, 3.8 節に示したようにさらに長い単語列を『Sf: 食材の様態』とする場合もあるため, 『Sf: 食材の様態』の自動推定は他のレシピ用語夕グに比較して困難になると考えられる。
- 『Ac: 調理者の動作』に関しては, 以下の例のように 1 文中において複数の単語が連続でAc と推定される事例（「所々」はAcではないため，誤り）が見られた.

例）皮/Fを/所々/Ac/剥/Ac きレシピテキストにおいては,「『F: 食材』を『Ac: 調理者の動作』」という表現が多く出現することが原因であると考えられるが，レシピの構造を把握するなどの応用を考えると, 誤った『Ac: 調理者の動作』が増加することは応用全体の精度低下につながるため,品詞情報を識別器の素性に加えるなどの対策が必要になると考えられる.

## 5 実際のアノテーション作業とその考察

本節では，実際にコーパスを作成した過程で得られた知見として，まずコーパスのアノテー ション手順について述べる。次に，レシピ用語の自動認識器の精度を効率的に向上させるためのアノテーション戦略のシミュレーションについて述べる.

## 5.1 アノテーション手順

大量のレシピテキストに対して研究者がレシピ用語タグを付与することは事実上不可能であるため，まずアノテーション基準を決めた上で作業者にアノテーションを行ってもらうことが一般的である。しかしながら， 3.8 節で述べた通り，レシピ用語夕グによっては付与が困難な事例が存在するため, 適切な手順を用いて効率的に作業を行う必要がある。本節では， 3 節で述ベたレシピ用語タグの基準に従い，作業者を含めた全体として効率的なアノテーションを行うための手順を述べる。また，管理者と作業者の作業一致率を測ることによりその有効性を評価する。

本研究におけるレシピ用語アノテーションの作業にあたっては, 図 5 のような固有表現アノ

の「熱」という動詞に, 『Ac: 調理者の動作』の開始タグである「Ac-B」を割り当てている. アノテーション作業の管理手順は以下のとおりである.

図 5 固有表現アノテーションツール
^{5}$ http://plata.ar.media.kyoto-u.ac.jp/mori/research/topics/PNAT/にて公開している.

6 なお, 図 5 に示したツールは, 品詞・係り受け情報を付与する機能も備えているが, 本論文におけるコーパス作成では用いておらず，図 5 中の品詞・係り受け情報は自動推定による結果をそのまま表示している.
}

（1）管理者がレシピ用語の定義（3節参照）を作成する．本研究においては，管理者 1 名（筆者）と研究者 3 人を合わせた 4 人で議論を行い，レシピ用語の定義を作成した.

（2）管理者が実際にレシピ用語の定義に従ってアノテーションを行い，サンプルデータを作成する。

(3) 作業者にレシピ用語の定義とサンプルを渡し，一定時間7のアノテーション作業を行ってもらう。

（4）管理者は作業者のアノテーション結果に対するチェックを行う. この際, 作業者の作業結果と管理者がさらに修正を加えたアノテーション結果の間で作業一致率を測る。管理者は必要に応じて作業者にアノテーション基準に関するコメントを返し，レシピ用語の定義並びにサンプルの修正・更新を行う.

(5) (3), (4) を繰り返す.

本論文を執筆するにあたり，作業者にアノテーションを依頼したコーパスの一部（3 節の表 2 で示した 436 レシピのうち, 初めにアノテーションを行った 40 レシピ) を対象として, 上述した手順に従って 4 日間（1回 $\times 4$ 日）のアノテーション作業管理を行い，管理者 1 名（筆者）と作業者 1 名との作業一致率を測った。この際, 作業者は管理者と同様に，全ての種類のタグに関するアノテーションを担当した。作業一致率 [\%] は，

$
\frac{\text { 作業者と管理者の付与した IOB2 タグの一致数 }}{\text { 単語数 }} \times 100
$

で求められる.

結果を表 6 に示す.また, 表 6 のうち， 4 日目の作業における IOB2 夕グごとの作業一致率を表 7 に示す. 表 6 より, 上述した手順に従うことで管理者・作業者間の作業一致率が向上し, 最終的にIOB2 タグの自動認識精度（表 5 参照）を有意に上回ることがわかる。また，表 7 より， 4 日目には事例の少ない St-B, St-I を除く全ての IOB2 タグにおいて作業一致率が $91 \%$ 以上となっていることがわかる．以上の結果より，作業者にアノテーションを任せることで自動認識の精度向上を図ることが可能であることを確認した.

表 6 IOB2 夕グ付与の作業一致率


表 7 IOB2 タグごとの作業一致率（4日目）

## 5.2 効率的な精度向上を目的としたアノテーション作業のシミュレーション

前項で述べたアノテーション基準の確定の過程の結果, 少量ながらレシピ用語のアノテーションがなされたコーパスが得られる．1 節で述べたような応用を考えると, 短期間での自動認識精度の向上が重要である。一般分野の固有表現の自動認識においては, 人名・組織名・地名のような固有表現のカバレージを上げることで高い精度を達成することが可能である (Sekine and Eriguchi 2000)．これは，レシピ用語の自動認識においても同様であろうと推測される。本節では，カバレージを重視した簡単なアノテーション戦略について，シミュレーションの結果とともに議論する。なお，レシピテキストを対象とした実際のアノテーションでは，単語分割境界ならびにレシピ用語となる単語列の範囲を決定してから夕グを付与する必要があるが, 本節で述べるシミュレーションには上述の 2 種類の情報があらかじめ付与されている状態のコーパスを用いているため，実際のアノテーション作業にそのまま適用できるものではない.

カバレージを重視すると，新しいレシピ用語に集中的にアノテーションすることになる．結果として, 文中の一部のレシピ用語にのみアノテーションされた部分的アノテーションコーパス (Neubig and Mori 2010)が得られる。逆に，アノテーション基準の確定の過程で得られるコー パスは，文中の全てのレシピ用語にアノテーションされたフルアノテーションコーパスである. カバレージを重視した簡単なアノテーション戦略と通常のアノテーション方法を比較するた

めに, 次のようなシミュレーションを行った。まず, 我々の作成したレシピ用語夕グ付与コー パス (表 2 参照) のうち, 学習コーパスを $C_{f}$ と $C_{a}$ に 2 等分し， $C_{f}$ を既に作成済みのフルアノテーションコーパス, $C_{a}$ をこれからアノテーションを行う単語分割済みコーパスとみなす.ここで， $C_{f}$ はレシピ用語タグの定義を確定する際に得られる少量のフルアノテーションコーパスを， $C_{a}$ はカバレージを優先してアノテーションを行う追加用コーパスを想定している．本実験では $C_{a}$ に対して, 以下に示す 2 種類の方法でコーパスアノテーションのシミュレーションを行う. $C_{f}$ と $C_{a}$ の一部を合わせたものを学習コーパスとしてレシピ用語の自動認識精度を測った.

Full: $C_{a}$ に対して先頭から順に全ての単語に対してIOB2 タグのアノテーションを行うと想定する. 具体的には， $C_{a}$ を 10 分割し， $C_{f}$ に $C_{a}$ の $k / 10(k=0,1, \cdots, 10)$ を追加したものを学習コーパスとする。

Part: カバレージを重視したアノテーション戦略として, 各レシピ用語が $C_{f}$ と $C_{a}$ の合計において $A_{\text {max }} \in\{0,1,2,5,10,20,50, \infty\}$ 回アノテーションされるように $C_{a}$ を先頭から部分的にアノテーションする。ただし出現頻度が $A_{\max }$ 未満のレシピ用語に対しては，すべての出現箇所に対してアノテーションする。この結果得られる $C_{a}$ を $C_{f}$ に追加したものを学習コーパスとする. $A_{\max }=1$ であれば, 最少のアノテーション数で, 手法 Full で $C_{a}$ をすべてアノテーションした場合 $(k=10)$ とレシピ用語のカバレージが等しくなる. なお, 手法 Part における $A_{\max }=0$ と手法 Full の追加コーパスが $0 / 10$ の状態は同じものであり，どちらも追加コーパスの無い状態である（つまり $C_{f}$ のみ）。また，手法 Partにおける $A_{\text {max }}=\infty$ のときは手法 Full において追加コーパスが 10/10の状態と同じであり, どちらも $C_{a}$ の全ての単語にアノテーションを行ったものを追加コーパスとする状態である. ここでのシミュレーションでは， $C_{a}$ が人手によりフルアノテーションされているので非常に少量であるが, 実際にアノテーションを行う状況では $C_{a}$ は利用可能な全ての生のレシピテキストであり,非常に大きい，つまり，手法 Fullにおける 10/10の追加コーパスを作成することは現実的ではないことに留意されたい.

本実験の結果を図 6 に示す. 図 6 における横軸は各手法におけるIOB2 タグのアノテーション回数を示しており，これはアノテーションにおける作業時間を想定したものである。しかしながら，実際のアノテーションにおいては，アノテーション箇所ごとの判断の難しさの違い, 5.1 節で示した各アノテーション手順ごとの所要時間, などの要因により, 必ずしも正確な作業時間を反映しているものではないことに留意されたい. 図 6 から, 手法 Full の $1 / 10$ と $2 / 10$ は不安定（1/10 から $2 / 10$ に増量すると精度が低下している）ではあるが，全体の傾向からカバレージを最重要に考えて, 各レシピ用語について 1 回のアノテーションを行う場合は, Part の $A_{\text {max }}=1$ と大差はない. しかし, 手法 Part において $A_{\text {max }} \geq 2$ とした場合に, 手法 Full において同じ単語数のアノテーションをする場合に比較してより高い精度が得られることがわかる。 つまり, 数回の出現に対してアノテーションすることで多様な出現文脈が学習できるようにし

図 6 カバレージを重視したアノテーションのシミュレーション

つつ，高いカバレージを確保するアノテーション戦略が自動認識の精度向上には有効であると期待される。

実際のアノテーションにおいては，上述の通り $C_{a}$ のサイズは非常に大きいため，この差はより顕著になるであろう。さらに，上述の「簡単な戦略」はアノテーション戦略のシミュレー ションに過ぎない。本論文でのスコープ外ではあるが，能動学習等に基づくより効率的なアノテーション戦略が存在すると考えられる。基準が確定した後の精度向上においては，アノテー ション作業を考慮に入れた効率的なアノテーション戦略の研究が重要である.

## 6 おわりに

本論文では，レシピテキストを対象としたレシピ用語タグの定義について述べた。この定義にしたがって，実際にアノテーションを行い，定義が十分であることを確かめた。また，作成したコーパスを用いてレシピ用語の自動認識実験を行い，認識精度を測定した。自動認識の精度は十分高く, 作成したコーパスは (Hamada et al. 2000) や (Rohrbach et al. 2013; Naim et al. 2014) などのレシピテキストを対象とする応用の精度向上に有用であると考えられる.

さらに，人手によるアノテーションの過程で出現した判断の難しい事例や，自動認識の結果得られる学習デー夕に含まれない事例を観察し, 提案するレシピ用語の定義についての議論を行った.

加えて, 実際のアノテーション作業についても説明し，カバレージを重視した単純な戦略で部分的アノテーションコーパスのシミュレーションを行った. 今後の課題として, 能動学習等に基づくより効率的なアノテーションを行うことが挙げられる.

## 謝 辞

本研究の一部は JSPS 科研費 $26280084 ， 24240030 ， 26280039$ の助成を受けて実施した. ここに謝意を表する。

## 参考文献

Borthwick, A. (1999). A Maximum Entropy Approach to Named Entity Recognition. Ph.D. thesis, New York University.

Chinchor, N. A. (1998). "Overview of MUC-7/MET-2." In Proceedings of the 7th Message Understanding Conference.

江里口善生 (1999). 固有表現定義の問題点. IREX ワークショップ予稿集, pp. 125-128.

Fan, R.-E., Chang, K.-W., Hsieh, C.-J., Wang, X.-R., and Lin, C.-J. (2008). "LIBLINEAR: A Library for Large Linear Classification." Journal of Machine Learning Research, 9, pp. 1871-1874.

Finkel, J. R. and Manning, C. D. (2009). "Nested Named Entity Recognition." In Proceedings of the 2009 Conference on Empirical Methods in Natural Language Processing, pp. 141-150.

Grishman, R. and Sundheim, B. (1996). "Message Understanding Conference - 6: A Brief History." In Proceedings of the 16th International Conference on Computational Linguistics.

Hamada, R., Ide, I., Sakai, S., and Tanaka, H. (2000). "Structural Analysis of Cooking Preparation Steps in Japanese." In Proceedings of the 5th International Workshop on Information Retrieval with Asian Languages, pp. 157-164.

浜田玲子, 井手一郎, 坂井修一, 田中英彦 (2002). 料理テキスト教材における調理手順の構造化. 電子情報通信学会論文誌, J85-DII (1), pp. 79-89.

Hashimoto, A., Mori, N., Funatomi, T., Yamakata, Y., Kakusho, K., and Minoh, M. (2008). "Smart Kitchen: A User Centric Cooking Support System." In Proceedings of the 12th Information Processing and Management of Uncertainty in Knowledge-Based Systems, pp. 848-854.

橋本敦史, 大岩美野, 舩冨卓哉, 上田真由美, 角所考, 美濃導彦 (2009). 調理行動モデル化のための調理観測映像へのアノテーション. 第 1 回データ工学と情報マネジメントに関するフォーラム。

工藤拓, 山本薰, 松本裕治 (2004). Conditional Random Fields を用いた日本語形態素解析. 情報処理学会研究報告, NL161.

Lafferty, J., McCallum, A., and Pereira, F. (2001). "Conditional Random Fields: Probabilistic

Models for Segmenting and Labeling Sequence Data." In Proceedings of the 18th ICML. Maekawa, K., Yamazaki, M., Ogiso, T., Maruyama, T., Ogura, H., Kashino, W., Koiso, H., Yamaguchi, M., Tanaka, M., and Den, Y. (2014). "Balanced Corpus of Contemporary Written Japanese." Language Resources and Evaluation, 48 (2), pp. 345-371.松本裕治 (1996). 形態素解析システム「茶鉒」. 情報処理, 41 (11), pp. 1208-1214.松本裕治, 黒橋禎夫, 山地治, 妙木裕, 長尾真 (1997). 日本語形態素解析システム JUMAN 使

用説明書 version 3.2. 京都大学工学部長尾研究室.

三浦宏一, 高野求, 浜田玲子, 井手一郎, 坂井修一, 田中英彦 (2003). 料理映像の構造解析に

よる調理手順との対応付け. 電子情報通信学会論文誌, J86-DII (11), pp. 1647-1656.

Momouchi, Y. (1980). "Control Structures for Actions in Procedural Texts and PT-Chart." In Proceedings of the 8th International Conference on Computational Linguistics, pp. 108-114.森信介, Neubig, G., 坪井祐太 (2011). 点予測による単語分割. 情報処理学会論文誌, 52 (10), pp. 2944-2952.

森信介 (2012). 自然言語処理における分野適応. 人工知能学会誌, 27 (4).

Mori, S., Sasada, T., Yamakata, Y., and Yoshino, K. (2012). "A Machine Learning Approach to Recipe Text Processing." In Proceedings of the 1st Cooking with Computer Workshop, pp. 29-34.

Naim, I., Song, Y. C., Liu, Q., Kautz, H., Luo, J., and Gildea, D. (2014). "Unsupervised Alignment of Natural Language Instructions with Video Segments." In Proceedings of the 28th National Conference on Artificial Intelligence.

Neubig, G. and Mori, S. (2010). "Word-based Partial Annotation for Efficient Corpus Construction." In Proceedings of the 7th International Conference on Language Resources and Evaluation.

Rohrbach, M., Qiu, W., Titov, I., Thater, S., Pinkal, M., and Schiele, B. (2013). "Translating Video Content to Natural Language Descriptions." In Proceedings of the 14th International Conference on Computer Vision.

Sang, E. F. T. K. and Meulder, F. D. (2003). "Introduction to the CoNLL-2003 Shared Task: Language-Independent Named Entity Recognition." In Proceedings of the 7th Conference on Computational Natural Language Learning, pp. 142-147.

Sekine, S. and Eriguchi, Y. (2000). "Japanese Named Entity Extraction Evaluation - Analysis of Results -." In Proceedings of the 18th International Conference on Computational Linguistics.

Sekine, S. and Isahara, H. (2000). "IREX: IR and IE Evaluation Project in Japanese." In Proceedings of the 2nd International Conference on Language Resources and Evaluation, pp. 1977-1980.
自然言語処理特集号編集委員会（編）(2014). 自然言語処理, 21 (2).

Tateisi, Y., Kim, J.-D., and Ohta, T. (2002). "The GENIA Corpus: An Annotated Research Abstract Corpus in Molecular Biology Domain." In Proceedings of the HLT, pp. 73-77.

Tjong, E. F., Sang, K., and Veenstra, J. (1999). "Representing Text Chunks." In Proceedings of the 9th European Chapter of the Association for Computational Linguistics, pp. 173-179.

山田寞康, 工藤拓，松本裕治 (2002). Support Vector Machineを用いた日本語固有表現抽出. 情報処理学会論文誌, 43 (1), pp. 44-53.

Yamakata, Y., Imahori, S., Sugiyama, Y., Mori, S., and Tanaka, K. (2013). "Feature Extraction and Summarization of Recipes using Flow Graph." In Proceedings of the 5th International Conference on Social Informatics, LNCS 8238, pp. 241-254.

山本修平, 中岡義貴, 佐藤哲司 (2013). 食材調理法の習得順に関する一検討. 電子情報通信学会技術研究会報告, 113 (214), pp. 31-36.

## 略歴

笹田鉄郎：2007 年京都大学工学部電気電子工学科卒業. 2009 年同大学院情報学研究科修士課程修了. 同年同大学院博士後期課程に進学. 2012 年同大学院情報学研究科博士後期課程単位取得認定退学. 京都大学学術情報メディアセンター教務補佐員．現在に至る．自然言語処理に関する研究に従事．言語処理学会, 情報処理学会各会員.

森信介：1998 年京都大学大学院工学研究科電子通信工学専攻博士後期課程修了. 同年日本アイ・ビー・エム株式会社入社. 2007 年より京都大学学術情報メディアセンター准教授．京都大学博士（工学）．音声言語処理および自然言語処理に関する研究に従事. 1997 年情報処理学会山下記念研究賞受賞. 2010 年，2013 年情報処理学会論文賞受賞. 2010 年第 58 回電気科学技術奨励賞. 情報処理学会, 言語処理学会各会員.

山肩洋子：2000 年京都大学工学部情報学科卒業. 2002 年同大学大学院情報学研究科修士課程修了. 2005 年同大学院博士後期課程単位認定退学, 2005 2006 年京都大学学術情報メディアセンター研究員, 2006 2010 年情報通信研究機構専攻研究員, $2010 \sim 2011$ 年京都大学特定講師, 2011 年京都大学准教授, 2014 年同大学特定准教授. 博士 (情報学). マルチメディア情報処理の研究に従事. 電子情報通信学会, 人工知能学会会員.

前田浩邦：2012 年京都大学理学部卒業. 2014 年同大学院情報学研究科修士課程修了。サイボウズ株式会社勤務。現在に至る.
河原達也：1987 年京都大学工学部情報工学科卒業. 1989 年同大学院修士課程修了. 1990 年同博士後期課程退学. 同年京都大学工学部助手. 1995 年同助教授. 1998 年同大学情報学研究科助教授. 2003 年同大学学術情報メディアセンター教授。現在に至る。音声言語処理，特に音声認識及び対話システムに関する研究に従事．京大博士 (工学)．科学技術分野の文部科学大臣表彰 (2012 年度), 日本音響学会から粟屋潔学術奨励賞（1997 年度), 情報処理学会から坂井記念特別賞 (2000 年度), 喜安記念業績賞（2011 年度）, 論文賞（2012 年度）を受賞. IEEE SPS Speech TC 委員, IEEE ASRU 2007 General Chair, INTERSPEECH 2010 Tutorial Chair, IEEE ICASSP 2012 Local Arrangement Chair, 言語処理学会理事, 情報処理学会音声言語情報処理研究会主査, APSIPA 理事, 情報処理学会理事を歴任. 情報処理学会, 日本音響学会, 電子情報通信学会, 人工知能学会, 言語処理学会, IEEE, ISCA, APSIPA 各会員.

(2014 年 11 月 3 日受付)

(2015 年 2 月 6 日再受付)

(2015 年 4 月 7 日採録)