# 国立情報学研究所「情報学研究データリポジトリ (IDR)」の紹介

大須賀智子 $\dagger \cdot$ 大山 敬三 ${ }^{\dagger, \dagger \dagger}$

## 1 はじめに

国立情報学研究所 (NII) データセット共同利用研究開発センター (DSC) では, 情報学および 関連分野における研究用のデータセットを産学界から受け入れ，それを必要とする研究者へ提供する窓口として，「情報学研究データリポジトリ (IDR)」を運営している。近年は大学にお いても実用的な研究として実際のサービスや事業で生成された大規模データが必須の研究資源 となってきているが，そのようなデータを入手することは容易ではなく，一方，研究室で独自 に収集したり構築したりといった共有できないデータを用いた研究では, 研究の透明性・再現性の確保が問題となる。このような課題に対処するために，NII では 2010 年に IDR を設置し， データ保有者および研究者それぞれに対する空口となって, 契約手続や利用者管理, デー夕配布などを引き受けることで，民間企業等からのデータ提供を図ってきた．設置から 10 年以上が 経過し, 取り扱い中のデータセットの数や種類も徐々に増え, それに伴い利用者も年々増加し ている.

本稿では, IDR の活動の背景や意義を述べるとともに, 現在取り扱い中のデータセットや,毎年開催しているイベントについて紹介する。

## 2 IDR の活動の背景

第 5 期に続き第 6 期科学技術・イノベーション基本計画にて「オープンサイエンスとデー夕駆動型研究等の推進」が明記されるなど日本でもオープンサイエンスの推進が図られており，特 に公的研究資金を用いた研究成果は論文だけでなく研究データのオープン化も求められている.自然言語処理の分野では従来から，構築した言語資源が共有されたり，形態素解析，構文解析 といった解析システムが各研究室のホームページで公開されるなどして，それらを活用してさ らに研究を発展させていくという土壤が培われているが，研究対象が Web サービスやSNS 等 の一般消費者により生成されたテキストへとニーズや関心が移るにつれ，権利関係や個人情報 などの問題でデータの利用が難しくなっている。これはオープンデータ化が進んでいる実験や

観測系の自然科学の諸分野とは対照的な点である. Web上のデータであれば自身でクロールす ることも可能であるが，その場合は研究の透明性や再現性の確保が課題となる.

そこでIDRでは，情報学関連の研究に資する各種デー夕を保有者から受け入れ，より多くの 研究者に提供できるようにするため，一元的な空口としての役割を担っている. 第 5 期科学技術基本計画では，但し書きとして「商業目的で収集されたデー夕などは公開適用対象外とする」 こと，「データへのアクセスやデータの利用には，個人のプライバシー保護, 財産的価値のある 成果物の保護の観点から制限事項を設ける」ことが記されているが1，IDRの活動はこのような オープン化が難しいデータを，適正な管理の下で，学術研究に利用可能とするための取り組みで あり，データに関する情報のオープン化と一定条件下での利用機会の提供を目指すものである.

データの保有者にとって，IDR を通じたデータの提供には以下のようなメリットがある。ま ず，民間企業にとっては，共同研究契約，デー夕配布などの個別対応にコストをかけずに幅広 い研究者にデータを活用してもらえ, 研究成果のフィードバックを得たり, 将来の共同研究先 や人材の育成, 社会貢献に繋げたりすることができる，また，大学等の研究者にとっては，構築したデータを研究プロジェクト終了後も継続して配布し，プロジェクト外の研究者にも活用 してもらうことにより，オープンサイエンスの推進に貢献することができる.

特に言語資源に関しては，このようなデー夕提供の空口となる組織として, IDR 以外にも,言語資源協会 $(\mathrm{GSK})^{2}$ が主にテキストコーパスや辞書データを，高度言語情報融合フォーラム $(\text { ALAGIN })^{3}$ が主に情報通信研究機構により構築された各種資源を取り扱っている．海外では米国の $\mathrm{LDC}^{4}$ や欧州の $\mathrm{ELRA}^{5}$ が言語資源を大規模に収集・提供しているが，IDRのように，特 に民間企業等の実サービスの中で作成されたデータや，個人情報を含む映像などのデー夕を受 け入れ，無償で提供するという取り組みは類を見ない.

このような背景やこれまでの提供実績から, IDR では, 新規企業や研究者よりデー夕提供の 申し出が増加し，それにより利用者層がさらに拡大するという好循環を生んでいる。

## 3 提供中のデータセット

本節では，実際に現在取り扱っているデータセットや利用状況を簡単に紹介する．各データ セットの内容や入手方法等の詳細については, IDRの Web サイト  をご覧いたたききたい.
^{1}$ https://www8.cao.go.jp/cstp/kihonkeikaku/5honbun.pdf

2 https://www.gsk.or.jp/

3 https://www.alagin.jp/

${ }^{4}$ https://www.ldc.upenn.edu/

 }^{5}$ http://www.elra.info/en/

## 3.1 民間企業データセット

2022 年 6 月現在提供中の民間企業のデータセットを以下に示す。（提供開始順）

(1) Yahoo!データセット（Yahoo!知恵袋データ）

(2) 楽天データセット（楽天市場, 楽天トラベル, 楽天レシピデータ等 14 種類）

（3）ニコニコデータセット（ニコニコ動画コメント等データ，ニコニコ大百科データ）

(4) リクルートデータセット（ホットペッパービューティーデータ）

(5) クックパッドデータセット（レシピデータ，献立データ）

（6）LIFULL HOME'S データセット（不動産物件データ，間取り図画像データ）

（7）不満調查データセット（不満投稿データ, 新型コロナ不満アンケートデータ等）

(8) Sansan データセット（サンプル名刺データ）

(9) インテージデータセット（販売・購買履歴・メディア接触ログのパネルデータ）

(10) オリコンデータセット（顧客満足度調査データ）

(11) ダイエットロコミデータセット（ダイエット商品ロコミデータ）

(12) 弁護士ドットコムデータセット（法律相談データ）

(13) アットホームデータセット（不動産物件データ）

(14) JAST メディカルデータセット（レセプト集計データ）

(15) トリガーデータセット（アニメ作品素材データ）

大部分のデータセットは研究室単位で提供しており, 2021 年度末までの提供実績は延べ 1,295 研究室, 異なり数で 846 研究室である. (3), (8), および $(7)$ の一部データについては個人単位 での提供であり 3,320 件の実績となっている。データの種類や内容の幅が広がるにつれ，利用者の所属や利用目的も経営学や農学, 建築学, 環境学など幅広い分野へと拡大している.

テキスト関係のデータとしては, Webサービスへの投稿データやレビューデータ, 質問回答 のデータが複数あり，テキストマイニング，ネガポジ判定，情報推薦や情報検索などの研究へ の利用が多く見られるが，例えばレシピデータを取ってみても，食材オントロジの構築，調理手順の構造化, 語彙の曖昧性解消, 照応解析, タイトルを用いた日英の言語接触研究など, 幅広いテーマに活用されている.

なお次節の研究者等提供データセットを含め, 提供中のデータセットを用いた研究成果につ いては論文等の書誌情報を「DSC Reference Portal」 にて公開しているのでご参照いたたききたい.

## 3.2 研究者等提供データセット

2022 年 6 月現在提供中の大学研究者等提供データセットは次の通りである.（提供開始順）

(1) グループコミュニケーションコーパス (TDU-NEDO)

(2) 立命館 ARC 所蔵浮世絵データベース

(3) 理研記述問題採点データセット

(4) 大阪大学マルチモーダル対話コーパス (Hazumi)

(5) 工学院大学 多用途型日本手話データベース (KoSign)

自然言語処理分野の研究者の利用が多いのは (3) の国語の記述問題に採点アノテーションを付与したもので, 自動採点や文章評価, 文章要約などの研究に利用されている。(1)や (4) のデー 夕も対話システムへの応用を目指した研究に活用されている.

なお研究者等により構築されたデータセットとしては, 他にも NTCIR テストコレクション (情報アクセス技術評価用データセット）や，音声資源コンソーシアム (NII-SRC) が受け入れ た各種音声コーパスの配布も行っているので, それらもぜひご利用いたたききたい.

## 4 IDR ユーザフォーラム

IDR では，活動の目的の一つとして，データの提供者と利用者とを巻き込んだ研究コミュニ ティを作り，分野の研究を活性化させることを揭げている。そのための取り組みとして， 2016 年度より年に 1 回,「IDRユーザフォーラム」と銘打ったイベントを毎年開催している．日常的 なデータセットの提供業務の中では IDR が窓口となっておりデータの提供者と利用者とが直接接する機会は基本的にないため, 両者が一堂に会し, 直接コミュニケーションを取れる貴重な 場となっている.

イベントでは，利用者が提供データセットを用いた研究のポスター発表を行い，デー夕提供者が直接アドバイスをしたり, 同じデータの利用者同士で議論したりできるセッションを設け ている. 2018 年度からは研究アイディア段階で発表可能なスタートアップセッションを設けた ところ，学部生でも気軽に発表でき，卒業論文等の方向性を定める機会として参加者に好評で ある。また，データ提供者によるポスター展示やトークセッション，パネル討論などにより，企業側の現実的な課題や大学等への要望・期待等を共有する場を設けている．普段は学会等に参加されない業務部門の方と議論ができることもある.

2019 年度までは 100 名強, 2020, 2021 年度は新型コロナウイルスの影響でオンライン開催と したがいずれも 200 名超の参加登録があった。 2022 年度も 11 月末頃に開催を予定しており, 詳細は IDRのWebページ  に掲載する。過去の 発表資料や受賞者の情報も上記ページに揭載している。これからデータの利用や提供を考えて みたいなど，IDRにご関心をお持ちの方はぜひ参加いただきたい.

## 5 おわりに

本稿では, 国立情報学研究所データセット共同利用研究開発センターの「情報学研究データ リポジトリ (IDR)」の取り組みについて概要を紹介した。詳細については別稿 (大須賀, 大山 2021) およびIDRの Webサイト (https://www.nii.ac.jp/dsc/idr/）を参照の上，興味をお持 ちのデータがあれば利用をご検討いただきたい，また，提供可能なデータをお持ちの企業や研究者の方からのご相談も歓迎する.

IDR はコミュニティの皆様のご支持とご協力を存立基盤としており，読者の皆様のご支援を 得て, 今後もコミュニティの発展と強化に貢献できるよう活動を行ってゆく所存である.

## 謝 辞

IDR の活動に賛同いただき，データの整備や諸手続きに多大な労力を費やしてデータを提供 いただいた企業および研究者の皆様，ならびに IDR ユーザフォーラムの開催に協力いたたいて いるデータ提供企業および実行委員の皆様に，この場を借りて心より感謝の意を表します.

## 参考文献

大須賀智子, 大山敬三 (2021). 情報学研究データリポジトリIDR における研究用データセット共同利用の取り組み. 情報処理学会論文誌デジタルプラクティス, 2 (2), pp. 47-56. [T. Ohsuga and K. Oyama (2021). Sharing Datasets for Informatics Research through Informatics Research Data Repository (IDR). IPSJ Transactions on Digital Practices, 2(2), pp. 47-56.].

## 略歴

大須賀智子：2006 年千葉大学大学院自然科学研究科博士後期課程修了. 博士 (工学)。2003 年日本学術振興会特別研究員 (DC1). 2006 年より国立情報学研究所勤務. 現在, データセット共同利用研究開発センター特任研究員. 音声言語資源の構築・整備やデータセットの共同利用に関する事業に従事.

大山 敬三：1985 年東京大学大学院工学系研究科電気工学専攻博士課程修了.

工学博士. その後, 東京大学文献情報センター助手, 学術情報センター助手.助教授・教授を経て国立情報学研究所教授, 総合研究大学院大学複合科学研究科教授. データセット共同利用研究開発センター長を兼務. 情報検索や Web 情報アクセス・利用技術などの研究に従事.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 言語の背後にある普遍性 :
人工言語とエンティティの研究を通じて

李凌寒 ${ }^{\dagger, \dagger \dagger}$
## 1 はじめに

本稿では, ACL 2022 採録論文 "Pretraining with Artificial Language: Studying Transferable Knowledge in Language Models" (Ri and Tsuruoka 2022) 及び "mLUKE: The Power of Entity Representations in Multilingual Pretrained Language Models”(Ri et al. 2022)を紹介する.

これら 2 稿の論文はいずれもマルチリンガルな自然言語処理に関する研究であり，異なる言語に共通する「何か」を探求または活用するというテーマが根底にある。論文の詳細な内容は それぞれの論文に譲り，ここでは研究にまつわる紆余曲折や，研究結果の示唆するところなど，一歩引いた視点からの話をしたい.

## 2 Pretraining with Artificial Language: Studying Transferable Knowledge in Language Models

## $2.1 \mathrm{CV$ 研究からの着想}

本研究 (Ri and Tsuruoka 2022) のきっかけとなったのは実は CV 分野の研究である. 片岡ら の "Pre-training without Natural Images" (Kataoka et al. 2020) は，数式からフラクタル画像を 生成し，それを使い事前訓練されたモデルが，自然画像の分類についても有効であることを示 した. 当時の筆者はこの結果を非常に興味深く思い，似たようなことが言語についても示せな いかと考えた，例えば，純粋に統計的規則から生成される人工言語で訓練した BERT が自然言語タスクでも有効になり得ないか？ということである.

ただし，このアイディアを言語で実現するのは難しい。純粋に統計的規則から生成された言語 は実世界の概念に紐づいておらず，英語といった自然言語との単語の対応が何もないというこ とを意味する。一方で, 自然言語タスクを解くためには単語の意味を捉える必要がある． BERT といった事前学習モデルが大きな成功を収めているのも，大規模コーパスから学習した単語の 知識が大きな要因としてあるだう。自然言語と似ても似つかない人工言語から単語の知識を

図 1 実験で用いた人工言語の 1 つ Dependency Language. 係り受け関係を模して, 文中に必ず対応す るトークンが存在する。

学習するのはほぼ不可能だ。とはいえ, それでも単語列の有用なエンコードの仕方の学習がで きるという可能性がある。 それでは, 自然言語の役に立つ人工言語とはどのようなものか？

## 2.2 役に立つ人工言語とは

事前訓練に使うのであれば，なるべく自然言語に似ている性質を持った人工言語がよい．そう 考えて, 自然言語にはどのような統計的な性質があるのかを調べた。その際に大変参考になっ たのが「言語とフラクタル」(田中 2021)である，当書は言語を記号列としてみたときに成り立 つ統計則を探求している。ここで紹介されている数理モデルそのものは本論文では採用してい ないものの, 単語分布が Zipf 則に従うという話や言語の系列がランダムウォークとみなせる話 は，人工言語をデザインする際の発想の起点となっている，結果的に本研究では，文内の単語共起をモデリングした言語（Log-linear Language と呼んでいる）や，依存関係をモデリングし た言語（Dependency Language; 図 1）をデザインし，これらを元に実験を行った.

## 2.3 ネガティブリザルトからの方向転換

当初は人工言語での事前訓練による自然言語タスクの性能向上を狙っていた．行った実験の 1 つの概略を説明すると，訓練データとして Dependency Language を使い Transformer エンコー ダをマスク付き言語モデリングで事前学習, そのエンコーダを英語の係り受け解析の夕スクに 使い, ベースラインのエンコーダと性能を比較した。結果としては, Transformer をスクラッ チから係り受け解析タスクで訓練するのに比べたら，人工言語で訓練したエンコーダを使った 方がスコアが良くなる。しかし，スコアそのものはLSTM を使ったべースラインを超えること はなかった. 正則化や学習率の調整など小手先のテクニックをあれこれ試したが結果は同じで あった.これでは人工言語が自然言語タスクの役に立つとは言い難い.

とはいえ, Transformer に限ってみると, 人工言語で訓練することで何かを学習しているよう である。そこで性能向上を追い求めるのではなく，人工言語から何を学習してるかを明らかに する方向に舵をきって論文を書き上げた.

## 2.4 論文の概要

本研究では様々な人工言語，自然言語で訓練したエンコーダの転移学習における性能を，言語モデリングと係り受け解析のタスクで調べ分析をしている。明らかになったことの 1 つは,訓練データとなる文内には何かしらの統計的共起パターンがないと, 事前訓練しても意味がな い，ということである。共起パターンが存在しなければ，そもそも隠された単語を予測するよ うなタスクは原理的に解くことができない，後から考えると当たり前の話だが，訓練データと して意味を持つには何かしらの統計的共起パターンが必要となる.

それでは文内に統計的な依存関係を持つ人工言語で事前訓練したエンコーダはどのくらい役 に立つのか. 本論文の結果では，自然言語で事前訓練したエンコーダと中々近い性能を出して いる．ただし，ここでの自然言語で事前訓練したエンコーダは，単語埋め込みを捨ててエンコー ダのみを転移しているので，学習した単語の情報は転移していないことに注意されたい。人間 の感覚からすると, 見た目や文法が全く異なる人工言語を学習して一体なぜ自然言語のタスク が解けるのか，と思うところであるが，結局，本実験中のタスクにおいてエンコーダは文法と いった高次な概念は使用しておらず，単純に文脈の情報をまとめる役割を担っているに過ぎな い，ということであろう．とはいえ今回は小規模のモデルと比較的シンプルなタスクでの実験 であったため，今後はより大きなモデルと複雑なタスクで今回の考察がどの範囲まで成立する のかを確かめたい.

## 3 mLUKE: The Power of Entity Representations in Multilingual Pretrained Language Models

## 3.1 マルチリンガル言語モデルにおけるエンティティ

本研究 (Ri et al. 2022) は著者が研究インターンとして所属している Studio Ousia との共同研究である。当社の山田育矢が開発した LUKE (Yamada et al. 2020) のモデルを多言語に拡張 するというのがテーマとなる. LUKE は BERT と同様, 双方向 Transformer の事前学習モデ ルであり，エンティテイ表現を持っていることが特徴である.

エンティティとマルチリンガル言語モデルは非常に相性がいい. ここで言うエンティティと は，現実世界に存在する物や概念を指すが，これは異なる言語間で共有することができる．例え ば「東京」は日本語の世界にも英語の世界にも存在し, このエンティティを“東京” や “Tokyo” のように異なる言語で指し示すことができる。したがって，マルチリンガルな言語表現を学習 するときに, エンティティが各言語のデータと紐づいていれば, 異なる言語の表現のアライン メントをとるための訓練信号として役立つ。一方でエンティティ側には, 複数の言語データが 使えるため学習に使える情報が増え, 良い表現の獲得が期待できるという恩恵がある. マルチ リンガルな設定において，エンティティと言語は互いに互いを高めあうシナジーがある.

## 3.2 実装について

本研究における大半の労力は実装にまつわるものである．事前訓練は既存の実装を利用する ことができたので大きな問題にはならなかったが，下流タスクでの評価が一苦労であった。事前学習タスクは汎用的であるがゆえに評価の方法が多岐にわたる。今回，論文に掲載されてい る実験だけでも，関係抽出，固有認識表現，質問応答，知識穴埋め問題と様々な夕スクで評価 している．このとき，様々なタスク，データセットやモデルを統一的なフレームワークで扱う 方法として, allennlp 1 ライブラリが非常に役に立ったので，NLP 実装に携わる方達におすす めしたい.

また，訓練済みモデルは Transformers ${ }^{2}$ ライブラリに収録されており，コード 1 行で簡単に 呼び出せるようになっている。上述の下流夕スクの実装と合わせて，容易に実験の再現ができ るよう心がけている，本プロジェクトではコードの整備に時間をかけた方だが, 後続の研究が より良いモデルを開発するための道を整備するのも非常に重要な貢献であると思う.

## 3.3 論文の概要

本研究では，エンティティ情報をマルチリンガル言語モデルの訓練に取り入れると，より良 い言語表現が獲得できることに加え, 学習したエンティティ表現自体が言語間転移学習に有用 であることを示している。エエテテティ表現を活用したモデルの探求は，今後も有望な方向の 1 つだろう.

またこのようなモデルの訓練は Wikipedia という貴重な言語資源があってのものである．近年は大規模な生テキストから巨大なモデルを学習する手法が注目を浴びているが, 半構造化さ れたテキストデータの（生テキストと合わせた）活用も有用な方向性であるように思う．

## 4 おわりに

世界に異なる言語は数あれど, 系列としての統計的性質（e.g., 統計的依存関係）や言語表現 のグラウンド対象（e.g., エンティティ）にはある程度の普遍性が存在する. 多言語 NLP モデ ルに関する研究は, そのモデルの実用性もさることながら, 個別言語の背後にある抽象的な“本質”に迫ることのできる魅力的な研究テーマであると思う．今後も実用的なモデルの開発, 多言語モデルの理解の両輪で研究を進めていきたい.
^{1}$ https://github.com/allenai/allennlp

2 https://github.com/huggingface/transformers
}

## 参考文献

Kataoka, H., Okayasu, K., Matsumoto, A., Yamagata, E., Yamada, R., Inoue, N., Nakamura, A., and Satoh, Y. (2020). "Pre-training without Natural Images." In $A C C V$.

Ri, R. and Tsuruoka, Y. (2022). "Pretraining with Artificial Language: Studying Transferable Knowledge in Language Models." In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 7302-7315, Dublin, Ireland. Association for Computational Linguistics.

Ri, R., Yamada, I., and Tsuruoka, Y. (2022). "mLUKE: The Power of Entity Representations in Multilingual Pretrained Language Models." In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 7316-7330, Dublin, Ireland. Association for Computational Linguistics.

田中久美子 (2021). 言語とフラクタル. 東京大学出版会. [K. Tanaka-Ishii (2021). Statistical Universals of Language. University of Tokyo Press.].

Yamada, I., Asai, A., Shindo, H., Takeda, H., and Matsumoto, Y. (2020). "LUKE: Deep Contextualized Entity Representations with Entity-aware Self-attention." In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 6442-6454, Online. Association for Computational Linguistics.

## 略歴

李凌寒：2018 年東京大学教養学部教養学科学際言語科学コース卒業. 2020 年東京大学情報理工学系研究科修士課程修了. 2020 年 4 月より東京大学情報理工学系研究科博士後期課程学生.


# 調理動作後の物体の視覚的状態予測を目指した Visual Recipe Flow データセットの構築と評価

森信介计

本稿では, 調理レシピにおいて, 調理動作後の物体の視覚的な状態の予測を目指し， Visual Recipe Flow (VRF) データセットを提案する. VRF データセットは (i) 物体 の視覚的な状態遷移と (ii) レシピ全体のワークフローに対するアノテーションから 成る。視覚的な状態遷移は動作前後の物体の観測を表す画像の組として，ワークフ ローはレシピフローグラフとして，それぞれ表現する。ここでは，データセットの 構築方法, アノテーション手順について順に説明し, アノテータ間のアノテーショ ン一致率を測ることでデータセットの品質を調査する. 最後に, 動作前後の画像と 物体のテキスト情報を用いたマルチモーダルな情報検索の実験を行うことで，各ア ノテーション要素の重要性について調べる。

キーワード：アノテーション, マルチモーダル, グラフ構造
## Visual Recipe Flow: A Dataset for Learning Visual State Changes of Objects with Recipe Flows

\author{
Keisuke Shirai $^{\dagger}$, Atsushi Hashimoto ${ }^{\dagger \dagger}$, Taichi Nishimura ${ }^{\dagger}$, Hirotaka Kameko ${ }^{\dagger \dagger}$, \\ Shuhei Kurita ${ }^{\dagger \dagger \dagger}$ and Shinsuke Mori ${ }^{\dagger \dagger \dagger}$
}

\begin{abstract}
We present a new multimodal dataset called Visual Recipe Flow, which enables us to learn each cooking action result in a recipe text. The dataset consists of object state changes and the workflow of the recipe text. The state change is represented as an image pair, while the workflow is represented as a recipe flow graph ( $\mathrm{r}-\mathrm{FG}$ ). We explain the data collection and annotation procedure and evaluate the dataset by measuring the inter-annotator agreement. Finally, we investigate the importance of each annotation component by conducting multi-modal information retrieval experiments.
\end{abstract}

Key Words: Annotation, Multimodal, Graph Structure

## 1 はじめに

予測は人間が生来備えている能力である。我々は日常生活において，様々な予測を行い，そ れを基に行動を行っている。例えば，調理においては，手順や調理動作によって得られる目標 の状態を先に予測し，それを手掛かりに動作を実行しているといえる。これには動作や対象の 物体に関する知識が必要であり, 同時に作業全体のワークフローについても理解する必要があ る.したがって，調理レシピを基に人間と同様に調理を行う自律エージェントを確立するため には，これらの能力の実現が必須であるといえる。図 1 に例を示す.この例では，エージェン トは二つ目の調理動作に必要な食材を特定しつつ動作後に得られる観測を予測している.

この方向の先行研究として, 調理手順に視覚的なアノテーションを施したものが存在する (Nishimura et al. 2020; Pan et al. 2020). ここで, Nishimura et al. (2020) は各調理手順に対応す る 1 枚の画像に対して, 動作や食材の表現に対応する箇所に矩形領域のアノテーションを行っ た.また, Pan et al. (2020) は調理手順を文レベルに分割した後, 各文に対応するフレーム列 を，レシピに紐づく調理動画から抽出してアノテーションを行った。これらは調理手順に視覚的な情報を結びつけているが，調理動作の結果を予測したい場合には，まだアノテーションが 不十分である。例えば，“トマトを切ってボウルに入れる.”には，1文に「切る」と「入れる」 の二つの調理動作が含まれているが，上記の先行研究のアノテーションでは，これらを個別に 扱うことが出来ない. 従って, 調理動作結果を予測するためには, 調理動作レベルのアノテー ションが必要であり, 率直な解決策としてはより密なアノテーションを用意することが考えら れる。

## 手順

図 1 調理エージェントによる調理動作結果の予測の例.ここでは, 2 つ目の調理動作（入れる）の結果 を予測している。

図 2 アノテーションの例. 画像の組は物体毎の動作前後の観測を表しており,これらは手順リスト内の 調理動作に紐づけられている。手順リスト内では, r-FGを用いて調理動作を含む表現間の依存関係を表現している。

本稿では，レシピにおける調理動作後の物体 ${ }^{1} の$ 状態の予測を目指し，新たに Visual Recipe Flow (VRF) データセットを提案する。図 2 に示す通り, VRF データセットは (i) 調理動作に よる物体の視覚的な状態の遷移と (ii) レシピ全体のワークフローに対するアノテーションから 成る. 視覚的な状態遷移は動作前後に対応する観測の組として表現し，ワークフローは先行研究のレシピフローグラフ (Recipe flow graph; r-FG) (Mori et al. 2014)を用いて表現する. ここ で，観測の組は r-FG 中の調理動作と紐づいており，これによって実世界とテキストのクロス モーダルな関係を考慮することが可能となる．また，ウェブサイトにてデータセット作成に用 いたレシピの URL リストとダウンロードしたデータを基にデータセットを構築するスクリプ トを公開している².

また, 本研究と関わりの深い研究として, 手順書上での物体の状態遷移の追跡を行うものが 存在する (Dalvi et al. 2018; Bosselut et al. 2018; Tandon et al. 2020).これは，各手順による実世界における影響を考慮することで，手順書の理解を目指したものである．本研究はこれらの 流れを汲んだものでもあり，大きな違いは状態遷移をテキストでなく画像で表現している点に ある。画像は物体の外観に関する情報を与えるため (Isola et al. 2015; Zhang et al. 2021), 先行研究と比較して実世界に関するより豊富な情報を提供することが期待される。また，調理の持 つ逐次的な性質を活かし, 大規模言語モデルの文書理解能力の評価 (Srivastava et al. 2022) や, vision-language モデルの few-shot 設定における学習能力の評価 (Alayrac et al. 2022)に用いる ことも考えられる。

## 2 Visual Recipe Flow データセット

Visual Recipe Flow (VRF) データセットでは, レシピ上の物体の調理動作前後の状態を，視覚的なアノテーションを用いて表現する。ここで, 物体や調理動作等の重要表現はレシピ固有表現 (Recipe namend entity; r-NE) (Mori et al. 2014)を用いて識別される。また, r-NEを基に， レシピ全体のワークフローをレシピフローグラフ (Recipe flow graph; r-FG) (Mori et al. 2014) を用いて表現する。本節では，まずr-FGについて概説し，その後，本データセットにおける視覚的なアノテーションの特徴について説明する.

## 2.1 Recipe flow graph (r-FG)

r-FGは図 2 に示すような非巡回有向グラフである. r-FGにおいて，点は r-NEによって識別 された表現であり，辺は二つの r-NE 間の依存関係をラベルを用いて表したものである， r-FG の特徴の一つとして，動作が必要とする物体を特定出来ることが挙げられる．例えば，図 2 で 動作 “入れ”が対象とする物体“1”は手順 1 の生成物であり，細切りにしたキャべッとにんじ んを指しているが，これは $\mathrm{r}-\mathrm{FG}$ の辺を辿ることで特定可能である。また，本データセットで は, 先行研究 (Mori et al. 2014) と異なり, 食材リストから手順リストへの依存関係もアノテー ションしており，原材料の情報を考慮することも可能である.

## 2.2 視覚的アノテーション

視覚的アノテーションは，調理動作による物体の視覚的な状態遷移を表したものであり，動作前後に対応する画像の組として表現する。ここで，各画像の組は手順リスト中の調理動作に 紐づいている。また, 一つの調理動作が複数の物体を対象とする場合に関しては, 図 2 のよう に，物体每に個別の画像の組を提供する。これによって，一動作が扱う物体が複数個ある場合 にも，それらの状態遷移も捉えることが出来る.

## 3 アノテーション仕様

本節では，VRFデータセットを構成する各アノテーションについて説明する．アノテーショ ンは, (i) レシピ固有表現 (r-NE) の付与, (ii)レシピフローグラフ (r-FG)の付与, (iii), 物体 の動作前後の画像の付与の 3 段階から成る。また, 各レシピは日本語で記述されており, それ ぞれ材料リスト，手順リスト，調理動画を備えていると想定する。図 3 にアノテーションの例 を示す.

## $3.1 \mathrm{r-\mathrm{NE}$}

まず，材料リストと手順リスト中の表現に対してレシピ固有表現タグ (Recipe named entity;

図 3 各アノテーション手順における例. アノテーションは前段階の結果をもとに行われる.

r-NE) のアノテーションを行う。文は日本語テキスト解析機 KyTea (Neubig et al. 2011) によっ て，事前に単語レベルに分割されているものとする，r-NE夕グの定義に関しては，先行研究 (Mori et al. 2014) に従い，表 1 に示す 8 種類のものを用いる。これらのうち，Ac (Action by chef; Ac), F (Foods; F), T (Tools; T)の3夕グは, 調理動作に直接関わるという点で, 本研究 において重要な意味をもつ。また，材料リスト中における動作の表現（茹でた，スライス等）に 関しては, 調理作業の開始時点で既に完了しているものとし, 動作 (Ac) ではなく食材の状態 Sf (State of foods; Sf) としてアノテーションする.

## 3.2 r-FG

次に，前段階でアノテーションした $\mathrm{r}-\mathrm{NE}$ を基に， r-FGのアノテーションを行う．ラベルは 先行研究 (Maeta et al. 2015) に従い, 表 2 に示す 13 種類の依存関係ラベルを用いる. これらの うち, Targ （動作の対象）と Dest （動作の方向）は動作 $(A c)$, 食材 $(F)$, 道具 $(T)$ 間の関係

表 $1 \mathrm{r}-\mathrm{NE}$ タグと各タグの付与数.

 & 2,397 \\

表 $2 \mathrm{r}-\mathrm{FG}$ ラベルと各ラベルの付与数.
材料リスト

## 手順リスト

other-mod $\mathrm{F}$-set

・(A) オリーブオイル 大さじ 1

- (A) $\frac{\text { 塩 }}{F} \frac{\text { ひとつまみ }}{Q}$

4. 器 に盛り付け た 5 完成 です。

図 4 材料リスト，手順リストに対する r-NE, r-FGのアノテーション例.

を記述するため，本研究において重要な意味をもつ，図 4 に材料リスト，手順リストに対する r-NE, r-FGのアノテーション例を示す.

## 3.3 動作前後の画像の組

最後に，画像による物体の状態遷移のアノテーションを行う。画像は, 調理動画から $3 \mathrm{FPS}$ で抽出したものを用いる。アノテーション候補の画像が複数枚存在する場合は，対象の物体が 最もはっきりと見えるものを選択する。また，調理動作が動画中に収録されていない場合や物体の大部分が手や道具に隠れている場合は，アノテーションを行わず，代わりに欠損値を記録 する，従って，全ての状態遷移に対して 2 枚の画像がアノテーションされているとは限らない 点に関して, 注意が必要である.

## 4 アノテーション結果

本節では，まずデータ収集とアノテーション手順について説明し，アノテーションから得ら れた統計量について説明する。次に, アノテーションの品質の調査を行い, 最後にデータセッ ト評価のための実験とその結果について述べる.

## 4.1 アノテーション手順

200 記事の日本語レシピをクラシル33から収集した。ここで，既存のフローグラフコーパス (Mori et al. 2014)を用いない理由は, レシピを基にした調理動画が必ずしも存在するとは限ら ないためである，本レシピに付属する調理動画では，各調理の手順が固定カメラによって収録 されているため, 固定視点での物体の視覚的な状態遷移のアノテーションが可能である。1 節で 述べた通り，本研究の目標は調理レシピを入力として受け取り，実世界で調理動作を実行する エージェントの確立である。しかし, 調理レシピによっては複雑な手順が含まれることがある. そこで，本研究では手始めとして比較的手順が容易であるサラダのカテゴリを対象とし，調理 レシピの収集，アノテーションを行った.

本データセットの構築には複雑なアノテーションが要求されるだけでなく, 対象とするデー 夕の特性上，調理に関する経験が必要であると考えられる。従って，ここでは自然言語処理に 関わるアノテーションと調理の経験を持つ 1 人のアノテータに依頼し，アノテーションを行っ た. アノテータの訓練は, 既存の r-FGコーパス (Mori et al. 2014) から無作為に収集した 20 レ シピを用い，それらにおける r-NE, r-FG の既存のアノテーションとの一致率が $80 \% を$ 超える までアノテーションを繰り返すことで行った。また，画像アノテーションの訓練に関しては， アノテーション対象である全体 200 レシピのうちの 50 レシピを用いて, $10,20,50$ レシピのア ノテーションが終了するごとに結果を確認し, 仕様と異なる場合には修正の指示を出すことで 行った.また, このとき, 必要に応じてアノテーション仕様の修正を行った.

先行研究 (Mori et al. 2014) ではスプレッドシートに入力する方式で r-NE と r-FG のアノテー ションを行っているが, この形式はコストが高く, 手作業のために予期せぬアノテーションミ スを生む可能性がある，従って，本研究では，フローグラフアノテーションのためのツールを 開発し，これを用いてアノテーションを行った。なお，本アノテーションツールの実装はウェ ブ上にて公開済みである ${ }^{4}$. 図 5 にツールを用いたアノテーションの例を示す. 全アノテーショ ンには，計 120 時間を要した。

## 4.2 統計量

収集したレシピには，合計 1,701 個の材料と 1,077 個の手順が含まれており，1レシピ平均 8.51 個の材料と 5.31 個の手順で構成されていた。また，全体を通して 89 種類の調理動作と 275 種類の材料表現が確認できた. r-NE と r-FGのアノテーション結果を表 1 , 表 2 にそれぞれ示 す. 表から, r-NEアノテーションでは 11,686 個の夕グが, r-FGアノテーションでは 11,291 個 のラベルが，それぞれ得られていることがわかる.

視覚的アノテーション結果を表 3 に示す. 表から, 動作対象となる物体の総数は 3,705 であ
^{4}$ https://github.com/kskshr/Flow-Graph-Annotation-Tool.
}

## $\mathbf{r$-NEの付与}

## r-FGの付与

Submit

## r-FGの付与

## 調理動作と物体の情報

$\cdot$(1/17) [1-000-008-1] 比, 白菜, $5 \mathrm{~mm}$ 幅)

図 5 アノテーションツールを用いたアノテーションの例.

ることがわかる.このうち， 2,551 例は動作前後共に， 485 例は動作後のみに， 72 例は動作前 のみに，それぞれ画像を付与することが出来た。残りの 597 例に関しては，動作前後の双方と もに画像の付与が出来なかった。また，このアノテーションでは，合計 5,659 枚（重複なしで 3,824 枚）の画像を使用した。ここで，重複が発生しているのは，ある動作の動作後画像と次の 動作の動作前画像が一致する場合があるためである。

## 4.3 アノテーション品質

アノテーションの品質を調査するため，4.1 節とは別の, 自然言語処理と調理の経験を持つア ノテータに，データセット全体から無作為に収集した 10 レシピ（全体の $5 \%$ ）０アノテーショ ンを依頼し，それらの一致率を計算した。アノテータの訓練は, r-NE と r-FGに関しては 4.1 節

と同様の手順で行い，画像アノテーションに関しては，4.1節で作成した仕様を元に，アノテー ション対象外の 5 レシピにおけるアノテーション結果を確認, 修正した.

結果を表 4 に示す. ここでは， 4.1 節で得られたアノテーションを正解データとして捉え，そ れらの間の精度, 再現率, $\mathrm{F}$ 値を計算することで, 一致率を算出した. r-NE, r-FGのアノテー ションにおいては，それぞれ $98.40 \%, 86.11 \%$ という非常に高い一致率が得られた．また，画像 アノテーションに関しては, $72.80 \%$ と前 2 段階のアノテーション結果と比較すると低い一致率 となったが, 前段階からのアノテーションミスの影響や, 画像アノテーション時に複数の画像 が候補となることを考慮すると, この値は十分に高いといえる.

## 4.4 実験

## 4.4.1 タスク設定

データセットにおける各アノテーション要素の重要性について調査するため, マルチモーダ ルな情報検索のタスクを考え, 実験を行った。このタスクでは, 調理動作を表す動詞 $a$ と物体 $o$ のテキスト情報, 動作前画像 $i^{\text {pre }}$ 基に, 候補の画像の集合 $i_{1}, i_{2}, \cdots, i_{n}$ から正解の動作後画像 $i^{\text {post }}$ 検索することを目指す. 図 6 に例を示す.

## 4.4.2 モデル

まず, 調理動作 $a$, 物体 $o$ のテキスト情報と動作前画像 $i$ pre から, 動画後画像に対応するべ クトル表現の計算を行う。ここで， $a$ と $o$ は BiLSTM (Lample et al. 2016)を用いて $d_{v}$ 次元の

表 3 画像アノテーションの統計量.

表 4 アノテーション一致率.

テキスト動作前画像

候補の画像

図 6 検索タスクの例. 調理動作と物体に対応するテキストの情報, 動作前画像をもとに対応する動作後画像の検索を行う．この例では，赤枠で囲われている画像が正しい動作後画像である。

ベクトル $h_{a}, h_{o}$ に変換する. この $h_{a}, h_{o}$ はレシピ全体を BiLSTM でエンコードして得られる 単語の分散表現のうち， $a, o$ に対応する表現である， $a, o$ が複数の単語からなる場合には, そ れらの平均を取ることで対応する分散表現を獲得する。 $i^{\text {pre }}$ は事前学習済みの畳み込みニュー ラルネット (Convolutional Neural Network; CNN) を用いて $d_{t}$ 次元のベクトル $h_{i}^{\text {pre }}$ を下のよ うに計算する。

$
h_{i}^{\text {pre }}=W_{1}^{\text {pre }} \mathrm{CNN}\left(i^{\text {pre }}\right)+b_{1}^{\text {pre }} .
$

ここで, $W_{1}^{\text {pre }} \in \mathbb{R}^{d_{t} \times d_{i}}, b_{1}^{\text {pre }} \in \mathbb{R}^{d_{t}}$ は学習可能なパラメータである. これらを基に, $\tilde{h}^{\text {pre } を 以 下 ~}$ のように計算する。

$
\tilde{h}^{\text {pre }}=W_{3}^{\text {pre }}\left(\operatorname{ReLU}\left(W_{2}^{\text {pre }}\left[h_{a} ; h_{o} ; h_{i}^{\text {pre }}\right]+b_{2}^{\text {pre }}\right)\right)+b_{3}^{\text {pre }} .
$

ここで；は結合を指し， $W_{2}^{\text {pre }} \in \mathbb{R}^{3 d_{t} \times 3 d_{t}}, W_{3}^{\text {pre }} \in \mathbb{R}^{d_{t} \times 3 d_{t}}, b_{2}^{\text {pre }} \in \mathbb{R}^{3 d_{t}}, b_{3}^{\text {pre }} \in \mathbb{R}^{d_{t}}$ は全て学習可能である. 最後に， $\tilde{h}^{\text {pre }}$ を下のように共有埋め込み空間上にマッピングする (Miech et al.

$
\hat{h}^{\text {pre }}=\frac{f\left(\tilde{h}^{\text {pre }}\right)}{\left.\|f\left(\tilde{h}^{\text {pre }}\right)\right.\|_{2}}
$

ここで,

$
f(h)=\left(W_{4}^{\text {pre }} h+b_{4}^{\text {pre }}\right) \circ \sigma\left(W_{5}^{\text {pre }}\left(W_{4}^{\text {pre }} h+b_{4}^{\text {pre }}\right)+b_{5}^{\text {pre }}\right)
$

である。また， $\sigma$ はシグモイド関数であり，。は要素ごとの掛け算を指す. $W_{4}^{\text {pre }} \in \mathbb{R}^{d_{e} \times d_{t}}$, $W_{5}^{\text {pre }} \in \mathbb{R}^{d_{e} \times d_{e}}, b_{4}^{\text {pre }}, b_{5}^{\text {pre }} \in \mathbb{R}^{d_{e}}$ は全て学習可能である.

動作後画像 $i^{\text {post }}$ は動作前画像と同様に, 事前学習済み CNNを用いて $d_{t}$ 次元のベクトル $h_{i}^{\text {post }}$ を以下のように計算する。

$
\tilde{h}_{i}^{\text {post }}=W_{2}^{\text {post }}\left(\operatorname{ReLU}\left(W_{1}^{\text {post }} \operatorname{CNN}\left(i^{\text {post }}\right)+b_{1}^{\text {post }}\right)\right)+b_{2}^{\text {post }} .
$

$W_{1}^{\text {post }}, W_{2}^{\text {post }} \in \mathbb{R}^{d_{i} \times d_{i}}$, and $b_{1}^{\text {post }}, b_{2}^{\text {post }} \in \mathbb{R}^{d_{i}}$ は学習可能であり, 同様に共有埋め込み空間上へ のマッピングを行う.

$
\hat{h}^{\text {post }}=\frac{g\left(\tilde{h}^{\text {post }}\right)}{\left.\|g\left(\tilde{h}^{\text {post }}\right)\right.\|_{2}} .
$

ここで,

$
g(h)=\left(W_{3}^{\text {post }} h+b_{3}^{\text {post }}\right) \circ \sigma\left(W_{4}^{\text {post }}\left(W_{3}^{\text {post }} h+b_{3}^{\text {post }}\right)+b_{4}^{\text {post }}\right)
$

である. $W_{3}^{\text {post }} \in \mathbb{R}^{d_{e} \times d_{i}}, W_{4}^{\text {post }} \in \mathbb{R}^{d_{e} \times d_{e}}$, and $b_{3}^{\text {post }}, b_{4}^{\text {post }} \in \mathbb{R}^{d_{e}}$ は学習可能である. 検索候補と

なる他の画像も同様に，上記の計算を経て共有埋め込み空間上へのマッピングを行う.

誤差関数. 共有埋め込み空間上での $\hat{h}^{\text {pre }}, \hat{h}^{\text {post }}$ 間の距離は以下のように計算する.

$
D\left(\hat{h}^{\text {pre }}, \hat{h}^{\text {post }}\right)=\left.\|\hat{h}^{\text {pre }}-\hat{h}^{\text {post }}\right.\|_{2} \text {. }
$

これを基に, $n$ 例のベクトルの組 $\left(\left(\hat{h}_{1}^{\text {pre }}, \hat{h}_{1}^{\text {post }}\right), \cdots,\left(\hat{h}_{n}^{\text {pre }}, \hat{h}_{n}^{\text {post }}\right)\right)$ が与えられた時, 以下の誤差関数の最小化を考える (Balntas et al. 2016):

$
\mathcal{L}=\frac{1}{n} \sum_{i=1}^{n}\left.\{\max \left(D_{i, i}-D_{i, j}+\delta, 0\right)+\max \left(D_{i, i}-D_{k, i}+\delta, 0\right)\right.\}
$

ここで, $D_{i, j}=D\left(\hat{h}_{i}^{\text {pre }}, \hat{h}_{j}^{\text {post }}\right)$ であり, $\delta$ はマージンを指す. $D_{i, i}$ は $i$ 番目の正例のベクトル間

れ用いた時の距離を表す。負例のサンプリングに関しては, ここでは単純にミニバッチ内から 無作為に選択することを考える。

## 4.4.3 実験設定

データ分割. 本実験では，アノテーションで得られた動作前後の観測のうち, その双方がア ノテーションされている 2,551 例のみを用いた。全体の 200 レシピを 10 分割し, そのうち 1 分割（20レシピ）をテストデータ，残りの 9 分割を結合したもの（180レシピ）を学習データと して割り当てた。このテストデータに対応する分割を変更することで，後述する 10 分割交差検証を実現した。ここで，学習デー夕，テストデー夕に含まれるサンプル数はそれぞれ平均で 2296.8 例, 255.2 例であった. また, 動作後画像の候補は, 学習時はミニバッチ内の他の動作後画像を，テスト時にはテストセットに含まれる他の全ての動作後画像を，それぞれ用いた。各動作前後の画像のぺアは手順リスト中の動作表現に紐付いているが，これを動詞のテキスト情報として用いた。また，物体のテキスト情報はこの動詞を終点とし, r-FGの Targ ラベルで紐付けられている始点の表現のうち, r-NEの F（食材）または Ac（調理者の動作）が振られてい るものを選択することで，自動的に特定し，用いた。

モデルパラメータ. 実験では 1 層で 256 次元の BiLSTM を用いてテキストのエンコードを 行った。また，次元数に関しては， $\left(d_{v}, d_{t}, d_{i}, d_{e}\right)=(496,512,2048,128)$ とした．事前学習済み CNN には ResNet-152 (He et al. 2016) を用い, 2048 次元の特徵量を画像から抽出した.

最適化. 最適化手法として, AdamW (Loshchilov and Hutter 2019) を初期学習率 $1.0 \times 10^{-5}$ として用いた。学習中は, CNNのパラメータは固定した。各モデルの学習には, 4 レシピからミ ニバッチを構成し， 350 エポック分行った．式 (1)の $\delta$ は実験的に 0.1 に設定した．また，デー タセットのうち $90 \%$ を学習データに， $10 \%$ をテストデータに分割することで， 10 分割交差検証 を行い，モデルの評価を行った。
評価指標. 評価指標として, Recall@5 (R@5) と Median rank (MedR) を用いた.ここで， R@5 は検索結果の上位 5 件に正解画像が含まれている割合を調査するために, MedR は正解画像の候補画像中における順位を調査するために，それぞれ用いている。また，これらの指標は クロスモーダルな検索タスクの評価において, 先行研究でも用いられている (Socher et al. 2014; Salvador et al. 2017; Miech et al. 2019).

## 4.4.4 実験結果

動作後画像の検索に用いるテキスト情報 $(a, o)$ と動作前画像 $(i$ pre $)$ に関して, いずれか片方を 用いる場合と両方を用いる場合を考え，それぞれ実験を行った. 表 5 に実験結果を示す. 1 行目はランダムベースラインを表している。2行目と 3 行目の比較から, 画像かテキストのいず れか一方を用いる場合では，画像を用いた方がより良い R@5 (33.77) と MedR (12.60)を獲得出来ていることがわかる. 次に, これらと 4 行目の比較から, 画像とテキストの両方を用いるこ とで, R@5で 3.24, MedR で 2.2 の改善が得られていることがわかる. これらの結果は, 動作後画像の検索において，画像はテキスト以上に重要な情報を与えていることを示唆している。ま た，テキストと画像を組み合わせることでさらなる改善が得られることから，テキストは画像 とは異なる手がかりをモデルに与えていることが推察できる.

## 4.4.5 考察

本タスクに残された課題としては, (i) 動作前後で変化が少ない例と (ii) 動作結果の画像の予測の際に，過去の動作を遡って解析する必要がある例への対処が挙げられる。(i)は例えば, 「ド レッシングの材料をボウルに加える」等が対応する。この例では, 加える食材に応じた動作結果の画像を検索できることが望ましいが，食材が塩や油などの場合，動作前後で見た目の変化 が起こりにくいという問題があり，実際にこういった例に対しては，モデルによる検索の失敗 が多く見受けられた。これの解決策としては，例えば，加える原材料の見た目や形状に関する 特徴量を予め用意しておき， $\hat{h}^{\text {pre }}$ 計算時に用いること等が考えられる.

表 5 実験結果. テキストは調理動作と物体の表現を指している。また，枠内のチェックマークは動作後画像の検索に用いた要素を表している。
(ii) に関しては, 物体のテキスト情報が過去の手順の番号 6 や過去の動作 ${ }^{7}$ となる場合が挙げら れる。これの解決策としては，例えば，対象の動作からフローグラフを逆に辿ることで，過去 の動作やそれに含まれる食材の情報を利用することが考えられる。このとき, r-NE夕グの情報 を合わせて用いることで，物体の形状や原材料まで特定することが可能となる．また， Neural Process Networks (Bosselut et al. 2018; Nishimura et al. 2021)のように，食材の状態遷移を追跡する機構を用いて，実際の動作後画像の検索時に用いることも考えられる。

さらに，これらの課題に加え，本実験で用いた以外の $\mathrm{r}-\mathrm{NE}$ タグ， r-FG ラベルの情報を用い てさらなる精度向上を図ることも期待できる。例えば， r-NEの Sf（食材の状態）タグや r-FG の Dest（動作の方向）は動作や物体に関するより細かい情報を提供できるため，モデルの検索精度向上に利用できる可能性がある.

## 5 応用

本節では，本データセットの応用先について述べる。

## 5.1 マルチモーダル常識推論

マルチモーダルな情報を用いた手順書の常識推論は近年注目を集めている研究の一つである (Zellers et al. 2019; Yagcioglu et al. 2018; Alikhani et al. 2019). 調理分野においては, 食材の状態遷移に関する推論 (Bosselut et al. 2018; Nishimura et al. 2021) が存在する.この方向におい て, 本データセットを用いることで, 食材の視覚的な状態遷移を考慮した推論を行うことが可能となる。また, r-FGが表すワークフローを利用して, 各調理動作がレシピ全体に与える影響 について分析することも可能である.

## 5.2 手順書生成

画像や動画等, 視覚的な情報からの手順書生成 (Ushiku et al. 2017; Nishimura et al. 2019)は,作業の再現性を高める上で重要な夕スクであるといえる。ここで，正しく作業を再現するため には，生成された手順列が一貫性を持つことが重要である。r-FGは手順間の依存関係を表現す るため，これを利用することで，より一貫した手順書の生成が行える可能性がある.
-\mathrm{FG}$ の性質上, 「入れる」となる。これは「入れる」という動作の生成物が「混ぜ合わせ る」の入力となっていることを表している.
}

## 6 おわりに

本稿では, 調理レシピにおいて, 調理動作後の物体の視覚的状態の予測を目指し, Visual Recipe Flow データセットを提案した。データの収集方法やアノテーション手順について述べ，アノ テータ間の一致率を測ることでデータセットの品質を調査した。また，マルチモーダルな情報 を用いた情報検索タスクを考えることで，各アノテーション要素の重要性について調べた，最後に, 本データセットの応用例として, マルチモーダル常識推論や手順書生成について述べた.

## 謝 辞

本研究は JSPS 科研費 JP20H04210, JP21H04910, JP22K17983 と JST, さきがけ, JPMJPR20C2 の助成を受けたものです。また, 研究の過程でオムロンサイニックエックス株式会社の牛久祥孝氏にはご助言をいただきました.

本論文の一部は言語処理学会第 28 回年次大会 (白井他 2022) および The 29th International Conference on Computational Linguistics (COLING 2022) (Shirai et al. 2022) で発表したもの です.

## 参考文献

Alayrac, J.-B., Donahue, J., Luc, P., Miech, A., Barr, I., Hasson, Y., Lenc, K., Mensch, A., Millican, K., Reynolds, M., et al. (2022). "Flamingo: A Visual Language Model for Fewshot Learning." arXiv preprint arXiv:2204.14198.

Alikhani, M., Nag Chowdhury, S., de Melo, G., and Stone, M. (2019). "CITE: A Corpus of ImageText Discourse Relations." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 570-575.

Balntas, V., Riba, E., Ponsa, D., and Mikolajczyk, K. (2016). "Learning Local Feature Descriptors with Triplets and Shallow Convolutional Neural Networks." In Proceedings of the British Machine Vision Conference, pp. 119.1-119.11.

Bosselut, A., Levy, O., Holtzman, A., Ennis, C., Fox, D., and Choi, Y. (2018). "Simulating Action Dynamics with Neural Process Networks." In Proceedings of the 6th International Conference on Learning Representations.

Dalvi, B., Huang, L., Tandon, N., Yih, W.-t., and Clark, P. (2018). "Tracking State Changes in Procedural Text: a Challenge Dataset and Models for Process Paragraph Comprehension."

In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 1595-1604.

He, K., Zhang, X., Ren, S., and Sun, J. (2016). "Deep Residual Learning for Image Recognition." In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. $770-778$.

Isola, P., Lim, J. J., and Adelson, E. H. (2015). "Discovering States and Transformations in Image Collections." In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.

Lample, G., Ballesteros, M., Subramanian, S., Kawakami, K., and Dyer, C. (2016). "Neural Architectures for Named Entity Recognition." In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 260-270. Association for Computational Linguistics.

Loshchilov, I. and Hutter, F. (2019). "Decoupled Weight Decay Regularization." In Proceedings of the 7th International Conference on Learning Representations.

Maeta, H., Sasada, T., and Mori, S. (2015). "A Framework for Procedural Text Understanding." In Proceedings of the 14th International Conference on Parsing Technologies, pp. 50-60.

Miech, A., Laptev, I., and Sivic, J. (2018). "Learning a Text-Video Embedding from Incomplete and Heterogeneous Data." arXiv preprint arXiv:1804.02516.

Miech, A., Zhukov, D., Alayrac, J.-B., Tapaswi, M., Laptev, I., and Sivic, J. (2019). "Howto100m: Learning a Text-Video Embedding by Watching Hundred Million Narrated Video Clips." In Proceedings of the IEEE International Conference on Computer Vision, pp. 2630-2640.

Mori, S., Maeta, H., Yamakata, Y., and Sasada, T. (2014). "Flow Graph Corpus from Recipe Texts." In Proceedings of the 9th International Conference on Language Resources and Evaluation, pp. 2370-2377.

Neubig, G., Nakata, Y., and Mori, S. (2011). "Pointwise Prediction for Robust, Adaptable Japanese Morphological Analysis." In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, pp. 529-533.

Nishimura, T., Hashimoto, A., and Mori, S. (2019). "Procedural Text Generation from a Photo Sequence." In Proceedings of the 12th International Conference on Natural Language Generation, pp. 409-414.

Nishimura, T., Hashimoto, A., Ushiku, Y., Kameko, H., and Mori, S. (2021). State-Aware Video Procedural Captioning, pp. 1766-1774. Association for Computing Machinery, New York, NY, USA.

Nishimura, T., Tomori, S., Hashimoto, H., Hashimoto, A., Yamakata, Y., Harashima, J., Ushiku, Y., and Mori, S. (2020). "Visual Grounding Annotation of Recipe Flow Graph." In Proceedings of the 12th Language Resources and Evaluation Conference, pp. 4275-4284.

Pan, L.-M., Chen, J., Wu, J., Liu, S., Ngo, C.-W., Kan, M.-Y., Jiang, Y., and Chua, T.-S. (2020). Multi-Modal Cooking Workflow Construction for Food Recipes, pp. 1132-1141. Association for Computing Machinery.

Salvador, A., Hynes, N., Aytar, Y., Marin, J., Ofli, F., Weber, I., and Torralba, A. (2017). "Learning Cross-modal Embeddings for Cooking Recipes and Food Images." In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.

Shirai, K., Hashimoto, A., Nishimura, T., Kameko, H., Kurita, S., Ushiku, Y., and Mori, S. (2022). "Visual Recipe Flow: A Dataset for Learning Visual State Changes of Objects with Recipe Flows." In Proceedings of the 29th International Conference on Computational Linguistics, pp. 3570-3577. International Committee on Computational Linguistics.

白井圭佑, 橋本敦史, 牛久祥孝, 栗田修平, 亀甲博貴, 森信介 (2022).レシピ分野における動作対象の状態変化を考慮したデータセットの構築と検索モデルの提案. 言語処理学会第 28 回年次大会, pp. 129-134. [K. Shirai et al. (2022). Construction of a Dataset Considering State Changes of Objects in the Cooking Domain and Proposal of a Retrieval Model for the Dataset. Proceedings of the 28th Annual Meeting of the Association for Natural Language Processing, pp. 129-134.].

Socher, R., Karpathy, A., Le, Q. V., Manning, C. D., and Ng, A. Y. (2014). "Grounded Compositional Semantics for Finding and Describing Images with Sentences." Transactions of the Association for Computational Linguistics, pp. 207-218.

Srivastava, A., Rastogi, A., Rao, A., Shoeb, A. A. M., Abid, A., Fisch, A., Brown, A. R., Santoro, A., Gupta, A., Garriga-Alonso, A., et al. (2022). "Beyond the Imitation Game: Quantifying and extrapolating the capabilities of language models." arXiv preprint arXiv:2206.04615.

Tandon, N., Sakaguchi, K., Dalvi, B., Rajagopal, D., Clark, P., Guerquin, M., Richardson, K., and Hovy, E. (2020). "A Dataset for Tracking Entities in Open Domain Procedural Text." In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 6408-6417.

Ushiku, A., Hashimoto, H., Hashimoto, A., and Mori, S. (2017). "Procedural Text Generation from an Execution Video." In Proceedings of the 8th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 326-335.

Yagcioglu, S., Erdem, A., Erdem, E., and Ikizler-Cinbis, N. (2018). "RecipeQA: A Challenge Dataset for Multimodal Comprehension of Cooking Recipes." In Proceedings of the 2018

Conference on Empirical Methods in Natural Language Processing, pp. 1358-1368.

Zellers, R., Bisk, Y., Farhadi, A., and Choi, Y. (2019). "From Recognition to Cognition: Visual Commonsense Reasoning." In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.

Zhang, Y., Yamakata, Y., and Tajima, K. (2021). "MIRecipe: A Recipe Dataset for StageAware Recognition of Changes in Appearance of Ingredients." In Proceedings of the 3rd ACM International Conference on Multimedia in Asia, pp. 1-7. Association for Computing Machinery.

## 略歴

白井 圭佑：2017 年愛媛大学工学部卒業. 2020 年京都大学大学院情報学研究科修士課程修了. 現在同大学院博士課程. 自然言語処理, マルチメディアに関 する研究に従事. 言語処理学会会員.

橋本 敦史：2005 年京都大学工学部卒業. 2013 年京都大学大学院情報学研究科

にて博士 (情報学) 取得. 2012 年より 同大助手, 2015 年より同大助教として 勤務. 2018 年よりオムロンサイニックエックス株式会社シニアリサーチャー. 2021 年より慶應義塾大学特任講師を兼任して現在に至る。主に機械学習, 画像処理, および，料理や組立作業を対象とした人と機械のインタラクション 理解に関する研究に従事. IEEE, IEICE, IPSJ 各会員.

西村 太一：2019 年九州大学芸術工学部卒業. 2020 年京都大学大学院情報学研究科修士課程修了. 現在同大学博士課程. 修士 (情報学)、マルチメディア,自然言語処理，コンピュータビジョンの研究に従事. 学術振興会特別研究員 (DC1). 2023 年言語処理学会論文賞受賞.

亀甲 博貴 : 2018 年東京大学大学院工学系研究科博士課程修了. 博士 (工学).同年より京都大学学術情報メディアセンター助教. 自然言語処理, ゲーム AI 等に関する研究に従事. 言語処理学会, 情報処理学会各会員.

栗田 修平：2013 年京都大学理学部卒業. 2015 年同大学院理学研究科物理学教室修士課程修了. 2019 年京都大学大学院情報学研究科にて博士（情報学）取得. 現在国立研究開発法人理化学研究所革新知能統合研究センター研究員.深層学習を用いた自然言語処理ならびにコンピュータビジョンの研究に従事.言語処理学会, 情報処理学会, 人工知能学会, ACL 各会員.

森信介：1998 年京都大学大学院工学研究科電子通信工学専攻博士後期課程修了. 同年日本アイ・ビー・エム株式会社入社. 2007 年より京都大学学術情報メディアセンター准教授. 2016 年同教授. 現在に至る。計算言語学ならび

に自然言語処理の研究に従事. 博士 (工学). 1997 年情報処理学会山下記念研究賞受賞. 2010 年, 2013 年情報処理学会論文賞受賞. 2010 年第 58 回電気科学技術奨励賞. 2023 年言語処理学会論文賞受賞. 言語処理学会, 情報処理学会, 日本データベース学会各会員.


# 「文書レベル関係抽出における根拠認識の統合」の完成まで

馬 尤咪 $\dagger$
## 1 はじめに

本稿では言語処理学会第 29 回年次大会 (NLP2023) において論文賞を受賞した研究「文書レべ ル関係抽出における根拠認識の統合」（Ma 他 2023）の概要と遂行過程を紹介する．ふりかえると 本研究の鍵は各段階における積極的な状況整理であり，自分の置かれた状況を見極めていたからこ そ，研究の方針を決めることができた，本稿ではその研究過程と得られた学びを紹介し，似た境遇 にあるどなたかの参考と励みになれると幸いである.

## 2 本研究の概要

質疑応答をはじめ，自然言語処理技術が用いられる多くの場面では，事実知識に基づいた回答 の自動生成が期待されている。事実知識を効率よく蓄積するため，テキストから自動的に知識を 獲得し, 知識ベースを構築することは重要な課題である。本研究で取り組む文書レベル関係抽出 (DocRE: Document-level Relation Extraction) タスクは, まさに文書からの知識ベース構築を目指している.

DocRE は文書におけるすべてのエンティティ（実体）の組の関係を認識するタスクである．関係抽出の研究は文内に閉じて関係を認識する夕スク設定が多いが，テキスト中で複数の文にまたがっ て表現される関係は対象外となってしまうため, 適用範囲が狭い。これに対して, DocRE は複数 の文で言及される関係にも対応できる。一方，DocRE を解くには複数の文の情報の取捨選択や統合をしながらエンティティ間の関係を推定する必要があるため，通常の関係抽出より難しい設定で もある。情報の取捨選択によく用いられるのは根拠 (evidence) である。根拠は，関係を推定するた めに必要最小限かつ十分な情報を含む文の集合と定義され，DocRE で広く用いられるデータセッ ト DocRED (Yao et al. 2019) でラベル付けされている（図 $1 \mathrm{a}^{1}$ ).

既存研究では DocRE のサブタスクとして根拠認識も行うことが多かった (Huang et al. 2021; Xie et al. 2022; Xiao et al. 2022). これらの研究は, エンティティ組の埋め込みと文の埋め込みを 入力として，文がエンティティ組の関係の根拠である確率を出力する根拠認識器を学習する。この

(a) アノテーションの例 (Yao et al. 2019)

(b) DREEAM の概要

図 1 DocRE のアノテーション例及び提案手法 (DREEAM) の概要

ような設計では，根拠認識と DocRE は別々にモデル化されてしまい，両タスクの関連性を考慮で きない。本研究では，根拠認識を DocRE モデルに統合する手法 DREEAM を提案した。

DREEAM のアイデアはシンプルである，長いテキストが与えられ，特定の情報を探すよう指示 された時，人間は関連性の低い情報を読み飛ばすように，モデルにも読み飛ばしの知識を身につけ てもらいたい。そこで，人間が特定のエンティティ組の関係を判断する際は根拠に注目すると仮定 し，モデルも同じく根拠に注目させるように誘導する。具体的には，根拠の人手アノテーションを 根拠分布に変換し, エンコーダの自己注意機構から算出した単語重要度の教師信号とする。これに より，関係予測の根拠に高い重みを配分するよう，エンコーダの自己注意機構を誘導できる。また，推論時は文の重要度を単語重要度の和とし, 重要度の高い文を根拠とすることで, 根拠認識器を撤廃し，モデルのパラメータ数やメモリ使用量の削減も実現した。これは本研究において，筆者が最 も嬉しく思うところでもある。

さらにDREEAM を活用して, 根拠ラベルのないデータに根拠を自動付与し, モデルの学習に用 いた（図 $1 \mathrm{~b}$ ).これは DocRE，特に根拠認識においての教師データ不足を緩和するための策であ る。まず人手でラベル付けされた少量の正解データでDREEAM を学習しておき，それを教師モデ ルとする．次に根拠ラベルの無いデータを教師モデルに入力し，疑似的な根拠を推測させる．得ら れた疑似根拠は教師モデルが持つ根拠認識に関する知識の表れとして，もう一つのモデル，すなわ ち学生モデルに模倣させることで，根拠認識に関する知識を学げせる．さらに正解データでファイ ンチューニングを行なった学生モデルは，DocRED において DocRE と根拠認識の両方で世界最高性能 (SOTA) を達成できた。

## 3 本研究の遂行過程をふりかえって

ふりかえると，本研究を遂行できた鍵は，各段階における積極的な状況整理であった。

## 3.1 テーマ選び：一歩踏み込んでからの状況整理

修論のテーマは文に閉じた固有表現抽出及び関係抽出だった。割と早い段階で学会論文に仕上げ たが，国際会議・ジャーナルへの挑戦は四戦四敗で終わった，幸いなことに，行き場を無くしかけ ていた研究を本論文誌が採択してくださった (Ma et al. 2022). 2021 年 9 月から博士課程に進学 し，博士号の取得という目標を見据え，同じテーマで挑むべきかについて迷いが生じたため，一度状況整理の時間を設けるようにした。

状況整理期間では, 取り掛かっていたテーマのコミュニティの動向を調べつつ，それを個人の 研究に対する価値観と照らし合わせ，「もしこの方向に進んだら何ができるのか」を整理した．当時, 文に閉じた情報抽出に限らず，テキストから構造化情報を取り出すことを目的とした構造化予測 (Structured Prediction) タスクを sequence-to-sequence タスクに落とし迄む手法が頭角を現し，注目を集めた (Paolini et al. 2021).これらの手法は入出力側のテキストを緻密に設計し，構造化情報をテキストにエンコードさせた。複数の構造化予測タスクを統一された朹組みで解ける良い試 みとは思ったが，より計算量の大きい生成タスクに解析タスクを落とし达むことが腑に落ちずにい た. 一方, 個人の研究遂行経験を振り返ると, 当時の実験設定でモデルがアノテーション通りに予測できなかった事例は，人間にとっても判断に迷うものであると感じ，同じベンチマークで粘るモ チベーションはさほど高くなかった。このようなサーベイと自問自答を繰り返した結果, 同じテー マを続けるのは難しいと判断し，他を探すことにした，後に，長文解析への関心から DocRE に落 ち着いた，踏み切るまでに時間がかかったが，正しい選択をしたと思う．気長に見守ってくださっ た指導教員の岡崎直観教授に深く感謝する.

テーマを決めるのにあたり，気分転換がてらに参加した学外実習が助力となった。進学してから 2 ヶ月が経ち, 博論の方向性が決められずにいたため, インスピレーションを求めて NTT 人間情報研究所の冬季学外実習に参加し, クエリ指向型長文要約 (QFS) についての研究に取り組んた 2 .情報抽出とかけ離れた馴染みのないテーマであったため, 指導者の西田光甫氏と責任者の西田京介氏など，多くの方のご厄介になったが，大変貴重な経験だった，博論のテーマをDocRE に舵を切 れたのも，QFS の課題であるクエリによる情報の取捨選択と DocREの課題であるエンティティの 組による情報の取捨選択につながりを感じたからだと思う，QFS の研究に踏み込んだ経験も，実質状況整理の一環になったと感じた.

## 3.2 研究遂行 : 一歩引いてからの状況整理

原論文の雛形は EACL 2023 に採択されているが (Ma et al. 2023), 起稿当時は異なるストーリー を予想していた，当初では，提案手法の性能はSOTA を超えられず，数ヶ月の試行錯誤を繰り返し ても性能改善の目処が立たなかったため, 仕方なく本研究をまとめて次に取り掛からうとした。と

ころが，論文の執筆は一歩引いてからの状況整理となり，転機をもたらした.

論文執筆のため, 研究遂行過程で行われた試みと関連研究で報告された試みを一通り整理し，提案手法の立ち位置を確立しようとした。このおかげで, 曖昧だった関連研究との繋がりが明白とな り，全体像が見えてきた．実験の手を止め，一歩引いて全体像を眺めたところ，「検証できたこと」 と「検証できていないこと」を区別できるようになり，根拠認識の疑似ラべル付与はまだ未踏であ ることに気付けた。早速 DREEAM を活用した疑似根拠付与実験を試みたところ，性能が向上し， SOTAを越すことができた。これらの実験結果が得られたのは締め切りの 2 週間前であり，その後原稿を大幅に修正すべく苦労したが，最終的には納得のいく出来まで仕上げることができた。この 経験から，一心不乱に実験を進めることは研究の礎石を築くが，時折一歩引いて全体像を把握して おくことこそ，芯の通る研究ができる重要なステップであると思った．

研究の全体像を把握するのにあたり，早期の起稿が有用であると感じた。上述の通り，筆を動か すことは情報や思考をまとめるのに非常に役立つものであった．今回は締切の 1 ヶ月前に執筆し始 めたが，テーマを決めた時点で論文を起稿し，実験を進めるのと同時に原稿を修正していく戦略を とっていたら，より効率よく研究を進められたのかもしれない.

## 3.3 余談：提案手法の呼称について

論文執筆当初では提案手法を「DREviA ${ }^{3}$ (ドレービア)」と呼称していた.「DREEAM ${ }^{4}$ (ドリー ム)」という印象に残る呼称は, 原稿の校正で助力いただいた岡崎研究室の Macro Cognetta 氏の アイデアである。本稿の所々で述べられたように，本研究は多くの方々から支えられたからこそ成 し遂げたものである。この度は数多くの優れた投稿から本論文を選出し，優秀と評価いただいたの は実に予想外であり，身に余る光栄だとも思ったが，筆者一人だけでは決して成就できなかった。 これを励みに，今後も堅実に研究を進めていきたい。

## 4 おわりに

本稿では NLP2023で発表された主著論文「文書レベル関係抽出における根拠認識の統合」の概要と研究過程を紹介した，生成 AI が注目を浴び続ける今, 解析タスクの存在感は薄れていく一方 だが，テキストや事実に忠実な解析はモデルの信憑性や解釈性を向上し，人間と AIが「分かり合 える」社会を築いていく上での助力になると信じたい。また，研究が行き詰まると感じた時は，一度落ち着いて状況を整理しておくと打開策が見えてくるかもしれないことを，本稿を通して筆者の ような若手研究者に伝えられると幸いである.
^{3}$ Document-level Relation Extraction with Evidence-guided Attention

 }^{4}$ Document-level Relation Extraction with Evidence-guided Attention Mechanism

## 謝 辞

此度の受賞にあたり, 賞選考に携わった NLP2023 選考委員会の万々に深く感謝を申し上げます. また，本記事執筆の機会をくださった編集委員の方々にも感謝を申し上げます。本稿の執筆にあた り，原論文の共著者のみなさまからコメントを頂きました.

## 参考文献

Huang, Q., Zhu, S., Feng, Y., Ye, Y., Lai, Y., and Zhao, D. (2021). "Three Sentences Are All You Need: Local Path Enhanced Document Relation Extraction." In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 2: Short Papers), pp. 998-1004, Online. Association for Computational Linguistics.

Ma, Y., Hiraoka, T., and Okazaki, N. (2022). "Named Entity Recognition and Relation Extraction Using Enhanced Table Filling by Contextualized Representations." Journal of Natural Language Processing, 29 (1), pp. 187-223.

Ma, Y., Wang, A., and Okazaki, N. (2023). "DREEAM: Guiding Attention with Evidence for Improving Document-Level Relation Extraction." In Proceedings of the 17th Conference of the European Chapter of the Association for Computational Linguistics, pp. 1971-1983, Dubrovnik, Croatia. Association for Computational Linguistics.

Ma Youmi, Wang An, 岡崎直観 (2023). 文書レベル関係抽出における根拠認識の統合. 言語処理学会第 29 回年次大会 (NLP2023), B3-3 号, pp. 605-610. [Y. Ma et al. (2023). Incorporating Evidence Retrieval into Document-Level Relation Extraction. Proceedings of the 29th Annual Meeting of the Association for Natural Language Processing, B3-3, pp. 605-610.].

Paolini, G., Athiwaratkun, B., Krone, J., Ma, J., Achille, A., ANUBHAI, R., dos Santos, C. N., Xiang, B., and Soatto, S. (2021). "Structured Prediction as Translation between Augmented Natural Languages." In International Conference on Learning Representations.

Xiao, Y., Zhang, Z., Mao, Y., Yang, C., and Han, J. (2022). "SAIS: Supervising and Augmenting Intermediate Steps for Document-Level Relation Extraction." In Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 2395-2409, Seattle, United States. Association for Computational Linguistics.

Xie, Y., Shen, J., Li, S., Mao, Y., and Han, J. (2022). "Eider: Empowering Document-level Relation Extraction with Efficient Evidence Extraction and Inference-stage Fusion." In

Findings of the Association for Computational Linguistics: ACL 2022, pp. 257-268, Dublin, Ireland. Association for Computational Linguistics.

Yao, Y., Ye, D., Li, P., Han, X., Lin, Y., Liu, Z., Liu, Z., Huang, L., Zhou, J., and Sun, M. (2019).

"DocRED: A Large-Scale Document-Level Relation Extraction Dataset." In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 764-777, Florence, Italy. Association for Computational Linguistics.

## 略歴

馬 尤咪: 2019 年 7 月上海科技大学情報科学専攻学部課程卒業. 2021 年 9 月東京工業大学情報理工学院修士課程修了. 同年 9 月より東京工業大学情報理工学院知能情報コース博士課程学生.


# 「自己注意機構における注意の集中が相対位置に依存する仕組み」 の研究経緯

山本 悠士 $\dagger$

## 1 はじめに

本稿では言語処理学会第 29 回年次大会 (NLP2023) において優秀賞を受賞した「自己注意機構における注意の集中が相対位置に依存する仕組み」について，論文中の各分析手法とその結果に対する私の解釈を交えながら研究の経緯を説明します.

## 2 論文の概要

自己注意機構の計算過程で得られるアテンション重み行列を可視化すると, 各トークンに対応 する出力が文章中の他のトークンに依存する様子を観察することができます。この方法を用い て BERT のアテンション重みを観察すると，一部のヘッドではアテンションが各トークンの左 または右側にある周辺のトークンに集中することが知られています (図 1) (Clark et al. 2019).本研究では，BERT が文脈に依存した埋め込みを出力できる理由を明らかにするための第一歩

図 1 第 1 層の 1 個目のヘッドにおけるア テンション行列 (先頭 15 トークン目 まで)

図 2 第 1 層の 1 個目のヘッドにおける，直交変換された クエリとキーの 5 列目の成分（先頭 64 トークン目 まで)

として，アテンションが相対位置に依存して集中する現象を分析しました。結果として，学習 に基づく位置埋め込みを用いた自己注意機構には，次の 3 つの性質：

・ 絶対位置埋め込みは学習により周期性を獲得する.
- 自己注意機構は, 学習された位置埋め込みに存在する周期性を隠れ状態から抽出できる.

・クエリとキーの間には位相にズレが存在し, アテンションはこのズレの方向に向く1.

があり（図 2）,これらが相対位置に依存したアテンションの集中の原因となっていることを示 しました。

## 3 研究テーマ選択

まず, Transformer (Vaswani et al. 2017)における, 正弦波位置埋め込みの定義と, その幾何的解釈について説明し, その後, BERT (Devlin et al. 2019) の絶対位置埋め込みを分析したい と思った経緯を紹介します。

長さ $T$ のトークン列に対する正弦波位置埋め込み $P E \in \mathbb{R}^{T \times 2 n}$ は下式で定義されます.

$
\begin{aligned}
P E(t, 2 i) & =\sin \left(\omega_{i} t\right) \\
P E(t, 2 i+1) & =\cos \left(\omega_{i} t\right)
\end{aligned} \quad\left(\omega_{i}=10000^{-i / n}\right)
$

つまり, 位置埋め込みは, $n$ 種類の周波数 $\omega_{i}$ の正弦波と余弦波のペア $\left.\{\sin \left(\omega_{i} t\right), \cos \left(\omega_{i} t\right)\right.\}_{i}$ で構成されています。これを幾何的に考えると，位置埋め込みは空間内に $n$ 通りの円を描い ていて，それぞれの円上に周波数 $\omega_{i}$ に応じた間隔で各トークンが配置されると解釈できます （図 3)。これは，時計の長針と短針が周期の異なる 2 通りの円を描いていていることに似てい ます。時計を使えば 2 つの時刻のうちどちらが先かを（12 時間以内であれば）判定できるよう に, Transformer も正弦波位置埋め込み（すなわち，複数の周期的な成分）によりトークン同士 の相対位置関係を認識し，文脈に基づいて推論できると期待されています.

図 3 正弦波位置埋め込みのイメージ
^{T \times d}$ （ $d$ : 埋め込みの次元数, $T$ : 入力トークン数）を“長 さが $T$ の時系列を $d$ 個束ねたもの”と捉えています.
}

図 4 bert-base-uncased の位置埋め込み $\boldsymbol{p}_{i} \in \mathbb{R}^{768}(i=2,3, \ldots, 32)$ の階差配列に対して主成分分析を適用した。ただし, 文頭トークン $[\mathrm{CLS}]$ に対応する位置埋め込み $\boldsymbol{p}_{1}$ は表現が特殊なため除いた.

ただし，BERT の位置埋め込みは，関数として定義された正弦波位置埋め込みではなくゼロ から学習するパラメータである絶対位置埋め込みが採用されています。BERT には，入力層以降に位置に依存したパラメータが存在しないことから，位置埋め达みは文脈に基づく推論をす るためには久かせないと考えられています。このような背景により，BERT の推論過程の解釈 を目的とした研究で，位置埋め込みには興味の目が向けられています (Wang et al. 2021; Wang and Chen 2020).

私が位置埋め込みに興味を抱いたきっかけは，指導教員の松崎先生から提示された卒研テー マ一覧資料にあった, BERT の位置埋め込みの主成分のグラフです（図 4). 図より, BERT の 位置埋め达みも正弦波位置埋め达みと同様に, 周期性を獲得していることから, BERT の位置埋め込みは正弦波位置埋め込みの一部を再現しようとしているように見えます。私は，制約を 持たない深層学習モデルが人間と同じ感覚を獲得しているかのように感じ,「なぜだろう」と考 え始めたことがこの研究のきっかけでした.

## 4 現象の解釈と分析の方針

本節では，図 1 のようにアテンションが集中する位置が偏る原因をどのような手順で辿った のかを解説します。

## 4.1 全体の方針の概要

自己注意機構の入力を $X$ とすると，アテンション重みは，クエリ $X W_{Q}$ とキー $X W_{K}$ の積 $X W_{Q} W_{K}^{T} X^{T}$ に基づいて計算されます. この積は, 入力 $X$ と線形変換した入力 $X W_{K} W_{Q}^{T}$ と の間で類似度を測っているとみることができます。もし，(1) $X$ に円周上に分布するような成分（すなわち，ある周期の正弦波と余弦波のペア）が存在し， (2) $W_{K} W_{Q}^{T}$ が回転行列だとする と， $W_{K} W_{Q}^{T}$ は各トークンの位置をずらす変換であると解釈できます. 例えば，図 3 の青色の
円を時計回りに $90^{\circ}$ 回転させると Nice $\rightarrow$ to, to $\rightarrow$ meet, $\ldots$ と $i$ 単語目の埋め达みが $i+1$ 単語目の埋め込みに近づきます。その結果，各単語からのアテンションは右隣の単語へ集中しま す.このような効果は $(1),(2)$ を示せれば実際に発生していると言えます.

## 4.2 自己注意機構の入力に周期性はあるのか

研究初期は, 自己注意機構の入力 $X$ に対して分析をしていました. しかし, 仮に $X$ に主成分分析などの手法を適用して周期的な表現が得られたとしても，それはモデルから得た $X$ をモ デルの外で変換して得たものであるため，自己注意機構が実際にその表現を利用しているかは 定かではないのではないかという疑念がありました2．事前学習モデルを提供するライブラリで ある transformers ${ }^{3}$ を使用している場合，自己注意機構の入力 $X$ は簡単に取得できます。当時は，その手軽さに甘えてしまったことで視野が狭まり，自己注意機構の内部成分を分析して いませんでした。

## 4.3 クエリとキーに周期性はあるのか

前項の方針のもとでは，主成分分析などにより $X$ に直交行列 $U$ を掛けて $X U$ とすること で， $X$ から周期的な表現が得られないか試していました。そこで，ふと，推論に周期的な成分 が必要なのであれば, クエリ $X W_{Q}$ やキー $X W_{K}$ のパラメータ $W_{Q}, W_{K}$ は, 直交行列 $U$ と同 じく，埋め込みに対する視点を変えるはたらきをしているのではないかという発想が浮かびま した. そこで，特異値分解によりパラメータの積を $W_{Q} W_{K}^{T}=U_{Q} S U_{K}^{T}$ と分解することで， ク エリとキーの積を $X W_{Q}\left(X W_{K}\right)^{T}=\left(X U_{Q}\right) S\left(X U_{K}\right)^{T}$ に変形しました. これで得られた，入力 $X$ を直交変換した行列 $X U_{Q}, X U_{K}$ を, それぞれクエリとキーの本質的な表現と解釈しました.

第一層の一個目のヘッドでクエリ $X U_{Q}$ とキー $X U_{K}$ を計算すると, きれいな周期的な成分 になります（図 2)。このような方法で，一部のへッドには，入力 $X$ に存在する周期性を抽出 する軸が存在することが分かりました。

## 4.4 自己注意機構のパラメータは回転行列を含んでいるのか

前項でキーを $X U_{K}$ と再定義しました． 特異べクトルの直交性 $U_{Q} U_{Q}^{T}=I$ を利用すると, キー をさらに $X U_{K}=X\left(U_{Q} U_{Q}^{T}\right) U_{K}=\left(X U_{Q}\right)\left(U_{Q}^{T} U_{K}\right)$ と変形することができます. これは, キー $X U_{K}$ がクエリ $X U_{Q}$ の直交変換であり，幾何的に考えれば，キーとはクエリを回転あるいは反転したものであることを意味しています. 原論文では $U_{Q}^{T} U_{K}$ の固有値と固有べクトルを分析す ることで，回転変換が周期的な成分が存在する次元に対して施されていたことを確認しました.以上, 本節で解説した経緯から, 中間層にある自己注意機構は, 位置埋め込みに存在する周
 W_{Q}^{T}=O$ だと $X$ が興味深い表現でも自己注意機構はその表現に依存しません.

3 https://github.com/huggingface/transformers
}
期的な成分を抽出することができ, さらに, クエリとキーをトークン位置方向に相対的にずら しているということを明らかにすることができました。

## 5 今後の展望

どのようにして各トークンが周辺トークンに注意を当てているのかは大体分かりましたが， なぜ BERT がそのようなことをする必要があったのかという問いは段違いに難しいかもしれま せん. 深層学習モデルを相手にすると，今後もこのような謎に遭遇し続けることになります.私は強い疑問を抱くと他のやるべきことに手がつかなくなる性格なので，並列計算できるモデ ルに共感するのは難しそうですが，思考が本業の研究者としては良い性格だと自分に言い聞か せながら「なぜ？」と感じたことを一つずつ理解していけたらと思っています。

## 参考文献

Clark, K., Khandelwal, U., Levy, O., and Manning, C. D. (2019). "What Does BERT Look at? An Analysis of BERT's Attention." In Proceedings of the 2019 ACL Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP, pp. 276-286, Florence, Italy. Association for Computational Linguistics.

Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. (2019). "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota. Association for Computational Linguistics.

Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., and Polosukhin, I. (2017). "Attention is All you Need." In Guyon, I., Luxburg, U. V., Bengio, S., Wallach, H., Fergus, R., Vishwanathan, S., and Garnett, R. (Eds.), Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc.

Wang, B., Shang, L., Lioma, C., Jiang, X., Yang, H., Liu, Q., and Simonsen, J. G. (2021). "On Position Embeddings in BERT." In International Conference on Learning Representations.

Wang, Y.-A. and Chen, Y.-N. (2020). "What Do Position Embeddings Learn? An Empirical Study of Pre-Trained Language Model Positional Encoding." In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 6840-6849, Online. Association for Computational Linguistics.

## 略歴

山本 悠士：2023 年東京理科大学 理学部第一部 応用数学科 卒業. 2023 年, 現

在, 東京理科大学大学院 理学研究科 応用数学専攻 修士課程 1 年. 言語処理学会会員.


# 「大規模言語モデルに基づく複数の外部ツールを利用した 推論フレームワーク」の研究

稲葉 達郎†

## 1 はじめに

本稿では, 言語処理学会第 29 回年次大会（NLP2023）で優秀賞を受賞した「大規模言語モデ ルに基づく複数の外部ツールを利用した推論フレームワーク」について, 手法の概要と研究の 過程を紹介する。

## 2 本研究の概要

本研究の目的は，外部ツールを利用することで大規模言語モデルの能力不足を補完すること である。大規模言語モデルは事前学習を通じて広範な世界知識や一定レべルの記号処理能力を 獲得している一方で，専門知識や複雑な記号処理能力は不足している。例 (1)に専門知識と数値計算を要する問題例と Chain of Thought プロンプティング (Wei et al. 2022; Kojima et al. 2022)を利用した大規模言語モデルの推論過程付き解答を示す.

(1) Q: What is the amount of 11 moles of Glucosamine

A: The molar mass of Glucosamine is $221.22 \mathrm{~g} / \mathrm{mol}$. Therefore, 11 moles of Glucosamine would be equal to $11 \times 221.22=2434.42 \mathrm{~g}$.

推論過程をみると, グルコサミンのモル質量に 11 をかけるという推論の道筋自体は正しい. しかし, グルコサミンのモル質量 (正しくは $179.19 \mathrm{~g}$ ) と $11 \times 221.22$ の計算（正しくは 2433.42） を間違えており，これらをふまえて生成された最終的な解答も間違っている。このような問題 を解くには大規模言語モデルの能力が不足していることがわかる.

これらの問題を同時に解決するため, 本研究では大規模言語モデルによる推論において，複数の外部ツール利用を可能にする枠組みを提案した。図 1 に提案手法の概要を示す. 大規模言語モデルには GPT-3 (text-davinci-003) ${ }^{1}$ (Brown et al. 2020)を利用している. プロンプト は，利用可能な外部ツールを明示した説明文, いくつかの問題文と推論過程付きの解答のペア (Few-Shot 事例)，解かせる問題文を結合して構成する。Few-Shot 事例として与える推論過程
^{1}$ https://platform.openai.com/docs/models/gpt-3
}

図 1 提案手法の全体像. 出力中のハイライトは, 黄緑色が GPT-3, 黄色が電卓 (Calculator; CAL), 橙色が化学反応予測器 (Chemical reaction predictor; CRP), 紫色がモル質量検索器 (Molar mass list; MML）の出力であることを表す.

には外部ツールの呼び出し方をアノテーションする．具体的には，＜＜外部ツール名＞＞の文字列を外部ツールを呼び出す文字列としてアノテーションし，その直前に外部ツールへの入力を特定のフォーマットでアノテーションする．例えば，外部ツールとして電卓 (Calculator) を利用す る場合, Few-Shot 事例として与える推論過程の中で電卓を利用すべき箇所に $<<$ Calculator $>>$ の文字列をアノテーションし，その直前に電卓に与える数式をアノテーションする．推論時は GPT-3 がプロンプトに従い，与えられた問題文に対する解答を外部ツールを呼び出す文字列を 含む推論過程と一緒に生成する。その時，>>の文字列が生成されたら生成を中断し，その直前の文字列から使用する外部ツールの名前とそのツールへの入力を抽出，外部ツールを実行し た後，その結果を生成中の推論過程の末尾に追記する。これを新たな入力とし，GPT-3 による 推論過程の生成を再開する。

提案手法の有効性を確認するため，専門知識を要する数値推論タスク NumGLUE (Task2) (Mishra et al. 2022)のもとで実験を行った. 実験の結果，提案手法が強力なベースライン手法 の性能を大幅に上回り，現時点での世界最高性能を達成することを確認した，詳細については 原論文 (稲葉 他 2023) や関連英語論文 (Inaba et al. 2023) を参照していただきたい.

## 3 本研究の過程

本研究は筆者が学部 4 年時に行った研究であり, 2022 年 4 月の研究室配属後に研究テーマを 定めたところから始まっている．筆者が所属していた研究室では，配属された学部生は教員が 提示する研究テーマの中から興味を持ったテーマを出発点に据えることが多い. 自然言語処理 について右も左もわからなかった筆者はありがたくこのシステムの恩恵にあずかった. 選択し た研究テーマは，言語モデルが持っていない専門知識を外部知識として与えることで，該当分野における言語モデルの性能を引き上げる, というものであった. 8 月に大学院試験が控えて いたこともあり, 前期のうちは自然言語処理の基本 (黒橋 2019)を勉強して少し手を動かした り，関連論文を読むので精一杯であった。しかし今思うと，この時期に Chain of Thought プロ ンプティング (Wei et al. 2022; Kojima et al. 2022) や In-context 学習 (Liu et al. 2022)を知り, GPT-3 を使って楽しく遊んでいたのが後々役立っていたのかもしれない.

9 月に入り，いよいよ本腰を入れて研究を始めた。当初の研究テーマの専門知識を補完する という目的を達成するため，いくつかの方法を試した．はじめに思いついた方法は，与えられ た問題を解くために必要な知識を言語モデルによって予測し，その知識の検索結果をプロンプ 卜に追加するという手法であった。結果から言うとこの手法は上手くいかなかった. 推論を始 める前に必要な知識を予測するのでは, 推論を進めていくうちに必要なことが発覚する知識を 上手く与えられなかったからである.

11 月に入り，この問題を解決する論文 (Cobbe et al. 2021)に出会った.この論文では数値推論夕スクに着目し，推論過程の最中に現れる“=”をトリガーに電卓を実行するという手法を提案していた，電卓を検索器に置き換え，推論中に適宜検索を実行するという手法を思いつくの は難しくなかった.

それと並行して，ちょうどこの時期にアルバイトで化学ドメインに特化した言語モデルに触 る機会があり，これも研究に使えないかという妄想が膨らんでいた，考えてみれば，自分が例 1 のような問題を解くことになったら, 問題を解くのに必要な専門知識を調べるのは当然として,計算が複雑になってきたら電卓を吒くし, その他にも問題を解くのに便利なツールがあれば利用する，専門知識の問題を解決するために検索を駆使することばかり考えていたが，使えるも のは何でも使えば良いのではないだろうか？

これが複数の外部ツールを使い分けながら推論を行うという本研究のアイデアに繋がった. このアイデアを共著者の清丸さんに相談したところ「絶対に面白い」というコメントをいたた き，そこからは順調に実装を行い，実験を重ね，言語処理学会と ACL に論文を投稿するに至っ た. 2023 年 1 月に卒業論文を含む全ての締め切りがあり, 初めて論文を執筆する筆者にとって ハードな日々ではあったが，共著者の方々のとてもとても手厚いサポートのおかげで満足のい く論文に仕上げられたと思う。ありがたいことに言語処理学会では優秀賞を受賞し，ACL で

は本会議に採択された。

## 4 おわりに

本研究はアイデアも実装も至ってシンプルである。それにも関わらず高い評価をいただけたのは タイミングが良かったからという側面があるだろう，最近では LangChain ${ }^{2}$ や Toolformer (Schick et al. 2023)，ChatGPT plugins 3 など類似した研究やサービスが多く見受けられる。そして，共著の清丸さん, Fei さん, 黒橋先生のアドバイスやサポートも本研究には久かせないものであっ た. こういった運や研究環境に恵まれていたことを深く自覚し, 本研究の成果に驕ることなく,一歩一歩着実に歩んでいく所存である.

## 謝 辞

共著者の清丸さん, Fei さん, 黒橋先生には大変お世話になりました. 特に清丸さんには, 研究の進め方に留まらず，研究者としての心構えや，論文の書き方等多方面にわたる助言をいた だきました．どんな小さいことでも椎めてくださる指導方針のおかげで楽しく研究を進めてい くことができました。また，最後になりましたが賞選考ならびに本記事執筆の機会をくたさっ た言語処理学会編集委員の皆様に深く感謝いたします。

## 参考文献

Brown, T., Mann, B., Ryder, N., Subbiah, M., Kaplan, J. D., Dhariwal, P., Neelakantan, A., Shyam, P., Sastry, G., Askell, A., Agarwal, S., Herbert-Voss, A., Krueger, G., Henighan, T., Child, R., Ramesh, A., Ziegler, D., Wu, J., Winter, C., Hesse, C., Chen, M., Sigler, E., Litwin, M., Gray, S., Chess, B., Clark, J., Berner, C., McCandlish, S., Radford, A., Sutskever, I., and Amodei, D. (2020). "Language Models are Few-Shot Learners." In Advances in Neural Information Processing Systems, Vol. 33, pp. 1877-1901. Curran Associates, Inc.

Cobbe, K., Kosaraju, V., Bavarian, M., Chen, M., Jun, H., Kaiser, L., Plappert, M., Tworek, J., Hilton, J., Nakano, R., Hesse, C., and Schulman, J. (2021). "Training Verifiers to Solve Math Word Problems." arXiv preprint arXiv:2110.14168.

Inaba, T., Kiyomaru, H., Cheng, F., and Kurohashi, S. (2023). "MultiTool-CoT: GPT-3 Can Use Multiple External Tools with Chain of Thought Prompting." arXiv preprint arXiv:2305.16896.

稲葉達郎, 清丸寞一, Fei Cheng, 黒橋貞夫 (2023). 大規模言語モデルに基づく複数の外部ツール を利用した推論フレームワーク. 言語処理学会第 29 回年次大会発表論文集, pp. 2066-2071. [T. Inaba et al. (2023). Reasoning Framework with Using Multiple External Tools Based on LLMs. In Proceedings of the 29th Annual Meeting of the Association for Natural Language Processing, pp. 2066-2071.].

Kojima, T., Gu, S. S., Reid, M., Matsuo, Y., and Iwasawa, Y. (2022). "Large Language Models are Zero-Shot Reasoners." In Advances in Neural Information Processing Systems.

黒橋貞夫 (2019). 自然言語処理〔改訂版〕. 放送大学教育振興会. [S. Kurohashi (2019). Shizengengosyori 〔Kaiteiban〕. Housoudaigaku Kyouikushinkoukai.].

Liu, P., Yuan, W., Fu, J., Jiang, Z., Hayashi, H., and Neubig, G. (2022). "Pre-Train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Language Processing." ACM Computing Surveys, 55 (9).

Mishra, S., Mitra, A., Varshney, N., Sachdeva, B., Clark, P., Baral, C., and Kalyan, A. (2022). "NumGLUE: A Suite of Fundamental yet Challenging Mathematical Reasoning Tasks." In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 3505-3523, Dublin, Ireland. Association for Computational Linguistics.

Schick, T., Dwivedi-Yu, J., Dessì, R., Raileanu, R., Lomeli, M., Zettlemoyer, L., Cancedda, N., and Scialom, T. (2023). "Toolformer: Language Models Can Teach Themselves to Use Tools." arXiv preprint arXiv:2302.04761.

Wei, J., Wang, X., Schuurmans, D., Bosma, M., brian ichter, Xia, F., Chi, E. H., Le, Q. V., and Zhou, D. (2022). "Chain of Thought Prompting Elicits Reasoning in Large Language Models." In Advances in Neural Information Processing Systems.

## 略歴

稲葉 達郎：2023 年京都大学工学部電気電子工学科卒業. 同年より京都大学大学院情報学研究科知能情報学コース修士課程在籍中. 言語処理学会, ACL 各会員.


# 「埋め込み表現の意味適応による知識ベース語義曖昧性解消」が できるまで

水木 栄 ${ }^{\dagger, \dagger \dagger}$
## 1 はじめに

本稿では, 言語処理学会第 29 回年次大会にて優秀賞を頂戴した「埋め込み表現の意味適応 による知識ベース語義曖昧性解消」(水木, 岡崎 2023) および EACL2023 採択論文 “Semantic Specilization for Knowledge-based Word Sense Disambiguation" (Mizuki and Okazaki 2023) (以下, 本研究）の概要および研究過程での試行錯誤を紹介する.

## 2 本研究の概要

辞書のような語彙資源を用いて文中の単語（対象語）の語義を識別する夕スクを，知識ベー ス語義曖昧性解消 (WSD) とよぶ。語彙資源には語義を説明したテキスト，いわゆる語釈文が 書いてある。そこで有望な方法論は, BERT 埋め込みを用いて対象語に最も近い語釈文を選ぶ ことである (Wang and Wang 2020). しかし, もしも対象語と正解語義の埋め込みを近付ける手段があれば，さらに性能が伸びるはずた。これをふまえて，本研究では埋め込み表現の意味適応を提案した (図 1). 提案手法は, 吸引・反発学習および自己学習を併用して, 埋め込み間の 近さ・遠さを変更する。吸引・反発学習では WordNet に書かれている意味関係を訓練データと して，意味的に関連がある語義対を近付け，無関連および異なる語義対を遠ざける，自己学習 では平文コーパスを訓練データとして，対象語の最近傍にある語義を擬似正解とみなして，単語一語義対を近付ける。適応させた埋め込みによる最近傍法は, 知識ベース WSD の最高性能 を更新した。詳細は原論文を参照されたい.

## 3 回り道

ここからは，筆者が研究成果を得るまでにたどった，試行錯誤という名の回り道を紹介させ ていたたく，研究活動は経路探索に似ている．問題の決定, 解き方の考案, 実験のデザインな

図 1 提案手法の概要. 語釈文と対象語の BERT 埋め达みを変換して, 埋め达み間の近さ・遠さを変更す る (左). 変換関数の最適化は, 吸引・反発学習（中）と自己学習（右）を併用する.

ど，さまざまな選択をした末に成果の公表という目的地に到達する。だが経路探索の常として，振り返るとたいてい回り道をしたことに気づく。そして思うのだ。最短経路を選ぶ先見の明が あれば○月には論文にできてたな，次はもっとうまくやりたい，と，惜しむらくは，他者の論文を読んでも探索能力の修得はむずかしいことだ。なぜなら分岐は存在しなかったかのごとく，基本的には最短経路のみが説明されるためである。たから筆者は本稿をお借りして, こんな迷 い方をする輩がいるのだと紹介することで, 他山の石にでもしていただければと思い立った.回り道は無数にあるゆえに $N=1$ の報告が眉喠に過ぎないとは承知しているが，それでも意図 しておなじ回り道を選ぶ者は稀だろうから。

あらかじめ, ふたつお断りしておく. ひとつは，筆者の研究業績は「方法に関する論文」(丸山 2019; 近藤 2018) に偏っていることた。，他の論文タイプならまた別の迷い方があるだろうと 思う。もうひとつは，当該論文タイプによく見られる，夕スク特化型手法の提案およびベンチ マークの性能向上をもって貢献とする研究方策の賞味期限が近いかもしれないことた. 大規模言語モデルが普及する中では，研究方策そのものの変化が不可避ではないかと感じている.

## 3.1 解き方を決めてから問題を選ぶ

さて, ひとつめの回り道は, 問題の解き方を決めてから解けそうな問題を探したことである.筆者は過去に，単語埋め込みを階層性のあるコード表現 1 に変換することで上位下位関係を識別 する研究 (水木, 岡崎 2021a, 2021b) を行った. このときに階層性を扱う数学的な方法論を修得 したので，その経験を再利用して二匹目のどじょうを狙おうと決めた。さっそく文献を調査す ると, 含意関係認識, オントロジー構築, 細粒度の固有表現認識などが候補として見つかった.一方で語彙意味論のタスクである語義曖昧性解消なら, 前の研究と分野が地続きなので勝手を

理解しやすい. こうした経緯を経て，筆者は知識ベース WSDタスクを選択した。知識ベース WSD では語義注釈付きコーパスではなくWordNetのような語彙資源を使うが，WordNet に書 かれている上位下位関係を集めると階層構造になるので，これを活用することで手法の独自性 と性能面の優位性を示そうと考えた。つまり筆者は，階層性を活用するという解き方を決めて から，知識ベース WSD という問題を選んだのだ。

結論を述べると, この研究態度は泥沼へのいざないであり, さまざまなアイディアを試行錯誤しても有効な手法に結実しなかった。たしかに意味の階層性は重要な手がかりである。たと えば mouse は多義語だが, 動物としての語義は animal, 機器としての語義は device と上位下位関係にあるので，文脈からトピックを判別できれば解けたも同然である。だが意味関係には，対義・因果・属性など，非階層的な種類がいくつもある，そもそも上位下位関係が拈よそ整然と した木構造をなすのは名詞のみであり, 動詞は含意関係で代用しても木というより森になる ${ }^{2}$.副詞および形容詞に至っては階層的な意味関係は未定義である。単語の意味関係的知識は本質的に木構造ではなくネットワーク構造なのである。それにもかかわらず階層性を活用すると決 めてかかった時点で，筆者は自ら不利な条件を負っていた．若干の弁明をすると，筆者もほど なくして無理筋らしいことには気がついた。だが研究を始めた動機が階層性の活用であるうえ に，独自性や優位性も考え直しだ思うと気が重く，他の方法論に切り替える決断をためらっ た．数学的に巧みな解法に対する羡望があったことも遠因だ万う，ともあれ，ようやく階層性 へのこだりを捨てたときには，4つのアイディアと 1 年間を消費していた.

特定の手法から研究の着想を得ることは珍しくないし，素直に成功することもある．たとえ ば変分オートエンコーダや非自己回帰モデルで解けそうな問題を考察するのが悪いことだとは 思えない．だが道理にしたがうならば，何を解くかが先で，どうやって解くかは後にすべきな のだろう。その順序を逆にした研究態度は，非本質的な制約や認知的な視野狭窄を招く危険性 が高いのだと思う。

## 3.2 問題の観察を怠る

ふたつめの回り道は，解いている問題の様子を観察せずに，解き方を試行錯誤したことであ る. 提案手法は最近傍法で語義を予測するので, 正解語義が対象語に最も近くなるように, 単語と語釈文の BERT 埋め込みを変換すればよい，実験を始めてみると，既存研究に性能が並ぶ までは順調に進んだが，そこからの向上が停滞した。そこで筆者は細部をいじってみることに した. 本研究で提案した吸引・反発学習は対照学習とほぼ同一だから，豊富な研究事例からい くらでもアイディアが出せる．距離計量（損失関数）を取り替えたり，正例・負例の作り方を 変えてみたり。だが性能はなかなか伸びない。そうするうちに, そもそも埋め込みの類似度が

どうなってるのか，ふと気になった，埋め込みを動かす目的は言うまでもなく，対象語の最近傍語義を不正解から正解に入れ替えることた，それにもかかわらず，どのくらい動かす必要が あるのか調べたことがなかった。さっそくcosine類似度を計測してみると， $90 \%$ の事例では正解をわずか 0.05 近付けるだけで最近傍にできるとわかった. つまり原理的には, BERT 埋め込 みは既にいいところまで来ていて，あとは微調整で十分なのた。さっそく埋め达みを動かす変換関数に距離制約 3 を組み込んでチューニングしたところ，それまでの停滞が嘘のように性能が 伸びた。ついでに肩の力も抜けた。

提案手法の周辺を試行錯誤するのはなんら不自然ではない．特に目標まであと一歩という場合はなおさらだ。だが取っかかりのよさだけが動機だとしたら，それはいわゆる，街灯の下で 鍵を探す行為だと自制すべきかもしれない。また仮に成功しても「ヤッコウ論文4」(丸山 2019) の域を出ない懸念もある，翻って問題を観察することは，直感的には最短経路から外れるよう だが，欠けているものを見通す解釈力を授けてくれる可能性がある。会議や研究発表ではしば しば誤り事例分析の有無を問われるが，これは観察の重要性を示す証拠の一つであろう.

## 4 おわりに

実のところ，筆者は回り道に否定的ではない。ふとした時に過去の徒労を思い出してひとり 苦笑いするとき，同時にすこし進歩した自分を発見して，ささやかな喜びを感じるからだ。そ れに正例と負例の両方から学習するのは，なにも統計モデルの専売特許ではなかろう。一方で 業績の生産性に対する憧れも抗しがたく，自戒や反面教師として非才を告白した次第である。

最後に，賞選考および本稿執筆の機会をくださった編集委員の皆様に感謝を表する．時宜を 捉えたとは言いがたい研究課題にもかかわらず，丁寧な評価を頂戴した。また共著者および指導教官である岡崎教授に感謝する。回り道の自覚は，しばしば先生との議論からもたらされた。

自分なりに納得のゆく研究を行うことを目標として，今後も研さんに励みたい。そして願わ くは，次こそはもっとうまくやりたいものだ.

## 参考文献

近藤克則 (2018). 研究の育て方 : ゴールとプロセスの「見える化」. 医学書院. [K. Kondo (2018).

Kenkyu no Sodatekata: Goru to Purosesu no "Mieruka". Igaku Shoin.].

丸山宏 (2019). 新・企業の研究者をめざす皆さんへ. 近代科学社. [H. Maruyama (2019). Shin $\cdot$

Kigyo no Kenkyusha wo Mezasu Minasan e. Kindai Kagaku Sha.].

水木栄, 岡崎直観 (2021a). 階層コード表現学習による上位下位関係の識別. 情報処理学会論

文誌データベース (TOD), 14 (4), pp. 8-23. [S. Mizuki and N. Okazaki (2021a). Learning

Hierarchical Code Representation for Hypernymy Detection. IPSJ Transactions on Databases (TOD), 14 (4), pp. 8-23.].

水木栄, 岡崎直観 (2021b). 階層コード表現を用いた上位下位関係の識別. 言語処理学会第 27 回年

次大会 (NLP2021), pp. 1236-1241. [S. Mizuki and N. Okazaki (2021b). Kaiso Kodo Hyogen wo Mochiita Joi Kai Kankei no Shikibetsu. Proceedings of the 27th Annual Meeting of the Association for Natural Language Processing, pp. 1236-1241.].

Mizuki, S. and Okazaki, N. (2023). "Semantic Specialization for Knowledge-based Word Sense

Disambiguation." In Proceedings of the 17th Conference of the European Chapter of the

Association for Computational Linguistics: Main Volume, pp. 3449-3462.

水木栄, 岡崎直観 (2023). 埋め込み表現の意味適応による知識ベース語義曖昧性解消. 言語処理

学会第 29 回年次大会 (NLP2023), pp. 622-627. [S. Mizuki and N. Okazaki (2023). Umekomi

Hyogen no Imi Tekio niyoru Chishiki Besu Gogi Aimaisei Kaisho. Proceedings of the 29th Annual Meeting of the Association for Natural Language Processing, pp. 622-627.].

Wang, M. and Wang, Y. (2020). "A Synset Relation-enhanced Framework with a Try-again Mechanism for Word Sense Disambiguation." In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing, pp. 6229-6240.

## 略歴

水木 栄：2009 年東京大学大学院工学系研究科修士課程修了. 金融機関を経 て, 2015 年株式会社ホットリンク入社. 2018 年東京工業大学情報理工学院博士後期課程入学, 現在に至る. ACL, 言語処理学会各会員.


# Evaluating the Robustness of Discrete Prompts

石橋陽一†

## 1 はじめに

本解説記事では EACL2023 に採択された著者ら1の論文 "Evaluating the Robustness of Discrete Prompts" (Ishibashi et al. 2023) について紹介する。本研究では人間が作成したプロンプトと自動学習されたプロンプトについて頑健性の観点で比較・分析を行い，自動プロンプトが探索で 得られたトークンやその位置に対し強く依存していることを明らかにした。

## 2 背景

事前学習済み言語モデル (PLM) は感情分析 (Gao et al. 2021), 自然言語推論 (Schick and Schütze 2021, 2022), 関係抽出 (Shin et al. 2020) など，あらゆる自然言語処理タスクで大きな 成功を収めている。これには答えを誘導する適切な指示文（プロンプト）が重要な役割を果た しており，現代の自然言語処理において重要なトピックとなっている，一般に，プロンプトは 人間によって書かれるが，優れたプロンプトを作成することはいくつかの理由から容易ではな い.まず，特定のドメイン（例：医療）の問題に対し良いプロンプトを作成する事は難しいと いう点が挙げられる。そのようなプロンプトを作成するためにはそのドメインに関する深い知識が重要となるが，特定のドメインに精通した専門家（例：医者）を常に準備することは現実的に困難である。また，人間が書くプロンプトは作成者によるばらつきがある上，全てのコー ナーケースをカバーできるわけではない。そこで，少数の訓練データから自動でプロンプトを 学習する方法 (Shin et al. 2020; Deng et al. 2022) が注目されている. これは人間が手動でプロ ンプトを作成する代わりに，機械学習により自動的に最適なプロンプトを探索する技術である.例えば最も代表的な手法である AutoPrompt (Shin et al. 2020) は PLM のパラメタを固定し，プ ロンプトテンプレートのトークンを語彙から探索する方法である.

数多くの下流タスクで優れたパフォーマンスを達成している AutoPrompt だが，得られたプ ロンプトは人間が書いたものとは大きく異なることが知られている。その一例として，表 1 に関係抽出において学習された自動プロンプトを示す. AutoPromptが高い性能を示す一方で, 我々

表 1 関係抽出における手動プロンプト (Manual) と自動プロンプト (AP)の例. 関係ごとのプロンプト と Precision@1 (P@1) スコアが示されている.

人間の直感に反するような単語（例：fluent!?ẗraditional）やスペルミス（例：commuenrug）が 含まれている. AutoPrompt がFew-shot の設定で訓練されている事を考慮すると，このような 直感に反したプロンプトは少数の訓練サンプル中のランダムなアーティファクトを捕らえてい るだけであり，ターゲットタスクに対して汎化できていない可能性がある。そこで我々はプロ ンプトの頑健性について注目し, 次の疑問 (1) プロンプトに微小でランダムな摂動を加えた場合, ターゲットタスクの性能はどのように変化するのか？（2）プロンプトはドメイン外のデー 夕に対して汎化しているのか？という点に焦点をあてる．頑健性が低いプロンプトでは，句読点を削除するような一見無害な摂動が下流タスクの性能を大きく変化させることがある．した がってこのようなプロンプトの頑健性の評価は良いプロンプトの設計や自動学習されたプロン プトの性質を理解する上で非常に重要である。本研究では，プロンプトの頑健性を分析するた めに 4 種類の摂動を設定し, これらに対する自動プロンプト学習と手動プロンプトの頑健性を 比較・分析する.

## 3 プロンプト学習

このセクションでは手動プロンプトおよび自動プロンプトの代表的な手法を説明する。なお 本研究で扱うプロンプト学習法はマスク言語モデルを対象とするものである．また，本研究で は共通のタスク（自然言語推論 (NLI) タスク）で評価を行う。

## 3.1 自動プロンプト

AutoPrompt (Shin et al. 2020) はプロンプト学習の代表的な手法で, その学習戦略は fill-inthe-blank タスクに基づいている. この方法では, 初めに手動で作成したプロンプトテンプレー 卜（例えば，［夕スク入力］Ｔ＞．.. <T> <MASK>）が与えられる．このテンプレート内の特殊 トークンであるくT>（トリガートークン）をその他のトークンに置換し，夕スク性能を向上させ るトークンを探索する。トリガートークンの探索時, プロンプト $x_{\text {prompt }}$ における<MASK>のトー クンを予測しクラス確率に変換する，具体的には，ラベル $y$ に対応するトークン集合 $V_{y}$ (例え

ば，NLIにおいて contradiction ラベルに対し'nobody'や 'nor'といったトークン）を事前に定義 しておき，そのトークンの確率の和をクラス確率 $p\left(y \mid x_{\text {prompt }}\right)=\sum_{w \in V_{y}} p\left(<\mathrm{MASK}>=w \mid x_{\text {prompt }}\right)$ とする。そして Gradient-guided search によって言語モデルの語彙からトリガートークンの候補セットを見つける，我々は NLI 用のテンプレートとして， (Shin et al. 2020) が提案したもの を使用した（[前提文] <MASK> くT> ... <T> [仮説文 $]$ ).

## 3.2 手動プロンプト

手動プロンプトには，マスク言語モデル全体を訓練データで微調整する Pattern-Exploiting Training (PET) (Schick and Schütze 2021)を採用した.この手法では, 手動で書かれたプロン プト用のテンプレートを用いる，具体的には，〈MASK>を含むテンプレートを入力とし， ラベル に対応するトークンを予測するように学習を行った。なお，プロンプトテンプレートおよびラ ベルとトークンの対応 (verbalizer) はあらかじめ定義されたものを使用する. 我々は, 先行研究 (Schick and Schütze 2021; Scao and Rush 2021) が使用したテンプレート hypothesis? । <MASK>, premise と, verbalizer \{entailment: "yes", contradiction : "no", neutral : "maybe"\}を 使用した. (Schick and Schütze 2021) は異なるテンプレートを使用して複数のファインチュー ニングを行うアンサンブルベースの方法を提案しているが, AutoPrompt では単一のテンプレー トが使用されるため, 我々の実験で公平な比較をするため, 我々は一つのテンプレートを使用 した。

## 4 実験

## 4.1 実験設定

手動プロンプトと自動プロンプトを比較する評価タスクとして, 与えられた 2 つの文の間の関係を予測する自然言語推論 (NLI) を採用した。これはプロンプト学習を評価または提案した以前 の研究でも使用されている (Shin et al. 2020; Scao and Rush 2021; Webson and Pavlick 2022). 具体的には我々は 2 つのデータセットを使用した：CommitmentBank (CB), Multi-Genre Natural Language Inference Corpus (MNLI). これらのデータセットの各文ぺアは，含意，中立，または 矛盾でラベル付けされている。また, 頑健性を評価する指標としてスコアの下落率を使用した. これは，プロンプトに摂動を加えた後にターゲットタスクのスコア（精度, F1 スコア）が元のス コアからどの程度低下するかを表す。したがって, ある摂動を加えた後のモデルの下落率が小さ い場合, そのモデルはその摂動に対して頑健であると見なされる。また, 事前学習済みの言語モ デルには AutoPrompt などプロンプト学習の先行研究 (Shin et al. 2020; Scao and Rush 2021) で 頻繁に使われている RoBERTa-large (Liu et al. 2019)を使用した. 訓練データには, オリジナル の訓練データから少数のインスタンスをランダムに抽出したサブセットを用いた。各手法の訓練

データ数による性能の変化を調査 ${ }^{2}$ するため訓練データ数 $n \in\{10,15,20,30,50,70,100,150,200\}$ を変更し, 複数のサブセットを作成した。なお, 少数データにおける特徴の偏りを考慮し, 訓練データ数あたり 4 つの異なるサブセットを作成した。最終的に得た最適なプロンプトおよび モデルを使用して頑健性の評価実験（4 種類の摂動「トークン並び替え」「トークン削除」「ド メイン外データへの適用」「タスク入力への敵対的摂動」）を行った。

## 4.2 トークン並び替え

プロンプト内のトークンの順序が結果にどの程度影響を与えるかを調查するため，プロンプ トテンプレートのトークンをランダムに並び替えてパフォーマンス（精度またはF-score）に どのような影響があるかを評価する。この実験により AutoPrompt はトークンの順序に強く依存していることがわかった。，具体的には，トークン並び替えによってタスクのパフォーマンス

フォーマンスに大きな影響を与えることを示唆している。一方で手動プロンプトの場合は最大 で 9\%と AutoPrompt よりも大きな下落は確認できず，比較的頑健であることがわかった.

## 4.3 トークン削除

この実験では, 個々のプロンプトトークンが全体のプロンプトに対してどれだけ重要な影響 をもつのかを評価する。具体的には，プロンプトテンプレートから一つ以上のトークンを削除 し，パフォーマンスの下落率を計算する。結果として，トークンが削除されると AutoPrompt そして手動プロンプトの両手法で性能が大きく下がった。 具体的には AutoPrompt は最大 $10 \%$,手動プロンプトは最大 $15 \%$ 下落した. また, 削除しても大きな下落が見られないトークンも存在する事, さらに，両手法で性能が下がるデータセットは異なる事から，個々のトークンの重要度がデータセットに依存することが示唆された。

## 4.4 ドメイン外データへの適用

この実験では，我々が用意した 2 つのデータセット（CB と MNLI）のうち，片方を学習に，片方を評価に使用することで，プロンプトが学習環境と異なるデータに汎化するかを評価する。実験の結果, 両手法では CB でのプロンプトを MNLI に使用するとパフォーマンスが下がるこ とが見られた (逆も同様)。これらの結果は, プロンプトのパフォーマンスがデータセット依存 であり，学習されたプロンプトがデータセット間でうまく汎化しないことを示している．

## 4.5 タスク入カへの敵対的摂動

この実験ではタスク入力が敵対的摂動を加えられた際の両手法の頑健性を評価する。まず我々 は，MNLIと CB からランダムにサンプリングした評価用インスタンスから，敵対的 NLI デー タセットを作成した，ここでは，仮説文を 2 名のアノテータが手動で修正した。ここでは前提文は変更せずに仮説文を変更する。具体的には次の 2 通りの敵対的摂動を加えた，(a) ターゲッ トラベルは変更せず仮説文の一部を変更，（b）夕ーゲットラベルは変更（例えば含意ラベルを矛盾に，またはその逆）に反転し仮説文の一部を変更．実験の結果，両手法が，ターゲットラベ ルを変更しない摂動 (a) に対しては比較的頑健であるが，ラベルを変更する設定 (b)では手動 プロンプトのパフォーマンスが大きく下落した。これは, AutoPromptが手動プロンプトより も敵対的摂動に対して比較的頑健であることを示唆している.

## 5 おわりに

本研究は, 人間が書くプロンプトと自動で学習されたプロンプトを頑健性という観点で比較 をした。人手で書かれたプロンプトがトークン削除やシャッフルのような摂動に対して頑健で あるという事実は，プロンプトの設計と頑健性の向上に関する戦略を再考するための重要な洞察である。一方で人間が書くプロンプトであれば良いというわけではなく, ターゲットタスク に応じて細かな調整が必要である. ChatGPT (GPT-4) のようなモデルでさえ, 特定の出力を 引き出すためにプロンプトを経験的に調整する必要があるというのが現状である. 人間が書く プロンプトは自動プロンプトと違い，文法や語彙などの言語的制約を受けているため, 同様の 指示内容であれば意味空間では大きな変化が生じないと思われるが, 現状は強力な言語モデル であってもプロンプトの僅かな変化に非常に敏感である．今後，言語モデルの発展によりこの ような調整が不要になる日が来るかもしれない。より強力な言語モデルが出現したとき，プロ ンプトの調整が必要となるのかは興味深い問題である.

## 参考文献

Deng, M., Wang, J., Hsieh, C.-P., Wang, Y., Guo, H., Shu, T., Song, M., Xing, E. P., and Hu, Z. (2022). "RLPrompt: Optimizing Discrete Text Prompts With Reinforcement Learning." CoRR, abs/2205.12548.

Gao, T., Fisch, A., and Chen, D. (2021). "Making Pre-trained Language Models Better Few-shot Learners." In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 3816-3830, Online. Association for Computational Linguistics.

Ishibashi, Y., Bollegala, D., Sudoh, K., and Nakamura, S. (2023). "Evaluating the Robustness of Discrete Prompts." In Vlachos, A. and Augenstein, I. (Eds.), Proceedings of the 17th Conference of the European Chapter of the Association for Computational Linguistics, EACL 2023, Dubrovnik, Croatia, May 2-6, 2023, pp. 2365-2376. Association for Computational Linguistics.

Liu, Y., Ott, M., Goyal, N., Du, J., Joshi, M., Chen, D., Levy, O., Lewis, M., Zettlemoyer, L., and Stoyanov, V. (2019). "RoBERTa: A Robustly Optimized BERT Pretraining Approach." CORR, abs/1907.11692.

Scao, T. L. and Rush, A. M. (2021). "How Many Data Points is a Prompt Worth?" In Toutanova, K., Rumshisky, A., Zettlemoyer, L., Hakkani-Tür, D., Beltagy, I., Bethard, S., Cotterell, R., Chakraborty, T., and Zhou, Y. (Eds.), Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, NAACL-HLT 2021, Online, June 6-11, 2021, pp. 2627-2636. Association for Computational Linguistics.

Schick, T. and Schütze, H. (2021). "Exploiting Cloze-Questions for Few-Shot Text Classification and Natural Language Inference." In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, pp. 255-269, Online. Association for Computational Linguistics.

Schick, T. and Schütze, H. (2022). "True Few-Shot Learning with Prompts-A Real-World Perspective." Transactions of the Association for Computational Linguistics, 10, pp. 716-731.

Shin, T., Razeghi, Y., Logan IV, R. L., Wallace, E., and Singh, S. (2020). "AutoPrompt: Eliciting Knowledge from Language Models with Automatically Generated Prompts." In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 4222-4235, Online. Association for Computational Linguistics.

Webson, A. and Pavlick, E. (2022). "Do Prompt-Based Models Really Understand the Meaning of Their Prompts?" In Carpuat, M., de Marneffe, M.-C., and Ruíz, I. V. M. (Eds.), Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, NAACL 2022, Seattle, WA, United States, July 10-15, 2022, pp. 2300-2344. Association for Computational Linguistics.

## 略歴

石橋 陽一：2018 年 京都産業大学コンピュータ理工学部卒業. 2020 年 奈良先端科学技術大学院大学 先端科学技術研究科 博士前期課程修了. 2023 年 奈良先端科学技術大学院大学 先端科学技術研究科 博士後期課程修了. 博士（工学). 同年 4 月より京都大学大学院情報学研究科 特定研究員.


# 「通時コーパス」シンポジウム 2023

小木曽智信 $\dagger$

## 1 国立国語研究所の「通時コーパス」プロジェクト

国立国語研究所では，2009 年に始まった「通時コーパスの設計」プロジェクト（プロジェクト リーダー：近藤泰弘，田中牧郎）以来，日本語の歴史をたどることのできる「通時コーパス」の構築とこれを活用した日本語の歴史研究に取り組んできた。その成果であるコーパスは『日本語歴史 コーパス』(国立国語研究所 2023) としてオンラインで年々拡張する形で公開されている. 2016 年度からの 6 年間は「通時コーパスの構築と日本語史研究の新展開」プロジェクト（プロジェクト リーダー：小木曽智信）のもとでコーパスの本格的な構築に取り組み，表 1 に示すように，奈良時代以前から明治・大正時代までの日本語の歴史をカバーするコーパスの整備がひとまず完了した. これらの歴史的資料には全く性質の異なる多様なテキストが含まれるが，いずれも全文に UniDic の短単位による形態論情報が付与されており，異なる資料間での比較や通時的変化の研究に利用可能なように設計されている。そして, 2022 年度からの 6 年間は「開かれた共同構築環境による通時 コーパスの拡張」（プロジェクトリーダー：小木曽智信）の中で新たな研究計画に取り組みつつあ る。このプロジェクトでは，これまで専ら国語研内部で計画し構築を行ってきた「通時コーパス」 を，外部の研究者によって作られたデー夕を取り入れてまとめて利用できるようにしようという目論見のもとで，そのための環境整備も含めてコーパスの構築と活用を進めていこうとしている.

表 1 『日本語歷史コーパス』 ver. 2023.3 収録資料と語数

## 2 「通時コーパス」シンポジウム

2009 年以来， 14 年に及ぶこれら一連の「通時コーパス」プロジェクトでは，毎年プロジェクト の成果を発信する研究発表会としてシンポジウムを開催してきた。近年では， 3 月に当該年度にお けるプロジェクトの進渉報告の後, 『日本語歴史コーパス』をはじめとする日本語史研究資料の構築に関する研究と, これらを活用した日本語の歴史研究の発表を 1 日で行うことが通例となってい る.コロナ禍に見舞われた 2020 年（9月に延期）からはオンラインでの開催となっている。 2022 年度から新たなプロジェクトのもとで行われた「通時コーパス」シンポジウム 2023 は, 2023 年 3 月 10 日にオンライン (Zoom) で行われ, 120 名の参加登録があり, 100 名近くの当日参加者があっ た. 当日参加できなかった登録者には録画配信を行った。

「通時コーパス」シンポジウム 2023 は下記の 2 つの科研費プロジェクトの共催で行われた.
- 科研費 基盤研究 (A) 19H00531 「昭和・平成書き言葉コーパスによる近現代日本語の実証的研究」(研究代表者: 小木曽智信)
- 科研費 基盤研究 (A) 21 H04349「「抄物コーパス」の構築とコーパスを応用した日本語史研究」(研究代表者：青木博史)

前者は, 『日本語歴史コーパス』を補完する形で，その後の昭和・平成期の資料をコーパスとして 構築し, 現代日本語がどのように確立してきたのかをコーパスを利用して実証的に研究できるよう にすることを目的としている，構築する『昭和・平成書き言葉コーパス』(小木曽 他 2023) は，雑誌・ベストセラー書籍・新聞について 1933 年から 2013 年までの間を 8 年おきに 11 か年分, 合計約 3,340 万語収録した, この種のコーパスとしては大規模なものである. 2019 年度から 2022 年度 までの計画期間の最終年度にあたり，ちょうどこのコーパスの公開を間近に控えている時期のシン ポジウムを共催することとなった.

後者は, 室町時代の日本語研究資料として重要な抄物を『日本語歴史コーパス』と同様のコーパ スとして構築し，これを活用した日本語史研究を行うことを目的としている．抄物とは，室町時代 から江戸時代初期にかけて，学僧が漢詩・漢文や仏典について講義した講義録や注釈書のような資料で，口頭で行われた講義をもとにしていることから当時の口語を知ることのできる資料として極 めて貴重なものとなっている。読解や形態論情報の付与に極めて専門的な知識を必要とすることか ら，これまでに『日本語歴史コーパス』に収録することができなかったものだが，この科研費プロ ジェクトによってコーパスに追加することが視野に入ってきた.

近年, 日本語学の研究においては, コーパスを活用することが当たり前のこととなってきており, なかでも日本語史の分野では，既存のコーパスに収録されていない資料を研究者が自らコーパス構築を行って研究に利用しようとするトレンドがある．上記のような大型の科研費プロジェクトから 個人研究まで，さまざまな資料の研究者が，自身の専門を活かしてデー夕整備を行っている．今期 の「通時コーパス」プロジェクト「開かれた共同構築環境による通時コーパスの拡張」は，こうし

た流れを国語研で受け止めて，作られたデー夕を使いやすい形でまとめて提供することにより，学界に貢献することを目指している。

## 3 口頭発表

ここからは， 3 月 10 日のシンポジウム当日の模様をまとめてお送りする. 口頭発表は前半と後半 に分かれて 5 件行われた. 新しいプロジェクトになって初めてのシンポジウムということもあり，発表数は例年より少なめであったが，日本語学の研究者から自然言語処理の研究者まで幅広い分野 から，しかしいずれもが「通時コーパス」をキーとした研究発表を行った。こうした研究者が一度 に集まり交流が持てる機会は,これまでのところ言語処理学会でも日本語学会でも得がたいもので あり, このシンポジウムの特徴となっている.

口頭発表は最初に, 小木曽が「『日本語歴史コーパス』ver. 2023.3 通時コーパス拡張進渉報告」と 題して『日本語歴史コーパス』の拡張の進捗状況（表 1 の下線部が新規追加分）と，新しいプロ ジェクトの課題と環境整備の状況について報告を行った。コーパスのオンライン検索システム「中納言」上で，ユーザーが形態論情報の誤りを報告・相互評価し，コーパスの修正に活かすことので きるシステム「みんなごん」(小木曽，八木 2021)の運用開始は新しいトピックであった. 今回は 実際に集められた誤りの修正報告をもとに，「平安時代編」の更新が行われた。

続いて，竹内綾乃氏と松崎安子氏（国立国語研究所）による「『日本語歴史コーパス』からみる 江戸随筆作品の特性」の発表があった．発表者らは「通時コーパス」のプロジェクト非常勤研究員 を務めており，コーパスの構築過程で得られた知見を活かしつつ，新規に構築した近世のコーパス 収録資料（貝原益軒『養生訓』，新井白石『西洋紀聞』『折りたく柴の記』，室鳩巣『駿台雑話』，本居宣長『うひやまぶみ』，杉田立白『蘭学事始』）の特徴について，多変量解析等を用いて他のコー パスと比較して論じたものである.

井上誠一氏（東京都立大学）からは「トピックモデルを用いた単語の通時的な意味変化のモデル 化とその応用」と題する発表があった. この研究は, 井上氏らが EMNLP2023で発表した多義語の 意味変化を扱う手法 (Inoue et al. 2022) を紹介するものであったが，今回は新たに日本語のデー夕 （『日本語歴史コーパス』と『昭和・平成書き言葉コーパス』の雑誌データ）を対象とした結果を示 しており, 日本語学的な視点から見て極めて興味深いものであった. 近代以降の歴史的資料のコー パスの整備は, 英語の状況にくらべて日本語は大きく及ばないが，近年のコーパス整備でようやく 日本語でもこうした統計モデルを使った研究が可能になってきた．言語研究への貢献が期待される とともにコーパス構築のモチベーションにもつながる発表であった.

凌志棟氏（東京都立大学）らによる「日本語意味変化検出の評価データセットの構築」も自然言語処理の分野からの発表であった. SemEval-2020の Task 1: Unsupervised Lexical Semantic Change Detectionのように，近年，自然言語処理の分野でも歴史的な意味変化を扱う研究が盛んに

なってきており，他言語では意味変化検出の評価基準となるデータが整備されてきている．しかし，日本語では近現代語の意味変化を扱った研究 (間淵，小木曽 2021) がわずかにあるもののこうした データが十分に整備されていない，凌氏の発表は『日本語歴史コーパス』の明治・大正編と『現代日本語書き言葉均衡コーパス』の雑誌データから抽出した語について, 意味変化の程度をアノテー 夕に類似度で判断させ，これをもとに定量的な評価用データセットを整備しようとするものであっ た. 今後, 『昭和・平成書き言葉コーパス』も含めてデータセットが整備された暁には, 日本語の 意味変化についても他言語と同様の評価が可能になり，新しい研究手法が日本語でも適用されるよ うになることが期待される。こうしたデータの整備には, 自然言語処理の知見と日本語史の知見が 同時に必要とされる.このシンポジウムのような場を通して, 自然言語処理研究者と日本語史研究者のコラボレーションが進むことが期待される。

最後に, 間淵洋子氏（和洋女子大学）からは「『日本語歴史コーパス』を使った中高生向け単語帳作成の試み」の発表があった。これは通時コーパスを教育現場で応用した実践報告であり，大学院の国語科教職課程における教材開発の中でコーパスを活用したものであった. 院生のアイデアを もとに, 古典を学習する中高生向けに，コーパスを用いて頻度にもとづく重要度付き単語帳と用例集を作成する課題を行ったものである。日本語学の学習であると同時にデータサイエンス入門の側面も持つ授業となっており, 教育課程のみならず人文系の授業におけるコーパスの活用方法として 今後の指針となるものであった。

## 4 テーマセッション「『日本語歴史コーパス』を補完するデータを作る」

今回のシンポジウムでは， 口頭発表とは別に，テーマセッション「『日本語歴史コーパス』を補完するデータを作る」と題して, 短い発表 6 件と, それを踏まえたディスカッションが行われた.

セッションでの発表は下記の通りである。
- 小木曽 智信（国立国語研究所）「『昭和・平成書き言葉コーパス』と権利処理」
- 片山 久留美（国立国語研究所）「近世読本コーパス構築の課題 一『忠臣水滸伝』を例に」
- 近藤 明日子 (東京大学)「明治前期口語体実用文データセットの作成」
- 高橋 雄太・田中 牧郎 (明治大学)「明治理科教科書コーパスの公開 —OpenCHJ のモデル ケースとして一」
- 古田 龍啓 (九州大学) 「抄物コーパスの構築へ向けて」
- 松崎 安子・竹内 綾乃（国立国語研究所）「『日本語コーパス 江戸時代編 IV』ver. 0.8 随筆作品の構築と公開」

『日本語歴史コーパス』は, 上代の『万葉集』から近現代の活字資料まで, 日本語史研究で必要 とされる資料を多く収録してきたが，まだまだ不足している資料が少なくない，そうした資料をと りこんで通時コーパスを補完していくために何が必要となるのか.このセッションでは実際にデー
夕構築を行っている研究者に集まってもらい, 自身が作っているデータの概要と構築上の課題, そ の解決のために必要なものについて議論を行った.

紙幅の関係で詳細は省くが，それぞれの資料の原文の特徵を踏まえたテキストのアノテーショ ンの問題, 形態素解析とその修正の問題，権利処理の問題，整備した資料の公開形態の問題などが 議題となった。「開かれた共同構築環境による通時コーパスの拡張」のために，プロジェクトでア ノテーションのガイドラインを提供したり, データ整備・公開のためのツールを用意したりしてサ ポートすることの必要性などが話し合われた。

## 5 おわりに

ここで紹介した発表は，いずれも「通時コーパス」の構築や活用に関わるユニークなもので，この シンポジウムならではのラインナップとなっているといえるだろう，コーパスを利用した研究自体 が珍しかった「通時コーパス」プロジェクトが始まった当初とは異なり，今ではコーパスを活用し たオーソドックスな日本語史研究は, 日本語学会などで普通の研究発表として行われるようになっ た. 今後さらに，このシンポジウムのような場を通して，自然言語処理と日本語史が融合した研究 が自然に行われるようになって，新たな発見や応用を生み出していくことに期待したい。そのため に, ぜひ多くの自然言語処理の研究者に日本語の歴史的研究に関心を持っていただけると幸いであ る.今後も行われる「通時コーパス」プロジェクトの活動にぜひ注目していたたきたい.

## 謝 辞

本稿は, 国立国語研究所共同研究プロジェクト「開かれた共同構築環境による通時コーパスの拡張」による成果の一部である.

## 参考文献

Inoue, S., Komachi, M., Ogiso, T., Takamura, H., and Mochihashi, D. (2022). "Infinite SCAN: An Infinite Model of Diachronic Semantic Change." In Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing, pp. 1605-1616, Abu Dhabi, United Arab Emirates. Association for Computational Linguistics.

国立国語研究所 (2023).日本語歴史コーパス. https://clrd.ninjal.ac.jp/chj/. [National Institute for Japanese Language and Linguistics (2023). Nihongo Rekishi Kopasu. https://clrd.ninjal.ac.jp/chj/].
間淵洋子, 小木曽智信 (2021). 近現代日本語の意味変化分析のための単語データセット構築の試 み. 言語処理学会第 27 回年次大会発表論文集, pp. 1166-1170. 言語処理学会. [Y. Mabuchi and T. Ogiso (2021). Kingendai Nihongo no Imi Henka Bunseki notameno Tango Detasetto Kochiku no Kokoromi. Proceedings of the 27th Annual Meeting of the Association for Natural Language Processing, pp. 1166-1170.].

小木曽智信, 近藤明日子, 高橋雄太, 田中牧郎, 間淵洋子 (2023). 昭和・平成書き言葉コーパス. https://clrd.ninjal.ac.jp/shc/. [T. Ogiso et al. (2023). Showa-Heisei Corpus of Written Japanese. https://clrd.ninjal.ac.jp/shc/].

小木曽智信, 八木豊 (2021). 『日本語歴史コーパス』の誤り修正プラットフォームの開発. じんもん こん 2021 論文集, 2021 (2021), pp. 206-211. [T. Ogiso and Y. Yagi (2021). Development of a platform for error correction of the Corpus of Historical Japanese. Proceedings of Jinmoncom 2021, pp. 206-211.].

## 略歴

小木曽智信：1995 年東京大学文学部日本語日本文学 (国語学) 専修課程卒. 1997 年同大学院人文社会系研究科日本文化研究専攻修士課程修了. 2001 年同博士課程中途退学. 2014 年奈良先端科学技術大学院大学情報科学研究科博士課程修了.博士 (工学)。明海大学講師, 独立行政法人国立国語研究所研究員等を経て, 2016 年より人間文化研究機構国立国語研究所教授、コーパスと自然言語処理技術を 活用した日本語の歴史研究に関心がある.