# 児童作文の評価に向けた脱文脈化観点からの検討

田中弥生
神奈川大学・国立国語研究所
yayoi@ninjal.ac.jp
佐尾ちとせ
関西学院千里国際中等部・高等部
csao@senri.ed.jp
宮城 信
富山大学
miyagi@edu.u-toyama.ac.jp

## 1 はじめに

作文はこれまで、使用語彙や漢字の割合などの文字表記、文の種類や構造など様々な観点から評価さ れてきた $[1,2]$ 。本研究は児童の文章作成能力の評価等の包括的研究に向けたパイロットスタディの位置付けで、児童によって書かれた作文の、テーマに よる違いと学年による違いを、脱文脈化程度の観点 からどのように捉えられるか検討するものである。

脱文脈化程度とは、コミュニケーションが行わ れている「今・ここ・わたし」の時空とその発話内容との、時間的・空間的距離の程度をさす。教室授業では、情報の “脱文脈化” と “文脈化” という二 つの知的作業を子供達に課しているという [3]。ま た、「学校での多くの学びは、実生活の状況とは切 り離され、脱文脈化された概念的な知識の獲得にむ けられ」「日常の生活文脈に密着した状況的な思考 から、日常の生活文脈から切り離された抽象的で 無性格的な思考に慣れることが重要な課題となる」 ( $[3,33])$ とされる。これを作文にあてはめて考える と、学年があがるとともに、脱文脈化した表現を使用できるようになることや、脱文脈化した表現と文脈化した表現を操作できるようになることが考えら れる。例えば、餅つきという行事を「年末に僕は餅 つきをしました」という文脈化した個人的な体験と して述べることも「僕たちの町内では毎年餅つきを 行います」のように脱文脈化した表現で示すことも できる。さらに「餅つきは日本の伝統行事の一つで す」のようにより一般化された知識として述べるこ とも可能である。このように必要に応じて伝えたい 情報を文脈化、あるいは脱文脈化させて文章を構成 していくわけである。

脱文脈化の観点からの分析には、修辞ユニッ
ト分析 ${ }^{1)}[6]$ の分類法を用いる。発話機能 (speech function)、中核要素 (central entity)、現象定位 (event orientation) の認定結果の組み合わせから修辞機能と 脱文脈化程度を知ることができ、談話や文章におい てどのような修辞機能が用いられているか、使用さ れている言語表現は脱文脈化程度が高いか低いか (「今・ここ・わたし」から遠いか近いか)、という観点からの検討が可能になる。これまで、成人や子供 の談話、ネット上の QA サイトなど様々なテキスト を分析し、児童生徒の作文については、脱文脈化の 様相と教員の評価の関連を検討している [7]。本発表では、児童によるテーマの異なる作文の修辞機能と脱文脈化指数の出現頻度を確認して、(1) テーマによる違いと学年による違いを検討し、(2)特徴的な作文について修辞機能と脱文脈化指数の現 れ方を検証する。

## 2 分析対象と分析方法

## 2.1 分析対象

分析対象は『児童・生徒作文コーパス』 $[8,2]$ に含 まれる作文で、作文のテーマは「ゆめ (夢)」(以下、夢作文とする。）と「ぼくの／わたしのがんばったこ と」（以下、がんばった作文とする。）である。この テーマは、先行研究を踏まえて、抽象的なものと生活文的なものということで決められ、「夢作文」に ついては、将来の夢と就寝時に見た夢のいずれかと いう指示は行なっておらず、様々な内容が収集され ている [2] という。本発表では、小学校低学年（1、 2 年)、中学年 $(3 、 4$ 年)、高学年 $(5 、 6$ 年) の $3 \supset$ の層に分け、「夢作文」と「がんばった作文」のそれ

1） Rhetorical Unit Analysis [4, 5] を日本語に適用したものであ る。

ぞれ 5 作文ずつ、計 30 作文を分析対象データとし て用いた。低学年、中学年、高学年の、「夢作文」及 び「がんばった作文」それぞれの平均文数（四捨五入）と同じ文数で、短単位数が平均（四捨五入）に 近い作文を選んだ。中学年では「夢作文」と「がん ばった作文」の両方で短単位数平均が同じ作文が 2 つあったため、文節数と文字数が平均に近い 1 つを 選択した。表 1 にデータの概要を示す。

表 1 分析対象データの概要（短単位と文字数は平均値）

## 2.2 分析方法

修辞機能と脱文脈化指数の確認には修辞ユニット 分析 ${ }^{2}$ [6] の分類法を用いる。以下に概要を示す3)。

## 2.3 分析単位への分割と種類の認定

分析単位の「メッセージ」は概放節に相当し、 4 種類に分類する。「位置付け」は分類対象外で、「拘束; 意味的従属」は単独では分類しない。「拘束；形式的従属」と主節の「自由」について、以下の分類を行う。本研究の分析対象の作文は、その層の平均文数と同じ文数のものを選んでいるが、文の中に 「拘束; 形式的従属」がある場合、 1 文が複数のメッ セージになるため、分析対象メッセージ数は作文に よって異なっている。

## 2.4 発話機能・中核要素・現象定位の認定 と修辞機能・脱文脈化指数の特定

メッセージの種類が「拘束; 形式的従属」及び「自由」と認定されたメッセージについて、発話機能・中核要素・現象定位を認定する。図 1 に示したよう に、これらの組み合わせから、修辞機能と脱文脈化程度が特定される。

図 1 と図 2 の数字は脱文脈化指数で、図 2 に示す ように，その会話の場（今ここ）に最も近い（脱文脈化指数が低い）ものから、最も遠い（脱文脈化指数が高い）ものまで配置されている。

発話機能は 2 種類に分類する。「その本を取って ください」のような会話当事者がいるその場での品

2) Rhetorical Unit Analysis [4, 5] を日本語に適用したものであ る。

図 1 発話機能・中核要素・現象定位からの修辞機能と脱文脈化指数

図 2 脱文脈化指数

物・行為の交換に関する提供・命令は「提言」で、 この段階で修辞機能【行動】と脱文脈化指数 $\left.<1>^{4}\right)$ が 特定される。情報の要求・提供は「命題」で、この 後の分類を行う。

中核要素は、話し手と発話内容の空間的距離を表 すもので、基本的に主語である5)。メッセージの送 り手や受け手のいる場に存在する人や事象が中核要素の場合は「状況内」で、下位分類として、メッ セージを伝達する当事者は「状況内; 参加」、伝達し ていない人や事象は「状況内; 非参加」に分類する。中核要素がその場に存在しない人や事象の場合は 「状況外小普遍的な性質などを述べているメッセー ジの主語は「定言」である。中核要素が省略されて いる場合には復元して認定する。

現象定位は、話し手と発話内容の時間的距離を表 すもので、基本的にテンスや時間を表す副詞などに よって表現される。「過去」「現在」「未来」「仮定」 に分類する。「現在」は、普遍的・習慣的か、一時的かの下位分類がある。「未来」は「未来; 意図的」 か「未来; 非意図的」に分類する。発話機能・中核要素・現象定位の分類後、図 1 から修辞機能と脱文脈化指数を特定する。

表 2 夢作文とがんばった作文の個々の修辞機能 (脱文脈化指数) の出現頻度と修辞機能の種類

 & 計画4 &  &  &  & 観測8 & 報告9 &  &  &  &  &  &  \\

## 3 分析結果と考察

表 2 に作文ごとの修辞機能の出現と、メッセージ 数、修辞機能の種類の数を示した。

## 3.1 がんばった作文

がんばった作文では、1つをのぞいてすべての作文で【状況内回想】<3>が使用されており、自分の 体験を回想して文にしていることがうかがえる。

がんばったことを表すのに、(1)や(2)のような過去形を用いる以外に、(3)のように現在形を使用し ているものもある。いずれもがんばったことを述べ ているがその修辞機能及び脱文脈化指数は異なる。

(1)練習では、先生がきびしくて、こわくてつら かったけど、（命題\&状況内; 非参加\& 過去 $\rightarrow$状況内回想<3>）（中学年）

(2)十一月に最後の大会がありました。（命題\&状況外 \& 過去 $\rightarrow$ 状況外回想<10>）（高学年）

(3) わたしのがんばったことは、音楽会です。 (命題 \& 状況内; 非参加 \& 現在; 習慣的 - 恒久

$\rightarrow$ 観測<8>）（低学年）

学年層の違いを見ると、低学年のほうが個々の作文の中での【状況内回想】<3>の比率が高い。中学年の書いた作文の中には、全く【状況内回想】<3>を 使用していない作文がある。「今、ぼくのがんばっ ていることは」という書き出しで始まるこの作文 は、「がんばったこと」という題から、がんばってい ることを表現して、つまり過去ではなく現在と未来 で表現している点が特徴的である ${ }^{6)}$ 。

6）この作文の修辞機能と脱文脈化指数などの詳細は付録の表 4 に示している。

## 3.2 夢作文

夢作文では、【計画】<4>が多く使用されている。 2.1 で述べたように、分析対象の「夢作文」には、将来の夢を書いたものと、就寝中にみた夢について書 いたものがある。本研究の分析対象データでは、 15 本の夢作文のうち、就寝中に見る夢を書いたものが 1 本 (中学年)、就寝中の夢と将来の夢の両方を書い たものが 2 本（中・高学年各 1 本）で、他の 12 本 は将来の夢について書いている。就寝中の夢を書い た 1 本は、17 のメッセージから成り、【状況内回想】 <3>と【状況外回想】<10>がそれぞれ 6 メッセージ と $2 / 3$ を回想が占めているものの、「でもだれかはお ぼえていません」【実況】<2>「その家は今はこわさ れてちがう家になっています。」【説明】<13>「今 9 さいになってもはあちゃん)からきらきととてもこわ くなります。」【実況】<2>という他の修辞機能のバ リエーションもあり、脱文脈化程度もさまざまで、単調ではない。

将来の夢と就寝中の夢の両方を書いた中学年の作文では、将来の夢について【計画】<4>【実況】<2> で述べ、次に最近よく見る夢を【自己記述】<7>で述 べた後、「どうしてゆめを見るのか不し議になるの で今度調べたいと思います」【計画】<4>と述べ、「も う一つなりたいゆめがあります。」【報告】<9>と再度将来の夢の話題を始めて、【状況内予想】<5>【実況】<2>【計画】<4>という展開で終わっている8)。

将来の夢を書いた低学年の作文の 1 つは、最後 のメッセージ以外、各述部が「やりたいと思いま す」「やりたいです」「なってみたいです」「なって みたい」「かいたいです」「かいたいです」と、ほぼ 【計画】<4>で構成されている。また、別の低学年の 作文では、【状況内予想】<5>で始まり、その後、そ の夢のために自分がどうしているかを【自己記述】 <7>で列挙している。いずれも単調に感じられる。

## 3.3 使用されている修辞機能の異なり

表 3 に、各層の作文で使用されている修辞機能の 種類の平均値を示した。それぞれの作文の中で使用 されている修辞機能の種類は、中学年高学年が多 く、低学年は少ない傾向にある。各作文の値は表 2 の右列に示している。夢作文で最も多い種類を用いていたのは、中学年

表 3 使用している修辞機能の種類（平均）

の【実況】【状況内回想】【計画】【状況内予想】【自
己記述】【観測】【報告】【予測】【説明】の9つで、低学年では【状況内回想】【計画】【自己記述】【観測】【報告】の5つであった。図1を参照すると、これら の 5 つのうち 4 つは空間的距離のレベルが低い修辞機能であることがわかる。

がんばった作文では高学年の 2 つが最も多い 9 種類を用いていた。種類は、1つは夢作文の中学年と 同じで、もう 1 つは【説明】の代わりに【状況外回想】を用いていた。低学年の最高は【実況】【状況内回想】【報告】【状況外回想】の 4 種類である。図 1 を参照すると、この 4 つは時間的距離のレベルが低 い修辞機能であることがわかる。

今回の分析対象作文数が少ないことと、作文を構成する文の数が高学年中学年の方が多いことから、単純には比較できないが、このような修辞機能の異 なりは作文の様子を知る一つの手掛かりになること が考えられる。

## 4 おわりに

本発表では、テーマの異なる児童作文の修辞機能 と脱文脈化指数の出現頻度を確認して、(1)テーマ による違いと学年による違いを検討し、(2) 特徴的 な作文について修辞機能と脱文脈化指数の現れ方を 検証することによって、児童作文の修辞機能と脱文脈化指数による評価の可能性を検討を行った。分析 の結果、テーマによって時制にかかわる特徴がみら れ、学年層による違いとしては、低学年において、使用する修辞機能に偏りがあることがうかがえた。今回は 30 作文のみのパイロットスタディであった が、同コーパス内の作文についてアノテーションし て、全体の様子を明らかにするとともに、作文評価 や作文指導への知見を提示していきたいと考えて いる。

## 謝辞

本研究は JSPS 科研費 JP19K00588,JP20H01674 の助成を受けたものです。

## 参考文献

[1]冨士原 紀絵・宮城 信・松崎 史周. 児童生徒作文の基礎的研究: 児童生徒作文コーパスの構築と活用. お茶 の水女子大学子ども学研究紀要, 4:9-20, jun 2016.

[2]今田水穂 宮城 信. 作文コーパスを資料に児童・生徒 の漢字使用・選択傾向と発達の実態を明らかにする一語彙情報つき作文コーパスの構築と学齢別語彙・漢字使用実態調査一. 漢字 ・日本語教育研究, 5:4-20, 2015.

[3]岩田 純一. 児童の心理学. Number 3. 有斐閣, 1995.

[4]Carmel Cloran. Rhetorical units and decontextualisation: An enquiry into some relations of context, meaning and grammar. PhD thesis, University of Nottingham, 1994.

[5]Carmel Cloran. Contexts for Learning. In In Pedagogy and the Shaping of Consciousness: Linguistic and Social Processes, pages 31-65. Cassell Academic London, 1999.

[6]小磯花絵 佐野 大樹. 現代日本語書き言葉における修辞ユニット分析の適用性の検証 - 「書き言葉らしさ・話し言葉らしさ」と脱文脈化言語・文脈化言語の関係一. 機能言語学研究, 6:59-81, 2011.

[7]田中弥生. 児童・生徒作文の日本語修辞ユニット分析と教員評価の検討. In 言語資源活用ワークショッ プ発表論文集, volume 3, pages 91-104. 国立国語研究所, 2018.

[8]宮城 信・今田水穂. 『児童・生徒作文コーパス』の 設計. 第 7 回コーパス日本語ワークショップ予稿集, (2):223-232, 2015.

[9]佐野 大樹. 日本語における修辞ユニットの方法と手順 ver.0.1.1一選択体系機能言語理論（システミック理論） における談話分析一（修辞機能編）, 2010.

[10]佐野大樹. 特集選択体系機能言語理論を基底とする特定目的のための作文指導方法について一修辞ユニット の概念から見たテクストの専門性. 専門日本語教育研究, (12):19-26, 2010.

## A 付録

表 4 がんばった作文 中学年 (SF 発話機能 CE 中核要素 EO 現象定位)

 & 命題 & 状況内; 非参加 & 現在; 習慣的・恒久 & 観測 & 8 \\

表 5 ゆめ作文 中学年 (SF 発話機能 CE 中核要素 $\mathrm{EO}$ 現象定位)

 & 命題 & 状況内; 参加 & 未来; 意図的 & 計画 & 4 \\


# 日本語 BERT による否定要素認識についての分析

蘆田 真奈 平澤 寅庄 金子正弘 小町守
東京都立大学
\{ashida-mana, hirasawa-tosho, kaneko-masahiro\}@ed.tmu.ac.jp
komachi@tmu.ac.jp

## 1 はじめに

言語を理解するさい、文中において否定を表す要素（否定要素）を正しく認識する能力は必要不可欠 である。一方で、言語モデルにとっては否定要素が 否定要素であるということは必ずしも自明ではな い。日本語において否定を表す表現は「ない・ん・ ず」などがあるが、修辞技法や慣用句に含まれる 「ない・ん・ず」は否定要素として使用されないケー スも数多くあり、表層形の知識や構文の理解はもち ろん、文脈の理解も必要とされる。

近年、自然言語処理では事前学習済み大規模 ニューラル言語モデルが多くのタスクにて高い精度 を出し、脚光を浴びている $[1,2]$ 。一方でニューラ ルネットワークを用いたアーキテクチャはブラック ボックスなどとも言われ、その振る舞いの解釈は困難である。そのような背景から、ニューラルモデル の内部メカニズムがどれほど人間の言語に関する知識を獲得できているかを調べる研究 (Probing) が数多く提案されている $[3,4,5]$ 。これらの研究を通じ て、現時点でのニューラル言語モデルの得手不得手 についての新たな知見が得られつつある。

今回の研究ではニューラル言語モデルの中 でも、特に Bidirectional Encoder Representations from Transformers (BERT) [1] がどの程度、否定要素を認識 できるのかについて、日本語 BERT を用いて否定要素認識タスクを行うことで評価する。また、Probing タスクとして、日本語 BERT に否定要素がマスクさ れた文を与えた場合に、BERT が否定要素を予測で きるか、及びできない場合に何と予測するかについ て調査する。BERT による予測結果を分析すること で、BERT が何を手がかりにして否定要素を認識し ているかについて考察する。最後に、否定に関わる 統語情報についての知識が獲得されているかにつ いて、否定極性項目（Negative Polarity Items (NPIs))
と否定要素の関係性に着目して分析を行う。

## 2 関連研究

日本語の否定コーパス 日本語の自然言語処理に おいて、否定要素に限定して行われた研究には松吉 ら $[6,7]$ などがある。[6] は否定要素のアノテーショ ンを付与したコーパスの作成についての報告であ る。[7]では [6] のコーパスをデータセットとし、否定要素があらかじめ検出されている文に対して統語情報を与えた上で否定焦点を検出するシステムを構築している。本稿では、否定焦点の検出ではなく否定要素の検出を日本語 BERT を用いて行うために コーパスを用いる。

BERTを用いた英語の否定要素認識 日本語 BERT を用いた否定要素認識こそ行われていないも のの、英語ではいくつかの BERT を用いた否定要素認識の研究がある。多くは*SEM (Joint Conference on Lexical and Computational Semantics) の Shared Task での Sherlock データセット [8]もしくは医療分野の コーパス（the BioScope Corpus[9]）を使用したタスク である。NegBERT [10] は否定要素と否定のスコー プのアノテーションがなされたコーパスで fine-tune された BERT であり、文を入力とし、否定要素を検出することができる。[11] は Conversational Question Answering (CoQA) タスクにおいて、NegBERT を用 いて系列の否定要素を明示することでモデルの性能 が上がることを報告している。

BERT の英語の否定の理解性能 BERT がどのよ うなメカニズムで色々なタスクにおいて良い性能を 出すことができるのかについての研究が盛んに行わ れており、その研究の中には否定の理解に関するも のもいくつかある。例えば、[12] や [13] では空欄補充タスクを用いて BERT が否定の働きについて捉え ているかどうかを検証している。「Aが Xである。」、 と「AはXではない。」という文脈において、Xを空
欄とした場合にどちらの場合にも Xには A の上位概念（hypernym）を候補としてあげてしまうことか ら、BERT は否定が含まれた文脈では正しい推論が できていないと結論づけている。今回の研究では、肯定と否定文のペアを作成するのではなく、実際に コーパスに出現する文を用い、BERT が否定要素を 正しく予測できるかについて検証する。

言語モデルの英語の NPIs についての分析 NPIs とは文の否定要素と共起することを必要とする項目 のことであり、その制約ゆえ、言語学者の間では広 く議論されてきた[14]。NPIs には自然言語処理の文脈では、NPIs が否定要素を伴わない場合、その文 が非文法的になることを用いて、言語モデルに文の 文法性を判断させることで言語モデルが NPIs に関 わる統語的制約を学習しているかを検証している $[15,16]$ 。日本語の NPI の例としては『しか』などが あげられる。以下はしかが文法的である場合とそう でない場合の例である。

・太郎は 野菜『しか』食べない。

・*太郎は野菜『しか』食べる。

ここで『しか』は Licensor と呼ばれる文の否定要素ないのスコープのなかに存在するときにのみ文法的である。

## 3 否定要素認識

否定要素認識タスクは医療分野での言語処理 （Biomedical NLP）に端を発する [17]。自然言語処理 における否定認識 (negation detection) は 2 段階の タスクからなる。まず、文中の否定要素 (negation trigger, negation cue）を検知する。日本語では「な い」や「ず」に当たる。次に、否定が及ぶ範囲を 同定する。これは否定のスコープの認識 (negation scope detection, negation scope resolution）とも言われ る。さらに、否定の焦点（focus of negation）は否定 のスコープの中でも、特に否定されている要素のこ とをいう。否定の焦点検知についての研究は $[8]$ で の Shared Task に関するものがある。今回の研究で は否定要素の認識に取り組む。

## 3.1 データセット

今回のタスクで使用するコーパス [6] は「現代日本語書き言葉均衡コーパス」 $(\mathrm{BCCWJ})^{1)}$ のコアデー タの新聞のうち Aグループを対象に否定要素と否定 の焦点をアノテーションしたものである。

1) https://pj.ninjal.ac.jp/corpus_center/bccwj/

図 1 BERT による否定要素認識

・十七日まで選手にも協会関係者にも明かさな い。[PN2f_00002]

という例文において、否定要素は「ない」であり、否定の焦点は「十七日まで」である。また、否定の スコープは「十七日まで選手にも協会関係者にも明 かさ」で表現される事象であると考えられる [6]。 ただし、今回の研究では否定要素のみに注目する。

このコーパスの全 2807 文のうち、 $80 \%$ を訓練デー タ、10\%を開発データ、 $10 \%$ 評価データとして用 いた。コーパスの全文に対して mecab-ipadic-neologd を用いて単語分割を行った。これは使用した日本語 BERT の訓練時の分割方式と一致させるためであ る。ラベルはコーパスに従って付与した。

## 3.2 否定要素認識器の作成方法

否定要素認識器の作成にあたっては、否定要素を neg、それ以外を neutral とラベル付けする系列ラべ リングのタスクを設定し、日本語 BERT の fine-tune を行なった。今回、neutral 以外のラベルは複数の トークンにまたがっていないため、先頭や終わりを マークせず上述の 2 つのラベルのみを使用した。図 1 は BERT を用いた認識器及び入力のイメージであ る。BERT の中間層の上にランダムに初期化された 出力層を重ね、系列ラベリングを訓練させた。

## 3.3 実験

実験設定 本稿では東北大が公開した日本語 BERT モデル2)を用いて実験を行った。BERT の dense layer と出力層の両方を fine-tune したモデル （fine-tuned）と BERT の embedding の重みを更新し ないモデル（frozen）を用いた。訓練の epoch 数は 10 回とし、 $F_{1}$ スコアをモデル選択時の指標として、推論時には開発データの $F_{1}$ スコアが一番良いモデ ルを使用した。

実験結果 図 1 は 5 回シードを変えて実験を行っ て得られた精度・再現率・ $F_{1}$ スコアの平均を示し たものである。テストデータ内に「ない・なく・な

2) https://huggingface.co/cl-tohoku/bert-base-japanese

かっ・なけれ・ぬ・ん・ず」は計 28 回出現し、その うち neg ラベルが付与されていたのは 16 個である ので、どちらのモデルについても単純な表層形のみ について分類を行うよりは精度が高くなっている。 frozen モデルは fine-tuned と比べてわずかに性能が 良く、これには fine-tuned モデルが過学習している 可能性が考えられる。

## 3.4 エラー分析

BERT は「違いない」「似ても似つかぬ」「暴力 に暴力で向かってはいけない」「やる気をなく す人」などの否定として機能していない要素を否定 と捉えるエラーを出していた。「違いない」「似ても 似つかぬ」「いけない」のケースは慣用表現であり、「ない」が文否定として働いていないにも関わらず、 そのことが捉えられていないからだと考えられる。 このことから、BERT はトークンの一部が慣用表現 の一部なのか、文の要素として機能しているのかを 認識できていないということが示唆される。

一方で、否定を捉えられていないケースには「珍 しくなかった」というケースがあり、5 回試行した うちの 1 度の試行で存在した。ただし、テストデー タには「なかっ」は 3 回出現していた。

## 4 日本語 BERTによる否定要素予測

3 節の実験では fine-tune された日本語 BERT が否定要素を認識できるかについて検証した。この節で は fine-tune を行っていない BERT が否定要素を正し く予測できるかについて分析する。これはニューラ ル言語モデルの Probing の研究で行われている、言語モデルをブラックボックスとみなし、異なる入力 を与えた際の出力からモデルの性質を分析するとい うアプローチ $[18,16]$ の系譜を踏むものである。

## 4.1 分析方法

まず 3 節の実験で用いたコーパスに含まれる 303 個の否定要素について、否定要素を含む文を抽出 し、否定要素をマスクした文を BERT にインプット として与え、BERT にマスクされたトークンを予測 させた。予測に際しては Transformers から利用可能
な fillmaskpipeline ${ }^{3)}$ を利用した。予測されたトーク ンが不正解であった場合について分析する。

## 4.2 分析結果

303 個の否定要素のうち、予測が不正解であった のは 66 個であった（付録 A)。

動詞との関連性 不正解のうち、11 個について観察された事象は、BERT が「ない」と「ある」の両方に対して比較的高い尤度を与えているというもの であった。以下はそのような例の一つである。

・罪のある（正：ない）記者が次々死ぬのを見る と、戦争の意図がクリーンではないことがよく 分かる」[PN3a_00002]

日本語においては「ある」という存在の動詞の否定形が「ない」であり、他の一般動詞の否定形のよ うに「動詞の未然形＋ない」の統語構造を持たず、動詞の活用形から接続を予測することが困難である ことが誤答の理由のと考えられる。また、一般動詞 の否定形は動詞の未然形に接続するが、同じく未然形に接続する助動詞である「せる」にも比較的高い 尤度を付与していたケースもあった。統語構造の観点からは、一段活用の場合には未然形と連用形が同 じであるために五段活用と比較してさらに多くの選択肢が存在することから、BERT にとっても困難で ある可能性がある。このように、動詞の接続から一意に否定が導かれない場合における曖昧性の解消の ためには BERT がより正確に文脈を考慮する必要が あるだろう。

否定の接頭辞 次に多くみられた不正解の予測は 否定の接頭辞を正しく予測することができていない という 16 の事象である。例えば、「就学児」の否定形は「不就学児」であるが BERT は「未就学児」で あると予測した。これは「不就学」と比較して「未就学」という言葉が使われる頻度が高いからである と考えられる。また以下の例のように、「不可能」 を「ほとんど可能」と予測するなど、正反対の予測 をする場合も観察された。

・(前略）もはや民間まかせでは過剩債務処理はほとんど（正：不）可能ということだ。 [PN1b_00004]

このことからも BERT は否定の働きを理解できてい ないことが考えられる。

加えて、「無得点」を「連続得点」「不干涉」を 「相互干涉」と予測していて、他の結びつきが強い 名詞を選んで複合名詞を予測していると考えられ る。ただし、「無得点」に関しては、直前に「依然・ まだ」という言葉がある場合には正しく予測するこ とができ、これは BERT がマスクされたトークンの 直前の文脈を考慮することができていることを示す ものと考えられる。

## 5 日本語 NPIs に関する分析

この節では日本語 NPIs についての分析を行う。先行研究で示した NPIs に関する研究ではデータ セットを構築し、BERT に文法性を判断させていた が、ここでは既存のコーパスを使用し、以下のよう な方法を用いて分析を行う。

## 5.1 分析方法

まず 3 節で用いたコーパスのうち、「ない」を含む 文を抽出し、その後、日本語の NPIs である副詞の 「さほど・それほど・そんなに・ろくに・だてに・二度と・あまり・しか・そんな・ろくな」などを含む 文とそうでない文に分類した。用いた文全体に「な い」は 214 個存在しており、そのうち 43 個が否定 の機能を持たない「ない」であり、 171 個が否定要素の「ない」であった。否定要素の「ない」のうち、 NPI と共起するものは 8 つであり、そのうちの 5 つ が「しか」との共起であり、残りの 3 つはそれぞれ 「そんな・そんなに・それほど」との共起であった。

3.4 で述べたように、コーパスには否定として機能していない「ない」が存在する。BERTが NPIs に 関する統語的制約についての知識を持っているとす れば、中間層のレベルで、否定として機能していな い「ない」と明確に区別されているのではないかと 考えた。

そのことを検証するため、抽出した各文の「ない」 というトークンの BERT の中間層の第 1 層を t-SNE アルゴリズムを用いて可視化した。ラベルは neutral の「ない」(neutral)、negの「ない」で NPI と共起し ている場合 (neg_npi)、negの「ない」でNPI と共起 しない場合（neg_non_npi）である。

## 5.2 分析結果

図 2 は日本語 BERT の第 1 層目の中間層を $\mathrm{t}$-SNE で可視化したものである。右の方に否定の「ない」 のクラスターができているように見えるが、NPI と

図 2 異なるラベルを付与された「ない」の分布

共起した否定要素の「ない」がクラスターになって いることは観察できなかった。このことから文中の NPI の存在と否定要素の結びつきに関しては特別な 情報を共有していないことが示唆される。

また、[3]によれば BERT は深い層より浅い層で 表層的・統語的な情報を学習しており、[19]によれ ば、浅い層に比べて深い層で文脈依存の情報が扱わ れると報告されていて、実際により深い層において は分布にばらつきが存在していた（付録 B)。

今後は日本語 NPIs を用いて非文と文法的な文の ペアを用意し BERT に文の尤度を出力させるなどし てより詳細に検証していきたい。

## 6 おわりに

本稿では事前学習済みニューラル言語モデル BERT の否定要素認識性能に着目した。今後は否定要素だけでなく、否定のスコープをアノテーション することにより BERT がスコープを同定できるかに ついても詳しく検証していきたい。

否定要素の予測については、ある熟語に対して反意語を作る際に正しい接頭辞を予測できるかどうか で BERT を評価するタスクなどを行い、BERT が否定の接頭辞についてどのような傾向を示すかについ ても研究を進めていきたい。また、BERTが動詞の 接続などの統語情報以外のどのような知識を用いて 否定を認識しているのかについても研究を進めてい きたい。

日本語 NPIs については、他言語での先行研究に 準じ、データセットの構築を行って BERT による文法性判断をもとに BERT の統語構造に関連する知識 についての研究を進めていきたい。

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[2] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. RoBERTa: A robustly optimized bert pretraining approach. arXiv preprint arXiv:1907.11692, 2019.

[3] Ganesh Jawahar, Benoît Sagot, and Djamé Seddah. What does BERT learn about the structure of language? In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 3651-3657, Florence, Italy, July 2019. Association for Computational Linguistics.

[4] Ian Tenney, Dipanjan Das, and Ellie Pavlick. BERT rediscovers the classical NLP pipeline. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 4593-4601, Florence, Italy, July 2019. Association for Computational Linguistics.

[5] Nelson F. Liu, Matt Gardner, Yonatan Belinkov, Matthew E. Peters, and Noah A. Smith. Linguistic knowledge and transferability of contextual representations. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 1073-1094, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[6] 松吉俊. 否定の焦点情報アノテーション. 自然言語処理, Vol. 21, No. 2, pp. 249-270, 2014.

[7] 大槻諒, 松吉俊, 福本文代. 否定の焦点コーパスの構築と自動検出器の試作. 言語処理学会第 19 回年次大会論文集, pp. 936-939, 2013.

[8] Roser Morante and Eduardo Blanco. *SEM 2012 shared task: Resolving the scope and focus of negation. In *SEM 2012: The First Joint Conference on Lexical and Computational Semantics - Volume 1: Proceedings of the main conference and the shared task, and Volume 2: Proceedings of the Sixth International Workshop on Semantic Evaluation (SemEval 2012), pp. 265-274, Montréal, Canada, 7-8 June 2012. Association for Computational Linguistics.

[9] György Szarvas, Veronika Vincze, Richárd Farkas, and János Csirik. The BioScope corpus: annotation for negation, uncertainty and their scope in biomedical texts. In Proceedings of the Workshop on Current Trends in Biomedical Natural Language Processing, pp. 38-45, Columbus, Ohio, June 2008. Association for Computational Linguistics.

[10] Aditya Khandelwal and Suraj Sawant. NegBERT: A transfer learning approach for negation detection and scope resolution. In Proceedings of the 12th Language Resources and Evaluation Conference, pp. 5739-5748, Marseille, France, May 2020. European Language Resources Asso- ciation.

[11] Ieva Staliūnaite and Ignacio Iacobacci. Compositional and lexical semantics in RoBERTa, BERT and DistilBERT: A case study on CoQA. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 7046-7056, Online, November 2020. Association for Computational Linguistics.

[12] Allyson Ettinger. What BERT is not: Lessons from a new suite of psycholinguistic diagnostics for language models. Transactions of the Association for Computational Linguistics, Vol. 8, pp. 34-48, 2020.

[13] Nora Kassner and Hinrich Schütze. Negated and misprimed probes for pretrained language models: Birds can talk, but cannot fly. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7811-7818, Online, July 2020. Association for Computational Linguistics.

[14] 片岡喜代子. 日本語否定文の構造: かき混ぜ文と否定呼応表現, 第 18 巻. くろしお出版, 2006.

[15] Alex Warstadt, Yu Cao, Ioana Grosu, Wei Peng, Hagen Blix, Yining Nie, Anna Alsop, Shikha Bordia, Haokun Liu, Alicia Parrish, Sheng-Fu Wang, Jason Phang, Anhad Mohananey, Phu Mon Htut, Paloma Jeretic, and Samuel R. Bowman. Investigating BERT's knowledge of language: Five analysis methods with NPIs. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 2877-2887, Hong Kong, China, November 2019. Association for Computational Linguistics.

[16] Tal Linzen, Emmanuel Dupoux, and Yoav Goldberg. Assessing the ability of LSTMs to learn syntax-sensitive dependencies. Transactions of the Association for Computational Linguistics, Vol. 4, pp. 521-535, 2016.

[17] Roser Morante, Anthony Liekens, and Walter Daelemans. Learning the scope of negation in biomedical texts. In Proceedings of the 2008 Conference on Empirical Methods in Natural Language Processing, pp. 715-724, Honolulu, Hawaii, October 2008. Association for Computational Linguistics.

[18] Aaron Mueller, Garrett Nicolai, Panayiota Petrou-Zeniou, Natalia Talmina, and Tal Linzen. Cross-linguistic syntactic evaluation of word prediction models. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 5523-5539, Online, July 2020. Association for Computational Linguistics.

[19] Kawin Ethayarajh. How contextual are contextualized word representations? comparing the geometry of BERT, ELMo, and GPT-2 embeddings. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 55-65, Hong Kong, China, November 2019. Association for Computational Linguistics.

## A 否定要素の種類とその頻度

4 節の実験において、予測させたトークンごとに頻度とその不正解個数をまとめたものが以下の表である。

## B t-SNE による BERT 中間層の可視化

以下は 5 節の実験において異なるラベルを付与された「ない」の日本語 BERT の中間層の第 2 (左上)、5（右上)、7 （左下）、12（右下）層目の重みを t-SNE で可視化した様子である。

図 3 BERT 中間層における異なるラベルが付与された「ない」の分布


# Indexicals in Chinese

Zhuoyun Wu†, Sumiyo Nishiguchił, Lu Guo*, Yingxuan Wang*
Graduate School of Commerce, Otaru University of Commerce ${ }^{\text {†** }^{* *}}$
Center for Language Studies, Otaru University of Commerce:
wu304728096@163.com ${ }^{\dagger}$ nishiguchi@res.otaru-uc.ac.jp

## 1 Introduction

This is a research about monsters, the context-change functions, and the words that are indexicals like tense adverbs, pronouns, etc. in Chinese. There are many researchers who wrote about indexicals in their own languages, but there is not a lot of research on Chinese. This paper discusses the indexical words in Chinese by giving some examples.

## 2. Pronouns

Like English, pronouns can also cause ambiguity in different contexts in Chinese. Normally, as in the example in (1), the first person indexical wo "I" ambiguously refers either to the speaker or the matrix subject Li.

(1) Zuotian Li shuo wo qiantian
昨天, 李 说 我 前天
yesterday Li said I the day before yesterday
Zhong-de hua kai-le
种的
planted 花 $\quad$ flower bloomed
"Yesterday, Li said the flower I planted the day
before yesterday bloomed."
$\sqrt{ }$ The flower was planted by Li.
$\sqrt{ }$ The flower was planted by I.

The agent wo "I" is shifted in the scope of shuo "say."

(2) Li shuo ni zuotian zhongde hua kai-le 李说你昨天种的花开了。

$\mathrm{Li}$ said you yesterday planted flower bloomed

"Li said the flower you planted yesterday bloomed."

$\sqrt{ } \mathrm{Li}$ is talking to me ---The flower was planted by me.

$\sqrt{ } \mathrm{Li}$ is talking to Ge ---The flower was planted by Ge.
The interpretation of the indexical $n i$ "you" depends on the context and it can be the person Li talking to, and it has two different meanings.

(3) Banzhang shuo ta bei tongzhi le mingtian 班长说他被通知了明天 monitor said he was informed tomorrow qu nide bangongshi kaihui 去 你的 办公室 开会。

go your office meeting "The monitor said that he was informed to go to the meeting at your office tomorrow."

In English, the pronoun he is ambiguous between a bound and free pronouns, that is, he can be the monitor or someone else salient in the context. In Chinese, ta 他 "he" also means monitor or someone else dominated by the conversation.

(3) Meimei shuo ta/ta zuotian zhong-de 妹妹 ${ }_{i}$ 说 她 $\mathrm{i}_{\mathrm{i}} /$ 他 $_{\mathrm{j}}$ 昨天 种的

sister said she / he yesterday planted

hua kaile

花开了。

flower bloomed.

"My sister said the flower she/he planted yesterday bloomed."

When ta "he" is used in the sentence:

$\sqrt{ }$ The flower was planted by Ge.

When $t a$ "she" is the pronoun in the sentence (3):

$\sqrt{ }$ The flower was planted by Wang.

$\sqrt{ }$ The flower was planted by my sister.

The subject sister can only have a bound pronoun she. So, he is not ambiguous. The sentence with he has only one meaning. On the other hand, she is ambiguous and can be bound by the agent my sister:

The personal pronouns you and my are shiftable. The interpretation of my depends on you.

If [you] means [speaker], then [my] means [Li];

If [you] means [Wang], then [my] means [speaker]:

## 3. Tense Adverbs

(5) Zuotian Li shuo wo qiantian 昨天, 李 说 我前天

Yesterday Li said I the day before yesterday zhongde hua kaile

种的花开了

planted flower bloomed

"Yesterday, Li said the flower I planted the day before yesterday bloomed."

In English, tense adverbs, like yesterday, the day before yesterday, tomorrow etc. are not shiftable even when there is another tense adverb in the sentence. In Chinese, in (5), qiantian "the day before yesterday" can only mean "two days ago from now", and can not mean "two days ago from 'yesterday'.

$\sqrt{ }$ The flower was planted 2 days ago (from now)

* The flower was planted 3 days ago (from now)
(6) Banzhang shuo ta bei tongzhi-le mingtian monitor said he was informed tomorrow qu ni-de bangongshi kaihui

去 你的 办公室 开会。

go your office meeting

Even though, in English, tomorrow cannot be shifted, in Chinese the reference of 明天 "tomorrow" is dominated by the timing of conversation.

(7) Li gangcai shuo Wu xianzai dei qu

李刚才 说武 现在得去

Li just said $\mathrm{Wu}$ now have to go to

laoshi-de bangongshi

老师 的 办公室

teacher's office.

"Li just said Wu have to go to teacher's office now."

$\sqrt{ }$ Wu have to go to teacher's office 3 minutes ago.

$\sqrt{ }$ Wu have to go to teacher's office right now.

Now is shifted by just in (7). Just means a past time, but not a very long time ago, i.e., 3 minutes ago. In contract, now means the time speaker said this sentence.

(8) Li shangzhouyi zaoshang shuo ta xianzai 李上周一早上 说 他现在

Li last Monday morning said he now

zai da lanqiu

在 打 篮球

Is playing basketball.

"Last Monday morning, Li said he was playing basketball now."

$\sqrt{ }$ Li was playing basketball last Monday’s morning.

* Li is playing basketball now.

Now only means last Monday morning

## 4. Location

(9) $\mathrm{Li}$ shuo ta zuotian zai zhe zhongde

李说 他 昨天在这种的

Li said he yesterday here planted

Hua kai-le

花 开 了

flower bloomed.

"Li said the flower he planted here bloomed."

$\sqrt{ }$ Li planted flower in my balcony.
* Li planted flower in his balcony.

Here can only mean the place the speaker is standing now. (If the speaker standing in my balcony now, the conversation happened in Li's balcony).

## 5. Conclusion:

For pronouns, words like $I$, you, me, he, his, can be ambiguous and determined by context in Chinese.

As for tense adverbs, words like yesterday, tomorrow, are shiftable when there is another tense adverb in the sentence may be shifted in Chinese.

Location adverbs like here and there are shiftable in Chinese.

## References

[1] Anand, Pranav and Andrew Nevins. 2004. Shifty Operators in Changing Contexts. R. Young (ed), SALT XIV 20-37, Ithaca, 2004. [2]Chierchia, Gennaro. 1989. Anaphora and Attitudes De Se. R. Bartsch, J. van Benthem, and B. van Emde (eds.) Language in context. Dordrecht: Foris.

[3]Cresswell, Maxwell J. 1985. Structured meanings: The semantics of propositional attitudes. MIT Press.

[4] Frajzyngier, Zygmunt. 1993. A grammar of Mupun. Dietrich Reimer Verlag.

[5]Heim, Irene, and Angelika Kratzer. 1998. Semantics in generative grammar. Blackwell.

[6]Hyman, Larry. 1979. Aghem Grammatical Structure. Southern California Occasional Papers in Linguistics 7

[7]Yang, Lili. 2020. The Change of "I" Perspective and Empathy in Indirect Speech. Soochow University College of Arts Central China Academic 2020,13(02)


# 属性情報を追加した事前学習済みモデルの ファインチューニング

笹沢裕一 岡崎直観
東京工業大学
\{yuichi.sasazawa[at]nlp.c, okazaki[at]c\}.titech.ac.jp

## 1 導入

感情分類，要約，文章生成などの幅広い言語処理タスクにおいて，ユーザ ID や製品 ID などの属性情報を活用することでタスクの性能が向上す ることが報告されている $[1,2,3]$. 感情分類の既存研究では，LSTM や CNN モデルに対して注意機構 $[4,5,6,7,8]$ やメモリーネットワーク $[9,10,11,2]$,重み行列 $[12,13]$ などで属性情報を組み込んでいる。近年, GPT [14], BERT [15], BART [16] などの事前学習済みモデルに対して，様々な言語処理タスクで ファインチューニングするアプローチが成功を収め ている。そこで，本研究は事前学習済みモデルに属性情報を組み込む手法を探求する．タスクとして感情分類と要約に取り組み，それぞれのタスクで事前学習済みモデルに属性情報を組み込んだモデルを提案する。提案モデルには事前学習済みのパラメータ と追加要素に対応する未学習のパラメータの 2 種類 が混在する．タスクの学習データでファインチュー ニングをするときは，後者のパラメータを効率よく 学習することが重要であるが，前者のパラメータを 更新しすぎると破滅的忘却に陥る．そこで，事前学習モデルと追加要素のパラメータに対して異なる学習率を設定する戦略を提案する．評価実験では，提案手法が感情分類タスクと要約タスクにおいて既存手法の性能を大きく上回り，最高性能の結果を示す ことを報告する．また，追加要素のパラメータに対 して異なる学習率を設定する戦略は，シンプルであ りながら性能向上に大きく貢献することを示す.

## 2 手法

## 2.1 感情分類モデル

提案する感情分類モデルの概要を図 1 に示す。標準的な文書分類タスクでは $n$ 単語の単語列

図 1: BERT モデルを使用した感情分類モデル $x=\left(w_{1}, \ldots, w_{n}\right)$ を受け取り, ラベル $y \in \mathcal{y} （ y$ は $l$種類のラベルから構成されるラベル集合）を予測す る. 本タスクでは $m$ 種類のカテゴリ属性 $\left(c_{1}, \ldots c_{m}\right)$ も与えられる. 本研究の感情分類データセットでは ユーザ ID と製品 ID の 2 種類のカテゴリ属性が与え られるため， $m=2$ である.

我々は感情分類タスクの事前学習済みモデルと して BERT モデル [15] を使用する． BERT モデルは 一連のトークン $\left([\mathrm{CLS}], w_{1}, \ldots, w_{n},[\mathrm{SEP}]\right)$ を入力と して受け取り，各入力トークンに対応する隠れ状態 $\left[h_{\mathrm{CLS}}, h_{1}, \ldots, h_{n}, h_{\mathrm{SEP}}\right]$ を生成する. 既存研究に倣 い， $h_{\mathrm{CLS}} \in \mathbb{R}^{d}$ を入力の分散表現として使用する（d は次元数). 属性情報をモデルに考慮させる様々な 手法を比較したところ，テキスト分散表現と属性埋 め込み表現を結合する手法が最も優れた性能を示す ことが分かった。つまり，提案モデルではテキスト の予測ラベルを次式により算出する。

$
\begin{aligned}
& a_{k}=\operatorname{LayerNorm}\left(\operatorname{emb}\left(c_{k}\right)\right) \\
& y=\operatorname{Softmax}\left(W\left[h_{\mathrm{CLS}} ; a_{1} ; \ldots ; a_{m}\right]+b\right)
\end{aligned}
$

図 2: BART モデルを使用した要約モデル

emb は埋め込み層，LayerNorm は $\beta, \gamma$ をパラメータ として持つ Layer Normalization 層による正規化処理 であり $a_{k} \in \mathbb{R}^{d_{\mathrm{a}}}$ である. $W \in \mathbb{R}^{l \times\left(d+d_{\mathrm{a}} m\right)}$ と $b \in \mathbb{R}^{l}$ は 線形層のパラメータ，Softmax はソフトマックス関数, [.;.] はべクトルの結合である。我々の提案モデ ルではテキスト分散表現 $h_{\text {CLS }}$ と各属性の埋め込み 表現 $\left[a_{1}, \ldots, a_{m}\right]$ の結合を後続の線形層に与えるこ とで最終的な予測べクトル $y$ を計算する。

## 2.2 要約モデル

要約モデルの概要を図 2 に示す。要約タスクでは $n$ 単語の単語列 $x=\left(w_{1}, \ldots, w_{n}\right)$ を受け取り, 要約単語列を予測する. テキスト分類と同様に $m$ 種類の カテゴリ属性 $\left(c_{1}, \ldots c_{m}\right)$ が与えられ $m=2$ である.

本研究では要約タスクの事前学習モデルとして BART モデル [16] を使用する．入力テキストの埋め 込み表現を $\left[e_{\mathrm{BOS}}, e_{w_{1}}, \ldots, e_{w_{n}}, e_{\mathrm{EOS}}\right] \in \mathbb{R}^{d \times(n+2)}$ とす る ( $e_{w}$ は単語 $w$ の埋め込み表現である). 通常の要約タスクではこのテキスト埋め込み表現を BART エ ンコーダに入力することにより要約モデルを学習 する. 提案モデルでは，属性情報を考慮するために テキスト埋め込みと属性埋め込みをエンコーダに 入力する. つまり，感情分類モデルと同様の手法で 獲得した属性埋め込み $\left[a_{1}, \ldots, a_{m}\right] \in \mathbb{R}^{d \times m}$ を使用 ᄂ, $\left[e_{\mathrm{BOS}}, e_{w_{1}}, \ldots, e_{w_{n}}, e_{\mathrm{EOS}}, a_{1}, \ldots, a_{m}\right] \in \mathbb{R}^{d \times(n+2+m)}$ を BART エンコーダに入力する.

## 2.3 追加事前学習

既存研究はターゲットコーパス上での追加の事前学習により，BERT モデルを用いたテキスト分類タスクの性能がさらに向上したと報告してい
る $[17,18]$. 要約タスクにおいても事前学習済みモ デルの学習において追加の事前学習がモデルの性能 の向上に貢献すると報告されている [19]. これらの 研究に倣い，ファインチューニングの前にそれぞれ のタスクの訓練データを用いてマスクトークンの予測による事前学習を行う.

## 2.4 複数の学習率の使用

我々のモデルは事前学習済みモデルのパラメータ と, 追加要素に含まれる未学習のパラメータから構成される. 感情分類タスクでは (emb, $\beta, \gamma, W, b)$ が 追加要素に含まれる未学習のパラメータである．多 くの機械学習モデルではモデル全体に一律の学習率（オプティマイザに与える初期学習率）を設定し て訓練を行っている。しかし，事前学習済みのパラ メータと追加要素のパラメータの両方に対して一律 の学習率を用いて学習を行うことは不適切である可能性がある。つまり，高い学習率を用いてモデル全体を訓練した場合，事前学習済みモデルは壊滅的忘却に陥る。一方，低い学習率を用いた場合は追加要素のパラメータを十分に訓練できない.

この問題に対処するために，図 1,2 に示すように 事前学習済みモデルと追加要素のパラメータに対し て異なる学習率を使用する。つまり，我々は追加要素には $1 \times 10^{-3}$ のような高い学習率を使用し，事前学習モデルには $1 \times 10^{-5}$ のような低い学習率を使用 する. 後に実験で示すように，2 種類の学習率を使用するこの戦略は事前学習済みモデルに追加要素を 組み込んだモデルの性能を大きく改善する。

パラメータごとに異なる学習率を用いるとい うアイデア自体は様々な研究で提案されている. Adagrad [20] や Adam [21] などのオプティマイザは それぞれのパラメータが受けた勾配に基づいて個別 の学習率を設定しているが，一律の初期学習率では モデルの最適化に限界がある. Sun ら [17] は BERT モデルの層ごとに複数の学習率を使用する戦略を提案しているが，追加要素に対しては BERT モデルと 等しい低い学習率を用いている。

## 3 実験

## 3.1 実験設定

ハイパーパラメータ設定，既存手法の説明，デー タセットの統計を含めたより詳細な設定は付録 $\mathrm{A}$ を 参照されたい，それぞれのモデルにおいて追加事前
表 1: 感情分類タスクの実験結果

表 2: 要約タスクの実験結果

学習と複数の学習率を使用する手法を試し，モデル の性能に対する影響を確認する。

感情分類 3 種類のレビューデータセット: IMDB，Yelp 2013，Yelp2014 [1]を用いた。分類の ターゲットはレビュースコアであり，IMDB は 1～ 10 の 10 種類, Yelp では 1 5 の 5 種類である. カ テゴリ属性としてレビューを記載したユーザー の ID と，レビューの対象となる製品の IDを使用した. 事前学習モデルは BERT モデルとして RoBERTa $_{\text {BASE }}$ [22] を使用した. 既存研究と同様に分類の正解率と二乗平均平方根誤差 (RMSE) を報告す る. BERT（属性なし）はテキストのみを BERT モ デルに入力して分類を行うモデルであり，このモデ ルにおいても複数の学習率を試した. つまり, 追加要素である線形層の学習率を, BERT モデルに対す る学習率よりも高い値に設定した。要約 データセットは Amazon のレビューデー タ [2]を使用した. 要約のターゲットはレビューの タイトルである. 感情分類タスクと同様に，ユーザ ID と製品 ID がカテゴリ属性として与えられる。事前学習モデルは $\mathrm{BART}_{\mathrm{BASE}}$ を使用した. 既存研究と 同様に Rouge-1, Rouge-2, Rouge-Lを報告する.

## 3.2 実験結果

表 1 は感情分類タスクにおける実験結果である.我々の提案した BERT ベースの手法が既存手法の 結果を大きく上回り, 最高性能の結果を達成してい る. また，複数の学習率を使用する戦略によってモ デルの性能が大きく向上している。一方，属性情報 を使用せずにテキストのみを使用して BERT モデル で分類を行う場合は，複数の学習率を設定してもモ デルの性能をほとんど向上させることができない. この結果より，複数の学習率を使用する戦略は属性情報を事前学習済みモデルと組み合わせて使用する 際に特に有用であることが分かる。また，追加事前学習は属性情報の有無に関わらずモデルの性能を向上させていることが確認できる.

表 2 は要約タスクにおける実験結果である. 要約 タスクにおいても事前学習済みモデルをべースと した手法が最高精度を達成している。また，感情分類タスクと同様に，複数の学習率を使用する手法と 追加事前学習も性能の向上に寄与していることを 確認できる. 特に，複数の学習率を設定することで Rouge スコアの大幅な上昇が見られる.

図 3: BERT モデルの学習率と正解率の関係

図 4: 追加要素の学習率と正解率の関係

## 3.3 学習率と正解率の関係

図 3 は感情分類データセットの Yelp2013におい て, 追加要素の学習率を $1 \times 10^{-3}$ に固定し, 事前学習済み BERT の学習率のみを変化させた時の正解率 の変化を示したものである．学習率を高くし過ぎる と破滅的忘却もしくはパラメータの発散が発生し,正解率が低下する。一方，学習率を低くし過ぎた場合もパラメータを十分に学習できず，正解率が低下 する. 図 4 は BERT の学習率を $1 \times 10^{-5}$ に固定し,追加要素の学習率のみを変化させた時の正解率の変化を示したものである. 追加要素の学習率が低いと 十分に学習が行われず，正解率が低下することが分 かる。これらの結果より，事前学習済みのパラメー タと追加要素のパラメータのそれぞれに対して学習 に最適な学習率が存在し, 複数の学習率の使用がモ デルの訓練において重要であることが分かる.

## 3.4 パラメータの変化量

学習率の設定によるモデルのパラメータに 対する影響を確認する。事前学習済みモデルの BERT と追加要素のそれぞれに対して，パラメー タの初期状態からの変化量の絶対值の平均值 $\delta_{t}=\frac{1}{|P|} \sum_{p \in P}\left.\|p_{t}-p_{0}\right.\|$ を一定ステップごとに記録す る. ただし $P$ は対象とする要素の全てのパラメータ 集合， $p_{t}$ は訓練中の $t$ ステップ目におけるパラメー タ $p$ の值である。一律の学習率を使用する設定では モデル全体の学習率を $1 \times 10^{-5}$ に設定した. 複数の 学習率を使用する設定では，BERT モデルの学習率

図 5: BERT モデルのパラメータ変化量

図 6: 追加要素のパラメータ変化量

を $1 \times 10^{-5}$ に，追加要素の学習率を $1 \times 10^{-3}$ に設定 した. つまり，BERT モデルの学習率は両方の設定 で固定であり，追加要素の学習率のみが異なる.

図 5 は Yelp2013 データセットにおける BERT モ デルのパラメータ変化量であり，BERT モデルに対 する学習率が一定の場合は追加要素の学習率に関わ らず，パラメータの変化量はほとんど変化しないこ とが分かる。一方，図 6 は追加要素のパラメータ変化量であり，追加要素の学習率を低く設定するとパ ラメータの変化量が小さくなることが分かる．つま り，一律の低い学習率では追加要素のパラメータを 十分に最適化できず，それがモデルの性能向上の足枷になると推測される。

## 4 結論・今後の課題

本研究では事前学習済みモデルに対して属性情報 を組み込むための手法を探求した。感情分類タスク と要約タスクのそれぞれにおいて属性情報を組み込 んだ提案手法は，既存手法の性能を大きく上回り，最高性能を達成した。また，追加要素のパラメータ に対して異なる学習率を設定する戦略は，性能向上 に大きく寄与することを示した.

今後は，属性情報とテキストの相互作用を考慮で きるさらに性能の高いモデルの検討し，他の言語処理タスクにおいても事前学習済みモデルと複数の学習率を用いた手法が性能の向上に寄与するか実験を 重ね，性能向上の要因を更に分析したい.

## 謝辞

本研究は JSPS 科研費 $19 \mathrm{H} 01118$ の助成を受けた.

## 参考文献

[1]Duyu Tang, Bing Qin, and Ting Liu. Learning semantic representations of users and products for document level sentiment classification. In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 1014-1023, 2015.

[2]Hui Liu and Xiaojun Wan. Neural review summarization leveraging user and product information. In Proceedings of the 28th ACM International Conference on Information and Knowledge Management, CIKM '19, p. 2389-2392, 2019.

[3]Li Dong, Shaohan Huang, Furu Wei, Mirella Lapata, Ming Zhou, and Ke Xu. Learning to generate product reviews from attributes. In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics: Volume 1, Long Papers, pp. 623-632, 2017.

[4]Huimin Chen, Maosong Sun, Cunchao Tu, Yankai Lin, and Zhiyuan Liu. Neural sentiment classification with user and product attention. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 1650-1659, 2016.

[5]Dehong Ma, Sujian Li, Xiaodong Zhang, Houfeng Wang, and $\mathrm{Xu}$ Sun. Cascading multiway attentions for document-level sentiment classification. In Proceedings of the Eighth International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 634-643, 2017.

[6]Reinald Kim Amplayo, Jihyeok Kim, Sua Sung, and Seungwon Hwang. Cold-start aware user and product attention for sentiment classification. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2535-2544, 2018.

[7]Zhen Wu, Xin-Yu Dai, Cunyan Yin, Shujian Huang, and Jiajun Chen. Improving review representations with user attention and product attention for sentiment classification. In Proceedings of the Thirty Second AAAI Conference on Artificial Intelligence, pp. 5989-5996, 2018.

[8]J. Zhang and C. Chow. Moca: Multi-objective, collaborative, and attentive sentiment analysis. IEEE Access, Vol. 7, pp. 10927-10936, 2019.

[9]Zi-Yi Dou. Capturing user and product information for document level sentiment analysis with deep memory network. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 521-526, 2017.

[10]Yunfei Long, Mingyu Ma, Qin Lu, Rong Xiang, and ChuRen Huang. Dual memory network model for biased product review classification. In Proceedings of the 9th Workshop on Computational Approaches to Subjectivity, Sentiment and Social Media Analysis, pp. 140-148, 2018.

[11]Zhigang Yuan, Fangzhao Wu, Junxin Liu, Chuhan Wu, Yongfeng Huang, and Xing Xie. Neural review rating prediction with user and product memory. In Proceedings of the 28th ACM International Conference on Information and Knowledge Management, p. 2341-2344, 2019.

[12]Jihyeok Kim, Reinald Kim Amplayo, Kyungjae Lee, Sua Sung, Minji Seo, and Seung-won Hwang. Categorical metadata representation for customized text classification. Trans- actions of the Association for Computational Linguistics, Vol. 7, pp. 201-215, 2019.

[13]Reinald Kim Amplayo. Rethinking attribute representation and injection for sentiment classification. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 5602-5613, 2019.

[14]Alec Radford, Karthik Narasimhan, Tim Salimans, and Ilya Sutskever. Improving language understanding by generative pre-training. Technical report, 2018.

[15]Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 41714186, 2019.

[16]Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising sequence-tosequence pre-training for natural language generation, translation, and comprehension. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7871-7880, 2020.

[17]Chi Sun, Xipeng Qiu, Yige Xu, and Xuanjing Huang. How to fine-tune bert for text classification? In Maosong Sun, Xuanjing Huang, Heng Ji, Zhiyuan Liu, and Yang Liu, editors, Chinese Computational Linguistics, pp. 194-206, 2019.

[18]Alexander Rietzler, Sebastian Stabinger, Paul Opitz, and Stefan Engl. Adapt or get left behind: Domain adaptation through BERT language model finetuning for aspect-target sentiment classification. In Proceedings of the 12th Language Resources and Evaluation Conference, pp. 4933-4941, 2020.

[19]Xingxing Zhang, Furu Wei, and Ming Zhou. HIBERT: Document level pre-training of hierarchical bidirectional transformers for document summarization. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 5059-5069, 2019.

[20]John Duchi, Elad Hazan, and Yoram Singer. Adaptive subgradient methods for online learning and stochastic optimization. Journal of Machine Learning Research, Vol. 12, No. 61, pp. 2121-2159, 2011.

[21]Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In Yoshua Bengio and Yann LeCun, editors, International Conference on Learning Representations, 2015.

[22]Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. RoBERTa: A robustly optimized BERT pretraining approach. arXiv preprint, Vol. arXiv:1907.11692, p. (15 pages), 2019.

[23]Nitish Shirish Keskar, Bryan McCann, Lav R. Varshney, Caiming Xiong, and Richard Socher. CTRL: A conditional transformer language model for controllable generation. arXiv preprint, Vol. arXiv:1909.05858, p. (18 pages), 2019.
表 3: データセットの統計

## A 詳細な実験設定

データセットの統計を表 3 に示す. オプティマ イザとして Adam オプティマイザ [21]を使用し, $\beta_{1}=0.9, \beta_{2}=0.999, \epsilon=10^{-6}, \mathrm{~L} 2$ 正則化係数は 0.01 である. 学習率は訓練ステップ数の最初の $6 \%$ で ウォームアップさせ，その後線形に減衰させた. ド ロップアウト率は 0.1 , 属性埋め込みを含めた全て の次元数は 768 である. つまり, $d=d_{\mathrm{a}}=768$ であ る. ファインチューニングでは両タスクにおいて バッチサイズを 8 , 入力テキストの最大トークン数 を 512 に設定した. 入力テキストが 510 トークン1) より長い場合は Sun ら [17] の手法に倣い，最初の 128 トークンと最後の 382 トークンを抽出し，これ を大力テキストとして使用した.

感情分類 BERT モデルの学習率は $1 \times 10^{-5}$, 追加要素の学習率は $1 \times 10^{-3}$ を設定し, 一律な学習率 を使用する設定では $2 \times 10^{-5}$ を使用した. 追加事前学習ではバッチサイズを 32 , 学習率を $5 \times 10^{-5}$, 入力テキストの最大トークン数を 128 , エポック数を 20 に設定した. エポック数は $\{2,3,4,5\}$ の候補の中 から最適な值を探索し, IMDB, Yelp 2013 では 3 回, Yelp 2014 では 2 回のエポック数を使用した. 以下 に既存手法を示す.

CMA [5] はテキストエンコーダとして階層的な LSTM を使用しており，2 段階の注意機構を使用し てカテゴリ属性を組み込んでいる。

RRP-UPM [11] はテキストエンコーダとして LSTM と CNNを組み合わせた階層的なモデルを使用して いる。また，メモリーネットワーク機構を使用して 獲得した属性埋め込み表現を注意機構によってエン コーダに組み込んでいる。

MOCA [8] は注意機構と多層パーセプトロンを使用 し, LSTM モデルによって獲得されたテキスト分散表現と属性埋め込みの相互作用を捉えている。ま

表 4: 各追加要素に対する高い学習率による影響

た，損失関数としてレビュースコアの分類による損失と回帰による損失の和を使用している.

要約 BART モデルの学習率は $2 \times 10^{-5}$, 追加要素の学習率は $4 \times 10^{-3}$ を設定し, 一律な学習率を使用する設定では $1 \times 10^{-4}$ を使用した. 追加事前学習ではバッチサイズを 16 , 学習率を $2 \times 10^{-5}$, 最大 トークン数を 128 ，エポック数を 20 に設定した. エ ポック数は $\{2,3,4,5\}$ の候補の中から最適な値を探索し, 2 回のエポック数を使用した. 要約生成時の ビームサイズは 2 , 生成要約長に対するペナルティ (length penalty) は 1.3, 同じ単語の繰り返しに対する ペナルティ (repetition penalty) [23] は 3.0 である. 以下に既存手法を示す.

AttrEnc [2] は属性埋め込みとテキスト埋め込みの結合を LSTM エンコーダに入力することで属性情報を 組み込んでいる。

MemAttr [2] は属性情報をメモリーネットワークで 埋め込み, Pointer-generator 機構により属性埋め込み をLSTM モデルに組み込んでいる。

## B 追加要素に対する高い学習率の 使用による影響

表 4 は感情分類データセットの Yelp2013 におい $\tau$, 追加要素 (属性埋め込み層, 正規化層, 線型層) の一部に対して高い学習率 $\left(1 \times 10^{-3}\right)$, その他の要素 に対しては低い学習率 $\left(1 \times 10^{-5}\right)$ を設定した時の性能を示したものである. 全ての追加要素について,高い学習率を使用することで正解率が向上すること が確認できる. しかし, 一つの要素の学習率を高く しただけでは正解率の向上は小さく, 全ての追加要素に対する学習率を高くした場合の正解率が最も高 い.この結果より, 全ての追加要素のパラメータは 高い学習率で訓練する必要があり，それによってモ デル全体の十分な訓練が可能であることが分かる.


# 依存構造から句構造への変換による多言語モデリングに向けて

神藤駿介†態地宏ま宮尾祐介†
$\dagger$ 東京大学大学院 情報理工学系研究科
産業技術総合研究所人工知能研究センター
\{kando.s, yusuke\}@is.s.u-tokyo.ac.jp
\{s-kandou, hiroshi.noji\}@aist.go.jp

## 1 はじめに

伝統的に自然言語は階層構造を有していると言 われており、自然言語理解においてはその構造の把握が重要であるとされている。近年は言語モデルの 発達が著しいが、それらが自然言語の階層構造を十分に捉えているとは限らず、正確な自然言語理解が 出来ているかは議論の余地がある。Linzen ら [1] は、統語構造の把握を要するタスクを定義することでモ デルの統語構造把握能力の検証を試みている。Hu ら [2] はそのようなテストを多数含むベンチマーク を提案し、LSTM 言語モデルはパープレキシティの 面では高い性能を有しつつも、統語構造の把握能力 は低いことを示している。この問題を解決する手段として、Recurrent Neural Network Grammar (RNNG, [3]) のように学習の際に句構造の情報を活用するこ とが考えられる。RNNG は [2]においても高い統語構造把握能力を有していることが示されている。

現状 RNNG は英語のテキストを元に学習された モデルによる研究がほとんどであり、あらゆる言語 で同じような性能を発揮するかは分かっていない。 そのため、RNNG を多言語でモデリングし調査する ことには意義がある。その実現にあたり、代表的 な多言語ツリーバンクである Universal Dependencies (UD, [4])を活用することが考えられるが、UD は依存構造注釈付きのツリーバンクであるため、RNNG の学習に活用するためには言語非依存ななんらかの 方法で句構造へ変換する必要がある。

そこで本研究では、依存構造から句構造への変換手法を複数試し、RNNG の学習においてどのような 構造が適するかを比較・検討する。今回はそれらの 変換手法をUD のアノーテーション形式に基づいた 英語と日本語のツリーバンクに適用してモデルの学習を行った。これに加え、代表的な句構造ツリーバ ンクである Penn Treebank (PTB, [5]) での学習も行っ
た。これらのモデルのパープレキシティを評価する ことで、各変換手法の質の比較・検討を行った。さ らに、英語を元にしたモデルに関しては統語構造把握能力の評価を行った。実験を通して、依存構造を ある種の句構造へ変換することで、PTB で学習した モデルに匹敵する性能を持つモデルが構築できる ことを示した。この変換は言語非依存であるため、 UD のあらゆる言語のツリーバンクに対して適応可能であり、本研究の拡張性を見込むことができる。

## 2 関連研究

## 2.1 Recurrent Neural Network Grammar

RNNG [3] は句構造生成モデルであり、単語列 $\boldsymbol{x}$ と句構造 $\boldsymbol{y}$ の同時確率分布 $p(\boldsymbol{x}, \boldsymbol{y})$ を推定すること で、言語モデルと句構造解析器を同時に学習するこ とを目指す。 $p(\boldsymbol{x}, \boldsymbol{y})$ は、 $\boldsymbol{y}$ を得る句構造解析のアク ション列 $\boldsymbol{a}=\left(a_{1}, a_{2}, \cdots, a_{n}\right)$ を用いて次のように推定 する：

$
p(\boldsymbol{x}, \boldsymbol{y})=\prod_{t=1}^{n} p\left(a_{t} \mid a_{1}, \cdots, a_{t-1}\right)
$

RNNG は、 $\arg \max _{\boldsymbol{y}} p(\boldsymbol{y} \mid \boldsymbol{x})$ を計算することで句構造解析器として、 $p(\boldsymbol{x})=\sum_{\boldsymbol{y}} p(\boldsymbol{x}, \boldsymbol{y})$ を計算すること で言語モデルとして活用することができる。これら の確率を解析的に求めることは難しく、様々な推定法が提案されている $[3,6,7]$ 。

RNNG は句構造解析器や言語モデルとして高い性能を持つだけでなく、統語構造の把握能力が高いこ と [8]、人間の認知モデルとしての妥当性が高い [9] など、様々な利点が報告されている。

## 2.2 依存構造から句構造への変換

自然言語の構文構造を表現する主要な枠組みとし て、依存構造と句構造がある。両者は異なる構造で

(a) flat
(b) left-first
(c) right-first

図 1 依存構造から句構造への変換アルゴリズム

図 2 非終端記号ラベルの付け方

ありながら互いに関連し合っており、一方から他方 へ変換する手法に関する研究も幅広く行われてい る。依存構造から句構造への変換手法は大きく分け て以下の二つである：

1. 句構造ツリーバンクを外部知識として活用し、 data-driven に変換器を構築する手法 $[10,11]$

2. 外部知識を用いず、依存構造から一定のアルゴ リズムによって変換する手法 $[12,13]$

1. はより頑健で精度の高い変換を可能とするが、依存構造単体から変換することが出来ない。一方 2. は依存構造単体から変換できるが、得られた構造が 妥当なものであるかについては疑問の余地が残る。

本研究はUDを活用した多言語のモデリングを目標としているため、1. のように対応する句構造ツ リーバンクを要する手法は相性が悪い。そのため、 2.の手法をべースにした変換を行う。

## 3 変換手法

依存構造を句構造へ変換するにあたり、[13] で紹介されている 3 つのアルゴリズムを利用した。これ に加え、句構造の非終端記号ラベルの付け方につい ても 3 通り試した。すなわち、合計で $3 \times 3=9$ 通り の変換手法を試した。

図 1 に 3 つの変換アルゴリズムの概略を示す。こ れらのアルゴリズムは全てトップダウンに句構造を 形成するものであり、以下のような共通の取り決め
を設ける：

・はじめに、主辞に対応する非終端記号 $\mathrm{NT}_{\text {like }}$ を 導入する。
- 依存構造上の子を句構造に導入する際は、 $\mathrm{NT}_{\mathrm{I}}$ や $\mathrm{NT}_{\text {music }}$ のように、対応する非終端記号を導入する。

・現在注目している語について、依存構造上に子 が存在しないときは、その語を終端記号として 導入する。

以下、ある単語（ここでは主辞 like）の左右に子 が存在しているケースを元にして各アルゴリズムの 動作を説明する。(a) flat では、現在注目している単語 like とその子を全て一度に句構造における子とす る。この変換においては、各非終端記号は任意の個数の子を持つことができ、全体として平らな構造に なりやすい。(b) left-first では、単語の左右に子が存在する場合に、左の子から順に句を形成する。すな わち、まず $\mathrm{NT}_{\mathrm{I}}$ を左の子として導入し、終端記号 I の導入が完了した後に、右の子 $\mathrm{NT}_{\text {music }}$ を導入する。 (c) right-first は (b) と逆に、右の子から順に句を形成 する。(b) (c) においては、完成する句構造は完全二分木となる。

非終端記号ラベルの付け方は図 2 の通りで、それ ぞれラベルとして X、POS タグ、依存ラベルを使用 する。

## 4 実験設定

本研究の目標は、3 で紹介した手法で依存構造を 句構造に変換して得られたツリーバンクを用いて RNNG を学習し、その性能を比較し、変換の妥当性 を検証することである。そのために以下のような実験設定を施した。

## 4.1 データセット

依存構造ツリーバンクとして、UD の English-EWT 及び Japanese-GSD を使用した。これに加え、伝統的な句構造ツリーバンクである Penn Treebank (PTB) と、それをUD 形式の依存構造ツリーバンクに変換 したもの (PTB-to-UD) も使用した。PTB-to-UDを得 るにあたっては [14]の手法を活用した。PTB-to-UD に対して句構造への変換を施したツリーバンクと純粋な PTB との結果を比較することで、変換アルゴリ ズムの妥当性を検証する。

データセットの統計情報（訓練・検証・テスト セットの文章数、及び語彙数）を表 1 に示す。語彙 については、訓練データ中で 2 回以上出現した語を 使用した。なお、本研究においては依存構造が交差 を含むようなデータは除外している。これは、交差 を含む依存構造においては我々の変換アルゴリズム が正常に動作しないためである。今回用いたツリー バンクに関しては、交差を含むデータは $1 \%$ も満 たなかったため、大きな影響は無いと判断した。

## 4.2 学習の詳細

RNNG の学習においては、基本的には元論文 [3] と同様のハイパーパラメータを使用した。最適化 で用いるアルゴリズムを変えており、元論文では 学習率 0.1 の確率的勾配降下法を用いているが、本研究では学習率 0.001 の Adam を用いた。学習の エポック数は、English-EWT 及び Japanese-GSD では 18、PTB 及び PTB-to-UD では 40 とした。

## 4.3 評価

本研究では、モデルの言語モデルとしての性能、及び統語構造把握能力の両面で評価を行った。言語 モデルとしての性能は、各データセットの検証デー タにおけるパープレキシティ (ppl)を評価指標と した。ppl の算出においては word-synchronous beam search [6] を採用し、ビーム幅 $k=100$ 、単語ビーム 幅 $k_{w}=10$ 、fast-track 数 $k_{s}=1$ とした。

図 3 SyntaxGym のテスト例（一致）

統語構造把握能力は、[2] で提案されているべンチ マーク (SyntaxGym)を用いて評価した。SyntaxGym は、英語テキストの統語構造の把握を必要とする 34 のテストをまとめたものであり、取り扱って いる言語現象に応じて Agreement (一致) や Center Embedding（中央埋め込み）などと言った 6 つのカ テゴリに分類される。図3 に一致のテストの一例を 示す。この例では、下線部の動詞の予測確率を比較 し、 $P($ knows $)>P($ know $)$ となれば正解とみなす。本研究では 6 つの各カテゴリについての精度を報告す る。ランダムベースラインは各テストによって異な るが、総じて $25 \%$ 以下となっている。

## 5 結果と議論

## 5.1 言語モデルとしての性能 (ppl) の比較

図 4 に各ツリーバンクで学習したモデルのパー プレキシティを示した。変換アルゴリズムに依る差 を見ると、どのツリーバンクにおいても ppl の值は flat、left-first、right-first の順で大きくなる。すなわ ち、言語モデルの性能としては flat が最善であるこ とが分かる。これは、left-first や right-first の変換を 施すと句構造は完全二分木となるため、句構造が深 くなりやすく、構文解析のアクションが煩雑かつ大量になることに起因すると思われる。

以下、flatな変換に注目してラベルの付け方に依 る差を考察する。英語テキストに関してはどのラベ ルを用いても pplには差がないが、日本語テキスト の場合は X、POS、DEP の順で大きくなる。日本語 テキストは図6 のような左枝分かれ構造になりやす いため、トップダウンな句構造解析においてははじ めに非終端記号を複数導入する必要があり、解析が 難しくなる。そのため、非終端記号の導入時のラべ ルの選択肢が少ない順（X、POS、DEP の順）が ppl に反映されていると考えられる。

注目すべきは、PTB-to-UDをflatなアルゴリズム を用いて変換して学習に用いた場合、その $\mathrm{ppl}$ は純粋な PTB で学習したモデルの ppl とほぼ同程度であ る点である。RNNGの言語モデルとしての性能は、

図 4 パープレキシティ (ppl) の比較。PTB-to-UD における点線は、PTB で学習したモデルの ppl (105)を示す。

図 5 SyntaxGym を用いた統語構造把握能力の測定結果

図 6 Japanese-GSD を句構造に変換した出力例

元々句構造ツリーバンクとして作成された PTBを 使っても、依存構造から flat な句構造に変換して得 られたツリーバンクを使ってもほぼ変わらないこと を示している。

## 5.2 統語構造把握能力の比較

5.1 では、PTB と PTB-to-UD を flat な構造に変換 したツリーバンクとで得られるモデルの言語モデル としての性能差はほぼ無いことを示した。では、こ れらのモデルの統語構造把握能力にはどのような 差があるだろうか。図 5 に、両モデルの SyntaxGym における評価の結果を示した。図から分かる通り、全体として PTB-to-UDを元に得たモデルは PTBを 元に得たモデルに匹敵する精度を記録している。特 に、ラベルの付け方として POS を選択した場合、全 ての評価カテゴリにおいて PTB をベースにしたも のと同じかそれ以上の性能を示している。各ラベル付け手法についても性能を比較すると、 Garden-Path Effects を除く全てのカテゴリにおいて POS と DEP がXより高い性能を示している。この ことから、三者は $\mathrm{ppl}$ の側面ではほとんど差がな かったが、統語構造把握能力に関してはラベルを明確に導入した方が性能が高まると言える。

## 6 終わりに

本研究では、依存構造を句構造に変換する複数の 手法を試して RNNG を学習し、その性能を比較・検討した。特に、flat な句構造に変換して学習に用い ることで、PTB 形式の句構造を元に学習したモデル と同等かそれ以上の性能を誇るモデルが構築でき ることを示した。変換アルゴリズムは言語非依存に 適用可能であるため、今後 UD のあらゆる言語のツ リーバンクに対して同様の実験を行い、本研究の手法の適用範囲を調査していきたい。多言語での実験 においては、統語構造把握能力の評価がネックとな る。例えば [15]に紹介されている手法を用いること が考えられる。また、今回施した変換は言語非依存 ではあるもののかなりナイーブである。多言語に適用可能で、なおかつ得られるモデルの性能がより向上するような変換手法に関しても調査を続けていき たい。句構造解析ではなく依存構造解析を用いたモ デリングも提案されており [16]、この手法との比較 も今後行っていきたい。

## 参考文献

[1] Tal Linzen, Emmanuel Dupoux, and Yoav Goldberg. Assessing the ability of 1stms to learn syntax-sensitive dependencies. TACL, Vol. 4, pp. 521-535, 2016.

[2] Jennifer Hu, Jon Gauthier, Peng Qian, Ethan Wilcox, and Roger Levy. A systematic assessment of syntactic generalization in neural language models. In $A C L, 2020$.

[3] Chris Dyer, Adhiguna Kuncoro, Miguel Ballesteros, and Noah A. Smith. Recurrent neural network grammars. In NAACL HLT, 2016.

[4] Joakim Nivre, Marie-Catherine de Marneffe, Filip Ginter, Jan Hajic, Christopher D. Manning, Sampo Pyysalo, Sebastian Schuster, Francis M. Tyers, and Daniel Zeman. Universal dependencies v2: An evergrowing multilingual treebank collection. CoRR, Vol. abs/2004.10643, , 2020.

[5] Mitchell P. Marcus, Grace Kim, Mary Ann Marcinkiewicz, Robert MacIntyre, Ann Bies, Mark Ferguson, Karen Katz, and Britta Schasberger. The penn treebank: Annotating predicate argument structure. In Human Language Technology, Proceedings of a Workshop, 1994.

[6] Mitchell Stern, Daniel Fried, and Dan Klein. Effective inference for generative neural parsing. In $E M N L P, 2017$.

[7] Benoît Crabbé, Murielle Fabre, and Christophe Pallier. Variable beam search for generative neural parsing and its relevance for the analysis of neuro-imaging signal. In EMNLP-IJCNLP, 2019.

[8] Adhiguna Kuncoro, Chris Dyer, John Hale, Dani Yogatama, Stephen Clark, and Phil Blunsom. Lstms can learn syntax-sensitive dependencies well, but modeling structure makes them better. In $A C L$.

[9] John Hale, Chris Dyer, Adhiguna Kuncoro, and Jonathan Brennan. Finding syntax in human encephalography with beam search. In Iryna Gurevych and Yusuke Miyao, editors, $A C L, 2018$.

[10] Lingpeng Kong, Alexander M. Rush, and Noah A. Smith. Transforming dependencies into phrase structures. In NAACL HLT, 2015.

[11] Young-Suk Lee and Zhiguo Wang. Language independent dependency to constituent tree conversion. In COLING, 2016.

[12] Fei Xia and Martha Palmer. Converting dependency structures to phrase structures. In $H L T, 2001$

[13] Michael Collins, Jan Hajic, Lance A. Ramshaw, and Christoph Tillmann. A statistical parser for czech. In ACL, 1999.

[14] Sebastian Schuster and Christopher D. Manning. Enhanced english universal dependencies: An improved representation for natural language understanding tasks. In LREC, 2016.

[15] Aaron Mueller, Garrett Nicolai, Panayiota Petrou-Zeniou, Natalia Talmina, and Tal Linzen. Cross-linguistic syntactic evaluation of word prediction models. In ACL, 2020.

[16] Austin Matthews, Graham Neubig, and Chris Dyer. Comparing top-down and bottom-up neural generative dependency models. In CoNLL, 2019.


# 動画の談話構造解析

福島健司 $\dagger$ 平尾努 $\S$ 上垣外英剛 $\dagger$ 奥村学 $\dagger$ 永田昌明 $\S$
†東京工業大学 §NTTコミュニケーション科学基礎研究所
\{fukuken@lr., kamigaito@lr., oku@\}pi.titech.ac.jp
\{tsutomu.hirao.kp, masaaki.nagata.et\}@hco.ntt.co.jp

## 1 はじめに

テキストを構成する文や節の間には「因果」や 「対比」などの何らかの関係が成り立っており，こ うした関係に基づきテキストを構造化したものを 談話構造という。談話構造をあらわす理論として，修辞構造理論 (Rhetorical Structure Theory: RST) [1] が よく用いられる．RSTではテキストは，終端記号が Elementary Discourse Unit (EDU) という節相当の談話単位, 非終端記号が EDU によって構成されるテキ ストスパンの核性1)，枝がスパン間の修辞関係をあ らわす句構造木として表現される。つまり，修辞構造はテキストがあらわすイベント間の関係を木構造 として表現したものとして捉えることができる.

一方，テキストとして記述されたイベントの多く は実世界での出来事と結びついている2)。よって, それを記録した映像，つまり，動画にもテキストと 同様に修辞構造が存在すると考えられる. 動画の修辞構造を解析できるようになれば，一貫性の高い動画要約や動画内容理解の支援などアプリケーション の高度化に貢献できる.

本研究では, 動画の修辞構造解析の第一歩とし て，動画とそれに含まれるイベントに対してキャプ ションとその修辞構造の注釈を与えたベンチマーク データセットを構築し, 既存の修辞構造解析手法を ベースとして動画の修辞構造解析がどの程度可能か を検証する。

図 1 に動画の修辞構造木の例を示す. 動画は時間情報を伴ったイベントに分割され，分割されたイベ ントにはその内容をあらわすキャプション (文)が 付与される. 動画修辞構造木は, 終端記号がイベン ト，つまり動画中の区間とそれに対応するキャプ

1）修辞関係で結びついた 2 つのスパンのうち，主となる役割 を担うスパンが核 (Nucleus)，補助的な役割を担うスパンが衛星 (Satellite) となる.

2）もちろん，テキストで記述されるイベントのすべてが実世界のイベントと結びっいているわけではない.

s1. some guys are lying down and many people are assembled around them. s2. a man speaks to the cloud with a microphone and the crowd clap their hands. s3. another man run and jump over the guys and a cheer goes up from the crowd.

図 1 動画に対する修辞構造木. 動画は https://youtu.be/coKW897eLyg より得た.

ション文，非終端記号がイベントとキャプション文 がなすスパンの核性，枝が 2 つのスパン間の修辞関係をあらわす木である.テキストの修辞構造木で は終端記号は文よりも小さい EDU であるが，動画修辞構造の場合は，イベントを終端記号とするの で，文が談話構造の最小単位になることに注意され たい.

## 2 関連研究

動画をイベントに分割し，それぞれのイベントが 支配する区間に対しキャプションを与えるという 試みは Dense Video Captioning (DVC) と呼ばれ，コン ピュータビジョン分野で研究が盛んに行われてお り，いくつかのベンチマークデータセットが整備さ れている。そのなかでも， ActivityNet Captions ${ }^{3)}$ は 最大規模のデータセットである。人間の動作を含む YouTube の 2 万動画に対しイベント分割とイベント に対するキャプション文を与えたデータセットで

図 2 映像特徴量のモデルへの導入方法

あり, ActivityNet Challenge4)でのシェアドタスクの データとして用いられていることから，このデータ を用いた DVC の研究が盛んに行われている。なお， 1 つの動画は平均 3.67 個のイベントに分割される. つまり，1つの動画に与えられるキャプション文は 平均で 3.67 文となる. また, 1 つのイベントは平均 36 秒となっている. ただし，DVC は動画中のイベ ント同定とキャプション付与が目的であるため, 修辞構造の注釈は与えられていない。つまり，動画中 のイベントに修辞構造の注釈を与えたデータセット は現状では存在しない.

一方，本研究と同様に動画の修辞構造解析を目的 とした研究として [2] がある. この研究では, 動画 のキャプションに対して修辞構造木を推定した後, キャプション文とそれに該当する動画中の区間の割 り当てを行うことで動画の修辞構造木を推定する。

[2] では，このタスクのためのデータセットを整備 していないため, 得られた修辞構造木の妥当性は不明である。 さらに，修辞構造解析を，キャプション テキストのみを対象に行っているので，技術として はテキスト修辞構造解析そのものであり，動画から 得られる特徴の利用が考慮されていない。

## 3 提案手法

近年，ニューラルネットワークを用いたテキスト 修辞構造解析手法の研究が盛んに行われており, そ の性能が飛躍的に向上している. 本研究では，テキ スト修辞構造解析のベンチマークデータセットであ る RST-DT [3] を用いた評価結果で良い結果を残し た Kobayashi らの解析器 [4] (Span-based Parser: SBP) をべースとして，キャプション文から得られる特徴 とイベント区間から得られる特徴を同時に利用する

4) http://activity-net.org
ビデオ修辞構造解析手法を提案する．SBP は，イベ ントが構成するスパンを入力として，それを再帰的 に分割することで木を構築し，分割した 2 つのスパ ンの核性と関係ラベルをそれぞれ3クラス，18クラ スの分類問題を解くことで決定する。

## 3.1 イベントのベクトル表現

本研究では，SBP で利用するスパン(イベント系列)ベクトルをイベントに与えられたキャプション 文とイベントに含まれる動画区間のフレームから得 た画像特徴量の双方を連結することで生成する. こ のベクトル表現を得るためのニューラルネットワー クの構造を図 2 に示す.

まず，キャプション文内の各単語において， GloVe[5], ELMo[6] から得た単語ベクトルを結合す る. 次に，それらに BiLSTM と Selective Gate[7]を適用して文の表現ベクトルを得る. $j$ 番目の単語の内部表現ベクトルは，前向きLSTM ( $\overrightarrow{\mathrm{LSTM}})$ と後向き

$
\begin{aligned}
\overrightarrow{\mathbf{h}_{j}^{w}} & =\overrightarrow{\operatorname{LSTM}}\left(\mathbf{h}_{j-1}^{w}, \mathbf{w}_{j}\right), \overleftarrow{\mathbf{h}_{j}^{w}}=\overleftarrow{\operatorname{LSTM}}\left(\overleftarrow{\mathbf{h}_{j+1}^{w}}, \mathbf{w}_{j}\right) \\
\mathbf{h}_{j}^{w} & =\left[\overrightarrow{\mathbf{h}}_{j}^{w} ; \overleftarrow{\mathbf{h}}_{j}^{w}\right]
\end{aligned}
$

$\mathbf{w}_{j}$ は $j$ 番目の単語に対する ELMo と Gloveのべク トルを結合したものである. キャプション文の単語数を $n$ とすると, Selective Gate は $j$ 番目の単語の内部表現 $\mathbf{h}_{j}^{w}$ と文脈ベクトル $\mathbf{s}=\left[\mathbf{h}_{n}^{w} ; \mathbf{h}_{1}^{w}\right]$ を受け取り，新たな $\mathbf{h}_{j}^{w^{\prime}}$ を生成する.

$
\begin{aligned}
\mathbf{s G a t e}_{j} & =\sigma\left(\mathbf{W}_{s} \mathbf{h}_{j}^{w}+\mathbf{U}_{s} \mathbf{s}+\mathbf{b}_{s}\right), \\
\mathbf{h}_{j}^{w^{\prime}} & =\mathbf{h}_{j}^{w} \odot \mathbf{s G a t e}_{j} .
\end{aligned}
$

$\mathbf{W}_{s}$ と $\mathbf{U}_{s}$ は重み行列， $\mathbf{b}_{s}$ はバイアスベクトル， $\sigma$ は シグモイド関数，๑は要素積をそれぞれあらわす。 そして,$i$ 番目のイベントの文ベクトル $\mathbf{t}_{i}$ を以下の
式で定義する。

$
\mathbf{t}_{i}=\frac{1}{\mathrm{n}} \sum_{j=1}^{n} \mathbf{h}_{j}^{w^{\prime}}
$

映像特徴量としては，動画から一定時間ごとに切 り出したフレームの特徴量を利用する。イベントの 動画区間に含まれる特徵量の総数を $m$ としたとき，前向きLSTM と後向き LSTMを用い，イベントの映像ベクトル $\mathbf{e}_{i}$ を以下の式で定義する。

$
\begin{aligned}
& \overrightarrow{\mathbf{h}_{j}^{v}}=\overrightarrow{\operatorname{LSTM}}\left(\overrightarrow{\mathbf{h}}_{j-1}^{v}, \mathbf{v}_{j}\right), \overleftarrow{\mathbf{h}_{j}^{v}}=\overleftarrow{\operatorname{LSTM}}\left(\overleftarrow{\mathbf{h}}_{j+1}^{v}, \mathbf{v}_{j}\right), \\
& \mathbf{h}_{j}^{v}=\left[\overrightarrow{\mathbf{h}_{j}^{v}} ; \overleftarrow{\mathbf{h}_{j}^{v}}\right] \\
& \mathbf{e}_{i}=\left[\mathbf{h}_{m}^{v} ; \mathbf{h}_{1}^{v}\right]
\end{aligned}
$

ここで， $\mathbf{v}_{j}$ は $\mathrm{j}$ 番目の映像特徴量である. $\mathbf{t}$ と にそれぞれスカラー重み $\mathscr{W}_{t}, \mathscr{W}_{e}$ を乗じて結合することで 1 つのイベントに対するベクトル $\mathbf{u}_{i}=\left[\mathscr{W}_{t} \mathbf{t}_{i} ; W_{e} \mathbf{e}_{i}\right]$ を得る. 次に，これを再度 BiLSTM に入力し, 以下のイベントに対する隠れ状態ベクト ル $\mathbf{f}_{j}, \mathbf{b}_{j}$ を得る.

$
\mathbf{f}_{j}=\overrightarrow{\operatorname{LSTM}}\left(\mathbf{f}_{j-1}, \mathbf{u}_{j}\right), \quad \mathbf{b}_{j}=\overleftarrow{\operatorname{LSTM}}\left(\mathbf{b}_{j+1}, \mathbf{u}_{j}\right)
$

最終的に $i$ 番目のイベントから $j$ 番目のイベントの スパンをあらわすべクトル $\mathbf{u}_{i: j}$ を次式で定義する。

$
\mathbf{u}_{i: j}=\left[\mathbf{f}_{j}-\mathbf{f}_{i-1} ; \mathbf{b}_{i-1}-\mathbf{b}_{j}\right] .
$

## 3.2 解析モデル

スパンを $k(i<k<j)$ 番目のイベント区間で分割 するかを判定するスコアは以下の式で定義される。

$
\mathrm{s}_{\text {split }}(i, j, k)=\mathbf{h}_{i: k}^{\top} \mathbf{W}_{u} \mathbf{h}_{k+1: j}+\mathbf{d}_{l}^{\top} \mathbf{h}_{i: k}+\mathbf{d}_{r}^{\top} \mathbf{h}_{k+1: j} .
$

$\mathbf{W}_{u}$ は重み行列， $\mathbf{d}_{l}$ と $\mathbf{d}_{r}$ は重みベクトルである。ま た， $\mathbf{h}_{i: k}$ と $\mathbf{h}_{k+1, j}$ は以下の式で定義される.

$
\begin{aligned}
\mathbf{h}_{i: k} & =\operatorname{MLP}_{\text {left }}\left(\mathbf{u}_{i: k}\right), \\
\mathbf{h}_{k+1: j} & =\operatorname{MLP}_{\text {right }}\left(\mathbf{u}_{k+1: j}\right) .
\end{aligned}
$

$\mathrm{MLP}_{*}$ は多層パーセプトロンを表し，一層の順伝播型ニューラルネットワークと，活性化関数に ReLU 関数を用いる。そして，関数 $\mathrm{s}_{\text {split }}$ を最大とする $\hat{k} て ゙ ~$ スパンを分割する。

$
\hat{k}=\underset{\mathrm{k} \in\{i, \ldots, j-1\}}{\arg \max }\left[\mathrm{s}_{\text {split }}(i, j, k)\right] .
$

スパン $(i, j)$ を $k$ で分割した 2 つのスパン間に付与 する核性ラベルと関係ラベルのスコア $\mathrm{s}_{\mathrm{label}}(i, j, k, \ell)$ は以下の式で定義される。

$\mathrm{S}_{\text {label }}(i, j, k, \ell)=\mathbf{W}_{\ell} \operatorname{MLP}\left(\left[\mathbf{u}_{i: k} ; \mathbf{u}_{k+1: j} ; \mathbf{u}_{1: i} ; \mathbf{u}_{j: n}\right]\right)$. $\mathbf{W}_{\ell}$ は重み行列である. そして，以下の式でラベル が選択される。

$
\hat{\ell}=\underset{\ell \in L}{\arg \max }\left[\mathrm{s}_{\text {label }}(i, j, l, \ell)\right] .
$

$L$ は，核性ラベル推定の際には $\{\mathrm{N}-\mathrm{S}, \mathrm{S}-\mathrm{N}, \mathrm{N}-\mathrm{N}\}$ ，関係ラベル推定の際には 18 種類の修辞関係ラベルの 集合をそれぞれをあらわす。

そして，すべてのパラメタは正解の分割 $k^{*}$ と正解ラベル $\ell^{*}$ に対し, 以下の損失の最小化により最適化される。

$
\begin{aligned}
& \max \left(0,1+\mathrm{s}_{\text {split }}\left(i, j, k^{*}\right)-\mathrm{s}_{\text {split }}(i, j, \hat{k})\right) \\
& +\max \left(0,1+\mathrm{s}_{\text {split }}\left(i, j, k^{*}, \ell^{*}\right)-\mathrm{s}_{\text {split }}\left(i, j, k^{*}, \hat{\ell}\right)\right) .
\end{aligned}
$

## 4 実験

## 4.1 データセット

上で述べた ActivityNet Captions の検証用データ セット中のデータ 339 件に対し，人手で修辞構造の 注釈を与えたデータセット（Activity-RST）を作成し た.なお，注釈付けは RST-DT 作成時に利用された マニュアル ${ }^{5}$ に従った. 表 1 に，1文書あたりの文数, 修辞構造木の深さを, RST-DT との比較で示す. Activity-RST の木は RST-DT の木と比ベノード数が 少なく，階層が浅い．RST-DT の核性ラベルの頻度 は，N-S が 5079，N-Nが 1851，S-Nが 532 であり，関係ラベルは Elaboration， Joint，Explanation の順で多 かった。一方, Activity-RST の核性ラベルの頻度は, N-S が 44，N-N が 204，S-N が 1111 であり，関係ラ ベルは Elaboration, Background, Textual-organization の順で多かった. 2 つのスパンが RST-DT では S-N に分類されることが多く, Activity-RST では N-S に 分類されることが多い。この理由は，RST-DT は新聞記事が対象であるため記事の重要部が主に前に 現れることに対し, Activity-RST は動画が対象であ るため重要部は後に現れることにある。これらの比較から, Activity-RST は RST-DT とは性質の異なる データセットであることが分かる.

## 4.2 映像特徵量

本実験で使用した映像特徴量は，C3D[8] お よび, RGB ResNet-200(RES)[9] と Optical flow BNInception(BN)[10] の組み合わせである。C3D は，3D

5) https://citeseerx.ist.psu.edu/viewdoc/download?doi= 10.1.1.201.9677\&rep=rep1\&type=pdf
表 1 データセットの比較

ConvNetwork を用いて 8 フレーム毎に映像を 1 つの 500 次元べクトルへと畳み込んだもので, ActivityNet Challenge で公式に配布されている特徴量である. RES と BN の組み合わせは，Zhou らの DVC システ ム [11] で利用された特徵量である. RES は映像の RGB 值を 0.5 フレーム毎に取得した特徴量, BN は オプティカルフローを 0.5 フレーム毎に取得した特徵量である.

## 4.3 実験設定

10 分割交差検証 (訓練:検証:テストデータ=8:1:1) により解析器の評価を行った. また，5 モデルアン サンブルを用い，異なる初期値の 3 回の試行の平均値を最終的な評価結果とした。

解析に用いるキャプションは, ActivityNet Captions で与えられた正解キャプションと Zhou らのシステ ム [11] に正解イベントの区間を与えて生成したキャ プションを試した. C3D, RES+BNとも ActivityNet Captions の正解イベントの区間から得たものを利用 した. そして，テキストから得た特徴と映像から得 た特徴のそれぞれの組み合わせも評価した。

評価指標は RST-Parseval[3] に従い，ラベルなしス パン (Span)，核性ラベル付きスパン (Nuc)，関係ラベ ル付きスパン (Rel), すべてのラベル付きスパンの一致 (Full)の micro-averaged $F_{1}$ 值を用いた.

## 4.4 結果と考察

表 2 に評価結果を示す. テキスト特徴量, 映像特徵量を単独で用いた場合を比較すると，正解キャプ ションを利用した場合のスコアが最も高い. 正解 キャプションを用いた場合よりもスコアは大きく 下がるが，C3D，RES+BNを用いた場合がほぼ同等 のスコアであり，システムが生成したキャプション を用いた場合が最もスコアが低く, C3D， RST+BN よりも 2 ポイント程度劣化している. 修辞構造の注釈は正解キャプションに基づき行われたため, 正解 キャプションを利用した場合が最も良い結果を得た ことは妥当であろう．しかし， C3D，RES+BNより もシステムが生成したキャプションを用いた場合に表 2 Micro-averaged $F_{1}$ による性能比較

性能が劣化していることは自動生成されたキャプ ション文の質が低いことを示唆している.

次にテキスト特徴量と映像特徴量を組み合わせ た場合をみると, 正解キャプションに対して C $3 \mathrm{D}$, RES+BN の双方を組み合わせるとすべての指標にお いてスコアが改善されていることがわかる.この結果は, 映像特徴量が修辞構造解析に役立っているこ とを示している. しかし, システムが生成したキャ プションを組み合わせると，C3D，RES+BNをそれ ぞれ単独で利用する場合よりもスコアは劣化してお り, システムが生成したキャプションの質の低さが 悪影響を与える結果となった。

## 5 おわりに

本稿では, 動画の修辞構造解析のため, ActivityNet Captions データセットの一部に修辞構造の注釈を与 えたベンチマークデータセットを構築した. テキス 卜と映像特徴量が解析性能に与える影響を調べた結果，正解キャプションから得た特徴量を用いる場合 の性能が最も良く, 正解キャプションと正解イベン トの区間から得られる映像特徵量を組み合わせるこ とでさらに性能が向上することを確認した. 今回の テキストと映像の特徵量の組み合わせ方は非常に単純なものであるため，これをさらに洗練されたもの に改良することで性能向上をはかりたい。また，未知のデータの解析のためにはイベントの区間推定, キャプションの生成をともに自動的に行わねばなら ない. 今回の実験結果では自動推定したキャプショ ンで大きく性能が劣化したことからキャプション生成における改善の必要性が明白となった。 また，イ ベント区間の自動推定についても手法を開発し，修辞構造解析の性能に与える影響を調べる必要がある だろう.

## 参考文献

[1]W.C. Mann and S.A Thompson. Rhetorical structure theory: A theory of text organization. Technical Report ISI/RS-87190, USC/ISI, 1987.

[2]Arjun Reddy Akula and S. Zhu. Visual discourse parsing. ArXiv, Vol. abs/1903.02252, , 2019.

[3]Lynn Carlson, Daniel Marcu, and Mary Ellen Okurovsky. Building a discourse-tagged corpus in the framework of Rhetorical Structure Theory. In Proceedings of the Second SIGdial Workshop on Discourse and Dialogue, 2001.

[4]Naoki Kobayashi, Tsutomu Hirao, Hidetaka Kamigaito, Manabu Okumura, and Masaaki Nagata. Top-down rst parsing utilizing granularity levels in documents. In Proceedings of the 2020 Conference on Artificial Intelligence for the American, pp. 8099-8106, New York, America, September 2020.

[5]Jeffrey Pennington, Richard Socher, and Christopher Manning. GloVe: Global vectors for word representation. In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 1532-1543, Doha, Qatar, October 2014. Association for Computational Linguistics.

[6]Matthew Peters, Mark Neumann, Mohit Iyyer, Matt Gardner, Christopher Clark, Kenton Lee, and Luke Zettlemoyer. Deep contextualized word representations. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 2227-2237, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[7]Qingyu Zhou, Nan Yang, Furu Wei, and Ming Zhou. Selective encoding for abstractive sentence summarization. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1095-1104, Vancouver, Canada, July 2017. Association for Computational Linguistics.

[8]Du Tran, Lubomir D. Bourdev, Rob Fergus, Lorenzo Torresani, and Manohar Paluri. C3D: generic features for video analysis. CoRR, Vol. abs/1412.0767, , 2014.

[9]K. He, X. Zhang, S. Ren, and J. Sun. Deep residual learning for image recognition. In 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 770-778, 2016.

[10]Sergey Ioffe and Christian Szegedy. Batch normalization: Accelerating deep network training by reducing internal covariate shift. In Francis Bach and David Blei, editors, Proceedings of the 32nd International Conference on Machine Learning, Vol. 37 of Proceedings of Machine Learning Research, pp. 448-456, Lille, France, 07-09 Jul 2015. PMLR.

[11]Luowei Zhou, Yingbo Zhou, Jason J. Corso, Richard Socher, and Caiming Xiong. End-to-end dense video captioning with masked transformer. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 2018.


# 複数人議論における発話間の関係を対象とした関係分類

姫野拓未
九州工業大学大学院情報工学府
t_himeno@pluto.ai.kyutech.ac.jp

## 1 はじめに

研究室や会社では，新しい研究のアイデアや経営戦略を打ち出すために会議が日々行われている。そ こで行われた会議内容を会議に参加していない人に 共有するためには，議事録が不可欠である．会議に 参加していない人が議事録を読み返すことは議論全体の論点を把握することには適しているが，会議で 結論に達するまでの流れを把握することは難しい. そこで，会議の議事録を議論構造として表すことが できれば，発話間の関係を捉えることができ，結論 に達するまでの議論の流れや議論全体の論点を素早 く把握することができる. また，その発話間の関係 の役割を捉えることができれば，発話の意図を捉え ることができ，議事録理解の支援ができると考えら れる。

文章を構造化するタスクの一つとして議論マイ ニングがある [1]. 議論マイニングとは，例えば小論文のような文章を入力文として，主張を表してい る文と，その主張を支持したり反論したりする文を 自動的に判別するタスクである。他にも，文書要約 [2] や自動採点 [3], 論文執筆支援 [4] など数多くの 自然言語処理タスクで取り組まれている。一般に議論マイニングは要素分類, 要素抽出, 関係抽出, 関係分類の 4 つのサブタスクから構成されている.

我々は以前の研究において，複数人議論を対象に 議論マイニングのサブタスクの中でも議論構造の構築のために重要なタスクである発話間の関係抽出に 焦点を当てて研究を行った [5]. 関係抽出は議論構造に関連する文や節から成り立つ 2 つの論理要素に 対して関係の有無を推定するタスクである. 発話間 の関係抽出を行うことによって，議論構造において 議論の流れを把握を支援できる. しかし, 以前の研究だけでは議論構造における発話間の関係の役割を 捉えることができない. そこで本研究では，複数人議論を対象に関係抽出後のタスクである発話間の関係分類に焦点を当てる. 関係分類は論理要素のペア

\author{
嶋田和孝 \\ 九州工業大学情報工学部 \\ shimada@pluto.ai.kyutech.ac.jp
}

を対象に，主張に対する支持や反論のような関係を 持つ役割のラベルを割り当てるタスクである。例え ば Stab らは学生が書いたエッセイを対象に関係分類を取り組んでいる [6]. Stab らはエッセイの特徵 を捉えた素性を作成し，論理要素の関係分類を行っ ている。対象としている関係では主張を支持する関係と反論する関係の 2 種類のみである。一方で，本研究で対象とする複数人議論では主張を支持・反論 する関係だけでなく，選択肢のある質問から回答を 選択する関係などエッセイには存在しない関係が多 く存在する。

本研究では，複数人議論を対象に Self-Attentionを 用いて発話内容に着目したモデルを構築し関係分類 を行う。本研究の貢献は次の 2 点である.

・様々な言語の分散表現や Self-Attention を用いて 関係分類モデルを構築した。

・BERT [7] に基づく関係分類結果より本研究で 作成したモデルの方が高精度であることを確認 した.

## 2 データセット

本研究では複数人議論コーパスの一つである AMI corpus を用いる [8]. AMI corpus はあらかじめ議題 が与えられている状態で行われるシナリオ会議を収録したコーパスであり，書き起こしデータが公開さ れている1). 議題の設定として，架空の家電企業に 勤める異なる役職の 4 人の従業員が，市場に出回っ ている古いデザインのテレビリモコンの代わりとな る新しいテレビリモコンを開発するという議題で計 4 回行われる.

また本研究では発話間の関係分類タスクのための データセットとして, Twente Argument Schema (TAS) を用いる [9]. TAS は AMI corpus のシナリオ会議の 議論で生じる議論構造を明らかにするために作成さ れたアノテーションスキーマである. TASにおける

1) http://groups.inf.ed.ac.uk/ami/download/
表 1 Relation Label とその説明

 \\

回答を選択する関係

議論構造は 2 つの要素から成り立っている. ある話者の発話全体，また発話の一部，複数の発話から成 り立っているノードとそのノード間を結ぶエッジか ら成り立っている. また，エッジにはノード間にど のような役割であるかを示す Relation Label が付与 されている. Relation Label の詳細を表 1 に示す. あ る主張に対して支持する関係である「Positive」や， より多くの情報を求めたりもう一度促したりするよ うな関係である「Request」など計 9 種類のタグが付与されている。 さらに，TAS では一つの会議 (ダイ アログ) の中である議題が挙げられてから，その議題が結論に達した時やその議題を途中で中断した り放棄したりするまでをディスカッションと定義 している. 各ディスカッションは一つのダイアログ 中に一つまたは複数存在し，各ノードは一つのディ スカッションに複数存在する. 本研究では各ディス カッション内のノード間を結ぶエッジに付与された Relation Labelを分類する実験を行う。

## 3 手法

本研究で用いたモデルの概要図を図 1 に示す. ディスカッション内で関係がある二つのノードペ アをそれぞれ Bi-LSTMを用いて隠れ層を算出する。次に，それぞれの隠れ層に対して Self-Attention を用 いて隠れ層を更新する. Self-Attentionによって得ら れた隠れ層を連結し，最終層が作成される。その 層をSoftmax 関数に入力することによって Relation Label を分類する.

## 3.1 入力層

AMI corpus のディスカッション内で関係を持つ 任意のノードペア node $_{i}=\left(w_{1}, w_{2}, \ldots, w_{k}\right)$, node $_{j}=($ $\left.w_{1}, w_{2}, \ldots, w_{l}\right)$ を入力とする. ここでの $w$ はノード 内の単語を表しており, $k$ と $l$ はノードの単語長を表 している。次に，ノード内の単語を 4 種類の分散表現の中から 1 つまたは複数の分散表現を連結してべ クトル $V_{i}=\left(v_{1}, v_{2}, \ldots, v_{k}\right), V_{j}=\left(v_{1}, v_{2}, \ldots, v_{l}\right)$ に変換 する. 4 種類の分散表現は Word2 $\mathrm{Vec}^{2}$ ) (図 1 におけ る W), $\mathrm{GLoVe}^{3)}(\mathrm{G}), \mathrm{ELMo}^{4)}(\mathrm{E})$, Transformer ${ }^{5)}(\mathrm{T})$ で あり， $v_{x}$ は $w_{x}$ の単語ベクトルを表す. Transformer

## $3.2 \mathrm{Bi$-LSTM}

本研究では Bi-LSTM [10] を用いてノード全体の ベクトルを獲得する。それぞれのべクトル変換した ノードの単語ベクトルを Bi-LSTM で以下のように 算出する。

$
\begin{aligned}
\overrightarrow{h_{x}} & =\overrightarrow{L S T M}\left(v_{x}, \vec{h}_{x-1}\right)(\text { 順方向 }) \\
\overleftarrow{h_{x}} & =\overleftarrow{L S T M}\left(v_{x}, \overleftarrow{h}_{x+1}\right)(\text { 逆方向 }) \\
h_{x} & =\left[\overrightarrow{h_{x}} ; \overleftarrow{h_{x}}\right]
\end{aligned}
$

$h_{x}$ は Bi-LSTM モデルの隠れ層のベクトルであり， $[\cdot ; \cdot]$ は二つのべクトルの連結を表す。それぞれ の Bi-LSTM から出力された隠れ層全体のベクトル $H_{i}, H_{j}$ は以下のようになる.

$
\left.\{\begin{array}{l}
H_{i}=\left(h_{1}, h_{2}, \ldots, h_{k}\right) \\
H_{j}=\left(h_{1}, h_{2}, \ldots, h_{l}\right)
\end{array}\right.
$

## 3.3 Self-Attention

Bi-LSTM の出力層を基に Self-Attention を算出す る. Lin ら [11] が提案した Self-Attention を使用し，重みを以下のように算出する。

$
\alpha_{x}=\operatorname{softmax}\left(\omega^{T} \tanh \left(H_{x}\right)\right)
$
$\omega$ は学習可能なパラメータのベクトルである. そし て，この重みを利用して以下のようにそれぞれの Bi-LSTM の最終的な隠れ層を算出する。

$
\left.\{\begin{array}{l}
H_{i_{\alpha}}=\alpha_{i} H_{i} \\
H_{j_{\alpha}}=\alpha_{j} H_{j}
\end{array}\right.
$

図 $1 \mathrm{Bi}$-LSTM を用いたモデルの概要図

## 3.4 出力層

それぞれの Bi-LSTM の出力層を連結してクラス ラベルに対応するインデックスを出力する. まず， それぞれの Self-Attention の出力層を以下のように連結する.

$
H^{*}=\left[H_{i_{\alpha}} ; H_{j_{\alpha}}\right]
$

連結した層を用いて，クラスラベル $r$ を以下のよう に算出する.

$
\begin{array}{r}
\hat{y}_{r}=\operatorname{softmax}\left(W H^{*}+b\right) \\
r=\underset{r \in R}{\arg \max } \hat{y}_{r}
\end{array}
$

$W, b$ は学習可能なパラメータであり,$\hat{y}_{r}$ はクラスラ ベルに対応する確率値, $R$ は Relation Label である.

## 3.5 訓練

モデルの訓練について説明する．損失関数には NLLLoss を利用し, 最適化手法には Adam [12]を利用する。学習率は 0.001 に設定し，バッチサイズは 128，隠れ層の次元は 300 に設定する。

## 4 実験

本節では，4.1 節において 2 節で述べた複数人議論コーパスを用いた実験設定について説明する。 4.2 節において，分類結果について説明する。

## 4.1 実験設定

本研究で用いた実験データの詳細について説明す る. 実験データは, AMI corpus のダイアログ 92 対話から作成された 219 個のディスカッションを用 いて実験を行った。訓練データ，開発データ，評価 データに AMI corpusをダイアログ単位で 84 対話, 4 対話， 4 対話と分割した. また，それぞれのディス カッションの数は 201 個，13 個，12 個，関係分類で 用いるノードペアの数は 4001 個， 241 個，242 個と なっている. データ分布の詳細を表 2 に示す. 表 2 より，各データにおいて「Positive」の数が多く，偏 りがあるデータ分布となっている.

本研究の比較対象として，BERT [7] を baseline と して利用する。 BERT は大規模なテキストコーパ スを用いて事前学習を行った後，タスクごとに fine-tuning する汎用言語モデルである.

## 4.2 実験結果

表 3 に各モデルの分類結果を示す. 評価値を適合率 (Precision), 再現率 (Recall), F1 值 (F-score) で評価 した. 表 3 では利用した分散表現を示したBi-LSTM のみのモデルとそのモデルに対して Self-Attention を 組み込んだモデル (各行の“+ Self-Attention”) それぞ れで評価している。表 3 より，分散表現のみのモデ ルより Self-Attentionを用いたモデルの分類結果が良
表 2 データ分布の詳細

表 3 発話間の関係分類を行った実験結果

いことが確認できた. このことより，Self-Attention が複数人議論の関係分類においても有効であるこ とが確認できる。また特に，Transformerを分散表現 に使用し Self-Attention を利用したモデルと， ELMo と Transformer を分散表現に使用し Self-Attention を 利用したモデルは, fine-tuning した BERT より F1 值 が高いことを確認できた。

次に fine-tuning したBERT と $B i-L S T M_{E+T}$ の各 Relation Label の F1 值の詳細を表 4 に示す7). 表 4 よ り, fine-tuning した BERT と比較して Bi-LSTM $M_{E+T}$ は少数ラベル (例えば事例数が 7 である Sep など) で あっても少なくともいくつかは正しく分類できるモ デルであることを確認できた. しかし，「Uncertain」 のような Positive か Negative か曖昧な関係ラベルで は fine-tuning した BERT より F1 値が劣っている. これは本手法がノード自身に Self-Attention を付与し た後それぞれのノードを連結して分類するモデルで あることに起因すると考えられる。 つまり，それぞ れのノードが独立でもう一つのノードに対してノー

7） Option exclusion は評価データの中に存在しなかったため表 から除く.表 42 つのモデルの詳細なラベルの実験結果の比較

ド情報を全く与えていないことが問題となってい る. 一方で BERT はノードペアを同一のモデルに入力するためそれぞれのノードが相互にノード情報を 与え分類することができる．このことから，それぞ れのノードに対して相互にノード情報を与えるモデ ルの構築が今後の課題となる.

## 5 おわりに

本研究では, 複数人議論コーパスを対象に発話間の関係を対象とした関係分類を行った。複数人議論コーパスには AMI corpus を用いた。次に，発話間の関係分類を行うために複数の分散表現を組 み合わせ，Self-Attention を用いたモデルを構築し 関係分類実験を行った. その結果, Bi-LSTM $M_{E+T}+$ Self-Attention モデルの推定精度が最も高くなること を確認した。また，fine-tuning したBERT の分類結果より構築したモデルの分類結果の方がよいことを 確認した. さらに，構築したモデルでは fine-tuning した BERT より少数ラベルであっても少なくともい くつかは分類できることを確認した. 今後の課題と しては，「Uncertain」のような提案したモデルで分類することが難しいラベルに対応するため，ノード の情報を相互に組み込んだモデルを構築することが 挙げられる.

## 謝辞

本研究は科研費 $20 K 12110$ の助成を受けたものです.

## 参考文献

[1] Christian Stab and Iryna Gurevych. Parsing argumentation structures in persuasive essays. Computational Linguistics, Vol. 43, No. 3, pp. 619-659, 2017.

[2] Emma Barker and Robert Gaizauskas. Summarizing multiparty argumentative conversations in reader comment on news. In Proceedings of the Third Workshop on Argument Mining (ArgMining2016), pp. 12-20, 2016.

[3] Debanjan Ghosh, Aquila Khanam, Yubo Han, and Smaranda Muresan. Coarse-grained argumentation features for scoring persuasive essays. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 549-554, 2016.

[4] Christian Stab and Iryna Gurevych. Training argumentation skills with argumentative writing support. In Proceeding of SEMDIAL 2017 (SemDial) Workshop on the Semantics and Pragmatics of Dialogue, pp. 166-167, 2017.

[5] Takumi Himeno and Kazutaka Shimada. Relation identification using dialogical features in multi-party conversation. In Proceedings of the 8th International Symposium on Applied Engineering and Sciences, 2020.

[6] Christian Stab and Iryna Gurevych. Identifying argumentative discourse structures in persuasive essays. In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 46-56, 2014.

[7] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, pp. 1-16, 2018.

[8] Jean Carletta, Simone Ashby, Sebastien Bourban, Mike Flynn, Mael Guillemot, Thomas Hain, Jaroslav Kadlec, Vasilis Karaiskos, Wessel Kraaij, Melissa Kronenthal, et al. The ami meeting corpus: A pre-announcement. In Proceedings of International workshop on machine learning for multimodal interaction, pp. 28-39. Springer, 2005.

[9] Rutger Rienks, Dirk Heylen, and Erik van der Weijden. Argument diagramming of meeting conversations. In In Proceedings of Multimodal Multiparty Meeting, Workshop at the 7th International Conference on Multimodal Interfaces, pp. 85-92, 2005.

[10] Mike Schuster and Kuldip K Paliwal. Bidirectional recurrent neural networks. IEEE transactions on Signal Processing, Vol. 45, No. 11, pp. 2673-2681, 1997.

[11] Zhouhan Lin, Minwei Feng, Cicero Nogueira dos Santos, Mo Yu, Bing Xiang, Bowen Zhou, and Yoshua Bengio. A structured self-attentive sentence embedding. arXiv preprint arXiv:1703.03130, 2017.

[12] Diederik P Kingma and Jimmy Ba. Adam: A method for stochastic optimization. arXiv preprint arXiv:1412.6980, 2014.


# 診療記録で事前学習した言語モデルからの 学習データ中の人名漏洩リスクの推定

1,2 中村優太 3 花岡昇平 4 野村行弘 4 林直人
1,3 阿部修 2 矢田竣太郎 2 若宮翔子 2 荒牧 英治
1 東京大学大学院医学系研究科生体物理医学専攻
2 奈良先端科学技術大学院大学
3 東京大学医学部附属病院放射線科
4 東京大学医学部放射線医学教室コンピュータ画像診断学／予防医学講座

## 1 はじめに

診療記録とは，医療機関などで主に医療従事者 によって作成される，患者の身体状況，病状，治療 などが記載された文書を指す。診療記録には，医師による経過記録のほか，看護記録，検査報告書，薬剤指導記録，栄養指導記録，リハビリテーショ ン記録などが含まれる [1]. 近年 BERT [2] などの 言語モデルにより，これら診療記録に対する自然言語処理が高精度で達成されるようになった [3].診療記録を学習データとした言語モデルも多数発表されており, ClinicalBERT [4], BlueBERT [5], UTH-BERT [6], MS-BERT [7] などは匿名化済み診療記録で学習されモデル自体も公開されている。一方 EhrBERT [8], AlphaBERT [9]のように, 論文化され ているがモデル自体は非公開のものもある.

言語モデルを公開せず作成施設内での使用にと どめる場合, 学習データの匿名化が必須ではなくな り，学習データの作成コストを削減できる. しか し, そうしたモデルが誤って流出すると，個人情報 の不正取得に利用される恐れがある.

先行研究では, 言語モデルからの個人情報漏洩 リスクに対する見解は様々である．Carlini らは， GPT-2[10] モデルに自然言語生成させると約 $0.1 \%$ の 頻度で学習データの一部をそのまま出力し, そこ には個人情報も含まれることを示した [11]. 一方 Nakamura らは，対象とする個人情報の種類や個人情報漏洩の状況を定式化し, 現実的には診療記録で 事前学習した BERT モデルからの個人情報流出リス クは低いと報告した [12].

この見解の相違の背景には次のような原因が推測される: (i) Carlini らはまず言語モデルに自然言語生成をさせ，その生成物に対して議論を行ってい るが，Nakamura らは学習データ中の対象個人情報 の種類の決定と量の把握を出発点としている. (ii) Nakamura らは，個人情報不正取得の基準をやや厳 しく定めており，学習データの各文書がどの患者由来か正しく推定できれば成功，それ以外はすべて失敗としたため，リスクを過小評価している可能性が ある．実際は，単にある人物が学習データに含まれ ていたという事実が漏洩するだけでも本人への脅威 となる可能性がある。当該医療機関への入院歴があ ることを第三者に知られてしまうためである。

そこで本研究では，事前学習済み言語モデルを用 いて「ある患者名が学習データ中に含まれていたか 否か」が正しく推定されてしまう可能性の定量的評価を試みた。結果，本研究で検討した範囲では，そ のような人名漏洩リスクも低いものと考えられた。

## 2 関連研究

Malin らは，診療記録中の情報のうち個人が特定しやすいものほど漏洩時の影響が大きいとし た [13]. 例えば，氏名や生年月日は単独で，口座番号や資格証番号は他データベースとの照合により， それぞれ個人を特定しうる。病歴や検査値などの医学的情報も, 経時的変化しないものや稀なもの（難病の既往歴など）は個人の特定に繋がりやすい.

本研究で用いる診療記録コーパスが作成され た米国では，HIPAA 法 [14] が，二次利用する診療記録の氏名，住所，ID などの 18 種の識別子 (18 HIPAA Identifiers) を削除し，保護すべき個人情報 (PHI, Protected Health Information) の漏洩を防ぐよう 定めている.

先行研究では, 言語モデルからの個人情報不正取
得は，中間パラメータを用いる white-box attack, 最終出力のみを用いる black-box attack に二分される。 White-box attack の例として, Zhu らは学習時の勾配 から, Song らや Pan らは隠れ状態から入力文の復元を試みた $[15,16,17]$. Black-box attack の例として, Misra らや Hisamoto らは，学習済みの GPT-1 [18] や 機械翻訳モデルが, 文書サンプルが学習データ内外 どちらのものか識別しうることを示した $[19,20]$. Carlini らは, LSTM [21] モデルが学習データの部分文字列を意図せず記憶しうることを示し，その定量評価法を提案したほか [22], GPT-2 モデルからの学習データの一部の復元に成功した [11].

## 3 問題設定および材料

## 3.1 問題設定

本研究では，以下のように細部の異なる個人情報漏洩の状況設定を 2 つ検討する。

状況設定 1 以下の 3 条件を仮定する:
- 医療機関は診療記録全体から部分集合 $\mathscr{D}_{\text {private }}$ を得る。
- 医療機関は，事前学習済みのドメイン非特化な 言語モデル $M_{\text {general }}$ に D private を用いた事前学習 を追加して $M_{\text {hospital }}$ とし， $M_{\text {hospital }}$ を公開する。

・攻撃者はターゲットとする氏名のリスト $\mathscr{L} を$作成する. 攻撃者は $M_{\text {hospital }}$ を用いて $\mathscr{L}$ の各氏名が Dprivate に含まれていたか否か推測する (つ まり $\mathscr{L}$ 内の各氏名に対して二値分類を行う).

状況設定 2 「状況設定 1」に以下を加える：

・医療機関は $\mathscr{D}_{\text {private }}$ を HIPAA 準拠匿名化したも のを $\mathscr{D}_{\text {public }} と し ， \mathscr{D}_{\text {public }}$ も公開する.

KART Framework [12]を用いると，状況設定 ${ }_{i}$ は 「攻撃者の事前知識, 学習データの匿名化, 攻撃者 が利用可能な言語資源, 攻撃者の目標」の 4 パラ メータの組として以下の $\mathrm{KART}_{i}$ のように表せる:

$
\operatorname{KART}_{1}=\left(\mathscr{L}, \mathrm{id}, \varnothing,\left.\{\mathbb{1}\left(\text { name } \in \mathscr{D}_{\text {private }}\right) \mid \text { name } \in \mathscr{L}\right.\}\right)
$

$
\mathrm{KART}_{2}=\left(\mathscr{L}, \mathrm{id},\left.\{\mathscr{D}_{\text {public }}\right.\},\right.
$

$\left.\{1\left(\right.\right.$ name $\left.\in \mathscr{D}_{\text {private }}\right) \mid$ name $\left.\left.\in \mathscr{L}\right.\}\right)$

## 3.2 コーパス

MIMIC-III [23] および MIMIC-III-dummy-PHI [12] を利用した. MIMIC-III は英語の診療記録約 208 万文書からなる大規模コーパスであり, HIPAA 準拠

匿名化のため 18 HIPAA Identifiers にあたる個人情報が特殊記号 (placeholder) に置換されている。また MIMIC-III-dummy-PHI は, MIMIC-III $の$ placeholder $の$ うち対象個人情報のカテゴリが推定可能なものを， Faker ライブラリ ${ }^{11}$ や i2b2 2006 shared task [24] デー タセットから無作為に生成・抽出したダミ一個人情報で再置換し，あたかも個人情報を含んでいるかの ように改変したものである.

図 1 のように, MIMIC-III から 100 万文書を無作為に選んで $\mathscr{D}_{\text {private }}$ とし, 同じ 100 万文書を MIMICIII-dummy-PHI から選んで $D_{\text {public }}$ とした. つまり $\mathscr{D}_{\text {private }}$ と $\mathscr{D}_{\text {public }}$ は匿名化の有無以外は同一である.

## 3.3 対象言語モデル

$M_{\text {general }}$ は Google によって公開されている uncased BERT $_{\text {BASE }}$ モデルとした. また $M_{\text {general }}$ から開始し て $\mathscr{D}_{\text {private }}$ による事前学習を追加したものを $M_{\text {hospital }}$ とした。事前学習のパラメータは ClinicalBERT [4] を踏襲し, 最大入力長 128 トークン, 学習率 $2 \mathrm{e}-5$, batch size 64, step 数 100,000 とした.

## 3.4 人名漏洩テストの対象患者氏名

実際に D Drivate に出現する氏名 (正例) と出現しな い氏名 (負例)を同数ずっ用意し, 正例と負例の和集

正例の収集方法を以下に示す. 一般的に診療記録 に患者氏名はほとんど記載されないが，MIMIC-III では患者の年齢と性別を述べた “ $\mathrm{X}$ is a(n) Y years old (fe)male"という形の一節を探すと，まれに X が一般名詞句ではなく患者氏名である場合がある．そこ で，そうした一節から始まる連続した 5 文を重複 を除いてすべて抽出した. 次に，各抽出箇所のう ち，患者氏名 X の姓，名がともに $M_{\text {general }}$ によって 1トークンで表現されるもの (subword に分割されな

いもの)のみを集め，「患者氏名パターン」とした。 $D_{\text {private }}$ には患者氏名パターンは 232 回出現し, 重複 を除いて 158 種存在した。また，氏名は重複を除い て 130 種存在しており,この 130 種を正例とした.

負例は，Faker に収録されている米国の実際の氏名の分布を近似した分布からサンプリングを繰り返 し，重複を除いて 130 種収集した. その際，姓名と もに $M_{\text {general }}$ が 1 トークンで表現でき，かつ以下の 条件のいずれかを満たすサンプルのみを受理した.
- Easy Negative: Dprivate に一度も出現しない.ま た，姓と名のいずれも，正例に含まれるどの氏名とも一致しない.
- Hard Negative: $D_{\text {private }}$ に一度も出現しないが,姓と名のうちどちらか一方が正例の氏名のうち 少なくとも 1 つ以上と一致する.

## 4 人名漏洩リスクの評価実験

攻撃者が $M_{\text {hospital }}$ を用いて患者氏名パターン中の 氏名部分を復元しょうとしたと想定し，その実現性 を評価した. 状況設定 1 では攻撃者は $\mu_{\text {hospital }}$ 以外 に言語資源をもたないため，自然言語生成によって 学習データの再現を目指すものとした. 状況設定 2 では攻撃者は $\mathscr{D}_{\text {public }}$ も利用できるため， $\mathscr{D}_{\text {public }}$ の匿名化の解除を目指すものとした。

## 4.1 自然言語生成による人名推定

Wang らの研究 [25] を参考に， $M_{\text {hospital }}$ を用いたギ ブスサンプリングによって 10,000 文書を生成し，そ の集合を $\mathscr{G}$ とした. 手法の詳細は付録 Bを参照さ れたい. 生成例を以下に示す.

次に，各候補氏名 $l \in \mathscr{L}$ に対し， $l$ の姓または名の うち少なくとも一方が 1 度でも 9 に出現していれば 正例，そうでなければ負例と推定した。

## 4.2 Masked Langauge Model による人名推定

名マスキング箇所に対し， $M_{\text {hospital }}$ を用いた masked language model によって患者氏名を復元させ，その際に高い事後確率が割り当てられる傾向にある姓名 が Dprivate に含まれていたものと推測した.

まず全患者氏名パターン 158 種に対応する $\mathscr{D}_{\text {public }}$内の記載の集合を $\delta$ とおいた. $\delta$ の要素は“(名の placeholder) (姓の placeholder) is a(n) (年齢) years old (fe)male""から始まる連続した 5 文である。次に， Sの各要素の冒頭の姓名の placeholderをそれぞれ [MASK] トークンに置換し，他の placeholder を削除 したものを す'とした。

事前の検討では， $\delta^{\prime}$ の全要素を入力としても精度 が得られなかった.そこで，言語モデルを学習モー ドの状態に切り替えて多数回 masked language model の推論を行う方針とし，推論の対象も $\delta^{\prime}$ から重複 を許して 10,000 個選んだものの集合 $\mathcal{S}^{\prime \prime}=\left.\{\mathbf{s}_{i}^{\prime \prime}\right.\}_{i=1}^{10000}$ とした。これは言語モデルが推論モードでは同一サ ンプルに対して同一の出力を返すが，学習モードで は dropout の適用などによって実行毎に異なった事後確率を出力することを利用している.

最後に各候補氏名 $l \in \mathscr{L}$ を，学習モードでの masked language model による事後確率の平均が $M_{\text {general }}$ より $M_{\text {hospital }}$ で高くなる場合に正例と推測し た. つまり, $l$ が

$\frac{1}{10000} \sum_{i=1}^{10000}\left.\{p\left(l \mid s_{i}^{\prime \prime}, M_{\text {hospital }}\right)-p\left(l \mid s_{i}^{\prime \prime}, M_{\text {general }}\right)\right.\}>0$ をみたせば正例，そうでなければ負例と推測した。

## 4.3 人名漏洩リスクの評価指標

否かを推測する二値分類であるため，評価指標に はF1 scoreを用いた. 参考のため, Accuracy, Precision， Recall も算出した.

## 5 結果と考察

表 1 に示すように, 自然言語生成は masked language model より高いF1 scoreを示し，負例が Easy Negative，Hard Negative の場合でそれぞれ 0.6542, 0.6052 であった. Masked language model は, 学習 データのうち個人情報を除いた一部分を用いたにも 関わらず，自然言語生成より低い F1 score となった.表 1 からは，自然言語生成が氏名候補を過大に推定し, masked language model が過小に推定する傾向 がみられ，自然言語生成の Recall の高さが F1 score の上昇をもらたしたと思われる。この理由には，ま ず自然言語生成にギブスサンプリングを用いたこと が挙げられる。ギブスサンプリングは互いに独立な
表 1: 学習データ中の患者氏名の推定結果.

表 2: 状況設定 1 において異なる言語モデルを用い た際の患者氏名の推定結果の変化.

サンプル点を多数得るための技法であり，結果とし て語彙中の様々な単語が動員され, 多様な生成結果 が得られたものと思われる。一方， masked language model はトークン単位の空所補充であり, 学習時に 出力の多様性ではなく正確性を優先させるもので あるため，一部の単語にしか高い事後確率を割り当 てなかったものと推測される. しかし, 本研究では masked language model は自然言語生成よりも Recall を低下させたのみで，明らかな Precision の上昇をも たらさなかった.

自然言語生成を $M_{\text {general }}$ を用いて行った結果との 比較を表 2 に示す. 負例が Easy Negative の場合，つ まり正例の姓，名のうち一方が 1 回でも出力されれ ば自動的に正解となる状況では， $M_{\text {hospital }}$ は $M_{\text {general }}$ より高い性能を示し，特に Accuracy は 0.4885 から 0.5731 に上昇した. しかし, 負例が Hard Negative の場合，つまり正例と姓または名の片方が一致す る氏名が負例に必ず存在する状況では， $M_{\text {general }} と$ $M_{\text {hospital }}$ の差は明らかではなかった. なお, 生成 された 10,000 文書に, BERT $_{\mathrm{BASE}}$ モデルによって 1 トークンで表現される姓は計 446 回, 名は計 2,911 回出現したが，フルネームつまり「姓+名」の並び は 113 回，そのうち $\mathscr{L}$ の候補と一致するものは 2 回 のみであった. よって，少なくとも 10,000 文書を生成した時点では，患者氏名全体がそのまま出力され ることは稀であり，姓名のいずれか一方が正しく推測する可能性も限定的と考えられる。ただし，自然言語生成は $M_{\text {hospital }}$ さえあればいくらでも行えるた め，さらに多量の文書を生成すると人名漏洩リスク が上昇する可能性はある.以上からは，少なくとも本研究で検討した範囲で は，言語モデルを用いてある人名が学習データ中 に含まれていたか否かを推定できる可能性は小さ いと思われる。理由は，(i) 自然言語生成は masked language model より高い F1 score や Recallを示すが,実際は学習前から限定的にしか変化していない，(ii)攻撃者が学習データのうち個人情報を含まない部分を入手したとしても，今回の検討手法では人名漏洩リスクに明らかな上昇はみられない，の２点で ある。

本研究の限界は 2 点存在する. 1 点目は, $M_{\text {general }}$ から事前学習を開始したため，患者氏名の推測が $M_{\text {general }}$ と $M_{\text {hospital }}$ のどちらの学習データ中の人名に 依拠したか判別しづらい点である.今後は全くの初期状態から $M_{\text {hospital }}$ を事前学習した場合についての 検討が有用と思われる． 2 点目は，学習データ中の 人名のほとんどは医療従事者の氏名であり，患者氏名はごく一部に過ぎないという，診療記録特有の問題点である。つまり，言語モデルが学習データ中の 人名を正しく推定しても，それが患者氏名ではない 可能性が高い. すると，言語モデルからの人名漏洩 リスクは，対象医療機関の診療記録中の人名に患者氏名が占める割合からも影響を受けると考えられ，本研究結果が全医療機関に一般化できるとは限らな くなる.今後は言語モデルからの個人情報漏洩リス クをより正確に評価するため，これらの限界を考慮 したさらなる緻密な実験が必要と考えられる。

## 6 おわりに

本研究で検討した範囲では，言語モデルから学習 データ中の人名が漏洩する可能性は小さいものと推測される。言語モデルからの個人情報漏洩リスクを 網羅的に評価するため，さらに現実的な状況設定を 対象としながら検討を続けていきたい.

## 参考文献

[1] 日本診療情報管理学会. 診療情報学. 医学書院, 第 2 版, 2015.

[2] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina

Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[3] Emily Alsentzer, John Murphy, William Boag, Wei-Hung Weng, Di Jindi, Tristan Naumann, and Matthew McDermott. Publicly available clinical BERT embeddings. In Proceedings of the 2nd Clinical Natural Language Processing Workshop, pp. 72-78, Minneapolis, Minnesota, USA, jun 2019. Association for Computational Linguistics.

[4] Kexin Huang, Jaan Altosaar, and Rajesh Ranganath. Clinicalbert: Modeling clinical notes and predicting hospital readmission, 2019.

[5] Yifan Peng, Shankai Yan, and Zhiyong Lu. Transfer learning in biomedical natural language processing: An evaluation of BERT and ELMo on ten benchmarking datasets. In Proceedings of the 18th BioNLP Workshop and Shared Task, pp. 58-65, Florence, Italy, August 2019. Association for Computational Linguistics.

[6] Yoshimasa Kawazoe, Daisaku Shibata, Emiko Shinohara, Eiji Aramaki, and Kazuhiko Ohe. A clinical specific bert developed with huge size of japanese clinical narrative. medRxiv, 2020.

[7] Alister D’Costa, Stefan Denkovski, Michal Malyska, Sae Young Moon, Brandon Rufino, Zhen Yang, Taylor Killian, and Marzyeh Ghassemi. Multiple sclerosis severity classification from clinical text. In Proceedings of the 3 rd Clinical Natural Language Processing Workshop, pp. 7-23, Online, November 2020. Association for Computational Linguistics.

[8] Fei Li, Yonghao Jin, Weisong Liu, Bhanu Pratap Singh Rawat, Pengshan Cai, and Hong Yu. Fine-Tuning Bidirectional Encoder Representations From Transformers (BERT)-Based Models on Large-Scale Electronic Health Record Notes: An Empirical Study. JMIR Med Inform, Vol. 7, No. 3, p. e14830, Sep 2019.

[9] Yen-Pin Chen, Yi-Ying Chen, Jr-Jiun Lin, Chien-Hua Huang, and Feipei Lai. Modified Bidirectional Encoder Representations From Transformers Extractive Summarization Model for Hospital Information Systems Based on Character-Level Tokens (AlphaBERT): Development and Performance Evaluation. JMIR Med Inform, Vol. 8, No. 4, p. e17787, Apr 2020.

[10] Alec Radford, Jeff Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. Language models are unsupervised multitask learners, 2019.

[11] Nicholas Carlini, Florian Tramer, Eric Wallace, Matthew Jagielski, Ariel Herbert-Voss, Katherine Lee, Adam Roberts, Tom Brown, Dawn Song, Ulfar Erlingsson, Alina Oprea, and Colin Raffel. Extracting training data from large language models, 2020.

[12] Yuta Nakamura, Shouhei Hanaoka, Yukihiro Nomura, Naoto Hayashi, Osamu Abe, Shuntaro Yada, Shoko Wakamiya, and Eiji Aramaki. KART: Privacy leakage framework of language models pre-trained with clinical records. 2020.

[13] Bradley Malin, David Karp, and Richard H. Scheuermann. Technical and policy approaches to balancing patient privacy and data sharing in clinical and translational research. J. Investig. Med., Vol. 58, No. 1, pp. 11-18, Jan 2010.

[14] The United States Department of Health and Human Services. Guidance on de-identification of protected health information. https://www.hhs. gov/sites/default/files/ocr/privacy/ hipaa/understanding/coveredentities/ De-identification/hhs_deid_guidance. pdf, Nov 2012.

[15] Ligeng Zhu, Zhijian Liu, and Song Han. Deep leakage from gradients. In H. Wallach, H. Larochelle, A. Beygelzimer, F. d'Alché-Buc, E. Fox, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 32, pp. 14774-14784. Curran Associates, Inc., 2019.

[16] Congzheng Song and Ananth Raghunathan. Information leakage in embedding models, 2020.

[17] Xudong Pan, Mi Zhang, Shouling Ji, and Min Yang. Privacy risks of general-purpose language models. In 2020 IEEE Symposium on Security and Privacy (SP), pp. 14711488, Los Alamitos, CA, USA, may 2020. IEEE Computer Society.

[18] Alec Radford, Karthik Narasimhan, Tim Salimans, and Ilya Sutskever. Improving language understanding with unsupervised learning, 2018.

[19] Vedant Misra. Black box attacks on transformer language models. In ICLR 2019 Debugging Machine Learning Models Workshop, 2019.

[20] Sorami Hisamoto, Matt Post, and Kevin Duh. Membership inference attacks on sequence-to-sequence models: Is my data in your machine translation system? Transactions of the Association for Computational Linguistics, Vol. 8, pp. 49-63, 2020.

[21] Felix A. Gers, Jürgen A. Schmidhuber, and Fred A. Cummins. Learning to forget: Continual prediction with lstm. Neural Comput., Vol. 12, No. 10, p. 2451-2471, October 2000.

[22] Nicholas Carlini, Chang Liu, Úlfar Erlingsson, Jernej Kos, and Dawn Song. The secret sharer: Evaluating and testing unintended memorization in neural networks. In 28th USENIX Security Symposium (USENIX Security 19), pp. 267-284, Santa Clara, CA, aug 2019. USENIX Association.

[23] Alistair E. W. Johnson, Tom J. Pollard, Lu Shen, Li-wei H. Lehman, Mengling Feng, Mohammad Ghassemi, Benjamin Moody, Peter Szolovits, Leo Anthony Celi, and Roger G. Mark. MIMIC-III, a freely accessible critical care database. Sci Data, Vol. 3, p. 160035, May 2016.

[24] Ozlem Uzuner, Yuan Luo, and Peter Szolovits. Evaluating the state-of-the-art in automatic de-identification. $J \mathrm{Am}$ Med Inform Assoc, Vol. 14, No. 5, pp. 550-563, 2007.

[25] Alex Wang and Kyunghyun Cho. BERT has a mouth, and it must speak: BERT as a Markov random field language model. In Proceedings of the Workshop on Methods for Optimizing and Evaluating Neural Language Generation, pp. 30-36, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

## A 患者氏名パターンに関する統計

正例である 130 種の患者氏名が， $\mathscr{D}_{\text {private }}$ の 158 種 の患者氏名パターン中に計 232 回出現した. 表 3 に 示すように, 同一の患者氏名が学習データ Dprivate 中に最大 4 種類の異なる複数種の患者氏名パターン として出現している. また，同一の患者氏名パター ンが複数回繰り返し出現することもあり, 結果とし て患者氏名ごとの患者氏名パターン総出現回数も 1 回から 25 回とさまざまであった (表 4).

表 3: 患者氏名パターンの重複を除いた個数ごとの 正例の個数.

 & 正例数 \\

3 種類 & 3 \\
2 種類 & 10 \\
1 種類 & 113 \\

表 4: 患者氏名パターン総出現回数ごとの正例の個数.

 & 正例数 \\

11 回 & 1 \\
7 回 & 2 \\
6 回 & 1 \\
5 回 & 3 \\
4 回 & 4 \\
3 回 & 6 \\
2 回 & 15 \\
1 回 & 97 \\

## B 自然言語生成手法の詳細

まず [MASK] トークンを含んだ Lトークン長の入力文 $\mathbf{x}^{(0)}=\left(x_{1}^{(0)}, \ldots, x_{L}^{(0)}\right)$ を用意し，次に $t=0, \ldots, T-1$ に対し， $\mathbf{x}^{(t)}$ 内のある 1 トークン $x_{i^{(t)}}^{(t)}$ を別単語に置換して $\mathbf{x}^{(t+1)}$ を得た. ただし $i^{(t)}$ は $x_{i^{(t)}}^{(0)}$ が [MASK] トークンであるように無作為に選んだ。これを繰り 返して最後に得た $\mathbf{x}^{(T)}$ を生成結果とした.

単語の置換の際には，まず $\mathbf{x}^{(t)}$ を入力とする masked language model が位置 $i^{(t)}$ に高いロジットを 与えた上位 $k$ 単語を BERT 辞書の語彙全体から選 んで $v_{1}^{(t)}, \ldots, v_{k}^{(t)}$ とし, 次に $v_{j}^{(t)}$ に確率 $\frac{\exp \left(q_{j}^{(t)} / \alpha\right)}{\sum_{m=1}^{k} \exp \left(q_{m}^{(t)} / \alpha\right)}$
を割り当てるようなカテゴリカル分布を用いて置換先の単語を $\left.\{v_{j}^{(t)}\right.\}_{j=1}^{k}$ から無作為に 1 つ選んだ. た だし $q_{j}^{(t)}$ は $v_{j}^{(t)}$ に対する masked language model の口 ジット， $\alpha$ は温度パラメータである.

本研究では $\mathbf{x}^{(0)}$ として文 “[CLS] Service: [MASK] [MASK] [MASK] [MASK] [MASK] is a [MASK] year old" の末尾に更に [MASK] トークン 18 個と [SEP] トークンを連結して $L=32$ としたものを用い， $T=500, k=100, \alpha=1.0$ とした.


# 手順構造を考慮した作業映像からの手順書生成

西村太一
京都大学大学院情報学研究科
nishimura.taichi.43x@st.kyoto-u.ac.jp
牛久祥孝
オムロンサイニックエックス株式会社
yoshitaka.ushiku@sinicx.com
橋本敦史
オムロンサイニックエックス株式会社
atsushi.hashimoto@sinicx.com
亀甲博貴
京都大学 学術情報メディアセンター
kameko@i.kyoto-u.ac.jp
森信介
京都大学 学術情報メディアセンター
forest@i.kyoto-u.ac.jp

## 1 はじめに

手順書は，料理や科学実験などの一連の手続きを 自然言語で記述した文書である。手順書を作業映像 から自動的に生成できるようになれば，作業者が作業内容を検証したり，同じ結果を再現したりする上 で有用である. 本研究では，作業映像から手順書を 生成することを目的とする.

正しく手順書を生成するためには，モデルは単に 映像の情景を記述するのではなく，人が読んで作業 を実施できるような一貫性を持った文を生成するこ とが要求される. そのためには，材料や動作の依存関係を捉えること，つまり，(1) 動作や材料の順番が 正しく，(2)ある手順の動作後の状態をもとに次の 手順文を生成することが重要である.

我々は，材料や動作の依存関係を木構造をはじめ とするグラフ構造で表現することで $[1,2,3]$, 前述 した要件を満たすモデル化が可能になると考えてい る.こうした構造を手順構造と呼び，図 1 にその一例を示す. この例では, 手順 1 でトマトが切られ,手順 2 においてかぼちゃが切られ炒められる. こう して得られた切ったトマト, 炒められたかぼちゃが 手順 $1 ， 2$ のノードにそれぞれ対応し，次に手順 3 で使われることを示している．以前の我々の研究で は，動画ではなく写真列を対象に，同様の手順構造 の半教師ありで学習しつつ，手順書を生成するモデ ルを提案した [2]. 本研究では，このアイデアを動画列へ拡張し，かつ教師なしで手順構造をモデル化 することで，一貫性のある手順書を生成する手法を 提案する。

図 1 物体と動作の依存関係を表現した木構造.

実験では，映像から文を生成する従来手法と比較 して文の自動評価尺度において性能が向上したこ と，また，定性的評価において提案手法がある程度構造を考慮しつつ文を生成できていることを示 した.

## 2 関連研究

画像や映像といった視覚情報から手順書を生成 する研究が近年活発に行われている。手順書の中で も，料理ドメインは Web 上で大量にデータを集めや すく，動作や材料が多様であるため，特に注目を集 めている.こうした研究の先駆けとして，Salvador ら [4] は完成写真からタイトル，材料リスト，レシ ピをまとめて生成する手法を提案した. その後, Chandu ら [5], Nishimura ら [6] は，1 枚の完成画像 ではなく，複数枚の作業途中の写真列からレシピを

(1) 入カをエンコード

(2) 手順構造を考慮した手順べクトルの計算

図 2 提案手法の概要図.

生成する課題と手法を提案した。作業映像から手順書を生成する研究も行われている. Shi ら [7] は作業映像と, 映像中の音声の書き起こしを入力にして手順書を生成する手法を提案している。

また，手順書の理解に向けて，材料や動作の依存関係をグラフで構造的に表現する研究も行われてき た $[1,2,3]$. 近年ではこれを拡張し, 手順書に付与 された画像情報も活用してマルチモーダルに木構造 で表現する取り組みも行われている $[2,8]$. 本研究 ではこの木構造の手順構造を教師なしで，入力の作業映像から獲得しつつ，手順書を生成する手法を提案する。

## 3 提案手法

提案手法は大きく分けて 3 つのプロセスからな る.(1)まず，最初に動画列と材料リストをエンコー ドし，動画，材料のベクトル表現を獲得する．(2) 次 に，手順構造を獲得するために，得られた動画，材料べクトルから材料-手順隣接行列, 手順-手順隣接行列を計算する. 計算した隣接行列を用いて, 手順 ベクトルを計算する。 (3) 最後に，計算した手順べ クトルを入力に手順書の各手順文を生成する.

## 3.1 入力のエンコード

動画列のエンコード．動画列をエンコードするた めに，動画列の各動画の先頭にエンコードを意味す
る [ENC] ラベルを結合して Transformer [9]を用いて エンコードする．そして，[ENC] ラベルに対応する ベクトルを動画ベクトルとして得る．次に，動画列 の時系列情報を考慮するために，各動画ベクトルを 別の Transformer へ入力し，動画列の時系列情報を 考慮した動画ベクトル $Z_{v}=\left(z_{v}^{1}, z_{v}^{2}, \ldots, z_{v}^{N}\right)$ を得る. ここで， $N$ は動画列に含まれる動画数である.

材料リストのエンコード. 各材料を単語の分散表現に変換した後，材料リスト内の関係を考慮するため, Transformerを用いて材料べクトル $Z_{g}=\left(z_{g}^{1}, z_{g}^{2}, \ldots, z_{g}^{M}\right)$ を得る.ここで， $M$ は材料リ ストに含まれる材料数である.

## 3.2 手順構造を考慮した手順ベクトルの 計算

(2.1) 手順構造の計算. 得られた動画べクトル，材料べクトルを用いて手順構造を計算する. 節 1 で 述べた通り, 手順構造は木構造として表現するこ とができ，これは材料がどの手順へ接続するか， ある手順がどの手順へ接続するのかを材料-手順,手順-手順の隣接行列を計算することで得られる.本研究では，この 2 つの行列計算をマルチヘッド アテンションとして定式化する。まず，材料べク トル，動画ベクトルから各へッドごとの材料ベク トル $\boldsymbol{Z}_{\boldsymbol{h}, \boldsymbol{g}}=\left(z_{h, g}^{1}, z_{h, g}^{2}, \ldots, z_{h, g}^{M}\right) \in \mathbb{R}^{|\boldsymbol{h}| \times M \times d_{h}}$, 動画 ベクトル $\boldsymbol{Z}_{\boldsymbol{h}, \boldsymbol{v}}=\left(z_{h, v}^{1}, z_{h, v}^{2}, \ldots, z_{h, v}^{N}\right) \in \mathbb{R}^{|\boldsymbol{h}| \times N \times d_{h}}$ を 得て, 材料-手順 $P_{i, j}^{i n g r} \in \mathbb{R}^{|\boldsymbol{h}| \times M \times N}$, 手順-手順行列
$P_{i, j}^{i n s t} \in \mathbb{R}^{|\boldsymbol{h}| \times N \times N}$ を以下のように計算する.

$
\begin{aligned}
P_{i, j}^{\text {ingr }} & =\operatorname{Softmax}\left(\frac{\boldsymbol{Z}_{h, g}^{Q}\left(\boldsymbol{Z}_{h, v}^{K}\right)^{T}}{\sqrt{d_{h}}}\right) \\
P_{i, j}^{\text {inst }} & =\operatorname{Softmax}\left(\frac{\boldsymbol{Z}_{h, v}^{Q}\left(\dot{\boldsymbol{Z}}_{h, v}^{K}\right)^{T}}{\sqrt{d_{h}}}\right)
\end{aligned}
$

ここで, $\boldsymbol{Z}_{h, g}^{Q}, \boldsymbol{Z}_{h, v}^{K}, \boldsymbol{Z}_{h, v}^{Q}, \dot{\boldsymbol{Z}}_{h, v}^{K}$ はそれぞれ別の 1 層の 線型結合層で変換されたべクトルである. 計算し た材料-手順隣接行列 $P_{i, j}^{i n g r}$ では, $i$ 番目の材料が $j$番目の手順に接続する確率を, 手順-手順隣接行列 $P_{i, j}^{i n s t}$ は, $i$ 番目の手順が $j$ 番目の手順に接続する確

の手順に遡って繋がらないという仮定のもと， $i \geq j$番目の要素には非常に小さい值 $\epsilon\left(=1.0 \times 10^{-5}\right)$ が挿入されている.

(2.2) 手順ベクトルの計算. 次に，得られた隣接行列を用いて，各手順に対応するべクトルを計算 する. $P_{i, j}^{i n g r}$ の $j$ 列目は $j$ 番目の手順で使われる材料の重みが， $P_{i, j}^{i n s t}$ の $j$ 列目は $j$ 番目の手順と依存関係にある手順の重みが計算されているとみなす ことができる. よって,$j$ 番目の手順における各材料, 手順の隣接行列の重みと, 材料, 動画ベクトル を掛け合わせることによって， $j$ 番目の手順での 材料と動画の重要度を加味したべクトルを得るこ とができる. 具体的には，材料，動画ベクトルを 1 層の線型結合層で変換したべクトル $\boldsymbol{Z}_{h, g}^{V}, \boldsymbol{Z}_{h, v}^{V}$ と, $P_{i, j}^{i n g r}, P_{i, j}^{i n s t}$ の $j$ 列目を用いて, $j$ 手順目と関係のあ る材料ベクトル，動画ベクトルを得る.

$
\begin{aligned}
Z_{h, g}^{j} & =\left[P_{1, j}^{i n g r} z_{h, g}^{V, 1}, P_{2, j}^{i n g r} z_{h, g}^{V, 2}, \ldots, P_{M, j}^{i n g r} z_{h, g}^{V, M}\right] \\
Z_{h, v}^{j} & =\left[P_{1, j}^{i n s t} z_{h, v}^{V, 1}, P_{2, j}^{i n s t} z_{h, v}^{V, 2}, \ldots, P_{N, j}^{i n s t} z_{h, v}^{V, N}\right]
\end{aligned}
$

ここで，[$\cdot$] はベクトルの結合を表す.こうして 得られるベクトルの各ヘッドのベクトルを結合し， $j$ 番目の動画ベクトル $z_{v}^{j}$ を結合することによって,手順書を生成するのに必要な $j$ 番目の手順べクトル $z_{s}^{j}$ を計算する.

## 3.3 手順書の生成

最後に，得られた手順べクトルから対応する手順文を生成し，それらを結合することで手順書を得 る. 手順書を $\boldsymbol{Y}=\left(\boldsymbol{y}_{1}, \boldsymbol{y}_{2}, \ldots, \boldsymbol{y}_{N}\right)$ とし, 各 $\boldsymbol{y}_{j}$ は手順文を表すとする．この時，損失関数 $L$ は全ての動画列と手順書のペアからなるデータセット $D$ に対し表 1 YouCook2 材料データセットの統計情報.

て，以下の負の対数尤度が最小となるように計算を 行う.

$
L(\boldsymbol{\theta})=-\sum_{D} \sum_{j} \log p\left(\boldsymbol{y}_{j} \mid \boldsymbol{z}_{s}^{j} ; \boldsymbol{\theta}\right)
$

ここで， $\theta$ はモデル全体のパラメータを表す。ま た，デコーダには Transformer を用いる。

## 4 実験

## 4.1 実験設定

データセット. 作業映像と手順書のデータセット として YouCook2 [10]を利用した. YouCook2 は作業映像に対し, 手順書の各手順に対応する区間がアノ テーションされたデータセットである. 本研究で は，この区間を抽出することで，各手順に対応する 動画列を作成している. YouCook2 には材料のアノ テーションが行われていないため，材料のアノテー ションを 3 人のアノテータを介して行なった。アノ テーションの結果得られたデータを YouCook2 と併 せて, 本研究では YouCook2 材料データセットと呼 ぶこととする。データセットの統計情報を表 1 に示 す.なお，YouCook2 ではテストセットは公開され ていないため，材料のアノテーションは行っていな い. 以後の実験結果は全て検証セットで評価された ものである.

比較モデル. 本研究と比較するモデルとして，同 じくTransformer ベースで動画列から文章を生成す るモデルである Transformer-XL [11]，MART [12] を 用意した. 元々のモデルは材料を入力としていない ため，提案手法との公平な比較のために，提案手法 と同様に材料リストをエンコードした後，入力の動画ベクトルと結合してモデルを学習させた. また，提案手法の中でどの要素が効果があったのかを調べ るために，提案手法から要素を除いたモデルも学習 して比較した.

## 4.2 定量的評価

文の自動評価尺度である BLEU [13], METEOR [14]，CIDEr-D [15] を用いて生成した手順書を評価 した，表 2 に評価した結果を示す，全ての評価尺度

図 3 手順書の生成結果. 手順構造の予測結果はヘッドの平均值で計算されたものである. また，可視化した手順構造は 隣接行列の各行で最大の值をサンプリングすることで得られたものである.

表 2 文の自動評価尺度による評価. 最も性能が高いもの は太字に，次に性能が高いものには下線を引いている。

において，既存モデルと比較して提案手法が最も高 い性能を示した. 中でも，材料-手順のみが BLEU1， BLEU4，METEOR において最も高い性能を示して おり，材料-手順の隣接行列を計算することが有効 であることが分かる。一方，手順-手順のみのモデ ルは，動画のみのモデルに比べ性能は向上してい る.しかし，全てを組み込んだ両方のモデルでは CIDEr-Dを除いて材料-手順のみのモデルより悪化 する結果となっており, 材料-手順と手順-手順の依存関係を同時に考慮する方法については未だ検討が 必要である.

## 4.3 定性的評価

図 3 に提案手法が生成した手順書，正解の手順書，及び手順構造の予測結果を示す. 提案手法はあ る程度正しく生成できた手順もある一方で (手順 1 ,手順 6)，誤った材料や動作の記述があるものも見ら れる (手順 2, 手順 3). 手順構造の予測結果を可視化すると，手順-手順の依存関係はある程度正しく 捉えられているが，材料-手順については正しく予測できなかった. その結果，異なる手順で異なる材料を使用して手順書を生成していると考えられる。 このことから，手順構造を正しく計算しつつ，手順書の生成に効果的に反映させるようにモデルを改善 することを検討している。

## 5 おわりに

本研究では，作業映像から手順書を生成する課題 に取り組んだ。正しく手順書を生成するためには，材料と動作の依存関係をモデルが理解する必要があ る. 本研究では，こうした材料と動作の依存関係を 木構造として明示的に表現しつつ，文生成モデルに 組み込むことで正しく手順書を生成する手法を提案 した. 実験では，文の自動評価尺度による評価と定性的評価を行い，既存の文生成手法と比較して正し く手順書を生成できていることを確認した.

今後は検証セットに手順構造のアノテーション し，モデルの予測結果がどの程度一致するのか調査 する。また，手順書の一貫性をより詳しく評価する ために，人手評価および別の評価尺度を検討する。

## 参考文献

[1]Shinsuke Mori, Hirokuni Maeta, Yoko Yamakata, and Tetsuro Sasada. Flow graph corpus from recipe texts. In $L R E C$, 2014.

[2]Taichi Nishimura, Atsushi Hashimoto, Yoshitaka Ushiku, Hirotaka Kameko, Yoko Yamakata, and Shinsuke Mori. Structure-aware procedural text generation from an image sequence. IEEE Access, 2020.

[3]Chloé Kiddon, Ganesa Thandavam Ponnuraj, Luke Zettlemoyer, and Yejin Choi. Mise en place: Unsupervised interpretation of instructional recipes. In $E M N L P, 2015$.

[4]Amaia Salvador, Michal Drozdzal, Xavier Giro i Nieto, and Adriana Romero. Inverse cooking: Recipe generation from food images. In CVPR, 2019.

[5]Khyathi Chandu, Eric Nyberg, and Alan W Black. Storyboarding of recipes: Grounded contextual generation. In $A C L, 2019$.

[6]Taichi Nishimura, Atsushi Hashimoto, and Shinsuke Mori. Procedural text generation from a photo sequence. In $I N L G$, 2019.

[7]Botian Shi, Lei Ji, Yaobo Liang, Nan Duan, Peng Chen, Zhendong Niu, and Ming Zhou. Dense procedure captioning in narrated instructional videos. In $A C L, 2019$.

[8]Pan Liang-Ming, Chen Jingjing, Wu Jianlong, Liu Shaoteng, Ngo Chong-Wah, Kan Min-Yen, Jiang Yugang, and Chua Tat-Seng. Multi-modal cooking workflow construction for food recipes. In ACMMM, 2020.

[9]Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In NeurIPS, 2017.

[10]Luowei Zhou, Chenliang Xu, and Jason J. Corso. Towards automatic learning of procedures from web instructional videos. In AAAI, 2018.

[11]Zihang Dai, Zhilin Yang, Yiming Yang, Jaime Carbonell, Quoc Le, and Ruslan Salakhutdinov. Transformer-xl: Attentive language models beyond a fixed-length context. In $A C L$, 2019.

[12]Jie Lei, Liwei Wang, Yelong Shen, Dong Yu, Tamara Berg, and Mohit Bansal. Mart: Memory-augmented recurrent transformer for coherent video paragraph captioning. In $A C L$, 2020.

[13]Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: A method for automatic evaluation of machine translation. In $A C L, 2002$.

[14]Satanjeev Banerjee and Alon Lavie. Meteor: an automatic metric for MT evaluation with improved correlation with human judgments. In ACL Workshop IEEMMTS, 2005.

[15]Ramakrishna Vedantam, C. Lawrence Zitnick, and Devi Parikh. Cider: Consensus-based image description evaluation. In CVPR, 2015.