# 文書単位関係抽出における抽出済みの関係候補を辺とした 関係グラフの辺編集

牧野 晃平 $\dagger \cdot$ 三輪 誠 $\dagger$ ・佐々木 裕 $\dagger$
}

本研究では, 文書中の用語間の関係を抽出する文書単位関係抽出において, 既存の 抽出手法に対して関係間の相互作用を考慮するために, 用語を節点, 抽出済みの関係候補を辺とする関係グラフを構築し，その関係グラフの辺を編集する逐次的な辺編集モデルを提案する。近年，文書単位関係抽出の研究では，深層学習モデルが利用されている。しかしながら，複数のモデルを組み合わせる方法は明確ではなく，研究ごとに実装方法も異なるため, 付加的に新たな観点を導入するのは難しい. そ こで，異なる観点として関係間の相互作用を考慮できるように，既存手法で抽出済 みの関係候補を編集するタスクを提案する。材料合成手順コーパスにおいて，関係 がついていない状態から編集すると $\mathrm{F}$ 值 $79.4 \%$ の性能の逐次的な辺編集モデルで， ルールベース抽出器の出力を編集すると, 性能は $80.5 \%$ から $86.6 \%$ に向上した。一方で, 時間関係抽出の標準的なべンチマークである MATRES コーパスで最先端の 深層学習モデルの抽出結果を編集して評価した場合では性能は向上しなかった. こ れらの差を解析したところ, 編集するモデル単体で抽出可能な関係と編集前の関係 が異なることが性能の向上に寄与する大きな要因であることを明らかにした.

キーワード：文書単位関係抽出，関係グラフ，辺編集
## Editing Relation Candidate Edges of Relation Graphs for Document-Level Relation Extraction

\author{
Kohel MaKino $^{\dagger}$, Makoto Miwa $^{\dagger}$ and Yutaka Sasaki ${ }^{\dagger}$
}

This paper proposes a sequential edge-editing model for the document-level relation extraction that edits edges in a relation graph, where nodes are entities and edges are the output relations as candidates, to consider the interaction among relations. Deep learning models have been mainstream in recent document-level relation extraction research. However, adding new features to the model is difficult because there is no straightforward method for combining multiple models, and their implementation is different. To tackle this, we introduce the task of editing the relation candidates extracted by existing methods to take into account the interactions among relations. For the material synthesis procedure corpus, our proposed model revised the output

of the rule-based extractor from $80.5 \%$ to $86.6 \%$ on F-scores, where a sequential edgeediting model performed $79.4 \%$ when extracting from scratch. On the other hand, performance did not improve for the MATRES corpus, the standard benchmark for temporal relation extraction, when the model edited the output of the state-of-the-art deep learning models. Analysis of these differences revealed that the significant factor contributing to the performance improvement is the difference between the extractable relations in the editing model from scratch and the relations before editing.

Key Words: Document-level Relation Extraction, Relation Graph, Edge Editing

## 1 序論

ニュース記事や論文などの自然言語で記述された情報は構造化されていないため，記述された情報を認識しなければ情報として利用できない。これを解決するために，文章中の情報を計算機で扱いやすい形式に構造化する情報抽出の研究が盛んに行われている (Hendrickx et al. 2010; UzZaman et al. 2013; Yamaguchi et al. 2020)。情報抽出の中でも，文章中の用語間の関係性を認識する関係抽出は, 網羅的に情報を扱うことができるため, 盛んに研究されている (Hendrickx et al. 2010; Zhang et al. 2017).

近年の研究では, 深層学習の台頭によって, 今まで文内の用語間の関係性しか扱えなかった状況から，文をまたいだ用語同士の関係性を対象とした文書単位関係抽出への拡張が進んでいる (Li et al. 2016; Yao et al. 2019). 以前の関係抽出の研究の多くでは，一文中に含まれる用語ぺアの間の関係性のみを対象として抽出する文単位関係抽出に焦点が当てられていた (Zeng et al. 2014; Miwa and Bansal 2016). しかし, これらは文をまたいだ用語間の関係である文間の関係が無視されている。そこで，文間の関係も抽出可能とした文書単位関係抽出へ拡張して一般化されている.

文書単位関係抽出の研究は広く行われているが, 深層学習による関係抽出の研究では後発の研究が独立していて, 先行研究のモデルを同時に利用するのが難しい. 例えば, Zhou et al. (2021) は事前学習モデル (Devlin et al. 2019; Liu et al. 2019) による関係抽出をしたが，用語の関係性を潜在的なグラフを作成した Nan et al. (2020)の後発の研究にもかかわらず，用語間の関係性を考慮した構造をモデルに導入していない.このように先行研究の利点が後続の研究で利用しにくい要因の一つは，深層学習モデルの開発において，モデル構造などの変更をする際に方法が明確ではないことである。一般的に, 深層学習モデルを変更するためには, 既存のモデル構造を活かしてモデルに新たな点を追加し，チューニングをする必要があるため，開発のコストが高い，実装も画一的なルールが整備されておらず，それぞれの研究で異なるため，モデルの再実装が必要となり，容易に先行研究の利点を導入できない.

また, 既存の関係抽出の研究では, 関係間の相互作用を明示的に考慮できていないという問題
点がある。文書単位関係抽出では，一つの文書から抽出された複数の関係同士に関連がある場合がある。例えば，材料合成手順の抽出においては，材料に対する操作や条件の関連性が影響し合い，材料に対する条件が操作に対して影響を及ぼしあう (Mysore et al. 2017, 2019; Makino et al. 2022)．また，イベントの時刻歴を時間関係によって表現して抽出する時間関係抽出では，事前の事前のイベントは事前のイベントである，というような時間的な制約が存在する (Pustejovsky et al. 2003; UzZaman et al. 2013; Cassidy et al. 2014; Laokulrat et al. 2015; Ning et al. 2018b).本稿ではこのような関係同士で及ぼしあう影響を関係間の相互作用と呼ぶ。関係間の相互作用を明示的に扱うために, Fu et al. (2019)は文単位の関係抽出において, 複数ステップで関係を抽出し，前ステップで抽出した関係を利用する GraphRel を提案した。しかし， GraphRel では単語を節点としたグラフを構成するため，文書単位に拡張するのは計算コストが大きくなり困難である.

そこで本研究では, 図 1 のように, 文書のみでなく, 既存の関係抽出器で既に抽出された関係を関係候補として利用し，全ての関係を分類し直して編集するタスクとして，関係候補編集タスクを提案し，このタスクのもとで関係間の相互作用を考慮する。関係候補編集タスクでは，既存研究の知見を利用するために, 抽出結果のみを利用して, モデルを統合せずに後発の研究で既存研究の特徴を考慮する。そして，このタスク設定の下で，用語を節点，抽出済みの関係㬋補を辺とした関係グラフを構築して，グラフ畳み込みネットワーク (Graph Convolutional Network; GCN) (Kipf and Welling 2017)を利用することで関係間の相互作用を考慮する，逐次的な辺編集モデルを提案する。具体的には，既存手法によって抽出した関係によって関係グラフを初期化し, 全ての辺に対してヒューリスティクスによって順序をつけ，逐次的に一度ずつ編集する。編集時には文脈表現に加えて関係グラフの表現を導入することで，その編集ステップ時点での関係間の相互作用を考慮する。これらの提案の有効性は, 材料合成手順コーパス (Mysore et al. 2019) と MATRES コーパス (Ning et al. 2018b) に対する抽出性能によって評価する。そして，モデルの挙動を解析して, このタスク設定とモデルで性能を向上させられる条件を明らかにする.

本研究の貢献は以下の点である。

図 1 関係候補編集タスク。文章と用語から既存の関係抽出器で関係候補を作成し，その結果を付加的に利用して関係を編集し, 最終的な関係を決定する。図中の青い矩形は用語, その間の矢印は関係,異なる種類の矢印は異なる関係クラスを示す.
- 文書単位関係抽出において, 抽出済みの関係を再利用し, 編集するタスクとして, 関係候補編集タスクを提案する。
- 既存手法で抽出した関係を利用した関係グラフを構築し，そのグラフの全ての辺を逐次的に編集する逐次的な辺編集モデルによって, 抽出済みの関係に対して関係間の相互作用を考慮する，逐次的な辺編集を提案する。
- 関係候補編集タスクにおいて，編集で性能を向上させるための条件が，編集するモデル単体で抽出できる関係と編集前の関係に差分があることであることを明らかにする。

## 2 関連研究

## 2.1 関係抽出

関係抽出には文内の用語ペア間の関係のみを抽出の対象とした文単位関係抽出と，文をまたいだ用語ぺア間の関係も含めて抽出の対象とした文書単位関係抽出がある。以前の関係抽出では，文単位関係抽出に焦点が当てられていた。これまでに様々な抽出が試みられており，カー ネル法や特徴量ベースの抽出 (Zelenko et al. 2003; Miwa and Sasaki 2014), 文脈に着目するために系列をモデル化した抽出 (Zeng et al. 2014; Wang et al. 2016; Zhang et al. 2017) や，依存構造木などのグラフ構造を導入した抽出 (Miwa and Bansal 2016; Zhang et al. 2018), Transformer ベースのモデルを利用した抽出 (Alt et al. 2019; Baldini Soares et al. 2019) が行われてきた. しかしながら，これらの手法では，用語のぺアを分類することに重きを置いており，複数の関係同士の関係をモデル化できていない.

このような中で Fu et al. (2019)は，関係間の相互作用を考慮するために，節点を用語，辺を関係とした関係グラフを構成して，GCN によって作成したグラフ表現を活用することで，関係間の相互作用を考慮した文単位関係抽出を実現した。たた，この手法では，節点を文内の単語単位で作成しており，文をまたぐことを想定していないため，文書単位関係抽出への拡張は容易ではない.

文単位の関係抽出では文をまたいだ関係が抽出の対象外となってしまうため，近年では文書内の全ての用語が関係を持ちうる条件で抽出をする文書単位の関係抽出の研究が盛んになっている (Li et al. 2016; Verga et al. 2018; Yao et al. 2019). 多くの文書単位の関係抽出では, 文単位の関係抽出と同様の方法だと離れて記述された語の関係性を考慮するのが困難であるため,節点を文書中の単語として，文をまたぐように付与された依存構造などの辺を付与した文書単位のグラフを作成して抽出を試みている。この文書単位のグラフを利用して, 文書全体で単語同士の関係性を考慮する (Quirk and Poon 2017). Christopoulou et al. (2019) はグラフとして,単語節点だけでなく, 用語や文の代表節点など, 複数の段階で節点を作成し, 人手のルールで辺を接続したグラフを利用して文書内の単語同士の関係性を考慮した. Nan et al. (2020)はグ

ラフを潜在変数とすることで，関係抽出に適したグラフを構築して抽出を試みた。具体的には，関係抽出の学習によって End-to-End に学習される潜在的なグラフの表現を GCN で作成し, 実際の関係ではなく潜在的な関係性の相互作用をモデル化した。このように，文書単位のグラフを作成して関係を抽出する研究は盛んに行われているが，関係間の相互作用を明示的に考慮してグラフを作成して分類を試みた研究は少ない (Li et al. 2020a).

## 2.2 グラフ畳み込みネットワーク

GCN はグラフ構造を扱うためのニューラルネットワーク構造で, 辺に沿って隣接節点に節点表現を伝播させてグラフの構造を考慮した節点の表現を作成するモデルである (Kipf and Welling 2017). 節点集合を $\mathcal{V}=\left.\{v_{1}, v_{2}, \ldots, v_{|\mathcal{V}|}\right.\}$ ，辺集合を $\mathcal{E}$ としたグラフ $G(\mathcal{V}, \mathcal{E})$ を入力として， $i$ 番

のように表せる.

$
\boldsymbol{x}_{i}^{\prime}=\sigma\left(\boldsymbol{\Theta}^{\top} \sum_{(i, j) \in \mathcal{E}} \frac{\boldsymbol{x}_{j}}{\sqrt{\hat{d}_{j j} \hat{d}_{i i}}}\right)
$

ただし，辺集合 $\mathcal{E}$ の要素は $v_{i}, v_{j}$ が隣接する場合に $(i, j) \in \mathcal{E}$ となるようにし， $\hat{d}_{i j}$ は自己ルー プを加えた隣接行列に対する次数行列の $i$ 行 $j$ 列要素, $\mathrm{GCN}$ の重みは $\Theta \in \mathbb{R}^{D_{\text {out }} \times D_{\text {in }}}$ である. GCN は一層では隣接節点しか考慮できないが, 複数層積み重ねて繰り返し節点表現を伝播させることで，複数ホップ離れた節点を考慮した表現を獲得することができる.

関係グラフ畳み込みネットワーク (Relational Graph Convlolutional Network; RGCN) は, 複数種類の役割の辺を持つ異種グラフを扱えるように拡張した GCNで，知識グラフのような辺毎に異なる意味を持つグラフを扱うために提案された (Schlichtkrull et al. 2018). RGCN ではパラメタを辺の種類ごとに用意することで，異種グラフとして表現を作成する．まず辺の表記を拡張するために，辺のクラスの集合を $\mathcal{C}$ として，辺の集合の要素は $v_{i}, v_{j}$ 間にクラス $c$ の辺がある場合に $(i, c, j) \in \mathcal{E}$ となるようにして，辺にクラスをつける．それぞれの辺のクラス $c$ 対

$
\boldsymbol{x}_{i}^{\prime}=\sigma\left(\boldsymbol{\Theta}_{\mathrm{self}}^{\top} \boldsymbol{x}_{i}+\sum_{(i, m, j) \in \mathcal{E}} \boldsymbol{\Theta}_{c}^{\top} \boldsymbol{x}_{j}\right)
$

ただし， $\Theta_{\text {self }} \in \mathbb{R}^{D_{\text {out }} \times D_{\text {in }}}$ は自己ループを別の辺の種類として扱うための重みである.このように，RGCN は辺ごとに異なる重みを利用して異種グラフを扱うことができるように拡張された GCN である.

## 3 関係候補編集タスク

本研究では, 既存研究で抽出された情報を後発の研究でモデルの入力として扱う出力編集夕スクの設定を採用することで，少ない実装上の負担で以前の研究の利点を活かせるようにする.関係抽出の研究は以前から様々な方策で行われているが, 近年の研究ではそれぞれの研究で独立して深層学習モデルを作成しており, 後続の研究で以前の研究を利用しにくい現状がある. これは，研究ごとにモデルの実装が異なり，モデルの構造も異なるためで，それらを集約した実装をするのは再実装が必要となって容易ではない，更にそれぞれの方策を組み合わせて性能を向上させるには多大なチューニングコストがかかる. これらの問題を解決するために, 以前の研究を容易に利用可能な方策が必要となる。そこで，抽出済みの関係を関係の候補として入力に利用して再度全ての関係を分類し直すことで, 後続の研究は既存手法で抽出できている部分を前提として，正しい関係は入力をそのまま，誤った関係は修正するように出力するモデルを作成すればよくなる。このタスク設定では，既存手法で導入された部分をモデルに直接導入せずに，既存手法の視点を間接的に導入できる.

文書 doc と文書に含まれる用語集合 $\mathcal{V}$ 受け取り，関係 $R \in \mathcal{C}^{|\mathcal{V}| \times|\mathcal{V}|}$ を返す従来の関係抽出器 $\mathrm{RE}$ は， (3) 式のように表現できる.

$
R=\operatorname{RE}(\operatorname{doc}, \mathcal{V})
$

関係 $R$ の要素 $R_{i j} \in \mathcal{C}$ は $v_{i}$ と $v_{j}$ の用語間の関係, $\mathcal{C}$ は関係なしのクラス $\bar{c}$ を含めた関係クラス集合を示している。出力編集タスクでは, 文章から直接抽出する設定で抽出した関係 $R^{\mathrm{in}}=\mathrm{RE}(\mathrm{doc}, \mathcal{V})$ を入力として受け取って, 出力となる関係 $R^{\text {out }}$ 抽出する編集モデル Edit が開発の対象となる.

$
R^{\text {out }}=\operatorname{Edit}\left(\operatorname{doc}, \mathcal{V}, R^{\text {in }}\right)
$

このように出力編集タスクでは，関係候補を介して，モデルを統合することなく既存手法の知識を間接的に利用した抽出ができる。なお, 関係候補編集タスクは $R^{\text {in }}$ の全ての要素を関係なし $\bar{c}$ とると，関係候補を与えない通常の関係抽出と同様の設定となる.

## 4 逐次的な辺編集モデル

本章では, 文書単位の関係抽出を関係候補編集タスクとして扱い, 既存の関係抽出結果に対して関係間の相互作用を導入する。そのために, 図 2 に示したような, 関係候補編集タスク設定のもとで, 関係間の相互作用を考慮した深層学習モデルによって関係グラフの辺を編集する逐次的な辺編集モデルを提案する．本提案モデルにおける Edit に相当する逐次的な辺編集モデルは, 4.2 節の逐次的な辺編集の手続きで 4.1 節の辺編集器 $\mathrm{EE}\left(\mathrm{doc}, \mathcal{V}, R^{\mathrm{in}}\right)$ を適用したもので

図 2 逐次的な辺編集モデル

ある。辺編集器には, 文章に加えて抽出済みの関係から作成した関係グラフを入力し, 事前学習モデルによる文脈の表現と RGCN によるグラフの表現をもとにして，関係間の相互作用を考慮した辺の分類をする。そして，分類した結果で関係を上書きして編集を行う。その後, 先に編集された関係で作成した関係グラフを再度入力して次の辺を編集することで，分類しにくい関係を分類する際に分類が容易な関係の情報を利用して効果的に編集できるようにする．編集時の順序はヒューリスティクスによって, 編集する辺に分類が簡単な順とする. この手続きで,辺編集器によって全ての節点ぺア間の辺を逐次的に編集して, 最終的に全ての関係を一度ずつ分類して決定する.

## 4.1 辺編集器

まず辺同士の相互関係を考慮して辺を編集する深層学習ベースの辺編集器 $\mathrm{EE}\left(\operatorname{doc}, \mathcal{V}, R^{\mathrm{in}}\right)$ について説明する. 辺編集器は BERT (Devlin et al. 2019) や RoBERTa (Liu et al. 2019)のような

成する。そして，その表現をもとに節点ぺアを分類して，分類結果で辺を上書きして編集後の関係 $R^{\mathrm{EE}}$ を出力する。具体的には, (1) 事前学習モデルによって用語の文脈表現を作成して節点の初期表現とし，(2) GCN を利用して入力グラフの構造情報を埋め达んた節点の表現を作成し, (3) 節点ぺアの表現と編集前の辺の表現から辺を分類して編集後のグラフを作成する，という 3 ステップで行う。なお, 入力された関係候補 $R^{\text {in }}$ は表現を作成するためのみに利用している.

まず，用語の文脈表現は事前学習モデルによって得られるトークンの表現を集約して作成し，
節点の初期表現 $\boldsymbol{V}^{0}=\left[\boldsymbol{v}_{1}^{0}, \boldsymbol{v}_{2}^{0}, \ldots, \boldsymbol{v}_{|\mathcal{V}|}^{0}\right]$ とする. 文長 $T$ の入力文書 doc を事前学習モデルによって埋め达んだトークンの表現 $\boldsymbol{X}=\left[\boldsymbol{x}_{1}, \boldsymbol{x}_{2}, \ldots, \boldsymbol{x}_{T}\right]\left(\boldsymbol{x}_{i} \in \mathbb{R}^{D_{\mathrm{BERT}}}\right)$ を，重み $\boldsymbol{W}_{r} \in \mathbb{R}^{D_{\mathrm{BERT}} \times D}$ によって線形変換し, 用語の始点のトークンと終点のトークンとその間の表現を結合して節点の初期表現を作成する。結合した表現は，重み $\boldsymbol{W}_{\mathrm{ent}} \in \mathbb{R}^{3 D \times D}$ をパラメ夕とする結合層に入力する. $i$ 番目の節点の始点と終点をそれぞれ $s_{i}$ と $e_{i}$ として, 節点の初期表現は (6) 式のように作成する。

$
\begin{aligned}
\boldsymbol{X}^{\prime} & =\left[\boldsymbol{W}_{r}^{\top} \boldsymbol{x}_{1}, \boldsymbol{W}_{r}^{\top} \boldsymbol{x}_{2}, \ldots \boldsymbol{W}_{r}^{\top} \boldsymbol{x}_{T}\right] \\
\boldsymbol{v}_{i}^{0} & =\boldsymbol{W}_{\text {ent }}^{\top}\left[\boldsymbol{x}_{s_{i}}^{\prime} ; \text { Average }\left(\left[\boldsymbol{x}_{s_{i}}^{\prime}, \boldsymbol{x}_{s_{i}+1}^{\prime}, \ldots, \boldsymbol{x}_{e_{i}}^{\prime}\right]\right) ; \boldsymbol{x}_{e_{i}}^{\prime}\right]
\end{aligned}
$

次に関係間の相互作用をグラフ全体で考慮するため, RGCNによって節点の表現を作成する.関係ラベルの違いを捉えるために，グラフ表現は 2.2 節で述べた複数種類の辺を持つ異種グラフを扱える RGCN によって作成する．RGCN は $L$ 層積み重ね， $L$ ホップまでの関係間の相互作用を考慮した表現を作成する。 $\boldsymbol{V}^{0}$ と $\mathcal{E}^{\text {in }}=\left.\{\left(i, R_{i j}, j\right) \mid R_{i j} \in \mathcal{C} \backslash \bar{c}\right.\}$ を入力として RGCN を適用し， $L$ 層目の表現を $\boldsymbol{V}^{L}$ として，分類に利用する．また，RGCNの各層をまたぐように残差接続 (He et al. 2016)を追加する。最終的な節点の表現 $\boldsymbol{v}_{i}^{\prime}$ は, 文脈から作成した初期表現を残差接続として足して, $\boldsymbol{v}_{i}^{\prime}=\boldsymbol{v}_{i}^{L}+\boldsymbol{v}_{i}^{0}$ を分類に利用する.

最後に， $i$ 番目と $j$ 番目の節点ぺア間の関係を，その表現 $\boldsymbol{u}_{i j} \in \mathbb{R}^{2 D+D_{a}}$ をとに分類する. $\boldsymbol{u}_{i j}$ は (7) 式のように, RGCNの $L$ 層目の節点ぺアの表現, 編集前の辺のクラスを埋め込んた $\boldsymbol{a}_{i j}=\operatorname{Embed}\left(E_{i j}\right) \in \mathbb{R}^{D_{a}}$ を結合した表現とする. $\boldsymbol{W}_{\text {head }} \in \mathbb{R}^{D \times D}$ と $\boldsymbol{W}_{\text {tail }} \in \mathbb{R}^{D \times D}$ はそれぞれ始点と終点に対する表現を作成するための重みである.

$
\boldsymbol{u}_{i j}=\left[\operatorname{ReLU}\left(\boldsymbol{W}_{\text {head }}^{\top} \boldsymbol{v}_{i}^{\prime}\right) ; \operatorname{ReLU}\left(\boldsymbol{W}_{\text {tail }}^{\top} \boldsymbol{v}_{j}^{\prime}\right) ; \boldsymbol{a}_{i j}\right]
$

節点ペア間の表現 $\boldsymbol{u}_{i j}$ を元に分類するための重みを $\boldsymbol{W}_{\text {class }} \in \mathbb{R}^{\left(2 D+D_{a}\right) \times|C|}$ とすると, $v_{i}, v_{j}$ 間の節点間の辺がクラス $c$ である予測確率 $p_{i j, c}$ とそのロジット $\boldsymbol{z}_{i j} \in \mathbb{R}^{|\mathcal{C}|}$ は (9) 式のように表現できる.

$
\begin{aligned}
\boldsymbol{z}_{i j} & =\boldsymbol{W}_{\text {class }}^{\top} \boldsymbol{u}_{i j} \\
p_{i j, c} & =\frac{\exp \left(z_{i j, c}\right)}{\sum_{c^{\prime} \in C} \exp \left(z_{i j, c^{\prime}}\right)}
\end{aligned}
$

確率が最大となったクラスを選択することで，編集後の関係 $R_{i j}^{\mathrm{EE}}$ を決定する.

$
R_{i j}^{\mathrm{EE}}=\underset{c \in C}{\arg \max } p_{i j, c}
$

このようにして, 辺編集器 $\mathrm{EE}$ は文脈の表現と入力された関係グラフの構造表現を合わせて分類した結果を出力する.

## 4.2 逐次的な辺編集

4.1 節の辺編集器を利用し, ヒューリスティクスに基づいて分類しやすい用語ぺアから順にその間の辺を編集し，逐次的に関係を確定する．分類しやすい順に編集することで，分類が難しいぺア間の分類に，既に編集された近くに記述された辺の情報を利用する (Miwa and Sasaki 2014). 逐次的な辺編集の詳細な手続きはアルゴリズム 1 に示した. このアルゴリズムは関係候補編集タスクにおける編集モデル Edit に相当する。逐次的な辺編集は文書 doc, 用語集合 $\mathcal{V}$,関係候補 $R^{\text {in }}$ 受け取って，そのグラフの全ての節点ぺア間の辺を一度ずつ編集すると完了する. 編集は辺編集器によって行われ, 各編集ステップで編集された辺でグラフの辺を更新し, そのグラフを再度入力して編集を繰り返す。

編集の順序は，用語ぺアが記述された距離が近い順をヒューリスティクスとして採用する (Miwa and Sasaki 2014). 用語ぺア $\left(v_{i}, v_{j}\right)$ 間の距離 $h_{i j}$ は文単位の距離に設定して, 同じ文内に記述されたぺア間の距離を 1 , 隣接文では 2 と離れると可算されるように定義する. 同一距離に記述されたぺアは同時に編集する。また, 最大距離 $h_{\text {max }}$ を超えた距離に記述された用語ペアは同時に編集する。

## 4.3 既存手法との接続

3 章で提案した関係候補編集タスクの下で, 4.2 節の逐次的な辺編集モデルで抽出済みの関係を利用する方法を述べる. 既存手法との接続は, 初期の関係候補 $R^{\text {in }}$ を既存手法で抽出した関係に置き換えて実現する。このように逐次的な辺編集モデルは, 事前に既存手法で予測した結果のみを利用するため, 既存手法と編集モデルの学習は切り離されており, 追加のモデルの実装を必要としない.

## 4.4 訓練

モデルの訓練は, 最終的に出力された関係の予測 $R^{\text {out }}$ に対する対数尤度を最大化するように行う. 逐次的な辺編集では, 辺を持ちうる全節点ぺアを複数ステップに分けて一度ずつ分類し,各ステップの結果を統合したものを最終的な予測としているため, 逐次的な辺編集の出力 $R^{\text {out }}$ が正解に近づくように最適化すればよい. 各ステップの節点 $v_{i}, v_{j}$ 間の辺のクラス $c$ に対する予測確率を $p_{i j, c}^{h}$, 正解の $v_{i}, v_{j}$ 間の関係を $R_{i j}^{g o l d}$ とすると, 損失 $L$ は (11) 式のように表せる.

$
L=-\sum_{h=1}^{h_{\max }} \sum_{(i, j) \in \mathcal{P}_{h}} \sum_{c \in \mathcal{C}} \mathbb{1}\left[R_{i j}^{\text {gold }}=c\right] \log p_{i j, c}^{h}
$

ただし， $\mathbb{1}[\cdot]$ は括弧内の条件を満たせば 1 ，それ以外は 0 を返す関数， $\mathcal{P}_{h}$ はアルゴリズム 1 中で使用した距離 $h$ にある用語ぺアの集合である。この損失をデータ全体で最小化するようにモデルを最適化する.

## 5 評価

逐次的な辺編集モデルの有効性を評価するために，材料合成手順のフローグラフを抽出するタスクと時間関係抽出タスクに対して適用し, その抽出性能を確認する. 5.1 節の設定で材料合成手順コーパスに対する評価（5.2 節）と MATRESコーパスに対する評価（5.3 節）を行う。文書単位関係抽出のベンチマークでは DocRED コーパス (Yao et al. 2019) や BioCreative V CDR コーパス (Li et al. 2016) が一般的であるが, このようなコーパスを用いずにこれらのコーパスを利用する理由は, 一つの用語に複数の関係がついていて, 密に関係が付与されており, 関係グラフにしたときに多くの用語がつながっている状況になるためである。用語が関係でつながらない場合では, 本提案手法で利用している GCNがうまく動作しなくなる.

## 5.1 共通の評価設定

提案した逐次的な辺編集モデルを関係候補編集タスクとして評価するための設定を述べる. モデルの最適化には Adam (Kingma and Ba 2015) を用いた. 提案モデルでは文書単位で事前学習モデルを動かさなければならないため, GPU のメモリに載るように，バッチサイズは 1 とした. モデルで利用する事前学習モデルは, 実験的にラージサイズを利用すると性能が低下したため, ベースサイズの RoBERTa (Liu et al. 2019)を利用する．モデル自体の抽出性能を確認するために, $\forall i, j ; R_{i j}=\bar{c}$ として力のグラフの辺を空とした場合（以下， スクラッチと呼ぶ） に対する抽出性能も同時に確認する．スクラッチでは入力の関係が全て関係なしとなる部分のみが変更点で，その状態から全ての関係を編集する。つまり，最初の編集ステップでは文脈の表現のみで分類が行われ, その後のステップではそのステップの時点で抽出されている関係間

の相互作用を考慮した表現を利用した分類になる．評価には 3 つの異なるシード值で実験したときの関係分類に対する $\mathrm{F}$ 値 [\%] の平均値を利用する。評価にはチューニングで得られたハイパーパラメタで学習した際に，開発デー夕に対して最高の性能が得られた時点のモデルを利用する。モデルの学習時には正則化のためにドロップアウト (Srivastava et al. 2014) を導入する. ドロップアウトは $\boldsymbol{X}$ と出力層の前の $\boldsymbol{u}_{i j}$ のそれぞれに対して適用する.

ハイパーパラメタチューニングは Optuna (Akiba et al. 2019)を用いて，枝刈りされたものも含めて 1,000 回の試行で開発デー夕に対する $\mathrm{F}$ 值が最大となるパラメ夕を探索した. チューニングは材料合成手順コーパスと MATRES コーパス両者それぞれに対して行い，パラメタのサンプリングには木構造 Parzen 推定 (Bergstra et al. 2011), 探索の枝刈りアルゴリズムはパラメ夕を $s=1, \eta=2, r=0.15$ とした Successive Halving アルゴリズムを利用した (Li et al. 2020b). チューニングは複数の計算機で分散して行い, NVIDIA 社の GTX 1080Ti, RTX 3090, Tesla V100, TITAN V の GPUが搭載された計算機を利用した。

探索空間とチューニングによって得られたパラメタは表 1 に示した. チューニングしたパラメタは表の上から, Adamの学習率, RoBERTa に対する学習率, 入力と出力に対するドロップアウト率, RGCN の層の数 $L$, 全体的な隠れ層の次元数 $D$, 編集前の辺の埋め込み $a_{i j}$ の次元数 $D_{a}$ とそのドロップアウト率, 距離 $h$ の定義と最大値 $h_{\max }$ の計 10 種類である. 距離の定義は, 文単位で計算する場合と，出現順序に合わせて， $m$ 番目と $m+x$ 番目に出現した用語間の距離を $x$ とする場合の 2 種類を定義したが，どちらも文単位の距離の方がよいと確認できたため, そちらをモデルに採用した。

表 1 ハイパーパラメタチューニングの探索空間と結果

## 5.2 材料合成手順コーパスによる評価

まず，材料合成手順のフローグラフを抽出するタスクのコーパスである材料合成手順コーパス (Mysore et al. 2019) を使用して, 提案手法の有効性を評価する。このコーパスには, 密に関係が付与されており，直感的には以前の合成手順が以降の合成手順に影響したり，材料に対する条件が操作に影響を及ぼしたりするなど，関係間に関係を及ぼすような夕グ付けがされている. 材料合成手順コーパスには図 3 の抽出事例のように，材料分野の論文中の材料合成手順が記述された段落に対して, 材料や操作, 質量などの数値条件やその他の条件付けとなる用語と, その間の関係がフローグラフのようにタグ付けされている。コーパスの分割は公式に提供されているものと同様に，訓練，開発，評価をそれぞれ $200,15,15$ 件とした. 表 2 には材料合成手順コーパスの関係の統計量と説明を示した.

材料合成手順コーパスに対しては, 我々が作成したルールベース抽出器 (Kuniyoshi et al. 2020; Makino et al. 2022) をべースラインとして, その出力をモデルの入力とする. このコーパスに対する抽出手法は, このルールベース抽出器のみしか公開されている抽出手法がないため, この手法に対してのみ評価をする、ルールは文脈を考慮しない単純なもので, 主に用語間の単語数や出現順序に基づいていて, 一部の関係クラスに対しては辞書との一致をとって関係を抽出する。なお, Wen and Ji (2021)やZhao et al. (2021)といった手法は時間関係抽出に特化した手法で，適用することはできない.

表 2 材料合成手順コーパスの関係ラベルとその統計値

表 3 材料合成手順コーパスでの評価（ $\mathrm{F}$ 値 [\%]）

表 3 に示した材料合成手順コーパスに対する性能の評価では，逐次的な辺編集による性能の向上が確認できた。まず，スクラッチとヒューリスティクスによるルールベース抽出器による抽出結果（以下，ルールと呼ぶ）を比較すると，わずかにスクラッチの方が性能が低く, ルー ルの方が深層学習モデルより高い性能で抽出できた. これは, 文脈を考慮せずとも抽出できる関係が多く存在し, 事前学習モデルを利用した深層学習モデルでも抽出できない関係があることを示している。ルールの抽出結果を編集した場合では, ルールと比べて $6.4 \%$ ル゚゚ント向上しており，編集が効果的に作用している。これは，ルール中のヒューリスティクスを間接的に深層学習モデルに導入できたためで, 逐次的な辺編集モデル単体ではルールベース抽出器より性能が低くても, ルールベース抽出器の出力を合わせて利用することで性能が向上した.

## 5.3MATRES コーパスによる評価

次に, MATRESコーパス (Ning et al. 2018b)を利用して, 他のコーパスに対する評価と最先端のモデルの出力を編集した場合の効果を確認する．材料合成手順コーパスに対する性能評価では, このコーパスのルールベース抽出器の出力に対して, 逐次的な辺編集の有効性が示された. 他のコーパスにおいて, 最先端の深層学習モデルの出力を編集した際の効果を確認するために，MATRESコーパスを使用する．MATRESコーパスは時間関係抽出の標準的なべンチマー クとして利用されており, 抽出するための手法が多く提案されている (Han et al. 2021; Wen and Ji 2021; Zhao et al. 2021; Mathur et al. 2021). MATRESコーパスの時間関係抽出では, 時間関係の制約を導入する有効性が確認されており (Ning et al. 2018a), 時間的制約として関係間の相互作用が重要となる.

MATRESコーパスには, ニュース記事に対してイベントとなる用語と, その間の時間関係がタグ付けされている. MATRESコーパスの時間関係のラベルは, 始点のイベントが終点のイベントの事前であること示す BEFORE, 始点のイベントが終点のイベントの事後であること示す AFTER, 始点のイベントと終点のイベントが同時であること示す EQUAL, 始点のイベントと終点のイベントの時間関係が曖昧であること示すVAGUEの４つのラベルが存在し, これらの関係によってイベントの発生時間が相対的にタグ付けされている. MATRESコーパスでは始点の用語から後方で，文内及び隣接する次の文中に含まれる用語のみが終点の用語となる。そのため, 既存研究 (Ballesteros et al. 2020) と同様に, 時間関係を持つ用語ぺアは与えて, 時間関係

を持ちえない用語ぺアを無視する関係分類の設定として，VAGUEの関係を負例とした。データの分割は Wen and Ji (2021) と同様に，訓練，開発，評価用デー夕をそれぞれ $234 ， 21,20$ 件とした。関係の統計量は表 4 に記述した。

MATRES コーパスに対しては，最先端の手法でソースコードが公開されているもの (Zhao et al. 2021; Wen and Ji 2021) に限定し, 再現実験によって得た出力をモデルの入力として利用した. Zhao et al. (2021)は，明示的に時間関係を言及している文を時間関係抽出の遠距離教師データとして収集して利用した．Wen and Ji (2021)は，時間関係抽出に特化して，イベントの相対的な時間を予測する手法を提案した。これらのモデルの公開されているソースコードを使用し，その出力を逐次的な辺編集モデルの入力として利用した.

表 5 に示した MATRES コーパスに対する性能評価では, 編集前と比べてわずかに $\mathrm{F}$ 値が上昇した場合はあったものの，ほとんど逐次的な辺編集の効果は見られなかった. Zhao et al. (2021) に対する場合では，編集前よりも編集後の方が高い性能で抽出できているが，両者ともスクラッチより低い性能であった。Wen and Ji (2021)に対しては，編集前はスクラッチよりも高い性能で，編集後にはわずかに $\mathrm{F}$ 値が上昇したが，有意な差はなく，ほとんど効果はなかった。このように, MATRES コーパスにおいて最先端の深層学習モデルの出力を編集した場合に対しては,材料合成手順コーパスほどの改善が見られず，わずかに $\mathrm{F}$ 値が上がる場合はあったもののほとんど効果はなかった.

表 4 MATRES コーパスの関係ラベルとその統計値

表 5 MATRES コーパスでの評価（F 値 [\%]）

## 6 解析

材料合成手順コーパスで評価した場合には逐次的な辺編集によって性能が向上した一方で， MATRES コーパスに対する評価ではほとんど性能が向上しなかった. MATRESコーパスの編集前が既存の深層学習モデルで得られている最先端の結果で, 性能を向上させるのが困難なことを考慮しても，ほとんど性能が変化しない要因があると考えられる。そこで，これらの評価の実験の間で異なる点を洗い出し, 関係候補編集タスクの設定で効果が得られる条件を明確にする。

## 6.1 編集事例の確認

まず編集の特徴を確認するために，実際の編集事例を確認する。材料合成手順コーパスにおけるそれぞれのモデルの抽出結果を図 3 に示した。それぞれ個別に特徴を確認すると、ルールベー 入抽出器は用語の出現パターンによって抽出しているため, 用語が離れて記述されていても抽出できている関係がある一方で, $\mathrm{SrCO3} \cdot \mathrm{MoO} 3 \cdot \mathrm{Ni}$ の間の並立の関係が認識できていなかったり，連続していない prepared と mixed の操作の間で関係をつけてしまったりしている，スクラッチでは離れて記述されている用語同士の関係がうまく抽出できておらず, $\mathrm{SrCO} 3 \cdot \mathrm{MoO} 3 \cdot$ $\mathrm{Ni}$ のうち, Appropreate proportions と $\mathrm{Ni}$ の間の関係や操作の順序がうまく抽出できていない. ルール＋逐次的な辺編集では主にルールベース抽出器とスクラッチで抽出できている関係を合算したような抽出結果となっていて，操作の順序が正しく抽出できており，prepared と mixedが連続していない操作であることも認識できている，更に，追加で抽出できている関係も確認できた. 例えば, Appropreate proportions と $\mathrm{SrCO3} \cdot \mathrm{MoO} 3 \cdot \mathrm{Ni}$ の間の関係を確認すると, ル一ルベース抽出器でもスクラッチでも抽出できていない $N i$ との間の関係を抽出できている。これは，関係間の相互作用を表現することで，他の関係を介して並立の関係を認識できていると考えられ，逐次的な辺編集の利点が確認できた。

MATRES コーパスにおいてWen and Ji (2021)の出力を逐次的な辺編集をした事例は図 4 に示した，材料合成手順コーパスの抽出結果と比較すると, MATRESコーパスに対してはあまり編集が行われず，編集された関係に明確な法則は確認できなかった。このことから， MATRES コーパスに対しては，逐次的な辺編集で編集するよりも，抽出済みの関係を保持するようにモデルが学習されていることが確認できた。

## 6.2 アブレーション研究

5 章の抽出性能の評価で得られた結果が，提案のどの部分の寄与によるものかを解析するため, モデルの機能を変更して性能を確認するアブレーション研究を行う. アブレーション研究では，編集前の関係グラフの影響，編集順序の影響，および関係間の相互作用を考慮する影響
入力文章

A series of polycrystalline samples of SrMo1-xNixO4 $(0.02<=\mathrm{x}<=0.08)$ were prepared through the conventional solid-state reaction method in air. Appropriate proportions of high-purity $\mathrm{SrCO3}, \mathrm{MoO} 3$, and $\mathrm{Ni}$ powders were thoroughly mixed according to the desired stoichiometry, and then prefired at 900 [?] C for $24 \mathrm{~h}$. The obtained powders were ground, pelletized, and calcined at 1000, 1100 and 1200 [?]C for $24 \mathrm{~h}$ with intermediate grinding twice. White compounds, SrMo1-xNixO4, were obtained. The compounds were ground and pressed into small pellets about $10 \mathrm{~mm}$ diameter and 2 $\mathrm{mm}$ thickness. These pellets were reduced in a $\mathrm{H} 2 / \mathrm{Ar}(5 \%: 95 \%)$ flow at 920 [?] C for $12 \mathrm{~h}$, and then the deep red colored products of $\mathrm{SrMol}$-xNixO3 were obtained.

calcined compounds

obtained $\rightarrow$ SrMol-xNixO4

ground $\gg$ compounds

diameter

pressed $\Rightarrow$ pellets $\leftarrow \mathrm{mm} \leftarrow 10$

thickness $\rightarrow \mathrm{mm} \leftarrow 2$

pellets

$\mathrm{H} 2 / \mathrm{Ar} \leftarrow \% \leftarrow 5$

reduced $\mathrm{C} \leftarrow 920 \% \leftarrow 95$

obtained $h+12$

SrMol-xNixO4 正解

SrMo1-xNixO4

ルールベース抽出器

prefired C 900 $\mathrm{h} \leftarrow-24$ ground $\rightarrow$ powders 1000 pelletized C 1100 $\mathrm{h} \leftarrow 24 \quad 1200$ calcined compounds obtained $\rightarrow$ SrMol-xNixO4 ground $\stackrel{\text { compounds }}{ }$ diameter pressed $\rightarrow$ pellets $\leftarrow \mathrm{mm} \leftarrow 10$ thickness $\Rightarrow \mathrm{mm} \leftarrow 2$ pellets $\mathrm{H} 2 / \mathrm{Ar} \%>^{5}$ reduced $\mathrm{C} 920 \% 95$ obtained $h+12$

SrMol-xNixO4 スクラッチ

$\mathrm{SrMol}-\mathrm{xNixO} 4$

ルール

十逐次的な辺編集

凡例

 \\

図 3 材料合成手順コーパスの抽出事例

を確認する。材料合成手順コーパスと MATRES コーパスの二つのコーパスに対して，それぞれ最も高い性能が得られたルールベース抽出器の出力と, Wen and Ji (2021) の出力に逐次的な辺編集を適用した場合について実験する。アブレーション研究のために，ランダムな辺で初期化した関係グラフを編集するランダム初期化，文書毎にランダムに定めた順序で編集をするランダム順序，全ての辺を同時に編集する $h_{\max }=1$ ，関係間の相互作用を考慮せずに文脈のみで分類する $L=0$ のモデルを用意した。 ランダム初期化は編集前のグラフと同数の割合の辺となるように，ランダムに用語間に関係をつけて初期化した。

## 入力文章

Elian Gonzalez's father said in a letter published Wednesday that he wants Cuban diplomats based in Washington to meet with his 6-year-old son in Miami and check on his condition. "We are worried not only about his prolonged kidnapping," Juan Miguel Gonzalez wrote in a letter published on the front page of the Communist Party daily Granma. ...

図 4 MATRES コーパスの抽出事例。矢印は編集，括弧内は正解ラベルを表しており，誤って抽出されている部分のみ正解ラベルを記述した。時系列順は時間関係から導き出したもので，数字が少ないほうが先に発生したイベントである.

} & \multicolumn{2}{c}{ MATRES } \\
評価 & 開発 & 評価 \\

ランダム初期化 & $78.4 \pm 1.5$ & $75.4 \pm 1.3$ & $80.2 \pm 0.5$ & $78.8 \pm 0.1$ \\

+ 逐次的な辺編集 & $87.4 \pm 0.3$ & $86.8 \pm 0.5$ & $83.1 \pm 0.4$ & $80.7 \pm 1.1$ \\
ランダム順序 & $87.7 \pm 0.1$ & $87.2 \pm 0.2$ & $83.3 \pm 0.0$ & $80.5 \pm 0.2$ \\
$h_{\max }=1$ & $87.1 \pm 0.6$ & $86.3 \pm 0.3$ & $83.3 \pm 0.1$ & $80.5 \pm 0.1$ \\
$L=0$ & $86.9 \pm 0.3$ & $86.4 \pm 0.3$ & $83.4 \pm 0.1$ & $80.4 \pm 0.1$ \\

表 6 アブレーション研究

アブレーション研究の結果を表 6 に示した. まず，編集前の関係グラフの影響を確認するために，既存手法で初期化した関係グラフを入力とした関係候補 + 逐次的な辺編集，辺がついていない関係グラフを入力としたスクラッチ，ランダムに初期化した辺をもつ関係グラフを入力としたランダム初期化を比較する。両方のコーパスで関係候補 + 逐次的な辺編集が最も高い性能を示したため, 関係候補編集タスクの設定では, 既存手法が出力した関係を入力として利用して，モデルの抽出性能の改善に有効であると言える。また，ランダムな辺の関係グラフを入力しても性能が向上するわけではないことから, 入力のグラフの内容が影響することがわかる.
以上から, 既存手法の出力を関係候補として初期化して編集することは有効であると確認でき,編集前の関係の内容によって向上する性能が変化することが確認できた.

次に，編集順序の影響を確認するために，ヒューリスティクスとして近くに記述された用語ペア間の関係性から順番に分類した提案手法と，順番をつけずに全ての関係を同時に編集する $h_{\max }=1$ ，ランダムな順番で編集するランダム順序を比較する．抽出性能を比較すると，全て同時に編集した場合より逐次的に編集したほうが性能が高く，材料合成手順コーパスでは近い順よりランダムな順序の方が，MATRES コーパスでは近い順の方が性能が高かった。編集前と比較すると，材料合成手順コーパスは性能が下がらなかったが，MATRES コーパスに対しては編集することでわずかながら性能が低下した。これは，適切な編集順序が存在しているが，必ずしも近い順が最適ではないことを示唆している。しかしながら，編集順序による性能の変化は小さく, 性能が向上した要因とはならないことが確認できた.

関係間の相互作用については， $L=0$ として関係間の相互作用を考慮しないようにすると，材料合成手順コーパスに対してはわずかに性能が低下し, MATRES コーパスに対しては性能があまり変わらなかった。このことから，RGCNによる関係間の相互作用の表現は，材料合成手順コーパスには少し効果があるものの，性能に対する寄与は大きくなく，性能向上の最大の要因でないと確認できた。

以上から，入力の関係グラフを変更した場合に最も性能の低下が変化したため, 逐次的な辺編集によって性能向上できるかどうかの条件は入力の関係グラフの辺の内容にあると推測できる. アブレーション研究では性能に寄与する部分しか確認できないため, より詳細に入力の関係グラフの条件を調査する必要がある.

## 6.3 編集前の関係グラフの影響

アブレーション研究の結果から，逐次的な辺編集によって性能の向上に関与する最大の要因は入力される関係グラフの内容にあると確認できたため, 関係グラフの内容について更なる調査が必要である。そこで, 編集前のグラフの質の影響を確認するために, 図 5 に編集前の関係グラフ中の辺を削除したときに抽出性能がどの様に変化するか示した. この時, 編集前のグラフはアブレーション研究の実験と同様に, 材料合成手順コーパスに対してはルールベース抽出器, MATRESコーパスに対しては Wen and Ji (2021)の出力とした. グラフの横軸は辺の維持率で， $0 \%$ ときにはスクラッチ， $50 \%$ の場合は編集前のグラフ中の辺を半分削除した場合， $100 \%$ のきには既存手法によって抽出された関係がそのまま入力される場合となる。辺の削除は，辺の維持率に合わせて, その辺が正解している関係かどうか関係なくランダムに行う。そのため,辺を削除したとしても編集前の $\mathrm{F}$ 値が高くなる場合はあるが，編集前にはそれぞれ $\mathrm{F}$ 值で材料合成コーパスに対しては $80.5 \%$, MATRES コーパスに対しては $80.6 \%$ と高い性能で抽出できているため, 基本的には削除されたグラフの精度は低くなる。この解析ではランダム性があるた

図 5 編集前の関係を削除したときの抽出性能の推移.色が塗られた部分はそれぞれに対する $95 \%$ 信頼区間である。

め, 試行回数を 5 回に増やして実験を行い 1 , その平均と $95 \%$ 信頼区間をグラフに示した.

図 5 から, 入力されるグラフの辺の維持率を上昇させると性能が向上することが確認でき, 編集前のグラフの精度が高い場合には編集後にも高い性能で抽出できるようになると言える。また, 辺を削除したときの性能の低下は, MATRES コーパスの場合よりも材料合成手順コーパスの場合の方が大きかった．材料合成手順コーパスのグラフは，辺維持率が $100 \%$ から $80 \%$ の区間で急激に低下しており，信頼区間から分散が材料合成手順コーパスの方が大きいことも確認できる。このことから，材料合成手順コーパスに対して入力された関係グラフに含まれる辺の中に効果的な辺が含まれており，その辺が削除された場合に性能が低下していることが示唆される.この効果的な辺がどのような辺なのかわかれば，逐次的な辺編集を効果的に利用できる条件がわかる.

そこで, 性能の向上に寄与している関係は逐次的な辺編集モデル単体では抽出できない関係, つまりスクラッチの場合に抽出できない関係が性能に寄与しているという仮説を立てた。これは編集による変化を観察して建てた仮説で，MATRESコーパスにおいて編集された辺の数が少なかったことからこの洞察を得た．仮説の事前の検証のため，開発データの関係をスクラッチで抽出した場合と既存手法で抽出した場合の関係を比べる。編集前とスクラッチでどれだけ異なる関係が抽出されているのか確認するため, 材料合成手順コーパスに対してはルールベー

ス抽出器とスクラッチ, MATRES コーパスに対してはWen and Ji (2021) とスクラッチが予測した関係の混同行列を作成して比較する。材料合成手順コーパスの混同行列は表 7, MATRES コーパスの混同行列は表 8 に示した。材料合成手順コーパスに対しては，ルールとスクラッチで異なる関係を正例として予測しており，クラス間で誤っている場合は少ない特徴がみられた。 MATRES コーパスに対しては，異なる部分の中でも多くが AFTER と BEFORE の間で異なる予

表 7 材料合成手順コーパスの開発データにおけるルールベース抽出器とスクラッチで抽出された関係の混同行列. NONE は関係がないことを示す.

表 8 MATRES コーパスの評価デー夕における Wen and Ji (2021)の抽出器とスクラッチで抽出された関係の混同行列
測をしている。

混同行列のみでは正解との対応が確認できないため, 関係を持ちうる用語ぺアごとに，その用語ぺアの関係予測が正解しているかどうか, それが正例かどうかを数え, スクラッチと編集前で対応付けて関係予測の内訳を確認する。材料合成手順コーパスの予測の内訳は表 9 , MATRES コーパスの予測の内訳は表 10 に示した。スクラッチと比べて編集前の方が正しく抽出できているのが表中の赤く塗られた部分，スクラッチの方が正しく抽出できているのが青く塗られた部分で，これらの数が多いほど異なる関係が抽出できているということである。それらの合計から，材料合成コーパスの方が編集前とスクラッチの間で差分が大きいことがわかる。一つの指標として，どちらか一方のみで抽出できている正例の割合を計算したところ，表 11 のようになり，材料合成手順コーパスに対する抽出の方が差分があることが確認できた．以上の結果は，編集前と編集するモデル単体で抽出できる関係に差があることが条件であるという仮説に矛盾しない.

仮説を実際に検証するため，編集前の関係グラフをスクラッチで正しく抽出できていない関係として，徐々に辺を追加したときの性能の変化を確認した。この実験では, スクラッチで抽出

表 9 材料合成手順コーパスの評価データに対する関係予測の内訳． TP は正しく正例を，TN 負例を，FPは誤って正例を，FN は誤って負例を予測した場合を表す。赤く塗られた部分はスクラッチで誤っていてルールで正しく抽出できている部分, 青く塗られた部分はルールで誤っていてスクラッチで正しく抽出できている部分である．赤く塗られた部分の合計は 554 , 青く塗られた部分の合計は 205 である.

表 10 MATRES コーパスの評価データに対する関係予測の内訳．TP は正しく正例を，TNは正しく負例を，FP は誤って正例を，FN は誤って負例を予測した場合を表す。赤く塗られた部分はスクラッチで誤っていて Wen and Ji (2021) で正しく抽出できている部分, 青く塗られた部分は Wen and Ji (2021) で誤っていてスクラッチで正しく抽出できている部分である. 赤く塗られた部分の合計は 43 , 青く塗られた部分の合計は 35 である.

できなかった関係が重要な役割を持っているのか確認することを目的とする。まず，スクラッチで抽出した場合の関係と正解の関係を比べて，スクラッチで誤って抽出している関係を取り出す。そして，スクラッチで抽出した関係に対して，抽出できなかった関係を割合を変えながら辺に追加して，それを編集前の関係として編集したときの性能の変化を観察する。このとき， スクラッチで正しく抽出できている関係を追加した関係と置き換え，入力するグラフ全体の質は保った状態で検証を行った．つまり，0\%の場合は入力をスクラッチの出力にした編集， $100 \%$ の場合はスクラッチで編集できなかったすべての関係を追加して，その関係の数だけスクラッチの辺を誤るように置き換えたグラフを入力とした編集を表している.

図 6 に示した検証の結果より，効果的に作用している関係はスクラッチで抽出できていない関係であることが確認でき，仮説が正しいと確認できた．関係グラフ全体の質はほとんど変化させずに，スクラッチで抽出できていない関係に置き換えると編集後の性能が向上した。よって，編集するモデル単体で抽出できていない関係が性能向上に寄与していることがわかる．加

表 11 材料合成手順コーパスと MATRES コーパスにおける編集前とスクラッチのどちらか一方のみで抽出できている正例の割合

図 6 スクラッチで抽出できなかった関係を追加した場合の性能の変化. 色が塗られた部分はそれぞれに対する $95 \%$ 信頼区間である.

えて, 辺の導入率 $0 \%$ は逐次的な辺編集モデルを使ってスクラッチの設定で抽出した関係を入力として，逐次的な辺編集モデルを学習しなおして編集している場合を示している．この場合では，スクラッチの場合とほとんど数値の変化はない。これから，編集前の抽出を行ったモデルと同じモデルで編集してもほとんど向上がみられないということが確認できる。また，追加する関係の数に対して完全に線形ではなく, それ以上に性能が向上していることが確認できる. このことから，単純に入力された辺を複製しているだけではなく，その辺を手掛かりに，他の辺の抽出ができるようになっていることがわかる．実際に編集前とスクラッチの両者で抽出できておらず，逐次的な辺編集モデルによって新たに抽出できるようになった関係の数を数えると，材料合成手順コーパスの場合で 40 , MATRES コーパスの場合で 1 の関係が新たに抽出できるようになった。

この検証から，関係候補編集タスクにおいて編集によって性能を向上させるために重要な要素は，入力される関係と編集モデル単体で抽出可能な関係が異なることであると確認できた。つまり，編集によって組み合わせるモデルは異なる観点で作成されていることが重要である，本研究の場合では材料合成手順コーパスにおいて，ヒューリステイクスに基づくルールベース抽出器と深層学習モデルを組み合わせることで性能の向上が確認できたのは，編集前と編集するモデルは異なる観点のモデルで，異なる関係が抽出できていたため，性能が向上した， MATRES コーパスに対しては, 編集前の関係抽出と編集の両者で事前学習モデルをべースとしたモデルを利用していたことから似たような出力をするモデルとなっていて，編集によって性能がほとんど向上しなかった. 既存手法の出力を関係候補編集タスクの設定として再利用して効果があるのは，既存手法と編集するモデルに差分があることであり，関係候補編集タスクに利用する既存手法を決定する際の指標となる。

## 7 結論

本研究では関係抽出において, 関係抽出モデルの作成時に, 既存手法で抽出された結果を再利用して編集する関係候補編集タスクを提案した，更に，そのタスク設定のもとで関係間の相互作用を考慮すべく, 抽出済み関係候補を関係グラフとして構成して, 関係グラフの構造の表現を導入して逐次的に関係を編集するモデルを提案した，実験では材料合成手順コーパスに対してルールベースの抽出器の出力を編集して改善できた。一方で, MATRES コーパスに対しては最先端の深層学習モデルの出力を編集したが有効性が確認できなかった. 解析ではこの要因を解析し，関係候補編集タスクにおいて編集した際に性能が向上する条件は，編集するモデル単体で抽出可能な関係と編集前の関係に差があることであると明らかにした。

今後は過去に提案された手法によって抽出された出力を解析することで，高性能なモデルのほとんどが深層学習となっている近年の状況であっても有用な手段を発見する必要がある. 本研
究によって, 深層学習モデルによる抽出を, 既存手法の出力を利用して向上させるための条件が示された，深層学習以前の研究では，情報抽出は別の手段や手法で行われていたが (McCallum et al. 2000), それらの中には深層学習モデルと合わせて利用するのに有用なものがある可能性がある．例えば，本研究では単純なルールベース抽出器を深層学習モデルと合わせて使うことで抽出性能を向上させた。このような過去の研究から，深層学習と合わせて利用するのに有用な手段を明らかにできれば，さらなる情報抽出の性能向上を見込める.

## 謝 辞

本研究は JSPS 特別研究員奨励費 JP22J14025 の助成を受けたものです.

## 参考文献

Akiba, T., Sano, S., Yanase, T., Ohta, T., and Koyama, M. (2019). "Optuna: A Next-generation Hyperparameter Optimization Framework." In Proceedings of the 25rd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, pp. 2623-2631.

Alt, C., Hübner, M., and Hennig, L. (2019). "Improving Relation Extraction by Pre-trained Language Representations." In Proceedings of Automated Knowledge Base Construction.

Baldini Soares, L., FitzGerald, N., Ling, J., and Kwiatkowski, T. (2019). "Matching the Blanks: Distributional Similarity for Relation Learning." In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 2895-2905, Florence, Italy. Association for Computational Linguistics.

Ballesteros, M., Anubhai, R., Wang, S., Pourdamghani, N., Vyas, Y., Ma, J., Bhatia, P., McKeown, K., and Al-Onaizan, Y. (2020). "Severing the Edge Between Before and After: Neural Architectures for Temporal Ordering of Events." In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing, pp. 5412-5417, Online. Association for Computational Linguistics.

Bergstra, J., Bardenet, R., Bengio, Y., and Kégl, B. (2011). "Algorithms for Hyper-Parameter Optimization." In Shawe-Taylor, J., Zemel, R., Bartlett, P., Pereira, F., and Weinberger, K. Q. (Eds.), Proceedings of Advances in Neural Information Processing Systems, Vol. 24, pp. 2546-2554. Curran Associates, Inc.

Cassidy, T., McDowell, B., Chambers, N., and Bethard, S. (2014). "An Annotation Framework for Dense Event Ordering." In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 501-506, Baltimore, Maryland.

Association for Computational Linguistics.

Christopoulou, F., Miwa, M., and Ananiadou, S. (2019). "Connecting the Dots: Document-level

Neural Relation Extraction with Edge-oriented Graphs." In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, pp. 4925-4936, Hong Kong, China. Association for Computational Linguistics.

Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. (2019). "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota. Association for Computational Linguistics.

Fu, T.-J., Li, P.-H., and Ma, W.-Y. (2019). "GraphRel: Modeling Text as Relational Graphs for Joint Entity and Relation Extraction." In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 1409-1418, Florence, Italy. Association for Computational Linguistics.

Han, R., Ren, X., and Peng, N. (2021). "ECONET: Effective Continual Pretraining of Language Models for Event Temporal Reasoning." In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 5367-5380, Online and Punta Cana, Dominican Republic. Association for Computational Linguistics.

He, K., Zhang, X., Ren, S., and Sun, J. (2016). "Deep Residual Learning for Image Recognition." In Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, pp. 770-778, Los Alamitos, CA, USA. IEEE Computer Society.

Hendrickx, I., Kim, S. N., Kozareva, Z., Nakov, P., Ó Séaghdha, D., Padó, S., Pennacchiotti, M., Romano, L., and Szpakowicz, S. (2010). "SemEval-2010 Task 8: Multi-Way Classification of Semantic Relations between Pairs of Nominals." In Proceedings of the 5th International Workshop on Semantic Evaluation, pp. 33-38, Uppsala, Sweden. Association for Computational Linguistics.

Kingma, D. P. and Ba, J. (2015). "Adam: A Method for Stochastic Optimization." In Proceedings of 3rd International Conference on Learning Representations, San Diego, CA, USA.

Kipf, T. N. and Welling, M. (2017). "Semi-Supervised Classification with Graph Convolutional Networks." In Proceedings of International Conference on Learning Representations.

Kuniyoshi, F., Makino, K., Ozawa, J., and Miwa, M. (2020). "Annotating and Extracting Synthesis Process of All-Solid-State Batteries from Scientific Literature." In Proceedings of the 12th Language Resources and Evaluation Conference, pp. 1941-1950, Marseille, France.

European Language Resources Association.

Laokulrat, N., Miwa, M., and Tsuruoka, Y. (2015). "Stacking Approach to Temporal Relation Classification with Temporal Inference." Journal of Natural Language Processing, 22 (3), pp. 171-196.

Li, B., Ye, W., Sheng, Z., Xie, R., Xi, X., and Zhang, S. (2020a). "Graph Enhanced Dual Attention Network for Document-Level Relation Extraction." In Proceedings of the 28th International Conference on Computational Linguistics, pp. 1551-1560, Barcelona, Spain (Online). International Committee on Computational Linguistics.

Li, J., Sun, Y., Johnson, R., Sciaky, D., Wei, C.-H., Leaman, R., Davis, A. P., Mattingly, C., Wiegers, T., and lu, Z. (2016). "BioCreative V CDR Task Corpus: A Resource for Chemical Disease Relation Extraction." Database, 2016. baw068.

Li, L., Jamieson, K., Rostamizadeh, A., Gonina, E., Ben-tzur, J., Hardt, M., Recht, B., and Talwalkar, A. (2020b). "A System for Massively Parallel Hyperparameter Tuning." In Proceedings of Machine Learning and Systems, Vol. 2, pp. 230-246.

Liu, Y., Ott, M., Goyal, N., Du, J., Joshi, M., Chen, D., Levy, O., Lewis, M., Zettlemoyer, L., and Stoyanov, V. (2019). "RoBERTa: A Robustly Optimized BERT Pretraining Approach.", arXiv preprint arXiv:1907.11692.

Makino, K., Kuniyoshi, F., Ozawa, J., and Miwa, M. (2022). "Extracting and Analyzing Inorganic Material Synthesis Procedures in the Literature." IEEE Access, 10, pp. 31524-31537.

Makino, K., Miwa, M., and Sasaki, Y. (2021). "A Neural Edge-Editing Approach for DocumentLevel Relation Graph Extraction." In Findings of the Association for Computational Linguistics, pp. 2653-2662.

牧野晃平, 三輪誠, 佐々木裕 $(2021)$. 辺編集による文書レベルの関係グラフ構築. 言語処理学会第 27 回年次大会 (NLP2021) 発表論文集, pp. 1497-1502. [K. Makino et al. (2019). Hen Henshu niyoru Bunsho Reberu no Kankei Gurafu Kochiku. Proceedings of the 27th Annual Meeting of the Association for Natural Language Processing, pp. 1497-1502.].

Mathur, P., Jain, R., Dernoncourt, F., Morariu, V., Tran, Q. H., and Manocha, D. (2021). "TIMERS: Document-level Temporal Relation Extraction." In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 2: Short Papers), pp. 524-533, Online. Association for Computational Linguistics.

McCallum, A., Freitag, D., and Pereira, F. C. N. (2000). "Maximum Entropy Markov Models for Information Extraction and Segmentation." In Proceedings of the 17th International Conference on Machine Learning, pp. 591-598, San Francisco, CA, USA. Morgan Kaufmann

Publishers Inc.

Miwa, M. and Bansal, M. (2016). "End-to-End Relation Extraction using LSTMs on Sequences and Tree Structures." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1105-1116, Berlin, Germany. Association for Computational Linguistics.

Miwa, M. and Sasaki, Y. (2014). "Modeling Joint Entity and Relation Extraction with Table Representation." In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing, pp. 1858-1869, Doha, Qatar. Association for Computational Linguistics.

Mysore, S., Jensen, Z., Kim, E., Huang, K., Chang, H.-S., Strubell, E., Flanigan, J., McCallum, A., and Olivetti, E. (2019). "The Materials Science Procedural Text Corpus: Annotating Materials Synthesis Procedures with Shallow Semantic Structures." In Proceedings of the 13th Linguistic Annotation Workshop, pp. 56-64, Florence, Italy. Association for Computational Linguistics.

Mysore, S., Kim, E., Strubell, E., Liu, A., Chang, H.-S., Kompella, S., Huang, K., McCallum, A., and Olivetti, E. (2017). "Automatically Extracting Action Graphs From Materials Science Synthesis Procedures." In Proceedings of NIPS Workshop on Machine Learning for Molecules and Materials, Long Beach, California.

Nan, G., Guo, Z., Sekulic, I., and Lu, W. (2020). "Reasoning with Latent Structure Refinement for Document-Level Relation Extraction." In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 1546-1557, Online. Association for Computational Linguistics.

Ning, Q., Feng, Z., Wu, H., and Roth, D. (2018a). "Joint Reasoning for Temporal and Causal Relations." In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2278-2288, Melbourne, Australia. Association for Computational Linguistics.

Ning, Q., Wu, H., and Roth, D. (2018b). "A Multi-Axis Annotation Scheme for Event Temporal Relations." In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1318-1328, Melbourne, Australia. Association for Computational Linguistics.

Pustejovsky, J., Hanks, P., Sauri, R., See, A., Gaizauskas, R., Setzer, A., Radev, D., Sundheim, B., Day, D., Ferro, L., et al. (2003). "The TimeBank Corpus." In Proceedings of Corpus Linguistics, pp. 647-656, Lancaster, UK.

Quirk, C. and Poon, H. (2017). "Distant Supervision for Relation Extraction beyond the Sentence

Boundary." In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics: Volume 1, Long Papers, pp. 1171-1182, Valencia, Spain. Association for Computational Linguistics.

Schlichtkrull, M., Kipf, T. N., Bloem, P., van den Berg, R., Titov, I., and Welling, M. (2018). "Modeling Relational Data with Graph Convolutional Networks." In Gangemi, A., Navigli, R., Vidal, M.-E., Hitzler, P., Troncy, R., Hollink, L., Tordai, A., and Alam, M. (Eds.), The Semantic Web, pp. 593-607, Cham. Springer International Publishing.

Srivastava, N., Hinton, G., Krizhevsky, A., Sutskever, I., and Salakhutdinov, R. (2014). "Dropout: A Simple Way to Prevent Neural Networks from Overfitting." The Journal of Machine Learning Research, 15 (1), pp. 1929-1958.

UzZaman, N., Llorens, H., Derczynski, L., Allen, J., Verhagen, M., and Pustejovsky, J. (2013).

"SemEval-2013 Task 1: TempEval-3: Evaluating Time Expressions, Events, and Temporal Relations." In Proceedings of the 7th International Workshop on Semantic Evaluation, pp. 1-9, Atlanta, Georgia, USA. Association for Computational Linguistics.

Verga, P., Strubell, E., and McCallum, A. (2018). "Simultaneously Self-Attending to All Mentions for Full-Abstract Biological Relation Extraction." In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 872-884, New Orleans, Louisiana. Association for Computational Linguistics.

Wang, L., Cao, Z., de Melo, G., and Liu, Z. (2016). "Relation Classification via Multi-Level Attention CNNs." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1298-1307, Berlin, Germany. Association for Computational Linguistics.

Wen, H. and Ji, H. (2021). "Utilizing Relative Event Time to Enhance Event-Event Temporal Relation Extraction." In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 10431-10437, Online and Punta Cana, Dominican Republic. Association for Computational Linguistics.

Yamaguchi, K., Asahi, R., and Sasaki, Y. (2020). "SC-CoMIcs: A Superconductivity Corpus for Materials Informatics." In Proceedings of the 12th Language Resources and Evaluation Conference, pp. 6753-6760, Marseille, France. European Language Resources Association.

Yao, Y., Ye, D., Li, P., Han, X., Lin, Y., Liu, Z., Liu, Z., Huang, L., Zhou, J., and Sun, M. (2019). "DocRED: A Large-Scale Document-Level Relation Extraction Dataset." In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 764-777, Florence, Italy. Association for Computational Linguistics.

Zelenko, D., Aone, C., and Richardella, A. (2003). "Kernel Methods for Relation Extraction." Journal of Machine Learning Research, 3 (Feb), pp. 1083-1106.

Zeng, D., Liu, K., Lai, S., Zhou, G., and Zhao, J. (2014). "Relation Classification via Convolutional Deep Neural Network." In Proceedings of the 25th International Conference on Computational Linguistics: Technical Papers, pp. 2335-2344, Dublin, Ireland. Dublin City University and Association for Computational Linguistics.

Zhang, Y., Qi, P., and Manning, C. D. (2018). "Graph Convolution over Pruned Dependency Trees Improves Relation Extraction." In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 2205-2215, Brussels, Belgium. Association for Computational Linguistics.

Zhang, Y., Zhong, V., Chen, D., Angeli, G., and Manning, C. D. (2017). "Position-aware Attention and Supervised Data Improve Slot Filling." In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 35-45, Copenhagen, Denmark. Association for Computational Linguistics.

Zhao, X., Lin, S.-T., and Durrett, G. (2021). "Effective Distant Supervision for Temporal Relation Extraction." In Proceedings of the 2nd Workshop on Domain Adaptation for NLP, pp. 195-203, Kyiv, Ukraine. Association for Computational Linguistics.

Zhou, W., Huang, K., Ma, T., and Huang, J. (2021). "Document-Level Relation Extraction with Adaptive Thresholding and Localized Context Pooling." In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 35, pp. 14612-14620.

## 略歴

牧野晃平：2019 年豊田工業大学工学部卒業. 2021 年豊田工業大学大学院修士課程修了. 現在, 豊田工業大学大学院工学研究科博士課程に在学中. 言語処理学会, 人工知能学会各会員.

三輪誠：2008 年東京大学大学院博士課程修了. 博士 (科学). 東京大学, マンチェスター大学を経て, 2014 年より豊田工業大学知能数理研究室准教授.

ACL，情報処理学会, 言語処理学会, 人工知能学会各会員.

佐々木裕：1988 年筑波大学修士課程理工学研究科修了. 2000 年同大学より博士 (工学) 授与. NTT 研究所, ATR, マンチェスター大を経て, 現在, 豊田工業大学知能数理研究室教授. 言語処理学会等会員.


# 都市を横断した市民意見抽出の評価

神門 典子 $\dagger+t+t,+\dagger+\dagger \dagger \dagger$

行政の政策や接客業のサービスの質を向上させるためには，市民によるフィードバッ クの収集/分析と同時に都市の特徴を明らかにするための他の都市との比較が重要 となる。しかし，都市によって政策やサービスは異なり，市民の抱える意見も異な るため，機械学習により複数の都市に適応した市民意見の分析を実現することは難 しい，本論文では，都市を横断して市民意見を抽出する手法を提案する，実験では，横浜市民，札幌市民，仙台市民のつぶやきを対象として，特定の都市のつぶやきで ファインチューニングしたモデルを, 評価対象の都市の比較的少量のつぶやきを用 いて再度ファインチューニングする手法の有効性を確認した。この際，評価対象の 都市の訓練デー夕は，異なる都市のつぶやきで訓練したモデルによる予測の確信度 が高いものを選定することが有効であることを明らかにした。

キーワード：市民意見分析，COVID-19，マルチタスク学習，T5
## Evaluation of Citizen Opinion Extraction Across Cities

\author{
Tetsuya Ishida $^{\dagger}$, Yohei Seki ${ }^{\dagger \dagger}$, Atsushi Keyaki ${ }^{\dagger \dagger}$, \\ WaKako Kashino ${ }^{\dagger \dagger \dagger}$ and Noriko Kando ${ }^{\dagger \dagger \dagger+,, \dagger \dagger \dagger \dagger \dagger}$
}

Gathering citizen feedback, analyzing it, and comparing the results against other cities is essential for improving government policy and service quality. However, because different cities have different policies and services, the opinions of citizens in different cities also differ. This makes it difficult to analyze citizen opinions adapted for multiple cities using machine learning. In this study, we propose a method for extracting citizen opinions across cities. We evaluated our proposed method using a tweet dataset collected from citizens of Yokohama, Sapporo, and Sendai, confirming its effectiveness to fine-tune a model using the source city and re-fine-tune it with a few tweets from the target city. We clarified that training data in the target city can be effectively selected using the model trained with tweets from the source city, with high confidence in the prediction.

Key Words: Citizen Sentiment Analysis, COVID-19, Multitask Learning, T5

## 1 はじめに

自治体による政策の改善には，都市で暮らす市民の意見を収集し，反映させることが重要となる。また，接客業のサービスの質を向上させるためにも，店員の接客に対する批評や，提供している商品の評価等の意見を反映させることが重要となる. これらの背景から, 著者らの先行研究 (Ishida et al. 2022) では, 特定の都市の市民による Twitter 1 のつぶやきから, 分析対象の市民意見を自動抽出するためのフレームワークを提案した。このフレームワークでは，人手で作成した市民意見分析コーパスを教師データとして，BERT (Devlin et al. 2019) を用いたマルチタスク学習モデルをファインチューニングすることで，つぶやきの意見タイプや極性等の複数の属性を推定した．Twitterでは多くのユーザが日頃感じたことを気軽に述べており，市民が生活している都市の自治体による政策や，日頃利用している接客業のサービスに関する多様な市民意見を収集することができる.

一方で，市民ユーザが感じたことが，分析対象の都市の市民に特有の意見であるのか，それとも他都市の市民も同様に感じている意見であるのかといった判断には，他都市の市民意見との比較が重要となる。しかし, 都市によって自治体の政策やその都市の店舗の接客業のサービスは異なる，そのため，別の都市を対象として市民意見を抽出するには，その都市のつぶやきを対象として，市民意見抽出モデルを訓練するための新たな教師デー夕を作成する必要がある.一方で，すべての都市を対象とした教師データの作成にかかるコストは大きく，こうした実装方法は現実的とはいえない，そこで本研究では，教師データを構築済みの都市（以降，ソース都市と呼ぶ）のデータと，評価対象の別の都市（以降，ターゲット都市と呼ぶ）の比較的少量のデータを活用して，ターゲット都市の市民意見を抽出する手法を提案する。本手法により，これまでに市民意見を抽出していた都市とは異なる都市で新たに市民意見を抽出する際の，教師データ作成にかかるコストを削減することを目的とする。また，ソース都市のデータでファインチューニングを行ったモデルによるターゲット都市のデータへの予測の確信度の情報を活用し，ターゲット都市の教師データを効果的に選定する手法について検証を行う.

実験では，政令指定都市である横浜市と札幌市に暮らす市民のつぶやきを対象として構築した市民意見分析コーパスを用いて，都市を横断した市民意見抽出手法の有効性について検証する。また，横浜市と札幌市と比較して人口が少ない仙台市に暮らす市民のつぶやきを対象として, ソース都市と比較して十分なつぶやきが得られない都市をターゲット都市にする際の市民意見抽出手法の有効性について検証する.

本研究の貢献は以下の通りである.

（1）都市を横断した市民意見抽出手法の有効性の検証のため，横浜市民と札幌市民のつぶや

きからなる市民意見分析コーパスを作成した.

(2) ソース都市のデータとターゲット都市の比較的少量のデータを用いて 2 段階のファインチューニングを行う手法を提案し，各属性の推定における有効性を検証した。

(3) ターゲット都市の教師データは，ソース都市の教師データでファインチューニングしたモデルによる予測の確信度が高いものを選定して構築することで，アノテーションコストを効果的に削減できることを示した。

本論文の構成を以下に示す。 2 節では，関連研究について述べる． 3 節では，提案手法の複数の都市を横断した市民意見抽出について述べる．4 節では，都市を横断した市民意見抽出の実験に使用するコーパスの構築について述べる。 5 節では，都市を横断した各属性のラベル分類の分類精度について，単一都市の訓練データを利用した際の分類精度や, ソース都市のみで訓練した際の分類精度との比較を行い，有効性について検証する。 6 節では，提案手法である都市を横断した市民意見抽出手法を用いて，実際に市民意見を抽出した際の結果と，エラー分析について述べる。最後に 7 節において，本論文のまとめを示す.

## 2 関連研究

## 2.1 都市ごとの市民意見の分析に関する研究

行政による政策や接客業のサービスは都市によって異なるため, ソーシャルメディア上の市民意見も市民が生活している都市によって異なる。しかし，全ての都市で人手で教師データを作成するのはコストが高いため，都市ごとに市民意見の分析を行っている研究では，絵文字を用いたルールベース手法でつぶやきの極性を判定する手法 (Vosoughi et al. 2015) や，つぶやきを用いて事前学習された公開済みのモデル (Barbieri et al. 2020) による予測によって, 自身の研究に用いるつぶやきの極性を自動推定する手法 (Stelzmüller et al. 2021; Jin et al. 2021) が用いられている。これらの手法では，アノテーションコストを抑えた上で市民意見の分析ができる一方で，都市によって市民意見の傾向が異なるにも関わらず，全ての都市に対して同じ手法で市民意見を分析している。また，ルールベースで全てのつぶやきの極性を一括で分類する手法では，人手によるアノテーションとは異なる結果が得られてしまう (Vosoughi et al. 2015)。そのため, 本研究では，夕ーゲット都市においても，アノテーションコストを抑えた上で比較的少量のアノテーションデータを作成し，ソース都市における教師データと組み合わせて使用することで，都市ごとに異なる市民意見に対応する手法を提案する.

また，上記の意見分析研究では，肯定や否定といった極性のような特定の観点からつぶやきに表れる市民意見の分析を行っている。しかし，実際の市民意見は多様であり，特定の観点のみの分析では，多様な市民意見の整理は難しい，そこで本研究では，アプレイザル理論に基づく意見タイプを含む，複数の観点からの分析を行うことで，多様な市民意見の整理を試みる。アプレ

イザル理論 (Martin and White 2005) は, 選択体系機能言語学 (systemic functional linguistics) (Halliday 1985) の立場から提案された, 意見を体系化する理論であり，アプレイザル理論を用いることで，意見の対象に着目した分析を行うことができる．アプレイザル理論において，テキストに現れる感情 (attitude) は,「自発的感情の表明 (affect)」,「人間・組織の振舞や行為を対象とした批評 (judgment)」，「事物・事象を対象とした評価 (evaluation)」の 3 種類に分類される。市民の抱える不安を抽出する際には「自発的感情の表明」が重要となり，行政や接客業の店員に対する批評を抽出する際には「人間・組織の振舞や行為を対象とした批評」が重要となる．また，飲食店で提供される商品の評価を分析する際には「事物・事象を対象とした評価」 が重要となるように，アプレイザル理論によって意見を体系化することで，目的に応じた市民意見の抽出が可能となる (Ishida et al. 2022).

## 2.2 アノテーションコストの削減に関する研究

コストを削減し，新たなアノテーションデータを効果的に作成する手法としては，能動学習 (active learning) (Settles 2010; Ren et al. 2021) が有効であり, 意見分析研究においても活用されている (Räbiger et al. 2016; Wu et al. 2017; Shim et al. 2021). 能動学習では, はじめにアノテーション済みのデータを活用してモデルの訓練を行い，訓練後のモデルを用いて，アノテー ションが行われていないデータから新たに人手でアノテーションを行うべきデータを選定する. この際, 新たなアノテーション候補となるデータの選定手法としては, モデルの予測の確信度が低いデータを選定する手法 (Lewis and Gale 1994) が一般的に用いられている。この手法では,学習済みのモデルを用いて高い確信度で予測できるデータに対しては新たにアノテーションは行わず，モデルの予測の確信度が低く，学習が不十分なデータに対してのみ人手でアノテーションをすることで，モデルの予測性能を向上させている.

一方で，限られたデータを活用してモデルの性能を向上させる手法としては，半教師あり学習 (semi-supervised learning) (Zhu 2008; van Engelen and Hoos 2020) が有効な手法であり, 意見分析研究においても用いられている (He and Zhou 2011; Silva et al. 2016; Peng et al. 2018; Chen et al. 2020; Sazzed and Jayarathna 2021)。半教師あり学習の中でも, 自己訓練 (self-training) (Yarowsky 1995; He and Zhou 2011; Sazzed and Jayarathna 2021) や, 共訓練 (co-training) (Blum and Mitchell 1998; Peng et al. 2018; Chen et al. 2020)の手法では, 能動学習と同様に, はじめにアノテーション済みのデータを活用してモデルの訓練を行い，訓練後のモデルを用いて，アノテーションが行われていないデータに対する予測を行う。しかし, 能動学習手法とは逆に，モデルの予測の確信度が高いデータに対して，モデルによる予測結果を正解ラベルとして自動的に付与することで，アノテーションを行うことなく教師データを拡張する.

本研究においては, ソース都市で訓練したモデルによるターゲット都市のつぶやきへの予測の確信度を用いて，新たにアノテーションすべきデータの選定を行う。そこで，実験において，

ソース都市におけるモデルの予測の確信度が高いデータを選定する手法とモデルの予測の確信度が低いデータを選定する手法のどちらが有効であるかを検証する。

## 2.3 マルチタスク学習と T5

マルチタスク学習 (Caruana 1997) とは, 共通のモデルを用いて関連する複数のタスクを同時に学習することで, 各タスクを独立して学習するよりも高い精度を実現できる手法である. マルチタスク学習では, 異なるタスクの学習によって得られた情報が帰納バイアス (inductive bias) (Mitchell 1980)としての役割を果たすことで, モデルの一般性を向上し, 未知のデータに対する予測性能を高めることができる。本研究における市民意見抽出では，市民意見の整理のために複数の属性の分類タスクを行うため, マルチタスク学習を用いて関連のある属性を同時に分類することで，各属性の分類精度の向上が期待できる。

著者らの先行研究 (Ishida et al. 2022)では, BERT (Devlin et al. 2019) を用いたマルチタスク学習手法である Multi-Task Deep Neural Networks (Liu et al. 2019)を参考にマルチタスク学習モデルを構築したが，本研究では，BERT と比較して多くのタスクで高い性能を示す，T5 モデル (Raffel et al. 2020) を用いてマルチタスク学習モデルを構築する．T5 は分類タスクや回帰夕スク，翻訳タスクなどの全ての自然言語処理タスクの入出力を全てテキストとして統一された形式で扱うことで，単一のモデル構造で多くの夕スクにファインチューニング可能であり，マルチタスク学習モデルの構築に適した言語モデルである。本研究では, 各属性の分類実験において, マルチタスク学習の有効性, 並びに, BERT モデルと比較した際の T5 モデルの有効性を検証する.

## 3 提案手法：複数の都市を横断した市民意見抽出

本研究における都市を横断した市民意見抽出では，先行研究 (Ishida et al. 2022)で用いた意見分析コーパスを複数の都市に拡張し，ソース都市のつぶやきとターゲット都市の比較的少量のつぶやきを用いて 2 段階のファインチューニングを行う手法の評価を行う．本研究では，複数の都市において, 新型コロナウイルス感染症の流行によって休園や登園自粛で大きな問題となった「保育園」と, 同じく新型コロナウイルス感染症の流行によって急激に利用者が増加した「飲食店のテイクアウト」のサービスに関連するキーワードを含むつぶやきを対象として， 3.1 節で述べる複数の属性に対するラベルを付与した市民意見分析コーパスを人手で作成する.次に，作成した市民意見分析コーパスを教師データとして，都市を横断した各属性のラベル分類モデルを訓練する．そして，訓練した分類モデルにターゲット都市の未知のつぶやきを入力し, 各属性のラベルを推定することで，つぶやきに複数の属性に対するラベルを自動で付与する.これらの属性に対して必要とするラベルを条件として指定することで，ターゲット都市の
未知のつぶやきから指定された条件を満たす市民意見のみを抽出することができる.

そこで， 3.1 節でつぶやきに付与する各属性を定義し， 3.2 節で複数の属性を用いた市民意見抽出手法について説明する，そして， 3.3 節で， 3.2 節の手法を拡張し，都市を横断した市民意見抽出を行う手法について説明する。

## 3.1 付与する属性の定義

本研究では, 保育園と飲食店のテイクアウトの 2 つのサービスのつぶやきを対象として, 市民意見抽出を行う，本節では，意見に関連する属性を複数定義するが，1つのつぶやきには複数の意見が含まれることが多い，そのため，意見に直接関連する属性（3.1.1 節で定義する 3 つの属性）については，1つの意見を含む文，もしくは節を対象に属性のラベルを付与する（以降， 1つの意見を含む文，もしくは節を意見ユニットと呼び (Seki et al. 2010)，意見ユニットに付与する属性を意見属性と呼ぶ。一方で，3.1.2節で定義する，つぶやき全体に付与する属性は，以降，つぶやきの属性と呼ぶ.）。また，各サービスに関して，事前に意見を抽出したいと考えている特定の話題については，あらかじめ話題との関連性を判断するモデルを訓練しておくことで，特定の話題に関連するつぶやきのみを自動抽出する.

## 3.1.1意見ユニットに付与する意見属性

・ アプレイザル意見タイプ

アプレイザル理論に基づき，対象に着目した意見のタイプを判断する。ラべルの選択肢は「自発的感情の表明」，「人間・組織の振舞や行為を対象とした批評」，「事物・事象を対象とした評価」,「該当無し」.
- 極性

従来の意見分析研究でも用いられている，つぶやきの極性を判断する、ラべルの選択肢は「肯定」「否定」「中立」，「意見無し」.

-コミュニケーション意見タイプ

モダリティおよび言語行為論を参考にして (大塚他 2007)，アプレイザル理論に含まれない意見タイプを判断する。これによって意見の網羅性を高める。ラベルの選択肢は「推測」,「提案」,「疑問」,「要求」,「該当無し」.

## 3.1.2つぶやき全体に付与するつぶやきの属性
- 地域依存性

意見に地域依存性があるか，すなわち，その都市で暮らす市民特有の意見か，もしくは社会一般的な意見かを判断する，地域に依存するとは，市や県等の地名や，地域の特定が可能な飲食店等の施設名を含むもの，もしくはつぶやきの内容が市民の暮らす地域に
関するものである，と定義する。ラベルの選択肢は「依存」,「非依存」.

・ サービスとの適合性

この属性は，各サービスに関連するキーワードを含むが，内容は適合しないつぶやきからの意見抽出を避けるために定義する。ラベルの選択肢は「適合」，「不適合」.
- 投稿主の立場

どのようなユーザによって投稿されたつぶやきであるかを判断する. ラべルの選択肢は，保育園サービスが「小さい子を持つ親」，「保育園関係者」，「その他」，飲食店のテイクアウトサービスが「店を利用した人」，「飲食店の従業員」，「その他」.

## 特定の話題との関連性（保育園サービス）
- 休園・登園自粛との関連性

新型コロナウイルス感染症によって大きな問題となった, 保育園の休園や登園自粛といった話題との関連性を判断する。ラベルの選択肢は「関連する」「関連しない」.
- 保育園の定員との関連性

横浜市で大きな問題となっている待機児童問題や, 保育園の合否のような保育園の定員の話題との関連性を判断する。ラベルの選択肢は「関連する」，「関連しない」.

## 特定の話題との関連性（飲食店のティクアウトサービス）
- 商品の評価との関連性

商品の味や量, 提供状態等の評価を含むかを判断する、ラベルの選択肢は「関連する」,「関連しない」.

## 3.2 複数の属性を用いた市民意見抽出手法

複数の属性を用いた市民意見抽出手法を図 1 に示す。本手法では，はじめに，各サービスに関連するキーワードを含むつぶやきを収集し，収集したつぶやきを複数の意見ユニットに分割する．意見ユニットに付与するアプレイザル意見タイプ，極性，コミュニケーション意見タイプの 3 つの意見属性については，全て意見ユニット内の同じ意見についての属性であることから，これらの属性の推定タスクには関連性がある。そのため，意見属性のラベル分類では，マルチタスク学習による精度向上が期待できる。先行研究 (Ishida et al. 2022) では, 事前学習モデルとして BERT を用いていたが，本研究では，よりマルチタスク学習に適したモデルとして T5 を用いる。一方でつぶやきの属性は，属性間に関連性は無いため，各属性を独立の T5 モデルを用いて分類する。そして，これらのモデルの分類結果を利用して，複数の属性に対するラベルを意見ユニット，つぶやきに付与し，属性の条件を指定することで，全ての条件を満たすつぶやきのみを抽出する.

## 3.3 都市を横断した市民意見抽出

3.2 節の複数の属性を用いた市民意見抽出手法を拡張し，都市を横断した市民意見抽出を行う手法を図 2 に示す.ここでは，はじめに正解ラベル付きのソース都市のつぶやきを教師データとして，各属性の分類モデルの 1 段階目のファインチューニングを行う。続いて，ソース都市のつぶやきでファインチューニングを行った各属性の分類モデルを用いて，ターゲット都市のつぶやきの各属性のラベルを予測する。この際，モデルの予測の確信度を同時に出力することによって, 予測の確信度が付与された状態のターゲット都市のつぶやきを得る。そして, 予測

図 1 複数の属性を用いた市民意見抽出手法

図 2 都市を横断した市民意見抽出

の確信度を用いて抽出した一部のつぶやきに対して, 人手による各属性に対するラベルのアノテーションを行い, 正解ラベル付きのターゲット都市の一部のつぶやきを得る． 2.2 節で述べたように，夕ーゲット都市におけるつぶやきから確信度が上位のつぶやきあるいは確信度が下位のつぶやきのどちらを選定する手法が有効であるかを，5節の都市を横断した各属性のラベル分類実験において検証する。こうして得られた正解ラベル付きのターゲット都市の一部のつぶやきを教師データとして，ソース都市のデータによる 1 段階目のファインチューニングを行ったモデルからパラメータを保存済みの各属性の分類モデルについて, 2 段階目のファインチューニングを行う．そして， 3.2 節で述べた手法によって， ターゲット都市のつぶやきを対象として，複数の属性を用いた市民意見抽出を行う。

## 4 市民意見分析コーパス

本節では，都市を横断した市民意見抽出手法の評価に用いる，複数の都市の市民のつぶやきからなる市民意見分析コーパスについて述べる．4.1節では，本研究で使用するつぶやきの収集方法について述べ， 4.2 節で，つぶやきに対する人手によるアノテーションについて述べる.

## 4.1 つぶやきの収集方法

## 4.1.1市民アカウントの収集

はじめに，Twitterのプロフィール情報に基づき，各都市の市民アカウントを収集する (長島他 2016)，市民アカウントの収集においては，まず，ツイプロ²の検索 API を用いて，Twitter のプロフィール内の所在地闌，またはプロフィール本文に，「神奈川区」や「戸塚区」といった各都市の行政区，もしくは，（神奈川区内の）「青木町」，（戸塚区内の）「秋葉町」のような，行政区内の町名が含まれるアカウントを収集する3 $、$ 、次に，以下の方法に基づき，収集したアカウントが各都市の市民のアカウントであるかを判定する.

## 市民アカウントの判定

はじめに, 有名人のアカウントや bot からのつぶやきの収集を避けるため, 3,000 以上のフォロワー数, もしくは 4,000 以上のフォロー数のアカウントは除去する. また, 上記のツイプロの検索 API を用いたアカウントの収集では，横浜市中区のアカウントの収集を行う際には，「中区」を検索クエリの1つとする。しかし, 中区という区名は, 横浜市のみではなく, 岡山市や広島市にも存在するため, 上記の方法のみでは他都市の市民アカウントも同時に収集してしまう．そこで，判定対象のアカウントのプロフィールの所在地欄を参照し, 事前に定めた, 各都

市の市民アカウントがプロフィールに記述すると考えられるキーワードとのマッチングを行う． そして, キーワードとマッチした場合は, 判定対象のアカウントを市民アカウントと判定する.横浜市と札幌市において，事前に定めたキーワードは以下の通りである。

$\cdot$ 横浜市：よこはま, ヨコハマ, 横浜, yokohama, 横濱, はまっこ, 赤レンガ, 赤棟瓦
- 札幌市：さっぽろ, サッポロ, 札幌, sapporo

キーワードとのマッチングを行う．また，プロフィールの所在地欄が空欄の場合，もしくは，所在地欄を対象としたキーワードマッチングでは市民のアカウントと判定されなかったものの， $\mathrm{MeCab}^{4}$ を用いた形態素解析の結果, 所在地欄に地域を表す単語が含まれていたアカウントについては，上記の所在地欄を対象としたキーワードとのマッチングをプロフィールの本文を対所として行い，マッチしたアカウントのみ，市民アカウントと判定する.

## 市民アカウントの拡張

ツイプロの検索 API を用いた方法で収集した市民アカウントをフォローしているアカウントも，同様に対象都市の市民アカウントである可能性がある。そこで，さらにアカウントのフォロー関係を参照し，市民アカウントの拡張を行う。

市民アカウントの拡張では，まず，ツイプロの検索 API を用いた方法で収集したアカウントのうち，上記の判定方法で対象都市の市民アカウントであると判定されたアカウントのフォロワーを全て取得する。 そして，取得した市民アカウントのフォロワーのアカウントに対しても，同様に上記の市民アカウントの判定を行う，判定の結果，対象都市の市民アカウントの条件を満たすアカウントについては，市民アカウントとすることで，つぶやきの収集対象となる市民アカウントを拡張する。

## 4.1.2市民アカウントによるつぶやきの収集

4.1.1 節の方法を用いて，横浜市民アカウント 82,583 件と札幌市民アカウント 64,790 件を収集し，これらの各都市の市民アカウントのつぶやきを，Twitterの Streaming API を用いて収集した. これらのつぶやきのうち, 2020 年 1 月 1 日から 2020 年 7 月 11 日までの横浜市民の計 $28,971,414$ 件のつぶやきと, 札幌市民の計 $19,286,694$ 件のつぶやきから, 「保育園」,「保育士」,「保活」，「待機览童」の単語を含むつぶやきを保育園サービスのつぶやきとして収集し，「持ち帰り」,「テイクアウト」の単語を含むつぶやきを飲食店のテイクアウトサービスのつぶやきと
^{4}$ https://taku910.github.io/mecab/
}

して収集した。なお, リツイートや重複するつぶやきは取り除いた。

本研究で用いるデータ数は両都市の両サービスに共通で 2,622 件のつぶやきと, それらを文単位に区切り直したものとする。つぶやきの文単位への区切り直しには，Python のライブラリ， $\mathrm{spaCy}^{5}$ を用いた. この際, 名詞のみで構成される文は意見性を含まないものが多いため, $\mathrm{spaCy}$ による区切り直し後に名詞のみで構成された文が抽出された場合，つぶやきの先頭以外に現れる文は 1 つ前の文に結合し，先頭に現れる文は 1 つ後ろの文に結合する処理を行った. また, 改行は文の区切りとした，さらに，ハッシュタグのみの文も意見を含まないものが多いため，前の文と結合する処理を行った，最後に，閉じ括弧から始まる文については，前の文と結合する処理を行った。

## 4.2 人手による各属性のアノテーション

収集した横浜市民と札幌市民のつぶやきに 3.1 節で定義した各属性に対するラベルを付与するアノテーション作業を人手で行い, 市民意見分析コーパスを作成した. アノテーション作業は，各都市ごとに第一著者を含む合計 5 名の判定者によって行い，全てのアノテーション結果は多数決によって決定した。

アノテーション作業では，はじめに各判定者のアノテーション方針を一致させるための訓練を行った。訓練では，保育園サービス 250 文と飲食店のテイクアウトサービス 250 文の計 500 文と, 各文を含むつぶやきを対象に，5 名全員で各属性のラベルを判定し, 判定者のアノテー ション方針が一致した時点で訓練を終了した。この際， 1 文に複数の意見が含まれると判断した場合は，複数の意見が現れない意見ユニットとなるまで分割した．意見ユニットへの分割作業は全員で意見を交換し，過半数の判定者間で意見が一致した文でのみ行った.

訓練終了後に, 残りの全てのアノテーション作業を行った. 第一著者は全てのつぶやき, 文のアノテーションを行い，両都市において，残りの 4 名を 2 名ずつに分けることで，各 3 名ずつの 2 チームを作り, 各チームが全体の半数ずつのつぶやき, 文のアノテーションを担当した. この際も，1 文に複数の意見が含まれると過半数の判定者間で判断が一致した場合は，複数の意見が現れない意見ユニットとなるまで分割した. Fleiss の $\kappa$ 係数 (Fleiss 1997)を用いた各チームのアノテーションの判定者間一致度を表 1 に示す. 表 1 より, 両都市の全ての属性において Fleiss の $\kappa$ 係数は 0.6 (Substantial Agreement(Landis and Koch 1977)) 以上となり, 判定者によって属性のラベル判定に大きな差異が生まれないことが示された. なお, 各都市のアノテーションにかかる時間は，アノテーション方針を一致させるための訓練が 7 時間，訓練終了後の全てのアノテーション作業が 78 時間で, 計 85 時間となっている.

ラベルの選択肢が 3 つ以上存在する属性において，3名のアノテーション結果が全て異なる
^{5}$ https://spacy.io/
}

表 1 各属性の判定者間一致度 ( Fleiss' $\kappa$ )

表 2 複数都市を対象とした市民意見分析コーパスのデータ数

ラベルになる場合や， 5 名のうち 2 名ずつがそれぞれ同じラベルを選択し, 残りの 1 名が別のラベルを選択した場合は，多数決によって結果を 1 つのラベルに定めることができない。このような場合については, 判定者間で意見を交換することで, 最終的に全ての結果を多数決で決定した.

得られた市民意見分析コーパスの各都市におけるつぶやきと意見ユニットのデータ数を表 2 に示す.

## 5 都市を横断した各属性のラベル分類実験

本実験では，横浜市と札幌市の市民のつぶやきからなる市民意見分析コーパスを用いて， 3.3 節の手法による都市を横断した各属性のラベル分類を行い，手法の有効性を検証する。

## 5.1 実験の方法

## 予備実験：単一都市における各属性のラベル分類

著者らの先行研究では，BERT モデルを用いて単一都市における各属性のラベル分類を行う場合, 意見属性については, 意見属性のすべての属性を同時に学習するマルチタスク学習の手法が有効であり，つぶやきの属性については，各属性について独立に学習する手法が有効であることが示されている. そこで, 都市を横断した実験に先立ち, 5.2 節の予備実験において, 本研究で用いる T5 モデルにおいても, 著者らの先行研究と同様の結果が得られるか, また, BERT モデルと比較して T5 モデルが有効であるかを単一都市において検証する．意見属性の分類においては，各属性を独立の T5 モデルで分類する独立学習の手法を比較手法とし，各属性を 1 つの T5 モデルで分類するマルチタスク学習手法の有効性を検証する。一方で，つぶやきの属性は各属性間に関連性が無いため，すべての属性を 1 つの T5 モデルで分類するマルチタスク学習手法を比較手法とし，各属性を独立の T5 モデルで分類する手法の有効性を検証する。さらに, 上記のすべての手法について, T5 モデルと同様に BERT モデルの精度を算出することで, BERT モデルと比較した際の T5 モデルの有効性についても検証を行う。なお, 本研究で用いる BERT モデルと T5 モデルは, Pythonの Hugging Face transformers ライブラリの事前学習済みモデル6を用いてファインチューニングを行う。

## 都市を横断した各属性のラベル分類

5.3 節の都市を横断した各属性のラベル分類実験では，はじめにソース都市の市民意見分析コーパスの全データを用いて，各属性の分類モデルをファインチューニングする．次に，夕ー ゲット都市のデータを $25 \%, 50 \%$ と一部用いることで，ソース都市で訓練済みのモデルを再度ファインチューニングする，ターゲット都市から一部使用するデータの選択については，以下の手法について比較を行う.
- $25 \%$ のデータを用いる場合

(1) モデルの予測の確信度が上位 $25 \%$ のデータを使用する手法; (2) モデルの予測の確信度が下位 $25 \%$ のデータを使用する手法; (3) ランダムに $25 \%$ 選択する手法.

・ $50 \%$ のデー夕を用いる場合

(1) モデルの予測の確信度が上位 $50 \%$ のデータを使用する手法; (2) モデルの予測の確信度が下位 $50 \%$ のデータを使用する手法; (3) モデルの予測の確信度が中間の $50 \%$ のデー夕を使用する手法; (4) モデルの予測の確信度上位 $25 \%$ と下位 $25 \%$ のデータを使用する手法;

(5) ランダムに $50 \%$ 選択する手法.

モデルの予測の確信度を用いたデータの選択では，はじめにソース都市のデータを使って T5
^{6}$ BERT モデル：https://huggingface.co/cl-tohoku/bert-base-japanese-v2

T5 モデル：https://huggingface.co/sonoisa/t5-base-japanese
}

モデルをファインチューニングし，市民意見分析コーパスに含まれるターゲット都市の全てのデータの各属性のラベルを推定する。そして， ターゲット都市のデータのうち，モデルの予測の確信度7の情報を用いて，2 段階目のファインチューニングに用いるためのデータを選択する.

5.3.3 節において, 都市を横断した各属性のラベル分類実験の考察を行う． 5.3 .3 節の考察では，モデルの予測の確信度が上位のつぶやきを用いる場合と確信度が下位のつぶやきを用いる場合の双方の手法において, 作成された教師データの各属性のラベルの分布を算出することで,手法ごとに得られる教師データの特徴を分析する.

## 都市を横断した市民意見抽出手法の有効性の検証

5.4 節では，都市を横断した各属性の分類精度と，都市を横断せずに単一都市のデー夕を用いてラベル分類を行った際の各属性の分類精度, ソース都市のみで訓練した際の分類精度の比較を行うことで，都市を横断した市民意見抽出手法の有効性の検証を行う．

はじめに，ソース都市のデータのみで訓練を行ったモデルによる，ターゲット都市の各属性のラベル分類精度を算出する。これによって, 市民が異なる意見を抱える複数の都市において， ターゲット都市のデータを一切用いない場合，つまり，訓練データとテストデータの都市が異なる場合に，各属性のラベル分類精度がどの程度低下するのかを検証する.

また，単一都市における各属性に対するラベルの分類では， ターゲット都市の $100 \%$ のデータを用いてラベル分類を行っているのに対し，都市を横断した各属性に対するラベルの分類では， ソース都市のデータを $100 \%$ 用いているものの，ターゲット都市のデータは $50 \%$ か用いていない. そのため, これらの手法を比較することによって, 既存の都市とは異なるターゲット都市で市民意見の分析を行う際に，データ作成コストを半減した状態で，精度差をどの程度まで抑えられるかを検証する。

都市を横断した各属性に対するラベルの分類には, 5.3 節において最高精度となった手法を用い，都市を横断せずに単一都市のデータを用いて各属性に対するラベルの分類を行う手法には， 5.2 節において最高精度となった手法を用いる.ソース都市のみで訓練した際の各属性に対するラベル分類には，5.2 節において最高精度となった手法において，訓練データをソース都市，テストデータをターゲット都市とした手法を用いる.

## つぶやきの数が十分に得られない都市における提案手法の有効性の検証

最後に，5.5節において，つぶやきの数が十分に得られない都市における提案手法の有効性の検証を行う．4節で作成した市民意見分析コーパスでは，横浜市と札幌市の双方において 2,622 件と同じ量のつぶやきを用いている。しかし，全ての都市において横浜市や札幌市と同じ量のつぶやきが得られるとは限らない。そこで本節では，横浜市や札幌市と比較して，収集可能な

保育園サービスのつぶやきの数が半数以下となっている仙台市を対象として，提案手法の有効性の検証を行う。

5.5 節では，前述した都市を横断した各属性のラベル分類と同様の実験について，横浜市と札幌市をそれぞれソース都市とし，仙台市をターゲット都市とした場合の検証を行う．

さらに，都市を横断した仙台市の各属性のラベル分類精度と，都市を横断せずに仙台市単一のデータを用いてラベル分類を行った際の分類精度, ソース都市である横浜市と札幌市のみのデータを用いて訓練した際の分類精度との比較を行うことで，前述した都市を横断した市民意見抽出手法の有効性の検証を，仙台市をターゲット都市として行う.

## 各属性の分類実験に用いる評価指標

本実験の評価指標は全て $\mathrm{F}$ 値とし，5 分割交差検証を用いてコーパス内の全てのデータの各属性の分類精度を算出する．5 分割交差検証の各検証では，全体の $20 \%$ のデータをテストデー 夕， $16 \%$ のデータを検証データ， $64 \%$ のデータを訓練データとして用いる。テストデータについては，全ての実験で同じデータを用いる，ターゲット都市のデータを $25 \%, 50 \%$ 用いる手法では，モデルの２段階目のファインチューニングに使用する 5 分割交差検証における訓練データ，検証データの割合を変化させる．ファインチューニングのエポック数は， 5 分割交差検証の各検証において，2，3，4，5 エポックのうち，検証デー夕における $\mathrm{F}$ 値が最も高いものを用いる. なお, 5.4 節, 5.5.3 節で行う，ソース都市のみで訓練を行ったモデルによるターゲット都市の各属性のラベル分類では，訓練データとテストデータの都市が異なり, 完全に別のデータとなるため, 5 分割交差検証は行わない.

## 5.2 予備実験：単一都市における各属性のラベル分類の結果

単一都市のデータを用いて行った予備実験の結果を表 3 , 表 4 に示す.
- 表 3 より, 意見属性のラベル分類では, 全ての属性において T5 モデルを用いたマルチタスク学習手法が最高精度となっている. さらに, 提案手法と比較した際に, 全ての手法において，1 対の対応のある両側 $t$ 検定で有意差が有り（有意水準 $5 \%$ ）, その効果量 (Pearson's $r$ ) が大きい (large (Cohen 1992))ことを確認した8 8 .この結果から，T5 モデルを用いた場合においても, 先行研究の BERT モデルと同様に, 意見属性の分類にはマルチタスク学習手法が有効であると分かる．また， T5 モデルと BERT モデルのマルチタスク学習手法のラベル分類の精度を比較すると, 全ての属性で T5 モデルのマルチ夕スク学習手法が高精度となっていることから，意見属性のラベル分類における T5 モデルの有効性が示された.

 & 各属性独立 & マルチタスク & 各属性独立 \\

*提案手法に対して 1 対の対応のある両側 $t$ 検定で有意差有り（有意水準 $5 \%$ ）

表 3 T5 モデルと BERT モデルを用いた際のマルチタスク学習手法と各属性独立学習手法の意見属性のラベル分類精度の比較（F 值）
- 表 4 より, つぶやきの属性では, 横浜市, 札幌市の全 18 属性のうち, 13 属性で T5を用いた各属性独立学習の手法が最も高い精度となっている。各属性独立の T5 モデルとマルチタスク学習を用いた T5 モデルを比較すると, 横浜市の保育園サービスの地域依存性，定員との関連性，札幌市の保育園サービスの地域依存性の 3 属性でのみマルチタスク学習が独立学習を上回る精度となっているが, これらの属性においても, $\mathrm{F}$ 値の精度差は 0.02 未満と小さい. よって，つぶやきの属性については，各属性独立の T5 モデルを用いる手法が有効であると分かる.

また， T5 モデルの各属性独立学習と BERT モデルの各属性独立学習を比較した際に，札幌市のテイクアウトサービスの地域依存性以外の全ての属性で，T5 モデルが高精度となっている。 さらに，札幌市のテイクアウトサービスの地域依存性についても $\mathrm{F}$ 値の差が 0.001 と極めて小さいことから，つぶやきの属性についても，BERT モデルと比較してT5 モデルが有効であると分かる.

以上の予備実験の結果を踏まえ，5.3 節の都市を横断した各属性の分類実験においては，意見属性の分類には T5 モデルを用いたマルチタスク学習手法を使用し，つぶやきの属性の分類には，T5 モデルを用いて各属性を独立にラベル分類する手法を使用する．

 & マルチタスク & 各属性独立 & マルチタスク \\

*提案手法に対して 1 対の対応のある両側 $t$ 検定で有意差有り（有意水準 $5 \%$ ）

表 4 T5 モデルと BERT モデルを用いた際の各属性独立学習手法とマルチタスク学習手法のつぶやきの属性のラベル分類精度の比較（F 值）

## 5.3 都市を横断した各属性のラベル分類の実験結果

## 5.3 .1 都市を横断した意見属性のラベル分類精度

都市を横断した意見属性のラベル分類の精度を表 5 , 表 6 に示す.
- 表 5 より，ターゲット都市の $25 \%$ のデータを用いて都市を横断した分類を行う場合，全ての属性において，1段階目にファインチューニングしたモデルによる予測の確信度が高いターゲット都市のデータを選定し，2 段階目のファインチューニングを行う手法が最高精度となっている。
- 表 6 より, ターゲット都市の $50 \%$ のデータを用いる場合は, 横浜市のテイクアウトサービスのコミュニケーション意見タイプを除いて, 全ての属性で 1 段階目にファインチュー ニングしたモデルによる予測の確信度が高いターゲット都市のデータを選定する手法が最も高精度となっており, さらに，ターゲット都市の $25 \%$ のデータを用いる場合よりも高精度となっている。

よって，都市を横断して意見属性の分類を行う際には，1段階目にファインチューニングした

} & \multirow[t]{2}{*}{ サービス } & \multirow[t]{2}{*}{ 属性 } & \multicolumn{3}{|c|}{} \\

*上位 $25 \%$ 手法に対して 1 対の対応のある両側 $t$ 検定で有意差有り（有意水準 $5 \%$ ）

表 5 ターゲット都市の $25 \%$ のデータを用いた都市を横断した意見属性のラベル分類精度（F 値）

} & \multirow[b]{2}{*}{ サービス } & \multirow[b]{2}{*}{ 属性 } & \multicolumn{5}{|c|}{ 予測の確信度に基づくターゲット都市のつぶやきの選択手法 } \\

$*$ 上位 $50 \%$ 手法に対して 1 対の対応のある両側 $t$ 検定で有意差有り（有意水準 $5 \%$ ）

表 6 ターゲット都市の $50 \%$ のデータを用いた都市を横断した意見属性のラベル分類精度（F 値）

モデルによる予測の確信度が高いターゲット都市のデータを選定し，2 段階目のファインチュー ニングを行う手法が有効であることが分かる.

## 5.3.2 都市を横断したつぶやきの属性のラベル分類精度

都市を横断したつぶやきの属性の分類精度を表 7 , 表 8 に示す.

} & \multirow[t]{2}{*}{ サービス } & \multirow[t]{2}{*}{ 属性 } & \multicolumn{3}{|c|}{} \\

*上位 $25 \%$ 手法に対して 1 対の対応のある両側 $t$ 検定で有意差有り（有意水準 $5 \%$ ）

表 7 ターゲット都市の $25 \%$ のデータを用いた都市を横断したつぶやきの属性のラベル分類精度（F 值）
- 表 7 より，ターゲット都市の $25 \%$ のデータを用いて都市を横断した分類を行う場合，札幌市の保育園サービスの地域依存性を除く全ての属性で，1段階目にファインチューニングしたモデルによる予測の確信度が高いターゲット都市のデータを選定し， 2 段階目のファインチューニングを行う手法が最も高精度となっている。また, 札幌市の保育園サービスの地域依存性においても，確信度上位のデータを選定する手法の精度とランダムにデータを選定する手法の精度差は, 0.005 と極めて小さい.
- 表 8 より, ターゲット都市の $50 \%$ のデータを用いる場合は, 全 18 属性中 12 属性で, 1 段階目にファインチューニングしたモデルによる予測の確信度が上位のデータを選定して 2 段階目のファインチューニングを行う手法が高精度となっている. このことから，つぶやきの属性についても，確信度上位のデータを用いる手法が有効であると分かる。しかし, 表 8 より, つぶやきの属性では, 確信度上位 $25 \%$ と下位 $25 \%$ のデー夕を合わせた手

} & \multirow[b]{2}{*}{ サービス } & \multirow[b]{2}{*}{ 属性 } & \multicolumn{5}{|c|}{ 予測の確信度に基づくターゲット都市のつぶやきの選択手法 } \\

*上位 $50 \%$ 手法に対して 1 対の対応のある両側 $t$ 検定で有意差有り（有意水準 $5 \%$ ）

表 8 ターゲット都市の $50 \%$ のデータを用いた都市を横断したつぶやきの属性のラベル分類精度（F 值）

法が 4 つの属性については最も高い精度となっている 9 . 表 7 では, 確信度が下位 $25 \%$ のデータを使う手法の精度が低いことから，確信度が下位 $25 \%$ のデータがモデルの分類に有効とはいえない。さらに，つぶやきの属性においては，表 7 の確信度上位 $25 \%$ のデー 夕を使用する手法と, 表 8 の確信度上位 $50 \%$ のデータを使用する手法の精度差が意見属性と比較して小さいそのため, つぶやきの属性は, 確信度上位 $25 \%$ のデータに, モデルの学習に有効なデータが多く含まれていると考えられる.

## 5.3.3結果の考察

ソース都市のデータを用いて 1 段階目のファインチューニングを行ったモデルによる，ター ゲット都市のデータに対する予測の確信度の情報を用いる手法の影響を分析するため，手法ごとに得られたデータの各属性のラベルの分布を算出した。結果を表 9 に示す。表 9 の「全体」の列は，コーパス全体の各属性のラベルの分布を示しており，「確信度上位」，「確信度下位」は， それぞれ確信度上位 $50 \%$ のデータを選定した場合の各属性のラベルの分布と，確信度下位 $50 \%$

} & \multirow{3}{*}{ サービス } & \multirow{3}{*}{ 属性 } & \multirow{3}{*}{\multicolumn{2}{|c|}{ ラベル }} & \multicolumn{6}{|c|}{ 各ラベルの割合 } \\

表 9 手法毎に得られる教師デー夕内の各属性のラベルの割合の分布

のデータを選定した場合の各属性のラベルの分布を表している．表 9 から，確信度上位 $50 \%$ のデータを選定した場合, 各属性のラベルの分布が均衡に近づくことが分かる。例えば，表 9 の横浜市のアプレイザル意見タイプに着目すると，コーパス全体では保育園サービスで $56.4 \%$, テイクアウトサービスで $73.0 \%$, 「該当無し」の分布が過半数となっている。 しかし, 確信度上位 $50 \%$ のデータの分布を見ると，「該当無し」の割合が減り，他のラベルの割合が高くなっていることが分かる。他の多くの属性においても，同様に確信度上位 50\%を選定することで，ラベルの分布が均衡に近づいている。 モデルの予測の確信度が高いということは，モデルにとって予測を行いやすいデータであり，特徴的なデータであると考えることができる，そのため，夕ー ゲット都市全体のデータから，ラベルの種類に関わらず，確信度上位のデータのみ，つまり，特徴的なデータのみを選定する手法が，教師データのラベルの分布を均衡に近づけることに繋がり，分類精度が向上したと考える。

## 5.4 都市を横断した市民意見抽出手法の有効性の検証

本節では，都市を横断した各属性の分類精度と，都市を横断せずに単一都市のデー夕を用いて分類を行った際の各属性の分類精度, ソース都市のみで訓練した際の各属性の分類精度を比較する。

都市を横断した意見属性の分類では，5.3 節の結果を踏まえ，ターゲット都市の確信度上位 $50 \%$ のデータを用いて T5によるマルチタスク学習を行った際の精度を都市横断の精度とする。 つぶやきの属性については, ターゲット都市の確信度上位 $50 \%$ のデータを用いて T5 による各属性独立の学習を行った際の精度を都市横断の精度とする。単一都市における分類, ソース都市のみで訓練した際の分類では, 5.2 節の結果を踏まえ，意見属性については各属性を $\mathrm{T} 5$ によるマルチタスク学習で分類した際の精度を算出し，つぶやきの属性については各属性独立の T5 モデルによって分類した精度を算出する，なお，単一都市に打ける分類では，訓練データとテストデータは双方とも同じターゲット都市とし，ソース都市のみで訓練した際の分類では，訓練データをソース都市，テストデータをターゲット都市とする，実験結果を表 10 ，表 11 に示す。
- 意見属性の分類では, 都市横断手法が全 12 属性中 6 属性で高精度となっており, 提案手法を用いることで，単一都市における分類精度と同程度の精度で都市横断の分類が行えることが分かる．特に，テイクアウトサービスにおいては，横浜市と札幌市の両都市で極性とコミュニケーション意見タイプが単一都市における分類精度よりも高精度となっており，アプレイザル意見タイプについても，横浜市で精度差が 0.005 , 札幌市で精度差が 0.002 と極めて小さい精度差となっている。このことから，テイクアウトサービスの意見属性は都市を横断した分類を行いやすいことが分かる。この原因として，保育園サ一ビスについては自治体によって行政による政策の差が大きい一方で，テイクアウトサー ビスについては，都市によって店名の差等の地域差は存在するが，市民の抱える意見の

 & サービス & 属性 &  & 単一都市で分類 &  \\

*都市を横断した分類手法に対して 1 対の対応のある両側 $t$ 検定で有意差有り（有意水準 $5 \%$ ）

表 10 意見属性の都市を横断した分類精度と単一都市における分類精度の比較（ $\mathrm{F}$ 値）

 & サービス & 属性 &  & 単一都市で分類 &  \\

*都市を横断した分類手法に対して 1 対の対応のある両側 $t$ 検定で有意差有り（有意水準 $5 \%$ ）

表 11 つぶやきの属性の都市を横断した分類精度と単一都市における分類精度の比較（F 值）
傾向やつぶやきに現れる意見表現に大きな差が表れないためであると考えられる.一方で，表 10 より，ソース都市のみで訓練した際の意見属性の分類では，全ての属性で精度が最も低く，特にアプレイザル意見タイプは，両都市の両サービスにおいて，単一都市における分類精度と比較して 0.1 以上と大きく精度が低下している。このことから，訓練データとテストデータの都市が異なる場合，つまり，訓練データの都市とテストデー 夕の都市で市民の抱える意見が異なる場合は，事物・事象や人間・組織の振舞といった市民意見の対象や，市民の感情表明を正確に抽出することができないと分かる．また，極性についても，横浜市のテイクアウトサービスを除いて，単一都市における分類精度と比較して 0.1 以上と大きく精度が低下している。 さらに，横浜市のテイクアウトサービスにおいても， 0.083 と大きく精度が低下していることから，市民の抱える意見が異なる場合は，肯定的な意見や否定的な意見についても正確な分析ができないと分かる.

-つぶやきの属性については，都市を横断して分類を行った際の精度が，全 18 属性中 15 属性で単一都市における分類精度以上の精度となっている。この結果から，つぶやきの属性については，モデルの予測の確信度の情報を用いて効率的にターゲット都市の $50 \%$ のデータを選定することで，ターゲット都市の $100 \%$ のデータを用いて単一都市で分類を行うよりも高い精度が実現可能であることが分かる。つぶやきの属性については，地域依存性の分類の際には地名や店名が手がかりとなり，休園・登園自粛との関連性のような特定の話題との関連性の分類の際には「休み」,「休園」のキーワードが手がかりとなるように，分類の手がかりが意見属性と比較して明確となっている，そのため，モデルの予測の確信度の情報を用いて特徴的なデータを選定する手法が，意見属性と比較して特に有効であると考える。

一方で，表 11 より, ソース都市のみで訓練した際のつぶやきの属性の分類精度については，全 18 属性中 14 属性で単一都市における分類精度以下の精度となっている。このことから，つぶやきの属性においても，訓練データとテストデータの都市で市民意見が異なる場合は，分類精度が低下することが分かる，しかし，つぶやきの属性では，意見属性と比較して精度の低下の程度は小さい。

以上の結果から，都市によって市民の抱える意見は異なるため，単純にソース都市のみで訓練したモデルを用いるだけでは, 特にアプレイザル意見タイプや極性など, ターゲット都市の市民意見を正確に分析することはできないと分かる．しかし，提案手法である都市横断手法を用いることで，単一のターゲット都市における分類精度と同程度かそれ以上の精度で，ターゲット都市の市民意見を分析できることを明らかにした．よって，提案手法を用いることで，市民意見抽出手法を，市民の抱える意見が異なる複数の都市に適応可能であるといえる.

また，確信度上位 $50 \%$ のデータを選定して 2 段階目のファインチューニングを行う手法では,各属性のラベル分類に使用するターゲット都市のつぶやきの量を，コーパス全体の 2,622 件か

ら，50\%の 1,311 件へと削減することができる．4.2 節より，各都市のアノテーションにかかる時間は，アノテーション方針を一致させるための訓練が 7 時間, 訓練終了後の全てのアノテー ション作業が 78 時間，計 85 時間となっている。つぶやきの量を $50 \%$ に削減した場合においても，アノテーション方針を一致させるための訓練の時間は同様に 7 時間確保する必要があるが,訓練終了後の全てのアノテーション作業の時間は, 半分の 39 時間に削減することができる。そのため，新たなターゲット都市において市民意見を抽出する際に，確信度上位 $50 \%$ のデータを選定して 2 段階目のファインチューニングを行う手法を用いることで，アノテーションにかかる時間を, 85 時間から 46 時間まで減らすことができる. さらに, ソース都市のアノテーションを担当した判定者が新たにターゲット都市のアノテーションを行う場合については，アノテー ション方針を一致させるための訓練時間も削減することができる.

## 5.5 つぶやきの数が十分に得られない都市における提案手法の有効性の検証

本節では，横浜市と札幌市と比較してつぶやきの数が十分に得られない仙台市を対象として，各属性のラベル分類を行う。仙台市の令和 4 年 12 月 1 日時点の人口は $1,099,352$ 人となっており,これは，横浜市の同時点の人口の約 $29 \%$, 札幌市の同時点の人口の約 $56 \%$, 横浜市と札幌市と比較して少なくなっている，そのため仙台市においては，飲食店のテイクアウトサービスのつぶやきは表 2 の横浜市と札幌市と同様に 2,622 件収集可能できたものの, 保育園サービスのつぶやきは 1,076 件と半分以下しか収集できなかった。 そこで, これらの仙台市のつぶやきに対して新たにアノテーションを行い，仙台市をターゲット都市として都市を横断した各属性のラベル分類を行うことで，ターゲット都市において十分なつぶやきが得られない場合の提案手法の有効性の検証を行う。なお，本節の都市を横断した各属性のラベル分類実験では, 5.3 節と同様に，意見属性の分類には T5 モデルを用いたマルチタスク学習手法を使用し，つぶやきの属性の分類には，各属性独立の T5 モデルを使用する。

## 5.5.1仙台市のつぶやきに対する各属性のアノテーション

仙台市をターゲット都市とした実験を行うため，4.1節と同様の方法で新たに仙台市のつぶやきを収集した。 これらの仙台市のつぶやきに対する各属性のアノテーションでは, はじめに 4.2 節の横浜市と札幌市のアノテーションと同様に, 保育園サービス 250 文と飲食店のテイクアウトサービス 250 文の計 500 文と，これらの各文を含むつぶやきを対象としてアノテーションを行う，なお，本アノテーションは，第一著者と， 4.2 節のアノテーション実験に参加した 2 名のアノテータの, 計 3 名で行う。また, 4.2 節と同様に, 1 文に複数の意見が含まれると過半数の判定者が判断した場合については，複数の意見が現れない意見ユニットとなるまで分割を行った.

保育園サービス 250 文と飲食店のテイクアウトサービス 250 文の計 500 文と, これらの各文を含むつぶやきに対するアノテーションについて, Fleissの $\kappa$ 係数 (Fleiss 1997) を用いた各属性の
判定者間一致度は, 全ての属性において 0.6 (Substantial Agreement (Landis and Koch 1977)) 以上となった。つまり, 仙台市においても，判定者によって属性のラベル判定に大きな差異は生まれないことが示されたため, 残りのつぶやき，文に対するアノテーションは第一著者が行った.

最終的に得られた仙台市のアノテーション済みのデー夕は，保育園サービスが 1,076 件のつぶやきと 2,994 件の意見ユニット，テイクアウトサービスが 2,622 件のつぶやきと 8,114 件の意見ユニットとなった，本節では，これらの仙台市のデータをターゲット都市のデータとして，各属性のラベル分類実験を行う.

## 5.5.2都市を横断した仙台市の各属性のラベル分類の実験結果

仙台市をターゲット都市とした，都市を横断した意見属性のラベル分類精度を表 12 ，表 13 に示す.
- 表 12 より, 仙台市の $25 \%$ のデータを用いて都市を横断して意見属性の分類を行う場合,横浜市, 札幌市のどちらの都市をソース都市とした場合も，全属性において，1段階目にファインチューニングしたモデルによる予測の確信度が高いターゲット都市のデータを選定し，2 段階目のファインチューニングを行う手法が最高精度となっている。
- 表 13 より, 仙台市の $50 \%$ のデータを用いる場合は, 札幌市をソース都市とした場合の保

} & \multirow[t]{2}{*}{ サービス } & \multirow[t]{2}{*}{ 属性 } & \multicolumn{3}{|c|}{} \\

$*$ 上位 $25 \%$ 手法に対して 1 対の対応のある両側 $t$ 検定で有意差有り（有意水準 $5 \%$ ）

表 12 仙台市の $25 \%$ のデータを用いた都市を横断した意見属性のラベル分類精度（F 値）

} & \multirow[b]{2}{*}{ サービス } & \multirow[b]{2}{*}{ 属性 } & \multicolumn{5}{|c|}{ 予測の確信度に基づくターゲット都市のつぶやきの選択手法 } \\

&+$ 下位 $25 \%\end{aligned}$ & ランダム $50 \%$ \\

*上位 $50 \%$ 手法に対して 1 対の対応のある両側 $t$ 検定で有意差有り（有意水準 $5 \%$ ）

表 13 仙台市の $50 \%$ のデー夕を用いた都市を横断した意見属性のラベル分類精度（F 値）

育園サービスのコミュニケーション意見タイプを除いて，全ての属性で 1 段階目にファインチューニングしたモデルによる予測の確信度が高いターゲット都市のデータを選定する手法が最高精度となっている．また，表 12 の仙台市の $25 \%$ のデータを用いる場合と比較して，札幌市をソース都市とした場合の保育園サービスのコミュニケーション意見タイプを除いた全属性で，50\%のデータを用いる手法が高精度となっている。このことから，札幌市をソース都市としてコミュニケーション意見タイプの推定を行う場合，確信度が上位 $25 \%$ のデータを用いるだけで十分であるものの，多くの属性においては， $50 \%$ のデータを用いる手法が有効であると分かる.

以上の実験結果より，意見属性のラベル分類では，ソース都市と比較してターゲット都市のデータが十分に得られない場合においても，ソース都市のデータを用いて 1 段階目のファインチューニングを行ったモデルによる予測の確信度が上位のターゲット都市のデータを用いて, 2 段階目のファインチューニングを行う手法が有効であると分かる.

## 都市を横断したつぶやきの属性のラベル分類精度

仙台市をターゲット都市とした，都市を横断したつぶやきの属性のラベル分類精度を表 14 ,表 15 に示す.
- 表 14 より, 仙台市の $25 \%$ のデータを用いて都市を横断してつぶやきの属性の分類を行う場合，札幌市をソース都市とした場合の保育園サービスの投稿主の立場を除いた全属性で，1段階目にファインチューニングしたモデルによる予測の確信度が高いターゲット都

} & \multirow[t]{2}{*}{ サービス } & \multirow[t]{2}{*}{ 属性 } & \multicolumn{3}{|c|}{} \\

*上位 $25 \%$ 手法に対して 1 対の対応のある両側 $t$ 検定で有意差有り（有意水準 $5 \% ）$

表 14 仙台市の $25 \%$ のデータを用いた都市を横断したつぶやきの属性のラベル分類精度（F 値）

市のデータを選定し，2 段階目のファインチューニングを行う手法が最高精度となっている。札幌市をソース都市とした場合の保育園サービスの投稿主の立場においても，ランダムに $25 \%$ のデータを選択する手法と比較して精度差は 0.009 と低く, 確信度上位のデータを選定する手法が有効であると分かる.
- 表 15 より, 仙台市の $50 \%$ のデー夕を用いる場合は, 全 18 属性中 15 属性で, 1 段階目にファインチューニングしたモデルによる予測の確信度が高いターゲット都市のデータを選定し，2 段階目のファインチューニングを行う手法が最高精度となっている。また， 5.3.2 節の横浜市と札幌市における実験結果と同様に，表 14 の上位 $25 \%$ のデー夕を用いる手法と表 15 の上位 $50 \%$ のデータを用いる手法の精度差が意見属性と比較して小さくなっており, 表 15 より, 上位 $25 \%$ と下位 $25 \%$ のデー夕を合わせた手法が 3 つの属性で最高精度となっている. このことから, ソース都市と比較してつぶやきの数が十分に得ら

} & \multirow[b]{2}{*}{ サービス } & \multirow[b]{2}{*}{ 属性 } & \multicolumn{5}{|c|}{ 予測の確信度に基づくターゲット都市のつぶやきの選択手法 } \\

*上位 $50 \%$ 手法に対して 1 対の対応のある両側 $t$ 検定で有意差有り（有意水準 $5 \%$ ）

表 15 仙台市の $50 \%$ のデータを用いた都市を横断したつぶやきの属性のラベル分類精度（F 值）

れない仙台市をターゲット都市とした場合においても，つぶやきの属性では, 確信度上位 $25 \%$ のデータにモデルの学習に有効なデータが多く含まれていると考えられる。

以上のつぶやきの属性の分類実験の結果より，ソース都市と比較してターゲット都市のデー 夕が十分に得られない場合においても，意見属性と同様に，ソース都市のデータを用いて 1 段階目のファインチューニングを行ったモデルによる予測の確信度が上位のターゲット都市のデー 夕を用いて，2 段階目のファインチューニングを行う手法が有効であると分かる.

## 5.5.3 都市を横断した市民意見抽出手法の有効性の検証

本節では, 都市を横断した仙台市の各属性の分類精度と, 都市を横断せずに仙台市単一のデー 夕を用いて分類を行った際の各属性の分類精度, ソース都市である横浜市と札幌市のみのデー 夕を用いて訓練した際の仙台市の各属性の分類精度を比較する.

都市を横断した意見属性の分類では，5.5.2 節の結果を踏まえ，5.4 節と同様に，ターゲット都市の確信度上位 $50 \%$ のデータを用いて T5によるマルチタスク学習を行った際の精度を都市横
断の精度とする。つぶやきの属性についても，5.5.2 節の結果を踏まえ，5.4 節と同様に，ター ゲット都市の確信度上位 $50 \%$ のデータを用いて T5による各属性独立の学習を行った際の精度を都市横断の精度とする。単一都市における分類，ソース都市のみで訓練した際の分類では， 5.4 節と同様に，意見属性については各属性を T5 によるマルチタスク学習で分類した際の精度を算出し，つぶやきの属性については各属性独立の T5 モデルによって分類した精度を算出する。実験結果を表 16 ，表 17 に示す.
- 表 16 より, 仙台市の意見属性の分類では, 横浜市と札幌市の両都市において, 飲食店のテイクアウトサービスのアプレイザル意見タイプを除く全ての属性で，提案手法である都市を横断した分類手法が最も高い精度となっている．仙台市の飲食店のテイクアウトサービスでは，横浜市と札幌市と同様に 2,622 件のつぶやきを用いて分類を行っている. そのため, 5.4 節の横浜市と札幌市のつぶやきを用いた都市を横断した意見属性の分類実験における表 10 の結果と同様に，アプレイザル意見タイプ以外の属性では提案手法が最も有効となっている。一方で, 保育園サービスでは, 5.4 節における表 10 の単一都市での分類が有効であるという結果とは異なり，都市を横断した分類手法が全属性で最も高精度であり，ソース都市のつぶやきとターゲット都市の一部のつぶやきを用いた 2 段階のファインチューニング手法が有効であると分かる。保育園サービスでは，ソース都市である横浜市と札幌市と比較して十分なつぶやきの量が得られず, ソース都市の半数以

 & サービス & 属性 &  & 単一都市で分類 &  \\

*都市を横断した分類手法に対して 1 対の対応のある両側 $t$ 検定で有意差有り（有意水準 $5 \%$ ）

表 16 仙台市の意見属性の都市を横断した分類精度と単一都市における分類精度の比較（ $\mathrm{F}$ 値）

 & サービス & 属性 &  & 単一都市で分類 &  \\

*都市を横断した分類手法に対して 1 対の対応のある両側 $t$ 検定で有意差有り（有意水準 $5 \%$ ）

表 17 仙台市のつぶやきの属性の都市を横断した分類精度と単一都市における分類精度の比較（ $\mathrm{F}$ 値）

下のデータを用いてモデルの訓練を行っている.このようにターゲット都市のつぶやきが十分に得られない場合においては，ソース都市とターゲット都市の双方においてつぶやきの量が十分に得られている表 10 の場合と比較して, ソース都市のつぶやきを用いた 1 段階目のファインチューニングがより有効であり，少ないターゲット都市のデータのみを用いて単一都市で分類を行う手法よりも高い精度が実現可能であると分かる。つまり，新たなターゲット都市において市民意見抽出を行う際に，ターゲット都市のつぶやきが十分に得られない場合においては, 既存のソース都市のデータを活用し, 提案手法である 2 段階のファインチューニング手法を適用することで, 高精度な意見属性の分類ができると分かる.
- 表 17 より, 仙台市のつぶやきの属性の分類では, 全 18 属性中 14 属性で, 提案手法である都市を横断した分類手法が最も高い精度となっている。このことから， 5.4 節の横浜市と札幌市のつぶやきを用いた都市を横断したつぶやきの属性の分類実験における表 11 の
結果と同様に，仙台市においても，つぶやきの属性の分類には都市を横断した分類手法が有効であると分かる。しかし, 5.4 節の表 11 とは異なり，保育園サービスでは， 3 つの属性でソース都市のみで訓練を行う手法が最高精度となっている。提案手法である都市を横断した分類手法と, ソース都市のみで訓練した手法の精度差が最も大きい属性は,横浜市をソース都市とした場合の定員との関連性となっており，その他の属性では精度差は 0.01 以下と小さい，表 9 より，横浜市の保育園サービスにおける定員との関連性属性の「関連する」ラベルの割合は $9.7 \%$ であり，札幌市の $5.7 \%$ と比較して多くの市民が保育園の定員についての意見をつぶやきとして投稿していると分かる。また，仙台市における定員との関連性属性の「関連する」ラベルの割合は $3.3 \%$ となっていた。横浜市においては待機児童問題が全国の都市の中でも極めて顕著であり，このように他都市と比較して多くの市民が保育園の定員に関するつぶやきを投稿していることが，横浜市をソー ス都市とした場合にソース都市のみで訓練する手法が高精度となる結果の原因であると考える。しかし，横浜市をソース都市とした場合の保育園の定員においても，精度差は 0.012 と大きな差が無く, その他の多くの属性においては都市を横断した手法が高い精度となっていることから，仙台市をターゲット都市とした際のつぶやきの属性においても，都市を横断した手法が有効であると分かる.

以上の実験結果より, ソース都市と比較してつぶやきが十分に得られない都市をターゲット都市とした場合においても，提案手法である都市を横断した各属性の分類手法が有効であると分かった．特に意見属性の分類においては，ターゲット都市のつぶやきが十分に得られる場合と比較して, ターゲット都市単一で分類を行う手法に対して都市を横断した手法がより有効であることを実験から明らかにした。また，横浜市をソース都市とした場合の保育園サービスにおける定員との関連性属性のように，地域によって話題が盛んなごく一部の属性ではソース都市のみで訓練した手法がわずかに有効であるものの，その他の大部分の属性においては，提案手法である都市を横断した各属性の分類手法が，ソース都市に関わらず有効であると分かった.

## 6 提案手法により抽出した市民意見の都市別比較分析

本節では， 3 節の提案手法を用いて実際に都市を横断した市民意見抽出を行い，横浜市民と札幌市民の市民意見を比較して分析する.

## 6.1 市民意見の分析方法

はじめに， 6.2 節において，テストデータの拡張を行う。これによって，コーパスに含まれるつぶやきのみではなく, 未知のつぶやきも対象とした市民意見の分析を行う。

6.3 節では, 6.2 節で作成したテストデータに対して, 都市を横断して各属性の予測を行う.
続いて，モデルの予測結果をもとに，市民意見の出現頻度の時系列順の 10 日間ごとの推移を分析する。時系列順の分析に用いるつぶやきは，保育園サービスでは休園・登園自粛に関連するとモデルが予測したつぶやき，テイクアウトサービスでは，全つぶやきとする，最後に，時系列に加えて，各属性の条件を指定することで，市民意見を自動抽出する．都市を横断した各属性の分類モデルについては, 5.3 節の結果を踏まえて, 意見属性の分類にはターゲット都市の確信度上位 50\%のデータを活用したマルチタスク学習モデルを使用し，つぶやきの属性の分類にはターゲット都市の確信度上位 $50 \%$ のデータを活用した各属性独立の分類モデルを使用する.

6.4 節では，都市を横断した市民意見抽出結果の考察を行う。はじめに 6.4 .1 節において，提案手法を利用したターゲット都市に特有の市民意見の抽出の可能性について検証を行う．都市で暮らす市民の抱える意見が，その都市に特有の意見であるかを分析するには，他の都市の市民意見との比較が重要となる．5.4 節の表 10 , 表 11 より, ソース都市のみで訓練したモデルによる各属性のラベル分類精度と比較して，都市を横断した各属性のラベル分類精度は向上している。ターゲット都市のデータを一部用いることではじめて予測が可能になる市民意見は，ソー ス都市の訓練データ内には存在しないものの, ターゲット都市においては訓練データが存在する意見，つまりターゲット都市に特有の意見と考えることができる。本節では，都市を横断したモデルと，ソース都市のみで訓練したモデルによる予測結果が異なる市民意見を抽出し，夕ー ゲット都市に特有の市民意見の傾向と事例を明らかにする。なお， 5.4 節で示したように，テイクアウトサービスでは, 店名等の地域差は存在するものの, 意見表現に大きな差は現れにくい.一方で，保育園サービスに関する市民意見では，行政の政策による影響が大きく，都市によって意見に差が現れやすい。そのため本節では，保育園サービスを例に，ターゲット都市に特有の市民意見について考察する.

最後に，6.4.2 節では，提案手法を用いて都市を横断して抽出した市民意見のうち，指定した属性ラベルに対してふさわしくない市民意見を示し，原因についての考察を行う．

## 6.2 テストデータの拡張

4 節で作成した市民意見分析用コーパスに含まれるつぶやきに加えて， 2020 年 1 月 1 日から 2020 年 7 月 11 日までのつぶやきを 4 節と同様の方法で収集することで, 実験に用いるテストデータの拡張を行った。1月 1 日から 7 月 11 日までの全てのつぶやき数は, 横浜市の保育園サー ビスで 9,535 件，テイクアウトサービスで 21,014 件，札幌市の保育園サービスで 4,623 件，テイクアウトサービスで 14,980 件であった． 4 節で作成した市民意見分析コーパスは， アノテー 夕の就業可能時間数に合わせて，両サービスとも 2,622 件のつぶやきを全体からランダムに抽出した. そこで，追加のテストデータとして， 4 節のつぶやきと重複しないように，横浜市の保育園サービスで 6,913 件のつぶやき，テイクアウトサービスで 18,392 件のつぶやきを抽出し,札幌市の保育園サービスで 2,001 件のつぶやき，テイクアウトサービスで 12,358 件のつぶやき

表 18 複数都市を対象とした市民意見分析コーパスの拡張データのデータ数

を抽出した，新たに収集したつぶやきから得られた文数は，横浜市の保育園サービスで 22,256 文，テイクアウトサービスで 54,772 文であり，札幌市の保育園サービスで 5,986 文，テイクアウトサービスで 36,145 文であった。 さらに， 5.3 節の都市を横断した各属性の分類実験における 5 分割交差検証のテストデータについても，引き続きテストデータとして使用する。これらの拡張後のデータのデータ数を表 18 に示す.

市民意見分析コーパス内のテストデータと，表 18 のうちの新たに収集したデータを合わせたデータを，全てのテストデータとし，これらのテストデータに対して都市を横断した各属性のラベル分類モデルによる予測を属性のラベルとして付与することで，市民意見の分析を行う．

## 6.3 分析結果

## 保育園サービス

保育園サービスにおいて，都市を横断した分類モデルによって休園・登園自粛に関連すると推定された市民意見の出現頻度の時系列順の推移を図 3 , 図 4 に示す. 図 3 より, 横浜市の休園・登園自粛に関する市民意見は，3つの期間で急増していることが分かる。これらの期間は， (1) 横浜市が小中学校の休校を発表した 2 月下旬, (2) 横浜市が保育園の運営を継続する方針を発表した 4 月上旬, (3) 横浜市が緊急事態宣言解除後の保育所等の利用に関する方針を発表した 5 月下旬，となっており，都市を横断して抽出した市民意見の出現頻度の時系列順の推移が行政の政策と密接に関係していることが分かる．そこで，市民意見数が最大となっている (2)の横浜市が保育園の運営を継続する方針を発表した 4 月上旬の時期において，地域依存性：依存, サービスとの適合性：適合，投稿主の立場：小さい子を持つ親，休園・登園自肃との関連性：関連する，アプレイザル意見タイプ：自発的感情の表明，という条件を満たすつぶやきのみを自動抽出した。抽出された市民意見の例は以下の通りである 10 .

$\cdot$いっそのこと休園にしてほしい。でも横浜市は原則開園って。o。

保育士の皆さんもほんと辛いだろうに。

図 3 保育園サービスの休園・登園自粛に関する横浜市民意見の出現頻度の時系列順の推移

図 4 保育園サービスの休園・登園自粛に関する札幌市民意見の出現頻度の時系列順の推移

・超個人的な望みを言わせてもらうと、いっそ保育園を休園にしてくれたら私も仕事を休めるんですがね（妊婦なのに都内まで電車通勤）

このように条件を指定して 4 月上旬の市民意見を自動抽出することで，横浜市で暮らす小さい子を持つ親は，コロナ禍で保育園に子供を通わせることに対してどのような感情を抱いているのか，という意見のみを抽出することができる．実際に抽出された市民意見を確認すると，子育て中の横浜市民は, この時期に保育園を開園させるという横浜市の政策に対して反対であり，不満の感情を抱いていることが分かる。このような意見は横浜市で暮らす市民特有の意見

となっており，横浜市が政策を改善するために有用な意見となる．本研究の都市を横断した市民意見抽出では，ターゲット都市である横浜市の教師データ作成コストを半減させた上でも，上記のような市民意見を自動抽出することができると分かる.

図 4 より，札幌市の休園・登園自粛に関する市民意見は 2 つのタイミングで増加していることが分かる。これらの時期は，(1) 札幌市がはじめてコロナ禍における「家庭保育等の協力のお願い」を発表した 2 月下旬, (2) 北海道・札幌市緊急共同宣言の発令後に，札幌市が重ねて「家庭保育等の協力のお願い」を発表した 4 月中旬，となっており，札幌市においても，横浜市と同様に都市を横断して抽出した市民意見の出現頻度の時系列順の推移が行政の政策と深く関係していることが分かる．また，都市によって行政の政策は異なるため，市民意見の出現頻度の推移は都市によって異なるが，本研究の都市を横断した市民意見抽出を用いると，図 3 と図 4 のような都市間の市民意見の出現頻度の差を捉えることができると分かる。また，図 4 より，札幌市の市民意見は横浜市の市民意見と異なり，事物・事象を対象とした評価が高い割合を占めることが分かる，そこで，(2) の北海道・札幌市緊急共同宣言の発令後に，札幌市が重ねて「家庭保育等の協力のお願い」を発表した 4 月中旬の時期において, 地域依存性：依存，サービスとの適合性：適合，投稿主の立場：小さい子を持つ親，休園・登園自粛との関連性：関連する, アプレイザル意見タイプ：事物・事象を対象とした評価，という条件を満たすつぶやきのみを自動抽出した．抽出された市民意見の例は以下の通りである。
- 絶対に必要な人は別だけど、やはり保育園は休園とか自沜にはならないのか。色々あるけど、先生も親もどっちも精神的に限界な気がする。○。 \#休園 \#札幌 \#北海道
- やはり恐れてたことが起こってきた。友人の医療関係者の子供の保育園が預けるのを断ってきたらしい。旦那が各々の事情でいないと母親は働けなくなるよね。本人たちは濃厚接触者ではないのに、現実で差別が起きてきてる。＃札幌市 \#保育園 \#登園拒否

横浜市での市民意見抽出と異なり，札幌市では，事物・事象を対象とした評価という条件で市民意見を抽出している。これによって，コロナ禍において保育園が休園にならないという現状に対する混乱を表す意見や，保育園で起こってしまった差別といった特定の事象に対する意見を抽出できる。このようなつぶやきからは，市民が具体的にどのような事象を対象として意見を述べているか，つまり何に困っているかが分かるため，政策の改善策の提案に繋げることができる。また，「\#札幌」，「＃札幌市」という表現からも分かるように，上記のつぶやきは札幌市で暮らす市民特有の意見となっている，札幌市においても，都市を横断した市民意見抽出手法を用いることで, 教師データ作成コストを半減させた上でこれらの市民意見が抽出可能となっている.

## 飲食店のティクアウトサービス

テイクアウトサービスにおいて，都市を横断した分類モデルによって推定された市民意見の出現頻度の時系列順の推移を図 5 , 図 6 に示す. 図 5 より, 横浜市のテイクアウトサービスに関

図 5 テイクアウトサービスの横浜市民意見の出現頻度の時系列順の推移

図 6 テイクアウトサービスの札幌市民意見の出現頻度の時系列順の推移

する市民意見は，4月の上旬（1日～10日）の期間に急激に増加し始めていることが分かる. この時期は，神奈川県を対象とした第 1 回緊急事態宣言が発令された 4 月 7 日を含む時期であり，緊急事態宣言によって多くの飲食店がテイクアウトサービスを開始した時期となっている。また，市民意見の数は緊急事態宣言中の 4 月下旬に最大となっており，緊急事態宣言が解除された 5 月 25 日を過ぎると，急激に減少している，さらに，テイクアウトサービスに関する市民意見は，商品に関する評価を含む，事物・事象を対象とした評価が最も多くなっている．そこで，横浜市で市民意見の数が最大となっている 4 月下旬のつぶやきから, 地域依存性：依存, サー

ビスとの適合性：適合, 投稿主の立場：飲食店を利用した人, 商品の評価との関連性：関連する，極性：肯定，アプレイザル意見タイプ：事物・事象を対象とした評価，という条件を満たすつぶやきのみを自動抽出した．抽出された市民意見の例は以下の通りである．
- \#六角橋商店街の＃餃子 $\mathrm{M}$ で 2 種類の餃子をテイクアウト。きのこ餃子はとろとろで噛むと濃厚な具が流れてくる。何個でも食べたい。テキサス餃子はカレー味の餡にコー ンとチーズブレンド。タレは不要で何個でも食べたい。＃横浜飯
- 地球の中華そばさんの 3 回目のテイクアウトで超純水採麺天国屋のリスペクト麺を購入。 スープと麺を味わうために、ネギだけを乗せました。スープが旨すぎで、麺も好き！ 最近の家での楽しみになっていました。また買います！＃地球の中華そば＃テイクアウト

上記の条件を指定することで，横浜市に暮らす市民が利用したテイクアウトサービスに関するつぶやきのうち，良い評価を述べているつぶやきのみを自動抽出することができる。このような意見は，横浜市で暮らす市民や，横浜市を訪れた観光客が，テイクアウトサービスを実施している店舗を探すのに有用な意見となっている.

また，上記のつぶやきに含まれる「餃子 $\mathrm{M}\rfloor$ ，「地球の中華そば」は，横浜市にのみ存在する飲食店である。札幌市のつぶやきと比較的少量の横浜市のつぶやきを用いて 2 段階のファインチューニングを行い，都市を横断した市民意見抽出を行った結果，このように，横浜市ならではのテイクアウトサービスに関する市民意見が抽出可能となっている.

図 6 より，札幌市のテイクアウトサービスに関する市民意見は，4月の中旬（11 日～20 日） の期間に急激に増加していることが分かる。この時期は，第 1 回緊急事態宣言の対象範囲が拡大し，北海道が緊急事態宣言の対象となった 4 月 16 日を含む時期である。つまり，札幌市においても多くの飲食店がテイクアウトサービスを開始した時期となっている。図 5 , 図 6 の横浜市と札幌市の市民意見の出現頻度から分かるように，本研究の都市を横断した市民意見抽出では，数日単位の細かい市民意見の出現頻度の差まで捉えることができると分かる．また，札幌市においても，テイクアウトサービスに関する市民意見は，商品に関する評価を含む，事物・事象を対象とした評価が最も多くなっており，札幌市の緊急事態宣言が解除された 5 月 25 日を過ぎると市民意見の数は減少している。そこで，札幌市において市民意見の数が最大となっている 5 月上旬のつぶやきから, 横浜市と同様に, 地域依存性：依存, サービスとの適合性：適合, 投稿主の立場：飲食店を利用した人，商品の評価との関連性：関連する, 極性：肯定, アプレイザル意見タイプ：事物・事象を対象とした評価，という条件を満たすつぶやきのみを自動抽出した。抽出された市民意見の例は以下の通りである.

・ひろちゃんのザンギは、塩ザンギが超ウマいお弁当屋さん。我が家で定番のテイクアウトです! 札幌にはいくつが店舗があって、事前に電話すると揚げたてが買えますよー \#札幌テイクアウト \#StayHome

・昨日と同じく、スープカレー 34 でテイクアウトしたハンバーグカレーを食べました。やっ

ぱ 34 のハンバーグはビーフ $100 \%$ 美味しい! \#スープカレー \#札幌カレー部 \#スープカレー 34

1 つ目のつぶやきは, 「札幌にはいくつか店舗があって」という表現から, 札幌市ならではの店舗情報であると分かる。また，「スープカレー34」は，札幌市にのみ存在する飲食店となっており，札幌市に特有の市民意見が抽出できていることが分かる。さらに，「ザンギ」と「スープカレー」は札幌市の名産グルメとなっていることからも，都市を横断した市民意見抽出によって札幌市特有の市民意見が抽出できていることが分かる.

## 6.4 考察

## 6.4.1 ターゲット都市に特有の市民意見の抽出

本節では，都市を横断したモデルと，ソース都市のみで訓練したモデルによる予測結果が異なる市民意見を抽出することで，ターゲット都市に特有の市民意見を明らかにする．

横浜市の保育園サービスにおいて， 6.3 節の横浜市における保育園サービスにおける市民意見抽出と同様に, 『地域依存性：依存, サービスとの適合性：適合, 投稿主の立場：小さい子を持つ親, 休園・登園自肃との関連性：関連する，アプレイザル意見タイプ：自発的感情の表明』, というラベルの条件を指定し，都市を横断したモデルと，ソース都市のみで訓練したモデルによる予測結果が異なるつぶやきの例は，以下の通りである.
- ハア、 6 月終わりまで登園自粛の要請とは... うちの家のコロナ不況やば過ぎる。 5 月の旦那の給料見たけど、アー無理。さすがに少し仕事はじめたいのに ... 保育園がやってなかったらどうしようもない。
- 宣言は解除されたにも関わらず、横浜市の保育園は 6 月 30 日まで自粛ってみんな終わるでしょ。みんなに戦力外通知が来るよ。

これらの市民意見が抽出されたのは， 5 月下旬の時期となっていた， 5 月の下旬とは，横浜市が緊急事態宣言解除後の保育所等の利用に関する方針を発表した時期となっている．発表された方針では，横浜市においては，緊急事態宣言が解除された後も原則として保育園の登園自粛を要請する, とされていた。しかし, 抽出されたつぶやきを確認すると, 市民は保育園に子供を預けられないことによって，経済的な状況や職場での自身の状況に不安を感じていると分かる. 第 1 回緊急事態宣言は，横浜市と札幌市に共通で 5 月下旬に解除された。しかし，図 3 , 図 4 より，5月下旬の市民意見を確認すると，横浜市民は多くの感情を述べているのに対して，札幌市民の感情の意見数はこの時期に増えてはいない. つまり，この時期に抽出された不安や不満は，横浜市民に特有の意見であると分かる。ソース都市のみで訓練したモデルによる予測結果と，都市を横断したモデルによる予測結果が異なる市民意見を抽出することで，上記の例のような，ターゲット都市に特有の市民意見のみをまとめて抽出することができる.

次に，札幌市において，6.3 節と同様に, 『地域依存性：依存, サービスとの適合性：適合, 投
稿主の立場：小さい子を持つ親，休園・登園自粛との関連性：関連する，アプレイザル意見タイプ：事物・事象を対象とした評価』，というラベルの条件を指定し，都市を横断したモデルと， ソース都市のみで訓練したモデルによる予測結果が異なるつぶやきの例は，以下の通りである。
- 保育園から家庭保育のお願いとか登園自沜って通知がきても、派遣会社は「休園じゃない限り給料は出ません、特別休暇も使えないので有給を使って」。保育園にあずけて仕事するしかないよね $(\cdot \omega \cdot)$ \#派遣
- 保育園が休園になると特別休㗇ではなく有給休㗇を使わなきゃいけないのはくそだと思うが、そもそも有給なんてなくて客先に出向するフリーランスの自分は収入に直接来ます。

これらの市民意見が抽出された時期は， 2 月の下旬となっていた。図 3 ，図 4 より，札幌市では 2 月の下旬の段階でコロナ禍における家庭保育に関する方針が発表されているのに対し，横浜市では 2 月の下旬には小中学校の休校のみしか発表されていない。そのため，札幌市においては， 2 月下旬における保育園の休園・登園自粛に関する市民意見の割合が，横浜市と比較して高くなっている．抽出されたターゲット都市に特有の市民意見を確認すると，札幌市民は有給休暇に対して関心を持っていることが分かる． 2 月の下旬は年度末の時期となっているため,人によっては有給休暇の残り日数が少なくなっており，その影響で保育園の登園の自粛が困難になっていると考えられる。このような意見は, 2 月の下旬の段階ではまだ小中学校の休校しか発表していなかった横浜市に対して，2月の下旬の段階で既に家庭保育のお願いを発表していた札幌市に特有の市民意見となっている。このように，札幌市においても，都市を横断したモデルとソース都市のみで訓練したモデルによる予測結果が異なる市民意見を抽出することで， ターゲット都市の市民特有の意見を含むつぶやきを確認できた.

## 6.4.2 エラー分析

本節では，都市を横断した市民意見抽出におけるエラー分析を行う． 6.3 節で示したように，提案手法を用いて, 未知の大量のつぶやきから, 指定した属性ラベルの条件を全て満たすつぶやきのみを自動抽出することで，行政の政策の改善に有用な市民意見や接客業における高評価のレビュー情報等を明らかにすることができる。一方で，自動抽出された市民意見の中には，指定した条件に対してふさわしくない意見が一部存在する。本節では，このような不適切な市民意見の例を示し，不適切な市民意見が抽出された原因を考察する.

## 保育園サービス

6.3 節の横浜市における保育園サービスにおける市民意見抽出と同様に， 4 月上旬の時期における，『地域依存性：依存，サービスとの適合性：適合，投稿主の立場：小さい子を持つ親，休園・登園自粛との関連性：関連する，アプレイザル意見タイプ：自発的感情の表明』，という条件を満たすつぶやきを抽出した際の，不適切な市民意見の例は以下の通りである。
- 小学校も休校、保育園は休ませてるのに、親が出社って1 番のリスクでしかない。
- 奥さんも在宅で子供の保育園休ませたら、当たり前に「ねえ遊ぼうー!」と言われる。交互に相手をしないとだめで仕事にならない

これらの意見は，「リスクでしかない」という表現や「仕事にならない」という表現から，市民が明確に現在困っている事象に対する評価を述べているため，アプレイザル意見タイプ属性は，事物・事象を対象とした評価が適切なラベルと考える。図 3 , 図 4 より，横浜市では自発的感情の表明のラベルの割合が多いのに対し，札幌市では事物・事象を対象とした評価のラべルの割合が多くなっており，両都市の市民意見の傾向に差が現れている．そのため，都市を横断した市民意見抽出をする際に，モデルがこれらの属性ラベルを適切に分類できなかったことが，上記のような不適切な市民意見が一部抽出された原因であると考える。

札幌市においても， 6.3 節と同様に，4月中旬の時期における, 『地域依存性 : 依存, サービスとの適合性：適合，投稿主の立場：小さい子を持つ親，休園・登園自粛との関連性：関連する, アプレイザル意見タイプ：事物・事象を対象とした評価』，という条件で市民意見を抽出したと

ころ，「休校かー。o。そうしたら、ウチの保育園もまた来月まで休園？無理。o。私を働かせて。」 といった市民意見が抽出された.この意見は，「無理。o。私を働かせて。」という表現から分かるように，市民の抱える不安や不満の感情表明が適切であると考える。つまり, 自発的感情の表明の意見を抽出しようとし，事物・事象を対象とした評価が一部抽出されてしまった横浜市とは逆の結果となっている。このことからも，ソース都市とターゲット都市において，属性ラベルの割合が大きく異なることで，一部不適切な市民意見が抽出されてしまったことが分かる.

## 飲食店のティクアウトサービス

表 10 , 表 11 より, 飲食店のテイクアウトサービスにおいては, 都市を横断した各属性のラべル分類の精度は高く，都市を横断した上でも市民意見抽出が行いやすいことが分かる。そのため，抽出された市民意見を確認しても，不適切な市民意見の例は極めて少なかった．わずかに抽出された不適切な例として,「うまいもん○○」といった店名のテイクアウト商品に関するつぶやきが，「事物・事象を対象とした評価」として抽出されている例が存在した.「うまい」という表現は，肯定的な商品の評価を行っている多くのつぶやきに見られる表現であるが，「うまいもん」という用いられ方をしている場合は, 飲食店の店名の一部を表すことが多い. なお, この不適切な例は札幌市民のつぶやきからの意見抽出結果に見られた例であり，さらに，札幌市民のつぶやきのうち 6.2 節の拡張したテストデータ内に含まれていた. また，ラベル分類モデルの訓練データとなる，市民意見分析コーパスに含まれる横浜市民と札幌市民のつぶやきには，「うまいもん」を含む店名に関するつぶやきは存在しなかったため，札幌市民の一部のつぶやきにのみ現れる表現であると分かる。そのため，都市を横断したラベル分類モデルが，「うまいもん」という表現を店名の一部であると判断することができず，不適切な市民意見抽出の原因となったと考える。

## 7 おわりに

本研究では，著者らの先行研究で提案した特定の都市における市民意見抽出のためのフレー ムワークを拡張し，都市を横断した市民意見抽出手法を提案した．手法の有効性の検証を行うため，先行研究における横浜市民のつぶやきに加えて，新たに札幌市民のつぶやきを対象に人手でアノテーションをすることで，複数の都市の市民のつぶやきからなる市民意見分析コーパスを作成した，実験では，はじめに単一都市における各属性のラベル分類実験を行い，著者らの先行研究で用いた BERT モデルに対する $\mathrm{T} 5$ モデルの有効性を確認した． T5 モデルを利用した都市を横断した各属性のラベル分類実験では, ソース都市のつぶやきと一部のターゲット都市のデー夕を用いて，各属性の分類モデルを 2 段階でファインチューニングする手法の有効性を検証した。また，この際，ソース都市のつぶやきを用いて1段階目のファインチューニングを行ったモデルによってターゲット都市のつぶやきの各属性を予測し, 予測の確信度が上位の一部のつぶやきを選定した上で教師データを作成する手法の有効性を確認した．都市を横断した市民意見抽出では，都市に依存する行政の政策や緊急事態宣言の発令といった異なる条件によって，市民意見の出現頻度の時系列順の推移が異なることを明らかにした。また複数の属性を指定して都市を横断した市民意見抽出を行うことで，都市で暮らす市民特有の意見を抽出し，比較できることを示した.

本研究では，横浜市，札幌市に加えて，より人口の少ない都市である仙台市を対象として，提案手法の有効性を検証した，しかし，本研究で対象とした都市は全て政令指定都市であり，人口は 100 万人を超えている．5.5 節の実験を通して，つぶやきが約 1,000 件収集可能な都市においては提案手法が有効であることを確認できたが，より人口が少ない都市においては，収集可能なつぶやきの量はさらに少なくなると考えられる。今後の課題としては, この上うな人口が少ない都市に打ける提案手法の有効性の検証が挙げられる。

## 謝 辞

本研究の一部は, 科学研究費補助金基盤研究 B（課題番号 $23 \mathrm{H} 03686,19 \mathrm{H} 04420$ ), 挑戦的研究 (萌芽)（課題番号 22K19822）, 学術研究助成基金助成金研究活動スタート支援（課題番号 22K21303），２０22 年度国立情報学研究所公募型共同研究（採択番号 22S0103）の助成を受けて遂行された.

## 参考文献

Barbieri, F., Camacho-Collados, J., Espinosa Anke, L., and Neves, L. (2020). "TweetEval: Unified Benchmark and Comparative Evaluation for Tweet Classification." In Findings of the Association for Computational Linguistics: EMNLP 2020, pp. 1644-1650, Online. Association for Computational Linguistics.

Blum, A. and Mitchell, T. (1998). "Combining Labeled and Unlabeled Data with Co-Training." In Proceedings of the 11th Annual Conference on Computational Learning Theory, COLT' 98, pp. 92-100, New York, NY, USA. Association for Computing Machinery.

Caruana, R. (1997). "Multitask Learning." Machine Learning, 28, pp. 41-75.

Chen, J., Feng, J., Sun, X., and Liu, Y. (2020). "Co-Training Semi-Supervised Deep Learning for Sentiment Classification of MOOC Forum Posts." Symmetry, 12 (1). 8.

Cohen, J. (1992). "A Power Primer." Psychological Bulletin, 112 (1), pp. 155-159.

Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. (2019). "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186.

Fleiss, J. L. (1997). "Measuring Nominal Scale Agreement Among Many Raters." Psychological Bulletin, 76 (5), pp. 378-382.

Halliday, M. A. K. (1985). An Introduction to Functional Grammar. Edward Arnold.

He, Y. and Zhou, D. (2011). "Self-training from Labeled Features for Sentiment Analysis." Information Processing 83 Management, 47 (4), pp. 606-616.

石田哲也, 関洋平, 欅惇志, 柏野和佳子, 神門典子 (2022). 都市を横断した市民意見抽出に関する課題と手法についての検証. 情報処理学会研究報告, 2022-IFAT-148/2022-DBS-175(32), pp. 1-6. [T. Ishida et al. (2022). Toshi wo Odan shita Shimin Iken Chushutsu ni kansuru Kadai to Shuho nitsuiteno Kensho. SIG Technical Reports, 2022-IFAT-148/2022-DBS-175 (32), pp. 1-6.].

Ishida, T., Seki, Y., Kashino, W., and Kando, N. (2022). "Extracting Citizen Feedback from Social Media by Appraisal Opinion Type Viewpoint." Journal of Natural Language Processing, 29 (2), pp. 416-442.

Jin, Z., Peng, Z., Vaidhya, T., Schoelkopf, B., and Mihalcea, R. (2021). "Mining the Cause of Political Decision-Making from Social Media: A Case Study of COVID-19 Policies across the US States." In Findings of the Association for Computational Linguistics: EMNLP 2021, pp. 288-301, Punta Cana, Dominican Republic. Association for Computational Linguistics.

Landis, J. R. and Koch, G. G. (1977). "The Measurement of Observer Agreement for Categorical Data." Biometrics, 33 (1), pp. 159-174.

Lewis, D. D. and Gale, W. A. (1994). "A Sequential Algorithm for Training Text Classifiers." In Croft, B. W. and van Rijsbergen, C. J. (Eds.), SIGIR '94, pp. 3-12, London. Springer London.

Liu, X., He, P., Chen, W., and Gao, J. (2019). "Multi-Task Deep Neural Networks for Natural Language Understanding." In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 4487-4496.

Martin, J. R. and White, P. R. R. (2005). The Language of Evaluation: Appraisal in English. Palgrave Macmillan.

Mitchell, T. M. (1980). "The Need for Biases in Learning Generalizations." Tech. rep. CBMTR-117, Rutgers University, New Brunswick, NJ.

長島里奈, 関洋平, 猪圭 (2016). 地域ユーザに着目したロコミツイート収集手法の提案. 第 8 回データ工学と情報マネジメントに関するフォーラム, DEIM2016-B4-3. 日本データベー ス学会. [R. Nagashima et al. (2016). Chiiki Yuza ni Chakumoku shita Kuchikomi Tsuito Shushu Shuho no Teian. Dai8kai Deta Kogaku to Joho Manejimento ni kansuru Foramu, DEIM2016-B4-3. The Database Society of Japan.].

大塚裕子, 乾孝司, 奥村学 (2007). 意見分析エンジン一計算言語学と社会学の接点一. コロナ社. [H. Otsuka et al. (2007). Iken Bunseki Enjin-Keisan Gengogaku to Shakaigaku no Setten. Corona sha.].

Peng, M., Zhang, Q., Jiang, Y.-g., and Huang, X. (2018). "Cross-Domain Sentiment Classification with Target Domain Specific Information." In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2505-2513, Melbourne, Australia. Association for Computational Linguistics.

Räbiger, S., Kazmi, M., Saygın, Y., Schüller, P., and Spiliopoulou, M. (2016). "SteM at SemEval2016 Task 4: Applying Active Learning to Improve Sentiment Classification." In Proceedings of the 10th International Workshop on Semantic Evaluation (SemEval-2016), pp. 64-70, San Diego, California. Association for Computational Linguistics.

Raffel, C., Shazeer, N., Roberts, A., Lee, K., Narang, S., Matena, M., Zhou, Y., Li, W., and Liu, P. J. (2020). "Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer." Journal of Machine Learning Research, 21 (140), pp. 1-67.

Ren, P., Xiao, Y., Chang, X., Huang, P.-Y., Li, Z., Gupta, B. B., Chen, X., and Wang, X. (2021). "A Survey of Deep Active Learning." ACM Computing Surveys, 54 (9).

Sazzed, S. and Jayarathna, S. (2021). "SSentiA: A Self-supervised Sentiment Analyzer for Clas-
sification from Unlabeled Data." Machine Learning with Applications, 4. 100026.

Seki, Y., Ku, L. W., Sun, L., Chen, H. H., and Kando, N. (2010). "Overview of Multilingual Opinion Analysis Task at NTCIR-8 - A Step Toward Cross Lingual Opinion Analysis." In Proceedings of the 8th NTCIR Workshop Meeting, pp. 209-220.

Settles, B. (2010). "Active Learning Literature Survey." Computer sciences technical report 1648, University of Wisconsin-Madison.

Shim, H., Lowet, D., Luca, S., and Vanrumste, B. (2021). "LETS: A Label-Efficient Training Scheme for Aspect-Based Sentiment Analysis by Using a Pre-Trained Language Model." IEEE Access, 9, pp. 115563-115578.

Silva, N. F. F. D., Coletta, L. F. S., and Hruschka, E. R. (2016). "A Survey and Comparative Study of Tweet Sentiment Analysis via Semi-Supervised Learning." ACM Computing Surveys, 49 (1).

Stelzmüller, C., Tanzer, S., and Schedl, M. (2021). "Cross-City Analysis of Location-Based Sentiment in User-Generated Text." In Companion Proceedings of the Web Conference 2021, WWW '21, pp. 339-346, New York, NY, USA. Association for Computing Machinery.

van Engelen, J. E. and Hoos, H. H. (2020). "A Survey on Semi-supervised Learning." Machine Learning, 109, pp. 373-440.

Vosoughi, S., Zhou, H., and Roy, D. (2015). "Enhanced Twitter Sentiment Classification Using Contextual Information." In Proceedings of the 6th Workshop on Computational Approaches to Subjectivity, Sentiment and Social Media Analysis, pp. 16-24, Lisboa, Portugal. Association for Computational Linguistics.

Wu, F., Huang, Y., and Yan, J. (2017). "Active Sentiment Domain Adaptation." In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1701-1711, Vancouver, Canada. Association for Computational Linguistics.

Yarowsky, D. (1995). "Unsupervised Word Sense Disambiguation Rivaling Supervised Methods." In Proceedings of the 33rd Annual Meeting on Association for Computational Linguistics, ACL '95, pp. 189-196, USA. Association for Computational Linguistics.

Zhu, X. (2008). "Semi-Supervised Learning Literature Survey." Computer sciences tr 1530, University of Wisconsin-Madison.

## 略歴

石田哲也：2021 年筑波大学情報学群知識情報 - 図書館学類卒業. 2023 年同大学院人間総合科学学術院人間総合科学研究群情報学学位プログラム博士前期課程修了.
関洋平：1996 年慶應義塾大学大学院理工学研究科計算機科学専攻修士課程修了. 2005 年総合研究大学院大学情報学専攻博士後期課程修了. 博士（情報学). 同年豊橋技術科学大学工学部情報工学系助手. 2008 年コロンビア大学コンピュータサイエンス学科客員研究員. 2018 年シンガポール国立大学コンピューティング学部客員研究員. 2010 年筑波大学図書館情報メデイア系助教, 2015 年同准教授, 現在に至る. 自然言語処理, 意見分析, 情報アクセスの研究に従事. ACM, ACL, 情報処理学会, 電子情報通信学会, 言語処理学会,日本データベース学会, 人工知能学会各会員.

欅惇志：一橋大学ソーシャル・データサイエンス学部准教授. 博士 (工学). 2014 年奈良先端科学技術大学院大学情報科学研究科博士後期課程修了. 2012 ～2014 年日本学術振興会特別研究員 (DC2). 2013 年マイクロソフト・リサー チアジアリサーチインターン．2014～2019 年東京工業大学情報理工学院助教. 2016 2017 年シンガポール国立大学客員研究員. 2019 2022 年株式会社デンソーアイティーラボラトリアソシエイトリサーチャ，ACM，電子情報通信学会, 日本データベース学会, 言語処理学会, 人工知能学会各会員.

柏野和佳子：東京女子大学文理学部日本文学科卒業. 東京工業大学大学院総合理工学研究科博士課程修了. 博士 (学術). 現在, 大学共同利用機関法人人間文化研究機構国立国語研究所准教授. コーパス構築や語彙, 辞書研究に従事.『岩波国語辞典』（岩波書店）の編集にも携わる，情報処理学会，計量国語学会, 日本語学会, 人工知能学会, 日本言語学会, 各会員.

神門典子：1994 年慶應義塾大学大学院文学研究科後期博士課程修了. 博士 (図書館・情報学)，現在，国立情報学研究所教授，主に情報検索・情報アクセス技術の研究に従事. 1997 年末に NTCIR を開始し, 以降, 国内外の多くの研究者と協力し多様なタスク提案・運営・国際協調等を進めてきた．ACM SIGIR Academy Inaugural Inductee. 言語処理学会, 人工知能学会, 情報処理学会, ACM, ACL, ASIS\&T 各会員.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/