# 記事に忠実ではない訓練事例も活用した 見出し生成モデルの忠実性の改善法

植木滉一郎 平岡達也 岡崎直観
東京工業大学
\{koichiro.ueki@nlp., tatsuya.hiraoka@nlp., okazaki@\}c.titech.ac.jp

## 概要

見出し生成において忠実性の改善は重要な課題である．従来研究 [1] では，訓練データ中で忠実性が低い見出しを取り除くアプローチが提案されたが，見出し生成モデルの学習に用いる訓練事例数が減るため，生成される見出しの品質が低下するという問題があった. 本稿では，マスク付き言語モデルを用いて忠実性の低い訓練事例を忠実性の高い事例に書き換える手法，タグにより見出しの忠実性を制御する手法を提案する. 自動評価と人手評価の結果から，提案手法は既存手法と同程度の忠実性を保ちながら品質の高い見出しを生成できることを報告する.

## 1 はじめに

近年の言語生成モデルの発展により，見出し生成 （記事に対して見出しを作文する）タスクの性能が向上し，人間が作成した見出しに近い品質の見出しを自動で生成できるようになった。しかし，自動見出し生成は記事内容から逸脱した見出しを生成することがある，という問題が報告されている $[2,3]$. そのため, 見出し生成モデルの忠実性の改善を目指した研究が進められている $[4,5,6,7]$.

松丸ら [1] は，記事に忠実ではない見出しが訓練データの約 4 割に含まれていると指摘し，それが生成モデルの忠実性を低下させる要因になっていると報告した. 忠実でない見出しを訓練データから取り除くことで，モデルの忠実性を向上させた. さらに，訓練事例の不足を補うため，自己学習を用いて擬似訓練データを作成した。

ところが，日本語データの実験において，自己学習で獲得した擬似訓練データはモデルの忠実性を改善するものの，参照見出し文との ROUGE スコアを低下させた. これは，訓練事例の見出しの中で，記事から逸脱している箇所は単語や句などの限られた範囲であるにもかかわらず，ゼロから擬似見出しを生成したことに起因する．そこで，記事から逸脱した見出しを破棄するのではなく，積極的に活用しながら見出しの忠実性と ROUGE スコアの両方を改善する手法を検討したい.

本稿では，マスク付き言語モデルを用いた訓練データの書き換え手法（図 1 中央）と，タグを用いてモデルの忠実性を制御する手法（図1右）を提案する．前者は，見出しの中で記事から逸脱している箇所の単語や句をマスク付き言語モデルで書き換え，擬似訓練データとする．後者は，訓練データには一切変更を加えず，モデルへの入力の先頭に忠実性の度合いを示すタグを付与し，見出し生成モデルを学習する。自動評価と人手評価の結果から，提案手法は既存手法と同程度の忠実性を維持しつつ，品質の高い見出しを生成できることが分かった.

## 2 提案手法

本研究の目標は, 見出し生成モデルの ROUGE 值と忠実性を改善することである，具体的には，松丸ら [1] の手法をべースとし，より多くの訓練データを見出し生成モデルの学習に活用する手法を提案する. 本稿では，部分編集による擬似見出し生成と， タグによる制御の二つの手法を提案する。

## 2.1 含意関係認識器

本研究では，記事に対する見出しの忠害性の判定を，記事と見出しの含意関係認識として扱う [1].含意関係認識器を用いて，訓練データ Dを忠実な見出し $\mathscr{D}^{\text {fai }}$ と，忠実ではない見出し $D^{\text {hal }}$ のグルー プに分ける。含意関係認識器 $E$ は, $N$ 単語から構成される記事 $X=\left(x_{1}, x_{2}, \cdots, x_{N}\right)$ と， $M$ 単語から構成される見出し $Y=\left(y_{1}, y_{2}, \cdots, y_{M}\right)$ の組を大力とし,記事 $X$ が見出し $Y$ を含意する確率 $E(X, Y)$ を予測す

$(X, Y) \in \mathscr{D}^{\text {hal }}$

2.見出し生成モデルを学習

$\left.\langle\mathrm{HAL}>+\right.$ 記事 $X \rightarrow \longrightarrow \begin{array}{c}\text { モデル }\end{array} \rightarrow$ 見出し $Y$

図 1 (左) 含意関係認識による訓練事例の忠実性判定 (中央) マスク付き言語モデルを用いた訓練データの書き換え (右) タグ制御による見出し生成

図 2 マスク付き言語モデルを用いた擬似見出し生成

る. $E(X, Y)$ が閾值 $\alpha$ 以上の事例を $\mathscr{D}^{\text {fai } に ， ~} \alpha$ 未満の事例を $\mathscr{D}^{\text {hal }}$ に入る（図 1 左).

## 2.2 部分修正による擬似見出し生成

マスク付き言語モデルで忠実ではない見出しを書き換え，忠実な擬似見出しを生成する（図 2）。まず，見出しの中で記事に忠実ではない部分の検出を行う．式 1 のように，記事と忠実ではない見出しの組 $(X, Y) \in \mathscr{D}^{\text {hal }}$ に対し，見出し $Y$ に含まれるトークンのうち，記事 $X$ に出現しないものを，忠実ではない部分と見なし，<MASK>トークンに置き換える.

$
\tilde{y}_{i}= \begin{cases}y_{i} & \left(\text { if } y_{i} \in X\right) \\ <\text { MASK> } & \text { (otherwise) }\end{cases}
$

続いて，忠実ではなかった部分の穴埋めを行う.式 2 のように，マスク付き言語モデル BERT [8] を用いて，マスクされた見出しから疑似見出しを生成する．具体的には，記事とマスクされた見出しを BERT に入力し，<MASK>トークンを予測することで，擬似見出し $Y^{\prime}$ を生成する。

$
Y^{\prime}=\operatorname{BERT}\left(X,\left[\tilde{y}_{1}, \tilde{y}_{2}, \cdots, \tilde{y}_{M}\right]\right)
$

このようにして，全ての $(X, Y) \in \mathscr{D}^{\text {hal }}$ 対して，見出しの書き換え $Y \longrightarrow Y^{\prime}$ を行い，擬似訓練データ $\left(X, Y^{\prime}\right) \in \mathscr{D}^{\mathrm{pse}}$ を構築する. 最終的に，忠実な訓練データ $\mathscr{D}^{\mathrm{fai}}$ と擬似訓練データ $\mathscr{D}^{\mathrm{pse}}$ を用い，見出し生成モデルを学習する。
BERT モデルは，忠実な事例 $(X, Y) \in \mathscr{D}^{\text {fai }}$ の記事と見出しを連結して入力し，見出し部分のトークンの一部をマスクトークンに置換し，元のトークンを予測するタスクでファインチューニングする.

## 2.3 タグ制御モデル

訓練データの見出しには忠実性の高いスタイルと低いスタイルがあることを明示し，タグ制御により見出し生成の忠実性を制御するモデルを提案する（図 1 右)。生成を制御する既存手法 $[9,10]$ と同様に，訓練データの入力に忠実性を表す特殊トークンを連結する．具体的には，忠実な訓練事例 $(X, Y) \in \mathscr{D}^{\text {fai }}$ の記事 $X$ の冒頭に特殊トークン<FAI>を，忠実ではない訓練事例 $(X, Y) \in \mathscr{D}^{\text {hal }}$ の記事 $X$ の冒頭に特殊トークン<HAL>を追加する.

$\mathscr{D}^{\text {fai }}$ と $\mathscr{D}^{\text {hal }}$ は人手で作成された事例であるため,忠実度には差があるものの見出しの品質は高い. そこで，見出しの忠実度に応じた特殊トークンを訓練事例に付与し，見出し生成モデルを学習することで，訓練データの量を落とすことなく，忠実な見出しと忠実ではない見出しを書き分けられるようになることが期待される。このようにして学習した見出し生成モデルで忠実な見出しを生成するには，見出しを生成したい記事の冒頭に特殊トークン<FAI>を追加し，見出しを生成させればよい。

## 3 実験

## 3.1 実験設定

日本語の見出し生成タスクで実験する. 訓練データとして，Japanese News Corpus (JNC) ${ }^{1)}$ を用いる. JNC は，朝日新聞の記事冒頭 3 文と紙面見出しの組から構成される約 180 万事例を収録している. また，評価用データセットとして，JApanese MUlti-Length Headline Corpus (JAMUL) を利用する。

1) https://cl.asahi.com/api_data/jnc-jamul.html
表 1 JAMULデータセットでの評価 (手法左のマークは図 3 に対応)

JAMUL は朝日新聞デジタルで配信された 1,524 件の記事全文と紙面見出し，10，13，26 文字以内の各種媒体向け見出しが付与されたデータセットである.本研究では紙面見出しを評価に用いる. トークン化には SentencePiece [11]を使用した。

日本語の事前学習済み BERT モデル2)を用いて，含意関係認識器を構築した．具体的には，松丸らが JNC のデータから作成した含意関係認識データセットから，5,033 件の訓練事例でファインチューニングを行った。1,678 件の評価データにおける正解率は $83.9 \%$ であった.この含意関係認識器を用いて，見出し生成の訓練事例を分類したところ，844,526 件 (全体の $48.9 \%$ ) が忠実な事例と判定された.

提案手法の比較対象として，訓練データ全体で学習したモデル（全事例），松丸ら [1] の既存手法に従って忠実な事例のみで見出し生成モデルを学習したもの（忠実のみ），自己学習で擬似見出しを追加してモデルを学習したもの（忠実十自己学習）を用いる. 見出し生成モデルとして Transformer[12]を採用し, fairseq ${ }^{3}$ で実装した.

自動評価手法として, full-length F1 ROUGE 値を用いる. また，ROUGE では生成された見出しの忠実性を評価できないため $[13,14]$, モデルが生成した見出しに対して，含意関係認識器（2.1 節）が含意と予測する割合（含意率）[1]を報告する。

人手評価では，忠実性（記事が見出しを含意するか), 重要度 (見出しは記事の重要な内容を含んでいるか)，理解しやすさ（見出しは理解しやすいか）という 3 つの観点を用いた。「忠実性」は「はい」「いいえ」「判定不能」の 3 段階評価を行い，「はい」の割合いを報告する。「重要度」，「理解しやすさ」は， “5”を最も良いとする 5 段階評価を行い，その平均值を報告する. JAMUL のデータからランダムにサンプルした 100 事例に対し，各モデルで見出しを生表 2 生成した擬似見出しの評価

成し，一人の被験者に評価を依頼した。

## 3.2 実験結果

表 1 に実験結果を示す. 表中の R-1, R-2, R-L はそれぞれ，ROUGE-1, ROUGE-2, ROUGE-Lを表す.両方の提案手法とも，忠実十自己学習と同程度の含意率を達成しつつ，より高い ROUGE スコアが得られた. また，タグ制御モデルはシンプルな手法であるにもかかわらず，ROUGE スコアと含意率で安定した性能を示し，ROUGE-L 値では全事例を学習事例に用いた場合と同程度の性能を達成した。これは，提案手法が忠実性の問題に対処しつつ，より多くの訓練事例を有効に活用できたためと考えられる.

表 1 の人手評価によると，忠実性に関してはタグ制御モデル，重要度に関しては全事例を学習に用いるモデル，理解しやすさではタグ制御モデルが最も良い評価を得た。このように，タグ制御モデルは自動評価と人手評価の両方において良好な評価を得た. 一方，部分修正モデルは人手評価による評価が芳しくなかった．部分修正モデルが生成する擬似見出しを確認してみると，壳長な繰り返し表現を含むことが多いことが判明した.これは，見出し中の複数のマスクトークンを予測するときに，重複した単語が予測されてしまうことがあり，結果的に重複を含む不自然な見出しがモデルの訓練データに用いられ，その性質を引き継いだ見出し生成モデルが学習されてしまったことが原因と考えられる。

2) https://github.com/yoheikikuta/bert-japanese

3) https://github.com/pytorch/fairseq

図 3 見出しの被覆度と忠実性に関する分析

## 4 分析

## 4.1 生成された擬似見出しの分析

マスク付き言語モデルによって生成された擬似見出しの忠実性と，書き換え前の見出しとの一致度，生成された見出しの冗長さを評価することで，擬似見出しの品質を分析する. 同様に, 既存手法 [1] である忠実十自己学習によって生成された擬似見出しも分析する. 擬似見出しの忠実性の評価には含意率を用いる. また，元の見出しと擬似見出しの一致度を測定するため，元の見出しと擬似見出しの間の ROUGE-1 F1 值を算出する. さらに，式 3 で擬似見出しの壳長さを求め，その平均値を報告する.

$
\text { 冗長さ }:=\frac{\text { 見出し内に複数回出現する単語の数 }}{\text { 見出しの長さ (単語数) }}
$

表 2 より，忠実十自己学習による擬似見出しが高い忠実性を示すことが分かる．部分修正による擬似見出し生成は，元の見出しの一部を書き換えるだけの手法であるが，忠害ではなかった見出しの 7 割を忠実なものへ書き換えることに成功した.

また，書き換え前の見出しと書き換え後の見出しの間で ROUGE-1 スコアを測定した結果から，部分修正により生成された疑似見出しは，元の見出しからの変更が少ないことが分かる．これは，忠実ではない訓練データのうち，利用できる箇所はできるだけ利用するという本研究の狙いが達成できていることを示している．㔯長さに関しては，部分編集による擬似見出しが最も冗長であった.

## 4.2 提案手法による忠実性の向上

見出し生成では被覆度（見出しを構成する単語のうち，記事に含まれるものの割合）[15] の高い見出
し，つまり記事からの抽出に近い見出しを生成するという手法でも，忠実な見出しを生成できると言われている。ところが，被覆度を単に高めるだけの手法は，言い換えや流暢さといった抽象型見出し生成の長所を打ち消してしまう．そのため，被覆度を高めることを狙わずに，忠実性を向上させることが望ましい。

Ladhak ら [16] は，忠実性を向上させる手法の有効性を評価する際に，被覆度の影響を取り除くべきと主張した。そこで，被覆度の影響を排除するため， モデル間で生成する見出しの被覆度を揃え，忠実性を比較する. 生成する見出しの被覆度を制御できる見出し生成モデル（被覆度制御モデル）を学習し，被覆度と忠実性の関係を図 3 に曲線で描画した (モデルの詳細は付録 A に記載した)。この分析において，見出しの忠害性は含意率で測定している.

図3 に各手法の見出しの被覆度と含意率をプロットすることで，手法の忠実性を有効に向上させたかを評価できる。 図 3 の曲線は，見出しの被覆度の制御のみで達成できる忠実性を示しており，この曲線よりも上に位置する手法は，被覆度を高める以外の面で，忠実性を向上させていると評価できる．この分析によると, 本研究で提案した両方の手法は, 曲線よりも上側に位置し, 全事例で学習したモデルと同程度の被覆度で，より高い忠実性を達成していることが分かる．従って，提案手法は見出し生成の忠実性を安易に向上させているのではなく，有効な手法であることが示された.

## 5 おわりに

本稿では，日本語の見出し生成において，忠実性と ROUGE スコアの両方を改善させる手法を提案した. 本研究では, 既存研究で破棄されていた忠実ではない見出しを活用することで，見出し生成モデルの性能向上を目指した。具体的には，見出しの部分的な修正による擬似見出し生成手法と，タグ制御による見出し生成の制御手法を提案した.

日本語の見出し生成タスクでの実験から，両方の提案手法は既存手法と同程度の含意率で，より参照見出しに近い見出しを生成できることが分かった. また，人手評価から，タグ制御による見出し生成モデルが忠実性，重要度，理解しやすさにおいてバランスの取れた手法であることが示された。さらに，提案手法は見出しの被覆度を単に高めるのではなく, 見出しの忠実性を向上させることを確認した.

## 6 謝辞

本研究成果は, 国立研究開発法人情報通信研究機

構（NICT）の委託研究「自動翻訳の精度向上のためのマルチモーダル情報の外部制御可能なモデリングの研究開発」により得られたものです.

## 参考文献

[1] Kazuki Matsumaru, Sho Takase, and Naoaki Okazaki. Improving truthfulness of headline generation. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 1335-1346, Online, July 2020. Association for Computational Linguistics.

[2] Ziqiang Cao, Furu Wei, Wenjie Li, and Sujian Li. Faithful to the original: Fact aware neural abstractive summarization. In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 32, 2018.

[3] Joshua Maynez, Shashi Narayan, Bernd Bohnet, and Ryan McDonald. On faithfulness and factuality in abstractive summarization. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 1906-1919, Online, July 2020. Association for Computational Linguistics.

[4] Tanya Goyal and Greg Durrett. Annotating and modeling fine-grained factuality in summarization. arXiv preprint arXiv:2104.04302, 2021.

[5] Zheng Zhao, Shay B. Cohen, and Bonnie Webber. Reducing quantity hallucinations in abstractive summarization. In Findings of the Association for Computational Linguistics: EMNLP 2020, pp. 2237-2249, Online, November 2020. Association for Computational Linguistics.

[6] Sihao Chen, Fan Zhang, Kazoo Sone, and Dan Roth. Improving faithfulness in abstractive summarization with contrast candidate generation and selection. arXiv preprint arXiv:2104.09061, 2021.

[7] Yuning Mao, Xiang Ren, Heng Ji, and Jiawei Han. Constrained abstractive summarization: Preserving factual consistency with constrained generation. arXiv preprint arXiv:2010.12723, 2020.

[8] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[9] Jessica Ficler and Yoav Goldberg. Controlling linguistic style aspects in neural language generation. In Proceedings of the Workshop on Stylistic Variation, pp. 94-104, Copenhagen, Denmark, September 2017. Association for Computational Linguistics.

[10] Katja Filippova. Controlled hallucinations: Learning to generate faithfully from noisy data. In Findings of the Association for Computational Linguistics: EMNLP 2020, pp. 864-870, Online, November 2020. Association for
Computational Linguistics.

[11] Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[12] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. V. Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc., 2017.

[13] Wojciech Kryscinski, Nitish Shirish Keskar, Bryan McCann, Caiming Xiong, and Richard Socher. Neural text summarization: A critical evaluation. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLPIJCNLP), pp. 540-551, Hong Kong, China, November 2019. Association for Computational Linguistics.

[14] Alexander R Fabbri, Wojciech Kryściński, Bryan McCann, Caiming Xiong, Richard Socher, and Dragomir Radev. Summeval: Re-evaluating summarization evaluation. Transactions of the Association for Computational Linguistics, Vol. 9, pp. 391-409, 2021.

[15] Max Grusky, Mor Naaman, and Yoav Artzi. Newsroom: A dataset of 1.3 million summaries with diverse extractive strategies. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 708-719, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[16] Faisal Ladhak, Esin Durmus, He He, Claire Cardie, and Kathleen McKeown. Faithful or extractive? on mitigating the faithfulness-abstractiveness trade-off in abstractive summarization. arXiv preprint arXiv:2108.13684, 2021.

## A＼cjkstart被覆度制御モデル

ここでは， 4.2 節で使用した被覆度制御モデルについて説明する。

Ladhak ら [16] にならい, 生成する見出しの被覆度を制御できるモデル (被覆度制御モデル) を学習する.この被覆度制御モデルを使用し, 被覆度と忠実性の関係を曲線で描く，具体的には，2.3 節と同様に，制御タグによって異なる被覆度の見出しを生成し，そこから被覆度と忠実性の関係を推定する。

訓練事例を 4 つのグループに分割する (Q1～Q4 とする). 表 3 は，分割したグループ内での被覆度の平均を示す. Q1 が最も高く, Q2,Q3,Q4 となるにつれて平均の被覆度が低くなる。

それぞれのグループに属する事例の記事の冒頭に，対応する制御タグ (<Q1> <Q4>) を付与する. タグを付与したデータで見出し生成モデルを学習する. 生成時には，生成したい見出しの被覆度を，入力の記事に付与するタグで制御できると期待する.

各制御タグを用いて見出しを生成した結果を表 3 に示す. <Q4>タグで生成した見出しは被覆度が最も低く，<Q1>タグで生成した見出しは最も高い。これより，タグによる被覆度の制御ができているとわかる. また，<Q1>タグで被覆度の高い見出しを生成することで，高い忠実性を達成できることもわかる。 ROUGE 值に関しては，被覆度の制御だけでは，全事例を学習に用いるモデルやタグ制御モデルほどの高い值は達成できていない。

<Q1> <Q4>の生成結果から，忠実性と被覆度の関係を推定したものが 4.2 節の図 3 となる.


# 拡張固有表現に分類された 31 言語の Wikipedia 知識ベース

関根聡 ${ }^{1}$ 中山功太 ${ }^{1}$ 野本昌子 ${ }^{1}$ 安藤まや $^{2}$
隅田飛鳥 ${ }^{1}$ 松田耕史 ${ }^{1}$
${ }^{1}$ 理化学研究所 革新知能統合研究センター ${ }^{2}$ フリー
\{satoshi. sekine, kouta. nakayama, masako. nomoto, asuka. sumida, koji. matsuda\}@riken.jp
maya@cis. twcu. ac. jp

## 概要

説明可能な AI 構築を目指し、Wikipediaを構造化することを目標とした「森羅プロジェクト」を推進している。2020、2021 年には 30 言語の Wikipedia を拡張固有表現に分類するタスクを実施し、2 年間で 14 チームから 24 の参加システムを得た。その出カデータを用いてアンサンブル学習を行い、大規模な固有表現の分類リソースを構築した。日本語と合わせて 31 言語で約 3340 万ぺージが分類されており、人手チェックも行った日本語の精度は $98.5 \%$ 、人手チェックのないその他の 30 言語の平均 $\mathrm{F}$ 値は 86.9 である。知識リソースは森羅ホームページで公開している。「協働による知識構築 (Resource by Collaborative Contribution - RbCC)」と呼ぶ枠組みで、構造化知識を構築している「森羅プロジェクト」では、2022 年も新たなタスクを実施する。

## 1 はじめに

Wikipedia は常時更新されている巨大な知識源であり、様々な言語処理技術への応用が期待されているが、構造化されていないため自然言語処理での利用が難しい。Wikipediaを分類し、構造化して知識グラフにすることで、幅広い活用が期待される。同様の目的で構造化された知識としては、DBpedia、

YAGO、Wikidata などがあるが、分類カテゴリーや構造フレームは主にクラウドによるボトムアップ方式で構築され、統一されたルールに基づいておらず、非常に多くのノイズが入っている。筆者らは、分類や構造フレームの設計はトップダウンに画一した形で行い、内容（コンテンツ）の構築をクラウドで行うことにより、言語処理にも利用しやすい知識が構築できると考えている。そこで、分類基準と構造フレームに幅広い固有表現カテゴリーを対象に定義さ
れている「拡張固有表現」を利用し、そこに Wikipedia に記載されている知識をはめ込むことにより、整理された構造化知識を構築することを目指している。 これが「森羅プロジェクト」の目標である。プロジエクトでは、共有タスクを実施し、その複数の参加システムの出力に対してアンサンブル学習などを通じ精度の高い知識を自動的に構築する枠組みとして提唱している「協働による知識構築 (Resource by Collaborative Contribution - RbCC)」を用いて知識構築を行っている。本論文では、そのプロジェクトのうち、2020、2021 年に実施した、30 言語の Wikipedia 分類タスクを通して構築したものに、日本語の分類データも含めた 31 言語の Wikipediaを拡張固有表現に分類した知識リソースを紹介する。

## 2 拡張固有表現

拡張固有表現は、幅広い固有表現を対象とした固有表現オントロジーであり、今回利用した Version 8.1 では最大 4 階層で、末端カテゴリー数は 219 ある

(Sekine et al. 2002, ENE-HP）。一般的な固有表現力テゴリー(Nadeau 2007)とされる組織名や地名の下位概念である企業名、政党名、市区町村名、湖沼名だけではなく、イベント名、製品名、自然物名などの新規のカテゴリーもあり、Wikipedia の項目を対象に拡充している。拡張固有表現のホームページに詳細の定義があるが、付録に記載した図 2 亿全体像を示す。また、Wikipedia を対象にしているため、2つの特異なカテゴリーを設定している。一つは主に一般名詞などを対象にした"CONCEPT”というカテゴリ一であり、もう一つは「転送ぺージ」「リストペー ジ」「メタ情報ぺージ」など Wikipedia 特有のぺー ジを対象とした”IGNORED”である。拡張固有表現の多くのカテゴリーには構造化のために属性も定義され、構造化の際に利用する。

## 3 日本語分類データ

日本語 Wikipedia 分類データは 2019 年 1 月の Wikipedia ダンプを対象に作成した。被リンク数が 5 以下の 15 万ページ、シンプルな方法で除外した固有表現ではない 5 万ページを除いた 92 万ページから構成されている。 3 万ページ程度の学習データを元に機械学習を用いた分類結果を人手ですべてチェックした（Suzuki et al. 2018）。サンプルデータを用いて分析した結果、精度は 98.5\%程度であると推定されている。残りの $1.5 \%$ は、人が見ても曖昧なぺージなどであった。表 1 に頻度の高い上位 10 個のカテゴリ一の情報を載せる。映画化された小説のぺージに両方の記載がある場合などには、1つのページが複数のカテゴリーに属することとしており、その割合は $3 \%$ 程度である。

表 1. 頻度の高いカテゴリ

## 4 共有タスク

30 言語の2019年 1 月の Wikipedia ダンプを対象に、拡張固有表現に分類するタスクを実施した（関根ら 2021）。30 言語は、言語ごとの “active user” の数が多いものから選んだ。本タスクの教師データは、 3 節で紹介した日本語の分類データと Wikipedia の言語間リンクから自動的に各言語に対して作成したものを利用した。したがって、完全なデータではなく、 いわゆる“silver data”である。例えば、226 万ページあるドイツ語の場合には、日本語からの言語間リンクがあるページは 27 万ページあり、それを教師デー タとして、残りの 199 万ページの分類を行うことが本タスクとなる。（ただし、参加者にはアンサンブル学習での利用を考慮し、教師データ部分の分類も学習システムを使って実施することを求めている)参加チームは、2021 年は 10 チーム、2022 年は 3 チ一ムであった。それぞれのシステムに関する論文は、森羅ホームページより閲覧できる（SHINRA-HP）。全ページのデータの提出を促すこと、将来のシステム評価との比較が公平にできることを目的として、評価の対象ページがどのページであるかは参加者には公表していない。評価結果を表 2 に示す。それぞれの言語での最高のシステムの $\mathrm{F}$ 值、アンサンブル学習システム $\mathrm{F}$ 値、最低 1 つのシステムに正解が含まれる割合を示している。

表 2. タスクの評価結果

 &  &  \\

アンサンブル学習はシンプルな Voting により行なっている。ただし、 1 参加者が 3 システムまで提出することができ、多くの場合にはそれらの出力は非常に似ているため、参加者ごとの票が 1 になるように Voting を補正している。表 2 の赤字は、アンサンブル学習システムが、最高性能のシステムを上回っていることを示す。多くの言語で上回っていることがわかる。また、上限はほとんどの言語で $90 \%$ \%超え、平均は $97 \%$ と非常に高いことがわかる。上限に近いシステムを開発することは今後の課題である。

## 5 リソースのサンプルと統計情報

図 1 にサンプルデータを載せる。"pageid”と“title” で Wikipedia の該当ページを示し、ENEs でそのペー ジの拡張固有表現カテゴリーを ID と名前で示している。言語ごとに 1 ファイルで構成され、 31 言語分の 31 ファイルがある。

図 1.サンプルデータ（英語）

表 3 に、言語毎の分類結果の頻度を示す。名前(1) の下位カテゴリーは、その次の階層のカテゴリーでまとめている。例えば 1.4 の組織名には、国際組織名(1.4.1)、企業名(1.4.6.2)、政党名(1.4.7.2)などの組織名の下位にあるカテゴリーの頻度の総和が示されている。頻度の高いカテゴリーは言語共通であり、

名” $(13.52 \%)$, “製品名” $(13.65 \%)$, “施設名” $(6.14 \%)$, “組織名”(5.58\%)が頻度の高いカテゴリーである。

表 2 で示した通り、日本語を除いた 30 言語のリソ一スの $\mathrm{F}$ 值は 86.76 であり、完璧ではない。どの力テゴリーがどのカテゴリーに間違っているかを分析した。付録の表 4 に混同行列の形で、正解とアンサンブル学習システムの出力の頻度を示す (30 言語の合計を示している）。この階層レベルで見た時の全体の誤りの $85 \%$ は“CONCEPT”か“IGNORED”に関連している。特に、正解が“IGNORED”である時に、様々なカテゴリーが付いている場合と、正解が様々な力テゴリーである場合に“CONCEPT”のカテゴリーとなっている場合が目立つ。これらの誤り以外では、例えば、“組織名”と“地名”と“施設名”の 3 つのカテゴリ一の混同がある。施設名は、公園、学校、空港、道路など、組織名や地名に関係するものが対象となっており、このような混同はある程度理解できる。 システムは“CONCEPT”と“IGNORED”以外は理解できる範囲の結果を出力し、信頼できる知識になっていると考えている。“CONCEPT”と“IGNORED”の問題については今後の課題として取り組む考えである。

## 6 関連研究

知識オントロジーは自然言語処理にとって重要なリソースであると考えられてきた。例えば、1980代の人工知能ブームでは日本では $\operatorname{EDR}$ (日本電子化辞書 1995)、米国では Cyc(Lenat 1995)という大きな国家プロジェクトで知識構築が行われたが、構築コスト、メンテナンス、カバレージなどの問題 (Knowledge Acquisition Bottleneck) に直面し、当初の目的を達成したとは言い難い。

不特定多数の協働によって百科事典知識を構築する Wikipedia プロジェクトによって上記の問題に対するパラダイムは大きく変化した。ただし、この知識は人間が読むために作られたものであり、計算機利用が容易にできるものではない。そこで、計算機利用な知識構築を目指した取り組みが行われている。 DBpedia は Wikipedia 内の infobox な゙構造化されている部分を利用し、構造化知識を構築している (Lehmann et al. 2015)。YAGO は Wikipedia と WordNet を結びつけることにより利用しやすいオントロジー を作ろうというプロジェクトである(Mahdisoltani et al. 2015)。Wikidata は Freebase などの経験を生かし、既に存在する構造化知識とクラウドを活用し、構造化知識を構築していこうというプロジェクトである (Vrande cic and Krotzsch 2014)。ただ、上記のどの知識も、カテゴリーや構造的な知識部分にノイズが多くある Wikipedia に頼っていたり、カテゴリーや構造フレームの部分もクラウドによるボトムアップな方法で構築しているため、多くのノイズが存在し、計算機による利用が難しいのが現状である。

## 7 協働による知識構築

本リソースを構築した森羅プロジェクトの大きな特徵の一つは「協働による知識構築 (Resource by Collaborative Contribution - RbCC)」である (関根ら 2018)。共有タスクによる言語処理技術の向上が幅広く行われている。そのおかげで様々な技術が開発され精度向上が達成されてきた。しかし、多くの場合には、システムの最適化 (Optimization) の競争に過ぎない形でのプロジェクトとなり、タスクが終了すると開発したシステムも放置され、その結果が何らかの貢献につながらないことが多い。この状況は次に挙げる 3 つの改良によって改善すると考えている。

1. タスクを知識やリソースの構築などにつながる形で設計する

2. システムの出力結果は広く公開し、アンサンブル学習をはじめとした研究につなげる

3. タスクの出力結果をある種の学習データとして用いたシステムを開発できるように、再度タスクに参加できるような枠組みとする「森羅プロジェクト」のタスクは、多言語の分類タスクに限らず 2018 年から日本語の属性値抽出夕スク、リンク同定タスクを含め 6 回実施した。2022 年には、日本語で分類、属性値抽出、リンク同定の 3つのタスクを同時に行い、構造化知識を構築するタスクを実施する予定である。これまで作成した全ての教師データと、構造化した 2019 年の Wikipedia 知識を教師データとして利用し、2021 年の Wikipedia を対象にする予定であり、これまで大きな課題であった知識メンテナンスの問題解決も目指している。興味ある方の参加を期待している。

## 7 まとめ

協働による知識構築（RbCC）の枠組みで構築した 31 言語のWikipediaを拡張固有表現で分類した知識リソースについて報告した。日本語は 92 万ぺージを 98. $5 \%$ の精度で、他の 30 言語は約 3250 万ページを 87 の F 值で分類されている。データは森羅ホームぺ ージで公開している。

表 3. 各言語のカテゴリーごとの頻度

 & Person & God &  &  \\
 & Location & Facility & Product &  & Event &  & Disease & Color & Timex & Numex & IGNORED \\

## 謝辞

本研究は JSPS 科研費 JP20269633 の助成を受けたものです。

## 参考文献

SHINRA-HP. Shinra project homepage:

https://shinra-project.info.

SHINRA2020-ML-HP. Shinra 2020-ml homepage: http://shinra-project.info/shinra2020ml/.

ENE-HP. Extended named entity homepage: https://ene-project.info.

関根聡, 野本昌子, 中山功太, 隅田飛鳥, 松田耕史,安藤まや (2021). SHINRA2020-ML:30 言語の Wikipedia ページの分類, 言語処理学会第27回年次大会発表論文集

関根聡, 小林暁雄, 安藤まや (2019). Wikipedia構造化プロジェクト「森羅2018」,言語処理学会第25回年次大会発表論文集, pp.69-72, 2019.

日本電子化辞書研究所 (1995). EDR電子化辞書シンポジウム

Tushar Abhishek, Ayush Agarwal, Anubhav Sharma, Vasudeva Varma, and Manish Gupta (2020).

Rehoboam at the ntcir- 15 shinra2020-ml task. In The 15th NTCIR Conference Evaluation of Information Access Technologies (NTCIR-15).
Jens Lehmann, Robert Isele, Max Jakob, Anja Jentzsch, Dimitris Kontokostas, Pablo N. Mendes, Sebastian Hellmann, Mohamed Morsey, Patrick van Kleef, Soren Auer, and Christian Bizer (2015). Dbpedia - a large-scale, multilingual knowledge base extracted from wikipedia. Semantic Web, 6(2):167-195.

Douglas Lenat (1995). Cyc: A large-scale investment in knowledge infrastructure. Communications of the ACM, 38(11):33-38.

pages 94-100. AAAI Press.

Farzaneh Mahdisoltani, Joanna Biega, and Fabian M Suchanek (2015). Yago3: A knowledge base from multilingual wikipedias. CIDR.

David Nadeau, Satoshi Sekine (2007). A survey of Named Entity Recognition and Classification”. Lingvisticae Investigationes 30 (1), 3-26.

Satoshi Sekine, Kiyoshi Sudo, and Chikashi Nobata (2002). Extended named entity hierarchy. In the Third International Conference on Language Resources and Evaluation (LREC'02).

Masatoshi Suzuki, Koji Matsuda, Satoshi Sekine, Naoki Okazaki, and Kentaro Inui. (2018) A joint neural model for fine-grained named entity classification of Wikipedia articles. IEICE Transactions on Information and Systems, E101.D(1):73-81.

Denny Vrande cic and Markus Krotzsch (2014).

Wikidata: A free collaborative knowledgebase.

Commun. ACM, 57(10):78-85.

## A 付録

乗り物名乗り物名_その他車名 / 列車名 / 飛行機名食べ物名食へ物名_その他

芸術作品名、芸桡作品名_Zの他絵画名 / 番組名 / 映画名 /
公演名 / 音樂名

出版物名出此物名 Zの新聞名 / 雑読名

規則名规則名_その他

条約名 / 法令名

称号名称号名_Zの他

地位膱業名

言語名言語名_その他

国語名

単位急戦位名_その他

バーチャルアドレス名

バーチャルアドレス名_その他チャンネル名 / 電話番号電子メイル/ URL

 \\

時間表現時間表現_その他

時間時間_その他時刻表現 / 日付表現 / 曜日表現時代表現

## 期間 期間_その他時刻期間 / 日数期間 / 週数期間月数時間 / 年数期間

IGNORED

図 2. 拡張固有表現階層

表 4. 正解とアンサンブルシステム出力の混同行列

(縌軸が正解カテゴリー、横軸がアンサンブルシステムの出力カテゴリー)

 &  & Location & Facility & Product &  & Event &  & Disease & Timex & Numex &  \\

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 述語の概念フレームと PropBank 形式の 意味役割を付与した NPCMJ-PT の構築

竹内孔一 ${ }^{1}$ バトラーアラステア ${ }^{2}$ 長崎郁 3 パルデシプラシャント 4
} 1 岡山大学 ${ }^{2}$ 弘前大学 ${ }^{3}$ 名古屋大学 4 国立国語研究所 takeuc-k@okayama-u.ac.jp
## 概要

日本語のコーパスに対して構文木を付与して Web 上で公開している NPCMJ (NINJAL Parsed Corpus of Modern Japanese) に対して，述語と項の意味的な関係を整理して公開している述語項構造シソーラス (PT) の概念フレームと意味役割を付与した NPCMJ-PT を構築している.現段階で約 7.4 万述語に対して概念フレームを付与し, 約 14.9 万件の項に対して意味役割関係を付与している. 本稿では現段階で付与したデータについての特徵と今後の展望について記述する.

## 1 はじめに

文の述語を中心とした係り関係の構造に対して, 意味的な関係を付与する意味役割付与データの構築が英語を中心に行われている (例えば PropBank[1] や FrameNet[2]) .さらに , 意味役割と概念フレームを元にした文の抽象的な意味構造をグラフで表す AMR(Abstract Meaning Representation)が提案されており1), AMR parser の開発 $[3]^{2}$ や AMR によるバイオ文献における情報抽出が研究されている [4].

近年では, 意味役割ではなく, 係り関係の夕イプを付与する UD (Universal Dependency) が提案されており, 主語と目的語ならば nsubjやobj とした関係で取り出すことが出来る.一方で，意味役割と異なるため下記のようなopen に対して開けた動作主なのか開けられた対象なのかの違いは処理されない3).

(1) [nsubj $\mathrm{He}$ ] open the [obj door] .

(2) The [nsubj door] opened .

一方 , PropBank 形式の意味役割と概念フレー ムでは下記のように動作主と対象を分ける。

(4) [The ${ }_{A r g} 1$ door] [open. 01 opened] .

よって, 単に意味的な関係だけでなく, 辞書 (概念フレーム (この場合 open.01)) と同時に開発するのが意味役割付与の特徵である。

本研究では PropBank 形式の意味役割と名前の意味役割を日本語の述語 (動詞, サ変名詞 , 形容詞 , 形容動詞の約 1.2 万語) に対して 2.4 万例文を付与した述語項構造シソーラス PT (Predicate-argument Thesaurus) を辞書として NPCMJ に意味役割を付与して公開している 4$).$概念フレームは現段階で 1097 件定義しており， NPCMJ の付与とともに拡張している。

一方, NPCMJ は言語学研究者および日本語学習者を意識した Web 上で検索可能な大規模ツリーバンクである (約 6.7 万ッリーを公開)，本研究では意味役割と概念フレームを付与することで，事例検索に役立てるとともに自然言語処理における日本語意味役割付与の学習データとしての利用を目標としている。

2 現在付与している NPCMJ-PT の全体像

NPCMJ-PT は NPCMJ の構文木に従って述語に対して述語項構造シソーラスの概念フレームを付与して，項に対して意味役割を付与したデータである. 図 1 に事例を示す. 述語と光れに対応する項についてはあらかじめ NPCMJ の構文木から計算によって導出されている [5].構文木データを基にしているためゼロ代名詞5)

図 1 NPCMJ-PT の付与例 (aozora_Akutagawa-1921 コーパス)

を含めて項が設定されているところが特徴的である.こうした点は Penn Treebank に付与を行っている PropBank と同様の形式である .

現段階6)の付与データの量を表 1 に示す. 現

表 1 NPCMJ-PT 全体の現段階の付与件数

段階で NPCMJ-PT は内部的に 9.5 万件の構文木 (=文)を有している7) . 図 1 で示したとおり, 1 文に複数の述語が登録されているため, 1 文で複数の概念フレームを付与する場合が多い. また，NPCMJ-PT には PT の例文も構文木とともに記録されている．PT の事例は 2.2 万件程度であるため，PT の付与例を抜いた場合，概念フレーム数は 51,480 件, 項の数は 103,033 件である . 現在も付与を継続している.

以下の節では具体的にどのような述語に対して，どのような概念フレームや意味役割が付与されているのか具体例を挙げて記述する。

## 3 述語と概念フレームの付与

表 2 に付与した述語の種類数, 概念フレームの種類数を示す. NPCMJ-PT では述語は活用した語のみの記録であるため，基本形は形態素解析 MeCabを利用して推定した基本形を利用する. 表 2 に示すように述語の概念フレームには PT だけでなく一部日本語 WordNet の概念フレームを付与している.これは図 1 にもあるように述語として名詞も含まれており，一部の名
6) 2022 年 1 月 12 日現在.
7) 2022 年 1 月 12 日時点では 6.7 万木 (文) が公開されている  .表 2 付与した述語の上位 10 件の頻度 (基本形に

整形)

詞に対して実験的に日本語の WordNet を利用して概念を付与している8)

概念フレームの付与の仕方であるが図 1 にもあるように，PT の概念フレームに述語の登録がない場合，近い概念フレームを指定して，光の概念フレームの中で最も似ている述語を指定して付与している. 例えば図 1 の 2 例目の「御礼」は PTには登録がないが，Frame ID 80 番 (提供) の概念フレームにおける「謝礼する」に近いことを示している.このようにアノテーション作業で概念フレームを利用しつつ辞書の拡張を行って概念を付与している。

PT の概念フレームは現段階で 1097 種類定義している．PT のデータが入っているにもかかわらず全概念フレームの種類が入っていない. これは PT の概念フレームが更新されていることや, 付与の形式ミスなどで今回のデータには入れなかった事例が存在することが考えられる。

また表 2 には現れないが，図 1 に示すように複合動詞についても付与している.NPCMJ-PT では最後の述語に概念フレームを付与することから，最初の要素には ArgM-PRX を付与し「多くなる」の意味に近い概念フレーム Frame ID 308(程度の変化/多い)を付与する。

次に，表 3 に付与した述語のうち頻度の高いものを順に上位から並べたものを示す . 述語は上記のように形態素解析 MeCab を利用して推定した基本形を利用してまとめている。

8) サ変名詞は PTに登録されているため，ほとんど PT の概念フレームが付与されている.
表 3 で最も多い述語の「だ」と「の」の例を下記 (5)(6) に示す ．どちらもコピュラであることがわかる.

(5) [Arg1 私は] [ $\mathrm{Arg}_{2}$ 遠藤という書生] [895:ですだ] (aozora_Akutagawa-1921)

(aozora_Akutagawa-1921)

NPCMJ では「の」が「である」に言い換えられる場合は述語としており，連体修飾の場合などによく出現する. (6) ではこれを「婆さんは/Arg1 インド人/Arg2です/895」という平叙文を基に付与している.また「*」は MeCabに登録がなかった述語であり，例えば下記の (7)のような動詞があげられる。

(7) $\left[\mathrm{Arg0}\right.$ 亜米利加人は] [ $\mathrm{Arg}_{2}$ 煙草を] [47 啣え] たなり , (aozora_Akutagawa-1921)

「と」という述語は下記の (8) に示すような場合であり，「である」という述語があるとして概念フレームを付与している。

と] し, (book_excerpt-30)

NPCMJ の構文木に基づくと，コピュラが「です」「だ」「の」「と」といった異なる形をとって多く出現していることがわかる．

ここで，付録の表 7 に概念フレームの多いものから順に 10 件の例を取り上げる. 上述のようにコピュラが最も多く全体の 1 割ほど出現している。続いて, 移動 (17), 生成 (124), 伝達 (95) , 変更 (407) といった状態変化動詞が続いている9)．また9番目には，「思う」「認識する」 など人の判断にかかわる認識 (101) の動詞が出現している.

## 4 意味役割の付与

NPCMJ-PT における意味役割について記述する. まず付与している意味役割の枠組を記述した後，付与した結果について記述する。

## 4.1 意味役割の基本的な枠組

基本的に PT の枠組に従った形式である．PT では意味役割として PropBank 形式の意味役割を採用し, 必須項が $\operatorname{Arg} 0,1,2$ といった数字を利

用する．ただし，PropBankでは各述語の語義について光れ光れ別々に $\operatorname{Arg} 0,1,2$ の意味的な割り当てを決める (例えば Open. 01 など) が，PTでは FrameNet[2] と同樣に概念フレーム [6] を想定して，概念フレームにおける必須の意味的な関係を $\operatorname{Arg} 0,1,2$ で表現する.つまり FrameNet との対応で記述すると Element を数字で表現していることに対応する . 概念フレームにおける必須項はイメージとして光の概念で出てくる必須の登場要素を決めて分類したものである.これにより態の異なりなどで表現が変わっても述語に対する項の意味的な関係を指定することができる。

一方でPTでは名前の意味役割も同時に付与している. 名前の意味役割は文献 [7] の事例にもあるように「〜で」で場所なのか手段なのかといった表現をべースにした解釈で付与する。 これにより，例えば，下記の壁塗り構文の場合 , PropBank 形式の意味役割ではどちらも違いがないが，名前の意味役割によって，「ペンキで」が手段として捉えている表現である場合で , 違いを検索することが可能になる．

る]

Frame ID 25(覆う) の必須項は「Arg0:動作主」, $\ulcorner\operatorname{Arg} 1$ :覆うもの」,「Arg2:覆われるもの」の3つである.よって PropBank 形式の意味役割と名前の意味役割は文の表現に応じて樣々な対応関係をとる。

## 4.2 意味役割の付与内容

表 4 に NPCMJ-PT で付与した意味役割 (PropBank 形式) の上位 10 件の頻度分布を示す$^{10)}$. 表 4 から最も多いのは対象を示す $\operatorname{Arg} 1$ であり次いで動作主を表す $\operatorname{Arg} 0$, さらに必須項の $\operatorname{Arg} 2$ が続く. 付加詞 (つまり)各概念特有の項ではなく，どんな述語にも付与する係り元) では ArgM-ADV(副詞)や ArgM-TMP(時間)， ArgM-LOC(場所) が多いことがわかる．また， NPCMJ では ArgM-PRX(連語:述語の一部の要素) が多く出現している．下記に ArgM-PRX の事例を示す.

10) PropBank 形式の意味役割の一覧は付録の表 6 に示す.

(11) [ArgM-ADV もう] [ArgM-PRX どうでも] [927:無関心だいい] (aozora_Dazai-2-1940)

(12) [ArgM-PRX 気ガ] [210:気絶する遠クナッ] テシマウ (aozora_Akutagawa-1921)

事例 (12) に示すように複合動詞だけではなく，共起語や慣用表現の要素も ArgM-PRX タグを付与する。

表 5 に名前の意味役割の上位 10 件の頻度分布を示す . PropBank 形式の意味役割と同樣に，最も頻度が多い要素が「対象」で次に「動作主」 となっている. 以降の意味的な関係として, 経験者や補語相当（は）といった必須項に関するものが出現している. 表 4 と比較すると, $\operatorname{Arg} 1$

表 5 上位 10 件の意味役割 (名前の意味役割)

よりも「対象」の頻度が少ない.つまり $\mathrm{Arg} 1$ は名前の意味役割では他のラベルが付与されていることがわかる. 名前の意味役割は全部で 73 種類設定している.よって PropBank 形式では Arg0であっても，「動作主」や「原因」，「経験者」など細分化されている事例が付与され
ている.また $\operatorname{Arg} 1$ も単なる対象だけではなく，「経験者」や「補語相当」,「着点」などに付与されている11).

下記に「対象」および「補語相当（は）」の例を示す.

天上に燃える炎の声] [895:ですだ] (aozora_Akutagawa-1921)

男] (aozora_Doyle-1905)

基本的には「A B B だ」のコピュラの場合がよく見受けられる. 例 (14)のように連体修飾の形で「の」を述語と考えた場合にも付与されていることが多い.

## 5 今後の予定

現在も概念フレームと意味役割付与作業を続けているため，本稿で記述した統計量は変わる予定である．また意味役割を付与した結果をどのようなデータ構造にするか現在議論中である. 先の文献 [9] で記述したように FrameNet 準拠のXML 形式の出力は可能であるが一方で，構文木の情報は同時に盛り込まれない．また，本原稿を書くにあたってプログラムを作成して NPCMJ-PT データをxlsx 形式にまとめたものを利用した . 表計算ソフトの形式を利用すると集約した情報を得る場合に有利である．どのような形式で NPCMJ-PT を出力するか引き続き検討する．

## 謝辞

本研究は国立国語研究所機関拠点型基幹研究プロジェクト「統語・意味解析コーパスの開発と言語研究」および JSPS 科研費 (課題番号 15H03210) と (課題番号 19K00552) の助成を受けたものである .
 0$ の場合も $\operatorname{Arg} 1$ の場合の付与もある. 基本的には意図せずになにか行為を行う主体である . PropBank1.7 の辞書では here. 01 や see. 01 の Arg0 に Experiencer という注釈が入っている. 動作主体でありながら，「経験者」の意味で付与しているように見受けられる.「経験者」は $\operatorname{Arg} 1$ にも対応する. 例えば 「[Arg1:経倹者赤ちゃんが] [Arg0:原因物音に] [398 驚く]」 のように心理的な影響を受ける主体に「経験者」を付与している [8] .
}

## 参考文献

[1] Olga Babko-Malaya. PropBank Annotation Guidelines, 2005.

[2] Collin F. Baker, Charles J. Fillmore, and John B. Lowe. The Berkeley FrameNet project. In Proceedings of the 36th Annual Meeting of the Association for Computational Linguistics, pp. 86-90, 1998.

[3] Sheng Zhang, Xutai Ma, Kevin Duh, and Benjamin Van Durme. Amr parsing as sequence-to-graph transduction. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, 2019.

[4] Zixuan Zhang, Nikolaus Parulian, Heng Ji, Ahmed S. Elsayed, Skatje Myers, and Martha Palmer. Finegrained information extraction from biomedical literature based on knowledge-enriched abstract meaning representation. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics, pp. 6261-6270, 2019.

[5] Alastair Butler. Treebank Semantics. Technical report, Hirosaki University, 2021. .

[6] Adele E. Goldberg. Constructions. The University of Chicago Press, 1995.

[7] 日本語記述文法研究会. 現代日本語文法 2 第 3 部格と構文第 4 部ヴォイス. くろしお出版, 2009.

[8] 竹内孔一, バトラーアラステア, 長崎郁, パルデシプラシャント. PropBank 形式を考慮した NPCMJ に対する意味役割付与〜態の違いと経験者の付与〜. 言語処理学会第 26 回年次大会発表論文集, pp. 633-636,, 2020.

[9] 竹内孔一, アラステアバトラー, 長崎郁, プラシャントパルデシ. Npcmjへの propbank 形式の意味役割と概念フレームの付与の進捗報告. 言語処理学会第 27 回年次大会発表論文集,E8-4, 2021.

## A 意味役割ラベルの一覧

NPCMJ-PT を構築するにあたり利用している意味役割を示す. 表 6 に示すように PropBank 形式の意味役割は 28 種類である .

## B 上位 10 件の概念フレーム

付与した概念フレームについて上位 10 件の頻度分布を表 7 に示す

概念フレームは最大 5 階層のシソーラス構造になっている. 記号の'_, が階層の境界を表している . 概念フレーム内の括弧内の数字は Frame ID を表している. 詳細な事例は Web 上で確認できる (http://pth.cl.cs.okayama-u.ac.jp/) .表 7 上位 10 件の概念フレーム

 & 7748 \\

表 7 内の頻度を見ると特徵的であることがわかる．本文でも述べたようにコピュラが他の述語の概念と比較して突出して大きいことがわかる.一方で，「着点への移動」から「伝達」まで大きく頻度に差が見られない.これは資料をみると人やものの移動 (「行く」「来る」「帰る」)という表現が青空文庫だけでなくニュー スにも見られており，記述する内容として取り上げられることがわかる．また「生成」もどうようになにか発生したり，作るといった表現がどのジャンルにも表現している.こうした表現が単なる存在 (529) よりも文書で表現されることが多いことがわかる。


# ブロック形式を利用したパターンマッチシステムの構築

竹内孔 孔 ${ }^{1}$ 小笠原 崇 $^{2}$ 岡田魁人 2 今田将也 ${ }^{3}$
1 岡山大学学術研究院 ${ }^{2}$ 岡山大学大学院 3 岡山大学工学部
takeuc-k@okayama-u.ac.jp

## 概要

外国語など言語を学習する際に表現を検索する場合や, 大規模な意見テキストから不満点や問題点などを分析するテキストマイニングでは , 必要に応じて樣々なパターンの表現を抽出する必要がある. 光こで本研究では, 情報抽出や言語の学習で必要なパターンの構築に注目して，ユーザか揤時に必要なパターンを作成・編集し，試して共有できる環境を構築することを目標とする．本稿では既存のパターンマッチの事例をとりあげ，光れらを包含できるマッチングシステムとしてブロック形式の可能性について議論する.さらに，Prolog 形式のパターンマッチについてブロック形式によるパターンを作成・編集する機構をもつシステムを試作したので報告する．

## 1 はじめに

テキストもしくは構造化したテキストから必要な情報をパターンを利用して取り出したいことがある. 例えば，英語の構文で as〜as one can の表現を取り出して事例を確認したい場合 [1]など, 文字列のマッチだけでは不要な事例を取り出しすぎてしまう. 近年, 自然言語処理では深層学習が樣々な手法に取り入れられて大きな成果を挙げているが (例えば [2]), 基本的には取り出したいデータに対して正解データを用意して学習する必要があるため, 一時的に必要になった言語表現を獲得する分類器を機械学習で作成するのは難しいと考えられる．通常，言語表現の獲得ではコンコーダンサが開発されており，こうしたものを正規表現を中心としたパターンマッチで処理するシステムが提案されている.また NLP では構文解析ツールや構文木ベースのデータ1)が構築されているため構文木に対する検索ツールも展開されている [7] . さらに質問応答という応用処理の観点からテキストに対して，係り受け解析などの情報を付与したデータに対してパターンを適用して必要な情報を獲得する情報抽出が Prolog 形式を利用して構築されている [8].

一方で, これらの先行研究ではパターンによる事例を獲得したいユーザが乥れジれシステムを作成することが前提となっているがこうした個別のシステム (プログラム) で作成されているパターンは例え同じ内容のものを検索するパターンでも共有することができず，似たような表現検索パターンを作成していたとしても何度も個人が繰り返して作成して再利用されていないと考えられる．しかしながらテキストから事例が欲しいユーザにとって，プログラムではなく,編集可能(つまり制御可能)なパターンと自身の持つテキストを投入して結果が得られれば良く，多大な時間を必要とするシステム構築は必須ではないと考えられる．この問題点を整理すると下記のように集約できる

1. あらかじめ取り出したい言語表現は想定できない

2. テキストの表層文字列だけではなく文法やタグなど NLPツールを利用した検索ツールが必要

3. 基本のパターンを処理する言語処理システムを組むのは容易ではない

4. システムが違うためパターンは共有できない

5. 既存のパターンを変更したり組合わせることが現状では容易ではない

この問題に対して本研究ではユーザがパター

1) 例えば Penn Treebank[3] や PropBank[4], Hinoki[5], NPCMJ[6] など.

ンを作成してテキストに対して検索結果を得られるだけでなく，他人が作成したパターンを編集して再利用可能な環境の構築を目指す. 本論文では様々なパターンを受け入れられる枠組としてブロック形式のパターンが可能性があることを議論し，具体的な事例として Prolog 形式のパターンマッチ編集再利用環境を試作したので報告する。

## 2 組合わせを実現する抽象的な パターンマッチ言語の検討

現在，樣々な検索意図に基づいて樣々なツ一ル上で作成されているパターンを包含するようなパターンマッチ言語はどのような形式が可能であるかを議論する．

全ての言語検索の状況を考慮するのは難しいが，少なくとも前節でとりあげた (1) 言語分析などで利用するコンコーダンサ , (2) 構文木構造テキストに対する情報抽出, (3) 質問応答における情報抽出の 3 つの場合について具体的に例をあげて考察する．次にこの議論を踏まえてブロック形式のパターンマッチシステムの可能性について記述する。

## 2.1 既存のパターンマッチング

例 1) 言語分析などで利用するコンコーダンサ例えば1 節で示したように as X as Y can の事例をテキストから抽出したいとする．事例として下記のようなものが考えられる [1] .

as fast as he could, as much as he could, as well as he could, as loudly as she could, as many stones as he could, as many reapers as I can hire 言語分析では事例が漏れない (recall を高くする)ことが重要であるため正規表現をフラットに適用したパターンマッチシステムが利用される. as と as の間の単語) を具体的に指定するよりも単語数に応じて skip してマッチするような構造が必要である。

この必要性に対して例えば Sketchengine における Corpus Query Language (CQL) ${ }^{3)}$ では正規表現だけでなく単語の skip 数などが指定できる検索言語を用意している．また日本語では茶器 [9] が形態素解析や係り受け解析のタグを利用

してフラットなパターンマッチ4)を適用することで何語か離れた語に対して指定したパターンを適用した検索が可能である．

よってまとめるとコンコーダンサでは正規表現ベースで十分であるが単語の skip などを受け付けるパターンマッチ言語が必要であると考えられる。

例 2) 構文木構造テキストに対する情報抽出

1 節で述べたように Penn Treebank をはじめ構文木構造のテキストコーパスがあることから構文木に対して必要な部分を取り出すパターン検索言語が提案されている。例えば tregex[7]では括弧形式の構文木 ${ }^{5}$ にに対して必要な情報を取り出すことが出来る. ユーザは構文木の非終端記号や入れ子構造の各要素間に対する制約を指定することで必要とする情報を取り出す . 例えば，単語だけを取り出す検索式は_!_—であり，これに on の前置詞を持つ VP の支配下での主辞の動詞を取り出すパターンは (_!__)»\# $(\mathrm{VP}<(\mathrm{PP} \ll \# \mathrm{on}))$ のように追加した形式となる．近年では tregex を考慮してさらに発展した構文木処理ツール StruAP[10] も提案されている.

入れ子構造に対するデータの処理は言語だけで無く情報処理で利用されることから検索言語が提案されている.XML 形式であれば XPath ${ }^{6)}$ があり，利用する場合は PythonBeautiful Soup ライブラリでXPath を利用できる．

XPath の事例は省略するがパターン編集の追加性を考えると入れ子構造を扱うことから単純な構造の追加で無く取り出す目標に対してパターンを大きく書き換える必要があることがわかる (上記の—!_—に対して，制約を加える際，全体を()で括る必要がある点).

例 3) 質問応答における情報抽出の例質問応答システム Watson における質問文解析では文献 [8] が示すようにテキストは内部的に構文情報など与えられた後，Prolog による関係データベース化を行い様々な必要となる要素を複数のタグを利用して取り出して

4) ここでフラットと述べているの検索途中の内容を変数などに保存してさらに検索する再帰的な検索をイメージしている. 形式言語におけるスタック付きの文法をイメージしている。

5) 例えば (PP-SBJ (NP (PRO ぞれ))(P-OPTR は)) のような形式 .

6) https://ja.wikipedia.org/wiki/XML_Path_Language 2022/1/12 アクセス

いる. 例えば He published Songs of a Sourdough. という文は lemma や POS など述語化 (例えば lemma(1, “he")) したあと, authorOf(A,C):createV(Vb),subj(Vb,A),obj(Vb,C). などの Prolog 述語で createV(生成する動詞) の主語である著者 (Author)，と目的語の作品名 (Composition)を取り出す7) . Prolog 形式の特徵は検索結果が大文字の A C といった変数に入ることであるこの A や C の変数に対して，さらに制約を与えたい場合は，論理積で追加することが可能である．一方，例 1 の場合と異なり，テキストの単語列に対して 2 単語後など位置を指定してパターンを適用するのは簡単ではないと考えられる.

よって情報抽出における例では Prolog 形式のパターン言語の場合は追加編集は容易である一方で，コンコーダンサなどで利用されている正規表現や単語の skip する構造は明示的に書くのは難しいと考えられる．

## 2.2 ブロックベースのパターン構想

前節にあげた複数の検索タスクを可能な限り包含するパターンマッチシステムを考察する.まず例 3 に注目すると検索した内容を変数として取り出して再利用可能な点が特徵的である. Prolog の場合ならば述語を 1 つのブロックとして検索されたものを変数として1つのパターンを作成するとする．前節の例では authorOf(A,C) であるが，さらに著者について Heなどの代名詞ではなく固有名詞が必要な場合はさらに authorOf(A,C) の A に対してさらなる制約を論理積として実現することができる．

しかし Prolog に基づいた規則を守ると例 1 にあるような $\mathrm{n}$ 単語後の語など指定した条件で単語を読み飛ばす機構は容易に書くことはできない．しかし Prolog に限定しなげればプログラムの正規表現は利用可能である．例えば Prolog で検索した結果に対して，常に光の変数の結果を含む文も取り出すとすると，文に対して $\mathrm{n}$ 単語後という制約を加えて対応する語を取り出すことは可能である.よって Prolog だけでは無く，ある検索クエリを持つブロックを仮定して, 入力と取り出したい目的出力とマッチ

7） テキストは解析されて subjや obj タグならびに createV の動詞集合などは与えられているとする．
した文の出力を仮定すれば例 1 における検索要求はブロックの組合わせで満たすのではないだろうか.

## 検索ブロック $(\mathrm{Q, \mathrm{I}, \mathrm{Oa}, \mathrm{Os})$}

$=\mathrm{Q}:$ 検索クエリ, $\mathrm{I}:$ 検索対象の入力, Oa:出力引数,Os:マッチ要素を含む文

このブロックの論理積や論理和などを記述することで Prolog でも正規表現も両方検索する． ここで検索クエリは当然，Prolog と正規表現では処理方法が違うため検索ブロックに種類を仮定する必要がある．また正規表現でも $\mathrm{n}$ 単語読み飛ばすものと，文字列に対する正規パターンとは扱いが異なる．光うしたものも別ブロックとして用意しておく.

また，Prolog 形式では authorOf(A,C) の検索でヒットした A $\mathrm{C}$ はマッチした文の要素番号の集合が入るが，番号では正規表現パター ンマッチは適用できない.つねに文の要素の span 情報の集合を検索結果としておくことで，正規表現適用の際には内部的に文字列に戻すことでテキスト (タグ付きテキストも含めて)の検索が可能であると考えられる．この spanによるデータの構造化は既に IBM の Watson で利用された UIMA と同じ方向である [11] .

こうした抽象化した検索ブロックを仮定すると例 2 も同樣である . tregex などで検索にマッチした結果は必ずテキストの集合として獲得できる. 光こで炎の出力集合に対してより制約をかける場合には他の検索ブロックとの論理積で実現できるたただし，構文木ベースのパターンマッチ間の組み替えなどは難しい．先の例にも挙げたように，tregex の編集は全体の構造を変える必要があることが多く，単に文字列結合などでは実現できないことが多い (2.1 節参照) よって構文木光のもののパターンを書き換えることは仮定せず，樣々なパターンをあらかじめ用意しておき，独立に論理積で利用して制約する.

このように検索ブロックを仮定して抽象化すると, 品詞や単語といった従来の文法ベースに特化しない検索の組合せが可能となる．例えば入力文の参照情報を取り出す分類器を深層学習で作成できたとする．この分類器を検索ブロッ

図 1 ブロックベースのパターンマッチシステム

クとして設定しておくと利用することが可能になる. 具体的には上述の Prolog の例における authorOf(A,C)のXに対して著者 A が代名詞で合った場合に固有表現を探すブロックに適用して A に対する固有表現 $\mathrm{P}$ を取り出すことが可能になる．

よって抽象的な組合わせ可能な検索ブロックを仮定することで Prolog や正規表現 ，および分類器まで含めた検索が構築できるのではないと考えられる.ユーザは抽象ブロックの操作のみに集中して意図する情報がとれるかどうかを編集しながら検討することに集中できる．

## 3 Prolog ベースのパターンマッ チシステム

上記の背景議論を基にパターンマッチシステムを試作した . 現段階では Prolog の述語の単位を 1 つの検索ブロックとして仮定している．下記の構築を通して実際にパターンマッチを実行する上での問題点について考察する．

テキストの解析として係り受け解析は CaboChaを利用して意味役割と概念フレーム付与は ASA を利用している8). テキストは文献 [12] のように prolog の述語として関係付けされる.ブロックの組合わせを実現するために blockly を利用した Javascript によるブラウザベースの編集実行環境を構築した [13] . 図 1 にシステムの操作画面を示す . Blokly におけるブロックの引数部分が Prolog の引数として機能している.ユーザは基本ブロックを組合わせる

8) https://github.com/Takeuchi-Lab-LM/python_asa
ことでパターンを作ることができる. 基本ブロックとして chunkや role が設定されている．画面下部にはブロックから Prolog の検索クエリに変換した結果が表示されている。

テキストを取り込んだ後にこのパターンを適用することで検索結果が表示される. 現在は 1000 文を取り込むために 1 分程度時間がかかっている . Prolog ベースのパターンマッチは Python で実装しているが 1000 文程度では検索そのものには時間はほとんどかかっていない. しかしながら大規模なテキストになった場合， テキストの upload 時の解析と検索に大きく時間がかかることが想定される。

## 4 おわりに

本研究ではパターンマッチシステムに焦点をあてて，既存のコンコーダンサや情報抽出システムで使われているパターンを取り扱う抽象的なパターンの構築と利用について議論した。考察の結果ブロック形式でまとめることで多くのパターンを包含できることが予測される． この考えを具現化する試作モデルとして Prolog ベースの検索システムを構築した .

試作システムは簡易であるがパターンを保存して読み込み，編集して保存することが可能である.こうした機能を拡充することにより，作成したパターンを共有してユーザが多くのパターンを手軽に利用できる環境を構築することが目標である .

## 謝辞

本研究は JSPS 科研費 (課題番号 19K00552) と (課題番号 $15 \mathrm{H} 03210$ ) および国立国語研究所機関拠点型基幹研究プロジェクト「統語・意味解析コーパスの開発と言語研究」の助成を受けたものである .

## 参考文献

[1] 大名力. 言語研究のための正規表現によるコー パス検索. ひつじ書房, 2012

[2] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding, 2018.

[3] Mitchell P. Marcus, Beatrice Santorini, and Mary Ann Marcinkiewicz. Building a large annotated corpus of English: The Penn Treebank. Computational Linguistics, Vol. 19, No. 2, pp. 313-330, 1993.

[4] Paul Kingsbury, Martha Palmer, and Mitch Marcus. Adding semantic annotation to the penn treebank. In Proceedings of the Human Language Technology Conference, 2002

[5] Sanae Fujita, Takaaki Tanaka, Fransis Bond, and Hiromi Nakaiwa. An implemented description of japanese: The lexeed dictionary and the hinoki treebank. In Proceedings of the COLING/ACL06 Interactive Presentation Sessions, pp. 65-68, 2006.

[6] Stephen Wright Horn, Iku Nagasaki, Alastair Butler, and Kei Yoshimoto. Annotation Manual for the NPCMJ. National Institute of Japanese Language and Linguistics, 2019.

[7] Roger Levy and Galen Andrew. Tregex and tsurgeon: tools for querying and manipulating tree data structures. In Proceedings of the th International Conference on Language Resources and Evaluation (LREC 2006), pp. 2231-2234, 2006.

[8] A. Lally, J. M. Prager, M. C. McCord, B. K. Boguraev, S. Patwardhan, J. Fan, P. Fodor, and J. ChuCarroll. Question analysis: How Watson reads a clue. IBM Journal Research and Development, Vol. 56, No. 3/4, pp. 2:1-2:14, 2012.

[9] 松本裕治, 浅原正幸, 岩立将和, 森田敏生. 形態素・係り受け解析済みコーパス管理・検索ツー ル「茶器」. 情報処理学会研究報告. 自然言語処理研究会報告, Vol. 2010, No. 18, pp. 1-6, Nov 2010.

[10] Kohsuke Yanai, Misa Sato, Toshihiko Yanase, Kenzo Kurotsuchi, Yuta Koreeda, and Yoshiki Niwa. Struap: A tool for bundling linguistic trees through structure-based abstract pattern. In Proceedings of the 2017 EMNLP System Demonstrations, pp. 3136, 2017.

[11] David Ferrucci and Adam Lally. Uima:an architectural approach to unstructured information process- ing in the corporate research environment. Natural Language Engineering 10, Vol. 10, No. 3/4, pp. $327-$ 348, 2004

[12] 小笠原崇, 竹内孔一. 意味役割付与テキストに対する prolog ベースの探索木による言語パタンマッチシステム構築. 言語処理学会第 27 回年次大会発表論文集, 2021.

[13] 岡田魁人, 竹内孔一. Blockly を利用したタグ付きコーパス検索パタン構築ツール. 言語処理学会第 27 回年次大会発表論文集, 2021.


# 極小主義に基づく並列ツリーバンクの構築

野元 裕樹
東京外国語大学
nomoto@tufs.ac.jp

## 概要

本研究では, TUFS Asian Language Parallel Corpus のマレー語とインドネシア語のデータに対して極小主義統語論に基づく構成素構造の統語アノテー ションを行い，並列ツリーバンクを構築した。それぞれ 1,386 文，1,385 文から成る．極小主義に基づくアノテーションは Penn Treebank 式句構造文法よりも詳細で，言語の性質を正確に捉えられる．特徴としては，厳格な二分股枝分かれ，内心構造の明示的表示，無形要素の多用，述語項構造の句構造への直接的反映，項と付加詞の明確な区別が挙げられる.

## 1 はじめに

一連の文に対して統語的アノテーションを付したツリーバンクは，単一の語やその周辺の数語だけからでは不可能な言語の特徴の把握を可能にするため，自然言語処理や言語学にとって重要な言語資源である。しかし，形態情報などのアノテー ションに比べ，統語構造のアノテーションは難しいため, 本格的なツリーバンクが存在する言語は限られている. 本研究では, 筆者らが構築したマレー語とインドネシア語のツリーバンクについて論じる1).このツリーバンクは, TUFS Asian Language Parallel Corpus (TALPCo) [1] の両言語のデータに構成素構造のアノテーションを行ったものである. その結果，並列ツリーバンクとなっている．また，アノテーションの基礎となる文法理論として極小主義 (minimalism) の枠組み [2]を採用した. 極小主義は，四半世紀以上に渡り，マレー語・インドネシア語を含む多くの言語の言語学的研究で最も広く採用されている，構成素構造を中核とする統語理論である [3].

1）マレー語 (ISO 639-3: zsm) とインドネシア語 (ISO 639-3: ind) は，広義のマレー語 (ISO 639-3: msa) の 2 つの地域変種である. 前者はマレーシア，シンガポール，ブルネイの公用語であり，後者はインドネシアの公用語である. 両者の違いは語彙や音韻が中心だが，文法においても細かな違いが存在する.

## 2 関連研究

筆者の知る限り，マレー語のツリーバンクは存在しない.インドネシア語には少なくとも 5 つのツリーバンクが存在する。まず，Penn Treebank（以下， PTB）式句構造文法 $[4,5]$ に依拠するものとして， Kethu: An Indonesian Constituency Treebank in the Penn Treebank Format [6] がある.このツリーバンクは Indonesian Treebank [7] の改訂版で，1,030 文のニュー ス文から成る。次に，主辞駆動句構造文法 (HPSG) に依拠するものとして，JATI [8] と Cendana [9] がある. 前者は 1,253 の辞書の定義文（ほぼすべて名詞句), 後者は旅行会社のオペレーターと顧客のチャッ卜 715 文から成る. 4 つ目は，Universal Dependencies $[10,11,12]$ で，規模が最も大きい. フォーマルな会話 (GSD; 5,598 文), ニュース・Wikipedia (PUD; 1,000 文), ニュース (CSUI; Kethu からの変換 1,030 文) から成る. 最後に, 語彙機能文法 (LFG) に基づく ParGram Parallel Treebank (ParGramBank) [13] があるが，かなり小さい（79文）.

## 3 TALPCo ツリーバンクの概要

本研究では，極小主義の枠組みに従い，TALPCo のデータに構成素構造のアノテーションを付与したが，このデータを便宜的に「TALPCo ツリーバンク」 と呼ぶことにする. TALPCo ツリーバンクは，マレー語 1,386 文，インドネシア語 1,385 文から成る.

TALPCo のデータは，日本語文からの翻訳文である. 日本語文は，日本語能力試験 N5 レべルの基礎語彙の学習のための例文で，フォーマルな会話で用いられる比較的短いものである（例：「帰る電車がなかったので，友達の家に泊まりました.」)．翻訳文も同様にフォーマルな口語体の文となっている。

アノテーションは筆者と東京外国語大学言語文化学部の学部生 4 名の計 5 名で行った. この学生達は，マレー語またはインドネシア語を専攻言語として学び，いずれも統語論の授業を履修済みである.
学生が行ったアノテーションはすべて筆者が確認・修正を行った. 作業開始前に筆者が基本的な構文をカバーしたアノテーションマニュアル（執筆言語は日本語）を作成した. マニュアルは随時更新し, 2022 年 1 月時点で 109 ページに及ぶ. このマニュアルは，Indonesian Treebank の手引き（54 ページ，執筆言語はインドネシア語 $\left.)^{2}\right)$ よりも充実している.

アノテーションのツールとして Syntax Tree Generator) を用いた. このツールでは，ラベル付き括弧表示を入力すると構文木が表示される（図 1）.図の上部のボックスにあるようなラベル付き括弧表示を作成し, アノテーション結果として表計算ファイルに貼り付けていった. すべての結果を TALPCo のホームページ4)で公開する予定である.

## Syntax Tree Generator

[S [CP [C *C_decl $\left.{ }^{*}\right]$ [TP [DP_a [NP [N Beg]][D ini]] [T' [T $\left.{ }^{*} T^{*}\right]$ [AP $\left[D^{*}{ }^{*}<a>\right.$ ] [A mahal]]]]] [PU .]]

(C) 2011 by Miles Shang, see license.

## Options

Help

図 1 アノテーションの際に用いた Syntax Tree Generator

極小主義に基づく構文木は他の文法理論に比べて大きくなる. 図 1 は，Beg ini mahal.（このかばんは高かったです）というマレー語文の統語構造を示したもで，非終端節点は 14 ある. Indonesian Treebank の手引きに従って，PTB 式に同じ文を分析すると図 2 のようになり，非終端節点の数は半分の 7 となる. 表 1 は TALPCo ツリーバンクの非終端節点の数をまとめたものである. 参考のために Kethu の情報も加えた. PTB 式のアノテーションにもかかわらず，Kethu の数值が大きくなるのは，平均文長が

2) https://github.com/famrashel/idn-treebank/blob/ master/BracketingGuidelines.pdf

3) http://mshang.ca/syntree/

4) https://github.com/matbahasa/TALPCo
TALPCo よりもはるかに長いためである.

図 2 図 1 と同じ文を Penn Treebank 式に分析した構文木

表 1 TALPCo ツリーバンクと Kethu の非終端節点の数

## 4 アノテーションの特徴

本節では，TALPCoツリーバンクのアノテーションの枠組みの特徴について論じる. その際，必要に応じて PTB 式との違いも指摘する. アノテーションにおいては，できる限り言語学における標準的分析を反映するようにした。しかし同時に，不必要に細部にこだわり過ぎないようにもした。これは，アノテーション作業を十分遂行可能なものにするためと, 結果として得られるアノテーションが過度に複雑にならないようにするためである.このような実際的な妥協により, 本来なら可能な分析が不可能になることもあった．その場合は，統語範疇に-PostV （vP 指定部が例外的に右側に出る）のようなフラグを付すなどして対応した。

## 4.1 二分肢枝分かれ

句構造の枝分かれは二分肢のみを原則とする.ただし，文末以外の句読点 (XP, YP; “XP.”) は例外として三分肢以上を認める。これは文法ではなく，正書法上の理由から生じる例外である.

二分肢枝分かれの原則は，極小主義における句構造生成のメカニズムである併合 (Merge) が 2 つの統語的構成物に対する操作であることによる。一方， PTB 式句構造文法では枝分かれ数に制限が存在しない. 実際に Kethu では四分肢や五分肢の枝分かれ構造が見られる。そのようなアノテーションは容易だろうが，構成素構造を誤って表示しているため，アノテーションのためのアノテーションでしかない.

## 4.2 内心構造

自然言語の句構造は通常，内心構造を示す.すなわち，XP は内部に必ず主要部／主辞 Xを持つ. アノテーションではこのことが明示的に分かるようにする. ただし，アノテーション対象全体に対して付す $\mathrm{S}$ は例外である。この例外は，二分肢枝分かれの原則を守りつつ句読点をアノテーションに含めるために生じるもので，やはり正書法上の理由による.

PTB 式アノテーションでは自然言語の重要な特性である内心構造が不明瞭になることが多い。例えば，JJ（形容詞）が ADJP（形容詞句）の主要部であることはタグの形式だけからは分からない（図 2).

## 4.3 無形要素

実際には発音されない無形要素を多用する。無形要素は極小主義の統語分析から来るものと, 統語構造を基に行われる意味解釈を無理なく行うために仮定したものがある．例えば，後者の一つである無形の前置詞*selama*は名詞句 satu jam（一時間）を前置詞句（英 for an hour）として解釈できるようにする.

1. 統語分析に基づく無形要素

(a) 空代名詞 : *PRO*, * $\mathrm{pro}^{*}$ (b) 空演算子 : *Op*

(c) 痕跡：*t* (d) いわゆる Ø: *C*, *C_cont*, *C_decl*, *C_excl*, *C_imp*, *C_int*, *Top*, *Foc*, *T*, *v_tr*, *v_act*, *v_pass*, *v_intr*, *v_unerg*, *v_unacc*, *v_cop*, *v_eq*, *Appl*, *D*, *D_def*, *D_indef*, *exp* , *Poss* , *Num*, *PL* ${ }^{*} \mathrm{~N}$,, *_nnmlz*, *Conj*

2. 意味解釈のための無形要素 *ada*, *atau*, *dan*, *dari*, *dengan*, *di*, *hari*, *kalau*, *ke*, *pada*, *per*, *sebanyak*, *selama*, *untuk*, *yang*, *0*

## 4.4 移動（内的併合）

極小主義に基づく統語分析では，句構造は併合の操作により, ボトムアップで派生される. すでに構造上に存在する要素を再び併合することも可能で (内的併合)，その場合，要素が「移動」する．移動元の要素をく> で示すと以下のようになる.

$
\operatorname{Merge}(\gamma,\{\alpha,\{\beta, \gamma\}\}) \rightarrow\{\gamma,\{\alpha,\{\beta,<\gamma>\}\}\}
$

<> 内の要素は, 移動の痕跡 (trace) と呼ばれ, 発音はされない. TALPCoツリーバンクでは痕跡は*t*で示し，対応する要素に添え字を付ける (図 1 参照).後者はアノテーションツールの仕様によるものである. 移動の考えは PTB 式でも疑問詞疑問文や受動文などで採用されている. TALPCo ツリーバンクではさらに多くの移動を取り扱う. 特に重要なのが述語内主語仮説の採用に伴う主語の移動である.

述語内主語仮説とは，ある述語の項はすべてその述語が投射する句の中に生起するという仮説である.これにより, 句構造から述語項構造を読み取ることが可能になる。例えば，図 1 では，形容詞 mahal（高価な）の投射する句 AP の中に DP の痕跡が存在し, mahal は DP 項を一つ要求することが分かる. そして，添え字、により当該項は移動して表層の主語として生起することが分かる。 また，主語は TP 指定部という構造上の位置として定義できるため，PTB 式アノテーションの-SBJのような特別なフラグで主語にアノテーションをする必要はない.

さらに，述語内主語仮説によりマレー語・インドネシア語などに特有の裸受動構文 [14] がうまく分析できる. 図 3 は, Gambar itu saya ambil pada bulan lepas（あの写真は先月撮りました）というマレー語の裸受動文の構造を示したものである．被動作主 gambar itu（あの写真）は日英語の受動文と同様に表層の主語の位置に移動するが，動作主 saya（私）は日英語のように付加詞 PP となはならず，名詞句の形で基底の位置にとどまる。

図 3 裸受動文の構造

## 4.5 項と付加詞の区別

述語内主語仮説により，述語の項はその述語が投射する句の中に生起する。一方，付加詞はその外側に位置し，同じ句ラベルを繰り返す。この違いにより述語の項と付加詞の区別が句構造から読み取れる. 例えば，図 3 では，動詞 ambil（撮る）の項である動作主 saya（私）と被動者 gambar itu（あの写真） （の痕跡）は動詞句 $\mathrm{vP}$ 内に位置する。一方，付加詞
pada bulan lepas（先月に）はその vP の外側に現れる. PTB 式だと, すべて VP の直下に現れて, 項と付加詞の区別は付かない $\left(\right.$ 図 4) ${ }^{5}$ ).

図 4 図 3 と同じ文を Penn Treebank 式に分析した構文木 （紙幅の都合上 bulan lepas の内部構造は省略）

## 4.6 トークン化と POS タグ

マレー語・インドネシア語のトークン化では普通，語と接語の分割を行うが，極小主義統語論に基づく TALPCo ツリーバンクではより小さな単位へのトークン化が必要になる. 具体的には, 以下の接辞が新たにトークン化の対象となる。

1. 態を表す接辞: meN-(能動態), di-(受動態), -kan (受益者適用態)，-i (場所適用態)

2. 名詞句に付いて「〜を持つ，伴う」の意味を持つ動詞接頭辞 ber-

併合は 2 つの統語的構成物を対象とするため,極小主義の句構造には非枝分かれ節点は本来的に生じない. つまり，[XP $[\mathrm{X} \alpha]]$ はあり得ず，それは $[\mathrm{XP} \alpha]$ となる. そのような句構造を裸句構造 (bare phrase structure) という. しかし， TALPCo ツリーバンクでは裸句構造は採用せず，終端節点すなわち構文木の葉の部分は必ず XP でなくX の形になるようにした. これは葉の部分から簡単に POS タグの情報を得られるようにするという言語資源としての有用性を考慮してのことである. TALPCo ツリーバンクに用いられている POS タグを表 2 にまとめる.

## 5 おわりに

TALPCo ツリーバンクは，マレー語では初のツリーバンクであり，インドネシア語では既存の構成素構造に基づくツリーバンクと肩を並べるものと言える. アノテーションの形式は基本的に PTB と同

表 2 TALPCoツリーバンクにおける POS タグの分布

じであるため，[ ] を ( ) に変換することで Tregex[15] などの PTB 式句構造文法に従ったツリーバンク用に開発されたツールを利用できる。言語分析は極小主義統語論に基づいており，PTB 式句構造文法よりも言語の性質をうまく捉えることができている。そのため，言語学の研究や教育においての利用が期待できる。一方，自然言語処理の分野では PTB 式句構造文法や依存文法が主流であり, 英語の大規模言語資源が登場した段階で分野全体の言語分析が固定化する傾向が強いため, マレー語・インドネシア語の自然言語処理で TALPCo ツリーバンクが直接利用されることは考えにくい。そこで，PTB 式や組合せ範疇文法 $(\mathrm{CCG})$ への変換を通しての利用が考えられる. 二分股枝分かれを基本とし，意味解釈を考慮に入れている TALPCo ツリーバンクは CCG との相性がよいと言えよう.

TALPCo ツリーバンクはサイズは決して大きくないものの，より大規模なツリーバンクの構築への足掛かりとなる。極小主義は言語学の統語論で最も広く採用されている理論であり，統語論の授業を履修した学部上級生から大学院生であれば，アノテー ションガイドを参照しつつアノテーション作業を行うことができる. さらに，今後アノテーションマニュアルを翻訳することで，母語話者によるアノテーションにもつなげたい.

TALPCo には他に日本語, 朝鮮語, タイ語, ベトナム語，ビルマ語，英語が含まれる。これらの言語についても同様のアノテーションを付すことで，より有益な並列ツリーバンクが構築できる。すでに英語のデータの一部についてアノテーションを行った.

## 謝辞

本研究は JSPS 科研費 JP18K00568 および JP20H01255 の助成を受けた。

## 参考文献

[1] Hiroki Nomoto, Kenji Okano, David Moeljadi, and Hideo Sawada. TUFS Asian Language Parallel Corpus (TALPCo). In Proceedings of the Twenty-Fourth Annual Meeting of the Association for Natural Language Processing, pp. 436-439, 2018.

[2] Noam Chomsky. The Minimalist Program. MIT Press, Cambridge, MA, 1995.

[3] Andrew Carnie. Syntax: A Generative Introduction. Wiley-Blackwell, Oxford, 4th edition, 2021.

[4] Mitchell Marcus, Grace Kim, Mary Ann Marcinkiewicz, Robert MacIntyre, Ann Bies, Mark Ferguson, Karen Katz, and Britta Schasberger. The Penn Treebank: Annotating predicate argument structure. In Proceedings of the Workshop on Human Language Technology, pp. 114119, 1994.

[5] Ann Bies, Mark Ferguson, Karen Katz, Robert MacIntyre, Victoria Tredinnick, Grace Kim, Mary Marcinkiewicz, and Britta Schasberger. Bracketing guidelines for Treebank II style Penn Treebank project, 1995.

[6] Jessica Naraiswari Arwidarasti, Ika Alfina, and Adila Alfa Krisnadhi. Converting an Indonesian constituency treebank to the Penn Treebank format. In 2019 International Conference on Asian Language Processing (IALP), pp. 331-336, 2019.

[7] Arawinda Dinakaramani, Fam Rashel, Andry Luthfi, and Ruli Manurung. Designing an Indonesian part of speech tagset and manually tagged Indonesian corpus. In The Proceedings of the International Conference on Asian Language Processing 2014, IALP 2014, pp. 66-69, 2014.

[8] David Moeljadi. An Indonesian Resource Grammar (INDRA) and Its Application to a Treebank (JATI). PhD thesis, Nanyang Technological University, 2017.

[9] David Moeljadi. Building Cendana: A treebank for informal Indonesian. In Proceedings of 33rd Pacific Asia Conference on Language, Information and Computation (PACLIC 33), pp. 156-164, 2019.

[10] Ryan McDonald, Joakim Nivre, Yvonne QuirmbachBrundage, Yoav Goldberg, Dipanjan Das, Kuzman Ganchev, Keith Hall, Slav Petrov, Hao Zhang, Oscar Tackstrom, Claudia Bedini, Nuria Bertomeu Castello, and Jungmee Lee. Universal Dependency annotation for multilingual parsing. In Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics, pp. 92-97, 2013.

[11] Ika Alfina, Arawinda Dinakaramani, Mohamad Ivan Fanany, and Heru Suhartanto. A gold standard dependency treebank for Indonesian. In Proceedings of 33rd Pacific Asia Conference on Language, Information and Computation (PACLIC 33), pp. 1-9, 2019.

[12] Ika Alfina, Indra Budi, and Heru Suhartanto. Tree rotations for dependency trees: Converting the head-directionality of noun phrases. Journal of Computer Science, Vol. 16, No. 11, pp. 1585-1597, 2020.

[13] Sebastian Sulger, Miriam Butt, Tracy Holloway King, Paul Meurer, Tibor Laczkó, Gyöorgy Rákosi, Cheikh Bamba Dione, Helge Dyvik, Victoria Rosen, Koenraad De Smedt, Agnieszka Patejuk, Özlem Çetinoğlu, I Wayan Arka, and Meladel Mistica. ParGramBank: The ParGram parallel treebank. In Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics, pp. 550-560, 2013.

[14] Hiroki Nomoto. Bare passive agent hierarchy. In Henrison Hsieh and Keely New, editors, Proceedings of the Twenty-Seventh Meeting of the Austronesian Formal Linguistics Association, pp. 57-70, Ontario, 2021. University of Western Ontario.

[15] Roger Levy and Galen Andrew. Tregex and Tsurgeon: Tools for querying and manipulating tree data structures. In 5th International Conference on Language Resources and Evaluation (LREC 2006), 2006.


# 規範的な日本語日常対話コーパスの設計

赤間怜奈 1,2 磯部順子 2,1 鈴木潤 1,2 乾健太郎 1,2
1 東北大学 2 理化学研究所
\{akama, jun.suzuki, inui\}@tohoku.ac.jp, yoriko.isobe@riken.jp

## 概要

規範的な日本語表現で構成される日本語日常対話コーパスの開発に取り組んでいる。本稿では，コー パスの概要とその構築方法を紹介する．実際に本コーパスの一部として収集した小規模対話データの特性を，複数の観点から既存の対話コーパスと比較分析し，その結果を報告する。

## 1 はじめに

対話システムの性能についての議論は，一般論として，人間の主観的な「良さ」に基づいておこなわれる。近年は，複数システムの出力応答について 「どちらが良いか」を人間が比較評価し，その勝敗によって性能を議論する枠組みがひとつの主流となっている．昨今の対話システムは出力内容に着目した総合的な主観評価の上では着実に性能が改善されているが $[1,2,3]$, その一方で, その性能改善の要因や依然として残る技術的な課題についてはほとんどわかっていない状況といえる。この要因のひとつとして，そもそも対話は言語の表現の自由度が非常に高いものであるために（基本語彙以外の語句の出現や，基本語順からの逸脱も頻繁に起こる），一定の基準や特定の正解を軸にしたエラー分析が困難となっていることが考えられる。

そこで我々は，基本語彙や正しい語順の使用を可能な限り優先した規範的な言語表現で構成される新たな対話コーパスとして，日本語日常対話 （Japanese Daily-Dialogue; JDD）コーパスの開発に

際の対話データ（たとえば，音声対話の書き起こしやSNS）が持つ人間のリアルな言語活動の表出という特長が失われているが，その分，ある種形式的で簡潔な問題設定となっているため，対話を対象とし

1）完成した日本語日常対話コーパスは，主に研究用途として公開することを予定している。表 1 作成した対話データの例（トピック「旅行」）

A: 卒業旅行は、イタリアに行こうと思います。

B: それは、楽しそうです。イタリアのどちらに行かれるご予定ですか？

A：ローマとヴェネツィア、フィレンツェです。もう予約してきました。

B: それは、良いですね。私も以前フィレンツェに行ったことがありますが、食事がとても美味しかったことが印象に残っています。

A: はい。フィレンツェは、それが楽しみで行くことにしました。

B：ローマとヴェネツィアも、史跡と美術館巡りがとても楽しいと聞いたことがあります。

A: はい。実は私、大学でイタリア美術を研究していたので、その勉強を兼ねて行くことにしたのです。

B: そうだったのですね。そうしましたら、ますます楽しみですね。

A: はい、ありがとうございます。

た意味的・統語的言語理解の分析はしやすいものになっていると考えられる．また，本コーパスに収録する対話の作成や書式の正規化は，全て人手でおこなわれているため，ノイズが少なく計算機上でも処理がしやすい. 表 1 にコーパス中の対話例を示す.

本稿では，日本語日常対話コーパスの概要を紹介し，その構築手順を説明する。その上で，実際にコーパスの一部として収集した小規模対話データについて，これが望ましい規範的な性質を有していることを複数の観点から確認する。

## 2 日本語日常対話コーパス

## 2.1 概要

日本語日常対話コーパスは，書き言葉を対象に，規範的な対話を収録した言語資源である。ここでいう規範的な対話とは，実際の日常生活で使用するには少しの不自然さがあるものの，道徳的な内容かつ
表 2 作成された対話の統計情報

} \\

正しく丁寧な表現で書き表されている対話のことを指す. 直感的には，初等から中等教育レベルの言語学習用教材で用いられるような対話表現に近い. すべての対話はふたりの話者 $\mathrm{A} ， \mathrm{~B}$ が交互に発話をおこなう形式で，基本的には対話の始まりと終わりが設計されている. ひとつの対話は 4 以上の発話, ひとつの発話は 1 以上の文で構成されている. 各対話には，トピック情報が付加されている. 将来的には，対話単位での難易度，発話単位での発話行為夕グや感情タグ等の付加情報も追加する予定である.

## 2.2 構築手順

日本語日常対話コーパスの構築は，すべての工程を人手でおこなう．構築手順は以下の通りである：

1. コーパスに含める対話のトピックを選定

2. 各トピックに該当する対話を作成

3. 書式（表記摇れ，常用漢字等）を正規化

4. 発話行為タグ等の付加情報をアノテーション

なお，本研究ではひとまず手順 2 までを小規模に実施し，規範的な特性を持った対話データが取得可能であることを確かめる. 本試行で取得する対話データを，日本語日常対話コーパス v0（JDD v0）と呼ぶ. JDD v0 の構築方法の詳細を次節で説明する。

## 2.3 各手順の詳細

手順 1: トピックの選定本コーパスで取り扱うトピックは, 既存の他言語資源と日本語会話に関する既存研究を参考に，基礎的な日本語対話を広く含むように慎重に選定した. 基本的には，近年の対話研究で人気のある英語日常対話コーパス DailyDialog [4] で採用されているトピックを参考にする. ${ }^{2)}$ 一方で, 我々の目的は基礎的な日本語対話が収録されたコーパスを構築することにあるため，選

定するトピックは, 日本の文化的特性によく調和するもの，かつ，高度な専門知識等を必要とせず多くの人にとって容易対話を展開できるものであることが望ましい。そこで，日本語教育学の知見を参考に日本語の会話によく馴染むトピックを優先的に採用することを考える. 本研究では, 山内らによる話題の難易度分類を参考にした [5]. これは，橋本ら [6] が作成した日本語会話の 100 の話題について, 各話題に関連する語に対しての人間の主観的な身近さや会話内での需要に基づき，それらの難易度を 4 つのレベルに分類したものである．たとえば，「財政 (Finance)」は英語では日常会話における一般的な話題のひとつであるが, 山内らの分類によると, 日本語では難易度が高い話題（難易度レベルが上から 2 番目）とされている.これらを参考に，最終的に，日常生活, 学校, 旅行, 健康, 媅楽の 5 つを日本語日常対話コーパスのトピックとして採用した.

手順 2: 対話の作成対話の作成は，日本語を母国語とする 51 名の作業者によっておこなわれた.各トピックにつき $8 \sim 11$ 名が割り当てられ, 作業者 1名がひとつの対話（つまり，話者 A，Bによる一連の発話系列）を作成した. 作業者には, できるだけたくさんの一般的な語彙と多様なモダリティを含んだ 4 発話以上からなる対話を，正しく丁寧な日本語表現で作成するよう指示した. 作業者への教示と，提示した参考資料の詳細を，付録 $\mathrm{A}$ に示す. さらに，対話データ全体の品質を担保するために，作業者が作成したすべての対話について作業者とは別の 5 名による品質チェックがおこなわれた.

## 2.4 JDD v0 の基本統計

上記の手順により, 本研究で収集した対話に関する統計情報を，表 2 に示す.3）統計値の算出に際し, トークン分割には日本語形態素解析機 $\left.\mathrm{MeCab}^{4}\right)$

表 3 各日本語対話コーパスの統計情報と語彙的特長

 & 語彙数 $(V)$ & TTR (\%) & Herdan's C \\

と日本語形態素解析辞書 mecab-ipadic-NEologd 5)を用いた. すべてのトピックでそれぞれ 200 以上，全体で 1,006 の対話が得られた. 発話単位で計数すると，6,432 発話となる. トピック毎の対話の傾向を観察すると， 1 対話あたりの発話長については，旅行トピックが他の 4 つに比べて若干大きい值であった. また，1 発話あたりのトークン長については， トピック間でのばらつきはあまり認められなかった. なお，完成版の日本語日常対話コーパスは，この 2～ 10 倍のデータサイズとする予定である.

## 3 分析: 既存対話データとの比較

## 3.1 設定

比較対象比較対象として，日本語日常対話コー パスと同様，人手で書かれた対話データからなる次の 5 つのコーパスを用いる6):
- Business Scene Dialogue コーパス [7]: ビジネスシーンにおける会議、交渉、雑談などの対話が収録された日英対訳コーパス.
- JPersonaChat [8]: 発話者のペルソナを反映した雑談対話コーパス PersonaChat [9] の日本語版.
- JEmpatheticDialogues [8]: 感情的な状況下での発話とそれに対する共感からなる雑談対話コー パス EmpatheticDialogues [10] の日本語版.
- Opensubtitles [11]: 日本語映画字幕コーパス.隣接する字幕を発話系列と見做すことによって対話コーパスとして利用できる [12].

・Twitter: 日本語のツイートを収集し，リプライチェーンを発話系列と見做すことによって対話コーパスとして利用できる. 本研究では, 長澤らの前処理済み Twitter データのうち 2020 年分のデータのみを用いる [13].

5) https://github.com/neologd/mecab-ipadic-neologd/ 6）音声会話の書き起こしやシステムによる生成を含む対話データも存在するが，これらは JDD（人手による書き言葉） とは性質が大きく異なるため比較対象に含めない.分析の観点と方法 JDD v0 のデータ特性を，(1)表層上の語彙的特長, (2) 語彙親密度, (3) リーダビリティの 3 つの観点から，既存対話データとの比較を通じて分析する。

まず，語彙的特長については，各コーパスの基本的な統計情報に加えて，表層上の語彙の多様性を TTR (Type-Token Ratio) [14] と, Herdan $の C[15,16]$用いて算出する. これらの指標は，総トークン数 $N$ と語彙数 $V$ を用いてそれぞれ次のように表される:

$
T T R=\frac{V}{N}, \quad C=\frac{\log V}{\log N} .
$

TTR はデータサイズの影響を受けやすく，N の増加に伴い值が小さくなる。これを解決し，サイズの異なるデータ間でも TTRを比較できるように標準化された尺度が $C$ である.

次に，語彙親密度については，単語親密度（令和版）データベース $[17,18]$ を用いて，各コーパスの語彙親密度スコア $S_{F}$ を以下の式によって算出する:

$
S_{F}=\frac{1}{|\mathscr{D}|} \sum_{v \in \mathscr{D}} \operatorname{fam}(v)
$

ここで， $\operatorname{fam}(\cdot)$ は，データベースに存在する語 $v \in \mathscr{D} ついてその$ 単語親密度を返す関数である。

最後に，リーダビリティについては，日本語文章難易度判別システム $\mathrm{jReadability}{ }^{7)}$ にって算出されるリーダビリティスコアを用いる [19]. このとき， $S_{R}$ は, 平均文長 $a$, 漢語率 $b$, 和語率 $c$, 動詞率 $d$,助詞率 $e$ を用いて, 以下の式によって算出される:

$
\begin{aligned}
S_{R}= & 11.724-0.056 a-0.126 b \\
& -0.042 c-0.145 d-0.044 e .
\end{aligned}
$

## 3.2 分析 1: 語彙的特性

表 3 に，各コーパスに収録されている発話数やトークン数等の基本統計と, 算出した TTR， $C$ の值

7) https://jreadability.net/

システムの入力文字数上限の都合で, 各コーパスから無作為に抽出した 500 発話を対象としてスコアを算出した.

図1 コーパスサイズと語彙の多様性 (Herdan's C) の関係

を示す.まず，1 発話あたりのトークン長について， JDD v0 は 14.99 であり，これは他のいくつかのコー パスと同程度の値であった. 分析対象のうち比較的話し言葉に近い対話データである Opensubtitle は,他よりも極端に小さい値であった. 次に，各コーパスの表層上の語彙の多様性を表す $C$ の值は，JDD v0 が他よりも大きかった. 図 1 の曲線は，各コーパスの $x \%(0 \leq x \leq 100)$ に該当する発話文で算出された $C$ の値の変化を表す. JDD v0 は $x$ の増加に伴う $C$ の減少が小さく, このことからも JDD v0 には, 多様な語彙が豊富に含まれていることがわかる。

## 3.3 分析 2: 語彙親密度

表 4 に，各コーパスについて算出した語彙親密度スコア $S_{F}$ を示す. ${ }^{8)}$ すべてのコーパスのなかで JDD v0 が最大のスコアを示した. これは，JDD v0の対話が，他よりも一般的で日本語として馴染み深い表現で構成された基礎的な対話であることを示唆している. また，表中の「分析可能語彙」は， $S_{F}$ の算出に関与した語の割合，つまり，コーパスの語彙のうちデータベースに登録されている概念として認識された語の割合を示す：|D| $\mid V$.この値が大きいほど，計算機での解析も容易な，正しい日本語表現で記述されたデータである可能性が高い. JDD v0 の分析可能語彙は $70.9 \%$ で, これは全体における最大値であった。一方で，インターネットスラングや口語的な表現を含む Twitter (16.7\%) と Opensubtitle $(29.8 \%)$ の分析可能語彙の割合は他と比べて極端に小さい値であった.

## 3.4 分析 3: リーダビリティ

表 5 に，各コーパスについて算出したリーダビリティスコアを示す. JDD v0 は，すべての比較対象を表 4 語彙親密度に関する分析

表 5 リーダビリティに関する分析

上回るスコアを示した。この結果から，JDDv0の対話データは，僅差で続く JPersonaChat とともに，人間にとって読解しやすい比較的平易な表現で記述されているといえる.

## 3.5 総評

分析結果を総合すると，既存対話コーパスと比較して，JDDv0に含まれる対話は，一般的で馴染み深い多様な語彙を豊富に含み（3.2, 3.3 節)，正しい日本語表現で記述された（3.3 節）平易で読みやすい （3.4 節）といえる. これらの特性は，我々が対象とする「規範的かつ基礎的な対話」の要件としていずれも望ましいものである.今回取得した JDD v0 について，今後， 2.2 節の構築手順に示すように書式の正規化等の処理をおこなうことによって，前述の望ましい特性がさらに顕著に出現するような対話データを獲得できる可能性がある.

## 4 おわりに

現在我々が開発している規範的な日本語日常対話コーパスについて，その概要と構築方法を説明した. 実際のコーパスの一部として収集した約 1,000 対話について，その性質を語彙的特長・語彙親密度・リーダビリティの 3 つの観点から分析し，望ましい規範的な特性を持つ対話を獲得することを確認した. 今後は，データ規模の拡大と合わせて，対話の高品質化や付加情報の追加についても取り組む.

8）付録 Cに，語彙親密度の頻度分布を示す.

## 謝辞

本研究はJST ムーンショット型研究開発事業 JPMJMS2011 の支援を受けたものです.

## 参考文献

[1] Daniel Adiwardana, Minh-Thang Luong, David R So, Jamie Hall, Noah Fiedel, Romal Thoppilan, Zi Yang, Apoorv Kulshreshtha, Gaurav Nemade, Yifeng Lu Quoc, and V Le. Towards a Human-like Open-Domain Chatbot. In aiXiv preprint arXiv:2001.09977, 2020.

[2] Yizhe Zhang, Siqi Sun, Michel Galley, Yen-Chun Chen, Chris Brockett, Xiang Gao, Jianfeng Gao, Jingjing Liu, and William B. Dolan. DIALOGPT : Large-Scale Generative Pre-training for Conversational Response Generation. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (ACL): System Demonstrations, pp. 270-278, 72020.

[3] Stephen Roller, Emily Dinan, Naman Goyal, Da Ju, Mary Williamson, Yinhan Liu, Jing Xu, Myle Ott, Kurt Shuster, Eric M. Smith, Y. Lan Boureau, and Jason Weston. Recipes for Building an Open-Domain Chatbot. In Proceedings of 16th Conference of the European Chapter of the Association for Computational Linguistics (EACL), pp. 300325, 2021.

[4] Yanran Li, Hui Su, Xiaoyu Shen, Wenjie Li, Ziqiang Cao, Shuzi Niu, and Hong Kong. DailyDialog: A Manually Labelled Multi-turn Dialogue Dataset. In Proceedings of the The 8th International Joint Conference on Natural Language Processing (IJCNLP), pp. 986-995, 2017.

[5] 博之山内, 直幸橋本. 教育語彙表への応用. 有里子砂川（編）,コーパスと日本語教育, 第 2 章, pp. 35-64.朝倉書店, 2016.

[6] 博之山内, 直幸橋本, 久美子金庭, 由美子田尻. 言語活動・言語素材と話題. 博之山内（編）, 実践日本語教育スタンダード, 第 1 章, pp. 5-525. ひつじ書房, 2013.

[7] Matīss Rikters, Ryokan Ri, Tong Li, and Toshiaki Nakazawa. Designing the Business Conversation Corpus. In Proceedings of the 6th Workshop on Asian Translation (WAT), pp. 54-61, 2019.

[8] Hiroaki Sugiyama, Masahiro Mizukami, Tsunehiro Arimoto, Hiromi Narimatsu, Yuya Chiba, Hideharu Nakajima, and Toyomi Meguro. Empirical Analysis of Training Strategies of Transformer-based Japanese Chit-chat Systems. In aiXiv preprint arXiv:2109.05217, 2021.

[9] Saizheng Zhang, Emily Dinan, Jack Urbanek, Arthur Szlam, Douwe Kiela, and Jason Weston. Personalizing Dialogue Agents: I have a dog, do you have pets too? In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (ACL), Vol. 1, pp. 2204-2213, 2018.

[10] Hannah Rashkin, Eric Michael Smith, Margaret Li, and Y. Lan Boureau. Towards Empathetic Open-domain Conversation Models: A New Benchmark and Dataset. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 53705381, 2019.
[11] Pierre Lison, Jörg Tiedemann, and Milen Kouylekov. OpenSubtitles2018: Statistical Rescoring of Sentence Alignments in Large, Noisy Parallel Corpora. In Proceedings of the 11th International Conference on Language Resources and Evaluation (LREC), pp. 17421748, 2018.

[12] Oriol Vinyals and Quoc Le. A Neural Conversational Model. In Proceedings of the 31st International Conference on Machine Learning (ICML) Deep Learning Workshop, 2015.

[13] 長澤春希, 工藤慧音, 宮脇峻平, 有山知希, 成田風香,岸波洋介, 佐藤志貴, 乾健太郎. aoba_v2 bot : 多様な応答生成モジュールを統合した雑談対話システム.人工知能学会研究会資料言語・音声理解と対話処理研究会, pp. 101-106, 2021.

[14] Mildred C Templin. Certain language skills in children; their development and interrelationships. University of Minnesota Press, 1957.

[15] Gustav Herdan. Type-token mathematics: A textbook of mathmatical linguistics. Mouton, Vol. 4, p. 448, 1960.

[16] Gustav Herdan. Quantitative linguistics. Butterworth, 1964.

[17] 早苗藤田, 哲生小林. 単語親密度の再調査と過去のデータとの比較. 言語処理学会第 26 回年次大会発表論文集, pp. 1037-1040, 2020.

[18]単語親密度 (令和版). NTT 語彙データベース. NTT 印刷, 2021.

[19] Yoichiro Hasebe and Jae-Ho Lee. Introducing a Readability Evaluation System for Japanese Language Education. Proceedings of the 6th International Conference on Computer Assisted Systems for Teaching \& Learning Japanese (CASTEL/J), pp. 19-22, 2015.

## A 対話作成作業に関する参考情報

## A. 1 作業者への教示

作業者には，日本語学習の教材となるような規範的な日常会話を作成するよう指示した. 合わせて，作成される対話は以下の要件を満たすように伝えた: (1) 正しい日本語で書かれていること，(2) 道徳的な内容であること，(3)1つの対話は最低でも 4 発話以上で構成すること，(4) 日常的によく使われる語とりわけ話題語を多く出現させること，(5) 自然な会話の流れの中で多様なモダリティを出現させること，(6) 相槌やフィラー等の挿入は必要最低限とすること， (7) 固有名詞に相当する表現は、現実・架空に関わらず具体的に書くこと。

なお，教示が適切であることの確認ならびに作業者の予行練習と疑問点解消の目的で，実際の対話作成作業を開始する前に，計 3 回のプレ作業をおこなっている。

## A. 2 提示した資料

前節に示す作業者に教示した要件のうち，要件 (4) と (5) そついては，それぞれの具体的例を記したものを作成し（話題語集，モダリティ集），参考資料として全ての作業者に配布した。話題語集の作成には，分類語彙表増補改訂版データベース (ver.1.0) ${ }^{9)}$ 参考にした. モダリティ集の作成には，つつじ日本語機能表現辞書 ${ }^{10)}$ を参考にした.

## B JDD v0 の統計情報: 発話長とトークン長の分布

各トピックにおける対話の発話長（横軸）とトークン長（縦軸）の分布を図 2 に示す.

(a)

(b)

(c)

(d)

(e)

図 2 対話の発話長とトークン長の分布. 左から (a) 日常生活，(b) 学校，(c) 旅行，(d) 健康，(e) 娮楽トピック.

## C 各対話データにおける語彙親密度の頻度分布

作成した JDD v0 と，比較対象として用いた 5 種の対話コーパスに含まれる語彙親密度の頻度分布を，図 3 亿示す。

図 3 対話データに含まれる語彙親密度の頻度分布.スコアは，値が大きいほど親密度が高いことを表す。

9) https://github.com/masayu-a/WLSP

10) http://kotoba.nuee.nagoya-u.ac.jp/tsutsuji/


# ウェブ会議システムを利用した料理インタビュー対話コーパス

岡久太郎 田中リベカ* 児玉 貴志 Yin Jou Huang 黒橋禎夫
京都大学大学院情報学研究科
\{okahisa, kodama, huang, kuro\}@nlp.ist.i.kyoto-u.ac.jp

## 概要

我々はウェブ会議システムを用いて，料理の技能者に対するインタビュー対話のマルチモーダルコー パスを構築した. 技能者として料理のセミプロと料理好きを，インタビュアーとしてインタビューの経験を持つ者と持たない者を参加者として集めた. 本稿では，コーパスの構築方法と仕様について報告し，技能者からコツを引き出すためのインタビュー 手法について質的に分析する.

## 1 はじめに

対話システムの研究においては，気の効いた設定をデザインし，良質の対話コーパスを作ることが重要であるが，インタビュー対話についてはこれまであまり取り扱われることがなかった. そこで，本研究では，熟練者の技能伝承が産業界において課題となっていることを踏まえ，技術のコツなどを聞き出すことを目的としたインタビューに着目する. 既存のインタビュー対話コーパスは，テレビ番組等で第三者に対話の内容を聞かせることを目的とした対談を対象とするものが多い $[1,2,3]$. そのため，技術や知識を引き出すことができる対話システムの研究には，その基盤としてインタビュアーが積極的に対話者から情報を引き出すことを試みているインタビューデータが不可欠である.

本研究では，ウェブ会議システムを用いて料理の技能者からインタビュアーが特定の料理の調理方法を聞き出すというタスクを設定し，料理インタビュー対話コーパスを構築した. 料理インタビュー 対話コーパスは， 308 対話における約 6.9 万発話の音声とその書き起こしに加えて，対話者双方の表情と対話者間で共有されているコンピューター画面を含んだ映像から構成される (図 1).

日本語を対象とした既存の話し言葉対話コーパス
$ ・データサイエンスセンター（連絡先:tanaka.ribeka@is.ocha.ac.jp）
}

図1 料理インタビューコーパスの動画の一部とそれに対応する部分の書き起こしの例. “E”は技能者，“I”はインタビュアーを表す.

のほとんどは，電話会話を使用したものか [4]，対話者を実際に集め，その様子を録音・録画したもの $[5,6,7,8]$ である. しかしながら，電話会話の場合は視覚的情報の共有ができないため，指示語の使用が減少する等，通常の対話とは性質が大きく異なる. また，対話者をスタジオ等に集めて対話を収録する場合は時間的，費用的コストがかかる。

現在，COVID-19 の世界的感染拡大の中で，以前はオンラインビデオ通話を利用していなかった人々もウェブ会議システムを使用するようになった. 才ンラインビデオ通話であれば，対話者は自宅からいつも用いている自身の機器を用いて対話に参加することが可能である. さらに，ウェブ会議システムを使用することで，対話者はお互いの表情を見ながら，画面共有機能で視覚的文脈を共有することが可
能となり，電話会話よりも通常の対話に近いコミュニケーションを行うことができる. この点は, 対話研究にとっても，表情や視覚的文脈を発話と同期させて記録することが容易になるという利点となる。

本稿では，料理インタビュー対話コーパスの構築方法とその詳細について述べる。

## 2 インタビュー対話の収集方法

## 2.1 収録方法と参加者

本コーパスは，ウェブ会議システムを用いて，料理の技能者とインタビュアーの間で行われた約 15 分の対話を 308 件録画したデータから構成される.参加者は外付け，またはコンピューターに内蔵されたカメラとマイクを使用し, 画面共有機能によって技能者があらかじめ用意した写真 (詳細は後述)を互いに見ながら対話を行った．録音・録画に関しては Zoom $^{1)}$ の録画機能を利用し, 音声, カメラの映像,共有された画面の全てを記録した。

各対話収集の際には対話者に技能者とインタビュアーの役割をそれぞれ与えた (Appendix A 参照)。 一部の参加者は, 技能者とインタビュアーの両方の役割で参加している。また，技能者とインタビュアー には事前にそれぞれ2つの属性を設定した. 技能者は，一定の条件 (Appendix B 参照) を満たす者を「セミプロ」，それ以外の者を「料理好き」として分類した.インタビュアーは，人事面接など何らかのインタビューを実施した経験を持つ場合は「技能あり」， それ以外の者を「技能なし」と分類した ${ }^{22}$.

なお，対話データの収集については最初に 20 対話，暫定的な条件設定で予備収集を行い，その結果を受け，最終的な条件を定め，本収集を行った。

## 2.2 参加者への教示及びアンケート

今回の対話タスクでは，技能者から料理の技能を効果的に聞き出すような質問をインタビュアーにさせることが目的であるため，タスクの事前準備として技能者とインタビュアーに以下の指示を行った.

まず，技能者として参加する者には事前に以下の 4 つについて準備し，提出するよう求めた。

(1) a. 紹介する料理のタイトル

b. 紹介する料理の概要

1) https://zoom.us

2）インタビュアーは自炊経験があるような最低限の料理の知識を持つことを参加の必須条件にしている. c. 6-10 枚の手順写真

d. 自慢したい点とそれに対応する写真番号 (本収集のみ)

一方，インタビュアーとして参加する者には対話タスクの前に上記 (1a), (1b), (1c) の 3 つの情報を与えた、インタビュアーには，技能者は最低限の手順しか説明しないので，それ以上の説明を引き出せる質問をするようにあらかじめ指示した。

さらに，予備収集の結果を受け，本収集では事前に「良い質問のタイプ」をインタビュアーに教示し， 1 つ以上の質問内容とその質問を何枚目の写真でするつもりかについて事前に報告を求めた。「良い質問のタイプ」は，「技能者が答えにつまりそうな質問」について 11 個の項目を例と共に示した資料である (Appendix C 参照).

また，対話タスクの終了後，技能者とインタビュアーのそれぞれに以下の事項についてアンケートを実施した。

(2) a. コミュニケーションがスムーズだったか

b. コツをうまく引き出していたか

c. 自身がどの程度料理の知識や技能を持っているか (インタビュアーのみ)

d. インタビューの感想

(2a), (2b), (2c) の回答は「1. そう思わない」「2. あまりそう思わない」「3. どちらでもない」「4. ややそう思う」「5. そう思う」のいずれかを選択させた. また，(2d)については自由記述での回答を求めた。

## 3 収集したインタビュー対話の概要

## 3.1 発話内容に関する統計情報

構築した料理インタビュー対話コーパスの統計情報は表 1 の通りである.

1 発話あたりの平均単語数は技能者が 10.13 語，インタビュアーが 6.98 語であり， 1 対話当たりの平均発話数は技能者が 241.23 , インタビュアーが 207.38 であることから，技能者はインタビュアーよりも長い発話をより多く行っていることが分かる. この傾向は，対話参加者が技能者とインタビュアーの役割を適切に果たしていることを示している。

また，技能者とインタビュアーの属性ごとに統計情報を詳細化した結果は表 2 のようになる. 技能者は，対話相手の属性に関わらず，セミプロ $\left(E_{H}\right)$ の
表 1 料理インタビュー対話コーパスの統計情報. フィラーや言い誤りを取り除き，Juman++ [9] を用いて形態素解析を行った。

表 2 技能者とインタビュアーの属性ごとの統計情報. 技能者については $E_{H}$ がセミプロ， $E_{L}$ が料理好きを表し，インタビュアーについては $I_{H}$ がインタビュー技能のあるインタビュアーを， $I_{L}$ がインタビュー技能のないインタビュアーを表している.

方が料理好き $\left(E_{L}\right)$ よりも 1 分あたりの発話数が少ない.また，技能者の 1 発話あたりの単語数を見ると，インタビュアーの属性に関わらず，セミプロの方が料理好きよりも長い発話を行っている.これらを踏まえると，技能者はインタビュアーの属性に関わらず，セミプロが料理好きょりも多くの内容を語っているために，時間あたりの発話数が少なくなっていることが分かる.

一方，インタビュアーについては，その属性に関わらず，対話相手が料理好きの場合 $\left(E_{L} \& I_{H}\right.$, $\left.E_{L} \& I_{L}\right)$ の方が, 対話相手がセミプロの場合 $\left(E_{H} \& I_{H}\right.$, $\left.E_{H} \& I_{L}\right)$ よりも 1 分あたりの発話数が多くなっている.しかしながら，それぞれの対話設定における 1 発話あたりの単語数については, 対話相手の属性に関わらず，インタビュー技能があるインタビュアー $\left(I_{H}\right)$ の方が，技能がないインタビュアー $\left(I_{L}\right)$ よりも 1 発話あたりの単語数は多い. 以上から，一般的な傾向として，インタビュー技能を有するインタビュアーの方が，インタビュー技能がないインタビュアーよりも内容の多い発話をしているが，技能者の料理技能が低い場合は，インタビューの技能に関わらず，技能者から多くの話を引き出すために多くの発話を行う傾向があることが分かる.

## 3.2 対話後のアンケート結果

図 2,3 より, 技能者もインタビュアーも参加したインタビューについて概ね満足していることが分かる.「コミュニケーションはスムーズだったか」 という問いについては，技能者の平均値が 4.64 であり，インタビュアーの平均値が 4.25 であった.

また，「コツを引き出していたか」という問いについては，技能者の平均値が 4.62 であり，インタ

図 2 技能者に対するアンケート結果

図 3 技能者に対するアンケート結果

ビュアーの平均値が 4.07 であった. この差は，インタビュアーが技能者からコツを聞き出すようあらかじめ指示されていたことにより，インタビューの出来について技能者以上に厳しい判定をしたことによって生じた差異であると考えられる。

なお，インタビュアーの料理の知識については平均値が 3.52 であった. これは, 最低限の料理の知識を持つことをインタビュアーの参加条件としたことにより，知識があると回答する参加者が比較的多かったためであると考えられる。

## 4 コツの引き出し方

本研究で収集した対話データは，インタビュアー が技能者から料理のコツを聞き出すようにタスクを設定した. そのため，インタビュアーの発話が契機となり，技能者が当初は話すことを予定していなかった知識が引き出される場合が少なくない. 本節ではコツの引き出し方の典型的パターンを事例べー スで説明する。

技能者からコツを引き出す際によく見られるインタビュアーの発話として, 直前に技能者が発言した内容を繰り返したり，言い換えたりするというものが挙げられる.

(3)「セロリのぬか漬け」

E:（えーと）塩と.これは（あの一）粗塩というか， (あの一）サラサラした食卓塩っていうよりは, （あの一）結構（あの）ザラザラゴツゴツとした結構甘みのある塩です。

I: 粗塩, はい.

I: （あ）味が（じゃ）しっかりとしてるような感じですか?

E: そうですね。もうくこれなめ>これだけ甜めても美味しい感じの塩です.はい.（まーね）（あの一) なんでも塩好きなの使っていただいたらいいんですけど，(ま）塩だけで美味しいっていうのは結構，(あの）材料少ないんでね，(あの一）美味しい塩でされたらいかがかなと思います。

例 3 では，技能者の発言にある「甘みがある」をインタビュアーが「味がしっかりとしている」と言い換えたことにより，粗塩を使う理由を技能者が追加で説明している。

このような質問の仕方は，インタビュアーに料理の経験が十分にない場合も可能なものである。 一方，インタビュアー自身にも料理の経験があるからこそ可能となるコツを引き出す質問の特徴として， インタビュアーが具体的な状況を設定, 提示することによって，技能者から細部についての説明を引き出すというパターンが挙げられる。

(4)「生シラスのふっくらかき揚げ」

I: （ふーん）(で）何か（この）揚げているときのコツとかってありますか？

E: (あ).

E: 揚げているときのコツですね.

E: $(え-と)$

E：揚げているときの（こ）.
I: 例えば，私，よく（あの一）何か（こー）心配で ，できているのかなって，（こー）菜箸でぐしゃぐしゃぐしゃ,

I: やったりしてしまうんですけど，(な)（な）(な).

E: $(?)^{3)}$.

$\mathrm{E}:$ そうですね. つまり，なるべく（あの一）なるべく触らないように。

I: （あー）やっぱりそうですか.

E: (?).

E：片面を揚げましたら，（えーと）なるべく触らないようにそのまま（え一）じっくり火を通して， また裏返して，その後も（あの一）ほとんど触らないように，（え一）形がくずれないように揚げていって，（で）最終的に（あの一）

$\mathrm{E}:$ (えーと) バットに上げるときに，油をしっかり (こー)

E: 切るというのが，（あの）カリッとふわっと仕上がるコツかなと思いますので.

例 4 では，最初に漠然とコツを尋ねられた技能者がその後約 6 秒間回答に詰まっている。 それを受けたインタビュアーは下線部のように自身の経験談を語ることで，天ぷらを揚げる時のコツを引き出している.このように，技能者が質問の回答に窮している時に，インタビュアーが具体的な状況を提示することで，技能者は自身では事前に意識していなかった知識や技能についてスムーズに話すことが可能となる例が多く見られた。

これらの質問の仕方については，事前にインタビュアーに提示した「良い質問のタイプ」 (Appendix C 参照)には含まれていない方略であり， インタビュアー役を務める対話システムの研究において，重要な要素となりうる。

## 5 おわりに

本稿では，ウェブ会議システムを用いた料理インタビュー対話コーパスの構築方法とその詳細について報告した。

コーパスの質的分析の結果，技能者のコツを引き出す場面においては，言い換えや繰り返しを行うパターンとインタビュアー自身の経験をもとに具体的な状況を想定した質問を行うパターンの 2 つが見出された。これらのパターンをどのように使い分けるか，どのように対話システムに組み込むのかについては，今後の課題である.

## 謝辞

この成果は, 国立研究開発法人新エネルギー・産業技術総合開発機構 (NEDO) の委託業務 (JPNP20006) の結果得られたものです.ここに感謝致します.

## 参考文献

[1] Bodhisattwa Prasad Majumder, Shuyang Li, Jianmo Ni, and Julian McAuley. Interview: Large-scale modeling of media dialog with discourse patterns and knowledge grounding. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 8129-8141, Online, November 2020. Association for Computational Linguistics.

[2] Chenguang Zhu, Yang Liu, Jie Mei, and Michael Zeng. Mediasum: A large-scale media interview dataset for dialogue summarization. CoRR, Vol. abs/2103.06410, , 2021.

[3] 篠山学, 松本和幸.インタビュー対話コーパスの構築と発話意図タグの設計. 第 82 回全国大会講演論文集,第 2020 巻, pp. 51-52, feb 2020.

[4] 伝康晴, フライジョン. 日本語 callhome コーパス. 音声研究, Vol. 4, No. 2, pp. 24-30, 2000.

[5] 前川喜久雄. 『日本語話し言葉コーパス』の概要. 日本語科学, Vol. 15, pp. 111-133, 2004.

[6] Yasuharu Den and Mika Enomoto. A scientific approach to conversational informatics: Description, analysis, and modeling of human conversation. pp. 307-330. John Wiley \& Sons, Hoboken, NJ, 2007.

[7] Itsuko Fujimura, Shoju Chiba, and Mieko Ohso. Lexical and grammatical features of spoken and written japanese in contrast: Exploring a lexical profiling approach to comparing spoken and written corpora. In Proceedings of the VIIth GSCP International Conference, p. 393. Speech and Corpora, 2012.

[8] 小磯花絵, 天谷晴香, 石本祐一, 居關友里子, 臼田泰如,柏野和佳子, 川端良子, 田中弥生, 伝康晴, 西川賢哉.『日本語日常会話コーパス』モニター公開版の設計と特徴. 国語研究所日常会話コーパスプロジェクト報告書 3, 2019.

[9] Arseny Tolmachev, Daisuke Kawahara, and Sadao Kurohashi. Juman++: A morphological analysis toolkit for scriptio continua. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 54-59, Brussels, Belgium, November 2018. Association for Computational Linguistics.

## A タスク参加者数の詳細

表 6 参加者の役割・属性ごとの内訳. I，Eはそれぞれインタビュアー，技能者を指す。また×はその役割では不参加だったことを表す.

## B 「料理のセミプロ」の条件

以下の 3 条件のいずれかを満たす技能者を「料理のセミプロ」として分類した.

・料理教室等で料理（種類は問わず）を教えた経験がある

・調理師免許を取得している

・料理家として活動している

## C 良い質問のタイプ

1. 調味料や材料の分量・重さ，煮込み時間などの数値的な情報を質問する

・「何分ぐらいで火を止めますか」

2.「とろみ」「こんがり」「まとまってきたら」などの抽象的な表現について，客観的に判断する手がかりを質問する

・「とろみが出てきたのをどうやって判断したら良いでしょうか」

3. 同じ材料・器具がないときはどうするのかを質問する

・「黒酢がないときは，どうしたら良いでしょうか」

4. 食材の下準備の説明が省略される傾向にあるので，あえて質問する

・「お野菜はどうしてこの切り方をしたのですか」

5. 写真に映っているのに技能者が特に説明しなかったものを見つけ，それについて質問する

6. 技能者から説明を引き出したら，もう一歩踏み込んで，それが良いことなのかも質問する

・I:「ネギは，青いネギじゃなくて白いネギですね」

E:「はい，白いネギの青いところと白いところを両方入れました」
I:「その方が美味しいのですか」

7. ポイントを率直に尋ねる

・「気をつけるべきことはありますか？」

・「難しいところはどこですか？」

8. 避けた方が良いことや，失敗経験を質問する

・E：「鯛の代わりに，他の白身魚やホタテでも良いですよ」

I：「良いですね．逆に，イマイチなものってありますか」

9. 反対の意見や，否定的な意見を投げかけてみる

・「ピーマンを入れると，子どもが食べないんじゃないでしょうか」

10. 自分なりの仮説を立てて質問する

・「砂糖の代わりにみりんを使うときも，同じ分量を入れたら良いでしょうか」

11. はい・いいえで答えられる質問を，「どうして」「どうやって」と相手に話させるような質問に言い換える

・「切り方はもっと小さくても良いですか」 を「どうしてこの大きさに切ったんですか」と言い換える


# プロンプトモデルは表面的手がかりを利用するか？

Pride Kavumba ${ }^{1,2}$ 高橋 諒 3 小田悠介 3,4
1 東北大学 大学院情報科学研究科 ${ }^{2}$ 理研 AIP ${ }^{3}$ LegalForce Research
4 東北大学 データ駆動科学・AI 教育研究センター
pkavumba@ecei.tohoku.ac.jp
\{ryo.takahashi, yusuke.oda\}@legal force.co.jp

## 概要

事前学習済み言語モデルを下流タスクに適応させる手法の一つであるプロンプトに基づくファインチューニングは、少量データでも高精度なモデルを学習できる手法として知られている。自然言語理解の多くのベンチマークデータセットは、タスクとは無関係だが正解ラベルの予測を助ける「表面的手がかり」を持つ。本研究はプロンプトに基づいて学習されたモデルがデータセットの表面的手がかりを利用していることを実験から明らかにする。

## 1 はじめに

事前学習済み言語モデルを下流タスクに適応させる手法として、タスクに応じたへッドのファインチューニング、すなわち事前学習時に使用した言語モデルのヘッドをタスクに特化したへッドに置き換える手法が主流となっている $[1,2]$ 。このような手法でタスクに適応されたモデルをここでは「ヘッドモデル」と呼ぶ。

プロンプトに基づくファインチューニングは、少量のデータで言語モデルを適応させるためのより効果的な方法として知られている $[3,4,5]$ 。この手法では、言語モデルのへッドはそのままで、モデルが事前学習時に見た入力と一致するようにモデルへの入力を構築する。例えば、「また見たいと思います。」という感情分析タスクのインスタンスが与えられた場合、ヘッドモデルは出力として「ネガティブ」か「ポジティブ」のどちらかを直接予測するように学習する。一方、マスク言語モデルの目的関数 [1] で学習されたプロンプトモデルでは、「\{X\}。 [MASK] 映画でした。のようなテンプレートを介して「また見たいと思います。[MASK] 映画でした。」 という自然なテキストとなるように入力を構成する。モデルは [MASK] に「良い」や「ひどい」など
の単語を予測し、それらを事前に定義したヴァーバライザー $[4,5]$ を使ってポジティブとネガティブに対応させる。

これまでの研究では、SNLI [6]、MNLI [7]、COPA [8] など、多くの自然言語理解データセットにおいて、簡単に利用できる「表面的手がかり」が見つかっている。表面的手がかりは、タスク自体とは無関係だが、タスクの特定のラベルに結びついているインスタンスの言語的または非言語的な特徴と定義できる。例えば、ARC [9] の正解には「not」という単語が含まれているが、これはへッドモデルが利用することで、タスクを理解していなくても最先端の性能を発揮できる [10]。具体的には、MNLI のマッチしたインスタンスの $90 \%$ が文脈なし表面的手がかりを仮説に含んでおり、SNLI の文脈なし表面的手がかりはこれまで知られていたものよりも 4.9 ポイント高いことがわかった [11]。さらに、COPA には文脈なし表面的手がかり [12]だけでなく、78\%のインスタンスに文脈あり表面的手がかり（前提と代替の間に存在する表面的手がかり）が含まれていることがわかった。一方、 $[11,13]$ は、ヘッドモデルが SNLI の仮説において表面的手がかりを利用することを示した。[14] は MNLI データセットの前提条件と仮説の間の単語の重複などの表面的手がかりをへッドモデルが利用することを示し、[12] は COPA の回答の選択肢において表面的手がかりをへッドモデルが利用することを示した。本研究は、プロンプトモデルにおける表面的手がかりを調査した最初の研究である。我々は以下の問いを立てる。(1)プロンプトモデルは表面的手がかりを利用しているか？(2) プロンプトモデルは表面的手がかりのないデータセットにどのように汎化するか？

MNLI、SNLI、COPA、および HANS データセット [14]を用いた慎重に設計された実験を通して、プロンプトモデルは表面的手がかりに大きく依存してお

り、表面的手がかりのないデータへの汎化に失敗していることを発見した。具体的には、RoBERTa [2] は、表面的手がかりを持つインスタンスでは良好な性能を発揮するが、表面的手がかりを持たないインスタンスではランダムべースラインとほぼ同等以下の性能しか達成できないことがわかった。

## 1.1 NLI と COPA の表面的手がかり

我々の研究課題「(1) プロンプトモデルは表面的手がかりを利用するか？(2) プロンプトモデルは表面的手がかりのないデータセットにどのように汎化するか？」に答えるためには、表面的手がかりを含むデータセットが必要となる。本研究では表面的手がかりを含む新しいデータセットを一から作るのではなく、英語の MNLI、SNLI、COPA の既存のデー タセットを分析することにした。具体的には、表面的手がかりを利用して正解できる部分集合と、表面的手がかりを利用しても解けない部分集合があるように、データセットを分割する。

我々は、表面的手がかりを、その利用可能性に基づいて、「文脈あり表面的手がかり」と「文脈なし表面的手がかり」の 2 つのカテゴリーに分ける。このように表面的手がかりを分けることで、タスクの種類を抽象化し、考えられているタスクに基づいて文脈を自由に定義することができる。例えば、機械読解や質問応答では、質問を解くために必要な関連する文書を文脈と定義することができるが、常識的な多肢選択式文章完成タスクでは質問を文脈と定義することができ、自然言語推論タスクでは前提を文脈と定義することができる。[14] が見つけた語彙的重複のような文脈あり表面的手がかりは、文脈があるときにしか利用できない。一方、[10] が見つけた正解の選択肢の中に「not」が含まれていることなどの文脈なし表面的手がかりは、タスクの関連する文脈がない場合に利用可能である。これまでの研究では、主に 1 種類の表面的手がかりのみを調査しており、ほとんどの研究が文脈なし表面的手がかりに焦点を当てていた $[11,13,10,12,15]$ 。本論文では、「あるモデルが表面的手がかりを利用するかどうか」という質問に答えるためには両方のタイプの表面的手がかりについて調査する必要があり、少なくとも 1 つのタイプの表面的手がかりを利用する場合にその答えは「Yes」であると主張する。

## 1.2 MNLI の表面的手がかり

文脈あり表面的手がかり：[14] は、MNLIにおいて3つの文脈あり表面的手がかり（語彙的重複、部分列、構成素）を特定した。これらの表面的手がかりは含意ラベルを予測する。部分列と構成素の表面的手がかりは、いずれも語彙的重複の特殊なケースである。これらの表面的手がかりに対抗するために、[14] は HANS データセットを作成し、表面的手がかりでは情報が得られないインスタンスを含んでいる。HANS データセットには、表面的手がかりを持つインスタンスも含まれており、これらのインスタンスで高い性能を発揮することで、表面的手がかりが利用されていることが確認できる。本論文では、HANS データセットを用いて、プロンプトモデルが文脈あり表面的手がかりを利用しているかどうかを評価する。

文脈なし表面的手がかり：プロンプトモデルが文脈なし表面的手がかりを利用する能力を調べるために、元のデータセットを文脈なし表面的手がかりを持つインスタンスと持たないインスタンスに分割し、仮説のみで RoBERTaヘッドモデルを訓練する。 この分析は、より性能の低いモデルを使用しているが、[11]によって行われたものと似ている。仮説が文脈なし表面的手がかりを持たない場合、モデルはランダムベースラインの精度（33\%）を超えることは期待できない。しかし、複数の RoBERTa モデルの平均精度は、ドメイン内事例で $90 \%$ 、ドメイン外事例で $90 \%$ \%達成しており、MNLI の文脈なし表面的手がかりはこれまで知られていたよりもはるかに悪いことが示されている（ドメイン内で 53.9 \%、ドメイン外で $52.3 \%$ [11])。この結果を受けて、デー タセットを表面的手がかりを持つインスタンスと持たないインスタンスに分けた。表面的手がかりを持つインスタンスは、文脈なしの設定で大多数のモデルが正しく予測したインスタンスを含んでいる。

## 1.3SNLIにおける表面的手がかり

文脈あり表面的手がかり：HANS データセットは MNLI の表面的手がかりに基づいて構築されているが、先行研究では、SNLIで訓練されたモデルのベンチマークとしても使用できることが示されている。先行研究に倣い、本研究では SNLI で学習されたプロンプトモデルを HANS データセットで評価する。

文脈なし表面的手がかり：SNLI において文脈な

し表面的手がかりを利用するプロンプトモデルの能力を調べるために、元のデータセットを文脈なし表面的手がかりを持つインスタンスと持たないインスタンスに分割した。また、MNLI で行ったように、RoBERTa ヘッドモデルを仮説のみで訓練する。仮説が文脈なし表面的手がかりを持たない場合、モデルはランダムベースラインの精度（33\%）を超えることは期待できない。しかし、RoBERTa の平均精度は 71.9\%であり、これは [11]が fastText[16] で得た結果を 4.9 ポイント上回っている。この結果を受けて、データセットを表面的手がかりを持つインスタンスと持たないインスタンスに分けた。表面的手がかりを持つインスタンスには、文脈なしの設定で大多数のモデルが正しく予測したインスタンスが含まれている。

## 1.4 COPA における表面的手がかり

文脈あり表面的手がかり：COPA における文脈な乙表面的手がかりはこれまでにも分析されているが [12]、文脈あり表面的手がかりはまだ分析されていない。共通のパターンを見つけるためにすべてのインスタンスを目視することは困難であり、エラー が発生しやすいことがわかる。文脈あり表面的手がかりを分析するために、我々はプロンプトモデルを採用し、表面的手がかりでしか解けないように入力を変更する。具体的には、答えの選択肢に含まれる単語をランダムに並び替えて、文として意味が通らないようにする。この設定では、インスタンスに表面的手がかりがない場合、モデルの性能はランダムべースラインの精度（50\%）に一致すると予想される。驚くべきことに、複数の RoBERTa モデルは、 $78 \%$ の平均精度を達成しており、文脈あり表面的手がかりが存在することを示している。この結果を受けて、データセットを、大多数のモデルが解答したインスタンスを含む表面的手がかりを持つ部分集合と、残りのすべてのインスタンスを含む表面的手がかりを持たない部分集合に分割した。

文脈なし表面的手がかり：[12]は、RoBERTaを用いて COPA における文脈なし表面的手がかりを特定した。彼らの分析は本研究と同一の設定であるため、本研究では再分析を行わず、彼らが公開しているデータセットの分割を使用する。

## 2 実験と結果

本論文の研究課題に答えるために、文脈あり表面的手がかりのあるデータセットと文脈なし表面的手がかりのあるデータセットでプロンプトモデルを評価する。表面的手がかりを利用しないモデルは、表面的手がかりがある場合とない場合の両方で同等の性能を発揮すると予想される。表面的手がかりがある場合の方が、表面的手がかりがない場合よりも高い性能を発揮するということは、そのモデルが表面的手がかりを利用していることを示している。

## 2.1 MNLI

文脈あり表面的手がかり：プロンプトモデルが文脈あり表面的手がかりを利用するかを確かめるために、MNLI 上で複数のプロンプトベースの RoBERTa モデルを学習し、HANS データセットの表面的手がかりを持つインスタンスと持たないインスタンスで評価した。表面的手がかりを利用しないモデルは、両方のインスタンスで同等の性能を発揮することが期待される。

表 1 によると、RoBERTa は表面的手がかりを持つインスタンスではかなりの性能を発揮するが、表面的手がかりを持たないインスタンスでは $50 \%$ のランダムな精度に達することができない。このモデルは 3 種類の表面的手がかりのすべてにおいて性能が低く、3 種類の表面的手がかり（語彙的重複、部分列、構成素）のいずれにおいても劣っている。この結果から、プロンプトモデルは表面的手がかりに依存しており、表面的手がかりのないインスタンスへの汎化に失敗していることがわかる。

文脈なし表面的手がかり：プロンプトモデルが文脈なし表面的手がかりも利用するかを確かめるために、MNLI 上で複数のプロンプトベースの RoBERTa モデルを学習し、文脈なし表面的手がかりがある場合とない場合のインスタンスで評価した。表面的手がかりを利用しないモデルであれば、表面的手がかりがある場合もない場合も、同等の性能が得られると考えられる。

表 1 によると、RoBERTa は表面的手がかりを持つインスタンスで、表面的手がかりを持たないインスタンスよりもかなり良い性能を示しており、モデルが文脈なし表面的手がかりを利用していることを示している。

表 1 MNLI（ドメイン内/ドメイン外）および SNLI における RoBERTa プロンプトモデルの精度。“w/Cues”の列は評価セットに表面的手がかりを含むか否かの二値を示す。

表 2 COPA における RoBERTa プロンプトモデルの精度。

## 2.2 SNLI

文脈あり表面的手がかり : プロンプトモデルが SNLI 上の文脈あり表面的手がかりを利用するかどうかを調査するために、SNLI 上でプロンプトモデルを訓練し、HANS データセットからの表面的手がかりを持つインスタンスと持たないインスタンスで評価する。このデータセットは MNLI 特有の表面的手がかりのために設計されたものだが、先行研究では表面的手がかりを利用する SNLI モデルを明らかにできることが示されている。

表 1 によると、RoBERTa は表面的手がかりを持つインスタンスではかなりの性能を発揮するが、表面的手がかりを持たないインスタンスでは同じ性能を達成できない。この高い分散はへッドモデルについて調査した先行研究で報告された分散と似ている。 SNLI で学習したモデルは MNLI モデルよりもはるかに良い性能を発揮するが、それでも性能は悪いままである。この結果はプロンプトモデルが文脈あり表面的手がかりを利用していることを示している。

文脈なし表面的手がかり : プロンプトモデルが SNLI 上で文脈なし表面的手がかりを利用する能力を調べるために、SNLIで学習し、文脈なし表面的手がかりを持つインスタンスと持たないインスタン
スで評価した。

表 1 によると、文脈なし表面的手がかりがある場合とない場合では精度に大きな差があり、プロンプトモデルが文脈なし表面的手がかりを利用することを示している。

## 2.3 COPA

文脈あり表面的手がかり : COPA データセットにおいてモデルが文脈あり表面的手がかりを利用しているかどうかを調べるために、8から 100 までの様々なサイズで訓練を行い、 1.4 節で説明されている文脈ありと文脈なし表面的手がかりを持つインスタンスで評価を行った。

表 2 によると、RoBERTa は、表面的手がかりを持つインスタンスで非常に優れた性能を発揮するが、表面的手がかりを持たないインスタンスでは $50 \%$ のランダムな精度をほとんど超えない。これは表面的手がかりに過度に依存し、表面的手がかりのないインスタンスへの汎化に失敗していることを示している。またこのモデルは文の意味に敏感ではないことも示されている。

文脈なし表面的手がかり：プロンプトモデルが COPA 上の文脈なし表面的手がかりを利用しているかどうかを調べるために、COPA データセットの 8 から 100 までの異なるサイズで RoBERTaを学習し、文脈なし表面的手がかりを持つインスタンスと持たないインスタンスで評価した。

表 2 は、 32 以下の小さい学習サイズでは RoBERTa が表面的手がかりを利用しないことを示している。 しかしサイズを大きくすると、文脈のない表面的手がかりを持つインスタンスと持たないインスタンスの間の性能の差がさらに大きくなる。このモデルが数ショットの設定で一般的に使用されるサイズにおいて、文脈なし表面的手がかりを利用しないことは心強いことである。

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[2] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized BERT pretraining approach. CoRR, Vol. abs/1907.11692, , 2019.

[3] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners. In $\mathrm{H}$. Larochelle, M. Ranzato, R. Hadsell, M. F. Balcan, and H. Lin, editors, Advances in Neural Information Processing Systems, Vol. 33, pp. 1877-1901. Curran Associates, Inc., 2020.

[4] Timo Schick and Hinrich Schütze. Exploiting clozequestions for few-shot text classification and natural language inference. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, pp. 255-269, Online, April 2021. Association for Computational Linguistics.

[5] Timo Schick and Hinrich Schütze. It's not just size that matters: Small language models are also few-shot learners. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 2339-2352, Online, June 2021. Association for Computational Linguistics.

[6] Samuel R. Bowman, Gabor Angeli, Christopher Potts, and Christopher D. Manning. A large annotated corpus for learning natural language inference. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 632-642, Lisbon, Portugal, September 2015. Association for Computational Linguistics.

[7] Adina Williams, Nikita Nangia, and Samuel Bowman. A broad-coverage challenge corpus for sentence understanding through inference. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 1112-1122, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[8] Melissa Roemmele, Cosmin Adrian Bejan, and Andrew S Gordon. Choice of plausible alternatives: An evaluation of commonsense causal reasoning. In AAAI Spring Symposium on Logical Formalizations of Commonsense Reasoning, Stanford University, 2011.

[9] Ivan Habernal, Henning Wachsmuth, Iryna Gurevych, and Benno Stein. SemEval-2018 task 12: The argument reasoning comprehension task. In Proceedings of The 12th International Workshop on Semantic Evaluation, pp. 763-772, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[10] Timothy Niven and Hung-Yu Kao. Probing neural network comprehension of natural language arguments. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 4658-4664, Florence, Italy, July 2019. Association for Computational Linguistics.

[11] Suchin Gururangan, Swabha Swayamdipta, Omer Levy, Roy Schwartz, Samuel Bowman, and Noah A. Smith. Annotation artifacts in natural language inference data. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers), pp. 107-112, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[12] Pride Kavumba, Naoya Inoue, Benjamin Heinzerling, Keshav Singh, Paul Reisert, and Kentaro Inui. When choosing plausible alternatives, clever hans can be clever. In Proceedings of the First Workshop on Commonsense Inference in Natural Language Processing, pp. 33-42, Hong Kong, China, November 2019. Association for Computational Linguistics.

[13] Adam Poliak, Jason Naradowsky, Aparajita Haldar, Rachel Rudinger, and Benjamin Van Durme. Hypothesis only baselines in natural language inference. In Proceedings of the Seventh Joint Conference on Lexical and Computational Semantics, pp. 180-191, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[14] Tom McCoy, Ellie Pavlick, and Tal Linzen. Right for the wrong reasons: Diagnosing syntactic heuristics in natural language inference. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 3428-3448, Florence, Italy, July 2019. Association for Computational Linguistics.

[15] Tal Schuster, Darsh Shah, Yun Jie Serene Yeo, Daniel Roberto Filizzola Ortiz, Enrico Santus, and Regina Barzilay. Towards debiasing fact verification models. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3410-3416, Hong Kong, China, November 2019. Association for Computational Linguistics.

[16] Armand Joulin, Edouard Grave, Piotr Bojanowski, and Tomas Mikolov. Bag of tricks for efficient text classification. In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics: Volume 2, Short Papers, pp. 427-431. Association for Computational Linguistics, April 2017.


# 森羅 2021-LinkJP 結果の分析:BERT とルールベースの比較

野本昌子 1 宇佐美佑 ${ }^{2}$ 安藤まや 3 中山功太 ${ }^{1,4}$ 関根聡 1
1 理化学研究所 ${ }^{2}$ Usami LLC ${ }^{3}$ フリー 4 筑波大学
\{masako.nomoto, kouta.nakayama, satoshi.sekine\}@riken.jp, yu@usami.llc, maya@kzd.biglobe.ne.jp

## 概要

森羅プロジェクトでは説明可能な $\mathrm{AI} を$ 目指して Wikipediaの構造化を進めており，新しい取組みとして，日本語 Wikipediaを対象としたエンティティリンキングタスク (森羅 2021-LinkJP) を実施した. 記事中で見出しの属性の値を記述したテキスト (見出しが企業名の場合，本拠地の「東京」等)を対応する記事ページに紐付けるもので，9 システムが参加した. 全体の F1 の最高は 0.857 (ルールベース) で，カテゴリ別ではルールベースシステム，ルールベースと BERT を併用したシステムが上位であった。ルー ルベースと BERT 単独のシステムの性能と出力結果の比較分析を行い，各々の特徴を報告する。

## 1 はじめに

森羅 2021-LinkJP[1] は日本語 Wikipediaを対象にエンティティリンキングを行う，森羅プロジェクト [2] の新タスクである. 同プロジェクトでは Wikipedia の知識を機械可読な形に構造化するため,日本語 Wikipedia の記事から見出しのカテゴリ (企業名等) と属性の情報 (企業名の場合は本拠地-「東京」等) を抽出している. 本タスクでは属性の値として抽出されたテキスト (例：「東京」)を対応する Wikipedia 記事に紐付ける.

本稿では同タスクの結果の報告と，ルールベースと深層学習 (BERT) のシステムの性能と出力結果の比較分析を行い，各々の特徴を報告する。

## 2 タスク概要

本タスクの要点を以下に示す.

・(特徵 1 : 属性値リンキング) リンク元のテキストを含む Wikipedia 記事は 7 カテゴリ (人名，企業名等 $)^{1)}$ に分類され，カテゴリ毎の属性の情報 (人名の場合は国籍-「日本」，企業名の場合は本拠地-「東京」等) が抽出されている．記事中

1）拡張固有表現 [3] の 7 カテゴリ (Person, Company, City, Lake, Airport, Conference, Compound). 各カテゴリに対象属性が定義されている [1].
の属性值テキスト (「日本」，「東京」等) がメンション (紐付けを行う部分)である.

-(特徴 2：リンク対象の拡張) メンションと意味的に一致する記事がない場合, (a) 新名称の記事，(b) 部分-全体の関係にある記事，(c) 形態の異なる関連作品等の記事もリンク対象とする ${ }^{2}$.

・タスクデータはテストデータ $(19,321$ 件. リンク先存在率 $71.9 \% \%^{3)}$ ) と抽出元の Wikipedia デー タ，リンク先候補の Wikipedia データ，サンプルデータ (50 件/カテゴリ), 拡張固有表現 [3] の属性定義等である ${ }^{4)}$.

・評価はシステムの出力したリンク先が正解のリンク先 (複数) のいずれかに該当すれば正答とする ${ }^{5)}$. 評価指標は precision, recall, (micro averaged) F-measure を用いる.

## 3 タスク結果

タスクには 5 グループ 9 システムが参加した. BERT ベースが 2 システム，ルールベース (文字列一致や Wikipedia 記事の内部リンク等を利用) が 6 システム，両者を併用するものが 1 システムである.

参加システムの評価結果を表 1 に示す. micro average F1 は最高で 0.857(AIPRB:SMWL) である. ルールベースの AIPRB の 3 システム [5][6] と BERT にルールベースを組み合わせた NAIST baseline_plus_bert[7] は多くのカテゴリで F1 が高く,前者が 5 カテゴリ, 後者が 2 カテゴリでトップである. 全システムで F1 が低いのは Company である (macro average: 0.606).

次に各カテゴリ・属性の F1 を図 1 で見ると，全システムで F1 が低いのは Lake:構成する湖沼である. メンション 104 件中，リンク先が存在するものは 2

2）リンクの種類は (a)Later Name, (b)Part-of，(c)Derivation-of.

3）本稿では (リンク先が 1 つ以上存在するメンション数)/(全メンション数)を「リンク先存在率」と呼ぶ.

4）他にベースラインシステム [4] も公開しており，参加者はその他の外部データも利用可能である.

5）リンク先が存在しない場合，recall の評価対象には含めないが, precision の評価対象には含める (リンク先を出力した場合は誤答).
表 1 参加システムの評価結果（F1, precision, recall）

 & city & company & compound & conference & lake & person &  & prec. & recall & 説明 \\

図 1 参加システムの $\mathrm{F} 1$ (カテゴリ・属性別)

件だが，各システムは 28～104 件のリンク先を出力した. F1 の低いカテゴリ・属性のうち，他にリンク先存在率が特に低いものは City-地名の謂れ (0.032), Lake-名前の謂れ (0.034), Compound-特性 (0.085) で， これらは平均メンション長が長い6).

表 2 再帰リンクに関するカテゴリ・属性

 &  & 差分 \\

カテゴリ横断で $\mathrm{F} 1$ が低いものに別名等，再帰リンク (メンションを含む記事へのリンク) に関するカテゴリ・属性 (表 2)7)があり, AIPRB の 3 システムと NAIST:baseline_plus_bert のみが対応できている.

NAIST の baseline_plus_bert では BERT の前にルー ルベースの処理8)を行い，多くのカテゴリ・属性で

6）順に 54.1，45.1，24.54. 全体のマクロ平均は 9.84.

7) 本稿ではサンプルデータでの再帰リンク率 ((リンク先が再帰リンクのメンション数/リンク先の存在するメンション数) が 0.5 以上のカテゴリ・属性)を「再帰リンクに関するカテゴリ・属性」と呼ぶ.

8） entity 内のリンク, 再帰リンク, mention とタイトルの文字列完全一致.
F1 が向上しており，本タスクではルールベース等， BERT 以外の手法が有効な場合があると考えられる。

以下ではまず，ルールベースの AIPRB:SMWL(以下，AIPRB と略記)[5]，[6] の構成モジュールの単体での性能とシステムの正答への貢献を確認し，次に, BERT ベースの NAIST:only_bert(以下，N-BERT と略記)[7] と AIPRB の性能と出力結果を比較し,各々の特徴を示す。

## 4 AIPRB のモジュールの性能と正解 への貢献

表 3 AIPRB の構成モジュールと性能

 &  &  &  &  \\

AIPRB を構成するモジュール (slink(再帰リンク)， $\operatorname{mint}($ 文字列マッチ), wlink(Wikipedia リンク), linkp(リンク確率）の単体での性能を表 3 に示す. 全体として recall が低く，F1の最高は $0.721(\mathrm{mint})$ にとどまる (AIPRB 全体では 0.857.).

各モジュールの AIPRB の正解出力 (11,943 件) への貢献を見るため, モジュール単体での正解出力数を図 2 に示す. mint は AIPRB の正解の 69.6\%, wlink は $69.4 \%$ で両者は重なりが大きい (AIPRB の正解の $60.4 \%$ ) が，併用することで AIPRB の正解の $84.5 \%$ が

図 2 AIPRB のモジュールの正解出力数カバーされる，一方，slink は単独での貢献は $13.7 \%$ だが，出力の $86.8 \%$ は他モジュールで代替できない.

次にカテゴリ・属性別の性能を図 3 で見ると，比較的多くのカテゴリ・属性で $\mathrm{F}$ 值が高いのは mint, wlink である. wlink で対応できないカテゴリ・属性のうち，別名，別称等，再帰リンク率が高い属性は slink でカバーできている.

## 5 BERT とルールベースの比較（カ テゴリ・属性別)

以下，カテゴリ・属性別に AIPRB と N-BERT の違いを見ていく.

## 5.1 ルールベースが優位のカテゴリ・属性

まず，AIPRB と N-BERT の F1 を図 3 で比較すると，前者が優位のカテゴリ・属性には再帰リンクに関するカテゴリ・属性 (表 2) が多い. AIPRB のみが正解したケースの $50.2 \%$ はメンションを含む記事にリンクするもので，N-BERT との差分については slink(再帰リンクモジュール) の貢献が大きい. slink はサンプルデータ中でのカテゴリ・属性の再帰リンク率を用いて再帰リンクの判定を行っている.

次に，上記の再帰リンクに関するもの以外で AIPRB が優位 ${ }^{9}$ のカテゴリ・属性を表 6 に示す.

AIPRB が正答し，N-BERT が正答できないケースの特徴を以下に示す。

・メンションと転送先のタイトルが一致する場合 (例: 新人選手選択会議-プロ野球ドラフト会議). AIPRB は転送情報も考慮して文字列マッチングを行っている (mint).

・メンション (地名, 住所等) の部分文字列に Wikipedia ページへのリンクがある場合 (例 : < チベット>の北部，東京都文京区<湯島>4-11-16，青森県くむつ市〉). AIPRB はメンションの一部に埋め込まれたリンクに対応している (wlink).

・カテゴリ・属性・メンションに対するリンク先がサンプルデータ中に存在している場合 (例：陸運業-運輸業). AIPRB はサンプルデータ中の

9） AIPRB の F 1 が 0.2 以上上回り，かつ，N-BERT の F 1 が比較的低い (0.6 以下) もの.
カテゴリ・属性・メンションのリンク確率を用いて正答できる場合がある (linkp).

以上のように，AIPRB のみが正答したケースでは，AIPRB がサンプルデータの統計情報 (再帰リンク率，リンク確率)，転送情報，Wikipedia のリンク等，テキスト以外の情報を利用している場合が多い.

## 5.2 BERT が優位のカテゴリ・属性

次に N-BERT が優位のカテゴリ・属性 ${ }^{10)}$ (表 4) を見ると，N-BERT が正答し，AIPRB が正答できないケースはリンク先存在率が低く，平均メンション長の長いカテゴリ・属性 (Compound:特性，Compound製造方法，City-地名の謂れ，Lake-名前の謂れ) で，説明的な長いメンションの場合が多い. AIPRB にはリンク先の有無を推定して出力を制御する仕組みがないため，リンク先のない説明的な長いメンションであっても誤出力している。

## 6 BERT とルールベースの差分のそ の他の特徴

次に N-BERT と AIPRB の違いのその他の特徴を調べるため，（a）AIPRB のみが正解を出力したケー ス，(b)N-BERT のみが正解を出力したケースをリンクの種類とカテゴリ・属性により分類した結果を表 7 に示す.

(a)AIPRB のみが正解を出力したケース

約 67\%はメンションに match するぺージへのリンクで，特に多いのは再帰リンク率の高いカテゴリ・属性である ${ }^{11)}$

約 25\%は Part-Of(部分と全体) の関係にある，メンションに関する記述を含むぺージへのリンクで， City-合併市区町村と Person-作品はリストに現れるものが多い. City-合併市区町村は合併された市区町村で，合併後の行政区分にあたる，メンションを含む記事への再帰リンクが多い．93.5\%がリスト内に現れる ${ }^{12}$ ). Person-作品は作品の一部 (巻，放送回等) や関連作品等で，94.5\%がリスト中に現れる ${ }^{13)}$ 。 93.1\%が作品名へのリンクを含む．ただし，作品の放映リストでリストの下位に作品の放送回とタイトルの情報が列挙される等，リストの階層構造で作品の部分と全体の関係が表現される場合，AIPRB も正答できないケースがある.

10） N-BERT の F1 が AIPRB を 0.2 以上上回り，かつ，AIPRB の $\mathrm{F} 1$ が比較的低い (0.6 以下). ただし，頻度 10 未満は除く.
11) $\operatorname{match}(1,997$ 件) 全体の再帰リンク率は $61.2 \%$

12）リストの $65.6 \%$ 歴史，沿革等の項目の文のリスト, $34.5 \%$ は市区町村名を列挙した行政区分の変遷のリストや表

13）本文中のリスト $(91.7 \%)$ ，テンプレート中のリスト $(2.8 \%)$

図 3 AIPRB，構成モジュールと N-BERT の F1(カテゴリ・属性別)

 & & \\

約 10\%は Later Name(新名称)のリンクで, Company過去の社名は本文よりリスト内がやや多い14).

(b)N-BERT のみが正解を出力したケース

全体として, Wikipedia リンクのないメンション ${ }^{15)}$ を同名タイトルに誤リンクするものが多い.

## 7 おわりに

森羅プロジェクトのエンティティリンキングタスク (森羅 2021-LinkJP) は 9 システムが参加し, 全体ではルールベースの AIPRB:SMWL(F1:0.857), カテゴリ別では同システムとルールベースと BERT を併用した NAIST:baseline_plus_bert がトップであった. ルールベースと BERT の手法の比較のため，ルールベースの AIPRB:SMWL(以下，AIPRB) と BERT ベー スの NAIST:only_bert(以下，N-BERT) のシステムの比較を行い，以下の知見が得られた。

AIPRB が優位なカテゴリ・属性は再帰リンクに関するカテゴリ・属性 (表 2) が多い. AIPRB のみが正解したケースも $50.2 \%$ は再帰リンクである.

AIPRB が優位なカテゴリ・属性で AIPRB のみが正答したケースでは，テキスト以外の情報 (統計情報，タイトルの転送情報，メンション内の Wikipedia リンク等)を用いるものが多く，テキストの情報の

みで BERT が正答するのは難しいと考えられる.

AIPRB のみ正解を出力したケース全体では別名等の再帰リンクが多いが，約 $25 \%$ は部分と全体の関係にある記事にリンクされ，リスト中に現れるものが多い (City-合併市区町村:93.5\%，人名-作品:94.5\%). ただし，作品の一部と作品全体の関係がリストの階層構造で表現される場合は AIPRB も正答できない場合があり，文書構造の利用は共通の課題である。

AIPRB のモジュールで同システムの正答に大きく貢献しているのは文字列マッチと Wikipedia リンクである (両者併用で $84.5 \%$ ). 一方，再帰リンクは単独での出力が多く $(86.8 \%)$, 他のモジュールで代替できない. N-BERT で対応できない部分を補う場合，再帰リンクの利用は必須と考える。

N-BERT が優位なカテゴリ・属性はリンク先存在率が低いカテゴリ・属性で，説明的な長いメンションが多い，リンク先が存在しない場合，N-BERT は出力しないケースが見られるが，AIPRB にはリンク先が存在するかどうかを推定して出力を制御する仕組みがないため, NIL prediction(リンク先が存在しない場合の推定) の追加が必要である.

AIPRB の今後の課題には上述の NIL prediction, 文書構造の利用に加えて，カテゴリ・属性，メンションの特徴等の条件に応じた最適なモジュールの組み合わせ，再帰リンクやリンク確率で用いる統計情報のデータの増強がある.

## 謝辞

本研究は JSPS 科研費 JP20269633 の助成を受けたものです.

## 参考文献

[1] 森羅 2021-LinkJP，（2022-1 閲覧）. http://shinra-project. info/shinra2021linkjp/.

[2] 森羅プロジェクト, (2022-1 閲覧). http://shinra-project. info/.

[3] 拡張固有表現 ver8.1,（2022-1 閲覧）. http://ene-project. info/ene8-1/.

[4] Wikilinks JP,（2022-1 閲覧）. https://github.com/usami/ wikilinks-jp.

[5] 野本昌子. AIPRB/AIPCB at SHINRA2021-LinkJP -ルールベー スによるエンティティリンキング-, 2021. https://drive. google.com/file/d/1pwmvJbxCroTGbyvucgqVDRmy5frS5am6/.

[6] linkjpc, (2022-1 閲覧).https://github.com/nomotom/linkjpc.

[7] 氏家翔吾. 森羅 2021-LinkJP最終報告会, 2021. https://drive. google.com/file/d/1YULMaFnrzRMufa7G1DH6NYNAFUZOLVND/.

## A 付録 (Appendix)

表 5 F1 の低いカテゴリ・属性

 & メンション-リンク先の例 \\

表 6 AIPRB が優位のカテゴリ・属性の例 (再帰リンクに関するカテゴリ・属性以外)

 &  &  &  &  & slink & mint & wlink & linkp & AIPRB のみ TP の分類 & メンション-リンク先の例 \\

TP: 出力が正解 FP1: リンク先が存在する場合のシステムの誤出力, FP2: リンク先が存在しない場合のシステムの誤出力

表 7 AIPRB と N-BERT の正答の比較

} & match (371) & Person-所属組織 (36) & 日本代表 - サッカー日本代表 & & & & \\

TP: 出力が正解 slink, mint, wlink, linkp: モジュールの正解率