# ブロック形式を利用したパターンマッチシステムの構築

竹内孔 孔 ${ }^{1}$ 小笠原 崇 $^{2}$ 岡田魁人 2 今田将也 ${ }^{3}$
1 岡山大学学術研究院 ${ }^{2}$ 岡山大学大学院 3 岡山大学工学部
takeuc-k@okayama-u.ac.jp

## 概要

外国語など言語を学習する際に表現を検索す る場合や, 大規模な意見テキストから不満点や 問題点などを分析するテキストマイニングで は , 必要に応じて樣々なパターンの表現を抽出 する必要がある. 光こで本研究では, 情報抽出 や言語の学習で必要なパターンの構築に注目し て，ユーザか揤時に必要なパターンを作成・編集し，試して共有できる環境を構築することを 目標とする．本稿では既存のパターンマッチの 事例をとりあげ，光れらを包含できるマッチン グシステムとしてブロック形式の可能性につ いて議論する.さらに，Prolog 形式のパターン マッチについてブロック形式によるパターンを 作成・編集する機構をもつシステムを試作した ので報告する．

## 1 はじめに

テキストもしくは構造化したテキストから必要な情報をパターンを利用して取り出したい ことがある. 例えば，英語の構文で as〜as one can の表現を取り出して事例を確認したい場合 [1]など, 文字列のマッチだけでは不要な事例 を取り出しすぎてしまう. 近年, 自然言語処理 では深層学習が樣々な手法に取り入れられて大 きな成果を挙げているが (例えば [2]), 基本的 には取り出したいデータに対して正解データを 用意して学習する必要があるため, 一時的に必要になった言語表現を獲得する分類器を機械学習で作成するのは難しいと考えられる．通常，言語表現の獲得ではコンコーダンサが開発され ており，こうしたものを正規表現を中心とした パターンマッチで処理するシステムが提案され ている.また NLP では構文解析ツールや構文木ベースのデータ1)が構築されているため構文木に対する検索ツールも展開されている [7] . さらに質問応答という応用処理の観点からテキ ストに対して，係り受け解析などの情報を付与 したデータに対してパターンを適用して必要な 情報を獲得する情報抽出が Prolog 形式を利用 して構築されている [8].

一方で, これらの先行研究ではパターンによ る事例を獲得したいユーザが乥れジれシステム を作成することが前提となっているがこうした 個別のシステム (プログラム) で作成されてい るパターンは例え同じ内容のものを検索するパ ターンでも共有することができず，似たような 表現検索パターンを作成していたとしても何度 も個人が繰り返して作成して再利用されていな いと考えられる．しかしながらテキストから事例が欲しいユーザにとって，プログラムではな く,編集可能(つまり制御可能)なパターンと自身の持つテキストを投入して結果が得られれば 良く，多大な時間を必要とするシステム構築は 必須ではないと考えられる．この問題点を整理 すると下記のように集約できる

1. あらかじめ取り出したい言語表現は想定 できない

2. テキストの表層文字列だけではなく文法 やタグなど NLPツールを利用した検索 ツールが必要

3. 基本のパターンを処理する言語処理シス テムを組むのは容易ではない

4. システムが違うためパターンは共有でき ない

5. 既存のパターンを変更したり組合わせる ことが現状では容易ではない

この問題に対して本研究ではユーザがパター

1) 例えば Penn Treebank[3] や PropBank[4], Hinoki[5], NPCMJ[6] など.

ンを作成してテキストに対して検索結果を得ら れるだけでなく，他人が作成したパターンを編集して再利用可能な環境の構築を目指す. 本論文では様々なパターンを受け入れられる枠組と してブロック形式のパターンが可能性があるこ とを議論し，具体的な事例として Prolog 形式の パターンマッチ編集再利用環境を試作したので 報告する。

## 2 組合わせを実現する抽象的な パターンマッチ言語の検討

現在，樣々な検索意図に基づいて樣々なツ一 ル上で作成されているパターンを包含するよう なパターンマッチ言語はどのような形式が可能 であるかを議論する．

全ての言語検索の状況を考慮するのは難しい が，少なくとも前節でとりあげた (1) 言語分析 などで利用するコンコーダンサ , (2) 構文木構造テキストに対する情報抽出, (3) 質問応答に おける情報抽出の 3 つの場合について具体的に 例をあげて考察する．次にこの議論を踏まえて ブロック形式のパターンマッチシステムの可能性について記述する。

## 2.1 既存のパターンマッチング

例 1) 言語分析などで利用するコンコーダンサ 例えば1 節で示したように as X as Y can の事例 をテキストから抽出したいとする．事例として 下記のようなものが考えられる [1] .

as fast as he could, as much as he could, as well as he could, as loudly as she could, as many stones as he could, as many reapers as I can hire 言語分析では事例が漏れない (recall を高くす る)ことが重要であるため正規表現をフラット に適用したパターンマッチシステムが利用され る. as と as の間の単語) を具体的に指定する よりも単語数に応じて skip してマッチするよ うな構造が必要である。

この必要性に対して例えば Sketchengine にお ける Corpus Query Language (CQL) ${ }^{3)}$ では正規表現だけでなく単語の skip 数などが指定できる 検索言語を用意している．また日本語では茶器 [9] が形態素解析や係り受け解析のタグを利用

してフラットなパターンマッチ4)を適用するこ とで何語か離れた語に対して指定したパターン を適用した検索が可能である．

よってまとめるとコンコーダンサでは正規表現ベースで十分であるが単語の skip などを受 け付けるパターンマッチ言語が必要であると考 えられる。

例 2) 構文木構造テキストに対する情報抽出

1 節で述べたように Penn Treebank をはじめ構文木構造のテキストコーパスがあることから構文木に対して必要な部分を取り出すパターン検索言語が提案されている。例えば tregex[7]で は括弧形式の構文木 ${ }^{5}$ に に対して必要な情報を取 り出すことが出来る. ユーザは構文木の非終端記号や入れ子構造の各要素間に対する制約を指定することで必要とする情報を取り出す . 例え ば，単語だけを取り出す検索式は_!_—であ り，これに on の前置詞を持つ VP の支配下での 主辞の動詞を取り出すパターンは (_!__)»\# $(\mathrm{VP}<(\mathrm{PP} \ll \# \mathrm{on}))$ のように追加した形式となる．近年では tregex を考慮してさらに発展した構文木処理ツール StruAP[10] も提案されている.

入れ子構造に対するデータの処理は言語だけ で無く情報処理で利用されることから検索言語 が提案されている.XML 形式であれば XPath ${ }^{6)}$ があり，利用する場合は PythonBeautiful Soup ライブラリでXPath を利用できる．

XPath の事例は省略するがパターン編集の追加性を考えると入れ子構造を扱うことから単純 な構造の追加で無く取り出す目標に対してパ ターンを大きく書き換える必要があることが わかる (上記の—!_—に対して，制約を加える 際，全体を()で括る必要がある点).

例 3) 質問応答における情報抽出の例質問応答システム Watson における質問文解析では文献 [8] が示すようにテキストは内部的に構文情報など与えられた後，Prolog によ る関係データベース化を行い様々な必要とな る要素を複数のタグを利用して取り出して

4) ここでフラットと述べているの検索途中の内容を変数などに保存してさらに検索する再帰的な検索をイ メージしている. 形式言語におけるスタック付きの文法をイメージしている。

5) 例えば (PP-SBJ (NP (PRO ぞれ))(P-OPTR は)) のよう な形式 .

6) https://ja.wikipedia.org/wiki/XML_Path_Language 2022/1/12 アクセス

いる. 例えば He published Songs of a Sourdough. という文は lemma や POS など述語化 (例 えば lemma(1, “he")) したあと, authorOf(A,C):createV(Vb),subj(Vb,A),obj(Vb,C). などの Prolog 述語で createV(生成する動詞) の主語である著者 (Author)，と目的語の作品名 (Composition)を 取り出す7) . Prolog 形式の特徵は検索結果が大文字の A C といった変数に入ることである この A や C の変数に対して，さらに制約を与 えたい場合は，論理積で追加することが可能で ある．一方，例 1 の場合と異なり，テキストの 単語列に対して 2 単語後など位置を指定してパ ターンを適用するのは簡単ではないと考えら れる.

よって情報抽出における例では Prolog 形式 のパターン言語の場合は追加編集は容易である 一方で，コンコーダンサなどで利用されている 正規表現や単語の skip する構造は明示的に書 くのは難しいと考えられる．

## 2.2 ブロックベースのパターン構想

前節にあげた複数の検索タスクを可能な限 り包含するパターンマッチシステムを考察す る.まず例 3 に注目すると検索した内容を変数として取り出して再利用可能な点が特徵的 である. Prolog の場合ならば述語を 1 つのブ ロックとして検索されたものを変数として1つ のパターンを作成するとする．前節の例では authorOf(A,C) であるが，さらに著者について Heなどの代名詞ではなく固有名詞が必要な場合はさらに authorOf(A,C) の A に対してさらな る制約を論理積として実現することができる．

しかし Prolog に基づいた規則を守ると例 1 にあるような $\mathrm{n}$ 単語後の語など指定した条件で 単語を読み飛ばす機構は容易に書くことはで きない．しかし Prolog に限定しなげればプロ グラムの正規表現は利用可能である．例えば Prolog で検索した結果に対して，常に光の変数 の結果を含む文も取り出すとすると，文に対し て $\mathrm{n}$ 単語後という制約を加えて対応する語を取 り出すことは可能である.よって Prolog だけ では無く，ある検索クエリを持つブロックを仮定して, 入力と取り出したい目的出力とマッチ

7） テキストは解析されて subjや obj タグならびに createV の動詞集合などは与えられているとする．
した文の出力を仮定すれば例 1 における検索要求はブロックの組合わせで満たすのではないだ ろうか.

## 検索ブロック $(\mathrm{Q, \mathrm{I}, \mathrm{Oa}, \mathrm{Os})$}

$=\mathrm{Q}:$ 検索クエリ, $\mathrm{I}:$ 検索対象の入力, Oa:出力引数,Os:マッチ要素を含む文

このブロックの論理積や論理和などを記述す ることで Prolog でも正規表現も両方検索する． ここで検索クエリは当然，Prolog と正規表現で は処理方法が違うため検索ブロックに種類を仮定する必要がある．また正規表現でも $\mathrm{n}$ 単語読 み飛ばすものと，文字列に対する正規パターン とは扱いが異なる．光うしたものも別ブロック として用意しておく.

また，Prolog 形式では authorOf(A,C) の検索 でヒットした A $\mathrm{C}$ はマッチした文の要素番号の集合が入るが，番号では正規表現パター ンマッチは適用できない.つねに文の要素の span 情報の集合を検索結果としておくことで，正規表現適用の際には内部的に文字列に戻すこ とでテキスト (タグ付きテキストも含めて)の 検索が可能であると考えられる．この spanに よるデータの構造化は既に IBM の Watson で利用された UIMA と同じ方向である [11] .

こうした抽象化した検索ブロックを仮定する と例 2 も同樣である . tregex などで検索にマッ チした結果は必ずテキストの集合として獲得で きる. 光こで炎の出力集合に対してより制約を かける場合には他の検索ブロックとの論理積で 実現できるたただし，構文木ベースのパターン マッチ間の組み替えなどは難しい．先の例にも 挙げたように，tregex の編集は全体の構造を変 える必要があることが多く，単に文字列結合 などでは実現できないことが多い (2.1 節参照) よって構文木光のもののパターンを書き換える ことは仮定せず，樣々なパターンをあらかじめ 用意しておき，独立に論理積で利用して制約 する.

このように検索ブロックを仮定して抽象化す ると, 品詞や単語といった従来の文法ベースに 特化しない検索の組合せが可能となる．例えば 入力文の参照情報を取り出す分類器を深層学習 で作成できたとする．この分類器を検索ブロッ

図 1 ブロックベースのパターンマッチシステム

クとして設定しておくと利用することが可能に なる. 具体的には上述の Prolog の例における authorOf(A,C)のXに対して著者 A が代名詞で 合った場合に固有表現を探すブロックに適用し て A に対する固有表現 $\mathrm{P}$ を取り出すことが可能になる．

よって抽象的な組合わせ可能な検索ブロック を仮定することで Prolog や正規表現 ，および分類器まで含めた検索が構築できるのではないと 考えられる.ユーザは抽象ブロックの操作のみ に集中して意図する情報がとれるかどうかを編集しながら検討することに集中できる．

## 3 Prolog ベースのパターンマッ チシステム

上記の背景議論を基にパターンマッチシステ ムを試作した . 現段階では Prolog の述語の単位を 1 つの検索ブロックとして仮定している．下記の構築を通して実際にパターンマッチを実行する上での問題点について考察する．

テキストの解析として係り受け解析は CaboChaを利用して意味役割と概念フレーム 付与は ASA を利用している8). テキストは文献 [12] のように prolog の述語として関係付け される.ブロックの組合わせを実現するため に blockly を利用した Javascript によるブラウザ ベースの編集実行環境を構築した [13] . 図 1 に システムの操作画面を示す . Blokly におけるブ ロックの引数部分が Prolog の引数として機能 している.ユーザは基本ブロックを組合わせる

8) https://github.com/Takeuchi-Lab-LM/python_asa
ことでパターンを作ることができる. 基本ブ ロックとして chunkや role が設定されている．画面下部にはブロックから Prolog の検索クエ リに変換した結果が表示されている。

テキストを取り込んだ後にこのパターンを 適用することで検索結果が表示される. 現在 は 1000 文を取り込むために 1 分程度時間がか かっている . Prolog ベースのパターンマッチは Python で実装しているが 1000 文程度では検索 そのものには時間はほとんどかかっていない. しかしながら大規模なテキストになった場合， テキストの upload 時の解析と検索に大きく時間がかかることが想定される。

## 4 おわりに

本研究ではパターンマッチシステムに焦点を あてて，既存のコンコーダンサや情報抽出シス テムで使われているパターンを取り扱う抽象的なパターンの構築と利用について議論した。考察の結果ブロック形式でまとめることで多 くのパターンを包含できることが予測される． この考えを具現化する試作モデルとして Prolog ベースの検索システムを構築した .

試作システムは簡易であるがパターンを保存 して読み込み，編集して保存することが可能で ある.こうした機能を拡充することにより，作成したパターンを共有してユーザが多くのパ ターンを手軽に利用できる環境を構築すること が目標である .

## 謝辞

本研究は JSPS 科研費 (課題番号 19K00552) と (課題番号 $15 \mathrm{H} 03210$ ) および国立国語研究所機関拠点型基幹研究プロジェクト「統語・意味解析コーパスの開発と言語研究」の助成を受けた ものである .

## 参考文献

[1] 大名力. 言語研究のための正規表現によるコー パス検索. ひつじ書房, 2012

[2] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding, 2018.

[3] Mitchell P. Marcus, Beatrice Santorini, and Mary Ann Marcinkiewicz. Building a large annotated corpus of English: The Penn Treebank. Computational Linguistics, Vol. 19, No. 2, pp. 313-330, 1993.

[4] Paul Kingsbury, Martha Palmer, and Mitch Marcus. Adding semantic annotation to the penn treebank. In Proceedings of the Human Language Technology Conference, 2002

[5] Sanae Fujita, Takaaki Tanaka, Fransis Bond, and Hiromi Nakaiwa. An implemented description of japanese: The lexeed dictionary and the hinoki treebank. In Proceedings of the COLING/ACL06 Interactive Presentation Sessions, pp. 65-68, 2006.

[6] Stephen Wright Horn, Iku Nagasaki, Alastair Butler, and Kei Yoshimoto. Annotation Manual for the NPCMJ. National Institute of Japanese Language and Linguistics, 2019.

[7] Roger Levy and Galen Andrew. Tregex and tsurgeon: tools for querying and manipulating tree data structures. In Proceedings of the th International Conference on Language Resources and Evaluation (LREC 2006), pp. 2231-2234, 2006.

[8] A. Lally, J. M. Prager, M. C. McCord, B. K. Boguraev, S. Patwardhan, J. Fan, P. Fodor, and J. ChuCarroll. Question analysis: How Watson reads a clue. IBM Journal Research and Development, Vol. 56, No. 3/4, pp. 2:1-2:14, 2012.

[9] 松本裕治, 浅原正幸, 岩立将和, 森田敏生. 形態素・係り受け解析済みコーパス管理・検索ツー ル「茶器」. 情報処理学会研究報告. 自然言語処理研究会報告, Vol. 2010, No. 18, pp. 1-6, Nov 2010.

[10] Kohsuke Yanai, Misa Sato, Toshihiko Yanase, Kenzo Kurotsuchi, Yuta Koreeda, and Yoshiki Niwa. Struap: A tool for bundling linguistic trees through structure-based abstract pattern. In Proceedings of the 2017 EMNLP System Demonstrations, pp. 3136, 2017.

[11] David Ferrucci and Adam Lally. Uima:an architectural approach to unstructured information process- ing in the corporate research environment. Natural Language Engineering 10, Vol. 10, No. 3/4, pp. $327-$ 348, 2004

[12] 小笠原崇, 竹内孔一. 意味役割付与テキストに 対する prolog ベースの探索木による言語パタ ンマッチシステム構築. 言語処理学会第 27 回年次大会発表論文集, 2021.

[13] 岡田魁人, 竹内孔一. Blockly を利用したタグ付 きコーパス検索パタン構築ツール. 言語処理学会第 27 回年次大会発表論文集, 2021.


# 極小主義に基づく並列ツリーバンクの構築

野元 裕樹
東京外国語大学
nomoto@tufs.ac.jp

## 概要

本研究では, TUFS Asian Language Parallel Corpus のマレー語とインドネシア語のデータに対して極小主義統語論に基づく構成素構造の統語アノテー ションを行い，並列ツリーバンクを構築した。それ ぞれ 1,386 文，1,385 文から成る．極小主義に基づく アノテーションは Penn Treebank 式句構造文法より も詳細で，言語の性質を正確に捉えられる．特徴と しては，厳格な二分股枝分かれ，内心構造の明示的表示，無形要素の多用，述語項構造の句構造への直接的反映，項と付加詞の明確な区別が挙げられる.

## 1 はじめに

一連の文に対して統語的アノテーションを付し たツリーバンクは，単一の語やその周辺の数語だ けからでは不可能な言語の特徴の把握を可能にす るため，自然言語処理や言語学にとって重要な言語資源である。しかし，形態情報などのアノテー ションに比べ，統語構造のアノテーションは難し いため, 本格的なツリーバンクが存在する言語は 限られている. 本研究では, 筆者らが構築したマ レー語とインドネシア語のツリーバンクについて論 じる1).このツリーバンクは, TUFS Asian Language Parallel Corpus (TALPCo) [1] の両言語のデータに構成素構造のアノテーションを行ったものである. そ の結果，並列ツリーバンクとなっている．また，ア ノテーションの基礎となる文法理論として極小主義 (minimalism) の枠組み [2]を採用した. 極小主義は，四半世紀以上に渡り，マレー語・インドネシア語を 含む多くの言語の言語学的研究で最も広く採用さ れている，構成素構造を中核とする統語理論である [3].

1）マレー語 (ISO 639-3: zsm) とインドネシア語 (ISO 639-3: ind) は，広義のマレー語 (ISO 639-3: msa) の 2 つの地域変種であ る. 前者はマレーシア，シンガポール，ブルネイの公用語で あり，後者はインドネシアの公用語である. 両者の違いは語彙や音韻が中心だが，文法においても細かな違いが存在する.

## 2 関連研究

筆者の知る限り，マレー語のツリーバンクは存在 しない.インドネシア語には少なくとも 5 つのツ リーバンクが存在する。まず，Penn Treebank（以下， PTB）式句構造文法 $[4,5]$ に依拠するものとして， Kethu: An Indonesian Constituency Treebank in the Penn Treebank Format [6] がある.このツリーバンクは Indonesian Treebank [7] の改訂版で，1,030 文のニュー ス文から成る。次に，主辞駆動句構造文法 (HPSG) に依拠するものとして，JATI [8] と Cendana [9] があ る. 前者は 1,253 の辞書の定義文（ほぼすべて名詞句), 後者は旅行会社のオペレーターと顧客のチャッ 卜 715 文から成る. 4 つ目は，Universal Dependencies $[10,11,12]$ で，規模が最も大きい. フォーマルな会話 (GSD; 5,598 文), ニュース・Wikipedia (PUD; 1,000 文), ニュース (CSUI; Kethu からの変換 1,030 文) から成る. 最後に, 語彙機能文法 (LFG) に基づく ParGram Parallel Treebank (ParGramBank) [13] がある が，かなり小さい（79文）.

## 3 TALPCo ツリーバンクの概要

本研究では，極小主義の枠組みに従い，TALPCo のデータに構成素構造のアノテーションを付与した が，このデータを便宜的に「TALPCo ツリーバンク」 と呼ぶことにする. TALPCo ツリーバンクは，マ レー語 1,386 文，インドネシア語 1,385 文から成る.

TALPCo のデータは，日本語文からの翻訳文であ る. 日本語文は，日本語能力試験 N5 レべルの基礎語彙の学習のための例文で，フォーマルな会話で用 いられる比較的短いものである（例：「帰る電車が なかったので，友達の家に泊まりました.」)．翻訳文も同様にフォーマルな口語体の文となっている。

アノテーションは筆者と東京外国語大学言語文化学部の学部生 4 名の計 5 名で行った. この学生達 は，マレー語またはインドネシア語を専攻言語とし て学び，いずれも統語論の授業を履修済みである.
学生が行ったアノテーションはすべて筆者が確認・修正を行った. 作業開始前に筆者が基本的な構文を カバーしたアノテーションマニュアル（執筆言語 は日本語）を作成した. マニュアルは随時更新し, 2022 年 1 月時点で 109 ページに及ぶ. このマニュア ルは，Indonesian Treebank の手引き（54 ページ，執筆言語はインドネシア語 $\left.)^{2}\right)$ よりも充実している.

アノテーションのツールとして Syntax Tree Generator) を用いた. このツールでは，ラベル付き 括弧表示を入力すると構文木が表示される（図 1）.図の上部のボックスにあるようなラベル付き括弧表示を作成し, アノテーション結果として表計算ファ イルに貼り付けていった. すべての結果を TALPCo のホームページ4)で公開する予定である.

## Syntax Tree Generator

[S [CP [C *C_decl $\left.{ }^{*}\right]$ [TP [DP_a [NP [N Beg]][D ini]] [T' [T $\left.{ }^{*} T^{*}\right]$ [AP $\left[D^{*}{ }^{*}<a>\right.$ ] [A mahal]]]]] [PU .]]

(C) 2011 by Miles Shang, see license.

## Options

Help

図 1 アノテーションの際に用いた Syntax Tree Generator

極小主義に基づく構文木は他の文法理論に比べて 大きくなる. 図 1 は，Beg ini mahal.（このかばんは 高かったです）というマレー語文の統語構造を示し たもで，非終端節点は 14 ある. Indonesian Treebank の手引きに従って，PTB 式に同じ文を分析すると 図 2 のようになり，非終端節点の数は半分の 7 とな る. 表 1 は TALPCo ツリーバンクの非終端節点の 数をまとめたものである. 参考のために Kethu の情報も加えた. PTB 式のアノテーションにもかかわ らず，Kethu の数值が大きくなるのは，平均文長が

2) https://github.com/famrashel/idn-treebank/blob/ master/BracketingGuidelines.pdf

3) http://mshang.ca/syntree/

4) https://github.com/matbahasa/TALPCo
TALPCo よりもはるかに長いためである.

図 2 図 1 と同じ文を Penn Treebank 式に分析した構文木

表 1 TALPCo ツリーバンクと Kethu の非終端節点の数

## 4 アノテーションの特徴

本節では，TALPCoツリーバンクのアノテーショ ンの枠組みの特徴について論じる. その際，必要に 応じて PTB 式との違いも指摘する. アノテーショ ンにおいては，できる限り言語学における標準的分析を反映するようにした。しかし同時に，不必要に 細部にこだわり過ぎないようにもした。これは，ア ノテーション作業を十分遂行可能なものにするため と, 結果として得られるアノテーションが過度に複雑にならないようにするためである.このような実際的な妥協により, 本来なら可能な分析が不可能に なることもあった．その場合は，統語範疇に-PostV （vP 指定部が例外的に右側に出る）のようなフラグ を付すなどして対応した。

## 4.1 二分肢枝分かれ

句構造の枝分かれは二分肢のみを原則とする.た だし，文末以外の句読点 (XP, YP; “XP.”) は例外とし て三分肢以上を認める。これは文法ではなく，正書法上の理由から生じる例外である.

二分肢枝分かれの原則は，極小主義における句構造生成のメカニズムである併合 (Merge) が 2 つの統語的構成物に対する操作であることによる。一方， PTB 式句構造文法では枝分かれ数に制限が存在しな い. 実際に Kethu では四分肢や五分肢の枝分かれ構造が見られる。そのようなアノテーションは容易だ ろうが，構成素構造を誤って表示しているため，ア ノテーションのためのアノテーションでしかない.

## 4.2 内心構造

自然言語の句構造は通常，内心構造を示す.すな わち，XP は内部に必ず主要部／主辞 Xを持つ. ア ノテーションではこのことが明示的に分かるように する. ただし，アノテーション対象全体に対して付 す $\mathrm{S}$ は例外である。この例外は，二分肢枝分かれの 原則を守りつつ句読点をアノテーションに含めるた めに生じるもので，やはり正書法上の理由による.

PTB 式アノテーションでは自然言語の重要な特性である内心構造が不明瞭になることが多い。例え ば，JJ（形容詞）が ADJP（形容詞句）の主要部であ ることはタグの形式だけからは分からない（図 2).

## 4.3 無形要素

実際には発音されない無形要素を多用する。無形要素は極小主義の統語分析から来るものと, 統語構造を基に行われる意味解釈を無理なく行うために仮定したものがある．例えば，後者の一つである無形 の前置詞*selama*は名詞句 satu jam（一時間）を前置詞句（英 for an hour）として解釈できるようにする.

1. 統語分析に基づく無形要素

(a) 空代名詞 : *PRO*, * $\mathrm{pro}^{*}$ (b) 空演算子 : *Op*

(c) 痕跡：*t* (d) いわゆる Ø: *C*, *C_cont*, *C_decl*, *C_excl*, *C_imp*, *C_int*, *Top*, *Foc*, *T*, *v_tr*, *v_act*, *v_pass*, *v_intr*, *v_unerg*, *v_unacc*, *v_cop*, *v_eq*, *Appl*, *D*, *D_def*, *D_indef*, *exp* , *Poss* , *Num*, *PL* ${ }^{*} \mathrm{~N}$,, *_nnmlz*, *Conj*

2. 意味解釈のための無形要素 *ada*, *atau*, *dan*, *dari*, *dengan*, *di*, *hari*, *kalau*, *ke*, *pada*, *per*, *sebanyak*, *selama*, *untuk*, *yang*, *0*

## 4.4 移動（内的併合）

極小主義に基づく統語分析では，句構造は併合の 操作により, ボトムアップで派生される. すでに構造上に存在する要素を再び併合することも可能で (内的併合)，その場合，要素が「移動」する．移動元の要素をく> で示すと以下のようになる.

$
\operatorname{Merge}(\gamma,\{\alpha,\{\beta, \gamma\}\}) \rightarrow\{\gamma,\{\alpha,\{\beta,<\gamma>\}\}\}
$

<> 内の要素は, 移動の痕跡 (trace) と呼ばれ, 発音 はされない. TALPCoツリーバンクでは痕跡は*t*で 示し，対応する要素に添え字を付ける (図 1 参照).後者はアノテーションツールの仕様によるものであ る. 移動の考えは PTB 式でも疑問詞疑問文や受動文などで採用されている. TALPCo ツリーバンクで はさらに多くの移動を取り扱う. 特に重要なのが述語内主語仮説の採用に伴う主語の移動である.

述語内主語仮説とは，ある述語の項はすべてそ の述語が投射する句の中に生起するという仮説で ある.これにより, 句構造から述語項構造を読み 取ることが可能になる。例えば，図 1 では，形容詞 mahal（高価な）の投射する句 AP の中に DP の痕跡 が存在し, mahal は DP 項を一つ要求することが分 かる. そして，添え字、により当該項は移動して表層の主語として生起することが分かる。 また，主語 は TP 指定部という構造上の位置として定義できる ため，PTB 式アノテーションの-SBJのような特別な フラグで主語にアノテーションをする必要はない.

さらに，述語内主語仮説によりマレー語・インド ネシア語などに特有の裸受動構文 [14] がうまく分析できる. 図 3 は, Gambar itu saya ambil pada bulan lepas（あの写真は先月撮りました）というマレー語 の裸受動文の構造を示したものである．被動作主 gambar itu（あの写真）は日英語の受動文と同様に表層の主語の位置に移動するが，動作主 saya（私）は 日英語のように付加詞 PP となはならず，名詞句の 形で基底の位置にとどまる。

図 3 裸受動文の構造

## 4.5 項と付加詞の区別

述語内主語仮説により，述語の項はその述語が投射する句の中に生起する。一方，付加詞はその外側 に位置し，同じ句ラベルを繰り返す。この違いによ り述語の項と付加詞の区別が句構造から読み取れ る. 例えば，図 3 では，動詞 ambil（撮る）の項であ る動作主 saya（私）と被動者 gambar itu（あの写真） （の痕跡）は動詞句 $\mathrm{vP}$ 内に位置する。一方，付加詞
pada bulan lepas（先月に）はその vP の外側に現れ る. PTB 式だと, すべて VP の直下に現れて, 項と 付加詞の区別は付かない $\left(\right.$ 図 4) ${ }^{5}$ ).

図 4 図 3 と同じ文を Penn Treebank 式に分析した構文木 （紙幅の都合上 bulan lepas の内部構造は省略）

## 4.6 トークン化と POS タグ

マレー語・インドネシア語のトークン化では普通，語と接語の分割を行うが，極小主義統語論に基 づく TALPCo ツリーバンクではより小さな単位への トークン化が必要になる. 具体的には, 以下の接辞 が新たにトークン化の対象となる。

1. 態を表す接辞: meN-(能動態), di-(受動態), -kan (受益者適用態)，-i (場所適用態)

2. 名詞句に付いて「〜を持つ，伴う」の意味を持 つ動詞接頭辞 ber-

併合は 2 つの統語的構成物を対象とするため,極小主義の句構造には非枝分かれ節点は本来的に 生じない. つまり，[XP $[\mathrm{X} \alpha]]$ はあり得ず，それは $[\mathrm{XP} \alpha]$ となる. そのような句構造を裸句構造 (bare phrase structure) という. しかし， TALPCo ツリーバ ンクでは裸句構造は採用せず，終端節点すなわち構文木の葉の部分は必ず XP でなくX の形になるよう にした. これは葉の部分から簡単に POS タグの情報を得られるようにするという言語資源としての有用性を考慮してのことである. TALPCo ツリーバン クに用いられている POS タグを表 2 にまとめる.

## 5 おわりに

TALPCo ツリーバンクは，マレー語では初のツ リーバンクであり，インドネシア語では既存の構成素構造に基づくツリーバンクと肩を並べるものと言 える. アノテーションの形式は基本的に PTB と同

表 2 TALPCoツリーバンクにおける POS タグの分布

じであるため，[ ] を ( ) に変換することで Tregex[15] などの PTB 式句構造文法に従ったツリーバンク用 に開発されたツールを利用できる。言語分析は極小主義統語論に基づいており，PTB 式句構造文法より も言語の性質をうまく捉えることができている。そ のため，言語学の研究や教育においての利用が期待 できる。一方，自然言語処理の分野では PTB 式句構造文法や依存文法が主流であり, 英語の大規模言語資源が登場した段階で分野全体の言語分析が固定化する傾向が強いため, マレー語・インドネシア語 の自然言語処理で TALPCo ツリーバンクが直接利用 されることは考えにくい。そこで，PTB 式や組合せ 範疇文法 $(\mathrm{CCG})$ への変換を通しての利用が考えられ る. 二分股枝分かれを基本とし，意味解釈を考慮に 入れている TALPCo ツリーバンクは CCG との相性 がよいと言えよう.

TALPCo ツリーバンクはサイズは決して大きくな いものの，より大規模なツリーバンクの構築への足掛かりとなる。極小主義は言語学の統語論で最も広 く採用されている理論であり，統語論の授業を履修 した学部上級生から大学院生であれば，アノテー ションガイドを参照しつつアノテーション作業を 行うことができる. さらに，今後アノテーションマ ニュアルを翻訳することで，母語話者によるアノ テーションにもつなげたい.

TALPCo には他に日本語, 朝鮮語, タイ語, ベトナ ム語，ビルマ語，英語が含まれる。これらの言語に ついても同様のアノテーションを付すことで，より 有益な並列ツリーバンクが構築できる。すでに英語 のデータの一部についてアノテーションを行った.

## 謝辞

本研究は JSPS 科研費 JP18K00568 および JP20H01255 の助成を受けた。

## 参考文献

[1] Hiroki Nomoto, Kenji Okano, David Moeljadi, and Hideo Sawada. TUFS Asian Language Parallel Corpus (TALPCo). In Proceedings of the Twenty-Fourth Annual Meeting of the Association for Natural Language Processing, pp. 436-439, 2018.

[2] Noam Chomsky. The Minimalist Program. MIT Press, Cambridge, MA, 1995.

[3] Andrew Carnie. Syntax: A Generative Introduction. Wiley-Blackwell, Oxford, 4th edition, 2021.

[4] Mitchell Marcus, Grace Kim, Mary Ann Marcinkiewicz, Robert MacIntyre, Ann Bies, Mark Ferguson, Karen Katz, and Britta Schasberger. The Penn Treebank: Annotating predicate argument structure. In Proceedings of the Workshop on Human Language Technology, pp. 114119, 1994.

[5] Ann Bies, Mark Ferguson, Karen Katz, Robert MacIntyre, Victoria Tredinnick, Grace Kim, Mary Marcinkiewicz, and Britta Schasberger. Bracketing guidelines for Treebank II style Penn Treebank project, 1995.

[6] Jessica Naraiswari Arwidarasti, Ika Alfina, and Adila Alfa Krisnadhi. Converting an Indonesian constituency treebank to the Penn Treebank format. In 2019 International Conference on Asian Language Processing (IALP), pp. 331-336, 2019.

[7] Arawinda Dinakaramani, Fam Rashel, Andry Luthfi, and Ruli Manurung. Designing an Indonesian part of speech tagset and manually tagged Indonesian corpus. In The Proceedings of the International Conference on Asian Language Processing 2014, IALP 2014, pp. 66-69, 2014.

[8] David Moeljadi. An Indonesian Resource Grammar (INDRA) and Its Application to a Treebank (JATI). PhD thesis, Nanyang Technological University, 2017.

[9] David Moeljadi. Building Cendana: A treebank for informal Indonesian. In Proceedings of 33rd Pacific Asia Conference on Language, Information and Computation (PACLIC 33), pp. 156-164, 2019.

[10] Ryan McDonald, Joakim Nivre, Yvonne QuirmbachBrundage, Yoav Goldberg, Dipanjan Das, Kuzman Ganchev, Keith Hall, Slav Petrov, Hao Zhang, Oscar Tackstrom, Claudia Bedini, Nuria Bertomeu Castello, and Jungmee Lee. Universal Dependency annotation for multilingual parsing. In Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics, pp. 92-97, 2013.

[11] Ika Alfina, Arawinda Dinakaramani, Mohamad Ivan Fanany, and Heru Suhartanto. A gold standard dependency treebank for Indonesian. In Proceedings of 33rd Pacific Asia Conference on Language, Information and Computation (PACLIC 33), pp. 1-9, 2019.

[12] Ika Alfina, Indra Budi, and Heru Suhartanto. Tree rotations for dependency trees: Converting the head-directionality of noun phrases. Journal of Computer Science, Vol. 16, No. 11, pp. 1585-1597, 2020.

[13] Sebastian Sulger, Miriam Butt, Tracy Holloway King, Paul Meurer, Tibor Laczkó, Gyöorgy Rákosi, Cheikh Bamba Dione, Helge Dyvik, Victoria Rosen, Koenraad De Smedt, Agnieszka Patejuk, Özlem Çetinoğlu, I Wayan Arka, and Meladel Mistica. ParGramBank: The ParGram parallel treebank. In Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics, pp. 550-560, 2013.

[14] Hiroki Nomoto. Bare passive agent hierarchy. In Henrison Hsieh and Keely New, editors, Proceedings of the Twenty-Seventh Meeting of the Austronesian Formal Linguistics Association, pp. 57-70, Ontario, 2021. University of Western Ontario.

[15] Roger Levy and Galen Andrew. Tregex and Tsurgeon: Tools for querying and manipulating tree data structures. In 5th International Conference on Language Resources and Evaluation (LREC 2006), 2006.


# 規範的な日本語日常対話コーパスの設計

赤間怜奈 1,2 磯部順子 2,1 鈴木潤 1,2 乾健太郎 1,2
1 東北大学 2 理化学研究所
\{akama, jun.suzuki, inui\}@tohoku.ac.jp, yoriko.isobe@riken.jp

## 概要

規範的な日本語表現で構成される日本語日常対話 コーパスの開発に取り組んでいる。本稿では，コー パスの概要とその構築方法を紹介する．実際に本 コーパスの一部として収集した小規模対話データの 特性を，複数の観点から既存の対話コーパスと比較分析し，その結果を報告する。

## 1 はじめに

対話システムの性能についての議論は，一般論と して，人間の主観的な「良さ」に基づいておこなわ れる。近年は，複数システムの出力応答について 「どちらが良いか」を人間が比較評価し，その勝敗 によって性能を議論する枠組みがひとつの主流と なっている．昨今の対話システムは出力内容に着目 した総合的な主観評価の上では着実に性能が改善さ れているが $[1,2,3]$, その一方で, その性能改善の要因や依然として残る技術的な課題についてはほとん どわかっていない状況といえる。この要因のひとつ として，そもそも対話は言語の表現の自由度が非常 に高いものであるために（基本語彙以外の語句の出現や，基本語順からの逸脱も頻繁に起こる），一定 の基準や特定の正解を軸にしたエラー分析が困難と なっていることが考えられる。

そこで我々は，基本語彙や正しい語順の使用を 可能な限り優先した規範的な言語表現で構成さ れる新たな対話コーパスとして，日本語日常対話 （Japanese Daily-Dialogue; JDD）コーパスの開発に

際の対話データ（たとえば，音声対話の書き起こし やSNS）が持つ人間のリアルな言語活動の表出とい う特長が失われているが，その分，ある種形式的で 簡潔な問題設定となっているため，対話を対象とし

1）完成した日本語日常対話コーパスは，主に研究用途として 公開することを予定している。表 1 作成した対話データの例（トピック「旅行」）

A: 卒業旅行は、イタリアに行こうと思います。

B: それは、楽しそうです。イタリアのどちらに行かれ るご予定ですか？

A：ローマとヴェネツィア、フィレンツェです。もう予約してきました。

B: それは、良いですね。私も以前フィレンツェに行っ たことがありますが、食事がとても美味しかったこ とが印象に残っています。

A: はい。フィレンツェは、それが楽しみで行くことに しました。

B：ローマとヴェネツィアも、史跡と美術館巡りがとて も楽しいと聞いたことがあります。

A: はい。実は私、大学でイタリア美術を研究していた ので、その勉強を兼ねて行くことにしたのです。

B: そうだったのですね。そうしましたら、ますます楽 しみですね。

A: はい、ありがとうございます。

た意味的・統語的言語理解の分析はしやすいものに なっていると考えられる．また，本コーパスに収録 する対話の作成や書式の正規化は，全て人手でおこ なわれているため，ノイズが少なく計算機上でも処理がしやすい. 表 1 にコーパス中の対話例を示す.

本稿では，日本語日常対話コーパスの概要を紹介し，その構築手順を説明する。その上で，実際に コーパスの一部として収集した小規模対話データに ついて，これが望ましい規範的な性質を有している ことを複数の観点から確認する。

## 2 日本語日常対話コーパス

## 2.1 概要

日本語日常対話コーパスは，書き言葉を対象に，規範的な対話を収録した言語資源である。ここでい う規範的な対話とは，実際の日常生活で使用するに は少しの不自然さがあるものの，道徳的な内容かつ
表 2 作成された対話の統計情報

} \\

正しく丁寧な表現で書き表されている対話のこと を指す. 直感的には，初等から中等教育レベルの言語学習用教材で用いられるような対話表現に近い. すべての対話はふたりの話者 $\mathrm{A} ， \mathrm{~B}$ が交互に発話を おこなう形式で，基本的には対話の始まりと終わり が設計されている. ひとつの対話は 4 以上の発話, ひとつの発話は 1 以上の文で構成されている. 各対話には，トピック情報が付加されている. 将来的に は，対話単位での難易度，発話単位での発話行為夕 グや感情タグ等の付加情報も追加する予定である.

## 2.2 構築手順

日本語日常対話コーパスの構築は，すべての工程 を人手でおこなう．構築手順は以下の通りである：

1. コーパスに含める対話のトピックを選定

2. 各トピックに該当する対話を作成

3. 書式（表記摇れ，常用漢字等）を正規化

4. 発話行為タグ等の付加情報をアノテーション

なお，本研究ではひとまず手順 2 までを小規模に 実施し，規範的な特性を持った対話データが取得可能であることを確かめる. 本試行で取得する対話 データを，日本語日常対話コーパス v0（JDD v0）と 呼ぶ. JDD v0 の構築方法の詳細を次節で説明する。

## 2.3 各手順の詳細

手順 1: トピックの選定 本コーパスで取り扱 うトピックは, 既存の他言語資源と日本語会話に 関する既存研究を参考に，基礎的な日本語対話を 広く含むように慎重に選定した. 基本的には，近年の対話研究で人気のある英語日常対話コーパス DailyDialog [4] で採用されているトピックを参考に する. ${ }^{2)}$ 一方で, 我々の目的は基礎的な日本語対話が 収録されたコーパスを構築することにあるため，選

定するトピックは, 日本の文化的特性によく調和す るもの，かつ，高度な専門知識等を必要とせず多く の人にとって容易対話を展開できるものであること が望ましい。そこで，日本語教育学の知見を参考に 日本語の会話によく馴染むトピックを優先的に採用 することを考える. 本研究では, 山内らによる話題 の難易度分類を参考にした [5]. これは，橋本ら [6] が作成した日本語会話の 100 の話題について, 各話題に関連する語に対しての人間の主観的な身近さ や会話内での需要に基づき，それらの難易度を 4 つ のレベルに分類したものである．たとえば，「財政 (Finance)」は英語では日常会話における一般的な話題のひとつであるが, 山内らの分類によると, 日本語では難易度が高い話題（難易度レベルが上から 2 番目）とされている.これらを参考に，最終的に，日常生活, 学校, 旅行, 健康, 媅楽の 5 つを日本語日常対話コーパスのトピックとして採用した.

手順 2: 対話の作成 対話の作成は，日本語を母国語とする 51 名の作業者によっておこなわれた.各トピックにつき $8 \sim 11$ 名が割り当てられ, 作業者 1名がひとつの対話（つまり，話者 A，Bによる一連の発話系列）を作成した. 作業者には, できるだ けたくさんの一般的な語彙と多様なモダリティを 含んだ 4 発話以上からなる対話を，正しく丁寧な日本語表現で作成するよう指示した. 作業者への教示 と，提示した参考資料の詳細を，付録 $\mathrm{A}$ に示す. さ らに，対話データ全体の品質を担保するために，作業者が作成したすべての対話について作業者とは別 の 5 名による品質チェックがおこなわれた.

## 2.4 JDD v0 の基本統計

上記の手順により, 本研究で収集した対話に関 する統計情報を，表 2 に示す.3）統計値の算出に際 し, トークン分割には日本語形態素解析機 $\left.\mathrm{MeCab}^{4}\right)$

表 3 各日本語対話コーパスの統計情報と語彙的特長

 & 語彙数 $(V)$ & TTR (\%) & Herdan's C \\

と日本語形態素解析辞書 mecab-ipadic-NEologd 5)を 用いた. すべてのトピックでそれぞれ 200 以上，全体で 1,006 の対話が得られた. 発話単位で計数する と，6,432 発話となる. トピック毎の対話の傾向を 観察すると， 1 対話あたりの発話長については，旅行トピックが他の 4 つに比べて若干大きい值であっ た. また，1 発話あたりのトークン長については， トピック間でのばらつきはあまり認められなかっ た. なお，完成版の日本語日常対話コーパスは，こ の 2～ 10 倍のデータサイズとする予定である.

## 3 分析: 既存対話データとの比較

## 3.1 設定

比較対象 比較対象として，日本語日常対話コー パスと同様，人手で書かれた対話データからなる次 の 5 つのコーパスを用いる6):
- Business Scene Dialogue コーパス [7]: ビジネス シーンにおける会議、交渉、雑談などの対話が 収録された日英対訳コーパス.
- JPersonaChat [8]: 発話者のペルソナを反映した 雑談対話コーパス PersonaChat [9] の日本語版.
- JEmpatheticDialogues [8]: 感情的な状況下での 発話とそれに対する共感からなる雑談対話コー パス EmpatheticDialogues [10] の日本語版.
- Opensubtitles [11]: 日本語映画字幕コーパス.隣接する字幕を発話系列と見做すことによって 対話コーパスとして利用できる [12].

・Twitter: 日本語のツイートを収集し，リプライ チェーンを発話系列と見做すことによって対話 コーパスとして利用できる. 本研究では, 長澤 らの前処理済み Twitter データのうち 2020 年分 のデータのみを用いる [13].

5) https://github.com/neologd/mecab-ipadic-neologd/ 6）音声会話の書き起こしやシステムによる生成を含む対話 データも存在するが，これらは JDD（人手による書き言葉） とは性質が大きく異なるため比較対象に含めない.分析の観点と方法 JDD v0 のデータ特性を，(1)表層上の語彙的特長, (2) 語彙親密度, (3) リーダビ リティの 3 つの観点から，既存対話データとの比較 を通じて分析する。

まず，語彙的特長については，各コーパスの基本的な統計情報に加えて，表層上の語彙の多様性を TTR (Type-Token Ratio) [14] と, Herdan $の C[15,16]$用いて算出する. これらの指標は，総トークン数 $N$ と語彙数 $V$ を用いてそれぞれ次のように表される:

$
T T R=\frac{V}{N}, \quad C=\frac{\log V}{\log N} .
$

TTR はデータサイズの影響を受けやすく，N の増加 に伴い值が小さくなる。これを解決し，サイズの異 なるデータ間でも TTRを比較できるように標準化 された尺度が $C$ である.

次に，語彙親密度については，単語親密度（令和版）データベース $[17,18]$ を用いて，各コーパスの 語彙親密度スコア $S_{F}$ を以下の式によって算出する:

$
S_{F}=\frac{1}{|\mathscr{D}|} \sum_{v \in \mathscr{D}} \operatorname{fam}(v)
$

ここで， $\operatorname{fam}(\cdot)$ は，データベースに存在する語 $v \in \mathscr{D} つ い て そ の$ 単語親密度を返す関数である。

最後に，リーダビリティについては，日本語文章難易度判別システム $\mathrm{jReadability}{ }^{7)}$ にって算出され るリーダビリティスコアを用いる [19]. このとき， $S_{R}$ は, 平均文長 $a$, 漢語率 $b$, 和語率 $c$, 動詞率 $d$,助詞率 $e$ を用いて, 以下の式によって算出される:

$
\begin{aligned}
S_{R}= & 11.724-0.056 a-0.126 b \\
& -0.042 c-0.145 d-0.044 e .
\end{aligned}
$

## 3.2 分析 1: 語彙的特性

表 3 に，各コーパスに収録されている発話数や トークン数等の基本統計と, 算出した TTR， $C$ の值

7) https://jreadability.net/

システムの入力文字数上限の都合で, 各コーパスから無作為 に抽出した 500 発話を対象としてスコアを算出した.

図1 コーパスサイズと語彙の多様性 (Herdan's C) の関係

を示す.まず，1 発話あたりのトークン長について， JDD v0 は 14.99 であり，これは他のいくつかのコー パスと同程度の値であった. 分析対象のうち比較的話し言葉に近い対話データである Opensubtitle は,他よりも極端に小さい値であった. 次に，各コーパ スの表層上の語彙の多様性を表す $C$ の值は，JDD v0 が他よりも大きかった. 図 1 の曲線は，各コーパス の $x \%(0 \leq x \leq 100)$ に該当する発話文で算出された $C$ の値の変化を表す. JDD v0 は $x$ の増加に伴う $C$ の減少が小さく, このことからも JDD v0 には, 多様な語彙が豊富に含まれていることがわかる。

## 3.3 分析 2: 語彙親密度

表 4 に，各コーパスについて算出した語彙親密度 スコア $S_{F}$ を示す. ${ }^{8)}$ すべてのコーパスのなかで JDD v0 が最大のスコアを示した. これは，JDD v0の対話が，他よりも一般的で日本語として馴染み深い表現で構成された基礎的な対話であることを示唆し ている. また，表中の「分析可能語彙」は， $S_{F}$ の算出に関与した語の割合，つまり，コーパスの語彙の うちデータベースに登録されている概念として認識された語の割合を示す：|D| $\mid V$.この値が大きい ほど，計算機での解析も容易な，正しい日本語表現 で記述されたデータである可能性が高い. JDD v0 の分析可能語彙は $70.9 \%$ で, これは全体における最大値であった。一方で，インターネットスラングや 口語的な表現を含む Twitter (16.7\%) と Opensubtitle $(29.8 \%)$ の分析可能語彙の割合は他と比べて極端に 小さい値であった.

## 3.4 分析 3: リーダビリティ

表 5 に，各コーパスについて算出したリーダビリ ティスコアを示す. JDD v0 は，すべての比較対象を表 4 語彙親密度に関する分析

表 5 リーダビリティに関する分析

上回るスコアを示した。この結果から，JDDv0の対話データは，僅差で続く JPersonaChat とともに，人間にとって読解しやすい比較的平易な表現で記述さ れているといえる.

## 3.5 総評

分析結果を総合すると，既存対話コーパスと比較 して，JDDv0に含まれる対話は，一般的で馴染み深 い多様な語彙を豊富に含み（3.2, 3.3 節)，正しい日本語表現で記述された（3.3 節）平易で読みやすい （3.4 節）といえる. これらの特性は，我々が対象と する「規範的かつ基礎的な対話」の要件としていず れも望ましいものである.今回取得した JDD v0 に ついて，今後， 2.2 節の構築手順に示すように書式 の正規化等の処理をおこなうことによって，前述の 望ましい特性がさらに顕著に出現するような対話 データを獲得できる可能性がある.

## 4 おわりに

現在我々が開発している規範的な日本語日常対話コーパスについて，その概要と構築方法を説明し た. 実際のコーパスの一部として収集した約 1,000 対話について，その性質を語彙的特長・語彙親密度・リーダビリティの 3 つの観点から分析し，望ま しい規範的な特性を持つ対話を獲得することを確認 した. 今後は，データ規模の拡大と合わせて，対話 の高品質化や付加情報の追加についても取り組む.

8）付録 Cに，語彙親密度の頻度分布を示す.

## 謝辞

本研究はJST ムーンショット型研究開発事業 JPMJMS2011 の支援を受けたものです.

## 参考文献

[1] Daniel Adiwardana, Minh-Thang Luong, David R So, Jamie Hall, Noah Fiedel, Romal Thoppilan, Zi Yang, Apoorv Kulshreshtha, Gaurav Nemade, Yifeng Lu Quoc, and V Le. Towards a Human-like Open-Domain Chatbot. In aiXiv preprint arXiv:2001.09977, 2020.

[2] Yizhe Zhang, Siqi Sun, Michel Galley, Yen-Chun Chen, Chris Brockett, Xiang Gao, Jianfeng Gao, Jingjing Liu, and William B. Dolan. DIALOGPT : Large-Scale Generative Pre-training for Conversational Response Generation. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (ACL): System Demonstrations, pp. 270-278, 72020.

[3] Stephen Roller, Emily Dinan, Naman Goyal, Da Ju, Mary Williamson, Yinhan Liu, Jing Xu, Myle Ott, Kurt Shuster, Eric M. Smith, Y. Lan Boureau, and Jason Weston. Recipes for Building an Open-Domain Chatbot. In Proceedings of 16th Conference of the European Chapter of the Association for Computational Linguistics (EACL), pp. 300325, 2021.

[4] Yanran Li, Hui Su, Xiaoyu Shen, Wenjie Li, Ziqiang Cao, Shuzi Niu, and Hong Kong. DailyDialog: A Manually Labelled Multi-turn Dialogue Dataset. In Proceedings of the The 8th International Joint Conference on Natural Language Processing (IJCNLP), pp. 986-995, 2017.

[5] 博之山内, 直幸橋本. 教育語彙表への応用. 有里子砂川（編）,コーパスと日本語教育, 第 2 章, pp. 35-64.朝倉書店, 2016.

[6] 博之山内, 直幸橋本, 久美子金庭, 由美子田尻. 言語活動・言語素材と話題. 博之山内（編）, 実践日本語教育スタンダード, 第 1 章, pp. 5-525. ひつじ書房, 2013.

[7] Matīss Rikters, Ryokan Ri, Tong Li, and Toshiaki Nakazawa. Designing the Business Conversation Corpus. In Proceedings of the 6th Workshop on Asian Translation (WAT), pp. 54-61, 2019.

[8] Hiroaki Sugiyama, Masahiro Mizukami, Tsunehiro Arimoto, Hiromi Narimatsu, Yuya Chiba, Hideharu Nakajima, and Toyomi Meguro. Empirical Analysis of Training Strategies of Transformer-based Japanese Chit-chat Systems. In aiXiv preprint arXiv:2109.05217, 2021.

[9] Saizheng Zhang, Emily Dinan, Jack Urbanek, Arthur Szlam, Douwe Kiela, and Jason Weston. Personalizing Dialogue Agents: I have a dog, do you have pets too? In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (ACL), Vol. 1, pp. 2204-2213, 2018.

[10] Hannah Rashkin, Eric Michael Smith, Margaret Li, and Y. Lan Boureau. Towards Empathetic Open-domain Conversation Models: A New Benchmark and Dataset. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 53705381, 2019.
[11] Pierre Lison, Jörg Tiedemann, and Milen Kouylekov. OpenSubtitles2018: Statistical Rescoring of Sentence Alignments in Large, Noisy Parallel Corpora. In Proceedings of the 11th International Conference on Language Resources and Evaluation (LREC), pp. 17421748, 2018.

[12] Oriol Vinyals and Quoc Le. A Neural Conversational Model. In Proceedings of the 31st International Conference on Machine Learning (ICML) Deep Learning Workshop, 2015.

[13] 長澤春希, 工藤慧音, 宮脇峻平, 有山知希, 成田風香,岸波洋介, 佐藤志貴, 乾健太郎. aoba_v2 bot : 多様な 応答生成モジュールを統合した雑談対話システム.人工知能学会研究会資料 言語・音声理解と対話処理研究会, pp. 101-106, 2021.

[14] Mildred C Templin. Certain language skills in children; their development and interrelationships. University of Minnesota Press, 1957.

[15] Gustav Herdan. Type-token mathematics: A textbook of mathmatical linguistics. Mouton, Vol. 4, p. 448, 1960.

[16] Gustav Herdan. Quantitative linguistics. Butterworth, 1964.

[17] 早苗藤田, 哲生小林. 単語親密度の再調査と過去の データとの比較. 言語処理学会第 26 回年次大会発表論文集, pp. 1037-1040, 2020.

[18]単語親密度 (令和版). NTT 語彙データベース. NTT 印刷, 2021.

[19] Yoichiro Hasebe and Jae-Ho Lee. Introducing a Readability Evaluation System for Japanese Language Education. Proceedings of the 6th International Conference on Computer Assisted Systems for Teaching \& Learning Japanese (CASTEL/J), pp. 19-22, 2015.

## A 対話作成作業に関する参考情報

## A. 1 作業者への教示

作業者には，日本語学習の教材となるような規範的な日常会話を作成するよう指示した. 合わせて，作成される対話 は以下の要件を満たすように伝えた: (1) 正しい日本語で書かれていること，(2) 道徳的な内容であること，(3)1つの対話 は最低でも 4 発話 以上で構成すること，(4) 日常的によく使われる語とりわけ話題語を多く出現させること，(5) 自然な 会話の流れの中で多様なモダリティを出現させること，(6) 相槌やフィラー等の挿入は必要最低限とすること， (7) 固有名詞に相当する表現は、現実・架空に関わらず具体的に書くこと。

なお，教示が適切であることの確認ならびに作業者の予行練習と疑問点解消の目的で，実際の対話作成作業を開始す る前に，計 3 回のプレ作業をおこなっている。

## A. 2 提示した資料

前節に示す作業者に教示した要件のうち，要件 (4) と (5) そついては，それぞれの具体的例を記したものを作成し（話題語集，モダリティ集），参考資料として全ての作業者に配布した。話題語集の作成には，分類語彙表増補改訂版データ ベース (ver.1.0) ${ }^{9)}$ 参考にした. モダリティ集の作成には，つつじ日本語機能表現辞書 ${ }^{10)}$ を参考にした.

## B JDD v0 の統計情報: 発話長とトークン長の分布

各トピックにおける対話の発話長（横軸）とトークン長（縦軸）の分布を図 2 に示す.

(a)

(b)

(c)

(d)

(e)

図 2 対話の発話長とトークン長の分布. 左から (a) 日常生活，(b) 学校，(c) 旅行，(d) 健康，(e) 娮楽トピック.

## C 各対話データにおける語彙親密度の頻度分布

作成した JDD v0 と，比較対象として用いた 5 種の対話コーパスに含まれる語彙親密度の頻度分布を，図 3 亿示す。

図 3 対話データに含まれる語彙親密度の頻度分布.スコアは，値が大きいほど親密度が高いことを表す。

9) https://github.com/masayu-a/WLSP

10) http://kotoba.nuee.nagoya-u.ac.jp/tsutsuji/


# ウェブ会議システムを利用した料理インタビュー対話コーパス

岡久太郎 田中リベカ* 児玉 貴志 Yin Jou Huang 黒橋禎夫
京都大学大学院情報学研究科
\{okahisa, kodama, huang, kuro\}@nlp.ist.i.kyoto-u.ac.jp

## 概要

我々はウェブ会議システムを用いて，料理の技能者に対するインタビュー対話のマルチモーダルコー パスを構築した. 技能者として料理のセミプロと料理好きを，インタビュアーとしてインタビューの経験を持つ者と持たない者を参加者として集めた. 本稿では，コーパスの構築方法と仕様について報告 し，技能者からコツを引き出すためのインタビュー 手法について質的に分析する.

## 1 はじめに

対話システムの研究においては，気の効いた設定 をデザインし，良質の対話コーパスを作ることが重要であるが，インタビュー対話についてはこれまで あまり取り扱われることがなかった. そこで，本研究では，熟練者の技能伝承が産業界において課題と なっていることを踏まえ，技術のコツなどを聞き出 すことを目的としたインタビューに着目する. 既存 のインタビュー対話コーパスは，テレビ番組等で第三者に対話の内容を聞かせることを目的とした対談 を対象とするものが多い $[1,2,3]$. そのため，技術 や知識を引き出すことができる対話システムの研究 には，その基盤としてインタビュアーが積極的に対話者から情報を引き出すことを試みているインタ ビューデータが不可欠である.

本研究では，ウェブ会議システムを用いて料理の 技能者からインタビュアーが特定の料理の調理方法を聞き出すというタスクを設定し，料理インタ ビュー対話コーパスを構築した. 料理インタビュー 対話コーパスは， 308 対話における約 6.9 万発話の 音声とその書き起こしに加えて，対話者双方の表情 と対話者間で共有されているコンピューター画面を 含んだ映像から構成される (図 1).

日本語を対象とした既存の話し言葉対話コーパス
$ ・データサイエン スセンター（連絡先:tanaka.ribeka@is.ocha.ac.jp）
}

図1 料理インタビューコーパスの動画の一部とそれに対応する部分の書き起こしの例. “E”は技能者，“I”はイン タビュアーを表す.

のほとんどは，電話会話を使用したものか [4]，対話者を実際に集め，その様子を録音・録画したもの $[5,6,7,8]$ である. しかしながら，電話会話の場合は 視覚的情報の共有ができないため，指示語の使用が 減少する等，通常の対話とは性質が大きく異なる. また，対話者をスタジオ等に集めて対話を収録する 場合は時間的，費用的コストがかかる。

現在，COVID-19 の世界的感染拡大の中で，以前 はオンラインビデオ通話を利用していなかった人々 もウェブ会議システムを使用するようになった. 才 ンラインビデオ通話であれば，対話者は自宅からい つも用いている自身の機器を用いて対話に参加す ることが可能である. さらに，ウェブ会議システム を使用することで，対話者はお互いの表情を見なが ら，画面共有機能で視覚的文脈を共有することが可
能となり，電話会話よりも通常の対話に近いコミュ ニケーションを行うことができる. この点は, 対話研究にとっても，表情や視覚的文脈を発話と同期さ せて記録することが容易になるという利点となる。

本稿では，料理インタビュー対話コーパスの構築方法とその詳細について述べる。

## 2 インタビュー対話の収集方法

## 2.1 収録方法と参加者

本コーパスは，ウェブ会議システムを用いて，料理の技能者とインタビュアーの間で行われた約 15 分の対話を 308 件録画したデータから構成される.参加者は外付け，またはコンピューターに内蔵され たカメラとマイクを使用し, 画面共有機能によって 技能者があらかじめ用意した写真 (詳細は後述)を互 いに見ながら対話を行った．録音・録画に関しては Zoom $^{1)}$ の録画機能を利用し, 音声, カメラの映像,共有された画面の全てを記録した。

各対話収集の際には対話者に技能者とインタビュ アーの役割をそれぞれ与えた (Appendix A 参照)。 一部の参加者は, 技能者とインタビュアーの両方の役割で参加している。また，技能者とインタビュアー には事前にそれぞれ2つの属性を設定した. 技能者 は，一定の条件 (Appendix B 参照) を満たす者を「セ ミプロ」，それ以外の者を「料理好き」として分類し た.インタビュアーは，人事面接など何らかのイン タビューを実施した経験を持つ場合は「技能あり」， それ以外の者を「技能なし」と分類した ${ }^{22}$.

なお，対話データの収集については最初に 20 対話，暫定的な条件設定で予備収集を行い，その結果 を受け，最終的な条件を定め，本収集を行った。

## 2.2 参加者への教示及びアンケート

今回の対話タスクでは，技能者から料理の技能を 効果的に聞き出すような質問をインタビュアーにさ せることが目的であるため，タスクの事前準備とし て技能者とインタビュアーに以下の指示を行った.

まず，技能者として参加する者には事前に以下の 4 つについて準備し，提出するよう求めた。

(1) a. 紹介する料理のタイトル

b. 紹介する料理の概要

1) https://zoom.us

2）インタビュアーは自炊経験があるような最低限の料理の知識を持つことを参加の必須条件にしている. c. 6-10 枚の手順写真

d. 自慢したい点とそれに対応する写真番号 (本収集のみ)

一方，インタビュアーとして参加する者には対話 タスクの前に上記 (1a), (1b), (1c) の 3 つの情報を与 えた、インタビュアーには，技能者は最低限の手順 しか説明しないので，それ以上の説明を引き出せる 質問をするようにあらかじめ指示した。

さらに，予備収集の結果を受け，本収集では事前 に「良い質問のタイプ」をインタビュアーに教示 し， 1 つ以上の質問内容とその質問を何枚目の写真 でするつもりかについて事前に報告を求めた。「良 い質問のタイプ」は，「技能者が答えにつまりそう な質問」について 11 個の項目を例と共に示した資料である (Appendix C 参照).

また，対話タスクの終了後，技能者とインタビュ アーのそれぞれに以下の事項についてアンケートを 実施した。

(2) a. コミュニケーションがスムーズだったか

b. コツをうまく引き出していたか

c. 自身がどの程度料理の知識や技能を持っ ているか (インタビュアーのみ)

d. インタビューの感想

(2a), (2b), (2c) の回答は「1. そう思わない」「2. あ まりそう思わない」「3. どちらでもない」「4. ややそ う思う」「5. そう思う」のいずれかを選択させた. また，(2d)については自由記述での回答を求めた。

## 3 収集したインタビュー対話の概要

## 3.1 発話内容に関する統計情報

構築した料理インタビュー対話コーパスの統計情報は表 1 の通りである.

1 発話あたりの平均単語数は技能者が 10.13 語，イ ンタビュアーが 6.98 語であり， 1 対話当たりの平均発話数は技能者が 241.23 , インタビュアーが 207.38 であることから，技能者はインタビュアーよりも長 い発話をより多く行っていることが分かる. この傾向は，対話参加者が技能者とインタビュアーの役割 を適切に果たしていることを示している。

また，技能者とインタビュアーの属性ごとに統計情報を詳細化した結果は表 2 のようになる. 技能者 は，対話相手の属性に関わらず，セミプロ $\left(E_{H}\right)$ の
表 1 料理インタビュー対話コーパスの統計情報. フィラーや言い誤りを取り除き，Juman++ [9] を用いて形態素解析を 行った。

表 2 技能者とインタビュアーの属性ごとの統計情報. 技能者については $E_{H}$ がセミプロ， $E_{L}$ が料理好きを表し，イン タビュアーについては $I_{H}$ がインタビュー技能のあるインタビュアーを， $I_{L}$ がインタビュー技能のないインタビュアーを 表している.

方が料理好き $\left(E_{L}\right)$ よりも 1 分あたりの発話数が少 ない.また，技能者の 1 発話あたりの単語数を見る と，インタビュアーの属性に関わらず，セミプロの 方が料理好きよりも長い発話を行っている.これら を踏まえると，技能者はインタビュアーの属性に関 わらず，セミプロが料理好きょりも多くの内容を 語っているために，時間あたりの発話数が少なく なっていることが分かる.

一方，インタビュアーについては，その属性 に関わらず，対話相手が料理好きの場合 $\left(E_{L} \& I_{H}\right.$, $\left.E_{L} \& I_{L}\right)$ の方が, 対話相手がセミプロの場合 $\left(E_{H} \& I_{H}\right.$, $\left.E_{H} \& I_{L}\right)$ よりも 1 分あたりの発話数が多くなってい る.しかしながら，それぞれの対話設定における 1 発話あたりの単語数については, 対話相手の属性に 関わらず，インタビュー技能があるインタビュアー $\left(I_{H}\right)$ の方が，技能がないインタビュアー $\left(I_{L}\right)$ よりも 1 発話あたりの単語数は多い. 以上から，一般的な 傾向として，インタビュー技能を有するインタビュ アーの方が，インタビュー技能がないインタビュ アーよりも内容の多い発話をしているが，技能者の 料理技能が低い場合は，インタビューの技能に関わ らず，技能者から多くの話を引き出すために多くの 発話を行う傾向があることが分かる.

## 3.2 対話後のアンケート結果

図 2,3 より, 技能者もインタビュアーも参加し たインタビューについて概ね満足していることが 分かる.「コミュニケーションはスムーズだったか」 という問いについては，技能者の平均値が 4.64 であ り，インタビュアーの平均値が 4.25 であった.

また，「コツを引き出していたか」という問いに ついては，技能者の平均値が 4.62 であり，インタ

図 2 技能者に対するアンケート結果

図 3 技能者に対するアンケート結果

ビュアーの平均値が 4.07 であった. この差は，イン タビュアーが技能者からコツを聞き出すようあらか じめ指示されていたことにより，インタビューの出来について技能者以上に厳しい判定をしたことに よって生じた差異であると考えられる。

なお，インタビュアーの料理の知識については平均値が 3.52 であった. これは, 最低限の料理の知識 を持つことをインタビュアーの参加条件としたこ とにより，知識があると回答する参加者が比較的多 かったためであると考えられる。

## 4 コツの引き出し方

本研究で収集した対話データは，インタビュアー が技能者から料理のコツを聞き出すようにタスク を設定した. そのため，インタビュアーの発話が契機となり，技能者が当初は話すことを予定していな かった知識が引き出される場合が少なくない. 本節 ではコツの引き出し方の典型的パターンを事例べー スで説明する。

技能者からコツを引き出す際によく見られるイン タビュアーの発話として, 直前に技能者が発言した 内容を繰り返したり，言い換えたりするというもの が挙げられる.

(3)「セロリのぬか漬け」

E:（えーと）塩と.これは（あの一）粗塩というか， (あの一）サラサラした食卓塩っていうよりは, （あの一）結構（あの）ザラザラゴツゴツとした 結構甘みのある塩です。

I: 粗塩, はい.

I: （あ）味が（じゃ）しっかりとしてるような感じ ですか?

E: そうですね。もうくこれなめ>これだけ甜めて も美味しい感じの塩です.はい.（まーね）（あ の一) なんでも塩好きなの使っていただいたらい いんですけど，(ま）塩だけで美味しいっていう のは結構，(あの）材料少ないんでね，(あの一）美味しい塩でされたらいかがかなと思います。

例 3 では，技能者の発言にある「甘みがある」をイ ンタビュアーが「味がしっかりとしている」と言い 換えたことにより，粗塩を使う理由を技能者が追加 で説明している。

このような質問の仕方は，インタビュアーに料理 の経験が十分にない場合も可能なものである。 一方，インタビュアー自身にも料理の経験があるから こそ可能となるコツを引き出す質問の特徴として， インタビュアーが具体的な状況を設定, 提示するこ とによって，技能者から細部についての説明を引き 出すというパターンが挙げられる。

(4)「生シラスのふっくらかき揚げ」

I: （ふーん）(で）何か（この）揚げているときのコ ツとかってありますか？

E: (あ).

E: 揚げているときのコツですね.

E: $(え-と)$

E：揚げているときの（こ）.
I: 例えば，私，よく（あの一）何か（こー）心配で ，できているのかなって，（こー）菜箸でぐしゃ ぐしゃぐしゃ,

I: やったりしてしまうんですけど，(な)（な）(な).

E: $(?)^{3)}$.

$\mathrm{E}:$ そうですね. つまり，なるべく（あの一）なるべ く触らないように。

I: （あー）やっぱりそうですか.

E: (?).

E：片面を揚げましたら，（えーと）なるべく触らな いようにそのまま（え一）じっくり火を通して， また裏返して，その後も（あの一）ほとんど触ら ないように，（え一）形がくずれないように揚げ ていって，（で）最終的に（あの一）

$\mathrm{E}:$ (えーと) バットに上げるときに，油をしっかり (こー)

E: 切るというのが，（あの）カリッとふわっと仕上 がるコツかなと思いますので.

例 4 では，最初に漠然とコツを尋ねられた技能者 がその後約 6 秒間回答に詰まっている。 それを受け たインタビュアーは下線部のように自身の経験談を 語ることで，天ぷらを揚げる時のコツを引き出して いる.このように，技能者が質問の回答に窮してい る時に，インタビュアーが具体的な状況を提示する ことで，技能者は自身では事前に意識していなかっ た知識や技能についてスムーズに話すことが可能と なる例が多く見られた。

これらの質問の仕方については，事前にイ ンタビュアーに提示した「良い質問のタイプ」 (Appendix C 参照)には含まれていない方略であり， インタビュアー役を務める対話システムの研究にお いて，重要な要素となりうる。

## 5 おわりに

本稿では，ウェブ会議システムを用いた料理イン タビュー対話コーパスの構築方法とその詳細につい て報告した。

コーパスの質的分析の結果，技能者のコツを引き 出す場面においては，言い換えや繰り返しを行うパ ターンとインタビュアー自身の経験をもとに具体的 な状況を想定した質問を行うパターンの 2 つが見出 された。これらのパターンをどのように使い分ける か，どのように対話システムに組み込むのかについ ては，今後の課題である.

## 謝辞

この成果は, 国立研究開発法人新エネルギー・産業技術総合開発機構 (NEDO) の委託業務 (JPNP20006) の結果得られたものです.ここに感謝致します.

## 参考文献

[1] Bodhisattwa Prasad Majumder, Shuyang Li, Jianmo Ni, and Julian McAuley. Interview: Large-scale modeling of media dialog with discourse patterns and knowledge grounding. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 8129-8141, Online, November 2020. Association for Computational Linguistics.

[2] Chenguang Zhu, Yang Liu, Jie Mei, and Michael Zeng. Mediasum: A large-scale media interview dataset for dialogue summarization. CoRR, Vol. abs/2103.06410, , 2021.

[3] 篠山学, 松本和幸.インタビュー対話コーパスの構築 と発話意図タグの設計. 第 82 回全国大会講演論文集,第 2020 巻, pp. 51-52, feb 2020.

[4] 伝康晴, フライジョン. 日本語 callhome コーパス. 音声研究, Vol. 4, No. 2, pp. 24-30, 2000.

[5] 前川喜久雄. 『日本語話し言葉コーパス』の概要. 日本語科学, Vol. 15, pp. 111-133, 2004.

[6] Yasuharu Den and Mika Enomoto. A scientific approach to conversational informatics: Description, analysis, and modeling of human conversation. pp. 307-330. John Wiley \& Sons, Hoboken, NJ, 2007.

[7] Itsuko Fujimura, Shoju Chiba, and Mieko Ohso. Lexical and grammatical features of spoken and written japanese in contrast: Exploring a lexical profiling approach to comparing spoken and written corpora. In Proceedings of the VIIth GSCP International Conference, p. 393. Speech and Corpora, 2012.

[8] 小磯花絵, 天谷晴香, 石本祐一, 居關友里子, 臼田泰如,柏野和佳子, 川端良子, 田中弥生, 伝康晴, 西川賢哉.『日本語日常会話コーパス』モニター公開版の設計 と特徴. 国語研究所日常会話コーパスプロジェクト報告書 3, 2019.

[9] Arseny Tolmachev, Daisuke Kawahara, and Sadao Kurohashi. Juman++: A morphological analysis toolkit for scriptio continua. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 54-59, Brussels, Belgium, November 2018. Association for Computational Linguistics.

## A タスク参加者数の詳細

表 6 参加者の役割・属性ごとの内訳. I，Eはそれぞれイ ンタビュアー，技能者を指す。また×はその役割では不参加だったことを表す.

## B 「料理のセミプロ」の条件

以下の 3 条件のいずれかを満たす技能者を「料理 のセミプロ」として分類した.

・料理教室等で料理（種類は問わず）を教えた経験がある

・調理師免許を取得している

・料理家として活動している

## C 良い質問のタイプ

1. 調味料や材料の分量・重さ，煮込み時間などの 数値的な情報を質問する

・「何分ぐらいで火を止めますか」

2.「とろみ」「こんがり」「まとまってきたら」など の抽象的な表現について，客観的に判断する手 がかりを質問する

・「とろみが出てきたのをどうやって判断し たら良いでしょうか」

3. 同じ材料・器具がないときはどうするのかを質問する

・「黒酢がないときは，どうしたら良いで しょうか」

4. 食材の下準備の説明が省略される傾向にあるの で，あえて質問する

・「お野菜はどうしてこの切り方をしたので すか」

5. 写真に映っているのに技能者が特に説明しな かったものを見つけ，それについて質問する

6. 技能者から説明を引き出したら，もう一歩踏み 込んで，それが良いことなのかも質問する

・I:「ネギは，青いネギじゃなくて白いネギ ですね」

E:「はい，白いネギの青いところと白いと ころを両方入れました」
I:「その方が美味しいのですか」

7. ポイントを率直に尋ねる

・「気をつけるべきことはありますか？」

・「難しいところはどこですか？」

8. 避けた方が良いことや，失敗経験を質問する

・E：「鯛の代わりに，他の白身魚やホタテで も良いですよ」

I：「良いですね．逆に，イマイチなものっ てありますか」

9. 反対の意見や，否定的な意見を投げかけてみる

・「ピーマンを入れると，子どもが食べない んじゃないでしょうか」

10. 自分なりの仮説を立てて質問する

・「砂糖の代わりにみりんを使うときも，同 じ分量を入れたら良いでしょうか」

11. はい・いいえで答えられる質問を，「どうして」「どうやって」と相手に話させるような質問に 言い換える

・「切り方はもっと小さくても良いですか」 を「どうしてこの大きさに切ったんです か」と言い換える


# プロンプトモデルは表面的手がかりを利用するか？

Pride Kavumba ${ }^{1,2}$ 高橋 諒 3 小田悠介 3,4
1 東北大学 大学院情報科学研究科 ${ }^{2}$ 理研 AIP ${ }^{3}$ LegalForce Research
4 東北大学 データ駆動科学・AI 教育研究センター
pkavumba@ecei.tohoku.ac.jp
\{ryo.takahashi, yusuke.oda\}@legal force.co.jp

## 概要

事前学習済み言語モデルを下流タスクに適応させ る手法の一つであるプロンプトに基づくファイン チューニングは、少量データでも高精度なモデルを 学習できる手法として知られている。自然言語理解 の多くのベンチマークデータセットは、タスクとは 無関係だが正解ラベルの予測を助ける「表面的手が かり」を持つ。本研究はプロンプトに基づいて学習 されたモデルがデータセットの表面的手がかりを利用していることを実験から明らかにする。

## 1 はじめに

事前学習済み言語モデルを下流タスクに適応さ せる手法として、タスクに応じたへッドのファイン チューニング、すなわち事前学習時に使用した言語 モデルのヘッドをタスクに特化したへッドに置き換 える手法が主流となっている $[1,2]$ 。このような手法でタスクに適応されたモデルをここでは「ヘッド モデル」と呼ぶ。

プロンプトに基づくファインチューニングは、少量のデータで言語モデルを適応させるためのより効果的な方法として知られている $[3,4,5]$ 。この手法 では、言語モデルのへッドはそのままで、モデルが 事前学習時に見た入力と一致するようにモデルへ の入力を構築する。例えば、「また見たいと思いま す。」という感情分析タスクのインスタンスが与え られた場合、ヘッドモデルは出力として「ネガティ ブ」か「ポジティブ」のどちらかを直接予測するよ うに学習する。一方、マスク言語モデルの目的関数 [1] で学習されたプロンプトモデルでは、「\{X\}。 [MASK] 映画でした。のようなテンプレートを介し て「また見たいと思います。[MASK] 映画でした。」 という自然なテキストとなるように入力を構成す る。モデルは [MASK] に「良い」や「ひどい」など
の単語を予測し、それらを事前に定義したヴァーバ ライザー $[4,5]$ を使ってポジティブとネガティブに 対応させる。

これまでの研究では、SNLI [6]、MNLI [7]、COPA [8] など、多くの自然言語理解データセットにおいて、簡単に利用できる「表面的手がかり」が見つかって いる。表面的手がかりは、タスク自体とは無関係だ が、タスクの特定のラベルに結びついているインス タンスの言語的または非言語的な特徴と定義でき る。例えば、ARC [9] の正解には「not」という単語 が含まれているが、これはへッドモデルが利用する ことで、タスクを理解していなくても最先端の性能 を発揮できる [10]。具体的には、MNLI のマッチし たインスタンスの $90 \%$ が文脈なし表面的手がかりを 仮説に含んでおり、SNLI の文脈なし表面的手がか りはこれまで知られていたものよりも 4.9 ポイント 高いことがわかった [11]。さらに、COPA には文脈 なし表面的手がかり [12]だけでなく、78\%のインス タンスに文脈あり表面的手がかり（前提と代替の間 に存在する表面的手がかり）が含まれていることが わかった。一方、 $[11,13]$ は、ヘッドモデルが SNLI の仮説において表面的手がかりを利用することを示 した。[14] は MNLI データセットの前提条件と仮説 の間の単語の重複などの表面的手がかりをへッドモ デルが利用することを示し、[12] は COPA の回答の 選択肢において表面的手がかりをへッドモデルが利用することを示した。本研究は、プロンプトモデル における表面的手がかりを調査した最初の研究であ る。我々は以下の問いを立てる。(1)プロンプトモ デルは表面的手がかりを利用しているか？(2) プロ ンプトモデルは表面的手がかりのないデータセット にどのように汎化するか？

MNLI、SNLI、COPA、および HANS データセット [14]を用いた慎重に設計された実験を通して、プロ ンプトモデルは表面的手がかりに大きく依存してお

り、表面的手がかりのないデータへの汎化に失敗し ていることを発見した。具体的には、RoBERTa [2] は、表面的手がかりを持つインスタンスでは良好な 性能を発揮するが、表面的手がかりを持たないイン スタンスではランダムべースラインとほぼ同等以下 の性能しか達成できないことがわかった。

## 1.1 NLI と COPA の表面的手がかり

我々の研究課題「(1) プロンプトモデルは表面的手がかりを利用するか？(2) プロンプトモデルは表面的手がかりのないデータセットにどのように汎化 するか？」に答えるためには、表面的手がかりを含 むデータセットが必要となる。本研究では表面的手 がかりを含む新しいデータセットを一から作るので はなく、英語の MNLI、SNLI、COPA の既存のデー タセットを分析することにした。具体的には、表面的手がかりを利用して正解できる部分集合と、表面的手がかりを利用しても解けない部分集合があるよ うに、データセットを分割する。

我々は、表面的手がかりを、その利用可能性に基 づいて、「文脈あり表面的手がかり」と「文脈なし 表面的手がかり」の 2 つのカテゴリーに分ける。こ のように表面的手がかりを分けることで、タスクの 種類を抽象化し、考えられているタスクに基づいて 文脈を自由に定義することができる。例えば、機械読解や質問応答では、質問を解くために必要な関連 する文書を文脈と定義することができるが、常識的 な多肢選択式文章完成タスクでは質問を文脈と定義 することができ、自然言語推論タスクでは前提を文脈と定義することができる。[14] が見つけた語彙的重複のような文脈あり表面的手がかりは、文脈があ るときにしか利用できない。一方、[10] が見つけた 正解の選択肢の中に「not」が含まれていることなど の文脈なし表面的手がかりは、タスクの関連する文脈がない場合に利用可能である。これまでの研究で は、主に 1 種類の表面的手がかりのみを調査してお り、ほとんどの研究が文脈なし表面的手がかりに焦点を当てていた $[11,13,10,12,15]$ 。本論文では、「あ るモデルが表面的手がかりを利用するかどうか」と いう質問に答えるためには両方のタイプの表面的手 がかりについて調査する必要があり、少なくとも 1 つのタイプの表面的手がかりを利用する場合にその 答えは「Yes」であると主張する。

## 1.2 MNLI の表面的手がかり

文脈あり表面的手がかり：[14] は、MNLIにおい て3つの文脈あり表面的手がかり（語彙的重複、部分列、構成素）を特定した。これらの表面的手がか りは含意ラベルを予測する。部分列と構成素の表面的手がかりは、いずれも語彙的重複の特殊なケース である。これらの表面的手がかりに対抗するため に、[14] は HANS データセットを作成し、表面的手 がかりでは情報が得られないインスタンスを含ん でいる。HANS データセットには、表面的手がかり を持つインスタンスも含まれており、これらのイン スタンスで高い性能を発揮することで、表面的手が かりが利用されていることが確認できる。本論文で は、HANS データセットを用いて、プロンプトモデ ルが文脈あり表面的手がかりを利用しているかどう かを評価する。

文脈なし表面的手がかり：プロンプトモデルが文脈なし表面的手がかりを利用する能力を調べるため に、元のデータセットを文脈なし表面的手がかりを 持つインスタンスと持たないインスタンスに分割 し、仮説のみで RoBERTaヘッドモデルを訓練する。 この分析は、より性能の低いモデルを使用している が、[11]によって行われたものと似ている。仮説が 文脈なし表面的手がかりを持たない場合、モデルは ランダムベースラインの精度（33\%）を超えること は期待できない。しかし、複数の RoBERTa モデル の平均精度は、ドメイン内事例で $90 \%$ 、ドメイン外事例で $90 \%$ \%達成しており、MNLI の文脈なし表面的手がかりはこれまで知られていたよりもはるかに 悪いことが示されている（ドメイン内で 53.9 \%、ド メイン外で $52.3 \%$ [11])。この結果を受けて、デー タセットを表面的手がかりを持つインスタンスと持 たないインスタンスに分けた。表面的手がかりを持 つインスタンスは、文脈なしの設定で大多数のモデ ルが正しく予測したインスタンスを含んでいる。

## 1.3SNLIにおける表面的手がかり

文脈あり表面的手がかり：HANS データセットは MNLI の表面的手がかりに基づいて構築されている が、先行研究では、SNLIで訓練されたモデルのベン チマークとしても使用できることが示されている。先行研究に倣い、本研究では SNLI で学習されたプ ロンプトモデルを HANS データセットで評価する。

文脈なし表面的手がかり：SNLI において文脈な

し表面的手がかりを利用するプロンプトモデルの 能力を調べるために、元のデータセットを文脈なし 表面的手がかりを持つインスタンスと持たないイ ンスタンスに分割した。また、MNLI で行ったよう に、RoBERTa ヘッドモデルを仮説のみで訓練する。仮説が文脈なし表面的手がかりを持たない場合、モ デルはランダムベースラインの精度（33\%）を超え ることは期待できない。しかし、RoBERTa の平均精度は 71.9\%であり、これは [11]が fastText[16] で得た 結果を 4.9 ポイント上回っている。この結果を受け て、データセットを表面的手がかりを持つインスタ ンスと持たないインスタンスに分けた。表面的手が かりを持つインスタンスには、文脈なしの設定で大多数のモデルが正しく予測したインスタンスが含ま れている。

## 1.4 COPA における表面的手がかり

文脈あり表面的手がかり：COPA における文脈な 乙表面的手がかりはこれまでにも分析されている が [12]、文脈あり表面的手がかりはまだ分析されて いない。共通のパターンを見つけるためにすべての インスタンスを目視することは困難であり、エラー が発生しやすいことがわかる。文脈あり表面的手が かりを分析するために、我々はプロンプトモデルを 採用し、表面的手がかりでしか解けないように入力 を変更する。具体的には、答えの選択肢に含まれる 単語をランダムに並び替えて、文として意味が通ら ないようにする。この設定では、インスタンスに表面的手がかりがない場合、モデルの性能はランダ ムべースラインの精度（50\%）に一致すると予想さ れる。驚くべきことに、複数の RoBERTa モデルは、 $78 \%$ の平均精度を達成しており、文脈あり表面的手 がかりが存在することを示している。この結果を受 けて、データセットを、大多数のモデルが解答した インスタンスを含む表面的手がかりを持つ部分集合 と、残りのすべてのインスタンスを含む表面的手が かりを持たない部分集合に分割した。

文脈なし表面的手がかり：[12]は、RoBERTaを用 いて COPA における文脈なし表面的手がかりを特定した。彼らの分析は本研究と同一の設定であるた め、本研究では再分析を行わず、彼らが公開してい るデータセットの分割を使用する。

## 2 実験と結果

本論文の研究課題に答えるために、文脈あり表面的手がかりのあるデータセットと文脈なし表面的手 がかりのあるデータセットでプロンプトモデルを評価する。表面的手がかりを利用しないモデルは、表面的手がかりがある場合とない場合の両方で同等の 性能を発揮すると予想される。表面的手がかりがあ る場合の方が、表面的手がかりがない場合よりも高 い性能を発揮するということは、そのモデルが表面的手がかりを利用していることを示している。

## 2.1 MNLI

文脈あり表面的手がかり：プロンプトモデルが文脈あり表面的手がかりを利用するかを確かめるため に、MNLI 上で複数のプロンプトベースの RoBERTa モデルを学習し、HANS データセットの表面的手が かりを持つインスタンスと持たないインスタンスで 評価した。表面的手がかりを利用しないモデルは、両方のインスタンスで同等の性能を発揮することが 期待される。

表 1 によると、RoBERTa は表面的手がかりを持つ インスタンスではかなりの性能を発揮するが、表面的手がかりを持たないインスタンスでは $50 \%$ のラン ダムな精度に達することができない。このモデルは 3 種類の表面的手がかりのすべてにおいて性能が低 く、3 種類の表面的手がかり（語彙的重複、部分列、構成素）のいずれにおいても劣っている。この結果 から、プロンプトモデルは表面的手がかりに依存し ており、表面的手がかりのないインスタンスへの汎化に失敗していることがわかる。

文脈なし表面的手がかり：プロンプトモデルが文脈なし表面的手がかりも利用するかを確かめるため に、MNLI 上で複数のプロンプトベースの RoBERTa モデルを学習し、文脈なし表面的手がかりがある場合とない場合のインスタンスで評価した。表面的手 がかりを利用しないモデルであれば、表面的手がか りがある場合もない場合も、同等の性能が得られる と考えられる。

表 1 によると、RoBERTa は表面的手がかりを持つ インスタンスで、表面的手がかりを持たないインス タンスよりもかなり良い性能を示しており、モデル が文脈なし表面的手がかりを利用していることを示 している。

表 1 MNLI（ドメイン内/ドメイン外）および SNLI における RoBERTa プロンプトモデルの精度。“w/Cues”の列は評価 セットに表面的手がかりを含むか否かの二値を示す。

表 2 COPA における RoBERTa プロンプトモデルの精度。

## 2.2 SNLI

文脈あり表面的手がかり : プロンプトモデルが SNLI 上の文脈あり表面的手がかりを利用するかど うかを調査するために、SNLI 上でプロンプトモデ ルを訓練し、HANS データセットからの表面的手が かりを持つインスタンスと持たないインスタンスで 評価する。このデータセットは MNLI 特有の表面的手がかりのために設計されたものだが、先行研究で は表面的手がかりを利用する SNLI モデルを明らか にできることが示されている。

表 1 によると、RoBERTa は表面的手がかりを持つ インスタンスではかなりの性能を発揮するが、表面的手がかりを持たないインスタンスでは同じ性能を 達成できない。この高い分散はへッドモデルについ て調査した先行研究で報告された分散と似ている。 SNLI で学習したモデルは MNLI モデルよりもはる かに良い性能を発揮するが、それでも性能は悪いま まである。この結果はプロンプトモデルが文脈あり 表面的手がかりを利用していることを示している。

文脈なし表面的手がかり : プロンプトモデルが SNLI 上で文脈なし表面的手がかりを利用する能力 を調べるために、SNLIで学習し、文脈なし表面的手がかりを持つインスタンスと持たないインスタン
スで評価した。

表 1 によると、文脈なし表面的手がかりがある場合とない場合では精度に大きな差があり、プロンプ トモデルが文脈なし表面的手がかりを利用すること を示している。

## 2.3 COPA

文脈あり表面的手がかり : COPA データセットに おいてモデルが文脈あり表面的手がかりを利用し ているかどうかを調べるために、8から 100 までの 様々なサイズで訓練を行い、 1.4 節で説明されてい る文脈ありと文脈なし表面的手がかりを持つインス タンスで評価を行った。

表 2 によると、RoBERTa は、表面的手がかりを持 つインスタンスで非常に優れた性能を発揮するが、表面的手がかりを持たないインスタンスでは $50 \%$ の ランダムな精度をほとんど超えない。これは表面的手がかりに過度に依存し、表面的手がかりのないイ ンスタンスへの汎化に失敗していることを示してい る。またこのモデルは文の意味に敏感ではないこと も示されている。

文脈なし表面的手がかり：プロンプトモデルが COPA 上の文脈なし表面的手がかりを利用している かどうかを調べるために、COPA データセットの 8 から 100 までの異なるサイズで RoBERTaを学習し、文脈なし表面的手がかりを持つインスタンスと持た ないインスタンスで評価した。

表 2 は、 32 以下の小さい学習サイズでは RoBERTa が表面的手がかりを利用しないことを示している。 しかしサイズを大きくすると、文脈のない表面的手 がかりを持つインスタンスと持たないインスタンス の間の性能の差がさらに大きくなる。このモデルが 数ショットの設定で一般的に使用されるサイズにお いて、文脈なし表面的手がかりを利用しないことは 心強いことである。

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[2] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized BERT pretraining approach. CoRR, Vol. abs/1907.11692, , 2019.

[3] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners. In $\mathrm{H}$. Larochelle, M. Ranzato, R. Hadsell, M. F. Balcan, and H. Lin, editors, Advances in Neural Information Processing Systems, Vol. 33, pp. 1877-1901. Curran Associates, Inc., 2020.

[4] Timo Schick and Hinrich Schütze. Exploiting clozequestions for few-shot text classification and natural language inference. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, pp. 255-269, Online, April 2021. Association for Computational Linguistics.

[5] Timo Schick and Hinrich Schütze. It's not just size that matters: Small language models are also few-shot learners. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 2339-2352, Online, June 2021. Association for Computational Linguistics.

[6] Samuel R. Bowman, Gabor Angeli, Christopher Potts, and Christopher D. Manning. A large annotated corpus for learning natural language inference. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 632-642, Lisbon, Portugal, September 2015. Association for Computational Linguistics.

[7] Adina Williams, Nikita Nangia, and Samuel Bowman. A broad-coverage challenge corpus for sentence understanding through inference. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 1112-1122, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[8] Melissa Roemmele, Cosmin Adrian Bejan, and Andrew S Gordon. Choice of plausible alternatives: An evaluation of commonsense causal reasoning. In AAAI Spring Symposium on Logical Formalizations of Commonsense Reasoning, Stanford University, 2011.

[9] Ivan Habernal, Henning Wachsmuth, Iryna Gurevych, and Benno Stein. SemEval-2018 task 12: The argument reasoning comprehension task. In Proceedings of The 12th International Workshop on Semantic Evaluation, pp. 763-772, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[10] Timothy Niven and Hung-Yu Kao. Probing neural network comprehension of natural language arguments. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 4658-4664, Florence, Italy, July 2019. Association for Computational Linguistics.

[11] Suchin Gururangan, Swabha Swayamdipta, Omer Levy, Roy Schwartz, Samuel Bowman, and Noah A. Smith. Annotation artifacts in natural language inference data. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers), pp. 107-112, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[12] Pride Kavumba, Naoya Inoue, Benjamin Heinzerling, Keshav Singh, Paul Reisert, and Kentaro Inui. When choosing plausible alternatives, clever hans can be clever. In Proceedings of the First Workshop on Commonsense Inference in Natural Language Processing, pp. 33-42, Hong Kong, China, November 2019. Association for Computational Linguistics.

[13] Adam Poliak, Jason Naradowsky, Aparajita Haldar, Rachel Rudinger, and Benjamin Van Durme. Hypothesis only baselines in natural language inference. In Proceedings of the Seventh Joint Conference on Lexical and Computational Semantics, pp. 180-191, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[14] Tom McCoy, Ellie Pavlick, and Tal Linzen. Right for the wrong reasons: Diagnosing syntactic heuristics in natural language inference. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 3428-3448, Florence, Italy, July 2019. Association for Computational Linguistics.

[15] Tal Schuster, Darsh Shah, Yun Jie Serene Yeo, Daniel Roberto Filizzola Ortiz, Enrico Santus, and Regina Barzilay. Towards debiasing fact verification models. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3410-3416, Hong Kong, China, November 2019. Association for Computational Linguistics.

[16] Armand Joulin, Edouard Grave, Piotr Bojanowski, and Tomas Mikolov. Bag of tricks for efficient text classification. In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics: Volume 2, Short Papers, pp. 427-431. Association for Computational Linguistics, April 2017.


# 森羅 2021-LinkJP 結果の分析:BERT とルールベースの比較

野本昌子 1 宇佐美佑 ${ }^{2}$ 安藤まや 3 中山功太 ${ }^{1,4}$ 関根聡 1
1 理化学研究所 ${ }^{2}$ Usami LLC ${ }^{3}$ フリー 4 筑波大学
\{masako.nomoto, kouta.nakayama, satoshi.sekine\}@riken.jp, yu@usami.llc, maya@kzd.biglobe.ne.jp

## 概要

森羅プロジェクトでは説明可能な $\mathrm{AI} を$ 目指して Wikipediaの構造化を進めており，新しい取組みとし て，日本語 Wikipediaを対象としたエンティティリ ンキングタスク (森羅 2021-LinkJP) を実施した. 記事中で見出しの属性の値を記述したテキスト (見出 しが企業名の場合，本拠地の「東京」等)を対応する 記事ページに紐付けるもので，9 システムが参加し た. 全体の F1 の最高は 0.857 (ルールベース) で，カ テゴリ別ではルールベースシステム，ルールベース と BERT を併用したシステムが上位であった。ルー ルベースと BERT 単独のシステムの性能と出力結果 の比較分析を行い，各々の特徴を報告する。

## 1 はじめに

森羅 2021-LinkJP[1] は日本語 Wikipediaを対象に エンティティリンキングを行う，森羅プロジェ クト [2] の新タスクである. 同プロジェクトでは Wikipedia の知識を機械可読な形に構造化するため,日本語 Wikipedia の記事から見出しのカテゴリ (企業名等) と属性の情報 (企業名の場合は本拠地-「東京」等) を抽出している. 本タスクでは属性の値と して抽出されたテキスト (例：「東京」)を対応する Wikipedia 記事に紐付ける.

本稿では同タスクの結果の報告と，ルールベース と深層学習 (BERT) のシステムの性能と出力結果の 比較分析を行い，各々の特徴を報告する。

## 2 タスク概要

本タスクの要点を以下に示す.

・(特徵 1 : 属性値リンキング) リンク元のテキス トを含む Wikipedia 記事は 7 カテゴリ (人名，企業名等 $)^{1)}$ に分類され，カテゴリ毎の属性の情報 (人名の場合は国籍-「日本」，企業名の場合は 本拠地-「東京」等) が抽出されている．記事中

1）拡張固有表現 [3] の 7 カテゴリ (Person, Company, City, Lake, Airport, Conference, Compound). 各カテゴリに対象属性が定義されている [1].
の属性值テキスト (「日本」，「東京」等) がメン ション (紐付けを行う部分)である.

-(特徴 2：リンク対象の拡張) メンションと意味的に一致する記事がない場合, (a) 新名称の記事，(b) 部分-全体の関係にある記事，(c) 形態の 異なる関連作品等の記事もリンク対象とする ${ }^{2}$.

・タスクデータはテストデータ $(19,321$ 件. リン ク先存在率 $71.9 \% \%^{3)}$ ) と抽出元の Wikipedia デー タ，リンク先候補の Wikipedia データ，サンプ ルデータ (50 件/カテゴリ), 拡張固有表現 [3] の 属性定義等である ${ }^{4)}$.

・評価はシステムの出力したリンク先が正解の リンク先 (複数) のいずれかに該当すれば正答 とする ${ }^{5)}$. 評価指標は precision, recall, (micro averaged) F-measure を用いる.

## 3 タスク結果

タスクには 5 グループ 9 システムが参加した. BERT ベースが 2 システム，ルールベース (文字列一致や Wikipedia 記事の内部リンク等を利用) が 6 シス テム，両者を併用するものが 1 システムである.

参加システムの評価結果を表 1 に示す. micro average F1 は最高で 0.857(AIPRB:SMWL) である. ルールベースの AIPRB の 3 システム [5][6] と BERT にルールベースを組み合わせた NAIST baseline_plus_bert[7] は多くのカテゴリで F1 が高く,前者が 5 カテゴリ, 後者が 2 カテゴリでトップで ある. 全システムで F1 が低いのは Company である (macro average: 0.606).

次に各カテゴリ・属性の F1 を図 1 で見ると，全シ ステムで F1 が低いのは Lake:構成する湖沼である. メンション 104 件中，リンク先が存在するものは 2

2）リンクの種類は (a)Later Name, (b)Part-of，(c)Derivation-of.

3）本稿では (リンク先が 1 つ以上存在するメンション数)/(全 メンション数)を「リンク先存在率」と呼ぶ.

4）他にベースラインシステム [4] も公開しており，参加者は その他の外部データも利用可能である.

5）リンク先が存在しない場合，recall の評価対象には含めな いが, precision の評価対象には含める (リンク先を出力した 場合は誤答).
表 1 参加システムの評価結果（F1, precision, recall）

 & city & company & compound & conference & lake & person &  & prec. & recall & 説明 \\

図 1 参加システムの $\mathrm{F} 1$ (カテゴリ・属性別)

件だが，各システムは 28～104 件のリンク先を出力 した. F1 の低いカテゴリ・属性のうち，他にリンク 先存在率が特に低いものは City-地名の謂れ (0.032), Lake-名前の謂れ (0.034), Compound-特性 (0.085) で， これらは平均メンション長が長い6).

表 2 再帰リンクに関するカテゴリ・属性

 &  & 差分 \\

カテゴリ横断で $\mathrm{F} 1$ が低いものに別名等，再帰リ ンク (メンションを含む記事へのリンク) に関するカ テゴリ・属性 (表 2)7)があり, AIPRB の 3 システム と NAIST:baseline_plus_bert のみが対応できている.

NAIST の baseline_plus_bert では BERT の前にルー ルベースの処理8)を行い，多くのカテゴリ・属性で

6）順に 54.1，45.1，24.54. 全体のマクロ平均は 9.84.

7) 本稿ではサンプルデータでの再帰リンク率 ((リンク先が再帰リンクのメンション数/リンク先の存在するメンション数) が 0.5 以上のカテゴリ・属性)を「再帰リンクに関するカテゴ リ・属性」と呼ぶ.

8） entity 内のリンク, 再帰リンク, mention とタイトルの文字列完全一致.
F1 が向上しており，本タスクではルールベース等， BERT 以外の手法が有効な場合があると考えられる。

以下ではまず，ルールベースの AIPRB:SMWL(以下，AIPRB と略記)[5]，[6] の構成モジュールの単体 での性能とシステムの正答への貢献を確認し，次 に, BERT ベースの NAIST:only_bert(以下，N-BERT と略記)[7] と AIPRB の性能と出力結果を比較し,各々の特徴を示す。

## 4 AIPRB のモジュールの性能と正解 への貢献

表 3 AIPRB の構成モジュールと性能

 &  &  &  &  \\

AIPRB を構成するモジュール (slink(再帰リン ク)， $\operatorname{mint}($ 文字列マッチ), wlink(Wikipedia リンク), linkp(リンク確率）の単体での性能を表 3 に示す. 全体として recall が低く，F1の最高は $0.721(\mathrm{mint})$ にと どまる (AIPRB 全体では 0.857.).

各モジュールの AIPRB の正解出力 (11,943 件) へ の貢献を見るため, モジュール単体での正解出力数 を図 2 に示す. mint は AIPRB の正解の 69.6\%, wlink は $69.4 \%$ で両者は重なりが大きい (AIPRB の正解の $60.4 \%$ ) が，併用することで AIPRB の正解の $84.5 \%$ が

図 2 AIPRB のモジュールの正解出力数 カバーされる，一方，slink は単独での貢献は $13.7 \%$ だが，出力の $86.8 \%$ は他モジュールで代替できない.

次にカテゴリ・属性別の性能を図 3 で見ると，比較的多くのカテゴリ・属性で $\mathrm{F}$ 值が高いのは mint, wlink である. wlink で対応できないカテゴリ・属性 のうち，別名，別称等，再帰リンク率が高い属性は slink でカバーできている.

## 5 BERT とルールベースの比較（カ テゴリ・属性別)

以下，カテゴリ・属性別に AIPRB と N-BERT の違 いを見ていく.

## 5.1 ルールベースが優位のカテゴリ・属性

まず，AIPRB と N-BERT の F1 を図 3 で比較する と，前者が優位のカテゴリ・属性には再帰リンク に関するカテゴリ・属性 (表 2) が多い. AIPRB のみ が正解したケースの $50.2 \%$ はメンションを含む記事 にリンクするもので，N-BERT との差分については slink(再帰リンクモジュール) の貢献が大きい. slink はサンプルデータ中でのカテゴリ・属性の再帰リン ク率を用いて再帰リンクの判定を行っている.

次に，上記の再帰リンクに関するもの以外で AIPRB が優位 ${ }^{9}$ のカテゴリ・属性を表 6 に示す.

AIPRB が正答し，N-BERT が正答できないケース の特徴を以下に示す。

・メンションと転送先のタイトルが一致する場合 (例: 新人選手選択会議-プロ野球ドラフト会議). AIPRB は転送情報も考慮して文字列マッチング を行っている (mint).

・メンション (地名, 住所等) の部分文字列に Wikipedia ページへのリンクがある場合 (例 : < チベット>の北部，東京都文京区<湯島>4-11-16，青森県くむつ市〉). AIPRB はメンションの一部 に埋め込まれたリンクに対応している (wlink).

・カテゴリ・属性・メンションに対するリンク先 がサンプルデータ中に存在している場合 (例：陸運業-運輸業). AIPRB はサンプルデータ中の

9） AIPRB の F 1 が 0.2 以上上回り，かつ，N-BERT の F 1 が比較的低い (0.6 以下) もの.
カテゴリ・属性・メンションのリンク確率を用 いて正答できる場合がある (linkp).

以上のように，AIPRB のみが正答したケースで は，AIPRB がサンプルデータの統計情報 (再帰リ ンク率，リンク確率)，転送情報，Wikipedia のリン ク等，テキスト以外の情報を利用している場合が 多い.

## 5.2 BERT が優位のカテゴリ・属性

次に N-BERT が優位のカテゴリ・属性 ${ }^{10)}$ (表 4) を 見ると，N-BERT が正答し，AIPRB が正答できない ケースはリンク先存在率が低く，平均メンション長 の長いカテゴリ・属性 (Compound:特性，Compound製造方法，City-地名の謂れ，Lake-名前の謂れ) で，説明的な長いメンションの場合が多い. AIPRB には リンク先の有無を推定して出力を制御する仕組みが ないため，リンク先のない説明的な長いメンション であっても誤出力している。

## 6 BERT とルールベースの差分のそ の他の特徴

次に N-BERT と AIPRB の違いのその他の特徴を 調べるため，（a）AIPRB のみが正解を出力したケー ス，(b)N-BERT のみが正解を出力したケースをリン クの種類とカテゴリ・属性により分類した結果を表 7 に示す.

(a)AIPRB のみが正解を出力したケース

約 67\%はメンションに match するぺージへのリン クで，特に多いのは再帰リンク率の高いカテゴリ・属性である ${ }^{11)}$

約 25\%は Part-Of(部分と全体) の関係にある，メ ンションに関する記述を含むぺージへのリンクで， City-合併市区町村と Person-作品はリストに現れる ものが多い. City-合併市区町村は合併された市区町村で，合併後の行政区分にあたる，メンションを 含む記事への再帰リンクが多い．93.5\%がリスト内 に現れる ${ }^{12}$ ). Person-作品は作品の一部 (巻，放送回等) や関連作品等で，94.5\%がリスト中に現れる ${ }^{13)}$ 。 93.1\%が作品名へのリンクを含む．ただし，作品の 放映リストでリストの下位に作品の放送回とタイト ルの情報が列挙される等，リストの階層構造で作品 の部分と全体の関係が表現される場合，AIPRB も正答できないケースがある.

10） N-BERT の F1 が AIPRB を 0.2 以上上回り，かつ，AIPRB の $\mathrm{F} 1$ が比較的低い (0.6 以下). ただし，頻度 10 未満は除く.
11) $\operatorname{match}(1,997$ 件) 全体の再帰リンク率は $61.2 \%$

12）リストの $65.6 \%$ 歴史，沿革等の項目の文のリスト, $34.5 \%$ は市区町村名を列挙した行政区分の変遷のリストや表

13）本文中のリスト $(91.7 \%)$ ，テンプレート中のリスト $(2.8 \%)$

図 3 AIPRB，構成モジュールと N-BERT の F1(カテゴリ・属性別)

 & & \\

約 10\%は Later Name(新名称)のリンクで, Company過去の社名は本文よりリスト内がやや多い14).

(b)N-BERT のみが正解を出力したケース

全体として, Wikipedia リンクのないメンション ${ }^{15)}$ を同名タイトルに誤リンクするものが多い.

## 7 おわりに

森羅プロジェクトのエンティティリンキングタス ク (森羅 2021-LinkJP) は 9 システムが参加し, 全体 ではルールベースの AIPRB:SMWL(F1:0.857), カテ ゴリ別では同システムとルールベースと BERT を併用した NAIST:baseline_plus_bert がトップであった. ルールベースと BERT の手法の比較のため，ルール ベースの AIPRB:SMWL(以下，AIPRB) と BERT ベー スの NAIST:only_bert(以下，N-BERT) のシステムの 比較を行い，以下の知見が得られた。

AIPRB が優位なカテゴリ・属性は再帰リンクに関 するカテゴリ・属性 (表 2) が多い. AIPRB のみが正解したケースも $50.2 \%$ は再帰リンクである.

AIPRB が優位なカテゴリ・属性で AIPRB のみが 正答したケースでは，テキスト以外の情報 (統計情報，タイトルの転送情報，メンション内の Wikipedia リンク等)を用いるものが多く，テキストの情報の

みで BERT が正答するのは難しいと考えられる.

AIPRB のみ正解を出力したケース全体では別名等 の再帰リンクが多いが，約 $25 \%$ は部分と全体の関係 にある記事にリンクされ，リスト中に現れるものが 多い (City-合併市区町村:93.5\%，人名-作品:94.5\%). ただし，作品の一部と作品全体の関係がリストの階層構造で表現される場合は AIPRB も正答できない 場合があり，文書構造の利用は共通の課題である。

AIPRB のモジュールで同システムの正答に大き く貢献しているのは文字列マッチと Wikipedia リン クである (両者併用で $84.5 \%$ ). 一方，再帰リンクは 単独での出力が多く $(86.8 \%)$, 他のモジュールで代替できない. N-BERT で対応できない部分を補う場合，再帰リンクの利用は必須と考える。

N-BERT が優位なカテゴリ・属性はリンク先存在率が低いカテゴリ・属性で，説明的な長いメンショ ンが多い，リンク先が存在しない場合，N-BERT は 出力しないケースが見られるが，AIPRB にはリンク 先が存在するかどうかを推定して出力を制御する仕組みがないため, NIL prediction(リンク先が存在しな い場合の推定) の追加が必要である.

AIPRB の今後の課題には上述の NIL prediction, 文書構造の利用に加えて，カテゴリ・属性，メンショ ンの特徴等の条件に応じた最適なモジュールの組み 合わせ，再帰リンクやリンク確率で用いる統計情報 のデータの増強がある.

## 謝辞

本研究は JSPS 科研費 JP20269633 の助成を受けた ものです.

## 参考文献

[1] 森羅 2021-LinkJP，（2022-1 閲覧）. http://shinra-project. info/shinra2021linkjp/.

[2] 森羅プロジェクト, (2022-1 閲覧). http://shinra-project. info/.

[3] 拡張固有表現 ver8.1,（2022-1 閲覧）. http://ene-project. info/ene8-1/.

[4] Wikilinks JP,（2022-1 閲覧）. https://github.com/usami/ wikilinks-jp.

[5] 野本昌子. AIPRB/AIPCB at SHINRA2021-LinkJP -ルールベー スによるエンティティリンキング-, 2021. https://drive. google.com/file/d/1pwmvJbxCroTGbyvucgqVDRmy5frS5am6/.

[6] linkjpc, (2022-1 閲覧).https://github.com/nomotom/linkjpc.

[7] 氏家翔吾. 森羅 2021-LinkJP最終報告会, 2021. https://drive. google.com/file/d/1YULMaFnrzRMufa7G1DH6NYNAFUZOLVND/.

## A 付録 (Appendix)

表 5 F1 の低いカテゴリ・属性

 & メンション-リンク先の例 \\

表 6 AIPRB が優位のカテゴリ・属性の例 (再帰リンクに関するカテゴリ・属性以外)

 &  &  &  &  & slink & mint & wlink & linkp & AIPRB のみ TP の分類 & メンション-リンク先の例 \\

TP: 出力が正解 FP1: リンク先が存在する場合のシステムの誤出力, FP2: リンク先が存在しない場合のシステムの誤出力

表 7 AIPRB と N-BERT の正答の比較

} & match (371) & Person-所属組織 (36) & 日本代表 - サッカー日本代表 & & & & \\

TP: 出力が正解 slink, mint, wlink, linkp: モジュールの正解率


# 日本語大規模ブログコーパス YACIS に基づいた ELECTRA 事前学習済み言語モデルの作成及び性能評価

柴田 祥伍 ${ }^{1}$, プタシンスキミハウ ${ }^{1}$, エロネンユーソ ${ }^{1}$, ノヴァコフスキカロル ${ }^{2}$, 栘井 文人 ${ }^{1}$
Shogo Shibata ${ }^{1}$, Michal Ptaszynski ${ }^{1}$, Juuso Eronen ${ }^{1}$, Karol Nowakowski ${ }^{2}$, Fumito Masui ${ }^{1}$
1 北見工業大学 テキスト情報処理研究室
Kitami Institute of Technology, Text Information Processing Laboratory
2 東北公益文科大学 Tohoku University of Community Service and Science
f1812201003@std.kitami-it.ac.jp \{michal,f-masui\}@mail.kitami-it.ac.jp
karol@koeki-u.ac.jp eronen.juuso@gmail.com

## 概要

本研究では現在最大規模の日本語ブログコーパス YACIS を用いて, 事前学習済み言語モデル ELECTRA を作成し，その性能評価について報告する。これまで の日本語向けの事前学習済み言語モデルは殆んど Wikipedia という記述文のみを含む言語資源を基に 作成されてきたが，本研究においては口語的な文章 の処理に焦点を当て事前学習にブログコーパスを用 いる. 評価実験では，一般的な自然言語理解の課題 の他に口語の処理が必要となるネットいじめ検出の 課題にも応用し, YACIS-ELECTRA モデルの応用性 について考察する。

## 1 はじめに

近年,ELMo[1], BERT[2], ELECTRA[3], RoBERTa[4]等, 事前学習済み言語モデル, そして特に Transformer 型ニューラルネットワーク [5] のアーキテクチャに 基づいた大規模の事前学習済み言語モデルが, 様々 な研究課題や実世界問題の解決に応用され実用性が 実証されている．例えば，BERT モデルを応用する ことによって FAQ の適切な質問回答のペアを取得 するため QA の関連性の計算が性能向上したことが 確認されている [6]. また，BERT の応用によって日本語の構文解析の精度が向上されたことが確認さ れており [7]さらに，執筆期間が数十年離れた小説 の同著者の判別にも応用されていることや [8], 知識 ベースの自動拡張への成果も挙げられている [9].

事前学習済み言語モデルの有用性が複数の課題 で確認されている一方，日本語用のモデルはまだ少数にあり，多様性に欠けている．数多くの事前学習済み言語モデルを共有しているライブラリである HuggingFace ${ }^{1)}$ 内で公開されている英語用モデルの数 は執筆時点現在 5 千個近くある一方，日本語用のモ デルは 182 個のみと少なく，音声や画像処理以外の テキストベースのモデルのほとんどが同様のテキス トデータをもとに作成されており，日本語における 事前学習済み言語モデル作成における多様性が沈滞 していることが課題となっている.

具体的には，多くのモデルは，異なるアーキテク チャ（BERT, RoBERTa, ELCTRA, GPT-2 等）で作成
されているが，事前学習に用いられたデータには ほとんど Wikipedia とニュース記事と CommonCrawl コーパスのみのテキストデータをもとに作成されて いる。そのようなデータは，入手しやすい一方，多様性がないためモデルの性能へ影響が及ぼされてい る可能性がある。例えば，Wikipedia とニュース記事は日常言語の使用から離れたデータであり，すな わち記述文や説明文のみからなるデータが用いられ るため，日常日本語を取り扱う課題に向かない可能性がある.

そのため，これらのモデルは典型的な名詞や動詞 の間の係わりをつかむことは可能であるが，口語や スラング，砕けた言い方などのような日常的な言語 を分析する場合は不向きである可能性が考えられ る.これに起因して，モデル間の性能が似通ってお り明確に優れているモデルは提案されていない。さ らに, 実世界の様々な課題に対して専門性・多様性 のないモデルのみが提案されており，自然言語処理分野における様々な課題解決や全般的な発展を妨げ ている.

そこで，それらの課題を解決するために本研究 では, 日本語の日常的表現を豊富に含む最大規模 の日本語のブログコーパスである YACIS コーパス $[10,11]$ を元に新たに事前学習済み言語モデルを作成し，その性能評価を行う。また，性能評価では，一般的な自然言語推論の課題の他に，日常言語やスラ ングの適切な処理が必要となるネットいじめ検出の 課題も用いる.

## 2 YACIS 大規模日本語 blog コーパス

事前学習用のデータとしては，YACIS コーパス を用いた $[10,11]$. YACIS コーパスとは，56 億語を 含む現在最大規模の日本語ブログコーパスである. 2010 年に収集した YACIS コーパスは，アメバブロ グ $(\text { 略：アメブロ })^{2}$ から収集され，作成した際アメ ブロの $1 / 3$ を含んでいた. さらに，YACIS コーパス は多面的アノテーションされており [12,13]，数多 くの研究に応用されてきている. YACIS コーパスの 元データ及びアノテーションは現在以下のページ3) にて 2022.4 以降に公開予定である.

事前学習用のデータを選択する際は，データのサ イズと言語の多様性という 2 点に注目を置いた。ま ず，コーパスのサイズとしては，現在 Wikipedia 全体（全言語版）のサイズは，290 億語を含み4)，そ の中日本語のみの記事は， 25 億語を含む5). YACIS は日本語 Wikipedia 全体より 2 倍以上大きいためそ のまま事前学習に用いても十分と考えられる. さら に，言語の多様性に関しては，ほぼ説明文と記述文 のみを含む Wikipedia と異なり，一般ユーザが毎日 のように意見を表すブログ記事からなる YACIS は，日常的表現を豊富に含むため, 事前学習に用いた場合，日常的な表現やスラングなどの処理に強みがあ ることが考えられる。

具体的には YACIS には感情文:非感情文の比率は 2:1 である [11]ため, 感情に満ちた日常表現が豊富 に含まれる。さらに Twitter にあるような文字制限 のない言語資源（アメブロ）を基に収集されている ためユーザが無理矢理に文字制限に合わせる中で メッセージが不自然かつ挑発的 [14] になる傾向はな く, 思い通りに表現するため Twitter のようなマイク ロブログよりも自然な日本語が含まれると考えら れる。

Wikipedia に対して YACIS を使う可能な不利点と しては，前者は数多くの概念を含むため，自然言語理解及び推論の課題に向く可能性があるが，本研究 ではそのことを実験的に確認する。

## 3 事前学習方法について

## 3.1 ELECTRA アーキテクチャについて

事前学習には ELECTRA のアーキテクチャを使用 する. ELECTRA[3] は, 2018 年に提案された BERT[2] の事前学習アーキテクチャに基づき, 事前学習プロ セスを最適化し改良した手法であり, 従来の改善手法である RoBERTa[4] の 1/4 の計算量で, 近い性能を 出すことが可能である [3].

BERT をはじめこれまでの事前学習モデルでは，学習データにおけるトークンの一部が [MASK] と いう特別なトークン（隠しラベル）に置き換えら れ，元のトークンは何のトークンであったかを予測 させることによってモデルの事前学習を行う. し かし,[MASK] に置き換えられるのはトークンの一部（一般的には $15 \%$ \%) だけであり,モデルはその一部のトークンからしか学習できないため, 学習プロ セスの効率が低い。それと違って ELECTRA では， BERT アーキテクチャに基づく小規模の生成モデル （Generator）と識別モデル（Discriminator）という二 つのモデルが利用される。具体的には，入力文の トークンの一部を隠し，生成モデルが予測したトー クンに置き換える。 それから，各トークンに対して 元のデータにあったか, それとも生成モデルによっ て生成されたか,Discriminator に識別させることで事前学習を行う.[MASK] に置き換えられた部分だけで なく, すべてのトークンに対して予測が行われるた め, より効率的な学習が可能になる. その上, 事前学習にかかる時間を短くしても, 複数のデータセッ

4) https://en.wikipedia.org/wiki/Wikipedia:Size_comparisons

5) http://ja.wikicount.net表 1 事前学習モデルのサイズ.

トにて性能評価を行うための GLUE ベンチマーク [15](言語モデルにおける自然言語理解能力を評価す るためのデータセット)を用いた評価によると性能 が低下せず，むしろ向上したことが明らかになった.

これらの理由から，本研究では事前学習モデルに は，ELECTRAを使用することにした。

## 3.2 事前学習用の設定について

ELECTRA 事前学習済みモデルを訓練する場合,従来研究で提案されているモデルのサイズが 3 種類 あり ${ }^{6)}$ (表 1 参照), 今回は日本語用の ELECTRAを公開した Cinnamon AI Blog にて掲載された先行研究7) と比較するため, 最初は Small で学習を行うことを 決定した. まずは学習時間を考慮しSmall で事前学習を行うことで，小規模のモデルを作成し，評価を 実施した後，精度の向上が見込まれる Large モデル を用いた学習を予定している.

また, Small と Large の間となる Base サイズもあ るが，Baseを学習しないことにした。その理由は， YACIS ブログコーパス内の文は， 500 単語（トーク ン）以上の文はノイズ扱いで削除され，256 単語よ り長い文も僅かである。上記を理由に，YACIS を 使った場合, Small と Base の間は微量な精度向上し か期待できないため,Base モデルの学習は見送り，最終的に Small と Large のみを学習することにした。

## 3.3 事前学習モデル訓練の環境設定

初めに事前学習開始までの流れを把握するた め,OpenWebTextCorpus ${ }^{8}$ を用いて, ローカル環境 (CPU:Intel Core i9-7920X,RAM:132GB,GPU:GeForce GTX1080Ti) で事前学習の試運転を行った.

ELECTRA とのバージョン違いによるエラーを回避するため,TensorFlow ${ }^{9}$ の G GPU 版バージョン 1.15 をダウンロードして利用した. 実行環境は最新版の 場合，同じくバージョンによるエラーが発生するた め,Python のバージョンを 3.6 とし, 学習用データ作成から事前学習の開始まで確認した10).

学習用データ (YACIS コーパス) は $32 \mathrm{~GB}$ あり, Small で事前学習を開始した場合約 7 日間かかると いう想定が得られた。

## 3.4 語彙リスト作成

事前学習を行うためには，YACIS ブログコーパス から新たに語彙リストを作成する必要になった。語彙リストの作成には韓国語版 ELECTRA モデ

ルを公開している先行研究11)を参考に,Huggingface Tokenizerの機能を用いた語彙リスト作成用のプログ ラムを作成した。

先行研究7) との比較をより公平にするために語彙数を同じく 32,000 語とし, 特殊トークン (事前学習済み言語モデルが文を見分けるために用いるセパ レータなど）を含む語彙リストを作成した。

## 3.5 学習用データの準備

上記で作成した語彙リストを利用し,YACIS ブロ グコーパスから学習用データを作成した. 作成には ELECTRA 本体にある学習用データ作成プログラ ム12)をハイパーパラメータをデフォルト6)のまま利用した. 元データとなる YACIS ブログコーパスのテ キストデータは, 既に単語分割化及び文分割化など の前処理が行われているため, そのまま学習用デー タとして用いることができた。

## 3.6 事前学習プロセスについて

上記で作成した語彙リストと学習用データを用い て事前学習を開始した。

先行研究7) と比較するためモデルサイズを Small,埋め込み層を 128 , 語彙数を 32,000 に設定した. その 他のハイパーパラメータについてはデフォルトのま まである。13) また事前学習にはローカル環境で単一 GPU を使用した。

学習用データが $32 \mathrm{~GB}$ あるため, 試運転と同様に 一週間強かかり, 正解値とモデルの予測値のズレの 大きさ（英語："Loss"「損失」）を算出する関数であ る損失関数（Loss function）のスコアのログを取り ながら経過を観察した。損失関数は，

$
\min _{\theta_{G}, \theta_{D}} \sum_{x \in \mathcal{X}} L_{M L M}\left(x, \theta_{G}\right)+\lambda L_{D i s c}\left(x, \theta_{D}\right)
$

で表され, $x$ は入力される単語を表し, $L_{M L M}$ が Masked LM による [G]enerator 側の学習, $L_{\text {Disc }}$ がトー クンの真偽判定による [D]iscriminator 側の学習, $\lambda$ はハイパーパラメータとなっている.この関数の結果が Loss 関数スコアとして表示され 0 に近づくほ ど良い結果を表す.

7 日と 6 時間かけて, 単一GPUによる Small サイ ズの事前学習が終了した. 100 万ステップ学習し, 事前学習の目的関数 (loss 関数) は数日間 10 と 9 を前後しながら徐々に下がり 9 と 8 を前後するようにな り, 最終的に学習が終了した時点で 8.7319 となった. Loss 関数値の動きを 1000 ステップごとにプロット し可視化したグラフを図 1 に表した。事前学習済み の YACIS-ELECTRA モデルは HuggingFace にて公開 されており ${ }^{14)}$ ，今後の研究へ利用可能である.

11） https://github.com/monologg/KoELECTRA/blob/master/docs/ wordpiece_vocab_EN.md

12) https://github.com/google-research/electra/blob/master/ build_pretraining_dataset.py

13) https://github.com/google-research/electra/blob/master/ configure_pretraining.py

14) https://huggingface.co/ptaszynski/ yacis-electra-small-japanese

図 1 YACIS-ELECTRA-Small 事前学習中の損失関数変動

## 4 評価実験

事前学習が終了した後, 完成した事前学習済み言語モデルの性能評価を行なった。性能評価には 2 種類のデータセットを用いて，それぞれのデータセッ トの訓練セット部分をモデルの微調整に使い，テス トセットを評価に使用し，2 段階（微調整 $\rightarrow$ 評価） で評価を行なった。

## 4.1 評価用データセット

## JSNLI データセット

まずは，モデルの総合的な自然言語推論能力を 測るために，JSNLI データセット ${ }^{15}$ [16] を用いた. JSNLI データセットとは，英語の SNLI[17] データ セットを日本語に翻訳したデータセットであり，標準として事前学習済み言語モデルの性能評価に用い られる。

データセットには，533,005 文ペアを含む訓練 セットと，3,916文ペアのテストセットが含まれる. データセットが表す課題では，前提を表す文，仮説 を表す文とその間の関連性を表すラベルがあり，モ デルの評価には前提文・仮説文の関連性を当てる夕 スクが与えられ，モデルの性能は正確率 (Accuracy) によって算出される。

## ネットいじめ検出データセット

総合的な自然言語推論能力の他, より要求性のあ る口語の処理への YACIS-ELECTRA の有用性を図る ために，スラングや口語が豊富に含まれるネットい じめ検出用のデータセットを用いた。このデータ セットは, (1) 松葉 [18] が学校非公式サイトから収集し，これまでに数多くのネットいじめ検出の研究 [19] に使われたデータセットと，(2) 荒田 [20] が新 しくTwitter から収集した有害ツイートデータセッ 卜を統合して作成した.データセット内の有害・非有害の事例はバランスをとった比率であり，訓練 データには，有害 1,650 個，非有害 1,624 個，テスト データには，有害 411 個，非有害 409 個ある.

## 4.2 実験設定

上記の 2 つのデータセットを用いて, 本研究で 事前学習を行った日本語 ELECTRA モデルの評価 を行った。そこで，総合的な自然言語推論能力を JSNLI データセットで評価した. また，事前学習 15) https://nlp.ist.i.kyoto-u.ac.jp/index.php?日 本 語 SNLI(JSNLI) データセット
表 2 JSNLI 課題の結果.

表 3 ネットいじめ検出課題の結果.

 &  &  & Acc &  &  &  &  &  \\

に用いるデータの種類がどこまでモデルの専門性 を強化するかを評価するには，ブログ記事を基に 作成した YACIS-ELECTRA と Wikipedia で学習した Cinnamon-ELECTRA を比較した. また，それぞれのタスクを具体的に以下の通り 実施した．JSNLI データセットを用いた実験では， YACIS-ELECTRA の他に，柴田らが提供した BERT 日本語 Pretrained モデル [7] ${ }^{16)}$ を用いた. JSNLI デー タセットを使った評価では，元の ELECTRA ${ }^{6}$ ) と提供されている正式な評価スクリプトを用いるために は，モデルのチェクポイント（事前学習終了前の状態）のファイルが必要なため，比較実験には，柴田 ら [7] が提供した日本語 BERT モデル 3 種類のみが 使用可能であった.

ネットいじめ検出データセットを用いた実験 では，二項分類を行うための平凡のスクリプトを 作成し，複数のモデルを比較した。具体的には， HuggingFace ライブラリに登録されている日本語 ELECTRA モデル 4 種類と日本語 BERT モデル 2 種類と比較を行った。また，我々以外のモデルの場合 は，数回実験を繰り返した後のベストのスコアのみ を報告し，YACIS-ELECTRA はベストおよびワース トスコア両方報告する。

## 4.3 実験結果と考察

JSNLI 課題の結果を表 2 に表す. BERT ベースの モデルには正確率の大きな違いは見られなかった. モデル作成者は全単語マスクモデル (Whole Word Masking, WWM) の方が精度が高い傾向があると報告しているがそれを確認することはできなかった. さらに, 関連研究 [16] では精度が 93\%を超えている ことを報告しているが，その報告結果を再現するこ ともできなかった. YACIS-ELECTRA-Small は $88 \%$ を超え，比較した中では最高結果となった。

さらに，ネットいじめ検出課題の結果17)を表 3 に 示す. 結果に見られる傾向としては，同種類のモデ

ルの中では, Base モデルは Small モデルより結果 が高かった. また, 同じく同種類の Large モデルが Base より結果が高かった. また，同サイズのモデル で，ELECTRAが BERT より高い結果を取得できた。 Small 級のモデルの中では, 提案の YACIS-ELECTRA が一番高い結果になった。ただし，微調整におけ る出発時点のランダムサンプル及びパラメータに よって結果には $5 \%$ ぼのの低下も見られ，微調整の 設定が結果に大きな影響をすることが分かった。 また，特に Small 級のモデルでは YACIS-ELECTRA との違いは事前学習時のデータセット (YACIS vs Wikipedia)の 1 つだけであるため, 口語処理が必要 とする課題における口語を含むデータセットの有用性を確認することができた。最高結果を取得したの は megagonlabs $の$ ELECTRA-Base であり, 事前学習 には Wikipediaを使わず $\mathrm{mC4}$ データセット ${ }^{18)}$ のみを 使い,アーキテクチャとしての ELECTRA の有用性 を確証している。さらに megagonlabs 及び提案モデ ル以外は Wikipediaを使ったことから事前学習デー タとして Wikipedia は最適ではないことが示唆され ている.

## 5 おわりに

本研究では，大規模日本語ブログコーパスを事前学習データとして用いて ELECTRA 事前学習済み言語モデルを作成した. モデル作成にブログを用いる ことで，口語の事前学習への有用性を確認でき，特 に砕けた言い方やネットスラングの処理が必要とす るタスクでの精度向上を確認できた。また，これま では Small 級のモデルのみを作成, 評価してきたが 今後は Large 級も作成する予定である.

今後の課題としては, 微調整時のランダムサンプ 几の結果への影響を調査する必要がある。また，事前学習時のデータ種類や訓練データ内に使われる言語がどのように応用タスクで得られる結果に影響を するか，つまり事前学習済み言語モデルの普遍性よ りも専門性に関するさらなる研究も必要である.

18） https://huggingface.co/datasets/mc4

## 謝辞

本研究にあたって色々と相談に乗っていただいた 北海道大学のジェプカラファウ助教に感謝いたし ます。

## 参考文献

[1] Matthew E. Peters, Mark Neumann, Mohit Iyyer, Matt Gardner, Christopher Clark, Kenton Lee, and Luke Zettlemoyer. Deep contextualized word representations. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 2227-2237, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[2] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert:pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018

[3] Kevin Clark, Minh-Thang Luong, Quoc V Le, and Christopher D Manning. Electra: Pre-training text encoders as discriminators rather than generators. arXiv preprint arXiv:2003.10555, 2020.

[4] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach. arXiv preprint arXiv:1907.11692, 2019.

[5] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. arXiv preprint arXiv:1706.03762, 2017.

[6] Wataru Sakata, Tomohide Shibata, Ribeka Tanaka, and Sadao Kurohashi. Faq retrieval using query-question similarity and bert-based query-answer relevance. In Proceedings of the 42nd International ACM SIGIR Conference on Research and Development in Information Retrieval, pp. 1113-1116, 2019.

[7] 柴田知秀, 河原大輔, 黒橋禎夫. Bert による日本語構文解析の精度向上. 言語処理学会第 25 回年次大会, pp. 205-208, 2019.

[8] Jagna Nieuwazny, Karol Nowakowski, Michal Ptaszynski, and Fumito Masui. Can you fool ai by doing a $180 ?$ - a case study on authorship analysis of texts by arata osada. Information Processing \& Management, Vol. 58, No. 5, p. 102644, 2021

[9] Rzepka Rafal, Takishita Sho, and Araki Kenji. Bacteria lingualis on bertoids - concept expansion for cognitive architectures. 人工知能学会第二種研究会資料, No. AGI-014, p. 10, 2020.

[10] Jacek Maciejewski, Michal Ptaszynski, and Pawel Dybala. Developing a large-scale corpus for natural language processing and emotion processing research in japanese. In Proceedings of the International Workshop on Modern Science and Technology (IWMST), pp. 192-195, 2010.

[11] Michal Ptaszynski, Pawel Dybala, Rafal Rzepka, Kenji Araki, and Yoshio Momouchi. Yacis: A five-billion-word corpus of japanese blogs fully annotated with syntactic and affective information. In Proc. of the AISB/IACAP world congress, pp. 40-49, 2012.

[12] Michal Ptaszynski, Rafal Rzepka, Kenji Araki, and Yoshio Momouchi. Automatically annotating a five-billion-word corpus of japanese blogs for sentiment and affect analysis. Computer Speech \& Language, Vol. 28, No. 1, pp. 3855,2014

[13] Michal Ptaszynski, Yoshio Momouchi, Jacek Maciejewski, Pawel Dybala, Rafal Rzepka, and Kenji Araki. Annotating japanese blogs with syntactic and affective information. In Mining User Generated Content, pp. 229-262. Chapman and $\mathrm{Hall/CRC}, 2014$.

[14] Sarita Yardi and Danah Boyd. Dynamic debates: An analysis of group polarization over time on twitter. Bulletin of science, technology \& society, Vol. 30, No. 5, pp. 316-327, 2010.

[15] Alex Wang, Amanpreet Singh, Julian Michael, Felix Hill, Omer Levy, and Samuel R Bowman. Glue: A multitask benchmark and analysis platform for natural language understanding. arXiv preprint arXiv:1804.07461, 2018.

[16] 吉越卓見, 河原大輔, 黒橋禎夫ほか. 機械翻訳を用い た自然言語推論データセットの多言語化. 研究報告自然言語処理 (NL), Vol. 2020, No. 6, pp. 1-8, 2020.

[17] Samuel R Bowman, Gabor Angeli, Christopher Potts, and Christopher D Manning. A large annotated corpus for learning natural language inference. arXiv preprint arXiv:1508.05326, 2015.

[18] 松葉達明, 里見尚宏, 栘井文人, 河合敦夫, 井須尚紀.学校非公式サイトにおりる有害情報検出. 電子情報通信学会技術研究報告. NLC, 言語理解とコミュニ ケーション, Vol. 109, No. 142, pp. 93-98, 2009.

[19] Michal E Ptaszynski and Fumito Masui. Automatic Cyberbullying Detection: Emerging Research and Opportunities: Emerging Research and Opportunities. IGI Global, 2018

[20] Masaki Arata. Study on change of detection accuracy over time in cyberbullying detection. Master's thesis, Kitami Institute of Technology, Dept. of Computer Science, 2019.


# 文法誤り訂正への訂正重要度の導入

永田亮 ${ }^{1}$ 高村大也 ${ }^{2}$
1 甲南大学 2 産業技術総合研究所
nagata-nlp2022 @ hyogo-u.ac.jp., takamura.hiroya@aist.go.jp

## 概要

本稿では，文法誤り訂正における訂正の重要度を 定量化することを試みる．具体的には，書き手の意図が正しく伝わるかどうかという観点で訂正の重要度を定量化する手法を提案する。提案手法を作例と 学習者コーパスに適用し，有効性と改善すべき点を 議論する。

## 1 はじめに

文法誤りには様々なものが存在するため，訂正の 目的に応じて，文法誤り訂正の重要度を定量化でき ることは有益である．本稿では，書き手の意図が正確に伝わるということを重視して，訂正の重要度を 定量化することを試みる．具体的には，訂正前後で 伝わる意味の差異が大きいほど重要な訂正とみなす ような重要度を定量化する方法を提案する。このよ うに定義された訂正の重要度は, 語学学習に応用で きる可能性がある．例えば，書き手の意図の伝達を 大きく阻害する誤りを率先して訂正し, 学習者に提示するような応用が考えられる. また，訂正の重要度で各誤りを重みづけて誤り訂正システムの性能を 評価するという応用にもつながる.

本稿では，次のような非常にシンプルなアイデア に基いて訂正の重要度を定量化する。深層学習べー スの言語モデルを用いると文中の単語をべクトル （分散表現）に変換できる．分散表現は，単語の文中での意味を表すとみなせる1)．したがって，訂正前後の単語それぞれから分散表現を得て，その差異 を測ることで意味のズレを定量化する。このズレ が，上述の「意味の差異」に対応するとする.

このようなアイデアに基づいた提案手法の有効性を作例と学習者コーパスを用いて吟味する。例え

ば，この手法は，"He read $a \rightarrow \phi$ books."という訂正2) は “He read $a n \rightarrow a$ book.” よりも重要と判定する. た だし，3節で述べるように，このシンプルなアイデ アそのままでは，いくつかの問題が生じるため，本稿では，その解決方法も議論する。

## 2 関連研究

誤り訂正の重要度に関連した知見に「自然な習得順序」という仮説がある.この仮説は，第二言語習得では，学習者に共通する習得順序があると主張す る。逆に言えば，順序を入れ替えて新たな項目を習得できないと解釈できる。この仮説が正しいとする と，次に習得される項目に関する誤りを訂正するこ とが重要となる。しかしながら，この仮説を支持／否定する両方の研究成果があり，どちらが正しいの かということは未解決問題である (これらの研究に ついては，文献 [1]が詳しい).

文法誤り検出／訂正システムの評価を目的とし た，訂正難易度の定量化 [2] や誤り情報の信頼性推定 [3] に関する研究もある. 訂正難易度や誤り情報 の信頼性はある種の重要度と解釈することもできる が，本研究で目指す書き手の意図が正確に伝わると いうことを考慮する訂正の重要度とは異なる。

## 3 訂正重要度の定量化手法

訂正前後の意味を分散表現として表すことが提案手法の基礎となる．以降では，訂正前後に対応する 分散表現をべクトル $\boldsymbol{e}$ と $\boldsymbol{c}$ でそれぞれ表記する. こ の $\boldsymbol{e}$ と が，訂正前後の文の意味を精度よく表現し ていれば， $\boldsymbol{e}$ と $\boldsymbol{c}$ の差異に基いて， 1 節で述べた訂正の重要度を定量化できる. 二つのベクトルの差異 は，ベクトル間の余弦類似度で定量化することが多 く，本稿でも採択する。ただし，值が高いほど重要 であるという尺度にするために，1 から余弦類似度 を引いた値を訂正の重要度とする。

2）矢印前後で訂正前後の単語列を表している. また， $\phi$ は空単語で，単語の削除（と追加）を表すのに使用する.

ここで問題となるのは, $\boldsymbol{e}$ とをどのように得る かということである. 様々な方法が考えられるが，本稿では，次の二つの方法を検討する。基本的に，言語モデル（具体的には BERT）から得られる分散表現を用いる.

一つ目の方法では, 単語の分散表現を $e, c$ とす る. 具体的には，（1）訂正前後の文をそれぞれ独立 に BERT に入力し，最終層の出力を得る，（2）出力 として得られる分散表現のうち訂正前後の単語列 に対応するものを，それぞれ $\boldsymbol{e}, \boldsymbol{c}$ とする. ただし，複数の単語からなる単語列の場合は平均をとる. こ のようにして得られた分散表現間の余弦類似度は訂正前後の単語列が表す意味の差に対応すると解釈で きる.

この方法は直感的ではあるが，余剩誤りと抜 け誤りの場合に問題が生じる。例えば，“We know about $\rightarrow \phi$ the issue.”では単語 about が余剰であり，訂正文では削除されている.このように削除された単語列については, どのように分散表現を求めたらよ いかは自明ではない，同様のことが，抜けの誤りの 場合に訂正前の文で起こる。本稿では，余剩／抜け 単語の左右の単語に対する分散表現の平均をとるこ ととする.

二つ目の方法は，この問題をより直接的に解決す る. BERTでは, 一文全体に対応する分散表現が得 られる。すなわち，特殊トークン [CLS] に対応する 分散表現を $\boldsymbol{e}$ と $\boldsymbol{c}$ とす. ただし, 個々の訂正の重要度を定量化するために，一文内に複数の誤りがあ る場合でも，一度に訂正する誤りは一つとする。こ の方法では, 訂正前後の単語列に直接着目するので はなく, 訂正前後で文全体の意味がどのように変化 したかに基いて訂正の重要度を定量化する。

以上の通り，提案手法では，訂正前後の情報から 得られるべクトル $\boldsymbol{e}$ と $\boldsymbol{c}$ に基いて訂正の重要度を定量化しようとする. 仮に, $\boldsymbol{e}$ や $\boldsymbol{c}$ で単語や文の意味 を表すことができるとして，訂正前の文が表す意味 とは何かという問題が生じる. 例えば, “He read an book." というのは非標準であり，意味をなさないと 主張することもできる. 逆に，訂正できるというこ とは, 訂正前の文でも訂正後の文と同じ意味が伝わ ると主張することもできる. 提案手法では，次のよ うな仮定と近似を暗に行っている。まず，誤りを含 む文が表す仮想的な意味が存在し，空間内のある一点に対応づけられると仮定している. 同様に，訂正 された文の意味も同一空間内の点に対応付けられ
ると仮定している。（この二点間が十分に近い場合，人間は前者から後者を特定できるが)，提案手法で は，この二点間の差異を近似的に訂正の重要度とし ていると解釈できる。

## 4 使用データ

提案手法の有効性を定性的に分析するために内省に基いて訂正の重要度が異なる例文を作成した。表 1 に結果を示す. 表 1 では, 訂正のカテゴリごと に作例を区分けし，訂正の重要度が高いと思われる 順に並べている．カテゴリと重要度の並べ替えの詳細は付録 $\mathrm{A}$ に示す通りである。

作例に加えて，二種類の学習者コーパスも用い た. 一つ目は, CoNLL-2013 Shared Task [4] のテスト データとした. 分析の容易さを考えて，限定詞，名詞の数, 主語動詞の一致, 前置詞, 動詞の形態に関 する 5 種類の誤りのみがアノテーションされたもの を用いた。二つ目は，ICNALE [5] に，独自に誤り情報を付与した 1,894 文を用いた。誤り体系 [6]（20 種 の誤り）を用いた。

## 5 訂正重要度の定性分析

## 5.1 作例を対象にした場合

表 1 の作例に対して，提案手法を適用して訂正の 重要度を求めた. 表の第 $3 ， 4$ カラムが文ベースの 手法と単語べースの手法の結果にそれぞれ対応す る. 括弧内の数は，内省の順位との差を表す。

文ベースの手法の結果は内省の結果に非常に類似 する．異なるのは動詞に関する誤りのみである。内省では, listened to と heard とで表す意味が異なるた め重要度が一番高いとしたが，提案手法ではカテゴ リ内でもっとも重要度が低くなっている. 訂正前後 とも文法的には正しく，また，「聞く」という基本の 意味は共通するため重要度が低くなった可能性があ る. 他のカテゴリについては, 内省による重要度順 と同一である. 例えば，直感的には， $a \rightarrow \phi$ books と a books $\rightarrow$ book は同程度重要と感じられるが，推定 された重要度も類似した値になっている（ただし，重要度の差異をどのように解釈すべきかは別の問題であり注意が必要である).また, “We discussed about $\rightarrow \phi$ the issue.” は, 重要度はカテゴリ内で最も 低い. 確かに，この誤りは意味が伝わるという観点 からは致命的な誤りでないともいえる。もちろん，母語話者らしい英語という観点からは重要な訂正で
表 1 内省に基いて作成した例文と訂正重要度の推定結果.

} & He read $\mathrm{a} \rightarrow \phi$ books. & $0.030(0)$ & $0.586(0)$ \\

あるが，ここで強調したいのは，このように訂正の 重要度を定量化することで文法誤り訂正を新しい観点から議論できる可能性があるということである.

一方，単語ベースの手法では順位の入れ替わりが 散見される. 特に余剩の誤りの訂正が重要とみなさ れる傾向にある. 例えば，“He read $a \rightarrow \phi$ books." が 全訂正中で最も重要度が高い。これは, 3 節で述べ たように余剩／抜け誤りでは, 比較する単語に問題 があることに起因する。この例では， a と read books に対する分散表現を比較している。この比較は直感 に合わず，改善の余地がある．この点において，文 の分散表現に基いた手法のほうがより自然に訂正の 重要度を定量化しているといえる。このことを考慮 して，以降では文べースの手法の結果を報告する。

## 5.2 学習者コーパスを対象にした場合

表 2 に，CoNLL-2013 における重要度の上位/下位 5 件を示す3).なお，学習者コーパスを対象に した場合は，一文中に複数の誤りが含まれる場合があり，表 2 も含めて，以降の結果では，一見適切でないように思える訂正もあることに注意 されたい. 例えば，表 2 の最終行は，全体として， a problem of the health of the $\rightarrow$ an unhealthy society と訂正されている.

表 2 では，大きな傾向としては，冠詞と名詞の数 に関する誤りが最も重要と認識されている。特に,定冠詞の有無は，一般への言及（2，4 行目）と特定物への言及（1，5 行目）という違いがあり，伝わる 意味を大きく左右することが多い. このことを（少 なくとも表 2 の範囲で）定量化結果は反映してい る. 逆に, 主語動詞の一致, 前置詞の誤りは重要度

3）表 2 では，重要度が 0 と表記されているものもあるが，厳密には 0 ではなくごく小さい值を丸めた結果である. が低い。例えば，available for $\rightarrow$ to の重要度は最も低 い部類であるが，for でも書き手の意図は十分に伝 わる. また，冠詞の誤りであっても，a/an の使い分 けについては重要度は低い，ただし，上の議論で重要度が高いと分析した訂正（例: 名詞の単複）でも 重要度が低いと認識されている例もある。これは後述するように，文長が影響している可能性がある.

表 3 に，ICNALEを対象にした場合の上位 10 件を 示す (紙面の関係から, 下位 10 件は付録 B に示す). この結果も，表 2 と同じような傾向を見て取ること ができる. 加えて，文意において重要な役割を果た す要素 (主語, 目的語, 接続詞) が上位に来ている. また，could の有無から生じる差異を捉えていると ころも興味深い。

以上の結果を要約すると，提案手法は，誤りの ために書き手の意図とは異なる意味が伝わる，ま たは，複数の解釈が生じる（例： a books； a book か books で曖昧）ケースを重要であるとみなす傾向に ある。一方，a/an の使い分けや主語動詞の不一致な ど形式的な誤りは重要度を低く見積もる. どちらの ケースがより重要かは目的によるが，意味が伝わる ということを重視した場合は，提案手法には所望の 重要度を定量化できる可能性がある. しかしなが ら，提案手法は非常にシンプルなアイデアに基づい ているため，いくつかの改善すべき点がある. 6 節 でこの点について考察する。

## 6 提案手法の改善すべき点

前節までに示した定量化の結果をみると，重要度 が上位の文は文長が短くなる傾向にあることがわか る.これは，文が長くなるにつれて，一つの誤りが 文全体の意味に及ぼす影響が小さくなるためと予想 できる. すなわち，訂正前後の文長が重要度に影響
表 2 CoNLL-2013（5 種類の誤りタイプ）における訂正重要度（上位／下位 5 件).

表 3 ICNALE における訂正重要度（上位 10 件).

する可能性がある．同様に，(今回の結果には顕著 には見られないが)，訂正前後の単語列の長さも影響を及ぼす可能性がある。

また別の問題として，一文中にいくつの誤りが存在するかということもある. 提案手法では，一度に 一つの誤りのみを訂正して重要度を算出している が，このことは理論上，次の問題を引き起こす可能性がある。例えば，表 2 の 7 行目や最終行のよう に，一度に一つの誤りのみを訂正すると，不自然な 文となる場合がある。このような不自然な文と原文 を比較して得られる余弦類似度の差異は，伝わる意味の差異に適切に対応しない可能性が高い。また,一文中の誤りの数が増えると文全体としての意味の 差異は大きくなると予想されるが，全体としての差異をどのように個々の誤りに還元するかということ も問題になる. 更に，このことは，誤りの単位をど のように設定するかという別の問題にもつながる.例えば， the books a book に訂正した場合，誤り数 2 （冠詞と名詞の数の誤り）とすることも，全体と
して1つとすることもできる．この例では，直感的 には全体として一つの誤りとして重要度を定量化す ればよいように思われるが，別の例ではその限りで はない (例：the book has を the books have に訂正し た場合)。

以上をまとめると，提案手法には，少なくとも次 の 3 つの改善すべき点があるといえる：

1. 訂正前後の文長から受ける影響の低減

2. 訂正前後の単語列の長さから受ける影響の低減

3. 複数の誤りの取り扱い

より実用的な訂正重要度の実現のためには，これら の要因について調整が必要である. 例えば，文長や 訂正前後の単語列の長さで正規化することなどが考 えられる ${ }^{4)}$.また，複数の誤りの取り扱いについて は，連続した誤りを一つにまとめ，訂正前後とも訂正箇所の左右の単語に対応する分散表現を使用する ことなどが考えられる．更に，推定された訂正の重要度をどのように定量評価するかというのも今後の 課題となる.

## 7 おわりに

本稿では，文法誤り訂正に，訂正の重要度という 新たな観点を導入した. 訂正前後の文から得られる 分散表現に基いて訂正の重要度を定量化する手法を 提案した。作例および実際の学習者コーパスに適用 し，有効性と改善すべき点を議論した．定性分析の 結果，定量化された訂正の重要度は直感に合う部分 も見られたが，実用のためには，改善すべき点があ ることも確認された。

4）試しに，訂正後の文長を対数にしたもので正規化したとこ ろ，正規化の影響が強すぎる傾向がみられた。

## 謝辞

本研究は JSPS 科研費 $18 K 11456$ の助成を受けたも

のである.

## 参考文献

[1] 白畑知彦. 英語指導における効果的な誤り訂正. 大修館書店, 東京, 2015.

[2] Takumi Gotou, Ryo Nagata, Masato Mita, and Kazuaki Hanawa. Taking the correction difficulty into account in grammatical error correction evaluation. In Proc. of 28th International Conference on Computational Linguistics, pp. 2085-2095, 2020.

[3] Nitin Madnani, Martin Chodorow, Joel Tetreault, and Alla Rozovskaya. They can help: Using crowdsourcing to improve the evaluation of grammatical error detection systems. In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, pp. 508-513, 2011.

[4] Hwee Tou Ng, Siew Mei Wu, Yuanbin Wu, Christian Hadiwinoto, and Joel Tetreault. The CoNLL-2013 shared task on grammatical error correction. In Proc. 17th Conference on Computational Natural Language Learning: Shared Task, pp. 1-12, 2013.

[5] Shinichiro Ishikawa. A new horizon in learner corpus studies: The aim of the ICNALE project, pp. 3-11. University of Strathclyde Publishing, Glasgow, 2011.

[6] Ryo Nagata, Edward Whittaker, and Vera Sheinman. Creating a manually error-tagged and shallow-parsed learner corpus. In Proc. of 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, pp. 1210-1219, 2011.

## A 作例の詳細

内省に基いて作成した作例の詳細を示す. 表 1 で は，作例を誤りのカテゴリ（動詞，限定詞／数，前置詞）に区分けし，直感に基いて訂正の重要度順に 並べている。

「動詞」では, listened to と heard とで表す意味が 異なるため重要度が一番高いとした. また, 二行目 は動詞の意味は同じであるが，現在／過去の違いを 考慮し二番目に高いとした. 最後の例は，表す意味 はほぼ同じと予想し，一番重要度が低いとした。

「限定詞／数」における最初の二例は，訂正前後で 伝わる意味の差異は同じ程度と考えられるが，表の 上では同順位が表せないため，便宜上この順で表し ている。一方，最後の例は $\mathrm{a}$ と an の使い分けに関す る誤りであり，伝わる意味にほとんど差異がない. したがって，先の二例より重要度は低いとした。

「前置詞」における最初の例は，about $\rightarrow \phi$ では 「知っている」という基本の意味は共通するが訂正前後でニュアンスが異なるため最も重要度が高いと した. 残り二例は最初の例と異なり文脈や意図とは 関係なく常に誤りである。二つ目の例 agrees $\phi \rightarrow$ to は， to 以外にも訂正候補が考えられる。一方，三つ 目の例 “We discussed about $\rightarrow \phi$ the issue.” については （前置詞の訂正としては）aboutを削除する方法以外 は訂正候補がない，言い換えれば，前後の単語から about が必要がないことがほぼ確定することから， このような重要度順とした。

## B ICNALE における結果の詳細

表 4 に，ICNALE を対象にして訂正の重要度を定量化した下位 10 件を示す. ただし，独自に訂正情

表 4 ICNALE を対象にした訂正重要度（下位 10 件)。