# 日本語 BERT を用いた単語の用例の分野別分析ツールの開発

凌志棟 相田太一 金輝燦 岡照晃 小林千真 小町守
東京都立大学
\{ling-zhidong, aida-taichi, kim-hwichan, kobayashi-kazuma1\}@ed.tmu.ac.jp
\{teruaki-oka,komachi\}@tmu.ac.jp

## 概要

「保守 (maintenance vs conservative)」のように同じ字面でも媒体によって意味が変わる単語がある。こうした単語の使用実態を調査する場合、用例を集め、分野別に分け、最後に分析を実施する。しかし大規模な分析調査となると、必要な時間や人件費が膨大になる。そのため検索システムや分析手法の開発など、計算機による研究支援の発展が期待されている。本研究では、日本語を対象とし、文脈を考慮した単語ベクトルで用例をクラスタリング、プロットする可視化ツールを作成した。単語が大力されると、現代日本語書き言葉均衡コーパスでの用例を集めてクラスタリングし、そのクラスタとコーパスに付与されている分野情報を合わせて 2 次元にプロットする。コーパス中の単語はすべて NWJC-BERT でベクトル化してあり、クラスタリングとプロットに使用される。また各プロット点からその用例を見ることも可能である。最後にこの可視化ツールが用例分析にどのように役立つのか、ケーススタディを紹介する。

## 1 はじめに

コーパス使った大規模な用例分析が言語学の研究で盛んになっている。久屋 [1] は外来語「ケース」 を対象に、書き手の生年代、学歴や媒体が用法の違いに与える影響について統計分析を行なっている。 その結果、前述の要因が外来語の生起に影響をもたらすことがわかった。また呉 [2] は「足を洗う」という表現の用例を分析した。その結果、分野特有の文脈語と共起することで意味の異なりが起きる傾向を明らかにした。久屋 [1] や呉 [2] のように分野間で用例を比較・分析することで、共時的分布を明らかにし、その単語の意味や用法に違いが生まれる要因を特定することができる。こうした研究は従来人手で行われてきたため、計算機を用いたコーパス分析への期待は大きい。

国立国語研究所が公開しているコーパス検索システム「中納言 $\left.{ }^{11}\right.\rfloor を$ 用いることで、現代語に限らず、古文、方言、学習者の書いた文の大規模な用例検索と収集は可能である。しかし中納言は検索機能しか提供していないため、用例に対する分析や統計的処理は研究者自身が人手で行う必要がある。このため実際に用例を統計的に分析し終えるまで対象単語が分析の対象として適切かどうかは判断できない。

そこで本研究では、調査対象となる単語（以下、対象単語）の分野別用例調査を効率化する可視化ツールを開発した。このツールを使うことで、対象単語の分野間で起こる用法の差異をより視覚的に捉えることができる。具体的には、幅広い分野を力バーした現代日本語書き言葉均衡コーパス（以下、 BCCWJ）[3] の各文に対し、BERT [4] の単語べクトルを用いた語義変化検出の手法 [5] を適用することで、単語の用例の違いの可視化を実現した。このツールによって、用例分析前に対象単語が研究対象としてそもそも適切かどうか判断が可能になる。本ツールは Google Colaboratory の形式で公開している)。

## 2 関連研究

## 2.1 BERT を用いた語義変化検出

Giulianelli ら [5] は文脈を考慮した単語ベクトルを用い、単語の通時的な教師なし語義変化検出手法を提案した。年代の異なるコーパスから対象単語の用例を抽出し、BERTに 1 文ずつ入力し、対象単語のベクトルを獲得する。これらのベクトルに対しクラスタリングを行い、類似する用例ごとにまとめあげる。各文に付与された年代情報を用い、時間順に用

1) https://chunagon.ninjal.ac.jp/

2) https://colab.research.google.com/drive/

1M1L531l2oxvX3pGkCzYEQmuBw_mXX9Ee

図 1: 開発したツールの処理フロー。「是非」を例にした場合の可視化の流れ。

例をプロットする。年代ごとのクラスタの割合の推移から、語義の通時変化を検出する。Giulianelli ら [5] の手法は通時的な変化の検出に向けたものであるが、本研究ではそれを異なる分野間での単語の用例分析（共時的な差異の分析）に適用した。また BCCWJ 中の文 ${ }^{3}$ には、その文が記述されていた文献のレジスター（ジャンル、言語使用域）が付与されている。本稿ではこれを分野情報と呼ぶ。クラスタリングの結果と、BCCWJ 分野情報を合わせて可視化することで、単語の用法 (用例クラスタ) と分野との関係を発見することが可能となる。

## 2.2 BCCWJ の分野情報

BCCWJ は現代日本語の書き言葉の全体像を把握するために構築された日本語均衡コーパスで、全体で 1 億 430 万語規模あり、うち人手アノテーションされたコアデータは 100 万語の規模を持つ。実社会のさまざまなテキストを収集しており、各テキストには収集元の分野情報が付与されている。BCCWJ に収録されている分野と語数（短単位数）の一覧を参考情報内の表 1 に示す。本稿で紹介する可視化ツールでは、対象単語の用例を 2 次元上にプロットするだけでなく、その用例が出現した分野の情報を確認することができる。

## 3 対象単語の用例分析に向けた可視化ツールの構築

本研究では、BERT のベクトルを利用して、単語の用法の違いを分野別に可視化するツールを作成した。本ツールの処理の概要を図 1 に示す。対象単語を決め、語彙素（辞書の見出し語に相当するもの）

$[6]^{4)}$ の形式でツールに入力する。出現形抽出器は単語の電子化辞書 UniDic を用い、同一語彙素を持つ出現形を網羅的に抽出する。UniDic は階層的見出し構造を採用しており、語彙素の下に語形、語形の下に出現形が保持されている。そのため例えば、動詞「食べる」という語彙素で検索する場合、出現形抽出器は同一語彙素「食べる」を持つ「食べ」、「食べよ」「「たべ」...を抽出する。抽出した出現形すべてで BCCWJ 内の文を検索し、それらを含む文を分野情報とともに抽出する（重複排除）。抽出された文を 1 文ずつ BERT に入力し、対象単語のベクトルを獲得する。ベクトルを Kmeans 法でクラスタリングし、対応する用例、クラスタ番号、BCCWJ の分野を付与した上で、2 次元に描画する。

BERT には NWJC-BERT ${ }^{5}$ を使用する。NWJCBERT は「国語研日本語ウェブコーパス」(NWJC) により事前学習した BERT モデルである。広く利用されている東北大 BERT $\left.^{6}\right)$ と異なり、NWJC-BERT は単語をサブワード化しない。対象単語がサブワー ド化されると、単語がより小さいトークンに分割され、単語ベクトルを獲得するためには、各トー クンのベクトルを再度、ベクトル演算によって結合する必要がある。一方 NWJC-BERT では、語彙に UniDic の語彙素を収録しているため、対象単語が必要以上に分割される心配がない。したがって、 NWJC-BERT を利用することでツールの処理が容易になる。

クラスタリング手法は Giulianelli らの研究と同じく Kmeans ${ }^{7)}$ を使用する。単語べクトル集合に対し

4） BCCWJ, UniDic で lemma と呼ばれる要素。

5) https://www.gsk.or.jp/catalog/gsk2020-e/

6) https://github.com/cl-tohoku/bert-japanese

7) https://scikit-learn.org/stable/modules/generated/

(a) 色でクラスタを区別した「保守」のグラフ

(b) 色でクラスタを区別した「是非」のグラフ

図 2: 作成したツールで各対象単語に対して用例ごとにクラスタリングを行った結果

図 3: 可視化ツールの凡例の見方

て、クラスタ数を 2 から 10 まで Kmeans を行い、シルエットスコアが最大となるクラスタ数での結果を採用する。類似度計算にはユークリッド距離を使用する。

## 4 可視化ツールを用いたケーススタ

## デイ

この可視化ツールを用いて単語「保守」と「是非」 に対し分析を行なった。用例抽出の対象は BCCWJ コアデータを使用した。対象単語のベクトルを可視化する際に、scikit-learn の TSNE ${ }^{8)}$ を用いて 768 次元のベクトルを 2 次元に次元圧縮を行なった。図 $2 a 、 2 b$ に単語「保守」と「是非」に対して本ツールを用いた可視化結果を示す。出力された図の凡例の見方は図 3 に示す。

ケーススタディ 1 「保守」図 2aに「保守」という単語の用例に対するクラスタリングの結果を示す。コトバンク辞書と見比べた時、Kmeans によるクラスタリングの結果はクラスタ 0（青）が「正常の状態を保つ」[7] という意味での用例、クラスタ 1（赤）が「旧習・伝統を守る」[7] という意味の用例であった。また各用例には BCCWJ 由来の分野情

sklearn. cluster. KMeans. html

8) https://scikit-learn.org/stable/modules/generated/ sklearn.manifold.TSNE.html報が付与されている。クラスタ 1（赤）「旧習・伝統を守る」に含まれる用例の出典分野の割合を図 $4 \mathrm{a}$ に示す。これを見ると「旧習・伝統を守る」という意味での「保守」は新聞分野での用例が全体のおよそ 90 \%を占めることがわかる。これに対し図 $4 \mathrm{~b}$ にはクラスタ 0 (赤)「正常の状態を保つ」に含まれる用例の出典割合を示した。この意味での使用は新聞やブログなどの複数の分野で出現した上、それぞれの分野でほぼ同じ割合を占めている。そのため「保守」という単語は「正常の状態を保つ」という意味で幅広く使われていることが分かった。プロットからは直接用例を確認できるため、用例文を詳しく見ていくと「保守派」「保守党」という政治関連での出現が多いことが分かった。

ケーススタディ 2 「是非」 図 $2 b$ に是非」という単語の用例に対するクラスタリングの結果を示す。コトバンク辞書と見比べた時、Kmeansによるクラスタリングの結果はクラスタ 0（青）が「ぜひとも」という意味の用例、クラスタ 1 （赤）はほとんど「是非を問う」という意味の用例であった。 ケーススタディ 1 と同様に、BCCWJ 由来の分野情報と比較するため、図 5a にクラスタ 0（青）「ぜひとも」に含まれる用例の出典分野の割合を示す。これを見ると「ぜひとも」という表現は、口語的な場

(a)クラスタ 0 に属する用例の各分野の割合

(b) クラスタ 1 に属する用例の各分野の割合

図 4:「保守」のクラスタリング結果の内訳に対する調査

(a)クラスタ 0 に属する用例の各分野の割合

(b) クラスタ 1 に属する用例の各分野の割合

図 5: 「是非」のクラスタリング結果の内訳に対する調査

面（Yahoo!知恵袋、Yahoo!ブログ）でも書き言葉的な場面（書籍、新聞、雑誌）でもそれぞれ同程度に使用されていることがわかる。また、Yahoo!ブログと Yahoo!知恵袋に属する用例の各意味の使用割合を調べた結果、「是非を問う」という用例は見つけられず、「ぜひとも」が 100\%であった。図 5bでは、クラスタ 1 (赤)「是非を問う」内の用例の出典分野の割合を示す。「是非を問う」は新聞での用例が $50 \%$ を占める一方、 $25 \%$ \%が書籍の用例、 $18.8 \%$ \%が白書の用例であった。新聞・白書・雑誌での言葉使いは書き言葉の中でも文語体に近く、カジュアルな口語体で書かれる Yahoo!知恵袋や Yahoo!ブログとの明らかな差を観察することができる。またプロットされた各用例を観察したところ、クラスタ 1（赤）「是非を問う」内に「ぜひとも」の用例が 4 つ含まれていたことが分かった。そのため、Kmeans による自動クラスタリングの際に誤分類が起きていることが分かった。ただしここまで述べてきた考察はいずれも直観に反するものでない。そのため、クラスタリング自体に重大な欠陥があるわけではなく、今後の精度向上を期待するものである。

## 5 おわりに

本研究は分野間で起こる単語の用法の異なりを可視化し、用例研究を支援可能なツールを開発した。このツールを用いることで、コストのかかる統計的な用例分析を行う前に、事前に対象単語が研究目的に適しているかどうか是非の検討が可能になる。今回は Google Colaboratory でデモを公開したが、Google Colaboratory は Python を記述して実行するためのオンライン環境なので、ツールとしては使いにくい。そこで今後の課題として、Webアプリの形式で公開し、クラスタリング以外に分野別の生起率などの情報を可視化しグラフ出力する機能の追加を検討している。用例に対するクラスタリングが適切な分類ができていないことも課題である。 NWJC-BERT から得られたベクトルがどの程度クラスタリングに適しているか調査するとともに、クラスタリング手法の改善に取り組んでいきたい。

## 参考文献

[1] 久屋愛実. 現代書き言葉における外来語の共時的分布：「ケース」を事例として. 国立国語研究所論集， Vol. 6, pp. 45-65, 2013.

[2] 呉琳. 〈足を洗う〉という表現が語る言語変化コー パスによるアプローチ. 言語文化教育研究学会誌『言語文化教育研究』, Vol. 13, pp. 134-168, 2015.

[3] Kikuo Maekawa, Makoto Yamazaki, Toshinobu Ogiso, Takehiko Maruyama, Hideki Ogura, Wakako Kashino, Hanae Koiso, Masaya Yamaguchi, Makiro Tanaka, and Yasuharu Den. Balanced corpus of contemporary written Japanese. Language Resources and Evaluation, Vol. 48, No. 2, pp. 345-371, 2014.

[4] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[5] Mario Giulianelli, Marco Del Tredici, and Raquel Fernández. Analysing lexical semantic change with contextualised word representations. Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 3960-3973, 2020.

[6] 前川喜久雄（監修）/伝康晴・荻野綱男（編）.講座

日本語コーパス 7 コーパスと辞書. 朝倉書店, 2019.

[7] 保守とは-コトバンク,（2022-1 閲覧）. https: //kotobank.jp/word/\%E4\%BF\%9D\%E5\%AE\%88-629994.

## A 参考情報

## A. 1 分野タグー覧

## A. 2 「出版サブコーパス-新聞」に属する用例の各クラスタの割合

図 6:「出版サブコーパス-新聞」に属する用例の各クラスタの割合

図 6 では、分野情報が新聞に属する「保守」の用例をまず集め、それらが所属するクラスタの割合を示した。「旧習・伝統を守る」という意味の用例が約 93 \%であり、「正常の状態を保つ」の用例が 7 \%である。前述の結果と合わせると、「旧習・伝統を守る」という意味の「保守」は分野間で比較しても新聞でよく使用され、新聞内でも「正常の状態を保つ」という意味よりも多く利用されていることが示せた。


# BERT を用いた比較法研究における類似条項の対応付け

長 裕樹 ${ }^{1}$ 中村 誠 ${ }^{1}$
1 新潟工科大学 工学部
201811081@cc.niit.ac.jp mnakamur@niit.ac.jp

## 概要

日本法と外国法の類似条項を自動で対応付けするシステムは比較法研究において有用である。本研究の目的は類似条項の対応付けシステムの作成である。本研究では類似条項を発見するために BERT モデルを用いて生成した文書ベクトルの類似度を用いる。本稿では実験により、1.BERT モデルが類似条項の対応付けに有効であること、2.英訳した法令文でも BERT が有効であること、3.法律ドメインに特化した BERT モデルである LEGAL-BERT は英訳した日本法令には有効ではない可能性があると考察した。

## 1 はじめに

比較法とは、種々の法体系における法制度又は法の機能を比較することを目的とする学問である。比較とは(1)比較されるものの間にある類似点と相違点を明らかにする、(2)類似点と相違点の生じる原因を明らかにする。(3)相違点の存する場合は、どちらがより優れているか評価することであるとされている[1,2]。また、今日最も確固とした法体系を持つのは国家であるから、比較法は通常国家法相互の比較を指す[3]。比較法の実務的な効用として、自国法の立法的整備、解釈・適用の改善が挙げられる。実際に法制審議会において、図 1 のように比較法として日本法と諸外国法の類似条項が提示された例がある。

比較法研究においては, 日本法と外国法の類似点を足掛かりとして研究を行う場合がある。このとき日本法と外国法との類似部分を対応付けたデータを作成することが考えられる. しかし, 正確な対応付けには専門的な知識が必要であり, 非常に労力がかかる. このとき自動で対応付けが出来れば, 比較法研究に寄与するとともに，一般にも海外とのビジネスをする際などに有用である.

類似条項の対応付けに関する研究はすでに行われている[4,5]. それらの研究では単語の一致数に着目 L、Jaccard 係数や Dice 係数で条項間の類似度を計

 & Vater eines Kindes ist der Mann, \\

図 1 法制審議会における実際の対応付け算している。しかし, それらの手法により日本法と外国法を対応付けたところ、ほとんどの条項間で高い類似度が得られず対応付けに失敗している。そこで、それらの代わりに BERT による文書ベクトルを用いることで類義語などを正確にとらえ、より精度の高い類似度の計算ができると考えられる. 本研究の目的は類似条項の対応付けシステムの作成であり、BERT が有効性を検証するために日本法とその英訳文を用いた対応付けの実験を行う。

## 2 類似文書検索

本研究の目的である類似条項の対応付けはそれぞれの条文を 1 つの文書とした類似文書検索と捉えられる。類似文書検索の手法は文書を単語の集合として扱い類似度を計算する方法とニューラルネットワ ークを用いて得られる文書の分散表現から類似度を計算する方法がある.

## 2.1 集合の類似度

2 つの集合の類似度を表す方法として Jaccard 係数(式(1))がある.

$
\operatorname{Jaccard}(A, B)=\frac{|A \cap B|}{|A \cup B|}
$

類似文書検索においてはそれぞれの文書を単語の集合とすることで Jaccard 係数を計算することができる。しかし, Jaccard 係数は計算が単純である反面, 単語の重要度を考慮していない, 類義語も全く別の単語としてしまうといった欠点がある.

## 2.2 ベクトルの類似度

ある単語の意味はその周辺単語によって形成されるという，分布仮説[6]に基づき，ニューラルネットワーク (NN)によって大量のテキストデータで学習を行うことで，単語の意味をベクトルとして表現することができる.

例として king-man+woman というべクトル演算を行うことで queen に近いべクトルを得られることが知られている.

BERT とは、Jacob Devlin ら[7]により提案された言語モデルの一つで，多くのNLP タスクにおいて高い性能を示している. 現在では複数の事前学習済みモデルが公開されており，ファインチューニングを行うだけで高精度な分類を行うことができる。また, 最終層の出力を取り出すことで入力した文書の各トークンに対する単語ベクトルを得ることができる.しかし、基本的な BERT モデルは wikipedia などの一般の文書をコーパスとしているため、医療等の特定のドメインでは性能が低いことが報告されている[8]。法律ドメインにおいては、英語のモデルとして LEGAL-BERT モデル[9]が公開されている。

## 3 提案手法

外国法との対応付けを行う流れを図 2 に示す。

1.それぞれの法令を英語に翻訳

2. 条文を 1 文書として BERT に入力

3. 出力の平均を文書ベクトルとする

4. 文書ベクトル間のコサイン類似度を計算

5. コサイン類似度に基づき、条文を対応付け

図 2 対応付けの流れ最初に対応付けにあたり言語を統一するため翻訳を行う。どちらも英語に翻訳するのは、英訳は翻訳データが多いことから翻訳精度が高いと考えられるためである。最後のコサイン類似度による対応付けでは、対応する文書がない場合があることを考慮し、ある 2 つの文書の類似度が双方向で最大となる場合に対応付けを行うこととする。

## 4 実験

## 4.1 実験の目的

外国法との対応付けを行う場合、正解データの作成が困難であるため、この実験では試験的に日本法令同士の対応付けを行う。ここでは法令の内容が似ている電気事業法（昭和 39 年法律第 170 号）とガス事業法（昭和 29 年法律第 51 号）を取り上げる。類似する条の対応付けに文書ベクトルの類似度を用いるが、一般の文書と同様に法令文書でも BERT によるベクトル化が有効であるとは限らない。そこで、実験によって類似条文の対応付けにおける BERT の性能を Jaccard 係数による対応付けとの比較により検証した。また、外国法を対応付ける場合は英訳した文書を使用する必要があるため、日本法を英訳したもので対応付けを行い、日本語の場合と同様に対応付けが行えるかを調べた。さらに、英語の BERT モデルには法律ドメインに特化した LEGAL-BERT モデルが公開されているため、一般に使用される BERT-BASE と性能を比較した。

## 4.2 実験手順

実験データの文書を日本語の事前学習済み BERT モデルに入力し、最終層の[CLS]と[PAD]を除く出力を平均したものを文書ベクトルとした。事前学習済みモデルには cl-tohoku/bert-base-japanese-wholeword-masking を利用した。BERT の入力トークン数は最大の 512 とし、それを超えるトークンは無視した。異なる法令の文書ベクトル同士のコサイン類似度をすべての組み合わせで計算した。ある文書に対して最もコサイン類似度が高い文書を参照し、その文書から見て最も類似度が高くなる文書が元の文書である場合に、2つの文書を対応付けた。そして、電気事業法とガス事業法の対応付け結果は正解デー タを用いて評価した。

次に、Jaccard 係数を用いた場合と比較するた

め、同じ文書を形態素解析ソフト MeCabによって
単語に分割し、それぞれの文書間の Jaccard 係数を類似度として対応付けを行った。MeCab の辞書に

は Neologd を使用した。

最後に、BERT による対応付け実験を英訳版の法令で行った。BERT の英語事前学習済みモデルには bert-base-uncased と legal-bert-base-uncased を用い、性能の比較を行った。

## 4.3 実験データ

本実験で使用した法令を表 1 に示す。日本語の法令データは e-Govi、日本法の英語訳デー夕は日本法令外国語訳データベースシステム $(\mathrm{JLT})^{\mathrm{ii}}$ よりそれぞれ $\mathrm{xml}$ 形式で入手した。JLT の英訳は最新の法令デ一タではないため、条数や内容の一部が異なる。それぞれのファイルから article タグ配下にあるテキストを抽出して、それぞれを 1 つの文書として扱った。

## 表 1 使用法令

## 4.4 評価方法

電気事業法のガス事業法に対する対応付けの結果を正解データと比較した。正解データは法律になじみのない工学部の学部 4 年生と非常勤職員による人手で、複数の条との対応を許可して作成した。正解データと同じ対応が取れた場合を $\mathrm{TP}$ 、対応しない条を対応付けた場合を FP、対応がない条を対応付けなかった場合を TN、対応する条があるが対応が取れなかった場合を FN として、Accuracy、

Recall、Precision、F 值を算出した。

## 5 結果と考察

## 5.1 実験結果

日本語の電気事業法とガス事業法の対応付けを評価した結果を表 2、英訳版の電気事業法とガス事業法の対応付けを評価した結果を表 3 に示す。表 2 日本語で対応付けした場合の評価結果

表 3 英語で対応付けした場合の評価結果

## 5.2 考察

## 5. 2. 1 Jaccard 係数と BERT の比較

どちらの手法を用いた場合でもすべての評価指標において 0.7 を超えるスコアが得られた。2つの手法を比較すると、Jaccard 係数を用いた場合のほうがよりスコアは高くなった。これは電気事業法とガス事業法の条文が単語単位で類似しているためだと考えられる。しかし、予備実験で Jaccard 係数を用いた手法によって条項単位で日本法とドイツ法を対応付けたが、良い結果が得られなかった。これは内容が類似していても使用される単語が異なっているためであると考えられ、NNを用いて得られた文書ベクトルの類似度を用いた場合には意味の近い条項を対応付けることができると考えられる。

## 5. 2.2 英訳版での対応付け精度

英訳したデータを対応付けた場合、どちらの BERT モデルによる対応付けでも日本語の場合と同程度のスコアが得られた。このことから、実際に日本法と外国法を対応付ける場合にも、英語の BERT モデルを用いることで双方を英語に翻訳してから対応付けを行うことができると考えられる。

また、BERT-BASE と LEGAL-BERT を比較すると、Recall は LEGAL-BERT、それ以外は BERTBASE のほうが高くなった。LEGAL-BERT は法律ドメインに特化したモデルであるが、学習に用いたのは EU 法やイギリス法、US の契約文書等の英語の法的文書のみであり、日本の法令データは学習に使われていないためであると考えられる。
^{i}$ https://www.e-gov.go.jp

ii http://www.japaneselawtranslation.go.jp
}

## 6 おわりに

実験から、BERTを用いた類似条項の対応付けが有効であることが分かった。また、英訳で対応付けを行う場合には BERT-BASE を用いたほうがより性能が高くなるという結果が得られた。

今後は実際に日本法とドイツ法など外国法との対応付けを行い結果の評価を行うとともに、対応付けの条件等の最適化を目指したい。

## 謝辞

本研究は、科学研究費補助金 (19H04427、代表 :中村誠）の助成を受けたものである。

## 参考文献

[1] 貝瀬幸雄, 比較法学入門, 日本評論社, 201902-25

[2] 五十嵐清, 比較法ハンドブック, 勁草書房, 2019-02-20

[3] 滝沢正, 比較法, 三省堂, 2020-10-10

[4] 比較法研究における外国法との類似条項の対応

付けと翻訳精度との関係について. 長裕樹. 中村誠,電子情報通信学会信越支部大会, 2021 年, p. 115

[5] The legislative study on Meiji civil code by machine learning. Kaito Koyama, Tomoya Sano, Yoichi

Takenaka. Proceedings of the International Workshop on Juris-Informatics 2021, pp.41-53

[6] Zellig S. Harris. Distributional structure. WORD, 1954, pp.146-162

[7] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and

Kristina Toutanova. BERT: Pre-training of Deep

Bidirectional Transformers for Language

Un derstanding. Proceedings of the Annual Conference of the North American Chapter of the Association for Computational Linguistics: Human Language

Technologies, abs/1810.04805, 2019

[8] Jinhyuk Lee, Wonjin Yoon, Sungdong Kim, Donghyeon Kim, Sunkyu Kim, Chan Ho So, and Jaewoo Kang. BioBERT: a pre-trained biomedical language representation model for biomedical text mining. CoRR. 2019

[9] LEGAL-BERT: The muppets straight out of law school. Chalkidis, I., Fergadiotis, M., Malakasiotis, P., Aletras, N., \& Androutsopoulos, I., Findings of the
Association for Computational Linguistics: EMNLP 2020, pp.2898-2904

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 介護支援対話システム MICSUS のための意味解釈モジュール

淺尾 仁彦 ${ }^{1}{\text { 水野 } \text { 淳太 }^{1} \text { 呉 鍾勲 }}^{1}$ Julien Kloetzer $^{1}$ 大竹 清敬 ${ }^{1}$
福原 裕一 1 鎌倉 まな ${ }^{1,2}$ 緒形桂 $1 \quad$ 鳥澤 健太郎 ${ }^{1,2}$
1 国立研究開発法人情報通信研究機構 (NICT) 2 奈良先端科学技術大学院大学
\{asao, junta-m, rovellia, julien, kiyonori.ohtake, fukuhara, kamana, kei.ogata, torisawa $\}$ n nict.go.jp

## 概要

介護支援対話システム MICSUS でユーザ発話を解釈するためのモジュールの概要とその性能等についてまとめる。MICSUS は介護・支援の必要な高齢者の健康状態等の定期的なチェックを行うとともに、高齢者のコミュニケーション不足を補うことで、介護従事者の負担を軽減し、高齢者の健康維持を促進する目的で開発が進められている対話システムである。MICSUS は、健康状態等に関する質問に対するユーザの自由な応答を解釈し記録することができるほか、ユーザ発話によってはウェブ情報に基づいた雑談に遷移することも可能である。また、音声認識エラーによる意味解釈の失敗を防ぐため HBERT と音声認識エラー検出の 2 つの技術も開発した。

## 1 はじめに

介護支援対話システム $\operatorname{MICSUS}^{1)}$ は、内閣府総合科学技術・イノベーション会議の戦略的イノベー ション創造プログラム (SIP) 第 2 期の支援のもと、 KDDI 株式会社・情報通信研究機構 (NICT) ・NEC ソリューションイノベータ株式会社・株式会社日本総合研究所の共同で開発が進められている高齢者向けの対話システムである $[1,2]$ 。現在、介護分野では日本だけでなく世界的に人手不足が懸念されており、 $\mathrm{AI}$ の活用に期待が高まっている2)。MICSUS は、ケアマネジメント業務の負担軽減のため、主にあらかじめ設計した対話シナリオを元に、システムからユーザに質問する形で高齢者の健康状態、生活習慣等をモニタリングする。同時に、雑談対話システム

図 1 介護用対話システム MICSUS。音声だけでなく表情やジェスチャーも認識可能

WEKDA [3] 等と接続して、ユーザ発話によってはウェブ情報を用いた雑談に遷移することで、飽きのこないシステムにするとともに、高齢者のコミュニケーション不足を補うことを狙っている。定期的な健康チェックの徹底やコミュニケーション不足の解消により要介護度の進行や認知症の発症、死亡率を抑えられることが知られており [4,5]、MICSUS は介護の質を向上させるうえで重要な役割を果たすことが期待されている。現在、高齢者施設と連携して長期にわたる実証実験を進めている。

MICSUS の外見を図 1 に示した。MICSUS はジェスチャーや表情も認識可能なマルチモーダルな対話システムとして開発が進められているが、本発表では、NICT が担当して研究開発を行っている、ユーザ発話を解釈するモジュールに議論を絞る。MICSUS の主要機能には、Yes/No 質問による健康状態等のモニタリング、好みや習慣などを聞いて話題を広げるための個人属性質問応答、ユーザの回答の訂正、重複した質問を避ける含意認識機能、雑談機能がある。本発表では、このうち一部の機能について、その概要と利用例、およびその実現のため構築した、 ユーザ発話を解釈するための深層学習モデルについて述べる。また、音声対話システムの課題である音
声認識エラーへの対処について、音声認識エラーを含むテキストに対して頑健な分類を実現する言語モデル HBERT と、音声認識エラー検出の 2 種類の技術も提案する。特に HBERT は、評価デー夕に音声認識エラーがない場合も含めて、 BERT $_{\text {LARGE }}$ [6] からの性能向上を実現した。本発表で言及するモデルはいずれも 350GB (22 億文)のウェブテキストで事前学習を行った BERT もしくは HBERTをもとに、 それぞれの機能に合わせた学習データを NICT のアノテータが作成し、自動生成した学習データと合わせてファインチューニングを行ったものである。

## 2 関連研究

少子高齢化の進むなかで高齢者を対象にした対話システムは注目を集めており、既存研究に山本ら [7]、大竹ら [8]、下岡ら [9] の対話システムなどがある。例えば下岡らは、相づち・問い返し・共感応答などによってユーザの語りを促す傾聴対話システムを構築しており、音声認識エラーへの対策として、音声認識の信頼度によって応答生成の手法を使い分けることも実現している。傾聴ないし雑談を主としたこれらの対話システムと比較すると、MICSUS は健康状態等のモニタリングという明確な目的をもつため、あらかじめシナリオを用意してシステム主導で目的指向型の対話を行うという点が異なっているが、同時に、雑談機能によってユーザの主体的な話題提供に対応することも可能となっている点にオリジナリティがある。

## 3 Yes/No 質問

「夜はよく眠れていますか？」のような Yes/No 質問による高齢者の健康状態等のモニタリングは、 MICSUS の最も基本となる機能である。この機能のため、Yes/No 質問に対するユーザ応答を Yes, No, Unknown, PresuppositionFailure, Other $の 5$ 値に分類するモデルを作成した (表 1)。Yes, No 以外のカテゴリとして、Unknown (ユーザがわからないと答えている場合)、PresuppositionFailure (ユーザが質問の前提が成り立たないと指摘している場合)、Other（その他の場合。ユーザが質問に答えず他のことを言つている場合など）が設けてある。モデルは、例えば 「毎日しっかり食べていますか？」という質問に対し、「食べています」や「いいえ」のような単純な応答だけでなく、「胃は丈夫なんだよ」「それが最近すっかり食が細くなって」のような間接的な回答で
あっても適切に分類できるよう、意図的に後者のような発話事例の多い学習データを作成し学習した。

表 1 Yes/No 質問応答の 5 値分類と、「お薬を飲み忘孔な

学習・評価データには、株式会社日本総合研究所が策定を進めているケアマネジメント標準 [10] に基づいて作成された介護関連の質問のほか、介讙とは関係のない一般的な質問も含めることで、幅広い目的で使用できるようにした。最新モデルは評価デー 夕全体では平均精度 (AP) のマクロ平均 $94.3 \%$ 、また介護とは関係のない一般的な質問応答の評価デー夕では $98.1 \%$ を達成した3)。2021 年 12 月に高齢者施設で高齢者 1 名を対象に 15 日間にわたり実施した音声対話での実証実験4)では、ユーザ発話ごとに評価すると正解率 $89.9 \%$ (129 件中 116 件) であった。分類結果が Other の場合は回答を確定させずに再質問する仕様になっているため、再質問のやりとりまで含めて最終的に正解できたかどうかで評価すると、正解率は $94.3 \%$ (123 件中 116 件) であった。不正解となった事例 7 件中 4 件は、ユーザ発話に Yes と判断できる部分と No と判断できる部分の両方を含むなど、人手でも分類の難しい曖昧な発話をしているケースであった。

## 4 個人属性質問

個人属性質問は「好きな食べ物は何ですか？」「日課は何ですか？」「昨日は何を食べましたか？」のように、システムがユーザの好みや習慣などを聞く質問である。ユーザの回答から雑談 (6 節) につなげるなどして、モニタリング質問の連続による単調さを避け、場を和らげることを目的としている。個人属性質問については、ユーザが (「特にない」といつた回答を含め) 質問に回答したかどうかを判定する回答有無判定と、ユーザ発話から回答となるキー ワードを抽出する回答部分抽出の 2 種類のモデルを用意した。回答有無判定によって、その質問を終了

3）アノテータが作文した評価データに基づくものであり、音声認識エラーなどは含まない。評価デー夕についても、意図的に単純な応答を避け、分類が難しいものが多くなるように作成されている。

4）コロナ禍で大規模な実証実験の実施が難しい状況のため、少人数で実証実験を進めている。

してよいかどうかを判断することができ、また、回答部分抽出によって、例えばユーザが「好きな食べ物は何ですか？」に対して「最近はお魚がおいしくてね」と答えた場合に、「お魚がお好きなのですね」 のように応答することが可能になっている。

回答部分抽出は、現状、上記の「お魚」の例のように回答が名詞で表せるファクトイド質問の場合にしか対応していない。例えば why, how 等を訊ねる非ファクトイド質問の扱いは今後の課題となるが、現在、NICT で公開している深層学習版 WISDOM $\mathrm{X}^{5)}$ で実現している技術を応用することで解決できると考えている。

## 5 訂正機能

訂正機能は、システムの誤認識（あるいはユーザの言い間違い) のため一度誤って確定してしまった回答を訂正する機能である (表 2 に対話例)。この機能により、ユーザは「すみません、訂正があるのですが」「さっきの薬の話に戻れますか？」「一つ前の質問ですが、よく眠れていないって言ったんです」 のように、任意のタイミングで自由な表現で訂正要求を行うことができる。ただし、このような訂正要求はシステムによる質問等を遮って行わなければならないため、不慣れなユーザには難しい。そこで、システムでそれまでの質問応答の結果を要約し、「ちょつとこれまでの回答を確認させてください。毎日しっかり食べている、薬を飲み忘れなく飲めている、ということですが、訂正があれば教えてください」のように、訂正が必要ないかどうか確認を促す機能を合わせて実装した。

## 表 2 訂正機能の利用例

訂正機能では、「訂正したいのはその質問じゃないです」のようなユーザ発話で訂正対象の変更を行うことや、システムが訂正の意図を誤認識した場合に「訂正ではありません」のようなユーザ発話で訂正をキャンセルすることも可能になっている。

## 6 雑談

雑談機能は、ユーザ発話の内容が雑談的であるときに、NICT で開発している雑談対話システム WEKDA [3] を使用して雑談的な応答を返す機能である。表 3 に雑談の例を掲載した。

表 3 雑談の例

WEKDA は、ユーザ発話に含まれる名詞をもとにウェブ文書から雑談に適した情報を検索することで雑談応答を実現するシステムであり、深層学習版 WISDOM X の採用などにより性能が大きく向上しているが、詳細については本発表では省略する。 MICSUS には、雑談に移行するのにふさわしいユー ザ発話を検出する雑談開始判定と、雑談を終了するほうがよいユーザ発話を検出する雑談終了判定の 2 つのモデルを実装した (このほか 7.2 節で述べる音声認識エラー検出も利用される)。

## 7 音声認識エラーへの対応

MICSUS は音声で対話を行うシステムであるため、入力には音声認識エラーが含まれている可能性があり、音声認識エラーがあっても対話を大きく破綻させることなく動作させることが重要な課題になる。この節では、音声認識エラーの影響を抑えるため導入した HBERT と音声認識エラー検出という 2 種類の技術について述べる。HBERT は、音声認識エラーがない場合も含めて性能向上を実現した。

## 7.1 HBERT

単語列を入力とする通常の BERT では 2 つの単語等が音声的に似ているという情報を利用することは難しい。そのため、ユーザ入力に音声認識エラーがあるとその性能は大きく落ちる。この問題に対処するため、HBERT と呼ばれる技術を開発した。これは、通常の漢字力ナ混じり表記の入力以外に、形態素解析によって得られる力ナ表記も入力に加えて事前学習を行うものである。事前学習済みのモデルをファインチューニングする際に、疑似的な音声認
表 4 主なモデルでの BERT と HBERT の比較

MICSUS で使用しているモデルのうち一部のみを示している。AP は平均精度 (average precision)。開発データで最も性能の良かったモデルの評価データでの性能を掲載している (ハイパーパラメータの探索範囲はモデルによって異なる)。「ノイズあり」の性能は、ノイズ率 $0 \% 、 10 \% 、 20 \% 、 50 \%$ の 4 種類の評価データでの評価結果の平均。学習デー夕件数については括弧内で、直接アノテータがユーザ発話を人手作成したものの件数を示した。それ以外の学習データとして、既存の言語資源を利用したものや、システム発話との組み合わせの変更、複数のユーザ発話の連結などによって機械的に生成したものがある。HBERT のためにノイズを加えて生成したものは学習デー夕件数に含まない。

識エラーとして学習データにノイズ6)を入れることで、音声認識エラーに対して頑健なモデルを実現することができる7)。表 5 に音声認識エラーに対して頑健な動作の例を示す。

表 5 音声認識エラーに頑健な Yes/No 分類の例システム：お水をよく飲んでいますか？ ユーザ：飲んでます（音声認識結果：飛んでます） システム：お水をよく飲んでいるのですね。

表 4 に主要なモデルの BERT 版と HBERT 版の性能比較について要約した。ノイズなしの評価データによる性能と、ノイズありの評価デー夕による性能の 2 種類を示している。表に示したいずれのモデルでも、BERT、HBERT ともにノイズありの評価デー 夕を用いた場合には性能が落ちるが、HBERT は比較的性能の低下が小さいことがわかる。また、ノイズなしの評価デー夕を用いた場合にも、表に示した全てのモデルで HBERT は BERT を上回る性能となっている。

## 7.2 音声認識エラー検出

個人属性質問や雑談機能などでは、HBERTを使用するかどうかにかかわらず、ユーザが用いた名詞をシステム発話で利用するため、そのキーワードが音声認識エラーの結果生じた語である場合は致命的な対話の破綻を招いてしまう (表 6)。特に、雑談開始判定は、ユーザが新しい話題を出したときに雑談開始と判定することを意図しているため、音声認識エラーで予期しない語が認識されると、それが原因で誤って雑談開始してしまう可能性が高い。

6）ノイズは音素列で表現した単語間の編集距離に基づき、類似した単語にランダムに置き換えることで作成した。ノイズを入れる単語の割合は $0 \% 、 10 \% 、 20 \% 、 50 \%$ の 4 種類を試した。表 4 では開発データで最高性能になったものについて報告している。評価デー夕のノイズも同じ方法で生成している。

7）関連研究として、通常の英単語列の他に、音声認識結果を発音記号で入力させる Phoneme-BERT [11] がある。表 6 雑談における音声認識エラーによる対話破綻の例システム： 毎日しつかり食べていますか？ ユーザ：はい、ちゃんと食べてます。 (音声認識結果: 愛車と食べてます。) システム： 適切なコーティングを愛車に施すと污れにくくなるといった情報がありましたよ。

このような対話の破綻を防ぐため、ユーザ発話に含まれる名詞について、音声認識エラーによるものかどうかを判別するモデルを作成した。このモデルを利用し、音声認識エラーがあった場合は雑談開始としない (もしくは、音声認識エラーの部分を捨て、残りの部分で雑談開始するかどうかを判定する）という動作を実現できる。音声認識エラー検出モデルの学習データにあたって、人手作成したユーザ発話に含まれる名詞を他の名詞にランダムに差し替えることで疑似的な音声認識エラーとした。同じ方法で作成した疑似的な評価データでの精度は $99.9 \%$ を達成した。また、このモデルが実装されていなかつた 2021 年 6 7 月の実証実験では、音声認識エラー のため誤って雑談開始してしまったケースが 13 件あったが、このモデルを実装すると、その全てのケースについて音声認識エラーが検出でき、誤った雑談開始を避けることができることがわかった。

## 8 おわりに

本発表では、介護用対話システム MICSUS でユー ザ発話を解釈するために開発したモデル群について報告した。今後さらに高齢者を対象とする実証実験を重ねてその結果をシステムの改善につなげるほか、NICT で開発、公開している深層学習自動並列化ミドルウェア RaNNC [12] を用いたより大規模な言語モデルを採用することで、さらなる精度の向上を目指す。

## 謝辞

本研究は総合科学技術・イノベーション会議の戦略的イノベーション創造プログラム (SIP) $\left.{ }^{8}\right) 「 \mathrm{Web}$等に存在するビッグデータと応用分野特化型対話シナリオを用いたハイブリッド型マルチモーダル音声対話システムの研究」(管理法人：NEDO）によって実施されたものである。

## 参考文献

[1] Yoshihiko Asao, Julien Kloetzer, Junta Mizuno, Dai Saiki, Kazuma Kadowaki, and Kentaro Torisawa. Understanding user utterances in a dialog system for caregiving. In Proceedings of the 12th Language Resources and Evaluation Conference (LREC2020), pp. 653-661, 2020.

[2] 淺尾仁彦, Julien Kloetzer, 水野淳太, 齊木大, 門脇一真, 鳥澤健太郎. 介護用対話システムのための高齢者の発話理解. 言語処理学会第 26 回年次大会発表論文集, pp. 125-128, 2020.

[3] 水野淳太, クロエツェージュリアン, 田仲正弘,飯田龍, 呉鍾勲, 石田諒, 淺尾仁彦, 福原裕一, 藤原一毅, 大西可奈子, 阿部憲幸, 大竹清敬, 鳥澤健太郎. WEKDA: Web 40 億ページを知識源とする質問応答システムを用いた博学対話システム. 人工知能学会第 84 回言語・音声理解と対話処理研究会, pp. 135-142, 2018.

[4] 株式会社日本総合研究所. 平成 25 年度老人保健事業推進費等補助金老人保健健康増進等事業居宅サービス等における適正化とサービスの質の向上および保険者機能強化のための調査研究事業報告書, 2014.

[5] 斉藤雅茂, 近藤克則, 尾島俊之, 平井寛, JAGES グループ. 健康指標との関連からみた高齢者の社会的孤立基準の検討: 10 年間の AGES コホートより. 日本公衆衛生雑誌, Vol. 62, No. 3, pp. 95-105, 2015.

[6] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (NAACL): Human Language Technologies, Volume 1, pp. 4171-4186, 2019.

8) https://www8.cao.go.jp/cstp/gaiyo/sip/
[7] 山本大介, 小林優佳, 横山祥恵, 土井美和子. 高齢者対話インタフェース：『話し相手』となって、お年寄りの生活を豊かに. 電子情報通信学会技術研究報告. HCS, ヒューマンコミュニケーション基礎, Vol. 109, No. 224, pp. 47-51, 2009 .

[8] 大竹裕也, 萩原将文. 高齢者のための発話意図を考慮した対話システム. 日本感性工学会論文誌, Vol. 11, No. 2, pp. 207-214, 2012.

[9] 下岡和也, 徳久良子, 吉村貴克, 星野博之, 渡部生聖. 音声対話ロボットのための傾聴システムの開発. 自然言語処理, Vol. 24, No. 1, pp. 3-47, 2017.

[10] 株式会社日本総合研究所. 平成 30 年度厚生労働省老人保健事業推進費補助金 (老人保健健康増進等事業）適切なケアマネジメント手法の策定に向けた調査研究報告書, 2019.

[11] Mukuntha Narayanan Sundararaman, Ayush Kumar, and Jithendra Vepa. Phoneme-BERT: Joint language modelling of phoneme sequence and ASR transcript. In Interspeech 2021, 2021.

[12] Masahiro Tanaka, Kenjiro Taura, Toshihiro Hanawa, and Kentaro Torisawa. Automatic graph partitioning for very large-scale deep learning. In Proceedings of 35th IEEE International Parallel and Distributed Processing Symposium (IPDPS 2021), pp. 10041013, 2021.


# 交通に関する知識グラフを用いた運転免許試験問題の解法

相川渉 三輪誠 佐々木裕
豊田工業大学
\{sd18001, makoto-miwa,yutaka.sasaki\}@toyota-ti.ac.jp

## 概要

運転知識に基づいて運転免許試験問題を解くアプローチでは，運転に関する知識ベースを作成して， それに基づいて解答の判定を行う必要がある. 既存の手法では解答の判定が表記に依存したり，知識間の関係を考慮できていないという問題があった。そこで本研究では，交通教則文から抽出した運転知識を知識グラフに変換し，知識グラフの埋め込みモデルをベースとして，問題文から作成したトリプルについてのリンク予測問題を解くことで運転免許試験問題を解く方法を試みる。

## 1 はじめに

完全自動運転であるレベル 6 自動運転においては，自動運転システムが交通法規や交通マナーといった知識を持ち，それに基づいて，判断・推論を行う必要がある. 人間の運転に関する知識や判断・推論能力を評価するひとつの指標として，運転免許筆記試験があり，レベル 6 自動運転システムについても，運転免許試験問題を解かせることができればこの能力を同様に評価することができる.

運転に必要な知識は交通教則 [1] に記載されている. Savong らは交通教則から知識を構造化して取り出すための手法としてオントロジー形式のアノテー ションを提案し，交通教則にアノテーション [2]を行った.この形式でタグ付けされた情報は簡単に Resource Definition Framework (RDF) トリプルに変換することができ，この変換したトリプルは交通教則の知識の集合を表した知識べースとして利用できると期待される。

また，構造化された知識を用いて質問応答を行う手法も提案されている。鈴木ら [3] は質問文を問い合わせ言語に変換して知識べースに問い合わせることで解答を予測する。この手法では，同じ内容の質問でも表記が異なるとマッチングしないという問題点がある．鈴木ら [4] は Bidirectional Encoder

図 1 提案手法の概要

Representations from Transformers (BERT) モデルを基にオントロジー形式のアノテーションデータセットの知識を用いて解答を取得する。この手法は入力された質問文と学習文について用語単位のべクトルの平均を取り，それらの類似度から解答を予測する。 この手法は用語単位のベクトルを使って予測を行うため用語間の関係性を直接考慮できていないと考えられる。これを解決するために，取り出した知識ベースから知識グラフを作成して，知識グラフの埋め込みモデルを用いて質問応答を行うことが有効だと考えた

そこで本研究では，Savong ら [2] の交通関係アノテーションから取り出した交通教則の知識を表す RDFトリプルを対象に，知識グラフの埋め込みモデルを用いた質問応答システムへの利用可能性を調査する。

## 2 関連研究

交通教則に関するオントロジー形式関係 (OSRRoR) データセット [2] とは，交通教則 [1] に行ったオントロジー形式のアノテーションデータである.アノテーションの例を図 2 に示す.このアノテーションの特徴として，用語の一種として RDF スキーマに定義されている rdf:Property に対応する関係に関する用語（関係用語）を用意し，それぞれ rdfs:domain, rdfs:range に対応する domain と range の関係を関係用語と用語のタイプの間に結ぶことで用

(2)

(2) シートベルトは、正しく着用しましよう。

図 2 オントロジー形式のアノテーション

語間の関係を表現する. 図 2 では「は」に関係用語「Tool(T1)」を付与し, 「シートベルト」に付与されている用語のタイプ「SeatBelt」と「Tool」の間に range の関係を「Tool」と「着用」に付与されている用語のタイプ「Utilization」の間に domain の関係を繋げている.

## 3 提案手法

本研究では，交通教則へのオントロジー形式のアノテーションを知識ベースとして，知識グラフの埋め込みモデルを学習・利用することで，運転免許試験の解答を行う手法を提案する．手法の概要を図 1 に示す. まず，オントロジー形式のアノテーションを行った交通教則からトリプルを作成し，これを知識グラフの埋め込みモデルで学習する。次に学習したモデルに運転免許質問文に現れるトリプルを入力し, それぞれのトリプルの確率値を出す. 最後にそれらの確率值を統合して解答を出力する。

本研究で用いるオントロジー形式のアノテーションからトリプルを作成する方法を 3.1 節で, 作成したトリプルを用いたモデルの学習については 3.2 節で，学習したモデルを用いた解答の出力については 3.3 節で説明する.

## 3.1 トリプルの作成

オントロジー形式のアノテーションを行った交通教則からトリプルを作成する. トリプルは全てのアノテーションに対して以下のように作成して， 3 種類のトリプルのデータセットを作成する.

1. コーパス中の用語それぞれに対して，IDがそれぞれ一意になるように，個別の用語 IDを付与する. ここで言う用語は，関係用語も含んでおり，同じ用語でも言及箇所が異なれば異なる IDを付与する。

2. 用語 ID と用語の表層について「label」という関係を，用語 ID と用語のタイプに対して 「type」という関係を付けてトリプルを作成する. 図3では用語の ID「Vehicle11_1_T62」 と表層「自動車」に「label」という関係

図 3 「rel_id」での関係のつけ方

を付与して, (Vehicle11_1_T62,label, 自動車)というトリプルを作成する。また, 用語の ID「Vehicle11_1_T62」と用語のタイプ「Vehicle」に「type」という関係を付与して(Vehicle,type,Vehicle11_1_T62) というトリプルを作成する。「Keeping」や 「Keeping11_1_T102」，「管理」の方でも同様に行ってトリプルを作成する。

3. 関係とその関係に繋がる用語について 3 種類の方法でトリプルを作成する.

・図 3 で示すように用語 ID 間に関係を繋げてトリプル (Keeping11_1_T102,range,Vehicle11_1_T62) を作成する. 2 で作成したトリプルとこの方法によって作成したトリプルを合わせたデータセットを「rel_id」とする.

・用語のタイプと関係を繋げてトリプル (Keeping, range,Vehicle)を作成する。2で作成したトリプルとこの方法によって作成したトリプルを合わせたデータセットを 「rel_type」とする.

・用語 IDと関係タグ，用語のタイプと関係を繋げてそれぞれトリプルを作成する. 2 で作成したトリプルとこの方法によって作成したトリプルを合わせたデータセットを 「rel_both」とする.

運転免許質問文に関しても同様にトリプルを作成する。

## 3.2 モデルの学習

作成したトリプルを入力して，モデルが学習するまでの流れを以下に示す.

図 4 「rel_type」での関係のつけ方

図 5 「rel_both」での関係のつけ方

1. コーパスから作成したトリプルのデータセットと関係用語と用語間のつながりを除いた運転免許質問文から作成したトリプルを学習用データセットとして用意する。関係用語と用語間のつながりを除いた運転免許質問文から作成したトリプルも学習用データセットに加えるのは, コーパス中に存在しない用語が質問文に含まれると解答の推論が行えなくなるからである。

2. 使用する知識グラフの表現学習モデル（本研究では AmpliGraph の TransE [5], DistMult [6], HolE [7] を使用・比較する）とモデルのハイパーパラメタを決め，学習用データセットを入力として損失関数を最小化する.

3. トリプルを入力として確率値を出力するようにモデルを較正する．較正は Tabacof ら [8] の手法を用いて行った.

4. 学習に用いた全てのトリプルの確率値を求め,教則の知識をモデルが表現できるかを確認する. 具体的には，確率値が 0.9 を超えるトリプルがデータセット全体の 9 割を占めていれば交通教則の知識を表現できているとみなして 3.3表 1 データセットの統計

節で説明する解答の推論を行う。そうでなければ解答の推論は行わずに別のパラメタで学習を行う.

## 3.3 学習済みモデルを用いた推論

学習したモデルを用いて，質問の解答を以下のように行う。
1. 3.1 節で作成したトリプルから，それぞれの運転免許質問文に対応するトリプルの集合 $Q$ を取り出す。

2. 学習したモデルに $Q$ のトリプルを入力として,次のように解答を選択する。解答が○である確率 $P_{\text {True }} ， \mathrm{X}$ である確率 $P_{\text {False }}$ について，あるトリプル $(\mathrm{h}, \mathrm{r}, \mathrm{t})$ の確率を $p(h, r, t)(0 \leq p \leq 1)$ を用いて，式 (1) と式 (2) のように計算する. 求められた $P_{\text {True }}$ と $P_{\text {False }}$ を比較して， $P_{\text {True }}$ の方が大きければ○を， $P_{\text {False }}$ の方が大きければ× を解答する。

$
\begin{gathered}
P_{\text {True }}=\prod_{(h, r, t) \in Q} p(h, r, t) \\
P_{\text {False }}=\prod_{(h, r, t) \in Q}(1-p(h, r, t))
\end{gathered}
$

## 4 実験と考察

## 4.1 使用したデータセット

・オントロジー形式のアノテーションを行った交通教則

交通教則 [1] にオントロジー形式のアノテー ションを行ったデータから 3.1 節の方法で 3 種類のトリプルのデータセットを作成した。それぞれのデータセットの統計を表 1 に示す.

・運転免許試験の質問文

オントロジー形式のアノテーションを行った運転免許試験問題（正誤問題）100 問文のトリプルを作成した. ID 間の関係を結んでトリプルを作成した．質問毎のトリプル数の統計を表 2 に示す. 3.2 節で説明したように，質問文の表
表 2 質問毎のトリプル数の統計

層と ID 間・IDと type 間での関係（label, type） のトリプルのデータは訓練に用いた。このトリプルの数は 1,620 個であった.

## 4.2 結果と考察

自動車の運転に関する 100 問の問題（正解が正・誤となる問題それぞれ 50 問）をランダムに 5 分割し，グラフ埋め込みのパラメータチューニングを 5 分割交差検証で行って，それぞれの正解率を平均をスコアとした. 表 3 に結果を示す. 実験の結果から，エンティティタイプに関係を付ける知識グラフに対して，HolEを使用して「rel_type」のデータセットを使用したときの正解率が最も高くなった.関係のつけ方による正解率を比較してみると TransE と HolE は「rel_type」で，DistMult は「rel_id」で最も高い正解率を出しており，同じデータセットでも正解率はモデルに依存することがわかった. 1 番卜リプル数が多い「rel_both」の正解率がどのモデルにおいても正解率が最も高くならなかったことから正解率はトリプル数に依存しないことがわかった.「rel_id」のデータセットに用語のタイプ間の関係を繋いで作成したトリプルを加えたデータセットが「rel_both」になる. DistMultでは「rel_id」の方が「rel_both」よりも正解率が高くなったことから， DistMult においては用語のタイプ間の関係を繋いだことによって作成したトリプルが正解率を低下させることに影響していたと考えられる. TransE と HolE の場合では「rel_type」の方が「rel_both」よりも正解率が高かったため, 用語の ID 間で関係を繋いだことによって作成したトリプルが正解率を低下させることに影響しているのではないかと考えられる.表 3 モデルと関係の付け方による正解率

## 5 おわりに

本研究では，オントロジー形式でアノテーションされた交通教則から抽出した運転知識を知識グラフに変換し，知識グラフの埋め込みモデル構築し，問題文から作成したトリプルについてのリンク予測問題を解くことで運転免許試験問題を解く方法を提案した. 運転免許試験問題 100 問に対する 5 分割交差検証の結果， $62 \%$ の正解率を得ることができることが明らかになった. 正誤問題であるため，ベースラインは $50 \%$ であり， ベースラインからの改善は不十分であるが，知識ベースに対して SPARQL で照合するアプローチではほとんど照合に成功しないことから考えると，ソフトな知識のマッチングができている。また，各質問文から作られた各トリプルの確率も計算できているため，どの部分がどの程度正しいと判断されたのかを根拠として確認できる．今後は，本課題に合った新しい知識グラフの埋め込みモデルを考案し，運転免許問題の正解率を向上させていきたい.

## 謝辞

本研究の一部は JSPS 科研費 $20 K 11942$ の助成を受けた。

## 参考文献

[1] 国家公安委員会. 交通の方法に関する教則. 2019.

[2] Savong Bou, Naoki Suzuki, Makoto Miwa, and Yutaka Sasaki. Ontology-style relation annotation: A case study. In Proceedings of the 12th Language Resources and Evaluation Conference, pp.4867-4876, Marseille, France, May 2020. European Language Resources Association.

[3] 鈴木遼司, 三輪誠, 佐々木裕. 交通オントロジーを対象とした質問文の sparql クエリ変換. 言語処理学会第 21 回年次大会発表論文集, 2015.

[4] 鈴木直樹, Bou Savong, 三輪誠, 佐々木裕. オントロジー形式アノテーションを対象とした交通用語・関係抽出と正誤問題の回答. 言語処理学会第 26 回年次大会発表論文集, 2020.

[5] Antoine Bordes, Nicolas Usunier, Alberto Garcia-Duran, Jason Weston, and Oksana Yakhnenko. Translating embeddings for modeling multi-relational data. Advances in neural information processing systems, Vol. 26, , 2013.

[6] Bishan Yang, Wen-tau Yih, Xiaodong He, Jianfeng Gao, and Li Deng. Embedding entities and relations for learning and inference in knowledge bases. arXiv preprint arXiv:1412.6575, 2014.

[7] Maximilian Nickel, Lorenzo Rosasco, and Tomaso Poggio. Holographic embeddings of knowledge graphs. In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 30, 2016.

[8] Pedro Tabacof and Luca Costabello. Probability calibration for knowledge graph embedding models. In International Conference on Learning Representations, 2020.


# 副詞マダのアノテーションとそのガイドライン

井上智也 (九州大学文学部)

上山あゆみ (九州大学大学院人文科学研究院)
## 概要

マダという語は、さまざまな用法を持っている。 このようなマダのさまざまな用法について、分類ガイドラインを作成した。実際にガイドラインに沿って『現代日本語書き言葉均衡コーパス』 (BCCWJ)によってアノテーションを試み、カッパ值を計算することで、ある程度信頼性のあるガイドラインが作成できたと結論づけた。

## 1. はじめに

マダという語は、否定形と呼応し動作の未完了を表したり、その意味を加えて状態の変化を表したりする用法があるとされている。しかしながら、実際の用法は多岐にわたっている。そのため、コ ーパスにおける有用性を高めるために、マダの用法を適切に区別する必要があることは明らかである。そして適切な用法を発案し、アノテーションを試みて、そのカッパ值のブレを抑えることがその有用性を示すために効果的である。そのためにはまず分類のガイドラインを作成することが必要である。本発表では、マダの様々な用法について分類ガイドラインを作成するにあたり、どのような問題が発生したのかについて述べ、今回作成した分類ガイドラインに基づいて行われたアノテーションの結果を示していく。

## 2. マダの分類

まず、私たちの班で考案した分類ガイドラインを示し、それぞれの用法に関する説明から行っていく。

 \\

 \\

3. 代表的な例文と問題となりうる点

3.1.「a : 未実現」について

「a : 未実現」の代表的な例文は、次に示す通りである。

(1) ドラマはまだ始まってないよ。[今井 2011:260]

(1)のように、否定形と共起し、発話時に想定されている時点で起こると予想される単一事象が起こっていないことを表す場合は、「a:未実現」に分類される。

## 3.2. 「b : 未完了」について

$\lceil\mathrm{b}$ : 未完了」の代表的な例文は、次に示す通りである。

(2) 戦争はまだ終わってない。 [池田 1999:23 (24)]

(2)のように、否定形と共起し、発話時に想定されている時点ですでに起こっている事象が完全な移行前にあることを表す場合は、「b : 未完了」に分類される。

また、a と b の用法に関してはどちらも否定形と呼応している点が同じであり、形式的な違いで分類することが不可能となっている。そのため、分類を個人の判断に委ねることを避けられず、カッパ值のぶれを生じさせるという問題が発生している。

3.3.「c : 未経験」について

$「 \mathrm{c}:$ 未経験」の代表的な例文は、次に示す通りである。

（3）納豆はまだ食べたことがありません。 [今井 2011:261]

(3)のように、否定形と共起し、発話時に想定されている時点である事象の経験がないことを表し、「〜シタコトガナイ」と共起する場合は、「c:未経験」に分類される。

## 3.4.「d : 継続」について

$\lceil\mathrm{d}:$ 継続」の代表的な例文は、次に示す通りである。

(4) まだ雪が降っている。 [今井 2011:261]

(4)のように、既に始まっていた動作・状態が、発話時に想定されている時点でも継続していることを表す場合、「d : 継続」に分類される。

## 3.5.「e : 比較」について

$\lceil\mathrm{e}:$ 比較」の代表的な例文は、次に示す通りである。

(5)

私の部屋は散らかっているけど、弟の部屋よりはまだきれいだ。

[今井 2011:262]

(5)のように複数の事象を比較し、十分ではないが他に比べればよいほうであることを表す場合、「e：比較」に分類される。「マダシモ」の形をとることもある。

## 3.6. 「f : 強調」について

「f : 強調」の代表的な例文は、次に示す通りである。

（6）一流のシェフになるまで、まだまだ経験が必要だ。

[今井 2011:262]

(6)のように省略しても文意が通る場合、「f:強調」 に分類する。「マダマダ」の形をとることもある。

## 3.7. $\ulcorner\mathbf{g$ : 残存」について}

$\lceil\mathrm{g}:$ 残存」の代表的な例文は、次に示す通りである。

(7) トンネル完成まで、まだ $3 \mathrm{~km}$ 残っている。 [今井 2011:262]

(7)のように、「ある」や「残っている」などと共起し、存在や残量を表す場合、「 $\mathrm{g}$ : 残存」に分類する。

## 3.8.「h : 時間の経過」について

$\lceil\mathrm{h}:$ 時間の経過」の代表的な例文は、次に示すとおりである。

(8) 父が死んでまだ一年だ。

[ 松村 20:22 (59)]

(8)のように、時間に関する語を伴って、時間や日数の変化量が予想よりも少ないことを表す場合には、「h : 時間の経過」に分類される。

## 3.9. 「i : 未熟」について

「i :未熟」の代表的な例文は次の通りである。

(9)まだ中学三年の男の子と高校二年の女の子がいる。[BCCWJ より]

(9)のように、ある状態が発話時において予想される点に至っていないことを表し、成長の程度を表す言葉や数量詞などが後続する場合には、「i :未熟」に分類される。

この分類ガイドラインに基づくと「まだあと何度かは会えると思っていた」という文も数量詞が後続しているため未熟と分類されてしまうが、実際にはこのマダは未熟を表しているとは考えられないため、この用法に関しては今後修正を加える必要があると言えるだろう。

## 4. アノテーション結果

『現代日本語書き言葉均衡コーパス』(BCCWJ) から、マダを含んだ例文 500 件を抽出し、上記の分類ガイドラインにしたがって、実際にアノテー ションを行った。

九州大学文学部の分類に関与していない学生

2 人がそれぞれアノテーションを行い、その結果からカッパ值を計算したところ、約 0.67 となった。アノテータ間でぶれの少ない、ある程度信頼性のあるガイドラインが作成できたことになる。今後、ずれの見られるところを中心に、更に検討を重ねていきたい。

## 参照文献

今井新悟（編）（2011）『日本語多義語学習辞典形容詞・副詞編』pp.260-262 東京: 株式会社アルク

池田英喜（1999）「「もう」と「まだ」：状態の移行を前提とする 2 つの副詞」『阪大日本語研究』11,pp.19-35.

松村明（監）（2012）『大辞泉第二版』 小学館皆島博 (2015) 「日英多義語の認知意味論的分析：「マダ」と“still”」『福井大学教育地域科学部紀要』5,pp.76-90.

北原保雄（2010）『明鏡国語辞典第二版』大修館書店

飛田良文・浅田秀子 (1994)『現代副詞用法辞典』 pp.497-499 東京 : 東京堂出版


# 副詞モウのアノテーションとそのガイドライン

勘場千夏・藤本悠花・久保山由梨・木下滉晴（九州大学文学部）
}

上山あゆみ (九州大学大学院人文科学研究院)
## 概要

モウという語の用法について、(1)限界・超過、 (2)接近・到達、(3)付加、(4)感情的意味、(5)非難・叱責、(6)緩衝、(7)その他の7 つに分け、分類の手順を示すフローチャートを作成した。実際にこのガイドラインに沿って『現代日本語書き言葉均衡コーパス』(BCCWJ)によってアノテーションを試み、カッパ值を計算した結果、 0.824 となり、ある程度信頼性のあるガイドラインが作成できたと結論づけた。

## 1. はじめに

モウという語は、『現代日本語書き言葉均衡コ ーパス』 (BCCWJ) において、時間、数量、程度に関わる副詞として用いられる一方、話し手の感動表出として使用される例もあり、その意味、機能は多義にわたっている。コーパスによる検索の有用性を高めるためには、これらの用法の違いがアノテーションによって適切に区別されていることが望ましい。そのためには、必要に応じて分類のガイドラインを作成することが有用である。本発表では、モウの様々な用法について分類ガイドラインを作成するにあたって、どのような困難な点があったかを明らかにした上で、実際にアノテ ーションを試み、その結果を述べる。

## 2. モウの分類

まずここで、提案するガイドラインを示し、それぞれの分類について、代表的な例文と分類上の問題点について述べる。

 &  \\

 \\

3. 代表的な例文と問題となりうる点

3.1.「(1)限界・超過」について

「(1)限界・超過」の代表的な例文は、次に示す
通りである。

（1）「話し手にとって」もう過ぎ去ったこと一それが「過去」です。

（2） a. その日の夕方、さいわい牧草小屋をみつけてころがりこんだが、友人はもう歩けなくなっていた。

b. 「乳母よ、あの犬にもうあきらめるよう、よく納得させなさい。」

(1)のように、程度や時間が一定の限度を超えている様子を表し、モハヤ・スデニ・イマトナッテハと置き換え可能なものは「（ア）超過」に分類される。

一方(2)のように、ある状態をこれ以上維持できない様子や、繰り返し事象の終了限界後である様子を表すものは、（イ）限界」の用法にあたる。モウの後に、否定語や、対象事象の終了を示唆するような動詞を伴うことが多い。

飛田・浅田(1994)における、程度や時間が限度を越えた様子を表すモウの用法を踏襲し、これを 「（ア）超過」とした。さらに「（ア）超過」までは至らないが、話者や対象の状態や事態、心情が変化していると提示するモウを「（イ）限界」 とした。これは池田（1999）で、述べられていた 「繰り返し事象の終了限界以後に発話時があることを示」すモウを取り入れている。

## 3.2.「(2)接近・到達」について

「(2)接近・到達」の代表的な例文は、次に示す通りである。

（3） a. もうすぐリヤドを去る人と、リヤドに来たばかりの人が不思議と集まる。

b. あの七わのわかものたちはね、もうじき、ひょう湖へでかけるっていうんだよ。

この用法のモウは、場所や時間、状況など、ある目標に接近し到達しようとする話者の判断を表す。マモナク・ヤガテなどと置き換えることができる。
3.3.「(3)付加」について

「(3)付加」の代表的な例文は、次に示す通りである。

(4) a. いちばん影響を受けたもので、もう一度読み返そうかな、と思ってるのが坂口安吾さん。

b. 以下これらの点を、もう少し立入って考察してみることにしよう。

この用法のモウは、数詞や程度を表す言葉を修飾する形で用いられ、現在の様子にさらに付け加える様子を表している。

## 3.4.「(4)感情的意味」について

「(4)感情的意味」の代表的な例文は、次に示す通りである。

(5)

a. かつてのスターでは十代でデビュ一した当時の磯村みどり、結婚する前ごろの吉永小百合、村松英子など、実にもうキラキラと輝く天女さまみたいでしたな。

b. 今日なら、もうほんたうに立派な雲の峰が、東でむくむく盛りあがり一

この用法は、感情が溢れ処理できないとき、感動詞的に用いられ、マサニ・ナントモと置き換え

ることができる。

## 3.5.「(5)非難・叱責」について

「5)非難・叱責」の代表的な例文は、次に示す通りである。

（6） a. 「ああ、もう。早く籍入れればよかった。東京へ帰ったら、すぐ届出しましょう。ね、いいわね」

b. 「もう、アリスったら。いいから食べなさいよ。少しは贅沢だってしなくっちや」

この用法のモウは、独立して使用され、非難・叱責の感情を表す感動詞として使われる。

## 3.6.「6緩衝」について

「6緩衝」の代表的な例文は、次に示す通りである。

(7) a. 顔といわず体といわずもうタテョコ十文字に、人生の年輪がグシャグシャに刻み込まれている。

b. 「いつだか、わかるか」「それはもう、記録につけてございますから。一たしか、三日ほど前かと思います」

この用法のモウは、語調を整える役割をもち、 はっきり言うことを躊躇されるときなどに発話される。

## 3.7.「(7)その他」について

「7そその他」の代表的な例文は、次に示す通りである。

(8)

a. 仕切りから覗けば、もうもうたる湯煙の中に、何やら白い物体が見えることは見えるのでありますが、見えても年輪ばかり。

b. おまけにストーキーまでもが海にとびこんでもうて ...

副詞や感動詞的な用法を除いた、モウ。これは私たちの対象としているモウではないが、コーパスの検索結果に表示されたため、私たちの分類するモウと区別するために「その他」として選り分けた。

## 4. アノテーション結果

『現代日本語書き言葉均衡コーパス』(BCCWJ) から、モウを含んだ例文 500 件を抽出し、上記の分類ガイドラインにしたがって、実際にアノテー ションを行った。

九州大学文学部の学生 2 人がそれぞれアノテー ションを行った。その結果からカッパ值を計算したところ、 0.824 となった。アノテータ間でぶれの少ない、ある程度信頼性のあるガイドラインが作成できたことになる。今後、ずれの見られたとこ
ろを中心に、さらに検討を重ねていきたい。

## 5. 参照文献

池田英喜(1999)「「もう」と「まだ」:状態の移行を前提とする 2 つの副詞」，『阪大日本語研究』,11:19-35

飛田良文・浅田秀子(1994)『現代副詞用法辞典』，東京:東京堂出版.


# ニューラル機械翻訳のための日中対訳コーパスの構築

張津一 1,2 田野 3 韓梅 4 毛剣楠 2 松本忠博 2
1 潘陽理工大学（中国） 2 岐阜大学
3 株洲中車時代電気株式会社（中国） 4 湖南工業大学（中国）
zhangjinyi@sylu.edu.cn tianye@csrzic.com
hanmei@hut.edu.cn z4525087@edu.gifu-u.ac.jp tad@gifu-u.ac.jp

## 概要

現在，ニューラル機械翻訳の学習データとして利用可能な，ある程度の規模を持つ日本語-中国語対訳コーパスは少ない. とくに日常会話などの話し言葉を主な対象としたものは限られている. 本研究では Web 上に存在する TV 番組などの字幕データをクローリングにより収集して，一定の規模の日中対訳コーパスの構築を試みた。このコーパス WCC-JC (Web Crawled Corpus - Japanese and Chinese) で学習した翻訳モデルを使って翻訳した結果を人手で評価し，品質・効果を確認した。

## 1 はじめに

機械翻訳は人工知能の重要な分野であり，原言語を出力言語に翻訳する方法を研究することは，言語の壁の問題を解決することができる最も効果的な手段の一つである. 長年の開発を経て，ニューラル機械翻訳（Neural Machine Translation，NMT）は様々な言語ペアで従来のフレームワークよりも優れた翻訳結果を出しており，大きな可能性を秘めた新しい機械翻訳モデルとなっている．NMT では，学習デー タの量が翻訳結果の質を大きく左右するものの，大規模な翻訳モデルを学習することができる.

機械翻訳の分野では，日本語と中国語という $2 \supset$ の言語が複雑に絡み合っているため，日中の機械翻訳は難しい，高品質な翻訳を得るためには，日中翻訳コーパスのデータ量が大量に必要となる。しかし，英語を含む言語対や欧州の言語間の言語対などが数千万から数億文対である. そして，様々な分野の文が含まれる。これに対し，公開された日中対訳コーパスは多くない。例えば，JPO 日中対訳コーパスは 1.3 億件（約 26GB）および 0.1 億件（約 $1.4 \mathrm{~GB}$ ） があるが，データの全てを用いた研究成果の提出が必要である ${ }^{11}$.このコーパスの内容の種類は特許のみである．ASPEC-JC の収録件数は，約 67 万文である [1]. このコーパスの内容の種類は科学論文の概要のみである．上記の 2 つは，公開されているコー パスの中でも非常に規模の大きなコーパスである. だが，日常的な文の翻訳に適した日中対訳コーパスは，まだそれほど多くない。

現在の研究のほとんどは，書き言葉のカテゴリー に入る文の翻訳を対象にしている。一方，話し言葉の場合，省略などにより書き言葉よりも曖昧さが多くなり，文脈を把握する必要性も高まる。文の長さも書き言葉より短いのが普通である. 話し言葉でも，俗語や方言があるものは，従来の翻訳者では見落とされることがある．また，音声の入力から翻訳結果の出力までを行うマルチモーダル翻訳が近い将来のトレンドになると言われるが，その実現には話し言葉の翻訳に適した対訳コーパスが必要である.

本研究では，Webをクロールして作成した日中対訳コーパスとその評価について述べる。作成したコーパス WCC-JC は，インターネット上からクロー ルされた映画と TV 番組の字幕データの日中両言語の対応をとることで構築されている. 既存の日中対訳コーパスではあまり扱われてこなかった話し言葉の対訳も対象している。

## 2 関連研究

現在，公開されている日中対訳翻訳コーパスは非常に少なく，JPO 日中対訳コーパス，ASPEC-JC[1] と TED Talks ${ }^{2)}$ 3) に含まれる日中対訳コーパスなどがあるのみである.

Lavecchia らは，映画の字幕ファイルから対訳コー パスを自動的に構築する方法を提案し，それを用い

1) https://alaginrc.nict.go.jp/jpo-outline.html

2) https://ted.com

3) https://github.com/ajinkyakulkarni14/ TED-Multilingual-Parallel-Corpus

て対訳辞書も作成している [2].

Chu らは, Wikipedia から 126k 以上の日中対訳コーパスを構築するための対訳文抽出システムを提案した [3].

Pryzant らは，インターネット上からクロールされた映画と TV 番組の字幕データを日英対応させることで構築された. JESC は，自由に利用できる日英対訳コーパスの中で最大規模（約 280 万文）のコー パスである [4].

OpenSubtitles2018 は映画字幕データの多言語対訳コーパスである [5]. 日英対訳コーパスはおよそ 2,000 件の映画からなる 200 万文の対訳コーパスであり，機械翻訳の分野や，映画字幕という特徴を活かしたタスクにおける利用が検討される。

森下らは，大規模 Web ベース 1000 万文対以上の日英対訳コーパス JParaCrawl を紹介した。無料で一般に公開した [6].

Guokun らはインターネットから言語資源をクロールしてコーパスを自動的に構築したが，データのフィルタリングがうまくいっていなかった [7].

中澤らは，「ビジネス」における「対話」を対訳コーパスのドメインとして構築した BSDコーパスおよび WAT2020での BSD 翻訳タスクの結果の紹介を行い，翻訳結果の分析から対話翻訳の課題について議論した [8].

また，日中翻訳では， Zhang らが対訳コーパスの資源不足を考慮し, 日中翻訳の品質を向上させるコーパス拡張アプローチを提案した [9].

以上の関連研究により，コーパスは翻訳精度の向上と言語処理の他の分野に重要な役割を果たす.このように，ニューラル機械翻訳のためのオープンな日中対訳コーパスの構築は資源不足問題に大きな意味を持っている. 本研究では, 日中機械翻訳を発展させ，ある程度の規模を持つ日中対訳コーパスの作成を目標とする。

## 3 日中対訳コーパスの構築

## 3.1 対訳文抽出

多くの日中対訳文を含む Web サイトを選び，映画・ドラマと TV 番組の字幕ファイルを含む Web サイトから Scrapy)を利用し, 字幕ファイルを取得する. 字幕ファイルの中に, 俗語, 話し言葉, 説明文,物語解説の対訳がある. これらは既存のコーパスで

はあまり扱われてこなかった分野である。

取得した字幕ファイルのほとんどは ASS 形式のファイルである. 図 1 に ASS ファイルの内容の一例を表す. 図のように ASS ファイルでは Dialogue 行に，字幕の表示内容と表示時間，表示スタイルなどの情報が記載されている。言語情報は字幕のレイヤー情報（図中では先頭の “0”) や表示スタイル （図中では“DefaultJp”）に現れる場合が多い. 本研究では，字幕表示スタイルの文字列から日本語か中国語かを推定し，字幕表示開始時間と字幕表示終了時間をもとに日中のセリフの対応関係を判断した.

データ収集後，中国語文中の繁体字を簡体字に，日本語文中の半角カタカナを全角カタカナに統一し，重複する文対を除去した。

## 3.2 コーパスの分割

収集した文対のうち，10 文字以上の文対をテストデータと検証データ (開発データ) 用にそれぞれ 2000 文対ランダムに抽出し，残りを訓練データとした. 表 1 は構築されたコーパスと ASPEC-JC, OpenSubtitles とWCC-JCコーパスの文対数を表す. データサイズ (バイト数) は ASPEC-JC > OpenSubtitles > WCC-JC の順だが，文数は ASPEC-JC よりも多いことが分かる.

## 4 実験と評価

本コーパスの有効性を確認するために翻訳実験を行った. 以下，実験に使用した NMT システムの設定 (4.1 節), ASPEC-JC, OpenSubtitles, 本研究のコーパスのデータセットで学習した NMT モデルでの翻訳精度（BLEU スコア）(4.2 節)，JPO スコアを用いて，テストデータの翻訳結果の人手での評価 （4.3 節）について述べる。日中翻訳では，文字レべルと LSTM モデルが最も効果的であると言われている [10] が，本実験では文字レベルと subword レべル，LSTM モデルと Transformer モデルを使用した.

## 4.1 NMT システムの設定

本実験では，fairseq[11]を用いて NMT モデルを訓練する. fairseq の 2 つの事前設定されたアーキテクチャ, lstm-wiseman-iwslt-de-en（表の中, LSTM と略す) と transformer-iwslt-de-en (表の中，Transformer と略す)を使用する. Subword レベルの実現には subword-nmt ${ }^{5}$ を使用する。

5) https://github.com/rsennrich/subword-nmt

図 1 ASS ファイル中身の一例（内容はダミー）

## 4.2 翻訳結果

表 2〜表 5 において，Aは ASPEC-JC のテストデー タ, B は OpenSubtitles のテストデータ, C は WCC-JC のテストデータ，D は翻訳モデルの汎化能力を検証するために，NHK ラジオ『まいにち中国語』6)のテキストから抽出した 185 文，テストデータとして表す.

表 2〜表 5 を見ると，訓練データとテストデータの組合せではそれぞれ自身のテストデータで最も高い BLEU 值を取得したことがわかる. $\mathrm{J} \rightarrow \mathrm{C}$ 文字レベルの Transformer モデルでは，我々の WCC-JC は OpenSubtitles 自身による翻訳よりも効果的であり， WCC-JC の汎化性が示された。また，C，Dのいずれにおいても，WCC-JC は ASPEC-JC や OpenSubtitles よりも良い結果を得ることができた。 さらに，各表の結果を比較すると，基本的には $\mathrm{J} \rightarrow \mathrm{C} 、 \mathrm{C} \rightarrow \mathrm{J}$ のいずれの方向においても，文字レベルの Transformer モデルがより有効であることがわかる.

## 4.3 人手による評価

人手評価基準として, 特許庁が公開している「特許文献機械翻訳の品質評価手順 ${ }^{7)}$ の中の「内容の伝達レベルの評価」（JPO スコア）を採用した。これは機械翻訳結果が原文の実質的な内容をどの程度正確に伝達しているかを，参照訳の内容に照らして 5 段階（評価値 5 が最もよく， 1 が最も悪い）の評価基準で主観的に評価するものである.

WCC-JC のテストデータ C については， $\mathrm{J} \rightarrow \mathrm{C}$ と

図 2 人手による評価の結果（日本語 $\rightarrow$ 中国語）

図 3 人手による評価の結果（中国語 $\rightarrow$ 日本語）

$\mathrm{C} \rightarrow \mathrm{J}$ の文字レベル Transformer の 2 つの実験で最も高い BLEU 値が観測された。より良い評価を行うために，JPO スコアを用いてこの 2 つの翻訳結果を人手評価することにした．評価は A，B，Cの 3 つの評価者グループで分担した（評価者たちは日本留学の経験があり，日本語能力試験 $\mathrm{N} 2$ 以上の資格を持つ). 各グループは 2 人ずつ独立に評価し，平均を取った. 図 2 と図 3 は $\mathrm{J} \rightarrow \mathrm{C} 、 \mathrm{C} \rightarrow \mathrm{J}$ の人手評価結果（グラフ内の数字は各評価値の割合を，グルー プ名の後の括弧内の数字は評価値の平均を表す). $\mathrm{JPO}$ スコアの平均値について, $\mathrm{J} \rightarrow \mathrm{C}$ では 3.87, 3.90, 4.00， $\mathrm{C} \rightarrow \mathrm{J}$ で 3.97，4.04，4.07，高い結果になった. WCC-JCコーパスの性質上，非常に短い文が多いの
表 2 文字レベル日本語 $\rightarrow$ 中国語翻訳実験結果（BLEU 値）

表 3 Subword レベル日本語 $\rightarrow$ 中国語翻訳実験結果（BLEU 值）

で，この結果がどの程度満足のいくものなのかはより深く分析する必要がある．また，別の実験についても評価を行い，結果の違いとその理由を明らかにする必要がある.

## 5 おわりに

本研究では，日中対訳コーパス WCC-JC を紹介した. 本コーパスはWebをクロールし，日中対訳文を自動的に収集し, 作成した. 最終的に約 75 万文対の日中対訳データが得られた. 本コーパスは現時点で一般に利用できる日中コーパスの中では規模が大
きく，既存のコーパスではあまり扱われてこなかった話し言葉の対訳も対象している.

語学講座のテキストから抽出した会話文を用いた実験では，BLEU 值は低いものの，比較した日中コーパスの中では最も高い精度で翻訳できることを確認した. 人手による評価も高いものであった.

今後の課題として，より大規模な Web クロール， コーパス作成を行うことが挙げられる。 さらに，対訳文のアライメントを高精度化することも重要な課題である. また，今後より多くの言語対に対応していくことも検討している.

## 謝辞

本研究にあたり，遼寧省教育庁科学研究一般若手

人材プロジェクト（No.LJKZ0267），潘陽理工大学八イレベル人材招致研究支援計画 (No.1010147001004) の助成を受けています。また，対訳コーパスの構築と評価にあたっては，多くの方々のご協力いただきました.ここに御礼申し上げます。

## 参考文献

[1] Toshiaki Nakazawa, Manabu Yaguchi, Kiyotaka Uchimoto, Masao Utiyama, Eiichiro Sumita, Sadao Kurohashi, and Hitoshi Isahara. ASPEC: Asian scientific paper excerpt corpus. In Proc. 9th Int. Conf. on Language Resources and Evaluation (LREC 2016), pp. 2204-2208, Portorož, Slovenia, 2016. European Language Resources Association (ELRA).

[2] Caroline Lavecchia, Kamel Smaili, and David Langlois. Building a bilingual dictionary from movie subtitles based on inter-lingual triggers. In Proceedings of Translating and the Computer 29, London, UK, November 29-30 2007. Aslib.

[3] Chenhui Chu, Toshiaki Nakazawa, and Sadao Kurohashi. Constructing a Chinese-Japanese parallel corpus from Wikipedia. In Proceedings of the Ninth International Conference on Language Resources and Evaluation (LREC'14), pp. 642-647, Reykjavik, Iceland, May 2014. European Language Resources Association (ELRA).

[4] R. Pryzant, Y. Chung, D. Jurafsky, and D. Britz. JESC: JapaneseEnglish Subtitle Corpus. Language Resources and Evaluation Conference (LREC), 2018.

[5] Pierre Lison, Jörg Tiedemann, and Milen Kouylekov. OpenSubtitles2018: Statistical rescoring of sentence alignments in large, noisy parallel corpora. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), Miyazaki, Japan, May 2018. European Language Resources Association (ELRA).

[6] Makoto Morishita, Jun Suzuki, and Masaaki Nagata. JParaCrawl: A large scale web-based English-Japanese parallel corpus. In Proceedings of the 12th Language Resources and Evaluation Conference, pp. 3603-3609, Marseille, France, May 2020. European Language Resources Association.

[7] Guokun Lai, Zihang Dai, and Yiming Yang. Unsupervised parallel corpus mining on web data. ArXiv, Vol. abs/2009.08595, , 2020.

[8] 中澤敏明, 李凌寒, MatissRikters. ビジネスシーン対話対訳コーパスの構築と対話翻訳の課題. 第 27 回年次大会発表論文集, pp. 1375-1380. 言語処理学会, 2021.

[9] Jinyi Zhang and Tadahiro Matsumoto. Corpus augmentation for neural machine translation with chinese-japanese parallel corpora. Applied Sciences, Vol. 9, No. 10, 2019.

[10] Xiaoya Li, Yuxian Meng, Xiaofei Sun, Qinghong Han, Arianna Yuan, and Jiwei Li. Is word segmentation necessary for deep learning of Chinese representations? In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 3242-3252, Florence, Italy, July 2019. Association for Computational Linguistics.

[11] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A fast, extensible toolkit for sequence modeling. In Proceedings of NAACLHLT 2019: Demonstrations, 2019.


# 言い誤りを含む日本語二重目的語文の理解過程

山元海渡 ${ }^{1}$ 木山幸子 ${ }^{2}$ 汪敏 ${ }^{2}$ 井出彩音 ${ }^{1}$ 寺尾康 ${ }^{3}$ 小泉政利 ${ }^{2}$
${ }^{1}$ 東北大学文学部言語学研究室 ${ }^{2}$ 東北大学大学院文学研究科言語学研究室
3 静岡県立大学国際関係学部国際言語文化学科
kaito.yamamoto.p8@dc.tohoku.ac.jp

## 概要

本研究では, 助詞交換型の言い誤りを含む日本語二重目的語文の理解過程を検討する。旧情報位置と語順, さらに統語構造と出来事の順序の一致性が助詞レベルにおける交換型の言い誤り理解にどのような影響を与えるかについて, 文理解プロセスを意味正誤判断課題の正答率と反応時間を通じて検討した. その結果, 3 つの要因がそれぞれ正誤の文理解やその再現の仕方に影響することを例証した。

## 1 はじめに

言い誤りは, 話者が意図した発話と, 文産出の過程で何らかの誤作動のあった結果の発話の 2 つを同時に手に入れられるので，文産出の仕組みを知る上で重要な手がかりを持つ [1]. 言い誤りは「故意にではない, 発話の意図からの逸脱」と定義され, 日本語の言い誤りの研究では, 英語とは逆に内容語はそのままで機能語のみが動いてしまう言い誤りが多い，限られた助詞同士を誤りやすく，特に「が，を， に，の」のグループ内での言い誤りが多いなどの,日本語に特徵的な傾向が見られている [1][2]. こうした言い誤りについて, 文産出研究に比べ文理解の観点から検討した研究は, [3] を除いてほぼ皆無であるが，なぜこうした誤りを起こしてしまうかという心理的過程を解明するために, 文理解の実験的検討が求められる. そこで本研究では, 先行発話提示後に言い誤りを含んだ意思表明文を提示する意味的整合性判断課題によって, 助詞交換型の言い誤り

(1)を含む日本語二重目的語文の処理を検討した.

(1) 先行発話: 応接間にテーブルがあるよ。返答:

a. テーブルにコーヒーを置こう。（正文）

b. コーヒーにテーブルを置こう。（誤文）

二重目的語構文の基本語順については多くの研究がなされているが, 未だに議論の余地がある. 『現代日本語書き言葉均衡コーパス』から二重目的語構文の基本語順を予測する統計モデルを議論した研究 [4] では，旧情報が新情報に先行する文が好まれる現象 (“given-new ordering”) が, 直接目的語と間接目的語間の語順に関して確認された. また, 熟語や複合語を広辞苑から抽出し, 二格を目的語にとる動詞とヨ格を目的語に取る動詞の数を比較し基本語順を捉えようとした研究 [5] では, 日本語の二重目的語構文の基本語順は，「間接目的語-直接目的語（「にを文」）」であることが示唆された.しかし, 抽出した熟語や複合語は二格とヨ格のどちらを目的語にとるかは動詞の特性によって異なることから, 二重目的語構文の基本語順は動詞の特性を越えた一貫した傾向を見出しにくい可能性が考えられる.

これらを踏まえた先行研究 [3] では, 日本語の二重目的語構文において，旧情報を先に提示するか否かと, 文の語順が基本語順かかき混せ語順かという 2 つ要因が言い誤りの検出のしやすさに影響するという仮説から，言い誤りを引き出す問いかけに応答する対話の自己ぺース読みによる意味的整合性判断課題を行った. その結果, 読み時間では正文誤文共にかき混ぜ語順が基本語順に比べて有意に長く,正答率では正文でかき混ぜ語順が基本語順に比べて有意に正答率が低く，旧情報が後でかき混ぜ語順の時に有意に正答率が低い結果が得られた。「間接目的語-直接目的語」の語順, すなわち直接目的語が述語に近接するという選好性が再認された。

こうした二重目的語構文の語順と処理負荷の研究は, 日本語以外の言語でも頻繁に研究されている.失語症者と健常者を対象に, 統語的構造と現実の出来事の順序が一致している文の方が理解しやすいという仮説 (“Isomorphic Mapping Theory") (2) を提唱した研究 [6] では, 英語の二重目的語構文を用いたオフラインの意味的整合性判断課題を通して仮説を検証した. その結果, 失語症者は一致文に比べて不一致文の正答率が有意に低く, 失語症者と健常者

の間で一致文の正答率では有意差が見られなかったものの, 不一致文の正答率で有意差が見られたという結果が得られ，仮説を支持した.日本語でも統語的構造と出来事の順序が一致している文のほうが処理負荷が低く，理解しやすいことが示唆される.

(2) Isomorphic Mapping Theory $の$ 例

She put the crayon on the pencil. (Isomorphic)

$\mathrm{X}$ acts on $\mathrm{Y}$ placing it on $\mathrm{Z} \quad$ event

She tapped the crayon with the pencil. (Nonisomorphic)

$X$ uses $Y$ to tap $Z$ event

以上に基づき, (3), (4) のような二重目的語構文に関して3つの仮説を立てた.

(3)「にを文」

先行発話: 応接間にテーブル/コーヒーがあるよ。返答:

a. テーブルにコーヒーを置こう。（正文）

b. コーヒーをテーブルに置こう。（正文）

c. テーブルをコーヒーに置こう。（誤文）

d. コーヒーにテーブルを置こう。（誤文）

(4) 「でを文」

先行発話: 居間にフォークハパンケーキがあるよ。返答:

a. フォークでパンケーキを食べよう。（正文）

b. パンケーキをフォークで食べよう。（正文）

c. フォークをパンケーキで食べよう。（誤文）

d. パンケーキでフォークを食べよう。（誤文）

仮説 1 二重目的語構文において, 先行研究で旧情報が先にある文のほうが，後にある文に比べて意味的整合性を判断しやすい．したがって，「テーブル」 が旧情報であれば (3a, c/4a, c) が，「コーヒ一」 が旧情報であれば (3b, d/4b, d) が，もう一方に比べ整合性判断の正答率が高く反応時間が短い.仮説 2 二重目的語構文の基本語順である「間接目的語-直接目的語」の語順, 寸なわち直接目的語が述語に近接する語順のほうが，そうでないかき混ぜ語順に比べて意味的整合性を判断しやすい. したがって，「にを文」(3a, d) や「でを文」(4a, d) のほうが，かきまぜ語順である「をに文」(3b, c) や「をで文」(4b, c) に比べ意味的整合性判断の正答率が高く反応時間が短い.

仮説 3 二重目的語構文において, 統語構造と現実の出来事の順番が一致する文は, 不一致文より処理負荷が低い。「にを文」では直接目的語が先に来る
かきまぜ語順文が一致文であり，「でを文」では直接目的語が後に来る基本語順文が一致文であることに照らせば, (3b, d/4a, c) のほうが, (3a, c/4b, d) に比べ意味整合性判断の正答率が高く反応時間が短い.

## 2 方法

## 2.1 実験参加者

日本語を母語とする日常生活に支障のない東北大学学部生および大学院生 40 人（女性 19 人, $20.42 \pm 2.26$ 歳） が実験に参加した。

## 2.2 刺激文

二重目的語文 (ターゲット文) と目的語を含んだ先行発話文 96 セット用意した. そのうち 48 セットは二格名詞， ヨ格名詞，動詞を含む文 (にを文) で，全てニ格名詞の意味役割が [着点], Э格名詞の意味役割が [対象] の文とした. 残り 48 セットは, デ格名詞とヨ格名詞を含む文 (でを文) であり, 全てデ格名詞の意味役割が [道具], Э格名詞の意味役割が [対象] の文とした. 二格名詞，デ格名詞， 格名詞は全て無生物で，身体部分や抽象概念ではないものを使用した。ターゲット文は，旧情報の位置 (前/後) と語順 (基本語順/かき混ぜ語順) を操作して 4 パターン用意し，さらにその 2 つの名詞句を入れ替えることで誤文を用意した. 先行発話文は，夕一ゲット文に含まれる名詞を利用して作成した (付録)．いずれも。すべての文の間で, 同じ名詞と動詞を 2 回以上使わないようにした。二重目的語構文の 2 つの名詞句の間で文字数, モーラ数, 親密度 [7] の平均に有意な差がないことを確認した。これらのセット内のパターンは参加者間でカウンターバランスをとり，刺激文の提示順は参加者ごとにランダムに呈示した.

## 2.3 手続き

参加者は，コンピュータのモニタに $1500 \mathrm{~ms}$ 間提示される先行発話と,ターゲット文を 1 文ごとに読み，ターゲット文の画面で意味的に整合しているかどうかの判断を，ボタン押しによって行った (図1).本試行の前に練習を行った。

課題終了後に, Google form によるフォローアップ調查を実施した. 各参加者が提示されたパターンによる誤りを含む 48 文において，この文の話し手が本来意図していた発話はどのようなものだと考えら

れるかを作文するよう求めた。

$2000 \mathrm{~ms}$

$1500 \mathrm{~ms}$

時間

図 1 意味的整合性判断課題試行例

## 2.4 分析

ターゲット文整合性判断タスクの反応時間, 回答の正答率を従属変数, 旧情報の位置, 語順を独立変数として, 線形混合効果 (linear-mixed-effect: LME) モデルによる分析を行った. ランダム要因として，参加者と刺激文を含めた。

## 3 結果

仮説 1 の旧情報の位置に応じた意味正誤判断の正答率（図 2）と反応時間（図 3）について，「にを文」の正文では，旧情報の位置が前にある文のほうが後ろにある文より正答率が有意に高く $[\beta=0.048$, $t(850.917)=1.881, p=0.060]$, 反応時間が短かった $[\beta=0.148, t(753.641)=1.891, p=0.059]$. 誤文に関しては，旧情報の位置の影響は正答率においても $[\beta=$ $0.000, t(850.917)=0.011, p=0.991]$ 反応時間 $[\beta=$ $0.061, t(185.443)=0.765, p=0.444]$ においても有意ではなかった。「でを文」では, 正文の正答率（図 4）は旧情報の位置が前にあるほうが有意に高かったが $[\beta=0.052, t(851.722)=2.338, p=0.020]$, 正文の反応時間（図 5） $[\beta=0.030, t(850.002)=0.339, p=$ $0.735]$, 誤文の正答率 $[\beta=0.017, t(852.318)=0.577$, $p=0.564]$ と反応時間 $[\beta=0.045, t(897.000)=0.526$, $p=0.599]$ においては旧情報の位置の有意な影響は認められなかった。

仮説 2 の語順の要因の影響は，「にを文」の正文では正答率 $[\beta=0.040, t(851.138)=1.565, p=0.118]$ においても反応時間 $[\beta=0.027, t(761.725)=0.342, p$ $=0.733]$ においても有意ではなかった. 誤文でも同様に, 正答率 $[\beta=0.042, t(851.138)=1.320, p=$ $0.187]$ でも反応時間 $[\beta=0.100, t(185.443)=1.269$, $p=0.205]$ でも有意ではなかった. 一方「でを文」 では, 正文の正答率は基本語順文 (「でを」) がかき混ぜ語順文 (「をで」) より有意に高かった $[\beta=$ $0.056, t(851.931)=2.504, p=0.013]$. その他, 正文の反応時間 $[\beta=0.103, t(850.017)=1.151, p=0.250]$,誤文の正答率 $[\beta=0.022, t(852.495)=0.743, p=$ $0.457]$ と反応時間 $[\beta=0.133, t(897.000)=1.557, p=$ 0.120] では有意ではなかった.

また「でを文」の正文の意味判断の正答率 (図 4) と反応時間 (図 5) において, 旧情報位置と語順の交互作用が有意だった. 旧情報が後にあるかき混ぜ文は, 他の条件に比べて有意に正答率が低く $[\beta=$ $0.073, t(850.722)=2.318, p=0.021]$, 反応時間が長かった $[\beta=0.224, t(850.002)=1.778, p=0.076]$.

仮説 3 の統語構造と現実の出来事の一致は, 仮説 2 と同様の比較で検証される. 上述した「でを」文の正文の正答率の語順の主効果が有意だったという結果は, 構造と出来事の一致文 (正順に相当) のほうが不一致文 (かきまぜ語順に相当) より有意に正答率が高いことを示す.

フォローアップ調查の結果では, 誤文の訂正方略の選好性に関して，「にを」文と「でを」文の両夕イプにおいて助詞の順序と訂正方法の連関が有意であった (「にを」文: $\chi^{2}(1)=49.40, p<0.001$ ，「でを」文: $\left.\chi^{2}(1)=21.85, p<0.001\right)$. 誤文の語順が基本語順 (にを，でを) である場合は名詞を入れ替えることで基本語順を維持するように訂正される傾向，誤文の語順がかき混ぜ語順 (「をに/をで」) である場合は助詞を入れ替えることで基本語順（「にを/ でを」) になるように訂正される傾向が示された.

## 4 考察

本研究では，言い誤りを含む文の理解過程に着目し, 旧情報位置と語順, さらに統語構造と現実の出来事の一致性が助詞レベルにおける交換型の言い誤り理解にどのような影響を与えるかについて, 先行研究 [3] に比べ時間的な制約を加えたパラダイムによって文理解プロセスにより注目して検討した.

二重目的語構文を用いて意味的整合性判断課題を実施した結果, 正文の正答率と反応時間における旧情報位置の有意傾向が見られ, 新情報が旧情報に先行する文の方が，旧情報が新情報に先行する

「given-new ordering 文」に比べて反応時間が長く正答率が低かった. 新情報が旧情報に先行する文の処理負荷の高さが明らかになり，仮説 1 を支持した. これは『現代日本語書き言葉均衡コーパス』を用いた研究 [4] とも整合する.

仮説 2 の語順の影響について, 先行研究 [3] で見られた「にを文」の反応時間のオンライン処理上での有意な語順の影響は, 本研究では見られなかった.

ただし，フォローアップ調査で参加者が誤文の訂正方略の結果としては, 誤文のパターンによらず基本語順で産出されており，直接目的語を動詞の直前に置くことを好む傾向が再現された。

オンライン実験において先行研究 [3] の結果が再現されなかったことは, 本研究とのパラダイムの違いを反映していると考えられる. 本研究では先行発話文を提示した後, ターゲット文が提示された時点でできるだけ早く正確に意味的整合性判断をするように求めた. それに対して先行研究では, 対話性を含んだ問いかけの先行発話文と応答のターゲット文の双方が自己ペース読みであり，ターゲット文を読んでキーを押した後に，新たな判断画面が出てから整合性判断をするように求められた。

こうしたパラダイムの違いがもたらした影響として, 2 つの可能性がある. 第一に, 時間的な制約の有無による文処理プロセスの違いである. 先行研究では, 文のターゲット文の内容を思い出しながら意味的整合性を判断するという，記憶再認の過程が含まれていた. 語順は, 記憶再認により強く影響することが示唆される. それに対して本研究では, そうした再認のプロセスは介在しない, より純粋な瞬時の文処理過程を反映していると考えられる. そうした瞬時の文処理過程では, 語順より情報構造の影響がより強くなるという可能性が考えられる. オフラインで行ったフォローアップ調査の誤文の訂正方略においてもかき混ぜ語順より基本語順が強く好まれていた結果も，この可能性を支持する.

第二の可能性は, 対話性の有無である. 先行研究では問いかけの形で先行発話文と応答文が提示された際，それぞれの文の呈示位置がスライドの上下に配置されたことで, 両者の話し手が異なることがより視覚的に強調された. それに対して本研究では, どちらの文もスライドの中央に配置した. この対話性の違いが, 語順と情報構造の文処理負荷に与える影響に関係しているかもしれない。

また, 仮説 2 の語順と仮説 3 の構造-出来事一致の要因は，ターゲット文の正文に対して異なる予測を与えた. すなわち「でを」文においては，語順と構造-出来事一致の両要因は同様に「をで」文が処理負荷を高くする条件（かきまぜ、不一致）であつた. 一方「にを」文では, 語順の観点からはかき混ぜの「をに」文が処理負荷が高くなるが, 構造-出来事一致の観点からは，「をに」文は逆に構造-出来事の順序が一致するため文処理を促進すると予測
された. その結果, 語順と構造-出来事一致の両要因の予測が一致する「でを」文の正文では, 基本語順で一致文である「でを」文が，かき混ぜ語順で不一致文である「をで」文より正答率が高かった（反応時間の差は有意ではなかった）. しかし両要因の予測が異なる「にを」文では, 正文誤文の正答率と反応時間のすべてで有意な効果が見られなかった. かき混ぜ語順の効果と構造-出来事の順序の一致の効果が互いに打ち消し合った可能性も考えられる.

さらに，「でを文」の正文の正答率と反応時間に見られた交互作用は, 旧情報が後にくる場合, かき混ぜ語順で不一致文となる「をで」文 (4b) の処理負荷がとりわけ高くなることを示唆している.これは, 先行発話の (4)「フォーク」のように, 道具を含むデ格名詞が旧情報となる場合である. 同じ (4b) のかき混ぜ語順の不一致文でも，「パンケーキ」のような対象を示すヲ格名詞が旧情報となっている場合には, 処理負荷は高くならなかった.「にを」文にはこの交互作用は見られなかった. このような結果は，「にを」文に比べ「でを」文では，2つの目的語間で項の必須性に差があることと関係するかもしれない.「でを」文の道具のデ格は, 対象のヲ格より項の必須性が相対的に低いが，「にを」文の着点の二格は, 対象のヲ格とともに文を成す重要な項である [8]. 必須性の低い項は, 基本語順文で構造-出来事の順序が一致する形で表現されることが読み手にとくに強く期待され, それを逸脱した非典型的な文に接すると混乱が生じるのだと解釈される.

以上のように，本研究は，言い誤りを含む二重目的語文の理解過程において, 旧情報の位置, 語順,統語構造と現実の出来事の順序の一致の 3 つの要因がそれぞれ影響することを示した。

## 参考文献

1. 寺尾康 (1992)「第 6 章文産出」 石崎俊・波多野誼余夫（編）『認知科学ハンドブック』 371, 379-380. 東京 : 共同出版.

2. 寺尾康 (2002) 『言い間違いはどうして起こ

る?』東京 : 岩波書店.

3. 井出彩音・寺尾康・木山幸子 (2021) 「言い誤りの理解過程: 日本語二重目的語構文の意味的整合性判断課題による検討」『日本言語処理学会第 27 回年次大会発表論文集』 729-733.

4. 浅原正幸・南部智史 - 佐野真一郎 (2018) 「日本語の二重目的語構文の基本語順について」『言語資源活用ワークショップ発表論文集』 3: 280-287.

5. 遠藤喜雄 (2014) 『日本語カートグラフィー序説』 東京 : ひつじ書房, 90-110.

6. O'grady, W., Lee, M. (2005) A mapping theory of agrammatic comprehension deficits. Brain and Language 92: 91-100.
7. 天野成昭・小林哲生 (2008) 『基本語データベー ス語義別単語親密度』東京: 学習研究社.

8. 丸山直子（2016）「格助詞『に』と『で』の深層格 : 出現状況把握に向けての問題点の整理」

『日本文學』112: 175-194. 東京女子大学
刺激文の作成例 (「にを」文)

刺激文の作成例 (「でを」文)

図 2 「にを」文意味正誤判断平均正答率 (エラーバー: 標準誤差)

図 3「にを」文意味正誤判断平均反応時間 (エラーバー: 標準誤差)

図4「でを」文意味正誤判断平均正答率 (エラーバー: 標準誤差)

図 5 「でを」文意味正誤判断平均反応時間 (エラーバー: 標準誤差)


# PresenSum: トーク音声とスライド画像情報を入カとする プレゼンテーション要約

斉藤いつみ 西田京介吉田仙
日本電信電話株式会社 NTT 人間情報研究所
\{itsumi.saito.df, kyosuke.nishida.rx, sen.yoshida.tu\}@hco.ntt.co.jp

## 概要

プレゼンテーションのトーク音声とスライド画像集合を大力として，テキストの要約を出力する新たなプレゼンテーション要約タスク PresenSum を提案する。学会発表の共有サイトからデータセットを収集，分析し，本タスクが既存のテキスト要約タスクと異なる特徴があることを確認した. さらに，テキストで事前学習された Encoder-Decoder モデルをベースとしたプレゼンテーション要約モデルを構築し，トーク音声の音声認識テキストとスライド画像の文字認識テキストの両方を入力することの効果やスライド中の単語の大きさ，配置などのレイアウト情報や画像特徴などを追加する効果を検証した。

## 1 はじめに

テキスト要約技術は言語処理における重要な技術分野の一つであり [1]，言語モデルの進展とともに大きく発展している $[2,3,4]$. 一方，現実社会における様々なニーズに対応するためには，テキスト以外の音声や画像などの情報も入力とするマルチメディアデータの要約も重要である $[5,6,7]$. 本研究では， プレゼンテーションのトーク音声とスライド PDF ファイルから得られた画像情報を入力とし，テキス卜要約を生成する新たなプレゼンテーション要約タスク PresenSum を提案する. プレゼンテーションを対象とする要約研究は一部存在するが，トーク音声のみを入力とするタスク $[8,9]$ や，動画中の粗い画像情報を利用するタスク [10] であり，高精細なスライド画像情報とトーク音声を同時に考慮したプレゼンテーション要約については取り組まれていない。

図 1 に PresenSum の概要を示す. 本研究では, トーク音声とスライド画像から抽出したテキスト情報に加え，スライドテキストのレイアウト（テキストのサイズや配置情報）や画像情報を利用した要約

図 1 PresenSum タスクの概要.トーク音声，スライド画像集合を入力してテキスト要約を生成する。

生成を検証する．音声認識によって得られたトークスクリプトは誤りも含むが，スライドテキストにはキーワード的に重要な内容が記載されているため,双方を大力することで要約の質が向上することが期待できる．また，スライド中の文字には色や大きさ，配置などで重要箇所が視覚的に理解しやすい装飾が施されているため，これらの情報も要約において重要な情報と考えられる．PDFなどの文書画像の質問応答に関する研究は最近盛んに行われており $[11,12,13]$ ，文書画像中の単語の配置や画像情報の有効性が示されているが，スライド画像を含む要約タスクにおいて有効性は検証されていない。

本研究の貢献は，1) PresenSum のデータセット収集と分析，要約モデルを構築し，2) トークスクリプトとスライドテキストの双方を入力することの効果検証，3) スライドテキストのレイアウト・画像情報を入力することの効果検証を行った点である.

## 2 PresenSum データセット

## 2.1 データセットの収集

学会等のプレゼンテーション動画・資料がアーカイブされている videolectures.NET ${ }^{1)}$ から動画, スライ

1) http://videolectures.net/
表 1 既存の要約データセットとの比較.

ド PDF データ, 要約テキストが存在しているデータを収集した．要約テキストは，上記サイトの各プレゼンテーションページに記載された Description テキストを収集した. 動画から音声データを抽出し，スライド PDF はページごとに画像に変換した. デー タ数合計は 2305 件であり，動画の平均時間は 1,100 秒，スライドの平均枚数は 30.8 であった. トークスクリプト，スライドテキストはそれぞれ Google Speech/Vision API $^{2 ）}$ を用いて抽出した. 以降，それぞれ ASR テキスト，OCR テキストと表記する。

## 2.2 既存の要約データセットとの比較

本タスクは入力にテキスト以外の情報も含むが， ASR や OCR によって変換したテキスト情報が代表的な入力となるため，本節ではテキスト情報のみに着目した比較を行う. 表 1 に代表的なテキスト要約データセットである CNN/DM [14]，XSum [15] (ニュースドメイン)， ArXiv [16]，PubMed [16]（論文ドメイン）と PresenSum の比較を示す. 既存デー タセットについてはそれぞれ train データから 10000 件をランダムサンプリングして指標を計算した.

比較指標各データの特徴を表す指標として，入力・要約の単語数と, [17]にて提案された Coverage, Density, Compression の 3 指標の合計 5 つの指標を用いる. Coverage は要約の単語が入力テキストによってどの程度カバーされているか, Density は要約と入力テキストが連続して一致した部分単語列の平均長がどの程度か, Compression は入力テキストが要約テキストの何倍の長さかを表す.

入カ・要約単語数の特徵 PresenSum は, ASR と OCR を合計した入力単語数が平均 5,611 語, 要約単語数が平均 187 語と, ニュース要約 (CNN/DM, XSum）に比べて入出力が長い. 入出力単語数の観点では Compression 指標も含め論文要約タスクの ArXivに近いと言える.
/
}

図 2 プレゼンテーション要約モデルの構成. Encoderに OCR および ASR テキストと，OCR テキストのレイアウ卜情報や画像情報を追加する。

入カ・要約単語の一致度の特徵 PresenSum の Coverage は CNN/DM や ArXiv, PubMed と同程度の高い値であり，入力テキストの単語を適切に利用しながら要約を生成することが求められるタスクと言える。また， ASR/OCR 単体のデータに比べて PresenSum データでは Coverage が大きく向上しており，ASR/OCR テキスト双方を入力することで要約に必要な単語が補完されることが示唆される。一方，Density について PresenSum は Arxiv 等に比べて低い值である．これは，要約テキストに出現する単語が ArXiv 等と比べて入力テキスト中に散らばって存在しており，連続した単語列の表現をそのまま利用する割合が少ないことを示す. ASR テキストは話し言葉であり㔯長表現や認識誤りも含まれること， OCR テキストもキーワード的な表現が多く要約テキストとスタイルが異なることが原因と考える。

以上の指標から，PresenSum は正解要約の単語が入力テキスト中にどのように分布しているかについて従来の要約データとは異なる特徴を持ち, Compression が高くDensity が低い点で既存データに比べて要約生成が難しいデータセットといえる.

## 3 プレゼンテーション要約モデル

図 2 にモデル構成を示す. 生成型要約を行うため, Encoder-Decoder モデルをベースモデルとした. ASR，OCR テキスト系列をべース入力とし，レイアウト，画像特徴量系列を追加する。

テキスト系列 ASR テキスト単語系列 $X_{a s r}$, OCR テキスト単語系列 $X_{o c r}$ を利用する。これらのテキストをモデルに対応したトークナイザでサブワードに分割し，OCR, ASR を表す特殊トークンを用いて $[\mathrm{OCR}]+X_{o c r}+[\mathrm{ASR}]+X_{a s r}$ のように結合する.

レイアウト系列 OCRによって検出された単語の配置情報 $X_{l o c}$ ，単語のサイズ情報 $X_{\text {size }}$ ，各単語が属する段落中の単語数情報 $X_{\text {num }}$ を利用する。配置情報は $x_{k}^{\mathrm{loc}}=\left[x_{k}^{\mathrm{min}} / W_{\mathrm{im}}, y_{k}^{\mathrm{min}} / H_{\mathrm{im}}, x_{k}^{\mathrm{max}} / W_{\mathrm{im}}, y_{k}^{\max } / H_{\mathrm{im}}\right]$

をそれぞれ 1000 倍した整数 [18] とする. サイズ情報 $x_{k}^{\text {size }}$ は各単語の高さ情報 $y_{k}^{h}=y_{k}^{\text {max }}-y_{k}^{\text {min }}$ を計算し, 各プレゼン内の平均サイズ $y_{\text {ave }}^{h}$ を用いて $y_{k}^{h^{\prime}}=y_{k}^{h} / y_{\text {ave }}^{h}$ としたあと, 10 倍して整数化した値を用いる。なお， $\left(x_{k}^{\min }, y_{k}^{\min }\right),\left(x_{k}^{\max }, y_{k}^{\max }\right)$ はトークンを囲む矩形領域の左上および右下の座標， $W_{\mathrm{im}}, H_{\mathrm{im}}$ は画像の幅及び高さを表す.

画像特徵量系列 OCR 単語の矩形領域ごとに COCO [19] で学習された Faster-RCNN [20]を用いて box head の最終層のベクトルを抽出し画像特徴量系列 $E^{\mathrm{vis}}$ として利用する。

Encoder 入カ Embedding テキスト・レイアウト・画像特徵量系列を embedding し, 次のように結合する.

$
e_{t}=\mathrm{LN}\left(e_{t}^{\mathrm{text}}+e_{t}^{\mathrm{add}}\right)
$

LN は Layer Normalization [21] を示す. $e_{t}^{\text {text }}$ は, OCR トークン $x_{t}^{\text {ocr }}$ あるいは ASR トークン $x_{t}^{\text {asr }}$ を基に埋め込む. $e_{t}^{\text {add }}$ は $e_{t}^{\text {loc }}, e_{t}^{\text {size }}, e_{t}^{\text {num }}, e_{t}^{\text {vis }}$ のいずれかを表す. $e_{k}^{\text {loc }}, e_{k}^{\text {size }}, e_{k}^{\text {num }}, e_{k}^{\text {vis }}$ は対応するレイアウトトー クン，画像特徴量を線形変換にて埋め込む. ASR トークン部分の $e_{t}^{\text {add }}$ につては零べクトルとする.

Encoder Encoder は $L$ 層の Transformer とする. Encoder 入力 Embedding 系列 $H^{0}=\left[e_{1}^{0}, \ldots, e_{T}^{0}\right]$ を受け取り, $H^{L}=\left[e_{1}^{L}, \ldots, e_{T}^{L}\right]$ を出力して Decoder に渡す.

Decoder Decoderは $L$ 層の Transformerを用いて，通常の Text-to-Text と同様に生成したトークンを 1 単語ずつ入力し次のトークンを予測する. Decoder では入力にテキスト以外の情報は入力しない.

## 4 評価実験

評価データ PresenSum データセットを 8:1:1 の割合でランダムに分割し, 訓練, 開発，テストデー 夕とした. 各データ数は $1844 ， 230 ， 231$ である.

評価指標 ROUGE [22] を使用した. また，正解要約中の単語が生成テキストに含まれるか否かを $1 / 0$ として品詞ごとに集計した品詞カバー率を評価する. 品詞付与には spacy 3 )を使用した。

実験設定最長で 16384 トークンを扱うことができる事前学習済の Longformer Encoder-Decoder モデル [23]を使用し, 入力系列が上限を上回る場合は先頭から用いた。学習済モデルの取得や学習は Transformers ${ }^{4}$ を使用した. バッチサイズ 8 , 勾配の累積ステップ数を 2, 10 エポック学習し, 開発セッ

3) https://spacy.io/

4) https://github.com/huggingface/transformers表 2 ASRテキストと OCRテキストの双方を入力する効果. カッコ内の数字は入力トークンの最大長を表す. 本評価ではレイアウト・画像特徴量系列は使用しない。

図3 生成された要約が正解要約の単語を含む割合.

トでの損失が最小のモデルを選択した。最適化手法は AdamW [24], 学習率は 5e-5 とした.

## 4.1 評価結果

ASR テキストと OCR テキストの双方を入力することは効果があるか？ 表 2 に示す通り，ASR テキストと OCR テキストの双方を入力した場合が ASR，OCR 単体を入力する場合よりも精度が良かった. また, OCR 単体の方が ASR 単体よりも精度が高かった. 2.2 節の単語の Coverage 指標では ASR 単体の方が OCR 単体よりも高い値だったが，要約生成の結果では逆になった. ASR の認識誤りや話し言葉のスタイルが精度に影響していると考える。

## 入力長を伸ばすことにより精度は向上するか？

表 2 に示す通り，ASR+OCR の場合の入力の最大長を 4096 から 8192 に長くすると精度が向上した。 PresenSum は入力系列全体に分散した情報を要約することが必要なデータセットと言える.

## ASR テキストと OCR テキストはどのような補完関係があるか？図 3 に出現頻度が高い 10 種の品詞ごとの品詞カバー率を ASR, OCR, ASR+OCR の 入力ごとに示した. まず，OCRを入力することで 固有名詞（PROPN）のカバー率が大きく向上した. ASR においては固有名詞の認識が難しいが，OCR では固有名詞が取得しやすいため特に補完効果 があったと考える. 最も出現頻度が高い普通名詞 （NOUN）においても ASR と OCR の双方を入力する ことでカバー率が向上した.

## OCR テキストのレイアウト・画像情報の効果はあ

るか？ 表 3 に OCR のレイアウト情報や画像情報を追加した場合の効果について検証した結果を示す. OCR のサイズ $\left(e^{\text {size }}\right)$, 段落中の単語数 $\left(e^{\text {num }}\right)$ を追加するとべースラインよりも精度がわずかに向上した. 段落中の単語数は単語のまとまりを表し，本文中のテキストであれば多くなり，図表中の語であれば 1 語で独立しているケースが多いなど， OCR テキストがどのような領域に属しているかを間接的に表す.このような OCR テキストの意味的な領域の理解をさらに深めることが重要と考える。一方，配置情報 $\left(e^{\text {loc }}\right)$ ，画像情報（ $e^{\text {vis }}$ ) については精度が向上しなかった. ベースとした Longformer Encoder-Decoder が大量の言語データで学習されている一方，今回の学習データが少量のため追加特徴量への適応が不十分であったと考える.

出力例・エラー分析図 4 に ASR と OCR 双方をモデルに入力した場合の出力例を示す. 正解要約, スライド画像は下記 $\left.{ }^{5}\right) より$ 抜粋した. 特筆すべき例として, ASR/OCR 単体のみを入力した場合では生成されなかった語が要約に含まれた。 スライドとトークの両方で言及されることで，より重要な語として認識された結果と考える。一方で，いずれかの入力には記載があるものの ASR と OCR の双方を入力しても生成されない内容も存在した.

PresenSum の課題と展望本研究で得られた知見により，音声・画像から得られるテキスト情報を用いた要約について有望な結果が得られたものの，レイアウト・画像情報の利用については，fine-tune 時に特徴量を追加するだけでは十分な効果が得られないことがわかった. スライドの意味領域（タイトル・図表など）の構造的な理解や，事前学習などによる追加特徴量の理解の強化などの検討が必要である.また，音声認識誤りの影響の軽減や音声の重要箇所特定などのため，トーク音声のテキスト以外の特徴量の効果についても検証の余地がある [25].

## 5 関連研究

プレゼンテーションに関連する要約研究として TalkSum [8], VT-SSum [9], AVIATE [10] などがある. $[8,9]$ はトーク音声の ASR テキストのみを入力し,抽出型の要約タスクを行っている. [9] は抽出型要約の正解データ作成にスライド画像の OCR を利用した. AVIATE [10] はプレゼンテーションの動画から ASR や OCR などを行い，生成型のテキスト要約を行っている。しかし，OCR については動画中の粗い画像情報から抽出した上限 500 単語という部分的な利用にとどまっており，高精細なスライド画像の OCR テキスト全体やテキストのレイアウト等の詳細情報を利用を想定する我々の設定とは異なる。

## 6 おわりに

プレゼンテーションのトーク音声とスライド画像情報を用いて要約を行う PresenSum タスク提案し， データセットの収集，分析及びモデル評価を行った. PresenSum が従来の要約タスクと異なる特徴をもつこと，トーク音声とスライド画像のテキストが補完関係にあることを示し，要約モデルの入力として双方を用いることの有効性を確認した。また， OCR テキストのレイアウト・画像情報の効果についても初めて検証を行った. PresenSum は言語・音声・画像の融合的な理解が必要となるタスクであり，ビデオ会議の要約など幅広い分野に応用できる。

5) https://videolectures.net/icml09_frank_mac/

## 参考文献

[1] Hui Lin and Vincent Ng. Abstractive summarization: A survey of the state of the art. In AAAI, pp. 9815-9822, 2019.

[2] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. J. Mach. Learn. Res., Vol. 21, pp. 140:1-140:67, 2020.

[3] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. In ACL, pp. 7871-7880, 2020

[4] Jingqing Zhang, Yao Zhao, Mohammad Saleh, and Peter J. Liu. PEGASUS: pre-training with extracted gap-sentences for abstractive summarization. In ICML, 2020.

[5] Anubhav Jangra, Adam Jatowt, Sriparna Saha, and Mohammad Hasanuzzaman. A survey on multi-modal summarization. arXiv preprint arXiv:2109.05199, 2021.

[6] Ramon Sanabria, Ozan Caglayan, Shruti Palaskar, Desmond Elliott, Loïc Barrault, Lucia Specia, and Florian Metze. How2: A large-scale dataset for multimodal language understanding. In NeurIPS@ViGIL, 2018.

[7] Zhou Y. Zhang J. Li H. Zong C. Li C. Zhu, J. Multimodal summarization with guidance of multimodal reference. In AAAI, pp. 9749-9756, 2020.

[8] Guy Lev, Michal Shmueli-Scheuer, Jonathan Herzig, Achiya Jerbi, and David Konopnicki. Talksumm: A dataset and scalable annotation method for scientific paper summarization based on conference talks. In ACL, pp. 21252131, 2019.

[9] Tengchao Lv, Lei Cui, Momcilo Vasilijevic, and Furu Wei. Vt-ssum: A benchmark dataset for video transcript segmentation and summarization. arXiv preprint arXiv:2106.05606, 2021.

[10] Yash Kumar Atri, Shraman Pramanick, Vikram Goyal, and Tanmoy Chakraborty. See, hear, read: Leveraging multimodality with guided attention for abstractive text summarization. Knowl. Based Syst., Vol. 227, , 2021.

[11] Minesh Mathew, Dimosthenis Karatzas, and CV Jawahar. Docvqa: A dataset for vqa on document images. In WACV, pp. 2200-2209, 2021.

[12] Ryota Tanaka, Kyosuke Nishida, and Sen Yoshida. Visualmrc: Machine reading comprehension on document images. In AAAI, pp. 13878-13888, 2021.

[13] Minesh Mathew, Viraj Bagal, Rubèn Tito, Dimosthenis Karatzas, Ernest Valveny, and CV Jawahar. Infographicvqa. In WACV, pp. 1697-1706, 2022.

[14] Karl Moritz Hermann, Tomas Kocisky, Edward Grefenstette, Lasse Espeholt, Will Kay, Mustafa Suleyman, and Phil Blunsom. Teaching machines to read and comprehend. In NIPS, pp. 1693-1701, 2015.

[15] Shashi Narayan, Shay B. Cohen, and Mirella Lapata. Don't give me the details, just the summary! topic-aware convolutional neural networks for extreme summarization. In
EMNLP, pp. 1797-1807, 2018

[16] Arman Cohan, Franck Dernoncourt, Doo Soon Kim, Trung Bui, Seokhwan Kim, Walter Chang, and Nazli Goharian. A discourse-aware attention model for abstractive summarization of long documents. In NAACL, 2018.

[17] Max Grusky, Mor Naaman, and Yoav Artzi. Newsroom: A dataset of 1.3 million summaries with diverse extractive strategies. In ACL, pp. 708-719, 2018.

[18] Yang Xu, Yiheng Xu, Tengchao Lv, Lei Cui, Furu Wei, Guoxin Wang, Yijuan Lu, Dinei A. F. Florêncio, Cha Zhang, Wanxiang Che, Min Zhang, and Lidong Zhou. Layoutlmv2: Multi-modal pre-training for visually-rich document understanding. In ACL/IJCNLP, pp. 2579-2591, 2021.

[19] TY Lin, M Maire, S Belongie, J Hays, P Perona, D Ramanan, P Dollar, and CL Zitnick. Microsoft coco: Common objects in context. In ECCV, pp. 740-755, 2014.

[20] Ren, Shaoqing, He, Kaiming, Girshicka, Ross, Sun, and Jian. Faster r-cnn: Towards real-time object detection with region proposal networks. In NIPS, pp. 91-99, 2015.

[21] Lei Jimmy Ba, Ryan Kiros, and Geoffrey E. Hinton. Layer normalization. arXiv preprint arXiv:1607.06450, 2016.

[22] Chin-Yew Lin. Rouge: A package for automatic evaluation of summaries. In Text summarization branches out@ACL, pp. 74-81, 2004.

[23] Iz Beltagy, Matthew E. Peters, and Arman Cohan. Longformer: The long-document transformer. arXiv preprint arXiv:2004.05150, 2020.

[24] Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization. In ICLR, 2019.

[25] Alexei Baevski, Yuhao Zhou, Abdelrahman Mohamed, and Michael Auli. wav2vec 2.0: A framework for selfsupervised learning of speech representations. In NeurIPS, 2020 .

## A 補足資料

ASR 単体，OCR 単体，ASR と OCR の双方を入力した場合の要約出力例を図 5 に示す（図 4 は ASR+OCR と参照要約の抜粋である)，正解要約テキストとスライド画像は下記6) より抜粋した. ASR 単体は意味が不明瞭な箇所があるが，ASR と OCR を合わせて入力することで改善がみられる.

## OCR only

We present a multi- Assignment Clustering approach for Boolean data. Our approach is based on a probabilistic representation of cluster centroids, which are characterized by disjunctions of Booleanemissions. We compare the accuracy of different methods at different noise levels, and compare them with other multi-assignment methods. We show that our approach outperforms the state-ofthe-art methods in terms of accuracy. We also compare the performance of different multi- assignment methods with other methods. Our results show that the multi-Assignments approach is more accurate than the state of the art methods, and that it is more robust to noise than the other approaches. Furthermore, our approach is able to estimate cluster centroid mismatch at different levels of noise.

## ASR only

In this paper, we present a probabilistic model for clustering Boolean data where similar objects are allowed to belong to more than one cluster at the same time. The model is based on the notion that the objects and the permissions are independent from each other. We show that the model can be used to infer the permissions of a given object by inferring the permissions from its input data. We demonstrate that the proposed model outperforms the state-of-the-art clustering methods in terms of accuracy and noise. We also demonstrate the effectiveness of our model on a real-world dataset from a Swiss bank. Our experiments on synthetic data demonstrate that our proposed model can outperform the state of the art clustering techniques. We further demonstrate the applicability of our method on real world datasets.

## OCR + ASR

In this paper, we present multi- Assignment Clustering for Boolean Data, a method of pooling data where similar objects are allowed to belong to more than one cluster at the same time. We show that multi assignment clustering can be applied to a variety of applications, such as role mining and role-based access control. We demonstrate the effectiveness of our method on real-world datasets and compare it to several combinatorial methods on synthetic data. We also show that our method outperforms the state-of-the-art methods in terms of accuracy and noise reduction, and that it can also be used to detect wrong or erroneous assignments of objects in real world datasets. The results of our experiments on synthetic datasets show that the method is able to outperform the state of the art.

## Reference

Conventional clustering methods typically assume that each data item belongs to a single cluster. This assumption does not hold in general. In order to overcome this limitation, we propose a generative method for clustering vectorial data, where each object can be assigned to multiple clusters. Using a deterministic annealing scheme, our method decomposes the observed data into the contributions of individual clusters and infers their parameters. Experiments on synthetic Boolean data show that our method achieves higher accuracy in the source parameter estimation and superior cluster stability compared to state-of-the-art approaches. We also apply our method to an important problem in computer security known as role mining. Experiments on real-world access control data show performance gains in generalization to new employees against other multi-assignment methods. In challenging situations with high noise levels, our approach maintains its good performance, while alternative state-of-the-art techniques lack robustness.

図 5 ASR 単体, OCR 単体, ASR と OCR の双方を入力した場合の要約出力例. 赤文字が ASR や OCR 単体入力においても生成された内容. 緑文字が ASR と OCR を両方入れた時のみ生成された内容. 青文字はすべての要約で生成されなかった内容.

6) https://videolectures.net/icmlo9_frank_mac/


# 機械学習と統計的検定を利用した知見獲得とその評価

董卜睿*1 村田 真樹 *22 馬 青*3
*1 鳥取大学大学院 持続性社会創生科学研究科工学専攻
*2 鳥取大学大学院 工学研究科情報エレクトロニクス専攻
*3 龍谷大学 先端理工学部数理・情報科学課程
${ }^{* 1, * 2}\{$ m20j4163a@edu. , murata@ $\}$ tottori-u.ac.jp
${ }^{* 3}$ qma@math. ryukoku.ac.jp

## 概要

本研究では，最大エントロピー法，BERT，SVM の 3 つの教師あり機械学習法と, 符号検定, 区間推定の 2 つの統計手法を用い, 新聞データから単語対の情報を収集し，知見を獲得する。獲得した情報 (知見)を関連性と有益性に基づき評価する。

関連性評価では, 12 年分の新聞データで訓練した Word2vec から得た, 事前に人手で設定した単語対 (テーマキーワード対) に最も類似する 500 個の単語と, 人手で単語対について連想した 30 個の単語を正解として，提案手法によって得られた最も評価の高い 500 個の単語との一致率を計算した。計算の結果, 統計的手法が機械学習法を上回った。最も一致率が高かったのは符号検定であり, Word2vec との一致率は 0.126 , 人手で連想した単語との一致率は 0.344 であった. 有益性評価は, 提案手法で最も評価の高い 100 個の単語を取り出し, 被験者がどの手法から取得したのかを分からないようにして，単語の有益性を評価する。全新聞 (2007 年から 2018 年までの全て) を訓練した Word2vec が最も評価が高く, 平均の比率は 0.594 である. 提案手法の中で最も評価の高い手法は BERT であり, 平均の比率は 0.444 となった。

## 1 はじめに

メディアの電子化により，多くの電子テキストが出現し, そこから重要な情報を素早く入手することが求められている.

そこで，教師あり機械学習と統計的検定を利用して，新聞データから様々な分野に関するテーマキー ワード対の知見を獲得することを本研究の目的とする. 本研究では, 教師あり機械学習と統計的検定
で取り出した単語を知見とする。得られた知見の評価に関連性評価と有益性評価を用いる。なお本研究で用いる単語対は「健康」と「病気」,「政治」と 「経済」，「輸入」と「輸出」，「社会主義」と「資本主義」，「オリンピック」と「パラリンピック」である.この単語対をテーマキーワード対と呼ぶ，単語対の一方の単語はテーマキーワードと呼ぶ.

## 2 先行研究

村田らの研究 [1] はウェブと新聞から株式相場における情報を収集している，パターンと教師あり機械学習を利用して株式相場や経済に関わる様々な知見獲得を行い，獲得した知見は日本の株式相場の日々の変動を予測するために使用される.

Bollen ら [2] は, Twitter のメッセージを用いて，大統領選挙と 2008 年の感謝祭に対する人々の感情的な反応を分析し，ダウ平均の日々の上昇と下降を予測した。

鎌倉 [3] は，多くのテーマキーワード対において，機械学習の最大エントロピー法と統計的検定の符号検定により知見を獲得した。獲得した知見の有効性を人手で評価した．本研究に使用した手法は，鎌倉が使用した 2 つの手法以外に，提案手法として SVM，BERT と区間推定を追加した。また，比較手法として Word2vec を追加している.

## 3 提案手法

テーマキーワード対を含む文章から得られる単語を素性とする。本研究では, 教師あり機械学習と統計的手法を利用する. 2007 年から 2018 年の毎日新聞テキストデータからテーマキーワード対に関わる素性を分析し，複数のテーマキーワード対の知見を収集する. 手法ごとに得られた素性が人にとって役

に立つのかを明らかにするために人手による評価を行う.

## 3.1 素性分析

テーマキーワード対を $\mathrm{A}, \mathrm{B}$ として以下に提案手法を示す. 本研究では文章として, 新聞の一段落を利用する。

(段落)をそれぞれ収集する。

・手順 2 : A，Bを消して，Xに置き換える。

-手順 3 : 手順 1 で収集した $\mathrm{A}$ とに関する文章 (段落)をランダムに整列して, 単語 $\mathrm{A} と \mathrm{~B}$ を公平に分析するために，AとBを含む文章 (段落) を同数にする.

・手順 4 : 手法を利用して素性を抽出する.

-手順 5 : 手法ごとに得られた素性の上位 500 個を取り出す。

$\cdot$手順 6 : 手順 5 で得られた素性を評価する。

## 3.2 最大エントロピー法

最大エントロピー法 $[1,3,4]$ は, どのテーマキー ワードが記事中に出現する可能性が高いかを学習できる. テーマキーワード $\mathrm{A}, \mathrm{B}$ があるとする. A または Bを含む段落を収集する，収集した段落から A と $\mathrm{B}$ を取り除き， $\mathrm{X}$ とする。学習結果に基づいて， $\mathrm{X}$ にテーマキーワード $\mathrm{A}$ または $\mathrm{B}$ のどちらがあつたかを推定する．学習段階で，素性に対するテーマキーワードの重要度を示す正規化 $\alpha$ 值を計算し, 上位 500 個の素性を分析する。

## 3.3 SVM

SVM[5] とは, support-vector machine の略で，空間を超平面で分割することにより 2 つの分類からなるデータを分類する手法である. 2 つの分類が正例と負例からなるものとすると, 学習データにおける正例と負例の間隔 (マージン) が大きいものほどオー プンデータで誤った分類をする可能性が低いと考えられ，このマージンを最大にする超平面を求めそれを用いて分類を行う。テーマキーワード対 $\mathrm{A}, \mathrm{B}$ があるとする，Aまたは $\mathrm{B}$ を含む段落を収集し，その段落から $\mathrm{A}$ とを取り除き, Xとする. その段落と $\mathrm{X}$ に入るものの対を学習データとして超平面を学習する. 学習で得られたモデルに基づいて, 単語 $\mathrm{X}$ が平面に対してどのあたりにあるかを計算し，Xが $\mathrm{X}$ ま
たは B であるかを推定する．素性分析する方法は以下である。段落を個々の単語に切り分け，学習済み $\mathrm{svm}$ モデルを用いて各単語について分離平面までの距離を計算する。算出された距離は, それが該当するエリアとしてプラスマイナスで表現される。分離平面との距離が大きいほど有用な素性である。上位から 500 個の素性を抽出し，分析する.

## 3.4 BERT

BERT とは, Bidirectional Encoder Representations from Transformers の略で, Jacob Devlin ら [6] の論文で発表された自然言語処理モデルである. ラベル付けされていないテキストから, 全層で左右両方の文脈を共同で条件付けすることにより学習する. BERT は双方向の Tranceformerによって学習を行う. テーマキーワード対 $\mathrm{A}, \mathrm{B}$ があるとする. A または $\mathrm{B}$ を含む段落を収集し，その段落から $\mathrm{A}$ と $\mathrm{B}$ を取り除き，X とする。学習したモデルに基づいて，X を推定する．素性分析の方法は以下である．段落を個々の単語に切り分け, 学習済み BERT モデルを用いて各単語についてテーマキーワード対の確率值を計算し，上位 500 個の単語を有用な素性として抽出し分析する.

## 3.5 符号検定

符号検定 [3] は, 勝ちと負けや表と裏といった相反する 2 つのペアの差に符号 + と - を割り当てる統計的検定として用いられる. 二項定理に基づく片側検定により， A または B を含む段落の中で $\mathrm{A}$ と B と伴って出現する単語が，いずれのカテゴリーにおいても, 全データでの出現率よりも高い頻度で出現するかどうかを判定し, 有意確率 $\mathrm{p}$ 值を求める. $\mathrm{p}$值が低いほど有用な素性であるので, 本研究は $\mathrm{p}$ 值の下位 500 個の素性を取り出し，分析する.

## 3.6 区間推定

テーマキーワード対を $\mathrm{A}, \mathrm{B}$ とする，新聞データ

の出現回数を数える. $\mathrm{A}$ の出現回数は $N_{a}$ 回で, $\mathrm{B}$ の出現回数は $N_{b}$ 回, $\mathrm{A}$ の真の出現率は $\theta$ とする. $N=N_{a}+N_{b}$ とする. 実際の $\mathrm{A}$ の出現率は $\frac{N_{a}}{N}$ により求められる. 「真の A の出現率 $\theta$ は概率 $95 \%$ \%で $a \leq \theta \leq b$ の区間にある」と考える.このような考えを区間推定という。 下限値 a 値が高いほど有用な素性である。上位の 500 個の素性を抽出する。

表 1 全評価データ

## 4 評価

## 4.1 評価データ

評価には，2007 年から 2018 年の毎日新聞を用いて, 評価データの内訳を表 1 に示す. テーマキー ワード対「政治」「経済」の段落数は 155,776 であるが，機械学習手法は 15 万データを訓練すると，時間がかかるので, 最大エントロピー法, SVM, BERT,符号検定と区間推定の評価データはランダムに抽出した 40,000 個の段落を用いる. 最大エントロピー法と SVM は学習データとテストデータの比率は 1 対 1, BERT の訓練データ, 検証データとテストデー 夕の比率は 3 対 1 対 4 となるように全評価データを分割して用いる. 最大エントロピー法とSVM と BERT は, 訓練データのみから素性を取り出す. (最大エントロピー法では訓練データで学習する正規化 $\alpha$ 値を用いる. SVM と BERT は, 訓練データの段落にあった個々の単語を入力として用いることで素性分析する。）符号検定と区間推定は表 1 の全評価データを使用した. Word2vec は 2007 年から 2018 年まで全ての新聞を訓練する。

## 4.2 関連性評価: Word2vec 自動評価

Word2vec とは，大量の電子テキストを解析し，各単語の意味をベクトル表現することができる手法である. 単語をベクトル化することで, 単語の意味の近さを計算し，それを使って似たような意味の単語を探すことができる．Word2vec で全新聞 (2007 年から 2018 年までの全て)を訓練し, テーマキーワードと類似する単語を探し, 類似度の高い 500 語を正解として提案手法を評価する評価を行う.

・手順 1 : Word2vecに評価データを学習させる.

-手順 2 : 手順 1 で作成したモデルにテーマキー ワードを入力し，テーマキーワードと類似する単語を求める.

-手順 3 : テーマキーワードとの類似度が最も高い 500 個の単語を抽出し, 3.1 節で収集した素表 2 単語「健康」の人手連想評価の例

性との一致数を数える。

## 4.3 関連性評価：人手連想評価

3.1 節で収集したテーマキーワード対の手法ごとの素性を評価対象とする. 人手でテーマキーワード対から連想する単語を 30 個書き出し, 3.1 節で収集した素性 500 個との一致数を数える. Word2vec は,全部の新聞データを学習する。提案手法と比較するために使用される. 表 2 と表 3 は連想評価の例である. 人手で連想した単語と手法で取り出した上位の素性が一致したときの数を数える。人手連想評価の手順は以下のとおりである.

・手順 1 : 人手でテーマキーワード対から連想する単語を 30 個書き出す.

-手順 2 : 手順 1 で収集した連想語 30 個と 3.1 節で収集した素性 500 個との一致数を数える。

## 4.4 有益性評価

収集した素性がどの方法で得られたものかを被験者がわからないようにするために，各手法から収集した素性を合わせて，意味ソート [7] を行う. そして人手で評価する．意味ソートでは，単語を意味順に並べることができる。似たような意味を持つ単語を近くに配置することで，手作業によるチェックを効率的に行うことができる. 表 4 と表 5 に有益性評価の例を示す.

Word2vec は全部の新聞データを学習する。提案手法と比較するために使用される.
- 手順 1 : 各手法 (最大エントロピー法, BERT, SVM, 符号検定, 区間推定, Word2vec) の素性分析の上位 100 個を取り出す.

-手順 2 : 手順 1 で得られた素性をすべて合わせて，意味ソートを行う。

-手順 3 : 被験者がどの手法によりその素性が得られたかを知らない状況で評価する。

評価基準は以下で示す.
表 4 「健康」の有益性評価の例

表 5 「病気」の有益性評価の例

表 6 機械学習手法の正解率

 & 0.9118 & 0.9463 & 0.9599 \\

・○: テーマキーワードの関連語であり, 被験者はこの素性に興味を持ち，被験者が役に立つと思う単語.

・ $\triangle$ : テーマキーワードの関連語であり, 被験者はこの素性に興味を持たず，被験者が役に立たないと思う単語.

・×: テーマキーワードの関連語でない，または単語の意味がわからない.

## 5 評価結果

表 6 は，新聞記事のテストデータでの機械学習手法の正解率を示している．表のように，BERT は，他の機械学習手法よりも正解率が高く, 平均正解率は 0.9297 であった。

表 7 は, 4.2 節の評価の全てのテーマキーワード対の平均である. Word $2 \mathrm{vec}$ 自動評価は，各手法で取り出した単語数は 500 個なので，一致の数を 500 で割った比率で表示する。統計的手法が機械学習手法よりも優れていることがわかる. 平均一致率は 0.126 であった。機械学習の結果は, BERT, ME, SVM の順で一致率が高くなった。

表 8 は， 4.3 節の評価結果である. 4 人の被験者がテーマキーワード対に関して連想した語句 30 個と五種類の手法で得た素性各 500 個との一致率を求めた. 人手で連想した単語数は 30 なので, 4 人の一致数の平均を 30 で割った比率で表示した. Word2vec 自動評価の結果と同様に, 統計的手法は機械学習手法を上回った。最も性能が良いのは符号検定であ表 7 関連性評価:Word2vec 自動評価結果

表 8 関連性評価:連想評価結果

 & BERT & 符兵 & 区間| \\

表 9 有益性評価結果

 \\

り, 平均一致率は 0.344 である.

表 9 は 4.4 節の有益性評価の評価結果である. 提案手法と Word2vec から各手法の評価の高い 100 個の単語を取り出し，1 つのテーマキーワード対で 1,200 個の単語 $(100 \times 2$ 単語 $\times 6$ 手法) が評価される. 被験者がどの手法によりその素性が得られたかを知らない状況で評価する。この評価の被験者は一人である．表 9 では，○は，被験者が有用と考える単語の比率である。また， $+\triangle$ は，被験者がテー マキーワード対に関連すると考えた単語の比率である. 5 つのテーマキーワード対で 1 つの手法で取り出す単語の総数は 1,000 個なので, 表 9 では 1,000 で割った比率で表示される. 有益性評価の結果は,全ての新聞を訓練した Word2 vec が最も評価が高く,平均の比率は 0.594 である. 提案手法の中で一番良い手法は BERT で平均の比率は 0.444 となった.今後の課題として被験者を増やしたい。

## 6 おわりに

本研究では, 3 つの教師あり機械学習法と, 2 つの統計手法を用い，新聞データからテーマキーワー ド対の情報を収集し，関連性評価と有益性評価をする. 関連性の評価では，符号検定が最も良い性能であり，性能は 0.344 であった。 3 つの単語を連想したときに一つを推測できる割合である。また，より精度を高めるために，手法を組み合わせることは今後の課題としたい，有益性評価では，Word2vec が最も評価が高く, 平均の比率は 0.594 である. 有益性については，提案手法の中で最も評価が高かったのは BERT で, 有用単語の比率は 0.444 である. 有用単語の比率を増やす改良は，今後の課題としたい。

## 参考文献

[1] 村田真樹, 中原裕人, 馬青. パターンと教師あり機械学習と素性分析を利用したウェブと新聞か

らの株式相場に関わる知見獲得. 第 82 回全国大会講演論文集, Vol. 2020, No. 1, pp. 55-56, feb 2020.

[2] Johan Bollen, Huina Mao, and Xiaojun Zeng. Twitter mood predicts the stock market. Journal of Сотриtational Science, Vol. 2, No. 1, pp. 1-8, 2011.

[3] 鎌倉周平. 機械学習と統計的検定を利用した知見獲得の評価実験. 鳥取大学卒業研究発表会論文, 2020 .

[4] Masaki Murata, Kiyotaka Uchimoto, Masao Utiyama, Qing Ma, Ryo Nishimura, Yasuhiko Watanabe, Kouichi Doi, and Kentaro Torisawa. Using the maximum entropy method for natural language processing: Category estimation, feature extraction, and error correction. Cognitive Computation, Vol. 2, pp. 272-279, 2010 .

[5] 村田真樹. 機械学習手法を用いた日本語格解析 : 教師信号借用型と非借用型, さらには併用型.電子情報通信学会技術研究報告. NLC, 言語理解とコミュニケーション, Vol. 101, No. 190, pp. 15-22, jul 2001.

[6] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: pre-training of deep bidirectional transformers for language understanding. CoRR, Vol. abs/1810.04805, , 2018.

[7] 村田真樹, 神崎享子, 内元清貴, 馬青, 井佐原均.意味ソート $\mathrm{m}$ s O r t 意味的並べかえ手法による辞書の構築例とタグつきコーパスの作成例と情報提示システム例:意味的並べかえ手法による辞書の構築例とタグつきコーパスの作成例と情報提示システム例. 自然言語処理, Vol. 7, No. 1, pp. 51-66, 2000.

## A 付録

## A. 1 意味ソート

単語を意味に応じて並べかえるという考え方は， Msort(meaning sort)[7] と呼ばれている.この意味の並べ替えの順番は，単語の羅列を表示する際には 5 0 音順 (もしくは E U C 漢字コード順) ではなく, 単語の意味の順番に表示する。

単語を意味ソートすると，単語に対して意味的な順番で分類する．意味ソートで採用した分類は分類語彙表 (国立国語研究所 1964) に基づいている。動物，人間，組織，植物，生物の部分，自然物，生産

表 10 意味ソートの例

表 11 Word2vec を用いた自動評価

物, 空間, 現象名詞, 動作, 精神, 性質, 関係，言語作品, その他, 時間と数量の分類があり, 全部で 17 種類の分類である．表 10 に意味ソートの例を示す.

## A. 2 評価結果

表 11 は，4.2 節の Word2vec 自動評価の結果である. 表 7 に同様の表があるが，表 7 と違ってテー マキーワードごとの数值結果も表示している. Word2vec 自動評価は, 各手法で取り出し単語数は 500 個なので，一致の数を 500 で割った比率で表示される.

表 12 は， 4.3 節の連想評価の結果である. 表 8 に同様の表があるが，表 8 と違ってテーマキーワードごとの数值結果も表示している. 人手で連想した単語数は 30 なので， 4 人の一致数平均を 30 で割った比率で表示.

表 13 は，4.4 節の有益性評価の結果である．表 9 に同様の表があるが，表 9 と違ってテーマキー ワードごとの数值結果も表示している。提案手法と Word2vec から各手法の類似度の高い 100 個の単語を取り出すので，テーマキーワード対の数を 100 で割った比率で表示する。手法の平均数は 1,000 (100 $\times 10$ 単語) で割った比率で表示する.
表 12 連想評価結果

 \\

表 13 有益性評価結果

 \\


# シフト付き絶対位置埋め込み

$\diamond$ 理化学研究所 ・東北大学 ${ }^{\triangleright}$ 株式会社 Preferred Networks
}

shun.kiyono@riken.jp, sosk@preferred.jp, \{jun.suzuki, inui\}@tohoku.ac.jp
## 概要

本研究は Transformer における位置表現の改良に取り組む。既存の位置表現のうち, シフト不変性を持つ手法が高い性能を発揮することに着目し，シフ卜付き絶対位置埋め込み（SHAPE）の効果を検証する. SHAPE の根幹となるアイデアは, 学習中に絶対位置を乱数値でシフトさせることで，シフト不変性をモデルに取り入れることである。 既存のシフト不変である位置表現と比較して, SHAPE は同等の性能を達成しつつ，より高速に動作することを示す. ${ }^{1)}$

## 1 はじめに

Transformer[1] に基づく符号化復号化モデル （Encoder-Decoder）において，位置表現はモデルが系列中のトークンの順序を認識するために導入されている。位置表現は, 絶対位置埋め込み（Absolute Position Embedding; APE）[2,1] と相対位置埋め込み （Relative Position Embedding; RPE）[3] の 2 種類に大別される [4]. APE では, 各位置ごとの専用の埋め込みと単語埋め込みとの和によって位置を表現する。一方で RPE は，2つのトークン間の相対的な距離を用いて，注意機構内部で位置を表現する。

系列変換タスクにおいて，RPE は APE を上回る外挿性能 2$)$ を発揮することが知られている $[5,6]$. その要因は，RPE の持つ性質であるシフト不変性であることが報告されている [7]. ここでシフト不変性とは，ある関数において入力の位置シフトが関数の出力に影響しない性質を指す。しかし, RPE は注意機構に依存する形で定式化されているため, 注意機構自体の改善を試みる方法論との組み合わせが困難である。そのため本研究では，APE にシフト不変性を取り入れることを試みる。

絶対位置にシフト不変性を取り入れるために，画像認識 [8] や NLP における質問応答 [9] 等では, 訓

図 1 本研究で取り扱う位置表現の概要図練中に入力系列の位置を乱数値でシフトさせるという方法が用いられてきた。同様に APE においても，乱数値によるシフトをおこなうことで，絶対位置の代わりに相対位置を活用した学習を Transformer に強制できると期待できるが，その有効性はまだ検証されていない。そこで我々はこのシフト操作をシフト付き絶対位置埋め込み（Shifted Absolute Position Embedding; SHAPE）として定式化し，その効果を検証する．実験では，SHAPE を用いた Transformer がシフト不変性を獲得できること，また，機械翻訳久スクで SHAPE が RPE と同等の性能を達成できることを示す.

## 2 Transformer における位置表現

図 1 に本研究で取り扱う位置表現を示す。以降,入力系列 $\boldsymbol{X}$ と出力系列 $\boldsymbol{Y}$ を，それぞれ $I$ トークンと $J$ トークンからなる系列 $\boldsymbol{X}=\left(x_{1}, \ldots, x_{I}\right)$ と $\boldsymbol{Y}=\left(y_{1}, \ldots, y_{J}\right)$ として表す.

## 2.1 絶対位置埋め込み（APE）

APE では各位置に対して専用の位置埋め込みを用いる. 具体的には，各トークン $x_{i} \in \boldsymbol{X}$ と $y_{j} \in \boldsymbol{Y}$ について，対応する位置埋め込みと単語埋め込みとの和によって位置を表現する（図 1a）。

Transformer において APE には Sinusoidal 位置符号化 [1] が典型的に用いられる。ここで $i$ 番目のトー

クンの第 $m$ 次元の值 $\mathrm{PE}(i, m)$ は

$
\operatorname{PE}(i, m)= \begin{cases}\sin \left(\frac{i}{10000 \frac{2 m}{D}}\right) & m \text { が偶数 } \\ \cos \left(\frac{i}{10000 \frac{2 m}{D}}\right) & m \text { が奇数 }\end{cases}
$

として定義され, $D$ はモデルの次元数を表す.

## 2.2 相対位置埋め込み（RPE）

RPE[3] では，各トークン間の相対距離を Transformer の注意機構の特徴量として用いることで位置を表現する（図 $1 \mathrm{~b}$ ). 例えば, Shaw ら [3] は $i$ 番目と $j$ 番目のトークン間の相対距離を, 埋め込み $\boldsymbol{a}_{i-j}^{\text {Key }}, \boldsymbol{a}_{i-j}^{\text {Value }} \in \mathbb{R}^{D}$ によって表現している.これらの埋め込みは, 注意機構における Key と Value 表現にそれぞれ足し合わされる.

RPE の演算はシフト不変性を持つことから，訓練データの分布外の長さの系列に対して, APE の性能を上回ることが報告されている $[6,5,7]$. しかし，注意機構を用いて位置を表現する都合上，RPE は APE よりも計算コストが大きい3)。また, RPE は注意機構の改変を伴うため, 注意機構自体の軽量化を試みる方法論 $[10,11]$ との組み合わせが困難である.

## 2.3 シフト付き絶対位置埋め込み (SHAPE)

本研究では, Transformerにおいてシフト不変性を実現するための方法の一つとして, SHAPE（図 1c) の効果を検証する．RPE の課題を踏まえ, SHAPE では Transformer の注意機構の改変を回避しつつ, APE と同等の計算コストの実現を目指す. 訓練中, SHAPE は入出力系列の各位置インデックスを, 乱数から生成したオフセットでシフトさせる.このシフト操作は, 絶対位置の代わりに相対位置を利用した学習をモデルに強制することに相当する. その結果, モデルがシフト不変性を持つ関数を学習すると期待できる.

いま，離散一様分布 $U\{0, K\}$ からサンプルしたオフセットを $k$ で表す.ここで， $K$ は最大オフセット幅であり, $k$ はエポックごとに各系列について独立にサンプルされる. SHAPE は PE $(i, m)$ （式 1 ）を次式で置き換えることで実現できる.

$
\mathrm{PE}(i+k, m)
$

SHAPE は APE を用いる任意のモデルに適用可能である. また, シフト操作は非常に軽量であるた
^{3}$ Narang ら [5] は, RPE は APE よりも最大で $25 \%$ 遅いことを報告している.
}

め, SHAPE は APE と同等の速度で動作すると期待できる. 今回, $k$ は入力系列と出力系列について独立にサンプルした.ここで, 仮に $K=0$ とすると SHAPE は APE に帰着することに注意されたい4).

## 3 実験

実験では，機械翻訳タスクを題材として，SHAPE を組み合わせた Transformer がシフト不変性を獲得することを確認する（第 3.2 節）。その後, SHAPE の性能を既存の位置表現と比較する (第 3.3 節).

## 3.1 実験設定

データセットWMT2016 英独データセットを訓練データとして用いた.トークン化やサブワード化 [12] 処理は先行研究の設定に従った [13]. 開発セットと評価セットとして，それぞれ newstest2010-2013 と newstest2014-2016を用いた。

実験には，以下の 3 つの設定を用いた：

(i) VANILLA 先行研究 $[1,13]$ と同等の設定である.

(ii) ExtrapOLATE シフト不変性を持つモデルは,外挿性能の観点で評価することが一般的である $[7,14]$. 我々は, 先行研究 [6] に従い, VANILLA の訓練データから入力系列か出力系列のサブワード長が 50 を超えるような系列対を取り除き，新たに訓練データを作成した。また, 開発セットと評価セットにはVANILLA と同じものを用いた。

(iii) INTERPOLATE 今回, 我々は各モデルを内挿性能の観点でも評価することを試みる。ここで，内挿性能を, 訓練中に観測した長さの系列に関して汎化する能力として定義する. 本研究では, この内挿性能を長い系列を用いて評価するが，その理由は以下の通りである.

長い系列を含むようなデータセットでは，各トー クンが各位置に関して䟱な形で分布する（位置のスパースネス問題).つまり, 開発セットや評価セットにおいて，系列中のある位置に登場するトークンは，訓練データ中で同じ位置にほとんど登場しないと考えられる。このとき, 絶対位置を用いる場合はトークンと位置の組み合わせに対する過学習が生じると考えられるが，シフト不変性を持つ位置表現はこの過学習を抑制できる可能性がある.

本研究では, 対訳データに含まれる独立した系列を結合することで, 長い系列を人工的に作成した。具体的には，VANILLAに含まれる隣り合う系列

表 1 INTERPOLATE の訓練データよりサンプリングした 1 万系列対で計測した BLEUスコア

図 2 各オフセット $k \in\{0,100,250,500\}$ を用いて計算した符号化器の隠れ層間の類似度

$X_{1}, \ldots, X_{10}$ と $Y_{1}, \ldots, Y_{10}$ を, 専用のトークン $\langle$ sep $\rangle$ を用いて結合した. 開発セットと評価セットにも同じ処理を加えてデータを作成した。

モデル Transformer-base[1]に, APE, SHAPE とRPE を組み合わせて実験をおこなった. APE と RPE にはそれぞれ Sinusoidal 符号化と Shaw ら [3] の手法を用いた。実装には OpenNMT-py[15] を用いた。 SHAPE の最大オフセット $K$ は 500 , RPE の最大相対距離は先行研究 $[3,6]$ に従い 16 とした. 各モデルの性能は sacreBLEU[16] による detokenized BLEU で評価した5).

## 3.2 実験 $1 ：$ シフト不変性の確認

本実験では, SHAPEがシフト不変性を獲得していることを INTERPOLATE 上で訓練した APE と SHAPE を用いて，定量的・定性的な観点で検証する。

定量評価：訓練データ上の BLEUスコア本実験では系列間の順序に対するモデルの頑健性を評価する. 具体的には, INTERPOLATE の訓練データからサンプルした 1 万系列対を用いて，系列間で順序を入れ替えた場合と, 入れ替えなかった場合の性能を比較する．訓練データを用いるのは，未知の系列による影響を除外し, 系列間の順番の影響のみを対象とした評価をおこなうためである。

評価手順は次のとおりである. まず，元の系列 Original $\left(X_{1}, \ldots, X_{10}\right)$ から, 先頭の系列を末尾に移動させて, 系列 Swapped $\left(\boldsymbol{X}_{2}, \ldots, \boldsymbol{X}_{10}, \boldsymbol{X}_{1}\right)$ を作成する. 次に Original と Swapped を訓練済みのモデルでデコードし，それぞれ $\boldsymbol{Y}_{1}^{\prime}, \ldots, \boldsymbol{Y}_{10}^{\prime}$ と $\boldsymbol{Y}_{2}^{\prime}, \ldots, \boldsymbol{Y}_{10}^{\prime}, \boldsymbol{Y}_{1}^{\prime}$ を得る。最後に， $Y_{1}^{\prime}$ の BLEU スコアを評価する。

実験結果を表 1 に示した。ここで, Original から Swapped への性能の減少幅は, SHAPE の方が APE
$ に示した.
}

表 2 各位置表現の BLEUスコア :†: 5 つの乱数シードの平均値. *: 訓練不能であったため, 值を掲載していない.相対速度は APE からの相対速度を表す。

よりも小さいことから，SHAPE がシフト不変性を獲得していることが示唆される.

定性評価：隠れ層の類似度本実験では, SHAPE がシフト不変性を獲得していることを定性的に確認する. 図 2 はオフセット $k$ がAPE と SHAPE を用いた訓練済みモデルの隠れ層に与える影響を表す。具体的には, 入力系列 $X$ について, 各オフセット $k \in\{0,100,250,500\}$ を用いて訓練済みモデルの符号化器から隠れ層を計算した. その後, 異なるオフセットから計算した隠れ層 $\boldsymbol{h}_{i}^{k_{1}}, \boldsymbol{h}_{i}^{k_{2}} \in \mathbb{R}^{D}$ について, コサイン類似度（sim）を計算し，位置方向に平均を求めた. つまり, $\frac{1}{I} \sum_{i=1}^{I} \operatorname{sim}\left(\boldsymbol{h}_{i}^{k_{1}}, \boldsymbol{h}_{i}^{k_{2}}\right)$ である.

図 2 より, SHAPE の符号化器はシフト不変性を獲得できているとわかる.これは SHAPE において， オフセット $k$ によらず，類似度がほぼ 1.0 に張り付いているためである. ここで，APE の類似度が同様の傾向を示さないことから，シフト不変性は自明に獲得可能な性質ではないと確認できる.

## 3.3 実験 2 : 位置表現間の性能比較

各位置表現の性能を評価した結果を表 2 に示した.また, APEからの性能向上幅を入力系列の長さ別に図示した結果を図 3 に示した.

VANILLAの結果 3 つのモデル全てがほとんど同等の性能を示した. APE がRPE と同等の性能を示すという結果は既存研究の知見 [3] とは一致しないものの, これは実験に使った実装の違いによるものだと考えられる．実際，Transformer の改良に関する知見は，特定の実装に依存することが多い旨が Narang らによって報告されている [5].

ExtRAPOLATE の結果評価セットにおいて, RPE の性能（29.86）が APE（29.22）を上回った。また, SHAPE がRPE と同等の性能を達成した (29.80). 図
(a) データセット: Extrapolate

(b) データセット: Interpolate

図 3 APE からの BLEU スコアの向上幅 : 開発セットと評価セットを用いた. 灰色の背景色は対応する長さの系列が訓練データ中に存在しないことを示す.

$3 \mathrm{a}$ より,この性能向上は, 訓練データよりも長い系列（外挿）によるものだとわかる。つまり，RPE と SHAPE は APE の外挿性能を改善できている.

また, 図 $3 \mathrm{a}$ には, SHAPE の最大オフセット $K$ を開発セット上で調整した結果を示した. $K=40$ としたときに，開発セットと評価セットの性能はそれぞれ 23.12 と 29.86 となり, RPE を上回ったことから, SHAPE はRPE よりも良い位置表現となりえる.

INTERPOLATE の結果 RPEの学習には著しく時間がかかってしまい, 現実的な時間で訓練を終えることができなかったため, 值を載せていない6). 本デー タにおいても，評価セット上で SHAPE（39.09）は APE（38.23）を上回る性能を示した. 図 $3 b$ より, SHAPE は入力系列の長さに依存せず，一貫して性能向上を果たしている.この結果から, SHAPE は Transformer の内挿性能も改善できるとわかる.

## 4 分析

図 3 において, SHAPE はAPE を BLEU スコアで上回った. しかし, BLEU スコアでは (1) N-gramに基づく参照訳との一致率と (2) Brevity Penalty による出力系列の長さを同時に評価しているため, 出力がどの側面で改善したのかは明らかではない. そこで本節では, 前者の一致率に着目するため, 参照訳を用いてトークン単位のスコアを計算し，モデル間の比較をおこなった. 具体的には, 系列のペア $(\boldsymbol{X}, \boldsymbol{Y})$ に対して，訓練済みモデルを用いてスコア（負の対数尤度） $s_{j}$ を各正解トークン $y_{j}$ について計算し
^{6)}$ RPE を INTERPOLATE 上で動かした場合, パラメータの更新が APE やSHAPE と比較して 20 倍程度低速だった。
}

(a) データセット: Extrapolate

(b) データセット: Interpolate

 &  & $401-500$ & 501- \\

図 4 参照訳を用いたトークン単位の分析 : 各セルの値は, 正解トークンに対して SHAPE が APE よりも高いスコア（負の対数尤度）を付与できた割合を表す.

た7). ここで，モデルは正解トークンにより高いスコアを付与することが望ましい. 図 4 は，正解トー クンに対して SHAPE が APE よりも高いスコアを付与した割合を, 復号化器の位置別に図示した結果を表す.この分析には開発セットを用いた.

EXTRAPOLATE : SHAPE はトークンの一致率の向上に寄与図 $4 \mathrm{a}$ の右側（訓練データよりも長い系列）において, SHAPEがAPE を大きく上回っている.この結果から, SHAPE が外挿における N-gram の一致率の向上に貢献していることが示唆される.

INTERPOLATE : SHAPE は低頻度語の予測に有効図 4bに示した通り, SHAPE の性能が APE を一貫して上回った。モデル間の性能差は図の下部，つまり低頻度語に対応する箇所において特に顕著である．訓練中, SHAPE は同じ系列対に対して，エポックごとに異なる位置表現を用いて学習をおこなうが，これは一種のデータ拡張として解釈できる. 先述の位置のスパースネス問題（第3.1 節）は低頻度語において特に生じやすいため, SHAPE によるデータ拡張が効果的であったと考えられる。

## 5 おわりに

本研究では APE の簡単な亜種である SHAPE の調査をおこなった. 実験では, SHAPE がRPE と同等の性能を発揮しつつ, APE と同等の速度で動作することを示した. SHAPE は数行で実装可能であるため，既存の実装に簡単に導入できる。故に，SHAPE は APE とRPEの代替手法となりえると期待できる.

## 謝辞

本研究の一部 (基礎研究) は JST ムーンショット JPMJMS2011 の助成を受けたものです.

## 参考文献

[1] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, and Illia Polosukhin. Attention Is All You Need. In Advances in Neural Information Processing Systems 30 (NIPS 2017), pp. 5998-6008, 2017.

[2] Jonas Gehring, Michael Auli, David Grangier, Denis Yarats, and Yann N. Dauphin. Convolutional Sequence to Sequence Learning. In Proceedings of the 34th International Conference on Machine Learning (ICML 2017), pp. 1243-1252, 2017.

[3] Peter Shaw, Jakob Uszkoreit, and Ashish Vaswani. SelfAttention with Relative Position Representations. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers) (NAACL 2018), pp. 464-468, 2018.

[4] Philipp Dufter, Martin Schmitt, and Hinrich Schütze. Position Information in Transformers: An Overview. arXiv preprint arXiv:2102.11090, 2021.

[5] Sharan Narang, Hyung Won Chung, Yi Tay, William Fedus, Thibault Fevry, Michael Matena, Karishma Malkan, Noah Fiedel, Noam Shazeer, Zhenzhong Lan, et al. Do Transformer Modifications Transfer Across Implementations and Applications? arXiv preprint arXiv:2102.11972, 2021 .

[6] Masato Neishi and Naoki Yoshinaga. On the Relation between Position Information and Sentence Length in Neural Machine Translation. In Proceedings of the 23rd Conference on Computational Natural Language Learning (CoNLL 2019), pp. 328-338, 2019.

[7] Benyou Wang, Lifeng Shang, Christina Lioma, Xin Jiang, Hao Yang, Qun Liu, and Jakob Grue Simonsen. On Position Embeddings in BERT. In Proceedings of the 9th International Conference on Learning Representations (ICLR 2021), 2021.

[8] Ian Goodfellow, Yoshua Bengio, and Aaron Courville. Deep Learning, chapter 7.4, pp. 233-234. MIT Press, 2016. http://www. deeplearningbook.org.

[9] Mor Geva, Ankit Gupta, and Jonathan Berant. Injecting Numerical Reasoning Skills into Language Models. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (ACL 2020), pp. 946-958, 2020.

[10] Nikita Kitaev, Łukasz Kaiser, and Anselm Levskaya. Reformer: The Efficient Transformer. In Proceedings of the 8th International Conference on Learning Representations (ICLR 2020), 2020.

[11] Yi Tay, Mostafa Dehghani, Dara Bahri, and Donald Metzler. Efficient Transformers: A Survey. arXiv preprint arXiv:2009.06732, 2020.

[12] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neu- ral Machine Translation of Rare Words with Subword Units. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (ACL 2016), pp. 1715-1725, 2016.

[13] Myle Ott, Sergey Edunov, David Grangier, and Michael Auli. Scaling Neural Machine Translation. In Proceedings of the Third Conference on Machine Translation (WMT 2018), pp. 1-9, 2018.

[14] Benjamin Newman, John Hewitt, Percy Liang, and Christopher D. Manning. The EOS Decision and Length Extrapolation. In Proceedings of the Third BlackboxNLP Workshop on Analyzing and Interpreting Neural Networks for NLP (BlackboxNLP 2020), pp. 276-291, 2020.

[15] Guillaume Klein, Yoon Kim, Yuntian Deng, Jean Senellart, and Alexander Rush. OpenNMT: Open-Source Toolkit for Neural Machine Translation. In Proceedings of ACL 2017, System Demonstrations (ACL 2017), pp. 67-72, 2017.

[16] Matt Post. A Call for Clarity in Reporting BLEU Scores. In Proceedings of the Third Conference on Machine Translation: Research Papers (WMT 2018), pp. 186191, 2018.

[17] Christian Szegedy, Vincent Vanhoucke, Sergey Ioffe, Jon Shlens, and Zbigniew Wojna. Rethinking the Inception Architecture for Computer Vision. In 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR 2016), pp. 2818-2826, 2016.

## A ハイパーパラメータ

表 3 ハイパーパラメータの一覧.

 &  \\

## B 各 newstest の BLEU スコア

表 4 に各モデルを newstest2010-2016を用いて評価した結果を示す8)9).

表 4 newstest2010-2016 上の BLEU スコア : 平均は全 newstest のマクロ平均值を示す. † : 5 つの乱数シードの平均値. * : 訓練不能であったため，值を掲載していない。相対速度は APE からの相対速度を表す.

^{8)}$ VANILLA と ExTRAPOLATE の評価における sacreBLEU のハッシュ : BLEU+case.mixed+lang.en-de+numrefs. $1+$ smooth. exp +test.wmt $\{10,11,12,13,14 /$ full,15,16\}+tok.13a+version.1.5.0.

 }^{9)}$ INTERPOLATE の評価における sacreBLEU のハッシュ：BLEU+case.mixed+numrefs.1+smooth.exp+tok.13a+version.1.5.0（開発セットと評価セットも訓練データと同様の結合処理を加えているため, sacreBLEU 内部の参照訳の代わりに手動で参照訳を与えている．詳細については第 3.1 節の説明を参照されたい. )