# 日本語 BERT を用いた単語の用例の分野別分析ツールの開発

凌志棟 相田太一 金輝燦 岡照晃 小林千真 小町守
東京都立大学
\{ling-zhidong, aida-taichi, kim-hwichan, kobayashi-kazuma1\}@ed.tmu.ac.jp
\{teruaki-oka,komachi\}@tmu.ac.jp

## 概要

「保守 (maintenance vs conservative)」のように同じ 字面でも媒体によって意味が変わる単語がある。こ うした単語の使用実態を調査する場合、用例を集 め、分野別に分け、最後に分析を実施する。しかし 大規模な分析調査となると、必要な時間や人件費が 膨大になる。そのため検索システムや分析手法の開発など、計算機による研究支援の発展が期待されて いる。本研究では、日本語を対象とし、文脈を考慮 した単語ベクトルで用例をクラスタリング、プロッ トする可視化ツールを作成した。単語が大力される と、現代日本語書き言葉均衡コーパスでの用例を集 めてクラスタリングし、そのクラスタとコーパスに 付与されている分野情報を合わせて 2 次元にプロッ トする。コーパス中の単語はすべて NWJC-BERT で ベクトル化してあり、クラスタリングとプロットに 使用される。また各プロット点からその用例を見る ことも可能である。最後にこの可視化ツールが用例分析にどのように役立つのか、ケーススタディを紹介する。

## 1 はじめに

コーパス使った大規模な用例分析が言語学の研究で盛んになっている。久屋 [1] は外来語「ケース」 を対象に、書き手の生年代、学歴や媒体が用法の違 いに与える影響について統計分析を行なっている。 その結果、前述の要因が外来語の生起に影響をもた らすことがわかった。また呉 [2] は「足を洗う」と いう表現の用例を分析した。その結果、分野特有の 文脈語と共起することで意味の異なりが起きる傾向 を明らかにした。久屋 [1] や呉 [2] のように分野間 で用例を比較・分析することで、共時的分布を明ら かにし、その単語の意味や用法に違いが生まれる要因を特定することができる。こうした研究は従来人手で行われてきたため、計算機を用いたコーパス分析への期待は大きい。

国立国語研究所が公開しているコーパス検索シス テム「中納言 $\left.{ }^{11}\right.\rfloor を$ 用いることで、現代語に限らず、古文、方言、学習者の書いた文の大規模な用例検索 と収集は可能である。しかし中納言は検索機能しか 提供していないため、用例に対する分析や統計的処理は研究者自身が人手で行う必要がある。このため 実際に用例を統計的に分析し終えるまで対象単語が 分析の対象として適切かどうかは判断できない。

そこで本研究では、調査対象となる単語（以下、対象単語）の分野別用例調査を効率化する可視化 ツールを開発した。このツールを使うことで、対象単語の分野間で起こる用法の差異をより視覚的に 捉えることができる。具体的には、幅広い分野を力 バーした現代日本語書き言葉均衡コーパス（以下、 BCCWJ）[3] の各文に対し、BERT [4] の単語べクト ルを用いた語義変化検出の手法 [5] を適用すること で、単語の用例の違いの可視化を実現した。この ツールによって、用例分析前に対象単語が研究対象としてそもそも適切かどうか判断が可能になる。本ツールは Google Colaboratory の形式で公開してい る)。

## 2 関連研究

## 2.1 BERT を用いた語義変化検出

Giulianelli ら [5] は文脈を考慮した単語ベクトルを 用い、単語の通時的な教師なし語義変化検出手法を 提案した。年代の異なるコーパスから対象単語の用例を抽出し、BERTに 1 文ずつ入力し、対象単語の ベクトルを獲得する。これらのベクトルに対しクラ スタリングを行い、類似する用例ごとにまとめあげ る。各文に付与された年代情報を用い、時間順に用

1) https://chunagon.ninjal.ac.jp/

2) https://colab.research.google.com/drive/

1M1L531l2oxvX3pGkCzYEQmuBw_mXX9Ee

図 1: 開発したツールの処理フロー。「是非」を例にした場合の可視化の流れ。

例をプロットする。年代ごとのクラスタの割合の推移から、語義の通時変化を検出する。Giulianelli ら [5] の手法は通時的な変化の検出に向けたものであ るが、本研究ではそれを異なる分野間での単語の 用例分析（共時的な差異の分析）に適用した。また BCCWJ 中の文 ${ }^{3}$ には、その文が記述されていた文献のレジスター（ジャンル、言語使用域）が付与さ れている。本稿ではこれを分野情報と呼ぶ。クラス タリングの結果と、BCCWJ 分野情報を合わせて可視化することで、単語の用法 (用例クラスタ) と分野との関係を発見することが可能となる。

## 2.2 BCCWJ の分野情報

BCCWJ は現代日本語の書き言葉の全体像を把握 するために構築された日本語均衡コーパスで、全体 で 1 億 430 万語規模あり、うち人手アノテーション されたコアデータは 100 万語の規模を持つ。実社会 のさまざまなテキストを収集しており、各テキスト には収集元の分野情報が付与されている。BCCWJ に収録されている分野と語数（短単位数）の一覧を 参考情報内の表 1 に示す。本稿で紹介する可視化 ツールでは、対象単語の用例を 2 次元上にプロット するだけでなく、その用例が出現した分野の情報を 確認することができる。

## 3 対象単語の用例分析に向けた可視化ツールの構築

本研究では、BERT のベクトルを利用して、単語 の用法の違いを分野別に可視化するツールを作成し た。本ツールの処理の概要を図 1 に示す。対象単語 を決め、語彙素（辞書の見出し語に相当するもの）

$[6]^{4)}$ の形式でツールに入力する。出現形抽出器は単語の電子化辞書 UniDic を用い、同一語彙素を持つ 出現形を網羅的に抽出する。UniDic は階層的見出し 構造を採用しており、語彙素の下に語形、語形の下 に出現形が保持されている。そのため例えば、動詞「食べる」という語彙素で検索する場合、出現形抽出器は同一語彙素「食べる」を持つ「食べ」、「食べ よ」「「たべ」...を抽出する。抽出した出現形すべて で BCCWJ 内の文を検索し、それらを含む文を分野情報とともに抽出する（重複排除）。抽出された文 を 1 文ずつ BERT に入力し、対象単語のベクトルを 獲得する。ベクトルを Kmeans 法でクラスタリング し、対応する用例、クラスタ番号、BCCWJ の分野を 付与した上で、2 次元に描画する。

BERT には NWJC-BERT ${ }^{5}$ を使用する。NWJCBERT は「国語研日本語ウェブコーパス」(NWJC) により事前学習した BERT モデルである。広く利用されている東北大 BERT $\left.^{6}\right)$ と異なり、NWJC-BERT は単語をサブワード化しない。対象単語がサブワー ド化されると、単語がより小さいトークンに分割 され、単語ベクトルを獲得するためには、各トー クンのベクトルを再度、ベクトル演算によって結合する必要がある。一方 NWJC-BERT では、語彙に UniDic の語彙素を収録しているため、対象単語が 必要以上に分割される心配がない。したがって、 NWJC-BERT を利用することでツールの処理が容易 になる。

クラスタリング手法は Giulianelli らの研究と同じ く Kmeans ${ }^{7)}$ を使用する。単語べクトル集合に対し

4） BCCWJ, UniDic で lemma と呼ばれる要素。

5) https://www.gsk.or.jp/catalog/gsk2020-e/

6) https://github.com/cl-tohoku/bert-japanese

7) https://scikit-learn.org/stable/modules/generated/

(a) 色でクラスタを区別した「保守」のグラフ

(b) 色でクラスタを区別した「是非」のグラフ

図 2: 作成したツールで各対象単語に対して用例ごとにクラスタリングを行った結果

図 3: 可視化ツールの凡例の見方

て、クラスタ数を 2 から 10 まで Kmeans を行い、シ ルエットスコアが最大となるクラスタ数での結果を 採用する。類似度計算にはユークリッド距離を使用 する。

## 4 可視化ツールを用いたケーススタ

## デイ

この可視化ツールを用いて単語「保守」と「是非」 に対し分析を行なった。用例抽出の対象は BCCWJ コアデータを使用した。対象単語のベクトルを可視化する際に、scikit-learn の TSNE ${ }^{8)}$ を用いて 768 次元のベクトルを 2 次元に次元圧縮を行なった。図 $2 a 、 2 b$ に単語「保守」と「是非」に対して本ツール を用いた可視化結果を示す。出力された図の凡例の 見方は図 3 に示す。

ケーススタディ 1 「保守」図 2aに「保守」とい う単語の用例に対するクラスタリングの結果を示 す。コトバンク辞書と見比べた時、Kmeans による クラスタリングの結果はクラスタ 0（青）が「正常 の状態を保つ」[7] という意味での用例、クラスタ 1（赤）が「旧習・伝統を守る」[7] という意味の用例であった。また各用例には BCCWJ 由来の分野情

sklearn. cluster. KMeans. html

8) https://scikit-learn.org/stable/modules/generated/ sklearn.manifold.TSNE.html報が付与されている。クラスタ 1（赤）「旧習・伝統 を守る」に含まれる用例の出典分野の割合を図 $4 \mathrm{a}$ に示す。これを見ると「旧習・伝統を守る」という 意味での「保守」は新聞分野での用例が全体のおよ そ 90 \%を占めることがわかる。これに対し図 $4 \mathrm{~b}$ に はクラスタ 0 (赤)「正常の状態を保つ」に含まれる 用例の出典割合を示した。この意味での使用は新聞 やブログなどの複数の分野で出現した上、それぞれ の分野でほぼ同じ割合を占めている。そのため「保守」という単語は「正常の状態を保つ」という意味 で幅広く使われていることが分かった。プロットか らは直接用例を確認できるため、用例文を詳しく見 ていくと「保守派」「保守党」という政治関連での出現が多いことが分かった。

ケーススタディ 2 「是非」 図 $2 b$ に是非」と いう単語の用例に対するクラスタリングの結果を 示す。コトバンク辞書と見比べた時、Kmeansによ るクラスタリングの結果はクラスタ 0（青）が「ぜ ひとも」という意味の用例、クラスタ 1 （赤）はほ とんど「是非を問う」という意味の用例であった。 ケーススタディ 1 と同様に、BCCWJ 由来の分野情報と比較するため、図 5a にクラスタ 0（青）「ぜひ とも」に含まれる用例の出典分野の割合を示す。こ れを見ると「ぜひとも」という表現は、口語的な場

(a)クラスタ 0 に属する用例の各分野の割合

(b) クラスタ 1 に属する用例の各分野の割合

図 4:「保守」のクラスタリング結果の内訳に対する調査

(a)クラスタ 0 に属する用例の各分野の割合

(b) クラスタ 1 に属する用例の各分野の割合

図 5: 「是非」のクラスタリング結果の内訳に対する調査

面（Yahoo!知恵袋、Yahoo!ブログ）でも書き言葉的 な場面（書籍、新聞、雑誌）でもそれぞれ同程度に 使用されていることがわかる。また、Yahoo!ブログ と Yahoo!知恵袋に属する用例の各意味の使用割合を 調べた結果、「是非を問う」という用例は見つけら れず、「ぜひとも」が 100\%であった。図 5bでは、ク ラスタ 1 (赤)「是非を問う」内の用例の出典分野の 割合を示す。「是非を問う」は新聞での用例が $50 \%$ を占める一方、 $25 \%$ \%が書籍の用例、 $18.8 \%$ \%が白書の 用例であった。新聞・白書・雑誌での言葉使いは書 き言葉の中でも文語体に近く、カジュアルな口語体 で書かれる Yahoo!知恵袋や Yahoo!ブログとの明ら かな差を観察することができる。またプロットされ た各用例を観察したところ、クラスタ 1（赤）「是非 を問う」内に「ぜひとも」の用例が 4 つ含まれてい たことが分かった。そのため、Kmeans による自動 クラスタリングの際に誤分類が起きていることが分 かった。ただしここまで述べてきた考察はいずれも 直観に反するものでない。そのため、クラスタリン グ自体に重大な欠陥があるわけではなく、今後の精度向上を期待するものである。

## 5 おわりに

本研究は分野間で起こる単語の用法の異なりを 可視化し、用例研究を支援可能なツールを開発し た。このツールを用いることで、コストのかかる統計的な用例分析を行う前に、事前に対象単語が研究目的に適しているかどうか是非の検討が可能に なる。今回は Google Colaboratory でデモを公開した が、Google Colaboratory は Python を記述して実行す るためのオンライン環境なので、ツールとしては使 いにくい。そこで今後の課題として、Webアプリの 形式で公開し、クラスタリング以外に分野別の生起率などの情報を可視化しグラフ出力する機能の 追加を検討している。用例に対するクラスタリン グが適切な分類ができていないことも課題である。 NWJC-BERT から得られたベクトルがどの程度クラ スタリングに適しているか調査するとともに、クラ スタリング手法の改善に取り組んでいきたい。

## 参考文献

[1] 久屋愛実. 現代書き言葉における外来語の共時的分布：「ケース」を事例として. 国立国語研究所論集， Vol. 6, pp. 45-65, 2013.

[2] 呉琳. 〈足を洗う〉という表現が語る言語変化コー パスによるアプローチ. 言語文化教育研究学会誌『言語文化教育研究』, Vol. 13, pp. 134-168, 2015.

[3] Kikuo Maekawa, Makoto Yamazaki, Toshinobu Ogiso, Takehiko Maruyama, Hideki Ogura, Wakako Kashino, Hanae Koiso, Masaya Yamaguchi, Makiro Tanaka, and Yasuharu Den. Balanced corpus of contemporary written Japanese. Language Resources and Evaluation, Vol. 48, No. 2, pp. 345-371, 2014.

[4] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[5] Mario Giulianelli, Marco Del Tredici, and Raquel Fernández. Analysing lexical semantic change with contextualised word representations. Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 3960-3973, 2020.

[6] 前川喜久雄（監修）/伝康晴・荻野綱男（編）.講座

日本語コーパス 7 コーパスと辞書. 朝倉書店, 2019.

[7] 保守とは-コトバンク,（2022-1 閲覧）. https: //kotobank.jp/word/\%E4\%BF\%9D\%E5\%AE\%88-629994.

## A 参考情報

## A. 1 分野タグー覧

## A. 2 「出版サブコーパス-新聞」に属する用例の各クラスタの割合

図 6:「出版サブコーパス-新聞」に属する用例の各クラスタの割合

図 6 では、分野情報が新聞に属する「保守」の用例をまず集め、それらが所属するクラスタの割合を示し た。「旧習・伝統を守る」という意味の用例が約 93 \%であり、「正常の状態を保つ」の用例が 7 \%である。前述の結果と合わせると、「旧習・伝統を守る」という意味の「保守」は分野間で比較しても新聞でよく使用さ れ、新聞内でも「正常の状態を保つ」という意味よりも多く利用されていることが示せた。


# BERT を用いた比較法研究における類似条項の対応付け

長 裕樹 ${ }^{1}$ 中村 誠 ${ }^{1}$
1 新潟工科大学 工学部
201811081@cc.niit.ac.jp mnakamur@niit.ac.jp

## 概要

日本法と外国法の類似条項を自動で対応付けする システムは比較法研究において有用である。本研究 の目的は類似条項の対応付けシステムの作成である。本研究では類似条項を発見するために BERT モデル を用いて生成した文書ベクトルの類似度を用いる。本稿では実験により、1.BERT モデルが類似条項の 対応付けに有効であること、2.英訳した法令文でも BERT が有効であること、3.法律ドメインに特化し た BERT モデルである LEGAL-BERT は英訳した日本法令には有効ではない可能性があると考察した。

## 1 はじめに

比較法とは、種々の法体系における法制度又は法 の機能を比較することを目的とする学問である。比較とは(1)比較されるものの間にある類似点と相違点を明らかにする、(2)類似点と相違点の生じる原因を明らかにする。(3)相違点の存する場合は、ど ちらがより優れているか評価することであるとされ ている[1,2]。また、今日最も確固とした法体系を持 つのは国家であるから、比較法は通常国家法相互の 比較を指す[3]。比較法の実務的な効用として、自国法の立法的整備、解釈・適用の改善が挙げられ る。実際に法制審議会において、図 1 のように比較法として日本法と諸外国法の類似条項が提示された 例がある。

比較法研究においては, 日本法と外国法の類似点 を足掛かりとして研究を行う場合がある。このとき 日本法と外国法との類似部分を対応付けたデータを 作成することが考えられる. しかし, 正確な対応付 けには専門的な知識が必要であり, 非常に労力がか かる. このとき自動で対応付けが出来れば, 比較法研究に寄与するとともに，一般にも海外とのビジネ スをする際などに有用である.

類似条項の対応付けに関する研究はすでに行われ ている[4,5]. それらの研究では単語の一致数に着目 L、Jaccard 係数や Dice 係数で条項間の類似度を計

 & Vater eines Kindes ist der Mann, \\

図 1 法制審議会における実際の対応付け 算している。しかし, それらの手法により日本法と 外国法を対応付けたところ、ほとんどの条項間で高 い類似度が得られず対応付けに失敗している。そこ で、それらの代わりに BERT による文書ベクトル を用いることで類義語などを正確にとらえ、より精度の高い類似度の計算ができると考えられる. 本研究の目的は類似条項の対応付けシステムの作成であ り、BERT が有効性を検証するために日本法とその 英訳文を用いた対応付けの実験を行う。

## 2 類似文書検索

本研究の目的である類似条項の対応付けはそれぞ れの条文を 1 つの文書とした類似文書検索と捉えら れる。類似文書検索の手法は文書を単語の集合とし て扱い類似度を計算する方法とニューラルネットワ ークを用いて得られる文書の分散表現から類似度を 計算する方法がある.

## 2.1 集合の類似度

2 つの集合の類似度を表す方法として Jaccard 係数(式(1))がある.

$
\operatorname{Jaccard}(A, B)=\frac{|A \cap B|}{|A \cup B|}
$

類似文書検索においてはそれぞれの文書を単語の 集合とすることで Jaccard 係数を計算することがで きる。しかし, Jaccard 係数は計算が単純である反面, 単語の重要度を考慮していない, 類義語も全く 別の単語としてしまうといった欠点がある.

## 2.2 ベクトルの類似度

ある単語の意味はその周辺単語によって形成され るという，分布仮説[6]に基づき，ニューラルネッ トワーク (NN)によって大量のテキストデータで学習を行うことで，単語の意味をベクトルとして表現 することができる.

例として king-man+woman というべクトル演算を 行うことで queen に近いべクトルを得られることが 知られている.

BERT とは、Jacob Devlin ら[7]により提案された 言語モデルの一つで，多くのNLP タスクにおいて 高い性能を示している. 現在では複数の事前学習済 みモデルが公開されており，ファインチューニング を行うだけで高精度な分類を行うことができる。ま た, 最終層の出力を取り出すことで入力した文書の 各トークンに対する単語ベクトルを得ることができ る.しかし、基本的な BERT モデルは wikipedia な どの一般の文書をコーパスとしているため、医療等 の特定のドメインでは性能が低いことが報告されて いる[8]。法律ドメインにおいては、英語のモデル として LEGAL-BERT モデル[9]が公開されている。

## 3 提案手法

外国法との対応付けを行う流れを図 2 に示す。

1.それぞれの法令を英語に翻訳

2. 条文を 1 文書として BERT に入力

3. 出力の平均を文書ベクトルとする

4. 文書ベクトル間のコサイン類似度を計算

5. コサイン類似度に基づき、条文を対応付け

図 2 対応付けの流れ最初に対応付けにあたり言語を統一するため翻訳 を行う。どちらも英語に翻訳するのは、英訳は翻訳 データが多いことから翻訳精度が高いと考えられる ためである。最後のコサイン類似度による対応付け では、対応する文書がない場合があることを考慮 し、ある 2 つの文書の類似度が双方向で最大となる 場合に対応付けを行うこととする。

## 4 実験

## 4.1 実験の目的

外国法との対応付けを行う場合、正解データの作成が困難であるため、この実験では試験的に日本法令同士の対応付けを行う。ここでは法令の内容が似 ている電気事業法（昭和 39 年法律第 170 号）とガ ス事業法（昭和 29 年法律第 51 号）を取り上げる。類似する条の対応付けに文書ベクトルの類似度を 用いるが、一般の文書と同様に法令文書でも BERT によるベクトル化が有効であるとは限らない。そこ で、実験によって類似条文の対応付けにおける BERT の性能を Jaccard 係数による対応付けとの比較により検証した。また、外国法を対応付ける場合 は英訳した文書を使用する必要があるため、日本法 を英訳したもので対応付けを行い、日本語の場合と 同様に対応付けが行えるかを調べた。さらに、英語 の BERT モデルには法律ドメインに特化した LEGAL-BERT モデルが公開されているため、一般に 使用される BERT-BASE と性能を比較した。

## 4.2 実験手順

実験データの文書を日本語の事前学習済み BERT モデルに入力し、最終層の[CLS]と[PAD]を除く出力を平均したものを文書ベクトルとした。事前学習済みモデルには cl-tohoku/bert-base-japanese-wholeword-masking を利用した。BERT の入力トークン数 は最大の 512 とし、それを超えるトークンは無視し た。異なる法令の文書ベクトル同士のコサイン類似度をすべての組み合わせで計算した。ある文書に対 して最もコサイン類似度が高い文書を参照し、その 文書から見て最も類似度が高くなる文書が元の文書 である場合に、2つの文書を対応付けた。そして、電気事業法とガス事業法の対応付け結果は正解デー タを用いて評価した。

次に、Jaccard 係数を用いた場合と比較するた

め、同じ文書を形態素解析ソフト MeCabによって
単語に分割し、それぞれの文書間の Jaccard 係数を 類似度として対応付けを行った。MeCab の辞書に

は Neologd を使用した。

最後に、BERT による対応付け実験を英訳版の法令で行った。BERT の英語事前学習済みモデルには bert-base-uncased と legal-bert-base-uncased を用い、性能の比較を行った。

## 4.3 実験データ

本実験で使用した法令を表 1 に示す。日本語の法令データは e-Govi、日本法の英語訳デー夕は日本法令外国語訳データベースシステム $(\mathrm{JLT})^{\mathrm{ii}}$ よりそれぞ れ $\mathrm{xml}$ 形式で入手した。JLT の英訳は最新の法令デ 一タではないため、条数や内容の一部が異なる。そ れぞれのファイルから article タグ配下にあるテキス トを抽出して、それぞれを 1 つの文書として扱った。

## 表 1 使用法令

## 4.4 評価方法

電気事業法のガス事業法に対する対応付けの結果 を正解データと比較した。正解データは法律になじ みのない工学部の学部 4 年生と非常勤職員による人手で、複数の条との対応を許可して作成した。正解 データと同じ対応が取れた場合を $\mathrm{TP}$ 、対応しない 条を対応付けた場合を FP、対応がない条を対応付 けなかった場合を TN、対応する条があるが対応が 取れなかった場合を FN として、Accuracy、

Recall、Precision、F 值を算出した。

## 5 結果と考察

## 5.1 実験結果

日本語の電気事業法とガス事業法の対応付けを 評価した結果を表 2、英訳版の電気事業法とガス事業法の対応付けを評価した結果を表 3 に示す。表 2 日本語で対応付けした場合の評価結果

表 3 英語で対応付けした場合の評価結果

## 5.2 考察

## 5. 2. 1 Jaccard 係数と BERT の比較

どちらの手法を用いた場合でもすべての評価指標 において 0.7 を超えるスコアが得られた。2つの手法を比較すると、Jaccard 係数を用いた場合のほう がよりスコアは高くなった。これは電気事業法とガ ス事業法の条文が単語単位で類似しているためだと 考えられる。しかし、予備実験で Jaccard 係数を用 いた手法によって条項単位で日本法とドイツ法を対応付けたが、良い結果が得られなかった。これは内容が類似していても使用される単語が異なっている ためであると考えられ、NNを用いて得られた文書 ベクトルの類似度を用いた場合には意味の近い条項 を対応付けることができると考えられる。

## 5. 2.2 英訳版での対応付け精度

英訳したデータを対応付けた場合、どちらの BERT モデルによる対応付けでも日本語の場合と同程度のスコアが得られた。このことから、実際に日本法と外国法を対応付ける場合にも、英語の BERT モデルを用いることで双方を英語に翻訳してから対応付けを行うことができると考えられる。

また、BERT-BASE と LEGAL-BERT を比較する と、Recall は LEGAL-BERT、それ以外は BERTBASE のほうが高くなった。LEGAL-BERT は法律 ドメインに特化したモデルであるが、学習に用いた のは EU 法やイギリス法、US の契約文書等の英語 の法的文書のみであり、日本の法令データは学習に 使われていないためであると考えられる。
^{i}$ https://www.e-gov.go.jp

ii http://www.japaneselawtranslation.go.jp
}

## 6 おわりに

実験から、BERTを用いた類似条項の対応付けが 有効であることが分かった。また、英訳で対応付け を行う場合には BERT-BASE を用いたほうがより性能が高くなるという結果が得られた。

今後は実際に日本法とドイツ法など外国法との対応付けを行い結果の評価を行うとともに、対応付け の条件等の最適化を目指したい。

## 謝辞

本研究は、科学研究費補助金 (19H04427、代表 :中村 誠）の助成を受けたものである。

## 参考文献

[1] 貝瀬幸雄, 比較法学入門, 日本評論社, 201902-25

[2] 五十嵐清, 比較法ハンドブック, 勁草書房, 2019-02-20

[3] 滝沢正, 比較法, 三省堂, 2020-10-10

[4] 比較法研究における外国法との類似条項の対応

付けと翻訳精度との関係について. 長裕樹. 中村誠,電子情報通信学会信越支部大会, 2021 年, p. 115

[5] The legislative study on Meiji civil code by machine learning. Kaito Koyama, Tomoya Sano, Yoichi

Takenaka. Proceedings of the International Workshop on Juris-Informatics 2021, pp.41-53

[6] Zellig S. Harris. Distributional structure. WORD, 1954, pp.146-162

[7] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and

Kristina Toutanova. BERT: Pre-training of Deep

Bidirectional Transformers for Language

Un derstanding. Proceedings of the Annual Conference of the North American Chapter of the Association for Computational Linguistics: Human Language

Technologies, abs/1810.04805, 2019

[8] Jinhyuk Lee, Wonjin Yoon, Sungdong Kim, Donghyeon Kim, Sunkyu Kim, Chan Ho So, and Jaewoo Kang. BioBERT: a pre-trained biomedical language representation model for biomedical text mining. CoRR. 2019

[9] LEGAL-BERT: The muppets straight out of law school. Chalkidis, I., Fergadiotis, M., Malakasiotis, P., Aletras, N., \& Androutsopoulos, I., Findings of the
Association for Computational Linguistics: EMNLP 2020, pp.2898-2904

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 介護支援対話システム MICSUS のための意味解釈モジュール

淺尾 仁彦 ${ }^{1}{\text { 水野 } \text { 淳太 }^{1} \text { 呉 鍾勲 }}^{1}$ Julien Kloetzer $^{1}$ 大竹 清敬 ${ }^{1}$
福原 裕一 1 鎌倉 まな ${ }^{1,2}$ 緒形桂 $1 \quad$ 鳥澤 健太郎 ${ }^{1,2}$
1 国立研究開発法人情報通信研究機構 (NICT) 2 奈良先端科学技術大学院大学
\{asao, junta-m, rovellia, julien, kiyonori.ohtake, fukuhara, kamana, kei.ogata, torisawa $\}$ n nict.go.jp

## 概要

介護支援対話システム MICSUS でユーザ発話を解釈するためのモジュールの概要とその性能等につい てまとめる。MICSUS は介護・支援の必要な高齢者 の健康状態等の定期的なチェックを行うとともに、高齢者のコミュニケーション不足を補うことで、介護従事者の負担を軽減し、高齢者の健康維持を促進 する目的で開発が進められている対話システムであ る。MICSUS は、健康状態等に関する質問に対する ユーザの自由な応答を解釈し記録することができる ほか、ユーザ発話によってはウェブ情報に基づいた 雑談に遷移することも可能である。また、音声認識 エラーによる意味解釈の失敗を防ぐため HBERT と 音声認識エラー検出の 2 つの技術も開発した。

## 1 はじめに

介護支援対話システム $\operatorname{MICSUS}^{1)}$ は、内閣府総合科学技術・イノベーション会議の戦略的イノベー ション創造プログラム (SIP) 第 2 期の支援のもと、 KDDI 株式会社・情報通信研究機構 (NICT) ・NEC ソ リューションイノベータ株式会社・株式会社日本総合研究所の共同で開発が進められている高齢者向け の対話システムである $[1,2]$ 。現在、介護分野では日本だけでなく世界的に人手不足が懸念されており、 $\mathrm{AI}$ の活用に期待が高まっている2)。MICSUS は、ケ アマネジメント業務の負担軽減のため、主にあらか じめ設計した対話シナリオを元に、システムから ユーザに質問する形で高齢者の健康状態、生活習慣等をモニタリングする。同時に、雑談対話システム

図 1 介護用対話システム MICSUS。音声だけでなく表情 やジェスチャーも認識可能

WEKDA [3] 等と接続して、ユーザ発話によっては ウェブ情報を用いた雑談に遷移することで、飽きの こないシステムにするとともに、高齢者のコミュニ ケーション不足を補うことを狙っている。定期的な 健康チェックの徹底やコミュニケーション不足の解消により要介護度の進行や認知症の発症、死亡率を 抑えられることが知られており [4,5]、MICSUS は介護の質を向上させるうえで重要な役割を果たすこと が期待されている。現在、高齢者施設と連携して長期にわたる実証実験を進めている。

MICSUS の外見を図 1 に示した。MICSUS はジェ スチャーや表情も認識可能なマルチモーダルな対話 システムとして開発が進められているが、本発表で は、NICT が担当して研究開発を行っている、ユーザ 発話を解釈するモジュールに議論を絞る。MICSUS の主要機能には、Yes/No 質問による健康状態等の モニタリング、好みや習慣などを聞いて話題を広げ るための個人属性質問応答、ユーザの回答の訂正、重複した質問を避ける含意認識機能、雑談機能があ る。本発表では、このうち一部の機能について、そ の概要と利用例、およびその実現のため構築した、 ユーザ発話を解釈するための深層学習モデルについ て述べる。また、音声対話システムの課題である音
声認識エラーへの対処について、音声認識エラーを 含むテキストに対して頑健な分類を実現する言語モ デル HBERT と、音声認識エラー検出の 2 種類の技術も提案する。特に HBERT は、評価デー夕に音声認識エラーがない場合も含めて、 BERT $_{\text {LARGE }}$ [6] か らの性能向上を実現した。本発表で言及するモデル はいずれも 350GB (22 億文)のウェブテキストで事前学習を行った BERT もしくは HBERTをもとに、 それぞれの機能に合わせた学習データを NICT のア ノテータが作成し、自動生成した学習データと合わ せてファインチューニングを行ったものである。

## 2 関連研究

少子高齢化の進むなかで高齢者を対象にした対話システムは注目を集めており、既存研究に山本ら [7]、大竹ら [8]、下岡ら [9] の対話システムなどがあ る。例えば下岡らは、相づち・問い返し・共感応答 などによってユーザの語りを促す傾聴対話システム を構築しており、音声認識エラーへの対策として、音声認識の信頼度によって応答生成の手法を使い分 けることも実現している。傾聴ないし雑談を主とし たこれらの対話システムと比較すると、MICSUS は 健康状態等のモニタリングという明確な目的をもつ ため、あらかじめシナリオを用意してシステム主導 で目的指向型の対話を行うという点が異なっている が、同時に、雑談機能によってユーザの主体的な話題提供に対応することも可能となっている点にオリ ジナリティがある。

## 3 Yes/No 質問

「夜はよく眠れていますか？」のような Yes/No 質問による高齢者の健康状態等のモニタリングは、 MICSUS の最も基本となる機能である。この機能 のため、Yes/No 質問に対するユーザ応答を Yes, No, Unknown, PresuppositionFailure, Other $の 5$ 値に分類す るモデルを作成した (表 1)。Yes, No 以外のカテゴリ として、Unknown (ユーザがわからないと答えてい る場合)、PresuppositionFailure (ユーザが質問の前提 が成り立たないと指摘している場合)、Other（その 他の場合。ユーザが質問に答えず他のことを言つ ている場合など）が設けてある。モデルは、例えば 「毎日しっかり食べていますか？」という質問に対 し、「食べています」や「いいえ」のような単純な 応答だけでなく、「胃は丈夫なんだよ」「それが最近 すっかり食が細くなって」のような間接的な回答で
あっても適切に分類できるよう、意図的に後者のよ うな発話事例の多い学習データを作成し学習した。

表 1 Yes/No 質問応答の 5 値分類と、「お薬を飲み忘孔な

学習・評価データには、株式会社日本総合研究所 が策定を進めているケアマネジメント標準 [10] に基 づいて作成された介護関連の質問のほか、介讙とは 関係のない一般的な質問も含めることで、幅広い目的で使用できるようにした。最新モデルは評価デー 夕全体では平均精度 (AP) のマクロ平均 $94.3 \%$ 、また 介護とは関係のない一般的な質問応答の評価デー夕 では $98.1 \%$ を達成した3)。2021 年 12 月に高齢者施設で高齢者 1 名を対象に 15 日間にわたり実施した 音声対話での実証実験4)では、ユーザ発話ごとに評価すると正解率 $89.9 \%$ (129 件中 116 件) であった。分類結果が Other の場合は回答を確定させずに再質問する仕様になっているため、再質問のやりとりま で含めて最終的に正解できたかどうかで評価する と、正解率は $94.3 \%$ (123 件中 116 件) であった。不正解となった事例 7 件中 4 件は、ユーザ発話に Yes と判断できる部分と No と判断できる部分の両方を 含むなど、人手でも分類の難しい曖昧な発話をして いるケースであった。

## 4 個人属性質問

個人属性質問は「好きな食べ物は何ですか？」「日課は何ですか？」「昨日は何を食べましたか？」の ように、システムがユーザの好みや習慣などを聞く 質問である。ユーザの回答から雑談 (6 節) につなげ るなどして、モニタリング質問の連続による単調さ を避け、場を和らげることを目的としている。個人属性質問については、ユーザが (「特にない」といつ た回答を含め) 質問に回答したかどうかを判定する 回答有無判定と、ユーザ発話から回答となるキー ワードを抽出する回答部分抽出の 2 種類のモデルを 用意した。回答有無判定によって、その質問を終了

3）アノテータが作文した評価データに基づくものであり、音声認識エラーなどは含まない。評価デー夕についても、意図的に単純な応答を避け、分類が難しいものが多くなるように 作成されている。

4）コロナ禍で大規模な実証実験の実施が難しい状況のため、少人数で実証実験を進めている。

してよいかどうかを判断することができ、また、回答部分抽出によって、例えばユーザが「好きな食べ 物は何ですか？」に対して「最近はお魚がおいしく てね」と答えた場合に、「お魚がお好きなのですね」 のように応答することが可能になっている。

回答部分抽出は、現状、上記の「お魚」の例のよ うに回答が名詞で表せるファクトイド質問の場合に しか対応していない。例えば why, how 等を訊ねる 非ファクトイド質問の扱いは今後の課題となるが、現在、NICT で公開している深層学習版 WISDOM $\mathrm{X}^{5)}$ で実現している技術を応用することで解決でき ると考えている。

## 5 訂正機能

訂正機能は、システムの誤認識（あるいはユーザ の言い間違い) のため一度誤って確定してしまった 回答を訂正する機能である (表 2 に対話例)。この機能により、ユーザは「すみません、訂正があるので すが」「さっきの薬の話に戻れますか？」「一つ前の 質問ですが、よく眠れていないって言ったんです」 のように、任意のタイミングで自由な表現で訂正要求を行うことができる。ただし、このような訂正要求はシステムによる質問等を遮って行わなければ ならないため、不慣れなユーザには難しい。そこ で、システムでそれまでの質問応答の結果を要約 し、「ちょつとこれまでの回答を確認させてくださ い。毎日しっかり食べている、薬を飲み忘れなく飲 めている、ということですが、訂正があれば教えて ください」のように、訂正が必要ないかどうか確認 を促す機能を合わせて実装した。

## 表 2 訂正機能の利用例

訂正機能では、「訂正したいのはその質問じゃな いです」のようなユーザ発話で訂正対象の変更を行 うことや、システムが訂正の意図を誤認識した場合 に「訂正ではありません」のようなユーザ発話で訂正をキャンセルすることも可能になっている。

## 6 雑談

雑談機能は、ユーザ発話の内容が雑談的である ときに、NICT で開発している雑談対話システム WEKDA [3] を使用して雑談的な応答を返す機能で ある。表 3 に雑談の例を掲載した。

表 3 雑談の例

WEKDA は、ユーザ発話に含まれる名詞をもとに ウェブ文書から雑談に適した情報を検索すること で雑談応答を実現するシステムであり、深層学習版 WISDOM X の採用などにより性能が大きく向上 しているが、詳細については本発表では省略する。 MICSUS には、雑談に移行するのにふさわしいユー ザ発話を検出する雑談開始判定と、雑談を終了する ほうがよいユーザ発話を検出する雑談終了判定の 2 つのモデルを実装した (このほか 7.2 節で述べる音声認識エラー検出も利用される)。

## 7 音声認識エラーへの対応

MICSUS は音声で対話を行うシステムであるた め、入力には音声認識エラーが含まれている可能性 があり、音声認識エラーがあっても対話を大きく破綻させることなく動作させることが重要な課題にな る。この節では、音声認識エラーの影響を抑えるた め導入した HBERT と音声認識エラー検出という 2 種類の技術について述べる。HBERT は、音声認識 エラーがない場合も含めて性能向上を実現した。

## 7.1 HBERT

単語列を入力とする通常の BERT では 2 つの単語等が音声的に似ているという情報を利用することは 難しい。そのため、ユーザ入力に音声認識エラーが あるとその性能は大きく落ちる。この問題に対処す るため、HBERT と呼ばれる技術を開発した。これ は、通常の漢字力ナ混じり表記の入力以外に、形態素解析によって得られる力ナ表記も入力に加えて 事前学習を行うものである。事前学習済みのモデル をファインチューニングする際に、疑似的な音声認
表 4 主なモデルでの BERT と HBERT の比較

MICSUS で使用しているモデルのうち一部のみを示している。AP は平均精度 (average precision)。開発データで最も性能 の良かったモデルの評価データでの性能を掲載している (ハイパーパラメータの探索範囲はモデルによって異なる)。「ノイズあり」の性能は、ノイズ率 $0 \% 、 10 \% 、 20 \% 、 50 \%$ の 4 種類の評価データでの評価結果の平均。学習デー夕件数に ついては括弧内で、直接アノテータがユーザ発話を人手作成したものの件数を示した。それ以外の学習データとして、既存の言語資源を利用したものや、システム発話との組み合わせの変更、複数のユーザ発話の連結などによって機械的 に生成したものがある。HBERT のためにノイズを加えて生成したものは学習デー夕件数に含まない。

識エラーとして学習データにノイズ6)を入れること で、音声認識エラーに対して頑健なモデルを実現す ることができる7)。表 5 に音声認識エラーに対して 頑健な動作の例を示す。

表 5 音声認識エラーに頑健な Yes/No 分類の例 システム：お水をよく飲んでいますか？ ユーザ：飲んでます（音声認識結果：飛んでます） システム：お水をよく飲んでいるのですね。

表 4 に主要なモデルの BERT 版と HBERT 版の性能比較について要約した。ノイズなしの評価データ による性能と、ノイズありの評価デー夕による性能 の 2 種類を示している。表に示したいずれのモデル でも、BERT、HBERT ともにノイズありの評価デー 夕を用いた場合には性能が落ちるが、HBERT は比較的性能の低下が小さいことがわかる。また、ノイ ズなしの評価デー夕を用いた場合にも、表に示し た全てのモデルで HBERT は BERT を上回る性能と なっている。

## 7.2 音声認識エラー検出

個人属性質問や雑談機能などでは、HBERTを使用するかどうかにかかわらず、ユーザが用いた名詞 をシステム発話で利用するため、そのキーワードが 音声認識エラーの結果生じた語である場合は致命的 な対話の破綻を招いてしまう (表 6)。特に、雑談開始判定は、ユーザが新しい話題を出したときに雑談開始と判定することを意図しているため、音声認識 エラーで予期しない語が認識されると、それが原因 で誤って雑談開始してしまう可能性が高い。

6）ノイズは音素列で表現した単語間の編集距離に基づき、類似した単語にランダムに置き換えることで作成した。ノイズ を入れる単語の割合は $0 \% 、 10 \% 、 20 \% 、 50 \%$ の 4 種類を試し た。表 4 では開発データで最高性能になったものについて報告している。評価デー夕のノイズも同じ方法で生成している。

7）関連研究として、通常の英単語列の他に、音声認識結果を 発音記号で入力させる Phoneme-BERT [11] がある。表 6 雑談における音声認識エラーによる対話破綻の例 システム： 毎日しつかり食べていますか？ ユーザ：はい、ちゃんと食べてます。 (音声認識結果: 愛車と食べてます。) システム： 適切なコーティングを愛車に施すと污れ にくくなるといった情報がありましたよ。

このような対話の破綻を防ぐため、ユーザ発話に 含まれる名詞について、音声認識エラーによるもの かどうかを判別するモデルを作成した。このモデル を利用し、音声認識エラーがあった場合は雑談開始 としない (もしくは、音声認識エラーの部分を捨て、残りの部分で雑談開始するかどうかを判定する）と いう動作を実現できる。音声認識エラー検出モデル の学習データにあたって、人手作成したユーザ発話 に含まれる名詞を他の名詞にランダムに差し替える ことで疑似的な音声認識エラーとした。同じ方法で 作成した疑似的な評価データでの精度は $99.9 \%$ を 達成した。また、このモデルが実装されていなかつ た 2021 年 6 7 月の実証実験では、音声認識エラー のため誤って雑談開始してしまったケースが 13 件 あったが、このモデルを実装すると、その全ての ケースについて音声認識エラーが検出でき、誤った 雑談開始を避けることができることがわかった。

## 8 おわりに

本発表では、介護用対話システム MICSUS でユー ザ発話を解釈するために開発したモデル群について 報告した。今後さらに高齢者を対象とする実証実験 を重ねてその結果をシステムの改善につなげるほ か、NICT で開発、公開している深層学習自動並列化ミドルウェア RaNNC [12] を用いたより大規模な 言語モデルを採用することで、さらなる精度の向上 を目指す。

## 謝辞

本研究は総合科学技術・イノベーション会議の戦略的イノベーション創造プログラム (SIP) $\left.{ }^{8}\right) 「 \mathrm{Web}$等に存在するビッグデータと応用分野特化型対話シ ナリオを用いたハイブリッド型マルチモーダル音声対話システムの研究」(管理法人：NEDO）によって 実施されたものである。

## 参考文献

[1] Yoshihiko Asao, Julien Kloetzer, Junta Mizuno, Dai Saiki, Kazuma Kadowaki, and Kentaro Torisawa. Understanding user utterances in a dialog system for caregiving. In Proceedings of the 12th Language Resources and Evaluation Conference (LREC2020), pp. 653-661, 2020.

[2] 淺尾仁彦, Julien Kloetzer, 水野淳太, 齊木大, 門脇一真, 鳥澤健太郎. 介護用対話システムのた めの高齢者の発話理解. 言語処理学会第 26 回年次大会発表論文集, pp. 125-128, 2020.

[3] 水野淳太, クロエツェージュリアン, 田仲正弘,飯田龍, 呉鍾勲, 石田諒, 淺尾仁彦, 福原裕一, 藤原一毅, 大西可奈子, 阿部憲幸, 大竹清敬, 鳥澤健太郎. WEKDA: Web 40 億ページを知識源と する質問応答システムを用いた博学対話シス テム. 人工知能学会第 84 回言語・音声理解と 対話処理研究会, pp. 135-142, 2018.

[4] 株式会社日本総合研究所. 平成 25 年度老人保健事業推進費等補助金老人保健健康増進等事業居宅サービス等における適正化とサービス の質の向上および保険者機能強化のための調査研究事業報告書, 2014.

[5] 斉藤雅茂, 近藤克則, 尾島俊之, 平井寛, JAGES グループ. 健康指標との関連からみた高齢者 の社会的孤立基準の検討: 10 年間の AGES コ ホートより. 日本公衆衛生雑誌, Vol. 62, No. 3, pp. 95-105, 2015.

[6] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (NAACL): Human Language Technologies, Volume 1, pp. 4171-4186, 2019.

8) https://www8.cao.go.jp/cstp/gaiyo/sip/
[7] 山本大介, 小林優佳, 横山祥恵, 土井美和子. 高齢者対話インタフェース：『話し相手』と なって、お年寄りの生活を豊かに. 電子情報通信学会技術研究報告. HCS, ヒューマンコミュ ニケーション基礎, Vol. 109, No. 224, pp. 47-51, 2009 .

[8] 大竹裕也, 萩原将文. 高齢者のための発話意図 を考慮した対話システム. 日本感性工学会論文誌, Vol. 11, No. 2, pp. 207-214, 2012.

[9] 下岡和也, 徳久良子, 吉村貴克, 星野博之, 渡部生聖. 音声対話ロボットのための傾聴シス テムの開発. 自然言語処理, Vol. 24, No. 1, pp. 3-47, 2017.

[10] 株式会社日本総合研究所. 平成 30 年度厚生労働省老人保健事業推進費補助金 (老人保健健康増進等事業）適切なケアマネジメント手法 の策定に向けた調査研究報告書, 2019.

[11] Mukuntha Narayanan Sundararaman, Ayush Kumar, and Jithendra Vepa. Phoneme-BERT: Joint language modelling of phoneme sequence and ASR transcript. In Interspeech 2021, 2021.

[12] Masahiro Tanaka, Kenjiro Taura, Toshihiro Hanawa, and Kentaro Torisawa. Automatic graph partitioning for very large-scale deep learning. In Proceedings of 35th IEEE International Parallel and Distributed Processing Symposium (IPDPS 2021), pp. 10041013, 2021.


# 交通に関する知識グラフを用いた運転免許試験問題の解法

相川渉 三輪誠 佐々木裕
豊田工業大学
\{sd18001, makoto-miwa,yutaka.sasaki\}@toyota-ti.ac.jp

## 概要

運転知識に基づいて運転免許試験問題を解くアプ ローチでは，運転に関する知識ベースを作成して， それに基づいて解答の判定を行う必要がある. 既存 の手法では解答の判定が表記に依存したり，知識間 の関係を考慮できていないという問題があった。そ こで本研究では，交通教則文から抽出した運転知識 を知識グラフに変換し，知識グラフの埋め込みモデ ルをベースとして，問題文から作成したトリプルに ついてのリンク予測問題を解くことで運転免許試験問題を解く方法を試みる。

## 1 はじめに

完全自動運転であるレベル 6 自動運転において は，自動運転システムが交通法規や交通マナーと いった知識を持ち，それに基づいて，判断・推論を 行う必要がある. 人間の運転に関する知識や判断・推論能力を評価するひとつの指標として，運転免許筆記試験があり，レベル 6 自動運転システムについ ても，運転免許試験問題を解かせることができれば この能力を同様に評価することができる.

運転に必要な知識は交通教則 [1] に記載されてい る. Savong らは交通教則から知識を構造化して取り 出すための手法としてオントロジー形式のアノテー ションを提案し，交通教則にアノテーション [2]を 行った.この形式でタグ付けされた情報は簡単に Resource Definition Framework (RDF) トリプルに変換 することができ，この変換したトリプルは交通教則 の知識の集合を表した知識べースとして利用できる と期待される。

また，構造化された知識を用いて質問応答を行う 手法も提案されている。鈴木ら [3] は質問文を問い 合わせ言語に変換して知識べースに問い合わせる ことで解答を予測する。この手法では，同じ内容 の質問でも表記が異なるとマッチングしないとい う問題点がある．鈴木ら [4] は Bidirectional Encoder

図 1 提案手法の概要

Representations from Transformers (BERT) モデルを基 にオントロジー形式のアノテーションデータセット の知識を用いて解答を取得する。この手法は入力さ れた質問文と学習文について用語単位のべクトルの 平均を取り，それらの類似度から解答を予測する。 この手法は用語単位のベクトルを使って予測を行う ため用語間の関係性を直接考慮できていないと考 えられる。これを解決するために，取り出した知識 ベースから知識グラフを作成して，知識グラフの埋 め込みモデルを用いて質問応答を行うことが有効だ と考えた

そこで本研究では，Savong ら [2] の交通関係アノ テーションから取り出した交通教則の知識を表す RDFトリプルを対象に，知識グラフの埋め込みモデ ルを用いた質問応答システムへの利用可能性を調査 する。

## 2 関連研究

交通教則に関するオントロジー形式関係 (OSRRoR) データセット [2] とは，交通教則 [1] に行っ たオントロジー形式のアノテーションデータであ る.アノテーションの例を図 2 に示す.このアノ テーションの特徴として，用語の一種として RDF スキーマに定義されている rdf:Property に対応する 関係に関する用語（関係用語）を用意し，それぞれ rdfs:domain, rdfs:range に対応する domain と range の 関係を関係用語と用語のタイプの間に結ぶことで用

(2)

(2) シートベルトは、正しく着用しましよう。

図 2 オントロジー形式のアノテーション

語間の関係を表現する. 図 2 では「は」に関係用語「Tool(T1)」を付与し, 「シートベルト」に付与されて いる用語のタイプ「SeatBelt」と「Tool」の間に range の関係を「Tool」と「着用」に付与されている用語 のタイプ「Utilization」の間に domain の関係を繋げ ている.

## 3 提案手法

本研究では，交通教則へのオントロジー形式のア ノテーションを知識ベースとして，知識グラフの埋 め込みモデルを学習・利用することで，運転免許試験の解答を行う手法を提案する．手法の概要を図 1 に示す. まず，オントロジー形式のアノテーション を行った交通教則からトリプルを作成し，これを知識グラフの埋め込みモデルで学習する。次に学習し たモデルに運転免許質問文に現れるトリプルを入力 し, それぞれのトリプルの確率値を出す. 最後にそ れらの確率值を統合して解答を出力する。

本研究で用いるオントロジー形式のアノテーショ ンからトリプルを作成する方法を 3.1 節で, 作成し たトリプルを用いたモデルの学習については 3.2 節 で，学習したモデルを用いた解答の出力については 3.3 節で説明する.

## 3.1 トリプルの作成

オントロジー形式のアノテーションを行った交通教則からトリプルを作成する. トリプルは全てのア ノテーションに対して以下のように作成して， 3 種類のトリプルのデータセットを作成する.

1. コーパス中の用語それぞれに対して，IDがそ れぞれ一意になるように，個別の用語 IDを付与する. ここで言う用語は，関係用語も含んで おり，同じ用語でも言及箇所が異なれば異なる IDを付与する。

2. 用語 ID と用語の表層について「label」とい う関係を，用語 ID と用語のタイプに対して 「type」という関係を付けてトリプルを作成 する. 図3では用語の ID「Vehicle11_1_T62」 と表層「自動車」に「label」という関係

図 3 「rel_id」での関係のつけ方

を付与して, (Vehicle11_1_T62,label, 自動車)というトリプルを作成する。ま た, 用語の ID「Vehicle11_1_T62」と用語の タイプ「Vehicle」に「type」という関係を 付与して(Vehicle,type,Vehicle11_1_T62) と いうトリプルを作成する。「Keeping」や 「Keeping11_1_T102」，「管理」の方でも同様 に行ってトリプルを作成する。

3. 関係とその関係に繋がる用語について 3 種類の 方法でトリプルを作成する.

・図 3 で示すように用語 ID 間に関係を繋げてトリプル (Keeping11_1_T102,range,Vehicle11_1_T62) を作成する. 2 で作成したトリプルとこの 方法によって作成したトリプルを合わせた データセットを「rel_id」とする.

・用語のタイプと関係を繋げてトリプル (Keeping, range,Vehicle)を作成する。2で 作成したトリプルとこの方法によって作成 したトリプルを合わせたデータセットを 「rel_type」とする.

・用語 IDと関係タグ，用語のタイプと関係 を繋げてそれぞれトリプルを作成する. 2 で作成したトリプルとこの方法によって作成したトリプルを合わせたデータセットを 「rel_both」とする.

運転免許質問文に関しても同様にトリプルを作成 する。

## 3.2 モデルの学習

作成したトリプルを入力して，モデルが学習する までの流れを以下に示す.

図 4 「rel_type」での関係のつけ方

図 5 「rel_both」での関係のつけ方

1. コーパスから作成したトリプルのデータセット と関係用語と用語間のつながりを除いた運転免許質問文から作成したトリプルを学習用データ セットとして用意する。関係用語と用語間のつ ながりを除いた運転免許質問文から作成した トリプルも学習用データセットに加えるのは, コーパス中に存在しない用語が質問文に含まれ ると解答の推論が行えなくなるからである。

2. 使用する知識グラフの表現学習モデル（本研究では AmpliGraph の TransE [5], DistMult [6], HolE [7] を使用・比較する）とモデルのハイ パーパラメタを決め，学習用データセットを入力として損失関数を最小化する.

3. トリプルを入力として確率値を出力するように モデルを較正する．較正は Tabacof ら [8] の手法を用いて行った.

4. 学習に用いた全てのトリプルの確率値を求め,教則の知識をモデルが表現できるかを確認す る. 具体的には，確率値が 0.9 を超えるトリプ ルがデータセット全体の 9 割を占めていれば交通教則の知識を表現できているとみなして 3.3表 1 データセットの統計

節で説明する解答の推論を行う。そうでなけれ ば解答の推論は行わずに別のパラメタで学習を 行う.

## 3.3 学習済みモデルを用いた推論

学習したモデルを用いて，質問の解答を以下のよ うに行う。
1. 3.1 節で作成したトリプルから，それぞれの運転免許質問文に対応するトリプルの集合 $Q$ を 取り出す。

2. 学習したモデルに $Q$ のトリプルを入力として,次のように解答を選択する。解答が○である確率 $P_{\text {True }} ， \mathrm{X}$ である確率 $P_{\text {False }}$ について，ある トリプル $(\mathrm{h}, \mathrm{r}, \mathrm{t})$ の確率を $p(h, r, t)(0 \leq p \leq 1)$ を 用いて，式 (1) と式 (2) のように計算する. 求め られた $P_{\text {True }}$ と $P_{\text {False }}$ を比較して， $P_{\text {True }}$ の方 が大きければ○を， $P_{\text {False }}$ の方が大きければ× を解答する。

$
\begin{gathered}
P_{\text {True }}=\prod_{(h, r, t) \in Q} p(h, r, t) \\
P_{\text {False }}=\prod_{(h, r, t) \in Q}(1-p(h, r, t))
\end{gathered}
$

## 4 実験と考察

## 4.1 使用したデータセット

・オントロジー形式のアノテーションを行った交通教則

交通教則 [1] にオントロジー形式のアノテー ションを行ったデータから 3.1 節の方法で 3 種類のトリプルのデータセットを作成した。それ ぞれのデータセットの統計を表 1 に示す.

・運転免許試験の質問文

オントロジー形式のアノテーションを行った運転免許試験問題（正誤問題）100 問文のトリプ ルを作成した. ID 間の関係を結んでトリプル を作成した．質問毎のトリプル数の統計を表 2 に示す. 3.2 節で説明したように，質問文の表
表 2 質問毎のトリプル数の統計

層と ID 間・IDと type 間での関係（label, type） のトリプルのデータは訓練に用いた。このトリ プルの数は 1,620 個であった.

## 4.2 結果と考察

自動車の運転に関する 100 問の問題（正解が正・誤となる問題それぞれ 50 問）をランダムに 5 分割 し，グラフ埋め込みのパラメータチューニングを 5 分割交差検証で行って，それぞれの正解率を平均を スコアとした. 表 3 に結果を示す. 実験の結果か ら，エンティティタイプに関係を付ける知識グラ フに対して，HolEを使用して「rel_type」のデータ セットを使用したときの正解率が最も高くなった.関係のつけ方による正解率を比較してみると TransE と HolE は「rel_type」で，DistMult は「rel_id」で最 も高い正解率を出しており，同じデータセットでも 正解率はモデルに依存することがわかった. 1 番卜 リプル数が多い「rel_both」の正解率がどのモデル においても正解率が最も高くならなかったことか ら正解率はトリプル数に依存しないことがわかっ た.「rel_id」のデータセットに用語のタイプ間の関係を繋いで作成したトリプルを加えたデータセッ トが「rel_both」になる. DistMultでは「rel_id」の方 が「rel_both」よりも正解率が高くなったことから， DistMult においては用語のタイプ間の関係を繋いだ ことによって作成したトリプルが正解率を低下さ せることに影響していたと考えられる. TransE と HolE の場合では「rel_type」の方が「rel_both」より も正解率が高かったため, 用語の ID 間で関係を繋 いだことによって作成したトリプルが正解率を低下 させることに影響しているのではないかと考えら れる.表 3 モデルと関係の付け方による正解率

## 5 おわりに

本研究では，オントロジー形式でアノテーション された交通教則から抽出した運転知識を知識グラフ に変換し，知識グラフの埋め込みモデル構築し，問題文から作成したトリプルについてのリンク予測問題を解くことで運転免許試験問題を解く方法を提案 した. 運転免許試験問題 100 問に対する 5 分割交差検証の結果， $62 \%$ の正解率を得ることができること が明らかになった. 正誤問題であるため，ベースラ インは $50 \%$ であり， ベースラインからの改善は不十分であるが，知識ベースに対して SPARQL で照合す るアプローチではほとんど照合に成功しないこと から考えると，ソフトな知識のマッチングができて いる。また，各質問文から作られた各トリプルの確率も計算できているため，どの部分がどの程度正し いと判断されたのかを根拠として確認できる．今後 は，本課題に合った新しい知識グラフの埋め込みモ デルを考案し，運転免許問題の正解率を向上させて いきたい.

## 謝辞

本研究の一部は JSPS 科研費 $20 K 11942$ の助成を受 けた。

## 参考文献

[1] 国家公安委員会. 交通の方法に関する教則. 2019.

[2] Savong Bou, Naoki Suzuki, Makoto Miwa, and Yutaka Sasaki. Ontology-style relation annotation: A case study. In Proceedings of the 12th Language Resources and Evaluation Conference, pp.4867-4876, Marseille, France, May 2020. European Language Resources Association.

[3] 鈴木遼司, 三輪誠, 佐々木裕. 交通オントロジーを対象 とした質問文の sparql クエリ変換. 言語処理学会 第 21 回年次大会 発表論文集, 2015.

[4] 鈴木直樹, Bou Savong, 三輪誠, 佐々木裕. オントロ ジー形式アノテーションを対象とした交通用語・関係抽出と正誤問題の回答. 言語処理学会 第 26 回年次大会 発表論文集, 2020.

[5] Antoine Bordes, Nicolas Usunier, Alberto Garcia-Duran, Jason Weston, and Oksana Yakhnenko. Translating embeddings for modeling multi-relational data. Advances in neural information processing systems, Vol. 26, , 2013.

[6] Bishan Yang, Wen-tau Yih, Xiaodong He, Jianfeng Gao, and Li Deng. Embedding entities and relations for learning and inference in knowledge bases. arXiv preprint arXiv:1412.6575, 2014.

[7] Maximilian Nickel, Lorenzo Rosasco, and Tomaso Poggio. Holographic embeddings of knowledge graphs. In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 30, 2016.

[8] Pedro Tabacof and Luca Costabello. Probability calibration for knowledge graph embedding models. In International Conference on Learning Representations, 2020.


# 副詞マダのアノテーションとそのガイドライン

井上智也 (九州大学文学部)

上山あゆみ (九州大学大学院人文科学研究院)
## 概要

マダという語は、さまざまな用法を持っている。 このようなマダのさまざまな用法について、分類 ガイドラインを作成した。実際にガイドラインに 沿って『現代日本語書き言葉均衡コーパス』 (BCCWJ)によってアノテーションを試み、カッパ 值を計算することで、ある程度信頼性のあるガイ ドラインが作成できたと結論づけた。

## 1. はじめに

マダという語は、否定形と呼応し動作の未完了 を表したり、その意味を加えて状態の変化を表し たりする用法があるとされている。しかしながら、実際の用法は多岐にわたっている。そのため、コ ーパスにおける有用性を高めるために、マダの用法を適切に区別する必要があることは明らかで ある。そして適切な用法を発案し、アノテーショ ンを試みて、そのカッパ值のブレを抑えることが その有用性を示すために効果的である。そのため にはまず分類のガイドラインを作成することが 必要である。本発表では、マダの様々な用法につ いて分類ガイドラインを作成するにあたり、どの ような問題が発生したのかについて述べ、今回作成した分類ガイドラインに基づいて行われたア ノテーションの結果を示していく。

## 2. マダの分類

まず、私たちの班で考案した分類ガイドライン を示し、それぞれの用法に関する説明から行って いく。

 \\

 \\

3. 代表的な例文と問題となりうる点

3.1.「a : 未実現」について

「a : 未実現」の代表的な例文は、次に示す通 りである。

(1) ドラマはまだ始まってないよ。[今井 2011:260]

(1)のように、否定形と共起し、発話時に想定され ている時点で起こると予想される単一事象が起 こっていないことを表す場合は、「a:未実現」に 分類される。

## 3.2. 「b : 未完了」について

$\lceil\mathrm{b}$ : 未完了」の代表的な例文は、次に示す通り である。

(2) 戦争はまだ終わってない。 [池田 1999:23 (24)]

(2)のように、否定形と共起し、発話時に想定され ている時点ですでに起こっている事象が完全な 移行前にあることを表す場合は、「b : 未完了」に 分類される。

また、a と b の用法に関してはどちらも否定形と 呼応している点が同じであり、形式的な違いで分類することが不可能となっている。そのため、分類を個人の判断に委ねることを避けられず、カッ パ值のぶれを生じさせるという問題が発生して いる。

3.3.「c : 未経験」について

$「 \mathrm{c}:$ 未経験」の代表的な例文は、次に示す通 りである。

（3）納豆はまだ食べたことがありません。 [今井 2011:261]

(3)のように、否定形と共起し、発話時に想定され ている時点である事象の経験がないことを表し、「〜シタコトガナイ」と共起する場合は、「c:未経験」に分類される。

## 3.4.「d : 継続」について

$\lceil\mathrm{d}:$ 継続」の代表的な例文は、次に示す通り である。

(4) まだ雪が降っている。 [今井 2011:261]

(4)のように、既に始まっていた動作・状態が、発話時に想定されている時点でも継続していること を表す場合、「d : 継続」に分類される。

## 3.5.「e : 比較」について

$\lceil\mathrm{e}:$ 比較」の代表的な例文は、次に示す通りで ある。

(5)

私の部屋は散らかっているけど、弟の 部屋よりはまだきれいだ。

[今井 2011:262]

(5)のように複数の事象を比較し、十分ではないが 他に比べればよいほうであることを表す場合、「e：比較」に分類される。「マダシモ」の形をとるこ ともある。

## 3.6. 「f : 強調」について

「f : 強調」の代表的な例文は、次に示す通り である。

（6）一流のシェフになるまで、まだまだ経験が 必要だ。

[今井 2011:262]

(6)のように省略しても文意が通る場合、「f:強調」 に分類する。「マダマダ」の形をとることもある。

## 3.7. $\ulcorner\mathbf{g$ : 残存」について}

$\lceil\mathrm{g}:$ 残存」の代表的な例文は、次に示す通り である。

(7) トンネル完成まで、まだ $3 \mathrm{~km}$ 残っている。 [今井 2011:262]

(7)のように、「ある」や「残っている」などと共起し、存在や残量を表す場合、「 $\mathrm{g}$ : 残存」に分類 する。

## 3.8.「h : 時間の経過」について

$\lceil\mathrm{h}:$ 時間の経過」の代表的な例文は、次に示す とおりである。

(8) 父が死んでまだ一年だ。

[ 松村 20:22 (59)]

(8)のように、時間に関する語を伴って、時間や日数の変化量が予想よりも少ないことを表す場合に は、「h : 時間の経過」に分類される。

## 3.9. 「i : 未熟」について

「i :未熟」の代表的な例文は次の通りである。

(9)まだ中学三年の男の子と高校二年の女の子が いる。[BCCWJ より]

(9)のように、ある状態が発話時において予想され る点に至っていないことを表し、成長の程度を表 す言葉や数量詞などが後続する場合には、「i :未熟」に分類される。

この分類ガイドラインに基づくと「まだあと何度 かは会えると思っていた」という文も数量詞が後続しているため未熟と分類されてしまうが、実際 にはこのマダは未熟を表しているとは考えられ ないため、この用法に関しては今後修正を加える 必要があると言えるだろう。

## 4. アノテーション結果

『現代日本語書き言葉均衡コーパス』(BCCWJ) から、マダを含んだ例文 500 件を抽出し、上記の 分類ガイドラインにしたがって、実際にアノテー ションを行った。

九州大学文学部の分類に関与していない学生

2 人がそれぞれアノテーションを行い、その結果 からカッパ值を計算したところ、約 0.67 となっ た。アノテータ間でぶれの少ない、ある程度信頼性のあるガイドラインが作成できたことになる。今後、ずれの見られるところを中心に、更に検討 を重ねていきたい。

## 参照文献

今井新悟（編）（2011）『日本語多義語学 習辞典形容詞・副詞編』pp.260-262 東京: 株式会社ア ルク

池田英喜（1999）「「もう」と「まだ」：状態の 移行を前提とする 2 つの副詞」『阪大日本語研究』11,pp.19-35.

松村明（監）（2012）『大辞泉 第二版』 小学館皆島博 (2015) 「日英多義語の認知意味論 的分析：「マダ」と“still”」『福井大学教育地域科学部紀要』5,pp.76-90.

北原保雄（2010）『明鏡国語辞典 第二版』大修館書店

飛田良文・浅田秀子 (1994)『現代副詞用 法辞典』 pp.497-499 東京 : 東京堂出版


# 副詞モウのアノテーションとそのガイドライン

勘場千夏・藤本悠花・久保山由梨・木下滉晴（九州大学文学部）
}

上山あゆみ (九州大学大学院人文科学研究院)
## 概要

モウという語の用法について、(1)限界・超過、 (2)接近・到達、(3)付加、(4)感情的意味、(5)非難・叱責、(6)緩衝、(7)その他の7 つに分け、分類の手順を示すフローチャートを作成した。実際にこの ガイドラインに沿って『現代日本語書き言葉均衡 コーパス』(BCCWJ)によってアノテーションを試 み、カッパ值を計算した結果、 0.824 となり、ある 程度信頼性のあるガイドラインが作成できたと結論づけた。

## 1. はじめに

モウという語は、『現代日本語書き言葉 均衡コ ーパス』 (BCCWJ) において、時間、数量、程度 に関わる副詞として用いられる一方、話し手の感動表出として使用される例もあり、その意味、機能は多義にわたっている。コーパスによる検索の 有用性を高めるためには、これらの用法の違いが アノテーションによって適切に区別されているこ とが望ましい。そのためには、必要に応じて分類 のガイドラインを作成することが有用である。本発表では、モウの様々な用法について分類ガイド ラインを作成するにあたって、どのような困難な 点があったかを明らかにした上で、実際にアノテ ーションを試み、その結果を述べる。

## 2. モウの分類

まずここで、提案するガイドラインを示し、そ れぞれの分類について、代表的な例文と分類上の 問題点について述べる。

 &  \\

 \\

3. 代表的な例文と問題となりうる点

3.1.「(1)限界・超過」について

「(1)限界・超過」の代表的な例文は、次に示す
通りである。

（1）「話し手にとって」もう過ぎ去ったこ と一それが「過去」です。

（2） a. その日の夕方、さいわい牧草小屋 をみつけてころがりこんだが、友人はもう歩けなくなっていた。

b. 「乳母よ、あの犬にもうあきらめ るよう、よく納得させなさい。」

(1)のように、程度や時間が一定の限度を超え ている様子を表し、モハヤ・スデニ・イマトナッ テハと置き換え可能なものは「（ア）超過」に分類される。

一方(2)のように、ある状態をこれ以上維持で きない様子や、繰り返し事象の終了限界後である 様子を表すものは、（イ）限界」の用法にあた る。モウの後に、否定語や、対象事象の終了を示唆するような動詞を伴うことが多い。

飛田・浅田(1994)における、程度や時間が限度を 越えた様子を表すモウの用法を踏襲し、これを 「（ア）超過」とした。さらに「（ア）超過」ま では至らないが、話者や対象の状態や事態、心情 が変化していると提示するモウを「（イ）限界」 とした。これは池田（1999）で、述べられていた 「繰り返し事象の終了限界以後に発話時があるこ とを示」すモウを取り入れている。

## 3.2.「(2)接近・到達」について

「(2)接近・到達」の代表的な例文は、次に示す 通りである。

（3） a. もうすぐリヤドを去る人と、リヤ ドに来たばかりの人が不思議と集 まる。

b. あの七わのわかものたちはね、も うじき、ひょう湖へでかけるって いうんだよ。

この用法のモウは、場所や時間、状況など、あ る目標に接近し到達しようとする話者の判断を 表す。マモナク・ヤガテなどと置き換えることが できる。
3.3.「(3)付加」について

「(3)付加」の代表的な例文は、次に示す通りで ある。

(4) a. いちばん影響を受けたもので、も う一度読み返そうかな、と思って るのが坂口安吾さん。

b. 以下これらの点を、もう少し立入 って考察してみることにしよう。

この用法のモウは、数詞や程度を表す言葉を修飾する形で用いられ、現在の様子にさらに付け加 える様子を表している。

## 3.4.「(4)感情的意味」について

「(4)感情的意味」の代表的な例文は、次に示す 通りである。

(5)

a. かつてのスターでは十代でデビュ 一した当時の磯村みどり、結婚す る前ごろの吉永小百合、村松英子 など、実にもうキラキラと輝く天女さまみたいでしたな。

b. 今日なら、もうほんたうに立派な 雲の峰が、東でむくむく盛りあが り一

この用法は、感情が溢れ処理できないとき、感動詞的に用いられ、マサニ・ナントモと置き換え

ることができる。

## 3.5.「(5)非難・叱責」について

「5)非難・叱責」の代表的な例文は、次に示す 通りである。

（6） a. 「ああ、もう。早く籍入れればよ かった。東京へ帰ったら、すぐ届出しましょう。ね、いいわね」

b. 「もう、アリスったら。いいから 食べなさいよ。少しは贅沢だって しなくっちや」

この用法のモウは、独立して使用され、非難・叱責の感情を表す感動詞として使われる。

## 3.6.「6緩衝」について

「6緩衝」の代表的な例文は、次に示す通りで ある。

(7) a. 顔といわず体といわずもうタテョ コ十文字に、人生の年輪がグシャ グシャに刻み込まれている。

b. 「いつだか、わかるか」「それは もう、記録につけてございますか ら。一たしか、三日ほど前かと思 います」

この用法のモウは、語調を整える役割をもち、 はっきり言うことを躊躇されるときなどに発話さ れる。

## 3.7.「(7)その他」について

「7そその他」の代表的な例文は、次に示す通り である。

(8)

a. 仕切りから覗けば、もうもうたる 湯煙の中に、何やら白い物体が見 えることは見えるのであります が、見えても年輪ばかり。

b. おまけにストーキーまでもが海に とびこんでもうて ...

副詞や感動詞的な用法を除いた、モウ。これは 私たちの対象としているモウではないが、コーパ スの検索結果に表示されたため、私たちの分類す るモウと区別するために「その他」として選り分 けた。

## 4. アノテーション結果

『現代日本語書き言葉均衡コーパス』(BCCWJ) から、モウを含んだ例文 500 件を抽出し、上記の 分類ガイドラインにしたがって、実際にアノテー ションを行った。

九州大学文学部の学生 2 人がそれぞれアノテー ションを行った。その結果からカッパ值を計算し たところ、 0.824 となった。アノテータ間でぶれの 少ない、ある程度信頼性のあるガイドラインが作成できたことになる。今後、ずれの見られたとこ
ろを中心に、さらに検討を重ねていきたい。

## 5. 参照文献

池田英喜(1999)「「もう」と「まだ」:状態の移行 を前提とする 2 つの副詞」，『阪大日本語研究』,11:19-35

飛田良文・浅田秀子(1994)『現代副詞用法辞典』，東京:東京堂出版.


# ニューラル機械翻訳のための日中対訳コーパスの構築

張津一 1,2 田野 3 韓梅 4 毛剣楠 2 松本忠博 2
1 潘陽理工大学（中国） 2 岐阜大学
3 株洲中車時代電気株式会社（中国） 4 湖南工業大学（中国）
zhangjinyi@sylu.edu.cn tianye@csrzic.com
hanmei@hut.edu.cn z4525087@edu.gifu-u.ac.jp tad@gifu-u.ac.jp

## 概要

現在，ニューラル機械翻訳の学習データとして利用可能な，ある程度の規模を持つ日本語-中国語対訳コーパスは少ない. とくに日常会話などの話し言葉を主な対象としたものは限られている. 本研究で は Web 上に存在する TV 番組などの字幕データを クローリングにより収集して，一定の規模の日中対訳コーパスの構築を試みた。このコーパス WCC-JC (Web Crawled Corpus - Japanese and Chinese) で学習 した翻訳モデルを使って翻訳した結果を人手で評価 し，品質・効果を確認した。

## 1 はじめに

機械翻訳は人工知能の重要な分野であり，原言語 を出力言語に翻訳する方法を研究することは，言語 の壁の問題を解決することができる最も効果的な手段の一つである. 長年の開発を経て，ニューラル機械翻訳（Neural Machine Translation，NMT）は様々な 言語ペアで従来のフレームワークよりも優れた翻訳結果を出しており，大きな可能性を秘めた新しい機械翻訳モデルとなっている．NMT では，学習デー タの量が翻訳結果の質を大きく左右するものの，大規模な翻訳モデルを学習することができる.

機械翻訳の分野では，日本語と中国語という $2 \supset$ の言語が複雑に絡み合っているため，日中の機械翻訳は難しい，高品質な翻訳を得るためには，日中翻訳コーパスのデータ量が大量に必要となる。しか し，英語を含む言語対や欧州の言語間の言語対など が数千万から数億文対である. そして，様々な分野 の文が含まれる。これに対し，公開された日中対訳 コーパスは多くない。例えば，JPO 日中対訳コーパ スは 1.3 億件（約 26GB）および 0.1 億件（約 $1.4 \mathrm{~GB}$ ） があるが，データの全てを用いた研究成果の提出が必要である ${ }^{11}$.このコーパスの内容の種類は特許の みである．ASPEC-JC の収録件数は，約 67 万文であ る [1]. このコーパスの内容の種類は科学論文の概要のみである．上記の 2 つは，公開されているコー パスの中でも非常に規模の大きなコーパスである. だが，日常的な文の翻訳に適した日中対訳コーパス は，まだそれほど多くない。

現在の研究のほとんどは，書き言葉のカテゴリー に入る文の翻訳を対象にしている。一方，話し言葉 の場合，省略などにより書き言葉よりも曖昧さが多 くなり，文脈を把握する必要性も高まる。文の長さ も書き言葉より短いのが普通である. 話し言葉で も，俗語や方言があるものは，従来の翻訳者では見落とされることがある．また，音声の入力から翻訳結果の出力までを行うマルチモーダル翻訳が近い将来のトレンドになると言われるが，その実現には話 し言葉の翻訳に適した対訳コーパスが必要である.

本研究では，Webをクロールして作成した日中対訳コーパスとその評価について述べる。作成した コーパス WCC-JC は，インターネット上からクロー ルされた映画と TV 番組の字幕データの日中両言語 の対応をとることで構築されている. 既存の日中対訳コーパスではあまり扱われてこなかった話し言葉 の対訳も対象している。

## 2 関連研究

現在，公開されている日中対訳翻訳コーパスは非常に少なく，JPO 日中対訳コーパス，ASPEC-JC[1] と TED Talks ${ }^{2)}$ 3) に含まれる日中対訳コーパスなどが あるのみである.

Lavecchia らは，映画の字幕ファイルから対訳コー パスを自動的に構築する方法を提案し，それを用い

1) https://alaginrc.nict.go.jp/jpo-outline.html

2) https://ted.com

3) https://github.com/ajinkyakulkarni14/ TED-Multilingual-Parallel-Corpus

て対訳辞書も作成している [2].

Chu らは, Wikipedia から 126k 以上の日中対訳 コーパスを構築するための対訳文抽出システムを提案した [3].

Pryzant らは，インターネット上からクロールされ た映画と TV 番組の字幕データを日英対応させるこ とで構築された. JESC は，自由に利用できる日英対訳コーパスの中で最大規模（約 280 万文）のコー パスである [4].

OpenSubtitles2018 は映画字幕データの多言語対訳 コーパスである [5]. 日英対訳コーパスはおよそ 2,000 件の映画からなる 200 万文の対訳コーパスで あり，機械翻訳の分野や，映画字幕という特徴を活 かしたタスクにおける利用が検討される。

森下らは，大規模 Web ベース 1000 万文対以上の 日英対訳コーパス JParaCrawl を紹介した。無料で一般に公開した [6].

Guokun らはインターネットから言語資源をク ロールしてコーパスを自動的に構築したが，データ のフィルタリングがうまくいっていなかった [7].

中澤らは，「ビジネス」における「対話」を対訳 コーパスのドメインとして構築した BSDコーパス および WAT2020での BSD 翻訳タスクの結果の紹介 を行い，翻訳結果の分析から対話翻訳の課題につい て議論した [8].

また，日中翻訳では， Zhang らが対訳コーパスの 資源不足を考慮し, 日中翻訳の品質を向上させる コーパス拡張アプローチを提案した [9].

以上の関連研究により，コーパスは翻訳精度の向上と言語処理の他の分野に重要な役割を果たす.こ のように，ニューラル機械翻訳のためのオープンな 日中対訳コーパスの構築は資源不足問題に大きな意味を持っている. 本研究では, 日中機械翻訳を発展 させ，ある程度の規模を持つ日中対訳コーパスの作成を目標とする。

## 3 日中対訳コーパスの構築

## 3.1 対訳文抽出

多くの日中対訳文を含む Web サイトを選び，映画・ドラマと TV 番組の字幕ファイルを含む Web サ イトから Scrapy)を利用し, 字幕ファイルを取得す る. 字幕ファイルの中に, 俗語, 話し言葉, 説明文,物語解説の対訳がある. これらは既存のコーパスで

はあまり扱われてこなかった分野である。

取得した字幕ファイルのほとんどは ASS 形式の ファイルである. 図 1 に ASS ファイルの内容の一例を表す. 図のように ASS ファイルでは Dialogue 行に，字幕の表示内容と表示時間，表示スタイルな どの情報が記載されている。言語情報は字幕のレ イヤー情報（図中では先頭の “0”) や表示スタイル （図中では“DefaultJp”）に現れる場合が多い. 本研究では，字幕表示スタイルの文字列から日本語か中国語かを推定し，字幕表示開始時間と字幕表示終了時間をもとに日中のセリフの対応関係を判断した.

データ収集後，中国語文中の繁体字を簡体字に，日本語文中の半角カタカナを全角カタカナに統一 し，重複する文対を除去した。

## 3.2 コーパスの分割

収集した文対のうち，10 文字以上の文対をテ ストデータと検証データ (開発データ) 用にそ れぞれ 2000 文対ランダムに抽出し，残りを訓練データとした. 表 1 は構築されたコーパスと ASPEC-JC, OpenSubtitles とWCC-JCコーパスの文対数を表す. データサイズ (バイト数) は ASPEC-JC > OpenSubtitles > WCC-JC の順だが，文数は ASPEC-JC よりも多いことが分かる.

## 4 実験と評価

本コーパスの有効性を確認するために翻訳実験 を行った. 以下，実験に使用した NMT システムの 設定 (4.1 節), ASPEC-JC, OpenSubtitles, 本研究の コーパスのデータセットで学習した NMT モデルで の翻訳精度（BLEU スコア）(4.2 節)，JPO スコアを 用いて，テストデータの翻訳結果の人手での評価 （4.3 節）について述べる。日中翻訳では，文字レべ ルと LSTM モデルが最も効果的であると言われて いる [10] が，本実験では文字レベルと subword レべ ル，LSTM モデルと Transformer モデルを使用した.

## 4.1 NMT システムの設定

本実験では，fairseq[11]を用いて NMT モデルを訓練する. fairseq の 2 つの事前設定されたアーキテ クチャ, lstm-wiseman-iwslt-de-en（表の中, LSTM と 略す) と transformer-iwslt-de-en (表の中，Transformer と略す)を使用する. Subword レベルの実現には subword-nmt ${ }^{5}$ を使用する。

5) https://github.com/rsennrich/subword-nmt

図 1 ASS ファイル中身の一例（内容はダミー）

## 4.2 翻訳結果

表 2〜表 5 において，Aは ASPEC-JC のテストデー タ, B は OpenSubtitles のテストデータ, C は WCC-JC のテストデータ，D は翻訳モデルの汎化能力を検証 するために，NHK ラジオ『まいにち中国語』6)のテ キストから抽出した 185 文，テストデータとして 表す.

表 2〜表 5 を見ると，訓練データとテストデータ の組合せではそれぞれ自身のテストデータで最も高 い BLEU 值を取得したことがわかる. $\mathrm{J} \rightarrow \mathrm{C}$ 文字レ ベルの Transformer モデルでは，我々の WCC-JC は OpenSubtitles 自身による翻訳よりも効果的であり， WCC-JC の汎化性が示された。また，C，Dのいずれ においても，WCC-JC は ASPEC-JC や OpenSubtitles よりも良い結果を得ることができた。 さらに，各表 の結果を比較すると，基本的には $\mathrm{J} \rightarrow \mathrm{C} 、 \mathrm{C} \rightarrow \mathrm{J}$ のい ずれの方向においても，文字レベルの Transformer モデルがより有効であることがわかる.

## 4.3 人手による評価

人手評価基準として, 特許庁が公開している「特許文献機械翻訳の品質評価手順 ${ }^{7)}$ の中の「内容の伝達レベルの評価」（JPO スコア）を採用した。これは 機械翻訳結果が原文の実質的な内容をどの程度正確 に伝達しているかを，参照訳の内容に照らして 5 段階（評価値 5 が最もよく， 1 が最も悪い）の評価基準で主観的に評価するものである.

WCC-JC のテストデータ C については， $\mathrm{J} \rightarrow \mathrm{C}$ と

図 2 人手による評価の結果（日本語 $\rightarrow$ 中国語）

図 3 人手による評価の結果（中国語 $\rightarrow$ 日本語）

$\mathrm{C} \rightarrow \mathrm{J}$ の文字レベル Transformer の 2 つの実験で最も 高い BLEU 値が観測された。より良い評価を行うた めに，JPO スコアを用いてこの 2 つの翻訳結果を人手評価することにした．評価は A，B，Cの 3 つの 評価者グループで分担した（評価者たちは日本留学の経験があり，日本語能力試験 $\mathrm{N} 2$ 以上の資格を 持つ). 各グループは 2 人ずつ独立に評価し，平均 を取った. 図 2 と図 3 は $\mathrm{J} \rightarrow \mathrm{C} 、 \mathrm{C} \rightarrow \mathrm{J}$ の人手評価結果（グラフ内の数字は各評価値の割合を，グルー プ名の後の括弧内の数字は評価値の平均を表す). $\mathrm{JPO}$ スコアの平均値について, $\mathrm{J} \rightarrow \mathrm{C}$ では 3.87, 3.90, 4.00， $\mathrm{C} \rightarrow \mathrm{J}$ で 3.97，4.04，4.07，高い結果になった. WCC-JCコーパスの性質上，非常に短い文が多いの
表 2 文字レベル日本語 $\rightarrow$ 中国語翻訳実験結果（BLEU 値）

表 3 Subword レベル日本語 $\rightarrow$ 中国語翻訳実験結果（BLEU 值）

で，この結果がどの程度満足のいくものなのかはよ り深く分析する必要がある．また，別の実験につい ても評価を行い，結果の違いとその理由を明らかに する必要がある.

## 5 おわりに

本研究では，日中対訳コーパス WCC-JC を紹介し た. 本コーパスはWebをクロールし，日中対訳文を 自動的に収集し, 作成した. 最終的に約 75 万文対 の日中対訳データが得られた. 本コーパスは現時点 で一般に利用できる日中コーパスの中では規模が大
きく，既存のコーパスではあまり扱われてこなかっ た話し言葉の対訳も対象している.

語学講座のテキストから抽出した会話文を用い た実験では，BLEU 值は低いものの，比較した日中 コーパスの中では最も高い精度で翻訳できることを 確認した. 人手による評価も高いものであった.

今後の課題として，より大規模な Web クロール， コーパス作成を行うことが挙げられる。 さらに，対訳文のアライメントを高精度化することも重要な課題である. また，今後より多くの言語対に対応して いくことも検討している.

## 謝辞

本研究にあたり，遼寧省教育庁科学研究一般若手

人材プロジェクト（No.LJKZ0267），潘陽理工大学八 イレベル人材招致研究支援計画 (No.1010147001004) の助成を受けています。また，対訳コーパスの構築 と評価にあたっては，多くの方々のご協力いただき ました.ここに御礼申し上げます。

## 参考文献

[1] Toshiaki Nakazawa, Manabu Yaguchi, Kiyotaka Uchimoto, Masao Utiyama, Eiichiro Sumita, Sadao Kurohashi, and Hitoshi Isahara. ASPEC: Asian scientific paper excerpt corpus. In Proc. 9th Int. Conf. on Language Resources and Evaluation (LREC 2016), pp. 2204-2208, Portorož, Slovenia, 2016. European Language Resources Association (ELRA).

[2] Caroline Lavecchia, Kamel Smaili, and David Langlois. Building a bilingual dictionary from movie subtitles based on inter-lingual triggers. In Proceedings of Translating and the Computer 29, London, UK, November 29-30 2007. Aslib.

[3] Chenhui Chu, Toshiaki Nakazawa, and Sadao Kurohashi. Constructing a Chinese-Japanese parallel corpus from Wikipedia. In Proceedings of the Ninth International Conference on Language Resources and Evaluation (LREC'14), pp. 642-647, Reykjavik, Iceland, May 2014. European Language Resources Association (ELRA).

[4] R. Pryzant, Y. Chung, D. Jurafsky, and D. Britz. JESC: JapaneseEnglish Subtitle Corpus. Language Resources and Evaluation Conference (LREC), 2018.

[5] Pierre Lison, Jörg Tiedemann, and Milen Kouylekov. OpenSubtitles2018: Statistical rescoring of sentence alignments in large, noisy parallel corpora. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), Miyazaki, Japan, May 2018. European Language Resources Association (ELRA).

[6] Makoto Morishita, Jun Suzuki, and Masaaki Nagata. JParaCrawl: A large scale web-based English-Japanese parallel corpus. In Proceedings of the 12th Language Resources and Evaluation Conference, pp. 3603-3609, Marseille, France, May 2020. European Language Resources Association.

[7] Guokun Lai, Zihang Dai, and Yiming Yang. Unsupervised parallel corpus mining on web data. ArXiv, Vol. abs/2009.08595, , 2020.

[8] 中澤敏明, 李凌寒, MatissRikters. ビジネスシーン対話対訳 コーパスの構築と対話翻訳の課題. 第 27 回年次大会 発表論文集, pp. 1375-1380. 言語処理学会, 2021.

[9] Jinyi Zhang and Tadahiro Matsumoto. Corpus augmentation for neural machine translation with chinese-japanese parallel corpora. Applied Sciences, Vol. 9, No. 10, 2019.

[10] Xiaoya Li, Yuxian Meng, Xiaofei Sun, Qinghong Han, Arianna Yuan, and Jiwei Li. Is word segmentation necessary for deep learning of Chinese representations? In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 3242-3252, Florence, Italy, July 2019. Association for Computational Linguistics.

[11] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A fast, extensible toolkit for sequence modeling. In Proceedings of NAACLHLT 2019: Demonstrations, 2019.


# 言い誤りを含む日本語二重目的語文の理解過程

山元海渡 ${ }^{1}$ 木山幸子 ${ }^{2}$ 汪敏 ${ }^{2}$ 井出彩音 ${ }^{1}$ 寺尾康 ${ }^{3}$ 小泉政利 ${ }^{2}$
${ }^{1}$ 東北大学文学部言語学研究室 ${ }^{2}$ 東北大学大学院文学研究科言語学研究室
3 静岡県立大学国際関係学部国際言語文化学科
kaito.yamamoto.p8@dc.tohoku.ac.jp

## 概要

本研究では, 助詞交換型の言い誤りを含む日本語二重目的語文の理解過程を検討する。旧情報位置と 語順, さらに統語構造と出来事の順序の一致性が助詞レベルにおける交換型の言い誤り理解にどのよう な影響を与えるかについて, 文理解プロセスを意味正誤判断課題の正答率と反応時間を通じて検討した. その結果, 3 つの要因がそれぞれ正誤の文理解やそ の再現の仕方に影響することを例証した。

## 1 はじめに

言い誤りは, 話者が意図した発話と, 文産出の過程で何らかの誤作動のあった結果の発話の 2 つを同時に手に入れられるので，文産出の仕組みを知る上 で重要な手がかりを持つ [1]. 言い誤りは「故意に ではない, 発話の意図からの逸脱」と定義され, 日本語の言い誤りの研究では, 英語とは逆に内容語は そのままで機能語のみが動いてしまう言い誤りが多 い，限られた助詞同士を誤りやすく，特に「が，を， に，の」のグループ内での言い誤りが多いなどの,日本語に特徵的な傾向が見られている [1][2]. こう した言い誤りについて, 文産出研究に比べ文理解の 観点から検討した研究は, [3] を除いてほぼ皆無で あるが，なぜこうした誤りを起こしてしまうかとい う心理的過程を解明するために, 文理解の実験的検討が求められる. そこで本研究では, 先行発話提示後に言い誤りを含んだ意思表明文を提示する意味的整合性判断課題によって, 助詞交換型の言い誤り

(1)を含む日本語二重目的語文の処理を検討した.

(1) 先行発話: 応接間にテーブルがあるよ。返答:

a. テーブルにコーヒーを置こう。（正文）

b. コーヒーにテーブルを置こう。（誤文）

二重目的語構文の基本語順については多くの研究 がなされているが, 未だに議論の余地がある. 『現代日本語書き言葉均衡コーパス』から二重目的語構文の基本語順を予測する統計モデルを議論した研究 [4] では，旧情報が新情報に先行する文が好まれ る現象 (“given-new ordering”) が, 直接目的語と 間接目的語間の語順に関して確認された. また, 熟語や複合語を広辞苑から抽出し, 二格を目的語にと る動詞とヨ格を目的語に取る動詞の数を比較し基本語順を捉えようとした研究 [5] では, 日本語の二重目的語構文の基本語順は，「間接目的語-直接目的語（「にを文」）」であることが示唆された.し かし, 抽出した熟語や複合語は二格とヨ格のどちら を目的語にとるかは動詞の特性によって異なること から, 二重目的語構文の基本語順は動詞の特性を越 えた 一貫した傾向を見出しにくい可能性が考えら れる.

これらを踏まえた先行研究 [3] では, 日本語の二重目的語構文において，旧情報を先に提示するか否 かと, 文の語順が基本語順かかき混せ語順かという 2 つ要因が言い誤りの検出のしやすさに影響する という仮説から，言い誤りを引き出す問いかけに応答する対話の自己ぺース読みによる意味的整合性判断課題を行った. その結果, 読み時間では正文誤文共にかき混ぜ語順が基本語順に比べて有意に長く,正答率では正文でかき混ぜ語順が基本語順に比べて 有意に正答率が低く，旧情報が後でかき混ぜ語順の 時に有意に正答率が低い結果が得られた。「間接目的語-直接目的語」の語順, すなわち直接目的語が 述語に近接するという選好性が再認された。

こうした二重目的語構文の語順と処理負荷の研究 は, 日本語以外の言語でも頻繁に研究されている.失語症者と健常者を対象に, 統語的構造と現実の出来事の順序が一致している文の方が理解しやすいと いう仮説 (“Isomorphic Mapping Theory") (2) を提唱した研究 [6] では, 英語の二重目的語構文を用い たオフラインの意味的整合性判断課題を通して仮説 を検証した. その結果, 失語症者は一致文に比べて 不一致文の正答率が有意に低く, 失語症者と健常者

の間で一致文の正答率では有意差が見られなかった ものの, 不一致文の正答率で有意差が見られたとい う結果が得られ，仮説を支持した.日本語でも統語的構造と出来事の順序が一致している文のほうが処理負荷が低く，理解しやすいことが示唆される.

(2) Isomorphic Mapping Theory $の$ 例

She put the crayon on the pencil. (Isomorphic)

$\mathrm{X}$ acts on $\mathrm{Y}$ placing it on $\mathrm{Z} \quad$ event

She tapped the crayon with the pencil. (Nonisomorphic)

$X$ uses $Y$ to tap $Z$ event

以上に基づき, (3), (4) のような二重目的語構文に関 して3つの仮説を立てた.

(3)「にを文」

先行発話: 応接間にテーブル/コーヒーがあるよ。返答:

a. テーブルにコーヒーを置こう。（正文）

b. コーヒーをテーブルに置こう。（正文）

c. テーブルをコーヒーに置こう。（誤文）

d. コーヒーにテーブルを置こう。（誤文）

(4) 「でを文」

先行発話: 居間にフォークハパンケーキがあるよ。返答:

a. フォークでパンケーキを食べよう。（正文）

b. パンケーキをフォークで食べよう。（正文）

c. フォークをパンケーキで食べよう。（誤文）

d. パンケーキでフォークを食べよう。（誤文）

仮説 1 二重目的語構文において, 先行研究で旧情報が先にある文のほうが，後にある文に比べて意味的整合性を判断しやすい．したがって，「テーブ ル」 が旧情報であれば (3a, c/4a, c) が，「コーヒ 一」 が旧情報であれば (3b, d/4b, d) が，もう一方 に比べ整合性判断の正答率が高く反応時間が短い.仮説 2 二重目的語構文の基本語順である「間接目的語-直接目的語」の語順, 寸なわち直接目的語が 述語に近接する語順のほうが，そうでないかき混ぜ 語順に比べて意味的整合性を判断しやすい. したが って，「にを文」(3a, d) や「でを文」(4a, d) のほう が，かきまぜ語順である「をに文」(3b, c) や「をで 文」(4b, c) に比べ意味的整合性判断の正答率が高 く反応時間が短い.

仮説 3 二重目的語構文において, 統語構造と現実 の出来事の順番が一致する文は, 不一致文より処理負荷が低い。「にを文」では直接目的語が先に来る
かきまぜ語順文が一致文であり，「でを文」では直接目的語が後に来る基本語順文が一致文であること に照らせば, (3b, d/4a, c) のほうが, (3a, c/4b, d) に比 べ意味整合性判断の正答率が高く反応時間が短い.

## 2 方法

## 2.1 実験参加者

日本語を母語とする日常生活に支障のない東北大学学部生および大学院生 40 人（女性 19 人, $20.42 \pm 2.26$ 歳） が実験に参加した。

## 2.2 刺激文

二重目的語文 (ターゲット文) と目的語を含んだ 先行発話文 96 セット用意した. そのうち 48 セット は二格名詞， ヨ格名詞，動詞を含む文 (にを文) で，全てニ格名詞の意味役割が [着点], Э格名詞の意味役割が [対象] の文とした. 残り 48 セットは, デ 格名詞とヨ格名詞を含む文 (でを文) であり, 全て デ格名詞の意味役割が [道具], Э格名詞の意味役割が [対象] の文とした. 二格名詞，デ格名詞， 格名詞は全て無生物で，身体部分や抽象概念ではない ものを使用した。ターゲット文は，旧情報の位置 (前/後) と語順 (基本語順/かき混ぜ語順) を操作し て 4 パターン用意し，さらにその 2 つの名詞句を入 れ替えることで誤文を用意した. 先行発話文は，夕一ゲット文に含まれる名詞を利用して作成した (付録)．いずれも。すべての文の間で, 同じ名詞と動詞 を 2 回以上使わないようにした。二重目的語構文の 2 つの名詞句の間で文字数, モーラ数, 親密度 [7] の平均に有意な差がないことを確認した。これらの セット内のパターンは参加者間でカウンターバラン スをとり，刺激文の提示順は参加者ごとにランダム に呈示した.

## 2.3 手続き

参加者は，コンピュータのモニタに $1500 \mathrm{~ms}$ 間提示される先行発話と,ターゲット文を 1 文ごとに読 み，ターゲット文の画面で意味的に整合しているか どうかの判断を，ボタン押しによって行った (図1).本試行の前に練習を行った。

課題終了後に, Google form によるフォローアップ 調查を実施した. 各参加者が提示されたパターンに よる誤りを含む 48 文において，この文の話し手が 本来意図していた発話はどのようなものだと考えら

れるかを作文するよう求めた。

$2000 \mathrm{~ms}$

$1500 \mathrm{~ms}$

時間

図 1 意味的整合性判断課題試行例

## 2.4 分析

ターゲット文整合性判断タスクの反応時間, 回答 の正答率を従属変数, 旧情報の位置, 語順を独立変数として, 線形混合効果 (linear-mixed-effect: LME) モデルによる分析を行った. ランダム要因として，参加者と刺激文を含めた。

## 3 結果

仮説 1 の旧情報の位置に応じた意味正誤判断の正答率（図 2）と反応時間（図 3）について，「にを 文」の正文では，旧情報の位置が前にある文のほう が後ろにある文より正答率が有意に高く $[\beta=0.048$, $t(850.917)=1.881, p=0.060]$, 反応時間が短かった $[\beta=0.148, t(753.641)=1.891, p=0.059]$. 誤文に関し ては，旧情報の位置の影響は正答率においても $[\beta=$ $0.000, t(850.917)=0.011, p=0.991]$ 反応時間 $[\beta=$ $0.061, t(185.443)=0.765, p=0.444]$ においても有意 ではなかった。「でを文」では, 正文の正答率（図 4）は旧情報の位置が前にあるほうが有意に高かっ たが $[\beta=0.052, t(851.722)=2.338, p=0.020]$, 正文 の反応時間（図 5） $[\beta=0.030, t(850.002)=0.339, p=$ $0.735]$, 誤文の正答率 $[\beta=0.017, t(852.318)=0.577$, $p=0.564]$ と反応時間 $[\beta=0.045, t(897.000)=0.526$, $p=0.599]$ においては旧情報の位置の有意な影響は 認められなかった。

仮説 2 の語順の要因の影響は，「にを文」の正文 では正答率 $[\beta=0.040, t(851.138)=1.565, p=0.118]$ においても反応時間 $[\beta=0.027, t(761.725)=0.342, p$ $=0.733]$ においても有意ではなかった. 誤文でも同様に, 正答率 $[\beta=0.042, t(851.138)=1.320, p=$ $0.187]$ でも反応時間 $[\beta=0.100, t(185.443)=1.269$, $p=0.205]$ でも有意ではなかった. 一方「でを文」 では, 正文の正答率は基本語順文 (「でを」) がか き混ぜ語順文 (「をで」) より有意に高かった $[\beta=$ $0.056, t(851.931)=2.504, p=0.013]$. その他, 正文の 反応時間 $[\beta=0.103, t(850.017)=1.151, p=0.250]$,誤文の正答率 $[\beta=0.022, t(852.495)=0.743, p=$ $0.457]$ と反応時間 $[\beta=0.133, t(897.000)=1.557, p=$ 0.120] では有意ではなかった.

また「でを文」の正文の意味判断の正答率 (図 4) と反応時間 (図 5) において, 旧情報位置と語順の 交互作用が有意だった. 旧情報が後にあるかき混ぜ 文は, 他の条件に比べて有意に正答率が低く $[\beta=$ $0.073, t(850.722)=2.318, p=0.021]$, 反応時間が長 かった $[\beta=0.224, t(850.002)=1.778, p=0.076]$.

仮説 3 の統語構造と現実の出来事の一致は, 仮説 2 と同様の比較で検証される. 上述した「でを」文 の正文の正答率の語順の主効果が有意だったという 結果は, 構造と出来事の一致文 (正順に相当) のほ うが不一致文 (かきまぜ語順に相当) より有意に正答率が高いことを示す.

フォローアップ調查の結果では, 誤文の訂正方略 の選好性に関して，「にを」文と「でを」文の両夕 イプにおいて助詞の順序と訂正方法の連関が有意で あった (「にを」文: $\chi^{2}(1)=49.40, p<0.001$ ，「で を」文: $\left.\chi^{2}(1)=21.85, p<0.001\right)$. 誤文の語順が基本語順 (にを，でを) である場合は名詞を入れ替える ことで基本語順を維持するように訂正される傾向，誤文の語順がかき混ぜ語順 (「をに/をで」) である 場合は助詞を入れ替えることで基本語順（「にを/ でを」) になるように訂正される傾向が示された.

## 4 考察

本研究では，言い誤りを含む文の理解過程に着目 し, 旧情報位置と語順, さらに統語構造と現実の出来事の一致性が助詞レベルにおける交換型の言い誤 り理解にどのような影響を与えるかについて, 先行研究 [3] に比べ時間的な制約を加えたパラダイム によって文理解プロセスにより注目して検討した.

二重目的語構文を用いて意味的整合性判断課題を 実施した結果, 正文の正答率と反応時間における旧情報位置の有意傾向が見られ, 新情報が旧情報に先行する文の方が，旧情報が新情報に先行する

「given-new ordering 文」に比べて反応時間が長く 正答率が低かった. 新情報が旧情報に先行する文の 処理負荷の高さが明らかになり，仮説 1 を支持した. これは『現代日本語書き言葉均衡コーパス』を用 いた研究 [4] とも整合する.

仮説 2 の語順の影響について, 先行研究 [3] で見 られた「にを文」の反応時間のオンライン処理上で の有意な語順の影響は, 本研究では見られなかった.

ただし，フォローアップ調査で参加者が誤文の訂正方略の結果としては, 誤文のパターンによらず基本語順で産出されており，直接目的語を動詞の直前に 置くことを好む傾向が再現された。

オンライン実験において先行研究 [3] の結果が 再現されなかったことは, 本研究とのパラダイムの 違いを反映していると考えられる. 本研究では先行発話文を提示した後, ターゲット文が提示された時点でできるだけ早く正確に意味的整合性判断をする ように求めた. それに対して先行研究では, 対話性 を含んだ問いかけの先行発話文と応答のターゲット 文の双方が自己ペース読みであり，ターゲット文を 読んでキーを押した後に，新たな判断画面が出てか ら整合性判断をするように求められた。

こうしたパラダイムの違いがもたらした影響とし て, 2 つの可能性がある. 第一に, 時間的な制約の有無による文処理プロセスの違いである. 先行研究で は, 文のターゲット文の内容を思い出しながら意味的整合性を判断するという，記憶再認の過程が含ま れていた. 語順は, 記憶再認により強く影響するこ とが示唆される. それに対して本研究では, そうし た再認のプロセスは介在しない, より純粋な瞬時の 文処理過程を反映していると考えられる. そうした 瞬時の文処理過程では, 語順より情報構造の影響が より強くなるという可能性が考えられる. オフライ ンで行ったフォローアップ調査の誤文の訂正方略に おいてもかき混ぜ語順より基本語順が強く好まれて いた結果も，この可能性を支持する.

第二の可能性は, 対話性の有無である. 先行研究 では問いかけの形で先行発話文と応答文が提示され た際，それぞれの文の呈示位置がスライドの上下に 配置されたことで, 両者の話し手が異なることがよ り視覚的に強調された. それに対して本研究では, どちらの文もスライドの中央に配置した. この対話性の違いが, 語順と情報構造の文処理負荷に与える 影響に関係しているかもしれない。

また, 仮説 2 の語順と仮説 3 の構造-出来事一致 の要因は，ターゲット文の正文に対して異なる予測 を与えた. すなわち「でを」文においては，語順と 構造-出来事一致の両要因は同様に「をで」文が処理負荷を高くする条件（かきまぜ、不一致）であつ た. 一方「にを」文では, 語順の観点からはかき混 ぜの「をに」文が処理負荷が高くなるが, 構造-出来事一致の観点からは，「をに」文は逆に構造-出来事の順序が一致するため文処理を促進すると予測
された. その結果, 語順と構造-出来事一致の両要因 の予測が一致する「でを」文の正文では, 基本語順 で一致文である「でを」文が，かき混ぜ語順で不一致文である「をで」文より正答率が高かった（反応時間の差は有意ではなかった）. しかし両要因の予測が異なる「にを」文では, 正文誤文の正答率と反応時間のすべてで有意な効果が見られなかった. か き混ぜ語順の効果と構造-出来事の順序の一致の効果が互いに打ち消し合った可能性も考えられる.

さらに，「でを文」の正文の正答率と反応時間に 見られた交互作用は, 旧情報が後にくる場合, かき 混ぜ語順で不一致文となる「をで」文 (4b) の処理負荷がとりわけ高くなることを示唆している.これ は, 先行発話の (4)「フォーク」のように, 道具を 含むデ格名詞が旧情報となる場合である. 同じ (4b) のかき混ぜ語順の不一致文でも，「パンケーキ」の ような対象を示すヲ格名詞が旧情報となっている場合には, 処理負荷は高くならなかった.「にを」文 にはこの交互作用は見られなかった. このような結果は，「にを」文に比べ「でを」文では，2つの目的語間で項の必須性に差があることと関係するかもし れない.「でを」文の道具のデ格は, 対象のヲ格よ り項の必須性が相対的に低いが，「にを」文の着点 の二格は, 対象のヲ格とともに文を成す重要な項で ある [8]. 必須性の低い項は, 基本語順文で構造-出来事の順序が一致する形で表現されることが読み手 にとくに強く期待され, それを逸脱した非典型的な 文に接すると混乱が生じるのだと解釈される.

以上のように，本研究は，言い誤りを含む二重目的語文の理解過程において, 旧情報の位置, 語順,統語構造と現実の出来事の順序の一致の 3 つの要因 がそれぞれ影響することを示した。

## 参考文献

1. 寺尾康 (1992)「第 6 章 文産出」 石崎俊・波多野誼余夫（編）『認知科学ハンドブック』 371, 379-380. 東京 : 共同出版.

2. 寺尾康 (2002) 『言い間違いはどうして起こ

る?』東京 : 岩波書店.

3. 井出彩音・寺尾康・木山幸子 (2021) 「言い誤り の理解過程: 日本語二重目的語構文の意味的整合性判断課題による検討」『日本言語処理学会第 27 回年次大会発表論文集』 729-733.

4. 浅原正幸・南部智史 - 佐野真一郎 (2018) 「日本語の二重目的語構文の基本語順について」『言語資源活用ワークショップ発表論文集』 3: 280-287.

5. 遠藤喜雄 (2014) 『日本語カートグラフィー序説』 東京 : ひつじ書房, 90-110.

6. O'grady, W., Lee, M. (2005) A mapping theory of agrammatic comprehension deficits. Brain and Language 92: 91-100.
7. 天野成昭・小林哲生 (2008) 『基本語データベー ス 語義別単語親密度』東京: 学習研究社.

8. 丸山直子（2016）「格助詞『に』と『で』の深層格 : 出現状況把握に向けての問題点の整 理」

『日本文學』112: 175-194. 東京女子大学
刺激文の作成例 (「にを」文)

刺激文の作成例 (「でを」文)

図 2 「にを」文 意味正誤判断平均正答率 (エラーバー: 標準誤差)

図 3「にを」文 意味正誤判断平均反応時間 (エラーバー: 標準誤差)

図4「でを」文 意味正誤判断平均正答率 (エラーバー: 標準誤差)

図 5 「でを」文 意味正誤判断平均反応時間 (エラーバー: 標準誤差)


# PresenSum: トーク音声とスライド画像情報を入カとする プレゼンテーション要約

斉藤いつみ 西田京介吉田仙
日本電信電話株式会社 NTT 人間情報研究所
\{itsumi.saito.df, kyosuke.nishida.rx, sen.yoshida.tu\}@hco.ntt.co.jp

## 概要

プレゼンテーションのトーク音声とスライド画像集合を大力として，テキストの要約を出力する新 たなプレゼンテーション要約タスク PresenSum を提案する。学会発表の共有サイトからデータセットを 収集，分析し，本タスクが既存のテキスト要約タス クと異なる特徴があることを確認した. さらに，テ キストで事前学習された Encoder-Decoder モデルを ベースとしたプレゼンテーション要約モデルを構築 し，トーク音声の音声認識テキストとスライド画像 の文字認識テキストの両方を入力することの効果や スライド中の単語の大きさ，配置などのレイアウト 情報や画像特徴などを追加する効果を検証した。

## 1 はじめに

テキスト要約技術は言語処理における重要な技術分野の一つであり [1]，言語モデルの進展とともに 大きく発展している $[2,3,4]$. 一方，現実社会におけ る様々なニーズに対応するためには，テキスト以外 の音声や画像などの情報も入力とするマルチメディ アデータの要約も重要である $[5,6,7]$. 本研究では， プレゼンテーションのトーク音声とスライド PDF ファイルから得られた画像情報を入力とし，テキス 卜要約を生成する新たなプレゼンテーション要約タ スク PresenSum を提案する. プレゼンテーションを 対象とする要約研究は一部存在するが，トーク音声 のみを入力とするタスク $[8,9]$ や，動画中の粗い画像情報を利用するタスク [10] であり，高精細なスラ イド画像情報とトーク音声を同時に考慮したプレゼ ンテーション要約については取り組まれていない。

図 1 に PresenSum の概要を示す. 本研究では, トーク音声とスライド画像から抽出したテキスト情報に加え，スライドテキストのレイアウト（テキス トのサイズや配置情報）や画像情報を利用した要約

図 1 PresenSum タスクの概要.トーク音声，スライド画像集合を入力してテキスト要約を生成する。

生成を検証する．音声認識によって得られたトーク スクリプトは誤りも含むが，スライドテキストには キーワード的に重要な内容が記載されているため,双方を大力することで要約の質が向上することが 期待できる．また，スライド中の文字には色や大き さ，配置などで重要箇所が視覚的に理解しやすい装飾が施されているため，これらの情報も要約におい て重要な情報と考えられる．PDFなどの文書画像の 質問応答に関する研究は最近盛んに行われており $[11,12,13]$ ，文書画像中の単語の配置や画像情報の 有効性が示されているが，スライド画像を含む要約 タスクにおいて有効性は検証されていない。

本研究の貢献は，1) PresenSum のデータセット収集と分析，要約モデルを構築し，2) トークスクリプ トとスライドテキストの双方を入力することの効果検証，3) スライドテキストのレイアウト・画像情報 を入力することの効果検証を行った点である.

## 2 PresenSum データセット

## 2.1 データセットの収集

学会等のプレゼンテーション動画・資料がアーカ イブされている videolectures.NET ${ }^{1)}$ から動画, スライ

1) http://videolectures.net/
表 1 既存の要約データセットとの比較.

ド PDF データ, 要約テキストが存在しているデータ を収集した．要約テキストは，上記サイトの各プレ ゼンテーションページに記載された Description テキ ストを収集した. 動画から音声データを抽出し，ス ライド PDF はページごとに画像に変換した. デー タ数合計は 2305 件であり，動画の平均時間は 1,100 秒，スライドの平均枚数は 30.8 であった. トーク スクリプト，スライドテキストはそれぞれ Google Speech/Vision API $^{2 ）}$ を用いて抽出した. 以降，それ ぞれ ASR テキスト，OCR テキストと表記する。

## 2.2 既存の要約データセットとの比較

本タスクは入力にテキスト以外の情報も含むが， ASR や OCR によって変換したテキスト情報が代表的な入力となるため，本節ではテキスト情報のみ に着目した比較を行う. 表 1 に代表的なテキスト 要約データセットである CNN/DM [14]，XSum [15] (ニュースドメイン)， ArXiv [16]，PubMed [16]（論文ドメイン）と PresenSum の比較を示す. 既存デー タセットについてはそれぞれ train データから 10000 件をランダムサンプリングして指標を計算した.

比較指標 各データの特徴を表す指標として，入力・要約の単語数と, [17]にて提案された Coverage, Density, Compression の 3 指標の合計 5 つの指標を 用いる. Coverage は要約の単語が入力テキストに よってどの程度カバーされているか, Density は要約と入力テキストが連続して一致した部分単語列の 平均長がどの程度か, Compression は入力テキスト が要約テキストの何倍の長さかを表す.

入カ・要約単語数の特徵 PresenSum は, ASR と OCR を合計した入力単語数が平均 5,611 語, 要約単語数が平均 187 語と, ニュース要約 (CNN/DM, XSum）に比べて入出力が長い. 入出力単語数の観点では Compression 指標も含め論文要約タスクの ArXivに近いと言える.
/
}

図 2 プレゼンテーション要約モデルの構成. Encoderに OCR および ASR テキストと，OCR テキストのレイアウ 卜情報や画像情報を追加する。

入カ・要約単語の一致度の特徵 PresenSum の Coverage は CNN/DM や ArXiv, PubMed と同程度の高 い値であり，入力テキストの単語を適切に利用し ながら要約を生成することが求められるタスク と言える。また， ASR/OCR 単体のデータに比べて PresenSum データでは Coverage が大きく向上してお り，ASR/OCR テキスト双方を入力することで要約 に必要な単語が補完されることが示唆される。一方，Density について PresenSum は Arxiv 等に比べて 低い值である．これは，要約テキストに出現する単語が ArXiv 等と比べて入力テキスト中に散らばって 存在しており，連続した単語列の表現をそのまま利用する割合が少ないことを示す. ASR テキストは話 し言葉であり㔯長表現や認識誤りも含まれること， OCR テキストもキーワード的な表現が多く要約テ キストとスタイルが異なることが原因と考える。

以上の指標から，PresenSum は正解要約の単語 が入力テキスト中にどのように分布しているかに ついて従来の要約データとは異なる特徴を持ち, Compression が高くDensity が低い点で既存データに 比べて要約生成が難しいデータセットといえる.

## 3 プレゼンテーション要約モデル

図 2 にモデル構成を示す. 生成型要約を行うた め, Encoder-Decoder モデルをベースモデルとした. ASR，OCR テキスト系列をべース入力とし，レイア ウト，画像特徴量系列を追加する。

テキスト系列 ASR テキスト単語系列 $X_{a s r}$, OCR テキスト単語系列 $X_{o c r}$ を利用する。これらのテキ ストをモデルに対応したトークナイザでサブワード に分割し，OCR, ASR を表す特殊トークンを用いて $[\mathrm{OCR}]+X_{o c r}+[\mathrm{ASR}]+X_{a s r}$ のように結合する.

レイアウト系列 OCRによって検出された単語の 配置情報 $X_{l o c}$ ，単語のサイズ情報 $X_{\text {size }}$ ，各単語が属 する段落中の単語数情報 $X_{\text {num }}$ を利用する。配置情報は $x_{k}^{\mathrm{loc}}=\left[x_{k}^{\mathrm{min}} / W_{\mathrm{im}}, y_{k}^{\mathrm{min}} / H_{\mathrm{im}}, x_{k}^{\mathrm{max}} / W_{\mathrm{im}}, y_{k}^{\max } / H_{\mathrm{im}}\right]$

をそれぞれ 1000 倍した整数 [18] とする. サイズ 情報 $x_{k}^{\text {size }}$ は各単語の高さ情報 $y_{k}^{h}=y_{k}^{\text {max }}-y_{k}^{\text {min }}$ を計算し, 各プレゼン内の平均サイズ $y_{\text {ave }}^{h}$ を用いて $y_{k}^{h^{\prime}}=y_{k}^{h} / y_{\text {ave }}^{h}$ としたあと, 10 倍して整数化した値を 用いる。なお， $\left(x_{k}^{\min }, y_{k}^{\min }\right),\left(x_{k}^{\max }, y_{k}^{\max }\right)$ はトークン を囲む矩形領域の左上および右下の座標， $W_{\mathrm{im}}, H_{\mathrm{im}}$ は画像の幅及び高さを表す.

画像特徵量系列 OCR 単語の矩形領域ごとに COCO [19] で学習された Faster-RCNN [20]を用いて box head の最終層のベクトルを抽出し画像特徴量系列 $E^{\mathrm{vis}}$ として利用する。

Encoder 入カ Embedding テキスト・レイアウ ト・画像特徵量系列を embedding し, 次のように結合する.

$
e_{t}=\mathrm{LN}\left(e_{t}^{\mathrm{text}}+e_{t}^{\mathrm{add}}\right)
$

LN は Layer Normalization [21] を示す. $e_{t}^{\text {text }}$ は, OCR トークン $x_{t}^{\text {ocr }}$ あるいは ASR トークン $x_{t}^{\text {asr }}$ を基に埋め 込む. $e_{t}^{\text {add }}$ は $e_{t}^{\text {loc }}, e_{t}^{\text {size }}, e_{t}^{\text {num }}, e_{t}^{\text {vis }}$ のいずれかを表 す. $e_{k}^{\text {loc }}, e_{k}^{\text {size }}, e_{k}^{\text {num }}, e_{k}^{\text {vis }}$ は対応するレイアウトトー クン，画像特徴量を線形変換にて埋め込む. ASR トークン部分の $e_{t}^{\text {add }}$ につては零べクトルとする.

Encoder Encoder は $L$ 層の Transformer とする. Encoder 入力 Embedding 系列 $H^{0}=\left[e_{1}^{0}, \ldots, e_{T}^{0}\right]$ を受け 取り, $H^{L}=\left[e_{1}^{L}, \ldots, e_{T}^{L}\right]$ を出力して Decoder に渡す.

Decoder Decoderは $L$ 層の Transformerを用いて，通常の Text-to-Text と同様に生成したトークンを 1 単語ずつ入力し次のトークンを予測する. Decoder で は入力にテキスト以外の情報は入力しない.

## 4 評価実験

評価データ PresenSum データセットを 8:1:1 の 割合でランダムに分割し, 訓練, 開発，テストデー 夕とした. 各データ数は $1844 ， 230 ， 231$ である.

評価指標 ROUGE [22] を使用した. また，正解要約中の単語が生成テキストに含まれるか否かを $1 / 0$ として品詞ごとに集計した品詞カバー率を評価 する. 品詞付与には spacy 3 )を使用した。

実験設定 最長で 16384 トークンを扱うことが できる事前学習済の Longformer Encoder-Decoder モ デル [23]を使用し, 入力系列が上限を上回る場合 は先頭から用いた。学習済モデルの取得や学習は Transformers ${ }^{4}$ を使用した. バッチサイズ 8 , 勾配の 累積ステップ数を 2, 10 エポック学習し, 開発セッ

3) https://spacy.io/

4) https://github.com/huggingface/transformers表 2 ASRテキストと OCRテキストの双方を入力する効果. カッコ内の数字は入力トークンの最大長を表す. 本評価ではレイアウト・画像特徴量系列は使用しない。

図3 生成された要約が正解要約の単語を含む割合.

トでの損失が最小のモデルを選択した。最適化手法 は AdamW [24], 学習率は 5e-5 とした.

## 4.1 評価結果

ASR テキストと OCR テキストの双方を入力する ことは効果があるか？ 表 2 に示す通り，ASR テ キストと OCR テキストの双方を入力した場合が ASR，OCR 単体を入力する場合よりも精度が良かっ た. また, OCR 単体の方が ASR 単体よりも精度が 高かった. 2.2 節の単語の Coverage 指標では ASR 単体の方が OCR 単体よりも高い値だったが，要約生成の結果では逆になった. ASR の認識誤りや話し言葉のスタイルが精度に影響していると考える。

## 入力長を伸ばすことにより精度は向上するか？

表 2 に示す通り，ASR+OCR の場合の入力の最大長を 4096 から 8192 に長くすると精度が向上した。 PresenSum は入力系列全体に分散した情報を要約す ることが必要なデータセットと言える.

## ASR テキストと OCR テキストはどのような補完関係があるか？図 3 に出現頻度が高い 10 種の品詞ごとの品詞カバー率を ASR, OCR, ASR+OCR の 入力ごとに示した. まず，OCRを入力することで 固有名詞（PROPN）のカバー率が大きく向上した. ASR においては固有名詞の認識が難しいが，OCR では固有名詞が取得しやすいため特に補完効果 があったと考える. 最も出現頻度が高い普通名詞 （NOUN）においても ASR と OCR の双方を入力する ことでカバー率が向上した.

## OCR テキストのレイアウト・画像情報の効果はあ

るか？ 表 3 に OCR のレイアウト情報や画像情報 を追加した場合の効果について検証した結果を示 す. OCR のサイズ $\left(e^{\text {size }}\right)$, 段落中の単語数 $\left(e^{\text {num }}\right)$ を追加するとべースラインよりも精度がわずかに 向上した. 段落中の単語数は単語のまとまりを表 し，本文中のテキストであれば多くなり，図表中の 語であれば 1 語で独立しているケースが多いなど， OCR テキストがどのような領域に属しているかを 間接的に表す.このような OCR テキストの意味的 な領域の理解をさらに深めることが重要と考える。一方，配置情報 $\left(e^{\text {loc }}\right)$ ，画像情報（ $e^{\text {vis }}$ ) について は精度が向上しなかった. ベースとした Longformer Encoder-Decoder が大量の言語データで学習されて いる一方，今回の学習データが少量のため追加特徴量への適応が不十分であったと考える.

出力例・エラー分析 図 4 に ASR と OCR 双方を モデルに入力した場合の出力例を示す. 正解要約, スライド画像は下記 $\left.{ }^{5}\right) よ り$ 抜粋した. 特筆すべき例 として, ASR/OCR 単体のみを入力した場合では生成されなかった語が要約に含まれた。 スライドと トークの両方で言及されることで，より重要な語と して認識された結果と考える。一方で，いずれかの 入力には記載があるものの ASR と OCR の双方を入力しても生成されない内容も存在した.

PresenSum の課題と展望 本研究で得られた知見 により，音声・画像から得られるテキスト情報を用 いた要約について有望な結果が得られたものの，レ イアウト・画像情報の利用については，fine-tune 時 に特徴量を追加するだけでは十分な効果が得られ ないことがわかった. スライドの意味領域（タイト ル・図表など）の構造的な理解や，事前学習などに よる追加特徴量の理解の強化などの検討が必要であ る.また，音声認識誤りの影響の軽減や音声の重要箇所特定などのため，トーク音声のテキスト以外の 特徴量の効果についても検証の余地がある [25].

## 5 関連研究

プレゼンテーションに関連する要約研究として TalkSum [8], VT-SSum [9], AVIATE [10] などがある. $[8,9]$ はトーク音声の ASR テキストのみを入力し,抽出型の要約タスクを行っている. [9] は抽出型要約の正解データ作成にスライド画像の OCR を利用 した. AVIATE [10] はプレゼンテーションの動画か ら ASR や OCR などを行い，生成型のテキスト要約 を行っている。しかし，OCR については動画中の 粗い画像情報から抽出した上限 500 単語という部分的な利用にとどまっており，高精細なスライド画像 の OCR テキスト全体やテキストのレイアウト等の 詳細情報を利用を想定する我々の設定とは異なる。

## 6 おわりに

プレゼンテーションのトーク音声とスライド画像情報を用いて要約を行う PresenSum タスク提案し， データセットの収集，分析及びモデル評価を行っ た. PresenSum が従来の要約タスクと異なる特徴を もつこと，トーク音声とスライド画像のテキストが 補完関係にあることを示し，要約モデルの入力と して双方を用いることの有効性を確認した。また， OCR テキストのレイアウト・画像情報の効果につい ても初めて検証を行った. PresenSum は言語・音声・画像の融合的な理解が必要となるタスクであり，ビ デオ会議の要約など幅広い分野に応用できる。

5) https://videolectures.net/icml09_frank_mac/

## 参考文献

[1] Hui Lin and Vincent Ng. Abstractive summarization: A survey of the state of the art. In AAAI, pp. 9815-9822, 2019.

[2] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. J. Mach. Learn. Res., Vol. 21, pp. 140:1-140:67, 2020.

[3] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. In ACL, pp. 7871-7880, 2020

[4] Jingqing Zhang, Yao Zhao, Mohammad Saleh, and Peter J. Liu. PEGASUS: pre-training with extracted gap-sentences for abstractive summarization. In ICML, 2020.

[5] Anubhav Jangra, Adam Jatowt, Sriparna Saha, and Mohammad Hasanuzzaman. A survey on multi-modal summarization. arXiv preprint arXiv:2109.05199, 2021.

[6] Ramon Sanabria, Ozan Caglayan, Shruti Palaskar, Desmond Elliott, Loïc Barrault, Lucia Specia, and Florian Metze. How2: A large-scale dataset for multimodal language understanding. In NeurIPS@ViGIL, 2018.

[7] Zhou Y. Zhang J. Li H. Zong C. Li C. Zhu, J. Multimodal summarization with guidance of multimodal reference. In AAAI, pp. 9749-9756, 2020.

[8] Guy Lev, Michal Shmueli-Scheuer, Jonathan Herzig, Achiya Jerbi, and David Konopnicki. Talksumm: A dataset and scalable annotation method for scientific paper summarization based on conference talks. In ACL, pp. 21252131, 2019.

[9] Tengchao Lv, Lei Cui, Momcilo Vasilijevic, and Furu Wei. Vt-ssum: A benchmark dataset for video transcript segmentation and summarization. arXiv preprint arXiv:2106.05606, 2021.

[10] Yash Kumar Atri, Shraman Pramanick, Vikram Goyal, and Tanmoy Chakraborty. See, hear, read: Leveraging multimodality with guided attention for abstractive text summarization. Knowl. Based Syst., Vol. 227, , 2021.

[11] Minesh Mathew, Dimosthenis Karatzas, and CV Jawahar. Docvqa: A dataset for vqa on document images. In WACV, pp. 2200-2209, 2021.

[12] Ryota Tanaka, Kyosuke Nishida, and Sen Yoshida. Visualmrc: Machine reading comprehension on document images. In AAAI, pp. 13878-13888, 2021.

[13] Minesh Mathew, Viraj Bagal, Rubèn Tito, Dimosthenis Karatzas, Ernest Valveny, and CV Jawahar. Infographicvqa. In WACV, pp. 1697-1706, 2022.

[14] Karl Moritz Hermann, Tomas Kocisky, Edward Grefenstette, Lasse Espeholt, Will Kay, Mustafa Suleyman, and Phil Blunsom. Teaching machines to read and comprehend. In NIPS, pp. 1693-1701, 2015.

[15] Shashi Narayan, Shay B. Cohen, and Mirella Lapata. Don't give me the details, just the summary! topic-aware convolutional neural networks for extreme summarization. In
EMNLP, pp. 1797-1807, 2018

[16] Arman Cohan, Franck Dernoncourt, Doo Soon Kim, Trung Bui, Seokhwan Kim, Walter Chang, and Nazli Goharian. A discourse-aware attention model for abstractive summarization of long documents. In NAACL, 2018.

[17] Max Grusky, Mor Naaman, and Yoav Artzi. Newsroom: A dataset of 1.3 million summaries with diverse extractive strategies. In ACL, pp. 708-719, 2018.

[18] Yang Xu, Yiheng Xu, Tengchao Lv, Lei Cui, Furu Wei, Guoxin Wang, Yijuan Lu, Dinei A. F. Florêncio, Cha Zhang, Wanxiang Che, Min Zhang, and Lidong Zhou. Layoutlmv2: Multi-modal pre-training for visually-rich document understanding. In ACL/IJCNLP, pp. 2579-2591, 2021.

[19] TY Lin, M Maire, S Belongie, J Hays, P Perona, D Ramanan, P Dollar, and CL Zitnick. Microsoft coco: Common objects in context. In ECCV, pp. 740-755, 2014.

[20] Ren, Shaoqing, He, Kaiming, Girshicka, Ross, Sun, and Jian. Faster r-cnn: Towards real-time object detection with region proposal networks. In NIPS, pp. 91-99, 2015.

[21] Lei Jimmy Ba, Ryan Kiros, and Geoffrey E. Hinton. Layer normalization. arXiv preprint arXiv:1607.06450, 2016.

[22] Chin-Yew Lin. Rouge: A package for automatic evaluation of summaries. In Text summarization branches out@ACL, pp. 74-81, 2004.

[23] Iz Beltagy, Matthew E. Peters, and Arman Cohan. Longformer: The long-document transformer. arXiv preprint arXiv:2004.05150, 2020.

[24] Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization. In ICLR, 2019.

[25] Alexei Baevski, Yuhao Zhou, Abdelrahman Mohamed, and Michael Auli. wav2vec 2.0: A framework for selfsupervised learning of speech representations. In NeurIPS, 2020 .

## A 補足資料

ASR 単体，OCR 単体，ASR と OCR の双方を入力した場合の要約出力例を図 5 に示す（図 4 は ASR+OCR と参照要約の抜粋である)，正解要約テキストとスライド画像は下記6) より抜粋した. ASR 単体は意味が不明瞭な箇所があるが，ASR と OCR を合わせて入力することで改善がみられる.

## OCR only

We present a multi- Assignment Clustering approach for Boolean data. Our approach is based on a probabilistic representation of cluster centroids, which are characterized by disjunctions of Booleanemissions. We compare the accuracy of different methods at different noise levels, and compare them with other multi-assignment methods. We show that our approach outperforms the state-ofthe-art methods in terms of accuracy. We also compare the performance of different multi- assignment methods with other methods. Our results show that the multi-Assignments approach is more accurate than the state of the art methods, and that it is more robust to noise than the other approaches. Furthermore, our approach is able to estimate cluster centroid mismatch at different levels of noise.

## ASR only

In this paper, we present a probabilistic model for clustering Boolean data where similar objects are allowed to belong to more than one cluster at the same time. The model is based on the notion that the objects and the permissions are independent from each other. We show that the model can be used to infer the permissions of a given object by inferring the permissions from its input data. We demonstrate that the proposed model outperforms the state-of-the-art clustering methods in terms of accuracy and noise. We also demonstrate the effectiveness of our model on a real-world dataset from a Swiss bank. Our experiments on synthetic data demonstrate that our proposed model can outperform the state of the art clustering techniques. We further demonstrate the applicability of our method on real world datasets.

## OCR + ASR

In this paper, we present multi- Assignment Clustering for Boolean Data, a method of pooling data where similar objects are allowed to belong to more than one cluster at the same time. We show that multi assignment clustering can be applied to a variety of applications, such as role mining and role-based access control. We demonstrate the effectiveness of our method on real-world datasets and compare it to several combinatorial methods on synthetic data. We also show that our method outperforms the state-of-the-art methods in terms of accuracy and noise reduction, and that it can also be used to detect wrong or erroneous assignments of objects in real world datasets. The results of our experiments on synthetic datasets show that the method is able to outperform the state of the art.

## Reference

Conventional clustering methods typically assume that each data item belongs to a single cluster. This assumption does not hold in general. In order to overcome this limitation, we propose a generative method for clustering vectorial data, where each object can be assigned to multiple clusters. Using a deterministic annealing scheme, our method decomposes the observed data into the contributions of individual clusters and infers their parameters. Experiments on synthetic Boolean data show that our method achieves higher accuracy in the source parameter estimation and superior cluster stability compared to state-of-the-art approaches. We also apply our method to an important problem in computer security known as role mining. Experiments on real-world access control data show performance gains in generalization to new employees against other multi-assignment methods. In challenging situations with high noise levels, our approach maintains its good performance, while alternative state-of-the-art techniques lack robustness.

図 5 ASR 単体, OCR 単体, ASR と OCR の双方を入力した場合の要約出力例. 赤文字が ASR や OCR 単体入力において も生成された内容. 緑文字が ASR と OCR を両方入れた時のみ生成された内容. 青文字はすべての要約で生成されな かった内容.

6) https://videolectures.net/icmlo9_frank_mac/


# 機械学習と統計的検定を利用した知見獲得とその評価

董卜睿*1 村田 真樹 *22 馬 青*3
*1 鳥取大学大学院 持続性社会創生科学研究科工学専攻
*2 鳥取大学大学院 工学研究科情報エレクトロニクス専攻
*3 龍谷大学 先端理工学部数理・情報科学課程
${ }^{* 1, * 2}\{$ m20j4163a@edu. , murata@ $\}$ tottori-u.ac.jp
${ }^{* 3}$ qma@math. ryukoku.ac.jp

## 概要

本研究では，最大エントロピー法，BERT，SVM の 3 つの教師あり機械学習法と, 符号検定, 区間推定の 2 つの統計手法を用い, 新聞データから単語対 の情報を収集し，知見を獲得する。獲得した情報 (知見)を関連性と有益性に基づき評価する。

関連性評価では, 12 年分の新聞データで訓練し た Word2vec から得た, 事前に人手で設定した単語対 (テーマキーワード対) に最も類似する 500 個の単語と, 人手で単語対について連想した 30 個の単語 を正解として，提案手法によって得られた最も評価 の高い 500 個の単語との一致率を計算した。計算の 結果, 統計的手法が機械学習法を上回った。最も一致率が高かったのは符号検定であり, Word2vec と の一致率は 0.126 , 人手で連想した単語との一致率 は 0.344 であった. 有益性評価は, 提案手法で最も 評価の高い 100 個の単語を取り出し, 被験者がどの 手法から取得したのかを分からないようにして，単語の有益性を評価する。全新聞 (2007 年から 2018 年までの全て) を訓練した Word2vec が最も評価が 高く, 平均の比率は 0.594 である. 提案手法の中で 最も評価の高い手法は BERT であり, 平均の比率は 0.444 となった。

## 1 はじめに

メディアの電子化により，多くの電子テキストが 出現し, そこから重要な情報を素早く入手すること が求められている.

そこで，教師あり機械学習と統計的検定を利用し て，新聞データから様々な分野に関するテーマキー ワード対の知見を獲得することを本研究の目的と する. 本研究では, 教師あり機械学習と統計的検定
で取り出した単語を知見とする。得られた知見の評価に関連性評価と有益性評価を用いる。なお本研究で用いる単語対は「健康」と「病気」,「政治」と 「経済」，「輸入」と「輸出」，「社会主義」と「資本主義」，「オリンピック」と「パラリンピック」であ る.この単語対をテーマキーワード対と呼ぶ，単語対の一方の単語はテーマキーワードと呼ぶ.

## 2 先行研究

村田らの研究 [1] はウェブと新聞から株式相場に おける情報を収集している，パターンと教師あり機械学習を利用して株式相場や経済に関わる様々な 知見獲得を行い，獲得した知見は日本の株式相場の 日々の変動を予測するために使用される.

Bollen ら [2] は, Twitter のメッセージを用いて，大統領選挙と 2008 年の感謝祭に対する人々の感情的 な反応を分析し，ダウ平均の日々の上昇と下降を予測した。

鎌倉 [3] は，多くのテーマキーワード対において，機械学習の最大エントロピー法と統計的検定の符号検定により知見を獲得した。獲得した知見の有効性を人手で評価した．本研究に使用した手法は，鎌倉が使用した 2 つの手法以外に，提案手法として SVM，BERT と区間推定を追加した。また，比較手法として Word2vec を追加している.

## 3 提案手法

テーマキーワード対を含む文章から得られる単語 を素性とする。本研究では, 教師あり機械学習と統計的手法を利用する. 2007 年から 2018 年の毎日新聞テキストデータからテーマキーワード対に関わる 素性を分析し，複数のテーマキーワード対の知見を 収集する. 手法ごとに得られた素性が人にとって役

に立つのかを明らかにするために人手による評価を 行う.

## 3.1 素性分析

テーマキーワード対を $\mathrm{A}, \mathrm{B}$ として以下に提案手法を示す. 本研究では文章として, 新聞の一段落を 利用する。

(段落)をそれぞれ収集する。

・手順 2 : A，Bを消して，Xに置き換える。

-手順 3 : 手順 1 で収集した $\mathrm{A}$ とに関する文章 (段落)をランダムに整列して, 単語 $\mathrm{A} と \mathrm{~B}$ を公平に分析するために，AとBを含む文章 (段落) を同数にする.

・手順 4 : 手法を利用して素性を抽出する.

-手順 5 : 手法ごとに得られた素性の上位 500 個 を取り出す。

$\cdot$手順 6 : 手順 5 で得られた素性を評価する。

## 3.2 最大エントロピー法

最大エントロピー法 $[1,3,4]$ は, どのテーマキー ワードが記事中に出現する可能性が高いかを学習で きる. テーマキーワード $\mathrm{A}, \mathrm{B}$ があるとする. A ま たは Bを含む段落を収集する，収集した段落から A と $\mathrm{B}$ を取り除き， $\mathrm{X}$ とする。学習結果に基づいて， $\mathrm{X}$ にテーマキーワード $\mathrm{A}$ または $\mathrm{B}$ のどちらがあつ たかを推定する．学習段階で，素性に対するテーマ キーワードの重要度を示す正規化 $\alpha$ 值を計算し, 上位 500 個の素性を分析する。

## 3.3 SVM

SVM[5] とは, support-vector machine の略で，空間 を超平面で分割することにより 2 つの分類からなる データを分類する手法である. 2 つの分類が正例と 負例からなるものとすると, 学習データにおける正例と負例の間隔 (マージン) が大きいものほどオー プンデータで誤った分類をする可能性が低いと考え られ，このマージンを最大にする超平面を求めそれ を用いて分類を行う。テーマキーワード対 $\mathrm{A}, \mathrm{B}$ があ るとする，Aまたは $\mathrm{B}$ を含む段落を収集し，その段落から $\mathrm{A}$ と を取り除き, Xとする. その段落と $\mathrm{X}$ に入るものの対を学習データとして超平面を学習す る. 学習で得られたモデルに基づいて, 単語 $\mathrm{X}$ が平面に対してどのあたりにあるかを計算し，Xが $\mathrm{X}$ ま
たは B であるかを推定する．素性分析する方法は以下である。段落を個々の単語に切り分け，学習済み $\mathrm{svm}$ モデルを用いて各単語について分離平面までの 距離を計算する。算出された距離は, それが該当す るエリアとしてプラスマイナスで表現される。分離平面との距離が大きいほど有用な素性である。上位 から 500 個の素性を抽出し，分析する.

## 3.4 BERT

BERT とは, Bidirectional Encoder Representations from Transformers の略で, Jacob Devlin ら [6] の論文で発表された自然言語処理モデルである. ラベル 付けされていないテキストから, 全層で左右両方 の文脈を共同で条件付けすることにより学習する. BERT は双方向の Tranceformerによって学習を行う. テーマキーワード対 $\mathrm{A}, \mathrm{B}$ があるとする. A または $\mathrm{B}$ を含む段落を収集し，その段落から $\mathrm{A}$ と $\mathrm{B}$ を取 り除き，X とする。学習したモデルに基づいて，X を推定する．素性分析の方法は以下である．段落を 個々の単語に切り分け, 学習済み BERT モデルを用 いて各単語についてテーマキーワード対の確率值を 計算し，上位 500 個の単語を有用な素性として抽出 し分析する.

## 3.5 符号検定

符号検定 [3] は, 勝ちと負けや表と裏といった相反する 2 つのペアの差に符号 + と - を割り当てる統計的検定として用いられる. 二項定理に基づく片側検定により， A または B を含む段落の中で $\mathrm{A}$ と B と伴って出現する単語が，いずれのカテゴリーにお いても, 全データでの出現率よりも高い頻度で出現 するかどうかを判定し, 有意確率 $\mathrm{p}$ 值を求める. $\mathrm{p}$值が低いほど有用な素性であるので, 本研究は $\mathrm{p}$ 值 の下位 500 個の素性を取り出し，分析する.

## 3.6 区間推定

テーマキーワード対を $\mathrm{A}, \mathrm{B}$ とする，新聞データ

の出現回数を数える. $\mathrm{A}$ の出現回数は $N_{a}$ 回で, $\mathrm{B}$ の出現回数は $N_{b}$ 回, $\mathrm{A}$ の真の出現率は $\theta$ とする. $N=N_{a}+N_{b}$ とする. 実際の $\mathrm{A}$ の出現率は $\frac{N_{a}}{N}$ によ り求められる. 「真の A の出現率 $\theta$ は概率 $95 \%$ \%で $a \leq \theta \leq b$ の区間にある」と考える.このような 考えを区間推定という。 下限値 a 値が高いほど有用 な素性である。上位の 500 個の素性を抽出する。

表 1 全評価データ

## 4 評価

## 4.1 評価データ

評価には，2007 年から 2018 年の毎日新聞を用い て, 評価データの内訳を表 1 に示す. テーマキー ワード対「政治」「経済」の段落数は 155,776 である が，機械学習手法は 15 万データを訓練すると，時間 がかかるので, 最大エントロピー法, SVM, BERT,符号検定と区間推定の評価データはランダムに抽出 した 40,000 個の段落を用いる. 最大エントロピー法 と SVM は学習データとテストデータの比率は 1 対 1, BERT の訓練データ, 検証データとテストデー 夕の比率は 3 対 1 対 4 となるように全評価データ を分割して用いる. 最大エントロピー法とSVM と BERT は, 訓練データのみから素性を取り出す. (最大エントロピー法では訓練データで学習する正規化 $\alpha$ 値を用いる. SVM と BERT は, 訓練データの段落にあった個々の単語を入力として用いることで素性分析する。）符号検定と区間推定は表 1 の全評価 データを使用した. Word2vec は 2007 年から 2018 年 まで全ての新聞を訓練する。

## 4.2 関連性評価: Word2vec 自動評価

Word2vec とは，大量の電子テキストを解析し，各単語の意味をベクトル表現することができる手法で ある. 単語をベクトル化することで, 単語の意味の 近さを計算し，それを使って似たような意味の単語 を探すことができる．Word2vec で全新聞 (2007 年か ら 2018 年までの全て)を訓練し, テーマキーワード と類似する単語を探し, 類似度の高い 500 語を正解 として提案手法を評価する評価を行う.

・手順 1 : Word2vecに評価データを学習させる.

-手順 2 : 手順 1 で作成したモデルにテーマキー ワードを入力し，テーマキーワードと類似する 単語を求める.

-手順 3 : テーマキーワードとの類似度が最も高 い 500 個の単語を抽出し, 3.1 節で収集した素表 2 単語「健康」の人手連想評価の例

性との一致数を数える。

## 4.3 関連性評価：人手連想評価

3.1 節で収集したテーマキーワード対の手法ごと の素性を評価対象とする. 人手でテーマキーワード 対から連想する単語を 30 個書き出し, 3.1 節で収集 した素性 500 個との一致数を数える. Word2vec は,全部の新聞データを学習する。提案手法と比較する ために使用される. 表 2 と表 3 は連想評価の例であ る. 人手で連想した単語と手法で取り出した上位の 素性が一致したときの数を数える。人手連想評価の 手順は以下のとおりである.

・手順 1 : 人手でテーマキーワード対から連想す る単語を 30 個書き出す.

-手順 2 : 手順 1 で収集した連想語 30 個と 3.1 節 で収集した素性 500 個との一致数を数える。

## 4.4 有益性評価

収集した素性がどの方法で得られたものかを被験者がわからないようにするために，各手法から収集 した素性を合わせて，意味ソート [7] を行う. そし て人手で評価する．意味ソートでは，単語を意味順 に並べることができる。似たような意味を持つ単語 を近くに配置することで，手作業によるチェックを 効率的に行うことができる. 表 4 と表 5 に有益性評価の例を示す.

Word2vec は全部の新聞データを学習する。提案手法と比較するために使用される.
- 手順 1 : 各手法 (最大エントロピー法, BERT, SVM, 符号検定, 区間推定, Word2vec) の素性分析の上位 100 個を取り出す.

-手順 2 : 手順 1 で得られた素性をすべて合わせ て，意味ソートを行う。

-手順 3 : 被験者がどの手法によりその素性が得 られたかを知らない状況で評価する。

評価基準は以下で示す.
表 4 「健康」の有益性評価の例

表 5 「病気」の有益性評価の例

表 6 機械学習手法の正解率

 & 0.9118 & 0.9463 & 0.9599 \\

・○: テーマキーワードの関連語であり, 被験者 はこの素性に興味を持ち，被験者が役に立つと 思う単語.

・ $\triangle$ : テーマキーワードの関連語であり, 被験者 はこの素性に興味を持たず，被験者が役に立た ないと思う単語.

・×: テーマキーワードの関連語でない，または 単語の意味がわからない.

## 5 評価結果

表 6 は，新聞記事のテストデータでの機械学習手法の正解率を示している．表のように，BERT は，他の機械学習手法よりも正解率が高く, 平均正解率 は 0.9297 であった。

表 7 は, 4.2 節の評価の全てのテーマキーワード 対の平均である. Word $2 \mathrm{vec}$ 自動評価は，各手法で 取り出した単語数は 500 個なので，一致の数を 500 で割った比率で表示する。統計的手法が機械学習手法よりも優れていることがわかる. 平均一致率 は 0.126 であった。機械学習の結果は, BERT, ME, SVM の順で一致率が高くなった。

表 8 は， 4.3 節の評価結果である. 4 人の被験者が テーマキーワード対に関して連想した語句 30 個と 五種類の手法で得た素性各 500 個との一致率を求め た. 人手で連想した単語数は 30 なので, 4 人の一致数の平均を 30 で割った比率で表示した. Word2vec 自動評価の結果と同様に, 統計的手法は機械学習手法を上回った。最も性能が良いのは符号検定であ表 7 関連性評価:Word2vec 自動評価結果

表 8 関連性評価:連想評価結果

 & BERT & 符兵 & 区間| \\

表 9 有益性評価結果

 \\

り, 平均一致率は 0.344 である.

表 9 は 4.4 節の有益性評価の評価結果である. 提案手法と Word2vec から各手法の評価の高い 100 個 の単語を取り出し，1 つのテーマキーワード対で 1,200 個の単語 $(100 \times 2$ 単語 $\times 6$ 手法) が評価され る. 被験者がどの手法によりその素性が得られたか を知らない状況で評価する。この評価の被験者は一人である．表 9 では，○は，被験者が有用と考える 単語の比率である。また， $+\triangle$ は，被験者がテー マキーワード対に関連すると考えた単語の比率であ る. 5 つのテーマキーワード対で 1 つの手法で取り 出す単語の総数は 1,000 個なので, 表 9 では 1,000 で割った比率で表示される. 有益性評価の結果は,全ての新聞を訓練した Word2 vec が最も評価が高く,平均の比率は 0.594 である. 提案手法の中で一番良 い手法は BERT で平均の比率は 0.444 となった.今後の課題として被験者を増やしたい。

## 6 おわりに

本研究では, 3 つの教師あり機械学習法と, 2 つ の統計手法を用い，新聞データからテーマキーワー ド対の情報を収集し，関連性評価と有益性評価をす る. 関連性の評価では，符号検定が最も良い性能で あり，性能は 0.344 であった。 3 つの単語を連想し たときに一つを推測できる割合である。また，より 精度を高めるために，手法を組み合わせることは今後の課題としたい，有益性評価では，Word2vec が最 も評価が高く, 平均の比率は 0.594 である. 有益性 については，提案手法の中で最も評価が高かったの は BERT で, 有用単語の比率は 0.444 である. 有用単語の比率を増やす改良は，今後の課題としたい。

## 参考文献

[1] 村田真樹, 中原裕人, 馬青. パターンと教師あり 機械学習と素性分析を利用したウェブと新聞か

らの株式相場に関わる知見獲得. 第 82 回全国大会講演論文集, Vol. 2020, No. 1, pp. 55-56, feb 2020.

[2] Johan Bollen, Huina Mao, and Xiaojun Zeng. Twitter mood predicts the stock market. Journal of Сотриtational Science, Vol. 2, No. 1, pp. 1-8, 2011.

[3] 鎌倉周平. 機械学習と統計的検定を利用した知見獲得の評価実験. 鳥取大学卒業研究発表会論文, 2020 .

[4] Masaki Murata, Kiyotaka Uchimoto, Masao Utiyama, Qing Ma, Ryo Nishimura, Yasuhiko Watanabe, Kouichi Doi, and Kentaro Torisawa. Using the maximum entropy method for natural language processing: Category estimation, feature extraction, and error correction. Cognitive Computation, Vol. 2, pp. 272-279, 2010 .

[5] 村田真樹. 機械学習手法を用いた日本語格解析 : 教師信号借用型と非借用型, さらには併用型.電子情報通信学会技術研究報告. NLC, 言語理解とコミュニケーション, Vol. 101, No. 190, pp. 15-22, jul 2001.

[6] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: pre-training of deep bidirectional transformers for language understanding. CoRR, Vol. abs/1810.04805, , 2018.

[7] 村田真樹, 神崎享子, 内元清貴, 馬青, 井佐原均.意味ソート $\mathrm{m}$ s O r t 意味的並べかえ手法に よる辞書の構築例とタグつきコーパスの作成例 と情報提示システム例:意味的並べかえ手法に よる辞書の構築例とタグつきコーパスの作成例と情報提示システム例. 自然言語処理, Vol. 7, No. 1, pp. 51-66, 2000.

## A 付録

## A. 1 意味ソート

単語を意味に応じて並べかえるという考え方は， Msort(meaning sort)[7] と呼ばれている.この意味の 並べ替えの順番は，単語の羅列を表示する際には 5 0 音順 (もしくは E U C 漢字コード順) ではなく, 単語の意味の順番に表示する。

単語を意味ソートすると，単語に対して意味的な 順番で分類する．意味ソートで採用した分類は分類語彙表 (国立国語研究所 1964) に基づいている。動物，人間，組織，植物，生物の部分，自然物，生産

表 10 意味ソートの例

表 11 Word2vec を用いた自動評価

物, 空間, 現象名詞, 動作, 精神, 性質, 関係，言語作品, その他, 時間と数量の分類があり, 全部で 17 種類の分類である．表 10 に意味ソートの例を示す.

## A. 2 評価結果

表 11 は，4.2 節の Word2vec 自動評価の結果であ る. 表 7 に同様の表があるが，表 7 と違ってテー マキーワードごとの数值結果も表示している. Word2vec 自動評価は, 各手法で取り出し単語数は 500 個なので，一致の数を 500 で割った比率で表示 される.

表 12 は， 4.3 節の連想評価の結果である. 表 8 に 同様の表があるが，表 8 と違ってテーマキーワード ごとの数值結果も表示している. 人手で連想した単語数は 30 なので， 4 人の一致数平均を 30 で割った 比率で表示.

表 13 は，4.4 節の有益性評価の結果である．表 9 に同様の表があるが，表 9 と違ってテーマキー ワードごとの数值結果も表示している。提案手法と Word2vec から各手法の類似度の高い 100 個の単語 を取り出すので，テーマキーワード対の数を 100 で 割った比率で表示する。手法の平均数は 1,000 (100 $\times 10$ 単語) で割った比率で表示する.
表 12 連想評価結果

 \\

表 13 有益性評価結果

 \\


# シフト付き絶対位置埋め込み

$\diamond$ 理化学研究所 ・東北大学 ${ }^{\triangleright}$ 株式会社 Preferred Networks
}

shun.kiyono@riken.jp, sosk@preferred.jp, \{jun.suzuki, inui\}@tohoku.ac.jp
## 概要

本研究は Transformer における位置表現の改良に 取り組む。既存の位置表現のうち, シフト不変性を 持つ手法が高い性能を発揮することに着目し，シフ 卜付き絶対位置埋め込み（SHAPE）の効果を検証す る. SHAPE の根幹となるアイデアは, 学習中に絶対位置を乱数値でシフトさせることで，シフト不変性 をモデルに取り入れることである。 既存のシフト不変である位置表現と比較して, SHAPE は同等の性能を達成しつつ，より高速に動作することを示す. ${ }^{1)}$

## 1 はじめに

Transformer[1] に基づく符号化復号化モデル （Encoder-Decoder）において，位置表現はモデルが 系列中のトークンの順序を認識するために導入され ている。位置表現は, 絶対位置埋め込み（Absolute Position Embedding; APE）[2,1] と相対位置埋め込み （Relative Position Embedding; RPE）[3] の 2 種類に大別される [4]. APE では, 各位置ごとの専用の埋め 込みと単語埋め込みとの和によって位置を表現す る。一方で RPE は，2つのトークン間の相対的な距離を用いて，注意機構内部で位置を表現する。

系列変換タスクにおいて，RPE は APE を上回る 外挿性能 2$)$ を発揮することが知られている $[5,6]$. そ の要因は，RPE の持つ性質であるシフト不変性であ ることが報告されている [7]. ここでシフト不変性 とは，ある関数において入力の位置シフトが関数の 出力に影響しない性質を指す。しかし, RPE は注意機構に依存する形で定式化されているため, 注意機構自体の改善を試みる方法論との組み合わせが困難 である。そのため本研究では，APE にシフト不変性 を取り入れることを試みる。

絶対位置にシフト不変性を取り入れるために，画像認識 [8] や NLP における質問応答 [9] 等では, 訓

図 1 本研究で取り扱う位置表現の概要図練中に入力系列の位置を乱数値でシフトさせると いう方法が用いられてきた。同様に APE において も，乱数値によるシフトをおこなうことで，絶対位置の代わりに相対位置を活用した学習を Transformer に強制できると期待できるが，その有効性はまだ検証されていない。そこで我々はこのシフト操作をシ フト付き絶対位置埋め込み（Shifted Absolute Position Embedding; SHAPE）として定式化し，その効果を検証する．実験では，SHAPE を用いた Transformer が シフト不変性を獲得できること，また，機械翻訳久 スクで SHAPE が RPE と同等の性能を達成できるこ とを示す.

## 2 Transformer における位置表現

図 1 に本研究で取り扱う位置表現を示す。以降,入力系列 $\boldsymbol{X}$ と出力系列 $\boldsymbol{Y}$ を，それぞれ $I$ トーク ンと $J$ トークンからなる系列 $\boldsymbol{X}=\left(x_{1}, \ldots, x_{I}\right)$ と $\boldsymbol{Y}=\left(y_{1}, \ldots, y_{J}\right)$ として表す.

## 2.1 絶対位置埋め込み（APE）

APE では各位置に対して専用の位置埋め込みを用 いる. 具体的には，各トークン $x_{i} \in \boldsymbol{X}$ と $y_{j} \in \boldsymbol{Y}$ に ついて，対応する位置埋め込みと単語埋め込みとの 和によって位置を表現する（図 1a）。

Transformer において APE には Sinusoidal 位置符号化 [1] が典型的に用いられる。ここで $i$ 番目のトー

クンの第 $m$ 次元の值 $\mathrm{PE}(i, m)$ は

$
\operatorname{PE}(i, m)= \begin{cases}\sin \left(\frac{i}{10000 \frac{2 m}{D}}\right) & m \text { が偶数 } \\ \cos \left(\frac{i}{10000 \frac{2 m}{D}}\right) & m \text { が奇数 }\end{cases}
$

として定義され, $D$ はモデルの次元数を表す.

## 2.2 相対位置埋め込み（RPE）

RPE[3] では，各トークン間の相対距離を Transformer の注意機構の特徴量として用いることで位置を表現する（図 $1 \mathrm{~b}$ ). 例えば, Shaw ら [3] は $i$ 番目と $j$ 番目のトークン間の相対距離を, 埋め込み $\boldsymbol{a}_{i-j}^{\text {Key }}, \boldsymbol{a}_{i-j}^{\text {Value }} \in \mathbb{R}^{D}$ によって表現している.これらの 埋め込みは, 注意機構における Key と Value 表現に それぞれ足し合わされる.

RPE の演算はシフト不変性を持つことから，訓練 データの分布外の長さの系列に対して, APE の性能を上回ることが報告されている $[6,5,7]$. しかし，注意機構を用いて位置を表現する都合上，RPE は APE よりも計算コストが大きい3)。また, RPE は注意機構の改変を伴うため, 注意機構自体の軽量化を 試みる方法論 $[10,11]$ との組み合わせが困難である.

## 2.3 シフト付き絶対位置埋め込み (SHAPE)

本研究では, Transformerにおいてシフト不変性を 実現するための方法の一つとして, SHAPE（図 1c) の効果を検証する．RPE の課題を踏まえ, SHAPE では Transformer の注意機構の改変を回避しつつ, APE と同等の計算コストの実現を目指す. 訓練中, SHAPE は入出力系列の各位置インデックスを, 乱数から生成したオフセットでシフトさせる.このシ フト操作は, 絶対位置の代わりに相対位置を利用し た学習をモデルに強制することに相当する. その結果, モデルがシフト不変性を持つ関数を学習すると 期待できる.

いま，離散一様分布 $U\{0, K\}$ からサンプルしたオ フセットを $k$ で表す.ここで， $K$ は最大オフセット 幅であり, $k$ はエポックごとに各系列について独立 にサンプルされる. SHAPE は PE $(i, m)$ （式 1 ）を次式で置き換えることで実現できる.

$
\mathrm{PE}(i+k, m)
$

SHAPE は APE を用いる任意のモデルに適用可能 である. また, シフト操作は非常に軽量であるた
^{3}$ Narang ら [5] は, RPE は APE よりも最大で $25 \%$ 遅いことを 報告している.
}

め, SHAPE は APE と同等の速度で動作すると期待 できる. 今回, $k$ は入力系列と出力系列について独立にサンプルした.ここで, 仮に $K=0$ とすると SHAPE は APE に帰着することに注意されたい4).

## 3 実験

実験では，機械翻訳タスクを題材として，SHAPE を組み合わせた Transformer がシフト不変性を獲得 することを確認する（第 3.2 節）。その後, SHAPE の性能を既存の位置表現と比較する (第 3.3 節).

## 3.1 実験設定

データセットWMT2016 英独データセットを訓練 データとして用いた.トークン化やサブワード化 [12] 処理は先行研究の設定に従った [13]. 開発セッ トと評価セットとして，それぞれ newstest2010-2013 と newstest2014-2016を用いた。

実験には，以下の 3 つの設定を用いた：

(i) VANILLA 先行研究 $[1,13]$ と同等の設定である.

(ii) ExtrapOLATE シフト不変性を持つモデルは,外挿性能の観点で評価することが一般的である $[7,14]$. 我々は, 先行研究 [6] に従い, VANILLA の訓練データから入力系列か出力系列のサブワード長が 50 を超えるような系列対を取り除き，新たに訓練 データを作成した。また, 開発セットと評価セット にはVANILLA と同じものを用いた。

(iii) INTERPOLATE 今回, 我々は各モデルを内挿性能の観点でも評価することを試みる。ここで，内挿性能を, 訓練中に観測した長さの系列に関して汎化 する能力として定義する. 本研究では, この内挿性能を長い系列を用いて評価するが，その理由は以下 の通りである.

長い系列を含むようなデータセットでは，各トー クンが各位置に関して䟱な形で分布する（位置のス パースネス問題).つまり, 開発セットや評価セッ トにおいて，系列中のある位置に登場するトークン は，訓練データ中で同じ位置にほとんど登場しない と考えられる。このとき, 絶対位置を用いる場合は トークンと位置の組み合わせに対する過学習が生じ ると考えられるが，シフト不変性を持つ位置表現は この過学習を抑制できる可能性がある.

本研究では, 対訳データに含まれる独立した系列を結合することで, 長い系列を人工的に作成し た。具体的には，VANILLAに含まれる隣り合う系列

表 1 INTERPOLATE の訓練データよりサンプリングした 1 万系列対で計測した BLEUスコア

図 2 各オフセット $k \in\{0,100,250,500\}$ を用いて計算し た符号化器の隠れ層間の類似度

$X_{1}, \ldots, X_{10}$ と $Y_{1}, \ldots, Y_{10}$ を, 専用のトークン $\langle$ sep $\rangle$ を用いて結合した. 開発セットと評価セットにも同 じ処理を加えてデータを作成した。

モデル Transformer-base[1]に, APE, SHAPE とRPE を組み合わせて実験をおこなった. APE と RPE にはそれぞれ Sinusoidal 符号化と Shaw ら [3] の手法を用いた。実装には OpenNMT-py[15] を用いた。 SHAPE の最大オフセット $K$ は 500 , RPE の最大相対距離は先行研究 $[3,6]$ に従い 16 とした. 各モデル の性能は sacreBLEU[16] による detokenized BLEU で 評価した5).

## 3.2 実験 $1 ：$ シフト不変性の確認

本実験では, SHAPEがシフト不変性を獲得してい ることを INTERPOLATE 上で訓練した APE と SHAPE を用いて，定量的・定性的な観点で検証する。

定量評価：訓練データ上の BLEUスコア 本実験で は系列間の順序に対するモデルの頑健性を評価す る. 具体的には, INTERPOLATE の訓練データからサ ンプルした 1 万系列対を用いて，系列間で順序を入 れ替えた場合と, 入れ替えなかった場合の性能を比較する．訓練データを用いるのは，未知の系列によ る影響を除外し, 系列間の順番の影響のみを対象と した評価をおこなうためである。

評価手順は次のとおりである. まず，元の系列 Original $\left(X_{1}, \ldots, X_{10}\right)$ から, 先頭の系列を末尾に移動させて, 系列 Swapped $\left(\boldsymbol{X}_{2}, \ldots, \boldsymbol{X}_{10}, \boldsymbol{X}_{1}\right)$ を作成す る. 次に Original と Swapped を訓練済みのモデル でデコードし，それぞれ $\boldsymbol{Y}_{1}^{\prime}, \ldots, \boldsymbol{Y}_{10}^{\prime}$ と $\boldsymbol{Y}_{2}^{\prime}, \ldots, \boldsymbol{Y}_{10}^{\prime}, \boldsymbol{Y}_{1}^{\prime}$ を得る。最後に， $Y_{1}^{\prime}$ の BLEU スコアを評価する。

実験結果を表 1 に示した。ここで, Original から Swapped への性能の減少幅は, SHAPE の方が APE
$ に示した.
}

表 2 各位置表現の BLEUスコア :†: 5 つの乱数シードの 平均値. *: 訓練不能であったため, 值を掲載していない.相対速度は APE からの相対速度を表す。

よりも小さいことから，SHAPE がシフト不変性を 獲得していることが示唆される.

定性評価：隠れ層の類似度 本実験では, SHAPE がシフト不変性を獲得していることを定性的に確認する. 図 2 はオフセット $k$ がAPE と SHAPE を用 いた訓練済みモデルの隠れ層に与える影響を表す。具体的には, 入力系列 $X$ について, 各オフセット $k \in\{0,100,250,500\}$ を用いて訓練済みモデルの符号化器から隠れ層を計算した. その後, 異なるオフ セットから計算した隠れ層 $\boldsymbol{h}_{i}^{k_{1}}, \boldsymbol{h}_{i}^{k_{2}} \in \mathbb{R}^{D}$ について, コサイン類似度（sim）を計算し，位置方向に平均を 求めた. つまり, $\frac{1}{I} \sum_{i=1}^{I} \operatorname{sim}\left(\boldsymbol{h}_{i}^{k_{1}}, \boldsymbol{h}_{i}^{k_{2}}\right)$ である.

図 2 より, SHAPE の符号化器はシフト不変性を 獲得できているとわかる.これは SHAPE において， オフセット $k$ によらず，類似度がほぼ 1.0 に張り付 いているためである. ここで，APE の類似度が同様 の傾向を示さないことから，シフト不変性は自明に 獲得可能な性質ではないと確認できる.

## 3.3 実験 2 : 位置表現間の性能比較

各位置表現の性能を評価した結果を表 2 に示し た.また, APEからの性能向上幅を入力系列の長さ 別に図示した結果を図 3 に示した.

VANILLAの結果 3 つのモデル全てがほとんど同等 の性能を示した. APE がRPE と同等の性能を示す という結果は既存研究の知見 [3] とは一致しないも のの, これは実験に使った実装の違いによるものだ と考えられる．実際，Transformer の改良に関する知見は，特定の実装に依存することが多い旨が Narang らによって報告されている [5].

ExtRAPOLATE の結果 評価セットにおいて, RPE の性能（29.86）が APE（29.22）を上回った。また, SHAPE がRPE と同等の性能を達成した (29.80). 図
(a) データセット: Extrapolate

(b) データセット: Interpolate

図 3 APE からの BLEU スコアの向上幅 : 開発セットと評価セットを用いた. 灰色の背景色は対応する長さの系列 が訓練データ中に存在しないことを示す.

$3 \mathrm{a}$ より,この性能向上は, 訓練データよりも長い系列（外挿）によるものだとわかる。つまり，RPE と SHAPE は APE の外挿性能を改善できている.

また, 図 $3 \mathrm{a}$ には, SHAPE の最大オフセット $K$ を 開発セット上で調整した結果を示した. $K=40$ とし たときに，開発セットと評価セットの性能はそれぞ れ 23.12 と 29.86 となり, RPE を上回ったことから, SHAPE はRPE よりも良い位置表現となりえる.

INTERPOLATE の結果 RPEの学習には著しく時間が かかってしまい, 現実的な時間で訓練を終えること ができなかったため, 值を載せていない6). 本デー タにおいても，評価セット上で SHAPE（39.09）は APE（38.23）を上回る性能を示した. 図 $3 b$ より, SHAPE は入力系列の長さに依存せず，一貫して性能向上を果たしている.この結果から, SHAPE は Transformer の内挿性能も改善できるとわかる.

## 4 分析

図 3 において, SHAPE はAPE を BLEU スコアで 上回った. しかし, BLEU スコアでは (1) N-gramに 基づく参照訳との一致率と (2) Brevity Penalty による 出力系列の長さを同時に評価しているため, 出力が どの側面で改善したのかは明らかではない. そこで 本節では, 前者の一致率に着目するため, 参照訳を 用いてトークン単位のスコアを計算し，モデル間の 比較をおこなった. 具体的には, 系列のペア $(\boldsymbol{X}, \boldsymbol{Y})$ に対して，訓練済みモデルを用いてスコア（負の 対数尤度） $s_{j}$ を各正解トークン $y_{j}$ について計算し
^{6)}$ RPE を INTERPOLATE 上で動かした場合, パラメータの更新が APE やSHAPE と比較して 20 倍程度低速だった。
}

(a) データセット: Extrapolate

(b) データセット: Interpolate

 &  & $401-500$ & 501- \\

図 4 参照訳を用いたトークン単位の分析 : 各セルの値 は, 正解トークンに対して SHAPE が APE よりも高いス コア（負の対数尤度）を付与できた割合を表す.

た7). ここで，モデルは正解トークンにより高いス コアを付与することが望ましい. 図 4 は，正解トー クンに対して SHAPE が APE よりも高いスコアを付与した割合を, 復号化器の位置別に図示した結果を 表す.この分析には開発セットを用いた.

EXTRAPOLATE : SHAPE はトークンの一致率の向上に 寄与 図 $4 \mathrm{a}$ の右側（訓練データよりも長い系列）に おいて, SHAPEがAPE を大きく上回っている.こ の結果から, SHAPE が外挿における N-gram の一致率の向上に貢献していることが示唆される.

INTERPOLATE : SHAPE は低頻度語の予測に有効 図 4bに示した通り, SHAPE の性能が APE を一貫して 上回った。モデル間の性能差は図の下部，つまり低頻度語に対応する箇所において特に顕著である．訓練中, SHAPE は同じ系列対に対して，エポックごと に異なる位置表現を用いて学習をおこなうが，これ は一種のデータ拡張として解釈できる. 先述の位置 のスパースネス問題（第3.1 節）は低頻度語におい て特に生じやすいため, SHAPE によるデータ拡張 が効果的であったと考えられる。

## 5 おわりに

本研究では APE の簡単な亜種である SHAPE の調査をおこなった. 実験では, SHAPE がRPE と同等 の性能を発揮しつつ, APE と同等の速度で動作する ことを示した. SHAPE は数行で実装可能であるた め，既存の実装に簡単に導入できる。故に，SHAPE は APE とRPEの代替手法となりえると期待できる.

## 謝辞

本研究の一部 (基礎研究) は JST ムーンショット JPMJMS2011 の助成を受けたものです.

## 参考文献

[1] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, and Illia Polosukhin. Attention Is All You Need. In Advances in Neural Information Processing Systems 30 (NIPS 2017), pp. 5998-6008, 2017.

[2] Jonas Gehring, Michael Auli, David Grangier, Denis Yarats, and Yann N. Dauphin. Convolutional Sequence to Sequence Learning. In Proceedings of the 34th International Conference on Machine Learning (ICML 2017), pp. 1243-1252, 2017.

[3] Peter Shaw, Jakob Uszkoreit, and Ashish Vaswani. SelfAttention with Relative Position Representations. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers) (NAACL 2018), pp. 464-468, 2018.

[4] Philipp Dufter, Martin Schmitt, and Hinrich Schütze. Position Information in Transformers: An Overview. arXiv preprint arXiv:2102.11090, 2021.

[5] Sharan Narang, Hyung Won Chung, Yi Tay, William Fedus, Thibault Fevry, Michael Matena, Karishma Malkan, Noah Fiedel, Noam Shazeer, Zhenzhong Lan, et al. Do Transformer Modifications Transfer Across Implementations and Applications? arXiv preprint arXiv:2102.11972, 2021 .

[6] Masato Neishi and Naoki Yoshinaga. On the Relation between Position Information and Sentence Length in Neural Machine Translation. In Proceedings of the 23rd Conference on Computational Natural Language Learning (CoNLL 2019), pp. 328-338, 2019.

[7] Benyou Wang, Lifeng Shang, Christina Lioma, Xin Jiang, Hao Yang, Qun Liu, and Jakob Grue Simonsen. On Position Embeddings in BERT. In Proceedings of the 9th International Conference on Learning Representations (ICLR 2021), 2021.

[8] Ian Goodfellow, Yoshua Bengio, and Aaron Courville. Deep Learning, chapter 7.4, pp. 233-234. MIT Press, 2016. http://www. deeplearningbook.org.

[9] Mor Geva, Ankit Gupta, and Jonathan Berant. Injecting Numerical Reasoning Skills into Language Models. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (ACL 2020), pp. 946-958, 2020.

[10] Nikita Kitaev, Łukasz Kaiser, and Anselm Levskaya. Reformer: The Efficient Transformer. In Proceedings of the 8th International Conference on Learning Representations (ICLR 2020), 2020.

[11] Yi Tay, Mostafa Dehghani, Dara Bahri, and Donald Metzler. Efficient Transformers: A Survey. arXiv preprint arXiv:2009.06732, 2020.

[12] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neu- ral Machine Translation of Rare Words with Subword Units. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (ACL 2016), pp. 1715-1725, 2016.

[13] Myle Ott, Sergey Edunov, David Grangier, and Michael Auli. Scaling Neural Machine Translation. In Proceedings of the Third Conference on Machine Translation (WMT 2018), pp. 1-9, 2018.

[14] Benjamin Newman, John Hewitt, Percy Liang, and Christopher D. Manning. The EOS Decision and Length Extrapolation. In Proceedings of the Third BlackboxNLP Workshop on Analyzing and Interpreting Neural Networks for NLP (BlackboxNLP 2020), pp. 276-291, 2020.

[15] Guillaume Klein, Yoon Kim, Yuntian Deng, Jean Senellart, and Alexander Rush. OpenNMT: Open-Source Toolkit for Neural Machine Translation. In Proceedings of ACL 2017, System Demonstrations (ACL 2017), pp. 67-72, 2017.

[16] Matt Post. A Call for Clarity in Reporting BLEU Scores. In Proceedings of the Third Conference on Machine Translation: Research Papers (WMT 2018), pp. 186191, 2018.

[17] Christian Szegedy, Vincent Vanhoucke, Sergey Ioffe, Jon Shlens, and Zbigniew Wojna. Rethinking the Inception Architecture for Computer Vision. In 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR 2016), pp. 2818-2826, 2016.

## A ハイパーパラメータ

表 3 ハイパーパラメータの一覧.

 &  \\

## B 各 newstest の BLEU スコア

表 4 に各モデルを newstest2010-2016を用いて評価した結果を示す8)9).

表 4 newstest2010-2016 上の BLEU スコア : 平均は全 newstest のマクロ平均值を示す. † : 5 つの乱数シードの平均値. * : 訓練不能であったため，值を掲載していない。相対速度は APE からの相対速度を表す.

^{8)}$ VANILLA と ExTRAPOLATE の評価における sacreBLEU のハッシュ : BLEU+case.mixed+lang.en-de+numrefs. $1+$ smooth. exp +test.wmt $\{10,11,12,13,14 /$ full,15,16\}+tok.13a+version.1.5.0.

 }^{9)}$ INTERPOLATE の評価における sacreBLEU のハッシュ：BLEU+case.mixed+numrefs.1+smooth.exp+tok.13a+version.1.5.0（開発セッ トと評価セットも訓練データと同様の結合処理を加えているため, sacreBLEU 内部の参照訳の代わりに手動で参照訳を与えている．詳細については第 3.1 節の説明を参照されたい. )