# 応用を考慮した包括的な言い換えの類型: 現在の類型と課題

渡邊晃一朗 1,2 藤田響平 ${ }^{3}$ 永田基樹 ${ }^{3}$ 森遼太 ${ }^{3}$ 小代義行 ${ }^{3}$
1 東京大学大学院教育学研究科 ${ }^{2}$ 理化学研究所 ${ }^{3}$ 株式会社 pluszero
kouichirou-watanabe495@g.ecc.u-tokyo.ac.jp
\{fujita.kyohei, nagata.motoki, mori.ryota,ojiro.yoshiyuki\}@plus-zero.co.jp

## 概要

自然言語処理において、これまで言い換えの重要性は指摘されてきた。そして言い換えを理解するた めに、文法や意味において同一であると考えられる 言語表現の対の関係の類型の作成が行われてきた。 しかし、意図まで考慮した上で、実際の応用の中で 言い換えとみなしたい言語表現の対を考慮した類型 の作成はなされてはこなかった。本研究では、応用 において言い換えとみなす言語表現の対を考慮した 言い換えの類型の提案を行う。応用を考慮した際、平易化においては難易度の調整を伴った言い換え、質問応答においてはある発話に後続する発話を想定 した言い換えがそれぞれ必要であり、これらを包括的に扱うための類型を本研究では提案する。

## 1 はじめに

自然言語処理の分野では同じ意味を有するが異な る表記である言語表現の対を「言い換え」であると 定義していた [1]。しかし、質問応答などの実際の 応用を考えた時、厳密には同じ意味を有さないもの の応用の観点から言い換えであるとみなしうるよう な言語表現の対が存在する。意味が同一ではないも のの何らかの観点から言い換えであるとみなしうる 言語表現の対の間の差異は “pragmatic difference” と 呼ばれており [1]、その存在は指摘されてきたもの の、Kovatchev ら [2] が “textual paraphrase" という語句を使ったように、意図などのようなテキストそれ 自体からは考慮できないものを考慮した言い換えは これまでの研究では十分に扱われてこなかった。以下、本研究では、意味としては同一でなくとも、何 らかの観点から同一であると認識できる言語表現の 対が言い換えであると定義し、実際の応用において 言い換えとしてみなしうるものを考慮した言い換 えの類型を提案する。ここでの応用は質問応答や平易化などを考慮している。質問応答での言い換えを考えた際には、ある発話の意味の同一性のみではな く、その後に続くと想定される発話の同一性を考慮 することが必要である。このように、何らかの点で 同一性があると考えられる言語表現の対を言い換え として考慮する。

これまでの自然言語処理の分野において、以下で 挙げるように言い換えの類型の提案がなされてき た。まず文法的な観点からの言い換えの類型を提案 したものとしては、Dras [3] や Fujita [4] の研究が挙 げられる。これらの研究は、文法の観点から考えら れうる言い換えの類型を整理したもので、基本的に 意味を考慮した言い換えを扱っていない。意味も含 めて言い換えの類型を整理した研究として、まず 挙げられるのが Bhagat ら [1] の研究である。Bhagat ら [1] は意味の観点から言い換えとみなせるものも 含めて、25 個の類型に整理した。Vila ら [5] の研究 は、基本的にこの Bhagat ら [1] が提唱した 25 個の 類型を基礎として行われ、各類型の定義の精緻化を 行った。最新の言い換えの類型として Kovatchev ら [2] が提案した Extended Paraphrase Typology (EPT) は Bhagat ら [1] が意味を考慮しているのに加えて、談話のレベルまで考慮した言い換えの類型である。

本研究は、応用として考えられるデータを出発点に、実際の応用で言い換えとみなした言語表現 の対を考慮した言い換えの類型を提案する。既存研究では、実際の応用を考えた上での言い換えは 考慮されていなかった。Kovatchev ら [2] が “textual paraphrase”を考慮すると述べていたように、基本的 にテキストの表現とそれが表現する意味が同じであ るとみなせる言語表現の対のみを既存研究は扱っ てきた。本研究は、テキストが表現する意味が同じ ではないが応用の観点から考えたときに言い換え とみなしたいものを言い換えとして同定すること を目的とする。そこで、Microsoft Research Paraphrase Corpus [6] のようにこれまでの言い換えのコーパス が表現として似ているものをある程度自動的に収集

しそれを基に構築されたのに対し、人手でデータを 収集することから始め、言い換えとみなしたい言語表現の対を集めその類型を記述する。

## 2 方法と提案する類型

本研究は、以下の 2 つの段階で構成される:

1. 言い換えの類型の整理

2. データのアノテーション

まず、既存研究で提案された言い換えの類型を整理し、それらに新たな類型を加える形で包括的な言 い換えの類型を作成した。この類型を用いて、応用 において用いられるデータに対してアノテーション を行った。このアノテーション時にそれまでで作成 された類型に該当しないような言い換えが存在し た時、それを包括できるような類型を新たに追加し た。結果として本研究で提案する類型を表 1 に示し ている。各層は複数の類型に共通するような区別に はなっておらず、単純に上下関係を意味する。

データとしては、応用を考慮して以下のものを 扱った:

1. 質問応答システムにおける応答が同じと考えら れる発話

2. 教科書における同一概念の説明

質問応答については、その意図と回答が同一である ことが望まれる質問群にある質問がお互いに言い換 えであるとみなして収集した。教科書においては、異なる校種間、特に小学校と中学・高校の教科書に おいて同一の概念の説明を行っている部分を主に 取り上げた。これは応用として平易化を主に考慮し ており、特に同一概念の説明の平易化を主に扱った データとして本研究で扱っている。

データのアノテーションは、言い換えとみなした い言語表現の対をデータから抽出しにれを抽出対 と呼ぶ)、一方に対し言い換えの類型を適用して他方に変換するということを複数回行った。この時、 1 回の変換で 1 つの類型を適用し、既存の類型で変換が不可能だと判断された場合、新しい類型の追加 を行った。例えば、以下のような抽出対を考える1):

1a 沿岸や沖合いにおける水産資源管理の試みに 加えて、人工孵化による放流を行う栽培漁業が 注目されるようになった。

1b 沿岸や沖合いにおける水産資源管理の試み

1）本論文では、言い換えとみなす対を示した時、その間で差異がある部分を太字で示す。
に加えて、魚のたまごから稚魚を育てて放流す る栽培漁業が注目されるようになった。

で行われる:

1.「本質的意味の活用」のうち「含意関係の活用 (動詞)」を適用: 沿岸や沖合いにおける水産資源管理の試みに加えて、魚のたまごから稚魚を 育てて放流を行う栽培漁業が注目されるように なった。

2.「抽象-具体」のうち「既存語彙資源で可」の下位類型「ドメイン適合不要」を適用: 沿岸や沖合いにおける水産資源管理の試みに加えて、魚 のたまごから稚魚を育てて放流する栽培漁業が 注目されるようになった。

以上の手続きを経て結果として、得られた抽出対の 数は 179 対、合計の変換の回数は 1074 回であった。本研究では、複数人で協議しつつアノテーションを 行った。

## 3 議論

## 3.1 類型の敷衍

本研究で特に重要と位置付ける以下の類型を例を 挙げながら詳述する:

1. 語義

2. 応答

語義については、ある語句に対して、その類義語 や上位・下位語を扱うだけでなく、それの辞書的な 語義で置き換えることで言い換えをしていると考え られるような事例があることが実際に教科書で見ら れた。以下に例を挙げる:

2a 夏の季節風は、とくに東アジアから南アジア にかけて多くの雨をもたらすため、雨季そのも のをモンスーンということもある。

2b 夏の季節風は、とくに東アジアから南アジア にかけて多くの降水をもたらすため、夏の雨が 多い時期そのものをモンスーンということも ある。

この例は、「雨季」をその語義で置き換えた言い換 えである。

この例ではある語句をその語義を変換することな く置き換えれば言い換えが成立するが、加えて前後 の文脈に応じて補うように追加で変換を行う必要が
表 1 言い換え類型: Bhagat ら [1] と EPT [2] の列はこれら既存研究に存在したかを示し、新規の列は本研究で新たに提案された類型であるかを示している。

ある場合がある。以下に例を挙げる:

3a 温度が一定のとき、一定量の気体の圧力 $\mathrm{P}$ は 気体の体積 V に反比例する。

3b 温度が一定のとき、一定量の気体の圧力 $\mathbf{P}$ が 2 倍、 3 倍となっていくとき、気体の体積 $\mathbf{V}$ が 2 分 の 1 倍、 3 分の 1 倍となる。

この例では「反比例」をその語義によって言い換え
ていると考えられるが、「一定量の気体の圧力 $\mathrm{P}\rfloor や$「気体の体積 V」といった表現を補わなければなら ない。このような例を考慮すると、自動的な言い換 えを生成する際には語義に応じた処理が必要である と考えられ、その処理の必要性の有無を類型に反映 している。

このような語義を用いた言い換えは異なる校種間の教科書を比較した際に見られ、テキストの難易
度を操作する平易化において有用であると考えら れる。

次に、応答については、考慮される対のみだけで なく、その前後の文脈の同一性を考慮したような言 い換えを考慮している。以下に例を挙げて示す:

4a 具体的な停止位置はどこなのか

4b 具体的な停止位置を教えて

この例では一方は疑問文、もう一方は命令文であり 文法的な類型とその意味は異なるが、想定される応答が同じであることから言い換えとみなしうる。特 に質問応答を応用として考慮すると、異なる発話の 対の同一性はそれらに続く応答の同一性から得られ うる。このように、本研究で提案する言い換えの類型は、考慮される対のみだけでなく、その前後の文脈の同一性を考慮したような言い換えを考慮してい る。この応答を考慮した言い換えは質問応答におけ る自動応答において有用であると考えられる。

## 3.2 今後の展開

現在の類型において、より詳細な類型が必要であ る部分を議論する。ここでは「例外系」の中でも特 に「追加・削除」という類型を取り上げる。この追加・削除という類型は既存研究で提案された類型で も存在し、本研究でもそれを継承したが、明確にど のような類型であるのかについては言及されてこな かった2)。

追加・削除と考えられるような対の関係につい て、まだ十分に議論を尽くしているとは言えない状況である。特に、追加・削除されるものにどのよう ものがあるのかについての知見はまだ得られていな い。追加・削除により生じる対の間の意味の差異は 先行研究でも “content loss” と呼ばれて存在が指摘さ れていた [5] が、言い換えとみなしうる対において 起きている content loss の体系的な整理はなされてい ない。言語表現の変換をする際には content loss は必然的に起きうるものであり、content loss の体系的な 整理を目指して、既存研究で提案されてきたコーパ スも踏まえた上で、追加・削除とみなされる対のよ り詳細な類型の構築をすることが今後の課題として 挙げられる。この追加・削除という類型には少なく とも主に 2 つの類型が存在する。1つ目は意味に大

2）類似した類型として同じく「例外系」の 1 つの類型である 「省略」が存在するが、与えられた対から変更部分が自明に復元可能であるものを省略、そうでないものを追加・削除とし て分類した。
きな変更がない場合であり、2つ目は意味に大きな 変更があるものの応用の観点からは言い換えとみな したい場合である。

まず、追加・削除がなされても意味に大きな変更 がない場合の例を挙げる:

$5 a$ 近くの植物などとの距離はどの程度で大丈夫か

$\mathbf{5 b}$ 近くの植物との距離はどの程度で大丈夫か

この例のように「など」のような語句の追加・削除 は対の間で大きな意味の差異を生まないと考えら れる。

一方で追加・削除がなされると意味に大きな変更 があるものの応用の観点からは言い換えとみなした い場合は以下のような場合である:
6a 許容範囲内の-とはどの程度の-を指すか
6b -とはどの程度の-を指すか。

この例の「許容範囲内の」のように、追加・削除と 分類される対の中で大きく意味が異なるような対が 存在する。

その他、言語特有の問題も挙げられる。以下に例 を示す:

$7 a$ 点検の時の注意点は何か。

$7 b$ 点検時の注意点は何か。

この例のような「の」の追加・削除については、対 の間で意味内容が大きく変わらない。このような機能語の追加・削除については個別言語に依存する部分があり、英語が主に考慮されていた既存研究では 十分に考慮されてきたとは言えない。実際の応用に おいては個別言語に適した類型を用いる必要があ り、本研究においては日本語特有の追加・削除の類型を検討する必要がある。

## 4 おわりに

本研究では、既存の言い換えの類型を整理した上 で、応用を考慮した新たな言い換えの類型を提案し た。議論の部分で述べた通り、今後はより詳細な類型を立てることが必要であるため、今後はデータの 収集と類型の精緻化を、特に追加・削除の部分につ いて行っていく。本研究で提案した言い換えの類型 を基礎として、今後は自動対話や平易化のシステム の構築を行うことを予定している。

## 謝辞

本研究は株式会社 pluszero との共同研究「言い換 えに関する研究」の助成を受けたものです。また、 データのアノテーションにおいては井上峻之介氏と 杉本智紀氏のご協力を頂きました。

## 参考文献

[1] Rahul Bhagat and Eduard Hovy. What is a paraphrase? Computational Linguistics, Vol. 39, No. 3, pp. 205-218, 2013.

[2] Venelin Kovatchev, Antònia Martí, and Maria Salamó. Etpc: A paraphrase identification corpus annotated with extended paraphrase typology and negation. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation, pp. 1384-1392, 2018.

[3] Mark Dras. Tree Adjoining Grammar and the Reluctant Paraphrasing of Text. Macquarie University, 1999.

[4] Atsushi Fujita. Automatic Generation of Syntactically WellFormed and Semantically Appropriate Paraphrases. Nara Institute of Science and Technology, 2005.

[5] Marta Vila, Antònia Martí, and Horacio Rodríguez. Is this a paraphrase? what kind? paraphrase boundaries and typology. Open Journal of Modern Linguistics, Vol. 4, pp. 205-218, 2014.

[6] William Dolan and Chris Brockett. Automatically constructing a corpus of sentential paraphrases. In Proceedings of the Third International Workshop on Paraphrasing, pp. $9-16,2005$.
 渡邊晃一朗 1,2 藤田響平 ${ }^{3}$ 永田基樹 ${ }^{3}$ 森遼太 ${ }^{3}$ 小代義行 ${ }^{3}$ 1 東京大学大学院教育学研究科 ${ }^{2}$ 理化学研究所 ${ }^{3}$ 株式会社 pluszero kouichirou-watanabe495@g.ecc.u-tokyo.ac.jp \{fujita.kyohei, nagata.motoki, mori.ryota,ojiro.yoshiyuki\}@plus-zero.co.jp  