# FrameNet からの動詞階層構造の抽出

岩本蘭 1 小原京子 2,3
1 富士フイルムビジネスイノベーション株式会社 2 慶應義塾大学 ${ }^{3}$ 理研 AIP
ran.iwamoto.ihefujifilm.com ohara@hc.st.keio.ac.jp

## 概要

単語の階層構造は含意判定や情報抽出にとって 有用な情報である。しかし応用タスクでの使用に適 した動詞の階層構造に関する語彙資源は少ない。本研究では言語表現の意味をフレームを用いて記述 する語彙資源 FrameNet のフレーム間関係の 1 つで ある Inheritance に着目し、フレームの階層構造を可視化した。そして、フレームを喚起する英語/日本語の動詞を抽出し、動詞階層構造のデータセットを 作成した。また、階層構造の表現に適した Poincaré embedding を用いて英語/日本語動詞ペア間の階層構造の有無を判定するタスクを解き、 $70 \%$ 以上の F 值 を達成した。

## 1 はじめに

言語表現の背景にある常識や知識は自然言語処理 の応用タスクでの性能向上に無くてはならないも のである。その中でも、単語の階層構造、上位語下位語に関する知識はオントロジー構築 [1] や質問応答 [2]、意味検索 [3] にとって有用である。単語の階層構造を考慮したモデルを作成するため、単語の抽象性に関する語彙資源の作成 $[4,5,6]$ と階層構造を 埋め込むべクトル表現の開発 $[7,8]$ 、つまりデータ と手法の両面から研究が進められている。単語の中でも名詞の上位下位性に関するデータ セットは数多く存在するが、動詞については整備 が進んでいない。動詞の階層構造のデータセット として代表的なものとして WordNet $[4,5]$ がある。 WordNet では、communicate と talk、talk と whisper の ように、ある動詞と、その動詞より具体的な概念を 表す動詞 (troponym) の関係性が記述されている。し かし、WordNet の troponymy 関係では、関係構造が より複雑な部分ほど階層構造が正しく設定されてい ないという問題が指摘されている [9]。WordNet $の$名詞、動詞の階層構造を用いて語義曖昧性解消を 行った研究 [10] では、名詞に比べて動詞の語義曖昧性解消の性能が明らかに低い結果となっており、応用タスクに用いることができる動詞の階層構造の語彙資源としては十分ではないことが分かっている。

そこで我々は動詞の階層構造のデータセットを 作成するため、語彙資源として FrameNet [6] を用い た。本研究の貢献は次の 3 つである。
- FrameNet のフレーム間関係の 1 つである Inheritance に着目し、フレーム同士の階層構造 を可視化し大域的に観察した。

・フレーム間関係をもとに、英語/日本語フレーム ネットから動詞の階層構造のデータセットを作成した。

・作成したデータセットを用いて、動詞ペア間の 階層構造の有無を判定する、動詞階層構造の埋 め込みに関する新しいベンチマークタスクを考案した。

## 2 FrameNet

## 2.1 フレーム意味論

FrameNet は、言語表現が言語使用者の意識上に喚起する背景知識（フレーム）を用いて言語表現の意味を記述するフレーム意味論 [11] という言語学的枠組みに基づき、言語表現の意味をフレームを用いて 記述した語彙資源である。FrameNet は様々な言語 で作成されており、英語の他にも日本語 [12] やドイ ツ語 [13,14]、ブラジルポルトガル語 [15] などのフ レームネットが存在する。本論文では、フレーム意味論の枠組みに基づき作成された語彙資源全体を FrameNet と定義し、ある特定の言語の語彙資源を 指す場合はフレームネットと記述する。

「誰が」「何を」「どうする」のような、人が経験 するさまざまな状況や事象、物体に関する背景知識 をフレーム (Frame) と呼び、特定のフレームを喚起 する特定の語義を語彙単位 (Lexical Unit: LU) と定義 している。フレームは、それぞれのフレームに即

した具体的な意味役割であるフレーム要素 (Frame Element: FE）を持つ。また、それぞれのフレーム同士の関係はフレーム間関係 (Frame to Frame Relation) として定義されている。フレーム間関係は 9 種類存在し、あるフレームの要素を全て引き継ぐ、つまり フレーム同士がある状況とより具体化した状況の関係である Inheritance や、ある状況を別の視点から見 た (例えば、売買を売り手と買い手の側から見た)2 つのフレーム間の関係である Perspective on などが ある。

## 2.2 フレーム間関係 Inheritance

ここでは動詞の階層構造を抽出する際の手がかり となるフレーム間関係 Inheritance(継承) について説明する。あるフレームが別のフレームのより具体的 な状況を表している場合、2つのフレームの間には フレーム間関係 Inheritance が存在する。その際、親 フレームについての定義は全て子フレームについて も当てはまる。

FrameNet の構造と Inheritance 関係を持つフレー ムの例を図 1 に示す。ここでは Getting フレー ムと Commerce_buy フレームに着目している。商取引の中の一場面を買い手の立場から表現した Commerce_buy フレームは BUYER, MONey などの フレーム要素を持つ。Commerce_buy フレーム は Gettingフレームを継承 (Inherits from)してい る。つまり、Getting フレームは Commerce_buy フレームの親フレームである。Commerce_buy フレームを喚起する語彙単位は、動詞の buy や purchase などである。これらの動詞が主動詞として 文中に出現するとき、その文は Commerce_buy フ レームに関する意味を持つ。つまり、商取引を買 い手の立場から表現した意味を持つ。Getting フ レームを喚起する語彙単位として acquire や get など が挙げられる。

本研究では、ある 2 つのフレームが Inheritance 関係 (継承、上位下位関係)を持つとき、それらのフ レームを喚起する語彙単位同士も上位下位関係を持 つという仮定を置いた。その仮定をもとに英語/日本語フレームネットから動詞階層構造を抽出した。

## 3 FrameNet からの階層構造抽出

本章では FrameNet のフレーム間の Inheritance 関係を用いて動詞の上位下位関係を抽出する方法につ いて説明する。ここでは対象として英語/日本語フ

図 1 FrameNet の構造と Inheritance 関係を持つフレーム の例。Getting フレームと Commerce_buy フレームが Inheritance 関係を持つとき、それぞれの語彙単位 (LU) 同士が上位下位関係を持つと仮定する。

レームネットを用いているが、現状では他言語のフ レームネットの多くが英語フレームネットと同じ〉 レームとフレーム間関係を採用しているため、本論文の手法は多言語にも適用可能である。

## 3.1 継承関係を持つフレームの抽出

英語フレームネットから Inheritance 関係でつな がっているフレームを抽出した様子を図 2 に示す。英語フレームネットのバージョン 1.7 を使用し、グ ラフの可視化ツールとして Cytoscape [16] を用いた。 ノードが英語フレームネットの個々のフレームを表 し、エッジが Inheritance 関係を表す。

図2を見ると、上部に一番大きくかつ連結な部分 グラフが 1 つあり、下部に 2 つまたは 3 つのフレー ムが繋がった小さな部分グラフが多数確認できる。大きな連結グラフの存在から、FrameNet 内ではフ レーム同士は個々のフレームぺアの継承関係のみを 持つのではなく、あるフレームぺアのさらに上位の フレームにわたって多段の階層構造を形成している ことが分かる。これは FrameNet が多数の動詞間の 上位下位関係を定義していること、つまり動詞階層構造の語彙資源として活用できそうだということを 示す。

また、FrameNet 内のフレーム間関係の 1 つに着目 して全体を可視化、大域的に観察した研究は著者の

図 2 Inheritance 関係でつながっているフレーム。ノード がフレーム、エッジが Inheritance 関係を表す。FrameNet 内にはフレームの多段の階層構造が存在することが分 かる

知る限り存在しない。継承関係でつながっているフ レームを可視化したことによって、部分グラフごと にアノテータに似たフレームのアノテーションを依頼するなど、既存のフレームのアノテーションの確認にも活用できると考えている。

図 2 の上部、大きな連結グラフの中心部分を、 Inheritance 関係でつながったフレームの例として図 3 に示す。ここではEvent フレームが Getting フ レームや Coming_to_be など多数のフレームの親 フレームになっていることが分かる。また、Event フレームから Getting フレーム、Commerce_buy フレームと多段の継承関係があることが分かる。グ ラフ化することによって抽象的なフレームをより見 つけやすくなっている。

図 3 Inheritance 関係でつながったフレームの例。Event フレームは多数のフレームの親フレームである。

## 3.2 動詞階層構造抽出

節 3.1 で作成した Inheritance 関係を持つフレーム のネットワークから、一番大きな連結部分グラフを 取り出した。そして、それぞれのフレームの語彙単位 (ここでは動詞)を抽出して動詞階層構造のデータ セットを作成した。例えば、Inheritance 関係を持つ Getting フレームと Commerce_buy フレームの語彙単位 get と buyをノードとし、エッジでつなげる ことによりデータをグラフ形式に変換した。

ここで、フレーム同士の上位下位関係が存在する とフレーム内の語彙単位同士も上位下位関係を持つ という仮定を定性的に検証した。Inheritance 関係を 持つフレームのペアごとに語彙単位の例を挙げたも のを表 1 に示す。yell と sayや、“教える”と“言う” など、継承関係を持つフレームの多くが、語彙単位同士も上位下位関係を持つことが分かる。

抽出したフレーム数と語彙単位 (動詞) 数、上位語下位語のペア数を表 2 に示す。抽出した動詞を用い て実験を行う。

## 4 動詞階層構造埋め込み

本章では、作成した動詞の階層構造のデータセッ トを Poincaré embedding [7] に埋め込み、学習した 埋め込みを用いて英語/日本語フレームネットの 語彙単位間の上位下位関係の有無を判定する link prediction タスクを解く。

実験の目的は次の 2 つである。

・フレームネットから作成した動詞の階層構造 データセットが機械学習可能な構造を持つデー タであることを確認する。

・動詞の階層構造埋め込みのベンチマークタスク を提案する。
表 1 英語/日本語フレームネットから抽出した、継承関係を持つフレームとその語彙単位 (動詞) の例

 &  & 子フレーム & 親フレーム \\

英語 & yell & say & Communication_noise & Communication \\
英語 & wash & $d o$ & Grooming & Intentionally_affect \\
英語 & jump & $d o$ & Attack & Intentionally_affect \\
英語 & eat & take & Ingestion & Ingest_substance \\
日本語 & 売る & 与える & Commerce_sell & Giving \\
日本語 & 教える & 言う & Telling & Statement \\
日本語 & 飛ぶ & 行う & Self_motion & Motion \\
日本語 & 作り上げる & 作る & Intentionally_create & Creating \\
日本語 & 走り去る & 動く & Self_motion & Motion \\

表 2 英語/日本語フレームネットから抽出したデータ数

## 4.1 モデル/評価

動詞階層構造を埋め込むために、双曲空間を利用 し低次元の分散表現を作成する手法である Poincaré embedding を使用した。WordNetを始めとした教師 あり上位語下位語判定タスクでよく用いられる。英語/日本語フレームネットそれぞれから抽出した動詞の上位下位語ペアで 2 次元の Poincaré embedding を学習した。学習ライブラリとして gensim [17]を使用、epoch数は 500-50000 の間でチューニングした。

評価タスクとして、単語をノードとするグラフか ら単語を 2 つ取り出し、単語ぺアがエッジで結ばれ ているか (上位下位関係を持つか) を予測する link prediction タスクを用いた。本研究では英語/日本語 フレームネットで link predictionを行う。ある単語 ペアが分散表現内でノルムの差が一定以上かつ類似度が一定以上の時、上位下位関係を持つとした。検証/テストデータとして英語フレームネットは正例負例 10000 ペアずつ、日本語は 3000 ペアずつを無作為に抽出し、評価尺度として F1 スコアを用いた。

## 4.2 実験結果

実験結果を表 3 に示す。英語/日本語フレームネッ ト共に、単語ペア間の上位下位関係の有無を 7 割以上の確率で予測できたことから、作成した動詞の階層構造のデータセットは機械学習可能な構造になっ ていることが確認できた。表 3 英語/日本語フレームネット単語ペアの上位下位関係を判定する二値分類タスクの実験結果

## 5 結論

本研究では FrameNet のフレーム間関係の一つで ある Inheritance に着目し、フレーム同士の階層構造を可視化した。また、それらのフレームを喚起 する動詞を用いて英語/日本語の動詞階層構造の データセットを作成した。作成したデータセットで Poincaré embedding を学習し、ある動詞ペアが上位下位関係を持つかを判定する 2 値分類タスクで両言語共に 7 割以上の精度を達成した。このことから、 フレームネットから作成したデータセットは機械学習が可能な構造のデータであること、また動詞の上位下位関係を分散表現に埋め込めていることが確認 できた。フレーム意味論では、特に日常語に関して は言語や文化に依存しないフレームが多く存在する としているため、本手法は英語、日本語以外の多言語フレームネットにも適用可能である。

今後の展望として、動詞の階層構造の知識の応用 タスクへの適用が挙げられる。名詞の階層構造の情報が応用タスクにとって有用であるという研究 [10] は存在するが、動詞に関しては階層構造データの整備が不十分なため知識を応用タスクに埋め込む段階 まで至っていない。本研究で作成した動詞の階層構造のデータセットと、埋め込みの精度を測るための ベンチマークを手掛かりに、動詞知識活用の研究を 加速させていきたい。

## 参考文献

[1] Paola Velardi, Stefano Faralli, and Roberto Navigli. OntoLearn Reloaded: A Graph-Based Algorithm for Taxonomy Induction. Computational Linguistics, Vol. 39, No. 3, pp. 665-707, 092013.

[2] Mohamed Yahya, Klaus Berberich, Shady Elbassuoni, and Gerhard Weikum. Robust question answering over the web of linked data. In Proceedings of the 22nd ACM International Conference on Information amp; Knowledge Management, CIKM '13, p. 1107-1116, New York, NY, USA, 2013. Association for Computing Machinery.

[3] Johannes Hoffart, Dragan Milchevski, and Gerhard Weikum. Stics: Searching with strings, things, and cats. In Proceedings of the 37th International ACM SIGIR Conference on Research amp; Development in Information Retrieval, SIGIR'14, p. 1247-1248, New York, NY, USA, 2014. Association for Computing Machinery.

[4] Christiane Fellbaum. A Semantic Network of English: The Mother of All WordNets. Comput. Humanit., Vol. 32, No. 2-3, pp. 209-220, 1998.

[5] George A. Miller. Wordnet: A lexical database for english. Commun. ACM, Vol. 38, No. 11, p. 39-41, nov 1995.

[6] Collin F. Baker, Charles J. Fillmore, and John B. Lowe. The berkeley framenet project. In Proceedings of the 36th Annual Meeting of the Association for Computational Linguistics and 17th International Conference on Computational Linguistics - Volume 1, ACL '98/COLING '98, p. 86-90, USA, 1998. Association for Computational Linguistics.

[7] Maximillian Nickel and Douwe Kiela. Poincaré embeddings for learning hierarchical representations. In I. Guyon, U. V. Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc., 2017.

[8] 岩本蘭, 小比田涼介, 和地瞭良. 極座標を用いた階層構造埋め込み. 言語処理学会第 27 回年次大会予稿集, 2021.

[9] Tom Richens. Anomalies in the WordNet verb hierarchy. In Proceedings of the 22nd International Conference on Computational Linguistics (Coling 2008), pp. 729-736, Manchester, UK, August 2008. Coling 2008 Organizing Committee.

[10] Satanjeev Banerjee and Ted Pedersen. Extended gloss overlaps as a measure of semantic relatedness. In Proceedings of the 18th International Joint Conference on Artificial Intelligence, IJCAI'03, p. 805-810, San Francisco, CA, USA, 2003. Morgan Kaufmann Publishers Inc.

[11] Charles J. Fillmore. Frame semantics and the nature of language*. Annals of the New York Academy of Sciences, Vol. 280, No. 1, pp. 20-32, 1976.

[12] 小原京子, 河原大輔, 笹野遼平, 関根聡. 集合知を用い た大規模意味的フレーム知識の構築. 言語処理学会第 27 回年次大会予稿集, 2021 .

[13] Aljoscha Burchardt, Katrin Erk, Anette Frank, Andrea Kowalski, Sebastian Padó, and Manfred Pinkal. The SALSA corpus: a German corpus resource for lexical semantics. In Proceedings of the Fifth International Conference on Language Resources and Evaluation (LREC'06), Genoa, Italy, May 2006. European Language Resources Association (ELRA).

[14] Alexander Ziem and Hans C Boas. Towards a constructicon for german. In 2017 AAAI Spring Symposium Series on Computational Construction Grammar and Natural Language Understanding, Vol. SS-17-02, pp. 274-277, 2017.

[15] Tiago T. Torrent, Maria Margarida M. Salomão, Fernanda C. A. Campos, Regina M. M. Braga, Ely E. S. Matos, Maucha A. Gamonal, Julia A. Gonçalves, Bruno C. P. Souza, Daniela S. Gomes, and Simone R. Peron. Copa 2014 FrameNet brasil: a frame-based trilingual electronic dictionary for the football world cup. In Proceedings of COLING 2014, the 25th International Conference on Computational Linguistics: System Demonstrations, pp. 10-14, Dublin, Ireland, August 2014. Dublin City University and Association for Computational Linguistics.

[16] Paul Shannon, Andrew Markiel, Owen Ozier, Nitin S Baliga, Jonathan T Wang, Daniel Ramage, Nada Amin, Benno Schwikowski, and Trey Ideker. Cytoscape: a software environment for integrated models of biomolecular interaction networks. Genome research, Vol. 13, No. 11, pp. 2498-2504, 2003.

[17] Radim Rehurek and Petr Sojka. Gensim-python framework for vector space modelling. NLP Centre, Faculty of Informatics, Masaryk University, Brno, Czech Republic, Vol. 3, No. 2, 2011.


# アクセント単位形の推測を用いた日本語複合語のアクセント句の合成

青柳詠美 ${ }^{1}$ 小島正樹 ${ }^{2}$
${ }^{1}$ 東京薬科大学院 生命科学研究科 ${ }^{2}$ 東京薬科大学 生命科学部
\{s168002, mkojima\}@toyaku. ac. jp

## 概要

現在のテキスト合成音声システム [1] [2]では複合語句内において、話者による強調表現は再現できな いという問題がある。そこで本研究ではNHKアクセ ント辞典 [3] に掲載されているアクセント単位形に 着目し、コンピュータで推測したアクセント単位形 と話者の指定する強調から実際に発生しうるアクセ ント句を推定するアルゴリズムを作成した。まず話 し言葉コーパス (CSJ）[4]に掲載されている長単位 の複合語を対象に、アクセント核の位置からアクセ ント単位形を推定するモデルを作成する。そのモデ ルとCSJのBI ラベルから予測される強調に基づいて アクセント句を合成し、コーパス内のアクセント句 を再現できるか評価する。

## 1 はじめに

近年は様々なテキスト合成音声システム(text to speech)が開発され、AIアナウンサーや自動音声案内 システムなど、人に情報を伝える重要な技術になり つつある。本研究では複合語に着目することで、伝 え手が意図した韻律の音声を提供できる TTS の研究・開発に貢献することを目標とする。

## 1.1 強調を含めたアクセント合成とは

龃踣なく情報を伝達するためには、意味に対して 正確なアクセント句を提供することが重要である。 しかし上記に挙げた先行研究は共に実際に強調した か否かは入力值や特徴量にはなっていない。これは 話者による強調を含んだ表現は再現できないため、 システムでは正確なアクセントが付与された音声が 提供できているとは言い難い状況である。

具体的には以下の例がある。

「長野新幹線車両センター」という場所が現実に 存在するが、この建物は北陸新幹線の建設の際に建設された歴史を考慮すると構文解析は[長野][新幹線車両センター]である。しかし「長野新幹線」という固有名詞は存在する(かつて呼称として東京-長野間 を「長野新幹線」と呼んでいた)ため、この知識がな ければ[長野新幹線][車両センター]年捉えられても 文法上の誤りではない。この単語であれ、他の似た ような構文構造の単語であれ、システム利用者が後者のアクセント句を出力することを想定していない とは否定できない。

どちらの構文構造も文法上取ることが可能である。 またアクセント辞典の記載では単語によっては、時代変化によって複合語の意味要素が薄れ、一つの単語として振る舞うようになる例も存在し、その変化 は境目がなく、意味構造を持った発音と一つの単語 として振る舞う発音の両方が見受けられる場合があ るという指摘もある。

このことから一時的にかかり受け解析の予測等で 確率として高い一つの回答に絞る事は可能であるが、 どちらの選択肢も用意し、係り受けといった専門知識がなくてもユーザーが容易に選択できるように選択できる TTS の必要性を考えた。

そこで NHK アクセント辞典に掲載されているア クセント単位形に着目した。アクセント単位形は複合語のアクセント位置の考え方の一つである。強調時と強調以外のアクセント変化を説明する事が可能 になるため、上記に挙げた構文変化に伴うアクセン 卜変化を説明できると考えた。

本研究ではこのアクセント単位形をコンピュータ で推測し、アクセント単位形と話者の指定する強調 から実際に発生しうるアクセント句を推定するアル ゴリズムを作成した。その上でコーパス内のアクセ ント句を再現できるか評価する。

## 2 実験方法

## 2. 1 構築システムの概要

アクセント核の位置からアクセント単位形予測器 を作成した。具体的にはアクセント核とアクセント 単位形の関係からルールを作成して、自作でラベル 化、 $\mathrm{CRF}$ (条件付き確率場:機械学習)で学習した。次

に強調を含めたアクセント予測実験を行なった。具体的には、上記アクセント単位形推定モデルと強調位置を入力値としてコーパス内の音韻を再現できる か実験した。

## 2. 2 アクセント単位形の推測実験

まず、アクセント単位形を推測するために複合後 のアクセント核の位置を入力值としたアクセント単位形を決定するアルゴリズムを以下の図のように作成した。

1. 該当アクセント核が平板型以外なら、次の単位とアクセント単位は独立 (1) 2. 該当アクセント核が平板型で、次の単位も平板型ならアクセント単位は独立 (1) 3. 該当アクセント核が平板型で、次の単位は平板型以外ならアクセント単位は継続 (0) 4. 該当単位が最終単位ならアクセント単位は独立 (1)

図 1 アクセント単位形決定アルゴリズム

次に、日本語話し言葉コーパス (CSJ)のコア文章 201 講演を対象に短単位が 2 つ以上で構成され、各品詞(自立語のみ) にエントリーされている長単位を 抽出し、テストデータ: 訓練+検証データを $2: 8$ に分

と結合する (0)・しない(1)を推定した。CRF (条件確率場:Conditional Random Fields) [5] [6] とはある入力値に予め付与したラベルの確率分布を計算するこ とで予測する機械学習のアルゴリズムの一種である。今回は特徴量に書く品詞情報や読夕情報、表層形情報を入力し、アクセント単位形が次の単位と結合す る（0）かしない(1)か単語末表現 (EOS)かをラベルと して出力した。EOS は単語末に確実に出現するよう に設定したため、事実上アクセント単位形の結合可否 $(0,1)$ の二値問題である。条件によって学習形態素数が異なるため別途表で示す。

評価には代名詞、副詞以外では 4-fold grid search を行い、正則化関数は Macro $\mathrm{f}$ 値の高かった L1を、ハイパーパラメータ ( $-\mathrm{c}$ オプション)は $[0,0.01,0.05,0.1,0.5,1,5]$ から最も Macrof $\mathrm{f}$ 値の高 かった 1 を評価に用いた。代名詞、副詞ではデー夕数が少なかったため、交差検定は行わず、訓練デー タと検証データで上記と同様にハイパーパラメータ の調整を行った。特徴量は該当単位 2 つ前から 2 つ 先までの trigram、unigram、該当単位 1 前から 1 つ先までの bigramを特徴量とした。

 &  &  \\

## 表 1 各条件における学習形態素数一覧

品詞情報を用いる場合は Unidic[7]のものを用い て、CSJ に記載されている[表層形, 品詞 (LUWPOS), 活用の種類 (LUWCon jugateType), 活用形 (例: 未然形 LUWCon jugateForm), その他の情報 1 (助詞の種類を 示すLUWMiscPOSInfo1）のUnidic で相当する部分を 抜き出して一単位として入力值とした。 Unidicへの変換には Mecab (0.996) [8]で変換を行い、辞書にはアクセントの位置が記載されている Unidic (unidic-cwj-2.3-2.0)を用いた。

## 2.3 アクセント句予測実験

アクセント単位形の推測結果とCSJのBI ラベルを 用いて、コーパスに記載された実際に発生したアク セント句を再現できるかを実験した。以下は本実験 での BI ラベルの解釈である。

BI ラベルとは実際の音のピッチから判断された”次の単位との結合度”を示す[9]。

## 図 2 本実験での BI ラベルの解釈

ベースラインの規則由来のアクセント合成には以下のものを使用した。作成には複合語のアクセント 規則 (匂坂, 佐藤, 1983) や数詞のアクセント規則 (宮崎, 1984）、OPEN J TALK[1]、TASET[2][10]を参考に した。

全ての条件で形態素解析に Mecab(ver0.96) と Unidic (ver2.3.0)辞書を用いた。

## 3 結果と考察

本結果は昨年情報処理学会で発表した名詞句のア クセント単位形推定実験の結果[11]も同時に載せて いる。

$\cdot$sur_la:表層形のみが学習データ

$\cdot$sur_pho_la:表層形と読みが学習データ

$\cdot$sur_pos_la:表層形と読みと品詞情報が学習デー タである条件を示している。

## 3.1 品詞ごとにアクセント単位形推定モデ ルを作成した結果

品詞ごとにアクセント単位形を学習させた結果を 付録 A-1 の図に載せる。どの品詞もアクセント単位形 1 ラベルの $\mathrm{f}$ 值より 0 ラベルの $\mathrm{f}$ 值が低いという 結果になった。またデータが少ない副詞は 0 ラベル が学習できなかった。

動詞等活用形がある品詞も今回は実験の対象のた め、品詞情報を付与した場合のアクセント単位形推定結果をまとめたが、どの品詞も結果が悪化したか 大幅な改善は見られなかった。

## 3.2 品詞ごとの実験の考察

副詞の 0 ラベルの $\mathrm{f}$ 值や他の品詞の $\mathrm{f}$ 値の改善の ため、データを他の組成が似た品詞と合わせる学習 を試みた。理由として以下の表がある。これは本実験で用いたコーパス内(長単位)で各品詞のどの品詞 SUW(短単位)が多いか、種類ごとに分類したグラフ となっている。

図 3 本実験範囲での各品詞組成

副詞は単独で似たような組成の品詞が見つからな いが、副詞自身を除けば他の品詞が満遍なく存在す ると考えると、品詞隔てなく学習することで副詞内
の他品詞の学習が進むのではと考えた。

## 3.3 全ての品詞を含めて推定モデルを作成

## した結果

全ての品詞を含めてアクセント単位形を学習させ た結果を付録 A-2 の図に載せる。表層形のみ、読み 追加の条件で副詞は 0 ラベルも含めて学習できたが 品詞情報を入れると 0 ラベルの正解例がなく $\mathrm{F}$ 值が 計算できなかった。また表層形のみの学習で接続詞 の 0 ラベルが学習できなかった。これは組成表から 考えると接続詞は助詞が多いために他品詞から助詞 を含むような例が少なかったためが考えられる。な お、読みを入れた条件や品詞情報を入れた条件では 0 ラベルは学習可能であることがわかった。全体的 に他品詞を含めて学習していると品詞情報を入れて もアクセント単位形の推測 $\mathrm{F}$ 値は 0 ラベル、 1 ラベ ルともに大幅に上がらないという結果になった。

## 3. 4 アクセント句合成実験結果・考察

次に上記で作成したアクセント単位形推定モデル を用いてアクセント句の推定実験を行った。実験結果について、品詞ごとにアクセント単位形を推定し たモデルを用いた条件のものを付録 A-3 の図に、品詞を全て含めてアクセント単位形を推定したモデル を用いた条件のものを付録 A-4 の図に載せる。

品詞全体を俯瞰して、コーパス内に $1+\mathrm{p}$ (強調する けれどアクセント句は切れないに該当する単語が 見られない品詞も多く、たまたまコーパスに無かつ たのか、本当に日本語としてそう言う事例がないの か疑問が生じた。事例がない場合はアクセント句の 合成においてアクセント単位形を考えるまでもない ということになる。これは今後検討が必要である。

また両方の実験でベースラインにした規則による 強調指定よりもアクセント句の正解率が低い結果は なかった。このことはアクセント単位形の考え方が 他品詞にも使える可能性が考えられる。

アクセント単位形の推測実験同様、品詞情報の付与によるアクセント句の正解率が大幅に改善したと いう例はなかった。

## 3.5 品詞ごとの考察

以下は各品詞の考察である。主だったものを載せ る。

[名詞/代名詞]
品詞情報を付与してもアクセント単位形の推測、 アクセント句の正解率ともに改善が見られなかった。 これは名詞句というものは品詞情報が変化しないた め恩恵を受けにくいためと考えられる。また、数詞 なしの条件において、規則でアクセント句を推定し たものは $1+\mathrm{p}$ (強調あるもののアクセント句は結合:0 ラベルによるもの)の推測で結果が良いことが分か った。これは提案手法のアクセント単位形の 0 ラベ ルの推測成績が悪いことが起因していると考えられ る。提案手法の各条件でアクセント単位形推定タス クの $\mathrm{f}$ 值が異なっていたが、この差はアクセント句合成実験では影響せず、ほぼ同じ正解率を示した。

## [動詞/形容詞]

名詞、代名詞のときとは異なり、全体を通してア クセント単位形推測で全品詞同時学習時の結果が良 い傾向が得られ、アクセント句推測実験の BI ラベル 2〜のタスクで正解率の上昇に寄与していると考え られる。

## [形状詞]

単独学習での品詞情報込みの学習結果のアクセン ト単位形の 0 ラベルの推測能力の低いとき、BI ラベ ル 2 の正解率の低下しており、品詞一括学習だと改善しているため、 0 ラベルの推測の正確性がアクセ ント句の正確な合成に重要であることが言える。

## [副詞]

データ数の不足から副詞単体でのアクセント単位形 0 ラベルの学習は困難であった。副詞の品詞特性 としては、副詞の連続(例:ぶるぶるぶるぶる)とそれ 以外(例:一生懸命、必ずしも、比較的)に分かれ、副詞の連続以外には名詞や形状詞が含まれていた。こ のため、品詞を分けずにアクセント単位形を学習し た場合には、副詞単独ではアクセント単位形の 0 ラ ベルが十分に学習できなかったものが、全品詞を学習させると 0 ラベルも判別できるようになったと考 えられる。

## 4 まとめ

アクセント単位形の推測モデルを用いてアクセン 卜句の推定を行った。全品詞を俯瞰して、アクセン 卜単位形の推測タスクの $\mathrm{F}$ 值、特にアクセント単位形の結合を示す 0 ラベルの推定結果が悪いと、アク セント句の正解率が悪くなる結果となった。 またアクセント単位形の考え方は既存手法よりアク セント句の正解率が上がったため、アクセント句の 推定において提案手法は有用である。

## 5 今後の課題

今回の研究の条件下では以下の 3 つの課題が存在 する。

## 5.1 実験条件について

今回は複合語を入力したときの結果であり、文の 中でどのような品詞条件で、あるいは構文条件で出現したかについて全く考慮していない。例えば、あ る文章中では 1 単位形として出現する単語が特定の 構文条件で 2 単位形に分割する現象があったとして も、今回の実験で表現することは不可能である。こ のため、文単位で入力した際のアクセント単位形が どう変化するかを学習させる、あるいは単語の特徴量に品詞情報以外の文中での振る舞いを示す値を含 めることが必要であると考えられる。

## 5.2 実験データについて

正確なアクセント核は人手でないと付与ができな い。特に平板型のアクセント定義はキャリア文との 接合した際のアクセント変化で判断するため、とあ る文章を入力、発話したときに必ずしも判定できる とは限らない。こう言った事情から多量のアクセン 卜単位形に関するラベルを用意する事は現実的では ない。既に短単位でアクセント核が付与されている コーパス等のデータは限られるため、今後ラベルの 正解率やアクセント句の正確な推定を行うにあたり、機械学習の中でデータ不足を補える方法を検討する 必要がある。

## 5.3 学習単語単位について

今回、学習する単語単位をUnidic (CSJ の SUW) に 固定した。本研究では人手で付与された正確なアク セント核の位置を利用したいという意図で採用した が、先行研究ではサブワード [12] [13] という概念が あり、文法に準拠した単語分割が計算機にとってア クセント単位形を推測しやすいかは検討材料である。分割した際のアクセントの位置について解決した上 で、Unidic 以外の単語分割での検討をしていきたい。

## 参考文献

1. Open JTalk

http://open-jtalk. sourceforge. net/

2. TASET Tokyo Accent Sandhi Estimation Toolkit, https://sites. google.com/site/suzukimasayu ki/accent

3. NHK 放送文化研究所・編『NHK 日本語発音アクセ ント新辞典』2016 年

4. 国立国語研究所『日本語話し言葉コーパス (CSJ)』 https://pj.ninjal.ac.jp/corpus_center/csj/

5. J. Lafferty, A. McCallum, and F. Pereira,

"Condi- tional random felds: Probabilistic models for seg- menting and labeling sequence data," Proc. 18th In- ternational Conference on Machine Learning (ICML), pp. 282-289, 2001.

6. CRF++, Yet Another CRF toolkit

https://taku910. github. io/crfpp/
7. Unidic, https://unidic.ninjal.ac.jp

8. MeCab, Yet Another Part-of-Speech and Morphological Analyzer

https://taku910. github. io/mecab/

9. 五十嵐 他 ” 報告書『日本語話し言葉コーパス の構築法』第 7 章 韻律情報”，国立国語研究所報告 No. 124 (2006)

10. 鈴木 他, ” 条件付き確率場を用いた日本語東京方言のアクセント結合自動推定”，電子情報通信学会論文誌 D Vol. J96-D No. 3 pp. 644-654, 2013

11. 青柳 他 “アクセント単位形の推測を用いた日本語複合名詞のアクセント句の合成” 情報処理学会第 83 回全国大会学生セッション _7N-02. 2021

12. 工藤拓『実践・自然言語処理シリーズ 第 2 巻形態素解析の理論と実装』(株式会社近代科学社者) 2018 年

13. SentencePiece

https://github. com/google/sentencepiece

## A 付録

A-1 アクセント単位形学習結果(品詞ごと)

A-2 アクセント単位形学習結果(品詞一括)

*印のタスクはBIラベル1+pおよび2に該当する単語が存在しなかった。**印のタスクはBIラベル1+pに該当する単語が存在しなかった。***印のタスクはBIラベル1+pの正解率が0だった。

A-3 アクセント句推定実験(品詞ごと学習モデル)

全品詞学習モデルによるアクセント句推定実験

A-4 アクセント句推定実験 (全品詞学習モデル)


# 物体構成要素間の階層的な注意を用いた画像キャプション生成

平川 幸佑，田村 晃裕，加藤恒夫
同志社大学 大学院理工学研究科
\{ctwf0106@mail4, aktamura@mail, tsukato@mail\}.doshisha.ac.jp

## 概要

画像キャプション生成タスクでは，Faster R-CNN のような物体検出器により抽出した物体の特徴べ クトルを用いるモデルが高い精度を達成している。従来モデルでは Transformer Encoder の自己注意機構 において物体間の関連を捉えられる。しかし，物体間の関連は学習の中で自動的に学習されるため，位置が近い物体同士が纏まりやすいという傾向は陽 にモデルに取り入れられていない. そこで本研究で は， Transformer Encoder において隣接する物体間の 関連を階層的に捉える自己注意機構「構成要素注意機構」を提案する。

## 1 はじめに

近年, ニューラルネットワーク $(\mathrm{NN})$ に基づいた画像キャプション生成の研究が盛んに行われている. NN に基づくキャプション生成は Encoder-Decoder モ デル [1]が主流であり，CNNを用いて畳み込んだ画像の各領域への注意を学習する視覚的な注意機構に 基づくモデルが高い精度を実現している [2]. また， Faster R-CNN[3] などの物体検出器により抽出された 画像上の物体や顕著な領域を用いることで，物体の 位置やサイズを考慮したキャプション生成モデルが 提案されている [4]. この従来モデルでは Encoder の 自己注意機構において物体間の関連を捉えられる。 しかし，物体間の関連は学習の中で自動的に学習さ れるため，位置が近い物体同士が䌂まりやすいとい う傾向は陽にモデルに取り入れられていない.

そこで本研究では，Transformer に基づく画像キャ プション生成モデルの Encoder において，隣接する 2 つの物体構成要素間の緹まりを捉えながら物体間 の関連を階層的に捉える自己注意機構「構成要素注意機構」を提案する. 構成要素注意機構により隣接する物体構成要素同士を階層的に維めていくこ とで，位置が近い物体同士を関連づけられるため，
キャプション生成の精度向上が期待できる.

MSCOCO 2014 captions データセット [5] を用いた 画像キャプション生成タスクによる評価実験の結果，Transformer をべースとした古典的な画像キャプ ション生成モデルに提案の構成要素注意機構を導入することで，有意な性能改善を確認できた。一方 で, Object-Relation-Transformer[4] に構成要素注意機構を導入した場合，評価指標のスコアはわずかに向上したが，有意差は確認できなかった。

## 2 関連研究

2.1 節で Transformer について説明する. 2.2 節で は，本研究でベースモデルとして利用する，物体検出により抽出した物体間の関連を Encoder で捉える Object-Relation-Transformer について説明する.

## 2.1 Transformer

Transformer[6] は, 入力系列を潜在表現へと変換 し，変換した潜在表現から出力系列を生成する Encoder-Decoder モデルである. Encoder と Decoder はそれぞれ Encoder レイヤと Decoder レイヤを複数個スタックすることで構成される. Encoder レイヤ は自己注意層と全結合層の 2 つのサブレイヤで構成され, Decoderレイヤは自己注意機構と全結合層, ソース・ターゲット注意機構の 3 つのサブレイヤで 構成されている．各サブレイヤ間には，残差接続と 層正規化が適用される. 自己注意機構は $H$ 個の同一のヘッド (マルチヘッド)で構成され，各へッドの 計算には式 (1) の縮小付き内積注意が用いられる.

$
\operatorname{head}_{i}(Q, K, V)=\operatorname{softmax}\left(\frac{Q K^{T}}{\sqrt{d_{k}}}\right) V
$

ここで， $Q, K, V$ はそれぞれquery, key，value に 対応しており,$d_{k}=d_{\text {model }} / h て ゙ あ る . ~ d_{\text {model }}$ は元々 の入力の埋め込み次元である. query と key の内積 により算出した各要素の類似度を softmax により確率化することで，要素間の関係の強さを表すスコア

を算出する. このスコアと value との内積を算出す ることで，query の各要素と関係の強い valueの各要素の重み付き加重和による特徵が抽出できる. 式 (1) は各へッドで独立に計算され，式 (2)のように $H$個のヘッドの出力を 1 つのベクトルに連結し, 重み 行列 $W^{O}$ と乗算される.

$
\operatorname{MultiHead}(Q, K, V)=\operatorname{Concat}\left(\operatorname{head}_{1}, \ldots, \text { head }_{H}\right) W^{O}
$

また，全結合層は式 (3)により行われる。

$
\operatorname{FFN}(x)=\max \left(0, x W_{1}+b_{1}\right) W_{2}+b_{2}
$

ここで $, W_{1}, b_{1}$ と $W_{2}, b_{2}$ は全結合層の重みとバイ アスである.

Transformer は再帰や畳み込みを用いていないた め, 入力系列や出力系列の各要素の位置情報を捉え ることができない. そこで Encoder と Decoderでは，埋め込み層の後で $\sin$ 関数と $\cos$ 関数を用いた位置 エンコーディングを行い, 各要素の位置情報を付加 する. ただし，物体検出ベースの画像キャプション 生成 Transformer の場合，入力となる特徵ベクトル の並びは画像における位置に基づくものではない. そのため，エンコーダでは位置エンコーディングを 用いた埋め込み処理を行っていない.

## 2.2 Object-Relation-Transformer

Object-Relation-Transformer[4] は 2.1 節で紹介した Transformer Encoder の注意機構で, 物体間の相対的 な位置やサイズの比率を組み込んだ幾何学的注意を 計算する. まず，画像中の 2 つの物体 $m$ と $n$ の中心座標 $\left(x_{m / n}, y_{m / n}\right)$, 幅 $\left(w_{m / n}\right)$, 高さ $\left(h_{m / n}\right)$ から変位へ クトル $\lambda(m, n)$ を式 (4) により算出する.

$\lambda(m, n)=\left(\log \left(\frac{d_{x}}{w_{m}}\right), \log \left(\frac{d_{y}}{h_{m}}\right), \log \left(\frac{w_{n}}{w_{m}}\right), \log \left(\frac{h_{n}}{h_{m}}\right)\right)$

ここで $, d_{x}=\left|x_{m}-x_{n}\right|, \quad d_{y}=\left|y_{m}-y_{n}\right|$ である. そし $\tau$ ，幾何学的注意重みを式 (5) により算出する。

$
\omega_{G}^{m n}=\operatorname{ReLU}\left(\operatorname{Emb}(\lambda) W_{G}\right)
$

ここで， Emb は，Transformer の sin 関数と $\cos$ 関数 による位置エンコーディングを行う関数である。位置エンコーディングの結果は重みべクトル $W_{G}$ と 乗算することでスカラー值に変換し, 非線形関数 ReLUを適用する. その後, 幾何学的注意重み $\omega_{G}^{m n}$ は，式(6)によりオリジナルの注意機構に組み込む。

$
\omega^{m n}=\frac{\omega_{G}^{m n} \exp \left(\omega_{A}^{m n}\right)}{\sum_{l=1}^{N_{I}} \omega_{G}^{m l} \exp \left(\omega_{A}^{m l}\right)}
$

図 1 構成要素注意機構を導入した自己注意機構 ここで， $\omega_{A}^{m n}$ は query と keyの縮小付き内積により 算出された行列の要素である. また， $N_{I}$ は画像中 の物体の個数である. 最終的なへッドの出力は式 (7) になる。

$
\text { head }_{i}(Q, K, V)=\Omega V
$

ここで, $\Omega$ は $\omega^{m n}$ を要素に持つ $N_{I} \times N_{I}$ 行列である.

## 3 提案手法

従来の物体検出ベースの Transformer モデルは, Encoder の自己注意機構で物体間の関連を捉える。 しかし，その関連は学習の中で自動的に学習される ため, 近い位置の物体同士が緥まりやすい傾向は陽 にモデルに取り入れられていない. そこで本研究で は，Transformer Encoder で隣接する物体間の関連を 階層的に捉える構成要素注意機構を提案する.

構成要素注意機構を組み込んだ Transformer Encoder の自己注意機構の概略図を図 1 に示す. 図 1 において, 赤い部分が提案の構成要素注意機構に 関する部分である. 以降， 3.1 節で構成要素注意機構について説明し, 3.2 節で構成要素注意機構を画像キャプション生成 Transformer モデルへ組み込む 方法を説明する。

## 3.1 構成要素注意機構

構成要素注意機構は，Transformer の自己注意機構において文の句構造を捉えるために提案された Constituent Attention[7] を画像キャプション生成モデ ルに応用したものである. 構成要素注意機構では，隣接する物体間の関連を表す隣接注意スコアに基づ き，特定範囲の物体が同じ構成要素に属する確率を 表す構成要素事前確率を階層的に求める. そして， その構成要素事前確率で自己注意機構を条件付ける ことで，自己注意機構において隣接する要素間をよ り関連付けることが可能になる。

図 2 物体集合の系列化の例

提案手法では，まず，物体検出器により検出され た物体の集合を物体系列に変換する。この際，画像中で隣接する物体は物体系列においても隣接するよ うに系列化する，具体的には，図 2 のように，各物体の中心座標に基づき，原点から距離が近い順に物体を並べる。この物体系列を基に構成要素事前確率 を計算することで，隣接する物体同士を同じ構成要素として関連づけることが可能になる。

構成要素注意機構は物体系列に対して，まず，物体 $o_{i}$ が右隣りの物体 $o_{i+1}$ と左隣りの物体 $o_{i-1}$ に 結びつく確率を式 (8) のように算出する. ただし， $s_{i, i+1}$ と $s_{i, i-1}$ は, それぞれ, $o_{i}$ が $o_{i+1}$ と $o_{i, i-1}$ に結 びつく度合いを表すスコアであり，式 (9) の通り，縮小付き内積注意により算出される。

$
\begin{gathered}
p_{i, i+1}, p_{i, i-1}=\operatorname{softmax}\left(s_{i, i+1}, s_{i, i-1}\right) \\
s_{i, i+1}=\frac{q_{i} \cdot k_{i+1}}{d}, s_{i, i-1}=\frac{q_{i} \cdot k_{i-1}}{d}
\end{gathered}
$

ここで, $q_{i}$ は $o_{i}$ の queryであり, $k_{i-1}$ と $k_{i+1}$ は，それ ぞれ, $o_{i-1}$ と $o_{i+1}$ の keyである. また, $d=d_{\text {model }} / 2$ である.

その後， $o_{i}$ と $o_{i+1}$ が結びつく度合いを表す隣接注意スコアを，式 (10) の通り， $p_{i, i+1}$ と $p_{i+1, i}$ の 2 つの 確率の幾何平均により求める.

$
\hat{a}_{i, i+1}=\sqrt{p_{i, i+1} \times p_{i+1, i}}
$

そして，この隣接注意スコアを，式 (11)のように階層的に取り込んだ構成要素注意スコアを求める. 構成要素注意スコア $a_{i, i+1}$ は物体 $o_{i}$ と隣接物体 $o_{i+1}$ が 同じ構成要素に属する度合いを表している。

$
a_{i, i+1}^{l}=a_{i, i+1}^{l-1}+\left(1-a_{i, i+1}^{l-1}\right) \hat{a}_{i, i+1}^{l}
$

ここで， $a^{l}$ は $l$ 層目の構成要素注意スコア， $\hat{a}^{l}$ は $l$層目の隣接注意スコアである. 初期状態では各物体 は異なる構成要素とみなし， $a^{0}=0$ とする。

構成要素注意スコア $a_{i, i+1}$ を算出後, 算出した $a_{i, i+1}$ をもとに，式 (12) のように構成要素事前確率 $C_{i, j}$ を算出する. $C_{i, j}$ は物体 $o_{i}$ から $o_{j}$ までが同じ 構成要素である確率を表す.

$
C_{i, j}=e^{\sum_{k=i}^{j-1} \log \left(a_{k, k+1}\right)}
$

この構成要素事前確率を用いて，式 (13) のように自己注意を条件づけることで，隣接する関連の高い物体をより注目させる。

$
E=C \odot \operatorname{softmax}\left(\frac{Q K^{T}}{\sqrt{d_{k}}}\right)
$

ここで， $C$ は $C_{i, j}$ を要素とする行列である.

## 3.2 構成要素注意機構の導入

構成要素注意機構（式 (13)）のみを用いると，隣接しないが関連度の高い物体が注目されない問題が 生じ得る。例えば，図 2 において，物体 “ 0 ” と物体 “1”が関連ある物体であっても，構成要素注意機構 では関連強いと判定できずに正しいキャプション を生成できない可能性がある。 そこで提案モデルで は，図 1 のように，Transformer Encoder の各ヘッド で通常の自己注意機構と構成要素注意機構を結合 し，2つの自己注意を考慮する．各ヘッドでの演算 と最終的なマルチヘッドの出力はそれぞれ式 (14),式 (15) の通りである. 式 (14) の head ${ }_{i}$ は式 (1) や式 (7) で計算されるものである.

$
\hat{\text { head }}_{i}(Q, K, V)=\operatorname{Concat}\left(\operatorname{head}_{i}(Q, K, V), E V\right)
$

$\operatorname{MultiHead}(Q, K, V)=\operatorname{Concat}\left(\hat{\text { head }}_{1}, \ldots, \hat{\operatorname{head}}_{H}\right) W^{O}$

## 4 実験

## 4.1 実験設定

本研究では， MSCOCO 2014 captions データセッ ト [5] を用いて，提案手法の有効性を検証した。 MSCOCO データセットは，82,783 件の訓練用画像 と 40,504 件の開発用画像, 40,775 件のテスト画像か らなる。各画像には最低 5 つのキャプションが付 けられている。本実験では，Karpathy ら [8] に倣い，開発用画像のうち 5,000 件をモデル開発用，5,000 件をテスト用，残りを訓練用画像に足し，113,287 件を学習に用いた。また，入力に用いる特徴マップ は, Herdade ら [4] に倣い, Anderson ら [9] が公開し ている事前学習済みの bottom-up attention model によ り抽出した MS COCO 画像の領域特徵群1)を採用し た. Transformer のパラメータ設定は，Vaswani ら [6] に倣い, Encoder, Decoder レイヤは 6 個スタックし， ヘッド数は $8 ， d_{\text {model }}$ は 512 とした. また，モデル の最適化手法は Adam， ウォームアップステップを

20,000，バッチサイズを 15 とし，クロスエントロ ピー誤差を損失関数として 30 エポック学習を行っ た. キャプション文はビームサイズ 2 のビームサー チで生成した。

提案の構成要素注意機構（CSA）の効果を確認す るため, 通常の画像キャプション生成 Transformer モデル（T), Object-Relation-Transformer（ORT），そ れぞれのモデルに構成要素注意機構を導入したモ デル（T+CSA，ORT+CSA）の性能を比較した. 各モ デルで 3 回ずつ学習した後, テストデータに対す る性能の平均值と最大值で比較した. 評価指標は, BLEU-n[10] と METEOR[11], CIDEr-D[12] を用いた.

## 4.2 実験結果

それぞれのモデルの性能を表 1 に示す. なお，「*」はベースラインモデル（T／ORT）との差が，対応ありの両側 $\mathrm{t}$ 検定で有意（有意水準 $5 \%$ ）であっ たことを表す. Transformer と構成要素注意機構を導入した Transformer を比較すると，Bleu4 スコアにお いては，平均值で 0.7 ポイント，最大値で 0.4 ポイ ントの向上が確認できた. CIDEr-D スコアにおいて も, 平均值で 1.6 ポイント, 最大値で 1.7 ポイント の向上し，有意な改善を確認できた.

Object-Relation-Transformer と構成要素注意機構を 導入した Object-Relation-Transformerを比較すると， Bleu4 スコアにおいては, 平均値, 最大值共に 0.3 ポ イントの向上が確認できた. CIDEr-D スコアにおい ても, 平均で 0.4 ポイント, 最大値で 0.6 ポイント の向上が確認できた. しかし，これらの結果に対し て対応ありの両側 $\mathrm{t}$ 検定を行った結果，有意水準 $5 \%$ でいずれの指標においても有意差を確認できなかっ た.

## 4.3 考察

提案の構成要素注意機構で算出した自己注意の例 を図 3, 4 に示す. 各画像において, 枠内の画像が

図 3 構成要素注意機構で算出した注意の例 (1 層目)

図 4 構成要素注意機構で算出した注意の例 (6 層目)

鮮明なほど，その画像に対する注意が高くなること を示す.ここで，一番右上の緑枠は注目する物体,赤枠は緑枠より原点から遠い物体，青枠は緑枠より 原点に近い物体であり，緑枠に隣接する両隣 3 個の 物体を表している。

これらの図より, 右上の緑枠の腕に関して, 1 層目では，周辺のスプーンや持ち手に注意が向き，最上層では，左の女性も 1 つの要素として纏めている ことが確認できる。このことから，構成要素注意機構は，周辺の物体を緹めながら階層的に注意を計算 できたことが分かる.

## 5 おわりに

本研究では， Faster-R-CNNのような物体検出器に より獲得した物体や顕著な領域の特徴ベクトルを 用いた画像キャプション生成 Transformer モデルに 対して，画像上で隣接する物体を物体構成要素の緾 まりとして階層的にとらえる自己注意機構「構成要素注意機構」を提案した. MSCOCO データを用 いた実験結果より，Transformer に構成要素注意機構を導入することで，統計的に有意にキャプショ ン生成性能を改善できることが確認できた。一方， Object-Relation-Transformer に構成要素注意機構を導入した場合も，いくつかの評価スコアが向上した が，検定の結果，有意ではなかった. 今後は，構成要素注意機構で行う物体群の系列化の方法を変更す るなどして，提案モデルの性能を改善させたい.

## 参考文献

[1] Oriol Vinyals, Alexander Toshev, Samy Bengio, and Dumitru Erhan. Show and tell: A neural image caption generator. In Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 3156-3164, 2015.

[2] Kelvin Xu, Jimmy Ba, Ryan Kiros, Kyunghyun Cho, Aaron Courville, Ruslan Salakhudinov, Rich Zemel, and Yoshua Bengio. Show, attend and tell: Neural image caption generation with visual attention. In International conference on machine learning, pp. 2048-2057. PMLR, 2015.

[3] Shaoqing Ren, Kaiming He, Ross Girshick, and Jian Sun. Faster r-cnn: Towards real-time object detection with region proposal networks. In Advances in neural information processing systems, Vol. 28, pp. 91-99, 2015.

[4] Simao Herdade, Armin Kappeler, Kofi Boakye, and Joao Soares. Image captioning: Transforming objects into words. In Advances in neural information processing systems, 2019.

[5] Tsung-Yi Lin, Michael Maire, Serge Belongie, James Hays, Pietro Perona, Deva Ramanan, Piotr Dollár, and C Lawrence Zitnick. Microsoft coco: Common objects in context. In European conference on computer vision, pp. 740-755. Springer, 2014.

[6] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in neural information processing systems, pp. 5998-6008, 2017.

[7] Yaushian Wang, Hung-Yi Lee, and Yun-Nung Chen. Tree transformer: Integrating tree structures into self-attention. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLPIJCNLP), pp. 1061-1070, November 2019.

[8] Andrej Karpathy and Li Fei-Fei. Deep visualsemantic alignments for generating image descriptions. In Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 31283137, 2015.
[9] Peter Anderson, Xiaodong He, Chris Buehler, Damien Teney, Mark Johnson, Stephen Gould, and Lei Zhang. Bottom-up and top-down attention for image captioning and visual question answering. In Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 6077-6086, 2018.

[10] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th annual meeting of the Association for Coтpиtational Linguistics, pp. 311-318, 2002.

[11] Michael Denkowski and Alon Lavie. Meteor universal: Language specific translation evaluation for any target language. In Proceedings of the ninth workshop on statistical machine translation, pp. 376380, 2014.

[12] Ramakrishna Vedantam, C Lawrence Zitnick, and Devi Parikh. Cider: Consensus-based image description evaluation. In Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 4566-4575, 2015.


# 自然言語とソースコード間の対訳コーパス向け Data Augmentation 手法の提案

秋信 有花 ${ }^{1}$ 小原 百々雅 ${ }^{2}$ 梶浦照乃 ${ }^{2}$ 倉光 君郎 ${ }^{2}$
${ }^{1}$ 日本女子大学大学院 理学研究科 2 日本女子大学 理学部
m1616003ay@ug.jwu.ac.jp kuramitsuk@fc.jwu.ac.jp

## 概要

本論文では，自然言語とソースコード間の対訳 コーパス向けの Data Augmentation (DA) 手法と，そ れを実現するDA Dール Multieseを提案する。近年，深層学習ベースのコーディング支援は関心を 集めるテーマとなっているが，学習データとなる NL-code 対訳コーパスの不足は重要な課題である。本研究では，構文木への変換が可能であるという ソースコードの形式的な性質を活用した DA 手法を 新たに提案する。実験では, Multiese によって増強 された NL-code 対訳コーパスを用いることで，自然言語からソースコードを生成するコード生成 AI モ デルを，高い精度で構築可能であることを示した。

## 1 はじめに

社会のデジタル化が進む昨今，プログラミングは より身近な技能へとなってきている。しかし，プロ グラミングは誰もが自由自在にできるものではな く，プログラムの書き方がわからず，挫折してしま う人も少なくない．そこで，我々は，自然言語を用 いたプログラミング支援の実現に向け，日本語記述 から Python コードを生成するニューラル機械翻訳 モデルであるコード生成 AI モデルの構築に取り組 んでいる $[1,2]$. ユーザは，プログラムの書き方が 思い出せない箇所をコード生成 AI モデルに対して 自然言語で与えることで，それに相当する正しい コードを得ることができる.

しかし，コード生成 $\mathrm{AI}$ モデルの学習データとな るソースコードとその対訳をぺアとした NL-code 対訳コーパスのデータ資源は限られている [3]. 先行研究では，ソースコードのデータ資源として， GitHub などのオープンソース上のソースコードが 使われてきたが $[4,5]$ ，これらには対訳などは含ま れていない.ソースコードの対訳は，ソースコード内のコメントとして付与されることもあるが，そ の対訳の粒度はコーダーによって様々である。そ のため，これらのコメントを抽出し，対訳として ソースコードとマッピングするだけでは，NL-code 対訳コーパスとして不十分である。また，整備済み の NL-code 対訳コーパスもいくつか公開されている が，これらのほとんどは人手で対訳が付与されたも のである．そのため，データセット数は数百から数千程度と限られており，深層学習のネットワークモ デルに直接適用することは難しい.

そこで，本研究では，NL-code 対訳コーパスの不足を解消すべく，自然言語とソースコード間の対訳 コーパス向けの Data Augmentation (DA) 手法を提案 する. 我々の DA 手法の特徴は，プログラミング言語の構文に基づくソースコードの合成と DA 記法の 導入による自然言語表現の増強である。我々は，こ の二つの特徴を実現する DA ツール Multiese を実装 し，人手で作成した NL-code 対訳コーパスのデータ セット数を 177 ペアから 14,721 ペアまで増強させる ことができた．また，実験では，Multiese によって 増強された NL-code 対訳コーパスを用いてコード生成 AI モデルを学習し，NL-code 対訳コーパスの合成によるコード生成 $\mathrm{AI}$ モデルの精度の変化を確か めた.

本論文では，NL-code 対訳コーパス向け DA 手法 とDA ツール Multieseを提案し，実験結果とともに 報告する。本論文の残りの構成は以下の通りであ る. 2 節では提案する NL-code 対訳コーパス向け DA 手法について述べる。 3 節では実装した DA ツー ル Multiese について述べる. 4 節では実験について 述べる. 5 節では関連研究を概観し，6節で本論文 をまとめる.

図 1 コード生成 AI モデルと back-translation

## 2 NL-code 対訳コーパス向け DA

Data Augmentation (DA) は，学習データに加工など の処理を部分的に施すことで，データ量を水増しす る手法である. 本節では，本研究で着目したDA 手法の一つである back-translation について概説したの ち, 本研究の提案である NL-code 対訳コーパス向け DA 手法について述べる.

## 2.1 Back-translation

Back-translation は，機械翻訳向けの DA 手法であ る. Back-translation では，目的とする翻訳モデルの ソース言語とターゲット言語を逆にした逆翻訳モ デルを別途学習する. 学習された逆翻訳モデルに対 して，ターゲット言語の単言語コーパスを入力し, ソース言語の対訳を生成することで，擬似的な対訳 コーパスを構築する. コード生成 AI モデルに対し て back-translation をナイーブに適用すると，図 1 に 示すように, Python コードから日本語記述を生成 する back-translation モデルを別途学習することにな る. 一般的な back-translation と異なる点は, 逆翻訳 モデルのソース言語が，木構造への変換が可能なプ ログラミング言語になることである.

## 2.2 NL-code 対訳コーパス向け DA 手法

本研究では，逆翻訳モデルのソース言語がプログ ラミング言語である点に着目し, プログラミング言語の性質を活用した DA 手法を新たに提案する. 図 2 は，NL-code 対訳コーパス向け DA 手法のコンセ プトを示したものである. 提案手法の特徴は, ソー スコードの任意長の expression片に対して与えられ た対訳から，ボトムアップで NL-code 対訳コーパス を合成する点である.

NL-code 対訳コーパス向け DA 手法では，まず人手で複数の日本語訳を付与した NL-code 対訳コーパ スを用意する。このとき，既存の対訳コーパスを再利用することも可能である.

図 2 NL-code 対訳コーパス向け DA 手法

## $\mathrm{x \% \mathrm{n}$}

$x \% 2==0$

$\mathrm{x}$ が偶数かどうか

$\mathrm{x}$ は 2 で割り切れるかどうか

次に，用意した NL-code 対訳コーパスに対して， プログラミング言語の文法に基づくアノテーショ ン記法を導入する. Expression 片の前後に来る可能性のある構文を @enot アノテーションのように与 える。

すると，アノテーションに基づき，表１のように 前後の文言が生成される。提案手法では，最初に与 えられた expression 片からボトムアップで対訳を合成することになるが，木構造のトップに相当する コードまでは生成しない。これは，Transformerなど のネットワークモデルでは, 複雑な木構造を扱うこ とが困難であるという考察に基づいている [6].

提案手法のもう一つの特徴は, DA 記法の導入に よる，自然言語表現の増強である。はじめに用意し た NL-code 対訳コーパスに対して，以下のような記法を追加することで，自然言語の表現を拡張できる ようにしている.

$x \% 2==0$ @@not @@if

@type(x, 変数) が偶数 [かどうか|であるかどうか] $\mathrm{x}$ は 2 で [割り切れる割ることができる]かどうか

上記の例には，二種類の DA 記法を含んでいる.

図 3 Multiese による日本語 Data Augmentation

一つ目は，類義語置換である. [かどうか|であるか どうか]のように定義された複数の類義語を組み合 わせることで，複数の自然言語記述を生成する。二 つ目は，変数名やリテラルに対する型情報の付与で ある. @type(x，変数) のように変数名とその型情報をぺアとして明示することで，変数名の前後に型情報を付与，もしくは付与しないパターンを生成 する. DA 記法を付与する手間はかかるものの，複数のDA 記法を組み合わせることで，様々な表現パ ターンへの拡張が実現できる.

## 3 DA ツール: Multiese

Multiese は，NL-code 対訳コーパス向け DA 手法を 実現するための DA ツールである. 図 3 は, Multiese が NL-code 対訳コーパスを合成するまでの流れを 示したものである。まず，DA 記法を含んだ自然言語記述は，抽象構文木 (AST) へと変換される. その 後，構文木のタグ情報に基づき，複数の自然言語表現をルールベースで生成する. 最後に，それらを元 のソースコードとペアにし， NL-code 対訳コーパス として出力する.

抽象構文木への変換は，PEG (Parsing Expression Grammar)[7] パーザジェネレータ PEGTree[8] と, 形態素解析器 Janome を組み合わせることで実装して いる. PEGTree で DA 記法に基づいた構文木に変換 した後, Janome で品詞タグを付与する. 品詞タグを 付与することで，語順の入れ替えや助詞の一部変更 などの DA 処理を，DA 記法なしに実現している.

## 4 実験

我々は, Multiese によって増強された NL-code 対訳コーパスを用いてコード生成 AI モデルを構築し， コードの生成例やその精度を確かめた。本節では， コード生成 $\mathrm{AI}$ モデル構築の流れとその結果につい表 2 実験に使用したデータセット

てまとめる.

## 4.1 データセットと前処理

我々は 3 種類の人手で作成した NL-code 対訳コー パスを用意し，そのうちの 2 種類に対して NL-code 対訳コーパス向け $\mathrm{DA}$ 手法を適用した. 表 2 は，実験で使用した NL-code 対訳コーパスをまとめたも のである. Euler ${ }^{11}$ は， "Project Euler4" の問題を解く ための Python コードに対し, 人手で日本語対訳が 付与された, Web 上で公開されているデータセット である [9]. AOJ と DS は，コード生成 AI モデルの 学習にあたり, 我々が人手で作成した NL-code 対訳 コーパスである. AOJ は， Aizu Online Judge ${ }^{2}$ に提出 された Python コードのうち，成績上位 100 人の公開コードを全て収集し，expression 単位のコード片 に対して日本語訳を付与したデータセットである。 DS は，データサイエンスに関するテキスト教材か ら，pandas や matplotlib などデータ分析でよく使用 されるライブラリの APIを採取し，人手で対訳を付与したデータセットである. AOJ-DA と DS-DA は， AOJ，DS に対してアノテーションやDA 記法を加 え，Multiese によってデータセット数を増強したも のである.

コード生成 $\mathrm{AI}$ モデル学習前には, トークナイズ と，変数名・リテラルの特殊トークン化への置き換 えを前処理として行った，トークナイザは，日本語 には Janome を使用し, Python コードはカッコやピ リオドなどの記号の前後に空白を挿入した.

## 4.2 コード生成 AI モデルの学習

コード生成 $\mathrm{AI}$ モデルの学習には, Transformer を 使用した. Transformer の各種パラメータは，エン コーダとデコーダの層数をそれぞれ 6 ， ヘッド数を 8，バッチサイズを 128 ，単語エンベッディング次元数と隠れ層次元数をそれぞれ 512 とした. また，損失関数にはクロスエントロピー，オプティマイザに

表 3 コードの生成例

 & $\langle A\rangle=\operatorname{int}($ input ()$)$ & sorted ( $\langle A\rangle$, input ( )) & $x$ \\

は Adam を使用した. 学習回数は, 検証用データの 損失值が最小となった時点で打ち切りとした.

## 4.3 実験結果 (1)：コードの生成例

表 3 は，ホールドアウト法で作成したテストデー タの入力文とその正解コード，コード生成 AI モデ ルによって生成されたコード，それに対する正誤を まとめたものである. はじめに，入力文の自然言語表現を確認すると，AOJ-DA，DS-DA 共に，Multiese によって自然な文章を合成できたことが確認でき る. 次に, 正解コードと生成コードを比べると, DA 適用前の NL-code 対訳コーパスを使用した場合の 生成コードは，API名や構文が間違っているものが 多く含まれる。一方, AOJ-DA や DS-DAを使用した 場合の生成コードは，AOJ やDS と比べると間違い も少なく, 様々な種類の Python 構文の生成を害現 した.

## 4.4 実験結果 (2) : コードの正解率

表 4 はコード生成 AI モデルから生成されたコー ドの BLEU スコアと正解率をまとめたものである.正解率は，コード生成 $\mathrm{AI}$ モデルから生成された コードと正解コードを比較し，構文的にも解釈的 にも正しいコードを人手によって検証し, その比率を示している. テストデータが多い場合は， サ ンプリングによる統計的解析を行っている. AOJ と AOJ-DA, DS と DS-DAを比較すると, Multiese に よって増強した NL-code 対訳コーパスを使用するこ とで，高い精度のコード生成 AI モデルの構築を実現できたことが確認できる.

## 5 関連研究

Data Augmentation は，深層学習モデルの精度向上 に向けて，学習データを水増しする手法である．DA は, 元々画像処理の分野で研究されてきた手法で あったが $[10,11]$, 近年では, 自然言語処理や音声処理などの様々な分野でも取り入れられている [12].表 4 生成されたコードの正解率

自然言語処理における DA 手法の先行研究とし て，低頻度語や，対訳コーパスのソース文とター ゲット文の両方に含まれる語彙を，別の単語で置き 換える手法が提案されている. 我々の提案手法の特色は，DA 手法をソースコードに対して適用した点 と，自然言語表現を多様化するためのルールベース の DA 記法を取り入れた点である. 我々の手法は， ソースコードの木構造に変換可能な点を活かした新 たなアプローチであるといえる.

## 6 むすびに

本研究では，NL-code 対訳コーパスの不足を解消 すべく，自然言語とソースコード間の対訳コーパス 向けの Data Augmentation (DA) 手法を提案した. 提案手法を用いることで，人手で作成した NL-code 対訳コーパスのデータ数を 177 ペアから 14,721 ペア までに増強させた。また，増強された NL-code 対訳 コーパスを用いることで，高い精度のコード生成 AI モデルの構築を実現した.

今後は，大きく分けて二つの課題に取り組んでい きたいと考えている。一つ目は，DA 記法を必要と しない DA 処理の実現である．類義語などの定義が 必要となる部分を，自動で置換可能なアーキテク チャを目指す. 二つ目は，ソースコードの構文の多様化である. 現状では, 最初に与えた expression 単位のコーパスとアノテーション記法に依存している ため，考えられるソースコードの記述パターンに対応しきれない。自然言語記述とソースコード両方を 拡張可能な新たな手法を探究していきたい.

## 参考文献

[1] 秋信有花, 梶浦照乃, 小原百々雅, 倉光君郎. 自然言語 を用いたコーディング支援の実現に向けたニュー ラル機械翻訳ベースのコード生成. 情報処理学会第 136 回プログラミング研究発表会 (PRO136), 2021.

[2] Yuka Akinobu, Momoka Obara, Teruno Kajiura, Shiho Takano, Miyu Tamura, Mayu Tomioka, and Kimio Kuramitsu. Is neural machine translation approach accurate enough for coding assistance? In Proceedings of the 1st ACM SIGPLAN International Workshop on Beyond Code: No Code, BCNC 2021, p. 23-28, New York, NY, USA, 2021. Association for Computing Machinery.

[3] Antonio Valerio Miceli Barone and Rico Sennrich. A parallel corpus of python functions and documentation strings for automated code documentation and code generation. In Proceedings of the Eighth International Joint Conference on Natural Language Processing (Volume 2: Short Papers), pp. 314-319, Taipei, Taiwan, November 2017. Asian Federation of Natural Language Processing.

[4] Mark Chen, Jerry Tworek, Heewoo Jun, Qiming Yuan, Henrique Ponde de Oliveira Pinto, Jared Kaplan, Harri Edwards, Yuri Burda, Nicholas Joseph, Greg Brockman, Alex Ray, Raul Puri, Gretchen Krueger, Michael Petrov, Heidy Khlaaf, Girish Sastry, Pamela Mishkin, Brooke Chan, Scott Gray, Nick Ryder, Mikhail Pavlov, Alethea Power, Lukasz Kaiser, Mohammad Bavarian, Clemens Winter, Philippe Tillet, Felipe Petroski Such, Dave Cummings, Matthias Plappert, Fotios Chantzis, Elizabeth Barnes, Ariel Herbert-Voss, William Hebgen Guss, Alex Nichol, Alex Paino, Nikolas Tezak, Jie Tang, Igor Babuschkin, Suchir Balaji, Shantanu Jain, William Saunders, Christopher Hesse, Andrew N. Carr, Jan Leike, Josh Achiam, Vedant Misra, Evan Morikawa, Alec Radford, Matthew Knight, Miles Brundage, Mira Murati, Katie Mayer, Peter Welinder, Bob McGrew, Dario Amodei, Sam McCandlish, Ilya Sutskever, and Wojciech Zaremba. Evaluating large language models trained on code. 2021.

[5] Luis Perez, Lizi Ottens, and Sudharshan Viswanathan. Automatic code generation using pre-trained language models. arXiv preprint arXiv:2102.10535, 2021.

[6] Zeyu Sun, Qihao Zhu, Yingfei Xiong, Yican Sun, Lili Mou, and Lu Zhang. TreeGen: A tree-based transformer architecture for code generation. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 34, pp. 89848991, 042020.

[7] Bryan Ford. Parsing expression grammars: A recognitionbased syntactic foundation. In Proceedings of the 31st ACM SIGPLAN-SIGACT Symposium on Principles of Programming Languages, POPL '04, pp. 111-122, New York, NY, USA, 2004. ACM.

[8] Kuramitsulab/pegtree: A peg parser generator with tree annotation. https://github.com/KuramitsuLab/ pegtree. (Accessed on 01/09/2021).

[9] Hiroyuki Fudaba, Yusuke Oda, Koichi Akabe, Graham Neubig, Hideaki Hata, Sakriani Sakti, Tomoki Toda, and Satoshi Nakamura. Pseudogen: A tool to automatically generate pseudo-code from source code. In
2015 30th IEEE/ACM International Conference on Automated Software Engineering (ASE), pp. 824-829. IEEE, 2015.

[10] Connor Shorten and Taghi M Khoshgoftaar. A survey on image data augmentation for deep learning. Journal of Big Data, Vol. 6, No. 1, pp. 1-48, 2019.

[11] Agelos Kratimenos, Kleanthis Avramidis, Christos Garoufis, Athanasia Zlatintsi, and Petros Maragos. Augmentation methods on monophonic audio for instrument classification in polyphonic music. In 2020 28th European Signal Processing Conference (EUSIPCO), pp. 156-160. IEEE, 2021.

[12] Steven Y Feng, Varun Gangal, Jason Wei, Sarath Chandar, Soroush Vosoughi, Teruko Mitamura, and Eduard Hovy. A survey of data augmentation approaches for nlp. arXiv preprint arXiv:2105.03075, 2021.


# 英日機械翻訳における既存の評価指標の線形結合による性能評価

中屋和樹 ${ }^{1}$ 川又泰介 ${ }^{1}$ 松田源立 ${ }^{1}$
${ }^{1}$ 成蹊大学 理工学部
us182092@cc. seikei.ac.jp \{kawamata,matsuda\}@st. seikei.ac.jp

## 概要

機械翻訳の自動性能評価指標として様々な手法が 提案されているが、特に構文が大きく異なる英日間 の翻訳では、どの手法が優れているかについて明確 に評価することは困難であった。本研究では同一の 英文に対する Google 翻訳と DeepL の出力和文を実験用データとし、DeepL の結果の方が翻訳性能が高 いと仮定した。そして、その 2 出力文を正確に判別 できる指標を優れた指標であるとみなした。実験で は、BLEU 等の n-gram ベースの指標、MER 等の編集距離ベースの指標、BERTScore 等の分散表現ベー スの指標等を用いて、その判別の正解率を比較した。 さらに、SVMによりそれらの評価指標を線形結合し た場合の正解率も比較した。その結果、異なる系統 の評価指標を線形に組み合わせることで、判別の正解率を向上させることができることを示した。

## 1 はじめに

近年、深層学習の発展に伴いニューラルネットワ ークを用いた機械翻訳モデルの研究が盛んに行われ ている[1]。これら翻訳モデルの精度を測るには、人手評価との相関が高い自動評価指標が必要となる。現在、自動評価指標のディファクトスタンダードは BLEU スコア[1]であり、機械翻訳の論文において提案システムと既存システムの比較に用いられること が多い。しかし、BLEU は弱点が多く指摘されてい る。例えば、参照文の局所的な n-gram をモデル出力文が保持していた場合、意味が通っていなくても高 い評価を与えてしまう [2]。構文が似ている言語間で は翻訳モデルがこのような出力をすることは少ない が、日英翻訳のような構文が大きく異なる言語間で は頻繁に見られる。また、意味的に近い語彙の言い 換えが発生した際に対応することができないので、低い評価になってしまうこともある[3]。語彙の言い 換えはどの言語でも起こりうることであり、これに 対応できなければ翻訳モデルに対する正しい評価が
できない。評価指標の優劣を決めることは非常に難 しく、BLEU が発表されて以降、様々な自動評価指標が提案されており、上記の BLEU の弱点に対応で きるものもある。しかし、それらの指標はそれぞれ が長所と短所を持っており、最適な指標というのは 定まっていない。

現在翻訳ツールで有名なものは「Google 翻訳[4]」 と「DeepL[5]」であるが、DeepL の方が Google 翻訳 に比べて、読みやすく、理解しやすい文章を出力す るとされている[6]。そこで、本研究では、ある評価指標をもとに Google 翻訳と DeepLを判別できれば、 その評価指標は良いものであると仮定した。そして、同一英文群に対する Google 翻訳と DeepL の出力和文群について様々な翻訳評価指標の値を算出し、判別の正解率を比較した。次に、それらを特徴量とし て線形 SVM で最適な組み合わせを学習し、どのよ うな組み合わせが良い指標となるかを調査した。さ らに、それらの分析結果と具体的な出力文と照らし 合わせることで、それぞれの評価指標の長所・短所 の考察を行う。

## 2 先行研究

本研究では、様々な観点から見た評価尺度を利用 する。本節ではそれらについての簡単な説明を行う。今回用いる評価指標の全体的な分類を表 1 に示す。

表 1 本研究で用いる評価指標

## 2. 1 n-gram ベース
- BLEU BLEU は現在、機械翻訳の自動評価指標と して最も用いられている。2002 年にオリジナルの論文が発表されて以来、改良された BLEUがいくつか 出ているが、今回は BLEU+1[7]を用いる。基本的な
考えとしては、モデル出力文と参照文の n-gram の一致度によって翻訳の精度を評価する指標である。

$\cdot$ROUGE ROUGE-n 2003 年に Chin ら[8]によっ て発表された指標であり、元々は要約タスク専用の 評価指標である。具体的には、参照文とモデル出力文について Recall と Precision を計算し、最後に F1 値を計算することによって、ROUGE スコアとして いる。ROUGEn の $\mathrm{n}$ は使用する n-gram を表してお り、本研究では ROUGE1 とROUGE2 を用いた。
- RIBES RIBES は 2011 年に平尾ら[2]によって発表された翻訳評価指標であり、順位相関係数を利用 した評価指標である。

## 2.2 編集距離ベース
- WER WER(Word Error Rate)は通常は音声認識の 評価指標として用いられているものであり、入力文 に対する誤ったトークン数の割合で表される
- MER MER(Match Error Rate)は WER の問題点を 解決するために、2004 年に Andrew ら[9]によって提案された。具体的には、WER の式の分母に挿入数を 追加する。
- CER CER(Character Error Rate)は基本的な考え方 は WER と同じで、編集距離に基づいたエラー率を 計算する。WER はトークン単位での変換を行うが、 CER では文字単位(Character)での変換を行う。

## 2.3 分散表現ベース
- WMD WMD(Word Mover's Distance)[10]は、分散表現を用いて最適輸送問題を解くことにより、2つ の文書の類似度を測る評価指標である。
- WRD WRD (Word Rotator's Distance)は 2020 年に 横井ら[11]によって発表された WMD の改良版であ り、コサイン類似度を利用している。

$\cdot$BERTscore BERTscore は 2020 年に Tianyi ら[12] によって提案された、 2 つの文書間の類似度をはか る指標である。具体的には、 2 文の分散表現ベクト ル集合により、Precision、Recall、F 值を計算する。本研究では $\mathrm{F}$ 值を採用した。

## 3 実験設定

・翻訳データ評価指標を計算するためには、翻訳 した文に対する正解データ(リファレンス)が必要と なる。よって、対訳コーパスである ASPEC コーパス [13]の文章データを用いた。学習データ・開発デー 夕・開発試験データ・試験データの 4 種類があるが、今回は試験データ(1812 文)全てを選択した。 ・翻訳ツール先述の通り「Google 翻訳」「DeepL」 を利用した。前者は googletrans[14]、後者は手動で文章を入力して翻訳した。

・分散表現 一部の評価指標を計算する際には分散表現が必要となる。今回は、ボキャブラリ数を 32000 に設定し、JParaCrawl コーパス[15]を用いて事前学習 を行った Transformer[16]のデコーダ層の分散表現を 用いた。モデル自体は fairseq[17]で公開されている ものである。

・トークナイザ トークナイザは文章をトークンに 分割する処理を行うものである。本研究では Sentencepiece[18] と MeCab[19]を用い、各々について 評価指標を計算した。ただし、CERについては文字単位のためトークナイザは不要であり、分散表現ベ 一スの指標についてはSentencepieceのみを利用した。

$\cdot$評価指標評価指標としては、表 1 に示した 10 種類についてSentencepieceを適用したものを採用した。 さらに、n-gram ベースの全てと編集距離ベースの WER と MER については MeCabを適用したものも 採用し、計 16 種類となった。

・線形学習モデル 線形 SVM を利用した。具体的 には、文レベルでそれぞれの評価指標の值を算出し、 それらを特徴量として学習を実行し、Google 翻訳と DeepL の線形 SVM による 2 值判別を行った。デー 夕は、学習データ $90 \%$ (1631 文)とテストデータ 10\%(181 文)に分割した。また、学習の際に Optuna[20] を用いることにより、学習データのみでハイパーパ ラメータをチューニングした。

## 4 結果と考察

## 4. 1 評価指標間の相関

図 1 は、Google 翻訳と DeepL の 3624 件の全出力文上で各評価指標間の相関係数行列を計算し、ヒー トマップで表したものである。相関係数は最低でも 0.5 以上であり、互いにある程度の相関を持つことは 確かめられた。それ以外にも以下のような関係性が 観察できた。第一に、RIBES_Sent とRIBES_MeCab は n-gram ベースでありながら、BLEU やROUGE と の相関が低く、代わりに編集距離系の WER や MER と相関が高い。これは RIBES がユニグラムの一致を 図りつつも、その順番を重視した評価指標であるか らだと考えられる。編集距離系の評価指標は先頭か ら順番に置換・削除・挿入を行なっていくため、語

図 1 各評価指標の相関係数行列

順に対して厳しい評価をする。Google 翻訳は英語を 直訳したような文章になることが多く、人手で翻訳 したものと比べると、内容が反対になっていること がある。よってこのような文章に対して、編集距離系は高いエラー率(低い評価)を出力し、RIBES では 順位相関係数が負になった(低い評価)ため、比較的相関が高くなったのだと考えられる。第二に BLEU_Sent と BLEU_MeCab は相関が高い評価指標 に違いがあり、前者は n-gram+Sent、分散表現、編集距離 + Sent、後者は $\mathrm{n}$-gram $+\mathrm{MeCab}$ 、編集距離+MeCab表 32 つ組み合わせた場合の判別正解率

と相関が高くなっている。分散表現ベースの評価指標は全てSentencepieceでトークナイズしていること から、同じトークナイザでトークナイズして算出し た評価指標は相関が比較的高くなると考えられる。

## 4. 2 判別正解率

表 2 は、特徴量を 1 個のみ(各指標単体)とし、線形 SVM で閾値のみを学習した時の判別正解率であ る。WER_Sent が最も高い正解率であった。表 3 に 2 つの評価指標を特徴量として組み合わせの重みを 学習した場合の正解率を上位 5 位まで示す。表 4 に 3 個もしくは 4 個の評価指標を特徴量とした場合の 正解率を上位 10 位まで示す。この結果から、評価指標単体より複数の評価指標を組み合わせた方が正解率が向上することが分かる。表 4 における各評価指標の登場回数を見ると、BERTscore が 7 回、 ROUGE1_Sent が 6 回、RIBES_MeCab が 6 回で上位 となる。これらの評価指標は表 3 にも頻繁に登場し ている。図 1 の結果とも併せて考えると、分散表現 ベースである BERTscore、単純な n-gram ベースであ る ROUGE1、n-gram ベースではあるが編集距離べー スと性質が近い RIBES の組み合わせがより有効な 評価指標となることが示された。以上が統計的な結果であるが、具体的な文例での組み合わせの有効性 については、付録 Aにて紹介している。

## 4.3 まとめ

本研究によって得られた結果も踏まえた各評価指標の特徴(長所と短所)を表 5 に示す。現在最も使用 されている BLEU は、直感的に理解できプログラミ ングもしやすいが、クリティカルな短所が多いため、率先して使用すべきではないと考えられる。もしngram 系を使用するのであれば、ユニグラムのみでも ある程度評価はできるため、ROUGE1 や RIBES が 良いと考えられる。編集距離系の評価指標は、表 2 より WER_Sent の正解率が一番高いこと、表 4 より
表 $43 、 4$ つ組み合わせた場合の精度

 \\

WER_Sent と MER_Sent が上位に現れていることか ら、WER と MER は翻訳評価指標として用いること が可能であると考えられる。ただし、表 5 より、語順の維持に強く依存することに注意する必要がある。 また結果から RIBES で代用可能である可能性があ るが、さらなる分析が必要である。

分散表現系の評価指標は、分散表現に大きく依存 するという短所があるが、語彙の言い換えに対応可能であり、また、単語アラインメントを得られると いう大きなメリットがある。特に BERTscore はアラ インメントが WMD や WRD に比べて容易に計算可能であり、 4.2 節において良い評価指標であるという ことが判明している。よって、分散表現系は BERTscore を用いるのが良いと考えられる。

## 5 終わりに

本研究では、英日翻訳のコーパスに置いて様々な 翻訳性能の評価指標を調查し、それらを特徴量とし て Google 翻訳と DeepL の線形 SVM による 2 值判別を行った。その結果、異なる種類の評価指標を線形に組み合わせることで判別正解率が向上すること が判明した。さらに各評価指標の特徴について考察 した結果、n-gram ベースでは ROUGE1、RIBES、編集距離ベースでは WER、MER、分散表現ベースでは BERTscore を用いるのが良い、という結論が得られ た。今後はデータセットの拡張、指標の追加と実験 を通して、より適切な評価指標の構築を目指す予定 である。

## 謝辞

本研究は JSPS 科研費 JP21K12036 の助成を受けたも のである。

## 参考文献

1. Kishore Papineni et al. "BLEU: a Method for Automatic Evaluation of Machine Translation". In: ACL, Philadelphia, July, 2002, pp. 311-318

2. 平尾努 他 “RIBES：順位相関に基づく翻訳の自動評価法”言語処理学会 第 17 回年次大会 発表論文集 (2011 年 3 月)

3.http://cr.fvcrc.i.nagoyau.ac.jp/ sasano/pdf/snlp2019sasano.pdf (2022 年 1 月 11 日 アクセス)

4. https://translate.google.co.jp/?hl=ja (2022 年 1 月 11

日 アクセス)

5. https://www.deepl.com/ja/translator (2022 年 1 月 11

日 アクセス)

6. Ahmad Yulianto "Google Translate vs. DeepL: A quantitative evaluation of close-language pair translation" In: AJELP, ISSN 2289-8689 / e-ISSN 22898697, Vol 9 No. 2 (2021), 109-127

7. Graham Neubig “文レベルの機械翻訳評価尺度に関 する調査” Information Processing Society of Japan 2013

8. Chin-Yew Lin and Eduard Hovy "Automatic Evaluation of Summaries Using N-gram Co-Occurrence Statistics " In: Processing of HLT-NAACL, 2003, pp. 7178

9. Andrew C. Morris el at. "From WER and RIL to MER and WIL: improved evaluation measures for connected speech recognition " In: INTERSPEECH 2004-ICSLP 10. Matt J.Kusner et al. "From Word Embeddings To Document Distances "In: Processing of the 32th International Conference on Machine Learning, Lile, France, pp. 957-966 2015

11. 横井祥 他“単語埋め込みのノルムと方向ベク トルを区別した文書最適輸送コスト” The 34th

Annual Conference of the Japanese Society for Artificial Intelligence, 2020

12. Tianyi Zhang et al. "BERTSCORE: EVALUATING TEXT GENERATION WITH BERT " In: ICLR 2020

13. https://form.jst.go.jp/enquetes/aspec_order_sampleJT (2021年 6 月 24 日 受付)
14. https://pypi.org/project/googletrans/ (2020 年 1 月

11 日 アクセス)

15. 森下睦 他 “JParaCrawl: 大規模 Web ベース日英対訳コーパス”言語処理学会 第 26 回年次大会発表論文集 (2020 年 3 月)

16. Ashish Vaswani et al. "Attention is all you need." In: CoRR, Vol. abs/1706.03762, 2017.

17. https://github.com/pytorch/fairseq (2022 年 1 月 11 日 アクセス)

18. https://github.com/google/sentencepiece (2022 年 1 月

11 日 アクセス)

19.https://github.com/neologd/mecab-ipadic-neologd

(2022 年 1 月 11 日 アクセス)

20. https://github.com/optuna/optuna (2022 年 1 月 11 日 アクセス)

## 付録 A. 具体的な文例における評価指標の組み合わせの効果

表 A. 1 RIBES、BERTscore、MER を加えることで判別可能となった文の例(指標の単位は全て\%)

 &  & & & & \\

図 A. 1 BERTscore の Recall(上)と Precision(下)によるアラインメント(赤が正解、黒が不正解を示す)

ここでは表４の３行目の BLEU_Sent + RIBES_MeCab + BERTscore + MER_Sent の組み合わせに着目する。表 A. 1 に BLEU_Sent のみで見分けることができず、他の評価指標を追加して見分けることができるようにな った文の例を示す。

表 A. 1 のリファレンスは大まかなパーツに分けると、「解説し」「検討した」となる。DeepL では、少々他の語彙の言い換えがあるものの、色をつけた順番通りに翻訳されており、意味の通じるものになっている。一方、Google 翻訳は「解説し」の部分は訳されているものの、「説明します」と完結しており、「検討した」 の部分を翻訳できていない。よって、今回の文は Google 翻訳が一部無視しているので、評価には少し差が出 るはずである。RIBES_MeCab、BERTscore、MER_Sentを見てみると、どれもDeepL の方に高評価をしてい るが、BLEU_Sent はほとんど同じ評価になっており、区別をすることができていない。

それぞれの評価指標の値について表を見ながら考察する。RIBES_MeCab、BERTscore、MER_Sentについて、 これらが Google 翻訳と DeepL に差をつけることができているのは上記の久損部分に起因しており、 RIBES_MeCab では前半部分の評価値に欠損部分の評価值を加えるか否かで、MER_Sent では欠損部分の挿入操作の増加により、差をつけて評価することができていると考えられる。BERTscore は両者の区別ができて いるものの、その差が $5 \%$ と若干小さい。これは最終的な評価に $\mathrm{F}$ 值を用いているためであると考えられる。図 A. 1 に BERTscore の Precision と Recall による単語アラインメントを示す。Precision はある程度適切なアラ インメントができているが、Recall は久損している後半部分が無理やり前半部分へとアラインメントされて いるため、最終的に Recall 値が上がってしまい、Google 翻訳と DeepL での差があまり大きくならなかったと 考えられる。それでも、両者をある程度区別することはできている。


# 論文要旨を捉えたスライド生成における 割り当て問題の適用

久保谷 善記 ${ }^{1}$ 品川政太朗 ${ }^{2}$ 山本晋太郎 $^{1}$ 鈴木亮太 $^{3}$ 森島繁生 ${ }^{4}$
1 早稲田大学 2 奈良先端科学技術大学院大学
3 産業技術総合研究所 4 早稲田大学理工学術院総合研究所
yoshikikubotani@akane.waseda.jp sei.shinagawa@is.naist.jp
s.yamamoto@fuji.waseda.jp ryota.suzuki@aist.go.jp shigeo@waseda.jp

## 概要

論文の要点を自身の目的に合わせてプレゼンテー ションスライドにまとめることは，情報の発信や共有といった観点から重要性を増してきているが，試行錯誤を求められ労力がかかる問題がある. そこで 本研究では， スライド作成者が，タイトルを指定す ることで，インタラクティブに論文からスライドテ キストを作成できるシステムの実現を目指す。本シ ステムは，与えられたスライドタイトルから論文の 本文を検索して抽出するモジュールと，検索した文章を端的に要約するモジュールで構成される.こ のような要件を満たす既存手法である Document to Slide (D2S) と比べて, 提案手法では検索文のスライ ドへの割り当てを考慮することで，スライド間での テキストの内容の重複を抑えることに成功した。

## 1 はじめに

要点をまとめて情報発信を行う道具として，プレ ゼンテーションスライド（スライド）と呼ばれる紙芝居形式の資料を作成することが日常的に行われ てきている. 例えば，学会などの研究集会の場で は，研究者は自身の研究成果を発表するために，論文を提出するだけでなく，スライドを用いた口頭発表により研究の要点を伝えることが求められる. ま た，学問分野全体において論文の数が増え続けてお り [1]，論文の著者ではない人々が，論文の要点をス ライドにまとめ, 勉強会の場や Web 上で発信するこ とで，効率的に知見を共有し合うといったことが行 われてきている。近年では, Qiita ${ }^{1)}$ のスライド機能 や, SlideShare ${ }^{2)}$ といった Web 上での共有プラット フォームが充実しており，誰でも手軽にスライドに

1) https://qiita.com/

2) https://www.slideshare.net/
よる知識共有ができるようになってきている.

しかし，論文などの技術的文書のスライド作成 は，経験と技能が求められる，具体的には，発信者 （スライド作成者）がどのような選考・目的を持っ て論文の情報を発信するのか，口頭発表による説明 を前提とするか否か，発表時間やスライドのページ 数に制限があるかどうか，想定する読者・聴衆はど の程度その論文についての前提知識を持つか，など の条件を考慮する必要がある. これらはスライド作成に慣れていない初心者には難しい作業であり，経験を積んだ熟達者でも，一度大枠を作成した上で前述の条件を参照して微調整を繰り返したり，時には 条件自体を修正して作り直すといったことを行う. つまり，スライド化の作業は少なくない労力をかけ て試行錯誤を繰り返す必要のある作業だと言える。

本研究では，このようなスライド作成の難点を低減する方法として，論文をスライド化したいスライ ド作成者が，目的に合わせてスライドのタイトルや キーワードのみを設定するだけで，それらの条件に 沿って半自動で論文をスライド化するインタラク ティブなシステムを提案する．本システムの最終的 な目標は，スライド作成者がこのシステムを使うこ とによって，論文をどのようにスライド化するか手軽に試行錯誤しながらたたき台を作成できるように なることである.

このようなインタラクティブなスライド生成シス テムに求められる要件には，(1)スライドに記載され るテキストが，スライド作成者によって指定された タイトルに沿っていること，(2)そのテキストが端的 にまとまっていること, (3)内容の重複が必要以上に 起こっていないこと，の三つが挙げられる．論文の 図や文章のスライドへの配置の仕方も最終的には考慮すべき重要な課題であるが，たたき台として大ま

かな構成を決めるための試行錯誤の段階では考慮し なくとも大きな影響が無いと考え, 本研究ではテキ ストのみに着目する。

スライドのタイトルに沿ったテキストを生成す るためには，タイトルと論文本文の内容の相関を適切に測りとり, 関連する文章のみを論文から抽出す る検索器が必要である. また, 端的にまとまったテ キストを生成するには原文の重要な情報をとらえ つつ冗長な部分を排除する要約モデルが求められ る. スライドタイトルに相関のある文章を論文か ら抽出し, 要約したテキストを生成する手法とし て Document to Slide (D2S) [2] が提案されているが， ページ間で過分に検索文が重複されてしまうという 問題があり, 本研究の要求である, 必要以上に内容 の重複がないことを満たせない. そこで，本研究で はページ間の内容の重複を解消しつつ要約スライド を生成する手法を提案する。本研究では検索部分で 新たに組合せ最適化の割り当て問題を解くことで，異なるスライド間で内容が被らないようにスライド を生成できることを示す.

## 2 関連研究

プレゼンテーションを自動で生成しようとする 研究は 2000 年ごろから存在する. 初期のスライド 生成の研究では, 文章の形態素に着目してテキスト からスライド用の箇条書きテキストを生成する研究 [3] や，指定したトピックで Web サイトを検索し てルールベースでスライドテキストを作成する研究 [4] など，ヒューリスティックな設計に依存する モデルが主流であった. また，後年には論文からの スライド生成に対象を絞った研究 [5-7] も登場した. これらの研究では，主に回帰モデルを用いて論文内 の文章間の重要度をスコアリングし, 整数線形計画法（ILP）によってスコアが最大となるような文章 を抽出してスライドのテキストとしていた. 深層学習が主流となった近年では，文章の重要度を得るモ デルとして畳み込みニューラルネットワークやリカ レントニューラルネットワークを使用する研究 [8] が現れたほか, 系列データの相関を捉えることに長 けた self-attentionを用いた言語モデルを利用した研究 $[2,9]$ も存在する.

## 3 提案手法

はじめに，スライドタイトルに沿った内容を論文 から抽出し，それらを端的にまとめたテキストを

図 1: D2S の文埋め込みモデルの概要図

生成する，という目的のため本研究が参考にした Document to Slide (D2S) [2] を説明する.

D2S におけるスライド生成は，スライドページの タイトルをクエリとして論文内の関連する文章を検索する段階と，検索した文章をスライドに載せる上 で適切な長さに要約する段階の 2 段階に分かれてい る. 前半の文章検索の部分では，まずスライドのタ イトルとテキストを用いて文の埋め込み表現を獲得 する文埋め込みモデルを対照学習し, 推論時にはス ライドのタイトルと論文内の文章を入力して類似度 を計測する。この文埋め込みモデルには，学術的な 文書に特化して事前訓練を行なった SciBERT [10] を 採用し, 出力の CLS トークンを $\mathrm{FC}$ 層により 128 次元に圧縮することで埋め込み表現とした. 図 1 に文埋め込みモデルの概要を示す. その後, 各スライド タイトルごとに $\cos$ 類似度の値が高い文章上位 10 個を抽出し，検索結果とする．後半の要約では，検索された文章からスライドに載るテキストを生成で きるように BART [11]をファインチューニングして 使用する。

しかし，D2S の検索のように類似度の高いものを 常に 10 個取得する方法だと, 同じ文章が複数のス ライドタイトルと結び付けられてしまう可能性があ る.これは異なるスライドページで同じ内容が何度 も述べられることを意味しているため検索の仕方と して不適切である. 本研究ではこの検索部分に制約条件付きの割り当て問題を追加することで，スライ ドタイトルに関連する論文内の文章の重複を抑える
方法を提案する．この割り当て問題は，次のように 定式化する.

各スライドのタイトル $q_{i} \in \mathbb{Q}$ に対して，論文内の 文章 $s_{j} \in \delta$ を割り当てることを考える.このとき,前述の SciBERT を用いて，論文の各文・その文章の 属するセクションタイトル・スライドのタイトルの 分散表現 $E_{s}, E_{t}, E_{q}$ を作成する.

$
\begin{aligned}
E_{s} & =\operatorname{linear}_{s}\left(\operatorname{SciBERT}\left(s_{j}\right)\right) \\
E_{t} & =\operatorname{linear}_{s}\left(\operatorname{SciBERT}\left(t_{j}\right)\right) \\
E_{q} & =\operatorname{linear}_{q}\left(\operatorname{SciBERT}\left(q_{i}\right)\right)
\end{aligned}
$

ここで $t_{j}$ は, 論文内の文章 $s_{j}$ が属するセクショ ンのタイトルを表す. 式 (1)-(3)で計算した分散表現をもとに，スライドタイトルと論文の文章間の $\cos$ 類似度は $c_{i, j}$ は次式 (4)のように計算される。

$
c_{i, j}=\left(0.75 E_{s}+0.25 E_{t}\right) \cdot E_{q}
$

また，割り当てるか否かのバイナリ変数を $x_{i, j} \in\{0,1\}$ とすると, 最適化時の目的関数は以下の ように定義できる.

$
\sum_{j} \sum_{i} c_{i, j} x_{i, j}
$

この最適化問題の目的は，重複を抑えつつスライ ドタイトルに関連する論文内の文章を割り当てるこ とであるため，以下の二つの制約を加える。

$
\begin{array}{ll}
\sum_{i} x_{i, j} \leq N & \text { for } \forall j \\
\sum_{j} x_{i, j} \leq M & \text { for } \forall i
\end{array}
$

式 (6) の制約は一つの文章が 3 個以上のスライド に割り当てられないようにする制約，式 (7) の制約 は一つのスライドに割り当てられる文章の最大数を 10 個にする制約である. 本研究では $N=3, M=10$ として実験を行った。

## 4 実験設定

提案手法の有効性を確かめるため，2つの実験を 行った. 1つ目の実験は，指定されたスライドタイ トルから，論文中の関連する文章を検索して抽出す るモジュールの性能を評価するための実験である.各スライドタイトルにつき，上位 10 件の文章を検索する場合と, 割り当て問題を最適化した場合で抽出される文章とで比較した. 評価指標には, 既存手法と同様に逆ドキュメント頻度（IDF）によって重 み付けした ROUGE スコア [2] (付録 A)を用い, 論文表 1: 抽出結果の IDF 重み付け ROUGE スコア

表 2: 生成テキストの ROUGE スコア

内でキーワードとなる単語を抽出できているかどう かを確かめた。

2つ目の実験は, 両手法によって最終的に生成さ れるスライドの文章を評価することで，システム全体としての性能を評価するための実験である．実際 に両手法によって抽出された文章を用いて要約モ デルを訓練し, 生成されたテキストと人手で作ら れたスライドテキストとの類似度を ROUGE スコ アで比較した. また, 生成されたテキストの内容 の重複具合を調べるため, 事前訓練済みの Sentence BERT [12] を用いて, 生成されたスライドのテキス 卜同士の内容重複度を式 (8) で計算した。

$
\text { 内容重複度 }=\frac{1}{n} \sum_{i}^{n} \max _{\left(e_{j}^{(i)}, e_{k}^{(i)}\right) \in S_{i}, j \neq k} \cos \left(e_{j}^{(i)}, e_{k}^{(i)}\right)
$

内容重複度は，生成したスライド集合から算出す る. $i$ 番目の論文から生成したスライド集合 $S_{i}$ の全 てのテキストを Sentence BERT でベクトル化し，こ の中の 2 組のベクトル $\left(e_{j}^{(i)}, e_{k}^{(i)}\right)$ の中で, 最も $\cos$ 類似度が高い組合せを， $n$ 報の論文で平均する. 内容重複度は，0 に近いほどスライド間での内容の重複 が少なく, 1 に近いほど重複が多いことに対応する.

## 5 結果

論文中の文章検索モジュールの性能を評価した結果を表 1 に示す. 各スライドタイトルごとに $\cos$ 類似度が上位 10 件の文章を抽出する手法（D2S）で は, Recall が優位であった一方で, Precision では提案手法の割り当て問題最適化による抽出が優位で あった。

上位 10 件を抽出する場合に対して，割り当て問題最適化による Recall が下がったのは, 割り当て問題の適用によって, 論文のスニペット数の数が限ら
表 3: 提案手法により重複が抑えられた例（Ziqiang ら [13] の論文を使用）

## [ページ 2] “Seq2seq Summarization”というタイトルのスライドに対する結果

 &  \\

れている場合に，スライド数あたりに割り当たるス ニペット数が減少したためであると考えられる．実際に平均抽出数は D $2 \mathrm{~S}$ が 10 件であるのに対し，割 り当て問題最適化の場合は 8.5 件であった.

2 つ目の実験結果を表 2 に示す. ROUGE スコア による評価では，既存手法の方が人手のスライドテ キストの内容を再現できていたことがわかる. しか し，個々の生成文の結果を見ると，提案手法により スライド間での生成テキストの重複が削減できた ケースが確認できた。表 3 にその一例を示す. この 表では，ある論文のスライド 2 ページ（ページ 2 と ページ 4）に対して，既存手法と提案手法が生成し たテキスト，および実際に人手によって作成された テキストを比較している。ここで，システムが提案 するテキストが人手のスライドテキストの内容と一致する部分には，内容ごとに別色で色付けをしてい る。また，太字の部分はスライド間での内容の重複 を表している。

実際に，ページ 2 とページ 4 で上位 10 件の文章を 抽出した場合の生成結果を比べると，太字部分に明 らかな重複が見られる．結果として，既存手法では ページ 2，ページ 4 の両方で実際のスライドテキス 卜の内容を再生できていないことがわかる. 一方で 提案手法では，ページ２の結果には実際のスライド テキストと一致する内容は見られないものの，ペー表 4: 生成テキストの内容重複度

ジ 4 では高い精度で人手のスライドテキストの内容 を再生できていた。

また，両手法の内容重複度の平均値を表 4 に示 す. 提案手法は単語・フレーズ単位では人手のスラ イドテキストを既存手法に比べて再現できていない が，内容の重複を抑えることに成功していることが 分かる.

## 6 おわりに

本研究では，初心者経験者を問わず労力のかかる スライドテキストの生成を，論文から半自動的に行 うシステムを目指し，生成されたスライドの内容重複を抑える手法を提案した．実験では， $\cos$ 類似度 を用いたスコアリングをもとに割り当て問題の最適化を行うことで，重複の少ないスライドテキストの 生成することに成功した。一方で, ROUGE スコア による生成テキストの評価では既存手法にやや劣っ ており課題が残る. 今後の発展としては，抽出する 論文の文章の長さを情報量や文脈を考慮して調整す ることや，文章の重複ではなく内容の重複を排除す る検索手法を提案することが考えられる。

## 参考文献

[1] Lutz Bornmann and Rüdiger Mutz. Growth rates of modern science: A bibliometric analysis based on the number of publications and cited references. Journal of the Association for Information Science and Technology, Vol. 66, No. 11, pp. 2215-2222, 2015.

[2] Edward Sun, Yufang Hou, Dakuo Wang, Yunfeng Zhang, and Nancy X.R. Wang. D2S: Document-to-Slide Generation Via Query-Based Text Summarization. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, 2021.

[3] Tomohide Shibata and Sadao Kurohashi. Automatic Slide Generation Based on Discourse Structure Analysis. In International Conference on Natural Language Processing, Vol. 3651, pp. 754-766, 2005.

[4] Mostafa Shaikh, Mitsuru Ishizuka, and Md Tawhidul Islam. 'Auto-Presentation': a multi-agent system for building automatic multi-modal presentation of a topic from World Wide Web information. In IEEE/WIC/ACM International Conference on Intelligent Agent Technology, pp. 246-249, 2005.

[5] Yue Hu and Xiaojun Wan. PPSGen: Learning-Based Presentation Slides Generation for Academic Papers. Knowledge and Data Engineering, IEEE Transactions on, Vol. 27, pp. 1085-1097, 2015.

[6] A. Ashray Bhandare, Chetan J. Awati, and Sonam Kharade. Automatic era: Presentation slides from Academic paper. International Conference on Automatic Control and Dynamic Optimization Techniques, pp. 809-814, 2016.

[7] Sida Wang, Xiaojun Wan, and Shikang Du. Phrase-based presentation slides generation for academic papers. In Thirty-First AAAI Conference on Artificial Intelligence, pp. 196-202, 2017.

[8] Athar Sefid, Jian Wu, Prasenjit Mitra, and C. Lee Giles. Automatic Slide Generation for Scientific Papers. In SciKnow@K-CAP, 2019.

[9] Tsu-Jui Fu, William Yang Wang, Daniel McDuff, and Yale Song. DOC2PPT: Automatic Presentation Slides Generation from Scientific Documents. arXiv preprint arXiv:2101.11796, 2021.

[10] Iz Beltagy, Kyle Lo, and Arman Cohan. SciBERT: Pretrained Language Model for Scientific Text. In Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, pp. 3615-3620, 2019.

[11] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7871-7880, 2020.

[12] Nils Reimers and Iryna Gurevych. Making Monolingual Sentence Embeddings Multilingual using Knowledge Distillation. In Empirical Methods in Natural Language
Processing. Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing, 2020.

[13] Ziqiang Cao, Wenjie Li, Sujian Li, and Furu Wei. Retrieve, Rerank and Rewrite: Soft Template Based Neural Summarization. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics, 2018.

## A IDF 重み付け ROUGE スコア

4 で言及した，逆ドキュメント頻度（IDF）によっ て重み付けされた ROUGE スコアの計算式を追記し ておく. $\operatorname{idf}(w, D)$ をある単語 $w$ のドキュメント $D$ に対する IDF， $|D|$ を $D$ に含まれる文章の総数， $n_{w}$ を単語 $w$ が $D$ のうち何個の文章に含まれるかの回数とするとき，IDFにより重み付けされた ROUGE スコアは次式 (9)-(12) のように計算される.

$
\begin{aligned}
& \operatorname{idf}(w, D)=\log \left(\frac{|D|}{1+n_{w}}\right)+1 \\
& \operatorname{IDF}_{\text {Recall }}=\frac{\sum_{w \in T_{k}^{\text {slide }} \cap T_{l}^{\text {picked }}} \operatorname{idf}(w, D)}{\sum_{w \in T_{k}^{\text {slide }}} \operatorname{idf}(w, D)}
\end{aligned}
$

$
\begin{aligned}
& \mathrm{IDF}_{\text {F-measure }}=\frac{2 \cdot \mathrm{IDF}_{\text {Recall }} \cdot \mathrm{IDF}_{\text {Precision }}}{\mathrm{IDF}_{\text {Recall }}+\mathrm{IDF}_{\text {Precision }}}
\end{aligned}
$

ここで今回の設定では，ドキュメント $D$ は論文で ある.また， $T_{k}^{\text {slide }}$ は人手によって作成されたスライ ドのテキストに含まれる単語集合を， $T_{l}^{\text {picked }}$ は検索 モジュールによって抽出された論文の文章に含まれ る単語集合を表している。


# 自殺念慮防止のための心理カウンセリング補助システム開発に 向けた対話データの作成と前処理

二瀬颯斗 $\dagger$ 牧野晃平 $\dagger$ 石崎優人 櫻井昌佳
一般社団法人 ZIAI
\{hayato_futase, kohei_makino, yuto_ishizaki, masayoshi_sakurai\}aziai.jp

## 概要

先進国の中で日本における死因が自殺である割合 が高く，自殺を防止する取り組みが重要である。本研究では，人が自殺しょうとする思慮である自殺念慮を持たないように相談を受ける心理カウンセリン グに注目する．現状では一部の相談者しかカウンセ リングを受けられていないという問題を解決するた めに, AIチャットボットなどの補助システムの開発 を目指す.ここではその基盤として，心理カウンセ リングの対話データを匿名化し, 基礎的な解析を行 う。解析では相談者とカウンセラーの発話の特性を 確認するために発話中の単語の解析を行い，ハイリ スクな相談者の傾向を確認するために相談者の性別 などの属性との関係性を調査した。

## 1 序論

現代において自殺は社会問題の一つとなってお り，日本は先進国の中でも特に死因全体のうち自殺 が占める割合が高く，自殺を低減するための取り組 みは急務である [1]. 近年では，平成十八年に制定 された自殺対策基本法に基づいて対策が進み，学校 における自殺対策として自殺予防教育 [2] や金銭的 な困窮による対策 [3] など，多岐にわたる試みが行 われている $[4,5]$. このような試みの成果として自殺による死亡者数は減少しているが，令和二年度で は約 21,000 人が自殺で亡くなっており，依然として 先進国の中では自殺者数が多い.

このような中で，自然言語処理の観点ではSNSを 利用して自殺しそうなユーザを検出する試みが行わ れている $[6,7]$. これらの取り組みは明確な自殺念慮を持つ人を検出する問題設定であり，心理状態の 回復が難しくなるため, 自殺念慮が明確化する前の 処置として，心理カウンセリングが重要となる.

図 1 心理カウンセリング対話データの例

インターネットの利用が一般的になった現代で は，医療機関での受診が必要で，金銭的負担や心理的ハードルが高い対面のカウンセリングに対して，気軽に相談可能なオンラインでのチャット形式のカ ウンセリングにおける相談者が増加している．その ため，オンラインチャット方式では相談者が多いた めカウンセラーの数が足りておらず，カウンセリン グを受けられる相談者は相談申し込みをした人数の 半分以下しかいないという問題点がある. オンライ ンチャット方式では，深刻な場合だけでなく自殺に つながりうるような小さな悩み相談も受け付けてお り， 心理カウンセリングの受け血を増やすことで自殺に思い至る人自体の数自体の削減につながる.

本研究では，自然言語処理技術によって心理カウ ンセリングを補助するために，AIチャットボットや ハイリスクな相談者を検知するシステムなどを開発 することで，カウンセリングの受け皿を増やすこと を目標とし，その基盤として図 1 のような実際の心理カウンセリングの対話データの前処理・解析を行 う．前処理では，心理カウンセリングの対話データ という特性上，個人情報が多分に含まれるため，個
人を直接特定できるような情報を匿名化処理によっ てマスクする．また，解析では発話中の単語の分析 によって相談者とカウンセラーの発話の特徴を確認 した. さらに，相談者の性別などの属性がどのよう な傾向を持つか調査し, さらにハイリスクな相談者 がどのような属性を持ちやすいのかを解析する.

本研究の貢献は以下の点である.

・ 心理カウンセリング対話データに対して，正規表現と固有表現抽出器を用いて匿名化する部分 を特定し，匿名化を施した。

・ 心理カウンセリングの対話データの基礎的な解析として，発話中の単語を分析してカウンセ ラーと相談者の特徴を掴み，ハイリスクな相談者の傾向を性別などの相談者の属性で特徵づけ られることを確認した。

## 2 関連研究

自然言語処理による自殺予防のための取り組みと して，ツイートのような SNS の投稿から自殺するか どうか検知するような取り組みが行われており，近年では注目度が上がって, Twitter のユーザのうち実際に自殺や自殺未遂をした人のツイートを辿って自殺する人かどうかを検知するワークショップも開催 された [8]. 他にもツイートから自殺傾向を検出す るためのコーパスを構築する研究 $[6,7]$ は存在する が，自然言語処理分野では自殺念慮を予防するため の研究は行われていない。

## 3 心理カウンセリング対話データ

本研究では実際に悩みを抱えた相談者が心理カウ ンセラーに相談した際のデータを分析する。 データ は NPO 法人東京メンタルヘルス・スクエア1)によっ て運営されているSNS を利用した相談窓口である こころのほっとチャットで蓄積された対話を利用す る.こころのほっとチャットは毎日正午から 12 時間程度, LINE, Twitter, Facebook および専用のウェ ブチャットで相談を受け付けている。 カウンセラー は自殺念慮の高い相談者を手動で選択して，優先的 にカウンセリングを行う．カウンセラーは相談のた めに利用する情報として性別・年代・職業・相談回数・相談内容の事前記述を確認する。

データは 2018 年から 2021 年までの相談が蓄積さ れたもので，全てで 17,095 件の対話が含まれてい

1) https://www.npo-tms.or.jp/
る.それぞれの対話では，相談者とカウンセラーが 一対一のオンラインチャット形式で 50 分間発話交換を行う．対話中にカウンセラーは監督者に助言を 仰ぐことができる. 図 1 に示した対話データ2)のよ うに，カウンセラーが確認した相談者の ID・現在 までの合計相談回数・性別・年代・職業の属性，力 ウンセラーが対応する前に相談者によって入力さ れた相談内容, そして実際に相談した際の対話が含 まれ，全ての発話に対してタイムスタンプが付与さ れている. 更に，自殺しそうな可能性が高い人や公的機関への通報に至ったなど，ハイリスクな相談者 （ハイリスク者）に対しては相談を受けたカウンセ ラーによってラベル付けがされており，その理由も 同時に付与されている. 相談者の情報やラベル付け した理由など，選択肢があるフィールドが持ちうる 値は付録の表 3 に示した.

## 4 匿名化

図 1 のように，個人を特定し得る情報をUser] や [Province] のような特殊トークンに置き換える匿名化処理を行う. 具体的には，名化対象が発話に含ま れるかどうかを正規表現やヒューリスティクスに よって抽出し, 固有表現抽出器および正規表現に よって特定された文字列を特殊トークンに置換す る.ここでは個人情報の中でも，情報単体で個人を 特定可能な直接識別情報と複数の情報を利用するこ とで個人を識別できる間接識別情報のうち，直接識別情報を匿名化することに注力する．直接識別情報 と間接識別情報の内容と匿名化後の対話データの発話における特殊トークンを付録の表 4 に示す.

直接識別情報の匿名化は，SNS ID，住所，電話番号，郵便番号，メールアドレスは正規表現，相談者名はヒューリスティクス・正規表現・固有表現抽出器のすべてを用いて匿名化対象を特定する. 固有表現抽出器は自然言語処理ライブラリ GiNZA[9]のも のを利用した. 発話を特定するための正規表現は それぞれの匿名化対象ごとに作成した. SNS ID は，発話中に半角英数字が 6 文字以上かつ SNS の名称 （Facebook やフェイスブック）があるかを条件とし た. 住所や電話番号，郵便番号，メールアドレスは 形式が決まっているため，形式に当てはまるものを 正規表現で記述した.

発話中の相談者名の特定は，ランダムに抽出した

2）例は個人情報保護の観点から実際の対話を公開することは できないため，ダミーで作成したデータである.

図 2 相談者とカウンセラーの発話の単語長の度数分布

1,000 件の人手による対話の統計から得られた，以下の三つ知見を利用したアルゴリズムを用いる.

1. カウンセリングのはじめの発話 3 ターン以内に カウンセラーは相談者に呼び名を尋ねるケース が $69.9 \%$ である.

2. 相談者が相談者自身のカウンセリング上の名前 を含む発言を一度以下しかしないことがほとん どである.

3. 相談者のカウンセリング上の名前が SNS 上の 名前の一部と一致するケースが $54.1 \%$ あるる。

このアルゴリズムによる相談者名特定のカバレッジ は $87.7 \%$ であった.

## 5 解析

本節では基礎的な解析として，まず相談者とカウ ンセラーの発話の傾向をつかむために単語や trigram に着目した解析を行う．次に，相談者とハイリスク 者の傾向をつかむために，年齢などの属性ごとに統計をとり，傾向を確認する．最後に属性とハイリス ク者がタグ付けされた理由がどのような相関がある かを解析する。

## 5.1 対話の統計

心理カウンセリング対話データは 17,095 件の対話で構成され，675,777 件の発話が含まれる。一対話あたりの発話数は平均 39.5, 標準偏差 21.6, 最大值 331, 最小値 2 であった. 5-20 分程度で平均 42 発話の対面形式で行うカウンセリングと比較すると [10]，チャット形式は対話者はお互いの表情や身振 りなどテキスト以外の情報が分からないため，相談者やカウンセラーは比較的長い時間をかけて言葉を 選んでいるという特徴が確認できた。

次に相談者とカウンセラーの発話の違いを確表 11 対話あたりのハイリスク者とハイリスクでない 者の trigram の平均分析 ( $\mathrm{t}$-検定において，*は $\mathrm{p}$ 值 $<0.05$ と なった有意な値である)

認するために単語単位の解析を行う．分かち書き には日本語の形態素解析エンジン $\left.\mathrm{MeCab}^{3}\right)$ と辞書 mecab-ipadic-NEologd[11,12,13] を利用する。まず図 2 に示した 1 発話あたりの単語数の度数分布から,相談者はカウンセラーよりも比較的発話が短いこと が確認できる．一方で，カウンセラーは極端に単語数が少ない発話を避けていた. 実際の対話を人手で 確認すると，相談者は一言や短文の発話が多く，カ ウンセラーは話を聞いていることが伝わるように内容を確認していたり，伝わりやすいように詳しい内容を記述するような発話が確認できた。

次にハイリスク者の発話表現の傾向を見るため に，相談者の trigramをハイリスク者とそうではな い人で比較する。 ハイリスク者の対話 124 件と，そ れ以外から，trigram の辞書が十分大きくなり，八イ リスク者数とのスケールとトレードオフがとれる 数である 1,000 件をランダムにサンプルして利用し た. それぞれの trigram が全体の trigram の top-K 含まれる割合の平均を表 1 に示す. trigram の種類は 296,926 種類あり，top100の trigram のほとんどは文末表現や接続表現であった. top10 以内・top100 以内 trigram の割合と trigram の種類において，ハイリ スクでない者と比べるとハイリスク者が有意に高い ことが分かる. さらに top100 以内の trigram のカバ レッジの平均はハイリスク者とそうではない者そ れぞれ，24.22，29.92（p<0.01）となった.これらの ことから，ハイリスク者はハイリスクでない者より も，一般的な発話表現を用いず，語彙も少ないこと が確認できた。

## 5.2 相談者の統計

相談者全体とハイリスク者はどのような属性であ るかの傾向を統計値から確認する。属性ごとの度数 とハイリスク者の人数と全体のうちハイリスク者が 占める割合を表 2 に示した.「その他・答えたくな い」，というラべルは「その他」と短縮した。まず，性別に着目すると，女性の方が男性の約五倍もの相

表 2 相談者の属性ごとの度数とハイリスク者の人数 （HR）と割合

談者がいる一方で，ハイリスク者の割合は男性の方 が約二倍となっている. このことから女性の方が気軽に相談できており，男性は比較的悪化してからの 相談が多い傾向が読み取れる．年齢別では， $20 \sim 29$歳の SNS を頻繁に利用する層が最も相談が多く, 年齢が高くなるにつれて相談者数が減少する傾向が 確認できる。 ハイリスク者は学生が多い〜19才と 40～49 歳に多いことが確認できる. 職業別に見る と，～19才の相談者は学年に分けることができる.小学生は相談者数が少ない一方で中高生に比べて八 イリスク者の割合は高い.これは学年が上がるごと に相談窓口までたどり着く人数が増え, 気軽に相談 できていることを示唆している。自立した生活が始 まり人生における選択が多い大学生等や, 金銭的に 余裕が無くなりやすい仕事無しについてはハイリス ク者の割合が高く, これらの層では思い悩んで重篤化してからの相談が多いことを示唆している.

## 5.3 ハイリスク者の解析

次にハイリスク者とタグ付けされた理由と属性の 相関関係を確認する．性別および年齢に対する相関関係については付録の図 4,5 に，職業に対する相

図 3 職業とハイリスク者の理由の相関関係

関関係は図 3 に示した.まず小学生に着目すると,児相通報や虐待といった学童期に直面しやすい要因 が確認できる. 思春期に当たる中高学生は家出のよ うな行動だけでなく, 自殺リスクに発展している. また，学生は親子関係が密になりやすいため，虐待 のリスクにも発展している. 大学生等や仕事有りの ような自立することが求められる場合では自殺リス クが大部分を占めるようになる。仕事無しの場合で は，警察通報や心中念慮など重大な事案が確認でき る.このようなハイリスク者の傾向から，それぞれ の職業において相談内容に特徴があることを示唆 しており，この対話データを利用して AI チャット ボットなどの心理カウンセリング補助システムを開発するにあたって考慮する必要がある.

## 6 結論

本研究では，自殺防止の取り組みの一環として，根本的に自殺念慮自体を予防するために，心理カウ ンセリングの受け皿を増やすためのシステム開発 を目指す. その基盤として心理カウンセリング対話 データを個人情報保護のための匿名化を行い，基礎的な解析を行った. 解析では相談者とカウンセラー の発話の特徴と，相談者の属性ごとにハイリスクな 相談者がどのような傾向を持つかを確認した. 今後 はこの対話データを利用して，AIチャットボット やカウンセラーの業務を補助するシステムを開発 する。

## 謝辞

本研究で利用した心理カウンセリング対話データ

は NPO 法人東京メンタルヘルス・スクエアから提供していただいたものです. 担当していただいた温間隆志様および提供に携わっていただいた皆様に感謝申し上げます.

## 参考文献

[1] 厚生労働省 社会 - 援護局 総務課自殺対策推進室. 令和 2 年度我が国における自殺の概況及び自殺対策 の実施状況, 2021. 閲覧日：2022 年 1 月 9 日.

[2] 川島大輔. 学校での自殺予防教育の現状と今後の課題. 社会と倫理, Vol. 34, pp. 49-58, 2019.

[3] 竹島正. 自殺対策の経緯とこれから. 予防精神医学, Vol. 2, No. 1, pp. 40-47, 2017.

[4] 松本寿昭, 若林佳史, 小森田龍生, 小牧奈津子, 松山博光, 安田和子, 田所満理奈, 反町吉秀. 予防に向け た自殺の要因に関する研究. 人間生活文化研究, Vol. 2013, No. 23, pp. 198-202, 2013.

[5] 澤原光彦, 北村直也, 末光俊介, 青木省三. 若者の自殺予防 (<特集>現代の若者のメンタルヘルス). 心身医学, Vol. 55, No. 12, pp. 1353-1359, 2015.

[6] Bridianne O'Dea, Stephen Wan, Philip J. Batterham, Alison L. Calear, Cecile Paris, and Helen Christensen. Detecting suicidality on twitter. Internet Interventions, Vol. 2, No. 2, pp. 183-188, 2015.

[7] Atika Mbarek, Salma Jamoussi, Anis Charfi, and Abdelmajid Ben Hamadou. Suicidal profiles detection in twitter. In Proceedings of the 15th International Conference on Web Information Systems and Technologies, WEBIST 2019, p. 289-296, Setubal, PRT, 2019. SCITEPRESS Science and Technology Publications, Lda.

[8] Sean MacAvaney, Anjali Mittu, Glen Coppersmith, Jeff Leintz, and Philip Resnik. Community-level research on suicidality prediction in a secure environment: Overview of the CLPsych 2021 shared task. In Proceedings of the Seventh Workshop on Computational Linguistics and Clinical Psychology: Improving Access, pp. 70-80, Online, June 2021. Association for Computational Linguistics.

[9] 松田寛. Ginza - universal dependencies による実用的日本語解析. 自然言語処理, Vol. 27, No. 3, pp. 695-701, 2020.

[10] Verónica Pérez-Rosas, Xinyi Wu, Kenneth Resnicow, and Rada Mihalcea. What makes a good counselor? learning to distinguish between high-quality and low-quality counseling conversations. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 926-935, 2019.

[11] Sato Toshinori. Neologism dictionary based on the language resources on the web for mecab, 2015.

[12] Taiichi Hashimoto Toshinori Sato and Manabu Okumura. Operation of a word segmentation dictionary generation system called neologd (in japanese). In Information Processing Society of Japan, Special Interest Group on
Natural Language Processing (IPSJ-SIGNL), pp. NL229-15. Information Processing Society of Japan, 2016.

[13] Taiichi Hashimoto Toshinori Sato and Manabu Okumura. Implementation of a word segmentation dictionary called mecab-ipadic-neologd and study on how to use it effectively for information retrieval (in japanese). In Proceedings of the Twenty-three Annual Meeting of the Association for Natural Language Processing, pp. NLP2017B6-1. The Association for Natural Language Processing, 2017.

## 付録

心理カウンセリング対話データにおける相談者の 属性とハイリスクとしてタグ付けされた理由が取り うる値を表 3 に，匿名化の対象とした語句の詳細を 表 4 に示した.

図 4 に示した性別とハイリスク者の理由の相関関係では，相談者数が多い女性の方が多岐にわたる理由でハイリスク者としてタグ付けされているが，共通している理由の部分に関してはあまり傾向に差異 が見られなかった. 図 5 の年齢とハイリスク者の理由を比べた場合については, 学生の割合が多い〜 19 才については職業別の学生を集約したような形に なっている. 相談者が多い 20〜29 歳が最もハイリ スクな相談者が多い一方で， $30 \sim 39$ 歳，40４9 歳 においては相談者数が減少しているにもかかわら ずあまりハイリスクな相談者が変わっていない. ま た，40４9歳においては心中念慮を持つ人がおり，家族単位で困窮してしまう様子が確認できる。

表 3 対話データ中のフィールドの選択肢

 \\

表 4 匿名化対象とその特殊トークン

図 4 性別とハイリスク者の理由の相関関係


# ルールベースと BERT を用いた 日本語学習者向けの格助詞校正システムの提案

蔡 宇倫 荻野 正樹
関西大学
\{k540873, ogino\}@kansai-u. ac. jp

## 概要

本研究は、格助詞の誤りを余剩 (Unnecessary)・不足 (Missing)・置換 (Replacement)の 3 種類の誤りタイ プに分類し、ルールベースと BERT 言語モデルを用 いて、3 種類の誤りを検出・訂正する手法を提案す る。日本語学習者による日本語作文データベースを 用いて提案したシステムを評価した結果、従来のル 一ルベースによる手法より誤り検出率が約 $8.2 \%$ 、

誤り訂正率が約 $14.3 \%$ 上回っており、ルールベース と BERTを組み合わせた手法の文法誤り訂正におけ る有効性を検証することができた。

## 1 はじめに

グローバル化が進んでいる現在では、英語や日本語をはじめ、“外国語”を活用してコミュニケーシ ョンを図ることは決して珍しいことではない。笠原 ら [1]が NAIST 誤用コーパスから日本語学習者が誤 る箇所を調べた調查では、助詞の誤りが $24 \% を$ 占め ており、日本語学習者に対する助詞の校正支援の重要が高いと考えられる。しかし、既存の日本語向け の自動修正ツールは誤字脱字の検出や不適切な表現 の書き換えについての修正能力は高いが、日本語学習者によく見られる格助詞の誤りについては検出す らできないことが多い。

自然言語処理（NLP）において、入力したテキス トの文法的誤りを自動で検出して訂正をする問題は 「文法誤り訂正 (Grammatical Error Correction:

GEC ）」という [2]。文法誤り訂正の手法には、大 きく分けてルールベース、分類器ベース、機械翻訳 ベースの 3 つがある $[3]$ 。このうち、格フレームな どの情報を参照するルールベースの手法と、機械学習を用いた機械翻訳べースの手法は格助詞誤り訂正 の主流の手法である。

今枝ら [4] は入力文の格フレームと NTT 日本語語彙大系から得られる格フレームを比較することによ
り、格助詞誤りの検出および訂正をする手法を提案 した。その結果、 $75.6 \%$ の誤り検出率と、 $62.5 \%$ の 誤り訂正率を示した。南保ら [5] は構文解析によっ て得られた文節内の特徴から抽出した特徴スロット と助詞の組み合わせをルールとする。さらに帰納的学習を用いて得られた助詞選択ルール辞書を用いて 誤りの検出および校正の手法を提案した。この手法 は、今枝ら [4] と同等な結果を得られた。2011 年以降、ルールベースによる格助詞誤り訂正の手法はほ んどん提案されなかった。

近年、文法的に誤りを含む文から文法的に正しい 文への翻訳をする機械翻訳ベースが文法誤り訂正の 主流の手法となっている。日本語の助詞は英語の前置詞に相当する。英語の文法誤り訂正の研究におい て、翻訳機を使って前置詞の誤りを検出・訂正する 手法が多く提案されている。しかし、機械翻訳べー スでは膨大な学習データ（対訳データ）が必要であ り、日本語では、研究に使う対訳データの不足が問題になっている。この問題に対し、今村ら［6]は日本語平文コーパスの利用と擬似誤りペア文による対訳データの拡張という二つの提案を行って、小規模誤りデータからの日本語学習者作文の助詞誤り訂正 の手法を提案した。その結果、 $50.2 \%$ の適合率と 18. 9 \%再現率を得ることができた。小川ら [7] は機械翻訳機にコピー機構を組み込んだモデルを用いて 日本語学習者作文全般の誤りに対して訂正する手法 を提案している。この手法では SMT を用いた手法よ り性能の向上が認められたが、英語に適用した場合 と同等の性能は得られなかった。

本研究では対訳データを使わず、従来のルールベ 一スの参照情報と BERT [8]を組み合わせる手法を提案し、格助詞の余剩 (Unnecessary) ・不足 (Missin g) - 置換 (Replacement) という 3 種類の誤りの検出 および訂正をする。日本語学習者による日本語作文 データベース[9]を用いて提案したシステムを評価 する。

## 2 システムの概要

GEC の研究において、Errant [10]により文章の誤 りは余剰 (Unnecessary) ・不足 (Missing) ・置換 (Replacement)の 3 種類の誤りタイプに分類されて いる。本研究は格助詞の誤りを上記の 3 種類の誤り タイプに分類し、誤りタイプごとに校正手順を提案 する。

本システムは図 1 で示すように、日本語学習者に よる作文を入力対象として、格助詞の誤りを含む文 に対して、ルールベースと BERT を用いて、作文の 中に格助詞が「余剰」・「不足」・「置換」の箇所 を検出し、誤り箇所に対して、「削除」・「挿入」・「置換」の作業を行い、結果を出力する。

## 3 校正手順

図 1 システムの校正手順

## 3. 1 形態素解析

本研究では、Juman++[11]を用いて形態素解析を 行う。Juman++は言語モデル Recurrent Neural Network Language Model (RNNLM) を用いた高性能 の形態素解析システムである。単語の並びの意味的 な自然さを考慮した解析が可能である。図 1 の(1)で 入力した文節に対して、Juman++を用いて分かち書 き処理をする。分かち書き処理後の単語を形態素と し、表 1 のように品詞情報を付け加える。表 1 形態素解析の例

 \\

## 3.2 「剩余」の誤り検出・訂正

機械翻訳ベースによる手法では、翻訳機は「置換」のみに対して翻訳を行うのが一般的である。今村ら[6]は「不足」・「余剰」の誤りに対する「挿入」・「削除」の操作を空単語からある単語の置換 とある単語から空単語の置換とみなせる手法を提案 したが、「挿入」操作は全単語の間に插入される可能性があり、非常に計算コストがかかる操作である ため、体言の後ろのみ挿入するように制約をかけ た。

計算コストの制約とシステム構築の利便性を考え た上で、本システムは図 1 の(2)で得た分かち書き情報と詞品情報を用いて、文法的なルールに基づいて 「不足」と「余剩」の誤りを検出する。

## 表 2 「余剰」の誤り一部例

 \\

「余剩」の誤りを検出および訂正する手法として は、表 2 で挙げる「余剩」の誤りに対して、分かち 書き情報と詞品情報を用いて誤り箇所を検出する $[4,12]$ 。そして誤り箇所に対して削除処理を行い、「余剰」の誤りを訂正する。

## 3.3 「不足」の誤り検出・訂正

「不足」の誤りは 3.2 節で述べる「余剩」の誤り を検出する手法と同様に、文法的なルールに基づい て誤りを検出する。
格助詞は「体言」と「用言」の間に使用するのが 一般的である。そのほか、主語であることを示す場合や並立の関係を示寸場合に、「体言」と「体言」 の間に格助詞が使用される $[4]$ 。本システムでは 「体言」と「用言」または「体言」と「体言」の間 に格助詞が使用される状況を細分化し、図 1 の(2)で 得た分かち書き情報と詞品情報を用いて、格助詞が 「不足（脱落）」する箇所を検出する。従来のルールベースでは辞書から得られる格フレ 一ムなどの情報を参照し、「不足（脱落）」の格助詞を挿入するのが一般的だが、格フレームを構築す る作業量が膨大であり、全ての状況を考慮すること が難しい。そこで、本システムでは BERT 言語モデ ルを用いて、「不足（脱落）」の格助詞を推論の手法で挿入する。

BERT は 2018 年に Google から発表されたニュー ラル言語モデルであり、文脈を深く考慮した分散表現を生成できるのが特徵である。今回提案したシス テムは Transformers で提供されているクラス BERT For Masked LM を用いる。BERT For Masked LM は 一部を特殊トークン「MASK」に置き換えた文章に対 して、「MASK」に入る言葉を予測し、出力確率を出 すことができる。

格助詞が「不足（脱落）」する箇所を特殊トーク ン「MASK」に置き換えて、BERTによる得た出力確率の最も高い格助詞を挿入するという貣欲法 [8] が 存在するが。文に複数の誤りが含まれている場合、文の後ろの誤りが前の特殊トークンの確率判定にマ イナス効果を与えることがあるため、文頭から順に 「不足」する箇所を出力確率の最も高い格助詞で置 き換えても、最終的に文章全体の合計出力確率の最 も高いものが出力される保証はない。今の段階で は、まず貪欲法を使って、「不足（脱落）」の箇所 に出力確率の最も格助詞を挿入する。 3.4 節でビー ムサーチ法[13] で改めて訂正を行う。

## 3.4 「置換」の誤り検出 - 訂正

「置換」の誤りは BERT 言語モデルを用いて検出・訂正を行う。文の中の格助詞を特殊トークン 「MASK」に置き換えて、BERT によって得たスコア リストの上位結果をチェックすることにより、「置換」の誤りを検出することが可能である。

前節にも論じたように、貪欲法を用いて順に「置換」の格助詞を出力確率の最も高い格助詞に置き換 えても、最終的に合計確率が最も高いものが出力さ
れる保証はない。そこでビームサーチ法を使用す る。

$
\begin{gathered}
p_{i}=\frac{\exp \left(s_{i}\right)}{\sum_{j=1}^{n} \exp \left(s_{j}\right)} \\
p_{\text {tot }}=\sum_{k=1}^{N} p_{k} \\
p_{\text {best }}=\operatorname{MAX}\left(p_{\text {tot }}\right)
\end{gathered}
$

BERT For Masked LM の出力層では、式(1)に示寸通り、特殊トークン「MASK」の対する出力分類ス コア $s=\left(s_{1}, S_{2}, \ldots, S_{n}\right)$ に対して、Softmax 関数を適用 し、出力確率 $p=\left(p_{l}, p_{2}, \ldots, p_{n}\right)$ を得ることができ る。まず図 1 の(2)で得た詞品情報に基づいて、文節 の中の格助詞を順次に特殊トークン「MASK」で置き 換える。一個目の特殊トークンを出力確率 $p$ が上位 3 位の格助詞に置き換えて、3つの文章を作る。次 は得られた 3 つの文章に対して、次の特殊トークン に同じ処理を適用し、9つの文章を作る。そこで $N$個目の特殊トークンで得られた 9 つの文章ごとの合計確率 $p_{t o t}$ が式(2) に示す通り、各特殊トークンの 出力確率 $p$ の合計値である。9つの文章の中から $P_{t o t}$ が上位 3 位の文章を抽出し、それ以降の特殊卜 ークンに対して以上の処理を繰り返す。最終的に、式(3)に示す通り、合計確率の最も高い文章 $p_{\text {best }}$ を 正解として出力する。

図 2 ビームサーチ法の例

## 4 実験

本章では、作文対訳データベース (対訳作文 DB)

[9]を用いて提案したシステムに対して評価を行

う。対訳作文 DB は

(1)日本語学習者による日本語作文

(2)作文執筆者本人による(1)の母語訳

(3)本語教師等による（1)の添削（ただし一部のみ）

(4)作文執筆者・添削者の言語的履歴に関する情報 という 4 種類のデータを大量に収集し，相互に参照 することが可能な形で電子化したものである。

## 4. 1 実験条件

今回の実験は対訳作文 DB の日本語学習者による 日本語作文から、格助詞の誤りだけを含んで文法的 に修正可能な文を 100 文抽出して、実験データとし て用いる。日本語教師等による添削を正解データと する。抽出した文の中、正例が 179 箇所、誤用例が 124 箇所、合計 303 箇所の格助詞が使用されてい る。

## 4. 2 実験結果

実験結果は表 3、表 4 で示すように、179 箇所の正例の中、152 箇所が正の結果と判断されて、訂正を 行わず出力した。124 箇所の誤用例では、102 箇所が 誤の結果と判断されて、その中、 89 箇所が正しく訂正できて出力した。[4] と同様に検出・訂正の正答率 を検出率と訂正率として求めると、

検出率 $\cdots(152+102) / 303=83.8 \%$

訂正率 $\cdots(152+89) / 303=79.5 \%$

という結果が得られる。

表 3 誤りの検出結果

表 4 誤りの訂正結果

誤文節で評価した結果が表 5 で示すように、100 誤文節の中、 83 文の誤りが検出できて、 71 文が修正 できた。従って、文節に対する誤りの検出率が $83 \%$ 、誤りの訂正率が $71 \%$ という結果が得られる。

表 5 誤文の検出及び訂正結果

## 4.3 考察

本研究で提案したシステムの性能は, $[4,5]$ で提案されている手法と比較すると、誤り検出率で約 $8.2 \%$ 、誤り訂正率で約 $14.3 \%$ 上回っていた。「不足」と「置換」の誤り訂正は BERT For Masked LM を用いることで、格フーレムの構築手順も約まる。

しかし、

(1) 一部の文法的に正しくない文節に対して、 Juman++が正しく解析できないため、文法的な ルールに基づいて誤りを検出する時には、誤 りは検出できない。

(2) BERT For Masked LM の事前学習のデータは, ウィキペディアの記事であるため文章の固い 表現が多い。このため BERT を用いて文節を訂

る」の出力確率が高く、文節を正しく訂正で きない場合がある。上記の二つの問題が存在する。ルールベースの検出条件を細分化し、小説などの平文を用いて BERT For Masked LM に転移学習させることで、誤りの検出率及び訂正率の向上が期待できると考えられる。

## 5 おわりに

本研究は、日本語学習者が苦手とする格助詞の誤 りを題材に、格助詞の余剰 (Unnecessary) ・不足

(Missing) ・置換 (Replacement) の 3 種類の誤りタイ プに対するそれぞれの検出・訂正手法を提案した。

「余剩」の誤りには、形態素解析の結果に基づい て、文法的なルールを適用することにより誤りを検出・訂正する。「不足」の誤りは「余剰」の誤りと 同様に、文法的なルールを適用することにより誤り を検出する。訂正の段階では、BERT の推論結果を 用いた。訂正率が上がる上で格フーレムの構築手順 も約まった。「置換」の誤りはビームサーチ法によ る作文と比較することにより、誤りの検出・訂正が できた。

対訳作文 $\mathrm{DB}$ を用いて提案したシステムを評価し た結果、 $83.8 \%$ の誤り検出率と $79.5 \%$ 誤り訂正率が得られた。従来のルールベースによる手法よ り、誤り検出・訂正率を向上させることができた。機械翻訳ベースによる手法と比べて、対訳データを 使わずに、日本語の平文で構築できる利点がある。 ルールベースと BERT を組み合わせた手法の文法誤 り訂正における有効性を検証した。

## 参考文献

1. 笠原誠司, 藤野拓也, 小町守, 永田昌明, 松本裕治. 日本語学習者の誤り傾向を反映した格助詞訂正. 言語処理学会第 18 回年次大会, pp. 14-17, 2012.

2. Yu Wang, Yuelin Wang,Jie Liu,and Zhuo Liu. A compre- hensive survey of grammar error corr ection. arXiv preprint arXiv:2005.06600, 2020.

3. 水本智也. 自然言語処理による文法誤り訂正.人工知能 2018 年 33 巻 6 号, p. 893-900, 2018.

4. 今枝恒治, 河合敦夫, 石川裕司, 永田亮, 栘井文.日本語学習者の作文における格助詞の誤り検出と訂正. 情報処理学会研究報告. コンピュー 夕と教育研究会報告, No. 13, pp. 39-46, 2003.

5. 南保亮太, 乙武北斗, 荒木健治. 文節内の特徴を 用いた日本語助詞誤の自動検出・校正（語学学習支援・自動校正). 情報処理学会研究報告. 自然言語処理研究会報告, No. 94, pp. 107-112, 200 7.

6. 今村賢治, 齋藤邦子, 貞光九月, 西川仁. 小規模誤りデータからの日本語学習者作文の助詞誤 り訂正. 自然言語処理 2012 年 19 巻 5 号, pp. 381 $-400,2012$
7. 小川耀一朗, 山本 和英.日本語誤り訂正におけ る誤り傾向を考慮した擬似誤り生成.言語処理学会第 26 回年次大会, pp. 505-508, 2020.

8. 近江崇宏, 金田健太郎, 森長誠, 江間見亜利. BER Tによる自然言語処理入門. オーム社, 2021.

9. 作文対訳データベース. (引用日：2021 年 12 月 10 日.) https://mmsrv.ninjal.ac.jp/essay/

10. Christopher Bryant,Mariano Felice,Ted Briscoe.A utomatic Annotation and Evaluation of Error Ty pes for Grammatical Error Correction.In Associa tion for Computational Linguistics,pp793-805,20 17.

11. 日本語形態素解析システム JUMAN. (引用日：20 21 年 12 月 10 日. ) https://nlp.ist.i.kyoto-u.ac.jp/?J UMAN

12. 内田茂. 留学生の日本語作文に見られる助詞の 誤用について. 教育研究所紀要 34 号, pp. 45-5 0, 1998 .

13. 甫立健悟, 金子正弘, 勝又智, 小町守. 文法誤り 訂正における訂正度を考慮した多様な訂正文 の生成. 自然言語処理 2021 年 28 巻 2 号, pp. 428 $-449,2021$.


# テキスト穴埋めによる知識ベース対話システムの構築

薛強 滝口哲也 有木 康雄
1 神戸大学大学院 システム情報学研究科
\{xueqiang, takigu,ariki\}@stu.kobe-u.ac.jp

## 概要

近年，外部知識を用いる知識べース対話システム では，生成する応答文の一貫性と外部知識の利用能力を向上させるために，会話に関連する外部知識と 対話履歴を連結して深層学習モデルに入力する方法が提案されている. しかし，知識べース対話シス テムは検索された外部知識を利用することなく, 応答文を生成してしまうという問題がある．本研究で は，テキスト穴埋めタスクを用いることにより，知識ベース対話システムが常に外部知識を利用するこ とができる方法を提案する．実験により，テキスト 穴埋め手法を用いた知識べース対話システムは，正確性評価指標において最高値を示した。

## 1 はじめに

自然な応答を生成することができる雑談対話シ ステムの構築は，自然言語処理分野における挑戦的 な研究領域である. 近年, Microsoft $の$ DialoGPT [1] や, Google の Meena [2] など，人間同士の対話デー タを大量に収集して深層学習を行う生成べース対話 システムが知られている. しかし, 生成べース対話 システムの対話相手となる人間が，「今は何時です か」と尋ねた場合, 生成べースシステムは学習デー タに含まれていた古い情報をもとに会話を展開する ことになる.こういった最新の事実に基づかない応答文を生成する「幻想問題」が報告されている [3].「幻想問題」の改善を目指し，適切な外部知識を検索できる検索ベース対話システムと，生成ベース対話システムを統合した対話システムとして，外部知識を利用した知識べース対話システムの研究が近年注目を集めている。

一方，多くの知識べース対話システム $[4,5]$ では，学習段階において，検索された外部知識と対話履歴 を連結した形で深層学習モデルに入力し, 目標応答文を生成するように学習が行われている。しかし,推論段階において，検索された外部知識を入力して
いるにもかかわらず，これを無視して，入力した対話履歴のみに基づいて応答文を生成してしまうとい う問題が報告されている [6]. そこで，本研究では，知識ベース対話システムの推論段階において，検索 された外部知識が応答文に含まれるように，テキス 卜穴埋め手法を用いた知識ベース対話システムを提案する。

本稿では，知識ベース対話システムに基づいて， テキスト穴埋め手法を用いた深層学習モデルの学習段階と推論段階を述べた後，構築した知識べース対話システムの実験と評価について報告する.

## 2 関連研究

本節では本研究で用いる知識ベース対話システム のベースラインと，テキスト穴埋め手法について述 べる.

## 2.1 知識ベース対話システム

近年, 知識ベース対話システムが生成した応答文 に関して，一貫性と外部知識の利用能力を向上させ るために，対話に関連する外部知識と対話履歴を統合した会話背景を GRU [7] や GPT-2 [8] などの深層学習モデルに入力する.

しかし, 深層学習モデルは最大入力長があるた め，会話の進行により，徐々に増える会話背景も制限される必要がある. 会話背景に必要な入力空間 を節約するために， Galetzka らは異なる知識のエン ティティと対応する関係を連結することにより，検索された知識グラフをより簡潔にエンコードできる エンコード手法を提案した [4]. 本研究では, 以上述べたエンコード手法を用いる知識ベース対話シス テムをべースラインとする.

## 2.2 テキスト穴埋め

テキスト穴埋めタスクとは，空白スペースを含む 語句、文、または段落で構成されているテキストに おいて，空白スペースに欠落している語句を予測す

図 1 外部知識と対話データのエンコード. エンコードされた各種類の単語系列を異なる色で示す.

## るタスクである。

Donahue らは，任意位置にある複数の空白スペー スを含むテキスト入力に対して，欠落している目標 テキストを空白スペースの位置に連結して，深層学習モデルの出力とするテキスト穴埋め手法を提案し た [9]. このテキスト穴埋め手法を用いた深層学習 モデルは，客観評価と主観評価で最高値に達してい る. 本研究では，上に述べたテキスト穴埋め手法を 知識ベース対話システムに応用する。

## 3 知識ベース対話システムの構築

本節では深層学習モデルの学習段階と推論段階に おいて, テキスト穴埋め手法の応用により, 提案す る知識ベース対話システムの構築について述べる。

## 3.1 学習段階

本研究では, 深層学習モデルとして, DialoGPT モ デルを用いる. そのため, 深層学習モデルの学習段階では，DialoGPTの学習タスクと Donahue らのエ ンコード手法 [4] を参照し，外部知識と対話データ を以下のようにエンコードする。
- 外部知識のエンコード（図 1・(1)：検索された 外部知識は，各知識のエンティティと関係を連結して知識系列とする。次に異なる知識系列を ランダムに連結して単語系列(1)に変換する。

・対話履歴のエンコード（図 1・(2)(3)(4)）: 対話履歴内の各発話文をトークンの列からなる単語系列(2)(3)(4)に変換する．変換された各単語系列の 末尾に停止トークン<EOS>を追加する.

-目標応答文のマスク処理（図 1・(5)：まず，目標応答文をトークンの列からなる単語系列(5)に 変換する．次に，変換された単語系列(5)の長さ を $L$ とすると, 整数 $X$ と整数 $Y(1<X<Y<L)$
をランダムに選択する． $X$ 番から $Y$ 番までの単語系列を保留し（図 1 では， $X=5, Y=6$ ），それ 以外の単語系列をマスクトークン<MASK>に入 れ替える. 最後に，変換された単語系列(5)の末尾に停止トークン<EOS>を追加する.

・目標応答文のエンコード（図 1・6）：まず，目標応答文のマスク処理において，マスクトーク ンに入れ替えられた二つの単語系列の末尾に 停止トークン<EOS>を追加する。，次に，二つの 単語系列を順番に連結して単語系列(6)変換 する。

以上のようにエンコードされた単語系列を(1)～(6) の順番に連結して, 深層学習モデルの入力とする.深層学習モデルの学習タスクは，目標単語系列(6の 生成確率を最大化する.

## 3.2 推論段階

深層学習モデルの推論段階では，外部知識と対話履歴のエンコード，及び推論段階の出力を以下のよ うに行う。
- 外部知識と対話履歴のエンコード（図 1・(1)(2) (3)(4)：推論段階の入力データに対して，3.1 節 の学習段階と同じように単語系列(1)(2)(3)(4)に変換する。

・知識のマスク処理 (図 2・(5)：まず，検索された 外部知識に関して，異なる知識のエンティティ をランダムに一つ選択して，単語系列(5に変換 する. 次に，整数 $X$ と整数 $Y(0<X, Y<10)$ を ランダムに選択する。単語系列(5)の左方向と右方向に，X個と $Y$ 個のマスクトークン<MASK> を追加する. 最後に，単語系列(50末尾に停止 トークン<EOS>を追加する。

・穴埋め生成 (図 2・ (6) : 以上のようにエンコー ドされた単語系列を(1)～(5)の順番に連結して，深層学習モデルに入力する. 深層学習モデルは デコード戦略により，逐次的に単語系列(6)を 生成する (穴埋め生成).二つ目の停止トーク ンくEOS>を生成した時に，穴埋め生成を停止さ せる.
- 出力 (図 2-(7)：停止トークン<EOS>により,単語系列(6を二つ単語系列に分割し，単語系列 (5)の左部分と右部分のマスクトークン<MASK> に入れ替えて単語系列(7に変換する．単語系列 (7)を推論段階の出力とする.

図 2 推論段階における外部知識のエンコードと出力.

## 4 実験と評価

実験では，知識なし対話システム（生成ベース対話システム), ベースライン (知識ベース対話シス テム), 及びテキスト穴埋め手法を用いた知識べー ス対話システム（提案対話システム）を実験対象と する. 本節では, 深層学習モデルの学習段階と推論段階で用いるデータセット，パラメータの設定，及 び推論段階の実験評価について述べる.

## 4.1 データセット

OpenDialKG [10] は，本と映画についての推薦対話が含まれている雑談対話データセットである．話者は常に知識グラフに接続しているエンティティを 含む発話を行い，知識グラフの事実に基づいた推薦対話を行う．また，知識グラフとして複数ドメイン からなる Freebase の知識グラフを利用している. 本研究では, OpenDialKG の各対話に対して, 検索さ れた関連外部知識と OpenDialKG を統合したデータ セット [4]を利用する.

## 4.2 実験設定

本研究の深層学習モデルとして DialoGPT モデル を使用した. GPT-2 モデルをべースとした DialoGPT モデルは，Redditから抽出した対話セッションの大規模なコーパスで学習され, 自動評価と人間評価の 両方で最先端の性能を達成している. 表 1 に深層学習モデルのパラメータを示す.

表 1 深層学習モデルのパラメータ

## 4.3 実験評価

実験評価では，応答文の正解性，多様性の二つ の角度から応答文の質を評価する. 多様性の評価指標として, 応答文に含まれる単語数の平均を表 す Avg Len，応答文に含まれる n-gram の種類数を 表す DIST-n [11]を用いる. 正解性の評価指標とし $\tau$, 応答文と正解文の類似度を表す BLEU-n [12], NIST-n [13] を用いる.ここで，NIST-n は BLEU-nを ベースとした評価指標であるが，BLEU とは異な り，n-gram に対して情報量の大きさを用いて重み付 けを行うため，機能語よりも内容語の一致が重視さ れる.

表 2 に，各対話システムによって生成された応答文の評価結果を示す。表より，提案した対話システ ムは，正解性評価指標のスコアで全て最高値に達し た.これより，テキスト穴埋めタスクの有効性が確認できる。一方，提案手法は，多様性評価指標であ る Avg Len スコアで最高値に達したが，多様性評価指標である DIST-1 スコアで最低値になった. 提案手法による応答文の多様性の向上は, 今後の研究課題である.

表 3 に，各対話システムによって生成された応答文の例を示す. 表より，提案手法は検索された外部知識を正確に利用し，自然な応答文を生成できるこ とが確認できる。一方，知識べース対話システム は，外部知識が利用できていないが，対話履歴 1 に
表 2 各対話システムによって生成された応答文の評価結果

表 3 各対話システムによって生成された応答文の例. 検索された外部知識のエンティティを青色で示す.

対して，自然な応答文を生成するには，外部知識 1 が必要ではないことが考えられる．外部知識の必要性を判断できるモジュールの開発は今後の研究課題 である.

## 5 おわりに

本研究では，知識ベース対話システムは検索され た外部知識を利用せずに，応答文を生成するという 問題を改善することを目的として，テキスト穴埋め 手法を用いた知識ベース対話システムを提案した。提案した対話システムは常に外部知識を利用するこ とができる．実験より，提案した対話システムは正解性評価指標において最高値を得た。

## 参考文献

[1] Yizhe Zhang, Siqi Sun, Michel Galley, Yen-Chun Chen, Chris Brockett, Xiang Gao, Jianfeng Gao, Jingjing Liu and Bill Dolan. DialoGPT: Large-Scale Generative Pre-training for Conversational Response Generation, arXiv:1911.00536 (2019)

[2] Daniel Adiwardana, Minh-Thang Luong, David R. So, Jamie Hall, Noah Fiedel, Romal Thoppilan, Zi Yang, Apoorv Kulshreshtha, Gaurav Nemade, Yifeng Lu and Quoc V. Le. Towards a Humanlike Open-Domain Chatbot (2020)

[3] Mojtaba Komeili, Kurt Shuster and Jason Weston. : InternetAugmented Dialogue Generation. arXiv:2107.07566. (2021)

[4] Fabian Galetzka, Jewgeni Rose, David Schlangen, Jens Lehmann Space Efficient Context Encoding for Non-Task-Oriented Dialogue Generation with Graph Attention Transformer Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural
Language Processing (Volume 1: Long Papers), 7028-7041 (2021)

[5] Emily Dinan, Stephen Roller, Kurt Shuster, Angela Fan, Michael Auli, and Jason Weston. Of Wikipedia: Knowledge-powered conversational agents. 7th International Conference on Learning Representations, ICLR 2019, pages 1 - 18.(2019)

[6] Jason Weston, Emily Dinan and Alexander H. Miller. : Retrieve and Refine: Improved Sequence Generation Models For Dialogue, 2018; arXiv:1808.04776. (2018)

[7] Kyunghyun Cho, Bart Van Merrienboer, Caglar Gul- .. cehre, Dzmitry Bahdanau, Fethi Bougares, Holger Schwenk, and Yoshua Bengio. Learning phrase representations using RNN encoderdecoder for statistical machine translation. EMNLP 2014 - 2014 Conference on Empirical Methods in Natural Language Processing, Proceedings of the Conference, pages 1724 - 1734 (2014)

[8] Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. Language models are unsupervised multitask learners. OpenAI Blog, 1(8):9.(2019)

[9] Chris Donahue, Mina Lee and Percy Liang. : Enabling Language Models to Fill in the Blanks, arXiv:2005.05339 (2020)

[10] Seungwhan Moon, Pararth Shah, Anuj Kumar,and Rajen Subba. OpenDialKG: Explainable conversational reasoning with attention-based walks over knowledge graphs. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pages 845 - 854, Florence, Italy,(2019)

[11] Li, J., Galley, M., Brockett, C., Gao, J., and Dolan, B. : A Diversity-Promoting Objective Function for Neural Conversation Models, Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 110 - 119 (2016)

[12] Kishore Papineniet al.,: Bleu: a Method for Automatic Evaluation of Machine Translation, Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, p311-318 (2002)

[13] George Doddington. Automatic evaluation of machine translation quality using n-gram cooccurrence statistics. In Proceedings of HLT (2002)


# yamaMomo : Sudachi 同義語辞書による 日本語分散表現の評価用データセットの作成

野口 夏希 ${ }^{1}$ 勝田 哲弘 ${ }^{2}$ 山村 崇 ${ }^{2}$ 高岡 一馬 2 内田 佳孝 ${ }^{2}$
1 愛媛大学 2 株式会社ワークスアプリケーションズ・エンタープライズ
n_noguchi@ai.cs.ehime-u.ac.jp
\{katsuta_a, yamamura_t, takaoka_k, uchida_yo\}@worksap.co.jp

## 概要

分散表現の評価のうち内的評価では，単語間の類似度や意味に関係がある単語を正しく類推できるか を評価するタスクが特に注目され，日本語でもデー タセットが作られている.しかし他の種類の内的評価タスクではデータセットが不足している.

本研究では表記摇れや略語・略称，カテゴリの類似度に関する内的評価タスクに注目し，Sudachi 同義語辞書を用いてデータセットを作成した. またこ のデータセットで評価を行い，コーパスや形態素解析に起因する分散表現モデルの違いを確認した.

## 1 はじめに

分散表現の評価タスクには内的評価と外的評価が ある. 内的評価は単語分散表現の性能を直接評価し，外的評価は実際のタスクに単語分散表現を使って 評価するものである. Bakarov [1] によると内的評価 は, Word Semantic Similarity, Word Analogy, Thematic Fit, Concept Categorization, Synonym Detection, Outlier Word Detection の 6 つのタスクに分類表記ゆれ.

既存の日本語分散表現のデータセットには単語の 意味がどれほど近いかを指す類似度や，どれほど関連するかを指す関連度の評価をするものがある [2] が、他の内的評価タスクのためのデータセットは不足している.

本研究では Outlier Word Detection と Concept Categorization のうち, 略語・略称や表記摇れといった同義語間における類似度や，単語の属する分野に注目 し, Sudachi 同義語辞書 [3] を用いて日本語分散表現 の評価用データを作成した。

Sudachi 同義語辞書は Sudachi 形態素辞書に人手で 同義語関係を付与した辞書である. 詳細化された同義語関係として略語・略称であるかを示す略語・略称情報，異表記，翻字，誤字など表記摇れの種別を 示す情報，単語がどのような概念に属するかを示す 分野情報が付与されている.

本研究の貢献は以下の 3 つである. (1) 日本語の データセットになかったタスクに着目したデータ セット及び評価指標の作成 (2) 詳細な同義関係 （代表表記と表記摇れ）や分野情報が評価できる データセットの作成 (3) 本論文で作成したデータ セットによる各モデルの評価.

## 2 先行研究

Bakarov [1] によると，内的評価のタスクは 6 種に 分類される.

英語の Outlier Word Detection のためのデータセッ トである The 8-8-8 outlier detection dataset [4] では,単語集合の中から $\cos$ 類似度を用いて単語ベクトル の距離を測ることで outlierを選択している. 英語の Concept Categorization [5] のためのデータセットであ る ESSLLI-2008 [6] では，単語集合をクラスタリン グツールキットを用いてクラスタリングすることで 単語集合をカテゴリごとに分類している。

しかし, 日本語では 6 のタスクのうち, Word Semantic Similarity [2,7, 8, 9], Word Analogy [8]のデー タセットが公開されているに留まる。

## 3 データセットの作成と評価

本実験では，Outlier Word Detection と Concept Categorization のデータセットの作成に, Sudachi 同義語辞書1) [3] を使用した. またデータセットに含める 単語には，評価対象となる複数の分散表現モデルで 共通して出現する語を選択した. 共通する語をでき るだけ多くするため，分散表現モデルは大規模な chiVe [10], nwjc2vec [11], 朝日新聞単語ベクトル [12],

1) https://raw.githubusercontent.com/WorksApplications/ SudachiDict/develop/src/main/text/synonyms.txt

WikiSudachiVec, 日本語 Wikipedia エンティティベク トル [13] の 5 つを使用した. WikiSudachiVec はコー パスに日本語版 Wikipedia, 形態素解析に Sudachi (C 単位）を用いて学習された日本語分散表現である。

## 3.1 Outlier Word Detection

Outlier Word Detection は，単語集合 $W$ が与えられ たときに，単語集合内の残りのグループに属さない outlier の単語 $w_{o}$ を推定するタスクである. 本研究 では, Sudachi 同義語辞書内で定義されている 2 単語 の同義語ペア集合 $S$ の各ペア $s=\left.\{w_{s_{1}}, w_{s_{2}}\right.\} \in S$ に, $s$ に対して同義語ではないランダムな単語 $w_{o}$ を加 えた $W_{s}^{o}=\left.\{w_{s_{1}}, w_{s_{2}}, w_{o}\right.\}$ を作成する.

同義語ペア $s$ の 2 単語は, Sudachi 同義語辞書にお いて，代表語に対して表記摇れや略語・略称として 定義されている同義語関係にあるものを選んだ. 表記摇れの中で，異表記（送り仮名の有無のような日本語の表記摇れ）と翻字関係（日本語の単語が英単語で書かれているような表記摇れ）を区別する.こ れにより，モデルがどの程度表記摇れに頑健である かだけでなく，言語間での表記摇れはあまり区別で きないなどの，詳細な評価もできると考えられる。 これらの略称の表記摇れを評価することで，略称が 出現しやすいようなドメインの文書に対するモデル の有効性などを評価できると考えられる。

また, outlierの単語の選び方によっては推定が容易であるような単語のみが選ばれる可能性がある. これを回避するために，各同義語ぺア $s$ に対して $k$個の異なる outlierの単語 $\left.\{w_{o_{1}}, \ldots, w_{o_{k}}\right.\}$ をそれぞれ追加したとき，すべての組み合わせ $X_{s}=\left.\{W_{s}^{o}, \ldots, W_{s}^{o_{k}}\right.\}$ で outlier が推定できた割合で評価する. 本研究では $k=10$ とし, $s$ に対して同義語ではないランダムな 10 単語を outlier として選択した. 表 1 に具体例を示 す. 作成した同義語ぺアの合計 $|S|$ は，異表記が 313 件，翻字関係が 859 件，略称が 182 件となった.

次に，このデータセットを使った分散表現の評価方法について述べる. 単語集合 $W$ 内のある単語 $w$ が $w_{o}$ であるか推定する方法として, 式 (1) から他のす べての単語 $W \backslash\{w\}$ との類似度 $\operatorname{score}_{W}(w)$ を求め,最も類似度が低い単語 $w$ を $w_{o}$ と推定する。

$
\operatorname{score}_{W}(w)=\frac{1}{|W|-1} \sum_{w_{j} \in W \backslash\{w\}} \operatorname{sim}\left(w, w_{j}\right)
$

ここで， $\operatorname{sim}(\cdot)$ は単語間の類似度を示し, 先行研究 [4] に倣ってコサイン類似度を用いた。単語集合 $W$ において $w_{o}$ が正しく推定できたとき に 1 (それ以外は 0 ) をとる関数 $T P(W)$ と，すべての outlier の組み合わせ $X_{S}$ において $w_{o}$ が正しく推定で きたときに 1 (それ以外は 0 )をとる関数 $T P_{\text {all }}(X)$ を それぞれ式 $(2,3)$ のように定義すると，

$
\begin{gathered}
T P(W)= \begin{cases}1, & \text { if } \arg \min _{w \in W} \operatorname{score}_{W}(w)=\left.\{w_{o}\right.\} \\
0, & \text { otherwise. }\end{cases} \\
T P_{\text {all }}\left(X_{s}\right)= \begin{cases}1, & \text { if } \sum_{W \in X_{s}} T P(W)=k \\
0, & \text { otherwise. }\end{cases}
\end{gathered}
$

すべての同義語ぺアに対する正解率 Acc. は式 (4) の ように定義される.

$
\text { Acc. }=\frac{\sum_{s \in S} T P_{\text {all }}\left(X_{S}\right)}{|S|}
$

## 3.2 Concept Categorization

Concept Categorization は，単語集合 $W$ が与えら れたときに，異なるカテゴリの部分集合ごとに 分割するタスクである. 本研究では Sudachi 同義語辞書の 31 種類の分野情報（IT，キャラなど） をカテゴリとし，2 つカテゴリ $i, j$ を選び，各カ テゴリの 2 単語ずつあわせた 4 単語のサンプル $W_{i j}=\left.\{w_{i_{1}}, w_{i_{2}}, w_{j_{1}}, w_{j_{2}} \mid i \neq j\right.\}$ を作成し, すべての サンプルの集合を $D$ と定義する。具体例を表 2 に 示す. 作成したすべてのサンプルの合計 $|D|$ は, 104, 625 件となった.

次に，このデータセットを使った分散表現の 評価方法について述べる. 単語集合 $W$ に対して，各単語 $w$ の埋め込み表現を素性としてクラスタ リングを行い，カテゴリごとに分類できたかを 評価する.クラスタリングのアルゴリズムには， AgglomerativeClustering2)を用い，パラメータとして affinity は cosine を，linkage は average を指定する. 先行研究 [5] では，クラスタリングの評価として各ク ラスタが単一のカテゴリから構成されている割合を 表す purityを用いているが，本研究ではデータセッ ト $D$ に対してどのくらいのサンプルで正解できた かを評価する．正しくクラスタリングできたサンプ ルの集合を $D_{\text {correct }}$ とすると，正解率 Acc. は式（5） のように定義される。

2) https://scikit-learn.org/stable/modules/generated/ sklearn.cluster. AgglomerativeClustering. html
表 1 Outlier Word Detection のデータの例

 \\

$
\text { Acc. }=\frac{\left|D_{\text {correct }}\right|}{|D|}
$

## 4 実験設定

3.1 項と 3.2 項で構築した Outlier Word Detection と Concept Categorization のデータセットを用いて分散表現の評価を行った. 使用したモデルはコーパスや 形態素解析器による差異を分析するために、以下の 13 個を用意した.

chiVe [10]: chiVe_mc5, chiVe_mc15, chiVe_mc90

コーパスに NWJC [14], 形態素解析に Sudachi を用い て学習した分散表現であり，min-countが異なる 3 つ のモデルを使用する。

nwjc2vec [11] : nwjc2vec

コーパスに NWJC, 形態素解析に MeCabを用いて学習した分散表現を使用する。

日本語 Wikipedia エンティティベクトル [13] :

## entityVec

コーパスに Wikipedia, 形態素解析に MeCabを用い て学習した分散表現を使用する。

朝日新聞単語ベクトル [12]：A-CBOW, A-CBOW-R, A-GloVe, A-GloVe-R, A-Skip, A-SKip-R

コーパスに新聞記事，形態素解析に MeCabを用 いて学習した分散表現. 3 つの学習アルゴリズム (CBOW, Skip-Gram, GloVe) によって学習したモデル と, Retrofitting によってファインチューニングされ た計 6 つのモデルを使用する.

WikiSudachiVec: WikiSuda-A, WikiSuda-C

コーパスに Wikipedia, 形態素解析に Sudachi (それぞ れ A 単位, C 単位）を用いて学習した分散表現を使用する.

Outlier Word Detection や Concept Categorization タ スクによって各モデルが表記摇れや分野情報をコー パスから学習できているかを評価する。

## 5 実験結果

表 3 に実験結果を示す.

## 5.1 実験 1 : Outlier Word Detection

Outlier Word Detection の異表記と略称では全体的 に chiVe が高い性能を示した. データセットのもと になった Sudachi 同義語辞書と訓練コーパスの分割単位が一致していることが影響したと考えられ る. 翻字関係は chiVe と entityVec の正解率が高かっ た. 全モデルを通じて表記種別 (カタカナかアル ファベット)だけをみて誤判別する傾向が目立った. chiVe は形態素解析に用いた Sudachi の正規化によっ て, 文脈から翻字関係の表記摇れが学習できている 可能性がある。また entityVec は，記事本文中のハイ パーリンクを使用し，それぞれのリンクのアンカー テキストをリンク先の記事のタイトルに置換する方法を採っており，それが翻字の学習に有効だったた めと考えられる。

朝日新聞単語ベクトルは学習に用いたアルゴリ ズムや Retrofitting の有無で正解率に差が出ていた. CBOW は周辺単語から単語を予測, GloVe は単語か らコーパス全体から得た共起頻度を用いて周辺単語を予測，Skip-gram は単語から周辺単語を予測す るアルゴリズムである. A-Glove の精度が A-CBOW や A-Skip よりも低いのは, GloVe が共起頻度を考慮することで表記摇れによる細かい差異を強調し たからだと考えられる. Retrofitting は周辺単語が近 いべクトルになるように fine-tuning する方法であ る. Retrofitting によって正解率が高くなったのは, Retrofitting に使用されている日本語 WordNet の中に 表記摇れのペアも存在するため，ベクトルが近づけ られたからだと考えられる。

各々のデータセットについてすべてのモデルでタ スクを正しく解けなかった単語集合は，異表記が 19 件，翻字関係が 26 件，略称が 4 件あった. [5, 五, 7],
表 2 Concept Categorization のデータの例

表 3 モデルによる評価 （太字：正解率が最も高かったもの上位 3 件）

[バス, bass, light], [コンパニー,コンパ, ラボ]など多義性があるものが含まれており, 語義曖昧性によっ て，静的なべクトルでは学習が難しいデータもある ことが考えられる.

## 5.2 実験 2 : Concept Categorization

Concept Categorization の正解率は chiVe が最も良 かった. これは，多くのドメインを持つ国語研日本語ウェブコーパスにより訓練しており，各カテゴリ の事例が十分に存在したためだと考えられる.

各モデルで学習されている単語のカテゴリの違い を見るためにカテゴリ別の正解数による分散，単語集合の種類ごとの正解率を確認した. 単語集合の種類ごとの正解率を表 4 に示す.

分散はモデル内でカテゴリごとに差があり，分類 タスクの行いやすさはカテゴリで均一でないことが わかった.これにより, データセット内で解きやす い単語集合とそうでない単語集合が含まれていたこ とが考えられる。

単語集合の種類はモデル内でタスクの行いやす さが異なることがわかった. これにより，モデルに よって分類しやすいカテゴリのペアに偏りがあるこ とがわかった.表 4 カテゴリペアによる正解率

## 6 まとめ

本研究では Sudachi 同義語辞書を用いて，分散表現の内的評価タスクである Outlier Word Detection と Concept Categorization による日本語評価データセッ トを作成した. Sudachi 同義語辞書に掲載されている 略語・略称情報, 表記摇れ情報, 分野情報によって, これまで評価されていなかった表記摇れやカテゴリ を分散表現が学習できているかを評価し、各モデル で性能差があることを示した.

今後は, 不足している他のタスクの日本語データ セットの作成も検討したい. また，本論文で作成し たデータセットは公開する予定である.

## 参考文献

[1] Amir Bakarov. A survey of word embeddings evaluation methods, 2018.

[2] 猪原敬介, 内海彰. 日本語類似度・関連度データセッ トの作成. 言語処理学会第 24 回年次大会 (NLP2018).言語処理学会, 2018.

[3] 高岡一馬, 岡部裕子, 川原典子, 坂本美保, 内田佳孝.詳細化した同義関係をもつ同義語辞書の作成. 言語処理学会第 26 回年次大会 (NLP2020). 言語処理学会, 2020.

[4] José Camacho-Collados and Roberto Navigli. Find the word that does not belong: A framework for an intrinsic evaluation of word vector representations. In Proceedings of the 1st Workshop on Evaluating Vector-Space Repre-
sentations for NLP, pp. 43-50, Berlin, Germany, August 2016. Association for Computational Linguistics.

[5] Marco Baroni, Georgiana Dinu, and Germán Kruszewski. Don't count, predict! a systematic comparison of contextcounting vs. context-predicting semantic vectors. In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 238-247, Baltimore, Maryland, June 2014. Association for Computational Linguistics.

[6] Stefan Evert Marco Baroni and Alessandro Lenci. Bridging the gap between semantic theory and computational simulations. In Proceedings of the ESSLLI Workshop on Distributional Lexical Semantic, FOLLI, Hamburg, 2008.

[7] Yuya Sakaizawa and Mamoru Komachi. Construction of a japanese word similarity dataset, 2017.

[8] Marzena Karpinska, Bofang Li, Anna Rogers, and Aleksandr Drozd. Subcharacter Information in Japanese Embeddings: When Is It Worth It? In Proceedings of the Workshop on the Relevance of Linguistic Structure in Neural Architectures for NLP, pp. 28-37, Melbourne, Australia, 2018. Association for Computational Linguistics.

[9] Tomonori Kodaira, Tomoyuki Kajiwara, and Mamoru Komachi. Controlled and balanced dataset for Japanese lexical simplification. In Proceedings of the ACL 2016 Student Research Workshop, pp. 1-7, Berlin, Germany, August 2016. Association for Computational Linguistics.

[10] 真鍋陽俊, 岡照晃, 海川祥毅, 高岡一馬, 内田佳孝, 浅原正幸. 複数粒度の分割結果に基づく日本語単語分散表現. 言語処理学会第 25 回年次大会 (NLP2019).言語処理学会, 2019.

[11] Masayuki Asahara. 'nwjc2vec: Word embedding dataset from 'ninjal web japanese corpus', . Terminology: International Journal of Theoretical and Applied Issues in Specialized Communication, Vol. 24, No. 2, pp. 7-25, 2018.

[12] 田口雄哉, 田森秀明, 人見雄太, 西鳥羽二郎, 菊田洸.同義語を考慮した日本語単語分散表現の学習. 情報処理学会研究報告, 第 2017-NL-233 巻, pp. 1-5. 情報処理学会第 233 回自然言語処理研究会, 2017.

[13] Masatoshi SUZUKI, Koji MATSUDA, Satoshi SEKINE, Naoaki OKAZAKI, and Kentaro INUI. A joint neural model for fine-grained named entity classification of wikipedia articles. IEICE Transactions on Information and Systems, Vol. E101.D, No. 1, pp. 73-81, 2018.

[14] Masayuki Asahara, Kikuo Maekawa, Mizuho Imada, Sachi Kato, and Hikari Konishi. Archiving and analysing techniques of the ultra-large-scale web-based corpus project of ninjal, japan. Alexandria, Vol. 26, No. 1-2, pp. 129-148, 2014.

## A 分野情報による正解率の差

表 3 の Concept に対してより詳細に分野情報ごとの精度を出した結果を以下の表に示す.

表 5 分野情報ごとの正解率