# PresenSum: トーク音声とスライド画像情報を入カとする プレゼンテーション要約

斉藤いつみ 西田京介吉田仙
日本電信電話株式会社 NTT 人間情報研究所
\{itsumi.saito.df, kyosuke.nishida.rx, sen.yoshida.tu\}@hco.ntt.co.jp

## 概要

プレゼンテーションのトーク音声とスライド画像集合を大力として，テキストの要約を出力する新 たなプレゼンテーション要約タスク PresenSum を提案する。学会発表の共有サイトからデータセットを 収集，分析し，本タスクが既存のテキスト要約タス クと異なる特徴があることを確認した. さらに，テ キストで事前学習された Encoder-Decoder モデルを ベースとしたプレゼンテーション要約モデルを構築 し，トーク音声の音声認識テキストとスライド画像 の文字認識テキストの両方を入力することの効果や スライド中の単語の大きさ，配置などのレイアウト 情報や画像特徴などを追加する効果を検証した。

## 1 はじめに

テキスト要約技術は言語処理における重要な技術分野の一つであり [1]，言語モデルの進展とともに 大きく発展している $[2,3,4]$. 一方，現実社会におけ る様々なニーズに対応するためには，テキスト以外 の音声や画像などの情報も入力とするマルチメディ アデータの要約も重要である $[5,6,7]$. 本研究では， プレゼンテーションのトーク音声とスライド PDF ファイルから得られた画像情報を入力とし，テキス 卜要約を生成する新たなプレゼンテーション要約タ スク PresenSum を提案する. プレゼンテーションを 対象とする要約研究は一部存在するが，トーク音声 のみを入力とするタスク $[8,9]$ や，動画中の粗い画像情報を利用するタスク [10] であり，高精細なスラ イド画像情報とトーク音声を同時に考慮したプレゼ ンテーション要約については取り組まれていない。

図 1 に PresenSum の概要を示す. 本研究では, トーク音声とスライド画像から抽出したテキスト情報に加え，スライドテキストのレイアウト（テキス トのサイズや配置情報）や画像情報を利用した要約

図 1 PresenSum タスクの概要.トーク音声，スライド画像集合を入力してテキスト要約を生成する。

生成を検証する．音声認識によって得られたトーク スクリプトは誤りも含むが，スライドテキストには キーワード的に重要な内容が記載されているため,双方を大力することで要約の質が向上することが 期待できる．また，スライド中の文字には色や大き さ，配置などで重要箇所が視覚的に理解しやすい装飾が施されているため，これらの情報も要約におい て重要な情報と考えられる．PDFなどの文書画像の 質問応答に関する研究は最近盛んに行われており $[11,12,13]$ ，文書画像中の単語の配置や画像情報の 有効性が示されているが，スライド画像を含む要約 タスクにおいて有効性は検証されていない。

本研究の貢献は，1) PresenSum のデータセット収集と分析，要約モデルを構築し，2) トークスクリプ トとスライドテキストの双方を入力することの効果検証，3) スライドテキストのレイアウト・画像情報 を入力することの効果検証を行った点である.

## 2 PresenSum データセット

## 2.1 データセットの収集

学会等のプレゼンテーション動画・資料がアーカ イブされている videolectures.NET ${ }^{1)}$ から動画, スライ

1) http://videolectures.net/
表 1 既存の要約データセットとの比較.

ド PDF データ, 要約テキストが存在しているデータ を収集した．要約テキストは，上記サイトの各プレ ゼンテーションページに記載された Description テキ ストを収集した. 動画から音声データを抽出し，ス ライド PDF はページごとに画像に変換した. デー タ数合計は 2305 件であり，動画の平均時間は 1,100 秒，スライドの平均枚数は 30.8 であった. トーク スクリプト，スライドテキストはそれぞれ Google Speech/Vision API $^{2 ）}$ を用いて抽出した. 以降，それ ぞれ ASR テキスト，OCR テキストと表記する。

## 2.2 既存の要約データセットとの比較

本タスクは入力にテキスト以外の情報も含むが， ASR や OCR によって変換したテキスト情報が代表的な入力となるため，本節ではテキスト情報のみ に着目した比較を行う. 表 1 に代表的なテキスト 要約データセットである CNN/DM [14]，XSum [15] (ニュースドメイン)， ArXiv [16]，PubMed [16]（論文ドメイン）と PresenSum の比較を示す. 既存デー タセットについてはそれぞれ train データから 10000 件をランダムサンプリングして指標を計算した.

比較指標 各データの特徴を表す指標として，入力・要約の単語数と, [17]にて提案された Coverage, Density, Compression の 3 指標の合計 5 つの指標を 用いる. Coverage は要約の単語が入力テキストに よってどの程度カバーされているか, Density は要約と入力テキストが連続して一致した部分単語列の 平均長がどの程度か, Compression は入力テキスト が要約テキストの何倍の長さかを表す.

入カ・要約単語数の特徵 PresenSum は, ASR と OCR を合計した入力単語数が平均 5,611 語, 要約単語数が平均 187 語と, ニュース要約 (CNN/DM, XSum）に比べて入出力が長い. 入出力単語数の観点では Compression 指標も含め論文要約タスクの ArXivに近いと言える.
/
}

図 2 プレゼンテーション要約モデルの構成. Encoderに OCR および ASR テキストと，OCR テキストのレイアウ 卜情報や画像情報を追加する。

入カ・要約単語の一致度の特徵 PresenSum の Coverage は CNN/DM や ArXiv, PubMed と同程度の高 い値であり，入力テキストの単語を適切に利用し ながら要約を生成することが求められるタスク と言える。また， ASR/OCR 単体のデータに比べて PresenSum データでは Coverage が大きく向上してお り，ASR/OCR テキスト双方を入力することで要約 に必要な単語が補完されることが示唆される。一方，Density について PresenSum は Arxiv 等に比べて 低い值である．これは，要約テキストに出現する単語が ArXiv 等と比べて入力テキスト中に散らばって 存在しており，連続した単語列の表現をそのまま利用する割合が少ないことを示す. ASR テキストは話 し言葉であり㔯長表現や認識誤りも含まれること， OCR テキストもキーワード的な表現が多く要約テ キストとスタイルが異なることが原因と考える。

以上の指標から，PresenSum は正解要約の単語 が入力テキスト中にどのように分布しているかに ついて従来の要約データとは異なる特徴を持ち, Compression が高くDensity が低い点で既存データに 比べて要約生成が難しいデータセットといえる.

## 3 プレゼンテーション要約モデル

図 2 にモデル構成を示す. 生成型要約を行うた め, Encoder-Decoder モデルをベースモデルとした. ASR，OCR テキスト系列をべース入力とし，レイア ウト，画像特徴量系列を追加する。

テキスト系列 ASR テキスト単語系列 $X_{a s r}$, OCR テキスト単語系列 $X_{o c r}$ を利用する。これらのテキ ストをモデルに対応したトークナイザでサブワード に分割し，OCR, ASR を表す特殊トークンを用いて $[\mathrm{OCR}]+X_{o c r}+[\mathrm{ASR}]+X_{a s r}$ のように結合する.

レイアウト系列 OCRによって検出された単語の 配置情報 $X_{l o c}$ ，単語のサイズ情報 $X_{\text {size }}$ ，各単語が属 する段落中の単語数情報 $X_{\text {num }}$ を利用する。配置情報は $x_{k}^{\mathrm{loc}}=\left[x_{k}^{\mathrm{min}} / W_{\mathrm{im}}, y_{k}^{\mathrm{min}} / H_{\mathrm{im}}, x_{k}^{\mathrm{max}} / W_{\mathrm{im}}, y_{k}^{\max } / H_{\mathrm{im}}\right]$

をそれぞれ 1000 倍した整数 [18] とする. サイズ 情報 $x_{k}^{\text {size }}$ は各単語の高さ情報 $y_{k}^{h}=y_{k}^{\text {max }}-y_{k}^{\text {min }}$ を計算し, 各プレゼン内の平均サイズ $y_{\text {ave }}^{h}$ を用いて $y_{k}^{h^{\prime}}=y_{k}^{h} / y_{\text {ave }}^{h}$ としたあと, 10 倍して整数化した値を 用いる。なお， $\left(x_{k}^{\min }, y_{k}^{\min }\right),\left(x_{k}^{\max }, y_{k}^{\max }\right)$ はトークン を囲む矩形領域の左上および右下の座標， $W_{\mathrm{im}}, H_{\mathrm{im}}$ は画像の幅及び高さを表す.

画像特徵量系列 OCR 単語の矩形領域ごとに COCO [19] で学習された Faster-RCNN [20]を用いて box head の最終層のベクトルを抽出し画像特徴量系列 $E^{\mathrm{vis}}$ として利用する。

Encoder 入カ Embedding テキスト・レイアウ ト・画像特徵量系列を embedding し, 次のように結合する.

$
e_{t}=\mathrm{LN}\left(e_{t}^{\mathrm{text}}+e_{t}^{\mathrm{add}}\right)
$

LN は Layer Normalization [21] を示す. $e_{t}^{\text {text }}$ は, OCR トークン $x_{t}^{\text {ocr }}$ あるいは ASR トークン $x_{t}^{\text {asr }}$ を基に埋め 込む. $e_{t}^{\text {add }}$ は $e_{t}^{\text {loc }}, e_{t}^{\text {size }}, e_{t}^{\text {num }}, e_{t}^{\text {vis }}$ のいずれかを表 す. $e_{k}^{\text {loc }}, e_{k}^{\text {size }}, e_{k}^{\text {num }}, e_{k}^{\text {vis }}$ は対応するレイアウトトー クン，画像特徴量を線形変換にて埋め込む. ASR トークン部分の $e_{t}^{\text {add }}$ につては零べクトルとする.

Encoder Encoder は $L$ 層の Transformer とする. Encoder 入力 Embedding 系列 $H^{0}=\left[e_{1}^{0}, \ldots, e_{T}^{0}\right]$ を受け 取り, $H^{L}=\left[e_{1}^{L}, \ldots, e_{T}^{L}\right]$ を出力して Decoder に渡す.

Decoder Decoderは $L$ 層の Transformerを用いて，通常の Text-to-Text と同様に生成したトークンを 1 単語ずつ入力し次のトークンを予測する. Decoder で は入力にテキスト以外の情報は入力しない.

## 4 評価実験

評価データ PresenSum データセットを 8:1:1 の 割合でランダムに分割し, 訓練, 開発，テストデー 夕とした. 各データ数は $1844 ， 230 ， 231$ である.

評価指標 ROUGE [22] を使用した. また，正解要約中の単語が生成テキストに含まれるか否かを $1 / 0$ として品詞ごとに集計した品詞カバー率を評価 する. 品詞付与には spacy 3 )を使用した。

実験設定 最長で 16384 トークンを扱うことが できる事前学習済の Longformer Encoder-Decoder モ デル [23]を使用し, 入力系列が上限を上回る場合 は先頭から用いた。学習済モデルの取得や学習は Transformers ${ }^{4}$ を使用した. バッチサイズ 8 , 勾配の 累積ステップ数を 2, 10 エポック学習し, 開発セッ

3) https://spacy.io/

4) https://github.com/huggingface/transformers表 2 ASRテキストと OCRテキストの双方を入力する効果. カッコ内の数字は入力トークンの最大長を表す. 本評価ではレイアウト・画像特徴量系列は使用しない。

図3 生成された要約が正解要約の単語を含む割合.

トでの損失が最小のモデルを選択した。最適化手法 は AdamW [24], 学習率は 5e-5 とした.

## 4.1 評価結果

ASR テキストと OCR テキストの双方を入力する ことは効果があるか？ 表 2 に示す通り，ASR テ キストと OCR テキストの双方を入力した場合が ASR，OCR 単体を入力する場合よりも精度が良かっ た. また, OCR 単体の方が ASR 単体よりも精度が 高かった. 2.2 節の単語の Coverage 指標では ASR 単体の方が OCR 単体よりも高い値だったが，要約生成の結果では逆になった. ASR の認識誤りや話し言葉のスタイルが精度に影響していると考える。

## 入力長を伸ばすことにより精度は向上するか？

表 2 に示す通り，ASR+OCR の場合の入力の最大長を 4096 から 8192 に長くすると精度が向上した。 PresenSum は入力系列全体に分散した情報を要約す ることが必要なデータセットと言える.

## ASR テキストと OCR テキストはどのような補完関係があるか？図 3 に出現頻度が高い 10 種の品詞ごとの品詞カバー率を ASR, OCR, ASR+OCR の 入力ごとに示した. まず，OCRを入力することで 固有名詞（PROPN）のカバー率が大きく向上した. ASR においては固有名詞の認識が難しいが，OCR では固有名詞が取得しやすいため特に補完効果 があったと考える. 最も出現頻度が高い普通名詞 （NOUN）においても ASR と OCR の双方を入力する ことでカバー率が向上した.

## OCR テキストのレイアウト・画像情報の効果はあ

るか？ 表 3 に OCR のレイアウト情報や画像情報 を追加した場合の効果について検証した結果を示 す. OCR のサイズ $\left(e^{\text {size }}\right)$, 段落中の単語数 $\left(e^{\text {num }}\right)$ を追加するとべースラインよりも精度がわずかに 向上した. 段落中の単語数は単語のまとまりを表 し，本文中のテキストであれば多くなり，図表中の 語であれば 1 語で独立しているケースが多いなど， OCR テキストがどのような領域に属しているかを 間接的に表す.このような OCR テキストの意味的 な領域の理解をさらに深めることが重要と考える。一方，配置情報 $\left(e^{\text {loc }}\right)$ ，画像情報（ $e^{\text {vis }}$ ) について は精度が向上しなかった. ベースとした Longformer Encoder-Decoder が大量の言語データで学習されて いる一方，今回の学習データが少量のため追加特徴量への適応が不十分であったと考える.

出力例・エラー分析 図 4 に ASR と OCR 双方を モデルに入力した場合の出力例を示す. 正解要約, スライド画像は下記 $\left.{ }^{5}\right) よ り$ 抜粋した. 特筆すべき例 として, ASR/OCR 単体のみを入力した場合では生成されなかった語が要約に含まれた。 スライドと トークの両方で言及されることで，より重要な語と して認識された結果と考える。一方で，いずれかの 入力には記載があるものの ASR と OCR の双方を入力しても生成されない内容も存在した.

PresenSum の課題と展望 本研究で得られた知見 により，音声・画像から得られるテキスト情報を用 いた要約について有望な結果が得られたものの，レ イアウト・画像情報の利用については，fine-tune 時 に特徴量を追加するだけでは十分な効果が得られ ないことがわかった. スライドの意味領域（タイト ル・図表など）の構造的な理解や，事前学習などに よる追加特徴量の理解の強化などの検討が必要であ る.また，音声認識誤りの影響の軽減や音声の重要箇所特定などのため，トーク音声のテキスト以外の 特徴量の効果についても検証の余地がある [25].

## 5 関連研究

プレゼンテーションに関連する要約研究として TalkSum [8], VT-SSum [9], AVIATE [10] などがある. $[8,9]$ はトーク音声の ASR テキストのみを入力し,抽出型の要約タスクを行っている. [9] は抽出型要約の正解データ作成にスライド画像の OCR を利用 した. AVIATE [10] はプレゼンテーションの動画か ら ASR や OCR などを行い，生成型のテキスト要約 を行っている。しかし，OCR については動画中の 粗い画像情報から抽出した上限 500 単語という部分的な利用にとどまっており，高精細なスライド画像 の OCR テキスト全体やテキストのレイアウト等の 詳細情報を利用を想定する我々の設定とは異なる。

## 6 おわりに

プレゼンテーションのトーク音声とスライド画像情報を用いて要約を行う PresenSum タスク提案し， データセットの収集，分析及びモデル評価を行っ た. PresenSum が従来の要約タスクと異なる特徴を もつこと，トーク音声とスライド画像のテキストが 補完関係にあることを示し，要約モデルの入力と して双方を用いることの有効性を確認した。また， OCR テキストのレイアウト・画像情報の効果につい ても初めて検証を行った. PresenSum は言語・音声・画像の融合的な理解が必要となるタスクであり，ビ デオ会議の要約など幅広い分野に応用できる。

5) https://videolectures.net/icml09_frank_mac/

## 参考文献

[1] Hui Lin and Vincent Ng. Abstractive summarization: A survey of the state of the art. In AAAI, pp. 9815-9822, 2019.

[2] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. J. Mach. Learn. Res., Vol. 21, pp. 140:1-140:67, 2020.

[3] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. In ACL, pp. 7871-7880, 2020

[4] Jingqing Zhang, Yao Zhao, Mohammad Saleh, and Peter J. Liu. PEGASUS: pre-training with extracted gap-sentences for abstractive summarization. In ICML, 2020.

[5] Anubhav Jangra, Adam Jatowt, Sriparna Saha, and Mohammad Hasanuzzaman. A survey on multi-modal summarization. arXiv preprint arXiv:2109.05199, 2021.

[6] Ramon Sanabria, Ozan Caglayan, Shruti Palaskar, Desmond Elliott, Loïc Barrault, Lucia Specia, and Florian Metze. How2: A large-scale dataset for multimodal language understanding. In NeurIPS@ViGIL, 2018.

[7] Zhou Y. Zhang J. Li H. Zong C. Li C. Zhu, J. Multimodal summarization with guidance of multimodal reference. In AAAI, pp. 9749-9756, 2020.

[8] Guy Lev, Michal Shmueli-Scheuer, Jonathan Herzig, Achiya Jerbi, and David Konopnicki. Talksumm: A dataset and scalable annotation method for scientific paper summarization based on conference talks. In ACL, pp. 21252131, 2019.

[9] Tengchao Lv, Lei Cui, Momcilo Vasilijevic, and Furu Wei. Vt-ssum: A benchmark dataset for video transcript segmentation and summarization. arXiv preprint arXiv:2106.05606, 2021.

[10] Yash Kumar Atri, Shraman Pramanick, Vikram Goyal, and Tanmoy Chakraborty. See, hear, read: Leveraging multimodality with guided attention for abstractive text summarization. Knowl. Based Syst., Vol. 227, , 2021.

[11] Minesh Mathew, Dimosthenis Karatzas, and CV Jawahar. Docvqa: A dataset for vqa on document images. In WACV, pp. 2200-2209, 2021.

[12] Ryota Tanaka, Kyosuke Nishida, and Sen Yoshida. Visualmrc: Machine reading comprehension on document images. In AAAI, pp. 13878-13888, 2021.

[13] Minesh Mathew, Viraj Bagal, Rubèn Tito, Dimosthenis Karatzas, Ernest Valveny, and CV Jawahar. Infographicvqa. In WACV, pp. 1697-1706, 2022.

[14] Karl Moritz Hermann, Tomas Kocisky, Edward Grefenstette, Lasse Espeholt, Will Kay, Mustafa Suleyman, and Phil Blunsom. Teaching machines to read and comprehend. In NIPS, pp. 1693-1701, 2015.

[15] Shashi Narayan, Shay B. Cohen, and Mirella Lapata. Don't give me the details, just the summary! topic-aware convolutional neural networks for extreme summarization. In
EMNLP, pp. 1797-1807, 2018

[16] Arman Cohan, Franck Dernoncourt, Doo Soon Kim, Trung Bui, Seokhwan Kim, Walter Chang, and Nazli Goharian. A discourse-aware attention model for abstractive summarization of long documents. In NAACL, 2018.

[17] Max Grusky, Mor Naaman, and Yoav Artzi. Newsroom: A dataset of 1.3 million summaries with diverse extractive strategies. In ACL, pp. 708-719, 2018.

[18] Yang Xu, Yiheng Xu, Tengchao Lv, Lei Cui, Furu Wei, Guoxin Wang, Yijuan Lu, Dinei A. F. Florêncio, Cha Zhang, Wanxiang Che, Min Zhang, and Lidong Zhou. Layoutlmv2: Multi-modal pre-training for visually-rich document understanding. In ACL/IJCNLP, pp. 2579-2591, 2021.

[19] TY Lin, M Maire, S Belongie, J Hays, P Perona, D Ramanan, P Dollar, and CL Zitnick. Microsoft coco: Common objects in context. In ECCV, pp. 740-755, 2014.

[20] Ren, Shaoqing, He, Kaiming, Girshicka, Ross, Sun, and Jian. Faster r-cnn: Towards real-time object detection with region proposal networks. In NIPS, pp. 91-99, 2015.

[21] Lei Jimmy Ba, Ryan Kiros, and Geoffrey E. Hinton. Layer normalization. arXiv preprint arXiv:1607.06450, 2016.

[22] Chin-Yew Lin. Rouge: A package for automatic evaluation of summaries. In Text summarization branches out@ACL, pp. 74-81, 2004.

[23] Iz Beltagy, Matthew E. Peters, and Arman Cohan. Longformer: The long-document transformer. arXiv preprint arXiv:2004.05150, 2020.

[24] Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization. In ICLR, 2019.

[25] Alexei Baevski, Yuhao Zhou, Abdelrahman Mohamed, and Michael Auli. wav2vec 2.0: A framework for selfsupervised learning of speech representations. In NeurIPS, 2020 .

## A 補足資料

ASR 単体，OCR 単体，ASR と OCR の双方を入力した場合の要約出力例を図 5 に示す（図 4 は ASR+OCR と参照要約の抜粋である)，正解要約テキストとスライド画像は下記6) より抜粋した. ASR 単体は意味が不明瞭な箇所があるが，ASR と OCR を合わせて入力することで改善がみられる.

## OCR only

We present a multi- Assignment Clustering approach for Boolean data. Our approach is based on a probabilistic representation of cluster centroids, which are characterized by disjunctions of Booleanemissions. We compare the accuracy of different methods at different noise levels, and compare them with other multi-assignment methods. We show that our approach outperforms the state-ofthe-art methods in terms of accuracy. We also compare the performance of different multi- assignment methods with other methods. Our results show that the multi-Assignments approach is more accurate than the state of the art methods, and that it is more robust to noise than the other approaches. Furthermore, our approach is able to estimate cluster centroid mismatch at different levels of noise.

## ASR only

In this paper, we present a probabilistic model for clustering Boolean data where similar objects are allowed to belong to more than one cluster at the same time. The model is based on the notion that the objects and the permissions are independent from each other. We show that the model can be used to infer the permissions of a given object by inferring the permissions from its input data. We demonstrate that the proposed model outperforms the state-of-the-art clustering methods in terms of accuracy and noise. We also demonstrate the effectiveness of our model on a real-world dataset from a Swiss bank. Our experiments on synthetic data demonstrate that our proposed model can outperform the state of the art clustering techniques. We further demonstrate the applicability of our method on real world datasets.

## OCR + ASR

In this paper, we present multi- Assignment Clustering for Boolean Data, a method of pooling data where similar objects are allowed to belong to more than one cluster at the same time. We show that multi assignment clustering can be applied to a variety of applications, such as role mining and role-based access control. We demonstrate the effectiveness of our method on real-world datasets and compare it to several combinatorial methods on synthetic data. We also show that our method outperforms the state-of-the-art methods in terms of accuracy and noise reduction, and that it can also be used to detect wrong or erroneous assignments of objects in real world datasets. The results of our experiments on synthetic datasets show that the method is able to outperform the state of the art.

## Reference

Conventional clustering methods typically assume that each data item belongs to a single cluster. This assumption does not hold in general. In order to overcome this limitation, we propose a generative method for clustering vectorial data, where each object can be assigned to multiple clusters. Using a deterministic annealing scheme, our method decomposes the observed data into the contributions of individual clusters and infers their parameters. Experiments on synthetic Boolean data show that our method achieves higher accuracy in the source parameter estimation and superior cluster stability compared to state-of-the-art approaches. We also apply our method to an important problem in computer security known as role mining. Experiments on real-world access control data show performance gains in generalization to new employees against other multi-assignment methods. In challenging situations with high noise levels, our approach maintains its good performance, while alternative state-of-the-art techniques lack robustness.

図 5 ASR 単体, OCR 単体, ASR と OCR の双方を入力した場合の要約出力例. 赤文字が ASR や OCR 単体入力において も生成された内容. 緑文字が ASR と OCR を両方入れた時のみ生成された内容. 青文字はすべての要約で生成されな かった内容.

6) https://videolectures.net/icmlo9_frank_mac/


# 言い誤りを含む日本語二重目的語文の理解過程

山元海渡 ${ }^{1}$ 木山幸子 ${ }^{2}$ 汪敏 ${ }^{2}$ 井出彩音 ${ }^{1}$ 寺尾康 ${ }^{3}$ 小泉政利 ${ }^{2}$
${ }^{1}$ 東北大学文学部言語学研究室 ${ }^{2}$ 東北大学大学院文学研究科言語学研究室
3 静岡県立大学国際関係学部国際言語文化学科
kaito.yamamoto.p8@dc.tohoku.ac.jp

## 概要

本研究では, 助詞交換型の言い誤りを含む日本語二重目的語文の理解過程を検討する。旧情報位置と 語順, さらに統語構造と出来事の順序の一致性が助詞レベルにおける交換型の言い誤り理解にどのよう な影響を与えるかについて, 文理解プロセスを意味正誤判断課題の正答率と反応時間を通じて検討した. その結果, 3 つの要因がそれぞれ正誤の文理解やそ の再現の仕方に影響することを例証した。

## 1 はじめに

言い誤りは, 話者が意図した発話と, 文産出の過程で何らかの誤作動のあった結果の発話の 2 つを同時に手に入れられるので，文産出の仕組みを知る上 で重要な手がかりを持つ [1]. 言い誤りは「故意に ではない, 発話の意図からの逸脱」と定義され, 日本語の言い誤りの研究では, 英語とは逆に内容語は そのままで機能語のみが動いてしまう言い誤りが多 い，限られた助詞同士を誤りやすく，特に「が，を， に，の」のグループ内での言い誤りが多いなどの,日本語に特徵的な傾向が見られている [1][2]. こう した言い誤りについて, 文産出研究に比べ文理解の 観点から検討した研究は, [3] を除いてほぼ皆無で あるが，なぜこうした誤りを起こしてしまうかとい う心理的過程を解明するために, 文理解の実験的検討が求められる. そこで本研究では, 先行発話提示後に言い誤りを含んだ意思表明文を提示する意味的整合性判断課題によって, 助詞交換型の言い誤り

(1)を含む日本語二重目的語文の処理を検討した.

(1) 先行発話: 応接間にテーブルがあるよ。返答:

a. テーブルにコーヒーを置こう。（正文）

b. コーヒーにテーブルを置こう。（誤文）

二重目的語構文の基本語順については多くの研究 がなされているが, 未だに議論の余地がある. 『現代日本語書き言葉均衡コーパス』から二重目的語構文の基本語順を予測する統計モデルを議論した研究 [4] では，旧情報が新情報に先行する文が好まれ る現象 (“given-new ordering”) が, 直接目的語と 間接目的語間の語順に関して確認された. また, 熟語や複合語を広辞苑から抽出し, 二格を目的語にと る動詞とヨ格を目的語に取る動詞の数を比較し基本語順を捉えようとした研究 [5] では, 日本語の二重目的語構文の基本語順は，「間接目的語-直接目的語（「にを文」）」であることが示唆された.し かし, 抽出した熟語や複合語は二格とヨ格のどちら を目的語にとるかは動詞の特性によって異なること から, 二重目的語構文の基本語順は動詞の特性を越 えた 一貫した傾向を見出しにくい可能性が考えら れる.

これらを踏まえた先行研究 [3] では, 日本語の二重目的語構文において，旧情報を先に提示するか否 かと, 文の語順が基本語順かかき混せ語順かという 2 つ要因が言い誤りの検出のしやすさに影響する という仮説から，言い誤りを引き出す問いかけに応答する対話の自己ぺース読みによる意味的整合性判断課題を行った. その結果, 読み時間では正文誤文共にかき混ぜ語順が基本語順に比べて有意に長く,正答率では正文でかき混ぜ語順が基本語順に比べて 有意に正答率が低く，旧情報が後でかき混ぜ語順の 時に有意に正答率が低い結果が得られた。「間接目的語-直接目的語」の語順, すなわち直接目的語が 述語に近接するという選好性が再認された。

こうした二重目的語構文の語順と処理負荷の研究 は, 日本語以外の言語でも頻繁に研究されている.失語症者と健常者を対象に, 統語的構造と現実の出来事の順序が一致している文の方が理解しやすいと いう仮説 (“Isomorphic Mapping Theory") (2) を提唱した研究 [6] では, 英語の二重目的語構文を用い たオフラインの意味的整合性判断課題を通して仮説 を検証した. その結果, 失語症者は一致文に比べて 不一致文の正答率が有意に低く, 失語症者と健常者

の間で一致文の正答率では有意差が見られなかった ものの, 不一致文の正答率で有意差が見られたとい う結果が得られ，仮説を支持した.日本語でも統語的構造と出来事の順序が一致している文のほうが処理負荷が低く，理解しやすいことが示唆される.

(2) Isomorphic Mapping Theory $の$ 例

She put the crayon on the pencil. (Isomorphic)

$\mathrm{X}$ acts on $\mathrm{Y}$ placing it on $\mathrm{Z} \quad$ event

She tapped the crayon with the pencil. (Nonisomorphic)

$X$ uses $Y$ to tap $Z$ event

以上に基づき, (3), (4) のような二重目的語構文に関 して3つの仮説を立てた.

(3)「にを文」

先行発話: 応接間にテーブル/コーヒーがあるよ。返答:

a. テーブルにコーヒーを置こう。（正文）

b. コーヒーをテーブルに置こう。（正文）

c. テーブルをコーヒーに置こう。（誤文）

d. コーヒーにテーブルを置こう。（誤文）

(4) 「でを文」

先行発話: 居間にフォークハパンケーキがあるよ。返答:

a. フォークでパンケーキを食べよう。（正文）

b. パンケーキをフォークで食べよう。（正文）

c. フォークをパンケーキで食べよう。（誤文）

d. パンケーキでフォークを食べよう。（誤文）

仮説 1 二重目的語構文において, 先行研究で旧情報が先にある文のほうが，後にある文に比べて意味的整合性を判断しやすい．したがって，「テーブ ル」 が旧情報であれば (3a, c/4a, c) が，「コーヒ 一」 が旧情報であれば (3b, d/4b, d) が，もう一方 に比べ整合性判断の正答率が高く反応時間が短い.仮説 2 二重目的語構文の基本語順である「間接目的語-直接目的語」の語順, 寸なわち直接目的語が 述語に近接する語順のほうが，そうでないかき混ぜ 語順に比べて意味的整合性を判断しやすい. したが って，「にを文」(3a, d) や「でを文」(4a, d) のほう が，かきまぜ語順である「をに文」(3b, c) や「をで 文」(4b, c) に比べ意味的整合性判断の正答率が高 く反応時間が短い.

仮説 3 二重目的語構文において, 統語構造と現実 の出来事の順番が一致する文は, 不一致文より処理負荷が低い。「にを文」では直接目的語が先に来る
かきまぜ語順文が一致文であり，「でを文」では直接目的語が後に来る基本語順文が一致文であること に照らせば, (3b, d/4a, c) のほうが, (3a, c/4b, d) に比 べ意味整合性判断の正答率が高く反応時間が短い.

## 2 方法

## 2.1 実験参加者

日本語を母語とする日常生活に支障のない東北大学学部生および大学院生 40 人（女性 19 人, $20.42 \pm 2.26$ 歳） が実験に参加した。

## 2.2 刺激文

二重目的語文 (ターゲット文) と目的語を含んだ 先行発話文 96 セット用意した. そのうち 48 セット は二格名詞， ヨ格名詞，動詞を含む文 (にを文) で，全てニ格名詞の意味役割が [着点], Э格名詞の意味役割が [対象] の文とした. 残り 48 セットは, デ 格名詞とヨ格名詞を含む文 (でを文) であり, 全て デ格名詞の意味役割が [道具], Э格名詞の意味役割が [対象] の文とした. 二格名詞，デ格名詞， 格名詞は全て無生物で，身体部分や抽象概念ではない ものを使用した。ターゲット文は，旧情報の位置 (前/後) と語順 (基本語順/かき混ぜ語順) を操作し て 4 パターン用意し，さらにその 2 つの名詞句を入 れ替えることで誤文を用意した. 先行発話文は，夕一ゲット文に含まれる名詞を利用して作成した (付録)．いずれも。すべての文の間で, 同じ名詞と動詞 を 2 回以上使わないようにした。二重目的語構文の 2 つの名詞句の間で文字数, モーラ数, 親密度 [7] の平均に有意な差がないことを確認した。これらの セット内のパターンは参加者間でカウンターバラン スをとり，刺激文の提示順は参加者ごとにランダム に呈示した.

## 2.3 手続き

参加者は，コンピュータのモニタに $1500 \mathrm{~ms}$ 間提示される先行発話と,ターゲット文を 1 文ごとに読 み，ターゲット文の画面で意味的に整合しているか どうかの判断を，ボタン押しによって行った (図1).本試行の前に練習を行った。

課題終了後に, Google form によるフォローアップ 調查を実施した. 各参加者が提示されたパターンに よる誤りを含む 48 文において，この文の話し手が 本来意図していた発話はどのようなものだと考えら

れるかを作文するよう求めた。

$2000 \mathrm{~ms}$

$1500 \mathrm{~ms}$

時間

図 1 意味的整合性判断課題試行例

## 2.4 分析

ターゲット文整合性判断タスクの反応時間, 回答 の正答率を従属変数, 旧情報の位置, 語順を独立変数として, 線形混合効果 (linear-mixed-effect: LME) モデルによる分析を行った. ランダム要因として，参加者と刺激文を含めた。

## 3 結果

仮説 1 の旧情報の位置に応じた意味正誤判断の正答率（図 2）と反応時間（図 3）について，「にを 文」の正文では，旧情報の位置が前にある文のほう が後ろにある文より正答率が有意に高く $[\beta=0.048$, $t(850.917)=1.881, p=0.060]$, 反応時間が短かった $[\beta=0.148, t(753.641)=1.891, p=0.059]$. 誤文に関し ては，旧情報の位置の影響は正答率においても $[\beta=$ $0.000, t(850.917)=0.011, p=0.991]$ 反応時間 $[\beta=$ $0.061, t(185.443)=0.765, p=0.444]$ においても有意 ではなかった。「でを文」では, 正文の正答率（図 4）は旧情報の位置が前にあるほうが有意に高かっ たが $[\beta=0.052, t(851.722)=2.338, p=0.020]$, 正文 の反応時間（図 5） $[\beta=0.030, t(850.002)=0.339, p=$ $0.735]$, 誤文の正答率 $[\beta=0.017, t(852.318)=0.577$, $p=0.564]$ と反応時間 $[\beta=0.045, t(897.000)=0.526$, $p=0.599]$ においては旧情報の位置の有意な影響は 認められなかった。

仮説 2 の語順の要因の影響は，「にを文」の正文 では正答率 $[\beta=0.040, t(851.138)=1.565, p=0.118]$ においても反応時間 $[\beta=0.027, t(761.725)=0.342, p$ $=0.733]$ においても有意ではなかった. 誤文でも同様に, 正答率 $[\beta=0.042, t(851.138)=1.320, p=$ $0.187]$ でも反応時間 $[\beta=0.100, t(185.443)=1.269$, $p=0.205]$ でも有意ではなかった. 一方「でを文」 では, 正文の正答率は基本語順文 (「でを」) がか き混ぜ語順文 (「をで」) より有意に高かった $[\beta=$ $0.056, t(851.931)=2.504, p=0.013]$. その他, 正文の 反応時間 $[\beta=0.103, t(850.017)=1.151, p=0.250]$,誤文の正答率 $[\beta=0.022, t(852.495)=0.743, p=$ $0.457]$ と反応時間 $[\beta=0.133, t(897.000)=1.557, p=$ 0.120] では有意ではなかった.

また「でを文」の正文の意味判断の正答率 (図 4) と反応時間 (図 5) において, 旧情報位置と語順の 交互作用が有意だった. 旧情報が後にあるかき混ぜ 文は, 他の条件に比べて有意に正答率が低く $[\beta=$ $0.073, t(850.722)=2.318, p=0.021]$, 反応時間が長 かった $[\beta=0.224, t(850.002)=1.778, p=0.076]$.

仮説 3 の統語構造と現実の出来事の一致は, 仮説 2 と同様の比較で検証される. 上述した「でを」文 の正文の正答率の語順の主効果が有意だったという 結果は, 構造と出来事の一致文 (正順に相当) のほ うが不一致文 (かきまぜ語順に相当) より有意に正答率が高いことを示す.

フォローアップ調查の結果では, 誤文の訂正方略 の選好性に関して，「にを」文と「でを」文の両夕 イプにおいて助詞の順序と訂正方法の連関が有意で あった (「にを」文: $\chi^{2}(1)=49.40, p<0.001$ ，「で を」文: $\left.\chi^{2}(1)=21.85, p<0.001\right)$. 誤文の語順が基本語順 (にを，でを) である場合は名詞を入れ替える ことで基本語順を維持するように訂正される傾向，誤文の語順がかき混ぜ語順 (「をに/をで」) である 場合は助詞を入れ替えることで基本語順（「にを/ でを」) になるように訂正される傾向が示された.

## 4 考察

本研究では，言い誤りを含む文の理解過程に着目 し, 旧情報位置と語順, さらに統語構造と現実の出来事の一致性が助詞レベルにおける交換型の言い誤 り理解にどのような影響を与えるかについて, 先行研究 [3] に比べ時間的な制約を加えたパラダイム によって文理解プロセスにより注目して検討した.

二重目的語構文を用いて意味的整合性判断課題を 実施した結果, 正文の正答率と反応時間における旧情報位置の有意傾向が見られ, 新情報が旧情報に先行する文の方が，旧情報が新情報に先行する

「given-new ordering 文」に比べて反応時間が長く 正答率が低かった. 新情報が旧情報に先行する文の 処理負荷の高さが明らかになり，仮説 1 を支持した. これは『現代日本語書き言葉均衡コーパス』を用 いた研究 [4] とも整合する.

仮説 2 の語順の影響について, 先行研究 [3] で見 られた「にを文」の反応時間のオンライン処理上で の有意な語順の影響は, 本研究では見られなかった.

ただし，フォローアップ調査で参加者が誤文の訂正方略の結果としては, 誤文のパターンによらず基本語順で産出されており，直接目的語を動詞の直前に 置くことを好む傾向が再現された。

オンライン実験において先行研究 [3] の結果が 再現されなかったことは, 本研究とのパラダイムの 違いを反映していると考えられる. 本研究では先行発話文を提示した後, ターゲット文が提示された時点でできるだけ早く正確に意味的整合性判断をする ように求めた. それに対して先行研究では, 対話性 を含んだ問いかけの先行発話文と応答のターゲット 文の双方が自己ペース読みであり，ターゲット文を 読んでキーを押した後に，新たな判断画面が出てか ら整合性判断をするように求められた。

こうしたパラダイムの違いがもたらした影響とし て, 2 つの可能性がある. 第一に, 時間的な制約の有無による文処理プロセスの違いである. 先行研究で は, 文のターゲット文の内容を思い出しながら意味的整合性を判断するという，記憶再認の過程が含ま れていた. 語順は, 記憶再認により強く影響するこ とが示唆される. それに対して本研究では, そうし た再認のプロセスは介在しない, より純粋な瞬時の 文処理過程を反映していると考えられる. そうした 瞬時の文処理過程では, 語順より情報構造の影響が より強くなるという可能性が考えられる. オフライ ンで行ったフォローアップ調査の誤文の訂正方略に おいてもかき混ぜ語順より基本語順が強く好まれて いた結果も，この可能性を支持する.

第二の可能性は, 対話性の有無である. 先行研究 では問いかけの形で先行発話文と応答文が提示され た際，それぞれの文の呈示位置がスライドの上下に 配置されたことで, 両者の話し手が異なることがよ り視覚的に強調された. それに対して本研究では, どちらの文もスライドの中央に配置した. この対話性の違いが, 語順と情報構造の文処理負荷に与える 影響に関係しているかもしれない。

また, 仮説 2 の語順と仮説 3 の構造-出来事一致 の要因は，ターゲット文の正文に対して異なる予測 を与えた. すなわち「でを」文においては，語順と 構造-出来事一致の両要因は同様に「をで」文が処理負荷を高くする条件（かきまぜ、不一致）であつ た. 一方「にを」文では, 語順の観点からはかき混 ぜの「をに」文が処理負荷が高くなるが, 構造-出来事一致の観点からは，「をに」文は逆に構造-出来事の順序が一致するため文処理を促進すると予測
された. その結果, 語順と構造-出来事一致の両要因 の予測が一致する「でを」文の正文では, 基本語順 で一致文である「でを」文が，かき混ぜ語順で不一致文である「をで」文より正答率が高かった（反応時間の差は有意ではなかった）. しかし両要因の予測が異なる「にを」文では, 正文誤文の正答率と反応時間のすべてで有意な効果が見られなかった. か き混ぜ語順の効果と構造-出来事の順序の一致の効果が互いに打ち消し合った可能性も考えられる.

さらに，「でを文」の正文の正答率と反応時間に 見られた交互作用は, 旧情報が後にくる場合, かき 混ぜ語順で不一致文となる「をで」文 (4b) の処理負荷がとりわけ高くなることを示唆している.これ は, 先行発話の (4)「フォーク」のように, 道具を 含むデ格名詞が旧情報となる場合である. 同じ (4b) のかき混ぜ語順の不一致文でも，「パンケーキ」の ような対象を示すヲ格名詞が旧情報となっている場合には, 処理負荷は高くならなかった.「にを」文 にはこの交互作用は見られなかった. このような結果は，「にを」文に比べ「でを」文では，2つの目的語間で項の必須性に差があることと関係するかもし れない.「でを」文の道具のデ格は, 対象のヲ格よ り項の必須性が相対的に低いが，「にを」文の着点 の二格は, 対象のヲ格とともに文を成す重要な項で ある [8]. 必須性の低い項は, 基本語順文で構造-出来事の順序が一致する形で表現されることが読み手 にとくに強く期待され, それを逸脱した非典型的な 文に接すると混乱が生じるのだと解釈される.

以上のように，本研究は，言い誤りを含む二重目的語文の理解過程において, 旧情報の位置, 語順,統語構造と現実の出来事の順序の一致の 3 つの要因 がそれぞれ影響することを示した。

## 参考文献

1. 寺尾康 (1992)「第 6 章 文産出」 石崎俊・波多野誼余夫（編）『認知科学ハンドブック』 371, 379-380. 東京 : 共同出版.

2. 寺尾康 (2002) 『言い間違いはどうして起こ

る?』東京 : 岩波書店.

3. 井出彩音・寺尾康・木山幸子 (2021) 「言い誤り の理解過程: 日本語二重目的語構文の意味的整合性判断課題による検討」『日本言語処理学会第 27 回年次大会発表論文集』 729-733.

4. 浅原正幸・南部智史 - 佐野真一郎 (2018) 「日本語の二重目的語構文の基本語順について」『言語資源活用ワークショップ発表論文集』 3: 280-287.

5. 遠藤喜雄 (2014) 『日本語カートグラフィー序説』 東京 : ひつじ書房, 90-110.

6. O'grady, W., Lee, M. (2005) A mapping theory of agrammatic comprehension deficits. Brain and Language 92: 91-100.
7. 天野成昭・小林哲生 (2008) 『基本語データベー ス 語義別単語親密度』東京: 学習研究社.

8. 丸山直子（2016）「格助詞『に』と『で』の深層格 : 出現状況把握に向けての問題点の整 理」

『日本文學』112: 175-194. 東京女子大学
刺激文の作成例 (「にを」文)

刺激文の作成例 (「でを」文)

図 2 「にを」文 意味正誤判断平均正答率 (エラーバー: 標準誤差)

図 3「にを」文 意味正誤判断平均反応時間 (エラーバー: 標準誤差)

図4「でを」文 意味正誤判断平均正答率 (エラーバー: 標準誤差)

図 5 「でを」文 意味正誤判断平均反応時間 (エラーバー: 標準誤差)


# ニューラル機械翻訳のための日中対訳コーパスの構築

張津一 1,2 田野 3 韓梅 4 毛剣楠 2 松本忠博 2
1 潘陽理工大学（中国） 2 岐阜大学
3 株洲中車時代電気株式会社（中国） 4 湖南工業大学（中国）
zhangjinyi@sylu.edu.cn tianye@csrzic.com
hanmei@hut.edu.cn z4525087@edu.gifu-u.ac.jp tad@gifu-u.ac.jp

## 概要

現在，ニューラル機械翻訳の学習データとして利用可能な，ある程度の規模を持つ日本語-中国語対訳コーパスは少ない. とくに日常会話などの話し言葉を主な対象としたものは限られている. 本研究で は Web 上に存在する TV 番組などの字幕データを クローリングにより収集して，一定の規模の日中対訳コーパスの構築を試みた。このコーパス WCC-JC (Web Crawled Corpus - Japanese and Chinese) で学習 した翻訳モデルを使って翻訳した結果を人手で評価 し，品質・効果を確認した。

## 1 はじめに

機械翻訳は人工知能の重要な分野であり，原言語 を出力言語に翻訳する方法を研究することは，言語 の壁の問題を解決することができる最も効果的な手段の一つである. 長年の開発を経て，ニューラル機械翻訳（Neural Machine Translation，NMT）は様々な 言語ペアで従来のフレームワークよりも優れた翻訳結果を出しており，大きな可能性を秘めた新しい機械翻訳モデルとなっている．NMT では，学習デー タの量が翻訳結果の質を大きく左右するものの，大規模な翻訳モデルを学習することができる.

機械翻訳の分野では，日本語と中国語という $2 \supset$ の言語が複雑に絡み合っているため，日中の機械翻訳は難しい，高品質な翻訳を得るためには，日中翻訳コーパスのデータ量が大量に必要となる。しか し，英語を含む言語対や欧州の言語間の言語対など が数千万から数億文対である. そして，様々な分野 の文が含まれる。これに対し，公開された日中対訳 コーパスは多くない。例えば，JPO 日中対訳コーパ スは 1.3 億件（約 26GB）および 0.1 億件（約 $1.4 \mathrm{~GB}$ ） があるが，データの全てを用いた研究成果の提出が必要である ${ }^{11}$.このコーパスの内容の種類は特許の みである．ASPEC-JC の収録件数は，約 67 万文であ る [1]. このコーパスの内容の種類は科学論文の概要のみである．上記の 2 つは，公開されているコー パスの中でも非常に規模の大きなコーパスである. だが，日常的な文の翻訳に適した日中対訳コーパス は，まだそれほど多くない。

現在の研究のほとんどは，書き言葉のカテゴリー に入る文の翻訳を対象にしている。一方，話し言葉 の場合，省略などにより書き言葉よりも曖昧さが多 くなり，文脈を把握する必要性も高まる。文の長さ も書き言葉より短いのが普通である. 話し言葉で も，俗語や方言があるものは，従来の翻訳者では見落とされることがある．また，音声の入力から翻訳結果の出力までを行うマルチモーダル翻訳が近い将来のトレンドになると言われるが，その実現には話 し言葉の翻訳に適した対訳コーパスが必要である.

本研究では，Webをクロールして作成した日中対訳コーパスとその評価について述べる。作成した コーパス WCC-JC は，インターネット上からクロー ルされた映画と TV 番組の字幕データの日中両言語 の対応をとることで構築されている. 既存の日中対訳コーパスではあまり扱われてこなかった話し言葉 の対訳も対象している。

## 2 関連研究

現在，公開されている日中対訳翻訳コーパスは非常に少なく，JPO 日中対訳コーパス，ASPEC-JC[1] と TED Talks ${ }^{2)}$ 3) に含まれる日中対訳コーパスなどが あるのみである.

Lavecchia らは，映画の字幕ファイルから対訳コー パスを自動的に構築する方法を提案し，それを用い

1) https://alaginrc.nict.go.jp/jpo-outline.html

2) https://ted.com

3) https://github.com/ajinkyakulkarni14/ TED-Multilingual-Parallel-Corpus

て対訳辞書も作成している [2].

Chu らは, Wikipedia から 126k 以上の日中対訳 コーパスを構築するための対訳文抽出システムを提案した [3].

Pryzant らは，インターネット上からクロールされ た映画と TV 番組の字幕データを日英対応させるこ とで構築された. JESC は，自由に利用できる日英対訳コーパスの中で最大規模（約 280 万文）のコー パスである [4].

OpenSubtitles2018 は映画字幕データの多言語対訳 コーパスである [5]. 日英対訳コーパスはおよそ 2,000 件の映画からなる 200 万文の対訳コーパスで あり，機械翻訳の分野や，映画字幕という特徴を活 かしたタスクにおける利用が検討される。

森下らは，大規模 Web ベース 1000 万文対以上の 日英対訳コーパス JParaCrawl を紹介した。無料で一般に公開した [6].

Guokun らはインターネットから言語資源をク ロールしてコーパスを自動的に構築したが，データ のフィルタリングがうまくいっていなかった [7].

中澤らは，「ビジネス」における「対話」を対訳 コーパスのドメインとして構築した BSDコーパス および WAT2020での BSD 翻訳タスクの結果の紹介 を行い，翻訳結果の分析から対話翻訳の課題につい て議論した [8].

また，日中翻訳では， Zhang らが対訳コーパスの 資源不足を考慮し, 日中翻訳の品質を向上させる コーパス拡張アプローチを提案した [9].

以上の関連研究により，コーパスは翻訳精度の向上と言語処理の他の分野に重要な役割を果たす.こ のように，ニューラル機械翻訳のためのオープンな 日中対訳コーパスの構築は資源不足問題に大きな意味を持っている. 本研究では, 日中機械翻訳を発展 させ，ある程度の規模を持つ日中対訳コーパスの作成を目標とする。

## 3 日中対訳コーパスの構築

## 3.1 対訳文抽出

多くの日中対訳文を含む Web サイトを選び，映画・ドラマと TV 番組の字幕ファイルを含む Web サ イトから Scrapy)を利用し, 字幕ファイルを取得す る. 字幕ファイルの中に, 俗語, 話し言葉, 説明文,物語解説の対訳がある. これらは既存のコーパスで

はあまり扱われてこなかった分野である。

取得した字幕ファイルのほとんどは ASS 形式の ファイルである. 図 1 に ASS ファイルの内容の一例を表す. 図のように ASS ファイルでは Dialogue 行に，字幕の表示内容と表示時間，表示スタイルな どの情報が記載されている。言語情報は字幕のレ イヤー情報（図中では先頭の “0”) や表示スタイル （図中では“DefaultJp”）に現れる場合が多い. 本研究では，字幕表示スタイルの文字列から日本語か中国語かを推定し，字幕表示開始時間と字幕表示終了時間をもとに日中のセリフの対応関係を判断した.

データ収集後，中国語文中の繁体字を簡体字に，日本語文中の半角カタカナを全角カタカナに統一 し，重複する文対を除去した。

## 3.2 コーパスの分割

収集した文対のうち，10 文字以上の文対をテ ストデータと検証データ (開発データ) 用にそ れぞれ 2000 文対ランダムに抽出し，残りを訓練データとした. 表 1 は構築されたコーパスと ASPEC-JC, OpenSubtitles とWCC-JCコーパスの文対数を表す. データサイズ (バイト数) は ASPEC-JC > OpenSubtitles > WCC-JC の順だが，文数は ASPEC-JC よりも多いことが分かる.

## 4 実験と評価

本コーパスの有効性を確認するために翻訳実験 を行った. 以下，実験に使用した NMT システムの 設定 (4.1 節), ASPEC-JC, OpenSubtitles, 本研究の コーパスのデータセットで学習した NMT モデルで の翻訳精度（BLEU スコア）(4.2 節)，JPO スコアを 用いて，テストデータの翻訳結果の人手での評価 （4.3 節）について述べる。日中翻訳では，文字レべ ルと LSTM モデルが最も効果的であると言われて いる [10] が，本実験では文字レベルと subword レべ ル，LSTM モデルと Transformer モデルを使用した.

## 4.1 NMT システムの設定

本実験では，fairseq[11]を用いて NMT モデルを訓練する. fairseq の 2 つの事前設定されたアーキテ クチャ, lstm-wiseman-iwslt-de-en（表の中, LSTM と 略す) と transformer-iwslt-de-en (表の中，Transformer と略す)を使用する. Subword レベルの実現には subword-nmt ${ }^{5}$ を使用する。

5) https://github.com/rsennrich/subword-nmt

図 1 ASS ファイル中身の一例（内容はダミー）

## 4.2 翻訳結果

表 2〜表 5 において，Aは ASPEC-JC のテストデー タ, B は OpenSubtitles のテストデータ, C は WCC-JC のテストデータ，D は翻訳モデルの汎化能力を検証 するために，NHK ラジオ『まいにち中国語』6)のテ キストから抽出した 185 文，テストデータとして 表す.

表 2〜表 5 を見ると，訓練データとテストデータ の組合せではそれぞれ自身のテストデータで最も高 い BLEU 值を取得したことがわかる. $\mathrm{J} \rightarrow \mathrm{C}$ 文字レ ベルの Transformer モデルでは，我々の WCC-JC は OpenSubtitles 自身による翻訳よりも効果的であり， WCC-JC の汎化性が示された。また，C，Dのいずれ においても，WCC-JC は ASPEC-JC や OpenSubtitles よりも良い結果を得ることができた。 さらに，各表 の結果を比較すると，基本的には $\mathrm{J} \rightarrow \mathrm{C} 、 \mathrm{C} \rightarrow \mathrm{J}$ のい ずれの方向においても，文字レベルの Transformer モデルがより有効であることがわかる.

## 4.3 人手による評価

人手評価基準として, 特許庁が公開している「特許文献機械翻訳の品質評価手順 ${ }^{7)}$ の中の「内容の伝達レベルの評価」（JPO スコア）を採用した。これは 機械翻訳結果が原文の実質的な内容をどの程度正確 に伝達しているかを，参照訳の内容に照らして 5 段階（評価値 5 が最もよく， 1 が最も悪い）の評価基準で主観的に評価するものである.

WCC-JC のテストデータ C については， $\mathrm{J} \rightarrow \mathrm{C}$ と

図 2 人手による評価の結果（日本語 $\rightarrow$ 中国語）

図 3 人手による評価の結果（中国語 $\rightarrow$ 日本語）

$\mathrm{C} \rightarrow \mathrm{J}$ の文字レベル Transformer の 2 つの実験で最も 高い BLEU 値が観測された。より良い評価を行うた めに，JPO スコアを用いてこの 2 つの翻訳結果を人手評価することにした．評価は A，B，Cの 3 つの 評価者グループで分担した（評価者たちは日本留学の経験があり，日本語能力試験 $\mathrm{N} 2$ 以上の資格を 持つ). 各グループは 2 人ずつ独立に評価し，平均 を取った. 図 2 と図 3 は $\mathrm{J} \rightarrow \mathrm{C} 、 \mathrm{C} \rightarrow \mathrm{J}$ の人手評価結果（グラフ内の数字は各評価値の割合を，グルー プ名の後の括弧内の数字は評価値の平均を表す). $\mathrm{JPO}$ スコアの平均値について, $\mathrm{J} \rightarrow \mathrm{C}$ では 3.87, 3.90, 4.00， $\mathrm{C} \rightarrow \mathrm{J}$ で 3.97，4.04，4.07，高い結果になった. WCC-JCコーパスの性質上，非常に短い文が多いの
表 2 文字レベル日本語 $\rightarrow$ 中国語翻訳実験結果（BLEU 値）

表 3 Subword レベル日本語 $\rightarrow$ 中国語翻訳実験結果（BLEU 值）

で，この結果がどの程度満足のいくものなのかはよ り深く分析する必要がある．また，別の実験につい ても評価を行い，結果の違いとその理由を明らかに する必要がある.

## 5 おわりに

本研究では，日中対訳コーパス WCC-JC を紹介し た. 本コーパスはWebをクロールし，日中対訳文を 自動的に収集し, 作成した. 最終的に約 75 万文対 の日中対訳データが得られた. 本コーパスは現時点 で一般に利用できる日中コーパスの中では規模が大
きく，既存のコーパスではあまり扱われてこなかっ た話し言葉の対訳も対象している.

語学講座のテキストから抽出した会話文を用い た実験では，BLEU 值は低いものの，比較した日中 コーパスの中では最も高い精度で翻訳できることを 確認した. 人手による評価も高いものであった.

今後の課題として，より大規模な Web クロール， コーパス作成を行うことが挙げられる。 さらに，対訳文のアライメントを高精度化することも重要な課題である. また，今後より多くの言語対に対応して いくことも検討している.

## 謝辞

本研究にあたり，遼寧省教育庁科学研究一般若手

人材プロジェクト（No.LJKZ0267），潘陽理工大学八 イレベル人材招致研究支援計画 (No.1010147001004) の助成を受けています。また，対訳コーパスの構築 と評価にあたっては，多くの方々のご協力いただき ました.ここに御礼申し上げます。

## 参考文献

[1] Toshiaki Nakazawa, Manabu Yaguchi, Kiyotaka Uchimoto, Masao Utiyama, Eiichiro Sumita, Sadao Kurohashi, and Hitoshi Isahara. ASPEC: Asian scientific paper excerpt corpus. In Proc. 9th Int. Conf. on Language Resources and Evaluation (LREC 2016), pp. 2204-2208, Portorož, Slovenia, 2016. European Language Resources Association (ELRA).

[2] Caroline Lavecchia, Kamel Smaili, and David Langlois. Building a bilingual dictionary from movie subtitles based on inter-lingual triggers. In Proceedings of Translating and the Computer 29, London, UK, November 29-30 2007. Aslib.

[3] Chenhui Chu, Toshiaki Nakazawa, and Sadao Kurohashi. Constructing a Chinese-Japanese parallel corpus from Wikipedia. In Proceedings of the Ninth International Conference on Language Resources and Evaluation (LREC'14), pp. 642-647, Reykjavik, Iceland, May 2014. European Language Resources Association (ELRA).

[4] R. Pryzant, Y. Chung, D. Jurafsky, and D. Britz. JESC: JapaneseEnglish Subtitle Corpus. Language Resources and Evaluation Conference (LREC), 2018.

[5] Pierre Lison, Jörg Tiedemann, and Milen Kouylekov. OpenSubtitles2018: Statistical rescoring of sentence alignments in large, noisy parallel corpora. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), Miyazaki, Japan, May 2018. European Language Resources Association (ELRA).

[6] Makoto Morishita, Jun Suzuki, and Masaaki Nagata. JParaCrawl: A large scale web-based English-Japanese parallel corpus. In Proceedings of the 12th Language Resources and Evaluation Conference, pp. 3603-3609, Marseille, France, May 2020. European Language Resources Association.

[7] Guokun Lai, Zihang Dai, and Yiming Yang. Unsupervised parallel corpus mining on web data. ArXiv, Vol. abs/2009.08595, , 2020.

[8] 中澤敏明, 李凌寒, MatissRikters. ビジネスシーン対話対訳 コーパスの構築と対話翻訳の課題. 第 27 回年次大会 発表論文集, pp. 1375-1380. 言語処理学会, 2021.

[9] Jinyi Zhang and Tadahiro Matsumoto. Corpus augmentation for neural machine translation with chinese-japanese parallel corpora. Applied Sciences, Vol. 9, No. 10, 2019.

[10] Xiaoya Li, Yuxian Meng, Xiaofei Sun, Qinghong Han, Arianna Yuan, and Jiwei Li. Is word segmentation necessary for deep learning of Chinese representations? In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 3242-3252, Florence, Italy, July 2019. Association for Computational Linguistics.

[11] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A fast, extensible toolkit for sequence modeling. In Proceedings of NAACLHLT 2019: Demonstrations, 2019.


# シフト付き絶対位置埋め込み

$\diamond$ 理化学研究所 ・東北大学 ${ }^{\triangleright}$ 株式会社 Preferred Networks
}

shun.kiyono@riken.jp, sosk@preferred.jp, \{jun.suzuki, inui\}@tohoku.ac.jp
## 概要

本研究は Transformer における位置表現の改良に 取り組む。既存の位置表現のうち, シフト不変性を 持つ手法が高い性能を発揮することに着目し，シフ 卜付き絶対位置埋め込み（SHAPE）の効果を検証す る. SHAPE の根幹となるアイデアは, 学習中に絶対位置を乱数値でシフトさせることで，シフト不変性 をモデルに取り入れることである。 既存のシフト不変である位置表現と比較して, SHAPE は同等の性能を達成しつつ，より高速に動作することを示す. ${ }^{1)}$

## 1 はじめに

Transformer[1] に基づく符号化復号化モデル （Encoder-Decoder）において，位置表現はモデルが 系列中のトークンの順序を認識するために導入され ている。位置表現は, 絶対位置埋め込み（Absolute Position Embedding; APE）[2,1] と相対位置埋め込み （Relative Position Embedding; RPE）[3] の 2 種類に大別される [4]. APE では, 各位置ごとの専用の埋め 込みと単語埋め込みとの和によって位置を表現す る。一方で RPE は，2つのトークン間の相対的な距離を用いて，注意機構内部で位置を表現する。

系列変換タスクにおいて，RPE は APE を上回る 外挿性能 2$)$ を発揮することが知られている $[5,6]$. そ の要因は，RPE の持つ性質であるシフト不変性であ ることが報告されている [7]. ここでシフト不変性 とは，ある関数において入力の位置シフトが関数の 出力に影響しない性質を指す。しかし, RPE は注意機構に依存する形で定式化されているため, 注意機構自体の改善を試みる方法論との組み合わせが困難 である。そのため本研究では，APE にシフト不変性 を取り入れることを試みる。

絶対位置にシフト不変性を取り入れるために，画像認識 [8] や NLP における質問応答 [9] 等では, 訓

図 1 本研究で取り扱う位置表現の概要図練中に入力系列の位置を乱数値でシフトさせると いう方法が用いられてきた。同様に APE において も，乱数値によるシフトをおこなうことで，絶対位置の代わりに相対位置を活用した学習を Transformer に強制できると期待できるが，その有効性はまだ検証されていない。そこで我々はこのシフト操作をシ フト付き絶対位置埋め込み（Shifted Absolute Position Embedding; SHAPE）として定式化し，その効果を検証する．実験では，SHAPE を用いた Transformer が シフト不変性を獲得できること，また，機械翻訳久 スクで SHAPE が RPE と同等の性能を達成できるこ とを示す.

## 2 Transformer における位置表現

図 1 に本研究で取り扱う位置表現を示す。以降,入力系列 $\boldsymbol{X}$ と出力系列 $\boldsymbol{Y}$ を，それぞれ $I$ トーク ンと $J$ トークンからなる系列 $\boldsymbol{X}=\left(x_{1}, \ldots, x_{I}\right)$ と $\boldsymbol{Y}=\left(y_{1}, \ldots, y_{J}\right)$ として表す.

## 2.1 絶対位置埋め込み（APE）

APE では各位置に対して専用の位置埋め込みを用 いる. 具体的には，各トークン $x_{i} \in \boldsymbol{X}$ と $y_{j} \in \boldsymbol{Y}$ に ついて，対応する位置埋め込みと単語埋め込みとの 和によって位置を表現する（図 1a）。

Transformer において APE には Sinusoidal 位置符号化 [1] が典型的に用いられる。ここで $i$ 番目のトー

クンの第 $m$ 次元の值 $\mathrm{PE}(i, m)$ は

$
\operatorname{PE}(i, m)= \begin{cases}\sin \left(\frac{i}{10000 \frac{2 m}{D}}\right) & m \text { が偶数 } \\ \cos \left(\frac{i}{10000 \frac{2 m}{D}}\right) & m \text { が奇数 }\end{cases}
$

として定義され, $D$ はモデルの次元数を表す.

## 2.2 相対位置埋め込み（RPE）

RPE[3] では，各トークン間の相対距離を Transformer の注意機構の特徴量として用いることで位置を表現する（図 $1 \mathrm{~b}$ ). 例えば, Shaw ら [3] は $i$ 番目と $j$ 番目のトークン間の相対距離を, 埋め込み $\boldsymbol{a}_{i-j}^{\text {Key }}, \boldsymbol{a}_{i-j}^{\text {Value }} \in \mathbb{R}^{D}$ によって表現している.これらの 埋め込みは, 注意機構における Key と Value 表現に それぞれ足し合わされる.

RPE の演算はシフト不変性を持つことから，訓練 データの分布外の長さの系列に対して, APE の性能を上回ることが報告されている $[6,5,7]$. しかし，注意機構を用いて位置を表現する都合上，RPE は APE よりも計算コストが大きい3)。また, RPE は注意機構の改変を伴うため, 注意機構自体の軽量化を 試みる方法論 $[10,11]$ との組み合わせが困難である.

## 2.3 シフト付き絶対位置埋め込み (SHAPE)

本研究では, Transformerにおいてシフト不変性を 実現するための方法の一つとして, SHAPE（図 1c) の効果を検証する．RPE の課題を踏まえ, SHAPE では Transformer の注意機構の改変を回避しつつ, APE と同等の計算コストの実現を目指す. 訓練中, SHAPE は入出力系列の各位置インデックスを, 乱数から生成したオフセットでシフトさせる.このシ フト操作は, 絶対位置の代わりに相対位置を利用し た学習をモデルに強制することに相当する. その結果, モデルがシフト不変性を持つ関数を学習すると 期待できる.

いま，離散一様分布 $U\{0, K\}$ からサンプルしたオ フセットを $k$ で表す.ここで， $K$ は最大オフセット 幅であり, $k$ はエポックごとに各系列について独立 にサンプルされる. SHAPE は PE $(i, m)$ （式 1 ）を次式で置き換えることで実現できる.

$
\mathrm{PE}(i+k, m)
$

SHAPE は APE を用いる任意のモデルに適用可能 である. また, シフト操作は非常に軽量であるた
^{3}$ Narang ら [5] は, RPE は APE よりも最大で $25 \%$ 遅いことを 報告している.
}

め, SHAPE は APE と同等の速度で動作すると期待 できる. 今回, $k$ は入力系列と出力系列について独立にサンプルした.ここで, 仮に $K=0$ とすると SHAPE は APE に帰着することに注意されたい4).

## 3 実験

実験では，機械翻訳タスクを題材として，SHAPE を組み合わせた Transformer がシフト不変性を獲得 することを確認する（第 3.2 節）。その後, SHAPE の性能を既存の位置表現と比較する (第 3.3 節).

## 3.1 実験設定

データセットWMT2016 英独データセットを訓練 データとして用いた.トークン化やサブワード化 [12] 処理は先行研究の設定に従った [13]. 開発セッ トと評価セットとして，それぞれ newstest2010-2013 と newstest2014-2016を用いた。

実験には，以下の 3 つの設定を用いた：

(i) VANILLA 先行研究 $[1,13]$ と同等の設定である.

(ii) ExtrapOLATE シフト不変性を持つモデルは,外挿性能の観点で評価することが一般的である $[7,14]$. 我々は, 先行研究 [6] に従い, VANILLA の訓練データから入力系列か出力系列のサブワード長が 50 を超えるような系列対を取り除き，新たに訓練 データを作成した。また, 開発セットと評価セット にはVANILLA と同じものを用いた。

(iii) INTERPOLATE 今回, 我々は各モデルを内挿性能の観点でも評価することを試みる。ここで，内挿性能を, 訓練中に観測した長さの系列に関して汎化 する能力として定義する. 本研究では, この内挿性能を長い系列を用いて評価するが，その理由は以下 の通りである.

長い系列を含むようなデータセットでは，各トー クンが各位置に関して䟱な形で分布する（位置のス パースネス問題).つまり, 開発セットや評価セッ トにおいて，系列中のある位置に登場するトークン は，訓練データ中で同じ位置にほとんど登場しない と考えられる。このとき, 絶対位置を用いる場合は トークンと位置の組み合わせに対する過学習が生じ ると考えられるが，シフト不変性を持つ位置表現は この過学習を抑制できる可能性がある.

本研究では, 対訳データに含まれる独立した系列を結合することで, 長い系列を人工的に作成し た。具体的には，VANILLAに含まれる隣り合う系列

表 1 INTERPOLATE の訓練データよりサンプリングした 1 万系列対で計測した BLEUスコア

図 2 各オフセット $k \in\{0,100,250,500\}$ を用いて計算し た符号化器の隠れ層間の類似度

$X_{1}, \ldots, X_{10}$ と $Y_{1}, \ldots, Y_{10}$ を, 専用のトークン $\langle$ sep $\rangle$ を用いて結合した. 開発セットと評価セットにも同 じ処理を加えてデータを作成した。

モデル Transformer-base[1]に, APE, SHAPE とRPE を組み合わせて実験をおこなった. APE と RPE にはそれぞれ Sinusoidal 符号化と Shaw ら [3] の手法を用いた。実装には OpenNMT-py[15] を用いた。 SHAPE の最大オフセット $K$ は 500 , RPE の最大相対距離は先行研究 $[3,6]$ に従い 16 とした. 各モデル の性能は sacreBLEU[16] による detokenized BLEU で 評価した5).

## 3.2 実験 $1 ：$ シフト不変性の確認

本実験では, SHAPEがシフト不変性を獲得してい ることを INTERPOLATE 上で訓練した APE と SHAPE を用いて，定量的・定性的な観点で検証する。

定量評価：訓練データ上の BLEUスコア 本実験で は系列間の順序に対するモデルの頑健性を評価す る. 具体的には, INTERPOLATE の訓練データからサ ンプルした 1 万系列対を用いて，系列間で順序を入 れ替えた場合と, 入れ替えなかった場合の性能を比較する．訓練データを用いるのは，未知の系列によ る影響を除外し, 系列間の順番の影響のみを対象と した評価をおこなうためである。

評価手順は次のとおりである. まず，元の系列 Original $\left(X_{1}, \ldots, X_{10}\right)$ から, 先頭の系列を末尾に移動させて, 系列 Swapped $\left(\boldsymbol{X}_{2}, \ldots, \boldsymbol{X}_{10}, \boldsymbol{X}_{1}\right)$ を作成す る. 次に Original と Swapped を訓練済みのモデル でデコードし，それぞれ $\boldsymbol{Y}_{1}^{\prime}, \ldots, \boldsymbol{Y}_{10}^{\prime}$ と $\boldsymbol{Y}_{2}^{\prime}, \ldots, \boldsymbol{Y}_{10}^{\prime}, \boldsymbol{Y}_{1}^{\prime}$ を得る。最後に， $Y_{1}^{\prime}$ の BLEU スコアを評価する。

実験結果を表 1 に示した。ここで, Original から Swapped への性能の減少幅は, SHAPE の方が APE
$ に示した.
}

表 2 各位置表現の BLEUスコア :†: 5 つの乱数シードの 平均値. *: 訓練不能であったため, 值を掲載していない.相対速度は APE からの相対速度を表す。

よりも小さいことから，SHAPE がシフト不変性を 獲得していることが示唆される.

定性評価：隠れ層の類似度 本実験では, SHAPE がシフト不変性を獲得していることを定性的に確認する. 図 2 はオフセット $k$ がAPE と SHAPE を用 いた訓練済みモデルの隠れ層に与える影響を表す。具体的には, 入力系列 $X$ について, 各オフセット $k \in\{0,100,250,500\}$ を用いて訓練済みモデルの符号化器から隠れ層を計算した. その後, 異なるオフ セットから計算した隠れ層 $\boldsymbol{h}_{i}^{k_{1}}, \boldsymbol{h}_{i}^{k_{2}} \in \mathbb{R}^{D}$ について, コサイン類似度（sim）を計算し，位置方向に平均を 求めた. つまり, $\frac{1}{I} \sum_{i=1}^{I} \operatorname{sim}\left(\boldsymbol{h}_{i}^{k_{1}}, \boldsymbol{h}_{i}^{k_{2}}\right)$ である.

図 2 より, SHAPE の符号化器はシフト不変性を 獲得できているとわかる.これは SHAPE において， オフセット $k$ によらず，類似度がほぼ 1.0 に張り付 いているためである. ここで，APE の類似度が同様 の傾向を示さないことから，シフト不変性は自明に 獲得可能な性質ではないと確認できる.

## 3.3 実験 2 : 位置表現間の性能比較

各位置表現の性能を評価した結果を表 2 に示し た.また, APEからの性能向上幅を入力系列の長さ 別に図示した結果を図 3 に示した.

VANILLAの結果 3 つのモデル全てがほとんど同等 の性能を示した. APE がRPE と同等の性能を示す という結果は既存研究の知見 [3] とは一致しないも のの, これは実験に使った実装の違いによるものだ と考えられる．実際，Transformer の改良に関する知見は，特定の実装に依存することが多い旨が Narang らによって報告されている [5].

ExtRAPOLATE の結果 評価セットにおいて, RPE の性能（29.86）が APE（29.22）を上回った。また, SHAPE がRPE と同等の性能を達成した (29.80). 図
(a) データセット: Extrapolate

(b) データセット: Interpolate

図 3 APE からの BLEU スコアの向上幅 : 開発セットと評価セットを用いた. 灰色の背景色は対応する長さの系列 が訓練データ中に存在しないことを示す.

$3 \mathrm{a}$ より,この性能向上は, 訓練データよりも長い系列（外挿）によるものだとわかる。つまり，RPE と SHAPE は APE の外挿性能を改善できている.

また, 図 $3 \mathrm{a}$ には, SHAPE の最大オフセット $K$ を 開発セット上で調整した結果を示した. $K=40$ とし たときに，開発セットと評価セットの性能はそれぞ れ 23.12 と 29.86 となり, RPE を上回ったことから, SHAPE はRPE よりも良い位置表現となりえる.

INTERPOLATE の結果 RPEの学習には著しく時間が かかってしまい, 現実的な時間で訓練を終えること ができなかったため, 值を載せていない6). 本デー タにおいても，評価セット上で SHAPE（39.09）は APE（38.23）を上回る性能を示した. 図 $3 b$ より, SHAPE は入力系列の長さに依存せず，一貫して性能向上を果たしている.この結果から, SHAPE は Transformer の内挿性能も改善できるとわかる.

## 4 分析

図 3 において, SHAPE はAPE を BLEU スコアで 上回った. しかし, BLEU スコアでは (1) N-gramに 基づく参照訳との一致率と (2) Brevity Penalty による 出力系列の長さを同時に評価しているため, 出力が どの側面で改善したのかは明らかではない. そこで 本節では, 前者の一致率に着目するため, 参照訳を 用いてトークン単位のスコアを計算し，モデル間の 比較をおこなった. 具体的には, 系列のペア $(\boldsymbol{X}, \boldsymbol{Y})$ に対して，訓練済みモデルを用いてスコア（負の 対数尤度） $s_{j}$ を各正解トークン $y_{j}$ について計算し
^{6)}$ RPE を INTERPOLATE 上で動かした場合, パラメータの更新が APE やSHAPE と比較して 20 倍程度低速だった。
}

(a) データセット: Extrapolate

(b) データセット: Interpolate

 &  & $401-500$ & 501- \\

図 4 参照訳を用いたトークン単位の分析 : 各セルの値 は, 正解トークンに対して SHAPE が APE よりも高いス コア（負の対数尤度）を付与できた割合を表す.

た7). ここで，モデルは正解トークンにより高いス コアを付与することが望ましい. 図 4 は，正解トー クンに対して SHAPE が APE よりも高いスコアを付与した割合を, 復号化器の位置別に図示した結果を 表す.この分析には開発セットを用いた.

EXTRAPOLATE : SHAPE はトークンの一致率の向上に 寄与 図 $4 \mathrm{a}$ の右側（訓練データよりも長い系列）に おいて, SHAPEがAPE を大きく上回っている.こ の結果から, SHAPE が外挿における N-gram の一致率の向上に貢献していることが示唆される.

INTERPOLATE : SHAPE は低頻度語の予測に有効 図 4bに示した通り, SHAPE の性能が APE を一貫して 上回った。モデル間の性能差は図の下部，つまり低頻度語に対応する箇所において特に顕著である．訓練中, SHAPE は同じ系列対に対して，エポックごと に異なる位置表現を用いて学習をおこなうが，これ は一種のデータ拡張として解釈できる. 先述の位置 のスパースネス問題（第3.1 節）は低頻度語におい て特に生じやすいため, SHAPE によるデータ拡張 が効果的であったと考えられる。

## 5 おわりに

本研究では APE の簡単な亜種である SHAPE の調査をおこなった. 実験では, SHAPE がRPE と同等 の性能を発揮しつつ, APE と同等の速度で動作する ことを示した. SHAPE は数行で実装可能であるた め，既存の実装に簡単に導入できる。故に，SHAPE は APE とRPEの代替手法となりえると期待できる.

## 謝辞

本研究の一部 (基礎研究) は JST ムーンショット JPMJMS2011 の助成を受けたものです.

## 参考文献

[1] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, and Illia Polosukhin. Attention Is All You Need. In Advances in Neural Information Processing Systems 30 (NIPS 2017), pp. 5998-6008, 2017.

[2] Jonas Gehring, Michael Auli, David Grangier, Denis Yarats, and Yann N. Dauphin. Convolutional Sequence to Sequence Learning. In Proceedings of the 34th International Conference on Machine Learning (ICML 2017), pp. 1243-1252, 2017.

[3] Peter Shaw, Jakob Uszkoreit, and Ashish Vaswani. SelfAttention with Relative Position Representations. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers) (NAACL 2018), pp. 464-468, 2018.

[4] Philipp Dufter, Martin Schmitt, and Hinrich Schütze. Position Information in Transformers: An Overview. arXiv preprint arXiv:2102.11090, 2021.

[5] Sharan Narang, Hyung Won Chung, Yi Tay, William Fedus, Thibault Fevry, Michael Matena, Karishma Malkan, Noah Fiedel, Noam Shazeer, Zhenzhong Lan, et al. Do Transformer Modifications Transfer Across Implementations and Applications? arXiv preprint arXiv:2102.11972, 2021 .

[6] Masato Neishi and Naoki Yoshinaga. On the Relation between Position Information and Sentence Length in Neural Machine Translation. In Proceedings of the 23rd Conference on Computational Natural Language Learning (CoNLL 2019), pp. 328-338, 2019.

[7] Benyou Wang, Lifeng Shang, Christina Lioma, Xin Jiang, Hao Yang, Qun Liu, and Jakob Grue Simonsen. On Position Embeddings in BERT. In Proceedings of the 9th International Conference on Learning Representations (ICLR 2021), 2021.

[8] Ian Goodfellow, Yoshua Bengio, and Aaron Courville. Deep Learning, chapter 7.4, pp. 233-234. MIT Press, 2016. http://www. deeplearningbook.org.

[9] Mor Geva, Ankit Gupta, and Jonathan Berant. Injecting Numerical Reasoning Skills into Language Models. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (ACL 2020), pp. 946-958, 2020.

[10] Nikita Kitaev, Łukasz Kaiser, and Anselm Levskaya. Reformer: The Efficient Transformer. In Proceedings of the 8th International Conference on Learning Representations (ICLR 2020), 2020.

[11] Yi Tay, Mostafa Dehghani, Dara Bahri, and Donald Metzler. Efficient Transformers: A Survey. arXiv preprint arXiv:2009.06732, 2020.

[12] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neu- ral Machine Translation of Rare Words with Subword Units. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (ACL 2016), pp. 1715-1725, 2016.

[13] Myle Ott, Sergey Edunov, David Grangier, and Michael Auli. Scaling Neural Machine Translation. In Proceedings of the Third Conference on Machine Translation (WMT 2018), pp. 1-9, 2018.

[14] Benjamin Newman, John Hewitt, Percy Liang, and Christopher D. Manning. The EOS Decision and Length Extrapolation. In Proceedings of the Third BlackboxNLP Workshop on Analyzing and Interpreting Neural Networks for NLP (BlackboxNLP 2020), pp. 276-291, 2020.

[15] Guillaume Klein, Yoon Kim, Yuntian Deng, Jean Senellart, and Alexander Rush. OpenNMT: Open-Source Toolkit for Neural Machine Translation. In Proceedings of ACL 2017, System Demonstrations (ACL 2017), pp. 67-72, 2017.

[16] Matt Post. A Call for Clarity in Reporting BLEU Scores. In Proceedings of the Third Conference on Machine Translation: Research Papers (WMT 2018), pp. 186191, 2018.

[17] Christian Szegedy, Vincent Vanhoucke, Sergey Ioffe, Jon Shlens, and Zbigniew Wojna. Rethinking the Inception Architecture for Computer Vision. In 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR 2016), pp. 2818-2826, 2016.

## A ハイパーパラメータ

表 3 ハイパーパラメータの一覧.

 &  \\

## B 各 newstest の BLEU スコア

表 4 に各モデルを newstest2010-2016を用いて評価した結果を示す8)9).

表 4 newstest2010-2016 上の BLEU スコア : 平均は全 newstest のマクロ平均值を示す. † : 5 つの乱数シードの平均値. * : 訓練不能であったため，值を掲載していない。相対速度は APE からの相対速度を表す.

^{8)}$ VANILLA と ExTRAPOLATE の評価における sacreBLEU のハッシュ : BLEU+case.mixed+lang.en-de+numrefs. $1+$ smooth. exp +test.wmt $\{10,11,12,13,14 /$ full,15,16\}+tok.13a+version.1.5.0.

 }^{9)}$ INTERPOLATE の評価における sacreBLEU のハッシュ：BLEU+case.mixed+numrefs.1+smooth.exp+tok.13a+version.1.5.0（開発セッ トと評価セットも訓練データと同様の結合処理を加えているため, sacreBLEU 内部の参照訳の代わりに手動で参照訳を与えている．詳細については第 3.1 節の説明を参照されたい. )


# 機械学習と統計的検定を利用した知見獲得とその評価

董卜睿*1 村田 真樹 *22 馬 青*3
*1 鳥取大学大学院 持続性社会創生科学研究科工学専攻
*2 鳥取大学大学院 工学研究科情報エレクトロニクス専攻
*3 龍谷大学 先端理工学部数理・情報科学課程
${ }^{* 1, * 2}\{$ m20j4163a@edu. , murata@ $\}$ tottori-u.ac.jp
${ }^{* 3}$ qma@math. ryukoku.ac.jp

## 概要

本研究では，最大エントロピー法，BERT，SVM の 3 つの教師あり機械学習法と, 符号検定, 区間推定の 2 つの統計手法を用い, 新聞データから単語対 の情報を収集し，知見を獲得する。獲得した情報 (知見)を関連性と有益性に基づき評価する。

関連性評価では, 12 年分の新聞データで訓練し た Word2vec から得た, 事前に人手で設定した単語対 (テーマキーワード対) に最も類似する 500 個の単語と, 人手で単語対について連想した 30 個の単語 を正解として，提案手法によって得られた最も評価 の高い 500 個の単語との一致率を計算した。計算の 結果, 統計的手法が機械学習法を上回った。最も一致率が高かったのは符号検定であり, Word2vec と の一致率は 0.126 , 人手で連想した単語との一致率 は 0.344 であった. 有益性評価は, 提案手法で最も 評価の高い 100 個の単語を取り出し, 被験者がどの 手法から取得したのかを分からないようにして，単語の有益性を評価する。全新聞 (2007 年から 2018 年までの全て) を訓練した Word2vec が最も評価が 高く, 平均の比率は 0.594 である. 提案手法の中で 最も評価の高い手法は BERT であり, 平均の比率は 0.444 となった。

## 1 はじめに

メディアの電子化により，多くの電子テキストが 出現し, そこから重要な情報を素早く入手すること が求められている.

そこで，教師あり機械学習と統計的検定を利用し て，新聞データから様々な分野に関するテーマキー ワード対の知見を獲得することを本研究の目的と する. 本研究では, 教師あり機械学習と統計的検定
で取り出した単語を知見とする。得られた知見の評価に関連性評価と有益性評価を用いる。なお本研究で用いる単語対は「健康」と「病気」,「政治」と 「経済」，「輸入」と「輸出」，「社会主義」と「資本主義」，「オリンピック」と「パラリンピック」であ る.この単語対をテーマキーワード対と呼ぶ，単語対の一方の単語はテーマキーワードと呼ぶ.

## 2 先行研究

村田らの研究 [1] はウェブと新聞から株式相場に おける情報を収集している，パターンと教師あり機械学習を利用して株式相場や経済に関わる様々な 知見獲得を行い，獲得した知見は日本の株式相場の 日々の変動を予測するために使用される.

Bollen ら [2] は, Twitter のメッセージを用いて，大統領選挙と 2008 年の感謝祭に対する人々の感情的 な反応を分析し，ダウ平均の日々の上昇と下降を予測した。

鎌倉 [3] は，多くのテーマキーワード対において，機械学習の最大エントロピー法と統計的検定の符号検定により知見を獲得した。獲得した知見の有効性を人手で評価した．本研究に使用した手法は，鎌倉が使用した 2 つの手法以外に，提案手法として SVM，BERT と区間推定を追加した。また，比較手法として Word2vec を追加している.

## 3 提案手法

テーマキーワード対を含む文章から得られる単語 を素性とする。本研究では, 教師あり機械学習と統計的手法を利用する. 2007 年から 2018 年の毎日新聞テキストデータからテーマキーワード対に関わる 素性を分析し，複数のテーマキーワード対の知見を 収集する. 手法ごとに得られた素性が人にとって役

に立つのかを明らかにするために人手による評価を 行う.

## 3.1 素性分析

テーマキーワード対を $\mathrm{A}, \mathrm{B}$ として以下に提案手法を示す. 本研究では文章として, 新聞の一段落を 利用する。

(段落)をそれぞれ収集する。

・手順 2 : A，Bを消して，Xに置き換える。

-手順 3 : 手順 1 で収集した $\mathrm{A}$ とに関する文章 (段落)をランダムに整列して, 単語 $\mathrm{A} と \mathrm{~B}$ を公平に分析するために，AとBを含む文章 (段落) を同数にする.

・手順 4 : 手法を利用して素性を抽出する.

-手順 5 : 手法ごとに得られた素性の上位 500 個 を取り出す。

$\cdot$手順 6 : 手順 5 で得られた素性を評価する。

## 3.2 最大エントロピー法

最大エントロピー法 $[1,3,4]$ は, どのテーマキー ワードが記事中に出現する可能性が高いかを学習で きる. テーマキーワード $\mathrm{A}, \mathrm{B}$ があるとする. A ま たは Bを含む段落を収集する，収集した段落から A と $\mathrm{B}$ を取り除き， $\mathrm{X}$ とする。学習結果に基づいて， $\mathrm{X}$ にテーマキーワード $\mathrm{A}$ または $\mathrm{B}$ のどちらがあつ たかを推定する．学習段階で，素性に対するテーマ キーワードの重要度を示す正規化 $\alpha$ 值を計算し, 上位 500 個の素性を分析する。

## 3.3 SVM

SVM[5] とは, support-vector machine の略で，空間 を超平面で分割することにより 2 つの分類からなる データを分類する手法である. 2 つの分類が正例と 負例からなるものとすると, 学習データにおける正例と負例の間隔 (マージン) が大きいものほどオー プンデータで誤った分類をする可能性が低いと考え られ，このマージンを最大にする超平面を求めそれ を用いて分類を行う。テーマキーワード対 $\mathrm{A}, \mathrm{B}$ があ るとする，Aまたは $\mathrm{B}$ を含む段落を収集し，その段落から $\mathrm{A}$ と を取り除き, Xとする. その段落と $\mathrm{X}$ に入るものの対を学習データとして超平面を学習す る. 学習で得られたモデルに基づいて, 単語 $\mathrm{X}$ が平面に対してどのあたりにあるかを計算し，Xが $\mathrm{X}$ ま
たは B であるかを推定する．素性分析する方法は以下である。段落を個々の単語に切り分け，学習済み $\mathrm{svm}$ モデルを用いて各単語について分離平面までの 距離を計算する。算出された距離は, それが該当す るエリアとしてプラスマイナスで表現される。分離平面との距離が大きいほど有用な素性である。上位 から 500 個の素性を抽出し，分析する.

## 3.4 BERT

BERT とは, Bidirectional Encoder Representations from Transformers の略で, Jacob Devlin ら [6] の論文で発表された自然言語処理モデルである. ラベル 付けされていないテキストから, 全層で左右両方 の文脈を共同で条件付けすることにより学習する. BERT は双方向の Tranceformerによって学習を行う. テーマキーワード対 $\mathrm{A}, \mathrm{B}$ があるとする. A または $\mathrm{B}$ を含む段落を収集し，その段落から $\mathrm{A}$ と $\mathrm{B}$ を取 り除き，X とする。学習したモデルに基づいて，X を推定する．素性分析の方法は以下である．段落を 個々の単語に切り分け, 学習済み BERT モデルを用 いて各単語についてテーマキーワード対の確率值を 計算し，上位 500 個の単語を有用な素性として抽出 し分析する.

## 3.5 符号検定

符号検定 [3] は, 勝ちと負けや表と裏といった相反する 2 つのペアの差に符号 + と - を割り当てる統計的検定として用いられる. 二項定理に基づく片側検定により， A または B を含む段落の中で $\mathrm{A}$ と B と伴って出現する単語が，いずれのカテゴリーにお いても, 全データでの出現率よりも高い頻度で出現 するかどうかを判定し, 有意確率 $\mathrm{p}$ 值を求める. $\mathrm{p}$值が低いほど有用な素性であるので, 本研究は $\mathrm{p}$ 值 の下位 500 個の素性を取り出し，分析する.

## 3.6 区間推定

テーマキーワード対を $\mathrm{A}, \mathrm{B}$ とする，新聞データ

の出現回数を数える. $\mathrm{A}$ の出現回数は $N_{a}$ 回で, $\mathrm{B}$ の出現回数は $N_{b}$ 回, $\mathrm{A}$ の真の出現率は $\theta$ とする. $N=N_{a}+N_{b}$ とする. 実際の $\mathrm{A}$ の出現率は $\frac{N_{a}}{N}$ によ り求められる. 「真の A の出現率 $\theta$ は概率 $95 \%$ \%で $a \leq \theta \leq b$ の区間にある」と考える.このような 考えを区間推定という。 下限値 a 値が高いほど有用 な素性である。上位の 500 個の素性を抽出する。

表 1 全評価データ

## 4 評価

## 4.1 評価データ

評価には，2007 年から 2018 年の毎日新聞を用い て, 評価データの内訳を表 1 に示す. テーマキー ワード対「政治」「経済」の段落数は 155,776 である が，機械学習手法は 15 万データを訓練すると，時間 がかかるので, 最大エントロピー法, SVM, BERT,符号検定と区間推定の評価データはランダムに抽出 した 40,000 個の段落を用いる. 最大エントロピー法 と SVM は学習データとテストデータの比率は 1 対 1, BERT の訓練データ, 検証データとテストデー 夕の比率は 3 対 1 対 4 となるように全評価データ を分割して用いる. 最大エントロピー法とSVM と BERT は, 訓練データのみから素性を取り出す. (最大エントロピー法では訓練データで学習する正規化 $\alpha$ 値を用いる. SVM と BERT は, 訓練データの段落にあった個々の単語を入力として用いることで素性分析する。）符号検定と区間推定は表 1 の全評価 データを使用した. Word2vec は 2007 年から 2018 年 まで全ての新聞を訓練する。

## 4.2 関連性評価: Word2vec 自動評価

Word2vec とは，大量の電子テキストを解析し，各単語の意味をベクトル表現することができる手法で ある. 単語をベクトル化することで, 単語の意味の 近さを計算し，それを使って似たような意味の単語 を探すことができる．Word2vec で全新聞 (2007 年か ら 2018 年までの全て)を訓練し, テーマキーワード と類似する単語を探し, 類似度の高い 500 語を正解 として提案手法を評価する評価を行う.

・手順 1 : Word2vecに評価データを学習させる.

-手順 2 : 手順 1 で作成したモデルにテーマキー ワードを入力し，テーマキーワードと類似する 単語を求める.

-手順 3 : テーマキーワードとの類似度が最も高 い 500 個の単語を抽出し, 3.1 節で収集した素表 2 単語「健康」の人手連想評価の例

性との一致数を数える。

## 4.3 関連性評価：人手連想評価

3.1 節で収集したテーマキーワード対の手法ごと の素性を評価対象とする. 人手でテーマキーワード 対から連想する単語を 30 個書き出し, 3.1 節で収集 した素性 500 個との一致数を数える. Word2vec は,全部の新聞データを学習する。提案手法と比較する ために使用される. 表 2 と表 3 は連想評価の例であ る. 人手で連想した単語と手法で取り出した上位の 素性が一致したときの数を数える。人手連想評価の 手順は以下のとおりである.

・手順 1 : 人手でテーマキーワード対から連想す る単語を 30 個書き出す.

-手順 2 : 手順 1 で収集した連想語 30 個と 3.1 節 で収集した素性 500 個との一致数を数える。

## 4.4 有益性評価

収集した素性がどの方法で得られたものかを被験者がわからないようにするために，各手法から収集 した素性を合わせて，意味ソート [7] を行う. そし て人手で評価する．意味ソートでは，単語を意味順 に並べることができる。似たような意味を持つ単語 を近くに配置することで，手作業によるチェックを 効率的に行うことができる. 表 4 と表 5 に有益性評価の例を示す.

Word2vec は全部の新聞データを学習する。提案手法と比較するために使用される.
- 手順 1 : 各手法 (最大エントロピー法, BERT, SVM, 符号検定, 区間推定, Word2vec) の素性分析の上位 100 個を取り出す.

-手順 2 : 手順 1 で得られた素性をすべて合わせ て，意味ソートを行う。

-手順 3 : 被験者がどの手法によりその素性が得 られたかを知らない状況で評価する。

評価基準は以下で示す.
表 4 「健康」の有益性評価の例

表 5 「病気」の有益性評価の例

表 6 機械学習手法の正解率

 & 0.9118 & 0.9463 & 0.9599 \\

・○: テーマキーワードの関連語であり, 被験者 はこの素性に興味を持ち，被験者が役に立つと 思う単語.

・ $\triangle$ : テーマキーワードの関連語であり, 被験者 はこの素性に興味を持たず，被験者が役に立た ないと思う単語.

・×: テーマキーワードの関連語でない，または 単語の意味がわからない.

## 5 評価結果

表 6 は，新聞記事のテストデータでの機械学習手法の正解率を示している．表のように，BERT は，他の機械学習手法よりも正解率が高く, 平均正解率 は 0.9297 であった。

表 7 は, 4.2 節の評価の全てのテーマキーワード 対の平均である. Word $2 \mathrm{vec}$ 自動評価は，各手法で 取り出した単語数は 500 個なので，一致の数を 500 で割った比率で表示する。統計的手法が機械学習手法よりも優れていることがわかる. 平均一致率 は 0.126 であった。機械学習の結果は, BERT, ME, SVM の順で一致率が高くなった。

表 8 は， 4.3 節の評価結果である. 4 人の被験者が テーマキーワード対に関して連想した語句 30 個と 五種類の手法で得た素性各 500 個との一致率を求め た. 人手で連想した単語数は 30 なので, 4 人の一致数の平均を 30 で割った比率で表示した. Word2vec 自動評価の結果と同様に, 統計的手法は機械学習手法を上回った。最も性能が良いのは符号検定であ表 7 関連性評価:Word2vec 自動評価結果

表 8 関連性評価:連想評価結果

 & BERT & 符兵 & 区間| \\

表 9 有益性評価結果

 \\

り, 平均一致率は 0.344 である.

表 9 は 4.4 節の有益性評価の評価結果である. 提案手法と Word2vec から各手法の評価の高い 100 個 の単語を取り出し，1 つのテーマキーワード対で 1,200 個の単語 $(100 \times 2$ 単語 $\times 6$ 手法) が評価され る. 被験者がどの手法によりその素性が得られたか を知らない状況で評価する。この評価の被験者は一人である．表 9 では，○は，被験者が有用と考える 単語の比率である。また， $+\triangle$ は，被験者がテー マキーワード対に関連すると考えた単語の比率であ る. 5 つのテーマキーワード対で 1 つの手法で取り 出す単語の総数は 1,000 個なので, 表 9 では 1,000 で割った比率で表示される. 有益性評価の結果は,全ての新聞を訓練した Word2 vec が最も評価が高く,平均の比率は 0.594 である. 提案手法の中で一番良 い手法は BERT で平均の比率は 0.444 となった.今後の課題として被験者を増やしたい。

## 6 おわりに

本研究では, 3 つの教師あり機械学習法と, 2 つ の統計手法を用い，新聞データからテーマキーワー ド対の情報を収集し，関連性評価と有益性評価をす る. 関連性の評価では，符号検定が最も良い性能で あり，性能は 0.344 であった。 3 つの単語を連想し たときに一つを推測できる割合である。また，より 精度を高めるために，手法を組み合わせることは今後の課題としたい，有益性評価では，Word2vec が最 も評価が高く, 平均の比率は 0.594 である. 有益性 については，提案手法の中で最も評価が高かったの は BERT で, 有用単語の比率は 0.444 である. 有用単語の比率を増やす改良は，今後の課題としたい。

## 参考文献

[1] 村田真樹, 中原裕人, 馬青. パターンと教師あり 機械学習と素性分析を利用したウェブと新聞か

らの株式相場に関わる知見獲得. 第 82 回全国大会講演論文集, Vol. 2020, No. 1, pp. 55-56, feb 2020.

[2] Johan Bollen, Huina Mao, and Xiaojun Zeng. Twitter mood predicts the stock market. Journal of Сотриtational Science, Vol. 2, No. 1, pp. 1-8, 2011.

[3] 鎌倉周平. 機械学習と統計的検定を利用した知見獲得の評価実験. 鳥取大学卒業研究発表会論文, 2020 .

[4] Masaki Murata, Kiyotaka Uchimoto, Masao Utiyama, Qing Ma, Ryo Nishimura, Yasuhiko Watanabe, Kouichi Doi, and Kentaro Torisawa. Using the maximum entropy method for natural language processing: Category estimation, feature extraction, and error correction. Cognitive Computation, Vol. 2, pp. 272-279, 2010 .

[5] 村田真樹. 機械学習手法を用いた日本語格解析 : 教師信号借用型と非借用型, さらには併用型.電子情報通信学会技術研究報告. NLC, 言語理解とコミュニケーション, Vol. 101, No. 190, pp. 15-22, jul 2001.

[6] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: pre-training of deep bidirectional transformers for language understanding. CoRR, Vol. abs/1810.04805, , 2018.

[7] 村田真樹, 神崎享子, 内元清貴, 馬青, 井佐原均.意味ソート $\mathrm{m}$ s O r t 意味的並べかえ手法に よる辞書の構築例とタグつきコーパスの作成例 と情報提示システム例:意味的並べかえ手法に よる辞書の構築例とタグつきコーパスの作成例と情報提示システム例. 自然言語処理, Vol. 7, No. 1, pp. 51-66, 2000.

## A 付録

## A. 1 意味ソート

単語を意味に応じて並べかえるという考え方は， Msort(meaning sort)[7] と呼ばれている.この意味の 並べ替えの順番は，単語の羅列を表示する際には 5 0 音順 (もしくは E U C 漢字コード順) ではなく, 単語の意味の順番に表示する。

単語を意味ソートすると，単語に対して意味的な 順番で分類する．意味ソートで採用した分類は分類語彙表 (国立国語研究所 1964) に基づいている。動物，人間，組織，植物，生物の部分，自然物，生産

表 10 意味ソートの例

表 11 Word2vec を用いた自動評価

物, 空間, 現象名詞, 動作, 精神, 性質, 関係，言語作品, その他, 時間と数量の分類があり, 全部で 17 種類の分類である．表 10 に意味ソートの例を示す.

## A. 2 評価結果

表 11 は，4.2 節の Word2vec 自動評価の結果であ る. 表 7 に同様の表があるが，表 7 と違ってテー マキーワードごとの数值結果も表示している. Word2vec 自動評価は, 各手法で取り出し単語数は 500 個なので，一致の数を 500 で割った比率で表示 される.

表 12 は， 4.3 節の連想評価の結果である. 表 8 に 同様の表があるが，表 8 と違ってテーマキーワード ごとの数值結果も表示している. 人手で連想した単語数は 30 なので， 4 人の一致数平均を 30 で割った 比率で表示.

表 13 は，4.4 節の有益性評価の結果である．表 9 に同様の表があるが，表 9 と違ってテーマキー ワードごとの数值結果も表示している。提案手法と Word2vec から各手法の類似度の高い 100 個の単語 を取り出すので，テーマキーワード対の数を 100 で 割った比率で表示する。手法の平均数は 1,000 (100 $\times 10$ 単語) で割った比率で表示する.
表 12 連想評価結果

 \\

表 13 有益性評価結果

 \\


# 線型部分空間に基づく学習済み単語埋込空間上の集合演算

石橋 陽一 1 横井祥 2,3 須藤克仁 $1,3,4$ 中村哲 1,3
1 奈良先端科学技術大学院大学 2 東北大学 ${ }^{3}$ 理研 AIP 4 科学技術振興機構さきがけ
\{ishibashi.yoichi.ir3, sudoh, s-nakamura\}@is.naist.jp yokoi@tohoku.ac.jp

## 概要

単語埋込は自然言語処理の基盤的な道具であり単語単位の表現学習は進んでいる。一方で加法構成に 代表される意味計算は、単語を集合として扱ってい ながら集合の演算までは定義できていない。これを 現代の単語埋込空間の枠組みで表現できれば集合と 埋込表現の両方の特性を反映した優れた表現を作る ことができる。そこで本研究では事前学習済み単語埋込空間で集合・集合演算を教師なしで表現するこ とを目指した。我々は線型部分空間に基づく集合演算である量子論理に着目し、埋込空間で線型部分空間が言語的な集合演算として機能することを実証 し、文の意味的類似性タスクへ応用した。

## 1 はじめに

単語埋込は現代の自然言語処理の基盤技術であり GloVe [1] や word2vec [2] 等の静的表現や、BERT [3]等の動的表現が、あらゆる種類の言語処理タスクの 性能を大きく押し上げた [4]。

単語埋込は単語に対して与えられる表現だが、実際の処理対象は単語の集合であることが多い。例え ば、単語間の意味の階層構造を見出すことができる [5]。例えば red, blue, green, ... からなる集合は Color というクラスを表していると捉えられる。こうした 概念集合に対する計算は自然言語処理のために重要 である [6]。また、句、文、文書など単語より大きな 単位の計算において最も基本的で強力なアプローチ は、これらを単語集合とみなすことである。例えば 文の類似性を計算するタスク（STS）[7] における 基本的な指針では、文の類似性を単語集合の重複度 (意味の重複度) に帰着させる [8]。

このように単語集合の計算には強いニーズがあ る。単語をシンボルで表現していた時代には単語集合を形式的な集合として扱っていたが [9]、単語を ベクトルで表現する場合の単語 “集合” の扱いは近似的なものに留まっている。例えば句や文の表現と
して単語ベクトルの和を用いる加法構成 [10] は強力 であるが、単語 “集合”としての性質がどのように 入っているかは不明である。また、単語集合の重複率を計算するためにこれを適合率・再現率 [11] や最適輸送コスト $[12,13]$ 帰着させる向きもあるが、“集合” の計算としては近似的なアプローチに過ぎない。 そこで本研究では、現代の単語埋込の枠組みで集合演算を再度定式化することを試み、事前学習済み 単語埋込空間上で集合および集合演算が線型部分空間で表現できることを実証した。

## 2 集合を扱うために必要な演算

本研究では和集合や共通部分など集合を扱う各種演算を、単語埋込空間で近似的にかつ単語埋込の リッチな情報を活用しつつ教師なしで計算すること を目指す。具体的には、単語埋込空間上で帰属関係

$
\begin{gathered}
\text { Color }=\{\text { red, blue }, \ldots\}, \text { Fruit }=\{\text { apple, peach }, \ldots\} \\
\text { orange } \in \text { Color } \cap \text { Fruit }
\end{gathered}
$

や集合間類似度（Jaccard 係数）

$
\begin{aligned}
\mathrm{A}=\{\mathrm{A}, \text { boy }, \text { walk, } \ldots\}, \mathrm{B} & =\{\text { The, child, run, } \ldots\} \\
\operatorname{Jaccard}(\mathrm{A}, \mathrm{B}) & =\frac{|\mathrm{A} \cap \mathrm{B}|}{|\mathrm{A} \cup \mathrm{B}|}
\end{aligned}
$

を計算可能にすることを目指す。これらの計算を実現するために必要な演算は以下の通り（表 1 左)。

・元と集合の表現：元となる単語とそれをまとめ た対象である集合を埋込空間で表現する。
- 集合に対する演算：ひとつまたは複数の集合に 対して、補集合・和集合・共通部分を計算する。

・帰属関係の計算 : 元が集合に属しているかどう かを判定する。
- 集合の濃度の計算 : 集合に含まれる元の数（濃度）を計算する（式 (4)）。

次のセクションでこれらの表現や計算を単語埋込空間で近似的に実現する方法を提案する。
表 1 集合と埋込空間での表現の対応

 & &  \\

## 3 線型部分空間による集合表現

2 節で示した集合演算を埋込空間で実現する方法 を述べる。集合演算として必要な性質を保証しつつ 単語埋込空間の幾何的な特性を活用するため、本研究では量子論理を単語埋込空間へ適用する。

## 3.1 量子論理

量子論理とは量子力学的現象を表現する理論の 1 つである [14]。粒子などの状態を元とした集合の処理という要請に対して、量子論理は集合を線型部分空間の言葉で記述し、さらにド・モルガンの法則、二重否定などの成立を理論的に保証している。

## 3.2 単語埋込空間での集合演算

量子論理はヒルベルト空間の上で記述されるが、単語埋込空間（ユークリッド空間）もヒルベルト空間でありほとんどの演算はそのままユークリッド空間での表現に翻訳することができる。不足している 演算（帰属の度合い、濃度）に関しては量子論理と 一貫した方法を提案する。提案法のまとめは表 1 の 通り。このあと詳細について述べる。

元と集合の表現 単語集合 $A$ を $\left.\{\mathrm{w}_{1}, \mathrm{w}_{2}, \ldots\right.\}$ 、単語 $\mathrm{w}$ に対応する単語ベクトルを $\boldsymbol{v}_{w}$ で表す。ここで、我々がまず表現したい対象は元と集合であった。本研究では、元である単語 $\mathrm{w}$ を単語ベクトル $\boldsymbol{v}_{w}$ で、単語集合 $\mathrm{A}=\left.\{\mathrm{w}_{1}, \mathrm{w}_{2}, \ldots\right.\}$ を単語ベクトルが張る線型部分空間で表現する。

$
\mathbb{S}_{\mathrm{A}}=\mathbb{S}_{\left.\{\mathrm{W}_{1}, \mathrm{w}_{2}, \ldots\right.\}}:=\operatorname{span}\left.\{\boldsymbol{v}_{w_{l}}, \boldsymbol{v}_{w_{2}}, \ldots\right.\}
$

以降、線型部分空間を単に「部分空間」と呼ぶ。

集合に対する演算 ある集合 A の補集合 $\bar{A}$ は、部分空間 $\mathbb{S}_{\mathrm{A}}$ の直交補空間 $\left(\mathbb{S}_{\mathrm{A}}\right)^{\perp}$ で表現する。

$
\mathbb{S}_{\overline{\mathrm{A}}}=\left(\mathbb{S}_{\mathrm{A}}\right)^{\perp}:=\left.\{\boldsymbol{u} \mid \exists \boldsymbol{v} \in \mathbb{S}_{\mathrm{A}}, \boldsymbol{u} \cdot \boldsymbol{v}=0\right.\}
$

ある集合 $A$ と の和集合 $A \cup B$ は、部分空間 $\mathbb{S}_{A}$ $と \mathbb{S}_{\mathrm{B}}$ の和空間 $\mathbb{S}_{\mathrm{A}}+\mathbb{S}_{\mathrm{B}}$ で表現する。

$
\mathbb{S}_{\mathrm{A} \cup \mathrm{B}}=\mathbb{S}_{\mathrm{A}}+\mathbb{S}_{\mathrm{B}}:=\left.\{\boldsymbol{u}+\boldsymbol{v} \mid \boldsymbol{u} \in \mathbb{S}_{\mathrm{A}}, \boldsymbol{v} \in \mathbb{S}_{\mathrm{B}}\right.\}
$

ある集合 $A$ と $B$ 共通部分 $A \cap B$ は、部分空間 $\mathbb{S}_{\mathrm{A}}$ と $\mathbb{S}_{\mathrm{B}}$ の共通部分 (交空間) $\mathbb{S}_{\mathrm{A}} \cap \mathbb{S}_{\mathrm{B}}$ で表現する。

$
\mathbb{S}_{\mathrm{A} \cap \mathrm{B}}=\mathbb{S}_{\mathrm{A}} \cap \mathbb{S}_{\mathrm{B}}=\left.\{\boldsymbol{v} \mid \boldsymbol{v} \in \mathbb{S}_{\mathrm{A}}, \boldsymbol{v} \in \mathbb{S}_{\mathrm{B}}\right.\}
$

帰属関係の計算 最も簡単な方法として、単語の 集合に対する帰属関係（例: boy $\in$ Male）は、ベクト ルの部分空間に対する帰属関係 (例: $\boldsymbol{v}_{\text {boy }} \in \mathbb{S}_{\text {Male }}$ ) で表現できる。ただし一見自然なこの方法はべクト ル空間の持つ「近さ」の概念を活用しきれない。例 えば Male 集合に含まれていない単語 nephew に関 して、v $\boldsymbol{v}_{\text {nephew }}$ が $\mathbb{S}_{\text {Male }}$ と非常に近い位置に存在して いたとしても「帰属関係はない」と 2 值で判断され てしまう。そこで本研究では、ベクトル $v_{w}$ と部分空間 $\mathbb{S}_{\mathrm{A}}$ の近さに応じて連続値を返す帰属度の関数 $\operatorname{Member}\left(\mathbb{S}_{\mathrm{A}}, \boldsymbol{v}_{w}\right)$ を定義する。

$
\begin{gathered}
\theta_{\mathbb{S}_{\mathrm{A}}, \boldsymbol{v}_{w}}=\min \left.\{\left.\arccos \left(\frac{\left|\boldsymbol{u} \cdot \boldsymbol{v}_{w}\right|}{\|\boldsymbol{u}\|\left.\|\boldsymbol{v}_{w}\right.\|}\right) \right.\rvert\, \boldsymbol{u} \in \mathbb{S}\right.\} \\
\operatorname{Member}\left(\mathbb{S}_{\mathrm{A}}, \boldsymbol{v}_{w}\right)=\cos \theta_{\mathbb{S}_{\mathrm{A}}, \boldsymbol{v}_{w}} \in[0,1]
\end{gathered}
$

$\theta_{\mathbb{S}_{\mathrm{A}}, \boldsymbol{v}_{w}}$ は $\boldsymbol{v}_{w}$ と $\mathbb{S}_{\mathrm{A}}$ の「なす角」（第一正準角）で、単語埋込空間で単語ベクトル同士のなす角が意味的類似度を表現することを間接的に利用することがで きる。 $\boldsymbol{v}_{w} \in \mathbb{S}_{\mathrm{A}}$ の場合帰属度は 1 で、 $\boldsymbol{v}_{w}$ が $\mathbb{S}_{\mathrm{A}}$ と直交する場合は 0 である。

集合の濃度の計算 ある単語集合 A の濃度（単語数）を部分空間 $\mathbb{S}_{\mathrm{A}}$ の次元 $\operatorname{dim} \mathbb{S}_{\mathrm{A}}$ で表現する。

## 3.3 Subspace Jacccard

和集合・共通部分・濃度に関する部分空間での計算方法を用いれば、Jaccard 係数（式 (4)）を部分空間で計算できる。すなわち、単語ベクトル集合に対 する重複度を自然に計算することができる。この新 しい尺度を SubspaceJacccard と呼ぶ。

$\operatorname{SubspaceJacccard}\left(\mathbb{S}_{\mathrm{A}}, \mathbb{S}_{\mathrm{B}}\right)=\frac{\operatorname{dim} \mathbb{S}_{\mathrm{A}} \cap \mathbb{S}_{\mathrm{B}}}{\operatorname{dim} \mathbb{S}_{\mathrm{A}}+\mathbb{S}_{\mathrm{B}}} \in[0,1]$
表 2 単語集合データセットの統計情報。「集合」は Male $=\{$ king, man, $\ldots\}$ のような集合演算を適用していな い集合を表す。\#正例、\#負例は集合あたりの平均要素数。

## 4 埋込空間上の集合演算の実証

提案法で作った部分空間 $\mathbb{S}_{\text {Male }}$ は、単語集合 Male $=\{$ king, man,$\ldots\}$ 全体が表す「男性的」という 意味を良く表現できているだろうか？これを検証す るため定量的・定性的両面から実験を行った。

## 4.1 実験設定

この実験で共通する設定について述べる。

単語埋込 Common Crawl (840B tokens) で事前学習済みの 300 次元 GloVe ${ }^{1)}$ と Google News で事前学習済みの 300 次元 word2vec ${ }^{2}$ を用いた。

データセット 検証のため、本研究ではある単語集合に対して帰属関係が成立する単語（正例） $\mathscr{P}$ と、成立しない単語（負例）N のデータを作成した （表 2）。正例 $\mathscr{P}$ のデータ $(S, w)$ は集合 $S$ 、集合の元 である単語 $\mathrm{w} \in \mathrm{S}$ からなり (例 (Male, boy) $\in \mathscr{P}$ )、負例 $\mathcal{N}$ のデータ ( $\left.\mathrm{S}, \mathrm{w}^{\prime}\right)$ は集合と集合の元でない単語 $\mathrm{w}^{\prime} \notin \mathrm{S}$ からなる（例 (Male, apple) $\in \mathcal{N}$ )。作成方法の 詳細は付録 A に記載する。

## 4.2 部分空間外のベクトルの評価

提案法が単語集合を良く表現するなら、帰属関係 boy $\in$ Male や apple $\notin$ Male が提案法でも成立するは ずである。これ検証するため次の実験を行った。

検証方法 Male 集合を例に説明する。まず Male 集合から単語 boyを取り除いた空間 $\mathbb{S}_{\text {Male } \backslash\{\text { boy }\}}$ を作 る。次にこの空間が、取り除いた boyを意味的に 含んでいるかを帰属度 Member $\left(\mathbb{S}_{\text {Male } \backslash\{\text { boy }\}}, \boldsymbol{v}_{\text {boy }}\right)$ で確認する。この値が Male に含まれていない単語、例 えば apple に対する帰属度 Member $\left(\mathbb{S}_{\text {Male } \backslash \text { bboy }\}}, \boldsymbol{v}_{\text {apple }}\right.$ ) よりも高ければ、提案法の Male 集合の表現 $\mathbb{S}_{\text {Male }}$ は Male の意味を良く捉えていると言える。同様の実験を補集合・和集合・共通部分でも行う。

表 3 帰属度の平均。括弧内は標本標準偏差。

例えば $\operatorname{Member}\left(\mathbb{S}_{\text {Color } \backslash \text { forange }\}} \cap \mathbb{S}_{\text {Fruit } \mid\{\text { orange }\}}, \boldsymbol{v}_{\text {orange }}\right)$ が $\operatorname{Member}\left(\mathbb{S}_{\text {Color } \backslash\{\text { orange }\}} \cap \mathbb{S}_{\text {Fruit } \mid\{\text { orange }\}}, \boldsymbol{v}_{\text {rice }}\right)$ より高いこ とを確かめる。

評価尺度 正例 $(S, w) \in \mathscr{P}$ の集合 $S$ の部分空間 $\mathbb{S}$ に $\boldsymbol{v}_{w}$ が帰属し、負例 $\left(\mathrm{S}, \mathrm{w}^{\prime}\right) \in \mathcal{N}$ では $\mathbb{S}$ に $\boldsymbol{v}_{w^{\prime}}$ が帰属しないことを、平均帰属度の差 $\Delta$ で評価する。

$\frac{1}{|\mathscr{P}|} \sum_{(\mathrm{S}, \mathrm{W}) \in \mathscr{P}} \operatorname{Member}\left(\mathbb{S}, \boldsymbol{v}_{w}\right)-\frac{1}{|\mathcal{N}|} \sum_{\left(\mathbb{S}, \mathrm{w}^{\prime}\right) \in \mathcal{N}} \operatorname{Member}\left(\mathbb{S}, \boldsymbol{v}_{w^{\prime}}\right)$

これが正の值であれば部分空間で boy $\in$ Male や apple $\notin$ Male が表現できていることが示唆される。

実験結果 結果（表 3）から、「正例との帰属度」「負例との帰属度」に差があり、量子論理が単語集合・集合演算を表現できていることがわかった。

## 4.3 部分空間内のベクトルの評価

提案法が単語集合を良く表現できているなら「男性的」集合表現 $\mathbb{S}_{\text {Male }}$ の中には「男性的」なべクト ル $v_{b o y}$ が含まれているはずである。そこで、提案法 で作った部分空間内に含まれているべクトル（単語 ベクトルとは限らない）の最近傍単語を確認する。

検証方法 この実験では正例の単語集合のみ使用 する（表 2)。ある単語集合の単語の $50 \%$ を使用し て部分空間を張り、それ以外の単語を検証用とし た。ここでは、Color $\cap$ Fruit 集合を例にとり説明す る。まず部分空間 $\mathbb{S}_{\text {Color }} \cap \mathbb{S}_{\text {Fruit }}$ に含まれるべクトル $v$ を無作為にサンプリングする。単語埋込の語彙全体の単語ベクトル集合に対して $\boldsymbol{v}$ の最近傍単語べク トル $\boldsymbol{v}_{w}$ を取得し、最近傍単語 $\mathrm{w}$ が Color $\cap$ Fruit $の$元らしいかを確認する。例えば最近傍単語が orange で部分空間を張る単語でないならば、色と果物の集合の共通部分が良く表現できていると言える。この 検証をいくつかの集合におこなった。

実験結果 結果は表 4 の通り。word2vec の結果に ついては付録 Bを参照されたい。表中の「部分空間表現の近傍単語」は部分空間を張る際に使用してい ない単語のみ列挙している。この結果は単語集合の 言語的特徴が部分空間に良く反映できていることを
表 4 単語集合の部分空間内のベクトルと $\cos$ 類似度上位 3 件の単語。使用した単語集合は Male $=\{$ his, male, ... $\}$ 、 Female $=\{$ queen, heroine,$\ldots\} 、$ Color $=\{$ purple, white,$\ldots\} 、$ Fruit $=\{$ lime, grape,$\ldots\} \circ$

表 5 各 STS タスクの相関係数

示している。例えば、 $\mathbb{S}_{\text {Male }}{ }^{\perp}$ 内のベクトルは Male 以外の単語、 $\mathbb{S}_{\text {Color }} \cap \mathbb{S}_{\text {Fruit }}$ 内のベクトルは色と果物 に共通する orange と類似しており、 $\mathbb{S}_{\text {Male }}+\mathbb{S}_{\text {Female }}$ 内 のベクトルは男女両方の特徴を持っている。

## 5 実験: 教師なし文類似度タスク

単語埋込空間上の集合演算を用いた集合間類似度 を教師なし文類似度タスク (STS) に応用し、埋込空間の集合間類似度として機能するかを確かめる。

検証方法 STS では 2 の文（単語集合）の類似度を算出し人手評価との相関係数で評価する。

実験設定 データセットは SemEval shared task の 2012-2016 [7, 15, 16, 17, 18] のものを使用した。ベー スラインは平均ベクトルの cosine 類似度 (Avg-cos) と [8] の DynaMaxJaccard 3) 、Skip-Thought Vector [19] を使用した。評価尺度にはピアソンの相関係数を 使用した。単語埋込は 4 節と同じ GloVe、word2vec、 そして BERT-base [3] の最終層のトークンに対応す る動的埋込を使用した。なお教師なしSTS のため ファインチューニングはおこなっていない。

実験結果 結果は表 5 の通り。埋込空間での傾向 は BERT よりも GloVe で提案法の効果が高かった word2vec での結果も GloVe と同様な傾向ため付録 B に記載する。GloVeでは提案法が全てのタスクで加法構成に基づく手法（Avg-cos）を上回った。量子論理によって集合と集合演算を部分空間で表現したこ

とで、静的埋込において集合間類似度を単語埋込空間上の演算へ拡張できたことを示している。

## 6 関連研究

ここでは埋込空間で集合の表現・演算を試みてい る先行研究を概観し、提案法との違いを述べる。

教師なし集合表現 [8] は Fuzzy 集合の考えに 基づき単語埋込空間上で集合および集合演算を Fuzzy Bag of Words という方法で表現している。 BERTScore [11] は集合間の適合率と再現率を内積行列を使って近似的にモデル化している。Word Rotator's Distance [12] は単語ベクトル集合間の最適輸送に基づき類似度をモデル化した。これらの研究 は擬似的な集合表現、もしくは一部の集合演算の実現のみに留まっている。それに対し提案法は線型部分空間に基づく各集合演算の表現と集合に関する法則の成立が理論的に保証されている強みがある。

教師あり集合表現 DeepSet [6] は集合データに対 する教師あり表現学習の代表的な手法である。本研究では事前学習済み埋込空間上で教師なしで単語集合・集合演算を表現した。

## 7 結論

本研究では、単語埋込の枠組みによる集合演算を 線型部分空間を用いて定式化した手法を提案し、単語埋込空間において集合・集合演算を実現した。

## 謝辞

本研究は JST さきがけ (JPMJPR1856)、JST ACT-X (JPMJAX200S)、奈良先端科学技術大学院大学支援財団支援事業の支援を受けたものです。

## 参考文献

[1] Jeffrey Pennington, Richard Socher, and Christopher D. Manning. Glove: Global Vectors for Word Representation. In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing, EMNLP 2014, October 25-29, 2014, Doha, Qatar, A meeting of SIGDAT, a Special Interest Group of the ACL, pp. 1532-1543, 2014.

[2] Tomas Mikolov, Ilya Sutskever, Kai Chen, Gregory S. Corrado, and Jeffrey Dean. Distributed Representations of Words and Phrases and their Compositionality. In Advances in Neural Information Processing Systems 26: 27th Annual Conference on Neural Information Processing Systems 2013. Proceedings of a meeting held December 5-8, 2013, Lake Tahoe, Nevada, United States. pp. 3111-3119, 2013 .

[3] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Jill Burstein, Christy Doran, and Thamar Solorio, editors, Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, NAACL-HLT 2019, Minneapolis, MN, USA, June 2-7, 2019, Volume 1 (Long and Short Papers), pp. 4171-4186. Association for Computational Linguistics, 2019.

[4] Alex Wang, Amanpreet Singh, Julian Michael, Felix Hill, Omer Levy, and Samuel R. Bowman. GLUE: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding. In 7th International Conference on Learning Representations, ICLR 2019, New Orleans, LA, USA, May 6-9, 2019. OpenReview.net, 2019.

[5] George A. Miller. WordNet: A Lexical Database for English. Commun. ACM, Vol. 38, No. 11, pp. 39-41, 1995.

[6] Manzil Zaheer, Satwik Kottur, Siamak Ravanbakhsh, Barnabás Póczos, Ruslan Salakhutdinov, and Alexander J. Smola. Deep Sets. In Isabelle Guyon, Ulrike von Luxburg, Samy Bengio, Hanna M. Wallach, Rob Fergus, S. V. N. Vishwanathan, and Roman Garnett, editors, Advances in Neural Information Processing Systems 30: Annual Conference on Neural Information Processing Systems 2017, December 4-9, 2017, Long Beach, CA, USA, pp. 3391-3401, 2017.

[7] Eneko Agirre, Daniel M. Cer, Mona T. Diab, and Aitor GonzalezAgirre. SemEval-2012 Task 6: A Pilot on Semantic Textual Similarity. In Eneko Agirre, Johan Bos, and Mona T. Diab, editors, Proceedings of the 6th International Workshop on Semantic Evaluation, SemEval@NAACL-HLT 2012, Montréal, Canada, June 7-8, 2012, pp. 385-393. The Association for Computer Linguistics, 2012.

[8] Vitalii Zhelezniak, Aleksandar Savkov, April Shen, Francesco Moramarco, Jack Flann, and Nils Y. Hammerla. Don't Settle for Average, Go for the Max: Fuzzy Sets and Max-Pooled Word Vectors. In 7th International Conference on Learning Representations, ICLR 2019, New Orleans, LA, USA, May 6-9, 2019. OpenReview.net, 2019.

[9] Christopher D. Manning and Hinrich Schütze. Foundations of statistical natural language processing. MIT Press, 2001.

[10] Nils Reimers and Iryna Gurevych. Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks. In Kentaro Inui, Jing Jiang, Vincent Ng, and Xiaojun Wan, editors, Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, EMNLP-IJCNLP 2019, Hong Kong, China, November 3-7, 2019, pp. 3980-3990. Association for Computational Linguistics, 2019.

[11] Tianyi Zhang, Varsha Kishore, Felix Wu, Kilian Q. Weinberger, and Yoav Artzi. BERTScore: Evaluating Text Generation with BERT. In 8th International Conference on Learning Representations, ICLR 2020, Addis Ababa, Ethiopia, April 26-30, 2020. OpenReview.net, 2020.

[12] Sho Yokoi, Ryo Takahashi, Reina Akama, Jun Suzuki, and Kentaro Inui. Word Rotator's Distance. In Bonnie Webber, Trevor Cohn, Yulan He, and Yang Liu, editors, Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing, EMNLP 2020, Online, November 16-20, 2020, pp. 2944-2960. Association for Computational Linguistics, 2020.
[13] Matt J. Kusner, Yu Sun, Nicholas I. Kolkin, and Kilian Q. Weinberger. From Word Embeddings To Document Distances. In Francis R. Bach and David M. Blei, editors, Proceedings of the 32nd International Conference on Machine Learning, ICML 2015, Lille, France, 6-11 July 2015, Vol. 37 of JMLR Workshop and Conference Proceedings, pp. 957-966. JMLR.org, 2015.

[14] Garrett Birkhoff and John Von Neumann. The logic of quantum mechanics. Annals of mathematics, pp. 823-843, 1936.

[15] Eneko Agirre, Daniel M. Cer, Mona T. Diab, Aitor GonzalezAgirre, and Weiwei Guo. *SEM 2013 shared task: Semantic Textual Similarity. In Mona T. Diab, Timothy Baldwin, and Marco Baroni, editors, Proceedings of the Second Joint Conference on Lexical and Computational Semantics, ${ }^{*}$ SEM 2013, June 13-14, 2013, Atlanta, Georgia, USA, pp. 32-43. Association for Computational Linguistics, 2013.

[16] Eneko Agirre, Carmen Banea, Claire Cardie, Daniel M. Cer, Mona T. Diab, Aitor Gonzalez-Agirre, Weiwei Guo, Rada Mihalcea, German Rigau, and Janyce Wiebe. SemEval-2014 Task 10: Multilingual Semantic Textual Similarity. In Preslav Nakov and Torsten Zesch, editors, Proceedings of the 8th International Workshop on Semantic Evaluation, SemEval@COLING 2014, Dublin, Ireland, August 23-24, 2014, pp. 81-91. The Association for Computer Linguistics, 2014.

[17] Eneko Agirre, Carmen Banea, Claire Cardie, Daniel M. Cer, Mona T. Diab, Aitor Gonzalez-Agirre, Weiwei Guo, Iñigo LopezGazpio, Montse Maritxalar, Rada Mihalcea, German Rigau, Larraitz Uria, and Janyce Wiebe. SemEval-2015 Task 2: Semantic Textual Similarity, English, Spanish and Pilot on Interpretability. In Daniel M. Cer, David Jurgens, Preslav Nakov, and Torsten Zesch, editors, Proceedings of the 9th International Workshop on Semantic Evaluation, SemEval@NAACL-HLT 2015, Denver, Colorado, USA, June 4-5, 2015, pp. 252-263. The Association for Computer Linguistics, 2015

[18] Eneko Agirre, Carmen Banea, Daniel M. Cer, Mona T. Diab, Aitor Gonzalez-Agirre, Rada Mihalcea, German Rigau, and Janyce Wiebe. Semeval-2016 task 1: Semantic textual similarity, monolingual and cross-lingual evaluation. In Steven Bethard, Daniel M. Cer, Marine Carpuat, David Jurgens, Preslav Nakov, and Torsten Zesch, editors, Proceedings of the 10th International Workshop on Semantic Evaluation, SemEval@NAACL-HLT 2016, San Diego, CA, USA, June 16-17, 2016, pp. 497-511. The Association for Computer Linguistics, 2016.

[19] Ryan Kiros, Yukun Zhu, Ruslan Salakhutdinov, Richard S. Zemel, Raquel Urtasun, Antonio Torralba, and Sanja Fidler. Skip-Thought Vectors. In Corinna Cortes, Neil D. Lawrence, Daniel D. Lee, Masashi Sugiyama, and Roman Garnett, editors, Advances in Neural Information Processing Systems 28: Annual Conference on Neural Information Processing Systems 2015, December 7-12, 2015, Montreal, Quebec, Canada, pp. 3294-3302, 2015.

## A 単語集合データの構築方法

単語集合データ 2 の構築方法について説明す る。正例セットは WordNet [5] の名詞の上位語（例： “Animal")を単語集合のクラス、下位語 (例: “dog") を集合の元として収集し、下位語の数が 20 以上の ものを使用した。これらの単語集合をランダムに組 み合わせ補集合・和集合・共通部分を作成した。次 に、負例を作成した。英単語の頻度データ4)を使用 し頻度上位 3000 件からランダムに 1000 件をサンプ リングし、正例の単語を除去して負例セットを構築 した。

## B word2vec での実験結果

表 6 帰属度の平均。括弧内は標本標準偏差。

表 7 各 STS タスクの相関係数

## STS12 STS13 STS14 STS15 STS16


# 多段階難易度制御ニューラル機械翻訳のための ベンチマーク評価データセットの開発

谷和樹 1 湯浅亮也 ${ }^{1}$ 滝川一毅 ${ }^{2}$ 田村晃裕 ${ }^{1}$ 梶原智之 ${ }^{2}$ 二宮崇 ${ }^{2}$ 加藤恒夫 ${ }^{1}$
1 同志社大学 2 愛媛大学
}

\{cguc1070@mail4, cguc0095@mail4, aktamura@mail,tsukato@mail\}.doshisha.ac.jp

\{takikawa@ai. , kajiwara@, ninomiya@\}cs.ehime-u.ac.jp
## 概要

本研究では，目的言語文の難易度を多段階で制御 するニューラル機械翻訳（多段階難易度制御 NMT） のためのベンチマーク評価データセットを構築す る. 従来の多段階難易度制御 NMT の評価データは 文単位での対応付けや難易度付与がされていない コーパスから自動構築されており，ノイズを含む ため評価データとして不適切である。本研究では,人手による翻訳，不適切なデータの自動フィルタ リングと最終的な人手確認を行うことで，Newsela コーパスから日英多段階難易度制御 NMT のための ベンチマーク評価データセットを構築する. さら に，従来研究で提案された多段階難易度制御 NMT (パイプラインモデルとマルチタスクモデル)を Transformer モデルで実装し，構築した評価データに おける性能を報告する。

## 1 はじめに

近年，ニューラル機械翻訳（NMT）はますます発展・普及してきており，利用者層が幅広くなってい る. 従来の一般的な NMT は利用者や状況に依らな い一律な翻訳を行うが，近年では，目的言語文の表現を制御するための研究が盛んになっている $[1,2]$. そのひとつに，ユーザの読解レベルにあわせた翻訳を行うため，難易度を入力として受け付け，指定された難易度の目的言語文を生成する難易度制御 NMT がある。これまでは，「平易」と「難解」の ような 2 段階で難易度を制御するモデル [3] が中心 だったが，近年では，3 段階以上の難易度を制御可能な多段階難易度制御 NMT モデルが提案され [4], より柔軟に（例えば小学生，高校生，一般，専門家向けなどのように）難易度を制御することを目指す 研究がされている.従来の多段階難易度制御 NMT の研究で用いられ ている評価データ [4] は, Newsela コーパス1) から自動構築されている. そのため, 従来の評価データに は次の問題がある。 (1) 不適切な対訳文対を含む.

（2）難易度が変わると情報が保たれない場合がある。

(3) 目的言語文の難易度が適切でない場合がある。

そこで本研究では，人手による翻訳，不適切な データの自動フィルタリングと最終的な人手確認を 行うことで，Newsela コーパスから，日英多段階難易度制御 NMT を適切に評価するための評価データ セットを構築する。提案手法により，日本語文と複数の難易度による英語文の組，1,014 組からなる評価データセットを構築した ${ }^{2}$ ). さらに，先行研究 [4] で提案されている，パイプラインモデルとマルチタ スクモデルを Transformer モデル [5] で実装し，構築 した我々の評価データでの性能を報告する。

## 2 従来の評価データ

多段階難易度制御 NMT の唯一の先行研究は Agrawal and Carpuat の研究 [4] である. 先行研究で は， Newsela コーパスから自動作成したデータを用 いて，英語（英）とスペイン語（西）の間の多段階難易度制御 NMT モデルの学習と評価を行っている。

Newsela コーパスは，複数の難易度の英語記事と， その一部に対応するスペイン語記事で構成されて いる. 西英間は記事単位で対応付けられているが，文単位の対応付けは行われていない。各記事には 記事単位で grade level という難易度が付与されてい る. grade level の值は 2 から 12 であり，值が高いほ ど記事が難しいことを示す．評価データは，この Newselaコーパスから次の通り作成されている.

表 1 日英多段階難易度制御 NMT 用評価データの実例

Step 1 西英の Google 翻訳3）を用いて，スペイン語記事の各文を英語に翻訳する。

Step 2 同一言語で書かれた同一内容の文を対応付 ける MASSAlign [6] により，英語記事内の文と，英語に翻訳されたスペイン語文を対応付ける。

Step 3 対応付いた文の組を 1 事例とする. その際，翻訳された文は元のスペイン語文に戻す。また 文の難易度は，属する記事の grade level にする. この自動作成の評価データには次の問題がある.

問題点 1 西英文対は自動で対応付けているため,正しい翻訳文対になっているとは限らない。

問題点 2 同一言語の文間の対応付けを自動で行っ ているため，対応付いている文の情報の抽象度 が同一になるとは限らない．特に，固有名詞な ど，より具体的な情報が新たに湧き出す場合，難易度制御で情報を増やすことは難しいため問題となる.

問題点 3 記事の難易度を文の難易度に転用してい るため，付与されている文の難易度が正しいと は限らない。例えば，記事単位の grade level が 異なっていたとしても，完全に同じ文となる場合や記号のみが異なる場合がある。

このような問題がある従来の評価データでは，モデ ルの正確な性能評価ができなくなりうるため, 評価 データとして不適切である.

## 3 評価データセットの作成

本節では，本研究で提案する多段階難易度制御 NMT 用の評価データセットの作成手順と, 作成し た評価データセットの詳細を示す. 本研究では, Newsela コーパス中の英語文に日本語訳を付与する ことで，日本語文（原言語文） 1 文と複数（3 段階以上）の難易度による英語文（目的言語文）の組で構成される日英多段階難易度制御 NMT 用の評価デー タセットを作成する. Newselaコーパスは，他の単言語平易化コーパス（[7] や [8] など）とは異なり，

ニュース記事を作成するプロにより平易化されて いること，規模が大きいこと，また，多段階の難易度が付与されていることから，本研究の評価データ セットの作成元にした.

## 3.1 提案の作成手順

評価データセットは次の 2 ステップで構築する。

Step 1 複数段階の難易度で記述される英語文集合 の作成

1-1: Newsela-auto から自動抽出

1-2: 自動フィルタリングでの不適切データ除去 1-3: 人手による最終確認

Step 2 人手翻訳による日本語訳の付与

Step1 では，Newselaコーパスの英語記事集合から 複数段階の難易度で記述される同一内容の英語文集合を抽出する。具体的には， Newsela-auto [9] ${ }^{4}$ 内で 自動で対応付いている文対に基づき，3つ以上の文 が同一内容となる英語文集合を抽出する (Step 1-1). その結果，98,500 組の英語文集合が得られた.

ただし, 本研究でも先行研究と同様, 文の難易度 として属する記事の難易度を設定する。したがっ て，2 節の問題点 3「文の難易度が正しいとは限ら ない」が生じる. そこで本研究では, 自動フィルタ リング（Step 1-2）と人手チェック（Step 1-3）によ り，確実に難易度が異なる 3 文以上から成る同一内容の英語文集合を作成する。自動フィルタリング では，記号を除いた状態で全く同じになる文対と grade level の差が 1 以下になる文対を除いた.

また，Newsela-auto は同一内容の文を自動で対応付けているため，2 節の問題点 2 「難易度が異なる と情報が保たれない場合がある」が生じる。そこで 本研究では, Step 1 の最終確認として，固有名詞な どの情報が湧き出している事例を人手で除いた。

Step2 では，Step1 で作成した各英語文集合に対し て，最も grade level が大きい文（最も難しい文）を 人手で日本語に翻訳し，日本語訳を付与する．翻訳

4） Newsela コーパス中の難易度が異なる英語記事を対象に，同一内容の文を自動で対応付けした結果のコーパスである.

表 2 評価データセット中の英語文の段階数

図 1 評価データセット中の英語文の grade level の内訳

は翻訳会社に依頼した。この人手翻訳により，2 節 の問題点 1 「不適切な対訳文対を含む」を解決する.

以上の作成手順により，1,014 組の評価データか らなる, 日英多段階難易度制御 NMT 用の評価デー タセットを作成した。表 1 に作成した評価データ の実例を示す.また，表 2 と図 1 に，作成した評価 データセット中の英語文の難易度の段階数の内訳と 英語文の grade level の内訳をそれぞれ示す.

## 自動フィルタリングの必要性の考察

本研究では，Step 1 において，記事単位の難易度 から転用された文の難易度が不適切なデータを除く 目的で自動フィルタリングを導入した.ここでは， その必要性を考察する。

Step 1-1 の結果からランダムに抽出した 100 組の 文集合に対して，文に付与された難易度が異なるに もかかわらず，実際には難易度が変わらないデータ がどの程度含まれるかを人手で調査した. その結果，実際に難易度が変わっている文で構成されてい る組は 37 組しか存在せず，残りの 63 組は, grade level が異なるにもかかわらず，全く同じ文対や，記号のみが変化するなどの難易度が変わらない文対を 含んでいた.このような事例は評価データとして不適切であるため, 評価データから除く必要がある. しかし全体の $60 \%$ 以上あり人手で除くのは現実的で はない. したがって, 本研究で導入した自動フィル タリングが有用であると考えられる.

図 2 パイプラインモデルの概要図

## 4 ベンチマーク実験

本節では，今後の多段階難易度制御 NMT に関す る研究のベンチマークとして, 先行研究 [4] で提案されている 2 つの多段階難易度制御 NMT の手法（パイプラインモデルとマルチタスクモデル）を Transofrmer モデルで実装し5)，構築したテストデー タに対する性能を報告する. 先行研究では系列変換 モデルとしてRNN（LSTM）ベースのモデル [11]を 用いているが，本研究では，近年様々な NLP タスク でデファクトスタンダードになっている Transformer モデルを用いた。また，先行研究では西英間の翻訳 を対象としており，教師データとして Newsela コー パスのスペイン語記事を用いることができるが，本研究では Newsela コーパスに含まれない日本語と英語間の翻訳が対象であることにも注意されたい。

## 4.1 パイプラインモデル

パイプラインモデルは，機械翻訳と多段階平易化 [12]の2つの独立したモデルをつなげたモデルであ る.「機械翻訳 $\rightarrow$ 多段階平易化」と「多段階平易化 $\rightarrow$ 機械翻訳」の 2 通りが考えられるが, 先行研究 [4] では「機械翻訳 $\rightarrow$ 多段階平易化」の方が性能が良 かったこと，また, Newselaコーパスからは日本語 の多段階平易化のための教師データを作成できない ことから，本研究では，「機械翻訳 $\rightarrow$ 多段階平易化」 の性能のみを評価，報告する。図 2 に評価するパイ プラインモデルの概要図を示す.

日英 NMT モデルおよび英語の多段階平易化モ デルは共に Transformer モデルを用いる. 日英 NMT モデルは, Kiyono ら [13]の日英翻訳モデルに倣っ て作成した. 教師データは JParaCrawl [14] と News Commentary を用いた。ただし， langid ${ }^{6}$ により原言語文が日本語かつ目的言語文が英語となった， $9.7 \mathrm{M}$文対を教師データとして用いた. 英語文にのみ trucasing を行い, Sentencepiece [15]によりサブワー ドサイズ 32,000 でサブワード化を行った.

英語の多段階平易化モデルは，先行研究 [12] に 倣い，入力の英語文の先頭に目的の難易度を表す

特殊トークンを追加した系列を，目的の難易度 の英語文に変換する系列変換モデルで実現した. Newsela-auto からランダムに抽出した $150 \mathrm{~K}$ を教師 データとした. ただし，構築した評価データセット に含まれるデータは除いている．教師データからは 100 単語以上の文と入出力文長比が 2 以上の文対は 除いた. その後， fastBPE ${ }^{7)}$ によりサブワードサイズ 8,000 でサブワード化を行った. その他の実験設定 は付録に示す.

## 4.2 マルチタスクモデル

マルチタスクモデルは，翻訳のみの損失，平易化 のみの損失，難易度を指定した翻訳の損失の 3 つの 損失に基づいた，次の損失関数 loss により，1つの Transformer モデルを学習する.

$
\begin{gathered}
\text { loss }=L_{M T}+L_{\text {Simplify }}+L_{C M T} \\
L_{M T}=\sum_{\left(s_{i}, s_{o}\right) \in D_{M T}} \log P\left(s_{o} \mid s_{i} ; \theta\right) \\
L_{\text {Simplify }}=\sum_{\left(s_{o}, c_{o^{\prime}}, s_{o^{\prime}}\right) \in D_{S}} \log P\left(s_{o^{\prime}} \mid s_{o}, c_{o^{\prime}} ; \theta\right) \\
L_{C M T}=\sum_{\left(s_{i}, c_{o}, s_{o}\right) \in D_{C M T}} \log P\left(s_{o} \mid s_{i}, c_{o} ; \theta\right)
\end{gathered}
$

ただし $D_{M T}$ は，JparaCrawl からランダムに抽出した 3,000K の日英対訳文対， $D_{C M T}$ は，Newsela-auto に 含まれる各英語文集合に対して，最高難易度の英語文を Google 英日翻訳で日本語に翻訳し，翻訳した日本語（原言語）と最高難易度以外の英語文（目的言語）とその難易度の三つ組 (評価データセットに含 まれるデータは除く)をランダムに抽出した $200 \mathrm{~K}$, $D_{S}$ は， $D_{C M T}$ の 200K の三つ組に対して，日本語文 を元の英語文に置き換えたデータである。また， $\theta$ はモデルパラメータ， $s_{i}$ は原言語文， $s_{o}$ は目的言語文， $s_{o^{\prime}}$ は $s_{o}$ を平易化した文， $c_{o / o^{\prime}}$ は $s_{o / o^{\prime}}$ の難易度 である。その他の実験設定は付録に示す。

## 4.3 評価指標

評価指標は, 先行研究 [4] に倣って BLEU [16] と

の文長の絶対平均誤差 MAELEN [17] も算出する. こ こで，SARI [7]を算出するためには，同一言語の，平易化前の文，平易化後の文，参照文の三つ組が必

表 3 実験結果

要になるが，従来の評価データでは原言語文と同じ 難易度の目的言語文が必ずしも与えられていない. そこで先行研究 [4] では，原言語文を機械翻訳で翻訳した文を，平易化前の文として用いている。しか し，機械翻訳の翻訳文には誤りが多く含まれるた め，先行研究の SARI は，本来評価すべき多段階難易度制御 NMT の純粋な平易化性能を評価できてい ない。一方で，本研究で作成した評価データセット には，原言語文に対応する最高難易度の英語文が付与されているため，SARIを計算する際に最高難易度の英語文を平易化前の文として与えることで適切 な SARI を算出できる。

## 4.4 実験結果

4.1 節のパイプラインモデルおよび 4.2 節のマルチ タスクモデルの性能を表 3 に示す. 表 3 より，先行研究同様，マルチタスクモデルの方がパイプライン モデルよりも BLEU が高くなった。一方で，SARI はパイプラインモデルの方が高くなった.

パイプラインモデルについては，機械翻訳部分と 多段階平易化部分それぞれ単独の評価データセッ 卜における性能を評価した．多段階平易化部分の性能評価では，各英語文集合の中の最高難易度の英語文を入力として，その他の難易度の英語文に対する 平易化性能を測った. その結果，機械翻訳部分の BLEU は $14.31 \%$ となった ${ }^{9)}$. また，多段階平易化部分の BLEU，SARI，MAELENは，それぞれ，68.40\%， $18.99 \% ， 3.98$ となった.

## 5 まとめ

本研究では，従来の評価データより適切にモデル 性能を評価可能な，多段階難易度制御 NMT のため のベンチマーク評価データセットを構築した。人手 による翻訳，不適切なデータの自動フィルタリング と最終的な人手確認を行うことで，評価データの品質を確保した.また，今後の研究のためのベンチ マーク結果として，2つの多段階難易度制御 NMT モデルを実装し，その性能を構築した我々のテスト データで評価した.

9）参考のため，Google 日英翻訳の我々の評価データセットに おける翻訳性能を測った結果，BLEU は $10.12 \%$ となった。

## 参考文献

[1] Rico Sennrich, Barry Haddow, and Alexandra Birch. Controlling politeness in neural machine translation via side constraints. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 35-40, 2016.

[2] James Kuczmarski and Melvin Johnson. Gender-aware natural language translation. In Technical Disclosure Commons, (October 08, 2018), 2018.

[3] Kelly Marchisio, Jialiang Guo, Cheng-I Lai, and Philipp Koehn. Controlling the reading level of machine translation output. In Proceedings of Machine Translation Summit XVII: Research Track, pp. 193-203, 2019.

[4] Sweta Agrawal and Marine Carpuat. Controlling text complexity in neural machine translation. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLPIJCNLP), pp. 1549-1564, 2019.

[5] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in Neural Information Processing Systems, Vol. 30, 2017.

[6] Gustavo Paetzold, Fernando Alva-Manchego, and Lucia Specia. MASSAlign: Alignment and annotation of comparable documents. In Proceedings of the IJCNLP 2017, System Demonstrations, pp. 1-4, 2017.

[7] Wei Xu, Courtney Napoles, Ellie Pavlick, Quanze Chen, and Chris Callison-Burch. Optimizing statistical machine translation for text simplification. Transactions of the Association for Computational Linguistics, Vol. 4, pp. 401-415, 2016.

[8] Fernando Alva-Manchego, Louis Martin, Antoine Bordes, Carolina Scarton, Benoît Sagot, and Lucia Specia. ASSET: A dataset for tuning and evaluation of sentence simplification models with multiple rewriting transformations. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 4668-4679, 2020.

[9] Chao Jiang, Mounica Maddela, Wuwei Lan, Yang Zhong, and Wei Xu. Neural CRF model for sentence alignment in text simplification. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7943-7960, 2020.

[10] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A fast, extensible toolkit for sequence modeling. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (Demonstrations), pp. 48-53, 2019.

[11] Dzmitry Bahdanau, Kyunghyun Cho, and Yoshua Bengio. Neural machine translation by jointly learning to align and translate. In Proceedings International Conference on Learning Representations (ICLR 2015), San Diego, CA, USA, May 7-9, 2015, Conference Track Pro- ceedings, 2015.

[12] Carolina Scarton and Lucia Specia. Learning simplifications for specific target audiences. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 712-718, 2018.

[13] Shun Kiyono, Takumi Ito, Ryuto Konno, Makoto Morishita, and Jun Suzuki. Tohoku-AIP-NTT at WMT 2020 news translation task. In Proceedings of the Fifth Conference on Machine Translation, pp. 145-155, 2020.

[14] Makoto Morishita, Jun Suzuki, and Masaaki Nagata. JParaCrawl: A large scale web-based English-Japanese parallel corpus. In Proceedings of the 12th Language Resources and Evaluation Conference, pp. 3603-3609, Marseille, France, May 2020. European Language Resources Association.

[15] Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, 2018.

[16] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, 2002.

[17] Daiki Nishihara, Tomoyuki Kajiwara, and Yuki Arase. Controllable text simplification with lexical constraint loss. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics: Student Research Workshop, pp. 260-266, 2019.

## A 付録

表 4 に 2 節で記述した問題点 2 「難易度が異なると情報が保たれない場合がある」の具体例を示す。また，表 5 に 2 節で記述した問題点 3 「文の難易度が正しいとは限らない」の具体例を示す。そして，表 6 に本研究 で評価したパイプラインモデルとマルチタスクモデルの実験設定を示す.

表 4 固有名詞の湧き出しを含むデータ例

 \\

表 5 grade level は異なるが難易度が変わらない文対を含むデータ例

 & True & True & True \\

表 6 fairseqを用いた実験設定


# 『現代日本語書き言葉均衡コーパス』に対する MIP に基づく比喻表現情報の付与

加藤祥 ${ }^{1}$ 菊地礼 ${ }^{2}$ 浅原正幸 ${ }^{3}$
${ }^{1}$ 目白大学 ${ }^{2}$ 中央大学 ${ }^{3}$ 国立国語研究所
s.kato@mejiro.ac.jp

## 概要

日本語比喻表現の実態調査を目指し，『現代日本語書き言葉均衡コーパス』に対し, 手作業で比喻表現情報付与を行った.作業対象は均衡性のある新聞・書籍・䧱誌の 34 万語とし, 言語対照のために MIP 及び MIP VU に基づく比喻表現情報付与を進めた。中村(1977)の基準を用いて，結合や種別を付与した ほか，一般的な読み手による印象評定情報も付与し た.本稿は, 作業と作業結果の基礎統計を報告する。

また，BNC に MIP に基づく情報付与を行った VU Amsterdam Metaphor Corpus との対照についても報告 する.

## 1 はじめに

現在までのところ, 日本語の比喻表現に関しては,均衡性のあるデータに基づく実態的な調査が大規模 に行われているとは言い難い。主に文学作品を用い た日本語比喻表現の収集は, 中村(1995)[1]の『比喻表現辞典』の 8,201 例をはじめ, レトリックに関す る事典やデータベースなどに見られるが，均衡性を 有した大規模な収集は行われていないためである.比喻表現の同定手法は, 選択選好(Willks ら, 2013[2]), 具象度(Turney ら, 2011[3]), 意味空間モデ ルの使用(Mao ら, 2018[4], Liu, 2020[5])などが考案さ れているものの, 大規模な日本語比喻表現を収集,調查した例としては, 現在まで, 人手による中村 (1977) [6]が最も網羅的であると考えられる。同書は,現代日本語との対照や検証の求められるデータであ るが，文学作品から収集した用例に基づく日本語比喻表現の収集手順が整備された実態調査資料である.主に近現代の文学作品 50 編から比喻的な表現を含 むと判定した 2 万の用例を収集し, 比喻表現を構成 する要素の結合 (慣用から意味的なずれのある場合) について 5,537 類型（B 型把握）を整理したほか,何らかの言語形式として比喻の把握に影響していた 359 の比喻指標要素（A 型把握），場面や文脈との 関わりにおいて比喻となる 2,434 の文脈比喻類型 (C 型把握）を示している。本書で設定された手順と類型データは, 日本語比喻表現用例の収集に有効と考 えられる。

しかし，言語対照の可能性のためには，比喻情報付与の基準として提唱された MIP（The Pragglejaz Group(2007) [7]）に基づく VU Amsterdam Metaphor Corpus の MIP VU を援用し, 日本語における比喻情報の付与手順を整備することが有用であろう．MIP による日本語比喻表現の自動検出を目標とした宮澤 ら(2016) [8]の試みでは，新聞記事に含まれる 1,100 文の動詞と目的語について 2 名の作業者により試行 した際，VU Amsterdam Metaphor Corpus の結果より も判定摇れが生じたと報告される。よって, 日本語比喻表現の実態調査を目指すためには，判定基準を 整備することはもちろん, 複数の作業者の判定摇れ の確認のみならず，一般的な読者に比喻と認識され るのかという判定なども必要と考えられる.

そこで, 日本語比喻表現の実態調査を目指し, 情報付与の手順を整備するとともに，均衡性のある日本語コーパスに対し網羅的な比喻表現情報の付与を 行うことを目指した。具体的には，『現代日本語書 き言葉均衡コーパス (以降 BCCWJ)』の分類語彙表番号が付与された新聞（以降 PN）・雑誌（PM）・書籍 (PB) サンプル (347,094 語, 以降 BCCWJ-WLSP,加藤ら 2019a[9]b[10]）を作業対象とし， MIP VU の 手順に基づいて，中村(1977) [6]の基準や類型を用い た情報付与を行う．BCCWJ-WLSP は，文脈上の語義 が人手で付与されているため, 本比喻性の判断作業 に利用することができる。 さらに，一般的な読み手 による判定情報をクラウドソーシングにより大規模 に収集する。

日本語比喻表現の実態調查が可能となれば，VU Amsterdam Metaphor Corpus などにおける英語メタフ

アーなどとの対照や, 比喻に関する理論検証が可能 となることが期待される.

## 2 比喻情報付与作業

## 2.1 比喻情報付与手順

VU Amsterdam Metaphor Corpus は, BNC-Baby コ 一パスから抽出した 4 レジスタ約 19 万語について, Steen ら(2010) [11]が The Pragglejaz Group(2007)の比喻情報付与手順である MIP（Metaphor Identification Procedure）を拡張した MIP VU によってメタファー の判定（MRW; Metaphor Related Word）を付与した ものである.また, Semino ら(2005) [12]が特定コー パスで示したメタファー類型 (combining と mixing) や, MIP からの拡張として付与された MFlag (指標)，概念マッピング情報（擬人化）を用いた比喻の種別分類も試みられている.

よって, 本稿の作業は, MIP を用いて比喻性に関 わると判定された短単位を抽出し, VU Amsterdam Metaphor Corpus を参照した MRW としてマークする ことにより進めることとした. BCCWJ-WLSP は, 作業対象範囲の全ての自立語には分類語彙表番号, 助動詞には用法が，人手で文脈上該当する意味におい て付与されており, 選択制限違反の判断時に参照可能である. このほかの参照資料及び付与する日本語 の比喻情報としては, 中村(1977) [6]の指標, 比喻種別，結合等を援用することとしたほか，動詞の選択制限確認には宮島(1972) [13]の格情報, 語義及び歴

用いた。

なお, 本手順は, 加藤ら(2020) [14]の指標比喻デー タベースを構築した際にも同様に比喻表現の認定を 手作業で行うことにより, 実作業による微調整を加 えながら整備を進めたものであり, 概要は以下の通 りであるii.

(1) 当該形態素が文脈上，比喻表現に関わるかどう か判定する. 比喻表現に関わると判断された場合は，当該形態素をマークする.

(2) 比喻表現の喻辞と被喻辞を抽出するとともに,把握の根拠として,
- $\mathrm{A}$ 型 : 比喻表現の認識に関わった「何らか の言語形式」に該当する短単位の範囲に

「MFlag（指標）」を付与する.
- B 型：異質性を読んだ「結合」（選択制限違反 $\left.{ }^{i i i}\right)$ が確認できれば「結合」を記述する.結合または異質な表現の該当部には，比喻表現の種別として，結合（何らかの類似性 に基づく転換，隠喻）・換喻（事物・事象 の隣接性という類縁関係に基づく質的転換）・提喻（類と種という類的転換）およ び結合比喻の下位分類（擬人化・具象化な どiv) を付与する.

(3)「結合」の構成要素に分類語彙表番号を付与す る.（意味上は別の分類番号が付与されている ため, 選択制限違反となる番号を再付与する)

(4) 用例 (文脈の把握が可能な 2 3 文程度まで) お よび個別の「結合」に一般の日本語母語話者の 判定を付与する.

## 2.2 付与した比喻情報例

BCCWJ の対象範囲に付与した情報は以下の通り である。一部に付与漏れや作業中の部分が残るが，概ね情報付与が終了している（2021 年 12 月現在).
- 比喻を構成する要素の結合類型と分類語彙表番号 : 手順(2)の B 型および(3)
- 種別情報（擬人化・具象化などの隠喻（類似性の転換）における概念マッピング，換喻，提喻など) : 手順(2)の B 型
- 指標となった言語形式, その他比喻に関わる と考えられる語句 : 手順(1)および(2)の A 型
- 比喻度（クラウドソーシングによる数十名規模の被験者実験による判定結果 (加藤・浅原別発表[15]）として，0～5の 6 段階の平均值 を示す）：手順(4), 以下に付与した評定値を 示す.

（自）自然さ

iii 選択制限違反の判断に際しては，参照可能な語義情報 を活用する（詳細は加藤ら(2020)の 3.1 節（pp.861-

862)).

iv 付与した種別の詳細は, 加藤ら(2020)の 3.5 節内「種

別」（p.868）.

（わ）わかりやすさ

（古）古さ

(新）新しさ

（比）比喻性

情報付与結果例を以下に示す。例文中の【】内 はMRWとしてマークされている部分を示す.

[ ] 内は分類語彙表番号であり, 比喻性の判定さ れた要素の結合には, 文脈上の BCCWJ-WLSP と異 なる場合, 再付与した番号 (類型化のために固有名詞等は概念化も行った）を記述してある.

(1) 今年から家の場所や危険個所の【確認に重点を 置く】。(PN1a_00002)

［1.3062に 1.3070 を 2.1513］（具象化）

（自） 4.25 （わ） 4.05 （古） 2.30 （新） 1.65 （比） 1.75

(2)こんな英語のことわざが書かれた【額に出会っ】 たのです。(PB11_00013)

[1.4570 に 2.1550]（擬人化）

(自) 2.35 (わ) 2.20 (古) 1.75 (新) 1.00 (比) 1.30

(3) 急速な変化に【戸惑う声もある】。(PN1a_00005) ［2.3067 1.3061/1.3061 が 2.1200］（換喻）

（自） 4.00 （わ） 3.55 （古） 2.70 (新） 1.50 (比） 2.35

(4)【メーカー】は (中略) 容器を【作る】ことにな るだろう。(PM23_00007)

[1.2450 が 2.3860］（換喻）

（自） 3.75 （わ） 3.50 (古) 1.80 (新) 2.05 (比) 0.65

(5) 浦和レッズ一柏レイソルのサテライト（二軍）

【戦】(PN2c_00002)（提喻）

（自） 3.60 (わ） 3.15 (古) 1.65 (新) 2.35 (比) 1.25

(6) 大きな【ギャップが生まれ】ている(PN2c_00006) [1.1830 が 2.5710］（擬生）

（自） 3.85 （わ） 3.80 (古） 1.9 (新） 2.20 (比） 1.95

(7)【脚が棒になる】まで歩き回ります(PM51_00077) ［1.5603 が 1.4150 に 2.1500］（転換・慣用）

（自） 4.35 （わ） 4.50 (古） 3.30 (新) 0.65 (比) 4.45

## 3 結果

## 3.1 比喻情報付与結果

比喻情報付与結果（データ画面例は付録の図1を参照）を示す. 表1では，レジスタ別に語数および，結合（選択制限違反）数と比喻性に関わるとマークさ れた語 (MRW) 数, 指標 (MFlag) 数を示している. なお, 表 1 は結合（選択制限違反）数を示したが,作業者が選択制限違反を認めなかった場合（換喻や 提喻などは比喻性の判断が作業者によって摇れる場合もある）や結合の取得しにくい指標比喻などの場合，結合が取得されていないことがある。また，複数の種別が記載されている場合もあるため, 比喻表現数は結合数と一致するものではない.

## 表1 比喻情報付与結果の統計

新聞 (PN) において結合数が最も多いが, MRW と してマークされた語数は雑誌 (PM) が最も多い. 書籍（PB）では結合と MRW のどちらも少なく, 比喻表現が少ない傾向が確認される。また，比喻指標と して抽出された要素は結合の確認された比喻表現に おける 3\%程度と僅かであり, いわゆる直喻の出現頻度は比喻表現中においても低い割合であることが わかる。

表 2 には，レジスタ別の比喻表現種別を示す。

表 2 レジスタ別の比喻表現種別の統計

表 2 では, 1 つの結合に対し「文脈・慣用」など のように複数種別が記載されていた場合， 2 つ目ま でを取得して集計した。新聞は換喻や提喻が他レジ スタよりも多い傾向があり，いわゆる隠喻（類似性 に基づく転換）も最も多く取得されており，比喻表現の取得される頻度が高い. 但し, 文脈比喻は少な い傾向にある.雑誌はいわゆる隠喻の頻度が高いが，慣用表現はやや低く, 文脈比喻が多く見られる傾向 が確認されている。書籍は, 種別の分布としては雑誌に似るものの, 雑誌との違いとして, 慣用表現の 割合がやや高い傾向がある.

また,類似性に基づく転換(いわゆるメタファー)

の下位種別を表 3 に示す。新聞から取得されるメ夕 ファー表現の 7 割が具象化であるため, 一般的に比喻表現とは意識されにくいと考えられる．新聞は，慣用表現の出現頻度も高い（表 2 参照）ことから， いわゆる文章技巧的な比喻表現が出現しにくいこと が, 新聞の特徵と考えられる. 反対に, 書籍では擬人化のようにわかりやすい比喻表現の頻度が高いと もいえる。しかし，一般的な読み手による評定値で は, (3)や(7)のような慣用的な用例において自然さや わかりやすさとともに比喻性が高く, (4)のような換喻用例において比喻性が低く評定される傾向が見ら れる. (2)や(6)のような擬人 (生) 化の用例は比喻性 の高さが期待されるが, (2)のようにわかりやすさの 低い例では，比喻性も低く評定される傾向がある。

(1)のような具象化や(5)のような提喻の例からも, わ かりやすさが比喻性に影響する可能性が考えられる。

## 表 3 種別「類似性（隠喻）」の下位種別の統計

## 3.2 英語コーパスとの対照

Steen ら(2010)の BNC-baby に情報付与した VU Amsterdam Metaphor Corpus と対照することが可能で ある。表 4 に，BNC-babyvi と BCCWJviiの付与結果を あわせて示す. なお, Steen ら(2010)は, borderline case を“WIDLII’と分けて示している.ここでは，BCCWJ の付与結果についても，作業者間で合意のなかった 比喻表現に関わる短単位（1 名または 2 名のみが MRW としてマークした短単位) について, WIDLII に分類してある。

表 4 英語コーパスと本稿コーパス

M-Flag（指標）は，英語コーパスと同程度の割合 となっていたが，MRW としてマークされた語数に は差が見られる。本作業は短単位へのマークである ことや，日英語の品詞差により，単純に対照するこ とはできないが，作業者間の摇れや作業漏れの可能性も考えられるため, 付与作業漏れの整備とともに,今後確認を進める予定である.

## 4 おわりに

BCCWJ の約 34 万語に比喻表現情報の付与を行っ た．MIPに基づいた比喻表現抽出を行うことで，他言語の比喻表現情報付与コーパスとの対照が可能で ある. 作業対象には, 文脈情報として NDC の補助分類や新聞記事内容や種別の情報が付与されているた め，種類の異なるコーパスとも，該当部分の対照が 可能となっている.

また，比喻表現に関する情報として，種別や印象評定等を付与しており, 日本語比喻表現の実態調査 に有用なデータと期待される.

$ 但し, BCCWJ の PNについては, 記事情報が付与され ており（加藤ら 2021），新聞においても記事の内容や種類によって比喻表現の分布には差異が見られる.
}

## 謝辞

本研究は JSPS 科研費 JP18K18519 の助成を受けた ものです.

## 参考文献

1. 中村明.『比喻表現辞典』, 1995 年, 角川学芸出版. 2. Willks, Yorick, Galescu, Lucian, Allen, James, and Adam Dalton. "Automatic Metaphor Detection using Large-Scale Lexical Resources and Conventional Metaphor Extraction," Proceedings of the Workshop on Metaphor in NLP, 2013, 36-44.

3. Turney, Peter D., Neuman, Yair, Assaf, Dan, and Yohai Cohen. "Literal and Metaphorical Sense Identification through Concrete and Abstract Context," Proceedings of the 2011 Conference on Empirical Methods in Natural Language Processing, 2011, 680690.

4. Mao, Rui, Lin, Chenghua, and Guerin, Frank, "Word Embedding and WordNet Based Metaphor Identification and Interpretation", Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), 2018, 1222-1231. 5. Liu, Jerry, O'Hara, Nathan, Rubin, Alexander, Draelos, Rachel, and Rudin, Cynthia. "Metaphor Detection Using Contextual Word Embeddings From Transformers", Proceedings of the Second Workshop on Figurative Language Processing, 2020, 250-255. 6. 中村明.『比喻表現の理論と分類』国立国語研究所報告 57, 1977 年, 秀英出版.

7. Pragglejaz Group. "MIP: A Method for Identifying Metaphorically Used Words in Discourse," Metaphor and Symbol 22, 1, 2007, 1-39.

8. 宮澤彬, 吉田奈央, 宮尾祐介.「日本語メタファ ーコーパス作成のためのガイドライン」『言語処理学会第 22 回年次大会発表論文集』, 2016 年, 150153.

9. 加藤祥, 浅原正幸, 山崎誠. 「『現代日本語書き言葉均衡コーパス』新聞・書籍・雑誌データの助動詞 に対する用法情報付与」『日本語学会 2019 年度春季大会予稿集』, 2019 年 a, 161-166.

10. 加藤祥, 浅原正幸, 山崎誠.「分類語彙表番号を 付与した『現代日本語書き言葉均衡コーパス』の新聞・書籍・雑誌デー夕」『日本語の研究』2019 年 b, 15( 2): 134-141.

11. Steen, Gerard J., Dorst, Aletta G., Herrmann, Berenike, Kaal, Anna, Krennmayr, Tina, and Trijntje Pasma. A Method for Linguistic Metaphor Identification; From MIP to MIPVU, John Benjamins Publishing Company, 2010.

12. Semino, Elena. The Metaphorical Construction of Complex Domains: The Case of Speech Activity in English, Metaphor and Symbol 20, 1, 2005, 35-69. 13. 宮島達夫. 『動詞の意味 - 用法の記述的研究』国立国語研究所報告 43, 1972 年, 秀英出版.

14. 加藤祥，菊地礼，浅原正幸.「『現代日本語書き 言葉均衡コーパス』に基づく指標比喻データベー

ス」『自然言語処理』2020 年, 27(4):853-887.

15. 加藤祥, 浅原正幸. 「『現代日本語書き言葉均衡コーパス』に対する印象評定情報付与」『言語処理学会第 28 回年次大会発表論文集』, 2022 年, 発表予定.
付録

図 1 情報付与結果の例（作業画面）