# 上場会社開示資料の日英対訳コーパスの自動生成に関する検討

土井惟成大西恒彰命苫昭平高頭俊
株式会社 日本取引所グループ
\{n-doi, n-onishi, s-meitoma, s-takato\}@jpx.co.jp

## 1 はじめに

東京証券取引所 (以下，東証) における海外投資家 のプレゼンスは年々高まっている。東証が公表して いる株式分布状況調査 [1] によると, 2019 年度にお ける日本の上場会社の株式に対する外国法人の保有比率 (時価総額に対する金額ベース) は約 $30 \%$ に及ん でいる。しかしながら, 2018 年に TDnet ${ }^{1}$ で開示さ れた，適時開示資料をはじめとする上場会社開示資料 (以下，開示資料) において，英語による開示資料 の占める割合は約 11 \%に留まっている.

このような状況を踏まえ，海外投資家による開示資料の利便性を改善するための手段として，機械翻訳の活用が考えられる [2]. ニューラル機械翻訳モ デル [3] (以下, NMT モデル) による機械翻訳は, 従来の機械翻訳モデルより翻訳精度が高いことで知ら れている。一方で, 専門用語の多い特定分野の文を 対象にすると, 汎用的な NMT モデルでは翻訳精度 が低くなる傾向にある [4]. また, NMT モデルの学習は対訳コーパスを用いて行われるため，対訳コー パスの規模や品質が翻訳精度に影響を与えることが 知られている [5].

本研究では, 2019 年に TDnetで開示された, PDF 形式の開示資料を対象に，約 23 万文対の日英対訳 コーパス (東証適時開示対訳コーパス: ParaTDC)を 機械的に生成した. その後, ParaTDC の有用性の評価のため, 汎用的な NMT モデルを対象に本コーパ スを用いて追加学習を行うことでカスタム翻訳モデ ル2)を作成し, その翻訳精度を評価した。実験の結果，日英の文の類似度で閾値を設けた対訳コーパス を用いた追加学習によって, 追加学習前と比較して BLEU スコア [6] の上昇が確認できた。

## 2 関連研究

本研究に関連する研究として, (1) 開示資料の一 つである CG 報告書を対象としたカスタム翻訳モ デルの検討に関する研究 [7], (2) 開示資料を対象と した人手による日英対訳コーパス (TDDC) の作成に 関する研究 [8], (3) Web サイトのクロールで収集し た HTML ファイルを対象とした日英対訳コーパス (JParaCrawl)の自動生成に関する研究 [9]がある．以下では，これらについてそ抽紹介する。

(1) の研究では, 160 社の日英の CG 報告書を対象 に，約 4 万文対の対訳コーパスを人手で作成し，力 スタム翻訳モデルを評価した。本研究と (1)の主な 差異は, (1)の対象とする開示資料が限定的である点 と, 作成手法が人手である点の 2 点が挙げられる.

(2) の研究では, 2016 年 1 月から 2018 年 6 月まで の 2.5 年間に TDnet で開示された PDF 形式の開示資料を対象に，人手によって約 140 万文対の日英対訳 コーパス (TDDC) を作成した。本研究と (2) の主な 差異は, (2) の対象とする文書の開示期間と, 作成手法が人手である点の 2 点が挙げられる.

(3) の研究では, Webクロールで収集した HTML ファイルを対象に，機械的な手法で作成された，約 1,000 万文対の日英対訳コーパス (JParaCrawl)を作成 した. ParaTDC と JParaCrawl は, 大量の日英の文書 から自動的に作成した日英対訳コーパスという点で 共通している。一方で, 本研究と (3) の主な差異は, (3) の対象とする文書が HTML ファイルである点と,文単位のアライメント手法に内製の NMT モデルを 用いている点の 2 点が挙げられる.

## 3 対訳コーパス生成の流れ

2019 年における TDnet の開示資料の件数は約 10.3 万件であり，その内，日本語は 9.2 万件，英語は約 1.1 万件である. 本研究では, これらの開示資料を 源泉として以下の各節に述べる処理を実行した。

## 3.1 暗号化・画像化された PDF の除外

PDF ファイルからのテキスト抽出を防ぐ方法とし て，コピー禁止の設定，パスワードや電子署名によ る PDF 文書の暗号化, テキストの画像化が挙げられ る. 手書き文字認識等の技術を用いることで，これ らの処理が施されている PDFファイルからのテキ スト抽出が可能ではあるものの, その精度は必ずし も高いとは限らない, そのため, 本研究では, これ らの処理が施されている PDFファイルは，コーパス の源泉データの対象から除外した。

## 3.2 日英の文書のアライメント

対訳コーパスの源泉となる開示資料に対して，文書単位での日英のアライメントを実施した. TDnet の開示資料には, PDF 形式の開示資料本体とは別 に, 開示日時やタイトル等のメタデータが存在す る.このメタデータから, 開示資料の言語 (日英) は 判別できるが，日英の対応関係が含まれていないた め, 別途の手段による日英の文書のアライメントが 必要となる。また, 英語の開示資料は, 必ずしも対応する日本語の開示資料と同日に開示されるとは限 らず，日本語より遅延して開示されることがある.本研究では，まず，英語の各開示資料に対して， 2019 年 1 月 1 日から各開示日までに，その銘柄コー ドの上場会社が開示した全ての日本語の開示資料 を出力した. その後, 日英のタイトルの分散表現を 算出し, 英語の開示資料のべクトルとのコサイン類似度が最大となる日本語の開示資料を探索するこ とで，文書のアライメントを実現した。この時，テ キストの分散表現の算出に TensorFlow の Embedding メソッド3を使用し，分散表現のモデルには， TensorFlow $の$ universal-sentence-encoder-multilingual ${ }^{4}$ ) を使用した。

## 3.3 PDF テキスト抽出

PDF ファイルには，セクション，見出し，表，段落などの論理的な構造を追加するための夕グを付与 することが可能であり，このような夕グが付与され た PDF ファイルをタグ付きPDF と呼ぶ。しかしな がら，開示資料における夕グ付きPDF の割合は一定程度に留まっており (2018 年の開示資料では $28 \%$ 程

度)，また，夕グ付き PDFであっても，必ずしも全 てのタグが適切に付与されているとは限らない.

そこで，本研究では，PDF形式の開示資料からの テキスト抽出には，文書中の各文字の座標情報等 を踏まえて，一連のテキスト (以下，テキストボッ クス) を抽出することが可能なソフトウェアを利用 し, テキストボックス単位でテキストを抽出した。具体的には，PDF ファイル中の文字について，文字間隔が閾値以下同士の文字は，同一の行に含まれる 一連のテキスト (以下，テキストライン)に属すと 見なし，行間隔が閾値以下同士のテキストライン同士は同一のテキストボックスに属すと見なしてい る.このような処理を有するソフトウェアとして， PDFMiner[10] が知られている. なお, 本処理では,文書中の 1 パラグラフが 1 つのテキストボックスと して抽出されるため，1つのテキストボックスに 2 文以上が含まれることがある.

## 3.4 正規化処理

開示資料から抽出したテキストを対象に，以下を はじめとする正規化処理を実行した。

特定文字の置換 長音記号や全角チルダをはじめ とする一部の記号文字を，類似する形状の記号文字 に置換した。また，CJK 部首補助や CJK 互換漢字は 後述する NFKC 正規化によって正規化されないこと から，本処理においてそれぞれ対応する CJK 統合漢字へ置換した。

Unicode 正規化 丸数字 $(U+2460-U+2473), 2$ 点 リーダ (U+2025)，3 点リーダ (U+2026)を除く文字 を対象に，NFKC[11]による Unicode 正規化を実行 した。これにより，全角英数字を半角に変換したほ か，康熙部首を CJK 統合漢字に変換した。康熙部首 とは，部首を表す漢字の一種であり，一部の PDF 変換ソフトウェアにおいて, CJK 統合漢字で入力した 文字が PDF ファイルでは康熙部首に変換されるこ とが知られている [12].

制御文字等の削除 制御文字に相当する文字等を 削除する目的で, Unicode character property $の$ General Category[13] が Cc，Cf，Cn，Coの文字を削除した.

余分なスペースの削除 以下の処理を行うこと で，余分なスペースを削除した。

・文頭及び文末のスペースを削除

・連続するスペースを 1 つのスペースに置換

$\cdot$「平仮名, 片仮名, CJK 統合漢字, 全角記号」の 間のスペースを削除

-「平仮名, 片仮名」と「半角濁点 (U+FF9E), 半角半濁点 (U+FF9F)」の間のスペースを削除し， NFKC 正規化を実行

## 3.5 日英の文のアライメント

アライメントされた日英の文書ごとに，日英の文 のアライメントを行った。本処理では，まず，和文 と英文のそれぞれに対して分散表現を算出した。こ の時使用したモデルは，3.2 節における夕イトルの 分散表現の算出に使用したモデルと同様である.こ の時, 日本語側の文については, 日本語の文字を含 まない文 (平仮名, 片仮名, $\mathrm{CJK}$ 統合漢字のいずれ も含まない文) は処理の対象から除外した. その後,英文ごとに, 英文のベクトルとのコサイン類似度が 最大となる和文のベクトルを探索し，それを対訳文 として選定した。

この時, 文書全体での類似度の組み合わせの最適化等は行っていない。 そのため, 文書中に複数出現 する同一の和文に対して異なる英文がアライメント されることや，英文がアライメントされない和文が 生じることがある.

また，本処理の実行に際しては，計算コスト上の 理由から, 1 文書当たり 10 分を処理時間の上限とし て設け，それ以降の処理を中断した。

## 4 ParaTDC の概要

本研究では, 3 章の処理を通じて, 2019 年の開示資料を源泉とした，約 23 万文対の日英対訳コーパ スである ParaTDC を生成した，ParaTDCにおける対訳数や平均文字列長等の詳細を表 1 に示し, 英文に おける単語数の分布を図 1 に示す。

TDDC が 2.5 年分の開示資料を源泉とした 140 万文対の対訳コーパスであることを踏まえると， ParaTDC は開示資料 1 年分当たりの対訳数が比較的少ないと言える. この理由としては, 3.3 節の PDF テキスト抽出において， 1 行中に複数の文を含むこ とを許容していること，また， 3.4 節の文アライメ ントにおいて, 10 分以上の処理を途中で中断してい ることが考えられる。

また, ParaTDC は, 日英の対訳に加え, 源泉の開示資料の ID，開示日時，発行体の銘柄コード， 3.4 節で算出したコサイン類似度 (以下，スコア) で構成 されている，スコアは必ずしも翻訳の正確性を表し ているとは限らないものの, 対訳コーパスからの) イズ除去において有用性が期待される。表 1 ParaTDC の統計情報. 括弧内の数値は全対訳数に占

図 1 ParaTDC の英文における単語数の分布

## 5 実験

ParaTDC の有用性を検証するため，ParaTDC と TDDC (2016 年及び 2017 年の開示資料) のそれぞれ を用いてカスタム翻訳モデルを作成し，同一のテス トデータを用いて翻訳精度の向上を検証する。 5.1 節では本実験の実験設定について述べ，5.2 節では 実験結果と考察について述べる。

## 5.1 実験設定

本実験では，汎用的な NMT モデルに追加学習を 行うことでカスタム翻訳モデルを作成するサービス として, Microsoft が提供する Custom Translator ${ }^{5}$ を 利用した。また，翻訳精度の評価指標として BLEU スコアを採択した。

ParaTDC を用いた追加学習では，Devには訓練 データからランダムに選出した $5 \%$ 程度の対訳 (上限 2,500 文対)，Test には TDDC で提供している，2018 年 1 月から同年 6 月の開示資料から作成した 3,277 文対を用いた，TDDCを用いた追加学習では，Train には 2016 年と 2017 年の開示資料から作成した対訳 コーパス,Devには 2018 年 1 月から同年 6 月の開示資料から作成した 3,967 文対, Testには ParaTDC と 同一の 3,277 文対を用いた。この時, Dev と Test は,作成元の開示資料がそれぞれ異なることを確認して いる. なお, Custom Translator の仕様として, 英単

表 2 実験結果. 閾値を設けている場合，スコアが閾値未満の対訳を元の対訳コーパスから除外していることを意味する。

語数が 100 個以上の対訳や，和文が 2,000 文字以上 の対訳は自動的に削除される [14].

ParaTDC 及び TDDC には重複する対訳が含まれて おり, 追加学習に際してはこれらを除外した。ま た，ParaTDC に重複して出現する和文については， スコアが最も大きい英文のみを残すことで，各和文 に対して対応する英文が一意に定まるようにした。

また，本実験では，ParaTDC のスコアによるノイ ズ除去の有用性の検討のため, 複数のパターンでス コアに閾値を設けた対訳コーパスを用いてカスタム 翻訳モデルを作成し，翻訳精度を評価した。

## 5.2 実験結果及び考察

各追加学習で用いたデータセットの内訳や BLEU スコアによる評価結果を表 2 に示す。

ParaTDC による追加学習により, 多くの閾値のパ ターンにおいて BLEUスコアの上昇が見られた. 特 に，スコアによる閥値を $60 \%$ とした時の上昇量が最 も大きく, 2.7 ポイント程度の上昇を確認した。

一方で, TDDC では BLEU スコアが 8.8 ポイン 卜程度と, ParaTDC と比較すると大幅に上昇した。 ParaTDC による翻訳精度の改善が TDDC に及ばな かった原因の一つに，対訳コーパスの規模が考え られる. 4 章で述べたとおり, ParaTDC の作成に当 たっては， 1 文中に複数の文が含まれる可能性があ り, また, 文書中の全ての文に対してアライメント を行っているとは限らないため, 今後はこれらの解決が課題となり得る。

スコアによる閾値に着目すると，閥値を $80 \%$ にし た時の BLEU スコアはベースラインよりも悪化し た.これは, 閾値を上げることによって追加学習に 用いる学習データが減ったことに加え, アライメン トのスコアの高い対訳が, 必ずしも正しい対訳であ るとは限らないことに起因していると推察する。表 3 に，ParaTDC におけるスコアの高い対訳の例を示表 3 アライメントのスコアが高い対訳の例

 & the GRESB website & \\
& . & \\

す.ParaTDCでは，表 3 の例 1 のとおり，短文のア ライメントは比較的正確であり, そのスコアは高い 傾向にある。一方で, 個人名 (例 2) や施設名 (例 3) をはじめとする固有名詞, 及び，金額 (例 4) や日付 (例 5)をはじめとする数値表現において，アライメ ントが誤っているにもかかわらず高いスコアを示 している対訳が散見された。この原因として，固有名詞や数値表現の分散表現では, それらが異なる値 であるにもかかわらず， ベクトルとしては似通って しまうことが挙げられる。これを回避する方法とし て，固有表現抽出の利活用が考えられる。

## 6 おわりに

本研究では, PDF 形式の上場会社開示資料から機械的に対訳コーパスを生成し，それを用いた追加学習によるカスタム翻訳モデルの翻訳精度を評価する ことで，ParaTDC の有用性を評価した。実験から， ParaTDC による追加学習によって翻訳品質の改善を 確認した。一方で, 対訳コーパスの規模及び品質に は改善の余地があると考えられる。

東証上場会社は毎年膨大な量の開示資料を開示し ていることから，引き続き，これらの分析を進める ことで，自然言語処理による開示資料の利活用の可能性について検証を進めたい.

## 謝辞

ParaTDC の作成に当たっては, 東証が 2020 年 4 月 から同年 8 月に実施した, 東証適時開示コーパスに 関する限定公開実証実験6)の参加者各位より有益な ご助言を戴いた。ここに記して謝意を表する。

## 参考文献

[1] 株式会社東京証券取引所. 2019 年度株式分布状況調査, 2020. https://www.jpx.co.jp/markets/ statistics-equities/examination/01.html.

[2] 山藤敦史. 開示資料と翻訳. AAMT 2019,Tokyo 〜機械翻訳最前線 , 2019.

[3] Ilya Sutskever, Oriol Vinyals, and Quoc V. Le. Sequence to sequence learning with neural networks. In Proceedings of the 27th International Conference on Neural Information Processing Systems - Volume 2, NIPS'14, pp. 3104-3112, Cambridge, MA, USA, 2014. MIT Press.

[4] Philipp Koehn and Rebecca Knowles. Six challenges for neural machine translation. In Proceedings of the First Workshop on Neural Machine Translation, pp. 28-39. Association for Computational Linguistics, 2017.

[5] Rico Sennrich and Biao Zhang. Revisiting low-resource neural machine translation: A case study. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 211-221, Florence, Italy, July 2019. Association for Computational Linguistics.

[6] Kishore Papineni, Salim Roukos, Todd Ward, and Wei jing Zhu. Bleu: a method for automatic evaluation of machine translation. pp. 311-318, 2002.

[7] 土井惟成, 近藤真史, 山藤敦史. コーポレート・ガバ ナンス報告書における機械翻訳の検討. 言語処理学会第 25 回年次大会 (NLP2019), pp. 926-929, 32019.

[8] Nobushige Doi, Yusuke Oda, and Toshiaki Nakazawa. TDDC: Timely disclosure documents corpus. In Proceedings of the 12th Language Resources and Evaluation Conference, pp. 3719-3726, Marseille, France, May 2020. European Language Resources Association.

[9] Makoto Morishita, Jun Suzuki, and Masaaki Nagata. JParaCrawl: A large scale web-based English-Japanese parallel corpus. In Proceedings of The 12th Language Resources and Evaluation Conference, pp. 3603-3609, Marseille, France, May 2020. European Language Resources Association.

[10] Yusuke Shinyama. PDFMiner, 2016. https://euske. github.io/pdfminer/.

[11] Ken Whistler. UAX \#15: UNICODE NORMALIZATION FORMS, 2020. https://www.unicode.org/reports/ tr44/.

[12] Create PDF, why KANJI 9AD8(高) will be changed to $2 \mathrm{FBC}($ 高) when Meiryo UI ? - Adobe Support Community - 10625575, （2021-01 閲 覧）. https://community. adobe.com/t5/acrobat/createpdf-why-kanji-9ad8-\%E9\%AB\%98-will-be-changedto-2fbc-when-meiryo-ui/td-p/10625575?page=1.

[13] Ken Whistler. UAX \#44: UNICODE CHARACTER DATABASE, 2020. https://www. unicode.org/ reports/tr15/.

[14] データのフィルター処理 - カスタムトランスレー ター - Azure Cognitive Services | Microsoft Docs, (202101 閲 覧）. https://docs.microsoft.com/ja-jp/ azure/cognitive-services/translator/customtranslator/data-filtering.


# 日本語 Wikipedia の編集履歴に基づく 入力誤りデータセットと訂正システムの改良

田中佑 $\dagger$ 村脇有吾 $\dagger$ 河原 大輔 $\dagger$ 黒橋禎夫 $\dagger$
†京都大学 大学院情報学研究科 $\ddagger$ 早稲田大学 基幹理工学部
\{ytanaka, murawaki, kuro\}@nlp.ist.i.kyoto-u.ac.jp dkw@waseda.jp

## 1 はじめに

文章執筆時に発生する入力誤りによって，人はス ムーズに文章を読むことを妨げられ，計算機は正し く解析することを妨げられる。人が文章を書く際,入力誤り訂正を行うシステムを用いれば，その発生 を抑えることができ，計算機においても，システム を事前に適用することで, 解析誤りの減少が見込め るため, NLPにおいても重要である.

入力誤り訂正の一種であるスペルミス訂正におい て，ニューラルモデルは成功を収めており [1]，入力誤り訂正システムの構築に有望であると考えられ る. ニューラルモデルは多量の学習データを必要と するため，ニューラル入力誤り訂正システムの実現 の重要課題は多量の入力誤りとその訂正ぺアを用意 することである.

我々は Wikipedia の編集履歴から約 50 万文規模 の日本語入力誤りデータセット (JWTD v1; Japanese Wikipedia Typo Dataset version 1) ${ }^{1)}$ 構築した [2]. JWTD v1 は誤字・脱字・衍字・漢字誤変換の 4 種類 の日本語入力誤りからなるが, 転字 (transposition) [3] といった代表的な入力誤りを収集していなかった. データセット構築手法の評価をクラウドソーシング を用いて行っているが，再現率については評価でき ていなかった。また, ベースラインとして LSTM モ デルを用いた訂正システム実験も行ったが，不十分 な精度であった。

本研究では，JWTDv1で収集していない転字など の入力誤りを新たに収集し，フィルタリングの一部 を改良して, 約 70 万文規模の JWTD v2 を構築した。提案手法とは別に入力誤りを網羅的に収集し，それ を用いて評価を行った。JWTD v2を用いて, seq 2 seq 事前学習モデルである BART [4]を学習し, 訂正シ

1）http://nlp.ist.i.kyoto-u.ac.jp/?日本語 Wikipedia入力誤りデータセット
ステム実験を行い，より強力なベースラインとし た。漢字の読み推定を同時に学習する実験を行い, ベースラインと比較した。最後に入力誤り認識にお いて他の校正システムとの精度比較を行った。

## 2 関連研究

公開されている日本語入力誤りデータセットは JWTD の他に, GitHub Typo Corpus [5] がある.これ は $\mathrm{GitHub}^{2}$ の commit ログから構築した多言語入力誤りデータセットである．日本語データのサイズは 1,500 文ほどであり, ニューラルモデルの学習には 十分なサイズではない，そのため，本研究ではテス トセットの一つとして利用した。

BART は Transformer [6] を用いた seq2seq モデル であり，大規模な生コーパスで事前学習した後に，各タスクで fine-tuning するモデルである. Katsumata らは BART を用いて英語の文法誤り訂正を行って おり，事前学習済み BART を文法誤り訂正タスクで fine-tuning するというシンプルな手法ながら, 既存 の SOTA に近い結果が得られたと報告している [7].我々は文法誤り訂正を入力誤り訂正に近いタスクと 考え，ベースラインとして同様の手法で入力誤り訂正実験を行った。

## 3 日本語における入力誤り

日本語における入力誤りは様々なバリエーショ ンが考えられるが, 本研究でデータ構築に利用す る Wikipedia の編集履歴には，編集のタグが存在し ないため，入力誤り全てを取り出すことは容易では ない。そこで，本研究では日本語における入力誤り のうち，表 1 のような，誤字・脱字・衍字・転字・漢字誤変換（以下，誤変換と呼ぶ）の 5 種類を対象 に収集した。ここで，転字・衍字 (b) ・誤変換 (b) は JWTD v1 では収集しておらず，本研究で新規に収集

2) https://GitHub.com

} & \multirow{7}{*}{  } \\

表 1 本研究が対象とする入力誤りカテゴリ

した入力誤りである．誤字は 1 文字の入れ替え，脱字は 1 文字の抜け, 衍字 (a) は余分な 1 文字の挿入,衍字 (b) は直前の文字列と一致する 2 文字以上の余分な文字の挿入, 転字は隣接する 2 文字間の転置,誤変換（a）は同一の読みを持つ漢字の入れ替え，誤変換（b）は近い読みを持つ漢字の入れ替えの誤り である.

## 4 データセットの構築

データセットの構築では, Wikipedia の編集履歴 から入力誤りとその訂正文ぺアの候補を取り出し, その後, 入力誤り訂正ではないと考えられる編集を フィルタリングした。

## 4.1 Wikipedia マイニング

Wikipedia の編集履歴から, 入力誤り訂正の可能性がある文ぺアを以下の方法で取り出す3）.

1. Wikipedia の全ての記事の全ての版において、編集前と編集後の差分をとり、編集箇所を持つ文 ペアを取り出す.

2. 編集箇所が以下の条件を満たす文ぺアを取り 出す.

誤字編集箇所における文字単位編集距離が 1 , 編集箇所の文字数変化が 0 , 編集箇所の文字 は前後ともひらがな又はカタカナ

脱字編集箇所における文字単位編集距離が 1 , 編集箇所の文字数変化が 0 , 編集箇所の文字 は前後ともひらがな又はカタカナ

衍字 (a) 編集箇所における文字単位編集距離が 1 , 編集箇所の文字数変化が -1 , 削除文字 はひらがな又はカタカナ

衍字 (b) 編集箇所がその直前もしくはその 直後の文字列と一致する, 編集箇所の文字数変化が -1 以下, 削除文字は編集箇所の文字数変化が -1 ならば漢字， -2 以下ならばひらがな又

3）JWTD v1 と同様に, undo や revert された版を取り除く, 編集がループしている文ぺアを取り除く, 編集が推移している 文ペアは統合するなどの操作も行っているが, 紙面の都合上,本稿ではその詳細は省略する。

 &  \\

& 出力 & 今日はいい天気だ。 \\

表 2

「今日はいい【転機 $\rightarrow$ 天気】だ。」を BART モデル で尤度計算する際に与える入出力

はカタカナ又は漢字

転字 編集箇所における文字単位編集距離が 2, 編集箇所における文字単位ダメラウ・レー ベンシュタイン距離 [8] が 1, 編集箇所の文字 は前後ともひらがな又はカタカナ

誤変換 (a) 編集箇所における編集前後の読 みが一致，編集箇所の文字は前後ともに漢字が 含まれる

誤変換 (b) 編集箇所における編集前後の読 みが誤字または脱字または衍字 (a) または転字 を含む，編集箇所の文字は前後ともに漢字が含 まれる

## 4.2 フィルタリング

上記で得られた文ぺアには入力誤り訂正ではな いと考えられる編集も含まれる. それらを取り除く ため, 品詞・形態素解析, リダイレクトデータ, 言語モデルを使ったフィルタリングを行った. 本稿で は，JWTDv1 から変更した言語モデルフィルタにつ いてのみ以下に述べ，それ以外は省略する。

JWTD v1 では文字単位 LSTM 言語モデルにおけ る編集による尤度の差をもとにフィルタリングを 行っている. 本研究では，モデルを事前学習済み BART $^{4)}$ に変更してフィルタリングを行った。表 2 のように編集箇所を mask トークンで置換した文を 入力として, 編集前・編集後の文が出力される尤度 をそれぞれ計算する．編集による尤度の増加が大き いものは入力誤り訂正である可能性が高いと考えら れる。それぞれの入力誤りの種類で閾值を定め，編集による尤度の差が閾値より小さい文ぺアを取り除 いた5).

## 4.3 結果

上記の手法を 2019 年 6 月の日本語 Wikipedia に適用し，JWTDv2を構築した。そのデータサイズを表

表 3 データセットのサイズ

3 に示す. 合計で約 70 万文ぺアが得られた.

## 5 データセット構築手法の評価

JWTD v1 ではデータセット構築手法の評価を，ク ラウドソーシングを用いてデータセットの一部を 評価することで行っていた6). しかし，その方法は データセットの適合率のみ評価ができるものであっ た. 入力誤りのうち, 特定のカテゴリを対象として 収集する JWTD の手法では，含まれていない入力誤 りが存在すると考えられるため, 再現率も評価する ことが望ましい. 本研究では, 再現率も含めて評価 するために，入力誤り評価データを作成し，それを 用いて評価を行った。

## 5.1 入力誤り評価データ

特定のカテゴリに制限されていない入力誤りデー タを用意できれば，データセット構築手法の再現率 を評価できる．そこで，クラウドソーシングを用い て，そのようなデータを収集し，それを入力誤り評価データとした.

クラウドソーシングに用いたデータは, 4.1 節の ステップ 1 で取り出した編集箇所を持つ文ぺアから ランダムに選んだ 11,000 文ぺアである. クラウド ソーシングのタスク内容については紙面の都合上,付録の A. 1 章に付す. タスクの結果より 1,127 個の 文ぺアが入力誤り評価データとして得られた。

## 5.2 評価結果

入力誤り評価データを用いて, データセット構築手法の評価を行った。前節でクラウドソーシングに 用いた 11,000 文ペアに対して，4 章の方法を適用 し, 収集された文ペアから，データセット構築手法 を評価した。

結果を表 4 に示す. v1 が JWTD v1における手法 であり, v2 が本研究の手法を示している. これよ

6）同様の方法での JWTD v2 の評価を A. 2 章に付す.

表 4 データセット構築手法の評価結果

り，本研究の手法がマイニング・フィルタリング両面で $\mathrm{F}$ 值が高いことが確認できる.

## 6 入力誤り訂正システム

JWTD v2 を利用して，入力誤り訂正実験を行っ た. BART モデルを事前学習し, その後, 入力誤り 訂正タスクで, fine-tuning を行った. 誤変換の訂正 には漢字の読みの情報が役立つと考え, fine-tuning 時に漢字の読み推定を同時に学習する実験も行っ た。紙面の都合上，事前学習については付録の A. 3 章に付す。

## 6.1 fine-tuning

入力誤り訂正タスクでは, 評価に使うデータ(入力誤り評価データ・次節で後述の JWTD v2 テスト セット)を含まないページから得られた, 入力誤り 文ペア 664,287 文を訓練データ，1,000 文を検証デー タとした。漢字の読み推定タスクでは, BCCWJ [9] のコアデータ 40,584 文を訓練データとして用いた. BCCWJ の原文文字列（原文）を入力して，発音形出現形（読み）を出力させるように学習させる.読み推定タスクの入力単位は BCCWJ の短単位を subword 分割したものとした。同時に学習を行うモ デルでは，まず，入力誤り訂正タスクと読み推定タ スクで fine-tuning した後, 入力誤り訂正タスクのみ で fine-tuning した.

## 6.2 評価方法

評価指標は入力誤り訂正の適合率 - 再現率 $\cdot \mathrm{F}$ 值 とし，それらは訂正前の文と訂正後の文の文字単位最小編集と, 訂正前の文とシステム出力文の文字単位最小編集から計算した。

評価には, 入力誤り評価データ・GitHub Typo Corpus・JWTD v2 テストセットの 3 つを用いた. GitHub Typo Corpus は, Hagiwara らの分類器での入力誤りである確率 (prob_typo) が 0.9 より大きい日本語データから，英語のスペルミス訂正を除いた，557 文を用いた。JWTD v2 テストセットは JWTD v2 の

表 5 入力誤り訂正結果

表 6 誤変換の訂正結果

一部をクラウドソーシングで評価し，入力誤り訂正 として「正しい」と分類されたものである7).

## 6.3 実験結果

入力誤り評価データと GitHub Typo Corpusにおけ る結果を表 5 に示す。入力誤り評価データでのスコ アは, 表 4 にあるデータセットの評価結果と比較し て，十分高いスコアといえる. GitHub Typo Corpus でのスコアは入力誤り評価データと比較していずれ も低い。これは, Wikipedia と GitHubの commitログ ではテキストのドメインが大きく異なることが原因 であると考えられる. JWTD v2 テストセットのう ち，誤変換カテゴリにおける結果を表 6 に示す。い ずれにおいても，スコアの向上が確認できる。これ より，誤変換の訂正では読み推定タスクを同時に学習することが有効であると考えられる。

## 7 他の校正システムとの比較

前章で作成した BART を用いた入力誤り訂正シス テムと, 他の二つの校正システム (Microsoft Word ${ }^{8}$ ) と Yahoo! 校正支援 $\mathrm{API}^{9}$ ) で, 入力誤り認識精度の 比較を行った。紙面の都合上，校正システムの設定等は付録 A. 4 章に付す.

## 7.1 評価方法

二つの校正システムの出力の多くが，訂正箇所の 指摘のみであったため, 入力誤り訂正ではなく, 訂正すべき箇所を推定するタスク（入力誤り認識）で 評価した。校正システムが出力した訂正箇所（区間）が，正解の訂正箇所（区間）を含むかどうかを 数え上げ，適合率・再現率・F 値を計算する．前章

表 7 入力誤り認識結果

表 8 入力誤り認識結果の実例

で作成した訂正システムにおいては，入力とシステ ム出力の差分箇所を訂正箇所とした。評価には入力誤り評価データと GitHub Typo Corpus を用い, Word においてはそれぞれランダムに 100 個サンプルした もので我々が人手で評価した。

## 7.2 結果

結果を表 7 に示す. 本研究のシステムが，他の校正システムより再現率・F 值において高いスコアで あることが確認できる。

入力誤り認識結果の実例を表 8 に示す. 誤変換以外の衍字などの入力誤りは，Word が指摘できてい るものがあったが，誤変換は，本研究のシステムの みが指摘できているものが多かった。最後の例は JWTD v2 では収集していない編集距離の大きい入力誤りであり, 本研究のシステムは指摘できておら ず，今後の課題である.

## 8 おわりに

本研究では JWTD v1 が収集していない入力誤り の収集とフィルタリングの一部を変更し，JWTD v2 を構築した。データセットの再現率を評価できる データを作成して評価を行い，v2 が v1より精度が 高いことを確認した。事前学習モデルを用いて入力誤り訂正実験を行い，十分高い精度であることを確認した。また，読み推定タスクを同時に学習するこ とで，精度が向上することを確認した。最後に，入力誤り認識において, 他の校正システムと比較し て, 本研究のシステムの精度が高いことを確認し た. 今後はデータセットのさらなる改良と, 入力誤 り訂正システムを異なるドメインで適用した際の分析・改良に取り組む予定である。

## 参考文献

[1] Keisuke Sakaguchi, Kevin Duh, Matt Post, and Benjamin Van Durme. Robsut wrod reocginiton via semi-character recurrent neural network. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 31, No. 1, Feb. 2017.

[2] Yu Tanaka, Yugo Murawaki, Daisuke Kawahara, and Sadao Kurohashi. Building a Japanese typo dataset from Wikipedia's revision history. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: Student Research Workshop, pp. 230-236, 2020.

[3] Yukino Baba and Hisami Suzuki. How are spelling errors generated and corrected? a study of corrected and uncorrected spelling errors using keystroke logs. In Proceedings of the 50th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 373-377, 2012.

[4] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7871-7880, Online, July 2020. Association for Computational Linguistics.

[5] Masato Hagiwara and Masato Mita. GitHub typo corpus: A large-scale multilingual dataset of misspellings and grammatical errors. In Proceedings of the 12th Language Resources and Evaluation Conference, pp. 6761-6768, Marseille, France, May 2020. European Language Resources Association.

[6] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in neural information processing systems, pp. 5998-6008, 2017.

[7] Satoru Katsumata and Mamoru Komachi. Stronger baselines for grammatical error correction using a pretrained encoder-decoder model. In Proceedings of the 1st Conference of the Asia-Pacific Chapter of the Association for Computational Linguistics and the 10th International Joint Conference on Nat- ural Language Processing, pp. 827-832, Suzhou, China, December 2020. Association for Computational Linguistics.

[8] Fred J Damerau. A technique for computer detection and correction of spelling errors. Communications of the ACM, Vol. 7, No. 3, pp. 171-176, 1964.

[9] Kikuo Maekawa, Makoto Yamazaki, Toshinobu Ogiso, Takehiko Maruyama, Hideki Ogura, Wakako Kashino, Hanae Koiso, Masaya Yamaguchi, Makiro Tanaka, and Yasuharu Den. Balanced corpus of contemporary written Japanese. Language resources and evaluation, Vol. 48, No. 2, pp. 345-371, 2014.

[10] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1715-1725, 2016.

[11] Taku Kudo and John Richardson. Sentencepiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, 2018.

## A 付録

## A. 1 入力誤り評価データの作成

クラウドソーシングを用いて，入力誤り評価データを 作成した。

## A.1.1 タスク内容

質の良い評価データを作るために，二段階の方法でク ラウドソーシングを行った. どちらもそれぞれ 5 人の ワーカーに回答してもらった.

一段回目のタスクは，編集がどのような編集かを分類 するタスクである，編集前と編集後の文を提示して，「内容の変更 ・追加 ・削除」,「表現の変更 - 追加 - 削除」, 「誤字・脱字・衍字・漢字の変換ミスの修正」,「その他・わか らない」の 4 つの選択肢の中から一つ選んでもらった。「誤字・脱字・衍字・漢字の変換ミスの修正」が過半数を 得た文ペアを入力誤りに関係するぺアとし, 二段階目の タスクの対象データとした.

二段階目のタスクは，編集前と編集後の文を同時に提示して，それぞれ書き言葉として自然かどうかを質問し た. このとき, 提示する際は単に文 $\mathrm{A}$, 文 $\mathrm{B}$ として提示 し, どちらが編集前か編集後かをわからないようにした.選択肢は「A は書き言葉として自然な文であるが，B は不自然な文である」，「B は書き言葉として自然な文である が，A は不自然な文である」，「どちらの文も自然である」,「どちらの文も不自然である」，「わからない」の 5 つとし た. 編集前が不自然・編集後が自然という回答が過半数 を得た文ぺアを入力誤りに関係するぺアとした。

## A.1.2 結果

一段階目のタスクにおいて，「誤字・脱字・衍字・漢字 の変換ミスの編集」が過半数を占めた文ぺアは 1,773 個で あった。それらを対象に行った二段階目のタスクで，編集前の文が不自然・編集後の文が自然という回答が過半数を占めた文ぺアは 1,127 個であった。この 1,127 個の文 ペアを入力誤り評価データとした。

## A. 2 クラウドソーシングを用いたデータ セット構築手法の評価

クラウドソーシングを用いて, JWTD v2 の評価を行っ た. 評価対象はランダムに選んだ記事 3,000 ページ中から 得られた文ぺアを用いた. 同じ編集が数多く存在してい るぺージが存在したため, データの偏りを避けるために，選ばれたページ内に同一の編集が 4 つ以上含まれていた 場合，そのうちの 3 つのみをランダムに採用した。

## A.2.1 タスク内容
A. 1 節の二段階目のタスクと同じ，編集前後の文が自然 かどうかを問うタスクである。それぞれの文ぺアにつき 10 人のワーカーに回答してもらった.

## A.2.2 結果

編集前が不自然で編集後が自然という回答の票が過半数を占める文ぺアを入力誤りとして「正しい」とすると，「正しい」割合は, 誤字が $77.6 \%$, 脱字が $70.3 \%$, 衍字 (a) が $84.1 \%$, 衍字 (b) が $93.5 \%$, 転字が $52.5 \%$, 誤変換 (a) が $64.3 \%$ ，誤変換 (b) が $69.9 \%$ で，全体では $71.9 \%$ であった.

## A. 3 BART の事前学習

日本語 Wikipedia の約 1,800 万文を利用して BART の事前学習を行った ${ }^{10)}$. 事前学習では, Text infilling タスクを 行った. Text infilling は, 文章の一部が maskトークンに 置き換えられた文章から，元の文章を生成するタスク である。トークン単位は，テキストをJuman++で形態素分割した後にそれらを subword 分割 [10] したものを用い た. subword 分割には SentencePiece[11]を利用し，語彙数 は 32,000 とした. encoder と decoder がそれぞれ 12 層であ る, large モデルで事前学習した。隠れ層の次元は 1,024 , バッチサイズは 512 とし, 25 万 step 学習した.

## A. 4 他の校正システムの設定

Microsoft Word 日本語における入力誤り認識のみの 評価に限定するために，校正結果のうち言語設定が日本語とされている箇所のみを評価に用いた。校正の設定は 「文書のスタイル」を「通常の文」に設定し，他は初期設定 のままとした. 利用した Word のバージョンは「Microsoft Word for Mac 16.37」である.

Yahoo! 校正支援 API Yahoo! 校正支援 API は，校正 のカテゴリを 17 種類に分けて出力を行う. 本研究におい ては，それら 17 種類のうち, $\mathrm{F}$ 值が最大となるような力 テゴリを選択して，評価を行った。

10）事前学習済みモデルはhttp://nlp.ist.i.kyoto-u.ac.jp/ ?BART 日本語Pretrained モデル にて公開している.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# NPCMJ への PropBank 形式の意味役割と 概念フレームの付与の進捗報告

竹内 孔一
岡山大学大学院
バトラーアラステア
弘前大学
長崎郁
名古屋大学
}

takeuc-k@okayama-u.ac.jp

パルデシプラシャント
国立国語研究所
prashant@ninjal.ac.jp

## 1 はじめに

$\mathrm{Web}$ 上で閲覧可能な日本語統語解析情報付き コーパス (ツリーバンク)NPMCJ(NINJAL Parsed Corpus of Modern Japanese) [1] が国立国語研究所で開発が進んでおり既に構文木が公開され て言語学者や言語学習者に利用されている1).現在 14 ジャンルの出典で約 4 万文の構文木が 構築されておりユーザはツールを通して事例 を確認できる. 本研究では NPCMJ に対して述語項構造シソーラズ ${ }^{2)}$ の概念フレームをべー スとして名前による意味役割(「動作主」,「対象」など) と PropBank 形式の意味役割 ( $\operatorname{Arg} 0$, ArgM-ADV など)を付与している [2] . 例えば 「両親は，長女の愛は厳しく育てた」の場合，概念フレームと意味役割は下記のように付与す る. 付与過程で英語の構文には出てこない自動

図 1 「両親は, 長女の愛は厳しく育てた」の概念 フレームと意味役割付与例

詞の受動態について PropBank では議論されて こなかった必須項が必要であることを先行研究 で発表した [3] . NPCMJ は現在も付与が続いて いるコーパスで 6 万文まで拡張されることが計画されており, 本研究も継続して意味役割と概念フレームを付与する予定である . 本論文では 付与作業と現段階での付与された意味タグの内容について記述する。

1) http://npcmj.ninjal.ac.jp/

2) http://pth.cl.cs.okayama-u.ac.jp/

## 2 NPCMJ 内の付与対象の設定

NPCMJ は NPやPP といった非終端記号，SBJ やOBJなどの区別，トレース，参照情報が付与 されている，一方で , 意味役割を付与する述語 と項のみをタグ付けした情報は存在しないが，付与されている詳細な構文情報から論理形式の 意味構造に変換する手法が提案されており [4]， これを基に付与すべき述語と項が設定される。

図 $2 「$ 長女の愛は」に関する NPCMJ の構文木の例

## 3 概念フレームデータに基づく PropBank 形式の意味役割

意味役割とは文における述語の係り関係を 想定した場合，述語と項との意味的な関係を 記述するタグである. 例えば图 1 の場合，述語「育てる」に対して，係り元は「両親は，「長女の愛は」「厳しく」の3つである.このう ち,「敩しく」には述語に対する修飾要素とし て ArgM-MNR を付与し，残りニつは項として $\operatorname{Arg} 0$ と $\operatorname{Arg} 1$ を付与する。

PropBank では意味役割は述語の各語義ごと (つまり述語に対してより細分化された分類)に 付与されているが, 本研究では述語項構造シ ソーラスの概念フレームを利用して概念フレー ムごと (複数の述語で共通する概念) に対して

概念フレームデータ

 \\

図 3 NPCMJ の付与コーパスと述語項構造シソーラ スおよび概念フレームデータの関係

一貫した必須項の意味役割を付与する.つまり 概念フレームが同一の述語間では $\operatorname{Arg} 0, \operatorname{Arg} 1$ などの意味的な関係が一貫した意味役割で付与される.これにより, 同じフレーム内での言 い換え関係などが同じタグで取り出せること， さらに，付与の際に，事例が少なくても概念フ レーム内で述語があれば意味役割の設定が可能 なためより安定して意味役割を設定できること が期待できる。

具体的な例をあげて説明する. 図3では「育 てる」は述語項構造シソーラスの概念フレー 么番号 197 (状態変化あり/主体の変化/身体的変化/成長) に相当する語義であることを指摘して おり，この概念フレームには「熟す」「発育す る」「飼育する」「仕立てる」など自動詞，他動詞が含まれている.これらの述語で必須項を表 す $\operatorname{Arg} 0, \operatorname{Arg} 1$ は述語項構造シソーラスに事例 が付与されているのと同時に図 3に示すように 概念フレームデータを作成して一貫性を保って いる。

## 4 付与作業

付与作業者に対して 2 節で生成された述語と 係り元か提示される. 統語情報から述語と判定 されたものが自動で選択されており，1文で複数の述語と項の関係が取り出されている (図 4 参照).

作業者は対象事例を基に述語項構造シソーラ スの事例を調べて，合致する概念フレームを探 す . 合致する概念フレームがあれば , 必須項を

図 4 NPCMJ の付与コーパスと述語項構造シソーラ スおよび概念フレームデータの関係

事例から選び，付加詞の場合はあらかじめ決 められているリスト [2] から意味役割を選択す る.シソーラスに存在しない場合は , 該当する 概念フレームがある場合は既にある述語を利用 して記述し (5 図参照), 必要があれば辞書を更新する. 同樣に意味役割が不足している場合は 辞書管理者が判断して概念フレームの必須項を 追加する。

## 5 FrameNet に準拠したデータ 形式

意味役割と概念フレームを付与した NPCMJ からデータを取り出す形式として現在 2 種類が 可能である. 1 つは图 5 に示すように FrameNet に準拠した XML 形式であり，文と述語および 意味役割が付与されている. FrameNet の XML では述語と項や係り元の構造か理解しやすい く簡素であるため 6 節の統計量も XML 形式の データから取り出している。

しかしながら XML 形式には NPCMJ の統語情報が付与されていない，そとこで本論文ではま だ利用していないが構文木の構造による出力形式も構築している．統語情報や参照情報，形態素情報など多量な情報が付与されており付与さ れた全ての情報を取り出すことが可能である．

図 5 FrameNet に準拠した NPCMJ 意味役割付与 データ形式

図 5 ではコーパス misc_1709kytext1 にテキ ストがあったことがわかる．述語と項の情報は annotationSet のタグ内に記述されてお

り, 複数の述語と項の組がある場合は複数の annotationSet が記述される.ここでは「の」が 述語で項は「2 歳違い」と「姉妹」である. 連体修飾の形になっている。

XMLでは述語「の」の概念フレームは 895(コ ピュラ) に登録されている述語「です」に相当 することを示している.「2 歳違い」と「姉妹」 の意味役割は光れ光れ $\operatorname{Arg} 1$ :対象と $\operatorname{Arg} 2$ :補語相当（は）である．つまり平叙文だと

[895です]

として付与している。

## 6 現在の付与内容

現段階で付与している述語の付与数は 22,637 箇所で炎のうち項の付与数は 44,404 箇所であ る . 各要素について以下に説明する。

述語について

基本的に NPCMJ では文内の表層形に述語の概念を付与している.よって述語の種類数を求 める場合, 単純に文字列で集約すると付与述語の語彙数がわからない. 光こで形態素解析 $\mathrm{MeCab}$ を通して述語の種類を推定して求めた.光の結果，付与している述語の種類数は 4048 種類である . 形態素解析を利用してどのような 種類の述語があったかを図 6 に示す.

図 6 付与した述語 (上位 20 件)

図 6 は縦軸が形態素の頻度を表している。「だ」がもっとも多く続いて「の」(同格)，「あ る」「なる」などの和語動詞が多い．

次に述語の品詞について頻度の多い述語から 順に図 7 に上位 20 件まで示す. 品詞は MeCab (IPAdic) の品詞細分類までとする . 述語の頻度 で3 番目に「名詞一般」が多いのは「こと」を 述語として付与しているためである.「こと」 は非飽和名詞 $[5,6]$ であり，内容を名詞化する

図 7 述語の品詞 (上位 20 件)(MeCab による推定)

際に使われる．述語項構造シソーラスでは現段階では非飽和名詞に関する項目が無いが可能な 限り付与している. 現段階では一部概念フレー ムとして WordNet の概念フレームを付与してい る (例えば「こと」に対して「w $\mathrm{wn:00034479-n \lrcorner ).}$ また「話」「仕事」などの非飽和名詞の他に「試 み」や「喜び」など述語的な要素を持つものな どがある．これらは述語項構造シソーラスの概念フレームを付与している.よって先行研究 [7] で付与されている事態性名詞についても今回の NPCMJ コーパスに付与されている．

次に概念フレームについて图 8 に上位 10 件 の頻度分布を示す. 最も多いのが「コピュラ」

図 8 述語の概念フレーム (上位 10 件)

(ある)である．次に「伝達」(話す)，「生成」(作 る)，「変更」(変える)，「移動」(行く)が多いこ とがわかる.

項について

項に付与した意味役割の統計量について示す。 PropBank 形式の意味役割上位 20 件を図 9 に 示す.

図 9 では最も多い意味役割は $\operatorname{Arg} 1$ で $\operatorname{Arg} 0$ の 1.6 倍程度出現している.必須項は $\operatorname{Arg} 2$ までが 数千の単位で出現していて，割合が多いことが

図 9 PropBank 形式の意味役割 (上位 20 件)

分かる. 一方, $\operatorname{Arg} 3$ や $\operatorname{Arg} 4$ はこれらに比べる と相対的に少ないことが分かる．

付加詞に対する意味役割では副詞を表 す ArgM-ADV (副詞), ArgM-TMP (時間), ArgMLOC (場所) が光れ光れ $\operatorname{Arg} 2$ に続いて出現して いる.ArgM-PRX は連語である．このタグは主動詞の意味がほとんどなく項の部分に中心的な 意味がある場合に付与する．「〜をする」とい う軽動詞構文はこのタイプの意味役割を付与し ている.

(book_except-15)

また , 慣用句などで項の部分と動詞の部分が一 つになってある決まった意味を表す場合の項の 部分に付与する。

(aozora_Tsuboi-1968)

よって，ArgM-PRX を付与している項は述語の

一部と見なしている。

次に名前の意味役割上位 20 件の頻度分布を 図 10 に示す.「対象」が最も多く，次いで「動

図 10 名前の意味役割 (上位 20 件)

作主」「経験者」が続く . 意味役割の頻度分布 が PropBank 形式の意味役割と異なるのは $\operatorname{Arg} 1$ は「対象」や「経験者」など複数の名前の意味役割に付与されることが原因である．これは
PropBank 形式の意味役割が構文を重視した分類であるのに対して，名前意味役割は意味的な 関係を重視している点に起因する．

## 7 最後に

本論文では現在進めている NPCMJ に対する 概念フレームと意味役割付与データ構築プロ ジェクトでどのようなタグをどの程度付与して いるかについて記述した . PropBank 形式の意味役割を採用し，概念フレームごとに意味役割 の定義集合を一貫して構築している．NPCMJ における統語情報付与作業はこれからも続くた め，今後も意味役割と概念フレームの付与を続 けると同時に付与データを公開していく予定で ある

## 8 謝辞

本研究の遂行にあたって国立国語研究所機関拠点型基幹研究プロジェクト「統語・意味解析 コーパスの開発と言語研究」および科研費 (課題番号 19K00552) の助成を受けた .

## 参考文献

[1] 吉本啓, 周振, 小菅智也, 大友瑠璃子, Alastair Butler. 日本語ツリーバンクのアノテーション方針. 言語処理学会第 19 回年次大会, 2013.

[2] 竹内孔一, バトラーアラステア, 長崎郁, ホー ンスティーブンライト. PropBank スタイルの意味役割タグを導入した述語項構造シソーラスと NPCMJ への付与計画. 言語処理学会第 25 回年次大会, pp. 136-138, 2019.

[3] Koichi Takeuchi, Alastair Butler, Iku Nagasaki, Takuya Okamura, and Prashant Pardeshi. Constructing Web-Accessible Semantic Role Labels and Frames for Japanese as Additions to the NPCMJ Parsed Corpus. In Proceedings of The 12th Language Resources and Evaluation Conference (LREC2020), 2020.

[4] Alastair Butler. From discourse to logic with stanford corenlp and treebank semantics. In New Frontiers in Artificial Intelligence. JSAI-isAI 2019, vol. 12331 of Lecture Notes in Computer Science, 2020.

[5] 西山佑司. 日本語名詞句の意味論と語用論.ひつ じ書房, 2003.

[6] 影山太郎. 日英対照 名詞の意味と構文. 大修館書店, 2011.

[7] 小町守, 飯田龍, 乾健太郎, 松本裕治. 名詞句の語彙統語パターンを用いた事態性名詞の項構造解析. 自然言語処理, Vol. 17, No. 1, pp. 141-159, 2010.


# 中国語の「数量詞分離」の語用論・意味論とその形式化

詹 湬凡（東北大学国際文化研究科）吉本 啓（東北大学高度教養教育・学生支援機構）
tinpozhan@gmail.com
kei@compling.jp

## 1. はじめに

中国語には（1）のように、日本語の数量詞遊離 に類似した現象がある。

(1) 那些 苹果 我 吃了 两个。 those apple 1-SG eat-PEF two-CL(general) 'それらのリンゴは私が二個食べた'

日本語の数量詞遊離は様々に議論されている。そ の代表的な研究として、Miyagawa（1989）は「相互 C 統御条件」と「非対格仮説」を併用する分析 を行っている。それに対し、高見（1998）は語用論的特徴、より具体的には、情報構造的特徴により、数量詞遊離構文の適格性問題がよりよく説明するこ とができると述べている。

中国語の数量詞分離構文に関しては、主に

Miyagawa（1989）を踏襲し、統語論を中心として 議論が展開されている（eg. 山口 2005）。語用論、情報構造の視点からの研究はあまり見られない。中国語の場合は日本語のような長距離遊離という 現象がないにもかかわらず、情報構造の観点から表層構造の差異による表現力の差異を説明することが できると思われる。そこで、本稿の考察ではまず中国語の数量詞分離構文の情報構造について検討す る。

一方、「数量詞」がアジア諸言語において特殊な 品詞範疇であり、分離・遊離数量詞はさらに特殊な 現象として、意味論上の考察も十分とは言えない。 したがって、本稿では形式意味論の立場を取り、数量詞・分離数量詞の意味表示、及び数量詞分離構文 の意味計算をも検討する。

最後の到達点として、語用論、意味論両側面の考察の結論によって、当該文法現象に対して形式的文法体系におけるより完全な記述を提案する。

## 2. 数量詞分離構文の情報構造

## 2. 1 情報包装理論と情報構造の三分法

情報構造の分析において、本稿は Engdahl and Vallduví（1996）により提示された情報包装理論
（Information Packaging Theory, IPT）に従う。IPT は 情報構造の三分法によって、topic-comment と focus-presupposition の対立を解消している（Vallduví 1990, Chp. 3 を参照されたい)。

より詳細には、まず、一文の情報構造は焦点

（FOCUS）と基盤（GROUND）という二部分に分

けられる。焦点はその文において聞き手にとって相対的に新しく、最も重要であると想定される情報を いう。それに対して、基盤はその文において、聞き 手にとって相対的に古く、それほど重要でないと想定される情報である。また、基盤はリンク

（LINK）とテール（TAIL）に分けられる。リンク は topic-comment $の$ topic にほぼ相当し、談話の

「出発点」である。これに対し、テールは非リンク 的要素であるという。

## 2.2 中国語の文のデフォルト的情報構造

LaPolla（1995）は中国語の文において、話題的 または非焦点的名詞句は動詞の前に現れ、焦点的ま たは非話題的名詞句は動詞の後ろに現れる傾向があ ると主張している。IPTの体系において、中国語の 文は（2）のようなデフォルト的情報構造を持つと 考えられる。

(2)

本研究では、北京語言大学により開発された現代中国語コーパス (BCC) から、分離数量詞が生起す る文を抽出し、その中から 2000 文を詳細に調査

し、（3）のように文型別に整理した。

（3）（HNP：ホスト名詞、NU：数量詞、 LOC：場所句)。

 \\

以上の文型は、特有の語用論的意義を持っている が、関連する個別的な研究 (eg. 「把」構文 : Tsao (1987)、「被」構文 : LaPolla（1990, Chp. 3 )) に よると、それらの情報構造は（2）のデフォルト的情報構造に合致している。それに加えて、実例の上下文脈の観察により、帰納的にホスト名詞の基盤性 （Groundedness）が確認される。これは日本語の数量詞遊離構文に対する高見（1998）の所見にも合致 する。

## 2.3 分離数量詞の焦点性

本節では焦点敏感演算子 (focus-sensitive operator）を利用し、分離数量詞の焦点性を確認す る。焦点敏感演算子（focus-sensitive operator）と は、文の焦点位置が変わるのに伴って、束縛要素と 作用域が変わり、文の解釈（意味）の変化をもたら す演算子を指す。

下の（4）を見よう。

(4)

a. 饭 我最多吃一碗。 rice 1-SG at-most eat one-CL(bowl) ‘ご飯は私が精々一杯を食う。

b. 我最多吃一碗 饭。 1-SG at-most eat one-CL(bowl) rice ‘私は精々一杯のご飯を食う。

（4a）は数量詞分離構文であり、（4b）では数量詞が名詞を連体修飾している。副詞「最多」は焦点敏感演算子として、(4a）において、数量詞「一碗」を束縛し、他方、(4b) において、「一碗饭」全体を束縛する。よって、たとえば「ご飯を一杯、餃子を四個食う」場合、(4a）は真となるが、（3b）は偽となる。

数量詞一名詞の「連合」はそもそも意味上、「モ ノの存在」・「モノの数量」・「モノの内容」の三種類 の情報を伝える。数量詞分離構文は語用論上、ホス 卜名詞が先に提示されることによって、「モノの存在」と「モノの内容」が前提化され、目的語位置に 残る数的情報をハイライトする働きをしていると考 えられる。

## 3. 数量詞分離構文の意味論 3.1 $\lambda$ 計算付き談話表示理論

意味論の分析において、構成性原理と文脈依存性 を考慮し、 $\lambda$ 計算付き談話表示構造 ( $\lambda$-DRS, Bos et al. 1994）を採用する。DRS（Kamp and Reyle 1993）は通常、「ボックス」で記述されるが、スペ 一ス節約のために、ここでは線状化された表記

（Muskens 1996）を使う。基本的な形式は（5）の ようになる。

(5) $K($ Box $)=\left[\mathrm{x}_{1} \ldots \mathrm{x}_{\mathrm{n}}\right.$ (discourse referents) $\mid \varphi_{1} \ldots \varphi_{\mathrm{n}}$ (conditions)]

## 3.1 ホスト名詞の解釈

基盤的であるという情報構造的特峌はホスト名詞 の意味論上のステータスにも関連している。ホスト 名詞は定的指示（definite reference）または種類指示 (kind reference) でなければならない。換言すれ ば、ホスト名詞は漠然とした不定的対象と解釈され ることが許されない。

有定性（definiteness）は認識上の同定可能 （identifiable）性として定義されることがある（eg. Lyons 1999)。種類指示、または総称、と話題性 （topichood）との関連もよく議論される（eg. Van Valin and LaPolla 1997, p.200)。種類指示は常識上談話参加者にとって同定可能的であるため、常に話題 となるとされている。

しかし、形式意味論において名詞は通例、技術的 に一項関数としての属性（property）として扱われ ている。種類指示に対処するために、本稿は Chierchia（1998）の方法を導入する。ここでは主に 二つのものをオントロジックに使う。

(1)素朴集合論の代わりに、束（lattice）に基づい た名詞の外延の定義。(詳細は 3.2 節)

(2) ${ }^{n}$ (down 演算子)。属性は down 演算子の作用

によって、一階定項 e としての種類（kind）にタイ プシフトすることができる。そこで、「パンダは稀 だ」の意味は（6）のように表すことができる。

(6) $\llbracket$ Panda is rare $\rrbracket=$ RARE $^{\prime}\left({ }^{n}\right.$ PANDA' $\left.^{\prime}\right)$

$\lambda$-DRS の場合、種類指示はその定項に独自のソ 一トを与え、（7）のように表示する。

(7) [ $\mid<k$, name $>]$

$\mathrm{k}_{\mathrm{i}}$ はソートが「kind」である定項として、ソート が「event」である定項 $\mathrm{e}_{\mathrm{i}}$, ソートが「individual」で ある $\mathrm{x}_{\mathrm{i}}$ などと区別される。よって、（6）はこのよ うな体系において、 $\left[\mid<\mathrm{k}_{\mathrm{i}}\right.$, panda $>$, rare $\left.\left(\mathrm{k}_{\mathrm{i}}\right)\right]$ で表す ことになる。

一方、定的指示のような文脈依存表現は Bos et al. （1994）において、「ALFA 条件」が付いた「ALFA 表現」として扱われている。ここでは、「ALFA 表現」を（8）のように表記する。

(8) [ |@x. $\{\psi(\mathrm{x}) \ldots($ restriction $)\}]$

（8）に示すように、ALFA 表現の談話域は空値 であり、ALFA 表現自体は談話域に談話指示物を導入しない。@xはただの仮変数で、照応処理によっ て適切なグローバル変数と同值化することが要求さ れている。

## 3.2 数量詞 - 分離数量詞のオントロジッ クな定義と意味表示

Chierchia の名詞意味論に従い、小林（2004）の 扱い方も参考して、中国語の数量詞 - 分離数量詞に つき、（9）にオントロジックな定義を与える。

## (9)

Unit $\{\mathrm{k} 1, \ldots, \mathrm{km}\}$ が種類 $\mathrm{k}_{1}, \ldots, \mathrm{k}_{\mathrm{m}}$ に対して適切な助数詞である場合、Unit $\{\mathrm{k} 1, \ldots, \mathrm{km}\}$ の外延 U は、 $\mathrm{k}_{1}, \ldots, \mathrm{k}_{\mathrm{m}}$ が含むすべての要素からなる上限半束 （upper semilattice）として定義される。

$
\begin{aligned}
& \mathrm{U}=\left.\{\mathrm{x} \in \mathrm{U} \mid \exists \mathrm{y}_{1}, \ldots, \mathrm{y}_{\mathrm{r}} \in \mathrm{U}\left.\{\llbracket \mathrm{k}_{1} \rrbracket, \ldots, \llbracket \mathrm{k}_{\mathrm{m}} \rrbracket\right.\}:\right. \\
& \left.\mathrm{x}=\mathrm{y}_{1} \oplus \ldots \oplus \mathrm{y}_{\mathrm{r}}\right.\}
\end{aligned}
$

$\mathrm{n}$ は基数で、数量詞 [ $\mathrm{NU}$ Numeral $_{\mathrm{n}}$ Unit] は $\mathrm{n}$ を 入力し、U の中から濃度（cardinality）が n である集合を選び出してそれらの集合を（n が 1 であれば $\mathrm{U}$ の中の原子的（AT）要素からなる集合を）出力 する関数 $v$ と定義する。

$
\begin{aligned}
& v(\mathrm{n})=\mathrm{AT}(\mathrm{U}), \mathrm{n}=1 \text {, or }\{\mathrm{x}|\mathrm{x} \in \mathrm{U} \wedge| \mathrm{x} \mid=\mathrm{n}\}, \mathrm{n} \\
& >1
\end{aligned}
$

$\mathrm{k}_{\mathrm{i}}$ が Unit $\{\mathrm{k} 1, \ldots, \mathrm{km}\}$ で数えられる種類の一つで あるとすると、数量詞が連体修飾する名詞句 [NUP $\mathrm{NU}_{\mathrm{i}}$ ] は $\mathrm{k}_{\mathrm{i}}$ を入力して、v(n)の結果の中 $\mathrm{k}_{\mathrm{i}}$ の部分 を満足する要素の集合、もしくは $v(n)$ と $\mathrm{k}_{\mathrm{i}}$ が対応す る概念の外延の積集合を出力する関数 $\mu$ と定義す ることができる。

$
\begin{aligned}
& \mu\left(\mathrm{n}, \mathrm{k}_{\mathrm{i}}\right)=\left.\{\mathrm{x} \mid \mathrm{x} \in \mathrm{v}(\mathrm{n}) \wedge \mathrm{x} \leq \llbracket \mathrm{k}_{\mathrm{i}} \rrbracket\right.\}=\mathrm{v}(\mathrm{n}) \cap \\
& \quad \llbracket{ }^{\cup} \mathrm{k}_{\mathrm{i}} \rrbracket
\end{aligned}
$

分離数量詞の場合、ホスト名詞が定的指示に解釈されることがあるため、前に定義した $\mu$ の関数 を拡張する必要がある。つまり $\mathrm{k}$ だけではなく、定的指示の類も適用できるようにしなければならな い。即ち、

$
\begin{gathered}
\mu\left(\mathrm{n}, \mathrm{k}_{\mathrm{i}}\right) \Rightarrow \mu(\mathrm{n}, \mathrm{t})=\{\mathrm{x} \mid \mathrm{x} \in \mathrm{v}(\mathrm{n}) \wedge \mathrm{x} \leq \llbracket \mathrm{t} \rrbracket\} \\
\mathrm{t} \in\left.\{\mathrm{k}_{1}, \ldots, \mathrm{k}_{\mathrm{m}}\right.\} \vee \mathrm{t}=\mathrm{P} P \wedge \cap_{\mathrm{P}} \in \cup\left.\{\mathrm{k}_{1}, \ldots, \mathrm{k}_{\mathrm{m}}\right.\}
\end{gathered}
$

以上の定義を踏まえて、 $\lambda$-DRS の枠組みにおい て、分類数量詞の表示は自然に導き出される。比較 のために、(10a) には連体修飾する数量詞の中の助数詞の論理形式を示し、10b）には分離数量詞の中 の助数詞の論理形式を示す。

(10)
a. $\lambda n \lambda k \lambda P[x \mid x \in \mu(n, k) \wedge P(x)]$
b. $\lambda \mathrm{n} \lambda \mathrm{P}[\mathrm{x} \mid \mathrm{x} \in \mu(\mathrm{n}, @ \mathrm{t}) \wedge \mathrm{P}(\mathrm{x})]$

## 3.3 数量詞分離構文の意味生成

下の（11）は、例文（1）の意味生成の過程を示 す。ここでは Gao （2001）の動詞項構造拡張説を 採用し、ホスト名詞を動詞が下位範疇化する斜格 （OBL）とする。

两个: $\lambda \mathrm{P}[\mathrm{y} \mid \mathrm{y} \in$ 个(2,@v) $\wedge \mathrm{P}(\mathrm{v})]$

吃了: $\lambda y \lambda x \lambda \lambda z[e \mid e a t(e), \operatorname{Agent}(e, x)$, Theme(e, y), OBL(e, z)]

$\Rightarrow$ 吃了两个: $\lambda x \lambda z[$ e, y $\mid$ eat(e), Agent $(e, x)$, Theme $(e$, $\mathrm{y}), \mathrm{y} \in$ 个(2, @v),OBL(e, z)]

我: $\lambda \mathrm{P}[\mid @ \mathrm{i} .\{<\mathrm{i}$, speaker $>\} \wedge \mathrm{P}(\mathrm{i})]$
$\Rightarrow$ 我吃了两个: $\lambda z[\mathrm{e}, \mathrm{y} \mid \operatorname{eat}(\mathrm{e}), \operatorname{Agent}(\mathrm{e}, \mathrm{i}), @ \mathrm{i} .\{<\mathrm{i}$, speaker $>\}$, Theme(e, y), $\mathrm{y} \in$ 个(2, @v),OBL $(\mathrm{e}, \mathrm{z})]$那些苹果: $\lambda \mathrm{P}[\mid @ \mathrm{w} .\{\operatorname{apple}(\mathrm{w})\} \wedge \mathrm{P}(\mathrm{w})]$ $\Rightarrow$ 那些苹果我吃了两个: [ e, y | eat(e), Agent(e, i), @i. $\{<\mathrm{i}$, speaker $>\}$, Theme(e, v), y $\in$ 个 $(2, @ \mathrm{v}), \mathrm{OBL}(\mathrm{e}$, w), @w.\{apple(w) \}]

$\Rightarrow$ (照応処理) [ e, y | eat(e), Agent(e, i), @i. $\{<i$, speaker $>\}$, Theme(e, y), $\mathrm{y} \in$ 个(2,@w), OBL(e, w), @w.\{apple(w)\}]

ここでの照応処理は統語部門の規定による local resolution である。動詞の項構造において、OBL に より同時に Theme のギャップが補填されることが 記載されている（(13）を参照されたい)。文の統語計算が完成する時点で、@vの値は@w に同一化さ れる。

## 4. HPSG による形式化

本節では数量詞遊離に関して、第 2 節の語用論か らの考察と第 3 節の意味論からの考察を、主辞駆動句構造文法 (Head-driven Phrase Structure Grammar, HPSG）により記述する。HPSG の設定と表示は Sag et al. (2003) のバージョンに基づいている。 IPT と $\lambda$-DRS は別々に、語用論部門（PRAG）及び 意味論部門（SEM）において構成される。

下の（12）には、（1）のような話題化構文の主動詞の項構造を示す。文法諸部門のインタフェースと する項構造によって情報構造の指定を担うのは合理的だと思われる。同時に、文内の照応の情報や意味役割の分配の情報についても規定されており、まさ に文法諸部門の「相互制約」を反映している。

（13）は（1）の中の一般助数詞の「个」の辞書項目を示す。ここはALFA_ARG の値と半順序関係 $(\leq)$ にある ARG2 の値、とギャップの補填子の意味論部門に記載される項の值とが同值であると指定するこ
とによって、統語計算が完了する時点で、分離数量詞が実質的な名詞的内容物を獲得する。

(13)

## 5. おわりに

本稿では、中国語の数量詞分離構文を語用論及び 意味論の両側面から分析した。語用論から、数量詞分離構文はホスト名詞と分離数量詞とが基盤対焦点 の関係にあり、数量詞が連体修飾する名詞句全体が 基盤や焦点の位置にある文とは異なる。このような 情報構造の分布は意味解釈に相応の制約をもたらす。 Chierchia の名詞意味論により、本稿は一貫した形式意味計算の手続きを提供している。数量詞分離は語用論的な動機に基づく構文であると言える。また、

中国語の discourse configurational language としての 性格も明らかになった。このような分析は形式文法 の理論的な面において、制約に基づく並列的処理の 妥当性を証明している。将来の課題として、この分析を他の言語現象にも適用し、この文法体系の実装 を行いたいと思う。

## 参考文献

Bos, J., Mastenbroek, E., McGlashan, S., Millies, S., and Pinkal, M. (1994). The Verbmobil semantic formalism (version 1.3). Verbmobil Report 6, Universität des Saarlandes, Saarbrücken, Germany.

Chierchia, G. (1998b). Reference to kinds across language. Natural language semantics, 6(4), 339405.

Engdahl, E. and E. Vallduví (1996). Information packaging in HPSG. In: C. Grover and E. Vallduví (eds.) Edinburgh working papers in cognitive science, 12, 1-32. Scotland: Centre for Cognitive Science, University of Edinburgh.

Gao, Q. (2001). Argument structure, HPSG, and Chinese grammar. Doctoral dissertation, The Ohio State University.

Kamp, H. and U. Reyle (1993). From Discourse to Logic. Dordrecht: Kluwer Academic Publishers.

LaPolla, R. J. (1990). Grammatical relations in Chinese. Synchronic and diachronic considerations. Ph. D. dissertation, UC Berkeley.

LaPolla, R. J. (1995). Pragmatic relations and word order in Chinese. In: Pamela A. Downing and Michael Noonan (eds.), Word order in discourse, 297-329. John Benjamins Publishing.

Lyons, C. (1999). Definiteness. Cambridge University Press.

Miyagawa, S. (1989). Syntax and Semantics 22: Structure and Case Marking in Japanese. San Diego: Academic Press.

Muskens, R. (1996). Combining Montague semantics and discourse representation. Linguistics and phil -osophy, 19(2), 143-186.

Sag, I. A., T. Wasow and E. Bender (2003). Syntactic Theory: A Formal Introduction (2nd ed.). Stanford: CSLI Publications.

Tsao, Feng-fu. (1987). A topic-comment approach to the ba construction. Journal of Chinese Linguisitcs, 15, 1-54.

Vallduví, E. (1990). The informational component. Ph.D. Dissertation, University of Pennsylvania.

Van Valin, R. D., Jr. and LaPolla, R. J. (1997). Syntax: Structure, meaning, and function. Cambridge University Press.

高見健一 (1998)「日本語の数量詞遊離について: 機能論的分析 (下)」『言語』27:3.99-107

小林昌博 (2004)「数量詞の形式と量化の領域 : 日英語の対照の観点から」、佐藤滋・堀江薰・中村涉編『対照言語学の新展開』,125-135.ひつじ書房山口直人（2005）「中国語の遊離数量詞」『日中言語対照研究論叢』(7), 114-131.


# 定理証明に基づく対話的な自然言語推論システム

隅田敦
東京大学
atsushisumita0421@gmail.com
}

峯島宏次
慶應義塾大学
}

minesima@abelard.flet.keio.ac.jp

宮尾祐介

東京大学

yusuke@is.s.u-tokyo.ac.jp
## 1 概要

自然言語推論 (Natural Language Inference; NLI) と は, ある文から別の文が帰結するか否かを判定する タスクである [1]. 自然言語推論は質問応答, 自動要約, ファクトチェックなどの様々な応用先が考えら れ, 近年では自然言語理解のベンチマークとしても 重要性を増している [2].

本論文では, 計算機と人間のインタラクションが NLI を解く上で有益であるかを検討する.ここでイ ンタラクションとは, 人間と計算機が互いの弱みを 補完しながら協力して NLI タスクを解くという形式 を想定している. 一般的に, 人間の方が語彙間の含意関係や常識推論などの柔らかい判断に優れる一方 で, 計算機の方が交錯した論理関係の包括的な探索 や検証において優位性があると考えられる. 自然言語推論は様々な意味現象が組み合わさった複雑な夕 スクであり,これら両方の意味現象を処理する必要 がある.

本研究では形式意味論と定理証明器を用いるアプ ローチに着目する. 定理証明器は 複雑な数学的命題 や形式手法の証明を補佐するためのソフトウェアで あり, 人間と計算機が互いの強みを活かしてインタ ラクティブに複雑な課題を解決している好例であ る.いくつかの既存研究において, 自然言語の意味を 論理式を用いてモデル化する形式意味論 $[3,4]$ と組 み合わせることで, 定理証明器を NLI に応用するこ とが出来ることが示されている $[5,6,7]$. しかし, 定理証明器の重要な特徴であるインタラクティブな課題解決という側面に目を向けた NLI システムはこれ までに十分に研究が行われて来なかった.

そこで, 本研究では形式意味論と定理証明器に基 づいた NLI システムである ccg2lambda [8] に, 証明
に関する知識が不足した際にユーザーが自然言語で インタラクションを行うことが出来るシステムを提案する。

仮説の検証のために，SICK [9] をデータセット， Amazon Mechanical Turk にて募ったクラウドワー カーを被験者として適合率, 再現率, 精度を計測し, エラー分析を行った. 以降で提案手法と実験につい て詳細に説明する。

## 2 提案手法

本節ではユーザーと定理証明器とのインタラク ションを実現するための提案手法について説明す る. 重要な点として,インタラクションは基本的に自然言語で行われる.これにより, 形式意味論や定理証明器について知識がないユーザーであってもインタ ラクションが可能となる.

図 1 に提案手法の大枠を示した. 提案手法の内, セ マンティックパーザーと定理証明器については既存手法を用いている. まず，ユーザーが証明したい文の 組をシステムに入力し,これがセマンティックパー ザーにより論理式に変換される.これが定理証明器 に入力される. 定理証明器は証明をいくつかのサブ ゴールと呼ばれる命題に分解し, 全てのサブゴール が証明された時に全体の証明が完成する. 図 1 の例 では, person $(x 0)$, move $(e 0)$ がサブゴールである.

本研究ではサブゴールを自然言語に変換しユー ザーに提示するインタラクティブな NLI システムを 提案する. 以下, サブゴールを自然言語に変換したも のを可読なサブゴールと呼ぶことにする.より正確 には, あるサブゴールの可読なサブゴールとは, 前提文とそのサブゴールが真の時かつその時のみ真と なるような自然言語文のことである。図の例では, person $(x 0)$, move $(e 0)$ に対応する可読なサブゴール

(1)ユーザーの入カを論理式に変換

図 1 提案手法によるインタラクションの例. ユーザーが証明したい文対を入力すると, セマンティックパーザーにより 文対が論理表現に変換され，定理証明器に入力される。証明が完成しなかった場合にサブゴールを抽出し，提案手法に より可読なサブゴールが生成されユーザーに提示される. ユーザーの反応に応じて公理が生成され，証明が続行される.

は The man is a person, The man is moving となる. ユー ザーが可読なサブゴールの真偽を入力すると, それ に応じて新たな論理式が公理として生成され, 定理証明器にフィードバックされる. 以下でより詳細な ステップについて説明する。

## 2.1 可読なサブゴールの生成

サブゴールを可読なサブゴールに変換する問題を 考える. 以下の説明では, 図 1 中の move $(e 0)$ を例に とる.

サブゴールを自然言語文に変換するためには, サ ブゴールに含まれていないが自然言語文には必須の 要素を識別し正しく補充することが必要となる. 例 えば, 適格な (英語の) 自然言語文は主語が必ず必要 である. move $(e 0)$ の例では, 誰が moveしているのか を識別しなければならない。

まず第一ステップとして, 可読なサブゴールに含 めるべき変数の集合を識別する.これは論理式中の 意味役割を表す式から識別できる. 意味役割は主語 や動詞の必須項などを表現しており, 適格な自然言語文には含める必要がある. よって, 各変数について その変数が含まれている意味役割の式を抽出し, そ の式に含まれている全ての変数を集合に追加すると いう手続きを再帰的に適用すれば良い. 現在の例で は, $\operatorname{Subj}(e 0)=x 0$ から 可読なサブゴールに含める べき変数は $\{e 0, x 0\}$ であることが分かる.次のステップでは，それぞれの変数に語を割り 当て, 変数の内容を自然言語で表す.これには, そ の変数を引数としている述語を選択すれば良い.現在の手法では entity 型の変数に関してはそれを 引数に取る名詞を, event 型の変数に関してはそ れを引数に取る動詞を選択している. 現在の例で は, $x 0$ には man, $e 0$ には move を選ぶ. 結果として, $\{e 0$ : “move”, $x 0$ : “man” $\}$ を得る.

最後に, 得られた語の正しい語順と必要な機能語 を適宜補充し, 文法的に正しい文を生成する. 可読な サブゴールはごく簡単な宣言文なので, 語の品詞か ら語順, 時制, 必要な機能語を特定するルールベース のシステムが比較的容易に構築可能である.この例 では, The man is moving が可読なサブゴールとなる.

表 1 に実際に生成された可読なサブゴールを示し た. 二列目にサブゴール, 三列目に可読なサブゴール が示されている.

## 2.2 ユーザーの反応

可読なサブゴールを受け取ったユーザーは true, false, unknown から一つを選び, これを返答とする。 true が選択されると, 可読なサブゴールが論理表現 に変換され, 公理として定理証明器に追加される. false が選ばれた場合には可読なサブゴールを否定 した論理表現が追加される. unknown が選ばれた場合には公理は追加されず, 証明が完成しないことが

 & boy $(x 0)$ & The kid is a boy. & $\forall x, \operatorname{kid}(x) \rightarrow \operatorname{boy}(x)$ \\
 & & & \\

and the man is smiling nearby. & near $(e 0, x 1)$ & The man is with a smile. & $\forall x, y, e, \operatorname{boy}(x) \rightarrow$ \\
H: The kids are playing outdoors near a & with $(e 1, ? x 2)$ & The boys are near a man. & $\operatorname{Subj}(x)=e \wedge \operatorname{near}(e, y)$ \\
man with a smile. & $\operatorname{smile}(? x 2)$ & & $\wedge \operatorname{man}(y)$ \\

H: Two dogs are wrestling and hugging. & hug $(e 1)$ & The dogs are hugging. & $\forall e, \operatorname{fight}(e) \rightarrow \operatorname{wrestle}(e)$ \\

表 1 文のペアに SICK の訓練データから抽出した文を示している，T から始まる文が前提文, $\mathbf{H}$ から始まる文が帰結文 であり, 前者から後者への含意関係を示すことがタスクの内容となる. イタリックで示した箇所が非論理的推論が必要と なる箇所であり, サブゴールとして定理証明器により出力される. サブゴールには定理証明器が証明出来なかった命題を 示している. 可読なサブゴールには提案手法が生成しユーザーに提示された文を示した. 公理にはユーザーが trueで反応した場合に生成される論理式を示した.

表 2 SICK における適合率, 再現率, 精度. チェックマークは axiom injection [5], readable subgoal は提案手法の可読なサブ ゴールを使用しているか否かを示している。

確定するのでプロセスが停止する. 表 1 の四列目に trueが選択された場合の公理を示した.

## 3 実験

## 3.1 データ

提案手法の評価には, 語彙的な推論と論理的な推論の両方を適度に含み, 関連する既存手法 $[5,6]$ にお いても使用されている自然言語推論データセットで ある SICK [9]を用いた. SICK は 10000 件の文対から 成り, 各文対について一つ目の文から二つ目の文が 帰結するか否かを判定する分類タスクである. 正解 ラベルは entailment, contradiction, neutral の三通りで ある.

## 3.2 実験設定

セマンティックパーザーには ccg2lambda [8], 定理証明器に Coq [10] を使用した. SICK の訓練データか らサンプルした 1000 ペアを depccg と ccg2lambdaに より論理表現に変換し, 定理証明器に渡して証明を 行った. 定理証明器が証明を完成させた場合はプロ セスが終了する. 証明が完成しなかった場合はサブ ゴールを抽出し, 提案手法により可読なサブゴール
を生成し, ユーザーがインタラクションを行う. 本実験においては Amazon Mechanical Turkにより被験者 を募り,各ペアについて 3 人が true, false, unknown を 付与した. 精度を高めるため, 3 人が一致した時のみ 公理を生成した。

## 3.3 結果

適合率, 再現率, 精度を表 2 に示した. 一行目の ベースラインは majority class であり, $61.5 \%$ を占め る neutral の割合を示している. 二行目は ccg2lambda [8] の結果であり, $99.7 \%$ と高い適合率を達成してい るが, 再現率が $34.7 \%$ と低く, 全体として低い精度と なっている. 三行目に ccg2lambdaを拡張し知識デー タベースから公理生成を行う word abduction [5] の結果を示した. 語彙的推論がカバーされたため再現率 が $53.8 \%$ に向上している. 四行目に提案手法の結果 を示した. 再現率は $59.0 \%$ と最も高く, 偽陽性も少な く適合率の高さも維持されたため, 精度についても 比較した手法の中では最も良い結果となった.

## 3.4 エラー分析

提案手法の成功例と失敗例について表 3 にまと めた.

 & Yes & Yes & The helmet is red. \\

表 3 本実験中に得られた提案手法の成功例と失敗例. 単純な語彙間の含意関係では捉えられない句間の含意関係が捉え られている (1-2 行目). 一方で, 帰結文との重複が多いケース (3 行目) や蓋然性を高めるだけの関係を含意とアノテーショ ンしてしまうケース (4-5 行目) が多く見られた.

一行目のペアは成功例である.この証明を完成さ せるためには, 句間に成立する含意関係を認識する 必要があり, 単純な語彙間の含意関係に基づいた手法では処理することが出来ない. より形式的には, こ こで用いられている知識は以下のようなものであ る. The helmet is red については

$
\begin{aligned}
& \forall x, y, e, \operatorname{paint}(e) \wedge \operatorname{red}(x) \wedge(\operatorname{Acc}(e)=x) \\
& \wedge(\operatorname{Dat}(e)=y) \rightarrow \operatorname{red}(y)
\end{aligned}
$

The man is a motorcyclist については

$
\begin{gathered}
\forall e, x, y, \text { ride }(e) \wedge \operatorname{man}(x) \wedge \operatorname{motorcycle}(y) \\
\rightarrow \operatorname{motorcyclist}(x)
\end{gathered}
$

実際この例においては知識ベースにより公理を生成する既存手法 [5] は証明を完成させることが出来 ていない. 二行目に示した例も同様に, ride the wave から surf を導く必要がる.

三行目に示した例は成功しているがやや問題を含 んでいる. 可読なサブゴールは正しく生成され予測結果も正しいが, 帰結文とほとんど重複してしまっ ている.これは帰結文が短すぎるために分解の余地 がないためである.したがってこのようなケースで は可読なサブゴールを介する有用性が低く, より長 い前提文・帰結文において提案手法が価値を発揮す ることが示唆される。

四行目に示した例は典型的な失敗例である.この 例では The stage is a podium という可読なサブゴール に対して true とラベルが付与されたが, 全ての stage が podium である訳ではないので unknown が正しい 反応となる. ただしこの文脈で stage が podium であ るという蓋然性は高く, このようなケースと他の語彙間の含意関係や常識判断の間に厳密な線を引くの は難しい. 五行目に示した例も同様である.
また, 曖昧性のある場合にも解析誤りが見られ た. 例えば The men are women はその女性は男性であ るともその女性は人間であるとも解釈でき, それぞ れの解釈の下で適切な反応が異なってしまう。この ような曖昧性の解消が将来的には必要になると考え られる。

他の失敗ケースで多く見られたのは CCG タグ付 けやセマンティックパーザーなどの前処理の段階で の解析結果の誤りが影響するケースである. 特に複合表現など構成性を満たさない表現は誤った意味表現が付与される例が多く見られた.

## 4 結論と今後の課題

本論文では形式意味論と定理証明器に基づいたイ ンタラクティブな自然言語推論システムを提案し た. 実験の結果, 提案手法により再現率と精度が向上 しており,ユーザーとのインタラクションが有益で あることが示された.

今後の課題としては, 前節で示した典型的な失敗例の解決に加え, より複雑な設定でインタラクショ ンを成立させることが挙げられる. SICK は単文と単文の間の含意関係を認識するタスクだが, 人間が論理関係を包括的に把握するのが困難な量のドキュメ ントを前提文とする場合の方が応用上は有益であ る. そのためには共参照などの問題を考慮する必要 が生じる. また, SICK では非論理的推論のほとんど がシンプルな語彙間の推論だが, 常識推論などのよ り高度かつ計算機には処理が難しい推論を含んだ場合にもインタラクションを成立させることが出来れ ば, ユーザーとシステムの協働により高い価值を見 いだせるので,これらを今後の課題としたい.

## 参考文献

[1] Omer Levy, Torsten Zesch, Ido Dagan, and Iryna Gurevych. Recognizing partial textual entailment. In Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pages 451-455, Sofia, Bulgaria, August 2013. Association for Computational Linguistics.

[2] Alex Wang, Amanpreet Singh, Julian Michael, Felix Hill, Omer Levy, and Samuel Bowman. GLUE: A multi-task benchmark and analysis platform for natural language understanding. In Proceedings of the 2018 EMNLP Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP, pages 353-355, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[3] Terence Parsons. Events in the Semantics of English. MIT Press, 1990

[4] Claudia Maienborn. Event semantics. In Claudia Maienborn, Klaus von Heusinger, and Paul Portner, editors, Semantics. An International Handbook of Natural Language Meaning, volume 1, pages 802829. Mouton de Gruyter, 2011.

[5] Pascual Martínez-Gómez, Koji Mineshima, Yusuke Miyao, and Daisuke Bekki. On-demand injection of lexical knowledge for recognising textual entailment. In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics: Volume 1, Long Papers, pages 710-720, Valencia, Spain, April 2017. Association for Computational Linguistics.

[6] Hitomi Yanaka, Koji Mineshima, Pascual MartínezGómez, and Daisuke Bekki. Acquisition of phrase correspondences using natural deduction proofs. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pages 756-766, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[7] Lasha Abzianidze. LangPro: Natural language theorem prover. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pages 115-120,
Copenhagen, Denmark, September 2017. Association for Computational Linguistics.

[8] Pascual Martínez-Gómez, Koji Mineshima, Yusuke Miyao, and Daisuke Bekki. ccg2lambda: A compositional semantics system. In Proceedings of ACL2016 System Demonstrations, pages 85-90, Berlin, Germany, August 2016. Association for Computational Linguistics.

[9] Marco Marelli, Stefano Menini, Marco Baroni, Luisa Bentivogli, Raffaella Bernardi, and Roberto Zamparelli. A SICK cure for the evaluation of compositional distributional semantic models. In Proceedings of the Ninth International Conference on Language Resources and Evaluation (LREC'14), pages 216-223, Reykjavik, Iceland, May 2014. European Language Resources Association (ELRA).

[10] Yves Bertot and Pierre Castéran. Interactive Theorem Proving and Program Development: Coq'Art: the Calculus of Inductive Constructions. Springer, 2013.


# ニューラルネットが学習する意味表現は体系性を持つか

谷中 瞳 1 峯島 宏次 ${ }^{2}$ 乾 健太郎 3,1
1 理化学研究所 2 慶應義塾大学 3 東北大学
}

hitomi.yanaka@riken.jp minesima@abelard.flet.keio.ac.jp inui@ecei.tohoku.ac.jp
## 1 はじめに

大規模計算環境の発展に伴い，大量のテキスト データを扱うことが可能となり，機械翻訳や質問応答といった様々な自然言語処理タスクにおいて，深層ニューラルネット (DNN) を用いた手法 $[1,2]$ が 高精度を達成しつつある。一方で，DNN がデータ セット中の表層的な関係やバイアスを学習している という問題が指摘されており $[3,4]$, DNN が自然言語の意味を学習できているのかは自明ではない.

DNNによる表現学習の問題として，DNNによる 意味表現が, 形式意味論で考えられてきた構成性 (compositionality) の原理一文全体の意味が構成要素 の意味から統語構造に従って決まるという性質一を 満たしているか，という問題がある。この問題は人間の認知のモデリングに関する 2 つの理論，すなわ ち，コネクショニズムと古典的計算主義の対立とし て古くから議論されている。その中で Fodor [5] は， Ann loves Bob という文の内容を思考できれば，Bob loves Ann という文の内容も思考できるというよう に, 人間の認知能力には, ある処理ができれば関連した処理もできるという体系性 (systematicity) が あることを主張している. Yanaka ら [6] は，この体系性の問題を再考し，現行の DNN が自然言語推論 (Natural Language Inference, NLI) を体系的には学習し ていないことを実証的に示した。しかし，DNNが なぜデータから NLIを体系的に学習できないのか,具体的には，DNN が文の意味を体系的に学習でき ないのか，それとも文間の推論に必要な規則を学習 できないのかについては，特定できていなかった。

そこで本論文では，文から意味表示に変換する意味解析のタスクを用いて，DNN が文の構成的な意味を体系的に学習できているのか分析を行う. 本論文の貢献は，(i) 意味解析で DNN の体系性を評価す る方法の提案, (ii) 現行の DNN の意味における汎化性能の範囲の特定，の二点である。評価に用いる コードは研究利用が可能な形式で公開予定である.

## 2 関連研究

近年，SCAN [7] や CLUTRR [8] といった，自然言語の命令を入力とし命令に対応する行動を示す記号系列を出力する構成的なタスクで, DNN の汎化性能を評価するデータセットが数多く提案されて いる。しかし，これらは単純な人工タスクを扱って おり，より複雑な構成性をもつ自然言語の意味にお ける DNN の汎化性能については自明ではない。そ こで Yanaka ら [6] は重要な推論現象の一つである monotonicity [9] に着目して，DNNの NLIにおける体系性を分析する手法を提案し，現行の DNN が NLI を体系的には学習していないことを示したが，体系的に学習できない原因は特定できていなかった。

また，DNNの自然言語における文法性を分析する 先行研究として, 名詞と動詞の数の一致 (subject-verb agreement) に着目した分析 [10] や，自然言語文から 述語項構造への変換タスクを用いた分析 [11] があ る.しかし, これらの先行研究では数の一致や受動態の文を学習し能動態の文に汎化するかといった形態論的・統語論的な汎化を中心に分析しており，否定や量化といった意味論的な汎化は扱っていない。 また, [11] では 1 種類の意味表示を扱っており, 評価指標も正解との完全一致率に限定されていた。意味表示は $A \wedge B$ と $B \wedge A$ が同じ意味を表すように，形式が違っていても同じことを表現しうるため，意味表示の機能に基づいて評価する必要がある。そこ で本研究では意味論的な汎化を分析対象として, 複数の意味表示の形式と複数の評価指標を用いること で，意味解析におけるDNNの総合的な分析を行う.

## 3 分析手法

## 3.1 概要

本研究では先行研究 [6] の (i) 未知の組合せと (ii)未知の深さという 2 つの体系性の評価の観点を用い て，DNN が文から意味表示への変換を体系的に学
表 1 意味解析データセットの例. 学習 $1 \cdot 2$ は学習データ $1 \cdot 2$ の略. 中央・非中央は埋め込み節の種類.

 & 入力文 & 正解の意味表示 &  \\

&$ 中央 \\
& 深さ $1: \\
&$ 非中央 \end{aligned} &  &  & \\

習できているのかについて分析を行う。言語現象の 網羅性と文の自然さをコントロールするため, 分析 には文脈自由文法 (CFG) の生成規則によって自動構築したデータセットを用いる。まず，CFG の生成規則（付録の表 7 参照）に従って, 文と $\mathrm{CFG}$ 構文木を 生成する. 次に, $\mathrm{CFG}$ 構文木と単語への意味割り当 てに基づいて，ラム分計算によって意味表示を合成 する. 提案手法によって自動構築したデータの例を 表 1 に示す.

また，文を入力として文を出力する Autoencoder の設定をベースラインとして意味解析の予測精度と 比較し, 文のエンコードの汎化に限界があるのか,意味表示へのデコードの汎化に限界があるのかを 考察する. 意味表示には一階述語論理に基づく形式 (以下, FOL) と, 括弧と変数を除去した形式 $[12,13]$ (Variable-Free form, VF) の 2 種類の形式を用いて,意味表示の形式の違いと学習の難しさの関係を分析 する. 例えば，(1)の文には次の 2 種類の意味表示 （FOL, VF）が割り当てられる.

(1) All white dogs ran FOL: $\forall x_{1} \cdot\left(\boldsymbol{w h i t e}\left(x_{1}\right) \wedge \operatorname{dog}\left(x_{1}\right) \rightarrow \operatorname{run}\left(x_{1}\right)\right)$ VF: ALL AND WHITE DOG RUN

## 3.2 未知の組合せにおける体系性

本節では，DNNが量化表現と修飾表現の組合せ からなる文の意味を体系的に学習できているかにつ
いて分析する手法を紹介する。この分析では，量化表現と修飾表現の組合せの学習に最低限必要なデー タを学習データとしてモデルを訓練し, 学習データ にない未知の組合せをテストデータとしてモデルを 評価する.

表 1 の例を考えよう.ここでは存在量化の一つ one を基本量化表現, tiger を基本の項として固定し, これに形容詞, 副詞, 結合子の 3 タイプ×各 5 語の 合計 15 語の修飾表現を組み合わせた文の集合を学習データ 1 とする. また, 基本量化表現を含め存在量化 (a,one), 数量表現 (two, three), 全称量化 (every, all)の 3 タイプ×各 2 語の合計 6 語の量化表現と,基本の項との組合せから構成される文の集合を学習 データ 2 とする. モデルが学習データ 1 と学習デー タ 2 からの学習で体系性を獲得していれば，テスト データ中のあらゆる量化表現と修飾表現の組合せか らなる文の意味を正しく予測できるはずである．本論文では, 組合せの訓練に十分なデータサイズとし て合計 50,000 件のデータを用意し, その中で基本量化表現に応じて学習データ約 12,000 件とテスト データ約 38,000 件に分割する.

## 3.3 未知の深さにおける体系性

体系性の性質の一つに，有限の文法規則から無限 の文を生成できるという生産性 (productivity) があ る. DNNが生産性を捉えていれば，文の構造がどれ
表 2 修飾表現のタイプ別の完全一致率の評価結果.

だけ深くなっても, 構造の規則性から文の意味を計算できるはずである. そこで本節では，モデルが生産性を学習できているか分析する手法を紹介する。

この分析では, 表 1 の例のように埋め込み節を含 まない文を深さ 0 , 埋め込み節を 1 つ含む文を深さ 1 と呼び，深さ 0 と深さ 1 のデータを学習データと してモデルを訓練する. そして，学習データよりも 深い埋め込み節を含むテストデータでモデルを評価する. 本論文ではテストデータの深さは最大 4 と し, 学習に十分なデータサイズとして各深さ 20,000 件のデータを用意する. また, 深さ以外の語彙と構文規則は学習データとテストデータで共通にする。

## 4 実験

## 4.1 実験設定

自然言語における汎化性能の評価に用いられる標準的なモデルとして, GRU に基づくseq2seq [14] と, Transformer に基づくs seq2seq [15] の 2 種類のモデル を評価した。実装には PyTorch を用いた。GRU のエ ンコーダ，デコーダは 1 層の単方向 $\mathrm{GRU}^{11}$ を用い,隠扎状態は 256 次元とした. Transformer のエンコー ダ，デコーダは共に 3 層とし， モデルサイズは 512 次元，隠れ状態は 256 次元とした。上記以外のパラ メータはすべて共通で, 埋め込み層は 256 次元, ド ロップアウトの確率は 0.1 , ミニバッチサイズは 128 とし, 最適化手法には初期学習率を 0.0005 とした Adam [16] を使用した. 各実験を 5 回ずつ行い，平均の精度を最終的なモデルの評価結果とする.

## 4.2 評価指標

モデルが予測した FOL の意味表示は, (i) 正解の 意味表示との完全一致率に加えて，意味表示の構造

1）双方向よりも単方向のエンコーダの方が文の構造に頑健で あるという報告 [11] があり，本論文では単方向を採用した.

や機能を考慮した評価方法として，(ii) 自動定理証明 (automated theorem proving, ATP) による評価，(iii) monotonicity に基づく評価の計 3 種類の方法で評価 する.

ATP による評価一階述語論理の定理証明器 vampire ${ }^{2}$ を用いて, (i) 正解の意味表示 $G$ が予測の意味表示 $P$ を含意するか $(G \Rightarrow P)$, (ii) 予測の意味表示 $P$ が正解の意味表示 $G$ を含意するか $(G \Leftarrow P)$, と いう双方向の含意関係の証明を試み，評価を行う。

monotonicity に基づく評価 予測した意味表示 が否定や量化のスコープを正しく捉えられている か分析するため, 論理式中の各述語に対して極性 (polarity)を計算し, 適合率, 再現率, $\mathrm{F}$ 值を評価す る. 極性は FOL の意味表示から計算でき，(2) のよ うに存在量化 $(\exists)$ の中では upward monotone ( $\uparrow)$, (3) のように条件 $(\rightarrow)$ の前件や否定 $(\neg)$ のスコープの中 では downward monotone $(\downarrow)$ と計算できる. また， (4) の dogs のように downward monotone に 2 回埋め込ま れると, さらに極性が反転する。

(2) One dog ran: $\exists x \cdot\left(\operatorname{dog}^{\uparrow}(x) \wedge \operatorname{run}^{\uparrow}(x)\right)$

(3) All dogs ran: $\forall x \cdot\left(\boldsymbol{\operatorname { d o g }}^{\downarrow}(x) \rightarrow \operatorname{run}^{\uparrow}(x)\right)$

(4) All dogs didn’t run: $\neg \forall x \cdot\left(\boldsymbol{d o g}^{\uparrow}(x) \rightarrow \operatorname{run}^{\downarrow}(x)\right)$

## 4.3 実験結果

未知の組合せにおける体系性 表 2 に修飾表現の タイプ別の完全一致率による評価結果を示す. 両モ デルとも結合子 > 副詞 $>$ 形容詞の順に精度が高く,否定の有無については特別な傾向はない。これは 表 1 の例のように，形容詞を追加すると後続の語の 位置がずれるのに対して，副詞や結合子を文末に追加した場合は語の位置が変化せず，文の構造を記憶 しやすいことが影響していると考えられる.

表 3 に量化表現のタイプ別の完全一致率による評価結果を示す. GRU と Transformerの結果を見ると，基本量化表現である one と同じ存在量化の量化表現

2) https://github.com/vprover/vampire

表 5 量化表現のタイプ別の monotonicity に基づく FOL の評価結果. prec : 適合率, rec : 再現率, f1 : F 值.

表 6 未知の深さにおける評価結果.

に対してほぼ 100\%の完全一致率であり，学習デー タ 1 の基本量化表現と同じタイプの量化表現を含む 組合せには汎化しやすいことが示唆される。（他の タイプの量化表現を基本量化表現とした場合の結果 は付録の表 8 , 表 9 参照. ) 意味表示間の違いとして は, FOL よりも括弧・変数がなく単純な形式である VFの方が汎化しやすい傾向がある. モデル間の違 いとしては， Transformer は文を入力とし文を出力す る Autoencoder の設定で精度が低く, 文のエンコー ド時に汎化できていないと考えられる.

ATP による評価結果（表 4）と monotonicity に基 づく評価結果（表 5）を見ると, 完全一致率よりも 精度が高い. これは括弧の数や等価な論理式の出現順序が正解とは異なるため, 完全一致率では誤答と みなされるケースがあるからである. monotonicity で評価した場合は全称量化の downward の精度が低 く, 全称量化のスコープを学習することが難しいこ とを示している. さらに，ATPの全称量化の精度を 見ると, GRU は双方向で低いのに対し Transformer では $G \Leftarrow P$ よりも $G \Rightarrow P$ の精度が低い. 実際のエ ラーを見ると次のように GRU は修飾表現が丸ごと 抜けているエラーが多く, Transformer は前件の位置
が誤っているエラーが多いという違いが見られた。

入力文 Every wild cat escaped or ran

正解 $\forall x .((\operatorname{cat}(x) \wedge \operatorname{wild}(x)) \rightarrow(\operatorname{escape}(x) \wedge \operatorname{run}(x)))$

$\operatorname{GRU} \forall x .(\operatorname{cat}(x) \rightarrow(\operatorname{escape}(x) \wedge \operatorname{run}(x)))$

Trans $\forall x .(\operatorname{cat}(x) \rightarrow \operatorname{wild}(x) \wedge(\operatorname{escape}(x) \wedge \operatorname{run}(x)))$

未知の深さにおける体系性 表 6 を見ると, 両モ デルとも未知の深さに対してはほぼ汎化できていな い。また，文を入力とし文を予測する Autoencoder の設定では，GRU は深さ 2 を含む文を $15.8 \%$ 予測で きているが，両モデルとも精度が低く，文のエン コードが汎化できていないことが示唆される.

## 5 おわりに

本論文では, DNN がデータからの学習で文の構成的な意味における体系性を獲得しているかにつ いて分析する手法を紹介した。実験の結果, GRU, Transformer ともに量化表現と修飾表現の組合せにお いて学習データと文の構造が変わらない場合は汎化 しやすい一方で，未知の深さなど構造が変わる場合 は文のエンコード時に汎化できていないことが示唆 された。また，ATP や monotonicity で評価すること でモデルのエラー傾向を特定でき，表面的な形式だ けでなく意味表示の機能を考慮した指標で評価する 必要性が示唆された。今後, SCAN などの人工タス クで高精度を達成しているモデル [17] を提案手法で 分析し, 構成性を満たす表現学習の検討を進める。

謝辞. 本研究は理研・産総研「チャレンジ研究」(FS 研究), JSPS 科研費 JP20K19868 の助成を受けたもの である。

## 参考文献

[1] Alex Wang, Amanpreet Singh, Julian Michael, Felix Hill, Omer Levy, and Samuel Bowman. GLUE: A multi-task benchmark and analysis platform for natural language understanding. In Proceedings of the International Conference on Learning Representations (ICLR), 2019.

[2] Jacob Devlin, Chang Ming-Wei, Lee Kenton, and Toutanova Kristina. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL-HLT), pp. 41714186, 2019.

[3] R. Thomas McCoy, Ellie Pavlick, and Tal Linzen. Right for the wrong reasons: Diagnosing syntactic heuristics in natural language inference. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 3428-3448, 2019.

[4] Nelson F. Liu, Roy Schwartz, and Noah A. Smith. Inoculation by fine-tuning: A method for analyzing challenge datasets. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL-HLT), pp. 2171-2179, 2019.

[5] Jerry A. Fodor and Zenon W. Pylyshyn. Connectionism and cognitive architecture: A critical analysis. Cognition, Vol. 28, No. 1-2, pp. 3-71, 1988.

[6] Hitomi Yanaka, Koji Mineshima, Daisuke Bekki, and Kentaro Inui. Do neural models learn systematicity of monotonicity inference in natural language? In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 6105-6117, 2020.

[7] Brenden M. Lake and Marco Baroni. Generalization without systematicity: On the compositional skills of sequenceto-sequence recurrent networks. In Proceedings of the 35th International Conference on Machine Learning (ICML), 2017.

[8] Koustuv Sinha, Shagun Sodhani, Jin Dong, Joelle Pineau, and William L. Hamilton. CLUTRR: A diagnostic benchmark for inductive reasoning from text. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLPIJCNLP), pp. 4506-4515, 2019.

[9] Johan van Benthem. Determiners and logic. Linguistics and Philosophy, Vol. 6, No. 4, pp. 447-478, 1983.

[10] Tal Linzen, Emmanuel Dupoux, and Yoav Goldberg. Assessing the ability of LSTMs to learn syntax-sensitive dependencies. Transactions of the Association for Computational Linguistics, Vol. 4, pp. 521-535, 2016.

[11] Najoung Kim and Tal Linzen. COGS: A compositional generalization challenge based on semantic interpretation. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 90879105, 2020.

[12] Franz Baader, Diego Calvanese, Deborah McGuinness, Peter Patel-Schneider, Daniele Nardi, et al. The Description
Logic Handbook: Theory, Implementation and Applications. Cambridge university press, 2003.

[13] Ian Prat-Hartmann and Lawrence S. Moss. Logics for the relational syllogistic. The Review of Symbolic Logic, Vol. 2, No. 4, pp. 647--683, 2009.

[14] Kyunghyun Cho, Bart van Merriënboer, Caglar Gulcehre, Dzmitry Bahdanau, Fethi Bougares, Holger Schwenk, and Yoshua Bengio. Learning phrase representations using RNN encoder-decoder for statistical machine translation. In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 17241734, 2014.

[15] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In $A d-$ vances in Neural Information Processing Systems 33: Annual Conference on Neural Information Processing Systems (NeurIPS), pp. 5998-6008, 2017.

[16] Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In Proceedings of the International Conference on Learning Representations (ICLR), 2015.

[17] Yewen Pu, Kevin Ellis, Marta Kryven, Josh Tenenbaum, and Armando Solar-Lezama. Program synthesis with pragmatic communication. In Advances in Neural Information Processing Systems 33: Annual Conference on Neural Information Processing Systems (NeurIPS), 2020.

## A 付録

未知の組合せにおける体系性の評価の補足 one を基本量化表現, $\operatorname{dog}$ を基本の項としたときの学習 データ 1 に含まれる文の例を (5) に示す. 学習デー タ 1 を通して，モデルに修飾表現を含む文のパター ンを一通り訓練させる。また，学習データ 2 に含ま れる文の例を (6) に示す. 学習データ 2 を通して, モデルに量化表現を含む文のパターンを一通り訓練 させる. モデルが学習データ 1 と学習データ 2 を体系的に学習できていれば，(7)にあるような様々な 量化表現と修飾表現の組み合わせからなる文につい ても正しい意味表示を予測できるはずである.

(5) a. One small dog ran

b. One dog ran quickly

c. One dog ran or came

(6) a. One dog ran

b. A dog ran

c. Every dog ran

d. Two dogs ran

(7) a. A small dog ran

b. Every dog ran quickly

c. Two dogs ran or came

表 7 にデータ構築に用いた生成規則と語彙項目を 示す. 語彙は分析のしやすさを考慮して自然かつ基本的な文を生成するよう一般名詞・固有名詞 ・自動詞・他動詞は各 10 語, 量化表現は 6 語（存在量化,数量表現, 全称量化それぞれ 2 語), 形容詞・副詞は 各 5 語を選定し，マルチワードは使用しない.

表 8 に数量表現の two を基本量化表現とした場合, 表 9 に全称量化の every を基本量化表現とした 場合の, 量化表現のタイプ別の完全一致率の評価結果を示す.いずれも基本量化表現と同じタイプの量化表現を含む組合せの予測精度が他のタイプの予測精度よりも高くなっており, 基本量化表現と同じタ イプの量化表現を含む組合せには汎化しやすいこと が示唆される.

未知の深さにおける体系性の評価の補足 基本量化表現 one を含む深さ 2 以上のケース 1000 件を 学習データに追加した場合の結果を表 10 に示す.表 10 を見ると, 表 6 と同様の結果であり, 深さ 2 以上のケースを一部モデルに教えても深さ 2 以上は汎化できていないことがわかる.表 7 データ構築に用いた生成規則と語彙項目（抜粋）。

## 文の生成規則

$\mathrm{S} \quad \rightarrow \quad \mathrm{NP} \mathrm{VP} \mid \mathrm{NP}$ did not $\mathrm{VP}$

$\mathrm{VP} \rightarrow \mathrm{IV}|\mathrm{IV} \mathrm{ADV}| \mathrm{IV}^{2}$ or $\mathrm{IV}^{\prime} \mid \mathrm{IV}$ and $\mathrm{IV}^{\prime} \mid \mathrm{TV}$ NP

$\mathrm{NP} \rightarrow \mathrm{PN}|\mathrm{QN}| \mathrm{Q}$ ADJ $\mathrm{N} \mid \mathrm{QN} \overline{\mathrm{S}}$

$\overline{\mathrm{S}} \rightarrow$ that TV NP|that NP TV | NP TV

## 語彙項目

$\mathrm{Q} \rightarrow$ \{every, all, a, one, two, three \}

$\mathrm{N} \rightarrow\{$ dog, rabbit, cat, bear, tiger $\}$

$\mathrm{PN} \rightarrow$ \{ann, bob, fred, chris, eliott $\}$

IV $\rightarrow\{$ ran, walked, swam, danced, dawdled $\}$

$\mathrm{IV}^{\prime} \rightarrow$ \{laughed, groaned, roared, screamed $\}$

$\mathrm{TV} \rightarrow\{$ kissed, kicked, cleaned, touched $\}$

ADJ $\rightarrow$ \{small, large, crazy, polite, wild $\}$

$\mathrm{ADv} \rightarrow$ \{slowly, quickly, seriously, suddenly $\}$

表 8 量化表現のタイプ別の完全一致率の評価結果（数量表現の $t w o$ を基本量化表現とした場合）。

表 9 量化表現のタイプ別の完全一致率の評価結果（全称量化のeveryを基本量化表現とした場合）。

表 10 未知の深さにおける評価結果（基本量化表現 one を含む深さ 2 以上のケースを学習データに加えた場合).


# DTS の部分体系のための 定理自動証明器の実装に向けて

大洞日音
お茶の水女子大学
daido. hinari@is.ocha.ac.jp
}

戸次大介
お茶の水女子大学
bekki@is.ocha.ac.jp
}

$
\left[\begin{array}{l}
v:\left[\begin{array}{l}
u:\left[\begin{array}{l}
x: \text { entity } \\
\operatorname{man}(x)
\end{array}}] \\
\operatorname{enter}\left(\pi_{1} u})
\end{array}}] \\
\text { whistle }\left(\pi_{1} \pi_{1} v})
\end{array}}]
$

図 1 DTS の例

$\exists x(\operatorname{man}(x) \wedge \operatorname{enter}(x)) \wedge$ whistle $(x)$

図 2 一階述語論理の例

には十分である．そこで本研究では，DTS の断片の ための定理自動証明器を新規に開発し, 定理証明器 の評価用ライブラリである Thousands of Problems for Theorem Provers (TPTP) ${ }^{1}$ を用いて定量的な評価を行 い，ある程度の推論を網羅できることを示した。
## 2 依存型意味論 (DTS)

高階型理論の一種であるDTS は, 関数型と直積型の一般化として П型と $\Sigma$ 型を用いる。 П 型は $(x: A) \rightarrow B$ という形で表記し, 後件の型 $\mathrm{B}$ は前件 の型 $\mathrm{A}$ をつ項に依存する. $\Sigma$ 型は $(x: A) \times B$ と表記し， П型と同様に B が型 A もつ項に依存する. この性質から DTS は前提・照応など自然言語にお ける複雑な現象を統一的に扱うことができる。図 1 は “A man enters. He whistles. ” から合成的に計算 された DTS の意味表現である。一方，この文を語 の意味から合成的に計算して一階述語論理で表記す ると図 2 のようになるのが自然であるが，これは存在量化子のスコープが適切ではない. このように,自然言語の意味計算には一階述語論理の記述力を越 える現象が多々存在するが，高階論理を用いた DTS では自然に扱うことができる.

DTS の定理証明は型理論における項の探索に対応している. 型理論では $\Gamma \vdash a: A$ という judgment を用いて文脈 $\Gamma$ において項 $a$ の型が $A$ であること を表す。一方, 論理的観点からこの judgment をみる と, これは前提 $\Gamma$ のもとで命題 $A$ の証明が $a$ であ

る,という意味である.このことから， $a$ は証明項 とも呼ばれ，証明項を探索することは証明探索と呼 ばれる。

図 3 証明探索の例

図 3 で“?”の部分に当てはまる項を探索すると $\left(\pi_{1} \pi_{1} \pi_{1} t, \pi_{2} \pi_{1} \pi_{1} t\right)$ という証明項を得ることができ， これをデコードすることで証明探索においてどのよ うな規則をどのような順番で適用したかという情報 を得ることができる.

## 3 実装

本研究で実装した定理証明器の構造を図 6 に 示す.

図 6 定理証明器の構造

アルゴリズムは Alligator [5] において提案された ものの改良である. forward_context では前向き推論を, deduce では後ろ向き推論を行っている. 前向 き推論では, 前提と結論が与えられたとき, 前提に 規則を繰り返し適用することで上から下へと自然演繹形式の証明木を構築し, 前提から導きうる命題 を蓄積する，後万向き推論では，まず結論に規則 を適用して証明のために必要なゴールを割り出し，下から上に証明木を構築していく形で推論を行う. forward_context は引数として前提を受け取り, 前向き推論の結果として得られた judgment のリスト を返す。forward_context で使用する規則の一部を 図 4 に示す. deduce は図 5 にあるような規則を用い
て後ろ向き推論を行い, judgment のリストを返す. deduce は無限再帰に陥る可能性があるため，探索の 深さや，かかる時間に制限を置くことで，計算の制御を行っている.

## 4 評価

実装にはプログラミング言語 Haskell を用い，実験環境には産総研の $\mathrm{AI}$ 橋渡しクラウド $(\mathrm{ABCI})^{2}$ を 用いた。定理自動証明器の評価のための包括的なラ イブラリである TPTP から, Alligator でカバーされ ていない等号や四則演算の問題を除いたデータセッ トによって評価を行った。 TPTP ライブラリに収録 されている問題は図 7 のような形式である.

図 7 TPTPに収録されている二重否定律の問題

推論の結果と各評価ラベルの関係は, 図 8 のとお りである.

図 8 評価の形式

## 4.1 構文解析器 :

Haskell の Alex/Happy library $[7,8]$ を用いて TPTP フォーマットから Haskell のデータ型への変換を行 う Alex/Happy Parser を実装した。このデータ型を中間言語として, 読み込んだ TPTP 形式の問題を, 本

2) https://abci.ai/
$\Gamma r_{F} z:\left[\begin{array}{l}x: A \\ B\end{array}\right]$

$\Gamma \vdash_{F} \pi_{1}(z): A$

$(\Sigma$-elim 1-1)

$
\frac{\Gamma \vdash_{F} z:\left[\begin{array}{l}
x: A \\
B
\end{array}\right]}{\Gamma \vdash_{F} \pi_{2}(z): B\left[\pi_{1}(z) / x\right]}
$

$(\Sigma$-elim 1-2)

$
\Gamma \vdash_{F} z: \Gamma_{1} \Rightarrow\left[\begin{array}{l}
x: A \\
B
\end{array}\right]
$

$
\overline{\Gamma \vdash_{F} \lambda x_{1}: m_{1} \ldots x_{n}: m_{n} \cdot \pi_{1}(z)\left(x_{1}\right) \ldots\left(x_{n}\right): \Gamma_{1} \Rightarrow A}
$

$(\Sigma$-elim 2-1)

$
\begin{aligned}
& \Gamma \vdash_{F} z: \Gamma_{1} \Rightarrow\left[\begin{array}{l}
x: A \\
B
\end{array}\right] \\
& \begin{array}{l}
n_{1} \ldots x_{n}: m_{n} \cdot \pi_{2}(z)\left(x_{1}\right) \ldots\left(x_{n}\right. \\
\Gamma_{1}=\left[x_{1}: m_{1}, \ldots, a_{n}: x_{n}\right] \\
B^{\prime}=B\left[\pi_{1}(z) / x\right]
\end{array}
\end{aligned}
$

$
\overline{\Gamma r_{F} \lambda x_{1}: m_{1} \ldots x_{n}: m_{n} \cdot \pi_{2}(z)\left(x_{1}\right) \ldots\left(x_{n}\right): \Gamma_{1} \Rightarrow B^{\prime}}
$

$(\Sigma$-elim 2-2)

図 4 forward_context の規則 (一部)

研究の定理証明器が対応している Haskell データ形式や Alligator が対応している Prolog データ形式へ翻訳する.

## 4.2 証明探索：

本研究の定理証明器は, 与えられた文脈 $\Gamma$ と命題 $A$ について, $\Gamma \vdash ?: A$ という問題の証明項が見つ かったときは YES ラベルを, $\Gamma+?: \neg A$ という問題 の証明項が見つかったときは $\mathrm{NO}$ ラベルを返す．証明探索が停止せず，証明項が見つからなかった場合 は UNK ラベルを返すが，このとき必ずしも命題が 偽であるとは言えない点に注意する。

## 4.3 結果 :

探索の深さ制限を 8 と 9 に設定した際の結果を 表 1 に示す. この結果から, accuracy は探索の深さ 制限に依存することが考えられる ${ }^{3}$ ．表 2 で，YES

$\overline{\epsilon \vdash s: s^{\prime}}$

(axiom)

$
\begin{gathered}
\Gamma \vdash a: A \quad \Gamma \vdash b: B[x / a] \quad \Gamma \vdash(x: x) \rightarrow A B: s \\
\Gamma \vdash(a, b):\left[\begin{array}{c}
x: A \\
B
\end{array}\right] \\
(\Sigma \text {-intro) }
\end{gathered}
$

図 5 deduce の規則 (一部)

表 1 探索の深さを $9 / 8$ としたときの結果

表 2 探索の深さを 9 としたときの結果詳細

ラベルと NO ラベル両方について precision は 1 であ ることから，推論での規則の適用は適切であると考 えられる。一方, recall はどちらについても低く, 特 に NO ラベルについての recall は YES ラベルと比べ

は $0.104 ， 0.050,0.025$ であることが確認された.

図 9 問題の複雑さと証明探索の結果の関係

ても低い。これは, 評価の過程で $\mathrm{NO}$ ラベルの証明 の際, 命題に否定記号 (ᄀ) を追加しており, 命題の 構造が複雑になる分, 深さ制限を超過しやすくなる ためと考えられる. 図 9 はラベルが YES である問題について, 問題の複雑さと証明探索の結果の関係 を示すぺアプロットである. オレンジのドットは証明探索の結果出力されたラベルが YES であったこ とを，青のドットはUNKであったことを表す. アプロットの $y$ 軸は命題の深さを, $x$ 軸は述語, 変数, アトム，ファンクタの数を表しており，いずれ も高ければ高いほど問題の複雑さは増す.この結果 から, 今回実装した定理証明器は $x$ と $y$ の値が小さ い単純な問題については正確に計算を行えているこ とが示された. 深さ制限を緩めると計算量が指数関数的に増加する一方, より多くの問題を解けるよう になることが期待される.

本研究の定理証明器は, 古典論理と直観主義論理の双方に対応しており, TPTP の問題の中 でもパースの法則 $(p \Rightarrow q) \Rightarrow p) \Rightarrow p$ や対偶律 $(p \Rightarrow q) \Longleftrightarrow(\neg q \Rightarrow \neg p)$, 排中律 $p \vee \neg p$ など, 推論 において重要な役割を果たす定理についてもカバー することを確認した。

## 5 おわりに

本研究では DTS の部分体系 ( $\Pi \Sigma$ 断片) について 証明探索アルゴリズムを実装し，TPTP ライブラリ を用いて評価を行った。その結果，十分な範囲の定理について適切に自動計算を行うことを確認した。今後は自然言語推論で用いられる, 等号や算術に ついても扱えるようアルゴリズムを拡張していく. また, 日本語 CCG パーザ lightblue[9] と組み合わせ ることによって, 自然言語推論のためのパイプライ ンを構築し, DTS 基づく検証可能な意味計算シス テムを実現することが今後の課題である.

## 謝辞

本研究の一部は，JSPS 科研費 JP18H03284，およ び JST CREST JPMJCR20D2 の助成を受けたもので ある.また，評価の際は産総研の AI 橋渡しクラウ ド $(\mathrm{ABCI})$ を利用した。

## 参考文献

[1] Johan Bos. Wide-coverage semantic analysis with Boxer. In Semantics in Text Processing. STEP 2008 Conference Proceedings, pp. 277-286, 2008.

[2] Lasha Abzianidze. LangPro: Natural language theorem prover. In Proceedings of EMNLP2017 System Demonstrations, pp. 115-120, Copenhagen, Denmark, September 2017.

[3] Pascual Martínez-Gómez, Koji Mineshima, Yusuke Miyao, and Daisuke Bekki. ccg2lambda: A Compositional Semantics System. In Proceedings of ACL 2016 System Demonstrations, pp. 85-90, 2016.

[4] Daisuke Bekki and Koji Mineshima. Context-passing and underspecification in Dependent Type Semantics. In Modern Perspectives in Type Theoretical Semantics, pp. 11-41. Springer, 2017.

[5] Paul Piwek. The alligator theorem prover for dependent type systems: Description and proof sample. In Proceedings of the Inference in Computational Semantics Workshop, pp. 157-163, 2006.

[6] Daisuke Bekki and Miho Satoh. Calculating projections via type checking. In TYTLES: Types Theory and Lexical Semantics, Robin Cooper, Christian Retore (eds.), pp. 6268, 2015.

[7] alex: Alex is a tool for generating lexical analysers in Haskell. https://hackage. haskell.org/package/ alex/.

[8] happy: Happy is a parser generator for Haskell. https: //hackage.haskell.org/package/happy.

[9] Daisuke Bekki and Ai Kawazoe. Implementing variable vectors in a ccg parser. In LACL2016, Nancy, France, C.Retore and S.Pogodalla (Eds), pp. 52-67, Heiderburg, 2016.


# 2 文の連結を用いた機械翻訳におけるデータ拡張

今藤誠一郎甫立健悟平澤寅庄金子正弘 小町守
}

東京都立大学

\{kondo-seiichiro, hotate-kengo, hirasawa-tosho, kaneko-masahiro\}@ed.tmu.ac.jp, komachi@tmu.ac.jp
## 1 はじめに

ニューラル機械翻訳は翻訳精度が高いことで知ら れているが，一方で様々な課題も残されている。そ の課題の一つに長い系列の文に対する翻訳精度の低下が挙げられる. 先行研究では統計的機械翻訳との 精度を比較した際に，入力文がある文長までの範囲ではニューラル機械翻訳の精度が上回ることが示 されている。しかし一定の文長を越えるとニューラ ル機械翻訳の精度は下回り，文長の増加に伴い，著 しく翻訳精度が低下することが指摘されている [1]. さらに，ニューラル機械翻訳において学習データ の量が精度に大きく影響することが示されており [1]，低資源の言語において翻訳モデルを作成する上 で大きな課題となる。そのため，これまでにも限ら れた対訳コーパスに対して様々なデータ拡張方法が 研究されてきた。例えば，単言語コーパスの逆翻訳 や，元の対訳データにおける特定の単語を別の単語 に置き換える，などを行うことで擬似的に対訳文を 生成し，学習データとして追加する方法が提案され ている $[2,3,4]$.

本研究では低資源の対訳コーパスしか得られない 言語対という条件で，長い系列の文の翻訳に対して 有効であると考えられるデータ拡張方法を提案す る. 具体的には，長い系列の文の翻訳精度が低くな るのは学習データに長い系列の文が少量しか含まれ ないためであると考え，そのような文を学習データ に増やすことで長文に対する翻訳精度の向上を試 みた。

図 1 亿提案手法の概要図を示す。学習データから ランダムに 2 文を選び，それらを連結させたデータ を拡張データとして，元の学習データに追加する。 この手法は学習データ内で唯一となるような長い系列を増やしたいという動機である。英日コーパスを用いた低資源な設定のもとでの実験の結果，2文を連結させたものを拡張データとし て追加することで非常に長い系列の文に対する翻訳精度が高くなり，全体的にもスコアの向上が見られ た. さらに同じデータ拡張方法の一つである逆翻訳 の手法 [4] と提案手法を組み合わせることでより精度が向上することを確認できた。

## 2 関連研究

ニューラル機械翻訳では様々なデータ拡張の手法 が提案されている。例えば，目的言語側の単言語 データに対して逆翻訳を行うことにより擬似的に データセットを作成する手法 [2] がある。これは， まず対訳コーパスを用いて原言語と目的言語を逆向 きにモデルを学習させる．そしてそのモデルを用い て目的言語の単言語コーパスの文を原言語に翻訳さ せることで擬似的に対訳コーパスを作成し追加の拡張データとする。一方，単言語コーパスを用いずに 元の対訳コーパスを逆翻訳させることで学習データ を拡張する手法 [4] も提案されており，このデータ 拡張方法でも翻訳精度を高めることが可能であるこ とが示されている. 今回提案するデータ拡張の手法 はこれらの先行研究で示された手法と組み合わせる ことが可能である.

またニューラル機械翻訳は長い系列の文の翻訳精度が低くなることが先の研究で示されている。文献 [1] ではニューラル機械翻訳における文長に関す る翻訳精度の分析が統計的機械翻訳との比較を通 して行われている。英語-スペイン語の翻訳におい て，入力文の文長が 60 を越えるとニューラル機械翻訳の精度は統計的機械翻訳の精度を下回り，80 を越えると大幅に翻訳精度が低下することが示され た.この長い系列の文における翻訳精度の低下は， ニューラル機械翻訳の生成文の文長が非常に短く

図 12 文連結によるデータ抎張（各言語対はランダムにサンプリングされているので文脈的なつながりはない）

なっているためであると述べられている. 文献 [5] ではニューラル機械翻訳の中でも絶対的な位置情報 を利用したモデルと相対的な位置情報を利用したモ デルの比較が行われている. 具体的には英語-日本語の翻訳において，学習データに文長の制限をかけ て学習させたモデルを用いて分析されている. 絶対的な位置情報を用いた Transformer モデルは他の相対的位置情報を用いたモデルに比べて，学習データ に含まれない長い系列の文に対する翻訳精度が著し く低下することが示された.

## 32 文の連結を用いたデータ拡張

元の学習データ内にある原言語文 2 文とそれに対応する目的言語文 2 文をそれぞれ繋げたものを学習 データとして追加する. つまり図 1 のように文の連結によって元のデータセットと同じ量の連結データ を作成し, そのデータを元の学習データに加えるこ とで学習データの文数を 2 倍にする。連結する際に は文脈を考慮せずにランダムに 2 文を連結するが，学習データ全体としては 1 つの文がデータセット内 に 3 度出現するようにする。

元のデータに連結したデータを追加するのは，単文の翻訳を元データで学習しながら， 2 文の連結さ れたデータで長い系列の翻訳を学習させるためであ る. また，文を連結する際には，2 文の間に特殊トー クンとして "<sep>"を挿入する. "<sep>" で区切る
ことで 2 文が別々の文であることを認識しながら，後方における位置エンコーディングを学習時に扱え るようになり，長い系列の文に対する翻訳精度の向上が期待できる.

学習時のデータには 2 文が連結したものが含ま れているが，テスト時には 1 文のみを入力として扱 う. ${ }^{1)}$

## 4 実験

## 4.1 実験設定

WAT17 [6] より $\mathrm{ASPEC}^{2}$ のデータを利用して英日翻訳を行なった. このデータセットは学習データ 2,000,000 文対, 評価データ 1,790 文対, テストデータ 1,812 文対からなり, 語彙サイズ 16,384で Sentence Piece [7] によりサブワード化されている. この学習 データからランダムサンプリングで 400,000 文対を 抽出し, 本実験での学習データとして利用した.

実験は Fairseq $[8]^{3}$ で Transformerを実装して行 なった. パラメータとして, 最適化には Adam, dropout の確率は 0.3, max-update が 300,000，ミニ バッチに含まれる token 数が 65,536 以下となるよう に設定した.

1）テスト時に 2 文を入力とした実験も行ったが， 1 文を入力 とした時の方が精度の向上が見られた。

2) http://lotus.kuee.kyoto-u.ac.jp/WAT/WAT2017/snmt/index.html

3) https://github.com/pytorch/fairseq
表 1 学習データ 400,000 文で学習した際のテストデータセットにおける文長ごとの BLEU スコア （ただし vanilla+BT+concat は vanilla のデータと BT で得られたデータ，各々に対して concat したデータからなる.）

図 2 文長ごとの各データセットの分布

逆翻訳を行う際にも同じ設定の Transformer モデ ルを利用し，学習データは文献 [4] に従い，外部の 単言語コーパスを用いずに行なった.この手法では 目的言語から原言語への翻訳の際に学習に用いた データをそのまま用いるため，一つの目的言語文に 対して 2 の原言語文が存在するようなデータセッ トとなる.

評価には BLEU スコア [9] を利用し， テストデー タに対するモデルの出力全体のスコアと， テスト データを入力文の文長ごとに分類したものそれぞれ に対するスコアを測定した. シードを変えて 3 回実験を回したときの BLEU スコアの平均を取った.

## 4.2 実験手順

400,000 文対の学習データから

1. 元のデータ (vanilla)

2. オーバーサンプリングで拡張したデータ (vanilla+OS)
3. 2 文の連結で拡張したデータ (vanilla+concat)

4. 逆翻訳で拡張したデータ (vanilla+BT)

5. 元のデータと逆翻訳したデータ，その双方に 対して 2 文の連結を適用したものの複合データ
(vanilla+BT+concat)

の 5 種類の学習データを用いて英日翻訳モデルを学習させ，テストデータに対する BLEU スコアで比較 を行なった。

2 のオーバーサンプリングは， 2 文連結と同様に 長い文を増やすという動機で，提案手法の比較対象 として実験を行なった. 文長 25 以上 110 以下の文 を対象にサンプリングを行い，学習データを 2 倍と した. 3 でデータを連結する際には長い系列の文の 翻訳精度の向上を目的とするため，連結した際に文長が 25 以下になるものは取り除いた。 4 と 5 では低 リソースの設定なので，先行研究でも行われている 手法と組み合わせたときの有効性を調べるため，逆翻訳を利用した手法を利用した。

上記のデータ拡張手法で作成した原言語文 (英文) の文長ごとの学習データ数を図 2 に示す. vanilla+OS，vanilla+concat，vanilla+BT のいずれも同 じサンプル数であることに注意.

## 4.3 結果

5 種類のデータを用いて学習を行った結果を表 1 に示す. テストデータ全体の BLEU スコアと文長ご とにテストデータを分類して測った BLEU スコアを 記載している。

vanilla+OS の結果を見ると vanilla の結果に比べて 全体的な精度の低下が確認でき，データ数を増やし たはずの長い系列の文に関しても精度が悪化してい ることが確認できる。これはオーバーサンプリング によって追加されるデータのうち元のデータが少な い部分，つまり極端に長い系列の文が多くサンプリ ングされるため，コーパス内に同一の文が大量に含 まれており，それらがノイズになってしまったため であると考えられる。

vanilla+concat の結果を見ると全体としての精度が 僅かに上回っていることが確認できる. 文長ごとに

図 3 文長別に見たデータサイズごとの提案手法の有効性 （縦軸は vanilla+concat の BLEU スコアから vanilla の BLEU スコアを引いた値)

精度を確認すると， vanilla と比べて文長が 61-70 に 分類される部分の BLEU は微減であるものの, 2 文 の連結によって拡張されたデータの多くである文長 50 以上の翻訳に対して強くなっている。一方で特 に短い文における翻訳精度が大きく下がってしまっ ていることも確認できた。

vanilla+BT と vanilla+BT+concatを比較すると，全体では 0.6 ポイントの向上が見られた. 文長ごとの 精度を見ると特に文長 41 以上のスコアが大きく改善されており，提案手法を他のデータ拡張の手法と 組み合わせることで，長い文における翻訳精度をよ り一層高めることができることを確認できた. さら に，短い文における翻訳精度も低下していないこと から，短い文の翻訳精度を維持しながら長い文の翻訳精度を高めることができるという点において，他 の手法と組み合わせることの有効性が示せた.

## 4.4 データサイズと提案手法の分析

図3 に各データサイズにおける今回の提案手法に よる BLEU スコアの変化を文長別に示す. 全体とし てはデータ量が 800,000 文を越えると，この提案手法による精度の改善が見られないことが確認でき る. また今回の提案手法は長文の翻訳精度の向上を 目的に提案したが, 文長 51 以上に着目するとこち らもデータ量が 200,000 文 600,000 万文の時は精度 の向上が見られるものの， $1,000,000$ 文を越えると精度の低下が見られる. 今回の提案手法が学習データ が豊富なときには適しておらず，低資源のデータを 扱う際に有効であることが言える.

## 4.5 実例分析

本実験において提案手法が有効に働いたと考えら れる事例を付録の表 2 ，表 3 に，今回の提案手法の 目的に反して翻訳が悪化したと思われる事例を付録 の表 4 に示す.

表 2 の例を見ると vanilla では本来出力すべき文 よりも短い文を出力しており，翻訳にあたって必要 な情報が欠落していることが確認できる。一方で提案手法を用いてデータ拡張を行なった vanilla+concat の出力では，より長い文の出力が実現され，情報の 久落を低減できていることを確認できる。

表 3 の例は BT と組み合わせた際に翻訳が改善された例となっている. こちらも先の例同様, vanilla+BT の結果では文前半の情報が完全に失われ てしまっているが，vanilla+BT+concat では文全体の 情報を捉えた翻訳文が生成されている。他の手法に 提案手法を組み合わせた際にも，提案手法の効果が 現れていることが確認できる。

しかし表 4 の例のように，提案手法を用いたデー タ拡張を施す前のデータで学習したモデルの出力に は見受けられなかったような繰り返し出力が，提案手法を用いたデータ拡張を行った際の出力結果に見 られる場合も存在した.このような出力は例のよう な文長の短い事例においてより多く見られた。この ことから長い文の出力が可能なゆえに，長い文を生成しようとしてしまうため, 不自然な繰り返し出力 を行ってしまうことがある可能性が考えられる.

## 5 おわりに

本研究では，長い系列の文の翻訳精度を高められ るようなデータ拡張方法を提案し，実験を行なっ た. 結果として，2 文の連結によるデータの拡張方法が非常に簡単なデータ拡張方法でありながら，特 に非常に長い系列の文の翻訳に対して有効に働くこ とが確認できた。しかし，短い文における翻訳精度 を犠牲にしてしまい，全体としての精度にあまり変化が見られないような傾向も見受けられた. 一方，他のデータ拡張の手法と組み合わせることで，短い 文での精度を下げることなく, 全体の精度の改善が 見込めることも判明した。

今後は他の手法と組み合わせる際に，組み合わせ る手法によって提案手法がどのように作用するの か，本研究のように長い文に対して翻訳精度を向上 させられるのかを調査したい.

## 参考文献

[1] Philipp Koehn and Rebecca Knowles. Six challenges for neural machine translation. In Proceedings of the First Workshop on Neural Machine Translation, pp. 28-39, 2017.

[2] Rico Sennrich, Barry Haddow, and Alexandra Birch. Improving neural machine translation models with monolingual data. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics, pp. 86-96, 2016.

[3] Xinyi Wang, Hieu Pham, Zihang Dai, and Graham Neubig. SwitchOut: an efficient data augmentation algorithm for neural machine translation. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 856-861, 2018.

[4] Kenji Imamura and Eiichiro Sumita. NICT selftraining approach to neural machine translation at NMT2018. In Proceedings of the 2nd Workshop on Neural Machine Translation and Generation, pp. 110-115, 2018.

[5] Masato Neishi and Naoki Yoshinaga. On the relation between position information and sentence length in neural machine translation. In Proceedings of the 23rd Conference on Computational Natural Language Learning (CoNLL), pp. 328-338, 2019.

[6] Toshiaki Nakazawa, Shohei Higashiyama, Chenchen Ding, Hideya Mino, Isao Goto, Hideto Kazawa, Yusuke Oda, Graham Neubig, and Sadao Kurohashi. Overview of the 4th workshop on Asian translation. In Proceedings of the 4th Workshop on Asian Translation (WAT2017), pp. 1-54, 2017.

[7] Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, 2018.

[8] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A fast, extensible toolkit for sequence modeling. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (Demonstrations), pp. 48-53, 2019.
[9] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. BLEU: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, 2002.

## A 付録

表 2 出力例 1（提案手法が有効に働いた例，原言語文の文長 71〜の事例）

 \\

表 3 出力例 2（提案手法が有効に働いた例，原言語文の文長 61～70 の事例）

Results of the analysis shows high accuracy properties, such as the reproducibility of relative standard deviation 0.3 $0.9 \%$ varified by repetitive analyses of ten times, the clibration curves with correlation coefficient of 1 verified by tests of standard materials in using six kinds of acetonitrile dilute solutions, and the formaldehyde detection limit of 0.0018 $\mu \mathrm{g} / \mathrm{mL}$

結果は，相対標準偏差 $0.3 \sim 0.9 \%$ の再現性（10 回の繰返し分析），相関係数 1 の検量線（6種類の

tgt アセトニトリル希釈溶液による標準資料の検定），００００１８ｇ／mLのホルムアルデヒド検出限界， など高い精度を得た。

vanilla 6種のアセトニトリル希薄溶液を用いた標準物質の試験及びホルムアルデヒド検出限界は $0.0018 \mu$ +BT $\mathrm{g} / \mathrm{mL}$ であった。

vanilla 分析の結果は 10 回の繰り返し解析で相対標準偏差 $0.3 \sim 0.9 \%$ 再現性，6種のアセトニトリル希 +BT薄溶液を用いた標準物質の試験により検証された 1 の相関係数を持つクライテリア曲線，及び 0.001 +concat $8 \mu \mathrm{g} / \mathrm{mL}$ のホルムアルデヒド検出限界など高い精度を示した。

表 4 出力例 3（提案手法がエラーを引き起こしたと考えられる例，原言語文の文長 11～20 の事例）


# Transformer モデルにおける知識蒸留の適用

松永大希
岐阜大学大学院自然科学技術研究科
z4525080@edu.gifu-u.ac.jp
}

松本 忠博
岐阜大学工学部
tad@gifu-u.ac.jp

## 1 はじめに

近年，ニューラル機械翻訳の精度は飛躍的に向上し ている。一方で，精度が向上するにつれてモデルのサ イズが増加することが知られている.この問題を解決 するために近年では, モデルの軽量化の研究が広く行 われている。知識蒸留は，モデルの軽量化手法の一つ である. 本研究では, 知識蒸留を Transformer[1] に適用させ，機械翻訳モデルの軽量化を試みた。教師モデ ルに対してパラメータ数を約 4 割削減した生徒モデル に対して本手法を適用したところ，教師モデルよりも 高い翻訳精度を得られることを確認した。

## 2 関連研究

## 2.1 モデルの軽量化

機械翻訳の軽量化手法として，枝刈り [2], 量子化 [3], 知識蒸留 [4] がある。これらの軽量化手法は互い に独立であり，併用することができる．

枝刈り ニューラルネットワークの重要ではない結合を取り除く。

量子化訓練後に重みの浮動小数点をより少ない ビット数に変換する.

知識蒸留 訓練済みの大きなモデルの知識を, 軽量 な別のモデルの学習に利用する. 次項で詳しく説明 する。

## 2.2 知識蒸留

知識蒸留は, Hinton ら [4] が提案した手法である.高精度で大きなモデルである教師モデルを作成し, そ の知識をより軽量なモデルである生徒モデルに継承す る. 知識はソフトラベルの誤差を最小化することで継承する.ソフトラベルは, 教師モデルが出力する確率分布のことである. 一方, 訓練データの正解ラベル をハードラベルと呼ぶ。ソフトラベルとハードラベ ルの関係を図 1 に，知識蒸留の全体像を図 2 に示す。 Hinton らの研究ではソフトラベルの損失関数として,教師及び生徒モデルの温度付きソフトマックス出力 の交差エントロピーを用いているが，Zhang ら [5] は Kullback-Leibler divergence（KL Divergence）を用いて いる. KL Divergence は以下の数式で表される.

$
D_{K L}(q \| p)=\sum_{i} p_{i} \log \frac{p_{i}}{q_{i}}
$

また, Romeroら [6] は, 教師データよりも層の数を増 やしつつ, 中間層のパラメータを削減した生徒モデル を提案し，全体的なパラメータの削減を実現した。ま た, Romero らは提案した生徒モデルとソフトラベル との比較のみではなく, 教師モデルの中間層を比較す ることによって，過学習を防ぎ，モデルの精度を向上 させた。この中間層をヒント層と呼ぶ。知識蒸留は 自然言語処理の分野でも活用されている．Sanh ら [7] は，BERT[8] に知識蒸留を適用した。また，Kim ら [9] は機械翻訳のための LSTM モデルに知識蒸留を用 いることを試みた。本研究では機械翻訳等に用いら れる Transformer モデルを対象とした，知識蒸留手法 を検討する．また，教師及び生徒モデルの Encoder と Decoder の出力層をヒント層として利用した知識蒸留 も検討する.

図 1 ソフトラベルとハードラベル

図 2 知識蒸留

## 3 提案手法

本研究では Transformer モデルを対象に，ヒント層 を利用した合計 4 段階の学習手法を提案する。手法

は, Encoder 層の学習, Decoder 層の学習, ソフトラベ ルの学習, ハードラベルの学習で構成される.

Encoder 層の学習 Encoderの最終出力層の時点で 誤差を計算し, 学習する. 誤差関数は平均二乗誤差を 用いる

Decoder 層の学習 Decoderの最終出力層の時点で 誤差を計算し, 学習する. 誤差関数は Encoder 層と同様に，平均最小二乗誤差を用いる。

ソフトラベルの学習 本研究では, 教師モデルが全結合層の後に出力した確率分布をソフトラベルとす る. 教師モデルのソフトラベルと教師モデルの出力と の誤差を計算し，これを最小化する。

ハードラベルの学習 最後に生徒モデルと, 実際の コーパスのターゲット文を比較し，誤差を計算する。 この時の誤差関数は, 教師モデル作成時に使用した誤差関数と同様のものを用いる.

図 3 Encoder 層の学習

図 4 Decoder 層の学習

## 4 実験

## 4.1 実験設定

実験設定を以下に示す。なお，全ての実験で PyTorch を用いた1) . また, 学習, 推論ともに計算資源として RTX2070superを 1 枚用いた。

1）https://github.com/harvardnlp/annotated-transformer を改良した ものを用いた

図 5 ソフトラベルの学習

図 6 ハードラベルの学習

対訳コーパス 実験用データとしてアジア学術論文抜粋コーパス（ASPEC-JE）[10] を使用した。デー タセットのうち訓練データは先頭の 100 万文対のみを 使った. コーパスの文対数の詳細を表 1 に示す. 単語分割の際に Sentencepiece[11]を用いた. Sentencepiece は訓練データの英日文を連結させて，語彙サイズ 16000 で学習したものを用いた。また, 最大系列長を 50 とした。

表 1 実験用対訳コーパスの文対数（ASPEC-JE より）

モデルと学習実験用の Transformer モデルは教師 モデルを 1 つ，生徒モデルを 5 つ構築した。学習時間 によって精度は上昇している可能性を懸念して，すべ てのモデルの学習回数を合計 30 回に統一した。表 2 にモデルの詳細と各ステップの学習エポック数を示 す.すべてのモデルにおいて隠れ層の次元は 512 次元 でフィードフォワード層の次元は 2048 とした。また，単語埋め込み層のサイズは 512 次元，ドロップアウ トを 0.1 とした。最適化手法として Adam[12]を用い た. ウォームアップステップは 2000 とした. 教師モ デルの損失関数は, Label Smoothing Entoropy を用い

た. 誤差関数は, hint layer は平均最小二乗誤差関数, ソフトラベルの誤差関数は KL Divergence, 教師モデ ルの誤差関数及び, 生徒モデルのハードラベルの誤差関数は Cross Entoropyを用いた。この際， $\varepsilon=0.1$ の Label Smoothing を行った.

表 2 モデルと学習エポック数

推論 テストデータの翻訳の際, ビーム幅 5 の ビームサーチを用いた。評価指標として BLEU[13] と RIBES[14] を用いた。評価は一度文を生文に戻 した後, $\mathrm{MeCab}$ を用いて再分割してから行った。 BLEU の計算は multi-bleu.perl ${ }^{2}$, RIBES の計算は RIBES.py ${ }^{3)}$ を用いた.

## 4.2 実験結果と考察

全ての実験において教師モデルと生徒モデルの 3 層, 6 層におけるパラメータ数は, 表 3 のように なった。

また, 実験結果は表 4（英 $\rightarrow$ 日), 表 5（日 $\rightarrow$ 英）の ようになった。

表 4 実験結果 英日

実験より, Transformer の層を 6 層から 3 層に減らす ことによって，パラメータ数がそれぞれ $35 \% ， 37 \%$ 、推論時間が $23 \%$ 程度削減されることを確認した。ま

表 5 実験結果 日英

日 $\rightarrow$ 英 BLEU RIBES 推論時間

た, 同じ 30 エポックでも学習の比率によって結果が 異なることを確認した.ソフトラベル，ハードラベル のみの学習だけの場合よりも, 双方の学習を行ったモ デルの方が高精度であった。ただし, ヒント層の学習 の効果は本研究では見られなかった。これは, ヒント 層の誤差の計算方法や学習回数に問題があると考えら れ，さらなる改善が必要である.

## 5 おわりに

本研究では，ヒント層を利用した機械翻訳の知識蒸留手法を提案した．実験の結果，ハードラベルの学習 が生徒モデルの精度向上に有効であることが分かっ た. 今後は，ヒント層を利用した手法をさらに詳しく 検討する必要がある．例えば，ヒント層の学習エポッ ク数をすべて 3 回と設定したが，今後はその数を増減 させた場合の効果の変化も検証する必要がある。ま た, Encoder および Decoder の最終出力だけではなく 中間の出力の誤差も計算する必要もある. さらに, 層数だけでなく, 各層の出力次元数を減らしたモデルで の実験も行う必要がある.

## 参考文献

[1] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, and Illia Polosukhin. Attention is all you need. Advances in neural information processing systems, Vol. 30, pp. 59986008, 2017.

[2] Song Han, Jeff Pool, John Tran, and William Dally. Learning both weights and connections for efficient neural network. Advances in neural information processing systems, Vol. 28, pp. 1135-1143, 2015.

[3] Benoit Jacob, Skirmantas Kligys, Bo Chen, Menglong Zhu, Matthew Tang, Andrew Howard, Hartwig Adam, and Dmitry Kalenichenko. Quantization and training of neural networks for efficient integer-arithmetic-only inference. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 2704-2713, 2018.

[4] Geoffrey Hinton, Oriol Vinyals, and Jeff Dean. Distilling the knowledge in a neural network. arXiv preprint arXiv:1503.02531, 2015.

[5] Ying Zhang, Tao Xiang, Timothy M Hospedales, and Huchuan Lu. Deep mutual learning. In Proceedings of the

IEEE Conference on Computer Vision and Pattern Recognition, pp. 4320-4328, 2018.

[6] Adriana Romero, Nicolas Ballas, Samira Ebrahimi Kahou, Antoine Chassang, Carlo Gatta, and Yoshua Bengio. Fitnets: Hints for thin deep nets. arXiv preprint arXiv:1412.6550, 2014

[7] Victor Sanh, Lysandre Debut, Julien Chaumond, and Thomas Wolf. Distilbert, a distilled version of bert: smaller, faster, cheaper and lighter. arXiv preprint arXiv:1910.01108, 2019.

[8] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018.

[9] Yoon Kim and Alexander M Rush. Sequence-level knowledge distillation. arXiv preprint arXiv:1606.07947, 2016.

[10] Toshiaki Nakazawa, Manabu Yaguchi, Kiyotaka Uchimoto, Masao Uchiyama, Eiichiro Sumita, Sadao Kurohashi, and Hitoshi Isahara. ASPEC: Asian scientific paper excerpt corpus. In Nicoletta Calzolari (Conference Chair), Khalid Choukri, Thierry Declerck, Marko Grobelnik, Bente Maegaard, Joseph Mariani, Asuncion Moreno, Jan Odijk, and Stelios Piperidis, editors, Proceedings of the Ninth International Conference on Language Resources and Evaluation (LREC 2016), pp. 2204-2208, Portorož, Slovenia, may 2016. European Language Resources Association (ELRA).

[11] Taku Kudo and John Richardson. Sentencepiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. arXiv preprint arXiv:1808.06226, 2018.

[12] Diederik P Kingma and Jimmy Ba. Adam: A method for stochastic optimization. arXiv preprint arXiv:1412.6980, 2014.

[13] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th annual meeting of the Association for Computational Linguistics, pp. 311-318, 2002.

[14] Hideki Isozaki, Tsutomu Hirao, Kevin Duh, Katsuhito Sudoh, and Hajime Tsukada. Automatic evaluation of translation quality for distant language pairs. In Proceedings of the 2010 Conference on Empirical Methods in Natural Language Processing, pp. 944-952, Cambridge, MA, October 2010. Association for Computational Linguistics.