# ニューラルネットが学習する意味表現は体系性を持つか

谷中 瞳 1 峯島 宏次 ${ }^{2}$ 乾 健太郎 3,1
1 理化学研究所 2 慶應義塾大学 3 東北大学
}

hitomi.yanaka@riken.jp minesima@abelard.flet.keio.ac.jp inui@ecei.tohoku.ac.jp
## 1 はじめに

大規模計算環境の発展に伴い，大量のテキスト データを扱うことが可能となり，機械翻訳や質問応答といった様々な自然言語処理タスクにおいて，深層ニューラルネット (DNN) を用いた手法 $[1,2]$ が 高精度を達成しつつある。一方で，DNN がデータ セット中の表層的な関係やバイアスを学習している という問題が指摘されており $[3,4]$, DNN が自然言語の意味を学習できているのかは自明ではない.

DNNによる表現学習の問題として，DNNによる 意味表現が, 形式意味論で考えられてきた構成性 (compositionality) の原理一文全体の意味が構成要素 の意味から統語構造に従って決まるという性質一を 満たしているか，という問題がある。この問題は人間の認知のモデリングに関する 2 つの理論，すなわ ち，コネクショニズムと古典的計算主義の対立とし て古くから議論されている。その中で Fodor [5] は， Ann loves Bob という文の内容を思考できれば，Bob loves Ann という文の内容も思考できるというよう に, 人間の認知能力には, ある処理ができれば関連した処理もできるという体系性 (systematicity) が あることを主張している. Yanaka ら [6] は，この体系性の問題を再考し，現行の DNN が自然言語推論 (Natural Language Inference, NLI) を体系的には学習し ていないことを実証的に示した。しかし，DNNが なぜデータから NLIを体系的に学習できないのか,具体的には，DNN が文の意味を体系的に学習でき ないのか，それとも文間の推論に必要な規則を学習 できないのかについては，特定できていなかった。

そこで本論文では，文から意味表示に変換する意味解析のタスクを用いて，DNN が文の構成的な意味を体系的に学習できているのか分析を行う. 本論文の貢献は，(i) 意味解析で DNN の体系性を評価す る方法の提案, (ii) 現行の DNN の意味における汎化性能の範囲の特定，の二点である。評価に用いる コードは研究利用が可能な形式で公開予定である.

## 2 関連研究

近年，SCAN [7] や CLUTRR [8] といった，自然言語の命令を入力とし命令に対応する行動を示す記号系列を出力する構成的なタスクで, DNN の汎化性能を評価するデータセットが数多く提案されて いる。しかし，これらは単純な人工タスクを扱って おり，より複雑な構成性をもつ自然言語の意味にお ける DNN の汎化性能については自明ではない。そ こで Yanaka ら [6] は重要な推論現象の一つである monotonicity [9] に着目して，DNNの NLIにおける体系性を分析する手法を提案し，現行の DNN が NLI を体系的には学習していないことを示したが，体系的に学習できない原因は特定できていなかった。

また，DNNの自然言語における文法性を分析する 先行研究として, 名詞と動詞の数の一致 (subject-verb agreement) に着目した分析 [10] や，自然言語文から 述語項構造への変換タスクを用いた分析 [11] があ る.しかし, これらの先行研究では数の一致や受動態の文を学習し能動態の文に汎化するかといった形態論的・統語論的な汎化を中心に分析しており，否定や量化といった意味論的な汎化は扱っていない。 また, [11] では 1 種類の意味表示を扱っており, 評価指標も正解との完全一致率に限定されていた。意味表示は $A \wedge B$ と $B \wedge A$ が同じ意味を表すように，形式が違っていても同じことを表現しうるため，意味表示の機能に基づいて評価する必要がある。そこ で本研究では意味論的な汎化を分析対象として, 複数の意味表示の形式と複数の評価指標を用いること で，意味解析におけるDNNの総合的な分析を行う.

## 3 分析手法

## 3.1 概要

本研究では先行研究 [6] の (i) 未知の組合せと (ii)未知の深さという 2 つの体系性の評価の観点を用い て，DNN が文から意味表示への変換を体系的に学
表 1 意味解析データセットの例. 学習 $1 \cdot 2$ は学習データ $1 \cdot 2$ の略. 中央・非中央は埋め込み節の種類.

 & 入力文 & 正解の意味表示 &  \\

&$ 中央 \\
& 深さ $1: \\
&$ 非中央 \end{aligned} &  &  & \\

習できているのかについて分析を行う。言語現象の 網羅性と文の自然さをコントロールするため, 分析 には文脈自由文法 (CFG) の生成規則によって自動構築したデータセットを用いる。まず，CFG の生成規則（付録の表 7 参照）に従って, 文と $\mathrm{CFG}$ 構文木を 生成する. 次に, $\mathrm{CFG}$ 構文木と単語への意味割り当 てに基づいて，ラム分計算によって意味表示を合成 する. 提案手法によって自動構築したデータの例を 表 1 に示す.

また，文を入力として文を出力する Autoencoder の設定をベースラインとして意味解析の予測精度と 比較し, 文のエンコードの汎化に限界があるのか,意味表示へのデコードの汎化に限界があるのかを 考察する. 意味表示には一階述語論理に基づく形式 (以下, FOL) と, 括弧と変数を除去した形式 $[12,13]$ (Variable-Free form, VF) の 2 種類の形式を用いて,意味表示の形式の違いと学習の難しさの関係を分析 する. 例えば，(1)の文には次の 2 種類の意味表示 （FOL, VF）が割り当てられる.

(1) All white dogs ran FOL: $\forall x_{1} \cdot\left(\boldsymbol{w h i t e}\left(x_{1}\right) \wedge \operatorname{dog}\left(x_{1}\right) \rightarrow \operatorname{run}\left(x_{1}\right)\right)$ VF: ALL AND WHITE DOG RUN

## 3.2 未知の組合せにおける体系性

本節では，DNNが量化表現と修飾表現の組合せ からなる文の意味を体系的に学習できているかにつ
いて分析する手法を紹介する。この分析では，量化表現と修飾表現の組合せの学習に最低限必要なデー タを学習データとしてモデルを訓練し, 学習データ にない未知の組合せをテストデータとしてモデルを 評価する.

表 1 の例を考えよう.ここでは存在量化の一つ one を基本量化表現, tiger を基本の項として固定し, これに形容詞, 副詞, 結合子の 3 タイプ×各 5 語の 合計 15 語の修飾表現を組み合わせた文の集合を学習データ 1 とする. また, 基本量化表現を含め存在量化 (a,one), 数量表現 (two, three), 全称量化 (every, all)の 3 タイプ×各 2 語の合計 6 語の量化表現と,基本の項との組合せから構成される文の集合を学習 データ 2 とする. モデルが学習データ 1 と学習デー タ 2 からの学習で体系性を獲得していれば，テスト データ中のあらゆる量化表現と修飾表現の組合せか らなる文の意味を正しく予測できるはずである．本論文では, 組合せの訓練に十分なデータサイズとし て合計 50,000 件のデータを用意し, その中で基本量化表現に応じて学習データ約 12,000 件とテスト データ約 38,000 件に分割する.

## 3.3 未知の深さにおける体系性

体系性の性質の一つに，有限の文法規則から無限 の文を生成できるという生産性 (productivity) があ る. DNNが生産性を捉えていれば，文の構造がどれ
表 2 修飾表現のタイプ別の完全一致率の評価結果.

だけ深くなっても, 構造の規則性から文の意味を計算できるはずである. そこで本節では，モデルが生産性を学習できているか分析する手法を紹介する。

この分析では, 表 1 の例のように埋め込み節を含 まない文を深さ 0 , 埋め込み節を 1 つ含む文を深さ 1 と呼び，深さ 0 と深さ 1 のデータを学習データと してモデルを訓練する. そして，学習データよりも 深い埋め込み節を含むテストデータでモデルを評価する. 本論文ではテストデータの深さは最大 4 と し, 学習に十分なデータサイズとして各深さ 20,000 件のデータを用意する. また, 深さ以外の語彙と構文規則は学習データとテストデータで共通にする。

## 4 実験

## 4.1 実験設定

自然言語における汎化性能の評価に用いられる標準的なモデルとして, GRU に基づくseq2seq [14] と, Transformer に基づくs seq2seq [15] の 2 種類のモデル を評価した。実装には PyTorch を用いた。GRU のエ ンコーダ，デコーダは 1 層の単方向 $\mathrm{GRU}^{11}$ を用い,隠扎状態は 256 次元とした. Transformer のエンコー ダ，デコーダは共に 3 層とし， モデルサイズは 512 次元，隠れ状態は 256 次元とした。上記以外のパラ メータはすべて共通で, 埋め込み層は 256 次元, ド ロップアウトの確率は 0.1 , ミニバッチサイズは 128 とし, 最適化手法には初期学習率を 0.0005 とした Adam [16] を使用した. 各実験を 5 回ずつ行い，平均の精度を最終的なモデルの評価結果とする.

## 4.2 評価指標

モデルが予測した FOL の意味表示は, (i) 正解の 意味表示との完全一致率に加えて，意味表示の構造

1）双方向よりも単方向のエンコーダの方が文の構造に頑健で あるという報告 [11] があり，本論文では単方向を採用した.

や機能を考慮した評価方法として，(ii) 自動定理証明 (automated theorem proving, ATP) による評価，(iii) monotonicity に基づく評価の計 3 種類の方法で評価 する.

ATP による評価一階述語論理の定理証明器 vampire ${ }^{2}$ を用いて, (i) 正解の意味表示 $G$ が予測の意味表示 $P$ を含意するか $(G \Rightarrow P)$, (ii) 予測の意味表示 $P$ が正解の意味表示 $G$ を含意するか $(G \Leftarrow P)$, と いう双方向の含意関係の証明を試み，評価を行う。

monotonicity に基づく評価 予測した意味表示 が否定や量化のスコープを正しく捉えられている か分析するため, 論理式中の各述語に対して極性 (polarity)を計算し, 適合率, 再現率, $\mathrm{F}$ 值を評価す る. 極性は FOL の意味表示から計算でき，(2) のよ うに存在量化 $(\exists)$ の中では upward monotone ( $\uparrow)$, (3) のように条件 $(\rightarrow)$ の前件や否定 $(\neg)$ のスコープの中 では downward monotone $(\downarrow)$ と計算できる. また， (4) の dogs のように downward monotone に 2 回埋め込ま れると, さらに極性が反転する。

(2) One dog ran: $\exists x \cdot\left(\operatorname{dog}^{\uparrow}(x) \wedge \operatorname{run}^{\uparrow}(x)\right)$

(3) All dogs ran: $\forall x \cdot\left(\boldsymbol{\operatorname { d o g }}^{\downarrow}(x) \rightarrow \operatorname{run}^{\uparrow}(x)\right)$

(4) All dogs didn’t run: $\neg \forall x \cdot\left(\boldsymbol{d o g}^{\uparrow}(x) \rightarrow \operatorname{run}^{\downarrow}(x)\right)$

## 4.3 実験結果

未知の組合せにおける体系性 表 2 に修飾表現の タイプ別の完全一致率による評価結果を示す. 両モ デルとも結合子 > 副詞 $>$ 形容詞の順に精度が高く,否定の有無については特別な傾向はない。これは 表 1 の例のように，形容詞を追加すると後続の語の 位置がずれるのに対して，副詞や結合子を文末に追加した場合は語の位置が変化せず，文の構造を記憶 しやすいことが影響していると考えられる.

表 3 に量化表現のタイプ別の完全一致率による評価結果を示す. GRU と Transformerの結果を見ると，基本量化表現である one と同じ存在量化の量化表現

2) https://github.com/vprover/vampire

表 5 量化表現のタイプ別の monotonicity に基づく FOL の評価結果. prec : 適合率, rec : 再現率, f1 : F 值.

表 6 未知の深さにおける評価結果.

に対してほぼ 100\%の完全一致率であり，学習デー タ 1 の基本量化表現と同じタイプの量化表現を含む 組合せには汎化しやすいことが示唆される。（他の タイプの量化表現を基本量化表現とした場合の結果 は付録の表 8 , 表 9 参照. ) 意味表示間の違いとして は, FOL よりも括弧・変数がなく単純な形式である VFの方が汎化しやすい傾向がある. モデル間の違 いとしては， Transformer は文を入力とし文を出力す る Autoencoder の設定で精度が低く, 文のエンコー ド時に汎化できていないと考えられる.

ATP による評価結果（表 4）と monotonicity に基 づく評価結果（表 5）を見ると, 完全一致率よりも 精度が高い. これは括弧の数や等価な論理式の出現順序が正解とは異なるため, 完全一致率では誤答と みなされるケースがあるからである. monotonicity で評価した場合は全称量化の downward の精度が低 く, 全称量化のスコープを学習することが難しいこ とを示している. さらに，ATPの全称量化の精度を 見ると, GRU は双方向で低いのに対し Transformer では $G \Leftarrow P$ よりも $G \Rightarrow P$ の精度が低い. 実際のエ ラーを見ると次のように GRU は修飾表現が丸ごと 抜けているエラーが多く, Transformer は前件の位置
が誤っているエラーが多いという違いが見られた。

入力文 Every wild cat escaped or ran

正解 $\forall x .((\operatorname{cat}(x) \wedge \operatorname{wild}(x)) \rightarrow(\operatorname{escape}(x) \wedge \operatorname{run}(x)))$

$\operatorname{GRU} \forall x .(\operatorname{cat}(x) \rightarrow(\operatorname{escape}(x) \wedge \operatorname{run}(x)))$

Trans $\forall x .(\operatorname{cat}(x) \rightarrow \operatorname{wild}(x) \wedge(\operatorname{escape}(x) \wedge \operatorname{run}(x)))$

未知の深さにおける体系性 表 6 を見ると, 両モ デルとも未知の深さに対してはほぼ汎化できていな い。また，文を入力とし文を予測する Autoencoder の設定では，GRU は深さ 2 を含む文を $15.8 \%$ 予測で きているが，両モデルとも精度が低く，文のエン コードが汎化できていないことが示唆される.

## 5 おわりに

本論文では, DNN がデータからの学習で文の構成的な意味における体系性を獲得しているかにつ いて分析する手法を紹介した。実験の結果, GRU, Transformer ともに量化表現と修飾表現の組合せにお いて学習データと文の構造が変わらない場合は汎化 しやすい一方で，未知の深さなど構造が変わる場合 は文のエンコード時に汎化できていないことが示唆 された。また，ATP や monotonicity で評価すること でモデルのエラー傾向を特定でき，表面的な形式だ けでなく意味表示の機能を考慮した指標で評価する 必要性が示唆された。今後, SCAN などの人工タス クで高精度を達成しているモデル [17] を提案手法で 分析し, 構成性を満たす表現学習の検討を進める。

謝辞. 本研究は理研・産総研「チャレンジ研究」(FS 研究), JSPS 科研費 JP20K19868 の助成を受けたもの である。

## 参考文献

[1] Alex Wang, Amanpreet Singh, Julian Michael, Felix Hill, Omer Levy, and Samuel Bowman. GLUE: A multi-task benchmark and analysis platform for natural language understanding. In Proceedings of the International Conference on Learning Representations (ICLR), 2019.

[2] Jacob Devlin, Chang Ming-Wei, Lee Kenton, and Toutanova Kristina. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL-HLT), pp. 41714186, 2019.

[3] R. Thomas McCoy, Ellie Pavlick, and Tal Linzen. Right for the wrong reasons: Diagnosing syntactic heuristics in natural language inference. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 3428-3448, 2019.

[4] Nelson F. Liu, Roy Schwartz, and Noah A. Smith. Inoculation by fine-tuning: A method for analyzing challenge datasets. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL-HLT), pp. 2171-2179, 2019.

[5] Jerry A. Fodor and Zenon W. Pylyshyn. Connectionism and cognitive architecture: A critical analysis. Cognition, Vol. 28, No. 1-2, pp. 3-71, 1988.

[6] Hitomi Yanaka, Koji Mineshima, Daisuke Bekki, and Kentaro Inui. Do neural models learn systematicity of monotonicity inference in natural language? In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 6105-6117, 2020.

[7] Brenden M. Lake and Marco Baroni. Generalization without systematicity: On the compositional skills of sequenceto-sequence recurrent networks. In Proceedings of the 35th International Conference on Machine Learning (ICML), 2017.

[8] Koustuv Sinha, Shagun Sodhani, Jin Dong, Joelle Pineau, and William L. Hamilton. CLUTRR: A diagnostic benchmark for inductive reasoning from text. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLPIJCNLP), pp. 4506-4515, 2019.

[9] Johan van Benthem. Determiners and logic. Linguistics and Philosophy, Vol. 6, No. 4, pp. 447-478, 1983.

[10] Tal Linzen, Emmanuel Dupoux, and Yoav Goldberg. Assessing the ability of LSTMs to learn syntax-sensitive dependencies. Transactions of the Association for Computational Linguistics, Vol. 4, pp. 521-535, 2016.

[11] Najoung Kim and Tal Linzen. COGS: A compositional generalization challenge based on semantic interpretation. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 90879105, 2020.

[12] Franz Baader, Diego Calvanese, Deborah McGuinness, Peter Patel-Schneider, Daniele Nardi, et al. The Description
Logic Handbook: Theory, Implementation and Applications. Cambridge university press, 2003.

[13] Ian Prat-Hartmann and Lawrence S. Moss. Logics for the relational syllogistic. The Review of Symbolic Logic, Vol. 2, No. 4, pp. 647--683, 2009.

[14] Kyunghyun Cho, Bart van Merriënboer, Caglar Gulcehre, Dzmitry Bahdanau, Fethi Bougares, Holger Schwenk, and Yoshua Bengio. Learning phrase representations using RNN encoder-decoder for statistical machine translation. In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 17241734, 2014.

[15] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In $A d-$ vances in Neural Information Processing Systems 33: Annual Conference on Neural Information Processing Systems (NeurIPS), pp. 5998-6008, 2017.

[16] Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In Proceedings of the International Conference on Learning Representations (ICLR), 2015.

[17] Yewen Pu, Kevin Ellis, Marta Kryven, Josh Tenenbaum, and Armando Solar-Lezama. Program synthesis with pragmatic communication. In Advances in Neural Information Processing Systems 33: Annual Conference on Neural Information Processing Systems (NeurIPS), 2020.

## A 付録

未知の組合せにおける体系性の評価の補足 one を基本量化表現, $\operatorname{dog}$ を基本の項としたときの学習 データ 1 に含まれる文の例を (5) に示す. 学習デー タ 1 を通して，モデルに修飾表現を含む文のパター ンを一通り訓練させる。また，学習データ 2 に含ま れる文の例を (6) に示す. 学習データ 2 を通して, モデルに量化表現を含む文のパターンを一通り訓練 させる. モデルが学習データ 1 と学習データ 2 を体系的に学習できていれば，(7)にあるような様々な 量化表現と修飾表現の組み合わせからなる文につい ても正しい意味表示を予測できるはずである.

(5) a. One small dog ran

b. One dog ran quickly

c. One dog ran or came

(6) a. One dog ran

b. A dog ran

c. Every dog ran

d. Two dogs ran

(7) a. A small dog ran

b. Every dog ran quickly

c. Two dogs ran or came

表 7 にデータ構築に用いた生成規則と語彙項目を 示す. 語彙は分析のしやすさを考慮して自然かつ基本的な文を生成するよう一般名詞・固有名詞 ・自動詞・他動詞は各 10 語, 量化表現は 6 語（存在量化,数量表現, 全称量化それぞれ 2 語), 形容詞・副詞は 各 5 語を選定し，マルチワードは使用しない.

表 8 に数量表現の two を基本量化表現とした場合, 表 9 に全称量化の every を基本量化表現とした 場合の, 量化表現のタイプ別の完全一致率の評価結果を示す.いずれも基本量化表現と同じタイプの量化表現を含む組合せの予測精度が他のタイプの予測精度よりも高くなっており, 基本量化表現と同じタ イプの量化表現を含む組合せには汎化しやすいこと が示唆される.

未知の深さにおける体系性の評価の補足 基本量化表現 one を含む深さ 2 以上のケース 1000 件を 学習データに追加した場合の結果を表 10 に示す.表 10 を見ると, 表 6 と同様の結果であり, 深さ 2 以上のケースを一部モデルに教えても深さ 2 以上は汎化できていないことがわかる.表 7 データ構築に用いた生成規則と語彙項目（抜粋）。

## 文の生成規則

$\mathrm{S} \quad \rightarrow \quad \mathrm{NP} \mathrm{VP} \mid \mathrm{NP}$ did not $\mathrm{VP}$

$\mathrm{VP} \rightarrow \mathrm{IV}|\mathrm{IV} \mathrm{ADV}| \mathrm{IV}^{2}$ or $\mathrm{IV}^{\prime} \mid \mathrm{IV}$ and $\mathrm{IV}^{\prime} \mid \mathrm{TV}$ NP

$\mathrm{NP} \rightarrow \mathrm{PN}|\mathrm{QN}| \mathrm{Q}$ ADJ $\mathrm{N} \mid \mathrm{QN} \overline{\mathrm{S}}$

$\overline{\mathrm{S}} \rightarrow$ that TV NP|that NP TV | NP TV

## 語彙項目

$\mathrm{Q} \rightarrow$ \{every, all, a, one, two, three \}

$\mathrm{N} \rightarrow\{$ dog, rabbit, cat, bear, tiger $\}$

$\mathrm{PN} \rightarrow$ \{ann, bob, fred, chris, eliott $\}$

IV $\rightarrow\{$ ran, walked, swam, danced, dawdled $\}$

$\mathrm{IV}^{\prime} \rightarrow$ \{laughed, groaned, roared, screamed $\}$

$\mathrm{TV} \rightarrow\{$ kissed, kicked, cleaned, touched $\}$

ADJ $\rightarrow$ \{small, large, crazy, polite, wild $\}$

$\mathrm{ADv} \rightarrow$ \{slowly, quickly, seriously, suddenly $\}$

表 8 量化表現のタイプ別の完全一致率の評価結果（数量表現の $t w o$ を基本量化表現とした場合）。

表 9 量化表現のタイプ別の完全一致率の評価結果（全称量化のeveryを基本量化表現とした場合）。

表 10 未知の深さにおける評価結果（基本量化表現 one を含む深さ 2 以上のケースを学習データに加えた場合).


# DTS の部分体系のための 定理自動証明器の実装に向けて

大洞日音
お茶の水女子大学
daido. hinari@is.ocha.ac.jp
}

戸次大介
お茶の水女子大学
bekki@is.ocha.ac.jp
}

$
\left[\begin{array}{l}
v:\left[\begin{array}{l}
u:\left[\begin{array}{l}
x: \text { entity } \\
\operatorname{man}(x)
\end{array}}] \\
\operatorname{enter}\left(\pi_{1} u})
\end{array}}] \\
\text { whistle }\left(\pi_{1} \pi_{1} v})
\end{array}}]
$

図 1 DTS の例

$\exists x(\operatorname{man}(x) \wedge \operatorname{enter}(x)) \wedge$ whistle $(x)$

図 2 一階述語論理の例

には十分である．そこで本研究では，DTS の断片の ための定理自動証明器を新規に開発し, 定理証明器 の評価用ライブラリである Thousands of Problems for Theorem Provers (TPTP) ${ }^{1}$ を用いて定量的な評価を行 い，ある程度の推論を網羅できることを示した。
## 2 依存型意味論 (DTS)

高階型理論の一種であるDTS は, 関数型と直積型の一般化として П型と $\Sigma$ 型を用いる。 П 型は $(x: A) \rightarrow B$ という形で表記し, 後件の型 $\mathrm{B}$ は前件 の型 $\mathrm{A}$ をつ項に依存する. $\Sigma$ 型は $(x: A) \times B$ と表記し， П型と同様に B が型 A もつ項に依存する. この性質から DTS は前提・照応など自然言語にお ける複雑な現象を統一的に扱うことができる。図 1 は “A man enters. He whistles. ” から合成的に計算 された DTS の意味表現である。一方，この文を語 の意味から合成的に計算して一階述語論理で表記す ると図 2 のようになるのが自然であるが，これは存在量化子のスコープが適切ではない. このように,自然言語の意味計算には一階述語論理の記述力を越 える現象が多々存在するが，高階論理を用いた DTS では自然に扱うことができる.

DTS の定理証明は型理論における項の探索に対応している. 型理論では $\Gamma \vdash a: A$ という judgment を用いて文脈 $\Gamma$ において項 $a$ の型が $A$ であること を表す。一方, 論理的観点からこの judgment をみる と, これは前提 $\Gamma$ のもとで命題 $A$ の証明が $a$ であ

る,という意味である.このことから， $a$ は証明項 とも呼ばれ，証明項を探索することは証明探索と呼 ばれる。

図 3 証明探索の例

図 3 で“?”の部分に当てはまる項を探索すると $\left(\pi_{1} \pi_{1} \pi_{1} t, \pi_{2} \pi_{1} \pi_{1} t\right)$ という証明項を得ることができ， これをデコードすることで証明探索においてどのよ うな規則をどのような順番で適用したかという情報 を得ることができる.

## 3 実装

本研究で実装した定理証明器の構造を図 6 に 示す.

図 6 定理証明器の構造

アルゴリズムは Alligator [5] において提案された ものの改良である. forward_context では前向き推論を, deduce では後ろ向き推論を行っている. 前向 き推論では, 前提と結論が与えられたとき, 前提に 規則を繰り返し適用することで上から下へと自然演繹形式の証明木を構築し, 前提から導きうる命題 を蓄積する，後万向き推論では，まず結論に規則 を適用して証明のために必要なゴールを割り出し，下から上に証明木を構築していく形で推論を行う. forward_context は引数として前提を受け取り, 前向き推論の結果として得られた judgment のリスト を返す。forward_context で使用する規則の一部を 図 4 に示す. deduce は図 5 にあるような規則を用い
て後ろ向き推論を行い, judgment のリストを返す. deduce は無限再帰に陥る可能性があるため，探索の 深さや，かかる時間に制限を置くことで，計算の制御を行っている.

## 4 評価

実装にはプログラミング言語 Haskell を用い，実験環境には産総研の $\mathrm{AI}$ 橋渡しクラウド $(\mathrm{ABCI})^{2}$ を 用いた。定理自動証明器の評価のための包括的なラ イブラリである TPTP から, Alligator でカバーされ ていない等号や四則演算の問題を除いたデータセッ トによって評価を行った。 TPTP ライブラリに収録 されている問題は図 7 のような形式である.

図 7 TPTPに収録されている二重否定律の問題

推論の結果と各評価ラベルの関係は, 図 8 のとお りである.

図 8 評価の形式

## 4.1 構文解析器 :

Haskell の Alex/Happy library $[7,8]$ を用いて TPTP フォーマットから Haskell のデータ型への変換を行 う Alex/Happy Parser を実装した。このデータ型を中間言語として, 読み込んだ TPTP 形式の問題を, 本

2) https://abci.ai/
$\Gamma r_{F} z:\left[\begin{array}{l}x: A \\ B\end{array}\right]$

$\Gamma \vdash_{F} \pi_{1}(z): A$

$(\Sigma$-elim 1-1)

$
\frac{\Gamma \vdash_{F} z:\left[\begin{array}{l}
x: A \\
B
\end{array}\right]}{\Gamma \vdash_{F} \pi_{2}(z): B\left[\pi_{1}(z) / x\right]}
$

$(\Sigma$-elim 1-2)

$
\Gamma \vdash_{F} z: \Gamma_{1} \Rightarrow\left[\begin{array}{l}
x: A \\
B
\end{array}\right]
$

$
\overline{\Gamma \vdash_{F} \lambda x_{1}: m_{1} \ldots x_{n}: m_{n} \cdot \pi_{1}(z)\left(x_{1}\right) \ldots\left(x_{n}\right): \Gamma_{1} \Rightarrow A}
$

$(\Sigma$-elim 2-1)

$
\begin{aligned}
& \Gamma \vdash_{F} z: \Gamma_{1} \Rightarrow\left[\begin{array}{l}
x: A \\
B
\end{array}\right] \\
& \begin{array}{l}
n_{1} \ldots x_{n}: m_{n} \cdot \pi_{2}(z)\left(x_{1}\right) \ldots\left(x_{n}\right. \\
\Gamma_{1}=\left[x_{1}: m_{1}, \ldots, a_{n}: x_{n}\right] \\
B^{\prime}=B\left[\pi_{1}(z) / x\right]
\end{array}
\end{aligned}
$

$
\overline{\Gamma r_{F} \lambda x_{1}: m_{1} \ldots x_{n}: m_{n} \cdot \pi_{2}(z)\left(x_{1}\right) \ldots\left(x_{n}\right): \Gamma_{1} \Rightarrow B^{\prime}}
$

$(\Sigma$-elim 2-2)

図 4 forward_context の規則 (一部)

研究の定理証明器が対応している Haskell データ形式や Alligator が対応している Prolog データ形式へ翻訳する.

## 4.2 証明探索：

本研究の定理証明器は, 与えられた文脈 $\Gamma$ と命題 $A$ について, $\Gamma \vdash ?: A$ という問題の証明項が見つ かったときは YES ラベルを, $\Gamma+?: \neg A$ という問題 の証明項が見つかったときは $\mathrm{NO}$ ラベルを返す．証明探索が停止せず，証明項が見つからなかった場合 は UNK ラベルを返すが，このとき必ずしも命題が 偽であるとは言えない点に注意する。

## 4.3 結果 :

探索の深さ制限を 8 と 9 に設定した際の結果を 表 1 に示す. この結果から, accuracy は探索の深さ 制限に依存することが考えられる ${ }^{3}$ ．表 2 で，YES

$\overline{\epsilon \vdash s: s^{\prime}}$

(axiom)

$
\begin{gathered}
\Gamma \vdash a: A \quad \Gamma \vdash b: B[x / a] \quad \Gamma \vdash(x: x) \rightarrow A B: s \\
\Gamma \vdash(a, b):\left[\begin{array}{c}
x: A \\
B
\end{array}\right] \\
(\Sigma \text {-intro) }
\end{gathered}
$

図 5 deduce の規則 (一部)

表 1 探索の深さを $9 / 8$ としたときの結果

表 2 探索の深さを 9 としたときの結果詳細

ラベルと NO ラベル両方について precision は 1 であ ることから，推論での規則の適用は適切であると考 えられる。一方, recall はどちらについても低く, 特 に NO ラベルについての recall は YES ラベルと比べ

は $0.104 ， 0.050,0.025$ であることが確認された.

図 9 問題の複雑さと証明探索の結果の関係

ても低い。これは, 評価の過程で $\mathrm{NO}$ ラベルの証明 の際, 命題に否定記号 (ᄀ) を追加しており, 命題の 構造が複雑になる分, 深さ制限を超過しやすくなる ためと考えられる. 図 9 はラベルが YES である問題について, 問題の複雑さと証明探索の結果の関係 を示すぺアプロットである. オレンジのドットは証明探索の結果出力されたラベルが YES であったこ とを，青のドットはUNKであったことを表す. アプロットの $y$ 軸は命題の深さを, $x$ 軸は述語, 変数, アトム，ファンクタの数を表しており，いずれ も高ければ高いほど問題の複雑さは増す.この結果 から, 今回実装した定理証明器は $x$ と $y$ の値が小さ い単純な問題については正確に計算を行えているこ とが示された. 深さ制限を緩めると計算量が指数関数的に増加する一方, より多くの問題を解けるよう になることが期待される.

本研究の定理証明器は, 古典論理と直観主義論理の双方に対応しており, TPTP の問題の中 でもパースの法則 $(p \Rightarrow q) \Rightarrow p) \Rightarrow p$ や対偶律 $(p \Rightarrow q) \Longleftrightarrow(\neg q \Rightarrow \neg p)$, 排中律 $p \vee \neg p$ など, 推論 において重要な役割を果たす定理についてもカバー することを確認した。

## 5 おわりに

本研究では DTS の部分体系 ( $\Pi \Sigma$ 断片) について 証明探索アルゴリズムを実装し，TPTP ライブラリ を用いて評価を行った。その結果，十分な範囲の定理について適切に自動計算を行うことを確認した。今後は自然言語推論で用いられる, 等号や算術に ついても扱えるようアルゴリズムを拡張していく. また, 日本語 CCG パーザ lightblue[9] と組み合わせ ることによって, 自然言語推論のためのパイプライ ンを構築し, DTS 基づく検証可能な意味計算シス テムを実現することが今後の課題である.

## 謝辞

本研究の一部は，JSPS 科研費 JP18H03284，およ び JST CREST JPMJCR20D2 の助成を受けたもので ある.また，評価の際は産総研の AI 橋渡しクラウ ド $(\mathrm{ABCI})$ を利用した。

## 参考文献

[1] Johan Bos. Wide-coverage semantic analysis with Boxer. In Semantics in Text Processing. STEP 2008 Conference Proceedings, pp. 277-286, 2008.

[2] Lasha Abzianidze. LangPro: Natural language theorem prover. In Proceedings of EMNLP2017 System Demonstrations, pp. 115-120, Copenhagen, Denmark, September 2017.

[3] Pascual Martínez-Gómez, Koji Mineshima, Yusuke Miyao, and Daisuke Bekki. ccg2lambda: A Compositional Semantics System. In Proceedings of ACL 2016 System Demonstrations, pp. 85-90, 2016.

[4] Daisuke Bekki and Koji Mineshima. Context-passing and underspecification in Dependent Type Semantics. In Modern Perspectives in Type Theoretical Semantics, pp. 11-41. Springer, 2017.

[5] Paul Piwek. The alligator theorem prover for dependent type systems: Description and proof sample. In Proceedings of the Inference in Computational Semantics Workshop, pp. 157-163, 2006.

[6] Daisuke Bekki and Miho Satoh. Calculating projections via type checking. In TYTLES: Types Theory and Lexical Semantics, Robin Cooper, Christian Retore (eds.), pp. 6268, 2015.

[7] alex: Alex is a tool for generating lexical analysers in Haskell. https://hackage. haskell.org/package/ alex/.

[8] happy: Happy is a parser generator for Haskell. https: //hackage.haskell.org/package/happy.

[9] Daisuke Bekki and Ai Kawazoe. Implementing variable vectors in a ccg parser. In LACL2016, Nancy, France, C.Retore and S.Pogodalla (Eds), pp. 52-67, Heiderburg, 2016.


# 事前学習モデルを用いた近代文語文の現代語機械翻訳

喜友名 朝視顕 ${ }^{1}$ 平澤 寅庄 ${ }^{1}$ 小町 守 ${ }^{1}$ 小木曽 智信 ${ }^{2}$
1 東京都立大学 2 国立国語研究所
kiyuna-tomoshige@ed.tmu.ac.jp, hirasawa-tosho@ed.tmu.ac.jp,
komachi@tmu.ac.jp, togiso@ninjal.ac.jp

## 1 はじめに

本研究では、近代文語文の現代語機械翻訳タスク を提案する。これは、近代（明治期から大正期）の 文語から現代日本語への翻訳タスクである。本タス クは、同じ言語間の通時的な違いに着目して言語表現を言い換えるタスクの 1 つである。本タスクの特徵として、原言語と目的言語は同じ日本語であり、共通の語彙が多いことが挙げられる。英語では、 William Shakespeare の初期近代英語文を現代英語文 に変換する試み [1]が行われている。

本タスクでは、タスクの特徴を考慮し、新たに提案する評価尺度を使用する。ニューラル機械翻訳 (neural machine translation: NMT) の出力は流暢であ るが、そのまま公開することは難しい。そこで本研究では、ポストエディットのコストを考慮した翻訳性能の評価尺度として、原文との BLEU および参照訳との BLEU の調和平均を評価値とする調和平均 BLEU を提案し、既存の評価尺度よりも人手評価値 との相関が高いことを示す。

また、本タスクの課題として、学習に使用できる 対訳コーパスが低リソースであることが挙げられ る。この問題に対処する方法の 1 つに、事前学習 モデルの利用がある。Lample ら [2] は、Transformer [3] ベースの言語横断的な言語モデル cross-lingual language model (XLM) を学習する方法として、各単言語コーパスを用いた教師なし手法 (masked language modeling: MLM）と対訳コーパスを用いた 教師あり手法 (translation language modeling: TLM) を提案した。そして、事前学習済みのXLMを使用 して、教師あり NMT と教師なし NMT で実験を行 い、両者共に翻訳性能が向上することを示した。

本研究でも、タスクの特徴を考慮し、MLMで学習したXLMを用いたNMT を行った。単言語コー パスを使用した教師なし NMT 手法の場合、訳抜け や誤訳はほとんど生じなかった。しかし、多くの単語は原文のままであるような出力に止まった。本研究における貢献は、次の 3 点である。

(1) 近代文語文の現代語機械翻訳タスクを提案する。

(2) 原言語と目的言語に共通の語彙が多い場合の、 ポストエディットのコストを考慮した翻訳性能の評価尺度として、原文も考慮する調和平均 BLEU を提案する。

(3) 古文の翻訳で初めて事前学習モデルを用いた NMTを行う。

## 2 近代文語文の現代語機械翻訳

近代文語文から現代語への機械翻訳タスクを提案する。本タスクの特徴として、原言語と目的言語 は同じ日本語であり、その差は通時的に生じたもの で、共通の語彙が多いことが挙げられる。

本タスクのデータセットには、『学問のすっめ』 とその現代語訳1) から抽出した段落単位の対訳コー パスを使用する。

## 2.1 学習

訓練・開発データには『学問のすっめ』の二編以降を用いる。段落単位の対訳コーパスから、 1,513 文対から成る文単位の対訳コーパスを作成する。作成方法は付録 $\mathrm{A}$ を参照。

訓練・開発データを 5.1 の方法で単語分割を行っ たときの各言語別の単語トークン数と単語タイプ数 を表 1 に示す。近代文語の単語タイプのうち $44.28 \%$ が現代語の単語タイプと等しく、現代語の単語タイ プのうち $49.36 \%$ が近代文語の単語タイプと等しい。

## 2.2 テスト

評価データには『学問のすすめ』(福澤諭吉、1872) の初編を用いる。16 段落から成る段落単位の対訳

コーパスであり、近代文語文は 75 文、その現代語訳が 121 文である。文ごとにモデルに入力し、 75 文 の翻訳結果を得た後、それらを連結して 16 個の段落に整形し、段落単位のテストを行う。

## 3 調和平均 BLEU（hm-BLEU）

原言語と目的言語に共通の語彙が多いときを考 える。仮に適切な翻訳ができなかった場合、文意と 無関係の単語を出力するより、原文の単語をそのま ま出力した方が、翻訳として妥当であろう。その場合、原文も考慮して評価するのが自然である。しか し、機械翻訳の評価尺度として一般に用いられてい る BLEU [4] は、翻訳結果を参照訳との $n$-gram の一致率によって翻訳性能を評価し、原文は考慮しな い。そこで、原文と参照訳の両方を考慮する BLEU として、原文との BLEU と、参照訳との BLEU に対 し、単純にそれらの調和平均を評価値とする、調和平均 BLEU（hm-BLEU）を提案する。

hm-BLEU は、原文との $n$-gram の一致率を考慮す る評価尺度である。原文との $n$-gram の一致率が高 いほど、原文の情報を多く保存していると言える。原文の情報を保存していれば、訳抜けや文意に無関係な単語の出現に気付きやすくなるだろう。

## 4 事前学習モデルを用いた NMT

言語モデルの事前学習と、事前学習済み言語モデ ルで初期化した翻訳モデルの fine-tuning の 2 つに大別される。

言語モデルの事前学習 原言語と目的言語に共通 の語彙が多いため、単言語の言語モデルよりも言語横断的な言語モデルを用いることで、高い翻訳性能が期待できる。そこで、言語モデルには XLM [2]を用いる。言語モデルの事前学習には、BERT (bidirectional encoder representations from Transformers) [5] と似た MLM を用いる。XLM の MLM は BERT の MLM と異なり、文対ではなく任意の数の文（最大トークン数で切り捨てる）で学習を行う。近代文語と現代語の各単言語コーパスを用いて、MLMに より共通の言語モデルを作成する。翻訳モデルの fine-tuning 事前学習済みの言語モ デルで翻訳モデルの encoder 全体と decoder の一部を 初期化し、教師なし手法または教師あり手法により 学習を行う。各手法は、Lample and Conneau (2019) [2] の翻訳手法に従う。教師なし手法は、Lample et al. (2018) [6] の denoising と逆翻訳を用いる手法を拡張した手法で、各単言語コーパスを用いて学習を行 う。教師あり手法は、Ramachandran et al. (2016) [7] の手法を multilingual NMT [8] に拡張した手法で、対訳コーパスを用いて系列変換の目的関数に従い学習 を行う。どちらも、単一のモデルで、近代文語から 現代語の翻訳だけでなく、現代語から近代文語の翻訳も行うため、近代文語の単語を多く残すような現代語への翻訳が期待できる。

## 5 実験

## 5.1 データセット

対訳データセットに加えて、言語モデルの事前学習に必要な単言語データセットを用意した。それ ぞれ、 $\mathrm{MeCab}$ [9] を用いて形態素解析を行った。形態素解析の辞書には、近代文語は近代文語 UniDic $[10]^{2}$ )、現代語は現代書き言葉 UniDic $[11]^{3)}$ を用い た。また、 1 文に含まれる短単位の数を 100 語に制限した。

対訳データセット 2.1 の訓練・開発データの うち、9 割を訓練データ ( 1,362 文対)、 1 割を開発 データ（151 文対）として使用した。翻訳モデルの fine-tuning にのみ用いる。

単言語データセット訓練データは近代文語と現代語の各単言語コーパス（詳細は付録 B を参照）を 用いる (それぞれ 226,793 文)。開発データには『文明論之概略』（福澤諭吉、1875）とその現代語訳 ${ }^{4}$ ) ら付録 A の方法で作成した文単位の対訳コーパスを 使用した (3,306 文対)。言語モデルの学習と翻訳モ デルの fine-tuning の両方に用いる。

## 5.2 実験方法

実験には Lample ら [2] の実装5 を利用し、6つの 手法で翻訳モデルの学習を行った。特に言及がない

2) https://unidic.ninjal.ac.jp/download_all\#unidic kindai (UniDic-kindai_1603)

3) https://unidic.ninjal.ac.jp/download\#unidic_bccwj (unidic-cwj-2.3.0)

4）福澤諭吉著・齋藤孝訳『現代語訳 文明論之概略』ちくま文庫（2013）

5) https://github.com/facebookresearch/XLM
表 2 各評価尺度および人手評価による各翻訳手法の評価值。各評価尺度の値は、評価値を 100 倍したものである。

}} & 100.00 & 13.47 & 100.00 & 23.74 & 0.39 & 10.99 & 5.0 \\

限り、ハイパーパラメータは既定値を使用した。

## 5.2.1言語モデルの事前学習と翻訳モデルの初期化

2 つの方法で翻訳モデルの初期化を行った。

言語横断的な初期化 単言語データセットを用い て学習した XLM で、翻訳モデルの encoder 全体と decoderの一部を初期化する（XLM）。

言語横断的でない初期化 近代文語と現代語の各単言語コーパスを用いて近代文語と現代語の言語モ デルをそれぞれ学習し、翻訳モデルの encoder を近代文語の言語モデルで、decoder 現代語の言語モ デルで初期化する (BERT $\left.{ }^{6}\right)$ )。開発データは単言語 データセットと同様である。

## 5.2.2 翻訳モデルの fine-tuning

言語横断的な初期化を行った翻訳モデルに対し、対訳データセットを用いて教師あり手法および教師 なし手法 (手法 1、手法 2)、単言語データセットを 用いて教師なし手法（手法 3）により fine-tuning を 行った。単言語データセットを用いて fine-tuningを 行ったモデルに対しては、対訳データセットを用い て教師あり手法および教師なし手法により 2 回目の fine-tuning を行った（手法 4、手法 5)。

また、言語横断的でない初期化を行った翻訳モデ ルに対し、単言語データセットを用いて教師なし手法により fine-tuning を行った（手法 6)。

## 5.3 評価方法

各翻訳手法の性能を比較するために、6つの評価尺度で評価した：(1) 原文との BLEU [4]（s-BLEU）、 (2) 参照訳との BLEU (r-BLEU)、(3) 原文と参照訳を マルチリファレンスとして用いる BLEU (sr-BLEU)、 (4) 3 で提案した hm-BLEU、(5) 文法誤り訂正で使用される原文と参照訳の両方を用いる GLEU [12] （6）テキスト平易化で使用される原文と参照訳の両方を用いる SARI [13]。これら 6 つの評価尺度は値 が大きいほど評価が高くなり、最大值は 1 である。

## 5.4 実験結果

各評価尺度による各翻訳手法の評価値を表 2 に 示す。低リソースの対訳データセットを用いた手法 1 と手法 2 は、s-BLEU と r-BLEU のいずれも低い。単言語データセットを用いた手法 3 と手法 6 は、 s-BLEU が高く、r-BLEU は原文よりも高い。手法 3 の後に教師あり手法により fine-tuning を行う手法 4 は、s-BLEU は手法 3 より低いが、r-BLEU は手法 3 より高い。

また、r-BLEU で評価すると手法 4 が最も高いが、 hm-BLEU で評価すると手法 3 が最も高い。これは、 hm-BLEU が s-BLEU を考慮した結果である。

## 6 メタ評価

5.3 で挙げた 6 つの評価尺度がどの程度、ポスト エディットのコストを考慮した翻訳性能の評価でき ているかを調べるために、評価尺度の評価（メタ評価）を行った。まず、評価データから 2 つ段落を 無作為に選び、各翻訳手法について 2.2 と同じ方法 で翻訳を行い、システム単位の人手評価を行った。 そして、各評価尺度の評価値（原文の評価値を含 む）と人手評価値とのスピアマンの順位相関係数で 評価した。

## 6.1 人手評価

国立国語研究所で『日本語歴史コーパス』の構築 に従事する 2 人の評価者（A、B）によるシステム 単位の人手評価を行った。評価の観点は、クラウド ソーシングを使用して、公開できる品質の現代文に

6） next sentence prediction タスクは行わない。
各評価尺度の評価値と人手評価値との

するための時間・人手コストを考慮した翻訳の精度 とした。各評価値は、1 から 10 の離散値で、原文を 5 とし、最も精度が良い場合を 10 とした。原文およ び各翻訳手法の出力に対する人手評価の平均値を 表 2 の右段に示す。各評価者の評価値は付録 Dを参照。2 人の評価者間のスピアマンの順位相関係数は 0.72 であった。

## 6.2 メタ評価の結果

表 3 にメタ評価の結果を示す。人手評価の平均値との相関は、hm-BLEU が最も高い。これは hm-BLEU が、ポストエディットのコストを考慮し た翻訳性能の評価尺度として優れていることを示し ている。また、評価者 A は hm-BLEU との相関が最 も高いが、評価者 B は s-BLEU との相関が高い。

## 7 考察

事前学習モデルを用いた NMT 表 2 より、単言語 データセットを用いた教師なし手法 (手法 3、手法 6）は、s-BLEUを高く保ちつつ、r-BLEU は原文より 高いことがわかる。これは、付録 C の出力例のよう に、多くの単語は原文のままで、一部の単語のみを 翻訳しているためである。また、言語横断的な初期化（手法 3）と言語横断的でない初期化（手法 6）を 比較するとあまり差がないことがわかる。これらの 結果は、単言語データセットを用いた教師なし手法 が、原文の構造をできるだけ保存するような翻訳を 可能にしていることを示唆している。

また、事前言語モデルが翻訳性能に与える効果を 調べるために、事前学習モデルで初期化しない手法 との比較や、各手法の単語分散表現を使って通時的 な単語の対応を調べる必要があるだろう。

調和平均 BLEU（hm-BLEU） ポストエディット のコストは、原文との対応を調べるコストと、対応 の取れた部分同士の翻訳が不適当な場合に正しい翻訳に訂正するコストの 2 つに大別できると考えられ
る。前者は s-BLEU で、後者は r-BLEU で評価でき ると仮定すると、表 3 より、評価者 A は s-BLEU と r-BLEU の両方で相関が高く、2つのコストを同程度考慮して評価したと推測できる。一方、評価者 B は s-BLEU との相関が低く、原文との対応よりも、出力の翻訳精度や、正しい翻訳に訂正するコストを重視したと推測できる。

ポストエディットのコストを考慮した翻訳性能の 評価尺度を考える際に、本研究では単純に s-BLEU と r-BLEU の調和平均を評価値とする評価尺度を提案したが、正しい翻訳に訂正するコストを重視する ような重み付き調和平均も検討する必要があるだ ろう。

## 8 関連研究

星野ら [14] は古代から近世までの古文とその現代語訳からなる段落単位の対訳コーパスから、文分割 のためのルールベースのスコア関数を用いて、文単位の対訳コーパスを抽出する手法を提案した。抽出 した対訳コーパスを用いて統計的機械翻訳を行い、提案手法による文分割の有用性を示した。

また、Takaku ら [15] は単語分散表現を現代文の 単言語コーパスで学習した後、古文の単言語コーパ スを近代から古代に遡るように通時適応した。得ら れた単語分散表現で翻訳モデルの encoder の単語埋 め込み層の重みを初期化し、星野らが抽出した対訳 コーパスを用いて、古文の翻訳で初めて教師あり手法の NMT を行い、時代固有の単語と多様な語彙を 訳出できるモデルを作成した。

## 9 おわりに

本研究では、近代文語文の現代語機械翻訳タスク を提案し、事前学習モデルを用いた手法で実験を 行った。その結果、単言語コーパスを用いた手法に より、原文の構造をなるべく保存するような翻訳が 可能であることがわかった。また、ポストエディッ トのコストを考慮した翻訳性能の評価尺度として、原文も考慮する調和平均 BLEU を提案し、人手評価值との相関が最も高いことを示した。

今後は、原文の情報をできる限り保ちつつ、より 多くの単語を正しく翻訳できるような手法を検討し たい。

謝辞 本研究は国立国語研究所の共同研究プロ ジェクト「通時コーパスの構築と日本語史研究の新展開」及び所長裁量経費の助成を受けたものです。

## 参考文献

[1] Wei Xu, Alan Ritter, Bill Dolan, Ralph Grishman, and Colin Cherry. Paraphrasing for style. In Proceedings of COLING, pp. 2899-2914, 2012.

[2] Alexis Conneau and Guillaume Lample. Cross-lingual language model pretraining. In NeurIPS, Vol. 32, pp. 70597069, 2019.

[3] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In NIPS, pp. 5998-6008. 2017.

[4] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. BLEU: a method for automatic evaluation of machine translation. In Proceedings of ACL, pp. 311-318, 2002.

[5] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of NAACL, pp. 4171-4186, 2019.

[6] Guillaume Lample, Myle Ott, Alexis Conneau, Ludovic Denoyer, and Marc' Aurelio Ranzato. Phrase-based \& neural unsupervised machine translation. In Proceedings of EMNLP, pp. 5039-5049, 2018.

[7] Prajit Ramachandran, Peter Liu, and Quoc Le. Unsupervised pretraining for sequence to sequence learning. In Proceedings of EMNLP, pp. 383-391, 2017.

[8] Melvin Johnson, Mike Schuster, Quoc V. Le, Maxim Krikun, Yonghui Wu, Zhifeng Chen, Nikhil Thorat, Fernanda Viégas, Martin Wattenberg, Greg Corrado, Macduff Hughes, and Jeffrey Dean. Google's multilingual neural machine translation system: Enabling zero-shot translation. TACL, Vol. 5, pp. 339-351, 2017.

[9] Taku Kudo, Kaoru Yamamoto, and Yuji Matsumoto. Applying conditional random fields to Japanese morphological analysis. In Proceedings of EMNLP, pp. 230-237, 2004.

[10] 小木曽智信, 小町守, 松本裕治. 歴史的日本語資料を 対象とした形態素解析. 自然言語処理, Vol. 20, No. 5, pp. 727-748, 2013.

[11] 伝康晴, 小木曽智信, 小椋秀樹, 山田篤, 峯松信明, 内元清貴, 小磯花絵. コーパス日本語学のための言語資源 : 形態素解析用電子化辞書の開発とその応用.本語科学, Vol. 22, pp. 101-123, 2007.

[12] Andrew Mutton, Mark Dras, Stephen Wan, and Robert Dale. GLEU: Automatic evaluation of sentence-level fluency. In Proceedings of ACL, pp. 344-351, 2007.

[13] Wei Xu, Courtney Napoles, Ellie Pavlick, Quanze Chen, and Chris Callison-Burch. Optimizing statistical machine translation for text simplification. TACL, Vol. 4, pp. 401415, 2016.

[14] 星野翔, 宮尾祐介, 大橋駿介, 相澤彰子, 横野光. 対照 コーパスを用いた古文の現代語機械翻訳. 言語処理学会第 20 回年次大会, pp. 816-819, 2014.

[15] Masashi Takaku, Tosho Hirasawa, Mamoru Komachi, and Kanako Komiya. Neural machine translation from historical Japanese to contemporary Japanese using diachronically domain-adapted word embeddings. In PACLIC, 2020.
[16] 国立国語研究所（2019）『日本語歴史コー パス 明治・大正編 I 雑誌』(短単位データ 1.2) https://pj.ninjal.ac.jp/corpus_center/chj/ meiji_taisho.html\#zasshi.

[17]国立国語研究所（2018）『日本語歴史コーパ ス明治・大正編 II 教科書』(短単位データ 1.0) https://pj.ninjal.ac.jp/corpus_center/chj/ meiji_taisho.html\#kyokasho.
表 4 各翻訳手法の出力例。

 & \\

原文譬えば、いろは四十七文字を習い、手紙の文言、帳合いの仕方、算盤の稽古、天䊖の取扱い等を心得、なおまた進んで学ぶべき箇条ははなはだ多し。

参照訳 たとえば、いろは四十七文字を習って、手紙の言葉や帳簿の付け方、そろばんの稽古や 天科の取り扱い方などを身につけることをはじめとして、学ぶべきことは非常に多い。

1 たとえば、文章にすればたいして意味がないようなものでも、口で言葉にすれば、理解もしやすく、人の心を動かすものがあるのだ。

2 たとえば、乞食を禁止するという法律は、もちろん公明正大なものだけれども、 それぞれの個人が食に物を与えようとする心情はとがめなくてよろしい。

3 譬えば、いろは四十七文字を習い、手紙の文言、帳合いの仕方、算盤の稽古、天科の取扱いなどを心得、なおまた進んで学ぶべき箇条ははなはだ多い。

たとえば、一人の新聞を見てみれば、その趣旨を示し、本を書き、新聞をの上、「政治」の

4 法則を心得、それでも高いレベルの勉強をして、最後には自分でも「成功」ということは、 たいへん多い。

5 萬えば、危機、危機、危機、危機、柱、いや、爪の仕方、算盤の稽古、

天科の習慣などを心得、なおまた進んで学ぶべき箇条ははなはだ多い。

たとえば、いま、若い学生が、酒や異性にもおぼれず、きちんと生活してちゃんと勉強すれば、家族や目上の人間にも叱られることなく、誇らしげになることに思えるけれども、 これはただほかのだらしない学生に比べてのことにすぎない。

表 5 人手評価による各手法の評価値。

## A 文単位の対訳の作成方法

1 つの原文にいくつかの現代文を割り当てることで文単位の対訳を作成する。原文 $S$ に対し、窓幅 10 の範囲でス コアが最小となる現代文を $H_{S}$ とする。スコアは、句読点 を除いた単語列の組に対する、「単語が一致すると距離が 2.5 だけ短くなる」という操作を追加した編集距離であ る。原文 $A, B$ に対して貪欲に対応付けた現代文をそれぞ れ $H_{A}, H_{B}$ とし、 $H_{A}$ と $H_{B}$ の間の現代語訳を、原文 $A$ に 割り当てる強さ $\alpha$ を定める。対応の取れない現代語訳が 最も少なくなる $\alpha$ を $[0.5,2.0)$ の範囲で二分探索により求 める。探索が停止した時点での、対応の取れた原文と現代語訳の対を文単位の対訳として用いる。

## B 単言語コーパス

単言語データセットの訓練データに使用した近代文語 と現代語の各単言語コーパスは以下のとおりである。近代文語の単言語コーパス 『日本語歴史コーパス 明治・大正編 I 雑誌』[16] に収録されている『明六雑誌』、『東洋学芸雑誌』、『国民之友』、『太陽』、『女学雑誌』、『女学世界』、『婦人俱楽部』の文語記事と、『日本語歴史 コーパス 明治・大正編 II 教科書』[17]に収録されている 国語教科書の文語部分を用いた。語種が漢語または固有名の場合は、表層形の代わりに語彙素を用いた。

現代語の単言語コーパス『現代日本語書き言葉均衡コーパス』7)の「出版・書籍」を用いた。

## C 各翻訳手法の出力例

表 4 に各翻訳手法の出力例を示す。手法 1、手法 2 はど ちらも、文意と無関係の単語を出力している。手法 3 は 文末の単語以外、原文の単語をほとんどそのまま出力し ている。手法 4 は上段では「肝要」を「大切」と訳してい るが、下段では文意と無関係の単語を出力している。手法 5 は上段では手法 3 と似ているが、下段では同じ単語 の繰り返しが見られる。手法 6 は上段では「分限」の訳抜け、下段では文意と無関係の単語が見られる。

## D 人手評価の結果

評価者 $\mathrm{A} 、 \mathrm{~B}$ による各翻訳手法の評価値を表 5 に示す。評価者によって、評価が異なる箇所がいくつか見られた。特に、手法 1 と手法 4 に対して、評価者 $\mathrm{A}$ は 5 未満、評価者 B は 5 以上と評価している。

7) https://pj.ninjal.ac.jp/corpus_center/bccwj/


# 2 文の連結を用いた機械翻訳におけるデータ拡張

今藤誠一郎甫立健悟平澤寅庄金子正弘 小町守
}

東京都立大学

\{kondo-seiichiro, hotate-kengo, hirasawa-tosho, kaneko-masahiro\}@ed.tmu.ac.jp, komachi@tmu.ac.jp
## 1 はじめに

ニューラル機械翻訳は翻訳精度が高いことで知ら れているが，一方で様々な課題も残されている。そ の課題の一つに長い系列の文に対する翻訳精度の低下が挙げられる. 先行研究では統計的機械翻訳との 精度を比較した際に，入力文がある文長までの範囲ではニューラル機械翻訳の精度が上回ることが示 されている。しかし一定の文長を越えるとニューラ ル機械翻訳の精度は下回り，文長の増加に伴い，著 しく翻訳精度が低下することが指摘されている [1]. さらに，ニューラル機械翻訳において学習データ の量が精度に大きく影響することが示されており [1]，低資源の言語において翻訳モデルを作成する上 で大きな課題となる。そのため，これまでにも限ら れた対訳コーパスに対して様々なデータ拡張方法が 研究されてきた。例えば，単言語コーパスの逆翻訳 や，元の対訳データにおける特定の単語を別の単語 に置き換える，などを行うことで擬似的に対訳文を 生成し，学習データとして追加する方法が提案され ている $[2,3,4]$.

本研究では低資源の対訳コーパスしか得られない 言語対という条件で，長い系列の文の翻訳に対して 有効であると考えられるデータ拡張方法を提案す る. 具体的には，長い系列の文の翻訳精度が低くな るのは学習データに長い系列の文が少量しか含まれ ないためであると考え，そのような文を学習データ に増やすことで長文に対する翻訳精度の向上を試 みた。

図 1 亿提案手法の概要図を示す。学習データから ランダムに 2 文を選び，それらを連結させたデータ を拡張データとして，元の学習データに追加する。 この手法は学習データ内で唯一となるような長い系列を増やしたいという動機である。英日コーパスを用いた低資源な設定のもとでの実験の結果，2文を連結させたものを拡張データとし て追加することで非常に長い系列の文に対する翻訳精度が高くなり，全体的にもスコアの向上が見られ た. さらに同じデータ拡張方法の一つである逆翻訳 の手法 [4] と提案手法を組み合わせることでより精度が向上することを確認できた。

## 2 関連研究

ニューラル機械翻訳では様々なデータ拡張の手法 が提案されている。例えば，目的言語側の単言語 データに対して逆翻訳を行うことにより擬似的に データセットを作成する手法 [2] がある。これは， まず対訳コーパスを用いて原言語と目的言語を逆向 きにモデルを学習させる．そしてそのモデルを用い て目的言語の単言語コーパスの文を原言語に翻訳さ せることで擬似的に対訳コーパスを作成し追加の拡張データとする。一方，単言語コーパスを用いずに 元の対訳コーパスを逆翻訳させることで学習データ を拡張する手法 [4] も提案されており，このデータ 拡張方法でも翻訳精度を高めることが可能であるこ とが示されている. 今回提案するデータ拡張の手法 はこれらの先行研究で示された手法と組み合わせる ことが可能である.

またニューラル機械翻訳は長い系列の文の翻訳精度が低くなることが先の研究で示されている。文献 [1] ではニューラル機械翻訳における文長に関す る翻訳精度の分析が統計的機械翻訳との比較を通 して行われている。英語-スペイン語の翻訳におい て，入力文の文長が 60 を越えるとニューラル機械翻訳の精度は統計的機械翻訳の精度を下回り，80 を越えると大幅に翻訳精度が低下することが示され た.この長い系列の文における翻訳精度の低下は， ニューラル機械翻訳の生成文の文長が非常に短く

図 12 文連結によるデータ抎張（各言語対はランダムにサンプリングされているので文脈的なつながりはない）

なっているためであると述べられている. 文献 [5] ではニューラル機械翻訳の中でも絶対的な位置情報 を利用したモデルと相対的な位置情報を利用したモ デルの比較が行われている. 具体的には英語-日本語の翻訳において，学習データに文長の制限をかけ て学習させたモデルを用いて分析されている. 絶対的な位置情報を用いた Transformer モデルは他の相対的位置情報を用いたモデルに比べて，学習データ に含まれない長い系列の文に対する翻訳精度が著し く低下することが示された.

## 32 文の連結を用いたデータ拡張

元の学習データ内にある原言語文 2 文とそれに対応する目的言語文 2 文をそれぞれ繋げたものを学習 データとして追加する. つまり図 1 のように文の連結によって元のデータセットと同じ量の連結データ を作成し, そのデータを元の学習データに加えるこ とで学習データの文数を 2 倍にする。連結する際に は文脈を考慮せずにランダムに 2 文を連結するが，学習データ全体としては 1 つの文がデータセット内 に 3 度出現するようにする。

元のデータに連結したデータを追加するのは，単文の翻訳を元データで学習しながら， 2 文の連結さ れたデータで長い系列の翻訳を学習させるためであ る. また，文を連結する際には，2 文の間に特殊トー クンとして "<sep>"を挿入する. "<sep>" で区切る
ことで 2 文が別々の文であることを認識しながら，後方における位置エンコーディングを学習時に扱え るようになり，長い系列の文に対する翻訳精度の向上が期待できる.

学習時のデータには 2 文が連結したものが含ま れているが，テスト時には 1 文のみを入力として扱 う. ${ }^{1)}$

## 4 実験

## 4.1 実験設定

WAT17 [6] より $\mathrm{ASPEC}^{2}$ のデータを利用して英日翻訳を行なった. このデータセットは学習データ 2,000,000 文対, 評価データ 1,790 文対, テストデータ 1,812 文対からなり, 語彙サイズ 16,384で Sentence Piece [7] によりサブワード化されている. この学習 データからランダムサンプリングで 400,000 文対を 抽出し, 本実験での学習データとして利用した.

実験は Fairseq $[8]^{3}$ で Transformerを実装して行 なった. パラメータとして, 最適化には Adam, dropout の確率は 0.3, max-update が 300,000，ミニ バッチに含まれる token 数が 65,536 以下となるよう に設定した.

1）テスト時に 2 文を入力とした実験も行ったが， 1 文を入力 とした時の方が精度の向上が見られた。

2) http://lotus.kuee.kyoto-u.ac.jp/WAT/WAT2017/snmt/index.html

3) https://github.com/pytorch/fairseq
表 1 学習データ 400,000 文で学習した際のテストデータセットにおける文長ごとの BLEU スコア （ただし vanilla+BT+concat は vanilla のデータと BT で得られたデータ，各々に対して concat したデータからなる.）

図 2 文長ごとの各データセットの分布

逆翻訳を行う際にも同じ設定の Transformer モデ ルを利用し，学習データは文献 [4] に従い，外部の 単言語コーパスを用いずに行なった.この手法では 目的言語から原言語への翻訳の際に学習に用いた データをそのまま用いるため，一つの目的言語文に 対して 2 の原言語文が存在するようなデータセッ トとなる.

評価には BLEU スコア [9] を利用し， テストデー タに対するモデルの出力全体のスコアと， テスト データを入力文の文長ごとに分類したものそれぞれ に対するスコアを測定した. シードを変えて 3 回実験を回したときの BLEU スコアの平均を取った.

## 4.2 実験手順

400,000 文対の学習データから

1. 元のデータ (vanilla)

2. オーバーサンプリングで拡張したデータ (vanilla+OS)
3. 2 文の連結で拡張したデータ (vanilla+concat)

4. 逆翻訳で拡張したデータ (vanilla+BT)

5. 元のデータと逆翻訳したデータ，その双方に 対して 2 文の連結を適用したものの複合データ
(vanilla+BT+concat)

の 5 種類の学習データを用いて英日翻訳モデルを学習させ，テストデータに対する BLEU スコアで比較 を行なった。

2 のオーバーサンプリングは， 2 文連結と同様に 長い文を増やすという動機で，提案手法の比較対象 として実験を行なった. 文長 25 以上 110 以下の文 を対象にサンプリングを行い，学習データを 2 倍と した. 3 でデータを連結する際には長い系列の文の 翻訳精度の向上を目的とするため，連結した際に文長が 25 以下になるものは取り除いた。 4 と 5 では低 リソースの設定なので，先行研究でも行われている 手法と組み合わせたときの有効性を調べるため，逆翻訳を利用した手法を利用した。

上記のデータ拡張手法で作成した原言語文 (英文) の文長ごとの学習データ数を図 2 に示す. vanilla+OS，vanilla+concat，vanilla+BT のいずれも同 じサンプル数であることに注意.

## 4.3 結果

5 種類のデータを用いて学習を行った結果を表 1 に示す. テストデータ全体の BLEU スコアと文長ご とにテストデータを分類して測った BLEU スコアを 記載している。

vanilla+OS の結果を見ると vanilla の結果に比べて 全体的な精度の低下が確認でき，データ数を増やし たはずの長い系列の文に関しても精度が悪化してい ることが確認できる。これはオーバーサンプリング によって追加されるデータのうち元のデータが少な い部分，つまり極端に長い系列の文が多くサンプリ ングされるため，コーパス内に同一の文が大量に含 まれており，それらがノイズになってしまったため であると考えられる。

vanilla+concat の結果を見ると全体としての精度が 僅かに上回っていることが確認できる. 文長ごとに

図 3 文長別に見たデータサイズごとの提案手法の有効性 （縦軸は vanilla+concat の BLEU スコアから vanilla の BLEU スコアを引いた値)

精度を確認すると， vanilla と比べて文長が 61-70 に 分類される部分の BLEU は微減であるものの, 2 文 の連結によって拡張されたデータの多くである文長 50 以上の翻訳に対して強くなっている。一方で特 に短い文における翻訳精度が大きく下がってしまっ ていることも確認できた。

vanilla+BT と vanilla+BT+concatを比較すると，全体では 0.6 ポイントの向上が見られた. 文長ごとの 精度を見ると特に文長 41 以上のスコアが大きく改善されており，提案手法を他のデータ拡張の手法と 組み合わせることで，長い文における翻訳精度をよ り一層高めることができることを確認できた. さら に，短い文における翻訳精度も低下していないこと から，短い文の翻訳精度を維持しながら長い文の翻訳精度を高めることができるという点において，他 の手法と組み合わせることの有効性が示せた.

## 4.4 データサイズと提案手法の分析

図3 に各データサイズにおける今回の提案手法に よる BLEU スコアの変化を文長別に示す. 全体とし てはデータ量が 800,000 文を越えると，この提案手法による精度の改善が見られないことが確認でき る. また今回の提案手法は長文の翻訳精度の向上を 目的に提案したが, 文長 51 以上に着目するとこち らもデータ量が 200,000 文 600,000 万文の時は精度 の向上が見られるものの， $1,000,000$ 文を越えると精度の低下が見られる. 今回の提案手法が学習データ が豊富なときには適しておらず，低資源のデータを 扱う際に有効であることが言える.

## 4.5 実例分析

本実験において提案手法が有効に働いたと考えら れる事例を付録の表 2 ，表 3 に，今回の提案手法の 目的に反して翻訳が悪化したと思われる事例を付録 の表 4 に示す.

表 2 の例を見ると vanilla では本来出力すべき文 よりも短い文を出力しており，翻訳にあたって必要 な情報が欠落していることが確認できる。一方で提案手法を用いてデータ拡張を行なった vanilla+concat の出力では，より長い文の出力が実現され，情報の 久落を低減できていることを確認できる。

表 3 の例は BT と組み合わせた際に翻訳が改善された例となっている. こちらも先の例同様, vanilla+BT の結果では文前半の情報が完全に失われ てしまっているが，vanilla+BT+concat では文全体の 情報を捉えた翻訳文が生成されている。他の手法に 提案手法を組み合わせた際にも，提案手法の効果が 現れていることが確認できる。

しかし表 4 の例のように，提案手法を用いたデー タ拡張を施す前のデータで学習したモデルの出力に は見受けられなかったような繰り返し出力が，提案手法を用いたデータ拡張を行った際の出力結果に見 られる場合も存在した.このような出力は例のよう な文長の短い事例においてより多く見られた。この ことから長い文の出力が可能なゆえに，長い文を生成しようとしてしまうため, 不自然な繰り返し出力 を行ってしまうことがある可能性が考えられる.

## 5 おわりに

本研究では，長い系列の文の翻訳精度を高められ るようなデータ拡張方法を提案し，実験を行なっ た. 結果として，2 文の連結によるデータの拡張方法が非常に簡単なデータ拡張方法でありながら，特 に非常に長い系列の文の翻訳に対して有効に働くこ とが確認できた。しかし，短い文における翻訳精度 を犠牲にしてしまい，全体としての精度にあまり変化が見られないような傾向も見受けられた. 一方，他のデータ拡張の手法と組み合わせることで，短い 文での精度を下げることなく, 全体の精度の改善が 見込めることも判明した。

今後は他の手法と組み合わせる際に，組み合わせ る手法によって提案手法がどのように作用するの か，本研究のように長い文に対して翻訳精度を向上 させられるのかを調査したい.

## 参考文献

[1] Philipp Koehn and Rebecca Knowles. Six challenges for neural machine translation. In Proceedings of the First Workshop on Neural Machine Translation, pp. 28-39, 2017.

[2] Rico Sennrich, Barry Haddow, and Alexandra Birch. Improving neural machine translation models with monolingual data. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics, pp. 86-96, 2016.

[3] Xinyi Wang, Hieu Pham, Zihang Dai, and Graham Neubig. SwitchOut: an efficient data augmentation algorithm for neural machine translation. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 856-861, 2018.

[4] Kenji Imamura and Eiichiro Sumita. NICT selftraining approach to neural machine translation at NMT2018. In Proceedings of the 2nd Workshop on Neural Machine Translation and Generation, pp. 110-115, 2018.

[5] Masato Neishi and Naoki Yoshinaga. On the relation between position information and sentence length in neural machine translation. In Proceedings of the 23rd Conference on Computational Natural Language Learning (CoNLL), pp. 328-338, 2019.

[6] Toshiaki Nakazawa, Shohei Higashiyama, Chenchen Ding, Hideya Mino, Isao Goto, Hideto Kazawa, Yusuke Oda, Graham Neubig, and Sadao Kurohashi. Overview of the 4th workshop on Asian translation. In Proceedings of the 4th Workshop on Asian Translation (WAT2017), pp. 1-54, 2017.

[7] Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, 2018.

[8] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A fast, extensible toolkit for sequence modeling. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (Demonstrations), pp. 48-53, 2019.
[9] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. BLEU: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, 2002.

## A 付録

表 2 出力例 1（提案手法が有効に働いた例，原言語文の文長 71〜の事例）

 \\

表 3 出力例 2（提案手法が有効に働いた例，原言語文の文長 61～70 の事例）

Results of the analysis shows high accuracy properties, such as the reproducibility of relative standard deviation 0.3 $0.9 \%$ varified by repetitive analyses of ten times, the clibration curves with correlation coefficient of 1 verified by tests of standard materials in using six kinds of acetonitrile dilute solutions, and the formaldehyde detection limit of 0.0018 $\mu \mathrm{g} / \mathrm{mL}$

結果は，相対標準偏差 $0.3 \sim 0.9 \%$ の再現性（10 回の繰返し分析），相関係数 1 の検量線（6種類の

tgt アセトニトリル希釈溶液による標準資料の検定），００００１８ｇ／mLのホルムアルデヒド検出限界， など高い精度を得た。

vanilla 6種のアセトニトリル希薄溶液を用いた標準物質の試験及びホルムアルデヒド検出限界は $0.0018 \mu$ +BT $\mathrm{g} / \mathrm{mL}$ であった。

vanilla 分析の結果は 10 回の繰り返し解析で相対標準偏差 $0.3 \sim 0.9 \%$ 再現性，6種のアセトニトリル希 +BT薄溶液を用いた標準物質の試験により検証された 1 の相関係数を持つクライテリア曲線，及び 0.001 +concat $8 \mu \mathrm{g} / \mathrm{mL}$ のホルムアルデヒド検出限界など高い精度を示した。

表 4 出力例 3（提案手法がエラーを引き起こしたと考えられる例，原言語文の文長 11～20 の事例）


# Transformer モデルにおける知識蒸留の適用

松永大希
岐阜大学大学院自然科学技術研究科
z4525080@edu.gifu-u.ac.jp
}

松本 忠博
岐阜大学工学部
tad@gifu-u.ac.jp

## 1 はじめに

近年，ニューラル機械翻訳の精度は飛躍的に向上し ている。一方で，精度が向上するにつれてモデルのサ イズが増加することが知られている.この問題を解決 するために近年では, モデルの軽量化の研究が広く行 われている。知識蒸留は，モデルの軽量化手法の一つ である. 本研究では, 知識蒸留を Transformer[1] に適用させ，機械翻訳モデルの軽量化を試みた。教師モデ ルに対してパラメータ数を約 4 割削減した生徒モデル に対して本手法を適用したところ，教師モデルよりも 高い翻訳精度を得られることを確認した。

## 2 関連研究

## 2.1 モデルの軽量化

機械翻訳の軽量化手法として，枝刈り [2], 量子化 [3], 知識蒸留 [4] がある。これらの軽量化手法は互い に独立であり，併用することができる．

枝刈り ニューラルネットワークの重要ではない結合を取り除く。

量子化訓練後に重みの浮動小数点をより少ない ビット数に変換する.

知識蒸留 訓練済みの大きなモデルの知識を, 軽量 な別のモデルの学習に利用する. 次項で詳しく説明 する。

## 2.2 知識蒸留

知識蒸留は, Hinton ら [4] が提案した手法である.高精度で大きなモデルである教師モデルを作成し, そ の知識をより軽量なモデルである生徒モデルに継承す る. 知識はソフトラベルの誤差を最小化することで継承する.ソフトラベルは, 教師モデルが出力する確率分布のことである. 一方, 訓練データの正解ラベル をハードラベルと呼ぶ。ソフトラベルとハードラベ ルの関係を図 1 に，知識蒸留の全体像を図 2 に示す。 Hinton らの研究ではソフトラベルの損失関数として,教師及び生徒モデルの温度付きソフトマックス出力 の交差エントロピーを用いているが，Zhang ら [5] は Kullback-Leibler divergence（KL Divergence）を用いて いる. KL Divergence は以下の数式で表される.

$
D_{K L}(q \| p)=\sum_{i} p_{i} \log \frac{p_{i}}{q_{i}}
$

また, Romeroら [6] は, 教師データよりも層の数を増 やしつつ, 中間層のパラメータを削減した生徒モデル を提案し，全体的なパラメータの削減を実現した。ま た, Romero らは提案した生徒モデルとソフトラベル との比較のみではなく, 教師モデルの中間層を比較す ることによって，過学習を防ぎ，モデルの精度を向上 させた。この中間層をヒント層と呼ぶ。知識蒸留は 自然言語処理の分野でも活用されている．Sanh ら [7] は，BERT[8] に知識蒸留を適用した。また，Kim ら [9] は機械翻訳のための LSTM モデルに知識蒸留を用 いることを試みた。本研究では機械翻訳等に用いら れる Transformer モデルを対象とした，知識蒸留手法 を検討する．また，教師及び生徒モデルの Encoder と Decoder の出力層をヒント層として利用した知識蒸留 も検討する.

図 1 ソフトラベルとハードラベル

図 2 知識蒸留

## 3 提案手法

本研究では Transformer モデルを対象に，ヒント層 を利用した合計 4 段階の学習手法を提案する。手法

は, Encoder 層の学習, Decoder 層の学習, ソフトラベ ルの学習, ハードラベルの学習で構成される.

Encoder 層の学習 Encoderの最終出力層の時点で 誤差を計算し, 学習する. 誤差関数は平均二乗誤差を 用いる

Decoder 層の学習 Decoderの最終出力層の時点で 誤差を計算し, 学習する. 誤差関数は Encoder 層と同様に，平均最小二乗誤差を用いる。

ソフトラベルの学習 本研究では, 教師モデルが全結合層の後に出力した確率分布をソフトラベルとす る. 教師モデルのソフトラベルと教師モデルの出力と の誤差を計算し，これを最小化する。

ハードラベルの学習 最後に生徒モデルと, 実際の コーパスのターゲット文を比較し，誤差を計算する。 この時の誤差関数は, 教師モデル作成時に使用した誤差関数と同様のものを用いる.

図 3 Encoder 層の学習

図 4 Decoder 層の学習

## 4 実験

## 4.1 実験設定

実験設定を以下に示す。なお，全ての実験で PyTorch を用いた1) . また, 学習, 推論ともに計算資源として RTX2070superを 1 枚用いた。

1）https://github.com/harvardnlp/annotated-transformer を改良した ものを用いた

図 5 ソフトラベルの学習

図 6 ハードラベルの学習

対訳コーパス 実験用データとしてアジア学術論文抜粋コーパス（ASPEC-JE）[10] を使用した。デー タセットのうち訓練データは先頭の 100 万文対のみを 使った. コーパスの文対数の詳細を表 1 に示す. 単語分割の際に Sentencepiece[11]を用いた. Sentencepiece は訓練データの英日文を連結させて，語彙サイズ 16000 で学習したものを用いた。また, 最大系列長を 50 とした。

表 1 実験用対訳コーパスの文対数（ASPEC-JE より）

モデルと学習実験用の Transformer モデルは教師 モデルを 1 つ，生徒モデルを 5 つ構築した。学習時間 によって精度は上昇している可能性を懸念して，すべ てのモデルの学習回数を合計 30 回に統一した。表 2 にモデルの詳細と各ステップの学習エポック数を示 す.すべてのモデルにおいて隠れ層の次元は 512 次元 でフィードフォワード層の次元は 2048 とした。また，単語埋め込み層のサイズは 512 次元，ドロップアウ トを 0.1 とした。最適化手法として Adam[12]を用い た. ウォームアップステップは 2000 とした. 教師モ デルの損失関数は, Label Smoothing Entoropy を用い

た. 誤差関数は, hint layer は平均最小二乗誤差関数, ソフトラベルの誤差関数は KL Divergence, 教師モデ ルの誤差関数及び, 生徒モデルのハードラベルの誤差関数は Cross Entoropyを用いた。この際， $\varepsilon=0.1$ の Label Smoothing を行った.

表 2 モデルと学習エポック数

推論 テストデータの翻訳の際, ビーム幅 5 の ビームサーチを用いた。評価指標として BLEU[13] と RIBES[14] を用いた。評価は一度文を生文に戻 した後, $\mathrm{MeCab}$ を用いて再分割してから行った。 BLEU の計算は multi-bleu.perl ${ }^{2}$, RIBES の計算は RIBES.py ${ }^{3)}$ を用いた.

## 4.2 実験結果と考察

全ての実験において教師モデルと生徒モデルの 3 層, 6 層におけるパラメータ数は, 表 3 のように なった。

また, 実験結果は表 4（英 $\rightarrow$ 日), 表 5（日 $\rightarrow$ 英）の ようになった。

表 4 実験結果 英日

実験より, Transformer の層を 6 層から 3 層に減らす ことによって，パラメータ数がそれぞれ $35 \% ， 37 \%$ 、推論時間が $23 \%$ 程度削減されることを確認した。ま

表 5 実験結果 日英

日 $\rightarrow$ 英 BLEU RIBES 推論時間

た, 同じ 30 エポックでも学習の比率によって結果が 異なることを確認した.ソフトラベル，ハードラベル のみの学習だけの場合よりも, 双方の学習を行ったモ デルの方が高精度であった。ただし, ヒント層の学習 の効果は本研究では見られなかった。これは, ヒント 層の誤差の計算方法や学習回数に問題があると考えら れ，さらなる改善が必要である.

## 5 おわりに

本研究では，ヒント層を利用した機械翻訳の知識蒸留手法を提案した．実験の結果，ハードラベルの学習 が生徒モデルの精度向上に有効であることが分かっ た. 今後は，ヒント層を利用した手法をさらに詳しく 検討する必要がある．例えば，ヒント層の学習エポッ ク数をすべて 3 回と設定したが，今後はその数を増減 させた場合の効果の変化も検証する必要がある。ま た, Encoder および Decoder の最終出力だけではなく 中間の出力の誤差も計算する必要もある. さらに, 層数だけでなく, 各層の出力次元数を減らしたモデルで の実験も行う必要がある.

## 参考文献

[1] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, and Illia Polosukhin. Attention is all you need. Advances in neural information processing systems, Vol. 30, pp. 59986008, 2017.

[2] Song Han, Jeff Pool, John Tran, and William Dally. Learning both weights and connections for efficient neural network. Advances in neural information processing systems, Vol. 28, pp. 1135-1143, 2015.

[3] Benoit Jacob, Skirmantas Kligys, Bo Chen, Menglong Zhu, Matthew Tang, Andrew Howard, Hartwig Adam, and Dmitry Kalenichenko. Quantization and training of neural networks for efficient integer-arithmetic-only inference. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 2704-2713, 2018.

[4] Geoffrey Hinton, Oriol Vinyals, and Jeff Dean. Distilling the knowledge in a neural network. arXiv preprint arXiv:1503.02531, 2015.

[5] Ying Zhang, Tao Xiang, Timothy M Hospedales, and Huchuan Lu. Deep mutual learning. In Proceedings of the

IEEE Conference on Computer Vision and Pattern Recognition, pp. 4320-4328, 2018.

[6] Adriana Romero, Nicolas Ballas, Samira Ebrahimi Kahou, Antoine Chassang, Carlo Gatta, and Yoshua Bengio. Fitnets: Hints for thin deep nets. arXiv preprint arXiv:1412.6550, 2014

[7] Victor Sanh, Lysandre Debut, Julien Chaumond, and Thomas Wolf. Distilbert, a distilled version of bert: smaller, faster, cheaper and lighter. arXiv preprint arXiv:1910.01108, 2019.

[8] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018.

[9] Yoon Kim and Alexander M Rush. Sequence-level knowledge distillation. arXiv preprint arXiv:1606.07947, 2016.

[10] Toshiaki Nakazawa, Manabu Yaguchi, Kiyotaka Uchimoto, Masao Uchiyama, Eiichiro Sumita, Sadao Kurohashi, and Hitoshi Isahara. ASPEC: Asian scientific paper excerpt corpus. In Nicoletta Calzolari (Conference Chair), Khalid Choukri, Thierry Declerck, Marko Grobelnik, Bente Maegaard, Joseph Mariani, Asuncion Moreno, Jan Odijk, and Stelios Piperidis, editors, Proceedings of the Ninth International Conference on Language Resources and Evaluation (LREC 2016), pp. 2204-2208, Portorož, Slovenia, may 2016. European Language Resources Association (ELRA).

[11] Taku Kudo and John Richardson. Sentencepiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. arXiv preprint arXiv:1808.06226, 2018.

[12] Diederik P Kingma and Jimmy Ba. Adam: A method for stochastic optimization. arXiv preprint arXiv:1412.6980, 2014.

[13] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th annual meeting of the Association for Computational Linguistics, pp. 311-318, 2002.

[14] Hideki Isozaki, Tsutomu Hirao, Kevin Duh, Katsuhito Sudoh, and Hajime Tsukada. Automatic evaluation of translation quality for distant language pairs. In Proceedings of the 2010 Conference on Empirical Methods in Natural Language Processing, pp. 944-952, Cambridge, MA, October 2010. Association for Computational Linguistics.


# 事前学習モデルを用いた少量データに対する日本語抽象型要約

勝又智
株式会社レトリバ
satoru.katsumata@retrieva.jp

## 1 はじめに

近年，自動要約の技術として，Encoder-Decoder を用いた抽象型要約が盛んに研究されている $[1,2,3,4,5,6,7]$. この Encoder-Decoder モデルを用 いた抽象型要約の特徴として，学習に大量のデータ が必要となることが知られている.

事前学習モデルを使用することで，少量の要約 データでも高い精度が得られることがいくつか の研究で報告されている. 例えば Dong ら [8] は， Gigaword [1] と呼ばれる英語要約データセットの学習データ $10 \mathrm{~K}$ 使用した場合，事前学習を行わない モデルでは ROUGE-L が 10.42 ポイントのところを，事前学習したモデルを用いることで 30.56 ポイント となることを示した。しかしながら，日本語の抽象型要約については事前学習モデルの有効性は調べら れていない. そこで本研究は，日本語抽象型要約夕 スクについて，事前学習モデルを用いることで．学習データが大量に必要となる問題の緩和につながる か調査を行った. 具体的には, UniLM [8], JASS [9], multilingual T5 [10] と呼ばれる，3つの事前学習モデ ルを用いて調査を行い，モデル毎の比較を行った.

日本語要約研究では，新聞に関する要約データ， Webニュースに関する要約データが使用されている $[11,2,3]$. しかしながら，実世界ではニュース記事以外の分野についても要約を行いたいという需要が 存在する. そこで本研究は, wikiHow ${ }^{1)}$ という様々 な分野に関するハウツーが記載された Web サイト から要約データを作成し，ニュース記事以外に対す る抽象型要約についても調査した。

少量データに対する事前学習モデルを用いた抽象型要約実験として, 本研究では Livedoor News と wikiHow データに対して抽象型要約を行っている.特に, Livedoor News については学習データとして $10 \mathrm{~K}$ 使用した場合と $1 \mathrm{~K}$ 使用した場合を比較し，事前学習モデルの少量データに対する精度を調査し

1) https://www.wikihow.jp
た. 実験結果から，数千件の学習データを用いた日本語抽象型要約において，事前学習モデルは有効で あることがわかった. また，データセットによって 事前学習モデルの振る舞いが変わる場合が存在する ことがわかった.

本研究の貢献は以下の 2 つである.

1. 様々な事前学習モデルを用いて，学習データが 少量の際の日本語抽象型要約を実験，分析し，事前学習モデルの有効性を確認した。

2. wikiHowを用いて日本語要約データセットを 作成，公開 2$)$ した.このデータセットは既存の ニュース要約データセットと比べて抽象度が高 いことを確認した.

## 2 関連研究

現在，日本語の要約研究は様々な問題設定で行 われている。具体的には，新聞記事に対して，適切 な長さの見出しを生成するといった設定 [2], Web ニュース記事に対して，3 行の要約を生成する設定 [11]，議会の議事録から対話構造を考慮した要約を 生成する設定 [12] などが存在している。このよう に，出力の構造を考慮する問題設定が多く研究さ れている。一方で, 本研究では, 抽象型要約の学習 データが大量に必要となる問題に対して取り組む。

現在, 日本語要約研究では主に 2 種類のデータ セットが存在している。一つが，新聞記事から作成 した要約データである. Japanese News Corpus (JNC) [2] は新聞記事の先頭 3 文と対応する見出しの対 になっており, JApanese MUlti-Length Summarization Corpus（JAMUL）や JAMUL2020 [3] は 1 記事に対し て複数の要約が紐づいているデータセットである. もう一つが Livedoor News から作成した 3 行要約 データセット [11]である.これは Livedoor News が 記事と対応する 3 行の要約が紐づいて公開されて いることを利用して作成したデータセットである.

表 1 事前学習モデル

これらのデータセットは全てニュース記事に関す るデータセットである. 一方で，英語で記述された 要約データはニュース記事 $[1,13]$, 特許 [14], 電子 メール [15] など，様々な分野で存在する. その中 の一つに, wikiHow $\left.{ }^{3}\right)$ という様々な分野に関する八 ウツーが記載された Web サイトから作成した要約 データ [16] が存在する. このデータはニュース記事 で作成したデータセットと異なり，様々な分野につ いて抽象度の高い要約データという特徵を持つこと が報告されている. 本研究では，この英語 wikiHow のデータセットを参考に，新たに日本語版 wikiHow から要約データセットを作成した. wikiHow は様々 なトピックに関して記述されており，ニュース記事 とは記事と要約，どちらも傾向が異なると考えられ る.このデータセットを利用してニュース記事以外 での抽象型要約の振る舞いを調査する。

## 3 事前学習モデルを用いた要約

本研究は抽出型要約について，いくつかの事前学習モデルを用いて実験した. 表 1 に本研究で使用す る事前学習モデルをまとめている.

## 3.1 UniLM

Dong ら [8] は BERT [17] の事前学習をより拡張し た手法 (Unified pre-trained Language Model; UniLM) をいくつか提案した. その中の一つに Sequence-toSequence Language Model（seq2seq LM）が存在する.概要図を図 1 に示す. BERT は入力トークンの一部 を [MASK] に置換し，置換前の単語を推定するよう に事前学習を行う (Masked Language Model; MLM). この時, BERT は注意機構を双方向に用いている.一方で seq2seq LM は図のように， 入力記事側は双方向なのだが, 出力要約側は出力するものより以前 のトークンのみに注意機構が張られる. この機構を 使用することで要約などの系列変換が学習できるこ とを報告している.

本研究では日本語データで学習された BERTを 元に, 次の fine-tuning と推論を行っている. 抽出

図 1 UniLM seq2seq LM の概要図

型要約の学習を行う際は, 要約側の一部の単語を [MASK] に置換し，seq2seq LM を用いて元の単語を 当てるように学習を行う. 推論時には入力記事を原言語側に与え，要約側の入力として [MASK] を用意 し, 出力の終了記号 [EOS] が出るまで推論を行う.

## 3.2 JASS

JASS (JApanese-specific Sequence to Sequence) [9] は，MASS（MAsked Sequence to Sequence）[4]を日本語向けに拡張した目的関数を用いて Transformer [18] を事前学習したモデルである. MASS は大量の単言語データの各文中の単語をランダムにマスクトー クンに置換し，このマスクトークンを Decoderを用 いて推定するように事前学習されている。一方で， JASS はこのマスクトークンの置換区間として, 文節単位で置換し，元の単語を推定する事前学習を 行っている. さらに，入力文を文節単位でシャッ フルし, 元の語順を Decoder で推定する事前学習も 行っている. 本研究ではこの JASS モデルに対して,要約データで fine-tuning および推論を行った.

## 3.3 multilingual $\mathrm{T 5$}

Raffel ら [5] は事前学習 Encoder-Decoder として Text-to-Text Transfer Transformer（T5）を作成した.こ のモデルは，単言語コーパスの各文中の単語をラン ダムにマスクトークンに置換し, 元の単語を当てる ように Transformerを事前学習している. Xue ら [10] は様々な言語の単言語コーパスで T5 と同様の事前学習を行い，モデルを作成した (multilingual variant of T5; mT5). 本研究ではこの $\mathrm{mT5}$ に対して, 要約 データを用いて fine-tuning，推論を行った.

## 4 日本語 wikiHow 要約データセット

本研究では Koupaee and Wang [16] と同様の手法で wikiHow から日本語要約データセットを作成した.

図 2 wikiHow から要約データを作成する例

日本語 wikiHow は全 19 カテゴリについて, 各ペー ジが構造化して記述されている. 具体的には, ペー ジ内にいくつかの大段落が存在しており, この中に 小段落として記事と対応した見出しが存在してい る. 本研究ではこの組み合わせを利用して要約デー タを作成した。

具体例を図 2 に示す.この図のように，記事と要約はそれぞれ各小段落内の記事と見出しを繋げたも のとして利用している. 見出しとして 手を洗う’, 'マスクの状態を確認する' とあれば作成する要約は '手を洗う。マスクの状態を確認する。'となる。こ のようにして，2020 年 6 月時点で取得できた全ての ページから要約データを作成した。

作成したデータセットの統計を表 2 に示す. 英語 wikiHow データセットは数十万件の記事が含まれて いるが，日本語 wikiHow データセットは数千件しか 含まれていない.

また，Livedoor News の要約データセットと要約 の抽象度合いの観点で比較した. 抽象度合いは記事側には存在せず，要約側のみに存在する単語 n-gram の割合で計測している. 比較の結果, Livedoor News データと比べると wikiHow データの方が要約側に しか存在しない n-gram が多く, より抽象度が高い データセットであることがわかった. n-gram の割合 について，詳細な値は付録 A に記載した。

作成した wikiHow データセットの特徴として, 要約側に同一の表現が複数回出現することを確認し た. Livedoor News 5,066 件中, $32.1 \%$ 件の要約側で 同一の 3-gram が複数回存在していたが, wikiHow に は $62.2 \%$ 同一の 3-gram が存在していた.このよう に, wikiHow データセットは既存のデータセットと は要約の記述スタイルが異なることがわかる.

## 5 実験

本研究では，事前学習モデルを用いて wikiHow データと Livedoor News の 1K，10K データに対して 入力が 1 記事の抽象型要約実験を行った.

## 5.1 実験設定

wikiHow については, 得られたデータを 5 等分し， 3:1:1 の割合で学習, 開発, テストデータとした. そ のため，学習データ，開発データ，テストデータは それぞれは 3,040 件，1,013 件，1,013 件である。ま た, Livedoor News については，公開されている分割 4 )を元に学習, 開発，テストデータを用意した. ただし，2020 年時点で取得できたデータのみを使用しているため, 開発データとテストデータはそれ ぞれ 886 件， 871 件である. 学習データについては 取得できたデータからランダムに $1 \mathrm{~K}$ または $10 \mathrm{~K}$ 抽出している. 評価については出力分かち書きから空白を取り除いた後, $\mathrm{MeCab}^{5)}$ で分割し, ROUGE-1 (R-1)，2（R-2)，L（R-L）のF 值を測定している. UniLM として, 日本語データで学習された BERT $^{6)}$ に対して，seq2seq LM を用いた fine-tuning を 行っだ ${ }^{7)}$. 単語分割は MeCab と WordPiece [19] を用 いている. JASS は日英の単言語データで学習さ れたモデル8)に対して要約の fine-tuning を行った.単語分割は Juman++ [20] と SentencePiece [21]を, fine-tuning と推論には OpenNMT [22]を使用してい る. $\mathrm{mT5}$ は他のモデルと同程度のパラメータ数の モデル9)に対して要約の fine-tuning を行った. 単語分割は SentencePiece を使用し, fine-tuning と推論は

表 3 日本語抽象型要約実験結果

Mesh Tensorflow [23] を使用している。また，比較と して事前学習なしの手法を 2 つ, 実験した. 1 つが LEAD-3 と呼ばれる, 記事から最初の 3 文を要約と して使用する手法で，もう 1 つが Pointer-Generator [6] と呼ばれる Encoder-Decoder を用いた手法であ る. Pointer-Generator は OpenNMT の実装を使用，単語分割は $\mathrm{MeCab}$ を用いている.

mT5，LEAD-3 以外のモデルは推論時に 3-gram の 繰り返しの削除（Trigram Block）[7]を行っており，全てのモデルはビーム幅は 4 で実験している. 上記 4 モデルのハイパーパラメータの詳細は付録 B に記載している.

## 5.2 実験結果

実験結果を表 3 に示す. 各評価指標において最も 高いスコアを太字にしている．全ての実験設定にお いて，UniLM を用いた手法が最も良い結果であっ た. また，学習データが数千件の設定では，事前学習なしの手法より事前学習を行っている手法の方が 良いことがわかる。

Livedoor News については UniLM に次いで mT5 の精度が高く,これら 2 つのモデルは LEAD-3, Pointer-Generator よりもどの評価指標においても優 れている結果となった. 一方で JASS は LEAD-3 と 同程度または低い精度であり, 特に $10 \mathrm{~K}$ の場合に おいて，ROUGE-2について Pointer-Generator と同程度の精度であることがわかる. wikiHow においては Livedoor News の場合と異なり, JASS の方が mT5 よ り高い精度であることがわかる.

## 6 分析と考察

要約実験結果から，mT5 が wikiHow に対して精度が低いことがわかる。調査の結果，mT5 のテス トデータ全体に対して $88.3 \%$ \%いて同一の文 の繰り返しが発生していた. 実際の出力例は付録 の C に示す。一方で，Livedoor News 1K に対しては mT5 は 10.0 \%繰り返している. UniLM は wikiHow，
Livedoor News 1K のどちらも $0.1 \%$ 繰り返していた. このように， mT5を用いた場合，文単位での繰り返 しが発生しやすく，データセットによって繰り返し 度合いが大きく変わっていることがわかる. この理由の 1 つとして, mT5 は推論時に Trigram Block を 行っていないからだと考えられる。また, wikiHow については，4 章で述べたように，要約側に同一の 表現が複数回現れることを確認している。そのた め, wikiHow で学習することにより，同一の表現を 出力するように学習していき，推論時にもそのよう な出力をする傾向にあると考えられる。

事前学習を行ったモデルと行っていないモデルの 定性的な比較を行う. Pointer-Generator $の$ wikiHow に対する出力は平均単語数が 12.6 で, 平均語彙は 8.9 であった. 一方で, UniLM の出力は平均単語数 が 26.2 で平均語彙が 18.6 となり, 2 倍以上の長さ,語彙であった. この結果と ROUGE スコアから，事前学習を行うことでより入力記事を説明している 要約が生成できていると考えられる. これは, 学習 データが数千件の状況で事前学習を行わなかった場合は学習が安定せず，単純な要約しか学習できない 一方で，事前学習を行うことで，学習が安定し，よ り複雑な要約も可能になると考えられる。

## 7 おわりに

本研究では，学習データが数千，数万件の日本語抽象型要約タスクにおいて，事前学習モデルの有効性を調査した．また，既存のニュース記事の分野とは異なる，ハウツーが記述されたデータから 要約データ日本語 wikiHow を作成，公開した. この 日本語 wikiHow および Livedoor News について，学習データが数千件の場合, 事前学習モデルである UniLM を用いることで，事前学習なしのモデルと比 べて大きく精度が向上することを確認した. 今後は 別の分野に関する要約データセットの作成, 事前学習モデルを元に要約精度を改善する手法の研究に取 り組みたい。

## 参考文献

[1]Alexander M. Rush, Sumit Chopra, and Jason Weston. A neural attention model for abstractive sentence summarization. In Proc. of EMNLP, pp. 379-389. Association for Computational Linguistics, 2015.

[2]Yuta Hitomi, Yuya Taguchi, Hideaki Tamori, Ko Kikuta, Jiro Nishitoba, Naoaki Okazaki, Kentaro Inui, and Manabu Okumura. A large-scale multi-length headline corpus for analyzing length-constrained headline generation model evaluation. In Proc. of the 12th International Conference on Natural Language Generation, pp. 333-343. Association for Computational Linguistics, 2019.

[3] 人見雄太, 田口雄哉, 田森秀明, 岡崎直観, 乾健太郎. 小規模リソースにおける生成型要約のためのスタイル転移. 言語処理学会第 26 回年次大会, pp. 929-932, 2020.

[4]Kaitao Song, Xu Tan, Tao Qin, Jianfeng Lu, and Tie-Yan Liu. Mass: Masked sequence to sequence pre-training for language generation. In International Conference on Machine Learning, pp. 5926-5936, 2019.

[5]Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. Journal of Machine Learning Research, Vol. 21, No. 140, pp. 1-67, 2020.

[6]Abigail See, Peter J. Liu, and Christopher D. Manning. Get to the point: Summarization with pointer-generator networks. In Proc. of ACL, pp. 1073-1083. Association for Computational Linguistics, 2017.

[7]Romain Paulus, Caiming Xiong, and R. Socher. A deep reinforced model for abstractive summarization. ArXiv, Vol. abs/1705.04304, , 2018

[8]Li Dong, Nan Yang, Wenhui Wang, Furu Wei, Xiaodong Liu, Yu Wang, Jianfeng Gao, Ming Zhou, and Hsiao-Wuen Hon. Unified language model pre-training for natural language understanding and generation. In $\mathrm{H}$. Wallach, H. Larochelle, A. Beygelzimer, F. d'Alché-Buc, E. Fox, and R. Garnett, editors, Proc. of NeurIPS, Vol. 32, pp. 13063-13075. Curran Associates, Inc., 2019.

[9]Zhuoyuan Mao, Fabien Cromieres, Raj Dabre, Haiyue Song, and Sadao Kurohashi. JASS: Japanese-specific sequence to sequence pre-training for neural machine translation. In Proc. of LREC, pp. 3683-3691. European Language Resources Association, 2020.

[10]Linting Xue, Noah Constant, A. Roberts, Mihir Kale, Rami Al-Rfou, Aditya Siddhant, A. Barua, and Colin Raffel. mT5: A massively multilingual pre-trained text-to-text transformer. ArXiv, Vol. abs/2010.11934, , 2020.

[11]小平知範, 小町守. TL;DR 3 行要約に着目したニュー ラル文書要約 (データ工学). 電子情報通信学会技術研究報告 $=$ IEICE technical report : 信学技報, Vol. 117, No. 212, pp. 193-198, 2017.

[12]木村泰知, 渋木英潔, 高丸圭一, 秋葉友良, 石下円香, 内田ゆず, 小川泰弘, 乙武北斗, 佐々木稔, 三田村照子, 横手健一, 吉岡真治, 神門典子. NTCIR-15 QA Lab-PoliInfo2 のタスク設計. 言語処理学会第 26 回年次大会, pp. 625-628, 2020.

[13]Karl Moritz Hermann, Tomas Kocisky, Edward Grefenstette,
Lasse Espeholt, Will Kay, Mustafa Suleyman, and Phil Blunsom. Teaching machines to read and comprehend. In C. Cortes, N. Lawrence, D. Lee, M. Sugiyama, and R. Garnett, editors, Proc. of NeurIPS, Vol. 28, pp. 1693-1701. Curran Associates, Inc., 2015.

[14]Eva Sharma, Chen Li, and Lu Wang. BIGPATENT: A largescale dataset for abstractive and coherent summarization. In Proc. of ACL, pp. 2204-2213. Association for Computational Linguistics, 2019.

[15]Rui Zhang and Joel Tetreault. This email could save your life: Introducing the task of email subject line generation. In Proc. of ACL, pp. 446-456. Association for Computational Linguistics, 2019.

[16]M. Koupaee and William Yang Wang. Wikihow: A large scale text summarization dataset. ArXiv, Vol. abs/1810.09305, , 2018.

[17]Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proc. of NAACL-HLT, pp. 4171-4186. Association for Computational Linguistics, 2019.

[18]Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. V. Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Proc. of NeurIPS, Vol. 30, pp. $5998-$ 6008. Curran Associates, Inc., 2017.

[19]Mike Schuster and Kaisuke Nakajima. Japanese and korean voice search. In 2012 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), pp. 5149-5152. IEEE, 2012.

[20]Hajime Morita, Daisuke Kawahara, and Sadao Kurohashi. Morphological analysis for unsegmented languages using recurrent neural network language model. In Proc. of EMNLP, pp. 2292-2297. Association for Computational Linguistics, 2015.

[21]Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Proc. of EMNLP, pp. 66-71. Association for Computational Linguistics, 2018.

[22]Guillaume Klein, Yoon Kim, Yuntian Deng, Jean Senellart, and Alexander Rush. OpenNMT: Open-source toolkit for neural machine translation. In Proc. of ACL, pp. 67-72. Association for Computational Linguistics, 2017.

[23]Noam Shazeer, Youlong Cheng, Niki Parmar, Dustin Tran, Ashish Vaswani, Penporn Koanantakool, Peter Hawkins, HyoukJoong Lee, Mingsheng Hong, Cliff Young, Ryan Sepassi, and Blake Hechtman. Mesh-TensorFlow: Deep learning for supercomputers. In Proc. of NeurIPS, 2018.

## A 要約側のみに存在する n-gram 統計

単語 n-gram の割合を表 4 に示す.なお，ここでの単語は MeCab の解析結果の形態素を指している。この表 から, wikiHow の方が要約側にしか含まれない n-gram が多く, Livedoor News と比べて抽象度の高いデータ セットであることがわかる.

表 4 事前学習モデル

## B 詳細な実験設定

UniLM，JASS，mT5，Pointer-Generator について詳細な実験設定を表 5 に示す.

## C 出力例

wikiHow に対する UniLM，JASS，mT5，Pointer-Generator の出力例を表 6 に示す.

表 6 wikiHow に対する出力例

 \\


# 談話構造制約付きパーソナライズド抽出型要約

高津 弘明 $^{1}$ 安藤 涼太 $^{2}$ 本田 裕 $^{3}$ 松山 洋一 $1 \quad$ 小林哲則 ${ }^{1}$
1 早稲田大学 2 内外切抜通信社 $\quad 3$ 本田技研工業
takatsu@pcl.cs.waseda.ac.jp ando@naigaipc.co.jp hiroshi_01_honda@jp.honda
matsuyama@pcl.cs.waseda.ac.jp koba@waseda.jp

## 1 はじめに

ユーザのプロフィールに基づいてニュース記事の 文に対する興味度を推定する手法および，興味度と 談話構造に基づいて文を抽出し，ユーザごとにパー ソナライズした要約を生成する手法を提案する。

人々がテキストの必要な情報に効率的にアクセ スすることを手助けする技術としてテキスト自動要約技術がある．要約は，特定のユーザに特化した 要約か否かで, generic な要約と user-focused な要約 に分類される [1]. generic な要約は，特定のユーザ を想定せず，テキストの重要な情報を抽出して作成 された要約を表すのに対し， user-focused な要約は，重要な情報だけでなく，ユーザの興味や好みも考慮して作成された要約を表す。これまでに, generic な要約を生成する手法が数多く検討されてきたが，興味や嗜好が多様化している現代社会において， user-focused な要約の需要が高まっている [2].

generic な要約, user-focused な要約を問わず，要約 が満たすべき性質として一貫性がある。一貫性の高 い要約とは原文書の談話構造や論理構造を保持し た要約を表す. generic な要約の研究では, 談話構造 を考慮した要約生成手法が提案されている $[3,4,5]$.一方，user-focused な要約生成手法の多くは，ユーザ の特徴を考慮して計算されたスコアに基づいて文を ランキングし，その上位の文を抽出して要約とする ものである $[6,7,8]$. そのため, 従来の user-focused な要約生成手法では，一貫性の低い要約が生成され る可能性が高い. そこで，本研究では，談話構造に 基づく一貫性を保持したまま，ユーザの属性に応じ て興味がありそうな文を抽出し，ユーザごとにパー ソナライズした要約を生成する手法を提案する.

アプリケーションとしてニュースを伝える音声対話システム（以下，ニュース対話システム）[9]を想定する。このシステムは，要約に基づく主計画と補足説明のための副計画から構成されるシナリオに基 づいて会話を進行させる。ユーザが受け身で聴いて いる限りにおいては主計画の内容を伝えることにな る. 主計画生成問題を以下のように定式化する。

話題が異なる $|D|$ 個の文書から各文書の談話構造を制約としてユーザが興味のありそうな文を 抽出し，その内容を音声で $T$ 秒以内に伝える。

提案手法では，文の内容に対する興味度は，アン ケートから得られるユーザのプロフィール情報と BERT [10] の単語埋め込み表現に基づいて推定する.要約は, 最大要約長 $T$ (秒) と文書の談話構造を制約として，推定した興味度の和が最大となるように 整数計画問題を解き，文を抽出することで生成す る. 談話構造とユーザのプロフィールおよび文と話題に対する興味度が付与されたニュース記事コーパ ス [11]を用いて，提案手法の有効性を評価する。

本稿の構成は次の通りである． 2 章で関連研究に ついて述べる. 3 章でニュース記事の文と話題に対 する興味度を推定するモデルについて説明する． 4 章で推定した興味度に基づいて文を抽出する手法に ついて説明する. 5 章で提案手法の有効性を評価す る. 6 章でまとめと今後の展望について述べる.

## 2 関連研究

要約手法は大きく extractive な手法と abstractive な 手法に分類される [12]. extractive な手法では, 文書中の文や単語を抽出することで要約を生成する。代表的な手法として，グラフベースの手法 $[13,14]$ や 整数計画問題による手法 $[3,4]$, ニューラルネット ワークによる手法 $[15,16]$ などがある. abstractive な 手法では，文書中に出現しない表現も用いながら文章をより簡潔な表現に言い換えることで要約を生成 する. 代表的な手法として，アテンションやコピー

図1 興味度推定モデル：BERT_PA_BiGRU_GNN

図 2 Personalized Sentence Encoder
メカニズムを用いた手法 $[17,18]$ や強化学習を導入した手法 $[19,20]$ などがある. また, extractive と abstractive の両方の手法を取り入れたハイブリッド な手法 $[21,22]$ も提案されている. user-focused な要約を生成する研究でも abstractive な手法が最近提案 されてきているが $[23,24]$, 以下に示す研究を含め,従来手法の多くは extractive な手法である.

user-focused な要約の研究では，タスクに応じて 様々な観点でユーザの特徴がモデル化されている。情報検索タスクでは，ユーザの特徴をクエリで捉 え，そのクエリを反映した要約を生成することで パーソナライズが試みられている [25, 26, 27, 28].学習支援タスクでは, 学習者の年齢, 学習の目的や 興味のある項目を記した自己記述などを用いて，学習者ごとにパーソナライズした要約を生成する手法が提案されている $[29,30,31]$. レビュー要約タス クでは，ユーザが入力したクエリの履歴や閲覧した 商品の履歴, プロフィールテキスト, ユーザが過去 に投稿したレビューなどを用いて，ユーザの興味や 好みに合わせた要約を生成する手法が提案されて いる [32, 33, 23]. ニュース記事を含むウェブコンテ ンツの要約のパーソナライズを目指した研究では, ニュースのキーワードに対する興味やソーシャルタ ギングデータ，要約中の文に対するクリック情報な どを用いて，ユーザごとにパーソナライズした要約 を生成する手法が提案されている [6,7, 8, 34, 35].

談話構造を考慮した generic な要約の研究として は次のような研究がある. Marcu は, 修辞構造理論 [36] に基づいて構築した Elementary Discourse Unit （EDU）を最小の談話単位とする修辞構造木に従っ て EDU をランキングし，ランキング上位の EDUを 抽出して要約とする手法を提案した [37]. 平尾ら は，修辞構造木を談話依存構造木へ変換する方法を 提案し，整数計画問題に基づく談話依存構造木の刈
り込みによって要約を生成する手法を提案した [3].菊池らは，文間の依存構造と単語間の依存構造の両方を考慮して，整数計画問題に基づいて重要文抽出 と文圧縮を同時に行う手法を提案した [4].

近年，自然言語処理の分野では，ラベルなしの膨大なテキストデータを使用して事前学習した言語モ デルを下流タスクでファインチューニングするア プローチが注目されており [38], 要約タスクにおい ても事前学習の有効性が確認されている $[5,39,40]$. Liu らは，文書のエンコーディングに BERT [10]を使用し，入力の各文の先頭に [CLS] トークンを付与す ることで文ごとの特徴量を獲得し，各 [CLS] トーク ンに対応するエンコーダの最上位層の出力ベクトル にシグモイドを適用することで抽出する文か否かを 推定する手法を提案した [39]. Xu らは，Liu らの手法を拡張し，RST の句構造を変換して得られた依存構造を制約として文書をエンコーディングし，EDU を抽出する手法を提案した [5]. Zhang らは，文書中 の重要文を mask して復元するように学習した事前学習モデルが，他の事前学習モデルよりも要約タス クにおいて高い性能を示すことを確認した [40].

## 3 興味度推定モデル

ユーザのプロフィール情報（年齢や職種・業種, ニュースのジャンルに対する興味度，趣味など [11]） に基づいてニュース記事全体の話題に対する興味度 と各文に対する興味度を推定するモデルを提案す る. 提案モデルの概略図を図 1 に示す. タイトルに 対する興味度を記事全体の話題に対する興味度とし て，1 文目の前にタイトルを入力する. Personalized Sentence Encoder（図 2) では，文の単語系列を BERT [10]に与え，得られた単語埋め込み表現系列に対し てプロフィール特徴量をクエリとして, personalized attention [41] を計算する. さらに，補助情報として，
文書内文位置，文書内段落位置，段落内文位置，談話依存構造木における深さを与える。次に，得られ た文べクトルを双方向の GRU [42] に与え，前後の文 の情報を考慮した後, Graph Neural Netowork (GNN) [43] により，タイトルをルートノードとした文間の 依存構造に基づく情報の伝搬を行う，最後に，談話構造を反映した文べクトルを sigmoid を活性化関数 とする出力層に与え, 各文について興味があるか否 かを推定する。

## 4 興味文抽出モデル

話題が異なる $|D|$ 個の文書からユーザが興味のあ りそうな文を抽出し, 音声で $T$ 秒以内に伝える要約問題を考える。要約の要件として，ユーザにとって 興味がある内容であること，冗長でないこと，内容 が一貫していることが挙げられる。 そこで，要約問題を，文間の依存構造を制約とし，文に対する興味度の高さと文間の類似度の低さのバランスで目的関数を定義した整数計画問題として定式化する.

$
\max . \quad \sum_{d \in D} \sum_{i<j \in S_{d}} b_{d i} b_{d j}\left(1-r_{d i j}\right) y_{d i j}
$

s.t.

$
\begin{aligned}
& \forall d, i, j: \quad x_{d i} \in\{0,1\}, \quad y_{d i j} \in\{0,1\} \\
& \sum_{d \in D} \sum_{i \in S_{d}} t_{d i} x_{d i} \leq T \\
& \forall d<d^{\prime}:-L \leq \sum_{i \in S_{d}} x_{d i}-\sum_{i \in S_{d^{\prime}}} x_{d^{\prime} i} \leq L \\
& \forall d, i: \quad j=f_{d}(i), \quad x_{d i} \leq x_{d j} \\
& \forall d, c, i \in C_{d c}: \sum_{j \in C_{d c}} x_{d j}=\left|C_{d c}\right| \times x_{d i} \\
& \forall d, i, j: \quad y_{d i j}-x_{d i} \leq 0 \\
& \forall d, i, j: y_{d i j}-x_{d j} \leq 0 \\
& \forall d, i, j: \quad x_{d i}+x_{d j}-y_{d i j} \leq 1
\end{aligned}
$

変数の定義を表 1 に示す. ここで，文書 $d$ の $i$ 番目の文を文 $d i$ と表現する.$b_{d i}$ は，興味度推定モデ ルで推定した文 $d i$ に対する興味度の值である. $r_{d i j}$ は, 文 $d i$ と文 $d j$ の内容語の Bag-of-Words のコサイ ン類似度である。

式 2 は，要約の発話時間を $T$ 秒以下とする制約で ある。式 3 は，抽出する文の数の文書間での偏りを $L$ 文以下に抑える制約である. 式 4 は，ある文 $d i$ を 含める場合，談話依存構造木における親ノードの文 $d j$ も含めなければならないとする制約である. 式 5 は，チャンク中のある文 $d i$ を含める場合，同チャン クに含まれる他の文も含めなければならないとする表 1 変数の定義

制約である.チャンクとは，親ノード文を理解する ために欠かせない情報が子ノード文に書かれている 場合，これらをまとめて提示すべきであることを表 した文の集合である. 式 6 から式 8 は, 文 $d i$ と文 $d j$ が選ばれた際に $y_{d i j}=1$ とするための制約である。

文書間での最大許容偏り文数 $L$ は, 最大要約長 $T$ と, 要約対象の文書の数 $|D|$, 一文書あたりの平均発話時間 $\bar{t}$ に基づいて以下の式で求める.

$
\begin{aligned}
L & =\left.\lfloor\frac{\bar{N}}{\sqrt{|D|}}+0.5\right.\rfloor \\
\bar{N} & =\frac{T}{\bar{t} \times|D|}
\end{aligned}
$

$\bar{N}$ は 1 記事から抽出が期待される文の数を表し，そ の値を文書数の平方根で割り，四捨五入した值を $L$ とする.

## 5 実験

ニュース記事に対して談話構造と興味度を付与し たデータセット [11]を使用した. このデータセット は，文を談話単位として，15 文から 25 文のニュー ス記事 1200 個に対して，ウェブニュースのクリッ ピングの専門家が「係り先」「談話関係」「チャンク」 を付与した談話構造のデータと, 同じ 1200 記事に 対して，クラウドソーシングで 1 人あたり 6 記事, 1 記事あたり 11 人以上となるように配分して，合計 2507 人にプロフィールアンケートと, ニュース 記事の話題と文について 6 段階の興味度（6:とても 興味がある，5:興味がある，4:どちらかといえば興味がある，3:どちらかといえば興味がない，2:興味 がない，1:まったく興味がない）を回答させたデー タからなる. 本研究では, 6 記事の回答時間が 6 分以上 20 分以下で，年齢が 20 代 50 代，職種と業種 が「その他」ではなく, 低頻度の職種でない被験者 1154 人のデータを使用した.

## 5.1 興味度推定性能の評価

BERT の事前学習モデルとして，情報通信研究機構が公開しているモデルを用いた1). 使用した BERT モデルは，日本語 Wikipedia の全記事に対し て, Juman 辞書を用いた $\mathrm{MeCab}^{2}$ [44] により形態素解析を行ったテキストを入力として，語彙数が 10 万語からなる BERT $_{\text {BASE }}[10]$ を学習したモデルであ る. 興味度データのうち，3 点以下のものを興味な し (ラベル“"0)，4 点以上のものを興味あり（ラベ ル“1”) としてモデルの学習を行った. 評価は, ユー ザ単位でデータを 10 分割にして交差検定を行っ た. 比較手法として, 提案モデルから personalized attentionを除いたモデル（BERT_BiGRU_GNN）と， GNN を除いたモデル（BERT_PA_BiGRU）と比較し た。なお，BERT_BiGRU_GNNでは，BERTの [CLS] トークンの最上位層の出力を BiGRUに与えている. それぞれのモデルについて, 10 分割交差検定 で Accuracy を計算した結果を表 2 に示す. 表では 「話題」（タイトルに対応するラベル）と「文」に分 けて結果を示している. BERT_BiGRU_GNNよりも BERT_PA_BiGRU_GNN の方が Accuracy が高いこと から，ユーザのプロフィールを考慮することの有効性が確認できた。さらに，BERT_PA_BiGRUよりも BERT_PA_BiGRU_GNN の方が Accuracy が高いこと から，文間の依存構造を考慮することの有効性が確認できた.

## 5.2 興味文抽出性能の評価

文に対する興味度に基づいてユーザごとにジャン ルの異なる 6 個のニュース記事を要約し，その内容 を規定時間内に音声で伝える状況を考える. 原文の 表記で文を発話するものとし，ニュース記事の各文 を AITalk 4.1 (のぞみ $)^{3}$ )で音声合成した. 合成音声 ファイルの再生時間に，文間の間（ま）1 秒，文書間の間（ま） 3 秒を加えた値を $t_{d i}$ とした. 整数計画問題は分枝切除法 $[45,46]$ で解いた ${ }^{4)}$. 評価尺度

図 3 最大要約長 $T$ を変化させたときの $\mathrm{EoIT}_{1}$ と $\mathrm{EoIT}_{2}$

には，情報伝達効率 $\mathrm{EoIT}_{\beta}$ [47] を用いた. $\mathrm{EoIT}_{\beta}$ は，要約が 4 点以上の文を含めることができた割合（被覆率）を $C, 3$ 点以下の文を除外できた割合（除外率）を $E$ としたとき，重み付き $\mathrm{F}$ 值 [48] に基づき，以下の式で計算する。

$
\operatorname{EoIT}_{\beta}=\frac{\left(1+\beta^{2}\right) \times C \times E}{\beta^{2} \times C+E}
$

$\beta=2$ のとき除外率を被覆率の 2 倍重視することを 意味する。

最大要約長 $T$ を 180 秒から 540 秒まで 30 秒刻 みで変化させたときの要約の $\mathrm{EoIT}_{1}$ と $\mathrm{EoIT}_{2}$ を 図 3 に示す. $\operatorname{EoIT}_{\beta}$ (予測値) は，興味度として BERT_PA_BiGRU_GNN の 10 分割交差検定の予測値 を用いたときの性能を表す. $\operatorname{EoIT}_{\beta}$ （理想値）は，興味度としてデータセットの正解値を用いたときの 性能を表す。各曲線は被覆率と除外率のバランス が最も取れた時刻で最大となっている. EoIT (理 $^{2}$想值）は $T=450$ のとき 0.595, EoIT $_{1}$ （予測値）は $T=420$ のとき 0.526, EoIT $_{2}$ （理想値）は $T=270$ の とき $0.630, \mathrm{EoIT}_{2}$ (予測値) は $T=270$ のとき 0.577 で最大となった. 全時刻での $\mathrm{EoIT}_{1}$ と $\mathrm{EoIT}_{2}$ の理想値と予測値の差は平均で $6 \%$ 程度であった。

## 6 おわりに

ユーザのプロフィールに基づいてニュース記事の 文に対する興味度を推定する手法および，興味度と 談話構造に基づいて文を抽出し，ユーザごとにパー ソナライズした要約を生成する手法を提案した.

今後は，対話履歴を用いて適応的にパーソナライ ズした要約を生成する手法について検討する。

謝辞本研究は，JST START（JPMJST1912）の支援 を受けたものである.

## 参考文献

[1]Inderjeet Mani and Eric Bloedorn. Machine learning of generic and userfocused summarization. In Proceedings of the 15th National / 10th Conference on Artificial Intelligence / Innovative Applications of Artificial Intelligence, pp. 820-826, 1998.

[2]Maya Sappelli, Dung Manh Chu, Bahadir Cambel, David Graus, and Philippe Bressers. SMART journalism: Personalizing, summarizing, and recommending financial economic news. The Algorithmic Personalization and News (APEN18) Workshop at ICWSM, Vol. 18, No. 5, pp. 1-3, 2018.

[3]Tsutomu Hirao, Masaaki Nishino, Yasuhisa Yoshida, Jun Suzuki, Norihito Yasuda, and Masaaki Nagata. Summarizing a document by trimming the discourse tree. IEEE/ACM Transactions on Audio, Speech and Language Processing, Vol. 23, No. 11, pp. 2081-2092, 2015.

[4]Yuta Kikuchi, Tsutomu Hirao, Hiroya Takamura, Manabu Okumura, and Masaaki Nagata. Single document summarization based on nested tree structure. In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics, pp. 315-320, 2014.

[5]Jiacheng Xu, Zhe Gan, Yu Cheng, and Jingjing Liu. Discourse-aware neural extractive text summarization. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 5021-5031, 2020.

[6]Alberto Díaz and Pablo Gervás. User-model based personalized summarization. Information Processing and Management, Vol. 43, No. 6, pp. $1715-1734,2007$

[7]Rui Yan, Jian-Yun Nie, and Xiaoming Li. Summarize what you are interested in: An optimization framework for interactive personalized summarization. In Proceedings of the 2011 Conference on Empirical Methods in Natural Language Processing, pp. 1342-1351, 2011.

[8]Po Hu, Donghong Ji, Chong Teng, and Yujing Guo. Context-enhanced personalized social summarization. In Proceedings of the 24th International Conference on Computational Linguistics, pp. 1223-1238, 2012.

[9]高津弘明, 福岡維新, 藤江真也, 林良彦, 小林哲則. 意図性の異なる多様な情報行動を可能とする音声対話システム. 人工知能学会論文誌, Vol. 33, No. 1, pp. 1-24, 2018.

[10]Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 4171-4186, 2019

[11]高津弘明, 安藤涼太, 本田裕, 松山洋一, 小林哲則. ニュース記事に対 する談話構造と興味度のアノテーション〜ニュース対話システムの パーソナライズに向けて〜. 言語処理学会第 27 回年次大会 発表論文集, 2021.

[12]Vipul Dalal and Latesh Malik. A survey of extractive and abstractive text summarization techniques. In Proceedings of the 6th International Conference on Emerging Trends in Engineering and Technology, pp. 109-110, 2013.

[13]Güneş Erkan and Dragomir R. Radev. LexRank: Graph-based lexical centrality as salience in text summarization. Journal of Artificial Intelligence Research, Vol. 22, No. 1, pp. 457-479, 2004

[14]Rada Mihalcea and Paul Tarau. TextRank: Bringing order into texts. In Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing, pp. 404-411, 2004

[15]Ramesh Nallapati, Feifei Zhai, and Bowen Zhou. SummaRuNNer: A recurrent neural network based sequence model for extractive summarization of documents. In Proceedings of the 31th AAAI Conference on Artificial Intelligence, pp. 3075-3081, 2017.

[16]Jiacheng Xu and Greg Durrett. Neural extractive text summarization with syntactic compression. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, pp. 3292-3303, 2019

[17]Abigail See, Peter J. Liu, and Christopher D. Manning. Get to the point: Summarization with pointer-generator networks. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics, pp. 10731083, 2017.

[18]Arman Cohan, Franck Dernoncourt, Doo Soon Kim, Trung Bui, Seokhwan Kim, Walter Chang, and Nazli Goharian. A discourse-aware attention model for abstractive summarization of long documents. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 615-621, 2018.

[19]Romain Paulus, Caiming Xiong, and Richard Socher. A deep reinforced model for abstractive summarization. In Proceedings of the 6th International Conference on Learning Representations, pp. 1-13, 2018.

[20]Ramakanth Pasunuru and Mohit Bansal. Multi-reward reinforced summarization with saliency and entailment. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 646-653, 2018.

[21]Yen-Chun Chen and Mohit Bansal. Fast abstractive summarization with reinforce-selected sentence rewriting. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics, pp. 675-686, 2018.

[22]Wan-Ting Hsu, Chieh-Kai Lin, Ming-Ying Lee, Kerui Min, Jing Tang, and Min Sun. A unified model for extractive and abstractive summarization Association for Computational Linguistics, pp. 132-141, 2018.

[23]Junjie Li, Haoran Li, and Chengqing Zong. Towards personalized review summarization via user-aware sequence network. In Proceedings of the 33rd AAAI Conference on Artificial Intelligence, pp. 6690-6697, 2019

[24]Yu-Hsiu Chen, Pin-Yu Chen, Hong-Han Shuai, and Wen-Chih Peng. TemPEST: Soft template-based personalized EDM subject generation through collaborative summarization. In Proceedings of the 34th Association for the Advancement of Artificial Intelligence, pp. 7538-7545, 2020.

[25]Anastasios Tombros and Mark Sanderson. Advantages of query biased summaries in information retrieval. In Proceedings of the 21st Annual International ACM SIGIR Conference on Research and Development in Information Retrieval, pp. 2-10, 1998.

[26]Changhu Wang, Feng Jing, Lei Zhang, and Hong-Jiang Zhang. Learning query-biased web page summarization. In Proceedings of the 16th ACM Conference on Conference on Information and Knowledge Management, $\mathrm{pp}$. $555-562,2007$

[27]Sun Park, Byung Rae Cha, and JangWoo Kwon. Personalized document summarization using pseudo relevance feedback and semantic feature. IETE Journal of Research, Vol. 58, No. 2, pp. 155-165, 2012.

[28]Jennifer Williams, Sharon Tam, and Wade Shen. Finding good enough: A task-based evaluation of query biased summarization for cross language information retrieval. In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing, pp. 657-669, 2014

[29]Róbert Móro and Mária Bieliková. Personalized text summarization based on important terms identification. In Proceedings of the 23rd International Workshop on Database and Expert Sytems Applications, pp. 131-135, 2012.

[30]Guangbing Yang, Dunwei Wen, Kinshuk, Nian-Shing Chen, and Erkki Sutinen. Personalized text content summarizer for mobile learning: An automatic text summarization system with relevance based language model. In Proceedings of the 2012 IEEE Fourth International Conference on Technology for Education, pp. 90-97, 2012.

[31]Uriel Ramírez, Yasmín Hernández, and Alicia Martínez. Towards personalized summaries in spanish based on learning styles theory. Research in Computing Science, Vol. 148, No. 5, pp. 115-123, 2019.

[32]Zehra Kavasoğlu and Şule Gündüz Öğüdücü. Personalized summarization of customer reviews based on user's browsing history. International Journal on Computer Science and Information Systems, Vol. 8, No. 2, pp. 147-158, 2013

[33]Mickaël Poussevin, Vincent Guigue, and Patrick Gallinari. Extended recommendation framework: Generating the text of a user review as a personalized summary. In Proceedings of the 2nd Workshop on New Trends on Content-Based Recommender Systems co-located with 9th ACM Conference on Recommender Systems, pp. 34-41, 2015.

[34]Chandan Kumar, Prasad Pingali, and Vasudeva Varma. Generating personalized summaries using publicly available web documents. In Proceedings of the 2008 IEEE/WIC/ACM International Conference on Web Intelligence and Intelligent Agent Technology, pp. 103-106, 2008

[35]Xindong Wu, Fei Xie, Gongqing Wu, and Wei Ding. Personalized news filtering and summarization on the web. In Proceedings of the 2011 IEEE 23 rd International Conference on Tools with Artificial Intelligence, pp. 414 $421,2011$.

[36]William C. Mann and Sandra A. Thompson. Rethorical structure theory: Toward a functional theory of text organization. Text, Vol. 8, No. 3, pp. 243-281, 1988

[37]Daniel Marcu. Improving summarization through rhetorical parsing tuning. In Proceedings of the 6th Workshop on Very Large Corpora, pp. 206-215, 1998.

[38]XiPeng Qiu, TianXiang Sun, YiGe Xu, YunFan Shao, Ning Dai, and XuanJing Huang. Pre-trained models for natural language processing: A survey. 2020.

[39]Yang Liu and Mirella Lapata. Text summarization with pretrained encoders. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, pp. 3730-3740, 2019.

[40]Jingqing Zhang, Yao Zhao, Mohammad Saleh, and Peter J. Liu. PEGASUS: Pre-training with extracted gap-sentences for abstractive summarization. In Proceedings of the 37th International Conference on Machine Learning, pp. 11328-11339, 2020.

[41]Chuhan Wu, Fangzhao Wu, Mingxiao An, Jianqiang Huang, Yongfeng Huang, and Xing Xie. NPA: Neural news recommendation with personalized attention. In Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery \& Data Mining, pp. 2576-2584, 2019.

[42]Kyunghyun Cho, Bart van Merriënboer, Caglar Gulcehre, Dzmitry Bahdanau, Fethi Bougares, Holger Schwenk, and Yoshua Bengio. Learning phrase representations using RNN encoder-decoder for statistical machine translation. In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing, pp. 1724-1734, 2014.

[43]Filippo Maria Bianchi, Daniele Grattarola, Lorenzo Livi, and Cesare Alippi. Graph neural networks with convolutional ARMA filters. arXiv:1901.01343v6, pp. 1-15, 2020.

[44]Taku Kudo, Kaoru Yamamoto, and Yuji Matsumoto. Applying conditional random fields to Japanese morphological analysis. In Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing, pp. 230-237, 2004

[45]John E. Mitchell. Branch-and-cut algorithms for combinatorial optimization problems. Handbook of Applied Optimization, pp. 65-77, 2002.

[46]Manfred Padberg and Giovanni Rinaldi. A branch-and-cut algorithm for the resolution of large-scale symmetric traveling salesman problems. SIAM Review, Vol. 33, No. 1, pp. 60-100, 1991

[47]Hiroaki Takatsu, Mayu Okuda, Yoichi Matsuyama, Hiroshi Honda, Shinya Fujie, and Tetsunori Kobayashi. Personalized extractive summarization for a news dialogue system. In Proceedings of the 8th IEEE Spoken Language Technology Workshop, 2021.

[48]Nancy Chinchor. MUC-4 evaluation metrics. In Proceedings of the 4th conference on Message understanding, pp. 22-29, 1992.


# Analysis of Biden's Victory Speech

Reiji Miura ${ }^{\dagger} \quad$ Sumiyo Nishiguchi ${ }^{\ddagger}$
Department of Economics, Faculty of Commerce, Otaru University of Commerce ${ }^{\dagger}$
Center for Language Studies, Otaru university of Commerce
reiji.01101114@gmail.com ${ }^{\dagger} \quad$ nishiguchi@res. otaru-uc. ac. jp

## 1 Introduction

We listened to the US President-Elect Joe Biden's speech and analyzed its characteristics.

President-elect Joe Biden emphasized unity in his first address to the nation since securing the White House on November 7th, 2020. He gave a victory speech in Wilmington, Del., where he called on Democrats and Republicans to stop demonizing one another and find a way to compromise. He made a speech using a total of 1818 words.

## 2 Speech Content

Biden got a lot of votes. He has won with the most votes ever cast for a presidential ticket in the history of America. At first, he spoke about his wife, Jill. He said that Jill was going to make a great first lady. He is so proud of her. He had a lot of repetitive expressions in speech.

He used the phrase "the battle to" six times. It briefly describes what he wants to do for America.

He said he was looking ahead. He used "ahead to an America" five times. It shows the potential of America. He may be emphasizing the words by repeating the same words.

The content of his speech is about a spouse, transgender, corona measures, turning point of America and possibility of America.

We thought that his repetitive expression made it easier to understand the important points of the speech and what he wanted to emphasize.

## 3 Frequency of Word Usage

As above, he made a speech using a total of 1818 words. We have summarized the words that appeared frequently in speech in a table. The following graph Table 1 shows the 10 most frequently used words.

 \\

Table 1 The 10 most frequently used words at Biden's victory speech.

From this result, it was found that articles and conjunctions are frequently used. He used "and" a lot, so we can see that he has a lot of opinions. Also, because he uses "our" frequently, which suggests inclusion and thoughts about the people and colleagues.

Next, let's examine the frequency of use of nouns only. The result is the following graph. It shows the 10 most frequently used words.

 \\

Table 2 The 10 most frequently used nouns in Biden's victory speech

From this result, many words about America and people are used. In other words, these frequent nouns display that the priorities of the country and the people in his speech.

## 4 Repetitive Expressions

As mentioned earlier, Biden used repetitive expressions. The first one is "the battle to". He said "America has called upon us to marshal the forces of decency, the forces of fairness. To marshal the forces of science and the forces of hope in the battles. The battle to control the virus, the battle to build prosperity, the battle to secure your family's health care. The battle to achieve racial justice and root out systemic racism in this country. And the battle to save our planet by getting climate under control." in speech. "The battle to" is used 6 times in the text. From this, the audience may infer a strong will to solve the problems of coronavirus and racial discrimination, which are the current problems in the United States.

Next is "ahead to an America". He said "We're always looking ahead. Ahead to an America that is freer and more just. Ahead to an America that creates jobs with dignity and respect. Ahead to an America that cures diseases like cancer and
Alzheimer's. Ahead to an America that never leaves anyone behind. Ahead to an America that never gives up, never gives in, this great nation." In speech. "ahead to an America" is used 5 times and sounded to be the gist or the conclusion of this speech. Biden concisely expresses what he wants to do by using repetitive expressions. The word "an" added in front of the "America" makes it more impressive.

## 5 Conclusion

Listening to Biden's speech, we found that he used a lot of repetitive expressions. The content is emphasized by repeated expressions. We analyzed the word frequencies. The result showed that "the battle to" was used six times to briefly describe the future directions. "Ahead to an America" appeared five times, which showed the potential of America.

## References

1. Bird, Steven, Ewan Klein, and Edward Loper (2009) Natural Language Processing with Python: Analyzing Text with the Natural Language Toolkit

O'Reilly, Sebastopol, CA.

2. Nishiguchi, Sumiyo (2020) "The Semantics of Reduplication" Shin Handai Eibungakkai Sosho 2: Eigogaku no Fukamari, Eigogaku karano Hirogari, Eihosha, Tokyo.

3. Scott, Mike and Christopher Tribble (2006) Textual Patterns:

Key Words And Corpus Analysis in Language Education, John Benjamins, Amsterdam.

4. The New York Times (2020) "Read Joe Biden's President-Elect Acceptance Speech:

Full Transcript,"

https://www.nytimes.com/article/biden-speechtranscript.html

5. CNN Politics (2020) "President-elect Joe Biden Seeks to Unite Nation with Victory Speech"
https://edition.cnn.com/2020/11/07/politics/bid en-victory-speech-2020-election/index.html 6. The Washington Post, "Joe Biden's Victory Speech, Annotated"

https://www.washingtonpost.com/politics/2020

/11/07/annotated-biden-victory-speech/