# QA Lab-Polilnfo-3 における Fact Verification

横手健一

日立製作所

kenichi.yokote.fb@hitachi.com

秋葉友良豊橋技術科学大学木村泰知

小樽商科大学渋木英潔

国立情報学研究所

kimura@res.otaru-uc.ac.jp

小川泰弘

名古屋大学石下円香

国立情報学研究所
## 1 はじめに

国立情報学研究所が主催する NTCIR プロジェ クトの一つとして QA Lab-PoliInfoを開催してきた. QA Lab-PoliInfo は質問応答や自動要約などの自然言語処理のアプローチにより, 政治情報における信恣性問題を解決することを目指す. 本稿では,NTCIR-14 QA Lab-PoliInfo segmentation の後続タスクとなる Fact Verification タスクについて述べる.

## 2 Fact Verification の位置付け

本章では,Fact Verification タスク（以降「本タスク と呼ぶ」）について, 先行タスクとの差異, 本タスク の狙い, および関連研究を述べる。

## 2.1 先行タスク:NTCIR-14 QA Lab-Polilnfo segmentation

NTCIR-14 QA Lab-PoliInfo segmentation[1] では, 原文書とその中の一部を要約したテキストを入力とし て与え,テキストが原文書のどこを要約したかを文 レベルで特定する. 原文書として東京都議会の発言記録を対象とし, 要約テキストとして, 都議会の活動 を発信する広報紙である「都議会だより」を対象と する.いずれも、インターネット上に公開されている [2][3]. 発言を引用, 要約して生成した二次情報は, 発言の一部が欠落することにより, 発言者の本来の意図とは異なった印象を読者に与えてしまう危険性が ある. 二次情報に対応する実際の発言を同時に提示 することで, 誤った解釈で二次情報が流通すること を防止する。

## 2.2 Fact Verification タスクの狙い

NTCIR-14 QA Lab-PoliInfo segmentation が対象とし た広報紙「都議会だより」は, 東京都議会の発言記録 を元に作成している. 従って, 都議会だよりの各記述
に対応する実際の発言は必ず存在し, その必ず存在 する発言情報（要約テキストに対応する原文書中の 開始行と終了行）を特定する問題として扱うことが できた. 一方で, 実際の発言が存在しない架空の二次情報を入力した時, 原文書中に対応する発言が存在 しないことを提示することはできなかった. 本タス クは,NTCIR-14 QA Lab-PoliInfo segmentation が対象 とした「東京都議会の発言記録」，「都議会だより」 に加えて, 実際の発言が存在しない架空の「都議会 だより」を作成し, 評価の対象とする.これによって，誤った解釈で二次情報が流通することだけでなく，根拠が存在しない偽の二次情報が流通することも防 ぐ手段を検討する.

## 2.3 関連研究

本節では,フェイクニュース問題や Fact Checking を扱う関連タスク事例について述べる。

## 2.3.1 SemEval-2017 Task 8: RumourEval

SemEval-2017 Task 8: RumourEval タスク [4] は, ソーシャルメディアに投稿された噂 (Rumour) とそ れに対する返信投稿の各やり取りに対して, 賛成反対などのスタンスに関する 4 種類のラベルに分類す るサブタスク A と,その噂が正しいかどうかの信恣性を 0 から 1 の確信度で出力するサブタスク B を実施した. ラベル付与の正解はクラウドソーシングで 作成し, 信憑性の正解はジャーナリストのような専門家によって作成した. サブタスク A の評価はラべ ル付与の正答率, サブタスク B の評価は確信度の平均平方二乗誤差 (RMS Error) を用いた.

## 2.3.2 The Fact Extraction and VERification (FEVER)

The Fact Extraction and VERification (FEVER) Shared Task[5] は, 人手で作成した主張 (Claim) に対して,
正しい (SUPPORTED), 誤り（REFUTED）, 情報不足 (NotEnoughInfo) の 3 種類のラベルに分類する判定 と,SUPPORTED と REFUTED の場合はその根拠とな るテキストを Wikipedia から抽出するタスクを実施 した.Claim は Wikipedia のテキストから言い換える などの手法で人手で生成し, ラベルと根拠テキスト の付与も人手で行った. 根拠テキストを漏れ無く人手で収集することは困難のため, タスク参加者のシ ステムを用いて収集できた根拠テキストも利用し た. 評価は, ラベル分類の正答率と, 抽出した根拠テ キストの文レベル F-measure によって実施した.

## 3 データセットの説明

本章では, データセットの構成について述べる. 表 1 は, 本タスクの原文書に相当する「東京都議会の発言記録」のカラム名称とサンプルデータである. 発言記録を行で分割したテキストを最小単位とし，「ID」 は各分割テキストに一意な値である。「Line」は何行目の分割テキストであるかを示す.「Prefecture」は本 タスクでは東京都を値に持つ.「Title」は発言がなさ れた会議の名称を示し,「Volume」と「Number」は会議名を識別するための情報を示す.「Year」「Month」「Day」は発言した日時を示し,「Speaker」は発言者,「Utterance」は発言の内容を示す. 表 2 は, 本タスク

表 1 東京都議会会議録のデータ構造

の要約テキストに相当する「都議会だより」のカラ ム名称とサンプルデータである.「架空の都議会だ より」についても同様のデータ構造を持つ. 会議中 の一つの質問とそれに対する回答の組を最小単位 （以降「答弁」と呼ぶ）とし，「ID」によって各答弁 に一意な值を割り当てる.「Prefecture」は東京都を 値に持ち,「Meeting」は答弁がなされた会議の名称，「Date」は答弁がなされた日時を示す.「MainTopic」
と「SubTopic」は答弁を分類するためのカテゴリ情報を示し, 複数の答弁が一つの MainTopic,SubTopic に属する。「QuestionSpeaker」は質問の発言者,「AnswerSpeaker」は回答の発言者,「QuestionSummary」は 質問の要約,「AnswerSummary」は回答の要約を示 す.「QuestionStartingLine」,「QuestionEndingLine」, $\ulcorner$ AnswerStartingLine」,「AnswerEndingLine」は, 要約 テキストが「都議会だより」の場合, 要約の元となっ た「東京都議会の発言記録」データの Line の値を示 す. NTCIR-14 QA Lab-PoliInfo segmentation タスクで は,Lineの値が入力済みの「都議会だより」データを 教師データとして配布し,未大力の「都議会だより」 データに対して Line を推定するタスクとして実施 した. 要約テキストが「架空の都議会だより」の場合, 要約元が存在しないことを示す固有の表記を設 けることを検討している。

表 2 都議会だよりのデータ構造

 \\

強い危機感に立ち、 \\
AnswerSummary & な現場を踏まえて緊急に \\
& 日本再生に向けて \\
& 速やかに行動して、 \\
都民・国民の不安を \\
振り払ってもらいたい。 \\

## 4 評価方法

本章では, 本タスクの評価指標について述べ る. 先行タスクである NTCIR-14 QA Lab-PoliInfo segmentation[1] で実施した Precision,Recall,F-measure に加えて, 要約テキストが「架空の都議会だより」 である時に, 要約元が存在しないことを判定でき たかどうかに関する指標を設ける。例えば, 前記 SemEval-2017 Task 8: RumourEval タスクのように 0

から 1 の確信度を出力することを求め, それらの平均平方二乗誤差 (RMS Error) で評価する方法を検討 している.

## 5 おわりに

本稿では,NTCIR-14 QA Lab-PoliInfo segmentation の 後続タスクとなる Fact Verification タスクについて, タスクの狙い, 関連研究, データセットの構成, 評価指標を紹介した. 本タスクは予備テスト（Dry Run）期間と本テスト（Formal Run）期間を設け,Dry Run 期間中は仮のデータセットと評価指標で実施し, 本 タスクの課題洗い出しを行う. その後に, 正式なデー タセットと指標を決定し,Formal Run を実施する計画である。

## 参考文献

[1] Yasutomo Kimura, Hideyuki Shibuki, Hokuto Ototake, Yuzu Uchida, Keiichi Takamaru, Kotaro Sakamoto, Madoka Ishioroshi, Teruko Mitamura, Noriko Kando, Tatsunori Mori, et al. Overview of the ntcir-14 qa lab-poliinfo task. In Proceedings of the 14th NTCIR Conference, 2019.

[2] 会議録・速記録 | 東京都議会. https://www.gikai. metro.tokyo.jp/record/.

[3] 都議会だより.https://www.gikai.metro.tokyo.jp/ newsletter/.

[4] Leon Derczynski, Kalina Bontcheva, Maria Liakata, Rob Procter, Geraldine Wong Sak Hoi, and Arkaitz Zubiaga. Semeval-2017 task 8: Rumoureval: Determining rumour veracity and support for rumours. arXiv preprint arXiv:1704.05972, 2017.

[5] James Thorne, Andreas Vlachos, Oana Cocarascu, Christos Christodoulopoulos, and Arpit Mittal. The fact extraction and VERification (FEVER) shared task. In Proceedings of the First Workshop on Fact Extraction and VERification (FEVER), pp. 1-9, Brussels, Belgium, November 2018. Association for Computational Linguistics.


# 小規模コーパスを利用した領域特化型 ELECTRA モデルの構築

伊藤陽樹
茨城大学
工学部情報工学科
17t4014y@vc.ibaraki.ac.jp
}

新納浩幸
茨城大学大学院
理工学研究科情報科学領域
hiroyuki.shinnou.0828@vc.ibaraki.ac.jp

## 1 はじめに

自然言語処理のタスクを機械学習のアプローチで 解決する場合，訓練データの領域(ソース領域)とテ ストデータの領域 (ターゲット領域) が異なるという domain shift の問題が深刻である. BERT[1]のような 事前学習済みモデルは下流のタスクによりモデルを fine-tuning するため, domain shift の問題に対処でき る.さらに近年はターゲット領域のコーパスを用い て BERT の追加学習を行い, 追加学習できたモデル を fine-tuning することで更なる精度向上がなされて いる. ただし BERT の追加学習には多大な計算機資源が必要であり，簡単に行うことはできない. また 利用するターゲット領域のコーパスも大規模なもの が想定されるが，そのようなコーパスが現実には入手できないことも多い.

本研究では上記の問題への対処として ELECTRA (Efficiently Learning an Encoder that Classifies Token Replacements Accurately)[2] の利用を試みる.

ELECTRA は BERT で用いられる Masked Language Modeling (MLM) を Replaced Token Detection (RTD) と いう手法に置き換えた事前学習モデルである。 MLM は入力文に対していくつかの単語を [MASK] に置き換え，その [MASK] を推定することでモデ ルを学習させている。しかし BERT では [MASK] の 置き換えが全体の $15 \%$ であり効率が悪い. その点 を改良したのが RTD である. RTD では Generative Adversarial Network(GAN) の考えに基づいて生成モ デルと識別モデルの 2 つのモデルを用意し, 生成モ デルによって生成された各トークンが，識別モデル によって入力文に対して置換されているかどうかの 2 値判定で事前学習を行っている. RTDでは全ての トークンを学習に扱うことができるためより計算効率性が良く，RTDを利用した ELECTRA モデルは同一サイズの BERT モデルと比較しても優れた性能を 発揮することが知られている。実験ではまず一般的な小規模の ELECTRA モデル を構築した. 次にターゲット領域の小規模コーパ スを利用し，その ELECTRA モデルの追加学習を 行うことで領域特化型の ELECTRA モデルを構築 した. 構築した領域特化型の ELECTRA モデルは, BERT-base よりも小さなモデルではあるが，ター ゲット領域の文書分類タスクに対して，BERT-base よりも性能がよいことを確認できた。

## 2 関連研究

## 2.1 系列ラベリングの教師なし領域適応

ELMo や BERT のような文脈が考慮された分散表現を生成するモデルは，ラベル付けされていない大規模コーパスを用いて事前学習を行うことで，幅広 い自然言語処理タスクにわたって良い性能を発揮す ることが知られている。 しかし，これらのモデルは 学習に Wikipedia やニューステキストといったコー パスを使用しているため，ターゲットのテキストの 領域や書かれ方が事前学習コーパスと大きく異なる 場合，このアプローチが有効であるかどうかは不明 である。そこで，論文 [3] では，ターゲット領域の テキストを使用して分散表現を fine-tuning すること で性能向上を図っている.

先行研究では，初期近代英語と Twitter の 2 つの テキストをターゲット領域としてテストしている. どちらも既存の事前学習コーパスとは大きく異なる が，提案された手法により通常の BERT モデルより も実質的な改善が得られたことを示している.

## 2.2 Domain Tuning と Task Tuning

一般に，ターゲット領域が事前学習コーパスと異 なる場合，文脈に応じた単語分散表現はタグ付けタ スクには効果がない可能性があると言われている. これは，ラベル付けされたデータもターゲットのテ キストと大きく異なる可能性があるため，教師なし

の領域適応では特に深刻である. この問題に対処 するために，論文 [3] 中では教師なしの領域適応の ための AdaptaBERT モデルの手法を提案している.

具体的には，以下の 2 つのアプローチを適用して いる.

Domain Tuning ターゲット領域のテキストを 使って教師なしで BERT の言語モデルをチューニ ングする方法. 例えば, Wikipediaで学習した BERT を Twitter のテキストを使って再学習することがこ れに当たる.

Task Tuning 教師データを使って BERTをチュー ニングする方法. 例えば，固有表現認識であれば CoNLL 2003 を使って BERT を含むモデル全体を学習させることがこれに当たる.

実験設定は，Domain Tuning と Task Tuning の組み 合わせにより以下の 4 つを定めている.
- Frozen BERT
- Task-tuned BERT
- AdaptaBERT
- Fine-tuned BERT

Frozen BERT は, BERT を学習させず特徴抽出器 として用いる方法である. Task-tuned Bert は，ソー ス領域の教師付きデータを使って BERT を学習させ る方法である. AdaptaBERT は，ターゲット領域の 教師なしデータを使って BERTをチューニングした 後，ソース領域の教師付きデータを使ってモデルを 学習させる方法である. 最後の Fine-tuned BERT と いうのは，ターゲット領域のデータを使って BERT を含むモデル全体を学習させる方法を指している.

実験では Penn Parsed Corpus of Early Modern English(PPCEME) における品詞タグ付けと Workshop on Noisy User Text(WNUT) 2016 における固有表現認識について評価を行っている. 品詞タグ付けでは, ソース領域のコーパスとして Penn Treebank (PTB) corpus of 20th century English，ターゲット領域のコー パスとして PPCEMEを使っており，PTB は現代英語, PPCEME は 15 世紀から 17 世紀の英語をター ゲットにしたコーパスとなっている. 固有表現認識ではソース領域のコーパスとして Conference on Natural Language Learning(CoNLL) 2003，ターゲット 領域のコーパスとして WNUT 2016 を使っており， CoNLL 2003 はニュースが対象で，WNUT は Twitter が対象となっている.品詞タグ付けと固有表現認識の 2 つの実験結果 から，Domain Tuningを使用してターゲット領域の コーパスで BERT を学習させることで性能が向上す ることが分かっている. ターゲット領域のラベル付 きデータが大量に確保できない場合でも，ターゲッ 卜領域の教師なしデータを使って事前学習モデルを チューニングするだけで性能が向上するというは十分に実用的であるといえる。

## 3 ELECTRA モデルの利用

論文 [4] によると，事前学習モデルの学習時に用 いられたコーパスによってバイアスを受けることが 示されている. 実際のシステムが対象にする領域に 特化した事前学習モデルを構築すれば，それを利用 することでその領域における精度を向上させること ができる. しかし, 現在の事前学習手法の多くは,効果を発揮するために莫大な計算資源を必要とす る. 計算量を増やして事前学習を行えば，下流タス クの精度が向上する場合がほとんどであるため, 事前学習を行う際は下流タスクの精度だけでなく, 計算効率性も考慮する必要がある。

そこで本論文ではより計算効率性の良い事前学習手法であるRTDを採用した ELECTRAを利用する。

論文 [2] では，様々なサイズの ELECTRA モデル を学習し，計算量に対する下流タスクの性能を評価している。具体的には，自然言語理解のベンチ マークの GLUE と質問応答技術のベンチマークの SQuAD に対する実験を行っている. それによると ELECTRA モデルは，他の最先端の自然言語処理モ デルと比較しても，同じ計算量であれば，従来の手法よりも改善されることが示されている. 例えば， RoBERTa および XLNet の 25\%未満の計算量で，同等の性能を発揮することが分かっている. さらに 効率化を進めると, 単一の GPU で, 4 日間で学習可能な ELECTRA-Small では，GPT よりも優れたパ フォーマンスを発揮し，計算量は 30 分の 1 で済む ことが分かっている.

## 4 実験

## 4.1 モデルの構築

日本語で事前学習を行った ELECTRA モデルを構築するために，公式 GitHub 上 ${ }^{1)}$ に公開されている プログラム run_pretraining.pyを使用し，Google

Colaboratory(Colab) 上の無料の TPU 資源と Google Cloud Storage(GCS) を利用した. Colab 上の TPU 資源を利用することで，GPU よりもさらに学習時間を 短縮することが可能である．また， Colab 上の TPU は GCS を介してのみデータの入出力が可能である ため，GCS を利用する必要がある。

事前学習用のコーパスには比較対象である東北大学が公開した BERT(tohoku-BERT) と日本語 Wikipedia 全文を使用し, tokenizer も同じ MecabNEologd を使用する. tohoku-BERT の公式 GitHub2)上にあるプログラムを利用し, 学習用コーパスの作成，テキストの前処理，語彙ファイルの作成，そし て事前学習のための tensorflow データセットの作成 を行っている。

## 4.2 モデルの評価

評価は，構築したモデルの小規模領域分野におけ る文書分類タスクの性能により行った. fine-tuning 時に使用した評価用データは Livedoor-news コーパ スを使用した.これは株式会社ロンウィットから公開されている livedoorニュースの日本語ニュース記事を集めたデータセットである，各文書はURL，作成日時，タイトル，本文からなる構成だが，ここで は記事本文に属するカテゴリで数値ラベルを付け た. 9つのカテゴリに属する記事本文を訓練用デー タとテストデータに分け, 訓練データでモデルを学習し，テストデータで記事本文からその記事のカテ ゴリを予測するという 9 值分類タスクを行い，その 正解率で性能評価を行う.

各カテゴリの数値ラベルと含まれている記事数を 表 1 に示す.

2) https://github.com/cl-tohoku/bert-japanese

## 4.3 実験結果

作成したモデル ELECTRA-Small はパラメータが tohoku-BERT と同じ Base サイズではなく, Small サ イズのパラメータで事前学習を行っている。これは 事前学習における計算効率性も考慮しているためで ある. fine-tuning では学習は 50epoch まで行ってい る. epochごとに学習したモデルを保存し, 各モデ ルでタスクの正解率が最も大きい值を選択した. 結果を表 2 に示す.

モデルの比較対象として参考までに, 株式会社シナモン AI から公開されている SenetencePiece ベースの日本語 ELECTRA モデル (ELECTRASenetencePiece) の比較実験を行っている. このモデ ルは ELECTRA-Small と同じパラメータサイズで事前学習を行っているモデルである.

表からも明らかなように, ELECTRA-Small のモ デルは, ELECTRA-SenetencePiece のモデルよりは高 い正解率を出している. しかし, モデルのパラメー タサイズが Base サイズより小さいため, 比較対象 の tohoku-BERT の正解率より約 4\%ほど低い結果に なっている.

表 2 fine-tuning の実験結果 (正解率)

## 4.4 追加学習

fine-tuning 時に領域に特化した小規模コーパスを 使用して訓練を行っているが，ELECTRA モデルの 事前学習の計算効率性に注目し, この小規模コー パスを使って追加で事前学習を行うことで，比較対象に匹敵するモデルが構築できる可能性がある. そこで，確認のために実験を行った。具体的には，先の実験で用いた Livedoor-news コーパスの記事本文を平文のまま取り出し，1つの事前学習用データ セットとして ELECTRA-Small の追加の事前学習を 行った.

ELECTRA-Small は既に 1Mstep, 学習時間にして 24 時間ほどの事前学習を行っている. このモデル にさらに $0.25 \mathrm{Mstep}$, 学習時間にして 10 時間ほどの 追加学習を行った (ELECTRA-Small-1.25M).

追加学習後のモデルで先ほどの fine-tuningを 5 回
実行し、5 回分の各々のモデルから最も高い正解率 の値を取り出し、その平均と最高値を表 3 に表す。

表から明らかなように，比較的パラメータサイ ズの小さいモデルであっても，領域特化の小規模 コーパスで追加学習を行うことで，tohoku-BERTを 上回る ELECTRA モデルが構築できることを確認で きた。

表 3 追加学習後の fine-tuning の実験結果 (正解率)

## 5 考察

## 5.1 モデルサイズ

以下の表 4 は，モデルサイズ別の TPUを利用し た 1Mstep までの事前学習時間の予測値を表したも のである.

表 2 の結果は事前学習モデルのパラメータサイ ズによる性能差があるため, 厳密なモデル性能の比較とはいえない。しかし, tohoku-BERT と同じパラ メータサイズの ELECTRA モデルを構築するには，表４のより 1 つの TPU 資源を利用しても 1 週間ほ どの学習時間を要する. モデルサイズが大きくなれ ばなるほど，事前学習には莫大な計算資源を必要と するため，事前学習モデルを構築することは困難に なる. モデルの計算効率性と小さいモデルほどパラ メータ効率の良い ELECTRA モデルであれば，Small サイズであってもそれなりの性能を発揮したがモデ ルサイズの違いによる性能差を覆すまでには至らな い. より正確なモデル性能の差を確認するためには 同一サイズの事前学習モデルを構築する必要があ る.これらの調査は今後の課題である.

表 4 モデルの事前学習時間 (1Mstep)

## 5.2 追加学習の効果

表 2，表 3 の結果から，下流タスクの前に領域に 特化した小規模コーパスでモデルの事前学習を行う ことで, fine-tuning 後のモデルの精度向上につなが ることは明らかである. BERT や ELECTRA であっ
てもモデルのパラメータサイズが大きくなれば，そ の分事前学習の時間がかかってしまうため, 追加学習を行うことが困難である。しかし，Small サイズ のモデルであれば，追加学習にかかる時間は Base サイズのモデルよりも遥に短くて済む. よって， ELECTRA-Small モデルに対して領域特化の小規模 コーパスで追加学習を行うことは，より少ない計算量で性能を発揮することが可能であると言える。

## 6 おわりに

本論文では，ELECTRA モデルの計算効率性と スケールの際の性能の良さに着目し，ターゲット 領域の小規模コーパスを用いて ELECTRA モデル の追加学習を行い, 領域特化型の事前学習済みの ELECTRA モデルを構築した. 構築した ELECTRA モデルは比較対象の tohoku-BERT よりも小さなモデ ルであるが，ターゲット領域の文書分類のタスクで は tohoku-BERT よりも高い性能を出すことができ た. 今後はより厳密なモデル同士の性能比較を行う ために，同一サイズの事前学習モデルの構築を課題 としたい.

## 謝辞

本研究は JSPS 科研費 JP19K12093 および 2020 年度国立情報学研究所公募型共同研究 (2020-FC03) の助成を受けています.

## 参考文献

[1]Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 41714186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[2]Kevin Clark, Minh-Thang Luong, Quoc V. Le, and Christopher D. Manning. Electra: Pre-training text encoders as discriminators rather than generators. In International Conference on Learning Representations, 2020.

[3]Xiaochuang Han and Jacob Eisenstein. Unsupervised domain adaptation of contextualized embeddings for sequence labeling. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 4238-4248, Hong Kong, China, November 2019. Association for Computational Linguistics.

[4]新納浩幸, 白静, 曹鋭, 馬雯. Fine-tuning による領域に特化した distilbert モデルの構築. 人工知能学会全国大会論文集, Vol. JSAI2020, pp. 1E3GS902-1E3GS902, 2020.


# マデダ文のガイドラインとアノテーション

勘場千夏 ・毛谷村詩織・是枝美羽・立花千夏 ・米㟢俊太（九州大学文学部）

上山あゆみ (九州大学大学院人文科学研究院)
## 1.はじめに

マデダという語はマデに語彙素「ダ」が 続いたものである。寺村（1991）や沼田 （1992）をはじめとして、「マデ」の用法 に関する研究はなされてきたが、古川 （2020）においては、動詞に後続するマデ に「ダ」が続いた場合の用法についての分類案が提示された。これを受けて我々は、名詞や動詞に後続するマデダの用法につ いてより全般的で有用性のある分類が作 れるのではないかと考えた。本発表では、 マデに語彙素が続いたものの用法につい ての分類ガイドラインを作成するにあた ってどのような困難な点があったかを、代表的な例文を説明しつつ明らかにした のち、作成したガイドラインに沿って『現代日本語書き言葉均衡コーパス』 (BCCWJ)によってアノテーションを試み た結果について述べる。

## 2.マデダの分類ガイドライン

まずここで、提案する分類ガイドライ ンを示し、それぞれの分類について、代表的な例文を述べる。

 &  \\

 &  \\

## 3.代表的な例文

以下、記載のない例文はすべて『現代日本語書き言葉均衡コーパス』(BCCWJ)か らの引用とする。

3.1.「(1) : 動作の到達点」について

「(1): 動作の到達点」の代表的な例文は、次に示すとおりである。

（1）飛行機に乗るのは東京までだ。[作例]

動作が終了する場所を表しているマデ ダ文がこの用法に含まれる。(1)では、飛行機に乗るという動作の終了点が東京で あると示されている。

## 3.2.「(2) : 範囲の終点」について

「(2): 範囲の終点」の代表的な例文は、次に示すとおりである。

（2） a. 整理券は一人 3 枚までだ。

b. 情熱も努力も 0 から 100 まで だ。[作例]

この用法では物事や空間の範囲を表 す。

また、(2b)のように、「カカラ〜マデ」と いう形で用いられやすい。

## 3.3.「(3) : 時間の終点」について

「(3): 時間の終点」の代表的な例文は、次に示すとおりである。

(3) a. 午後 5 時までに課題を終わらせ る。[作例]

b. 親が熱心に教育するのは、子供が 大学進学を実現するまでである。 [作例] (3b)のように、マデの直前が動詞の場合、動詞の後ろに「時」を補うことができる。

「時間の終点」は、古川(2020)の「時点の 限界」をもとに作成したが動詞に接続する マデダ文だけでなく、時間的な範囲を限定 するマデダ文はすべて含むという点で違い がある。

## 3.4.「(4): 行為の限界」について

「(4): 行為の限界」の代表的な例文は、次 に示すとおりである。

（4） 山仕事というのは木を植え育て、伐って丸太にするまでだ。[作例]

(4)では、山仕事という行為は木を植え 育てて、伐って丸太にするところまでと いう限界を表している。

3.5.「(5) : 意外な程度」について

「(5): 意外な程度」の代表的な例文は、次に示すとおりである。

（5）親に会うまでだから彼女との付き 合いは遊びのはずがない。[作例]

(5)では、彼女との付き合いという状況 において親に会う程度という指標を示し ている。また、この用法ではマデダをホド やクライに置き換えることが可能である。

## 3.6.「(6) : 決意選択」について

「6 : 決意選択」の代表的な例文は、次 に示すとおりである。

（6）あなたが何もしないのなら私がする までだ。[作例]

(6)では、自分のこれからする行為を選択している。この例文のようにこの用法 では条件節が伴う場合が多い。

## 3.7.「(7) : 限定」について

「(7) : 限定」の代表的な例文は、次に示 すとおりである。

（7） a. 自分は指示に従ったまでだ。[作例]

b. 用事は終わったので、あとは歩 いて帰るまでだ。[作例]

(7a)と (7b)ではどちらも行為に対して自分の意思表示は含まれておらず、マデの直前を客観的に限定している。また同じくど ちらの例文もマデをダケに置き換えても文意が通る。

## 3.8.「8：慣用句的表現」について

「8): 慣用句的表現」の代表的な例文は、次に示すとおりである。

(8) a. もう、これまでだ。

b. そういう運命になってしまった と言われればそれまでだ。[作例]

指示語に接続するマデダ文で接続する 指示語が具体的な物事に置き換え不可能 である時にこの用法となる。

## 4.アノテーション結果

『現代日本語書き言葉均衡コーパス』 (BCCWJ)から、「マデ」に語彙素「ダ」 が後続する形を含んだ例文500件を抽出 し、上記の分類ガイドラインにしたがっ て実際にアノテーションを行った。

九州大学文学部の学生 2 人がそれぞれ アノテーションを行い、その結果から力 ッパ値を計算したところ、0.785という値 を得ることができた。ぶれの少ないある 程度信頼性のあるガイドラインを作成す ることができたことになる。これからぶ れのあった箇所を中心に、さらに検討を 重ねていきたい。

## 5.参照文献

小西正人(2019)「増分タイプのマデ文につ いて」『北海道文教大学論集』第 20 号,117

寺村秀夫(1991)「取り立て一係と結びのム ード」『日本語のシンタクスと意味III』第 3 巻, 東 京 : くろしお出版沼田善子(1992)『「も」「だけ」「さえ」 など : とりたて』, 日本語文法セルフ・ マスターシ リーズ 5 . 東京 : くろしお 出版

沼田善子(2000)「とりたて」『日本語の文法 2 時・否定と取り立て』東京: 岩波書店. 153-216

古川佳穂(2020)「動詞に後続するマデダの 意味と分類」卒業論文,九州大学

薮崎淳子(2016)「マデの諸用法の相関関係」

『國學院雑誌』第 117 巻第四号


# 助詞クライのアノテーションとそのガイドライン

本田優月・池美礼・上野聡子・小林宙夢・佐伯大地（九州大学文学部）

上山あゆみ (九州大学大学院人文科学研究院)
## 1. はじめに

クライという語は、程度、あるいは低評価の意を表すとされるが、実際の用法は 多岐にわたる。コーパスによる検索の有用性を高めるためには、これらの用法の 違いがアノテーションによって適切に区別されていることが望ましい。そのため には、益岡・田漄(1992)、森田(2002)、落合(2017) 等で主張されてきたように、必要に応じて言語学的テストを行い、分類 のガイドラインを作成することが必要で ある。本発表では、クライの様々な用法に ついて分類ガイドラインを作成するにあ たって、どのような困難な点があったか を明らかにした上で、実際にアノテーシ ヨンを試み、その結果を述べる。

## 2. クライの分類

まずここで、提案するガイドラインを 示し、それぞれの分類について、代表的な 例文と分類の問題となりうる点を順に述 べる。

 \\

 \\

} &  \\

## 3. 代表的な例文と問題となりうる点

## 3.1.「(1) : 同程度」について

「(1): 同程度」の代表的な例文は、次 に示す通りである。

(1) a. 毎日僕が起きるのと同じクライに 父は仕事へと出かけていく。[落合 2017: 16,(19a)]

b. 私は太郎と同じクライの身長だ。

(1) のように、「同じクライ」の形をとる ものは(1): 同程度」に分類される。

益岡・田窪(1992)や落合(2017)において は、「同程度」の用法は存在しておらず、「程度」としてまとめられている。しかし、「程度」の分類が広範にわたっており異 なる意味を表すものが混ざっているとい う点から、より細分化し、「(1): 同程度」及び後述する各種分類を新たに設定する こととした。

## 3.2.「(2) : 疑問」について

「(2): 疑問」の代表的な例文は、次に示 す通りである。

(2) a. どれぐらい金が必要なのかね?

(氾監) [朱 2010: 100,(12)]

b. 集合時間は何時クライがいいです か。

(2)のように、クライが疑問詞に接続して
いる場合は、「(2): 疑問」に分類される。主な疑問詞としては、「何」、「どれ」、「いつ」、「どの」などが挙げられる。

## 3.3.「(3) : 概数」について

「(3) : 概数」の代表的な例文は、次に 示す通りである。

(3) a. この講義は、 100 人クライの生徒 が受講している。

b. 太郎は回転ずしを十皿くらい食べ た。 [井島 2008: 45, (6b)]

(3)のように、クライの直前が数字+助数詞もしくは「倍」「半分」であり、かつ「約、 だいたい、およそ」などのおおよその数を 表す副詞を補える場合が、「(3): 概数」に 分類される。ただし、クライを「頃」に 置き換えられる場合には、後述する「(4):時点の曖昧さ」に分類する。

## 3.4.「(4): 時点の曖昧さ」について

「(4) : 時点の曖昧さ」の代表的な例文 は、次に示す通りである。

(4) a. 10 時クライになったら、私のとこ ろに来て。

b. 例年 4 月第 1 週クライに、ここの 桜は満開になる。

(5) a. 10 時頃になったら、私のところに 来て。

b. 例年 4 月第 1 週頃に、ここの桜は 満開になる。

(4)のように、クライが前部に示された時点を曖昧にぼかしている場合、「(4): 時点 の曖昧さ」に分類される。この用法では、

(5)のように、クライを「頃」に置き換える ことが可能である。「(3): 概数」と類似し ているが、対象が時期・時点であるという 点で異なっている。

3.5.「(5) : 程度の例示」について

「(5): 程度の例示」の代表的な例文は、次に示す通りである。

（6）[指示詞十クライ］屈まないと頭が 壁にぶつかってしまう。兄は、そ のクライ背が高いのだ。

（7）[年齢を表す語十クライ]君は大学生クライに見える。

(8) [クライ＋「の」＋スケール名詞] この店のハンバーグは、握りこぶ しクライの大きさだ。

(9) a. コップに、ひたひたになるクライ まで水を注ぐ。

b. さっと焼き目がつくぐらいで火を 止めます。[丹波 1992: 97 (10a)]

(6)のように指示詞十クライの形をとる場合、(7)のようにクライが大きさや年齢を 表す語に後接している場合、(8)のように クライに「大きさ」や「速さ」などのスケ 一ル名詞が後接している場合、また、それ 以外でも(9)のように物事の程度や度合い を例を用いて説明している場合には、「(5) : 程度の例示」に分類される。

## 3.6. 「(6) : 低評価」について

「(6) : 低評価」の代表的な例文は、次 に示す通りである。

(10)a. 少しクライ勉強しなさい。

b. お米を炊くクライ私にもできま す。[落合 2017: 15 (39a)]

c. せめて、基本的なルールくらい守 ってほしい。

[益岡・田窪 1992: 154, (84)] (10)のように「少しクライ」の形をとる場合や、クライ直前の要素を明らかに低く 評価している場合、「(6): 低評価」に分類 する。この分類については、次節 3.7 でも改めて説明する。

## 3.7. 「(7) : 嫌悪」について

「7) : 嫌悪」の代表的な例文は、次に 示す通りである。

(11)a. 君が班長をするクライなら、僕が 班長をする。

b. 現金で支払うクライなら、何も買 わない。

c. 汗で濡れるクライなら雨に濡れる ほうがましだ。[落合 2017 (40a)]

「7) : 嫌悪」は、「クライなら」、もし くは「クライだったら」という構文が用い られるが、「(6)低評価」に分類されるクラ イにも、(12)のように、同じ形で表れるも のがある。

(12) [低評価] 五分遅れるクライなら許 そう。

(13) [嫌悪] 現金で支払うクライな ら、何も買わない。

しかし、(12)とは異なり(13)では、「現金 で支払う」という行動を避けた上で、「何 も買わない」というプロセスが生じてい る。このような、「Aクライなら B」とい った形をとり、クライの前部を嫌悪した 上で後部を選択するような場合に、「(7)：嫌覀」に分類する。落合(2017)では、「軽視」「嫌悪」「控えめ」という若干の意味 の違いを認識していたものの、それらを 「低評価」という一つの分類にまとめて いた。我々の作成したガイドラインでは、落合の指摘する「低評価」を、「(6): 低評価」と「(7): 嫌覀」に分けたので、より細 かい意味合いの判別が可能となる。

## 3.8. 「8): 限定」について

「8 : 限定」の代表的な例文は、次に示 すとおりである。

(14) a. 私にできることと言えば、せいぜ いお祝いするくらいだ。

[星野 2014: 28 (19)]

b. 彼は今月仕事に追われていて、休 めるのは明日クライだ。 [落合 2017: 18 (44a)]

先に示した (1)～(7)の分類に当てはま らず、かつクライを「ダケ」に置き換え可能な場合のうち、クライの直前の要素を 低く評価していない場合に、「8): 限定」 に分類される。なお、この際に低く評価し ていると判断される場合には、「6): 低評価」に分類される。

3.9.「(9) : 客観的事実による程度の高さ の説明」について

「(9) : 客観的事実による程度の高さの説明」の代表的な例文は次の通りである。

(15)a. 雲一つないクライ晴れ渡った青空 だ。

b. あの太郎が笑うクライだから、相当面白い話だったのだろう。

先に示した(1)～(8)の分類に当てはまらな いもののなかで、クライを「ホド」と置き 換え可能であり、クライの前部で客観的事実を提示し、クライの後部の事柄の程度の高さを表す場合に、「(9) : 客観的事実 による程度の高さの説明」に分類される。

3.10.「(10): 主体の感覚による程度の高さ の説明」について

「10 : 主体の感覚による程度の高さの説明」の代表的な例文は、次の通りである。

(16)a 感心するクライ仕事熱心な人だ。 [落合 2017: 12,(36)]

b 君の気持は痛いくらいわかる。 [須川 2006:2,(7b)]

c「目に入れても痛くない」と思う
クライ、我が子は可愛いもので

す。[落合 2017: 11, (25a)]

先に示した(1)～(8)の分類に当てはまらな いもののなかで、クライを「ホド」と置き 換え可能であり、クライの前部で主体の 感覚を提示し、クライの後部の事柄の程度を表す場合に、「10：主体の感覚による 程度の高さの説明」に分類される。

「9) : 客観的事実による程度の高さの説明」との違いは、クライの前部に置かれて いるものが、第三者が何かをしたという ような事実ではなく、あくまで話し手(あ) るいは書き手)がクライ後部の事象をど う受け止めるかという感覚や印象である という点である。例えば、 $(15 b) て ゙ 「 太$ 郎 が笑った」というのは事実であるが、(16a) で「感心するくらい」は誰かが感心してい たという事実ではなく、主体自身が感心 したことを表している。

## 4. アノテーション結果

『現代日本語書き言葉均衡コーパス』 (BCCWJ) から、クライを含んだ例文 500 件を抽出し、その中から、名詞の「位」と 動詞の「くらう」の連用形「くらい」を除 いた例文 498 件について、上記の分類ガ イドラインにしたがって、実際にアノテ ーションを行った。

九州大学文学部の学生 2 人がそれぞれ アノテーションを行い、その結果からカ ッパ値を計算したところ、約 0.68 となっ た。アノテータ間でぶれの少ない、ある程度信頼性のあるガイドラインが作成でき たことになる。今後、ずれの見られるとこ ろを中心に、更に検討を重ねていきたい。

## 5. 参照文献

井島正博 (2008)「クライ・ホド・ナンカ・ ナンカ・ナンテの機能と構造」,『日本語学論集』, 4: 42-97.

落合里紗 (2017)『副助詞クライの機能と 用法』, 卒業論文, 九州大学.

朱武平 (2010)「「くらい(ぐらい)」の分布

と意味の構文論的考察」, 『千葉大学人文社会科学研究』, 20: 99-110, 千葉: 千葉大学大学院人文社会科学研究科.

須川友美 (2006)『日本語の程度をあらわ 寸助詞に) ついて: ホド・クライの意味

と用法』, 卒業論文, 九州大学.

丹羽哲也 (1992)「副助詞における程度と 取り立て」,『人文研究: 大阪市立大学大学院文学研究科紀要』,44 (13): 11151150, 大阪: 大阪市立大学文学部.

星野佳之 (2014)「クライの諸形式の整理:

「暫定抽出」の副助詞、名詞化辞、助動詞」,『ノートルダム清心女子大学紀要. 外国語 - 外国文学編，文化学編，日本語・日本文学編』,38(1): 25-37, 岡山: ノートルダム清心女子大学文学部.

益岡隆志・田窪行則 (1992)『基礎日本語文法一改訂版一』, 東京: くろしお出版.森田良行 (2007)『助詞・助動詞の辞典』,東京: 東京堂出版.


# ダッテのアノテーションとガイドライン

山口 文菜・鈴木 咲羅・徳永 理子・荒津 千晴・藤本 悠花（以上、九州大学文学部）

上山あゆみ (九州大学人文科学研究院)
## 1.はじめに

ダッテという語は、『現代日本語書き言葉均衡コーパス』（BCCWJ）において１つの 語彙素として登録されておらず、文字列検索を行うと、接続詞のダッテや取り立て詞 としてのダッテのみならず、「断定の助動詞 ダ十助詞ッテ」などの形で伝聞・引用や断定 を表すものや、「めだって」や「いらだって」 のように動詞の一部に含まれているものも 取り出される。コーパスにおける検索の有用性を高めるためには、これらが用法アノ テーションによって適切に区別されている ことが望ましい。そのためには、必要に応じ て言語学的テストに基づいて分類のガイド ラインを作成することが有用である。本発表では、ダッテのさまざまな用法について、分類ガイドラインを作成するにあたって、 どのような困難な点があったかを明らかに した上で、実際にアノテーションを試み、そ の結果を述べる。

## 2. ダッテの分類ガイドライン

まずここで、提案するガイドラインを示 し、それぞれの分類について代表的な例文 と分類の問題となりうる点を順に述べる。 また、以下で「取り立て詞」として述べる ダッテは、接続詞や断定のダ十助詞ッテで 構成されるダッテとは異なり、主に名詞句 に接続して機能を持つダッテである。

 \\

 \\

## 3. 代表的な例文と問題になりうる点

## 3.1.「a.接続詞」について

「a.接続詞」の代表的な例文は以下の通り である。

(1)

a.「牛乳プリン、食べないの？」

「だって、嫌いなんだもん」

[中西 2013:229(17)]

(2) b. 「君も十分すごいよ。だって、

県で一位を取ったんでしょ」

[作例]

この分類のダッテは、主に文頭において 独立して現れる接続詞のダッテである。

## 3.2.「b.伝聞・引用について」

「b.伝聞・引用」の代表的な例文は以下の 通りである。

(3)
a.
どういう話？」「秋田の人 が、製薬会社の懸賞に応募し
て、テレビが当たったんだっ
て」「すごい教」

（曾野綾子『極北の光』LBj9_00218）

[中西 2013:229(16)]

（4）b.「太郎も風邪ひいたんだって」

[作例]
この分類のダッテは、断定の助動詞のダ や形容動詞の語尾(優秀だ)、動詞の夕形(飲 んだ)等の、「断定を表すダ＋助詞ッテ」で 構成されるダッテの内、直前の内容が他者 の意見や行動について述べているものであ る。

## 3.3.「c.断定」について

「c.断定」の代表的な例文は以下の通りで ある。

（5） a. 私は今が一番幸せだって思う。

[作例]

b. 彼が芸能人だってことを初めて 知った。[作例]

この分類のダッテは、「b.伝聞・引用」に 対して、断定のダ十助詞ッテで構成される ダッテの内、直前の内容が話し手(動作主)自身の意見や判断、あるいは客観的な事実を 述べているものである。

3.4.「d.フレーズの一部」について

「d.フレーズの一部」の代表的な例文は以下の通りである。

(6) a. そんなことはどうだっていい。

[作例]

b.「なんだって！？」[作例]

この分類のダッテは、「どうだって」とい う形や、取り立て詞である「e.疑問代名詞 + ダッテ」とは異なり、疑問や聞き返しの意味合いが強い「疑問代名詞十ダッテ」の形で表 れる。この場合のダッテはデモと置き換え ることができない。

また、「どうだって」に関しては、デモと 置き換えることは可能である。しかし、取り 立て詞は主に名詞句に接続して機能を持つ ものであり、疑問副詞である「どう」に接続

するダッテは取り立て詞に相応しくない。 また「どうだっていい」といった慣用句的な フレーズで表れることが多いため、取り立 て詞のダッテからは除外して考えることと した。

## 3.5.「e.疑問代名詞＋ダッテ」について

$\lceil\mathrm{e}$.疑問代名詞 + ダッテ」の代表的な例文 は以下の通りである。

(7)

a. どんな人だって構いません。

[丹羽 1995:490(1a)]

b. いつだって行けます。

[平川 2020:3(4b)]

この分類のダッテは、「d.フレーズの一部」 に分類される疑問代名詞十ダッテとは異な り、ダッテをデモと置き換えることができ、 それによって全称を意味する。

## 3.6.「f.意外」について

「f.意外」の代表的な例文は以下の通りで ある。

(8) a. 大雨だって必ず行きます。 [中西 2013:228(7)]

b. この辛さにはインド人だってび っくりした。[中西 2013:228(8)] この分類のダッテは、デモと置き換えら れる、かつダッテを含む 1 文が社会通念に 反することを例示し、その意外性を強調す る、という機能を持つものである。

平川(2020)においては、この分類はタトエ を補らことのできる「譲歩」と過去の出来事 に対して意外性を強調する「意外」の 2 つ に分類されていた。しかし、これらの用法が 「常識として考えられる帰結に反すること を例示し、その意外性を強調している」とい う特徴で一致しており、また、平川(2020)に
おける「意外」の分類基準として設けられて いたサエ・スラと置き換えられる、という特脚は必ずしも過去の出来事に対してのみ当 てはまるものではない。そのため、中西 (2013)においてデモと置き換えられるダッ テを「肯定的用法」として分類していたこと から、その分類基準を踏襲し、「f.意外」と して設定した。

## 3.7.「g.最低限」について

$「 \mathrm{~g}$.最低限」の代表的な例文は以下の通り である。

(9) a. 5 分だってかからないだろう。

[平川 2020:5(10b)]

b. コーヒーが好きなので、いつも は朝起きるとすぐコーヒーが飲 みたくなる。しかし、今朝は腹痛で好きなコーヒーだって全然飲みたくなかった。

[cf. 中西 2013:234(35)]

c. 少しのことでは動じない太郎だ が、その事件を聞くとさすがの 太郎だって驚いた。[作例]

まず、「数量詞十否定辞と共起する」とい う特徴については、平川(2020)における「最低限」の用法を踏襲している。しかし、この 条件のみではコーパスにおける例文がほと んど見られず、また平川(2020)におけるフロ 一チャートでは「譲歩」や「意外」に分類さ れる例文の中にも、話し手が最低限の意味合いを持って発言していると思われる例文 が存在した。そのため、「ダッテが接続する 名詞が動作主(対象物)となる可能性が最も 低いと主観的に判断している」と文脈上で 判断される例文についても「g.最低限」に分類することにした。

## 3.8. 「h. 可能性」について

$\lceil h$. 可能性」の代表的な例文は以下の通り である。

(10) a. クマに襲われることだってある かもしれない。[作例]

b. 四十本だって十分狙えるバッタ

一ですよ、松井は。

[cf. 平川 2020:14(46)]

この分類のダッテは、サエ・スラと置き換 えられるものであり、稀に起こりうる事態 を例示するものである。「f.意外」や「g.最低限」と比較すると、主に「〜すること」と いった事態を取り立てる場合が多い、とい う特徴がある。

## 3.9. 「i.同類」について

「i.同類」の代表的な例文は以下の通りで ある。

a. 太郎が来た。次郎も来た。三郎だ つて来た。[丹羽 1995:491(4a)]

b. 男だって女だっていいじゃな い。[丹羽 1995:490(1b)]

c. カエルだって、生きているん だ。意味もなく殺しちやいけ ない。[中西 2013:228,(5)]

この分類のダッテは、モマタと置き換え られる、あるいは取り立てる名詞と同様の 事柄が列挙されている場合に、取り立てる 対象が類似事態と同様の性質を持つことを 示す。

## 3.10. 「j.主題提示」について

$\lceil\mathrm{j}$.主題提示」の代表的な例文は以下の通 りである。

(12) a. あんなことを言われれば、腹だ
つて立つよ。

[中西 2013:228(10)]

b. 太郎だって成人したことだし、 そろそろゆっくりしてもいいだ 万うか。[平川 2020:9(19b)]

この分類のダッテは、取り立てる名詞に 対して何らかの意味を付加する、というよ りは、単に話の主題を提示する役割を持つ。

## 3.11. 分類の問題点

本発表における分類では、前後との接続 などから見てとれる、形式的な側面から見 た客観的な分類基準ではなく、分類主の主観的な判断による分類基準が多い。特に「私 だってびっくりした。」など、人を取り立て ている場合に、「もまた」と置き換えて「i.同類」とするか、文脈を読んで「g.最低限」 とするかで、分類主によって判断が分かれ る場合がある。AIではなく人間が分類する メリットとして、このような主観的な判断 に委ねる分類基準を設けたが、文脈等によ って分類の結果に差が出る場合がある。

## 4. アノテーション結果

『現代日本語書き言葉均衡コーパス』 （BCCWJ）から、ダッテを含んだ例文 500 件を抽出し、その中から「めだっている」

「いらだっている」等の動詞の一部である 例文を除いた 487 件について、九州大学文学部の学生 2 人でアノテーションを行った。 その結果からカッパ値を算出したところ、 0.769 となった。アノテータ間でぶれの少な い、ある程度信頼性のあるガイドラインが 作成できたことになる。

## 5. 参照文献

井島正博(2007)「サエ・マデ・デモ・ダッテ の機能と構造」,『日本語学論集』, 3:4582.

中西久実子(2013)「とりたて助詞「でも」で 言い換えられない「だって」」,『研究論叢』, 82:227-239.

丹羽哲也(1995)「「さえ」「でも」「だって」

について」,『人文学研究大阪市立大学文学部紀要』,47:473-499.

平川絢瑚(2020)「とりたて詞ダッテの機能と

用法分類」, 卒業論文, 九州大学.


# ニューラル機械翻訳に乱数が与える影響
## 矢野貴大鳥取大学 工学部 \\ b17t2114b@edu.tottori-u.ac.jp

\author{
村上仁一 \\ 鳥取大学 工学部 \\ murakami@tottori-u.ac.jp
}

## 1 はじめに

機械翻訳の方式の一つに，Neural Machine Translation(以下, NMT)[1] がある. NMT は学習を行う際に乱数を用いている. ぞのた, 同じデータで学習を行った としても出力が異なる.しかし, 精度に大きな差はない とされ，今まであまり考慮されてこなかった．本研究では, NMT において同じデータで学習を行った 際，どの程度翻訳結果か変動するかについて調査を行う．

## 2 翻訳評価の手法

## 2.1 翻訳確率 (PRED)

翻訳確率とは, 入力が $\mathrm{a}$ であったときに $\mathrm{b}$ が出力され る尤もらしさを数値化したものである.この翻訳確率の 対数をとった値が，PREDである. PRED の值が 0 に近 いほど，良い翻訳である。

## 2.2 BLEU,METEOR,TER

BLEU[2]，METEOR[3]，TER[4] は機械翻訳の自動評価の手法である . 参照文と翻訳結果をもとに評価を行う

## 2.3 人手評価

著者自身が各出力文に対し $\bigcirc, \triangle, \times$ の 3 つの評価基

準を表 1 に示す。

## 表 1 人手評価の基準

 \\

## 3 調査方法

## 3.1 学習

調査方法における学習の過程では, 同じ学習データを 異なる乱数を用いた上でNMT に学習させることで，8 個の NMT を生成する。

## 3.2 翻訳

テスト文を 8 個の NMT 光れ光れに翻訳させ, 8 個の翻訳結果を生成する。

ここで生成された翻訳結果を用いることで，翻訳結果 の変化についての調査を行う.

## 4 実験

4.1 実験条件

本研究における調査では, OpenNMT[5] を用いて日英 ニューラル機械翻訳を行う。

## 4.2 実験データ

調査に用いるデータの内訳を表 2 に示す. なお, 学習文は全て単文である。

表 2 実験データ

## 4.3 出力結果

出力結果を表 3 に示す.なお，表 3 における評価の列 は , 人手評価の結果を示す。

表 3 出力結果

表 3 の結果より，乱数によって出力結果が異なってく ることが確認できた .

## 4.4 自動評価結果

自動評価結果を表 4 に示す.なお，表 4 に示す PRED 值は，テスト文 16,000 文各文に対して導出された PRED 值の平均値である。

表 4 の結果より，自動評価の値も異なってくることが確認 できた . この表の PRED で最良の値を示したのは NMT 7 であった.また，BLEU で最良の値を示したのは NMT 5であった.

## 4.5 人手評価結果

翻訳を行ったテスト文のうちのランダムな 100 文に対 し, 評価を行った．結果を表 5 に示す。

表 5 人手評価結果 (100 文)

表 5 の結果を見ると，モデルによって人手評価の結果 が大きく異なることが確認できる．このことより，NMT は乱数の影響を強く受けるということが言える。

また，ここで表 5 の結果と表 4 の結果を比較する. PRED の最も良かった NMT 7 と，BLEU の最も良かっ た NMT 5 は，どちらも人手評価では振るわなかった．

このことより、自動評価と人手評価の結果が一致する とは限らないということが言える。

## 5 考察

## 5.1 PRED 值平均

人手評価に対応する PRED 値の値の平均を表 6 に示 す.

表 6 人手評価と対応する PRED 値の平均

表 6 より, PRED 值が高いほど良い人手評価になる傾向 にあることが確認できた．

## 5.2 出力結果 (PRED と人手評価の一致した例)

表 7 に PRED が人手評価と対応がとれている例, 表 8 , 9，10に PRED と人手評価が対応が取れていない例を 示す.

表 7 PRED と人手評価の一致した例 1

表 7 については, 人手評価○の文に対しては高めの
PRED 值が , × の文に対しては低めの PRED 値が出てい ることが確認できる。

表 8 PRED と人手評価の一致した例 2 (繰り返し文)

表8について, NMT 1，8の出力では the president が 繰り返し発生している.しかし意味は取れている文であ るため, 人手評価では○とした . 光して PRED について も良い値を示している．このことより，この例において PRED は繰り返し文に対応出来ていた。

表 9 PRED と人手評価の一致した例 3 (He, She 入れ替わり)

表 9 において NMT 5 の出力は He であるべき部分が She となっている. 光してこの出力の PRED 值は下から 2 番目に悪い．PRED 値は類似の例文をもとに導出する．

今回 She の出力で PRED が悪かったのは , 類似の例文 に Heで始まるものが多かったからではないかと考える． 5.3 出力結果 (PRED と人手評価が一致しなかった例)

表 10 PRED と人手評価が一致しなかった例 1 (肯定否定が逆でも PRED に大差なし)

表 10 について説明する.NMT2, 4,8 の出力は翻訳 すると「自分の将来に不安を感じている」といったニュ アンスになる．しかし入力文は「自分の将来に不安を感 じていない」であり，これらの出力文は意味が逆になっ て出力されている.しかし PRED 值においては正解の出力文と大して変わらない値となっている.
表 11 PRED と人手評価が一致しなかった例 2 (意味不明でも PRED は 光こまで悪くない)

表 11 において，NMT4，5，8 の出力は入力文と大き く異なる訳であるにもかかわらず，PRED の値は良い． この原因については , 類似する例文が少なかったから ではないかと推測する。

表 12 PRED と人手評価が一致しなかった例 3(PRED 低いけど人手評価は○)

表 12 において , NMT4, 6 の出力は人手評価では○と した . しかし PRED 值で見ると , ワーストの 2 文である .

## 5.4 各文に対して最良の PRED 値を選択した際の人手評価結果

表 13 に示す.なお, 表の「PRED 最良」の行では各入力文に対する出力文に最も低い PRED 値を選択した際の 結果を示す.また，「理論値」の行では各入力文に対して の出力文に人手評価が最も良いものを選べた際の結果を 示す。

表 13 人手評洒結果 (100 文)

表 5 と表 13 を比較すると，PRED 値が最良の出力を 選択することで人手評価結果が改善することが確認でき た.このことより，PREDによってある程度は翻訳の良 し悪しを判定できることが分かった . しかし理論値と比較すると , 改善の余地があることが分かる．

5.5 エポック数の妥当性について

エポック数の値が 100,000 で適切であるかどうかを検証した . ステップ数別の PRED と BLEU の值を表 14 に 示す.

表 14 を見ると ,PRED の値は 100,000 以降で , BLEU の值は 70,000 以降頭打ちになっている．光のため，エ ポック数の值は 100,000 が適切であると判断した.

## 6 おわりに

本研究では, NMT において同じデータで学習を行った 際，どの程度翻訳結果が変動するかについて調査を行っ た. 調査結果より, 同一の学習データで学習させたとし ても出力は異なることが分かった . また, 各翻訳評価に おいても差が生じるということが分かった . 考察より， PRED 値を用いることで NMT の出力を改善出来ること が分かった.

## 参考文献

[1] Dzmitry Bahdanau, Kyunghyun Cho, and Yoshua Bengio. Neural machine translation by jointly learning to align and translate. CoRR, abs/1409.0473, 2014.

[2] K. Papineni, S. Roukos, T. Ward, and W. J. Zhu. BLEU: a method for automatic evaluation of machine translation. In ACL, 2002

[3] S. Banerjee and A. Lavie. Meteor: An automatic metric for mt evaluation with improved correlation with human judgments. pages 6572 , 2005.

[4] Matthew Snover, Bonnie Dorr, Richard Schwartz, Linnea Micciulla, and John Makhoul. A study of translation edit rate with targeted human annotation. Proceedings of Association for Machine Translation in the Americas, 2006.

[5] G. Klein, Y. Kim, Y. Deng, J. Senellart, and A. M. Rush. OpenNMT: Open-source toolkit for neural machine translation. ArXiv e-prints, 2017.


# クラウドソーシングによる大規模読み時間データ収集

浅原 正幸
国立国語研究所
masayu-a@ninjal.ac.jp

## 1 はじめに

本研究では、クラウドソーシングにより、日本語 を対象とした大規模読み時間データを構築したので 報告する。我々は、視線走査装置 ${ }^{1}$ や自己ペース読文法 [1]を用いて、新聞記事を対象として読み時間 データを収集 [2] し、さまざまな分析 $[3,4,5,6,7]$ を おこなってきた。また、教科書・書籍に対しても視線走査装置による小規模の読み時間データを収集 した [8]。しかしながら、被験者を研究室に呼んで、視線走査装置を用いて実験を行うことが困難となっ た。一方、英語においては、Amazon Mechanical Turk で被験者を募集して、読み時間を収集した Natural Story Corpus (NSC) [9] が構築されている。同様の試 みとして、Yahoo! Japan の Yahoo! クラウドソーシン グを用い被験者を募集したうえで、ibex ${ }^{2)}$ を利用し て、ウェブブラウザを介して自己ペース読文法によ り大規模に読み時間データを収集した。本稿では読 み時間収集手法を示すとともに、簡単な統計分析結果を報告する。

## 2 読み時間データの収集手法

## 2.1 刺激文

刺激文は『現代日本語書き言葉均衡コーパス』

権フリーのもの 1 莫科書ンプルを、実験環境とともに結果を公開する。OTは、国語科（現代文）のもの 38 サンプル（小 17、中 9、高 12）を用いた。これは、日本で国語教育を受けた方であれば過去に読んだ ことがある刺激文として、読み時間データを収集し た。今後、国外で国語教育を受けた方や日本語学習者のデータを取得し、国語教育・日本語教育におけ るリーダビリティ評価の対照データとして利用する ことを想定する。PBはコアデータ 83 サンプルを用

2) https://github.com/addrummond/ibex/
いた。これは、係り受けなど多様なアノテーション に基づく検討を行うほか、PNの読み時間データで制限されている商用利用を想定する。

表 1 に、刺激文のサンプル数・文数・文節数（お よび募集被験者数：次節で言及）を示す。対照のた めに NSC のサンプル数・文数・単語数を示す。NSC はおよそ 1,000 語程度の文章をサンフプリングした が、我々のデータもOT・PBサンプルについては平均 1,000 文節以上のデータを刺激として用いた。

各刺激文章に対して、内容をきちんと読んでいる かを確認するための YES/NO で回答する質問を 2 つ ずつ（YES が正解 1 つ、NO が正解 1 つ）設定した。

表 1 刺激文の統計

†本研究と NSC の集計方法は異なる（2.2 節参照）

## 2.2 自己ペース読文法

図 1 移動窓方式による自己ペース読文法

自己ペース読文法は、移動空を用いて疑似的な視線移動環境を設定しながら、部分的に呈示された単
語や文節の表示時間により読み時間を計測する手法 である。図 1 に例を示す。スペースキーを押すたび に逐次的に文節が表示され、スペースキーを押した 時間間隔をミリ秒単位で記録することで読み時間を 計測する。1 文章を読んだ最後に「はい」「いいえ」 の 2 択で答える内容把握の設問を設定した。ブラウ ザ上で自己ペース読文法による被験者実験を行うた め、ibexfarm ${ }^{3}$ を用いた。日本語対応は文献 [11] に 倣った。

## 2.3 被験者

被験者は Yahoo! クラウドソーシング4)により募集した。 2020 年 10 月に、あらかじめ「単語親密度」 の評定実験 [12] を行い、単語親密度の回答におい て、回答の分散が大きい2,092人を対象に募集した。 これは、適切に作業に取り組む方をあらかじめ選別 するほか、単語親密度推定時に被験者毎の語彙力も 推定できるために、事前実験として行った。

OWに対しては、試験的に 500 人募集して実験を 行った。OT・PBに対しては、200人募集した。内容確認質問の正解が YES である実験 100 人、NO で ある実験 100 人募集した ${ }^{5)}$ 。表 1 に示す本研究の被験者数はサンプル毎の募集人員だが、NSC の被験者数はいずれかのサンプルを確認した異なり人数であ る。NSC においては、各被験者は最低 5 サンプルを 確認した。NSC 論文で言及されているように本実験 の作業者の異なりを集計すると 574 人（延べ 24,727 人）であった。

## 3 実験データの整理

## 3.1 不適切なデータの排除

本データの収集は、オンラインで実施したため、 データの品質が対面で収集した際よりも品質が悪 いことが想定される。そこで、不適切なデータの排除を試みる。まず、(1) 実験開始時に実験データの 取り扱いおよび謝金の支払方法に同意していない ものを排除した。次に、(2) 同じ被験者が同じサン プルを複数回実施した場合、 2 回目以降の試行デー タを削除した。さらに、(3) サンプル単位の平均読 み時間が $150 \mathrm{~ms}$ 未満もしくは $2,000 \mathrm{~ms}$ 超過のもの、 (4)YES/NO 質問を誤答しているものを排除した。

最後にデータポイント単位に不適切なデータを排除する。表 3 の「適切なサンプル」の行に、適切な サンプルに含まれるデータポイント数を示す。これ らから、さらに (5) $100 \mathrm{~ms}$ 未満もしくは $3,000 \mathrm{~ms}$ 超過のものを排除した。結果、表中「分析対象」に示 す件数を適切なデータポイントとして扱うことに した。 ${ }^{6}$ NSR のデータポイント数が 848,857 と比し ても、大規模な読み時間データが構築できたとい える。

## 3.2 実験データの形式

表 4 に実験データの形式について示す。データは TSV の帳票形式で 1 行目がヘッダ行で列名を記載し てある。

BCCWJ_Sample_ID と BCCWJ_start が BCCWJ 上 の位置情報で、この情報により BCCWJ 上の形態論情報や各種アノテーションデータと突合ができる。

SPR_sentence_ID と SPR_bunsetsu_ID が実験時の 文 ID と文節 ID で、実質的に実験内の呈示順を表 す。SPR_surface は呈示した表層形であるが、OT と PB はマスクして文字数のみ (SPR_word_length) がわ かるようにした。

SPR_reading_time が分析対象の読み時間である。分析時には、対数読み時間 (SPR_log_reading_time) も生成した。SPR_instructiontime が最初の実験教示 の時間である。2 回目以降の実験においては読み飛 ばされる傾向がある。

SPR_QA_question が実験時の確認用の YES/NO 質問で、SPR_QA_answer がその正解である。 SPR_QA_correct が被験者が YES/NO 質問に正解 したか否かのフラグで、公開データは基本的には正

6）基準として、NSC [9] が $100 \mathrm{~ms}$ 未満もしくは $3,000 \mathrm{~ms}$ 超過の データポイントを削除しているのを参考にした。
表 4 実験データの形式

解したもののみとする。SPR_QA_qatime が被験者が YES/NO 質問に要した回答時間である。

SPR_subj_ID が被験者 ID である。SPR_averageRT が実験時のサンプル単位の平均読み時間である。 SPR_timestamp が実験を実施した時刻、SPR_trial が 当該ジャンルの読み時間計測を行うのが何回目かを 表す。SPR_control が実験時の呈示方法（文節間に 空白があるかないか) である。

読み時間の係り受けの書影響を検討するため に、コアデータの自W・䢂籍に対しては、BCCWJDepPara [13] の情報を付与した。BCCWJ-DepPara は BCCWJ と異なる文境界を定義しているため、呈示した際の文節 ID との䶡踣が生じる (DepPara_bid, DepPara_depid) が、係り受けの数 (DepPara_depnum) は BCCWJ-DepPara の基準に基づく。

また、OTについては、分析対象として教科書の 校種 (BCCWJ_OT_school_type, OT01: 小・OT02:中・ OT03:高等学校) を設定した。

## 4 実験データの分析

## 4.1 分析方法

本稿では、頻度主義的な分析手法 $[14,15]$ による 結果を示す。読み時間の検討を一般化線形混合モデ ル (R[16], lme4[17], stargazer[18])を用いて行う。固定効果として、呈示順の情報である SPR_sentence_ID (実験時の文 ID) ・SPR_bunsetsu_ID (実験時の文節 ID) と、表層形の文字数である SPR_word_lengthを考慮した。OW・PBについては、当該文蓈既の係り受けの数DepPara_depnum を考慮し た。OTにつついては、校種 SPR_OT_school_type を考慮した。OT・PBについては、同一の被験者が複数 のサンプルを読んだ際の試行順序 SPR_trial も固定効果としてモデル化した。

また、被験者間の個人差をモデル化するために

した。OT・PB については、サンプル間の個体差を モデル化するために BCCWJ_Sample_ID (BCCWJ の サンプル ID) もランダム効果として考慮した。分析式は次のとおり：

SPR_reading_time

SPR_sentence_ID+SPR_bunsetsu_ID

+SPR_word_length+SPR_trial

+DepPara_depnum+BCCWJ_OT_school_type

+(1|SPR_subj_ID_factor)+(1|BCCWJ_Sample_ID) .以下では、一度モデルを推定したうえで、3SDより も外側の值のデータポイントを排除し、再推定を 行った結果を示す。なお、対数読み時間の頻度主義的な分析は付録に示す。
表 5 一般化線形混合モデルの基づく分析結果（読み時間）

## 4.2 分析結果

表 5 に分析結果を示す。表中、固定効果に対する 推定値を有意差の有無ともに示す。カッコ内の値は 標準誤差である。

サンプル内の呈示順 (SPR_sentence_ID,

SPR_bunsetsu_ID) については、いずれのレジス タにおいても読み時間が短くなる傾向が確認され た。文字数が長くなるにつれて読み時間が長くなる 傾向も確認された (SPR_word_length)。

自漛・P部については、当該文節の係り受けの数 (DepPara_depnum) との相関を検討した。いずれの結果も係り受けの数が多い文節の読み時間が短くなる 傾向が確認された。

OT・PB については、同一の被験者が複数のサン プルを読んだ際の試行順序SPR_trial も固定効果と して検討した。OTにおいては試行回数を重ねるに あたり読み時間が短くなるが、PB においては試行回数を重敔るにあたり読み時間が長くなる傾向がみ られた。OTについては、校種 SPR_OT_school_type を考慮した。小学校のテキストに比べて、高等学校 の読み時間のほうが短くなる傾向がみられた。OT においては、実験選択画面において小学校 $\Rightarrow$ 中学校 $\Rightarrow$ 高等学校という順で進めやすいようになってお り、実際 SPR_trial と小中高等学校の校種順に相関 がある状態であった。このことが読み時間に対する 試行回数の影響のレジスタ間の䶡䶣をもたらした可能性がある。

最後にレジスタ間の関係について言及する。被験

最初に実験を行ったOWでは、他のレジスタと比べ て長い傾向がみられる。OTは日本国内で国語の教育を受けた場合には一度は目にしている可能性が高 いテキストである。しかしながら、呈示順が影響し

書籍に対しては、日本十進分類法などによるジャン ル間比較を行うことを検討する。

## 5 おわりに

本発表では、クラウドソーシングを用いて構築し た大規模な読み時間データについて紹介した。ブラ ウザ上で動作する自己ペース読文法による実験環境 ibexfarm を用い、Yahoo! クラウドソーシングで被験者を募集することにより、短期間・低価格に大規模読み時間データを構築することができた。実験デー タの分析においては、線形混合モデルによる試行順・係り受けの数の影響を検討し、過去の実験室で 収集したデータによる結果と同様の結果が得られる ことを確認した。さらに、OTの分析においては、小学校の教科書よりも高等学校の教科書のほうが成人日本語話者の読み時間が短くなることを確認した。

本データは https://github.com/masayu-a/ BCCWJ-SPR2 で公開する。今後、BCCWJ のさまざ まなアノテーションとの重ね合わせを行い様々な分析を行うとともに、ベイズ主義的な分析 $[19,20]$ も 進めたい。また、L1 学習者・L2 学習者の読み時間 を収集することにより、言語の読解能力の習得過程 のデータ化を進めたい。

## 謝辞

本研究は国立国語研究所コーパス開発センター 共同研究プロジェクトの成果です。また、科研費 18H05521, 18K18519 の支援を受けました。

## 参考文献

[1]Marcel Adam Just, Patricia A. Carpenter, and Jacqueline D. Woolley. Paradigms and processes in reading comprehension. Journal of Experimental Psychology: General, 3:228-238, 1982.

[2]浅原 正幸, 小野創, and 宮本 エジソン 正. BCCWJEyeTrack-『現代日本語書き言葉均衡コーパス』に対 する読み時間付与とその分析-. 言語研究, 156:67-96, 2019.

[3]浅原 正幸. 名詞句の情報の状態と読み時間について.自然言語処理, 25(5):527-554, 2018.

[4]浅原 正幸. 日本語の読み時間と節境界情報一主辞後置言語における wrap-up effect $の$ 検証一. 自然言語処理, 26(2):301-327, 2019.

[5]浅原 正幸 and 加藤祥. 読み時間と統語・意味分類. 認知科学, 26(2):219-230, 2019.

[6]浅原 正幸. 単語埋め込みに基づくサプライザル. 自然言語処理, 26(3):635-652, 2019.

[7]浅原 正幸. 読み時間と述語項構造・共参照情報につい て. In 言語処理学会第 25 回年次大会発表論文集, pages 249-252, 2019.

[8]森山奈々美, 荻原 亜彩美, 近藤森音, 浅原正幸, and 相澤彰子. BCCWJ-EyeTrack-2: 書籍と教科書の読み時間 データ. In 言語処理学会第 25 回年次大会発表論文集, pages 699-702, 2019.

[9]Richard Futrell, Edward Gibson, Harry J. Tily, Idan Blank, Anastasia Vishnevetsky, Steven Piantadosi, and Evelina Fedorenko. The Natural Stories Corpus. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), Miyazaki, Japan, May 2018. European Language Resources Association (ELRA).

[10]Kikuo Maekawa, Makoto Yamazaki, Toshinobu Ogiso, Takehiko Maruyama, Hideki Ogura, Wakako Kashino, Hanae Koiso, Masaya Yamaguchi, Makiro Tanaka, and Yasuharu Den. Balanced Corpus of Contemporary Written Japanese. Language Resources and Evaluation, 48:345-371, 2014.

[11]中谷 健太郎. 自己ペース読文課題を使った実験：ウェ ブ編. In 中谷 健太郎, editor, パソコンがあればできる! ことばの実験研究の方法 容認性調査、読文・産出実験からコーパスまで, chapter 4, pages 81-106. ひつじ書房, 東京, 2019.

[12]浅原 正幸. Bayesian linear mixed model による単語親密度推定と位相情報付与. 自然言語処理, 27(1):133-150, 2020.

[13]浅原正幸 and 松本 裕治. 『現代日本語書き言葉均衡 コーパス』に対する文節係り受け・並列構造アノテー ション. 自然言語処理, 25(4):331-356, 2018.

[14]R. Harald Baayen. Analyzing Linguistic Data: A practical Introduction to Statistics using R. Cambridge University Press, 2008.

[15]Shravan Vasishth, Daniel Schad, Audrey Bürki, and Reinhold Kliegl. Linear Mixed Models in Linguistics and Psychology: A Comprehensive Introduction. (近刊).

[16]R Core Team. R: A Language and Environment for Statistical Computing. R Foundation for Statistical Computing, Vienna, Austria, 2020.

[17]Douglas Bates, Martin Mächler, Ben Bolker, and Steve
Walker. Fitting linear mixed-effects models using lme4. Journal of Statistical Software, 67(1):1-48, 2015.

[18]Marek Hlavac. stargazer: Well-Formatted Regression and Summary Statistics Tables. Central European Labour Studies Institute (CELSI), Bratislava, Slovakia, 2018. R package version 5.2.2.

[19]Tanner Sorensen, Sven Hohenstein, and Shravan Vasishth. Bayesian linear mixed models using Stan: A tutorial for psychologists, linguists, and cognitive scientists. Quantitative Methods for Psychology, 12:175-200, 2016.

[20]Bruno Nicenboim, Daniel Schad, and Shravan Vasishth. An Introduction to Bayesian Data Analysis for Cognitive Science. (近刊).

## A 付録

表 6 に対数読み時間の分析結果を示す。外れ値とみなす $3 \mathrm{SD} よ り$ 外側の削除数が若干減ったが、基本的に 読み時間と同様の結果が得られた。

表 6 一般化線形混合モデルに基づく分析結果（対数読み時間）


# 日本語の論文コーパスにおける「問題」の語義アノテーション

平林 照雄
茨城大学理工学研究科
20nd303t@vc.ibaraki.ac.jp
古宮 嘉那子
茨城大学理工学研究科
kanako.komiya.nlp@vc.ibaraki.ac.jp

## 1 はじめに

学術論文において、主題は問題解決プロセスであ ることが多い。また、問題を明示するため、「問題」 をはじめとする特徴語が、同一文または、周辺文に 存在すると予想される。従って、「問題」のような 特徵語から、その問題内容を情報抽出するタスクを 考えることができる。Heffernan ら [1] は英語科学論文からパターン抽出を利用して “problem” に注目し た情報抽出を行った。しかし、日本語においては、「問題は〜である。」と明記されていることは稀であ り、パターン抽出による情報抽出手法をとることが 難しい。また、「問題」は多義語であるから、語義曖昧性解消を行う必要がある。

本研究では、科学論文の問題解決プロセスにおけ る問題内容を特徴語から情報抽出を行う準備とし て、「問題」の語義タグ付きコーパスの作成を行う。 さらに、作成したコーパスを用いて自己学習による コーパスの増補を行う。

## 2 関連研究

Heffernan ら [1] は、“problem”とその類義語を利用した情報抽出により、英語科学論文から問題提起箇所を含む「問題内容」と「解決法」コーパスを 作成し、さらに、文中に「問題内容」または「解決法」を含むか否かという分類を行った。同論文で Heffernan らは、"problem" は "problematic" と "task" の二つの意味を持ち、問題解決プロセスにおいて は、“problematic”の意味の "problem” のみが対象に なるとしており、この意味の “problem”を抽出する にあたり、機械的にパターン抽出を行った後で、問題提起を行わない文を人手で除外している。

本研究では、Heffernan ら [1] の研究に倣い、日本

\author{
河野 慎司 \\ 茨城大学理工学研究科 \\ 20nm709n@vc.ibaraki.ac.jp \\ 新納 浩幸 \\ 茨城大学理工学研究科 \\ hiroyuki.shinnou.0828@vc.ibaraki.ac.jp
}

語の「問題内容」と「解決法」を抽出することを目的とし、その準備として、日本語論文コーパス中の 「問題」の語義曖昧性解消を行う。

日本語のコーパスに語義タグを付与する研究は 多く、Shirai ら [2] や Okumura ら [3] の研究がある。 Shirai ら [2]は、『岩波国語辞典』に基づいた語義タグ を新聞コーパスに付与している。さらに、Okumura ら [3] は Shirai ら [2] と同様の語義タグを『現代日本語書き言葉均衡コーパス』[4]に付与した。また、語義曖昧性解消のタスクにおいて、対象単語の周辺単語を用いることは一般的である。例えば、Komiya ら [5] は、多義語の周辺に現れる語義の分布を利用す る周辺語義モデルを提案している。自己学習を語義曖昧性解消に用いる手法も一般的である。Yarowsky ら [6] らや鈴木ら [7] は、教師なし学習による語義曖昧性解消の精度向上のため、ブートストラップ法に よる自己学習を行った。

## 3 提案手法

本研究では、初めに、「問題」の語義のアノテー ションルールを定め、人手によるタグ付けを行っ た。次に、作成した語義タグ付きコーパスをもとに 分類器を学習し、平文コーパスに適用することで語義タグ付きコーパスの増補を行った。

## 3.1 「問題」の語義

Heffernan ら [1] は “problem” の多義性について指摘したが、筆者らは日本語の「問題」も同様の多義性を持ち、さらに同様の語義を含むと考えた。

『岩波国語辞典』によると、「問題」は表 1 のよう に定義されている。問題解決プロセスの際に使用 される「問題」の意味は<1><イ>の意味をとる。こ の意味を先行研究に合わせ、“problematic” の意味と

呼ぶ。また先行研究で主張された “task” の意味は 「問題」<1><ア>の意味に相当する。同様に先行研究に合わせ “task” の意味と呼ぶ。そこで、「問題」 の語義のアノテーションルールを作成する際には、 “problematic” の意味と “task” の意味の意味決定に重点を置いた。

## 3.2 アノテーションルール

「問題」という単語を含む一文内の情報によって 「問題」が “task","problematic", “non-problematic"(後述 の第一ルールで定義を示す), 「それ以外」のいずれ かを判定するアノテーションルールを作成した。ま た、各ルールは原則第一ルールから順番に適用を行 うが、第十ルールのみ、アノテーションルールの策定後に追加で作成されたルールである。そのため、作業時には、例外的にルールの適用の優先度を高く してほしいと作業者に説明を行った。作業者は自然言語処理を専門とする学生である。

## 第一ルール

「〜は問題でない」「〜は問題にならない」等を含 む文の「問題」は “non-problematic”判定を行う。

これらを含む文の周辺文に問題に対する解決法が 期待されないため設定した。

## 第ニルール

固有表現を含む「問題」に対しては、固有表現を 含む内容であることを明記し、可能であるならば "problematic"、"task”の判定を行う。

第二ルールが適用される文では、専門的な内容が 多く、しばしば作業者の知識を必要とするため固有表現が適用されることを明示した後、判断不可とす ることを許した。例としては、「ゼロ頻度【問題】」
などがあげられる。

## 第三ルール

「問題点」中の「問題」、または「問題」を「問題点」に置換可能である際、“problematic”判定を行う。

タグ付けの際に本ルールが適用された文を以下に 示す。

文書連想検索を実現する際の【問題】点は，類似文書の検索に時間がかかることである。

## 第四ルール

研究課題の「問題」である際、“task”判定を行う。 このルールにより付与された “task” は、後述する 第八ルールでの “problematic task”が頻出することに 留意する。

タグ付けの際に本ルールが適用された文を以下に 示す。

本研究は，一つの用語から，それに関連する 用語集合を収集するという【問題】を扱って いる.

## 第五ルール

実験・研究中に発生した又は考えられる「問題」 である際、“problematic”判定を行う。

タグ付けの際に本ルールが適用された文を以下に 示す。

また、ある文書空間内での共起情報を用いれば 関連度を計算可能と思われるが，どのような文書空間を用いるべきかが【問題】となる.

## 第六ルール

解答を求める問いや、試験などの問い、「問い」と 置換できる「問題」である際、“task”判定を行う。
例としては、「数学の【問題】を解く。」や、「入試【問題】」があげられる。

## 第七ルール

「疑問点」と置換可能である場合、“task” 判定を行 う。「困難」と置換可能である場合、“problematic”判定を行う。

## 第八ルール

これまでのルール内で “task”判定を行ったものの うち、“problematic" の意味を持つ "problematic task" の場合、“problematic”判定を行う。

“problematic task” は作業者の判断が最も摇れる例 である。

タグ付けの際に本ルールが適用された文を以下に 示す。

また，英語は他の欧州諸言語と比較して，性・数・格に応じた活用などが簡略化された言語と して有名であり，語形から統語情報が失われる ことで発生する曖昧性の【問題】もある.

## 第九ルール

一文以上の文脈を見ないと決められないものは 「それ以外」判定を行う。

## 第十ルール

「対処する」「対処される」又は「解消する」、「解消される」等の「問題」は “problematic”判定を行う。

タグ付けの際に本ルールが適用された文を以下に 示す。

この【問題】に対処するための手法がいくつか 提案されている。

## 3.3 アノテーション実施方法

作成したアノテーションガイドラインを作業者に 周知し、人手でタグ付けを行う。この時、作業者 2 名一組で判定を比較する。判定が一致する場合、正解データとしてタグ付けを行う。一致しない場合、 どちらの判定が正しいかの最終判断は、筆者が実際 にタグ付けを行う文を確認し行った。

## 4 実験

タグ付けを行う対象コーパスは、『言語処理学会論文誌 LaTeX コーパス』1)を用いた。人手による夕

グの付与数及び、 $\kappa$ 值を表 2 に示す。ただし、 11 人 の作業者にアノテーションを依頼し、2人 1 組ずつ 評価を行ったため、ランダムに作業者を疑似的な作業者 A と B 割り振り、疑似的な作業者 $\mathrm{A}$ と $\mathrm{m}$ 間 のK値を求めている。コーパス増補後のタグの付与数を表 3 に示す。

コーパスの増補に用いた分類器は線形のSVMを 用いる。素性として、周辺 3 単語に対象の「問題」 を含む、 7 単語を新納ら [8] が作成した短単位分散表現辞書 NWJC2vec を用いて分散表現化し、連結し たものを使用する。

## 5 コーパスの評価

人手により作成された語義タグ付きコーパスから 学習した分類器と、コーパス増補後の語義タグ付き コーパスから学習した分類器を、Okumura ら [3] が 『岩波国語辞典』の語義タグを『現代日本語書き言葉均衡コーパス』[4] に付与したコーパスに適用す ることで、精度評価を行う。

## 5.1 実験設定

評価に用いる文は、『岩波国語辞典』の語義夕 グが付与された「問題」のうち、対応が取れてい る “problematic”と “task” に対応する語義のみを使用した。また、評価用コーパスが “problematic”と “task” の正解データのみを持つため、"problematic" と“task” のタグが付与された文のみを用いて分類器 の学習を行った。分類器の素性及びアルゴリズムは コーパスの増補と同様のものを使用する。実際に評価に使用した「問題」のアノテーション数を表 4 に 示す。

## 5.2 実験結果

学習した分類器のそれぞれの精度を表 5 に示す。

表 5 各分類器の精度

人手コーパスから学習した分類器増補後のコーパスから学習した分類器 0.696 0.713

## 6 考察

表 5 の結果から、精度が高いが少量のコーパスで ある人手コーパスから学習した分類器が、自己学習 の結果によって、精度の高い分類器を作成できた。 このことから、自己学習が効果的であることがわ かった。

作成したアノテーションルールは、できる限り作業者による差異が少ないルールの作成に努めたが、第八ルールの “problematic task” の判断については作業者がその“task”を“problematic”、つまり「解決す べきこと」と考えるか、に依存しており、作業者に よる判断の差異が生まれやすい。

コーパスの評価のため用意した『岩波国語辞典』 の語義タグが付与された「問題」は、“problematic” の語義が多く、「問題」の語義を単純に “problematic” と分類する分類器が強力である。そこで、評価に用 いた「問題」のうち、“problematic” と “task” の語義 をそれぞれランダムに 10 文ずつ選択した合計 20 文 に対して、評価で作成した分類器を適用する追加実験を行った。この時の分類器の精度を表 6 に示す。分類器の精度は実験毎に変化するため、2000 回試行 し、平均をとった。表 6 より、増補後のコーパスか

表 6 追加実験における各分類器の精度

ら作成された分類器はランダムよりわずかに良いこ とがわかった。

コーパスの増補によって分類器の判定が改善され た一例を挙げる。

サーバーまたはネットワークに【問題】があ るか、またはアイドル時間が長すぎた可能性が あります。>
この用例の「問題」の正解は “problematic” で、増補前の分類器は “task” の判定だったが、増補後の分類器は “problematic”の判定を行った。

展望として、作成した「問題」の語義のアノテー ションルールを拡張し、「問題」の類義語の語義タ グ付きコーパスの作成を目指す。さらに、作成した コーパスから、「問題」や「問題」の類義語を特徴語 として、「問題内容」及び「解決法」の情報抽出を行 うことで、先行研究の日本語版「問題内容」と「解決法」コーパスの作成を目指す。

## 7 おわりに

本研究は、日本語の科学論文から問題解決プロセ スの情報抽出を行うための準備として、人手による アノテーションによって、「問題」の語義タグ付き コーパスを作成し、自己学習によるコーパスの増補 を行った。さらに研究を進め、最終的には日本語版「問題内容」と「解決法」コーパスの作成を目指して いきたい。

## 謝辞

本研究の先行研究の著者である Kevin Heffernan さ んと Simone Teufel さんには、論文内で使用した詳細 なコーパスアノテーションルールについてご教授い ただける等研究に多大なるご助言をいただきまし た。ここに感謝の意を示します。本研究は、茨城大学の特色研究加速イニシアティブ個人研究支援型「自然言語処理、データマイニングに関する研究」 に対する研究支援および JSPS 科研費 17KK0002 の助成を受けたものです。

## 参考文献

[1] Kevin Heffernan and Simone Teufel. Identifying problems and solutions in scientific text. Scientometrics, Vol. 116, No. 2, pp. 1367-1382, 2018.

[2] Kiyoaki Shirai. Senseval-2 japanese dictionary task. In Proceedings of SENSEVAL-2 Second International Workshop on Evaluating Word Sense Disambiguation Systems, pp. 33-36, 2001.

[3] Manabu Okumura, Kiyoaki Shirai, Kanako Komiya, and Hikaru Yokono. On semeval-2010 japanese wsd task. Information and Media Technologies, Vol. 6, No. 3, pp. 730-744, 2011.

[4] Kikuo Maekawa, Makoto Yamazaki, Toshinobu Ogiso, Takehiko Maruyama, Hideki Ogura, Wakako

Kashino, Hanae Koiso, Masaya Yamaguchi, Makiro Tanaka, and Yasuharu Den. Balanced corpus of contemporary written japanese. Language resources and evaluation, Vol. 48, No. 2, pp. 345-371, 2014.

[5] Kanako Komiya, Yuto Sasaki, Hajime Morita, Minoru Sasaki, Hiroyuki Shinnou, and Yoshiyuki Kotani. Surrounding word sense model for japanese all-words word sense disambiguation. In Proceedings of the 29th Pacific Asia Conference on Language, Information and Computation, pp. 35-43, 2015.

[6] David Yarowsky. Unsupervised word sense disambiguation rivaling supervised methods. In 33rd annual meeting of the association for computational linguistics, pp. 189-196, 1995.

[7] 鈴木類, 古宮嘉那子, 浅原正幸, 佐々木稔, 新納浩幸. 概念辞書の類義語と分散表現を利用した 教師なし all-words wsd. 自然言語処理, Vol. 26, No. 2, pp. 361-379, 2019.

[8] 新納浩幸, 浅原正幸, 古宮嘉那子, 佐々木稔. nwjc2vec: 国語研日本語ウェブコーパスから構築した単語の分散表現データ. 自然言語処理, Vol. 24, No. 5, pp. 705-720, 2017.


# エンコーダ・デコーダの学習に効果的な摂動の調査

高瀬 翔
東京工業大学
sho.takase@nlp.c.titech.ac.jp
}

清野 舜
理化学研究所 / 東北大学
shun.kiyono@riken.jp

## 1 はじめに

機械翻訳や要約，文法誤り訂正などの系列変換夕 スクにおいて，エンコーダ・デコーダモデルは目覚 ましい性能を達成している $[1,2,3]$. ニューラルモ デルの表現力は極めて高いため，過学習を防ぐため に，ドロップアウトを始めとして，様々な正則化手法が提案されてきた [4].

ニューラルモデルの正則化のために，元々の入力 に対して，摂動と呼ばれる微小な変化を加えた事例 の使用が提案されている $[5,6]$. 学習に摂動を用い た際は，摄動を加えた事例と加えていない事例のい ずれに対しても，正確なラベルを予測するよう，モ デルを学習する．系列変換タスクにおいては，入力文内のトークンの一部を別のトークンに置換した ものと，埋め込み空間において微小なノイズを加 えたものという，2 種類の摄動事例が用いられてい る [7, 8]. 例えば Bengio ら [9] はスケジュールドサ ンプリングという，デコーダの出力確率分布を元に トークンをサンプリングし，これを摂動としてデ コーダの入力に用いる手法を提案した. Sato ら [8] は，モデルの損失を大きくする敵対的摂動をエン コーダ・デコーダの埋め込み空間に適用している。

これらの研究は提案手法によって，頑健なエン コーダ・デコーダモデルが構築できたと報告してい る. 一方で，これらの手法は摂動を計算するため に，最低一回は前向き計算を行わなければならない ため，摂動を用いず，単純にエンコーダ・デコーダ を学習する場合と比べて，学習に多大な時間を要す る. 実際，スケジュールドサンプリングにおいて は，用いる摂動の個数と同じ回数デコーダを計算し なければならない．また，敵対的事例を用いる場合 には，勾配を用いて摄動を計算するため，前向き計算に加えて，誤差逆伝播を行う必要がある $[9,8]$.

学習に多大な時間を要する性質は, 学習に要 する費用の増大につながる．例えば，Transformer (big) [10] モデルについて，広く使われている，WMT

図 1 本研究で用いる摂動の概要. 各摂動は独立なので，本図のように組み合わせることが可能.

英-独の訓練データを用い [11]，AWS のインスタン ス上で，敵対的摂動 [8] を用いて学習する場合，約 18 万円必要である．性能向上のためには，ハイパー パラメータの探索はもちろん，複数モデルを用いた アンサンブルを行うことも多々あり [12]，上記の ような摂動を用いた学習では莫大な費用がかかっ てしまう. Strubell ら [13] や Schwartz ら [14] は近年 のニューラルモデルの学習は計算量が増大してお り，計算量に比して効率的な手法を探る必要を示唆 した. 例えば，Li ら [15] は定められた時間の中で， もっとも良いモデルを得る戦略を調査している。し かしながら，摂動を用いた学習については，注意が 払われていない。

そこで本研究では，摂動を用いたエンコーダ・デ コーダの学習において，時間的に効率の良い手法を 探る. 単語ドロップアウト [16] やランダムに入力 トークンを置換して摂動事例とする手法のように，計算量の小さな手法も含めて比較を行う．このよう な計算量の小さな手法は，既存研究においてはべー スラインとして用いられていることもあるが [9],多大な計算時間を要する手法 $[9,8]$ と比較して，短 い時間で同等の性能を達成できる，すなわち，時間的効率が良いことが実験を通して明らかになった。

## 2 エンコーダ・デコーダ

本研究ではエンコーダ・デコーダを用いて，機械翻訳のような系列変換タスクに取り組む。本節では

エンコーダ・デコーダの定義を概説する。

系列変換タスクでは，エンコーダ・デコーダは入力系列に対応した系列を生成する. 長さ $I$ の入力 トークン列および長さ $J$ の出力トークン列をそれぞ れ $\boldsymbol{x}_{1: I}, \boldsymbol{y}_{1: J}$ とすると, エンコーダ・デコーダは次 の条件付き確率を計算する：

$
p(\boldsymbol{Y} \mid \boldsymbol{X})=\prod_{j=1}^{J+1} p\left(y_{j} \mid \boldsymbol{y}_{0: j-1}, \boldsymbol{X}\right)
$

ここで， $y_{0}$ おび $y_{J+1}$ はそれぞれ文頭，文末を示す 特殊なトークンとし, $X=x_{1: I}, Y=y_{1: J+1}$ とする.

学習においては，訓練データにおける負の対数尤度を最小化するパラメータ $\boldsymbol{\theta}$ を探す. $\boldsymbol{X}_{n}$ と $\boldsymbol{Y}_{n}$ とい う，対応する系列のペアを含む訓練データを $D$ と する, すなわち, $\mathscr{D}=\left.\{\left(\boldsymbol{X}_{n}, \boldsymbol{Y}_{n}\right)\right.\}_{n=1}^{|D|}$ とすると，次の 損失関数を最小化するように学習を行う.

$
\mathscr{L}(\boldsymbol{\theta})=-\frac{1}{|\mathscr{D}|} \sum_{(\boldsymbol{X}, \boldsymbol{Y}) \in \mathscr{D}} \log p(\boldsymbol{Y} \mid \boldsymbol{X} ; \boldsymbol{\theta})
$

## 3 摂動

本節では，本研究で用いる，置換，単語ドロップ アウト，敵対的摂動の 3 種類の摄動を概説する. 図 1 に示したように，これらの摂動は独立な手法なの で，組み合わせることも可能であり，実際に，実験 では置換と単語ドロップアウトの組み合わせも用 いる.

## 3.1 置換

スケジュールドサンプリング [9] のように，本来 の入力トークンをサンプリングしたトークンに置き 換える手法を，本研究では置換と呼ぶ. 置換では,入力系列 $\boldsymbol{X}$ 内のトークン $x_{i}$ について，ある分布 $Q_{x_{i}}$ からサンプリングしたトークン $\hat{x}_{i}$ と確率 $\alpha$ で置き 換えることで，新たな入力系列 $\boldsymbol{X}^{\prime}$ を構築する。

$
\begin{aligned}
\hat{x}_{i} & \sim Q_{x_{i}}, \\
x_{i}^{\prime} & = \begin{cases}x_{i} & \text { 確率 } \alpha \\
\hat{x}_{i} & \text { 確率 } 1-\alpha .\end{cases}
\end{aligned}
$

同様にして，Y から $\boldsymbol{Y}^{\prime}$ を構築する.

Bengio ら [9] はカリキュラム学習の発想で, 学習 が進むにつれ，徐々に $\alpha$ が減少するような関数を 用いた.この関数により, 学習初期では正しい入力 トークンを頻繁に用い，学習後期ではサンプリング したトークンを頻繁に用いるようになる. 本研究で
も同様な関数を用いて $\alpha$ の計算を行う.

$
\alpha_{t}=\max \left(q, \frac{k}{k+\exp \left(\frac{t}{k}\right)}\right)
$

ここで $q$ と $k$ はハイパーパラメータである. 上記 の式により， $\alpha_{t}$ は 1 から $q$ まで，学習ステップ $t$ に 依存して減少していく.この $\alpha_{t}$ を各ステップにお ける $\alpha$ として用いる.

分布 $Q_{x_{i}}$ については, 条件付き確率, 一様分布,類似度の 3 種類を用いる。

条件付き確率： $\operatorname{REP}(\mathbf{S S})$ Bengio ら [9] は訓練時と 推論時における差異に対処するため，スケジュール ドサンプリングを提案した. スケジュールドサンプ リングは次の条件付き確率を $Q_{y_{i}}$ として用いる.

$
p\left(\hat{y}_{i} \mid \boldsymbol{y}_{0: i-1}^{\prime}, \boldsymbol{X}\right)
$

スケジュールドサンプリングはデコーダ側の摄動を 計算する手法であり， $Q_{x_{i}}$ に対応する関数はなく, エンコーダ側の入力については手を加えない.

元来のスケジュールドサンプリングはデコーダ側 のトークン数分デコーダの前向き計算を行う必要が あり，デコーダ側の入力系列長に比例した計算時間 を要する。これに対処するため，Duckworth ら [17] はデコーダ側の全入力に対応する条件付き確率を 1 度に計算してしまう，並列化したスケジュールドサ ンプリングを提案した.この並列化したスケジュー ルドサンプリングは時間的効率が良いと報告されて いるため，本研究ではこれを用いる。

一様分布：REP(UNI) 並列化したスケジュールドサ ンプリングを用いたとしても，式（6）を計算する ために，最低 1 回はデコーダの前向き計算を行わな ければならない．より時間的効率の良い摂動を探る ために, 本研究では一様分布と類似度という 2 種類 の高速な摂動の計算手法との比較を行う。一様分布 （ReP(UnI)）はその名の通り，各語彙における一様分布を $Q_{x_{i}}$ や $Q_{y_{i}}$ として用いる. 例えばエンコーダ側 の摂動事例を得るために，エンコーダ側の語彙から ランダムに 1 つサンプリングし, 式 (4) の $\hat{x}_{i}$ とし て用いる. 本手法は既存研究においてべースライン としても用いられている手法である [9].

類似度： $\boldsymbol{R E P}($ SIM) 式 (6) の条件付き確率は, 元々 の入力トークンに似たトークンに対して高い確率を 付与していると考えられる. このため，一様分布よ りも摂動として適したトークンを得る手法として，似たトークンに高い確率を付与している分布を考え る. エンコーダ側の語彙を $\mathscr{V}_{x}$, エンコーダ側の埋

め込み表現（次元数は $d_{x}$ ）を $\boldsymbol{E}_{x} \in \mathbb{R}^{\left|\mathscr{V}_{x}\right| x d_{x}}$ ，トーク ン $x_{i}$ に対応する埋め込み表現を $\boldsymbol{e}\left(x_{i}\right)$ と表すとした とき，次の確率分布を $Q_{x_{i}}$ として用いる.

$
\operatorname{softmax}\left(\boldsymbol{E}_{x} \boldsymbol{e}\left(x_{i}\right)\right),
$

ここで， $\operatorname{softmax}($.$) はソフトマックス関数である.$ すなわち，式（7）は $\boldsymbol{e}\left(x_{i}\right)$ に似た埋め込み表現に高 い確率を付与する。言い換えれば，式（7）は文脈を 考慮していない場合の， $x_{i}$ の類似トークンに高い確率を付与する。デコーダ側についても， $\boldsymbol{e}\left(y_{i}\right)$ を用 いて同様に計算する。

## 3.2 単語ドロップアウト：WDROP

単語ドロップアウトは入力トークン $x_{i}$ について, ランダムに，埋め込み表現 $\boldsymbol{e}\left(x_{i}\right)$ の代わりに，ゼロ ベクトルを摂動として用いる [16].

$
\begin{aligned}
b_{x_{i}} & \sim \operatorname{Bernoulli}(\beta), \\
\operatorname{WDrop}\left(x_{i}, b_{x_{i}}\right) & =b_{x_{i}} \boldsymbol{e}\left(x_{i}\right),
\end{aligned}
$

ここで， $\operatorname{Bernoulli}(\beta)$ は確率 $\beta$ で 1 を返し，それ以外に 0 を返す関数である。すなわち, $\operatorname{WDrop}\left(x_{i}, b_{x_{i}}\right)$ は $\beta$ で $\boldsymbol{e}\left(x_{i}\right)$ を，それ以外にゼロベクトルを返す関数である. 式（9）を入力系列の各トークンに適用 し，得られた系列を摂動事例として用いる。

## 3.3 敵対的摂動：ADV

Miyato ら [6] は埋め込み空間において敵対的摄動 を計算する手法を提案した。この手法では，元々の 入力トークンを別のものと置き換えるのではなく，入力トークンの埋め込み表現に敵対的摄動を加え る. Sato ら [8] は本手法をエンコーダ・デコーダに 適用し，性能向上を報告しており，本研究はこれに ならって敵対的摂動を計算する。

敵対的摄動，すなわち，損失の値に深刻な悪影響を及ぼす摂動は損失関数 $\mathscr{L}(\boldsymbol{\theta})$ の勾配を元に計算する. 入力トークン $x_{i}$ についての敵対的摄動を $\boldsymbol{r}_{x_{i}} \in \mathbb{R}^{d_{x}}$ としたとき, 敵対的摂動を適用した埋め込 み表現 $\boldsymbol{e}^{\prime}\left(x_{i}\right)$ は次式で計算する。

$
\begin{aligned}
\boldsymbol{e}^{\prime}\left(x_{i}\right) & =\boldsymbol{e}\left(x_{i}\right)+\boldsymbol{r}_{x_{i}} \\
\boldsymbol{r}_{x_{i}} & =\epsilon \frac{\boldsymbol{c}_{x_{i}}}{\left.\|\boldsymbol{c}_{x_{i}}\right.\|} \\
\boldsymbol{c}_{x_{i}} & =\nabla_{\boldsymbol{e}\left(x_{i}\right)} \mathscr{L}(\boldsymbol{\theta})
\end{aligned}
$

ここで， $\epsilon$ は敵対的摄動のノルムを調整するハイ パーパラメータである. この式を入力系列のすべて のトークンに適用することで，摄動事例を得る.

## 3.4 学習

置換や単語ドロップアウトを用いた場合の学習と しては，摄動事例から正しい系列を予測するよう学習する。例えば，置換を用いた際は，次の負の対数尤度を最小化する。

$
\begin{aligned}
\mathscr{L}^{\prime}(\boldsymbol{\theta}) & =-\frac{1}{|\mathscr{D}|} \sum_{\mathscr{D}} \log p\left(\boldsymbol{Y} \mid \boldsymbol{X}^{\prime}, \boldsymbol{Y}^{\prime} ; \boldsymbol{\theta}\right), \\
& =-\frac{1}{|\mathscr{D}|} \sum_{\mathscr{D}} \sum_{j=1}^{J+1} \log p\left(y_{j} \mid \boldsymbol{y}_{0: j-1}^{\prime}, \boldsymbol{X}^{\prime} ; \boldsymbol{\theta}\right) .
\end{aligned}
$

敵対的摄動を用いた場合には，既存研究になら い $[18,8]$ ，一度行った前向き計算を利用し，元の損失関数と敵対的摂動を用いて計算した損失 $\mathscr{A}(\boldsymbol{\theta})$ の 合計を最小化する。

$
\mathscr{F}(\boldsymbol{\theta})=\mathscr{L}(\boldsymbol{\theta})+\lambda \mathscr{A}(\boldsymbol{\theta}),
$

ここで， $\lambda$ はつの損失関数を釣り合わせるための ハイパーパラメータである. $\mathscr{A}(\boldsymbol{\theta})$ としては，元の入力に対する出力確率分布を正例とする。すなわち，

$
\mathscr{A}(\boldsymbol{\theta})=\frac{1}{|\mathscr{D}|} \sum_{\mathscr{D}} \operatorname{KL}(p(\cdot \mid \boldsymbol{X} ; \boldsymbol{\theta}) \| p(\cdot \mid \boldsymbol{X}, \boldsymbol{r} ; \boldsymbol{\theta})),
$

ここで， $\boldsymbol{r}$ は各入力トークンに対する敵対的摂動を つなぎ合わせたべクトルとし，KL($\cdot$\|$\cdot$) はカルバッ ク・ライブラー情報量とする.

## 4 機械翻訳における実験

系列変換における代表的なタスクとして，翻訳タ スクでの実験を行う1)，広く使用されているデータ セットとして，WMT 英-独データセットを用いる。具体的には，Ott ら [11] と同じ前処理を行った，450 万文対を訓練データとして用い，newstest2010-2016 で性能を評価する。性能評価には，SacreBLEU [19] を用いて BLEU を計算する。

エンコーダ・デコーダとしては Transformer [10] の big 設定を用いる. 実装は fairseqを元に行っ $た^{2)}$. 各ハイパーパラメータについては, $q=0.9$, $k=1000, \beta=0.9$ とし， ADv については，既存研究 [8] と同じ値を使用した. 学習ステップ数は全て の手法で 50,000とした.

## 4.1 結果

摄動なしの Transformer（w/o perturbation）および 各摄動を用いた際の BLEU 値を表 1 に示す。なお，

2) https://github.com/pytorch/fairseq
表 1 newstest2010-2016での BLEU 値，それらの平均値，摂動なしの Transformer 基準とした際の各手法での計算速度.

 & 24.22 & 22.11 & 22.69 & 26.60 & 28.46 & 30.50 & 33.58 & 26.88 & $\times 1.00$ \\

(a) NLL

(b) BLEU

(c) 摂動なしの Transformer の BLEU値に到達するまでの時間

図 2 newstest 2013 での負の対数尤度（NLL），BLEU 値，摂動なしの Transformer の BLEU 值に到達するまでの時間.

表 1 に記したように，デコーダ側の摂動計算手法で ある $\operatorname{ReP}(\mathrm{SS})$ 以外はエンコーダ側，デコーダ側の両方に摂動を適用した．BLEU 值に加えて，表 1 は摂動なしの Transformerを基準とし，各摂動を用いた 際の計算速度を示している. また，高速な手法であ る WDroP， $\operatorname{Rep}(\mathrm{UnI}), \operatorname{Rep}(\operatorname{Sim})$ については，組み合 わせた際の結果も記した。

まず，摄動なしの Transformer は newstest 2014 に おいて, 28.46 と既存研究 [10] と同程度の BLEU 值 を達成しており，強いべースラインとみなして良い と考えられる．BLEU の平均値において，摂動を用 いた全ての手法が摂動なしの場合よりも高い値を達成しており，攝動を用いることで，エンコーダ・デ コーダの性能が向上することが分かる. 加えて, 素朴な手法である WDROP, $\operatorname{Rep}\left(\mathrm{UnI}^{2}\right), \operatorname{ReP}\left(\mathrm{Sim}_{\mathrm{Im}}\right)$, およ びその組み合わせは，既存研究で優れているとされ ていた Adv や ReP(SS) に対し $[9,8]$, 計算速度も速 く，BLEU 值でも上回っている.

図 2 は訓練時間に対する, 各手法での newstest 2013 における負の対数尤度 (a)，BLEU 値 (b)，お よび，摂動なしの Transformer の学習修了時の BLEU 値に到達するまでの時間（c）を示している，図 (a) (b) より, 学習の早い段階で, WDROP, $\operatorname{REP}(U N I)$, $\operatorname{REP(SIM)}$ は摂動なしの Transformer よりも良い負の 対数尤度と BLEU 值に到達していることが分かる。 さらに, 図の（c）から，これらの手法は摂動なしの Transformer 最終的な BLEU 值を, REP(SS) や ADv,摂動なしの場合よりも高速に達成していることが分 かり，特に，ADvよりも2 倍高速である。これらの 結果から, WDROP, $\operatorname{REP}(\mathrm{UnI}), \operatorname{ReP}(\operatorname{Sim})$ およびその 組み合わせは，時間的効率の良い摂動と言える。

## 5 おわりに

本研究では，エンコーダ・デコーダに様々な摂動 を適用し，系列変換タスクにおいて，時間的効率の 良い摄動を調査した。既存研究では，スケジュール ドサンプリングや敵対的摄動の有用性が報告されて いたが $[9,20,8]$, 本研究の設定においては, 単語ド ロップアウト [16] のような単純な手法がこれらと同等の性能を高速に達成可能であることを示した. こ の結果から，エンコーダ・デコーダに摂動を適用す る際は，まずは単純な手法を試すことを勧めたい。実際に頑健なモデルを構築するため，摄動を選択す る際に，また，これからの摂動に関する研究の実験的な比較において，本研究が一助となれば幸いで ある.

## 参考文献

[1]Ilya Sutskever, Oriol Vinyals, and Quoc V. Le. Sequence to Sequence Learning with Neural Networks. In Advances in Neural Information Processing Systems 27 (NIPS), pp. 3104-3112, 2014.

[2]Alexander M. Rush, Sumit Chopra, and Jason Weston. A Neural Attention Model for Abstractive Sentence Summarization. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 379-389, 2015.

[3]Jianshu Ji, Qinlong Wang, Kristina Toutanova, Yongen Gong, Steven Truong, and Jianfeng Gao. A nested attention neural hybrid model for grammatical error correction. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 753-762, 2017

[4]Nitish Srivastava, Geoffrey Hinton, Alex Krizhevsky, Ilya Sutskever, and Ruslan Salakhutdinov. Dropout: A simple way to prevent neural networks from overfitting. Journal of Machine Learning Research (JMLR), Vol. 15, No. 56, pp. 1929-1958, 2014.

[5]Ian Goodfellow, Jonathon Shlens, and Christian Szegedy. Explaining and harnessing adversarial examples. In Proceedings of the $3 \mathrm{rd}$ International Conference on Learning Representations (ICLR), 2015.

[6]Takeru Miyato, Andrew M. Dai, and Ian Goodfellow. Adversarial training methods for semi-supervised text classification. In Proceedings of the 5th International Conference on Learning Representations (ICLR), 2017.

[7]Yong Cheng, Lu Jiang, and Wolfgang Macherey. Robust neural machine translation with doubly adversarial inputs. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 4324-4333, 2019.

[8]Motoki Sato, Jun Suzuki, and Shun Kiyono. Effective adversarial regularization for neural machine translation. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 204-210, 2019.

[9]Samy Bengio, Oriol Vinyals, Navdeep Jaitly, and Noam Shazeer. Scheduled sampling for sequence prediction with recurrent neural networks. In Advances in Neural Information Processing Systems 28 (NIPS), pp. 1171-1179. 2015

[10]Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in Neural Information Processing Systems 30 (NIPS), pp. 5998-6008. 2017.

[11]Myle Ott, Sergey Edunov, David Grangier, and Michael Auli. Scaling neural machine translation. In Proceedings of the Third Conference on Machine Translation (WMT), pp. 1-9, 2018.

[12]Loïc Barrault, Ondřej Bojar, Marta R. Costa-jussà, Christian Federmann, Mark Fishel, Yvette Graham, Barry Haddow, Matthias Huck, Philipp Koehn, Shervin Malmasi, Christof Monz, Mathias Müller, Santanu Pal, Matt Post, and Marcos Zampieri. Findings of the 2019 conference on machine translation (WMT19). In Proceedings of the Fourth Conference on Machine Translation (WMT), pp. 1-61, 2019.

[13]Emma Strubell, Ananya Ganesh, and Andrew McCallum. Energy and policy considerations for deep learning in NLP. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 3645-3650, 2019.

[14]Roy Schwartz, Jesse Dodge, Noah A. Smith, and Oren Etzioni. Green AI. CoRR, Vol. abs/1907.10597, , 2019.

[15]Zhuohan Li, Eric Wallace, Sheng Shen, Kevin Lin, Kurt Keutzer, Dan Klein, and Joseph E. Gonzalez. Train large, then compress: Rethinking model size for efficient training and inference of transformers. In Proceedings of the 37th International Conference on Machine Learning (ICML), pp. 11432-11442, 2020.

[16]Yarin Gal and Zoubin Ghahramani. A theoretically grounded application of dropout in recurrent neural networks. In Advances in Neural
Information Processing Systems 29 (NIPS), pp. 1019-1027. 2016.

[17]Daniel Duckworth, Arvind Neelakantan, Ben Goodrich, Lukasz Kaiser, and Samy Bengio. Parallel scheduled sampling. CoRR, 2019.

[18]Takeru Miyato, Shin ichi Maeda, Masanori Koyama, Ken Nakae, and Shin Ishii. Distributional smoothing with virtual adversarial training. In Proceedings of the 4th International Conference on Learning Representations (ICLR), 2016.

[19]Matt Post. A call for clarity in reporting BLEU scores. In Proceedings of the Third Conference on Machine Translation (WMT),pp. 186-191, 2018.

[20]Wen Zhang, Yang Feng, Fandong Meng, Di You, and Qun Liu. Bridging the gap between training and inference for neural machine translation. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 4334-4343, 2019.

[21]Shun Kiyono, Jun Suzuki, Tomoya Mizumoto, and Kentaro Inui. Massive exploration of pseudo data for grammatical error correction. IEEE/ACM Transactions on Audio, Speech, and Language Processing, Vol. 28, pp. 2134-2145, 2020.

[22]Christopher Bryant, Mariano Felice, Øistein E. Andersen, and Ted Briscoe. The BEA-2019 shared task on grammatical error correction. In Proceedings of the Fourteenth Workshop on Innovative Use of NLP for Building Educational Applications, pp. 52-75, 2019.

[23]Hwee Tou Ng, Siew Mei Wu, Ted Briscoe, Christian Hadiwinoto, Raymond Hendy Susanto, and Christopher Bryant. The CoNLL2014 Shared Task on Grammatical Error Correction. In Proceedings of the Eighteenth Conference on Computational Natural Language Learning (CoNLL), pp. 1-14, 2014.

[24]Mariano Felice, Christopher Bryant, and Ted Briscoe. Automatic Extraction of Learner Errors in ESL Sentences Using Linguistically Enhanced Alignments. In Proceedings of the 26th International Conference on Computational Linguistics (COLING), pp. 825-835, 2016.

[25]Daniel Dahlmeier and Hwee Tou Ng. Better Evaluation for Grammatical Error Correction. In Proceedings of the 2012 Conference of the North American Chapter of the Association for Computational Linguistics (NAACL), pp. 568-572, 2012.

[26]Li Dong, Nan Yang, Wenhui Wang, Furu Wei, Xiaodong Liu, Yu Wang, Jianfeng Gao, Ming Zhou, and Hsiao-Wuen Hon. Unified language model pre-training for natural language understanding and generation. In Advances in Neural Information Processing Systems (NeurIPS), pp. 13063-13075, 2019.

[27]Kaitao Song, Xu Tan, Tao Qin, Jianfeng Lu, and Tie-Yan Liu. Mass: Masked sequence to sequence pre-training for language generation. In International Conference on Machine Learning (ICML), pp. 59265936, 2019.

[28]Jingqing Zhang, Yao Zhao, Mohammad Saleh, and Peter J. Liu. Pegasus: Pre-training with extracted gap-sentences for abstractive summarization. In Proceedings of the 37th International Conference on Machine Learning (ICML), 2020.

[29]Weizhen Qi, Yu Yan, Yeyun Gong, Dayiheng Liu, Nan Duan, Jiusheng Chen, Ruofei Zhang, and Ming Zhou. ProphetNet: Predicting future n-gram for sequence-to-SequencePre-training. In Findings of the Association for Computational Linguistics: EMNLP 2020, pp. 2401-2410.

[30]Courtney Napoles, Matthew Gormley, and Benjamin Van Durme. Annotated Gigaword. In Proceedings of the Joint Workshop on Automatic Knowledge Base Construction and Web-scale Knowledge Extraction (AKBC-WEKEX), pp. 95-100, 2012.

[31]Sho Takase and Naoaki Okazaki. Positional encoding to control output sequence length. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (NAACL-HLT), pp. 3999-4004, 2019.

[32]Rowan Zellers, Ari Holtzman, Hannah Rashkin, Yonatan Bisk, Ali Farhadi, Franziska Roesner, and Yejin Choi. Defending against neural fake news. In H. Wallach, H. Larochelle, A. Beygelzimer, F. d'AlchéBuc, E. Fox, and R. Garnett, editors, Advances in Neural Information Processing Systems (NeurIPS), pp. 9054-9065, 2019.
表 2 各手法の $\mathrm{F}_{0.5}$. また，摄動なしと同一の設定とし て，Kiyono ら [21] の報告値を掲載した.

## A 文法誤り訂正における実験

系列変換タスクとして，文法誤り訂正と生成的要約タスクでの実験を行う，文法誤り訂正の評価 データとしては，広く用いられている，BEAデータ セットの開発データとテストデータ [22]，および， CoNLL-2014 のテストデータ（CoNLL） [23]を用い る. BEA については ERRANT [24] で計算した $\mathrm{F}_{0.5}$, CoNLL については $M^{2}$ [25] を評価に用いる.

既存研究 [21] にならい，疑似パラレルコーパス でエンコーダ・デコーダ（Transformer）を学習した 後，摂動を用いたファインチューニングを BEA の 訓練データ上で行う．各ハイパーパラメータについ ては，4節と同様の值を用いた。

## A. 1 結果

表 2 に各手法での結果を示す.これらのスコア は，5つの異なるランダムシードを用いてファイ ンチューニングを行い，その平均值である。加え て，本表には摂動なしと同一の設定として，Kiyono ら [21] の報告値を記している3).

表 2 より，BEA テストデータ（テスト）におけ る $\operatorname{REP}\left(\mathrm{UnI}_{\mathrm{NI})}\right.$ と $\operatorname{ReP}\left(\mathrm{SIm}_{\mathrm{Im}}\right)$ を除き，摂動を用いる全て の手法が摂動なしのスコアを上回っていることが 分かる。機械翻訳における実験と同様に，WDROP， およびこれと $\operatorname{ReP}(\mathrm{UNI}), \operatorname{ReP}(\mathrm{SIM})$ の組み合わせが ADv と同等の性能を達成している. これらの手法は $\operatorname{ReP}(\mathrm{SS})$ や ADv よりも計算が高速であることから，文法誤り訂正タスクにおいても，時間的な効率の良 い手法であると言える.

## B 生成的要約における実験

生成的要約の評価データとして，広く用いられ ている, Annotated English Gigaword から抽出された,

3）表 2 の摂動なしの結果は Kiyono ら [21] と比べて僅かに低い が，これは学習におけるランダム性によるものと考えられる.表 3 Annotated English Gigaword テストデータにおける，各手法の ROUGE-1，2，L の $\mathrm{F}_{1}$ 值（R-1，R-2，R-L). 本表の下の部分は近年の研究における報告値である.

1951 の文と要約（正確には見出し文）のぺアからな るテストデータ $[30,2]$ を用いる.

訓練データとしては，既存研究 $[2,31]$ にならい， Annotated English Gigaword から抽出した 380 万の文 と要約のペアを用いる。また，近年の生成的要約タ スクでは，大規模コーパスで事前学習したエンコー ダ・デコーダを用いることも多く [26, 27, 28, 29], これらの研究にならい, REALNEWS [32] と News Crawl [12] から文と要約のペアを抽出し，訓練デー タとした。合計で，1700万の文と要約ペアを訓練 データに用いた. 機械翻訳, 文法誤り訂正と同様, エンコーダ・デコーダには Transformer [10] を用い, ハイパーパラメータについては 4 節と同じ値を用い た.なお，敵対的摂動については，勾配が爆発して しまい，学習を安定させることができなかった. ラ ンダムシードを変更して何度か学習を行ったが全て 発散してしまい，また，ハイパーパラメータの探索 を行うことも予算の都合上難しかったため，本実験 においては，敵対的摂動は除くこととする。

## B. 1 結果

表 3 に Annotated English Gigaword テストデータに おける，各手法の ROUGE-1，2，Lの $\mathrm{F}_{1}$ 值，および，近年の研究における報告値を示した $[26,27,28,29]$.表 3 より，機械翻訳や文法誤り訂正での結果と同じ く，摂動を用いた全ての手法が摂動なしのスコア を上回っていることが分かる. WDROP, $\operatorname{ReP}\left(U_{N I}\right)$, $\operatorname{REP}(\operatorname{Sim})$ ，およびその組み合わせは $\operatorname{ReP}(\mathrm{SS})$ よりも 高い ROUGE 值を達成している. これらは計算速度 も高速であることから，生成的要約タスクにおいて も，時間的効率の良い手法であることが伺える，加 えて, $\operatorname{ReP}\left(\mathrm{UNI}^{2}\right)$ と WDROP はそれぞれ, ROUGE-1 と L，ROUGE-2 において，現状のトップスコア [29] りも高い値を達成している。


# 知識グラフ埋め込みを用いたニューラル機械翻訳における エンティティ表現の改良

坂井 優介
渡辺 太郎
奈良先端科学技術大学院大学
\{sakai.yusuke.sr9, taro\}@is.naist.jp
}

藤田 篤
情報通信研究機構
atsushi.fujita@nict.go.jp

## 1 はじめに

ニューラル機械翻訳の課題として，訓練データ中 に出現しない未知語（OOV）や訓練データに含まれ ていても出現頻度が低い低頻度語に対して翻訳品質 が低いことが挙げられる。この課題に対処するため に近年のニューラル機械翻訳ではサブワード化を行 うことで OOV 問題を解決している $[1,2,3,4]$. しか しサブワード化を行うことは単語の表層表現しか 着目しておらず，単語の意味表現を考慮して OOV 問題に対処しているとはいえない。一方, 知識グラ フ等の単言語資源は機械翻訳で用いられる対訳文 よりも豊富で入手しやすいことを活かし, 単言語資源を用いてニューラル機械翻訳の精度を向上させ る取り組みが存在している。その中でも本研究では 知識グラフを用いた手法について着目する. 知識グ ラフをニューラル機械翻訳に注入する手法である KG-NMT[5] を改良し, 知識グラフをニューラル機械翻訳に注入する際に，エンティティをタグに置き換 える手法と，エンティティをサブワードに分割にし た知識グラフをニューラル機械翻訳に注入する手法 の 2 種類提案する. WMT の newtest データセットに よる英独翻訳での実験の結果，提案手法ではベース ラインより BLEU スコアが高いことを確認できた。

## 2 関連研究

## 2.1 知識グラフ

知識グラフとはトリプレットと呼ばれる形で記述されており， $h$ をへッドエンティティ,$t$ をテー ルエンティティ,$r$ を $h$ と $t$ の関係としたとき, (奈良先端科学技術大学院大学, alias, NAIST) のように $(h, r, t)$ の順に記される. 知識グラフを用いたタス クとして $h$ と $r$ が与えられたとき $t$ を予測する知識 グラフ推論が存在しており, 知識グラフ埋め込み $[6,7]$ や強化学習 [8], グラフニューラルネットワー ク $[9,10]$ などによる知識グラフ推論手法が提案され ている.これらの手法は, 質問応答システム [11] や 推薦システム [12] などで広く利用されている.

## 2.2 知識グラフの機械翻訳への応用

知識グラフを用いたニューラル機械翻訳の取り組 みは主に知識グラフをデータ拡張に用いる手法と知識グラフを直接ニューラル機械翻訳に注入する手法 に大別できる。データ拡張に知識グラフを用いた研究として, Zhao ら [13] は訓練データ中のエンティ ティを知識グラフを用いて類似したエンティティに 置換することで訓練データを拡張した.

一方，知識グラフを直接ニューラル機械翻訳に注入する手法として，知識グラフ埋め込みを用いる手法 $[5,14]$ とニューラル機械翻訳と知識グラフ推論の 同時学習を行う手法 [15] が存在する. Moussalem ら [5] は KG-NMT を提案した。KG-NMT は知識グラフ 埋め込みを用いて，文章中に出現するエンティティ と知識グラフ中のエンティティが一致したものに対 して，Sennrichらの手法 [16] を用いて該当するエン ティティに，そのエンティティの知識グラフ埋め込 みを結合することで, 知識グラフ埋め込みの注入を 行った. KG-NMT は訓練データ中に出現しないエン ティティに対しても, 知識グラフ埋め込みを用いて いるため，エンティティ間の関係も含めて注入する ことができている.しかしこれらの手法では知識グ ラフ中のエンティティと訓練データ中のエンティ ティが一致した場合にのみしか有効ではない.

$D$ をニューラル機械翻訳の入力文の集合としたと き， $D$ に含まれるエンティティの集合を $V(D)$ と表 す. また知識グラフ $K$ を関係のインスタンス $(h, r, t)$ の集合としたとき, 知識グラフ $K$ 中のエンティティ の集合は $V(K)=\{h \mid(h, *, *) \in K\} \cup\{t \mid(*, *, t) \in K\}$ と なる.
he's gonna shack up at auberge du soleil.

NER

he's gonna shack up at auberge du soleil.

Replace to tag

図 1 KG-tag NMT の手続きの概要

このとき実際のエンティティは,$U$ をすべてのエ ンティティの集合としたとき，ニューラル機械翻訳 の訓練データにのみ含まれるエンティティの集合 $(V(D)-V(K))$, 知識グラフのみに含まれるエンティ ティの集合 $(V(K)-V(D))$, どちらにも出現するエン ティティの集合 $(V(D) \cap V(K))$, どちらにも出現し ないエンティティの集合 $(U-(V(D) \cup V(K)))$ の計 4 種類の集合が存在する. KG-NMT では $V(D) \cap V(K)$ の集合しか扱うことができなかった。また KG-NMT ではエンティティ単位で訓練データと知識グラフの 対応付けを行うため，サブワード化ができず，扱う 語彙が大きくなるという問題が生じる.

Zhao ら [15] はそれら 4 つのエンティティの集合 についてもニューラル機械翻訳へ活用するために， エンティティをサブワード化したあと, ニューラル 機械翻訳と知識グラフ推論の学習を同時に行った。 しかし Zhao らの手法はニューラル機械翻訳と知識 グラフ推論の学習を同時に行っているため, 新たな 言語対に対するモデルを学習する際, ニューラル機械翻訳モデルだけでなく, 知識グラフ埋め込みも 再度学習する必要がある. よって Zhao らの手法で $N$ 言語間の多言語機械翻訳を行おうとすると, 知識グラフ推論の学習を $N(N-1)$ 回行うことになる. そのため, Zhao らの手法は学習コストが高い上に ニューラル機械翻訳と知識グラフ推論モデルを組み 合わせることは容易ではない.

## 3 知識グラフ埋め込みを利用した ニューラル機械翻訳の改良

本研究では KG-NMT を発展させ, エンティティ をタグに置き換える手法と知識グラフ埋め込みの作成時にエンティティのサブワードに基づいて学習し he's gonna shack up at auberge du soleil.

subworded

he's gonna sh ack up at au ber ge du sole il .

図 2 Subworded KG-NMT の手続きの概要

た知識グラフ埋め込みをニューラル機械翻訳に注入 する手法の 2 種類を提案する.

## 3.1 KG-NMT におけるエンティティの抽象化

KG-NMT の問題を解決するために，本研究では KG-tag NMT を提案する. KG-tag NMT は未知語処理の手法である Back-off モデル $[18,19]$ を参考にし， データセット内の該当するエンティティに知識グ ラフに基づく埋め込みの情報を注入後, そのエン ティティを特殊タグに置き換える。具体的な手続 きの例を図 1 に示す. 図 1 のように知識グラフを 注入後, <entity>という特殊なタグに置き換える. KG-tag NMT では知識グラフ情報を注入後にサブ ワード化が行えるため, KG-NMT の課題である語彙数を削減できる. しかし KG-tag NMT では依然とし て $V(D) \cap V(K)$ 内のエンティティしか扱えない.

## 3.2 サブワードに基づく知識グラフ埋め 込み

サブワードに基づく知識グラフ埋め込みを行う ために Subworded KG-NMT を提案する. Subworded KG-NMT はすべてのエンティティを扱うために，知識グラフ内のエンティティ $V(K)$ のサブワード化を 行う.

サブワード化した知識グラフの埋め込み表現を作成する方法として Transformer [17] を使用する. 知識グラフ推論を seq 2 seq の枠組みで行い，作成され た埋め込み表現を知識グラフ埋め込みとする。エン ティティ $h, t$ を SentencePiece [4] を用いてサブワー ド化したあと, $h$ と $r$ が与えられた際に $t$ を推論す るタスクを， $h$ と $r$ を原言語の入力文として $t$ を目的言語の出力文を得るタスクとみなす．知識グラフ
表 1 BLEUによる各モデルの比較

$K$ が与えられた際の損失関数は式 (1) となる.

$
L\left(K ; \theta_{e}, \theta_{d}\right)=\sum_{(e, r, t) \in K} \log p\left(t \mid h, r ; \theta_{e}, \theta_{d}\right)
$

ここで， $\theta_{e}$ と $\theta_{d}$ はそれぞれエンコーダとデコーダ のパラメータである.

エンティティをサブワード化することにより，知識グラフ $K$ に含まれないエンティティに対しても 埋め込みを得ることができる．またニューラル機械翻訳と知識グラフ埋め込みのエンティティの対応付 けはサブワード単位で行う．Subworded KG-NMT の 具体的な手続きの例を図 2 に示す. 図 2 のようにサ ブワード化した知識グラフ埋め込みをニューラル機械翻訳に注入することで，エンティティ $D$ に対する 知識グラフの注入量を向上させる．知識グラフ埋め 込みの注入手法は KG-NMT [5] に倣う。

知識グラフ埋め込みをサブワード化する手法は Zhao らの手法 [15] と似ているが，Zhao らは知識グ ラフ推論とニューラル機械翻訳を同時に学習するこ とによって，知識グラフをニューラル機械翻訳に活用した。一方, Subworded KG-NMT では知識グラフ 推論とニューラル機械翻訳をそれぞれ独立して学習 している. Subworded KG-NMT はニューラル機械翻訳と知識グラフ推論を独立して学習するため, 新た な目標言語へのニューラル機械翻訳を学習する際 に，以前学習した知識グラフ埋め込みの再利用が可能となる。そのため $N$ 言語間の多言語機械翻訳を 行うときは Subworded KG-NMT では知識グラフの学習を $N$ 回行うだけでよい.この利点はZhao らの手法 [15] の欠点を補っている.

## 4 実験

## 4.1 実験設定

実験は英独翻訳を対象とし，訓練データとし て JRC-Acquis3.0と Europarl を用い, 検証用データ に WMT の newstest2011, テストデータに WMT の newstest2012 から 2018 までを用いた。知識グラフは 英語版の DBpedia [20]を用いた。また訓練データ
に WMT2017，検証用データに newstest2016，テスト データに newstest2017を用いることにより同一ドメ イン内での翻訳についても評価を行った。

Transformer の実装には fairseq ${ }^{1)}$ と OpenNMT-py ${ }^{2)}$ を用いた。またサブワード化には SentencePiece[4] 3) を用いた. SentencePieceの学習にはニューラル機械翻訳の訓練データを用いた。また知識グラフ中のエ ンティティに対するサブワード化と訓練データに 対するサブワード化は同じ SentencePiece のモデル を使用した。知識グラフ埋め込みは Transformer を 用いて作成した. NER は spaCy ${ }^{4)}$ を使用し, DBpedia 内のエンティティを辞書として用いた。

既存研究のベースラインとして Transformer [17] と KG-NMT [5] を用いた。なお KG-NMT についてサ ブワード化してしまうと, エンティティに知識グ ラフ情報を注入することができなくなるため，サ ブワード化は行わなかった。評価には SacreBLEU $[21]^{5)}$ を用いた。

## 4.2 実験結果

表 1 に実験結果を示す. 2 つの提案手法はすべ てのテストデータに対して KG-NMT より BLEU ス コアが向上している。これは KG-NMT では行えな かったサブワード化が提案手法では可能になったこ とより，未知語として処理される単語数が減少した ため BLEU スコアが上昇したと考えられる．KG-tag NMT では KG-NMT の手法を改良し，エンティティ をタグに置き換えることでサブワード化を行えるよ うにした。そのため, Transformer と同等の精度を保 ちつつ, $V(K) \cap V(D)$ エンティティについては知識 グラフを活用することができるため，BLEU スコア が向上したと考えられる。

一方 Subworded KG-NMT では，翻訳の訓練データ 中のエンティティ $V(D)$ と知識グラフ中のエンティ

表 2 テストセットのエンティティ $V(D)$ に対する

ティ $V(K)$ が完全に一致していなくてもサブワー ド単位で一致していれば知識グラフ埋め込み情報 を注入できる。そのためエンティティ $V(D)$ に対 して知識グラフを注入可能な範囲が拡大するので, KG-tag NMT よりも多くの知識グラフをニューラル 機械翻訳に注入することができる。このことから 全体としての知識グラフの注入量が向上した結果, Subworded KG-NMT の BLEU スコアが向上したと考 えられる。

## 4.3 エンティティの分析

提案手法と Transformer [17] の BLEU スコアを比較すると, KG-tag NMT ではスコアの向上は見られ るものの，知識グラフ埋め込みを注入したことによ り, むしろスコアが低下しているテストデータが存在している。そこで KG-tag NMT によってエンティ ティ $V(K)$ とエンティティ $V(D)$ の対応付けが行え たエンティティ $V(K) \cap V(D)$ の数を調べた. その結果を表 2 に示す. 表 2 よりエンティティ $V(K) \cap V(D)$ はエンティティ $V(D)$ の 1 2\%ほどしか存在して いないことがわかる。また既存手法の KG-NMT と Transformer を比較すると, $V(K) \cap V(D) / V(D)$ の割合によって BLEU スコアの差が大きくなる傾向があ る.これは KG-NMT がサブワード化を行うことに よって OOV 問題を解決するのではなく, 知識グラ フを用いて OOV 問題の解決を図っていることに起因している。そのため知識グラフの注入量と翻訳品質には相関があると考えられる。

## 5 Transformer による知識グラフ推論の精度

Transformer による知識グラフ推論の精度について 考察するための実験を行った。知識グラフ推論用 データセットに YAGO3-10 [22] を使用し，知識グラ フ推論の比較対象モデルを ConvKB [6] と ComplEx [7] とした. Transformerによる知識グラフ推論では表 3 知識グラフ推論精度の比較

エンティティのサブワード化の有無による比較も 行った。実験結果を表 3 に示す。

HITS@T はそれぞれ推論したエンティティのうち 上位 $T$ 番目以内に正解エンティティが含まれる割合 を示している。表 3 の結果より, seq2seq での知識 グラフ推論はエンティティをサブワード化しない場合，既存手法である ConvKB [6] や ComplEx [7] と同等の性能であることがわかった。またサブワード化 を行った場合でも，上位 10 位以内に正解エンティ ティが含まれる割合が 3 割ほどあり，サブワード化 を行っても知識グラフを学習できているといえる. そのため Transformerによる seq2seq での知識グラフ 推論は有効であるといえる。

知識グラフ推論の既存手法ではデータセット中に 含まれていない未知のエンティティを推論すること ができないが，サブワード化し， seq2seq で知識グラ フ推論を行った場合エンティティを生成するため,未知のエンティティを推論することができる利点が ある. そのため, 潜在的に $U-(V(D) \cup V(K))$ に対 しても知識グラフ情報を学習していると予測できる ので，今後その予測を検証していく。

## 6 まとめ

本研究ではニューラル機械翻訳の品質向上を目的 とし, OOV 問題に対処するために知識グラフを注入する手法を 2 種類提案した. 実験を行った結果，提案手法では BLEU スコアが既存手法よりも向上し ていることを確認した。また知識グラフの注入量に よって翻訳精度が変化するため, 単言語データであ る知識グラフの注入量を増やすことにより，翻訳精度が向上する可能性があることがわかった。さらに seq2seqによる知識グラフ推論の有用性も確認した. その結果, 未知のエンティティに対する推論可能性 をもちつつ, 既存手法と同等の精度で推論すること ができた，今後の課題として，多言語ニューラル機械翻訳への適用を予定している。

## 参考文献

[1] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 1715-1725, Berlin, Germany, August 2016. Association for Computational Linguistics.

[2] Minh-Thang Luong and Christopher D. Manning. Achieving open vocabulary neural machine translation with hybrid word-character models. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 1054-1063, Berlin, Germany, August 2016.

[3] Junyoung Chung, Kyunghyun Cho, and Yoshua Bengio. A character-level decoder without explicit segmentation for neural machine translation. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 1693-1703, Berlin, Germany, August 2016. Association for Computational Linguistics.

[4] Taku Kudo and J. Richardson. Sentencepiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In $E M N L P, 2018$.

[5] Diego Moussallem, Axel-Cyrille Ngonga Ngomo, Paul Buitelaar, and Mihael Arcan. Utilizing knowledge graphs for neural machine translation augmentation. K-CAP '19, page 139-146, New York, NY, USA, 2019. Association for Computing Machinery.

[6] Dai Quoc Nguyen, Tu Dinh Nguyen, Dat Quoc Nguyen, and Dinh Phung. A novel embedding model for knowledge base completion based on convolutional neural network. In Proceedings of the 16th Annual Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL-HLT), pages 327-333, 2018.

[7] C. Demir and Axel-Cyrille Ngonga Ngomo. Convolutional complex knowledge graph embeddings. ArXiv, abs/2008.03130, 2020.

[8] Wenhan Xiong, Thien Hoang, and William Yang Wang. DeepPath: A reinforcement learning method for knowledge graph reasoning. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pages 564-573, Copenhagen, Denmark, September 2017. Association for Computational Linguistics.

[9] Deepak Nathani, Jatin Chauhan, Charu Sharma, and Manohar Kaul. Learning attention-based embeddings for relation prediction in knowledge graphs. In Proceedings of the 57th Annual Meeting of the Association for Coтputational Linguistics. Association for Computational Linguistics, 2019.

[10] Rui Wang, Bicheng Li, Shengwei Hu, Wenqian Du, and Min Zhang. Knowledge graph embedding via graph attenuated attention networks. IEEE Access, PP:1-1, 122019.

[11] Antoine Bordes, Nicolas Usunier, Sumit Chopra, and Jason Weston. Large-scale simple question answering with memory networks. CoRR, abs/1506.02075, 2015.

[12] Fuzheng Zhang, Nicholas Jing Yuan, Defu Lian, Xing Xie, and Wei-Ying Ma. Collaborative knowledge base embedding for recommender systems. In Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, KDD '16, page 353-362, New York, NY, USA, 2016. Association for Computing Machinery.

[13] Yang Zhao, Jiajun Zhang, Yu Zhou, and Chengqing Zong. Knowledge graphs enhanced neural machine translation. In Christian Bessiere, editor, Proceedings of the Twenty-Ninth International Joint Conference on Artificial Intelligence, IJCAI-20, pages 4039-4045. International Joint Conferences on Artificial Intelligence Organization, 7 2020. Main track.

[14] Yu Lu, Jiajun Zhang, and Chengqing Zong. Exploiting knowledge graph in neural machine translation. In Jiajun Chen and Jiajun Zhang, editors, Machine Translation, pages 27-38, Singapore, 2019. Springer Singapore.

[15] Yang Zhao, Lu Xiang, Junnan Zhu, Jiajun Zhang, Yu Zhou, and Chengqing Zong. Knowledge graph enhanced neural machine translation via multi-task learning on sub-entity granularity. In Proceedings of the 28th International Conference on Computational Linguistics, pages 4495-4505, Barcelona, Spain (Online), December 2020. International Committee on Computational Linguistics.

[16] Rico Sennrich and Barry Haddow. Linguistic input features improve neural machine translation. In Proceedings of the First Conference on Machine Translation: Volume 1, Research Papers, pages 83-91, Berlin, Germany, August 2016. Association for Computational Linguistics.

[17] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Łukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Proceedings of the 31 st International Conference on Neural Information Processing Systems, NIPS'17, page 6000-6010, Red Hook, NY, USA, 2017. Curran Associates Inc.

[18] S. Jean, Kyunghyun Cho, R. Memisevic, and Yoshua Bengio. On using very large target vocabulary for neural machine translation. ArXiv, abs/1412.2007, 2015.

[19] Thang Luong, Ilya Sutskever, Quoc Le, Oriol Vinyals, and Wojciech Zaremba. Addressing the rare word problem in neural machine translation. In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pages 11-19, Beijing, China, July 2015. Association for Computational Linguistics.

[20] Sören Auer, Christian Bizer, Georgi Kobilarov, Jens Lehmann, Richard Cyganiak, and Zachary Ives. Dbpedia: A nucleus for a web of open data. In The Semantic Web, pages 722-735, Berlin, Heidelberg, 2007. Springer Berlin Heidelberg.

[21] Matt Post. A call for clarity in reporting BLEU scores. In Proceedings of the Third Conference on Machine Translation: Research Papers, pages 186-191, Brussels, Belgium, October 2018. Association for Computational Linguistics.

[22] F. Mahdisoltani, J. Biega, and Fabian M. Suchanek. Yago3: A knowledge base from multilingual wikipedias. In CIDR, 2015 .


# 階層型 Transformer デコーダを用いた文字レベル機械翻訳

高㠃環
東京大学工学部電子情報工学科
takasaki@logos.t.u-tokyo.ac.jp

## 1 はじめに

文字レベル機械翻訳では、単語レベルや部分語レベ ルでの機械翻訳に比べて、一文あたりのトークン数が 増加する。それに伴い、予測の際に長距離間の文脈を 把握することがより難しくなることが考えられる。 そ こで本研究では、翻訳文を出力するデコーダを、単語 レベルのデコーダと文字レベルのデコーダを階層型に 組み合わせたアーキテクチャとすることで、長距離間の文脈を把握する性能を向上させることを目指す.本研究では、文字レベル機械翻訳の先行研究では未 だ行われていない Transformer デコーダの階層化を行 い、通常の Transformer モデルとの性能の比較を行っ た. 提案するアーキテクチャでは、階層型モデルを使用する際に、単語レベルデコーダへの入力のために、文字列を単語レベルに分割する必要が生じる．そこで 本研究では、単語境界での単語分割に対し、文字数 での単語分割を行った場合と比較することで、適切 な単語分割手法を検討した。その結果、階層化した Transformer デコーダ [1]を用いる際に、文字数による 分割を行った場合では精度が低く、単語境界での分割 の方が適していることが明らかになった. また、単語境界によって分割した階層型 Transformer は、従来の Transformer モデルと比較して BLEU スコアの精度は 下回ったものの、階層型 Transformer では文章が途切 れずに翻訳できるケースが複数あるなど、長距離間で の文脈保持に一定の効果があることが観察できた。

## 2 関連研究

## 2.1 文字レベル機械翻訳

ニューラル機械翻訳などの自然言語処理では、文を 単語レベル、部分語レベル、文字レベルで分割する処理が行われる。従来は単語レベルでの分割が主流で あったが、計算コストやメモリ容量の関係で、語彙サ イズが大きい際には低頻度語を辞書に登録せず、未知語として扱う必要がある．そのため、高頻度語と字面

\author{
鶴岡 慶雅 \\ 東京大学大学院情報理工学系研究科 \\ tsuruoka@logos.t.u-tokyo.ac.jp
}

が近い活用語などの単語でも、未知語として処理され てしまうという問題が生じる。この問題を防ぐため に、語彙サイズを抑えた文の分割手法が提案されてき た。文字レベル機械翻訳は、Costa-jussa ら [2] によっ て、単語の形を文字レベルから直接生成するモデルが 提案されて以降、研究が進められている。また、Lee ら [3] は、単語の境界状態などのセグメンテーション を全く用いない文字レベル機械翻訳アーキテクチャを 考案した。また、最近では、ニューラル機械翻訳で Transformer ベースのモデルが広く用いられるように なったことから、文字レベル機械翻訳に最適に改良さ れた Transformer モデル [1] が、Banar ら [4] や Gao ら [5] によって提案されている.

## 2.2 階層型デコーダ

エンコーダ・デコーダから構成される機械翻訳モデ ルにおいて、デコーダを階層化する工夫をした先行研究がいくつか存在する. Luong ら [6] は、単語レベル の分割手法で語彙サイズを一定にすると定頻度語が未知語として扱われる問題に対して、階層型デコーダを 用いることを提案した。通常は単語レベルで自己回帰的に復号し、未知語が出力された場合に限り文字レ ベルで自己回帰的に復号し、単語レベルと文字レべ ルの損失関数の和を最小化するように学習すること で、翻訳品質を向上させた。また、Ataman ら [7] は、 RNN[8] を用いた文字レベル機械翻訳において、単語 レベルと文字レベルデコーダからなる階層型デコーダ を用いることで、部分語に分割した場合に比べてより 少ないパラメータで同等の翻訳精度が得られることを 示すとともに、従来の文字レベル機械翻訳に比べて長距離の文脈・文法依存性をより学習できることを主張 した. 階層型デコーダは、文章生成タスクでも研究 が進められている. Serban ら [9] は、文章の時系列を 予測する文単位でのデコーダと、文ごとに単語の時系列を予測する単語単位でのデコーダを用いた RNN モデルを用いて、文脈を考慮した文章生成の研究を 行った。また、渥美ら [10] は、このモデルを階層型

図 1 階層型デコーダ

Transformer に拡張したモデルを提案し、生成精度が 向上されることを主張した.

## 3 提案手法

## 3.1 階層型 Transformer デコーダ

本実験では、長距離間の文脈把握能力の向上に期待 し、階層型 Transformer デコーダを実装した. これは、 Ataman ら [7] の研究で用いられている階層型 RNN デコーダを、現在機械翻訳タスクで用いられること の多い Transformerに拡張したものである. 階層型デ コーダの大まかな構成を図 1 に示す. 詳細な構造を Ataman らの実装した階層型 RNN デコーダと比較し ながら説明する。

## 3.1.1 文字表現から単語表現への変換

単語ごとの文字レベルトークン列を、Character Embedding 層によってそれぞれの文字べクトルを獲得 した後に、単語表現に変換する必要がある. Ataman ら [7] の階層型 RNN デコーダでは、単語内の文字べ クトルを双方向 RNNに入力し、最終出力を単語表現 としていた. 本実験では、実行速度の観点から、双方向 RNN ではなく、畳み込み層と Highway 層からなる アーキテクチャを構成し、単語表現を獲得している。

## 3.1.2 単語レベル Transformer デコーダ

変換された単語表現を元に、次の単語を予測する 必要がある. Ataman ら [7] の階層型 RNN デコーダで は、エンコーダに対しての注意機構付きRNNを用い て次の単語を予測する表現を獲得していた. 本実験で は、エンコーダの出力を Source-Target Attention とし た Transformerを用いて実装を行った。

## 3.1.3 文字レベル Transformer デコーダ

単語レベル Transformerによって得られた次の単語 の予測表現を元に、単語を構成する文字を復号する 必要がある. Ataman ら [7] の階層型 RNN デコーダで は、文字レベルデコーダも同様に RNN を用いている. そして、単語レベルの RNN デコーダの出力を、文字 レベルデコーダの状態として入力し、単語頭を表す トークンを入力することで文字を逐次的に復号する方法が提案されていた．本実験では、文字レベルデコー ダも Transformer で実装した. 文字レベル Transformer デコーダの Source-Target Attention の Source として、過去に生成した単語の予測表現を利用することで、現在生成する単語についての情報を文字レベルデコーダ に与えるようにした.

## 3.2 単語への分割方法

階層的にデコーディングを行うに当たって、文字レ ベルでのトークン列を、単語などの大きな単位で分割し、次元を一つ増やす整形をする必要がある. 図 2 に、トークン列の整形を行う方法を示す. 本実験で は、二つの方法でトークン列を整形した。一つ目は、単語レベルでの分割手法である. これは、単語が空白 によって分割できる言語において、空白を境界として 単語ごとに整形し直す手法である．単語の境界を活用 する方法は、Ataman ら [7] の手法でも用いられてお り、単語の境界の情報を与えることによって、文字レ ベル機械翻訳の精度が向上する場合があると考察され ている. しかし、この研究では、同じ階層型デコーダ を用いる際に単語の境界情報を与えない場合について は検証されていない，そこで、本研究では、単語の境界情報を与えない整形方法として、文字数を基準とし た分割を採用し、比較することにした。
表 1 データ数の詳細

## 4 実験

## 4.1 データと前処理

今回の実験では、IWSLT'14独英翻訳コーパズ1)を 利用した. 全ての実験において一字ごとにトークン化 し、文頭トークン・文末トークンを必要に応じて付加 した. データ数の詳細を表 1 に示す.

階層型 Transformer を用いたモデルについては、変換したトークン列を次のいずれかの方法で分割し、整形した.

・スペースによる分割（単語の境界による分割）

・文字数による分割（文字数は 4 とした）

分割したトークンの前後には単語頭トークン・単語末 トークンを必要に応じて付与した.

## 4.2 モデル

翻訳モデルのエンコーダには、Gao ら [5] が提案 している、Convolutional Transformerを利用した.デ コーダには、次の二つのいずれかを利用した.

・通常の Transformer デコーダ

・階層型 Transformer デコーダ

通常の Transformer デコーダでは、Vaswani ら [1] の base モデルと同じものを用いた. 階層型 Transformer デコーダの文字レベル表現から単語レベルへの変換に は、フィルタ幅 1 から 7 の畳み込み 7 層と Highway 層 2 層を用いた. 単語レベル、文字レベルでの出力生成 には、Vaswani ら [1]の base モデルと同様のものから、埋め込み層の次元を 512 から 256 に変更したものを使用した.

## 4.3 訓練時の実験設定

モデルの実装と訓練・翻訳には fairseq ${ }^{2}$ を用いた。学習には AdamW[11]を使用し、学習率は 5e-4 から inverse square root schedule にしたがって減衰させた. dropout 0.3 , weight-decay 0.0001 、label-smoothing を 0.1 に設定した。学習の際は、patience を 3 epoch とし、開発用データにおける損失を指標として early-stopping を行った.

2) https://github.com/pytorch/fairseq表 2 各モデルの BLEU スコア

## 4.4 評価時の実験設定

テストデータにおいて翻訳を生成する際には、ビー ムサーチを用いた。階層型 Transformer デコーダを用 いる際には、文字レベルデコーダでビームサーチを用 いて生成する文字を推論し、生成された最も損失が少 ない文字列を最終的な予測単語として確定させた。ま た、ビーム幅は、階層型 Transformer では 1 から 5 を 試し、通常の Transformer ではビーム幅を 5 とした. また、評価用データを用いた機械翻訳の評価指標には BLEU スコア [12]を用いた.

## 5 結果と考察

## 5.1 結果

表 2 は、それぞれのモデルの評価データにおける BLEU スコアである. また、生成された翻訳文の例を 付録 A. 1 に示す.

## 5.2 考察

まず、分割方法を 4 文字毎とした際は、BLEU スコ アが 0.69 と非常に低い值となった. 文字数での分割方法の場合は、訓練時も損失が下がりにくく、タスク 自体が困難であったことが考えられる.この一因とし て、単語分割の場合と異なり、実際の単語境界を跨い で違う単語の接頭辞と接尾辞が単語レベルの表現へと 変換されるケースや、実際には同じ単語内であって も、不適切な部分語として分割されている場合が避け られないことが考えられる．以下の考察では、実際の 単語境界を用いてトークン列の分割を行った場合につ いて述べる.

階層型 Transformer デコーダによって生成された文 の特徴の一つに、通常の Transformer デコーダでは途中で終了していた文を最後まで生成できていることが 多いことが挙げられる。 その一例を表 3 に示す.こ

れは、階層型 Transformer デコーダによって長距離間 の文脈を保持しやすく、長文の復号を完遂しやすいこ とが考えられる. その一方で、表 4 に示すような、比較的短い文の場合でも、同じような語句が繰り返され るケースが散見され、階層型 Transformer デコーダで は近距離での単語出現を把握する能力が低いことが考 えられる。また、階層型 Transformer でのビームサー チについては、ビーム幅が小さいほど BLEU スコアが 高くなり、最もスコアが高かったのはビーム幅が 1 の 場合となった. ビーム幅を変更した場合の生成例を表 5 亿示す.この例にも観察できるように、ビーム幅を 小さくすることで文章の単語ごとの一致だけでなく、文構造も一致するケースがある．このように、文字レ ベルデコーダにおけるビームサーチによって、単語レ ベルデコーダの担う文構造の把握が阻害されるケース が発生する場合があることがわかる. これは、単語デ コーダで実際の単語を生成する際にエンコーダからの 翻訳元の出力を利用していないため、翻訳元の文構造 を把握する能力が低いことが一因として考えられる。文字レベルデコーダでのビームサーチを行うと、単語 を生成する文字列としてのスコアが低いものがより選 ばれやすい一方で、エンコーダの出力からの情報より も、実際に Source-Target Attention で注視している単語レベルデコーダの出力からの情報の影響をより受け やすいことが想定される.

## 6 まとめ

本研究では、文字レベル機械翻訳において、単語レ ベルと文字レベルのデコーダを組み合わせた階層型 デコーダを Transformer に拡張し、通常の Transformer モデルと比較を行った. その結果、BLEU スコアでは 劣るものの、長文を途切れることなく復号すること に適しているということが判明した。また、階層型 Transformer デコーダを構成するにあたって、単語レ ベルへのトークン列の分割方法を複数検討したとこ ろ、単語境界で分割した場合に比べ、文字数で分割し た場合は学習が適切に行われないということが明らか になった. 今後の研究としては、文字レベルデコーダ において、エンコーダの情報を利用するアーキテク チャを考案することが挙げられる。また、文字レベル 機械翻訳における復号時間の増大を解消するために、文字レベルデコーダを非自己回帰的な手法を用いた場合の検証を行う予定である。

## 参考文献

[1] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in neural information processing systems, pp. 5998-6008, 2017.

[2] Marta R. Costa-jussà and José A. R. Fonollosa. Characterbased neural machine translation. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 357-361, Berlin, Germany, August 2016. Association for Computational Linguistics.

[3] Jason Lee, Kyunghyun Cho, and Thomas Hofmann. Fully character-level neural machine translation without explicit segmentation. Transactions of the Association for Coтpиtational Linguistics, Vol. 5, pp. 365-378, 2017.

[4] Nikolay Banar, Walter Daelemans, and Mike Kestemont. Character-level transformer-based neural machine translation. arXiv preprint arXiv:2005.11239, 2020.

[5] Yingqiang Gao, Nikola I. Nikolov, Yuhuang Hu, and Richard H.R. Hahnloser. Character-level translation with self-attention. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 1591-1604, Online, July 2020. Association for Computational Linguistics.

[6] Minh-Thang Luong and Christopher D. Manning. Achieving open vocabulary neural machine translation with hybrid word-character models. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1054-1063, Berlin, Germany, August 2016. Association for Computational Linguistics.

[7] Duygu Ataman, Orhan Firat, Mattia A Di Gangi, Marcello Federico, and Alexandra Birch. On the importance of word boundaries in character-level neural machine translation. arXiv preprint arXiv:1910.06753, 2019.

[8] Alex Graves. Generating sequences with recurrent neural networks. arXiv preprint arXiv:1308.0850, 2013.

[9] Iulian Serban, Alessandro Sordoni, Yoshua Bengio, Aaron Courville, and Joelle Pineau. Building end-to-end dialogue systems using generative hierarchical neural network models. In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 30, 2016.

[10] 渥美和大, 狩野芳伸. Hierarchical transformer によるス トーリー生成. 言語処理学会 第 26 回年次大会, 2020.

[11] Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization. arXiv preprint arXiv:1711.05101, 2017.

[12] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th annual meeting of the Association for Computational Linguistics, pp. 311-318, 2002.

## A 付録

## A. 1 翻訳文の生成例

表 3 通常の Transformer では文が途中で途切れる例

ソース文 aber tatsächlich war es eine ausgabe auf den frühen 80ern, als ich gerade mit der grundschule anfing und damit begann , mein selbstbild außerhalb meines familiären umfelds aufzubauen und zu formen, auch in bezug auf andere kinder und zur übrigen welt um mich herum .

but, in fact, the print date was the early 1980s, when i would have been starting primary school

ターゲット文 and forming an understanding of myself outside the family unit and as related to the other kids and the world around me .

Transformer but in fact , it was an early \' 80s copy when i was just starting with the elementary school and beginning to build my self-image outside of my family environment , in terms of other children and it was actually a copy on the early \' 80s when i was just starting to school with elementary school ,

階層型 Transformer and $i$ was starting to build and shape my self-assembly set outside my family sphere , also in terms of other children and the rest of the world around me .

表 5 階層型 Transformer でビーム幅を変化させた例 wir haben tausende organismen die das tun können .