# 逆順デコーダを用いた係り受け構造に基づく Transformer ニュー ラル機械翻訳

佐々木 拓馬 ${ }^{1}$, 田村 晃裕 ${ }^{1}$, 出口 祥之 ${ }^{2}$, 二宮 崇 ${ }^{2}$, 加藤 恒夫 ${ }^{1}$
1 同志社大学 理工学部, 2 愛媛大学 大学院理工学研究科
${ }^{1}$ \{cgub0052@mail4, aktamura@mail, tsukato@mail\}.doshisha.ac.jp
2 \{deguchi@ai., ninomiya@\}cs.ehime-u.ac.jp

## 1 はじめに

自然言語処理の分野において機械翻訳は古く から盛んに研究されており，近年では，ニューラ ルネットワークを用いた機械翻訳（Neural Machine Translation; NMT）が主流となっている. NMT の中 でも，特に，文内の単語間の関連の強さを捉える self-attention を備えた Transformer NMT [7] が，NMT 初期に広く使われていた RNN や CNN ベースの NMT の翻訳精度を上回り，現在注目を集めている。

これまで，統計的機械翻訳や NMT では，文構造 （句構造や係り受け構造など）を考慮することで翻訳精度が改善されている. Transformer NMT におい ても例外ではなく, 原言語文や目的言語文の文構造を活用することで，その翻訳精度が向上するこ とが報告されている $[1,3,6,9,10,11,13]$. 出口ら [13] は, self-attention の一部に対して, 係り先の単語に注意が向くような制約を与えて学習すること で，文の係り受け構造を捉える self-attention（以降， dependency-based self-attention（DBSA）と呼ぶ）を提案し，Transformer NMT のエンコーダとデコーダで DBSA を使うことで，翻訳時に原言語文と目的言語文の係り受け構造を考慮して翻訳を行うモデルを提案した. そして, Asian Scientific Paper Excerpt Corpus (ASPEC) [5] の日英, 英日翻訳において翻訳精度の 改善を確認している。

通常の Transformer NMT では，デコーダの selfattention を学習する際，推論時には生成していない 単語に対する関連を算出しないように自身より後方 の単語をマスクする. 出口らのモデルにおいても, デコーダの DBSA が未生成の単語に対して注意を向 けないように，自身より後方の単語に係る係り受け 関係はマスクして学習される. そのため, デコーダ の DBSA は後方に向かう係り受け関係は活用できな
い。一方，言語によっては，後方に向かう係り受け 関係が多く生じる。例えば日本語では，通常，係り 先は自分の文節より後方の文節になる。そのような 言語が目的言語の場合，デコーダの DBSA の効果が 十分に得られないと考えられる。文献 [13] におい て，日英翻訳では提案モデルにより BLEUが 1.04 ポ イント向上したが，英日翻訳では 0.30 ポイントの向上にとどまっていることもこれを裏付けていると考 えられる。

そこで本研究では，ほとんどの係り受け関係に おいて係り先が自身より後方になる日本語が目的言語となる翻訳を想定し，目的言語文（日本語文） の文構造を self-attention で効果的に捉えるための Transformer NMT モデルを提案する。具体的には， DBSA に基づくモデル [13] のデコーダにおいて，目的言語文を文頭単語から順に生成するのではなく,文末単語から順に通常の逆順で生成する。この逆順 デコーダにより，自身より後方の単語に係る係り受 け関係に対して，係り先の単語は係り元の単語より 先に生成されるため，マスクされることなくデコー ダの DBSA で捉えることが可能となる。

ASPEC の英日翻訳実験において提案モデルと従来の出口らのモデル [13] を比較した結果, 目的言語文を逆順で生成することにより，DBSA に基づく Transformer NMT の性能が，学習データが 10 万文対 の場合は BLEU で 0.74 ポイント， 100 万文対の場合 は 0.11 ポイント改善することを確認した.

## 2 従来モデル:DBSAに基づくTransformer NMT

本節では，提案モデルの基礎となる DBSA に基 づく Transformer NMT [13] を概説する。概要図を 図 1 に示す. DBSA に基づくモデルは，Transformer NMT [7] のエンコーダとデコーダに，係り受け関係

図 1 DBSA に基づくTransformer NMT [13] の概要図

を一部のヘッドで捉える multi-head self-attention で ある DBSA を導入し，原言語文と目的言語文の係り 受け構造を考慮した翻訳を行う，図 1 では，DBSA が $p_{\text {enc }}$ 層目のエンコーダと $p_{d e c}$ 層目のデコーダに 組み込まれている.

DBSA に基づくモデルの学習では，次式の目的関数 $\mathscr{L}$ 最小化することで，翻訳と係り受け解析を 同時に学習する.

$
\mathscr{L}=\mathscr{L}_{\text {trans }}+\lambda_{\text {enc }} \mathscr{L}_{\text {encdep }}+\lambda_{\text {dec }} \mathscr{L}_{\text {decdep }}
$

ここで, $\lambda_{\text {enc }}>0$ と $\lambda_{\text {dec }}>0$ はハイパーパラメー タである. $\mathscr{L}_{\text {trans }}$ は翻訳に関する誤差であり，ラ ベル平滑化交差エントロピーにより算出する。ま た, $\mathscr{L}_{\text {encdep }}$ と $\mathscr{L}_{\text {decdep }}$ はそれぞれエンコーダ側と デコーダ側の DBSA で捉える係り受け解析に関する 誤差であり，交差エントロピーによって算出する。 ただし， $\mathscr{L}_{\text {decdep }}$ を算出する際は，推論時には予測 していない単語に注意を向けないようにするため,自身より後方の単語への係り受け関係はマスクさ れる。

## 2.1 Transformer NMT

Transformer NMT は，入力文を中間表現に変換す るエンコーダと中間表現から出力文を生成するデ コーダを組み合わせたエンコーダ・デコーダモデル である. エンコーダやデコーダの入力は, 入力単語 の埋め込み表現に，入力単語の文における位置情報 をエンコードした位置エンコーディングを加えた
ものである．エンコーダとデコーダでは，それぞれ エンコーダレイヤとデコーダレイヤが複数層積み 重ねられている。エンコーダレイヤは，入力側から 順に, self-attention, 位置毎のフィードフォーワード ネットワークの 2 つのサブレイヤで構成されてい る. デコーダレイヤはエンコーダレイヤのサブレ イヤに，原言語文と目的言語文間の encoder-decoder attention を加えた 3 つのサブレイヤで構成されてい る. 各サブレイヤ間では，残差接続を行った後，層正規化が適用される.

self-attention 及び encoder-decoder attention は multihead attention により実現される. multi-head attention は, 単語間の関連の強さを捉える機構であり, 単語の 埋め込み次元 $(d$ 次元 $)$ を $n_{\text {head }}$ 個の $d_{\text {head }}\left(=d / n_{\text {head }}\right)$次元の部分空間に射影し，部分空間毎に attention の計算を行う．各部分空間をへッドと呼ぶ. $h$ 番目のヘッドでは， $h$ 番目の部分空間に射影された multi-head attention の入力 $Q_{h}, K_{h}, V_{h}$ に基づき，次式 の演算により，単語間の関連の強さを重みとする重 み付き和表現 $M_{h}$ を得る。

$
\begin{array}{r}
A_{h}=\operatorname{softmax}\left(d_{\text {head }}^{-0.5} Q_{h} K_{h}^{T}\right) \\
M_{h}=A_{h} V_{h}
\end{array}
$

ここで， $A_{h}$ が単語間の関連の強さを表す行列であ る. ただし，デコーダの self-attention を学習する際 は，推論時には予測していない単語との関連を求め ないように, $Q_{h}$ の各単語に対する後方の単語を表す $K_{h}$ の各成分をマスクしてから $A_{h}$ を求める. 全へッ ドの計算が終わったら，それらの出力 $M_{1, \ldots, n_{\text {head }}}$ を 結合し，単語の埋め込み次元に線形変換した以下の $M$ が， multi-head attention の出力となる.

$
M=W^{M}\left[M_{1} ; M_{2} ; \ldots ; M_{n_{\text {head }}}\right]
$

ここで， $W^{M} \in \mathbb{R}^{d \times d}$ はパラメータ行列である.

目的言語文は，デコーダの最終層の出力を単語の 語彙数次元に線形変換した後，ソフトマックス関数 をかけることで得られる単語出力確率分布に基づき 生成する。

## 2.2 DBSA

DBSA は， multi-head attention の一部のヘッドにお いて, Deep Biaffine parser [2] の要領で係り受け関係 を捉える。具体的には，係り受け関係を捉えるへッ ドの入力を $Q_{d e p}, K_{d e p}, V_{d e p}$ とすると，まず次式 の通り，bi-affine 変換によって単語間の係り受け関
係を示す行列 $A_{\text {dep }}$ を求める.

$
A_{d e p}=\operatorname{softmax}\left(Q_{d e p} U^{(1)} K_{d e p}^{\top}+Q_{d e p} U^{(2)}\right)
$

ここで, $U^{(1)} \in \mathbb{R}^{d_{\text {head }} \times d_{\text {head }}}, U^{(2)}=\overbrace{(\mathbf{u} \ldots \mathbf{u})}^{n}, \mathbf{u} \in$ $\mathbb{R}^{d_{\text {head }}}$ はパラメータ行列である. また, $A_{d e p}$ の要素 $A_{d e p}[v, w]$ は, 単語 $w$ が単語 $v$ の係り先である確率を示している. その後, $A_{d e p}$ と $V_{d e p}$ をかけ合わ せることで単語間の係り受け関係の強さを重みとす る重み付き和表現 $M_{d e p}$ を得る.

$
M_{d e p}=A_{d e p} V_{d e p}
$

multi-head self-attention において，ある 1 つのへッド を $M_{d e p}$, 残りを通常のヘッドとしたものが DBSA である. つまり， $M_{\text {dep }}$ と $n_{\text {head }}-1$ 個の通常のへッ ド $\left(M_{2, \ldots, n_{\text {head }}}\right)$ を結合し, 単語の埋め込み次元に線形変換した以下の $M^{(p)}$ が，DBSA の出力である.

$
M^{(p)}=W^{M^{(p)}}\left[M_{\text {dep }} ; M_{2} ; \ldots ; M_{n_{\text {head }}}\right]
$

ここで, $W^{M^{(p)}} \in \mathbb{R}^{d \times d}$ はパラメータ行列である.

DBSA はサブワード列に適用できるように拡張さ れている. サブワード単位の DBSA は，まず，単語単位の係り受け構造をサブワード単位の係り受け構造に変換する. 具体的には，1つの単語が複数のサ ブワードを含む場合，右端以外の各サブワードの係 り先は隣接する右側のサブワードとし，右端のサブ ワードの係り先は元の単語の係り先1)とする. その 後, 変換したサブワード単位の係り受け構造に対し て DBSA を適用することで，サブワード列に対して DBSA に基づくモデルが適用できる.

## 3 提案モデル：逆順デコーダを用い た DBSA に基づく Transformer NMT

2 節で述べた通り，従来の DBSA に基づくモデル は，デコーダの DBSA を学習する際，自身より後方 の単語に係る係り受け関係はマスクされるため, 目的言語文内の後方への係り受け関係を捉えることが できない。一方で，日本語は自分より後方の文節に 係るという特徴があるため, 日本語が目的言語であ る場合，従来モデルでは日本語文の係り受け関係を ほとんど活用できない.

そこで提案モデルでは，目的言語文を文末から文頭に向かって生成する逆順デコーダを導入すること で前記問題点を解決する．具体的には，提案モデル

1）係り先の単語が複数のサブワードを含む場合，左端のサブ ワードを係り先とする。

(a) 目的言語文とその係り受け構造

(b) 従来モデルのDBSA

(c) 提案モデルのDBSA

図 2 従来モデルと提案モデルのデコーダ側の DBSA の例

を学習する際の目的言語文として，対訳データの目的言語文を逆順に並べ替えた文を用いる。これによ り，元の文では自身より後方にあった係り先が並び 替え後は前方に位置することになり，その係り先へ の係り受け関係がマスクされずに学習できる. そし て推論時には，学習した逆順デコーダを用いて，目的言語文を文末から文頭に向かって生成する.これ により，元の文では後方に向かう係り受け関係を捉 えながら翻訳を行うことが可能となる。そして最後 に，逆順デコーダで生成した逆順の目的言語文を逆 から並べ変えた文を翻訳文として出力する。こうす ることで，自分より後方に係るという特徴を持つ日本語を目的言語とする翻訳において，提案モデルは 日本語文の係り受け構造を活用でき，翻訳精度の向上が期待できる.

図 2 に従来モデルと提案モデルのデコーダ側の DBSA の例を示す. 例文は ASPEC の日本語文の実例である. 図 2 において，斜線のセルはマスクされ る要素，黒いセルは係り先を表す。つまり，学習時 には，係り受け関係を捉えるへッドは黒いセルの確率が 1 に近づくように学習される. 図より, 従来モ デルでは，ほとんどの係り受け関係がマスクされて 考慮されないことが分かる. これは日本語の係り受 け関係が文頭に近い方から文末に近い方に係る特徴 があるためである．また，従来モデルをサブワード
列に適用する際，単語内の各サブワードは，右端の サブワードを除き，右隣に係るように係り受け構造 の変換が行われる（2.2 節参照）ため，単語内のサブ ワード間の係り受け関係も考慮されない。一方で，提案モデルのデコーダでは，目的言語文を逆順にし て扱うため，全ての係り受け関係がマスクされずに 考慮できていることがわかる.

## 4 実験

## 4.1 実験設定

提案モデルの有効性を確かめるため, ASPEC の日英翻訳タスクにおいて，提案モデルを従来の DBSA に基づくモデル [13] と比較する. それぞれのモデ ルを「DBSA (逆順)」,「DBSA (正順)」と表記する. また，係り受け構造を活用しない Transformer NMT に対しても，逆順デコーダの有効性を確認するた め, Transformer NMT モデル [7] とその Transformer NMT において目的言語文を逆順で扱うモデルの 性能も評価する。それぞれのモデルを「Transformer (正順)」,「Transformer（逆順）」と表記する. データ セットは ASPEC[5] の日英対訳コーパスを使用した.学習データは train-1.txt から抽出した上位 10 万文対 と, train-1.txt と train-2.txt から抽出した上位 150 万文対の 2 種類を用いた. 英語の単語分割には Moses Tokenizer，日本語文の単語分割には KyTea を用い た. また，各文は BPEによりサブワードに分割し た. 原言語側と目的言語側で独立に BPE モデルを 学習し, それぞれの語彙数は 16,000 トークンとし た. 英語文の係り受け解析には Stanza, 日本語文の 係り受け解析には EDAを用いた. 従来モデル及び 提案モデルの設定は, 基本的には文献 [13] に従っ た. 文献 [13] の設定からの変更点は, DBSAを組み 込む層を $p_{e n c}=3, p_{d e c}=3$ とし, ミニバッチの大きさ を 100 文，エポック数を学習データが 10 万文対の時 は 50 エポック，150万文対の時は 20 エポックとし た点である. また，ハイパーパラメータ $\lambda_{e n c}, \lambda_{d e c}$ は，0.05,0.1，0.5，1.0を試し，開発データで最も良 い性能であった值を評価時に採用した。

## 4.2 実験結果

表 1 に実験結果を示す。翻訳性能は BLEUにより 評価した. 表 1 より，学習データが 10 万文対と 150 万文対の両方の場合において，DBSA（正順）より 提案モデルである DBSA（逆順）の方が翻訳精度が表 1 実験結果

高いことが分かる. 具体的には，DBSA（逆順）は DBSA（正順）と比べて，学習データが 10 万文対の 場合は BLEUで 0.74 ポイント，学習データが 150 万文対の場合は 0.14 ポイント翻訳性能が高い。これ より，逆順デコーダを用いることで，DBSAに基づ く Transformer NMT の英日翻訳性能が改善でき，提案手法が英日翻訳において有効であることを確認 した.

また，係り受け構造を活用しない Transformer NMT においても，逆順デコーダを用いることで，学習データが 10 万文対の場合は BLEU が 0.53 上が り, 150 万文対の場合は BLEU が 0.24 上がっている ことが分かる. これは, 文献 [8] などで報告されて いる通り, Transformer の self-attention の一部では係 り受け関係などの文構造を捉えている可能性があ り，係り受け構造を教師信号として与えなくても，逆順デコーダを用いることで潜在的に係り受け関係 に近い構造を self-attention で捉えることが可能にな り，DBSA に基づくTransformer モデルと同様の効果 が表れたのではないかと思われる.

## 5 おわりに

本研究では，係り先が自身より後方になる特徵を 持つ日本語が目的言語の場合の翻訳精度を改善す るため，DBSA に基づく Transformer NMT において 目的言語文を逆順で生成する逆順デコーダを活用 する手法を提案した．ASPEC の英日翻訳タスクの 評価実験を通じて，提案手法により，学習データが 10 万文対の場合は BLEU が 0.74 ポイント， 100 万文対の場合は 0.14 ポイント改善することを確認した.今後は中日翻訳などの英日翻訳以外の翻訳対に対す る有効性を確認したい. また，文献 [4] や [12] など のように正順方向と逆順方向のデコーダを組み合わ せた方法への拡張も行いたい。

## 参考文献

[1] Emanuele Bugliarello and Naoaki Okazaki. Enhancing machine translation with dependency-aware self-attention. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 1618-1627, 2020.

[2] Timothy Dozat and Christopher D Manning. Deep biaffine attention for neural dependency parsing. arXiv preprint arXiv:1611.01734, 2016.

[3] Chunpeng Ma, Akihiro Tamura, Masao Utiyama, Eiichiro Sumita, and Tiejun Zhao. Improving neural machine translation with neural syntactic distance. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 2032-2037, 2019

[4] Makoto Morishita, Jun Suzuki, and Masaaki Nagata. NTT neural machine translation systems at WAT 2019. In Proceedings of the 6th Workshop on Asian Translation, pp. 99-105, 2019.

[5] Toshiaki Nakazawa, Manabu Yaguchi, Kiyotaka Uchimoto, Masao Utiyama, Eiichiro Sumita, Sadao Kurohashi, and Hitoshi Isahara. Aspec: Asian scientific paper excerpt corpus. In Proceedings of the 10th International Conference on Language Resources and Evaluation, pp. 2204-2208, 2016.

[6] Yutaro Omote, Akihiro Tamura, and Takashi Ninomiya. Dependency-based relative positional encoding for transformer nmt. In Proceedings of the International Conference Recent Advances in Natural Language Processing 2019, pp. 854-861, 2019

[7] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In $A d$ vances in Neural Information Processing Systems 30, pp. 5998-6008. 2017.

[8] Elena Voita, David Talbot, Fedor Moiseev, Rico Sennrich, and Ivan Titov. Analyzing multi-head self-attention: Specialized heads do the heavy lifting, the rest can be pruned. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 5797-5808, 2019.

[9] Xing Wang, Zhaopeng Tu, Longyue Wang, and Shuming Shi. Self-attention with structural position representations. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, pp. 1403-1409, 2019.

[10] Shuangzhi Wu, Dongdong Zhang, Zhirui Zhang, Nan Yang, Mu Li, and Ming Zhou. Dependency-to-dependency neural machine translation. IEEE/ACM Transactions on Audio, Speech, and Language Processing, Vol. 26, No. 11, pp. 2132-2141, 2018

[11] Meishan Zhang, Zhenghua Li, Guohong Fu, and Min Zhang. Syntax-enhanced neural machine translation with syntax-aware word representations. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 1151-1161, 2019.

[12] Long Zhou, Jiajun Zhang, and Chengqing Zong. Synchronous bidirectional neural machine translation. Transactions of the Association for Computational Linguistics, Vol. 7, pp. 91-105, 2019.

[13] 出口祥之, 田村晃裕, 二宮崇. 係り受け構造に基づく attention の制約を用いた transformerニューラル機械翻訳. 自然言語処理, Vol. 27, No. 3, pp. 553-571, 2020.


# 人手書き起こしの知識を用いた音声認識誤りに頑健な機械翻訳

福田りょう 須藤克仁 中村哲
奈良先端科学技術大学院大学
\{fukuda.ryo.fo3, sudoh, s-nakamura\}@is.naist.jp

## 1 はじめに

一般的な音声翻訳システムは, 発話をテキスト化 する音声認識モデル (ASR) と,テキストを他言語へ 翻訳する機械翻訳モデル (MT) を持つ.こうしたシ ステムにおいて, MT が入力として受け取る ASR 出力には音声認識誤りが含まれることがあり, 翻訳精度低下の原因となる。

本研究では, 高精度かつ音声認識誤りに対して頑健な音声翻訳システムの実現を目的とし, 人手の書 き起こしと ASR の出力を効果的に組み合わせた機械翻訳モデルの学習手法を提案する. 具体的には, 書 き起こしを入力として学習した MT の出力を教師信号として, ASR 出力を入力とする MTを学習する.こ れは, 高品質な対訳で学習した教師モデルの知識を 実環境用のモデルへ引き継ぐ知識蒸留であり, 高い 翻訳精度を維持しつつ音声認識誤りに対して頑健に なることを期待するものである.

実験では, 書き起こしと音声認識誤りを混合して 学習させたモデルに対して, およそ $0.5 \mathrm{pt}$ の BLEU ス コア向上を示した. また, ドメイン適応学習の手法で ある Fine-tuning との併用を検討し, より高い翻訳精度が得られることを確認した。

## 2 関連研究

音声翻訳システムにおける, ASR 出力の曖昧性や 音声認識誤りを考慮した機械翻訳の研究がこれまで 多く行われている. Sperber ら [1] は ASR のラティス 構造を, Osamura ら [2] は ASR の出力分布をニュー ラル機械翻訳 (NMT) の入力として用いることで, ASR 出力の曖昧性を考慮する翻訳手法を提案した. Sperber ら [3], Xue ら [4] は, 対訳の原言語文に擬似的 な音声認識誤りを含ませることで, 音声認識誤りに 対する翻訳精度が向上することを示した。

知識蒸留 (Knowledge Distillation) [5, 6] は, 機械学習 において教師モデルの出力を生徒モデルに模倣させ る学習手法であり, よりパラメータの多い複雑なモ

(a) Knowledge Distillation

(b) Fine-tuning

図 1 本稿の学習方式.

デルから軽量なモデルへ, あるいは高機能で低速な モデルから高速なモデルへといった形で利用されて きた.

また, 低資源下における機械翻訳の学習手法とし てドメイン適応 (Domain Adaptation) [7] が知られて いる.ドメイン適応は, 対訳データの少ない対象ドメ インの翻訳学習に, 外部ドメインの対訳データや対象ドメインの単言語データを利用する手法である。

Di Gangi ら [8] は, 話し言葉機械翻訳において, 書 き起こしと ASR 出力を併用したドメイン適応学習 を行うことで，一方のみを用いた場合と比較して翻訳精度が向上することを示した. 本研究では, 書き起 こしと ASR 出力のより効果的な活用を目指し, 知識蒸留に基づく学習, 及びドメイン適応との併用を検討した.

## 3 提案手法

## 3.1 知識蒸留

知識蒸留を用いた学習の概略を図 1(a) に示す.ま ず教師モデル $\left(N M T_{\text {teacher }}\right)$ として, 人手による書き 起こし $\left(X_{\text {gold }}\right)$ を入力とした機械翻訳を学習する。
表 1 Fisher データセットのデータ統計. 対訳文の数と, 前処理後のファイルのトークン数. Dev, Test データにおいては 4 通りの Disfluent translation, 2 通りの Fluent translation がそれぞれ用意されている

続いて, 生徒モデル $\left(N M T_{\text {student }}\right)$ として ASR 出力 $\left(X_{a s r}\right)$ を入力とした機械翻訳を学習する.この時, 出力 $\left(Y_{\text {asr }}^{\prime}\right)$ が教師モデル $\left(Y_{\text {gold }}^{\prime}\right)$ と同一になるように交差エントロピー損失の最小化が行われる. 知識蒸留 の手法として sequence-level knowledge distillation [9] を用いる.これは, 教師モデルの出力分布を学習する word-level knowledge distillation と対照的に, 教師モデ ルでビーム探索を行い, 決定した出力トークンの系列を学習する方式である. また, 教師と生徒のモデル 構造は同一とする.つまり一般的な知識蒸留が「"強 い"モデルの知識を"弱い"モデルへ蒸留する」ことに 対し,ここでは「"強いデータ"で学習したモデルの知識を"弱いデータ"で学習するモデルへ蒸留する」こ とを行う。

## 3.2 ドメイン適応

今回, ドメイン適応の典型的な手法である Multi-domain 学習 [7] と Fine-tuning [10] を検討した. Multi-domain 学習はドメイン外データとドメイン 内データを混合して学習に用いる手法である。 Fine-tuning は, ドメイン外データでモデルを事前学習後, ドメイン内データで追加学習を行う手法で ある. 図 1(b) に Fine-tuning による学習の概略を示 す. 上段では, 人手による書き起こしを入力として ニューラル機械翻訳 (NMT) の事前学習を行い, 後段 では, ASR 出力を大力として $N M T$ を追加学習する.

## 4 実験

## 4.1 実験設定

## 4.1.1 データセット

実験には, IWSLT 2020 Conversational Speech Translation [11] の Fisher データセットを使用して, スペイ ン語から英語へのテキスト翻訳を学習する.これは, 160 時間のスペイン語会話音声とその書き起こし (Gold transcript) である LDC Fisher Spanish speech コー パス [12] に ASR 出力 (ASR output) と英語の翻訳テ
キスト (Disfluent translation) [13], フィラーや言い淀 みなどを除去した流暢な英語の翻訳テキスト (Fluent translation) [14] を加えたマルチウェイ対訳データ セットである. その中で, 今回は Gold transcript, ASR outputを入力として, Fluent translation を出力として 用いた. データ統計を表 1 に示す.

## 4.1.2 モデル

Transformer [15] を構築した. Transformer の構成およ びハイパーパラメータは transformer_base [15] に準 じる. Encoder, Decoder はそれぞれ 6 層とし,トーク ンの埋め込みべクトル, 各層の隠れ状態べクトル, フィードフォーワードネットワークの次元数をそれ ぞれ 512, 512, 2048 とした. サブレイヤの dropout は 0.1 の確率で行い, Multi-head attention のヘッド数は 8 とした. 最適化アルゴリズムは Adam を使用し, その パラメータを $\beta_{1}=0.9, \beta_{2}=0.997$ に設定の上, 学習率の初期値を 0.0007 として Vaswani ら [15] の方法 で学習率を変化させた. ミニバッチのサイズは 4096 トークンとして, 8 個積み重ねて 1 回更新することを 学習が収束するまで行った. モデルは 5000 回更新 する毎に Dev セットで損失を計算し, 最終的に最も 小さい値を獲得したモデルでテストを行った. また データは, subword-nmt ${ }^{2}$ を用いて Byte Pair Encoding (BPE) によるサブワード分割 [16] を行った. 語彙数 はそれぞれ最大およそ 8000 に設定している。

実験では,ベースラインとして
- Single ${ }_{\text {gold }}$ : Gold transcript で学習したモデル
- Single $_{a s r}$ : ASR output で学習したモデル

を用意した. また, ドメイン適応手法として

データを混合した Multi-domain 学習モデル
- $\mathrm{FT}_{\text {gold } \rightarrow \text { asr }}$ : Single gold に対し ASR output で追加学習を行った Fine-tuning モデル

を作成した. また知識蒸留は ASR outputを入力とし，

表 2 BLEU スコアによる翻訳精度の比較.†はベースラインモデル Single $_{\text {asr }}$, ‡は Fine-tuning モデル FT $_{\text {gold } \rightarrow \text { asr }}$ より有意 に高いことを示す(いずれも $p<0.05)$.

- $\mathrm{KD}_{\text {gold }}$ : Single gold の出力を教師信号として学習 したモデル

して学習したモデル
- $\mathrm{FT}+\mathrm{KD}_{\text {gold }}$ : Single gold $^{\mathrm{K}^{2}} \mathrm{KD}_{\text {gold }}$ の方式で追加学習を行う, Fine-tuning と知識蒸留を組み合わ せたモデル

を作成した. Dev セットで検証する際には, ASR output の入力に対して行い, 出力を 2 通りの Fluent translation で評価した. Test セットによる評価時は, Gold transcript と ASR outputを入力とし, 2 通りの Fluent translation (Fisher/Test0, Fisher/Test1) それぞれ に対して BLEU スコアを測定した. また, ベースラ インと提案手法間でブートストラップ再サンプリ ング方式による BLEU スコアの有意差検定 [17] を 行った. 実装は util-scripts の paired-bootstrap.py ${ }^{3}$ を使用し, 有意水準を $5 \%$ とした.

## 4.2 実験結果

実験結果を表 2 に示す. ベースライン同士を比較

訳精度である一方, ASR outputを入力した場合にお

よって結果が大きく変化せず,いずれも Single gold に Gold transcript を入力した場合を $9 \mathrm{pt}$ 程度下回った.書き起こしを入力として学習した MT は, 高い翻訳能力を獲得し得るが, 音声認識誤りに対する頑健性 が低い. 反対に, 音声認識誤りを含む入力を用いて 学習した MT は, 音声認識誤りに頑健であるものの 基本となる翻訳能力が低い. そのため実用の場面で ASR output を入力することを想定した場合, 両モデ

図 2 ベースラインモデル Single $_{\text {asr }}$ と, 知識蒸留を行った 提案手法 $\mathrm{KD}_{\text {gold }}$ の学習曲線の比較.

ルはおよそ対等であると言える。

また Single gold と比較して,ドメイン適応を行った 2 手法 (Multi gold\&asr, $\mathrm{FT}_{\text {gold } \rightarrow \text { asr }}$ ) は, Gold transcript に対する精度が 1 2pt 低下する代わりに ASR output に対する精度が 0.7 0.9pt 向上した. これは人手の書 き起こしと ASR 出力を併用した学習が, 翻訳精度向上に効果的であることを示している。

## 4.2.1 知識蒸留の効果

$\mathrm{KD}_{\text {gold }}$ は, ASR output に対する翻訳精度がベース ラインやドメイン適応のモデルより有意に高く, 知識蒸留の有用性を示している. Single ${ }_{\text {asr }}$ と比較し た時, 学習の差は教師信号を人手による参照訳から Single $_{\text {gold }}$ の出力に変更した点である.この変更で， ASR output に対しおよそ $1 \mathrm{pt}$ の向上が観測された. その理由として, MTを通すことで自然発話の多様性 または複雑性が失われ, 学習の難しさが緩和された ことが考えられる. 実際に, 学習時の損失の変化を示 した図 2 では, $\mathrm{KD}_{\text {gold }}$ がより低い位置で推移してい ることが見て取れる. しかし, 反対に Gold transcript に対しては $1 \mathrm{pt}$ の低下があった. 教師として与えた MT 出力と Test セットの人手による参照訳との間で

成例. 上の例で, Single ${ }_{a s r}$ は音声認識誤り (“sur”) を直訳 (“South”) したが, FT + $\mathrm{KD}_{\text {gold }}$ はこれを無視した. また ASR output が記号や大文字を含まないことも翻訳精度低下の原因になりうる. 下の例で, 記号 (“i”, “?”)を含まない疑問文に対し, Single $_{\text {asr }}$ は平叙文を訳出したが, $\mathrm{FT}+\mathrm{KD}_{\text {gold }}$ では疑問符を回復した.

表 4 知識蒸留における教師モデルの出力の BLEU ス

生じた分布の差異がこの原因として考えられる.

他方, $\mathrm{KD}_{\text {gold\&asr }}$ は, 大きく精度が低下した.知識蒸留を行ったそれぞれの教師モデル (Single gold , Multi ${ }_{\text {gold\&asr }}$ ) の Train データにおけ る BLEU スコアを表 4 に示す. Train データに対し，両者には $10 \mathrm{pt}$ 近いスコアの差がある. Multi ${ }_{\text {gold\&asr }}$ は Single $_{\text {gold }}$ と比べて, ASR output に頑健であるが, Gold transcript の翻訳精度は低い.このことから, 生徒モデルの教師となるデータにはある程度の高品質 さが求められることが分かる.

## 4.2.2 知識蒸留とドメイン適応の併用

知識蒸留と Fine-tuning を組み合わせた $\mathrm{FT}+\mathrm{KD}_{\text {gold }}$ は, ASR output に対し最も高い翻訳精度を達成し， ベースラインと比較して $1 \mathrm{pt}$ 程度の向上が確認され た. 生成例の比較を表 3 亿示す. また知識蒸留のみ 行ったモデルと比較して, Gold transcript に対する翻訳精度が大きく向上しており, Single gold の基本翻訳性能の高さを引き継ぎながら音声認識誤りに対す る頑健性を獲得できたと言える. Fine-tuning はパラ メータを, 知識蒸留は出力の知識を, それぞれ事前学習モデルや教師モデルから引き継ぐ. このように 両者は異なる情報を継承するため, 併用することで それぞれを単体で用いたモデルより高い評価値を 得た.

## 5 おわりに

本研究では, 書き起こしテキストと ASR 出力の併用による機械翻訳モデルの学習手法を検討した. 実験では, 知識蒸留とドメイン適応が音声認識誤りへ の頑健性獲得のために有効であることを示し, 更に これらを併用することでより高い翻訳精度を達成で きることを確認した。

今後の課題として, まず ASR 出力の精度による提案手法の有効性の変化を検証する. 今回用いた ASR 出力は, HMM に基づく音声認識モデルによるもので あり, Fisher/Test に対し WER 36.5pt [13] と比較的多 くの誤りを含んでいる.より音声認識誤りの少ない ASR 出力に対しても本研究の手法が有効であるかど うかを確認したい. また, 学習手法についても広範に 検証を行っていく必要がある. 例えばドメイン適応 の一手法である Multi-domain 学習にも, 文頭にドメ インタグを付加して区別させる方法やドメイン間の データ数を揃える upsampling や downsampling など 数多くの変種が存在する. 知識蒸留では, word-level knowledge distillationを用いてより豊富な知識を継承 することで更なる向上が期待できる.

## 謝辞

本研究の一部は JSPS 科研費 JP17H06101 の助成を 受けたものである.

## 参考文献

[1] Matthias Sperber, Graham Neubig, Jan Niehues, and Alex Waibel. Neural lattice-to-sequence models for uncertain inputs. arXiv preprint arXiv:1704.00559, 2017.

[2] Kaho Osamura, Takatomo Kano, Sakriani Sakti, Katsuhito Sudoh, and Satoshi Nakamura. Using spoken word posterior features in neural machine translation. architecture, Vol. 21, p. 22, 2018

[3] Matthias Sperber, Jan Niehues, and Alex Waibel. Toward robust neural machine translation for noisy input sequences. In International Workshop on Spoken Language Translation (IWSLT), 2017.

[4] Haiyang Xue, Yang Feng, Shuhao Gu, and Wei Chen. Robust neural machine translation with asr errors. In Proceedings of the First Workshop on Automatic Simultaneous Translation, pp. 15-23, 2020.

[5] Cristian Buciluă, Rich Caruana, and Alexandru NiculescuMizil. Model compression. In Proceedings of the 12th ACM SIGKDD international conference on Knowledge discovery and data mining, pp. 535-541, 2006.

[6] Geoffrey Hinton, Oriol Vinyals, and Jeff Dean. Distilling the knowledge in a neural network. arXiv preprint arXiv:1503.02531, 2015.

[7] Chenhui Chu, Raj Dabre, and Sadao Kurohashi. An empirical comparison of domain adaptation methods for neural machine translation. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 385-391, 2017.

[8] Mattia Antonino Di Gangi, Robert Enyedi, Alessandra Brusadin, and Marcello Federico. Robust neural machine translation for clean and noisy speech transcripts. arXiv preprint arXiv:1910.10238, 2019.

[9] Yoon Kim and Alexander M Rush. Sequence-level knowledge distillation. arXiv preprint arXiv:1606.07947, 2016.

[10] Rico Sennrich, Barry Haddow, and Alexandra Birch. Improving neural machine translation models with monolingual data. arXiv preprint arXiv:1511.06709, 2015.

[11] Ebrahim Ansari, Nguyen Bach, Ondřej Bojar, Roldano Cattoni, Fahim Dalvi, Nadir Durrani, Marcello Federico, Christian Federmann, Jiatao Gu, Fei Huang, et al. Findings of the iwslt 2020 evaluation campaign. In Proceedings of the 17th International Conference on Spoken Language Translation, pp. 1-34, 2020.

[12] David Graff, Shudong Huang, Ingrid Cartagena, Kevin Walker, and Christopher Cieri. Fisher spanish speech (ldc2010s01). Web Download. Philadelphia: Linguistic Data Consortium, 2010.

[13] Matt Post, Gaurav Kumar, Adam Lopez, Damianos Karakos, Chris Callison-Burch, and Sanjeev Khudanpur. Improved speech-to-text translation with the fisher and callhome spanish-english speech translation corpus. In Proc. IWSLT, 2013.

[14] Elizabeth Salesky, Matthias Sperber, and Alex Waibel. Fluent translations from disfluent speech in end-to-end speech translation. arXiv preprint arXiv:1906.00556, 2019.

[15] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob
Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in neural information processing systems, pp. 5998-6008, 2017.

[16] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. arXiv preprint arXiv:1508.07909, 2015.

[17] Philipp Koehn. Statistical significance tests for machine translation evaluation. In Proceedings of the 2004 conference on empirical methods in natural language processing, pp. 388-395, 2004.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 画像生成による疑似教師データを用いた マルチモーダルニューラル機械翻訳

岩本 裕司 ${ }^{1}$ 田村 晃裕 ${ }^{2}$ 二宮崇 ${ }^{1}$
1 愛媛大学 2 同志社大学
${ }^{1}$ \{iwamoto@ai., ninomiya@\}cs.ehime-u.ac.jp ${ }^{2}$ aktamura@mail.doshisha.ac.jp

## 1 はじめに

近年，ニューラル機械翻訳（Neural Machine Translation; NMT）の性能を向上させる手段の 1 つとして，マルチモーダルニューラル機械翻訳 (Multimodal Neural Machine Translation; MNMT) が注目されている. MNMT は翻訳元の文（原言語文）だけでなく関連画像も用いることで，これらの 画像を手がかりに状況に即したより自然な翻訳文 （目的言語文）を生成することを目的としている. MNMT モデルの学習には通常，対訳テキストデー 夕に加えて関連画像が必要となるが，そのような原言語文, 目的言語文, 関連画像で構成される 3 つ組 の対訳データは通常の対訳データに比べ非常に小規模なものしか存在していない。また，通常の対訳 データに比べ，MNMT 学習のための 3 つ組データが 存在する言語ぺアや領域は非常に限られている.

本研究では，従来の MNMT 用学習データ（3つ組 データ）に比べて比較的入手が容易な対訳テキスト データと，原言語側の画像キャプションデータから MNMT の学習を行う方法を提案する. 提案手法で は，まず対訳テキストデータから NMT モデルを学習し，画像キャプションデータの原言語文を NMT モデルで翻訳することで初期疑似 3 つ組データを生成する. 次に, MNMT モデルと, 対訳文ペアから画像を生成する text-to-image（T2I）モデルの 2 つのモ デルを，初期擬似 3 つ組データから学習し，両モデ ルを初期化する．最後に，T2I モデルと MNMT モデ ルを逆翻訳形式のフレームワークを用いて交互に再学習する. このフレームワークでは, MNMT モデ ルは対訳テキストデータと T2I モデルによって生成 された画像による疑似 3 つ組データで学習し, T2I モデルは画像キャプションデータと MNMT モデル によって生成された目的言語文による疑似 3 つ組 データで学習する。実験では，学習データとして Multi30kデータセッ ト [1] の英独対訳テキストデータと MSCOCO デー タセット [2] の画像キャプションデータを用いた. そして，テストデータとして Multi30kテストデータ セットを用いて，英独翻訳タスクで提案手法の評価 を行った. その結果, 提案の MNMT モデルは大力画像を用いない NMT モデルよりも優れた翻訳性能 を持つことを確認し（+1.38 BLEU スコア），提案す る逆翻訳形式の学習方法は MNMT の翻訳性能を向上させる（+2.8 BLEU スコア）ことが示された. ま た，実験を通じて，提案の学習方法により訓練され た MNMT は, 真の 3 つ組データ（Multi30K訓練デー タセットの 3 つ組データ）から訓練された MNMT モデルよりも優れていることが示された. さらに， WMT14 データセットおよび GoodNews データセッ 卜[3]を用いた事前学習を行った結果，翻訳精度が さらに改善される（+1.07 BLEU スコア）ことが示さ れた。

## 2 関連技術

## 2.1 Transformer ベースの MNMT

近年，ニューラルネットワークをべースとしたモ デルがマルチモーダル機械翻訳のためによく用い られており，特に Transfomer NMT モデル [4] をマル チモーダル機械翻訳に拡張した Transformer ベース の MNMT モデル [5] が非常に高い性能を実現してい る. 本研究でも Transformer ベースの MNMT モデル を使用する。

本研究で使用する Transformer ベースの MNMT モデルの構造を図 1 に示す.このモデルは， Transformer NMT モデルに入力画像用のエンコーダ が追加され，画像エンコーダ，テキストエンコー ダ，テキストデコーダで構成されている。また，テ キストエンコーダには，画像特徵と原言語文の各単

入力画像

入力文

(予測済み)

図 1: MNMT モデルの構造

語との関係の強さを計算する視覚的注意機構 [6] が 組み込まれている. 画像エンコーダは，まず入力画像から CNN を用いて画像特徴量を抽出し，その 後，線形変換を施すことで画像を画像特徴ベクトル にエンコードする。なお，本研究では CNN として ResNet50 [7] を用いた. テキストエンコーダとテキ ストデコーダは，テキストエンコーダ内の各レイ ヤーが，画像と原言語文の各単語との間のマルチ ヘッドアテンション（視覚的注意機構）を有するこ とを除いて，Transformer NMT と同じである.

## 2.2 Text-to-Image モデル

Text-to-Image（T2I）モデルは，入力として文およ びランダムノイズを受け取り，受けとった文の意味 に沿った本物に近い画像を生成するモデルである. ランダムノイズは，背景やオブジェクトの位置，向 きなどの，文には現れない情報を決定するために入力される. T2I モデルは敵対的生成ネットワークを 用いて学習され，主に画像を生成する生成器と，画像が本物であるかを識別する識別器の 2 つのモデル で構成されている。

従来の T2I モデルでは，1 つの文から 1 つの画像 を生成する. しかし，本提案手法では対訳テキスト （原言語文と目的言語文）から 1 つの画像を生成す る T2I モデルを用いる。具体的には，最先端の T2I モデルの 1 つである AttnGAN モデル [8] をバイリン ガルな設定（対訳文ペアを入力にするモデル）に拡

張する. 本研究では， AttnGAN のテキストエンコー ダーと注意機構を改良し，AttnGAN をバイリンガル な設定に拡張する。以降では，改良したAttnGANを BiAttnGAN と呼ぶ. BiAttnGANでは，原言語文と目的言語文のそれぞれに対してエンコーダと注意機構 を導入し，これら２つのエンコーダと注意機構の出力をそれぞれ連結したものを生成器と識別器で用 いる。具体的には，原言語／目的言語文エンコーダ $E n c_{s r c / t g t}$ は，以下の式のように原言語／目的言語文 $x_{s r c / t g t}$ を単語特徴量 $e_{s r c / t g t}$ と文特徴量 $\bar{e}_{s r c / t g t}$ に符号化する。

$
\begin{array}{r}
e_{s r c}, \bar{e}_{s r c}=E n c_{s r c}\left(x_{s r c}\right) \\
e_{t g t}, \bar{e}_{t g t}=E n c_{t g t}\left(x_{t g t}\right)
\end{array}
$

そして，2つの特徴量を連結したもの（[ $\left.e_{s r c} ; e_{t g t}\right]$ や $\left[\bar{e}_{s r c} ; \bar{e}_{t g t}\right]$ ）をテキスト特徴量として用いる.ま た，以下のように注意機構を用いて，画像とテキス トとの関連性を反映した画像特徴量 $h^{\prime}$ を用いる.

$
h^{\prime}=\left[\operatorname{Attn}_{s r c}\left(h, e_{s r c}, e_{s r c}\right), \operatorname{Attn}_{t g t}\left(h, e_{t g t}, e_{t g t}\right)\right]
$

ここで，hと Attnは，それぞれテキストエンコーダ の隠れ状態と注意機構である。

## 3 MNMT のための逆翻訳学習

本節では, 対訳テキストデータ $B=\left(B_{s r c}, B_{t g t}\right)$ と,原言語側の画像キャプションデータ $C=\left(C_{i m g}, C_{s r c}\right)$ から MNMT モデルを学習する手法を提案する．以降は，接尾辞の $s r c, t g t, i m g$ は，それぞれ原言語文，目的言語文，画像を表す. 提案手法の流れをアルゴ リズム 1 に示す. 本手法では，まず対訳テキスト データから NMT モデルを学習し，学習した NMT によって原言語側の画像キャプションデータのキャ プション文を翻訳することで，初期疑似 3 つ組デー タを生成する (1 行目). 次に，生成した初期擬似 3 つ組データを用いて MNMT モデルと T2I モデルの 初期化を行う（2 行目）. 最後に，MNMT モデルと T2I モデルを交互に反復逆翻訳フレームワークを用 いて際学習する $(3 \text { から } 5 \text { 行目 })^{1)}$.

## 3.1 モデルの初期化

逆翻訳形式による学習の準備として，Transformer ベースの MNMT モデルと BiAttnGAN モデルの初期化を行う. これらの初期化に用いる 3 つ組データ は，Transformer NMT を用いて擬似的に作成する。

1）実験では，アルゴリズム 1 の 3 行目における $\mathrm{N}$ の值は 15 に 設定した.

## アルゴリズム 1：学習アルゴリズム

入力 : $B=\left(B_{s r c}, B_{t g t}\right), C=\left(C_{s r c}, C_{i m g}\right)$

1. 初期擬似 3 つ組データの生成：まず，NMT モデル $P_{s r c \rightarrow t g t}$ を $B$ から学習する. その後, 3 つ組データ $\left(C_{s r c}, C_{t g t^{\prime}}, C_{\text {img }}\right)$ を生成する. ただし $C_{t g t^{\prime}}=P_{s r c \rightarrow t g t}\left(C_{s r c}\right)$ である.

2. モデルの初期化：MNMT モデル $P_{(s r c, i m g) \rightarrow t g t}^{(0)}$ と $\mathrm{T} 2 \mathrm{I}$ モデル $P_{(s r c, t g t) \rightarrow i m g}^{(0)}$ を初期擬似 3 つ組データ $\left(C_{s r c}, C_{t g t^{\prime}}, C_{i m g}\right)$ を用いて学習する。

## 3. for $k=1$ to $\mathbf{N$ do}

4. MNMT の再学習：MNMT モデル $P_{(s r c, i m g) \rightarrow t g t}^{(k)}$ を擬似 3 つ組データ $\left(B_{s r c}, B_{i m g^{\prime}}, B_{t g t}\right)$ を用いて 再学習する。

5. ただし $B_{i m g^{\prime}}=P_{(s r c, t g t) \rightarrow i m g}^{(k-1)}\left(B_{s r c}, B_{t g t}\right)$ である. T2I の再学習：T2I モデル $P_{(s r c, t g t) \rightarrow i m g}^{(k)}$ を 擬似 3 つ組データ $\left(C_{s r c}, C_{\text {img }}, C_{t g t^{\prime}}\right)$ を用いて 再学習する. 6. end ただし $C_{t g t^{\prime}}=P_{(s r c, i m g) \rightarrow t g t}^{(k-1)}\left(C_{s r c}, C_{i m g}\right)$ である.

まず，対訳テキストデータから Transformer NMT モ デルを学習する。 そして，学習させた NMT モデル を用いて，原言語側の画像キャプションデータの キャプション文を目的言語の文に翻訳する。このよ うにして作成した初期擬似 3 つ組データを用いて， MNMT モデルおよび BiAttnGAN モデルを学習する ことで，両モデルの初期化を行う.

## 3.2 MNMT の再学習

MNMT モデルの再学習では, BiAttnGAN モデル を用いて再学習を行う。まず，BiAttnGAN モデルを 用いて，対訳テキストデータの各対訳文ペアから画像を生成する. 次に, 対訳テキストデータと生成し た画像で構成される疑似 3 つ組データから MNMT モデルを学習する。学習では, 原言語文と生成画像 から予測された目的言語文 $y$ が疑似 3 つ組データの 目的言語文 $t$ と同じになるように，以下のクロスエ ントロピー損失 $L_{M}$ を最小化する.

$
L_{M}=-\sum_{i=0}^{l-1} t_{i} \times \log P\left(y_{i}\right)
$

ここで，lは目的言語文の長さである.

## 3.3 T2I の再学習

BiAttnGAN モデルの再学習では, MNMT モデル を用いて再学習を行う．まず，MNMT モデルを用 いて，画像キャプションデータから目的言語文を生成する. 次に，画像キャプションデータと生成した 疑似目的言語文で構成される擬似 3 つ組データから BiAttnGAN モデルを学習する。

学習では，原言語文と擬似目的言語文から生成さ れた画像 $y_{i m g}$ と, 本物画像 $t_{i m g}$ が同じになるよう に，次のクロスエントロピー損失 $L_{G}$ を最小化する.

$
L_{G}=-\frac{1}{2} \log P_{R}\left(y_{i m g}\right)-\frac{1}{2} \log P_{S}\left(y_{i m g}, x_{s r c}\right)
$

ここで， $P_{R}$ は生成された画像が本物かどうかを表 す確率であり， $P_{S}$ は生成された画像と文が一致す るかどうかを表す確率である.

## 4 実験

## 4.1 実験設定

本提案手法を英独翻訳による実験で評価した。実験では，Multi30k データセット [1] の英独対訳文 29,000 文対と，画像ごとに 5 つのキャプションが 付与されている MS COCO 2014 データセット [2] の 82,783 枚の画像とそのキャプションを，2 種類の学習データセット（対訳テキストデータと画像キャ プションデータ）として使用した. Multi30k デー タセットの開発データ (1,014 組) とテストデータ (1,000 組)をそれぞれ開発データとテストデータと して使用した. Multi30k データセットの各データは 原言語文, 目的言語文, 画像の 3 つ組で構成される が，提案手法の学習では目的言語文は使用していな いことに注意されたい。

また，提案手法を事前学習に用いる場合の有効性 を調べるため，Multi30k データセットとは異なるド メインの大規模データセットを用いて MNMT モデ ルを事前学習した場合の性能も評価した．事前学習 では，対訳テキストデータとして WMT14 英独デー タセットを，画像キャプションデータセットとして GoodNews データセットを用いた.

初期擬似 3 つ組データを生成する際に用いる Transformer NMT モデルのハイパーパラメータと, Transformer ベースの MNMT モデルのハイパーパラ メータは，Vaswani ら [4] に倣い，レイヤー数を 6 層, 注意機構のヘッド数を 8 個, 隠れ層の次元数
表 1: 実験結果

を 512 に設定した。また，BiAttnGAN のハイパーパ ラメータに関しては，オリジナルの AttnGAN [8] に 倣い, 生成器の次元数を 48, 識別器の次元数を 96 とした. 最適化手法としては Adam [9] を使用した. BiAttnGAN モデルは，ミニバッチサイズ 32 とし, エポック数は初期化時は 100 , 再学習時は 15 で実験 を行った. Transformer NMT モデルは，ミニバッチ 数を 128 ，エポック数を 40 として学習を行った. そ して，Trasformer MNMT モデルは，ミニバッチ数を 128, エポック数は初期化時は 25 , 再学習時は 15 で 学習を行った. また, 単語辞書の作成には Byte Pair Encoding [10]を使用し，トークンサイズを英独合わ せて 7,000とした. なお，これらの翻訳モデルを用 いた目的言語文の推論時には貪欲法を用いた.

## 4.2 実験結果

実験では，次の 6 つのモデルを評価した。(1) 提案 MNMT モデル $\left(M N M T_{\text {prop }}\right)$, (2) 画像入力なし NMT モデル $(N M T)$ ，(3) 初期化時の MNMT モデル $\left(M N M T_{\text {init }}\right)$, (4) 真の 3 つ組データを用いた MNMT モデル $\left(M N M T_{\text {gold }}\right),(5)$ 大規模データセットによる 事前学習を行い, 擬似データを用いて教師無し再学習を行った MNMT モデル $\left(M N M T_{\text {pre_un }}\right)$ ， (6) 大規模データセットによる事前学習を行い，真の 3 つ組 データを用いて教師あり再学習を行った MNMT モ デル $\left(M N M T_{\text {pre_semi }}\right)$ である. $M N M T_{\text {prop }}, N M T$, $M N M T_{\text {init }}, M N M T_{\text {gold }}$ では事前学習を行っていな い.また, NMT は, Multi30k データセットの学習 データの画像を使わずに対訳文から学習したモデル である. $M N M T_{\text {gold }}$ は, Multi30k データセットの学習データに含まれる 29,000 組の 3 つ組データから学習した MNMT モデルであり， $M N M T_{i n i t}$ は，初期疑似 3 つ組データで学習した MNMT モデル（アルゴ リズム 1 の $\left.P_{(s r c, i m g) \rightarrow t g t}^{(0)}\right)$ である.

各モデルの翻訳性能は，開発データの BLEU スコ アが最も高いエポックモデルを選択し，テストデー
タの case-insensitive BLEU4 [11] で測定した．実験結果を表 1 に示す.

表 1 から分かる通り，MNMT $T_{\text {prop }}$ は $M N M T_{\text {init }}$ よ りも高い性能を示している。このことは，擬似 3 つ 組データを用いて MNMT モデルと T2I モデルを交互に学習することで，MNMT の性能が向上するこ とを示している。すなわち，提案手法である逆翻訳形式のフレームワークが有効であることを示してい る. また, $M N M T_{\text {prop }}$ は $N M T$ よりも性能が優れて おり，画像情報の有効性が示されている。 さらに，真の 3 つ組データを用いた $M N M T_{\text {gold }}$ よりも，擬似 3 つ組データを用いた $M N M T_{\text {prop }}$ の方が性能が 高くなっている。これは擬似画像生成による多様な 画像によって学習が行われたためであると考えられ

事前学習を行わないモデルによりも性能が向上して おり，提案手法による大規模データセットを用いた 事前学習が有効であることを示している.

## 5 まとめ

本研究では，マルチモーダル機械翻訳における低 リソース問題を解決するために，対訳テキストデー タと画像キャプションデータから MNMT モデルを 学習するための新しい逆翻訳形式のフレームワーク を提案した。提案手法では，T2I モデルと MNMT モ デルを用いて，一方のモデルにより生成された疑似 3 つ組データに基づいて他方のモデルを学習するこ とで，T2I モデルと MNMT モデルを交互に学習す る。英独翻訳タスクでの評価の結果，提案した逆翻訳形式のフレームワークは MNMT の性能を向上さ せ，提案手法によって学習された MNMT モデルは，真の 3 つ組データから学習した MNMT モデルより も性能が優れていることが示された. また，提案手法による大規模データセットを用いた事前学習が有効であることも示された. 今後は異なる規模やドメ イン，言語対のデータセットを用いた実験を行い，提案手法の有効性を確認したい。

## 謝辞

本研究成果は，国立研究開発法人情報通信研究機構の委託研究により得られたものである. また，本研究の一部は JSPS 科研費 20K19864 の助成を受けた ものである.ここに謝意を表する。

## 参考文献

[1] D. Elliott, S. Frank, K. Sima'an, and L. Specia. Multi30k: Multilingual english-german image descriptions. In Proc. of the 5th Workshop on Vision and Language (VL16), pp. 70-74, 2016.

[2] Tsung-Yi Lin, Michael Maire, Serge Belongie, James Hays, Pietro Perona, Deva Ramanan, Piotr Dollár, and C Lawrence Zitnick. Microsoft coco: Common objects in context. In European conference on computer vision, pp. 740-755. Springer, 2014.

[3] Ali Furkan Biten, Lluis Gomez, Marcal Rusinol, and Dimosthenis Karatzas. Good news, everyone! context driven entity-aware captioning for news images. In Proc. of 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR 2019), June 2019.

[4] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In $A d$ vances in Neural Information Processing Systems 30, pp. 5998-6008, 2017.

[5] Stig-Arne Grönroos, Benoit Huet, Mikko Kurimo, Jorma Laaksonen, Bernard Merialdo, Phu Pham, Mats Sjöberg, Umut Sulubacak, Jörg Tiedemann, Raphael Troncy, and Raúl Vázquez. The MeMAD submission to the WMT18 multimodal translation task. In Proc. of the Third Conference on Machine Translation: Shared Task Papers(WMT18), pp. 603-611, October 2018.

[6] 宅島寛貴, 田村晃裕, 二宮崇, 中山英樹. CNN と Transformer エンコーダを用いたマルチモーダル ニューラル機械翻訳. 言語処理学会第 25 回年次大会, pp. 743-746, 2019.

[7] K. He, X. Zhang, S. Ren, and J. Sun. Deep residual learning for image recognition. In Proc. of 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR 2016), pp. 770-778, 2016.

[8] Tao Xu, Pengchuan Zhang, Qiuyuan Huang, Han Zhang, Zhe Gan, Xiaolei Huang, and Xiaodong He. Attngan: Fine-grained text to image generation with attentional generative adversarial networks. In Proc. of 2018 IEEE Conference on Computer Vision and Pattern Recognition (CVPR 2018), pp. 1316-1324, 2018.

[9] Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. CoRR, Vol. abs/1412.6980, , 2014.

[10] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In Proc. of the 54th Annual Meeting of the Association for Computational Linguistics, pp. 1715-1725, Berlin, Germany, August 2016. Association for Computational Linguistics.

[11] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proc. of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, jul 2002.


# 分割統治的ニューラル機械翻訳

加納保昌 須藤克仁 中村哲
奈良先端科学技術大学院大学
\{kano.yasumasa.kw4, sudoh, s-nakamura\}@is.naist.jp

## 1 はじめに

ニューラル機械翻訳によって、統計的機械翻訳よ りも流暢な訳文を生成できるようになった。しか し、長い文を翻訳することは未だ難しく、重複訳 や、訳抜けなどが発生する。アテンション機構を用 いたニューラル機械翻訳モデルである、Transformer [1]でも、その問題は解決できていない [2]。

統計的機械翻訳では、長い文を短く区切って翻訳 し、並べ替えて繫げるという分割統治的な手法でこ れらの問題を軽減する試みがあった [3]。ニューラ ル機械翻訳においては、Pouget-Abadie ら [4] は、長 い文を短く区切って、各セグメントをRNNを用い て翻訳した。その後、翻訳されたセグメントを、前 から順につなぎ合わせたものを翻訳結果としてい る。しかし、この手法では、語順が大きく異なる言語対を翻訳する際に、出力文が不自然なものになっ てしまう。

そこで、本研究では、翻訳されたセグメントを、 セグメントどうしの関係性を表すトークンを用いて 繋げ、別のニューラルネットワークモデルに入力す る。それによって、セグメントの並べ替えと編集を 実現し、自然な訳文を生成する。

提案手法はベースラインに比べて、BLEUでは顕著な差が見られなかったが、出力文の長さがより参照文へと近くなることがわかった。よって、ニュー ラル機械翻訳における分割統治的手法が、訳抜けを 防ぐために、有効である可能性が示された。今後、並べ替えやセグメント翻訳の精度を上げることによ り、さらなる発展が期待される。

## 2 関連研究

Sudoh ら [3] は、長い文を翻訳するため、統計的機械翻訳に分割統治的手法を用いた。入力文を節の単位に区切って翻訳し、その結果を節の階層構造に基 づいて並べ替えることで、精度を向上させていた。

ニューラル機械翻訳においては、Pouget-Abadie ら
[4] の研究が Sudoh ら [3] と似た手法を用いている。 この手法では、対訳コーパスを用いて学習された、 RNNを用いて最適な文の区切れ目を見つけ、その 各セグメントを翻訳する。しかし、文法的に適切な 境界で分割される保証がないため, 特に語順の異な る言語対において結合した翻訳結果が不自然な文に なる懸念がある。

機械翻訳以外の分野でも、長い文を短く区切って 言い換えるという研究がなされている。Aharoni ら [5] は長い文を、copy 機構を用いた seq2seq モデルに 入力し、複数の短い文で言い換えた。しかし、必要 な情報が抜けたり、不必要な単語が出力されてしま う問題は解決されていない。

短い単位に区切るものとは異なるアプローチで、長い文の機械翻訳を改善する研究もある。Neishi ら [2] は、Transformer の長い文の翻訳精度を上げるた め、RNNを使った相対的位置情報を用いた。

本研究では、Pouget-Abadie ら [4] の手法で問題 であった並べ替えを、セグメント翻訳とは別の ニューラルネットワークモデルで実行する。それに よって、Sudoh ら [3] のような分割統治的な手法を、 ニューラル機械翻訳において実現する。本研究は、 Sudoh [3] らの手法とは異なり、節単位の対訳対応付 けを必要としない。節の翻訳は、文単位の対訳コー パスから学習されたニューラルネットワークモデル により取得する。

## 3 提案手法

## 3.1 提案手法の処理概略

提案手法での翻訳は、大きく分けて、4つのス テップで行われる。図 1 に、英語から日本語への翻訳の概略図を示す。この図では、簡略化のため、サ ブワード分割はされていない。

まず、原言語文を構文解析し、節の境界を探す。次に、節の始めと終わりを境界としてセグメント に区切る。節の中に節を含む場合も、すべての節境

Step1:構文解析

 & Parser & $\Rightarrow$ \\

図 1 提案手法の処理概略

界で分割を行う。Pouget-Abadie ら [4] は、2つの学習済み RNN モデルを用いて最適な境界を探索して いたが、必ずしも、文法的に適切な境界で区切られ るとは限らない。よって、本研究では節単位で区切った。各セグメントの翻訳は、周囲のセグメント の影響を受けるが、節という、比較的大きな意味の ある単位で区切ることによって、その影響を抑える ことが期待できる。

その次に、各セグメントをモデル 1 で翻訳する。 このモデル 1 として、Transformer を用いる。推論時 には、モデル 1 のビーム探索のスコアが最高となる 節の翻訳を出力する。

最後に、モデル 2 を用いてこの結果を並べ替え、編集することで、最終的な訳文を出力する。このモ デル 2 にも Transformer を用いるが、モデル 1 とは 別に学習されたものである。モデル 2 の入力は、原言語の節とその翻訳結果を繋げたものである。具体的には、原言語の各節とその翻訳結果を“@@@” で繋げた。そして、それらの節のペアを“III”で繋げ た。“@@@”や“III” は元の訓練データに含まれてお らず、特殊な一つのトークンとして語彙に含めた。例えば、「I think it is good.」を日本語に翻訳する時に
は、「I think @ @ @ 私は思う。III it is good @ @ @ それ は良い。III.@@@。」のような形で、モデル 2 に 入力されることが想定されている。翻訳された各セ グメントどうしが、どのような関係性をもつのかと いう情報を持っていないため、このように、原言語 の情報を付与する必要がある。Xu ら [6] は、原言語 の文と似た目的言語の文を繋げたものを、モデルに 入力する手法を提案した。本研究では、似ている文 ではなく、翻訳された複数の節を繋げることによっ て、並べ替えと編集をモデル 2 によって実現した。

## 3.2 学習

学習時には、まず、元の対訳コーパスを用いて、英日翻訳をモデル 1 で学習する。その後、図 1 のス テップ 1 からステップ 3 までを、全ての学習データ に対して行う。最後に、ステップ 3 の節の翻訳を図 1 のステップ 4 と同様の形式で繋げたものを入力と し、目的言語文を出力とすることで、モデル 2 を学習させる。

モデル 2 の学習時には、モデル 1 が出力する、複数の翻訳候補を利用して学習を行う。本研究では ビームサイズを 4 としているので、 4 つの候補が出力される。よって、節の翻訳の候補でスコアが最も 高いもののみを繋げた文、2 番目に高いもののみを 繋げた文、というように、四種類の形式をモデル 2 の入力として与えることができる。このように、英語の節の部分は同じだが日本語の部分のみ違うとい う入力文を用いることで、最終的に、モデル 2 のト レーニングデータは 4 倍になった。対応する目的言語の文は、4種類に対して、全て同じものを使う。

## 4 実験

提案手法の有効性を検証するために以下の実験を 行った。

## 4.1 実験設定

対訳コーパスとして、ASPEC [7] の英日 100 万文 (train-1)を用いた。Transformer [1] は、fairseq [8] で 実装されたものを用いた。基本的には、Vaswani ら [1]の結果を再現するためのウェブページ1)に従っ てハイパラメーターを設定した。dropout は 0.3 と し、 length penalty は 1 とした。 checkpoint はパラメー タを 1000 回更新する毎にごとに保存し、開発デー タの loss が最小となる checkpoint を選択した。これ

1) https://sgithub.com/pytorch/fairseq/issues/1352
表 1 入力トークン長ごとの BLEU

表 2 入カトークン長ごとの ratio

以上の詳細は付録に添付する。サブワード分割に は、SentencePiece [9]を用い、語彙の大きさを 16000 とし、日英で語彙を共有した。英語の構文解析に は、stanza [10]を用いた。モデル 1 の入力には、構文解析で出力された単語を空白で繋ぎ、それを SentencePiece でサブワードに分割したものを利用し た。このモデル 1 は、ベースラインの Transformer で あり、モデル 2 を学習する際に必要となるモデルで もある。

実験のベースラインとして，モデル 1 として用 いた通常の Transformer の他に以下の二つの手法を 比較した。一つ目は、線形化された構文木 [11]（構文木をカッコとラベル、単語の系列で表したもの） を Transformerに入力したものである。二つ目は、 Pouget-Abadie らの手法と同様に、モデル 1 から出力 された節の翻訳を、前から順に繋げたものを最終的 な訳文とするモデルである。

テストデータの BLEU [12] スコアは、MeCab [13] によって単語分割し、sacrebleu [14] を用いて算出 した。

## 4.2 実験結果

表 1 と表 2 が英日翻訳の結果である。これらは test データの文を、モデル 1 の入力文のサブワード トークン長さ別に分け、それぞれに対して BLEU と ratioを算出した結果を示している。

ratio は出力文と参照文の長さの比を表し、1より 小さいということは、訳抜けが発生している可能性 を示している。全てのテストデータに対する ratio は、線形化された構文木のモデルや Transformer に 比べ、提案手法の方が大きかった。その一方で、翻訳精度を表す BLEU は Transformer と提案手法では同等である。この結果から、提案手法は訳抜けを防 ぐために長い訳文を出力できるが、参照文に含まれ ていない情報も出力している可能性がある。また、 モデル 2 を使った並べ替えを行わず、モデル 1 の出力を前から順に繋げたモデルは、ratio は 1を大きく 上回っており，また BLEU も比較モデルの中で最も 低かった。この結果は、不必要な情報が翻訳結果に 多く含まれて訳質が低下していることを示してい る。また、提案手法ではモデル 2 の処理によってそ うした不必要な情報を取り除いて訳文を構成できて いることも分かる。

次に、長さ別のスコアを見ると、原言語のサブ ワードトークン数が 60 よりも大きいものに対して、提案手法の BLEU は比較対象の中で最も高い。2 番目に高い Transformer の BLEUを 0.8 上回っており、 ratio も提案手法の方がわずかながら高いことから、提案手法が長文の翻訳において有効であることが示唆される。

長さが 20 以内の短い文に対しても、提案手法は Transformer の BLEUを、0.5 上回った。短い文では、長い文に比べて、節の数が少ない。その結果、分割 が発生しないこともあり、モデル 2 の入力が、原言語文に、その文の翻訳を繋げただけのものもある。 これは、Xu ら [6] の用いた似た訳文の代わりに、モ デル 1 による翻訳を用いたことで、同様の効果が あったと推定される。

表 3 は、各モデルの実際の出力例である。 Transformer では、「伊那谷と木曽谷を結ぶ」という 部分の地名が抜け、代わりに「インターチェンジ・ ゾーンエリアを結ぶ」となっている。「交流圈域」と 類似した意味をもつ「インターチェンジ・ゾーンエ リア」という表現が入っているが、これは、本来な らば、参照訳にあるような「交流圏域の拡大」とい う文脈のみで使われる単語である。また、線形化さ れた構文木のモデルでは、「振興・創出について検討した。」となっているが、「振興・創出をめざす地域整備の方策を検討した。」となるべきである。

これに比べて、提案手法は、より訳抜けを改善し、統語構造も参照訳に近いものとなっている。「イン ダニと木曽谷を結ぶ」の部分では、「木曽谷」とい う地名を出力し、「振興と創出を目指した地域整備 の方策を検討した。」という、参照文に近い構造を 持っている。

実際のモデル 2 の入力は付録に記載するが、表 3 の、モデル 1 による節の翻訳例を見ると、“National

 \\

Route 361 connecting Inadani and Kisodani was approved in the business as a high standard road" という英語の節 が、「インダニと木曽谷を結ぶ国道 361 号が高規格道路として事業で認可された。」とデル 1 によっ て翻訳されている。この節の翻訳がモデル 2 に入力 されていることで、「木曽谷」を正確に翻訳できて いると言える。しかし、節の翻訳は、「地域におけ る産業の振興と創出について検討した。」のように、構文木を使ったモデルと同じような統語構造を持っ ている。これに対し、その節と一つ前の節の「交流圏域の拡大を目指した地域整備の方策」がモデル 2 によって並べ替え、編集されることによって正しい 統語構造が出力されていることが分かる。

## 4.3 考察

提案手法は Transformerに比べ、テストデータ全体に対して、ratio が若干改善したが、BLEU の改善 には結びつかなかった。その理由の一つとして、提案手法の推論時に、ビーム探索によるスコア最大の 節翻訳結果のみを考慮していることが挙げられる。節の翻訳は、隣の節にも依存するため、ビーム探索 の結果の 1-best ではなく、k-best を考慮したモデル を考えることで、より精度の高い節翻訳結果の選択 と結合が行える可能性がある。また、本研究では節 の始めと終わりで区切っているため、節と節の間を 繋ぐ、短いセグメントが生じ得る。そのような短い 単位の翻訳では、重複訳が発生する傾向があった。例えば、“, and”は、「又, 及び, また, そのためのもの である。」のようにモデル 1 によって翻訳されてい る。そのため、節の分割の方法に対する更なる検討 が必要と言える。

また、線形化された構文木のモデルの結果から、構文情報を入力文に付与することが必ずしも長い文 の精度向上に役立つわけではないということが示さ れた。

## 5 おわりに

本研究では、長い文を分割して翻訳し、その結果 を並べ替えて繋げるという分割統治的なニューラ ル機械翻訳の手法を提案した。それによって、訳抜 けを防止できる可能性を示した。コーパス単位の BLEU で顕著な差はなかったが、長文においては一定の効果が見られ、出力長を参照文に近づけること ができた。今後はセグメント分割の手法、セグメン ト単位の翻訳の結合の方法についてさらに検討を進 める。

## 謝辞

本研究の一部は JSPS 科研費 JP17H06101 の助成を 受けたものである。

## 参考文献

[1]Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and

andIllia Polosukhin. Attention is all you need. CoRR, p. Vol.abs/1706.03762, 2017.

[2]Masato Neishi and Naoki Yoshinaga. On the relation between position information and sentence length in neural machine translation. In Proceedings of the 23rd Conference on Computational Natural Language Learning (CoNLL), pages 328-338., 2019.

[3]K. Sudoh, K. Duh, H. Tsukada, T. Hirao, and M. Nagata. Divide and translate: improving long distance reordering in statistical machine translation. In Proceedings of the Joint 5th Workshop on Statistical Machine Translation and MetricsMATR(SMT'10). pages 418-427., 2010.

[4]Jean Pouget-Abadie, Dzmitry Bahdanau, Bart van Merrienboer, Kyunghyun Cho, and Yoshua Bengio. Overcoming the curse of sentence length for neural machine translation using automatic segmentation. In Proceedings of SSST-8, Eighth Workshop on Syntax, Semantics and Structure in Statistical Translation, pages 78-85., 2014.

[5]Roee Aharoni and Yoav Goldberg. Split and rephrase: Better evaluation and stronger baselines. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pages 719-724. Association for Computational Linguistics., 2018.

[6]Jitao Xu, Josep Crego, and Jean Senellart. Boosting neural machine translation with similar translations. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pages 1580-1590, Online, July. Association for Computational Linguistics., 2020.

[7]Toshiaki Nakazawa, Manabu Yaguchi, Kiyotaka Uchimoto, Masao Utiyama, Eiichiro Sumita, Sadao Kurohashi, and Hitoshi Isahara. Aspec: Asian scientific paper excerpt corpus. In Nicoletta Calzolari (Conference Chair), Khalid Choukri, Thierry Declerck, Marko Grobelnik, Bente Maegaard, Joseph Mariani, Asuncion Moreno, Jan Odijk, and Stelios Piperidis, editors, Proceedings of the Ninth International Conference on Language Resources and Evaluation (LREC 2016), pp. 2204-2208, Portorož, Slovenia, may 2016. European Language Resources Association (ELRA).

[8]Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A fast, extensible toolkit for sequence modeling. In Proceedings of NAACL-HLT 2019: Demonstrations, 2019.

[9]Taku Kudo and John Richardson. Sentencepiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, Brussels, Belgium, November 2018. Association for Computational Linguistics., 2018.

[10]Peng Qi, Yuhao Zhang, Yuhui Zhang, Jason Bolton, and Christopher D. Manning. Stanza: A python natural language processing toolkit for many human languages. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: System Demonstrations, pages 101-108, Online., 2020.

[11]Roee Aharoni and Yoav Goldberg. Towards string-to-tree neural machine translation. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pages 132-140. Association for
Computational Linguistics., 2017.

[12]Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics., 2002.

[13]Taku Kudo. Mecab: Yet another part-of-speech and morphological analyzer., 2005. http://mecab. sourceforge . net/.

[14]Matt Post. A call for clarity in reporting bleu scores. In Proceedings of the Third Conference on Machine Translation: Research Papers, pp. 186-191, Belgium, Brussels, October 2018. Association for Computational Linguistics., 2018.

## A 付録

## A. 1 実験設定の詳細

開発データの loss が 5 回改善が見られない時に学習を止めた。提案手法のモデル 2 では、入力の長さが ベースラインの約 2 倍となる。 1 バッチあたりに含まれる文の数をべースラインに合わせるため、モデル 2 の学習では、update-freqをべースラインの 2 倍にした。同様の理由により、線形化された構文木を入力とす るモデルの update-freq をベースラインの 4 倍にした。

## A. 2 実際のモデル 2 の入力例

The measures for regional improvement aiming at expansion of the inter ch ang ing zone area @ @ @ 交流圈 域の拡大を目指した地域整備の方策。III, and @@@ 又,及び，また,そのためのものである。III promotion and creation of the industry in the area were examined, @ @ @ 地域における産業の振興と創出について検討した 。 I|| taking advantage of the time that @@@時間の利点を活かした。 ||| National Ro ute 361 connecting In ad ani and $\mathrm{K}$ is od ani was approv ed in the business as a high standard road @@@インダニと木曽谷を結ぶ国道 361 号が高規格道路として事業で認可された。III. @ @ @その他。

## A. 3 モデル 2 の入力例を SentencePiece でデコードしたもの)

The measures for regional improvement aiming at expansion of the interchanging zone area@ @ @ 交流圈域の拡大を 目指した地域整備の方策。III, and @ @ 又 又, 及び, また, そのためのものである。III promotion and creation of the industry in the area were examined,@@ @ 地域における産業の振興と創出について検討した。III taking advantage of the time that@@ @ 時間の利点を活かした。III National Route 361 connecting Inadani and Kisodani was approved in the business as a high standard road@@@ @インダニと木曽谷を結ぶ国道 361 号が高規格道路として事業で認可 された。III.@@@その他。


# 自発的な独話における可読性向上のための 言い直し表現の定義と分析

島森瑛貴
横浜国立大学
simamori-eiki-vj@ynu.jp
}

阪本 浩太郎
横浜国立大学
sakamoto@forest.eis.ynu.ac.jp
森辰則
横浜国立大学
moriaforest.eis.ynu.ac.jp
}

渋木 英潔
国立情報学研究所
shib@nii.ac.jp

## 1 はじめに

オンライン化が進む現代では人の発話を書き起こ しテキストとして読む場面が増えた。そのような話 し言葉の書き起こしは、編集されていない状態では 「文章を㔯長にする語の多用」、倒置」「文章の数 じれ」などの話し言葉に特有の現象が出現する。そ の中でも、話し言葉の自発性に伴って出現する「言 い直し表現」は書き言葉には出現しないため可読性 を下げる要因となりうる。我々はそれらの現象を適切に修正するシステムを作成し可読性の向上に貢献 することを目標とする。

その手始めに本論文では日本語の自発的な独話に 出現する言い直しを検出し修正するシステムの作成 を目的として、言い直し現象を定義し直し機械が処理しやすい形での分類を行う。

## 2 関連研究

話し言葉の自己修復を扱う代表的なモデルとして RIM(Repair Interval Model)[1] が存在する。RIM は自己修復部を被修復部、言い淀み区間、修復部の 3 つ の部分に分割し，これらがこの順に出現することで 一つの自己修復を行っていると仮定している。

丸山ら [2] は RIM 亿基づき『日本語話し言葉コー パス』[3] (Corpus of Spontaneous Japanese 以下，CSJ とする）纪出現する言い直し表現について言語学的 な観点から分類した。分類結果は、発音エラーに伴 う言い直し(R1)、単純な繰り返し(R2)、語彙的な誤 りに伴う言い直し (R3)、情報不足に伴う言い直し (R4)、別表現への言い換え (R5)の 5 つに分類され る。以下沶す分類例は ([分類] 被修復部|言い淀 み区間|修復部) の形式となっている。
(R1)コンテキスト (R1 (D いぞ)||依存 ) モデルを

(R2)その年の (R2七月川七月) から

(R3)独特の (R3 旋律の $\mid(\mathrm{F}$ え) 旋律を) 形作っている

(R4)海外に (R4 興味||元々興味) がありまして

(R5)(R5こちら側のグラフ|右側のグラフ)は何を表 わしているかと言いますと

この分類は処理の対象が形態素未満、形態素以上単語未満、一文節、二文節以上など様々であるため機械的な処理にそのままこの基準を用いることは難し い。そのため工学的な観点から、処理の方法と対応 する分類を行う必要がある。

話し言葉における言い直しの検出の先行研究は [4][5] などがある。

下岡らの手法 [4] は [6] で定義された言い直しの タグを正解として言い直しの検出を行っている。ま た推定された箇所について、係り受け情報を用いて 削除する範囲の同定について検討している。しか し、形態素の繰り返し情報などを素性とした SVM を用いて任意の文節が言い直しであるかを判定して おり、特定のモデルを作成していない。また、[6] は 「同一の内容を指し示している対等な文節」をのみ を言い直しと定義して CSJにアノテーションしてお り、我々の扱いたい問題が含まれていない。

藤井らの手法 [5] は自己修復部を分割したモデル を作成し、言い直しの検出修正を行っている。しか し、そのモデルはフィラーや言い淀みの存在を仮定 しており、それらが存在しない言い直し表現につい ては検出ができない。

本研究では初めに我々の考える言い直し現象を定義し、それに基づいた検出修正に取り組むための分析を行う。

## 3 定義

本研究において、我々は「言い直し」を「同一の 対象に複数回参照する表現のうち、同一の面を参照 しているもの」であると定義する。

この定義では [6] で定義された「言い直し」に加 え以下のものも対象として扱う。言い直し表現の表記は以下 (言い直し元/言い直し先) とする。

1. 言い淀み

・聞き分けられていると(い/言われています)

2. 修正の意図を持つ発言を含むもの

・(苦手というか/苦手意識が)ある。

3. 間に挿入節を含むもの

・(ママが/\{ママと言っても短パンと Tシャツを着 て髭を生やした凄いごつい男の人でどう見ても男な んですけれども\}その人が)

4. 対象を一回以上指示語で参照しているもの1)

・タイミングと振幅比の (関係にちらを)

以下の文のように「みかん」と「りんご」のような 異なる対象を参照する場合や、同じ対象であっても 「実績」と「グループ名」のように異なる面から参照 し直している物は言い直しではないと捉え本研究の 対象としない。

・色鮮やかな (織物や/工芸品が) 並んでいます。

・(トレーニング八十パーセント達成組/つまり先程

のAグループ)

また、本研究では言い直し表現の組のうち、最後に 言い終えている箇所を「言い直し先」と、それ以外 の箇所を「言い直し元」と定義する。

以下の例文では「ハワイ島」「ハワイ島というか」「マウイ」の三つが言い直しの組を構成しており、「マウイ」を言い直し先、「ハワイ」、「ハワイ島とい うか」を言い直し元と考える。

・ただ、4泊 6 日で行ける (ハワイ島/ハワイ島とい うか/マウイ)もよかったんですけど すべての言い直し表現の組は一つ以上の言い直し 元と一つの言い直し先からなるとする。

我々は言い直し先は言い直し元よりも後に発話さ れていることから重要であり残すべきであるという 仮説を立てた。その仮説を元に言い直し現象の組の うち言い直し元と言い直し先のどちらを削除するか 調査する。

## 4 言い直し表現組における削除箇所 の調査

1）CSJでは同格であると扱われている [6]

## 4.1 対象

以下の分析の対象として CSJ のコアのうち独話で ある講演、模擬講演の合計 177 講演を用いた。言い 直し元が自立語を含む組は第一筆者がアノテーショ ンしたデータを用いた。そのような言い直し表現は 1359 組得られた。前述した例のように一つの言い 直し現象で二つ以上の言い直し元が存在するときは それぞれの言い直し元と言い直し先の組を言い直 し元の数だけ用意した。最終的に言い直し元と言い 直し先の組は全部で 1453 件検出された。また、「助詞・助動詞・接辞・数字の言い直し」の形態素は D2 タグとして、「言い直し・言い淀み等による語断片」 の形態素は D タグとして CSJ にアノテーションさ れている [7]。コア 177 講演中に D2 タグは 223 件、 D タグは 2393 件存在する。これらは言い直し元が 文節未満であるような言い直しの表現組の言い直し 元であるとする。合計 4069 件について言い直し元 と言い直し先のどちらを削除するかの分類を行う。削除箇所は第一著者一人が判断して頻度を調査す る。表 1 に結果を示す。

## 4.2 結果

表 1 言い直し組と削除箇所

## 4.3 考察

言い直し元が語断片のときはそれらを削除するこ とで修正する。また、助詞が言い直されているもの は、一つの文節で最後以外の助詞を削除することで 修正する。言い直し元が文節以上のものはおおよそ 言い直し元を削除するが、言い直し先を削除するも のが 87 件存在した。その 87 件のうち、 84 件は言 い直し先の自立語が指示語を含むものであった。ま た、言い直し元のみが指示語を含むが言い直し先を 削除する例は存在しなかった。言い直し先を削除す るもののうち、言い直し先が指示語でないものは以下の 3 件である。

(例 1)(百キロぐらいで/(あっちはマイルで出るんで すけれども) マイルで) 飛ばすから

(例 2)この (安全保障理事会/安保理が) 最近非常に

(例 3) 傾向が我が社にも (ありました/ました)

(例 1) は文章の意味を理解する必要があり、高度な 処理が求められるため今後の課題とする。(例 2) は 正式名称と略語の関係であり、略語を削除すること とする。(例 3) は付属語から繰り返されている場合 であり、一文節中で重複する付属語を削除すること で修正する。

## 5 システム設計方針の概要

本論文で提案するシステムは始めに言い直しの 検出を行い、次に言い直しの修正を行う二つからな る。一文を大力とし、その修正を行った結果の文を 出力とする。

## 5.1 言い直し表現候補検出の方針

検出部では、入力された文を係り受け解析して得 られる文節の組について、任意の二文節が言い直し 表現候補となるかを判断することで言い直し表現候補を検出する。またその時の音声認識や形態素解析 の結果から、語断片や助詞の言い直しと判断される ものが見つかればそれらは全て上記の方針で削除す る。下岡ら [4] は形態素の繰り返し情報が言い直し を検出する際の有効な素性であると述べている。本研究でも言い直し元は言い直し先の自立語を含むと いう仮説を立てる。

また言い直し組の検索範囲が広すぎると言い直し ではない離れた文節を言い直しと誤って判断する と考えられる。そこで対象とする二文節間の最長距離を決めるために、言い直し表現組の間に入る最長 の文節数を調査する。6 章では上記二つの調査を行 う。

## 5.2 言い直し修正の方針

検出部では、検出部で検出された言い直し表現候補の組のうち、言い直し元または言い直し先のいず れかを削除することで修正を行う。言い直し元が形態素未満の語断片であるときは検出部で削除するた め、修正部に入力される言い直し表現候補の組はど ちらも文節単位である。 4 章の分析から言い直し先 の文節のみが指示語を含んでいるときは言い直し先 を、それ以外の場合は言い直し元を削除することで 修正できることが明らかになったため、そのまま言 い直し修正の方針として用いる。また、削除箇所に ついては削除の対象となる箇所は一文節以下であ るという仮説を立てて 7 章で調査する。

## 6 言い直し表現組の検出基準の調査

前章で立てた言い直し元は言い直し先の自立語を 含むという仮説と、言い直し表現は最大いくつの文節を間に含むかの二つを調査する。使用するデータ は言い直し元が文節以上であるような言い直し元と 言い直し先の組 1453 組である。言い直し元、言い 直し先、その間の挿入表現をそれぞれ形態素解析、係り受け解析し共通の自立語を持つか、また挿入節 の文節数を調査した。それぞれの結果は表 2、表 3 に示す。

表 2 言い直し元が言い直し先の自立語を含むか

表 3 言い直し元と言い直し先の間に入る挿入節の文節数

## 6.1 言い直し表現が間に含む文節数

言い直し元と言い直し先のの間には最大で 15 文節までが含まれることが判明した。該当する文は 「ママが (ママと/言っても/短パンと/T シャツを/着 て/髭を/生やした/凄いごつい/男の/人で/どう/見て も/男なんですルれども) その人が」 このことから我々のシステムにおいては注目してい る文節から 15 文節以内を検索の対象とする。

## 6.2 共通の自立語を含むか

言い直し表現組 1453 件のうち 1090 件は言い直し 元が言い直し先の自立語を含むことが判明した。言 い直し先と言い直し元が共通の自立語を含まない 363 件の分類は以下のとおりである。

(1)類義語 87 例

(見紛うような/見間違うような),(人の/人間の)

(2)指示語を含む 80 例 (加盟国にれれは),(これはにの数値は)

(3)編集表現を含む 97 例 (ハワイと言うか/マウイ島),(日本じゃない/東京の)

(4)部分文字列が共通 20 例 (サザン/サザンテラス),(半/半年)

(6)アルファベット、数字 3 例

(XY/Xという単語 $Y$ という単語が),(1999/ 1990 年の)

(7)分類誤り 67 例

各分類ごとの処理方針は以下のとおりである。

(1)(4)(6) は表層系以外での要因が類似している。 そこで、意味が似ている、音が似ている、部分的な 文字列が似ているなどの自立語間の類似度が高いも のが存在したときに言い直しとして検出する。これ らは、分散表現から語の類似度を調べる手法や、文字単位に分解し共通の文字を含むかといった手法で 類似度を調べる。特に数字や、アルファベットは形態素として扱うことが難しいため文字単位で扱うこ とが有効であると考える。

(2) の指示語を含むもの 80 例を分析した結果、(加盟国にれは) や(これにの図は)のように付属語を 持たない名詞 (指示語) の文節と指示語 (名詞) の文節が連接するとき、または(これはにの数値は)の ように指示語と自立語が同じ付属語を持つときのど ちらかであることが分かった。上の二つを指示語を 含む言い直し検出の規則とする。

(3) は我々が編集表現であると判断した表現のリ スト2）を作成し、当てはまるものを検出する。調査 に用いたコーパス内に出現する編集表現は「と言う か」「じゃなくて」のどちらかを基本形に持つ物が 多い。

(7) は形態素解析の誤りや言い直し元が複数ある 場合で、実際には上記のいずれかの手法で検出でき る。(ハワイハハワイと言うか/マウイ島)のように言 い直し元が複数あるとき、調査では(ハワイ/マイ 島) の組を調べたため自立語を含まない。しかし入力の先頭から調べると (ハワイハハワイと言うか)が 共通の自立語を持ち、(ハワイと言うか/マウイ島) は 編集表現を持つため上記の規則に従って、言い直し 表現の検出ができる。

上記の考察を元に本システムでは 15 文節以内に ある任意の 2 つの文節のうち次のような条件を満た すもので最も距離が近い物を言い直しの候補とす る。検出規則を優先度が高い順に次のようにする。

・同一の自立語を含む

・編集表現を持つ

・指示語を含むときの規則に当てはまる
- 文節間の類似度で判断するときの規則に当ては

## 7 修正における削除箇所の文節長の 調査

削除箇所が一文節であるという仮説を調査する。使用するデータは言い直し元が文節以上であるよう な言い直し元と言い直し先の組 1453 組である。調査結果を表 4 に示す。

表 4 削除箇所の長さ

言い直し表現 1453 組のうち削除箇所が一文節のも のは 1062 組存在した。これらは言い直し候補とし て検出されたのちに削除規則に従って文節単位で削除することで修正を実現できる。また削除箇所が二文節以上であるようなものが 391 件存在した。

以下の例文では共通の自立語「隣り」を持つ文節 である「隣の」だけではなく「方」も削除する必要 がある。係り受けの情報を用いると「方」は「隣の」 に係られているが、「隣には」には係っていないた め「隣の方」を削除するというように削除箇所を推定できると考えている。

・(隣りの方隣りには) デパートは作らない

係り受け情報を用いた削除範囲の推定は今後の課題 とする。

## 8 まとめ

本研究では話し言葉の可読性を向上させることを 目的として、「同一の概念に複数回参照しているも のの内、異なる面から参照しているもの」と言い直 しを新たに定義した。その定義のもとで言い直しの 検出修正の規則を作成するため CSJ の独話講演情報 を分析した。今後の課題は自立語間の類似度を測る 基準を設けること、また削除箇所が二文節以上であ るときに削除箇所を適切に推定すること、これらの 方針で実際にシステムを作成し性能を評価すること などがある。

## 参考文献

[1]Christine Nakatani and Julia B Hirschberg. A speechfirst model for repair detection and correction. 31st Annual Meeting of the Association for Computational

Linguistics, 13(1):46-53, 1993.

[2]佐野 信一郎丸山 岳彦. 自発的な話言葉に現れる 言い直し表現の機能的分析. 言語処理学会第 13 回年次大会, 13:1026-1029.

[3]国立国語研究所. 『日本語話し言葉コーパスの構築法』.http://pj.ninjal.ac.jp/corpus_center/ $\mathrm{csj} /, 2006$.

[4]内元清貴井佐原均下岡和也, 河原達也. 『日本語話し言葉コーパス』における自己修復部 (d タグ)の自動検出および修正に関する検討. 情報処理学会研究報告音声言語情報処理 (SLP), 2005(50):95-100, 2005.

[5]斎藤 博昭藤井 はつ音, 岡本 紘幸. 日本語話し言葉 における自己修復の統計モデル. 言語処理学会第 10 回年次大会発表論文集, pages 2-7, 2004.

[6]高梨克也井佐原均内元清貴, 丸山岳彦. 『日本語話し言葉コーパス』における係り受け構造付与. https://pj.ninjal.ac.jp/corpus_center/ csj/manu-f/dependency. pdf, 13(1):1, 2006.

[7]間淵洋子小磯花絵, 西川賢哉. 『日本語話 し言葉コーパスの構築法』2 章転記テキス ト.http://pj.ninjal.ac.jp/corpus_center/csj/ k-report-f/02.pdf, 2006.

## A 付録

と言うんですか: 1

## A. 1 編集表現のリスト

言い直し表現に出現する編集表現について

出現形:出現回数の形で分類した表を以下に示す。

## A.1.1 じゃない系統

「じゃない」の派生は 5 種 14 回出現している。

じゃありませんね: 1

じゃない: 7

じゃないですね: 1

じゃないな: 1

じゃないや: 1

ではないですね: 1

ではないですが: 1

ってことはないですね: 1

## A.1.2 と言うか系統

「と言うか」の派生は 25 種 136 回出現している

言うか: 2

つちゅうか: 2

つつうんですか: 1

って: 1

って言いますか: 1

って言うか: 33

って言うかね: 1

って言うんすか:1

って言うんでしょうか: 2

って言うんですか: 9

って言うんですかね: 2

ってえか: 1

ってか: 3

て言うか:4

て言っていいんでしょうか: 1

て言うんですか: 1

て言うんでしょうかね: 1

と言いましたけど: 1

と言いますか: 15

と言うか: 45

というが: 1

と言うのか: 1

と言うよりは: 1

と言うんでしょうか: 5


# Towards Understanding Implicit Reasoning in Arguments via Multiple Warrants

Keshav Singh $^{\dagger}$ Paul Reisert ${ }^{\ddagger, \dagger} \quad$ Naoya Inoue* Kentaro Inui $^{\dagger, \ddagger}$
${ }^{\dagger}$ Tohoku University, Sendai, Japan ${ }^{*}$ Stony Brook University
${ }^{\ddagger}$ RIKEN Center for Advanced Intelligence Project
keshav.singh29@ecei.tohoku.ac.jp paul.reisert@riken.jp
naoya.inoue.lab@gmail.com inui@tohoku.ac.jp

## 1 Introduction

In argumentative discourse such as debates and essays, some parts of the reasoning are unstated by the debater or writer, often for strategic reasons/purpose. Such implicit reasoning, hereby referred to as a warrant, is often inferred by listeners in distinct ways [10]. For example, consider the following argument consisting of a claim (i.e., declarative statement) and a premise (i.e., supporting statement):

(1) Claim: Voting should be made compulsory Premise: because it increases voter turnout.

In Example 1, a potential set of warrants bridging the reasoning between the claim and the premise could then be considered as follows:

(2) Warrant 1:High voter turnout is good for a fair representation of society.

Warrant 2: Minorities who vote often have their needs prioritized over the majority.

In the educational domain, practicing identification of such warrants has long been shown to improve one's argument comprehension skills $[9,4]$, thus aiding one to make better arguments [12]. For example Hillocks [8] helped students practice argumentation by making them write the appropriate warrant for a given argument which was later corrected if a better warrant existed. This helped students improve their critical thinking and writing skills.

Although identification and correction of warrants is an interesting challenge, especially when deployed in classrooms, despite the evidence, previous works with the aim to automate such identification of warrants have focused on methods which capture these implicit components from only a single perspective. Specifically, these methods usually focus on finding a single warrant for an argument when other possibilities exist. Habernal et al. [7] crowdsourced a pair of both correct and incorrect warrants per argument so that neural models would be able to distinguish between a good and bad warrant. Becker et al. [2] proposed an iterative process of warrant generation by experts aimed to create a single warrant unanimously decided by experts. However, previous work has mentioned that it is unrealistic to restrict on having one single warrant per argument due to vast number of ways to interpret the warrant $[5,10]$. Hence, while the previous methods may lead to finding a single appropriate warrant, they do so at the expense of neglecting the other possible warrants.

In this work, we aim to collect multiple warrants per argument for a variety of topics through a systematic crowdsourcing process. In total, we collect warrants for 3 topics, which totals 6,200 warrants for 620 different arguments consisting of a claim and premise pair. Using a subset of the collected warrants for each topic, we analyze their overall quality through manual analysis and obtain a reasonable quality (Krippendorff's $\alpha=0.63$ ). Furthermore, we conduct a preliminary analysis on the properties of warrants to better understand their structure.

## 2 Towards collecting multiple warrants

For collecting multiple warrants which can be potentially useful in real-world applications such as argument analysis or warrant correction, we require a dataset that fulfills the following criteria: i) diverse set of premises per topic to cater to maximum possible arguments, and ii) multiple unique warrants per premise. In addition, the dataset creation process must be cost effective without compromising data quality. Ideally, a dataset with multiple topics is desirable; however, collecting warrants across multiple topics is both difficult and time consuming. Thus, we define a simple metric to filter a handful of topics (specifically, 3) found in a large, well-known argumentation dataset of diverse premises in order to

Figure 1: Scatter plot of premise diversity vs no. of premises for each topic (represented by points) in IBMRank30k corpus. Diversity of premises for each topic increases along the x-axis. For our task, we choose three least diverse topics for warrant crowdsourcing task.

start with a small and relatively easier topics, We describe our methodology for topic selection and collecting multiple user-generated warrants for a claim and premise pair in the following section.

## 2.1 Source data

As a source dataset, we opted for the arguments from IBM-Rank-30K dataset [6], which contains supporting and opposing stance arguments on 71 common controversial topics.

Several factors motivated our choice for $I B M$ Rank-30K: (1) Arguments were collected actively from crowdworkers with strict quality control measures as opposed to being extracted from targeted audiences such as debate portals. (2) The arguments have already been annotated with point-wise quality. These factors provide a vast majority of all the possible arguments that can be made for a given topic with quality scores.

To select the topics for our warrant crowdsourcing task, we define a new metric. Specifically, for each topic $(t)$, we estimate the diversity of premises $\left(d_{t}\right)$ as a function of its vocabulary size:

$
d_{t}=\frac{\left(\left|V\left(p_{t}\right)\right|-\left|V\left(p_{t}^{50 \%}\right)\right|\right)}{\left(\left|p_{t}\right|-\left|p_{t}^{50 \%}\right|\right)}
$

where $p_{t}$ is a set of premises associated with $t$, $p_{t}^{50 \%}$ is a $50 \%$ random sample of $p_{t}$, and $V(p)$ is a set of unique words (i.e. vocabulary size) of $p$ obtained after tokenization and lemmatization.

The final diversity $\left(d_{t}\right)$ for each topic is calculated after averaging over multiple random resampling runs. As shown in Fig 1, the variety of premises for topics in IBM-Rank-30k is strongly dependent on

## Debate topic: Whaling

John Doe argues :

Whaling is inhumane and an act of greed.

And since,

.. fill the reasoning gap with a proper explaination

I claim that: We should ban whaling

Figure 2: Crowdsourcing interface for collecting warrants for a given topic and premise. Workers were additionally advised to adhere to simple rules when writing their warrants.

the topic. To create our warrant KB, we choose 3 topics with the least growth rate; namely i) Whaling should be banned $\left(d_{t}: 1.36\right)$, ii) Voting should be made compulsory $\left(d_{t}: 1.37\right)$, and iii) Zoos should be banned $\left(d_{t}: 1.41\right)$.

## 2.2 Crowdsourcing methodology

For collecting warrants for arguments across the 3 pre-selected topics, we conducted a crowdsourcing task using Amazon Mechanical Turk ${ }^{1}$ (AMT) platform. Prior to deploying our task in full, we conducted a preliminary study for creating our guidelines by annotating a subset of warrants crowdsourced via multiple trial runs to understand both good and bad warrants. As shown in Fig 2, we provide crowdworkers with an argument (i.e., claim and a premise) and instruct workers to provide a warrant that fills the implicit reasoning between the claim and premise in the form of natural sentence. Additionally, for maintaining high quality annota-
^{1}$ www.mturk.com
}

## Topic T: We should ban whaling \\ Premise P: Alternatives are available to nearly every product produced from whales.

## Warrants W (Score: 2) ->

- We don't need the products that result from whaling

- There are different fish that can be alternative for whale meat

## Warrants W (Score: $o)$->

- Whales are an endangered and are vital to the health of the marine environment
- Whales are animals vital for the balance of the ocean $^{1}$

## Topic T: We should introduce compulsory voting \\ Premise P: Compulsory voting would increase voter turnout.

## Warrants W (Score: 2) ->

- A greater voter turnout leads to a more representative government

- Increase in voter turnout will eradicate the politicians that are dependent on few individuals which can control the election

## Warrants W (Score: o) ->

- It is not democracy if there is only 50 percent of voter turnout. higher voter turnout makes government more representative

- People will complain about politicians regardless of voter turnout.

Figure 3: Examples of warrants captured by our crowdsourcing method. Warrants acquired from different workers as scored best by experts are shown on the left and the worst scored are shown on the right. Note that for a few warrant instances, we found very similar warrants after analyzing them into individual clausal sentence as shown in red.

tions, we filtered crowdworkers via our custom Reasoning Qualification Test (RQT). In RQT, workers were asked 3 simple reasoning questions aimed to test their ability to identify warrants. Only those who answered all questions correctly were allowed to proceed to the final annotation task.

## 3 Collected warrant statistics

In this section, we describe our current set of warrants collected through crowdsourcing. To assess the quality, we also create guidelines for experts to manually examine the crowdsourced warrants.

In total, we collect 6,200 warrants in total for 620 unique claim and premise pairs (10 warrants per premise) from 177 unique crowdworkers. The specific amount of warrants collected per each topic are as follows; Abolish zoos: 198, Introduce compulsory voting: 205 and Ban whaling: 217.

## 3.1 Quality

To examine the quality of the crowdsourced warrants, we ask 2 annotators, both experts of argumentation and authors of this paper, to judge the quality of 200 randomly sampled warrants on a 0-2 scale (0:weak warrant, 2 :strong warrant). As shown in Table 1, the Krippendorff's $\alpha$ (interval) and Cohen's Kappa between both annotators for 200 randomly sampled set was 0.63 and 0.42 respectively. These scores correspond to moderate agreement and

Table 1: Topic-wise quality statistics for the collected warrants. $\alpha$ and $\kappa$ are the Krippendorff's and Cohen's inter-annotator agreement scores respectively. A1 and A2 are the average scores given to the warrants by our two expert annotators.

are comparable to agreement levels in similar computational argumentation works $[1,3]$. Additionally, as shown in Fig 3, the collected warrants ranged from being weak to strong, where some being totally unrelated to the argument (scored:0) while majority explicating the reasoning (scored:2).

## 3.2 Warrant properties

We perform a manual check on a subset of 2,000 warrants from 200 arguments (i.e., 10 warrants per argument) to determine if the collected warrants are related to the argument. On an average, we discovered that $6.67 / 10(66.7 \%)$ warrants were related while the rest were either nonsensical or unrelated. During our analysis, we also found that many warrants were compositional statements i.e. comprising

## Claim: We should ban whaling. Premise: Animals have rights and we as custodians of nature have an obligation to them to protect them from this cruel and needless death

SUPPRESS

Warrant $_{1}$ : animal rights are violated when we needlessly kill them.

Warrant $_{2}$ : whaling is not necessary to our survival and it kills off beautiful majestic creatures. SUPPRESS

Figure 4: Example of reasoning patterns on top of collected warrants. Both warrants help infer the connection between the claim and the premise more clearly.

of two or more compound statements. We observed that many of the warrants contained repetitive statements, as shown in Fig 3.

Towards understanding the underlying reasoning, we conducted a preliminary analysis on warrants for determining what properties of them differ for a claim and premise pair. Motivated by a set of reasoning patterns [11] used to represent various schemes in argumentation [13], we analyze roughly 48 warrants for 6 claim-premise pairs ( 8 warrants per pair) to determine the coverage of warrants which can be represented with reasoning patterns. We find that roughly $20 / 48(41.67 \%)$ warrants can be decomposed into reasoning patterns. An example of such annotation is shown in Fig 4. In this example, the reasoning that whaling suppresses animals and whaling suppresses rights is implicit, which the warrants help explicate. Given the coverage of reasoning patterns in our analysis, we will consider ways to improve our warrant collection task by utilizing them in our future work.

## 4 Conclusion and future work

In this work, we tackle the difficult task of collecting warrants in arguments. We developed a methodology for collecting multiple warrants for arguments and utilize crowdsourcing for collecting 6,200 warrants for 620 arguments. For testing the integrity of the warrants, we conduct a small annotation study on 200 warrants and obtain a reasonable annotator agreement ( 0.63 Krippendorff's $\alpha$ ). Finally, we conduct a preliminary analysis on the decomposition of the warrants and find on average 3 warrants collected per argument to comprise of more than one warrant.

In our future work, we will expand our dataset for a variety of different topics and devise an approach for decomposing collected warrants to a single clausal form. We will also test the usefulness of our collected warrant knowledgebase for the task of warrant explication for unseen arguments in a realistic setting, such as deploying our warrant knowledgebase in schools in which students debate and/or write essays on controversial topics.

## References

[1] Roy Bar-Haim, Lilach Eden, Roni Friedman, Yoav Kantor, Dan Lahav, and Noam Slonim. From arguments to key points: Towards automatic argument summarization. arXiv preprint arXiv:2005.01619, 2020.

[2] Maria Becker, Michael Staniek, Vivi Nastase, and Anette Frank. Enriching argumentative texts with implicit knowledge. In International Conference on Applications of Natural Language to Information Systems, pages 8496. Springer, 2017.

[3] Filip Boltužić and Jan Šnajder. Fill the gap! analyzing implicit premises between claims from online debates. In Proceedings of the Third Workshop on Argument Mining (ArgMining2016), pages 124-133, Berlin, Germany, August 2016. Association for Computational Linguistics.

[4] Sibel Erduran, Shirley Simon, and Jonathan Osborne. Tapping into argumentation: Developments in the application of toulmin's argument pattern for studying science discourse. Science education, 88(6):915-933, 2004.

[5] James B Freeman. Relevance, warrants, backing, inductive support. Argumentation, 6(2):219-275, 1992.

[6] Shai Gretz, Roni Friedman, Edo Cohen-Karlik, Assaf Toledo, Dan Lahav, Ranit Aharonov, and Noam Slonim. A large-scale dataset for argument quality ranking: Construction and analysis. arXiv preprint arXiv:1911.11408, 2019.

[7] Ivan Habernal, Henning Wachsmuth, Iryna Gurevych, and Benno Stein. SemEval-2018 task 12: The argument reasoning comprehension task. In Proceedings of The 12th International Workshop on Semantic Evaluation, pages 763-772, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[8] George Hillocks. Ej in focus: Teaching argument for critical thinking and writing: An introduction. The English Journal, 99(6):24-32, 2010.

[9] David Hitchcock and Bart Verheij. Arguing on the Toulmin model, volume 10. Springer, 2006.

[10] Christian Kock. Multiple warrants in practical reasoning. In Arguing on the Toulmin model, pages 247-259. Springer, 2006.

[11] Paul Reisert, Naoya Inoue, Tatsuki Kuribayashi, and Kentaro Inui. Feasible annotation scheme for capturing policy argument reasoning using argument templates. In Proceedings of the 5th Workshop on Argument Mining, pages 79-89, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[12] Sarah von der Mühlen, Tobias Richter, Sebastian Schmid, and Kirsten Berthold. How to improve argumentation comprehension in university students: Experimental test of a training approach. Instructional Science, 47(2):215237, 2019.

[13] Douglas Walton, Christopher Reed, and Fabrizio Macagno. Argumentation schemes. Cambridge University Press, 2008.


# アスペクトベース意見分析における日本語評価コーパスの構築

楽天株式会社楽天技術研究所
\{yuki.b.nakayama, koji.murakami, ikuko.hardaway\}@rakuten.com

## 1 はじめに

ウェブ上には，ニュース記事に対するコメントや カスタマーレビューなどの意見テキストが膨大に 蓄積されている。これらの有効利用を目的として，意見分析の研究が盛んに行われている。意見分析と は，意見テキストの集合から知識を発見する処理の 総称であり [1], 重要な基盤技術として意見抽出が ある.これは，「ホテル A は朝食が美味しい」のよ うな文に対し「対象＝ホテル $\mathrm{A} ，$ アスペクト＝朝食, 評価 $($ 極性 $)=$ 美味しい（肯定)」のような要素 を抽出することで，意見情報の基本単位を定型化す る. 意見テキストの集合から意見の基本単位が大量 に抽出されると, ある対象における評価の概観が容易となる，例えば，ホテルＡ９品質改善を試みる場合は，ホテル Aに関する意見から否定的な評価を受 けやすいアスペクトを調べるだろう。

特に近年は，対象のアスペクトとその評価極性ペアを抽出するアスペクトベースの意見分析 (Aspect-Based Sentiment Analysis: ABSA) がより重要 なタスクとなっている $[2,3,4,5,6]$. ABSA 手法の 比較評価を行うためには，アスペクトとその評価極性が付与されたコーパスが必須である。評価型国際 ワークショップである SemEval では, ABSA の共有 タスクが実施されており豊富なベンチマークが用意 されている [7,8].コーパスは単言語と単ドメイン だけでなく，それらを横断する手法 $[9,10,11]$ の発展のために, 英語, スペイン語などの 8 言語と, 宿泊施設レビューなどの 6 ドメインからなる．しかし， SemEval には日本語を対象とした ABSA のコーパス はない。また，NTCIR 多言語意見分析コーパス1) TSUKUBA コーパス2)などウェブ上で入手できる日本語用のコーパスのほとんどは，アスペクトを考慮 しない意見分析に特化している [12, 13, 14, 15].本論文では、日本語を対象とした ABSA のための

1) http://research.nii.ac.jp/ntcir/data/data-ja.html

2) https://www.nii.ac.jp/dsc/idr/rakuten/
コーパス構築とデータ分析について述べる。コーパ スのドメインは宿泊施設のレビューであり，文単位 で 7 種類のアスペクトと極性を付与した結果 12,476 レビュー，76,624 文のコーパスが構築された。また コーパスを利用した基礎的な ABSA 手法による実験 から，事例の特徴を分析することでコーパスの性質 について考察する。

## 2 関連研究

新里ら [2] は，楽天市場の店舗レビューを「配送」「梱包」などのアスペクトカテゴリとその極性カテ ゴリに分類する手法を提案したが，実験で用いられ たコーパスは非公開である。

栗原ら [16] は，ドメインを限定しない Twitterによ る評判分析を目的とした日本語の ABSA データセッ ト3)を構築した。本研究との違いを，SemEval2016 Task 5 のサブタスク 1「文レベルの ABSA」で説明す る. 例えば「大浴場のお湯が熱い.」という意見文に 対して，このタスクは「風呂」というアスペクトカ テゴリ（スロット 1）の検出，「大浴場のお湯」とい うアスペクト対象の抽出 (スロット2)，そして「否定的」という極性の分類（スロット3）の 3 スロッ トからなる．彼らはスロット２を対象とするのに対 し，我々はスロット 1 とスロット 3 が対象である.

論文化されてはいないものの，スロット 1 か らスロット 3 の評価に対応しているコーパスと して，上場企業の決算報告書をドメインとした chABSA-dataset ${ }^{4)}$ がある。我々のコーパスは，上記 と比較して規模が大きく、誤り分析を通してコーパ スの性質を明らかにした点で異なる。

## 3 コーパスの設計と構築

楽天トラベル5)の施設に対するユーザレビュー中 の各文に対しアスペクト及び評価極性の付与作業を

行う．作業を行うレビュー文は，ユーザが投稿した 複数文にわたるレビューを句点もしくは同等の文末記号で分割した文を単位とする。ここでは基本方針 と個々のアスペクトについて述べる.

## 3.1 アスペクト及び極性付与の基本方針

楽天トラベルでは表 1 で示す 7 種類のアスペクト について, ユーザから 5 段階の評価と自然文の意見 が入力される. 各文に対してこれらのアスペクト含 まれているか, 含まれている場合はそれらの情報が 肯定的（以下，ポジティブ）もしくは否定的（以下, ネガティブ）であるかを判断してタグを付与する.付与するタグの種類は合計 14 種類となる.

作業対象文はユーザレビューの一部分ではある が，必ずしも全ての文に先に挙げた情報が記載され ているとは限らない. 以下の例のように，意見では なくあくまで事実を述べているだけであり, ポジ ティブ・ネガティブのような評価表現が含まれてい ないことから，アスペクト，極性共に付与しない。

・先月の $\mathrm{GW}$ に泊まりました.

・部屋の広さは通常のシングルルーム程度で した.

・夕食は舟盛りと蟹でした。

## 3.2 アスペクトの定義

ここでは，先に示した 7 種類のアスペクトについ てそれぞれ定義を行う. 例文中の $(\mathrm{P})$ はポジティブ, (N) はネガティブを示す.

## 3.2.1 サービス

経済用語においては「売買した後にモノが残ら ず，効用や満足などを提供する，形のない財」を指 す.ここでは接客態度, 様々な事柄への対応，ル一 ムサービス，清掃状況などを対象とする．食事の配膳についてもこの項目で扱うが, これは食事（夕食, 朝食）そのものにも関連することからサービス のみではなく, 「夕食」もしくは「朝食」の項目も同時に付与する.

・セキュリティもきちんとしていて，お部屋もき
れい. (P)

・とんでもなく待たされる. $(\mathrm{N})$

・部屋のかび臭をごまかすためのお香が鼻につく し, あちこちほこりだらけ. $(\mathrm{N})$

## 3.2.2 立地

宿泊施設への交通, 目的とする観光資源, 商業施設へのアクセスなどの利便性, 宿泊施設の周囲の景観など，施設の地理学上の位置が評価に関係する表現を対象とする．部屋や露天風呂からの見える景色 への感想はそれぞれ部屋, 風呂の項目で扱う。

・隣には郵便局もあり買ったお土産もすぐ送れ る. (P)

・富良野市街地, 北の国からの麓郷, ラベンダー ファームへもアクセスしやすいです. (P)

・立地がわかりづらく, 手間取ってしまいまし た. (N)

## 3.2.3 部屋

部屋そのものに関する表現を対象とし，部屋の広 さや快適さ, 内装（電源, シーリングライト, トイ レそのもの, 洗面所そのものなど）を含む．エアコ ンやテレビ，机などはここには含まず，「何もない 最低限の部屋」に存在するもののみを含める．部屋 からの景色についてはこの項目とする．立地との判断に困惑するが，例えば施設でもオーシャンビュー の部屋とそうでない部屋があり, これは施設の立地 そのものではなく部屋の特性に起因すると判断し部屋についての記述と認識する.

・広いお部屋でゆっくりとした時間を過ごす事が 出来ました. (P)

・お部屋は最上階 6 階のツインの海側の広いお部屋で眺めが良かったです。( $\mathrm{P})$

・隣の部屋の声が聞こえてくるのが気になった。 (N)

## 3.2.4 設備・アメニティ

部屋と風呂を除く宿泊施設内の土産等の販売店舗, ロビー, 庭, 遊戯施設, ジム, 駐車場, レスト ランなどの設備, および部屋に設置されている家具調度 (ベッド，机，いすなど），電気製品（ヘアドラ イヤー, テレビ，エアコン， ウォシュレット，電気 スタンドなど), 寝具, へアケアプロダクト，石盙な どの衛生製品, タオル，無料のドリンク, Wi-Fi な

どについて記述を対象とする。

・部屋には空気清浄機もあり, 助かりました。(P)

・ただ唯一, 部屋の金庫が小さいのがマイナスポ イント. (N)

・また, お部屋のお布団に関して, 枕が大人は合 わなく, ちょっと苦戦しました。(N)

## 3.2.5 風呂

外風呂, 内風呂（部屋に設置されている風呂や シャワー）に関する表現, 風呂からの景色, 雾囲気,温泉の泉質, 温度, 広さなどを対象とする. 清潔さ に関しては部屋と同様, 清掃の状態も考慮する必要 があるため, サービスも同様に付与する. ただし， シャンプーなどのアメニティに関するものは除く。

・温泉の質も良く, まためるめのお湯で長時間浸 かることが出来, 疲れを癒すことが出来まし た. (P)

・朝風呂は雪見風呂で大変景色が良かった。 $(\mathrm{P})$
- 風呂は混んでいて入浴出来ませんでした。 $(\mathrm{N})$

## 3.2.6 朝食

味, 器, バラエティーなどに関する表現を対象と する．朝食時の配膳や，待ち時間などに関する表現 の場合は，（朝食十サービス）の両項目にタグを付与する.

・朝食は，種類も多く，満足でした。(P)

・ただ焼き鮭が身が極めて細く他の料理に比べる と唯一貧粗感が否めません. (N)

## 3.2.7 夕食

朝食と同様, 味, バラエティーなどに関する表現 を対象とする. 夕食時の配膳や, 待ち時間などに関 する表現の場合は, (夕食十サービス) の両項目に タグを付与する．夕食である明示的な表現を含まな いが，「懐石料理」や「お酒，ビール」のように夕食 であると判断できる場合は夕食とする.
- 季節に合わせた懐石料理は見た目も美しく美味 しかったです. $(\mathrm{P})$

-夕食も，あわびの踊り食いあり，伊勢えびのお 刺身，あり，豪華メニューを堪能しました。(P)

-夕食に汁物が出なかったが，酒を飲まない人に とっては汁物がないと食べられない。(N)

## 3.3 アノテーション結果

作業者 40 人に対して 24,314 レビューからなる 10 万文のタグ付付与を依頼した。また作業者間の一致率を測定するために，意図的に作業者間でレビュー に重複を持たせた。複数のラベルがタグ付されてい る文については, 作業者間で全てのラベルが一致し ているかどうかを判定した. 100 レビュー以上の重複があった作業者ぺアに対して $\kappa$ 値 [17] の平均を測定したところ,$\kappa=0.58$ となり, moderate agreement を達成した。表 2 にコーパスの基礎情報を示す.

## 4 評価実験

評価コーパスの性質を調べるために，実験により 成功事例と失敗事例の特徴を分析した。タスクは 3.1 節で説明した 14 クラスのうち，レビュー文を一 つ以上のクラスに分類するマルチラベル分類として 定式化した。手法には BERT[18] を用いた。具体的 には，公開されている事前学習済み BERT モデル6) の最終層における [CLS]トークンに対応する 768 次元の出力を 14 次元の出力層に線形結合させる. 出力層の各ノードでは, シグモイド関数によってアス ペクト・極性対カテゴリに属する確率が得られる。確率が 0.5 以上であれば，対応するノードのカテ ゴリを出力する．ファインチューニングと評価は，表 2 の総文数を学習:開発:テスト $=8: 1: 1$ の割合で分割することで行なった。

表 3 にカテゴリごとの分類性能を, 図 1 に BERT の出力例をそれぞれ示す. 図 1(a) は手法が適切に分類した事例であり，「夕食」「朝食」「二」という語に 注意が強く向けられていることから，本コーパスで 学習された BERT モデルは, 人間が判断に用いる語 を捉えるように学習されたと考えられる。このよう にアスペクトと評価表現が明示的に出現する文につ いては, 比較的容易に分類できることを確認した。

6) https://github.com/cl-tohoku/bert-japanese
図 1 BERT の出力例（BERT の最終層で [CLS] トークンのベクトルがどの単語に注意しているかを可視化した）

次に誤り事例 2,557 件に対し正解とシステム出力 のパターンを集計し，誤りの事例数の多い 3 パター ン（図1(b)）を分析した。文(1) は「ホテル全体 (P)」 が正解であるのに対して，システムは「評価なし」 と出力したパターンである. 分類器は, 正解例のよ うにアスペクトに関連した語を捉えるようモデル学習を行うのに対して，レビュー文では総評を述べて おり個々のアスペクトは記載されていないことか ら，適切にモデル化できていないことが原因と考え られる。こうした事例を捉えるには分類器の設計に 課題があり，例えば「総合評価」という新たなラべ ルを用意して分類を行う必要があると考えられる.

文 (2) は，「不便」であるアスペクトが明示的でな かったため「連れ」や「ます」などアスペクトとは 関連のない語に注意が向けられた結果，「施設・ア メニティ $(\mathrm{P})\rfloor$ が正解であるのに対して，システムは 「評価なし」を出力したと考えられる。このパター ンの失敗事例は 76 件あり，うち 26 件は文 (2)のよ うなゼロ照応で属性が欠落しているか, 照応詞を用 いて属性が省略されていた。本コーパスを用いた実験によって，照応解析手法や文脈を有効利用した属性情報の補完が重要であることが示唆された。

文 (3) は「朝食 (P)」が正解であるのに対して，シ ステムは「朝食 $(\mathrm{P})+$ 夕食 $(\mathrm{P})$ 」と複数ラベルに分類 した例である.システムでは「カレー」というアス ペクトに関連する語に注意が強く向けられたもの の「カレー」は朝食にも夕食にも提供されるため, システムは両方のラベルを出力したと考えられる.実際には同レビュー中，文 (3) の 2 文前には「ここ では特に朝食バイキングが種類も多く味も良いで す.」という文があるため，注目文に関する文脈を 適切に選択する方法と, 選択された文脈の効果的な
エンコーディング方法の考案が課題となる. このよ うな類似カテゴリを持つアスペクトの分類について は誤りが多い傾向にあった。実世界での応用におい ては，カテゴリ同士の類似性は不均一であることが 多いことから, 本コーパスは「朝食」と「立地」の ように関連性のない分類が容易なカテゴリ対と「朝食」と「夕食」のような分類が難しいカテゴリ対を 兼ね備えた有用な評価コーパスであると考える.

表 3 実験結果 ( $\mathrm{P}$ : 精度, $\mathrm{R}$ : 再現率, $\mathrm{F}: \mathrm{F}$ 値)

カテゴリ $\quad \mathrm{P} \quad \mathrm{R} \quad \mathrm{F} \quad$ カテゴリ $\quad \mathrm{P} \quad \mathrm{R} \quad \mathrm{F}$

$\begin{array}{lllllllllllll}\text { 朝食 }(\mathrm{P}) & 0.79 & 0.80 & 0.80 & \text { 立地 }(\mathrm{P}) & 0.77 & 0.58 & 0.66\end{array}$

$\begin{array}{llllllll}\text { 朝食 }(\mathrm{N}) & 0.58 & 0.70 & 0.62 & \text { 立地 }(\mathrm{N}) & 0.63 & 0.56 & 0.59\end{array}$

$\begin{array}{llllllllllllllll}\text { 夕食 }(\mathrm{P}) & 0.74 & 0.75 & 0.75 & \text { 設・ア }(\mathrm{P}) & 0.73 & 0.66 & 0.69\end{array}$

$\begin{array}{lllllll}\text { 夕食 }(\mathrm{N}) & 0.57 \quad 0.66 & 0.61 & \text { 設・ア }(\mathrm{N}) & 0.72 & 0.57 & 0.64\end{array}$

風呂 $(\mathrm{P}) \quad 0.80 \quad 0.70 \quad 0.75$ 部屋 $(\mathrm{P}) \quad 0.74 \quad 0.71 \quad 0.72$

風呂 $(\mathrm{N}) \quad 0.75 \quad 0.66 \quad 0.70$ 部屋 $(\mathrm{N}) \quad 0.65 \quad 0.47 \quad 0.55$

サービス (P) $0.84 \quad 0.75 \quad 0.79$

サービス $(\mathrm{N}) \quad 0.72 \quad 0.590 .65$

マクロ平均 $\quad 0.720 .650 .68$

マイクロ平均 0.750 .690 .72

## 5 おわりに

本論文では，宿泊施設レビューに記述されるアス ペクトと評価極性に着目して日本語 ABSA コーパス 構築について説明した。また評価実験を通して分類実験を行い，その結果から困難なパターンについて 考察した。今後の課題を検討した.コーパス中のレ ビュー数を増加させること，「価格」などコーパス ではカバーし切れていない属性のカテゴリを増や すことが今後の課題である。構築したコーパスは，国立情報学研究所の情報学研究データレポジトリ7) （IDR）にて公開予定である.

## 参考文献

[1] Yuki Nakayama and Atsushi Fujii. Extracting conditionopinion relations toward fine-grained opinion mining. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 622-631, 2015.

[2] 新里圭司, 小山田由紀. 店舗レビューには何が書かれ ているか?一調査及び自動分類システムの開発一. 自然言語処理, Vol. 25, No. 1, pp. 57-79, 2018.

[3] Qingnan Jiang, Lei Chen, Ruifeng Xu, Xiang Ao, and Min Yang. A challenge dataset and effective models for aspect-based sentiment analysis. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 6280-6285, 2019.

[4] Ruidan He, Wee Sun Lee, Hwee Tou Ng, and Daniel Dahlmeier. An interactive multi-task learning network for end-to-end aspect-based sentiment analysis. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 504-515, 2019.

[5] Minh Hieu Phan and Philip O. Ogunbona. Modelling context and syntactical features for aspect-based sentiment analysis. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 3211-3220, 2020.

[6] Jiaxin Huang, Yu Meng, Fang Guo, Heng Ji, and Jiawei Han. Weakly-supervised aspect-based sentiment analysis via joint aspect-sentiment topic embedding. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 6989-6999, 2020

[7] Maria Pontiki, Dimitris Galanis, John Pavlopoulos, Harris Papageorgiou, Ion Androutsopoulos, and Suresh Manandhar. SemEval-2014 task 4: Aspect based sentiment analysis. In Proceedings of the 8th International Workshop on Semantic Evaluation (SemEval), pp. 27-35, 2014.

[8] Maria Pontiki, Dimitris Galanis, Haris Papageorgiou, Ion Androutsopoulos, Suresh Manandhar, Mohammad ALSmadi, Mahmoud Al-Ayyoub, Yanyan Zhao, Bing Qin, Orphée De Clercq, Véronique Hoste, Marianna Apidianaki, Xavier Tannier, Natalia Loukachevitch, Evgeniy Kotelnikov, Nuria Bel, Salud María Jiménez-Zafra, and Gülşen Eryiğit. SemEval-2016 task 5: Aspect based sentiment analysis. In Proceedings of the 10th International Workshop on Semantic Evaluation (SemEval), pp. 19-30, 2016.

[9] Jeremy Barnes, Patrik Lambert, and Toni Badia. Exploring distributional representations and machine translation for aspect-based cross-lingual sentiment classification. In Proceedings of the 26th International Conference on Computational Linguistics (COLING), pp. 1613-1623, 2016.

[10] Md Shad Akhtar, Palaash Sawant, Sukanta Sen, Asif Ekbal, and Pushpak Bhattacharyya. Solving data sparsity for aspect based sentiment analysis using cross-linguality and multi-linguality. In Proceedings of the 2018 Conference of the North American Chapter of the Association for
Computational Linguistics: Human Language Technologies (NAACL), pp. 572-582, 2018.

[11] Chenggong Gong, Jianfei Yu, and Rui Xia. Unified feature and instance based domain adaptation for aspect-based sentiment analysis. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 7035-7045, 2020.

[12] Yohei Seki, Lun-Wei Ku, Le Sun, Hsin-His Chen, and Noriko Kando. Overview of multilingual opinion analysis task at NTCIR-8. In Proceedings of the Seventh NTCIR Workshop, 2010.

[13] 関洋平. 意見分析コーパスの現状と課題. 情報処理学会論文誌データベース（TOD）, Vol. 6, No. 4, pp. 85-103, 2013.

[14]藤井敦, 乾孝司, 中山卓哉. レビュー解析「レビュー 解析を題材とした「誤り分析マニュアル」の試作に 向けた検討」. 言語処理学会第 21 回年次大会ワーク ショップ：自然言語処理におけるエラー分析, 2015.

[15] 藤井敦, 乾孝司. 自然言語処理技術の現状と展望一 エラー分析プロジェクトを通して一: 3.11 レビュー 解析一誤り分析におけるプロセスとプロダクト一.情報処理, Vol. 57, No. 1, pp. 30-31, 2016.

[16] 栗原理聡, 水本智也, 乾健太郎. Twitter による評判分析を目的とした評価対象-評価表現データセット作成. 言語処理学会第 24 回年次大会発表論文集, pp. 344-347, 2018.

[17] J Richard Landis and Gary G Koch. The measurement of observer agreement for categorical data. biometrics, pp. 159-174, 1977.

[18] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL), pp. 4171-4186, 2019.

## 付録. A 円滑なアノテーション作業 のために

本文で述べたような 7 種類のタグの付与を行う際 に，実際の作業では判断に迷うことがある.ここで は，円滑な作業が行えるよう作業者に予め共有した いくつかのケースとその対応について述べる.

## A. 1 明示的な評価表現を含まない場合

作業対象文は, 事実を含まないが明らかな評価極性を含まない意見が記載されていることがある．特 に, 明らかなポジティブではないが以下のようなポ ジティブとする例もある．基本的な判断基準は，満足しているのか不満を示しているのかを捉えること である.

・和洋室のお部屋は所々リフォームされていて苦 になりません。(部屋 $\mathrm{P}$ )

・部屋のボタンなど環境が古いですが，問題あり ませんでした。(部屋 $\mathrm{P}$ )

・朝食のみのプランでしたが朝食は可もなく不可 もなく特に不満ありませんが取り立てて印象に 残るものもありませんでした。(朝食 $\mathrm{P})$

・お部屋は確かに普通ですが, 料理や雪遊びをす る際の環境，何よりオーナーご夫婦の人柄があ たたかく，部屋のことを補って余りある素敵な 宿だと思います。(サービス $\mathrm{P}+$ 設備 $\mathrm{P}+$ 夕食 $\mathrm{P}+$ 朝食 $\mathrm{P})$

・確かに部屋はオーシャンビューだけど，ただ見 えるだけで他に何もない。(部屋 $\mathrm{N})$

・部屋は広くはなかったが，值段からすれば仕方 がないと思う。(部屋 $\mathrm{N}$, 解釈 : 部屋が広くな い=不満)

## A. 2 評価極性を持つ表現がー文に混在す る場合

一文内にポジティブもしくはネガティブの表現の どちらかのみが複数存在する場合はそのままの極性 を付与する. しかしながら，これら両方についての 評価表現が一文内に存在する場合，ポジティブとネ ガティブの両方を付与することとする.

・部屋はまあまあ良かったが便器が小さすぎなの が残念. (部屋 $\mathrm{P}+$ 部屋 $\mathrm{N}$ )

$\cdot$ 中身は素晴らしいので, 外観が勿体無い, とい う感じでした。(設備・アメニティ $\mathrm{P}+$ 設備・ア メニティ $\mathrm{N}$ )

・蜘蛛の巣もあったし料理は最高に良かったんで
すけど。(サービス $\mathrm{N}+$ 夕食 $\mathrm{P}$ )

・少し残念な点朝食のオペレーションが非常に悪 かった。(サービス $\mathrm{N}+$ 朝食 $\mathrm{N}$ )

・部屋のカビ臭をごまかすためのお香が鼻につく し，あちこちほこりだらけ。(サービス $\mathrm{N}+$ 部屋 $\mathrm{N}$ )

## A. 3 大まかな評価, 全ての項目をカバーす る場合

一文に 7 項目全てをカバーするような表現が存在することがある. この場合は, 全ての項目にポジ ティブまたはネガティブを付与する.

・ホテル，食事，サービス全てにおいて大，大，大満足で，おかげで忘れることのできない新婚旅行になりました。(7 項目全て P, 解釈 : 「ホテ ル（立地，部屋，設備・アメニティ，風呂), 食事 (朝食, 夕食), サービス (サービス) 全てに おいて」との記載があるので，全ての項目に夕 グを付与)

・評価通り, 素晴らしい旅館でした。(7 項目全て P)

・総合的に最悪のお宿です. (7 項目全て $\mathrm{N}$ )

・全体的には良い内容のホテルでした。(7 項目全 ح P)

## A. 4 「より」「さらに」や比較，提案を伴 う場合

「こうすればさらに良い」や「こうしてほしい」と いった記述がある．先の例でもあったようにユーザ が基本的に満足しているかどうかに着目し, ポジ ティブ，ネガティブのどちらかを付与する.

・このお風呂が温泉であればいう事はありませ 几. (風呂 $\mathrm{P}$ )

・飲み物の注文は 14 時からということで，友人 が残念がっていました。(サービス N)

・シャワーは温度調節機能付なら, 100 点とおも います。(風呂 $\mathrm{P}$ )

・ただデラックスシングルはドコモですがティー テーブルと椅子を設置してますのでご検討のほ ど。(施設 $\mathrm{N}$ )

・私は大山牧場のコーヒー牛乳でもあれば嬉し かったですね。(サービス $\mathrm{N}$ )

・食事は会場が静か過ぎるので，テレビか BGM があるといいですね (アメニティ $\mathrm{N}+$ 夕食 $\mathrm{N}+$朝食 $\mathrm{N}$ )


# 複数作業者を想定したアノテーションツールの 作成と機能の検討

星島洸明
京都大学大学院情報学研究科
hoshijima.komei.72x@st.kyoto-u.ac.jp
亀甲博貴
京都大学学術情報メディアセンター
kameko@i.kyoto-u.ac.jp

## 1 はじめに

近年，市民科学 (Citizen Science) を活用した研究 プロジェクトが注目されている。市民科学は非専門家が科学的な調査や研究活動を行うことを指す. 市民科学の特徴は少数の専門家のみで作業すると時間 と費用が膨大にかかるプロジェクトでも多数の非専門家がプロジェクトに参加すると効率的に作業を 進められることである。市民科学のブロジェクトの 例として京都大学古地震研究会が 2017 年に公開し た市民参加型史料翻刻プロジェクト「みんなで翻刻 (地震史料)」[1]が挙げられる. 翻刻とはくずし字 で書かれている古文書などの歴史史料を一文字ずつ 活字に書き起こしていく作業のことを指す.「みん なで翻刻」は web 上で歴史史料を翻刻するためのア プリケーションであり，翻刻作業には研究者だけで なく一般の人々も参加している.

このように，多くの研究分野においてデータに対 して人手でラベルを付与することが求められてい る.そのため，タスクに応じたラベルをつけるアノ テーションツールの需要がある. アノテーション ツールを使用するのが複数人であると想定すると，作業する人それぞれが対象の専門的知識をどの程度有しているかは不明である。またCUIに慣れていな い人も含まれるためツールはマウスのクリックと簡単なキーボードからの入力のみで扱えることが好ま しい.

本研究では，非専門家が複数人いる状態で効率的 にアノテーションすることを目指して，固有表現を 題材にしたアノテーションツールを試作した. 実験 ではアノテーションツールを使用して固有表現の アノテーションコーパスを作成した. 実験の結果,

\author{
西村太一 \\ 京都大学大学院情報学研究科 \\ nishimura.taichi.43x@st.kyoto-u.ac.jp \\ 森信介 \\ 京都大学学術情報メディアセンター \\ forest@i.kyoto-u.ac.jp
}

固有表現認識モデルの支援がある状態のほうが，支援がない場合よりラベル付けされたアノテーショ ンコーパスの品質は向上した。作成したそれぞれの コーパスで学習し比較した結果，支援がある場合で 作成したアノテーションコーパスで学習したほうが $\mathrm{F}$ 値が向上した.

## 2 関連研究

## 2.1 アノテータが複数いる状態のアノテー ション

複数のアノテータが同一の文書に対してアノテー ション作業を行う際，複数のアノテーションデータ から最も優れているラベルデータを選出し, 作成さ れたアノテーションデータで学習したモデルでまだ アノテーションされてないテキストに対してラベル 候補を提示する研究がある [2].

クラウドソーシングでラベル付きのデータを収集 するとアノテータがラベル付けしたタスクに対して 専門的知識をどの程度有しているかはアノテータそ れぞれで異なる. そのため，アノテーションの品質管理はクラウドソーシングにおいて重要な課題であ る. アノテータつけたラベルが誤りであるかを推定 する方法として同じデータを複数のアノテータにラ ベル付けしてもらい，その結果の多数決をとること でラベルの統合を行う方法がある．しかしこの方法 は各アノテータの誤り率が同等であることを前提と するため必ずしも効率的な方法ではない．アノテー タの誤り率を推定するため専門的知識の有無などを 考慮に入れた方法が提案されている [3].

図 1 試作したツールの全体図.

## 2.2 非専門家がいる状態のアノテーション

Snow らの研究 [4] ではクラウドソーシングによっ て専門家，非専門家それぞれがアノテーションコー パスを作成した. 非専門家のアノテータが作成した データの品質の偏りがあるため, データの品質から アノテータの評価を行い管理した. その結果，設定 した 5 つのタスクにおいて非専門家が作成したアノ テーションコーパスは専門家が作成したアノテー ションコーパスの 4 倍用意すると識別機の性能が同 じになった.

専門分野に関する知識を有しない非専門家と専門家が同じテキストに対してラベル付けをする場合， まず非専門家がテキストのラベル付けをしてその 生成物を専門家が修正することで，アノテーション コーパスを生成するコストを削減しアノテータ間の 一致率を向上させた研究がある [5].

## 2.3 既存のアノテーションツール

系列ラベリングで使用される既存のテキストアノ テーションツールはショートカットキーの設定 [6],能動学習を使用可能 [7] といった機能があり，効率的なアノテーションコーパスの作成ができる. 本研究では，こうしたツールを参考に，(1) ラベル候補の 提示機能と (2) ショートカットキーの設定機能が実装されており，効率よくアノテーションを行うこと ができる.
Ac.

居了

図 2 ツールのインターフェイス

## 3 アノテーションツール

複数人が作業することを想定した，ラベル付けを するためのツールを開発した。本ツールの概要図を 図 1 に示す.ツールのラベル付けするときのイン ターフェイスを図 2 に示す. 本ツールはアノテータ が複数人であることを想定しており，各アノテータ はアカウントを作成し各々が作業するプロジェクト を作成する。次にプロジェクト毎にテキストに付与 したいラベルを設定する．作業するテキストには事前に学習したモデルを使用してラベル候補をアノ テータに提示する. アノテータはツールによって提案されたラベルの範囲と種類が正確であると判断し た場合はそのままにしておき，誤っていると判断し た場合はラベルを削除する。ツールによって付与さ れたラベル以外にラベルを付ける必要があるとアノ テータが判断すれば新たにテキストにラベルを追加 する、ツールはアノテータが作業開始から作業終了 までの時間を測定しており，ラベル付けされたデー タとともにそれらの時間をデータベースに格納す る. 各アノテータによってラベル付けされたデータ を元の学習データに加えて，新たにモデルを学習す
表 1 レシピ用語のタグ一覧.

ることで自動ラベリングモデルの精度をより良くし てアノテータの負担を削減する。

## 4 実験

訓練データから学習したモデルを使用して，ラベ ル付けする候補をアノテータに提示して，人手でそ れを修正することでアノテーション作業の効率化が 見られるか観測する実験を行う．本実験では上記の ように新たにモデルの学習はしていない. アノテー タによってラベル付けされたデータを正解データと 比較して評価する。

## 4.1 実験設定

本実験では，アノテーション課題としてレシピ分野を対象とした固有表現認識を行う. 使用するデー タセットは，笹田らの基準 [8](表 1) に基づき定義さ れたレシピ用語を, IOB 形式でレシピ分野に精通し た人がラベル付けしており，これを正解データと して活用した. 支援のための固有表現認識モデル にはこのデータセットの学習データ 2,358 文使用し た.また，テストデータには 387 文使用した. 固有表現認識モデルには BiLSTM-CRF [9]を用いた。ア ノテータは 3 名で, 日本語母語話者でありレシピ分野に関して専門的知識は有していない。各アノテー タそれぞれは同じ 200 文にラベル付けをした. 200 文のうち 100 文は支援あり，100 文は支援なしでラ ベル付けを行った. なお，支援ありの 100 文はアノ テータ毎に異なる.

以下に実験で使用したパラメータを説明する．単語埋め込み層の入力は 1,640 , 出力は 512 で, LSTM 層の出力は 1,024 , 最終的な出力は 17 , バッチサイ ズは 10 で実施した. アノテータ支援のための固有表現認識モデルの適合率，再現率， $\mathrm{F}$ 値はそれぞれ

図 3 作業にかかった時間.

図4 ラベル付けされたデータの品質.

0.8164, $0.8425,0.8292$ であった.

## 4.2 実験手順

本ツールではアノテータが各自アカウントを作成 しそれぞれのアノテータ情報とアノテーションデー タを紐付けられている。そのため，アノテーション 作業にかかる時間をツールで測定してツールによる 支援がある場合と支援がない場合でかかる時間の差 を見られるようになっている。アノテータが作業す る際，ツールによる支援がある場合には，事前に学習した固有表現認識モデルを使用して，ツールの画面に表示されるテキストの中から固有表現を認識し て画面上に表示する.ツールによる支援はそれぞれ のアノテータが作業する 200 文のうちランダムに選 ばれた 100 文に対して行われた。支援がある文と支援がない文はランダムに選ばれ，アノテータは作業 を行う文を選択するまで支援があるかないか知るこ とができない.

作成されたアノテーションコーパスを正解データ と比較して適合率，再現率， $\mathrm{F}$ 値を計算した。

## 4.3 結果

アノテータ 1

アノテータ 2

アノテータ 3

図 5 ラベル付けされたデータの品質の移動平均.

表 2 ラベル付けされたデータの品質.

## 4.3.1 作業時間

作業にかかった時間を図 3 に示す.今回実験に参加したいずれのアノテータでも，支援がある場合の 方が支援がない場合よりも少ない時間で作業を終了 させることができた.

## 4.3.2 データ品質

ラベル付けされたデータの品質を図 4 に示す.值は $\mathrm{F}$ 値を表す. ラベル「 $\mathrm{Af}\lrcorner ， 「 \mathrm{St} 」 に$ 関してアノ テータ 2 の支援なしの場合は他のアノテータより比較的品質が高かった. そのためアノテータ 2 はこれ らのラベルを付けることが比較的得意である可能性 がある.

アノテータ 3 名のラベル付けされたデータの品質 を表 2 に示す. 表中の値は固有表現認識モデルによ る支援がない場合と支援がある場合それぞれにおけ る適合率，再現率， $\mathrm{F}$ 值を平均で示している. 支援 なしの場合よりも支援ありの場合のほうがラベル付 けされたデータの品質は向上した. 支援のための固有表現認識モデルによる自動ラベリングの品質の F 值は，支援がある場合よりは低く支援がない場合よ り高い結果になった。

アノテータが作成したデータの品質が作業の経過とともに変化するか調べるため, 各アノテータの データ品質の移動平均を計算した. 各アノテータの データの品質の移動平均を 10 文毎にとった結果を 図 5 に示す. いずれのアノテータも作業を進めるに したがってラベル付けしたデータの品質は向上して いった. 向上した理由がアノテータが固有表現認識 モデルの出力から学習したためか次第に作業に慣れ ていったためかはさらなる調査が必要である.表 3 ラベルの認識性能 (学習データ:100 文).

## 4.3.3 固有表現認識性能

各アノテータがラベル付けしたデータで学習した 固有表現認識モデルの性能を表 3 に示す. いずれの アノテータでも支援がある場合の方が支援がない場合よりラベル付けされたデータの品質が向上した.

## 5 おわりに

本研究では，非専門家が専門分野のアノテーショ ンコーパスを効率的に作成するためのツールを試作 した. 試作したツールは事前に学習したモデルによ るラベルの提案機能を持つ. 支援があると効率よく アノテーション作業がすすめられ，ラベル付けデー タの品質は向上した。また，アノテータがそれぞれ 提出したアノテーションコーパスで学習した固有表現認識モデルは支援がある場合のほうが固有表現認識性能が高くなった。

アノテータ毎のラベル付けされたデータの品質か ら，(1) 特定のアノテータは特定のラベルの種類に 関してラベル付け作業が得意である場合があるこ と，(2) 特定のラベルに比較的詳しいと思われるア ノテータとそうではないアノテータがそれぞれ作成 したアノテーションコーパスではデータの品質が異 なることが分かった. そのためアノテータ毎に比較的信用できるラベルに重みを付けてアノテータテー タコーパスを作成していくと固有表現認識モデルを 効率的に学習できる可能性がある.

今後は，本ツールにアノテータのラベル付けの誤 り率からアノテータの品質を考慮し管理する機能を 追加する予定である。また，能動学習などを活用し て固有表現認識モデルを逐次更新をする機能を追加 することも検討する。

## 参考文献

[1] みんなで翻刻|歴史資料の参加型翻刻プラット フォーム. https://honkoku.org. (参照 2021-1-13).

[2] An T Nguyen, Byron C Wallace, Junyi Jessy Li, Ani Nenkova, and Matthew Lease. Aggregating and predicting sequence labels from crowd annotations. In Proceedings of the conference. Association for Computational Linguistics. Meeting, Vol. 2017, p. 299. NIH Public Access, 2017.

[3] Peter Welinder, Steve Branson, Pietro Perona, and Serge Belongie. The multidimensional wisdom of crowds. Advances in neural information processing systems, Vol. 23, pp. 24242432, 2010.

[4] Rion Snow, Brendan O'connor, Dan Jurafsky, and Andrew Y Ng. Cheap and fast-but is it good? evaluating non-expert annotations for natural language tasks. In Proceedings of the 2008 conference on empirical methods in natural language processing, pp. 254-263, 2008.

[5] Mary Martin, Cecilia Mauceri, Martha Palmer, and Christoffer Heckman. Leveraging non-specialists for accurate and time efficient AMR annotation. In Proceedings of the LREC 2020 Workshop on "Citizen Linguistics in Language Resource Development”, pp. 35-39, Marseille, France, May 2020. European Language Resources Association.

[6] doccano. https://github.com/doccano/doccano.照 2021-1-13).

[7] Bill Yuchen Lin, Dong-Ho Lee, Frank F. Xu, Ouyu Lan, and Xiang Ren. AlpacaTag: An active learning-based crowd annotation framework for sequence tagging. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics: System Demonstrations, pp. 58-63, Florence, Italy, July 2019. Association for Computational Linguistics.

[8] 笹田鉄郎, 森信介, 山肩洋子, 前田浩邦, 河原達也. レシ ピ用語の定義とその自動認識のためのタグ付与コー パスの構築. 自然言語処理, Vol. 22, No. 2, pp. 107-131, 2015.

[9] Guillaume Lample, Miguel Ballesteros, Sandeep Subramanian, Kazuya Kawakami, and Chris Dyer. Neural architectures for named entity recognition. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 260-270, 2016.