# 因果的プロンプトによる NLI の敵対的ロバスト性の強化

Pride Kavumba $^{1,2}$ Ana Brassard $^{2,1} \quad$ Benjamin Heinzerling $^{2,1}$
坂口 慶祐 ${ }^{1,2}$ 乾 健太郎 1,2
1 東北大学 2 理化学研究所
kavumba.pride.q2@dc. tohoku.ac.jp
\{ana.brassard, benjamin.heinzerling\}@riken.jp
\{keisuke.sakaguchi, kentaro.inui\}@tohoku.ac.jp

## 概要

因果的プロンプトは, \{label\} because \{explanation $\}$ というテンプレートを用いることで，与えられた入力に特定のラベルを割り当てるだけでなく，このラ ベルをサポートする説明を生成することができる. この種のプロンプトはもともとモデルの解釈可能性 を向上させる目的で導入されたが，本論文では，因果的プロンプトが自然言語推論ベンチマークにおけ る敵対的摂動に対して，頑健性を向上させる効果が あることを示す.

## 1 はじめに

因果的プロンプトは，言語モデルに与えられた入力に特定のラベルを割り当てるだけでなく，その ラベルをサポートする説明を言語モデルに生成さ せる. 前提 "A soccer game with multiple males playing" と仮説 “Some men are playing a sport” を持つ自然言語推論（NLI）の例を見てみよう. predict-only の設定 では，モデルは entailment のようなラベルを生成す る必要がある. 因果的プロンプトでは，モデルもラ ベルとこのラベルをサポートする説明，例えば “It is entailment because playing soccer is playing a sport"生成しなければならない。

因果的プロンプトの当初の目的は，モデルの解釈可能性を向上させることであった [1]. この論文では，因果的プロンプトが敵対的な設定におけ るモデル性能の向上にもつながる点を調査する. Adversarial NLI[2] のような敵対的ベンチマークは, SNLI[3] のような従来のベンチマークに含まれる表層的手がかり (superficial cue) による「ショートカッ ト」要因を取り除いたものである.

敵対的ベンチマークにおける因果的プロンプトの 利点を調査するにあたり，本論文では因果的プロン
プトで自然言語推論タスクを解くために言語モデル を細かく設定し，その性能を Predict-only の設定と 比較した. 実験の結果，4つの敵対的な NLI データ セットと 2 つの非敵対的な NLI データセットにおい て，因果的プロンプトが一貫してパフォーマンスを 向上させることを発見した (§4). この性能向上は,異なるアーキテクチャサイズや異なるプロンプトの バリエーションにおいても一貫している. さらに分析を進めた結果，ラベルの具体的な言語化と説明と ラベルの因果関係の両方が，モデルの性能に重要で あることが明らかになった。最後に，Predict-only の 設定においてモデルがショートカットを可能にす る表層的なな手がかりに頼っていないことを確認 した.

## 2 因果的プロンプト

自然言語推論（NLI）では，与えられた入力に entailment や contradiction といったラベルを割り当て るようにモデルが学習される [3]. NLI データセッ トはモデル性能を評価する観点で優れている. しか し，これまでの研究では，NLI や他のデータセット には情報があることが示されている $[4,5,6]$. 例え ば, Gururangan et al.[4] は SNLI において，「not」な どの否定語が contradiction ラベルと強く結びついて いることを発見した.したがって，入力に「not」が 含まれる場合に contradiction と予測することが多い モデルは，高い精度を得ることができるが，実際に は自然言語推論に関する言語能力を獲得しているこ とにはならない。その結果，表層的な手がかりに依存するモデルは元々訓練されたデータセットでは高 い精度を出すが，表層的な手がかりを含まない入力 に対しては精度が低下するということが起きてし まう。

情報の問題に対処するためには，いくつかのアプ

ローチがある，一般的には，既存のデータセットか ら表面的な手がかりを削除するなど，データセット を慎重に作成するアプローチが多い。これは，敵対的フィルタリング (adversarial filtering) アドバー セーリエルフィルテリングによってサンプルを削除するか $[7,8,9]$, データセットを反実仮想的な例 で補強することで実現できる $[6,10]$. その他には敵対的トレーニングなどのトレーニング方法に着目し たアプローチもある $[11,12,13]$. しかし, この方法 では複雑な学習設定と高い計算量が必要になる. ま た，解説付きのマルチタスク学習をべースにしたア プローチもある [14].

Predict-only パラダイムとは異なり，因果的プロン プトでは予測に対するフリーテキストの説明をモデ ルに生成させる必要がある. モデルの解釈性を向上 させるために, Narang et. al. [1] は予測や自由記述 の説明を求めるプロンプトを導入した. 本書では， このパラダイムを因果的プロンプトと呼ぶことに する.

これまでの研究では，様々な条件下でモデルの解釈性を向上させるために，因果的プロンプトを採用 する様々な方法が検討されてきた. [15] は因果的プ ロンプトの説明の忠実度を, $[16,17]$ はモデルから 質の高い説明を抽出する方法を研究している.

このように，因果的プロンプトの解釈可能性は盛 んに研究されているが，敵対的な頑健性については 特に調査されていない. 因果的プロンプトは元のラ ベルと説明文からなる出力形式を持つため, 説明文 を生成する際に表層的な手がかりがモデルによっ て利用される可能性は低いと推測される. したがっ $\tau$ ，我々は因果的プロンプトが敵対的頑健性に正の 効果をもたらすと仮説を立て，以下の節でこの仮説 を検証する。

## 3 手法

プロンプトフォーマット 各 NLI 問題は premise と hypothesis を提供し, モデルは entailment, neutral, contradiction の 3 つのラベルのうち 1 つを出力する 必要がある．これに対して，以下のようなプロンプ ト形式を因果的プロンプトと呼ぶことにする。
- INPUT: Is this true and why? \{premise\} implies \{hypothesis\}
- OUTPUT: $\{$ Yes or No $\}$ it is $\{$ label $\}$ because \{explanation \}

ここでは，入力と出力の両方が（ラベルではなく）自然文になっており，タスクは自然言語の質問と回答という形式をとっている. 予測は大きく 2 のス テップに分かれる. まず，与えられた前提と仮説に 含意関係があるかという分類問題に対し entailment, neutral, contradiction のいずれかのラベルを予測す る. そしてラベルに応じて, entailment の場合は “Yes it is ...” が， neutral と contradiction の場合は “No it is ...” が出力する. 本稿ではこれを「マルチステッ プ・バーバライザー」と呼ぶ.これは，一段階また は一語のバーバライザーを使用した従来の研究とは 異なる。例えば, entailment は “yes”, contradiction と neutral は “no”, “maybe” と一語で表されることが多 い [19]. 最後に，予測の根拠を説明することで出力 は完了する. 本研究では, 因果的プロンプトが敵対的頑健性に及ぼす効果に着目し，プロンプトが性能 へ与える効果を検証した。

ベンチマーク e-SNLI [14], Adversarial NLI (ANLI) [2], SNLI Hard [4], NLI Diagnostic [20], Heuristic Analysis for NLI Systems (HANS) [21], CounterfactuallyAugmented NLI (Counter-NLI) [10] でモデルを評価 する。

トレーニングセットアップ モデルのトレーニン グには，3/4 の e-SNLI とすべての ANLI データが使用される。なお，ANLIでは一部の説明のみで，足 りない部分はプロンプトテンプレートを修正して対応した。

## 4 実験結果

因果的プロンプトは敵対的ロバスト性を向上させ るか？ 因果的プロンプトを用いた学習により，ほ ぼすべてのベンチマークですべてのモデルの性能 が向上し，これまで報告されている State-of-the-art の精度を上回るケースも見られた (表 1)．T5-3B [22] はサイズが小さいにもかかわらず全体的に高い性能を示したが，これは T0 [23] がメモリの制限によ り, 他のモデルで使用するバッチサイズとシーケ ンス長の $1 / 4$ を使用したためである. また, HANS データセットは、 $\mathrm{T} 5$ と $\mathrm{T} 0$ モデルにとって挑戦的であることが証明された。 5 と T0 モデルは、 Subsequence(Sub) や Constituent(Cons) の 敵対的攻撃 に対してまだ脆弱な可能性がある。このモデルの Lexical Overlap (Lex) と subsequence、Constituent の格差は，さらなる分析のための興味深い道であると思 われるが本稿の範囲外である。他のすべてのべンチ マークにおいて, 因果的プロンプトモデルは, ドメ

} & \multicolumn{2}{|c|}{ T5-Small (60M) } & \multicolumn{2}{|c|}{ BART-Base (125M) } & \multicolumn{2}{|c|}{ BART-Large $(400 \mathrm{M})$} & \multicolumn{2}{|c|}{ T5-Large (770M) } & \multicolumn{2}{|c|}{$\mathrm{T} 5-3 \mathrm{~B}(3 \mathrm{~B})$} & \multicolumn{2}{|c|}{$\mathrm{T} 0 *(11 \mathrm{~B})$} \\

表 1: predict-only (PR) と因果的プロンプト (EXP) でトレーニングされたモデルの平均予測精度. 現在の最新技術は WT5 [1], BERT-Sup-ATT [18], InfoBERT [12], RoBERTa-AFLITE [9], BERT [10], RoBERTa-AFLITE [9] e-SNLI、ANLI、および SNLI-Hard は、ドメイン内のテスト セットである.

イン内設定と敵対的ドメイン外設定の両方に対し て明確な改善を示している。このように，因果的プ ロンプトは敵対的攻撃に対するモデルの頑健性を概 ね向上させ，全体として NLI 予測性能を向上させた と結論付けることができる.

結果はアーキテクチャ/サイズに依存するか？ モデルサイズが性能に与える影響を調べるため，パ ラメータが 6,000 万から 30 億までの 6 種類のモデ ルを評価した。これらのモデルには，125M と $400 \mathrm{M}$ のパラメータを持つ BART [24] の 2 つのバリエー ションと，60M，770M，3B のパラメータを持つ T5 の 3 つのバリエーションが含まれている. 表 1 から わかるように，ANLI データセットでは，モデルサ イズと性能の間に明確な関係があり，より大きなモ デルがより良い結果を出していることがわかる.

## モデルは表層的手がかりの影響を受けているか？ モデルが表層的な手がかりの影響を受けているか 調べるため, 先行研究に従って仮説のみで学習した モデルの性能を比較した [4]. 仮説のみで学習する、 つまり、前提がない不完全なタスク設定になるた め，表層的な手がかりの影響を受けないモデルはラ ンダムな精度になると考えられる。

本実験ではラベル予測のみを学習し他モデルと因果的プロンプトで学習したモデルを比較した. その 結果, predict-only モデルはランダム性能を上回って いる $(63.7 \%$ vs $33.3 \%)$ 一方、因果的プロンプトモ
デルはランダムな精度になっており, 表面的な手が かりの影響を受けていないことがわかった。

## 因果的プロンプトはトークンとラベルの関連性を弱めるか？ 入力の単語と学習セットのラベルの関係を理解するために，それらの間の自己相互情報量 (PMI) を計算する。これにより，特定のラベルと強 く結びついている言葉や，因果的プロンプトを使用 したときにその結びつきがどのように変化するかを 特定することが可能になる.

$
\text { PMI }(\text { word }, \text { label })=\log \frac{p(\text { word, label })}{p(w o r d, \cdot) p(\cdot, \text { label })}
$

Gururangan et al. [4] と同様に，ラベルと最も強 く関連する単語を強調するため，PMI の計算には add-100 スムージングを適用した。

実験の結果，因果的プロンプトを用いることで 入力語とラベルの関連性が低下することがわかっ た. 例えば，「frowning」というネガティブな単語は contradiction というラベルと強く結びついているが，因果的プロンプトを使うとこの関連はなくなる (付録 A，図 1).この結果は，仮説のみのモデルの結果 とも一致する。

## モデルはプロンプトの微小な違いに敏感か？ れまでの研究で，モデルはプロンプトに対して非常 に敏感であることが示されている [19]ため，我々も クラウドソーシングのプロンプトソースプロジェ

表 2: e-SNLI と CounterNLI (CNLI) の開発セットに関するプロンプトの感度. 数値は predict-only/因果的プロ ンプトの平均精度である．因果的プロンプトの標準偏差が低いほど，安定性が高いことを示している。

表 3: 切除した説明文を用いて学習させた $\mathrm{T} 0$ モデル の平均予測精度

クトから入手した 5 種類のプロンプトを用いて比較を行った. 各モデルについて， 3 種類のランダム シードで 3 回の実験を行った. なおリソースの制限 から，この実験では $\mathrm{T} 0$ を除外し，e-SNLI からラン ダムにサンプリングした 2 万個のインスタンスのみ を使用した。

実験の結果，因果的プロンプトモデルはより優れ た汎化性を示し, 敵対的な攻撃に対してより頑健で ある (表 2)ことがわかった。

説明には因果関係が必要か？説明における因果関係の有無の影響を調べるため，因果的プロンプ トの説明文を，全くランダムな文から類似の文ま で，無関係の文に置き換えたモデルで実験を行っ た. 具体的には，（i）ランダムな文字，（ii）ランダ ムな単語，(iii）BookCorpus [25] の低類似度文，(iv) BookCorpus の高類似度文の設定を比較し, 元の説明文との類似度は SentenceBERT [26] を用いた.すべ てのモデルは e-SNLI からランダムにサンプリング した 20K 個のインスタンスで学習させた. 実験の結果，元の説明文を用いた生成が最も高い精度を示し た. ランダムな説明や無関係な説明では性能が低下 するため，因果関係のある説明を予測するようにモ デルを訓練することで，敵対的な頑健性が向上する
ことが確認された (表 3).

因果的プロンプトはモデルのパフォーマンス を向上させるか？ このことを確認するために， 1 段階の発話によるプロンプト (\{label $\}$ because \{explanation \}) と多段階の発話によるプロンプト (Yes/No it is $\{$ label $\}$ because $\{$ explanation $\}$ ) を用い て，説明を加えた場合と加えない場合の両方を $\mathrm{T} 0$ に学習させた. predict-only モデルは，シングルス テップ・バーバライザーで $87.2 \%$ ，マルチステップ・ バーバライザーで $88.4 \%$ の精度を達成した。一方，因果的プロンプトモデルはシングルステップ・バー バライザーで $90.9 \%$ ，マルチステップ・バーバライ ザーで $91.6 \%$ という精度を達成した. predict-only と 因果的プロンプトのいずれの設定でも，多段階の バーバライザーを追加することで，1 段階のものよ りも改善が見られた。

## 5 おわりに

本研究では，因果的プロンプトが自然言語処理モ デルの敵対的頑健性に与える影響について検討し た. 実験の結果から，因果関係のプロンプトを使用 することで，敵対的な攻撃に対するモデルの頑健性 を向上させることができることが示された．具体的 には，因果的プロンプトモデルは，（1）表層的な手 がかりによる影響を受けなくなったこと，（2）因果関係の説明や多段階の言語化で最も効果的であるこ と，（3）プロンプト形式の違いに頑健であること， (4) モデルサイズが大きくなると性能が向上するこ と，そして (5) 因果的プロンプトの使用により入力単語とラベルの関連性が低下すること，を示した。

## 6 謝辞

本研究は，JST，CREST，JPMJCR20D2 の支援を受 けたものである。本研究は JSPS 科研費 JP21K21343,

21K17814 の助成を受けたものです.

## 参考文献

[1] Sharan Narang, Colin Raffel, Katherine Lee, Adam Roberts, Noah Fiedel, and Karishma Malkan. Wt5?! training text-to-text models to explain their predictions, 2020.

[2] Yixin Nie, Adina Williams, Emily Dinan, Mohit Bansal, Jason Weston, and Douwe Kiela. Adversarial NLI: A new benchmark for natural language understanding. In 58th Annual Meeting of the ACL. ACL, 2020.

[3] Samuel R. Bowman, Gabor Angeli, Christopher Potts, and Christopher D. Manning. A large annotated corpus for learning natural language inference. In 2015 EMNLP, pp. 632-642, Lisbon, Portugal, September 2015. ACL.

[4] Suchin Gururangan, Swabha Swayamdipta, Omer Levy, Roy Schwartz, Samuel Bowman, and Noah A. Smith. Annotation artifacts in natural language inference data. In 2018 Conference of the North American Chapter of the ACL: Human Language Technologies, Volume 2 (Short Papers), pp. 107-112, New Orleans, Louisiana, June 2018. ACL.

[5] Saku Sugawara, Kentaro Inui, Satoshi Sekine, and Akiko Aizawa. What makes reading comprehension questions easier? In 2018 EMNLP, pp. 4208-4219, Brussels, Belgium, October-November 2018. ACL.

[6] Pride Kavumba, Naoya Inoue, Benjamin Heinzerling, Keshav Singh, Paul Reisert, and Kentaro Inui. When choosing plausible alternatives, clever hans can be clever. In First Workshop on Commonsense Inference in Natural Language Processing, pp. 33-42, Hong Kong, China, November 2019. ACL

[7] Rowan Zellers, Yonatan Bisk, Roy Schwartz, and Yejin Choi. SWAG: A large-scale adversarial dataset for grounded commonsense inference. In 2018 EMNLP, pp. 93-104, Brussels, Belgium, October-November 2018. ACL

[8] Rachel Rudinger, Jason Naradowsky, Brian Leonard, and Benjamin Van Durme. Gender bias in coreference resolution. In 2018 Conference of the North American Chapter of the ACL: Human Language Technologies, Volume 2 (Short Papers), pp. 8-14, New Orleans, Louisiana, June 2018. ACL

[9] Ronan Le Bras, Swabha Swayamdipta, Chandra Bhagavatula, Rowan Zellers, Matthew Peters, Ashish Sabharwal, and Yejin Choi. Adversarial filters of dataset biases. In Hal Daumé III and Aarti Singh, editors, 37th International Conference on Machine Learning, Vol. 119 of PMLR, pp. 1078-1088. PMLR, 13$18 \mathrm{Jul} 2020$.

[10] Divyansh Kaushik, Eduard Hovy, and Zachary C Lipton. Learning the difference that makes a difference with counterfactually augmented data. ICLR, 2020.

[11] Yonatan Belinkov, Adam Poliak, Stuart Shieber, Benjamin Van Durme, and Alexander Rush. On adversarial removal of hypothesis-only bias in natural language inference. In Eighth Joint Conference on Lexical and Computational Semantics (*SEM 2019), pp. 256-262, Minneapolis, Minnesota, June 2019. ACL.

[12] Boxin Wang, Shuohang Wang, Yu Cheng, Zhe Gan, Ruoxi Jia, Bo Li, and Jingjing Liu. Infobert: Improving robustness of language models from an information theoretic perspective. In ICLR, 2021.

[13] Xiaodong Liu, Hao Cheng, Pengcheng He, Weizhu Chen, Yu Wang, Hoifung Poon, and Jianfeng Gao. Adversarial training for large neural language models, 2020.

[14] Oana-Maria Camburu, Tim Rocktäschel, Thomas Lukasiewicz, and Phil Blunsom. e-snli: Natural language inference with natural language explanations. In S. Bengio, H. Wallach, H. Larochelle, K. Grauman, N. Cesa-Bianchi, and R. Garnett, editors, Advances in Neural Information Processing Systems 31, pp.
9539-9549. Curran Associates, Inc., 2018.

[15] Sarah Wiegreffe, Ana Marasović, and Noah A. Smith. Measuring association between labels and free-text rationales. In 2021 EMNLP, pp. 10266-10284, Online and Punta Cana, Dominican Republic, November 2021. ACL

[16] Ana Marasovic, Iz Beltagy, Doug Downey, and Matthew Peters. Few-shot self-rationalization with natural language prompts. In Findings of the ACL: NAACL 2022, pp. 410-424, Seattle, United States, July 2022. ACL

[17] Sarah Wiegreffe, Jack Hessel, Swabha Swayamdipta, Mark Riedl, and Yejin Choi. Reframing human-AI collaboration for generating free-text explanations. In $\mathbf{2 0 2 2}$ Conference of the North American Chapter of the ACL: Human Language Technologies, pp. 632-658, Seattle, United States, July 2022. ACL.

[18] Joe Stacey, Yonatan Belinkov, and Marek Rei. Supervising model attention with human explanations for robust natural language inference, 2021

[19] Timo Schick and Hinrich Schütze. It's not just size that matters: Small language models are also few-shot learners. In 2021 Conference of the North American Chapter of the ACL: Human Language Technologies, pp. 2339-2352, Online, June 2021. ACL.

[20] Alex Wang, Amanpreet Singh, Julian Michael, Felix Hill, Omer Levy, and Samuel Bowman. GLUE: A multi-task benchmark and analysis platform for natural language understanding. In 2018 EMNLP Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP, pp. 353-355, Brussels, Belgium, November 2018. ACL.

[21] Tom McCoy, Ellie Pavlick, and Tal Linzen. Right for the wrong reasons: Diagnosing syntactic heuristics in natural language inference. In 57th ACL, pp. 3428-3448, Florence, Italy, July 2019. ACL.

[22] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. JMLR, Vol. 21, No. 140, pp. 1-67, 2020.

[23] Victor Sanh, Albert Webson, Colin Raffel, Stephen H. Bach, Lintang Sutawika, Zaid Alyafeai, Antoine Chaffin, Arnaud Stiegler, Teven Le Scao, Arun Raja, Manan Dey, M Saiful Bari, Canwen Xu, Urmish Thakker, Shanya Sharma Sharma, Eliza Szczechla, Taewoon Kim, Gunjan Chhablani, Nihal Nayak, Debajyoti Datta, Jonathan Chang, Mike Tian-Jian Jiang, Han Wang, Matteo Manica, Sheng Shen, Zheng Xin Yong, Harshit Pandey, Rachel Bawden, Thomas Wang, Trishala Neeraj, Jos Rozen, Abheesht Sharma, Andrea Santilli, Thibault Fevry, Jason Alan Fries, Ryan Teehan, Stella Biderman, Leo Gao, Tali Bers, Thomas Wolf, and Alexander M. Rush. Multitask prompted training enables zero-shot task generalization, 2021.

[24] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. In 58th Annual Meeting of the ACL, pp. 7871-7880, Online, July 2020. ACL.

[25] Yukun Zhu, Ryan Kiros, Rich Zemel, Ruslan Salakhutdinov, Raquel Urtasun, Antonio Torralba, and Sanja Fidler. Aligning books and movies: Towards story-like visual explanations by watching movies and reading books. In The IEEE International Conference on Computer Vision (ICCV), December 2015.

[26] Nils Reimers and Iryna Gurevych. Sentence-BERT: Sentence embeddings using Siamese BERT-networks. In 2019 EMNLP and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3982-3992, Hong Kong, China, November 2019. ACL.

## A PMI

(a) Predict-only $の$ PMI

(b) 因果的プロンプトの PMI

図 1: 仮説語句の PMI 統計. (a) Predict-only 設定での PMI. (b) 因果的プロンプト設定での PMI. 仮説に 含まれる単語は、Predict-only ラベルと強く結びつい ている. 因果的プロンプトでは、仮説語とラベルの 関連は負の関連に低下する。

入力の単語と学習セットのラベルの関係を理解す るために，それらの間の自己相互情報量 (PMI) を計算する。これにより, 特定のラベルと強く結びつい ている言葉や，因果的プロンプトを使用したときに その結びつきがどのように変化するかを特定するこ とが可能になる.

$
\text { PMI }(\text { word }, \text { label })=\log \frac{p(\text { word }, \text { label })}{p(\text { word }, \cdot) p(\cdot, \text { label })}
$

Gururangan et al.[4] と同様に，ラベルと最も強く関連する単語を強調するため, PMI の計算には add-100 スムージングを適用した。

実験の結果，因果的プロンプトを用いることで 入力語とラベルの関連性が低下することがわかっ た. 例えば，「frowning」というネガティブな単語 は contradiction というラベルと強く結びついている が，因果的プロンプトを使うとこの関連はなくなる (図 1).この結果は, 仮説のみのモデルの結果とも 一致する。
 Pride Kavumba $^{1,2}$ Ana Brassard $^{2,1} \quad$ Benjamin Heinzerling $^{2,1}$ 坂口 慶祐 ${ }^{1,2}$ 乾 健太郎 1,2 1 東北大学 2 理化学研究所 kavumba.pride.q2@dc. tohoku.ac.jp \{ana.brassard, benjamin.heinzerling\}@riken.jp \{keisuke.sakaguchi, kentaro.inui\}@tohoku.ac.jp  