# 記述式答案採点モデルの採点基準に対する整合性の検証

浅妻佑弥 ${ }^{1,2}$ 舟山弘晃 ${ }^{1,2}$ 松林優一郎 ${ }^{1,2}$ 水本智也 ${ }^{2}$ 乾健太郎 1,2
1 東北大学 2 理化学研究所
\{asazuma.yuya.r7, h. funa\}@dc. tohoku.ac.jp
\{y.m, kentaro.inui\}@tohoku.ac.jp tomoya.mizumoto@a.riken.jp

## 概要

記述式答案自動採点タスクにおいて，採点基準と 合致する採点モデルを構築することは重要な要件で あるが，訓練済みのモデルに対して採点基準との整合性を効率的に検証する手段は確立されていない.有力な手法として，モデルの内部動作を可視化でき る特徵量帰属法 (Feature Attribution) が存在するが,解答毎に検証を行う必要があるため，多数のデータ を使用した上で整合性を証明することは困難だっ た. 本研究では，クラスタリングアルゴリズムを特徵量帰属法で求めた説明系列に適用することで，少 ない労力で採点モデルと採点基準間の整合性検証を 可能にした.

## 1 はじめに

記述式答案自動採点 (Short Answer Scoring) とは, ある問題に対して解答された数十文字程度の答案を 自動で採点するタスクである [1]. 機械学習モデル で解ける形式に落とし込む場合，採点結果を目的変数に設定し，答案の文章を説明変数とする回帰問題 として扱い，問題文や採点基準（ルーブリック）は 補助的な特徴量として扱うのが一般的である [2].

しかしながら，本来の採点過程では採点基準との 合致が求められる. ゆえに，採点基準に沿った答案箇所が主な得点源となり，モデルが利用する特徴量 となることが求められるが，現状の多くの取り組み では答案の文章が主たる入力であり，学習の過程で 使用する特徴量が決定されるため, 基準に沿った採点をモデルが行うことを保証することはできない. たとえ，補助的な特徴量として採点基準を導入して も，機械学習モデルが利用するかは学習によって決定されるため，正確な保証になるわけではない。

この不安定性の問題に対応する手段として, 特徴量帰属法 (Feature Attribution) の活用が考えられる.主に説明可能な AI (XAI) 分野において扱われ, 出力
に対する入力特徴量の寄与度をモデルを使用して計算する手法群の総称である. モデルが使用した特徴量を根拠箇所としてヒートマップの形式で可視化す ることが可能であり，モデルの動作や判断の手がか りを得るための手法として定評がある [3].

しかしながら，特徴量帰属法は答案毎にベクトル の形式で寄与度を計算するため, 自然言語で記述さ れた採点基準とは形式が異なり，単純な自動化は難 しい．また，可能な限り多くの答案で検証できるこ とが望ましいが，訓練に使用する答案の数は最低で も数百・数千に及ぶため, 全ての答案に対する検証 を行うことは困難である。

本研究では，特徴量帰属法を使用した採点基準と の整合性検証が抱える実務上の問題点を解消するた めに，スペクトラルクラスタリング [4]を使用した クラスタ分析による整合性検証ツールの開発を行っ た. そして，考案した手続きの有効性を示すため，採点基準を含むデータセット上で動作確認を行い,少ない労力で訓練済みの機械学習モデルと採点基準間の整合性検証が可能であることを確認した。

## 2 関連研究

記述式答案採点モデルの解釈を目的とした既存研究は限られている. Mizumoto ら [5], Zeng ら [6] は 注意機構 [7] の重みをモデルの解釈として提供して いるが，モデルの一部の特徴量でしかないため，採点基準の検証手段としての使用には適さない.

一方で，Tasuku ら [8] は特徵量帰属法で生成した 説明系列と採点基準を元としたアノテーションの重複率を計測することで，モデルが採点基準に沿った 動作を行うか検証している. しかしながら，検証し たい全てのサンプルに対して採点基準を元としたア ノテーションを実施する必要があり, 新規のデータ セットに適応するための障壁が高い．そのため，少 ない労力で採点基準との整合性を検証できる手法を 本研究で取り扱う.

図 1 本研究の概略図. 訓練に使用した答案に対して特徴量帰属法による説明系列を生成し，クラスタリングによって類型の答案を集約する．各々のクラスタに対して採点基準と比較することで整合性のチェックを行う。

## 3 手法

## 3.1 特徵量帰属法

特徴量帰属法 (Feature Attribution) ${ }^{1}$ はモデルの出力に対する入力特徴量の寄与度を計算するための手法である. 入力サンプルの集合を $X=\left(x_{1}, x_{2}, \ldots, x_{n}\right)$ ，機械学習モデルを $f(\boldsymbol{x})$ とする. あるサンプル $\boldsymbol{x}=\left(x_{1}, x_{2}, \ldots, x_{m}\right)$ に対するモデルの出力得点が $\boldsymbol{y}$ で あるとき，出力得点に対する入力系列の重要度を説明系列 $\boldsymbol{e}=\left(e_{1}, e_{2}, \ldots, e_{n}\right)$ として計算する．各 $e_{i}$ の値 は得点に対する $x_{i}$ の寄与度となることが望まれる。

本研究では, 寄与度の計算に Integrated Gradients [9]を使用する. 勾配計算を利用する解釈手法 [10] の中でも有力な手法であり，モデルと入出力を利用 して以下の式で計算する。

$
e_{i}=\left(x_{i}-x_{i}^{\prime}\right) \int_{0}^{1} \nabla f\left(\boldsymbol{x}^{\prime}+\alpha\left(\boldsymbol{x}-\boldsymbol{x}^{\prime}\right)\right) \mathrm{d} \alpha
$

ここで， $x_{i}^{\prime}$ はベースラインと呼ばれる比較の基準 となる入力サンプルであり, 本研究では零テンソル を使用する. 摄動ベースの手法 [11][12] と比較して 計算量が少なく，微分可能であれば大規模なモデル でも実行可能であるため，本研究で採用する.

## 3.2 SpRAy

SpRAy[13] は特徴量帰属法による解釈の分析を行 う手法である。論文内において, PASCAL VOC 2007 に対して学習された分類モデルが, 馬カテゴリの分類に画像の透かし表記を利用することを明らかにし ている. 本研究では，SpRAyを自然言語処理領域に 拡張し，記述式答案自動採点タスクで利用する。
解の為に，論文内では特徴量帰属法の名称を使用する。
SpRAy の主な特徴として，スペクトラルクラスタ リングを使用したクラスタ分析を行う．ラプラシア ン行列の固有値分解によるグラフの連結成分分解 の問題を解くことでクラスタリングを行う手法で あり，説明系列の集合を $k$ 個のクラスタに分類す るとき，アルゴリズムは以下の 4 ステップで実行さ れる.

1. 任意の二つの説明系列 $\boldsymbol{e}_{\boldsymbol{a}}$ と $\boldsymbol{e}_{\boldsymbol{b}}$ の関係性から親和性行列 $A$ を構築する.
2. $A$ をグラフ構造に帰着し, 対称正規化ラプラシ アン行列 $L_{\text {sym }}$ を求める.
3. $L_{s y m}$ の固有値分解を行う. 固有值の昇順に $k$個の固有値ベクトルを選択して行列 $E$ を作る.
4. $E$ に対して素朴なクラスタリング手法を実施す る. 本研究では $\mathrm{k}$-means 法 [14]を使用する.

ここで，固有値を昇順に整列した系列の前後の差分 $\lambda_{i}^{\text {gap }}=\lambda_{i+1}-\lambda_{i}$ は固有値ギャップと呼称され，最適なクラスタの数を推定できるヒューリスティック な指標として扱うことができる. [15]

## 4 実験

本章で，記述式答案自動採点データセットを使用 した検証実験を行い，少ない労力でモデルと採点基準間の整合性検証が可能であることを示す.

## 4.1 データセット

本研究では, 理研記述問題採点データセット [16][5][17] を使用して実験を行った.このデータ セットは，入力とする答案文章，採点者による得点，採点の根拠を示すアノテーションから構成され る. データセット内には複数の問題文に対するデー タが含まれているが，本実験では問題 Y14_1-2_1_3 を使用する. 得点は複数の採点項目によって構成さ
表 1 問題 Y14_1-2_1_3 の採点項目.4つの採点項目から 構成され，合算した点数が最終的な得点となる.

項目 配点 満点となる文章スパンの例

れる. 表 1 に，採点項目の詳細を示す.

## 4.2 機械学習モデル

実験のために，水本ら [5] の研究を基にした機械学習モデルを構築する. エンコーダ層に BERT[18] を導入し，デコーダ層に注意機構 [7] を使用する。学習済みの BERT モデルには文字単位の日本語 BERT モデル2)を使用する．後の実験のために，採点項目毎の部分点をべクトル形式で予測する個別採点モデルと, 採点結果を合算した点数をスカラー形式で予測する全体採点モデルを構築する，得点を予測する回帰問題としてモデルを訓練した. モデルの 性能評価は付録 $\mathrm{A}$ に記載する。

## 4.3 クラスタ分析の前処理

モデルの学習後, 使用した訓練サンプルに対して Integrated Gradients による説明系列を生成する。た だし，埋め込み層に対する勾配の計算は不可能であ るため，埋め込み後の入力に対して寄与度を計算す る. クラスタリングにあたり説明系列間の類似性か ら親和性行列を構築する必要があるが，入力が可変長系列であるため，全ての入力に対して総和を取っ た説明系列間でコサイン類似度を計算する。親和性行列からラプラシアン行列への変換は, 5 つの近傍 の頂点を接続行列として扱い，対称正規化ラプラシ アン行列を構築する。また，予測スコアが最大の点数の二割以下であるサンプルについては除外する.白紙の答案に対して採点理由を求めることが不可能 であるように, 得点が著しく低い答案に対する説明 を求めることが困難なためである.

## 4.4 全体採点モデル

まず，全体採点モデルに対してクラスタ分析を行 う. ラプラシアン行列に対して求めた固有値の特性 を図 2 に示す. $\lambda_{1} \cdot \lambda_{2}$ の固有値ギャップが大きく, $\lambda_{5}$ 以降は緩やかに増加することが確認できる。この

2) https://github.com/cl-tohoku/bert-japanese

図 2 全体採点モデルにおける固有値の推移.

結果より，クラスタ数を $k=5$ に設定してクラスタ 分析を行った。ヒートマップで色付けしたクラスタ 毎の文章例を図 3 に示す. なお，ヒートマップの濃度は，トークン毎に説明系列の総和を取り標準化を 施した値を使用した。概ね，各クラスタに含まれる 顕著な特徵は以下の結果になった。

・クラスタ 0,4 : 西洋 (項目 A)，対決 (項目 B)

・クラスタ 1, 2: 同意 (項目 C), 説得 (項目 D)

・クラスタ 3: 類似性の少ない答案の集合

3 番以外のクラスタで，表 1 に示す採点基準を中心に集約される傾向が確認できた．クラスタ 3 の み，類似性が少ない答案と説明系列が集約されてい る.ゆえに，3 番以外のクラスタに属する訓練サン プルに関しては基準との整合性あると結論付けられ る. クラスタ 3 に所属するサンプルのみ，個別に検証することになるが，今回の実験では問題のある事例は発見できなかった.

以上の手順によって，少ない労力で採点基準との 整合性を確認できた．なお，採点基準に反するよう な説明系列を発見することはなかった。

## 4.5 個別採点モデル

4.4 節と同様の手順で，個別採点モデルに対する クラスタ分析を行った. 分析自体は全ての採点項目 に対して実行したが，本文には採点項目 B における 結果を記載する．ヒートマップで色付けしたクラス タ毎の文章例を図 4，ラプラシアン行列に対して計算した固有値の特性を図 5 に示す. $\lambda_{5}$ 以降は緩や かに増加することが確認できるため，クラスタ数は $k=5$ 亿設定した. 図 4 において，各クラスタに含 まれる顕著な特徴は以下の結果になった。

・クラスタ 0: 西洋文化の基底 (負)，対決，異人

・クラスタ 1:「対決」,答案が類似する。

・クラスタ 2: 西洋 (負)，異人，人間

・クラスタ 3: 西洋 (負)，他人は自分とは異なる

・クラスタ 4:「対決」，「異人」
一 [CLS]西洋文化の基底には「対決」のスタンスがあり、神対人間、人間対自然、人間対人間という形で現されるということ。[SEP]

0 [CLS]西洋文化の基底には「対決」のスタンスがある。その「対決」は神对人間、人間対自然、人間対人間という形で現れること[SEP] [CLS]西洋文化の基底には「刘決」といラスタンスがあり、そのスタンスが、様々な形で現れることで西洋の文化は導かれてきたということ[SEP] [CLS]西洋文化の基底にある神对人間、人間対自然人間对人間という形のような「対決」のスタンスこそが人を説得させようとする锝舌になる。 [SEP] [CLS] コーロッパは民族などが異った国々が狭い地域に雑居しているから自分の考えを相手に伝え、同意してもらう必要があること。[SEP] [CLS]西洋人は基本的には他人は自分とは違う人間と見なし、自分の考えを相手にきちんと説明して相手から同意を取つける説得が必要であること。 [SEP]

[CLS]西洋人は基本的に他人は異人と見なすため、自分の考えに他人を同意させる必要があると考える。だから「対決」のスタンスがあるということ。 [SEP] [CLS]西洋文化の、人間は常に「何か」と対決しているしため、その対決している人に自分の考えを同意させるのが必要だと考えているから。[SEP] [CLS]西洋人にとって他人は異人であり、自分の考え方を相手に説明して相手からの同意を取りつける必要があるので説得は西洋人に不可決な技術であること。 [SEP] [CLS]西洋人は他人は自分と異なる人間と見なすため基底に「対決」というスタンスがあり、西洋人に生きてゆくうえで大切な技術であり、別の考えであること。 [SEP]

3 [CLS]西洋人は基本的には他人は自分とは異なる人間(異人)と見なし、西洋文化の基底には「対決」のスタンスがあるということ。[SEP] [CLS]神対人間、人間対自然、人間対人間という形で現される西洋文化の「対決」のスタンスのこと。 [SEP]

[CLS]西洋文化の基底には「対決」のスタンスがあり、その「対決」は神对人間、人間对自然、人間对人間という形で現われるということ。[SEP]

4 [CLS]西洋人は基本的に他人は自分とは異なる人間(異人)と見なしており、さらに西洋文化の基底には「対決」のスタンスがあること。[SEP] [CLS]西洋文化の基底には「対決」のスタンスがあり、その「対決」は神対人間、人間対自然、人間対人間という形で現われること。[SEP]

図 3 全体採点モデルで生成した説明系列を対象としてクラスタ分析を行った結果. 各クラスタに含まれる文章と説明系列を三件ずつ例示する。文頭の番号は各クラスタの ID を示す.

一 [CLS]西洋文化の基底には他人という自分と異なる人を自分の考えに同意させるために言葉を尽くし对決するという考えがあるため、説得が本質であるという事。 [SEP]

0 [CLS]西洋文化の基底には「対決」のスタンスがあり、神対人間(宗教=契約)、人間対自然科学=合理主義)、人間対人間(個人主義)という形で現れること[SEP]

[CLS]西洋人は他人と自分は異なる人間と見なし、自分の考えに他人を同意させるためて言葉を尽くして伝えようとするということ。[SEP]

[CLS]西洋文化の基底には「对決」のスタンスがあり、その「对決」は、神对人間、人間对自然、人間对人間という4つの形で現れる。[SEP]

1 [CLS]西洋文化の基底には「対決」のスタンスがある。その「対決」は神対人間、人間対自然、人間对人間という形で現れる。[SEP] [CLS]西洋文化の基底には「玟決」のスタンスがあり、その「対決」は神対人間、人間対自然、人間対人間という形で現れるということ。[SEP]

[CLS]他人を自分を異なる人と見なして、自分の考えを相手に同意させる必要があると考え、他人に分かってもらうために言葉を尽くし考えを伝えようとすること[SEP]

2 [CLS]ヨーロッパは民族や言語や文化を異にする多くの国々が狭い地域に雑居していることから他人を異人ととらえ、相手から同意を取りつける必要があること。 [SEP] [CLS]西洋人は基本的に他人を異人と見なすため自分の考えに他人を同意させる必要があると考え、そのために言葉を尽くして自分の考えを伝えようとすること。 [SEP] [CLS]西洋文化の基底には「対決」のスタンスがあり、基本的に他人は自分とは異なる人間だから自分の考えに同意させる必要があると考えるということ。[SEP]

3 [CLS]西洋人は基本的には他人は自分とは異なる人間と見なす。だから自分の考えに他人を同意させる必要があると考え、言葉をつくして考えを伝えようとする。 [SEP] [CLS]宗教や自然に対する考え方の違いや、個人の思想が様々だったので自分とは買なる人間である他人に自分の考えを分かってもらうために镜舌が発達した[SEP]

一 [CLS]西洋文芸は日本文芸とは違い他人は自分と異なる人間と見なすため西洋文化の基底には对決のスタンスがあり、それは個人主義という形で現れるということ[SEP]

4 [CLS]神対人間、人間対自然人間対人間という西洋文化の基底には「刘決」というスタンスがあり、説得は生きてゆくうえで大切な技術であるということ。[SEP] [CLS]他文化の人と往む事が多く、考え方の違いで対決する事が多かったヨーロッパでは、説得しないと、他人に自分の考えが理解してもらえないと考えたから[SEP]

図 4 個別採点モデル・採点項目 B で生成した説明系列を対象としてクラスタ分析を行った結果. 各クラスタに含まれ る文章と説明系列を三件ずつ例示する．文頭の番号は各クラスタの ID を示す.

図 5 個別採点モデル・項目 B における固有値の推移.

全体採点モデルの時と同様に，一貫した説明のパ ターンをクラスタ内で確認できる。採点項目 B に該当する表現に高い寄与度が割り振られているパター ンが多いが，一方で採点項目 A であるはずの”西洋文化”に対して強い負の寄与度が確認できる。ゆえ に，採点項目 B に含まれない基準”西洋文化”を使用 して答案を採点している可能性が浮上した.

## 5 議論

あくまで固有値ギャップはヒューリスティックな 指標であるため，依然として最適なクラスタ数を設定することは困難である．大きなクラスタ数を指定 すれば詳細な分割が行われるが，検証の労力が増大
しクラスタリングの意義を損ねてしまう。一方で，小さすぎるクラスタ数を指定すれば，一つのクラス タに複数のパターンが含まれることになる. 現に， 4.4 節における実験では，一つのクラスタ内に複数 の採点項目のパターンが観測された. そもそも，固有値ギャップ特性によるクラスタ数の推定に対して 批判的な意見も存在する [19].

また，本論文の実験結果は人間視点の定性的な評価に留まっているため，今後の研究ではクラスタ間 の距離・階層関係を利用した定量的な評価の実施を 計画している.

## 6 おわりに

本研究では，記述式答案自動採点タスクにおける 採点基準検証の省労力化を目的として, 特徵量帰属法とクラスタリングを使用した検証手法を開発し た. 有効性を示すために，採点基準を含むデータ セット上で動作確認を行い. 訓練済みの機械学習モ デルに対して整合性検証が可能であることを確認し た. また，実際に採点基準から外れた動作の疑いが ある事例を発見することができた.

## 謝辞

本研究は JSPS 科研費 $22 \mathrm{H} 00524$ ，JST 次世代研究者挑戦的研究プログラム JPMJSP2114 の助成を受け たものである．また，研究を進めるにあたり，頻繁 に議論に参加していただいた Tohoku NLP グループ の皆様へ感謝いたします。

## 参考文献

[1] Md Arafat Sultan, Cristobal Salazar, and Tamara Sumner. Fast and easy short answer grading with high accuracy. In Proceedings of the $\mathbf{2 0 1 6}$ Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 1070-1075, San Diego, California, June 2016. Association for Computational Linguistics.

[2] Brian Riordan, Andrea Horbach, Aoife Cahill, Torsten Zesch, and Chong Min Lee. Investigating neural architectures for short answer scoring. In Proceedings of the 12th Workshop on Innovative Use of NLP for Building Educational Applications, pp. 159-168, Copenhagen, Denmark, September 2017. Association for Computational Linguistics.

[3] Ričards Marcinkevičs and Julia E Vogt. Interpretability and explainability: A machine learning zoo mini-tour. December 2020.

[4] Andrew Y Ng, C S Division, U C Berkeley, Michael I Jordan, C S Div, Dept Of, Stat U C Berkeley, and Yair Weiss. On spectral clustering: Analysis and an algorithm. https: //proceedings.neurips.cc/paper/2001/file/ 801272ee79cfde7fa5960571fee36b9b-Paper.pdf. Accessed: 2023-1-11.

[5] Tomoya Mizumoto, Hiroki Ouchi, Yoriko Isobe, Paul Reisert, Ryo Nagata, Satoshi Sekine, and Kentaro Inui. Analytic score prediction and justification identification in automated short answer scoring. pp. 316-325, August 2019.

[6] Zijie Zeng, Xinyu Li, Dragan Gasevic, and Guanliang Chen. Do deep neural nets display human-like attention in short answer scoring? In Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 191-205, Seattle, United States, July 2022. Association for Computational Linguistics.

[7] Dzmitry Bahdanau, Kyunghyun Cho, and Yoshua Bengio. Neural machine translation by jointly learning to align and translate. September 2014.

[8] Tasuku Sato, Hiroaki Funayama, Kazuaki Hanawa, and Kentaro Inui. Plausibility and faithfulness of feature Attribution-Based explanations in automated short answer scoring. In Artificial Intelligence in Education, pp. 231242. Springer International Publishing, 2022.

[9] Mukund Sundararajan, Ankur Taly, and Qiqi Yan. Axiomatic attribution for deep networks. March 2017.

[10] Karen Simonyan, Andrea Vedaldi, and Andrew Zisserman. Deep inside convolutional networks: Visualising image classification models and saliency maps. December 2013.

[11] Marco Tulio Ribeiro, Sameer Singh, and Carlos Guestrin. "why should I trust you?": Explaining the predictions of any classifier. February 2016.

[12] Scott Lundberg and Su-In Lee. A unified approach to interpreting model predictions. May 2017.

[13] Sebastian Lapuschkin, Stephan Wäldchen, Alexander Binder, Grégoire Montavon, Wojciech Samek, and KlausRobert Müller. Unmasking clever hans predictors and assessing what machines really learn. Nat. Commun., Vol. 10, No. 1, p. 1096, March 2019.

[14] J MacQueen. Some methods for classification and analysis of multivariate observations. In Proceedings of the Fifth Berkeley Symposium on Mathematical Statistics and Probability, Volume 1: Statistics, Vol. 5.1, pp. 281298. University of California Press, January 1967.

[15] Ulrike von Luxburg. A tutorial on spectral clustering. November 2007.

[16] 理化学研究所. 理研記述問題採点データセット. July 2020.

[17] Hiroaki Funayama, Tasuku Sato, Yuichiroh Matsubayashi, Tomoya Mizumoto, Jun Suzuki, and Kentaro Inui. Balancing cost and quality: An exploration of Human-inthe-Loop frameworks for automated short answer scoring. In Artificial Intelligence in Education, pp. 465-476. Springer International Publishing, 2022.

[18] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. pp. 4171-4186, June 2019.

[19] Song Wang, Karl Rohe, Pengsheng Ji, and Jiashun Jin. DON'T MIND THE (EIGEN) GAP. https://www. stat.cmu.edu/ jiashun/Research/ Selected/SCC-disc3.pdf. Accessed: 2023-1-13.

## A 採点モデルの性能評価

採点モデルを訓練した後に，テストセットを使用 した性能の評価を行った. RMSE と QWK の二つの 指標で測定した結果を記載する。

## A. 1 全体採点モデル

全体採点モデル，テストセットに対する性能評価 の結果を表 2 に示す.

## A. 2 個別採点モデル

個別採点モデル，テストセットに対する性能評価 の結果を表 3 に示す. 採点項目ごとに性能の測定を 行った.

表 2 全体採点モデル・テストセットにおけるモデルの性能. 問題 Y14_1-2_1_3を使用.

表 3 個別採点モデル・テストセットにおける採点項目毎 の性能. 問題 Y14_1-2_1_3を使用.


 浅妻佑弥 ${ }^{1,2}$ 舟山弘晃 ${ }^{1,2}$ 松林優一郎 ${ }^{1,2}$ 水本智也 ${ }^{2}$ 乾健太郎 1,2 1 東北大学 2 理化学研究所 \{asazuma.yuya.r7, h. funa\}@dc. tohoku.ac.jp \{y.m, kentaro.inui\}@tohoku.ac.jp tomoya.mizumoto@a.riken.jp  