# アノテータ特性を考慮した項目反応モデルを組み込んだ 深層学習自動採点手法

岡野将士 ${ }^{1}$ 宇都雅輝 1
1 電気通信大学大学院
\{okano,uto\}@ai.lab.uec.ac.jp

## 概要

近年注目されている深層学習を用いた小論文自動採点モデルを利用するためには，採点済みの小論文データセットを用いてモデル学習を行う必要が ある。一般にモデル学習はアノテータが与えた得点 を真値と仮定して行うが，小論文の採点結果はアノ テータの特性に依存することが知られており，その ようなバイアスデータを用いてモデルを学習すると 自動採点モデルの性能が低下してしまう. この問題 を解決するために本研究では，アノテータの特性を 考慮した項目反応理論を組み込んだ深層学習自動採点手法を提案する。

## 1 はじめに

近年の急速な社会変化に伴い，学校教育では論理的思考力などの育成が求められ，そのような能力を 評価する手法の一つとして小論文試験が注目されて いる. しかし，小論文試験を大規模な試験で実施す る場合，時間的・金銭的コストの高さや採点の公平性の担保の難しさといった課題が存在する $[1,2,3]$.自動採点手法はこれらの問題の解決策の一つとして 注目されている [4].

自動採点を実現する手法として，近年では，深層学習を用いた手法が多数提案され，高精度を実現し ている $[5,6,7,8]$. 深層学習を用いた自動採点モデ ルを利用するためには，採点済み小論文のデータ セットを用いてモデルを学習する必要がある．その 際，データセット中の得点はバイアスのない正確な 得点であると仮定する．しかしながら，大規模試験 では多数のアノテータが分担をして採点を行うこと が一般的であり，そのような場合，個々の答案に対 する得点はアノテータの特性（甘さ/厳しさなど）に 強く依存してしまう [9]. このようなアノテータの 特性の影響を受けたデータを利用した場合，学習さ
れるモデルもその影響を受け，性能が低下すること が報告されている $[10,11,12,13]$.

他方で，教育・心理測定の分野において，アノ テータの特性の影響を取り除くことができる手法が 提案されている，具体的には，数理モデルを用いた テスト理論の一つである IRT（Item Respose Theory：項目反応理論）モデルに，アノテータの特性を表す パラメータを加えたモデルとして提案されている $[9,14,15,16,17,18,19,20]$.

岡野・宇都 $[21,22,23]$ はこのような IRT モデルを 深層学習自動採点モデルと組み合わせて用いるアプ ローチを提案している．具体的には，アノテータの 特性を考慮した IRT モデルを用いて訓練データ中の 得点からアノテータのバイアスの影響を取り除いた 得点（以降では IRT 得点と呼ぶ）を推定し，この得点を元に自動採点モデルの学習を行う手法である. この方法によって，アノテータのバイアスに頑健な モデル学習が可能になることが示されている. しか し，この手法では IRT 得点の推定にアノテータが与 えた観測得点のみを用いており，答案文の情報は使用していない。一方で，答案文の内容自体も IRT 得点推定の有益な情報となりうるため，答案文の内容 も加味するようにモデルを拡張することでこのアプ ローチの性能を更に向上できると予測される.

そこで本研究では，IRT モデルと深層学習自動採点モデルを二段階で適用するのではなく, end-to-end で学習できるように拡張する. 具体的には，深層学習自動採点モデルの出力層に IRT モデルを組み込ん で end-to-end で学習する。この手法では，IRT 得点 の推定にアノテータが与えた観測得点だけでなく答案の文章も活用できるため，従来の IRT モデルと比 べて IRT 得点の推定精度が改善し，このアプロー チの全体的な性能改善につながる，本論文では，実 データ実験により提案手法の有効性を示す.

## 2 データ

本研究では，深層学習自動採点モデルの学習デー タとして，ある小論文問題に対する $J$ 人の受検者 $g=\{1, \ldots, J\}$ の答案集合 $\boldsymbol{A}$ と, 各答案を $R$ 人のア ノテータ $\mathscr{R}=\{1, \ldots, R\}$ で分担して採点した得点集合 $\boldsymbol{U}$ で構成されるデータを想定する。

答案集合 $\boldsymbol{A}$ は, 受検者 $j \in \mathcal{g}$ の答案 $e_{j}$ の集合であ り, 得点集合 $\boldsymbol{U}$ は答案 $e_{j}$ に対してアノテータ $r \in \mathscr{R}$ が $K$ 段階 $\mathscr{K}=\{1, \ldots, K\}$ で与えた得点 $U_{j r}$ の集合と して, $\boldsymbol{U}=\left.\{U_{j r} \in \mathscr{K} \cup\{-1\} \mid j \in \mathcal{F}, r \in \mathscr{R}\right.\}$ と定義する. ここで $U_{j r}=-1$ は久測データを表す. 久測データ は答案 $e_{j}$ にアノテータ $r$ が割り当てられていない 場合に生じる．実際の採点場面では負担軽減のため に，個々の答案に数名のアノテータを割り当てて採点が行われるため，このような欠測が生じる.

## 3 深層学習自動採点モデル

深層学習自動採点モデルは小論文答案の単語系列を深層学習モデルに入力することで得点を推定する手法であり，近年多くの手法が提案されて いる $[5,6,7,8]$. 本研究では Long short-term memory （LSTM）に基づくモデル [24] と Bidirectional Encoder Representations from Transformers (BERT) に基づくモ デル $[25,26]$ を使用する.

LSTM に基づくモデル [24] は深層学習自動採点モ デルの基礎モデルとして知られている。 このモデル では，答案の単語系列を入力し，5つの層（Lookup Table Layer $\cdot$ Convolution Layer $\cdot$ Recurrent Layer $\cdot$ Pooling Layer ・ Linear Layer with Sigmoid Activation）を通して 得点を予測する．LSTM は 3 層目の Recurrent Layer で用いられ, 得点予測に有効な特徵量を文脈を考慮 して抽出する。

BERT に基づくモデル $[25,26]$ では, 答案の単語系列を入力し，中間表現を生成する。この中間表現 を LSTM に基づくモデルと同様の Linear Layer with Sigmoid Activation に通すことで得点を計算する.

これらの深層学習自動採点モデルは, 一般に大量 の採点済み答案データを訓練データとして用いて モデル学習を行う。具体的には，次式で定義される 平均二乗誤差 (mean squared error：MSE）を損失関数として，誤差逆伝搬法で学習することが一般的で ある.

$
\operatorname{MSE}(\boldsymbol{U}, \hat{\boldsymbol{U}})=\frac{1}{J} \sum_{j=1}^{J}\left(U_{j}-\hat{U}_{j}\right)
$

ここで, $U_{j}$ は $e_{j}$ の得点を, $\hat{U}_{j}$ は $e_{j}$ の予測得点を 表す。また，各答案に複数のアノテータが割り当て られている場合， $U_{j}$ にはアノテータが与えた観測得点の平均などを用いる。しかし，このような観測得点データはアノテータの特性に強く依存すること が知られている [9]. そのようなバイアスデータを モデル学習に使用すると, 自動採点モデルにもアノ テータの特性の影響が反映され，予測精度が低下し てしまう $[10,11]$. 本研究では，この問題を解決す るために IRTを用いる.

## 4 項目反応理論

IRT は，コンピュータ・テスティングの普及とと もに近年様々な分野で実用化が進められている数理 モデルを用いたテスト理論の一つである. 本研究で は，小論文採点の文脈で利用できる宇都・植野のモ デル $[15,16]$ を利用する.

宇都・植野のモデル $[15,16]$ では，受検者 $j \in \mathscr{g}$ の 答案に対し，アノテータ $r \in \mathscr{R}$ が得点 $k \in \mathscr{K}$ を光 る確率が次式で定義される。

$
P_{j r k}=\frac{\exp \sum_{m=1}^{k}\left[\alpha_{r}\left(\theta_{j}-\beta_{r m}\right)\right]}{\sum_{l=1}^{K} \exp \sum_{m=1}^{l}\left[\alpha_{r}\left(\theta_{j}-\beta_{r m}\right)\right]}
$

ここで， $\alpha_{r}$ はアノテータ $r$ の採点の一貫性， $\beta_{r m}$ は 得点 $m$ に対するアノテータ $r$ の厳しさを表す. ただ し，パラメータの識別性のために， $\beta_{r 1}=0$ を仮定す る. また, $\theta_{j}$ は受検者 $j$ の答案 $e_{j}$ に対応した潜在得点であり，アノテータバイアスの影響を取り除い た得点とみなせる. 本研究ではこの潜在得点を IRT 得点と呼ぶ.

## 5 IRT 得点を用いた自動採点手法

岡野・宇都 $[21,22,23]$ は上記の IRT モデルと自動採点モデルを組み合わせて用いる手法を提案した。 この手法では観測得点データ $\boldsymbol{U}$ から IRT 得点 $\theta_{j}$ を 推定し，これを目的変数として自動採点モデルを学習する。以下で詳細を説明する。

モデル学習は, IRT モデルによる得点推定と自動採点モデルの学習の二段階で行われる. 具体的な手順は以下の通りである．1）アノテータが与える得点データ $\boldsymbol{U}$ から，アノテータの特性の影響を取り 除いた各答案 $e_{j}$ のIRT 得点 $\theta_{j}$ を式 (2) の IRT モ デルを用いて推定する．2）手順 1 で求めた IRT 得点 $\theta_{j}$ を予測するように自動採点モデルを学習する。具体的には損失関数を $\operatorname{MSE}(\boldsymbol{\theta}, \hat{\boldsymbol{\theta}})=\frac{1}{J} \sum_{j=1}^{J}\left(\theta_{j}-\hat{\theta}_{j}\right)^{2}$ と定義し，誤差逆伝播法によりパラメータを学習す

る.ここで $\hat{\theta}_{j}$ は自動採点モデルの予測値を表す.

学習されたモデルを用いて新たな答案 $e_{j^{\prime}}$ の得点 を予測する手順は以下の通りである．1）答案 $e_{j^{\prime}}$ の IRT 得点 $\theta_{j^{\prime}}$ を自動採点モデルを用いて予測する. 2) IRT 得点 $\theta_{j^{\prime}}$ とアノテータの特性パラメータを用 いて，IRT モデルに基づく期待得点を以下の式で求 め，この値を予測得点とする。

$
\hat{U}_{j^{\prime}}=\frac{1}{R} \sum_{r=1}^{R} \sum_{k=1}^{K} k \cdot P_{j^{\prime} r k}
$

この手法を用いることで，アノテータのバイアス に頑健なモデル学習と得点予測が可能になった. し かし，モデル学習の手順 1 で行われる IRT 得点の推定にはアノテータが与える観測得点のみを用いてお り，答案文は情報として使用しない。一方で，答案文の内容自体も IRT 得点推定の有益な情報となりう るため，答案文の内容も加味するようにモデルを拡張することでこのアプローチの性能を更に向上でき ると予測される。

## 6 提案手法

以上を踏まえ, 本研究では, 深層学習自動採点モ デルの出力層にアノテータの特性を考慮した IRT モデルを組み込み， end-to-end で学習できるように 拡張した手法を提案する。具体的には，深層学習自動採点モデルの最終層にあたる Linear Layer with Sigmoid Activation を活性化関数を利用しない Linear Layer に変更し，その出力を式（2）における IRT 得点 $\theta_{j}$ とみなす手法を提案する。提案手法による LSTM と BERT に基づくモデルの概念図を図 1 に示 す. 提案手法に基づくモデルの学習は end-to-end で 行い，深層学習モデルのパラメータと同時に IRT の パラメータも推定する. 具体的には，以下の損失関数に基づき誤差逆伝播法でパラメータ学習を行う.

$
\operatorname{MSE}(\boldsymbol{U}, \hat{\boldsymbol{U}})=\frac{1}{J} \sum_{j=1}^{J}\left[\frac{1}{n_{j}} \sum_{r=1}^{R}\left(U_{j r}-\hat{U}_{j r}\right)^{2} I_{j r}\right]
$

ここで， $I_{j r}$ は $U_{j r}=-1$ のときに 0 , それ以外のとき に 1 を返す関数であり, 変数 $n_{j}$ は $n_{j}=\sum_{r=1}^{R} I_{j r}$ で 定義される。また，学習されたモデルを用いて新た な答案 $e_{j^{\prime}}$ の得点を予測する手順は 5 章で説明した 従来手法と同様である.

提案手法では，IRT 得点の推定にアノテータが与 えた観測得点だけでなく答案の文章も活用できるた め，従来の IRT モデルと比べて IRT 得点の推定精度 が改善し, 本アプローチの性能が改善することが期

図 1 提案手法の概念図

待できる.

## 7 実データ実験

## 7.1 実データ

本実験では，自動採点モデルのベンチマーク データとして広く利用されている Automated Student Assessment Prize（ASAP）[27]を使用する。ASAP は 8 つのトピックに対する答案データと得点データで 構成されている。ただし，ASAPにはアノテータの 情報が含まれていないため，提案手法を直接は適用 できない。そのため，新たにアノテータを雇用して ASAP の答案データを再度採点し，本実験で用いる 得点データを収集した. 具体的には, 先行研究で予測精度が最も高かったトピック 5 の 1805 個の答案 に対して，Amazon Mechanical Turk で募集した英語 ネイティブ 38 名のアノテータを 1 つの答案あたり 3 5 名割り当てて ASAP と同様に 5 段階の採点を 行った. 元データとの相関は 0.675 であった.

本研究では，異なるアノテータが採点したデータ を元にモデル学習を行ったとしても安定した得点を 予測できるモデルの実現を目指している。そのよう な評価を行うために本実験では，各答案に与えられ た複数の観測得点からランダムに一つの得点データ を残すことでアノテータの割り当てを変えた得点 データセットを複数パターン用意する。ただし，訓練データ中の全ての答案に単一の得点のみが与えら れている場合，アノテータの特性パラメータを同一尺度上で推定するために必要な等化が保証されな い. そこで，訓練データ中の半分の答案は元の複数 アノテータによるデータをそのまま使用し，残りの 半分の答案にはランダムに選択した 1 名のアノテー
表 1 IRT 得点の推定精度評価結果

タの得点を残すようにデータを作成する．以上の手順で ASAP データセットから新たにアノテータの割 り当てが異なる 10 個のデータセットを作成し，こ れらを $\left.\{\boldsymbol{U}_{1}^{\prime}, \ldots, \boldsymbol{U}_{10}^{\prime}\right.\}$ とした。

## 7.2 IRT 得点の推定精度評価

本節では，提案手法を用いることで，各答案に対 する IRT 得点 $\theta$ の推定精度が向上するかを評価す る. IRT 得点の推定精度は，アノテータが変わって も安定した得点が推定されている場合に高いと解釈できる $[21,22,23]$. そのため，アノテータの割り 当て方が異なるデータセット $U_{n}^{\prime}$ を用いて各答案の IRT 得点 $\theta_{\boldsymbol{n}}$ を推定する操作を繰り返し行い，推定 された値を比較することによって IRT 得点の推定精度を評価する。具体的には，次の手順に基づいて 評価実験を行った．1） $n$ 番目のデータセット $\boldsymbol{U}_{n}^{\prime}$ の 4/5を訓練データとして，提案手法によりモデルの 学習を行った. 2) 手順 1 で得られたモデルを所与 として，データセット $\boldsymbol{U}_{n}^{\prime}$おける残り $1 / 5$ のテス トデータに対して IRT 得点を推定した。3）以上を 学習データとテストデータの切り分けを変えて 5 回繰り返すことで，全ての受検者の IRT 得点 $\theta_{\boldsymbol{n}}$ を求 めた. 以上の操作を $n=\{1, \ldots, 10\}$ について行った あと, $n$ 番目のデータセットから求めた $\boldsymbol{\theta}_{\boldsymbol{n}}$ と $n^{\prime}$ 番目の得点データセットから推定した $\boldsymbol{\theta}_{\boldsymbol{n}^{\prime}}$ との平均平方二乗誤差（Root Mean Square Error：RMSE），相関係数 (Correlation) $n \in\{1, \ldots, 10\}, n^{\prime} \in\{1, \ldots, 10\}$ の全ての組み合わせについて求め，それらの平均を 算出した.

以上の実験を複数の構成のモデルで行った. 具体的には，LSTM に基づくモデルにおける Convolution layer の有無が異なるモデル ( $「 \mathrm{CNN}-\mathrm{LSTM}\lrcorner と$ $\lceil\mathrm{LSTM}\lrcorner$ ）と BERT に基づくモデル（「BERT」）を用 いた。また，比較のために，同様の実験を，答案の 文章情報を利用しない式（2）の IRT モデル（「既存 IRT」）でも実施した。

実験結果を表 1 に示す. 全ての条件において提案手法のモデルが高い性能を示しており，IRT 得点の 推定精度の改善に有効であることが確認できた.表 2 得点予測の頑健性評価結果

 &  \\

LSTM & $\mathbf{0 . 7 6 8}$ & 0.694 & 0.678 \\
BERT & $\mathbf{0 . 7 0 6}$ & 0.688 & 0.694 \\

LSTM & $\mathbf{0 . 9 4 5}$ & 0.926 & 0.903 \\
BERT & $\mathbf{0 . 9 3 1}$ & 0.923 & 0.920 \\

## 7.3 得点予測の頑健性の評価

本節では，提案手法を利用することで，評価者バ イアスに頑健な自動採点モデルを学習できるかを 評価する。本実験では，個々の答案を採点する評価者を変化させても，安定した性能の自動採点モデル を学習できるかによってこれを評価する。具体的 には，手順 1 3 は前節と同様に行い，手順 3 で得 られた IRT 得点 $\boldsymbol{\theta}_{\boldsymbol{n}}$ を所与として，式（3）を用いて 予測得点 $\hat{U}_{\boldsymbol{n}}$ を求めた. この手順を，前節と同様に $n=\{1, \ldots, 10\}$ について行い, $\hat{\boldsymbol{U}}_{\boldsymbol{n}}$ と $\hat{\boldsymbol{U}}_{\boldsymbol{n}^{\prime}}$ との重み付 きカッパ係数（Linear Weighted Kappa：LWK），相関係数を全ての組み合わせについて求め，それらの 平均を算出した。

比較のために，5 章で説明した IRT 得点を用いて モデル学習を行う手法 (「IRT 得点を用いた手法」) と観測得点の平均値を用いてモデル学習を行う手法 （「観測得点を用いた手法」）を用いて同様の実験を 行った.

実験結果を表 2 に示す。性能が最も高い結果を太字で示している．全ての条件において，提案手法の モデルが高い性能を示していることから，提案手法 により自動採点モデルのアノテータバイアスに対す る頑健性の向上が確認できた.

## 8 まとめ

本研究では，深層学習自動採点モデルとアノテー タの特性を考慮したIRT モデルを統合し， end-to-end でモデル学習を行う手法を提案した。また，実デー 夕実験により，IRT 得点の推定精度と自動採点モデ ルの得点予測精度が改善されることを示した。

今後は，様々なデータに適用し提案手法の有効性 を評価する。また，より高精度の自動採点モデルに 組み込むことでさらなる精度改善を目指す。

## 謝辞

本研究は JSPS 科研費 JP19H05663，JP20K20817， JP21H00898 の助成を受けたものです.

## 参考文献

[1] 河原宜央. 国語科の評価問題における記述式問題の 採点過程に関する研究 採点基準と採点答案の分析を通して. Technical report, 広島県立教育センター, 2017.

[2] 野澤雄樹. 記述式項目の使用に関する教育測定学的考察. 教育心理学年報, Vol. 58, pp. 131-148, 2019.

[3] 荒井清佳, 石岡恒憲. 小論文課題の複数人による採点 の基礎的な分析: 採点者による得点の違いについて.大学入試研究ジャーナル, No. 26, pp. 53-58, 2016.

[4] 石岡恒憲. 記述式答案、AI 採点「ほぼ人間並み」12 万件で精度検証. 日本経済新聞。日経電子版. https://www.nikkei.com/ article/DGXZQOCD02D8Y0S1A201C2000000/, December 2021. (Accessed on 1/9/2022).

[5] Zixuan Ke and Vincent Ng. Automated essay scoring: A survey of the state of the art. In Proceedings of the International Joint Conference on Artificial Intelligence, pp. 6300-6308. International Joint Conferences on Artificial Intelligence Organization, July 2019.

[6] Masaki Uto. A review of deep-neural automated essay scoring models. Behaviormetrika, 2021.

[7] Paraskevas Lagakis and Stavros Demetriadis. Automated essay scoring: A review of the field. In Proceedings of the International Conference on Computer, Information and Telecommunication Systems, pp. 1-6, 2021.

[8] Dadi Ramesh and Suresh Kumar Sanampudi. An automated essay scoring systems: a systematic literature review. Artificial Intelligence Review, pp. $1-33,2021$.

[9] 宇都雅輝, 植野真臣. パフォーマンス評価のための 項目反応モデルの比較と展望. 日本テスト学会誌, Vol. 12, No. 1, pp. 56-75, May 2016.

[10] Evelin Amorim, Marcia Cançado, and Adriano Veloso. Automated essay scoring in the presence of biased ratings. In Proceedings of the Conference of the North American Chapter of the Association for Computational Linguistics, Vol. 1, pp. 229-237. Association for Computational Linguistics, June 2018.

[11] Stefanie A. Wind, Edward W. Wolfe, George Engelhard, Peter W. Foltz, and Mark Rosenstein. The influence of rater effects in training sets on the psychometric quality of automated scoring for writing assessments. International Journal of Testing, Vol. 18, pp. 27 -49, 2018.

[12] Jinchi Huang, Lie Qu, Rongfei Jia, and Binqiang Zhao. O2u-net: A simple noisy label detection approach for deep neural networks. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pp. 33253333, 2019.

[13] Shikun Li, Shiming Ge, Yingying Hua, Chunhui Zhang, Hao Wen, Tengfei Liu, and Weiqiang Wang. Coupled-view deep classifier learning from multiple noisy annotators. In Proceedings of the AAAI Conference on Artificial Intel- ligence, Vol. 34, pp. 4667-4674, 2020.

[14] Masaki Uto and Maomi Ueno. Empirical comparison of item response theory models with rater's parameters. Heliyon, Elsevier, Vol. 4, No. 5, pp. 1-32, May 2018.

[15] Masaki Uto and Maomi Ueno. A generalized many-facet Rasch model and its Bayesian estimation using Hamiltonian Monte Carlo. Behaviormetrika, Vol. 47, No. 2, pp. 469-496, May 2020.

[16] 宇都雅輝, 植野真臣. ピアアセスメントにおける異質評価者に頑健な項目反応理論. 電子情報通信学会論文誌. D, 情報・システム, Vol. 101, No. 1, pp. 211-224, January 2018.

[17] Richard J. Patz, Brian W. Junker, Matthew S. Johnson, and Louis T. Mariano. The hierarchical rater model for rated test items and its application to large-scale educational assessment data. Journal of Educational and Behavioral Statistics, Vol. 27, No. 4, pp. 341-384, January 2002.

[18] Richard J. Patz and Brian W. Junker. Applications and extensions of MCMC in IRT: Multiple item types, missing data, and rated responses. Journal of Educational and Behavioral Statistics, Vol. 24, No. 4, pp. 342-366, December 1999.

[19] J.M. Linacre. Many-faceted Rasch Measurement. MESA Press, January 1989.

[20] 宇佐美慧. 採点者側と受験者側のバイアス要因の影響を同時に評価する多値型項目反応モデル. 教育心理学研究, Vol. 58, No. 2, pp. 163-175, 2010.

[21] Masaki Uto and Masashi Okano. Robust neural automated essay scoring using item response theory. In Artificial Intelligence in Education, pp. 549-561. Springer International Publishing, 2020.

[22] 岡野将士, 宇都雅輝. 評価者バイアスの影響を考慮し た深層学習自動採点手法. 電子情報通信学会論文誌 D, Vol. 104, No. 8, pp. 650-662, 2021.

[23] 岡野将士, 宇都雅輝. アノテータのバイアスを考慮し た記述・論述式自動採点手法. 言語処理学会第 27 回年次大会, pp. 900-904. 言語処理学会, March 2021.

[24] Kaveh Taghipour and Hwee Tou Ng. A neural approach to automated essay scoring. In Proceedings of the Conference on Empirical Methods in Natural Language Processing, pp. 1882-1891. Association for Computational Linguistics, November 2016.

[25] Pedro Uria Rodriguez, Amir Jafari, and Christopher M. Ormerod. Language models and automated essay scoring. arXiv, September 2019.

[26] Masaki Uto, Yikuan Xie, and Maomi Ueno. Neural automated essay scoring incorporating handcrafted features. In Proceedings of the International Conference on Computational Linguistics, pp. 6077-6088. International Committee on Computational Linguistics, 2020.

[27] Automated Student Assessment Prize. https:// www.kaggle.com/c/asap-aes/data. (Accessed on $1 / 11 / 2022$ ).
 岡野将士 ${ }^{1}$ 宇都雅輝 1 1 電気通信大学大学院 \{okano,uto\}@ai.lab.uec.ac.jp  