# 入力の分割単位について頑健な言語モデルの構築

清野舜 高瀬翔 李聖哲 佐藤敏紀
LINE 株式会社
\{shun.kiyono, sho.takase, shengzhe.li, toshinori.sato\}@linecorp.com

## 概要

本研究では，事前訓練に必要な計算資源の削減を 目的として，文字とサブワード単位の両方を利用可能な言語モデルの構築に取り組む. 既存のサブワー ド正則化技術を応用することで，文字とサブワード を同時に用いた言語モデルの事前訓練を実現する。実験では，BERT の事前訓練を題材として手法の効果を検証する。

## 1 はじめに

事前訓練済み言語モデルは NLP の各種タスクに おいて大きな成功を収めている [1].これらのモデ ルにおいては，入力文をトークン列に分割する方法 （以降，分割方法と言及する）がモデルに紐付いた 形で規定されており，モデルのユーザは規定された 分割方法に従う必要がある.

しかし，あらかじめ規定された分割方法が，ユー ザが目的とするタスクの要求する分割方法と一致 しない場合がある. 例えば，サブワード単位で事前訓練されたモデルを，文字単位の分割を要求する夕 スクに適用する場合にこの問題は生じる。いま，日本語における句読点復元タスクを考える. 句読点復元タスクとは，書き起こし文の読みやすさを向上さ せることを目的として，音声認識システムにおける 後処理として用いられるタスクである [2]. ここで，句読点を挿大するべき箇所は，必ずしもサブワード 分割の単位と一致しないため，文字単位での分割が 必要となる.

分割方法の不一致を解決する方法として，単純に は，サブワード単位と文字単位のそれぞれについて 独立に事前訓練済み言語モデルを構築することが考 えられる. 実際，これは日本語の事前訓練済み言語 モデルにおける標準的な慣習である。例えば，日本語用 BERT において，サブワード単位のもの ${ }^{1)}$ と文

図 1 本研究の概要図：これまで，サブワード単位と文字単位の言語モデルが独立に作成されてきた (左). 本研究 ではサブワード正則化（BPE-dropout）を応用することで，各分割単位を同時に利用可能なモデルを構築する（右).

字単位のもの2) がそれぞれ配布され，活発に用いら れている. 同様に，著者らも社内向けにサブワード 単位・文字単位のモデルの訓練と配布を継続的にお こなってきた ${ }^{3)}$.しかし，事前訓練は大量の計算資源を必要とする. そのため我々は，サブワード単位 と文字単位の両方を利用可能な単一の言語モデルを 訓練するための方法論を構築し，事前訓練に必要な 計算資源を削減したい。

この目的を達成するために，本研究ではサブワー ド正則化 [3] を言語モデルの事前訓練に応用する (図 1).本来，サブワード正則化は，入力文から複数の分割候補を獲得し，モデルの頑健性と汎化性能 を向上させるための手法である．その代わり，本研究ではサブワード正則化をサブワード単位と文字単位を同時に言語モデルの事前訓練に取り入れる ための方法論として応用する. 手法そのものは非常 に単純で，追加のモデルパラメータを必要としな いほか，ファインチューニング時の計算コストに も全く影響しない. 我々の手法の効果を示すため, BERT の事前訓練を題材として実験をおこなう．実

2) https://huggingface.co/cl-tohoku/ bert-base-japanese-char-v2

3）時事情報を言語モデルに反映するため，クローリングで収集したテキストデータ等を用いた言語モデルの再学習が定期的记必要となる.
験では，サブワード正則化を用いて事前訓練された BERT は，サブワード単位や文字単位について独立 に訓練された BERT と同等の性能を示した。

## 2 背景

第 1 節で述べたように，我々の手法はサブワード 正則化技術に基づく. 本研究では, サブワード分割の手法としてバイト対符号化（Byte Pair Encoding; BPE）[4]，またサブワード正則化の手法として BPE-dropout[5] を用いる4). 本節では，これらの手法の詳細を述べる。

## 2.1 バイト対符号化（BPE）

BPE[4] はサブワード分割手法の一種であり，入力 された単語について, 結合規則を繰り返し適用する ことで，サブワード単位の分割をおこなう。まず，入力は文字単位の系列として表現される. 次に，隣接する 2 つのトークンは，結合規則表（図 2 左）に 定義された規則とその優先度に応じて繰り返し結合 される，例えば，図 2 において，結合規則（1）の 優先度が最も高いため, この規則が最初に適用され る. 適用可能な結合規則を全て適用した結果が，最終的なサブワード単位の分割に相当する.

BPE における結合規則表はコーパス中の頻度情報 を用いて構築される。具体的には，隣接するトーク ンのうち，最も頻度の大きいものが新しい結合規則 として追加されていく. 例えば，図 2 左の場合，表 の先頭に登場する結合規則ほど優先度が高い.この 過程は, 結合規則の総数があらかじめ指定した数に 達するまで繰り返される。

## 2.2 BPE-dropout

BPE-dropout[5] は BPE 用のサブワード正則化手法 である. サブワード正則化 [3] とは，入力文を複数 の候補に分割し，訓練に取り入れることで，モデル をノイズに対して頑健にするための技術である. 通常の BPE と BPE-dropout の比較を図 2 に示す.

BPE-dropout は, 結合規則の適用過程において, 結合規則を確率 $p$ で棄却する. そのため, 同じ入力単語であっても BPE-dropoutを適用するたびに異なる 分割結果が得られる. ここで, 確率 $p$ が高いほど結合規則は棄却されやすい. 例えば， $p=1.0$ のとき，

4）我々の手法はサブワード正則化を活用するものであ るため，同技術が利用可能であるような任意のサブワー ド分割手法が適用可能である. 例えば，BPE の他にも， WordPiece[6, 7, 8] やユニグラム言語モデル [3] が適用できる.
(1) $s t \rightarrow s t$

(2) e st $\rightarrow$ est

(3) $1 \circ \rightarrow 10$

(4) w est $\rightarrow$ west

(5) $\mathrm{ne} \rightarrow$ ne

(6) lo w $\rightarrow$ low

結合規則

(a) BPE

(b) BPE-dropout

図 2 バイト対符号化 (BPE) と BPE-dropout の比較：最初，トークン newest は文字単位の系列として表現され，結合規則表に従って結合が繰り返される. (a) BPE の場合，この処理は適用可能な結合が無くなるまで繰り返 される。一方で，(b) BPE-dropoutにおいては，結合規則 が確率 $p$ で棄却される. そのため, 最終的な分割結果 ne w e st (a) BPEから得られる分割結果 ne west と異 なる.

全ての結合規則が棄却されるため，分割結果は常に 文字単位の分割に一致する. 同様に $p=0.0$ のとき, BPE-dropout は通常の BPE に一致する.

## 3 手法

元々, BPE-dropout のようなサブワード正則化技術は，モデルの正則化を目的として提案されたもの である. 一方で本研究では, 同技術を応用し, サブ ワード単位と文字単位の両方を利用可能な言語モ デルの訓練に用いる.このアイデアは, BPE-dropout による分割結果の性質に基づいている. 具体的に は, 図 2 右において，分割結果は文字とサブワード を混合したものとなっている. このような分割を用 いて訓練された言語モデルは，サブワード単位と文字単位の両方を利用可能であることが期待される. このとき，サブワードと文字単位について独立に言語モデルを訓練する必要が無くなるため, 事前訓練 に必要な計算資源の削減が達成できる.

我々の手法は，言語モデルの事前訓練において入力文に既存の BPE-dropoutを適用するだけという非常に単純なものである. そのほか, 事前訓練の目的関数やモデルのアーキテクチャの変更，モデルパラ メータの追加等は一切おこなわない. 事前訓練後 は，所望の分割単位に合わせて BPE-dropout のパラ メータ（棄却確率 $p$ ）を設定し，ファインチューニ ングをおこなう．例えば，文字単位の分割を必要と するタスクについては， $p=1.0$ を用いる.

## 4 実験

実験では，我々の手法の効果を日本語の BERT[1] の訓練を通して検証する。具体的には，提案手法を 用いて訓練した BERTが，サブワード単位の BERT・文字単位の BERT のそれぞれとほぼ同等の性能を発揮することを示す.

## 4.1 データセット

事前訓練用データセット BERT の事前訓練に は，日本語 Wikipedia から作成したコーパズ年を用 いた. 前処理として，Unidic 辞書を用いて $\left.\mathrm{MeCab}^{6}\right)$ で分かち書きをした後，BPEを用いて分割をおこ なった.BPE の実装として sentencepiece[9]を用い た. 語彙の大きさと文字の被覆率はそれぞれ 32,000 と 0.9995 とした.

JGLUE データセット 事前訓練した BERT の性能評価を目的として，JGLUE データセット [10] 上 でファインチューニングを行う. JGLUE は英語圏 で広く用いられているべンチマークデータである GLUE[11]の日本語版である．JGLUEのうち，JNLI, MARC-ja と JSTS の性能を報告する. JGLUE は評価 セットを公開していないため，公開されている開発 セットを2つに等分割したものを開発セットと評価 セットとして用いた.

句読点復元データセット 文字単位での分割が必要となるタスク上での評価を目的として, 句読点復元タスクにも取り組む. 句読点復元タスクは, 入力文に対して句読点を付与するもので，音声認識シス テムの後処理として用いられる [2]. 本研究では,日本語の生コーパスを用いてデータセットの自動構築をおこなった。まず，CC-100コーパス $[12,13]$ の 日本語部分からランダムに 10 万文をサンプルし,句読点を除去した. 次に，文中の各文字について，句点挿入，読点挿入とそれ以外の 3 種類のラベルを 付与した. このタスクを系列ラベリング問題として 定式化し, 先行研究 [1] と同様に BERT のファイン チューニングをおこなった.

## 4.2 比較手法

実験には，以下の 3 つの分割手法を用いて BERT の事前訓練とファインチューニングをおこなった.

・Subword: 入力文をサブワード単位で分割する

5） 2020 年 10 月に取得したダンプデータより作成した.

6) https://taku910.github.io/mecab/手法
- Character: 入力文を文字単位で分割する手法

・BPE-dropout: 入力文を BPE-dropout を用いて分割する手法

そのほか，一般に公開されている BERTをファイ ンチューニングした結果も報告する．事前訓練に用 いるデータセット，実装やアーキテクチャの違い7) から，我々の BERT と一般の BERT の値の大小を直接比較することはできないが，我々の BERT の性能 が十分に高いことを確認する目的で用いる.

サブワード単位と文字単位の BERTとして，それ ぞれ東北大学の公開している bert-base-japanese-v2 $2^{8)}$ と bert-base-japanese-char-v2 $2^{9}$ を用いた。事前訓練中 の BPE-dropout $の$ 棄却確率 $p$ は先行研究 [5] に従っ て 0.1 とした. その他のハイパーパラメータの詳細 については付録 $\mathrm{A} を$ 参照されたい.

## 4.3 JGLUE での結果

BPE-dropout の効果について 実験結果を表 1 に 示した．まず，サブワード単位での性能を比較す る. 事前訓練に BPE-dropoutを用いたモデル (c) と サブワード単位だけで事前訓練したモデル (a) の評価セット上の性能を比較すると，JNLI においては 僅かに性能の劣化が見られたものの, MARC-ja と JSTS において両者はほとんど同等の性能を示した. また，文字単位での性能に着目すると，BPE-dropout を用いたモデル (d) が文字単位だけで事前訓練した モデル (b)をほぼ一貫して上回る結果となった.こ の結果から，BPE-dropout を BERT の事前訓練に活用することで，サブワード単位と文字単位のモデル を独立に訓練する必要がなくなるため，事前訓練に 必要な計算資源を半分にできることが示唆される.

サブワード単位を用いるモデルの性能が JNLI 上 で僅かに悪化した原因として，今回用いたモデル （BERT-base）が，サブワード単位と文字単位の両方 について汎化するだけの表現力を持っていない可能性が考えられる。そのため，今後はより表現力を高 めた大きなモデル（例：BERT-large）上での検証を

7）最も大きな違いは Layer Normalization の適用位置である. Google による BERT の元実装が Post Layer Normalization 構造 を用いているのに対して，我々の実装（Megatron-LM）はPre Layer Normazliation 構造を用いている. この差分がモデルに 及ぼす影響については Takase らの研究を参照されたい [14].

8) https://huggingface.co/cl-tohoku/ bert-base-japanese-v2

9) https://huggingface.co/cl-tohoku/ bert-base-japanese-char-v2
表 1 JGLUE データセット上での性能：JNLI と MARC-ja については正解率を報告する．また，JSTS についてはスピア マンの相関係数 $\rho$ を報告する．各値はそれぞれ 3 つの乱数シードの平均値である.

表 2 句読点復元タスク上での性能: マイクロ $F_{1}$ 值を 報告する．各値はそれぞれ 3 つの乱数シードの平均値で ある.

## おこなう予定である.

既存の BERT との比較 表 1 において，我々の BERT(a)・(b) と既存の BERT(f) ・(g) を比較すると,全体の傾向としてほとんど同等の性能が出せている ことがわかる. この結果は, 我々の訓練した BERT の性能が十分に高いこと，つまり，モデル (a)・(b) が我々の手法 (c)・(d) に対する強力なベースライン 手法とみなせることを示している.

## 4.4 句読点復元タスクでの結果

表 2 に句読点復元タスクの結果を示した. 表 1 と 同様に，BPE-dropoutを用いたモデル (d) が文字単位 のモデル (b) の性能を上回った. また，サブワード 単位で事前学習したモデルを文字単位でファイン チューニングしたモデル (e) の性能は, 最も低い結果となった. このことから, 文字単位のタスクで高 い性能を発揮するためには，サブワード単位のモデ ルを文字単位モデルとしてファインチューニング時 に転用するだけでは不十分であり，文字単位を含め た事前訓練が必要であることが示唆される.

## 5 分析

## BPE-dropout は事前訓練の時間を増加させるか第 2.2 節で述べた通り, BPE-dropout はモデルの正則化のための技術である．そのため，BPE-dropout を 用いることで，事前訓練におけるモデルの収束速度 が悪化し，事前訓練の時間が増加する懸念がある。 BPE-dropout を用いるねらいの一つは計算資源の節

図 3 訓練損失の変化の比較 : 事前訓練時，各モデルはほ ぼ同じ速度で収束するとわかる．ここで，訓練データの 分割方法が異なることから，損失の值の大小は直接比較 できないことに注意されたい.

約であるため，事前訓練の時間は増加しないことが 望ましい. 図 3 に更新回数に対する訓練損失の変化 を Subword モデルと BPE-dropout モデルのそれぞれ について示した. 図より, 収束速度はほぼ同じであ り，事前訓練に必要な時間に大きな悪影響はないと 考えられる。

## 6 おわりに

本研究では，サブワード単位と文字単位の両方を 利用可能な言語モデルの構築を目的として，サブ ワード正則化を事前訓練に取り入れる効果を検証し た. BERT 上での実験結果より，サブワード正則化 を既存の分割方法の代替として適用可能であるこ とが示された. そのため，サブワードと文字単位の BERT を独立に訓練する場合と比べて, 必要な計算資源を半分にできる．今後は，本手法を他の言語モ デル（エンコーダ・デコーダモデル [15] やデコーダ のみのモデル [16]）へ適用するための方法論の構築 に取り組む予定である。

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[2] Ottokar Tilk and Tanel Alumäe. Bidirectional recurrent neural network with attention mechanism for punctuation restoration. In Interspeech, pp. 3047-3051, 2016.

[3] Taku Kudo. Subword regularization: Improving neural network translation models with multiple subword candidates. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 66-75, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[4] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 17151725, Berlin, Germany, August 2016. Association for Computational Linguistics.

[5] Ivan Provilkov, Dmitrii Emelianenko, and Elena Voita. BPEdropout: Simple and effective subword regularization. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 1882-1892, Online, July 2020. Association for Computational Linguistics.

[6] Yonghui Wu, Mike Schuster, Zhifeng Chen, Quoc V Le, Mohammad Norouzi, Wolfgang Macherey, Maxim Krikun, Yuan Cao, Qin Gao, Klaus Macherey, et al. Google's neural machine translation system: Bridging the gap between human and machine translation. arXiv preprint arXiv:1609.08144, 2016.

[7] Xinying Song, Alex Salcianu, Yang Song, Dave Dopson, and Denny Zhou. Fast WordPiece tokenization. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 2089-2103, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[8] Tatsuya Hiraoka. MaxMatch-dropout: Subword regularization for WordPiece. In Proceedings of the 29th International Conference on Computational Linguistics, pp. 4864-4872, Gyeongju, Republic of Korea, October 2022. International Committee on Computational Linguistics.

[9] Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[10] Kentaro Kurihara, Daisuke Kawahara, and Tomohide Shibata. JGLUE: Japanese general language understanding evaluation. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 2957-2966, Marseille, France, June 2022. European Language Resources Association.

[11] Alex Wang, Amanpreet Singh, Julian Michael, Felix Hill, Omer Levy, and Samuel Bowman. GLUE: A multi-task benchmark and analysis platform for natural language understanding. In Proceedings of the 2018 EMNLP Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP, pp. 353-355, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[12] Guillaume Wenzek, Marie-Anne Lachaux, Alexis Conneau, Vishrav Chaudhary, Francisco Guzmán, Armand Joulin, and
Edouard Grave. CCNet: Extracting high quality monolingual datasets from web crawl data. In Proceedings of the Twelfth Language Resources and Evaluation Conference, pp. 40034012, Marseille, France, May 2020. European Language Resources Association.

[13] Alexis Conneau, Kartikay Khandelwal, Naman Goyal, Vishrav Chaudhary, Guillaume Wenzek, Francisco Guzmán, Edouard Grave, Myle Ott, Luke Zettlemoyer, and Veselin Stoyanov. Unsupervised cross-lingual representation learning at scale. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 8440-8451, Online, July 2020. Association for Computational Linguistics.

[14] Sho Takase, Shun Kiyono, Sosuke Kobayashi, and Jun Suzuki. On layer normalizations and residual connections in transformers. arXiv preprint arXiv:2206.00330, 2022.

[15] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. Journal of Machine Learning Research, Vol. 21, No. 140, pp. 1-67, 2020.

[16] Alec Radford, Jeff Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. Language models are unsupervised multitask learners. 2019

[17] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. RoBERTa: A robustly optimized bert pretraining approach. arXiv preprint arXiv:1907.11692, 2019.

[18] Mohammad Shoeybi, Mostofa Patwary, Raul Puri, Patrick LeGresley, Jared Casper, and Bryan Catanzaro. Megatron-LM: Training multi-billion parameter language models using model parallelism. arXiv preprint arXiv:1909.08053, 2019.

[19] Marius Mosbach, Maksym Andriushchenko, and Dietrich Klakow. On the stability of fine-tuning BERT: misconceptions, explanations, and strong baselines. In 9th International Conference on Learning Representations, ICLR 2021, Virtual Event, Austria, May 3-7, 2021. OpenReview.net, 2021.

[20] Tianyi Zhang, Felix Wu, Arzoo Katiyar, Kilian Q. Weinberger, and Yoav Artzi. Revisiting few-sample BERT fine-tuning. In 9th International Conference on Learning Representations, ICLR 2021, Virtual Event, Austria, May 3-7, 2021. OpenReview.net, 2021 .

## A ハイパーパラメータ

実験（第 4 節）で用いたハイパーパラメータ の一覧を表 3 に示す. それぞれの值は先行研究 $[17,18,19,20]$ による推奨値を参考にして設定した.

表 3 ハイパーパラメータの一覧


# 敵対的学習を用いた知識蒸留への中間層蒸留と対照学習の導入

鈴木 偉士 山田寛章 徳永 健伸
東京工業大学 情報理工学院
\{suzuki.t.dp@m, yamada@c, take@c\}.titech.ac.jp

## 概要

知識蒸留 (KD) とは，大規模なニューラルネット ワークを圧縮する手法の一つである。言語モデル向 け KD の中で最高性能の手法は，敵対的学習に中間層出力と対照学習を導入した CILDA と呼ばれる手法である. CILDA の学習は最大化ステップと最小化ステップに分かれているが，中間層出力と対照学習は最大化ステップでのみ活用されている. 本研究 では，最小化ステップに中間層蒸留と対照学習を 導入し，性能を向上させることを目指した.しか し, 既存手法に対して有意な差は確認できなかった ため，原因分析のために CILDA 単体の再現実験を 行ったところ, 先行研究の主張とは異なり, GLUE における複数のタスクで CILDA がそれ以前の手法 の性能を上回らないという結果を得た。

## 1 はじめに

BERT[1] やRoBERTa[2] のような事前学習済み言語モデルは, 様々な言語処理タスクにおいて, 高 い性能を発揮しているが，近年では，GPT-3[3] や， PaLM[4] に見られるように， パラメータ数が大幅に 増加し，通常のデバイスでは扱えなくなっている。

知識蒸留 (KD)[5] は，ニューラルネットワークを 圧縮する手法の一つである。 パラメータ数の大きい 教師モデルの出力と, パラメータ数の小さい生徒モ デルの出力の KL ダイバージェンスを小さくする学習をすることで，生徒モデルが教師モデルと同様の 出力が出来るようにする. 先行研究により, 知識蒸留は, 教師モデルと生徒モデルの最終的な出力間だ けでなく, 中間層の出力間の誤差の利用 $[6,7,8]$, データ抳張と敵対的学習の導入 [9], 対照学習の導入 [10] により，性能が向上することが報告されて いる. Haidar ら [11] は知識蒸留に中間層の利用, 敵対的学習, 対照学習を導入した CILDA と呼ばれる 手法を提案し，GLUE タスクにおいて SOTAを達成 した.
しかし, Haidar らの研究 [11]では, データ拡張と 敵対的学習に用いられる Generator の学習にのみ中間層の利用と対照学習の導入を行っており, 生徒モ デルの学習については通常の KD から改良されてい ない. 本研究では CILDA の生徒モデルの学習時に 中間層の利用と対照学習を導入し，さらに性能を向上させることを目指す.

本研究のソースコードは $\mathrm{GitHub}^{11}$ にて公開して いる.

## 2 関連研究

## 2.1 知識蒸留 (Vanilla KD)

知識蒸留 [5] とは，モデル圧縮の手法の 1 つであ る.この手法では， パラメータ数が小さい生徒モ デルがタスクの正解ラベルとの誤差のほかに， パラ メータ数が大きく性能の高い教師モデルの出力との 誤差を用いて学習する。損失関数は以下のとおりで ある。

$
\begin{array}{r}
L=\lambda L_{C E}+(1-\lambda) L_{K D} \\
L_{K D}=K L(\text { Teacher }(X), \operatorname{Student}(X))
\end{array}
$

ただし， $L_{C E}$ は交差エントロピー誤差， $K L($,$) は$ KL ダイバージェンス, Teacher $(X)$, Student $(X)$ は それぞれ，教師モデル，生徒モデルにデータ $X$ を 入力した際の出力する確率分布とする。学習対象は 生徒モデルのみであり，教師モデルのパラメータは 固定される.

## 2.2 RAIL-KD

RAIL-KD[8] は通常の知識蒸留に加えて中間層 の出力の情報も用いる中間層蒸留の一種である. RAIL-KD では，各エポックごとに教師モデルから 生徒モデルの中間層の数だけ前から順にランダムに 中間層を選び，生徒モデルの中間層との誤差を計算

する．誤差の計算の方法には以下の 2 通りがある.

$
\begin{gathered}
L_{R A I L-K D^{l}}=\sum_{x \in X} \sum_{k=0}^{m}\left.\|\frac{\hat{h}_{a_{\kappa}, x}^{T}}{\left.\|\hat{h}_{x}^{T}\right.\|_{2}}-\frac{\hat{h}_{\kappa, x}^{S_{\theta}}}{\left.\|\hat{h}_{x}^{S_{\theta}}\right.\|_{2}}\right.\|_{2}^{2} \\
L_{R A I L-K D^{c}}=\sum_{x \in X}\left.\|\frac{\hat{h}_{x}^{T}}{\left.\|\hat{h}_{x}^{T}\right.\|_{2}}-\frac{\hat{h}_{x}^{S_{\theta}}}{\left.\|\hat{h}_{x}^{S_{\theta}}\right.\|_{2}}\right.\|_{2}^{2}
\end{gathered}
$

$\hat{h}_{*}^{*}, X, \kappa, a$ はそれぞれモデルの中間層の出力, 訓練 データ, 生徒モデルの中間層の数, 選択した中間層 のインデックスの配列である． $T$ は教師モデル， $S_{\theta}$ は生徒モデルを表す.

$L_{R A I L-K D^{l}}$ では, 1 層ずつの中間層同士の誤差の 和をとり， $L_{R A I L-K D^{c}}$ では，選択した層を連結して から誤差をとる．教師モデルと生徒モデルの中間層 の出力の次元数が異なる場合は損失関数の計算前に $h$ に対して線形変換を行い，次元数を揃える.

最終的な損失関数は以下のようになる.

$
L=\lambda_{1} L_{C E}+\lambda_{2} L_{K D}+\lambda_{3} L_{R A I L-K D}
$

## 2.3 MATE-KD

MATE-KD[9] は知識蒸留に敵対的学習を導入した 手法である. この手法では学習は最大化ステップと 最小化ステップの 2 つのステップに分かれている.

最大化ステップでは，まず訓練データに一定の確率でマスクをかける。 その後 Generator と呼ばれる 事前学習済みマスク型言語モデルを用いてマスクさ れた部分を埋めることでデータ拡張を行う. 拡張さ れたデータを用いて以下の損失関数を最大化するよ うに Generatorを学習する。

$
L_{A D V}=K L\left(\text { Teacher }\left(X^{\prime}\right), \text { Student }\left(X^{\prime}\right)\right)
$

ただし， $X^{\prime}$ は拡張されたデータである. 最大化ス テップでは生徒モデルのパラメータは固定される.

最小化ステップでは以下の損失関数を最小化する ように生徒モデルを学習する. 最小化ステップの間 は Generator のパラメータは固定される.

$
L=\lambda_{1} L_{C E}+\lambda_{2} L_{K D}+\lambda_{3} L_{A D V}
$

学習時は最大化ステップを $n_{G}$ ステップ行ってから 最小化ステップを $n_{S}$ ステップ行うことを繰り返す。

## 2.4 CILDA

CILDA[11] は知識蒸留に中間層出力の利用，敵対的学習, 対照学習を導入した手法である. MATE-KD と同様に最大化ステップと最小化ステップに分かれ ている.最大化ステップでは以下の損失関数を最大化 する。

$
\begin{array}{r}
L_{G}=\alpha_{1} L_{A D V}+\alpha_{2} L_{C R D} \\
L_{C R D}=-\log \frac{\exp \left(<\bar{h}_{k}^{T}, \bar{h}_{k}^{S_{\theta}}>/ \tau_{2}\right)}{\sum_{j=0}^{K} \exp \left(<\bar{h}_{j}^{T}, \bar{h}_{k}^{S_{\theta}}>/ \tau_{2}\right)}
\end{array}
$

ただし， $\bar{h}_{*}^{*}$ はデルの全ての中間層の出力を連結し 線形変換を施したもの， $k$ はミニバッチの中のデー タのインデックス，K はバッチサイズ，<，>はコ サイン類似度とする。

最小化ステップでは以下の損失関数に拡張された データと元データを入力して最小化する.

$
L=\lambda_{1} L_{C E}+\lambda_{2} L_{K D}
$

## 3 提案手法

提案手法を本論文では CILDA+minILD と呼ぶ. CILDA+minILDでは， CILDA の最小化ステップに中間層出力の利用と対照学習を導入する。そのために 損失関数に $L_{C R D}$ を追加する．損失関数は以下のよ うになる。

$
L=\lambda_{1} L_{C E}+\lambda_{2} L_{K D}+\lambda_{3} \frac{1}{\log K} L_{C R D}
$

$K$ はバッチサイズである. $L_{C R D}$ の値はバッチサイ ズの対数に依存し，バッチサイズが大きいほど值が 大きくなる.そのため $L_{C R D}$ の係数に $\frac{1}{\log K}$ をかけ る. 最大化ステップにおいても同様に $L_{C R D}$ の係数 に $\frac{1}{\log K}$ をいる。

## 4 実験

## 4.1 実験設定

## 4.1.1 データセット

蒸留対象のタスクは GLUE[12] の中から，学習に 要する時間の短い CoLA，MRPC，RTE，STS-B の 4 タスクを利用する。評価指標は先行研究 [11] に倣 い，それぞれマシューズ相関係数，f1 スコア，正解率，ピアソンの相関係数とする.

## 4.1.2 モデル

教師モデルには, RoBERTa-large[2] を元に, 各タ スク毎に教師モデルをファインチューニングし, dev set において各評価指標で最高性能を示したモ デルを用いた. ファインチューニングは，バッチ サイズ $128 ， 3$ エポックとして，異なる 4 つの学
習率 1e-05，2e-05，5e-05，1e-04 について各 5 回行った. 生徒モデルには DistilRoBERTa[13]を使用 した. MATE-KD, CILDA, CILDA+minILDで用いる Generator には RoBERTa-large[2]を用いた.

## 4.1.3 比較手法

提案手法と比較する手法は生徒モデルのみを用 いた学習 (w/o KD), 通常の知識蒸留 (Vanilla KD), RAIL-KD，MATE-KD，CILDAを用いた. RAIL-KD の $L_{R A I L-K D}$ には $L_{R A I L-K D^{c}}$ を用いた。

## 4.1.4 ハイパーパラメータ

学習率を 1e-05，2e-05，5e-05，1e-04 の 4 通りか らハイパーパラメータ探索で選択し，バッチサイズ はw/o KD，Vanilla KD，RAIL-KD，MATE-KDでは 128, CILDA, CILDA+minILDでは 64 とした. 損失関数の係数は, Vanilla KDでは $\lambda$ は $1 / 2$, RAIL-KD と MATE-KD の $\lambda_{1}, \lambda_{2}, \lambda_{3}$ はすべて $1 / 3$ とした. CILDA の $\lambda_{1}, \lambda_{2}$ は元データを入力する際にはともに $1 / 3$ とし，拡張されたデータに対してはそれぞれ $2 / 9$, $1 / 9$ とした. $\alpha_{1}, \alpha_{2}$ はともに $1 / 2, \tau_{2}$ は 2 とした. CILDA+minILD では元データに対しては $\lambda_{1}=2 / 9$ , $\lambda_{2}=2 / 9, \lambda_{3}=2 / 9$, 拡張されたデータに対して は $\lambda_{1}=1 / 6, \lambda_{2}=1 / 12, \lambda_{3}=1 / 12$ とした. RAIL-KD, CILDA，CILDA+minILDでの中間層の線形変換後の 次元数は 128 とした。 ハイパーパラメータ探索では 5 エポックの実験を 1 回行い，5 エポックの時点で dev set でもっとも性能の高いハイパーパラメータを 選択した. MATE-KD, CILDA, CILDA+minILD では $n_{G}=10, n_{S}=100$ とした.

## 4.1.5 動作環境

本研究では PyTorch フレームワークを使用し，モ デルは Huggingface Transformers のものを使用した. また，GPUには 4 枚の Nvidia 社製 RTX A6000を使用した。節 4.1.4 に記載したバッチサイズは 4 枚の GPU の合計であり, GPU1 枚あたりのバッチサイズ は上記の 4 分の 1 である.

## 4.1.6 本実験

本実験ではハイパーパラメータ探索で選んだ学習率を用いて 20 エポックの実験を 5 回行う. 1 エポッ クごとにチェックポイントを保存し, 各実験で最も 評価指標の高いモデルを使用する. その後, 有意水準を 0.05 として並べ替え検定を片側検定で行う.

## 4.2 結果

表 1 に各実験の GLUE の dev set における平均を 示す. 括弧内の数字は標準偏差である. タスクごと に最良のものを太字としており，下線が引かれてい るものよりも統計的に有意に評価指標が高い. 教師 モデルの行は, 平均的に最も性能が高い学習率にお ける結果である.

提案手法である CILDA+minILD は使用したタス クでは MRPC 以外で MATE-KDを超える結果にな らなかった. また，先行研究では MATE-KDを超え る結果を示した CILDA も MRPC 以外で MATE-KD を超えることはなかった。

## 5 CILDA の有効性の再検証

本研究では，CILDA のスコアが MATE-KDを超え ず先行研究とは異なる結果となった. そのことが CILDA+minILD が有効でなかった理由であるという 仮説をたて，CILDA の有効性を検証した。

CILDA のスコアが低かった原因としてハイパー パラメータが適切でなかったからである可能性があ る. 先行研究では，バッチサイズは $8,16,32$ か ら, 学習率は 1e-05, 2e-05, 4e-06 から選択しており 本研究で使用したハイパーパラメータとは異なる.

## 5.1 再検証の実験設定

この仮説を検証するため，CILDAを実験を先行研究のハイパーパラメータに合わせて実験を行っ た. $n_{G}$ は CoLA， MRPC，RTE では 20，STS-B では 10 とした. $n_{S}$ はすべてのタスクにおいて 100 と した. ハイパーパラメータ探索は 5 エポックの
表 2 RoBERTa の dev set における結果

表 3 BERT の dev set における結果

実験を 5 回行い，5 エポック時点での評価指標の 平均が最も高いバッチサイズ，学習率の組を探索する. その後本実験を行う. 本実験の手順は節 4.1.6 に示したものと同じである. 実験では GPU に RTX A6000を 1 枚使用した。追加検証のため RoBERTa，BERT[1], BART[14]の 3 通りのモデルを 用いて実験を行った. BERT の実験では教師モデ ルと Generator を BERT-large (cased), 生徒モデル を DistilBERT[13], BART の実験では教師モデルと Generator を BART-large, 生徒モデルを BART-base とした. BART の実験では教師モデルのファイン チューニングを 10 エポックとし，各エポックで チェックポイントを保存し, 最良のチェックポイン トを用いた。

## 5.2 再検証実験結果

表 2，3，4 亿結果を示す. RoBERTa の実験では，節 4.2 と比較して CILDA のスコアは向上したが,傾向は変わらず MARC のみ MATE-KD を上回る結果となった. BERT の実験でも RoBERTa の実験と表 4 BART の dev set における結果

同様の傾向となった. BART の実験では RoBERTa, BERT の場合と異なり，タスク毎に最高性能の手法 が異なっているため，知識蒸留に中間層蒸留，敵対的学習，対照学習を導入することが BARTにお いては有効であるとは確認できなかった. ただし， Vanilla KD は w/o KD と比較して高いスコアが得ら れた。そのため知識蒸留自体は BARTにおいても有効である可能性がある．表 4 には記載していないが CoLA，RTE，STS-B では w/o KD と Vanilla KD の間 に有意差は確認できず，MRPC のみ Vanila KD の方 が有意に高いという結果であった.

先行研究では CILDA が MATE-KD を超える性能 を示したと報告されているが，どのモデルを使った 実験でも，そのような結果を再現できなかった. そ のため, MATE-KD と CILDA の違いである $L_{C R D}$ の 利用は有効でなかったと考えられる。提案手法の CILDA+minILD は $L_{C R D}$ を CILDA の最小化ステッ プでも用いるという手法であるため， $L_{C R D}$ が有効 な損失関数でなかったことが CILDA+minILD の性能が低かった原因と考えられる。

## 6 終わりに

本研究では, CILDA の最小化ステップに中間層出力の利用と対照学習を適用した CILDA+minILDを 提案した.しかし, 従来の手法である MATE-KD よ りも低い性能となり，その原因が CILDA の性能が 低いことにあると結論づけた．今後は，本研究で扱 わなかった GLUE の他のタスクでも同様の結果が得 られるかの検証，CILDA の性能が MATE-KD よりも 低かった原因の究明，本研究で最も高い性能を発揮 した MATE-KD を改良することによる知識蒸留の性能の向上などを行っていきたい.

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[2] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized BERT pretraining approach. arXiv, Vol. abs/1907.11692, , 2019.

[3] Tom B. Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel M. Ziegler, Jeffrey Wu, Clemens Winter, Christopher Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners. arXiv, Vol. abs/2005.14165, , 2020.

[4] Aakanksha Chowdhery, Sharan Narang, Jacob Devlin, Maarten Bosma, Gaurav Mishra, Adam Roberts, Paul Barham, Hyung Won Chung, Charles Sutton, Sebastian Gehrmann, Parker Schuh, Kensen Shi, Sasha Tsvyashchenko, Joshua Maynez, Abhishek Rao, Parker Barnes, Yi Tay, Noam Shazeer, Vinodkumar Prabhakaran, Emily Reif, Nan Du, Ben Hutchinson, Reiner Pope, James Bradbury, Jacob Austin, Michael Isard, Guy Gur-Ari, Pengcheng Yin, Toju Duke, Anselm Levskaya, Sanjay Ghemawat, Sunipa Dev, Henryk Michalewski, Xavier Garcia, Vedant Misra, Kevin Robinson, Liam Fedus, Denny Zhou, Daphne Ippolito, David Luan, Hyeontaek Lim, Barret Zoph, Alexander Spiridonov, Ryan Sepassi, David Dohan, Shivani Agrawal, Mark Omernick, Andrew M. Dai, Thanumalayan Sankaranarayana Pillai, Marie Pellat, Aitor Lewkowycz, Erica Moreira, Rewon Child, Oleksandr Polozov, Katherine Lee, Zongwei Zhou, Xuezhi Wang, Brennan Saeta, Mark Diaz, Orhan Firat, Michele Catasta, Jason Wei, Kathy Meier-Hellstern, Douglas Eck, Jeff Dean, Slav Petrov, and Noah Fiedel. Palm: Scaling language modeling with pathways. arXiv, Vol. abs/2204.02311, , 2022.

[5] Geoffrey E. Hinton, Oriol Vinyals, and Jeffrey Dean. Distilling the knowledge in a neural network. arXiv, Vol. abs/1503.02531, , 2015 .

[6] Siqi Sun, Yu Cheng, Zhe Gan, and Jingjing Liu. Patient knowledge distillation for BERT model compression. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 4323-4332, Hong Kong, China, November 2019. Association for Com- putational Linguistics.

[7] Peyman Passban, Yimeng Wu, Mehdi Rezagholizadeh, and Qun Liu. Alp-kd: Attention-based layer projection for knowledge distillation. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 35, No. 15, pp. 13657-13665, May 2021.

[8] Md Akmal Haidar, Nithin Anchuri, Mehdi Rezagholizadeh, Abbas Ghaddar, Philippe Langlais, and Pascal Poupart. RAIL-KD: RAndom intermediate layer mapping for knowledge distillation. In Findings of the Association for Computational Linguistics: NAACL 2022, pp. 1389-1400, Seattle, United States, July 2022. Association for Computational Linguistics.

[9] Ahmad Rashid, Vasileios Lioutas, and Mehdi Rezagholizadeh. MATE-KD: Masked adversarial TExt, a companion to knowledge distillation. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 1062-1071, Online, August 2021. Association for Computational Linguistics.

[10] Siqi Sun, Zhe Gan, Yuwei Fang, Yu Cheng, Shuohang Wang, and Jingjing Liu. Contrastive distillation on intermediate representations for language model compression. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 498-508, Online, November 2020. Association for Computational Linguistics.

[11] Md Akmal Haidar, Mehdi Rezagholizadeh, Abbas Ghaddar, Khalil Bibi, Phillippe Langlais, and Pascal Poupart. CILDA: Contrastive data augmentation using intermediate layer knowledge distillation. In Proceedings of the 29th International Conference on Computational Linguistics, pp. 4707-4713, Gyeongju, Republic of Korea, October 2022. International Committee on Computational Linguistics.

[12] Alex Wang, Amanpreet Singh, Julian Michael, Felix Hill, Omer Levy, and Samuel Bowman. GLUE: A multi-task benchmark and analysis platform for natural language understanding. In Proceedings of the 2018 EMNLP Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP, pp. 353-355, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[13] Victor Sanh, Lysandre Debut, Julien Chaumond, and Thomas Wolf. Distilbert, a distilled version of bert: smaller, faster, cheaper and lighter. arXiv, Vol. abs/1910.01108, , 2019.

[14] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7871-7880, Online, July 2020. Association for Computational Linguistics.

## A ハイパーパラメータ

ハイパーパラメータ探索の結果，採用したハイ パーパラメータを表 $5 ， 6 ， 7$ に示す. 数字が 1 つ の場合は学習率，2つある場合は上が学習率，下が バッチサイズである. CILDA 検証の行は 5 章の実験 のものを表す.

表 5 RoBERTa の実験

表 6 BERT の実験

表 7 BART の実験

## B 教師モデルの性能

RoBERTa，BERT，BART の実験において，実際 に使用した教師モデルの性能を表 8 に示す.

表 8 教師モデルの性能


# 一般性を考慮した言語処理モデルの Shortcut Reasoning $の$ 自動検出

原口大地 ${ }^{1}$ 白井清昭 1 井之上直也 ${ }^{1,2}$
1 北陸先端科学技術大学院大学 2 理化学研究所
\{s2110137,kshirai,naoya-i\}@jaist.ac.jp

## 概要

Shortcut Reasoning は言語処理モデルの非合理的 な推論であり，頑健性を損ねる主な原因とされて いる. 先行研究では，Shortcut Reasoningを発見し，低減させる試みが行われているが，それらの手法 は様々な問題点を抱えている。本研究では，推論 パターンとその一般性をモデルから抽出・計算し， Shortcut Reasoning を自動的に検出する手法を提案す る. 実験の結果，提案手法は既に明らかになってい る Shortcut Reasoning を検出できたことに加え，未知 のものを発見することにも成功した.

## 1 はじめに

近年，事前学習モデルをはじめとした自然言語処理モデルがあらゆるタスクで精度の向上を見せてい る。一方で，学習データ内の交絡あるいは疑似相関 (Spurious Features) [1, 2, 3] にモデルが依存すること で発生する，推論プロセスにおける非合理的な推論 (Shortcut Reasoning) が指摘されている $[4,5,6]$.

Shortcut Reasoning は，学習データと同じ分布 を持つデータ (Independent and Identically Distributed: IID) と比べて，異なる分布を持つデータ (Out of Distribution: OOD) の解析性能を下げる，すなわち頑健性を低下させることが懸念されている。

Shortcut Reasoningを発見・解消させようとする 試みは既に行われているが $[7,8,9]$, そこで提案さ れた手法は，(i) Shortcut Reasoning の形態について 事前に想定している，(ii) モデルの内部情報を考慮 していない，(iii)人手による判定を必要としてい るという制約を持っている。(i) は事前に想定した Shortcut Reasoning に対してのみ検証をするため，モ デルに潜在する未知のものを明らかにできない可能性がある。（ii)については，内部情報を使わない手法の多くが何らかの編集や特徴を加えた入力を作成
し，それに対する出力を分析することで，Shortcut Reasoning の存在を明らかにしようとしているが， この手法によって我々が知り得るのはモデルの出力のみであり，得られる情報には限度がある。(iii) に関しては，単純にコストがかかるのに加え，一見 Shortcut Reasoning に見えないような事例を見逃す可能性がある等の課題を抱えている.

以上の 3 つの課題の解決に取り組んだ研究 [10] は いまだ少数であり，十分な研究成果が得られていな いのが現状である。本論文は，最小限の仮定で，内部情報を利用しながら，人手での判定を必要とせず に自動的に Shortcut Reasoning を検出する手法を提案する．具体的には，モデルの推論プロセスにお ける規則性 (推論パターン) を抽出し，IID と OOD の入力に対する有効性を比較することで，Shortcut Reasoning の存在とその形態を明らかにする.

## 2 Shortcut Reasoning の検出

本節では，Shortcut Reasoning の検出に先立ち，推論パターン (2.1 項) とその抽出方法 (2.2 項), 一般性 (2.3 項)，Shortcut Reasoning の判定手法 (2.4 項)を定義し，これを踏まえて Shortcut Reasoning 検出の具体的な手順を説明する (2.5 項).

## 2.1 推論パターン

本研究では，ある入力に対するモデル $f$ の推論 プロセスにおいて，何らかのトリガー (Trigger) が特定のラベル (Label) の予測をもたらす規則を推論パ ターンと定義する。推論パターン $p$ は形式的に次の ように定義できる.

$
p \stackrel{\text { def }}{=} \text { Trigger } \xrightarrow{f} \text { Label }
$

以降，簡易な記法として $p=(t, l)$ と表す。 $t$ はトリ ガー， $l$ はラベルを表す.

## 2.1.1 推論パターンの分類

Shortcut Reasoning は学習データの Spurious Features によりもたらされるが，それらが推論パターンにお けるトリガーとラベルであることは，その推論パ ターンが Shortcut Reasoning であることの必要条件 といえる. したがって，推論パターンの定義におい て, Spurious Features の特徴を十分に考慮する必要 がある.

Pezeshkpour らは, Spurious Features には Granular feature (語彙的素性) と Abstract feature (抽象的素性) の 2 種類があると分類している [8]. 前者は, “Spielberg”のような予測と無関係な個別の単語であ る. 後者は，単語の重複 (Lexical overlap) のように表層的に現れない高次なパターンのことを指す.

この分類を推論パターンにも適用し, Granular featureをトリガーとする推論パターンを語彙的推論 パターン, Abstract feature をトリガーとする推論パ ターンを抽象的推論パターンとする．なお，抽象的推論パターンについては，この論文では扱わず，今後の課題とする. 以後，特に断りがない限り，「推論パターン」あるいは「p」は語彙的推論パターン を指すものとする。

## 2.1.2 語彙的推論パターンの定義

2.1.1 の分類より, 語彙的推論パターンのトリガー $t$ を単語の系列 $\mathbf{w}=\left.\{w_{1}, w_{2}, \ldots, w_{n}\right.\}$ で表す (式 (2)).

$
p_{\text {granular }} \stackrel{\text { def }}{=} \mathbf{w} \xrightarrow{f} \text { Label }
$

単語の系列である理由は，語彙的素性はある特定の 一単語ではなく, 複数単語の組み合わせ等の多様な 形態を持っていると想定し, それに対応するためで ある。

## 2.2 推論パターンの候補の抽出

推論パターンを抽出する手法として，新たに Input Reduction (IR)を導入する．IR では，式 (2)における トリガー $\mathbf{w}$ につて，ラベルの予測に必要となる最低限の単語の系列と考える。 また, Label はそれを 入力としたときの出力ラベルとする. これは，トリ ガーがある予測ラベルを引き起こすためだけに用い られた情報であることを保証するためである.

IR の大きな流れは以下の通りである。あるデー タセットすを入力として受け取った後，データセッ トの各インスタンス $(x, y)$ について，推論パターン の候補 $w=(\mathbf{w}, l)$ を抽出し, その集合 $C$ を出力する.

候補の抽出では，入力系列 $x$ が与えられたとき， $x$ に含まれる各単語に対して一つずつマスクをかける ([MASK] に置換する). マスクの数を増やしていき， それを入力をしたときの予測が変化するまで繰り返 す. 予測が変われば，その直前の系列をトリガーと する推論パターンの候補を得る。

しかしながら，ナイーブな実装ではマスクの組 み合わせが膨大になり計算量が負担となる。した がって，Integrated Gradient (IG)[11]を利用して，予測に対する重要度の低い単語順にマスクをかける (Algorithm 1).

## 2.3 一般性の計算

推論パターンを，推論における「パターン」と呼 ぶためには，一定の規則性が認められなければなら ない. そこで，推論パターンの一般性を計算する。

$C$ の $i$ 番目の推論パターン候補 $p_{i}=\left(\mathbf{w}_{i}, l_{i}\right)$ の一般性 $g_{i}$ を次のように計算する。Dとは別のデータ セット $D^{\prime}$ を用意し，トリガーの単語の系列 $\mathbf{w}_{i}$ を含 む事例の集合 $\left(x_{j}^{\prime}, y_{j}^{\prime}\right) \in E\left(\mathbf{w}_{i}\right)$ を $D^{\prime}$ から取得する. このとき，それぞれの事例に対する予測 $f\left(x_{j}^{\prime}\right)$ がラ ベル $l_{i}$ と一致する割合をその推論パターンの候補の 一般性とする。形式的には次のように定義する ${ }^{1)}$ :

$
g_{i} \stackrel{\text { def }}{=} \frac{\sum_{x_{j}^{\prime} \in E\left(\mathbf{w}_{i}\right)}\left[f\left(x_{j}^{\prime}\right)=l_{i}\right]}{\left|E\left(\mathbf{w}_{i}\right)\right|} \times 100
$

## 2.4 Shortcut Reasoning の判定

1 節より，推論パターンが Shortcut Reasoning であ ることの条件として，(i) IID の入力に対しては有効

に機能するが，(ii) OOD の入力に対しては有効では ないことの両方を満たしていることが挙げられる。

条件 (i) は，IID のデータセット $D_{\text {IID より抽出さ }}$ れた推論パターンが正しく正解ラベルを予測できて いれば，その条件を満たすことになる。条件 (ii) は， OOD のデータセット DOOD からトリガー $\mathbf{w}$ に合致 する事例の集合 $\left(x^{\prime}, y^{\prime}\right) \in E(\mathbf{w})$ を取得し，その予測 の多くが誤りであればその条件を満たすといえる. そこで， $E(\mathbf{w})$ と $D_{\mathrm{OOD}}$ における予測の F1 スコアの 差 $\Delta$ を計算し(式(4)), その差を推論パターンがどれ だけ OODでの予測に失敗しているかの指標とする。

$
\Delta \stackrel{\text { def }}{=} \mathrm{F} 1(E(\mathbf{w}), f)-\mathrm{F} 1\left(\mathscr{D O O D}_{\mathrm{OD}}, f\right)
$

したがって，ある推論パターン $p_{i}=\left(\mathbf{w}_{i}, l_{i}\right)$ が Shortcut Reasoning であるとは，そのトリガー $\mathbf{w}_{i}$ に 合致する $E\left(\mathbf{w}_{i}\right)$ について $\Delta_{i}$ が小さく, かつラベル $l_{i}$ に関する条件 (i)を満たすことと定義する. 形式的 には, Shortcut Reasoning の集合 $\tilde{P}$ は式 (5) のように 書ける。

$
\tilde{P} \stackrel{\text { def }}{=}\left.\{p_{i}=\left(\mathbf{w}_{i}, l_{i}\right) \in C \mid l_{i}=y_{i}, \Delta_{i}<0\right.\}
$

ここで， $y_{i}$ は推論パターン $p_{i}$ の抽出に用いた IID の データの正解ラベルである.

## 2.5 Shortcut Reasoning 検出の手順

手順は大きく分けて 3 つのステップから成る．ス テップ 1 では， D 補 $p_{i}=\left(\mathbf{w}_{i}, l_{i}\right) \in C$ を抽出する．ステップ2では，抽出された候補の一般性 $g_{i}$ を $D_{\mathrm{OOD}}$ を用いて計算し，一般性の高いものを推論パターンとして定義する。最後に，ステップ 3 では，推論パターンのうち，条件 (i, ii) に当てはまるものを Shortcut Reasoning と判定する(式 (5)).

## 3 実験

## 3.1 設定

Sentiment Analysis (SA) と Natural Language Inference (NLI)の2つのタスクを対象に，提案手法の実験を行 う. 提案手法が適切に Shortcut Reasoning を検出で きているかの検証に既知の情報を必要とするが，こ れらのタスクは先行研究によって Shortcut Reasoning の形態が報告されていることが採用の背景にある.

今回の実験では，Shortcut Reasoning の基準を $\Delta<-5$ と設定する．また，一般性の低い推論パター
ンをより正確に排除するために， $|E| \geq 100$ である推論パターンのみを分析の対象とする。

## 3.1.1 データセットと予測モデル

SA TweetEval [12] は Twitter に投稿されたツイー トにいくつかの情報がアノテーションされた英語の データセットである. sentiment はそのサブセットで あり，positive/neutral/negative の 3 つの極性クラスが ラベル付けされている。 MARC [13] は Amazon にお ける多言語の商品レビューと 5 段階の星の数による 評価がアノテーションされたデータセットである.今回は英語を使う．前処理として，5 段階の評価に 関して，星の数が 4 以上のレビューを positive， 3 を neutral，2 以下を negative とした.

NLI MNLI [14] は, premise と hypothesis の 2 つの 文に対し entailment/neutral/contradiction の 3 つのラ ベルがアノテーションされた NLI のデータセッ トである. contradiction がラベル付けされている 事例の hypothesis の多くに negation が含まれると いう Spurious Feature が明らかになっている [1]. ANLI [15] は MNLI 同様に 3 種類のラベルがアノ テーションされており，MNLIよりも複雑で難易度 の高い NLI のデータセットである.

本実験では，IID として TweetEval と MNLI，OOD として，MARC と ANLIを使用する。実験に使用し たデータセットの詳細を付録 A に示す.

予測モデルは, Huggingface で公開されている RoBERTa [16] ベースの fine-tuned モデルを使用する.詳細は付録 B に示す。

## 3.1.2 Input reduction の適用先

Input reduction の入力として, train (学習データ) と test (テストデータ)の 2 通りを用いる. 前者はモデ ルの傾向 (内部状態)を捉えた推論パターンが得られ ることを期待する。後者は，推論パターンを得るた めの最も直観的な手法である．本実験では，ランダ ムに選んだ 1,000 件のデータに IRを適用する.

## 3.2 結果

検出された Shortcut Reasoning に該当する推論パ ターンを表 1 に示す. train/test は，推論パターンが それぞれ train, test に対して IRを適用して抽出され たかを表し，パターンが得られた場合は $\mathrm{T}$ ，なけれ ば $\mathrm{F}$ と記す.

$\mathbf{S A}$ 得られた推論パターン全体を見てみると，そ
表 1 検出された Shortcut Reasoning の例

の多くが [“love”] $\rightarrow$ positive や [“awful”] $\rightarrow$ negative 等 の感情語に関連したものであった. このことから， SA においてモデルは感情語を予測の重要な手がか りとしていることがわかる. Shortcut Reasoning であ るものについても，感情語を含む推論パターンが多 かった.したがって，Shortcut Reasoning は必ずしも 先行研究で報告されている [“Spielberg”] $\rightarrow$ poitive の ような予測と無関係な単語のみに反応しているので はないことがわかる。一方，そのような予測と無関係な単語がトリガーとなる推論パターンは得られな かったが，IID と OODを逆にした設定では異なる結果が得られる可能性がある.

MARC に関して, neutral とラベル付けされたレ ビュー(星3つ)においては positiveな表現と negative

が大きい推論パターンを観察してみると，総じて neutral を誤って予測していることから，本来であれ ばレビューを総合的に評価しなければならないにも 関わらず，レビュー中のどちらか一方の極性の感情語だけに依存して推論していることがわかった.

NLI“s”は入力の premise と hypothesis を隔てる目印である. 得られた推論パターンを概観してみる と, hypothesis に含まれる単語がトリガーの大半を 占め, premise の中の単語を含む推論パターンは数件しかなかった. この結果はモデルが hypothesis に 依存して文間関係を予測している2)ということを意味し, 同様の結果が Poliak 等によって報告されてい る [2]. さらに，否定表現が hypothesis に含まれてい る推論パターンが多く Shortcut Reasoning として判定されたが，これについても先行研究 [1] で指摘さ れている Shortcut Reasoning である. 以上から，提案手法が多様な Shortcut Reasoning を適切に検出でき ていることがわかった.

train or test Input reduction の適用先について, train と testから得られた推論パターンには大きな差は見 られなかった. 具体的なパターンは異なるが, 特徴 はおおむね同じであった。
論パターンに分類されるものである.

## 未知の Shortcut Reasoning と考えられるもの NLI では hypothesis に含まれる [“popular”] $\rightarrow$ neutral や， [“as", "well"] $\rightarrow$ neutral が新しい Shortcut Reasoning と して得られた. どちらも一般性，スコア差ともに 十分に Shortcut Reasoning と判断できる水準にある.一方，SA については特に見つけることができな かった。

## 4 関連研究

Wang らは, 事前の定義なしに自動的に Shortcut Reasoning を検知する手法を提案している [10]. こ の研究では出力ラベルの予測に有効な特徴 ([“good”] $\rightarrow$ positive, [“bad"] $\rightarrow$ negative 等) は Shortcut Reasoning になりえないとし，それらを排除した上で明らか に予測に関係のない特徴 ([“Spielberg”] $\rightarrow$ positive 等）のみを検知しょうとしている. しかしなが ら, Joshi らによると, 自然言語処理のタスクにお いて Shortcut Reasoning の原因となる特徵（Spurious Features）は，大半が予測のための有力な情報であ ることを示しており [17]，このような特徴を排除す ることは適切とは言えない. さらに, 2.3 項で述べ た推論パターンの一般性を考慮していないため，検出された Shortcut Reasoning が実際にどの程度予測 に影響を与えているのかわからないという問題点を 持っている.

## 5 おわりに

本研究では，モデルの推論パターンを新たに定義 し， Shortcut Reasoning を検知する手法を提案した。実験結果では, Shortcut Reasoning の形態についての 最小限の定義で, 先行研究で明らかになっていた Shortcut Reasoning に加え，少量ながら未知な新しい ものを自動的に検知することに成功した. 今回設定 した推論パターンは語彙的推論パターンにのみ対応 しており，抽象的推論パターンへの対応は今後の課題である. さらに, 抽出型の機械読解等のより複雑 なタスクへの対応や，この手法で得られた Shortcut Reasoning の情報を応用し，モデルの頑健性を向上 させることにも取り組みたい。

## 謝辞

本研究は JSPS 科研費 19K20332 の助成を受けたも のです.

## 参考文献

[1] Suchin Gururangan, Swabha Swayamdipta, Omer Levy, Roy Schwartz, Samuel Bowman, and Noah A. Smith. Annotation Artifacts in Natural Language Inference Data. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers), pp. 107-112, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[2] Adam Poliak, Jason Naradowsky, Aparajita Haldar, Rachel Rudinger, and Benjamin Van Durme. Hypothesis Only Baselines in Natural Language Inference. In Proceedings of the Seventh Joint Conference on Lexical and Computational Semantics, pp. 180-191, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[3] Tom McCoy, Ellie Pavlick, and Tal Linzen. Right for the Wrong Reasons: Diagnosing Syntactic Heuristics in Natural Language Inference. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 3428-3448, Florence, Italy, July 2019. Association for Computational Linguistics.

[4] Viktor Schlegel, Goran Nenadic, and Riza Batista-Navarro. Beyond Leaderboards: A survey of methods for revealing weaknesses in Natural Language Inference data and models, May 2020. arXiv:2005.14709 [cs].

[5] Xuezhi Wang, Haohan Wang, and Diyi Yang. Measure and Improve Robustness in NLP Models: A Survey. In Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 4569-4586, Seattle, United States, July 2022. Association for Computational Linguistics.

[6] Xanh Ho, Johannes Mario Meissner, Saku Sugawara, and Akiko Aizawa. A Survey on Measuring and Mitigating Reasoning Shortcuts in Machine Reading Comprehension, September 2022. arXiv:2209.01824 [cs].

[7] Marco Tulio Ribeiro, Tongshuang Wu, Carlos Guestrin, and Sameer Singh. Beyond Accuracy: Behavioral Testing of NLP Models with CheckList. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 4902-4912, Online, July 2020. Association for Computational Linguistics.

[8] Pouya Pezeshkpour, Sarthak Jain, Sameer Singh, and Byron Wallace. Combining Feature and Instance Attribution to Detect Artifacts. In Findings of the Association for Computational Linguistics: ACL 2022, pp. 1934-1946, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[9] Xiaochuang Han, Byron C. Wallace, and Yulia Tsvetkov. Explaining Black Box Predictions and Unveiling Data Arti- facts through Influence Functions. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 5553-5563, Online, July 2020. Association for Computational Linguistics.

[10] Tianlu Wang, Rohit Sridhar, Diyi Yang, and Xuezhi Wang. Identifying and Mitigating Spurious Correlations for Improving Robustness in NLP Models, May 2022. arXiv:2110.07736 [cs].

[11] Mukund Sundararajan, Ankur Taly, and Qiqi Yan. Axiomatic Attribution for Deep Networks, June 2017. arXiv:1703.01365 [cs].

[12] Francesco Barbieri, Jose Camacho-Collados, Luis Espinosa Anke, and Leonardo Neves. TweetEval: Unified benchmark and comparative evaluation for tweet classification. In Findings of the Association for Computational Linguistics: EMNLP 2020, pp. 1644-1650, Online, November 2020. Association for Computational Linguistics.

[13] Phillip Keung, Yichao Lu, György Szarvas, and Noah A. Smith. The multilingual Amazon reviews corpus. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 4563-4568, Online, November 2020. Association for Computational Linguistics.

[14] Adina Williams, Nikita Nangia, and Samuel Bowman. A broad-coverage challenge corpus for sentence understanding through inference. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 1112-1122, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[15] Yixin Nie, Adina Williams, Emily Dinan, Mohit Bansal, Jason Weston, and Douwe Kiela. Adversarial NLI: A new benchmark for natural language understanding. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 4885-4901, Online, July 2020. Association for Computational Linguistics.

[16] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach, 2019.

[17] Nitish Joshi, Xiang Pan, and He He. Are All Spurious Features in Natural Language Alike? An Analysis through a Causal Lens, October 2022. arXiv:2210.14011 [cs].

[18] Twitter-roBERTa-base for sentiment analysis, 20231 閲 覧. https://huggingface.co/cardiffnlp/ twitter-roberta-base-sentiment.

[19] roberta-large-mnli, 2023-1 閲 覧. https: //huggingface.co/roberta-large-mnli.

## A データセットの詳細

## B 使用したモデルの詳細


# ヒト脳における時間認識時の脳内状態の推定

1 須藤百香 4 小出（間島）直子 ${ }^{3}$ 浅原 正幸 2,4 山口裕人
4 久保 理恵子 2,4 西本伸志 1 小林一郎
1 お茶の水女子大学 ${ }^{2}$ 大阪大学 3 国立国語研究所 4 情報通信研究機構
[g1720523@is.ocha.ac.jp], [naoko-ko@nict.go.jp]
[masayu-a@ninjal.ac.jp], [hyamaguchi@nict.go.jp], [rkubo@fbs.osaka-u.ac.jp]
[nishimoto.shinji.fbs@osaka-u.ac.jp], [koba@is.ocha.ac.jp]

## 概要

近年, 脳神経活動の多点計測技術の発展や深層学習に代表される機械学習技術の高度化により，観測 したヒト脳内情報に対する解析や定量的理解を行う 研究が盛んになっている.このような背景を踏まえ て，本研究では被験者が DVDを視聴している際の 脳活動状態を計測し，動画の発話によって与えられ る言語刺激からヒト脳内における時間認識時の脳内状態を調査することを目的とする。

## 1 はじめに

"時間”という概念が，ヒト脳内にどのように存在 するのか，またはどの部位で処理されているのかと いう疑問に対する明確な解は未だに存在しない. 時間は物理現象として捉えられ, 我々が感覚的に感じ るものであったり，文章中に記述されている事象の 生起の順序関係から論理的に考えられたりと, 様々 な捉え方がある。近年, 深層学習や汎用言語モデル といった革新的な技術の発展により, 脳神経科学に おいて脳内情報処理を解明するためにそれらの技術が頻繁に利用されるようになっている. とくに， Yamins ら [1] によって視覚情報を処理する深層学習 モデルの層と脳内の視覚情報処理の階層的処理の 層の間に相同性があることが示されて以来，深層学習モデルを脳の機能を理解するための作業モデル として利用するようになっている，とくに，脳に与 えられる言語刺激を表現する際に，言語の特徴量を word2vec [2] や BERT [3], GPT-2 [4] などの汎用言語 モデルを用いて表現し利用されるようになってい る. Schrimpf ら [5] は脳活動データから単語の推定 を行う課題において，43 の汎用言語モデルを用いて その精度を検証し，該当タスクにおいてどの言語モ デルが脳活動を表現するのに適しているのかなどを調査している。このように汎用言語モデルと脳活動 データの対応関係をとることによりヒト脳内の様々 な特徵を解析することが可能になってきている。

このような背景を踏まえて，本研究では，自然言語文章中に表されている時間的概念がヒト脳内にお いて認識されている状態はどのようなものであるか を調査することを目的とする．自然言語文章から時間を識別する深層学習モデルを構築し，ヒト脳に与 えられる言語刺激から時間識別のための特徵量を抽出し，それを持って脳内状態を予測する。これによ り，時間識別の脳内状態の調査を試みる。

## 2 時間認識時の脳活動状態推定

## 2.1 研究概要

図 1 に研究の概要を示す.

図 1: 言語刺激による脳活動状態推定の概要

DVD 動画視聴時の脳活動データを fMRI を用いて 計測する．動画中の発話を文章に書き起こし，文の 意味を汎用言語モデル BERT [3] を用いてべクトル として表現し，それを言語の特徴量とみなす。言語 の特徵量から脳活動データを予測する符号化モデル （2.2 節参照）を構築し，言語刺激下の脳内状態を推定可能とし，その結果を可視化する。

## 2.2 符号化モデル

本研究における符号化モデル (Encoding model) の構築手法は，Naselaris ら [6] によるものを採用し た. 符号化モデルの構築方法として，ヒト脳への刺激となるデータから抽出した特徴量と刺激下の脳活動状態を線形回帰し, 計測脳活動パターンと予測脳活動パターンが近づくように重みを学習する。

## 2.3 被験者実験

被験者は日本人 4 名で，5 本の映画やドラマの DVDを自由視の指示のもと視聴した．映画やドラ マの内訳は 4 本が海外の映画またはドラマであり，残り 1 本は日本のアニメーションである. 海外映画 およびドラマとも日本語に吹き替えされたもので あり，被験者は日本語によって動画を理解してい る. 実験は，情報通信研究機構脳情報通信融合セ ンターにおいて実施され，上記 DVD データに関し て, 約 9 時間の動画視聴時の脳活動を磁気共鳴機能画像法 (functional magnetic resonance imaging:fMRI) を用いて脳内の血中酸素濃度依存型（BOLD:blood oxygenation level dependent）信号を観測したものであ る. 脳活動データは, 1 秒間隔で計測され, 時点毎 の観測ボリュームは $96 \times 96 \times 72(=663,552)$ ボクセ ルである.

## 2.4 時間識別深層学習モデル

DVD 視聴時に発話内に現れる時間概念を識別す るための深層学習モデルを構築する. これは，その 識別モデルの中間層に表される特徴量（表現ベクト ル）は，時間概念を識別するための表現になってい ると考えることができるため，その特徴量から符号化モデルにより推定した脳活動状態によって，時間概念を捉えるための脳内の特性を解明するためで ある．時間識別深層学習モデルが識別する時制は，「過去」「現在」「未来」「その他」の4つとなってい る. 使用したデータの具体例を表 1 に示す.

表 1: 書き起こし文と時制の対応

発話内容の特徵量は, 日本語用の NWJC-BERT [7]
を使用し，発話を構成する 1 文ごとに BERT の潜在 トークンである CLS の埋込べクトルを利用した. モデルの概要図を図 2 に示す.

図 2: 時間識別モデル概要図

## 3 実験

## 3.1 符号化モデル作成

2.4 節で説明した時間識別深層学習モデルを用い て，その中間層から時間識別のための特徴量を抽出 し，実際に観測された脳活動データとの回帰モデル を構築する. 図 3 にその概要を示す.

図 3: 符号化モデル作成の概要図

BERTにより表現した発話内容の特徴量から fMRI にて取得された脳活動データにより表現される脳内状態を推定するための符号化モデルとして, Ridge 線形回帰を採用する．また，訓練データと評価デー

タは観測した脳活動データの連続性を考慮して分割 し，訓練データに対する 5 分割交差検証を行うこと により，脳活動データのボクセル毎に最適な正則化項を決定した. 回帰モデルにより予測されたデータ と，実際に観測された脳活動データ (正解データ)を ピアソンの積率相関係数により評価を行う. またこ の際，帰無仮説「推定値と評価値には相関関係が存在しない」を仮定のうえ，各ボクセルごとに推定し た値に対し、 $p=0.05$ の下で両側検定，この仮説を 棄却した信用できるボクセルのみ使用している.

## 多段階ファインチューニング

本研究では，時間識別モデルの推定精度向上のた め，類似のタスクを学習したモデルを多段に転移 してモデルを洗練させていく転移学習手法である，多段階ファインチューニング（Multi-step fine-tuning） を適用した．今回は，目標タスクを DVD 視聴時の 発話内の時間概念の識別とし， 1 段階目に類似した 時間関係タスクとして, 日本語話し言葉コーパス内 の時間概念を識別するタスクで学習させたモデルを 採用し，2 段目にDVD 視聴時の時間概念識別のタス クを解いた。概要を図 4 に示す。

図 4: 多段階ファインチューニング

## 時間識別特徵量のみに基づく脳内状態予測

作成した時間識別モデルの最終層に近い上位層 の特徴量から事前学習済み BERT の埋め込みべク トルが入力される低層の純粋な言語特徴量を取り 除くと, 純粋に時間識別のための特徵量が得られる との考えから，それぞれの特徴量から推定された脳活動状態の差異を観測した. この際, それぞれの特徵量から個別に脳内状態を推定してしまうと，それ ぞれを共通の空間における比較にはならないため,双方の特徴量を合わせて回帰を行う, Banded Ridge Regression [8] を用い，それぞれの特徴量から予測さ れた脳内状態の差異をとれるようにした. 図 5 にそ の概要を示す.

図 5: 時間識別特徵量のみに基づく脳内状態推定

## 3.2 実験設定

## 使用データ

2.3 節での被験者実験によって取得された DVD 視聴時の脳活動データとその発話の書き起こしデー タ，および，日本語話言葉コーパスを傾聴した際の 脳活動データとその発話の書き起こしデータを用い る. 日本語話し言葉コーパスは，国立国語研究所・情報通信研究機構 (旧通信総合研究所) - 東京工業大学が共同開発した, 日本語の自発音声を大量にあ つめて多くの研究用情報を付加した話し言葉研究用 のデータベースである. 本研究では，ある一つの話題について一人が 600 700 秒ほどスピーチしてい るものを使用している.

## 時間識別深層学習モデル構築

2.4 節で説明した時間識別深層学習モデルを構築 する. モデルのパラメータを表 2 に示す。学習率や 最適化アルゴリズムは先行研究 [9]を参考に採用し ている.

表 2: 時間識別深層学習モデルのパラメータ

モデル構築に使用したデータは，5本の DVD 視聴 データの内，4本の動画を訓練データとして使用し，残りの 1 本を評価データとして構築した. 同じ動画 を訓練と評価データに分けないようにすることによ り，構築するモデルが過学習を起こさないように配慮した。

Mentalist

(a) DVD 発話からの脳内状態推定

Mentalist

(c) BERT 低層の純粋な言語特徴量からの脳内状態推定

GIS2

(b) 多段階ファインチューニング

Mentalist

GIS2

(d) 言語特徴量を除去した時間認識の脳内状態推定

（上位 500 ボクセル）

図 6: 実験結果

## 3.3 実験結果

図 6(a) にDVD の発話を時間識別モデルの入力と した際の時間識別特徴量からの予測脳活動状態を示 す. 図 6(b) に多段階ファインチューニングを行い脳内状態推定精度を向上させた際の予測脳活動状態を 示す. さらに，より詳細に時間識別領域についてみ るため，時間に関する特徴量から純粋な言語特徴量 を引いた際の予測脳活動状態を図 6(d) に示す.

## 3.4 考察

図 6(a)のDVD 発話データのみを用いて時間識別 モデル構築を行なった際には，予測脳活動で特徴的 な反応を見ることができなかったが，図 6(b) におい ては予測された領域の局在性が見えるようになり，後頭葉の部分に強い反応が見られた. この部分は主 に言語を司る部分だと言われており，反応としては 妥当であると言えるであろう。この結果から多段階 ファインチューニングを行うことで，モデルの精度 がより良くなり，予測脳活動の精度がよくなったこ とがわかった。また，時間識別モデルから得た特徴量から図 6(c) に示した BERT 低層の言語特徴量を引 いた図 6(d) においては, 全被験者を通して前頭前野 の反応がよく残る傾向となった. このことからこの 部分で何かしらの時間処理が行われている可能性が 考えられる。

## 4 まとめ

本研究は，ヒト脳内において自然言語文中に表さ れる時制がどの部位において処理がなされているか を解明することを目的とし，DVD 視聴時の時制を 伴う発話文を刺激として用い，予測した脳活動状態 から時間認識に特化した脳内部位を調査した。脳内状態を推定するためには，予測精度の高い符号化モ デルを作成する必要があり，深層学習モデル学習時 の多段階ファインチューニングにより予測精度が向上することが確認できた。これにより，時間識別深層学習モデルを通じて得られた時間識別のための特徴量から脳内状態を推定することで，時間認識をし ている部位の特定に努めた。実験を通じて判定され た脳内時間処理の部位については，映画内容や被験者により多少の違いがでたものの，前頭前野の位置 で反応がよく見らる傾向にあった. しかし，未だそ の部位が特定できたとは言い難い，今後は，脳内に おける時間処理の部位を詳細に解明するため，符号化モデルの改良や，実験データをより増やすことな どし，引き続き調査を進めていくつもりである.

## 謝辞

本研究は科学研究費補助金 (18H05521) の支援を 受けて実施されたものである. ここに謝意を表す.

## 参考文献

[1] D. L. K. Yamins, H. Hong, C. F. Cadieu, E. A. Solomon, D. Seibert, and J. J. DiCarlo. Performance-optimized hierarchical models predict neural responses in higher visual cortex. Proceedings of the National Academy of Sciences, pp. 8619 - 8624, 10/2014 2014.

[2] Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg S Corrado, and Jeff Dean. Distributed representations of words and phrases and their compositionality. In C. J. C. Burges, L. Bottou, M. Welling, Z. Ghahramani, and K. Q. Weinberger, editors, Advances in Neural Information Processing Systems, Vol. 26, pp. 3111-3119, 2013.

[3] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proc. of NAACL2019, pp. 4171-4186, June 2019.

[4] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners. In H. Larochelle, M. Ranzato, R. Hadsell, M. F. Balcan, and H. Lin, editors, Advances in Neural Information Processing Systems, Vol. 33, pp. 1877-1901. Curran Associates, Inc., 2020.

[5] Martin Schrimpf, Idan Blank, Greta Tuckute, Carina Kauf, Eghbal A. Hosseini, Nancy Kanwisher, Joshua Tenenbaum, and Evelina Fedorenko. The neural architecture of language: Integrative reverse-engineering converges on a model for predictive processing. bioRxiv, 2020.

[6] Thomas Naselaris, Kendrick N. Kay, Shinji Nishimoto, and Jack L. Gallant. Encoding and decoding in fmri. Neurolmage, Vol. 56, No. 2, pp. 400-410, May 2011.

[7] 浅原正幸, 西内沙恵, 加藤祥. Nwjc-bert: 多義語に対 するヒトと文脈化単語埋め込みの類似性判断の対照分析. 言語処理学会第 26 回年次大会発表論文集, pp. 961-964, 32020 .

[8] Tom Dupré la Tour, Michael Eickenberg, Anwar O NunezElizalde, and Jack L Gallant. Feature-space selection with banded ridge regression. bioRxiv, 2022.

[9] 耿晨婧, 程飛, KANASHIRO Pereira Lis, 浅原正幸, 小林一郎. 依存関係と文脈表現を用いた日本語時間関係識別. 人工知能学会全国大会論文集, Vol. JSAI2020, pp. 4Rin115-4Rin115, 2020.


# Large Pre-trained Language Models with Multilingual Prompt for Japanese Natural Language Tasks

Haiyue Song ${ }^{1,2}$ Raj Dabre $^{2}$ Chenhui Chu $^{1}$ Sadao Kurohashi ${ }^{1}$
${ }^{1}$ Kyoto University ${ }^{2}$ NICT
\{song, chu,kuro\}@nlp.ist.i.kyoto-u.ac.jp raj.dabre@nict.go.jp
}

\begin{abstract}
Pre-trained Language Models (PLMs) with in-context learning have achieved impressive performance on various English Natural Language Understanding (NLU) and generation tasks. However, applying PLMs to languages other than English is still a challenge. This is because the training data used for pre-training contains a huge percentage of English data and a significantly lower percentage of data in other languages. To alleviate this problem, we propose a multilingual prompt approach, where we provide the input in the target language as well as in English, the latter of which is obtained by Neural Machine Translation (NMT). We experimented on six Japanese datasets and achieved SOTA performance in two of them.
\end{abstract
## 1 Introduction

In recent years, the world knowledge from the huge-scale training data and the generalization ability from the hugescale model have enabled the PLMs to show promising performance on a wide range of Natural Language Processing (NLP) tasks [1, 2, 3]. This data-driven approach has especially shown promising results on English tasks [4]. It even shows better than the fine-tuning methods with a few-shot in-context learning setting [5]. Although the high generalization ability enables the PLMs to deal with NLP tasks in other languages, a performance gap exists between them and the same tasks in English. This phenomenon is largely due to the lack of training data in the target language $[3,6]$.

To alleviate the data distribution mismatch problem between the training data and testing data, increasing the percentage of non-English data in the training set is a trivial yet efficient approach. However, the disadvantages include the high cost of data collection and cleaning, the data scarcity for low-resource languages, and the drop in performance of

Figure 1: Overview of the proposed method.

English tasks [6]. Having English play the role of the intermediary is another effective way. This includes translating the non-English inputs into English [7], translating the English training data to the target language [8], or showing a few English examples as context to adjust the domain [4].

In this work, we solve the data distribution mismatch problem in PLMs with a novel multilingual prompt approach (See Figure 1). We first translate the input in the target language into English and feed them into PLMs. In this way, the prompt provides both accurate information in the original input and information in English that can be processed by the model without language mismatch.

We conducted experiments on the JGLUE benchmark that contains 5 language understanding tasks [9] and on the KWDLC dataset [10] for the Japanese word segmentation task. Compared with fine-tuning methods based on BERT variants, the proposed multilingual prompt approach based on a GPT-3 model achieves SOTA performance on the sentiment classification and Japanese word segmentation datasets and comparable performance on most of the rest datasets. Ablation studies show the importance of using multilingual rather than Japanese only or English only inputs. Analysis with examples further reveals how the English references help.

Figure 2: Prompt format with multilingual examples and the query.

## 2 Related Works

As the scales of PLMs increase (e.g., BERT series [1, 11], T5 model [2], and the GPT series [12, 4]), few-shot in-context learning without back-propagation to update the model parameters becomes possible [13]. The in-context learning approach makes it extremely practical, where the model can be applied to entirely new tasks requiring only a minimal amount of annotation.

To solve the non-English NLP tasks, multilingual PLMs approaches (e.g., mBERT [1], mT5 [14], and XGLM [6]) attempt to collect more balanced data from more than one hundrad languages and solve tasks in language other than English directly. Other attempts to alleviate the data distribution mismatch problem of PLMs pre-trained on unbalanced data include fine-tuning based methods [15, 16], translation-based methods [7, 8], and zero-shot methods [4], which require less computation. Multilingual input is also a common method in multilingual MT [17, 18].

## 3 Methods

We first briefly define the notations of the task, prompt, and output. We then explain the proposed multilingual prompt with a few-shot in-context learning method.

## 3.1 Notations

We define the parameter in the PLM as $\theta$. For each task $T$, we define the dataset as $D$. The prompt of the PLM is defined as $P$, where $P=\left[P_{\text {task }}, P_{\text {examples }}, P_{\text {query }}\right]$ is a concatenation of three parts as presented in Figure 2.
- The task explanation part $P_{\text {task }}$ provides the information of the task and the format of input and output of each data examples. It varies with the task.
- The example part $P_{\text {examples }}$ provides $N$ examples. Each example $E_{i}$ consists of two parts, the question part $Q_{i}$ and the correct answer $A_{i}$.
- The query part $P_{\text {quer }}$ provides the question $q$ at the inference time without the answer.

We call a setting zero-shot if the $P_{\text {examples }}$ is empty ( $N=$ $0)$, few-shot if $N$ is a small number. We keep $N<10$ in all few-shot experiments. The output is defined as $y$; for different tasks $T$, the set of possible output values differs.

## 3.2 Multilingual Prompt

We keep the target language Japanese across the experiments. For all the texts $t_{J a}$ in $P_{\text {examples }}$ and $P_{\text {query }}$, we apply a high-quality machine translation tool Textra ${ }^{1)}$ to translate it into a English text $t_{E n}$. We then combine $t_{J a}$ and $t_{E n}$ to form a multilingual text $t_{M i x}$. We then replace $t_{J a}$ with $t_{M i x}$ to generate the multilingual $P_{\text {examples }}$ and $P_{\text {query }}$ as shown in Figure 2.

In the zero-shot multilingual prompt setting, the output of the PLM $y=f(P \mid \theta)$ tends to be multilingual, and we only keep the Japanese part as a prediction. In the few-shot setting, the output will be in the correct format following the $P_{\text {examples }}$. Note that we use English for $P_{\text {task }}$ across all the experiments.

Table 1: Results on the JGLUE benchmark. Bold represents the best performance except for Human. Blue represents the best setting among the proposed methods.

} & \multirow{2}{*}{} & \multicolumn{2}{|c|}{ JSTS } & \multirow{2}{*}{} & \multicolumn{2}{|c|}{ JSQuAD } & \multirow{2}{*}{} \\

Table 2: Results on the KWDLC dataset for the Japanese word segmentation task. Bold means the best performance.

## 4 Experimental Settings

## 4.1 Datasets

We use five datasets from the JGLUE benchmark [9], including 1) MARC-ja, a text classification dataset, 2) JSTS, the Japanese version of the semantic textual similarity dataset, 3) JNLI, the Japanese version of the natural language inference dataset, 4) JSQuAD, the Japanese version of reading comprehension dataset, and 5) JCommonsenseQA, the Japanese version multiple-choice commonsense Question Answering (QA) dataset.

Additionally, we add a Japanese word segmentation task to verify whether the English translation will still help for

the task that requires Japanese syntax information processing ability. We test on the KWDLC dataset [10], which is segmented by Jumanpp [22] and revised by experts.

The evaluation metrics keep the same with the previous work $[9,19]$, using accuracy for multi-choice tasks, Pearson and Spearman for the ranking task, Exact Match (EM) and F1 for the QA task, precision, recall, and F1 for the word segmentation task.

## 4.2 Model Settings

PLM We run experiments on a publicly available pretrained language model GPT-3 Codex (175B) $)^{3)}$ with temperature as 0, top $p$ as 1 , frequency penalty as 0 , presence penalty as 0 , and max tokens as 200.

MT Model We use a publicly available MT tool Tex$\mathrm{Tra}^{4)}$ with the general Japanese to English model.

Few-shot We manually select $N<10$ examples from the train set that cover all types of output labels. For the MARC-Ja dataset, we use 2 examples with positive labels and 2 with negative labels. For the JSTS dataset, we use 10 examples with labels from 0.0 to 5.0 in a roughly uniform distribution. We use 6 examples for JNLI, 5 examples for JSQuAD, 5 for JCommonsenseQA, and 7 for KWDLC. For the JSQuAD dataset, in the case that there are multiple correct labels, we show the first one in $P_{\text {examples }}$.

 &  \\

Figure 3: An example from the MARC-Ja dataset where multilingual prompt helps.

 &  \\

Figure 4: An example from the KWDLC dataset where multilingual prompt helps.

Baselines For the JGLUE benchmark, we compare with the fully supervised methods fine-tuned on Tohoku BERT, ${ }^{5)}$ NICT BERT base, ${ }^{6)}$ Waseda RoBERTa, ${ }^{7)}$ and XLM RoBERTa models [23]. For the KWDLC dataset, we compare it with a previous unsupervised method based on BERT [19]. We added existing tools MeCab [20] with ipadic dictionary and KyTea [21] as references. Note that the KWDLC is originally segmented by Jumanpp [22] therefore the F1 score using Jumanpp is near 1.0.

## 5 Experimental Results

## 5.1 Main Results

Tables 1 and 2 show the results of the JGLUE benchmark and KWDLC dataset correspondingly. The proposed methods show SOTA performance on the text classification dataset and Japanese word segmentation dataset. The performance is also comparable to the fine-tuned methods on two QA datasets. However, we found that the performance is worse on the tasks JNLI and JSTS that require reasoning ability. We can observe that the fine-tuned methods outperform humans on these two tasks.

The few-shot methods gave higher scores than the zeroshot ones on all the tasks, showing the effectiveness of in-context learning. We found the improvement from both better output format and adaptation to the task domain.

5) huggingface.co/cl-tohoku/bert-base-japanese-v2

6) alaginrc.nict.go.jp/nict-bert/index.html

7) huggingface.co/nlp-waseda/roberta-base-japanese
The multilingual prompt outperforms the Japanese or English only prompt on most tasks. We assume that it is due to less distribution mismatch between the testing and training data.

## 5.2 Case Analysis

We gave two cases where the multilingual prompt leads to correct prediction. Figure 3 provides a text classification example, where the object is implicit and omitted in the Japanese text. However, in the translated text, the phrase but I liked it is completed, and the object information becomes explicit, which helps the model to give the correct prediction. Figure 4 illustrates another case from the word segmentation task. The names of the province (Anhui, Shandong. . .) are given as separate English words in the translation, which provides word boundary information and helps to segment Japanese words correctly.

## 6 Conclusion and Future Work

In this work, we proposed a multilingual prompt approach to better apply the PLMs to non-English tasks. The prompt contains the original input in Japanese and the translated input in English, which alleviates the data distribution mismatch problem. We experimented on six Japanese datasets and achieved SOTA performance on two of them. Future work includes adding Chain-of-though (CoT) [5], a cross-lingual version of the few-shot retrieval method [24], and a web-searching method [25].

## Acknowledgement

This work was supported by JSPS KAKENHI Grant Number JP21J23124. Part of the work was done during an internship at NICT.

## References

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[2] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. Journal of Machine Learning Research, Vol. 21, No. 140, pp. 1-67, 2020.

[3] Tom B. Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel M. Ziegler, Jeffrey Wu, Clemens Winter, Christopher Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners, 2020.

[4] Genta Indra Winata, Andrea Madotto, Zhaojiang Lin, Rosanne Liu, Jason Yosinski, and Pascale Fung. Language models are few-shot multilingual learners. In Proceedings of the 1st Workshop on Multilingual Representation Learning, pp. 1-15, Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[5] Jason Wei, Xuezhi Wang, Dale Schuurmans, Maarten Bosma, Brian Ichter, Fei Xia, Ed Chi, Quoc Le, and Denny Zhou. Chain of thought prompting elicits reasoning in large language models, 2022.

[6] Xi Victoria Lin, Todor Mihaylov, Mikel Artetxe, Tianlu Wang, Shuohui Chen, Daniel Simig, Myle Ott, Naman Goyal, Shruti Bhosale, Jingfei Du, Ramakanth Pasunuru, Sam Shleifer, Punit Singh Koura, Vishrav Chaudhary, Brian O'Horo, Jeff Wang, Luke Zettlemoyer, Zornitsa Kozareva, Mona Diab, Veselin Stoyanov, and Xian Li. Few-shot learning with multilingual language models, 2021.

[7] Tim Isbister, Fredrik Carlsson, and Magnus Sahlgren. Should we stop training more monolingual models, and simply use machine translation instead?, 2021.

[8] 吉越卓見,河原大輔, 黒橋禎夫. 機械翻訳を用いた自然言語推論データセットの多言語化. 第 244 回自然言語処理研究会, 2020.7.3

[9] Kentaro Kurihara, Daisuke Kawahara, and Tomohide Shibata. JGLUE: Japanese general language understanding evaluation. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 2957-2966, Marseille, France, June 2022. European Language Resources Association.

[10] 萩行正嗣, 河原大輔, 黒橋禎夫. 多様な文書の書き始めに対 する意味関係タグ付きコーパスの構築とその分析. 自然言語処理, Vol. 21, No. 2, pp. 213-247, 2014.

[11] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach, 2019.

[12] Alec Radford, Jeff Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. Language models are unsupervised multitask learners. 2019

[13] Damai Dai, Yutao Sun, Li Dong, Yaru Hao, Zhifang Sui, and Furu Wei. Why can gpt learn in-context? language models secretly perform gradient descent as meta-optimizers, 2022.

[14] Linting Xue, Noah Constant, Adam Roberts, Mihir Kale, Rami Al-Rfou, Aditya Siddhant, Aditya Barua, and Colin Raffel. mT5: A massively multilingual pre-trained text-to-text transformer. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 483-498, Online, June 2021. Association for Computational Linguistics.

[15] Bo Zheng, Li Dong, Shaohan Huang, Wenhui Wang, Zewen Chi, Saksham Singhal, Wanxiang Che, Ting Liu, Xia Song, and Furu Wei. Consistency regularization for cross-lingual fine-tuning. In Proceedings of the 59th Annual Meeting of the ACL and the 11th IJCNLP (Volume 1: Long Papers), pp. 3403-3417, Online, August 2021. Association for Computational Linguistics.

[16] Zhaojiang Lin, Andrea Madotto, Genta Indra Winata, Peng Xu, Feijun Jiang, Yuxiang Hu, Chen Shi, and Pascale Fung. Bitod: A bilingual multi-domain dataset for task-oriented dialogue modeling, 2021.

[17] Raj Dabre, Fabien Cromieres, and Sadao Kurohashi. Enabling multi-source neural machine translation by concatenating source sentences in multiple languages. In Proceedings of Machine Translation Summit XVI: Research Track, pp. 96-107, Nagoya Japan, September 18 - September 222017.

[18] Barret Zoph and Kevin Knight. Multi-source neural translation. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 30-34, San Diego, California, June 2016. Association for Computational Linguistics.

[19] 和田有輝也, 村脇有吾, 黒橋禎夫. セミマルコフ crf 自己符号化器による教師なし単語分割. 言語処理学会 第 28 回年次大会, 浜松, 2022.3.16.

[20] Takumitsu Kudo. Mecab : Yet another part-of-speech and morphological analyzer. 2005.

[21] Graham Neubig, Yosuke Nakata, and Shinsuke Mori. Pointwise prediction for robust, adaptable Japanese morphological analysis. In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, pp. 529-533, Portland, Oregon, USA, June 2011. Association for Computational Linguistics.

[22] Arseny Tolmachev, Daisuke Kawahara, and Sadao Kurohashi. Juman++: A morphological analysis toolkit for scriptio continua. In Proceedings of the 2018 Conference on EMNLP: System Demonstrations, pp. 54-59, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[23] Alexis Conneau, Kartikay Khandelwal, Naman Goyal, Vishrav Chaudhary, Guillaume Wenzek, Francisco Guzmán, Edouard Grave, Myle Ott, Luke Zettlemoyer, and Veselin Stoyanov. Unsupervised cross-lingual representation learning at scale. CoRR, Vol. abs/1911.02116, , 2019

[24] Ohad Rubin, Jonathan Herzig, and Jonathan Berant. Learning to retrieve prompts for in-context learning. In Proceedings of the 2022 Conference of the NAACL:HLT, pp. 2655-2671, Seattle, United States, July 2022. Association for Computational Linguistics.

[25] Reiichiro Nakano, Jacob Hilton, Suchir Balaji, Jeff Wu, Long Ouyang, Christina Kim, Christopher Hesse, Shantanu Jain, Vineet Kosaraju, William Saunders, Xu Jiang, Karl Cobbe, Tyna Eloundou, Gretchen Krueger, Kevin Button, Matthew Knight, Benjamin Chess, and John Schulman. Webgpt: Browser-assisted questionanswering with human feedback, 2021


# 地方議会議事録を対象としたスタンス分類データセットの自動構築と ベースライン分類器の評価

我藤勇樹 ${ }^{1}$ 秋葉友良 ${ }^{1}$ 内田ゆず ${ }^{2}$ 木村泰知 ${ }^{3}$ 高丸圭一 ${ }^{4}$
${ }^{1}$ 豊橋技術科学大学 ${ }^{2}$ 北海学園大学 ${ }^{3}$ 小樽商科大学 ${ }^{4}$ 宇都宮共和大学
gato.yuki.am@tut.jp akiba@cs. tut.ac.jp yuzu@hgu.jp kimura@res.otaru-uc.ac.jp
takamaru@kyowa-u. ac. jp

## 概要

スタンス分類は、特定のトピックに関して述べら れた意見が賛成なのか反対なのかを分類することを 目的としている。本研究では、複数の地方議会議事録から自動でスタンス分類データセットを構築する 手法を提案する。愛知県の種々の規模の議会を対象 に本手法を適用し、6,254 サンプルのデータセット を構築することができた。構築したデータセットを 人手で評価したところ、抽出漏れは約 $10 \%$ あっも のの賛否ラベルの付け誤りは $0 \%$ であった。また、構築したデータセットを基にベースライン分類器を作成し、分類性能の評価を行った。

## 1 はじめに

スタンス分類は、特定のトピックに関して述べら れた意見が賛成なのか反対なのかを分類することを 目的としている。例えば、「マスク着用」というト ピックに対する意見「周囲の人を守るためにマスク を着用します。」は、賛成のスタンスを表明してい ることになる。スタンス分類が自動で行われること で、ソーシャルメディアに流れる大量のテキストを 分析し、世論の把握やファクトチェックに活用する ことができる。

2019 年後半から 2020 年にかけて開催された NTCIR15 QA Lab-PoliInfo2 では、東京都議会を対象 とした Stance Classification (SC) タスク [1]が実施 された。これは、会議議事録全体を参照し各会派の 議案に対するスタンス(賛成/反対)を推定するタス クであった。議会議事録中には、討論の冒頭に議案 に対する賛否を明示的に表明する発言があり、この 部分から賛否表現を抽出するだけで 90\%以上の精度 を達成することができた。一方、純粋に発言の内容 からスタンスを分類するという本来のスタンス分類
に対する性能は明らかになっていない。

図 1 実際の討論発言（愛知県大府市議会）

本研究では、明示的な賛否表現に頼ることなく発言のスタンス (賛否)を推定する問題に取り組むため に、地方議会議事録から自動的にスタンス分類デー タセットを構築する手法を開発し、データ構築を行 った。PoliInfo-2 の対象であった東京都以外の、県議会、市議会、町議会を含む様々な規模の地方議会 を対象としている点が特徴である。また、英語を対象とした Stance Classification データセットは SNS などの短い発言を対象としたものが多いが、議会議事録を対象とした本データセットは、平均 578 単語と比較的長い発言を対象とすることも特徴であ る。図 1 に実際の議事録の発言を示す。

愛知県の種々の規模の議会を対象に本手法を適用

したところ、6,256 サンプルの賛否ラベル付きデー タを自動構築することができた。構築したデータの 品質を評価するため、人手で構築したデータとの比較を行った。人手データと比べて抽出漏れが約 $10 \%$ あったものの、余計な発言が抽出されることはなく、 また自動ラベル付した結果に誤りは無く、高精度な データを自動構築できることを確認した。また、構築したデータセットを基にベースライン賛否分類器 を作成し、分類性能の評価を行った。

## 2 関連研究

スタンス分類のデータセットを構築する研究に Glandt らの研究[2]がある。この研究では、COVID-19 に関するツイートを収集し、クラウドソーシングを 活用し人手でラベリングすることでデータセットを 構築している。他にも、Allaway と McKeown の研究 [3]では、非常にターゲットの種類が多いVAST とい うデータセットを構築している。この研究でも、ラ ベリングにはクラウドソーシングが活用されている。 クラウドソーシングの問題点として、ラベルのつけ 間違いや個人差、コストがかかることが挙げられる。本研究では、明示的な賛否表現にマスクを施すこと により自動でデータセットを構築した。

## 3 自動データセット構築

データセットを構築する手法について述べる。ま ず、提出議案の討論が主に行われる会議最終日の議事録のみを用いる。地方議会の討論の進行には、議長が個々の議案を一つずつ取り上げて発言者(議員) を指名し発言を認める形式（個別討論）と、議長が 発言者のみを指名した後、指名された議員が複数の 議案について一括で発言を行う形式 (一括討論) の 2 種類があり、議会毎に採用する討論形式が異なる。今回は発言とその対象となる議案の対応関係が明確 である、個別討論形式の議会を対象とした。

愛知県の 33 の県議会、市議会、町議会を対象に調 べたところ、15 の議会が条件を満たしていた。表 1 に個別議案の討論形式を持つ議会とデータセット構築に用いた議事録の対象年度を示す。表 1 データセット構築に用いた議事録

## 3.1 討論の抽出

本研究で構築するスタンス分類データセットは、議事録の討論を対象とする。討論の開始・終了は議長によって指定され、討論は議長に指名された議員 が行う。そのため、討論の開始表現と終了表現の間 の議員の発言を討論候補として抽出する。討論候補 の抽出に使用した正規表現を表 2 に示す。

スタンス分類では、特定のトピック (ターゲット) に対する意見を分類する。そのため、討論候補のう ち、表 2 のトピック表現を含むものをスタンス分類 のテキストとして扱い、トピック表現を含まない候補は破棄する。

得られたテキストは、冒頭や末尾付近に明確にス タンスを表明する文（賛否表明文）が現れることが 多い。実際の分類タスクでは、この賛否表明文を用 いるだけで簡単にスタンスが特定できてしまう。そ のため、表明文は除去することが望ましいが、出現位置や表現は様々であり難しい。そこで本研究では、賛否を表明するために典型的に使用される単語集合 を予め列挙しておき、それらの単語を一つの特殊な トークンに置き換える(マスクする)ことで、発言に 明示的な賛否表現が含まれないようにした。今回は、

「賛成」と「反対」の 2 単語を対象にマスクを行っ た。
表 2 本研究で使用した正規表現

 \\

## 3.2 賛否ラベリング

スタンス分類のデータセットには、サンプル(発言)毎にスタンス(賛成または反対)の教師ラベルを付与する必要がある。しかし、人手でラベル付けする コストは高い。本研究では、マスクした「賛成」「反対」を利用しヒューリスティクスを用いて自動でラ ベル付けを行った。ラベル付け手法は以下の通りで ある。

1. マスクした「賛成」および「反対」が発言を通 してどちらか一方のみであった場合、マスクし た単語が表すスタンスのラベルを付与する。

2.「賛成」「反対」どちらも出現する場合、発言中に表 2 の「賛成表現」または「反対表現」が 出現するかチェックする。出現する場合は、対応するラベルを付与する。

3. 上記に当てはまらない発言は、ラベル付けせず に破棄する。

表 3 に表 1 で示した議事録から構築されたデータ セットの統計情報を示す。表 3 より、賛否ラベルの 割合がほぼ等しいデータセットであるといえる。ま た、図 2 に作成したデータの例を示す。表 3 データセットの統計情報

テキスト：議案第38号「大府市空家等対策の推進に関する条例 の制定について」、自民クラブを代表し、[STANCE]の立場で討論をさせていただきます。近年、人口減少や少子高齢化等を背景に、全国的に空き家等の増加が社会問題となっている中、本市においても、今後、空き家等の増加により、生活環境の保全 に支障が生じるのではないかと懸念されているところであり、本市議会建設消防委員会においても、これまで、空き家、空き 地、空き店舗について調査研究を進めてきた経緯もございます 本市では、平成 30 年 3 月に、大府市空家等対策計画を策定し、本計画に基づき、これまでも積極的に空家等対策を推進してき たところでございますが、法の枠組みだけでは対処できない課題が顕在化している状況がうかがえます。そのような状況の中 で、今回、本条例を制定し、類似空家と特定類似空家等への対応を始め、市、所有者、市民、事業者などに責務又は役割を定 めていること、人の生命、身体又は財産に重大な損害を及ぼす ことを回避するために、緊急安全措置について規定しているこ とは、法律を補完するとともに、空家等対策を総合的かつ計画的に推進し、公共福祉と地域振興につながるものと高く評価す るものでございます。今後、法及び本条例に基づいて、引き続 き空家等対策に継続的に取り組み、市民が安心安全に暮らすこ とができる「健康都市おおぶ」として、持続可能な社会が実現 されることを期待し、[STANCE] 討論とさせていただきます。

ターゲット : 議案第38号「大府市空家等対策の推進に関する条例の制定について」

ラベル : 賛成

図 2 作成したデータの例

## 3.3 データセット構築手法の評価

構築したデータセットについて、人手で評価を行 った。大府市の議事録を対象とし、議員の発言を 100 件抽出し、人手で討論発言かどうか分類した。討論発言である場合は、ターゲットとラベルも人手で付与し、同じ 100 件の発言に対して自動で構築したデ 一タセットと比較した。比較結果を表 4 に示す。

表 4 より、自動抽出では、本来抽出すべき討論の 約 10\%を取りこぼしていることがわかる。しかし、間違えて討論でないものを抽出していないため、デ 一夕の数は少なくなるが質は高いと言える。自動で 抽出した討論に対するターゲットとラベルは人手と 完全に一致し、ミスなく付与できている。
表 4 人手評価の結果

 &  &  \\

## 4 ベースライン分類器の構築と評価

## 4.1 ベースライン分類器

構築したデータセットを学習データに用いて分類器を構築した。分類モデルには、Transformer エンコ ーダベースの事前学習モデルである BERT[4]を用い た。BERT モデルには、東北大学乾研究室が公開し ている学習済みモデルiを使用した。[CLS]トークン を対象に、MLP 層を加えた二值分類器を学習した。入力形式は、対象となる議案名と、発言テキストを、 [SEP]トークンで連携したものとした。ただし、BERT の最大入力長である 512 トークンを超えた場合は、後を切り捨てた。

## 4. 2 分類器の評価実験

構築したデータセットから 3.3 節で人手評価した 67 件を除いた 6,187 件を学習データとして、 4.1 節の モデルを 6 エポック学習し、テストデータ 67 件を評価した。分類結果を表 5 に示す。

表 5 ベースライン分類器での評価結果

## 5 おわりに

議会議事録を活用して、スタンス分類のデータセ ットを自動で構築した。人手評価の結果、取りこぼ しているデータは多少あるが、ラベリングやターゲ ットの付与は非常に高い精度であることがわかった。今後の研究としては、今回対象としなかった、複
^{i}$ https://huggingface.co/cl-tohoku
}

数の議案を含む発言からもデータセットを構築する ことを目標とする。そのためには、発言を議案ごと にセグメンテーションする手法を研究する必要があ る。

本研究で構築したデータセットは、NTCIR-17 QA Lab-PoliInfo-4[5] の サブタスク Stance Classification-2[6] のデータセットとして使用す る予定である。

## 参考文献

1. Yasutomo Kimura, Hideyuki Shibuki, Hokuto Ototake, Yuzu Uchida, Keiichi Takamaru, Madoka Ishioroshi, Teruko Mi- tamura, Masaharu Yoshioka, Tomoyoshi Akiba, Yasuhiro Ogawa, Minoru Sasaki, Kenichi Yokote, Tatsunori Mori, Kenji Araki, Satoshi Sekine, and Noriko Kando. Overview of the ntcir-15 qa lab-poliinfo-2 task. Proceedings of The 15th NTCIR Conference, 122020.

2. Kyle Glandt, Sarthak Khanal, Yingjie Li, Doina Caragea, and Cornelia Caragea. 2021. Stance Detection in COVID-19 Tweets. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pages 1596-1611, Online. Association for Computational Linguistics.

3. Emily Allaway and Kathleen McKeown. 2020. Zero-Shot Stance Detection: A Dataset and Model using Generalized Topic Representations. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pages 8913-8931, Online. Association for Computational Linguistics.

4. Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. 2019. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pages 4171-4186, Minneapolis, Minnesota. Association for Computational Linguistics. 5. 小川泰弘, 木村泰知, 渋木英潔, 乙武北斗, 内田 ゆず，高丸圭一，門脇一真，秋葉友良，佐々木稔，小林暁雄. NTCIR-17 QA Lab-PoliInfo-4 のタスク設計.言語処理学会第 29 回年次大会. 2023.

6. 高丸圭一, 内田ゆず, 木村泰知, 秋葉友良. 地方議会における議案への賛否に関する発言の分析一

NTCIR-17 QA Lab-PoliInfo-4 Stance Classification-2

タスクに向けて一. 言語処理学会第 29 回年次大会.

2023


# ニュースのライティングスタイルの差分を考慮した 日英機械翻訳のテストセットの開発

衣川和克 美野秀弥 後藤功雄 山田一郎
NHK 放送技術研究所
\{kinugawa.k-jg, mino.h-gq, goto.i-es, yamada.i-hy\}@nhk.or.jp

## 概要

英語ニュースでは一般に一文内に同一の表現を 繰り返し使うことを避け, 言い換えや省略によって 簡潔な文にすることが推奨される。一方で, 日本語 ニュースではこうした簡潔性が英語ニュースほどは 考慮されず,一文内に同一の表現が複数回出てくる ことも珍しくない. この差分により, 日本語ニュース から機械翻訳で生成した文が英語ニュースのライ ティングスタイルに沿わないものになってしまうこ とがある. 本稿では,こうしたライティングスタイル を考慮した機械翻訳の実現に向けて, 時事通信社の 日英ニュース記事対からテストセットを構築する。日英ニュース記事の分析およびベースラインの機械翻訳モデルの性能評価を通じて, 本タスクの重要性 および課題について議論する.

## 1 はじめに

ニューラルモデルの発展とともに機械翻訳の性能は大きく向上している. 機械翻訳の重要な応用先 の一つがニュースであるが, 機械翻訳をニュース制作に活用する上での課題の一つとして, 言語間での ニュースのライティングスタイルの差分が挙げられ る. 例えば放送用の英語ニュース原稿では一般に, 説明や主張を簡潔なものにするため, 同じ表現の繰り 返しを避ける, 受動態よりも能動態が好まれる, 否定形よりも肯定形が好まれるといった特徴がある [1].

図 1 に [1] から引用した, 同じ表現の繰り返しを避 ける例を示す. 例示した 2 つの文はいずれも「週末 にハドソン百貨店で全米自動車労組がピケを行い,双方が勝利を宣言している.」という意味の文であ る. 1 つ目の文は「ハドソン百貨店」と「全米自動車労組」が複数回ずつ現れているが, 2 つ目の文はこれ らの単語を一回ずつのみ記述している. 前者のよう に同一の名前や情報を繰り返す文 (REPETITIVE) は

## (REPETITIVE)

Both Hudson's and the United Auto Workers Union are declaring victory after a weekend of U-A-W pickets at Hudson's Department Stores.

## (TIGHTER)

Both sides are declaring victory after a weekend of picketing by the United Auto Workers Union at Hudson's Department Stores.

図 1 ライティングスタイルにそぐわない英文の例

冗長に感じられるため回避することが推奨され，よ り簡潔な文 (TIGHTER)が好ましい。

一方で, 日本語ニュースではこうした簡潔性が英語ニュースほどは考慮されず,一文内に同一の表現 が複数回出てくることも珍しくない. その結果, 日本語のニュース記事を機械翻訳で英訳すると英語 ニュースのライティングスタイルにそぐわない文が 生成されてしまうことがある. 図 2 に時事通信社の 日本語ニュース文, 対応する英語ニュース文, 機械翻訳による英訳の例を示す.この例では日本語文内 で「入学」という単語が 3 回出てくるが, 前述のラ イティングスタイルに則るとこれらを全て同一表現 で訳出することは避けることが望ましい. 実際, 英語 ニュース文では 1 つ目と 3 つ目の「入学」を 1 つに まとめ, 2つ目の「入学」については “enter”ではな く“join”と表現している.しかし, 機械翻訳の出力で は2つ目の「入学」については別表現を用いている ものの, 1 つ目と 3 つ目の「入学」をいずれも同一に 訳出してしまい, 尽長な文になってしまっている.

ニュースでは速報性が重要なため, 機械翻訳を制作ワークフローに導入するためには, なるべく人手 の修正が少なくなるよう, 単に翻訳文の意味が合っ ているだけでなく上記のようなライティングスタイ ルの要件を満たす文を生成することが望ましい.

## (SRC)

区によると, 同校がアルマーニの採用を決めた 後, 大学予定者 7 人が教育方針や私立小への入学などを理由に入学を辞退した。

(REF)

After the school decided to recommend Armani items as desirable clothing, seven children dropped plans to enter the school, with parents citing disagreements with its education policy, decisions to join private schools or other reasons, according to the office of Chuo Ward, where the school is located.

(NMT)

According to the ward office, after the school decided to hire Armani, seven students who plan to enroll in the school declined to enroll in the school due to their educational policy and entrance to private primary schools.

図 2 ライティングスタイルにそぐわない翻訳の例

本稿ではニュースのライティングスタイルに沿っ た文の生成の実現に向けて, まず評価用のテスト セットを構築する. 上述した「同一表現の繰り返し の抑制」を制御の対象として, 時事通信社の日英対訳記事から人手で事例を収集する。（以降, 本稿で単 に「ライティングスタイル」と記述した際には, 同一表現の繰り返しの抑制のことを言及しているも のとする. ）ニュースドメインの日英対訳コーパス で学習したベースライン機械翻訳モデルが, 上記の テストデータでどれくらいライティングスタイル に沿った出力を生成できているかを評価する. 日英 ニュース記事の分析および評価実験を通じて, 本夕 スクの重要性および課題について議論する.

## 2 日英ニュース記事の分析

本研究では, 時事通信社の 2018 年の日英ニュース 記事アーカイブを利用する.このアーカイブでは日英いずれの記事にも ID が付与されており,まずこの ID 照合して日英のニュース記事対を作る. 次に，内山・井佐原の手法 [2]を用いて各記事対内で対訳文のペアを作る. 各日本語文を mecab [3] でトークナ イズし, ストップワードを除き,一文内でトークンが 重複している文を列挙する。この中から, 日本語文 を見て，（図 2 に示したような）同一の表現が繰り 返されていて訳出時に言い換えや省略が起きうる
ものを手作業で 514 文収集した. これは「一文内で トークンが重複している文」のうちのおよそ 5,6 文 に 1 文程度に該当し, また, 記事単位でみるとおよそ 4 記事に 1 記事がこのような文を含んでおり,これは ニュース制作に機械翻訳を応用する上では無視でき ない分量である. 抽出した 514 の対訳ペアの中には 文レベルの自動対応付けがうまくいかず, 日本語側 で繰り返されている表現が英文側でどのように訳出 されているか判断できないものもあったため,この 中で対応付けの精度が比較的良く, 対象の表現が英語側でどのように訳されているか判断できるものを 人手で 100 文取り出し, 訳出の傾向を分析した

省略 訳出時に省略が起きているもので単純なも のとしては, “A and B” の形で書けるような, 文法構造上並列な名詞や動詞が挙げられる。

仮校舎と再開した校舎をテレビ会議システムで 結び, 遠隔合同授業も行う予定だ.

Joint class activities using teleconference equipment are planned between the reopened and provisional schools.

また,もう1つ分かりやすいケースとして, 数量の後 ろに単位として付く名詞が繰り返されている場合に もこれを省略する傾向にあった。

17 年 4 月現在, 福祉事務所がある 902 自治体の 56\% に当たる 504 自治体が取り組んでいるが，中学生の勉強をサポートする事業が大半となっ ている.

As of April 2017, 504 of 902 municipalities with welfare offices had implemented the program.

それ以外の事例は, 文法構造からは単純には判断で きない複雑なものが多い.

民間調査機関インテージによると, 2017 年のア ルコール度数 7 9\% の缶酎ハイ市場は 7 年前 の 2.5 倍に拡大し, 缶酎ハイ市場全体の 5 割強を 占めた

But the share of products with 7-9 pct alcohol in the Japanese canned chuhai market grew 2.5 -fold in seven years to stand at over 50 pct in 2017, according to private research firm Intage Inc.

これは日本語側で意味が重複しているため, 訳出し

てしまうと英語側が冗長になってしまうと考えられ る例で, 2 つ目の「市場全体の 5 割」が「缶酎八イ市場」であることは自明であるため省略されている。

言い換え 言い換えは積極的に用いられる傾向が あり, 特に文内の近い位置で繰り返されているもの については言い換えが起きやすい。

昨年 3 月の声明は「戦争・軍事目的の科学研究 を行わない」とする過去 2 回の声明を継承。

In the March 2017 statement, the council pledged to follow its two previous documents highlighting its determination not to conduct scientific research for military purposes.

固有名詞の繰り返しについても, 言い換えが起 きる. 以下の例では 2 つ目の「ソメイヨシノ」を "Someiyoshino"ではなく, "the cultivated variety" と言 い換えている。

クマノザクラの花は栽培品種のソメイヨシノ （染井吉野）に似た淡紅色などだが, 開花時期 がソメイヨシノより早い.

The petals of Kumanozakura are mainly a light shade of red, similar to those of "Someiyoshino," and bloom earlier than those of the cultivated variety.

また, 表層が同じであってもニュアンスの異なる場合には訳出時に違う表現になる. 例として以下に示 すような項の異なる述語が挙げられる。

さらに,いずれのケースでもブレーキが作動す る 0.8 秒前までに, 運転者に衝突回避操作を 促す警報が作動することも認定の要件となって いる.

Another planned requirement for the ministry's certification is that the equipment warns the driver at least 0.8 second before the brakes are activated, long enough for ordinary drivers to respond and apply brakes manually.

その他 日本語側で繰り返されている表現に対し て, 英語側で必ずしも言い換え, あるいは省略が行わ れているわけではなく, 全て同一に訳出するものも 存在する.これについては, 翻訳者が同一に訳しても さほど簡潔性を損なわないと判断した, その表現の 訳語にバリエーションがなく同一に訳さざるを得な
かったなどの理由が考えられる。

入居対象は市に定住する意思があり, 夫婦とも 35 歳以下か, 未就学児のみがいる夫婦. The city rents the apartments for up to five years to couples both aged 35 or less, or couples with only children of preschool age, who are willing to eventually settle in Hadano.

## 3 テストセットと評価方法

本稿では 2 節で収集した 100 組の対訳ペア（日本語入力文および参照訳）をテストセットとして用い る. テストセットの日本語文の中には 1 文内で複数種類の表現で繰り返しが起きているものもあり, 訳出の分類を合計すると省略が 45 事例, 言い換えが 39 事例, 全て同一に訳出していたものが 23 事例で合計 107 事例であった. また, テストセットの日本語文の 平均文長は 60.52 文字であった.

次節で述べる実験では, 簡単のため参照訳と機械翻訳の出力を下記の 3 タイプに人手で分類し,これ らがどれくらい一致しているかを評価する。

1. 対象の訳語が全て同一の場合は REPETITIVE

2. 対象の訳語が言い換えたり省略されている場合 は TIGHTER

3. 対象の訳語が訳抜けや誤訳などによりうまく生成できていない場合は ERROR ${ }^{1)}$

参照訳の 107 事例については, 23 事例が REPETITIVE, 84 事例が TIGHTER となる. 本稿の実験では 参照訳を正解として評価を行うが, 参照訳と機械翻訳の出力のタイプが一致していなかったからといっ て,それが必ずしも誤りであるとは限らない. ライ ティングスタイルは属人的なものであり,言い換え・省略を行うか行わないかは作業者によって異なりう るからである. 現在, 複数人の翻訳者によるテスト セットの日本語文の翻訳を進めており, 結果を収集 してそのばらつきを調査する予定である。

## 4 実験

ベースラインの実験として, 日英ニュースドメイ ンの対訳データで学習した機械翻訳モデルがどれほ どライティングスタイルに沿った出力を生成できる かを評価する。

1） 2 項目の省略と 3 項目の訳抜けを真に見分けることは難し いが,ここでは原言語文の後半の節が丸ごと訳出できていない など, 久落の範囲が大きなものを訳抜けとして判定する。
表 1 実験結果

読売新聞 (Yomiuri_Editorial) ${ }^{2}$ の 2007 年から 2017 年の日英対訳記事コーパスから類似度 0.4 以上の対訳ペアを抽出し，このうち 596,679 ゚゚アを学習デー タ, 1,583 ペアを開発データとして用いる.いずれの 言語もトークナイズに sentencepiece [4]を用い, 語彙 サイズを 8000 とした. 翻訳モデルは Transformer [5] とし, fairseq [6] で実装した. optimizer は Adam [7] を 用い, 学習率は 0.001 とした. 翻訳時のビームサーチ はビーム幅を 5 とした.

表 1 に実験結果を示す. 全体で参照訳と一致して いたのは 107 事例中 41 事例にとどまった. TIGHTER について一致したのは 28 事例で, さらにそのうち繰 り返すか省略するかについても一致していたのは 19 事例であった. ベースラインモデルは全体の半数程度が REPETITIVE な出力となっており, 言い換え や省略の制御機能を学習データからうまく獲得する 工夫が必要であることを示している. また, ERROR の数も $1 / 5$ 程度となっており, 無視できない問題で あることが分かる. ERROR の内訳はほとんどが訳抜けであった. テストデータの中には比較的長い文 が多く,これらをうまく処理できていない. 日本語 ニュースは他ドメインと比べて文長が長い傾向があ るが, 文長が長くて類似度も高い訓練事例は多くな いため, 文長にロバストな翻訳性能をいかにして獲得するかも課題である.

## 5 関連研究

機械翻訳における訳語の統一については多く研究がなされてきた一方で $[8,9,10]$, 訳語の言い換え についての研究が限られている. 同一の単語はなる べく同一に訳したほうが可読性は高まるが, あまり に同一表現を使いすぎるとかえって読み物として の質が下がってしまう恐れもあるため,一概にどち らにすべきとは言えない.こうした背景を受けて， Guillou [11] は実世界の色々なドメインの翻訳におい て,どのような単語が言い換えられやすい（あるい は統一されやすい）傾向にあるのかを統計的に調査 した. 単語の頻度や品詞, 文書のドメインによって傾向は異なるものの, 訳語を適宜言い換えることの重要性を提起している. Guillou [11] の研究は分析を主 としたものだが, 本研究はニュースドメインにおけ る訳語の言い換えを実際のタスクに落とし込むこと をねらいとしている。

翻訳のスタイルの制御についても,近年注目を集 めている. Wang ら [12] は翻訳者の翻訳スタイルを ニューラルモデルに学習させる研究を行った. 森下 ら [13] はミニバッチに一文書を丸ごと入れることで 文脈を考慮しながら学習・推論を行う手法を提案し， その効果の 1 つとして，「です・ます」調や「だ・で ある」調など, 翻訳対象のドメインのライティング スタイルに沿った出力が得られたことを報告してい る. 本研究では翻訳スタイルの 1 つとして,ニュース のライティングスタイルの一項目を対象に取り上 げこの制御を評価することを目的としている.

## 6 おわりに

本稿では日英間のニューススタイルの差分に着目 し,このギャップを埋めるための翻訳制御の実現に 向けて,テストセットを構築した. 日英のニュース記事対についてそのライティングスタイルの差分を分析し, 本タスクの重要性とベースラインモデルの課題について議論した。

今後の予定として, 本稿で実施した評価方法につ いての検討を進める. 言い換えと省略を 1 つに混ぜ て評価を行なったが, どのような場面でどちらかが 求められているかについても調査を行う. また, 現在複数名の翻訳者により, 収集した 514 の日本語文の 翻訳を進めており，その結果を受けてライティング スタイルのばらつきなどについての分析も進める予定である. どのような誤りがニュース制作者にとっ てインパクトの大きなものかについても定性的に分析したい.

さらに、実際にこうしたライティングスタイルを 文生成に組み込むための効果的な手法についても検討する. 本稿の実験では翻訳モデルの出力を評価し たが, 本タスクは翻訳モデルの前後の処理でも効果的な制御を行える可能性がある. 例えば, 日本語側を pre-edit する [14, 15], あるいは, 英語側を post-edit す るなどの手法も考えられる。

2) https://www.nichigai.co.jp/dcs/index5.html

## 謝辞

本研究成果は, 国立研究開発法人情報通信研究機構の委託研究（課題 225）により得られたものです. また,データをご提供頂きました株式会社時事通信社の朝賀英裕氏・川上貴之氏に厚く御礼申し上げ ます.

## 参考文献

[1] Robert A. Papper. BROADCAST NEWS AND WRITING STYLEBOOK. Routeledge, seventh edition, 2021.

[2] Masao Utiyama and Hitoshi Isahara. A Japanese-English patent parallel corpus. In Proceedings of Machine Translation Summit XI: Papers, Copenhagen, Denmark, September 10-14 2007.

[3] Taku Kudo, Kaoru Yamamoto, and Yuji Matsumoto. Applying conditional random fields to Japanese morphological analysis. In Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing, pp. 230-237, Barcelona, Spain, jul 2004. Association for Computational Linguistics.

[4] Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[5] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. Von Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc., 2017.

[6] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A fast, extensible toolkit for sequence modeling. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (Demonstrations), pp. 48-53, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[7] Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In Yoshua Bengio and Yann LeCun, editors, 3rd International Conference on Learning Representations, ICLR 2015, San Diego, CA, USA, May 7-9, 2015, Conference Track Proceedings, 2015.

[8] Shaohui Kuang, Deyi Xiong, Weihua Luo, and Guodong Zhou. Modeling coherence for neural machine translation with dynamic and topic caches. In Proceedings of the 27th International Conference on Computational Linguistics, pp. 596-606, Santa Fe, New Mexico, USA, August 2018. Association for Computational Linguistics.

[9] Zhaopeng Tu, Yang Liu, Shuming Shi, and Tong Zhang. Learning to remember translation history with a continu- ous cache. Transactions of the Association for Computational Linguistics, Vol. 6, pp. 407-420, 2018.

[10] Xinglin Lyu, Junhui Li, Zhengxian Gong, and Min Zhang. Encouraging lexical translation consistency for documentlevel neural machine translation. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 3265-3277, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[11] Liane Guillou. Analysing lexical consistency in translation. In Proceedings of the Workshop on Discourse in Machine Translation, pp. 10-18, Sofia, Bulgaria, August 2013. Association for Computational Linguistics.

[12] Yue Wang, Cuong Hoang, and Marcello Federico. Towards modeling the style of translators in neural machine translation. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 1193-1199, Online, June 2021. Association for Computational Linguistics.

[13] Makoto Morishita, Jun Suzuki, Tomoharu Iwata, and Masaaki Nagata. Context-aware neural machine translation with mini-batch embedding. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, pp. 2513-2521, Online, April 2021. Association for Computational Linguistics.

[14] Rei Miyata, Anthony Hartley, Cécile Paris, Midori Tatsumi, and Kyo Kageura. Japanese controlled language rules to improve machine translatability of municipal documents. In Proceedings of Machine Translation Summit XV: Papers, Miami, USA, October 30 - November 32015.

[15] Yusuke Hiraoka and Masaru Yamada. Pre-editing plus neural machine translation for subtitling: Effective preediting rules for subtitling of TED talks. In Proceedings of Machine Translation Summit XVII: Translator, Project and User Tracks, pp. 64-72, Dublin, Ireland, August 2019. European Association for Machine Translation.


# 社会的状況に基づいた日本語ビジネスメールコーパスの構築

Muxuan $\operatorname{Liu}^{1}$ 石垣達也 ${ }^{2}$ 上原由衣 ${ }^{2}$ 宮尾祐介 ${ }^{3,2}$ 高村大也 ${ }^{2}$ 小林一郎 1,2
1 お茶の水女子大学大学院 ${ }^{2}$ 産業技術総合研究所 ${ }^{3}$ 東京大学
\{liu.muxuan, koba\}@is.ocha.ac.jp yusuke@is.s.u-tokyo.ac.jp
\{ishigaki.tatsuya, yui.uehara, takamura.hiroya\}@aist.go.jp

## 概要

日本語の使用は，話者間の社会的地位の差異や親疎など多くの社会的状況に影響されるため，日本語 のテキストを処理するモデルを構築する際に，これ らの社会的状況を考慮する必要がある. 本稿では，言語を社会記号体系として捉える選択体系機能言語学における社会的状況の記述方法を用いて，機械学習モデルの訓練のための社会的状況に関する情報を 含むコーパスの構築を試みる。

## 1 はじめに

社会的状況には，聞き手の年齢・性別、話し手と 聞き手の上下関係・親疎, 談話の目的・内容, 流れ,話の進行, 談話状況の違い（電話か対面か), 話し の様子（雑談的か討論的かという話のタイプ、好意的・対立的、気楽・緊張感), 地域差などが含まれて いる [1]. 日本語における言語使用は, これらの社会的状況を強く反映しているとされる [2].

そのため，様々な自然言語処理タスクにおいて日本語テキストを処理する際，より正確なモデルを構築するためには，テキストを取り巻く社会的状況を 考慮することが必要になる. 例えば，メールを修正対象とする日本語誤り訂正タスクを考えた場合，文法的な間違いを訂正対象とするだけでなく，上司に 休㗇を申請する状況においては「明日は休みます。 ありがとう.」と書いてしまうなど，社会的状況を 踏まえていないために不適切な表現を使ってしまう 誤りも存在する [3].

機械学習モデルが個々の社会的状況を適切に捉 え，利用するためには，それら社会的状況に関する 属性情報を含むコーパスが必要である．そこで，本稿では, 送信者と受信者の社会的状況に基づいた書面でのコミュニケーションと位置づけられる電子 メール [4] というジャンルを選択し，社会集団にお ける言語使用の観点から言語分析を行う選択体系機

図 1: SFLによる言語体系（図は [5] から引用）

能言語学に基づき，より詳細な社会的状況に関する 分析情報を含む日本語コーパスの構築を試みる.

## 2 社会的状況の表現

## 2.1 選択体系機能言語学 (SFL)

選択体系機能言語学 (Systemic Functional Linguistics, SFL）は，Hallidayによって確立された機能言語学の一分野であり，とくに言語体系を社会記号体系 とみなしている，言語体系は，意味層、語彙・文法層、表現層という 3 つの異なる種類の記号体系が階層になっており，それらの記号体系はコンテクスト によって包括されている. その体系は, 社会状況下 での言語使用を表すための選択肢からなるネット ワーク（‘選択体系網’と呼ぶ, 2.2 節で詳述）で記述 されており，状況の選択が意味の選択を制約し，意味が語彙・文法の選択を制約するなど，選択の体系 が，意味，語彙・文法，表現と異なる記号体系が連携して形作られている. SFLによる言語体系の概観 を図 1 に示す。

Halliday は，対話が発生する状況のコンテクスト （Context of Situation）を「何が起きているか（フィー ルド・活動領域)」「誰が参加しているか（テナー・
役割関係)」「言語が使用される手段（モード・伝達様式)」という 3 つの枠組みで説明している [6].

本稿で取り上げた「電子メール」というジャン ルにおけるコミュニケーションを想定した場合， フィールドは「電子メールによるコミュニケーショ ン」という社会活動となり，コミュニケーションの 内容は，様々な言語使用域として捉えられる. テ ナーは電子メールをやり取りをする関与者らの社会的役割となる. モードはテキストの形態を規定する 伝達様式となるため「電子文書」となる。

## 2.2 選択体系網と選択肢

SFL の特徴の一つは，具現化される言語資源を選択肢（「特徴（feature）」と呼ばれる）の体系として 表現することである.これらの体系は「選択体系網（system network）」と呼ばれ，言語体系を包括す るコンテクスト層, 言語体系を構成する意味層, 語彙・文法層, 表現層の各層の異なる記号体系の言語資源が選択体系網で表現され，コンテクスト層から 順番に上位の層から選択された言語資源に基づき下位の資源が選択されるという選択の体系を構成し ている. 例えば，「医療現場」という状況だと，「診査」「治療」のような出来事が存在し, それに対して 「手術」「この薬を飲んでしばらく様子を見て」など 語彙や文法が選択される。このように，選択体系網 はテキストが具現される過程を表しており，テキス トの具現過程を構成する各資源（特徴）が，どのよ うな選択の関係にあるかを表す。また，「選択」に おいては，各特徴のどれか一つを選択する場合，'[' を，同時に複数の特徴を選択する場合，“'ののそれぞ れの表記を使用して選択体系網を記述する。

## 3 SFL に基づいたコーパスの構築

本研究では，上述したSFLによって捉えられる社会的状況を考慮した電子メール（とくに，ビジネス メール）のコーパスを構築する．構築の流れを以下 に示す.

1. 選択体系網の構築 SFLに基づきメールを対象と した社会的状況の選択体系網を構築する。

2. 場面の設定と収集 クラウドソーシングを用い て，1 において構築した選択体系網の選択肢を 反映する多様な場面を収集する。これにより，様々な状況を設定する。この際，選択体系網か ら選択肢を選んで場面を設定する作業は，3 おいて収集するメールに社会的状況をアノテー
ションすることに相当する.

3.メールの収集 2 で収集した場面を使い，クラウ

ドソーシングでメール本文を収集する。

4. SFL に基づくアノテーション3で収集したメー ルに対して，SFLに基づくアノテーションを 行う.

以下，それぞれについて詳細を説明する。

## 3.1 選択体系網の構築

図 2:「テナー (役割関係)」の選択体系網

テナー（役割関係） テナー（役割関係）とは，言語表現のやり取りにおける話し手と聞き手，ある いはメールの送信者と受信者の関係である. テナー には，一般的なビジネスメールに見られる対話参加者の社会的立場を想定し，図 2 に示すような選択体系網を構築した.「内」と「外」は，対話参加者の所属に関しての内外の立場関係を表す属性である。一般的に「「」は，「家族や自分の会社の人，自分が 属するグループなど」を意味し，「外」は，「親しく ない人や他人，他会社の人，他グループの人など」 と説明されている [7]. また，話者の立場を表すた め, ビジネスメールによく登場する人物と組織を,目上・同輩・目下の 3 つの属性に分けている.

発話機能 SFLでは，テナー（役割関係）が，意味層における「発話機能」に影響を与える。

発話機能について，照屋 [8] は，SFLを用いて人間関係と対人的な意味を分析し，発話機能における 対人的役割をまとめている（付録 3 参照）。

本稿はその対人的関係と発話機能を参照し, ビジ ネスメールにおいてよくある発話動機に基づき，図 3 の選択体系網を構築した。

図 3：「発話機能」の選択体系網

## 3.2 場面の設定と収集

ビジネスメールによるコミュニケーションという 社会的状況を表すために，前節で示した選択体系網 の選択肢を元に，コーパスの属性を設定する。

「ビジネスメールによるコミュニケーション」と いうフィールドの下，多用な言語使用域のコーパス を収集するために，メールでのコミュニケーション 場面もクラウドソーシングで作成依頼をかけ，場面 の収集を行なった。具体的には，図 2 で示されてい る役割関係を元に，ビジネスメールによくある送信者と受信者の関係を 20 ペア設定した（付録：表 4 参照)。また，図 3で示されている「送信者の動き」 について，ビジネスメールによくある送信者の目的 を「挨拶」「感謝」「謝罪」「断り」「問い合わせ」「依頼」「お知らせ」「催促」の 8 種類で設定している。

クラウドソーシングで 52 名の作業者を集め，1人 あたり約 20 場面を作成してもらい，合計 1040 種類 の場面を集めた. また，クラウドソーシングのデー タの質を高めるために，発注時に付録の表 5 で示さ れているような例を大量に提示した. また，今後の データ分析等で受信者の特定を容易にするため，発注の際には受信者の称呼を「Aさん・A 様・A 社長 など」と表記することを求めた。

## 3.3 メールの収集

前ステップで得られた場面の中から，有効な 770 の場面を選び，クラウドソーシングで各場面毎に 5 通のメールを取得した. データの質を担保するため に，発注時に，付録の表 6 で示されているような例 を提示し，「上司には敬語を使う」、「友人にはため 口でも大丈夫」など、常識的な範囲で、対人関係や 社会的上下関係を考慮して作成することを求めた。 また，形態素解析などで利用しやすいように，件名 と宛名の記入, また, 「XX 大学 $\mathrm{XX}$ 学部の $\mathrm{XX}$ さん は私の友達です」のように，場所や自分の名前など の固有名詞を「XX」で記入することを求めた.

## 3.4 SFL に基づくアノテーション

表 1 に，コーパスの全体像の例を示す. 機械学習 での活用を容易にするため，3.1 節で列挙した選択体系網の選択肢の名称をコーパスのアノテーション 名としてそのまま踏襲するのでなく，一定の構造を 簡略化している.

表 1 に例示したメール本文にあるように，これは 従業員から顧客へのお知らせのメールである. 図 2 で示されている対話参加者の選択体系網の「目上」「同輩」「目下」という上下関係を，「目下（送信者）] と「目上 (受信者)」というアノテーションで表現し ている。また，送信者と受信者のそれぞれの具体的 な身分および話者間の所属に関する内と外の関係も 「内外関係」で表現する。

発話機能を表すアノテーションに関しては，図 3 で示されている選択体系体系網を元に設定してい る。今回，送信者目線でメール本文を収集したた め，アノテーションを設定する際に「受信者の動き」 を除外した。「送信者の動き」は「陳述・質問・提供・命令」の 4 項目があり，それぞれの詳細を「送信者の動き (詳細)」というアノテーションで表現 する。「やりとりにおける役割」に関して，送信者 がやりとりしたいものやことを「与える」か「求め る」かで選択され，対話参加者によってやりとりさ れるのは，「情報」か「モノとサービス」のいずれか である [8]. 例示のメール本文の場合，従業員が情報を顧客に与えている。「モノとサービス」のやり とりの場合，例えば，「本を返して」という要求で開始されるやりとりは，本を送信者に返せば目的を達成されるため，言語の果たす役割において「情報」 のやりとりと「モノとサービス」とでは異なってい る [8].

## 4 コーパスの分析

コーパスの場面数やメール数などの統計量を表 2 に示す. 延べ語数および異なり語数の計算につい $\tau$ ，国立国語研究所の形態素解析ツール「Web 茶ま
表 1:コーパスの概要 : 従業員が顧客に対してお知らせする場面の例

 &  &  &  &  &  &  &  &  &  & \\

表 2: コーパスの特徴を示す統計量

 & メール数 & 平均文長 & 延べ語数 & 異なり語数 \\

依頼 & 100 & 0.13 & 500 & 17.60 & 35961 & 1561 \\
謝罪 & 100 & 0.13 & 500 & 17.14 & 42326 & 1576 \\
催促 & 100 & 0.13 & 500 & 20.57 & 42758 & 1130 \\
感謝 & 100 & 0.13 & 500 & 15.82 & 37232 & 1499 \\
挨拶 & 100 & 0.13 & 500 & 15.62 & 38370 & 1641 \\
お知らせ & 100 & 0.13 & 500 & 18.31 & 44822 & 1903 \\
問い合わせ & 100 & 0.13 & 500 & 19.07 & 40734 & 1614 \\

め」1)を用いて，メール本文のテキストを解析し，記号を含めて計算を行った。また，送信者の動きにあ る「断り」について，「依頼主体」と「断り主体」の 人間関係の調査 [9]によると，一般的に「断る」と いう行為は個人の送信者と個人の受信者の間で起こ るものだと考えられる. 1 人の送信者が複数人の受信者全体を断ること（例えば、ある学生がサークル のメンバー全員を断ること）は稀であるため，コー パス構築の際には，そのような一対多の対人関係の ペアを除外した．そのため，他の項目と比べ，「断 り」の場面は 70 個しかない.

## 5 おわりに

本研究は，選択体系機能言語学に基づき，ビジネ スメールに具現される社会的役割関係の情報をア ノテーションした日本語コーパスを作成した. ア ノテーションとして用いられたタグの集合として，
SFLにおける状況のコンテクストの要素および言語体系の一部（発話機能）の選択体系網における選択肢を採用した. 今回は，とくに社会的役割，とりわ け社会的上下関係の立場が明確なビジネスメール を対象にコーパスを作成した。作成されたコーパス は，アノテーションのタグとして用いられるSFL の 選択体系網の選択肢をすべて使っているわけではな く，社会的役割関係を重視したものとなっている.

今後の課題として, 作成したコーパスの機械学習課題における利用と性能評価を行うとともに，SFL での状況のコンテクストからテキストが具現される 過程を捉えたアノテーション手法の確立を目指す。

1) https://chamame.ninjal.ac.jp

## 謝辞

この成果は, 国立研究開発法人新エネルギー・産業技術総合開発機構 (NEDO) の助成事業 (JPNP20006) およびアバナード研究奨励金による支援の結果得ら れたものである.

## 参考文献

[1] 李舜昫. 談話分析からみた日本語学習者と母語話者の 聞き手言語行動の実証的研究. 首都大学東京大学院人文科学研究科・人間科学専攻日本語教育学教室 - 博士学位論文, 2016.

[2]松村瑞子・因京子. 日本語談話におけるスタイル交替 の実態とその効果. 『言語科学』, No. 33, pp. 109-118, 1998.

[3] 藤原安佐・阿部仁美 $\cdot$ 大井裕子・椿原博子・吉田則子.日本語教育における配慮に関わる表現の指導. 『北海道大学大学院教育学研究院紀要』, No. 108, pp. 85-98, 2009.

[4] 文化審議会国語分科会. 分かり合うための言語コミュ ニケーション (報告). 国語分科会（第 67 回）, 2018.

[5] 小林一郎. 意味へのアプローチ: ハリデー言語学の観点から, 2017.

[6] M.A.K. Halliday. Language as Social Semiotic: The Social Interpretation of Language and Meaning. Open University set book. Edward Arnold, 1978.

[7] 平林周祐, 浜由美子. 外国人のための日本語例文・問題シリーズ 10 敬語. 荒竹出版, 1988 .

[8] 照屋一博 (編）,クリスチャン・マティスン,ジョン・ ベイトマン, ハイジ・バーンズ, M.A.K. ハリデー, 奥泉香, 水澤祐美子. 意味がよくわかるようになるため の言語学一体系機能言語学への招待. くろしお出版, 2022.

[9] 蔡胤柱. 日本語母語話者のEメールにおける「断 り」ー—「待遇コミュニケーション」の観点から.『早稲田大学日本語教育研究』, No. 7, pp. 95-108, 2005.

## A 付録

表 3: 発話機能と応答（[8] より引用し一部改変）

表 4: 送信者と受信者の関係に関する設定

表 5: 場面の設定例

【従業員が『自社のある部門全員』にメールで催促する 必要がある場面】の解答例

「あなたは経理部に所属しています。あなたは最近、旅費の払い戻し期限が 12 月 10 日 17:00であることを、全社員に電子メールで送りました。しかし、期限を過ぎて も、まだ提出していない社員がいます。全員に対してで きるだけ早く提出するよう促すメールを書いてくださ い。」表 6: メール収集の回答例

 \\