# ニューラル機械翻訳における単語分割器のドメイン適応

榎本大晟 平澤寅庄 金輝燦 岡照晃 小町守
東京都立大学
\{enomoto-taisei, hirasawa-tosho, kim-hwichan\}@ed.tmu.ac.jp,
\{teruaki-oka, komachi\}@tmu.ac.jp

## 概要

fine-tuning（微調整）でin-domain にドメイン適応 をする際，一般的にモデルのみが対象であり，単語分割は general-domain で使用した単語分割器をその まま使用する. 既存研究では, タスクやモデルに適 した単語分割を行うことにより，モデルの性能が向上することが示されており，ドメインにおいても同様に general-domain $の$ 単語分割器が，in-domain にお いて最適とは限らないと考えられる。そこで本研究 では，機械翻訳タスクを対象とし，モデルと単語分割器の学習を同時に行う単語分割同時最適化を用い て, 単語分割器のドメイン適応を行うことで，翻訳精度の改善を試みる. 実験により，単語分割器のド メイン適応が in-domain データの翻訳性能の向上に 寄与することを示す.

## 1 はじめに

単語分割は自然言語処理タスクの精度に影響を与 える重要な処理である. これまでの研究から，モデ ルの性能が向上するような適切な単語分割はタスク やモデルの構造などによって異なることがわかって いる $[1,2,3,4,5]$. 近年では, タスクやモデルに応じ て単語分割を自動で最適化する手法が研究されてお り，その内の 1 つに平岡ら [6] による単語分割同時最適化手法がある. これは，タスクに用いるモデル と単語分割器を同時に End-to-End で学習する手法で ある. 平岡らは，機械翻訳タスクでの単語分割同時最適化の評価実験では in-domain データのみでモデ ルと単語分割器の学習を行い, 翻訳性能の向上を確認している ${ }^{1)}$.

一方，ドメインに特化した機械翻訳システムは高 い需要があるが，一般的に機械翻訳モデルの学習に

1）平岡らの機械翻訳タスクでの実験では，単語単位に分割し た後に単語分割同時最適化をおこなっているため，サブワー ド単位への分割を学習しているといえる. 本研究でも同様に サブワード単位への分割を学習する。 は大規模なコーパスが必要であるため，in-domain データのみを用いてモデルを作成することは困難である。この問題を解決するため，ドメイン適応では，大規模な general-domain データで事前学習 したモデルを，目的の in-domain データで微調整す る（図 1a)。ドメイン適応により，in-domain デー タが限定的であっても，高い翻訳性能のモデルを 学習できる.しかしながら一般的なドメイン適応 はタスクのモデルのみを微調整し，単語分割器は general-domain データのものを in-domain データに対 してそのまま使用する，前述の通り単語分割はモデ ルの性能に大きく関与するため, general-domain の 単語分割器が in-domain において最適とは限らない. そこで本稿では，平岡らの単語分割同時最適化を 用いて, 翻訳モデルと単語分割器の両方のドメイン 適応を行い，in-domain データにおける翻訳精度の 改善に取り組む（図 1b），提案手法はまず事前学習 の際に単語分割同時最適化を適用することで，事前学習に用いる general-domain データに適した単語分割器と翻訳モデルを獲得する。 その後, 翻訳モデル のみでなく単語分割器も in-domain データに適した ものにするために，微調整の際にも単語分割同時最適化を適用する。英日と英独の機械翻訳タスクにお ける実験を通して，単語分割器のドメイン適応が， in-domain の翻訳性能向上につながることを示す.

## 2 関連研究

## 2.1 サブワード分割

機械翻訳では，未知語の問題を解決するために，単語より小さい単位であるサブワードを扱うことが 一般的である。サブワード化を行う代表的な手法に ユニグラム言語モデル（ULM）に基づく分割 [7] が ある. ULM の語彙内のサブワード $w$ のユニグラム 確率 $p(w)$ は，EMアルゴリズムを用いて，与えられ た学習データをもとに求める. 文 $s$ を単語分割する

(a) 翻訳モデルのみ微調整を行う従来のドメイン適応.

(b) 翻訳モデルと単語分割器の同時ドメイン適応.

図 1: 機械翻訳タスクにおける翻訳モデルと単語分割器のドメイン適応.

際には，尤度（ユニグラム確率の積）が最大となる ようなサブワードの系列 $s^{\prime}=w_{1}, \ldots, w_{I}$ に変換する.平岡ら [6] はタスクの学習に用いるモデルに単語分割器を組み合わせ，End-to-End で同時に学習する 単語分割同時最適化手法を提案した. 単語分割器に は，ニューラルネットワークで構成された ULM で あるニューラルユニグラム言語モデル（NULM）を 用いている. 平岡らは，単語分割同時最適化により モデルの性能の向上を報告した. しかしながら，学習には in-domain データのみを使用しており，単語分割の学習にドメイン適応が有効であるかは明らか になっていない.

## 2.2 ドメイン適応

ニューラル機械翻訳におけるドメイン適応手法 は数多く提案されている. Freitag ら [8] は大規模 な対訳データで学習したモデルに対して小規模な in-domain データを用いて追加の学習を行う微調整 により, in-domain データでの翻訳性能の向上を報告した. Chu ら [9] は微調整時に general-domain デー タと目的の in-domain データを組み合わせたデータ を使用する混合微調整を提案した. いずれの研究で もドメイン適応によりモデルのパラメータのみを更新しており, 単語分割器のようなモデル以外の構成要素に対してドメイン適応は行っていない. 単語分割はモデルの性能に影響するため, 単語分割器のド メイン適応は in-domain データにおける性能の改善 につながると考える。

## 3 単語分割器のドメイン適応

本研究で単語分割器として用いる NULM と, 単語分割同時最適化手法を用いた単語分割器のドメイン 適応の手順を概説する. NULM の語彙 $V$ は，ULM やBPE [10] などを用いて初期化を行う. NULM で
は，語彙 $V$ 内のサブワード $w$ にいて，単語分散表現 $\boldsymbol{v}_{w}$ と多層パーセプトロン MLP(.)をもとにして ユニグラム確率 $p(w)$ を次のように計算する.

$
\begin{aligned}
d_{w} & =\operatorname{MLP}\left(\boldsymbol{v}_{w}\right) \\
p(w) & =\frac{\exp \left(d_{w}\right)}{\sum_{\hat{w} \in V} \exp \left(d_{\hat{w}}\right)}
\end{aligned}
$

NULM は後段タスクの損失に基づいてパラメータの 更新を行う.

本研究で行う単語分割器のドメイン適応とは, NULM のドメイン適応を指す. 本研究で提案する，単語分割同時最適化手法を用いた単語分割器のドメ イン適応の手順は以下の通りである。

1. general-domain データを用いてULMを学習 する.

2. general-domain データを用いて翻訳モデルと単語分割器を学習する. 単語分割器の語彙の初期化には 1 のULMを用いる。

3. in-domain データを用いて，2で得られた翻訳モ デルと単語分割器を微調整する。

図 $1 \mathrm{~b}$ は翻訳モデルと単語分割器の同時ドメイン適応の手順を図示したものである.

## 4 実験

## 4.1 実験設定

データセット 事前学習に用いる general-domain データには，英日翻訳では JParaCrawl v3.0 [11, 12],英独翻訳では ParaCrawl v9 [13] を使用した. これら はウェブをクローリングすることで作成された大規模な対訳コーパスである. それぞれ学習データと して，全対訳データから 800 万文対を抽出した. indomain データには, 英日翻訳では IWSLT2017 [14] と ASPEC [15], 英独翻訳では IWSLT2017 と EMEA [16]

を使用した. IWSLT は TED talks，ASPEC は科学技術論文, EMEA は医療機関の PDFドキュメントか ら作成された対訳コーパスである。コーパスのドメ インの違いによる単語分割器の性質や翻訳性能の 変化を確認するために，ASPEC の学習データ数は IWSLT（英日）の学習データ数と等しくなるように ダウンサンプリングを行った. 同様に, EMEA の学習データにもダウンサンプリングを行った. 先行研究 [6] に倣い，コーパスは日本語には MeCab [17] (IPA 辞書)，英語とドイツ語には Moses トークナイ ザ [18]を適用した後に，SentencePiece [19]を用いて ULM の学習を行う. 語彙サイズは 32,000 とした.

学習設定 機械翻訳モデルとして Transformer [20] （base）を使用した. 単語分割器のドメイン適応の 有効性を検証するために, 単語分割器の学習を行 わない設定と general-domain データのみで行う設定 と in-domain データのみで行う設定をべースライン として比較する. 事前学習では 20 エポックの学習 を行い，開発データセットにおいて損失值がもっと も低いモデルを使用した. 微調整では 20 エポック，事前学習なしのモデルでは 100 エポックの学習を行 い，開発データセットにおいて翻訳性能がもっとも 高いモデルを評価に使用した. 単語分割器の学習は ソース側言語とターゲット側言語で同時に行った.全ての設定でサブワード正則化 $[7,21]$ を用いて学習 を行った。評価には BLEU [22]を用いた. 報告する 全ての BLEU は 3 つのシードでの平均値である.

## 4.2 実験結果と考察

表 1 に各 in-domain データセットにおける BLEU スコアを示す. 実験結果より，すべてのデータセッ トにおいて，general-domain データでの事前学習か ら単語分割同時最適化を行い翻訳モデルのみでなく 単語分割器もドメイン適応を行うことで最高性能と なることが確認され，単語分割器のドメイン適応の 有効性が示された.

英独の IWSLT 以外のデータセットにおいて， in-domain データのみで単語分割同時最適化を行 う設定は，単語分割同時最適化を行わない設定の 翻訳性能を下回ることが確認された.このことか ら, in-domain データが小規模であるため, in-domain データのみでは単語分割器の学習が十分にできな い場合があると考えられる。これに対し，大規模な general-domain データでの事前学習から単語分割同時最適化を行うことは, 単語分割器の過学習や学習表 1: 各 in-domain データセットにおける各手法の BLEU スコア. 事前学習における “」”は翻訳モデルのドメ イン適応を行うことを意味する。単語分割最適化に おける“誩該当のデータで単語分割器の学習を 行うことを意味する。“-”は該当のデータでモデル 自体の学習を行わないことを意味する. General は general-domain データ, In は in-domain データを示す.

不足を回避することができると考えられる。そのた め, 単語分割器のドメイン適応を行った設定では, モデルや in-domain データに合った単語分割器を獲得でき，全てのデータセットにおいて安定して性能 が向上したと考えられる.

## 5 分析

## 5.1 単語分割器により翻訳が改善された例

単語分割器のドメイン適応を行うことで，単語分割がどのように変化し，結果として翻訳性能が向上 したかを分析する. 表 2 にモデルの事前学習を行う 設定における，単語分割同時最適化を行わない設定 （ULMによる単語分割）と，in-domain データのみで 行う設定と, general-domain データから行い単語分割器ごとドメイン適応を行う設定のそれぞれの単語分割と翻訳結果の例を示す。“.”は空白記号であ る. 以降では，それぞれの単語分割手法を，SP，In， Ours と記述する。“電子写真プロセス”と訳される “The electrophotographic process" という単語に着目す ると，SP とInでは “-The / _electro / pho / t / ographic / _process” と分割しているのに対し，Oursでは “-The / _electro / photo / graph / ic / _process” と分割している ことが確認される。 その結果，モデルによる該当箇所の翻訳は，SPでは未翻訳であり，Inでは “電気泳動法”という誤った訳が出力されているのに対し, Ours では “電子写真プロセス” と正しい翻訳が出力 されていることが確認される。このことから，単語分割器のドメイン適応を行うことにより, 希少単語 を妥当なサブワードに分割することが可能になり， その結果として翻訳性能が向上すると考えられる。
表 2: 単語分割器の学習を行わない設定 (SP), in-domain データのみで行う設定 (In), general-domain データから行い単語分割器のドメイン適応を行う設定（Ours）の単語分割と翻訳の結果.“...”は省略を意味する.

(a) 各手法で学習した単語分割器による単語分割.

(b) 各手法で学習した翻訳モデルによる翻訳結果. 各モデルの入力 は (a) の単語分割となる.

表 3: 英日翻訳において微調整によりユニグラム確率の増加率が大きいサブワード.

## 5.2 ドメイン適応後の単語分割器の変化

general-domain データにおいて事前学習を行った 単語分割器を in-domain データで微調整することに より，単語分割器がどのように変化するのかについ て分析を行う.

ユニグラム確率の増加率が大きいサブワード 表 3 に英日の in-domain データでの微調整後に，ユ ニグラム確率が大きく増加したサブワードを示 す2). IWSLT (英日) の日本語側では “TED” 3）のユ ニグラム確率の増加率が大きいことが確認された。 IWSLT は TED talks の字幕から作成されたコーパス であり，学習データ内では “TED”を含む文字列が約 900 回と頻出している. 同様に ASPEC の学習デー タ内には，“magnetic”のような “ic”を接尾辞とする 形容詞の単語が頻出しており, その結果, 英語側で は “ic”のユニグラム確率の増加率が増大した. これ らのことから, 単語分割器を in-domain データで微調整することにより，in-domain データにおいて重要な役割を持つサブワードのユニグラム確率を増大 させていることがわかった.

単語分割が変わった文の割合 表 4 に in-domain データの学習データにおいて，事前学習後の単語分割器と微調整後の単語分割器で単語分割が異なる 文の割合を示す. 英日では異なる単語分割となる文

2）英独については付録 $\mathrm{A}$ に掲載する.

3）ここで“-TED”ではなく“TED”である理由は，“-TED” が語彙に登録されていないためである.これは，語彙が JParaCrawl をもとに作成されており，JParaCrawl では “TED” が冒頭となる単語が少なく，“TED”が語中や末尾となる単語 が多いためである.表 4: in-domain データにおいて微調整により単語分割が変 わった文の割合 $(\%)$.

数は，IWSLT と比較して ASPEC の方が多いことが 確認された。これは IWSLT と比較して ASPEC の方 が JParaCrawl から離れたドメインデータである（付録 B）ため，微調整によって単語分割器がより変化 したのだと考えられる。同様に，英独では EMEA は IWSLT よりも異なる単語分割となる文数が多いこと が確認された. この結果は, in-domain データとし て使用するコーパスのドメインが特徴的であるほど (general-domain から遠いほど)，微調整により単語分割器が大きく変化することを示している.

また，微調整により単語分割が変わった文の割合 がもっとも高い EMEAであっても $6.68 \%$ と低い割合 であり，単語分割器を極端に大きく変化させていな いことがわかる.このことから, in-domain データ で単語分割器を微調整する際，最小限の調整で翻訳性能を向上させていると考えられる。

## 6 おわりに

本研究では，ドメイン適応を用いる機械翻訳への 単語分割同時最適化の拡張を提案した. 提案手法で は単語分割器を大規模な general-domain データで事前学習した後に，小規模な in-domain データで微調整する．実験結果より，提案手法が in-domain デー タの翻訳性能向上に寄与することが確認され，より 妥当な単語分割を行うことが可能であることが示唆 された。

今後は BERT の事前学習である MLM を行う際に 単語分割同時最適化を行い, 得られる単語分割器と 事前学習済み BERT をさまざまなタスクで微調整し た場合に，タスクの性能が向上するかを検証する。

## 参考文献

[1] Jia Xu, Jianfeng Gao, Kristina Toutanova, and Hermann Ney. Bayesian semi-supervised Chinese word segmentation for statistical machine translation. In Proceedings of the 22nd International Conference on Computational Linguistics (Coling 2008), pp. 1017-1024, Manchester, UK, August 2008. Coling 2008 Organizing Committee.

[2] Pi-Chuan Chang, Michel Galley, and Christopher D Manning. Optimizing chinese word segmentation for machine translation performance. In Proceedings of the third workshop on statistical machine translation, pp. 224-232, 2008.

[3] ThuyLinh Nguyen, Stephan Vogel, and Noah A. Smith. Nonparametric word segmentation for machine translation. In Proceedings of the 23rd International Conference on Computational Linguistics (Coling 2010), pp. 815-823, Beijing, China, August 2010. Coling 2010 Organizing Committee.

[4] Miguel Domingo, Mercedes Garcıa-Martınez, Alexandre Helle, Francisco Casacuberta, and Manuel Herranz. How much does tokenization affect neural machine translation?, 2018. arXiv:1812.08621.

[5] Tatsuya Hiraoka, Sho Takase, Kei Uchiumi, Atsushi Keyaki, and Naoaki Okazaki. Optimizing word segmentation for downstream task. In Findings of the Association for Computational Linguistics: EMNLP 2020, pp. 1341-1351, Online, November 2020. Association for Computational Linguistics.

[6] Tatsuya Hiraoka, Sho Takase, Kei Uchiumi, Atsushi Keyaki, and Naoaki Okazaki. Joint optimization of tokenization and downstream model. In Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021, pp. 244-255, Online, August 2021. Association for Computational Linguistics.

[7] Taku Kudo. Subword regularization: Improving neural network translation models with multiple subword candidates. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 66-75, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[8] Markus Freitag and Yaser Al-Onaizan. Fast domain adaptation for neural machine translation, 2016. arXiv:1612.06897.

[9] Chenhui Chu, Raj Dabre, and Sadao Kurohashi. An empirical comparison of domain adaptation methods for neural machine translation. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 385-391, Vancouver, Canada, July 2017. Association for Computational Linguistics.

[10] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 17151725, Berlin, Germany, August 2016. Association for Computational Linguistics.

[11] Makoto Morishita, Jun Suzuki, and Masaaki Nagata. JParaCrawl: A large scale web-based English-Japanese parallel corpus. In Proceedings of the Twelfth Language Resources and Evaluation Conference, pp. 3603-3609, Marseille, France, May 2020. European Language Resources Association.

[12] Makoto Morishita, Katsuki Chousa, Jun Suzuki, and Masaaki Nagata. JParaCrawl v3.0: A large-scale English-Japanese parallel corpus. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 6704-6710, Marseille, France, June 2022. European Language Resources Association.

[13] Miquel Esplà, Mikel Forcada, Gema Ramírez-Sánchez, and Hieu Hoang. ParaCrawl: Web-scale parallel corpora for the languages of the EU. In Proceedings of Machine Translation Summit XVII: Translator, Project and User Tracks, pp. 118-119, Dublin, Ireland, August 2019. European Association for Machine Translation.
[14] Mauro Cettolo, Marcello Federico, Luisa Bentivogli, Jan Niehues, Sebastian Stüker, Katsuitho Sudoh, Koichiro Yoshino, and Christian Federmann. Overview of the IWSLT 2017 evaluation campaign. In Proceedings of the 14th International Workshop on Spoken Language Translation, pp. 2-14, 2017

[15] Toshiaki Nakazawa, Manabu Yaguchi, Kiyotaka Uchimoto, Masao Utiyama, Eiichiro Sumita, Sadao Kurohashi, and Hitoshi Isahara. ASPEC: Asian scientific paper excerpt corpus. In Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC'16), pp. 2204-2208, Portorož, Slovenia, May 2016. European Language Resources Association (ELRA).

[16] Jörg Tiedemann. Parallel data, tools and interfaces in OPUS. In Nicoletta Calzolari (Conference Chair), Khalid Choukri, Thierry Declerck, Mehmet Ugur Dogan, Bente Maegaard, Joseph Mariani, Jan Odijk, and Stelios Piperidis, editors, Proceedings of the Eight International Conference on Language Resources and Evaluation (LREC'12), Istanbul, Turkey, may 2012. European Language Resources Association (ELRA).

[17] Taku Kudo. MeCab: Yet another part-of-speech and morphological analyzer, 2006. http://taku910. github.io/mecab/.

[18] Philipp Koehn, Hieu Hoang, Alexandra Birch, Chris CallisonBurch, Marcello Federico, Nicola Bertoldi, Brooke Cowan, Wade Shen, Christine Moran, Richard Zens, Chris Dyer, Ondřej Bojar, Alexandra Constantin, and Evan Herbst. Moses: Open source toolkit for statistical machine translation. In Proceedings of the 45th Annual Meeting of the Association for Computational Linguistics Companion Volume Proceedings of the Demo and Poster Sessions, pp. 177-180, Prague, Czech Republic, June 2007. Association for Computational Linguistics.

[19] Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[20] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, L ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. Von Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc., 2017.

[21] Ivan Provilkov, Dmitrii Emelianenko, and Elena Voita. BPEdropout: Simple and effective subword regularization. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 1882-1892, Online, July 2020. Association for Computational Linguistics.

[22] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics

[23] Roee Aharoni and Yoav Goldberg. Unsupervised domain clusters in pretrained language models. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7747-7763, Online, July 2020. Association for Computational Linguistics.

## 付録

## A 英独においてユニグラム確率の 増加率が大きいサブワード

表 5 に英独の in-domain データでの微調整後に， ユニグラム確率が大きく増加したサブワードを示 す. EMEA のドイツ語側では “kin” のユニグラム確率の増加率が大きいことが確認された. EMEA の 学習データ内では “pharmakokinetik” という医学分野特有の単語が約 1,500 回と頻出しており, この単語 は “pharmako / kin / etik” と分割されることが意味的 に妥当であると考えられる. また, “Interleukin” や “Hodgkin”のように“kin”で終わる医学系の単語も頻出している. これらのことから, EMEA のドイツ語側では “kin”が重要な役割を持つサブワードである と考えられる. 英語側では “ $\mathrm{g}$ ” のユニグラム確率の 増加率が大きいことが確認された. EMEA は医療ド メインであり, 薬品などの質量について記述した 文が多くある．そのため，質量の単位である “g”, “mg", “ng”などがコーパス内では頻出している.

これらのことから英日と同様に，英独において も in-domain データにおいて重要な役割を持つサブ ワードのユニグラム確率を増大させていることがわ かった.

表 5: 英独翻訳において微調整によりユニグラム確率の増加率が大きいサブワード.

## B コーパスのドメインの離れ具合

使用したコーパスのドメインの離れ具合につい て報告する. Aharoni ら [23] に倣い, 各コーパスの ソース側の文に対して，事前学習済み BERT の隠れ 層のベクトルを取得し, PCAを用いて 2 次元可視化 を行う. 図 2, 3 に各言語対に使用したコーパスの 2 次元可視化の結果を示す. 図 2 から IWSLT のデー タの多くが JParaCrawl のデータに重なっているのに 対し，ASPEC のデータの多くは JParaCrawl のデー タに重なっていないことが確認された。このこと から, IWSLT と比較して ASPEC の方が JParaCrawl から離れたドメインデータであると考えられる。同様に図 3 から, IWSLT と比較して EMEA の方が
ParaCrawl から離れたドメインデータであると考え られる。

図 2: PCAを用いた英日データセットの BERT 隠れ層の 2 次元可視化.

図 3: PCA を用いた英独データセットの BERT 隠れ層の 2 次元可視化.
 榎本大晟 平澤寅庄 金輝燦 岡照晃 小町守 東京都立大学 \{enomoto-taisei, hirasawa-tosho, kim-hwichan\}@ed.tmu.ac.jp, \{teruaki-oka, komachi\}@tmu.ac.jp  