# ガウス確率場による単語の意味変化と語義数の同時推定

井上誠一 ${ }^{1}$ 小町 守 ${ }^{1}$ 小木曽智信 ${ }^{2}$ 高村大也 ${ }^{3}$ 持橋 大地 4
1 東京都立大学 2 国立国語研究所 3 産業技術総合研究所 4 統計数理研究所
inoue-seiichi@ed.tmu.ac.jp komachi@tmu.ac.jp togiso@ninjal.ac.jp
takamura.hiroya@aist.go.jp daichi@ism.ac.jp

## 概要

本研究では，単語の通時的な意味変化のモデル化 において，ディリクレ過程をガウス確率場の上に考 えることで，単語によって異なる語義数を自動的 に推定できる階層ベイズモデルを提案する1). 疑似 データを用いた実験において，意味変化と語義数を 正しく推定できることを示した．また，実データを 用いた実験においては，複数の解析対象の単語に対 して推定結果を示し，分析した。

## 1 はじめに

言語は動的なシステムであり，常に進化し，話者 とその環境の需要に適応している [1]. 特に単語は さまざまな意味を持ち，その分布や広がりはジャン ルや文脈によって異なっている. 例えば，“cute”と いう単語は 18 世紀初頭に登場し，もともと“賢い” という意味で使われていたが，19 世紀後半に“狡猾 な”という意味で使われ，現代においては，“魅力的 な” という意味で使用されている [2]. このような通時的な単語の意味変化を捉えることができれば，辞書学での単語の意味変化に関する記述への利用や,単語の意味表現がより正確になることにより，意味情報が重要なタスクへの活用が可能になる.近年では，単語の分散表現を用いて意味変化を検出する手法が数多く提案されているが $[3,4,5]$, こ れらは意味変化の検出はできるが，意味の趨勢や変化の様子を捉えることはできない. それに対し，解釈性の高い確率的生成モデルを用いて意味変化を捉 える試みもある. Emms ら [6] は，単語の新たな意味の出現を捉えるための動的な生成モデルを提案し ており，Frermann ら [7] は，意味の出現だけではな く変化のパターンも捉えることができるモデルを提案した. しかし，実際に単語の意味変化を調査した


い場合は解析対象の単語の語義数が自明であること は多くないにも関わらず，これらのモデルは語義数 を事前に設定しなければならないという大きな問題 がある.

そこで，我々はディリクレ過程をガウス確率場の 上に考え Frermann らのモデルを拡張することで，語義数をデータから自動で推定し, 単語の意味変化を 捉えることのできる階層ベイズモデルを提案する. (1) 疑似データを用いた検証を行った結果，提案モ デルが解析対象の単語の意味変化と語義数を正しく 推定できることを定量的，定性的に示した. また， (2) 実データを用いた実験では，複数の単語に対し 定性的な分析を行い，妥当性を示した。

## 2 関連研究

## 2.1 A Bayesian model of diachronic meaning change [7]

Frermann らは，単語の通時的な意味の発展を捉 える，動的なベイズモデル（dynamic Bayesian model of Sense ChANge; 以下，SCAN と表記）を提案した. SCAN では，対象単語 $w$ 一つに対して一つのモデル が構築され, 入力は, 対象単語 $w$ が含まれる文章の 文脈単語集合 $\boldsymbol{c}$ で構成されるスニペットとその文章 が出現した年のラベルとなっている.

SCAN において, 時点 $t \in\{1 \ldots T\}$ のスニペット 集合は時点ごとのユニグラム混合:
- 意味上の $K$ 次元多項分布 $\phi_{t}$ (意味分布)
- 各意味 $k$ の語彙上の $V$ 次元多項分布 $\psi_{t, k}$ (意味-単語分布)

でモデル化される．また，それぞれの事前分布には ガウス分布が仮定され，次のように変換することで $\phi$ を得る：

・多次元ガウス分布から $K$ 次元ベクトル $\boldsymbol{\alpha}$ を生成

・ロジスティック変換 $\phi_{k}=\exp \left(\alpha_{k}\right) / \sum_{k=1}^{K} \exp \left(\alpha_{k}\right)$ によって $K-1$ 次元単体に射影.
$\psi$ についても同様である. そして，意味分布と意味-単語分布のパラメータ $\phi, \psi$ が，時間変化と共に 変化をするように，事前分布に 1 階の内生的ガウス 確率場 (iGMRF) [8] を定義する。iGMRF は，“近傍 と似た値をとる” 事前分布であり ${ }^{2}$ ，実数ベクトル $\mathbf{x}=\left(x_{1}, x_{2}, \cdots, x_{T}\right)$ について，ガウス分布 $\mathcal{N}\left(\mu, \sigma^{2}\right)$ を用いて，次のように定義される：

$
x_{t} \mid \boldsymbol{x}_{-t}, \kappa \sim \mathcal{N}\left(\frac{1}{2}\left(x_{t-1}+x_{t+1}\right), \frac{1}{2 \kappa}\right) .
$

ただし， $\boldsymbol{x}_{-t}$ は $\boldsymbol{x}$ から $x_{t}$ を除いたものであり，кは 精度パラメータである．また，意味分布と意味-単語分布の事前分布であるガウス分布は，それぞれ変化の度合いをコントロールするパラメータとして $\kappa_{\phi}, \kappa_{\psi}$ を持つ. 特に, 対象単語 $w$ によって意味の 変化の “速度” は異なるため，意味分布の事前分布 の精度パラメータ $\kappa_{\phi}$ はデータから推定する.

これらを踏まえると，SCAN の生成モデルは次の ようになる. $\operatorname{Ga}(a, b)$ はガンマ分布, $\operatorname{Mult}(\theta)$ は多項分布を表す.

1. Draw $\kappa_{\phi} \sim \mathrm{Ga}(a, b)$

2. For time interval $t=1 \ldots T$

(a) Draw sense distribution
i. $\alpha_{t} \mid \alpha_{-t}, \kappa_{\phi} \sim \mathcal{N}\left(\frac{1}{2}\left(\alpha_{t-1}+\alpha_{t+1}\right), \kappa_{\phi}^{-1}\right)$

ii. $\phi_{t}=\operatorname{Softmax}\left(\alpha_{t}\right)$

(b) For sense $k=1 \ldots K$

i. Draw sense-word distribution
A. $\beta_{t, k} \mid \beta_{-t}, \kappa_{\psi} \sim \mathcal{N}\left(\frac{1}{2}\left(\beta_{t-1, k}+\beta_{t+1, k}\right), \kappa_{\psi}^{-1}\right)$
B. $\psi_{t, k}=\operatorname{Softmax}\left(\beta_{t, k}\right)$

(c) For snippet $d=1 \ldots D$

i. Draw sense $z_{d} \sim \operatorname{Mult}\left(\phi_{t}\right)$

ii. For context position $i=1 \ldots I$

A. Draw word $w_{d, i} \sim \operatorname{Mult}\left(\psi_{t, z_{d}}\right)$

## 2.2 Logistic stick-breaking process [9]

ディリクレ過程は有限次元の多項分布を生成する ディリクレ分布の無限次元版であり，その実現例の 一つとして， stick-breaking process (SBP) [10] が挙げ られる。SBPでは，確率の総和である長さ 1 の棒を 折っていくことで， $k$ 番目のクラスに対する確率 $\pi_{k}$ を決定し，デルタ関数 $\delta\left(\theta_{k}\right)$ を基底測度 $G_{0}$ からサ ンプルした場所 $\theta_{k} \sim G_{0}$ に立てていくことで確率分布 $G$ を生成しており, 生成過程は次のようになる:

$
\begin{gathered}
\pi_{k}=v_{k} \prod_{k^{\prime}}^{k-1}\left(1-v_{k^{\prime}}\right), v_{k} \sim \operatorname{Be}(1, a), \theta_{k} \sim G_{0} \\
G=\sum_{k=1}^{\infty} \pi_{k} \delta\left(\theta_{k}\right) .
\end{gathered}
$

2） カーネルが隣接する時間に限定されるガウス過程の特別な 例と捉えることもできる.
ただし， $\mathrm{Be}(1, a)$ はベータ分布である.

Ren ら [9] は，各クラスが何らかの共変量と紐づ いている3)場合，それをロジスティック変換し各ク ラスの確率とすることで，同様にディリクレ過程を 実現する logistic stick-breaking process (LSBP) を提案 した. 各クラスのガウス分布に従う確率変数を $\beta_{k}$ としたとき，LSBP によって生成される確率分布 $G_{\beta}$ は次のようになる:

$
\begin{gathered}
\pi\left(\beta_{k}\right)=\sigma\left(\beta_{k}\right) \prod_{k^{\prime}=1}^{k-1}\left(1-\sigma\left(\beta_{k^{\prime}}\right)\right), \\
G_{\beta}=\sum_{k=1}^{\infty} \pi\left(\beta_{k}\right) \delta\left(\theta_{k}\right) .
\end{gathered}
$

ただし， $\sigma(x)$ はシグモイド関数を表す.

## 3 提案手法

## 3.1 Infinite SCAN

我々は，2.1 節で紹介した SCANにおいて，対象単語によって異なる語義数をコーパスから自動的に 推定できるように，2.2 節で紹介したLSBPを用いて 拡張を行った階層ベイズモデルを提案する。

提案モデルでは，SCAN と同様に対象単語 $w$ 一つ に対して一つのモデルを考え，入力もSCAN と同様 に，コーパスにおける対象単語 $w$ が含まれる文章の 文脈単語集合 $\boldsymbol{c}$ で構成されるスニペットとその文章 が出現した年のラベルとする.

時点 $t$ に出現したスニペット集合は， $\phi_{t}$ と $\psi_{t, k}$ そ れぞれの上に定義される意味分布と意味-単語分布 によって表され，それぞれがガウス分布に従う。こ こで，意味分布のパラメータ $\phi_{t}$ について，対象単語 $w$ によって異なる語義数 $S_{w}$ をコーパスから自動的 に推定できるように，LSBPを用いて生成過程を次 のように変更する:

$
\begin{gathered}
\alpha_{t} \mid \alpha_{-t}, \kappa_{\phi} \sim \mathcal{N}\left(\frac{1}{2}\left(\alpha_{t-1}+\alpha_{t+1}\right), \kappa_{\phi}^{-1}\right), \\
\phi_{t, k}=\sigma\left(\alpha_{t, k}\right) \prod_{k^{\prime}=1}^{k-1}\left(1-\sigma\left(\alpha_{t, k^{\prime}}\right)\right)(k=1, \ldots, K) .
\end{gathered}
$

ここで，LSBP は無限次元の多項分布を生成するが，実際には十分な語義の次元があればそれ以上使わ れることはないため, 本研究では SCAN と同様に $K=8$ とした ${ }^{4)}$. また, 提案モデルでは, 意味分布の パラメータ $\phi_{t}$ は，全体を見て正規化する Softmax 変換ではなく，それぞれの意味における停止確率を意味ごとに確率化する LSBP によって構築される.

3）SCAN の場合はガウス分布に従う確率変数が各意味，意味 における各単語と紐づいている。

4）事前実験より，8 個以上の語義を持つ単語はほとんど存在 しなかった
表 1 各モデルによって推定された意味分布と正解の意味分布の Kullback-Leibler 距離.

のため提案モデルでは，SCANのように $\kappa_{\phi}$ を全て の意味 $k \in\{1 \ldots K\}$ で共有するのではなく，各意味 の値 $\alpha$ ごとに異なる分散 $\kappa_{\phi}^{(k)}$ を仮定し推定する.

## 3.2 MCMC 法による推定

提案モデルの推定には，ブロック化 Gibbs sampler を用いる。提案モデルにおける推定パラメータは， スニペットに割り当てられる意味 $z$ ，意味分布と意味-単語分布の事前分布である $\alpha$ ( $\phi$ の LSBP 変換前), $\beta$ ( $\psi$ の Softmax 変換前)，ガンマ分布に従う意味分布の事前分布の精度パラメータ $\kappa_{\phi}$ である. サ ンプリングの疑似コードを図 5 に示した.

スニペットの意味 各スニペットの意味 $z_{d}$ は， サンプリング時点でのパラメータ $\phi, \psi$ を用いて，次の事後分布に従ってサンプリングされる:

$p\left(z_{d} \mid \boldsymbol{w}, t, \phi, \psi\right) \propto p\left(z_{d} \mid t\right) p\left(\boldsymbol{w} \mid t, z_{d}\right)=\phi_{z_{d}}^{(t)} \prod_{w \in \boldsymbol{w}} \psi_{w}^{\left(t, z_{d}\right)}$

意味分布のパラメータ 意味分布の事前分布は ガウス分布となっているため, 多項分布との間に 共役性がないので，ディリクレ-多項分布のよう なサンプリングはできない. Linderman ら [11] は， Pólya-gamma 補助変数を用いることで，LSBPを用い て表現される，ガウス分布を事前分布として持つ多項分布のパラメータに対するギブスサンプリング を提案しており，本研究ではそれに従って推定を行 う) $^{5)} \alpha$ の事後分布は次のようになる:

$
\begin{aligned}
p\left(\alpha_{t} \mid z, \boldsymbol{\alpha}_{-t}, \omega\right) & \propto \mathcal{N}\left(\omega^{-1} f(c) \mid \alpha_{t}\right) \mathcal{N}\left(\alpha_{t} \mid \boldsymbol{\alpha}_{-t}, \kappa_{\phi}^{-1}\right) \\
& \propto \mathcal{N}\left(\alpha_{t} \mid \tilde{\mu}, \tilde{\kappa}_{\phi}^{-1}\right) .
\end{aligned}
$

ただし, $\omega$ は補助変数であり,$c_{k}$ を $k$ 番目の意味に属 しているスニペットの個数, $N\left(c_{k}\right)=\sum_{k} c_{k}-\sum_{j<k} c_{j}$ として, Pólya-gamma 分布 $\omega \mid z, \alpha_{t} \sim \operatorname{PG}\left(N\left(c_{k}\right), \alpha_{t}\right)$ か らサンプリングされる. また, $f\left(c_{k}\right)=c_{k}-N\left(c_{k}\right) / 2$ として, 事後分布の平均と分散は, $\tilde{\mu}=\left(f\left(c_{k}\right)+\right.$ $\left.\mu_{k} \kappa_{\phi}\right) \cdot \tilde{\kappa}_{\phi}, \tilde{\kappa}_{\phi}=\left(\omega_{k}+\kappa_{\phi}\right)^{-1}$ である.

意味-単語分布のパラメータ 意味-単語分布も意味分布と同様に事前分布としてガウス分布を仮定し ているため，ディリクレー多項分布のようなサンプ


表 2 実験に使用したコーパスの年代とサイズ.

リングはできない. Mimno ら [12] は, Softmax 変換 を用いて表現される，ガウス分布を事前分布として もつ多項分布のパラメータに対するギブスサンプリ ングを提案しており，本研究ではそれに従って推定 を行う6)，スニペット数を $D$ ，スニペット長を $N_{d}$ とすると， $\beta$ の事後分布は次のようになる:

$p\left(\beta_{t}\right) \propto \prod_{d=1}^{D}\left(\prod_{n=1}^{N_{d}} \frac{\exp \left(\beta_{w_{n}}^{\left(t, z_{d}\right)}\right)}{1+\sum_{w^{\prime} \neq w} \exp \left(\beta_{w^{\prime}}^{\left(t, z_{d}\right)}\right)}\right) \mathcal{N}\left(\beta_{t} \mid \beta_{-t}, \kappa_{\psi}^{-1}\right)$

精度パラメータ 平均が既知であるガウス分布の 精度パラメータは，ガンマ事後分布に従う．ガンマ 分布の形状パラメータを $a$, 尺度パラメータを $b$ と すると， $\kappa_{\phi}$ の事後分布は次のようになる:

$
p\left(\kappa_{\phi}^{(k)}\right)=\mathrm{Ga}\left(a+\frac{K}{2}, b+\frac{1}{2} \sum_{t=1}^{T}\left(\alpha_{t, k}-\bar{\alpha}_{k}\right)\right)
$

ただし， $\bar{\alpha}_{k}=\frac{1}{T} \sum_{t} \alpha_{t, k}$ は意味 $k$ における $\alpha$ の平均 である.

## 4 実験

## 4.1 疑似データによる検証

実データでの検証に先立ち，提案モデルが，任意 の意味変化と語義数をきちんと推定できるか検証す るため，疑似データによる検証を行う．疑似データ の生成において，意味分布の生成にはガウス過程を 用い，意味-単語分布の生成にはディリクレ分布を 用いて正解データをランダムに生成した.

表 1 に，語義数を $S_{w}=2, . ., 5$ と動かした場合にお けるSCAN と提案モデルの疑似データに対する推定結果の比較を示した. ここでは，意味の分布を正 しく表現できるか定量的に測るため, 指標として推定された意味分布と正解の意味分布の $\mathbb{R}^{T \times K}$ 上での Kullback-Leibler 距離を用いた. 結果から，語義数を 自動的に推定できないSCAN と比較して提案モデル が優れていることがわかる。また, 図 1,2 に, 語義数が $S_{w}=5$ の場合の正解例と，疑似データに対する 提案モデルの推定結果を示した. 横軸が時点，縦軸 が時点における意味の確率を表し, 色に対応する意

6）詳細は参考文献 [12]を参照されたい.

図 1 語義数が $S_{w}=5$ の場合の意味変化の正解例.

図 2 語義数が $S_{w}=5$ の疑似データに対する提案モデル の推定結果. 正解例に合わせて意味の並べ替えを行った.

味を凡例に示した．図より，提案モデルによる推定結果は意味の趨勢をほとんど正しく捉えていること がわかる。

## 4.2 データセット

本研究では，英語を対象とし，通時コーパスで ある Corpus of Historical American English (COHA) と The Corpus of Late Modern English Texts (CLMET3.1) を用いた、コーパスの統計量を表 2 に示した.

実験で用いる際は，トークナイズ，見出し語化を 行ったのち，ストップワードの削除を行った.また 品詞タグ付けを行い，名詞，動詞，形容詞のみを抽出し使用した. 以上の前処理を行ったのち，対象単語が出現する箇所をコーパスから抽出し，文脈空幅 を 5 として対象単語のコーパスを作成した. 対象単語としては，SCANで分析されたものを参考にして “coach”と “power”を選択した。

## 4.3 結果

図 3, 4 に“coach”と “power”に対する推定結果を 示した，凡例には，意味 $k$ における意味-単語分布 $\psi_{k}=\sum_{t} \psi_{t, k}$ の Normalized pointwise mutual information (NPMI) [13] の高い単語を上から 10 個示した.

“coach”では，コーパスから推定された語義数は 2 つとなった. 馬車や乗り物としての意味（青色）か

図 3 対象単語“coach”に対する提案モデルの推定結果.

図 4 対象単語 “power” に対する提案モデルの推定結果.

ら指導や指導者という意味（橙色）に変化している ことが捉えられている. “power”については，コー パスから推定された語義数は 6 つとなった. 宗教や 教会の文脈で使用される力の意味（青色）は，現在 に至っても使用されていることがわかる。また，肉体上・精神上の自然の能力，体力，知力といった意味（橙色）と法や政治的な力といった意味（赤色） は現在に近づくにつれて使われることが少なくなっ ている。一方で，経済的な力としての意味（緑色） や国際的な政治力や戦争などの文脈における力（紫色）たた動力の意味（茶色）は現在になるにつれて 使用されることが増えてきていることがわかる.

これらの結果は歴史的背景や辞書からも妥当であ り，提案モデルはコーパスからある程度正しく意味変化を捉えることができていることがわかる.

## 5 まとめと今後の展望

本研究では，単語の通時的な意味変化のモデル化 において，単語によって異なる語義数を自動的に推定できる階層ベイズモデルを提案した。疑似データ を用いた実験において，意味変化と語義数を正しく 推定できることを示した。また，実データを用いた 実験においては，複数の解析対象の単語に対して推定結果を示し，分析した．今後は，他の単語や英語以外の言語を対象とした分析を行っていきたい.

## 謝辞

本研究は国立国語研究所の共同研究プロジェクト 「現代語の意味の変化に対する計算的・統計力学的 アプローチ」，「通時コーパスの設計と日本語史研究

の新展開」および JSPS 科研費 19H00531，18K11456

の研究成果の一部を報告したものである.

## 参考文献

[1] Jean Aitchison. 2001. Language Change: Progress Or Decay?. Cambridge Approaches to Linguistics. Cambridge University Press.

[2] Angus Stevenson, editor. 2010. The Oxford English Dictionary. Oxford University Press, third edition.

[3] Robert Bamler, and Stephan Mandt. 2017. Dynamic Word Embeddings. In Proceedings of the 34th International Conference on Machine Learning, edited by Doina Precup and Yee Whye Teh, 70:380-89.

[4] Vivek Kulkarni, Rami Al-Rfou, Bryan Perozzi, and Steven Skiena. 2015. Statistically significant detection of linguistic change. In Proceedings of the 24th International Conference on World Wide Web, WWW'15, p. 625-635.

[5] William L. Hamilton, Jure Leskovec, and Dan Jurafsky. 2016. Diachronic Word Embeddings Reveal Statistical Laws of Semantic Change. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), 1489-1501.

[6] Martin Emms, and Arun Kumar Jayapal. 2016. Dynamic Generative Model for Diachronic Sense Emergence Detection. In Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics: Technical Papers, 1362-73.

[7] Lea Frermann, and Mirella Lapata. 2016. A Bayesian Model of Diachronic Meaning Change. Transactions of the Association for Computational Linguistics 4: 31-45.

[8] Havard Rue and Leonhard Held. 2005. Gaussian Markov Random Fields: Theory and Applications. Chapman \& Hall/CRC Monographs on Statistics \& Applied Probability. CRC Press.

[9] Lu Ren, Lan Du, Lawrence Carin, and David Dunson. 2011. Logistic Stick-Breaking Process. Journal of Machine Learning Research: JMLR 12: 203-39.

[10] Jayaram Sethuraman. 1994. A Constructive Definition of Dirichlet Priors. Statistica Sinica 4 (2): 639-50.

[11] Scott Linderman, Matthew J. Johnson, and Ryan P. Adams. 2015. Dependent Multinomial Models Made Easy: StickBreaking with the Polya-Gamma Augmentation. In Advances in Neural Information Processing Systems, vol. 28, 3456-64.

[12] David Mimno, Hanna Wallach, and Andrew McCallum. 2008. Gibbs Sampling for Logistic Normal Topic Models with Graph-Based Priors. In Neural Information Processing Systems Workshop on Analyzing Graphs. vol. 61.

[13] Gerlof Bouma. Normalized (pointwise) mutual information in collocation extraction. 2009. Proceedings of the German Society for Computational Linguistics and Lan- guage Technology, vol 30: 31-40.

[14] Valerio Perrone, Marco Palma, Simon Hengchen, Alessandro Vatri, Jim Q. Smith, and Barbara McGillivray. 2019. GASC: Genre-Aware Semantic Change for Ancient Greek. In Proceedings of the 1st International Workshop on Computational Approaches to Historical Language Change, 56-66 .

## A MCMC アルゴリズム

3.2 節で説明した提案モデルの推定に用いた Gibbs sampler の疑似コードを図 5 に示す. 各パラメータ の初期值は基本的に Frermann ら [7] に従っている. ただし，本研究では，対象単語の意味の変化を“意味-単語分布の変化”ではなく，できるだけ “意味分布の変化” で捉えたいため（前者の場合，語義数の 推定が難しくなる), Perrone ら [14] に従い， $\kappa_{\psi}$ の值 を比較的大きな 100.0 とした。

図 5 MCMC 法による Infinite SCAN の推定.

## B 疑似データに対する推定結果

4.1 節で行った，疑似データによる提案モデルの 性能の検証において, 語義数 $S_{w}$ が異なる場合の結果を示す. 図 6,7 には語義数が $S_{w}=2$ の正解例と 推定結果, 図 8,9 には語義数が $S_{w}=3$ の正解例と推定結果を示した. 語義数が異なっても，提案モデル は意味変化と語義数を適切に推定できていることが わかる。

図 6 語義数が $S_{w}=2$ の場合の正解例.

図 7 語義数が $S_{w}=2$ の疑似データに対する提案モデル の推定結果. 正解例に合わせて意味の並べ替えを行った.

図 8 語義数が $S_{w}=3$ の場合の正解例.

図 9 語義数が $S_{w}=3$ の疑似データに対する提案モデル の推定結果. 正解例に合わせて意味の並べ替えを行った.
 井上誠一 ${ }^{1}$ 小町 守 ${ }^{1}$ 小木曽智信 ${ }^{2}$ 高村大也 ${ }^{3}$ 持橋 大地 4 1 東京都立大学 2 国立国語研究所 3 産業技術総合研究所 4 統計数理研究所 inoue-seiichi@ed.tmu.ac.jp komachi@tmu.ac.jp togiso@ninjal.ac.jp takamura.hiroya@aist.go.jp daichi@ism.ac.jp  