# 言語モデルと解析戦略の観点からの修辞構造解析器の比較

小林尚輝 $\dagger$ 平尾努 $\S$ 上垣外英剛 $\dagger$ 奥村学 $\dagger$ 永田昌明 $\S$
†東京工業大学 §NTTコミュニケーション科学基礎研究所
\{kobayasi, kamigaito, oku\}@lr.pi.titech.ac.jp
\{tsutomu.hirao.kp, masaaki.nagata.et\}@hco.ntt.co.jp

## 概要

修辞構造解析の研究分野では，ニューラルモデル の発展により多くの手法が提案され，ベンチマーク データでの最高スコアが日々更新されている. しか し，提案された手法は解析戦略，EDU 系列のベクト ル表現のための事前学習済み言語モデル，探索アル ゴリズムなどが異なっており, どの要素が良い結果 をもたらしたのかが分かりにくい。そこで，本稿で は技術の進歩を明確にできるよう，既存の上向き，下向きの解析戦略と最新の事前学習済み言語モデル を組み合わせることで強いべースライン解析器を構築する。この解析器を RST-DT で評価した結果, 解析戦略には大きな差がなく，トークンではなくスパ ンのマスキングを採用した事前学習済み言語モデル が有効であることが分かった. 特に，DeBERTaを用 いると世界最高性能を達成した. 今後, このべース ラインを基準とすることで新しい技術の有効性をよ り明確にできると考える。

## 1 はじめに

修辞構造理論 [1] は，文書の背後にある構造を， EDU と呼ばれる節相当のユニットを終端ノード，単一もしくは連続した EDU からなるスパンを非終端 ノードとする構成素木として表現する. 非終端ノー ドには核 (Nucleus) または衛星 (Satellite) の核性ラベ ルが与えられ，同じ親を持つ兄弟の非終端ノード間 のエッジにはその関係を表す修辞ラベルが与えら れる.

修辞構造解析では，上向き，下向きの解析戦略の

還元法を用いた手法 [2,3], 下向き解析にはスパン 分割法を用いた手法 $[4,5]$ やエンコーダデコーダモ デルを用いた手法 [6] がある. これら 2 つの解析戦略において，近年ニューラルネットワークが活用さ れ，さらなる性能向上のため，ビーム探索 [7]，動的
オラクルを用いた探索 [5]，モデルアンサンブル [4]，敵対学習 [6] など様々な技術が導入されている.

さらに，スパンのベクトル表現を得るために事前学習済み言語モデルが利用されることからその 性能向上が修辞構造解析の性能改善にもつながる. たとえば，XLNet[8] を用いた下向き解析法 [6] と SpanBERT[9] を用いた上向き解析法 [3] は従来法よ りも大幅に性能が向上している。

このようにニューラルモデルを用いた修辞構造解析手法の性能は大きく向上しているものの，各手法 が採用した解析戦略，事前学習済み言語モデル，探索アルゴリズムなどが異なるため，どの要素が解析器の性能向上にどの程度寄与したかが分かりにく く，技術の進歩を正しく評価することが難しい。

本稿は，既存の上向き，下向き解析戦略に対し， 5 種の事前学習済み言語モデル1)を組み合わせるだ けでどの程度の性能が得られるかを検証し，技術の 進歩を明らかにするためのベースラインを構築す ることを目的とする．RST-DT を用いた実験結果か ら，(1) 2 つの解析戦略の間に大きな差はないこと, (2) トークンではなくスパンのマスキングを利用し た目的関数で学習された事前学習済み言語モデル が有効であること，(3) DeBERTa を利用すると現在 の世界最高性能を達成すること，が分かった. さら に，チェックポイント重み平均の導入や事前学習済 み言語モデルのパラメタを増やすことでも性能の改善が得られることが分かった.

## 2 解析手法

本稿では，上向き解析戦略を用いた解析器として シフト還元法を用いた手法 [3]，下向き解析戦略を 用いた解析器として再帰的なスパン分割による手法 [4]を採用した. その理由はどちらもシンプルな方法であり，かつ実装が公開されているからである.

双方とも単一もしくは連続した EDU からなるス パンをべクトルにより表現する必要がある．以下， 2.1 節でスパンのベクトル表現の獲得方法について 説明する。次に 2.2 および 2.3 節においてそれぞれ の解析手法を説明する。

## 2.1 スパンのベクトル表現の獲得方法

$N$ 個の EDU からなる文書が与えられた時，文書 をトークン系列とみなし，事前学習済み言語モデル を通すことでトークンのベクトル表現 $\left.\{\boldsymbol{w}_{1}, \ldots, \boldsymbol{w}_{M}\right.\}$ を得る。ここで $M$ は文書に含まれる全トークン数 とする．M が 512 を超える場合には，スライド窓を 利用してすべてのトークンのベクトル表現を得る.

あるスパンが $i$ 番目から $j$ 番目の EDUを内包する 時（ただし， $1 \leqq i<j \leqq N ） ＼mathrm{~ こ の ス ハ ゚ ン を 表 現 す る ~}$ ベクトル表現 $\boldsymbol{u}_{i: j}$ はスパンの両端のトークンのベク トル表現から $u_{i: j}=\left(w_{\mathrm{b}(i)}+w_{\mathrm{e}(j)}\right) / 2$ として求める. ここで $\mathrm{b}(i)$ および $\mathrm{e}(j)$ はそれぞれ引数で指定され た EDU の先頭および末尾のトークンのインデック スを返す関数である。

## 2.2 上向き解析法

上向き解析器として Guz ら [3] のシフト還元法を 用いた解析器を採用する．スタック $\mathrm{S}$ に解析済みの 部分木を格納，キューQにこれから解析対象となる EDU を格納し，以下のシフト，還元操作を適用する ことで，左から右に向かって EDU 系列を読み込み ながら上向きに修辞構造木を構築する.

シフトキュー $\mathrm{Q}$ の先頭の EDU を取り出し， ス タックに積む，

還元 スタック $\mathrm{S}$ の上 2 つの部分木を取り出しそれ らを併合することで 1 つの木を構築し，再度ス タック $\mathrm{S}$ に積む。

なお，還元操作を行った後，2つの部分木に対し核性ラベル，修辞関係ラベルを，異なる分類器を用い て推定する。つまり，木の構築，核性ラベル推定，修辞関係ラベル推定は独立に行う2) 。核性ラベルは N-S，S-N，N-N の 3 種のいずれか，修辞関係ラベル は Elaboration，Listなど 18 種のいずれかである. そ れぞれの推定は以下の順伝播型ニューラルネット ワーク $\mathrm{FFN}_{\mathrm{act}}, \mathrm{FFN}_{\mathrm{nuc}}, \mathrm{FFN}_{\mathrm{rel}}$ を用いて行う.

$
s *=\mathrm{FFN}^{2}\left(\operatorname{Concat}\left(\mathbf{u}_{\mathrm{s}_{0}}, \mathbf{u}_{\mathrm{s}_{1}}, \mathbf{u}_{\mathrm{q}_{0}}, \mathbf{u}_{\mathrm{org}}\right)\right)
$

2） Guz ら [3], Wang ら [2] は，木の構築と核性ラベル推定は同時に行ったほうが良いと報告しているが，我々の実験では独立に行ったほうが性能が良かった。
ここで， $\mathbf{u}_{\mathrm{s}_{0}}, \mathbf{u}_{\mathrm{s}_{1}}$ はそれぞれ $\mathrm{S}$ の上 2 つの部分木が 支配するスパンのベクトル表現， $\mathbf{u}_{\mathrm{q}_{0}}$ は $\mathrm{Q}$ の先頭の EDU のベクトル表現， $\mathbf{u}_{\text {org }}$ は， $\mathrm{S}$ の上 2 つのスパン が同じ段落/文に存在するか，隣接する段落/文に存在するか， $\mathrm{S}$ の一番上のスパンと $\mathrm{Q}$ の先頭の $\mathrm{EDU}$ が同じ段落/文に存在するか，それぞれのスパンが文書/段落/文の先頭/木尾であるかを 2 值ベクトルとし て表現したものである.

## 2.3 下向き解析法

下向き解析器として Kobayashi ら [4] の再帰的ス パン分割法を用いた解析器を採用する.この解析器は，文書全体をあらわすスパンから始め貪欲に 2 分割していき，分割したスパン間のラベルを推定 することで下向きに修辞構造木を構築する。なお， Kobayashi らの手法は文書-段落，段落-文，文-EDU という 3 つの階層で独立に解析を行った後それらを 統合することで木を構築するが，上向き解析器と近 い状態で比較するため, 本稿では，階層化は行わず 上向き解析器と同様にスパンがどの階層に存在する かを 2 值べクトルとして表現して利用する. $i$ 番目 から $j$ 番目の EDU からなるスパンを $k$ 番目の EDU で分割するスコアは以下の式で定義される.

$
\begin{aligned}
s_{\text {split }}(i, j, k)= & \mathbf{h}_{i: k} \mathbf{W} \mathbf{h}_{k+1: j}+\mathbf{v}_{\text {left }} \mathbf{h}_{i: k}+\mathbf{v}_{\text {right }} \mathbf{h}_{k+1: j} \\
& +\mathbf{v}_{\text {org }} \mathbf{h}_{\text {org }}
\end{aligned}
$

ここで， $\mathbf{W}$ は重み行列， $\mathbf{v}_{\text {left }}, \mathbf{v}_{\text {right }} \mathbf{v}_{\text {org }}$ は重みベクト ル， $\mathbf{h}_{i: k}, \mathbf{h}_{k+1: j}, \mathbf{h}_{\text {org }}$ は以下の式で定義される.

$
\begin{aligned}
\mathbf{h}_{i: k} & =\mathrm{FFN}_{\text {left }}\left(\mathbf{u}_{i: k}\right), \\
\mathbf{h}_{k+1: j} & =\mathrm{FFN}_{\text {right }}\left(\mathbf{u}_{k+1: j}\right), \\
\mathbf{h}_{\text {org }} & =\mathrm{FFN}_{\text {org }}\left(\mathbf{u}_{\text {org }}\right),
\end{aligned}
$

ここで, $\mathbf{h}_{\mathrm{org}}$ は上向き解析と同様, 左右のスパンが 同じ段落/文に存在するか, 文/段落の開始か終了な どを表す 2 値ベクトルである. そして，以下の式で スパンの分割を決定する。

$
\hat{k}=\underset{i \leq k<j}{\operatorname{argmax}} s_{\text {split }}(i, j, k)
$

分割と同様に，スパンのラベルを推定するスコア は以下の式で定義される。

$
\begin{aligned}
s_{\text {label }}(i, j, \hat{k}, \ell)= & \mathbf{h}_{i: \hat{k}} \mathbf{W}^{\ell} \mathbf{h}_{\hat{k}+1: j}+\mathbf{v}_{\text {left }}^{\ell} \mathbf{h}_{i: \hat{k}}+\mathbf{v}_{\text {right }}^{\ell} \mathbf{h}_{\hat{k}+1: j} \\
& +\mathbf{v}_{\text {org }}^{\ell} \mathbf{h}_{\text {org }},
\end{aligned}
$

ここで， $\mathbf{W}^{\ell}$ は特定のラベル $\ell$ に対応する重み行列， $\mathbf{v}_{\text {left }}^{\ell}, \mathbf{v}_{\text {right }}^{\ell}, \mathbf{v}_{\text {org }}^{\ell}$ はそれぞれ $\ell$ 対応する重みべクト

ルである. そして，以下の式を最大にするラベル $\hat{\ell}$ を， $\hat{k}$ で分割した 2 つのスパンに対するラベルと する．上向き解析器と同様，核性推定時は， N-S, S-N，N-N のいずれか，修辞関係推定時には 18 種の ラベルのいずれかを与える.

$
\hat{\ell}=\underset{\ell \in \mathscr{L}}{\operatorname{argmax}} s_{\text {label }}(i, j, \hat{k}, \ell) .
$

## 3 事前学習済み言語モデル

本稿ではスパンのベクトル表現を得るために，以下に説明するトランスフォーマに基づく 5 種の事前学習済み言語モデルを試し，性能を比較する。

BERT[10] はランダムにマスクされたトークンを 前後の文脈から推定する Masked Language Model (MLM) と 2 つの文が連続しているかどうかを推定 する Next Sentence Prediction (NSP) の 2 つの目的関数 により学習される双方向型の言語モデルであり，学習には13GB のテキストが用いられる。

RoBERTa[11] は BERT を MLM のみで，より大きな テキスト (160GB)を用いて長時間学習することでさ らに性能を向上させた言語モデルである.

XLNet[8] は単方向言語モデルであるが，attention の マスクを改善し擬似的に語順を入れ替え，双方向言語モデルと同様に前後の文脈を考慮できる Permuted Language Model (PLM) を目的関数としている.

SpanBERT[9] は BERT と同じデータセットで学習 されるが，MLM のみを学習の目的関数とし，マス クする単位を個々のトークンではなく連続するトー クン (スパン)へと変更している.

DeBERTa[12] は各トークンの埋め込みとその位置情報の埋め込みの関係をより強く学習するために Distangled attention を導入した。さらに，SpanBERT と同様，マスクの単位は個々のトークンではなく連続したトークンである. DeBERTa の学習に用いる コーパスは RoBERTa よりも小さく 78GB であるが 様々なベンチマークで RoBERTa を上回る性能を達成している.

## 4 実験設定

本稿では RST-DT[13] をべンチマークとして実験 を行った． RST-DT は Wall Street Journal から収集さ れており，学習データ 347 文書，テストデータ 38 文書から構成される。開発データは Heilman ら [14] に 従い学習データのうちの 40 文書とした。過去の研究にならい修辞構造ラベルには 18 種類からなる大分類を用い，修辞構造木は二分木へと事前に変換し て解析器の学習，評価を行う.

本稿では正解の EDU 分割を用いるため，先行研究 [15] に従い Standard Parseval を用いて評価する.木の構造のみを評価する Span，核性または修辞関係 ラベルも含めて評価する Nuc. および Rel., 双方のラ ベルも含めて評価する Full の計 4 通りの評価尺度に より評価する。

上向き，下向きの両解析法に使用した FFN は，活性化関数に GeLU を用い，隠れ状態の次元数が 512 次元の 2 層の MLP とした. 過学習を抑制するため に，FFN の dropout 率を 0.2，勾配クリッピングの値 を 1.0，L2 正則化の係数を 0.01 とした. ミニバッチ は文書ではなくスパン（上向き解析であればシフト または還元の操作，下向き解析であればあるスパン の分割）を単位に構成し，サイズは 5 とした。パラ メータは AdamW[16] で最適化し，言語モデルの学習率は 1e-5，それ以外に関しては 1e-5/2e-5 から開発 データを用いて選択した。また，学習率スケジュー ラを用いて，1 エポック目は学習率を 0 から増加さ せ，それ以降は学習率を 0 へと線形に減少させた。最大のエポック数は 20 としたが，エポック毎の開発データによる Full の評価値が最高値を 5 回連続で 下回った場合は早期に学習を打ち切った。

比較対象としては，RST-DT における最高性能を 達成した Zhang らの方法 [6] を採用する。この手法 は，エンコーダ・デコーダモデルに基づく下向き解析戦略，XLNetを利用したスパンのベクトル表現，敵対学習を用いたパラメタ最適化法を利用してお り，本稿で提案する手法よりもパラメタが多く複雑 な手法である。

## 5 実験結果と考察

実験結果を表 1 に示す。提案法を解析戦略で比較 すると Span の場合，下向きが上向きよりも良い傾向にあるが，その差はわずかである. Rel の場合，上向きが下向きよりも良い傾向にあり, Full で比較 するとやや上向きが良いがほぼ同等といって良い性能である.

事前学習済み言語モデルによる性能差を比較する と双方の解析戦略とも BERT が最も悪く，DeBERTa が最も良い。特に BERTを用いた場合，他の事前学習済み言語モデルを利用したときより 5 ポイン ト以上の性能劣化がみられる. Koto ら [5] も BERT

表 1 解析戦略および言語モデルの比較. 各指標で最も 高い数値を太字は示す. スコアは 3 回の試行の平均値で ある。

を利用すると GloVe[17] よりも性能が劣化するこ とを報告しており，この結果と合致する。 BERT は 13G のデータで学習されており, 今回用いた事前学習済み言語モデルのなかでは SpanBERT とともに 最も訓練データのサイズが小さい。事前学習済み 言語モデルの訓練に使ったデータのサイズと解析性能が相関するのであれば RoBERTa が最も良いは ずである.しかし，それよりも訓練データサイズ の小さいXLNet，DeBERTaの方が成績が良いこと， BERT と同じ学習データを用いているにもかかわら ず SpanBERT が RoBERTa よりもやや劣る程度の性能を達成していることからデータサイズだけでな く, 事前学習済み言語モデルの学習時の目的関数も 重要であることが分かる．XLNet は PLM という語順を意識した特殊な目的関数を採用しておりこれが 有効であったと考える。一方，SpanBEERT がデー タサイズが小さいにもかかわらず RoBERTa に匹敵 する性能を達成したこと，DeBERTaが最も良い性能 を達成したことを勘案すると MLM において，トー クンではなく連続したトークン，スパンをマスキン グすることが有効であると考える.

Zhang らの手法と比較すると，BERTを除くほぼ すべての手法が上回っており，DeBERTaを用いると Zhang らの手法よりも 2 ポイント近いゲインが得ら れている。つまり, 事前学習済み言語モデルを適切 に選択すれば現存する単純な手法であっても世界最高性能を達成できることを示している. Zhang らの 手法は我々の手法よりも高度な技術を採用している が，なぜこの程度の性能しかでていないのかは不明 である.

我々の手法をベースラインとして，我々の手法の

表 2 チェックポイント重み平均 (CWA) とパラメタを増 やした事前学習済み言語モデル (large) を導入した場合の 評価結果. スコアは 3 回の試行の平均值である.

上にパラメタ最適化の新しい技術，新しい探索アル ゴリズムなどを導入すると，高い解析性能を保ちな がら新しい技術の貢献を評価できるようになると考 える。

さらに，簡単な技術を用いてさらなる性能向上が 可能かを，チェックポイント重み平均 $[18,19]$ の導入，事前学習済み言語モデルのパラメタを増加させ ることで検証した．DeBERTaを利用した上向き，下向き解析器に双方の技術を組み込んだ結果を表 2 に 示す。それぞれの技術を導入すると Full で約 1 ポ イント程度の性能向上が得られるが，双方を同時に 導入すると 2.5 ポイント以上もの性能向上が得られ る. 最終的には上向きで Zhang らの手法より 4 ポイ ント，下向きで 4.5 ポイントの大きなゲインが得ら れている。つまり，我々の方法にはまだまだ改善の 余地が残っており，新しい技術でさらなる性能向上 が見达めることを示している.

## 6 まとめ

本稿では，技術の進歩を明らかにするためのべー スライン修辞構造解析器を構築するため, 既存の 上向き，下向き解析戦略に対し，5 種の事前学習済 み言語モデルを組み合わせることでどの程度の性能が得られるかを検証した。その結果，解析戦略 とは関係なく，RoBERTa，XLNet，DeBERTaを用い ると既存の解析器を上回る性能が得られた. 特に, SpanBERT が訓練データ量が少ないにも関わらず良 い性能を達成したこと，DeBERTaが最も良い成績で あったことから，MLM においてトークンではなく スパンのマスキングが有効であることが分かった. チェックポイント重み平均の導入や事前学習済み言語モデルのパラメタを増やすことでさらに性能が向上することも分かった.

## 謝辞

本研究の一部は JSPS 科研費 JP21H03505 の助成を

受けたものです.

## 参考文献

[1] W.C. Mann and S.A Thompson. Rhetorical structure theory: A theory of text organization. Technical Report ISI/RS-87-190, USC/ISI, 1987.

[2] Yizhong Wang, Sujian Li, and Houfeng Wang. A twostage parsing method for text-level discourse analysis. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 184-188, Vancouver, Canada, July 2017. Association for Computational Linguistics.

[3] Grigorii Guz and Giuseppe Carenini. Coreference for discourse parsing: A neural approach. In Proceedings of the First Workshop on Computational Approaches to Discourse, pp. 160-167, Online, November 2020. Association for Computational Linguistics.

[4] Naoki Kobayashi, Tsutomu Hirao, Hidetaka Kamigaito, Manabu Okumura, and Masaaki Nagata. Top-down rst parsing utilizing granularity levels in documents. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 34, No. 05, pp. 8099-8106, Apr. 2020.

[5] Fajri Koto, Jey Han Lau, and Timothy Baldwin. Top-down discourse parsing via sequence labelling. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, pp. 715-726, Online, April 2021. Association for Computational Linguistics.

[6] Longyin Zhang, Fang Kong, and Guodong Zhou. Adversarial learning for discourse rhetorical structure parsing. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 3946-3957, Online, August 2021. Association for Computational Linguistics.

[7] Ke Shi, Zhengyuan Liu, and Nancy F. Chen. An endto-end document-level neural discourse parser exploiting multi-granularity representations. 2020.

[8] Zhilin Yang, Zihang Dai, Yiming Yang, Jaime Carbonell, Russ R Salakhutdinov, and Quoc V Le. Xlnet: Generalized autoregressive pretraining for language understanding. In H. Wallach, H. Larochelle, A. Beygelzimer, F. d'AlchéBuc, E. Fox, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 32. Curran Associates, Inc., 2019.

[9] Mandar Joshi, Danqi Chen, Yinhan Liu, Daniel S. Weld, Luke Zettlemoyer, and Omer Levy. SpanBERT: Improving pre-training by representing and predicting spans. Transactions of the Association for Computational Linguistics, Vol. 8, pp. 64-77, 2020.

[10] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the
Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[11] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach. ArXiv, Vol. abs/1907.11692, , 2019.

[12] Pengcheng He, Xiaodong Liu, Jianfeng Gao, and Weizhu Chen. Deberta: Decoding-enhanced bert with disentangled attention. In International Conference on Learning Representations, 2021.

[13] Mary Ellen Okurowski Lynn Carlson, Daniel Marcu. RST Discourse Treebank. Philadelphia: Linguistic Data Consortium, 2002.

[14] Michael Heilman and Kenji Sagae. Fast rhetorical structure theory discourse parsing. CoRR, Vol. abs/1505.02425, , 2015.

[15] Mathieu Morey, Philippe Muller, and Nicholas Asher. How much progress have we made on RST discourse parsing? a replication study of recent results on the RST-DT. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 1319-1324, Copenhagen, Denmark, September 2017. Association for Computational Linguistics.

[16] Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization. In International Conference on Learning Representations, 2019.

[17] Jeffrey Pennington, Richard Socher, and Christopher D. Manning. Glove: Global vectors for word representation. In Empirical Methods in Natural Language Processing (EMNLP), pp. 1532-1543, 2014.

[18] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. V. Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc., 2017.

[19] Hugh Chen, Scott Lundberg, and Su-In Lee. Checkpoint ensembles: Ensemble methods from a single training process. 2017.
 小林尚輝 $\dagger$ 平尾努 $\S$ 上垣外英剛 $\dagger$ 奥村学 $\dagger$ 永田昌明 $\S$ †東京工業大学 §NTTコミュニケーション科学基礎研究所 \{kobayasi, kamigaito, oku\}@lr.pi.titech.ac.jp \{tsutomu.hirao.kp, masaaki.nagata.et\}@hco.ntt.co.jp  