# 相互情報量最小化による例文に基づく制御可能な言い換え生成

杉浦昇太 $^{1}$ 西田典起 $^{2}$ 朱中元 $^{3}$ 中山英樹 ${ }^{1}$
1 東京大学大学院 \{sugiura, nakayama\}@nlab.ci.i.u-tokyo.ac.jp
2 理化学研究所 AIP noriki.nishida@riken.jp
${ }^{3}$ NAVER AI Research shu.raphaelenavercorp.com

## 1 はじめに

言葉を同じ意味内容を表す異なる表現に言い換え ることは，コミュニケーションをより円滑にするた めに重要である．意図が伝わらない場合はより平易 な表現に言い換え，あるいは場の状況に合わせてよ りくだけた表現や丁寧な表現に言い換える.このよ うに言葉を適切に言い換える能力は，人間のみなら ず機械にも求められる。

言い換え生成とは，所与の文の言い換えを自動的 に生成する自然言語処理技術である。近年，ニュー ラルネットワークを用いた言い換え生成の手法が数多く提案されており，妥当で自然な言い換えの生成 を達成しつつある [1,2]. 一方で，自然言語の持つ 表現の多様性を踏まえると，利用者の望むような表現で書かれた文を得るためには，与えられた文に対 してただ一つの言い換えを生成するだけでは不十分 である.

本研究では，利用者が言い換えのスタイルを制御可能な言い換え生成の手法を提案する。ここでスタ イルとは，文体や言い回し，構文など，文の意味内容に関わらないような表層的な表現のことである.図 1 に，提案手法の概要を示す. 提案手法では，言 い換えの対象となる入力文とともに利用者によって 指定された例文を入力として，入力文の意味を保ち つつ例文のスタイルを持つような言い換え文を生成 する。例えば， 入力文として “What is the best way to earn money?"，例文として “How can I learn English?” という文が提示される状況を考える。システムは入力文の意味を保ちつつ, 例文の構造, 言い回しなど を可能な限り真似た出力文を生成する。この例では “How can I earn money?” が条件に即した妥当な言い 換えであると言える。

Iyyer ら [3] や Chen ら [4] は, 出力の統語構造を指定する言い換え生成手法を開発した. しかし，利用

図 1 提案手法の概要. 言い換え生成システムは,入力文 (input) と例文 (exemplar)を受け取り，言い換え (output)を生成する.

者が望むような文を出力するのに統語構造だけで十分であるとは限らず，また言語学的な素養のない一般の利用者にとっては統語構造による操作は負担が 大きい，そこで本研究では，生の例文に基づき，統語構造だけでなく文体や言い回しなども含めてより それに近しい文を生成することを目指す。

## 2 手法

本研究では，データセットとして言い換え文の対 を含むパラレルコーパス $\langle\mathbf{x}, \mathbf{y}\rangle \in \mathscr{D}$ 使用する.こ こで， $\mathbf{x}$ と $\mathbf{y}$ はぼ同じ意味を持つが，異なる表現 で書かれた文である.

提案手法のモデルは，二つの構成要素からなる.符号化モデル $g_{\boldsymbol{\theta}}$ は，例文 $\mathbf{e}$ を符号化してスタイル の潜在変数 $z$ を生成する機構である. 系列変換モデ ル $p_{\boldsymbol{\theta}}$ は, 文 $\mathbf{x}$ と潜在変数 $z$ を受け取り, 出力とし て $\mathbf{x}$ の言い換え文を生成する機構である。この 2 つ のモデルのパラメータをまとめて $\boldsymbol{\theta}$ と表記する。

推論時には，系列変換モデルは入力文 $\mathrm{x}$ を参照し て生成するべき文の意味を,$z_{\mathrm{e}}=g_{\theta}(\mathbf{e})$ を参照して スタイルの情報を得て，これらに従って言い換え文 を生成する。

学習時には，例文は提示されず，言い換え文の対 $\langle\mathbf{x}, \mathbf{y}\rangle$ のみが与えられる．そこで，例文ではなく $\mathbf{y}$ を符号化してスタイルの情報 $z_{\mathbf{y}}=g_{\theta}(\mathbf{y})$ を抽出し, $\mathbf{x}$

と $z_{\mathbf{y}}$ から $\mathbf{y}$ を復元するような学習を行う. 推論時 に適切な言い換えを生成するためには，学習に際し て以下の 2 点に留意する必要がある。

(1)入力文 $\mathbf{x}$ と潜在変数 $z$ を受け取り, 条件に沿っ た言い換えを生成するような系列変換モデルを 学習する。

(2)潜在変数 $z$ が，例文 (学習時には $\mathbf{y}$ ) の意味内容 ではなく，スタイルに関わる情報のみを保持す るように符号化モデルを学習する.

(2) の重要性について触れる. 仮に $z_{\mathbf{y}}=g_{\theta}(\mathbf{y})$ が $\mathbf{y}$ に 関する情報を完全に保持している場合，系列変換モ デルは $z_{\mathbf{y}}$ のみを見て $\mathbf{y}$ を復元するように学習して しまう，そうすると，推論時には入力文 $\mathbf{x}$ と同義な 文を生成できなくなり，言い換え生成として成立し なくなる. 従って， $z$ が文の意味ではなくスタイル の情報のみを保持するような制約を加えて学習する ことが必要となる.

## 2.1 損失関数の設計

学習時は，言い換え対 $\langle\mathbf{x}, \mathbf{y}\rangle \in \mathscr{D}$ を受け取り， $\mathbf{x}$ から $\mathbf{y}$ を生成するようにモデルを訓練する。 Cross-Entropy 損失関数 $\mathscr{L}_{\mathrm{GEN}}$ は次のように定義で きる.

$
\mathscr{L}_{\mathrm{GEN}}=\frac{1}{|\mathscr{D}|} \sum_{i=1}^{|\mathscr{D}|}-\log p_{\theta}\left(\mathbf{y}_{i} \mid \mathbf{x}_{i}, z_{\mathbf{y}_{i}}=g_{\boldsymbol{\theta}}\left(\mathbf{y}_{i}\right)\right)
$

相互情報量に基づく損失 符号化モデル $g_{\theta}$ が文 の意味内容ではなく，スタイルに関わる情報のみを 抽出するように制約を導入する。言い換え対 $\mathbf{x}$ と $\mathbf{y}$ は意味は同じであるが，それぞれ表層的に異なる言語表現のはずである. つまり, 符号化モデルは言 い換え文の対が共有する意味に関わる情報ではな く，それらが共有しないスタイルに関わる情報のみ を抽出できれば良いということになる。これは， $\mathbf{x}$ と $\mathbf{y}$ をそれぞれ符号化したべクトル表現 $z_{\mathbf{x}}=g_{\theta}(\mathbf{x})$, $z_{\mathbf{y}}=g_{\boldsymbol{\theta}}(\mathbf{y})$ が，相互に依存することがないような制約を損失関数に導入することで実現できると考えら れる。

本研究では, そのような制約を相互情報量 $I\left(z_{\mathrm{x}}, z_{\mathrm{y}}\right)$ の最小化問題として定式化する。相互情報量を学習 の過程で直接推定することは困難であるため，ここ ではサンプルベースの相互情報量の上界 $[5,6]$ を計算し，これを損失関数に加えることで，相互情報量 を上から抑えることとする。 ミニバッチとして与え られる言い換え対のサンプル $\mathscr{B}=\left.\{\left(\mathbf{x}_{j}, \mathbf{y}_{j}\right)\right.\}_{j=1}^{M}$ につ
いて，これらを符号化モデルによって変換して得ら れた潜在変数 $\left.\{\left(\boldsymbol{z}_{\mathbf{x}_{j}}, z_{\mathbf{y}_{j}}\right)\right.\}_{j=1}^{M}$ を考える. このサンプ ルを用いて，相互情報量 $I\left(z_{\mathrm{x}}, z_{\mathrm{y}}\right)$ の上界は以下のよ うに推定できる.

$
\begin{aligned}
& I\left(z_{\mathbf{x}}, z_{\mathbf{y}}\right) \leq \\
& \mathbb{E}\left[\frac{1}{|\mathscr{B}|} \sum_{j=1}^{|\mathscr{B}|}\left[\log p\left(z_{\mathbf{y}_{j}} \mid z_{\mathbf{x}_{j}}\right)-\frac{1}{|\mathscr{B}|} \sum_{k=1}^{|\mathscr{B}|} \log p\left(z_{\mathbf{y}_{k}} \mid z_{\mathbf{x}_{j}}\right)\right]\right] .
\end{aligned}
$

以上から，損失関数 $\mathscr{L}_{\mathrm{MI}}$ を以下のように定義する。

$
\begin{aligned}
& \mathscr{L}_{\mathrm{MI}}= \\
& \frac{1}{|\mathscr{B}|} \sum_{j=1}^{|\mathscr{B}|}\left[\log q_{\boldsymbol{\phi}}\left(z_{\mathbf{y}_{j}} \mid z_{\mathbf{x}_{j}}\right)-\frac{1}{|\mathscr{B}|} \sum_{k=1}^{|\mathscr{R}|} \log q_{\boldsymbol{\phi}}\left(z_{\mathbf{y}_{k}} \mid z_{\mathbf{x}_{j}}\right)\right] .
\end{aligned}
$

ここで, $q_{\phi}\left(z_{\mathbf{y}} \mid z_{\mathrm{x}}\right)$ は， $p\left(z_{\mathbf{y}} \mid z_{\mathbf{x}}\right)$ を近似したもので， ガウス分布 $q_{\phi}\left(z_{\mathbf{y}} \mid z_{\mathbf{x}}\right)=\mathcal{N}\left(\mu_{\phi}\left(z_{\mathbf{x}}\right), \Sigma_{\phi}\left(z_{\mathbf{x}}\right)\right)$ に従うと する. $\mu_{\phi}$ と $\Sigma_{\phi}$ は，パラメータ $\phi$ を持つニューラル ネットワークである. $q_{\phi}\left(z_{\mathrm{y}} \mid z_{\mathrm{x}}\right)$ の負の対数尤度を最小化することで， $\boldsymbol{\phi}$ の学習を行う。

$
\mathscr{L}_{\mathrm{NLL}}=\frac{1}{|\mathscr{D}|} \sum_{i=1}^{|\mathscr{D}|}-\log q_{\boldsymbol{\phi}}\left(z_{\mathbf{y}_{i}} \mid z_{\mathbf{x}_{i}}\right)
$

パラメータ $\boldsymbol{\theta}$ に関しては，次の損失関数を最小化 することで最適化する。

$
\mathscr{L}=\mathscr{L}_{\mathrm{GEN}}+\beta \mathscr{L}_{\mathrm{MI}} .
$

$\beta$ は $\mathscr{L}_{\mathrm{MI}}$ 項の大きさを決めるハイパーパラメータで ある。学習には確率的勾配降下法を利用し，各イテ レーションの中で $\boldsymbol{\phi}$ と $\boldsymbol{\theta}$ それぞれを更新する.

## 2.2 モデルの設計

符号化モデルは, Transformer Encoder [7] と多層パーセプトロンによって構成されている. Transformer の最終層の隠れべクトルの平均をとり, これを多層パーセプトロンで変換したものを出力と する.

系列変換モデルの構造は，通常の Transformer と 同じである．ただし，デコーダの最初のステップの 入力には SOS トークンではなく, 符号化モデルが出力した潜在変数 $z$ に対してアフィン変換を適用して 得られたベクトルを用いる.

$\mu_{\phi}$ と $\Sigma_{\phi}$ はそれぞれ多層パーセプトロンである. $\Sigma_{\phi}$ は対角行列を出力する.

## 3 実験と考察

## 3.1 データセット

Quora Question Pairs ${ }^{1}$ は，約 14 万件の質問文の言 い換えの対を含むデータセットである. 10 万件を 学習データ， 1 万件を検証データとした. テスト データについては， 100 件のデータに対して適当な 例文を手動で用意した。まず参照文 $\mathbf{y}$ と構文が近 く，また単語一致率の高い文を，学習データと検証 データに利用しない文の集合から抽出した. その中 で，入力文 $\mathbf{x}$ および参照文 $\mathbf{y}$ とは意味内容の異なる 文を一つ手動で選び，必要があれば多少の編集を行 い，それを例文 $\mathbf{e}$ とした．以上のようにして，参照文と意味は異なるものの，スタイルの似ている文を アノテーションした. 用意したテストデータの一部 を付録に掲載する。

## 3.2 評価指標

テストデータは，入力文 $\mathrm{x}$ ，例文 $\mathrm{e}$ ，参照文 $\mathrm{y}$ の三 つから構成されている. モデルが $\mathbf{x}$ と から生成し た文を，以下の二つの観点から評価する。

(1)妥当性: 生成された文が入力文の言い換えと なっているか，つまり生成された文の意味が入力文の意味と同じであるか?

(2)可制御性: 生成された文が例文と似たようなス タイルの文となっているか?

参照文との比較 本研究では，問題設定に合った テストデータを用意しているので，より参照文と類似している文を生成できれば，(1) 妥当性と (2) 可制御性を満たしていることになる。 そのため, 本研究 では BLEU [8]により参照文との類似性を評価した。

入力文との比較 生成した文と入力文の意味的な類似度を調べることで，(1) 妥当性につい て評価する。意味的な類似度の計算方法として Sentence-BERT 類似度を使う. 具体的には，入力文 と出力文をそれぞれ Sentence-BERT [9] によってべ クトルに変換し ${ }^{2}$, それらのコサイン類似度を意味的な近さとする。

例文との比較 生成した文と例文のスタイルの類似度を調べることで，(2) 可制御性を評価する。ス タイルの類似度として，次の二つの尺度を用いた。

1) https://www.kaggle.com/c/quora-question-pairs

2) 本研究では https://github.com/UKPLab/sentence-transformers の学習済みモデルを用いた。表 1 Quora のテストデータにおける結果. それぞれ 3 回 の試行の結果を平均したものを示している．BLEU は参照文，Sentence-BERT 類似度は入力文，TED及び LCS は 例文と，生成文を比較したものを示す。

TED (tree edit distance of syntax tree) TEDによっ て文同士の構文的な類似度を測る，TEDでは，2つ の文の句構造 (終端ノードは除去) に関する編集距離を計算する．距離であるため，値が小さいほど構文的に近いことを表す. $\mathrm{Zss}^{3}$ )によって TED を計算 した.

LCS (longest common sequence) LCS によって文同士の言い回しの共有度を測る．LCS では，与え られた列の集合に共通する最長の部分列を求め る. LCS の長さは，文書要約の自動評価尺度である ROUGE-L [10] に見られるように，自然言語の類似度評価にも利用されてきた。本研究では，文を単語 の系列とみなし, 生成文と例文との LCS の長さを評価する．LCS が長いほど，生成文が例文に含まれる 言い回しを含んでいることを示す.

## 3.3 ハイパーパラメータ

Transformer は，エンコーダレイヤ及びデコーダレ イヤのスタック数をそれぞれ 6 ，ヘッド数を 8 ，隠 れ層と単語埋め込みの次元数を 256 とした。

モデルの学習には Adam [11]を用い, Vaswani ら [7] と同じ学習率のアニーリングを行った。ミニバッチ サイズは 128 で，検証データに対する損失が 10 エ ポックに渡って減少しなかったときに学習を終了す る早期終了を行った．正則化のため，0.1 のドロッ プアウトを用い，また交差エントロピー誤差の計算 に際して 0.1 のラベル平滑化を行った.

Stanford CoreNLP Toolkit [12] によって単語分割を 行い, さらに SentencePiece [13] によってサブワード に分割した. サブワードの語彙数は 8000 とした.

## 3.4 結果

実験結果を表 1 に示す. Seq2Seq [7] は例文による 操作がなく，入力文のみから言い換え文を生成す

表 2 Quora のテストデータにおいて生成された言い換え 結果の例. 入力文 (source) と例文 (exemplar)をイタリック

 &  \\

る. SCPN [3] は例文の句構造に関する条件の下で入力文の言い換えを生成する。

参照文との類似度を示す BLEU スコアをみると， $\beta=1$ のときの提案手法が最も品質の高い言い換え を生成できていることがわかる. 従来の Seq2Seq と 比較して大幅なスコアの向上が見られ，例文による 操作の元で望ましい言い換えが生成できていること が定量的に確認できた。

注目すべきことに， $\beta$ の值が小さすぎる場合も大 きすぎる場合も BLEU スコアが大幅に低下する． $\beta$ が小さすぎるときは入力文との Sentence-BERT 類似度が小さくなっている. これは入力文の意味を生成結果が保てておらず，その結果，BLEU スコアが小 さくなっていると考えられる。一方で， $\beta$ が大きす ぎるときは例文との TED が大きく, LCS も小さく なっている。これは例文のスタイルが生成結果に反映されていないということを表し，その結果とし て，BLEUスコアが小さくなっていると考えられる。

定量評価に加えて，生成された結果を定性的に分析した. 表 3.4 に $\beta=1$ のときの生成結果を示す.提案手法では, $\beta=1$ のとき，入力文の意味を保ち つつ，例文のスタイルに似た表現を生成できている ことが分かる.

図 2 Sentence-BERT 類似度と $\mathrm{TED}$ (左) 及び $\mathrm{LCS}$ (右) の 関係.

## 3.5 妥当性と可制御性のトレードオフ

ここでは, 入力文の意味内容の保持と例文によ る操作性のトレードオフについて調べる. 図 2 に,生成結果を入力文と比較した Sentence-BERT 類似度 と，例文と比較した TED 及び LCS の関係を示す.

TED が低いほど例文の構文構造を反映しているこ ととなるため，図の右下にある点がより良い結果と なる. Seq2Seq の生成結果は，例文の情報を推論時 に全く使っていないため，当然例文との構造的な距離は大きい．SCPN は例文の句構造を推論時に用い てそれに沿った言い換えを出力するため，TEDの スコアが Seq 2 Seq と比較して小さくなっている. 提案手法の結果は， $\beta$ の値が増加するにつれて図中左下から右上に推移している. $\beta=1$ の結果をみると， SCPN の結果と Sentence-BERT 類似度はほぼ同じで あるにも関わらず，TEDがょり小さくなっている. すなわち，SCPN と比較してより良いトレードオフ を達成していることが確認できる.

LCS は高いほど例文の言い回しを含む文が生成で きていると言えるため，図の右上にある点がより良 い結果となる. 入力文との意味的な類似度を低下さ せず，LCS を高くできている。すなわち，言い換え としての品質を落とさないまま，語彙的にも例文に より近い文を生成できている。

## 4 おわりに

本研究では，例文を用いた制御可能な言い換え生成の手法を提案した，文のスタイルに関する情報の みを抽出するために，相互情報量に基づく損失関数 を導入した。評価用に，Quora データセットについ て例文のアノテーションを行った。

実験の結果，提案手法によって入力文の意味を保持しつつ例文のスタイルを持つような言い換えが生成できていることを定量・定性的に確認した.

## 参考文献

[1] Aaditya Prakash, Sadid A. Hasan, Kathy Lee, Vivek Datla, Ashequl Qadir, Joey Liu, and Oladimeji Farri. Neural paraphrase generation with stacked residual LSTM networks. In Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics: Technical Papers, pp. 2923-2934, Osaka, Japan, December 2016. The COLING 2016 Organizing Committee.

[2] Zichao Li, Xin Jiang, Lifeng Shang, and Hang Li. Paraphrase generation with deep reinforcement learning. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 3865-3878, Brussels, Belgium, October-November 2018. Association for Computational Linguistics.

[3] Mohit Iyyer, John Wieting, Kevin Gimpel, and Luke Zettlemoyer. Adversarial example generation with syntactically controlled paraphrase networks. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 18751885, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[4] Mingda Chen, Qingming Tang, Sam Wiseman, and Kevin Gimpel. Controllable paraphrase generation with a syntactic exemplar. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 59725984, Florence, Italy, July 2019. Association for Computational Linguistics.

[5] Pengyu Cheng, Martin Renqiang Min, Dinghan Shen, Christopher Malon, Yizhe Zhang, Yitong Li, and Lawrence Carin. Improving disentangled text representation learning with information-theoretic guidance. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7530-7541, Online, July 2020. Association for Computational Linguistics.

[6] Pengyu Cheng, Weituo Hao, Shuyang Dai, Jiachang Liu, Zhe Gan, and Lawrence Carin. CLUB: A contrastive logratio upper bound of mutual information. In Hal Daumé III and Aarti Singh, editors, Proceedings of the 37th International Conference on Machine Learning, Vol. 119 of Proceedings of Machine Learning Research, pp. 17791788, Virtual, 13-18 Jul 2020. PMLR.

[7] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. V. Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30, pp. 5998-6008. Curran Associates, Inc., 2017.

[8] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[9] Nils Reimers and Iryna Gurevych. Sentence-BERT: Sentence embeddings using Siamese BERT-networks. In
Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3982-3992, Hong Kong, China, November 2019. Association for Computational Linguistics.

[10] Chin-Yew Lin. ROUGE: A package for automatic evaluation of summaries. In Text Summarization Branches Out, pp. 74-81, Barcelona, Spain, July 2004. Association for Computational Linguistics.

[11] Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In 3rd International Conference on Learning Representations, ICLR 2015, San Diego, CA, USA, May 7-9, 2015, Conference Track Proceedings, 2015.

[12] Christopher Manning, Mihai Surdeanu, John Bauer, Jenny Finkel, Steven Bethard, and David McClosky. The Stanford CoreNLP natural language processing toolkit. In Proceedings of 52nd Annual Meeting of the Association for Computational Linguistics: System Demonstrations, pp. 55-60, Baltimore, Maryland, June 2014. Association for Computational Linguistics.

[13] Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, Brussels, Belgium, November 2018. Association for Computational Linguistics.

## A 作成したテストデータ

表 3 に，本研究で評価のために作成した例文の一部を，大力文及び参照文と共に示す.

表 3 評価用に用意した Quora のテストデータの一部. 作成した例文を太字で示している.

source Is the iPhone really more expensive? Why or why not?

reference Why is iPhone so expensive?

exemplar Why is mathematics so hard?

source

reference

exemplar

source

reference

exemplar

source

reference

exemplar

Why is UK better than USA?

Which country do you like the most, UK or USA? Why?

Which sports do you like the most, soccer or basketball? Why?

What are the movies worth watching after getting high ?

Which are the Best movies to watch after getting high?

Which are the best books to read after getting negative?

How many songs can a 16 GB iPhone hold -LRB- approximately -RRB- ?

How many songs does a 16 GB iPhone hold?

How many calories does a Dominos pizza have?

source

reference

exemplar

source

reference

exemplar

source

reference

exemplar

source

reference

exemplar

source

reference

Which are some of the most popular questions on Quora

with high number of followers?

Which question on Quora has the most followers?

Which province in Canada needs the most immigrants ?

What are the best tips to study philosophy?

What are the best tips to save money?

Why is space expanding?

How and why is space expanding?

How and why is history repeating?

How can I download Tor browser?

How do I download the Tor browser?

How do I find the dipole moment?

exemplar

What is the best question anyone has ever asked you ? How did you answer?

What is the best question you have ever been asked?

source

reference

exemplar

source

reference

exemplar

source

reference

exemplar

source

reference

exemplar

source

reference

exemplar What is the best joke you have ever heard?

Is it possible to make a time machine?

Can we create a time machine?

Can we survive a heart attack ?

How can we make money from YouTube?

How can you make money on YouTube?

How can you find people on Instagram?

Why China is threat to India?

Is China a threat to India?

Is Kngine a competitor to Google?

How do I get a Rhodes scholarship ?

What should I do to get a Rhode 's scholarship ?

What should I do to become an automobile engineer?

What are some ways to make more time?

How do I make more time?

How do I get more clients?
 杉浦昇太 $^{1}$ 西田典起 $^{2}$ 朱中元 $^{3}$ 中山英樹 ${ }^{1}$ 1 東京大学大学院 \{sugiura, nakayama\}@nlab.ci.i.u-tokyo.ac.jp 2 理化学研究所 AIP noriki.nishida@riken.jp ${ }^{3}$ NAVER AI Research shu.raphaelenavercorp.com  