# サーベイ論文自動生成に向けた 大規模ベンチマークデータセットの構築

笠西 哲 ${ }^{1}$ 磯沼 大 $^{1}$ 森 純一郎 ${ }^{1,2}$ 坂田 一郎 ${ }^{1}$
1 東京大学大学院 2 理研 AIP
kasanishi@ipr-ctr.t.u-tokyo.ac.jp isonuma@ipr-ctr.t.u-tokyo.ac.jp
mori@mi.u-tokyo.ac.jp isakata@ipr-ctr.t.u-tokyo.ac.jp

## 概要

サーベイ論文の自動生成は、自動文章要約におい て最も挑戦的なタスクの一つである。近年、大規模言語モデルによりサーベイ論文生成が挑まれている ものの、大規模データセットの欠如がその進歩の足枷となっている。本研究では、 1 万本超のサーベイ 論文と 69 万本超の被引用論文で構成されたサーベ イ論文生成データセットを公開する。本データセッ トをもとに、近年の Transformer 要約モデルをサー ベイ論文生成用に改良し、サーベイ論文生成の評価実験を行なった。人手評価により、モデルにより生成された要約の一部は人が作成したサーベイ論文と 遜色ないことが示された一方で、自動サーベイ論文生成の課題が明らかになった。

## 1 はじめに

科学論文ドメインの文書要約において、サーベ イ論文の自動生成は最も重要な課題の一つである。 サーベイ論文は、研究者によって過去の研究成果を 調査するために執筆される、複数の論文の要約であ る [1]。サーベイ論文の自動生成が実現すれば、研究者がこれまでサーベイ論文がなかった分野へ進出する際の大きな一助となる。しかし、これまでに サーベイ論文生成に取り組んだ研究はごく少数であ る。例えば、Taylor ら [2] は科学論文で学習を行っ た大規模言語モデルである GALACTICAを用いて、 サーベイ論文を自動生成するデモンストレーション を公開したが、内容の正確性について批判が寄せら れ、数日中に公開が中止された [3]。サーベイ論文生成タスクに利用可能な大規模データセットの不在 が、教師あり要約モデルの同タスクへの適用を困難 にし、サーベイ論文自動生成の障壁となっている。本研究は、10,269 本の論文からなるサーベイ論文

図 1 サーベイ論文自動生成タスクの概要

自動生成タスクのための大規模データセットを公開 し、サーベイ論文生成の研究を開拓する。図 1 に夕 スクの概要を示す。本研究では、サーベイ論文の章分けと各章で引用される論文が与えられた時に、章 ごとにそれらの論文を要約するタスクに取り組む。実際のサーベイ論文執筆では、引用する論文を選定 し、章構成を決定するというプロセスが必要だが、本研究はそれらのプロセスはスコープ外とし、章ご とに複数の論文を要約するプロセスに焦点を当てて サーベイ論文生成タスクの実験を行った。さらに、既存の Transformer ベースの要約モデルを拡張する ことで、タイトルや章タイトルを要約のクエリとし た複数文書要約としてサーベイ論文を生成するモデ ルを提案する。提案手法の生成文章に対して詳細な 人手評価を行い、サーベイ論文の完全な自動生成に 向けた今後の課題について議論する。

## 2 タスクとデータセット

## 2.1 サーベイ論文生成のタスク定義

出力 本研究ではサーベイ論文を章ごとに生成す るタスクを考える。これは、現在の要約モデルの殆 どが数百単語以下の短い要約文を生成するタスク [4][7] に適合しており、一般に数千単語以上の長さ となるサーベイ論文全文を現在の要約モデルで生成
表 1 Multi-News[4], Multi-XScience[5], MS^2[6] との比較。train/valid/test における参照要約の数、入力文章の合計の長さ (単語数)、参照要約の長さ（単語数)、入力文書の数、novel n-gram の割合を示す。

するのは困難なためである。

入カ 本タスクでは、被引用論文のアブストラク トおよびサーベイ論文のタイトル・章タイトルの情報を入力として用いる。ここで、被引用論文とは サーベイ論文の各章で引用されている論文を指す。被引用論文のアブストラクトは、被引用論文の内容 を表す主要な情報源として利用される。本来であれ ば被引用論文の本文を入力することが望ましいが、構築するデータセットにおいて本文情報が得られな い被引用論文が約 $30 \%$ 存在することを鑑みて、ア ブストラクトのみを入力とする問題設定とした。ま た、タイトル情報は、生成される各章でどのような 内容が記述されるのかを示唆する、いわば要約の方向性を示すクエリとしての機能を持つ。

## 2.2 データセットの構築

我々は、科学論文の大規模コーパスである S2ORC[8]を用いて、10,269 本のサーベイ論文から なるサーベイ論文生成タスクのデータセットを構築 した。構築方法の詳細は Appendix A に記載した。

## 2.3 データセットの統計

構築したデータセットと代表的な複数文書要約 のデータセットを比較した統計を表 1 に示す。ここ で、表中の novel n-gram とは、参照要約中の n-gram のうち入力文書中に含まれないものの割合を示し、 novel n-gram の割合が高いデータセットほど要約の 抽象度が高い [7]。我々のデータセットは他のデー タセットと比較して約 2 倍以上のデータ数を有し、 データドリブンなニューラル要約モデルにより適 したデータセットとなっている。さらに、我々の データセットは Multi-News や MS^2 と比較して novel n-gram の割合が高く、より抽象的要約手法に適した 難易度の高いタスクであることが示唆される。

## 3 実験

我々が提案したサーベイ論文データセットを用い て、文書要約モデルによるサーベイ論文生成の実験

\begin{abstract}
Cited paper 1
Literature review title <s> Chapter title <s> Abstract of paper 1 <s> BIB001 Cited paper 2
\end{abstract}

Literature review title <s> Chapter title <s> Abstract of paper 2 <s> BIB002

図 2 文書要約モデルへの入力データのフォーマット

を行う。本章では実験に使用するモデルについて述 べ、実装詳細については Appendix B に記載した。

## 3.1 ベースライン手法

ベースライン手法として、教師なし抽出型要約手法である LEAD と LexRank[9]、Transformer ベースの抽象型要約手法である Big Bird[10] と Fusion-in-Decoder[11]を使用する。Big Bird は、通常 の Transformer の Self-attention の計算を簡略化し、約 16,000 単語までの長文の入力に対応した Transformer モデルである。今回は、単文書要約タスクによ り arXiv データセット [12] で事前学習したモデル を、サーベイ論文データセットで fine-tuning して実験を行う。Fusion-in-Decoder (FiD) は、元々は Open domain question answering 用の複数文書を入力できる Transformer Encoder-Decoder モデルであるが、多文書要約タスクにも適用されている [6]。FiD は複数の文書を個別にエンコードして、その hidden_states を連結してデコーダーに入力し、一括で出力することで 文書間の関係性も考慮しながら複数文書を一度に処理できる。今回は、エンコーダとデコーダの初期重 みとして CNN/Daily Mail データセットで事前学習を 行った BART-Large モデルの重みを使用し、サーベ イ論文データセットで fine-tuning して実験を行う。 これらの要約モデルに入力するデータのフォーマッ トを図 2 に示す。今回は、サーベイ論文のタイトル と章タイトル、各被引用論文のアブストラクト、お よび異なる被引用論文を識別するための識別記号を 連結して入力する。Big Birdでは全ての被引用論文 の情報を連結してモデルに入力する。FiDでは各被引用論文の情報を Encoder に別々に入力する。

## 3.2 提案手法

本節では、前節で紹介した FiD を改良した我々の サーベイ論文生成モデルについて述べる。 3.1 節で 述べた通り、タイトル・章タイトルはサーベイ論文 の各章でどのような内容が記述されるのかを示唆 する、いわば要約の方向性を示すクエリとしての機能を持つ。これらのクエリとの類似度によって各被引用論文を重みづけし、よりクエリに沿った要約を 出力できるように FiDを改良した。具体的には、ク エリと各被引用論文のアブストラクトをそれぞれ Encoder に入力し、得られた hidden_states を average pooling したそれぞれのべクトルの内積をクエリと 各被引用論文の類似度とする。その類似度で各被引用論文の hidden_statesを重みづけして Decoderに入力することで、モデルにクエリと各被引用論文の類似度の情報を与えている。 $n$ 本の被引用論文の入力トークン列をそれぞれ $R_{1}, R_{2}, \ldots, R_{n}$ とし、それぞれの長さを $l_{1}, l_{2}, \ldots, l_{n}$ と する。タイトル・章タイトルを結合したクエリの トークン列を $Q$ とし、その長さを $l^{q}$ とする。BART Encoder を Enc とすると、 $m$ 番目の被引用論文、ク エリの hidden_statesがそれぞれ以下のように得ら れる。

$
\begin{aligned}
H_{m} \in \mathbb{R}^{M \times l_{m}} & =\operatorname{Enc}\left(R_{m}\right) \\
H^{q} \in \mathbb{R}^{M \times l^{q}} & =\operatorname{Enc}(Q)
\end{aligned}
$

ここで、 $M$ は hidden_states の行数であるが、BART の場合は $M=1024$ である。また、行列の各行の平均をとってべクトルを得る操作を Avgpool とする と、 $m$ 番目の被引用論文、クエリの特徴ベクトルを それぞれ以下のように得られる。

$
\begin{aligned}
\boldsymbol{h}_{m} \in \mathbb{R}^{M} & =\operatorname{Avgpool}\left(H_{m}\right) \\
\boldsymbol{h}^{q} \in \mathbb{R}^{M} & =\operatorname{Avgpool}\left(H^{q}\right)
\end{aligned}
$

そして、クエリと $m$ 番目の被引用論文の類似度 $w_{m}$ をこれらの内積として求め、 $w_{m}$ で重みづけした $H_{m}$ を結合して BART Decoder に入力することで、出力 となるサーベイ論文の章が得られる。

$
\begin{aligned}
w_{m} & =\operatorname{dot}\left(\boldsymbol{h}_{m}, \boldsymbol{h}^{q}\right) \\
\text { output } & =\operatorname{Dec}\left(\operatorname{concat}\left(w_{1} * H_{1} ; \ldots ; w_{n} * H_{n}\right)\right)
\end{aligned}
$

ここで、dot は内積、concat は行方向に行列を結合す る操作、*は行列の各要素にスカラー値をかける操作、Dec は BART Decoderを表す。表 2 ベースライン手法と提案手法の ROUGE スコアによ る自動評価の結果

## 4 結果

本章では、ベースライン手法と提案手法を用いた サーベイ論文生成実験の結果について述べる。

## 4.1 ROUGE スコアによる自動評価

ベースライン手法と提案手法の ROUGE スコアを 表 2 に示す。表 2 より、BigBird のスコアが FiDより も低く、LEAD や LexRank と同程度であることが分 かる。長文の入力に対応した単文書要約モデルであ る BigBird を fine-tuning するのみでは性能が著しく 低いことから、サーベイ論文生成が通常の文書要約 と比較してより難易度の高いタスクであることが示唆される。また、我々の改良手法とべースラインの FiD を比較すると、改良手法のスコアが高いことが わかる。我々の改良手法がタイトル・章タイトルを 要約のクエリとして考慮することで、より適切な文章を生成できていることが確認された。

## 4.2 人手評価

1 年以上の研究経験を有する画像処理研究従事者 3 人に生成文章の人手評価を依頼し、評価対象と して画像処理分野の 5 本のサーベイ論文中の 30 章 を選定した $[13,14,15,16,17]$ 。これらの論文は、学習・検証用データセット中のいずれのサーベイ論文 とも被引用論文の重複が $20 \%$ 未満である。評価項目 として以下の 5 つを定め、各項目について提案手法 によって生成された章と実際のサーベイ論文の章の どちらが優れているか、あるいは同程度であるかの 3 段階で評価するように依頼した。評価者は、提示 された 2 つの章のうちどちらが実際のサーベイ論文 であるかを伏せられた状態で評価した。

・Relevance: 文章がタイトル・章タイトルと関連 しているか
- Coherence: 文章に一貫性があり、情報が構造化 されているか
表 3 提案手法の生成文章と実際のサーベイ論文を比較した人手評価の結果

図 3 Overall score で高い評価が得られた生成章の例

・Informativeness: 一般的な情報だけではなく、引用文献に関する具体的な情報を記述しているか

・ Factuality: 入力アブストラクトと矛盾する情報 や、事実に反する情報がないか

・Overall score: 全体的なサーベイ論文としての完成度

人手評価の結果を表 3 に示す。数値は、各指標について実際のサーベイ論文の章が優れて いる (Human > Machine-Generated)、同程度である (Comparable)、生成された章が優れている（MachineGenerated > Human）と評価された割合を示してい る。Relevance に関しては、生成された章が優れて いる、もしくは同程度であると評価された割合の合計が約 $75 \%$ 達しており、提案手法が要約のクエ リを適切に考慮でき、おおむね実際のサーベイ論文と遜色なくタイトル・章タイトルと関連した文章を生成できていることが明らかとなった。また、 Factuality に関しては、生成された章が優れている、 もしくは同程度であると評価された割合の合計が $60 \%$ に達しており、おおむね半分以上の生成文章で 実際のサーベイ論文と同程度以上に誤りのない記述を生成できていることが明らかとなった。一方、 Informativeness に関しては生成された章が優れてい る、もしくは同程度であると評価された割合の合計 が約 36\%にとどまっており、引用文献に関する具体的な情報を記述できているかという点では、生成文章は実際のサーベイ論文に及んでいないといえる。
そして、Overall score に関しては、生成された章 が優れていると評価された割合が $22.2 \%$ に達してい る。これは、生成された文章のほうが本物のサーべ イ論文よりも「サーベイ論文らしい」という例が一定程度存在することを示しており、非常に興味深 い結果であるといえる。Overall score で 2 人の評価者に優れていると評価された生成章の例を図 3 に 示す。図3より、生成文章は “Progressive Upsampling Super-resolution” について一貫した流暢な説明がで きていることが分かる。

## 4.3 今後の方向性

第 4.2 節の人手評価の結果、生成文章が優れている と評価された割合が特に少ないのは Informativeness と Factuality の項目であった。これは、被引用論文 の情報としてアブストラクトのみを入力している ため、参照要約が大力文書にない情報を含むこと が原因であると考えられる [18]。このため、アブ ストラクトのみならず本文や本データセットで利用可能な引用文などの追加情報を入力することで、 Informativeness と Factualityをともに改善できると考 えられる。

本研究では、人手評価において生成文章が全体的 に優れていると評価された割合が $20 \%$ 以上に達する など、サーベイ論文の自動生成に向けた第一歩とし て有望な結果を示した。一方で、具体的な情報の欠如や誤った情報の出力など、未解決の重要な課題も 明らかになった。現状の性能においては、サーベイ 論文の執筆時に草稿を自動生成するツールなど、人間による修正を前提とした応用が期待される。

## 5 おわりに

本研究では、サーベイ論文自動生成タスクとその ための大規模なデータセットを提案し、さらに同タ スクに適した文書要約手法を提案した。人手評価を 含む詳細な実験により、同タスクの課題と今後の方向性を明らかにした。本研究が、サーベイ論文生成 という挑戦的な課題に取り組む今後の研究の基礎と なることを願う。

## 謝辞

本研究は、NEDO JPNP20006、JST ACT-X JPMJAX1904 及び JST CREST JPMJCR21D1 の支援を受 けたものである。

## 参考文献

[1] Kokil Jaidka, Christopher Khoo, and Jin-Cheon Na. Deconstructing human literature reviews - a framework for multi-document summarization. In Proceedings of the 14th European Workshop on Natural Language Generation, pp. 125-135, Sofia, Bulgaria, August 2013. Association for Computational Linguistics.

[2] Ross Taylor, Marcin Kardas, Guillem Cucurull, Thomas Scialom, Anthony Hartshorn, Elvis Saravia, Andrew Poulton, Viktor Kerkez, and Robert Stojnic. Galactica: A large language model for science. arXiv preprint arXiv:2211.09085, 2022.

[3] Ross Taylor, Marcin Kardas, Guillem Cucurull, Thomas Scialom, Anthony Hartshorn, Elvis Saravia, Andrew Poulton, Viktor Kerkez, and Robert Stojnic. Galactica demo. https://galactica.org/, 2022. (Accessed on 12/26/2022)

[4] Alexander Fabbri, Irene Li, Tianwei She, Suyi Li, and Dragomir Radev. Multi-news: A large-scale multidocument summarization dataset and abstractive hierarchical model. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 1074-1084, Florence, Italy, July 2019. Association for Computational Linguistics.

[5] Yao Lu, Yue Dong, and Laurent Charlin. Multi-XScience: A large-scale dataset for extreme multi-document summarization of scientific articles. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 8068-8074, Online, November 2020. Association for Computational Linguistics.

[6] Jay DeYoung, Iz Beltagy, Madeleine van Zuylen, Bailey Kuehl, and Lucy Wang. MS^2: Multi-document summarization of medical studies. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 7494-7513, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[7] Shashi Narayan, Shay B. Cohen, and Mirella Lapata. Don't give me the details, just the summary! topic-aware convolutional neural networks for extreme summarization. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 17971807, Brussels, Belgium, October-November 2018. Association for Computational Linguistics.

[8] Kyle Lo, Lucy Lu Wang, Mark Neumann, Rodney Kinney, and Daniel Weld. S2ORC: The semantic scholar open research corpus. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 4969-4983, Online, July 2020. Association for Computational Linguistics.
[9] Günes Erkan and Dragomir R Radev. Lexrank: Graphbased lexical centrality as salience in text summarization. Journal of artificial intelligence research, Vol. 22, pp. 457-479, 2004.

[10] Manzil Zaheer, Guru Guruganesh, Kumar Avinava Dubey, Joshua Ainslie, Chris Alberti, Santiago Ontanon, Philip Pham, Anirudh Ravula, Qifan Wang, Li Yang, et al. Big bird: Transformers for longer sequences. Advances in Neural Information Processing Systems, Vol. 33, pp. 17283-17297, 2020.

[11] Gautier Izacard and Edouard Grave. Leveraging passage retrieval with generative models for open domain question answering. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, pp. 874880, Online, April 2021. Association for Computational Linguistics.

[12] Arman Cohan, Franck Dernoncourt, Doo Soon Kim, Trung Bui, Seokhwan Kim, Walter Chang, and Nazli Goharian. A discourse-aware attention model for abstractive summarization of long documents. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers), pp. 615-621, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[13] Zhihao Wang, Jian Chen, and Steven CH Hoi. Deep learning for image super-resolution: A survey. IEEE transactions on pattern analysis and machine intelligence, Vol. 43, No. 10, pp. 3365-3387, 2020.

[14] Licheng Jiao and Jin Zhao. A survey on the new generation of deep learning in image processing. IEEE Access, Vol. 7, pp. 172231-172263, 2019.

[15] MD Zakir Hossain, Ferdous Sohel, Mohd Fairuz Shiratuddin, and Hamid Laga. A comprehensive survey of deep learning for image captioning. ACM Computing Surveys, Vol. 51, No. 6, pp. 1-36, 2019.

[16] Hamid Laga. A survey on deep learning architectures for image-based depth reconstruction. arXiv preprint arXiv:1906.06113, 2019.

[17] Chunwei Tian, Lunke Fei, Wenxian Zheng, Yong Xu, Wangmeng Zuo, and Chia-Wen Lin. Deep learning on image denoising: An overview. Neural Networks, Vol. 131, pp. 251-275, 2020.

[18] Ziwei Ji, Nayeon Lee, Rita Frieske, Tiezheng Yu, Dan $\mathrm{Su}$, Yan Xu, Etsuko Ishii, Yejin Bang, Andrea Madotto, and Pascale Fung. Survey of hallucination in natural language generation. ACM Computing Surveys, 2022. Just Accepted.

[19] Iz Beltagy, Kyle Lo, and Arman Cohan. SciBERT: A pretrained language model for scientific text. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3615-3620, Hong Kong, China, November 2019. Association for Computational Linguistics.

## A データセット構築手法の詳細

我々のデータセットは、タイトル、章タイトル、 アブストラクト、本文情報、さらには引用情報を 含んだ科学論文の大規模コーパス S2ORC[8]を使用 して構築された。まず、サーベイ論文の候補とし て、Computer Science 分野の論文の中から “survey”, “overview", "literature review", “a review” のいずれか をタイトルに含み、かつ本文情報にアクセスできる 論文を抽出した。これによって、13,984 本の論文が サーベイ論文の候補として得られた。

これらの候補の中にはサーベイ論文として適切ではない論文が含まれているため、候補から サーベイ論文として適切な論文を抽出するための SciBERT[19] ベースのサーベイ論文分類器を学習し た。まず、コンピュータサイエンスの研究に従事し ている大学院生に、候補論文のうち 889 本の論文に ついて、サーベイ論文として適切かどうかを以下の 基準でアノテーションするように依頼した。

・複数の科学論文をレビューしていること

一一般的なツールや書籍、記事をレビューし ていないこと
- 特定のプロジェクトや Shared Tasks の解説 を行っていないこと
- 文献レビューのみを行っており、新規手法の提案・先行研究の再実験・アンケート等をしてい ないこと（＝引用文献の情報だけでは原理的に 生成不可能な情報が含まれていないこと）

アノテーターは、候補論文のタイトルとアブスト ラクトを対象として上記の基準でアノテーション を行い、 3 人のアノテーターのうち 2 人以上が一致 した判断を採用することで最終的なアノテーショ ン結果を得た。アノテーションによって、候補論文 889 本のうち 583 本が適切、 306 本が不適切とし て分類され、Fleiss'kappa $=0.65$ となった。このア ノテーション結果を train:valid:test=589:150:150 に分 け、SciBERTを fine-tuning してサーベイ論文分類器 を学習した。その結果、accuracy $=89 \%$, precision $=$ $88 \%$, recall $=97 \%, f 1=92 \%$ の精度を持つサーベイ 論文分類器を学習できた。このサーベイ論文分類器を使用して、候補論文からサーベイ論文として 適切な論文を抽出したところ、698,049 本の被引用論文と 210,049 章を含む 10,269 本のサーベイ論文が 残った。最後に、これらのサーベイ論文の合計 210,049 章 のうち、S2ORC の引用データを利用して被引用論文のアブストラクトを合計 1 本以下しか抽出できな かった章を除外したところ、664,319 本の被引用論文と 94,795 章を含む 9,607 本のサーベイ論文が残っ た。これらの操作によって、被引用論文のアブスト ラクトとサーベイ論文のタイトル・章タイトルを入力とし、サーベイ論文の各章を生成するタスクの データセットを作成した。

## B 実装詳細

モデルは PyTorch ${ }^{1)}$ と HuggingFace Transformers ${ }^{2)}$ を用いて実装された。BigBird の初期重みは google/bigbird-pegasus-large-arxiv) を、FiD の初期重 みは facebook/bart-large-cnn ${ }^{4}$ を使用した。文書要約 モデルはいずれもサーベイ論文データセット で 10epoch 学習を行い、検証時に ROUGE-2 スコ アが最も高くなった epoch のモデルを評価に使用した。なお、今回は実験時間の都合上、検証用 データセットの 8,217 章からランダムに 1,000 章 サンプリングしたデータを使用して評価を行っ た。学習の optimizer は AdamWを使用し、 $\beta_{1}=0.9$, $\beta_{2}=0.999, l r=5 e-05$ とした。モデルの出力は beamsize $=4$ のビームサーチによってデコードされ、 maximumgenerationlength $=256$ とした。なお、FiDで は各被引用論文の入力が最大 1024 単語になるよう に入力を切り詰めている。

 笠西 哲 ${ }^{1}$ 磯沼 大 $^{1}$ 森 純一郎 ${ }^{1,2}$ 坂田 一郎 ${ }^{1}$ 1 東京大学大学院 2 理研 AIP kasanishi@ipr-ctr.t.u-tokyo.ac.jp isonuma@ipr-ctr.t.u-tokyo.ac.jp mori@mi.u-tokyo.ac.jp isakata@ipr-ctr.t.u-tokyo.ac.jp  