# 情報通信研究機構ユニバーサルコミュニケーション研究所の紹介隅田英一郎 $\dagger \cdot$ 大竹 清敬 $\dagger \cdot$ 内元 清貴 $\dagger$
## 1 ユニバーサルコミュニケーション研究所の紹介

国立研究開発法人情報通信研究機構 (NICT) ユニバーサルコミュニケーション研究所 (UCRI) では，誰もが分かり合えるユニバーサルコミユニケーションの実現を目指して，日本語を中心として分野に特化した高品質・大規模データベースを構築し，その基盤を活用した，「多言語」，「対話」，「行動支援」に関する 3 つのコア技術，及び，コミュニケーションの質を向上させる技術の研究開発とそれらの技術の社会実装に取り組んでいます。その際, 重視しているのは「研普両道」すなわち「研究」と「普及」の両立です. 研究開発においては，前例にとらわれない才ンリーワン／ナンバーワンのコア技術を創出し，その技術を，広く使っていただる普遍の技術として研ぎ澄ませます。そして，それらの技術を活用した実証／実用システムを産学官の力を結集して開発・展開し，社会実装に繋げるとともに，社会で生み出された知識源を研究開発ヘフィードバックします。この研究開発と社会実装を循環するポジティブスパイラルを実現することにより，コア技術を世の中で普通に使われる技術とすることを目指します.そして，これにより，国際ビジネス，高齢者ケア，環境リスク低減等における言葉の壁・知識の壁・デー 夕利活用の壁をなくし, 社会課題の解決や新たな価値創造等に貢献します.

本稿では，UCRIにおいて，「対話（自然言語処理全般 $)\rfloor$ と多言語（機械翻訳)」に関する技術の研究開発を担うセンター, 研究室の取り組みを紹介します.

## 2 データ駆動知能システム研究センターの紹介

本節では, NICT-UCRI データ駆動知能システム研究センター (DIRECT) とその成果について紹介します。

【DIRECT の概要】DIRECT は研究者が 10 名ほどの比較的小さな組織ですが，研究開発を支援する技術員，プログラマが 15 名ほど，そして，近年の自然言語処理には必要不可欠な学習データ作成のための作業員が常時数十名在籍していることが特徴の組織です。 2021 年度から,東京都小金井市にある NICT の本部に支所を開設し, 在宅勤務が標準となりつつありますが,東京とけいはんなの 2 拠点体制で研究開発を実施しています.

【DIRECT の研究開発の特徴】DIRECT では, 基礎研究から応用まで一気通貫で実施できる研究開発体制で，実際に社会課題解決に貢献可能な技術・システムの研究開発に取り組んでいます。そういった技術・システムの研究開発には，対象課題の専門家，しかも自然言語処理や AI に関するビジョンを共有できる専門家の協力が必要不可欠ですが，このような専門家と密にコミュニケーションをとりながら研究開発を推進します. 社会課題解決に注力すると，論文が書けないのではないかと心配されるかもしれませんが，NICTでは，研究者の論文執筆以外のアクティビティを積極的に認める柔軟な評価制度があり，社会課題解決に貢献できる技術・システムを創りたいと考える研究者・技術者にとって非常に活動しやすい場となっています. な押,最近は社会課題解決に集中しているため，論文発表は少なめではありますが，過去 15 年ほどで ACL, AAAI 等のトップカンファレンスで 30 本ほどのロングペーパーを発表し，日本オープンイノベーション大賞, 日本学術振興会賞, 文部科学大臣表彰, Twitter Data Grants, PyTorch Annual Hackathon 第一位等の名だたる賞を多数受賞しています。また，過去 10 年で NHK スペシャルや一般紙 1 面を含め 362 件の報道がなされています。研究環境としては, 独自に収集した 400 億件以上の Web ページや, NVIDIA の最新の A100を含め，多数の GPGPU など，日本の公的機関では最大規模の言語データ，計算資源を有しています。

【初期の成果】 DIRECT の初期の成果としては, 大規模 Web 情報分析システム WISDOM X と対災害 SNS 情報分析システム DISAANA があります。いずれのシステムも 2015 年から，ネット上で試験公開しています. WISDOM X は，通常の検索エンジンとは異なり，入力の質問に対する端的な回答の候補を Web 40 億ページの情報に基づいて提示します.「AIってどんな社会問題の解決に使えるかな？といった，回答が名詞となるいわゆる「ファクトイド」型質問に対してだけでなく,「なぜギリシャで哲学が始まった？」「地球温暖化が進むとどうなる」のように文で答えるタイプの「ノンファクトイド」型質問にも，回答の候補を場合によっては数百件，瞬時に提示し，ロングテールも含めて関連情報のより網羅的な把握を容易にします。DISAANA は WISDOM X の技術を減災という目的にチューニングする形で開発され，大規模災害時に Twitter 上に発信される膨大な被災報告を分析し，WISDOM X と同様に質問応答するとともに地図上に回答を可視化するシステムです。

【成果の進化と社会実装】これらのシステムはその後, 大量のWebテキストを用いて事前学習した BERT 等を用いたWISDOM X 深層学習版1, 質問を入力しなくてもTwitter に発信された情報から災害の被害状況を整理，要約した形で提供する，災害状況要約システム D-SUMM², LINE の上で被災者とチャットし，被災情報の収集や避難支援を行う防災チャットボット $\mathrm{SOCDA}^{3}$ に

進化しています．DISAANA，D-SUMM，SOCDA に関しては民間企業へのライセンスを実施し，商用サービスが開始され，実災害でも自治体等において活用されています。

【MICSUS の研究開発】また，近年では内閣府 SIP 第二期の支援のもと，人材が逼迫していると言われる介護職の負担を軽減するために，要支援等の高齢者の健康状態チェックを AIによる対話を介して行うマルチモーダル音声対話システム MICSUS 4 を KDDI 株式会社, NECソリュー ションイノベータ株式会社，株式会社日本総合研究所と共同で研究開発しています. MICSUS は，健康状態チェックのための対話に加えてWISDOM X の技術を使い，Webの情報を用いた雑談も行う他，カメラで撮影したユーザの表情等から感情やジェスチャーを認識して対話で活用します。最新のシステムは 250 万件の人手作成の学習データを用い， 43 件の異なるタスクを実行する BERT で様々な意味解釈を行いつつ，対話を進めます。介護の専門家と密接に連携しつつ開発を進め，高齢者と長期にわたり対話を行う実験でも良好な結果を得ています。また，高齢者を対象とした 10 年間の追跡調査 (斉藤他 2015) によれば，コミュニケーション頻度が認知症の発症, 要介護度の進展, さらには死亡の可能性と有意に相関していることがわかっています. MICSUS との対話は，こうしたコミュニケーション不足，さらには近年注目を浴びている孤独の問題の解消とまではいかないもののその抑制にも貢献できる可能性があるのではないかと考えています.

【研究開発を支えるミドルウエアの開発】これまでに紹介してきたシステムを開発する際の苦労話については, 別稿 (鳥澤 2021) で述べられているので, ご興味のある方はご覧ください. また, DIRECTでは, こういった大規模システムの開発をローコストで行うためのソフトウエア群も開発しています。まず，東京大学と共同で並列分散処理ミドルウェア $\operatorname{RaSC}^{5}$ を開発しました。これは OS，並列処理等に詳しくない AI の研究者が各自の好みの環境で作成したプログラム群をストリーム接続してパイプラインを構成し, 死活管理等も含めて数百台規模の計算機で並列に安定稼働させます。上記のいずれのシステムもこれなしでは開発できませんでした.同じく東京大学と共同で開発した自動並列化深層学習ミドルウェア RaNNC ${ }^{6}$ は, PyTorch で記述されたニューラルネットワークを自動で分割し，複数の GPUを用いた並列処理によって GPT-3 のような超大規模なニューラルネットワークを高速に学習するためのミドルウェアです. RaNNC は, Transformer に限らず, 画像処理用の大規模な CNN 等, 様々なニューラルネットワークに関し GPT-3 と同じレベルの 2,000 億パラメータまで対応できます. DIRECT では， Transformer, CNN, 敵対的学習を組み合わせた BERTAC7等, Transformer を超えるアーキテクチヤの検討も進めています。なお，RaNNC は，ニューラルネットを記述するためのソフト
^{7}$ https://github.com/nict-wisdom/bertac にてソフトウエアを公開中. 詳細な内容については, Oh ら (Oh et al. 2021)を参照ください.
}

ウエアである PyTorch の開発元である Facebook が主催する, PyTorch Annual Hackathon 2021 において, First Place（第1位, PyTorch Developer Tools \& Libraries 部門）を受賞しました. RaSC，RaNNC のいずれのソフトウェアも脚注に示した URL で公開していますので興味のある方はお試しください.

【まとめ】以上に述べた通り，DIRECT では，自然言語処理における基礎的な研究開発から，社会課題の解決に直結する具体的な応用研究, 開発まで小さな所帯で効率的に実施しています.

## 3 先進的翻訳技術研究室の紹介

本節では, NICT-UCRI 先進的音声翻訳研究開発推進センター (ASTREC) 先進的翻訳技術研究室の紹介をします。

【先進的翻訳技術研究室の概要】当研究室では，世界の「言葉の壁」を解消し，グローバルで自由な交流を実現することをミッションとした多言語機械翻訳技術の研究開発と社会実装に取り組んでいます。当研究室には, 20 人程度の研究員・技術員が在籍しており, 日本人研究員・技術員だけでなく，今までに，英国，フランス，ドイッ，インド，中国，ベトナム，カンボジア，ミャンマー等からも外国人研究員・技術員・インターンが来ています。また, 当室在籍中に博士課程に通ったり, 博士課程在学中に半年以上の当室インターンを経験し, 最先端の研究開発を担いつつ，博士号を取得した人はこれまで 10 人以上に上ります。当研究室の研究成果の一覧は論文リスト8をご参照ください，代表例としては， ACL-IJCNLP 2021 で Outstanding Paper Award を受賞した論文 (Marie et al. 2021) や 2020 年言語処理学会論文賞を受賞した論文 (Ma et al. 2020a; Higashiyama et al. 2020; Ma et al. 2020b) があります.

【言語資源】当研究室では, 対訳コーパス等の言語資源も公開しています9. 特に, Asian Language Treebank (ALT) Project ${ }^{10}$ では, English Wikinews から抽出した約 2 万文の英文を 13 言語に翻訳した対訳コーパスを一般に公開しています. ALT 対訳コーパスは, Workshop on Asian Translation (WAT) など, 低言語資源機械翻訳の研究に広く活用されています。また, 遡って, 2007 年には, 180 万文規模の世界初の大規模特許日英対訳コーパスを研究開発し (Utiyama and Isahara 2007), さらに, 近年の日英機械翻訳研究で広く使われている ASPEC (Asian Scientific Paper Excerpt Corpus)(Nakazawa et al. 2016)の開発にも参加しています.

【VoiceTra/TexTra の開発】当研究室では, 機械翻訳について, 基礎研究から実用化までのスペクトラムで研究を進めています。機械翻訳は，高精度ならドンドン使いたくなるし精度がまあまあでも役に立つ場面が多く，専門家以外（言い換えると研究の受益者あるいはスポンサー）


に有用性が分かりやすく，自然言語処理技術の応用の中でもキラー・アプリと言えます.より具体的には, 当室には, 音声翻訳のスマホ・アプリである「VoiceTra」11やテキスト翻訳の WEB 上のトライアウトである「みんなの自動翻訳@TexTra」12があって, 利用者と研究者のタッチポイントとして機能しています。様々な基礎技術を一般に届けることができますし，逆に，利用者から様々な形で基礎技術へのフィードバックも得られ，新たなテーマの発見につながることもあります. 自分の作ったアルゴリズムが実社会で使ってもらえ役立っていることを実感できるのも，万人がスマホや PC を持ちネットワークが高速である 21 世紀において自然言語処理の研究をする醍醐味の一つでしょう，例えば，TexTra はオープンソースソフトウェア (OSS)のコミュニティで，OSS のドキュメントの日本語化に役立てていただいています。その過程で新たに作られた対訳は NICT が運営する対訳データの集積庫である翻訳バンク13にご提供いたたいています。翻訳バンクに基づいて高精度化した機械翻訳を再度，OSSコミュニティに使っていただきます.このようにTexTra と翻訳バンクで対訳データのエコ・システムを形成しています. さらに, 最近は機械翻訳の精度が高くなったので, 研究室内で日常的に活用しています.日本人の研究者は英文の論文を TexTra で母語である日本語に変換して効率的に読むメリットを享受していますし, 研究室内の事務的な告知は Slack に日本語で投げておくと外国人研究者は TexTraで手軽に読めるので，日本語中心の日本の組織の中でも情報を取得できます. Slack アプリ14はとても便利なので，ぜひお試しください.

【まとめ】本研究室は, 機械翻訳という一つのテーマに特化したユニークな研究室です。世界各国からの研究員が在籍し, 基礎研究から実用システムの提供まで続けています. 大学とも企業とも違う国立研究開発法人の研究室の一例をご紹介しました.

## 参考文献

Higashiyama, S., Utiyama, M., Sumita, E., Ideuchi, M., Oida, Y., Sakamoto, Y., Okada, I., and Matsumoto, Y. (2020). “Character-to-Word Attention for Word Segmentation." 自然言語処理, 27 (3), pp. 499-530.

Ma, C., Tamura, A., Utiyama, M., Sumita, E., and Zhao, T. (2020a). "Syntax-based Transformer for Neural Machine Translation.” 自然言語処理, 27 (2), pp. 445-466.

Ma, C., Tamura, A., Utiyama, M., Zhao, T., and Sumita, E. (2020b). "Encoder-Decoder Attention $\neq$ Word Alignment: Axiomatic Method of Learning Word Alignments for Neural Machine Translation.” 自然言語処理, 27 (3), pp. 531-552.


Marie, B., Fujita, A., and Rubino, R. (2021). "Scientific Credibility of Machine Translation Research: A Meta-Evaluation of 769 Papers." In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 7297-7306.

Nakazawa, T., Yaguchi, M., Uchimoto, K., Utiyama, M., Sumita, E., Kurohashi, S., and Isahara, H. (2016). "ASPEC: Asian Scientific Paper Excerpt Corpus." In Proceedings of the 10th International Conference on Language Resources and Evaluation (LREC'16), pp. 2204-2208.

Oh, J.-H., Iida, R., Kloetzer, J., and Torisawa, K. (2021). "BERTAC: Enhancing Transformerbased Language Models with Adversarially Pretrained Convolutional Neural Networks." In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 2103-2115.

斉藤雅茂, 近藤克則, 尾島俊之, 平井寛 (2015). 健康指標との関連からみた高齢者の社会的孤立基準の検討 10 年間の AGES コホートより. 日本公衆衛生雑誌, 62 (3), pp. 95-105. [M. Saito et al. (2015). Criteria for Social Isolation Based on Associations with Health Indicators among Older People A 10-year follow-up of the Aichi Gerontological Evaluation Study. Nihon Koshu Eisei Zasshi (Japanese Journal of Public Health), 62 (3), pp. 95-105.].

鳥澤健太郎 (2021). 社会課題解決に貢献する自然言語処理技術の社会実装と展開一AIでの人助けに何が必要か—. 情報処理学会学会誌「情報処理」,62 (6), pp. e27-e33. [K. Torisawa (2021). Natural Language Processing Technologies for Solving Social Issues - What is Needed for Assisting People with AI? -. IPSJ magazine, 62(6), e27-e33.].

Utiyama, M. and Isahara, H. (2007). "A Japanese-English Patent Parallel Corpus." In Proceedings of Machine Translation Summit XI: Papers.

## 略歴

隅田英一郎：京都大学博士（工学）。日本アイ・ビー・エム（株），（株）国際電気通信基礎技術研究所を経て,（国研）情報通信研究機構に勤務。（一社）アジア太平洋機械翻訳協会会長を兼務.

大竹清敬：豊橋技術科学大学博士（工学）（株）国際電気通信基礎技術研究所を経て, (国研) 情報通信研究機構に勤務. 現在, NICT UCRI DIRECT 研究センター長. Twitter Data Grants, 日本オープンイノベーション大賞総務大臣賞等受賞.

内元清貴: 京都大学博士 (情報学). 郵政省通信総合研究所 (現 NICT) 入所後,内閣府出向を経て, (国研) 情報通信研究機構 (NICT) に勤務. 現在, NICT ユニバーサルコミュニケーション研究所研究所長.