# 書籍紹介『IT Text 自然言語処理の基礎」

小田悠介 ${ }^{\dagger, \dagger \dagger}$

## 1 はじめに

本記事は, 2022 年 8 月 24 日に発売された書籍『IT Text 自然言語処理の基礎』(情報処理学会編，岡崎直観・荒瀬由紀・鈴木潤・鶴岡慶雅・宮尾祐介著, オーム社, ISBN 978-4-274-22900-8) の紹介記事である。本書が出版された時期に本誌編集委員会で話題があり，本記事の著者が紹介記事の作成を承った。

本書は 2022 年時点までの手法的な側面を中心に，自然言語処理関係の技術を広く紹介した教科書として構成されている。自然言語処理における他の主要な教科書と比較して本書に特徵的なのは，一部の章を除く紙面の大半が深層学習に関する内容で構成されている点である。本書中では既存の書籍に記載のない事項を優先したと述べられているが，現時点での自然言語処理を取り巻く状況を鑑みても妥当な構成であると思われる.

本誌の読者はご存知のように， 2022 年時点での自然言語処理技術は，おおよそ 2013 年の Word2Vec の登場を境として, 多数のタスクにおいて深層学習に基づく手法が標準的に採用されるという研究動向の変化が生じている。深層学習が導入されてからの業界の発展は目覚ましく，ほぼ毎月のように新たな手法が登場し，既存の結果を更新するといった様相を呈するまでになった.このように発展の著しい中で，本書以前にも深層学習を中心に据えた日本語書籍は何点か出版されているが，教科書として十分な網羅性を提供するという意味では本書が初であると思われる。

本書の出版時点では，過去に乱立していた数々のモデル構造が実質的に Transformer に統一されるなど，深層学習を用いた手法の整理整頓も進みつつある。こういった状況を俯瞰する点においても，本書は教科書として適した時期に出版されたのではないかと思われる.

ただし当然のことながら，本書の出版に前後する時期の話題については取扱われていない点には注意が必要である。たとえば 2022 年の後半には, 自然言語からの高品質な画像生成や, GPT を応用した高機能な対話システムの登場により，技術に直接関わりのない層まで含めて大変な話題になるという現象が発生した。これに関連して，技術的にはマルチモダリティやプロンプトといったトピックでの研究が活発になりつつあるが，これらについての解説は本書全体から


すれば非常に僅かである.

## 2 本書の内容構成

本書の全体的な構成を図 1 に示す。具体的な複数部構成を採用しているわけではないが，本書はおおよそ下記の 4 部で構成されていると考えられる.

基礎知識（1,2 章） 1 章は自然言語処理に関する一般的な用語や概念の説明， 2 章は以後の章で頻出する機械学習に関する基本的な知識の説明となっており, 本書を読み進めるにあたって前提となる知識を復習する章である。記述量の関係上，本章のみでこれらの内容に習熟するのは難しいため, これらについて個別に学習が必要な読者は副読書を用意するのが望ましい.深層学習の要素技術（3７章） これらの章では，深層学習（ニューラルネットワーク）に基づく自然言語処理の基本的なモデル構造の解説が行われている。各章の内容は単語ベクトル（3 章), RNN と CNN (4 章), 言語モデルと sequence-to-sequence モデル (5 章), Transformer (6 章), および事前学習と転移学習 ( 7 章) であり, 最近 10 年の自然言語処理の発展をほぼそのまま振り返るような構成となっている。このような都合上，各章は前章までの内容を概ね踏まえて発展させる形の解説となっており，初学者はこの順序のまま読み進めるのが望ましいと思われる。

## 章の取扱う内容

## 共通の語彙や概念の説明

線形モデル・ニューラルネットワーク

人手設計の素性関数 $\cdot$ Word2Vec $\cdot$ FastText

$\mathrm{RNN} \cdot \mathrm{LSTM} \cdot \mathrm{GRU} \cdot \mathrm{CNN}$

n-gram言語モデル・順方向NNLM・RNNLM $\cdot$ encoder-decoder $\cdot$ attention

Transformerの各種構成要素の解説・Transformerモデルの学習方法

GPT $\cdot$ BERT $\cdot$ BART

点予測・CRF

句構造解析 $\cdot$ 依存構造解析 $\cdot$ CKY法 $\cdot$ shift-reduce法 $\cdot$ 全域木法

含意関係認識・述語項構造解析 $\cdot$ CCG

機械翻訳・質問応答・対話システム・自然言語処理の歴史と展望

図 1 書籍『IT Text 自然言語処理の基礎』の構成
自然言語処理固有の要素技術（8～10 章） 自然言語処理の具体的な要素技術である系列ラべリング ( 8 章), 構文解析 $(9$ 章), 意味解析 (10 章) について解説している. これらの章では一転して, 深層学習からはやや独立したタスク固有の解法やデータ構造について詳細に論じられている，他の章とは独立して参照することが可能である一方，論理学やアルゴリズムに関する知識が別途要求される。これらの知識は深層学習と全く無関係というわけではなく, しばしばモデルの設計時に参考にされる場合があり，依然として学習する意義は高いと思われる．例えば 8 章で紹介される点予測は事前学習モデルに結合する出力層として深層学習でも頻繁に用いられるが，本書でも述べられるように点予測には一般的な限界が存在する. こういった特徵を知ることはモデルへの過剰な期待を抑制し，タスクに対して妥当な設計を採用する指針として役立つ.

応用とまとめ（11 章） 最終章である 11 章は応用的なタスクとして機械翻訳・質問応答・対話システムに言及し, この後に自然言語処理分野の歴史と展望に触れて本書のまとめとしている. 11 章で言及されるタスクは自然言語処理でも比較的大きな研究分野として知られるものであるが，本書の全体からすると非常に僅かな分量の解説に留まっており，これらの分野を専門的に学習する必要がある場合は副読書が必須である. ただし, 2014 年の sequence-to-sequence モデルの登場以来, 自然言語処理における深層学習の発展は主に言語モデルや機械翻訳におけるべンチマークを土台として発展してきた経緯があり，捉え方によっては本書自体が機械翻訳に関する最新の解説書であると考えることも可能かもしれない.

## 3 本書の読者層

本書の対象読者で中心となるのは理工系大学院の修士課程程度, ないしそれに準ずる知識を習得済みである者と思われ, 読者には基本的な数学的操作と情報学に明るいことが要求されている. 本書の大半を占める深層学習の解説では, 行列やべクトルに関する演算が特に断りなく頻出する.このため本書でも述べられているとおり, 少なくとも読者は線形代数に習熟している必要がある。また前述のように, 特定の章では論理学やアルゴリズムに関する知識が要求される。

俯瞰的な内容として本書がまとめられている関係上, 本書の内容のみで各分野の専門レベルまで横断的に学習できるようには構成されていない. 不明な点があれば躊躇せず副読書を用意するのが望ましい，以下，読者を何種類かのカテゴリに分けて本書の想定される利用方法を述べる.

専門家読者が既に何らかの自然言語処理の専門家であれば，本書の内容はほぼ既知であると思われる. 分野特有の語彙を他の研究者と共有したり，自身の関与していない領域について復習を行うのに本書は適している。読者の研究分野が本書で紹介されている場合は, 具体的な議
論を行う前の前提知識として本書の各章を参考文献として提示できると思われる.

技術者数式での説明が豊富なため, 一定の計算資源と線形代数に関するプログラミングの経験があれば，本書で紹介されている基本的な手法を手元で試作してみる事は可能と思われる。 ただし，業務で直面するであろう具体的な問題の解き方やプログラミング例は本書では紹介されないため，こういった情報を希望する場合は，本書を踏まえた上で他の技術書を参照する必要がある。

学生・初学者本書の内容は基本的な情報系科目に対する理解を読者に求めているため, これらに詳しくない者が問題なく読み進めるには相応の予習が必要であると思われる．教科書という性質上，個別の概念や問題に関する詳細はある程度省略されており，また実際に研究・開発を遂行するための指南書でもないため，具体的なタスクに取り組むには読者自身による更なる調査と勉学が必要である. 本書によってこの分野の語彙を横断的に習得できるため, 他の研究者や学生と議論を行う際の土台として役立つと思われる.

自然言語処理が専門外の者 1 章, 3 章から 7 章, 11 章のような一般的な内容やニューラルネットワークに着目する章に関しては, 説明や図解等による大雑把な内容の把握もある程度有効である. 特に最近の研究動向に関しては十分に説明されているため, 身近の自然言語処理の専門家がどのような内容について議論しているのかを理解する手がかりとして, 本書を活用することが可能と思われる。たたし，より平易な入門書や技術書と併読することで理解の助けとするのが望ましい.

## 4 本書の利用場面

本書は教科書として構成されているため, 学生や研究者, 従業員の集団に自然言語処理に関する一定の知識を醸成するような取組みで採用するのが適している。大学学部や大学院での講義であれば，本書の内容 1 章をおおよそ 1,2 単元として授業を構成できる。読者に情報学の知識を要求するため, これらの学習が終了している理工系の 3,4 年次以降の科目とするのが適切と思われる。研究室や企業の研究開発チームで輪講を行う際にも本書を活用できる。この際も 1 章あたり 1，2 回の速度で実施するのが適切と思われる。

前述したように，深層学習以後の自然言語処理の進展は非常に高速である一方，技術としては収斂が進みつつある。また本書では各論文固有のモデルについての言及は少なく, 汎用的なモデル構造を紹介する形となっている。これらの観点から, 本書の内容が直ちに陳腐化することは避けられると考えられ，信頼できる教科書として長く使用できるのではないかと思われる。

## 謝 辞

本記事の執筆にあたり，言語処理学会より当該書籍を提供頂きました。ここにお礼申し上げます.

## 略歴

小田悠介：情報通信研究機構, グーグル合同会社, 株式会社リーガルフォー スを経て, 現在米国 Inspired Cognition, Inc. CTO,および東北大学学術研究員. 自然言語処理関連の研究開発業務に従事. 専門は機械翻訳. 言語処理学会編集委員（2022 年 3 月 ). 修士（工学）（奈良先端大・2015 年）.